電子裝置及用于在電子裝置中分析臉部信息的方法
【技術(shù)領(lǐng)域】
[0001]本公開涉及一種電子裝置及用于在電子裝置中分析臉部信息的方法。更具體地講，本公開涉及用于在電子裝置中分析臉部信息的方法，其中，在捕捉期間，一旦臉部信息(例如，臉部區(qū)域)被識別，被識別的區(qū)域可被放大或者焦點可被自動地設(shè)置在該區(qū)域上，而無需任何用戶控制動作。
【背景技術(shù)】
[0002]各種電子裝置已經(jīng)被開發(fā)以提供各種功能。例如，電子裝置(例如，智能電話)已經(jīng)被設(shè)計以不僅提供捕捉圖像的功能，而且提供識別被捕捉的對象的功能。
[0003]電子裝置可被設(shè)置有顯示器，使得用戶可更有效地使用或享用各種功能。例如，最近的智能電話可被設(shè)置有正面對觸摸敏感的顯示器(例如，觸摸屏)。
[0004]各種應(yīng)用(或應(yīng)用程序)可被安裝在電子裝置中或在電子裝置中運(yùn)行。為了在電子裝置中運(yùn)行并控制應(yīng)用，各種輸入單元(例如，觸摸屏、按鈕、鼠標(biāo)、鍵盤、傳感器等)可被使用。
[0005]為了分析被捕捉的對象(例如，臉部區(qū)域)，電子裝置可獲取對象被放大或被精細(xì)捕捉的圖像。另一方面，為了獲取被放大或被精細(xì)捕捉的圖像，用戶可確定或識別將被捕捉的對象并確定焦點是否被設(shè)置在每個對象的具體區(qū)域上，從而啟用電子裝置的拍攝功能(或捕捉功能)。
[0006]上述信息僅作為背景信息被呈現(xiàn)以幫助理解本公開。至于上述內(nèi)容中的任何內(nèi)容是否可適用于針對本公開的現(xiàn)有技術(shù)，尚未作出決定，也未作出斷言。

【發(fā)明內(nèi)容】

[0007]本公開的各方面將至少解決上述問題和/或缺點并將至少提供在下文中描述的優(yōu)點。因此，本公開一方面將提供一種電子裝置和一種用于在電子裝置中分析臉部信息的方法，其中，在捕捉期間，一旦臉部信息(例如，臉部區(qū)域)被識別，被識別的區(qū)域可被放大或者焦點可被自動地設(shè)置在該區(qū)域上，而無需任何用戶控制操作。
[0008]根據(jù)本公開的一方面，提供了一種用于在電子裝置中分析臉部信息的方法。所述方法包括:從由相機(jī)模塊正在捕捉的圖像中檢測至少一個臉部區(qū)域，對被檢測到的所述至少一個臉部區(qū)域進(jìn)行放大，根據(jù)至少一個分析項來分析被放大的臉部區(qū)域。
[0009]根據(jù)本公開的另一方面，提供了一種電子裝置。所述電子裝置包括:相機(jī)模塊；顯示器，被配置為顯示由相機(jī)模塊正在捕捉的圖像；控制器，被配置為從所述圖像中檢測至少一個臉部區(qū)域，控制相機(jī)模塊以對被檢測到的所述至少一個臉部區(qū)域進(jìn)行放大，并根據(jù)至少一個分析項來分析被檢測到并被放大的所述至少一個臉部區(qū)域。
[0010]根據(jù)本公開的另一方面，提供了一種用于在電子裝置中分析臉部信息的方法。所述方法包括從被存儲的至少一個圖像中檢測至少一個臉部區(qū)域，并根據(jù)至少一個分析項來分析被檢測到的所述至少一個臉部區(qū)域。
[0011]根據(jù)本公開的另一方面，提供了一種電子裝置。所述電子裝置包括:相機(jī)模塊，被配置為捕捉圖像；控制器，被配置為從由相機(jī)模塊捕捉并被存儲的至少一個圖像中檢測至少一個臉部區(qū)域，并根據(jù)至少一個分析項來分析被檢測到的所述至少一個臉部區(qū)域。
[0012]從結(jié)合附圖公開本公開的各種實施例的以下詳細(xì)描述中，本公開的其它方面、優(yōu)點和突出特征對本領(lǐng)域技術(shù)人員而言將變得清楚。
【附圖說明】
[0013]從以下結(jié)合附圖的詳細(xì)描述中，本公開的特定實施例的以上和其它方面、特征和優(yōu)點將會更清楚，其中:
[0014]圖1是示出根據(jù)本公開的各種實施例的電子裝置的配置的框圖；
[0015]圖2、圖3和圖4是示出根據(jù)本公開的各種實施例的在電子裝置中分析皮膚信息的操作的流程圖；
[0016]圖5A、圖5B、圖5C、圖5D、圖5E、圖5F、圖5G和圖5H示出根據(jù)本公開的各種實施例的臉部區(qū)域以及臉部區(qū)域被局部放大或被精細(xì)捕捉的情形；
[0017]圖6示出根據(jù)本公開的各種實施例的臉部分析項；
[0018]圖7、圖8、圖9、圖10和圖11示出根據(jù)本公開的各種實施例的對臉部分析項進(jìn)行分析的操作；
[0019]圖12示出根據(jù)本公開的各種實施例的用于臉部分析的拍攝操作；
[0020]圖13A、圖13B和圖13C示出根據(jù)本公開的各種實施例的顯示臉部分析的結(jié)果的屏蒂;
[0021]圖14、圖15、圖16、圖17和圖18示出根據(jù)本公開的各種實施例的顯示皮膚分析的結(jié)果的屏幕；
[0022]圖19示出根據(jù)本公開的各種實施例的網(wǎng)絡(luò)環(huán)境；
[0023]圖20A、圖20B和圖20C示出根據(jù)本公開的各種實施例的電子裝置分析臉部的情形；
[0024]圖21是示出根據(jù)本公開的各種實施例的在電子裝置中分析皮膚信息的操作的流程圖；
[0025]圖22A和圖22B示出根據(jù)本公開的各種實施例的用于臉部分析的拍攝操作；
[0026]圖23A和圖23B示出根據(jù)本公開的各種實施例的用于臉部分析的拍攝操作；
[0027]圖24示出根據(jù)本公開的各種實施例的用于臉部分析的拍攝操作；
[0028]圖25是示出根據(jù)本公開的各種實施例的電子裝置的配置的框圖；
[0029]圖26示出根據(jù)本公開的各種實施例的用于基于被存儲的圖像分析臉部信息的應(yīng)用的屏幕；
[0030]圖27、圖28、圖29、圖30、圖31、圖32、圖33、圖34和圖35示出根據(jù)本公開的各種實施例的顯示臉部分析結(jié)果的屏幕；
[0031]圖36示出根據(jù)本公開的各種實施例的顯示基于被存儲的圖像而分析的臉部信息的歷史的應(yīng)用屏幕；
[0032]圖37、圖38、圖39、圖40、圖41、圖42、圖43、圖44和圖45示出根據(jù)本公開的各種實施例的顯示被分析的臉部信息的歷史的屏幕；
[0033]圖46示出根據(jù)本公開的各種實施例的用于臉部分析的拍攝操作；
[0034]圖47A和圖47B示出根據(jù)本公開的各種實施例的示出皮膚分析的結(jié)果的屏幕。
[0035]貫穿附圖，同樣的附圖標(biāo)號將被理解為指示同樣的部分、組件和結(jié)構(gòu)。
【具體實施方式】
[0036]提供參照附圖的以下描述以幫助全面理解由權(quán)利要求及其等同物限定的本公開的各種實施例。雖然以下描述包括各種特定細(xì)節(jié)以幫助所述理解，但是這些特定細(xì)節(jié)將被認(rèn)為僅僅是示例性的。因此，本領(lǐng)域普通技術(shù)人員將認(rèn)識到:在不脫離本公開的范圍和精神的情況下，可做出在此描述的各種實施例的各種改變和修改。另外，為了清晰和簡潔，公知的功能和構(gòu)造的描述可被省略。
[0037]在以下描述和權(quán)利要求中使用的術(shù)語和詞匯不限于文獻(xiàn)含義，而僅被發(fā)明人用于實現(xiàn)對本公開的清晰和一致的理解。因此，對本領(lǐng)域技術(shù)人員而言應(yīng)該清楚的是:提供本發(fā)明的各種實施例的以下描述僅用于示意目的而并非為了限制由權(quán)利要求及其等同物限定的本公開的目的。
[0038]將理解:除非上下文清晰地另有指示，否則單數(shù)形式包括復(fù)數(shù)的指示物。因此，例如，引用“組件表面”包括引用一個或更多個這樣的表面。
[0039]通過術(shù)語“大體上地”，意指引用的特征、參數(shù)或值不需要被精確地實現(xiàn)，而偏差或變化(其中，偏差或變化包括:例如，公差、測量誤差、測量精度限制和本領(lǐng)域技術(shù)人員已知的其它因素)可按照不妨礙期望所述特征提供的效果的總量而出現(xiàn)。
[0040]在此使用的術(shù)語“包括”指示存在被公開的功能、操作或組件，但是并不排除存在或添加一個或更多個其它功能、操作或組件。還將理解:當(dāng)在本說明書中使用時，術(shù)語“包括”和/或“具有”指示存在聲明的特征、整數(shù)、操作、元件和/或組件，但是并不排除存在或添加一個或更多個其它特征、整數(shù)、操作、元件、組件和/或上述項的組合。
[0041]如在此所使用，術(shù)語“A或B”或者“A和/SB中的至少一個”包括一個或更多個關(guān)聯(lián)的列出的項的任何及全部組合。例如，“A或B”或者“A和/或B中的至少一個”中的每個可包括A，或可包括B，或可包括A和B兩者。
[0042]在此使用的序數(shù)(諸如“第一”、“第二”等等)可修飾本公開的各種實施例的各種組件，但是并不限制這些組件。例如，這些術(shù)語不限制組件的順序和/或重要性。這些術(shù)語僅用于將一個組件與另一組件區(qū)分開。例如，第一用戶裝置和第二用戶裝置是彼此不同的用戶裝置。例如，根據(jù)本公開的各種實施例，在不脫離本公開的范圍的情況下，第一組件可被指示為第二組件，反之亦可。
[0043]在組件“被連接到”或“被耦合到”另一組件時，組件可直接被連接到或直接被耦合到其它組件，或者其他組件可介于兩者之間。與此相反，在組件“被直接連接到”或“被直接耦合到”另一組件時，沒有其它中間組件可介于兩者之間。
[0044]提供在此使用的術(shù)語僅為了描述本公開的一些實施例，但是并不為了限制本工卡。
[0045]除非另有限定，在這里使用的包括技術(shù)術(shù)語和科學(xué)術(shù)語的全部術(shù)語具有本公開的各種實施例所屬領(lǐng)域的普通技術(shù)人員通常理解的含義。還將理解:術(shù)語(諸如在通常使用詞典中限定的術(shù)語)應(yīng)被理解為具有與它們在相關(guān)領(lǐng)域的上下文中的含義一致的含義并且將不在理想化或過分正式的意義上被理解，除非在此被如此明確地限定。
[0046]根據(jù)本公開的各種實施例的電子裝置可以是相機(jī)模塊。例如，電子裝置可包括以下項中的至少一個:智能電話、平板個人計算機(jī)(PC)、移動電話、視頻電話、電子書閱讀器、臺式PC、膝上型PC、筆記本計算機(jī)、個人數(shù)字助理(PDA)、便攜式多媒體播放器(PMP)、運(yùn)動圖像專家組-第一階段或第二階段(MPEG-1或MPEG-2)第三音頻層(MP3)播放器、移動醫(yī)療裝置、相機(jī)或可穿戴裝置(諸如電子眼鏡、電子服裝、電子手環(huán)、電子項鏈、電子應(yīng)用配件(或應(yīng)用配件)、電子紋身、智能手表等)(例如，頭戴式裝置(HMD))。
[0047]在本公開的各種實施例中，電子裝置可以是具有相機(jī)模塊的智能家用電器。智能家用電器可包括以下項中的至少一個:例如，電視機(jī)(TV)、數(shù)字視頻光盤(DVD)播放器、音頻播放器、冰箱、空調(diào)、清潔器、烤箱、微波爐、洗衣機(jī)、空氣凈化器、機(jī)頂盒、TV盒(例如，三星HomeSync?、蘋果TV?或谷歌TV ?)、游戲機(jī)、電子詞典、電子鑰匙、攝像機(jī)和電子相框。
[0048]在本公開的各種實施例中，電子裝置可包括相機(jī)模塊，還可包括以下項中的至少一個:各種醫(yī)療裝置(例如，磁共振血管造影(MRA)、磁共振成像(MRI)、計算機(jī)斷層掃描(CT)、攝像機(jī)、超聲裝置等)、導(dǎo)航裝置、全球定位系統(tǒng)(GPS)接收器、事件數(shù)據(jù)記錄器(H)R)、飛行數(shù)據(jù)記錄器(FDR)、車輛信息娛樂裝置、航海電子裝置(例如，航海導(dǎo)航裝置、陀螺羅盤等)、航空電子設(shè)備、安全裝置、車頭單元(car head unit)、工業(yè)機(jī)器人或家用機(jī)器人、用于銀行的自動柜員機(jī)(ATM)、用于商店的銷售點(POS)等。
[0049]在本公開的各種實施例中，電子裝置可包括以下項中的至少一個:家具或建筑/構(gòu)造的一部分、電子板、電子簽名接收裝置、投影儀或各種儀表(例如，水表、電表、煤氣表或無線電波表等)，其中，每個項包括相機(jī)模塊。根據(jù)本公開的各種實施例的電子裝置可以是上述裝置中的一個或上述裝置的組合。此外，根據(jù)本公開的各種實施例的電子裝置可以是柔性裝置。本領(lǐng)域技術(shù)人員將清楚的是:根據(jù)本公開的各種實施例的電子裝置不限于上述裝置。
[0050]根據(jù)本公開的各種實施例，能夠被電子裝置分析的臉部信息可包括臉部區(qū)域(諸如，眼睛、鼻子、眉毛、臉頰等)的皮膚信息。
[0051]根據(jù)本公開的各種實施例，電子裝置可根據(jù)指示一個分析項來分析皮膚信息。例如，用于分析臉部信息的項可包括用于測量各種皮膚狀況(諸如，毛孔、痤瘡、色斑、膚色、黑眼圈、皺紋等)的項。
[0052]根據(jù)本本公開的各種實施例，電子裝置執(zhí)行精細(xì)拍攝的操作可包括以下操作:為了精細(xì)捕捉特定的圖像之中的任一區(qū)域，在捕捉期間，將焦點設(shè)置在該區(qū)域上并且放大該區(qū)域。
[0053]以下將參照附圖描述根據(jù)本公開的各種實施例的電子裝置。如在此所使用，術(shù)語“用戶”可指示使用電子裝置的人或使用電子裝置的裝置(例如，智能電子裝置)。
[0054]圖1是示出根據(jù)本公開的各種實施例的電子裝置的配置的框圖。
[0055]參照圖1，電子裝置100可包括以下項中的至少一個:控制器110、相機(jī)模塊120、輸入單元130、顯示器140或存儲器150。
[0056]控制器110可包括以下項中的至少一個:項設(shè)置單元111、拍攝控制器112、圖像分析器113、區(qū)域選擇器114或分析結(jié)果產(chǎn)生器115，控制器110可對電子裝置100的整體操作進(jìn)行控制。
[0057]項設(shè)置單元111可識別被捕捉的圖像中的特定的臉部區(qū)域，并選擇用于分析被識別的臉部區(qū)域的皮膚狀況的至少一個項。例如，如果眼睛周圍的區(qū)域在被捕捉的圖像中被識別，則項設(shè)置單元111可將皺紋、黑眼圈等設(shè)置為用于分析眼睛周圍的區(qū)域的皮膚狀況的項。作為另一示例，如果臉頰區(qū)域在被捕捉的圖像中被識別，則項設(shè)置單元111可將色斑、斑點、雀斑、膚色等設(shè)置為用于分析臉頰區(qū)域的皮膚狀況的項。
[0058]在拍攝模式下識別特定臉部區(qū)域時，拍攝控制器112可對相機(jī)模塊120進(jìn)行控制使得被識別的臉部區(qū)域可被放大或被精細(xì)捕捉。例如，拍攝控制器112可對相機(jī)模塊120進(jìn)行控制從而在捕捉期間在通過相機(jī)模塊120識別的被捕捉的圖像中將焦點設(shè)置在被識別為臉部區(qū)域的至少一個區(qū)域上或?qū)Ρ蛔R別為臉部區(qū)域的至少一個區(qū)域進(jìn)行放大。
[0059]圖像分析器113可在圖像中選擇用于分析特定臉部區(qū)域的至少一個項，并根據(jù)被選擇的項來分析臉部區(qū)域。例如，圖像分析器113可根據(jù)被選擇的項(例如，皺紋或黑眼圈)來對在被捕捉的圖像中被識別的眼睛周圍的區(qū)域進(jìn)行分析。例如，圖像分析器113可在眼睛周圍的被識別的區(qū)域中對皺紋的深度或數(shù)量或者黑眼圈的寬度或顏色進(jìn)行分析。
[0060]區(qū)域選擇器114可確定在特定的圖像中是否識別出臉部區(qū)域。根據(jù)本公開的各種實施例，如果特定的臉部區(qū)域被識別，則區(qū)域選擇器114可對相機(jī)模塊120進(jìn)行控制從而在捕捉期間將焦點設(shè)置在臉部區(qū)域上或?qū)⒛槻繀^(qū)域放大。
[0061]分析結(jié)果產(chǎn)生器115可確定由圖像分析器113對臉部信息進(jìn)行分析的結(jié)果，產(chǎn)生包括確定的結(jié)果的屏幕，并顯示產(chǎn)生的屏幕。
[0062]根據(jù)本公開的各種實施例，分析結(jié)果產(chǎn)生器115可以以各種方式表現(xiàn)分析項或針對每個臉部區(qū)域的分析結(jié)果，以產(chǎn)生被分析的臉部信息的屏幕。例如，分析結(jié)果產(chǎn)生器115可產(chǎn)生臉部信息的屏幕，使得可以以不同的顏色(例如，可以以紅色顯示痤瘡并且可以以藍(lán)色顯示色斑)顯示每個分析項。此外，通過確定先前的分析結(jié)果，分析結(jié)果產(chǎn)生器115可以以綠色或藍(lán)色顯示改善的臉部區(qū)域并以紅色顯示惡化的臉部區(qū)域，以產(chǎn)生臉部信息的屏
[0063]根據(jù)本公開的各種實施例，如果與特定的臉部區(qū)域相應(yīng)的區(qū)域或者根據(jù)分析項或分析結(jié)果以不同的顏色區(qū)分的區(qū)域從捕捉的圖像中被選擇，則分析結(jié)果產(chǎn)生器115可提供通過對被選擇的臉部區(qū)域進(jìn)行放大或分析而獲得的圖像。例如，分析結(jié)果產(chǎn)生器115可對顯示器140進(jìn)行控制從而顯示產(chǎn)生的圖像。
[0064]相機(jī)模塊120可捕捉圖像。根據(jù)本公開的各種實施例，在捕捉期間，相機(jī)模塊120可由控制器110來控制從而將焦點設(shè)置在被識別為特定的臉部區(qū)域的區(qū)域上或?qū)Ρ蛔R別為特定的臉部區(qū)域的區(qū)域進(jìn)行放大。
[0065]顯示器140可顯示由相機(jī)模塊120正在捕捉的圖像。
[0066]根據(jù)本公開的各種實施例，如果特定區(qū)域從被顯示的圖像中被選擇，則顯示器140可顯示通過對該區(qū)域進(jìn)行放大精細(xì)捕捉而獲得的圖像。例如，在電子裝置100選擇特定區(qū)域時，被放大的圖像可以是通過對被選擇的區(qū)域進(jìn)行放大或捕捉而獲得的圖像。在電子裝置100選擇特定區(qū)域時，被放大的圖像可以是在捕捉期間將焦點設(shè)置在被選擇的區(qū)域上或?qū)Ρ贿x擇的區(qū)域進(jìn)行放大的圖像。
[0067]存儲裝置150可包括皮膚分析信息151或用戶識別信息152。皮膚分析信息151可包括特定的臉部區(qū)域的根據(jù)分析項的皮膚分析信息。
[0068]皮膚分析信息151可包括通過針對每個項分析特定區(qū)域的皮膚狀況而獲得的信息。例如，皮膚分析信息151可包括通過確定特定的臉部區(qū)域中是否存在色斑、膚色、斑點或痤瘡而獲得的信息、針對每個項的先前分析的信息或按時間順序顯示針對每個臉部區(qū)域的皮膚分析結(jié)果的歷史信息。
[0069]用戶識別信息152可包括針對特定用戶的臉部信息。例如，圖像分析器113可通過使用用戶識別信息152將在捕捉的圖像中被識別的“眼睛”區(qū)域與先前存儲的另一用戶的“眼睛”圖像進(jìn)行比較。就用戶識別信息152而言，基于圖像分析器113中的比較結(jié)果，針對在捕捉的圖像中被識別的臉部區(qū)域的分析結(jié)果可被存儲在與包括相同的臉部區(qū)域的用戶有關(guān)的臉部信息。
[0070]例如，根據(jù)本公開的各種實施例的電子裝置可包括相機(jī)模塊、顯示器和控制器，其中，顯示器被配置為顯示由相機(jī)模塊正在捕捉的圖像，控制器被配置為從圖像中檢測至少一個臉部區(qū)域、控制相機(jī)模塊以對被檢測的至少一個臉部區(qū)域進(jìn)行放大并根據(jù)至少一個分析項來分析放大的臉部區(qū)域。
[0071]根據(jù)本公開的各種實施例的至少一個臉部區(qū)域可包括眼睛、鼻子、臉頰、嘴或眉毛中的至少一個周圍的區(qū)域。
[0072]根據(jù)本公開的各種實施例的至少一個分析項可包括皺紋、痤瘡、色斑、膚色、黑眼圈或毛孔中的至少一個。
[0073]根據(jù)本公開的各種實施例的控制器可針對在放大的臉部區(qū)域中的每個分析項，對厚度、大小、數(shù)量、寬度或顏色中的至少一個進(jìn)行分析。
[0074]在檢測到針對圖像中的特定區(qū)域的手勢輸入時，根據(jù)本公開的各種實施例的控制器可控制顯示器顯示通過對檢測到手勢的區(qū)域進(jìn)行放大而獲得的圖像。
[0075]根據(jù)本公開的各種實施例的控制器可針對至少一個預(yù)定分析項從圖像中檢測臉部區(qū)域，并根據(jù)預(yù)定的分析項來分析檢測到的臉部區(qū)域。
[0076]在檢測到至少一個臉部區(qū)域時，根據(jù)本公開的各種實施例的控制器可控制顯示器顯示放大的臉部區(qū)域的屏幕。
[0077]根據(jù)本公開的各種實施例的控制器在檢測到預(yù)定動作時可控制相機(jī)模塊以精細(xì)捕捉至少一個檢測到的臉部區(qū)域。
[0078]根據(jù)本公開的各種實施例的預(yù)定動作可包括運(yùn)行啟用相機(jī)模塊的應(yīng)用的動作、啟用處于鎖定狀態(tài)的電子裝置100的動作或以特定的角度或特定的方向?qū)﹄娮友b置100進(jìn)行定位的動作中的至少一個動作。
[0079]根據(jù)本公開的各種實施例的控制器可確定預(yù)先存儲的針對特定的臉部區(qū)域或分析項的分析結(jié)果，將確定的預(yù)先存儲的分析結(jié)果與分析的結(jié)果進(jìn)行比較，控制顯示器顯示包括比較結(jié)果的屏幕。
[0080]圖2是示出根據(jù)本公開的各種實施例的在電子裝置中分析皮膚信息的操作的流程圖。
[0081]參照圖2，在操作210中，電