專利名稱：攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)圖像(特別是拍攝了人臉而得到的圖像)進(jìn)行攝像的攝像裝置、處理圖像的信息處理裝置和輸出裝置以及適用于軟件等的有效技術(shù)。
背景技術(shù)：
一直以來都期望有能夠容易地對(duì)用戶喜歡的圖像進(jìn)行攝像的裝置。所謂用戶喜歡的圖像，例如指以用戶(用戶可以是攝像者或被攝體)喜歡的表情來對(duì)被攝體進(jìn)行攝像所得到的圖像等。作為這種技術(shù)的具體例，有根據(jù)紅眼現(xiàn)象來檢測(cè)被攝體的眼皮睜開的狀態(tài)(睜眼狀態(tài))并自動(dòng)釋放快門的技術(shù)(參照專利文獻(xiàn)1)。并且，也有通過檢測(cè)被攝體的笑臉等臉部表情來自動(dòng)釋放快門的技術(shù)(參照專利文獻(xiàn)2、3)。根據(jù)這些技術(shù)，能夠容易地拍攝被攝體的眼皮睜開的圖像和包含被攝體的笑臉的圖像。
并且，還有對(duì)比動(dòng)態(tài)圖像中的人臉和預(yù)先登記在數(shù)據(jù)庫(kù)中的人臉，記錄(或不記錄)包含一致的人物的前后幀，由此錄制用戶期望的節(jié)目的技術(shù)(參照專利文獻(xiàn)4)。在這種現(xiàn)有技術(shù)中，能夠錄制(記錄)用戶確實(shí)期望的圖像，具體講是包含用戶所期望的人物的節(jié)目。
專利文獻(xiàn)1 日本專利特開平07一159675號(hào)公報(bào)專利文獻(xiàn)2 日本專利特開2001-51338號(hào)公報(bào)專利文獻(xiàn)3 日本專利特開2003-92700號(hào)公報(bào)專利文獻(xiàn)4 日本專利特開2001-285787號(hào)公報(bào)但是，上述任一種技術(shù)都不能實(shí)現(xiàn)能夠容易地?cái)z像與用戶的各種喜好對(duì)應(yīng)的圖像。
人們外出游玩等時(shí)多攜帶攝像裝置(光學(xué)式膠片模擬照相機(jī)、數(shù)字照相機(jī)等)。并且，人們以風(fēng)景或建筑物為背景拍攝自身肖像照片。此時(shí)，由自己來拍攝自身肖像照片比較困難。因此，在一人外出時(shí)或拍攝同行者全體的合影照片時(shí)，通常不得不請(qǐng)求當(dāng)時(shí)正好在場(chǎng)的人員“請(qǐng)按下快門”?？墒?，在請(qǐng)求對(duì)方按照我方要求拍攝之前，例如說“只需按下快門即可，能否給拍攝照片嗎”等，很多情況下不得不以客氣的語氣來進(jìn)行請(qǐng)求。結(jié)果，所拍攝的照片自己不滿意、因不是理想的表情而失望的情況較多。并且，如果是(利用數(shù)字照相機(jī)或帶照相機(jī)的手機(jī)等電子攝像元件來攝像圖像的)數(shù)字方式的攝像裝置，因?yàn)槟軌虍?dāng)場(chǎng)確認(rèn)攝像結(jié)果，所以在怎么都不滿意的情況下，可以告知對(duì)方自己喜歡的表情并請(qǐng)求重新拍攝。但是，對(duì)表情的喜歡是很主觀的事情，所以作為被攝體的人的喜好與實(shí)際拍攝的人的喜好未必一致，在不一致的情況下無論請(qǐng)求重拍多少次，結(jié)果都相同。另外，也可以再次請(qǐng)求當(dāng)時(shí)正好在場(chǎng)的其他人“請(qǐng)按下快門”。但是，這種情況下，對(duì)于個(gè)人非常在意的表情，尋找其喜好一致的人本身也是非常困難的事情，在大多數(shù)情況下即使是不滿意的照片也只能這樣。
此處，如果對(duì)現(xiàn)有技術(shù)進(jìn)行研究，在記載了前一個(gè)現(xiàn)有技術(shù)、即檢測(cè)睜眼狀態(tài)和笑臉并攝像的技術(shù)的文獻(xiàn)中，公開了通過檢測(cè)笑臉等臉部表情來自動(dòng)按下快門的技術(shù)。但是，如果僅是這種程度，則在請(qǐng)求“請(qǐng)按下快門”時(shí)，僅需請(qǐng)求“能否請(qǐng)?jiān)谛δ槙r(shí)按下快門”即足夠。其理由是，盡管所喜歡的表情各有差異，但對(duì)于是否是笑臉的判斷幾乎沒有個(gè)人差異。即，對(duì)于是否是笑臉的判斷是即使請(qǐng)求他人也能夠充分實(shí)現(xiàn)的判斷，只要能夠找到可以請(qǐng)求其進(jìn)行拍攝的人即可解決。另一方面，人各有所好，尤其對(duì)于臉部及其表情是個(gè)人特別在意的部位。盡管如此，在上述現(xiàn)有技術(shù)中，對(duì)拍攝每個(gè)人都非常在意的臉部表情時(shí)的考慮還不夠周到。即，每個(gè)人所滿意的表情，例如笑臉的嘴角的微笑程度、眼睛的睜開程度、眼角的搭拉程度等，是由連其本人也無法完美表現(xiàn)的感覺區(qū)域所決定的。但是，在上述現(xiàn)有技術(shù)中，不能把這種感覺上的個(gè)人要求反映到圖像中。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種能夠容易地?cái)z像與用戶的各種喜好對(duì)應(yīng)的表情的被攝體的裝置等。
為了攝像與用戶的各種喜好對(duì)應(yīng)的表情的被攝體，本發(fā)明的攝像裝置攝像多個(gè)圖像，從所攝像的多個(gè)圖像中判斷并記錄包含有與用戶的喜好對(duì)應(yīng)的表情的被攝體的圖像。此時(shí)，對(duì)于是否包含有與用戶的喜好對(duì)應(yīng)的表情，由本發(fā)明的攝像裝置根據(jù)圖像的特征量來進(jìn)行判斷。因此，本發(fā)明的攝像裝置可以根據(jù)每個(gè)用戶的喜好來登記或變更在該判斷中使用的特征量，由此實(shí)現(xiàn)與用戶的各種喜好對(duì)應(yīng)的功能。
為了實(shí)現(xiàn)上述作用，本發(fā)明的攝像裝置具有攝像單元、檢測(cè)單元、獲取單元、存儲(chǔ)單元、判定單元和記錄單元。攝像單元按照用戶的一個(gè)攝像指示，對(duì)多個(gè)圖像進(jìn)行電子攝像。即，攝像單元在用戶進(jìn)行了一次攝像指示的情況下，進(jìn)行多個(gè)圖像的攝像而不是一個(gè)圖像的攝像。該多個(gè)圖像的攝像全部是以記錄該圖像為目的的攝像(最終是否被記錄另當(dāng)別論)，不是以記錄以外的目的、例如為了紅眼判定、白平衡調(diào)整或規(guī)定位置的檢測(cè)等而進(jìn)行的攝像。因此，通過攝像單元進(jìn)行的這些攝像是根據(jù)用戶指定的焦點(diǎn)位置和分辨率等進(jìn)行的。另外，攝像單元除了進(jìn)行這些多個(gè)圖像的攝像之外，也可以進(jìn)行上述的記錄以外的目的的攝像。
檢測(cè)單元從用戶選擇的圖像或所攝像的圖像中檢測(cè)人臉。所謂用戶選擇的圖像例如可以是所攝像的圖像，也可以是已經(jīng)記錄在記錄單元中的圖像，還可以是從其他裝置輸入到攝像裝置中的圖像。
獲取單元從所檢測(cè)出的臉部獲取圖像特征量。所謂圖像特征量是基于構(gòu)成圖像的各個(gè)像素的像素值的特征量，例如可以是通過伽柏小波變換(Gabor wavelet transformation)而得到的值。
存儲(chǔ)單元存儲(chǔ)特征量中的從用戶選擇的圖像所獲取的特征量。
判定單元把通過攝像單元所攝像的多個(gè)圖像的一部分或全部作為處理對(duì)象。并且，判定單元比較存儲(chǔ)在存儲(chǔ)單元中的特征量和從所攝像的各個(gè)圖像獲取的特征量，判定其類似程度。
在判定的結(jié)果為兩個(gè)特征量類似時(shí)，記錄單元把該攝像的圖像作為輸出用圖像進(jìn)行記錄。
根據(jù)本發(fā)明的攝像裝置，存儲(chǔ)單元存儲(chǔ)從用戶選擇的圖像中所獲取的特征量。在有用戶的攝像指示的情況下，攝像多個(gè)圖像，判定該存儲(chǔ)的特征量與從所攝像的各個(gè)圖像中獲取的特征量的類似程度。并且，只把所攝像的多個(gè)圖像中與該特征量類似的圖像記錄在記錄單元中。因此，通過選擇包含有用戶自己喜歡的臉部的圖像，根據(jù)該選擇的圖像中包含的臉部的特征量來實(shí)施判定。所以，能夠進(jìn)行與用戶的各種喜好對(duì)應(yīng)的表情的判斷。
并且，根據(jù)本發(fā)明的攝像裝置，按照用戶的一個(gè)攝像指示來攝像多個(gè)圖像。在按照用戶的一個(gè)攝像指示僅攝像一個(gè)圖像的情況下，所攝像的圖像依賴于該用戶的攝像指示的定時(shí)。但是，在這樣多個(gè)圖像被攝像的情況下，存在其中具有包含用戶喜歡的表情的圖像的情況，不依賴于用戶的攝像指示的定時(shí)即可攝像這種圖像。并且，在存在這種包含用戶喜歡的表情的圖像的情況下，通過檢測(cè)單元、獲取單元和判定單元等的協(xié)作動(dòng)作，可以從所攝像的多個(gè)圖像中獲取該圖像作為輸出用圖像，并記錄在記錄單元中。
本發(fā)明的攝像裝置也可以構(gòu)成為還具有控制單元，該控制單元進(jìn)行攝像單元的攝像處理的結(jié)束判定。該情況下，當(dāng)控制單元判定為結(jié)束攝像處理時(shí)，攝像單元結(jié)束該攝像處理?？刂茊卧谙率銮闆r下判定為結(jié)束攝像處理，例如，已通過攝像單元攝像了規(guī)定張數(shù)的圖像的情況，或攝像開始后已經(jīng)過規(guī)定時(shí)間的情況，或在記錄單元中記錄了規(guī)定張數(shù)的新的輸出用圖像的情況等。
本發(fā)明的攝像裝置具有的獲取單元也可以構(gòu)成為從所檢測(cè)出的臉部中檢測(cè)臉部的器官，根據(jù)所檢測(cè)出的器官位置來配置多個(gè)特征點(diǎn)。并且，該獲取單元也可以構(gòu)成為通過獲取各個(gè)特征點(diǎn)的圖像特征量來獲取特征量。所謂臉部器官例如指眼睛、鼻子、鼻孔、嘴(唇)、眉、下巴、額頭等。
本發(fā)明的攝像裝置也可以構(gòu)成為還具有針對(duì)所檢測(cè)出的臉部來確定個(gè)人的個(gè)人識(shí)別單元。該情況下，獲取單元分別獲取被用作針對(duì)所檢測(cè)出的臉部來確定個(gè)人的個(gè)人識(shí)別特征量和用于判斷所檢測(cè)出的臉部的表情的表情判斷特征量。個(gè)人識(shí)別特征量是在通過個(gè)人識(shí)別單元來確定個(gè)人時(shí)所使用的特征量。表情判斷特征量是在通過判定單元來判定類似程度時(shí)所使用的特征量。并且，該情況下，存儲(chǔ)單元把從同一人物的臉部獲取的個(gè)人識(shí)別特征量與表情判斷特征量對(duì)應(yīng)起來進(jìn)行存儲(chǔ)。例如，存儲(chǔ)單元可以使從同一人物的臉部獲取的個(gè)人識(shí)別特征量和表情判斷特征量對(duì)應(yīng)同一識(shí)別符并存儲(chǔ)各特征量。
并且，該情況下，個(gè)人識(shí)別單元使用存儲(chǔ)在存儲(chǔ)單元中的個(gè)人識(shí)別特征量和從所攝像的圖像中獲取的個(gè)人識(shí)別特征量，針對(duì)從該攝像的圖像中檢測(cè)出的臉部來確定個(gè)人。并且，判定單元對(duì)與所確定的個(gè)人的個(gè)人識(shí)別特征量對(duì)應(yīng)起來存儲(chǔ)在存儲(chǔ)單元中的表情判斷特征量和從所攝像的圖像中獲取的表情判斷特征量進(jìn)行比較，判定其類似程度。
在這樣構(gòu)成的本發(fā)明的攝像裝置中，針對(duì)所攝像的圖像中包含的各個(gè)臉部來確定個(gè)人。并且，判定單元根據(jù)各個(gè)臉部的個(gè)人特有的表情判斷特征量，進(jìn)行類似程度的判定。這樣，因?yàn)楦鶕?jù)個(gè)人特有的表情判斷特征量來進(jìn)行類似程度的判定，所以能夠更加準(zhǔn)確地判斷該表情是否是用戶喜歡的表情。換言之，根據(jù)本發(fā)明的攝像裝置，不是利用統(tǒng)一的標(biāo)準(zhǔn)來針對(duì)所有臉部判斷每個(gè)人的喜歡的表情，而是能夠針對(duì)每個(gè)人的臉部以特有標(biāo)準(zhǔn)來進(jìn)行判斷。
并且，本發(fā)明也可以通過利用信息處理裝置執(zhí)行程序來實(shí)現(xiàn)。即，通過使信息處理裝置執(zhí)行上述本發(fā)明的攝像裝置的各個(gè)單元所執(zhí)行的處理的程序、或者記錄了該程序的記錄介質(zhì)，也能夠獲得上述的作用和效果。并且，通過由信息處理裝置來執(zhí)行本發(fā)明的攝像裝置的各個(gè)單元所執(zhí)行的處理的方法，也能夠獲得上述的作用和效果。
根據(jù)本發(fā)明，與攝像裝置的用戶的技能等無關(guān)，能夠容易地?cái)z像與用戶的各種喜好對(duì)應(yīng)的表情的被攝體。


圖1是表示攝像裝置的功能塊的示例圖。
圖2是表示多個(gè)特征點(diǎn)的示例圖。
圖3是表示伽柏濾波器的示例圖。
圖4是表示特征量存儲(chǔ)部的存儲(chǔ)內(nèi)容的示例圖。
圖5是表示個(gè)人識(shí)別特征量的示例圖。
圖6是表示表情判斷特征量的示例圖。
圖7是表示攝像裝置為登記狀態(tài)時(shí)的動(dòng)作示例的流程圖。
圖8是表示顯示部的顯示例的圖。
圖9是表示攝像裝置為攝像狀態(tài)時(shí)的動(dòng)作示例的流程圖。
圖10是表示攝像裝置為攝像狀態(tài)時(shí)的動(dòng)作示例的流程圖。
符號(hào)說明1攝像裝置；2攝像部；3圖像輸入部；4表情判斷裝置；5圖像存儲(chǔ)部；6顯示部；7臉部檢測(cè)部；8特征量獲取部；9特征量存儲(chǔ)部；10個(gè)人識(shí)別部；11表情判斷部。
具體實(shí)施例方式
以下，使用

攝像裝置1。另外，以下有關(guān)攝像裝置1的說明僅是示例，其結(jié)構(gòu)和動(dòng)作等不限于以下說明的內(nèi)容。
(系統(tǒng)結(jié)構(gòu))首先，說明攝像裝置1的系統(tǒng)結(jié)構(gòu)。攝像裝置1在硬件上具有通過總線連接的CPU(中央運(yùn)算處理裝置)、主存儲(chǔ)裝置(RAMRandom AccessMemory，隨機(jī)存取存儲(chǔ)器)、輔助存儲(chǔ)裝置、攝像機(jī)構(gòu)等。輔助存儲(chǔ)裝置使用非易失性存儲(chǔ)裝置構(gòu)成。此處所說的非易失性存儲(chǔ)裝置指所謂的ROM(包括Read-Only Memory，只讀存儲(chǔ)器EPROM(Erasable ProgrammableRead-Only Memory，可擦除可編程只讀存儲(chǔ)器)、EEPROM(ElectricallyErasable Programmable Read-Only Memory，電可擦除可編程只讀存儲(chǔ)器)、掩模只讀存儲(chǔ)器(Mask ROM)等)、FRAM(Ferroelectric RAM，鐵電隨機(jī)存取存儲(chǔ)器)、硬盤等。
圖1是表示攝像裝置1的功能塊的示例圖。攝像裝置1將存儲(chǔ)在輔助存儲(chǔ)裝置中的各種程序(OS、應(yīng)用等)加載到主存儲(chǔ)裝置中并由CPU來執(zhí)行，從而作為包括攝像部2、圖像輸入部3、表情判斷裝置4、圖像存儲(chǔ)部5和顯示部6等的裝置來發(fā)揮作用。表情判斷裝置4通過由CPU執(zhí)行程序來實(shí)現(xiàn)。并且，也可以把表情判斷裝置4構(gòu)成為專用芯片。并且，表情判斷裝置4還可以構(gòu)成為具有獨(dú)立于攝像裝置1的CPU和RAM等。另外，根據(jù)由各個(gè)處理部實(shí)施的處理內(nèi)容，會(huì)出現(xiàn)在硬件、軟件上適合、不適合的情況。因此，也可以把這些部分安裝成硬件、軟件的組合體。
攝像裝置1的動(dòng)作狀態(tài)有攝像狀態(tài)和登記狀態(tài)。攝像裝置1在攝像狀態(tài)下和登記狀態(tài)下進(jìn)行不同的動(dòng)作。以下，說明攝像裝置1具有的各個(gè)功能部分。另外，關(guān)于各個(gè)動(dòng)作狀態(tài)的處理流程，在動(dòng)作示例部分進(jìn)行詳細(xì)說明。
(攝像部)攝像部2使用攝像透鏡、機(jī)械機(jī)構(gòu)、CCD(Charge Coupled Device，電荷耦合裝置)、電機(jī)等構(gòu)成為具有自動(dòng)聚焦功能的裝置。攝像透鏡包括例如用于實(shí)現(xiàn)變焦功能的變焦透鏡、對(duì)任意被攝體進(jìn)行對(duì)焦的聚焦透鏡等。機(jī)械機(jī)構(gòu)包括機(jī)械快門、光圈或?yàn)V波器等。電機(jī)包括變焦透鏡電機(jī)、聚焦透鏡電機(jī)或快門電機(jī)等。
攝像部2的上述結(jié)構(gòu)僅是示例，攝像部2也可以通過其他結(jié)構(gòu)來實(shí)現(xiàn)。例如，由于自動(dòng)聚焦功能和變焦功能等不是必需的結(jié)構(gòu)，所以攝像部2也可以省略這些部分。
攝像部2在用戶進(jìn)行了攝像指示時(shí)開始攝像。所說的攝像指示例如可以是快門按鈕的釋放。
(圖像輸入部)圖像輸入部3發(fā)揮用于向攝像裝置1輸入圖像數(shù)據(jù)的接口作用。通過圖像輸入部3向攝像裝置1輸入圖像數(shù)據(jù)。圖像輸入部3可以使用向攝像裝置1輸入圖像數(shù)據(jù)的任何現(xiàn)有技術(shù)來構(gòu)成。
例如，可以通過網(wǎng)絡(luò)(例如局域網(wǎng)或因特網(wǎng))向攝像裝置1輸入圖像數(shù)據(jù)。該情況下，圖像輸入部3使用網(wǎng)絡(luò)接口來構(gòu)成。并且，也可以從不同于攝像裝置1的其他攝像裝置(具有數(shù)字照相機(jī)的信息處理裝置或數(shù)字照相機(jī)等)、掃描儀、個(gè)人電腦或記錄裝置(例如硬盤驅(qū)動(dòng)器)等，向攝像裝置1輸入圖像數(shù)據(jù)。該情況下，圖像輸入部3按照將數(shù)字照相機(jī)、個(gè)人電腦或記錄裝置等與攝像裝置1連接成可以進(jìn)行數(shù)據(jù)通信的規(guī)格(例如USB(Universal Serial Bus，通用串行總線)或SCSI(SmallComputer System Interface，小型計(jì)算機(jī)系統(tǒng)接口)等有線連接規(guī)格或bluetooth(注冊(cè)商標(biāo))等無線連接規(guī)格)而構(gòu)成。并且，也可以向攝像裝置1輸入記錄在記錄介質(zhì)(例如各種閃存、軟盤、CD(Compact Disk)或DVD(Digital Versatile Disc(數(shù)字通用盤)、Digital Video Disc(數(shù)字視頻盤))中的圖像數(shù)據(jù)。該情況下，圖像輸入部3使用從記錄介質(zhì)讀出數(shù)據(jù)的裝置(例如閃存讀出器、軟盤驅(qū)動(dòng)器、CD驅(qū)動(dòng)器或DVD驅(qū)動(dòng)器)而構(gòu)成。并且，圖像輸入部3也可以構(gòu)成為能夠?qū)?yīng)上述多種情況。
(表情判斷裝置)表情判斷裝置4在攝像裝置1為攝像狀態(tài)時(shí)，對(duì)由攝像部2攝像的圖像中包含的臉部，判斷其表情是否是用戶喜歡的表情。只要是根據(jù)圖像來判斷被攝體的表情是否是用戶喜歡的表情的技術(shù)，可以通過利用任何技術(shù)來實(shí)現(xiàn)表情判斷裝置4。下面，說明可以應(yīng)用于攝像狀態(tài)下的表情判斷裝置4的技術(shù)的具體示例。
表情判斷裝置4首先從輸入到表情判斷裝置4中的圖像中檢測(cè)人臉。然后，表情判斷裝置4從所檢測(cè)出的臉部獲取用于識(shí)別人物的特征量(以下稱為“個(gè)人識(shí)別特征量”)。表情判斷裝置4根據(jù)該個(gè)人識(shí)別特征量，對(duì)所檢測(cè)出的臉部的人物是誰來進(jìn)行識(shí)別。然后，表情判斷裝置4從所檢測(cè)出的臉部獲取用于判斷表情的特征量(以下稱為“表情判斷特征量”)。表情判斷裝置4根據(jù)該表情判斷特征量來進(jìn)行圖形識(shí)別，從而判斷該表情是否是用戶喜歡的表情。
并且，表情判斷裝置4在攝像裝置1為登記狀態(tài)時(shí)，從用戶所選擇的圖像中包含的臉部獲取其特征量(個(gè)人識(shí)別特征量、表情判斷特征量)，存儲(chǔ)個(gè)人識(shí)別特征量和/或表情判斷特征量。此時(shí)，用戶可以從由攝像部2攝像的圖像、通過圖像輸入部3輸入的圖像或存儲(chǔ)在圖像存儲(chǔ)部5內(nèi)的圖像中選擇圖像。并且，用戶可以根據(jù)所輸入的圖像，指示表情判斷裝置4將個(gè)人識(shí)別特征量和表情判斷特征量中的任一方存儲(chǔ)在特征量存儲(chǔ)部9中或存儲(chǔ)這兩方。此時(shí)，用戶在登記有關(guān)已在特征量存儲(chǔ)部9中存儲(chǔ)有個(gè)人識(shí)別特征量的人物的新特征量時(shí)，指示該新特征量屬于已經(jīng)登記的人物中的哪個(gè)人物的特征量。這樣，通過讓用戶執(zhí)行登記時(shí)的個(gè)人識(shí)別，可以防止錯(cuò)誤地將各不相同的人物的ID與特征量對(duì)應(yīng)起來進(jìn)行登記。因此，能夠使個(gè)人識(shí)別部10和表情判斷部11更加正確地動(dòng)作。但是，為了簡(jiǎn)化用戶的操作，表情判斷裝置4也可以構(gòu)成為使個(gè)人識(shí)別部10來進(jìn)行這種登記處理的個(gè)人識(shí)別。
為了實(shí)現(xiàn)這些處理，表情判斷裝置4包括例如臉部檢測(cè)部7、特征量獲取部8、特征量存儲(chǔ)部9、個(gè)人識(shí)別部10和表情判斷部11。以下，說明各個(gè)功能部分進(jìn)行的處理。
((臉部檢測(cè)部))臉部檢測(cè)部7不論動(dòng)作狀態(tài)如何均對(duì)輸入到表情判斷裝置4中的圖像實(shí)施臉部檢測(cè)處理。圖像被從攝像部2、圖像輸入部3或圖像存儲(chǔ)部5中輸入到臉部檢測(cè)部7中。在臉部檢測(cè)處理中，臉部檢測(cè)部7從成為處理對(duì)象的圖像中檢測(cè)出臉部矩形。所說的臉部矩形是指包圍被攝體人物的臉部的矩形。
當(dāng)臉部檢測(cè)部7檢測(cè)出臉部矩形時(shí)，輸出臉部矩形信息。所說的臉部矩形信息是指表示臉部矩形的大小和位置的信息。例如，臉部矩形信息表示臉部矩形的寬度和左上角的坐標(biāo)。根據(jù)該臉部矩形信息，其它處理部可以確定處理對(duì)象的圖像中的被攝體人物的臉部位置和大小等。
臉部檢測(cè)部7進(jìn)行的臉部檢測(cè)處理可以例如通過使用對(duì)應(yīng)于臉部整體輪廓的基準(zhǔn)模板的模板匹配來檢測(cè)臉部。并且，臉部檢測(cè)部7也可以構(gòu)成為根據(jù)基于臉部構(gòu)成要素(眼睛、鼻子、耳朵等)的模板匹配來檢測(cè)臉部。并且，臉部檢測(cè)部7也可以構(gòu)成為通過色度鍵(Chroma key)處理來檢測(cè)頭發(fā)的頂點(diǎn)，根據(jù)該頂點(diǎn)檢測(cè)出臉部。并且，臉部檢測(cè)部7也可以構(gòu)成為檢測(cè)與膚色接近的區(qū)域并把該區(qū)域檢測(cè)為臉部。另外，臉部檢測(cè)部7也可以構(gòu)成為使用神經(jīng)網(wǎng)絡(luò)來進(jìn)行基于訓(xùn)練信號(hào)的學(xué)習(xí)，把象臉的區(qū)域檢測(cè)為臉部。此外，臉部檢測(cè)部7進(jìn)行的臉部檢測(cè)處理還可以利用其它已有的任何方法來實(shí)現(xiàn)。
((特征量獲取部))特征量獲取部8不論動(dòng)作狀態(tài)如何，對(duì)由臉部檢測(cè)部7檢測(cè)出的臉部配置多個(gè)特征點(diǎn)(特征點(diǎn)配置處理)。此時(shí)，特征量獲取部8把用于獲取個(gè)人識(shí)別特征量的特征點(diǎn)與用于獲取表情判斷特征量的特征點(diǎn)相區(qū)別來進(jìn)行配置。并且，特征量獲取部8以通過特征點(diǎn)配置處理所配置的特征點(diǎn)為基礎(chǔ)，獲取各個(gè)特征點(diǎn)的特征量作為該被攝體的臉部特征量(特征量獲取處理)。以下，說明特征點(diǎn)配置處理和特征量獲取處理。
另外，在特征點(diǎn)配置處理中，用于獲取表情判斷特征量的特征點(diǎn)的配置可以由用戶自由地設(shè)定。例如，在用戶特別在意眼睛附近的表情的情況下等，可以設(shè)定成在眼睛附近配置較多的特征點(diǎn)，使特征點(diǎn)的密度在眼睛附近較大。并且，例如在用戶只在意眼睛附近的表情的情況下等，可以設(shè)定成在眼睛附近配置較多特征點(diǎn)，而在其它器官附近完全不配置特征點(diǎn)。
(((特征點(diǎn)配置處理)))在特征點(diǎn)配置處理中，首先，特征量獲取部8檢測(cè)已檢測(cè)出的臉部的器官。所說的臉部器官例如指眼睛、鼻子、鼻孔、嘴(唇)、眉、下巴、額頭等。特征量獲取部8可以檢測(cè)任一臉部器官，也可以檢測(cè)多個(gè)器官。特征量獲取部8可以構(gòu)成為預(yù)先固定地設(shè)定應(yīng)該檢測(cè)哪個(gè)器官，也可以根據(jù)用戶設(shè)定的特征點(diǎn)的配置來變更將要檢測(cè)的器官。
另外，優(yōu)選使特征量獲取部8構(gòu)成為，檢測(cè)為了獲取個(gè)人識(shí)別特征量和表情判斷特征量所需的最小限度的器官。例如，在獲取個(gè)人識(shí)別特征量時(shí)的特征點(diǎn)的配置僅依賴于兩眼和嘴的情況下，通過特征量獲取部8檢測(cè)的臉部器官最小限度為兩眼和嘴。并且，在用戶期望僅獲取眼睛周圍的特征量作為表情判斷特征量的情況下，特征量獲取部8可以按照該指示的輸入，僅檢測(cè)眼睛作為器官。
然后，特征量獲取部8把所檢測(cè)出的臉部圖像轉(zhuǎn)換為灰度圖像。并且，特征量獲取部8根據(jù)所檢測(cè)出的臉部器官的位置關(guān)系，實(shí)施所檢測(cè)的臉部的圖像的角度規(guī)范化和尺寸規(guī)范化處理。把這些處理一并稱為預(yù)處理。并且，把圖像轉(zhuǎn)換為灰度的處理，可以在臉部檢測(cè)部7進(jìn)行的處理或特征點(diǎn)配置處理中的任意時(shí)刻進(jìn)行。
然后，特征量獲取部8根據(jù)所檢測(cè)的臉部器官(以下稱為“注視點(diǎn)”例如表示兩眼或嘴的中心的點(diǎn))的位置，來配置多個(gè)特征點(diǎn)。特征量獲取部8將特征點(diǎn)配置成越接近注視點(diǎn)則特征點(diǎn)越密、越遠(yuǎn)離注視點(diǎn)則特征點(diǎn)越稀。此時(shí)，特征量獲取部8在個(gè)人識(shí)別部10的處理尚未處理時(shí)，配置用于獲取個(gè)人識(shí)別特征量的特征點(diǎn)。另一方面，特征量獲取部8在個(gè)人識(shí)別部10的處理已完成時(shí)，配置用于獲取表情判斷特征量的特征點(diǎn)。在個(gè)人識(shí)別特征量和表情判斷特征量中，特征點(diǎn)被配置的位置不同。如果是個(gè)人識(shí)別特征量，則以容易產(chǎn)生個(gè)人差異的器官例如兩眼或嘴為中心來配置特征點(diǎn)。另一方面，如果是表情判斷特征量，則以容易產(chǎn)生表情變化的器官例如兩眼、眉或臉頰等為中心來配置特征點(diǎn)。并且，如果是表情判斷特征量，則如上面所述，也可以由用戶來設(shè)定特征點(diǎn)的配置。
圖2(a)是表示通過臉部檢測(cè)部7檢測(cè)的被攝體的臉部示例圖。圖2(b)是表示通過特征點(diǎn)配置處理所配置的多個(gè)特征點(diǎn)的示例圖。在圖2(b)中，涂黑的圓點(diǎn)表示注視點(diǎn)，陰影圓點(diǎn)表示根據(jù)注視點(diǎn)而配置的特征點(diǎn)。在以下說明的特征量獲取處理中，注視點(diǎn)也可以被作為特征點(diǎn)來處理。
這種特征點(diǎn)配置處理可以通過應(yīng)用例如以下論文中記載的Retina取樣來實(shí)現(xiàn)。
F.Smeraldiand J.Bigun，“Facial features detection by saccadicexploration of the Gabordecomposition”，International Conferenceon Image Processing，ICIP-98，Chicago，October 4-7，volume 3，pages163-167，1998。
(((特征量獲取處理)))在特征量獲取處理中，特征量獲取部8針對(duì)通過特征點(diǎn)配置處理所配置的各個(gè)特征點(diǎn)，利用伽柏濾波器進(jìn)行卷積(置み込む)。即，特征量獲取部8對(duì)各個(gè)特征點(diǎn)實(shí)施伽柏小波變換(Gabor WaveletsTransformationGWT)。圖3是在特征量獲取處理中使用的伽柏濾波器的示例(實(shí)部)。特征量獲取部8通過使用圖3所示的改變分辨率和方位的多個(gè)伽柏濾波器來進(jìn)行卷積，從而獲取特征點(diǎn)周邊的濃淡特征的周期性和方向性以作為特征量。
算式1是表示伽柏濾波器的算式。在使用伽柏濾波器時(shí)，通過改變算式中的k和θ的值，可以根據(jù)濃淡特征而獲取任意的周期性和方向性以作為特征量。
ψk,θ(x,y)=k2σ2cxp[-k2(x2+y2)2σ2]·]]>{exp[ik(xcosθ+ysinθ)]-exp(-σ22)}]]>特征量獲取部8在根據(jù)為了獲取個(gè)人識(shí)別特征量而配置的特征點(diǎn)來獲取特征量的情況下，把各特征點(diǎn)的特征量作為個(gè)人識(shí)別特征量提交給特征量存儲(chǔ)部9或個(gè)人識(shí)別部10。另一方面，特征量獲取部8在根據(jù)為了獲取表情判斷特征量而配置的特征點(diǎn)來獲取特征量的情況下，把各特征點(diǎn)的特征量作為表情判斷特征量提交給特征量存儲(chǔ)部9或表情判斷部11。
另外，特征量獲取部8在獲取個(gè)人識(shí)別特征量時(shí)，也可以對(duì)由臉部檢測(cè)部7檢測(cè)出的臉部中的所有滿足規(guī)定條件的臉部進(jìn)行處理。所說的規(guī)定條件指例如規(guī)定大小以上的臉部、規(guī)定位置(例如圖像中央的區(qū)域)、規(guī)定朝向(例如面向正面)的臉部等條件。并且，在攝像裝置1為攝像狀態(tài)的情況下，特征量獲取部8在獲取表情判斷特征量時(shí)，可以僅針對(duì)通過個(gè)人識(shí)別部10被判斷為處理對(duì)象的臉部的臉部來獲取特征量。所說的通過個(gè)人識(shí)別部10被判斷為處理對(duì)象的臉部，換言之，是指被判斷為該人物的表情判斷特征量被存儲(chǔ)在特征量存儲(chǔ)部9中的臉部。
((特征量存儲(chǔ)部))特征量存儲(chǔ)部9使用所謂的RAM或ROM等存儲(chǔ)裝置來構(gòu)成。特征量存儲(chǔ)部9也可以使用硬盤等其它存儲(chǔ)裝置來構(gòu)成。
圖4是表示特征量存儲(chǔ)部9存儲(chǔ)的表的示例圖。圖4(a)表示具有個(gè)人識(shí)別特征量的表的示例。并且，圖4(b)表示具有表情判斷特征量的表的示例。特征量存儲(chǔ)部9在攝像裝置1為登記狀態(tài)的情況下，將通過特征量獲取部8獲取的個(gè)人識(shí)別特征量和表情判斷特征量與ID對(duì)應(yīng)起來進(jìn)行存儲(chǔ)。此時(shí)，特征量存儲(chǔ)部9將同一ID與從同一人物的臉部圖像獲取的個(gè)人識(shí)別特征量和表情判斷特征量對(duì)應(yīng)起來進(jìn)行存儲(chǔ)。因此，可以以ID為關(guān)鍵字(Key)，獲取同一人物的個(gè)人識(shí)別特征量和表情判斷特征量。
圖5是表示特征量存儲(chǔ)部9存儲(chǔ)的個(gè)人識(shí)別特征量的示例圖。在圖5(a)、(c)中，作為個(gè)人識(shí)別特征量的具體例，將在各個(gè)特征點(diǎn)中通過上述伽柏濾波器的卷積而獲取的方向(方向性)和間隔(周期性)的值存儲(chǔ)在特征量存儲(chǔ)部9中。圖5(b)、(d)是表示分別作為圖5(a)、(c)所示的個(gè)人識(shí)別特征量的基礎(chǔ)的臉部示例圖。在垂直方向或水平方向上延伸的箭頭表示間隔，在傾斜方向上延伸的箭頭表示方向性。并且，圖6是表示特征量存儲(chǔ)部9存儲(chǔ)的表情判斷特征量的示例圖。在圖5、6中，雖然在相同特征點(diǎn)獲取特征量，但也可以在不同特征點(diǎn)獲取各自的特征量。并且，作為個(gè)人識(shí)別特征量，也可以構(gòu)成為只對(duì)在圖5(a)和(c)中特征量幾乎不變的特征點(diǎn)保持其值。即，可以只對(duì)特征量幾乎不因表情變化和攝影條件(照明程度等)變化而變化的特征點(diǎn)，存儲(chǔ)其特征量。相反，作為表情判斷特征量，可以只對(duì)特征量因該人物的表情變化而發(fā)生很大變化的特征點(diǎn)，存儲(chǔ)其特征量。例如，鼻子部分的特征量幾乎不因表情變化而變化，所以可以作為個(gè)人識(shí)別特征量來存儲(chǔ)。并且，例如嘴部分的特征量因表情變化而發(fā)生很大變化，所以可以作為表情判斷特征量來存儲(chǔ)。
特征量存儲(chǔ)部9針對(duì)各個(gè)ID對(duì)應(yīng)存儲(chǔ)多個(gè)個(gè)人識(shí)別特征量和表情判斷特征量。在圖4的示例中，特征量存儲(chǔ)部9對(duì)于個(gè)人識(shí)別特征量和表情判斷特征量中的任意一個(gè)，都是一個(gè)ID分別存儲(chǔ)3個(gè)。對(duì)應(yīng)一個(gè)ID而存儲(chǔ)的各個(gè)特征量的數(shù)量不必限定為3個(gè)。并且，對(duì)應(yīng)一個(gè)ID而存儲(chǔ)的個(gè)人識(shí)別特征量和表情判斷特征量的數(shù)量也不一定相同。
特征量存儲(chǔ)部9在攝像裝置1為攝像狀態(tài)的情況下，針對(duì)來自個(gè)人識(shí)別部10或表情判斷部11的要求，提交必要的個(gè)人識(shí)別特征量或表情判斷特征量的數(shù)據(jù)。
((個(gè)人識(shí)別部))個(gè)人識(shí)別部10與攝像裝置1的動(dòng)作狀態(tài)無關(guān)地進(jìn)行動(dòng)作。個(gè)人識(shí)別部10在由攝像部2所攝像的圖像中使用通過特征量獲取部8獲取的個(gè)人識(shí)別特征量和存儲(chǔ)在特征量存儲(chǔ)部9中的個(gè)人識(shí)別特征量，由此對(duì)該圖像中被攝像的人進(jìn)行辨識(shí)處理。換言之，個(gè)人識(shí)別部10獲取與作為處理對(duì)象的圖像中被攝像的人對(duì)應(yīng)的ID。
具體來講，個(gè)人識(shí)別部10通過對(duì)從攝像圖像中獲取的個(gè)人識(shí)別特征量和存儲(chǔ)在特征量存儲(chǔ)部9中的各個(gè)人識(shí)別特征量進(jìn)行比較(圖形匹配)，針對(duì)各個(gè)人識(shí)別特征量獲取其類似度。然后，個(gè)人識(shí)別部10選擇其類似度最高而且其類似度超過閾值的個(gè)人識(shí)別符，獲取與該個(gè)人識(shí)別符對(duì)應(yīng)的ID。在針對(duì)各個(gè)人識(shí)別特征量所獲取的類似度都沒有超過閾值的情況下，個(gè)人識(shí)別部10判斷為與作為處理對(duì)象的臉部的人物對(duì)應(yīng)的ID或個(gè)人識(shí)別特征量沒有被存儲(chǔ)在特征量存儲(chǔ)部9中。該閾值是根據(jù)經(jīng)驗(yàn)而獲得的值，可以由用戶和設(shè)計(jì)者自由設(shè)定。
并且，個(gè)人識(shí)別部10也可以通過使用以下文獻(xiàn)記載的技術(shù)，進(jìn)行辨識(shí)處理。
栗田 多喜夫，“顔検出 顔認(rèn)識(shí)のための統(tǒng)計(jì)的手法”，[平成16年9月27日検索]，インタ一礻ツト<URLhttp:∥www.neurosci.aist.go.jp/～kurita/lecture/statface.pdf>
福井和広(株式會(huì)社東芝)，“ユ一ザインタ一フエ一スにおける顔畫像認(rèn)識(shí)”，SSII2000 Tutorial Lectures，Page18-32((表情判斷部))表情判斷部11在攝像裝置1為攝像狀態(tài)時(shí)進(jìn)行動(dòng)作。表情判斷部11判斷由攝像部2攝像的圖像中包含的人臉中、通過個(gè)人識(shí)別部10獲取了ID的人臉的表情是否是用戶喜歡的表情。
具體來講，表情判斷部11對(duì)與通過個(gè)人識(shí)別部10獲取的ID對(duì)應(yīng)的表情判斷特征量和通過特征量獲取部8獲取的表情判斷特征量進(jìn)行比較(圖形匹配)，針對(duì)各表情判斷特征量獲取其類似度。然后，表情判斷部11算出所獲取的多個(gè)類似度的統(tǒng)計(jì)值(例如重心、平均值、合計(jì)值等)，并作為臉部統(tǒng)計(jì)值來獲取。表情判斷部11可以根據(jù)所獲取的臉部統(tǒng)計(jì)值是否超過閾值，來判斷該臉部表情是否是用戶喜歡的表情。例如，當(dāng)該臉部統(tǒng)計(jì)值超過閾值時(shí)，表情判斷部11可以判斷為該臉部表情是用戶喜歡的表情。該閾值是根據(jù)經(jīng)驗(yàn)而獲得的值，可以由用戶和設(shè)計(jì)者自由設(shè)定。
并且，表情判斷部11在檢測(cè)出了多個(gè)臉部的情況下，算出針對(duì)各個(gè)臉部所獲取的臉部統(tǒng)計(jì)值的統(tǒng)計(jì)值，并作為圖像統(tǒng)計(jì)值來獲取。并且，可以根據(jù)該圖像統(tǒng)計(jì)值是否超過閾值，來判斷該圖像是否是包含用戶喜歡的表情的圖像。另外，表情判斷部11在所檢測(cè)出的臉部為一個(gè)時(shí)，也可以不獲取圖像統(tǒng)計(jì)值，而只根據(jù)該臉部的臉部統(tǒng)計(jì)值來進(jìn)行與閾值的比較處理。并且，表情判斷部11可以把圖像統(tǒng)計(jì)值最大的圖像判斷為最佳圖像。
并且，表情判斷部11也可以通過使用以下文獻(xiàn)記載的技術(shù)，進(jìn)行判斷處理。
磁道 羲典，“並列砂時(shí)計(jì)型ニユ一ラル礻ツトワ一クを用いた顔畫像からの感情抽出”，[平成16年10月05日検索]，インタ一礻ツト<URLhttp//www.chi.its.Hiroshima-cu.ac.jp/abstract/pdf/2001/ishida 2001.pdf>
(圖像存儲(chǔ)部)圖像存儲(chǔ)部5存儲(chǔ)并管理由攝像部2攝像的圖像或通過圖像輸入部3輸入到攝像裝置1中的圖像。所說的通過圖像輸入部3輸入的圖像，指例如從未圖示的信息處理裝置通過接口傳送的圖像或從未圖示的記錄介質(zhì)等中讀出的圖像等。圖像存儲(chǔ)部5使用所謂的ROM來構(gòu)成。
(顯示部)顯示部6使用液晶顯示器或EL顯示器(Electro LuminescenceDisplay)等圖像輸出裝置來構(gòu)成。顯示部6顯示例如存儲(chǔ)在圖像存儲(chǔ)部5中的圖像或由攝像部2攝像的圖像等。
(動(dòng)作例)
以下，說明攝像裝置1的動(dòng)作例。圖7是表示登記狀態(tài)下的攝像裝置1的動(dòng)作例的流程圖。首先，使用圖7說明登記狀態(tài)下的攝像裝置1的動(dòng)作例。通過用戶操作未圖示的輸入裝置，選擇包括有用戶滿意的臉部的圖像(登記對(duì)象圖像)(S01)。此時(shí)，用戶可以從由攝像部2攝像的圖像、通過圖像輸入部3輸入的圖像、已經(jīng)輸入到攝像裝置1并存儲(chǔ)在圖像存儲(chǔ)部5中的圖像中，選擇登記對(duì)象圖像。
然后，臉部檢測(cè)部7從用戶選擇的登記對(duì)象圖像中檢測(cè)人臉(S02)。此時(shí)，臉部檢測(cè)部7的檢測(cè)結(jié)果被顯示在顯示部6上。圖8是表示此時(shí)的顯示例的圖。例如，當(dāng)從登記對(duì)象圖像中檢測(cè)到3個(gè)人的臉時(shí)，對(duì)所檢測(cè)到的3個(gè)人臉，顯示臉部矩形。用戶可以一面觀看該顯示一面使用未圖示的輸入裝置，選擇一個(gè)或多個(gè)對(duì)其表情滿意的臉部(登記對(duì)象臉部)(S03)。
用戶選擇了登記對(duì)象臉部后，特征量獲取部8對(duì)所選擇的登記對(duì)象臉部執(zhí)行注視點(diǎn)的檢測(cè)和預(yù)處理(S04)。并且，特征量獲取部8根據(jù)注視點(diǎn)的位置進(jìn)行特征點(diǎn)的配置(S05)，獲取個(gè)人識(shí)別特征量和表情判斷特征量(S06)?？梢杂捎脩魜磉x擇是僅獲取(登記)特征量中的一方還是獲取(登記)兩方。并且，特征量存儲(chǔ)部9將對(duì)應(yīng)于用戶指定的人物的ID與通過特征量獲取部8獲取的個(gè)人識(shí)別特征量和/或表情判斷特征量對(duì)應(yīng)起來進(jìn)行存儲(chǔ)(S07)。此時(shí)，在沒有與用戶指定的人物對(duì)應(yīng)的ID的情況下，特征量存儲(chǔ)部9對(duì)應(yīng)新的ID來存儲(chǔ)特征量。
下面，說明攝像狀態(tài)下的攝像裝置1的動(dòng)作例。圖9、圖10是表示攝像狀態(tài)下的攝像裝置1的動(dòng)作例的流程圖。當(dāng)用戶命令了開始攝像時(shí)(例如，當(dāng)快門被釋放時(shí)，S08為“是”)，攝像部2進(jìn)行攝像(S09)。然后，臉部檢測(cè)部7從由攝像部2攝像的圖像中檢測(cè)人臉(S10)。此時(shí)，在臉部檢測(cè)部7連一個(gè)人臉也沒有檢測(cè)到的情況下(S11為“否”)，進(jìn)行S22的判斷處理。關(guān)于S22的判斷處理將在后面敘述。
另一方面，在臉部檢測(cè)部7檢測(cè)到一個(gè)或一個(gè)以上人臉時(shí)(S11為“是”)，特征量獲取部8對(duì)所檢測(cè)到的一個(gè)臉部獲取個(gè)人識(shí)別特征量(S12)。并且，個(gè)人識(shí)別部10使用通過特征量獲取部8所獲取的個(gè)人識(shí)別特征量和存儲(chǔ)在特征量存儲(chǔ)部9中的各個(gè)人識(shí)別特征量，來識(shí)別所檢測(cè)出的臉部的人物，獲取該人物的ID(S13)。在該人物不是登記者的情況下，換言之，未能獲取該人物的ID的情況下，即，有關(guān)該人物的個(gè)人識(shí)別特征量或表情識(shí)別特征量沒有被存儲(chǔ)在特征量存儲(chǔ)部9中的情況下(S14為“否”)，進(jìn)行S18的判斷處理。關(guān)于S18的判斷處理將在后面敘述。
另一方面，在該人物是登記者的情況下，換言之，獲取了該人物的ID的情況下，即，有關(guān)該人物的個(gè)人識(shí)別特征量或表情識(shí)別特征量被存儲(chǔ)在特征量存儲(chǔ)部9中的情況下(S14為“是”)，特征量獲取部8獲取關(guān)于該臉部的表情識(shí)別特征量(S15)。然后，表情判斷部11從特征量存儲(chǔ)部9中獲取與該人物的ID對(duì)應(yīng)起來存儲(chǔ)的表情識(shí)別特征量(S16)。并且，表情判斷部11通過使用從特征量存儲(chǔ)部9中獲取的表情判斷特征量和通過特征量獲取部8從圖像中獲取的表情判斷特征量，獲取各個(gè)特征點(diǎn)的類似度，得到臉部統(tǒng)計(jì)值(S17)。表情判斷部11存儲(chǔ)該臉部統(tǒng)計(jì)值。
然后，表情判斷部11判斷是否已經(jīng)結(jié)束了針對(duì)通過臉部檢測(cè)部7檢測(cè)出的所有臉部進(jìn)行S12～S17的處理(S18)。該判斷處理例如可以通過由表情判斷部11獲取由臉部檢測(cè)部7檢測(cè)出的臉部總數(shù)，將該數(shù)與自身所存儲(chǔ)的臉部統(tǒng)計(jì)值的總數(shù)進(jìn)行比較來實(shí)施。
在S18的判斷處理中，在判斷為尚未結(jié)束針對(duì)所檢測(cè)出的所有臉部的處理的情況下(S18為“否”)，對(duì)尚未進(jìn)行處理的臉部執(zhí)行從S12開始的處理。另一方面，在判斷為已結(jié)束針對(duì)檢測(cè)出的所有臉部的處理的情況下(S18為“是”)，表情判斷部11使用自身所存儲(chǔ)的臉部統(tǒng)計(jì)值獲取圖像統(tǒng)計(jì)值(S19)。表情判斷部11判斷該圖像統(tǒng)計(jì)值是否超過閾值(S20)。在圖像統(tǒng)計(jì)值沒有超過閾值的情況下(S20為“否”)，進(jìn)行S22的判斷處理(結(jié)束判定)。在S22的判斷處理中，判斷是否已經(jīng)結(jié)束了對(duì)規(guī)定數(shù)量的圖像進(jìn)行S10及S10以后的處理。該判斷處理可以這樣進(jìn)行，即，臉部檢測(cè)部7對(duì)作為臉部檢測(cè)處理的對(duì)象的圖像數(shù)進(jìn)行計(jì)數(shù)，在該圖像數(shù)達(dá)到了規(guī)定數(shù)量的時(shí)刻將該情況傳達(dá)給表情判斷部11，從而由表情判斷部11來進(jìn)行判斷。此外，也可以通過某種設(shè)定來實(shí)現(xiàn)該判斷處理(結(jié)束判定)。例如，可以不根據(jù)作為臉部檢測(cè)處理的對(duì)象的圖像數(shù)，而根據(jù)由攝像部2攝像的圖像張數(shù)或攝像部2執(zhí)行攝像的時(shí)間，來進(jìn)行結(jié)束判定。具體來講，可以在判斷為攝像部2已攝像了規(guī)定數(shù)量的圖像時(shí)結(jié)束攝像，也可以在判斷為攝像部2已執(zhí)行了規(guī)定時(shí)間的攝像處理時(shí)結(jié)束攝像。
在尚未結(jié)束規(guī)定數(shù)量的圖像的處理的情況下(S22為“否”)，進(jìn)行S09及S09以后的處理。另一方面，在已經(jīng)結(jié)束了規(guī)定數(shù)量的圖像的處理的情況下(S22為“是”)，結(jié)束攝像裝置1的處理。此時(shí)，攝像裝置1也可以通過顯示部6等將獲取滿意圖像已失敗的情況傳達(dá)給用戶。
另一方面，在圖像統(tǒng)計(jì)值超過閾值的情況下(S20為“是”)，圖像存儲(chǔ)部5把當(dāng)前成為處理對(duì)象的圖像作為輸出用圖像來進(jìn)行存儲(chǔ)(S21)。并且，攝像裝置1的處理結(jié)束。因此，可以說關(guān)于某個(gè)圖像的圖像統(tǒng)計(jì)值是否超過閾值的判斷也是上述結(jié)束判定的一部分。此時(shí)，攝像裝置1也可以通過顯示部6等將已成功獲取了滿意圖像的情況傳達(dá)給用戶。例如，攝像裝置1通過在顯示部6顯示所獲取的輸出用圖像，將成功信息傳達(dá)給用戶。
(作用/效果)一般，對(duì)用戶進(jìn)行的一次攝像指示，攝像裝置只攝像一張圖像。因此，所攝像的圖像中是否含有用戶喜歡的表情的臉部，依賴于用戶進(jìn)行的攝像指示的定時(shí)。換言之，攝像圖像中是否含有用戶喜歡的表情的臉部，依賴于進(jìn)行攝像的用戶的技能。對(duì)此，根據(jù)攝像裝置1，針對(duì)用戶進(jìn)行的一次攝像指示，自動(dòng)攝像多個(gè)圖像。然后，對(duì)所攝像的各個(gè)圖像，以圖像統(tǒng)計(jì)值這樣的值為基準(zhǔn)來判斷是否含有用戶喜歡的表情的臉部。并且，只把被判斷為含有用戶喜歡的表情的臉部的圖像作為輸出用圖像存儲(chǔ)在圖像存儲(chǔ)部5中。因此，用戶不必瞄準(zhǔn)可以攝像表情滿意的臉部的瞬間來進(jìn)行攝像指示。換言之，與用戶進(jìn)行攝像指示的定時(shí)無關(guān)，當(dāng)在該指示之后出現(xiàn)了用戶喜歡的表情時(shí)，把此時(shí)的圖像作為輸出用圖像進(jìn)行存儲(chǔ)。因此，用戶通過使用攝像裝置1來進(jìn)行攝像，與自身(攝像者)的技能無關(guān)，可以攝像包含有喜歡的臉部的圖像。并且，在使用攝像裝置1進(jìn)行攝像時(shí)，即使在用戶請(qǐng)求他人來實(shí)施攝像的情況下，也能夠與該他人的技能無關(guān)，自動(dòng)攝像含有用戶喜歡的表情的圖像。
并且，一般數(shù)字照相機(jī)等攝像裝置所具有的顯示器非常小。因此，通過用眼睛觀察顯示在該顯示器上的圖像，來判斷所攝像的圖像中包含的臉部的表情是否是用戶喜歡的表情并非容易之事。例如，雖然可以通過將圖像放大顯示來判斷各個(gè)表情，但是如果攝像對(duì)象的人數(shù)眾多，則進(jìn)行該判斷所需要的操作量和時(shí)間增加，對(duì)用戶來說成為非常煩雜的作業(yè)。另一方面，如果此時(shí)未能攝像包含喜歡的表情的圖像，因?yàn)榭梢灾匦聰z像，所以存在用戶想要馬上知道是否已經(jīng)攝像了包括喜歡的表情的圖像的情況。針對(duì)這種要求，攝像裝置1在未能攝像包含有用戶喜歡的表情的圖像的情況下，將該信息顯示在顯示部6上。因此，用戶不需要通過眼睛觀察所攝像的圖像來判斷是否應(yīng)該重新拍攝，而能夠根據(jù)上述顯示馬上判斷是否需要重拍。
另外，實(shí)際情況是各個(gè)用戶所喜歡的表情不同。有喜歡嚴(yán)肅的表情的用戶，也有喜歡笑臉表情的用戶。此外，雖說是笑臉表情，但有喜歡閉著嘴微笑的表情的用戶，也有喜歡露出潔白牙齒的表情的用戶。因此，在攝像裝置中預(yù)先定義了“好的表情”的情況下，實(shí)際上要對(duì)應(yīng)用戶真正喜歡的表情是比較困難的。
對(duì)此，在攝像裝置1中，通過把攝像裝置1設(shè)定為登記狀態(tài)，用戶可以自己選擇登記喜歡的表情。此時(shí)，用戶作出自己喜歡的表情并利用攝像部2攝像自己，由此可以登記喜歡的表情。并且，用戶也可以通過圖像輸入部3將包含有喜歡的表情的圖像輸入到攝像裝置1中。并且，用戶也可以從存儲(chǔ)在圖像存儲(chǔ)部5中的圖像(已經(jīng)通過攝像部2攝像的圖像、已經(jīng)通過圖像輸入部3輸入的圖像)中選擇包含有喜歡的表情的圖像，從而進(jìn)行登記。因?yàn)閿z像裝置1具有這種結(jié)構(gòu)，所以能夠?qū)γ總€(gè)用戶喜歡的臉部表情進(jìn)行判斷。
并且，根據(jù)攝像裝置1，被判斷為不包含用戶喜歡的表情的臉部的圖像，即對(duì)用戶而言不需要的圖像不會(huì)被存儲(chǔ)在圖像存儲(chǔ)部5中。所以，能夠節(jié)約圖像存儲(chǔ)部5的存儲(chǔ)容量。
(變形例)
在上述說明中，攝像裝置1在圖像統(tǒng)計(jì)值超過閾值的時(shí)刻存儲(chǔ)該圖像并結(jié)束攝像處理，但也可以構(gòu)成為在攝像數(shù)達(dá)到規(guī)定數(shù)之前繼續(xù)攝像處理。該情況下，攝像裝置1可以構(gòu)成為只把其中的獲得了最好(最高)圖像統(tǒng)計(jì)值的一個(gè)圖像作為輸出用圖像進(jìn)行存儲(chǔ)，也可以構(gòu)成為把圖像統(tǒng)計(jì)值超過閾值的所有(或其中一部分)圖像作為輸出用圖像進(jìn)行存儲(chǔ)。
并且，攝像裝置1也可以構(gòu)成為對(duì)通過臉部檢測(cè)部7檢測(cè)出的各個(gè)臉部設(shè)定優(yōu)先順序，把優(yōu)先順序最高的臉部的臉部統(tǒng)計(jì)值最高的圖像作為輸出用圖像進(jìn)行存儲(chǔ)。該優(yōu)先順序可以與ID對(duì)應(yīng)起來預(yù)先存儲(chǔ)在特征量存儲(chǔ)部9中，也可以在每次攝像時(shí)由用戶設(shè)定，還可以由臉部檢測(cè)部7等根據(jù)圖像來判斷。在由臉部檢測(cè)部7等來判斷優(yōu)先順序的情況下，可以根據(jù)最大的臉部、最接近圖像中央的臉部或面向正面的臉部等某個(gè)基準(zhǔn)來進(jìn)行判斷。此時(shí)，可以由用戶或設(shè)計(jì)者選擇根據(jù)哪個(gè)基準(zhǔn)來設(shè)定優(yōu)先順序。
并且，攝像裝置1也可以構(gòu)成為在下述情況下開始作為攝像狀態(tài)的動(dòng)作(圖9、圖10的流程圖所示的動(dòng)作)取景(構(gòu)図)未變化達(dá)一定時(shí)間以上的情況下，或快門按鈕被按下一半達(dá)一定時(shí)間以上的情況下，或用戶的手指接觸快門按鈕或位于一定距離內(nèi)的情況下等。另外，可以通過在快門按鈕中使用預(yù)接觸傳感器等來判斷對(duì)于用戶的手指是否接觸快門按鈕或是否位于一定距離內(nèi)。在這樣構(gòu)成的情況下，攝像裝置1也可以構(gòu)成為在快門按鈕未被最終按下的情況下，通過該動(dòng)作全部刪除存儲(chǔ)在圖像存儲(chǔ)部5中的輸出用圖像。
權(quán)利要求
1.一種攝像裝置，其特征在于，具有攝像單元，其按照用戶的一個(gè)攝像指示，對(duì)多個(gè)圖像進(jìn)行電子攝像；檢測(cè)單元，其從用戶選擇的圖像或所攝像的圖像中檢測(cè)人臉；獲取單元，其從所檢測(cè)出的臉部獲取圖像的特征量；存儲(chǔ)單元，其存儲(chǔ)所述特征量中的從所述用戶選擇的圖像中所獲取的特征量；判定單元，其把通過所述攝像單元攝像的多個(gè)圖像的一部分或全部作為處理對(duì)象，對(duì)存儲(chǔ)在所述存儲(chǔ)單元中的特征量與從所攝像的各個(gè)圖像中獲取的特征量進(jìn)行比較，判定其類似程度；以及記錄單元，其在所述判定的結(jié)果為兩個(gè)特征量類似的情況下，把該攝像的圖像作為輸出用圖像進(jìn)行記錄。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，還具有控制單元，其進(jìn)行所述攝像單元的攝像處理的結(jié)束判定，所述攝像單元在所述控制單元判定為結(jié)束攝像處理的情況下，結(jié)束該攝像處理。
3.根據(jù)權(quán)利要求1或2所述的攝像裝置，其特征在于，所述獲取單元從所檢測(cè)出的臉部檢測(cè)臉部器官，根據(jù)所檢測(cè)出的器官位置來配置多個(gè)特征點(diǎn)，通過獲取各個(gè)特征點(diǎn)的圖像特征量來獲取所述特征量。
4.根據(jù)權(quán)利要求1或2所述的攝像裝置，其特征在于，還具有針對(duì)所檢測(cè)出的臉部來識(shí)別個(gè)人的個(gè)人識(shí)別單元，所述獲取單元分別獲取用于針對(duì)所檢測(cè)出的臉部來確定個(gè)人的個(gè)人識(shí)別特征量和用于判斷所檢測(cè)出的臉部的表情的表情判斷特征量，所述存儲(chǔ)單元將從同一人物的臉部獲取的所述個(gè)人識(shí)別特征量與所述表情判斷特征量對(duì)應(yīng)起來進(jìn)行存儲(chǔ)，所述個(gè)人識(shí)別單元使用存儲(chǔ)在所述存儲(chǔ)單元中的個(gè)人識(shí)別特征量和從所攝像的圖像中獲取的個(gè)人識(shí)別特征量，針對(duì)從該攝像的圖像中檢測(cè)出的臉部來識(shí)別個(gè)人，所述判定單元對(duì)與所述所確定的個(gè)人的個(gè)人識(shí)別特征量對(duì)應(yīng)起來存儲(chǔ)在所述存儲(chǔ)單元中的表情判斷特征量和從所述所攝像的圖像中獲取的表情判斷特征量進(jìn)行比較，判定其類似程度。
5.根據(jù)權(quán)利要求3所述的攝像裝置，其特征在于，還具有針對(duì)所檢測(cè)出的臉部來識(shí)別個(gè)人的個(gè)人識(shí)別單元，所述獲取單元分別獲取用于針對(duì)所檢測(cè)出的臉部來確定個(gè)人的個(gè)人識(shí)別特征量和用于判斷所檢測(cè)出的臉部的表情的表情判斷特征量，所述存儲(chǔ)單元將從同一人物的臉部獲取的所述個(gè)人識(shí)別特征量與所述表情判斷特征量對(duì)應(yīng)起來進(jìn)行存儲(chǔ)，所述個(gè)人識(shí)別單元使用存儲(chǔ)在所述存儲(chǔ)單元中的個(gè)人識(shí)別特征量和從所攝像的圖像中獲取的個(gè)人識(shí)別特征量，針對(duì)從該攝像的圖像中檢測(cè)出的臉部來識(shí)別個(gè)人，所述判定單元對(duì)與所述所確定的個(gè)人的個(gè)人識(shí)別特征量對(duì)應(yīng)起來存儲(chǔ)在所述存儲(chǔ)單元中的表情判斷特征量和從所述所攝像的圖像中獲取的表情判斷特征量進(jìn)行比較，判定其類似程度。
6.一種攝像方法，其特征在于，包括信息處理裝置從用戶所選擇的圖像中檢測(cè)人臉的步驟，該信息處理裝置包括對(duì)圖像進(jìn)行電子攝像的攝像單元、存儲(chǔ)從圖像中獲取的特征量的存儲(chǔ)單元和記錄通過所述攝像單元攝像的圖像的記錄單元；所述信息處理裝置從所述用戶所選擇的圖像的臉部獲取圖像特征量的步驟；所述信息處理裝置把從所述用戶所選擇的圖像中獲取的特征量存儲(chǔ)在所述存儲(chǔ)單元中的步驟；所述信息處理裝置按照用戶的一個(gè)攝像指示，指示所述攝像單元攝像多個(gè)圖像的步驟；所述信息處理裝置按照所述用戶的攝像指示，從所攝像的圖像中檢測(cè)人臉的步驟；所述信息處理裝置按照所述用戶的攝像指示，從所攝像的圖像的臉部獲取圖像特征量的獲取步驟；所述信息處理裝置對(duì)存儲(chǔ)在所述存儲(chǔ)單元中的特征量與按照所述用戶的攝像指示從所攝像的圖像中獲取的特征量進(jìn)行比較，判定其類似程度的步驟；以及所述信息處理裝置在所述判定的結(jié)果為兩個(gè)特征量類似的情況下，把該攝像的圖像作為輸出用圖像記錄在所述記錄單元中的步驟。
全文摘要
本發(fā)明提供一種能夠容易地?cái)z像與用戶的各種喜好對(duì)應(yīng)的表情的被攝體的裝置等。存儲(chǔ)單元預(yù)先把從包含有各種用戶喜歡的表情的臉部的圖像(由用戶所選擇的圖像)中獲取的特征量，作為表情判斷特征量進(jìn)行存儲(chǔ)。在攝像時(shí)，攝像單元按照用戶的一個(gè)攝像指示，攝像多個(gè)圖像。判定單元對(duì)預(yù)先存儲(chǔ)的表情判斷特征量與從所攝像的各個(gè)圖像的臉部獲取的表情判斷特征量進(jìn)行比較，判定其類似程度。并且，把包含有被判斷為表情判斷特征量類似的臉部的圖像作為輸出用圖像進(jìn)行記錄。
文檔編號(hào)H04N5/76GK1764238SQ20051010915
公開日2006年4月26日 申請(qǐng)日期2005年10月18日 優(yōu)先權(quán)日2004年10月18日
發(fā)明者松岡美希, 清水敦 申請(qǐng)人:歐姆龍株式會(huì)社