專利名稱：照相機、圖像顯示裝置和圖像顯示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及照相機、圖像顯示裝置、圖像顯示方法以及程序，詳細地說，涉及具有顯示部的照相機的改進。
背景技術(shù)：
近年，隨著互聯(lián)網(wǎng)的普及，用戶常常利用網(wǎng)上拍賣來買賣不需要的物品。在該情況下，使用數(shù)字照相機拍攝衣服等展出品，將該數(shù)字圖像上傳到網(wǎng)上，進行展出品的介紹。并且，年輕女性通常利用網(wǎng)上的服務(wù)，使自己的化身等試穿上喜歡的衣服的圖像，從是否適合自己的虛擬試穿中享受快樂。以往提出了各種在試穿衣服的情況下的模擬。例如，在專利文獻I中公開了這樣的圖像合成裝置:可自動或通過簡單操作進行衣服模擬等肖像圖像的合成，即使沒有熟練的操作者也能進行。并且，在專利文獻2中公開了一種以簡單結(jié)構(gòu)自然且沒有不協(xié)調(diào)感地進行圖像合成的試穿模擬系統(tǒng)。在該試穿模擬系統(tǒng)中，通過圖像輸入單元從所拍攝的試穿模擬對象人物的圖像中剪切掉臉部，替換成穿上期望衣服的模型的圖像的臉部。由于存儲有多個穿著衣服的圖像數(shù)據(jù)，因而通過拍攝對象人物的圖像，容易檢索適于該對象人物的衣服。專利文獻I日本特開平10- 222649號公報專利文獻2日本特開平11- 213139號公報盡管提出了用于進行衣服相關(guān)模擬的種種裝置，然而未提出針對衣服替換人物的模擬。即，專利文獻I公開的圖像合成裝置是親自選擇各個臉圖像和服裝圖像等，并將這些圖像進行合成。并且，在專利文獻2公開的試穿模擬系統(tǒng)中，使對象人物換穿衣服。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述情況而作成的，本發(fā)明的目的是提供一種可針對衣服圖像替換人物、并可簡單檢索最適于該衣服的人物的照相機、圖像顯示裝置、圖像顯示方法以及程序。為了達到上述目的，本發(fā)明第I方面涉及的照相機具有:攝像部，其輸出被攝體的圖像數(shù)據(jù)；顯示部，其根據(jù)上述圖像數(shù)據(jù)顯示上述被攝體；指定部，其用于在取得上述被攝體的上述圖像數(shù)據(jù)時，使上述被攝體的一部分對位；以及記錄部，其將由上述指定部所指定的部分與上述被攝體一起記錄。本發(fā)明第2方面涉及的照相機，在上述第I方面中，上述指定部具有疊加在上述顯示部的畫面上的模板。 本發(fā)明第3方面涉及的照相機具有:攝像部，其輸出被攝體的圖像數(shù)據(jù)；顯示部，其根據(jù)上述圖像數(shù)據(jù)顯示上述被攝體；顯示控制部，其將模板疊加在上述顯示部上來顯示，該模板用于在取得上述被攝體的上述圖像數(shù)據(jù)時，使上述被攝體的一部分對位；以及記錄部，其記錄上述被攝體的圖像數(shù)據(jù)。本發(fā)明第4方面涉及的照相機，在上述第3方面中，上述記錄部將顯示上述模板并記錄上述被攝體的圖像數(shù)據(jù)的信息作為攝影信息來記錄。本發(fā)明第5方面涉及的照相機，在上述第3方面中，該照相機具有對上述被攝體進行分類的圖像分類部，上述記錄部記錄上述分類部對被攝體的分類。本發(fā)明第6方面涉及的照相機，在上述第5方面中，上述圖像分類部能至少分類出衣服。本發(fā)明第7方面涉及的照相機具有:攝像部，其輸出被攝體的圖像數(shù)據(jù)；顯示部，其根據(jù)上述圖像數(shù)據(jù)顯示上述被攝體；指定部，其用于在取得上述被攝體的上述圖像數(shù)據(jù)時，使上述被攝體的一部分對位；記錄部，其將由上述指定部所指定的部分與上述被攝體一起記錄；以及檢索部，其從記錄在上述記錄部內(nèi)的圖像數(shù)據(jù)中檢索人物圖像。本發(fā)明第8方面涉及的照相機，在上述第7方面中，上述指定部對顯示在上述顯示部的畫面上的臉圖像的部分進行對位。本發(fā)明第9方面涉及的照相機，在上述第7方面中，上述檢索部使用預(yù)先存儲的合成用的模板的臉部的、或者所取得的合成用臉圖像的臉的大小、方向、角度信息，從記錄在上述記錄部內(nèi)的多個被攝體像中檢索基本上一致度高的臉圖像，該照相機還具有圖像合成部，該圖像合成部將上述合成用的模板的臉部、或者合成用臉圖像與由上述檢索部所檢索的臉圖像進行合成。本發(fā)明第10方面涉及的照相機，在上述第9方面中，上述圖像合成部這樣進行圖像合成:去除上述合成用模板的臉部、或者上述合成用臉圖像的臉部，使由上述檢索部所檢索的圖像的臉部與該去除部分大致一致。本發(fā)明第11方面涉及的照相機具有:攝像部，其輸出被攝體的圖像數(shù)據(jù)；顯示部，其根據(jù)上述圖像數(shù)據(jù)顯示上述被攝體；記錄部，其記錄上述被攝體的圖像數(shù)據(jù)；圖像分類部，其能從記錄在上述記錄部內(nèi)的圖像中至少對關(guān)于衣服的圖像和關(guān)于人物的圖像進行分類；選擇部，其從由上述圖像分類部分類為衣服的圖像中進行選擇；檢索部，其從記錄在上述記錄部內(nèi)的圖像中檢索關(guān)于人物的圖像；圖像合成部，其將由上述檢索部所檢索的人物的臉部與由上述選擇部所選擇的衣服圖像進行合成；以及顯示部，其顯示由上述圖像合成部所合成的圖像。本發(fā)明第12方面涉及的圖像顯示裝置具有:記錄部，其記錄關(guān)于被攝體的圖像數(shù)據(jù)；圖像分類部，其能從記錄在上述記錄部內(nèi)的圖像中至少對關(guān)于衣服的圖像和關(guān)于人物的圖像進行分類；選擇部，其從由上述圖像分類部分類為衣服的圖像中進行選擇；檢索部，其從記錄在上述記錄部內(nèi)的圖像中檢索關(guān)于人物的圖像；圖像合成部，其將由上述檢索部所檢索的人物的臉部與由上述選擇部所選擇的衣服圖像進行合成；以及顯示部，其顯示由上述圖像合成部所合成的圖像。本發(fā)明第13方面涉及的圖像顯示方法，在該圖像顯示方法中，從記錄圖像中至少分類為關(guān)于衣服的圖像和關(guān)于人物的圖像；從上述所分類的圖像中選擇衣服圖像；從上述記錄圖像中檢索關(guān)于人物的圖像；將上述所檢索的人物的臉部與上述所選擇的衣服圖像進行圖像合成；以及顯示上述圖像合成后的圖像。本發(fā)明第14方面涉及的程序使計算機執(zhí)行以下:從記錄圖像中至少分類為關(guān)于衣服的圖像和關(guān)于人物的圖像；從上述所分類的圖像中選擇衣服圖像；從上述記錄圖像中檢索關(guān)于人物的圖像；將上述所檢索的人物的臉部與上述所選擇的衣服圖像進行圖像合成；以及顯示上述圖像合成后的圖像。根據(jù)本發(fā)明，可提供一種可針對衣服圖像替換人物、并可簡單檢索最適于該衣服的人物的照相機、圖像顯示裝置、圖像顯示方法以及程序。


圖1是示出本發(fā)明的一實施方式涉及的照相機中的電路的框圖。圖2是示出在本發(fā)明的一實施方式涉及的照相機中、在攝影時使用的模板的例子的圖。圖3是在本發(fā)明的一實施方式涉及的照相機中、將人物的圖像與所拍攝的衣服重合合成后的圖像。圖4是在本發(fā)明的一實施方式涉及的照相機中、將人物的圖像與所拍攝的衣服重合合成后的另一例子的圖像。圖5是示出本發(fā)明的一實施方式中的照相機中的照相機控制動作的流程圖。圖6是示出本發(fā)明的一實施方式中的照相機中的圖像分類動作的流程圖。圖7是說明在本發(fā)明的一實施方式涉及的照相機中、在進行圖像分類時使用的圖像信息的圖。圖8是示出在本發(fā)明的一實施方式涉及的照相機中的檢索結(jié)果顯示的變形例的圖。圖9是說明在本發(fā)明的一實施方式涉及的照相機中、用于取得臉圖像與衣服的匹配的人體模型的特征的圖。圖10是說明在本發(fā)明的一實施方式涉及的照相機中、用于取得臉圖像與衣服的匹配的人物圖像的臉特征的圖。標號說明1:圖像處理和控制部；lb:臉特征提取部；lc:臉位置和大小判定部；ld:圖像檢索部；Ie:局部去除部；2:攝像部；3:臉檢測部；4:記錄部；4b:關(guān)聯(lián)彳目息記錄部；5a:豐旲板部；5b:圖像合成部；6 呆作判定部；7:GPS:8:顯不控制部；8a:顯不部；8b:觸摸面板；9:時鐘部；10:照相機；12:通信部；21:模板；21a:臉部；21b:肩部；22:人體模型；22a:臉；22b:手；23:衣服；24:衣服；25:人物；26:人物；27:人物；31:臉輪廓；32:臉輪廓中心；33:臉陰影上下線；34:臉陰影中心；35:畫面上下線。
具體實施例方式以下，根據(jù)附圖，使用應(yīng)用了本發(fā)明的照相機來說明優(yōu)選的一實施方式。圖1是示出本發(fā)明的一實施方式涉及的照相機的電路的框圖。照相機10是數(shù)字照相機，由以下等構(gòu)成:圖像處理和控制部I，攝像部2，臉檢測部3，記錄部4，操作判定部6，GPS (GlobalPositioning System,全球定位系統(tǒng))7,顯不部8a,觸摸面板8b,時鐘部9,以及通信部12。
攝像部2包含攝影鏡頭、快門等的曝光控制部、攝像元件、攝像元件的驅(qū)動和讀出電路等，并通過攝像元件將由攝影鏡頭形成的被攝體像轉(zhuǎn)換成圖像數(shù)據(jù)。臉檢測部3根據(jù)由攝像部2所取得的圖像數(shù)據(jù)，判定在圖像中是否包含有臉部。攝像部2還能進行對焦，以使焦點對準在臉檢測部3中檢測出的臉部。圖像處理和控制部I根據(jù)所存儲的程序控制照相機10的整體順序。并且，取入從攝像部2輸出的圖像信號，進行疏化處理、邊緣強調(diào)、顏色校正、圖像壓縮等各種圖像處理，進行實時取景顯示、向記錄部4內(nèi)的記錄、再現(xiàn)顯示等圖像處理。在圖像處理和控制部I內(nèi)包含:臉特征提取部lb，臉位置和大小判定部lc，圖像檢索部ld，局部去除部le，模板部5a,圖像合成部5b，以及顯示控制部8。臉位置和大小判定部Ic判定由臉檢測部3檢測出的臉部的位置和大小。臉特征提取部Ib根據(jù)由臉檢測部3和臉位置和大小判定部Ic所判定的臉信息，提取臉特征。在臉特征提取部Ib內(nèi)預(yù)先存儲有家屬和朋友等的臉特征，也可判定是否與所存儲的特征一致。如后所述，在臉特征提取部Ib中，可以檢測臉面朝著的方向等特征。例如象僅拍攝衣服的情況那樣，也存在沒有臉部的圖像，因而在為這樣的被攝體時，模板部5a存儲用于決定合成時的基準的模板21 (參照圖2)。關(guān)于該模板，使用圖2在后面描述。如后所述，由于圖像數(shù)據(jù)被分類為衣服、快拍、風景等，并與臉特征等信息相關(guān)聯(lián)地存儲，因而圖像檢索部Id使用這些信息來進行圖像檢索。局部去除部Ie從圖像數(shù)據(jù)中去除相當于臉的部分等預(yù)定部分。這是為了防止在合成圖像時圖像重合。圖像合成部5以臉圖像為基準進行圖像合成，根據(jù)記錄在記錄部4內(nèi)的多個圖像數(shù)據(jù)，也使用由圖像檢索部Id檢索出、且由局部去除部Ie去除了局部的圖像，來進行圖像合成。顯示控制部8進行將在圖像合成部5b中所合成的圖像數(shù)據(jù)顯示在顯示部8上的控制。另外，作為顯示部8a上的顯示，除了所合成的圖像以外，還有攝影前的實時取景顯示、以及已記錄的圖像的再現(xiàn)顯示等。并且，顯示控制部8在實時取景顯示時，將模板21疊力口(superimpose)顯示在顯示部8a上。記錄部4記錄在通過釋放按鈕進行了攝影指示時、由攝像部2所取得、且由圖像處理和控制器I進行了圖像處理后的圖像數(shù)據(jù)。如上所述，關(guān)聯(lián)信息記錄部4b使圖像數(shù)據(jù)與分類信息以及臉特征等信息關(guān)聯(lián)起來，并存儲該關(guān)聯(lián)信息。并且，作為關(guān)聯(lián)信息，除了上述信息以外，還包含有通過后述的GPS7取得的攝影位置信息、以及通過時鐘部9取得的攝影日期時間信息等。操作判定部6包含釋放按鈕、再現(xiàn)模式設(shè)定按鈕、模板按鈕、換衣服模式按鈕、重做操作開關(guān)等各種操作部件，判定這些操作部件的操作狀態(tài)，將判定結(jié)果發(fā)送到圖像處理和控制部I。圖像處理和控制部I根據(jù)操作部件的操作狀態(tài)，按預(yù)定順序進行攝影和再現(xiàn)控制。GPS7測定照相機10的位置，如上所述在攝影時輸出攝影位置信息。另外，只要能測定位置，就不限于GPS，例如可以根據(jù)便攜電話的中繼站和熱點(hot spot)等的發(fā)送位置來判定位置。時鐘部9具有日歷功能和時鐘功能，如上所述在攝影時輸出攝影日期時間信息。這些攝影位置信息和攝影日期時間信息可在圖像整理和圖像檢索時利用。顯示部8a配置在照相機主體的背面等，并具有由液晶和有機EL等構(gòu)成的顯示畫面。如上所述，在顯示部8a中，除了顯示合成圖像以外，還進行實時取景顯示和再現(xiàn)圖像顯示等。在顯示部8a的顯示面上，以緊貼的方式設(shè)有觸摸面板Sb。觸摸面板Sb檢測用戶的觸摸位置等，將檢測結(jié)果發(fā)送到圖像處理和控制部I。圖像處理和控制部I根據(jù)觸摸結(jié)果，進行照相機控制。并且，在圖像檢索時，能在觸摸面板8b上觸摸的同時進行檢索。通信部12通過有線或無線(還包含紅外線等)與外部進行通信，能將照相機10所取得的圖像和合成圖像輸出到外部。例如，通過與作為外部裝置的大型電視機進行通信，可在大型電視機上觀賞由照相機10所拍攝的圖像和合成圖像，可供許多人欣賞。并且，通過與作為外部裝置的便攜電話進行通信，可將圖像發(fā)送給朋友等。下面，使用圖2至圖4來說明本實施方式中的照相機的使用。圖2是將在拍攝衣服時的模板顯示在攝影畫面內(nèi)的圖，圖3示出在拍攝衣服后與同一人物的臉合成后的合成圖像的例子，圖4示出與不同人物合成后的合成圖像的例子。圖2 (a)示出存儲在模板部5a內(nèi)的模板的例子。該圖2 (a)所示的模板21采用衣架型，并由人物的臉部21a和肩部21b構(gòu)成。通過沿著該模板21取得被攝體的構(gòu)圖，可拍攝容易合成的圖像。圖2 (b)示出不對照模板21拍攝了衣服23時的圖像。在該情況下，臉的位置或手的位置與衣服23的圖像不符，難以使人物重合來進行合成。另一方面，圖2 (C)示出對照模板21拍攝了衣服23時的圖像。在該情況下，由于容易相對于衣服23決定人物的頭和手的位置，因而可容易使人物與衣服23重合來獲得合成圖像。另外，用戶可選擇是否對照模板21來進行拍攝。并且，為了對照模板21來拍攝衣服23，只要在攝影時適當調(diào)整被攝體距離或焦距(變焦)即可。如圖2所示，當使用模板21拍攝了衣服23時，接下來使人物與該衣服23重疊來獲得合成圖像。通過使用模板21來拍攝，自然可知將臉配置在何處。并且，有時一起拍攝了桌子、墻壁等背景，在該情況下，除了與模板21重合的區(qū)域以外，認為不是主要被攝體(衣服)，可以從圖像中去除。具體地說，由于使用色度鍵合成等技術(shù)，因而可以將背景顏色作為特定顏色，對特定顏色的部分進行圖像處理，以將該特定顏色置換成不同圖像。當進行了這樣的圖像處理時，如圖3 (a) (d)所示，可對人物25穿著衣服23的圖像進行合成。在進行該圖像合成時，圖像檢索部Id從記錄在記錄部4內(nèi)的圖像中檢索包含有人臉的圖像，圖像合成部5對所檢索的圖像與拍攝了衣服23的圖像進行合成。使人物圖像的臉部位于模板21的臉部分，而且進行放大或縮小以使臉的大小一致。由此，如圖3所示，可將相同的人物25以各種表情和角度與穿著衣服23的圖像進行合成。合成圖像時也有不自然的圖像，然而通過多次合成，可獲得看起來自然的圖像。并且，要合成的人物25無需是同一人物。圖4 (a)、(b)是將衣服24與表情不同的同一人物25a進行了圖像合成的例子，圖4 (c)、(d)是將衣服24與不同的人物25b進行了圖像合成的例子。這樣，對于同一衣服23，可與表情不同的同一人物25a或不同人物25b進行圖像合成，并顯示在顯示部8a上，因而能使用不同圖像來驗證衣服是否是適合自己，并且還可以與他人進行比較。另外，在拍攝衣服時，還有不使用模板的方法。圖2 (d)是拍攝人體模型22穿著的衣服24的例子。在該情況下，由于與臉22a、手22b —起拍攝衣服24，因而即使不使用模板21，也能容易獲得與人物合成的合成圖像。通過檢測人體模型22的臉部，可以放大和縮小人物的臉圖像，并移動位置，以使臉的位置和大小等與檢測結(jié)果一致。下面，使用圖5所示的流程圖來說明本實施方式中的照相機控制動作。當進入了照相機控制流程時，首先判定電源是否接通(S100)。在該步驟中，判定作為照相機10的操作部件的電源開關(guān)是否接通，在電源開關(guān)斷開的情況下，結(jié)束照相機控制流程。另外，即使結(jié)束照相機控制流程，也檢測電源開關(guān)的狀態(tài)，當電源開關(guān)接通時，從步驟SlOO開始動作。在步驟SlOO中的判定結(jié)果是電源接通的情況下，接下來判定是否是攝影模式(SlOl)0在該判定結(jié)果是攝影模式的情況下，接下來進行實時取景顯示(S102)。這里，根據(jù)由攝像部2所取得的圖像數(shù)據(jù)，在顯示部8a上以每秒30幀的程度對被攝體像進行實時取景顯示。用戶可根據(jù)實時取景顯示來決定構(gòu)圖，或者決定快門時機，可進行釋放動作。當開始了實時取景顯示時，接下來判定是否進行模板顯示(S103)。這里，在用戶要拍攝衣服等的情況下，為使模板21顯示在顯示部8a上，判定是否操作了模板按鈕等操作部件。該判定由操作判定部6進行。在步驟S103中的判定結(jié)果是要進行模板顯示的情況下，讀出存儲在模板部5a內(nèi)的模板21，在顯示部8a的畫面內(nèi)的預(yù)定位置上顯示模板21(S104)。當要進行步驟S104中的模板顯示時，或者步驟S103中的判定結(jié)果是未進行模板顯示時，接下來判定是否進行釋放(S105)。這里，利用操作判定部6判定是否操作了釋放按鈕。在該判定結(jié)果不是釋放的情況下，回到步驟S100。另一方面，在步驟S105中的判定結(jié)果是釋放的情況下，接下來進行攝影和記錄(S106)。在步驟S106中，使用圖像處理和控制部I對由攝像部2取得的圖像數(shù)據(jù)進行圖像處理，將該圖像處理后的圖像數(shù)據(jù)記錄在記錄部4內(nèi)。在記錄圖像數(shù)據(jù)時，將由GPS7取得的攝影位置、和由時鐘部9取得的攝影日期時間信息一并記錄。當要進行攝影和記錄時，接下來進行圖像分類(S107)。這里，將攝影圖像分類為快拍、風景、衣服等各攝影主題，并檢測攝影圖像中的臉的數(shù)量、位置、大小、特征等，然后進行圖像分類，以便能獲得臉以下部分的顏色、有無使用模板等各種信息。當要進行圖像分類時，接下來進行分類結(jié)果的記錄(S108)。在步驟S106中記錄圖像數(shù)據(jù)，而在步驟S108中，與所記錄的圖像數(shù)據(jù)關(guān)聯(lián)起來，以后述的圖7 Ca)所示的表形式記錄在關(guān)聯(lián)信息記錄部4b內(nèi)。當進行分類結(jié)果的記錄時，回到步驟S100。在步驟SlOl中的判定結(jié)果不是攝影模式的情況下，判定是否是再現(xiàn)模式(S110)。在該判定結(jié)果不是再現(xiàn)模式的情況下，回到步驟S100。另一方面，在是再現(xiàn)模式的情況下，判定是否是換衣服模式(S111)。在用戶想要以換衣服模式進行圖像再現(xiàn)的情況下，則操作換衣服模式按鈕，因而在該步驟中，判定是否操作了換衣服模式按鈕。換衣服模式如使用圖3和圖4所說明的那樣，是表示使人物與所拍攝的衣服重疊后的合成圖像的模式。在步驟Slll中的判定結(jié)果不是換衣服模式的情況下，進行通常再現(xiàn)(S112)。當執(zhí)行了通常再現(xiàn)模式時，回到步驟S100。在步驟Slll中的判定結(jié)果是換衣服模式的情況下，接下來進行對象圖像的選擇(S113)。這里,從記錄在記錄部4中的攝影圖像中選擇在記錄于關(guān)聯(lián)信息記錄部4b內(nèi)的圖像分類中被賦予了衣服的圖像，將其以縮略圖像形式進行一覽顯示，用戶從一覽顯示的衣服中選擇任一衣服。當選擇了對象圖像時，接下來進行人物圖像的檢索(S114)。這里，根據(jù)關(guān)聯(lián)信息記錄部4b內(nèi)的記錄，從所記錄的攝影圖像中檢索拍攝有臉的圖像。當進行人物圖像檢索時，判定是否是模板攝影圖像(S115)。這里，與在步驟S113中所選擇的圖像數(shù)據(jù)相關(guān)聯(lián)，并參照關(guān)聯(lián)信息記錄部4b的關(guān)聯(lián)信息中的模板信息。在使用圖2 (c)所示的模板21進行了拍攝的情況下，由于記錄有模板使用信息(參照圖7 Ca ,因而根據(jù)該信息進行判定。在步驟S115中的判定結(jié)果是模板攝影圖像的情況下，去除對象圖像的背景低對比度部的圖像(S116)。這里，對于背景中沒有對比度的圖像，去除背景，將衣服部分分離。接下來，在模板的臉部配置人物臉部(S117)。這里，在有模板的臉部21a的位置上，嵌入在步驟S114中所檢索的人物臉部。接下來，對人物進行對象圖像的合成，將其顯示在顯示部8a上(S118)。通過步驟S116和S117中的處理，將衣服部分分離，決定臉的位置，然后在該步驟S118中，將衣服部分與人物的臉進行合成，再顯示在顯示部8a上。在步驟S115中的判定結(jié)果不是模板攝影圖像的情況下，去除對象圖像的臉部(S121)。在該情況下，由于圖2 (d)所示的對象圖像是人體模型22，因而去除由臉檢測部3和臉位置和大小判定部Ic判定為該人體模型22的臉的這部分，或者將臉部重新涂成預(yù)定顏色。接下來，判定所檢索的圖像的臉部(S122)。這里，使用臉檢測部3和臉位置和大小判定部Ic從在步驟S114中所檢索的人物圖像中判定出臉部。然后，在圖像去除部上進行貼附并顯示(S123)。這里，使在步驟S122中所判定的臉部與在步驟S121中去除的人體模型22的臉部大小一致地合成貼附圖像，將該合成圖像顯示在顯示部8a上。另外，步驟S121 S123實際上是使用臉檢測部3、臉位置和大小判定部lc、局部去除部le、圖像合成部5b等的硬件，將臉部重新涂成預(yù)定顏色，使所檢索的人物的臉部嵌入該預(yù)定顏色部，合成圖像。并且，即使不是全部使用硬件進行處理，也能使用程序來實施如下:去除由臉檢測部3檢測出的臉范圍，并將滿足預(yù)定的臉條件的圖像的臉部貼附在該去除部分上。另外，為了進行更自然的圖像合成，可以使人體模型22的臉面朝著的方向與臉部面朝著的方向一致。關(guān)于這一點，使用圖9在后面描述。當在步驟S118中進行了對象圖像與人物的合成時，或者當在步驟S123中在圖像去除部進行了貼附并顯示時，接下來判定是否重做(S125)。在本實施方式中，每次操作重做操作開關(guān)時，都合成不同圖像，在該步驟中，判定是否操作了重做操作開關(guān)。在該判定結(jié)果是重做的情況下，設(shè)定為下一候補( S126)，回到步驟S114。當回到了步驟S114時，檢索下一人物圖像，在步驟S115以下，進行所檢索的人物圖像與在步驟S113中所選擇的對象圖像之間的圖像合成。另一方面，在步驟S125中的判定結(jié)果不是重做的情況下，回到步驟S100。這樣，當在步驟Slll中選擇了換衣服模式時，選擇在步驟S113中所選擇的拍攝有要進行更換的衣服的對象圖像，將在步驟S114中所檢索到的人物的臉嵌入作為更換對象的衣服，合成圖像。以后，每次進行重做操作時(S125 —Y)，都檢索下一人物(S114)，在步驟S115以下進行圖像合成處理。另外，關(guān)于該嵌入合成，可以在所記錄的臉轉(zhuǎn)完一圈之后，改變大小來合成，或者一點一點地改變角度或位置來合成。并且，每次操作重做操作開關(guān)時(S126 — Y),都進行下一人物的圖像合成，然而也可以連續(xù)地檢索人物，一個接一個地顯示合成圖像。根據(jù)該照相機控制流程，只需拍攝喜歡的衣服，就能確定是否適合自己的試穿感。并且，由于嵌入各種臉圖像，因而即使不進行輪廓判定那樣的嚴格的圖像合成，但只要臉圖像的數(shù)量足夠多，就也能實現(xiàn)看起來自然的情況。下面，使用圖6來說明步驟S107中的圖像分類的子例程。在步驟S113中進行對象圖像的一覽顯示，并在步驟S114中進行人物圖像的檢索。在這些一覽顯示和檢索時，由于需要迅速找出圖像，因而在本實施方式中設(shè)置圖像分類部，使得迅速進行圖像分類。關(guān)于該圖像分類，主要是根據(jù)在攝影時獲得的攝影圖像信息，采用圖7所示的形式，以表形式與各圖像相關(guān)聯(lián)，并將該結(jié)果記錄在記錄部4中的關(guān)聯(lián)信息記錄部4b內(nèi)。作為攝影圖像的信息，不僅僅是攝影日期時間信息和攝影位置信息，通過使用圖6所示的圖像分類的子例程預(yù)先分類，有助于檢索的效率化。在該子例程中，利用攝像部2中的對焦信號等，根據(jù)被攝體距離信息進行分類。并且，根據(jù)在攝影時是否利用了模板21、根據(jù)圖像的顏色信息或臉檢測部3的臉檢測結(jié)果，按照在圖像內(nèi)是否包含有臉部、臉的大小和數(shù)量、臉的特征等信息，判定為包含人物全身乃至背景也包含較多的快拍照片、以臉的表情為中心的肖像照片、花的照片、衣服的照片、寵物的照片、風景照片等。當進入了圖6所示的圖像分類的子例程時，首先判定在圖像中是否有臉(S301)。該判定由臉檢測部3進行。在該判定結(jié)果是存在臉的情況下，接下來判定中央的人臉下部的顏色和圖案并將其記錄(S302)。之所以觀察臉下部的顏色是為了檢測服裝顏色，并且還檢測服裝圖案，將這些信息記錄在關(guān)聯(lián)信息記錄部4b內(nèi)。另外，在為人體模型22的情況下，判定為有臉，進到步驟S302以下。即，在為人體模型22的情況下，在步驟S302中，將從臉的中心起位于臉的大小程度下方的部分判定為服裝，并判定該服裝的圖案。然后，判定臉的大小是否較大(S303)。在該判定結(jié)果是大于預(yù)定大小的情況下，判定為肖像照片(S305);另一方面，在小于預(yù)定大小的情況下，判定為快拍照片(S304)。因此，步驟S303中的判定值采用與進行分類相對應(yīng)的值。當在步驟S304和S305中進行了分類時，接下來檢測并判定臉的數(shù)量、位置、大小和特征(S306)。這里，根據(jù)臉位置和大小判定部Ic的判定結(jié)果，檢測臉的數(shù)量、位置、大小。并且，利用臉特征提取部Ib提取出臉特征。家屬和朋友等有可能攝影的人物的臉特征例如P-A、P-B那樣被預(yù)先登記在臉特征提取部Ib內(nèi)，判定與該所登記的臉特征是否一致。這些檢測結(jié)果被記錄在關(guān)聯(lián)信息記錄部4b內(nèi)。在步驟S301中的判定結(jié)果是沒有臉的情況下，接下來判定主要顏色(S310)。這里，在畫面中央等處判定畫面的主要顏色。接下來判定是否是遠距離(S311)。該判定是根據(jù)由攝像部2進行了對焦時的焦點位置來進行的。在該判定結(jié)果是遠距離的情況下，判定為圖像是風景照片(S317)。在步驟S311中的判定結(jié)果不是遠距離的情況下，接下來判定是否是微距(macro)
(5312)。該判定也是根據(jù)由攝像部2進行了對焦時的焦點位置，判定是否是近距離側(cè)的微距區(qū)域內(nèi)的攝影。在該判定結(jié)果是微距區(qū)域內(nèi)的攝影的情況下，判定為圖像是花的照片(S317)。在步驟S312中的判定結(jié)果不是微距的情況下，判定是否是使用模板的攝影
(5313)。由于是否使用了模板的信息與圖像相關(guān)聯(lián)地被記錄在關(guān)聯(lián)信息記錄部4b內(nèi)，因而根據(jù)該信息進行判定。在該判定結(jié)果是使用了模板的情況下，判定為衣服的照片(S314)。另一方面，在判定結(jié)果是未使用模板的情況下，判定為是有人氣的主題之一的寵物的照片(S315)。在檢索寵物的圖像的情況下，只要根據(jù)該寵物分類進行檢索，就能迅速找到。當步驟S306、S314 S317中的處理結(jié)束時，回到原始流程。這樣，在圖像分類的流程中判定圖像是否有臉，在有臉的情況下，檢測與該人物相關(guān)的信息，分類為快拍照片或肖像照片中的任一種。并且，在圖像沒有臉的情況下，分類為衣服、寵物、花、風景。圖7 Ca)示出在圖像分類的流程中被分類且被記錄在關(guān)聯(lián)信息記錄部4b內(nèi)的信息的一例。并且，圖7 (b)示出畫面的分割例，在本實施方式中是區(qū)域Al A9的9分割。并且，在各區(qū)域Al A9中，將臉的大小分為Dl D3這3個級別。圖中的圖像I是快拍照片，臉的數(shù)量是2個，在區(qū)域A4內(nèi)以臉的大小D2映現(xiàn)出已登記的人物P — A，在區(qū)域A6內(nèi)以臉的大小D3映現(xiàn)出不明人物P — X。并且，臉下部的顏色是藍色，沒有使用模板，攝影日期是9月15日。在圖像2 圖像4內(nèi)，如圖7(a)所示，也與圖像相關(guān)聯(lián)地記錄有信息。另夕卜，人物P — A、P — B,P - X等由臉特征提取部Ib來判定。這里，P — A和P — B是家屬、朋友等預(yù)先登記的人物，P 一 X被賦予給未登記人物。當進行了這樣的圖像分類時，可迅速且有效地進行圖像檢索。例如，在檢索臉圖像的情況下，在S314 S317中所分類的圖像可視為非檢索對象，可迅速且有效地進行檢索。下面，使用圖8來說明本實施方式中的合成圖像的顯示變形例。在本發(fā)明的一實施方式中，在步驟SI 18或步驟S123中將人物的臉部貼附在步驟SI 13中所選擇的一個對象圖像上，顯示合成圖像。因此，在顯示部8a上總是顯示一個合成圖像。本變形例以縮略圖形式顯示多個合成圖像。圖8 (a)是這樣的例子:將不同人物的臉貼附在人體模型22穿著的衣服24上，在顯示部8a上進行一覽顯示，使得能對陳列在櫥窗里的衣服24恰如適合誰進行比較。為了進行這樣的顯示可以進行如下:在步驟S125 (參照圖5)中，在達到縮略圖顯示時的圖像數(shù)量之前，自動回到步驟S114，再在步驟S118或S123中對合成圖像進行縮略圖顯示。圖8 (b)是這樣的例子:衣服的圖像均不同，將同一人物26貼附在不同衣服上。針對同一人物26，能簡單地判定哪件衣服適合。為了進行這樣的顯示，只要在步驟S113(參照圖5)中選擇人物圖像，并在步驟S114中檢索對象圖像(衣服)即可。下面，使用圖9和圖10來說明在將人物圖像的臉部與對象圖像合成時達到更自然的匹配的變形例。在上述的本發(fā)明一實施方式中，在未考慮人體模型22和人物25、25a、25b面朝的方向等的情況下進行了圖像合成。在未考慮的情況下，也能通過其他的組合進行欣賞，而在本變形例中，可應(yīng)用于想使自然組合優(yōu)先的情況。圖9(a)與圖2 (d)—樣是使人體模型22穿著衣服24的狀態(tài)下的圖像。該人體模型22的臉22a面朝的方向等特征由臉特征提取部Ib來檢測。首先，如圖9 (b)所示，從臉22a的輪廓線提取近似橢圓的臉輪廓31。求出該橢圓的長軸與短軸的交點，將該交點作為臉輪廓中心32。并且，將人體模型22的臉22a的陰影的交點、例如連接兩眼的線與連接鼻子的線的交點作為臉陰影中心34。根據(jù)在各個交點上通過的線的偏差，求出相當于眼和鼻子的陰影的偏差量ΛΧ、ΛΥ。并且，根據(jù)在臉陰影中心34上通過的長軸方向的長度，求出臉的高度F。并且，求出畫面上下線35與沿上下方向在臉陰影中心34上通過的臉陰影上下線33 (在圖9 (b)中用與通過中心34的線平行的線來表示)的傾角Θ。由于該AX、AY、F和Θ表示人體模型22的臉22a的特征，因而將這些特征值與衣服24的圖像相關(guān)聯(lián)地存儲，檢索與該特征值大致一致的人物的臉，進行圖像合成，從而得到自然的合成。另外，即使在使用圖2 (a)所示的模板21來拍攝衣服23的情況下，也可以將針對臉部21a所求出的ΛΧ、Λ Y、F和Θ等特征值作為固定值來存儲。下面，使用圖10來說明人物圖像的特征值。人物圖像的特征值也能使用與人體模型22的臉22a相同的方式來求出。在取得了圖10 (a)所示的包含人物的圖像的情況下，如圖10 (b)所示從其中提取人物27。接下來，如圖10 (b)、(c)所示，從人物27的臉的輪廓線提取近似橢圓的臉輪廓31。求出該橢圓的長軸與短軸的交點，將該交點作為臉輪廓中心32。并且，將人物27的臉的陰影的交點、例如連接兩眼的線與連接鼻子的線的交點作為臉陰影中心34。根據(jù)在各個交點上通過的線的偏差，求出相當于眼和鼻子的陰影的偏差量ΛΧ、Λ Y。并且，根據(jù)在臉陰影中心34通過的長軸方向的長度求出臉的高度F。并且，求出畫面上下線35與沿上下方向在臉陰影中心34通過的臉陰影上下線33(在圖10 (c)中用與通過中心34的線平行的線表示)之間的傾角Θ。與人體模型22的情況一樣，該ΛΧ、AY、F和Θ表示人物27的臉的特征，因而將這些特征值與圖10 (a)的圖像相關(guān)聯(lián)地存儲，檢索與該特征值大致一致的衣服，進行圖像合成，從而得到自然的合成。另外，由于衣服和人物的臉的圖像是數(shù)字圖像，因而可任意進行衣服和臉的圖像的放大和縮小。即使在臉的高度F不同的情況下，也能用將ΛΧ、ΛΥ除以高度F所得的值進行比較，只要傾角Θ大致相同，就可以判定為能合成。在人體模型圖像和人物圖像能合成的情況下，對應(yīng)人體模型22的臉的高度F校正人物的臉的大小，之后進行圖像合成。并且，在使用模板22所拍攝的衣服的圖像和人物圖像能合成的情況下，對衣服圖像進行放大或縮小，以使模板22的臉的高度F與人物的臉的高度F —致。這樣，在本發(fā)明的變形例中，在將人物臉與衣服圖像進行了合成的情況下，可防止得到不自然的圖像。另外，可以選擇這種使臉的方向大致一致的換衣服顯示模式和不考慮臉的方向的換衣服顯示模式。如以上說明那樣，在本發(fā)明的實施方式中，由于設(shè)有在攝影時使被攝體的一部分對位的指定部(模板)，因而可相對于衣服圖像替換人物，能夠簡單地檢索最適于該衣服的人物。并且，在本發(fā)明的實施方式中，當選擇了映現(xiàn)有衣服的圖像時，對應(yīng)該圖像檢索人物，將人物與映現(xiàn)有衣服的圖像進行圖像合成。在該情況下，也能相對于衣服圖像替換人物，能夠簡單地檢索最適于該衣服的人物。而且，在本實施方式中，通過使用攝影圖像來進行換衣服模式顯示，可提供各種樂趣，例如，哪個服裝適合誰等，可將照相機等用作促進會話的通信設(shè)備。并且，取代人體模型22而利用朋友的攝影圖像，還能從自己試穿朋友的衣服的感覺中得到快樂。另外，在本發(fā)明的實施方式中，在照相機中進行攝影，并在攝影后根據(jù)記錄圖像以換衣服的方式進行再現(xiàn)顯示。然而，不限于此，可以將圖像數(shù)據(jù)存儲在再現(xiàn)裝置內(nèi)，根據(jù)所存儲的該圖像數(shù)據(jù)以換衣服的方式進行再現(xiàn)顯示。并且，作為再現(xiàn)裝置可以是個人計算機，也可以是再現(xiàn)專用裝置。并且，在本發(fā)明的實施方式中，在攝影時進行圖像分類，圖像分類結(jié)果也與圖像數(shù)據(jù)一起記錄。然而，當然不限于此，可以在再現(xiàn)時進行圖像分類。并且，在本發(fā)明的實施方式中，作為攝影用的設(shè)備，使用數(shù)字照相機作了說明，其中照相機可以是數(shù)字單眼反光照相機，也可以是小型數(shù)字照相機，也可以是攝像機、攝影機那樣的動態(tài)圖像用的照相機，也可以是內(nèi)置于便攜電話和便攜信息終端(PDA =PersonalDigital Assist,個人數(shù)字助理)等中的照相機。本發(fā)明不限于上述實施方式，可在實施階段在不背離本發(fā)明主旨的范圍內(nèi)使構(gòu)成要素變形來具體化。并且，通過將上述實施方式所公開的多個構(gòu)成要件適當組合，可形成各種發(fā)明。例如，可以刪除實施方式所示的全部構(gòu)成要素中的若干構(gòu)成要素。而且，可以將不同實施方式中的構(gòu)成要素適當組合。
權(quán)利要求
1.一種照相機，其特征在于，該照相機具有: 攝像部，其拍攝人物圖像和衣服圖像； 記錄部，其記錄所述攝像部拍攝的人物圖像和衣服圖像； 選擇部，其從記錄部所記錄的衣服圖像中進行選擇； 合成部，其將選擇部選擇的衣服圖像與人物圖像進行合成； 顯示部，其顯示合成部合成后的圖像。
2.根據(jù)權(quán)利要求1所述的照相機，其特征在于，所述衣服圖像是模板或人體模型。
3.根據(jù)權(quán)利要求1所述的照相機，其特征在于，所述合成部以人物圖像的臉的位置為基準進行圖像合成。
4.根據(jù)權(quán)利要求1所述的照相機，其特征在于，所述合成部以人物圖像的臉的方向為基準進行圖像合成。
5.根據(jù)權(quán)利要求1所述的照相機，其特征在于，所述合成部使人物圖像的臉部位于衣服圖像的臉部分，并進行放大或縮小以使臉的位置和大小一致。
6.一種照相機，其特征在于，該照相機具有: 攝像部，其輸出被攝體的圖像數(shù)據(jù)； 顯示部，其根據(jù)上述圖像數(shù)據(jù)顯示上述被攝體； 記錄部，其記錄上述被攝體的圖像數(shù)據(jù)； 圖像分類部，其至少能從記錄在上述記錄部內(nèi)的圖像中分類為關(guān)于衣服的圖像和關(guān)于人物的圖像； 選擇部，其從由上述圖像分類部分類為衣服的圖像中進行選擇； 檢索部，其從記錄在上述記錄部內(nèi)的圖像中檢索關(guān)于人物的圖像； 圖像合成部，其對由上述檢索部所檢索出的人物的臉部與由上述選擇部所選擇的衣服圖像進行合成；以及 顯示部，其顯示由上述圖像合成部所合成的圖像。
7.一種圖像顯示裝置，其特征在于，該圖像顯示裝置具有: 記錄部，其記錄關(guān)于被攝體的圖像數(shù)據(jù)； 圖像分類部，其至少能從記錄在上述記錄部內(nèi)的圖像中分類出關(guān)于衣服的圖像和關(guān)于人物的圖像； 選擇部，其從由上述圖像分類部分類為衣服的圖像中進行選擇； 檢索部，其從記錄在上述記錄部內(nèi)的圖像中檢索關(guān)于人物的圖像； 圖像合成部，其對由上述檢索部所檢索出的人物的臉部與由上述選擇部所選擇出的衣服圖像進行合成；以及 顯示部，其顯示由上述圖像合成部所合成的圖像。
8.一種圖像顯示方法，其特征在于，該方法包括: 至少從記錄圖像中分類出關(guān)于衣服的圖像和關(guān)于人物的圖像； 從上述所分類的圖像中選擇衣服圖像； 從上述記錄圖像中檢索關(guān)于人物的圖像； 將上述所檢索出的人物的臉部與所選擇出的上述衣服圖像進行圖像合成；以及 顯示上述圖像合成后的圖像。
全文摘要
本發(fā)明提供一種照相機、圖像顯示裝置和圖像顯示方法。該照相機具有攝像部，其拍攝人物圖像和衣服圖像；記錄部，其記錄所述攝像部拍攝的人物圖像和衣服圖像；選擇部，其從記錄部所記錄的衣服圖像中進行選擇；合成部，其將選擇部選擇的衣服圖像與人物圖像進行合成；顯示部，其顯示合成部合成后的圖像。通過本發(fā)明，可相對于衣服的圖像替換人物、能簡單檢索出最適合該衣服的人物。
文檔編號H04N1/387GK103179330SQ201310051998
公開日2013年6月26日 申請日期2009年12月1日 優(yōu)先權(quán)日2009年1月22日
發(fā)明者高橋薰示 申請人:奧林巴斯映像株式會社