專利名稱：圖像處理裝置、圖像處理方法
技術領域：
本發(fā)明涉及將數字照片變換成繪畫的圖像處理裝置、圖像處理方法。
背景技術：
近年來，伴隨著數字相機的普及，照片作為數字圖像數據進行保存已經是普通的。 由于能夠用進行拍攝的數字相機閱覽拍攝圖像，或者用取入了圖像數據的個人計算機等閱覽拍攝圖像，所以對照片的娛樂性也發(fā)生了變化。例如，提出如下的技術(繪畫變換技術) 通過對圖像數據實施圖像處理，從而能將原始照片作為基礎將其變換成趣味不同的風格的繪畫(例如，油畫風格等)進行顯示的技術(例如，參照JP特開平8-44867號公報)。另外，在JP特開2002-298136號公報中，記載了如下技術使用計算機將照片、由 CG(計算機圖形圖像)描繪成機械風格的原圖像變換為描繪成繪畫風格的圖像的技術。可是，由上述那樣的圖像處理得到的繪畫風格圖像，通過如繪畫風的格調描繪的那樣進行表現(xiàn)而表示為比原始的照片圖像模糊的感覺(不清晰)。因此，例如在由拍攝者拍攝到的照片圖像中人物的臉被拍攝得較小的情況下，通過對該照片圖像(例如，集合照片等)進行上述的圖像處理，則由此得到的繪畫風格圖像會出現(xiàn)照片圖像中已清晰表現(xiàn)的人物的臉被損壞的情形。這種情況下，如果該人物是與拍攝者的意圖無關地拍攝到的人物 (例如，行人等)，則即便無法識別該人物的臉也沒有問題，但在該人物是拍攝者積極拍攝到的人物(主要被攝體)時，上述圖像處理是不合適的。

發(fā)明內容
本發(fā)明是鑒于上述問題點提出的，其目的在于提供一種能夠適當地進行將拍攝人物而得到的照片圖像變換成繪畫風格圖像的圖像變換處理的、圖像處理裝置及圖像處理方法。本發(fā)明的圖像處理裝置的特征在于，具備臉檢測裝置，其獲取圖像，檢測在獲取到的圖像中拍攝的臉的像；判別裝置，其判別所述臉檢測裝置檢測出的所述臉的像是否滿足規(guī)定的基準；和圖像變換處理裝置，其根據所述判別裝置的判別結果，進行將所述圖像變換成繪畫風格的圖像的圖像變換處理。根據本發(fā)明，能夠適當地進行將拍攝到人物等的臉的照片圖像變換成繪畫風格圖像的圖像變換處理。


圖1是本發(fā)明的一實施方式所涉及的圖像處理裝置的框圖。圖2是表示本發(fā)明的一實施方式所涉及的圖像處理裝置的硬件結構的框圖。圖3是表示本發(fā)明的一實施方式所涉及的圖像處理裝置所進行的圖像處理的流程圖。圖4是表示圖1的顯示部的顯示畫面中所顯示的分割線的圖。
圖5是表示與本發(fā)明的一實施方式所涉及的圖像處理裝置所用到的第一基準相應的區(qū)域的圖。圖6是表示滿足本發(fā)明的一實施方式所涉及的圖像處理裝置所用到的第一基準情況下的、在照片圖像中拍攝到的人物的臉的圖。圖7是表示不滿足本發(fā)明的一實施方式所涉及的圖像處理裝置所用到的第一基準情況下的、在照片圖像中拍攝到的人物的臉的圖。圖8是表示與本發(fā)明的一實施方式所涉及的圖像處理裝置所用到的第二基準相應的范圍的圖。圖9是表示滿足本發(fā)明的一實施方式所涉及的圖像處理裝置所用到的第二基準情況下的、在照片圖像中拍攝到的人物的臉的圖。圖10是表示不滿足本發(fā)明的一實施方式所涉及的圖像處理裝置所用到的第二基準情況下的、在照片圖像中拍攝到的人物的臉的圖。圖11是表示不滿足本發(fā)明的一實施方式所涉及的圖像處理裝置所用到的第三基準(臉不朝向正面)情況下的、在照片圖像中拍攝到的人物的臉的圖。圖12是表示不滿足本發(fā)明的一實施方式所涉及的圖像處理裝置所用到的第三基準(視線不朝向正面)情況下的、在照片圖像中拍攝到的人物的臉的圖。符號說明1-圖像處理裝置，10-控制部，IOa-臉檢測部，IOb-判別部，IOc-圖像處理部， 11-CPU，12-—次存儲裝置，20-存儲部，21-二次存儲裝置，21a-圖像處理程序，30-攝像部， 31-攝像裝置，40-輸入部，41-輸入裝置，50-顯示部，51-顯示面板驅動裝置，52-顯示面板，53-分割線，60-讀出寫入部，61-讀出寫入裝置，100-記錄介質，101-存儲卡，Tl-作為第一基準設定的區(qū)域，Sl-作為第二基準設定的范圍，F(xiàn)1、F2、F3、F4、F5、F6-人物的臉的像
具體實施例方式下面，參照附圖，對本發(fā)明所涉及的實施方式進行說明。首先，說明本發(fā)明所涉及的圖像處理裝置的概略。在本實施方式中，說明本發(fā)明所涉及的圖像處理裝置為數字相機的情形。圖像處理裝置作為拍攝模式而具有繪畫風格變換模式。繪畫風格變換模式是自動地進行如下圖像變換處理的拍攝模式，即，根據拍攝者的拍攝操作將圖像處理裝置拍攝到的照片圖像變換成繪畫風格的圖像(以下，稱為繪畫風格圖像)。通過該圖像處理裝置得到的繪畫風格圖像如用繪畫風的格調來描繪原始的照片圖像那樣進行表現(xiàn)，由此能使人看到與原始的照片圖像趣味(畫風)不同的印象。此外，繪畫風格的種類例如有油畫風(oil painting)、水彩畫風(Water color painting)、彩色賭筆畫風(Pastel painting)等。變換成繪畫風格的圖像的圖像變換處理，例如能夠利用由 Photoshop (注冊商標)等進行的處理。接著，利用圖1說明圖像處理裝置1的結構。圖像處理裝置1具備控制部10、存儲部20、攝像部30、輸入部40、顯示部50、讀出寫入部60?？刂撇?0對圖像處理裝置1的各部進行控制，對圖像處理裝置1的整體進行控制。另外，控制部10具備臉檢測部10a、判別部10b、及圖像變換處理部10c，進行后述的圖像處理。
存儲部20存儲控制部10在后述的圖像處理中使用到的各種數據。另外，存儲部 20在控制部10的控制之下，適當地存儲控制部10在處理中生成的各種圖像數據及讀出寫入部60從存儲介質100中讀出的記錄圖像數據等。攝像部30在控制部10的控制之下拍攝照片圖像。攝像部30生成表示所拍攝到的照片圖像的攝像信號，并基于該生成的攝像信號生成表示一幀份(一枚圖像份)的照片圖像的照片圖像數據。攝像部30將所生成的照片圖像數據提供給控制部10?？刂撇?0獲取照片圖像數據。此外，也可攝像部30將表示照片圖像的規(guī)定數據提供給控制部10，控制部10對該規(guī)定數據進行規(guī)定處理來生成照片圖像數據，由此獲取照片圖像數據。此外， 照片圖像是靜止圖像，照片圖像數據是表示靜止圖像的靜止圖像數據。輸入部40是受理拍攝者的操作的操作部，將與受理到的操作內容相應的操作信號提供給控制部10。顯示部50在控制部10 (圖像變換處理部IOc)的控制之下，顯示菜單畫面、實時取景顯示畫面、由繪畫風格圖像數據表現(xiàn)的繪畫風格圖像(油畫風、碎紙畫風、水墨畫風等的圖像)。讀出寫入部60在控制部10的控制之下，從記錄介質100中讀出記錄圖像數據，向記錄介質100寫入記錄圖像數據等。

下面，利用圖2對圖像處理裝置1的硬件結構進行說明。圖像處理裝置1具備 CPU (Central Processing Unit 中央運算處理裝置)11、一次存儲裝置12、二次存儲裝置 21、攝像裝置31、輸入裝置41、顯示面板驅動電路51、顯示面板52、讀出寫入裝置61。圖1的控制部10是通過CPUll和一次存儲裝置12實現(xiàn)的。CPUll根據從二次存儲裝置21下載到一次存儲裝置12中的圖像處理程序21a，控制圖像處理裝置1的整體。 特別是，CPUll根據圖像處理程序21a，實際進行圖1的控制部10 (臉檢測部10a、判別部 10b、及圖像變換處理部IOc)所進行的后述的圖像處理。此外，控制部10除此之外也可包括 ASIC (Application Specific Integrated Circuit 特定用途集成電路)、DSP (Digital Signal Processing)等。這種情況下，ASIC、DSP等進行CPUll所進行的至少一部分處理。一次存儲裝置12是通過RAM (Random Access Memory)等實現(xiàn)的。一次存儲裝置 12適當地一次存儲CPUll使用的數據、生成的數據。圖1的存儲部20是通過二次存儲裝置21實現(xiàn)的。二次存儲裝置21由閃速存儲器或硬盤等構成。另外，二次存儲裝置21存儲圖像處理程序21a。CPUll將二次存儲裝置 21存儲的圖像處理程序21a下載到一次存儲裝置12中，并基于下載到一次存儲裝置12中的圖像處理程序21a的指令來進行后述的圖像處理。圖1的攝像部30是通過攝像裝置31實現(xiàn)的。攝像裝置31具備(XD(Charge Coupled Device)圖像傳感器或 CMOS (Complementary Metal Oxide Semiconductor)圖像傳感器等的攝像元件、AFE (Analog Front End)、DSP (Digital Signal Processor)等。攝像裝置31根據拍攝者進行的拍攝操作來拍攝照片圖像，由攝像元件生成表示拍攝到的照片圖像的攝像信號，并對所生成的攝像信號實施各種處理(由AFE、DSP等進行的處理)，由此生成數字照片圖像數據。此外，各種處理例如有相關雙重采樣(Correlated Double Sampling)的處理、對采樣后的攝像信號實施的自動增益控制(Automatic Gain Control)的處理、將自動增益調整后的模擬攝像信號變換成數字信號的模擬/數字變換的處理、輪廓強調、自動白平衡、自動光圈等的提高畫質的處理。攝像裝置31將所生成的照片圖像數據提供給一次存儲裝置12。一次存儲裝置12 將從攝像裝置31收到的照片圖像數據作為靜止圖像數據進行存儲。CPUll利用一次存儲裝置12存儲的靜止圖像數據進行后述的圖像處理。此外，攝像裝置31的DSP(Digital Signal Processor)等進行的處理也可由CPUll進行。

圖1的輸入部40是通過輸入裝置41實現(xiàn)的。輸入裝置41是由拍攝者操作的界面裝置。輸入裝置41包括拍攝鍵、菜單鍵、拍攝模式(包括繪畫風格變換模式)選擇鍵、電源鍵等各種操作鍵。當拍攝者操作這些各鍵時，輸入裝置41生成與各鍵相應的操作信號， 并將所生成的操作信號提供給CPU11。當收到操作信號時，CPUll進行與該操作信號相應的處理。圖1的顯示部50是由顯示面板驅動電路51和顯示面板52實現(xiàn)的。CPUll利用各種圖像數據來生成顯示用圖像數據(例如，RGB (RED-GREEN-BLUE)數據)，并將所生成的顯示用圖像數據提供給顯示面板驅動電路51。顯示面板驅動電路51從CPUll收到顯示用圖像數據之后對顯示面板52進行驅動，并使顯示面板52顯示由顯示用圖像數據表現(xiàn)的圖像。 這樣，CPUll利用所述規(guī)定的圖像數據，將由該數據表現(xiàn)的圖像顯示于顯示部50的顯示面板52。顯示面板52例如由液晶顯示面板或有機EL(Organic Electro-Luminescence :0EL) 顯示面板等構成。顯示面板52，通過顯示面板驅動電路51顯示圖像。此外，也可由觸摸面板來實現(xiàn)圖1的輸入部40和顯示部50。這種情況下，輸入裝置41及顯示面板52由觸摸面板構成。觸摸面板顯示收到來自拍攝者的規(guī)定操作的輸入畫面，并且將輸入畫面中拍攝者進行接觸操作的位置所對應的操作信號提供給CPU11。圖1的讀出寫入部60是由讀出寫入裝置61實現(xiàn)的。讀出寫入裝置61是對存儲卡101進行數據讀出、寫入的界面裝置。記錄介質100是通過閃速存儲器型的存儲卡101等實現(xiàn)的。作為存儲卡101，有記錄數據的SD存儲卡等。下面，參照圖3對拍攝者選擇了繪畫風格變換模式時的圖像處理裝置1的動作進行說明。拍攝者利用輸入部40進行從電源接通之后在顯示部50中顯示的菜單畫面中選擇繪畫風格變換模式的操作。另外，拍攝者利用輸入部40進行選擇繪畫風格的種類(水彩畫、 彩色素描、彩色蠟筆畫、點描畫、噴槍畫、油彩畫、哥特式油畫等(Oil painting、Gothic oil painting、Water color painting、Color pencil sketch、Pastel paintingsPointilism> Air brush))的操作。輸入部40將與拍攝者進行的選擇操作對應的操作信號提供給臉檢測部 10a。臉檢測部IOa以預先設定的幀頻，使攝像部30拍攝當前圖像，從攝像部30依次獲取表現(xiàn)當前圖像的照片圖像數據(實時取景圖像數據)。此外，實時取景圖像數據，在用于實時取景中被設為分辨率等低的圖像數據。臉檢測部IOa將由從攝像部30依次獲取到的實時取景圖像數據表現(xiàn)的實時取景圖像顯示于顯示部50的顯示畫面中。由此，拍攝者能夠一邊確認實時取景圖像一邊進行拍攝。接著，臉檢測部IOa判別繪畫風格變換模式是否結束(步驟S101)。在拍攝者利用輸入部40進行了結束繪畫風格變換模式的操作的情況下，臉檢測部IOa從輸入部40接收與該拍攝者的操作對應的操作信號。臉檢測部IOa在收到該操作信號的情況下，判別為繪畫風格變換模式結束(步驟SlOl “是”)，而結束圖像處理。另一方面，臉檢測部IOa除此之外都判別為繪畫風格變換模式未結束(步驟SlOl “否”)。在由臉檢測部IOa判別為繪畫風格變換模式未結束的情況下(步驟SlOl “否”)， 臉檢測部IOa判別是否有拍攝操作(步驟S102)。拍攝者確認實時取景圖像，在期望的時刻利用輸入部40進行拍攝操作。臉檢測部IOa當從輸入部40收到與拍攝者的拍攝操作對應的操作信號時，判別為此時有拍攝操作(步驟S102 “是”)，與此相應地，使攝像部30拍攝照片圖像，由此從攝像部30中獲取表現(xiàn)照片圖像的照片圖像數據。照片圖像數據因為基本上為保存用的圖像數據，所以也可作為分辨率等高的圖像數據(控制部10(臉檢測部IOa) 例如控制攝像部30來調整分辨率等)。在由臉檢測部IOa未提供與拍攝者的拍攝操作對應的操作信號，被判別為無拍攝操作的情況下(步驟S102 “否”)，臉檢測部IOa返回到上述步驟S101，再次判別繪畫風格變換模式是否結束。也就是說，直至由拍攝者進行拍攝或者繪畫風格變換模式結束為止，圖像處理裝置1 一直待機。另一方面，在通過臉檢測部IOa判別為有拍攝 操作的情況下(步驟S102 “是”)， 臉檢測部IOa判別在由照片圖像數據表現(xiàn)的照片圖像中是否拍攝到人物的臉(步驟S103)。具體而言，臉檢測部IOa通過使用預先記錄在存儲部20中的表現(xiàn)規(guī)定的臉的像的模板圖像數據的模板匹配等的適當處理，嘗試照片圖像中的臉的像的檢測。例如，在由臉檢測部IOa獲取到的照片圖像數據表現(xiàn)的照片圖像上，進行如下處理一邊將由模板圖像數據表現(xiàn)的規(guī)定的臉的像(模板圖像)一個像素、一個像素地向左右方向或上下方向偏移，一邊依次進行該模板圖像和與該模板圖像重合的區(qū)域的圖像之間的比較。此時，臉檢測部IOa 依次求出模板圖像和與模板圖像重合的區(qū)域的圖像之間的類似度，并將該依次求出的類似度與預先設定的閾值進行比較。之后，在該類似度為閾值以上(或者，超過閾值)的情況下， 臉檢測部IOa設定與該像重合的區(qū)域是臉的像的區(qū)域，并將該區(qū)域確定為臉的像。根據該確定，臉檢測部IOa在照片圖像上檢測出臉的像，并判別為在照片圖像中拍攝到人物的臉。 此外，關于類似度的計算，使用 SAD (Sum ofAbsolute Difference)、SSD (Sum of Squared Difference)等。另外，在上述圖像的比較過程中，也可以將規(guī)定的臉的像進行適當地放大、 縮小來進行比較。在通過臉檢測部IOa未檢測出人物的臉的像的情況下(步驟S103 “否”)，圖像變換處理部IOc進行將由照片圖像數據表現(xiàn)的照片圖像變換成繪畫風格圖像的圖像變換處理，并將變換之后的繪畫風格圖像顯示于顯示部50 (步驟S108)。圖像變換處理部IOc在步驟S108中，根據在繪畫風格變換模式選擇時拍攝者利用輸入部40選擇出的繪畫風格的種類，進行將由照片圖像數據表現(xiàn)的照片圖像變換成繪畫風格圖像的圖像變換處理。例如，在拍攝者選擇了水彩畫的情況下，圖像變換處理部IOc將照片圖像數據所具有的各種參數變更成如水彩畫風的格調描繪的那樣表現(xiàn)的參數，由此將其變換成繪畫風格圖像，并生成表現(xiàn)該繪畫風格圖像的繪畫風格圖像數據。此外，這里所指的參數是對進行將圖像變更成繪畫風格的圖像處理時的處理強度進行規(guī)定的數值。另外， 參數有表現(xiàn)明亮度、對比度、顏色的濃度、色調、清晰度等的各種參數。另外，參數根據繪畫風格的種類(水彩畫、彩色素描、彩色蠟筆畫、點描畫、噴槍畫、油彩畫、哥特式油畫等(Oilpainting、Gothic oil painting、Water color painting、Color pencil sketch、Pastel painting、PointilisnuAir brush))分別進行規(guī)定。此外，作為變換成繪畫風格的圖像變換處理，例如有Photoshop (注冊商標)所使用的各種濾波器等的處理。圖像變換處理部IOc通過進行上述圖像處理，來生成表現(xiàn)繪畫風格圖像的繪畫風格圖像數據。圖像變換處理部IOc將所生成的繪畫風格圖像數據記錄到規(guī)定的存儲區(qū)域 (圖2的臨時存儲裝置12等)中，并且將其變換成顯示用圖像數據而提供給顯示部50。顯示部50在顯示畫面(圖2的顯示面板52)上顯示由收到的繪畫風格圖像數據表現(xiàn)的繪畫風格圖像。

在步驟S103中被判別為“否”的情況下，認為在照片圖像中拍攝者積極拍攝的人物(主要被攝體)并未拍攝到。因此，即便將由照片圖像數據表現(xiàn)的照片圖像變換成繪畫風格圖像，且存在如該繪畫風格圖像損壞那樣地表現(xiàn)的部分，由于主要被攝體的像(特別是， 臉)原本就不存在，所以主要被攝體的像會損壞這樣的情況不存在，故尤其不認為是問題。此外，臉檢測部IOa在上述模板匹配過程中使用一個以上的模板圖像即可，但在模板圖像使用了僅僅表現(xiàn)朝向正面的人物(相機視線的人物)的圖像的情況下，在照片圖像中朝向正面以外的人物無法進行檢測。例如，如圖11所示，在由照片圖像數據表現(xiàn)的照片圖像中人物朝向側面的情況下，臉檢測部IOa不檢測該人物的臉的像。這種情況下，因為在圖11中除此之外沒有其他的臉，所以圖像變換處理部IOc進行將該照片圖像變換成繪畫風格圖像的圖像變換處理。另一方面，在通過臉檢測部IOa判別為在由照片圖像數據表現(xiàn)的照片圖像中拍攝到人物的臉的情況下(步驟S103:“是”)，S卩，在照片圖像中檢測出臉的像的情況下，判別部 IOb判別臉檢測部IOa檢測出的人物的臉的像是否滿足第一基準(步驟S104)。在這里，第一基準為使用了三分割法的區(qū)域的基準。三分割法是與畫面構圖相應的經驗規(guī)則之一。三分割法如圖4所示，在圖像上分別用兩條分割線53等間隔地各引出水平線和垂直線，將該圖像上9等分地分割成矩陣狀。在本實施方式中，例如如圖5所示，定義由處于三分割法的分割線53的中間的線而形成的、在照片圖像的中央位置處相當于照片圖像整體的約4/9的范圍的區(qū)域Tl、即包括分割線53所有交點的區(qū)域Tl，將在該區(qū)域Tl 中是否包含人物的臉的像作為所述第一基準。判別部IOb例如如圖6所示，在區(qū)域Tl中包含人物的臉的像Fl (上述檢測出的臉的像)的情況下，判別為該人物的臉的像Fl滿足第一基準(步驟S104:“是”)。另一方面， 判別部IOb例如如圖7所示，在區(qū)域Tl中不包含人物的臉的像F2的情況下，判別為該人物的臉的像F2不滿足第一基準(步驟S104:“否”)。此外，所謂在區(qū)域Tl中包含人物的臉的像，例如是指臉的像的中心的任意點存在于區(qū)域Tl內。因此，判別部IOb例如如圖7所示，即便在區(qū)域Tl中包含人物的臉的像F3的一部分的情況下，由于在區(qū)域Tl中不包含人物的臉的像F3的中心的任意點，故判別為該人物的臉的像F3不滿足第一基準(步驟S104 “否”)。此外，在區(qū)域Tl中是否包含人物的臉的像的基準能夠采用適當基準，例如在人物的臉的像和區(qū)域Tl重合的區(qū)域的面積在規(guī)定大小以上的情況下，也可設為在區(qū)域Tl中包含人物的臉的像。在通過判別部IOb判別為在照片圖像中拍攝到的人物(上述檢測出的臉的像。以下相同)不滿足第一基準的情況下(步驟S104:“否”，參照圖7)，圖像變換處理部IOc進行將由在上述步驟S102中臉檢測部IOa獲取到的照片圖像數據表現(xiàn)的照片圖像變換成繪畫風格圖像的圖像變換處理，并顯示變換之后的繪畫風格圖像(步驟S108，詳細處理參照上述)O這樣 ，在照片圖像中拍攝到的人物的臉的像不滿足第一基準的情況(處于區(qū)域Tl 之外的情況)下，進行將照片圖像變換成繪畫風格圖像的圖像變換處理。因此區(qū)域Tl外的區(qū)域是照片圖像的端部，區(qū)域Tl是由三分割法定義的區(qū)域，所以在照片圖像中拍攝到的人物的臉的像處于區(qū)域Tl外的情況下，該像不是拍攝者有意圖行拍攝的人物的臉的像，而是拍攝者不想要的偶爾拍攝到的行人等的可能性高。因此，即便假設進行將這樣的照片圖像變換成繪畫風格圖像的圖像變換處理，如該繪畫風格圖像中拍攝到的人物的臉損壞那樣表現(xiàn)，在該圖像中拍攝到的人物對于拍攝者而言是不關心的人物的可能性高，即使無法識別該人物的臉也沒有問題的可能性高。另一方面，在上述步驟S104中，在由判別部IOb判別為人物的臉的像滿足第一基準的情況下(步驟S104 “是”，參照圖6)，該像與上述相反，是拍攝者有意圖進行拍攝的人物的臉的像的可能性高。這種情況下，判別部IOb判別臉檢測部IOa檢測出的人物的臉的像是否滿足第二基準(步驟S105)。在這里，第二基準是上述檢測出的臉的像是否小于預先規(guī)定的范圍的基準。例如， 如圖8所示，在照片圖像上將相當于整體的約1/9 (區(qū)域Tl的約1/4)的矩形范圍Sl和臉的像各自中心相一致地重合，在臉的像不從范圍Sl伸出的情況下，人物的臉的像比預先設定的基準小，臉檢測部IOa檢測出的人物的臉的像滿足第二基準(步驟S105 “是”)。在臉的像從范圍Sl伸出的情況下，臉的像比預先設定的基準大，臉檢測部IOa檢測出的人物的臉的像不滿足第二基準(步驟S105 “否”)。判別部IOb通過進行這種內容的處理，來進行步驟S105的判別處理。此外，所述大小的判別也可以通過面積是否超過規(guī)定閾值等的其他方法進行。這里，所述預先設定的基準是在將照片圖像變換成繪畫風格圖像的情況下劃分是否如基準的判斷對象的人物的臉的像損壞那樣地表現(xiàn)的基準。也就是說，在照片圖像中拍攝到的人物的臉的像比上述的基準小的情況下，如果將該照片圖像變換成繪畫風格圖像， 則如該繪畫風格圖像中的所述人物的臉的像損壞那樣表現(xiàn)的可能性高。另一方面，在照片圖像中拍攝到的人物的臉的像比所述基準大的情況下，即便將該照片圖像變換成繪畫風格圖像，在該繪畫風格圖像中拍攝到的上述人物的臉的像損壞的可能性也低。判別部IOb在步驟S105中判別為人物的臉的像不滿足第二基準的情況下(步驟 S105 “否”，參照圖10)，圖像變換處理部IOc進行步驟S108的處理(詳細地參照上述)。 這樣，在照片圖像中拍攝到的人物的臉的像不滿足第二基準的情況下，進行將照片圖像變換成繪畫風格圖像的圖像變換處理。也就是說，這種情況下，即便將照片圖像變換成繪畫風格圖像，在該繪畫風格圖像中拍攝到的人物的臉的像也大，所以沒有如損壞那樣地表現(xiàn)的危險。因此，即便在該照片圖像中拍攝到的人物是拍攝者有意圖進行拍攝的人物(主要被攝體)，看到進行圖像處理而得到的繪畫風格圖像的人也能識別在該繪畫風格圖像中拍攝到的主要被攝體的臉。另一方面，在上述步驟S105中，通過判別部IOb判別為人物的臉的像滿足第二基準的情況下(步驟S105 “是”，參照圖9)，因為臉檢測部IOa檢測出的人物的臉的像小，所以判別部IOb通過上述圖像處理使得如該臉的像損壞那樣表現(xiàn)的危險存在。這種情況下， 判別部IOb不轉移至步驟S108，而判別是否滿足第三基準(步驟S106)。這里，第三基 準是人物的臉及視線的朝向在照片圖像上是否朝向正面方向(人物朝向相機)的基準。在人物的臉及視線的朝向是朝向正面的情況下，該人物朝向相機且看到相機的可能性高，是拍攝者積極拍攝的人物(主要被攝體)的可能性高。另一方面，在除此之外的情況下，因為該人物朝向相機且不看到相機的可能性高，所以是與拍攝者的意圖無關地拍攝的人物(行人等)的可能性高。判別部IOb例如從臉檢測部IOa檢測到的人物的臉的像中檢測該人物的臉和視線的方向。人物的臉的朝向是通過進行與上述步驟S102中進行的模板匹配等同樣的適當處理而檢測的。具體而言，判別部IOb使用預先記錄到存儲部20中的分別表現(xiàn)眼、鼻、口等的各圖像數據，在臉檢測部IOa檢測出的人物的臉的像中進行模板匹配，對臉檢測部IOa檢測出的人物的臉的像中的眼、鼻、口等進行檢測，并基于所檢測出的眼、鼻、口等的位置關系來檢測臉的朝向。例如，在兩只眼睛的位置以連結鼻的位置和口的位置的線為基準而大致左右對稱地排列的情況下，檢測出該人物的臉的朝向為正面。另一方面，在兩只眼睛的位置以連結鼻的位置和口的位置的線為中央時，在靠左側位置處排列的情況下，檢測出人物的臉的朝向為朝向照片時為左(在實際空間中為右)。另外，人物的視線方向，從在檢測人物的臉的朝向時檢測出的上述眼睛的區(qū)域中進一步確定黑眼珠和白眼珠的位置，由此基于白眼珠中的黑眼珠的位置來檢測視線方向。 例如，在白眼珠中黑眼珠大致位于中央位置的情況下，檢測出視線方向為正面方向。另一方面，在白眼珠中黑眼珠從中央向右位置靠近的情況下，檢測出視線方向為朝向照片時為右方向(在實際空間中為左方向)。判別部IOb如圖9所示，在由人物的臉的像Fl確定的人物的臉和視線都朝向正面方向的情況下，判別該人物的臉的像Fl滿足第三基準(步驟S106 “是”)。另一方面，除此之外的情況下，判別部IOb判別為不滿足第三基準(步驟S106 “否”)。例如判別部IOb如圖11所示，在由人物的臉的像F5確定的人物的臉不朝向正面方向的情況下，判別為該人物的臉的像F5不滿足第三基準(步驟S106 “否”)。另外，判別部IOb如圖12所示，在由人物的臉的像F6確定的人物的視線不朝向正面方向的情況下，判別為該人物的臉的像F6不滿足第三基準(步驟S106 “否”)。此外，在由上述模板匹配處理使用的模板圖像數據表現(xiàn)的模板圖像利用僅僅表現(xiàn)朝向正面的人物(相機視線的人物)的圖像的情況下，臉檢測部IOa在照片圖像中朝向正面以外的人物是無法檢測的。這種情況下，判別部IOb不檢測所檢測出的人物(朝向正面的人)的臉的朝向，而在視線方向朝向正面時判別為滿足第三基準。由判別部IOb在步驟S106中判別為人物的臉的像不滿足第三基準的情況下(步驟S106 “否”，參照圖11、圖12)，圖像變換處理部IOc進行步驟S108的處理(詳細而言， 參照上述)。在照片圖像中拍攝到的人物的臉的像不滿足第三基準的情況(人物的臉和視線至少一方不朝向正面方向的情況)下，進行將照片圖像變換成繪畫風格圖像的圖像變換處理。也就是說，這種情況下，即便將照片圖像變換成繪畫風格圖像而如在繪畫風格圖像中拍攝到的人物的臉的像損壞那樣表現(xiàn)，在該圖像中拍攝到的人物是行人等對于拍攝者而言為不關心的人物的可能性高，即使無法識別該人物的臉也沒有問題的可能性也高。另一方面，在上述步驟S106中，由判別部IOb判別為人物的臉的像滿足第三基準的情況下(步驟S106 “是”，參照圖9)，圖像變換處理部IOc不進行將由在上述步驟S102 中臉檢測部IOa獲取到的照片圖像數據表現(xiàn)的照片圖像變換成繪畫風格圖像的圖像變換處理，而將該照片圖像顯示于顯示部50的顯示畫面中(步驟S107)。也就是說，在人物的臉的像滿足第三基準的情況下(人物的視線和臉朝向正面方向的情況下)，該像與上述相反地，是拍攝者積極拍攝的人物(主要被攝體)的可能性高。另外，此時如果將照片圖像變換成繪畫風格圖像，則如在該繪畫風格圖像中拍攝到的人物的臉的像損壞那樣表現(xiàn)，在該圖像中拍攝到的人物的臉無法識別的可能性高。因此，在這種情況下，不進行將照片圖像變換成繪畫風格圖像的圖像變換處理，而將由在上述步驟S102中臉檢測部IOa獲取到的照片圖像數據表現(xiàn)的照片圖像顯示于顯示部50的顯示畫面中。另外，這種情況下，圖像變換處理部IOc在顯示部50的顯示畫面上顯示“繪畫風格變換NG”等，使拍攝者了解無法將照片圖像變換成繪畫風格圖像的情況。以上，根據本實施方式所涉及的圖像處理裝置1，對在由獲取到的照片圖像數據表現(xiàn)的照片圖像中拍攝到的人物的臉的像進行檢測，根據所檢測出的人物的臉的像是否滿足第一至第三基準，來判別能否將照片圖像變換成繪畫風格圖像，基于該判別結果將照片圖像變換成繪畫風格圖像。在本實施方式中，在將拍攝到人物的照片圖像變換成繪畫風格圖像的情況下，在照片圖像中考慮拍攝到人物的位置(區(qū)域Tl)及其大小(范圍Si)、或者該人物的臉及視線的朝向等，來確定是否進行繪畫風格變換。如上述，在被認為是主要被攝體的臉的像小的情況下，由于不進行繪畫風格變換，所以能夠抑制臉損壞這樣的不合 適。這樣，在本實施方式中，考慮在照片圖像中拍攝到人物的位置(區(qū)域Tl)及其大小(范圍Si)、 或者該人物的臉及視線的朝向等，也就是說對臉的像進行規(guī)定判別，來確定是否進行圖像變換處理，故能夠進行適當的圖像處理。此外，在上述實施方式中，說明了在通過判別部IOb判別為人物的臉的像不滿足第一至第三基準的任意基準的情況下，圖像變換處理部IOc自動地進行將該照片圖像變換成繪畫風格圖像的圖像變換處理，但此時圖像變換處理部IOc也可在顯示部50的顯示畫面上顯示“繪畫風格變換0K”等，使拍攝者了解能將照片圖像變換成繪畫風格圖像的情況。這種情況下，拍攝者利用輸入部40，對是否將照片圖像變換成繪畫風格圖像進行選擇操作。圖像變換處理部IOc也可從輸入部40中接收與選擇操作對應的操作信號，并根據收到的操作信號進行將上述照片圖像變換成繪畫風格圖像的圖像變換處理。這樣，經由拍攝者的操作， 圖像變換處理部IOc也可根據判別部IOb的判別結果，進行將照片圖像變換成繪畫風格圖像的圖像變換處理。另外，即便在圖像變換處理部IOc根據判別部IOb判別為不滿足第一至第三基準的全部基準的情況下，也就是在步驟S107中也進行將照片圖像變換成繪畫風格圖像的圖像變換處理。其中，這里進行的圖像變換處理的處理強度比步驟S108的處理強度小。這里， 處理強度越大則越大，變換前后的圖像的變化度變大。因此，通過減小處理強度，變換前后的圖像的變化度變小。此外，處理強度如上述由參數進行規(guī)定，所以處理強度的強弱通過參數數值的調整而進行(此外，該變更方法是用預先設定的方法進行的)。由此，在照片圖像中即便被認為是主要被攝體的人物的臉的像小的情況下，通過進行與原始照片圖像之間的變化程度小的繪畫風格變換，從而能夠抑制臉損壞這樣的不合適。并且，由于能夠進行繪畫風格變換，所以產生用戶感興趣的圖像。另外，圖像變換處理部IOc也可在步驟S107中進行圖像變化少的種類(預先確定的種類)的繪畫風格變換。由此，與上述同樣地，能夠抑制臉損壞這樣的不合適。并且，由于能夠進行繪畫風格變換，所以產生用戶感興趣的圖像另外，圖像變換處理部IOc也可根據臉檢測部IOa或判別部IOb在上述步驟S103 至S106中進行的判別結果，來變更處理強度、繪畫風格的種類，進行圖像變換處理。具體而言，圖像變換處理部IOc對應于在哪個步驟中被判別為“否”，來改變在步驟S108中進行的圖像變換處理的強度、種類。例如，存儲部20預先存儲將對上述步驟S103至S106任意步驟進行確定的信息和圖像變換處理的處理強度或繪畫風格的種類建立對應來記錄的對應表(未圖示)。圖像變換處理部IOc確定在哪個步驟中被判別為“否”(即，之前的步驟為哪個步驟)，并且參照所述對應表，獲取對與被判別為“否”的步驟相同步驟進行確定的信息所對應的圖像變換處理的處理強度或繪畫風格的種類。之后，圖像變換處理部IOc利用所獲取到的圖像變換處理的處理強度或繪畫風格的種類，對照片圖像進行圖像變換處理。基本上，在步驟S108中成為圖像變換處理的對象的照片圖像，根據在上述步驟S103至S106 的哪個步驟中被判別為“否”，而其內容(人的臉的像的有無、位置、大小等)不同。因此，對應于不同內容來設定圖像變換處理的處理強度或繪畫風格的種類，由此能夠對照片圖像進行適當的圖像變換處理。例如，在上述情況下，圖像變換處理的處理強度，伴隨著被判別為“否”的步驟從步驟S103進入到步驟S106中，而被設定為較小。另外，繪畫風格的種類，伴隨著被判別為“否” 的步驟從步驟S103進入到步驟S106中，而被設定為變換前后的圖像的變化度變小。根據這些理由，能夠對照片圖像進行適當的圖像變換處理。在上述中，如果改變變換種類，則意味著改變油彩畫、水彩畫、彩色素描(Oil paintings Water color paintings Color pencil sketch) 白勺 會！iMM白勺禾中￥ (style), 但是也包括改變明亮度、色調等色質(tone)。另外，所謂改變變換強度是指，即便是相同的種類，變換結果與原始圖像的差越小變換強度越弱，與原始圖像的差越大則變換強度越強。此外，在上述實施方式中，為了說明的方便，說明了在照片圖像中拍攝到的人物為一個人的情況，但本發(fā)明所涉及的圖像處理裝置也可以用于在照片圖像中拍攝到的人物為多個人的情況。在這種情況下，例如在圖像處理裝置1進行圖像變換處理時，即便由判別部 IOb判別為滿足上述第一至第三基準的人物為一個人的情況下，圖像變換處理部IOc也不將該照片圖像變換成繪畫風格圖像，或者按照該人物改變處理強度進行圖像處理。另外，在上述實施方式中，判別部IOb利用第一至第三基準，關于臉檢測部IOa檢測出的人物的臉的像來判別是否滿足基準，但第一至第三基準也可以由拍攝者適當地選擇進行使用。另外，在上述實施方式中，臉檢測部IOa檢測人物的臉的圖像，但也可應用于狗、 貓、寵物等的臉。進而，在上述實施方式中，說明了使用根據拍攝者的拍攝操作而拍攝到的照片圖像，將該照片圖像變換成繪畫風格圖像的圖像變換處理裝置1，但并不限定于此，也可使用由存儲部20或記錄介質100等中記錄的記錄圖像數據表現(xiàn)的記錄圖像。
除此之外，本發(fā)明所涉及的圖像處理裝置在上述實施方式中，說明了將照片圖像 (靜止圖像)變換成繪畫風格圖像的圖像變換處理，但也可進行將實時取景顯示用到的圖像或運動圖像(由多個連續(xù)的靜止圖像構成的圖像組)變換成繪畫風格圖像(繪畫風格圖像組)的圖像變換處理。另外，本發(fā)明所涉及的圖像處理裝置在上述實施方式中，作為一個例子舉出了數字相機，除此之外還可應用于數字相框或個人計算機等的圖像處理裝置。

此外，上述實施方式的圖像處理程序21a也可以記錄到可攜帶的記錄介質等中?？蓴y帶的記錄介質，例如有CD-ROM (Compact Disk Read Only Memory)或者 DVD-ROM (Digital Versatile Disk Read Only Memory)等。另外，圖像處理程序 21a 也可經由各種讀取裝置，從可攜帶的記錄介質向圖像處理裝置1安裝。進而，圖像處理程序21a 也可經由未圖示的通信部從因特網等網絡向圖像處理裝置1下載及安裝。另外，圖像處理程序21a也可存儲于與圖像處理裝置1可進行通信的服務器等存儲裝置中，對CPU等進行指令。進而，存儲了圖像處理程序21a的可讀取的記錄介質(例如，RAM、ROM (Read Only Memory)、⑶-R、DVD-R、硬盤、或閃速存儲器)，為存儲了計算機可讀取的程序的記錄介質。
權利要求
1.一種圖像處理裝置，其特征在于，具備 臉檢測裝置，其從圖像中檢測臉的像；判別裝置，其判別所述臉檢測裝置檢測出的所述臉的像是否滿足規(guī)定的基準；和圖像變換處理裝置，其根據所述判別裝置的判別結果，進行將所述圖像變換成繪畫風格的圖像的圖像變換處理。
2.根據權利要求1所述的圖像處理裝置，其特征在于，所述規(guī)定的基準包括第一基準，該第一基準為所述臉的像是否包含在所述圖像中所設定的規(guī)定的區(qū)域中，所述判別裝置，在所述臉的像未包含在所述規(guī)定的區(qū)域中的情況下，判別為不滿足所述第一基準，所述圖像變換處理裝置，在所述判別裝置判別為不滿足所述第一基準時，進行將所述圖像變換成繪畫風格的圖像的圖像變換處理。
3.根據權利要求1所述的圖像處理裝置，其特征在于，所述規(guī)定的基準包括第二基準，該第二基準為所述臉的像是否是規(guī)定以下的大小， 所述判別裝置，在所述臉的像不是所述規(guī)定以下的大小的情況下，判別為不滿足所述第二基準，所述圖像變換處理裝置，在所述判別裝置判別為不滿足所述第二基準時，進行將所述圖像變換成繪畫風格的圖像的圖像變換處理。
4.根據權利要求1所述的圖像處理裝置，其特征在于，所述規(guī)定的基準包括第三基準，該第三基準為所述臉及視線朝向的方向是否是正面方向，所述判別裝置，根據所述人物的臉的像來確定所述人物的臉及視線的朝向，在確定出的所述臉或所述視線朝向的方向不是正面方向的情況下，判別為不滿足所述第三基準，所述圖像變換處理裝置，在所述判別裝置判別為不滿足所述第三基準時，進行將所述圖像變換成繪畫風格的圖像的圖像變換處理。
5.根據權利要求1所述的圖像處理裝置，其特征在于， 所述臉檢測裝置檢測人物的臉的像。
6.一種圖像處理裝置，其特征在于，具備 臉檢測裝置，其從圖像中檢測臉的像；判別裝置，其判別所述臉檢測裝置檢測出的所述臉的像是否滿足規(guī)定的基準；和圖像變換處理裝置，其根據所述判別裝置的判別結果，進行使得用于將所述圖像變換成繪畫風格的圖像的變換強度為不同的圖像變換處理。
7.根據權利要求6所述的圖像處理裝置，其特征在于， 所述臉檢測裝置檢測人物的臉的像。
8.一種圖像處理裝置，其特征在于，具備 臉檢測裝置，其從圖像中檢測臉的像；判別裝置，其判別所述臉檢測裝置檢測出的所述臉的像是否滿足規(guī)定的基準；和圖像變換處理裝置，其根據所述判別裝置的判別結果，進行使得用于將所述圖像變換成繪畫風格的圖像的變換種類為不同的圖像變換處理。
9.根據權利要求8所述的圖像處理裝置，其特征在于， 所述臉檢測裝置檢測人物的臉的像。
10.一種圖像處理方法，其特征在于， 從圖像中檢測臉的像；判別檢測出的所述臉的像是否滿足規(guī)定的基準；根據是否滿足所述規(guī)定的基準，進行將所述圖像變換成繪畫風格的圖像的圖像變換處理。
全文摘要
本發(fā)明提供一種圖像處理裝置、圖像處理方法。在進行將拍攝人物得到的照片圖像變換成繪畫風格圖像的圖像變換處理的圖像處理裝置中，具備臉檢測部，其獲取圖像，檢測在所獲取到的圖像中拍攝的人物的臉的像；判別部，其判別檢測出的人物的臉的像是否滿足規(guī)定的基準；和圖像變換處理部，其根據判別結果，進行將圖像變換成繪畫風格圖像的圖像變換處理。在將拍攝人物得到的照片圖像變換成繪畫風格圖像的情況下，考慮在照片圖像中拍攝人物的位置及其大小、該人物的臉及視線的朝向等來確定是否進行繪畫風格變換。
文檔編號G06K9/00GK102346914SQ20111020637
公開日2012年2月8日 申請日期2011年7月22日 優(yōu)先權日2010年7月23日
發(fā)明者小金孝行 申請人:卡西歐計算機株式會社