專利名稱：圖像處理裝置及圖像評價方法
技術領域：
本發(fā)明涉及圖像處理裝置及圖像評價方法。
背景技術：
已知有從多個圖像中選擇最佳拍攝的相機(參照專利文獻1)。在現(xiàn)有技術中，選擇無像抖動的圖像，并基于該無像抖動的圖像的柱狀圖而選擇最佳曝光的圖像。專利文獻1 日本特開2006-311340號公報在現(xiàn)有技術中，以全部的圖像為對象，進行是否存在像抖動的判定，而選擇最佳拍攝候補圖像，因此存在處理花費時間的問題。即，以全部圖像為對象實施基于最佳因子(無像抖動)的判定。

發(fā)明內(nèi)容
本發(fā)明的圖像處理裝置的特征在于，包含對于輸入的圖像組中包含的多個圖像分別計算基于第一因子的評價值的第一運算部；基于第一運算部的運算結(jié)果從圖像組中對該運算結(jié)果滿足規(guī)定條件的圖像進行排除處理的排除部；對排除處理后的圖像組中包含的各圖像分別計算基于第二因子的評價值的第二運算部，該第二因子包含與第一因子不同的因子；以及基于第二運算部的運算結(jié)果對排除處理后的圖像組中的各圖像建立序列的評價處理部。本發(fā)明的圖像評價方法的特征在于，包括第一步驟，輸入包含多個圖像的圖像組；第二步驟，對所述圖像組中包含的各圖像分別計算基于第一因子的評價值；第三步驟， 基于所述第二步驟的運算結(jié)果，將該運算結(jié)果滿足規(guī)定條件的圖像從所述圖像組排除；第四步驟，對所述第三步驟后的所述圖像組中包含的各圖像，分別計算基于第二因子的評價值，該第二因子包含與所述第一因子不同的因子；以及第五步驟，基于所述第四步驟的運算結(jié)果，對所述第三步驟后的所述圖像組中的各圖像建立序列。發(fā)明效果根據(jù)本發(fā)明，能夠迅速地選擇最佳拍攝候補圖像。


圖1是說明本發(fā)明一實施方式的電子相機的主要部分結(jié)構的框圖。圖2是說明預拍拍攝模式下的圖像的取得時間的圖。圖3是說明主CPU執(zhí)行的圖像評價處理的流程的流程圖。圖4是說明標志Case_PF及標志Case_MV與對應的評價處理項目之間的關系的圖。圖5(a)是例示橫向位置時的離開屏幕區(qū)域的圖，(b)是例示縱向位置時的離開屏幕區(qū)域的圖。圖6是例示AF區(qū)域及中心微小區(qū)域的圖。
圖7是例示評價對象區(qū)域的圖。圖8是說明構圖最佳度的評價值的算出的圖。圖9是例示計算機裝置的圖。圖10是例示液晶監(jiān)視器的顯示畫面的圖。附圖標記說明1電子相機11 主 CPU14顯示圖像生成電路15緩沖存儲器18操作部件19液晶監(jiān)視器22攝像元件
具體實施例方式以下，參照附圖，說明用于實施本發(fā)明的方式。圖1是說明本發(fā)明的一實施方式的電子相機1的主要部分結(jié)構的框圖。電子相機1由主CPUll控制。拍攝透鏡21使被拍攝體像在攝像元件22的攝像面上成像。攝像元件22包括CXD 圖像傳感器或CMOS圖像傳感器，拍攝攝像面上的被拍攝體像，并將攝像信號向攝像電路23 輸出。攝像電路23除了對從攝像元件22輸出的光電轉(zhuǎn)換信號進行模擬處理(增益控制等)之外，還通過內(nèi)置的A/D轉(zhuǎn)換電路將模擬攝像信號轉(zhuǎn)換成數(shù)字數(shù)據(jù)。主CPUll輸入從各程序段輸出的信號而進行規(guī)定的運算，并將基于運算結(jié)果的控制信號向各程序段輸出。圖像處理電路12例如構成ASIC(AppliCati0n Specific Intergrated Circuits 專用集成電路)，對從攝像電路23輸入的數(shù)字圖像信號進行圖像處理。圖像處理中包含例如輪廓強調(diào)或色溫調(diào)整(白平衡調(diào)整)處理、對圖像信號的格式變換處理。圖像壓縮電路13對由圖像處理電路12處理后的圖像信號例如以JPEG方式進行規(guī)定壓縮比率的圖像壓縮處理。顯示圖像生成電路14生成用于將拍攝圖像顯示在液晶監(jiān)視器19上的顯示用信號。液晶監(jiān)視器19由液晶面板構成，基于從顯示圖像生成電路14輸入的顯示用信號顯示圖像或操作菜單畫面等。影像輸出電路20基于從顯示圖像生成電路14輸入的顯示用信號生成并輸出用于將圖像或操作菜單畫面等顯示在外部顯示裝置上的影像信號。緩沖存儲器15除了臨時存儲圖像處理前、圖像處理后及圖像處理過程中的數(shù)據(jù)之外，還用于存儲向記錄介質(zhì)30記錄之前的圖像文件或存儲從記錄介質(zhì)30讀出的圖像文件。在本實施方式中，還用于對在拍攝指示前(釋放按鈕的全按操作前)通過攝像元件22 以規(guī)定幀率取得的預拍圖像進行臨時存儲。關于預拍圖像在后面進行敘述。閃存器16存儲主CPUll執(zhí)行的程序或主CPUll進行處理所需的數(shù)據(jù)等。閃存器 16存儲的程序或數(shù)據(jù)的內(nèi)容能夠根據(jù)來自主CPUll的指示進行追加、改變?？ń涌?I/F)17具有連接器(未圖示)，該連接器上連接有存儲卡等記錄介質(zhì)30。 卡接口 17根據(jù)來自主CPUll的指示進行對連接的記錄介質(zhì)30的數(shù)據(jù)寫入或來自記錄介質(zhì)30的數(shù)據(jù)讀入。記錄介質(zhì)30由內(nèi)置有半導體存儲器的存儲卡或硬盤驅(qū)動器等構成。操作部件18包含電子相機1的各種按鈕或開關類，將模式切換開關的切換操作等與各操作部件的操作內(nèi)容對應的操作信號向主CPUll輸出。半按開關18a及全按開關18b 與釋放按鈕(未圖示)的按下操作連動，分別將接通信號向主CPUll輸出。來自半按開關 18a的接通信號(半按操作信號)在釋放按鈕被進行按下操作至通常行程的一半程度時輸出，并通過解除半行程的按下操作而解除輸出。來自全按開關18b的接通信號(全按操作信號)在釋放按鈕被進行按下操作至通常行程時輸出，在解除通常行程的按下操作時解除輸出。半按操作信號指示主CPUll開始進行拍攝準備。全按操作信號指示主CPUll開始取得記錄用圖像。<拍攝模式>電子相機1具有通常的拍攝模式，根據(jù)上述全按操作信號，逐幀地取得拍攝圖像，向記錄介質(zhì)30進行記錄；和預拍拍攝模式，接收到上述半按操作信號時，以120幀/每秒(120fps)對高速快門秒(例如快于125分之一秒)時的靜止圖像進行連拍拍攝，取得多個幀的連拍拍攝圖像，接收到上述全按操作信號時，將接收到該全按操作信號的時刻的前后的規(guī)定幀圖像分別向記錄介質(zhì)30記錄。各拍攝模式能夠根據(jù)來自操作部件18的操作信號進行切換。<重放模式>重放模式的電子相機1將上述各拍攝模式中記錄的圖像按各幀或按規(guī)定數(shù)量的幀，向液晶監(jiān)視器19進行重放顯示。由于本實施方式的特征在于上述預拍拍攝模式，因此以下的說明中以預拍拍攝模式為中心進行。圖2是說明預拍拍攝模式下的圖像的取得時間的圖?！搭A拍拍攝〉在圖2中，在時刻t0輸入半按操作信號時，主CPUll開始釋放待機處理。在釋放待機處理中，例如，以120幀/秒(120fps)的幀率拍攝被拍攝體像，進行曝光運算或焦點調(diào)節(jié)，并將取得的圖像數(shù)據(jù)依次向緩沖存儲器15存儲。用于預拍拍攝的緩沖存儲器15的存儲器容量預先確保充分的容量。在時刻t0之后，當緩沖存儲器15內(nèi)存儲的幀圖像的幀張數(shù)達到規(guī)定張數(shù)(例如A張)時，主CPUll從舊的幀圖像依次進行覆蓋消去。由此，能夠限制用于預拍拍攝的緩沖存儲器15的存儲器容量。在時刻tl輸入全按操作信號時，主CPUll開始釋放處理。在釋放處理中，將在時刻tl之前拍攝到的A張幀圖像和在時刻tl之后拍攝到的B張幀圖像相加后的(A+B)張幀圖像作為向記錄介質(zhì)30的記錄候補圖像。主CPUll從(A+B)張幀圖像中選出預先通過菜單操作指示的C張幀圖像(C < A+B)，對該C張幀圖像建立關聯(lián)，分別向記錄介質(zhì)30存儲。圖2中的黑色帶表示取得記錄候補圖像即(A+B)張幀圖像的區(qū)間。斜線帶表示取得雖然臨時存儲于緩沖存儲器15但被覆蓋消去的幀圖像的區(qū)間。在本實施方式中，作為記錄方式，能夠根據(jù)來自操作部件18的操作信號，對將 (A+B)張幀圖像中的C張幀圖像向記錄介質(zhì)30記錄的第一記錄方式和將(A+B)張幀圖像全部向記錄介質(zhì)30記錄的第二記錄方式進行切換。在本實施方式中，說明選擇第一記錄方式的情況。如下所述，主CPUll從(A+B)張幀圖像中選擇C張幀圖像。圖3是說明主CPUll 執(zhí)行的圖像評價處理的流程的流程圖。主CPUll將(A+B)張幀圖像向緩沖存儲器15輸入時，啟動圖3的處理。在圖3的步驟SlO中，主CPUll判定幀圖像中是否包含人物的“臉部”。主CPUll 對于(A+B) =N張幀圖像依次實施“臉部”檢測處理?！澳槻俊睓z測處理由于公知，因此省略說明。主CPUll判定為幀圖像中含有“臉部”時，對步驟SlO作出肯定判定，進入步驟S20。 主CPUll判定為幀圖像中不含“臉部”時，對步驟SlO作出否定判定，進入步驟S90。在步驟S20中，主CPUll判定人物是否為主要被拍攝體。例如在第n(其中， 1 ^ η ^ N)個幀圖像中，構成檢測到的“臉部”的像素數(shù)為規(guī)定數(shù)量以上時，將計數(shù)器h(n) 置為1，在第η個幀圖像中，未檢測到“臉部”時或構成檢測到的“臉部”的像素數(shù)不滿足規(guī)定數(shù)量時，將計數(shù)器h(n)置為0。主CPUll對N張幀圖像進行計數(shù)PF=Eh(Ii)的結(jié)果是， 當PF>th_pf(其中，th_pf為規(guī)定的判定閾值)成立時，對步驟S20作出肯定判定，進入步驟S30。這種情況下，判斷為人物是主要的被拍攝體。主CPUll在PF<th_pf成立時，對步驟S20作出否定判定，進入步驟S90。這種情況下，判斷為人物不是主要的被拍攝體。在步驟S30中，主CPUll將判斷為人物是主要被拍攝體的情況作為“Case_A”。這種情況下的主CPUll將標志Case_PF置為1，將標志Case_MV置為1，進入步驟S40。標志 Case_PF是在人物是主要的被拍攝體時為1、且在人物不是主要的被拍攝體時為0的標志。 標志Case_MV是表示幀圖像之間是否產(chǎn)生差分的標志，在人物為主要被拍攝體時，為了方便，置為1。 在步驟S90中，主CPUl 1判定被拍攝體有無移動。通常，被拍攝體移動時，進行變焦操作而導致視場角變動時及電子相機1進行搖攝時，分別在幀圖像之間產(chǎn)生差分。在本實施方式中，在第一個和第N個幀之間按像素依次算出對應的圖像數(shù)據(jù)的差分，求出總和(下式⑴)。Delk_FR = Σ xy 11 (χ, y, 11 _1 (χ, y, N) | (1)其中，第一幀的圖像數(shù)據(jù)(x，y)為l(X，y，l)，第N幀的圖像數(shù)據(jù)(x，y)為1 (x，y， N)。主CPUll在上式(1)的運算結(jié)果是Del_FR> th_fr(其中，th_fr是規(guī)定的判定閾值)成立時，對步驟S90作出肯定判定，進入步驟S100。這種情況下，通過被拍攝體的移動、 視場角變動及搖攝中發(fā)生至少一個，判斷為幀之間存在移動。主CPUll在Del_FR < th_fr 成立時，對步驟S90作出否定判定，進入步驟S110。這種情況下，判斷為幀之間沒有移動，為大致靜止狀態(tài)。在步驟SlOO中，主CPUll將判斷為人物不是主要被拍攝體、且?guī)瑘D像之間存在移動的情況作為“Case_B”。這種情況的主CPUll將標志Case_PF置為0，將標志Case_MV置為1，進入步驟S40。標志Case_MV是表示幀圖像之間是否產(chǎn)生差分的標志。需要說明的是， 在“Case_B”的情況下，例如，將存在于最近距離的被拍攝體、或存在于由用戶或相機選擇為應對焦區(qū)域的區(qū)域中的被拍攝體判斷為“主要被拍攝體”，進行以后的處理。在步驟SllO中，主CPUll將判斷為人物不是主要被拍攝體、且?guī)瑘D像之間不存在移動的情況作為“Case_C”。這種情況的主CPUll將標志Case_PF置為0，將標志Case_MV置為0，進入步驟S40。在步驟S40中，主CPUl 1根據(jù)標志Case_PF及標志Case_MV的值(即，根據(jù)為 "Case_A,\"Case_B"還是“Case_A” )確定評價處理項目，進入步驟S50。圖4是說明標志 Case_PF及標志Case_MV與對應的評價處理項目之間的關系的表。在本實施方式中，算出表中記為“ON”的評價處理項目的評價值，而關于記為“OFF”的評價處理項目，省略評價值的計算。在本實施方式中，評價處理項目41 評價處理項目46是用于從N張幀圖像中排除X張幀圖像以保留C張幀圖像的評價值計算中所使用的評價因子，因此稱為無用因子。X 大于N/2時，后述的序列附加處理負擔減輕，因而優(yōu)選。而且，評價處理項目45 評價處理項目50是用于對C張幀圖像附加表示優(yōu)劣的序列的評價值計算中所使用的評價因子，因此稱為必要因子(或最佳評價因子)。評價處理項目45及46在無用因子及必要因子之間進行重復。關于各評價因子在后面進行敘述。在步驟S50中，主CPUll使用與在步驟S40中確定的評價處理項目相對應的評價因子，進行評價值計算，進入步驟S60。在步驟S60中，主CPUll從評價值低(無用度高)的幀圖像依次選出X張的幀圖像(無用圖像)，并從N張幀圖像排除而保留C張幀圖像，進入步驟S70。在步驟S70中，主CPUll使用與在步驟S40中確定的評價處理項目相對應的評價因子，進行評價值計算，進入步驟S80。在步驟S80中，主CPUll對于C張幀圖像的幀圖像， 從評價值高的幀圖像依次建立序列，而結(jié)束圖3的處理。關于上述的評價因子，以下進行詳細說明。<多個人物間接近度檢測>在評價處理項目41中，算出表示評價對象圖像中的多個人物間的接近度的評價值Hl (η)。主CPUll在關于構成N張幀圖像的各幀圖像η (其中，1 ^ η ^ N)檢測出的“臉部”區(qū)域的面積S超過預先設定的規(guī)定面積時，取得以下的值。面積以例如構成“臉部”區(qū)域的像素數(shù)表示。主CPUll在幀圖像η中對檢測出的面積S超過規(guī)定面積的“臉部”進行計數(shù)，并將計數(shù)得出的“臉部”的數(shù)量(即人數(shù))設為KS (η)。并且，將在幀圖像η中檢測出的“臉部” 區(qū)域的面積設為Sk(n)。而且，將幀圖像η中的與“臉部”區(qū)域的中心相當?shù)淖鴺嗽O為(χ_ k(n)，y_k(n))。此外，將該“臉部”區(qū)域的等級方向的邊表示為Lx_k(n)，將該“臉部”區(qū)域的垂直方向的邊表示為Ly_k(n)。在此，η是表示構成N張連拍圖像的幀圖像的幀編號，k 是表示在幀圖像η中超過上述規(guī)定面積的“臉部”區(qū)域的“臉部”編號。主CPUll在KS(n) ( 1時，不考慮人物間的接近，因此表示多個人物間接近度的評價值Hl (η) =1。另一方面，KS(n) > 1時，反復進行m次以下的循環(huán)處理。其中，m = Combination(KS(η). 2)。例如，以KS (η) = 2的情況為例進行說明，通過Rlx = |Χ_1(η)-Χ_2(η) |，算出“臉部”區(qū)域的中心間的等級方向的長度X，通過Rlx = |y_l(n)+y_2(n) |，算出“臉部”區(qū)域的中心間的垂直方向的長度y，通過R2x = (Lx_l(n)+Lx_2(n))/2，加上“臉部”區(qū)域的等級方向的邊的1/2，通過R2y = (Ly_l (η)+Ly_2 (η))/2，加上“臉部”區(qū)域的垂直方向的邊的1/2。
并且，在Rlx < R2x、Rly < R2y 成立時，hm(n) = 1，在上述以外時，hm(n) = 0。此外，反復進行m次“臉部”的數(shù)量(即人數(shù))的全組合。如上所述，關于上述hm(η)的總和，在Σ hm(n) > 0成立時，設為幀圖像η中的接近評價值Hl (n) =O0另一方面，關于上述hm (η)的總和，在Ehm(n) =0成立時，設為接近評價值Hl (η) = 1。<臉部無用物檢測>在評價處理項目42中，算出表示評價對象圖像中的“臉部”檢測的可靠度的評價值Η2(η)。主CPUll對于構成N張幀圖像的各幀圖像η(其中，1彡η彡N)檢測出的“臉部” 區(qū)域面積S最大的“臉部”區(qū)域，取得在該“臉部”檢測處理時得到的可靠度信息(最小值 0 最大值為1)?？煽慷刃畔⒁部梢允褂谩澳槻俊毕嗨贫然颉澳槻俊鼻实闹笖?shù)。在此，在 “臉部”相似度的情況下，從臉部檢測的“臉部”區(qū)域的圖像抽出各種特征量(顏色信息、臉部的各部分(眼、鼻、口等)的配置關系的信息等)，對它們進行綜合性的判斷而測量作為 “臉部”檢測的可靠度的“臉部相似度”。在“臉部”曲率的情況下，通過研究利用邊緣檢測等方法抽出的臉部輪廓的曲率是否發(fā)生不自然變化，而算出“臉部”檢測的可靠度。例如，對于抽出的邊緣(輪廓)應用曲線(或橢圓)，在急劇的邊緣變化(輪廓不平滑)時，推定為發(fā)生頭發(fā)或手等擋住臉等的情況，進行降低可靠度(評價值Η2(η))的處理。主CPUll使幀圖像η下的臉部無用部分評價值Η2 (n)=可靠度信息。<閉眼檢測>在評價處理項目43中，算出表示評價對象圖像中有無閉眼的評價值Η3(η)。主 CPUll對于構成N張幀圖像的各幀圖像η (其中，1彡η彡N)檢測出的“臉部”區(qū)域面積S最大的“臉部”區(qū)域，進行閉眼檢測。由于閉眼檢測處理為公知，因此省略說明。主CPUll使用閉眼檢測結(jié)果，當存在閉眼時，使幀圖像η下的閉眼評價值Η3(η) =0。另一方面，不存在閉眼時，使閉眼評價值Η3 (η) = 1。<離開屏幕檢測>在評價處理項目44中，在“Case_A”的情況下，算出表示評價對象圖像中的“臉部” 區(qū)域是否偏離屏幕的評價值H4 (η)，在“Case_B”的情況下，算出表示推定為人物以外的主要被拍攝體的“主要被拍攝體”的區(qū)域是否偏離屏幕的評價值H4 (η)。主CPUll在構成N張幀圖像的各幀圖像η(其中，1彡η彡N)檢測出的“臉部”區(qū)域(“主要被拍攝體”區(qū)域)即該“臉部”(“主要被拍攝體”)的面積S超過規(guī)定面積的區(qū)域中，取得距畫面中心最遠的“臉部”(“主要被拍攝體”)區(qū)域的中心坐標(F0_x,F0_y)。并且，設定圖5(a)及圖5(b)所例示的離開屏幕區(qū)域，根據(jù)取得的(F0_x，F(xiàn)0_y)是否包含在離開屏幕區(qū)域中而如下所述地確定離開屏幕評價值H4(n)。圖5(a)是例示幀圖像η為橫向位置時的離開屏幕區(qū)域的圖。主CPUll在上述中心坐標(F0_x，F(xiàn)0_y)包含在斜線部51中時相當于離開屏幕，設幀圖像η下的離開屏幕評價值H4(n) = 0。另一方面，在上述中心坐標(F0_x，F(xiàn)0_y)未包含在斜線部51中時相當于沒有離開屏幕，設離開屏幕評價值H4(η) = 1。圖5(b)是例示幀圖像η為縱向位置時的離開屏幕區(qū)域的圖。與橫向位置的情況同樣地，主CPUll根據(jù)上述中心坐標(F0_x，F(xiàn)0_y)是否包含在斜線部51中來確定離開屏幕評價值H4 (η)。幀圖像中的斜線部51及52的范圍例如相對于等級邊的長度為左右各1/8，相對于垂直邊的長度距下方為1/8。
需要說明的是，也可以取代使用距畫面中心最遠的“臉部”(“主要被拍攝體”)區(qū)域的中心坐標(F0_x，F(xiàn)0_y)來判定是否離開屏幕的情況，而使用與用于對焦的焦點(焦距區(qū)域(AF區(qū)域)的中心)中的距畫面中心最遠的區(qū)域相對應的坐標(FP_x，F(xiàn)P_y)，根據(jù)該坐標(FP_x, FP_y)是否包含在圖5(a)、圖5(b)的斜線部51、52中，而判定是否離開屏幕。<AF、臉部區(qū)域抖動檢測/清晰度〉在評價處理項目45中，分別算出表示評價對象圖像中的抖動程度的評價值 H50(n)及表示評價對象圖像中的清晰度的評價值H51 (η)。主CPUll對于構成N張幀圖像的各幀圖像η(其中，1彡η彡N)檢測出的“臉部”區(qū)域面積S最大的“臉部”區(qū)域(“CaSe_ Α”的情況)，取得HPF (高通濾波器)的輸出值的平均值HPF_aV(n)。平均值HPF_av (η)是從“臉部”區(qū)域中包含的像素數(shù)據(jù)抽出高頻率成分并進行平均后的值，因此適于判定對比度是高還是低。主CPUll在HPF_av (η) < HPF_k成立時設為幀圖像η下的抖動評價值Η50 (n)= HPF_av(n)/HPF_k。另一方面，在HPF_av (η)彡HPF_k成立時，設為抖動評價值Η50 (η) = 1。 其中，HPF_k為規(guī)定值，例如，在預先對焦時，使用算出的HPF輸出值的平均值HPF_av (η)。另外，主CPUll為幀圖像η下的清晰度評價值Η51 (n) = HPF_av(η)/HPF_k0其中， HPF_k為上述規(guī)定值。需要說明的是，在上述的說明中，通過取得面積S最大的“臉部”區(qū)域中包含的圖像數(shù)據(jù)中的HPF(高通濾波器)的輸出平均值HPF_aV(n)，而得到“臉部”的抖動評價值 H50(n)及“臉部”的清晰度評價值H51 (η)。也可以取代這種情況，而取得用于對焦的焦距區(qū)域(AF區(qū)域)中包含的像素數(shù)據(jù)的HPF(高通濾波器)的輸出值平均值HPF_av(n)(“Case_ B”、“Case_C”使用這些方法)。關于AF區(qū)域中包含的像素數(shù)據(jù)，通過取得HPF(高通濾波器)的輸出平均值，而得到用于對焦的被拍攝體的抖動評價值H50(n)及用于對焦的被拍攝體的清晰度評價值H51(n)。<整體亮度柱狀圖>在評價處理項目46中，算出表示評價對象圖像中的曝光過度或曝光不足的頻率的評價值H6 (η)。主CPUll對于構成N張幀圖像的各幀圖像η (其中，1彡η彡N)，算出圖像整體(使用構成圖像的全部像素數(shù)據(jù))的亮度柱狀圖。設最大灰度值(8位數(shù)據(jù)的情況下為255)的頻率為HL，最小灰度值(0)的頻率為LL。主CPUll設為曝光過度、曝光不足的規(guī)格化頻率比例即評價值Η6 (n) = (HL+LL)/(全部像素數(shù))。需要說明的是，也可以是使最大灰度值的頻率為規(guī)定的第一判定閾值以上的數(shù)據(jù)的頻率，而使最小灰度值的頻率為規(guī)定的第二判定閾值以下的數(shù)據(jù)的頻率。<臉部面積檢測>在評價處理項目47中，算出表示評價對象圖像中的“臉部”的最大面積的評價值 Η7(η)。主CPUll算出對于構成N張幀圖像的各幀圖像η(其中，1彡η彡N)檢測出的“臉部”區(qū)域面積S最大的“臉部”區(qū)域的面積S (η)。如上所述，面積由構成“臉部”區(qū)域的像素數(shù)表示。主CPUll設為臉部面積評價值Η7 (n) = S (η)?！葱δ樁葯z測〉在評價處理項目48中，算出表示評價對象圖像中的“臉部”的笑臉程度的評價值 Η8(η)。主CPUll取得構成N張幀圖像的各幀圖像η(其中，1彡η彡N)檢測出的“臉部”的笑臉等級。笑臉等級的判定在上述“臉部”檢測時進行。笑臉等級例如分為等級3 (大笑)、 等級2(中笑)、等級1(微笑)這三個等級。主CPUll設為笑臉程度的評價值H8(n)=笑臉等級。<被拍攝體的大小檢測>在評價處理項目49中，算出表示評價對象圖像中的被拍攝體的大小的評價值 H9 (η)。主CPUll對于構成N張幀圖像的各幀圖像η (其中，1彡η彡N)，由用于對焦的焦距區(qū)域(AF區(qū)域)，求出中心微小區(qū)域(例如3X3像素)的平均亮度YO及平均顏色(CrO， CbO)。圖6是例示AF區(qū)域61及中心微小區(qū)域62的圖。中心微小區(qū)域62是用于以下說明的區(qū)域解析的基準區(qū)域。主CPUll使用各幀圖像η下的平均亮度YO及平均顏色(CrO，CbO)，按照以下的順序算出被拍攝體的尺寸評價值H9 (η)。(i)對中心微小區(qū)域，將標志置為1。(ii)周圍的像素值在規(guī)定的容許值rn(其中，η = 1 :Y，2 :Cr，3 :Cb)以內(nèi)時，對標志進行置位。具體來說，(|Y(x, y) -YO > rl)成立時，置位成Flagl = 0，不成立時，置位成Flagl = 1。(I Cr (x,y) -CrO > r2)成立時，置位成 Flag2 = 0，不成立時，置位成 Flag2 = 1。(| Cb (x,y) -CbO > r3)成立時，置位成 Flag3 = 0，不成立時，置位成 Flag3 = 1。關于上述Flagl Flag3，在(Flagl*Flag2*Flag3 = 1)成立時，置位成 Flag = 1，在不成立時，置位成Flag = O。(iii)使評價對象區(qū)域從包圍基準區(qū)域即微小區(qū)域62的邊開始，使其周圍邊逐級增加(第一評價區(qū)域71 —第二評價區(qū)域72 —第三評價區(qū)域73…)，在Flag全成為0的時刻結(jié)束處理。圖7是例示增加的評價對象區(qū)域71 73的圖。(iv)算出Flag成為1的面積D。主CPUll使第η圖像下的被拍攝體的尺寸評價值 H9(n) = D0〈構圖最佳度檢測〉在評價處理項目50中，算出表示評價對象圖像中的構圖的最佳度的評價值 HlO (η)。主CPUll對于構成N張幀圖像的各幀圖像η (其中，1彡η彡N)，取得用于對焦的焦距區(qū)域(AF區(qū)域)或檢測的“臉部”區(qū)域的中心坐標Oix，Qy)。如圖8所例示，主CPUll還分別在畫面內(nèi)設置5點的構圖評價坐標點Pl Ρ5，通過下式⑵分別算出該5點與上述中心坐標0)X，Qy)的距離KS(m)(其中，m= 1，2，···5)。
權利要求
1.一種圖像處理裝置，其特征在于，包含第一運算部，對于輸入的圖像組中包含的多個圖像中的各個圖像，分別計算基于第一因子的評價值；排除部，基于所述第一運算部的運算結(jié)果，從所述圖像組中對該運算結(jié)果滿足規(guī)定條件的圖像進行排除處理；第二運算部，對所述排除處理后的所述圖像組中包含的各圖像，分別計算基于第二因子的評價值，該第二因子包含與所述第一因子不同的因子；以及評價處理部，基于所述第二運算部的運算結(jié)果，對所述排除處理后的所述圖像組中的各圖像建立序列。
2.根據(jù)權利要求1所述的圖像處理裝置，其特征在于， 所述圖像組包含連拍拍攝的多個圖像。
3.根據(jù)權利要求1或2所述的圖像處理裝置，其特征在于，所述第一運算部根據(jù)拍攝所述圖像組時的拍攝場景改變所述第一因子的內(nèi)容。
4.根據(jù)權利要求3所述的圖像處理裝置，其特征在于，所述第一運算部根據(jù)所述圖像組中包含的被拍攝體像有無移動及該被拍攝體像中有無人物中的至少一方改變所述第一因子的內(nèi)容。
5.根據(jù)權利要求1 4中任一項所述的圖像處理裝置，其特征在于，所述排除部基于所述第一運算部的運算結(jié)果從所述圖像組將半數(shù)以上的圖像排除。
6.根據(jù)權利要求1 5中任一項所述的圖像處理裝置，其特征在于， 所述第一因子的一部分與所述第二因子的一部分共用。
7.根據(jù)權利要求6所述的圖像處理裝置，其特征在于，共用的所述因子包含構成所述圖像組的各圖像的規(guī)定區(qū)域中的清晰度信息及所述各圖像的整個區(qū)域的亮度分布信息中的至少一方。
8.根據(jù)權利要求1 7中任一項所述的圖像處理裝置，其特征在于，所述第二因子包含與所述圖像組中含有的被拍攝體像中的人物表情相關的因子、與該人物的臉部面積相關的因子以及與該被拍攝體像的抖動相關的因子中的至少一個。
9.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，還具備使由所述排除部排除的圖像顯示在顯示裝置上的顯示控制部。
10.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，還具備控制部，該控制部以不將通過所述顯示控制部顯示在所述顯示裝置上的圖像中的規(guī)定圖像排除的方式對所述排除部進行控制。
11.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，還具備用于追加所述第一因子及所述第二因子中的至少一方的因子的因子追加部。
12.根據(jù)權利要求5所述的圖像處理裝置，其特征在于， 所述排除部從所述圖像組中排除規(guī)定數(shù)量的圖像， 所述規(guī)定數(shù)量能夠改變。
13.根據(jù)權利要求12所述的圖像處理裝置，其特征在于，所述排除部在基于所述第一運算部的運算結(jié)果無法排除所述規(guī)定數(shù)量的圖像時不進行所述排除，所述第二運算部在所述排除部不進行所述排除時對所述輸入的全部圖像組分別計算基于所述第二因子的評價值，所述評價處理部基于所述第二運算部的運算結(jié)果對所述輸入的全部圖像組中的各圖像建立序列。
14.根據(jù)權利要求12所述的圖像處理裝置，其特征在于，所述排除部在基于所述第一運算部的運算結(jié)果無法排除所述規(guī)定數(shù)量的圖像時從所述圖像組中排除比所述規(guī)定數(shù)量少的第二規(guī)定數(shù)量的圖像，所述第二運算部在所述排除部排除了所述第二規(guī)定數(shù)量的圖像時對所述排除處理后的圖像組中包含的各圖像分別計算基于第二因子的評價值，該第二因子包含與所述第一因子不同的因子，所述評價處理部基于所述第二運算部的運算結(jié)果對所述排除處理后的圖像組中的各圖像建立序列。
15.根據(jù)權利要求13或14所述的圖像處理裝置，其特征在于，還具備選擇部，該選擇部基于由所述評價處理部附加的所述序列選擇作為保存對象的圖像。
16.根據(jù)權利要求15所述的圖像處理裝置，其特征在于，所述選擇部在所述序列不存在差別時選擇最接近拍攝指示時間地取得的圖像和基于所述第二因子的評價值最高的圖像。
17.一種圖像評價方法，其特征在于，包括 第一步驟，輸入包含多個圖像的圖像組；第二步驟，對所述圖像組中包含的各圖像分別計算基于第一因子的評價值； 第三步驟，基于所述第二步驟的運算結(jié)果，將該運算結(jié)果滿足規(guī)定條件的圖像從所述圖像組排除；第四步驟，對所述第三步驟后的所述圖像組中包含的各圖像，分別計算基于第二因子的評價值，該第二因子包含與所述第一因子不同的因子；以及第五步驟，基于所述第四步驟的運算結(jié)果，對所述第三步驟后的所述圖像組中的各圖像建立序列。
18.根據(jù)權利要求17所述的圖像評價方法，其特征在于， 所述圖像組包含連拍拍攝的多個圖像。
19.根據(jù)權利要求17或18所述的圖像評價方法，其特征在于，所述第二步驟根據(jù)拍攝所述圖像組時的拍攝場景改變所述第一因子的內(nèi)容。
20.根據(jù)權利要求19所述的圖像評價方法，其特征在于，所述第二步驟根據(jù)所述圖像組中包含的被拍攝體有無移動及被拍攝體像中有無人物中的至少一方改變所述第一因子的內(nèi)容。
21.根據(jù)權利要求17 20中任一項所述的圖像評價方法，其特征在于， 所述第一因子的一部分與所述第二因子的一部分共用。
22.根據(jù)權利要求21所述的圖像評價方法，其特征在于，共用的所述因子包含構成所述圖像組的各圖像的規(guī)定區(qū)域中的清晰度信息及所述各圖像的整個區(qū)域的亮度分布信息中的至少一方。
23.根據(jù)權利要求17 22中任一項所述的圖像評價方法，其特征在于，所述第二因子包含與所述圖像組中含有的被拍攝體像中的人物表情相關的因子、與該人物的臉部面積相關的因子以及與該被拍攝體像的抖動相關的因子中的至少一個。
24.根據(jù)權利要求17所述的圖像評價方法，其特征在于，還執(zhí)行使由所述第三步驟排除的圖像顯示在顯示裝置上的第六步驟。
25.根據(jù)權利要求M所述的圖像評價方法，其特征在于，所述第三步驟將通過所述第六步驟顯示在所述顯示裝置上的圖像中的規(guī)定圖像排除。
26.根據(jù)權利要求17所述的圖像評價方法，其特征在于，所述第三步驟基于所述第二步驟的運算結(jié)果從所述圖像組排除規(guī)定數(shù)量的圖像， 所述規(guī)定數(shù)量能夠改變。
27.根據(jù)權利要求沈所述的圖像評價方法，其特征在于，所述第三步驟在基于所述第二步驟的運算結(jié)果無法排除所述規(guī)定數(shù)量的圖像時不進行所述排除，所述第四步驟在所述第三步驟不進行所述排除時對通過所述第一步驟輸入的全部圖像組分別計算基于所述第二因子的評價值，所述第五步驟基于所述第四步驟的運算結(jié)果對所述輸入的全部圖像組中的各圖像建立序列。
28.根據(jù)權利要求沈所述的圖像評價方法，其特征在于，所述第三步驟在基于所述第二步驟的運算結(jié)果無法排除所述規(guī)定數(shù)量的圖像時從所述圖像組中排除比所述規(guī)定數(shù)量少的第二規(guī)定數(shù)量的圖像，所述第四步驟在所述第三步驟排除了所述第二規(guī)定數(shù)量時對所述排除處理后的圖像組中包含的各圖像分別計算基于第二因子的評價值，該第二因子包含與所述第一因子不同的因子，所述第五步驟基于所述第四步驟的運算結(jié)果對所述第三步驟后的圖像組中的各圖像建立序列。
29.根據(jù)權利要求27或觀所述的圖像評價方法，其特征在于，還執(zhí)行基于由所述第五步驟附加的所述序列來選擇作為保存對象的圖像的第七步驟。
30.根據(jù)權利要求四所述的圖像評價方法，其特征在于，所述第七步驟在所述序列不存在差別時選擇最接近拍攝指示時間地取得的圖像和基于所述第二因子的評價值最高的圖像。
31.一種圖像處理裝置，其特征在于，具備能夠執(zhí)行權利要求17 30中任一項所述的圖像評價方法的計算機， 從記錄有多個圖像的記錄介質(zhì)輸入所述圖像組，并執(zhí)行所述圖像評價方法的各步驟。
全文摘要
提供一種迅速地選擇最佳拍攝候補圖像的圖像處理裝置及圖像評價方法。圖像處理裝置(1)包含第一運算部(11)，對于輸入的圖像組中包含的多個圖像中的各個圖像，分別計算基于第一因子的評價值；排除部(11)，基于第一運算部(11)的運算結(jié)果，從圖像組中對該運算結(jié)果滿足規(guī)定條件的圖像進行排除處理；第二運算部(11)，對排除處理后的圖像組中包含的各圖像，分別計算基于第二因子的評價值，其中該第二因子包含與第一因子不同的因子；以及評價處理部(11)，基于第二運算部(11)的運算結(jié)果，對排除處理后的圖像組中的各圖像建立序列。
文檔編號H04N17/00GK102209196SQ20111008362
公開日2011年10月5日 申請日期2011年3月30日 優(yōu)先權日2010年3月30日
發(fā)明者坂本浩一 申請人:株式會社尼康