圖像處理裝置、圖像處理方法、圖像處理程序和記錄介質(zhì)的制作方法
【專利摘要】一種圖像處理裝置，對(duì)合成曝光條件不同的第1圖像和第2圖像而得到的合成圖像進(jìn)行圖像處理。該裝置具有數(shù)據(jù)取得部和圖像處理部。數(shù)據(jù)取得部取得合成圖像和表示合成圖像的對(duì)象區(qū)域的區(qū)域數(shù)據(jù)。圖像處理部根據(jù)區(qū)域數(shù)據(jù)，對(duì)對(duì)象區(qū)域和對(duì)象區(qū)域以外的區(qū)域進(jìn)行不同的圖像處理。此處，第1圖像和第2圖像包含描繪有動(dòng)態(tài)被攝體的區(qū)域。合成圖像是針對(duì)描繪有動(dòng)態(tài)被攝體的區(qū)域，使用第1圖像和第2圖像中的任意一方的像素值而生成的。區(qū)域數(shù)據(jù)將根據(jù)合成圖像中的描繪有動(dòng)態(tài)被攝體的區(qū)域生成的1個(gè)或者多個(gè)區(qū)域表示為對(duì)象區(qū)域。
【專利說(shuō)明】圖像處理裝置、圖像處理方法、圖像處理程序和記錄介質(zhì)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理裝置、圖像處理方法、圖像處理程序和記錄介質(zhì)。
【背景技術(shù)】
[0002]作為圖像處理裝置，過(guò)去已知有進(jìn)行高動(dòng)態(tài)范圍合成(HDR(High Dynamic Range)合成)的圖像處理裝置(參照專利文獻(xiàn)I)。該裝置通過(guò)合成在不同的曝光條件下依次拍攝到的多個(gè)畫面，使影像信號(hào)的動(dòng)態(tài)范圍看上去被放大。由此，消除逆光時(shí)等產(chǎn)生的“曝光過(guò)度(白it/)”或者“曝光不足(黒&)”(亮度等級(jí)明顯高或者低的部分)。此外，在該裝置中，與因手抖動(dòng)產(chǎn)生的多個(gè)畫面之間的攝像時(shí)的經(jīng)時(shí)位置偏差對(duì)應(yīng)地，對(duì)多個(gè)畫面中的各個(gè)畫面進(jìn)行坐標(biāo)轉(zhuǎn)換，然后進(jìn)行HDR合成。具體而言，使用圖像的運(yùn)動(dòng)信息，并使用兩個(gè)畫面的公共區(qū)域部分進(jìn)行HDR合成。由此，消除畫面(攝像元件)相對(duì)于被攝體的位置偏差(畫面晃動(dòng))。
[0003]另一方面，在被攝體自身移動(dòng)的情況下，還存在物體在所合成的圖像上分成多個(gè)的所謂被攝體晃動(dòng)問(wèn)題。因此，已知有變更讀出信號(hào)的輸出定時(shí)，控制曝光次數(shù)、曝光時(shí)間或者攝像元件的信號(hào)讀出速度的裝置(參照專利文獻(xiàn)2、3)。
[0004]現(xiàn)有技術(shù)文獻(xiàn)
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:日本特許第3110797號(hào)公報(bào)
[0007]專利文獻(xiàn)2:日本特開(kāi)2005 - 130054號(hào)公報(bào)
[0008]專利文獻(xiàn)3:日本特開(kāi)2005 - 065119號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0009]發(fā)明要解決的問(wèn)題
[0010]由于專利文獻(xiàn)2、3所記載的裝置是通過(guò)在攝像條件上設(shè)法來(lái)降低被攝體晃動(dòng)的，因而需要根據(jù)被攝體有無(wú)移動(dòng)來(lái)變更設(shè)備的動(dòng)作或設(shè)定，存在控制處理復(fù)雜化的問(wèn)題。
[0011]因此，期望只使用輸入圖像的圖像信息來(lái)進(jìn)行降低被攝體晃動(dòng)的HDR合成。但是，由于經(jīng)過(guò)各種圖像處理而得到HDR圖像，因此在色調(diào)映射處理等后續(xù)步驟時(shí)，HDR合成時(shí)的處理的影響變得顯著，有時(shí)不能得到優(yōu)質(zhì)的圖像。因此，期望如下圖像處理裝置、圖像處理方法、圖像處理程序和存儲(chǔ)有該圖像處理程序的記錄介質(zhì):即使在只使用輸入圖像的圖像信息來(lái)進(jìn)行校正了被攝體晃動(dòng)的HDR合成的情況下，也能夠適當(dāng)?shù)剡M(jìn)行后續(xù)步驟。
[0012]用于解決問(wèn)題的手段
[0013]S卩，本發(fā)明的一個(gè)方面的圖像處理裝置是對(duì)合成曝光條件不同的第I圖像和第2圖像而得到的合成圖像進(jìn)行圖像處理的圖像處理裝置。該裝置具有數(shù)據(jù)取得部和圖像處理部。數(shù)據(jù)取得部取得合成圖像和表示合成圖像的對(duì)象區(qū)域的區(qū)域數(shù)據(jù)。圖像處理部根據(jù)區(qū)域數(shù)據(jù)，對(duì)對(duì)象區(qū)域和對(duì)象區(qū)域以外的區(qū)域進(jìn)行不同的圖像處理。此處，第I圖像和第2圖像包含描繪有動(dòng)態(tài)被攝體的區(qū)域。合成圖像是針對(duì)描繪有動(dòng)態(tài)被攝體的區(qū)域，使用第I圖像和第2圖像中的任意一方的像素值而生成的。區(qū)域數(shù)據(jù)將根據(jù)合成圖像中的描繪有動(dòng)態(tài)被攝體的區(qū)域生成的I個(gè)或者多個(gè)區(qū)域表示為對(duì)象區(qū)域。
[0014]在該圖像處理裝置中，在對(duì)合成圖像進(jìn)行圖像處理時(shí)，使用區(qū)域數(shù)據(jù)，對(duì)描繪有動(dòng)態(tài)被攝體的區(qū)域和此外的區(qū)域進(jìn)行不同的處理。拍攝有動(dòng)態(tài)被攝體的區(qū)域在合成處理時(shí)被實(shí)施各種圖像處理。因此，并非對(duì)圖像整體實(shí)施相同的圖像處理，通過(guò)將拍攝有動(dòng)態(tài)被攝體的區(qū)域與其它區(qū)域區(qū)別開(kāi)來(lái)實(shí)施圖像處理，能夠在后續(xù)步驟中，避免合成時(shí)的處理的影響變得顯著，因此，即使在只使用輸入圖像的圖像信息來(lái)進(jìn)行校正了被攝體晃動(dòng)的合成的情況下，也能夠適當(dāng)?shù)剡M(jìn)行后續(xù)步驟。
[0015]在一個(gè)實(shí)施方式中，圖像處理裝置還可以具有輸入部、似然度計(jì)算部和區(qū)域數(shù)據(jù)生成部。輸入部輸入第I圖像和第2圖像。似然度計(jì)算部根據(jù)第I圖像和第2圖像的差分，計(jì)算各個(gè)像素的動(dòng)態(tài)被攝體似然度。區(qū)域數(shù)據(jù)生成部根據(jù)動(dòng)態(tài)被攝體似然度生成區(qū)域數(shù)據(jù)。通過(guò)這樣構(gòu)成，能夠根據(jù)輸入圖像生成區(qū)域數(shù)據(jù)。
[0016]在一個(gè)實(shí)施方式中，圖像處理裝置還可以具有曝光估計(jì)部和合成部。曝光估計(jì)部根據(jù)動(dòng)態(tài)被攝體似然度，估計(jì)對(duì)第I圖像與第2圖像的曝光條件進(jìn)行調(diào)合的曝光轉(zhuǎn)換函數(shù)。合成部使用曝光轉(zhuǎn)換函數(shù)合成第I圖像和第2圖像。這樣，在對(duì)曝光進(jìn)行調(diào)合時(shí)，由于考慮了動(dòng)態(tài)被攝體似然度，因此例如能夠去除顏色有可能因被攝體運(yùn)動(dòng)而變化的區(qū)域而對(duì)曝光進(jìn)行調(diào)合，因此能夠生成合適的合成圖像。
[0017]在一個(gè)實(shí)施方式中，圖像處理裝置還可以具有將合成圖像和區(qū)域數(shù)據(jù)相互對(duì)應(yīng)起來(lái)而進(jìn)行記錄的記錄部。通過(guò)這樣構(gòu)成，不僅在攝像時(shí)或合成時(shí)，在合成之后期望的時(shí)機(jī)，也能夠適當(dāng)?shù)剡M(jìn)行后續(xù)步驟。
[0018]在一個(gè)實(shí)施方式中，區(qū)域數(shù)據(jù)可以是尺寸比第I圖像、第2圖像或者合成圖像的尺寸小的數(shù)據(jù)。通過(guò)這樣構(gòu)成，能夠減少與合成圖像對(duì)應(yīng)起來(lái)的數(shù)據(jù)量。
[0019]在一個(gè)實(shí)施方式中，也可以是，還將區(qū)域數(shù)據(jù)與原像素信息對(duì)應(yīng)起來(lái)，該原像素信息確定合成該區(qū)域數(shù)據(jù)表示的對(duì)象區(qū)域時(shí)用到的圖像的像素信息，數(shù)據(jù)取得部取得與區(qū)域數(shù)據(jù)對(duì)應(yīng)的原像素信息，圖像處理部根據(jù)區(qū)域數(shù)據(jù)和原像素信息，對(duì)對(duì)象區(qū)域和對(duì)象區(qū)域以外的區(qū)域進(jìn)行不同的處理。
[0020]通過(guò)這樣構(gòu)成，例如能夠判斷是使用曝光過(guò)度的圖像區(qū)域合成了對(duì)象區(qū)域，還是使用曝光不足的圖像區(qū)域(或者像素信息不足的較暗的區(qū)域)合成了對(duì)象區(qū)域，因此能夠根據(jù)原像素信息變更處理，從而能夠適當(dāng)?shù)剡M(jìn)行后續(xù)步驟。
[0021]在一個(gè)實(shí)施方式中，圖像處理部可以對(duì)對(duì)象區(qū)域和對(duì)象區(qū)域以外的區(qū)域，進(jìn)行不同的色調(diào)映射處理。這樣，通過(guò)將色調(diào)映射處理設(shè)為根據(jù)每一區(qū)域而不同的處理，能夠避免對(duì)象區(qū)域產(chǎn)生較多噪聲或者對(duì)象區(qū)域的顏色變得不自然。
[0022]本發(fā)明的另一方面的圖像處理方法是對(duì)合成曝光條件不同的第I圖像和第2圖像而得到的合成圖像進(jìn)行圖像處理的圖像處理方法。該方法具有數(shù)據(jù)取得步驟和圖像處理步驟。在數(shù)據(jù)取得步驟中，取得合成圖像和表示合成圖像的對(duì)象區(qū)域的區(qū)域數(shù)據(jù)。在圖像處理步驟中，根據(jù)區(qū)域數(shù)據(jù)，對(duì)對(duì)象區(qū)域和對(duì)象區(qū)域以外的區(qū)域進(jìn)行不同的圖像處理。此處，第I圖像和第2圖像包含描繪有動(dòng)態(tài)被攝體的區(qū)域。合成圖像是針對(duì)描繪有動(dòng)態(tài)被攝體的區(qū)域，使用第I圖像和第2圖像中的任意一方的像素值而生成的。區(qū)域數(shù)據(jù)將根據(jù)合成圖像中的描繪有動(dòng)態(tài)被攝體的區(qū)域而生成的I個(gè)或者多個(gè)區(qū)域表示為對(duì)象區(qū)域。[0023]本發(fā)明再一方面的圖像處理程序是使計(jì)算機(jī)以對(duì)合成曝光條件不同的第I圖像和第2圖像而得到的合成圖像進(jìn)行圖像處理的方式進(jìn)行動(dòng)作的圖像處理程序。該程序使計(jì)算機(jī)作為數(shù)據(jù)取得部和圖像處理部進(jìn)行動(dòng)作。數(shù)據(jù)取得部取得合成圖像和表示合成圖像的對(duì)象區(qū)域的區(qū)域數(shù)據(jù)。圖像處理部根據(jù)區(qū)域數(shù)據(jù)，對(duì)對(duì)象區(qū)域和對(duì)象區(qū)域以外的區(qū)域進(jìn)行不同的圖像處理。此處，第I圖像和第2圖像包含描繪有動(dòng)態(tài)被攝體的區(qū)域。合成圖像是針對(duì)描繪有動(dòng)態(tài)被攝體的區(qū)域，使用第I圖像和第2圖像中的任意一方的像素值而生成的。區(qū)域數(shù)據(jù)將根據(jù)合成圖像中的描繪有動(dòng)態(tài)被攝體的區(qū)域生成的I個(gè)或者多個(gè)區(qū)域表示為對(duì)象區(qū)域。
[0024]本發(fā)明又一方面的記錄介質(zhì)是記錄有使計(jì)算機(jī)以對(duì)合成曝光條件不同的第I圖像和第2圖像而得到的合成圖像進(jìn)行圖像處理的方式進(jìn)行動(dòng)作的圖像處理程序的記錄介質(zhì)。該程序使計(jì)算機(jī)作為數(shù)據(jù)取得部和圖像處理部進(jìn)行動(dòng)作。數(shù)據(jù)取得部取得合成圖像和表示合成圖像的對(duì)象區(qū)域的區(qū)域數(shù)據(jù)。圖像處理部根據(jù)區(qū)域數(shù)據(jù)，對(duì)對(duì)象區(qū)域和對(duì)象區(qū)域以外的區(qū)域進(jìn)行不同的圖像處理。此處，第I圖像和第2圖像包含描繪有動(dòng)態(tài)被攝體的區(qū)域。合成圖像是針對(duì)描繪有動(dòng)態(tài)被攝體的區(qū)域，使用第I圖像和第2圖像中的任意一方的像素值而生成的。區(qū)域數(shù)據(jù)將根據(jù)合成圖像中的描繪有動(dòng)態(tài)被攝體的區(qū)域生成的I個(gè)或者多個(gè)區(qū)域表示為對(duì)象區(qū)域。
[0025]根據(jù)本發(fā)明的其它方面的圖像處理方法、圖像處理程序和記錄介質(zhì)，起到與上述圖像處理裝置相同的效果。
[0026]發(fā)明效果
[0027]根據(jù)本發(fā)明的各個(gè)方面和實(shí)施方式，提供如下圖像處理裝置、圖像處理方法、圖像處理程序和存儲(chǔ)有該圖像處理程序的記錄介質(zhì):即使在只使用輸入圖像的圖像信息來(lái)進(jìn)行校正了被攝體晃動(dòng)的HDR合成的情況下，也能夠適當(dāng)?shù)剡M(jìn)行后續(xù)步驟。
【專利附圖】

【附圖說(shuō)明】
[0028]圖1是安裝有一個(gè)實(shí)施方式的圖像處理裝置的便攜終端的功能框圖。
[0029]圖2是安裝有圖1的圖像處理裝置的便攜終端的硬件結(jié)構(gòu)圖。
[0030]圖3是示出圖1所示的圖像處理裝置的前處理動(dòng)作的流程圖。
[0031 ] 圖4是說(shuō)明運(yùn)動(dòng)檢測(cè)的概要圖。
[0032]圖5是說(shuō)明差分圖像的概要圖。
[0033]圖6是說(shuō)明使用多重分辨率導(dǎo)出差分圖像的示例的概要圖。
[0034]圖7是示出曝光轉(zhuǎn)換函數(shù)的一例的曲線圖。
[0035]圖8是說(shuō)明亮度轉(zhuǎn)換函數(shù)的概要圖。
[0036]圖9是示出圖1所示的圖像處理裝置的合成動(dòng)作的流程圖。
[0037]圖10是說(shuō)明合成處理的流程的概要圖。
[0038]圖11是說(shuō)明合成掩碼的概要圖。其中，(A)是示出曝光轉(zhuǎn)換函數(shù)的一例的曲線圖。(B)是示出使曝光轉(zhuǎn)換函數(shù)彼此進(jìn)行關(guān)聯(lián)時(shí)的權(quán)重的一例的曲線圖。
[0039]圖12是說(shuō)明亮度基準(zhǔn)掩碼的概要圖。其中，(A)是輸入圖像的一例。(B)是亮度基準(zhǔn)掩碼的一例。
[0040]圖13是說(shuō)明差分圖像的被攝體晃動(dòng)區(qū)域的標(biāo)記的概要圖。其中，(A)是差分圖像的一例。(B)是進(jìn)行了標(biāo)記的差分圖像的一例。
[0041]圖14是說(shuō)明被攝體晃動(dòng)掩碼的生成處理流程的概要圖。
[0042]圖15是說(shuō)明合成掩碼的生成處理的流程的概要圖。
[0043]圖16是安裝有一個(gè)實(shí)施方式的圖像處理裝置的便攜終端的功能框圖。
[0044]圖17是示出圖16所示的圖像處理裝置的區(qū)域數(shù)據(jù)動(dòng)作的流程圖。
[0045]圖18是區(qū)域數(shù)據(jù)的一例。
[0046]圖19是示出圖16所示的圖像處理裝置的色調(diào)映射動(dòng)作的流程圖。
[0047]圖20是拍攝了動(dòng)態(tài)被攝體的輸入圖像，是包含曝光不足區(qū)域的輸入圖像的一例。(A)、(B)分別是以不同的曝光條件拍攝到的圖像。
[0048]圖21是對(duì)根據(jù)圖20所示的兩個(gè)輸入圖像生成的HDR圖像整體進(jìn)行色調(diào)映射處理的比較例I。(A)是說(shuō)明色調(diào)映射處理后的圖像，(B)是說(shuō)明(A)中的動(dòng)態(tài)被攝體區(qū)域的圖像。
[0049]圖22是圖21的(B)所示的比較例I的動(dòng)態(tài)被攝體區(qū)域的部分放大圖。
[0050]圖23是對(duì)根據(jù)圖20所示的兩個(gè)輸入圖像生成的HDR圖像實(shí)施色調(diào)映射處理，并且對(duì)動(dòng)態(tài)被攝體區(qū)域應(yīng)用降噪濾鏡的實(shí)施例1。(A)是應(yīng)用了降噪濾鏡的圖像，(B)是說(shuō)明(A)中的動(dòng)態(tài)被攝體區(qū)域的圖像。
[0051]圖24是圖23的(B)所示的實(shí)施例1的動(dòng)態(tài)被攝體區(qū)域的部分放大圖。
[0052]圖25是拍攝了動(dòng)態(tài)被攝體的、且包含曝光過(guò)度區(qū)域的輸入圖像的一例。(A)、(B)分別是不同的曝光條件下拍攝到的圖像。
[0053]圖26是對(duì)根據(jù)圖25所示的兩個(gè)輸入圖像生成的HDR圖像整體實(shí)施了色調(diào)映射處理的比較例2。(A)是色調(diào)映射處理后的圖像，(B)是說(shuō)明(A)中的動(dòng)態(tài)被攝體區(qū)域的圖像。
[0054]圖27是針對(duì)根據(jù)圖25所示的兩個(gè)輸入圖像生成的HDR圖像實(shí)施了根據(jù)每一區(qū)域而不同的色調(diào)映射處理的實(shí)施例2。(A)是實(shí)施了根據(jù)每一區(qū)域而不同的色調(diào)映射處理的圖像，(B)是說(shuō)明(A)中的動(dòng)態(tài)被攝體區(qū)域的圖像。
【具體實(shí)施方式】
[0055]以下，參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。此外，在各個(gè)圖中，對(duì)相同或者相當(dāng)?shù)牟糠謽?biāo)注相同的標(biāo)號(hào)，并省略重復(fù)的說(shuō)明。
[0056](第I實(shí)施方式)
[0057]本實(shí)施方式的圖像處理裝置是合成曝光條件不同的多個(gè)圖像來(lái)生成I個(gè)合成圖像的裝置。該圖像處理裝置例如應(yīng)用于如下情況:合成以不同曝光條件依次拍攝到的多個(gè)圖像，進(jìn)行使影像信號(hào)的動(dòng)態(tài)范圍看上去被放大的HDR合成。本實(shí)施方式的圖像處理裝置例如適合安裝于便攜電話、數(shù)字照相機(jī)、PDA (Personal Digital Assistant:個(gè)人數(shù)字助理)等資源有限的移動(dòng)終端，但是不限于這些，例如也可以安裝于通常的計(jì)算機(jī)系統(tǒng)。此外，下面，為了容易理解說(shuō)明，將安裝于具有照相機(jī)功能的便攜終端的圖像處理裝置作為本發(fā)明的圖像處理裝置的一例來(lái)進(jìn)行說(shuō)明。
[0058]圖1是具有本實(shí)施方式的圖像處理裝置I的便攜終端2的功能框圖。圖1所示的便攜終端2例如是由用戶攜帶的移動(dòng)終端，具有圖2所示的硬件結(jié)構(gòu)。圖2是便攜終端2的硬件結(jié)構(gòu)圖。如圖2所示，便攜終端2物理上構(gòu)成為包含CPlXCentral Processing Unit:中央處理單兀)100、ROM (Read Only Memory:只讀存儲(chǔ)器)101 和 RAM (Random AccessMemory:隨機(jī)存取存儲(chǔ)器)102等主存儲(chǔ)裝置、照相機(jī)或者鍵盤等輸入設(shè)備103、顯示器等輸出設(shè)備104、硬盤等輔助存儲(chǔ)裝置105等的通常的計(jì)算機(jī)系統(tǒng)。后述的便攜終端2和圖像處理裝置I的各功能是通過(guò)在CPU100、R0M101、RAM102等硬件上讀入預(yù)定的計(jì)算機(jī)軟件，基于CPU100的控制使輸入設(shè)備103和輸出設(shè)備104進(jìn)行動(dòng)作，并進(jìn)行主存儲(chǔ)裝置和輔助存儲(chǔ)裝置105中的數(shù)據(jù)的讀出和寫入而實(shí)現(xiàn)的。此外，上述說(shuō)明作為便攜終端2的硬件結(jié)構(gòu)進(jìn)行了說(shuō)明，但是圖像處理裝置I也可以構(gòu)成為包含CPU100、R0M101和RAM102等主存儲(chǔ)裝置、輸入設(shè)備103、輸出設(shè)備104、輔助存儲(chǔ)裝置105等的通常的計(jì)算機(jī)系統(tǒng)。此外，便攜終端2也可以具有通信模塊等。
[0059]如圖1所示，便攜終端2具有照相機(jī)20、圖像處理裝置I和顯示部21。照相機(jī)20具有拍攝圖像的功能。作為照相機(jī)20例如使用CMOS像素傳感器等。照相機(jī)20例如具有根據(jù)由用戶操作等指定的定時(shí)，以預(yù)定的間隔反復(fù)進(jìn)行攝像的連續(xù)攝像功能。即，照相機(jī)20具有不僅取得一幅靜止影像而且取得多幅靜止影像(連續(xù)的幀圖像)的功能。此外，照相機(jī)20具有變更連續(xù)的各幀圖像的曝光條件進(jìn)行攝像的功能。S卩，由照相機(jī)20連續(xù)拍攝到的各個(gè)圖像是曝光條件各不相同的圖像。照相機(jī)20例如具有每當(dāng)攝像時(shí)將拍攝到的幀圖像輸出到圖像處理裝置I的功能。
[0060]圖像處理裝置I具有圖像輸入部10、前處理部11、運(yùn)動(dòng)校正部15和合成部16。
[0061]圖像輸入部10具有輸入由照相機(jī)20拍攝到的幀圖像的功能。圖像輸入部10例如具有每當(dāng)攝像時(shí)輸入由照相機(jī)20拍攝到的幀圖像的功能。此外，圖像輸入部10具有將輸入幀圖像保存在便攜終端2具備的存儲(chǔ)裝置中的功能。
[0062]前處理部11進(jìn)行HDR合成前的前處理。前處理部11具有運(yùn)動(dòng)信息取得部12、似然度計(jì)算部13和曝光估計(jì)部14。
[0063]運(yùn)動(dòng)信息取得部12具有取得圖像之間的像素的運(yùn)動(dòng)信息的功能。例如，如果設(shè)輸入幀圖像為第I圖像和第2圖像，則取得第I圖像和第2圖像之間的像素的運(yùn)動(dòng)信息。作為運(yùn)動(dòng)信息，例如使用運(yùn)動(dòng)矢量。此外，在由圖像輸入部10輸入了 3幅以上的輸入圖像的情況下，運(yùn)動(dòng)信息取得部12可以將輸入圖像按曝光順序排序，在曝光條件接近的輸入圖像之間取得運(yùn)動(dòng)信息。通過(guò)對(duì)曝光條件接近的圖像彼此進(jìn)行比較來(lái)檢測(cè)運(yùn)動(dòng)，能夠避免圖像之間的曝光的差異導(dǎo)致運(yùn)動(dòng)的檢測(cè)精度下降。并且，運(yùn)動(dòng)信息取得部12可以從多個(gè)輸入圖像中，選擇對(duì)運(yùn)動(dòng)信息進(jìn)行調(diào)合的基準(zhǔn)圖像。作為基準(zhǔn)圖像，例如采用多個(gè)輸入圖像中有效像素最多的圖像。此處，有效像素是指沒(méi)有曝光不足或者曝光過(guò)度的像素。曝光不足或者曝光過(guò)度是以亮度值為基準(zhǔn)判定的。此外，運(yùn)動(dòng)信息取得部12在使用兩個(gè)輸入圖像取得運(yùn)動(dòng)信息的情況下，可以在兩個(gè)輸入圖像中，從曝光高的輸入圖像中提取特征點(diǎn)，并從曝光低的圖像中求出與其對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)。通過(guò)這樣進(jìn)行動(dòng)作，由于在曝光低的圖像中作為特征點(diǎn)提取出來(lái)的點(diǎn)在曝光高的圖像中為曝光過(guò)度，因此能夠避免無(wú)法取得運(yùn)動(dòng)信息的情況。此夕卜，也可以根據(jù)陀螺儀傳感器等取得運(yùn)動(dòng)信息。運(yùn)動(dòng)信息取得部12具有將運(yùn)動(dòng)信息輸出到似然度計(jì)算部13的功能。
[0064]似然度計(jì)算部13具有計(jì)算各個(gè)像素的被攝體的運(yùn)動(dòng)的似然度(動(dòng)態(tài)被攝體似然度)的功能。動(dòng)態(tài)被攝體似然度越大，則意味著被攝體存在運(yùn)動(dòng)的可能性越高，合成圖像為晃動(dòng)區(qū)域的可能性越高。似然度計(jì)算部13使用運(yùn)動(dòng)信息，對(duì)輸入圖像之間的畫面的運(yùn)動(dòng)進(jìn)行校正。然后，似然度計(jì)算部13對(duì)兩個(gè)輸入圖像中的對(duì)應(yīng)的像素的像素值進(jìn)行標(biāo)準(zhǔn)化。例如，似然度計(jì)算部13根據(jù)鄰近像素的像素值，求出局部三值模式(LTP =Local TernaryPatterns)。作為像素值,使用RGB3色，作為鄰近像素，使用鄰近的24個(gè)。并且,似然度計(jì)算部13使用標(biāo)準(zhǔn)化后的圖像之間的差分，計(jì)算動(dòng)態(tài)被攝體似然度。例如，計(jì)算標(biāo)準(zhǔn)化后的像素值的差分、即關(guān)注像素的LTP中的符號(hào)的不一致比例，作為關(guān)注像素的動(dòng)態(tài)被攝體似然度。
[0065]此外，似然度計(jì)算部13也可以對(duì)兩個(gè)輸入圖像進(jìn)行多重分辨率化，來(lái)計(jì)算動(dòng)態(tài)被攝體似然度。例如，似然度計(jì)算部13通過(guò)分別將各個(gè)輸入圖像(第I圖像和第2圖像)的分辨率階段地進(jìn)行變更，來(lái)生成分辨率不同的多個(gè)圖像(第I處理圖像和第2處理圖像)。并且，似然度計(jì)算部13在相同的分辨率下，生成第I處理圖像與第2處理圖像的差分圖像。該差分圖像是第I處理圖像與第2處理圖像的差分，具體而言是像素值的差分。并且，似然度計(jì)算部13通過(guò)對(duì)按照每一分辨率得到的差分圖像進(jìn)行加權(quán)，計(jì)算各像素的動(dòng)態(tài)被攝體似然度。作為權(quán)重(可靠度)，使用了各像素的LTP中的符號(hào)的不一致比例。例如，在LTP中，使用存在有意義差的對(duì)的數(shù)量。此外，關(guān)于權(quán)重，可以根據(jù)第I處理圖像或者第2處理圖像的圖像尺寸或者分辨率進(jìn)一步進(jìn)行加權(quán)。即可以是，圖像尺寸越大或者分辨率越大，則權(quán)重越大。似然度計(jì)算部13具有將各像素的動(dòng)態(tài)被攝體似然度輸出到曝光估計(jì)部14的功能。
[0066] 曝光估計(jì)部14具有估計(jì)對(duì)輸入圖像之間的曝光條件進(jìn)行調(diào)合的曝光轉(zhuǎn)換函數(shù)的功能。曝光轉(zhuǎn)換函數(shù)是用于對(duì)各個(gè)輸入圖像的曝光進(jìn)行曝光轉(zhuǎn)換使其與基準(zhǔn)圖像相當(dāng)?shù)暮瘮?shù)。例如，曝光轉(zhuǎn)換函數(shù)表示如下函數(shù):對(duì)于以不同的曝光條件拍攝到的相同場(chǎng)景的圖像，該函數(shù)表示對(duì)應(yīng)的像素(位置)的像素值的關(guān)系。通過(guò)使用曝光轉(zhuǎn)換函數(shù)，能夠以一方的像素值為參數(shù)，計(jì)算相對(duì)應(yīng)的像素的另一方的像素值。曝光估計(jì)部14在被輸入3幅以上的輸入圖像的情況下，在曝光條件接近的輸入圖像之間對(duì)曝光條件進(jìn)行調(diào)合即可。通過(guò)對(duì)曝光條件接近的圖像彼此進(jìn)行比較來(lái)對(duì)曝光進(jìn)行調(diào)合，能夠利用圖像之間的曝光的差異避免估計(jì)精度的下降。
[0067]曝光估計(jì)部14例如使用運(yùn)動(dòng)信息來(lái)校正輸入畫面之間的運(yùn)動(dòng)。并且，在運(yùn)動(dòng)校正后的兩個(gè)輸入圖像中，根據(jù)相同的部位，將亮度值分組采樣，描繪其關(guān)系。作為輸入圖像的坐標(biāo)，例如使用Halton數(shù)列。此外，曝光估計(jì)部14可以采用預(yù)定值以上的亮度值或預(yù)定值以下的亮度值作為采樣點(diǎn)。例如，采用包含在10~245的范圍內(nèi)的亮度值作為采樣點(diǎn)。曝光估計(jì)部14例如通過(guò)對(duì)描繪結(jié)果進(jìn)行擬合，來(lái)估計(jì)曝光轉(zhuǎn)換函數(shù)。例如，在設(shè)第I圖像的采樣點(diǎn)i中的原亮度值為K,、設(shè)曝光轉(zhuǎn)換函數(shù)為f (KiX設(shè)第2圖像的采樣點(diǎn)i中的原亮度值為Ui的情況下,可以使用如下誤差函數(shù)e,通過(guò)Gauss — Newton法進(jìn)行擬合。
[0068]e=2 {(f (Ki)-Ui)2)..? (I)
[0069]此外，曝光估計(jì)部14根據(jù)各像素的動(dòng)態(tài)被攝體似然度，進(jìn)行用于導(dǎo)出曝光轉(zhuǎn)換函數(shù)的采樣。曝光估計(jì)部14例如根據(jù)各像素的動(dòng)態(tài)被攝體似然度選擇采樣點(diǎn)。例如，曝光估計(jì)部14階段性地設(shè)置閾值，根據(jù)動(dòng)態(tài)被攝體似然度較小的像素采樣亮度值。此外，曝光估計(jì)部14可以根據(jù)動(dòng)態(tài)被攝體似然度，對(duì)采樣點(diǎn)賦予權(quán)重。例如，使以下的誤差函數(shù)e最小化而進(jìn)行擬合即可。
[0070]e=2 Iwi ? (f (Ki)-Ui)2).? ?⑵
[0071]在式2中，Wi是權(quán)重。此處，動(dòng)態(tài)被攝體似然度越高的像素，權(quán)重Wi設(shè)定得越小。這樣，曝光估計(jì)部14通過(guò)根據(jù)各像素的動(dòng)態(tài)被攝體似然度計(jì)算曝光轉(zhuǎn)換函數(shù)，能夠使得可靠度越低的采樣點(diǎn)的數(shù)據(jù)帶給曝光轉(zhuǎn)換函數(shù)的導(dǎo)出的影響越小。此外，曝光轉(zhuǎn)換函數(shù)可以按照使轉(zhuǎn)換后的輸入圖像納入可表現(xiàn)范圍的方式進(jìn)行變更。
[0072]運(yùn)動(dòng)校正部15具有使用運(yùn)動(dòng)信息來(lái)校正輸入畫面之間的運(yùn)動(dòng)的功能。合成部16使用合成掩碼，對(duì)輸入圖像彼此進(jìn)行合成或者對(duì)已經(jīng)合成的圖像與輸入圖像進(jìn)行合成。合成掩碼是將對(duì)圖像彼此進(jìn)行合成(a融合)時(shí)的合成比例(權(quán)重)進(jìn)行圖像化的結(jié)果。在存在3幅以上的輸入圖像的情況下，合成部16首先根據(jù)合成掩碼合成兩個(gè)輸入圖像，并生成合成圖像與剩余的輸入圖像的合成掩碼來(lái)進(jìn)行合成。合成部16結(jié)合亮度基準(zhǔn)掩碼和被攝體晃動(dòng)掩碼生成合成掩碼。亮度基準(zhǔn)掩碼是用于如下情況的掩碼:通過(guò)根據(jù)亮度值決定對(duì)圖像彼此進(jìn)行合成時(shí)的權(quán)重，避免使用曝光過(guò)度或曝光不足的區(qū)域進(jìn)行合成。被攝體晃動(dòng)掩碼是用于在合成被攝體移動(dòng)的圖像時(shí)，避免被攝體2重、3重地重疊顯示的現(xiàn)象(虛影現(xiàn)象)的掩碼。
[0073]合成部16根據(jù)輸入圖像的原亮度值計(jì)算權(quán)重，生成亮度基準(zhǔn)掩碼。例如利用如下算式求出權(quán)重。
[0077]通過(guò)上述算式，適當(dāng)?shù)貨Q定權(quán)重，并且減輕亮度的不連續(xù)性。此外，為了減輕空間的不連續(xù)性，可以對(duì)合成掩碼實(shí)施模糊處理。
[0078]合成部16根據(jù)輸入圖像之間的差分計(jì)算權(quán)重，生成被攝體晃動(dòng)掩碼。合成部16根據(jù)輸入圖像之間的像素值的差分，計(jì)算動(dòng)態(tài)被攝體似然度。關(guān)于輸入圖像之間的像素值的差分和動(dòng)態(tài)被攝體似然度，能夠通過(guò)與上述似然度計(jì)算部13同樣的動(dòng)作來(lái)得到。并且，似然度計(jì)算部13檢測(cè)動(dòng)態(tài)被攝體似然度為預(yù)定的閾值以下的像素相鄰的被攝體晃動(dòng)區(qū)域，對(duì)各被攝體晃動(dòng)區(qū)域賦予識(shí)別標(biāo)記，針對(duì)每一被攝體晃動(dòng)區(qū)域生成被攝體晃動(dòng)掩碼。此外，預(yù)定的閾值可根據(jù)需求規(guī)格適當(dāng)進(jìn)行變更。如果閾值設(shè)定得較大，則能夠容易地提取連續(xù)區(qū)域。通過(guò)針對(duì)每一被攝體晃動(dòng)區(qū)域生成掩碼，能夠針對(duì)每一被攝體晃動(dòng)區(qū)域從信息量多的圖像中選擇像素，以避免曝光過(guò)度區(qū)域或者曝光不足區(qū)域。即，作為該被攝體晃動(dòng)掩碼，存在從合成的圖像彼此之中強(qiáng)制選擇亮度值低的像素值的1jnask (第I掩碼)，或者從合成的圖像彼此之中強(qiáng)制選擇亮度值高的像素值的hi_mask (第2掩碼)。合成部16基本上生成從信息量多的高曝光圖像中選擇像素值的第2掩碼。但是，合成部16在高曝光的圖像中被攝體晃動(dòng)區(qū)域受到曝光過(guò)度區(qū)域影響的情況下，生成第I掩碼。具體而言，在滿足以下的任意條件時(shí)生成第I掩碼。作為第I條件，是如下情況:在要合成的兩個(gè)圖像中，高曝光的圖像的曝光過(guò)度的面積大于低曝光的圖像的曝光不足區(qū)域的面積。作為第2條件，是如下情況:在要合成的兩個(gè)圖像中的高曝光的圖像中，被攝體晃動(dòng)區(qū)域內(nèi)的曝光過(guò)度區(qū)域的面積為10%以上。此外，也可以將如下情況作為條件:在要合成的兩個(gè)圖像中的高曝光的圖像中，與被攝體晃動(dòng)區(qū)域相鄰的區(qū)域是曝光過(guò)度區(qū)域。
[0079]合成部16結(jié)合亮度基準(zhǔn)掩碼和被攝體晃動(dòng)掩碼生成合成掩碼。例如，合成部16使亮度基準(zhǔn)掩碼乘以使第I掩碼反轉(zhuǎn)的掩碼。此外，合成部16將亮度基準(zhǔn)掩碼與第2掩碼相加。合成部16合成全部輸入圖像，并將最終的合成圖像輸出到顯示部21。顯示部21顯示合成圖像。作為顯示部21，例如使用顯示器裝置。
[0080]接下來(lái)，說(shuō)明圖像處理裝置I的動(dòng)作。圖3是說(shuō)明HDR合成的前處理的流程圖。圖3所示的控制處理例如從如下情況開(kāi)始:用戶選擇了 HDR合成模式，照相機(jī)20連續(xù)拍攝多個(gè)圖像。
[0081]首先，圖像輸入部10輸入圖像幀(S10)。下面，為了容易理解說(shuō)明，說(shuō)明輸入了 5個(gè)輸入圖像IO?14的情況。在SlO的處理結(jié)束后，轉(zhuǎn)入曝光順序排序處理(S12)。
[0082]在S12的處理中，運(yùn)動(dòng)信息取得部12按照曝光順序?qū)斎雸D像Itl?I4排序。運(yùn)動(dòng)信息取得部12例如使用亮度值的平均值來(lái)排序。此處，設(shè)輸入圖像Itl-14的數(shù)字越小，則亮度值較低。在該情況下，輸入圖像Itl?I4按數(shù)字順序來(lái)排序。在S12的處理結(jié)束后，轉(zhuǎn)入運(yùn)動(dòng)信息取得處理(S14)。
[0083]在S14的處理中，運(yùn)動(dòng)信息取得部12取得輸入圖像Itl?I4的各個(gè)圖像之間的運(yùn)動(dòng)信息。圖4是說(shuō)明運(yùn)動(dòng)信息的取得處理的概要圖。如圖4所示，輸入圖像Itl-14排列為從左向右平均亮度值依次增大。首先，運(yùn)動(dòng)信息取得部12從輸入圖像I4之中設(shè)定基準(zhǔn)圖像。此處，設(shè)輸入圖像I2為基準(zhǔn)圖像。接下來(lái)，取得曝光條件接近的輸入圖像彼此的運(yùn)動(dòng)信息(例如，輸入圖像Ici與輸入圖像I1，輸入圖像I1與輸入圖像I2等)。運(yùn)動(dòng)信息取得部12從兩個(gè)輸入圖像中，利用曝光高的輸入圖像提取特征點(diǎn)，并從曝光低的輸入圖像中提取與提取出的特征點(diǎn)對(duì)應(yīng)的對(duì)應(yīng)點(diǎn)。根據(jù)該運(yùn)動(dòng)信息，能夠求出將曝光條件接近的輸入圖像彼此轉(zhuǎn)換為相同維度的坐標(biāo)的轉(zhuǎn)換矩陣。此外，圖4示出了在曝光條件接近的輸入圖像彼此之中，用于對(duì)曝光低的圖像與曝光高的圖像進(jìn)行調(diào)合的轉(zhuǎn)換矩陣ml0、m21、m32、m43。接下來(lái)，使用轉(zhuǎn)換矩陣ml0、m21、m32、m43，計(jì)算將基準(zhǔn)圖像I2以外的其它輸入圖像
I4的坐標(biāo)變形為與基準(zhǔn)圖像I2相當(dāng)?shù)淖鴺?biāo)的轉(zhuǎn)換矩陣。如圖4所示，將輸入圖像Itl轉(zhuǎn)換為基準(zhǔn)圖像I2的轉(zhuǎn)換矩陣是ml0*m21。將輸入圖像I1轉(zhuǎn)換為基準(zhǔn)圖像I2的轉(zhuǎn)換矩陣是mlO。將輸入圖像I3轉(zhuǎn)換為基準(zhǔn)圖像I2的轉(zhuǎn)換矩陣是(m32) — i。將輸入圖像I4轉(zhuǎn)換為基準(zhǔn)圖像I2的轉(zhuǎn)換矩陣是以下，設(shè)轉(zhuǎn)換后的輸入圖像為Itl，?I4，進(jìn)行說(shuō)明。在S14的處理結(jié)束后，轉(zhuǎn)入動(dòng)態(tài)被攝體似然度計(jì)算處理(S16 )。
[0084]在S16的處理中，似然度計(jì)算部13計(jì)算輸入圖像Ici,?I4,的各個(gè)圖像之間的動(dòng)態(tài)被攝體似然度。圖5是計(jì)算輸入圖像Itl，與輸入圖像I1，的圖像之間的動(dòng)態(tài)被攝體似然度的示例。此外，圖5示出了使用R值作為像素值的情況。如圖5所示，似然度計(jì)算部13取得輸入圖像Itl,的關(guān)注像素(R值=42)的8個(gè)鄰近的像素值(R值)。并且，使用關(guān)注像素的像素值和8個(gè)鄰近的像素值進(jìn)行標(biāo)準(zhǔn)化。例如，使用LTP。如果關(guān)注像素的像素值與8個(gè)鄰近的像素值之差在±5的范圍內(nèi)則為O，如果大于+ 5則為1，如果小于一 5則為一 I。似然度計(jì)算部13對(duì)輸入圖像I1，相同地進(jìn)行標(biāo)準(zhǔn)化。在圖中，在與輸入圖像I。，的關(guān)注像素對(duì)應(yīng)的輸入圖像L的像素中進(jìn)行標(biāo)準(zhǔn)化。接下來(lái)，在對(duì)標(biāo)準(zhǔn)化后的像素的像素值進(jìn)行比較后，可知道產(chǎn)生差分的情況。作為根據(jù)差分的大小(符號(hào)的不一致程度)使該像素的顏色從黑變成白的圖像來(lái)表示的是差分圖像X。該差分圖像是對(duì)各像素的動(dòng)態(tài)被攝體似然度進(jìn)行圖像化而得到的。此外，不限于鄰近8個(gè)，可以是鄰近24個(gè)。此外，不僅限于R值，對(duì)于G值和B值也可以相同地進(jìn)行處理。
[0085]為了提高差分圖像X的區(qū)域C1所示的平滑區(qū)域的動(dòng)態(tài)被攝體似然度的精度，似然度計(jì)算部13可以使用多重分辨率求出動(dòng)態(tài)被攝體似然度。圖6是使用多重分辨率求出動(dòng)態(tài)被攝體似然度的一例。首先，似然度計(jì)算部13階段地變更輸入圖像I。，和輸入圖像I1，的分辨率，生成多個(gè)圖像。并且，在相同分辨率彼此之間生成差分圖像。該差分圖像是單純使像素值相減而得到的。圖6示出了將輸入圖像Itl，輸入圖像I1，進(jìn)行6階段多重化的情況。各個(gè)差分圖像為H是數(shù)字越大則分辨率越低的差分圖像。此外，分辨率越低則圖像尺寸越小。對(duì)該差分圖像根據(jù)可靠度賦予權(quán)重，計(jì)算最終的差分圖像。可靠度例如使用將上述LTP的差分中存在有意差的對(duì)的數(shù)量乘以圖像尺寸(或者分辨率)而得到的結(jié)果。例如，在圖5所示的LTP的情況下，存在有意差的對(duì)的數(shù)量是I個(gè)。這樣，針對(duì)每一像素，將對(duì)的數(shù)量乘以圖像尺寸，計(jì)算與差分圖像X1-X6對(duì)應(yīng)的權(quán)重圖像(將權(quán)重圖像化得到的圖像)。并且，使用差分圖像X1~X6和權(quán)重圖像計(jì)算最終的差分圖像。似然度計(jì)算部13利用與上述方法相同的方法，計(jì)算輸入圖像I1,~I4,的差分圖像。在S16的處理結(jié)束后，轉(zhuǎn)入曝光轉(zhuǎn)換函數(shù)估計(jì)處理(S18)。
[0086]在S18的處理中，曝光估計(jì)部14估計(jì)曝光轉(zhuǎn)換函數(shù)。如果曝光估計(jì)部14設(shè)轉(zhuǎn)換前的亮度值為x、設(shè)轉(zhuǎn)換后的亮度值為y，則可由下式表示曝光轉(zhuǎn)換函數(shù)。
[0087]y=a ? Xb[0088]此處，(a、b )是曝光轉(zhuǎn)換參數(shù)。通過(guò)導(dǎo)出曝光轉(zhuǎn)換參數(shù)(a、b )，能夠求出曝光轉(zhuǎn)換函數(shù)。下面，說(shuō)明求出運(yùn)動(dòng)校正后的輸入圖像Icr與輸入圖像I1，的曝光轉(zhuǎn)換函數(shù)的情況。曝光估計(jì)部14在輸入圖像的點(diǎn)(x、y)處，采樣幾個(gè)曝光低的輸入圖像I。，的亮度值和曝光低的輸入圖像I1，的亮度值的組合，描繪其關(guān)系。此處，根據(jù)在S16的處理中取得的差分圖像，選擇采樣點(diǎn)。例如，設(shè)定為不從動(dòng)態(tài)被攝體似然度高的區(qū)域中采樣。即設(shè)定為從動(dòng)態(tài)被攝體似然度低的區(qū)域中采樣。并且，例如動(dòng)態(tài)被攝體似然度越高則分配越低的權(quán)重，并使用式2估計(jì)曝光轉(zhuǎn)換函數(shù)。由此，例如進(jìn)行圖7所示的擬合。似然度計(jì)算部13利用與上述方法相同的方法，估計(jì)輸入圖像I1，~I4，之間的曝光轉(zhuǎn)換函數(shù)。此外，可以去除亮度值接近0的數(shù)據(jù)或者接近255的數(shù)據(jù)。
[0089]圖8是說(shuō)明上述曝光轉(zhuǎn)換函數(shù)的估計(jì)處理的概要圖。此外，圖8示出了在曝光條件接近的輸入圖像彼此之中，用于對(duì)曝光低的圖像與曝光高的圖像進(jìn)行調(diào)合的曝光轉(zhuǎn)換參i^(al0,bl0),(a2Ub21),(a32,b32),(a43,b43)o為了納入最終的合成圖像可表現(xiàn)的范圍內(nèi)，可以將曝光最低的輸入圖像Iy的曝光轉(zhuǎn)換參數(shù)(ApBtl)中的Atl設(shè)定為1.0，由此使轉(zhuǎn)換結(jié)果不超過(guò)1.0。此處，將輸入圖像Itl，的曝光轉(zhuǎn)換后的圖像作為輸入圖像Itl，，進(jìn)行顯示。此外，也可以是，設(shè)與曝光最低的輸入圖像1，對(duì)應(yīng)的基準(zhǔn)圖像12，的曝光轉(zhuǎn)換參數(shù)為(A2、B2)，將Aci設(shè)定為1.0同時(shí)將B2設(shè)定為1.0，由此設(shè)定為在增益為1/A2時(shí)色調(diào)與輸入圖像相等。似然度計(jì)算部13按照RGB通道分別進(jìn)行上述處理。在S18的處理結(jié)束后，結(jié)束圖3所示的前處理。
[0090]如上所述，結(jié)束圖3所示的控制處理。通過(guò)執(zhí)行圖3所示的控制處理，能夠在估計(jì)曝光轉(zhuǎn)換函數(shù)之前，通過(guò)檢測(cè)被攝體晃動(dòng)，避免從被攝體晃動(dòng)區(qū)域中采樣，并通過(guò)加權(quán)進(jìn)一步降低從被攝體晃動(dòng)區(qū)域中采樣的數(shù)據(jù)的影響。因此，能夠高精度地估計(jì)曝光轉(zhuǎn)換函數(shù)。此外，如果是現(xiàn)有的HDR技術(shù)，未進(jìn)行曝光調(diào)合時(shí)不能夠準(zhǔn)確地進(jìn)行被攝體晃動(dòng)的校正，并且相反，如果未進(jìn)行被攝體晃動(dòng)的修正則曝光調(diào)合不準(zhǔn)確。但是，通過(guò)在估計(jì)曝光轉(zhuǎn)換函數(shù)之前簡(jiǎn)易地檢測(cè)被攝體晃動(dòng)(被攝體的運(yùn)動(dòng))，能夠消除上述死鎖關(guān)系。[0091]接下來(lái)，說(shuō)明圖像處理裝置I的合成動(dòng)作。圖9是說(shuō)明HDR合成的流程圖。圖9所示的控制處理例如在圖3所示的控制處理結(jié)束時(shí)開(kāi)始。
[0092]如圖9所示，運(yùn)動(dòng)校正部15實(shí)際上校正運(yùn)動(dòng)(S20)。在該處理中，與圖3的S14的處理相同地，運(yùn)動(dòng)校正部15利用轉(zhuǎn)換矩陣，對(duì)曝光轉(zhuǎn)換后的輸入圖像Itl，，?I4，，的運(yùn)動(dòng)進(jìn)行校正。此外，也可以根據(jù)要求精度使用子像素插值算法等。在S20的處理結(jié)束后，轉(zhuǎn)入亮度基準(zhǔn)掩碼生成處理和被攝體晃動(dòng)區(qū)域提取處理(S22和S24)。
[0093]在S22的處理中，合成部16生成亮度基準(zhǔn)掩碼。圖10是說(shuō)明合成處理的流程的概要圖。如圖10所示，從曝光低的輸入圖像Itl，，起，依次置換輸入圖像I1，，?I4，，來(lái)進(jìn)行合成。即，最初，生成決定將輸入圖像I1,,相對(duì)于輸入圖像I。,,合成多大程度的亮度基準(zhǔn)掩碼。該亮度基準(zhǔn)掩碼根據(jù)輸入圖像I1，，的原亮度值計(jì)算權(quán)重。例如，設(shè)曝光過(guò)度區(qū)域附近的權(quán)重為O。這樣，通過(guò)設(shè)定權(quán)重，以使曝光低的圖像與曝光高的圖像重合的方式進(jìn)行合成，針對(duì)對(duì)象像素，一定能夠選擇信息量多的輸入圖像。圖11的(A)是示出像素值與輸入亮度的關(guān)系的曲線圖。如圖11的(A)所示，函數(shù)A?f3是示出根據(jù)亮度值采用哪個(gè)圖像的像素值的曲線圖。函數(shù)的數(shù)字越大則越應(yīng)用于曝光大的圖像。例如，如果輸入曝光最低的輸入圖像1，，，則使用函數(shù)fo，采用全部的像素值。接下來(lái)，如果輸入圖像Ir被輸入，則使用函數(shù)和函數(shù)f\。因此，在SO?S5的亮度值的范圍內(nèi)，采用輸入圖像I1,,,在S6以上的亮度值的范圍內(nèi)，采用輸入圖像Id，，。S5?S6的亮度值的范圍采用以(B)所示的權(quán)重融合而得到的合成值。此外，為了方便，省略、校正。接下來(lái)，如果輸入圖像I2，，被輸入，則使用函數(shù)fo?f2。因此，在SO?S3的亮度值的范圍內(nèi)，采用輸入圖像12，，，在S4?S5的亮度值的范圍內(nèi)，采用輸入圖像I1,,,在S6以上的亮度值的范圍內(nèi)，采用輸入圖像Ip在S3?S4和S5?S6的亮度值的范圍內(nèi)，采用以(B)所示的權(quán)重融合而得到的合成值。接下來(lái)，如果輸入圖像I3，，被輸入，則使用函數(shù)fo?f3。因此，在SO?SI的亮度值的范圍內(nèi)，采用輸入圖像13，，，在S2?S3的亮度值的范圍內(nèi)，采用輸入圖像12，，，在S4?S5的亮度值的范圍內(nèi)，采用輸入圖像Ip在S6以上的亮度值的范圍內(nèi)，采用輸入圖像I。,,。在SI?S2、S3?S4和S5?S6的亮度值的范圍內(nèi)，采用以(B)所示的權(quán)重融合而得到的合成值。這樣，優(yōu)先采用曝光高的圖像。此外，針對(duì)曝光過(guò)度區(qū)域部分，采用曝光低的圖像，并且平滑地融合邊界部分。圖12示出將上述圖11的(A)所示的曲線圖圖像化而得到的亮度基準(zhǔn)掩碼的一例。圖12的(A)表示輸入圖像，(B)為該輸入圖像的亮度基準(zhǔn)掩碼。在圖12的(B)中，在利用100%的輸入圖像的像素值的情況下表現(xiàn)為白，在不利用100%的輸入圖像的像素值的情況下表現(xiàn)為黑。在S22的處理結(jié)束后，轉(zhuǎn)入合成掩碼生成處理(S32 )。
[0094]另一方面，在S24的處理中，合成部16提取被攝體晃動(dòng)區(qū)域。例如，合成部16與圖3的S16的處理相同地計(jì)算差分圖像，并提取動(dòng)態(tài)被攝體似然度為預(yù)定值以上的區(qū)域作為被攝體晃動(dòng)區(qū)域。圖13的(A)是包含被攝體晃動(dòng)區(qū)域的差分圖像的一例。在S24的處理結(jié)束后，轉(zhuǎn)入標(biāo)記處理(S26 )。
[0095]在S26的處理中，合成部16標(biāo)記被攝體晃動(dòng)區(qū)域。合成部16對(duì)連續(xù)的被攝體晃動(dòng)區(qū)域設(shè)定I個(gè)標(biāo)記Rn。圖13的(B)是標(biāo)記了連續(xù)區(qū)域的示例。在S26的處理結(jié)束后，轉(zhuǎn)入各區(qū)域的基準(zhǔn)圖像的選擇處理(S28)。
[0096]在S28的處理中，合成部16對(duì)每個(gè)被攝體晃動(dòng)區(qū)域設(shè)定基準(zhǔn)圖像。合成部16基本上優(yōu)先將高曝光的圖像設(shè)為基準(zhǔn)圖像。例如，在合成輸入圖像1，，和輸入圖像I1，，時(shí)，選擇輸入圖像I1，，作為基準(zhǔn)圖像。不過(guò)，在輸入圖像I1，，中被攝體晃動(dòng)區(qū)域受到曝光過(guò)度區(qū)域影響的情況下，選擇輸入圖像Icr作為基準(zhǔn)圖像。在S28的處理結(jié)束后，轉(zhuǎn)入被攝體晃動(dòng)掩碼生成處理(S30)。
[0097]在S30的處理中，合成部16針對(duì)每一被攝體晃動(dòng)區(qū)域生成被攝體晃動(dòng)掩碼。在優(yōu)先將高曝光的圖像設(shè)為基準(zhǔn)圖像的情況下，合成部16生成第2掩碼。另一方面，在優(yōu)先將低曝光的圖像設(shè)為基準(zhǔn)圖像的情況下，生成第I掩碼。圖14是說(shuō)明S24~S30的一系列的處理的概要圖。如圖14所示，在合成輸入圖像Itl,,和輸入圖像I1,,時(shí)，求出差分圖像X，針對(duì)每一差分圖像的區(qū)域，生成第I掩碼(1jnask)或者第2掩碼(hi_mask)。即，對(duì)于被攝體運(yùn)動(dòng)的區(qū)域，能夠通過(guò)使用被攝體晃動(dòng)掩碼，僅從一幅圖像中輸入像素值，從而避免上述虛影現(xiàn)象。在S30的處理結(jié)束后，轉(zhuǎn)入合成掩碼生成處理(S32)。
[0098]在S32的處理中，合成部16根據(jù)亮度基準(zhǔn)掩碼和被攝體晃動(dòng)掩碼生成合成掩碼。圖15是說(shuō)明合成掩碼的生成處理的概要圖。如圖15所示，將反轉(zhuǎn)了 1jnask的圖像乘以亮度基準(zhǔn)掩碼。此外，將hi_mask與亮度基準(zhǔn)掩碼相加。通過(guò)這樣結(jié)合，生成合成掩碼。在S32的處理結(jié)束后，轉(zhuǎn)入合成處理(S34)。
[0099]在S34的處理中，合成部16根據(jù)在S32的處理中生成的合成掩碼進(jìn)行合成處理。此外，在利用權(quán)重a對(duì)已合成的圖像的亮度值Ptl和應(yīng)用了曝光轉(zhuǎn)換函數(shù)后的輸入圖像的亮度值P1進(jìn)行合成時(shí)，合成后的亮度值P2可由下式求出。
[0100]P2= (1-a) ? P0+a ? P1
[0101]此時(shí)，針對(duì)曝光最低的圖像，直接合成整個(gè)區(qū)域。在S34的處理結(jié)束后，轉(zhuǎn)入輸入圖像確認(rèn)處理(S36)。
[0102]在S36的處理中，`合成部16判定是否合成了全部的輸入圖像。在沒(méi)有合成全部的輸入圖像的情況下，轉(zhuǎn)入S22和S24的處理。并且，例如如圖10所示，進(jìn)行輸入圖像I。,,和輸入圖像I1,,的合成圖像Otl與新的輸入圖像Itl,,的合成處理。另一方面，在合成了全部的輸入圖像的情況下，結(jié)束圖9所示的控制處理。
[0103]通過(guò)執(zhí)行圖9所示的控制處理，生成校正了被攝體晃動(dòng)的HDR合成圖像。
[0104]接下來(lái)，說(shuō)明用于使便攜終端(計(jì)算機(jī))2作為上述圖像處理裝置I發(fā)揮作用的圖像處理程序。
[0105]圖像處理程序具有主模塊、輸入模塊和運(yùn)算處理模塊。主模塊是總體地控制圖像處理的部分。輸入模塊使便攜終端2進(jìn)行動(dòng)作，以取得輸入圖像。運(yùn)算處理模塊具有運(yùn)動(dòng)信息取得模塊、似然度計(jì)算模塊、曝光估計(jì)模塊、運(yùn)動(dòng)校正模塊和合成模塊。通過(guò)執(zhí)行主模塊、輸入模塊和運(yùn)算處理模塊而實(shí)現(xiàn)的功能與上述圖像處理裝置I的圖像輸入部10、運(yùn)動(dòng)信息取得部12、似然度計(jì)算部13、曝光估計(jì)部14、運(yùn)動(dòng)校正部15和合成部16的功能分別相同。
[0106]圖像處理程序例如由ROM等記錄介質(zhì)或半導(dǎo)體存儲(chǔ)器提供。此外，圖像處理程序可以作為數(shù)據(jù)信號(hào)經(jīng)由網(wǎng)絡(luò)提供。
[0107]以上，根據(jù)本實(shí)施方式的圖像處理裝置1、圖像處理方法和圖像處理程序，在對(duì)第I圖像與第2圖像的曝光進(jìn)行調(diào)合之前，根據(jù)第I圖像與第2圖像的差分，計(jì)算各像素的被攝體的運(yùn)動(dòng)的似然度。并且，根據(jù)被攝體的運(yùn)動(dòng)的似然度，估計(jì)對(duì)第I圖像與第2圖像的曝光條件進(jìn)行調(diào)合的曝光轉(zhuǎn)換函數(shù)。這樣，由于在對(duì)曝光進(jìn)行調(diào)合時(shí)考慮了被攝體運(yùn)動(dòng)的似然度，因而例如能夠去除顏色可能會(huì)因被攝體的運(yùn)動(dòng)而變化的區(qū)域而對(duì)曝光進(jìn)行調(diào)合，因此，能夠生成合適的合成圖像。此外，能夠使用被攝體晃動(dòng)掩碼來(lái)避免產(chǎn)生被攝體晃動(dòng)(顯示虛影)，成為清楚的圖像。
[0108](第2實(shí)施方式)
[0109]第2實(shí)施方式的圖像處理裝置構(gòu)成為與第I實(shí)施方式的圖像處理裝置幾乎相同，在具有與HDR合成后的后處理相關(guān)的處理部等這方面不同。下面，以與第I實(shí)施方式的不同點(diǎn)為中心進(jìn)行說(shuō)明，并省略重復(fù)的說(shuō)明。
[0110]圖16是具有第2實(shí)施方式的圖像處理裝置I的便攜終端2的功能框圖。圖16所示的便攜終端2與第I實(shí)施方式相同地，具有圖2所示的硬件結(jié)構(gòu)。如圖16所示，與第I實(shí)施方式的圖像處理裝置I相比，圖像處理裝置I在具有區(qū)域數(shù)據(jù)生成部50、記錄部51、數(shù)據(jù)取得部52和后處理部(圖像處理部)53這方面不同。
[0111]區(qū)域數(shù)據(jù)生成部50具有根據(jù)動(dòng)態(tài)被攝體似然度生成區(qū)域數(shù)據(jù)的功能。區(qū)域數(shù)據(jù)生成部50例如輸入由似然度計(jì)算部13計(jì)算出的動(dòng)態(tài)被攝體似然度，生成區(qū)域數(shù)據(jù)。或者，區(qū)域數(shù)據(jù)生成部50可以從合成部16輸入與動(dòng)態(tài)被攝體區(qū)域相關(guān)的信息或者被攝體晃動(dòng)掩碼，生成區(qū)域數(shù)據(jù)。此處，區(qū)域數(shù)據(jù)是確定合成圖像中存在動(dòng)態(tài)被攝體的動(dòng)態(tài)被攝體區(qū)域(對(duì)象區(qū)域)的信息。例如，在區(qū)域數(shù)據(jù)中，使用將存在動(dòng)態(tài)被攝體的像素的坐標(biāo)編碼為“I”、將此外的坐標(biāo)編碼為“0”的數(shù)據(jù)，或者使用將該數(shù)據(jù)圖像化而得到的圖像。此外，根據(jù)后處理的處理內(nèi)容，區(qū)域數(shù)據(jù)只要能夠確定動(dòng)態(tài)被攝體區(qū)域的位置坐標(biāo)即可，因此清楚其大致范圍的信息即可。因此，區(qū)域數(shù)據(jù)并非必須與合成圖像為相同尺寸(像素規(guī)模)，可以利用各種方法進(jìn)行壓縮。例如，在圖像化的情況下，可以將分辨率降低到1/4或者1/16左右。同樣，例如，區(qū)域數(shù)據(jù)也可以是動(dòng)態(tài)被攝體區(qū)域的中心的坐標(biāo)(x、y)和半徑r。S卩，區(qū)域數(shù)據(jù)不需要是合成圖像中存在動(dòng)態(tài)被攝體的動(dòng)態(tài)被攝體區(qū)域自身，只要包含動(dòng)態(tài)被攝體區(qū)域即可。例如，區(qū)域數(shù)據(jù)也可以是根據(jù)動(dòng)態(tài)被攝體區(qū)域生成的區(qū)域。即，區(qū)域數(shù)據(jù)可以是包含動(dòng)態(tài)被攝體區(qū)域這樣的四邊形、圓形或者由它們的集合表示的I個(gè)或者多個(gè)區(qū)域。在該情況下，區(qū)域數(shù)據(jù)雖然也包含不是動(dòng)態(tài)被攝體的區(qū)域，但是能夠高效地確定動(dòng)態(tài)被攝體區(qū)域。
[0112]區(qū)域數(shù)據(jù)生成部50將生成的區(qū)域數(shù)據(jù)與合成圖像對(duì)應(yīng)起來(lái)保存在記錄部51中。記錄部51為記錄介質(zhì)。
[0113]區(qū)域數(shù)據(jù)生成部50可以將區(qū)域數(shù)據(jù)與原像素信息對(duì)應(yīng)起來(lái)進(jìn)行記錄。原像素信息是與用于生成動(dòng)態(tài)被攝體區(qū)域的像素相關(guān)的信息。例如，簡(jiǎn)單地，可以是“在要合成的圖像彼此之中強(qiáng)制選擇亮度值低的像素值進(jìn)行合成”這樣的信息。上述原像素信息例如能夠通過(guò)使用由合成部16生成的1jnask來(lái)取得?；蛘?，簡(jiǎn)單地，也可以是“在要合成的圖像彼此之中強(qiáng)制選擇亮度值高的像素值進(jìn)行合成”這樣的信息。上述原像素信息例如能夠通過(guò)使用由合成部16生成的hi_masla來(lái)取得。此外，作為更詳細(xì)的信息，可以是能夠識(shí)別是否是使用了曝光不足或者曝光過(guò)度的像素來(lái)合成動(dòng)態(tài)被攝體區(qū)域的信息。作為原像素信息，例如根據(jù)動(dòng)態(tài)被攝體區(qū)域的像素位置，在使用了曝光不足像素的情況下使用編碼為“0”的數(shù)據(jù)，在使用了曝光過(guò)度像素的情況下使用編碼為“255”的數(shù)據(jù)，在其他情況下使用編碼為“124”的數(shù)據(jù)。或者，也可以取得用于計(jì)算上述信息所需的信息作為原圖像信息。例如，也可以采用用于生成動(dòng)態(tài)被攝體區(qū)域的曝光轉(zhuǎn)換參數(shù)(a、b)作為原圖像信息。通過(guò)使用曝光轉(zhuǎn)換參數(shù)(a、b)，能夠根據(jù)合成圖像的動(dòng)態(tài)被攝體區(qū)域的像素值估計(jì)出轉(zhuǎn)換前的像素值，因此能夠事后識(shí)別是否使用了曝光不足或者曝光過(guò)度的像素來(lái)合成動(dòng)態(tài)被攝體區(qū)域。在合成了 3幅以上的圖像的情況下，也可以將上述曝光轉(zhuǎn)換參數(shù)(a、b)和合成時(shí)的權(quán)重a作為原像素信息。在曝光轉(zhuǎn)換參數(shù)(a、b)與輸入圖像對(duì)應(yīng)起來(lái)的情況下，可以將識(shí)別輸入圖像的編號(hào)作為原像素信息。上述原像素信息例如能夠根據(jù)合成部16的計(jì)算結(jié)果來(lái)取得。此外，也可以將如下結(jié)果作為原像素信息:按照每一像素值或者動(dòng)態(tài)被攝體區(qū)域，針對(duì)動(dòng)態(tài)被攝體區(qū)域，計(jì)算在生成合成圖像時(shí)亮度值從原圖像增加何種程度的比例(合成圖像的亮度值/原圖像的亮度值)。
[0114]數(shù)據(jù)取得部52構(gòu)成為能夠參照記錄部51。數(shù)據(jù)取得部52具有參照記錄部51，取得合成圖像和與該合成圖像對(duì)應(yīng)起來(lái)的區(qū)域數(shù)據(jù)的功能。數(shù)據(jù)取得部52還可以取得與該區(qū)域數(shù)據(jù)對(duì)應(yīng)起來(lái)的原像素信息。
[0115]后處理部53具有對(duì)合成圖像進(jìn)行后處理的功能。后處理部53具有如下功能:使用區(qū)域數(shù)據(jù)，針對(duì)合成圖像，在動(dòng)態(tài)被攝體區(qū)域和動(dòng)態(tài)被攝體區(qū)域以外的區(qū)域進(jìn)行不同的圖像處理。圖像處理包含色調(diào)映射處理、降噪處理(噪聲降低處理)、物體識(shí)別處理或者其它像素值加工處理。例如，后處理部53對(duì)動(dòng)態(tài)被攝體區(qū)域進(jìn)行第I處理，對(duì)動(dòng)態(tài)被攝體區(qū)域以外的區(qū)域進(jìn)行與第I處理不同的第2處理。第I處理或者第2處理包含“不處理”的情況。例如，上述“不同的處理”也包含如下情況:對(duì)動(dòng)態(tài)被攝體區(qū)域不進(jìn)行濾鏡處理，對(duì)動(dòng)態(tài)被攝體區(qū)域以外的區(qū)域進(jìn)行濾鏡處理。后處理部53通過(guò)考慮動(dòng)態(tài)被攝體區(qū)域而進(jìn)行后處理，能夠降低對(duì)像素值進(jìn)行轉(zhuǎn)換/合成的合成處理給后處理的結(jié)果帶來(lái)的影響。
[0116]后處理部53還可以參照原像素信息判定進(jìn)行哪種圖像處理。例如，后處理部53可以根據(jù)使用在合成的圖像彼此之中強(qiáng)制選擇亮度值低的像素值的1jnask生成動(dòng)態(tài)被攝體區(qū)域的情況以及在使用在合成的圖像彼此之中強(qiáng)制選擇亮度值高的像素值的hi_mask生成動(dòng)態(tài)被攝體區(qū)域的情況，來(lái)變更處理。例如，在使用亮度值低的像素值生成動(dòng)態(tài)被攝體區(qū)域的情況下，有可能成為為了進(jìn)行合成處理而強(qiáng)制增大亮度值的區(qū)域，有時(shí)成為像素信息基本上不足的區(qū)域。此外，例如在利用hi_mask生成動(dòng)態(tài)被攝體區(qū)域、且生成為包含曝光過(guò)度的像素的情況下，關(guān)于該曝光過(guò)度區(qū)域，有可能成為為了合成處理而強(qiáng)制設(shè)定為預(yù)定的亮度值的區(qū)域，即基本上缺少像素信息的區(qū)域(像素信息不清楚的區(qū)域)。這樣，根據(jù)原輸入圖像，是像素信息不足還是像素信息本來(lái)就不清楚是不同的，因此，通過(guò)考慮上述差異進(jìn)行后處理，能夠得到合適的結(jié)果。
[0117]接下來(lái)，對(duì)本實(shí)施方式的圖像處理裝置I的區(qū)域數(shù)據(jù)動(dòng)作進(jìn)行說(shuō)明。圖17是示出圖像處理裝置的區(qū)域數(shù)據(jù)動(dòng)作的流程圖。在圖3或者圖9所示的控制處理結(jié)束之后執(zhí)行圖17所示的控制處理。
[0118]首先，區(qū)域數(shù)據(jù)生成部50進(jìn)行數(shù)據(jù)輸入處理(S50)。在S50的處理中，區(qū)域數(shù)據(jù)生成部50例如從似然度計(jì)算部13或者合成部16取得每一像素位置的動(dòng)態(tài)被攝體似然度。此夕卜，區(qū)域數(shù)據(jù)生成部50也可以從合成部16取得與被攝體晃動(dòng)掩碼相關(guān)的信息。在S50的處理結(jié)束后，轉(zhuǎn)入?yún)^(qū)域數(shù)據(jù)生成處理(S52 )。
[0119]在S52的處理中，區(qū)域數(shù)據(jù)生成部50根據(jù)在S52中取得的動(dòng)態(tài)被攝體似然度，生成區(qū)域數(shù)據(jù)。例如，區(qū)域數(shù)據(jù)生成部50通過(guò)將動(dòng)態(tài)被攝體似然度為預(yù)定值以上的像素位置編碼為“1”，將此外的坐標(biāo)編碼為“0”，來(lái)生成區(qū)域數(shù)據(jù)。圖18的(A)示出將編碼后的數(shù)據(jù)圖像化所得的圖像。圖18的(A)示出在合成圖像Q的坐標(biāo)系中，動(dòng)態(tài)被攝體似然度為預(yù)定值以上的動(dòng)態(tài)被攝體區(qū)域MB1、麗1、麗2。動(dòng)態(tài)被攝體區(qū)域MBl、麗1、麗2以外的區(qū)域T是描繪有沒(méi)有動(dòng)作的被攝體的區(qū)域?；蛘?，區(qū)域數(shù)據(jù)生成部50也可以直接輸入被攝體晃動(dòng)掩碼作為區(qū)域數(shù)據(jù)。并且，區(qū)域數(shù)據(jù)生成部50降低區(qū)域數(shù)據(jù)的分辨率，壓縮數(shù)據(jù)量?；蛘?，如圖18的(B)所示，區(qū)域數(shù)據(jù)生成部50可以生成與動(dòng)態(tài)被攝體區(qū)域MBl對(duì)應(yīng)的中心坐標(biāo)Cl和半徑rl作為區(qū)域數(shù)據(jù)。同樣，區(qū)域數(shù)據(jù)生成部50可以生成與動(dòng)態(tài)被攝體區(qū)域MWl對(duì)應(yīng)的中心坐標(biāo)C2和半徑r2作為區(qū)域數(shù)據(jù)。此外，可以用多個(gè)圓來(lái)表示動(dòng)態(tài)被攝體區(qū)域。例如，區(qū)域數(shù)據(jù)生成部50可以生成與動(dòng)態(tài)被攝體區(qū)域MW2對(duì)應(yīng)的中心坐標(biāo)C3和半徑r3以及中心坐標(biāo)C4和半徑r4作為區(qū)域數(shù)據(jù)。在S52的處理結(jié)束后，轉(zhuǎn)入原像素值信息輸入處理(S54)。
[0120]在S54的處理中，區(qū)域數(shù)據(jù)生成部50按照在S52的處理中得到的每一動(dòng)態(tài)被攝體區(qū)域，輸入原像素值信息。區(qū)域數(shù)據(jù)生成部50例如從合成部16取得被攝體晃動(dòng)掩碼，并取得是否用lo_mask生成了各個(gè)動(dòng)態(tài)被攝體區(qū)域的信息作為原像素值信息。區(qū)域數(shù)據(jù)生成部50例如從合成部16取得被攝體晃動(dòng)掩碼,并取得是否用lo_mask或者h(yuǎn)i_mask生成了各個(gè)動(dòng)態(tài)被攝體區(qū)域的信息作為原像素值信息。由此，能夠?qū)?dòng)態(tài)被攝體區(qū)域劃分為2類。在該情況下，為了識(shí)別動(dòng)態(tài)被攝體區(qū)域而預(yù)先進(jìn)行了標(biāo)記。由此，例如，能夠劃分為圖18的(A)所示的使用lo_mask生成的動(dòng)態(tài)被攝體區(qū)域MBl和使用hi_mask生成的動(dòng)態(tài)被攝體區(qū)域麗1、麗2。此外，可以取得其它信息作為原像素值信息。例如，區(qū)域數(shù)據(jù)生成部50可以從合成部16取得用于生成動(dòng)態(tài)被攝體區(qū)域的曝光轉(zhuǎn)換參數(shù)(a、b)、合成時(shí)的權(quán)重a作為原像素值信息。在S54的處理結(jié)束后，轉(zhuǎn)入記錄處理(S56)。
[0121]在S56的處理中，區(qū)域數(shù)據(jù)生成部50將合成圖像與在S52的處理中生成的區(qū)域數(shù)據(jù)對(duì)應(yīng)起來(lái)進(jìn)行記錄。此外，在S56的處理中，還可以將區(qū)域數(shù)據(jù)與在S52的處理中生成的原像素值信息對(duì)應(yīng)起來(lái)進(jìn)行記錄。在S56的處理結(jié)束后，結(jié)束圖17所示的控制處理。
[0122]接下來(lái)，對(duì)本實(shí)施方式的圖像處理裝置I的后處理動(dòng)作進(jìn)行說(shuō)明。此外，以下，為了容易理解說(shuō)明，說(shuō)明對(duì)合成圖像進(jìn)行色調(diào)映射處理的示例。圖19是示出圖像處理裝置的色調(diào)映射處理動(dòng)作的流程圖。在圖17所示的控制處理結(jié)束后，執(zhí)行圖19所示的控制處理。
[0123]如圖19所示，首先，數(shù)據(jù)取得部52進(jìn)行數(shù)據(jù)輸入處理(S60 )。在S60的處理中，數(shù)據(jù)取得部52參照記錄部51，輸出合成圖像、區(qū)域數(shù)據(jù)和原像素值信息。在S60的處理結(jié)束后，轉(zhuǎn)入動(dòng)態(tài)被攝體區(qū)域判定處理(S62)。
[0124]在S62的處理中，后處理部53使用在S60的處理中取得的區(qū)域數(shù)據(jù)和原像素值信息，判定由區(qū)域數(shù)據(jù)表示的動(dòng)態(tài)被攝體區(qū)域是否是使用從合成的圖像彼此之中強(qiáng)制選擇亮度值低的像素值的1jnask合成的。在S62的處理中，后處理部53在判定為動(dòng)態(tài)被攝體區(qū)域是使用lo_mask合成的情況下,轉(zhuǎn)入該區(qū)域的色調(diào)映射處理(S64)。
[0125]在S64的處理中，后處理部53對(duì)動(dòng)態(tài)被攝體區(qū)域進(jìn)行色調(diào)映射處理。關(guān)于該動(dòng)態(tài)被攝體區(qū)域，由于從合成的圖像彼此之中強(qiáng)制選擇了亮度值低的像素值，因此有可能在合成時(shí)較大地增大亮度值。即，有可能是勉強(qiáng)地增大像素信息本已不足的區(qū)域的區(qū)域。因此，如果在色調(diào)映射處理中進(jìn)一步增大亮度值，則有可能產(chǎn)生噪聲，因此，針對(duì)該動(dòng)態(tài)被攝體區(qū)域，設(shè)定第I閾值作為上限值，進(jìn)行色調(diào)映射處理，使得不會(huì)成為第I閾值以上的亮度值。第I閾值例如設(shè)定為原圖像的像素值的n倍。此外，可以根據(jù)攝像傳感器的噪聲量調(diào)整n的值。例如，可以在攝像傳感器的噪聲量大的情況下減小n的值。在S64的處理結(jié)束后，轉(zhuǎn)入降噪濾鏡適用處理(S66 )。[0126]S66的處理是對(duì)在S64中進(jìn)行了色調(diào)映射處理的動(dòng)態(tài)被攝體區(qū)域應(yīng)用降噪濾鏡的處理。作為降噪濾鏡，例如采用進(jìn)行平滑化處理等的濾鏡。此外，S66的處理可以根據(jù)合成處理時(shí)的亮度值轉(zhuǎn)換率Ii1和S64中的色調(diào)映射處理時(shí)的亮度值轉(zhuǎn)換率n2，判定是否應(yīng)用降噪濾鏡。例如，如果Ii1 ? n2為預(yù)定值以上,則可以應(yīng)用降噪濾鏡。此時(shí),也可以是Ii1 ? n2越大，則將降噪濾鏡的強(qiáng)度設(shè)定得越大。在S66的處理結(jié)束后，轉(zhuǎn)入動(dòng)態(tài)被攝體區(qū)域判定處理(S68)。
[0127]在S68的處理中，后處理部53使用在S60的處理中取得的區(qū)域數(shù)據(jù)和原像素值信息，對(duì)如下內(nèi)容進(jìn)行判定。后處理部53判定區(qū)域數(shù)據(jù)所示的動(dòng)態(tài)被攝體區(qū)域是否是使用在要合成的圖像彼此之中強(qiáng)制選擇亮度值高的像素值的hi_mask而合成的并且包含曝光過(guò)度區(qū)域。在S68的處理中，在后處理部53判定為動(dòng)態(tài)被攝體區(qū)域是使用1jnask合成的時(shí)，轉(zhuǎn)入該區(qū)域的色調(diào)映射處理(S70)。
[0128]在S70的處理中，后處理部53對(duì)動(dòng)態(tài)被攝體區(qū)域進(jìn)行色調(diào)映射處理。曝光過(guò)度區(qū)域有可能是為了合成處理而強(qiáng)制設(shè)定為預(yù)定亮度值的區(qū)域，是像素信息基本缺少的區(qū)域(像素信息不清楚的區(qū)域)。即，由于基于為了合成處理而方便地設(shè)定的像素值來(lái)進(jìn)行色調(diào)映射處理，因此有時(shí)沒(méi)有得到適當(dāng)?shù)慕Y(jié)果。因此，對(duì)于曝光過(guò)度區(qū)域，需要根據(jù)要求的色調(diào)映射處理的結(jié)果實(shí)施預(yù)定的處理。例如，在存在希望通過(guò)色調(diào)映射處理得到自然的圖像這樣的請(qǐng)求的情況下，后處理部53對(duì)曝光過(guò)度區(qū)域的像素值進(jìn)行色調(diào)映射處理，以接近原圖像的像素值?；蛘?，后處理部53也可以對(duì)曝光過(guò)度區(qū)域不作任何處理(維持曝光過(guò)度狀態(tài))。在S70的處理結(jié)束后，轉(zhuǎn)入其它區(qū)域的色調(diào)映射處理(S72)。
[0129]在S72的處理中，對(duì)動(dòng)態(tài)被攝體區(qū)域以外的區(qū)域進(jìn)行色調(diào)映射處理。該處理是根據(jù)期望的要求而進(jìn)行的通常的色調(diào)映射處理。在S72的處理結(jié)束后，結(jié)束圖19所示的控制處理。
[0130]另一方面，在S62的處理中，后處理部53在判定為動(dòng)態(tài)被攝體區(qū)域不是使用lo_mask合成的時(shí)，轉(zhuǎn)入動(dòng)態(tài)被攝體 區(qū)域判定處理(S68)。此外，在S68的處理中，后處理部53在判定為動(dòng)態(tài)被攝體區(qū)域不是使用lo_mask合成的時(shí)，轉(zhuǎn)入其它區(qū)域的色調(diào)映射處理(S72)。
[0131]通過(guò)執(zhí)行圖19所示的控制處理，對(duì)動(dòng)態(tài)被攝體區(qū)域和動(dòng)態(tài)被攝體區(qū)域以外的區(qū)域進(jìn)行不同的后處理，因此能夠避免產(chǎn)生噪聲等、合成圖像處理給后續(xù)步驟帶來(lái)影響的情況。此外，S60的處理是數(shù)據(jù)取得步驟，S64、S66、S70和S72是圖像處理步驟。
[0132]接下來(lái)，說(shuō)明用于使便攜終端(計(jì)算機(jī))2作為上述圖像處理裝置I發(fā)揮作用的圖像處理程序。
[0133]圖像處理程序具有主模塊、輸入模塊和運(yùn)算處理模塊。主模塊是總體地控制圖像處理的部分。輸入模塊使便攜終端2進(jìn)行動(dòng)作，以取得輸入圖像。運(yùn)算處理模塊例如具有運(yùn)動(dòng)信息取得模塊、似然度計(jì)算模塊、曝光估計(jì)模塊、運(yùn)動(dòng)校正模塊、合成模塊、區(qū)域數(shù)據(jù)生成模塊、數(shù)據(jù)取得模塊和后處理模塊。通過(guò)執(zhí)行主模塊、輸入模塊和運(yùn)算處理模塊而實(shí)現(xiàn)的功能與上述圖像處理裝置I的圖像輸入部10、運(yùn)動(dòng)信息取得部12、似然度計(jì)算部13、曝光估計(jì)部14、運(yùn)動(dòng)校正部15、合成部16、區(qū)域數(shù)據(jù)生成部50、數(shù)據(jù)取得部52和后處理部53的功能分別相同。
[0134]圖像處理程序例如通過(guò)ROM等記錄介質(zhì)或半導(dǎo)體存儲(chǔ)器提供。此外，圖像處理程序也可以作為數(shù)據(jù)信號(hào)經(jīng)由網(wǎng)絡(luò)提供。
[0135]以上，根據(jù)第2實(shí)施方式的圖像處理裝置1、圖像處理方法和圖像處理程序，在通過(guò)后處理部53對(duì)合成圖像進(jìn)行圖像處理時(shí)，能夠使用區(qū)域數(shù)據(jù)，對(duì)描繪有動(dòng)態(tài)被攝體的區(qū)域和此外的區(qū)域進(jìn)行不同的處理。拍攝了動(dòng)態(tài)被攝體的區(qū)域在合成處理時(shí)被實(shí)施各種圖像處理。因此，并非對(duì)圖像整體實(shí)施相同的圖像處理，通過(guò)將拍攝了動(dòng)態(tài)被攝體的區(qū)域與其它區(qū)域區(qū)別開(kāi)來(lái)實(shí)施圖像處理，能夠在后續(xù)步驟中，避免合成時(shí)的處理的影響變得顯著。即使在只使用輸入圖像(原圖像)的圖像信息來(lái)進(jìn)行抑制了被攝體晃動(dòng)的HDR合成的情況下，也能夠適當(dāng)?shù)剡M(jìn)行后續(xù)步驟。此外，通過(guò)將合成圖像和區(qū)域數(shù)據(jù)記錄在記錄部51中，不僅在攝像時(shí)或合成時(shí)，在合成之后期望的時(shí)機(jī)，也能夠適當(dāng)?shù)剡M(jìn)行后續(xù)步驟。此外，通過(guò)將色調(diào)映射處理設(shè)為根據(jù)每一區(qū)域而不同的處理，能夠避免對(duì)象區(qū)域產(chǎn)生較多噪聲、避免對(duì)象區(qū)域的顏色變得不自然。
[0136]此外，上述實(shí)施方式示出了本發(fā)明的圖像處理裝置的一例。本發(fā)明的圖像處理裝置不限于實(shí)施方式的圖像處理裝置I，在不變更各權(quán)利要求所記載的主旨的范圍內(nèi)，也可對(duì)實(shí)施方式的圖像處理裝置進(jìn)行變形，或者應(yīng)用于其它情況。
[0137]例如，在上述各個(gè)實(shí)施方式中，說(shuō)明了照相機(jī)20取得幀圖像的示例，但是也可以是從其它設(shè)備經(jīng)由網(wǎng)絡(luò)發(fā)送來(lái)的圖像。此外，在不顯示合成圖像、僅進(jìn)行記錄的情況下，也可以不具有顯示部21。
[0138]此外，可以使上述各實(shí)施方式的圖像處理裝置I與手抖動(dòng)校正裝置一起進(jìn)行動(dòng)作。
[0139]此外，對(duì)于圖19所示的控制處理，可以變更處理順序。例如，可以在S60的處理之后緊接著進(jìn)行S72的處理。也可以在執(zhí)行S68?S70的處理之后執(zhí)行S62?S66的處理。此外，也可以是，在S68的處理中，不僅對(duì)使用hi_mask合成的動(dòng)態(tài)被攝體區(qū)域判定是否包含曝光過(guò)度區(qū)域，而且對(duì)使用lo_mask合成的動(dòng)態(tài)被攝體區(qū)域判定是否包含曝光過(guò)度區(qū)域，然后執(zhí)行S70所記載的處理。
[0140](實(shí)施例)
[0141]下面，描述本
【發(fā)明者】為了說(shuō)明上述效果而實(shí)施的實(shí)施例和比較例。
[0142](動(dòng)態(tài)被攝體區(qū)域具有曝光不足區(qū)域的輸入圖像)
[0143]作為用于HDR合成的輸入圖像，準(zhǔn)備了拍攝動(dòng)態(tài)被攝體而得到的第I圖像和第2圖像(圖20的(A)、(B))。圖20的(A)是亮度值低的輸入圖像，圖20的(B)是亮度值高的輸入圖像。此處，人從左向右運(yùn)動(dòng)。此外，人的西服部分為曝光不足。
[0144](比較例I)
[0145]對(duì)根據(jù)圖20所示的兩個(gè)輸入圖像生成的HDR圖像整體進(jìn)行色調(diào)映射處理。圖21、圖22示出結(jié)果。圖21的(A)是色調(diào)映射處理后的圖像，圖21的(B)是說(shuō)明(A)中的動(dòng)態(tài)被攝體區(qū)域Zl的圖像。圖22是圖21的(B)所示的比較例I的動(dòng)態(tài)被攝體區(qū)域Zl的部分放大圖。
[0146](實(shí)施例1)
[0147]對(duì)根據(jù)圖20所示的兩個(gè)輸入圖像生成的HDR圖像進(jìn)行色調(diào)映射處理，并且對(duì)動(dòng)態(tài)被攝體區(qū)域應(yīng)用降噪濾鏡。圖23、圖24示出結(jié)果。圖23的(A)是應(yīng)用了降噪濾鏡的圖像，圖23的(B)是說(shuō)明(A)中的動(dòng)態(tài)被攝體區(qū)域Zl的圖像。圖24是圖23的(B)所示的實(shí)施例I的動(dòng)態(tài)被攝體區(qū)域Zl的部分放大圖。
[0148]在對(duì)作為比較例I的結(jié)果的圖22與作為實(shí)施例1的結(jié)果的圖24進(jìn)行比較時(shí)，可以確認(rèn)實(shí)施例1與比較例I相比，噪聲下降，成為畫質(zhì)較好的圖像。
[0149](動(dòng)態(tài)被攝體區(qū)域具有曝光過(guò)度區(qū)域的輸入圖像)
[0150]作為用于HDR合成的輸入圖像，準(zhǔn)備了拍攝動(dòng)態(tài)被攝體而得到的第I圖像和第2圖像(圖25的(A)、(B))。圖25的(A)是亮度值低的輸入圖像，圖25的(B)是亮度值高的輸入圖像。此處，拍攝了揮動(dòng)左手的靜止人物。在(B)中，天空(sky)部分曝光過(guò)度。
[0151](比較例2)
[0152]對(duì)根據(jù)圖25所示的兩個(gè)輸入圖像生成的HDR圖像整體進(jìn)行色調(diào)映射處理。圖26不出結(jié)果。
[0153](實(shí)施例2)
[0154]對(duì)根據(jù)圖25所示的兩個(gè)輸入圖像生成的HDR圖像，進(jìn)行保留有曝光過(guò)度區(qū)域的色調(diào)映射處理。圖27示出結(jié)果。
[0155]在對(duì)作為比較例2的結(jié)果的圖26與作為實(shí)施例2的結(jié)果的圖27進(jìn)行比較時(shí)，可以確認(rèn)實(shí)施例2與比較例2相比，動(dòng)態(tài)被攝體區(qū)域Z2變得不明顯，成為畫質(zhì)較好的圖像。
[0156]標(biāo)號(hào)說(shuō)明
[0157]I…圖像處理裝置，10…圖像輸入部(輸入部)，12…運(yùn)動(dòng)信息取得部，13…似然度計(jì)算部，14…曝光估計(jì)部，15…運(yùn)動(dòng)校正部，16…合成部，50…數(shù)據(jù)生成部，51…記錄部，52…數(shù)據(jù)取得部，53…后處理部。
【權(quán)利要求】
1.一種圖像處理裝置，其對(duì)合成曝光條件不同的第I圖像和第2圖像而得到的合成圖像進(jìn)行圖像處理，其特征在于， 該圖像處理裝置具有: 數(shù)據(jù)取得部，其取得所述合成圖像和表示所述合成圖像的對(duì)象區(qū)域的區(qū)域數(shù)據(jù)；以及圖像處理部，其根據(jù)所述區(qū)域數(shù)據(jù)，對(duì)所述對(duì)象區(qū)域和所述對(duì)象區(qū)域以外的區(qū)域進(jìn)行不同的圖像處理， 所述第I圖像和所述第2圖像包含描繪有動(dòng)態(tài)被攝體的區(qū)域， 所述合成圖像是針對(duì)描繪有所述動(dòng)態(tài)被攝體的區(qū)域，使用所述第I圖像和所述第2圖像中的任意一方的像素值而生成的， 所述區(qū)域數(shù)據(jù)將根據(jù)所述合成圖像中的描繪有所述動(dòng)態(tài)被攝體的區(qū)域而生成的I個(gè)或者多個(gè)區(qū)域表示為所述對(duì)象區(qū)域。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 該圖像處理裝置具有: 輸入部，其輸入所述第I圖像和所述第2圖像； 似然度計(jì)算部，其根據(jù)所述第I圖像和所述第2圖像的差分，計(jì)算各個(gè)像素的動(dòng)態(tài)被攝體似然度；以及 區(qū)域數(shù)據(jù)生成部，其根據(jù)所述動(dòng)態(tài)被攝體似然度生成所述區(qū)域數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所`述的圖像處理裝置，其特征在于， 該圖像處理裝置具有: 曝光估計(jì)部，其根據(jù)所述動(dòng)態(tài)被攝體似然度，估計(jì)對(duì)所述第I圖像與所述第2圖像的曝光條件進(jìn)行調(diào)合的曝光轉(zhuǎn)換函數(shù)； 合成部，其使用所述曝光轉(zhuǎn)換函數(shù)合成所述第I圖像和所述第2圖像。
4.根據(jù)權(quán)利要求1~3中的任意一項(xiàng)所述的圖像處理裝置，其特征在于， 所述圖像處理裝置具有將所述合成圖像和所述區(qū)域數(shù)據(jù)相互對(duì)應(yīng)起來(lái)進(jìn)行記錄的記錄部。
5.根據(jù)權(quán)利要求1~4中的任意一項(xiàng)所述的圖像處理裝置，其特征在于， 所述區(qū)域數(shù)據(jù)是尺寸比所述第I圖像、所述第2圖像或者所述合成圖像的尺寸小的數(shù)據(jù)。
6.根據(jù)權(quán)利要求1~5中的任意一項(xiàng)所述的圖像處理裝置，其特征在于， 所述區(qū)域數(shù)據(jù)還與原像素信息對(duì)應(yīng)起來(lái)，所述原像素信息確定合成該區(qū)域數(shù)據(jù)表示的所述對(duì)象區(qū)域時(shí)用到的圖像的像素信息， 所述數(shù)據(jù)取得部取得與所述區(qū)域數(shù)據(jù)對(duì)應(yīng)的所述原像素信息， 所述圖像處理部根據(jù)所述區(qū)域數(shù)據(jù)和所述原像素信息，對(duì)所述對(duì)象區(qū)域和所述對(duì)象區(qū)域以外的區(qū)域進(jìn)行不同的處理。
7.根據(jù)權(quán)利要求1~6中的任意一項(xiàng)所述的圖像處理裝置，其特征在于， 所述圖像處理部對(duì)所述對(duì)象區(qū)域和所述對(duì)象區(qū)域以外的區(qū)域進(jìn)行不同的色調(diào)映射處理。
8.一種圖像處理方法，該圖像處理方法對(duì)合成曝光條件不同的第I圖像和第2圖像而得到的合成圖像進(jìn)行圖像處理，其特征在于，該圖像處理方法具有: 數(shù)據(jù)取得步驟，取得所述合成圖像和表示所述合成圖像的對(duì)象區(qū)域的區(qū)域數(shù)據(jù)；以及圖像處理步驟，根據(jù)所述區(qū)域數(shù)據(jù)，對(duì)所述對(duì)象區(qū)域和所述對(duì)象區(qū)域以外的區(qū)域進(jìn)行不同的圖像處理， 所述第1圖像和所述第2圖像包含描繪有動(dòng)態(tài)被攝體的區(qū)域， 所述合成圖像是針對(duì)描繪有所述動(dòng)態(tài)被攝體的區(qū)域，使用所述第I圖像和所述第2圖像中的任意一方的像素值而生成的， 所述區(qū)域數(shù)據(jù)將根據(jù)所述合成圖像中的描繪有所述動(dòng)態(tài)被攝體的區(qū)域而生成的I個(gè)或者多個(gè)區(qū)域表示為所述對(duì)象區(qū)域。
9.一種圖像處理程序，其使計(jì)算機(jī)進(jìn)行動(dòng)作，以對(duì)合成曝光條件不同的第I圖像和第2圖像而得到的合成圖像進(jìn)行圖像處理，其特征在于， 該圖像處理程序使所述計(jì)算機(jī)作為數(shù)據(jù)取得部和圖像處理部進(jìn)行動(dòng)作， 所述數(shù)據(jù)取得部取得所述合成圖像和表示所述合成圖像的對(duì)象區(qū)域的區(qū)域數(shù)據(jù)，所述圖像處理部根據(jù)所述區(qū)域數(shù)據(jù)對(duì)所述對(duì)象區(qū)域和所述對(duì)象區(qū)域以外的區(qū)域進(jìn)行不同的圖像處理， 所述第I圖像和所述第2圖像包含描繪有動(dòng)態(tài)被攝體的區(qū)域， 所述合成圖像是針對(duì)描繪有所述動(dòng)態(tài)被攝體的區(qū)域，使用所述第I圖像和所述第2圖像中的任意一方的像素值而生成的， 所述區(qū)域數(shù)據(jù)將根據(jù)所述合成圖像中的描繪有所述動(dòng)態(tài)被攝體的區(qū)域而生成的I個(gè)或者多個(gè)區(qū)域表示為所述對(duì)象區(qū)域。
10.一種記錄介質(zhì)，其記錄有圖像處理程序，該圖像處理程序使計(jì)算機(jī)進(jìn)行動(dòng)作，以對(duì)合成曝光條件不同的第I圖像和第2圖像而得到的合成圖像進(jìn)行圖像處理， 所述圖像處理程序使所述計(jì)算機(jī)作為數(shù)據(jù)取得部和圖像處理部進(jìn)行動(dòng)作， 所述數(shù)據(jù)取得部取得所述合成圖像和表示所述合成圖像的對(duì)象區(qū)域的區(qū)域數(shù)據(jù)，所述圖像處理部根據(jù)所述區(qū)域數(shù)據(jù)對(duì)所述對(duì)象區(qū)域和所述對(duì)象區(qū)域以外的區(qū)域進(jìn)行不同的圖像處理， 所述第I圖像和所述第2圖像包含描繪有動(dòng)態(tài)被攝體的區(qū)域， 所述合成圖像是針對(duì)描繪有所述動(dòng)態(tài)被攝體的區(qū)域，使用所述第I圖像和所述第2圖像中的任意一方的像素值而生成的， 所述區(qū)域數(shù)據(jù)將根據(jù)所述合成圖像中的描繪有所述動(dòng)態(tài)被攝體的區(qū)域而生成的I個(gè)或者多個(gè)區(qū)域表示為所述對(duì)象區(qū)域。
【文檔編號(hào)】H04N5/235GK103493473SQ201280019344
【公開(kāi)日】2014年1月1日 申請(qǐng)日期:2012年8月31日 優(yōu)先權(quán)日:2011年10月14日
【發(fā)明者】平井義人, 三浦健 申請(qǐng)人:株式會(huì)社摩如富