圖像處理裝置、拍攝裝置以及圖像處理程序的制作方法
【專利摘要】在使用通過一次曝光動作從一個拍攝系統(tǒng)輸出的圖像信號來生成多個視差圖像的情況下，存在如下問題：由于被攝體光束向拍攝元件的各像素入射的入射角的不同，在視差圖像間產(chǎn)生色調(diào)的不同。因此本發(fā)明提供一種圖像處理裝置，具有：圖像數(shù)據(jù)取得部，其從拍攝元件取得視差圖像數(shù)據(jù)，所述拍攝元件與至少一部分光電轉(zhuǎn)換元件分別對應(yīng)地具有彩色濾光片和開口掩模，至少輸出2個視差圖像數(shù)據(jù)；和修正部，其基于拍攝元件中的光電轉(zhuǎn)換元件的位置和開口掩模的開口偏位的至少一方，修正在視差圖像數(shù)據(jù)間所產(chǎn)生的對應(yīng)像素的色平衡失調(diào)。
【專利說明】圖像處理裝置、拍攝裝置以及圖像處理程序
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理裝置、拍攝裝置以及圖像處理程序。
【背景技術(shù)】
[0002]已知使用2個攝影光學(xué)系統(tǒng)來拍攝由右眼用圖像和左眼用圖像構(gòu)成的立體圖像的立體拍攝裝置。這樣的立體拍攝裝置通過以一定的間隔來配置2個攝影光學(xué)系統(tǒng)，從而在對同一被攝體拍攝而獲得的2個圖像產(chǎn)生視差。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)1:日本特開平8— 47001號公報
【發(fā)明內(nèi)容】

[0006]發(fā)明要解決的問題
[0007]如果是在利用獨(dú)立的2個拍攝系統(tǒng)來取得右眼用圖像和左眼用圖像的情況下，事實(shí)上可能會將被攝體光束向各個拍攝元件入射的入射角的不同無視。但是存在如下問題:在使用通過一次曝光動作從一個拍攝系統(tǒng)輸出的圖像信號來生成多個視差圖像的情況下，由于被攝體光束向拍攝元件的各像素入射的入射角的不同，在視差圖像之間產(chǎn)生色調(diào)的不同。
[0008]用于解決問題的手段
[0009]本發(fā)明的第I方案的圖像處理裝置具有:圖像數(shù)據(jù)取得部，其從拍攝元件取得視差圖像數(shù)據(jù)，拍攝元件與至少一部分光電轉(zhuǎn)換元件分別對應(yīng)地具有彩色濾光片和開口掩模，輸出至少2個視差圖像數(shù)據(jù)；和修正部，其基于拍攝元件中的光電轉(zhuǎn)換元件的位置和開口掩模的開口偏位的至少一方，修正在視差圖像數(shù)據(jù)間所產(chǎn)生的對應(yīng)像素的色平衡失調(diào)。
[0010]本發(fā)明的第2方案的拍攝裝置包含上述圖像處理裝置和拍攝元件，對與相鄰的η個所述光電轉(zhuǎn)換元件中的至少3個所述光電轉(zhuǎn)換元件對應(yīng)設(shè)置的各所述開口掩模的開口進(jìn)行定位，以使該開口包含在彩色濾光片圖案的一個圖案內(nèi)，并且使來自所述入射光的截面區(qū)域內(nèi)的互不相同的部分區(qū)域的光束分別穿過，以所述η個所述光電轉(zhuǎn)換元件為一組的光電轉(zhuǎn)換元件組周期性地排列，其中，所述彩色濾光片圖案包含使互不相同的波段透過的至少2種所述彩色濾光片，η為3以上的整數(shù)。并且，拍攝裝置基于設(shè)置于開口掩模的光電轉(zhuǎn)換元件的輸出信號來輸出視差圖像數(shù)據(jù)。
[0011]本發(fā)明的第3方案的圖像處理程序使計算機(jī)執(zhí)行如下步驟:圖像數(shù)據(jù)取得步驟，從拍攝元件取得視差圖像數(shù)據(jù)，所述拍攝元件與至少一部分光電轉(zhuǎn)換元件分別對應(yīng)地具有彩色濾光片和開口掩模，至少輸出2個視差圖像數(shù)據(jù)；和修正步驟，基于拍攝元件中的光電轉(zhuǎn)換元件的位置和開口掩模的開口偏位的至少一方，修正在視差圖像數(shù)據(jù)間所產(chǎn)生的對應(yīng)像素的色平衡失調(diào)。
[0012]此外，上述的
【發(fā)明內(nèi)容】
并不是列舉了本發(fā)明的全部必要特征而得到的。另外，這些特征組的子組合也能另外構(gòu)成發(fā)明。
【專利附圖】

【附圖說明】
[0013]圖1是說明本發(fā)明的實(shí)施方式的數(shù)字照相機(jī)(digital camera)的構(gòu)成的圖。
[0014]圖2是表示本發(fā)明的實(shí)施方式的拍攝元件的截面的概略圖。
[0015]圖3是表示將拍攝元件的一部分放大后的形態(tài)的概略圖。
[0016]圖4是說明視差像素與被攝體的關(guān)系的概念圖。
[0017]圖5是說明用于生成視差圖像的處理的概念圖。
[0018]圖6是表示重復(fù)圖案的另一例的圖。
[0019]圖7是表示二維的重復(fù)圖案的例子的圖。
[0020]圖8是說明開口部的另一形狀的圖。
[0021 ] 圖9是說明拜耳陣列的圖。
[0022]圖10是說明在視差像素的種類為2種的情況下的針對拜耳陣列的視差像素的分配的變形的圖。
[0023]圖11是表示變形的一例的圖。
[0024]圖12是表示另一變形的一例的圖。
[0025]圖13是表示又一變形的一例的圖。
[0026]圖14是表示視差圖像和2D圖像的生成過程的概念圖。
[0027]圖15是說明主光線相對于彩色濾光片的入射角的不同的圖。
[0028]圖16是表示視差圖像間的色平衡失調(diào)的概念的圖。
[0029]圖17是表示主光線相對于彩色濾光片的入射角和透射率的關(guān)系的圖。
[0030]圖18是說明在安裝有光瞳位置不同的透鏡單元的情況下的主光線的入射角的不同的圖。
[0031 ] 圖19是表示修正色平衡失調(diào)的處理流程的圖。
【具體實(shí)施方式】
[0032]以下，通過發(fā)明的實(shí)施方式來說明本發(fā)明，但以下的實(shí)施方式并不是限定權(quán)利要求書涉及的發(fā)明。另外，實(shí)施方式中所說明的特征的全部組合并非是發(fā)明的解決手段所必須的。
[0033]作為拍攝裝置的一個形態(tài)的本實(shí)施方式的數(shù)字照相機(jī)，構(gòu)成為能夠?qū)σ粋€場景通過一次攝影來生成多個視點(diǎn)數(shù)的圖像。將視點(diǎn)互不相同的各個圖像稱為視差圖像。
[0034]圖1是說明本發(fā)明的實(shí)施方式的數(shù)字照相機(jī)10的構(gòu)成的圖。數(shù)字照相機(jī)10由主體單元30和可裝卸于主體單元30的透鏡單元50構(gòu)成。透鏡單元50所具有的攝影透鏡20將沿著光軸21入射的被攝體光束導(dǎo)向主體單元30所具有的拍攝元件100。在本實(shí)施方式中，將數(shù)字照相機(jī)10作為可替換透鏡單元50的透鏡替換式照相機(jī)來說明，但也可以是透鏡單元50與主體單元30 —體構(gòu)成的一類照相機(jī)。
[0035]主體單元30具有拍攝元件100、控制部201、A / D轉(zhuǎn)換電路202、存儲器203、驅(qū)動部204、圖像處理部205、存儲卡IF207、操作部208、顯示部209、LCD驅(qū)動電路210以及AF傳感器211。透鏡單元50除了攝影透鏡20以外還具有透鏡控制部321、透鏡存儲器232。[0036]此外，如圖所示，將朝向拍攝元件100的平行于光軸21的方向定為z軸正方向，將在垂直于Z軸的平面上朝向紙面近前的方向定為X軸正方向，將紙面上方定為y軸正方向。在以后的幾個圖中，以圖1的坐標(biāo)軸為基準(zhǔn)，以使各個圖的方向清楚的方式來表示坐標(biāo)軸。
[0037]攝影透鏡20由多個光學(xué)透鏡組構(gòu)成，使來自場景的被攝體光束成像在該攝影透鏡20的焦點(diǎn)面附近。此外，圖1中為了便于說明攝影透鏡20而以配置在光瞳附近的虛擬的I片透鏡為代表來表示。拍攝元件100配置在攝影透鏡20的焦點(diǎn)面附近。拍攝元件100是二維排列有多個光電轉(zhuǎn)換元件的例如CCD、CMOS傳感器等圖像傳感器。拍攝元件100由驅(qū)動部204進(jìn)行定時(timing)控制，將成像在受光面上的被攝體像轉(zhuǎn)換成圖像信號并輸出到A / D轉(zhuǎn)換電路202。
[0038]A / D轉(zhuǎn)換電路202將拍攝元件100輸出的圖像信號轉(zhuǎn)換成數(shù)字圖像信號并輸出到存儲器203。圖像處理部205將存儲器203作為工作空間來實(shí)施各種圖像處理，生成圖像數(shù)據(jù)。圖像處理部205另外也承擔(dān)如下功能:與拍攝元件100的像素排列相適應(yīng)地，根據(jù)所輸入的圖像信號生成作為非視差圖像數(shù)據(jù)的2D圖像數(shù)據(jù)及視差圖像數(shù)據(jù)，或依照所選擇出的圖像格式來調(diào)整圖像數(shù)據(jù)。所生成的圖像數(shù)據(jù)可通過IXD驅(qū)動電路210被轉(zhuǎn)換成顯示信號而顯示在顯示部209上。而且，可被記錄在安裝于存儲卡IF207的存儲卡220中。
[0039]AF傳感器211是對被攝體空間設(shè)置有多個測距點(diǎn)的相位差傳感器，在各個測距點(diǎn)檢測被攝體像的散焦量。通過操作部208接受用戶的操作并向控制部201輸出操作信號來開始一系列的攝影順序。在控制部201中控制并執(zhí)行按照攝影順序的AF、AE等的各種動作。例如，控制部201解析AF傳感器211的檢測信號，將使構(gòu)成攝影透鏡20的一部分的聚焦透鏡移動的對焦控制信號發(fā)送到透鏡控制部231。
[0040]透鏡控制部231負(fù)責(zé)透鏡單元50的控制。例如從控制部201接收對焦控制信號，使聚焦透鏡移動。另外，檢測包含聚焦透鏡在內(nèi)的攝影透鏡20的當(dāng)前位置并發(fā)送到控制部201。透鏡存儲器232是存儲有與透鏡單元50有關(guān)的各種特性值的非易失性存儲器。透鏡控制部231按照控制部201的要求將攝影透鏡20的位置信息、透鏡存儲器232存儲的各種特性值等作為透鏡信息發(fā)送到控制部201。
[0041]接著，對拍攝元件100的構(gòu)成進(jìn)行詳細(xì)說明。圖2是表示本發(fā)明的實(shí)施方式的拍攝元件的截面的概略圖。如圖所示，拍攝元件100構(gòu)成為從被攝體側(cè)依次排列有微透鏡101、彩色濾光片102、開口掩模103、布線層105以及光電轉(zhuǎn)換元件108。光電轉(zhuǎn)換元件108由將入射的光轉(zhuǎn)換成電信號的光電二極管構(gòu)成。多個光電轉(zhuǎn)換元件108呈二維狀地排列在基板109的表面。
[0042]由光電轉(zhuǎn)換元件108轉(zhuǎn)換后的圖像信號、控制光電轉(zhuǎn)換元件108的控制信號等經(jīng)由設(shè)置于布線層105的布線106來收發(fā)。另外，具有與各光電轉(zhuǎn)換兀件108 對應(yīng)地設(shè)置的開口部104的開口掩模103，與布線層接觸地設(shè)置。開口部104如后述那樣按對應(yīng)的光電轉(zhuǎn)換元件108來偏移，相對的位置被嚴(yán)格地確定。在后面進(jìn)行詳細(xì)說明，由于具有該開口部104的開口掩模103的作用，在光電轉(zhuǎn)換元件108受光的被攝體光束產(chǎn)生視差。
[0043]另一方面，在不產(chǎn)生視差的光電轉(zhuǎn)換元件108上，不存在開口掩模103。換言之，也可以說不限制對對應(yīng)的光電轉(zhuǎn)換元件108入射的被攝體光束，即設(shè)置具有使有效光束全部穿過的開口部104的開口掩模103。雖然不產(chǎn)生視差，但實(shí)質(zhì)上因為由布線106形成的開口 107規(guī)定入射的被攝體光束，所以也可以將布線106理解為不產(chǎn)生視差的使有效光束全部穿過的開口掩模。開口掩模103可以與各光電轉(zhuǎn)換元件108對應(yīng)地分別獨(dú)立地排列，也可以與彩色濾光片102的制造工序同樣地與多個光電轉(zhuǎn)換元件108 —起形成。
[0044]彩色濾光片102設(shè)置在開口掩模103上。彩色濾光片102是以使特定的波段透過各光電轉(zhuǎn)換元件108的方式被著色的、與光電轉(zhuǎn)換元件108分別一一對應(yīng)地設(shè)置的濾光片。要輸出彩色圖像，只要排列互不相同的至少2種彩色濾光片即可，而要獲得更高畫質(zhì)的彩色圖像可以排列3種以上的彩色濾光片。例如可以將使紅色波段透過的紅色濾光片、使綠色波段透過的綠色濾光片以及使藍(lán)色波段透過的藍(lán)色濾光片呈格子狀排列。在后面對具體的排列進(jìn)行說明。
[0045]微透鏡101設(shè)置在彩色濾光片102上。微透鏡101是用于將入射的被攝體光束的較多光束導(dǎo)向光電轉(zhuǎn)換元件108的聚光透鏡。微透鏡101與光電轉(zhuǎn)換元件108分別一一對應(yīng)地設(shè)置。微透鏡101優(yōu)選是考慮攝影透鏡20的光瞳中心與光電轉(zhuǎn)換元件108的相對的位置關(guān)系來使其光軸移位以使較多被攝體光束被導(dǎo)向光電轉(zhuǎn)換元件108。進(jìn)而，可以與開口掩模103的開口部104的位置一起來調(diào)整配置位置以使后述的特定的被攝體光束較多地入射。
[0046]如此，將與各個光電轉(zhuǎn)換元件108——對應(yīng)地設(shè)置的開口掩模103、彩色濾光片102以及微透鏡101的一個單位稱為像素。特別是，將設(shè)有產(chǎn)生視差的開口掩模103的像素稱為視差像素，將沒有設(shè)有產(chǎn)生視差的開口掩模103的像素稱為無視差像素。例如,在拍攝元件100的有效像素區(qū)域為24_X 16mm左右的情況下，像素數(shù)達(dá)到1200萬左右。
[0047]此外，在聚光效率、光電轉(zhuǎn)換效率良好的圖像傳感器的情況下，也可以不設(shè)置微透鏡101。另外，在背面照射型圖像傳感器的情況下，將布線層105設(shè)置在與光電轉(zhuǎn)換元件108相反的一側(cè)。
[0048]接著，對開口掩模103的開口部104和所產(chǎn)生的視差的關(guān)系進(jìn)行說明。圖3是表示將拍攝元件100的一部分放大后的形態(tài)的概略圖。在此，為了簡單地說明，對于彩色濾光片102的配色將在后面再次提及而不考慮。在不提及彩色濾光片102的配色的以下的說明中，能夠理解為僅將具有同色的彩色濾光片102的視差像素匯集的圖像傳感器。因此，以下說明的重復(fù)圖案也可以作為同色的彩色濾光片102中的相鄰像素來考慮。
[0049]如圖3所示，開口掩模103的開口部104相對于各個像素而相對偏移地設(shè)置。而且，在相鄰的像素彼此中，各個開口部104也被設(shè)置于互相變位后的位置。
[0050]在圖示的例子中，準(zhǔn)備了作為開口部104相對于各個像素的位置而彼此在左右方向上偏移的6種開口掩模103。而且，整個拍攝元件100中，二維且周期性地排列有以分別具有從紙面左側(cè)向右側(cè)逐漸偏移的開口掩模103的6個視差像素為一組的光電轉(zhuǎn)換元件組。即，拍攝元件100可以說是包含一組光電轉(zhuǎn)換元件組的重復(fù)圖案110周期性地鋪滿而構(gòu)成的。
[0051]圖4是說明視差像素與被攝體的關(guān)系的概念圖。特別是圖4(a)表示在拍攝元件100中在與攝影光軸21垂直的中心排列的重復(fù)圖案IlOt的光電轉(zhuǎn)換元件組，圖4(b)示意性地表示排列在周邊部分的重復(fù)圖案IlOu的光電轉(zhuǎn)換元件組。圖4(a)、(b)中的被攝體90相對于攝影透鏡20存在于對焦位置。圖4(c)與圖4(a)對應(yīng)，示意性地表示在捕捉到相對于攝影透鏡20存在于非對焦位置的被攝體91的情況下的關(guān)系。
[0052]首先，說明在攝影透鏡20捕捉存在于對焦?fàn)顟B(tài)的被攝體90的情況下的視差像素與被攝體的關(guān)系。被攝體光束穿過攝影透鏡20的光瞳而被導(dǎo)向拍攝元件100，但對被攝體光束穿過的全部截面區(qū)域規(guī)定了 6個部分區(qū)域Pa?Pf。而且，從放大圖也可清楚:例如對于構(gòu)成重復(fù)圖案110t、IlOu的光電轉(zhuǎn)換元件組的紙面左端的像素，以僅使從部分區(qū)域Pf射出的被攝體光束到達(dá)光電轉(zhuǎn)換元件108的方式確定開口掩模103的開口部104f的位置。同樣，對于朝向右端的像素，與部分區(qū)域Pe對應(yīng)地確定開口部104e的位置，與部分區(qū)域Pd對應(yīng)地確定開口部104d的位置，與部分區(qū)域Pc對應(yīng)地確定開口部104c的位置，與部分區(qū)域Pb對應(yīng)地確定開口部104b的位置，與部分區(qū)域Pa對應(yīng)地確定開口部104a的位置。
[0053]換言之，也可以說是根據(jù)由例如部分區(qū)域Pf與左端像素的相對的位置關(guān)系定義的、從部分區(qū)域Pf射出的被攝體光束的主光線Rf的斜率，來確定開口部104f的位置。而且，在將來自存在于對焦位置的被攝體90的被攝體光束經(jīng)由開口部104f由光電轉(zhuǎn)換元件108受光的情況下，該被攝體光束如虛線所圖示的那樣成像在光電轉(zhuǎn)換元件108上。同樣，朝向右端的像素，可以說是根據(jù)主光線Re的斜率來確定開口部104e的位置，根據(jù)主光線Rd的斜率來確定開口部104d的位置，根據(jù)主光線Re的斜率來確定開口部104c的位置，根據(jù)主光線Rb的斜率來確定開口部104b的位置，根據(jù)主光線Ra的斜率來確定開口部104a的位置。
[0054]如圖4(a)所示，從存在于對焦位置的被攝體90中的與光軸21交叉的被攝體90上的微小區(qū)域Ot放射的光束，穿過攝影透鏡20的光瞳而到達(dá)構(gòu)成重復(fù)圖案IlOt的光電轉(zhuǎn)換元件組的各像素。也就是說，構(gòu)成重復(fù)圖案IlOt的光電轉(zhuǎn)換元件組的各像素分別經(jīng)由6個部分區(qū)域Pa?Pf接受從一個微小區(qū)域Ot放射的光束。微小區(qū)域Ot具有與構(gòu)成重復(fù)圖案IlOt的光電轉(zhuǎn)換元件組的各像素的位置偏離相對應(yīng)程度的擴(kuò)散，但實(shí)質(zhì)上能夠大致近似于同一物點(diǎn)。同樣，如圖4(b)所示，從存在于對焦位置的被攝體90中離開光軸21的被攝體90上的微小區(qū)域Ou放射的光束，穿過攝影透鏡20的光瞳而到達(dá)構(gòu)成重復(fù)圖案IlOu的光電轉(zhuǎn)換元件組的各像素。也就是說，構(gòu)成重復(fù)圖案IlOu的光電轉(zhuǎn)換元件組的各像素分別經(jīng)由6個部分區(qū)域Pa?Pf接受從一個微小區(qū)域Ou放射的光束。微小區(qū)域Ou與微小區(qū)域Ot同樣，也具有與構(gòu)成重復(fù)圖案IlOu的光電轉(zhuǎn)換元件組的各像素的位置偏離相對應(yīng)程度的擴(kuò)散，但實(shí)質(zhì)上能夠大致近似于同一物點(diǎn)。
[0055]S卩，只要被攝體90存在于對焦位置，與拍攝元件100上的重復(fù)圖案110的位置相應(yīng)地，光電轉(zhuǎn)換元件組所捕捉的微小區(qū)域就不同，并且構(gòu)成光電轉(zhuǎn)換元件組的各像素經(jīng)由互不相同的部分區(qū)域而捕捉同一微小區(qū)域。而且，在各個重復(fù)圖案110中，對應(yīng)的像素彼此接受來自相同部分區(qū)域的被攝體光束。即，在圖中，例如重復(fù)圖案IlOtUlOu各自的左端的像素接受來自相同部分區(qū)域Pf的被攝體光束。
[0056]在與攝影光軸21垂直的中心排列的重復(fù)圖案IlOt中左端像素接受來自部分區(qū)域Pf的被攝體光束的開口部104f的位置、和排列在周邊部分的重復(fù)圖案IlOu左端像素接受來自部分區(qū)域Pf的被攝體光束的開口部104f的位置嚴(yán)格來說是不同的。然而，從功能性的觀點(diǎn)出發(fā)，在用于接受來自部分區(qū)域Pf的被攝體光束的開口掩模這一點(diǎn)上，能夠?qū)⑺鼈冏鳛橥环N開口掩模來處理。因此，在圖4的例子中，可以說排列在拍攝元件100上的視差像素各自具有6種開口掩模中的一種。
[0057]接著，說明在攝影透鏡20捕捉存在于非對焦?fàn)顟B(tài)的被攝體91的情況下的視差像素與被攝體的關(guān)系。在該情況下，來自存在于非對焦位置的被攝體91的被攝體光束也穿過攝影透鏡20的光瞳的6個部分區(qū)域Pa?Pf而到達(dá)拍攝元件100。但是，來自存在于非對焦位置的被攝體91的被攝體光束不是成像在光電轉(zhuǎn)換元件108上而是成像在其他位置。例如，如圖4(c)所示，若被攝體91與被攝體90相比存在于更遠(yuǎn)離拍攝元件100的位置，則被攝體光束成像在相比于光電轉(zhuǎn)換元件108更靠被攝體91側(cè)。相反，若被攝體91與被攝體90相比存在于更接近拍攝元件100的位置，則被攝體光束成像在相比于光電轉(zhuǎn)換元件108更靠與被攝體91相反的一側(cè)。
[0058]因此，從存在于非對焦位置的被攝體91中的微小區(qū)域Of放射的被攝體光束，通過穿過6個部分區(qū)域Pa?Pf中的某一個而到達(dá)不同組的重復(fù)圖案110中的對應(yīng)像素。例如，如圖4(c)的放大圖所示，穿過了部分區(qū)域Pd的被攝體光束作為主光線Rd'而入射到包含在重復(fù)圖案IlOt'中的具有開口部104d的光電轉(zhuǎn)換元件108。而且，從微小區(qū)域Ot'放射而穿過了其他部分區(qū)域的被攝體光束，沒有入射到包含在重復(fù)圖案IlOt'中的光電轉(zhuǎn)換元件108，而入射到其他重復(fù)圖案中具有對應(yīng)開口部的光電轉(zhuǎn)換元件108。換言之，到達(dá)構(gòu)成重復(fù)圖案IlOC的各光電轉(zhuǎn)換元件108的被攝體光束是從被攝體91的互不相同的微小區(qū)域放射的被攝體光束。也就是說，向與開口部104d對應(yīng)的108入射的是將主光線作為RcT的被攝體光束，向與其他開口部對應(yīng)的光電轉(zhuǎn)換元件108入射的是將主光線作為Ra+、Rb+、Re+、Re+、Rf+的被攝體光束，但這些被攝體光束是從被攝體91的互不相同的微小區(qū)域放射的被攝體光束。這樣的關(guān)系在圖4(b)中的排列在周邊部分的重復(fù)圖案IlOu中也是同樣的。
[0059]于是，在觀察拍攝元件100整體的情況下，例如，由與開口部104a對應(yīng)的光電轉(zhuǎn)換元件108捕捉到的被攝體像A和由與開口部104d對應(yīng)的光電轉(zhuǎn)換元件108捕捉到的被攝體像D，若是對存在于對焦位置的被攝體的像就相互沒有偏離，若是對存在于非對焦位置的被攝體的像則會產(chǎn)生偏離。而且，根據(jù)存在于非對焦位置的被攝體相對于對焦位置向哪一側(cè)偏離了多少、及部分區(qū)域Pa與部分區(qū)域Pd的距離，確定該偏離的方向和量。即，被攝體像A和被攝體像D相互成為視差像。該關(guān)系對于其他開口部而言也是同樣的，因此與開口部104a?104f對應(yīng)地形成6個視差像。
[0060]因此，在如此構(gòu)成的各個重復(fù)圖案110中，當(dāng)將互相對應(yīng)的像素的輸出匯集時，獲得視差圖像。即，接受從6個部分區(qū)域Pa?Pf中的特定的部分區(qū)域射出的被攝體光束的像素的輸出形成視差圖像。
[0061]圖5是說明用于生成視差圖像的處理的概念圖。圖中從左列依次表示將與開口部104f對應(yīng)的視差像素的輸出集中而生成的視差圖像數(shù)據(jù)Im_f的生成的形態(tài)、由開口部104e的輸出實(shí)現(xiàn)的視差圖像數(shù)據(jù)Im_e的生成的形態(tài)、由開口部104d的輸出實(shí)現(xiàn)的視差圖像數(shù)據(jù)Im_d的生成的形態(tài)、由開口部104c的輸出實(shí)現(xiàn)的視差圖像數(shù)據(jù)Im_c的生成的形態(tài)、由開口部104b的輸出實(shí)現(xiàn)的視差圖像數(shù)據(jù)Im_b的生成的形態(tài)、由開口部104a的輸出實(shí)現(xiàn)的視差圖像數(shù)據(jù)Im_a的生成的形態(tài)。首先對由開口部104f的輸出實(shí)現(xiàn)的視差圖像數(shù)據(jù)Im_f的生成的形態(tài)進(jìn)行說明。
[0062]由以6個視差像素為一組的光電轉(zhuǎn)換元件組構(gòu)成的重復(fù)圖案110排列成橫向一排。因此，具有開口部104f的視差像素在拍攝元件100上在左右方向上每隔6個像素地存在，且在上下方向上連續(xù)地存在。這些各像素如上述那樣接受來自分別不同的微小區(qū)域的被攝體光束。因此，當(dāng)將這些視差像素的輸出匯集排列時，獲得視差圖像。[0063]但是，因為本實(shí)施方式中的拍攝元件100的各像素是正方像素，僅通過單純地匯集將造成橫向的像素數(shù)被減到I / 6的結(jié)果，而生成縱長的圖像數(shù)據(jù)。于是，通過實(shí)施插值處理在橫向上成為6倍的像素數(shù)，從而生成視差圖像數(shù)據(jù)Im_f作為本來縱橫比的圖像。但是，因為原本插值處理前的視差圖像數(shù)據(jù)為橫向上減到I / 6的圖像，所以橫向的分辨率比縱向的分辨率低。即，可以說所生成的視差圖像數(shù)據(jù)的數(shù)量與分辨率的提高為相反關(guān)系。
[0064]同樣地獲得視差圖像數(shù)據(jù)Im_e?視差圖像數(shù)據(jù)Im_a。也就是說，數(shù)字照相機(jī)10能夠生成在橫向上具有視差的6個視點(diǎn)的視差圖像。
[0065]在上述的例子中，說明了將橫向一排作為重復(fù)圖案110而周期性地排列的例子，但重復(fù)圖案110并不限于此。圖6是表示重復(fù)圖案110的另一例的圖。
[0066]圖6(a)是將縱向6個像素作為重復(fù)圖案110的例子。但是，各個開口部104以從紙面上端的視差像素往下、從紙面左側(cè)向右側(cè)逐漸偏移的方式確定位置。通過如此排列的重復(fù)圖案110，也能夠生成在橫向上給予視差的6個視點(diǎn)的視差圖像。該情況與圖3的重復(fù)圖案110相比，可以說是取代犧牲縱向的分辨率而維持橫向的分辨率的重復(fù)圖案。
[0067]圖6(b)是將斜向相鄰的6個像素作為重復(fù)圖案110的例子。各個開口部104以從紙面左上端的視差像素往右下、從紙面左側(cè)向右側(cè)逐漸偏移的方式確定位置。通過如此排列的重復(fù)圖案110，也能夠生成在橫向上給予視差的6個視點(diǎn)的視差圖像。該情況與圖3的重復(fù)圖案110相比，可以說是在將縱向的分辨率及橫向的分辨率維持一定程度的同時增加視差圖像的數(shù)量的重復(fù)圖案。
[0068]分別比較圖3的重復(fù)圖案110和圖6(a)、(b)的重復(fù)圖案110，在都生成6個視點(diǎn)的視差圖像的情況下，對于從不是視差圖像的整體輸出一張圖像的情況下的分辨率，可以說不同之處在于犧牲縱向、橫向的哪一個方向的分辨率。圖3的重復(fù)圖案110的情況為使橫向的分辨率為I / 6的構(gòu)成。圖6(a)的重復(fù)圖案110的情況為使縱向的分辨率為I / 6的構(gòu)成。另外，圖6(b)的重復(fù)圖案110的情況為使縱向為I / 3并使橫向為I / 2的構(gòu)成。無論哪種情況，都在一個圖案內(nèi)與各像素對應(yīng)地逐一設(shè)置有開口部104a?104f，構(gòu)成為分別從對應(yīng)的部分區(qū)域Pa?Pf的某一方接受被攝體光束。因此，無論哪個重復(fù)圖案110，視差量都是同等的。
[0069]在上述的例子中，說明了生成在左右方向上給予視差的視差圖像的情況，但當(dāng)然也可以生成在上下方向上給予視差的視差圖像，也可以生成在上下左右的二維方向上給予視差的視差圖像。圖7是表示二維的重復(fù)圖案110的例子的圖。根據(jù)圖7的例子，以縱向6個像素橫向6個像素這36個像素為一組光電轉(zhuǎn)換元件組來形成重復(fù)圖案110。準(zhǔn)備了作為開口部104相對于各個像素的位置而在上下左右方向上相互偏移的36種開口掩模103。具體而言，各開口部104以從重復(fù)圖案110的上端像素往下端像素從上側(cè)向下側(cè)逐漸偏移、同時從左端像素往右端像素從左側(cè)向右側(cè)逐漸偏移的方式確定位置。
[0070]具有這樣的重復(fù)圖案110的拍攝元件100能夠輸出在上下方向和左右方向上給予視差的36個視點(diǎn)的視差圖像。當(dāng)然不限于圖7的例子，也可以以輸出各種視點(diǎn)數(shù)的視差圖像的方式確定重復(fù)圖案110。
[0071]在以上的說明中，作為開口部104的形狀而采用了矩形。特別是，在橫向上給予視差的排列中，通過使沒有偏移的上下方向的寬度比作為偏移方向的左右方向的寬度大，確保了導(dǎo)向光電轉(zhuǎn)換元件108的光量。但是，開口部104的形狀并沒有限定于矩形。[0072]圖8是說明開口部104的另一形狀的圖。在圖中，將開口部104的形狀設(shè)為圓形。在圓形的情況下，根據(jù)與半球形狀的微透鏡101的相對的關(guān)系，能夠防止預(yù)定外的被攝體光束成為雜散光而入射到光電轉(zhuǎn)換元件108。
[0073]接著說明彩色濾光片102和視差圖像。圖9是說明拜耳陣列的圖。如圖所示，拜耳陣列是如下排列:將綠色濾光片分配給左上和右下這2個像素，將紅色濾光片分配給左下這I個像素，將藍(lán)色濾光片分配給右上這I個像素。在此，將被分配了綠色濾光片的左上的像素設(shè)為Gb像素，將同樣被分配了綠色濾光片的右下的像素設(shè)為Gr像素。另外，將被分配了紅色濾光片的像素設(shè)為R像素，將被分配了藍(lán)色濾光片的像素設(shè)為B像素。而且，將Gb像素和B像素排列的橫向設(shè)為Gb行，將R像素和Gr像素排列的橫向設(shè)為Gr行。另外，將Gb像素和R像素排列的縱向設(shè)為Gb列，將B像素和Gr像素排列的縱向設(shè)為Gr列。
[0074]對于這樣的彩色濾光片102的排列，通過將視差像素和無視差像素以什么樣的周期分配給什么顏色的像素，能夠設(shè)定龐大數(shù)量的重復(fù)圖案110。如果將無視差像素的輸出匯集，能夠與通常的攝影圖像同樣地生成無視差的攝影圖像數(shù)據(jù)。因此，如果相對地增加無視差像素的比例，則能夠輸出分辨率高的2D圖像。在該情況下，因為視差像素變?yōu)橄鄬ι俚谋壤宰鳛橛啥鄠€視差圖像構(gòu)成的3D圖像，畫質(zhì)降低。相反，如果增加視差像素的比例，作為3D圖像，畫質(zhì)提高，但因為無視差像素相對減少，所以會輸出分辨率低的2D圖像。
[0075]在這樣的二律背反的關(guān)系中，通過將哪個像素設(shè)為視差像素或設(shè)為無視差像素，來設(shè)定具有各種特征的重復(fù)圖案110。圖10是說明在視差像素的種類為2種的情況下的針對拜耳陣列的視差像素的分配的變形的圖。該情況的視差像素假設(shè)為開口部104相比于中心偏向左側(cè)的視差L像素和同樣地偏向右側(cè)的視差R像素。即，從這樣的視差像素輸出的2個視點(diǎn)的視差圖像實(shí)現(xiàn)所謂的立體感。
[0076]對各個重復(fù)圖案的特征性的說明如圖所示那樣。例如，如果較多地分配無視差像素則成為高分辨率的2D圖像數(shù)據(jù)，如果對RGB的任一像素都均等地配置，則成為色差小的高畫質(zhì)的2D圖像數(shù)據(jù)。在也利用視差像素的輸出來生成2D圖像數(shù)據(jù)的情況下，參照周邊像素的輸出來修正偏離的被攝體像。因此，即使例如全部R像素都為視差像素也能夠生成2D圖像，但其畫質(zhì)自然會降低。
[0077]另一方面，若較多地分配視差像素則成為高分辨率的3D圖像數(shù)據(jù)，如果對RGB的任一像素都均等地分配，則在為3D圖像的同時還成為色再現(xiàn)性好的高品質(zhì)的彩色圖像數(shù)據(jù)。在也利用無視差像素的輸出來生成3D圖像數(shù)據(jù)的情況下，根據(jù)無視差的被攝體像并參照周邊的視差像素的輸出來生成偏離的被攝體像。因此，即使例如全部R像素都為無視差像素也能夠生成3D圖像，但其畫質(zhì)自然會降低。
[0078]以下對幾個變形進(jìn)行說明。圖11是表示變形的一例的圖。圖11的變形與圖10中的重復(fù)圖案分類A-1相當(dāng)。
[0079]在圖示例子中，將同為拜耳陣列的4個像素設(shè)為重復(fù)圖案110。R像素和B像素為無視差像素，將Gb像素分配給視差L像素，將Gr像素分配給視差R像素。該情況下，同一重復(fù)圖案110所包含的視差L像素和視差R像素，以分別接受穿過光瞳上的互不相同的部分區(qū)域的被攝體光束的方式確定開口部104。
[0080]在圖示例子中，因為使用光敏度高的綠色像素即Gb像素和Gr像素作為視差像素，所以能夠期待獲得對比度高的視差圖像。另外，因為使用同樣作為綠色像素的Gb像素和Gr像素作為視差像素，所以容易從這2個輸出換算成無視差的輸出，輸出作為無視差像素的R像素和B像素，并且能夠生成高畫質(zhì)的2D圖像數(shù)據(jù)。
[0081]圖12是表示另一變形的一例的圖。圖12的變形與圖10中的重復(fù)圖案分類B— I相當(dāng)。
[0082]在圖示例子中，將拜耳陣列的4個像素左右連續(xù)2組得到的8個像素設(shè)為重復(fù)圖案110。8個像素中，對左側(cè)的Gb像素分配視差L像素，對右側(cè)的Gb像素分配視差R像素。在這樣的排列中，通過將Gr像素設(shè)為無視差像素，與圖10的例子相比，更加期望2D圖像的高畫質(zhì)化。
[0083]圖13是表示又一變形的一例的圖。圖13的變形與圖10中的重復(fù)圖案分類D_1相當(dāng)。
[0084]在圖示例子中，將拜耳陣列的4個像素左右連續(xù)2組得到的8個像素設(shè)為重復(fù)圖案110。8個像素中，對左側(cè)的Gb像素分配視差L像素，對右側(cè)的Gb像素分配視差R像素。進(jìn)而，對左側(cè)的R像素分配視差L像素，對右側(cè)的R像素分配視差R像素。進(jìn)而，對左側(cè)的B像素分配視差L像素，對右側(cè)的B像素分配視差R像素。對2個Gr像素分配無視差像素。
[0085]被分配給2個Gb像素的視差L像素和視差R像素，在捕捉存在于焦點(diǎn)面的被攝體時，接受從一個微小區(qū)域放射的光束。另外，被分配給2個R像素的視差L像素和視差R像素同樣接受從與Gb像素時不同的一個微小區(qū)域放射的光束，被分配給2個B像素的視差L像素和視差R像素同樣接受從與Gb像素及R像素時不同的一個微小區(qū)域放射的光束。因此，作為3D圖像的分辨率增加。而且，因為獲得了 RGB的3色的輸出，所以作為彩色圖像的3D圖像而獲得聞品質(zhì)。
[0086]此外，如果如上述那樣將視差像素的種類設(shè)為2種，則能獲得2個視點(diǎn)的視差圖像，但視差像素的種類當(dāng)然也可以與想要輸出的視差圖像數(shù)相符地采用圖3、圖7、圖8等所說明的各種數(shù)量。即使視點(diǎn)數(shù)增加，也能夠形成各種重復(fù)圖案110。因此，能夠選擇與規(guī)格、目的等相應(yīng)的重復(fù)圖案110。
[0087]在上述的例子中，對作為彩色濾光片排列而采用了拜耳陣列的情況進(jìn)行了說明，但當(dāng)然也可以為其他的彩色濾光片排列。如使用圖3等說明的那樣，在著眼于構(gòu)成彩色濾光片排列的某一顏色來進(jìn)行匯集的情況下，只要以形成以相鄰的多個像素為一組光電轉(zhuǎn)換元件組的重復(fù)圖案、并輸出視差圖像的方式分配視差像素即可。此時，構(gòu)成一組光電轉(zhuǎn)換元件組的視差像素各自可以包括具有面向互不相同的部分區(qū)域的開口部104的開口掩模103。
[0088]因此，拍攝元件100只要如下即可:具有將入射光光電轉(zhuǎn)換成電信號的二維排列的光電轉(zhuǎn)換元件108、與光電轉(zhuǎn)換元件108的至少一部分分別一一對應(yīng)地設(shè)置的開口掩模103、和與光電轉(zhuǎn)換元件108的至少一部分分別——對應(yīng)地設(shè)置的彩色濾光片102，對與相鄰的η個(η為3以上的整數(shù))光電轉(zhuǎn)換元件108中的至少3個對應(yīng)設(shè)置的各個開口掩模103的開口部104進(jìn)行定位，以使開口部104包含在由彩色濾光片圖案的一個圖案內(nèi)，并且使來自入射光的截面區(qū)域內(nèi)的互不相同的部分區(qū)域的光束分別穿過，以η個光電轉(zhuǎn)換元件108為一組的光電轉(zhuǎn)換元件組周期性地排列，所述彩色濾光片圖案由使互不相同的波段透過的至少2種彩色濾光片102構(gòu)成。
[0089]在此，對作為彩色圖像的視差圖像的生成和作為彩色圖像的2D圖像的生成進(jìn)行說明。圖14是表示視差圖像和2D圖像的生成過程的概念圖。在此，以使用圖13說明的重復(fù)圖案分類D-1為例進(jìn)行說明。如圖所示，將視差L像素的輸出在維持拍攝元件100上的相對的位置關(guān)系的同時進(jìn)行匯集，生成L圖像數(shù)據(jù)。一個重復(fù)圖案110所包含的視差L像素是在拜耳陣列的4個像素左右連續(xù)2組得到的8個像素中的左側(cè)的Gb像素、R像素、B像素。因此，在作為無視差像素的左側(cè)的Gr像素的位置插入Gb像素的輸出。
[0090]因為如此生成的L圖像數(shù)據(jù)是與拜耳陣列相當(dāng)?shù)膱D像信號排列而成的，所以能夠采用對拜耳陣列的輸出進(jìn)行的圖像處理來生成作為彩色圖像的L圖像數(shù)據(jù)。例如，能夠生成作為可視圖像形式的JPEG文件。但是，因為匯集了與一個重復(fù)圖案110中的左側(cè)的4個像素的位置相當(dāng)?shù)膱D像信號，所以與右側(cè)的4個像素對應(yīng)的圖像信號欠缺，所生成的圖像成為對實(shí)際的被攝體像在橫向上進(jìn)行了壓縮的圖像。因此，如使用圖5說明的那樣，L圖像數(shù)據(jù)在某一階段中被實(shí)施調(diào)整縱橫比的插值處理。
[0091]同樣，將視差R像素的輸出在維持拍攝元件100上的相對的位置關(guān)系的同時進(jìn)行匯集，生成R圖像數(shù)據(jù)。在R圖像數(shù)據(jù)的情況下，因為匯集了與一個重復(fù)圖案110中的右側(cè)的4個像素的位置相當(dāng)?shù)膱D像信號，所以與左側(cè)的4個像素對應(yīng)的圖像信號欠缺。因此，與L圖像數(shù)據(jù)同樣，R圖像數(shù)據(jù)在某一階段中被實(shí)施調(diào)整縱橫比的插值處理。
[0092]另外，將無視差像素的輸出在維持拍攝元件100上的相對的位置關(guān)系的同時進(jìn)行匯集，生成2D圖像數(shù)據(jù)。但是，在圖示例子中，一個重復(fù)圖案110中僅2個Gr像素為無視差像素。因此，利用插值處理及平均化處理來生成其他像素位置的無視差的輸出。具體而言，首先，Gb像素的輸出由相鄰的Gr像素的輸出來插入。另外，對于2個R像素的輸出而言，因為重復(fù)圖案110所包含的R像素分別為視差L像素和視差R像素，所以實(shí)施將它們的輸出平均化來當(dāng)作各自的無視差輸出的平均化處理。同樣，對于2個B像素的輸出而言，因為重復(fù)圖案110所包含的B像素分別為視差L像素和視差R像素，所以實(shí)施將它們的輸出平均化來當(dāng)作各自的無視差輸出的平均化處理。如此，如果實(shí)施插值處理及平均化處理，則能夠采用對拜耳陣列的輸出進(jìn)行的圖像處理來生成2D圖像數(shù)據(jù)。
[0093]此外，以上的圖像處理通過圖像處理部205來執(zhí)行。圖像處理部205經(jīng)由控制部201來受理從拍攝元件100輸出的圖像信號，如上述那樣按各個像素的輸出進(jìn)行分配來生成L圖像數(shù)據(jù)、R圖像數(shù)據(jù)以及2D圖像數(shù)據(jù)。
[0094]接著，對在視差圖像間產(chǎn)生的色平衡失調(diào)及其對策進(jìn)行說明。圖15是說明主光線相對于彩色濾光片的入射角的不同的圖。如上所述，視差像素的開口部104以面向設(shè)定于光瞳的特定的部分區(qū)域的方式確定其位置。
[0095]例如，在著眼于相對于光軸21在光軸外的具有大致相同像高的2個視差像素的情況下，一方的視差R像素中，面向部分區(qū)域PR地確定開口部104aK的位置，另一方的視差L像素中，面向部分區(qū)域匕地確定開口部104&的位置。此時，穿過部分區(qū)域Pk而朝向視差R像素的被攝體光束的主光線RaK相對于彩色濾光片102的入射角為0aK。另外，穿過部分區(qū)域而朝向視差L像素的被攝體光束的主光線相對于彩色濾光片102的入射角為Θ aLO
[0096]若將彩色濾光片102的厚度設(shè)為d，則主光線RaK穿過彩色濾光片102時的光路長為d / COS Θ aK，主光線Ri穿過彩色濾光片102時的光路長為d / COS Θ aLO也就是說，雖然是對應(yīng)的視差R像素和視差L像素，但對于彩色濾光片102的光路長卻不同。因為在對于彩色濾光片102的光路長不同時到達(dá)光電轉(zhuǎn)換元件108的光量產(chǎn)生差異，所以視差R像素和視差L像素雖然捕捉從被攝體的相同微小區(qū)域放射的光束，但各自的輸出值卻不同。SP，輸出不同的顏色信號。此外，在此，將穿過彩色濾光片102的光的物理長度作為光路長來說明。
[0097]圖16是表示視差圖像間的色平衡失調(diào)的概念的圖。雖然捕捉從被攝體的相同微小區(qū)域放射的光束，但視差R像素和視差L像素卻輸出互不相同的信號，此時例如作為被攝體的衣服300的顏色在R圖像和L圖像中不同。使用這樣的2個圖像實(shí)現(xiàn)的立體感影像會讓觀看者產(chǎn)生不適感。
[0098]另外，在R圖像及L圖像各自的面內(nèi)，存在發(fā)生色平衡失調(diào)的情況。返回到圖15，著眼于光軸附近的視差L像素和相對于光軸具有一定像高的上述的視差L像素。光軸附近的視差L像素中，也面向部分區(qū)域P1地確定開口部104&的位置，但穿過部分區(qū)域匕而朝向光軸附近的視差L像素的被攝體光束的主光線Rcl相對于彩色濾光片102的入射角為Θ cLO另一方面，如上所述，穿過部分區(qū)域^而朝向具有像高的視差L像素的被攝體光束的主光線RaL相對于彩色濾光片102的入射角為Θ aLO
[0099]如果彩色濾光片102的厚度都為d，主光線Rcl穿過彩色濾光片102時的光路長為d / cos θ Λ，主光線穿過彩色濾光片102時的光路長為d / cos Θ aLO也就是說，在光軸附近的視差L像素和具有像高的視差L像素中，對于彩色濾光片102的光路長不同。于是，即使在捕捉同一顏色的被攝體的情況下，各個視差L像素也會輸出不同的顏色信號。根據(jù)圖16的例子，相對于L圖像中的衣服300，即使實(shí)際上作為整體是同一顏色，在圖像中也會從中央附近向周邊部漸變而出現(xiàn)顏色不均。這樣的關(guān)系對于視差R像素而言也是同樣的，在R圖像中也出現(xiàn)與L圖像對應(yīng)的顏色不均。另外，結(jié)果是在L圖像和R圖像之間也不同。
[0100]也就是說，在拍攝元件100的像素構(gòu)造中，因為拍攝元件100的受光面中的光電轉(zhuǎn)換元件108的位置以及開口掩模103中的開口部104的偏位，可能發(fā)生色平衡失調(diào)。因此，在本實(shí)施方式中對該色平衡失 調(diào)進(jìn)行修正。
[0101]圖17是表示主光線相對于彩色濾光片102的入射角和透射率的關(guān)系的圖。橫軸表不主光線相對于彩色濾光片102的入射角Θ，縱軸表不作為入射前與射出后的光量之比即透射率。如圖所示，透射率Τ(θ)由以Θ = O為最大值的曲線來表示。具體而言，在將彩色濾光片102的吸光系數(shù)設(shè)為α、將厚度設(shè)為d的情況下，由Τ( Θ )=e(_° -d/cos0)來表示。
[0102]在本實(shí)施方式中，通過將由主光線以入射角Θ入射的被攝體光束實(shí)現(xiàn)的像素輸出換算成以O(shè)入射角入射時的像素輸出來進(jìn)行修正處理。具體而言，在實(shí)際檢測到的像素輸出為I ( Θ )的情況下，圖像處理部205針對各像素來執(zhí)行將修正后的像素輸出Ic ( 0 )換算成 Ic(0) = {T(O) / Τ(θ)}.Ι(θ)的修正運(yùn)算。
[0103]因為各視差像素的開口部104面向各自對應(yīng)的部分區(qū)域地確定其位置，所以主光線相對于彩色濾光片102的入射角在各個視差像素中是已知的。各個視差像素中的主光線的入射角被預(yù)先存儲在控制部201所內(nèi)置的系統(tǒng)存儲器內(nèi)。
[0104]通過執(zhí)行以上的修正處理，由拍攝元件100的受光面中的光電轉(zhuǎn)換元件108的位置引起的色平衡失調(diào)和由開口部104的偏位引起的色平衡失調(diào)都被修正，所以數(shù)字照相機(jī)10能夠輸出高品質(zhì)的彩色視差圖像數(shù)據(jù)。
[0105]此外，在上述的修正處理中，通過換算成以O(shè)入射角入射時的像素輸出而進(jìn)行了修正處理，但作為修正基準(zhǔn)的條件可以根據(jù)處理的目的來任意選擇。例如，如果主要想緩解由于雖然捕捉從被攝體的相同微小區(qū)域放射的光束但視差R像素和視差L像素卻輸出互不相同的信號而引起的色平衡失調(diào)，則可以進(jìn)行以一方的入射角為基準(zhǔn)來修正另一方的入射角的處理。即，存在僅修正由開口部104的偏位引起的色平衡失調(diào)的情況，而在該情況下，可以不對作為基準(zhǔn)的視差像素進(jìn)行修正運(yùn)算，因此運(yùn)算量為一半，能夠一并期待處理速度的提聞。
[0106]在以上的說明中，對作為某基準(zhǔn)的透鏡單元50安裝于主體單元30的情況進(jìn)行了說明。即，說明了攝影透鏡20的光瞳位置恒定、各個開口部104面向的部分區(qū)域也是被固定的區(qū)域的例子。對于最初的拍攝元件100的開口掩模103，假設(shè)安裝有作為這樣的基準(zhǔn)的透鏡單元50的情況，從而設(shè)置與各個光電轉(zhuǎn)換元件108對應(yīng)的開口部104。
[0107]因此，在將不是作為基準(zhǔn)的透鏡單元50的其他透鏡單元50安裝于主體單元30時，其光瞳位置有時與作為基準(zhǔn)的透鏡單元50的光瞳位置不同。另外，即使是在某狀態(tài)下光瞳位置與作為基準(zhǔn)的透鏡單元50的光瞳位置大致一致的透鏡單元50，也存在聚焦透鏡、變焦透鏡等光瞳位置隨著構(gòu)成透鏡的移動而變化的透鏡單元50。
[0108]如此，在與作為基準(zhǔn)的光瞳位置不同的位置上存在光瞳的情況下，在上述的修正處理中可以考慮光瞳位置的變化量。圖18是說明在安裝有光瞳位置與基準(zhǔn)位置不同的透鏡單元50的情況下的主光線的入射角的不同的圖。雖然離拍攝元件100的受光面的距離D0為作為基準(zhǔn)的透鏡單元50的光瞳位置，但在圖中假設(shè)安裝有距離D1為光瞳位置的透鏡單元50的情況。特別是該圖以也在圖15中著眼的光軸附近的視差L像素為例進(jìn)行放大表
/Jn ο
[0109]在雖然該光軸附近的視差L像素中，以面向部分區(qū)域&地確定開口部104eI的位置，但安裝有光瞳位置為距離D1的透鏡單元50的情況下，主要接受從該光瞳中的部分區(qū)域Pi ^射出的主光線V &的光束。因此，主光線V &以與來自部分區(qū)域1\的主光線Rcl不同的角度入射到彩色濾光片102.。如圖所示將該入射角由Θ' &來表示。
[0110]在此，作為基準(zhǔn)的透鏡單元50的光瞳位置Dtl是已知的，入射角Θ I表示為Dtl的函數(shù)。因此，如果能夠檢測所安裝的透鏡單元50的光瞳位置D1,就能夠應(yīng)用該函數(shù)來算出入射角Θ' cLO如果算出入射角Θ' &就能夠如上述那樣換算成以O(shè)入射角入射時的像素輸出。
[0111]控制部201使用從透鏡控制部231接受的透鏡信息來決定所安裝的透鏡單元50的光瞳位置即距離Dp例如，在透鏡單元50的光瞳位置與聚焦透鏡等的透鏡移動無關(guān)而恒定的情況下，控制部201作為透鏡信息而接收透鏡存儲器232所存儲的該光瞳位置，將該光瞳位置決定為距離Dp另外，控制部201在取得視差圖像數(shù)據(jù)取得時的對焦信息的情況下，算出聚焦透鏡位置的變位來決定距離Dp
[0112]如上所述，即使在所安裝的透鏡單元50的光瞳位置與作為基準(zhǔn)的光瞳位置不同的情況下，也能夠修正色平衡失調(diào)。此外，在上述中例示了光軸附近的視差L像素，但在具有像高的視差L像素中也同樣地能夠吸收主光線的入射角的不同。當(dāng)然，因為視差R像素中的主光線的入射角的不同與上述的視差L像素的情況是同樣的，對于R圖像數(shù)據(jù)也能夠同樣地實(shí)施修正處理。
[0113]對色平衡失調(diào)產(chǎn)生影響的參數(shù)也可能存在其他參數(shù)。例如，因為透鏡玻璃材料的特性，導(dǎo)致在透過光瞳的光軸附近的光束和透過周邊部的光束中，有時存在透過時的衰減取決于波長的波長依賴性。在本實(shí)施方式中，因為以接受透過特定的部分區(qū)域的光束的方式設(shè)定視差像素，所以這樣的波長依賴性可能成為色平衡失調(diào)的原因。因此，在這樣的情況下，可以將預(yù)先實(shí)驗?zāi)M取得的按相對于攝影透鏡20的光瞳的徑向的波長的透射率信息作為查找表而存儲在透鏡存儲器232中。控制部201能夠從透鏡控制部231中取得該查找表作為透鏡信息并應(yīng)用于修正處理。
[0114]另外，控制部201也可以作為透鏡信息而取得視差圖像數(shù)據(jù)取得時的光圈信息并應(yīng)用于修正處理。在本實(shí)施方式中，因為以接受穿過特定的部分區(qū)域的光束的方式設(shè)定視差像素，所以根據(jù)光圈值而有時特定的部分區(qū)域被光圈遮擋。因此，圖像處理部205根據(jù)從控制部201接收的光圈信息考慮被光圈遮擋的遮光區(qū)域，算出變化的主光線相對于彩色濾光片102的入射角。如果算出變化的主光線的入射角，則能夠按上述那樣執(zhí)行修正處理。
[0115]在上述的說明中，在視差圖像數(shù)據(jù)間執(zhí)行了修正處理。但是，因為根據(jù)從拍攝元件100輸出的圖像信號也算出了捕捉同一被攝體的2D圖像數(shù)據(jù)，所以在修正處理中也可以參照2D圖像數(shù)據(jù)。例如，在視差圖像數(shù)據(jù)中特定像素的輸出與周邊像素的輸出相差閾值以上的情況下，圖像處理部205參照2D圖像數(shù)據(jù)來判斷該輸出是被攝體像的正確輸出還是因噪聲的影響導(dǎo)致的輸出。具體而言，對視差圖像數(shù)據(jù)和2D圖像數(shù)據(jù)進(jìn)行匹配處理來確定對應(yīng)的像素，算出各個像素與周邊像素具有多少差異。然后，如果該差異為預(yù)先設(shè)定的閾值以上，則判斷為特定像素的輸出異常。被判斷為異常的特定像素的輸出例如被替換成比較后的2D圖像數(shù)據(jù)的像素輸出。
[0116]接著，對修正處理的流程進(jìn)行說明。圖19是表示修正色平衡失調(diào)的處理流程的圖。流程例如從結(jié)束曝光動作而拍攝元件100輸出圖像信號的時刻開始。
[0117]在步驟SlOl中，圖像處理部205取得L圖像數(shù)據(jù)、R圖像數(shù)據(jù)以及2D圖像數(shù)據(jù)。此外，圖像處理部205在取得這些圖像數(shù)據(jù)時，可以通過受理從拍攝元件100輸出的圖像信號并按像素的輸出對3個圖像數(shù)據(jù)進(jìn)行分配生成來取得，也可以通過讀取存儲在存儲卡220中的這些圖像數(shù)據(jù)來取得。
[0118]進(jìn)入步驟S102，控制部201經(jīng)由透鏡控制部231取得存儲在透鏡存儲器232中的透鏡信息。在從存儲卡220中讀取了拍攝完的圖像數(shù)據(jù)的情況下，能夠從文件的報頭信息取得透鏡信息。此外，在從存儲卡220中讀取拍攝完的圖像數(shù)據(jù)的情況下，因為也假設(shè)為利用其他數(shù)字照相機(jī)10拍攝的圖像數(shù)據(jù)的情況，所以同樣地從報頭信息取得拍攝元件信息。拍攝元件信息是拍攝元件100的信息，包含上述的像素排列信息、各視差像素中的主光線相對于作為基準(zhǔn)的透鏡單元50的入射角信息。
[0119]圖像處理部205在步驟S103中執(zhí)行通過上述的方法來這些修正L圖像數(shù)據(jù)的像素值的修正處理。然后在步驟S104中實(shí)施匹配處理并參照2D圖像數(shù)據(jù)。具體而言，如上所述，比較L圖像數(shù)據(jù)的像素與2D圖像數(shù)據(jù)的對應(yīng)像素。其結(jié)果，在步驟S105中判斷為是異常輸出的情況下，進(jìn)入步驟S106，執(zhí)行由2D圖像數(shù)據(jù)的對應(yīng)像素輸出進(jìn)行替換的修正處理。在步驟S105中判斷為不是異常輸出的情況下以及在步驟S106中結(jié)束了修正處理的情況下，進(jìn)入步驟S107，控制部201判斷是否沒有剩余應(yīng)處理的視差圖像數(shù)據(jù)。在該情況下，因為R圖像數(shù)據(jù)還未處理，所以返回到步驟S103來執(zhí)行R圖像數(shù)據(jù)的處理。在所有的視差圖像數(shù)據(jù)的處理結(jié)束之后結(jié)束一系列的處理。此外，步驟S105的判斷處理在L圖像數(shù)據(jù)、R圖像數(shù)據(jù)以及2D圖像數(shù)據(jù)的各圖像數(shù)據(jù)中實(shí)施輪廓提取來進(jìn)行區(qū)域劃分，只要是同一區(qū)域內(nèi)的像素的修正處理，可以修正因顏色、透射率的修正導(dǎo)致的亮度的變化。在該情況下，只要同一區(qū)域內(nèi)的類似性不發(fā)生矛盾就可以判斷為是正常輸出。
[0120]在以上的實(shí)施方式中，圖9之后說明的對L圖像數(shù)據(jù)和R圖像數(shù)據(jù)的處理，當(dāng)然也能夠應(yīng)用于在前半部分說明的多視差圖像數(shù)據(jù)。例如，在輸出圖7及圖8所示那樣的在縱向上也給予視差的視差圖像數(shù)據(jù)的情況下，只要是不僅將主光線相對于彩色濾光片102的入射角在X方向上換算成O而在y方向上也換算成O即可。當(dāng)然，即使在僅生成在橫向上給予視差的視差圖像數(shù)據(jù)的情況下，也可以添加在y方向上換算成O的處理。
[0121]另外，在上述實(shí)施方式中，以數(shù)字照相機(jī)10為例進(jìn)行了說明，色平衡失調(diào)的修正處理并不限于攝影時，也可以在攝影后讀取各個圖像數(shù)據(jù)來執(zhí)行該修正處理，因此可以在例如PC等設(shè)備中進(jìn)行處理。在該情況下，取代作為拍攝裝置的數(shù)字照相機(jī)10，PC作為圖像處理裝置發(fā)揮作用。
[0122]以上，使用實(shí)施方式說明了本發(fā)明，但本發(fā)明的技術(shù)范圍并不限定于上述實(shí)施方式所記載的范圍。能夠?qū)ι鲜鰧?shí)施方式進(jìn)行各種變更或改良對本領(lǐng)域技術(shù)人員來說是清楚的。進(jìn)行了這樣的變更或改良的形態(tài)也能夠包含在本發(fā)明的技術(shù)范圍內(nèi)，從權(quán)利要求書的記載來看是清楚的。
[0123]在權(quán)利要求書、說明書以及附圖中示出的裝置、系統(tǒng)、程序以及方法中的動作、順序、步驟以及階段等各處理的執(zhí)行順序，只要沒有特別明示“比?前”、“先于”等也沒有將前一處理的輸出在后一處理中使用，就應(yīng)該注意能夠以任意的順序來實(shí)現(xiàn)。關(guān)于專利要求書、說明書以及附圖中的動作流程，即使為了方便而使用“首先，”、“接著，”等進(jìn)行了說明，也并不意味著必須按照該順序來實(shí)施。
[0124]附圖標(biāo)記的說明
[0125]10數(shù)字照相機(jī)，20攝影透鏡，21光軸，30主體單元，50透鏡單元，90、91被攝體，100拍攝元件，10微透鏡，102彩色濾光片，103開口掩模，104開口部，105布線層，106布線，107開口，108光電轉(zhuǎn)換元件，109基板，110重復(fù)圖案，201控制部，202A / D轉(zhuǎn)換電路，203存儲器，204驅(qū)動部，205圖像處理部，207存儲卡IF，208操作部，209顯示單元，210IXD驅(qū)動電路，21IAF傳感器，220存儲卡，231透鏡控制部，232透鏡存儲器，300衣服
【權(quán)利要求】
1.一種圖像處理裝置，具有: 圖像數(shù)據(jù)取得部，其從拍攝元件取得視差圖像數(shù)據(jù)，所述拍攝元件與至少一部分光電轉(zhuǎn)換元件分別對應(yīng)地具有彩色濾光片和開口掩模，輸出至少2個所述視差圖像數(shù)據(jù)；和修正部，其基于所述拍攝元件中的所述光電轉(zhuǎn)換元件的位置和所述開口掩模的開口偏位的至少一方，修正在所述視差圖像數(shù)據(jù)間所產(chǎn)生的對應(yīng)像素的色平衡失調(diào)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 具有取得所述視差圖像數(shù)據(jù)取得時的攝影透鏡的透鏡信息的透鏡信息取得部， 所述修正部考慮所述透鏡信息來修正所述色平衡失調(diào)。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中， 所述透鏡信息包含所述攝影透鏡的光瞳位置信息。
4.根據(jù)權(quán)利要求2或3所述的圖像處理裝置，其中， 所述透鏡信息包含所述視差圖像數(shù)據(jù)取得時的光圈信息。
5.根據(jù)權(quán)利要求2?4中任一項所述的圖像處理裝置，其中， 所述透鏡信息包含對于所述攝影透鏡的光瞳的徑向的透射率信息。
6.根據(jù)權(quán)利要求1?5中任一項所述的圖像處理裝置，其中， 具有取得所述視差圖像數(shù)據(jù)取得時的對焦信息的對焦信息取得部， 所述修正部考慮所述對焦信息來修正所述色平衡失調(diào)。
7.根據(jù)權(quán)利要求1?6中任一項所述的圖像處理裝置，其中， 所述圖像數(shù)據(jù)取得部取得與所述視差圖像數(shù)據(jù)一起從所述拍攝元件輸出的非視差圖像數(shù)據(jù)， 所述修正部參照所述非視差圖像數(shù)據(jù)的對應(yīng)像素來修正所述色平衡失調(diào)。
8.一種拍攝裝置，包含所述拍攝元件和權(quán)利要求1?7中任一項所述的圖像處理裝置， 對與相鄰的η個所述光電轉(zhuǎn)換元件中的至少3個所述光電轉(zhuǎn)換元件對應(yīng)設(shè)置的各所述開口掩模的開口進(jìn)行定位，以使該開口包含在彩色濾光片圖案的一個圖案內(nèi)，并且使來自所述入射光的截面區(qū)域內(nèi)的互不相同的部分區(qū)域的光束分別穿過，以所述η個所述光電轉(zhuǎn)換元件為一組的光電轉(zhuǎn)換元件組周期性地排列，其中，所述彩色濾光片圖案包含使互不相同的波段透過的至少2種所述彩色濾光片，η為3以上的整數(shù)， 所述拍攝裝置基于設(shè)有所述開口掩模的所述光電轉(zhuǎn)換元件的輸出信號來輸出所述視差圖像數(shù)據(jù)。
9.一種圖像處理程序，使計算機(jī)執(zhí)行如下步驟: 圖像數(shù)據(jù)取得步驟，從拍攝元件取得視差圖像數(shù)據(jù)，所述拍攝元件與至少一部分光電轉(zhuǎn)換元件分別對應(yīng)地具有彩色濾光片和開口掩模，輸出至少2個所述視差圖像數(shù)據(jù)；和修正步驟，基于所述拍攝元件中的所述光電轉(zhuǎn)換元件的位置和所述開口掩模的開口偏位的至少一方，修正在所述視差圖像數(shù)據(jù)間所產(chǎn)生的對應(yīng)像素的色平衡失調(diào)。
【文檔編號】H04N15/00GK103430094SQ201280012222
【公開日】2013年12月4日 申請日期:2012年3月12日 優(yōu)先權(quán)日:2011年3月30日
【發(fā)明者】森晉, 浜島宗樹, 芝崎清茂 申請人:株式會社尼康