攝像裝置、攝像裝置的控制方法及控制程序的制作方法
【專(zhuān)利摘要】攝像裝置(10)具備:攝像元件(14),包含沿第1方向及第2方向排列的多個(gè)光電轉(zhuǎn)換元件;濾色器,重復(fù)配置有基本排列圖案,所述基本排列圖案將最有助于獲得亮度信號(hào)的第1色所對(duì)應(yīng)的第1濾光片和第2色所對(duì)應(yīng)的第2濾光片以預(yù)先規(guī)定的圖案進(jìn)行配置;驅(qū)動(dòng)部(22),驅(qū)動(dòng)攝像元件(14),使得:以從攝像元件(14)讀出的像素的排列成為與表示攝像元件(14)的全部像素的排列的第1排列不同的第2排列的方式,讀出沿第1方向及第2方向中的至少一個(gè)方向以設(shè)定的周期進(jìn)行配置的像素的像素?cái)?shù)據(jù);及混色修正單元(20),基于與在第1排列上和混色修正的對(duì)象像素相鄰的相鄰像素同色、且在第1排列上距相鄰像素的距離最短的像素的像素?cái)?shù)據(jù),來(lái)修正對(duì)象像素的像素?cái)?shù)據(jù)。
【專(zhuān)利說(shuō)明】攝像裝置、攝像裝置的控制方法及控制程序
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及攝像裝置、攝像裝置的控制方法及控制程序,尤其是涉及具備彩色攝像元件的攝像裝置、攝像裝置的控制方法及控制程序。
【背景技術(shù)】
[0002]在彩色攝像元件中廣泛采用的顏色排列即原色系拜耳排列(例如參照專(zhuān)利文獻(xiàn)I?3)將人眼比較敏感且最有助于獲得亮度信號(hào)的綠(G)像素配置成雙色相間方格狀,并將紅(R)、藍(lán)(B)按照線序配置。
[0003]專(zhuān)利文獻(xiàn)1:日本特開(kāi)2002-135793號(hào)公報(bào)
[0004]專(zhuān)利文獻(xiàn)2:日本專(zhuān)利第3960965號(hào)公報(bào)
[0005]專(zhuān)利文獻(xiàn)3:日本特開(kāi)2004-266369號(hào)公報(bào)
【發(fā)明內(nèi)容】
[0006]然而,在使用了彩色攝像元件的攝影中,由于從相鄰的像素泄漏的光的影響,有時(shí)會(huì)發(fā)生混色。這樣的情況下,通常預(yù)先測(cè)定由于從相鄰的像素泄漏的光的影響而產(chǎn)生的混色率,并基于該混色率對(duì)各像素的像素?cái)?shù)據(jù)進(jìn)行修正。
[0007]在以往的采用了拜耳排列的彩色攝像元件中,例如為了生成動(dòng)畫(huà)用的圖像數(shù)據(jù),在垂直方向上按照每三個(gè)像素中讀出一行的圖像數(shù)據(jù)(垂直方向1/3間拔)并且在水平方向上按照每三個(gè)像素中讀出一個(gè)像素的像素?cái)?shù)據(jù)(水平方向1/3間拔)時(shí),間拔讀出的圖像也成為與原來(lái)的圖像相同的拜耳排列。因此,與進(jìn)行混色修正的對(duì)象像素相鄰的像素的顏色在間拔前與間拔后相同,只要直接使用間拔后的圖像中的相鄰的像素的像素值來(lái)進(jìn)行混色修正即可。
[0008]然而,在使用重復(fù)的最小單位即基本排列圖案的尺寸比拜耳排列大的例如具有6X6像素的基本排列圖案的濾色器的情況下,在沿垂直方向及水平方向均進(jìn)行1/2間拔或1/3間拔時(shí),間拔后的圖像有時(shí)會(huì)成為與間拔前的圖像的基本排列圖案不同的排列。這種情況下,與混色修正的對(duì)象像素相鄰的像素的顏色不同于間拔前相鄰的像素的顏色,因此當(dāng)直接使用間拔后的圖像中相鄰的像素的像素值進(jìn)行混色修正時(shí),存在混色修正的精度變差的問(wèn)題。
[0009]本發(fā)明為了解決上述問(wèn)題而作出,目的在于提供一種能夠高精度地進(jìn)行混色修正的攝像裝置、攝像裝置的控制方法及控制程序。
[0010]為了解決上述問(wèn)題,本發(fā)明的攝像裝置的特征在于,具備:攝像元件,包含沿預(yù)先規(guī)定的第I方向及與所述第I方向交叉的第2方向排列的多個(gè)光電轉(zhuǎn)換元件;濾色器,設(shè)置在由所述多個(gè)光電轉(zhuǎn)換元件構(gòu)成的多個(gè)像素上,重復(fù)配置有基本排列圖案,所述基本排列圖案將最有助于獲得亮度信號(hào)的第I色所對(duì)應(yīng)的第I濾光片和除所述第I色以外的兩種顏色以上的第2色所對(duì)應(yīng)的第2濾光片以預(yù)先規(guī)定的圖案進(jìn)行配置;驅(qū)動(dòng)單元,驅(qū)動(dòng)所述攝像元件,使得:以從所述攝像元件讀出的像素的排列成為與表示所述攝像元件的全部像素的排列的第I排列不同的第2排列的方式,讀出沿所述第I方向及所述第2方向中的至少一個(gè)方向以設(shè)定的周期進(jìn)行配置的像素的像素?cái)?shù)據(jù);及混色修正單元,對(duì)于以所述設(shè)定的周期進(jìn)行配置的像素的像素?cái)?shù)據(jù)分別進(jìn)行混色修正,基于與在所述第I排列上和混色修正的對(duì)象像素相鄰的相鄰像素同色、且在所述第I排列上距所述相鄰像素的距離最短的像素的像素?cái)?shù)據(jù),來(lái)修正所述對(duì)象像素的像素?cái)?shù)據(jù)。
[0011]根據(jù)本發(fā)明,基于與在第I排列上和混色修正的對(duì)象像素相鄰的相鄰像素同色、且在第I排列上距相鄰像素的距離最短的像素的像素?cái)?shù)據(jù),來(lái)修正對(duì)象像素的像素?cái)?shù)據(jù),因此能夠高精度地進(jìn)行混色修正。
[0012]此外,可以是,在濾色器內(nèi),在第I方向、第2方向、與第I方向及第2方向交叉的第3方向上的各行內(nèi)配置一個(gè)以上的第一濾光片,在基本排列圖案內(nèi),在第I方向及第2方向上的各行內(nèi)分別配置一個(gè)以上的第二色的各種顏色所對(duì)應(yīng)的第二濾光片。
[0013]根據(jù)本發(fā)明,在濾色器內(nèi),在第I方向?第3方向上的各行內(nèi)配置最有助于獲得亮度信號(hào)的第一色所對(duì)應(yīng)的第一濾光片,因此能夠提高高頻區(qū)域的同時(shí)化處理的重現(xiàn)精度。而且,關(guān)于除第I色以外的兩種顏色以上的第2色所對(duì)應(yīng)的第2濾光片,在基本排列圖案內(nèi),在第I方向及第2方向上的各行內(nèi)配置一個(gè)以上,因此能夠減少彩色莫爾條紋(偽色)的發(fā)生而實(shí)現(xiàn)高分辨率化。
[0014]另外,可以是,濾色器是最有助于獲得亮度信號(hào)的第I色所對(duì)應(yīng)的第I濾光片和除第I色以外的兩種顏色以上的第2色所對(duì)應(yīng)的第2濾光片以沿第I方向及第2方向以(NXM)像素(N、M:3以上的整數(shù))的預(yù)先規(guī)定的圖案進(jìn)行配置的基本排列圖案重復(fù)配置而成的濾色器。
[0015]另外,可以是,濾色器包含由第I濾光片構(gòu)成的對(duì)應(yīng)于2X2像素的正方排列。
[0016]根據(jù)本發(fā)明,能夠基于與2X2像素對(duì)應(yīng)的正方排列的四個(gè)像素的各像素間的像素值的差量值而以最小像素間隔來(lái)判定亮度的相關(guān)方向?yàn)樗膫€(gè)方向中的哪一方向。
[0017]另外,可以是,第I色是綠(G)色,第2色是紅(R)色及藍(lán)⑶色。
[0018]另外,可以是,濾色器具有與紅(R)、綠(G)、藍(lán)⑶的顏色對(duì)應(yīng)的R濾光片、G濾光片及B濾光片,并且,濾色器將第I排列和第2排列交替地沿第I方向及第2方向排列而構(gòu)成,該第I排列對(duì)應(yīng)于3 X 3像素,在中心和四角配置G濾光片,隔著中心的G濾光片而在上下配置B濾光片,隔著中心的G濾光片而在左右排列有R濾光片,該第2排列對(duì)應(yīng)于3X3像素,在中心和四角配置G濾光片,隔著中心的G濾光片而在上下配置R濾光片,隔著中心的G濾光片在左右排列有B濾光片。
[0019]根據(jù)本發(fā)明,以第I排列或第2排列為中心而提取出5X5像素(馬賽克圖像的局部區(qū)域)時(shí),在5X5像素的四角存在2X2像素的G像素。這些2X2像素的G像素的像素值能夠在四個(gè)方向的相關(guān)方向的判定中使用。
[0020]另外,可以是,濾色器具有與紅(R)、綠(G)、藍(lán)⑶的顏色對(duì)應(yīng)的R濾光片、G濾光片及B濾光片,并且,濾色器將第I排列和第2排列交替地沿第I方向及第2方向排列而構(gòu)成,該第I排列對(duì)應(yīng)于3X3像素,在中心配置R濾光片,在四角配置B濾光片,隔著中心的R濾光片而在上下左右配置G濾光片,該第2排列對(duì)應(yīng)于3X3像素,在中心配置B濾光片,在四角配置R濾光片,隔著中心的B濾光片而在上下左右配置G濾光片。
[0021]根據(jù)本發(fā)明,在以第I排列或第2排列為中心而提取出5X5像素(馬賽克圖像的局部區(qū)域)時(shí),隔著5X5像素的中心的像素(R像素或B像素)存在沿水平及垂直方向分別相鄰的G像素。上述的G像素(總計(jì)八個(gè)像素)的像素值能夠在四個(gè)方向的相關(guān)方向的判定中使用。
[0022]此外,可以是,當(dāng)存在多個(gè)距離最短的像素的情況下,混色修正單元基于這多個(gè)像素的任一像素的像素?cái)?shù)據(jù)來(lái)修正對(duì)象像素的像素?cái)?shù)據(jù)。
[0023]另外,可以是,當(dāng)存在多個(gè)距離最短的像素的情況下,混色修正單元基于這多個(gè)像素的像素?cái)?shù)據(jù)的平均值來(lái)修正對(duì)象像素的像素?cái)?shù)據(jù)。
[0024]另外,周期優(yōu)選為三個(gè)像素以下的周期。
[0025]另外,可以是,具備切換周期的切換單元。
[0026]本發(fā)明的攝像裝置的控制方法中,攝像裝置具備:攝像元件,包含沿預(yù)先規(guī)定的第I方向及與第I方向交叉的第2方向排列的多個(gè)光電轉(zhuǎn)換元件;及濾色器,設(shè)置在由多個(gè)光電轉(zhuǎn)換元件構(gòu)成的多個(gè)像素上,重復(fù)配置有基本排列圖案,所述基本排列圖案將最有助于獲得亮度信號(hào)的第I色所對(duì)應(yīng)的第I濾光片和除第I色以外的兩種顏色以上的第2色所對(duì)應(yīng)的第2濾光片以預(yù)先規(guī)定的圖案進(jìn)行配置,所述攝像裝置的控制方法的特征在于,驅(qū)動(dòng)攝像元件,使得:以從攝像元件讀出的像素的排列成為與表示攝像元件的全部像素的排列的第I排列不同的第2排列的方式讀出沿第I方向及第2方向中的至少一個(gè)方向以設(shè)定的周期進(jìn)行配置的像素的像素?cái)?shù)據(jù),對(duì)于以設(shè)定的周期進(jìn)行配置的像素的像素?cái)?shù)據(jù)分別進(jìn)行混色修正的混色修正處理,基于與在第I排列上和混色修正的對(duì)象像素相鄰的相鄰像素同色、且在第I排列上距相鄰像素的距離最短的像素的像素?cái)?shù)據(jù),來(lái)修正對(duì)象像素的像素?cái)?shù)據(jù)。
[0027]本發(fā)明的控制程序的特征在于,用于使控制攝像裝置的計(jì)算機(jī)執(zhí)行處理,上述攝像裝置具備:攝像元件,包含沿預(yù)先規(guī)定的第I方向及與第I方向交叉的第2方向排列的多個(gè)光電轉(zhuǎn)換元件;濾色器,設(shè)置在由多個(gè)光電轉(zhuǎn)換元件構(gòu)成的多個(gè)像素上,重復(fù)配置有基本排列圖案,所述基本排列圖案將最有助于獲得亮度信號(hào)的第I色所對(duì)應(yīng)的第I濾光片和除第I色以外的兩種顏色以上的第2色所對(duì)應(yīng)的第2濾光片以預(yù)先規(guī)定的圖案進(jìn)行配置,上述處理包括如下步驟:驅(qū)動(dòng)攝像元件,使得:以從攝像元件讀出的像素的排列成為與表示攝像元件的全部像素的排列的第I排列不同的第2排列的方式,讀出沿第I方向及第2方向中的至少一個(gè)方向以設(shè)定的周期進(jìn)行配置的像素的像素?cái)?shù)據(jù);對(duì)于以設(shè)定的周期進(jìn)行配置的像素的像素?cái)?shù)據(jù)分別進(jìn)行混色修正的混色修正處理,基于與在第I排列上和混色修正的對(duì)象像素相鄰的相鄰像素同色、且在第I排列上距相鄰像素的距離最短的像素的像素?cái)?shù)據(jù),來(lái)修正對(duì)象像素的像素?cái)?shù)據(jù)的步驟。
[0028]本發(fā)明的控制程序的特征在于,用于使計(jì)算機(jī)執(zhí)行處理,攝像元件包括:多個(gè)光電轉(zhuǎn)換元件,沿預(yù)先規(guī)定的第I方向及與第I方向交叉的第2方向排列;及濾色器,設(shè)置在由多個(gè)光電轉(zhuǎn)換元件構(gòu)成的多個(gè)像素上,重復(fù)配置有基本排列圖案,上述基本排列圖案將最有助于獲得亮度信號(hào)的第I色所對(duì)應(yīng)的第I濾光片和除第I色以外的兩種顏色以上的第2色所對(duì)應(yīng)的第2濾光片以預(yù)先規(guī)定的圖案進(jìn)行配置,上述處理包括:以從攝像元件讀出的像素的排列成為與表示攝像元件的全部像素的排列的第I排列不同的第2排列的方式,讀出沿第I方向及第2方向中的至少一個(gè)方向以設(shè)定的周期進(jìn)行配置的像素的像素?cái)?shù)據(jù),對(duì)于所讀出的像素的像素?cái)?shù)據(jù)分別進(jìn)行混色修正的混色修正處理,基于與在第I排列上和混色修正的對(duì)象像素相鄰的相鄰像素同色、且在第I排列上距相鄰像素的距離最短的像素的像素?cái)?shù)據(jù),來(lái)修正對(duì)象像素的像素?cái)?shù)據(jù)的步驟。
[0029]發(fā)明效果
[0030]根據(jù)本發(fā)明,具有能夠高精度地進(jìn)行混色修正的效果。
【專(zhuān)利附圖】
【附圖說(shuō)明】
[0031]圖1是第I實(shí)施方式的攝像裝置的概略框圖。
[0032]圖2是第I實(shí)施方式的濾色器的結(jié)構(gòu)圖。
[0033]圖3是表示第I實(shí)施方式的濾色器所包含的基本排列圖案的圖。
[0034]圖4是表示將第I實(shí)施方式的濾色器所包含的6X6像素的基本排列圖案分割成3X3像素的A排列和B排列、并將它們沿水平及垂直方向重復(fù)配置而成的濾色器的圖。
[0035]圖5是表示第3實(shí)施方式的濾色器的G像素的特征性的配置的圖。
[0036]圖6是表示由控制部執(zhí)行的處理的流程圖。
[0037]圖7是用于說(shuō)明沿垂直方向及水平方向均以1/2間拔讀出的情況的圖。
[0038]圖8是用于說(shuō)明混色修正處理的圖。
[0039]圖9是用于說(shuō)明混色修正處理的圖。
[0040]圖10是用于說(shuō)明混色修正處理的圖。
[0041]圖11是用于說(shuō)明混色修正處理的圖。
[0042]圖12是用于說(shuō)明混色修正處理的圖。
[0043]圖13是用于說(shuō)明混色修正處理的圖。
[0044]圖14是用于說(shuō)明混色修正處理的圖。
[0045]圖15是用于說(shuō)明混色修正處理的圖。
[0046]圖16是用于說(shuō)明混色修正處理的圖。
[0047]圖17是用于說(shuō)明混色修正處理的圖。
[0048]圖18是第2實(shí)施方式的濾色器的結(jié)構(gòu)圖。
[0049]圖19是表示第2實(shí)施方式的濾色器所包含的基本排列圖案的圖。
[0050]圖20A是表示將第2實(shí)施方式的濾色器所包含的6X6像素的基本排列圖案分割成3X3像素的A排列和B排列、并將它們沿水平及垂直方向重復(fù)配置而成的濾色器的圖。
[0051]圖20B是表示第2實(shí)施方式的濾色器的G像素的特征性的配置的圖。
[0052]圖21是用于說(shuō)明第2實(shí)施方式的間拔后的圖像的圖。
[0053]圖22是表示濾色器的變形例的圖。
[0054]圖23是表示濾色器的變形例的圖。
[0055]圖24是表示濾色器的變形例的圖。
[0056]圖25是表示濾色器的變形例的圖。
[0057]圖26是表示濾色器的變形例的圖。
[0058]圖27是表示濾色器的變形例的圖。
[0059]圖28是表示濾色器的變形例的圖。
[0060]圖29是表示濾色器的變形例的圖?!揪唧w實(shí)施方式】
[0061 ] 以下,參照附圖,說(shuō)明本發(fā)明的實(shí)施方式。
[0062](第I實(shí)施方式)
[0063]圖1示出了本實(shí)施方式的攝像裝置10的概略框圖。攝像裝置10構(gòu)成為,包括光學(xué)系統(tǒng)12、攝像元件14、攝像處理部16、圖像處理部20、驅(qū)動(dòng)部22及控制部24。
[0064]光學(xué)系統(tǒng)12構(gòu)成為,包括例如由多個(gè)光學(xué)透鏡構(gòu)成的透鏡組、光圈調(diào)整機(jī)構(gòu)、變焦機(jī)構(gòu)及自動(dòng)調(diào)焦機(jī)構(gòu)等。
[0065]攝像元件14是在包括沿水平方向及垂直方向排列的多個(gè)光電轉(zhuǎn)換元件在內(nèi)的攝像兀件例如 CCD (Charge Coupled Device)或 CMOS (Complementary Metal OxideSemiconductor)等攝像元件上配置有濾色器的結(jié)構(gòu)的所謂單板式的攝像元件。
[0066]圖2示出本實(shí)施方式的濾色器的一部分。在各像素上配置紅(R)、綠(G)、藍(lán)(B)這三原色的濾色器中的任一個(gè)。
[0067]〈濾色器排列的特征〉
[0068]第I實(shí)施方式的濾色器具有下述的特征(I)?(6)。
[0069]〔特征⑴〕
[0070]濾色器排列成為將基本排列圖案重復(fù)配置的結(jié)構(gòu),該基本排列圖案是將紅(R)、綠(G)、藍(lán)(B)這三原色的濾光片濾光片沿著垂直方向及水平方向以(NXM)像素(N、M:3以上的整數(shù))的預(yù)先規(guī)定的圖案進(jìn)行配置、且將綠(G)的濾光片與紅(R)及藍(lán)(B)中的至少一個(gè)顏色的濾光片沿著垂直方向及水平方向配置而成的基本排列圖案。
[0071]作為本實(shí)施方式的圖2所示的濾色器的一例,包含由對(duì)應(yīng)于6X6像素(N = M =6)的正方排列圖案構(gòu)成的基本排列圖案P(由粗框表示的圖案),并將該基本排列圖案P沿垂直方向(第I方向)及水平方向(第2方向)重復(fù)配置。即,該濾色器將R、G、B各種顏色的濾光片(R濾光片、G濾光片、B濾光片)以規(guī)定的周期性進(jìn)彳T排列。
[0072]這樣一來(lái),R濾光片、G濾光片、B濾光片以規(guī)定的周期性進(jìn)行排列,因此在進(jìn)行從彩色攝像元件讀出的R、G、B信號(hào)的同時(shí)化處理(也稱(chēng)為去馬賽克處理。以下相同)等時(shí),能夠反復(fù)按照?qǐng)D案進(jìn)行處理。
[0073]〔特征⑵〕
[0074]圖2所示的濾色器排列中,最有助于獲得亮度信號(hào)的顏色(在本實(shí)施方式中為G色)所對(duì)應(yīng)的G濾光片配置于濾色器排列的作為第I方向的垂直方向、作為第2方向的水平方向及在濾色器面內(nèi)與第I方向及第2方向交叉的第3方向即傾斜(NE、NW)方向(第3方向)的各行內(nèi)。此外,NE表示斜右上方向,NW表示斜右下方向。例如,在正方形像素的排列的情況下,斜右上及斜右下方向相對(duì)于水平方向分別成為45°的方向,但若是長(zhǎng)方形像素的排列,則是長(zhǎng)方形的對(duì)角線的方向,根據(jù)長(zhǎng)邊/短邊的長(zhǎng)度而其角度可能改變。
[0075]對(duì)應(yīng)于亮度系像素的G濾光片配置于濾色器排列的垂直方向、水平方向及傾斜(NE、NW)方向上的各行內(nèi),因此無(wú)論成為高頻的方向如何都能夠提高高頻區(qū)域的同時(shí)化處理的重現(xiàn)精度。
[0076]〔特征⑶〕
[0077]圖2所示的濾色器排列中,在基本排列圖案P內(nèi)的濾色器排列的垂直方向及水平方向上的各行內(nèi)配置一個(gè)以上的除上述G色以外的兩種顏色以上的其他的顏色(在本實(shí)施方式中為R、B的顏色)所對(duì)應(yīng)的R濾光片、B濾光片。
[0078]R濾光片、B濾光片配置于濾色器排列的垂直方向及水平方向上的各行內(nèi),因此能夠減少彩色莫爾條紋(偽色)的發(fā)生。
[0079]由此,能夠?qū)⒂糜谝种苽紊陌l(fā)生的光學(xué)低通濾波器不配置于光學(xué)系統(tǒng)的從入射面到攝像面的光路上,或者即使在應(yīng)用光學(xué)低通濾波器的情況下也可以應(yīng)用將用于防止偽色的發(fā)生的高頻率成分截止的作用弱的濾波器,能夠避免損壞分辨率。
[0080]〔特征⑷〕
[0081]圖3示出將圖2所示的基本排列圖案P分割成四個(gè)3X3像素的狀態(tài)。
[0082]如圖3所示,基本排列圖案P可以被當(dāng)作由實(shí)線的框包圍的3X3像素的A排列和由虛線的框包圍的3X3像素的B排列沿水平、垂直方向交替排列而成的排列。
[0083]A排列及B排列分別將作為亮度系像素的G濾光片配置于四角和中央,且配置于兩條對(duì)角線上。而且,A排列中,隔著中央的G濾光片而將R濾光片排列于水平方向,并隔著中央的G濾光片而將B濾光片排列于垂直方向,另一方面,B排列中,隔著中央的G濾光片而將B濾光片排列于水平方向,并隔著中央的G濾光片而將R濾光片排列于垂直方向。即,A排列與B排列的R濾光片與B濾光片的位置關(guān)系相反,但是其他的配置也同樣。
[0084]另外,如圖4所示,A排列和B排列沿水平、垂直方向交替配置,由此A排列和B排列的四角的G濾光片成為對(duì)應(yīng)于2X2像素的正方排列的G濾光片。
[0085]即,圖2所示的濾色器排列(基本排列圖案P)包含由G濾光片構(gòu)成的對(duì)應(yīng)于2X2像素的正方排列。
[0086]當(dāng)前,如圖5所示,從攝像元件14輸出的馬賽克圖像以A排列為中心而提取出5X5像素的局部區(qū)域時(shí),該局部區(qū)域內(nèi)的四角的2X2像素的G像素成為圖5所示的配置。
[0087]如圖5所示,將2X2像素的G像素的像素值按照從左上至右下的順序設(shè)為Gl、G2、G3、G4時(shí),這些G像素的像素值的垂直方向上的差量絕對(duì)值成為(IG1-G3 | +1G2-G4 |) /2,水平方向上的差量絕對(duì)值成為(IG1-G2 I +1G3-G4 |) /2,右上斜方向上的差量絕對(duì)值成為
G2-G3 I,左上斜方向上的差量絕對(duì)值成為IG1-G4 |。
[0088]能夠判定為與在獲取這四個(gè)相關(guān)絕對(duì)值中的最小的差量絕對(duì)值的方向上存在相關(guān)性(相關(guān)方向)。
[0089]當(dāng)前,如圖4或圖5所示,以3X3像素的A排列位于中央的方式從馬賽克圖像提取出5X5像素的局部區(qū)域時(shí),2X2像素的G像素配置于四角。因此,在將上述局部區(qū)域內(nèi)的A排列的3 X 3像素作為同時(shí)化處理的對(duì)象像素時(shí),求出四角的按各方向的相關(guān)絕對(duì)值的總和(或平均值),將獲取按各方向的相關(guān)絕對(duì)值的總和(或平均值)中的最小的值的方向判定為同時(shí)化處理的對(duì)象像素中的亮度的相關(guān)方向。在進(jìn)行同時(shí)化處理等時(shí)能夠利用所判定的相關(guān)方向。
[0090]〔特征(5)〕
[0091]構(gòu)成圖2所示的濾色器排列的基本排列圖案P相對(duì)于該基本排列圖案的中心(四個(gè)G濾光片的中心)呈點(diǎn)對(duì)稱(chēng)。而且,如圖3所示,基本排列圖案內(nèi)的A排列及B排列也分別相對(duì)于中心的G濾光片而呈點(diǎn)對(duì)稱(chēng),且上下左右對(duì)稱(chēng)(線對(duì)稱(chēng))。
[0092]由于這樣的對(duì)稱(chēng)性,能夠減小或簡(jiǎn)化后段的處理電路的電路規(guī)模。
[0093]攝像處理部16對(duì)于從攝像元件14輸出的攝像信號(hào)實(shí)施放大處理或相關(guān)雙重采樣處理、A/D轉(zhuǎn)換處理等的預(yù)先規(guī)定的處理,作為圖像數(shù)據(jù)向圖像處理部20輸出。
[0094]圖像處理部20對(duì)于從攝像處理部16輸出的圖像數(shù)據(jù)實(shí)施所謂同時(shí)化處理。即,關(guān)于全部像素,將除對(duì)應(yīng)的顏色以外的顏色的圖像數(shù)據(jù)從周?chē)袼氐南袼財(cái)?shù)據(jù)進(jìn)行插補(bǔ),生成全部像素的R、G、B的圖像數(shù)據(jù)。并且,對(duì)于所生成的R、G、B的圖像數(shù)據(jù)實(shí)施所謂YC轉(zhuǎn)換處理,生成亮度數(shù)據(jù)Y、色差數(shù)據(jù)Cr、Cb。并且,進(jìn)行將這些信號(hào)再定尺寸為與攝影模式相應(yīng)的尺寸的再定尺寸處理。
[0095]另外,對(duì)于各像素,圖像處理部20基于相鄰的像素的像素?cái)?shù)據(jù)而執(zhí)行混色修正處理,詳細(xì)情況后述。例如在進(jìn)行間拔讀出時(shí),在間拔后的圖像的顏色排列與間拔后的圖像的顏色排列不同時(shí),基于混色修正的對(duì)象像素的間拔前的排列(第I排列)中與和混色修正的對(duì)象像素相鄰的相鄰像素同色的、間拔前的排列中距相鄰像素的距離最短的像素的像素?cái)?shù)據(jù),來(lái)修正對(duì)象像素的像素?cái)?shù)據(jù)。由此,即使在間拔后的圖像的顏色排列與間拔前的圖像的顏色排列不同的情況下,也能夠高精度地進(jìn)行混色修正。
[0096]驅(qū)動(dòng)部22根據(jù)來(lái)自控制部24的指示來(lái)進(jìn)行從攝像元件14的攝像信號(hào)的讀出驅(qū)動(dòng)等。
[0097]控制部24根據(jù)攝影模式等而統(tǒng)一控制驅(qū)動(dòng)部22及圖像處理部20等。詳細(xì)情況后述,控制部24對(duì)驅(qū)動(dòng)部22發(fā)出指示以利用與攝影模式對(duì)應(yīng)的讀出方法來(lái)讀出攝像信號(hào),或者對(duì)圖像處理部20發(fā)出指示以進(jìn)行與攝影模式對(duì)應(yīng)的圖像處理。
[0098]根據(jù)攝影模式的不同,需要對(duì)來(lái)自攝像元件14的攝像信號(hào)進(jìn)行間拔讀出,因此控制部24對(duì)驅(qū)動(dòng)部22發(fā)出指示以利用與指示的攝影模式對(duì)應(yīng)的間拔方法間拔地讀出攝像信號(hào)。即,控制部24對(duì)驅(qū)動(dòng)部22發(fā)出指示沿垂直方向以多少像素周期且沿水平方向以多少像素周期讀出各像素的像素?cái)?shù)據(jù),由此能夠切換間拔方法。
[0099]作為攝影模式,包括拍攝靜止圖像的靜止圖像模式、對(duì)拍攝到的圖像進(jìn)行間拔而生成較高分辨率的HD (高精細(xì))動(dòng)畫(huà)數(shù)據(jù)并記錄到未圖示的存儲(chǔ)卡等記錄介質(zhì)中的HD動(dòng)畫(huà)模式、對(duì)拍攝到的圖像進(jìn)行間拔而將較低分辨率的取景動(dòng)畫(huà)(實(shí)時(shí)取景圖像)向未圖示的顯示部輸出的取景動(dòng)畫(huà)模式(實(shí)時(shí)取景模式)等動(dòng)畫(huà)模式,但攝影模式的種類(lèi)并不局限于此。
[0100]接下來(lái),作為本實(shí)施方式的作用,參照?qǐng)D6所示的流程圖對(duì)由控制部24執(zhí)行的處理進(jìn)行說(shuō)明。
[0101]此外,圖6所示的處理在被指示以執(zhí)行與攝影模式對(duì)應(yīng)的攝影的情況下執(zhí)行的。
[0102]首先,在步驟100中,對(duì)驅(qū)動(dòng)部22發(fā)出指示以利用與攝影模式對(duì)應(yīng)的間拔方法,即對(duì)應(yīng)于攝影模式而以讀出沿著垂直方向及水平方向設(shè)定的周期的像素的像素?cái)?shù)據(jù)(在本實(shí)施方式中,驅(qū)動(dòng)部22及控制部24對(duì)應(yīng)于驅(qū)動(dòng)單元)。在本實(shí)施方式中,作為一例,沿垂直方向及水平方向均以?xún)蓚€(gè)像素周期、即以1/2間拔來(lái)讀出各像素的像素?cái)?shù)據(jù)。這種情況下,間拔后的圖像數(shù)據(jù)成為圖7所示那樣的圖像。即,間拔后的圖像的排列與間拔前的圖像的排列不同。在此,在間拔后的圖像的排列包含與間拔前的圖像的排列相同的排列時(shí),即,雖然間拔后的圖像包含使基本排列圖案P重復(fù)的圖像的情況下,在間拔后的圖像的排列與間拔前的排列沿垂直方向及水平方向均不完全一致時(shí),兩者不同。
[0103]在步驟102中,對(duì)圖像處理部20發(fā)出指示以對(duì)所讀出的圖像數(shù)據(jù)執(zhí)行混色修正處理、并對(duì)混色修正處理后的圖像數(shù)據(jù)執(zhí)行與攝影模式相應(yīng)的圖像處理(例如同時(shí)化處理、YC轉(zhuǎn)換處理、再定尺寸處理等)(在本實(shí)施方式中,圖像處理部20及控制部24對(duì)應(yīng)于混色修正單元)。
[0104]混色修正處理對(duì)各像素執(zhí)行以下那樣的處理。例如,將混色修正的對(duì)象像素的像素?cái)?shù)據(jù)設(shè)為Da,將與對(duì)象像素的上側(cè)相鄰的像素的像素?cái)?shù)據(jù)設(shè)為D1,將與對(duì)象像素的下側(cè)相鄰的像素的像素?cái)?shù)據(jù)設(shè)為D2,將與對(duì)象像素的左側(cè)相鄰的像素的像素?cái)?shù)據(jù)設(shè)為D3,將與對(duì)象像素的右側(cè)相鄰的像素的像素?cái)?shù)據(jù)設(shè)為D4,將對(duì)象像素從對(duì)象像素的上側(cè)的像素接受的混色率設(shè)為Kl,將對(duì)象像素從對(duì)象像素的下側(cè)的像素接受的混色率設(shè)為K2,將對(duì)象像素從對(duì)象像素的左側(cè)的像素接受的混色率設(shè)為K3,將對(duì)象像素從對(duì)象像素的右側(cè)的像素接受的混色率設(shè)為K4,按照下式算出對(duì)象像素的修正后的像素?cái)?shù)據(jù)Db。此外,測(cè)定來(lái)自與上側(cè)相鄰的像素的光的漏入量、來(lái)自與下側(cè)相鄰的像素的光的漏入量、來(lái)自與左側(cè)相鄰的像素的光的漏入量、來(lái)自與右側(cè)相鄰的像素的光的漏入量,并基于該測(cè)定值而分別預(yù)先算出混色率Kl?K4。
[0105]Db = Da-(D1XK1+D2XK2+D3XK3+D4XK4)...(I)
[0106]以下,說(shuō)明混色修正處理的具體例子。
[0107]圖8示出了以6X6像素的基本排列圖案P為中心配置的濾色器排列的一例。如該圖所示,在沿垂直方向及水平方向以1/2間拔讀出各像素的像素?cái)?shù)據(jù)時(shí),則讀出圖中箭頭的位置所示的虛線框及粗線框的像素的像素?cái)?shù)據(jù)。
[0108]以下,說(shuō)明對(duì)在基本排列圖案P內(nèi)讀出的由粗線框表示的G像素Gl?G5、B像素B6、B7、R像素R8、R9進(jìn)行混色修正的情況。
[0109]首先,說(shuō)明對(duì)G像素Gl進(jìn)行混色修正的情況。如圖9所示,在進(jìn)行1/2間拔之前的原來(lái)的圖像的排列(第I排列)中,與G像素Gl的上側(cè)相鄰的G像素Gll是在1/2間拔中未被讀出的像素(參照?qǐng)D8)。并且,在1/2間拔后的排列(第2排列)中,與G像素Gl的上側(cè)相鄰的像素是R像素Rll (參照?qǐng)D8),與在第I排列中相鄰的G像素Gll的顏色不同。因此,若將該R像素Rll的像素?cái)?shù)據(jù)作為Dl而按照上述(I)式進(jìn)行混色修正,則混色修正的精度變差。
[0110]因此,在本實(shí)施方式中,將作為混色修正的對(duì)象像素的G像素Gl的第I排列中與相鄰的G像素Gll同色的、在第I排列中距G像素Gll為最短距離的G像素G12的像素?cái)?shù)據(jù)設(shè)為上述⑴式的D1。
[0111]另外,關(guān)于與G像素Gl的下側(cè)相鄰的B像素BI,將距B像素BI為最短距離的B像素Bll的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D2。
[0112]另外,關(guān)于與G像素Gl的左側(cè)相鄰的G像素G13,與G像素Gll同樣地,將距G像素G13為最短距離的G像素G12的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D3。
[0113]另外,關(guān)于與G像素Gl的右側(cè)相鄰的R像素Rl,將距R像素Rl為最短距離的R像素Rll的像素?cái)?shù)據(jù)設(shè)為上述⑴式的D4。
[0114]此外,作為距R像素Rl為最短距離的R像素,不僅存在R像素R12,也存在R像素Rllo這種情況下,可以將R像素Rll及R像素R12中的任一像素?cái)?shù)據(jù)設(shè)為上述(I)式的D4,也可以將R像素Rll及R像素R12的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D4。在使用了平均值的情況下,無(wú)論對(duì)于哪個(gè)圖像,都能夠抑制混色修正的精度極端地變差的情況。
[0115]接下來(lái),說(shuō)明對(duì)G像素G2進(jìn)行混色修正的情況。如圖10所示,在進(jìn)行1/2間拔之前的原來(lái)的圖像的排列(第I排列)中,與G像素G2的上側(cè)相鄰的G像素G21是在1/2間拔中未被讀出的像素(參照?qǐng)D8)。并且,在1/2間拔后的排列(第2排列)中,與G像素G2的上側(cè)相鄰的像素是R像素R21 (參照?qǐng)D8),在第I排列中與相鄰的G像素G21的顏色不同。因此,若將該R像素R21的像素?cái)?shù)據(jù)設(shè)為Dl而按照上述(I)式進(jìn)行混色修正,則混色修正的精度變差。
[0116]因此,在本實(shí)施方式中,將作為混色修正的對(duì)象像素的G像素G2的第I排列中與相鄰的G像素G21同色的、在第I排列中距G像素G21為最短距離的G像素G22的像素?cái)?shù)據(jù)設(shè)為上述⑴式的D1。
[0117]另外,關(guān)于與G像素G2的下側(cè)相鄰的B像素B2,將距B像素B2為最短距離的B像素B21的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D2。
[0118]另外,關(guān)于與G像素G2的左側(cè)相鄰的R像素R2,將距R像素R2為最短距離的R像素R21的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D3。
[0119]此外,作為距R像素R2為最短距離的R像素,不僅存在R像素R22,也存在R像素R21。這種情況下,可以將R像素R21及R像素R22中的任一像素?cái)?shù)據(jù)設(shè)為上述(I)式的D3,也可以將R像素R21及R像素R22的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D3。
[0120]另外,關(guān)于與G像素G2的右側(cè)相鄰的G像素G23,與G像素G21同樣地,將距G像素G23為最短距離的G像素G22的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D4。
[0121]接下來(lái),說(shuō)明對(duì)B像素B6進(jìn)行混色修正的情況。如圖11所示,在進(jìn)行1/2間拔之前的原來(lái)的圖像的排列(第I排列)中,與B像素B6的上側(cè)相鄰的R像素R6是在1/2間拔中未被讀出的像素(參照?qǐng)D8)。并且,在1/2間拔后的排列(第2排列)中,與B像素B6的上側(cè)相鄰的像素是G像素G6(參照?qǐng)D8),在第I排列中與相鄰的R像素R6的顏色不同。因此,若將該G像素G6的像素?cái)?shù)據(jù)設(shè)為Dl而按照上述(I)式進(jìn)行混色修正,則混色修正的精度變差。
[0122]因此,在本實(shí)施方式中,將作為混色修正的對(duì)象像素的B像素B6的第I排列中與相鄰的R像素R6同色的、在第I排列中距R像素R6為最短距離的R像素R61、R62的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D1。
[0123]另外,關(guān)于與B像素B6的下側(cè)相鄰的G像素G61,將距G像素G61為最短距離的G像素G62、G63的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D2。
[0124]另外,關(guān)于與B像素B6的左側(cè)相鄰的G像素G64,將距G像素G64為最短距離的G像素G65的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D3。
[0125]另外,關(guān)于與B像素B6的右側(cè)相鄰的G像素G66,將距G像素G66為最短距離的G像素G67的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D4。
[0126]接下來(lái),說(shuō)明對(duì)G像素G3進(jìn)行混色修正的情況。如圖12所示,在進(jìn)行1/2間拔之前的原來(lái)的圖像的排列(第I排列)中,與G像素G3的上側(cè)相鄰的B像素B3是在1/2間拔中未被讀出的像素(參照?qǐng)D8)。并且,在1/2間拔后的排列(第2排列)中,與G像素G3的上側(cè)相鄰的像素是G像素G31 (參照?qǐng)D8),在第I排列中與相鄰的B像素B3的顏色不同。因此,若將該G像素G31的像素?cái)?shù)據(jù)設(shè)為Dl而按照上述(I)式進(jìn)行混色修正,則混色修正的精度變差。
[0127]因此,在本實(shí)施方式中,將作為混色修正的對(duì)象像素的G像素G3的第I排列中與相鄰的B像素B3同色的、在第I排列中距B像素B3為最短距離的B像素B31的像素?cái)?shù)據(jù)設(shè)為上述⑴式的D1。
[0128]另外,關(guān)于與G像素G3的下側(cè)相鄰的G像素G32,將距G像素G32為最短距離的G像素G33的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D2。
[0129]另外,關(guān)于與G像素G3的左側(cè)相鄰的G像素G34,與G像素G32同樣地,將距G像素G34為最短距離的G像素G33的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D3。
[0130]另外,關(guān)于與G像素G3的右側(cè)相鄰的R像素R3,將距R像素R3為最短距離的R像素R31的像素?cái)?shù)據(jù)設(shè)為上述⑴式的D4。
[0131]此外,作為距R像素R3為最短距離的R像素,不僅存在R像素R31,而且也存在R像素R32。這種情況下,也可以將R像素R31及R像素R32中的任一像素?cái)?shù)據(jù)設(shè)為上述(I)式的D4,也可以將R像素R31及R像素R32的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D4。
[0132]接下來(lái),說(shuō)明對(duì)G像素G4進(jìn)行混色修正的情況。如圖13所示,在進(jìn)行1/2間拔之前的原來(lái)的圖像的排列(第I排列)中,與G像素G4的上側(cè)相鄰的B像素B4是在1/2間拔中未被讀出的像素(參照?qǐng)D8)。并且,在1/2間拔后的排列(第2排列)中,與G像素G4的上側(cè)相鄰的像素是G像素G41 (參照?qǐng)D8),在第I排列中與相鄰的B像素B4的顏色不同。因此,若將該G像素G41的像素?cái)?shù)據(jù)設(shè)為Dl而按照上述(I)式進(jìn)行混色修正,則混色修正的精度變差。
[0133]因此,在本實(shí)施方式中,將作為混色修正的對(duì)象像素的G像素G4的第I排列中與相鄰的B像素B4同色的、在第I排列中距B像素B4為最短距離的B像素B41的像素?cái)?shù)據(jù)設(shè)為上述⑴式的D1。
[0134]另外,關(guān)于與G像素G4的下側(cè)相鄰的G像素G42,將距G像素G42為最短距離的G像素G43的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D2。
[0135]另外,關(guān)于與G像素G4的左側(cè)相鄰的R像素R4,將距R像素R4為最短距離的R像素R41的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D3。
[0136]此外,作為距R像素R4為最短距離的R像素,不僅存在R像素R41,而且也存在R像素R42。這種情況下,可以將R像素R41及R像素R42中的任一像素?cái)?shù)據(jù)設(shè)為上述(I)式的D3,也可以將R像素R41及R像素R42的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D3。
[0137]另外,關(guān)于與G像素G4的右側(cè)相鄰的G像素G44,與G像素G42同樣地,將距G像素G44為最短距離的G像素G43的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D4。
[0138]接下來(lái),說(shuō)明對(duì)B像素B7進(jìn)行混色修正的情況。如圖14所示,在進(jìn)行1/2間拔之前的原來(lái)的圖像的排列(第I排列)中,與B像素B7的上側(cè)相鄰的G像素G7是在1/2間拔中未被讀出的像素(參照?qǐng)D8)。并且,在1/2間拔后的排列(第2排列)中,與B像素B7的上側(cè)相鄰的像素是B像素B71 (參照?qǐng)D8),在第I排列中與相鄰的G像素G7的顏色不同。因此,若將該B像素B71的像素?cái)?shù)據(jù)設(shè)為Dl而按照上述(I)式進(jìn)行混色修正,則混色修正的精度變差。
[0139]因此,在本實(shí)施方式中,將作為混色修正的對(duì)象像素的B像素B7的第I排列中與相鄰的G像素G7同色的、在第I排列中距G像素G7為最短距離的G像素G71、G72的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D1。
[0140]另外,關(guān)于與B像素B7的下側(cè)相鄰的R像素R7,將距R像素R7為最短距離的R像素R71、R72的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D2。
[0141]另外,關(guān)于與B像素B7的左側(cè)相鄰的G像素G73,將距G像素G73為最短距離的G像素G74的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D3。
[0142]另外,關(guān)于與B像素B7的右側(cè)相鄰的G像素G75,將距G像素G75為最短距離的G像素G76的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D4。
[0143]接下來(lái),說(shuō)明對(duì)R像素R8進(jìn)行混色修正的情況。如圖15所示,在進(jìn)行1/2間拔之前的原來(lái)的圖像的排列(第I排列)中,與R像素R8的上側(cè)相鄰的G像素G8是在1/2間拔中未被讀出的像素(參照?qǐng)D8)。并且,在1/2間拔后的排列(第2排列)中,與R像素R8的上側(cè)相鄰的像素是G像素G81 (參照?qǐng)D8),在第I排列中與相鄰的G像素G8的顏色相同。因此,將在第I排列中距G像素G8為最短距離的G像素G81的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D1。
[0144]另外,關(guān)于與R像素R8的下側(cè)相鄰的G像素G82,將距G像素G82為最短距離的G像素G83的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D2。
[0145]另外,關(guān)于與R像素R8的左側(cè)相鄰的B像素B8,將距B像素B8為最短距離的B像素B81、B82的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D3。
[0146]另外,關(guān)于與R像素R8的右側(cè)相鄰的G像素G84,將距G像素G84為最短距離的G像素G85、G86的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D4。
[0147]接下來(lái),說(shuō)明對(duì)R像素R9進(jìn)行混色修正的情況。如圖16所示,在進(jìn)行1/2間拔之前的原來(lái)的圖像的排列(第I排列)中,與R像素R9的上側(cè)相鄰的G像素G9是在1/2間拔中未被讀出的像素(參照?qǐng)D8)。并且,在1/2間拔后的排列(第2排列)中,與R像素R9的上側(cè)相鄰的像素是G像素G91 (參照?qǐng)D8),在第I排列中與相鄰的G像素G9的顏色相同。因此,將在第I排列中距G像素G9為最短距離的G像素G91的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D1。
[0148]另外,關(guān)于與R像素R9的下側(cè)相鄰的G像素G92,將距G像素G92為最短距離的G像素G93的像素?cái)?shù)據(jù)設(shè)為上述(I)式的D2。
[0149]另外,關(guān)于與R像素R9的左側(cè)相鄰的G像素G94,將距G像素G94為最短距離的G像素G95,G96的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D3。
[0150]另外,關(guān)于與R像素R9的右側(cè)相鄰的B像素B9,將距B像素B9為最短距離的B像素B91、B92的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D4。
[0151]接下來(lái),說(shuō)明對(duì)G像素G5進(jìn)行混色修正的情況。如圖17所示,在進(jìn)行1/2間拔之前的原來(lái)的圖像的排列(第I排列)中,與G像素G5的上側(cè)相鄰的R像素R5是在1/2間拔中被未讀出的像素(參照?qǐng)D8)。并且,在1/2間拔后的排列(第2排列)中,與R像素R5的上側(cè)相鄰的像素是B像素B5 (參照?qǐng)D8),在第I排列中與相鄰的R像素R5的顏色不同。因此,若將該B像素B5的像素?cái)?shù)據(jù)設(shè)為Dl而按照上述(I)式進(jìn)行混色修正,則混色修正的精度變差。
[0152]因此,在本實(shí)施方式中,將作為混色修正的對(duì)象像素的G像素G5的第I排列中與相鄰的R像素R5同色的、在第I排列中距R像素R5為最短距離的R像素R51、R52的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D1。
[0153]另外,關(guān)于與G像素G5的下側(cè)相鄰的R像素R53,與R像素R5同樣地,將距R像素R53為最短距離的R像素R51、R52的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D2。
[0154]另外,關(guān)于與G像素G5的左側(cè)相鄰的B像素B51,將距B像素B51為最短距離的B像素B5、B52的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D3。
[0155]另外,關(guān)于與G像素G5的右側(cè)相鄰的B像素B53,與B像素B51同樣地,將距B像素B53為最短距離的B像素B5、B52的像素?cái)?shù)據(jù)的平均值設(shè)為上述(I)式的D4。
[0156]此外,控制部24及圖像處理部20可以由包括CPU、ROM、RAM、非易失性ROM等的計(jì)算機(jī)構(gòu)成。這種情況下,可以將上述的處理的處理程序例如預(yù)先存儲(chǔ)在非易失性ROM中,CPU將其讀入并執(zhí)行。
[0157]這樣一來(lái),在本實(shí)施方式中,基于混色修正的對(duì)象像素的間拔前的排列(第I排列)中與相鄰的相鄰像素同色的、在間拔前的排列中距相鄰像素為最短距離的像素的像素?cái)?shù)據(jù),來(lái)修正對(duì)象像素的像素?cái)?shù)據(jù)。由此,即使在間拔后的圖像的顏色排列與間拔前的圖像的顏色排列不同的情況下,也能夠高精度地進(jìn)行混色修正。
[0158]此外,在本實(shí)施方式中,說(shuō)明了沿垂直方向及水平方向均以?xún)蓚€(gè)像素周期、即以1/2間拔來(lái)讀出各像素的像素?cái)?shù)據(jù)的情況,但是也可以以三個(gè)像素周期以上的周期來(lái)讀出各像素的像素?cái)?shù)據(jù)。但是,若以超過(guò)三個(gè)像素的周期來(lái)讀出各像素的像素?cái)?shù)據(jù),則存在混色修正的對(duì)象像素與混色修正所使用的像素的距離變長(zhǎng)而導(dǎo)致混色修正的精度變差的情況,因此優(yōu)選以三個(gè)像素以下的周期來(lái)讀出各像素的像素?cái)?shù)據(jù)。而且,讀出的周期在垂直方向及水平方向上可以不同。
[0159](第2實(shí)施方式)
[0160]接下來(lái),說(shuō)明本發(fā)明的第2實(shí)施方式。在本實(shí)施方式中,說(shuō)明濾色器的變形例。
[0161]圖18示出了本實(shí)施方式的濾色器。如該圖所示,本實(shí)施方式的濾色器由包含對(duì)應(yīng)于6X6像素的正方排列圖案構(gòu)成的基本排列圖案P(由粗框表示的圖案),沿水平方向及垂直方向重復(fù)配置該基本排列圖案P。即,該濾色器排列將R、G、B的各種顏色的濾光片(R濾光片、G濾光片、B濾光片)以規(guī)定的周期性來(lái)排列。
[0162]另外,圖18所示的濾色器排列中,將G濾光片配置于濾色器排列的垂直方向及水平方向上的各行內(nèi)。
[0163]另外,圖18所示的濾色器排列中,在基本排列圖案P內(nèi),在濾色器排列的垂直方向及水平方向上的各行內(nèi)配置一個(gè)以上的R濾光片、B濾光片。
[0164]圖19示出將圖18所示的基本排列圖案P分割成四個(gè)3X3像素的狀態(tài)。
[0165]如圖19所示,基本排列圖案P可以當(dāng)作由實(shí)線的框包圍的3X3像素的A排列和由虛線的框包圍的3X3像素的B排列沿水平、垂直方向交替排列而成的排列。
[0166]A排列中,在中心配置R濾光片,在四角配置B濾光片,隔著中心的R濾光片而在上下左右配置G濾光片。另一方面,B排列中,在中心配置B濾光片,在四角配置R濾光片,隔著中心的B濾光片而在上下左右配置G濾光片。上述的A排列和B排列中,雖然R濾光片與B濾光片的位置關(guān)系相反,但是其他的配置同樣。
[0167]如圖20A所示,第I實(shí)施方式的濾色器可以當(dāng)作上述A排列和B排列沿水平及垂直方向交替配置的情況。
[0168]當(dāng)前,如圖20A所示,對(duì)于從攝像元件14輸出的馬賽克圖像以A排列為中心而提取出5X5像素的局部區(qū)域(由粗框表示的區(qū)域)的情況下,該局部區(qū)域內(nèi)的八個(gè)G像素如圖20B所示配置成十字形狀。將這些G像素按照從左至右的順序設(shè)為Gl、G2、G3、G4、并按照從上至下的順序設(shè)為G5、G6、G7、G8時(shí),像素G1G2、像素G2G3在水平方向上相鄰,像素G5G6、像素G7G8在垂直方向上相鄰,像素G6G3、像素G2G7在左上斜方向上相鄰,像素G6G2、像素G3G7在右上斜方向上相鄰。
[0169]因此,通過(guò)求出上述的相鄰的像素的像素值的差量絕對(duì)值,能夠以最小像素間隔判定水平、垂直及傾斜(NE、NW)方向的各方向中的、亮度的變化最小的方向(相關(guān)性高的相關(guān)方向)。
[0170]即,水平方向的差量絕對(duì)值之和成為IG1-G2 I +1G3-G4 |,水平方向的差量絕對(duì)值之和成為|G5-G6| + |G7-G8|,右上斜方向的差量絕對(duì)值之和成為|G6-G2 | +1G3-G7 |,左上斜方向的差量絕對(duì)值之和成為IG6-G3 I +1G2G7 I。
[0171]能夠判定為與在獲取這四個(gè)相關(guān)絕對(duì)值中的最小的差量絕對(duì)值的方向上存在相關(guān)性(相關(guān)方向)。此外,可以在進(jìn)行同時(shí)化處理等時(shí)利用所判定的相關(guān)方向。
[0172]另外,構(gòu)成圖18所示的濾色器的基本排列圖案P相對(duì)于該基本排列圖案P的中心呈點(diǎn)對(duì)稱(chēng)。
[0173]如圖19所示,基本排列圖案內(nèi)的A排列及B排列分別相對(duì)于中心的R濾光片或G濾光片呈點(diǎn)對(duì)稱(chēng),且上下左右對(duì)稱(chēng)(線對(duì)稱(chēng))。
[0174]另外,構(gòu)成圖18所示的濾色器排列的基本排列圖案P的尺寸是(NXM)像素(N、M:3以上的整數(shù)),比共有像素的尺寸(KXL)像素(K、L:2以上的整數(shù))大。S卩,滿足N>K、M>M。
[0175]這樣一來(lái),第2實(shí)施方式的濾色器具有與第I實(shí)施方式的濾色器的特征(I)、
(3)?(5)相同的特征。(關(guān)于特征(2)、(3),具有如下特征:在基本排列圖案P內(nèi),在濾色器排列的垂直方向及水平方向上的各行內(nèi)配置一個(gè)以上的G濾光片、R濾光片、B濾光片)。
[0176]在這樣的濾色器的情況下,與第I實(shí)施方式同樣地沿垂直方向及水平方向均以1/2間拔進(jìn)行讀出時(shí),間拔后的圖像成為圖21所示的圖像。
[0177]此外,濾色器排列并不局限于上述各實(shí)施方式中說(shuō)明的結(jié)構(gòu),在具有以下那樣的濾色器排列的攝像元件的攝像裝置中也可以應(yīng)用本發(fā)明。
[0178]例如,作為具有上述特征⑴、(2)、⑶的濾色器排列,存在例如圖22所示那樣的基本排列圖案P為3X3像素的濾色器。該濾色器排列是在3X3像素中的中心和四角配置G濾光片且在其余的4個(gè)像素處配置同數(shù)的R或B所得到的基本排列圖案重復(fù)而成的結(jié)構(gòu)。而且,沿垂直方向及水平方向均進(jìn)行1/2間拔時(shí)的圖像成為圖22所示那樣的圖像。
[0179]另外,作為具有上述特征(I)、(2)、⑶的濾色器排列,如圖23所示的基本排列圖案P具有5X5像素的濾色器排列。該濾色器排列被配置成:在5X5像素中的兩條對(duì)角線上配置G,而在其余的像素位置處在5X5像素中的水平及垂直方向上的各行內(nèi)配置一個(gè)以上的R、B像素,且該濾色器排列是將以G的個(gè)數(shù)多于R、B的個(gè)數(shù)的方式設(shè)定的基本排列圖案重復(fù)而成的。而且,沿垂直方向及水平方向均進(jìn)行1/2間拔時(shí)的圖像成為如圖23所示的圖像。
[0180]除此以外,作為具有上述特征(I)、(3)、(4)、(5)的濾色器排列,存在如圖24所示基本排列圖案P為4X4像素的濾色器排列。該濾色器排列被配置成:在4X4像素中的兩條對(duì)角線上配置G,而在其余的像素位置,在4X4像素中的水平及垂直方向上的各行內(nèi)配置一個(gè)以上的R、B像素,且該濾色器排列是將以G的個(gè)數(shù)多于R、B的個(gè)數(shù)的方式設(shè)定的基本排列圖案重復(fù)而成的。
[0181]另外,存在如圖25所示基本排列圖案P為5X5像素的濾色器排列。
[0182]另外,如圖26所示,存在基本排列圖案P為6X6像素的濾色器排列。該濾色器排列是G在R或B的外周呈矩形形狀配置的第I子排列與G配置于中央部的第2子排列分別各兩個(gè)地沿水平方向、垂直方向彼此交替相鄰地配置的基本排列圖案重復(fù)而成的。在該排列中,在特征⑶中,還具有在濾色器排列的傾斜(NE、NW)方向(第3方向)上的各行內(nèi)配置一個(gè)以上的R及B的特征。
[0183]另外,存在如圖27所示基本排列圖案P為7X7像素的濾色器排列、如圖28所示基本排列圖案P為8X8像素的濾色器排列等。
[0184]此外,當(dāng)考慮到同時(shí)化處理或動(dòng)畫(huà)攝影時(shí)的間拔處理等的圖像處理的容易度時(shí),N、M優(yōu)選為10以下。
[0185]此外,應(yīng)用本發(fā)明的基本排列圖案的尺寸NXM優(yōu)選為5 X 5以上,更優(yōu)選為10X10以下。當(dāng)基本排列圖案的像素尺寸以平方方式增大、且三種顏色的RGB的像素的排列的自由度提高時(shí),周邊像素的顏色配置的組合增加,間拔后的圖像與間拔前的圖像的基本排列圖案不同的可能性升高,因此本發(fā)明有效。在5X5以上的情況下,成為25個(gè)像素以上,因此能充分獲得本發(fā)明的效果。另一方面,當(dāng)考慮到同時(shí)化處理、動(dòng)畫(huà)攝影時(shí)的間拔處理等圖像處理的容易度時(shí),N、M優(yōu)選為10以下。
[0186]另外,在上述實(shí)施方式中,說(shuō)明了具有RGB的三原色的濾色器的彩色攝像元件,但本發(fā)明并不局限于此,也能夠應(yīng)用到RGB的三原色+其他顏色(例如,翠綠(E))這四種顏色的濾色器例如圖29所示那樣的濾色器中。而且,在具有白色或透明(W)濾光片作為其他顏色的濾色器中也可以應(yīng)用本發(fā)明。例如可以取代圖29的翠綠而配置W濾光片。這種情況下,W與G的組合、或W成為最有助于亮度信號(hào)的第I色。
[0187]另外,在具有在作為原色RGB的補(bǔ)色的C(青綠)、M(洋紅)、Y(黃)中加入了 G的四種顏色的補(bǔ)色系的濾色器的彩色攝像元件中也可以應(yīng)用本發(fā)明。
[0188]此外,本發(fā)明并未限定為上述的實(shí)施方式,在不脫離本發(fā)明的主旨的范圍內(nèi)當(dāng)然能夠進(jìn)行各種變形。
[0189]附圖標(biāo)記說(shuō)明
[0190]10攝像裝置
[0191]12光學(xué)系統(tǒng)
[0192]14攝像元件
[0193]16攝像處理部
[0194]20圖像處理部
[0195]22驅(qū)動(dòng)部
[0196]24控制部
[0197]P基本排列圖案。
【權(quán)利要求】
1.一種攝像裝置,具備: 攝像元件,包含沿預(yù)先規(guī)定的第I方向及與所述第I方向交叉的第2方向排列的多個(gè)光電轉(zhuǎn)換兀件; 濾色器,設(shè)置在由所述多個(gè)光電轉(zhuǎn)換元件構(gòu)成的多個(gè)像素上,重復(fù)配置有基本排列圖案,所述基本排列圖案將最有助于獲得亮度信號(hào)的第I色所對(duì)應(yīng)的第I濾光片和除所述第I色以外的兩種顏色以上的第2色所對(duì)應(yīng)的第2濾光片以預(yù)先規(guī)定的圖案進(jìn)行配置; 驅(qū)動(dòng)單元,驅(qū)動(dòng)所述攝像元件,使得:以從所述攝像元件讀出的像素的排列成為與表示所述攝像元件的全部像素的排列的第I排列不同的第2排列的方式,讀出沿所述第I方向及所述第2方向中的至少一個(gè)方向以設(shè)定的周期進(jìn)行配置的像素的像素?cái)?shù)據(jù);及 混色修正單元,對(duì)于以所述設(shè)定的周期進(jìn)行配置的像素的像素?cái)?shù)據(jù)分別進(jìn)行混色修正,基于與在所述第I排列上和混色修正的對(duì)象像素相鄰的相鄰像素同色、且在所述第I排列上距所述相鄰像素的距離最短的像素的像素?cái)?shù)據(jù),來(lái)修正所述對(duì)象像素的像素?cái)?shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的攝像裝置,其中, 所述第一濾光片在所述濾色器 內(nèi)在所述第I方向、所述第2方向、與所述第I方向及所述第2方向交叉的第3方向上的各行內(nèi)配置一個(gè)以上, 所述第二色的各種顏色所對(duì)應(yīng)的所述第二濾光片在所述基本排列圖案內(nèi)在所述第I方向及所述第2方向上的各行內(nèi)分別配置一個(gè)以上。
3.根據(jù)權(quán)利要求1或2所述的攝像裝置,其中, 所述濾色器重復(fù)配置有基本排列圖案,所述基本排列圖案將最有助于獲得亮度信號(hào)的第I色所對(duì)應(yīng)的第I濾光片和除所述第I色以外的兩種顏色以上的第2色所對(duì)應(yīng)的第2濾光片沿所述第I方向及所述第2方向以NXM像素的預(yù)先規(guī)定的圖案進(jìn)行配置,其中,N、M為3以上的整數(shù)。
4.根據(jù)權(quán)利要求1~3中任一項(xiàng)所述的攝像裝置,其中, 所述濾色器包含由所述第I濾光片構(gòu)成的對(duì)應(yīng)于2X2像素的正方排列。
5.根據(jù)權(quán)利要求1~4中任一項(xiàng)所述的攝像裝置,其中, 所述第I色是綠(G)色,所述第2色是紅(R)色及藍(lán)⑶色。
6.根據(jù)權(quán)利要求5所述的攝像裝置,其中, 所述濾色器具有與紅(R)、綠(G)、藍(lán)(B)的顏色對(duì)應(yīng)的R濾光片、G濾光片及B濾光片,并且, 所述濾色器將第I排列和第2排列交替地沿所述第I方向及所述第2方向排列而構(gòu)成,所述第I排列對(duì)應(yīng)于3X3像素,在中心和四角配置G濾光片,隔著中心的G濾光片而在上下配直B濾光片,隔著中心的G濾光片而在左右排列有R濾光片, 所述第2排列對(duì)應(yīng)于3X3像素,在中心和四角配置G濾光片,隔著中心的G濾光片而在上下配直R濾光片,隔著中心的G濾光片而在左右排列有B濾光片。
7.根據(jù)權(quán)利要求5所述的攝像裝置,其中, 所述濾色器具有與紅(R)、綠(G)、藍(lán)(B)的顏色對(duì)應(yīng)的R濾光片、G濾光片及B濾光片,并且, 所述濾色器將第I排列和第2排列交替地沿所述第I方向及所述第2方向排列而構(gòu)成, 所述第I排列對(duì)應(yīng)于3X 3像素,在中心配置R濾光片,在四角配置B濾光片,隔著中心的R濾光片而在上下左右配置G濾光片, 所述第2排列對(duì)應(yīng)于3X 3像素,在中心配置B濾光片,在四角配置R濾光片,隔著中心的B濾光片而在上下左右配置G濾光片。
8.根據(jù)權(quán)利要求1~7中任一項(xiàng)所述的攝像裝置,其中, 當(dāng)存在多個(gè)所述距離最短的像素的情況下,所述混色修正單元基于這多個(gè)像素中的任一像素的像素?cái)?shù)據(jù)來(lái)修正所述對(duì)象像素的像素?cái)?shù)據(jù)。
9.根據(jù)權(quán)利要求1~7中任一項(xiàng)所述的攝像裝置,其中, 當(dāng)存在多個(gè)所述距離最短的像素的情況下,所述混色修正單元基于這多個(gè)像素的像素?cái)?shù)據(jù)的平均值來(lái)修正所述對(duì)象像素的像素?cái)?shù)據(jù)。
10.根據(jù)權(quán)利要求1~9中任一項(xiàng)所述的攝像裝置,其中, 所述周期是三個(gè)像素以下的周期。
11.根據(jù)權(quán)利要求1~10中任一項(xiàng)所述的攝像裝置,其中, 所述攝像裝置具備切換所述周期的切換單元。
12.—種攝像裝置的控制方法,所述攝像裝置具備: 攝像元件,包含沿預(yù) 先規(guī)定的第I方向及與所述第I方向交叉的第2方向排列的多個(gè)光電轉(zhuǎn)換元件;及 濾色器,設(shè)置在由所述多個(gè)光電轉(zhuǎn)換元件構(gòu)成的多個(gè)像素上,重復(fù)配置有基本排列圖案,所述基本排列圖案將最有助于獲得亮度信號(hào)的第I色所對(duì)應(yīng)的第I濾光片和除所述第I色以外的兩種顏色以上的第2色所對(duì)應(yīng)的第2濾光片以預(yù)先規(guī)定的圖案進(jìn)行配置, 所述攝像裝置的控制方法包括如下步驟: 驅(qū)動(dòng)所述攝像元件,使得:以從所述攝像元件讀出的像素的排列成為與表示所述攝像元件的全部像素的排列的第I排列不同的第2排列的方式讀出沿所述第I方向及所述第2方向中的至少一個(gè)方向以設(shè)定的周期進(jìn)行配置的像素的像素?cái)?shù)據(jù);及 對(duì)于以所述設(shè)定的周期進(jìn)行配置的像素的像素?cái)?shù)據(jù)分別進(jìn)行混色修正的混色修正處理,基于與在所述第I排列上和混色修正的對(duì)象像素相鄰的相鄰像素同色、且在所述第I排列上距所述相鄰像素的距離最短的像素的像素?cái)?shù)據(jù),來(lái)修正所述對(duì)象像素的像素?cái)?shù)據(jù)。
13.—種控制程序,用于使控制攝像裝置的計(jì)算機(jī)執(zhí)行處理, 所述攝像裝置具備: 攝像元件,包含沿預(yù)先規(guī)定的第I方向及與所述第I方向交叉的第2方向排列的多個(gè)光電轉(zhuǎn)換元件;及 濾色器,設(shè)置在由所述多個(gè)光電轉(zhuǎn)換元件構(gòu)成的多個(gè)像素上,基本排列圖案重復(fù)配置有基本排列圖案,所述基本排列圖案將最有助于獲得亮度信號(hào)的第I色所對(duì)應(yīng)的第I濾光片和除所述第I色以外的兩種顏色以上的第2色所對(duì)應(yīng)的第2濾光片以預(yù)先規(guī)定的圖案進(jìn)行配置, 所述處理包括如下步驟: 驅(qū)動(dòng)所述攝像元件,使得:以從所述攝像元件讀出的像素的排列成為與表示所述攝像元件的全部像素的排列的第I排列不同的第2排列的方式讀出沿所述第I方向及所述第2方向中的至少一個(gè)方向以設(shè)定的周期進(jìn)行配置的像素的像素?cái)?shù)據(jù);及 對(duì)于所設(shè)定的所述周期進(jìn)行配置的像素的像素?cái)?shù)據(jù)分別進(jìn)行混色修正的混色修正處理,基于與在所述第I排列上和混色修正的對(duì)象像素相鄰的相鄰像素同色、且在所述第I排列上距所述相鄰像素的距離最短的像素的像素?cái)?shù)據(jù),來(lái)修正所述對(duì)象像素的像素?cái)?shù)據(jù)。
14.一種控制程序,用于使計(jì)算機(jī)執(zhí)行處理, 攝像元件包括:多個(gè)光電轉(zhuǎn)換元件,沿預(yù)先規(guī)定的第I方向及與所述第I方向交叉的第2方向排列;及濾色器,設(shè)置在由所述多個(gè)光電轉(zhuǎn)換元件構(gòu)成的多個(gè)像素上,重復(fù)配置有基本排列圖案,所述基本排列圖案將最有助于獲得亮度信號(hào)的第I色所對(duì)應(yīng)的第I濾光片和除所述第I色以外的兩種顏色以上的第2色所對(duì)應(yīng)的第2濾光片以預(yù)先規(guī)定的圖案進(jìn)行配置, 所述處理包括如下步驟: 以從所述攝像元件讀出的像素的排列成為與表示所述攝像元件的全部像素的排列的第I排列不同的第2排列的方式讀出沿所述第I方向及所述第2方向中的至少一個(gè)方向以設(shè)定的周期進(jìn)行配置的像素的像素?cái)?shù)據(jù), 對(duì)于所讀出的像素的像素?cái)?shù)據(jù)分別進(jìn)行混色修正的混色修正處理,基于與在所述第I排列上和混色修正的對(duì)象像素相鄰的相鄰像素同色、且在所述第I排列上距所述相鄰像素的距離最短的像素的像素 數(shù)據(jù),來(lái)修正所述對(duì)象像素的像素?cái)?shù)據(jù)。
【文檔編號(hào)】H04N9/07GK104012083SQ201280064837
【公開(kāi)日】2014年8月27日 申請(qǐng)日期:2012年12月27日 優(yōu)先權(quán)日:2011年12月27日
【發(fā)明者】倉(cāng)橋秀和, 山下隼人 申請(qǐng)人:富士膠片株式會(huì)社