圖像處理裝置、攝像裝置及圖像處理程序的制作方法
【專利摘要】一種圖像處理裝置包括：輸入通過(guò)一個(gè)光學(xué)系統(tǒng)攝像的被拍體像的第一視點(diǎn)方向上的圖像與第二視點(diǎn)方向上的圖像的至少兩個(gè)視差圖像的單元；在各像素算出第一視點(diǎn)方向上的圖像與第二視點(diǎn)方向上的圖像之間的算術(shù)平均值和幾何平均值的單元；在各像素算出算術(shù)平均值與幾何平均值之比值的單元；以及基于比值針對(duì)各個(gè)像素算出第一視點(diǎn)方向上的圖像和第二視點(diǎn)方向上的圖像之間的視差量的單元。
【專利說(shuō)明】圖像處理裝置、攝像裝置及圖像處理程序

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理裝置、攝像裝置及圖像處理程序。

【背景技術(shù)】
[0002] 已知一種攝像裝置，使用單一拍攝光學(xué)系統(tǒng)通過(guò)一次拍攝生成互相具有視差的左 右視差圖像。
[0003] 現(xiàn)有技術(shù)文獻(xiàn)
[0004] 專利文獻(xiàn)1 :日本專利公開(kāi)：特開(kāi)2003-7994號(hào)公報(bào)


【發(fā)明內(nèi)容】

[0005] 發(fā)明要解決的問(wèn)題：
[0006] 當(dāng)生成涉及左右視差的信息時(shí)，需要對(duì)左右視差圖像中的模糊區(qū)域進(jìn)行圖案匹 配。圖案匹配利用視差圖像中的邊緣部分進(jìn)行。然而，由于在模糊區(qū)域會(huì)抑制邊緣部分，因 此存在圖案匹配精度差的問(wèn)題。
[0007] 解決問(wèn)題的方案：
[0008] 本發(fā)明第一形態(tài)中的圖像處理裝置包括：輸入通過(guò)一個(gè)光學(xué)系統(tǒng)攝像的被拍體像 的第一視點(diǎn)方向上的圖像與第二視點(diǎn)方向上的圖像的至少兩個(gè)視差圖像的單元；在各像素 算出第一視點(diǎn)方向上的圖像與第二視點(diǎn)方向上的圖像之間的算術(shù)平均值和幾何平均值的 單元；在各像素算出算術(shù)平均值與幾何平均值之比值的單元；以及基于比值針對(duì)各個(gè)像素 算出第一視點(diǎn)方向上的圖像和第二視點(diǎn)方向上的圖像之間的視差量的單元。
[0009] 本發(fā)明第二形態(tài)中的圖像處理裝置包括：輸入通過(guò)一個(gè)光學(xué)系統(tǒng)攝像的被拍體像 的第一視點(diǎn)方向上的圖像與第二視點(diǎn)方向上的圖像的至少兩個(gè)視差圖像的單元；在各像素 算出第二視點(diǎn)方向上的圖像與第一視點(diǎn)方向上的圖像之間的差分的單元；相對(duì)于由第一視 點(diǎn)方向上的圖像與第二視點(diǎn)方向上的圖像的平均值構(gòu)成的中間視點(diǎn)圖像，針對(duì)各個(gè)像素算 出在視點(diǎn)發(fā)生變化的方向上具有成分的一階導(dǎo)數(shù)的單元；以及基于差分的符號(hào)與一階導(dǎo)數(shù) 的符號(hào)之積，區(qū)別是比光學(xué)系統(tǒng)的聚焦位置更靠前的被拍體像還是更靠后的被拍體像的單 JLi〇
[0010] 本發(fā)明第三形態(tài)中的圖像處理裝置包括：圖像數(shù)據(jù)取得部，取得通過(guò)至少一部分 共通的光學(xué)系統(tǒng)取得的第一視點(diǎn)所對(duì)應(yīng)的第一圖像數(shù)據(jù)和第二視點(diǎn)所對(duì)應(yīng)的第二圖像數(shù) 據(jù)；以及評(píng)估數(shù)據(jù)生成部，算出第一圖像數(shù)據(jù)與第二圖像數(shù)據(jù)所對(duì)應(yīng)的各個(gè)像素值進(jìn)行相 加運(yùn)算后的值與進(jìn)行相乘運(yùn)算后的值之比值，使第一視點(diǎn)與第二視點(diǎn)的視差相關(guān)的評(píng)估數(shù) 據(jù)與第一圖像數(shù)據(jù)及第二圖像數(shù)據(jù)相對(duì)應(yīng)地生成。
[0011] 本發(fā)明第四形態(tài)中的攝像裝置包括攝像元件及上述圖像處理裝置，第一圖像數(shù)據(jù) 及第二圖像數(shù)據(jù)是基于攝像元件的輸出而生成的。
[0012] 本發(fā)明第五形態(tài)中的圖像處理程序使計(jì)算機(jī)執(zhí)行：圖像數(shù)據(jù)取得步驟，取得通過(guò) 至少一部分共通的光學(xué)系統(tǒng)取得的第一視點(diǎn)所對(duì)應(yīng)的第一圖像數(shù)據(jù)和第二視點(diǎn)所對(duì)應(yīng)的 第二圖像數(shù)據(jù)；以及評(píng)估數(shù)據(jù)生成步驟，算出對(duì)第一圖像數(shù)據(jù)與第二圖像數(shù)據(jù)所對(duì)應(yīng)的各 個(gè)像素值進(jìn)行相加運(yùn)算后的值與進(jìn)行相乘運(yùn)算后的值之比值，使第一視點(diǎn)與第二視點(diǎn)的視 差相關(guān)的評(píng)估數(shù)據(jù)與第一圖像數(shù)據(jù)及第二圖像數(shù)據(jù)相對(duì)應(yīng)地生。
[0013] 另外，上述
【發(fā)明內(nèi)容】
并未列舉出本發(fā)明的全部可能特征，所述特征組的子組合也 有可能構(gòu)成發(fā)明。

【專利附圖】

【附圖說(shuō)明】
[0014] 圖1為說(shuō)明數(shù)碼相機(jī)10的結(jié)構(gòu)的圖。
[0015] 圖2為說(shuō)明攝像元件100的截面結(jié)構(gòu)的圖。
[0016] 圖3為說(shuō)明無(wú)視差像素中的散焦的概念的圖。
[0017] 圖4為說(shuō)明視差像素中的散焦的概念的圖。
[0018] 圖5為表示無(wú)視差像素和視差像素的光強(qiáng)度分布的圖。
[0019] 圖6為說(shuō)明視差像素為兩種時(shí)的開(kāi)口部104的開(kāi)口形狀的圖。
[0020] 圖7為表示非聚焦區(qū)域中存在的物點(diǎn)的點(diǎn)像分布圖。
[0021] 圖8為表示像素排列的一例的圖。
[0022] 圖9為用于說(shuō)明拍攝狀況及拍攝圖像的圖。
[0023] 圖10為說(shuō)明將正值的強(qiáng)度分布作為視差圖的情形的圖。
[0024] 圖11為說(shuō)明將正值的強(qiáng)度分布作為視差圖的情形的圖。
[0025] 圖12為說(shuō)明將正負(fù)值的強(qiáng)度分布作為視差圖的情形的圖。
[0026] 圖13為各表示像素排列的變形的圖。

【具體實(shí)施方式】
[0027] 以下通過(guò)發(fā)明實(shí)施方式對(duì)本發(fā)明進(jìn)行說(shuō)明，但以下實(shí)施方式并非對(duì)權(quán)利要求書(shū)所 涉及的發(fā)明進(jìn)行限定。并且，實(shí)施方式中說(shuō)明的特征組合也并非全部為本發(fā)明的必要特征。
[0028] 作為圖像處理裝置及攝像裝置的一形態(tài)的本實(shí)施方式所述數(shù)碼相機(jī)被構(gòu)成為能 夠針對(duì)一個(gè)場(chǎng)景通過(guò)一次拍攝而生成左視點(diǎn)及右視點(diǎn)的圖像。將視點(diǎn)互不相同的各個(gè)圖像 稱為視差圖像。
[0029] 圖1為說(shuō)明本發(fā)明的實(shí)施方式所述數(shù)碼相機(jī)10的結(jié)構(gòu)的圖。數(shù)碼相機(jī)10具有攝 影透鏡20作為拍攝光學(xué)系統(tǒng)，將沿光軸21入射的被拍體光束引導(dǎo)至攝像元件100。攝影透 鏡20也可以為相對(duì)于數(shù)碼相機(jī)10可拆卸的交換式透鏡。數(shù)碼相機(jī)10包括：攝像元件100、 控制部201、A/D轉(zhuǎn)換電路202、存儲(chǔ)器203、驅(qū)動(dòng)部204、圖像處理部205、存儲(chǔ)卡IF207、操 作部208、顯示部209、以及LCD驅(qū)動(dòng)電路210。
[0030] 另外，如圖所示，將與朝向攝像元件100的光軸21的平行方向定為+Z軸方向，在 與Z軸相垂直的平面中將朝向紙背面方向定為+X軸方向、將紙正面方向定為+Y軸。與拍 攝中的構(gòu)圖的關(guān)系是X軸為水平方向、Y軸為垂直方向。在以下幾個(gè)圖中，以圖1的座標(biāo)軸 為基準(zhǔn)來(lái)顯示座標(biāo)軸，以便理解各個(gè)圖的朝向。
[0031] 攝影透鏡20由多個(gè)光學(xué)透鏡群構(gòu)成，使來(lái)自于場(chǎng)景的被拍體光束在其焦點(diǎn)面附 近成像。另外，在圖1中為了便于說(shuō)明攝影透鏡20,以光瞳附近設(shè)置的假想的一片透鏡為代 表進(jìn)行表示。攝像元件100設(shè)置于攝影透鏡20的焦點(diǎn)面附近。攝像元件100為二維排列 有多個(gè)光電轉(zhuǎn)換元件作為像素的例如CCD、CMOS傳感器等圖像傳感器。攝像元件100由驅(qū) 動(dòng)部204進(jìn)行定時(shí)控制，將受光面上成像的被拍體像轉(zhuǎn)換成圖像信號(hào)輸出給A/D轉(zhuǎn)換電路 202。輸出給A/D轉(zhuǎn)換電路202的圖像信號(hào)包含左視點(diǎn)及右視點(diǎn)的圖像信號(hào)。
[0032] A/D轉(zhuǎn)換電路202將攝像元件100輸出的圖像信號(hào)轉(zhuǎn)換成數(shù)字圖像信號(hào)輸出給存 儲(chǔ)器203。圖像處理部205將存儲(chǔ)器203作為工作空間實(shí)施各種圖像處理，生成圖像數(shù)據(jù)。 例如生成左視點(diǎn)對(duì)應(yīng)的圖像數(shù)據(jù)和右視點(diǎn)對(duì)應(yīng)的圖像數(shù)據(jù)。圖像處理部205還承擔(dān)依照被 選擇的圖像格式調(diào)整圖像數(shù)據(jù)等圖像處理的一般功能。
[0033] 圖像處理部205進(jìn)一步生成與左視點(diǎn)和右視點(diǎn)的視差相關(guān)的評(píng)估數(shù)據(jù)。詳細(xì)將在 以后進(jìn)行說(shuō)明，但評(píng)估數(shù)據(jù)能夠看作是表示被拍體相對(duì)于聚焦位置的景深相關(guān)的位置信息 的視差圖數(shù)據(jù)。
[0034] 由圖像處理部205生成的圖像數(shù)據(jù)由IXD驅(qū)動(dòng)電路210轉(zhuǎn)換成顯示信號(hào)并顯示在 顯示部209。評(píng)估數(shù)據(jù)也可以由顯示部209顯示。另外，所生成的圖像數(shù)據(jù)及評(píng)估數(shù)據(jù)被記 錄在存儲(chǔ)卡IF207上裝設(shè)的存儲(chǔ)卡220中。
[0035] -連串的拍攝序列通過(guò)操作部208受理用戶操作并將操作信號(hào)輸出給控制部201 而開(kāi)始。伴隨著拍攝序列的AF、AE等各種動(dòng)作由控制部201控制執(zhí)行。例如，控制部201 解析評(píng)估數(shù)據(jù)，執(zhí)行使構(gòu)成攝影透鏡20的一部分的聚焦透鏡移動(dòng)的聚焦控制。
[0036] 以下對(duì)攝像元件100的結(jié)構(gòu)進(jìn)行詳細(xì)說(shuō)明。圖2為表示本發(fā)明實(shí)施方式所述攝像 元件1〇〇的截面的概略圖。
[0037] 攝像元件100被構(gòu)成為從被拍體側(cè)依次排列有：微型透鏡101、彩色濾光片102、開(kāi) 口掩模103、布線層105及光電轉(zhuǎn)換元件108。光電轉(zhuǎn)換元件108由將入射光轉(zhuǎn)換為電信號(hào) 的光電二極管構(gòu)成。光電轉(zhuǎn)換元件108在基板109的表面上二維排列有多個(gè)。
[0038] 由光電轉(zhuǎn)換元件108轉(zhuǎn)換的圖像信號(hào)、控制光電轉(zhuǎn)換元件108的控制信號(hào)等通過(guò) 布線層105上設(shè)置的布線106進(jìn)行信號(hào)收發(fā)。另外，具有與各光電轉(zhuǎn)換兀件108 對(duì)應(yīng) 設(shè)置且二維重復(fù)排列的開(kāi)口部104的開(kāi)口掩模103與布線層相接觸。開(kāi)口部104如后所述 針對(duì)對(duì)應(yīng)的各個(gè)光電轉(zhuǎn)換元件108進(jìn)行移位，被嚴(yán)格地地確定相對(duì)位置。詳細(xì)內(nèi)容將在以 后介紹，但通過(guò)具有該開(kāi)口部104的開(kāi)口掩模103的作用在光電轉(zhuǎn)換元件108受光的被拍 體光束上產(chǎn)生視差。
[0039] 另一方面，在不產(chǎn)生視差的光電轉(zhuǎn)換元件108上不存在開(kāi)口掩模103。換言之，設(shè) 置有具有對(duì)朝相應(yīng)光電轉(zhuǎn)換元件108入射的被拍體光束不做限制，也說(shuō)是使全部入射光束 均通過(guò)的開(kāi)口部104的開(kāi)口掩模103。雖然不產(chǎn)生視差，但實(shí)質(zhì)上由布線106形成的開(kāi)口 107規(guī)定了入射的被拍體光束，因此可以將布線106看作是使未產(chǎn)生視差的入射光束的全 體通過(guò)的開(kāi)口掩模。開(kāi)口掩模103既可以對(duì)應(yīng)于各光電轉(zhuǎn)換元件108分別獨(dú)立排列，也可 以與彩色濾光片102的制造過(guò)程相同地相對(duì)于多個(gè)光電轉(zhuǎn)換兀件108統(tǒng)一形成。
[0040] 彩色濾光片102設(shè)置于開(kāi)口掩模103上。彩色濾光片102是與被著色為使特定波 段相對(duì)于各光電轉(zhuǎn)換元件108透過(guò)的、與光電轉(zhuǎn)換元件108的每一個(gè)一一對(duì)應(yīng)設(shè)置的濾光 片。為輸出彩色圖像，可以排列互不相同的至少兩種彩色濾光片，但為取得更高畫(huà)質(zhì)的彩色 圖像可以排列三種種類(lèi)以上的彩色濾光片。例如可以將使紅色波段透過(guò)的紅色濾光片（R 濾光片）、使綠色波段透過(guò)的綠濾光片（G濾光片）、及使藍(lán)色波段透過(guò)的藍(lán)色濾光片（B濾 光片）以格狀排列。彩色濾光片不僅是原色RGB的組合，也可以為YCMg的互補(bǔ)色濾光片的 組合。關(guān)于具體的排列將在以后描述。
[0041] 微型透鏡101設(shè)置于彩色濾光片102上。微型透鏡101為用于將更多的入射的被 拍體光束引導(dǎo)至光電轉(zhuǎn)換元件108的集光透鏡。微型透鏡101與光電轉(zhuǎn)換元件108每一個(gè) 對(duì)應(yīng)設(shè)置。微型透鏡101優(yōu)選考慮攝影透鏡20的光瞳中心與光電轉(zhuǎn)換兀件108的相 對(duì)位置關(guān)系來(lái)移位其光軸，使得更多的被拍體光束被引導(dǎo)至光電轉(zhuǎn)換元件108。進(jìn)一步地， 也可以與開(kāi)口掩模103的開(kāi)口部104的位置一同調(diào)整配置位置，使得后述的特定的被拍體 光束更多地入射。
[0042] 如此一來(lái)，將對(duì)應(yīng)于各個(gè)光電轉(zhuǎn)換元件108--對(duì)應(yīng)設(shè)置的開(kāi)口掩模103、彩色濾 光片102及微型透鏡101的一個(gè)單位稱為像素。尤其是將設(shè)置有產(chǎn)生視差的開(kāi)口掩模103 的像素稱為視差像素，將未設(shè)置有產(chǎn)生視差的開(kāi)口掩模103的像素稱為無(wú)視差像素。例如， 當(dāng)攝像元件100的有效像素區(qū)域?yàn)?4_X16mm左右時(shí)，像素?cái)?shù)達(dá)到1200萬(wàn)左右。
[0043] 另外，當(dāng)采用聚光效率、光電轉(zhuǎn)換效率較好的圖像傳感器時(shí)，也可以不設(shè)置微型透 鏡101。另外，當(dāng)采用背面照射型圖像傳感器時(shí)，布線層105設(shè)置于與光電轉(zhuǎn)換元件108相 反的一側(cè)。另外，如果使開(kāi)口掩模103的開(kāi)口部104上具有色彩成分，便能夠使彩色濾光片 102與開(kāi)口掩模103 -體形成。另外，在輸出黑白圖像信號(hào)即可時(shí)不設(shè)置彩色濾光片102。
[0044] 另外，在本實(shí)施方式中，使開(kāi)口掩模103與布線106分體設(shè)置，但也可以由布線106 承擔(dān)視差像素中的開(kāi)口掩模103的功能。即，由布線106形成所規(guī)定的開(kāi)口形狀，由該開(kāi)口 形狀限制入射光束僅將特定的部分光束引導(dǎo)至光電轉(zhuǎn)換元件108。此時(shí)，形成開(kāi)口形狀的布 線106優(yōu)選位于布線層105中最靠近光電轉(zhuǎn)換元件108的一側(cè)。
[0045] 另外，開(kāi)口掩模103可以由與光電轉(zhuǎn)換元件108重疊設(shè)置的防透射膜形成。此時(shí)， 開(kāi)口掩模103例如將SiN膜與Si02膜依次層疊作為防透射膜，通過(guò)刻蝕將與開(kāi)口部104相 當(dāng)?shù)膮^(qū)域去除。
[0046] 以下說(shuō)明視差Lt像素及視差Rt像素受光時(shí)的散焦概念。首先為針對(duì)無(wú)視差像素 中的散焦概念進(jìn)行簡(jiǎn)單說(shuō)明的圖。圖3為說(shuō)明無(wú)視差像素中的散焦概念的圖。如圖3(a) 所示，當(dāng)作為被拍體的物點(diǎn)存在于焦點(diǎn)位置時(shí)，通過(guò)透鏡光瞳到達(dá)攝像元件受光面的被拍 體光束表示以對(duì)應(yīng)像點(diǎn)的像素為中心陡峭的光強(qiáng)度分布。即，如果接收到通過(guò)透鏡光瞳的 全部有效光束的無(wú)視差像素排列于像點(diǎn)附近，則像點(diǎn)對(duì)應(yīng)的像素的輸出值最大，排列于周 圍的像素的輸出值迅速下降。
[0047] 另一方面，如圖3(b)所示，如果物點(diǎn)朝著遠(yuǎn)離攝像元件受光面的方向從焦點(diǎn)位置 偏移，則與物點(diǎn)存在于焦點(diǎn)位置的情形相比，被拍體光束在攝像元件受光面中表現(xiàn)出平緩 的光強(qiáng)度分布。即，表現(xiàn)出對(duì)應(yīng)像點(diǎn)的像素中的輸出值下降，而且到更靠周?chē)南袼剡€具有 輸出值的分布。
[0048] 如圖3 (c)所示，如果物點(diǎn)進(jìn)一步從焦點(diǎn)位置偏移，則被拍體光束在攝像元件受光 面表現(xiàn)出更平緩的光強(qiáng)度分布。即，表現(xiàn)出對(duì)應(yīng)像點(diǎn)的像素中的輸出值進(jìn)一步下降，而且到 更靠周?chē)南袼剡€具有輸出值的分布。
[0049] 如圖3(d)所示，朝著趨近攝像元件受光面的方向，當(dāng)物點(diǎn)從焦點(diǎn)位置偏移時(shí)，表 現(xiàn)出與物點(diǎn)朝著遠(yuǎn)離攝像元件受光面的方向偏移時(shí)相同的光強(qiáng)度分布。
[0050] 圖4為說(shuō)明視差像素中的散焦概念的圖。視差Lt像素及視差Rt像素接收從作為 透鏡光瞳的部分區(qū)域在各個(gè)光軸對(duì)象上設(shè)定的兩個(gè)視差假想光瞳的任一個(gè)到來(lái)的被拍體 光束。在本說(shuō)明書(shū)中，通過(guò)接收從單一透鏡光瞳中的互不相同假想光瞳到來(lái)的被拍體光束 來(lái)拍攝視差圖像的方式被稱為單眼光瞳分割攝像方式。
[0051] 如圖4(a)所示，當(dāng)作為被拍體的物點(diǎn)存在于焦點(diǎn)位置時(shí)，即使是通過(guò)任意視差假 想光瞳的被拍體光束也表現(xiàn)出以對(duì)應(yīng)像點(diǎn)的像素為中心陡峭的光強(qiáng)度分布。如果在像點(diǎn)附 近排列視差Lt像素，則像點(diǎn)所對(duì)應(yīng)的像素的輸出值最大，排列于周?chē)南袼氐妮敵鲋导眲?下降。而且，即使在像點(diǎn)附近排列有視差Rt像素，像點(diǎn)對(duì)應(yīng)的像素的輸出值也最大，排列于 周?chē)南袼氐妮敵黾眲∠陆?。即，即使被拍體光束通過(guò)任意視差假想光瞳，表現(xiàn)出像點(diǎn)對(duì)應(yīng) 的像素的輸出值也最大、排列于周?chē)南袼氐妮敵鲋导眲∠陆档姆植?，各個(gè)分布互相一致。
[0052] 另一方面，如圖4(b)所示，如果物點(diǎn)朝著遠(yuǎn)離攝像元件受光面的方向從焦點(diǎn)位置 偏移，與物點(diǎn)存在于焦點(diǎn)位置的情形相比，視差Lt像素所表現(xiàn)出的光強(qiáng)度分布的峰值出現(xiàn) 在從像點(diǎn)對(duì)應(yīng)的像素朝一方向離開(kāi)的位置，且該輸出值下降。另外，具有輸出值的像素的寬 度也展寬。即，由于相對(duì)于攝像元件受光面的水平方向具有點(diǎn)像展寬，因此模糊量增加。視 差Rt像素所表現(xiàn)出的光強(qiáng)度分布的峰值從像點(diǎn)對(duì)應(yīng)的像素出現(xiàn)在與視差Lt像素中的一方 向相反的方向且離開(kāi)等距離的位置，同樣地，其輸出值下降。另外，同樣地，具有輸出值的像 素寬度也展寬。即，與物點(diǎn)存在于焦點(diǎn)位置的情形相比變得平緩的同一光強(qiáng)度分布互相以 等距離間隔地出現(xiàn)。視差Lt像素及視差Rt像素所表現(xiàn)出的光強(qiáng)度分布的峰值間的偏移量 相當(dāng)于視差量。
[0053] 另外，如圖4(c)所示，當(dāng)物點(diǎn)進(jìn)一步從焦點(diǎn)位置偏移時(shí)，與圖4(b)的狀態(tài)相比，進(jìn) 一步變得平緩的同一光強(qiáng)度分布更加遠(yuǎn)離地出現(xiàn)。由于點(diǎn)像的展寬變得更大，因此模糊量 增加。另外，視差Lt像素及視差Rt像素所表現(xiàn)出的光強(qiáng)度分布的峰值間的偏移也變大，因 此視差量也增加。也就是說(shuō)可以認(rèn)為物點(diǎn)從焦點(diǎn)位置偏移得越多，模糊量和視差量增加得 就越多。
[0054] 如圖4(d)所示，當(dāng)物點(diǎn)朝著趨近攝像元件受光面的方向從焦點(diǎn)位置偏移時(shí)，與圖 4 (c)的狀態(tài)相反，視差Rt像素表現(xiàn)出的光強(qiáng)度分布的峰值出現(xiàn)在從像點(diǎn)對(duì)應(yīng)的像素往上 述一方向遠(yuǎn)離的位置。視差Lt像素所表現(xiàn)出的光強(qiáng)度分布的峰值出現(xiàn)在朝著與視差Rt像 素中的一方向相反方向遠(yuǎn)離的位置。即，對(duì)應(yīng)于物點(diǎn)的偏移方向來(lái)確定視差Lt像素及視差 Rt像素所表現(xiàn)出的光強(qiáng)度分布的峰值出現(xiàn)在從像點(diǎn)對(duì)應(yīng)像素朝著哪個(gè)方向遠(yuǎn)離的位置。
[0055] 將圖3所說(shuō)明的光強(qiáng)度分布的變化和圖4所說(shuō)明的光強(qiáng)度分布的變化分別進(jìn)行圖 形化并表示在圖5中。圖5為表示無(wú)視差像素與視差像素的光強(qiáng)度分布的圖。在圖中，橫 軸表示像素位置，中心位置為像點(diǎn)對(duì)應(yīng)的像素位置。縱軸表示各像素的輸出值，該輸出值實(shí) 質(zhì)上與光強(qiáng)度成正比，因此在圖中表示為光強(qiáng)度。
[0056] 另外，如上所述，當(dāng)物點(diǎn)朝著趨近攝像元件受光面的方向從焦點(diǎn)位置偏移時(shí)表示 出與物點(diǎn)朝著遠(yuǎn)離攝像元件受光面的方向偏移時(shí)相同的光強(qiáng)度分布，因此，在圖中省略了 朝著趨近攝像元件受光面的方向偏移時(shí)的光強(qiáng)度分布的變化。關(guān)于物點(diǎn)朝著趨近攝像元件 受光面的方向從焦點(diǎn)位置偏移時(shí)的視差Lt像素及視差Rt像素所表現(xiàn)出的光強(qiáng)度分布的峰 值，由于與物點(diǎn)朝著遠(yuǎn)離攝像元件受光面的方向偏移時(shí)的視差Lt像素及視差Rt像素所表 現(xiàn)出的光強(qiáng)度分布的峰值相同，因此進(jìn)行了省略。
[0057] 圖5(a)為表示圖3所說(shuō)明的光強(qiáng)度分布變化的圖形。分布曲線1801表示圖3(a) 對(duì)應(yīng)的光強(qiáng)度分布，示出最陡峭的樣子。分布曲線1802表示圖3(b)對(duì)應(yīng)的光強(qiáng)度分布，并 且，分布曲線1803表示圖3(c)對(duì)應(yīng)的光強(qiáng)度分布。與分布曲線1801相比可以看到，峰值 緩緩下降，具有展寬的樣子。
[0058] 圖5(b)為表示圖4所說(shuō)明的光強(qiáng)度分布變化的圖形。分布曲線1804與分布曲線 1805分別表示圖4(b)的視差Lt像素的光強(qiáng)度分布與視差Rt像素的光強(qiáng)度分布。從圖中 可見(jiàn)，這些分布相對(duì)于中心位置呈線對(duì)稱的形狀。另外，將它們加在一起的合成分布曲線 1806表示與相對(duì)于圖4(b)處于同等散焦?fàn)顟B(tài)的圖3(b)的分布曲線1802相似的形狀。
[0059] 分布曲線1807與分布曲線1808分別表示圖4(c)的視差Lt像素的光強(qiáng)度分布和 視差Rt像素的光強(qiáng)度分布。從圖中可以看出，這些分布也相對(duì)于中心位置呈線對(duì)稱的形 狀。而且，將它們相加而成的合成分布曲線1809表示與相對(duì)于圖4(c)處于同等散焦?fàn)顟B(tài) 的圖3(c)的分布曲線1803相似的形狀。另外，圖4(d)的視差Lt像素的光強(qiáng)度分布與視 差Rt像素的光強(qiáng)度分布由于處于將圖4(c)的視差Lt像素的光強(qiáng)度分布與視差Rt像素的 光強(qiáng)度分布的位置進(jìn)行了交換的關(guān)系，因此分別相當(dāng)于分布曲線1808和分布曲線1807。
[0060] 圖6為說(shuō)明視差像素有兩種時(shí)的開(kāi)口部104的開(kāi)口形狀的圖。圖6(a)表示視差 Lt像素的開(kāi)口部1041的形狀與視差Rt像素的開(kāi)口部104r的形狀，與由中心線322分割無(wú) 視差像素的開(kāi)口部l〇4n的形狀后的各個(gè)形狀相同的例子。也就是說(shuō)，在圖6(a)中，無(wú)視差 像素的開(kāi)口部l〇4n的面積成為視差Lt像素的開(kāi)口部1041的面積與視差Rt像素的開(kāi)口部 104r的面積之和。在本實(shí)施方式中，將無(wú)視差像素的開(kāi)口部104n稱為全開(kāi)口的開(kāi)口部，將 開(kāi)口部1041及開(kāi)口部104r稱為半開(kāi)口的開(kāi)口部。視差Lt像素的開(kāi)口部1041及視差Rt 像素的開(kāi)口部l〇4r相對(duì)于通過(guò)分別對(duì)應(yīng)的光電轉(zhuǎn)換元件108的中心（像素中心）的假想 的中心線322朝互相相反方向偏位。因此，視差Lt像素的開(kāi)口部1041及視差Rt像素的開(kāi) 口部104r分別在相對(duì)于中心線322的一方向及與該一方向相反的另一方向上產(chǎn)生視差。 [0061] 圖6(b)表示在具有圖6(a)所示各開(kāi)口部的像素中，物點(diǎn)朝著遠(yuǎn)離攝像元件受光 面的方向從焦點(diǎn)位置偏移時(shí)的光強(qiáng)度分布。在圖中，橫軸表示像素位置，中心位置為像點(diǎn)對(duì) 應(yīng)的像素位置。另外，曲線Lt與圖5(b)的分布曲線1804、曲線Rt與圖5(b)的分布曲線 1805分別相當(dāng)。曲線N與無(wú)視差像素對(duì)應(yīng)，表示與圖5(b)的合成分布曲線1806相似的形 狀。另外，各個(gè)開(kāi)口部l〇4n、開(kāi)口部1041、開(kāi)口部104r發(fā)揮作為開(kāi)口光圈的功能。因此，包 含具有開(kāi)口部1041 (開(kāi)口部104r)的成倍面積的開(kāi)口部104n的無(wú)視差像素的模糊寬度與 以圖5 (b)的合成分布曲線1806表示的Lt像素與視差Rt像素相加后的曲線的模糊寬度程 度相問(wèn)。
[0062] 圖6(c)表示在具有圖6(a)所示各開(kāi)口部的像素中，物點(diǎn)朝著趨近攝像元件受光 面的方向從焦點(diǎn)位置偏移時(shí)的光強(qiáng)度分布。在圖中，橫軸表示像素位置，中心位置為像點(diǎn)對(duì) 應(yīng)的像素位置。圖6(c)的曲線Lt、曲線Rt保持著具有開(kāi)口部104n的無(wú)視差像素的模糊寬 度成為與Lt像素和視差Rt像素相加曲線的模糊寬度同等程度的關(guān)系，位置關(guān)系相對(duì)于圖 6(b)的曲線Lt、曲線Rt進(jìn)行了顛倒。
[0063] 以下針對(duì)視差檢測(cè)方法的思考方法進(jìn)行敘述。詳細(xì)內(nèi)容將在以后敘述，在單眼光 瞳分割攝像方式中，如果推測(cè)被拍體像的模糊寬度便能等價(jià)地檢測(cè)到視差量。
[0064] 圖7為表示存在于非聚焦區(qū)域的物點(diǎn)的點(diǎn)像分布圖。在圖中，橫軸表示像素位置， 中心位置為像點(diǎn)對(duì)應(yīng)的像素位置?？v軸表示像素值。在圖7(a)、(b)中，左視點(diǎn)的點(diǎn)像分布Lt和右視點(diǎn)的點(diǎn)像分布Rt表示圖6所示的左右視差像素的開(kāi)口部為半開(kāi)口時(shí)在水平方向 上的模糊寬度。
[0065] 圖7 (a)的左視點(diǎn)的點(diǎn)像分布Lt與右視點(diǎn)的點(diǎn)像分布Rt用像素位置x的函數(shù)進(jìn) 行表示。左視點(diǎn)的點(diǎn)像分布Lt與右視點(diǎn)的點(diǎn)像分布Rt的算術(shù)平均也用像素位置x的函數(shù) 進(jìn)行表示。例如，在像素位置xl處，Lt和Rt均具有像素值，因此，運(yùn)算結(jié)果為正值。在像 素位置x2處，雖然Lt不具有像素值，但由于Rt具有像素值，因此運(yùn)算結(jié)果也還是正值。如 上所述，當(dāng)計(jì)算算術(shù)平均時(shí)，只要Lt與Rt的任意一個(gè)具有像素值，則其運(yùn)算結(jié)果均為正值。 因此，各像素位置處的點(diǎn)像分布Lt與點(diǎn)像分布Rt的算術(shù)平均從整體上來(lái)看，如圖7 (a)所 示為點(diǎn)像分布Lt與Rt的展寬寬度之和。這相當(dāng)于具有圖6所示全開(kāi)口的開(kāi)口部的無(wú)視差 像素所對(duì)應(yīng)的模糊寬度。
[0066] 另外，算術(shù)平均為用于獲得點(diǎn)像分布Lt與Rt的展寬寬度之和的運(yùn)算的一例。只 要能夠獲得點(diǎn)像分布Lt與Rt的展寬寬度之和，也可以利用其他運(yùn)算。
[0067] 左視點(diǎn)的點(diǎn)像分布Lt與右視點(diǎn)的點(diǎn)像分布Rt的幾何平均也用像素位置x的函數(shù) 進(jìn)行表示。例如，在像素位置xl處，Lt和Rt均具有像素值，因此運(yùn)算結(jié)果為正值。另一方 面，在像素位置x2中，Rt雖然具有像素值，但由于Lt不具有像素值，運(yùn)算結(jié)果為0。如以上 所述，當(dāng)計(jì)算幾何平均時(shí)，Lt與Rt的任意一個(gè)具有像素值時(shí)，即運(yùn)算結(jié)果為正值。因此，各 像素位置處的點(diǎn)像分布Lt與點(diǎn)像分布Rt的幾何平均從整體上來(lái)看，如圖7 (b)所示，成為 點(diǎn)像分布Lt與Rt的展寬寬度之積。幾何平均的展寬寬度與算術(shù)平均相比變窄，當(dāng)視差量 增加時(shí)會(huì)相對(duì)地進(jìn)一步變小，因此可以認(rèn)為在視差量上具有相關(guān)性。
[0068] 另外，幾何平均為用于獲得點(diǎn)像分布Lt與Rt的展寬寬度之積的運(yùn)算的一例。只 要能夠獲得點(diǎn)像分布Lt與Rt的展寬寬度之積，也可以利用其他運(yùn)算。另外，一般地，被拍 體可以考慮物點(diǎn)的集合，因此，圖像可以說(shuō)是點(diǎn)像對(duì)各物點(diǎn)的積分。因此可以考慮圖像的模 糊與上述點(diǎn)像分布的模糊相同。
[0069] 被拍體像的模糊寬度根據(jù)適用算術(shù)平均和幾何平均中的哪一種而有所不同。另 一方面，圖像結(jié)構(gòu)無(wú)論適用算術(shù)平均和幾何平均中的哪一種均無(wú)變化。也就是說(shuō)，在將實(shí) 際被拍體中的左視差圖像與右視差圖像平均化時(shí)，根據(jù)適用算術(shù)平均和幾何平均中的哪一 種，能夠在生成在相同的像素位置處具有相同圖像結(jié)構(gòu)的被拍體像的同時(shí)，形成模糊寬度 不同的被拍體像。將其進(jìn)行模型化表示時(shí)，以實(shí)現(xiàn)被拍體像的點(diǎn)像分布函數(shù)完全由德?tīng)査?函數(shù)S(X，y)表示的理想成像的被拍體的圖像結(jié)構(gòu)分布作為I(X，y)，以由光學(xué)系統(tǒng)的幾 何平均引起的模糊寬度的點(diǎn)像分布函數(shù)作為BAND(X，y)，以由算術(shù)平均引起的模糊寬度的 點(diǎn)像分布函數(shù)作為BmU，y)，通過(guò)如下所示來(lái)求出被拍體像的點(diǎn)像分布函數(shù)的模糊寬度比 R(x，y)。此處，以左視點(diǎn)的視差像素的點(diǎn)像分布函數(shù)為Bjx，y)，以右視點(diǎn)的視差像素的點(diǎn) 像分布函數(shù)為BK(x，y)，這樣一來(lái)，左視差圖像表示為

【權(quán)利要求】
1. 一種圖像處理裝置，其特征在于，包括： 輸入通過(guò)一個(gè)光學(xué)系統(tǒng)攝像的被拍體像的第一視點(diǎn)方向上的圖像與第二視點(diǎn)方向上 的圖像至少這兩個(gè)視差圖像的單元； 在各像素算出所述第一視點(diǎn)方向上的圖像與所述第二視點(diǎn)方向上的圖像之間的算術(shù) 平均值和幾何平均值的單元； 在各像素算出所述算術(shù)平均值與所述幾何平均值之比值的單元；以及 基于所述比值針對(duì)各個(gè)像素算出所述第一視點(diǎn)方向上的圖像和所述第二視點(diǎn)方向上 的圖像之間的視差量的單元。
2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，包括： 在各像素算出所述第二視點(diǎn)方向上的圖像與所述第一視點(diǎn)方向上的圖像之間的差分 的單元； 相對(duì)于由所述第一視點(diǎn)方向上的圖像與所述第二視點(diǎn)方向上的圖像的平均值構(gòu)成的 中間視點(diǎn)圖像，針對(duì)各個(gè)像素算出在所述視點(diǎn)發(fā)生變化的方向上具有成分的一階導(dǎo)數(shù)的單 元；以及 將基于所述差分的符號(hào)與所述一階導(dǎo)數(shù)的符號(hào)之積，區(qū)別是比所述光學(xué)系統(tǒng)的聚焦位 置更靠前的被拍體像還是更靠后的被拍體像的符號(hào)附加于所述視差量上的單元。
3. -種圖像處理裝置，其特征在于，包括： 輸入通過(guò)一個(gè)光學(xué)系統(tǒng)攝像的被拍體像的第一視點(diǎn)方向上的圖像與第二視點(diǎn)方向上 的圖像的至少兩個(gè)視差圖像的單元； 在各像素算出所述第二視點(diǎn)方向上的圖像與所述第一視點(diǎn)方向上的圖像之間的差分 的單元； 相對(duì)于由所述第一視點(diǎn)方向上的圖像與所述第二視點(diǎn)方向上的圖像的平均值構(gòu)成的 中間視點(diǎn)圖像，針對(duì)各個(gè)像素算出在所述視點(diǎn)發(fā)生變化的方向上具有成分的一階導(dǎo)數(shù)的單 元；以及 基于所述差分的符號(hào)與所述一階導(dǎo)數(shù)的符號(hào)之積，區(qū)別是比所述光學(xué)系統(tǒng)的聚焦位置 更靠前的被拍體像還是更靠后的被拍體像的單元。
4. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于： 所述第一視點(diǎn)方向的圖像對(duì)應(yīng)于左視點(diǎn)圖像，所述第二視點(diǎn)方向的圖像對(duì)應(yīng)于右視點(diǎn) 圖像，沿著從左到右變化的方向取得所述一階導(dǎo)數(shù)時(shí)， 所述差分的符號(hào)與所述一階導(dǎo)數(shù)的符號(hào)之積顯示為正值時(shí)，判斷為比所述光學(xué)系統(tǒng)的 聚焦位置更靠前的被拍體像，當(dāng)顯示為負(fù)值時(shí)，判斷為比所述光學(xué)系統(tǒng)的聚焦位置更靠后 的被拍體像。
5. 根據(jù)權(quán)利要求1或3所述的圖像處理裝置，其特征在于：所述第一視點(diǎn)方向的圖像 與所述第二視點(diǎn)方向的圖像是使用攝像元件攝像的圖像，該攝像元件的一個(gè)攝像面上周期 性配置有如下第一視差像素和第二視差像素至少這兩種像素： 所述第一視差像素具有使通過(guò)所述一個(gè)光學(xué)系統(tǒng)入射到一個(gè)攝像面的入射光束中的、 第一視點(diǎn)方向的部分光束通過(guò)的開(kāi)口掩模，所述第二視差像素具有使所述入射光束中的第 二視點(diǎn)方向的部分光束通過(guò)的開(kāi)口掩模。
6. -種圖像處理裝置，其中，包括： 圖像數(shù)據(jù)取得部，取得通過(guò)至少一部分共通的光學(xué)系統(tǒng)取得的第一視點(diǎn)所對(duì)應(yīng)的第一 圖像數(shù)據(jù)和第二視點(diǎn)所對(duì)應(yīng)的第二圖像數(shù)據(jù)；以及 評(píng)估數(shù)據(jù)生成部，算出所述第一圖像數(shù)據(jù)與所述第二圖像數(shù)據(jù)所對(duì)應(yīng)的各個(gè)像素值進(jìn) 行相加運(yùn)算后的值與進(jìn)行相乘運(yùn)算后的值之比值，使所述第一視點(diǎn)與所述第二視點(diǎn)的視差 相關(guān)的評(píng)估數(shù)據(jù)與所述第一圖像數(shù)據(jù)及所述第二圖像數(shù)據(jù)相對(duì)應(yīng)地生成。
7. 根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，所述評(píng)估數(shù)據(jù)生成部算出所述各個(gè)像 素值的算術(shù)平均值作為所述相加運(yùn)算后的值，算出所述各個(gè)像素值的幾何平均值作為所述 相乘運(yùn)算后的值。
8. 根據(jù)權(quán)利要求6或7所述的圖像處理裝置，其中，所述評(píng)估數(shù)據(jù)生成部進(jìn)行運(yùn)算，使 得被拍體相對(duì)于所述光學(xué)系統(tǒng)的聚焦位置的前后關(guān)系表示為所述比值的正負(fù)。
9. 根據(jù)權(quán)利要求8所述的圖像處理裝置，其中，所述評(píng)估數(shù)據(jù)生成部在所述比值上乘 以所述各個(gè)像素值的差分值以及所述相加運(yùn)算后的值在視差方向上的微分值進(jìn)行運(yùn)算。
10. -種攝像裝置，包括： 攝像元件；以及 權(quán)利要求6?9中任一項(xiàng)所述的圖像處理裝置； 其中，所述第一圖像數(shù)據(jù)及第二圖像數(shù)據(jù)是基于所述攝像元件的輸出而生成的。
11. 一種圖像處理程序，使計(jì)算機(jī)執(zhí)行： 圖像數(shù)據(jù)取得步驟，取得通過(guò)至少一部分共通的光學(xué)系統(tǒng)取得的第一視點(diǎn)所對(duì)應(yīng)的第 一圖像數(shù)據(jù)和第二視點(diǎn)所對(duì)應(yīng)的第二圖像數(shù)據(jù)；以及 評(píng)估數(shù)據(jù)生成步驟，算出對(duì)所述第一圖像數(shù)據(jù)與所述第二圖像數(shù)據(jù)所對(duì)應(yīng)的各個(gè)像素 值進(jìn)行相加運(yùn)算后的值與進(jìn)行相乘運(yùn)算后的值之比值，使所述第一視點(diǎn)與所述第二視點(diǎn)的 視差相關(guān)的評(píng)估數(shù)據(jù)與所述第一圖像數(shù)據(jù)及所述第二圖像數(shù)據(jù)相對(duì)應(yīng)地生成。
12. -種圖像處理裝置，包括： 圖像數(shù)據(jù)取得部，通過(guò)至少一部分共通的光學(xué)系統(tǒng)取得的第一視點(diǎn)所對(duì)應(yīng)的第一圖像 數(shù)據(jù)及第二視點(diǎn)所對(duì)應(yīng)的第二圖像數(shù)據(jù)； 生成部，通過(guò)互不相同的平均化處理消除所述第一圖像數(shù)據(jù)及所述第二圖像數(shù)據(jù)的視 差信息，為排除圖像結(jié)構(gòu)而對(duì)比所述平均化處理的結(jié)果，由此生成新視差相關(guān)的數(shù)據(jù)并生 成視差圖。
【文檔編號(hào)】G01C3/06GK104322061SQ201380026360
【公開(kāi)日】2015年1月28日 申請(qǐng)日期:2013年6月14日 優(yōu)先權(quán)日:2012年6月22日
【發(fā)明者】石賀健一 申請(qǐng)人:株式會(huì)社尼康