度分布的峰值間的偏移也變 大，因此視差量也增加。也就是說，可以認為物點從焦點位置偏移得越多，模糊量和視差量 就增加得越多。
[0056] 如圖4(d)所示，當物點朝接近攝像元件受光面的方向從焦點位置偏移時，與圖 4(c)的狀態(tài)相反，視差Rt像素所表現(xiàn)出的光強度分布的峰值出現(xiàn)在從與像點對應的像素 朝上述一方向遠離的位置。視差Lt像素所表現(xiàn)出的光強度分布的峰值出現(xiàn)在朝與視差Rt 像素中的一方向相反的方向遠離的位置。即，根據(jù)物點的偏移方向決定視差Lt像素及視差 Rt像素所表現(xiàn)出的光強度分布的峰值出現(xiàn)在從與像點對應的像素朝哪個方向遠離的位置。
[0057] 將圖3所說明的光強度分布變化以及圖4所說明的光強度分布變化分別繪圖后如 圖5所示。圖5是表示無視差像素和視差像素的光強度分布的圖。在圖中，橫軸表示像素 位置，中心位置為與像點對應的像素的位置?？v軸表示各像素的輸出值，該輸出值實際上與 光強度成正比，因此在圖中作為光強度表示。
[0058] 另外，如上所述，當物點朝接近攝像元件受光面的方向從焦點位置偏移時表現(xiàn)出 與物點朝遠離攝像元件受光面的方向偏移時相同的光強度分布，因此在圖中，省略了朝接 近攝像元件受光面的方向偏移時的光強度分布的變化。關于物點朝接近攝像元件受光面的 方向從焦點位置偏移時的視差Lt像素及視差Rt像素所表現(xiàn)出的光強度分布的峰值，也與 物點朝遠離攝像元件受光面的方向偏移時的視差Lt像素及視差Rt像素所表現(xiàn)出的光強度 分布的峰值相同，因此也進行了省略。
[0059] 圖5(a)為表不圖3所說明的光強度分布的變化的圖。分布曲線1801表不與圖 3(a)對應的光強度分布，表現(xiàn)出最陡峭的樣子。分布曲線1802表現(xiàn)出與圖3(b)對應的強 度分布，而且，分布曲線1803表現(xiàn)出與圖3(c)對應的光強度分布。與分布曲線1801相比， 可以看到峰值緩慢下降并展寬的樣子。
[0060] 圖5(b)為表不圖4所說明的光強度分布的變化圖。分布曲線1804與分布曲線 1805分別表示圖4(b)的視差Lt像素的光強度分布及視差Rt像素的光強度分布。從圖中 可以看出，這些分布相對于中心位置呈線對稱形狀。而且，將他們相加的合成分布曲線1806 表現(xiàn)出與相對于圖4(b)處于同等離焦狀態(tài)的圖3(b)的分布曲線1802相似的形狀。
[0061] 分布曲線1807和分布曲線1808分別表不圖4(c)的視差Lt像素的光強度分布 和視差Rt像素的光強度分布。從圖中可以看出，這些分布相對于中心位置成線對稱形狀。 而且，將他們相加后的合成分布曲線1809表現(xiàn)出與相對于圖4(c)處于同等離焦狀態(tài)的圖 3(c)的分布曲線1803相似的形狀。另外，圖4(d)的視差Lt像素的光強度分布及視差Rt 像素的光強度分布與圖4(c)的視差Lt像素的光強度分布及視差Rt像素的光強度分布成 為進行了位置替換的關系，分別相當于分布曲線1808及分布曲線1807。
[0062] 圖6為說明當視差像素有兩種時開口部104的開口形狀的圖。圖6(a)表示視差 Lt像素的開口部1041的形狀和視差Rt像素的開口部104i的形狀與用中心線322分割無 視差像素的開口部l〇4n的形狀后的各個形狀相同的例子。也就是說，在圖6(a)中，無視差 像素的開口部l〇4n的面積成為視差Lt像素的開口部1041的面積與視差Rt像素的開口部 104r的面積之和。在本實施方式中，將無視差像素的開口部104n稱為全開口的開口部，將 開口部1041及開口部104r稱為半開口的開口部。當開口部位于光電轉換元件的中央時， 稱為該開口部朝向基準方向。視差Lt像素的開口部1041及視差Rt像素的開口部104i相 對于通過各自對應的光電轉換元件108的中心（像素中心）的假想的中心線322而彼此朝 相反方向移位。因此，視差Lt像素的開口部1041及視差Rt像素的開口部104i分別在相 對于中心線322的一方向以及與該一方向相反的另一方向上產生視差。
[0063] 圖6(b)表示在具有圖6(a)所示各開口部的像素中，物點朝遠離從攝像元件受光 面的方向從焦點位置偏移時的光強度分布。在圖中，橫軸表示像素位置，中心位置為與像點 對應的像素位置。另外，曲線Lt與圖5(b)的分布曲線1804相當，曲線Rt與圖5(b)的分布 曲線1805相當。曲線N與無視差像素相對應，表現(xiàn)出與圖5(b)的合成分布曲線1806相似 的形狀。另外，各個開口部104n、開口部1041、開口部104r發(fā)揮作為開口光圈的功能。因 此，具有面積為開口部1041 (開口部104r)的二倍的開口部104n的無視差像素的模糊寬度 與以圖5(b)的合成分布曲線1806所表示的將視差Lt像素與視差Rt像素相加后的曲線的 模糊寬度的程度相同。
[0064] 圖6(c)表示在圖6(a)所示具有各開口部的像素中，物點朝接近攝像元件受光面 的方向從焦點位置偏移時的光強度分布。在圖中，橫軸表示像素位置，中心位置為與像點對 應的像素位置。具有開口部l〇4n的無視差像素的模糊寬度與將視差Lt像素和視差Rt像 素相加后的曲線的模糊寬度成為同等程度的關系，圖6(c)的曲線Lt、曲線Rt-邊維持著這 種關系，一邊相對于圖6(b)的曲線Lt、曲線Rt進行位置關系的反轉。
[0065]〈景深與非對稱模糊〉
[0066] 以下說明景深與模糊的非對稱性的關系。從圖6(b)、（c)可以很清楚地看到，在非 對焦區(qū)域中，視差像素的模糊寬度比無視差像素的模糊寬度更窄。這意味著通過圖6(a)的 視差像素的開口掩模實質性地使透鏡的入射光束被縮小成右半份和左半份。換言之，可以 說在單一的透鏡光瞳上產生了左右兩個假想光瞳。即，視差像素的開口掩模中的開口面積 起到了與透鏡光圈的效果相等同的作用。
[0067] -般地，當縮小光圈時會拍攝到景深較深的圖像。視差像素中的開口掩模的開口 在水平方向上較短在垂直方向上較長。因此，對縱線等在水平方向上具有頻率分量的被拍 攝體拍攝景深較深的圖像，與此相對，對橫線等在垂直方向上具有頻率分量的被拍攝體拍 攝景深較淺的圖像。
[0068] 圖7為用于說明模糊的非對稱性的圖。例如，當拍攝圖7(a)所示的正方形帖片的 被拍攝體時，在對焦區(qū)域得到圖7(a)這樣的被拍攝體像。在圖7(b)中將由左視差像素和 右視差像素捕捉到的被拍攝體像相結合進行顯示。在非對焦區(qū)域中拍攝到圖7(b)所示的 水平方向模糊較小且縱線看上去比橫線更清晰的被拍攝體像。即，視差像素中的開口掩模 的開口在水平方向與垂直方向上具有非對稱性，因此，被拍攝體像的水平方向與垂直方向 的模糊具有非對稱性。這可以稱為模糊的非各向同性。
[0069] 在將圖7 (b)的左眼用被拍攝體像和右眼用被拍攝體像相重合表示，從3D圖像得 到2D圖像時，在2D圖像中產生了由水平方向清晰的模糊而引起的二線模糊這種不太理想 的模糊（圖7(c))。因此，最好能夠通過圖像處理來實現(xiàn)降低3D圖像顯示用左右視差圖像 的模糊的非對稱性以得到自然模糊的校正，或者實現(xiàn)在2D圖像顯示中得到不出現(xiàn)二線模 糊的自然模糊味的校正。
[0070] 圖8為表示視差圖像及無視差圖像與景深的關系的圖。具體地，圖8為表示以攝 像元件100的像素間距為a[mm]，頻率為f [條/_]，對被拍攝體像的條紋圖案進行拍攝時 的縱線條紋圖案和將其旋轉90°進行拍攝時的橫線條紋圖案的MTF(Modulation Transfer Function，調制傳遞函數(shù)）特性的被拍攝體距離依賴性的圖。縱軸表示MTF，橫軸表示相對 于數(shù)碼相機10的距離d。當以對焦位置的光軸附近的MTF為1時，MTF分布表示在使條紋 圖案從對焦位置前后移動時如何進行衰減。圖8(a)表示無視差圖像（N圖像）中的與固定 頻率的被拍攝體像的被拍攝體距離相關的縱線條紋圖案和橫線條紋圖案的MTF分布。如圖 8(a)所示，在無視差圖像中，縱線條紋圖案與橫線條紋圖案的MTF分布相一致。圖8(b)表 示視差圖像（視差Lt圖像及視差Rt圖像）中的與固定頻率的被拍攝體像的被拍攝體距離 相關的縱線條紋圖案與橫線條紋圖案的MTF分布。圖8(b)所示橫線條紋圖案的MTF分布 與圖8(a)所示橫線條紋圖案的MTF分布相一致。另一方面，可以看出，圖8(b)所示縱線條 紋圖案的MTF分布與圖8 (a)所示縱線條紋圖案的MTF分布相比，較寬地分布有對比度高的 區(qū)間，景深較深。換言之，當使條紋圖案從對焦位置前后移動時，在視差圖像中，橫線條紋圖 案與橫線條紋圖案的對比度不同。這會產生剛才在圖7所示的模糊的非對稱性。
[0071]〈算法的設計準則〉
[0072] 以下對模糊的非對稱性或2D圖像中產生的二線