本公開涉及攝像裝置和攝像方法，并且尤其涉及能夠高精度地估計具有重復(fù)圖案的圖像的深度的攝像裝置和攝像方法。

背景技術(shù)：

攝像裝置如光場相機(jī)和用于根據(jù)多基線立體方法來估計深度的相機(jī)(被稱為多基線立體相機(jī))包括用于對來自不同視點的圖像進(jìn)行成像的多個相機(jī)。然后，攝像裝置通過對預(yù)定相機(jī)的捕獲圖像和另一相機(jī)的捕獲圖像執(zhí)行塊匹配來估計捕獲圖像中的對象的深度。

作為具有多個相機(jī)的攝像裝置，以非等間隔來布置具有多個相機(jī)的攝像裝置(例如，參考專利文獻(xiàn)1)。

引用列表

專利文獻(xiàn)

專利文獻(xiàn)1：日本專利申請?zhí)亻_第11-125522號

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的問題

同時，在由人創(chuàng)建的世界如房間的內(nèi)部和城市風(fēng)景中，包括大量的簡單重復(fù)圖案。因此，如果使用這樣的世界作為攝像裝置如光場相機(jī)和多基線立體相機(jī)的對象并且執(zhí)行塊匹配，則具有高相關(guān)度的塊重復(fù)出現(xiàn)，并且難以精確地估計深度。

本公開是在考慮以上情形的情況下做出的，并且可以高精度地估計具有重復(fù)圖案的圖像的深度。

問題的解決方案

根據(jù)本公開的第一方面的攝像裝置是包括多個成像單元的攝像裝置，多個成像單元根據(jù)基于不同素數(shù)的倒數(shù)的基線長度來布置，使用當(dāng)對來自不同視點的圖像進(jìn)行成像時要作為基準(zhǔn)的成像單元的位置作為基準(zhǔn)。

在本公開的第一方面中，包括多個成像單元，多個成像單元根據(jù)基于不同素數(shù)的倒數(shù)的基線長度來布置，使用當(dāng)對來自不同視點的圖像進(jìn)行成像時要作為基準(zhǔn)的成像單元的位置作為基準(zhǔn)。

根據(jù)本公開的第二方面的攝像方法是包括下述步驟的攝像方法：由多個成像單元和要作為基準(zhǔn)的成像單元對來自不同視點的圖像進(jìn)行成像，使用當(dāng)對來自不同視點的圖像進(jìn)行成像時要作為基準(zhǔn)的成像單元的位置作為基準(zhǔn)并根據(jù)基于不同素數(shù)的倒數(shù)的基線長度來布置多個成像單元和要作為基準(zhǔn)的成像單元。

在本公開的第二方面中，使用當(dāng)對來自不同視點的圖像進(jìn)行成像時要作為基準(zhǔn)的成像單元的位置作為基準(zhǔn)并根據(jù)基于不同素數(shù)的倒數(shù)的基線長度來布置的多個成像單元和要作為基準(zhǔn)的成像單元對來自不同視點的圖像進(jìn)行成像。

素數(shù)的倒數(shù)并不嚴(yán)格是素數(shù)的倒數(shù)的值，而意指可以獲得本公開的效果的范圍內(nèi)的值——包括素數(shù)的倒數(shù)的值。

本發(fā)明的效果

根據(jù)本公開的第一方面和第二方面，可以對圖像進(jìn)行成像。此外，根據(jù)本公開的第一方面和第二方面，可以高精度地估計具有重復(fù)圖案的圖像的深度。

注意，本文描述的效果不受限制，并且效果可以是本公開中描述的任何效果。

附圖說明

圖1是立體相機(jī)中包含的相機(jī)的示例性布置的透視圖。

圖2是圖1中的立體相機(jī)捕獲的示例性捕獲圖像的圖。

圖3是光場相機(jī)中包含的相機(jī)的示例性布置的透視圖。

圖4是圖3中的基準(zhǔn)相機(jī)和外圍相機(jī)捕獲的示例性捕獲圖像的圖。

圖5是基線長度x1是基線長度x2的兩倍的情況下示例性相關(guān)值的圖。

圖6是基線長度x1是基線長度x2的兩分之三的情況下示例性相關(guān)值的圖。

圖7是作為應(yīng)用本公開的攝像裝置的光場相機(jī)的一個實施例的示例性配置的框圖。

圖8是圖7中的成像單元的示例性配置的框圖。

圖9是圖7中的成像單元的基準(zhǔn)相機(jī)和外圍相機(jī)的第一布置示例的透視圖。

圖10是圖7中的成像單元的基準(zhǔn)相機(jī)和外圍相機(jī)的第二布置示例的透視圖。

圖11是圖7中的成像單元的基準(zhǔn)相機(jī)和外圍相機(jī)的第三布置示例的透視圖。

圖12是圖7中的成像單元的基準(zhǔn)相機(jī)和外圍相機(jī)的第四布置示例的透視圖。

圖13是圖7中的成像單元的基準(zhǔn)相機(jī)和外圍相機(jī)的第五布置示例的透視圖。

圖14是描述圖9至圖13中分別所示的基準(zhǔn)相機(jī)和外圍相機(jī)的第一至第五布置示例以及由以上布置獲得的效果的表。

圖15是描述成像處理的流程圖。

圖16是計算機(jī)的硬件的示例性配置的框圖。

圖17是車輛控制系統(tǒng)的示例性示意性配置的框圖。

圖18是外部信息檢測部和成像單元的示例性設(shè)置位置的說明圖。

具體實施方式

下面描述本公開的前提和用于執(zhí)行本公開的實施例(以下稱為實施例)。注意，將按照下面的順序來描述。

0.本公開的前提(圖1至圖4)

1.本技術(shù)的概述(圖5和圖6)

2.第一實施例：光場相機(jī)(圖7至圖15)

3.第二實施例：計算機(jī)(圖16)

4.修改(圖17和圖18)

<本公開的前提>

(立體相機(jī)中包含的相機(jī)的示例性布置)

圖1是立體相機(jī)中包含的相機(jī)的示例性布置的透視圖。

圖1中的立體相機(jī)10包括兩個相機(jī)11和12，并且相機(jī)11和12沿水平方向(x方向)對齊。

(由立體相機(jī)捕獲的示例性捕獲圖像)

圖2是圖1中的立體相機(jī)10捕獲的示例性捕獲圖像的圖。

在圖2的示例中，捕獲圖像31由立體相機(jī)10的相機(jī)11捕獲，并且捕獲圖像32由相機(jī)12捕獲。

在這種情況下，在捕獲圖像31中的塊41與捕獲圖像32中的存在于塊41的極線42上的多個塊43之間依次執(zhí)行塊匹配。此外，基于在水平方向上具有最高相關(guān)性的塊41與塊43的位置之間的差異來估計捕獲圖像31中的對象的深度。

然而，如圖2中所示，在捕獲圖像31和32具有在水平方向和垂直方向上包括重復(fù)圖案的方格圖案51并且方格圖案51中的空間小時，與塊41具有高相關(guān)性的塊43以預(yù)定的間隔出現(xiàn)。因此，極可能選擇不正確的塊43作為與塊41具有最高相關(guān)性的塊，并且難以精確地估計深度。

(光場相機(jī)中包含的相機(jī)的示例性布置)

圖3是光場相機(jī)中包含的相機(jī)的示例性布置的透視圖。

圖3中的光場相機(jī)90包括單個基準(zhǔn)相機(jī)100和七個外圍相機(jī)101至107?；鶞?zhǔn)相機(jī)100和外圍相機(jī)101至107布置在xy平面上，其中，將基準(zhǔn)相機(jī)100的位置定義為原點(0,0)。外圍相機(jī)101至107的位置的坐標(biāo)是(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)、(x5,y5)、(x6,y6)和(x7,y7)。

(由光場相機(jī)捕獲的示例性捕獲圖像)

圖4是由圖3中的基準(zhǔn)相機(jī)100以及外圍相機(jī)101和102捕獲的示例性捕獲圖像的圖。

在圖4的示例中，在由基準(zhǔn)相機(jī)100捕獲的捕獲圖像140中，存在具有xr像素間隔的豎條紋的重復(fù)圖案。在這種情況下，外圍相機(jī)101捕獲捕獲圖像141，并且外圍相機(jī)102捕獲捕獲圖像142。

當(dāng)估計捕獲圖像140中重復(fù)圖案中的位置(x0,y0)的深度時，通過下面的公式(1)來計算捕獲圖像141中的在塊151的極線152上的與塊151匹配的塊153的中心位置(x1,y1)，所述塊151以位置(x0,y0)為中心。

[數(shù)學(xué)公式1]

注意，d是指示與塊151和153對應(yīng)的視差的視差值以及指示存在于塊151和153二者中的對象在深度方向上的位置的值。將零或更大的整數(shù)依次代入視差值d中。利用以上代入，捕獲圖像141中的在塊151的極線152上的塊被依次假定為塊153。此外，a是用于確定塊153的移動量的可選系數(shù)。

類似地，當(dāng)估計捕獲圖像140中位置(x0,y0)的深度時，通過下面的公式(2)來計算捕獲圖像142中的在塊151的極線154上的與塊151匹配的塊155的中心位置(x2,y2)。

[數(shù)學(xué)公式2]

此外，與中心位置(x1,y1)類似地計算外圍相機(jī)103至107的捕獲圖像中的每個捕獲圖像中的要與塊151匹配的塊的中心位置。因此，由下面的公式(3)來表示由相應(yīng)的外圍相機(jī)101至107捕獲的捕獲圖像中的要與塊151匹配的塊的中心位置(xn,yn)(n＝1、2、……和7)。

[數(shù)學(xué)公式3]

然后，在采用絕對差和之和(sad之和(ssad))、平方差和之和(ssd值和(sssd))等作為用于估計深度的方法時，對塊151和153依次執(zhí)行塊匹配，并且針對每個塊153獲取相關(guān)值。然后，保持每個塊153的相關(guān)值與對應(yīng)于塊153的視差值d相關(guān)聯(lián)。

此外，類似地，關(guān)于塊155，對塊151和155依次執(zhí)行塊匹配，并且保持相關(guān)值與視差值d相關(guān)聯(lián)。還對由基準(zhǔn)相機(jī)100和外圍相機(jī)103至107捕獲的捕獲圖像執(zhí)行塊匹配。然后，針對每個視差值d，相加外圍相機(jī)101至107的捕獲圖像的所有保持的相關(guān)值，并且使用具有最大總值的視差值d作為深度估計結(jié)果。此處，注意，相關(guān)性越高，則相關(guān)值越大。

此處，當(dāng)假定d的范圍等于或大于零并且等于或小于dmax時，由下面的公式(4)來表示xn和yn的移動量，也就是塊匹配搜索范圍的寬度xwn和ywn。

[數(shù)學(xué)公式4]

因此，當(dāng)捕獲圖像140中包含的重復(fù)圖案中x方向和y方向上的間隔分別大于寬度xwn和ywn時，塊匹配搜索范圍中包含的重復(fù)圖案的數(shù)目等于或小于1。因此，不會發(fā)生由重復(fù)圖案引起的深度估計的不正確識別。

根據(jù)以上描述，為了防止由重復(fù)圖案引起的深度估計的不正確識別，有必要減小xn和yn(n＝1、2、……和7)以盡可能地減小寬度xwn和ywn，xn和yn是基準(zhǔn)相機(jī)100和外圍相機(jī)101至107在x方向和y方向上的基線長度。然而，當(dāng)減小基線長度xn和基線長度yn時，視差值的三角測量的精度將會惡化。因此，難以高精度地估計具有重復(fù)圖案的圖像的深度。

<本技術(shù)的概述>

(外圍相機(jī)的基線長度與相關(guān)值之間的關(guān)系)

圖5是在基線長度x1是基線長度x2的兩倍的情況下，也就是說在水平方向上等間隔布置基準(zhǔn)相機(jī)100以及外圍相機(jī)101和102的情況下，塊151和塊153以及塊151和塊155的示例性相關(guān)值的圖。

注意，在圖5中，水平軸指示與塊151和153或者塊151和155對應(yīng)的視差值d，并且垂直軸指示與視差值d對應(yīng)的相關(guān)值。這類似地應(yīng)用于稍后要描述的圖6。

此外，圖5的a是示出塊151和153的相關(guān)值的曲線圖，并且圖5的b是示出塊151和155的相關(guān)值的曲線圖。圖5的c是示出通過將塊151和153的相關(guān)值與塊151和155的相關(guān)值相加而獲得的總相關(guān)值(ssad)的曲線圖。

在基線長度x1是基線長度x2的兩倍的情況下，如果根據(jù)上述公式(1)和(2)塊155的x坐標(biāo)x2移動xr，則塊153的x坐標(biāo)x1移動2xr。

因此，如圖5的b所示，在塊151和155的相關(guān)值的峰值以每個周期dw出現(xiàn)的情況下，如圖5的a所示，塊151和153的相關(guān)值的峰值以周期dw的一半的每個周期出現(xiàn)。也就是說，當(dāng)基準(zhǔn)相機(jī)100與外圍相機(jī)之間的基線長度被加倍時，相關(guān)值的峰值的周期變成一半，其是兩倍的倒數(shù)。此外，塊151和153的相關(guān)值的峰值的相位與塊151和155的相關(guān)值的峰值的相位同步。

根據(jù)以上，如圖5的c所示，通過將塊151和153的相關(guān)值與塊151和155的相關(guān)值相加而獲得的具有大的總相關(guān)值的峰值以與塊151和155的相關(guān)值的峰值的視差值d相同的視差值d出現(xiàn)。也就是說，具有大的總相關(guān)值的峰值的周期是周期dw，其是周期1/2dw和周期dw的最小公倍數(shù)。

圖6是基線長度x1是基線長度x2的兩分之三的情況下塊151和153以及塊151和155的示例性相關(guān)值的圖。

此外，圖6的a是塊151和153的相關(guān)值的曲線圖，并且圖6的b是塊151和155的相關(guān)值的曲線圖。圖6的c是通過將塊151和153的相關(guān)值與塊151和155的相關(guān)值相加而獲得的總相關(guān)值的曲線圖。

在基線長度x1是基線長度x2的二分之三的情況下，根據(jù)上述公式(1)和(2)如果塊155的x坐標(biāo)x2移動xr，則塊153的x坐標(biāo)x1移動3/2xr。

因此，如圖6的b所示，在塊151和155的相關(guān)值的峰值以每個周期dw出現(xiàn)的情況下，如圖6的a所示，塊151和153的相關(guān)值的峰值以每個周期2/3dw出現(xiàn)。也就是說，如果基準(zhǔn)相機(jī)100與外圍相機(jī)之間的基線長度變成3/2，則相關(guān)值的峰值的周期變成2/3，其是3/2的倒數(shù)。此外，塊151和153的相關(guān)值的峰值的相位與塊151和155的相關(guān)值的峰值的相位同步。

根據(jù)以上，如圖6的c所示，通過將塊151和153的相關(guān)值與塊151和155的相關(guān)值相加而獲得的具有大的總相關(guān)值的峰值以每個周期2dw出現(xiàn)，其是塊151和155的相關(guān)值的峰值的周期dw的兩倍。也就是說，具有大的總相關(guān)值的峰值的周期是周期2dw，其是周期2/3dw和周期dw的最小公倍數(shù)。周期2dw等于基線長度是基線長度x2的一半的基準(zhǔn)相機(jī)100和外圍相機(jī)的捕獲圖像的相關(guān)值的峰值的周期。

此外，在圖5和圖6中，已經(jīng)描述了外圍相機(jī)101和外圍相機(jī)102的相關(guān)值。然而，其他兩個外圍相機(jī)的相關(guān)值與上述相關(guān)值類似。

如上所述，在捕獲圖像140中存在垂直條紋重復(fù)圖案的情況下，基準(zhǔn)相機(jī)100和外圍相機(jī)101至107在水平方向上的基線長度xn的比率的倒數(shù)是相關(guān)值的峰值的周期的比率。此外，與外圍相機(jī)101至107分別對應(yīng)的相關(guān)值的峰值的周期的最小公倍數(shù)是具有大的總相關(guān)值的峰值的周期。

此外，雖然未示出，但是在捕獲圖像140中存在水平條紋重復(fù)圖案的情況下，與存在垂直條紋重復(fù)圖案的情況類似，基準(zhǔn)相機(jī)100和外圍相機(jī)101至107在垂直方向上的基線長度yn的比率的倒數(shù)是相關(guān)值的峰值的周期的比率。此外，與外圍相機(jī)101至107分別對應(yīng)的相關(guān)值的峰值的周期的最小公倍數(shù)是具有大的總相關(guān)值的峰值的周期。

因此，本技術(shù)通過將基準(zhǔn)相機(jī)和外圍相機(jī)之間的水平方向和垂直方向上的基線長度的比率中的至少一個比率求微分，在不減小基線長度的情況下延長了具有大的總相關(guān)值的峰值的生成周期。這可以減小寬度xwn和ywn，使得重復(fù)圖案的寬度變得大于寬度xwn和ywn，而不減小視差值的三角測量的精度。因此，不會發(fā)生由重復(fù)圖案引起的深度估計的不正確識別，并且可以高精度地估計深度。

此處，如上所述，具有大的總相關(guān)值的峰值的周期是與相應(yīng)外圍相機(jī)對應(yīng)的相關(guān)值的峰值的最小公倍數(shù)。因此，通過使與相應(yīng)外圍相機(jī)對應(yīng)的相關(guān)值的峰值的周期的比率較接近素數(shù)比率，可以高效地延長具有大的總相關(guān)值的峰值的周期。

例如，如果與四個外圍相機(jī)分別對應(yīng)的相關(guān)值的峰值的周期是周期dws的兩倍、三倍、五倍和七倍，則具有大的總相關(guān)值的峰值的周期變成周期dws的210(＝2×3×5×7)倍。此外，如上所述，相應(yīng)外圍相機(jī)的相關(guān)值的峰值的周期的比率是基準(zhǔn)相機(jī)100和外圍相機(jī)的基線長度的比率的倒數(shù)。因此，在與相應(yīng)外圍相機(jī)對應(yīng)的相關(guān)值的峰值的周期的比率是2:3:5:7的情況下，基準(zhǔn)相機(jī)100和外圍相機(jī)的基線長度的比率為1/2:1/3:1/5:1/7。

此時，與具有大的總相關(guān)值的峰值的周期對應(yīng)的基線長度是與周期dws對應(yīng)的基線長度的1/210(＝1/(2×3×5×7))，也就是基準(zhǔn)相機(jī)和外圍相機(jī)之間的實際最短基線長度的1/30(＝(1/210)/(1/7))。因此，可以將由重復(fù)圖案引起深度估計的不正確識別的極限空間頻率提高30倍。

<第一實施例>

(光場相機(jī)的一個實施例的示例性配置)

圖7是作為應(yīng)用本公開的攝像裝置的光場相機(jī)的一個實施例的示例性配置的框圖。

圖7中的光場相機(jī)200包括成像單元201和圖像處理單元202。光場相機(jī)200根據(jù)由多個相機(jī)獲得的捕獲圖像來生成虛擬焦點捕獲圖像作為重聚焦圖像。

具體地，光場相機(jī)200的成像單元201包括單個基準(zhǔn)相機(jī)(成像單元)、多個其他外圍相機(jī)(成像單元)等。在從不同視點捕獲圖像的情況下基準(zhǔn)相機(jī)是基準(zhǔn)。根據(jù)基于不同素數(shù)的倒數(shù)的基線長度來分別布置外圍相機(jī)，同時使基準(zhǔn)相機(jī)的位置作為基準(zhǔn)。

基準(zhǔn)相機(jī)和外圍相機(jī)從不同的視點捕獲圖像。成像單元201響應(yīng)于來自圖像處理單元202的請求而向圖像處理單元202供給塊，所述塊包括由基準(zhǔn)相機(jī)和外圍相機(jī)捕獲的捕獲圖像(光線信息)中的一個或更多個像素。此外，成像單元201向圖像處理單元202供給由基準(zhǔn)相機(jī)和外圍相機(jī)捕獲的捕獲圖像。

圖像處理單元202例如由大規(guī)模集成電路(lsi)構(gòu)成。圖像處理單元202包括檢測單元211、虛擬視點圖像生成單元212和重聚焦圖像生成單元213。

檢測單元211(深度估計單元)例如通過使用從成像單元201供給的基準(zhǔn)相機(jī)的捕獲圖像的塊和每個外圍相機(jī)的捕獲圖像的塊，針對每個像素來估計基準(zhǔn)相機(jī)的圖像的深度。

具體地，檢測單元211將基準(zhǔn)相機(jī)的捕獲圖像的像素按順序確定為待處理的像素。檢測單元211針對要作為候選的每個視差值請求成像單元201供給與視差值對應(yīng)的、基準(zhǔn)相機(jī)的捕獲圖像的包括待處理像素的塊和每個外圍相機(jī)的捕獲圖像的塊。檢測單元211通過使用待響應(yīng)于請求而從成像單元201供給的基準(zhǔn)相機(jī)的捕獲圖像的塊和每個外圍相機(jī)的捕獲圖像的塊來對每個外圍相機(jī)執(zhí)行塊匹配。利用以上處理，檢測單元211針對每個外圍相機(jī)和每個像素獲得與每個視差值對應(yīng)的相關(guān)值。

然后，針對每個像素的每個視差值，檢測單元211通過將所有外圍相機(jī)的相關(guān)值相加而獲得總相關(guān)值。檢測單元211將具有最大總相關(guān)值的視差值確定為每個像素的深度估計結(jié)果。檢測單元211將通過使用每個像素的深度估計結(jié)果而形成的視差圖像供給至虛擬視點圖像生成單元212作為來自基準(zhǔn)相機(jī)的視點的視差圖像。

虛擬視點圖像生成單元212(生成單元)通過使用從檢測單元211供給的來自基準(zhǔn)相機(jī)的視點的視差圖像來生成來自外圍相機(jī)的視點的視差圖像。虛擬視點圖像生成單元212通過使用所生成的來自每個視點的視差圖像和從成像單元201供給的來自每個視點的捕獲圖像來內(nèi)插來自基準(zhǔn)相機(jī)和外圍相機(jī)的視點以外的虛擬視點的捕獲圖像(光線信息)。具體地，例如，虛擬視點圖像生成單元212通過使用來自虛擬視點周圍的視點的視差圖像和捕獲圖像來內(nèi)插來自虛擬視點的捕獲圖像。

虛擬視點圖像生成單元212將從成像單元201供給的來自每個視點的捕獲圖像和來自虛擬視點的捕獲圖像供給至重聚焦圖像生成單元213作為具有高密度視點的超多視點圖像(光線組信息)。

重聚焦圖像生成單元213通過使用從虛擬視點圖像生成單元212供給的超多視點圖像來生成虛擬焦點捕獲圖像作為重聚焦圖像。重聚焦圖像生成單元213輸出所生成的重聚焦圖像。

(成像單元的示例性配置)

圖8是圖7中的成像單元201的示例性配置的框圖。

圖8中的成像單元201包括基準(zhǔn)相機(jī)221-0、n(n是等于或大于2的整數(shù))個外圍相機(jī)221-1至221-n、捕獲控制單元222、幀存儲器223、讀取控制單元224和校正單元225。

基準(zhǔn)相機(jī)221-0包括透鏡221a-0和圖像傳感器221b-0如電荷耦合器件(ccd)和互補(bǔ)金屬氧化物半導(dǎo)體(cmos)?；鶞?zhǔn)相機(jī)221-0根據(jù)從捕獲控制單元222供給的同步信號來對圖像進(jìn)行成像。

具體地，基準(zhǔn)相機(jī)221-0根據(jù)同步信號來接收由圖像傳感器221b-0經(jīng)由透鏡221a-0從對象入射的光，并且通過對作為光的接收結(jié)果而獲得的模擬信號執(zhí)行a/d轉(zhuǎn)換等來對圖像進(jìn)行成像?；鶞?zhǔn)相機(jī)221-0將通過對圖像進(jìn)行成像而獲得的捕獲圖像供給至捕獲控制單元222。

與基準(zhǔn)相機(jī)221-0類似地形成外圍相機(jī)221-1至221-n，并且相應(yīng)地，外圍相機(jī)221-1至221-n根據(jù)來自捕獲控制單元222的同步信號來對圖像進(jìn)行成像。外圍相機(jī)221-1至221-n將通過對圖像進(jìn)行成像而獲得的捕獲圖像分別供給至捕獲控制單元222。

捕獲控制單元222通過將相同的同步信號供給至基準(zhǔn)相機(jī)221-0和外圍相機(jī)221-1至221-n來從不同的視點同時獲得捕獲圖像。捕獲控制單元222將從不同視點同時獲得的捕獲圖像供給至幀存儲器223(存儲單元)，并且使幀存儲器223存儲供給的圖像。

讀取控制單元224控制讀取，使得響應(yīng)于來自圖7中的檢測單元221的請求而從幀存儲器223讀取基準(zhǔn)相機(jī)221-0和外圍相機(jī)221-1至221-n的捕獲圖像中的預(yù)定塊。讀取控制單元224將所讀取的塊供給至校正單元225。此外，讀取控制單元224從幀存儲器223讀取基準(zhǔn)相機(jī)221-0和外圍相機(jī)221-1至221-n的捕獲圖像，并且將所讀取的圖像供給至校正單元225。

校正單元225對從讀取控制單元224供給的塊和捕獲圖像執(zhí)行校正處理。例如，校正處理是黑電平校正、失真校正和陰影校正。校正單元225將已經(jīng)對其執(zhí)行了校正處理的塊供給至圖7中的檢測單元211，并且將已經(jīng)對其執(zhí)行了校正處理的捕獲圖像供給至虛擬視點圖像生成單元212。

此外，優(yōu)選地，基準(zhǔn)相機(jī)221-0(成像單元)和外圍相機(jī)221-1至221-n(成像單元)不包括透鏡221a-0至221a-n。在這種情況下，成像單元201包括被布置成與基準(zhǔn)相機(jī)221-0和外圍相機(jī)221-1至221-n分離的透鏡221a-0至221a-n。

(基準(zhǔn)相機(jī)和外圍相機(jī)的第一布置示例)

圖9是圖7中的成像單元201的基準(zhǔn)相機(jī)221-0和外圍相機(jī)221-1至221-n的第一布置示例的透視圖。

在圖9的成像單元201中，作為基準(zhǔn)相機(jī)221-0的單個基準(zhǔn)相機(jī)230和作為外圍相機(jī)221-1至221-n的四個外圍相機(jī)231至234沿水平方向?qū)R。

此外，基準(zhǔn)相機(jī)230與外圍相機(jī)231至234之間在水平方向上的距離，也就是基準(zhǔn)相機(jī)230與外圍相機(jī)231至234之間在水平方向上的基線長度是通過將不同素數(shù)的倒數(shù)乘以預(yù)定值da而獲得的值。具體地，基準(zhǔn)相機(jī)230與外圍相機(jī)231至234之間在水平方向上的基線長度是1/7da、1/5da、1/3da和1/2da。

在這種情況下，如果在基準(zhǔn)相機(jī)230的捕獲圖像中存在垂直條紋的重復(fù)圖案，則具有大的總相關(guān)值的峰值的周期是水平方向上的基線長度是預(yù)定值da的外圍相機(jī)和基準(zhǔn)相機(jī)230的捕獲圖像的相關(guān)值的峰值的210(＝2×3×5×7)倍。也就是說，具有大的總相關(guān)值的峰值的周期是與基準(zhǔn)相機(jī)230在水平方向上的基線長度(水平基線長度)是最短的1/7da的外圍相機(jī)231和基準(zhǔn)相機(jī)230的捕獲圖像的相關(guān)值的峰值的周期的30倍。因此，可以將由水平方向上的重復(fù)圖案引起深度估計的不正確識別的極限空間頻率提高30倍。

此外，如果基準(zhǔn)相機(jī)230與外圍相機(jī)231至234中的每個外圍相機(jī)之間在水平方向上的基線長度是通過將接近素數(shù)的倒數(shù)的值乘以預(yù)定值da而獲得的值，則基線長度不必是通過將素數(shù)的倒數(shù)乘以預(yù)定值da而獲得的值。

此外，雖然在圖9中未示出，但是基準(zhǔn)相機(jī)與外圍相機(jī)可以布置在除水平方向以外的一個方向如垂直方向和傾斜方向上。在基準(zhǔn)相機(jī)與外圍相機(jī)布置在垂直方向上的情況下，可以防止由垂直方向上的重復(fù)圖案引起的深度估計的不正確識別。此外，在相機(jī)布置在傾斜方向上的情況下，除了水平方向和垂直方向以外還可以防止由傾斜方向上的重復(fù)圖案引起的深度估計的不正確識別。

(基準(zhǔn)相機(jī)和外圍相機(jī)的第二布置示例)

圖10是圖7中的成像單元201的基準(zhǔn)相機(jī)221-0和外圍相機(jī)221-1至221-n的第二布置示例的透視圖。

在圖10的成像單元201中，作為基準(zhǔn)相機(jī)221-0的單個基準(zhǔn)相機(jī)250和作為外圍相機(jī)221-1至221-n的八個外圍相機(jī)251至258被二維布置。

此外，基準(zhǔn)相機(jī)250與外圍相機(jī)251至256之間在水平方向上的距離，也就是基準(zhǔn)相機(jī)250與外圍相機(jī)251至256之間在水平方向上的基線長度是通過將不同素數(shù)的倒數(shù)乘以預(yù)定值da而獲得的值。具體地，基準(zhǔn)相機(jī)250與外圍相機(jī)251至258之間在水平方向上的基線長度是1/13da、1/11da、1/7da、1/5da、1/3da和1/2da。

此外，基準(zhǔn)相機(jī)250與外圍相機(jī)251至254、257和258之間在垂直方向上的距離，也就是基準(zhǔn)相機(jī)250與外圍相機(jī)251至254、257和258之間在垂直方向上的基線長度(垂直基線長度)是通過將不同素數(shù)的倒數(shù)乘以預(yù)定值da而獲得的值。具體地，基準(zhǔn)相機(jī)250與外圍相機(jī)251至254、257和258之間在垂直方向上的基線長度分別是1/13da、1/11da、1/5da、1/7da、1/3da和1/2da。

在這種情況下，如果在基準(zhǔn)相機(jī)250的捕獲圖像中存在垂直條紋的重復(fù)圖案，則具有大的總相關(guān)值的峰值的周期是水平方向上的基線長度是預(yù)定值da的外圍相機(jī)和基準(zhǔn)相機(jī)250的捕獲圖像的相關(guān)值的峰值的周期的30030(＝2×3×5×7×11×13)倍。也就是說，具有大的總相關(guān)值的峰值的周期是與基準(zhǔn)相機(jī)250在水平方向上的基線長度是最短的1/13da的外圍相機(jī)251和基準(zhǔn)相機(jī)250的捕獲圖像的相關(guān)值的峰值的周期的2310倍。因此，可以將由水平方向上的重復(fù)圖案引起深度估計的不正確識別的極限空間頻率提高2310倍。

類似地，也可以將由垂直方向上的重復(fù)圖案引起深度估計的不正確識別的極限空間頻率提高2310倍。

此外，如果基準(zhǔn)相機(jī)250與外圍相機(jī)251至258中的每個外圍相機(jī)之間在水平方向和垂直方向上的基線長度是通過將接近素數(shù)的倒數(shù)的值乘以預(yù)定值da而獲得的值，則基線長度不必是通過將素數(shù)的倒數(shù)乘以預(yù)定值da而獲得的值。

(基準(zhǔn)相機(jī)和外圍相機(jī)的第三布置示例)

圖11是圖7中的成像單元201的基準(zhǔn)相機(jī)221-0和外圍相機(jī)221-1至221-n的第三布置示例的透視圖。

在圖11的成像單元201中，作為基準(zhǔn)相機(jī)221-0的單個基準(zhǔn)相機(jī)270和作為外圍相機(jī)221-1至221-n的八個外圍相機(jī)271至278被布置成十字形狀。具體地，當(dāng)外圍相機(jī)272被定位在中心處時，基準(zhǔn)相機(jī)270和外圍相機(jī)271至274被布置在水平方向上，并且外圍相機(jī)272和275至278被布置在垂直方向上。

此外，基準(zhǔn)相機(jī)270與外圍相機(jī)271至274之間在水平方向上的基線長度是通過將不同素數(shù)的倒數(shù)乘以預(yù)定值da而獲得的值。具體地，基準(zhǔn)相機(jī)270與外圍相機(jī)271至274之間在水平方向上的基線長度是1/7da、1/5da、1/3da和1/2da。

此外，外圍相機(jī)275與外圍相機(jī)272和276至278之間在垂直方向上的基線長度是通過將不同素數(shù)的倒數(shù)乘以預(yù)定值db而獲得的值。具體地，外圍相機(jī)275與外圍相機(jī)272和276至278之間在垂直方向上的基線長度是1/5db、1/7db、1/3db和1/2db。

在這種情況下，不僅可以防止由水平方向和垂直方向上的重復(fù)圖案引起的深度估計的不正確識別的生成，而且可以防止由所有方向上的重復(fù)圖案引起的深度估計的不正確識別的生成。

此外，如果基準(zhǔn)相機(jī)270與外圍相機(jī)271至274中的每個外圍相機(jī)之間在水平方向上的基線長度是通過將接近素數(shù)的倒數(shù)的值乘以預(yù)定值da而獲得的值，則基線長度不必是通過將素數(shù)的倒數(shù)乘以預(yù)定值da而獲得的值。類似地，如果外圍相機(jī)275與外圍相機(jī)272和276至278之間在垂直方向上的基線長度是通過將接近素數(shù)的倒數(shù)的值乘以預(yù)定值da而獲得的值，則基線長度不必是通過將素數(shù)的倒數(shù)乘以預(yù)定值da而獲得的值。

(基準(zhǔn)相機(jī)和外圍相機(jī)的第四布置示例)

圖12是圖7中的成像單元201的基準(zhǔn)相機(jī)221-0和外圍相機(jī)221-1至221-n的第四布置示例的透視圖。

在圖12的成像單元201中，作為外圍相機(jī)221-1至221-n的五個外圍相機(jī)291至295被布置成以作為基準(zhǔn)相機(jī)221-0的單個基準(zhǔn)相機(jī)290為中心的正五邊形的形狀。

此外，基準(zhǔn)相機(jī)290與外圍相機(jī)291至294之間在水平方向上的基線長度是通過將素數(shù)的倒數(shù)乘以預(yù)定值da而獲得的值。具體地，基準(zhǔn)相機(jī)290與外圍相機(jī)291和292中的每個外圍相機(jī)之間在水平方向上的基線長度是1/5da，并且基準(zhǔn)相機(jī)290與外圍相機(jī)293和294中的每個外圍相機(jī)之間在水平方向上的基線長度是1/3da。此外，外圍相機(jī)295在水平方向上的位置與基準(zhǔn)相機(jī)290在水平方向上的位置相同。

此外，基準(zhǔn)相機(jī)290與外圍相機(jī)291至294之間在垂直方向上的基線長度是通過將素數(shù)的倒數(shù)乘以預(yù)定值db而獲得的值。具體地，基準(zhǔn)相機(jī)290與外圍相機(jī)291和292中的每個外圍相機(jī)之間在垂直方向上的基線長度是1/5db，并且基準(zhǔn)相機(jī)290與外圍相機(jī)293和294中的每個外圍相機(jī)之間在垂直方向上的基線長度是1/13db?；鶞?zhǔn)相機(jī)290與外圍相機(jī)295在垂直方向上的基線長度是1/4db。

如圖12所示，在五個外圍相機(jī)291至295被布置成以基準(zhǔn)相機(jī)290為中心的正五邊形形狀的情況下，水平方向和垂直方向的大部分基線長度是通過將素數(shù)的倒數(shù)乘以預(yù)定值而獲得的值。因此，可以防止由水平方向和垂直方向上的重復(fù)圖案引起的深度估計的不正確識別。

此外，關(guān)于通過連接基準(zhǔn)相機(jī)290和外圍相機(jī)291至295中的三個相鄰相機(jī)而形成的三角形，通過連接基準(zhǔn)相機(jī)290和兩個相鄰的外圍相機(jī)而形成的三角形301至305是相同的。因此，虛擬視點圖像生成單元212可以利用下述方法來內(nèi)插來自虛擬視點的捕獲圖像，而不管虛擬視點的位置：所述方法用于通過使用捕獲圖像和來自定位在與包括虛擬視點的三角形301至305具有相同大小的三角形的頂點處的相機(jī)的視點的視差圖像來內(nèi)插來自虛擬視點的捕獲圖像。也就是說，不必根據(jù)虛擬視點的位置來改變用于內(nèi)插來自虛擬視點的捕獲圖像的方法。因此，可以容易地內(nèi)插來自虛擬視點的捕獲圖像。

(基準(zhǔn)相機(jī)和外圍相機(jī)的第五布置示例)

圖13是圖7中的成像單元201的基準(zhǔn)相機(jī)221-0和外圍相機(jī)221-1至221-n的第五布置示例的透視圖。

在圖13的成像單元201中，布置了作為基準(zhǔn)相機(jī)221-0的單個基準(zhǔn)相機(jī)310和作為外圍相機(jī)221-1至221-n的18個外圍相機(jī)311至328。具體地，外圍相機(jī)311至316被布置成以基準(zhǔn)相機(jī)310為中心的正六邊形的形狀，并且外圍相機(jī)317至328被布置成以基準(zhǔn)相機(jī)310為中心的正十二邊形的形狀。正六邊形的每個邊的長度等于正十二邊形的每個邊的長度。

此外，基準(zhǔn)相機(jī)310與外圍相機(jī)311至314和317至328之間在水平方向上的基線長度是通過將素數(shù)的倒數(shù)乘以預(yù)定值da而獲得的值。

具體地，基準(zhǔn)相機(jī)310與外圍相機(jī)311至314和317至320中的每個外圍相機(jī)之間在水平方向上的基線長度是1/19da，并且基準(zhǔn)相機(jī)310與外圍相機(jī)321至324中的每個外圍相機(jī)之間在水平方向上的基線長度是1/7da。此外，基準(zhǔn)相機(jī)310與外圍相機(jī)325至328中的每個外圍相機(jī)之間在水平方向上的基線長度是1/5da。此外，基準(zhǔn)相機(jī)310與外圍相機(jī)315和316中的每個外圍相機(jī)之間在水平方向上的基線長度是2/19da。

基準(zhǔn)相機(jī)310與外圍相機(jī)311至328中的每個外圍相機(jī)之間在垂直方向上的基線長度是通過將素數(shù)的倒數(shù)乘以預(yù)定值da而獲得的值。具體地，基準(zhǔn)相機(jī)310與外圍相機(jī)325至328中的每個外圍相機(jī)之間在垂直方向上的基線長度是1/19da，并且基準(zhǔn)相機(jī)310與外圍相機(jī)311至314中的每個外圍相機(jī)之間在垂直方向上的基線長度是1/11da。

此外，基準(zhǔn)相機(jī)310與外圍相機(jī)321至324中的每個外圍相機(jī)之間在垂直方向上的基線長度是1/7da，并且基準(zhǔn)相機(jī)310與外圍相機(jī)317至320中的每個外圍相機(jī)之間在垂直方向上的基線長度是1/5da。

如圖13所示，在外圍相機(jī)311至316被布置成以基準(zhǔn)相機(jī)310為中心的正六邊形的形狀并且外圍相機(jī)317至328被布置成以基準(zhǔn)相機(jī)310為中心的正十二邊形的形狀的情況下，水平方向和垂直方向的大部分基線長度是通過將素數(shù)的倒數(shù)乘以預(yù)定值而獲得的值。因此，可以防止由水平方向和垂直方向上的重復(fù)圖案引起的深度估計的不正確識別。

此外，關(guān)于通過連接基準(zhǔn)相機(jī)310和外圍相機(jī)311至328中的三個相鄰相機(jī)而形成的三角形，通過連接基準(zhǔn)相機(jī)310和外圍相機(jī)311至316中的兩個相鄰相機(jī)而形成的三角形341至346以及通過連接外圍相機(jī)311至316中的一個外圍相機(jī)和外圍相機(jī)317至328中的兩個相鄰相機(jī)而形成的三角形347至352是相同的正三角形。

此外，關(guān)于通過連接四個相鄰的相機(jī)而形成的正四邊形，通過連接外圍相機(jī)311至316中的兩個相鄰相機(jī)和外圍相機(jī)317至328中的與上述兩個相鄰相機(jī)相對的兩個外圍相機(jī)而形成的正四邊形361至366是相同的正方形。

因此，需要兩種用于由虛擬視點圖像生成單元212內(nèi)插虛擬視點的方法。第一內(nèi)插方法是用于通過使用捕獲圖像和來自定位在與包括虛擬視點的三角形341至352具有共同邊的正三角形的頂點處的相機(jī)的視點的視差圖像來內(nèi)插來自虛擬視點的捕獲圖像的方法。第二內(nèi)插方法是用于通過使用捕獲圖像和來自定位在與包括虛擬視點的四邊形361至366具有共同邊的正方形的頂點處的相機(jī)的視點的視差圖像來內(nèi)插來自虛擬視點的捕獲圖像的方法。根據(jù)以上方法，可以容易地內(nèi)插來自虛擬視點的捕獲圖像。

此外，由于三角形341至352和四邊形361至366的各個邊的長度相同，所以用均勻的密度來內(nèi)插來自虛擬視點的捕獲圖像。

(基準(zhǔn)相機(jī)和外圍相機(jī)的布置的描述以及效果)

圖14是描述圖9至圖13中分別所示的基準(zhǔn)相機(jī)和外圍相機(jī)的第一至第五布置示例以及由以上布置獲得的效果的表。

在圖14的表中，圖9至圖13中分別所示的布置的名稱寫在左欄中，并且對由重復(fù)圖案引起的深度估計的不正確識別的效果的程度寫在中間欄中。此外，對來自虛擬視點的捕獲圖像的內(nèi)插的效果的程度寫在右欄中。注意，在下文中，第一至第五布置示例分別被稱為水平布置、二維布置、十字形布置、正五邊形布置和19-相機(jī)布置。

在成像單元201的基準(zhǔn)相機(jī)和外圍相機(jī)的布置是圖9中的水平布置的情況下，可以防止由水平方向上的重復(fù)圖案引起的深度估計的不正確識別。然而，水平布置不具有防止由垂直方向上的重復(fù)圖案引起的深度估計的不正確識別的效果。因此，在圖14所示的表中的中間欄的第二行中，寫入指示“中等”的三角形作為對由重復(fù)圖案引起的深度估計的不正確識別的效果的程度。

另一方面，在成像單元201的基準(zhǔn)相機(jī)和外圍相機(jī)的布置是圖10中的二維布置、圖11中的十字形布置、圖12中的正五邊形布置和圖13中的19-相機(jī)布置的情況下，可以防止由水平方向和垂直方向上的重復(fù)圖案引起的深度估計的不正確識別。因此，在圖14所示的表中的中間欄的第三行至第六行中，寫入指示“高”的圓作為對由重復(fù)圖案引起的深度估計的不正確識別的效果的程度。

此外，在成像單元201的基準(zhǔn)相機(jī)和外圍相機(jī)的布置是圖9中的水平布置的情況下，所有相鄰相機(jī)之間的距離彼此不同。此外，在成像單元201的基準(zhǔn)相機(jī)和外圍相機(jī)的布置是圖10中的二維布置和圖11中的十字形布置的情況下，通過連接基準(zhǔn)相機(jī)和外圍相機(jī)中的三個或更多個相鄰相機(jī)而形成的所有形狀彼此不同。因此，不能獲得內(nèi)插來自虛擬視點的捕獲圖像的效果。因此，在圖14所示的表中的右欄的第二行至第四行中，寫入指示“無”的十字標(biāo)記作為內(nèi)插來自虛擬視點的捕獲圖像的效果的程度。

此外，在成像單元201的基準(zhǔn)相機(jī)和外圍相機(jī)的布置是圖12中的正五邊形布置和圖13中的19-相機(jī)布置的情況下，通過連接基準(zhǔn)相機(jī)和外圍相機(jī)中的三個或更多個相鄰相機(jī)而形成的形狀中的至少一部分形狀是相同的。因此，用于內(nèi)插來自虛擬視點的捕獲圖像的方法的種類少，并且可以容易地內(nèi)插來自虛擬視點的捕獲圖像。

然而，由于在圖12中的正五邊形布置中三角形301至305不是正三角形，所以不能用均勻的密度內(nèi)插來自虛擬視點的捕獲圖像。因此，在圖14所示的表中的右欄的第五行中，寫入指示“中等”的三角形作為內(nèi)插來自虛擬視點的捕獲圖像的效果的程度。

然而，在圖13中的19-相機(jī)布置中，三角形341至352和四邊形361至366的各個邊的長度相同。因此，可以用均勻的密度來內(nèi)插來自虛擬視點的捕獲圖像。因此，在圖14所示的表中的右欄的第六行中，寫入指示“高”的圓作為內(nèi)插來自虛擬視點的捕獲圖像的效果的程度。

如上所述，光場相機(jī)200包括用于從不同視點對圖像進(jìn)行成像的基準(zhǔn)相機(jī)和多個外圍相機(jī)，并且基準(zhǔn)相機(jī)與至少兩個外圍相機(jī)之間在至少一個方向上的距離是分別通過將不同素數(shù)的倒數(shù)乘以預(yù)定值而獲得的值。因此，可以高精度地估計在至少一個方向上包括重復(fù)圖案的捕獲圖像的深度。因此，提高了重聚焦圖像的精度。

然而，在以恒定的間隔在水平方向和垂直方向上布置相機(jī)的情況下，也就是說，在以格子(lattice)圖案布置相機(jī)的情況下，難以高精度地估計具有重復(fù)圖案的捕獲圖像的深度。

此外，基準(zhǔn)相機(jī)和外圍相機(jī)的分辨率可以相同，并且可以彼此不同。在基準(zhǔn)相機(jī)的分辨率與外圍相機(jī)的分辨率不同的情況下，可以針對每個子像素獲得視差值。

此外，外圍相機(jī)的數(shù)目不限于以上描述的數(shù)目?？梢岳猛鈬鄼C(jī)的數(shù)目的增加來防止由更精細(xì)的重復(fù)圖案引起的深度估計的不正確識別。此外，可以將預(yù)定值da和db設(shè)置為任意值。

(光場相機(jī)的處理的描述)

圖15是描述由圖7中的光場相機(jī)200執(zhí)行的成像處理的流程圖。

在圖15的步驟s11中，光場相機(jī)200的成像單元201的基準(zhǔn)相機(jī)221-0和外圍相機(jī)221-1至221-n(圖8)根據(jù)來自捕獲控制單元222的同步信號同時從各個視點對圖像進(jìn)行成像。作為以上處理的結(jié)果而獲得的捕獲圖像經(jīng)由捕獲控制單元222存儲在幀存儲器223中。

然后，讀取控制單元224響應(yīng)于來自檢測單元211的請求而從幀存儲器223讀取由基準(zhǔn)相機(jī)221-0和外圍相機(jī)221-1至221-n成像的捕獲圖像的預(yù)定塊。此外，讀取控制單元224從幀存儲器223讀取基準(zhǔn)相機(jī)221-0和外圍相機(jī)221-1至221-n的捕獲圖像。將從幀存儲器223讀取的塊經(jīng)由校正單元225供給至檢測單元211，并且將從幀存儲器223讀取的捕獲圖像經(jīng)由校正單元225供給至虛擬視點圖像生成單元212。

在步驟s12中，檢測單元211例如通過使用從校正單元225供給的基準(zhǔn)相機(jī)221-0的捕獲圖像的塊和外圍相機(jī)221-1至221-n中的每個外圍相機(jī)的捕獲圖像的塊，針對每個像素來估計基準(zhǔn)相機(jī)221-0的視點的深度。檢測單元211將由每個像素的深度估計結(jié)果而形成的視差圖像供給至虛擬視點圖像生成單元212作為來自基準(zhǔn)相機(jī)221-0的視點的視差圖像。

在步驟s13中，虛擬視點圖像生成單元212通過使用從檢測單元211供給的來自基準(zhǔn)相機(jī)221-0的視點的視差圖像來生成來自外圍相機(jī)221-1至221-n的視點的視差圖像。

在步驟s14中，虛擬視點圖像生成單元212通過使用所生成的來自每個視點的視差圖像和從校正單元225供給的來自每個視點的捕獲圖像來內(nèi)插來自虛擬視點的捕獲圖像。虛擬視點圖像生成單元212將從校正單元225供給的來自每個視點的捕獲圖像和來自虛擬視點的捕獲圖像供給至重聚焦圖像生成單元213作為高密度視點的超多視點圖像。

在步驟s15中，重聚焦圖像生成單元213通過使用從虛擬視點圖像生成單元212供給的超多視點圖像來生成虛擬焦點捕獲圖像作為重聚焦圖像。重聚焦圖像生成單元213輸出所生成的重聚焦圖像，并且終止處理。

<第二實施例>

(應(yīng)用本公開的計算機(jī)的描述)

可以由硬件和軟件來執(zhí)行上面提到的一系列處理。在由軟件執(zhí)行一系列處理的情況下，將包括在軟件中的程序安裝在計算機(jī)中。此處，計算機(jī)包括合并在專用硬件中的計算機(jī)以及例如可以通過安裝各種程序來執(zhí)行各種功能的通用個人計算機(jī)。

圖16是用于通過程序來執(zhí)行上面提到的一系列處理的計算機(jī)的硬件的示例性配置的框圖。

在計算機(jī)400中，用總線404將中央處理器(cpu)401、只讀存儲器(rom)402和隨機(jī)存取存儲器(ram)403彼此連接。

此外，輸入/輸出接口405連接至總線404。成像單元406、輸入單元407、輸出單元408、存儲單元409、通信單元410和驅(qū)動器411連接至輸入/輸出接口405。

成像單元406被配置成與圖7中的成像單元201類似。輸入單元407包括鍵盤、鼠標(biāo)、麥克風(fēng)等。輸出單元408包括顯示器、揚聲器等。存儲單元409包括硬盤、非易失性存儲器等。通信單元410包括網(wǎng)絡(luò)接口等。驅(qū)動器411驅(qū)動可移除介質(zhì)412如磁盤、光盤、磁光盤或半導(dǎo)體存儲器。

在如上所述配置的計算機(jī)400中，cpu401經(jīng)由輸入/輸出接口405和總線404將例如存儲在存儲單元409中的程序加載至ram403，并且執(zhí)行程序以執(zhí)行上面提到的一系列處理。

例如可以通過將由計算機(jī)400(cpu401)執(zhí)行的程序記錄在如封裝介質(zhì)等的可移除介質(zhì)412中來提供。此外，可以經(jīng)由有線或無線傳輸介質(zhì)如局域網(wǎng)、因特網(wǎng)和數(shù)字衛(wèi)星廣播來提供程序。

在計算機(jī)400中，可以通過將可移除介質(zhì)412安裝在驅(qū)動器411中來經(jīng)由輸入/輸出接口505將程序安裝至存儲單元409。此外，可以經(jīng)由有線或無線傳輸介質(zhì)通過通信單元410來接收程序，并且將其安裝至存儲單元409。此外，可以將程序預(yù)先安裝至rom402和存儲單元409。

注意，由計算機(jī)400執(zhí)行的程序可以是按照本文描述的順序以時間序列方式來執(zhí)行處理的程序，并且可以是并行執(zhí)行處理的程序或在進(jìn)行調(diào)用的必要時刻執(zhí)行處理的程序。

<修改>

根據(jù)本公開的技術(shù)可以應(yīng)用于各種產(chǎn)品。例如，可以將根據(jù)本公開的技術(shù)實現(xiàn)為待安裝至車輛如汽車、電動車、混合電動車和摩托車中的任一車輛的裝置。

圖17是可以應(yīng)用根據(jù)本公開的技術(shù)的車輛控制系統(tǒng)2000的示例性示意性配置的框圖。車輛控制系統(tǒng)2000包括經(jīng)由通信網(wǎng)絡(luò)2010連接的多個電子控制單元。在圖17所示的示例中，車輛控制系統(tǒng)2000包括驅(qū)動系統(tǒng)控制單元2100、車身系統(tǒng)控制單元2200、電池控制單元2300、外部信息檢測單元2400、車內(nèi)信息檢測單元2500和集成控制單元2600。用于連接這些控制單元的通信網(wǎng)絡(luò)2010可以是遵從可選標(biāo)準(zhǔn)例如控制器局域網(wǎng)絡(luò)(can)、lin(局域互聯(lián)網(wǎng)絡(luò))、局域網(wǎng)(lan)或flexray(注冊商標(biāo))的車內(nèi)通信網(wǎng)絡(luò)。

每個控制單元包括根據(jù)各種程序來執(zhí)行操作處理的微型計算機(jī)、存儲由微型計算機(jī)執(zhí)行的程序或用于各種操作的參數(shù)的存儲單元以及驅(qū)動待被控制的裝置的驅(qū)動電路。每個控制單元包括用于經(jīng)由通信網(wǎng)絡(luò)2010與其他控制單元進(jìn)行通信的網(wǎng)絡(luò)i/f以及用于通過有線或無線連接與車輛內(nèi)部/外部的裝置、傳感器等進(jìn)行通信的通信i/f。在圖17中，示出了微型計算機(jī)2610、通用通信i/f2620、專用通信i/f2630、定位單元2640、信標(biāo)接收單元2650、車內(nèi)裝置i/f2660、聲音和圖像輸出單元2670、車內(nèi)網(wǎng)絡(luò)i/f2680和存儲單元2690作為集成控制單元2600的功能配置。其他控制單元類似地包括微型計算機(jī)、通信i/f、存儲單元等。

驅(qū)動系統(tǒng)控制單元2100根據(jù)各種程序來控制與車輛的驅(qū)動系統(tǒng)有關(guān)的裝置的操作。例如，驅(qū)動系統(tǒng)控制單元2100用作控制裝置，如用于產(chǎn)生車輛的驅(qū)動力的驅(qū)動力產(chǎn)生裝置如內(nèi)燃機(jī)或驅(qū)動電機(jī)、用于向車輪傳送驅(qū)動力的驅(qū)動力傳送機(jī)構(gòu)、調(diào)節(jié)車輛的轉(zhuǎn)向角的轉(zhuǎn)向機(jī)構(gòu)和產(chǎn)生車輛的制動力的制動裝置。驅(qū)動系統(tǒng)控制單元2100可以具有作為控制裝置如制動防抱死系統(tǒng)(abs)或電子穩(wěn)定控制系統(tǒng)(esc)的功能。

驅(qū)動系統(tǒng)控制單元2100連接至車輛狀況檢測單元2110。車輛狀況檢測單元2110包括以下中的至少一者：例如，檢測車身的軸旋轉(zhuǎn)運動的角速度的陀螺傳感器，檢測車輛的加速度的加速度傳感器，以及檢測加速器踏板的操作量、制動踏板的操作量、方向盤的轉(zhuǎn)向角、發(fā)動機(jī)速度或車輪的旋轉(zhuǎn)速度的傳感器。驅(qū)動系統(tǒng)控制單元2100通過使用從車輛狀況檢測單元2110輸入的信號來執(zhí)行操作處理，并且控制內(nèi)燃機(jī)、驅(qū)動電機(jī)、電動助力轉(zhuǎn)向裝置、制動裝置等。

車身系統(tǒng)控制單元2200根據(jù)各種程序來控制附接至車身的各種裝置的操作。例如，車身系統(tǒng)控制單元2200用作無鑰匙進(jìn)入系統(tǒng)、智能鑰匙系統(tǒng)、電動車窗裝置或各種燈如前照燈、尾燈、制動燈、方向指示燈或霧燈的控制裝置。在這種情況下，從用于代替鑰匙的便攜式機(jī)器發(fā)射的無線電波或各種開關(guān)的信號可以輸入至車身系統(tǒng)控制單元2200。車身系統(tǒng)控制單元2200接收無線電波或信號的輸入，并且控制車輛的門鎖裝置、電動車窗裝置、燈等。

電池控制單元2300根據(jù)各種程序來控制蓄電池2310，其是驅(qū)動電機(jī)的電源。例如，包括蓄電池2310的電池裝置將與電池溫度、電池輸出電壓、電池的剩余電量等有關(guān)的信息輸出至電池控制單元2300。電池控制單元2300通過使用這些信號來執(zhí)行操作處理，并且控制蓄電池2310的溫度調(diào)節(jié)或控制包括在電池裝置中的冷卻裝置等。

外部信息檢測單元2400檢測包括車輛控制系統(tǒng)2000的車輛的外部信息。例如，外部信息檢測單元2400連接至成像單元2410和外部信息檢測部2420中的至少一個。成像單元2410包括飛行時間(tof)相機(jī)、立體相機(jī)、單目相機(jī)、紅外相機(jī)和其他相機(jī)中的至少一個。外部信息檢測部2420包括例如用于檢測當(dāng)前天氣或氣象現(xiàn)象的環(huán)境傳感器或者用于檢測包括車輛控制系統(tǒng)2000的車輛周圍的其他車輛、障礙物或行人的周圍環(huán)境信息檢測傳感器。

環(huán)境傳感器可以是例如以下中的至少一個：檢測下雨天氣的雨滴傳感器、檢測霧的霧傳感器、檢測日照程度的日照傳感器和檢測降雪的雪傳感器。周圍環(huán)境信息檢測傳感器可以是超聲波傳感器、雷達(dá)設(shè)備、以及光探測和測距、激光成像檢測和測距(lidar)裝置中的至少一個。成像單元2410和外部信息檢測部2420可以作為獨立的傳感器和裝置而被包括，并且可以是通過集成多個傳感器和裝置而形成的裝置。

此處，在圖18中，示出了成像單元2410和外部信息檢測部2420的設(shè)置位置的示例。成像單元2910、2912、2914、2916和2918中的每個成像單元設(shè)置在例如車輛2900的前鼻、側(cè)視鏡、后保險杠、后門和車輛內(nèi)飾中的擋風(fēng)玻璃的上側(cè)的至少一個中。設(shè)置在前鼻中的成像單元2910和設(shè)置在車輛內(nèi)飾中的擋風(fēng)玻璃的上側(cè)上的成像單元2918主要獲取車輛2900前方的圖像。設(shè)置在側(cè)視鏡中的成像單元2912和2914主要獲取車輛2900的側(cè)邊上的圖像。設(shè)置在后保險杠或后門中的成像單元2916主要獲取車輛2900后方的圖像。設(shè)置在車輛內(nèi)飾中的擋風(fēng)玻璃的上側(cè)上的成像單元2918主要用于檢測前面的車輛、行人、障礙物、紅綠燈、交通標(biāo)志、交通車道等。

此外，在圖18中，示出了各個成像單元2910、2912、2914和2916的示例性攝像范圍。成像范圍a指示設(shè)置在前鼻中的成像單元2910的成像范圍，并且成像范圍b和c分別指示設(shè)置在側(cè)視鏡中的成像單元2912和2914的成像范圍。成像范圍d指示設(shè)置在后保險杠或后門中的成像單元2916的成像范圍。例如，由成像單元2910、2912、2914和2916成像的圖像數(shù)據(jù)被疊加，使得可以獲得從上方觀察的車輛2900的鳥瞰圖。

分別設(shè)置在車輛2900的前面、后面、側(cè)面、角落和車輛內(nèi)飾的擋板玻璃的上側(cè)的外部信息檢測部2920、2922、2924、2926、2928和2930可以是例如超聲波傳感器或雷達(dá)設(shè)備。設(shè)置在車輛2900的前鼻、后保險杠、后門和車輛內(nèi)飾的擋板玻璃的上側(cè)中的外部信息檢測部2920、2926和2930可以是例如lidar裝置。外部信息檢測部2920至2930主要用于檢測前面的車輛、行人、障礙物等。

再次參照圖17來繼續(xù)描述。外部信息檢測單元2400使成像單元2410對車輛外部的圖像進(jìn)行成像，并且接收所成像的圖像數(shù)據(jù)。此外，外部信息檢測單元2400從連接至外部信息檢測單元2400的外部信息檢測部2420接收檢測信息。在外部信息檢測部2420是超聲波傳感器、雷達(dá)設(shè)備或lidar裝置的情況下，外部信息檢測單元2400發(fā)射超聲波或電磁波，并且接收關(guān)于所接收的反射波的信息。外部信息檢測單元2400可以基于所接收的信息來執(zhí)行用于檢測對象如人、汽車、障礙物、標(biāo)志或路上的字母的處理或距離檢測處理。外部信息檢測單元2400可以基于所接收的信息來執(zhí)行用于識別雨、霧、道路表面狀況等的環(huán)境識別處理。外部信息檢測單元2400可以基于所接收的信息來計算距車輛外部的對象的距離。

此外，外部信息檢測單元2400可以基于所接收的圖像數(shù)據(jù)來執(zhí)行用于識別人、汽車、障礙物、標(biāo)志、路上的字母等的圖像識別處理或距離識別處理。外部信息檢測單元2400可以通過執(zhí)行諸如對所接收的圖像數(shù)據(jù)的失真校正或定位以及合成由不同的成像單元2410成像的圖像數(shù)據(jù)的處理來生成鳥瞰圖或全景圖。外部信息檢測單元2400可以通過使用由不同的成像單元2410成像的圖像數(shù)據(jù)來執(zhí)行視點轉(zhuǎn)換處理。

車內(nèi)信息檢測單元2500檢測車內(nèi)信息。車內(nèi)信息檢測單元2500連接至例如用于檢測駕駛員的狀況的駕駛員狀況檢測單元2510。駕駛員狀況檢測單元2510可以包括用于對駕駛員進(jìn)行成像的相機(jī)、用于檢測駕駛員的生物信息的生物傳感器、用于收集車輛內(nèi)部的聲音的麥克風(fēng)等。生物傳感器設(shè)置在例如座椅表面或方向盤中，并且檢測坐在座椅上的占有者或握著方向盤的駕駛員的生物信息?；趶鸟{駛員狀況檢測單元2510輸入的檢測信息，車內(nèi)信息檢測單元2500可以計算駕駛員的疲勞程度或集中程度，并且可以確定駕駛員是否睡著。車內(nèi)信息檢測單元2500可以執(zhí)行諸如對所收集的音頻信號的噪聲消除處理等處理。

集成控制單元2600根據(jù)各種程序來控制車輛控制系統(tǒng)2000的整體操作。集成控制單元2600連接至輸入單元2800。輸入單元2800由占有者可以對其執(zhí)行輸入操作的裝置如觸摸面板、按鈕、麥克風(fēng)、開關(guān)或杠桿來實現(xiàn)。輸入單元2800可以是例如使用紅外線或其他無線電波的遠(yuǎn)程控制裝置，并且可以是外部連接裝置如與車輛控制系統(tǒng)2000的操作對應(yīng)的移動電話或個人數(shù)字助理(pda)。輸入單元2800可以是例如相機(jī)。在這種情況下，占有者可以通過使用手勢來輸入信息。此外，輸入單元2800可以包括例如輸入控制單元，該輸入控制單元基于由占有者等通過使用輸入單元2800輸入的信息來生成輸入信號，并且將輸入信號輸出至集成控制單元2600。占有者等通過操作輸入單元2800來對車輛控制系統(tǒng)2000輸入各種數(shù)據(jù)并且指示處理操作。

存儲單元2690可以包括用于存儲由微型計算機(jī)執(zhí)行的各種程序的隨機(jī)存取存儲器(ram)和用于存儲各種參數(shù)、計算結(jié)果、傳感器值等的只讀存儲器(rom)。此外，存儲單元2690可以由磁存儲裝置如硬盤驅(qū)動(hdd)、半導(dǎo)體存儲裝置、光存儲裝置或磁光存儲裝置來實現(xiàn)。

通用通信i/f2620調(diào)解與存在于外部環(huán)境2750中的各種裝置的通信。通用通信i/f2620可以實現(xiàn)如全球移動通信系統(tǒng)(gsm)(注冊商標(biāo))、wimax、長期演進(jìn)(lte)或高級lte(lte-a)等蜂窩通信協(xié)議或者如無線lan(wi-fi(注冊商標(biāo)))等其他無線通信協(xié)議。例如，通用通信i/f2620可以經(jīng)由基站或接入點連接至存在于外部網(wǎng)絡(luò)(例如，因特網(wǎng)、云網(wǎng)絡(luò)或公司專用網(wǎng)絡(luò))上的裝置(例如，應(yīng)用服務(wù)器或控制服務(wù)器)。此外，通用通信i/f2620可以例如通過使用對等(p2p)技術(shù)連接至存在于車輛附近的終端(例如，行人或商店的終端或者機(jī)器類型通信(mtc)終端)。

專用通信i/f2630支持為車輛使用而建立的通信協(xié)議。專用通信i/f2630可以例如實現(xiàn)標(biāo)準(zhǔn)協(xié)議如車輛環(huán)境的無線接入(wave)或?qū)Ｓ枚坛掏ㄐ?dsrc)，wave是下層的ieee802.11p和上層的ieee1609的結(jié)合。專用通信i/f2630通常執(zhí)行v2x通信，其是包括車輛至車輛通信、車輛至基礎(chǔ)設(shè)施通信和車輛至行人通信中的一個或更多個通信的概念。

例如，定位單元2640從全球?qū)Ш叫l(wèi)星系統(tǒng)(gnss)衛(wèi)星接收gnss信號(例如，來自全球定位系統(tǒng)(gps)衛(wèi)星的gps信號)并且執(zhí)行定位。然后，定位單元2640生成包括車輛的緯度、經(jīng)度和高度的位置信息。此外，定位單元2640可以通過與無線接入點交換信號來指定當(dāng)前位置，并且可以從具有定位功能的終端如移動電話、phs或智能電話來獲取位置信息。

信標(biāo)接收單元2650例如接收從安裝在道路上的無線站發(fā)射的無線電波或電磁波，并且獲取包括當(dāng)前位置、交通堵塞、封閉區(qū)域、所需時間等的信息。此外，信標(biāo)接收單元2650的功能可以被包括在以上描述的專用通信i/f2630中。

車內(nèi)裝置i/f2660是用于調(diào)解微型計算機(jī)2610與車輛中的各種裝置之間的連接的通信接口。車內(nèi)裝置i/f2660可以通過使用無線通信協(xié)議如無線lan、藍(lán)牙(注冊商標(biāo))、近場通信(nfc)或無線usb(wusb)來建立無線連接。此外，車內(nèi)裝置i/f2660可以經(jīng)由連接終端(未示出)(和電纜，如果必要)來建立有線連接。車內(nèi)裝置i/f2660例如與占有者的移動裝置或可穿戴裝置或者車輛中攜帶的或附接至車輛的信息裝置交換控制信號或數(shù)據(jù)信號。

車內(nèi)網(wǎng)絡(luò)i/f2680是用于調(diào)解微型計算機(jī)2610與通信網(wǎng)絡(luò)2010之間的通信的接口。車內(nèi)網(wǎng)絡(luò)i/f2680根據(jù)由通信網(wǎng)絡(luò)2010支持的預(yù)定協(xié)議來發(fā)射和接收信號等。

集成控制單元2600的微型計算機(jī)2610根據(jù)各種程序，基于經(jīng)由通用通信i/f2620、專用通信i/f2630、定位單元2640、信標(biāo)接收單元2650、車內(nèi)裝置i/f2660和車內(nèi)網(wǎng)絡(luò)i/f2680中的至少一個獲得的信息來控制車輛控制系統(tǒng)2000。例如，微型計算機(jī)2610可以基于所獲得的車輛內(nèi)部和外部的信息來計算驅(qū)動力產(chǎn)生裝置、轉(zhuǎn)向機(jī)構(gòu)或制動裝置的控制目標(biāo)值，并且向驅(qū)動系統(tǒng)控制單元2100輸出控制指令。例如，微型計算機(jī)2610可以執(zhí)行協(xié)同控制以避免或緩和車輛的碰撞、以基于車輛間的距離來執(zhí)行接下來的行駛、以執(zhí)行速度保持行駛、以執(zhí)行自動操作等。

微型計算機(jī)2610可以基于經(jīng)由通用通信i/f2620、專用通信i/f2630、定位單元2640、信標(biāo)接收單元2650、車內(nèi)裝置i/f2660和車內(nèi)網(wǎng)絡(luò)i/f2680中的至少一個獲得的信息來創(chuàng)建包括車輛的當(dāng)前位置的周邊信息的局部地圖信息。此外，微型計算機(jī)2610可以基于所獲得的信息來預(yù)測危險如車輛的碰撞、行人的接近或進(jìn)入封閉的道路，并且生成警告信號。警告信號可以是例如生成警告聲音或點亮警告燈的信號。

聲音和圖像輸出單元2670向輸出裝置發(fā)射語音或圖像中的一個的輸出信號，輸出裝置可以視覺地或聽覺地通知車輛的占有者或車輛外部的信息。在圖17的示例中，將音頻揚聲器2710、顯示單元2720和儀表板2730例示為輸出裝置。顯示單元2720可以包括例如車載顯示器和抬頭顯示器中的至少一個。顯示單元2720可以具有增強(qiáng)現(xiàn)實(ar)顯示功能。除這些裝置以外，輸出裝置可以是諸如耳機(jī)、投影儀或燈等裝置。在輸出裝置是顯示裝置的情況下，顯示裝置在視覺上顯示由微型計算機(jī)2610執(zhí)行的各種處理獲得的結(jié)果或以各種格式如文本、圖像、圖表和曲線圖從其他控制單元接收的信息。此外，在輸出裝置是聲音輸出裝置的情況下，聲音輸出裝置將包括再現(xiàn)的音頻數(shù)據(jù)或聲學(xué)數(shù)據(jù)的音頻信號轉(zhuǎn)換成模擬信號，并且在聽覺上輸出該信號。

此外，在圖17所示的示例中，可以將經(jīng)由通信網(wǎng)絡(luò)2010連接的至少兩個控制單元集成為單個控制單元?？商孢x地，每個控制單元可以包括多個控制單元。此外，車輛控制系統(tǒng)2000可以包括未示出的其他控制單元。此外，在以上描述中，其他控制單元可以具有控制單元中的任一控制單元的部分或全部功能。也就是說，如果可以經(jīng)由通信網(wǎng)絡(luò)2010發(fā)送和接收信息，則控制單元中的任一控制單元可以執(zhí)行預(yù)定的操作處理。類似地，連接至控制單元中的任一控制單元的傳感器或裝置可以連接至另一控制單元，并且控制單元可以經(jīng)由通信網(wǎng)絡(luò)2010向彼此發(fā)送檢測信息以及從彼此接收檢測信息。

在以上描述的車輛控制系統(tǒng)2000中，圖7中的成像單元201可以應(yīng)用于例如圖17中的成像單元2410。此外，圖7中的圖像處理單元202可以應(yīng)用于例如圖17中的外部信息檢測單元2400。因此，可以高精度地估計具有重復(fù)圖案的車輛外部圖像的深度。因此，提高了重聚焦圖像的精度。

此外，本文中描述的效果僅僅是示例性的，并且不限于這些效果。此外，可以有另外的效果。

此外，本公開的實施例不限于上述實施例，并且可以在不偏離本公開的范圍的情況下進(jìn)行各種改變。例如，外圍相機(jī)221-1至221-n可以布置成除以基準(zhǔn)相機(jī)221-0為中心的正五邊形、正六邊形、正十二邊形以外的多邊形形狀。

此外，本技術(shù)可以應(yīng)用于多基線立體相機(jī)。

此外，本公開可以具有以下配置。

(1)一種攝像裝置，包括：

多個成像單元，多個成像單元被配置成使用當(dāng)對來自不同視點的圖像進(jìn)行成像時要作為基準(zhǔn)的成像單元的位置作為基準(zhǔn)并根據(jù)基于不同素數(shù)的倒數(shù)的基線長度來布置。

(2)根據(jù)(1)所述的攝像裝置，其中，

基線長度是通過將不同素數(shù)的倒數(shù)乘以預(yù)定值而獲得的值。

(3)根據(jù)(1)或(2)所述的攝像裝置，其中，

基線長度是作為水平方向上的基線長度的水平基線長度或作為垂直方向上的基線長度的垂直基線長度。

(4)根據(jù)(1)或(2)所述的攝像裝置，其中，

基線長度包括作為水平方向上的基線長度的水平基線長度和作為垂直方向上的基線長度的垂直基線長度。

(5)根據(jù)(1)至(4)中的任一項所述的攝像裝置，其中，

多個成像單元和要作為基準(zhǔn)的成像單元被布置成十字形狀。

(6)根據(jù)(1)至(4)中的任一項所述的攝像裝置，其中，

成像單元的數(shù)目等于或大于四，以及

通過連接三個或更多個相鄰的成像單元而形成的形狀的一部分是相同的。

(7)根據(jù)(6)所述的攝像裝置，其中，

多個成像單元被布置成以要作為基準(zhǔn)的成像單元為中心的多邊形形狀。

(8)根據(jù)(6)所述的攝像裝置，其中，

多個成像單元被布置成以要作為基準(zhǔn)的成像單元為中心的五邊形形狀。

(9)根據(jù)(6)所述的攝像裝置，其中，

多個成像單元被布置成以要作為基準(zhǔn)的成像單元為中心的六邊形形狀和十二邊形形狀。

(10)根據(jù)(9)所述的攝像裝置，其中，

六邊形形狀和十二邊形形狀的邊彼此相等。

(11)根據(jù)(1)至(10)中的任一項所述的攝像裝置，其中，

多個成像單元和要作為基準(zhǔn)的成像單元根據(jù)同一同步信號來獲取圖像。

(12)根據(jù)(11)所述的攝像裝置，還包括：

存儲單元，存儲單元被配置成存儲由多個成像單元和要作為基準(zhǔn)的成像單元獲得的圖像；

讀取控制單元，讀取控制單元被配置成控制存儲在存儲單元中的圖像的讀取；以及

校正單元，校正單元被配置成校正通過讀取控制單元的控制而讀取的圖像。

(13)根據(jù)(12)所述的攝像裝置，還包括：

深度估計單元，深度估計單元被配置成：通過使用由校正單元校正的圖像來估計由要作為基準(zhǔn)的成像單元獲得的圖像的深度，并且生成圖像的視差圖像；以及

生成單元，生成單元被配置成：通過使用由深度估計單元生成的要作為基準(zhǔn)的成像單元的視差圖像以及由多個成像單元和要作為基準(zhǔn)的成像單元獲得的圖像來生成超多視點圖像。

(14)一種攝像方法，包括：

由多個成像單元和要作為基準(zhǔn)的成像單元對來自不同視點的圖像進(jìn)行成像的步驟，多個成像單元被配置成使用當(dāng)對來自不同視點的圖像進(jìn)行成像時要作為基準(zhǔn)的成像單元的位置作為基準(zhǔn)并根據(jù)基于不同素數(shù)的倒數(shù)的基線長度來布置。

附圖標(biāo)記列表

200光場相機(jī)

230基準(zhǔn)相機(jī)

231至234外圍相機(jī)

250基準(zhǔn)相機(jī)

251至258外圍相機(jī)

270基準(zhǔn)相機(jī)

271至278外圍相機(jī)

290基準(zhǔn)相機(jī)

291至295外圍相機(jī)

310基準(zhǔn)相機(jī)

311至328外圍相機(jī)