專利名稱：信息處理設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及根據(jù)多視點(diǎn)圖像生成虛擬視點(diǎn)圖像。
背景技術(shù)：
用于獲得與拍攝位置不同的視點(diǎn)的圖像(虛擬視點(diǎn)圖像)的已知方法包括用于在移動(dòng)光軸的情況下拍攝圖像的傾斜偏移拍攝、以及用于通過(guò)生成距離映射并且根據(jù)距離映射合成不同視點(diǎn)的多個(gè)圖像(多視點(diǎn)圖像)來(lái)獲得自由視點(diǎn)圖像的方法。用于獲得多視點(diǎn)圖像的已知方法包括如專利文獻(xiàn)I那樣、以包括被攝體的區(qū)域可以彼此重疊的方式多次拍攝被攝體并且合成所拍攝的圖像的方法，以及如專利文獻(xiàn)2那樣利用照相機(jī)陣列的方法。 對(duì)手持拍攝等而言，后者較好。用于利用照相機(jī)陣列獲得多視點(diǎn)圖像的拍攝系統(tǒng)包括如專利文獻(xiàn)2那樣從所有方向拍攝被攝體的系統(tǒng)，以及如ViewPLUS公司所制造的ProFUSI0N25那樣、利用在平面內(nèi)配置的多個(gè)照相機(jī)來(lái)拍攝圖像的系統(tǒng)。為了獲得與拍攝位置不同的視點(diǎn)的圖像，獲取包括被攝體的拍攝區(qū)域的距離映射是非常重要的。形成照相機(jī)陣列的照相機(jī)的配置顯著影響距離映射的精度。提出了如專利文獻(xiàn)3那樣的在光軸的前后配置照相機(jī)的方法。例如，用于根據(jù)多視點(diǎn)圖像生成距離映射的已知方法包括如非專利文獻(xiàn)I所述的平面掃描方法。引用列表 _5] 專利文獻(xiàn)專利文獻(xiàn)I :日本特開(kāi)2000-307947專利文獻(xiàn)2 日本特開(kāi)2006-352539專利文獻(xiàn)3 :日本專利356144
發(fā)明內(nèi)容
發(fā)明要解決的問(wèn)題傳統(tǒng)上，以諸如格子狀、放射狀或半球狀等的規(guī)則圖案來(lái)配置形成照相機(jī)陣列的照相機(jī)。如果以規(guī)則圖案配置照相機(jī)，則發(fā)生以下的問(wèn)題不能正確地獲取具有某種程度的大小的單一顏色的被攝體的距離信息。例如，如圖5(a)所示，假定將作為單一顏色被攝體的單一顏色棒X(例如，扶手) 與多個(gè)照相機(jī)的配置平行配置。例如，由照相機(jī)A、B和C所拍攝的圖像如圖5(b)所示。在圖5(b)中，黑線部分與在各圖像中單一顏色被攝體X的圖像部分相對(duì)應(yīng)。在圖5(b)中，a、 b和c表示與如圖5(a)所示的實(shí)際空間位置(虛擬被攝體位置)a、b和c相對(duì)應(yīng)的圖像上的位置。如圖5(a)和5(b)所示，由于被攝體X具有單一顏色，因而在各照相機(jī)的圖像中與位置a、b和c相對(duì)應(yīng)的像素值相同。因此，不能根據(jù)各照相機(jī)的圖像來(lái)指定與單一顏色被攝體X所位于的位置b相對(duì)應(yīng)的像素。因而，被攝體X的位置b (被攝體位置)不能縮窄至一個(gè)點(diǎn)。
如圖5(c)所示，當(dāng)具有大致均一的特征值的被攝體位于包括穿過(guò)兩個(gè)照相機(jī)的直線的平面內(nèi)時(shí)，在多個(gè)虛擬被攝體位置處，特征值大致一致。因而，在原理上，僅利用兩個(gè)照相機(jī)不能指定被攝體位置。因此，需要再添加照相機(jī)來(lái)縮窄虛擬被攝體位置。然而，如上所述，如果在穿過(guò)兩個(gè)照相機(jī)的直線上添加其它照相機(jī)，則不能指定被攝體位置。因而，在這樣的位置處添加照相機(jī)是無(wú)效的。由于對(duì)配置在照相機(jī)陣列中的照相機(jī)數(shù)量的物理限制，因而，盡可能多地減少對(duì)信息量的增加沒(méi)有貢獻(xiàn)的照相機(jī)的數(shù)量，這對(duì)于生成正確的三維估計(jì)結(jié)果并且由此生成高質(zhì)量的虛擬視點(diǎn)圖像具有很大貢獻(xiàn)。本發(fā)明是為了解決上述問(wèn)題而作出的，并且本發(fā)明的目的是通過(guò)使攝像單元的位置最優(yōu)化而獲得期望的虛擬視點(diǎn)圖像或距離映射。用于解決問(wèn)題的方案根據(jù)本發(fā)明的權(quán)利要求1，提供一種信息處理設(shè)備，用于根據(jù)利用配置在不同位置處的多個(gè)攝像單元所拍攝的圖像，生成與配置所述照相機(jī)的位置不同的虛擬視點(diǎn)的虛擬視點(diǎn)圖像，所述信息處理設(shè)備包括虛擬視點(diǎn)設(shè)置部件，用于設(shè)置虛擬視點(diǎn)；確定部件，用于根據(jù)由配置在不同位置處的所述多個(gè)攝像單元拍攝的多個(gè)圖像的圖像數(shù)據(jù)，確定在所述虛擬視點(diǎn)的虛擬圖像中不能確定被攝體距離的未確定區(qū)域；校正量設(shè)置部件，用于根據(jù)所述未確定區(qū)域來(lái)設(shè)置所述多個(gè)攝像單元中的至少一個(gè)攝像單元的位置的校正量；以及生成部件，用于根據(jù)由配置在根據(jù)所述校正量校正后的位置處的所述多個(gè)攝像單元拍攝的多個(gè)圖像的圖像數(shù)據(jù)，生成所述虛擬視點(diǎn)的虛擬圖像。根據(jù)本發(fā)明的權(quán)利要求8，提供一種信息處理設(shè)備，用于根據(jù)利用配置在不同位置處的多個(gè)攝像單元所拍攝的圖像，生成與配置所述照相機(jī)的位置不同的虛擬視點(diǎn)的距離映射，所述信息處理設(shè)備包括虛擬視點(diǎn)設(shè)置部件，用于設(shè)置虛擬視點(diǎn)；確定部件，用于根據(jù)由配置在不同位置處的所述多個(gè)攝像單元拍攝的多個(gè)圖像的圖像數(shù)據(jù)，確定在所述虛擬視點(diǎn)的虛擬圖像中不能確定被攝體距離的未確定區(qū)域；校正量設(shè)置部件，用于根據(jù)所述未確定區(qū)域來(lái)設(shè)置所述多個(gè)攝像單元中的至少一個(gè)攝像單元的位置的校正量；以及生成部件， 用于根據(jù)由配置在根據(jù)所述校正量校正后的位置處的所述多個(gè)攝像單元拍攝的多個(gè)圖像的圖像數(shù)據(jù)，生成所述虛擬視點(diǎn)的距離映射。根據(jù)本發(fā)明的權(quán)利要求9，提供一種信息處理設(shè)備，用于根據(jù)利用多個(gè)攝像裝置所拍攝的圖像，生成如同從實(shí)際上未配置照相機(jī)的虛擬視點(diǎn)拍攝的虛擬視點(diǎn)圖像，所述信息處理設(shè)備包括照相機(jī)陣列，其具有以如下方式配置的照相機(jī)均具有重疊拍攝區(qū)域的一個(gè)以上的照相機(jī)組中的各照相機(jī)組包括的三個(gè)以上的照相機(jī)不配置在同一直線上；虛擬照相機(jī)指定部件，用于指定虛擬照相機(jī)的位置、姿勢(shì)和視角；以及圖像生成部件，用于合成利用所述照相機(jī)陣列所拍攝的圖像，并且生成所述虛擬照相機(jī)指定部件所指定的虛擬照相機(jī)的視點(diǎn)圖像。根據(jù)本發(fā)明，可以適當(dāng)?shù)卦O(shè)置攝像單元的位置，并且獲得期望的虛擬視點(diǎn)圖像或距離映射。


圖I包括示出根據(jù)典型實(shí)施例I的拍攝裝置的外觀的圖。圖2是示出拍攝裝置的詳細(xì)結(jié)構(gòu)的圖。
圖3包括示出用于利用照相機(jī)陣列獲取距離映射的處理的概要的圖。圖4是示出距離映射估計(jì)處理的流程的流程圖。圖5包括說(shuō)明基于照相機(jī)的配置和與被攝體的相對(duì)位置而在獲取距離信息時(shí)產(chǎn)生的困難的圖。圖6是示出用于確定在生成立體圖像時(shí)的虛擬照相機(jī)位置的處理的概要的圖。圖7是示出圖像數(shù)據(jù)格式的概要的圖。圖8是示出用于自動(dòng)確定圖像數(shù)據(jù)格式的處理的流程的流程圖。圖9是示出圖像處理的流程的流程圖。圖10包括示出照相機(jī)位置校正處理的流程的流程圖。圖11包括示出在進(jìn)行照相機(jī)位置校正處理之后的照相機(jī)位置的概要的圖。圖12是示出根據(jù)典型實(shí)施例2的照相機(jī)位置確定處理的流程的流程圖。圖13是示出針對(duì)照相機(jī)位置的直線配置確定處理的概要的圖。圖14是示出照相機(jī)位置更新處理的流程的流程圖。圖15是示出在進(jìn)行照相機(jī)位置更新處理之后照相機(jī)位置的概要的圖。圖16包括示出根據(jù)典型實(shí)施例4的照相機(jī)陣列的配置狀態(tài)的圖。
具體實(shí)施例方式典型實(shí)施例I在典型實(shí)施例I中，動(dòng)態(tài)校正形成照相機(jī)陣列的照相機(jī)單元的位置。照相機(jī)陣列包括兩個(gè)以上照相機(jī)。在本典型實(shí)施例中，將形成照相機(jī)陣列的照相機(jī)稱為“照相機(jī)單元”， 以清楚地區(qū)分多鏡頭數(shù)字照相機(jī)和形成照相機(jī)陣列的照相機(jī)。圖I包括示出根據(jù)本典型實(shí)施例的多鏡頭數(shù)字照相機(jī)的概要的立體圖。圖1(a) 和1(b)分別示出正面和背面的概要。在多鏡頭數(shù)字照相機(jī)本體100的正面上設(shè)置有按格子狀配置照相機(jī)單元101的照相機(jī)陣列，并且可以利用多個(gè)照相機(jī)單元同時(shí)獲得多個(gè)視點(diǎn)圖像。在多鏡頭數(shù)字照相機(jī)本體100的上部設(shè)置有用于指示開(kāi)始拍攝的釋放按鈕104。形成照相機(jī)陣列的各照相機(jī)單元101包括攝像裝置102、保持環(huán)103和致動(dòng)器 125，并且致動(dòng)器允許攝像裝置102在保持環(huán)103的范圍內(nèi)水平和垂直移動(dòng)。在本典型實(shí)施例中，通過(guò)集成鏡頭121、LPF 122、攝像傳感器(例如，CXD傳感器)123、水平/垂直驅(qū)動(dòng)臺(tái) 124和外圍電路(未示出)來(lái)配置攝像裝置102。通過(guò)利用驅(qū)動(dòng)用的致動(dòng)器125來(lái)水平和垂直地驅(qū)動(dòng)攝像裝置(圖I (c))。在本典型實(shí)施例中，水平和垂直地驅(qū)動(dòng)攝像裝置102。除在水平和垂直方向驅(qū)動(dòng)以外，例如，還可以進(jìn)行在光軸方向的前后驅(qū)動(dòng)或者轉(zhuǎn)動(dòng)(圖1(d))。然而，照相機(jī)單元相對(duì)于攝像元件的中心的轉(zhuǎn)動(dòng)未能解決不能指定被攝體距離的問(wèn)題。保持各照相機(jī)單元101的移動(dòng)量，并且在將所拍攝的圖像數(shù)據(jù)傳送至緩沖器存儲(chǔ)器208 (見(jiàn)圖2)時(shí)通過(guò)將該移動(dòng)量添加至圖像來(lái)傳送該移動(dòng)量。在多鏡頭數(shù)字照相機(jī)本體100的側(cè)面設(shè)置有用于插入外部記錄介質(zhì)(例如，半導(dǎo)體存儲(chǔ)卡)的卡槽111。在多鏡頭數(shù)字照相機(jī)本體100的背面上設(shè)置有圖像顯示裝置105、 十字切換器106、電源按鈕107、菜單按鈕108、設(shè)置按鈕109和取消按鈕110。在本典型實(shí)施例中，由于未設(shè)置光學(xué)取景器，因而使用圖像顯示裝置105檢查聚焦和構(gòu)圖。圖像顯示裝置105提供用于允許拍攝范圍的實(shí)時(shí)顯示的實(shí)時(shí)取景顯示，并且還在按下菜單按鈕108時(shí)提供照相機(jī)設(shè)置菜單的顯示。當(dāng)在顯示照相機(jī)設(shè)置菜單期間按下菜單按鈕108時(shí)，狀態(tài)返回實(shí)時(shí)取景狀態(tài)。在利用菜單按鈕108顯示的照相機(jī)設(shè)置菜單中，首先，選擇項(xiàng)目，并且使用設(shè)置按鈕109改變所選項(xiàng)目的狀態(tài)，或者利用取消按鈕110在無(wú)任何改變的情況下使?fàn)顟B(tài)返回項(xiàng)目的選擇?？梢栽谡障鄼C(jī)設(shè)置菜單中改變的項(xiàng)目包括指定光圈值、照相機(jī)快門速度、虛擬照相機(jī)視點(diǎn)、輸出圖像格式和圖像數(shù)據(jù)格式。在本典型實(shí)施例中，將形成照相機(jī)陣列的照相機(jī)單元的光圈值或快門速度設(shè)置為相同的值。也可以單獨(dú)地設(shè)置照相機(jī)單元的光圈值或快門速度。對(duì)于對(duì)各照相機(jī)單元進(jìn)行相同的設(shè)置，這允許以與傳統(tǒng)數(shù)字照相機(jī)的操作方式相同的操作方式來(lái)設(shè)置拍攝條件，而對(duì)于對(duì)各照相機(jī)單元進(jìn)行單獨(dú)設(shè)置，這允許獲得更精確的虛擬視點(diǎn)圖像。虛擬照相機(jī)視點(diǎn)信息包括與虛擬照相機(jī)的位置、姿勢(shì)、視角和拍攝距離有關(guān)的信息。拍攝距離是從虛擬照相機(jī)視點(diǎn)到虛擬焦平面的距離，并且拍攝距離不同于作為從虛擬照相機(jī)視點(diǎn)到被攝體的距離的被攝體距離。如普通數(shù)字照相機(jī)那樣，通過(guò)測(cè)量拍攝區(qū)域中的在設(shè)置拍攝準(zhǔn)備就緒狀態(tài)時(shí)所指定的位置來(lái)確定拍攝距離。例如，在本典型實(shí)施例的多鏡頭數(shù)字照相機(jī)中，選擇與AF測(cè)距框最靠近的位置處的照相機(jī)單元，利用所選擇的照相機(jī)單元來(lái)確定拍攝距離，并且將所確定的拍攝距離報(bào)告給其它照相機(jī)。在本典型實(shí)施例中，基于輸出圖像格式和圖像數(shù)據(jù)格式確定多鏡頭數(shù)字照相機(jī)所生成的圖像數(shù)據(jù)的格式。在本典型實(shí)施例中，可選擇2D圖像、立體圖像、多視差圖像和RAW 圖像四個(gè)類型的輸出圖像格式。2D圖像是表示從虛擬照相機(jī)視點(diǎn)觀看的視頻的單一虛擬視點(diǎn)圖像數(shù)據(jù)。立體圖像是表示在虛擬照相機(jī)視點(diǎn)處觀看到的雙眼視差圖像的右眼視點(diǎn)圖像數(shù)據(jù)和左眼視點(diǎn)圖像數(shù)據(jù)。如圖6所示，以虛擬照相機(jī)視點(diǎn)為基準(zhǔn)、根據(jù)雙眼視差(例如6cm)設(shè)置兩個(gè)虛擬照相機(jī)(右眼虛擬照相機(jī)和左眼虛擬照相機(jī))，并且將從兩個(gè)照相機(jī)中的各照相機(jī)觀看到的視頻作為圖像數(shù)據(jù)輸出。當(dāng)設(shè)置兩個(gè)虛擬照相機(jī)時(shí)，除雙眼視差之外還可以指定輻合角。通過(guò)指定輻合角，即使當(dāng)拍攝距離短時(shí)也可以獲得看起來(lái)自然的立體圖像。在多視差圖像中，與立體圖像不同，在不將視差的數(shù)量在水平方向上限制為兩個(gè)的情況下，可以根據(jù)分別指定的任意數(shù)量的視差生成多個(gè)圖像數(shù)據(jù)?？梢栽谒胶痛怪狈较蛏蠁为?dú)地指定視差的數(shù)量。RAW圖像是以不改變的方式記錄使用各照相機(jī)單元所拍攝的圖像數(shù)據(jù)的格式。在該輸出圖像格式的情況下，將與各照相機(jī)單元相對(duì)應(yīng)的圖像數(shù)據(jù)與關(guān)于照相機(jī)單元的虛擬照相機(jī)視點(diǎn)信息一同存儲(chǔ)。按原樣存儲(chǔ)各照相機(jī)單元的輸出(多視點(diǎn)圖像)，這使得可以利用PC等改變景深或視點(diǎn)位置等(再調(diào)焦處理)。圖像數(shù)據(jù)格式是用于指定存儲(chǔ)諸如立體圖像或多視差圖像等的多個(gè)虛擬照相機(jī)視點(diǎn)的圖像數(shù)據(jù)的方法的信息。在本典型實(shí)施例中，作為圖像數(shù)據(jù)格式，可以選擇按原樣記錄多個(gè)圖像數(shù)據(jù)的正常記錄、或者以條狀或格子狀的方式合成多個(gè)視差圖像以進(jìn)行雙凸透鏡印刷/顯示的雙凸透鏡記錄(圖7)。在雙凸透鏡記錄的情況下，如果僅在水平方向和垂直方向中的一個(gè)方向指定視差，則以條狀的方式交替合成多個(gè)視差圖像。如果在兩個(gè)方向均設(shè)置視差，則以格子狀的方式交替合成多個(gè)視差圖像。可以在水平方向和垂直方向獨(dú)立地設(shè)置視差的雙凸透鏡記錄還可以支持集成型裸眼立體監(jiān)視器。在本典型實(shí)施例中，還準(zhǔn)備用于識(shí)別與照相機(jī)連接的輸出裝置并且自動(dòng)選擇正常記錄和雙凸透鏡記錄的其中之一的“自動(dòng)選擇”作為圖像數(shù)據(jù)格式。在將“自動(dòng)選擇”設(shè)置為圖像數(shù)據(jù)格式的情況下，當(dāng)利用釋放按鈕104指示拍攝時(shí)，微計(jì)算機(jī)200執(zhí)行如圖8所示的處理，并且確定輸出圖像數(shù)據(jù)格式。首先，判斷多鏡頭數(shù)字照相機(jī)本體與輸出裝置是否彼此連接(步驟S801)。如果判斷為連接了輸出裝置，則從輸出裝置獲取與輸出裝置所支持的數(shù)據(jù)格式有關(guān)的信息(步驟S802)。根據(jù)所獲取的數(shù)據(jù)格式，將正常記錄或雙凸透鏡記錄設(shè)置為圖像數(shù)據(jù)格式。另外，當(dāng)設(shè)置了雙凸透鏡記錄時(shí)，基于所獲取的數(shù)據(jù)格式設(shè)置在水平方向和垂直方向的視差的數(shù)量(步驟S803)。另一方面，如果在步驟S801中判斷為未連接輸出裝置，則設(shè)置預(yù)定圖像數(shù)據(jù)格式。在本典型實(shí)施例中，設(shè)置正常記錄(步驟S804)。如果將RAW圖像指定為輸出圖像格式，則不能選擇“自動(dòng)選擇”作為圖像數(shù)據(jù)格式。然后，如果在將“自動(dòng)選擇”設(shè)置為圖像數(shù)據(jù)格式的狀態(tài)下將RAW圖像選擇為輸出圖像格式，則自動(dòng)設(shè)置“正常記錄”。圖2是示出根據(jù)本典型實(shí)施例的多鏡頭數(shù)字照相機(jī)的電路結(jié)構(gòu)的框圖。在圖2中， 微計(jì)算機(jī)200控制包括針對(duì)從攝像裝置102輸出的圖像數(shù)據(jù)的處理、攝像裝置102的驅(qū)動(dòng)控制以及LCD監(jiān)視器裝置211的顯示控制的照相機(jī)整體的操作。當(dāng)半按下釋放按鈕104 (見(jiàn)圖I)時(shí)開(kāi)關(guān)(SWl) 205接通，并且當(dāng)開(kāi)關(guān)(SWl) 205接通時(shí)，該實(shí)施例的多鏡頭數(shù)字照相機(jī)進(jìn)入拍攝準(zhǔn)備就緒狀態(tài)。當(dāng)全按下釋放按鈕104時(shí)(全按下?tīng)顟B(tài))開(kāi)關(guān)(SW2) 206接通，并且當(dāng)開(kāi)關(guān)(SW2) 206接通時(shí)，該實(shí)施例的多鏡頭數(shù)字照相機(jī)開(kāi)始拍攝操作。在根據(jù)該實(shí)施例的多鏡頭數(shù)字照相機(jī)中，由于需要同步地驅(qū)動(dòng)多個(gè)攝像裝置102，因而使用照相機(jī)單元同步電路207控制驅(qū)動(dòng)。通過(guò)拍攝鏡頭121、攝像傳感器123、攝像裝置控制電路203和圖像處理電路204 來(lái)構(gòu)成各個(gè)攝像裝置(照相機(jī)單元)102。通過(guò)照相機(jī)單元驅(qū)動(dòng)電路213來(lái)控制用于調(diào)整攝像裝置102的位置的致動(dòng)器125。攝像裝置控制電路203進(jìn)行鏡頭控制和快門控制等。鏡頭控制的例子包括在與拍攝鏡頭121通信期間和在AF(自動(dòng)調(diào)焦)期間對(duì)拍攝鏡頭121的驅(qū)動(dòng)控制、以及對(duì)光圈葉片的驅(qū)動(dòng)控制。另外，經(jīng)由快門控制，對(duì)攝像傳感器123進(jìn)行適當(dāng)曝光。通過(guò)圖像處理電路204處理利用攝像傳感器123所獲得的圖像數(shù)據(jù)，并將其發(fā)送至緩沖器存儲(chǔ)器208。圖像處理209利用存儲(chǔ)在緩沖器存儲(chǔ)器208中的、由多個(gè)攝像裝置102 所拍攝的多個(gè)圖像的圖像數(shù)據(jù)，計(jì)算用于根據(jù)虛擬照相機(jī)視點(diǎn)信息而生成高精度虛擬圖像的攝像裝置102的移動(dòng)量，并且將計(jì)算出的移動(dòng)量通知給攝像裝置控制電路203。另外，圖像處理209利用存儲(chǔ)在緩沖器存儲(chǔ)器208中的、根據(jù)移動(dòng)量而控制的攝像裝置102所拍攝的多個(gè)圖像的圖像數(shù)據(jù)，根據(jù)虛擬照相機(jī)視點(diǎn)信息、輸出圖像格式和圖像數(shù)據(jù)格式來(lái)生成圖像數(shù)據(jù)，并且將圖像數(shù)據(jù)記錄在記錄裝置212上。在本典型實(shí)施例中，利用平面掃描方法進(jìn)行用于根據(jù)虛擬照相機(jī)視點(diǎn)生成圖像的處理。然而，可以使用任意其它方法來(lái)進(jìn)行生成。 以下將說(shuō)明用于利用平面掃描方法生成虛擬視點(diǎn)圖像的處理。IXD監(jiān)視器211和背光照明210形成圖像顯示裝置105。例如，記錄裝置212是以可移除的方式經(jīng)由卡槽111插入照相機(jī)本體的半導(dǎo)體存儲(chǔ)卡或者利用外部端子(未示出) 連接的硬盤驅(qū)動(dòng)器等。然后，將說(shuō)明平面掃描方法。在平面掃描方法中，首先，設(shè)置虛擬焦平面作為與虛擬視點(diǎn)圖像中要估計(jì)的像素相對(duì)應(yīng)的被攝體存在的位置(被攝體位置)的候選點(diǎn)。在通過(guò)多個(gè)照相機(jī)單元所拍攝的多個(gè)圖像中的各個(gè)圖像中，利用與所設(shè)置的焦平面上的點(diǎn)相對(duì)應(yīng)的像素值，確定所設(shè)置的焦平面的可靠性水平。所設(shè)置的焦平面上的點(diǎn)與關(guān)注的像素相對(duì)應(yīng)。然后，確定與具有高可靠性水平的焦平面相對(duì)應(yīng)的距離作為與在虛擬視點(diǎn)圖像中要估計(jì)的像素相對(duì)應(yīng)的距離。通過(guò)確定與虛擬視點(diǎn)圖像上的各像素有關(guān)的距離信息，可以生成拍攝區(qū)域的距離映射。然后，根據(jù)距離映射來(lái)再配置由多個(gè)照相機(jī)單元所拍攝的多個(gè)圖像，因此可以生成虛擬視點(diǎn)圖像。圖3(a)示出通過(guò)如圖3(b)所示的虛擬照相機(jī)所獲得的所拍攝圖像(虛擬視點(diǎn)圖像)。圖3(b)示出用于估計(jì)圖3(a)中要估計(jì)的像素F到虛擬照相機(jī)的距離的處理的概要。 與要估計(jì)的像素F相對(duì)應(yīng)的被攝體存在于連接虛擬視點(diǎn)位置與要估計(jì)的像素F在空間中的位置的直線上。因而，在虛擬焦平面從點(diǎn)A移動(dòng)至點(diǎn)B時(shí)，在由多個(gè)照相機(jī)單元P所拍攝的多個(gè)圖像中的各個(gè)中，指定與虛擬焦平面和直線的交點(diǎn)(候選點(diǎn))的位置相對(duì)應(yīng)的像素值。 在圖3(b)的例子中，所配置的六個(gè)照相機(jī)單元P的所有拍攝圖像包括從點(diǎn)A到點(diǎn)B的范圍內(nèi)的相應(yīng)像素。利用所指定的多個(gè)像素值的特征值之間的一致度，確定所設(shè)置的虛擬焦平面的可靠性水平。如果虛擬焦平面正確，則由于在通過(guò)多個(gè)照相機(jī)單元P所拍攝的圖像中指定的像素值是與同一被攝體相對(duì)應(yīng)的像素值，因而一致度高。另一方面，如果虛擬焦平面不適當(dāng)，則由于所指定的各像素值是與不同被攝體相對(duì)應(yīng)的像素值，因而一致度低。確定與具有高可靠性水平的焦平面相對(duì)應(yīng)的距離作為與在虛擬視點(diǎn)圖像中要估計(jì)的像素相對(duì)應(yīng)的距離。將利用圖4說(shuō)明使用平面掃描方法的圖像處理的流程。選擇在虛擬視點(diǎn)圖像中包括的像素i (步驟S401)。然后，計(jì)算從虛擬照相機(jī)視點(diǎn)到像素i的方向向量，并且設(shè)置包括該方向向量的直線L (步驟S402)。確定在直線L上的搜索范圍(步驟S403)。在搜索范圍內(nèi)從靠近虛擬照相機(jī)的位置向無(wú)限遠(yuǎn)按順序設(shè)置虛擬焦平面，并且搜索被攝體距離。將表示臨時(shí)被攝體距離的點(diǎn)F配置在設(shè)置了搜索范圍的直線上(步驟S404)。從所拍攝的圖像組獲取與點(diǎn)F相對(duì)應(yīng)的像素(步驟S405)。臨時(shí)被攝體距離表示包括點(diǎn)F的虛擬焦平面與虛擬照相機(jī)之間的距離。這里，例如，如圖3(b)所示，如果利用六個(gè)照相機(jī)覆蓋虛擬照相機(jī)的拍攝范圍，則針對(duì)六個(gè)所拍攝圖像各獲取一個(gè)像素、即共六個(gè)像素作為與點(diǎn)F相對(duì)應(yīng)的像素。以下將說(shuō)明用于計(jì)算與點(diǎn)F相對(duì)應(yīng)的像素位置的方法。利用所獲取的像素組判斷在由點(diǎn)F所指定的位置處是否存在被攝體(所拍攝的對(duì)象)。通過(guò)判斷像素組中特定比例的像素或更大比例的像素是否實(shí)質(zhì)上一致，判斷被攝體的存在。在本典型實(shí)施例中，利用像素的特征值的方差來(lái)判斷像素是否實(shí)質(zhì)上彼此一致。因而，計(jì)算在步驟S405中所獲取的多個(gè)像素的特征值的方差值，并將其設(shè)置為點(diǎn)F的被攝體距離的可靠性水平(步驟S406)。在搜索范圍內(nèi)更新點(diǎn)F的位置，并且重復(fù)進(jìn)行步驟S405 和S406的處理(步驟S407和S410)。然后，提取具有在搜索范圍內(nèi)針對(duì)各點(diǎn)計(jì)算出的方差值中的最低方差值的點(diǎn) Fmin,并且采用與點(diǎn)Fmin相對(duì)應(yīng)的被攝體距離作為像素i的被攝體距離(步驟S408)。針對(duì)虛擬視點(diǎn)圖像中的所有像素進(jìn)行步驟S401 S410的處理(步驟S409)，并且可以獲得表示與虛擬視點(diǎn)圖像中的各像素有關(guān)的被攝體距離信息的距離映射?；诒粩z體距離信息，可以估計(jì)被攝體的三維形狀，或者可以生成虛擬視點(diǎn)圖像。 利用與點(diǎn)Fmin相對(duì)應(yīng)的像素的特征值確定虛擬視點(diǎn)圖像的特征值，這使得可以在不創(chuàng)建距離映射的情況下直接創(chuàng)建虛擬視點(diǎn)圖像。例如，可以想到使用在所拍攝圖像組中與點(diǎn) Fmin相對(duì)應(yīng)的像素的平均顏色作為虛擬視點(diǎn)圖像中點(diǎn)F的像素值。將使用圖3(c)說(shuō)明用于計(jì)算所拍攝圖像中的與點(diǎn)F相對(duì)應(yīng)的坐標(biāo)的方法。在圖中，例如，照相機(jī)A與圖3(b)中的照相機(jī)單元P或虛擬照相機(jī)相對(duì)應(yīng)。照相機(jī)A所確定的拍攝區(qū)域表示頂點(diǎn)為照相機(jī)A、水平視角為911并且垂直視角為0￥的四角錐空間。在該空間中，假定與照相機(jī)A的拍攝距離為I的平面是拍攝區(qū)域投影平面。 首先，在映射實(shí)際空間的坐標(biāo)系中，假定點(diǎn)F的位置向量是X，照相機(jī)A的位置向量是Xe，并且從照相機(jī)A到拍攝區(qū)域投影平面的中心C的向量是Xv。假定拍攝區(qū)域投影平面的上方向和右方向分別是Xvv和XvH。這里，假定Xvv和Xvh是單位向量。另外，假定點(diǎn)P在拍攝區(qū)域投影平面上與點(diǎn)F相對(duì)應(yīng)的坐標(biāo)處。可以利用以下等式表示點(diǎn)P的位置向量P。數(shù)學(xué)式IP = RX-等式(I)這里，假定數(shù)學(xué)式2及三,(Ji版，廠)等式⑵其中，t表示轉(zhuǎn)置矩陣。假定用Nh表示由該照相機(jī)所獲得的所拍攝圖像的水平像素的數(shù)量，用Nv表示垂直像素的數(shù)量，并且右方向和下方向分別是X分量的正方向和Y分量的正方向，其中，使用圖像的左上角作為原點(diǎn)。然后，可以利用以下等式表示所拍攝圖像中的與點(diǎn)P相對(duì)應(yīng)的像素的坐標(biāo)(Px，Py)數(shù)學(xué)式權(quán)利要求
1.一種信息處理設(shè)備，用于根據(jù)利用配置在不同位置處的多個(gè)攝像單元所拍攝的圖像，生成與配置所述照相機(jī)的位置不同的虛擬視點(diǎn)的虛擬視點(diǎn)圖像，所述信息處理設(shè)備包括虛擬視點(diǎn)設(shè)置部件，用于設(shè)置虛擬視點(diǎn)；確定部件，用于根據(jù)由配置在不同位置處的所述多個(gè)攝像單元拍攝的多個(gè)圖像的圖像數(shù)據(jù)，確定在所述虛擬視點(diǎn)的虛擬圖像中不能確定被攝體距離的未確定區(qū)域；校正量設(shè)置部件，用于根據(jù)所述未確定區(qū)域來(lái)設(shè)置所述多個(gè)攝像單元中的至少一個(gè)攝像單元的位置的校正量；以及生成部件，用于根據(jù)由配置在根據(jù)所述校正量校正后的位置處的所述多個(gè)攝像單元拍攝的多個(gè)圖像的圖像數(shù)據(jù)，生成所述虛擬視點(diǎn)的虛擬圖像。
2.根據(jù)權(quán)利要求I所述的信息處理設(shè)備，其特征在于，所述確定部件在根據(jù)所述虛擬視點(diǎn)的虛擬圖像中要進(jìn)行被攝體距離估計(jì)的像素和所述虛擬視點(diǎn)而確定的直線上，設(shè)置多個(gè)被攝體位置候選點(diǎn)，以及所述確定部件判斷是否能夠根據(jù)由配置在不同位置處的所述多個(gè)攝像單元拍攝的多個(gè)圖像的與所述被攝體候選點(diǎn)相對(duì)應(yīng)的像素值，確定要進(jìn)行被攝體距離估計(jì)的像素的被攝體距離。
3.根據(jù)權(quán)利要求I或2所述的信息處理設(shè)備，其特征在于，所述校正量設(shè)置部件基于所述未確定區(qū)域的中心線來(lái)設(shè)置所述校正量。
4.根據(jù)權(quán)利要求I 3中任一項(xiàng)所述的信息處理設(shè)備，其特征在于，還包括用于設(shè)置輸出圖像格式的輸出圖像格式設(shè)置部件，其中，所述生成部件根據(jù)所述虛擬視點(diǎn)和所設(shè)置的輸出圖像格式來(lái)生成所述虛擬圖像，以及其中，所述輸出圖像格式包括二維圖像和視差圖像，并且在選擇二維圖像作為所述輸出圖像格式的情況下，所述生成部件基于所述虛擬視點(diǎn)生成一個(gè)圖像，以及在選擇視差圖像作為所述輸出圖像格式的情況下，所述生成部件生成與根據(jù)所述虛擬視點(diǎn)和視差信息所確定的多個(gè)視點(diǎn)相對(duì)應(yīng)的多個(gè)圖像。
5.根據(jù)權(quán)利要求4所述的信息處理設(shè)備，其特征在于，還包括輸出圖像數(shù)據(jù)格式設(shè)置部件，所述輸出圖像數(shù)據(jù)格式設(shè)置部件用于設(shè)置用于指定與所述多個(gè)視點(diǎn)相對(duì)應(yīng)的多個(gè)圖像的存儲(chǔ)方法的輸出圖像數(shù)據(jù)格式，其中，所述生成部件利用與所述輸出圖像數(shù)據(jù)格式相對(duì)應(yīng)的存儲(chǔ)方法，存儲(chǔ)與所述多個(gè)視點(diǎn)相對(duì)應(yīng)的多個(gè)圖像。
6.一種計(jì)算機(jī)可讀程序，用于利用計(jì)算機(jī)實(shí)現(xiàn)根據(jù)權(quán)利要求I 5中任一項(xiàng)所述的信息處理設(shè)備。
7.一種信息處理方法，用于根據(jù)利用配置在不同位置處的多個(gè)攝像單元所拍攝的圖像，生成與配置所述照相機(jī)的位置不同的虛擬視點(diǎn)的虛擬視點(diǎn)圖像，所述信息處理方法包括虛擬視點(diǎn)設(shè)置步驟，用于設(shè)置虛擬視點(diǎn)；確定步驟，用于根據(jù)由配置在不同位置處的所述多個(gè)攝像單元拍攝的多個(gè)圖像的圖像數(shù)據(jù)，確定在所述虛擬視點(diǎn)的虛擬圖像中不能確定被攝體距離的未確定區(qū)域；校正量設(shè)置步驟，用于根據(jù)所述未確定區(qū)域來(lái)設(shè)置所述多個(gè)攝像單元中的至少一個(gè)攝像單元的位置的校正量；以及生成步驟，用于根據(jù)由配置在根據(jù)所述校正量校正后的位置處的所述多個(gè)攝像單元拍攝的多個(gè)圖像的圖像數(shù)據(jù)，生成所述虛擬視點(diǎn)的虛擬圖像。
8.一種信息處理設(shè)備，用于根據(jù)利用配置在不同位置處的多個(gè)攝像單元所拍攝的圖像，生成與配置所述照相機(jī)的位置不同的虛擬視點(diǎn)的距離映射，所述信息處理設(shè)備包括虛擬視點(diǎn)設(shè)置部件，用于設(shè)置虛擬視點(diǎn)；確定部件，用于根據(jù)由配置在不同位置處的所述多個(gè)攝像單元拍攝的多個(gè)圖像的圖像數(shù)據(jù)，確定在所述虛擬視點(diǎn)的虛擬圖像中不能確定被攝體距離的未確定區(qū)域；校正量設(shè)置部件，用于根據(jù)所述未確定區(qū)域來(lái)設(shè)置所述多個(gè)攝像單元中的至少一個(gè)攝像單元的位置的校正量；以及生成部件，用于根據(jù)由配置在根據(jù)所述校正量校正后的位置處的所述多個(gè)攝像單元拍攝的多個(gè)圖像的圖像數(shù)據(jù)，生成所述虛擬視點(diǎn)的距離映射。
9.一種信息處理設(shè)備，用于根據(jù)利用多個(gè)攝像裝置所拍攝的圖像，生成如同從實(shí)際上未配置照相機(jī)的虛擬視點(diǎn)拍攝的虛擬視點(diǎn)圖像，所述信息處理設(shè)備包括照相機(jī)陣列，其具有以如下方式配置的照相機(jī)均具有重疊拍攝區(qū)域的一個(gè)以上的照相機(jī)組中的各照相機(jī)組包括的三個(gè)以上的照相機(jī)不配置在同一直線上；虛擬照相機(jī)指定部件，用于指定虛擬照相機(jī)的位置、姿勢(shì)和視角；以及圖像生成部件，用于合成利用所述照相機(jī)陣列所拍攝的圖像，并且生成所述虛擬照相機(jī)指定部件所指定的虛擬照相機(jī)的視點(diǎn)圖像。
全文摘要
發(fā)明目的通過(guò)最優(yōu)化攝像單元的位置，獲得期望虛擬視點(diǎn)圖像或距離映射。解決方案包括虛擬視點(diǎn)設(shè)置部件，用于設(shè)置虛擬視點(diǎn)；確定部件，用于根據(jù)由配置在不同位置處的多個(gè)攝像單元拍攝的多個(gè)圖像的圖像數(shù)據(jù)，確定在所述虛擬視點(diǎn)的虛擬圖像中不能確定被攝體距離的未確定區(qū)域；校正量設(shè)置部件，用于根據(jù)所述未確定區(qū)域來(lái)設(shè)置所述多個(gè)攝像單元中的至少一個(gè)攝像單元的位置的校正量；以及生成部件，用于根據(jù)由配置在根據(jù)所述校正量校正后的位置處的所述多個(gè)攝像單元拍攝的多個(gè)圖像的圖像數(shù)據(jù)，生成所述虛擬視點(diǎn)的虛擬圖像。
文檔編號(hào)G06T1/00GK102598652SQ20098016202
公開(kāi)日2012年7月18日 申請(qǐng)日期2009年10月30日 優(yōu)先權(quán)日2009年10月30日
發(fā)明者小谷拓矢 申請(qǐng)人:佳能株式會(huì)社