專利名稱：用于從單一的圖像生成多視圖像的方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及多視圖像的生成。更具體地說，本發(fā)明涉及僅從二維源圖像中的像素生成多視圖像。
背景技術(shù)：
多視圖像以當(dāng)使用特殊眼鏡觀看時(shí)立體效果好而著稱。然而，最近出現(xiàn)的自動(dòng)立體顯示使得能向觀眾提供三維(3-D)對象場景的部分重建，而無需觀眾佩戴快門式眼鏡或偏振眼鏡/立體眼鏡。在這種方法中，對象場景由相機(jī)陣列抓取，其中，相機(jī)陣列中每個(gè)相機(jī)沿不同的光軸取向。各相機(jī)的輸出然后被集合到多視圖自動(dòng)立體顯示器上。盡管該方法有效，但是設(shè)置相機(jī)陣列、使各相機(jī)的光學(xué)特性(如變焦、聚焦等)同步是非常繁瑣的。此外，存儲和分發(fā)多通道的視頻信息也很難。這導(dǎo)致了普遍缺乏這樣的3D容量，因而對在自動(dòng)立體顯示器(monitor)、或如3D數(shù)碼相框的相關(guān)產(chǎn)品的商業(yè)化施加了一主要瓶頸。因此，需要有更簡單的方法以生成多視圖像，而不需要使用相機(jī)陣列。

發(fā)明內(nèi)容
簡單地說，本發(fā)明通過僅使用源圖像的像素生成多視圖像滿足以簡單的方式生成多視圖像的需要。本發(fā)明描述了一種將單一的靜態(tài)圖片轉(zhuǎn)換成多個(gè)圖像的方法，各圖像沿著特定的視角方向合成3D對象場景的投影圖像。該多個(gè)圖像模擬由照相機(jī)陣列對這樣的圖像的拍攝(capture)。接著，該多個(gè)圖像可被提供并顯示在顯示器(例如，3D自動(dòng)立體顯示器)上。本發(fā)明的方法可以被實(shí)施為運(yùn)行于計(jì)算單元上的獨(dú)立軟件程序、或被實(shí)施為硬件處理電路(如FPGA芯片)。它可以應(yīng)用于處理通過光學(xué)的或數(shù)字的裝置所拍攝的靜態(tài)圖像。本發(fā)明的第一方案提供一種生成場景的多視圖像的方法。該方法包括獲取場景的單一的二維源圖像，所述源圖像包括多個(gè)源像素；以及僅從所述多個(gè)源像素中的至少一些源像素中自動(dòng)生成所述場景的至少兩個(gè)多視圖像，所述至少兩個(gè)多視圖像的各多視圖像具有針對所述場景的不同的視角方向。本發(fā)明的第二方案提供一種計(jì)算單元，包括一存儲器以及與所述存儲器通信的用于根據(jù)一方法生成場景的多個(gè)多視圖像的處理器。該方法包括獲取場景的單一的二維源圖像，所述源圖像包括多個(gè)源像素；以及僅從所述多個(gè)源像素中的至少一些源像素中自動(dòng)生成所述場景的至少兩個(gè)多視圖像，所述至少兩個(gè)多視圖像的各多視圖像具有針對所述場景的不同的視角方向。本發(fā)明的第三方案提供至少一種硬件芯片，用于根據(jù)一方法生成場景的多個(gè)多視圖像。該方法包括獲取場景的單一的二維源圖像，所述源圖像包括多個(gè)源像素；以及僅從所述多個(gè)源像素中的至少一些源像素中自動(dòng)生成所述場景的至少兩個(gè)多視圖像，所述至少兩個(gè)多視圖像的各多視圖像具有針對所述場景的不同的視角方向。
本發(fā)明的第四方案提供一種計(jì)算機(jī)程序產(chǎn)品，用于生成場景的多視圖像，所述計(jì)算機(jī)程序產(chǎn)品包括存儲介質(zhì)，其由一處理電路可讀且存儲用于由所述處理電路執(zhí)行以執(zhí)行一方法的指令。該方法包括獲取場景的單一的二維源圖像，所述源圖像包括多個(gè)源像素，以及僅從所述多個(gè)源像素中的至少一些源像素中自動(dòng)生成所述場景的至少兩個(gè)多視圖像，所述至少兩個(gè)多視圖像的各多視圖像具有針對所述場景的不同的視角方向。從下面結(jié)合附圖對本發(fā)明的各個(gè)方案的詳細(xì)描述中，本發(fā)明的這些和其它目的、特點(diǎn)和優(yōu)點(diǎn)將變得顯而易見。


本發(fā)明的一個(gè)或多個(gè)方案具體地被指出，并清楚地作為例子主張?jiān)诒菊f明書結(jié)束處的權(quán)利要求書中。從如下結(jié)合相應(yīng)附圖的詳細(xì)描述中，本發(fā)明的上述和其它目的、特點(diǎn)和優(yōu)點(diǎn)變得顯而易見，附圖中圖1示出了顯示根據(jù)本發(fā)明的方法生成的多視圖像的自動(dòng)立體顯示器。圖2是根據(jù)本發(fā)明各方案的生成一場景的多個(gè)多視圖像的方法的流程圖/方框圖。圖3是根據(jù)本發(fā)明的其他方案的生成一場景的多個(gè)多視圖像的方法的流程圖/方框圖。圖4是一種存儲實(shí)施本發(fā)明方法的代碼或邏輯的計(jì)算機(jī)程序產(chǎn)品的一個(gè)示例的方框圖。圖5是一種存儲及執(zhí)行實(shí)施本發(fā)明方法的程序代碼或邏輯的計(jì)算單元的一個(gè)示例的方框圖。圖6示出了根據(jù)本發(fā)明的從多個(gè)多視圖像中生成單一的圖像的一個(gè)示例的流程圖/方框圖。
具體實(shí)施例方式本發(fā)明將單一的靜態(tài)圖片轉(zhuǎn)換成多個(gè)圖像，各圖像沿著特定的視角方向模擬3D對象場景的投影圖像。對于每個(gè)創(chuàng)建的圖像生成一偏移量，并將該偏移量增加到源圖像中的至少一些像素。要?jiǎng)?chuàng)建3D效果，需要至少兩幅圖像，每幅圖像來自不同的視角方向。如下所述，附加的處理也可能發(fā)生。然后可以提供(render)和顯示多個(gè)圖像。M個(gè)(多個(gè))圖像(以下簡稱為多視圖像)從單一的、靜態(tài)的二維圖像(以下簡稱為源圖像)生成。設(shè)I(x，y)代表源圖像，并且gi(x，y) I “i<M表示要生成的第i幅多視圖像。I (X，y)至gi (X，y) I Q<i<M的轉(zhuǎn)換可以被定義為gi (x, y) I O ^ KM=I (χ+ δ J (χ, y) , y) (I)其中χ和y分別是像素在源圖像中的水平和垂直坐標(biāo)，Si(XJ)和Λχ是整數(shù)，并且Si(Xj)是被定義在區(qū)間[-Λχ，Δχ]中的變量。Si(Xj)是在源圖像I(X，y)中的像素與在gi(x，y) I wi<M中對應(yīng)的像素之間的視差(disparity)或偏移量。當(dāng)多視圖像被顯示在3D自動(dòng)立體顯示器時(shí)，例如，它會在源圖像I(x，y)上產(chǎn)生三維的感覺(perception)。更具體地說,如果在3D自動(dòng)立體顯示器(10,圖1)上顯示多視圖像，圖像序列[gQ(x，y), gi (χ, y),. gM-1 (χ, y)] 12中的每幅圖像會被折射到唯一的角度上，如圖1所示。圖2是根據(jù)本發(fā)明各方案的生成一場景的多個(gè)多視圖像的方法的流程圖/方框圖。源圖像I (X，y)20被輸入到視差估計(jì)器22以提供初始的視差圖0(x，y) 24，該視差圖從I (x, y)中的每個(gè)像素的三個(gè)主要分量(或其它等效表示)的加權(quán)和中得出。在數(shù)學(xué)上，O (χ, y) =K+weR(x, y) +wgG (x, y) +wbB (χ, y) (2)其中K是常數(shù)。R(x, y)、G(x, y)和B(x, y)是源圖像I (χ, y)中處于位置(χ, y)處的像素的紅色值、綠色值和藍(lán)色值。wK、wG和wB分別是R(x, y)、G(x, y)和B(x, y)的加權(quán)因子。應(yīng)當(dāng)注意，在源圖像中的像素可以被表示成其他等效形式，如亮度(Y(x，y))和色度(U(x，y)和V(x，y))分量，如本領(lǐng)域技術(shù)人員知曉的，其中的每個(gè)分量可以從R(x，y)、G(x, y)和B(x，y)的某一線性或非線性的組合推導(dǎo)出。 在一個(gè)示例中，K=O并且三個(gè)加權(quán)因子被分配相同的值1/3。這意味著，在確定視差圖時(shí)三個(gè)顏色分量被分配相等的權(quán)重。在第二示例中，加權(quán)因子被分配為wE=-0. 3, wG=-0. 59, Wb=-O. 11其中，K是正的常數(shù)使得對于源圖像I (x，y)中的所有像素，0(x，y)彡O。這樣的加權(quán)意味著視差圖中的每個(gè)點(diǎn)的值是正的，并且與源圖像I (x，y)中的對應(yīng)像素的亮度成反比。在第三示例中，常數(shù)K和三個(gè)加權(quán)因子受如下的限制而被手動(dòng)調(diào)整wE+wG+wB=V其中，V是有限的常數(shù)，例如它可以等于I。觀眾可以根據(jù)個(gè)人對3D效果的喜好確
定權(quán)重。在一組多視圖像中，每幅圖像通過對源圖像中的每個(gè)像素增加視差或偏移量而得以生成。然而，這可能會導(dǎo)致在近鄰域內(nèi)的像素之間的視差值的突然變化，從而造成在3D感覺上的不連續(xù)性。為增強(qiáng)多視圖像的視覺愉悅性，初始的視差圖可以由視差濾波器26處
理，從而獲得增強(qiáng)的視差圖27。0^>,)27可以下述方式獲得，例如用二維低通濾波
函數(shù)F(x，y)對視差圖0(x，y)進(jìn)行濾波。F(x, y)可以是任何數(shù)量的低通濾波函數(shù),如矩形濾波器(Box filter)或漢明濾波器(Hamming filter),但可以理解到F(x, y)可以被改變?yōu)槠渌瘮?shù)來調(diào)整3D效果。其他函數(shù)的例子包括但不限于漢寧(Hanning)低通濾波器、高斯低通濾波器和布萊克曼(Blackman)低通濾波器。在數(shù)學(xué)上，濾波處理可以表示為0(x，y)和F (χ, y)之間的卷積0(x,y) = 0(x，y)*F(x，y) (3)一組多視圖像28使用視差發(fā)生器29根據(jù)下面的方程式(4.1)和方程式(4. 2)從源圖像和CKx,:/)(如果沒有被濾波，則為o(x，y))中生成。設(shè)i表示第i個(gè)要生成的多視圖像。如果α彡偏移量)，則
對于蘇移屬Wrf6(x, y) gi(x+m,_y) = I(x, j) (4.1)如果(i <偏移量)，則對于(/-蘇移屬wrf0(x,y)彡/w彡O gi(x+m,y)=I(x,y) (4.2)其中，偏移量是整數(shù)，其值可以在范圍
內(nèi)。然而，應(yīng)當(dāng)理解，其他的范圍是可能的，并且可以由觀眾手動(dòng)調(diào)整。Wd是加權(quán)因子，對于給定的源圖像I (X，y)，Wd是恒定的，并且wd用于調(diào)整基于方程式(4.1)和方程式(4. 2)生成的多視圖像之間的差異。在一般情況下，Wd的值越大，3D效果則越強(qiáng)。不過，如果Wd太大，它可能會降低多視圖像的視覺質(zhì)量。
在一種實(shí)施例中，Wd的范圍在[()，的范圍之內(nèi)，其中Vmax是歸一化常數(shù)，其例如可以是
源圖像I(x，y)中的像素的最大光強(qiáng)。然而，可以理解所述范圍可以被手動(dòng)改變，以滿足個(gè)人的喜好。方程式(4. 1)和方程式(4.2)意味著，81(1，7)中的每個(gè)像素是從I (X+δ i (x，y)，y)中的像素中獲得。如此，gi(x，y)中的每個(gè)像素的視差項(xiàng)Si(^y)以隱含的方式得以確定。在一個(gè)示例中，方程式(4.1)和方程式(4. 2)中的項(xiàng)(1-偏移量)可以分別被限制為最大值和最小值。在另一示例中，方程式(4.1)或方程式(4. 2)僅應(yīng)用一次到gi(x，y)中的每個(gè)像素上。這可以確保如果&(17)中的每個(gè)像素之前已用方程式(4.1)或方程式(4. 2)被指定給I (χ，y)中的像素，則該& (χ，y)中的每個(gè)像素將不會被改變。偏移量項(xiàng)是預(yù)先定義的值，該值對于給定的源圖像是恒定的。不同的源圖像可以具有不同的偏移量值。提供偏移量的目的是對于每個(gè)多視圖像施加水平移位，以創(chuàng)建仿佛觀眾是在不同的水平位置觀看從源圖像生成的3D場景的效果。如圖3所示，根據(jù)本發(fā)明的另一方案，源圖像I (X，y)30被輸入到視差估計(jì)器31以提供初始的視差圖0(x，y)32。類似于對圖2的描述，在一組多視圖像中，每個(gè)圖像是通過對源圖像中的每個(gè)像素增加視差而得以生成。為增強(qiáng)多視圖像的視覺愉悅性，初始的視差圖可以由視差濾波器33處理，從而獲得增強(qiáng)的視差圖0(x，y) 34。源圖像也可以被輸入到顯著性估計(jì)器35中以確定在生成多視圖像過程中每個(gè)像素的相關(guān)性。使用視差生成器37，從根據(jù)顯著性估計(jì)器表現(xiàn)出足夠相關(guān)性的源圖像中的多個(gè)像素和0@. y)中生成一組多視圖像36。顯著性估計(jì)器通過根據(jù)預(yù)定的標(biāo)準(zhǔn)排除一些在生成多視圖像過程中無關(guān)的像素，提高了生成多視圖像的速度。在一示例中，用于顯著性估計(jì)器的所述預(yù)定標(biāo)準(zhǔn)采用邊緣檢測的形式，如索貝爾算子(Sobel operator)或拉普拉斯算子(Laplacian operator)。理由是,三維感覺主要是由圖像中的不連續(xù)性位置所施加的。光滑的或同類(homogeneous)的區(qū)域被認(rèn)為具有較小的3D效果。顯著性估計(jì)器選擇源圖像I (x，y)中的像素，所述像素用方程式(4.1)和方程式(4. 2)加以處理來生成多視圖像。對于未被顯著性估計(jì)器選擇的剩余像素，他們例如通過將視差S i(x，y)設(shè)置成零而被復(fù)制到所有的多視圖像中。在另一示例中，方程式(4.1)和方程式(4. 2)可以僅被應(yīng)用于源圖像I (x，y)中被顯著性估計(jì)器所選擇的像素，從而降低了整個(gè)處理的計(jì)算負(fù)荷。采用顯著性估計(jì)器生成多視圖像的過程可以在下面的步驟中進(jìn)行說明步驟1.設(shè)置對于 O 彡 i〈M 的 gi (χ, y) =I (x, y)。
步驟2.如果I(x，y)是顯著的像素，則應(yīng)用方程式(4.1)和方程式(4. 2)來生成多視圖像。對I (X，y)中的所有像素執(zhí)行步驟I和步驟2。在本發(fā)明的另一方案中，直觀地示于圖6中，一組多視圖像60gi(x，y) Dc^km被集成到單一的多維圖像中(在感知感覺上)，并隨后顯示在顯示器上(例如，自動(dòng)立體顯示器)。為了解釋清楚，采用以下術(shù)語。由M(x，y)表示的集成圖像62是二維圖像。記錄顏色的每個(gè)像素分別由Red(R)值、Green (G)值、和Blue (B)值定義，所述Red(R)值、Green (G)值、和Blue (B)值分別被表示為 IMe (x, y)、IMg (χ, y)、和 IMb (x, y)。由gi(x，y)表示的每個(gè)多視圖像是二維圖像。每個(gè)像素記錄分別由Red(R)值、Green (G)值、和Blue (B)值所定義的顏色，所述Red (R)值、Green (G)值、和Blue (B)值被表示為 gi;R(x，y)、gi;G(x. y)、和 gi;B(x，y)。在用于自動(dòng)立體顯示器的一示例中，將多視圖像集成為集成圖像通過使用二維的掩模函數(shù)(mask function)64MS(x, y)得以實(shí)現(xiàn)。MS(x，y)中的每個(gè)條目記錄三元值,每元的值均在范圍
之內(nèi)，并被表示為151；0^7)、1^0^7)、和1^0^7)。將多視圖像轉(zhuǎn)換成IM(X，y)的方法例如使用下面的方程式來實(shí)現(xiàn)IMe(x, y)=gJ;E(x, y), (5.1)其中j=MSK(x，y)。IMg(x, y)=gm;G(x, y), (5. 2)
其中m=MSG(x, y)。IMb (x, y)=gn;B(x, y), (5. 3)其中n=MSB(x，y)。掩模函數(shù)MS(x，y)依賴于用于顯示集成圖像頂(x，y)的自動(dòng)立體顯示器的設(shè)計(jì)。如為本領(lǐng)域的技術(shù)人員所理解的，本發(fā)明的各方案可被實(shí)施為一種系統(tǒng)、方法或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明的各方案可采取完全硬件實(shí)施例、完全軟件實(shí)施例(包括固件、常駐軟件、微代碼等)或結(jié)合軟件方案和硬件方案的實(shí)施例的形式，所述各實(shí)施例在這里通常都可被稱作為“處理器”、“電路”、“系統(tǒng)”、或“計(jì)算單元”。此外，本發(fā)明的各方案可采取收錄(embody )在一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品的形式，所述計(jì)算機(jī)可讀介質(zhì)具有收錄在其上的計(jì)算機(jī)可讀程序代碼。可以利用一種或多種計(jì)算機(jī)可讀介質(zhì)的任何組合。計(jì)算機(jī)可讀介質(zhì)可以是計(jì)算機(jī)可讀信號介質(zhì)或計(jì)算機(jī)可讀存儲介質(zhì)。一種計(jì)算機(jī)可讀信號介質(zhì)可以包括例如在基帶或作為載波的一部分的具有收錄在其中的計(jì)算機(jī)可讀程序代碼的傳播的數(shù)據(jù)信號。這種(傳播的信號可以采取任何的各種形式，包括但不限于電-磁的、光學(xué)的或它們的任何合適的組合。一種計(jì)算機(jī)可讀信號介質(zhì)可以是不是計(jì)算機(jī)可讀存儲介質(zhì)的任何計(jì)算機(jī)可讀介質(zhì)，其可通信、傳播、或傳輸被指令執(zhí)行系統(tǒng)、裝置或設(shè)備所用的或與指令執(zhí)行系統(tǒng)、裝置或設(shè)備有關(guān)的程序。計(jì)算機(jī)可讀存儲介質(zhì)例如可以是但不限于電的、磁的、光學(xué)的、電磁的、紅外線的或半導(dǎo)體的系統(tǒng)、裝置、或設(shè)備、或前者的任何合適的組合。計(jì)算機(jī)可讀存儲介質(zhì)的更具體的例子(非窮盡列舉)包括以下的具有一條或多條導(dǎo)線的電連接、便攜式計(jì)算機(jī)軟盤、硬盤、隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、可擦除可編程只讀存儲器(EPROM或閃存)、光纖、便攜式光盤只讀存儲器(CD-ROM)、光存儲設(shè)備、磁存儲設(shè)備、或前者的任何合適的組合。在本文的上下文中，計(jì)算機(jī)可讀存儲介質(zhì)可以是任何有形的介質(zhì)，它能夠包含或存儲被指令執(zhí)行系統(tǒng)、裝置或設(shè)備所用的或與指令執(zhí)行系統(tǒng)、裝置或設(shè)備有關(guān)的程序。現(xiàn)在參照圖4，在一示例中，計(jì)算機(jī)程序產(chǎn)品40例如包括里面存儲計(jì)算機(jī)可讀程序代碼裝置或邏輯44的一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲介質(zhì)42，以便提供和促進(jìn)本發(fā)明的一個(gè)或多個(gè)方案。收錄在計(jì)算機(jī)可讀介質(zhì)上的程序代碼可以使用適當(dāng)?shù)拿浇楸粋魉?，該媒介包括但不限于無線、有線、光纖線纜、射頻(RF)等、或上述媒介任何合適的組合。針對本發(fā)明的各方案用于執(zhí)行操作的計(jì)算機(jī)程序代碼可以用一種或多種編程語目的任何組合編寫，所述編程語目包括面向?qū)ο蟮木幊陶Z目(如Java、Smalltalk、C++等)，以及傳統(tǒng)的程序化編程語言(如“C”編程語言、匯編語言或類似的編程語言)。程序代碼可完全在用戶的計(jì)算機(jī)上執(zhí)行、部分地在用戶的計(jì)算機(jī)上執(zhí)行、作為獨(dú)立運(yùn)行的軟件包而部分地在用戶的計(jì)算機(jī)上、以及部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行、或完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在后一種情形中，遠(yuǎn)程計(jì)算機(jī)可以通過任何類型的網(wǎng)絡(luò)(包括局域網(wǎng)絡(luò)(LAN)或廣域網(wǎng)絡(luò)(WAN))連接到用戶的計(jì)算機(jī)，或可例如通過使用互聯(lián)網(wǎng)服務(wù)提供商的因特網(wǎng)實(shí)現(xiàn)到外部計(jì)算機(jī)的連接。本發(fā)明的各方案在此參照根據(jù)本發(fā)明實(shí)施例的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程示意圖和/或方框圖予以描述?？梢岳斫獾剑鞒淌疽鈭D和/或方框圖的每個(gè)塊、流程示意圖和/或方框圖中塊的組合，可通過計(jì)算機(jī)程序指令得以實(shí)施。這些計(jì)算機(jī)程序指令可被提供給一通用計(jì)算機(jī)的、專用計(jì)算機(jī)的、或其它可編程數(shù)據(jù)處理設(shè)備的處理器，以形成一機(jī)器，使得經(jīng)由計(jì)算機(jī)的處理器或其他可編程數(shù)據(jù)處理設(shè)備執(zhí)行的指令生成用于實(shí)施在流程圖和/或方框圖的塊或多個(gè)塊中指定的功能/動(dòng)作的裝置。 這些計(jì)算機(jī)程序指令也可以被存儲在計(jì)算機(jī)可讀介質(zhì)中，其可以指示(direct)計(jì)算機(jī)、其他可編程數(shù)據(jù)處理裝置、或其他設(shè)備以特定的方式發(fā)揮作用，使得在計(jì)算機(jī)可讀介質(zhì)上存儲的指令制造一包括如下指令的制品，該指令實(shí)施流程圖和/或方框圖的塊或多個(gè)塊中指定的功能/動(dòng)作。所述計(jì)算機(jī)程序指令也可以被加載到計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其他設(shè)備上以引起一系列的將要在該計(jì)算機(jī)、其他可編程裝置或其他設(shè)備上實(shí)施的操作步驟，以創(chuàng)建這樣的計(jì)算機(jī)實(shí)施過程，使得在該計(jì)算機(jī)或其它可編程裝置上執(zhí)行的指令提供用于實(shí)現(xiàn)流程圖和/或方框圖的塊或多個(gè)塊中指定的功能/動(dòng)作的處理過程。附圖中的流程圖和方框圖示出了根據(jù)本發(fā)明的各種實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能的實(shí)施的架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或方框圖中的每個(gè)塊可表示一模塊的、一段的或一部分的代碼，其包括用于實(shí)現(xiàn)特定(多個(gè))邏輯功能的一個(gè)或多個(gè)可執(zhí)行指令。還應(yīng)當(dāng)指出的是，在一些可選的實(shí)施例中，這些塊中指出的功能可能會出現(xiàn)與附圖中指出的順序相悖的情形。例如，取決于所涉及的功能，所示為連續(xù)的兩個(gè)塊實(shí)際上可以基本上同時(shí)被執(zhí)行，或多個(gè)塊有時(shí)可以以相反的順序被執(zhí)行。還應(yīng)當(dāng)注意的是，方框圖和/或流程示意圖的每個(gè)塊、以及方框圖和/或流程示意圖中的塊的組合，可以通過執(zhí)行特定的功能或動(dòng)作的專用的基于硬件的系統(tǒng)、或?qū)Ｓ玫挠布c計(jì)算機(jī)指令的組合來實(shí)施。
另外，適合于存儲和/或執(zhí)行程序代碼的數(shù)據(jù)處理系統(tǒng)是可用的，其包括通過系統(tǒng)總線直接或間接地耦合到存儲元件中的至少一個(gè)處理器。存儲元件例如包括在實(shí)際執(zhí)行程序代碼期間所使用的本地內(nèi)存(local memory )、大容量存儲器、和高速緩沖(cache )存儲器，該高速緩沖存儲器為至少一些程序代碼提供臨時(shí)存儲，以減少在執(zhí)行過程中代碼必須從大容量存儲器中取出(retrieve)的次數(shù)。如該圖5所示，可提供的適用于存儲和/或執(zhí)行程序代碼的計(jì)算單元50的一個(gè)示例包括通過系統(tǒng)總線54直接或間接地耦接至存儲元件的至少一個(gè)處理器52。正如現(xiàn)有技術(shù)中所知的，存儲元件例如包括數(shù)據(jù)緩沖器、在實(shí)際執(zhí)行程序代碼期間所使用的本地內(nèi)存56、大容量存儲器58、和高速緩沖存儲器，該高速緩沖存儲器為至少一些程序代碼提供臨時(shí)存儲，以減少在執(zhí)行過程中代碼必須從大容量存儲器中取出的次數(shù)。輸入/輸出或I/O裝置59 (包括但不限于鍵盤、顯示器、指點(diǎn)設(shè)備、DASD、磁帶、光盤、DVD光盤、閃存盤和其他存儲介質(zhì)等)可以直接或通過中間介入的I/O控制器耦接至系統(tǒng)。網(wǎng)絡(luò)適配器也可以耦接至所述系統(tǒng)，以使該數(shù)據(jù)處理系統(tǒng)通過中間介入的私有或公共網(wǎng)絡(luò)，耦接至其他數(shù)據(jù)處理系統(tǒng)或遠(yuǎn)程打印機(jī)或存儲設(shè)備。調(diào)制解調(diào)器、電纜調(diào)制解調(diào)器、和以太網(wǎng)卡僅是可用類型的網(wǎng)絡(luò)適配器的一小部分。所附權(quán)利要求書中的所有裝置或‘步驟加功能元件’的相應(yīng)的結(jié)構(gòu)、材料、動(dòng)作、和等同物，如果有的話，旨在包括用于與具體要求保護(hù)的其他元件相結(jié)合來執(zhí)行功能的任何結(jié)構(gòu)、材料、或動(dòng)作。本發(fā)明的說明書為闡述和描述的目的而被呈現(xiàn)出，但并非想要詳盡地或限制所公開的形式的本發(fā)明。許多修改和變化對于本領(lǐng)域的技術(shù)人員來說將是顯而易見的，而不會背離本發(fā)明的范圍和精神。選擇和描述這些實(shí)施例是為了最好地解釋本發(fā)明的原理和實(shí)際應(yīng)用，并使本領(lǐng)域的技術(shù)人員能夠理解對于具有按照適合于預(yù)期的特定用途進(jìn)行修正的不同實(shí)施例的本發(fā)明。雖然本文說明和描述了本發(fā)明的幾個(gè)方案，然而替代的方案可以由本領(lǐng)域技術(shù)人員實(shí)施以實(shí)現(xiàn)同樣的目的。因此，旨在由所附的權(quán)利要求書來覆蓋所有這樣的、落入本發(fā)明的真實(shí)精神和范圍內(nèi)的替代方案。引用列表Sullivan等，“2D到3D圖像的轉(zhuǎn)換”，美國專利號7573475,2009年8月11日。Davidson，等“用于2D到3D圖像的轉(zhuǎn)換的填充”，美國專利號7573489,2009年8
月11曰。Harmon，“用于顯示立體3D圖像的圖像轉(zhuǎn)換和編碼技術(shù)”，美國專利號7551770，2009年6月23日。Harmon, “圖像轉(zhuǎn)換和編碼技術(shù)”，美國專利號7054478，2006年5月30日。Naske等，“用于2D/3D圖像轉(zhuǎn)換和優(yōu)化的方法和系統(tǒng)”，美國專利號7254265,2007
年8月7日。Yamashita等，“用于將二維視頻轉(zhuǎn)換為三維視頻的裝置和方法”，美國專利號7161614,2007 年 I 月 9 日。
權(quán)利要求
1.一種生成場景的多個(gè)多視圖像的方法，該方法包括獲取一場景的單一的二維源圖像，所述源圖像包括多個(gè)源像素(20);以及僅從所述多個(gè)源像素中的至少一些源像素中自動(dòng)生成所述場景的至少兩個(gè)多視圖像 (28)，所述至少兩個(gè)多視圖像的各多視圖像具有針對所述場景的不同的視角方向。
2.根據(jù)權(quán)利要求1所述的方法，還包括將所述至少兩個(gè)多視圖像(60)結(jié)合(64)成所述場景(62)的單一的集成圖像。
3.根據(jù)權(quán)利要求2所述的方法，還包括在顯示器(10)上顯示所述單一的集成圖像。
4.根據(jù)權(quán)利要求3所述的方法，其中所述顯示器包括自動(dòng)立體顯示器。
5.根據(jù)權(quán)利要求1所述的方法，其中所述自動(dòng)生成包括對于所述至少兩個(gè)多視圖像 (28)中的每個(gè)多視圖像，為所述多個(gè)源像素中的至少一些源像素的每個(gè)生成視差(24)。
6.根據(jù)權(quán)利要求5所述的方法，其中所述視差包括用于紅色、藍(lán)色和綠色中每種顏色的加權(quán)值。
7.根據(jù)權(quán)利要求5所述的方法，其中所述自動(dòng)生成還包括對于所述至少兩個(gè)多視圖像(28)中的每個(gè)多視圖像，將所述視差與所述多個(gè)源像素中的至少一些源像素的每個(gè)進(jìn)行結(jié)合(29)。
8.根據(jù)權(quán)利要求7所述的方法，其中所述自動(dòng)生成還包括在所述結(jié)合之前，進(jìn)行濾波 (26 )以生成濾波后的視差(27 )，并且其中所述結(jié)合包括將所述濾波后的視差與所述多個(gè)源像素(20)中的至少一些源像素的每個(gè)進(jìn)行結(jié)合。
9.根據(jù)權(quán)利要求8所述的方法，其中所述濾波包括低通濾波。
10.根據(jù)權(quán)利要求1所述的方法，其中所述自動(dòng)生成包括將所述多個(gè)源像素中的至少一些源像素識別(35)為至少具有預(yù)定級別的相關(guān)性。
11.根據(jù)權(quán)利要求10所述的方法，其中所述識別包括邊緣檢測。
12.根據(jù)權(quán)利要求1所述的方法，還包括針對所述場景的一系列相關(guān)的圖像重復(fù)所述獲取和所述自動(dòng)生成以創(chuàng)建視頻序列。
13.—種計(jì)算單元(50),包括存儲器(56)；與所述存儲器通信的處理器(52)，用于根據(jù)權(quán)利要求1-12任一項(xiàng)所述的方法生成場景的多個(gè)多視圖像。
14.至少一種硬件芯片，用于根據(jù)權(quán)利要求1-12任一項(xiàng)所述的方法生成場景的多個(gè)多視圖像。
15.根據(jù)權(quán)利要求14所述的至少一種硬件芯片，其中所述的至少一種硬件芯片包括現(xiàn)場可編程門陣列芯片。
16.一種計(jì)算機(jī)程序產(chǎn)品(40)，用于生成場景的多視圖像，所述計(jì)算機(jī)程序產(chǎn)品包括存儲介質(zhì)(42)，其由一處理電路可讀且存儲由所述處理電路執(zhí)行的用于執(zhí)行根據(jù)權(quán)利要求 1-12任一項(xiàng)所述的方法的指令(44)。
全文摘要
僅從一場景的單一的二維源圖像(20)中生成場景的多個(gè)圖像(28)，其中每個(gè)圖像來自從不同的視角方向或角度。對于多個(gè)圖像中的每個(gè)圖像，對應(yīng)于視角方向生成視差，并且該視差與在源圖像中的顯著像素(例如，邊緣檢測的像素)結(jié)合。視差在與顯著像素結(jié)合之前可被濾波(26)(例如，低通濾波)。多個(gè)圖像被結(jié)合成一集成的圖像用于顯示例如在自動(dòng)立體顯示器(10)上。這個(gè)過程可以在多個(gè)相關(guān)的源圖像上重復(fù)以創(chuàng)建一視頻序列。
文檔編號G06T17/00GK103026387SQ201080068288
公開日2013年4月3日 申請日期2010年7月26日 優(yōu)先權(quán)日2010年7月26日
發(fā)明者曾偉明 申請人:香港城市大學(xué)