專利名稱：中間視合成和多視點(diǎn)數(shù)據(jù)信號(hào)的提取的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及中間視合成以及多視點(diǎn)數(shù)據(jù)信號(hào)的提取/構(gòu)造。
背景技術(shù)：
3D視頻(3DV)可向觀看者提供所觀看場(chǎng)景的縱深感知。這也被稱為立體電影，但這又是常被局限于使用2D視頻的傳統(tǒng)技術(shù)的術(shù)語。最近，3DV越來越受關(guān)注，其范圍包括從移動(dòng)電話到3D電影[25]的系統(tǒng)和應(yīng)用。日臻成熟的技術(shù)覆蓋從攝像系統(tǒng)到3D顯示的整個(gè)處理鏈。希望體驗(yàn)擴(kuò)展視覺效果的消費(fèi)者一方的認(rèn)識(shí)和興趣在逐漸增長，企業(yè)一方包括內(nèi)容供應(yīng)商、設(shè)備生產(chǎn)商、和經(jīng)銷商的認(rèn)識(shí)和興趣也在增長。產(chǎn)生3D深度印象(cbpth impression)需要觀看3D顯示的觀眾每只眼睛看到不同的景色。這些景色應(yīng)該對(duì)應(yīng)于從具有人眼距離的不同視點(diǎn)所拍的圖像。換句話說，給用戶提供所觀看場(chǎng)景逼真的深度印象需要特定的3D顯示技術(shù)，其確保每只眼睛同時(shí)只看到所呈現(xiàn)的一對(duì)立體圖像中的一個(gè)圖像[17]。過去，用戶必須戴專用眼鏡(視差圖像、偏振現(xiàn)象、快門)。加上有限的視覺質(zhì)量，這被看作是3DV系統(tǒng)在家庭用戶環(huán)境廣泛成功的主要障礙，而其他類型的應(yīng)用，例如3D電影，由于其高的視覺質(zhì)量，預(yù)期在未來數(shù)年內(nèi)將迅速發(fā)展。更確切地說，3D顯示器同時(shí)發(fā)出兩個(gè)以上圖像，這確保觀眾總是看到特定視點(diǎn)的一對(duì)立體圖像[17]?；谝暡顖D像、偏振現(xiàn)象、或快門技術(shù)的專用眼鏡在過去實(shí)現(xiàn)這一目標(biāo)是必要的，但是今天仍然適合廣泛的應(yīng)用。例如，成功地建立了基于眼鏡的3D電影應(yīng)用(例如 IMAX theatres (立體電影院))。在電影院，用戶坐在椅子上不太可能移動(dòng)，并且通常全神貫注地觀看當(dāng)前播放的電影。在這種情況下佩戴眼鏡被廣泛接受，并且運(yùn)動(dòng)視差不再是個(gè)大問題。因此，利用基于眼鏡的顯示技術(shù)的3D電影預(yù)期在未來數(shù)年仍然是標(biāo)準(zhǔn)。預(yù)期該市場(chǎng)將進(jìn)一步增長，并且制造越來越多的經(jīng)典2D電影，和3D影院能夠播放的3D形式的電影。人們預(yù)期這將擴(kuò)大用戶的認(rèn)識(shí)和增長用戶接受程度，以及創(chuàng)造家用3DV應(yīng)用的需求。然而，在居室環(huán)境中，用戶期望是迥然不同的。戴眼鏡的必要性被認(rèn)為是3D視頻在家庭用戶環(huán)境中成功的主要障礙?，F(xiàn)在利用多視點(diǎn)自動(dòng)立體顯示器[17]克服了該缺陷。 數(shù)個(gè)圖像同時(shí)發(fā)出，但是該技術(shù)確保了用戶只看到特定視點(diǎn)的一對(duì)立體圖像。目前市場(chǎng)上的3D顯示器能夠同時(shí)顯示九張或更多不同的圖像，其中從特定的視點(diǎn)只有一對(duì)立體圖像是可見的。具有這個(gè)無眼鏡的多用戶立體感例如在居室中是可以實(shí)現(xiàn)的。一群人在熟悉的沙發(fā)-電視環(huán)境中無需佩戴眼鏡就可享受3D電影，而且同時(shí)可以從事我們所習(xí)慣的所有社會(huì)交流互動(dòng)。當(dāng)走來走去時(shí)，如果適當(dāng)?shù)匕才胚B續(xù)的圖像作為立體對(duì)，則可以支持逼真的運(yùn)動(dòng)視差印象。但是，從略有不同的視點(diǎn)傳輸9個(gè)以上相同3D場(chǎng)景的視圖給家庭用戶是極其低效的。該傳輸成本將無法證明附加價(jià)值的正確性。幸運(yùn)的是，供選擇的3D視頻格式允許顯著地降低原始數(shù)據(jù)速率。當(dāng)使用該多視點(diǎn)視頻加深度(MVD)格式時(shí)，只傳輸N個(gè)顯示視圖中的一個(gè)子集M。對(duì)那些M視頻流而言，傳輸另外的每個(gè)像素深度數(shù)據(jù)作為補(bǔ)充信息。在接收端，基于深度的圖像繪制(DIBR)被用于由所傳輸?shù)腗VD數(shù)據(jù)內(nèi)插所有的N個(gè)顯示視圖[15]。因此，多視點(diǎn)視頻加深度(MVD)格式允許大幅度地降低3DV系統(tǒng)的原始數(shù)據(jù)速率。 只傳輸N個(gè)顯示視圖中的一個(gè)子集M。此外，傳輸子集M的深度數(shù)據(jù)。如果有傳輸數(shù)據(jù)[17]， 那么通過中間視圖內(nèi)插在接收端可產(chǎn)生非傳輸?shù)膱D像。3D系統(tǒng)通過同時(shí)顯示多個(gè)視圖而能夠支持頭部運(yùn)動(dòng)觀看視差。特別地，例如具有傾斜透鏡鏡頭技術(shù)的高分辨率LCD屏幕，9個(gè)同步視點(diǎn)是從飛利浦公司(Wiilips)商用地獲得的[28]。在圖10中具體說明用3D顯示頭部運(yùn)動(dòng)視差支持的原理。用戶在位置1用右眼和左眼分別只看到視點(diǎn)視圖1和視圖2。另一個(gè)用戶在位置3看到視點(diǎn)視圖6和視點(diǎn)視圖 7，因此支持多用戶3D觀看。假定用戶從位置1移動(dòng)到位置2?，F(xiàn)在分別用右眼和左眼可看到圖像2和圖像3。 如果Vl和V2是具有適當(dāng)?shù)哪烤嗷€的一對(duì)立體圖像，那么V2和V3等等也是，用戶在這樣的3D顯示系統(tǒng)前移動(dòng)，它將察覺到景物中物體的遮擋和非遮擋3D印象，結(jié)果取決于物體的深度。該運(yùn)動(dòng)視差印象不是無縫的，以及不同位置數(shù)目限制為N-I個(gè)。更確切地說，多視點(diǎn)自動(dòng)立體顯示過程N(yùn)同步了從略有不同的視點(diǎn)顯示相同3D場(chǎng)景的視頻信號(hào)。與正常的2D視頻相比較，這極大地增加了原始數(shù)據(jù)速率。已經(jīng)顯示出，專用多視點(diǎn)視頻編碼(MVC)包括從鄰近視點(diǎn)采集的視頻信號(hào)的視點(diǎn)間(inter-view)預(yù)測(cè)， 與所有視頻信號(hào)的獨(dú)立編碼(同時(shí)播放(simulcast))相比較，其可將總比特率降低20% [20]。這意味著降低單個(gè)視頻比特率的20%乘以N。對(duì)于9-視點(diǎn)顯示MVC仍然需要7. 2 倍于相應(yīng)的單個(gè)視頻比特率。如此增加很顯然阻止了成功應(yīng)用3DV。進(jìn)一步，在[20]中也已經(jīng)顯示出MVC的總比特率隨N呈線性增長。因此，未來顯示更多視圖將要求更高的總比特率。最后，如果與MVC —樣確定傳輸格式中的視圖數(shù)，這并不能提供充足的靈活性支持當(dāng)前和未來任意類型的3D顯示。對(duì)于2-視點(diǎn)顯示器(或小數(shù)目的視點(diǎn)顯示器)而言，展示了不同的方法，同時(shí)提供了高壓縮效率以及擴(kuò)展功能。代替?zhèn)鬏斠粋€(gè)立體視頻對(duì)，使用一個(gè)視頻和相關(guān)的每個(gè)像素深度圖。該深度圖將景深值分配給視頻信號(hào)的每個(gè)像素，以及用此提供3D場(chǎng)景描述。該深度圖可視為單色視頻信號(hào)，以及使用可用的視頻編解碼器來編碼。這種情形的視頻加深度(V+D)被限定為3DV數(shù)據(jù)格式[7]。近來已經(jīng)通過MPEG[11]，[12]發(fā)布了被稱為MPEG-C part 3的相應(yīng)標(biāo)準(zhǔn)。從解碼的V+D，接收器通過DIBR可產(chǎn)生第二視頻作為立體對(duì)。實(shí)驗(yàn)已經(jīng)顯示出，在大多數(shù)情形下可有效地壓縮深度數(shù)據(jù)。相應(yīng)的彩色視頻必需的比特率只有大約 10-20%需要進(jìn)行質(zhì)量讓人滿意的深度壓縮。這意味著使用解碼的深度繪制的最后的立體對(duì)是相同的視覺質(zhì)量，就好像傳輸了 2個(gè)視頻信號(hào)。眾所周知DIBR引入假象(artifacts)。 產(chǎn)生虛擬視圖需要將圖像內(nèi)容外推到一定程度。從虛擬視點(diǎn)來看，3D場(chǎng)景中落后于可用的原始視頻中前景物體的遮擋部分可變得可見。如果虛擬視點(diǎn)接近于原始攝影位置(如，對(duì)應(yīng)于圖20中的Vl和V2)，那么遮蔽無覆蓋物的圖像區(qū)域與有限的假象一起很好地運(yùn)作。因此，對(duì)具有小數(shù)目視點(diǎn)的3D顯示來說，V+D是極好的概念。但是，隨著虛擬視點(diǎn)的距離增加， 外推假象也增加。因此，概念V+D不適合于具有大量視點(diǎn)和在很寬的范圍內(nèi)支持運(yùn)動(dòng)視差的3DV系統(tǒng)。因此，MVC和V+D都不適合于具有大量視點(diǎn)的先進(jìn)3D顯示系統(tǒng)。解決方法是如圖 20. 9中示出的MVD的擴(kuò)充和組合，其顯示出視點(diǎn)視圖V1-V9。MVC的直接編碼是極其低效的。只傳輸一個(gè)具有深度圖的視頻例如V5+D5將導(dǎo)致外部圖像不能接受的質(zhì)量。使用MVD 格式，具有深度圖的M = 3圖像的子集傳輸給接收器。通過DIBR產(chǎn)生中間視點(diǎn)視圖V2-V4 和V6-V8。它們足夠接近于可用的原始視點(diǎn)視圖，從而最小化外推誤差。進(jìn)一步，可以從2 個(gè)方向(左邊和右邊的鄰近視點(diǎn)視圖)內(nèi)插獲得中間視點(diǎn)視圖，因此，可以廣泛地最小化無覆蓋問題。例如，為虛擬視點(diǎn)視圖產(chǎn)生的區(qū)域在左邊視點(diǎn)視圖是遮擋的，其在右邊視圖中極有可能是可見的。但是，仍然有可能需要外推在原始視圖和最終視圖中均遮擋的部分。該先進(jìn)的3DV系統(tǒng)概念包括許多復(fù)雜的處理步驟，其部分尚未解決，仍然需要研究。仍然需要開發(fā)采集系統(tǒng)并優(yōu)化，其包括多級(jí)攝影系統(tǒng)、可能的深度采集器件、以及其他可能只支持傳感器和信息源的類型，例如，光[8]，[22]。發(fā)送器一方信號(hào)處理包括很多先進(jìn)的算法，例如攝像機(jī)標(biāo)定、色彩校正、調(diào)整、分割以及深度估計(jì)或產(chǎn)生。后者對(duì)DIBR來說很重要，因?yàn)樯疃裙烙?jì)的任何誤差都導(dǎo)致繪制的輸出圖像質(zhì)量下降。深度估計(jì)或產(chǎn)生的主題在計(jì)算機(jī)視覺領(lǐng)域是廣泛研究的，其可包括同樣半自動(dòng)地處理[16]，[18]，[26]，[29]。一般3DV格式的最優(yōu)參數(shù)化設(shè)置仍然需要調(diào)查研究，這包括傳輸具有深度和設(shè)置/間距的圖像數(shù)。大多數(shù)MVD數(shù)據(jù)的有效壓縮仍然有待發(fā)現(xiàn)，特別是最優(yōu)深度處理。通常應(yīng)當(dāng)為不同的信道考慮傳輸問題。最終在解碼之后，從解碼的MVD數(shù)據(jù)中繪制出N個(gè)輸出圖像。這里具有很少的高質(zhì)量假象對(duì)整個(gè)概念的成功來說是至關(guān)重要的。最終，具有最少的明顯假象的高質(zhì)量圖像內(nèi)插對(duì)3DV系統(tǒng)的成功來說是至關(guān)重要的。特別地沿著深度不連續(xù)性物體邊緣產(chǎn)生內(nèi)插假象。因此，內(nèi)插概念允許避免沿著這樣的邊緣產(chǎn)生假象，這將是有利的。進(jìn)一步，如果存儲(chǔ)3DV數(shù)據(jù)的壓縮率能夠降低，而不會(huì)明顯降低或完全保持可獲得的3DV結(jié)果，那么這將是有利的。

發(fā)明內(nèi)容
首先，本發(fā)明的目的是提供用于中間視合成和多視點(diǎn)數(shù)據(jù)信號(hào)提取的概念，其允許減少假象和/或提高壓縮率，從而提供多視點(diǎn)數(shù)據(jù)。通過分別根據(jù)權(quán)利要求1和22中的一個(gè)設(shè)備、根據(jù)權(quán)利要求35的多視點(diǎn)數(shù)據(jù)信號(hào)、和根據(jù)權(quán)利要求36或37的方法實(shí)現(xiàn)了該目的。構(gòu)成本發(fā)明基礎(chǔ)的基本思想是當(dāng)投影和融合不同視點(diǎn)的圖像時(shí)，處理相對(duì)于非邊界部分次級(jí)的前景/背景邊界區(qū)域，有助于避免或減少假象，以及反過來，也可使用該認(rèn)識(shí)以保證質(zhì)量的方式移除多視點(diǎn)數(shù)據(jù)信號(hào)中的不相關(guān)信息。因此，根據(jù)本發(fā)明的第一個(gè)方面，中間視合成用于將對(duì)應(yīng)于第一視點(diǎn)的第一圖像和對(duì)應(yīng)于不同于第一視點(diǎn)的第二視點(diǎn)的第二圖像合成為中間視點(diǎn)圖像，它的執(zhí)行是通過基于其深度信息檢測(cè)第二圖像中的前景/背景邊界，確定前景/背景邊界區(qū)域?yàn)檠仄鋽U(kuò)展的區(qū)域，以及使用該區(qū)域僅僅是為了填補(bǔ)初始的中間視點(diǎn)圖像中的空洞，該初始的中間視點(diǎn)圖像是通過投影和融合第二圖像的剩余部分連同至少第一圖像的部分而獲得的。通過該方法，各自的前景/背景邊界區(qū)域僅僅以相對(duì)于第二個(gè)圖像的剩余部分以次級(jí) (subordinate)的方式來使用，因此不會(huì)負(fù)面影響到投影-和_融合結(jié)果，另一方面，仍有助于填補(bǔ)空洞，否則會(huì)產(chǎn)生空洞。根據(jù)本發(fā)明的第二個(gè)方面，多視點(diǎn)數(shù)據(jù)信號(hào)提取用于從多視點(diǎn)表示中提取出多視點(diǎn)數(shù)據(jù)信號(hào)，此多視點(diǎn)表示包括對(duì)應(yīng)于第一視點(diǎn)的第一圖像和對(duì)應(yīng)于不同于第一視點(diǎn)的第二視點(diǎn)的第二圖像，通過檢測(cè)第二圖像中的前景/背景邊界，確定第二圖像的去除左邊邊界部分為沿前景/背景邊界的擴(kuò)展，以及將無去除左邊邊界部分的第二圖像投影到所述第一視點(diǎn)，確定第二圖像的去除左邊邊界部分，從而獲得具有非遮擋區(qū)域的第二圖像的投影變體。然后，第二圖像連同第一個(gè)圖像的部分被插入到多視點(diǎn)數(shù)據(jù)信號(hào)中，插入的第一圖像的部分取決于非遮擋區(qū)域在第二圖像的投影變體內(nèi)的位置。例如，要被插入到多視點(diǎn)數(shù)據(jù)信號(hào)的第一圖像的部分是由非遮擋區(qū)域在第二圖像的投影變體內(nèi)的位置來確定的。根據(jù)本發(fā)明的實(shí)施例，前景/背景邊界區(qū)域是通過檢測(cè)前景/背景邊界，在周圍限定η-樣本寬的區(qū)域，以及將該區(qū)域分別一方面分割為前景邊界部分和另一方面分割為背景邊界部分而獲得的，此背景邊界部分表示前面提及的去除左邊邊界部分，以及此前面提及的背景邊界部分僅僅是用來填補(bǔ)初始的中間視點(diǎn)圖像的空洞。在以下將參考附圖更詳細(xì)地說明本發(fā)明的優(yōu)選實(shí)施例。具體地，


圖Ia示出了根據(jù)本發(fā)明實(shí)施例的中間視合成設(shè)備的方框圖；圖Ib示出了根據(jù)本發(fā)明的另一實(shí)施例的中間視合成設(shè)備的方框圖；圖Ic示出了根據(jù)本發(fā)明的實(shí)施例的多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備；圖2示出了根據(jù)本發(fā)明的實(shí)施例的對(duì)示例性圖像的層分配，示例性的圖像被分成前景邊界部分(黑色)、背景邊界部分(白色)、和非邊界區(qū)域(灰度值)；圖3示出了根據(jù)實(shí)施例由保護(hù)和融合兩個(gè)不同圖像的兩個(gè)非邊界區(qū)域產(chǎn)生的中間視點(diǎn)視圖；圖4示出了根據(jù)實(shí)施例在使用由過濾和/或空洞填補(bǔ)移除其之后的背景邊界部分及其外觀投影-和-填補(bǔ)步驟之后產(chǎn)生的不同的假象(從左到右)；圖5示出了根據(jù)實(shí)施例移除假象之后的中間視點(diǎn)圖像；圖6示出了根據(jù)實(shí)施例的9-視點(diǎn)自動(dòng)立體顯示器的立體對(duì)距離的五個(gè)視點(diǎn)視圖， 也就是在原始攝像機(jī)位置(極左和極右)的兩個(gè)視點(diǎn)視圖，以及芭蕾舞這(上)和霹靂舞這順序(下)的中間視點(diǎn)視圖；圖7示出了根據(jù)實(shí)施例的中間視合成方法的一系列方法步驟的示意圖；圖和圖8b示出了根據(jù)實(shí)施例的中間視點(diǎn)視圖，其是由一方面投影和融合兩個(gè)不同視點(diǎn)視圖和另一方面前景/背景邊界區(qū)域的次級(jí)視點(diǎn)視圖產(chǎn)生的；圖9示出了中間視點(diǎn)視圖的詳細(xì)部分，其是通過一方面簡單融合的中間視合成和另一方面根據(jù)本發(fā)明實(shí)施例的中間視合成而產(chǎn)生的；圖10示出了根據(jù)本發(fā)明的實(shí)施例說明的基于LDV的3DTV概念的示意圖；圖11示出了根據(jù)實(shí)施例將圖像進(jìn)一步劃分為一方面去除左邊邊界部分(白色) 和另一方面剩余部分(灰色)的結(jié)果；圖12示出了由中間視點(diǎn)視圖投影到兩個(gè)邊視點(diǎn)產(chǎn)生的圖像，其省略了去除左邊邊界部分；圖13示出了根據(jù)實(shí)施例從圖12中圖像獲得的兩個(gè)圖像，其是通過過濾移除不希望有的ι-像素-寬的深度值從而獲得非遮擋區(qū)域；圖14示出了根據(jù)實(shí)施例的邊視點(diǎn)視圖和圖13投影的中間視點(diǎn)視圖之間的排除差異(exclusion difference)的結(jié)果；圖15示出了根據(jù)實(shí)施例的不同的剩余數(shù)據(jù)變體；圖16示出了根據(jù)實(shí)施例由從兩個(gè)邊視點(diǎn)視圖投影產(chǎn)生的另一個(gè)中間視點(diǎn)視圖；圖17示出了根據(jù)實(shí)施例的過濾后最終的視合成圖像，即左邊的中間視點(diǎn)視圖加左剩余數(shù)據(jù)以及右邊的中間視點(diǎn)視圖加右剩余數(shù)據(jù)；圖18示出了中間視點(diǎn)視圖的詳細(xì)部分，此中間視點(diǎn)視圖是一方面通過簡單融合的中間視合成和另一方面根據(jù)本發(fā)明的實(shí)施例的中間視合成產(chǎn)生的； 圖19示出了 LDV和MVD的中間視合成圖像之間的對(duì)比；以及圖20示出了說明基于MVD的先進(jìn)3DVT概念的示意圖。
具體實(shí)施例方式圖Ia示出了中間視合成設(shè)備10，其用于將對(duì)應(yīng)于第一視點(diǎn)Vl的第一圖像14和對(duì)應(yīng)于第二視點(diǎn)V2的第二圖像16合成為中間視點(diǎn)圖像12，此第二視點(diǎn)V2不同于第一視點(diǎn) VI，第一和第二圖像包括深度信息Dl和D2。第一圖像14和第二圖像16可具有與深度信息 Dl和D2相關(guān)聯(lián)的單色或彩色信息Vl和V2。特別地，雖然有可能深度和彩色信息的空間分辨率可以是不同的，但是兩者可包含每像素的樣本值。第二圖像16被劃分為非邊界部分16a和前景/背景邊界區(qū)域，在圖Ia中分別用白色部分表示前者和用陰影線部分表示后者，其中中間視合成設(shè)備構(gòu)造為將第一圖像14和第二圖像16投影和融合到中間視點(diǎn)，從而獲得中間視點(diǎn)圖像12，以及處理相對(duì)于非邊界部分16a次級(jí)的前景/背景邊界區(qū)域16b。根據(jù)以下進(jìn)一步描述的實(shí)施例，中間視合成設(shè)備10被構(gòu)造為使用至少一部分前景/背景邊界區(qū)域16b，僅僅來填補(bǔ)本將會(huì)在中間視點(diǎn)圖像12中產(chǎn)生的空洞，通過使用第二圖像16的與部分前景/背景邊界區(qū)域16b分離的分離部分，投影和融合成中間視點(diǎn)圖像 12。根據(jù)圖lb，更詳細(xì)地描述了中間視合成10的進(jìn)一步實(shí)施例。根據(jù)該實(shí)施例，第二圖像16的前景/背景邊界區(qū)域16b劃分成前景邊界部分和背景邊界部分，此背景邊界部分形成前面提及的用來填補(bǔ)空洞的部分。因此，上面提及的部分可對(duì)應(yīng)于背景邊界區(qū)域。圖Ib中的中間視合成設(shè)備10包括前景/背景邊界檢測(cè)器18，其作為檢測(cè)第二圖像16中的前景/背景邊界區(qū)域16b的裝置；以及細(xì)分器20，其作為將第二圖像的前景/背景區(qū)域16b劃分為前景邊界部分16bl和背景邊界部分16b2，以便于第二圖像16劃分為非邊界部分16a、前景邊界部分16bl、和背景邊界部分16 的裝置。進(jìn)一步，中間視合成設(shè)備10包含投影-和-融合級(jí)22，用于將第二個(gè)圖像16的非邊界部分16a和前景邊界部分 16bl連同至少第一圖像14的一部分一起投影和融合到中間視點(diǎn)，從而獲得如箭頭M所示的初始的中間視點(diǎn)圖像。提供投影-和-填補(bǔ)級(jí)沈用來將第二圖像16的背景邊界部分16 投影到中間視點(diǎn)，以及通過投影的第二圖像16的背景邊界部分來填補(bǔ)初始的中間視點(diǎn)圖像M的空洞， 從而獲得中間視點(diǎn)圖像12。比較圖Ia和圖Ib的實(shí)施例，以下變得清晰，在圖Ib的情形中邊界區(qū)域檢測(cè)和劃分在設(shè)備中執(zhí)行，而在圖Ia的實(shí)施例中，假定為已經(jīng)完成此步驟，以及附近的信息諸如以邊信息的形式與第二圖像16b相關(guān)聯(lián)。因此，根據(jù)進(jìn)一步實(shí)施例，中間視合成設(shè)備10可包括用于獲得層信息的裝置，此層信息將第二圖像的非邊界部分16a、前景邊界部分16bl、和背景邊界部分16 與多視點(diǎn)數(shù)據(jù)信號(hào)區(qū)別開，后者表示取代圖Ib中的模塊18和20。如圖Ib中通過虛線進(jìn)一步說明的，中間視合成設(shè)備10還可包括前景/背景邊界檢測(cè)器18’和前景/背景細(xì)分器20’，前者作為檢測(cè)第一圖像14中的前景/背景邊界區(qū)域的裝置，后者作為將第一圖像的前景/背景邊界區(qū)域劃分為前景邊界部分和背景邊界部分的裝置。換句話說，在中間視合成設(shè)備10中，用于檢測(cè)的裝置18可構(gòu)造為也檢測(cè)第一圖像 14的前景/背景邊界區(qū)域，裝置20可構(gòu)造為也將第一圖像14的前景/背景區(qū)域劃分為前景邊界部分和背景邊界部分，以便于第一圖像14也被劃分成非邊界部分、前景邊界部分和背景邊界部分。在這種情形下，投影-和-融合級(jí)22可構(gòu)造為將第一圖像14和第二圖像 16的非邊界部分和前景邊界部分投影和融合為中間視點(diǎn)視圖，從而獲得初始的中間視點(diǎn)圖像24，以及投影-和-填補(bǔ)級(jí)沈也可構(gòu)造為投影第一圖像14和第二圖像16的背景邊界部分，以及通過投影的第一圖像14和第二圖像16的背景邊界部分來填補(bǔ)初始的中間視點(diǎn)圖像M中的空洞。根據(jù)供選擇的實(shí)施例，在中間視合成設(shè)備10中，用于根據(jù)多視點(diǎn)數(shù)據(jù)信號(hào)獲得層信息的裝置可獲得層信息，其至少將第一圖像的非邊界部分和背景邊界部分與多視點(diǎn)數(shù)據(jù)信號(hào)區(qū)別開。檢測(cè)器18’和細(xì)分器20’將是不必要的。中間視合成設(shè)備10可包括剛剛提及的獲得器作為替代。但是，用于投影和融合的裝置22將被構(gòu)造為將第二圖像16的非邊界部分16a和前景邊界部分16bl以及第一圖像14的非邊界部分投影和融合到中間視點(diǎn)， 從而獲得初始的中間視點(diǎn)圖像對(duì)，用于投影和填補(bǔ)的裝置26將被構(gòu)造為投影第一圖像14 和第二圖像16的背景邊界部分，以及通過投影的第一圖像14和第二圖像16的背景邊界部分來填補(bǔ)初始的中間視點(diǎn)圖像M中的空洞?；蛘?，多視點(diǎn)數(shù)據(jù)信號(hào)可包含，例如，作為邊信息的層信息，其區(qū)別第一圖像14的非邊界部分、前景邊界部分、和背景邊界部分。因此根據(jù)該實(shí)施例的中間視合成設(shè)備10可包含獲得該層信息的裝置，該層信息用來區(qū)別第一圖像14的非邊界部分、前景邊界部分和背景邊界部分，其中用來投影和融合的裝置22可被構(gòu)造成將第一圖像14和第二圖像16的非邊界部分和前景邊界部分投影和融合到中間視點(diǎn)，從而獲得初始的中間視點(diǎn)圖像M，用于投影和填補(bǔ)的裝置26被構(gòu)造為投影第一圖像14和第二圖像16的背景邊界部分，以及通過投影的第一圖像14和第二圖像16的背景邊界部分來填補(bǔ)初始的中間視點(diǎn)圖像M中的空洞。例如，檢測(cè)器18可包含邊緣檢測(cè)器，其用于在深度信息D2中檢測(cè)邊緣，邊緣周圍的η-樣本-寬的區(qū)域表示前景/背景邊界區(qū)域161^2。相應(yīng)地，細(xì)分器20可被構(gòu)造為將 η-樣本-寬的區(qū)域劃分為前景邊界區(qū)域和背景邊界區(qū)域。例如，細(xì)分器20可被構(gòu)造為通過比較前景/背景邊界區(qū)域16b的樣本/像素內(nèi)深度信息D2的深度與閾值，從而確定樣本 /像素屬于前景邊界部分16bl還是背景邊界部分16 來進(jìn)行劃分。就這一點(diǎn)而言，細(xì)分器可被構(gòu)造為通過計(jì)算諸如深度信息D2的深度值的平均數(shù)或中間值的集中趨勢(shì)來獲得閾值。特別地，細(xì)分器可被構(gòu)造為通過由與前景/背景邊界區(qū)域16b中各樣本/像素鄰近的樣本/像素的深度信息D2的深度值計(jì)算各樣本/像素的集中趨勢(shì)，局部地獲得閾值，例如基于屬于前景/背景邊界區(qū)域16b和鄰近各樣本/像素的鄰近樣本/像素。
在上述第一圖像14和第二圖像16同時(shí)被劃為非邊界區(qū)域和邊界區(qū)域的實(shí)施例中，投影-和-融合級(jí)22可被構(gòu)造為將第一圖像14和第二個(gè)像16的非邊界部分投影和融合到中間視點(diǎn)，從而獲得非邊界中間視點(diǎn)圖像，其中非邊界部分的融合包含在第一圖像14 和第二圖像16之間取平均值，以及將第一圖像14和第二圖像16的前景邊界部分投影和融合為非邊界中間視點(diǎn)圖像對(duì)，其中前景邊界部分的融合包含在非邊界中間視點(diǎn)圖像M的樣本以及投影第一圖像14和第二圖像16的前景邊界部分產(chǎn)生的位于一處的樣本之間選擇，而不是取其平均值。至于考慮到投影機(jī)構(gòu)，投影-和-融合級(jí)22以及投影-和-填補(bǔ)級(jí)沈可被構(gòu)造為通過分別使用相關(guān)聯(lián)的深度信息Dl和D2將2D樣本投影為3D樣本從而獲得3D世界點(diǎn) (world points)以及將3D世界點(diǎn)投影到中間視點(diǎn)，來執(zhí)行到中間視點(diǎn)的各投影。特別地， 投影-和-融合級(jí)22以及投影-和-填補(bǔ)級(jí)沈可被構(gòu)造為通過在第一視點(diǎn)和第二視點(diǎn)的投影矩陣之間內(nèi)插來計(jì)算投影矩陣，以及通過使用投影矩陣執(zhí)行3D世界點(diǎn)的投影。事實(shí)上，投影-和-融合級(jí)22與投影-和-填補(bǔ)級(jí)沈可被構(gòu)造為通過按取決于偏離中間視點(diǎn)的量二維地(或在像素平面內(nèi))移動(dòng)樣本位置來執(zhí)行到中間視點(diǎn)的各投影。當(dāng)然，平面內(nèi)的移動(dòng)可限制為沿著一個(gè)維度移動(dòng)，例如，沿著行(row)/列(line)方向，因?yàn)?，例如，使用相同的放大率、分辨率等已?jīng)采集了所有圖像，同時(shí)使像素行記錄到彼此的垂直方向。下文中，將使用一般術(shù)語在-像素-平面或二維移動(dòng)，它們應(yīng)該含有剛剛概述的可能性從而將移動(dòng)限制在一個(gè)維度內(nèi)?？墒褂眠M(jìn)一步的二維內(nèi)插將投影點(diǎn)/像素映射到規(guī)則的目標(biāo)像素網(wǎng)格中，如中間視點(diǎn)。僅通過同時(shí)使用投影的第一視點(diǎn)的像素和投影的第二視點(diǎn)的像素就可執(zhí)行融合，從而獲得目標(biāo)視點(diǎn)圖像。其次，可使用內(nèi)插將投影的像素融合成一個(gè)規(guī)則的目標(biāo)圖像的像素網(wǎng)格。進(jìn)一步，應(yīng)當(dāng)注意的是，可選擇地，可以提供增強(qiáng)器觀，其通過過濾和/或外推到中間視點(diǎn)圖像M的剩余空洞來增強(qiáng)中間視點(diǎn)圖像對(duì)。這樣的增強(qiáng)器觀可通過檢測(cè)中間視點(diǎn)圖像M的前景/背景邊界區(qū)域，以及在中間視點(diǎn)圖像M的前景/背景邊界區(qū)域內(nèi)進(jìn)行低通濾波來增強(qiáng)中間視點(diǎn)圖像。以下，將描述前述實(shí)施例的詳細(xì)例子，其中第一圖像和第二圖像是MVD或LDV視頻的部分，以及某些例子，其中中間視合成設(shè)備是3DTV顯示系統(tǒng)的部分。但是，在那之前，描述的另一個(gè)實(shí)施例適合于高效地編碼多視點(diǎn)視圖。圖Ic示出了多視數(shù)據(jù)信號(hào)提取設(shè)備30，如箭頭32所示，其用于從多視點(diǎn)表示 (representation)中提取多視點(diǎn)數(shù)據(jù)信號(hào)其中多視點(diǎn)表示包含對(duì)應(yīng)于第一視點(diǎn)的第一圖像34和對(duì)應(yīng)于第二視點(diǎn)的第二圖像36，第二視點(diǎn)與第一視點(diǎn)不同，第一圖像34和第二圖像36分別包含深度信息Dl和D2。多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備30包括前景/背景邊界檢測(cè)器38和去除左邊邊界部分檢測(cè)器42，前者用于檢測(cè)第二圖像36中的前景/背景邊界40， 后者用于確定第二圖像36沿著前景/背景邊界40的去除左邊邊界部分44。投影器46被設(shè)置為將無去除左邊部分44的第二圖像36投影到第一視點(diǎn)，從而獲得由于投影而具有非遮擋區(qū)域50的第二圖像的投影變體(version) 48。插入器52響應(yīng)于非遮擋區(qū)域50在第二圖像的投影變體48內(nèi)的位置，將第二圖像連同第一圖像34的部分插入到多視點(diǎn)數(shù)據(jù)信號(hào) 32，所述第一個(gè)圖像的部分取決于非遮擋區(qū)域在第二圖像的投影變體內(nèi)的位置。具體地，多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備30可包含確定器M，其用于根據(jù)非遮擋區(qū)域50在第二圖像的投影變體48內(nèi)的位置確定第一圖像34的部分從第二圖像的投影變體48內(nèi)的非遮擋區(qū)域50的位置插入到多視點(diǎn)數(shù)據(jù)信號(hào)32的第一圖像34的部分。就是說，確定器 54可將插入到多視點(diǎn)數(shù)據(jù)信號(hào)32的第一個(gè)圖像34的部分確定為第一個(gè)圖像34的區(qū)域，分別地，第二圖像的投影變體內(nèi)的非遮擋區(qū)域50遍布此區(qū)域，或此區(qū)域被區(qū)域50占據(jù)。投影器46可被構(gòu)造為將無去除左邊邊界部分44的第二圖像36也投影到圖Ic未示出的第三視點(diǎn)，但有選擇地，以便于第二個(gè)視點(diǎn)位于第一視點(diǎn)和第三視點(diǎn)之間。通過這種方法，可獲得具有非遮擋區(qū)域的第二圖像的進(jìn)一步投影變體，插入器52可被構(gòu)造為將第二圖像、第一圖像34的部分、和第三圖像的部分插入到多視點(diǎn)數(shù)據(jù)信號(hào)32中，第一圖像34的部分和第三圖像的部分也取決于非遮擋區(qū)域在第二圖像的進(jìn)一步投影變體內(nèi)的位置。插入器也可被構(gòu)造為將諸如邊信息形式的層信息插入到多視點(diǎn)數(shù)據(jù)信號(hào)32，該層信息至少區(qū)別第二圖像36的非邊界部分56和去除左邊邊界部分44。進(jìn)一步，可選擇地，階段58可有效地連接在投影器46和插入器52之間，階段58 用于填補(bǔ)由投影第二圖像的投影48產(chǎn)生的小空洞和/或過濾第二圖像的投影變體48。插入器52可被構(gòu)造為丟棄第一圖像34的剩余部分，此部分與由例如確定器M選擇的取決于非遮擋區(qū)域50在第二圖像的投影變體48內(nèi)的位置的部分分離，以及在多視點(diǎn)數(shù)據(jù)信號(hào)32中用信號(hào)表明該丟棄，例如通過將各自的像素值設(shè)定為默認(rèn)值。檢測(cè)器38可被構(gòu)造為通過使用在深度信息中檢測(cè)邊緣的邊緣檢測(cè)器來檢測(cè)前景 /背景邊界40，其與上述提及的作為前景/背景邊界檢測(cè)器18的部件類似。相應(yīng)地，檢測(cè)器38可被構(gòu)造為將邊緣周圍的η-樣本-寬的區(qū)域分割為前景邊界部分、和背景邊界部分， 利用背景邊界部分定義了上述提及的去除左邊部分44。這里并不關(guān)心前景部分，因此在圖 Ic中沒有示出前景部分。因此，檢測(cè)器38產(chǎn)生的效果類似于圖Ib中的細(xì)分器，因此，可通過比較η-樣本-寬的區(qū)域的樣本的深度信息的深度與閾值來實(shí)現(xiàn)分割，從而確定樣本屬于前景邊界部分還是背景邊界部分，以及相應(yīng)地，閾值可通過計(jì)算上面描述的η-樣本-寬的區(qū)域的樣本等的鄰近樣本的深度信息的深度值的集中趨勢(shì)而獲得。進(jìn)一步與圖Ib相對(duì)應(yīng)， 投影器48可被構(gòu)造為通過使用相關(guān)聯(lián)的深度信息將2D樣本投影為3D樣本從而獲得3D世界點(diǎn)，以及將3D世界點(diǎn)投影到中間視點(diǎn)，來執(zhí)行到第一視點(diǎn)的各投影。具體地，投影器46 可被構(gòu)造為通過在第一視點(diǎn)的投影矩陣和第二視點(diǎn)的投影矩陣之間內(nèi)插來計(jì)算投影矩陣， 以及使用投影矩陣執(zhí)行3D世界點(diǎn)的投影。一般地，投影器46可被構(gòu)造為通過根據(jù)偏離中間視的量二維地(或在像素平面內(nèi))移動(dòng)樣本位置來執(zhí)行到中間視的各投影。由設(shè)備30獲得的多視點(diǎn)數(shù)據(jù)信號(hào)32，一般地，包含關(guān)于對(duì)應(yīng)于第一視點(diǎn)的第一圖像34和對(duì)應(yīng)于第二視點(diǎn)的第二圖像36的數(shù)據(jù)，第二視點(diǎn)不同于第一視點(diǎn)，該第一圖像34 和第二圖像36包含深度信息Dl和D2。但是，只有第一圖像34的部分包括在多視點(diǎn)數(shù)據(jù)信號(hào)32內(nèi)，而其分離部分在多視點(diǎn)數(shù)據(jù)信號(hào)32中被丟棄。包括的部分取決于非遮擋區(qū)域50 在第二圖像36的投影變體48內(nèi)的位置，投影變體48是由將無去除左邊邊界部分44的第二像36沿著第二圖像36的前景/背景邊界40擴(kuò)展而投影到第一視點(diǎn)產(chǎn)生的。僅剛剛提及的第一圖像34的部分插入到該多視點(diǎn)數(shù)據(jù)信號(hào)32中，該信號(hào)32可以是前文關(guān)于圖 Ia和Ib提及的第一個(gè)圖像14的部分，第二圖像的投影變體與其一起融合。下文提出的用于先進(jìn)的3DV系統(tǒng)的解決方法是如本說明書的引言部分描述的MVD 的擴(kuò)展和組合。在圖20的例子中，示出了基于MVD的先進(jìn)3DTV概念(Pos 觀察點(diǎn)，R 右眼，L 左眼，V 視點(diǎn)視圖/圖像，D 深度)，只有M = 3的視圖的子集被傳輸給接收器。對(duì)這些作為說明的視點(diǎn)而言，精確取樣的深度圖應(yīng)該在發(fā)送器一方產(chǎn)生，并與視頻信號(hào)一起運(yùn)送。 在該情形中，每個(gè)深度值被分配給每個(gè)原始視頻樣本。通常把深度圖當(dāng)作如圖2示的灰度圖。在接收器顯示的所有其他圖像都由DIBR產(chǎn)生。這樣的基于MVD格式的3DV系統(tǒng)的設(shè)計(jì)包括一些有待于研究的困難和部分未解決的難題。這包括多視點(diǎn)采集、深度估計(jì)/產(chǎn)生、系統(tǒng)的參數(shù)化設(shè)置(如輸入視點(diǎn)的數(shù)目)、深度數(shù)據(jù)的有效壓縮、傳輸和繪制。在以下實(shí)施例中，根據(jù)實(shí)施例說明目標(biāo)接收器邊繪制。在引言部分呈現(xiàn)的3DV概念依賴于在接收器高質(zhì)量中間視點(diǎn)視圖內(nèi)插算法的有效性。內(nèi)插假象可導(dǎo)致不可接受的性質(zhì)。在圖20的例子中，例如從位置2只能看到虛擬視點(diǎn)視圖。立體設(shè)置中的典型攝影距離是5cm。這表示原始視點(diǎn)視圖Vl與V5之間的跨度是 20cm，這段距離用DIBR是很難處理的。特別地沿著具有巨大的深度不連續(xù)性的物理邊緣會(huì)產(chǎn)生一些已知的假象。另一方面具有平滑深度變體的區(qū)域可非?？煽康赝队暗教摂M中間視點(diǎn)。這意味著分開處理深度不連續(xù)性和平滑深度區(qū)域。使用邊緣檢測(cè)算法在深度圖像內(nèi)可以很容易地發(fā)現(xiàn)深度不連續(xù)性。因此，下文提出的內(nèi)插過程由三個(gè)部分構(gòu)成層提取(邊緣檢測(cè)以及劃分為可靠和邊界區(qū)域)、層投影(劃分區(qū)域的DIBR和融合)、和空洞填補(bǔ)&過濾(校正、清理、和過濾)。為了應(yīng)用自由視點(diǎn)導(dǎo)航(navigate)在[30]中已經(jīng)調(diào)查研究了對(duì)分層方法起作用的思想，其中沿著明顯的深度不連續(xù)性提取了某些寬度的邊界層。在以下的方法中，進(jìn)一步改進(jìn)了該思想。而且，在[30]中的方法使用用于繪制的幾何基元(三角)操作，下面的實(shí)施例僅僅用基于圖像的3D圖像變換操作。因此，不需要3D圖形支持和幾何建模。不利的一面是，引入了某些投影假象，可以如下面描述的移除此假象。換句話說，下文提出了多視點(diǎn)3D顯示的視頻系統(tǒng)，其中數(shù)據(jù)表示 (representation)由多視點(diǎn)視頻和景深構(gòu)成。至多傳輸3個(gè)多視點(diǎn)視頻信號(hào)，連同深度數(shù)據(jù)一起在接收器產(chǎn)生中間視點(diǎn)視圖。提出了這樣的中間視點(diǎn)視圖內(nèi)插方法，其沿著深度不連續(xù)性分離可靠的圖像區(qū)域與不可靠的圖像區(qū)域。用不同的算法處理和融合這些圖像區(qū)域，從而獲得最終的內(nèi)插視點(diǎn)視圖。與先前分層的方法相比較，使用了兩個(gè)邊界層和一個(gè)可靠層。而且，提出的技術(shù)并不依賴于3D圖像支持，而使用基于圖像的3D圖像變換作為替代。 為了產(chǎn)生質(zhì)量增強(qiáng)的中間視點(diǎn)視圖，描述了空洞填補(bǔ)和過濾方法。因此，提出了適用于現(xiàn)存的9-視點(diǎn)自動(dòng)立體顯示器的高質(zhì)量中間視點(diǎn)視圖，其證明了適用于先進(jìn)3D視頻(3DV)系統(tǒng)的方法的適合性。在繪制方法的第一部分——層提取中，區(qū)分了原始視圖中的可靠和不可靠的深度區(qū)域。一般而言，層提取對(duì)應(yīng)于圖Ib中的模塊18和20的功能。沿著物體邊界的區(qū)域認(rèn)為是不可靠的，因?yàn)檫吔鐦颖就ǔ＞哂谢旌系那熬?背景顏色，并在投影到新的視點(diǎn)之后會(huì)產(chǎn)生假象。進(jìn)一步，深度估計(jì)的誤差主要使物體邊界失真。因此，類似于[30]，檢測(cè)明顯的深度不連續(xù)性從而創(chuàng)建主層和邊界層。為此，可使用Carmy邊緣檢測(cè)器[2]，其對(duì)深度圖像進(jìn)行操作，將沿著檢測(cè)邊緣的7-樣本-寬的區(qū)域標(biāo)記為不可靠的。與[30]相比較，該區(qū)域被分割為前景邊界層和背景邊界層(分別如圖2所示的黑色區(qū)域和白色區(qū)域)，從而允許不同的處理，如下一小節(jié)所示。換句話說，圖2示出了沿著明顯的深度不連續(xù)性的層分配前景邊界層(黑色)、背景邊界層(白色)、和主層(灰度值)。
該第二部分——層投影是視點(diǎn)視圖內(nèi)插算法的主體，對(duì)應(yīng)于圖Ib中的階段22和 M的功能。輸入為如圖2所示的左邊原始圖像和右邊原始圖像、相關(guān)聯(lián)的深度圖、相關(guān)聯(lián)的攝像機(jī)標(biāo)定信息、和相關(guān)聯(lián)的標(biāo)示信息。輸入圖像的不同標(biāo)示區(qū)域分開地投影到虛擬視點(diǎn)位置，并遵循可靠性準(zhǔn)則融合結(jié)果。中間視點(diǎn)投影是經(jīng)典的基于圖像的3D圖像變換首先，使用相關(guān)聯(lián)的深度值和攝像機(jī)標(biāo)定信息將原始的2D視點(diǎn)的樣本投影到3D空間。其次，作為結(jié)果的3D世界點(diǎn)正向投影到要產(chǎn)生的中間視點(diǎn)視圖。使用位置相關(guān)參數(shù)λ e W... 1]，根據(jù)相關(guān)的兩個(gè)原始視點(diǎn)的矩陣內(nèi)插第二步驟中限定虛擬視點(diǎn)位置的投影矩陣，，其中例如λ =0.5定義了中間位置。這是使用球面線性內(nèi)插[24]完成的，適用于原始攝像機(jī)之間的直線路徑上的任意位置。遵循該方法，利用相應(yīng)的浮點(diǎn)深度數(shù)據(jù)Cl1和d2，兩主層(如，根據(jù)關(guān)于圖la-c使用的措辭“非邊界部分”)都投影到分離的顏色緩沖區(qū)I1和12，源于以上數(shù)據(jù)創(chuàng)建了公共主層1。，如下其中λ表示上面提及的位置相關(guān)參數(shù)，ε表示標(biāo)準(zhǔn)差(signigicance value)，本實(shí)驗(yàn)中其設(shè)定為1. 0。該方法保證使用每個(gè)視點(diǎn)的最前方樣本，或是如果兩個(gè)樣本具有相似的深度值，那么對(duì)這兩個(gè)樣本都進(jìn)行λ-內(nèi)插。當(dāng)從一個(gè)原始攝像機(jī)視點(diǎn)導(dǎo)航到另一個(gè)視點(diǎn)時(shí)，內(nèi)插進(jìn)一步降低了原始視點(diǎn)視圖之間可能的亮度差異，提供了平滑的過度。圖3示出了投影之后作為結(jié)果的公共主層。根據(jù)(1)的內(nèi)插過程還創(chuàng)建了公共浮點(diǎn)深度緩沖區(qū)。在下一個(gè)步驟中，前景邊界層(也就是圖la-c的措辭中的“前景邊界部分”)被投影以及創(chuàng)建顏色和浮點(diǎn)深度的公共層，這類似于上面所述的主層方法。然后，融合公共主層和前景邊界層。這里使用簡單的深度測(cè)試采用任一個(gè)層的最前方樣本，其通常是前景邊界樣本。到現(xiàn)在為止，此功能對(duì)應(yīng)于階段22的功能。在投影過程的最后一個(gè)步驟中，背景邊界層，也就是圖la-c中的背景部分被投影。使用該信息僅僅是為了填補(bǔ)中間視點(diǎn)視圖的剩余空洞。這對(duì)應(yīng)于圖10中階段M的功能。由于公共主層已經(jīng)覆蓋了前景物體周圍的大多數(shù)樣本，如圖3所示，僅僅使用很少的背景邊界樣本，因此原始視圖的物體邊界的顏色失真樣本被省略。已知使用簡單的3D圖像變換算法在背景區(qū)域內(nèi)創(chuàng)建象日冕(corona-like)的假象，利用2種不同的邊界層的該分層方法避免了這一點(diǎn)。該算法的最后一部分，空洞填補(bǔ)&過濾是校正、清理和過濾過程。其對(duì)應(yīng)于圖Ib中的增強(qiáng)器觀的功能。在該階段的繪制圖像中仍可產(chǎn)生兩種類型的空洞微裂紋和更大的空白區(qū)域。第一種類型的空洞是在整個(gè)圖像區(qū)域內(nèi)產(chǎn)生的微裂紋，其可由基于圖像的3D圖像變換的正向映射性質(zhì)引入。原始圖像的每個(gè)點(diǎn)都分別地投影到中間視點(diǎn)，以及一般落在浮點(diǎn)坐標(biāo)上。該位置量化為整數(shù)樣本光柵的最近鄰位置。讓人遺憾的是，量化可使某些未填補(bǔ)的樣本可見，如圖3中細(xì)細(xì)的黑線所示。在某些情形中，前景區(qū)域中這樣的裂紋由其他原始圖像的背景信息填補(bǔ)。這導(dǎo)致如圖4中左邊所示的假象，其中背景樣本表現(xiàn)出來(shine through)前景物體。在圖4中，頂線示出了不同的假象，而底線示出了移除假象(具體地，移除裂紋樣本(左邊)、填補(bǔ)區(qū)域(中間)和平滑邊緣(右邊))之后的相同部分。這樣的假象是通過查找深度值來檢測(cè)的，該深度值與其在水平、垂直、或?qū)欠较虻泥徑凳敲黠@不同的。然后，假定已經(jīng)校正了所分配的深度值，用中值過濾填補(bǔ)假象，即通過計(jì)算鄰近彩色值的中間值。也在圖4的左邊示出這樣的假象的校正。第二種類型的空洞包括更大的空白區(qū)域。這些空洞要么是由于錯(cuò)誤的深度值而產(chǎn)生的，要么是在兩個(gè)原始視圖中被遮擋而在中間視點(diǎn)視圖中變得可見的區(qū)域。這樣的更大空洞用可用的背景信息填補(bǔ)，如圖4的中間所示。這里，分析沿著空洞邊界的對(duì)應(yīng)深度值， 以便于找到背景顏色樣本從而外推到空洞區(qū)域。當(dāng)該方法使得很好地填補(bǔ)了由于深度誤差引起的空白區(qū)域時(shí)，有時(shí)錯(cuò)誤地根據(jù)前景信息填補(bǔ)非遮擋區(qū)域，因此顯示錯(cuò)誤的顏色。最后，沿著邊緣低通濾波前景物體從而提供逼真的外觀，如圖4中的右邊所示。在原始視圖中，由于在圖像捕獲期間最初的取樣和過濾，物體邊界樣本是前景-背景的顏色混合。在本發(fā)明的分層方法所繪制的中間視點(diǎn)視圖中，通常不包括這些混合顏色樣本，為的是避免背景中出現(xiàn)日冕狀假象。因此，某些前景-背景邊界看起來銳化的不自然，就好像前景物體是人為地插入到場(chǎng)景中的。因此，上面提及的Carmy邊緣檢測(cè)濾波器應(yīng)用于最終的深度信息以便于識(shí)別邊緣，平均低通濾波器應(yīng)用于相應(yīng)的顏色樣本以便于提供更逼真的外觀。此外，過濾有助于減少沿著深度不連續(xù)性的剩余假象。所有處理步驟之后作為結(jié)果的中間視點(diǎn)視圖在圖5中示出，因此圖5示出了過濾之后的最終中間視點(diǎn)內(nèi)插，是圖Ib中的中間視點(diǎn)圖像12的例子。這里，兩個(gè)原始的攝像機(jī)之間的中間視點(diǎn)視圖被合成，即λ =0.5，在該情形中其對(duì)應(yīng)于兩個(gè)原始攝像機(jī)之間IOcm 的物理距離。虛擬視點(diǎn)視圖品質(zhì)優(yōu)良且無可見的假象。視點(diǎn)視圖內(nèi)插器的目的是用M個(gè)視點(diǎn)加深度的MVD表示為3DV系統(tǒng)創(chuàng)建N個(gè)輸入視點(diǎn)視圖。一個(gè)例子是Wiilips自動(dòng)立體顯示器，其中需要具有目距(大約5cm)的9個(gè)視點(diǎn)作為輸入。對(duì)如圖20所示的設(shè)置而言，在圖6中示出了作為芭蕾舞者和霹靂舞者數(shù)據(jù)集中9個(gè)視點(diǎn)視圖結(jié)果的五個(gè)。這些數(shù)據(jù)集的攝像機(jī)間距是20cm。在兩個(gè)原始的攝像機(jī)之間已經(jīng)創(chuàng)建了 λ = {1/4,1/2,3/4}的三個(gè)中間視點(diǎn)。圖6中最左邊和最右邊的圖像是原始視點(diǎn)視圖。中間的三個(gè)圖像是未顯示任何假象的虛擬視點(diǎn)視圖。成對(duì)的立體視點(diǎn)有效地支持運(yùn)動(dòng)視差和3D深度印象。換句話說，圖6示出了 9-視點(diǎn)自動(dòng)立體顯示器的立體對(duì)距離的五個(gè)視點(diǎn)視圖在原始攝像機(jī)位置(極左和極右)的兩個(gè)視點(diǎn)視圖以及芭蕾舞(頂部) 和霹靂舞順序(底部)的中間視點(diǎn)視圖。概述以上實(shí)施例，描述了用于先進(jìn)3D視頻(3DV)系統(tǒng)的概念，此3DV系統(tǒng)基于多視點(diǎn)和深度(MVD)表示。與基于MVC或MPEG-C Part3的可選擇的概念相比，從數(shù)據(jù)速率、 質(zhì)量、和功能方面來說，該3DV系統(tǒng)具有明顯的優(yōu)勢(shì)。特別地，高質(zhì)量的中間視點(diǎn)視圖內(nèi)插算法對(duì)使該概念可行而言是決定性的。上面提出了適當(dāng)?shù)姆椒?，其最小化所繪制視點(diǎn)視圖中的假象。該算法僅僅以基于圖像的3D圖像變換為基礎(chǔ)，并不需要3D圖形支持。剛描述的實(shí)施例引入不可靠圖像區(qū)域沿著深度不連續(xù)性分離的前景邊界層和背景邊界層。分別處理邊界層和可靠層，以及遵循可靠性準(zhǔn)則融合輸出。而且，已經(jīng)執(zhí)行空洞填補(bǔ)算法產(chǎn)生中間視點(diǎn)視圖中空白顏色信息。顏色樣本沿著明顯的深度不連續(xù)性的最終低通濾波可提供更為逼真的外觀，并減少沿著邊緣的剩余假象。視點(diǎn)視圖內(nèi)插可由位置相關(guān)參數(shù)來控制，此參數(shù)降低了原始視圖之間亮度差異的影響。隨即，已經(jīng)說明了高質(zhì)量的中間視點(diǎn)視圖繪制對(duì)基于MVD的3DV概念的必要性。以下部分描述了本發(fā)明的第二個(gè)實(shí)施例，與第一個(gè)實(shí)施例相比較更詳細(xì)。此外，該實(shí)施例把重點(diǎn)放在日益增長的3D視頻應(yīng)用和系統(tǒng)，3D視頻應(yīng)用和系統(tǒng)迅速增長且技術(shù)日益成熟。預(yù)期多視點(diǎn)自動(dòng)立體顯示器在家庭用戶環(huán)境中將扮演重要角色，因?yàn)樗С侄嘤脩?D感覺和運(yùn)動(dòng)視差印象。極大的數(shù)據(jù)速率不可能通過表示和諸如MVC或MPEG-C Part 3的編碼格式獲得有效地處理。多視點(diǎn)視頻加深度是有效地支持這樣的先進(jìn)3DV系統(tǒng)的新格式，但是這需要高質(zhì)量的中間視合成。為此，下面提出的方法沿著深度不連續(xù)性分離可靠圖像區(qū)域與不可靠圖像區(qū)域，這兩區(qū)域被分別處理并融合為最終的內(nèi)插視點(diǎn)視圖。與先前的分層方法相比較，下面的算法使用兩個(gè)邊界層和一個(gè)可靠層，只執(zhí)行基于圖像的3D圖像變換，而不依賴于3D圖形支持。而且，加入了不同的空洞填補(bǔ)和過濾方法，從而提供了高質(zhì)量的中間視點(diǎn)視圖。因此，提出了適用于現(xiàn)存的9-視點(diǎn)自動(dòng)立體顯示器的高質(zhì)量的中間視點(diǎn)視圖，其證明了適用于先進(jìn)3DV系統(tǒng)方法的適合性。該概念依賴于高質(zhì)量的中間視合成算法。下面給出這樣的DIBR或3D圖像變換的一般表達(dá)。已知DIBR產(chǎn)生可察覺的假象，特別地沿著具有深度不連續(xù)性的物體邊界產(chǎn)生所述假象。因此，下面的實(shí)施例引入了新穎的 DIBR算法，其中在分層方法中處理深度不連續(xù)性，圖像區(qū)域被標(biāo)記為可靠和不可靠區(qū)域。然后呈現(xiàn)標(biāo)準(zhǔn)3D圖像變換的結(jié)果和改進(jìn)。最后，總結(jié)了第二個(gè)實(shí)施例。首先，系統(tǒng)地闡述了基于深度的中間視合成。在3DV框架內(nèi)我們假定為每個(gè)原始視點(diǎn)k給定以顏色數(shù)據(jù)lk、深度數(shù)據(jù)dk、和攝像機(jī)參數(shù)形式的輸入數(shù)據(jù)?？赏ㄟ^Ik的捕獲過程和相關(guān)聯(lián)的dk深度攝像機(jī)或深度估計(jì)過程來提供該數(shù)據(jù)。作為例子，適用于先進(jìn)3DTV 概念的原始視點(diǎn)顯示在圖20底部，其中k e {1,5,9}。每個(gè)原始視點(diǎn)k的攝像機(jī)參數(shù)以內(nèi)部矩陣Kk的內(nèi)部參數(shù)(焦距、傳感器縮放、主光點(diǎn))，以及具有旋轉(zhuǎn)矩陣&和平移向量tk的外部矩陣[&|tk]中的外部參數(shù)(旋轉(zhuǎn)、平移)的形式給定?？赏ㄟ^標(biāo)準(zhǔn)的攝像機(jī)標(biāo)定算法 [27]、[6], [9]獲得攝像機(jī)參數(shù)。通常，外部矩陣和內(nèi)部矩陣相乘從而獲得投影矩陣Pk = Kk[Rk|tk]，其將3D世界點(diǎn)投影到原始視點(diǎn)k的平面圖像。因此，原始視點(diǎn)由下面給出Lk (Uk，vk)Dk (Uk，vk)(1)Pk在每個(gè)像素位置(uk，vk)給定的框架提供了許多稀疏的原始攝像機(jī)，以(1)的形式。視合成的任務(wù)是在任意對(duì)鄰近的原始攝像機(jī)之間提供稠密的中間視點(diǎn)。對(duì)該內(nèi)推過程的數(shù)學(xué)推導(dǎo)而言，根據(jù) (1)給定兩個(gè)原始視點(diǎn)k和η。對(duì)兩個(gè)攝像機(jī)之間的任意虛擬視點(diǎn)位置而言，引入內(nèi)插參數(shù) λ e W... 1]，其中λ =0是指第一個(gè)原始觀察位置，λ = 1是指第二個(gè)觀察位置和λ = 0.5例如定義了中間位置。對(duì)中間視點(diǎn)1λ( !λ，νλ)而言，首先計(jì)算出相關(guān)聯(lián)的內(nèi)部矩陣和外部矩陣Κλ = (I-X)Kk+λ KntA = (l_X)tk+Xtn(2)Ra = slerp(I k，Ι η，λ)這里，除了旋轉(zhuǎn)矩陣中的參數(shù)之外，所有參數(shù)都是線性內(nèi)插的，其中球面線性內(nèi)插 [24]用來保持矩陣的正交性。為此，分別內(nèi)插矩陣Rk和Ι η的列向量，從而獲得Ra的列向量。示出矩陣I的第一列向量Rji，l)的示例性計(jì)算 η /. ι ν f / w% / ·%\ 9% / ν λ ν sin (Cl *** λ ^iZ ι )JS!t fifc
權(quán)利要求
1.一種中間視合成設(shè)備(10)，用于將對(duì)應(yīng)于第一視點(diǎn)的第一圖像(14)和對(duì)應(yīng)于第二視點(diǎn)的第二圖像(16)合成為中間視點(diǎn)圖像(12)，所述第二視點(diǎn)不同于所述第一視點(diǎn)，所述第一圖像和第二圖像包含深度信息，其中所述第二圖像(16)被劃分為非邊界部分(16a)和前景/背景邊界區(qū)域(16b)，其中，所述中間視合成設(shè)備被構(gòu)造為將所述第一圖像(14)和所述第二圖像(16)投影和融合到中間視點(diǎn)，從而獲得所述中間視點(diǎn)圖像(12)，以及處理相對(duì)于所述非邊界部分(16a)次級(jí)的所述前景/背景邊界區(qū)域(16b)。
2.根據(jù)權(quán)利要求1所述的中間視合成設(shè)備，其中，所述中間視合成設(shè)備被構(gòu)造為至少使用所述前景/背景邊界區(qū)域(16b)的部分(16b2)來僅填補(bǔ)空洞，否則空洞會(huì)在所述中間視點(diǎn)圖像(1 中產(chǎn)生，以及使用所述第二圖像的與所述前景/背景邊界區(qū)域(16b)的部分 (16b2)分離的分離部分(16bl)來投影和融合到所述中間視點(diǎn)。
3.根據(jù)權(quán)利要求1或2所述的中間視合成設(shè)備，其中，所述第二圖像(16)的所述前景 /背景邊界區(qū)域(16b)包括前景邊界部分(16bl)和背景邊界部分(161^2)，所述中間視合成設(shè)備包括用于將所述第二圖像的所述非邊界部分(16a)和所述前景邊界部分(16bl)連同所述第一圖像(14)的至少一部分投影和融合到所述中間視點(diǎn)，從而獲得初始的中間視點(diǎn)圖像 (24)的裝置(22)；以及將所述第二圖像(16)的所述背景邊界部分(16 )投影到所述中間視點(diǎn)，以及用所投影的所述第二圖像(16)的所述背景邊界部分來填補(bǔ)所述初始的中間視點(diǎn)圖像04)中的空洞的裝置(26)。
4.根據(jù)權(quán)利要求3所述的中間視合成設(shè)備，進(jìn)一步包含用于檢測(cè)所述第二圖像(16)中的所述前景/背景邊界區(qū)域(16b)的裝置(18)；用于將所述第二圖像(16)的所述前景/背景邊界區(qū)域(16b)劃分為所述前景邊界部分(16bl)和所述背景邊界部分(16 )的裝置(20)，這樣所述第二圖像(16)被劃分為所述非邊界部分(16a)、所述前景邊界部分(16bl)、和所述背景邊界部分(16b2)。
5.根據(jù)權(quán)利要求3所述的中間視合成設(shè)備，其中，所述中間視合成設(shè)備被構(gòu)造為獲得將所述第二圖像(16)的所述非邊界部分(16)、所述前景邊界部分(16bl)、和所述背景邊界部分(16b2)與多視點(diǎn)數(shù)據(jù)信號(hào)(32)區(qū)別開的層信息。
6.根據(jù)權(quán)利要求4所述的中間視合成設(shè)備，其中，用于檢測(cè)的所述裝置(18)被構(gòu)造為還檢測(cè)所述第一圖像(14)的前景/背景邊界區(qū)域，用于劃分的所述裝置00)被構(gòu)造為也將所述第一圖像(14)的前景/背景邊界區(qū)域劃分為前景邊界部分和背景邊界部分，這樣所述第一圖像(14)也被劃分為非邊界部分、前景邊界部分、和背景邊界部分，以及用于投影和融合的裝置0 被構(gòu)造為將第一和第二圖像(14、16)的非邊界部分和前景邊界部分投影和融合到所述中間視點(diǎn)，從而獲得所述初始的中間視點(diǎn)圖像04)，以及用于投影和填補(bǔ)的裝置06)被構(gòu)造為將所述第一和第二圖像(14、16)的背景邊界部分投影到所述中間視點(diǎn)，以及通過所投影的所述第一和第二圖像(14、16)的背景邊界部分來填補(bǔ)所述初始的中間視點(diǎn)圖像04)中的空洞。
7.根據(jù)權(quán)利要求3和4中任一項(xiàng)所述的中間視合成設(shè)備，其中，所述中間視合成設(shè)備被構(gòu)造為獲得至少將所述第一圖像(14)的非邊界部分和背景邊界部分與所述多視點(diǎn)數(shù)據(jù)信號(hào)區(qū)別開的層信息，其中用于投影和融合的裝置02)被構(gòu)造為將所述第二圖像(16)的非邊界部分(16a)和前景邊界部分(16bl)與所述第一圖像(14)的非邊界部分投影和融合到所述中間視點(diǎn)，從而獲得所述初始的中間視點(diǎn)圖像(M)，以及用于投影和填補(bǔ)的裝置06) 被構(gòu)造為將所述第一和第二圖像(14、16)的背景邊界部分投影到所述中間視點(diǎn)，以及通過所投影的所述第一和第二圖像(14、16)的背景邊界部分來填補(bǔ)所述初始的中間視點(diǎn)圖像 (24)中的空洞。
8.根據(jù)權(quán)利要求3至5中任一項(xiàng)所述的中間視合成設(shè)備，其中，所述中間視合成設(shè)備被構(gòu)造為獲得將所述第一圖像(14)的非邊界部分、前景邊界部分、和背景邊界部分區(qū)別開的層信息，其中，用于投影和融合的裝置02)被構(gòu)造為將所述第一和第二圖像(14、16)的非邊界部分和前景邊界部分投影和融合到中間視點(diǎn)，從而獲得所述初始的中間視點(diǎn)圖像 (M)，以及用于投影和填補(bǔ)的裝置06)被構(gòu)造為將所述第一和第二圖像(14、16)的背景邊界部分投影到所述中間視點(diǎn)，以及通過所投影的所述第一和第二圖像(14、16)的背景邊界部分來填補(bǔ)所述初始的中間視點(diǎn)圖像04)中的空洞。
9.根據(jù)權(quán)利要求4或6所述的中間視合成設(shè)備，其中，用于檢測(cè)前景/背景邊界區(qū)域的所述裝置(18)包括用于在深度信息中檢測(cè)邊緣的邊緣檢測(cè)器。
10.根據(jù)權(quán)利要求4、6或9所述的中間視合成設(shè)備，其中，所述用于劃分的裝置OO)被構(gòu)造為將作為所述前景/背景邊界區(qū)域(16b)的沿邊緣周圍的η-樣本-寬的區(qū)域分割為前景邊界部分(16bl)和背景邊界部分(16b2)。
11.根據(jù)權(quán)利要求4、6、9或10所述的中間視合成設(shè)備，其中，所述用于劃分的裝置 (20)被構(gòu)造為通過將前景/背景邊界區(qū)域(16b)的一樣本的深度信息的深度與一閾值比較來執(zhí)行分割，從而確定所述樣本屬于前景邊界部分(16bl)還是屬于背景邊界部分(161^2)。
12.根據(jù)權(quán)利要求11所述的中間視合成設(shè)備，其中，所述用于劃分的裝置OO)被構(gòu)造為通過計(jì)算鄰近所述樣本的前景/背景邊界區(qū)域(16b)的樣本的深度信息的深度值的集中趨勢(shì)來獲得所述閾值。
13.根據(jù)權(quán)利要求6所述的中間視合成設(shè)備，其中，所述用于投影和融合的裝置02)被構(gòu)造為將所述第一和第二圖像(14、16)的非邊界部分投影和融合到中間視點(diǎn)，從而獲得非邊界中間視點(diǎn)圖像，其中所述非邊界部分的融合包括所述第一和第二圖像(14、16)之間的平均值，以及將所述第一和第二圖像(14、16)的前景邊界部分投影和融合到非邊界中間視點(diǎn)圖像中，其中所述前景邊界部分的融合包括在所述非邊界中間視點(diǎn)圖像的樣本和由所述第一和第二圖像(14、16)的前景邊界部分投影產(chǎn)生的位于一處的樣本之間選擇，而不是取其平均值。
14.根據(jù)權(quán)利要求3至13中任一項(xiàng)所述的中間視合成設(shè)備，其中，所述用于投影和融合的裝置02)與所述用于投影和填補(bǔ)的裝置06)被構(gòu)造為通過使用相關(guān)聯(lián)的深度信息將樣本從2D投影到3D，從而獲得3D世界點(diǎn)，以及將所述3D世界點(diǎn)投影到中間視點(diǎn)來執(zhí)行到所述中間視點(diǎn)的各投影。
15.根據(jù)權(quán)利要求14所述的中間視合成設(shè)備，其中，所述用于投影和融合的裝置02) 與所述用于投影和填補(bǔ)的裝置06)被構(gòu)造為通過在所述第一視點(diǎn)和所述第二視點(diǎn)的投影矩陣之間內(nèi)插來計(jì)算投影矩陣，以及通過使用所述投影矩陣執(zhí)行所述3D世界點(diǎn)的投影。
16.根據(jù)權(quán)利要求3至15中任一項(xiàng)所述的中間視合成設(shè)備，其中，所述用于投影和融合的裝置02)與所述用于投影和填補(bǔ)的裝置06)被構(gòu)造為通過在像素平面內(nèi)按照取決于偏離所述中間視點(diǎn)的量移動(dòng)樣本位置來執(zhí)行到所述中間視點(diǎn)的各投影。
17.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的中間視合成設(shè)備，進(jìn)一步包括通過過濾和/或外推到所述中間視點(diǎn)圖像的剩余空洞來增強(qiáng)所述中間視點(diǎn)圖像的裝置08)。
18.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的中間視合成設(shè)備，進(jìn)一步包括通過檢測(cè)所述中間視點(diǎn)圖像的前景/背景邊界，以及在所述中間視點(diǎn)圖像的前景/背景邊界區(qū)域內(nèi)低通濾波來增強(qiáng)所述中間視點(diǎn)圖像的裝置08)。
19.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的中間視合成設(shè)備，其中，第一和第二圖像(14、 16)是MVD或LDV視頻的部分。
20.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的中間視合成設(shè)備，其中，第一和第二圖像(14、 16)具有與所述深度信息相關(guān)聯(lián)的顏色信息。
21.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的中間視合成設(shè)備，所述中間視合成設(shè)備是3DTV 顯示系統(tǒng)的一部分。
22.—種多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備，用于從多視點(diǎn)表示中提取多視點(diǎn)數(shù)據(jù)信號(hào)(32)， 所述多視點(diǎn)表示包括對(duì)應(yīng)于第一視點(diǎn)的第一圖像(34)和對(duì)應(yīng)于第二視點(diǎn)的第二圖像 (36)，所述第二視點(diǎn)不同于第一視點(diǎn)，第一和第二圖像包含深度信息，所述多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備包括用于檢測(cè)所述第二圖像的前景/背景邊界GO)的裝置(38)；用于確定所述第二圖像沿所述前景/背景邊界GO)的去除左邊邊界部分G4)的裝置 (42)；用于將無所述去除左邊邊界部分G4)的所述第二圖像(36)投影到所述第一視點(diǎn)，從而獲得具有非遮擋區(qū)域(50)的所述第二圖像(36)的投影變體08)的裝置06)；以及用于將所述第二個(gè)圖像(36)連同所述第一圖像(34)的一部分插入到所述多視點(diǎn)數(shù)據(jù)信號(hào)(3 中的裝置(52)，所述第一圖像的部分取決于所述非遮擋區(qū)域(50)在所述第二圖像(36)的投影變體08)內(nèi)的位置。
23.根據(jù)權(quán)利要求22所述的多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備，進(jìn)一步包括用于將被插入到多視點(diǎn)數(shù)據(jù)信號(hào)(3 中的所述第一圖像(34)的一部分確定為所述第二圖像的投影變體內(nèi)的所述非遮擋區(qū)域(50)所延伸覆及的所述第一圖像(34)的區(qū)域的裝置(54)。
24.根據(jù)權(quán)利要求22或23所述的多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備，其中，用于投影的裝置 (46)被構(gòu)造為將無所述去除左邊邊界部分的所述第二圖像也投影到第三視點(diǎn)，從而獲得具有非遮擋區(qū)域的所述第二圖像的進(jìn)一步投影變體，以及其中，用于插入的裝置被構(gòu)造為將所述第二圖像、所述第一圖像的所述部分、和所述第三圖像的部分插入到多視點(diǎn)數(shù)據(jù)信號(hào)中，第二和第三圖像的部分取決于所述非遮擋區(qū)域在所述第二圖像的所述進(jìn)一步投影變體內(nèi)的位置，其中所述第二視點(diǎn)位于所述第一視點(diǎn)和所述第三視點(diǎn)之間。
25.根據(jù)權(quán)利要求M所述的多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備，其中，用于插入的裝置(52)被構(gòu)造為將層信息插入到多視點(diǎn)數(shù)據(jù)信號(hào)(32)中，所述層信息至少將所述第二個(gè)圖像的所述非邊界部分(56)和所述去除左邊邊界部分G4)區(qū)別開。
26.根據(jù)權(quán)利要求22或25中任一項(xiàng)所述的多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備，進(jìn)一步包括用于填補(bǔ)由于投影所述第二圖像和/或過濾所述第二圖像的所述投影變體而產(chǎn)生的微小空洞的裝置(58)。
27.根據(jù)權(quán)利要求22至26中任一項(xiàng)所述的多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備，其中，用于插入的裝置(5 被構(gòu)造為丟棄所述第一圖像的剩余部分，所述剩余部分與取決于所述非遮擋區(qū)域(50)在所述第二圖像的投影變體內(nèi)的位置的部分分離，以及在所述多視點(diǎn)數(shù)據(jù)信號(hào) (32)中以信號(hào)表明所述丟棄。
28.根據(jù)權(quán)利要求22至27中任一項(xiàng)所述的多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備，其中，用于檢測(cè)前景/背景邊界GO)的裝置(38)包括用于在所述深度信息中檢測(cè)邊緣的邊緣檢測(cè)器。
29.根據(jù)權(quán)利要求觀所述的多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備，其中，用于確定的裝置G2)被構(gòu)造為將所述邊緣的周圍η-樣本-寬的區(qū)域分割為前景邊界部分和背景邊界部分，所述背景邊界部分限定所述去除左邊部分G4)。
30.根據(jù)權(quán)利要求四所述的多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備，其中，用于確定的裝置G2)被構(gòu)造為通過將所述η-樣本-寬的區(qū)域的一樣本的深度信息的深度與一閾值比較來進(jìn)行分割，從而確定該樣本屬于所述前景邊界部分還是屬于所述背景邊界部分。
31.根據(jù)權(quán)利要求30所述的多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備，其中，用于確定的裝置02)被構(gòu)造為通過計(jì)算鄰近所述樣本的η-樣本-寬區(qū)域的樣本的深度信息的深度值的集中趨勢(shì)來獲得所述閾值。
32.根據(jù)權(quán)利要求22至31中任一項(xiàng)所述的多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備，其中，用于投影的裝置G6)被構(gòu)造為通過使用相關(guān)聯(lián)的深度信息將樣本從2D投影到3D，從而獲得3D世界點(diǎn)，并將所述3D世界點(diǎn)投影到所述中間視點(diǎn)，來執(zhí)行到所述中間視點(diǎn)的各投影。
33.根據(jù)權(quán)利要求32所述的多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備，其中，所述用于投影的裝置 (46)被構(gòu)造為通過在所述第一視點(diǎn)和所述第二視點(diǎn)的投影矩陣之間內(nèi)插來計(jì)算投影矩陣， 以及通過使用所述投影矩陣執(zhí)行所述3D世界點(diǎn)的投影。
34.根據(jù)前述任一項(xiàng)權(quán)利要求所述的多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備，其中，所述用于投影的裝置G2)被構(gòu)造為通過在像素平面內(nèi)按照取決于偏離所述中間視點(diǎn)的量移動(dòng)樣本位置來執(zhí)行到所述中間視點(diǎn)的各投影。
35.一種多視點(diǎn)數(shù)據(jù)信號(hào)，包括關(guān)于對(duì)應(yīng)于第一視點(diǎn)的第一圖像(34)和對(duì)應(yīng)于第二視點(diǎn)的第二圖像(36)的數(shù)據(jù)，所述第二視點(diǎn)不同于所述第一視點(diǎn)，所述第一圖像和所述第二圖像包含深度信息，其中所述第一圖像(34)的僅僅一部分包括在所述多視點(diǎn)數(shù)據(jù)信號(hào) (32)中，而其分離部分在所述多視點(diǎn)數(shù)據(jù)信號(hào)(32)中被丟棄，所述部分取決于非遮擋區(qū)域 (50)在所述第二圖像(36)的投影變體內(nèi)的位置，所述第二圖像的投影變體通過將無去除左邊邊界部分G4)的第二圖像(36)投影到所述第一視點(diǎn)而獲得，所述去除左邊邊界部分沿著所述第二圖像(36)的前景/背景邊界00)擴(kuò)展。
36.一種中間視合成方法，用于由對(duì)應(yīng)于第一視點(diǎn)的第一圖像和對(duì)應(yīng)于第二視點(diǎn)的第二圖像合成為中間視點(diǎn)圖像，所述第二視點(diǎn)不同于所述第一視點(diǎn)，第一和第二圖像包含深度信息，其中所述第二圖像被劃分為非邊界部分和前景/背景邊界區(qū)域，其中所述中間視點(diǎn)合成方法包括將所述第一圖像和所述第二圖像投影和融合到所述中間視點(diǎn)，從而獲得所述中間視點(diǎn)圖像，以及處理相對(duì)于所述非邊界部分次級(jí)的所述前景/背景邊界區(qū)域。
37.一種多視點(diǎn)數(shù)據(jù)信號(hào)提取方法，用于從多視點(diǎn)表示中提取所述多視點(diǎn)數(shù)據(jù)信號(hào)，所述多視點(diǎn)表示包含對(duì)應(yīng)于第一視點(diǎn)的第一圖像和對(duì)應(yīng)于第二視點(diǎn)的第二圖像，所述第二視點(diǎn)不同于所述第一視點(diǎn)，第一和第二圖像包含深度信息，所述多視點(diǎn)數(shù)據(jù)信號(hào)提取方法包括檢測(cè)所述第二圖像的前景/背景邊界；確定沿著所述前景/背景邊界的去除左邊邊界部分；將無所述去除左邊邊界部分的所述第二圖像投影到所述第一視點(diǎn)，從而獲得具有非遮擋區(qū)域的所述第二圖像的投影變體；以及將所述第二圖像連同所述第一圖像的部分插入到所述多視點(diǎn)數(shù)據(jù)信號(hào)中，所述第一圖像的部分取決于所述非遮擋區(qū)域在所述第二圖像的投影變體內(nèi)的位置。
38.當(dāng)運(yùn)行在計(jì)算機(jī)上時(shí)，計(jì)算機(jī)程序執(zhí)行根據(jù)權(quán)利要求36或37的方法的指令。
全文摘要
本發(fā)明描述了一種中間視合成設(shè)備，其用于將對(duì)應(yīng)于第一個(gè)視點(diǎn)的第一圖像(14)和對(duì)應(yīng)于第二視點(diǎn)的第二圖像(16)合成為中間視點(diǎn)圖像，所述第二視點(diǎn)不同于第一視點(diǎn)，所述第一圖像和第二圖像包含深度信息，其中第二圖像被劃分為非邊界部分(16a)、和前景/背景邊界區(qū)域(16b)，其中所述中間視合成設(shè)備被構(gòu)造為將第一圖像和第二圖像投影到中間視，從而獲得中間視點(diǎn)圖像(12)，以及處理相對(duì)于非邊界部分(16a)次級(jí)的前景/背景邊界區(qū)域(16b)。本發(fā)明還描述了一種多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備，其用于從多視點(diǎn)表示中提取多視點(diǎn)數(shù)據(jù)信號(hào)，該多視點(diǎn)表示包含對(duì)應(yīng)于第一視點(diǎn)的第一圖像和對(duì)應(yīng)于第二視點(diǎn)的第二圖像，所述第二視點(diǎn)不同于第一視點(diǎn)，所述第一圖像和第二圖像包含深度信息。該多視點(diǎn)數(shù)據(jù)信號(hào)提取設(shè)備包含用于檢測(cè)第二圖像的前景/背景邊界的裝置；用于確定沿著前景/背景邊界的去除左邊邊界部分的裝置；用于將無去除左邊邊界部分的第二圖像投影到第一視點(diǎn)，從而獲得具有非遮擋區(qū)域的第二圖像的投影變體的裝置；和用于將第二圖像沿著第一圖像的部分插入到多視點(diǎn)數(shù)據(jù)信號(hào)中的裝置，該第一圖像的部分取決于非遮擋區(qū)域在第二圖像的投影變體內(nèi)的位置。
文檔編號(hào)G06T15/20GK102239506SQ200980148452
公開日2011年11月9日 申請(qǐng)日期2009年9月28日 優(yōu)先權(quán)日2008年10月2日
發(fā)明者克里斯蒂娜·迪克斯, 卡斯滕·米勒, 阿爾約薩·斯莫利克 申請(qǐng)人:弗蘭霍菲爾運(yùn)輸應(yīng)用研究公司