用于編碼3d視頻信號的方法和系統(tǒng)、封裝的3d視頻信號、用于3d視頻信號解碼器的方法和系統(tǒng)的制作方法

文檔序號：7938705閱讀：417來源：國知局

專利名稱：用于編碼3d視頻信號的方法和系統(tǒng)、封裝的3d視頻信號、用于3d視頻信號解碼器的方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及視頻編碼和解碼領域。它給出了一種用于編碼3D視頻信號的方法和系統(tǒng)。本發(fā)明還涉及一種用于解碼3D視頻信號的方法和系統(tǒng)。本發(fā)明還涉及一種經(jīng)過編碼的3D視頻信號。
背景技術：
進來，人們對在3D圖像顯示器上提供3D圖像產(chǎn)生了極大興趣。在成像方面，3D成像被認為是繼彩色成像之后的下一個重大創(chuàng)新。我們現(xiàn)在正處于為消費市場引入自動立體成像顯示器的時候。
3D顯示設備通常具有在其上顯示圖像的顯示屏。
基本上，使用立體對(stereo pair)，也就是定向到觀看者的雙眼的兩個稍微不同的圖像，可以產(chǎn)生三維效果。
產(chǎn)生立體圖像的方式有好幾種。圖像可以在2D顯示器上時間復用，但是這需要觀看者佩戴具有例如LCD快門的眼鏡。當同時顯示立體圖像時，這時可以使用頭戴顯示器或者使用偏振眼鏡(然后，圖像是用正交偏振光產(chǎn)生的)來將圖像定向到恰當?shù)难劬ΑＳ^察者佩戴的眼鏡將會有效地將視圖傳遞到每一只眼睛。眼鏡中的快門或偏振片與幀速率同步，以便控制所述傳遞。為了防止閃爍，相對于二維等價圖像來說，幀速率必須翻倍或者分辨率必須減半。這種系統(tǒng)的缺點在于必須佩戴眼鏡來產(chǎn)生任何效果。這對于那些不熟悉眼鏡佩戴的觀察者來說是不愉快的，而且對于已經(jīng)佩戴眼鏡的觀察者來說是潛在的問題，因為附加一對眼鏡并不總是適合。
代替接近觀看者的眼部，兩個立體圖像還可以在顯示屏幕上借助于視差格柵之類的分割屏幕來分割，其例如示于US5，969，850。這種設備被稱為自動立體成像顯示器，因為其自身(自動)提供立體成像效果而不使用眼鏡。若干不同類型的立體成像設備是已知的。
無論使用什么類型的顯示器，3D圖像信息都必須被提供給顯示設備。這通常是以采用包含數(shù)字數(shù)據(jù)的視頻信號的形式來完成的。
7由于數(shù)字成像中固有的巨量數(shù)據(jù)，數(shù)字圖像的處理和/或傳輸構成了很大的問題。在很多環(huán)境中，可獲得的處理能力和/或傳輸容量不足以處理和/或傳送高質量的視頻信號。更特別地，每個數(shù)字圖像幀都是由像素陣列形成的靜止圖像。
原始數(shù)字信息量通常是巨大的，需要大的處理能力和/或大的傳輸
速率，而這并不是總是可獲得的。包括MPEG-2、 MPEG-4和H.263 的各種壓縮方法已被提出來減小傳輸數(shù)據(jù)量。
這些壓縮方法本來是為標準的2D圖像建立的。
3D圖像的生成通常是通過在顯示器端將輸入的經(jīng)過編碼的2D視頻信號轉換成3D視頻信號來完成的。就在顯示視頻序列之前，輸入的 2D數(shù)據(jù)序列被轉換成3D序列。經(jīng)常在顯示器端在2D圖像的像素中添加深度圖(depth map),所述深度圖提供關于圖像內像素的深度的信息并且由此提供3D信息。通過為圖像使用深度圖，可以構建提供3D 圖像的左眼和右眼圖像。例如，2D圖像內對象的相對深度可以從焦距 (焦距內，焦距外)或者對象如何相互模糊中推導得出。
由于在顯示器端生成的3D信息具有瑕瘋，存在對生成改進3D信息的需求。在獲取端生成的3D信息可以提供改進的3D圖像渲染，這是因為
-有可能在獲取端具有更強大的計算 -有可能實施離線處理 -有可能進行手動干預
如果3D信息是在獲取端生成的，則有必要傳送該信息，并且為了在比特率方面具有低的額外開銷，則需要壓縮3D信息。優(yōu)選地，3D 信息的壓縮(或編碼)是以一種可以使用現(xiàn)有壓縮標準僅做相對較小調整實施3D信息壓縮的方式執(zhí)行的。
3D信息經(jīng)常是以具有深度圖(z圖)的圖像的形式給出的。
越好的深度圖使3D顯示器能夠產(chǎn)生越大的深度。但是，深度再現(xiàn) 程度的增大將會導致產(chǎn)生圍繞深度不連續(xù)性的可見瑕疵。這些可見瑕瘋將會極大損害改進的深度圖的正面效果。此外，傳輸能力是有限的，并且編碼效率是非常重要的。
由此，本發(fā)明的一個目的是提供一種用于在傳輸端編碼3D圖像數(shù) 據(jù)的方法，其中在保持編碼數(shù)據(jù)內部的數(shù)據(jù)量處于界內的同時，圍繞200880021844.7
說明書進編碼器、用于解碼3D視頻信號的解碼器以及3D視頻信號。
發(fā)明概述
為此目的，根據(jù)本發(fā)明的編碼方法的特征在于3D視頻信號被編碼，經(jīng)過編碼的3D視頻信號包括中心視圖視頻幀、用于中心視圖視頻幀的深度圖以及用于中心視圖視頻幀的遮擋數(shù)據(jù)幀，其中在用于中心視圖的深度圖中的數(shù)據(jù)的控制下，為該遮擋數(shù)據(jù)幀數(shù)據(jù)產(chǎn)生一個用于將遮擋數(shù)據(jù)幀中的功能性數(shù)據(jù)與非功能性數(shù)據(jù)區(qū)分開來的指示裝置，該遮擋數(shù)據(jù)幀隨后被編碼。
在實踐中，這意味著在遮擋數(shù)據(jù)幀中存在著沒有生成相關遮擋(即非功能性)數(shù)據(jù)的區(qū)域。該方法包括"開關功能"，其中該開關具有至少兩種設置，在一種設置中，數(shù)據(jù)被識別為非功能性的，也就是說，數(shù)據(jù)不依賴于實際視頻內容和/或是不相關的，在另一種設置中，數(shù)據(jù) 則被識別為功能性數(shù)據(jù)，也就是依賴于視頻內容并且相關的數(shù)據(jù)。能夠將非功能性數(shù)據(jù)與功能性數(shù)據(jù)區(qū)分開來，這允許提高后續(xù)編碼的編碼效率和/或減少所傳送的比特數(shù)量。
在優(yōu)選實施例中，遮擋數(shù)據(jù)幀是在深度圖編碼之后被編碼的。原則上，原始深度圖可以被使用。但是，在解碼器端將會使用逆向處理，并且在解碼器端，"原始"深度圖將不再可用，可用的僅僅是經(jīng)過編碼的版本。在編碼器端使用原始而非經(jīng)過編碼/解碼的深度圖，這會導致不確定性，因為在解碼器端的處理并不是完全相同的。
在一個實施例中，在深度圖中的數(shù)據(jù)的控制下，在遮擋數(shù)據(jù)幀中生成固定值或固定范圍內的值，作為區(qū)分非功能性數(shù)據(jù)的指示裝置。
然后，這個固定值(例如純黑或純白)由解碼器加以解釋，即使遮擋數(shù)據(jù)幀的像素可以具有一個值，即固定值或固定范圍內的值，該遮擋數(shù)據(jù)幀也不會被視為真實的遮擋數(shù)據(jù)，也就是說，它并不涉及相關視頻信息。這允許極大地減少比特和提高編碼效率。如果選擇固定范圍作為通常在圖像中存在錯誤時生成的值(例如純黑)，那么將獲得附加的優(yōu)點。優(yōu)選地，具有固定值或固定范圍內的任何功能性數(shù)據(jù)被替換成與固定值不同或固定值范圍以外的值，由此排除用于功能性數(shù) 據(jù)的固定值或值范圍。例如，這可以容易地通過剪輯輸入遮擋數(shù)據(jù)來執(zhí)行。所述剪輯將提供'自由范圍，的值(即經(jīng)過剪輯的值)，然后，這其中的一個或所有值可以被用作非功能性數(shù)據(jù)的指示裝置。
在這樣的實施例中，，所述指示隨后將會顯性包含在遮擋數(shù)據(jù)幀內
的數(shù)據(jù)中，也就是說某些值代表非功能性數(shù)據(jù)。
優(yōu)選地，固定值或固定值范圍作為元數(shù)據(jù)引入到視頻信號中。該指示裝置還可以是采用插入到數(shù)據(jù)流中的參數(shù)的形式，其中該
參數(shù)允許解碼器將遮擋數(shù)據(jù)幀數(shù)據(jù)內的非功能性數(shù)據(jù)和功能性數(shù)據(jù)區(qū)
分開來。
本發(fā)明是以如下洞察為基礎的
深度圖是在獲取端生成的，由于在獲取端可以得到更多和更詳細的信息，因此能夠產(chǎn)生更好的深度圖。
與在接收端生成遮擋數(shù)據(jù)相比，提供用于中心視圖幀的遮擋數(shù)據(jù) 幀，這使得能實現(xiàn)3D圖像質量可感知的改進。
例如且優(yōu)選地，通過在遮擋數(shù)據(jù)幀中使用固定值而將功能性數(shù)據(jù) 與非功能性數(shù)據(jù)區(qū)分開來的能力極大減少了所要傳送的數(shù)據(jù)量并且提高了編碼效率。
深度圖中的數(shù)據(jù)為將功能性和非功能性數(shù)據(jù)區(qū)分開來提供了很好的基礎。
本發(fā)明還可以在用于編碼3D視頻信號的編碼器中實現(xiàn)，其中經(jīng)過編碼的3D視頻信號包括中心視圖視頻幀、用于中心視圖視頻幀的深度圖以及用于中心視圖視頻幀的遮擋數(shù)據(jù)幀，其中該編碼器包括用于將被編碼的中心視頻數(shù)據(jù)幀、用于中心視圖數(shù)據(jù)幀的深度圖以及遮擋數(shù) 據(jù)幀的輸入，該編碼器包括控制器，該控制器基于用于深度圖的數(shù)據(jù) 來控制開關，所述開關為該遮擋數(shù)據(jù)幀數(shù)據(jù)生成非功能性數(shù)據(jù)或功能性數(shù)據(jù)。
優(yōu)選地，在控制中應用深度不連續(xù)性閾值，其中深度圖中深度不連續(xù)性小于閾值是一個確定因素。優(yōu)選地，遮擋數(shù)椐在深度圖編碼之后生成。這是因為遮擋數(shù)據(jù)是在深度不連續(xù)性充分高(高于某個閾值) 的情況下產(chǎn)生的，并且深度不連續(xù)性會因為壓縮處理而在原始和編碼深度之間改變。因此，如果不是在解碼深度圖上確定遮擋數(shù)據(jù)，所使用的閾值可能低于實際定義的閾值。這將會導致產(chǎn)生超出嚴格需要的遮擋數(shù)據(jù)，而這進而又導致更高的比特率。
當相鄰像素的深度值相差很大數(shù)量的時候，出現(xiàn)深度不連續(xù)性。一個對象有可能隱藏在另一個對象之后的狀況可以通過深度值的跳變
來推導得出。突然變化是從前景到背景對象、或更一般是從一個對象變化到另一個對象的圖像變化的指示。平滑改變的值指示的是對象內的變化。遮擋數(shù)據(jù)僅僅是在深度不連續(xù)性(也就是相鄰像素之間的深度值變化)大于閾值、也就是足夠大的時候生成的。
遮擋數(shù)據(jù)是為"前景對象之后的"區(qū)域生成的，其中該區(qū)域即為與深度值變化超過閾值的線或點相鄰的區(qū)域。此類區(qū)域可以容易地通過圖像中超過閾值的深度不連續(xù)性來區(qū)分。優(yōu)選地，該閾值是從深度圖中的數(shù)據(jù)計算得到的。這是在控制器中完成的?？商鎿Q地，所述閾值可以被設定成固定值，但是優(yōu)選是動態(tài)計算得到的，這是因為不同的圖像有可能具有不同的內容，所述內容會對最優(yōu)閾值產(chǎn)生影響。優(yōu)選
地，控制器具有用于插入在經(jīng)過編碼的3D圖像數(shù)據(jù)中使用的閾值的輸出。然后，這個閾值可以在解碼器中使用，由此在解碼器中不再需要確定所使用的閾值。
目前業(yè)已發(fā)現(xiàn)，更進一步的比特減少可以通過縮減遮擋數(shù)據(jù)幀數(shù) 據(jù)來獲得。
遮擋數(shù)據(jù)填充前景對象周圍的邊緣?？s減遮擋數(shù)據(jù)幀中的數(shù)據(jù)已顯示只對質量產(chǎn)生有限的作用，同時還減少經(jīng)過編碼的3D信號內的比特數(shù)量。
在優(yōu)選實施例中，控制器具有用于經(jīng)過編碼的遮擋數(shù)據(jù)幀的比特率的輸入。
由此，控制器可以調整用于區(qū)分"功能性"和"非功能性"的參數(shù)，并且由此調整遮擋數(shù)據(jù)幀中功能性與非功能性數(shù)據(jù)的比值。這提供了手動干預的可能性。在實踐中，這例如可以意味著閾值是依照比特率調整的，使得如果比特率有變得過大而超過為遮擋數(shù)據(jù)幀分配的比特率的危險，那么閾值將會提升從而使得具有功能性數(shù)據(jù)的幀區(qū)域減小。
在另一個實施例中，視頻深度圖和遮擋數(shù)據(jù)幀將被編碼，其中遮擋數(shù)據(jù)幀是在編碼中使用一個或多個中心視圖幀作為參考幀來編碼的。200880021844.7
說明書第6/24頁對于優(yōu)選實施例觀察到，在為遮擋數(shù)據(jù)幀使用來自中心視圖的參考幀時，遮擋數(shù)據(jù)幀的編碼效率顯著提升。在一開始，這一點聽上去相當令人驚訝，因為遮擋數(shù)據(jù)包含那些在中心視圖中無法看到并且由此在中心視圖幀中不可用的數(shù)據(jù)。但是，由于前景對象的運動，遮擋數(shù)據(jù)與接近于中心視圖中的前景對象的中心視圖數(shù)據(jù)的相關性可能很高。已經(jīng)發(fā)現(xiàn)，通過將來自中心視圖的參考幀用于編碼遮擋數(shù)據(jù)幀，顯著提高了遮擋數(shù)據(jù)幀的編碼效率。
遮擋數(shù)據(jù)的數(shù)量受視頻深度圖限制。在本發(fā)明的框架內，遮擋數(shù) 據(jù)幀的生成優(yōu)選也被局限于最大視角范圍。由此，遮擋數(shù)據(jù)量是受視頻深度圖以及(在優(yōu)選實施例中)最大視場或最大視角限制的。在這樣的實施例中，遮擋數(shù)據(jù)被局限于在給出深度圖和向左及向右的最大位移(即視角)的情況下看到的數(shù)據(jù)。因此，超過中心視圖數(shù)據(jù)以及用于中心視圖數(shù)據(jù)的深度圖所需數(shù)量的附加數(shù)據(jù)量是有限的，僅需要有限的附加比特。優(yōu)選地，解碼器中的控制器具有用于最大視角范圍的輸入。
在本發(fā)明中，遮擋數(shù)據(jù)是在視頻數(shù)據(jù)收集端生成的。應該注意的是，在接收機端生成一種類型的遮擋數(shù)據(jù)是已知的。但是，當在接收機端基于中心視圖和用于中心視圖的深度圖來執(zhí)行該處理時，由于基本上不知曉隱藏在中心圖中的前景對象之后的內容，因此，這時不能真實重建遮擋數(shù)據(jù)，也就是說，不能重建前景對象之后的內容。因此，遮擋數(shù)據(jù)通常是通過"有根據(jù)的推測"類型的算法從中心視圖生成的。遺失的部分被猜測得到和填充。
此外還應該注意，全3D技術并不能或者至少不容易與當前的編碼技術相兼容。在本發(fā)明中，所有編碼數(shù)據(jù)都只涉及一個視角和一個坐標系統(tǒng)，由此使其更易于與現(xiàn)有技術兼容。
在視頻信號處理中，信號是由幀內編碼和幀間編碼幀，例如I幀、 P幀和B幀構成的。I幀是幀內編碼的。P和B幀凈皮稱為幀間編碼幀。幀內編碼幀可以在不參考其它幀的情況下重建；幀間編碼幀則是使用其它幀(前向或反向預測)的數(shù)據(jù)重建的。
本發(fā)明是在用于編碼的方法中實現(xiàn)的，但是同樣是在具有用于執(zhí) 行該方法的不同步驟的裝置的相應編碼器中實現(xiàn)的。這些裝置可以在硬件或者軟件中提供，或者硬件和軟件的任何組合或者共享軟件中提
12供。
本發(fā)明還可以在所述編碼方法產(chǎn)生的信號中實現(xiàn)，以及在用于解碼此類信號的任何解碼方法和解碼器中實現(xiàn)。
特別地，本發(fā)明還可以在用于對經(jīng)過編碼的視頻信號進行解碼的
方法中實現(xiàn)，其中3D視頻信號被解碼，該3D視頻信號包括經(jīng)過編碼的中心視圖視頻幀、用于中心視圖視頻幀的深度圖以及用于中心視圖視頻幀的遮擋數(shù)據(jù)幀，經(jīng)過編碼的視頻信號包括用于區(qū)分非功能性遮擋數(shù)據(jù)和功能性遮擋數(shù)據(jù)的指示，其中在解碼中產(chǎn)生包含功能性遮擋數(shù)據(jù)和中心視圖數(shù)據(jù)的組合數(shù)據(jù)流。
本發(fā)明還可以在用于解碼經(jīng)過編碼的視頻信號的解碼器中實現(xiàn)，其中3D視頻信號被解碼，該3D視頻信號包括經(jīng)過編碼的中心視圖視頻幀、用于中心視圖視頻幀的深度圖以及用于中心視圖視頻幀的遮擋數(shù)據(jù)幀，經(jīng)過編碼的視頻信號包括用于區(qū)分非功能性遮擋數(shù)據(jù)和功能性遮擋數(shù)據(jù)的指示，其中該解碼器包括用于產(chǎn)生組合數(shù)據(jù)流的組合器，所述組合信號包括功能性遮擋數(shù)據(jù)和中心視圖數(shù)據(jù)。
本發(fā)明的這些和其它方面將會借助示例并且參考附圖而被更詳細地說明，其中
附圖簡述

圖1示出的是自動立體成像顯示設備的示例，
圖2和3示出的是遮擋(occlusion)問題，
圖4示出的是計算機生成場景的左視圖和右視圖，
圖5在三個數(shù)據(jù)圖中示出了圖4的表示；中心視圖、用于中心視
圖的深度圖以及用于中心視圖的遮擋數(shù)據(jù)，
圖6示出的是根據(jù)本發(fā)明的編碼方案和編碼器，
圖7示出的是根據(jù)本發(fā)明的解碼方案和解碼器的實施例，
圖8示出的是根據(jù)本發(fā)明的解碼方案和解碼器的另一個實施例，
圖9示出的是其中可以看見遮擋數(shù)據(jù)的塊網(wǎng)格排列的中心視圖數(shù)
據(jù)和遮擋數(shù)據(jù)放大，
圖10示出的是編碼/解碼方案，
圖11和12示出的是另外的編碼/解碼方案
圖13示出的是在編碼遮擋幀中使用中心視圖幀作為參考幀的編碼方法，
圖14示出的是在編碼用于遮擋幀的深度圖中使用用于中心視圖幀的深度圖作為參考幀的編碼方法，
圖15示出的是在解碼遮擋幀中使用中心視圖參考幀的解碼步驟，圖16示出的是本發(fā)明的另外的實施例，
這些附圖并不是按比例繪制的。通常，相同的元件在圖中用相同的參考數(shù)字表示。
優(yōu)選實施例詳述
圖1示出的是一種自動立體成像顯示設備的基本原理。該顯示設備包括用于形成兩個立體圖像5和6的透鏡狀屏幕分裂器3。兩個立體圖像的垂直線(在空間上)交替地顯示在例如具有背光1的空間光調制器2 (例如LCD)上。背光連同空間光調制器一起形成像素陣列。透鏡狀屏幕3的透鏡結構會將立體圖像指引到觀看者的恰當?shù)难劬Α?br> 在圖2和3中示出了遮擋問題。在這個圖中，用"背景"指示的線條是背景，并且用"前景"指示的線條代表位于背景前方的對象。"左" 和"右"代表這個場景的兩個視圖。例如，這兩個視圖可以是用于立體結構的左和右視圖，或者對于使用n視圖顯示器的情形，這兩個視圖是最外部的視圖。n視圖顯示器所需要的其余n-2個視圖應該在顯示器端生成。用L+R表示的線條可以通過兩個視圖來觀察，而L部分則只能從左視圖中觀察并且R部分只能從右視圖中觀察。因此，R部分不能從左視圖觀察，且類似地，L部分不能從右視圖中觀察。在圖3中， "中心，，指示的是中心視圖。從這個圖中可以看出，可以從中心視圖看
到圖3所示背景的L和R部分中的一部分(分別是L1和Rl )。然而， L和R部分的一部分從中心視圖看不到，因為該部分隱藏在前景對象之后。用Oc指示的這些區(qū)域是為中心視圖遮擋的區(qū)域，但是這些區(qū)域是可以從其它視圖中看到的。從圖中可以看出，遮擋區(qū)域通常在前景對象邊緣出現(xiàn)。僅僅從中心視圖和深度圖生成3D數(shù)據(jù)會造成遮擋區(qū)域的問題。隱藏在前景對象之后的圖像部分的數(shù)據(jù)是未知的。
更好的深度圖轉而使3D顯示器能夠產(chǎn)生更大的深度。深度再現(xiàn)的提升將會因為缺少遮擋數(shù)據(jù)而導致在深度不連續(xù)的位置周圍出現(xiàn)可見瑕疵。因此，本發(fā)明人認識到了高質量的深度圖對于遮擋數(shù)據(jù)的需要。圖4示出了計算機生成場景的左視圖和右視圖。移動電話漂浮在具有黃色花磚地面和兩面墻的虛擬房間中。在左視圖中，農(nóng)夫清楚可見，而在右視圖中則看不到他。右視圖中的褐色奶牛的情況相反。
在圖5中，我們具有與如上所述相同的場景?，F(xiàn)在，根據(jù)本發(fā)明，該場景是用三個數(shù)據(jù)圖表示的，即具有用于中心視圖的圖像數(shù)據(jù)的圖、用于中心視圖的深度圖以及用于中心視圖的遮擋圖，其中遮擋數(shù)據(jù)由視頻深度圖確定。功能性遮擋數(shù)據(jù)的范圍由深度圖確定?；旧?，它遵循中心視圖中的深度階梯線。在本示例中，包含在遮擋數(shù)據(jù)中的區(qū) 域是由沿著移動電話輪廓的條帶形成的。該條帶(其由此確定遮擋區(qū) 域的范圍)可以采用各種方式來確定
-作為從最大視場和深度階梯得出的寬度
-作為標準寬度 -作為所要設置的寬度
-作為與移動電話的輪廓(外部和/或內部)相鄰的任何事物
深度圖是密集圖。在深度圖中，亮的部分代表近的對象，并且深度圖越暗，則對象越遠離觀察者。
在圖5所示本發(fā)明的示例中，功能性遮擋數(shù)據(jù)是具有一寬度的條帶，此條帶對應于在將數(shù)據(jù)限制在給出了深度圖以及相對于左邊和右邊的最大位移的情況下看到的內容。其余遮擋數(shù)據(jù)不是功能性的。
大多數(shù)數(shù)字視頻編碼標準支持附加數(shù)據(jù)信道，該信道可以是視頻級的，或者是系統(tǒng)級的。如果這些信道可用，則可以直接傳送遮擋數(shù) 據(jù)。
圖6示出了根據(jù)本發(fā)明的編碼方法和編碼器的實施例。該編碼器接收三個數(shù)據(jù)流提供用于中心視圖的數(shù)據(jù)的數(shù)據(jù)61、提供用于中心視圖的深度圖的數(shù)據(jù)62以及提供遮擋數(shù)據(jù)的數(shù)據(jù)63。這其中的每一個數(shù)據(jù)流都具有一個編碼器，其中用于中心視圖數(shù)據(jù)編碼器的是編碼器 CV,用于中心視圖數(shù)據(jù)的深度圖的是編碼器CV(z),用于遮擋數(shù)據(jù)的是編碼器Occl，最后用于遮擋數(shù)據(jù)的可選深度圖的是編碼器Occl(z)。遮擋數(shù)據(jù)幀可能是大的數(shù)椐集合。
該數(shù)據(jù)還可以包括用于遮擋數(shù)據(jù)的深度圖，如圖6最下面的部分中示意性所示。
中心視圖深度圖數(shù)據(jù)被提供給控制器65，其中控制器65調整測定
15器或開關66。根據(jù)控制器65的輸出，在功能性數(shù)據(jù)(也就是在編碼方
非功能性數(shù)據(jù)之間I分遮擋數(shù)據(jù)幀中^數(shù)據(jù)，其中所述非功能性數(shù): 在功能上是被丟棄的。在圖5中，非功能性區(qū)域是灰色的。非功能性數(shù)據(jù)在圖6中用Occl-"0"來示意性示出。對其進行處理的最直接方式是為非功能性區(qū)域的數(shù)據(jù)指定固定值(例如純黑)。在編碼器的全部其余部分中和在解碼器中，這些非功能性數(shù)據(jù)都然后被識別為是非功能性的。在控制器內部，優(yōu)選設置或計算閾值TH。優(yōu)選地，該固定值或固定范圍內的值被保留用于非功能性數(shù)據(jù)，并且該固定值的或是該固定值范圍內的任何功能性數(shù)據(jù)被替換成該保留值之外或是保留范圍以外的值。
如果純黑(Y值為零)指示非功能性數(shù)據(jù)，解碼器將任何非功能性數(shù)據(jù)辨認為非功能性數(shù)據(jù)，但是純屬偶然而也是純黑的功能性區(qū)域中的任何數(shù)據(jù)也將被視為"非功能性"數(shù)據(jù)，并且由此，在功能性區(qū)域中會形成小的孔洞。通過為非功能性數(shù)據(jù)保留純黑，將防止出現(xiàn)這種負面效果。這可以容易地通過將輸入遮擋數(shù)據(jù)(例如在亮度值0與255 之間延伸)剪輯到例如亮度值4來執(zhí)行。輸入遮擋數(shù)據(jù)中的所有純黑信號(或者Y值為O、 1、 2或3的任何信號)其黑色將輕微減少，也就是說，此類像素的"純黑，，值被替換成(在本示例中是借助于剪輯) 并非保留值或者保留值范圍以外的其它值。然后"純黑"將被保留用于非功能性數(shù)據(jù)。在本示例中，也可以將范圍Y=0、 1、 2或3保留用于非功能性數(shù)據(jù)。根據(jù)本發(fā)明實施例的方法產(chǎn)生的結果3D視頻信號相對容易被識別，因為很多遮擋數(shù)據(jù)幀具有全為"純黑"的相對較大區(qū)域，而其余區(qū)域顯示一系列值，并且其余區(qū)域中的像素沒有一個是"純黑"。
通過根據(jù)視頻深度圖來限制功能性遮擋區(qū)域，將附加數(shù)據(jù)的量保持在界內。優(yōu)選地，首先對深度圖編碼且隨后對遮擋數(shù)據(jù)編碼，其中用于深度圖的數(shù)據(jù)被用于在功能性與非功能性數(shù)據(jù)之間進行區(qū)分。當相鄰像素的深度值相差很大的數(shù)量時，出現(xiàn)深度不連續(xù)性。一個對象隱藏在另一個對象之后的情況可以通過深度值跳變來推導得出。突然改變是圖像從前景到背景對象的變化的指示，或者更為一般的是圖像從一個對象到另一個對象的變化的指示。平滑變化值指示對象內的變化。遮擋數(shù)據(jù)僅僅是在深度不連續(xù)性(即，相鄰像素之間的深度值變化)大于閾值即足夠高的時候產(chǎn)生。在一具體實施例中，最大編碼誤
差被確定(該最大編碼誤差為閾值TH設置下限，將閾值TH設置為低于發(fā)生的編碼誤差是無用的)，閾值TH將被計算。在控制TH時，將閾值與像素之間的深度差值進行比較，這用減法方塊67來示意性顯示。解碼器深度圖數(shù)據(jù)和相鄰深度圖數(shù)據(jù)(在圖6中用偏移示意性顯示) 被饋送到此方塊。當相鄰像素之間的深度階梯大于閾值TH時，該階梯指示數(shù)據(jù)中的"真實邊緣"。測量的深度階梯或深度不連續(xù)性與計算的閾值TH之間因此進行比較，并且成為控制中的確定因素。根據(jù)真實邊緣，可以確定前景對象的位置，并且由此確定功能性遮擋數(shù)據(jù)區(qū) 域的界限。控制器65相應地控制開關66。當遮擋數(shù)據(jù)幀的像素屬于該幀的非功能性部分時，該數(shù)據(jù)被辨認為非功能性的。
這具有的優(yōu)點為，在遮擋編碼器中僅僅為遮擋數(shù)據(jù)幀中為功能性遮擋數(shù)據(jù)的部分生成和處理功能性遮擋數(shù)據(jù)。對于深度不連續(xù)性低于下限閾值的通常很小的遮擋區(qū)域，此遮擋區(qū)域的填充可以通過例如展寬(stretching)的其它技術來解決。
優(yōu)選地，遮擋區(qū)域是由最小深度不連續(xù)性以及在顯示器端生成的最大視場或最大視角確定的。在圖6中，這是用措詞"最大視角"與方框"控制"之間的線條指示。后面的約束確定遮擋圖中的遮擋區(qū)域的帶寬，也就是需要在前景圖像之后多遠的位置才能看到。除了最大視角，帶寬也可以取決于實際深度值，這正是從解碼器到控制的線條存在的原因。
圖6還示出下列內容控制器具有作為輸入的編碼/解碼深度圖數(shù) 據(jù)?？梢允褂迷紨?shù)據(jù)，即，用原始數(shù)據(jù)來直接饋送控制和其它部分。但在解碼器端，原始數(shù)據(jù)將不再可用，可用的僅僅是經(jīng)過編碼且通常是經(jīng)過高度壓縮的數(shù)據(jù)。這些數(shù)據(jù)被解碼，由此在解碼端必須使用經(jīng) 過編碼的信號。例如，如果深度不連續(xù)性足夠高(高于某個閾值)并且深度不連續(xù)性因為壓縮而在原始與經(jīng)過編碼的深度圖之間改變，則功能性遮擋數(shù)據(jù)被生成。因此，如果在經(jīng)過解碼的深度圖上沒有確定遮擋數(shù)據(jù)，所使用的閾值應該低于實際定義的閾值，以免遺漏功能性數(shù)據(jù)。這可能導致產(chǎn)生比嚴格需要的遮擋數(shù)據(jù)更多的遮擋數(shù)據(jù)，而這進而又會導致更高的比特率。
遮擋數(shù)椐幀中不包含有用遮擋數(shù)據(jù)的區(qū)域(圖5的灰色區(qū)域)被辨認為非功能性的，并且它們同樣不會在解碼處理中發(fā)揮作用。如上所述，一種用于達成這一點的簡單方式是為此類像素指定固定值，例如純黑或純白。對于非功能性遮擋數(shù)據(jù)，在這里可以應用極端的壓縮措施和方法，這樣做允許極大減少經(jīng)過編碼的遮擋幀信號中以及傳輸
中的比特數(shù)量，并且允許提高編碼和解碼效率而不降低最終圖像質量；對于功能性遮擋數(shù)據(jù)來說，由于可能的信息損失有可能導致圖像質量損失，上述措施和方法是不合理的。對于被辨認成是非功能性的數(shù)據(jù)，可以應用提供最小比特數(shù)量的任何形式的(可變長度)編碼。由于最大深度從深度圖已知，并且最大視角已知，可以計算最大遮擋區(qū)域。在其它優(yōu)選實施例中，其中可以采取措施來提高編碼效率。例如，其它優(yōu)選實施例是通過編碼器occl與控制之間的線條給出的。經(jīng)過編碼的遮擋幀的比特率的輸入可以用于控制開關66。如果比特率有超過設定值的危險，則可以更嚴格地控制開關66，其中舉例來說，這意味著提高閾值TH,和/或減小最大視場。當然，這會引起功能性區(qū)域的大小的減小以及遮擋幀中的非功能性數(shù)據(jù)百分比的增大。這會對顯示器上的圖像產(chǎn)生負面效果；但是，正面結果是將經(jīng)過編碼的遮擋幀的比特率保持在界限內。總之，凈結果是正面的。如果遮擋深度幀可用，在控制器65中也可以使用此遮擋深度幀的信息來"精細調諧"發(fā)現(xiàn)圖像中的邊緣。一種可替換方案可以是，在那些沒有自動縮減(downscaling) 遮擋數(shù)據(jù)的實施例中，如果比特率有超出設定值的危險，觸發(fā)縮減。
另一個實施例包括在控制器中附加輸入中心視圖數(shù)據(jù)。當圍繞中心視圖中的邊緣時，中心視像將會非常平滑，也就是顯示很少細節(jié)，尤其是前景圖像周圍存在平滑背景(例如沒有紋理的簡單顏色) 時，展寬很有可能給出很好的結果。展寬是一種在解碼器端執(zhí)行的操作，并且該操作不需要發(fā)送比特。在這種情況下，不是斷言遮擋數(shù)據(jù) 是功能性的，該遮擋數(shù)據(jù)(盡管階梯高度可能足夠高)可以被指定為非功能性的。這樣做將會節(jié)約比特，同時負面效果很有可能最小。
在編碼方法中使用的所有參數(shù)數(shù)據(jù)，例如閾值TH、用于非功能性數(shù)據(jù)的固定值(或固定范圍)、偏移t1和t2，以及諸如最大視角和控制中使用的編碼遮擋數(shù)據(jù)比特率的參數(shù)，可以作為元數(shù)據(jù)與編碼數(shù)據(jù) 流一起發(fā)送。然后，在解碼器端以相似的方式來使用這些參數(shù)。
圖6還示出了另一個優(yōu)選實施例編碼器包括用于編碼中心視圖幀的編碼器(編碼器cv)和用于對經(jīng)過編碼的中心視圖幀進行解碼的解碼器(解碼器CV)，用于編碼遮擋數(shù)據(jù)幀的編碼器(編碼器occl) 以及在用于編碼遮擋數(shù)據(jù)幀的編碼器用于插入已解碼中心視圖幀作為參考幀的輸入。這用從解碼器CV到編碼器occl的線條示意性顯示。優(yōu)選地，在這里不僅使用來自相同時間的中心視圖幀作為參考幀，而且還使用時間(或幀)偏移，即，一個或多個先前或未來的中心視圖幀在編碼器中被作為用于遮擋數(shù)據(jù)幀的參考幀。觀察到，在為遮擋數(shù) 據(jù)使用來自中心視圖的參考幀時，遮擋數(shù)據(jù)的編碼效率顯著提升。在一開始，這聽上去相當令人驚訝，因為遮擋數(shù)據(jù)包含那些在當前時間點在中心視圖中看不到并且由此在中心視圖幀中不可用的數(shù)據(jù)。但是，遮擋數(shù)據(jù)與接近前景對象的背景數(shù)據(jù)的相關性很高。已經(jīng)發(fā)現(xiàn)，將來自中心視圖的參考幀用于編碼遮擋數(shù)據(jù)幀，顯著提高遮擋數(shù)據(jù)的編碼效率。這在部分67中示意性示出了。
在指示遮擋幀深度圖的數(shù)據(jù)的線條中，從控制到開關66，的線條表明，如果某些遮擋數(shù)據(jù)自身被辨認成是非功能性的，那么相同的操作可以應用到用于遮擋幀的相應深度數(shù)據(jù)。這將允許減少遮擋數(shù)據(jù)深度圖中的比特。原則上，可以僅僅使用開關66，，但是與在遮擋幀深度圖中相比，在遮擋幀中可以獲得最重要的比特減少?？梢允褂谜趽鯏?shù)據(jù) 幀的深度圖中的數(shù)據(jù)作為一種用于在遮擋數(shù)據(jù)幀自身內辨別非功能性區(qū)域的手段。舉例來說，這允許通過遮擋數(shù)據(jù)幀的深度圖的內容來識別遮擋數(shù)據(jù)幀中的非功能性區(qū)域。然后，這些非功能性區(qū)域在值方面將不再受到限制，并且由此可以用于存儲其它信息。應該指出的是，"非功能性"意味著不包含與像素值相關的值。然后，用于指示遮擋數(shù)據(jù)幀中的非功能性區(qū)域的指示裝置將包含在用于遮擋數(shù)據(jù)幀的已編碼深度圖中。
圖7示出了根據(jù)本發(fā)明的解碼方法和解碼器。該解碼器中與編碼器的某些部分大致對應的部分使用比圖6中的數(shù)字大10的數(shù)字指示。
圖7和8的最右邊部分示出了屏幕Sc上的不同視圖。中心視圖是直接在屏幕上的視圖；其它視圖是通過改變視角來產(chǎn)生的，示意性且通過示例地用范圍為+2到-2的視角指數(shù)指示的。
在這里，中心深度不連續(xù)性(discontinuity )控制扭曲方塊(主要執(zhí)行像素偏移)。扭曲量也取決于期望的視點位置N，其中每個視點位
19孔洞"。
當遮擋深度數(shù)據(jù)可用時，解碼遮擋經(jīng)由開關s使用遮擋深度不連
續(xù)性也被扭曲，開關S現(xiàn)在處于位置a。
現(xiàn)在當經(jīng)過扭曲的遮擋信息可用時，這意味該信息不等于"0"(它也可以定義為小的間隔)，可以使用該遮擋信息來填充中心視圖中的 "孔洞，，(開關76處于位置a)。否則，該孔洞通過從"孔洞"邊緣復制，例如通過展寬來填充(開關76處于位置b )。
"0"范圍由編碼器ENC傳送并由解碼器DEC接收，因此它的值是已知的，并且它可以正確控制開關76。
當沒有遮擋深度信息可用時，開關S通常位于位置c，這意味著改為使用中心深度。當中心視圖不連續(xù)性產(chǎn)生跳變(大于閾值TH)時，深度不連續(xù)性會重復，如位于b位置的開關S所指示的。
閾值TH也由編碼器ENC在完整的流中總作為元數(shù)據(jù)來傳送(也參見圖6)并且還控制開關76,以便在那里獲取數(shù)據(jù)來填充扭曲的中心圖像中的"孔洞"。當中心深度不連續(xù)性小于TH時，開關76位于位置b。信號78是包含功能性遮擋數(shù)據(jù)和中心視圖數(shù)據(jù)這二者的組合信號，其中開關76的位置確定所述組合。
圖8示出了根據(jù)本發(fā)明的編碼方法和解碼器的另一實施例。
中心視圖在用于中心視圖的解碼器DEC CV中被解碼。經(jīng)過解碼的CV將提供中心視像，以在不同角度生成圖像，而在warp2執(zhí) 行扭曲處理(畸變操作)。這會給出具有"孔洞"的圖像。中心視圖中的對象遮蔽背景的某些部分，這些部分現(xiàn)在本應是"可見的"。但是，用于中心視像的數(shù)據(jù)不包括用于這些"孔洞"部分的數(shù)據(jù)。這些孔洞必須在孔洞填充操作中被填充。在常規(guī)方法中，這是通過例如展寬來完成的，也就是說，"孔洞"周圍的像素值用于有根據(jù)地猜測孔洞中的像素的內容。但是，這并沒有真實描繪前景圖像之后的內容，而是僅僅做出了一個猜測。在本發(fā)明中，經(jīng)過編碼的遮擋數(shù)據(jù)幀被使用。在位置88，產(chǎn)生組合數(shù)據(jù)流。該組合數(shù)據(jù)流一方面包含了功能性遮擋數(shù) 據(jù)，并且還包含來自中心視圖的數(shù)據(jù)。這些開關具有傳遞功能性遮擋數(shù)據(jù)的第一位置(用于功能性遮擋數(shù)據(jù)，在圖中是用occl大'0"示意性指示的)。開關86提供的功能與圖7中的開關76相同。如果將數(shù)據(jù)辨認成是非功能性的，那么開關86被放在傳遞中心視圖數(shù)據(jù)的位置。其結果是包含中心視圖數(shù)據(jù)以及從遮擋數(shù)據(jù)幀中得出的部分的組合數(shù)據(jù)
流88,其中所述部分包含功能性遮擋數(shù)據(jù)。由此，開關76和86是由功能性與非功能性數(shù)據(jù)之間的差別以及可能另外的參數(shù)觸發(fā)，產(chǎn)生組
合信號78、 88的組合器，其中該組合信號包含功能性遮擋數(shù)據(jù)與中心視圖數(shù)據(jù)的組合。此組合信號將被用于填充孔洞。
此信號88現(xiàn)在由warp 1來"扭曲"。如果遮擋深度流可用，從經(jīng) 過解碼的遮擋深度流中獲取由warp 1使用的深度信息。否則，由warp l使用的深度信息從中心視圖深度信號中導出。對于非"孔洞"位置，經(jīng) 過解碼的中心視圖深度信號經(jīng)由開關sw3和開關sw2傳遞到扭曲器 warp 1。
在"孔洞"位置，開關sw3處于"孔洞"位置，并且cv深度信號被重復(或者可替換地使用經(jīng)過編碼的cv深度信號)，直至下一個非"孔洞" 位置。
對于解碼器，一個選擇是只是重復該"孔洞"之前的最后一個已知深度值，但是，由于這個位置通常很接近較大的深度跳變，因此它可以包含某些編碼人工產(chǎn)物(artifact)，而這將會為"孔洞，，產(chǎn)生不精確的深度值。編碼器可以在此類位置例如通過測量所要重復的值的深度誤差來檢測這種狀況，并且通過以較高精度(例如通過降低Qsc值)對其進行編碼來減少誤差。另一方面，解碼器也可以不是通過只是重復最后的深度值，而是通過例如重復來自就在"孔洞"外部的很小的一系列深度值的中間或平均值來采取措施。
在warpl中，畸變被應用于混合數(shù)據(jù)流。這個扭曲的混合圖像在孔洞填充操作中被用來同步來自不同角度的不同視圖。由于復合數(shù)據(jù) 流包含來自遮擋數(shù)據(jù)幀的功能性數(shù)據(jù)，因此可以精確得多地填充孔洞，產(chǎn)生改進的圖像質量。應該指出，經(jīng)過扭曲的中心視像內的某些 "孔洞"仍是通過展寬來填充的。例如在一些實施例中，對于低于閾值的小的階梯高度，遮擋數(shù)據(jù)是非功能性的，由此復合數(shù)據(jù)流包含中心視圖數(shù)據(jù)，因為開關設置為讓中心數(shù)據(jù)通過。應該注意的是，為了清楚起見，在述及的關于開關的描述的場合中，開關可以由任何硬件、軟件或是用于執(zhí)行所述功能的計算機代碼組成。其優(yōu)點在于，一方面，對于此類狀況，孔洞填充是非常良好和有效的過程，而另一方面，通過限制功能性遮擋數(shù)據(jù)，允許以極端措施壓縮非功能性遮擋數(shù)據(jù)，編碼效率可以提高。圖7與8的實施例之間的主要差別在于在圖7中，扭曲是在產(chǎn)生組合信號之前執(zhí)行的，而在圖8中，組合信號88是在扭曲之前產(chǎn)生的。此外，在圖8中還產(chǎn)生組合深度信號88z。
優(yōu)選地，遮擋數(shù)據(jù)被網(wǎng)格塊對準。這將能夠實現(xiàn)改進的編碼效率。圖9示出了中心視圖數(shù)據(jù)和遮擋數(shù)據(jù)的放大視圖，其中遮擋數(shù)據(jù)的網(wǎng) 格塊對準是可見的。
優(yōu)選地，遮擋數(shù)據(jù)使用已知技術來編碼。
在本發(fā)明中，遮擋數(shù)據(jù)可以使用來自中心視圖的參考幀來編碼。在本發(fā)明的框架內部已經(jīng)發(fā)現(xiàn)，遮擋數(shù)據(jù)的空間和時間相關性要遠遠小于例如中心視圖中的相關性。觀察到，當使用來自中心視圖的參考幀時，遮擋數(shù)據(jù)的編碼效率顯著提高。在一開始，這可能聽起來是很令人驚訝的，因為在中心視圖中遮擋數(shù)據(jù)是不可用的。但是，遮擋數(shù) 據(jù)與接近前景對象但卻在時間上偏移的背景數(shù)椐的相關性很高。因此，使用與中心視圖可能在時間上偏移的參考幀來編碼遮擋數(shù)據(jù)將提高遮擋數(shù)據(jù)的編碼效率。
在圖9中描述了移動場景的放大部分。可以清楚看到，遮擋數(shù)據(jù) 與中心視圖中的背景數(shù)據(jù)的相關性很高。通過利用中心視圖數(shù)據(jù)與遮擋數(shù)據(jù)之間的這種空間相關性，可以顯著降低比特率。在MPEG標準主體的內部，舉例來說，H.264 MVC (多視圖編碼)具有一些使得能夠在各視圖使用參考幀的，具有良好性能的基本原理。MVC的方法是基于使用廣義B幀的工具，利用了由多個相機獲取的視圖之間的相關性。這些工具可以被應用于使用來自中心視圖的參考幀來編碼遮擋數(shù) 據(jù)的目的。
在另一個實施例中，我們可以具有包含中心視圖的一個或多個視圖以及包含遮擋數(shù)據(jù)的第二視圖，并且使用具有廣義B幀的H.264 MVC來編碼這個流。這意味著我們不必設計新的編碼標準，在這種情況下，MVC標準是以應在該標準中標記的不同方式械J吏用。
圖10示意性示出了 MVC編碼方案，如圖10的部分A所示，在時間T0、 Tl等，傳送不同的^L圖sl、 s2等。圖10的部分B示意性示出了如何在編碼中心視圖幀(CV)和遮擋數(shù)據(jù)幀(Ocd)中使用相似的方案。
但是，在一個編碼器和/或MVC中使用廣義B幀具有三個重要限
22制幀速率和分辨率必須匹配，以及使用現(xiàn)有標準/珪。
某些更復雜的視頻壓縮標準例如AVC壓縮標準具有很多多種預測的可能性。將會做出數(shù)量相對較多的時間的(即前向或反向)預測。不但考慮將時間上最接近的幀用于產(chǎn)生預測，而且還考慮在時間上更遠的幀。在緩存器中，若干個幀存儲于存儲器內，以便用于時間預測。該原理應用在本發(fā)明實施例的第一方面的框架內。
圖11示意性示出了多個參考。箭頭指示幀之間的參考關系，箭頭數(shù)量是所使用的幀的數(shù)量。時間T0、 Tl等代表顯示順序。在該圖中我們看到，例如在用于時間T4時的幀P的編碼中(以及類似地在解碼中)， T0時的幀I、 T2時的幀P以及更早的幀被用作參考幀。這是用指到 T4時的幀P的箭頭來指示的。T4時的幀P自身是用于T3時的幀B(反向)以及T6時的幀P(前向)的參考幀。在圖11中，I和P指內部(Intra) 和預測編碼幀，而B指雙向預測幀。箭頭指示預測。在圖ll描述的情形中，例如在時間點T5，來自時間點T2、 T4、 T6和T8的幀的預測被使用。
圖12提供的是本發(fā)明優(yōu)選實施例的示意性圖示。
我們看到，存在兩種類型的幀，即中心視圖幀和遮擋數(shù)據(jù)幀。與圖11中相同，中心幀將被用作中心幀的參考幀，同樣，遮擋數(shù)據(jù)幀被用作用于前向和反向預測遮擋數(shù)據(jù)幀的參考幀。
應該注意，在每個時間T0、 Tl等，在相同位置以及靜噪情況下，遮擋數(shù)據(jù)幀與中心視圖幀之間的相關性是有限的，因為遮擋數(shù)據(jù)幀包含那些不在中心視圖中的數(shù)據(jù)。但是已經(jīng)發(fā)現(xiàn)，如果使用中心視圖幀作為用于遮擋數(shù)據(jù)幀的參考幀，則提供編碼效率的可感知的提升，這在圖12中是用從中心視圖幀(上方方塊)到遮擋數(shù)據(jù)幀(下方方塊) 的箭頭指示的。在圖12中，I指的是幀內編碼，P幀指的是預測幀，B 指的是雙向預測幀。索引涉及幀所在的層。圖像則只能從更低的層來預測。因此，時間點T0的遮擋數(shù)據(jù)只能從中心視圖中的圖像來預測，而時間點T2的遮擋數(shù)據(jù)可以使用中心視圖的所有圖像加上T0和T8 的遮擋數(shù)據(jù)。將使用的參考幀的數(shù)量可以是規(guī)定的。這個限制是從實施觀點而不從概念觀點引入的。
因此，通過將中心視圖參考幀用于編碼遮擋數(shù)據(jù)來獲取更高編碼效率是本發(fā)明這個實施例的基本原理。在圖6中已經(jīng)通過解碼器CV與編碼器occl之間的線條指示了這一點。
在本發(fā)明的框架以內，在用于預測遮擋的編碼過程中存儲的幀可以包括先前或后續(xù)中心視圖幀以外的先前遮擋幀。使用中心視圖幀并沒有排除也使用遮擋數(shù)據(jù)的可能性。
但是，在一個編碼器和/或MVC中使用廣義B幀具有三個重要限制幀速率和分辨率必須匹配，以及使用現(xiàn)有標準/硅。
圖13示出了如何可以將這些原理應用于中心視像和遮擋數(shù)據(jù) 圖像的聯(lián)合編碼的圖示，這與圖6中用方塊67示意性指示的優(yōu)選實施例相對應。遮擋數(shù)據(jù)圖像現(xiàn)在可以用減小的空間(乃至時間)分辨率來壓縮，以便能夠以很低的開銷設置來工作。對于空間分辨率降低的情形，則可以確定并且使用經(jīng)過編碼的遮擋數(shù)據(jù)比特流來傳送最優(yōu)的上過濾器系數(shù)。對于時間分辨率(幀速率)降低的情形，已知的時間上變換技術(類似于自然運動)可以用于3D渲染處理。
在該圖的底部描述用于編碼中心視圖數(shù)據(jù)的可能方案。
圖13中使用的縮略語代表
DCT:離散余弦變換
Q:量化
DCT—1:離散余弦逆變換
逆量化 VLC:可變長度編碼 ME/MC:運動估計/運動補償 R0、 Rl等編碼中使用的存儲器中的幀 PTSi:呈現(xiàn)時間戳i
這個方案的實施歸結為在定義明確的時間點改變存儲器指針。當然，所使用的來自中心視圖數(shù)據(jù)層的幀的數(shù)量可以是任何數(shù)量，但是實際上似乎是存在某些限制的(存儲器限制，例如MVC實施例的情形也是如此)。
良好的選擇看上去為當前幀(PTSi)和幀值偏移(例如a^5)，由此為幀PTSi-a，即先前的中心視圖幀。甚至可以考慮依靠未來的幀例如PTSi+a，也就是使用未來的中心視圖幀用于預測遮擋幀的內容。在這里有可能存在更大偏移，例如3=-5、 -2、 0、 2、 5。此外，偏移中心視圖幀的加權也可以顯示一種變化。偏移數(shù)字對應于圖6中的偏移t2。偏移T2是示出了時間偏移的偏移，而時間戳偏移則是幀(由此也是時間)偏移。在圖6中示意性顯示了單個偏移t:2。將會清楚，可以使用多于一個的偏移T2 (有可能使用一個以上的先前或未來中心視圖幀作為參考幀)。在本發(fā)明的概念以內，參考幀可以包括中心視圖幀以及先前的遮擋數(shù)據(jù)幀?；谙惹耙曨l內容，例如取決于前景對象相對于背景的移動及其方向，可以確定偏移數(shù)字a，并且有可能確定相應的被參考中心視圖幀的加權，其中當在水平方向確定快速運動時，偏移數(shù)字較小，當確定在這個方向上的緩慢運動并且使用了若干個先前幀時，偏移數(shù)字較大，其中所述加權隨著幀變舊而減小的。
在計算移位或偏移和/或加權的實施例中，此類信息優(yōu)選地例如作為元數(shù)據(jù)被并入視頻信號。這將消除對于解碼器端相應計算步驟的需要。
基于圖像中的原始數(shù)據(jù)，可以計算移位或偏移數(shù)字，并且有可能計算加權，但是該計算優(yōu)選是在經(jīng)過編碼/解碼的幀上進行的。在解碼器端，原始信號不再可用。此外，如圖所示，編碼/解碼幀形成參考幀，因此，在計算中使用的任何參數(shù)優(yōu)選都涉及這些幀。
根據(jù)所確定的運動及其方向，遮擋幀可以形成參考幀，它在圖13 中是用從編碼遮擋幀線到存儲器R-，、 R,2的線條示意性指示的。
圖13顯示了在編碼之前縮減(也參見圖6)遮擋數(shù)據(jù)的優(yōu)選實施例。在編碼之后，結果數(shù)據(jù)必須再次擴大。為此目的，用于最佳擴大處理的上過濾系數(shù)將被計算，例如通過將經(jīng)過縮減并且隨后擴大的幀與原始幀相比較，以便盡可能減小縮減/擴大人工產(chǎn)物。這些系數(shù)將會作為元數(shù)據(jù)并入到數(shù)據(jù)比特流中。這樣做允許在解碼器端執(zhí)行相同的處理。
在本實施例中，遮擋數(shù)據(jù)編碼中使用的參考幀是中心視圖幀以及遮擋數(shù)據(jù)幀。
相同的原理也可以應用于編碼用于遮擋幀的深度圖。用于中心視圖數(shù)據(jù)的深度圖可以在編碼用于遮擋幀的深度圖中作為參考幀使用。作為例示，在圖14中顯示了用于此類編碼的方案。同樣，使用用于遮擋數(shù)據(jù)幀的非功能性數(shù)據(jù)的原理可以用于遮擋幀的深度圖，這一點也可以參見圖6。應該注意的是，使用中心視圖幀作為用于編碼遮擋幀(無論是否包含實際圖像數(shù)據(jù)還是深度數(shù)據(jù))的參考幀的原理可以在與區(qū)分遮擋幀(或者用于遮擋幀的深度圖)中的功能性和非功能性數(shù)據(jù)的原理無關的情況下應用。但是，在與區(qū)分非功能性數(shù)據(jù)的原理結合時，上述原理是特別有利的。
將一個編碼器與廣義B編碼處理結合使用，其中中心視圖和遮擋數(shù)據(jù)幀是作為交織的圖像序列編碼的，雖然提供有用的實施例，但是具有無法向后兼容現(xiàn)有的2D編碼方案的缺陷。
遮擋和中心視圖數(shù)據(jù)是可以交織的。常規(guī)解碼器不能處理此類流。
所有幀都要解碼和顯示，而這將會給出惡劣的圖像。使用MVC工具對此是有幫助的。
圖15示出了在解碼遮擋幀中使用中心視圖參考幀的解碼步驟。這些步驟基本上是圖13所示的編碼方法的逆過程。IQ代表逆量化，在圖13中則將其表示為Q-1, IDCT代表逆DCT ( DCT1 )。對于
圖14的用于編碼深度數(shù)據(jù)的編碼方案，可以使用類似的解碼方案。
如上文例示的那樣，本發(fā)明涉及一種編碼方法和系統(tǒng)以及一種解碼方法和系統(tǒng)。
本發(fā)明還可以在包含編碼視頻信號以及控制信息的視頻信號中實現(xiàn)，該控制信息例如包括用于在解碼方法中使用的功能參數(shù)?？刂菩?息可以包括依照如上所述的任何一個實施例或是其任何組合的數(shù)據(jù)。
在根據(jù)本發(fā)明的視頻信號中封裝的控制信息可以包括一個或多個下列信息
A. —般信息，也就是適用于整個視頻信號
1. 該方法用于編碼視頻信號。如果在以后僅僅使用一種標準方法，那么這是有用的
2. 該方法的特定實施例用于編碼視頻信號，或是實施例內部例如閾值TH的參數(shù)。
3. 在該方法中使用的參數(shù)，舉例來說，所述參數(shù)可以是
- 所使用的時間戳
- 在整個視頻信號編碼過程中使用的參數(shù)，例如用于過濾器、擴大或縮減算法、或者用于確定使用哪種預測的算法的參數(shù)。
B. 特定的動態(tài)信息如果視頻信號是動態(tài)生成的，也就是說，在編碼過程中作出的某些選擇取決于視頻內容，那么在編碼器中做出的選擇可以被包含在編碼視頻信號中。例如，如果編碼方法包括一種用于確定使用哪一個時
間戳的算法(例如a或t2的值)，那么可以選擇將所述選擇算法的細節(jié)包含在視頻信號中(由此將一般信息包含在視頻信號中)。但是，這僅僅在解碼器包含所述算法時發(fā)揮作用。如果解碼器不包含該算法，則可以發(fā)送特定的動態(tài)信息，也就是規(guī)定(例如通過一個標記)對于視頻信號的特定部分使用特定的時間戳值。
視頻信號可以包括一般信息以及動態(tài)信息。所有上述類型的信息
框架內都被稱為參數(shù)。
本發(fā)明也可以在用于根據(jù)本發(fā)明的方法或設備的計算機程序產(chǎn)品中實現(xiàn)。對計算機程序產(chǎn)品來說，應該理解的是，在經(jīng)過一系列加栽步驟(這其中可以包括中間的轉換步驟，例如變換到中間語言以及最終的處理器語言)之后，任何以物理方式實現(xiàn)的命令集合都能使通用或專用處理器獲取命令進入該處理器，以便執(zhí)行本發(fā)明的任何特有功能。特別地，計算機程序產(chǎn)品可以作為磁盤或磁帶之類的載體上的數(shù) 據(jù)、存儲器中存在的數(shù)據(jù)、經(jīng)由有線或無線網(wǎng)絡連接傳播的數(shù)據(jù)、或是紙件上的程序代碼來實現(xiàn)。除了程序代碼之外，程序所需要的特有數(shù)據(jù)也可以作為計算機程序產(chǎn)品來實現(xiàn)。
簡言之，本發(fā)明可以描述如下
在一種用于3D視頻信號的編碼方法和編碼器中，中心視圖幀、用于中心視圖幀的深度圖以及遮擋數(shù)據(jù)幀將被編碼?；谟糜谥行囊晥D 幀的深度圖，在遮擋數(shù)據(jù)幀的功能性與非功能性數(shù)據(jù)之間加以區(qū)分。這允許極大減少編碼遮擋數(shù)據(jù)幀所需要的比特。在解碼器中，組合數(shù) 據(jù)流是由編碼遮擋數(shù)據(jù)幀中的功能性數(shù)據(jù)以及中心視圖幀構成的。優(yōu) 選地，在編碼遮擋數(shù)據(jù)幀的過程中，中心視圖幀是作為參考幀使用的。
應該指出的是，上述實施例是例證而不是限制本發(fā)明。并且本領域技術人員能在不脫離所附權利要求范圍的情況下設計出很多可替換的實施例。
例如，圖16示出了本發(fā)明的另一個實施例。
圖16顯示了作為中心視圖像素位置x的函數(shù)的典型不一致分布D。
27所述不一致分布主要顯示中心視圖中處于不同位置的多個對象，這些
位置在深度上是以階梯AL(1)、 AL(2)、 AR(1)、 A,分離的，其中L代表與左眼視圖相關的不一致性，也就是左邊的視角，而R代表與右眼視圖相關的不一致性。如果使用這個不一致分布來渲染新的視圖，那么在新視圖中將會因為不一致性階梯而出現(xiàn)孔洞。如果為左眼渲染新視圖，則階梯&(1)和Aj"將會導致出現(xiàn)孔洞(hLl&hL2)。如果為右眼渲染新視圖，則階梯ArW和A^"將會導致出現(xiàn)孔洞(hRl&hR2)。對左眼視圖來說，超出指定閾值的AL表明孔洞將會使用來自遮擋幀的相應數(shù)據(jù)來填充。但是，這只有在發(fā)現(xiàn)相應"功能性數(shù)據(jù)"(示例1至4 中的區(qū)域Ln L2、 R!、 R2)的情況下才進行。在本示例中，例如由于功能性數(shù)據(jù)的亮度值高于閾值，而低于所述閾值的亮度數(shù)據(jù)(例如亮度值3)則是非功能性數(shù)據(jù)，因此，功能性數(shù)據(jù)的這些區(qū)域是可以與具有非功能性數(shù)據(jù)的區(qū)域區(qū)分開的。如果在相應孔洞位置存在"非功能性"數(shù)據(jù)，那么必須使用來自中心視圖紋理的數(shù)據(jù)來填充該孔洞，例如使用紋理重復來填充。如果在沒有"非功能性"數(shù)據(jù)的情況下遭遇到兩個連續(xù)階梯Al(")和AL(k+1)，那么該"功能性數(shù)據(jù)"因為Al 而屬于孔洞并且它們因為AL(k+1)(示例2)而不能用于填充孔洞。相同的情況對于 ArW和A,+"來說也成立。在遮擋數(shù)據(jù)幀中，如果在兩個連續(xù)階梯AL(k) 和AR^之間沒有遭遇到"非功能性"，那么由于Al 和Ar⑨而使用相同的"功能性數(shù)據(jù)，，來填充孔洞，以便分別創(chuàng)建左眼和右眼視圖(示例3 )。在這里既可以為特定孔洞給出"功能性數(shù)據(jù)"，也可以不給出(示例4)。如果在編碼器上可以得到所有"3D"數(shù)據(jù)(例如在已經(jīng)用"藍屏"技術創(chuàng)建了中心視圖并且所有中間層仍舊可用時)，在將該數(shù)據(jù)組合到遮擋幀之前，編碼器必須選擇出哪些部分比其它部分更為重要，由此也將遮擋幀數(shù)據(jù)的比特率考慮在內。示例1至4顯示了編碼器可以做出的某些不同選擇。通過在這些部分(L1、 L2、 ...， Rl、 R2、...)之間插入非功能性間隙(occl='0，)，在解碼器端可以將其相互分離并對其進行正確解釋(使得它們在渲染過程中出現(xiàn)在正確的孔洞中)。當因為編碼器做出的選擇而使所述孔洞填充數(shù)據(jù)不可用時，由于(occl='0，) 或者其為錯誤類型(例如對右視圖渲染來說，Lx部分永遠都不能用于孔洞填充)，孔洞應該用來自中心視圖的數(shù)據(jù)填充，例如通過重復數(shù)據(jù) 來填充。如先前所述以及示例3所示，如果在Li與Rj之間沒有遇到
28非功能性數(shù)據(jù)，那么在為L和R眼部方向執(zhí)行渲染處理的過程中可以^使用該部分來填充相應孔洞。
在用于遮擋數(shù)據(jù)幀的候選部分中，紋理豐富的量可以是供編碼器確定哪些部分優(yōu)先于其它部分的判據(jù)(示例2，其中很明顯，L1比L2重要，L2被省略)。
在此類實施例中，多個遮擋部分組合到一個遮擋數(shù)據(jù)幀中，并且指示裝置(間隙)被生成用于將不同的遮擋部分相互區(qū)分。
在本實施例中，其中使用從功能性(occW0")到非功能性(occl="0，，)的變換出現(xiàn)率，也就是用于至少一個像素的遮擋信號間隙的插入與否，作為用于區(qū)分遮擋數(shù)據(jù)幀內部的不同的遮擋部分的指示符。如上所述，在實施例中，用于非功能性數(shù)據(jù)的可以是保留值或是保留范圍內的值。如果使用的是保留范圍，例如0、 1、 2和3，則可以使用實際值來向解碼器傳遞關于相鄰功能性區(qū)域的信息，例如它是右邊還是左邊的區(qū)域，其中舉例來說，值0表明后續(xù)的功能性區(qū)域是左邊的區(qū)域，值1表明后續(xù)的區(qū)域是右邊的區(qū)域。由于解碼器知道不同遮擋部分的特性，因此可以在解碼器中設置該信息以便良好的使用。
如上文中結合圖6所述，"非功能性"意味著數(shù)據(jù)不能用于像素值。由此，該數(shù)據(jù)不被視為像素數(shù)據(jù)。但是，"非功能性"數(shù)據(jù)可以包括其它信息，而這僅僅是一個簡單的示例。簡言之，如果使用數(shù)值范圍，那么有可能借助"非功能性"數(shù)據(jù)來向解碼器傳達除像素值之外的其它信息。如果可以借助其值之外的手段來區(qū)分非功能性數(shù)據(jù)，例如借助深度圖的內容(參見關于圖6的描述)，則可以在遮擋數(shù)據(jù)幀的非功能性區(qū)域存儲數(shù)量相對較大量的信息。當然，這樣做將會增大遮擋數(shù)據(jù)幀所需要的比特數(shù)量，但是如果此類信息是有價值的并且以其它方式是不能有效傳送的，那么這也會提高編碼效率。
在解碼器端，用于對編碼信號解碼的解碼器接收視頻信號，其中多個遮擋部分將會組合到一個遮擋數(shù)據(jù)幀中，并且存在用于將不同的遮擋部分相互區(qū)分的指示符(所插入的間隙和/或間隙內部的實際值)，而且解碼器具有用于識別該指示符的裝置，也就是說，它使用編碼器中使用來插入指示符的算法的逆算法。
在權利要求中，括弧之間的任何參考符號都不應該被解釋成是限制該權利要求。單詞"包括"并未排除權利要求所列舉的部件或步驟之外的其它部件或步驟的存在。本發(fā)明可以借助如上所述的各種不同優(yōu)選實施例中的特征的任何組合來實現(xiàn)。
權利要求
1.一種用于編碼3D視頻信號的方法，其中3D視頻信號被編碼，該3D視頻信號包括中心視圖視頻幀(61)、用于中心視圖視頻幀的深度圖(62)以及用于中心視圖視頻幀的遮擋數(shù)據(jù)幀(63)，其中在用于中心視圖的深度圖中的數(shù)據(jù)的控制下，在編碼該遮擋數(shù)據(jù)幀(63)之前，為遮擋數(shù)據(jù)幀數(shù)據(jù)產(chǎn)生指示裝置，用于將該遮擋數(shù)據(jù)幀中的功能性數(shù)據(jù)與非功能性數(shù)據(jù)區(qū)分開來。
2. 如權利要求1所述的編碼方法，其中，該遮擋數(shù)據(jù)幀(63)在編碼深度數(shù)據(jù)(63)之后被編碼。
3. 如權利要求1所述的編碼方法，其中，遮擋深度圖也被編碼。
4. 如權利要求3所述的編碼方法，其中，遮擋深度幀數(shù)據(jù)被用于生成指示裝置，用于將該遮擋數(shù)據(jù)幀中的功能性數(shù)據(jù)與非功能性數(shù)據(jù) 區(qū)分開來。
5. 如權利要求1或2所述的編碼方法，其中，在該深度圖中的數(shù) 據(jù)的控制下，在該遮擋數(shù)據(jù)幀中生成固定值或固定范圍內的值，作為用于區(qū)分非功能性數(shù)據(jù)(occ卜"0")的指示裝置。
6. 如權利要求5所述的編碼方法，其中，該固定值或固定范圍內的值被保留用于非功能性數(shù)據(jù)，并且任何具有固定值或固定值范圍以內的功能性數(shù)據(jù)被替換成非該保留值或是保留范圍以外的值。
7. 如權利要求1或2所述的編碼方法，其中，在控制中應用深度不連續(xù)性閾值，其中深度圖中的深度不連續(xù)性小于閾值(TH)是一個確定因素。
8. 如權利要求7所述的編碼方法，其中，該閾值(TH)是從該深度圖中的數(shù)據(jù)計算得到的。
9. 如權利要求5、 6、 7或8所述的編碼方法，其中，在經(jīng)過編碼的—見頻信號中并入該閾值(TH)和/或該固定值或固定范圍。
10. 如—又利要求9所述的編碼方法，其中，該閾值(TH)和/或該固定值或固定范圍作為元數(shù)據(jù)被并入該視頻信號。
11. 如權利要求1所述的編碼方法，其中，將多個遮擋部分組合到一個遮擋數(shù)據(jù)幀中，并且生成用于將不同的遮擋部分相互區(qū)分開來的指示裝置。
12. 如權利要求11所述的編碼方法，其中，在用于至少一個像素的遮擋信號中從功能性(ocd#'0，，)到非功能性(occl-"0")和/或從非功能性(occl-"0")到功能性(occW'0")的變換出現(xiàn)率被用作指示符來區(qū)分該遮擋數(shù)據(jù)幀內的不同遮擋部分。
13. 如任一前述權利要求所述的編碼方法，其中，該控制中的另一個確定因素是最大視角。
14. 如任一前述權利要求所述的編碼方法，其中，該控制中的另一個確定因素是由該編碼遮擋數(shù)據(jù)幀的比特率形成的。
15. 如任一前述權利要求所述的編碼方法，其中，在遮擋數(shù)據(jù)幀的編碼中，該中心視圖數(shù)據(jù)幀被用作參考幀。
16. 如權利要求15所述的編碼方法，其中，在遮擋數(shù)據(jù)幀的編碼中，使用時間偏移的中心視圖數(shù)據(jù)，并且時間偏移是從該圖像數(shù)據(jù)中計算的。
17. 如權利要求16所述的編碼方法，其中，計算得到的時間偏移被并入到該視頻信號中。
18. 如權利要求17所述的編碼方法，其中，計算得到的時間偏移作為元數(shù)據(jù)被并入到該視頻信號中。
19. 一種用于編碼3D視頻信號的編碼器，其中經(jīng)過編碼的3D視頻信號包括中心視圖視頻幀(61 )、用于中心視圖視頻幀的深度圖(62 ) 以及用于中心視圖視頻幀的遮擋數(shù)據(jù)幀(63)，其中該編碼器包括用于將被編碼的中心視圖數(shù)據(jù)幀、用于中心視圖數(shù)據(jù)幀的深度圖以及遮擋數(shù)據(jù)幀的輸入，并且該編碼器包括控制器(65)，該控制器基于用于深度圖的數(shù)據(jù)來控制開關(66 )，所述開關為該遮擋數(shù)據(jù)幀數(shù)據(jù)生成非功能性數(shù)據(jù)(occl="0，，)或功能性數(shù)據(jù)。
20. 如權利要求19所述的編碼器，其中，該編碼器包括校準器，并且功能性和非功能性數(shù)據(jù)的校準是經(jīng)過網(wǎng)格塊對準的。
21. 如權利要求20所述的編碼器，其中，該校準器布置成在4x4、 8x8、 16 x 16和/或其它任何整數(shù)組合上進行網(wǎng)格塊校準。
22. 如權利要求19所述的編碼器，其中，該編碼器包括用于編碼用于該中心視圖幀的深度圖的編碼器(編碼器CV(z))以及用于對編碼深度圖進行解碼的內部解碼器(解碼器CV(Z))，其中在該控制器(65) 中使用由該內部解碼器解碼的深度圖。
23. 如前述權利要求19至22中任意一項所述的編碼器，其中，該編碼器包括用于計算該深度圖中的深度不連續(xù)性的閾值(TH)的計算器，其中該開關的控制依賴于測量得到的深度不連續(xù)性與閾值的比較。
24. 如權利要求23所述的編碼器，其中，該編碼器包括用于將計算得到的閾值(TH)并入經(jīng)過編碼的數(shù)據(jù)流的輸出。
25. 如前述權利要求19至24中任意一項所述的編碼器，其中，該編碼器包括用于編碼中心視圖幀的編碼器以及用于對經(jīng)過編碼的中心視圖幀進行解碼的解碼器、用于編碼該遮擋數(shù)據(jù)幀的編碼器以及在用于編碼遮擋數(shù)據(jù)幀的編碼器上用于插入已解碼中心視圖幀作為參考幀的輸入。
26. 如權利要求23所述的編碼器，其中，偏移參數(shù)(t2， a)被計算并被并入該視頻信號中。
27. —種用于對經(jīng)過編碼的視頻信號進行解碼的方法，其中3D視頻信號將被解碼，該3D視頻信號包括經(jīng)過編碼的中心視圖視頻幀、用于中心視圖視頻幀的深度圖以及用于中心視圖視頻幀的遮擋數(shù)據(jù)幀，經(jīng)過編碼的視頻信號包括用于將非功能性遮擋數(shù)據(jù)與功能性遮擋數(shù)據(jù) 區(qū)分開來的指示，其中在解碼中生成包含功能性遮擋數(shù)據(jù)和中心視圖數(shù)據(jù)的組合數(shù)據(jù)流(78, 88)。
28. 如權利要求27所述的用于對經(jīng)過編碼的視頻信號進行解碼的方法，其中，在解碼該遮擋數(shù)據(jù)幀中，中心視圖數(shù)據(jù)幀被用作參考幀。
29. 如權利要求247或28所述的用于對經(jīng)過編碼的視頻信號進行解碼的方法，其中，該組合信號(88)在生成之后被扭曲。
30. 如權利要求27或28所述的用于對經(jīng)過編碼的視頻信號進行解碼的方法，其中，所述扭曲在該組合信號(78)生成之前執(zhí)行。
31. 如權利要求27至30中任意一項所述的用于對經(jīng)過編碼的視頻信號進行解碼的方法，其中，在解碼中生成包括功能性深度遮擋數(shù) 據(jù)和深度中心視圖數(shù)據(jù)的組合深度數(shù)據(jù)流(88z)。
32. —種用于對經(jīng)過編碼的視頻信號進行解碼的解碼器，其中3D 視頻信號被解碼，該3D視頻信號包括經(jīng)過編碼的中心視圖視頻幀、用于中心視圖視頻幀的深度圖以及用于中心視圖視頻幀的遮擋數(shù)據(jù)幀，經(jīng)過編碼的視頻信號包括用于將非功能性遮擋數(shù)據(jù)與功能性遮擋數(shù)據(jù) 區(qū)分開來的指示，其中該解碼器包括用于產(chǎn)生組合數(shù)據(jù)流(78， 88)的組合器(76， 86)，所述組合信號包括功能性遮擋數(shù)據(jù)和中心視圖數(shù) 據(jù)。
33. 如權利要求32所述的用于對經(jīng)過編碼的視頻信號進行解碼的解碼器，其中，用于遮擋數(shù)據(jù)幀的解碼器布置成在遮擋數(shù)據(jù)幀的解碼中使用被用作參考幀的中心視圖數(shù)據(jù)幀。
34. 如權利要求32或33所述的用于對經(jīng)過編碼的視頻信號進行解碼的解碼器，其中，該解碼器包括用于扭曲該組合信號(88)的扭曲器(warp 1 )。
35. 如權利要求32或33所述的用于對經(jīng)過編碼的信號進行解碼的解碼器，其中，該解碼器包括用于在該組合信號(78)生成之前執(zhí) 行扭曲的扭曲器(warpA)。
36. 如權利要求32至35中任意一項所述的用于對經(jīng)過編碼的信號進行解碼的解碼器，其中，該解碼器包括用于產(chǎn)生包含功能性深度遮擋數(shù)據(jù)和深度中心視圖數(shù)據(jù)的組合深度數(shù)據(jù)流(88z)的組合器。
37. 如權利要求32至36中任意一項所述的用于對經(jīng)過編碼的信號進行解碼的解碼器，其中，經(jīng)過編碼的信號包括組合在一個遮擋數(shù) 據(jù)幀中的多個遮擋部分，并且經(jīng)過編碼的信號包括用于將不同的遮擋部分相互區(qū)分的指示符，該解碼器具有用于識別該指示符以及使用該指示符來識別不同遮擋部分的裝置。
38. 如權利要求37所述的用于對經(jīng)過編碼的信號進行解碼的解碼器，其中，該指示符是通過該遮擋信號中從功能性(occ^"0")到非功能性(occl="0，，)和/或從非功能性(occl="0，，)到功能性(occ一"0") 的變換出現(xiàn)率來形成的。
39. —種3D視頻信號，該3D視頻信號包括經(jīng)過編碼的中心視圖視頻幀、用于中心視圖視頻幀的深度圖以及用于中心視圖視頻幀的遮擋數(shù)據(jù)幀，其中該3D視頻信號包括用于將非功能性遮擋數(shù)據(jù)和功能性遮擋數(shù)據(jù)區(qū)分開來的指示裝置。
40. 如權利要求39所述的3D視頻信號，其中，該非功能性數(shù)據(jù) 具有固定值或固定范圍內的值，并且該功能性值具有非該固定值或該固定范圍以外的值，所述值充當指示裝置。
41. 如權利要求39所述的3D視頻信號，其中，該指示裝置包括用于深度不連續(xù)性的閾值。
42. 如權利要求39所述的3D視頻信號，其中，該3D視頻信號包括用于遮擋數(shù)據(jù)幀的編碼深度圖，該編碼深度圖包括用于將非功能性遮擋數(shù)據(jù)與功能性遮擋數(shù)據(jù)區(qū)分開來的指示裝置。
43. 如權利要求39所述的3D視頻信號，其中，該視頻信號包括作為元數(shù)據(jù)的用于該遮擋數(shù)據(jù)的值范圍或值，所述值或范圍指示所述遮擋數(shù)據(jù)是功能性還是非功能性的。
44. 如權利要求39至43中任意一項所述的3D視頻信號，其中，該視頻信號包括控制信息，該控制信息用于控制在解碼中將中心視圖幀用作用于解碼遮擋數(shù)據(jù)幀的參考幀的方式。
45. —種包含計算機代碼裝置的計算機程序，用于當所述程序在計算機上運行時執(zhí)行如權利要求1至18中任意一項所述的編碼方法。
46. —種包含計算機代碼裝置的計算機程序，用于當所述程序在計算機上運行時執(zhí)行如權利要求27至31中任意一項所述的解碼方法。
47. —種包含存儲在計算機可讀介質上的計算機代碼裝置的計算機程序產(chǎn)品，用于執(zhí)行如權利要求1至18中任意一項所述的編碼方法。
48. —種包含存儲在計算機可讀介質上的計算機代碼裝置的計算機程序產(chǎn)品，用于執(zhí)行如權利要求27至31中任意一項所述的解碼方法。
全文摘要
在用于3D視頻信號的編碼方法和編碼器中，中心視圖幀、用于中心視圖幀的深度圖以及遮擋數(shù)據(jù)幀將被編碼?；谟糜谥行囊晥D幀的深度圖，遮擋數(shù)據(jù)幀中的功能性與非功能性數(shù)據(jù)被區(qū)分。這允許極大減少經(jīng)過編碼的遮擋數(shù)據(jù)幀需要的比特。在解碼器中，組合數(shù)據(jù)流是由經(jīng)過編碼的遮擋數(shù)據(jù)幀中的功能性數(shù)據(jù)以及中心視圖幀構成的。優(yōu)選地，在編碼遮擋數(shù)據(jù)幀中，中心視圖幀被用作參考幀。
文檔編號H04N13/00GK101690249SQ200880021844
公開日2010年3月31日申請日期2008年6月19日優(yōu)先權日2007年6月26日
發(fā)明者C·瓦雷坎普, R·B·M·克萊因古尼韋克, W·H·A·布魯爾斯申請人:皇家飛利浦電子股份有限公司

完整全部詳細技術資料下載