專利名稱：深度指示圖的產(chǎn)生的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及產(chǎn)生深度指示圖。更具體而非窮舉地說(shuō)，本發(fā)明涉及產(chǎn)生多視像的深度指示圖。
背景技術(shù)：
近幾十年來(lái)，隨著數(shù)字信號(hào)表示和通信逐漸取代模擬表示和通信，各種源信號(hào)的數(shù)字編碼也變得日益重要。目前正在進(jìn)行持續(xù)的研究和開(kāi)發(fā)來(lái)提高可從編碼圖像和視頻序列獲取的質(zhì)量，同時(shí)將數(shù)據(jù)速率保持在可接受水平。此外，對(duì)圖像和視頻處理的關(guān)注也在增加。除了二維圖像平面之外，還進(jìn)一步考慮圖像的深度方面。例如，三維圖像已成為許多研究和開(kāi)發(fā)的主題。的確，圖像的三維呈現(xiàn)例如通過(guò)3D電視、計(jì)算機(jī)顯示器等的形式引入消費(fèi)市場(chǎng)。這些方法通?；诋a(chǎn)生提供給用戶的多個(gè)視圖。例如，當(dāng)前的許多3D內(nèi)容基于產(chǎn)生立體視圖，其中第一圖像呈現(xiàn)給觀眾的右目艮，第二圖像呈現(xiàn)給觀眾的左眼。有些顯示器能夠提供相對(duì)多數(shù)量的視圖，允許針對(duì)多個(gè)觀看點(diǎn)為觀眾提供適當(dāng)?shù)囊晥D。實(shí)際上，此類系統(tǒng)可允許用戶環(huán)視對(duì)象，例如，看到中心視點(diǎn)無(wú)法看到的被遮擋對(duì)象。已經(jīng)提出不同的方法來(lái)提供有效的三維場(chǎng)景信息表示。例如，可針對(duì)提供給用戶的每個(gè)視圖提供單獨(dú)圖像。此方法對(duì)于其中將預(yù)定圖像呈現(xiàn)給觀眾右眼和左眼的簡(jiǎn)單立體系統(tǒng)有效。因此，此方法相對(duì)適合于只為用戶提供預(yù)定三維體驗(yàn)(例如，為觀眾呈現(xiàn)三維電影)的系統(tǒng)。但是，此方法不適合其中需要為觀眾提供較多數(shù)量視圖的更靈活的系統(tǒng)，具體是指不適合其中需要在呈現(xiàn)/表現(xiàn)點(diǎn)上靈活地改變或更改觀眾觀看點(diǎn)的應(yīng)用。此方法同時(shí)也是其中深度效應(yīng)不固定而是可以改變的變基線立體圖像應(yīng)用的次優(yōu)選擇。具體而言，需要改變深度效應(yīng)強(qiáng)度，如果沒(méi)有不同對(duì)象的深度信息，可能很難分別使用用于左右眼的固定圖像實(shí)現(xiàn)。實(shí)際上，帶有固定左右視圖的立體表示已在BD 3D (藍(lán)光光盤(pán)只讀格式第三部分:視聽(tīng)基本規(guī)范版本2.4)中實(shí)現(xiàn)標(biāo)準(zhǔn)化。但是，固定視圖格式的靈活性有限。為實(shí)現(xiàn)諸如適應(yīng)不同屏幕大小或?qū)ι疃雀杏X(jué)強(qiáng)度的用戶定義的調(diào)整以避免不適感等期望特征，要求傳輸更多的信息。此外，固定左右視圖不提供任何用于實(shí)現(xiàn)高級(jí)顯示(例如，需要兩個(gè)以上視圖的自動(dòng)立體顯示)的實(shí)際規(guī)定。此外，此方法不能輕松支持產(chǎn)生任意視點(diǎn)的視圖。為了解決這些問(wèn)題，已提出提供具有一個(gè)或多個(gè)圖像的深度圖。所述深度圖一般可以提供圖像中所有部分的深度信息。因此，深度圖可針對(duì)每個(gè)像素指示該像素圖像對(duì)象的相對(duì)深度。深度圖可以顯著增加呈現(xiàn)的靈活性，例如可使圖像適于對(duì)應(yīng)于不同的視點(diǎn)。具體而言，視點(diǎn)的移位一般可導(dǎo)致依賴于像素深度的圖像的像素移位。在某些情況下，具有關(guān)聯(lián)深度圖的單個(gè)圖像允許產(chǎn)生不同視圖，從而例如允許產(chǎn)生三維圖像。但是，一般提供多個(gè)對(duì)應(yīng)于不同視圖的圖像來(lái)提高性能。例如，可在提供對(duì)應(yīng)于視圖左右眼的兩個(gè)圖像之時(shí)另外提供一個(gè)或兩個(gè)深度圖。實(shí)際上，在許多應(yīng)用中，單個(gè)深度圖足以提供基本優(yōu)點(diǎn)。但是，這些方法也包含一些固有的劣勢(shì)或缺點(diǎn)。實(shí)際上，此方法要求提供適當(dāng)?shù)纳疃葓D。對(duì)于新內(nèi)容，具體對(duì)于計(jì)算機(jī)根據(jù)三維模型產(chǎn)生的圖像而言，這相對(duì)容易做到。但是，對(duì)于創(chuàng)建時(shí)未包括深度信息的現(xiàn)有內(nèi)容而言，產(chǎn)生足夠精確的深度圖是一項(xiàng)艱難、繁重的任務(wù)。實(shí)際上，多數(shù)產(chǎn)生現(xiàn)有內(nèi)容(例如，現(xiàn)有畫(huà)面或電影)深度信息的方法都需要大量人工參與，從而使深度圖產(chǎn)生工作變得耗時(shí)、耗成本。另外，包括深度圖本質(zhì)上需要分布和/或存儲(chǔ)額外的數(shù)據(jù)。這樣，含深度像(例如視頻序列)的編碼數(shù)據(jù)據(jù)速率本質(zhì)上高于同一不含深度圖的圖像。因此，有效地對(duì)深度圖執(zhí)行編碼和解碼非常重要。所以，需要改進(jìn)的基于深度圖的圖像系統(tǒng)。具體而言，將有利地使用產(chǎn)生、編碼或解碼深度圖的改進(jìn)方法。特別是，有利地使用可增加靈活性、便利實(shí)施和/或操作、改進(jìn)和/或便利深度數(shù)據(jù)的編碼、解碼和/或產(chǎn)生、降低編碼數(shù)據(jù)速率和/或提高性能的系統(tǒng)。

發(fā)明內(nèi)容
因此，本發(fā)明旨在優(yōu)選地以單獨(dú)形式或任何組合的形式弱化、減輕或消除上述一個(gè)或多個(gè)缺點(diǎn)。根據(jù)本發(fā)明的一個(gè)方面，提供一種編碼與圖像關(guān)聯(lián)的深度指示圖的方法，所述方法包括:接收所述深度指示圖；響應(yīng)于參考圖像和對(duì)應(yīng)參考深度指示圖，產(chǎn)生將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射；以及響應(yīng)于所述映射，通過(guò)編碼所述深度指示圖產(chǎn)生輸出編碼數(shù)據(jù)流。本發(fā)明可以提供改進(jìn)的編碼。例如，它可以允許深度指示圖的編碼適應(yīng)并面向特定特性。本發(fā)明例如可以提供允許解碼器產(chǎn)生深度指示圖的編碼。具體而言，在許多實(shí)施例中，使用基于參考圖像的映射可允許對(duì)圖像和/或深度特性進(jìn)行自動(dòng)和/或改進(jìn)的適應(yīng)，無(wú)需針對(duì)特定圖像或深度特性開(kāi)發(fā)或應(yīng)用預(yù)定的規(guī)則或算法?？杀灰暈榕c組合關(guān)聯(lián)的圖像位置例如可以針對(duì)特定輸入集被判定為滿足特定輸入集的圖像空間位置鄰域標(biāo)準(zhǔn)的圖像位置。例如，它可以包括以下圖像位置，其小于距輸入集位置的給定距離，與輸入集的位置屬于同一圖像對(duì)象，落在針對(duì)輸入集定義的位置范圍內(nèi)等。組合例如可以是將多個(gè)色坐標(biāo)值組合為更少值(具體是指組合為單個(gè)值)的組合。例如，組合可以將色坐標(biāo)(例如，RGB值)組合為單個(gè)亮度值。作為另一實(shí)例，組合可以將鄰近像素值組合為單個(gè)平均或微分值。在其他實(shí)施例中，組合可以替代地或額外地為多個(gè)值。例如，組合可以是包括多個(gè)鄰近像素中每個(gè)像素的像素值的數(shù)據(jù)集。因此，在某些實(shí)施例中，組合可以對(duì)應(yīng)于一個(gè)額外映射維度(即，除了空間維度之外)，在其他實(shí)施例中，組合可以對(duì)應(yīng)于多個(gè)額外映射維度。色坐標(biāo)可以是反映像素視覺(jué)特征的任何值，并且具體可以是亮度值、色度值或色差值。組合在某些實(shí)施例中可以只包括一個(gè)對(duì)應(yīng)于輸入集中圖像空間位置的像素值。
所述方法可以包括動(dòng)態(tài)地產(chǎn)生映射。例如,新映射可針對(duì)視頻序列中每個(gè)圖像產(chǎn)生，或者針對(duì)每一第N個(gè)圖像產(chǎn)生，其中N為整數(shù)。所述深度指示圖可以是對(duì)應(yīng)于圖像的部分或完整圖。所述深度指示圖可以包括提供圖像深度指示的值，具體可以包括每個(gè)像素或像素組的深度指示值。所述深度指示圖的深度指示例如可以是深度(Z)坐標(biāo)或視差值。所述深度指示圖具體可以是深度視差圖或深度圖。在某些實(shí)施例中，還可以提供圖像遮擋數(shù)據(jù)。例如，圖像可被表示為分層圖像，其中第一層表示可從圖像的視點(diǎn)看到的對(duì)象，并且一個(gè)或多個(gè)進(jìn)一步的層提供從該視圖無(wú)法看到的對(duì)象圖像數(shù)據(jù)。深度指示數(shù)據(jù)可以僅針對(duì)頂層提供/產(chǎn)生，也可以針對(duì)一個(gè)或多個(gè)遮擋層提供/產(chǎn)生。所述遮擋數(shù)據(jù)可以在不同的比特流層中發(fā)送，即，它可以包括在輸出數(shù)據(jù)流增強(qiáng)層中。根據(jù)本發(fā)明的可選特征，所述方法進(jìn)一步包括接收所述圖像；響應(yīng)于所述映射，根據(jù)所述圖像預(yù)測(cè)深度指示圖；響應(yīng)于所述預(yù)測(cè)的深度指示圖和所述圖像，產(chǎn)生殘差深度指示圖；編碼所述殘差深度指示圖以產(chǎn)生編碼深度數(shù)據(jù)；以及將所述編碼深度數(shù)據(jù)包括在所述輸出編碼數(shù)據(jù)流中。本發(fā)明可以提供改進(jìn)的深度指示圖編碼。具體而言，可實(shí)現(xiàn)根據(jù)圖像對(duì)深度指示圖的改進(jìn)預(yù)測(cè)，從而允許減少的殘差信號(hào)，以便更有效地進(jìn)行編碼。所述深度指示圖編碼數(shù)據(jù)的數(shù)據(jù)速率可以降低，從而能降低整個(gè)信號(hào)的數(shù)據(jù)速率。所述方法可允許預(yù)測(cè)基于對(duì)深度指示圖和圖像之間特定關(guān)系的改進(jìn)適應(yīng)和/或自動(dòng)適應(yīng)。所述方法在許多情況下允許反相兼容僅使用包括輸入圖像編碼的基本層，而深度指示圖數(shù)據(jù)在增強(qiáng)層提供的現(xiàn)有設(shè)備。此外，所述方法可允許低復(fù)雜度實(shí)現(xiàn)，從而降低成本、資源要求和使用量，或者便利設(shè)計(jì)或制造。所述預(yù)測(cè)基本圖像可以具體通過(guò)編碼所述輸入以產(chǎn)生編碼數(shù)據(jù)來(lái)產(chǎn)生，以及通過(guò)解碼所述編碼數(shù)據(jù)來(lái)產(chǎn)生所述預(yù)測(cè)基本圖像。所述方法可以包括產(chǎn)生所述輸出編碼數(shù)據(jù)流以具有包括所述輸入圖像編碼數(shù)據(jù)的第一層和包括所述殘差深度指示圖編碼數(shù)據(jù)的第二層。所述第二層可以是可選層，具體而言，所述第一層可以是基本層，所述第二層可以是增強(qiáng)層。所述殘差深度指示圖的編碼可以具體地包括通過(guò)比較所述輸入深度指示圖和所述預(yù)測(cè)的深度指示圖，產(chǎn)生至少部分所述深度指示圖的殘差數(shù)據(jù)；以及通過(guò)編碼所述殘差數(shù)據(jù)，產(chǎn)生至少部分所述編碼深度指示圖。根據(jù)本發(fā)明的可選特征，每個(gè)輸入集對(duì)應(yīng)于每個(gè)空間圖像維度的空間區(qū)間和所述組合的至少一個(gè)值區(qū)間，并且產(chǎn)生所述映射包括針對(duì)所述參考圖像的至少一組圖像位置中的每個(gè)圖像位置:判定至少一個(gè)匹配輸入集，其具有對(duì)應(yīng)于所述每個(gè)圖像位置的空間區(qū)間以及對(duì)應(yīng)于所述圖像中每個(gè)圖像位置組合值的所述組合的值區(qū)間；以及響應(yīng)于所述參考深度指示圖中所述每個(gè)圖像位置的深度指示值，判定所述匹配輸入集的輸出深度指示值。 這樣提供一種有效、精確的方法來(lái)判定用于產(chǎn)生深度指示圖的適當(dāng)映射。在某些實(shí)施例中，所述方法進(jìn)一步包括響應(yīng)于匹配第一輸入集的至少一組圖像位置的所有圖像位置深度指示值的貢獻(xiàn)平均，判定所述第一輸入集的輸出深度指示值。
根據(jù)本發(fā)明的可選特征，所述映射為以下至少一項(xiàng):空間二次取樣映射；時(shí)間二次取樣映射；以及組合值二次取樣映射。這樣可以在許多實(shí)施例中提高效率和/或降低數(shù)據(jù)速率或資源需求，同時(shí)仍允許執(zhí)行有利的操作。所述時(shí)間二次取樣可以包括更新圖像/圖序列中圖像/圖子集的映射。所述組合值二次取樣可以包括對(duì)所述組合的一個(gè)或多個(gè)值應(yīng)用比所述像素值的量化更粗的量化。所述空間二次取樣可以包括涵蓋多個(gè)像素位置的每個(gè)輸入集。根據(jù)本發(fā)明的可選特征，所述方法進(jìn)一步包括:接收所述圖像；響應(yīng)于所述映射，根據(jù)所述圖像產(chǎn)生所述深度指示圖的預(yù)測(cè)；以及響應(yīng)于所述深度指示圖與所述預(yù)測(cè)的比較，適應(yīng)所述映射和所述殘差深度指示圖的至少一項(xiàng)。這樣可以改進(jìn)編碼并且可以在許多實(shí)施例中針對(duì)特定圖像特性適應(yīng)數(shù)據(jù)速率。例如，可動(dòng)態(tài)適應(yīng)所述數(shù)據(jù)速率以實(shí)現(xiàn)可變的最低數(shù)據(jù)速率，從而將所述數(shù)據(jù)速率降為給定質(zhì)量等級(jí)所需的水平。在某些實(shí)施例中，所述適應(yīng)可以包括判定是否修改部分或全部所述映射。例如，如果所述映射導(dǎo)致預(yù)期的深度指示圖相對(duì)于所述輸入深度指示圖偏離給定量，則可以部分或全部地修改所述映射以改進(jìn)預(yù)測(cè)。例如，所述適應(yīng)可以包括修改映射針對(duì)特定輸入集提供的特定深度指示值。在某些實(shí)施例中，所述方法可以包括響應(yīng)于所述輸入深度指示圖與所述預(yù)測(cè)的深度指示圖的比較，選擇映射數(shù)據(jù)和殘差深度指示圖數(shù)據(jù)的至少一項(xiàng)的元素以包括在所述輸出編碼數(shù)據(jù)流中。所述映射數(shù)據(jù)和/或殘差深度指示圖數(shù)據(jù)例如可以限于其中所述輸入深度指示圖與所述預(yù)測(cè)的深度指示圖之差超過(guò)給定閾值的區(qū)域。根據(jù)本發(fā)明的可選特征，所述輸入圖像為所述參考圖像，所述參考深度指示圖為所述深度指示圖。這樣可以在許多實(shí)施例中更有效地根據(jù)輸入圖像預(yù)測(cè)深度指示圖，并可以在許多情況下提供特別有效的深度指示圖編碼。所述方法可以進(jìn)一步包括映射描述所述輸出編碼數(shù)據(jù)流中至少部分映射的特征的數(shù)據(jù)。根據(jù)本發(fā)明的可選特征，所述方法進(jìn)一步包括對(duì)所述圖像進(jìn)行編碼，其中所述圖像和所述深度指示圖聯(lián)合編碼，其中所述圖像的編碼不依賴于所述深度指示圖，并且所述深度指示圖使用來(lái)自所述圖像的數(shù)據(jù)進(jìn)行編碼，所述編碼數(shù)據(jù)被分為單獨(dú)的數(shù)據(jù)流，其中包括包含所述圖像數(shù)據(jù)的主數(shù)據(jù)流和包含所述深度指示圖數(shù)據(jù)的次數(shù)據(jù)流，其中所述主數(shù)據(jù)流和次數(shù)據(jù)流多路復(fù)用到所述輸出編碼數(shù)據(jù)流，并且為所述主數(shù)據(jù)流和次數(shù)據(jù)流的數(shù)據(jù)提供單獨(dú)代碼。這樣可以提供特別有效的數(shù)據(jù)流編碼，這種編碼能改善后向兼容性。所述方法可以組合聯(lián)合編碼與后向兼容性的優(yōu)點(diǎn)。根據(jù)本發(fā)明的一方面，提供一種產(chǎn)生圖像的深度指示圖的方法，所述方法包括:接收所述圖像；提供將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射，所述映射反映參考圖像與對(duì)應(yīng)參考深度指示圖之間的關(guān)系；以及響應(yīng)于所述圖像和所述映射，產(chǎn)生所述深度指示圖。本發(fā)明可實(shí)現(xiàn)用于根據(jù)圖像產(chǎn)生深度指示圖的特別有效的方法。具體而言，所述方法可以減少人工介入需求，并允許根據(jù)參考以及從此類參考中自動(dòng)提取的信息產(chǎn)生深度指示圖。所述方法可以例如允許產(chǎn)生例如通過(guò)人工或自動(dòng)處理進(jìn)一步細(xì)化的深度指示圖。所述方法具體可以是指對(duì)深度指示圖進(jìn)行解碼的方法。所述圖像可作為編碼圖像接收，所述編碼圖像首先進(jìn)行解碼，然后對(duì)所述解碼圖像應(yīng)用映射以提供深度指示圖。具體而言，所述圖像可通過(guò)對(duì)編碼數(shù)據(jù)流的基本層圖像進(jìn)行解碼來(lái)產(chǎn)生。所述參考圖像和對(duì)應(yīng)參考深度指示圖具體可以是先前解碼的圖像/圖。在某些實(shí)施例中，所述圖像可以在編碼數(shù)據(jù)流中接收，所述編碼數(shù)據(jù)流還可以包括描述所述映射和/或所述參考圖像和/或所述參考深度指示圖的特征或識(shí)別所述映射和/或所述參考圖像和/或所述參考深度指示圖的數(shù)據(jù)。根據(jù)本發(fā)明的可選特征，產(chǎn)生所述深度指示圖包括針對(duì)至少部分預(yù)測(cè)的深度指示圖的每個(gè)位置，通過(guò)以下操作判定至少部分所述預(yù)測(cè)的深度指示圖:判定至少一個(gè)匹配所述每個(gè)位置以及關(guān)聯(lián)于所述每個(gè)位置的像素值色坐標(biāo)的第一組合的匹配輸入集；從所述映射中檢索所述至少一個(gè)匹配輸入集的至少一個(gè)輸出深度指示值；響應(yīng)于所述至少一個(gè)輸出深度指示值，判定所述預(yù)測(cè)的深度指示圖中所述每個(gè)位置的深度指示值；以及響應(yīng)于至少部分所述預(yù)測(cè)的深度指示圖，判定所述深度指示圖。這樣可以提供特別有利的深度指示圖產(chǎn)生。在許多實(shí)施例中，所述方法允許對(duì)深度指示圖進(jìn)行特別有效的編碼。具體而言，可實(shí)現(xiàn)根據(jù)圖像自動(dòng)適應(yīng)和/或有效地產(chǎn)生深度指示圖的預(yù)測(cè)。響應(yīng)于至少部分所述預(yù)測(cè)的深度指示圖產(chǎn)生所述深度指示圖可以包括直接使用至少部分所述預(yù)測(cè)的深度指示圖，或者例如可以包括使用殘差深度指示圖數(shù)據(jù)增強(qiáng)至少部分所述預(yù)測(cè)的深度指示圖，所述殘差深度指示圖數(shù)據(jù)可以包括在包含圖像的層以外的編碼
信號(hào)層中。根據(jù)本發(fā)明的可選特征，所述圖像為視頻序列中的圖像，并且所述方法包括使用所述視頻序列中的先前圖像作為參考圖像，并使用針對(duì)所述先前圖像產(chǎn)生的先前深度指示圖作為所述參考深度指示圖產(chǎn)生所述映射。這樣可允許有效執(zhí)行操作，具體是指可允許對(duì)具有對(duì)應(yīng)圖像和深度指示圖的視頻序列進(jìn)行有效編碼。例如，所述方法可根據(jù)圖像預(yù)測(cè)至少部分深度指示圖，然后基于此預(yù)測(cè)實(shí)現(xiàn)精確編碼，無(wú)需在編碼器和解碼器之間傳輸有關(guān)所應(yīng)用映射的任何信息。 根據(jù)本發(fā)明的可選特征，所述先前深度指示圖進(jìn)一步響應(yīng)于所述先前深度指示圖相對(duì)于所述先前圖像的預(yù)測(cè)深度數(shù)據(jù)的殘差深度數(shù)據(jù)產(chǎn)生。這樣可以提供特別精確的映射，從而改進(jìn)預(yù)測(cè)。根據(jù)本發(fā)明的可選特征，所述圖像為視頻序列中的圖像，并且所述方法進(jìn)一步包括使用所述視頻序列中的至少某些圖像的標(biāo)稱(nominal)映射。這樣可允許特別有效地對(duì)許多深度指示圖進(jìn)行編碼，具體是指可以有效地適應(yīng)視頻序列中的不同圖像/圖。例如。標(biāo)稱映射可用于那些沒(méi)有適當(dāng)?shù)膮⒖紙D像/圖的深度指示圖，例如，場(chǎng)景改變之后的第一圖像/圖。在某些實(shí)施例中，所述視頻序列可作為編碼視頻信號(hào)的一部分接收，所述編碼視頻信號(hào)進(jìn)一步包括可用參考映射的圖像的參考映射指示。在某些實(shí)施例中，所述參考映射指示指示所應(yīng)用的從預(yù)定參考映射集中選擇的參考映射。例如，可預(yù)定編碼器與解碼器之間的N個(gè)參考映射，并且所述編碼可以包括有關(guān)所述解碼器應(yīng)該針對(duì)特定深度指示圖使用哪個(gè)參考映射的指示。根據(jù)本發(fā)明的可選特征，所述組合指示所述圖像空間位置的紋理、梯度和空間像素值變化中的至少一項(xiàng)。這樣可提供特別有利的深度指示圖產(chǎn)生。根據(jù)本發(fā)明的可選特征，所述深度指示圖與多視像中的第一視像關(guān)聯(lián)，所述方法進(jìn)一步包括:響應(yīng)于所述深度指示圖，產(chǎn)生所述多視像中的第二視像的進(jìn)一步的深度指示圖。所述方法可允許特別有效的多視圖深度指示圖產(chǎn)生/解碼，并且可允許將數(shù)據(jù)速率改進(jìn)為質(zhì)量比率和/或便利實(shí)現(xiàn)。所述多視像可以是包括多個(gè)對(duì)應(yīng)于同一場(chǎng)景不同視圖的圖像，并且深度指示圖可與每個(gè)視圖關(guān)聯(lián)。所述多視像具體可以是包括左右圖像(例如對(duì)應(yīng)于觀眾左右眼的視點(diǎn))和左右深度指示圖的立體圖像。所述第一視圖深度指示圖具體可用于產(chǎn)生所述第二視圖深度指示圖的預(yù)測(cè)。在某些情況下，所述第一視圖深度指示圖可直接用作所述第二視圖深度指示圖的預(yù)測(cè)。在某些實(shí)施例中，產(chǎn)生所述第二視圖深度指示圖的步驟包括:提供將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的深度指示值的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射，所述映射反映所述第一視圖的參考深度指示圖與所述第二視圖的對(duì)應(yīng)參考深度指示圖之間的關(guān)系；以及響應(yīng)于所述第一視圖深度指示圖和所述映射，產(chǎn)生所述第二視圖深度指示圖。這樣可提供根據(jù)所述第一視圖深度指示圖產(chǎn)生所述第二視圖深度指示圖的特別有利的方法。具體而言，它允許根據(jù)參考深度指示圖進(jìn)行精確的映射或預(yù)測(cè)。所述第二視圖深度指示圖的產(chǎn)生可以基于自動(dòng)產(chǎn)生映射，并且例如可以基于先前第二視圖深度指示圖和先前第一視圖深度指示圖。所述方法例如可允許在編碼器和解碼器端獨(dú)立地產(chǎn)生映射，從而允許根據(jù)所述映射有效地進(jìn)行編碼器/解碼器預(yù)測(cè)，無(wú)需將其他任何映射數(shù)據(jù)從所述編碼器傳輸?shù)剿鼋獯a器。根據(jù)本發(fā)明的一方面，提供一種對(duì)關(guān)聯(lián)于圖像的深度指示圖進(jìn)行編碼的設(shè)備，所述設(shè)備包括:接收器，用于接收所述深度指示圖；映射產(chǎn)生器，用于響應(yīng)于參考圖像和對(duì)應(yīng)參考深度指示圖，產(chǎn)生將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射；以及輸出處理器，用于響應(yīng)于所述映射，對(duì)所述深度指示圖進(jìn)行編碼來(lái)產(chǎn)生輸出編碼數(shù)據(jù)流。所述設(shè)備例如可以是集成電路或其一部分。根據(jù)本發(fā)明的一方面，提供一種裝置，包括:上一段落所述的設(shè)備；輸入連接構(gòu)件，用于接收包括所述深度指示圖的信號(hào)以及將此信號(hào)饋入所述設(shè)備；以及輸出連接構(gòu)件，用于從所述設(shè)備輸出所述輸出編碼數(shù)據(jù)流。根據(jù)本發(fā)明的一方面，提供一種產(chǎn)生圖像的深度指示圖的設(shè)備，所述設(shè)備包括:接收器，用于接收所述圖像；映射處理器，用于提供將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射，所述映射反映參考圖像與對(duì)應(yīng)參考深度指示圖之間的關(guān)系；以及圖像產(chǎn)生器，用于響應(yīng)于所述圖像和所述映射，產(chǎn)生所述深度指示圖。所述設(shè)備例如可以是集成電路或其一部分。
根據(jù)本發(fā)明的一方面，提供一種裝置，包括:上一段落所述的設(shè)備；輸入連接構(gòu)件，用于接收所述圖像以及將此圖像饋入所述設(shè)備；輸出連接構(gòu)件，用于從所述設(shè)備輸出包括所述高深度指示圖的信號(hào)。所述裝置例如可以是機(jī)頂盒、電視機(jī)、計(jì)算機(jī)監(jiān)視器或其他顯示器、媒體播放器、DVD或BluRay 播放器等。根據(jù)本發(fā)明的一方面，提供一種編碼信號(hào)，包括:編碼圖像；以及深度指示圖的殘差深度數(shù)據(jù)，至少部分所述殘差深度數(shù)據(jù)指示所述圖像的所需深度指示圖與向所述編碼圖像應(yīng)用映射導(dǎo)致的預(yù)測(cè)深度指示圖之差，其中所述映射將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)，所述映射反映參考圖像與對(duì)應(yīng)參考深度指示圖之間的關(guān)系。根據(jù)本發(fā)明的特征，提供一種包括上一段落所述的編碼信號(hào)的存儲(chǔ)介質(zhì)。所述存儲(chǔ)介質(zhì)例如可以是諸如DVD或BluRay 盤(pán)之類的數(shù)據(jù)載體?？商峁┮环N執(zhí)行本發(fā)明任一方面或特征的方法的計(jì)算機(jī)程序產(chǎn)品。另外，可以提供包括執(zhí)行本發(fā)明任一方面或特征的方法的可執(zhí)行代碼的存儲(chǔ)介質(zhì)。本發(fā)明的這些和其他方面、特征和優(yōu)點(diǎn)通過(guò)下面描述的(多個(gè))實(shí)施例將變得顯而易見(jiàn)，并通過(guò)這些實(shí)施例進(jìn)行闡述。


將參考附圖并僅借助實(shí)例描述本發(fā)明的實(shí)施例，在所述附圖中:
圖1是根據(jù)本發(fā)明的某些實(shí)施例的傳輸系統(tǒng)實(shí)例的圖示；
圖2是根據(jù)本發(fā)明的某些實(shí)施例的編碼器實(shí)例的圖示；
圖3是根據(jù)本發(fā)明的某些實(shí)施例的編碼方法實(shí)例的圖示；
圖4和5是根據(jù)本發(fā)明的某些實(shí)施例的映射實(shí)例的圖示；
圖6是根據(jù)本發(fā)明的某些實(shí)施例的編碼器實(shí)例的圖示；
圖7是根據(jù)本發(fā)明的某些實(shí)施例的編碼器實(shí)例的圖示；
圖8是根據(jù)本發(fā)明的某些實(shí)施例的解碼方法實(shí)例的圖示；
圖9是根據(jù)本發(fā)明的某些實(shí)施例的高動(dòng)態(tài)范圍圖像預(yù)測(cè)實(shí)例的圖示；
圖10是根據(jù)本發(fā)明的某些實(shí)施例的映射實(shí)例的圖示；
圖11是根據(jù)本發(fā)明的某些實(shí)施例的解碼器實(shí)例的圖示；
圖12是根據(jù)本發(fā)明的某些實(shí)施例的解碼器實(shí)例的圖示；
圖13是根據(jù)本發(fā)明的某些實(shí)施例可以在編碼器中使用的基本編碼模塊實(shí)例的圖示； 圖14-17示出使用圖13中的基本編碼模塊的編碼器的實(shí)例；
圖18示出數(shù)據(jù)流多路復(fù)用的實(shí)例；
圖19是根據(jù)本發(fā)明的某些實(shí)施例可以在解碼器中使用的基本解碼模塊實(shí)例的圖示；
以及
圖20-22示出使用圖18中的基本解碼模塊的解碼器的實(shí)例。
具體實(shí)施例方式下面的描述著重在適用于對(duì)視頻序列中的對(duì)應(yīng)圖像和深度指示圖進(jìn)行編碼和解碼的本發(fā)明實(shí)施例。但是將理解，本發(fā)明不限于此應(yīng)用，可以在其他許多情況下應(yīng)用所述原理。具體而言，所述原理不限于涉及編碼或解碼的深度指示圖產(chǎn)生。圖1示出根據(jù)本發(fā)明的某些實(shí)施例傳輸視頻信號(hào)的傳輸系統(tǒng)100。傳輸系統(tǒng)100包括通過(guò)網(wǎng)絡(luò)105與接收器103相連的發(fā)送器101，網(wǎng)絡(luò)105具體是指因特網(wǎng)，或者諸如數(shù)字電視廣播系統(tǒng)之類的廣播系統(tǒng)。在特定實(shí)例中，接收器103為單個(gè)播放設(shè)備，但可以理解，在其他實(shí)施例中，所述接收器可用于其他應(yīng)用以及其他目的。在特定實(shí)例中，接收器103可以是顯示器，例如電視機(jī)，也可以是用于產(chǎn)生外部顯示器(例如，計(jì)算機(jī)監(jiān)視器或電視機(jī))的顯示輸出信號(hào)的機(jī)頂盒。在特定實(shí)例中，發(fā)送器101包括提供圖像和對(duì)應(yīng)深度指示圖的視頻序列的單個(gè)源107。圖像的深度圖可以包括圖像深度信息。此類深度指示具體可以是z坐標(biāo)(B卩，指示沿垂直于圖像平面(x-y平面)的方向偏移的深度值)、視差值或其他任何提供深度信息的值。深度指示圖可以是涵蓋整個(gè)圖像的完整指示圖，也可以是僅提供一個(gè)或多個(gè)圖像區(qū)域深度指示的局部深度指示圖。深度指示圖具體可以提供整個(gè)圖像每個(gè)像素或圖像的一個(gè)或多個(gè)部分的深度值。信號(hào)源107本身可以產(chǎn)生圖像和深度指示圖，也可以例如從外部源接收?qǐng)D像和/或深度指示圖。下面將描述簡(jiǎn)單圖像及關(guān)聯(lián)的深度指示圖的實(shí)例。但是，在某些實(shí)例中，可進(jìn)一步提供圖像的遮擋數(shù)據(jù)，實(shí)際上還可以提供遮擋數(shù)據(jù)的深度指示數(shù)據(jù)，例如深度指示圖。信號(hào)源107與編碼器109相連，該編碼器繼續(xù)根據(jù)下面將詳細(xì)描述的編碼算法對(duì)視頻序列進(jìn)行編碼。具體而言，視頻序列中的圖像可使用傳統(tǒng)編碼標(biāo)準(zhǔn)進(jìn)行編碼，而深度指示圖將使用下面將詳細(xì)描述的基于對(duì)應(yīng)圖像的預(yù)測(cè)進(jìn)行編碼。編碼器109與網(wǎng)絡(luò)發(fā)送器111相連，該網(wǎng)絡(luò)發(fā)送器接收編碼信號(hào)并與通信網(wǎng)絡(luò)105連接。網(wǎng)絡(luò)發(fā)送器可通過(guò)通信網(wǎng)絡(luò)105將編碼信號(hào)發(fā)送到接收器103。將理解，在許多其他實(shí)施例中，可使用其他分發(fā)或通信網(wǎng)絡(luò)，例如陸地或衛(wèi)星廣播系統(tǒng)。接收器103包括接收器113，該接收器與通信網(wǎng)絡(luò)105連接并從發(fā)送器101接收編碼信號(hào)。在某些實(shí)施例中，接收器113例如可以是因特網(wǎng)接口或無(wú)線或衛(wèi)星接收器。接收器113與解碼器115相連。解碼器115被饋入已接收的編碼信號(hào)，然后繼續(xù)根據(jù)下面將詳細(xì)描述的解碼算法對(duì)編碼信號(hào)進(jìn)行解碼。解碼器115具體可以使用傳統(tǒng)解碼算法產(chǎn)生解碼圖像，并且可以使用下面將詳細(xì)描述的根據(jù)解碼圖像的預(yù)測(cè)對(duì)深度指示圖進(jìn)行解碼。在其中支持信號(hào)播放功能的特定實(shí)例中，接收器103進(jìn)一步包括信號(hào)播放器117，該播放器從解碼器115接收解碼視頻信號(hào)(包括深度指示圖)并使用適當(dāng)?shù)墓δ芟蛴脩舫尸F(xiàn)解碼視頻信號(hào)。本領(lǐng)域的技術(shù)人員知道，信號(hào)播放器117具體可以根據(jù)解碼圖像和深度信息呈現(xiàn)來(lái)自不同視圖的圖像。信號(hào)播放器117本身可以包括能呈現(xiàn)編碼視頻序列的顯示器。作為替代或補(bǔ)充，信號(hào)播放器117可以包括能夠產(chǎn)生針對(duì)外部顯示裝置的適當(dāng)驅(qū)動(dòng)信號(hào)的輸出電路。因此，接收器103可以包括接收編碼視頻序列的輸入連接構(gòu)件以及提供顯示器輸出驅(qū)動(dòng)信號(hào)的輸出連接構(gòu)件。圖2示出根據(jù)本發(fā)明的某些實(shí)施例的編碼器實(shí)例109。圖3示出根據(jù)本發(fā)明的某些實(shí)施例的編碼方法實(shí)例。編碼器包括用于接收包括輸入圖像的視頻序列的接收器201，以及用于接收對(duì)應(yīng)深度指示圖序列的接收器203。首先，編碼器109執(zhí)行步驟301，其中接收視頻序列中的輸入圖像。輸入圖像被饋入圖像編碼器205，該圖像編碼器對(duì)視頻序列中的視頻圖像進(jìn)行編碼。將理解，可使用任何適當(dāng)?shù)囊曨l或圖像編碼算法，并且所述編碼具體可以包括本領(lǐng)域的技術(shù)人員已知的運(yùn)動(dòng)補(bǔ)償、量化、轉(zhuǎn)換變換等。具體而言，圖像編碼器205可以是H-264/AVC標(biāo)準(zhǔn)編碼器。因此，在步驟301之后執(zhí)行步驟303，其中將輸入圖像進(jìn)行編碼以產(chǎn)生編碼圖像。編碼器109然后繼續(xù)根據(jù)輸入圖像產(chǎn)生預(yù)測(cè)的深度指示圖。所述預(yù)測(cè)基于預(yù)測(cè)基本圖像，所述預(yù)測(cè)基本圖像例如可以是輸入圖像本身。但是，在許多實(shí)施例中，可以產(chǎn)生預(yù)測(cè)基本圖像以對(duì)應(yīng)于解碼器通過(guò)對(duì)編碼圖像進(jìn)行解碼產(chǎn)生的圖像。在圖2的實(shí)例中，圖像編碼器205相應(yīng)地與圖像解碼器207相連，該圖像解碼器繼續(xù)通過(guò)對(duì)圖像的編碼數(shù)據(jù)進(jìn)行解碼產(chǎn)生預(yù)測(cè)基本圖像。所述解碼可以是實(shí)際輸出數(shù)據(jù)流解碼，也可以是中間數(shù)據(jù)流解碼，例如在最終的無(wú)損失熵編碼之前對(duì)編碼數(shù)據(jù)流執(zhí)行的解碼。因此，圖像解碼器207執(zhí)行步驟305，其中通過(guò)對(duì)編碼圖像進(jìn)行解碼來(lái)產(chǎn)生預(yù)測(cè)基本圖像bas—IMG0圖像解碼器207與預(yù)測(cè)器209相連，該預(yù)測(cè)器繼續(xù)根據(jù)預(yù)測(cè)基本圖像產(chǎn)生預(yù)測(cè)的深度指示圖。所述預(yù)測(cè)基于映射處理器211提供的映射。因此，在實(shí)例中，在步驟305之后執(zhí)行步驟307，其中產(chǎn)生映射，接著執(zhí)行步驟309，其中執(zhí)行預(yù)測(cè)以產(chǎn)生預(yù)測(cè)的深度指示圖。預(yù)測(cè)器209進(jìn)一步與深度編碼器213相連，該深度編碼器進(jìn)一步與深度指示圖接收器203相連。深度編碼器213接收輸入深度指示圖和預(yù)測(cè)的深度指示圖，然后繼續(xù)根據(jù)預(yù)測(cè)的深度指示圖對(duì)輸入深度指示圖進(jìn)行編碼。作為特定低復(fù)雜度實(shí)例，深度指示圖的編碼可以基于相對(duì)于預(yù)測(cè)的深度指示圖產(chǎn)生殘差深度指示圖以及對(duì)殘差深度指示圖進(jìn)行編碼。因此，在此實(shí)例中，深度編碼器213可以繼續(xù)到執(zhí)行步驟311，其中響應(yīng)于輸入深度指示圖與預(yù)測(cè)的深度指示圖之間的比較，產(chǎn)生殘差深度指示圖。具體而言，深度編碼器213可用輸入深度指示圖減去預(yù)測(cè)的深度指示圖來(lái)產(chǎn)生殘差深度指示圖。因此，殘差深度指示圖表示輸入深度指示圖與根據(jù)對(duì)應(yīng)(編碼)圖像預(yù)測(cè)的指示圖之間的誤差。在其他實(shí)施例中，可進(jìn)行其他比較。例如，可采用深度指示圖除以預(yù)測(cè)的深度指示圖的方法。深度編碼器213然后可以執(zhí)行步驟313，其中對(duì)殘差深度指示圖進(jìn)行編碼以產(chǎn)生編碼的殘差深度數(shù)據(jù)。將理解，可使用用于對(duì)殘差深度指示圖進(jìn)行編碼的任何適當(dāng)編碼原理或算法。實(shí)際上，在許多實(shí)施例中，預(yù)測(cè)的深度指示圖可用作多個(gè)預(yù)測(cè)中的一個(gè)可能的預(yù)測(cè)。因此，在某些實(shí)施例中，深度編碼器213可被配置為在包括預(yù)測(cè)的深度指示圖的多個(gè)預(yù)測(cè)之間做出選擇。其他預(yù)測(cè)可以包括來(lái)自同一或不同深度指示圖的空間或時(shí)間預(yù)測(cè)。所述選擇可以基于對(duì)不同預(yù)測(cè)的精確度量(例如基于相對(duì)于輸入深度指示圖的殘差量)。所述選擇可以針對(duì)整個(gè)深度指示圖執(zhí)行，也可以例如針對(duì)深度指示圖的不同區(qū)域或部分單獨(dú)執(zhí)行。例如，深度指示圖編碼器可以使用H264編碼器進(jìn)行編碼，其中深度值被映射到亮度值(luma vlaue)。傳統(tǒng)的H264編碼器可利用不同的預(yù)測(cè)，例如時(shí)間預(yù)測(cè)(幀之間，例如運(yùn)動(dòng)補(bǔ)償)或空間預(yù)測(cè)(即，根據(jù)圖像的一個(gè)區(qū)域預(yù)測(cè)另一區(qū)域)。在圖2的方法中，此類預(yù)測(cè)可通過(guò)根據(jù)圖像產(chǎn)生的深度指示圖預(yù)測(cè)來(lái)補(bǔ)充。H.264編碼器然后繼續(xù)到在各種可能的預(yù)測(cè)之間進(jìn)行選擇。該選擇根據(jù)宏塊執(zhí)行，并且基于選擇導(dǎo)致該宏塊的最低殘差的預(yù)測(cè)。具體而言，可執(zhí)行速率失真分析來(lái)針對(duì)每個(gè)宏塊選擇最佳預(yù)測(cè)方法。因此，做出局部決定。于是，基于H264的編碼器可針對(duì)不同的宏塊使用不同的預(yù)測(cè)方法。對(duì)于每個(gè)宏塊，可產(chǎn)生殘差數(shù)據(jù)并對(duì)其進(jìn)行編碼。因此，輸入HDR圖像的編碼數(shù)據(jù)可以包括每個(gè)宏塊的殘差數(shù)據(jù)，其中每個(gè)宏塊由針對(duì)該宏塊的特定選定預(yù)測(cè)導(dǎo)致。此外，編碼數(shù)據(jù)可以包括有關(guān)針對(duì)每個(gè)單獨(dú)的宏塊使用哪種預(yù)測(cè)方法的指示。因此，深度指示圖預(yù)測(cè)所依據(jù)的圖像可以提供可由深度編碼器選擇的其他可能的預(yù)測(cè)。對(duì)于某些宏塊，此預(yù)測(cè)可以導(dǎo)致低于其他預(yù)測(cè)的殘差，并因此將針對(duì)該宏塊選擇此預(yù)測(cè)。該塊的最終殘差深度指示圖然后表示輸入深度指示圖與該塊的預(yù)測(cè)的深度指示圖之差。編碼器可以在實(shí)例中使用不同預(yù)測(cè)方法之間的選擇，而非使用這些方法的組合，因?yàn)檫@樣做會(huì)導(dǎo)致不同的預(yù)測(cè)經(jīng)常發(fā)生相互干擾。圖像編碼器205和深度編碼器213與輸出處理器215相連，該輸出處理器接收編碼的圖像數(shù)據(jù)和編碼的殘差深度數(shù)據(jù)。輸出處理器215然后繼續(xù)到執(zhí)行步驟315，其中產(chǎn)生輸出編碼數(shù)據(jù)流EDS以包括編碼的圖像數(shù)據(jù)和編碼的殘差深度數(shù)據(jù)。在實(shí)例中，所產(chǎn)生的輸出編碼數(shù)據(jù)流為分層數(shù)據(jù)流，并且編碼的圖像數(shù)據(jù)包括在第一層中，編碼的殘差深度數(shù)據(jù)包括在第二層中。所述第二層具體可以是不兼容深度處理的解碼器或設(shè)備能夠放棄的可選層。因此，第一層可以是基本層，第二層可以是可選層，具體而言，第二層可以是增強(qiáng)或可選層。此方法允許在深度處理設(shè)備利用附加深度信息的同時(shí)實(shí)現(xiàn)后向兼容性。此外，使用預(yù)測(cè)和殘差圖像編碼允許針對(duì)給定質(zhì)量，以低數(shù)據(jù)速率實(shí)現(xiàn)高效編碼。在圖2的實(shí)例中，深度指示圖的預(yù)測(cè)基于映射。所述映射被配置為從采取圖像空間位置以及與圖像空間位置關(guān)聯(lián)的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)映射到采取深度指示值形式的輸出數(shù)據(jù)。因此，具體可實(shí)現(xiàn)為查找表的映射基于由輸入集中組織的大量參數(shù)定義的輸入數(shù)據(jù)。因此，輸入集可被視為包括多個(gè)參數(shù)值的多維集合。參數(shù)包括空間維度，具體可以包括二維圖像位置，例如水平維度參數(shù)(范圍)和垂直維度參數(shù)(范圍)。具體而言，映射可將圖像區(qū)域分為多個(gè)具有給定橫向和縱向延伸的空間塊。對(duì)于每個(gè)空間塊，映射然后包括一個(gè)或多個(gè)根據(jù)像素值色坐標(biāo)產(chǎn)生的參數(shù)。作為簡(jiǎn)單實(shí)例，除了空間參數(shù)之外，每個(gè)輸入集還可以包括單個(gè)亮度值。因此，在這種情況下，每個(gè)輸入集為具有兩個(gè)空間參數(shù)和一個(gè)亮度參數(shù)的三維集合。對(duì)于各種可能的輸入集，映射提供輸出深度指示值。因此，在具體實(shí)例中，映射可以是從三維輸入數(shù)據(jù)到單個(gè)深度指示(像素)值的映射。因此，該映射提供到適當(dāng)深度指示值的同時(shí)依賴于空間和顏色分量(僅包括亮度分量)的映射。映射處理器211被配置為響應(yīng)于參考圖像和對(duì)應(yīng)參考深度指示圖產(chǎn)生映射。因此，映射不是預(yù)定或固定的映射，而是可根據(jù)參數(shù)圖像/深度圖自動(dòng)和靈活地產(chǎn)生/更新的映射。參考圖像/圖具體可以是視頻序列中的圖像/圖。因此，映射根據(jù)視頻序列中的圖像/圖動(dòng)態(tài)地產(chǎn)生，從而提供針對(duì)特定圖像/圖映射的自動(dòng)適應(yīng)。作為特定實(shí)例，映射可以基于正在編碼的實(shí)際圖像和對(duì)應(yīng)深度指示圖。在該實(shí)例中，可以產(chǎn)生映射以反映輸入與輸入深度指示圖之間的空間和顏色分量關(guān)系。作為特定實(shí)例，映射可以產(chǎn)生為由NX X NY X Ni個(gè)箱(bin)(輸入集)構(gòu)成的三維網(wǎng)格。這種網(wǎng)格方法在應(yīng)用于三維的量化度方面提供巨大靈活性。在實(shí)例中，第三(非空間)維度是僅對(duì)應(yīng)于亮度值的強(qiáng)度參數(shù)。在下面的實(shí)例中，在宏塊級(jí)別上使用28個(gè)強(qiáng)度箱(SP，使用8位值)執(zhí)行深度指示圖預(yù)測(cè)。對(duì)于高清圖像而言，這意味著網(wǎng)格大小為:120x68x256個(gè)箱。每個(gè)箱對(duì)應(yīng)于映射輸入集。對(duì)于參考圖像中的處于位置(X，y)和強(qiáng)度K的每個(gè)輸入像素，首先確定該位置和強(qiáng)度的匹配箱。在實(shí)例中，每個(gè)箱對(duì)應(yīng)于空間水平區(qū)間，空間垂直區(qū)間和強(qiáng)度區(qū)間。匹配箱(即，輸入集)可通過(guò)最近鄰插值判定:
K =[> ],
其中Ix、Iy和I1分別為水平、垂直和強(qiáng)度方向的網(wǎng)格坐標(biāo)，&、Sy和S1為沿這些維度的網(wǎng)格間距(區(qū)間長(zhǎng)度)，[]表示最近整數(shù)運(yùn)算符。因此，在實(shí)例中，映射處理器211判定匹配輸入集/箱，該匹配輸入集/箱具有對(duì)應(yīng)于像素圖像位置的空間區(qū)間以及對(duì)應(yīng)于參考圖像中特定位置上像素強(qiáng)度值的強(qiáng)度值區(qū)間。映射處理器211然后繼續(xù)到響應(yīng)于參考深度指示圖中位置的深度指示值，判定匹配輸入集/箱的輸出深度指示值。具體而言，在構(gòu)造網(wǎng)格期間，深度值D和權(quán)值W均針對(duì)所考慮的每個(gè)新位置進(jìn)行更新(其中Dk表示參考深度指示圖中某個(gè)位置的深度指示值):
電，Iy，Φ D{lx，Iy，Zi)+ Dr (x,y\
計(jì)算(evaluate)完參考圖像/圖的所有像素之后，通過(guò)權(quán)值對(duì)深度指示值進(jìn)行歸一化以導(dǎo)出箱的輸出深度指示值B:
B= D /W,
其中每個(gè)值的數(shù)據(jù)值A(chǔ)包含對(duì)應(yīng)于特定箱/輸入集的位置和輸入強(qiáng)度的輸出深度指示像素值。因此，網(wǎng)格內(nèi)的位置可以通過(guò)參考圖像判定，而網(wǎng)格中存儲(chǔ)的數(shù)據(jù)對(duì)應(yīng)于參考深度指示圖。因此，映射輸入集根據(jù)參考圖像判定，映射輸出數(shù)據(jù)根據(jù)參考深度指示圖判定。在特定實(shí)例中，已存儲(chǔ)的輸出深度指示值是落入輸入集/箱內(nèi)像素的平均深度指示值，但是將理解，在其他實(shí)施例中，可使用其他方法，具體是指更高級(jí)的方法。
在實(shí)例中，自動(dòng)產(chǎn)生映射以將深度反映到參考圖像與深度指示圖之間的空間和像素值關(guān)系。這對(duì)于在參考與被編碼的圖像和深度指示圖密切相關(guān)之時(shí)，根據(jù)圖像預(yù)測(cè)深度指示圖尤其有用。如果參考圖像和指示圖實(shí)際就是被編碼的圖像和指示圖，則這種深度反映也會(huì)特別有用。在這種情況下，所產(chǎn)生的映射自動(dòng)適應(yīng)輸入圖像與深度指示圖之間的特定關(guān)系。因此，雖然圖像與深度指示圖之間的關(guān)系一般無(wú)法提前獲知，但是所述方法可自動(dòng)適應(yīng)關(guān)系，無(wú)需任何現(xiàn)有信息。這樣允許精確的預(yù)測(cè)，從而獲得相對(duì)于輸入深度指示圖的較小差別，因此產(chǎn)生可被更有效編碼的殘差圖像。在被編碼的輸入圖像/圖直接用于產(chǎn)生映射的實(shí)施例中，這些參考一般不能在解碼器端上使用。因此，解碼器自身無(wú)法產(chǎn)生映射。因此，在某些實(shí)施例中，編碼器可進(jìn)一步被配置為包括描述輸出編碼流中至少部分映射的特征的數(shù)據(jù)。例如，在使用固定和預(yù)定的輸入集間隔(即，固定箱)的·情況下，編碼器可以在輸出編碼流中包括所有箱輸出值，例如作為可選層的一部分。盡管這樣可增加數(shù)據(jù)速率，但由于在產(chǎn)生網(wǎng)格之時(shí)執(zhí)行二次取樣，因此開(kāi)銷相對(duì)較低。因此，使用精確的自適應(yīng)預(yù)測(cè)方法實(shí)現(xiàn)的數(shù)據(jù)簡(jiǎn)化可能勝于映射數(shù)據(jù)傳輸導(dǎo)致的任何數(shù)據(jù)速率增加。當(dāng)產(chǎn)生預(yù)測(cè)的深度指示圖時(shí)，預(yù)測(cè)器209可繼續(xù)一次一個(gè)像素地逐一掃描解碼圖像。對(duì)于每個(gè)像素，使用圖像中像素的空間位置和強(qiáng)度值識(shí)別映射的特定輸入集/箱。因此，對(duì)于每個(gè)像素，根據(jù)像素的空間位置和圖像值選擇箱。然后檢索該輸入集/箱的輸出深度指示值，并且在某些實(shí)施例中，這些輸出深度指示值可直接用作像素的深度指示值。但是，由于對(duì)映射進(jìn)行空間二次取樣可能提供特定的馬賽克(blockiness)，因此在許多實(shí)施例中，深度指示值可通過(guò)在多個(gè)輸入箱的輸出深度指示值之間插值產(chǎn)生。例如，也可提取鄰近箱的值(在空間和非空間兩個(gè)方向上)，并且可產(chǎn)生深度指示像素值作為這些值的插值。具體而言，可通過(guò)在空間坐標(biāo)和圖像指定的分?jǐn)?shù)位置上劃分網(wǎng)格來(lái)構(gòu)建預(yù)測(cè)的深度指示圖:
Bb= Fjnt (B (x/S, y/S^ I/S,)),
其中表示適當(dāng)?shù)牟逯颠\(yùn)算符，例如，最鄰近插值或雙三次插值。在許多情況下，圖像可由多個(gè)顏色分量(例如，RGB或YUV)表示。產(chǎn)生映射的實(shí)例在圖4和5中提供。在這些實(shí)例中，圖像深度映射關(guān)聯(lián)使用圖像和深度訓(xùn)練參考建立，并且映射表中的位置通過(guò)圖像中的水平(X)和垂直(y)像素位置以及圖像像素值(例如，圖4實(shí)例中的亮度(Y)和圖5實(shí)例中的熵(E))組合來(lái)判定。如上所述，映射表在指定位置上存儲(chǔ)關(guān)聯(lián)的深度指示訓(xùn)練數(shù)據(jù)。編碼器15因此產(chǎn)生包括編碼圖像的編碼信號(hào)。該圖像具體可以包括在編碼比特流的強(qiáng)制或基本層中。此外，包括這樣的數(shù)據(jù)，其允許在解碼器上根據(jù)編碼圖像有效地產(chǎn)生深度圖像。 在某些實(shí)施例中，該數(shù)據(jù)可以包括可被解碼器使用的數(shù)據(jù)或采取可被解碼器使用的數(shù)據(jù)形式。但是，在其他實(shí)施例中，對(duì)于部分或全部圖像，不包括此映射數(shù)據(jù)。相反，解碼器本身可以根據(jù)先前的圖像產(chǎn)生映射數(shù)據(jù)。所產(chǎn)生的編碼信號(hào)可進(jìn)一步包括深度指示圖的殘差深度指示數(shù)據(jù)，其中殘差圖像數(shù)據(jù)指示對(duì)應(yīng)于圖像的所需深度指示圖與向解碼圖像應(yīng)用映射導(dǎo)致的預(yù)測(cè)深度指示圖之差。所需深度指示圖具體為輸入深度指示圖，因此殘差深度數(shù)據(jù)表示可修改解碼器產(chǎn)生的深度指示圖，以使其更接近地對(duì)應(yīng)于所需深度指示圖(即，對(duì)應(yīng)于對(duì)應(yīng)的輸入深度指示圖)的數(shù)據(jù)。在許多實(shí)施例中，可以有利地將附加殘差深度數(shù)據(jù)包括在可被適當(dāng)配置的解碼器使用并且被不具備所需功能的舊解碼器忽略的可選層(例如，增強(qiáng)層)中。所述方法例如可允許所描述的基于映射的預(yù)測(cè)集成在新的后向兼容視頻格式中。例如，兩個(gè)層都可使用傳統(tǒng)的數(shù)據(jù)變換(例如，waVelet、DCT)操作和量化操作進(jìn)行編碼。幀內(nèi)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)可提高編碼效率。在這種方法中，從圖像到深度的層間預(yù)測(cè)對(duì)其他預(yù)測(cè)進(jìn)行了補(bǔ)充并進(jìn)一步提高增強(qiáng)層的編碼效率。信號(hào)可以具體為例如可以在圖1實(shí)例中的網(wǎng)絡(luò)上分發(fā)或傳輸?shù)谋忍亓?。在某些情況下，信號(hào)可存儲(chǔ)在適當(dāng)?shù)拇鎯?chǔ)介質(zhì)上，例如磁盤(pán)/光盤(pán)上。例如，信號(hào)可以存儲(chǔ)在DVD或BluRay 盤(pán)。在上面的實(shí)例中，映射信息包括在輸出比特流中，從而允許解碼器根據(jù)已接收的圖像再現(xiàn)預(yù)測(cè)。在這種以及其他情況下，使用對(duì)映射的二次取樣尤其有利。實(shí)際上，可有利地使用空間二次取樣，以便不針對(duì)每個(gè)單獨(dú)的像素存儲(chǔ)單獨(dú)的輸出深度值，而是針對(duì)像素組，具體是指針對(duì)像素區(qū)域存儲(chǔ)。在特定實(shí)例中，單獨(dú)的輸出值針對(duì)每個(gè)宏塊存儲(chǔ)。作為替代或補(bǔ)充，可使用輸入非空間維度的二次取樣。在特定實(shí)例中，每個(gè)輸入集可涵蓋圖像中的多個(gè)可能的強(qiáng)度值，從而減少可能的箱數(shù)量。這種二次取樣可對(duì)應(yīng)于在產(chǎn)生映射之前應(yīng)用較粗的量化。這種空間或值二次取樣可顯著降低傳輸映射所需的數(shù)據(jù)速率。但是作為替代或補(bǔ)充，它可以顯著減小編碼器(和對(duì)應(yīng)的解碼器)的資源需求。例如，它可以顯著減小存儲(chǔ)映射所需的存儲(chǔ)空間。在許多實(shí)施例中，它還減少產(chǎn)生映射所需的處理資源。在實(shí)例中，映射的產(chǎn)生基于當(dāng)前的圖像和深度指示圖，S卩，基于正被編碼的圖像和對(duì)應(yīng)深度指示圖，但是，在其他實(shí)施例中，可使用視頻序列中的先前圖像作為參考圖像，以及使用針對(duì)先前圖像視頻序列產(chǎn)生的先前深度指示圖作為參考深度指示圖(或在某些情況下，使用對(duì)應(yīng)的先前輸入深度指示圖)來(lái)產(chǎn)生映射。因此，在某些實(shí)施例中，用于當(dāng)前圖像的映射可以基于先前對(duì)應(yīng)的圖像和深度指示圖。作為實(shí)例，視頻序列可以包括一系列具有相同場(chǎng)景的圖像，因此，連續(xù)圖像之間的差別會(huì)很小。因此，適合于一個(gè)圖像的映射也極有可能適合于后續(xù)圖像。因此，使用先前圖像和深度指示圖作為參考產(chǎn)生的映射也極有可能適用于當(dāng)前圖像。針對(duì)當(dāng)前圖像使用根據(jù)先前圖像的映射的優(yōu)點(diǎn)是:解碼器可單獨(dú)產(chǎn)生映射，因?yàn)檫@樣也能使先前的圖像可用(通過(guò)對(duì)這些圖像進(jìn)行解碼)。因此，無(wú)需包括有關(guān)映射的信息，從而進(jìn)一步降低編碼輸出流的數(shù)據(jù)速率。使用此方法的特定編碼器實(shí)例在圖6中示出。在該實(shí)例中，映射(在特定實(shí)例中為查找表，LUT)根據(jù)先前重建的(延遲τ)圖像和先前重建的(延遲τ)深度指示圖在編碼器和解碼器端二者上構(gòu)建。在此情況下，無(wú)需將任何映射值從編碼器發(fā)送到解碼器。而是，解碼器僅使用已經(jīng)可用的數(shù)據(jù)復(fù)制深度指示圖預(yù)測(cè)過(guò)程。雖然層間預(yù)測(cè)質(zhì)量可能稍有降低，但是由于視頻序列中的后續(xù)幀之間具有高度的時(shí)間相關(guān)性，因此這種降低幅度并不重要。在實(shí)例中，針對(duì)圖像使用yuv420顏色方案，針對(duì)映射使用yuv444/422顏色方案，因此，首先執(zhí)行顏色上轉(zhuǎn)換，然后產(chǎn)生和應(yīng)用LUT (映射)。優(yōu)選地使延遲τ盡可能小，以便提高圖像和深度指示圖盡可能相似的概率。但是，在許多實(shí)施例中，最小值可能依賴于所使用的具體編碼結(jié)構(gòu)，因?yàn)樾枰獯a器能夠根據(jù)已解碼的畫(huà)面產(chǎn)生映射。因此，最佳延遲可能依賴于所使用的GOP (畫(huà)面組)類型，具體是指依賴于所使用的時(shí)間預(yù)測(cè)(運(yùn)動(dòng)補(bǔ)償)。例如，對(duì)于IPPPP G0P, τ可以是單個(gè)圖像延遲，而根據(jù)IBPBP G0P，它將是至少兩個(gè)圖像延遲。在實(shí)例中，圖像中的每個(gè)位置只對(duì)網(wǎng)格的一個(gè)輸入集/箱做出貢獻(xiàn)。但是，在其他實(shí)施例中，映射處理器可以識(shí)別用于產(chǎn)生映射的至少一組圖像位置中的至少一個(gè)位置的多個(gè)匹配輸入集。然后可以響應(yīng)于參考深度指示圖中的位置的深度指示值，確定所有匹配輸入集的輸出深度指示值。具體而言，不使用最近鄰插值來(lái)構(gòu)建網(wǎng)格，單個(gè)數(shù)據(jù)也可以遍布于鄰近箱而非僅遍布于單個(gè)最佳匹配箱。在這種情況下，每個(gè)像素不對(duì)單個(gè)箱做出貢獻(xiàn)，而是對(duì)例如它的所有鄰近箱(在3D網(wǎng)格中，有8個(gè)箱)做出貢獻(xiàn)。所述貢獻(xiàn)例如可以與像素與鄰近箱中心之間的三維距離成反比。圖7示出圖2的編碼器的互補(bǔ)解碼器實(shí)例115，圖8示出其操作方法的實(shí)例。解碼器115包括接收電路701，該接收電路執(zhí)行步驟801，其中從接收器113接收編碼數(shù)據(jù)。在其中圖像編碼數(shù)據(jù)和殘差深度數(shù)據(jù)在不同層編碼的特定實(shí)例中，接收電路被配置為提取和分用圖像編碼數(shù)據(jù)和采取殘差深度指示圖數(shù)據(jù)形式的可選層數(shù)據(jù)。在其中已接收的比特流包括映射信息的實(shí)施例中，接收電路701可進(jìn)一步提取該數(shù)據(jù)。接收電路701與接收編碼圖像數(shù)據(jù)的圖像解碼器703相連。該圖像解碼器然后繼續(xù)到執(zhí)行步驟803，其中對(duì)圖像進(jìn)行解碼。圖像解碼器703將與解碼器109的圖像編碼器205互補(bǔ)并且具體可以是H-264/AVC標(biāo)準(zhǔn)解碼器。圖像解碼器703與接收解碼圖像的解碼預(yù)測(cè)器705相連。解碼預(yù)測(cè)器705進(jìn)一步與解碼映射處理器707相連，該解碼映射處理器被配置為執(zhí)行步驟805，其中針對(duì)解碼預(yù)測(cè)器705產(chǎn)生映射。解碼映射處理器707產(chǎn)生的映射對(duì)應(yīng)于當(dāng)產(chǎn)生殘差深度數(shù)據(jù)時(shí)被編碼器使用的映射。在某些實(shí)施例中，解碼映射處理器707可以僅響應(yīng)于在編碼數(shù)據(jù)流中接收的映射數(shù)據(jù)而產(chǎn)生映射。例如，網(wǎng)格中每個(gè)箱的輸出數(shù)據(jù)值可以在已接收的編碼數(shù)據(jù)流中提供。解碼預(yù)測(cè)器705然后繼續(xù)到執(zhí)行步驟807，其中根據(jù)解碼圖像以及解碼映射處理器707產(chǎn)生的映射產(chǎn)生預(yù)測(cè)的深度指示圖。所述預(yù)測(cè)可遵循編碼器中使用的同一方法。為了簡(jiǎn)潔和清晰起見(jiàn)，該實(shí)例將著重描述簡(jiǎn)化的實(shí)例，其中編碼器僅基于圖像到深度預(yù)測(cè)，因此，產(chǎn)生整個(gè)圖像到深度指示圖的預(yù)測(cè)(因此為整個(gè)殘差深度圖)。但是將理解，在其他實(shí)施例中，此方法可與諸如時(shí)間或空間預(yù)測(cè)之類的其他預(yù)測(cè)方法一起使用。具體而言，將理解，并非將所述方法應(yīng)用于整個(gè)圖像，而是僅將此方法應(yīng)用于個(gè)別圖像區(qū)域或塊，其中圖像到深度預(yù)測(cè)由編碼器選擇。圖9示出如何執(zhí)行預(yù)測(cè)操作的具體實(shí)例。在步驟901，選擇深度指示像中的第一像素位置。然后在步驟903，針對(duì)該像素位置判定映射的輸入集，即，判定網(wǎng)格中的適當(dāng)輸入箱。例如可通過(guò)識(shí)別涵蓋位置所落入的空間區(qū)間以及解碼圖像的解碼像素值所落入的強(qiáng)度區(qū)間的網(wǎng)格來(lái)執(zhí)行此判定。在步驟903之后執(zhí)行步驟905，其中從映射中檢索輸入集的輸出深度值。例如，可使用所判定的輸入集數(shù)據(jù)定址LUT，并且檢索針對(duì)該定址存儲(chǔ)的結(jié)果輸出數(shù)據(jù)。在步驟905之后執(zhí)行步驟907，其中根據(jù)檢索的輸出判定像素深度值。作為簡(jiǎn)單實(shí)例，可將深度值設(shè)為檢索到的深度指示值。在更復(fù)雜的實(shí)施例中，像素深度值可通過(guò)在不同輸入集的多個(gè)輸出深度值之間插值產(chǎn)生(例如，考慮所有鄰近箱以及匹配箱)。此過(guò)程可以針對(duì)深度指示圖中的所有位置重復(fù)，從而導(dǎo)致正被產(chǎn)生的預(yù)測(cè)的深度指示圖。解碼器115然后將繼續(xù)到根據(jù)預(yù)測(cè)的深度指示圖產(chǎn)生輸出深度指示圖。在特定實(shí)例中，輸出深度指示圖通過(guò)考慮已接收的殘差深度指示數(shù)據(jù)產(chǎn)生。因此，接收電路701與接收殘差深度指示數(shù)據(jù)的殘差解碼器709相連，該殘差解碼器繼續(xù)到執(zhí)行步驟809，其中對(duì)殘差深度指示數(shù)據(jù)進(jìn)行解碼以產(chǎn)生解碼的殘差圖像。殘差解碼器709與組合器711相連，該組合器進(jìn)一步與解碼預(yù)測(cè)器705相連。組合器711接收預(yù)測(cè)的深度指示圖和解碼的殘差深度指示圖并繼續(xù)到執(zhí)行步驟811，其中組合這兩個(gè)指示圖以產(chǎn)生輸出深度指示圖。具體而言，該組合器可以逐像素針對(duì)兩個(gè)圖像添加深度值，從而產(chǎn)生輸出深度指示圖。組合器711與輸出電路713相連，該輸出電路執(zhí)行步驟813，其中產(chǎn)生輸出信號(hào)。輸出信號(hào)例如可以是能夠驅(qū)動(dòng)適當(dāng)顯示器(例如，電視機(jī))以呈現(xiàn)圖像或根據(jù)圖像和深度指示圖產(chǎn)生備選圖像的顯示器驅(qū)動(dòng)信號(hào)。例如，可產(chǎn)生對(duì)應(yīng)于不同視點(diǎn)的圖像。在特定實(shí)例中，映射根據(jù)編碼數(shù)據(jù)流中包括的數(shù)據(jù)判定。但是，在其他實(shí)施例中，映射可響應(yīng)于解碼器已接收的先前圖像/圖(例如，視頻序列中的先前圖像和深度指示圖)產(chǎn)生。對(duì)于該先前圖像，解碼器將具有通過(guò)圖像解碼獲取的解碼圖像并將此圖像用作參考圖像。此外，已通過(guò)首先執(zhí)行預(yù)測(cè)，然后使用殘差深度指示圖進(jìn)一步校正預(yù)測(cè)的深度指示圖產(chǎn)生出深度指示圖。因此，所產(chǎn)生的深度指示圖非常接近地對(duì)應(yīng)于編碼器的輸入深度指示圖并可相應(yīng)地用作參考深度指示圖。根據(jù)這兩個(gè)參考圖像，解碼器可使用與編碼器完全相同的方法產(chǎn)生映射。因此，該映射將對(duì)應(yīng)于編碼器使用的映射，從而導(dǎo)致相同的預(yù)測(cè)(因此，殘差深度指示數(shù)據(jù)將精確地反映解碼器預(yù)測(cè)的深度指示圖與編碼器端的輸入深度指示圖之差)。因此，此方法提供始于標(biāo)準(zhǔn)圖像編碼的后向兼容深度編碼。此方法根據(jù)可用圖像數(shù)據(jù)使用深度指示圖的預(yù)測(cè)，從而減少所需的殘差深度信
肩、O此方法使用從不同圖像值到深度值映射的改進(jìn)特征，自動(dòng)考慮了圖像/場(chǎng)景的細(xì)節(jié)。所述方法可針對(duì)特定局部特征提供特別有效的映射適應(yīng)，并且在許多情況下，可以提供特別精確的預(yù)測(cè)。這在圖10的實(shí)例中示出，該實(shí)例示出圖像Y的亮度與對(duì)應(yīng)深度指示圖中的深度D之間的關(guān)系。圖10示出恰好包括三個(gè)不同對(duì)象元素的特定宏塊的關(guān)系。因此，像素亮度與深度之間的關(guān)聯(lián)(通過(guò)多個(gè)點(diǎn)指示)位于三個(gè)不同的群集1001、1003、1005中。簡(jiǎn)單應(yīng)用僅對(duì)關(guān)系執(zhí)行線性回歸，從而產(chǎn)生亮度值與深度值之間的線性關(guān)系，例如由直線1007指示的關(guān)系。但是，此方法對(duì)于至少某些值(例如，屬于群集1003的圖像對(duì)象的值)提供相對(duì)較差的映射/預(yù)測(cè)。與之相對(duì)，上述方法將產(chǎn)生精確得多的映射，例如直線1009指示的映射。該映射更精確地反映所有群集的特征和適當(dāng)映射，從而導(dǎo)致改進(jìn)的映射。實(shí)際上，該映射不僅提供與群集對(duì)應(yīng)的精確亮度結(jié)果，而且還精確地預(yù)測(cè)亮度之間的關(guān)系，例如1011指示的區(qū)間。此類映射可通過(guò)插值獲取。此外，可根據(jù)參考圖像/圖(在具體情況下，根據(jù)兩個(gè)參考宏塊)執(zhí)行簡(jiǎn)單處理以自動(dòng)判定此類精確映射信息。另外，編碼器和解碼器可根據(jù)先前的圖像獨(dú)立地判定精確映射，無(wú)需在數(shù)據(jù)流中包括映射信息。這樣可以最小化映射開(kāi)銷。在上面實(shí)例中，此方法針對(duì)圖像和深度指示圖用作解碼器的一部分。但是將理解，所述原理可用于許多其他應(yīng)用和情況。例如，此方法可用于僅根據(jù)圖像產(chǎn)生深度指示圖。例如，適當(dāng)?shù)木植繀⒖紙D像和深度指示圖可在局部選擇以用于產(chǎn)生適當(dāng)映射。然后將映射應(yīng)用于圖像以產(chǎn)生深度指示圖(例如，使用插值)。然后使用所獲得的深度指示圖呈現(xiàn)圖像(例如，利用已改變的視點(diǎn))。另外將理解，在某些實(shí)施例中，解碼器不會(huì)考慮任何殘差數(shù)據(jù)(因此，編碼器不需要產(chǎn)生殘差數(shù)據(jù))。實(shí)際上，在許多實(shí)施例中，通過(guò)對(duì)解碼圖像應(yīng)用映射產(chǎn)生的深度指示圖可直接用作輸出深度指示圖，無(wú)需任何進(jìn)一步的修改或增強(qiáng)。所述方法可用于許多不同的應(yīng)用和情況，例如可用于根據(jù)圖像視頻信號(hào)動(dòng)態(tài)地產(chǎn)生實(shí)時(shí)深度指示圖信號(hào)。例如，解碼器115可在機(jī)頂盒或其他包含接收視頻信號(hào)的輸入接連器以及輸出帶有關(guān)聯(lián)深度指示圖信號(hào)的視頻信號(hào)的輸出連接器的裝置中實(shí)現(xiàn)。作為特定實(shí)例，所述視頻信號(hào)可存儲(chǔ)在可被Bluray 播放器讀取的Bluray 盤(pán)上。Bluray 播放器可通過(guò)HDMI線纜連接到機(jī)頂盒，所述機(jī)頂盒然后產(chǎn)生深度指示圖。所述機(jī)頂盒可通過(guò)另一 HDMI連接器連接到顯示器(例如電視機(jī))。在某些情況下，解碼器或深度指示圖產(chǎn)生功能可作為信號(hào)源的一部分而被包括，例如Bluray 播放器或其他媒體播放器。作為另一備選，此功能可實(shí)現(xiàn)為諸如計(jì)算機(jī)監(jiān)視器或電視機(jī)之類的顯示器的一部分。因此，顯示器可接收能修改為根據(jù)局部產(chǎn)生的深度指示圖提供不同圖像的圖像流。因此，可以提供諸如媒體播放器或顯示器(例如提供明顯改善的用戶體驗(yàn)的計(jì)算機(jī)監(jiān)視器或電視機(jī))之類的信號(hào)源。在特定描述的實(shí)例中，映射的輸入數(shù)據(jù)只存在于兩個(gè)空間維度和單個(gè)像素值維度中，所述像素值維度表示例如可對(duì)應(yīng)于該像素亮度值或?qū)?yīng)于顏色通道強(qiáng)度值的強(qiáng)度值。但是更一般地說(shuō)，映射輸入可以包括圖像像素色坐標(biāo)的組合。每個(gè)色坐標(biāo)可以僅對(duì)應(yīng)于一個(gè)像素值，例如對(duì)應(yīng)于RGB信號(hào)的R、G和B值之一，或者對(duì)應(yīng)于YUV信號(hào)的Y、U、V值之一。在某些實(shí)施例中，所述組合可以僅對(duì)應(yīng)于選擇色坐標(biāo)值之一，即，它可以對(duì)應(yīng)于其中所有遠(yuǎn)離選定色坐標(biāo)值的色坐標(biāo)按零權(quán)值加權(quán)的組合。在其他實(shí)施例中，所述組合可以是單個(gè)像素的多個(gè)色坐標(biāo)的組合。具體而言，可以僅組合RGB信號(hào)的色坐標(biāo)以產(chǎn)生亮度值。在其他實(shí)施例中，可使用更靈活的方法，例如具有以下特征的加權(quán)亮度值:其中考慮所有顏色通道，但是形成網(wǎng)格的顏色通道的權(quán)重大于其他顏色通道。在某些實(shí)施例中，所述組合可以考慮多個(gè)像素位置上的像素值。例如，可產(chǎn)生單個(gè)亮度值，其不僅考慮被處理位置的像素的亮度，也考慮其他像素的亮度。
實(shí)際上，在某些實(shí)施例中，可產(chǎn)生不僅反映特定像素特征，而且還反映像素位置特征(具體是指反映此類特征如何圍繞像素變化)的組合值。作為實(shí)例，亮度或顏色強(qiáng)度梯度分量可包括在組合中。例如，產(chǎn)生組合值時(shí)可考慮當(dāng)前像素值亮度與每個(gè)周圍像素亮度之差。進(jìn)一步地，可判定與所述周圍像素的外圍像素(即，下一同心層)亮度之差。然后使用加權(quán)求和法對(duì)這些差別進(jìn)行求和，其中權(quán)值取決于到當(dāng)前像素的距離。權(quán)值可以進(jìn)一步取決于空間方向，例如通過(guò)對(duì)相反方向的差別應(yīng)用相反符號(hào)。可以將此類基于組合差的值視為指示實(shí)施特定像素周圍的可能亮度梯度。因此，應(yīng)用此類空間增強(qiáng)映射可允許根據(jù)圖像產(chǎn)生的深度指示圖考慮空間變化，從而允許其更精確的反映此類空間變化。作為另一實(shí)例，可產(chǎn)生組合值以反映包括當(dāng)前像素位置的圖像區(qū)域的紋理特征。此類組合值例如可通過(guò)判定小型周圍區(qū)域上的像素值變化產(chǎn)生。作為另一實(shí)例，當(dāng)判定組合值時(shí)，可檢測(cè)到重復(fù)圖案并考慮這些重復(fù)圖案。實(shí)際上，在許多實(shí)施例中，組合值可以有利地反映當(dāng)前像素值周圍像素值的變化指示。例如，變化可直接判定并用作輸入值。作為另一實(shí)例，所述組合可以是局部熵值之類的參數(shù)。所述熵是隨機(jī)性的統(tǒng)計(jì)度量，例如可用于描述輸入圖像紋理的特征(除該實(shí)例之外，可使用其他紋理或?qū)ο笞R(shí)別度量，例如對(duì)全部可對(duì)預(yù)測(cè)做出貢獻(xiàn)的鄰邊或鄰角度量求和(需要根據(jù)(粗)方向和與當(dāng)前位置的距離進(jìn)一步整理，例如指示局部點(diǎn)或像素區(qū)域位于鋸齒形邊緣的左側(cè))，無(wú)論位于單獨(dú)的映射/查找表中還是位于聚合映射/查找表中)。熵值"例如可計(jì)算為:
權(quán)利要求
1.一種編碼與圖像關(guān)聯(lián)的深度指示圖的方法，所述方法包括: 接收(301)所述深度指不圖； 響應(yīng)于參考圖像和對(duì)應(yīng)參考深度指示圖，產(chǎn)生(307)將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射；以及 響應(yīng)于所述映射，通過(guò)編碼所述深度指示圖產(chǎn)生(307-315)輸出編碼數(shù)據(jù)流。
2.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括: 接收所述圖像； 響應(yīng)于所述映射，根據(jù)所述圖像預(yù)測(cè)(309)預(yù)測(cè)的深度指示圖； 響應(yīng)于所述預(yù)測(cè)的深度指示圖和所述圖像，產(chǎn)生(313)殘差深度指示圖； 編碼所述殘差深度指示圖以產(chǎn)生編碼深度數(shù)據(jù)；以及 將所述編碼深度數(shù)據(jù)包括(315)在所述輸出編碼數(shù)據(jù)流中。
3.根據(jù)權(quán)利要求1或2的方法，其中所述圖像為視頻序列中的圖像，并且所述方法包括使用所述視頻序列中的先前圖像作為參考圖像，并使用針對(duì)所述先前圖像產(chǎn)生的先前深度指示圖作為所述參考深度指示圖產(chǎn)生所述映射。
4.根據(jù)權(quán)利要求1、2或3的方法，其中每個(gè)輸入集對(duì)應(yīng)于每個(gè)空間圖像維度的空間區(qū)間和所述組合的至少一個(gè)值區(qū)間，并且產(chǎn)生所述映射包括針對(duì)所述參考圖像的至少一組圖像位置中的每個(gè)圖像位置: 判定至少一個(gè)匹配輸入集，其具有對(duì)應(yīng)于所述每個(gè)圖像位置的空間區(qū)間和對(duì)應(yīng)于所述圖像中每個(gè)圖像位置組合值的所述組合的值區(qū)間；以及 響應(yīng)于所述參考深度指示圖中所述每個(gè)圖像位置的深度指示值，判定所述匹配輸入集的輸出深度指示值。
5.根據(jù)權(quán)利要求1、2、3或4的方法，其中所述映射為以下至少一項(xiàng): 空間二次取樣映射； 時(shí)間二次取樣映射；以及 組合值二次取樣映射。
6.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括: 接收所述圖像； 響應(yīng)于所述映射，根據(jù)所述圖像產(chǎn)生所述深度指示圖的預(yù)測(cè)；以及響應(yīng)于所述深度指示圖與所述預(yù)測(cè)的比較，適應(yīng)所述映射和所述殘差深度指示圖的至少一項(xiàng)。
7.根據(jù)權(quán)利要求1或2的方法，其中所述圖像為所述參考圖像，所述參考深度指示圖為所述深度指示圖。
8.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括對(duì)所述圖像進(jìn)行編碼，其中所述圖像和所述深度指示圖聯(lián)合編碼，其中所述圖像的編碼不依賴于所述深度指示圖，所述深度指示圖使用所述圖像的數(shù)據(jù)進(jìn)行編碼，所述編碼數(shù)據(jù)被分為單獨(dú)的數(shù)據(jù)流，其中包括包含所述圖像數(shù)據(jù)的主數(shù)據(jù)流和包含所述深度指示圖數(shù)據(jù)的次數(shù)據(jù)流，其中所述主數(shù)據(jù)流和次數(shù)據(jù)流多路復(fù)用到所述輸出編碼數(shù)據(jù)流，并且為所述主數(shù)據(jù)流和次數(shù)據(jù)流的數(shù)據(jù)提供單獨(dú)代碼。
9.一種產(chǎn)生圖像的深度指示圖的方法，所述方法包括:接收(801)所述圖像； 提供(805)將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射，所述映射反映參考圖像與對(duì)應(yīng)參考深度指不圖之間的關(guān)系；以及 響應(yīng)于所述圖像和所述映射，產(chǎn)生(807-813)所述深度指示圖。
10.根據(jù)權(quán)利要求9的方法，其中產(chǎn)生所述深度指示圖包括針對(duì)至少部分預(yù)測(cè)的深度指示圖的每個(gè)位置，通過(guò)以下操作判定至少部分所述預(yù)測(cè)的深度指示圖: 判定至少一個(gè)匹配所述每個(gè)位置以及關(guān)聯(lián)于所述每個(gè)位置的像素值色坐標(biāo)的第一組合的匹配輸入集； 從所述映射中檢索所述至少一個(gè)匹配輸入集的至少一個(gè)輸出深度指示值，以及 響應(yīng)于所述至少一個(gè)輸出深度指示值，判定所述預(yù)測(cè)的深度指示圖中所述每個(gè)位置的深度指示值；以及 響應(yīng)于至少部分所述預(yù)測(cè)的深度指示圖，判定所述深度指示圖。
11.根據(jù)權(quán)利要求9或10的方法，其中所述圖像為視頻序列中的圖像，并且所述方法包括使用所述視頻序列中的先前圖像作為參考圖像，并使用針對(duì)所述先前圖像產(chǎn)生的先前深度指示圖作為所述參考深度指示圖產(chǎn)生所述映射。
12.根據(jù)權(quán)利要求11的方法，其中所述先前深度指示圖進(jìn)一步響應(yīng)于所述先前深度指示圖相對(duì)于所述先前圖像的預(yù)測(cè)深度數(shù)據(jù)的殘差深度數(shù)據(jù)而產(chǎn)生。
13.根據(jù)權(quán)利要求9或10的方法，其中所述圖像為視頻序列中的圖像，并且所述方法進(jìn)一步包括使用所述視頻序列中的至少某些圖像的標(biāo)稱映射。
14.根據(jù)權(quán)利要求9的方法，其中所述組合指示所述圖像空間位置的紋理、梯度和空間像素值變化中的至少一項(xiàng)。
15.根據(jù)權(quán)利要求9的方法，其中所述深度指示圖與多視像中的第一視像關(guān)聯(lián)，所述方法進(jìn)一步包括: 響應(yīng)于所述深度指示圖，產(chǎn)生所述多視像中的第二視像的進(jìn)一步的深度指示圖。
16.一種對(duì)與圖像關(guān)聯(lián)的深度指示圖進(jìn)行編碼的設(shè)備，所述設(shè)備包括: 接收器(203)，用于接收所述深度指示圖； 映射產(chǎn)生器(211)，用于響應(yīng)于參考圖像和對(duì)應(yīng)參考深度指示圖，產(chǎn)生將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射；以及 輸出處理器(209、213、215、217)，用于響應(yīng)于所述映射，對(duì)所述深度指示圖進(jìn)行編碼來(lái)產(chǎn)生輸出編碼數(shù)據(jù)流。
17.一種裝置，包括: 根據(jù)權(quán)利要求16的設(shè)備； 輸入連接構(gòu)件，用于接收包括所述深度指示圖的信號(hào)以及將此信號(hào)饋入根據(jù)權(quán)利要求16的設(shè)備；以及 輸出連接構(gòu)件，用于從根據(jù)權(quán)利要求16的設(shè)備輸出所述輸出編碼數(shù)據(jù)流。
18.—種產(chǎn)生圖像的深度指示圖的設(shè)備，所述設(shè)備包括:接收器(701)，用于接收所述圖像； 映射處理器(707)，用于提供將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射，所述映射反映參考圖像與對(duì)應(yīng)參考深度指不圖之間的關(guān)系；以及 圖像產(chǎn)生器(709、711、713)，用于響應(yīng)于所述圖像和所述映射，產(chǎn)生所述深度指示圖。
19.一種裝置,包括: 根據(jù)權(quán)利要求18的設(shè)備； 輸入連接構(gòu)件，用于接收所述圖像以及將此圖像饋入根據(jù)權(quán)利要求18的設(shè)備；以及 輸出連接構(gòu)件，用于從根據(jù)權(quán)利要求18的設(shè)備輸出包括所述深度指示圖的信號(hào)。
20.—種編碼信號(hào),包 括: 編碼圖像；以及 深度指示圖的殘差深度數(shù)據(jù)，至少部分所述殘差深度數(shù)據(jù)指示所述圖像的所需深度指示圖與向所述編碼圖像應(yīng)用映射導(dǎo)致的預(yù)測(cè)深度指示圖之差，其中所述映射將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)，所述映射反映參考圖像與對(duì)應(yīng)參考深度指示圖之間的關(guān)系。
21.一種包括根據(jù)權(quán)利要求20的所述編碼信號(hào)的存儲(chǔ)介質(zhì)。
全文摘要
提供一種根據(jù)圖像產(chǎn)生深度指示圖的方法。所述產(chǎn)生使用將采取圖像空間位置以及關(guān)聯(lián)于所述圖像空間位置的像素值色坐標(biāo)組合的輸入集形式的輸入數(shù)據(jù)與采取深度指示值形式的輸出數(shù)據(jù)進(jìn)行關(guān)聯(lián)的映射執(zhí)行。所述映射根據(jù)參考圖像和對(duì)應(yīng)參考深度指示圖產(chǎn)生。因此，根據(jù)對(duì)應(yīng)參考圖像產(chǎn)生從圖像到深度指示圖的映射。所述方法可用于在編碼器和解碼器中根據(jù)圖像預(yù)測(cè)深度指示圖。具體而言，所述方法可用于產(chǎn)生深度指示圖預(yù)測(cè)并且用于提供改進(jìn)的深度指示圖編碼，所述深度指示圖允許產(chǎn)生殘差圖像。
文檔編號(hào)H04N13/00GK103181171SQ201180053135
公開(kāi)日2013年6月26日 申請(qǐng)日期2011年10月25日 優(yōu)先權(quán)日2010年11月4日
發(fā)明者W.H.A.布魯伊斯, R.T.J.穆伊斯 申請(qǐng)人:皇家飛利浦電子股份有限公司