專利名稱：一種用于三維立體電視的深度視頻壓縮的上采樣方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于三維立體電視的深度視頻壓縮的上采樣方法，屬于視頻編碼 領(lǐng)域。
背景技術(shù)：
三維立體電視是新一代的交互式媒體服務(wù)，給用戶帶來全新的觀看體驗(yàn)用戶可 以自由地選擇觀看的視點(diǎn)并且隨時(shí)在不同視點(diǎn)間進(jìn)行切換；可以在不佩戴眼鏡的情況下獲 得三維的場景體驗(yàn)和感受。同傳統(tǒng)二維電視相比，在視覺效果和用戶交互性上的巨大優(yōu)勢， 使得三維立體電視成為研究的熱點(diǎn)，迅速發(fā)展和普及，將成為繼數(shù)字電視后廣播網(wǎng)絡(luò)和寬 帶網(wǎng)絡(luò)上新一代交互式媒體的重要應(yīng)用。目前一種通用的三維立體電視傳輸技術(shù)為“視頻+深度”技術(shù)傳輸一路表達(dá)紋理 的彩色視頻，并且傳輸一路與其對應(yīng)的深度視頻來表達(dá)彩色視頻中每個(gè)像素點(diǎn)的縱向深度 信息。其中彩色視頻為傳統(tǒng)的彩色視頻；深度視頻是與彩色視頻“像素-像素”對應(yīng)的，且 每個(gè)像素的值在O 255范圍內(nèi)的灰度視頻。和傳統(tǒng)視頻壓縮編碼相比，“視頻+深度”技術(shù)需要多傳輸一路深度視頻，因此相對 傳統(tǒng)視頻壓縮編碼，三維立體視頻需要對深度視頻的高效率壓縮。深度視頻的作用是給出 每個(gè)像素點(diǎn)的深度信息，因此深度視頻具有會(huì)對三維視覺效果造成影響的兩個(gè)要求1)深 度圖中的物體要求有清晰地邊緣，來保證物體邊緣的深度信息正確；2) —個(gè)物體內(nèi)部，局 部具有相同的深度值，否則在合成立體效果的時(shí)候，會(huì)產(chǎn)生一些噪點(diǎn)。在深度視頻壓縮的過 程中，應(yīng)該盡量保證上述兩點(diǎn)，這樣才能保證良好的三維效果。此外，深度視頻相對傳統(tǒng)視 頻，紋理信息少，因此可以壓縮至比較小的碼率。目前，很多編碼方案使用傳統(tǒng)的視頻壓縮方法對深度視頻進(jìn)行壓縮，然而這些方 法不能很好的保證深度視頻的兩個(gè)特殊的質(zhì)量要求。目前較多研究的壓縮方式是通過降低 深度視頻分辨率的方式對其進(jìn)行壓縮首先對其進(jìn)行下采樣降低分辨率，之后進(jìn)行編碼壓 縮，然后再解碼之后對其進(jìn)行上采樣恢復(fù)原分辨率。由于深度視頻的紋理信息較少，因此只 要有較好的上采樣方法，深度圖的質(zhì)量不會(huì)受到很大的影響。這個(gè)過程的關(guān)鍵實(shí)在上采樣 的過程中，大部分研究使用傳統(tǒng)的上采樣方法，但是由于其忽略了深度視頻和彩色視頻的 對應(yīng)關(guān)系，從而恢復(fù)邊緣的時(shí)候不能得到準(zhǔn)確的邊緣值，且一定程度上破壞了深度圖局部 一致的特性。有部分研究探究了使用彩色視頻指導(dǎo)深度視頻上采樣的方法，然而，這些方法 基于一些特定的下采樣方法，且沒有進(jìn)一步考慮保證深度圖的局部一致性。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種用于三維立體電視的深度視頻壓縮的上采樣方法，以應(yīng) 對多種下采樣方法產(chǎn)生的低分辨率深度視頻，既可應(yīng)對效果好卻復(fù)雜度高的SVC下采樣， 也可處理簡單但是卻粗糙的下采樣方法，而且提高重構(gòu)的深度視頻質(zhì)量。本發(fā)明提出的用于三維立體電視的深度視頻壓縮的上采樣方法，包括以下步驟
(1)將大小等于原始深度圖的待重構(gòu)深度圖分割成為多個(gè)上采樣單元，上采樣單 元的像素等于α X α，α為下采樣率，α取值范圍為2 6 ；(2)對上述上采樣單元中的像素點(diǎn)劃分為已知像素點(diǎn)和未知像素點(diǎn)，使上采樣單 元中左上角的像素點(diǎn)為已知像素點(diǎn)，其余像素點(diǎn)為未知像素點(diǎn)；(3)對上述已知像素點(diǎn)使用與下采樣方法相對應(yīng)的上采樣方法計(jì)算，得到該已知 像素點(diǎn)的深度值；對未知像素點(diǎn)的深度值的計(jì)算方法為由該未知像素點(diǎn)所在的上采樣單 元的已知像素點(diǎn)的深度值與相鄰的右方、下方和右下方的上采樣單元的已知像素點(diǎn)的深度 值由下式加權(quán)平均得到
權(quán)利要求
一種用于三維立體電視的深度視頻壓縮的上采樣方法，其特征在于該方法包括以下步驟(1)將大小等于原始深度圖的待重構(gòu)深度圖分割成為多個(gè)上采樣單元，上采樣單元的像素等于α×α，α為下采樣率，α取值范圍為2～6；(2)對上述上采樣單元中的像素點(diǎn)劃分為已知像素點(diǎn)和未知像素點(diǎn)，使上采樣單元中左上角的像素點(diǎn)為已知像素點(diǎn)，其余像素點(diǎn)為未知像素點(diǎn)；(3)對上述已知像素點(diǎn)使用與下采樣方法相對應(yīng)的上采樣方法計(jì)算，得到該已知像素點(diǎn)的深度值；對未知像素點(diǎn)的深度值的計(jì)算方法為由該未知像素點(diǎn)所在的上采樣單元的已知像素點(diǎn)的深度值與相鄰的右方、下方和右下方的上采樣單元的已知像素點(diǎn)的深度值由下式加權(quán)平均得到其中，已知像素點(diǎn)[i]表示第i個(gè)像素點(diǎn)，i是范圍為1～4，已知像素點(diǎn)[1]為該未知像素點(diǎn)所在上采樣單元的已知像素點(diǎn)，已知像素點(diǎn)[2]、已知像素點(diǎn)[3]和已知像素點(diǎn)[4]分別為該未知像素點(diǎn)的右方、下方和右下方的上采樣單元的已知像素點(diǎn)，權(quán)重[i]為已知像素點(diǎn)[i]對應(yīng)的權(quán)重；權(quán)重為歸一化后的相似度，定義如下顏色差[i]＝|已知像素點(diǎn)[i]的顏色值 未知像素點(diǎn)(x，y)的顏色值|距離[i]＝|未知像素點(diǎn)的行位置 已知像素點(diǎn)[i]的行位置| +|未知像素點(diǎn)的列位置 已知像素點(diǎn)[i]的列位置|(4)根據(jù)上述各上采樣單元中各像素點(diǎn)的深度值，得到一個(gè)初始重構(gòu)深度圖；(5)對上述初始重構(gòu)深度圖進(jìn)行局部平滑處理，得到重構(gòu)深度圖，平滑處理公式如下其中，dl是像素點(diǎn)(x，y)和像素點(diǎn)(x 1，y)的深度值之差的絕對值，dr是像素點(diǎn)(x，y)和像素點(diǎn)(x+1，y)的深度值之差的絕對值，β為平滑閾值，β的范圍分為2～6。FSA00000331345600011.tif,FSA00000331345600012.tif,FSA00000331345600013.tif,FSA00000331345600021.tif
全文摘要
本發(fā)明涉及一種用于三維立體電視的深度視頻壓縮的上采樣方法，屬于視頻編碼領(lǐng)域。首先基于彩色視頻對深度視頻進(jìn)行上采樣，使具有類似顏色的像素點(diǎn)具有更相似的深度值，從而保證更加精準(zhǔn)的物體邊緣深度值。然后對上述重構(gòu)出來的深度視頻進(jìn)行局部平滑，進(jìn)而減少合成三維效果中的噪點(diǎn)。本發(fā)明的優(yōu)點(diǎn)是利用了深度視頻和彩色視頻之間的關(guān)系，讓恢復(fù)的深度視頻具有更清晰的物體邊緣和更好的局部平滑特性，從而能夠得到更好的三維立體視覺效果。并且由于該上采樣方法對多種下采樣方法均有效，使用這種方法，可以很好的提高壓縮速度快且目標(biāo)碼率很小的深度視頻的質(zhì)量。
文檔編號H04N7/26GK101969564SQ201010531029
公開日2011年2月9日 申請日期2010年10月29日 優(yōu)先權(quán)日2010年10月29日
發(fā)明者孫立峰, 李彥潔 申請人:清華大學(xué)