專利名稱：一種用于三維立體視頻的深度快速插幀方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于三維立體視頻的深度快速插幀方法，屬于視頻處理技術(shù)領(lǐng)域。
背景技術(shù)：
三維立體視頻已經(jīng)在眾多應(yīng)用中代替?zhèn)鹘y(tǒng)的二維彩色電視，因為它能夠給用戶帶來全新的觀看體驗用戶可以獲得更真實的三維場景體驗和感受，可以自由地選擇觀看的視點并且隨時在不同視點間進行切換。同傳統(tǒng)二維視頻相比，三維立體視頻在視覺效果和用戶交互性上的巨大優(yōu)勢，使得三維立體視頻成為研究的熱點，得到迅速發(fā)展和普及。目前一種常用的三維立體視頻顯示技術(shù)為“視頻+深度”技術(shù)使用一路彩色視頻來表達(dá)紋理信息，并且使用一路與其對應(yīng)的深度視頻來表達(dá)彩色視頻中每個像素點的縱向深度信息。其中彩色視頻為傳統(tǒng)的彩色視頻；深度視頻是與彩色視頻“像素-像素”對應(yīng)的，且每個像素的值在O 255范圍內(nèi)的灰度視頻。實際應(yīng)用中，要求深度視頻具有和彩色視頻相同的幀率，然而由于深度視頻的采集設(shè)備、合成算法等的限制，采集到的深度視頻通常具有較低的幀率。此外，出于三維立體視頻壓縮方面的考慮，深度視頻也經(jīng)常在壓縮傳輸之前對其降低幀率，而在解碼之后恢復(fù)幀率進行應(yīng)用。綜上所述，深度視頻的插幀是其實際應(yīng)用中非常重要的技術(shù)。深度視頻的作用是給出每個像素點的深度信息，因此深度視頻具有會對三維視覺效果造成影響的兩個要求I)深度圖中的物體要求有清晰地邊緣；2)—個物體內(nèi)部，局部具有相同的深度值。在深度視頻壓縮的過程中，應(yīng)該盡量保證上述兩點，這樣才能保證良好的三維效果，否則在合成立體效果的時候，會產(chǎn)生一些噪點。因此，深度視頻插幀算法需要盡可能的保證以上兩點要求。作為一個傳統(tǒng)的問題，視頻插幀已經(jīng)具有幾十年的研究歷史，其中插幀效果最好，最廣泛應(yīng)用的方法為基于塊運動估計的幀填充算法。然而傳統(tǒng)的基于塊運動估計的幀填充算法具有一些明顯的缺陷1)運動估計的時間開銷很大，從而導(dǎo)致插幀效率很低；2)直接利用深度視頻進行運動估計不夠準(zhǔn)確。為了克服第二個問題，一些方法提出使用高幀率的彩色視頻的來進行塊運動估計，來得到更為準(zhǔn)確的插幀效果。但使用彩色視頻進行運動估計，進一步增大的了運動估計的時間開銷。因此，為滿足實際應(yīng)用的要求，需要提出一個快速的深度視頻插幀算法。本文算法，將插幀過程與視頻編碼過程結(jié)合起來，并且改進了插幀中的填充算法，最終在保證高插幀質(zhì)量的情況下，大大提高了插幀速度。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種用于三維立體視頻的深度快速插幀方法，以應(yīng)對各種原因造成的低幀率深度視頻，既可應(yīng)對采集設(shè)備造成的低幀率，也可處理由于深度圖片合成速度較低只能合成關(guān)鍵幀的缺陷，并且可以用于為編碼壓縮深度視頻而特意降低的深度視頻幀率。
本發(fā)明提出的用于三維立體視頻的深度快速插幀方法，包括以下步驟(I)設(shè)定一個三維立體視頻中彩色視頻的編碼結(jié)構(gòu)，使采集到的三維立體視頻中深度視頻幀與采集到的三維立體視頻中彩色視頻的I幀和P幀相對應(yīng)，使待插的三維立體視頻中深度視頻幀與采集到的三維立體視頻中彩色視頻的B幀相對應(yīng)，初始化待插的深度視頻幀的每個像素點的深度值為-I ；(2)將上述三維立體視頻中彩色視頻的B幀分成多個4X4的彩色像素塊，從三維立體視頻彩色視頻的碼流中，讀取彩色視頻的B幀中每個彩色像素塊在時序相鄰的I幀或P幀中的對應(yīng)的彩色像素塊的位置改變量，若讀取到對應(yīng)的彩色像素塊，則進行步驟(3)，若讀取不到相關(guān)信息，則與該彩色像素塊相對應(yīng)的待插深度像素塊的每個像素點的深度值保持不變；(3)根據(jù)上述讀取的彩色像素塊位置改變量，(I)若在時序相鄰的前后I幀或P幀中存在一個對應(yīng)的彩色像素塊，則采用以下 方法，對與該彩色像素塊相對應(yīng)的深度像素塊進行填充，該方法包括以下步驟( 3-1)設(shè)待插深度視頻幀為D，待填充的深度像素塊為K，與K對應(yīng)的彩色像素塊為與待插深度視頻幀為D對應(yīng)的彩色視頻幀F(xiàn)中的像素塊Γ，從彩色視頻的碼流中讀取Γ在時序相鄰的彩色視頻幀F(xiàn)k中對應(yīng)的彩色像素塊K/，設(shè)與彩色視頻幀F(xiàn)k對應(yīng)的深度視頻幀為DK，得到深度視頻幀Dk中位置與彩色像素塊K/相同的深度像素塊Kk ；(3-2)計算彩色像素塊Γ和K/中各對應(yīng)的像素點顏色值差的絕對值的和，記為SAD,
權(quán)利要求
1.一種用于三維立體視頻的深度快速插幀方法，其特征在于該方法包括以下步驟 (1)設(shè)定一個三維立體視頻中彩色視頻的編碼結(jié)構(gòu)，使采集到的三維立體視頻中深度視頻幀與采集到的三維立體視頻中彩色視頻的I幀和P幀相對應(yīng)，使待插的三維立體視頻中深度視頻幀與采集到的三維立體視頻中彩色視頻的B幀相對應(yīng)，初始化待插的深度視頻幀的每個像素點的深度值為-I ; (2)將上述三維立體視頻中彩色視頻的B幀分成多個4X4的彩色像素塊，從三維立體視頻彩色視頻的碼流中，讀取彩色視頻的B幀中每個彩色像素塊在時序相鄰的I幀或P幀中的對應(yīng)的彩色像素塊的位置改變量，若讀取到對應(yīng)的彩色像素塊，則進行步驟(3)，若讀取不到相關(guān)信息，則與該彩色像素塊相對應(yīng)的待插深度像素塊的每個像素點的深度值保持不變； (3)根據(jù)上述讀取的彩色像素塊位置改變量， (I )若在時序相鄰的前后I幀或P幀中存在一個對應(yīng)的彩色像素塊，則采用以下方法，對與該彩色像素塊相對應(yīng)的深度像素塊進行填充，該方法包括以下步驟 (3-1)設(shè)待插深度視頻幀為D，待填充的深度像素塊為K，與K對應(yīng)的彩色像素塊為與待插深度視頻幀為D對應(yīng)的彩色視頻幀F(xiàn)中的像素塊K'，從彩色視頻的碼流中讀取K'在時序相鄰的彩色視頻幀F(xiàn)k中對應(yīng)的彩色像素塊K/，設(shè)與彩色視頻幀F(xiàn)k對應(yīng)的深度視頻幀為De,得到深度視頻幀Dk中位置與彩色像素塊K/相同的深度像素塊Kk ； (3-2)計算彩色像素塊K'和K/中各對應(yīng)的像素點顏色值差的絕對值的和，記為SAD， SAD = ^2 cK'J)-CK. (h j) 7=0 /=OR 其中CK, (i, j)表示彩色像素塊K'中像素點(i, j)的顏色值，i為該彩色像素點在K'中的橫坐標(biāo)，j為該彩色像素點在K'中的縱坐標(biāo),為彩色像素塊K/中像素點(i, j)的顏色值； (3-3)設(shè)定一個判斷閾值，判斷閾值的取值為10 20之間的任意數(shù)，將上述SAD與判斷閾值進行比較，若SAD小于判斷閾值，則將深度像素塊Kk填充到深度像素塊K中，若SAD大于或等于判斷閾值，則使用以下步驟進行填充 (3-3-1)將像素塊Kk擴展為8X8的超大深度像素塊SBk，并在彩色視頻幀F(xiàn)k中找的與超大深度像素塊SBk位置相同的超大彩色像素塊SBk，； (3-3-2)設(shè)定一個彩色值變量C，變量c的取值范圍為0 255，若超大彩色像素塊SB/中至少有一個像素點的彩色值為C，則計算SB/中所有彩色值為c的像素點在超大深度像素塊SBk中對應(yīng)的像素點的深度值的平均值，定義該平均值為dv[c]，并記錄一個標(biāo)志變量m[c]為I ;若超大彩色像素塊SB/中沒有彩色值為c的像素點，則將平均值dv[c]賦值為零，標(biāo)志變量m[c]賦值為0 ; (3-3-3)從與待填充的深度像素塊K相對應(yīng)的彩色像素塊K'中，找到彩色像素點(u, v)的彩色值c (U，V)，定義g為一個高斯核，Q為以c(u，v)為中心的顏色搜索范圍，根據(jù)上述計算得到的平均值dv[c]和標(biāo)志變量m[c]，計算兩個中間變量depthSum= E c G ^dv (c)m(c) g (| |c_c(u, v) | |)weightSum= E c e (c) g (| | c_c (u, v) | |)對兩個中間值進行判斷，若weightSum幸O，則待填充的深度像素塊K中深度像素點 (U，V)的深度值 d (U，V)為
全文摘要
本發(fā)明涉及一種用于三維立體視頻的深度快速插幀方法，屬于視頻處理領(lǐng)域。首先，根據(jù)深度視頻的幀率選擇彩色視頻的編碼結(jié)構(gòu)，使待插幀的深度幀與彩色視頻的B幀相對應(yīng)；在解碼端直接提取彩色視頻的運動向量，用于找到待插入的深度宏塊對應(yīng)的參考宏塊；使用改進的深度宏塊填充算法對待插入的深度宏塊進行填充。本發(fā)明的優(yōu)點是利用了彩色視頻做運動估計，并且使用改進的填充算法，極大的提高了深度視頻插幀的質(zhì)量，讓恢復(fù)的深度視頻具有更清晰的物體邊緣和更好的局部平滑特性，得到更好的三維立體視覺效果。本發(fā)明直接讀取的彩色視頻的運動信息，從而省略了插幀時做運動估計的步驟，極大的提高了插幀的效率，更適合于實際工業(yè)應(yīng)用。
文檔編號H04N13/02GK102761765SQ201210246790
公開日2012年10月31日 申請日期2012年7月16日 優(yōu)先權(quán)日2012年7月16日
發(fā)明者孫立峰, 李彥潔 申請人:清華大學(xué)