本發(fā)明屬于三維視頻技術(shù)領(lǐng)域，具體涉及2D/3D的視頻轉(zhuǎn)換技術(shù)，特別是一種適用于DIBR預(yù)處理過(guò)程的深度圖魯棒平滑濾波方法。

背景技術(shù)：

目前，三維(3D)視頻逐漸普及，中國(guó)中央電視臺(tái)(CCTV)也在2012年元旦之際試播了3D頻道，3D視頻已經(jīng)逐漸成為了當(dāng)前發(fā)展的一種趨勢(shì)。然而，視頻源不足成為制約這一產(chǎn)業(yè)興起的主要瓶頸。在這種情況下，將2D視頻轉(zhuǎn)為3D視頻是解決此問(wèn)題的有效途徑。

將2D視頻轉(zhuǎn)為3D視頻總的來(lái)說(shuō)存在兩種渲染方式：其中一種是通過(guò)采用某種方法從單一的視頻幀中直接重建出具有視差的左右眼圖像對(duì)；另一種是基于深度圖的渲染(Depth Image-based Rendering，DIBR)，它的轉(zhuǎn)換結(jié)果是在原視頻的基礎(chǔ)上附加了每一幀所對(duì)應(yīng)的深度圖，最后由嵌入DIBR處理模塊的顯示終端輸出轉(zhuǎn)換為雙目立體視頻后就可以進(jìn)行觀(guān)賞(參見(jiàn)“電影2D/3D轉(zhuǎn)換技術(shù)概述[J]”，劉偉、吳毅紅、胡占義，《計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)》，2012,24(1):14-28)。與前者相比，后者以其具有的三個(gè)獨(dú)到特點(diǎn)：高效的壓縮傳輸效率、與現(xiàn)有2D技術(shù)和不同設(shè)備的兼容性強(qiáng)以及在實(shí)時(shí)立體視頻生成上具有的景深調(diào)整和快速渲染合成等技術(shù)優(yōu)勢(shì)，在新興的3DTV、3D移動(dòng)終端等市場(chǎng)占有絕對(duì)的主導(dǎo)地位，是3D渲染技術(shù)未來(lái)發(fā)展的方向。

DIBR渲染是基于深度圖的2D/3D轉(zhuǎn)換方法中的重要步驟，它可以利用深度信息渲染出虛擬的立體視頻，從而最終完成2D到3D“質(zhì)的轉(zhuǎn)變”。雖然這種技術(shù)有很多的優(yōu)勢(shì)，但是仍然有其局限性。由于DIBR從參考圖像中根據(jù)深度圖轉(zhuǎn)換的映射關(guān)系虛擬出左右眼圖像，視點(diǎn)的變化可能導(dǎo)致原圖像中被前景物體遮擋的部分背景區(qū)域在新圖像中暴露出來(lái)，而這部分區(qū)域在變換過(guò)程中沒(méi)有對(duì)應(yīng)的紋理映射，因此就會(huì)在目標(biāo)圖像上產(chǎn)生空洞現(xiàn)象。這個(gè)問(wèn)題是DIBR技術(shù)近年來(lái)的研究熱點(diǎn)，也是提高3D圖像質(zhì)量的重要方面。針對(duì)這個(gè)問(wèn)題目前常采用如附圖1所示的處理流程，通過(guò)在DIBR前加入深度圖預(yù)處理環(huán)節(jié)及在DIBR后基于圖像修復(fù)技術(shù)來(lái)完成空洞的填補(bǔ)。由此可見(jiàn)，深度圖預(yù)處理是DIBR技術(shù)中的一個(gè)重要環(huán)節(jié)。

但是在2D/3D視頻轉(zhuǎn)換中，深度圖通常是利用2D視頻中的一個(gè)或多個(gè)線(xiàn)索通過(guò)算法來(lái)預(yù)估合成的，難以保證合成深度圖的完整性和精確性。特別是近年來(lái)越來(lái)越流行的全自動(dòng)算法，直接面向海量的視頻進(jìn)行高效的轉(zhuǎn)換，由于沒(méi)有人工的修正，不完整的深度圖區(qū)域影響了DIBR系統(tǒng)渲染出的3D視頻效果質(zhì)量。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明方法提出了一種適用于DIBR預(yù)處理過(guò)程的深度圖魯棒平滑濾波方法。與目前傳統(tǒng)方法不同，本方法沒(méi)有在DIBR深度圖平滑前增加額外的深度圖預(yù)修正環(huán)節(jié)，而是在維度變換域下通過(guò)一致性分布圖將深度圖修正環(huán)節(jié)統(tǒng)一在聯(lián)合濾波的框架下，這樣將深度圖預(yù)修正在深度圖平滑過(guò)程中同時(shí)進(jìn)行，在實(shí)現(xiàn)3D視頻的轉(zhuǎn)換效果提升的同時(shí)保證了算法的運(yùn)行效率。

為達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

一種適用于DIBR預(yù)處理過(guò)程的深度圖融合方法，包括如下步驟：

A)對(duì)原始深度圖D_Ori和紋理圖像I_texture分別進(jìn)行邊緣檢測(cè)，進(jìn)行一致性分析，并生成一致性分布圖I_c；

B)在維度變換域下結(jié)合紋理圖像I_texture和一致性分布圖I_c，對(duì)原始深度圖D_Ori進(jìn)行聯(lián)合濾波，生成平滑后的深度圖D_Fin；

其中，步驟A)的邊緣檢測(cè)所使用的算子為圖像處理中的常用算子，如Sobel算子、Roberts算子、Prewitt算子、Laplacian算子及Canny算子；

其中，步驟A)的一致性分布圖I_c具體定義為：

其中，G_D和G_I分別表示原始深度圖D_Ori和紋理圖像I_texture中檢測(cè)出來(lái)的邊緣。ξ₁為預(yù)設(shè)的常數(shù)，描述紋理圖像和原始深度圖的一致性，取值范圍為0.1～0.5。

其中，步驟B)中在維度變換域下的聯(lián)合濾波為:濾波函數(shù)定義如下：

D_Fin[n]＝(1-a^d)D_Ori[n]+a^dD_Fin[n-1]

其中，D_Ori[n]表示初始深度圖上一行或一列的像素值，a∈(0,1)是擴(kuò)散函數(shù)的反饋系數(shù)，d表示維度變換域中相鄰樣本x_n和x_n-1之間的距離。

其中，維度變換域中相鄰樣本x_n和x_n-1之間的距離定義為：

d＝ct(x_n)-ct(x_n-1)

其中，ct(u)表示維度變換域，維度變換過(guò)程為:

其中，|I′_texture(x)|表示輸入紋理圖像的梯度強(qiáng)度，σ_s和σ_r分別是濾波器空間和值域參數(shù)，用來(lái)調(diào)節(jié)濾波的影響，σ_s取值范圍為200～2500，σ_r取值范圍為0.1～10。σ_c是一致性影響因子，取值范圍為10～100。

其中，濾波過(guò)程為迭代過(guò)程，且為實(shí)現(xiàn)對(duì)稱(chēng)濾波，如果在一次迭代中濾波按照從左到右，從上到下的順序在圖像中進(jìn)行，則下一次迭代中濾波按照從右到左、從下到上的順序進(jìn)行。迭代次數(shù)為2～10次。

本發(fā)明的有益效果是：本發(fā)明中的一致性分布圖在高效的維度變換空間下結(jié)合紋理特征對(duì)原始深度圖進(jìn)行聯(lián)合濾波，能夠在反映結(jié)構(gòu)化的分布信息同時(shí)，根據(jù)深度圖各部分的完整性情況自適應(yīng)的調(diào)整濾波強(qiáng)度從而實(shí)現(xiàn)對(duì)深度圖的修復(fù)?；贒IBR的2D/3D轉(zhuǎn)換過(guò)程依賴(lài)于某個(gè)或多個(gè)線(xiàn)索從2D視頻流中生成相應(yīng)的深度圖，特別是全自動(dòng)轉(zhuǎn)換方法生成的深度圖經(jīng)常出現(xiàn)局部不完整區(qū)域，本發(fā)明方法可以在深度圖平滑濾波的同時(shí)實(shí)現(xiàn)深度圖不完整區(qū)域的自適應(yīng)擴(kuò)散修正，避免了傳統(tǒng)濾波過(guò)程前特定的預(yù)修正環(huán)節(jié)，從而實(shí)現(xiàn)了一種DIBR預(yù)處理過(guò)程中深度圖的魯棒平滑濾波。

附圖說(shuō)明

圖1是現(xiàn)有的DIBR系統(tǒng)處理流程圖；

圖2是本發(fā)明的方法流程圖；

圖3是采用本發(fā)明方法的深度圖及虛擬圖像效果對(duì)比圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述；

圖1顯示了現(xiàn)有的DIBR系統(tǒng)處理流程。其中，DIBR渲染處理是2D/3D轉(zhuǎn)換方法中的重要步驟，它描述了一個(gè)精確的點(diǎn)到點(diǎn)的映射關(guān)系，可以利用深度信息渲染出虛擬的立體視頻，從而最終完成2D到3D“質(zhì)的轉(zhuǎn)變”。雖然這種技術(shù)有很多的優(yōu)勢(shì)，但是仍然有其局限性。由于DIBR從參考圖像中根據(jù)深度圖轉(zhuǎn)換的映射關(guān)系虛擬出左右眼圖像，視點(diǎn)的變化可能導(dǎo)致原圖像中被前景物體遮擋的部分背景區(qū)域在新圖像中暴露出來(lái)，而這部分區(qū)域在變換過(guò)程中沒(méi)有對(duì)應(yīng)的紋理映射，因此就會(huì)在目標(biāo)圖像上產(chǎn)生空洞現(xiàn)象。

現(xiàn)有的系統(tǒng)中有兩個(gè)環(huán)節(jié)來(lái)解決這個(gè)問(wèn)題，如圖1所示，對(duì)于輸入的原始深度圖，一般先經(jīng)過(guò)一個(gè)DIBR前的預(yù)處理過(guò)程對(duì)深度圖進(jìn)行平滑濾波，以此通過(guò)深度圖部分結(jié)構(gòu)的優(yōu)化減小渲染時(shí)大部分空洞的發(fā)生；再經(jīng)過(guò)DIBR后的一個(gè)空洞填補(bǔ)方法，進(jìn)一步修復(fù)渲染過(guò)程中保留的少量空洞。

需要說(shuō)明的是，在實(shí)際2D/3D轉(zhuǎn)換中，尤其是近年來(lái)越來(lái)越流行的全自動(dòng)轉(zhuǎn)發(fā)流程中，深度圖通常是利用2D視頻中的一個(gè)或多個(gè)線(xiàn)索通過(guò)算法來(lái)預(yù)估合成的，難以有效保證合成深度圖的完整性和精確性。那么在這種情況下，傳統(tǒng)的DIBR系統(tǒng)無(wú)法直接對(duì)原始深度圖進(jìn)行平滑以減少空洞，在預(yù)平滑環(huán)節(jié)前還須另外增加額外的深度圖預(yù)修正步驟來(lái)對(duì)不完整的深度圖進(jìn)行修復(fù)，這樣會(huì)在一定程度上降低轉(zhuǎn)換效率。

針對(duì)這個(gè)問(wèn)題，本發(fā)明方法在維度變換域下通過(guò)一致性分布圖將深度圖修正統(tǒng)一到了深度圖預(yù)平滑過(guò)程中，既提高了傳統(tǒng)模式的轉(zhuǎn)換效率，又能夠?qū)崿F(xiàn)更加魯棒的深度圖平滑濾波。

本發(fā)明方法是以紋理圖像和原始深度圖作為輸入的數(shù)據(jù)源，經(jīng)過(guò)處理后生成魯棒平滑后的深度圖。圖2是本發(fā)明的方法流程圖，結(jié)合圖2對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行描述。

本發(fā)明方法通過(guò)維度變換域下的聯(lián)合濾波，將深度圖預(yù)修正和預(yù)平滑兩個(gè)環(huán)節(jié)統(tǒng)一起來(lái)，具體包括以下步驟：

A)對(duì)原始深度圖D_Ori和紋理圖像I_texture分別進(jìn)行邊緣檢測(cè)，進(jìn)行一致性分析，并生成一致性分布圖I_c。

研究結(jié)果發(fā)現(xiàn)，在人類(lèi)視覺(jué)中，人眼對(duì)物體邊緣的分布最敏感，因此在2D/3D轉(zhuǎn)換中，所述完整的深度圖可以理解為深度圖中的物體邊緣和紋理圖像中的物體邊緣具有高度的一致性?；诖耍景l(fā)明方法通過(guò)兩者的邊緣檢測(cè)比對(duì)來(lái)進(jìn)行一致性分析并生成一致性分布圖。

在實(shí)施例中，邊緣檢測(cè)所使用的算子可以為目前圖像處理中的常用的各類(lèi)算子，如Sobel算子、Roberts算子、Prewitt算子、Laplacian算子及Canny算子。一致性分布圖I_c具體定義為：

其中，G_D和G_I分別表示原始深度圖D_Ori和紋理圖像I_texture中檢測(cè)出來(lái)的邊緣。ξ₁為預(yù)設(shè)的常數(shù)，描述紋理圖像和原始深度圖的一致性，取值范圍為0.1～0.5，ξ₁之所以定義為較小的常數(shù)，是為了與維度變換域中定義的聯(lián)合濾波器統(tǒng)一起來(lái)，使當(dāng)深度圖邊緣和紋理圖像邊緣一致性較高時(shí)，能夠抑制本區(qū)域深度圖的平滑，從而減小本區(qū)域原始深度圖的修正；反之，當(dāng)深度圖邊緣和紋理圖像邊緣一致性較低時(shí)，能夠增強(qiáng)本區(qū)域深度圖的平滑，從而實(shí)現(xiàn)本區(qū)域原始深度圖的修正；

B)在維度變換域下結(jié)合紋理圖像I_texture和一致性分布圖I_c，對(duì)原始深度圖D_Ori進(jìn)行聯(lián)合濾波，生成平滑后的深度圖D_Fin；

結(jié)合紋理特征和上一步得到的一致性分布信息，這里在維度變換域下利用聯(lián)合濾波器的形式對(duì)原始深度圖進(jìn)行濾波。傳統(tǒng)的雙邊濾波器僅僅考慮紋理特征，而本發(fā)明方法擴(kuò)展得到的聯(lián)合濾波器在此基礎(chǔ)上加入了一致性約束，因此能夠根據(jù)完整性分析來(lái)通過(guò)控制邊緣的擴(kuò)散程度在濾波的同時(shí)實(shí)現(xiàn)對(duì)深度圖的修正；

濾波函數(shù)定義如下：

D_Fin[n]＝(1-a^d)D_Ori[n]+a^dD_Fin[n-1]

其中，D_Ori[n]表示原始深度圖上一行或一列的像素值，a∈(0,1)是擴(kuò)散函數(shù)的反饋系數(shù)，d表示維度變換域中相鄰樣本x_n和x_n-1之間的距離；

這里的維度變換域是用2011年Eduardo S.L.Gastal等人在文章“Domain transform for edge-aware image and video processing”中提出的方法得到的變換空間，它的最大優(yōu)勢(shì)是在能夠保證圖像紋理特征的前提下將多維空間降為一維空間，從而大大提高了計(jì)算效率。具體而言，ct(u)表示維度變換域，維度變換過(guò)程為:

其中，|I′_texture(x)|表示輸入紋理圖像的梯度強(qiáng)度，σ_s和σ_r分別是濾波器空間和值域參數(shù)，用來(lái)調(diào)節(jié)傳播的影響。σ_s取值范圍為200～2500，σ_r取值范圍為0.1～10，σ_c是一致性影響因子，取值范圍為10～100；

上述定義即是聯(lián)合濾波器的核心，可以看到，前兩項(xiàng)將紋理圖像中反映的場(chǎng)景結(jié)構(gòu)特征被考慮在內(nèi)，第三項(xiàng)是本發(fā)明方法基于一致性分布圖加入的約束，實(shí)現(xiàn)對(duì)深度圖完整性的自適應(yīng)判斷和修正。雖然聯(lián)合濾波約束較多，但是由于維度變換空間下維數(shù)的降低，它的運(yùn)算效率遠(yuǎn)遠(yuǎn)大于傳統(tǒng)二維空間下的聯(lián)合濾波器。

傳統(tǒng)的深度平滑濾波器是在二維空間下運(yùn)行的，上述定義的維度變換過(guò)程雖然大大提高了運(yùn)算效率，卻只是一維空間下的濾波器。為了達(dá)到同樣的效果，在具體的實(shí)施例中，濾波用迭代的方式來(lái)實(shí)現(xiàn)。又因?yàn)樯鲜龆x的維度變換過(guò)程非對(duì)稱(chēng)，所以為實(shí)現(xiàn)對(duì)稱(chēng)濾波，如果在一次迭代中濾波按照從左到右，從上到下的順序在圖像中進(jìn)行，則下一次迭代中濾波按照從右到左、從下到上的順序進(jìn)行。迭代次數(shù)為2～10次，一般迭代3次濾波效果可達(dá)到穩(wěn)定，仿真實(shí)驗(yàn)中迭代次數(shù)為3次。

以下為本發(fā)明方法的實(shí)驗(yàn)驗(yàn)證。

1)實(shí)驗(yàn)條件：

在CPU為Core^TM2Quad CPU Q9400＠2.66GHz，內(nèi)存4G，Windows 7系統(tǒng)上進(jìn)行了實(shí)驗(yàn)；

2)實(shí)驗(yàn)內(nèi)容：

以下參照?qǐng)D3來(lái)具體描述根據(jù)本發(fā)明方法的實(shí)驗(yàn)實(shí)現(xiàn)細(xì)節(jié)；

圖3是對(duì)兩組實(shí)驗(yàn)圖像處理時(shí)的情況。其中，圖3(a)和圖3(d)是原始的紋理圖像。第一組實(shí)驗(yàn)圖像的原始深度圖是用基于Depthfrom Motion技術(shù)獲得的深度線(xiàn)索再經(jīng)過(guò)處理得到的結(jié)果(參見(jiàn)文獻(xiàn)“An efficient method for automatic stereoscopic conversion”)，如圖3(b)所示；而第二組實(shí)驗(yàn)圖像的原始深度圖是用基于Structure From Motion技術(shù)獲得的深度線(xiàn)索再經(jīng)過(guò)Delaney三角化得到的結(jié)果(參考文獻(xiàn)“On Creating Depth Maps from Monoscopic Video using Structure From Motion”)，如圖3(e)所示?？梢?jiàn)兩組實(shí)驗(yàn)圖像獲得的原始深度圖與紋理圖像對(duì)比，在完整性和精確性上與實(shí)際情況相差較大，如果采用傳統(tǒng)方法不經(jīng)過(guò)額外的深度圖修正環(huán)節(jié)，無(wú)法直接進(jìn)行濾波平滑。圖3(c)和圖3(f)是用本方明方法直接對(duì)原始深度圖進(jìn)行魯棒濾波的結(jié)果，可見(jiàn)在濾波的同時(shí)深度圖在完整性已經(jīng)得到了較好的修復(fù)。如圖3(c)所示，原始深度圖中樹(shù)木底部和花壇之間的空洞區(qū)域已經(jīng)得到了填充；如圖3(f)所示，原始深度圖中屋頂部分經(jīng)濾波修正后閣樓窗戶(hù)的輪廓已經(jīng)清晰可見(jiàn)。由此可見(jiàn)本發(fā)明方法在深度圖平滑濾波過(guò)程中的魯棒性和高效性。

最后說(shuō)明的是，以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非限制，本領(lǐng)域普通技術(shù)人員對(duì)本發(fā)明的技術(shù)方案所做的其他修改或者等同替換，只要不脫離本發(fā)明技術(shù)方案的精神和范圍，均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。