專利名稱：一種用于三維立體視頻的深度圖片的上采樣方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于三維立 體視頻的深度圖片的上采樣方法，屬于圖像處理技術(shù)領(lǐng)域。
背景技術(shù)：
三維立體視頻已經(jīng)在眾多應(yīng)用中代替?zhèn)鹘y(tǒng)的二維彩色電視，因為它能夠給用戶帶來全新的觀看體驗用戶可以獲得更真實的三維場景體驗和感受，可以自由地選擇觀看的視點并且隨時在不同視點間進(jìn)行切換。同傳統(tǒng)二維視頻相比，三維立體視頻在視覺效果和用戶交互性上的巨大優(yōu)勢，使得三維立體視頻成為研究的熱點，得到迅速發(fā)展和普及。目前一種常用的三維立體視頻顯示技術(shù)為“彩色視頻+深度視頻”技術(shù)使用一路彩色視頻來表達(dá)紋理信息，并且使用一路與其對應(yīng)的深度視頻來表達(dá)彩色視頻中每個像素點的縱向深度信息。深度視頻中的一幀是與彩色視頻中的對應(yīng)幀“像素-像素”對應(yīng)的，且每個像素的值在O 255范圍內(nèi)的灰度視頻。由于深度圖片與彩色圖片是“像素-像素”對應(yīng)的，深度圖片需要具有和彩色圖片相同的分辨率，然而由于深度圖片的采集設(shè)備、合成算法等的限制，采集到的深度圖片通常具有較低的分辨率，例如目前得到廣泛研究的基于反射時間的深度相機(jī)就具有低分辨率的特性。因此，深度圖片的上采樣是三維立體技術(shù)中非常重要的一項技術(shù)。深度圖片的作用是給出每個像素點的深度信息，因此深度圖片具有會對三維視覺效果造成影響的兩個要求I)深度圖片中的物體要求有清晰地邊緣；2)—個物體內(nèi)部，局部具有相同的深度值。在深度圖片上采樣的過程中，應(yīng)該盡量保證上述兩點，這樣才能保證良好的三維效果。作為一個傳統(tǒng)的問題，圖片上采樣已經(jīng)具有幾十年的研究歷史。由于深度圖片可以看做普通的灰白圖片，已有的圖片上采樣方法可以直接適用于深度圖片上。但是傳統(tǒng)的圖片上采樣方法忽略了深度視頻和彩色視頻的對應(yīng)關(guān)系，從而恢復(fù)邊緣的時候不能得到準(zhǔn)確的邊緣值，且一定程度上破壞了深度圖局部一致的特性。最新的研究表明，利用高分辨率的彩色圖片對深度圖片的上采樣做指導(dǎo)，能夠很好地改善上采樣的質(zhì)量。而目前已有的利用彩色圖片作指導(dǎo)的上采樣方法都不是基于學(xué)習(xí)的算法，因此上采樣的質(zhì)量存在進(jìn)一步改進(jìn)的空間?；趯W(xué)習(xí)的方法就是通過大量的已知數(shù)據(jù)學(xué)習(xí)一個從低分辨率深度圖片到高分辨率深度圖片的映射，基于學(xué)習(xí)的方法通常比普通的方法具有更好的上采樣質(zhì)量。機(jī)器學(xué)習(xí)的方法有很多種，其中基于圖片塊在一個很大的圖片塊庫中的稀疏表不的學(xué)習(xí)方法被證明對于多種圖片質(zhì)量恢復(fù)問題都具有很好的效果，其中包括圖片的上次樣問題。這種方法的核心思想是當(dāng)擁有一個圖片塊庫時，一個新的圖片塊可以表示為這個圖片庫中的圖片塊的一個線性組合；當(dāng)這個圖片塊庫足夠大的時候，這個線性表示中有大量的零元素(稀疏)，即這個圖片塊能夠用圖片塊庫中的極少數(shù)的圖片塊線性加和表示?；趫D片的稀疏表示特性，本發(fā)明的基本思想為首先訓(xùn)練三個對應(yīng)的圖片塊庫一個低分辨率圖片塊庫、一個彩色圖片庫和一個高分辨率圖片塊庫，三個圖片塊庫中的對應(yīng)圖片塊為低分辨率圖片塊及其對應(yīng)的彩色圖片塊和其標(biāo)準(zhǔn)的上采樣結(jié)果。然后，當(dāng)輸入一個新的低分辨率圖片塊及其對應(yīng)的彩色圖片塊的時候，聯(lián)合求解其在各自圖片塊庫上的最優(yōu)稀疏表示，并將此稀疏稀疏用于高分辨率圖片塊庫上就能得到新輸入的低分辨率圖片塊對應(yīng)的高分辨率圖片塊，即其上采樣的結(jié)果。下面介紹本發(fā)明的具體內(nèi)容。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種用于三維立體視頻的深度圖片的上采樣方法，以應(yīng)對多種原因產(chǎn)生的低分辨率深度圖片，由于其較高的恢復(fù)質(zhì)量，特別適合于應(yīng)對采集端采集到分辨率很低的深度圖片的情況。本發(fā)明提出的用于三維立體視頻的深度圖片的上采樣方法，包括以下步驟( I)定義α為對三維立體視頻深度圖片的上采樣率，Sl為將低分辨率三維立體視頻的深度圖片分成像素塊的大小，Sh為將對低分辨率三維立體視頻的深度圖片進(jìn)行上采樣后得到的高分辨率深度圖片分成像素塊的大小以及將采集的彩色圖片分成像素塊的大小，Sh = SlX α ；·(2)分別提取低分辨率深度圖片像素塊、高分辨率深度圖片像素塊和采集的彩色圖片像素塊的特征值，提取過程如下(2-1)對三維立體視頻的低分辨率深度圖片使用雙線性內(nèi)插(Bicubic)算法，對低分辨率深度圖片以上采樣率α進(jìn)行上采樣，得到初始高分辨率深度圖片Hint，然后將Hint分為大小為ShX Sh的像素塊，從大小為ShX Sh的像素塊中提取該像素塊在橫向、豎向兩個方向上的一階、二階梯度共四個特征值Li ；(2-2)將對低分辨率三維立體視頻的深度圖片進(jìn)行上采樣后得到的高分辨率深度圖片分成大小為ShX Sh的像素塊巧 ’，通過計算得到高分辨率深度圖片像素塊的特征值Hi H1 = ΗΓ-meaniHD，其中廣)為與i/廣大小相等的像素塊，且像素塊中的每個像素點的深度值等于像素塊#廠'中各像素點深度值的平均值；(2-3)對采集的彩色圖片用邊緣檢測算法(Sober算子)進(jìn)行邊緣提取，得到初始邊緣圖像C 1，去除邊緣圖像C-中因為物體紋理產(chǎn)生的偽物體邊緣，得到邊緣圖像C = ，將邊緣圖像C分成大小為ShX Sh的像素塊，C中的每個像素塊作為采集的彩色圖片中對應(yīng)位置的像素塊的特征值Ci ；(3)建立三個相互關(guān)聯(lián)的低分辨率深度圖片像素塊庫^、采集的彩色圖片像素塊庫Dc和高分辨率深度圖片像素塊庫Dh，建立過程包括以下步驟(3-1)從同一場景中采集低分辨率深度圖片、高分辨率彩色圖片和標(biāo)準(zhǔn)高分辨率深度圖片；(3-2)分別將上述采集到的低分辨率深度圖片、高分辨率彩色圖片和標(biāo)準(zhǔn)高分辨率深度圖片分割成為像素塊，將在低分辨率深度圖片、高分辨率彩色圖片和標(biāo)準(zhǔn)高分辨率深度圖片中位置相對應(yīng)的像素塊定義為一個像素塊組，得到多個像素塊組，從多個像素塊組中隨機(jī)抽取多個像素塊組，使用上述步驟(2)的特征值提取方法，分別對像素塊組中的低分辨率深度圖片像素塊、高分辨率深度圖片像素塊和采集的彩色圖片像素塊進(jìn)行特征值提?。?3-3)通過求解下式，得到三個相互關(guān)聯(lián)的像素塊庫Dl、Dc和011，
權(quán)利要求
1.一種用于三維立體視頻的深度圖片的上采樣方法，其特征在于該方法包括以下步驟 (1)定義α為對三維立體視頻深度圖片的上采樣率，&為將低分辨率三維立體視頻的深度圖片分成像素塊的大小，Sh為將對低分辨率三維立體視頻的深度圖片進(jìn)行上采樣后得到的高分辨率深度圖片分成像素塊的大小以及將采集的彩色圖片分成像素塊的大小，Sh =SlX α ； (2)分別提取低分辨率深度圖片像素塊、高分辨率深度圖片像素塊和采集的彩色圖片像素塊的特征值，提取過程如下 (2-1)對三維立體視頻的低分辨率深度圖片使用雙線性內(nèi)插方法，對低分辨率深度圖片以上采樣率α進(jìn)行上采樣，得到初始高分辨率深度圖片Hint，然后將Hint分為大小為 ShXSh的像素塊，從大小為ShXSh的像素塊中提取該像素塊在橫向、豎向兩個方向上的一階、二階梯度共四個特征值Li; (2-2)將對低分辨率三維立體視頻的深度圖片進(jìn)行上采樣后得到的高分辨率深度圖片分成大小為ShXSh的像素塊#?！?，通過計算得到高分辨率深度圖片像素塊的特征值Hi Hl=Hlaw-Mean(H^aw)，其中黯 "(//;_，為與可~大小相等的像素塊，且像素塊中的每個像素點的深度值等于像素塊巧胃中各像素點深度值的平均值； (2-3)對采集的彩色圖片用邊緣檢測算法進(jìn)行邊緣提取，得到初始邊緣圖像C 1，去除邊緣圖像Clraw中因為物體紋理產(chǎn)生的偽物體邊緣，得到邊緣圖像('=V(,將邊緣圖像C分成大小為ShXSh的像素塊，C中的每個像素塊作為采集的彩色圖片中對應(yīng)位置的像素塊的特征值Ci ； (3)建立三個相互關(guān)聯(lián)的低分辨率深度圖片像素塊庫^、采集的彩色圖片像素塊庫Dc和高分辨率深度圖片像素塊庫Dh，建立過程包括以下步驟 (3-1)從同一場景中采集低分辨率深度圖片、高分辨率彩色圖片和標(biāo)準(zhǔn)高分辨率深度圖片； (3-2)分別將上述采集到的低分辨率深度圖片、高分辨率彩色圖片和標(biāo)準(zhǔn)高分辨率深度圖片分割成為像素塊，將在低分辨率深度圖片、高分辨率彩色圖片和標(biāo)準(zhǔn)高分辨率深度圖片中位置相對應(yīng)的像素塊定義為一個像素塊組，得到多個像素塊組，從多個像素塊組中隨機(jī)抽取多個像素塊組，使用上述步驟(2)的特征值提取方法，分別對像素塊組中的低分辨率深度圖片像素塊、高分辨率深度圖片像素塊和采集的彩色圖片像素塊進(jìn)行特征值提?。? (3-3)通過求解下式，得到三個相互關(guān)聯(lián)的像素塊庫仏、Dc和Dh， min ΣΛ ||Α -+4-HgD] 'Dc ,Djj M/ i 其中 IIaiII1S ε， 其中，Li為低分辨率深度圖片像素塊特征值，Ci為高分辨率彩色圖片像素塊特征值，Hi為高分辨率深度圖片像素塊特征值，λ P λ。為對應(yīng)項的權(quán)重，取值為大于零的實數(shù)，Cii為系數(shù)變量，ε為一個大于零的實數(shù)； (4)根據(jù)上述得到的相互關(guān)聯(lián)的低分辨率深度圖片像素塊庫^、采集的彩色圖片像素塊庫Dc和高分辨率深度圖片像素塊庫Dh，對輸入的低分辨率深度圖片進(jìn)行上采樣，上采樣過程包括以下步驟(4-1)將輸入的低分辨率深度圖片采用雙線性內(nèi)插方法進(jìn)行上采樣，使用聯(lián)合彩色圖片雙邊濾波方法對得到的上采樣圖片進(jìn)行濾波，得到分辨率為目標(biāo)分辨率的高分辨率深度圖片Hb ; (4-2)使用上述步驟(2)的特征值提取方法，分別提取輸入的低分辨率深度圖片像素塊的特征值Li'、輸入的彩色圖片像素塊的特征值Ci'，以及上述步驟(4-1)的高分辨率深度圖片Hb像素塊的特征值//,' (4-3)使用下列映射函數(shù)，得到與輸入的低分辨率深度圖片像素塊Li'相對應(yīng)的高分辨率深度圖片像素塊Hi'，映射函數(shù)如下
全文摘要
本發(fā)明涉及一種用于三維立體視頻的深度圖片的上采樣方法，屬于圖像處理技術(shù)領(lǐng)域。首先訓(xùn)練三個相互關(guān)聯(lián)的數(shù)據(jù)庫低分辨率深度圖片塊庫，彩色圖片塊庫和高分辨率深度圖片塊庫，利用三個數(shù)據(jù)庫，當(dāng)輸入一個新的低分辨率深度圖及其對應(yīng)的彩色圖片庫時，將其分割成圖片塊，然后聯(lián)合求解其在低分辨率深度圖片庫和彩色圖片庫中的稀疏線性表示，利用線性表示在高分辨率圖片庫上重構(gòu)高分辨率深度圖片。本發(fā)明使用學(xué)習(xí)的方法，得到比傳統(tǒng)方法更高的深度圖片恢復(fù)質(zhì)量，訓(xùn)練的時候聯(lián)合了彩色圖片，保證了質(zhì)量恢復(fù)的效果。使用本發(fā)明方法，可以得到很高質(zhì)量的高分辨率深度圖片，通過實驗驗證，該方法尤其對采集到的深度圖片質(zhì)量極低的情況有更理想的效果。
文檔編號H04N13/02GK102761764SQ20121024640
公開日2012年10月31日 申請日期2012年7月16日 優(yōu)先權(quán)日2012年7月16日
發(fā)明者孫立峰, 李彥潔 申請人:清華大學(xué)