一種基于空間加權(quán)的虛擬視點繪制方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種虛擬視點繪制技術(shù)，尤其是設(shè)及一種基于空間加權(quán)的虛擬視點繪 制方法。
【背景技術(shù)】
[0002] 隨著數(shù)字視頻技術(shù)的快速發(fā)展，二維視頻W平面圖像來描述真實的=維場景，已 無法滿足用戶對真實感和立體感的需求。與傳統(tǒng)的二維視頻相比，自由視點視頻（FVV，化ee Viewpoint Video)系統(tǒng)能使用戶自由地選擇觀看角度，并且自由視點視頻能夠帶來強烈地 視覺沖擊，使觀眾感到景物迎面而來，恍若身臨其境，感受到了真切的深度感和沉浸感，是 新一代多媒體視頻系統(tǒng)的發(fā)展方向。在自由視點視頻中，由于受到成本與傳輸帶寬的限制， 不可能在每一個視點上都放置一臺攝像機(jī)，因此需要使用已有的有限個視點合成未知的多 個虛擬視點，來達(dá)到自由視點的視覺效果。
[000引多視點彩色加深度視頻（MVD，Multi-view Video plus Depth)是自由視點視頻的 一種主流數(shù)據(jù)表示結(jié)構(gòu)，其可用于表達(dá)深度層次豐富的場景，再結(jié)合基于深度圖繪制技術(shù) 值IBR，Depth Image Based Rendering)能夠繪制出多個虛擬視點，達(dá)到自由視點的體驗效 果?；谏疃葓D繪制技術(shù)是近幾年來得到廣泛關(guān)注與應(yīng)用的虛擬視點合成技術(shù)，其利用已 有視點的彩色視頻與對應(yīng)的深度視頻提供的空間幾何信息繪制出虛擬視點。利用基于深度 圖繪制技術(shù)繪制虛擬視點的過程中主要使用的技術(shù)有；坐標(biāo)變換（3D Warping)、像素插值、 空洞填補、圖像融合、圖像修復(fù)等技術(shù)。
[0004] 在基于深度圖繪制技術(shù)的虛擬視點繪制過程中，存在兩個比較重要的環(huán)節(jié)，一個 就是S維變換（3DWarping)，另一個就是重采樣（像素插值）。其中，第一個環(huán)節(jié)就是實現(xiàn)將 參考視點圖像空間內(nèi)的像素點投影到目標(biāo)視點圖像空間，它是W視差D為橋梁的，就水平 設(shè)置相機(jī)而言，公式
【主權(quán)項】
1. 一種基于空間加權(quán)的虛擬視點繪制方法，其特征在于包括以下步驟： ① 獲取同一時刻的左參考視點的彩色圖像和右參考視點的彩色圖像及兩者各自對應(yīng) 的深度圖像，并假設(shè)虛擬視點介于左參考視點與右參考視點之間，且左參考視點、虛擬視 點、右參考視點三者在同一水平線上； ② 根據(jù)左參考視點的彩色圖像及其對應(yīng)的深度圖像，以行為單位對左參考視點的彩色 圖像中的每行中的每個像素點進(jìn)行坐標(biāo)變換，得到左參考虛擬視點圖像中的每行中的每個 整像素點附近的N個實際投影像素點，其中，N多O ; ③ 獲取插值后的左參考虛擬視點圖像，具體過程為： ③-1、將插值前的左參考虛擬視點圖像中當(dāng)前待處理的一行定義為當(dāng)前行； ③-2、假設(shè)當(dāng)前行為插值前的左參考虛擬視點圖像中的第i行，則對于當(dāng)前行中坐標(biāo) 位置為（i，j)的整像素點，若該整像素點附近即在（i_l，i+l)范圍內(nèi)的實際投影像素點的 個數(shù)N = 0,那么將該整像素點視為空洞像素點，對該整像素點不進(jìn)行插值處理；若該整像 素點附近即在（i-1，i+Ι)范圍內(nèi)的實際投影像素點的個數(shù)N4 0,那么執(zhí)行以下步驟以對該 整像素點進(jìn)行插值處理： 當(dāng)N = 1時，直接將這1個實際投影像素點的亮度值作為該整像素點的亮度值，并將這 1個實際投影像素點的深度值作為該整像素點的深度值，完成該整像素點的插值處理； 當(dāng)N = 2時，對這2個實際投影像素點的亮度值進(jìn)行空間加權(quán)，得到該整像素點 的亮度值，記為IA(i，j)，
并對這2個 實際投影像素點的深度值進(jìn)行空間加權(quán)，得到該整像素點的深度值，記為DvJi，j)，
至此完成該整像素點的插值處理；其中，P的初始值 為1，1彡p彡N，W(ij，p表示第p個實際投影像素點的加權(quán)系數(shù)，V (ij，p表示第p個實際投 影像素點的深度值，d(ij，p表示第p個實際投影像素點的水平位置X p與該整像素點的水平 位置i之間的絕對距離，daj)，p= I Xp-i I，符號" I I "為取絕對值符號，Iajhp表示第p個實 際投影像素點的亮度值； 當(dāng)N = 3或N = 4時，先確定所有實際投影像素點中的可疑點，對于任一個 實際投影像素點，如果該實際投影像素點的深度值遠(yuǎn)遠(yuǎn)小于所有實際投影像素 點的深度值中的最大深度值，則確定該實際投影像素點為可疑點；再對所有實際 投影像素點的亮度值進(jìn)行空間加權(quán)，得到該整像素點的亮度值，記為I vJi，j)，
，并對所有實際投影像素點的深度值進(jìn)行空 間加權(quán)，得到該整像素點的深度值，記為DvJi，j)，
至此完成該整像素點的插值處理；其中，P的初始值為1，I < P < N，w' aj)，p表示第p個實 際投影像素點的加權(quán)系數(shù)，ν' (^ρ表示第p個實際投影像素點的深度值，d' (i，j)，p表不弟P 個實際投影像素點的水平位置x'p與該整像素點的水平位置i之間的絕對距離，d' ^p = IX' p-i I，符號" 11 "為取絕對值符號，I' (U，P表示第P個實際投影像素點的亮度值； 當(dāng)N多5時，先從所有實際投影像素點中隨機(jī)選取5個實際投影像素點；然后根據(jù)隨機(jī) 選取的5個實際投影像素點各自的亮度值和深度值，采用ZBufTer技術(shù)獲得該整像素點的 亮度值和深度值，完成該整像素點的插值處理； 其中，I < i < W，I < j < H，W表示待繪制的虛擬視點圖像的寬度，H表示待繪制的虛 擬視點圖像的高度； ③ -3、在完成當(dāng)前行的插值處理后，將插值前的左參考虛擬視點圖像中待處理的下一 行作為當(dāng)前行，然后返回步驟③-2繼續(xù)執(zhí)行，直至插值前的左參考虛擬視點圖像中的所有 行處理完畢，獲得插值后的左參考虛擬視點圖像； ④ 按照步驟②至步驟③的操作過程，以相同的方式獲得插值后的右參考虛擬視點圖 像； ⑤ 對插值后的左參考虛擬視點圖像進(jìn)行空洞填補，得到空洞填補后的左參考虛擬視點 圖像；同樣，對插值后的右參考虛擬視點圖像進(jìn)行空洞填補，得到空洞填補后的右參考虛擬 視點圖像； ⑥ 對空洞填補后的左參考虛擬視點圖像和空洞填補后的右參考虛擬視點圖像進(jìn)行融 合，得到融合后的虛擬視點圖像。
2.根據(jù)權(quán)利要求1所述的一種基于空間加權(quán)的虛擬視點繪制方法，其特征在于所述的 步驟⑥執(zhí)行完畢后，對融合后的虛擬視點圖像進(jìn)行去噪處理，獲得最終的不含噪聲的虛擬 視點圖像，具體過程為： ⑦ -1、將融合后的虛擬視點圖像中當(dāng)前待處理的一個像素點定義為當(dāng)前像素點； ⑦-2、假設(shè)當(dāng)前像素點在融合后的虛擬視點圖像中的坐標(biāo)位置為（i，j)， 則利用空洞填補后的左參考虛擬視點圖像中坐標(biāo)位置為（i，j)的整像素點和 空洞填補后的右參考虛擬視點圖像中坐標(biāo)位置為（i，j)的整像素點對當(dāng)前像 素點進(jìn)行失真檢測，計算得到當(dāng)前像素點的失真掩膜值，記為ErrorMask (i, j)，
?中， IvJi，j)表示空洞填補后的左參考虛擬視點圖像中坐標(biāo)位置為（i，j)的整像素點的亮度 值，IvR(i，j)表示空洞填補后的右參考虛擬視點圖像中坐標(biāo)位置為（i，j)的整像素點的亮 度值，D vJi，j)表示空洞填補后的左參考虛擬視點圖像中坐標(biāo)位置為（i，j)的整像素點的 深度值，DvK(i，j)表示空洞填補后的右參考虛擬視點圖像中坐標(biāo)位置為（i，j)的整像素點 的深度值，thl為設(shè)定的第一閾值，th2為設(shè)定的第二閾值，符號" I I "為取絕對值符號； ⑦-3、如果ErrorMask(i，j) = 1，則確定當(dāng)前像素點為含有噪聲的像素點，然后 利用3X3的中值濾波模板對當(dāng)前像素點進(jìn)行中值濾波處理，再執(zhí)行步驟⑦-4;如果 ErrorMaskQ, j) = 0,則確定當(dāng)前像素點為不含有噪聲的像素點，再執(zhí)行步驟⑦-4 ; ⑦-4、將融合后的虛擬視點圖像中下一個待處理的像素點作為當(dāng)前像素點，然后返回 步驟⑦-2繼續(xù)執(zhí)行，直至融合后的虛擬視點圖像中的所有像素點處理完畢，得到最終的不 含噪聲的虛擬視點圖像。
3. 根據(jù)權(quán)利要求2所述的一種基于空間加權(quán)的虛擬視點繪制方法，其特征在于所述 的步驟⑦-2中設(shè)定的第一閾值thl = 0. 15(Ιν?α，j)+IvK(i，j))，設(shè)定的第二閾值th2 = 0· 10(DvL(i，j)+DvK(i，j))〇
4. 根據(jù)權(quán)利要求1至3中任一項所述的一種基于空間加權(quán)的虛擬視點繪制方法， 其特征在于所述的步驟③-2中當(dāng)N = 2時，取w(i，ρ，ρ= 1;當(dāng)N=3或N = 4時，取
其中，MaxDepthQ, j)表示在（i-1, i+1) 范圍內(nèi)的所有實際投影像素點的深度值中的最大深度值，符號" I I "為取絕對值符號，th為 設(shè)定的判定閾值。
5. 根據(jù)權(quán)利要求4所述的一種基于空間加權(quán)的虛擬視點繪制方法，其特征在于所述的 設(shè)定的判定閾值th = 0· 25MaxDepth(i, j)。
【專利摘要】本發(fā)明公開了一種基于空間加權(quán)的虛擬視點繪制方法，其以行為單位進(jìn)行像素點的坐標(biāo)變換，獲得實際投影像素點，然后以行為單位進(jìn)行插值處理，省去了VSRS虛擬視點繪制方法中的上、下采樣操作，節(jié)省了繪制時間；其充分地考慮了投影像素點的空間位置和多個投影像素點對繪制質(zhì)量的影響，采用空間加權(quán)方式，有效地減少了由于深度圖不準(zhǔn)確所引入的噪聲，提高了繪制精度，從而提高了虛擬視點圖像的主、客觀質(zhì)量；其充分地考慮了參考視點不同區(qū)域?qū)L制質(zhì)量的影響，從虛擬視點圖像中的整像素點附近的投影像素點個數(shù)側(cè)面地反映了其區(qū)域分布情況，并且對不同區(qū)域進(jìn)行相應(yīng)的插值，能夠準(zhǔn)確地將參考視點中的像素點插入到虛擬視點中，提高了虛擬視點圖像的質(zhì)量。
【IPC分類】H04N13-00, H04N19-154
【公開號】CN104661013
【申請?zhí)枴緾N201510040545
【發(fā)明人】彭宗舉, 汪輝, 陳芬, 焦任直, 蔣剛毅
【申請人】寧波大學(xué)
【公開日】2015年5月27日
【申請日】2015年1月27日