繪制新視點(diǎn)中的空洞填補(bǔ)方法
【專利摘要】本發(fā)明涉及一種繪制新視點(diǎn)中的空洞填補(bǔ)方法，該方法包括以下步驟：在三維映射前，對深度圖預(yù)處理，包括：檢測深度圖邊緣；進(jìn)行深度不連續(xù)分析，獲取主要深度不連續(xù)區(qū)域；對主要深度不連續(xù)區(qū)域進(jìn)行非對稱高斯濾波；在三維映射后，檢查新視點(diǎn)圖像是否仍有空洞，如果有，則基于深度信息對空洞填補(bǔ)。本發(fā)明在三維映射前只對主要深度不連續(xù)區(qū)域進(jìn)行平滑，在三維映射后基于深度信息對空洞填補(bǔ)，不但有效避免了對不出現(xiàn)空洞或只有小空洞區(qū)域的平滑而造成的額外扭曲現(xiàn)象，而且能夠?qū)崿F(xiàn)更合理的填補(bǔ)結(jié)果。
【專利說明】繪制新視點(diǎn)中的空洞填補(bǔ)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種繪制新視點(diǎn)中的空洞填補(bǔ)方法，基于現(xiàn)有的繪制新視點(diǎn)方法，用于減少并填補(bǔ)繪制過程中出現(xiàn)的空洞，以提高新視點(diǎn)的繪制質(zhì)量。屬于計算機(jī)視覺、圖像處理、虛擬現(xiàn)實【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]自1936年，第一項電視服務(wù)由英國廣播公司(BBC)推出以來，隨著視頻技術(shù)的發(fā)展(例如內(nèi)容獲取，編碼，通信和顯示)，電視播放經(jīng)歷了從黑白到彩色，模擬到數(shù)字，陰極射線管顯示到液晶屏顯示，從被動的欣賞電視節(jié)目到交互式視頻點(diǎn)播(VOD)服務(wù)。而如今，為實現(xiàn)身臨其境的體驗，電視業(yè)向著三維電視(3D-TV)發(fā)展著。三維電視將傳統(tǒng)的二維視頻生動的拓展為三維，使用戶感覺他們正通過窗口看真實的對象而不是平面圖像。當(dāng)前三維電視的發(fā)展主要受限于立體視頻內(nèi)容的制作和傳輸，尤其是以下兩個方面:不同接收端的自適應(yīng)能力(視點(diǎn)的數(shù)量和大小)和對現(xiàn)有的二維顯示的向后兼容性。
[0003]傳統(tǒng)的立體視頻制作方法主要是通過一組平行、會聚或者任意角度的相機(jī)陣列拍攝場景中不同角度的信息，所得的多個視頻經(jīng)幾何參數(shù)校正、亮度/色度補(bǔ)償?shù)阮A(yù)處理后，再經(jīng)多視視頻編碼(multiview video coding, MVC)壓縮成視頻流。由于編碼后重構(gòu)的多個視不一定符合某個觀眾在顯示屏前所在位置的觀看要求，故解碼后需通過選擇一些合適的視繪制成符合需要的兩個虛擬視(虛擬攝像機(jī))后，再合成為“立體對”視。但是這種方法對于視頻編碼和傳輸都有較高的要求，且傳輸過程中數(shù)據(jù)量較大，不便于實現(xiàn)。因此，只須通過一路二維視頻和它相應(yīng)的每點(diǎn)深度信息的立體視頻制作方法頗受青睞。方法中，利用基于深度圖像繪制技術(shù)(DIBR)在接收端合成一個或多個虛擬視點(diǎn)，減少了數(shù)據(jù)傳輸中總的帶寬，而且通過繪制所有需要的虛擬視點(diǎn)使用戶端擁有了對不同接收端的自適應(yīng)能力。
[0004]然而基于深度圖像繪制技術(shù),也稱為三維映射(3D image warping)過程中出現(xiàn)的空洞是一路二維視頻加深度信息方法最大的問題。三維映射方程首先將二維參考圖像某個像素坐標(biāo)映射到一個三維空間坐標(biāo)點(diǎn)，然后再將該三維空間坐標(biāo)點(diǎn)反映射為目標(biāo)圖像一個圖像坐標(biāo)，最后將參考圖像坐標(biāo)像素值賦給目標(biāo)圖像映射坐標(biāo)。由于空間點(diǎn)在圖像不同視圖中遮擋關(guān)系即體現(xiàn)在深度圖中水平方向的較大不連續(xù)區(qū)域，圖像映射會暴露出在原視點(diǎn)下被遮擋，而在新視點(diǎn)中可見的區(qū)域，這也就是新視點(diǎn)下的空洞區(qū)域。
[0005]空洞的出現(xiàn)對新視點(diǎn)的繪制質(zhì)量有較大的影響，如今常用的有兩類空洞填補(bǔ)的方法:一種是對深度圖通過均值濾波、高斯濾波等預(yù)處理，能夠平滑深度圖的不連續(xù)區(qū)域，消除空洞。但是這種方法會使映射后的新視點(diǎn)下的物體出現(xiàn)明顯的幾何失真，尤其是垂直邊界扭曲的物體對視覺影響更大。另一種是對映射后出現(xiàn)的空洞利用圖像修補(bǔ)的算法進(jìn)行填補(bǔ)。由于空洞一般都是來自于原視點(diǎn)下被遮擋的背景像素，故如果填補(bǔ)時沒有考慮到空洞更傾向于背景像素來填補(bǔ)的話，填補(bǔ)后的圖像也會明顯失真。

【發(fā)明內(nèi)容】
[0006]針對上述的現(xiàn)有空洞填補(bǔ)方法存在的問題，本發(fā)明提出了繪制新視點(diǎn)中的空洞填補(bǔ)方法。
[0007]本發(fā)明采用的技術(shù)方案如下:
[0008]一種繪制新視點(diǎn)中的空洞填補(bǔ)方法，其包括以下步驟:
[0009]在三維映射前，對深度圖預(yù)處理，包括:檢測深度圖邊緣；進(jìn)行深度不連續(xù)分析，獲取主要深度不連續(xù)區(qū)域；對主要深度不連續(xù)區(qū)域進(jìn)行非對稱高斯濾波；
[0010]在三維映射后，檢查新視點(diǎn)圖像是否仍有空洞，如果有，則基于深度信息對空洞填補(bǔ)。
[0011]在上述的繪制新視點(diǎn)中的空洞填補(bǔ)方法中，優(yōu)選地，對深度圖預(yù)處理還包括對主要深度不連續(xù)區(qū)域附近的深度圖區(qū)域進(jìn)行非對稱高斯濾波和三邊濾波。
[0012]在上述的繪制新視點(diǎn)中的空洞填補(bǔ)方法中，優(yōu)選地，對深度圖預(yù)處理還包括對其余深度圖區(qū)域進(jìn)行三邊濾波。
[0013]在上述的繪制新視點(diǎn)中的空洞填補(bǔ)方法中，優(yōu)選地，對深度圖預(yù)處理還包括對濾波后區(qū)域物體邊界附近的垂直邊緣進(jìn)行深度值校正。
[0014]在上述的繪制新視點(diǎn)中的空洞填補(bǔ)方法中，優(yōu)選地，深度不連續(xù)分析包括:
[0015]判斷邊緣點(diǎn)水平方 向附近的深度值是由低到高變化還是由高到低變化，據(jù)此確定邊緣點(diǎn)映射后會產(chǎn)生空洞或會被遮擋；
[0016]對于會產(chǎn)生空洞的邊緣點(diǎn)，計算映射后的空洞區(qū)域的水平長度；
[0017]將空洞區(qū)域的水平長度與閾值比較，大于閾值則判定該空洞區(qū)域為主要深度不連續(xù)區(qū)域。
[0018]在上述的繪制新視點(diǎn)中的空洞填補(bǔ)方法中，優(yōu)選地，深度不連續(xù)分析還包括:對于會被遮擋的邊緣點(diǎn)，計算映射后被遮擋區(qū)域的水平長度；三維映射中包括:判斷當(dāng)前映射點(diǎn)映射后是否會被遮擋，如果是，則用深度不連續(xù)分析步驟中計算的被遮擋區(qū)域的水平長度確定被遮擋區(qū)域邊界點(diǎn)，不映射被遮擋區(qū)域，直接跳至被遮擋區(qū)域邊界點(diǎn)進(jìn)行映射。
[0019]在上述的繪制新視點(diǎn)中的空洞填補(bǔ)方法中，優(yōu)選地，三維映射中包括判斷當(dāng)前映射點(diǎn)映射后是否超過圖像邊界，如果是，則不對當(dāng)前點(diǎn)進(jìn)行映射。
[0020]在上述的繪制新視點(diǎn)中的空洞填補(bǔ)方法中，優(yōu)選地，基于深度信息對空洞填補(bǔ)的步驟包括:
[0021]分別計算以空洞邊界上的各個點(diǎn)為中心的各個塊的可信度和深度信息，基于可信度和深度信息計算各個塊的優(yōu)先級；
[0022]取優(yōu)先級最高的塊作為當(dāng)前待修補(bǔ)塊；
[0023]在已知區(qū)域搜索當(dāng)前待修補(bǔ)塊的最匹配塊；
[0024]用最匹配塊內(nèi)的像素填補(bǔ)當(dāng)前待修補(bǔ)塊內(nèi)對應(yīng)位置的像素，以及分別用當(dāng)前待修補(bǔ)塊的平均深度值和可信度值更新填補(bǔ)像素的深度值和可信度值。
[0025]在上述的繪制新視點(diǎn)中的空洞填補(bǔ)方法中，優(yōu)選地，通過公式
【權(quán)利要求】
1.一種繪制新視點(diǎn)中的空洞填補(bǔ)方法，其特征在于，包括以下步驟: 在三維映射前，對深度圖預(yù)處理，包括:檢測深度圖邊緣；進(jìn)行深度不連續(xù)分析，獲取主要深度不連續(xù)區(qū)域；對主要深度不連續(xù)區(qū)域進(jìn)行非對稱高斯濾波； 在三維映射后，檢查新視點(diǎn)圖像是否仍有空洞，如果有，則基于深度信息對空洞填補(bǔ)。
2.根據(jù)權(quán)利要求1所述的空洞填補(bǔ)方法，其特征在于，對深度圖預(yù)處理還包括對主要深度不連續(xù)區(qū)域附近的深度圖區(qū)域進(jìn)行非對稱高斯濾波和三邊濾波。
3.根據(jù)權(quán)利要求1或2所述的空洞填補(bǔ)方法，其特征在于，對深度圖預(yù)處理還包括對其余深度圖區(qū)域進(jìn)行三邊濾波。
4.根據(jù)權(quán)利要求1所述的空洞填補(bǔ)方法，其特征在于，對深度圖預(yù)處理還包括對濾波后區(qū)域物體邊界附近的垂直邊緣進(jìn)行深度值校正。
5.根據(jù)權(quán)利要求1所述的空洞填補(bǔ)方法，其特征在于，深度不連續(xù)分析包括: 判斷邊緣點(diǎn)水平方向附近的深度值是由低到高變化還是由高到低變化，據(jù)此確定邊緣點(diǎn)映射后會產(chǎn)生空洞或會被遮擋； 對于會產(chǎn)生空洞的邊緣點(diǎn)，計算映射后的空洞區(qū)域的水平長度； 將空洞區(qū)域的水平長度與閾值比較，大于閾值則判定該空洞區(qū)域為主要深度不連續(xù)區(qū)域。
6.根據(jù)權(quán)利要求5所述的空洞填補(bǔ)方法，其特征在于， 深度不連續(xù)分析還包括:對于會被遮擋的邊緣點(diǎn)，計算映射后被遮擋區(qū)域的水平長度； 三維映射中包括:判斷當(dāng)前映射點(diǎn)映射后是否會被遮擋，如果是，則用深度不連續(xù)分析步驟中計算的被遮擋區(qū)域的水平長度確定被遮擋區(qū)域邊界點(diǎn)，不映射被遮擋區(qū)域，直接跳至被遮擋區(qū)域邊界點(diǎn)進(jìn)行映射。
7.根據(jù)權(quán)利要求1所述的空洞填補(bǔ)方法，其特征在于，三維映射中包括判斷當(dāng)前映射點(diǎn)映射后是否超過圖像邊界，如果是，則不對當(dāng)前點(diǎn)進(jìn)行映射。
8.根據(jù)權(quán)利要求1所述的空洞填補(bǔ)方法，其特征在于，基于深度信息對空洞填補(bǔ)的步驟包括: 分別計算以空洞邊界上的各個點(diǎn)為中心的各個塊的可信度和深度信息，基于可信度和深度信息計算各個塊的優(yōu)先級； 取優(yōu)先級最高的塊作為當(dāng)前待修補(bǔ)塊； 在已知區(qū)域搜索當(dāng)前待修補(bǔ)塊的最匹配塊； 用最匹配塊內(nèi)的像素填補(bǔ)當(dāng)前待修補(bǔ)塊內(nèi)對應(yīng)位置的像素，以及分別用當(dāng)前待修補(bǔ)塊的平均深度值和可信度值更新填補(bǔ)像素的深度值和可信度值。
9.根據(jù)權(quán)利要求8所述的空洞填補(bǔ)方法，其特征在于，通過公式
2--I
ζ + Y (z -zm f Y (z-zm f
ψρLa 、η ^Jf ρβLa '
I 計算塊的深度信息，％表示以點(diǎn)P為中心的塊，I表示輸入圖像，Ω表示空洞區(qū)域，1-Ω表示已知區(qū)域，Ztff表示塊Ψρ內(nèi)的平均深度值，Zq表示塊Ψρ內(nèi)已知像素點(diǎn)的深度值。
【文檔編號】H04N13/00GK103581648SQ201310489437
【公開日】2014年2月12日 申請日期:2013年10月18日 優(yōu)先權(quán)日:2013年10月18日
【發(fā)明者】王好謙, 李政芝, 張永兵, 王興政, 戴瓊海 申請人:清華大學(xué)深圳研究生院