本發(fā)明屬于圖像處理領(lǐng)域，涉及采用全局方式對深度相機獲取的深度圖建模，并推導(dǎo)非局部定點迭代濾波算法對深度圖進行優(yōu)化。具體涉及一種聯(lián)合全局建模和非局部濾波的深度計算重建方法。
背景技術(shù)：
：普通圖像是三維場景在二維成像平面上的投影——這種成像方式導(dǎo)致了三維場景深度信息的損失。為了獲取場景深度信息，人們通常對多視角圖像進行立體匹配計算視差，根據(jù)多視角幾何關(guān)系推導(dǎo)出相應(yīng)的深度。這類方法存在計算復(fù)雜度大，無紋理區(qū)域難以處理等問題。隨著成像技術(shù)的進步，近年面市的深度相機突破了傳統(tǒng)三維掃描儀只能對靜態(tài)小尺度場景進行深度成像的限制，可以比較方便地獲得較大尺度動態(tài)三維場景的深度。目前，主要有兩類：基于散斑成像的深度相機，例如微軟研發(fā)的用于自然交互的第一代Kinect；基于飛行時間(Timeofflight,ToF)的深度相機，例如PMD公司研發(fā)的CamCube3.0，微軟研發(fā)的第二代Kinect(簡稱Kinect2)；但是，這兩類技術(shù)的深度成像質(zhì)量還難以滿足應(yīng)用需求：TOF深度相機的深度分辨率較高，但是空間分辨率很低，與目前主流工業(yè)相機的空間分辨率還有很大的差距；Kinect深度相機的空間分辨率與普通工業(yè)相機相仿，但是在深度跳躍區(qū)域(例如物體的邊緣與輪廓)產(chǎn)生很多空洞。這些深度成像的缺陷給實際應(yīng)用帶來了很大的障礙。受限于成像機理，這些深度成像方式短期內(nèi)難以在成像分辨率和精度上獲得進展，因此需要有效的后處理和重建技術(shù)來提高深度成像質(zhì)量。一種方法是基于全局優(yōu)化的方法。Diebel等人提出了雙層馬爾科夫模型對深度信息和彩色信息之間的關(guān)系進行建模(J.DiebelandS.Thrun,“AnapplicationofMarkovrandomfieldstorangesensing,”NIPS,vol.18,p.291,2005)。Ye等人利用自回歸模型對含有多種混合降質(zhì)模型的深度圖進行建模，并采用最小二乘的方式進行求解(J.Yang,X.Ye,K.Li,C.Hou,andY.Wang,“Color-guideddepthrecoveryfromRGBDdatausinganadaptiveautoregressivemodel.”IEEETIP,vol.23,no.8,pp.3443–3458,2014)。這類全局建模方法在保護圖像中非局部的細小結(jié)構(gòu)效果很好，但是解法通常采用圖割(GraphCut)、置信傳播和最小二乘等，運行速度非常慢。另一種方法是聯(lián)合濾波；它利用高質(zhì)量彩色圖來輔助深度復(fù)原。Lu等人將濾波過程轉(zhuǎn)化為局部多點回歸問題，采用形狀自適應(yīng)的局部鄰域，和多點估計的聚合等。此方法采用零階和線性關(guān)系對低分辨率深度圖像塊和彩色塊之間建模(J.Lu,K.Shi,D.Min,L.Lin,andM.N.Do,“Cross-basedlocalmultipointfiltering,”inProc.CVPR,2012,pp.430–437.)。這類方法在設(shè)計和實現(xiàn)上保持了精簡性，而且在算法上具有低復(fù)雜度。但是，局部的判斷并不能提供足夠的信息來恢復(fù)全局結(jié)構(gòu)，而且在豐富的彩色紋理區(qū)域也會產(chǎn)生恢復(fù)錯誤。技術(shù)實現(xiàn)要素：本發(fā)明旨在克服現(xiàn)有技術(shù)的不足，提供了一種聯(lián)合全局建模和非局部濾波的深度計算重建方法。該方法借助于高分辨率彩色圖，對初始低質(zhì)量深度圖通過全局方式建立深度計算重建模型，并通過非局部的定點迭代濾波方法進行深度重建。本發(fā)明的技術(shù)方案為，一種聯(lián)合全局建模和非局部濾波的深度計算重建方法，所述方法包括下列步驟：第一步，準(zhǔn)備初始數(shù)據(jù)；初始數(shù)據(jù)包括低分辨率深度圖和同視角的高分辨率彩色圖；低分辨率深度圖經(jīng)雙三次插值得到初始低質(zhì)量深度圖。將高分辨率彩色圖C轉(zhuǎn)換成無向連接圖G：給定一個無向連接圖G＝(V，E)，其中V為頂點，表示彩色圖像上所有的像素；E為邊，包含圖像中每對像素間的關(guān)系?；跓o向連接圖G，構(gòu)建拉普拉斯矩陣給定邊權(quán)重矩陣K，其中K中的某一位置K(p，q)表示像素p和q的相似度概率ωp，q。ωp，q可以根據(jù)像素p和q的彩色相似度，利用非局部均值濾波核來確定，方程如下：ωp,q=exp(-Gp|P(Cp)-P(Cq)|σ)]]>其中，exp為指數(shù)函數(shù)，Gp為以像素p為中心的高斯核，核大小為ω×ω；Cp和Cq為像素p和q的彩色值，P(Cp)和P(Cq)為相應(yīng)的彩色圖像塊；σ為控制指數(shù)函數(shù)變化的調(diào)控參數(shù)。對于當(dāng)前圖G，其中的像素點p的度數(shù)定義為np，表示為所有連接到像素p的邊的權(quán)重之和，具體形式如下：np=ΣqK(p,q)]]>其中，q為所有連接到像素p的相鄰像素，p的鄰域大小為ω1×ω1。至此，無向圖的拉普拉斯矩陣可以定義為：其中，N為度數(shù)矩陣，僅在矩陣對角線上有值，即N(p，p)＝np，其他值均為零。I為單位矩陣，W為歸一化后的邊權(quán)重矩陣。第二步，根據(jù)拉普拉斯矩陣建立先驗約束；2-1)根據(jù)數(shù)據(jù)的不依賴濾波特性(即當(dāng)輸入理想深度圖時，經(jīng)過設(shè)計的濾波器得到的結(jié)果與輸入理想深度圖相同，深度值不變)推導(dǎo)出先驗約束：d*＝Wd*式中，d*為輸入理想深度圖的向量表達形式；應(yīng)用邊權(quán)重矩陣W建立不依賴數(shù)據(jù)的濾波器；2-2)根據(jù)2-1)中的公式，得到濾波器與拉普拉斯矩陣間的關(guān)系：式中，I為單位矩陣；在數(shù)據(jù)的不依賴濾波特性約束下，理想深度圖與拉普拉斯矩陣作用為零。第三步，構(gòu)建全局優(yōu)化方程；3-1)將第二步得到的約束結(jié)合到深度重建框架內(nèi)，得到如下優(yōu)化方程：式中，min為求取能量方程的最小值；d為待求的高質(zhì)量深度圖的向量表達形式；為輸入的初始低質(zhì)量深度圖的向量表達形式；P為觀測矩陣，用于指示d中深度像素值的可靠性；λ為平衡前后兩項的系數(shù)，取值為0.1；||·||2為2范數(shù)。3-2)將優(yōu)化方程(3)轉(zhuǎn)化為逐像素表示形式，方程如下：mindΣphp(dp-dp~)2+λΣp(dp-Σpωp,qdq)2]]>其中，hp為像素p在觀測矩陣P內(nèi)的對應(yīng)位置的值，指示像素p是否有值；dq和dq分別為像素p和q的深度值，為像素p的初始深度值，ωp，q為像素p和q的相似度權(quán)重。第四步，應(yīng)用非局部的定點迭代濾波算法，得到高質(zhì)量深度圖，包括以下步驟：4-1)對3-2)中的公式中每一像素dp求導(dǎo)并置零，得到如下方程：dp=hpdp~+λΣqωp,qdq+λΣrωr,p(dr-Σqωr,qdq)hp+λ]]>其中，r為像素p鄰域內(nèi)的像素，ωr，p為像素r和p的相似度權(quán)重，dr為像素r的深度值。4-2)利用4-1)中求導(dǎo)的結(jié)果構(gòu)建定點迭代濾波算法對初始低質(zhì)量深度圖進行濾波，并得到最終的高質(zhì)量深度圖，算法流程如下：dp(0)=dp~dp(k+1)=hpdp~+λΣqωp,qdq(k)+λΣrωr,p(dr(k)-Σqωr,qdq(k))hp+λ]]>式中，為迭代前的深度圖初始化結(jié)果，為第k+1次迭代求得的結(jié)果，k+1為迭代的次數(shù)；算法在第k次的迭代結(jié)果的基礎(chǔ)上濾波得到第k+1次結(jié)果。本發(fā)明的有益效果是：本發(fā)明借助于高分辨率彩色圖，對初始低質(zhì)量深度圖通過全局方式建立深度計算重建模型，并通過非局部的定點迭代濾波方法進行深度重建，具有以下特點：1、程序簡單，易于實現(xiàn)，能夠獲得分辨率更高的深度圖像；2、全局建模方法利用了彩色圖像全局的信息，恢復(fù)深度圖像中深度邊緣以及非局部的細小結(jié)構(gòu)的效果好；3、利用求導(dǎo)的方式推導(dǎo)出定點迭代濾波算法，避免了采用最小二乘求解大規(guī)模矩陣求逆的問題，在設(shè)計和實現(xiàn)上保持了精簡性，而且在算法上具有低復(fù)雜度。附圖說明(附圖中不能出現(xiàn)彩色，只能是灰度圖)圖1是實際實施流程圖。圖2是深度圖像的修復(fù)結(jié)果對比。圖中：(a)不同的彩色幀(b)局部濾波結(jié)果(c)全局自回歸結(jié)果(d)本發(fā)明方法的結(jié)果。具體實施方式下面結(jié)合實施例和附圖對本發(fā)明的聯(lián)合全局建模和非局部濾波的深度計算重建方法做出詳細說明。一種聯(lián)合全局建模和非局部濾波的深度計算重建方法，如圖1所示，所述方法包括下列步驟：第一步，準(zhǔn)備初始數(shù)據(jù)；初始數(shù)據(jù)包括低分辨率深度圖和高分辨率彩色圖；低分辨率深度圖經(jīng)雙三次插值得到初始低質(zhì)量深度圖；將高分辨率彩色圖C轉(zhuǎn)換成無向連接圖G：給定一個無向連接圖G＝(V，E)，其中V為頂點，表示彩色圖像上所有的像素；E為邊，包含圖像中每對像素間的關(guān)系。基于無向連接圖G，構(gòu)建拉普拉斯矩陣給定邊權(quán)重矩陣K，其中K中的某一位置K(p，q)表示像素p和q的相似度概率ωp，q。ωp，q可以根據(jù)像素p和q的彩色相似度，利用非局部均值濾波核來確定，方程如下：ωp,q=exp(-Gp|P(Cp)-P(Cq)|σ)]]>其中，exp為指數(shù)函數(shù)，Gp為以像素p為中心的高斯核，核大小為5×5；Cp和Cq為像素p和q的彩色值，P(Cp)和P(Cq)為相應(yīng)的彩色圖像塊；σ為控制指數(shù)函數(shù)變化的調(diào)控參數(shù)，取值為2.0。對于當(dāng)前圖G，其中的像素點p的度數(shù)定義為np，表示為所有連接到像素p的邊的權(quán)重之和，具體形式如下：np=ΣqK(p,q)]]>其中，q為所有連接到像素p的相鄰像素，p的鄰域大小為7×7。至此，無向圖的拉普拉斯矩陣可以定義為：其中，N為度數(shù)矩陣，僅在矩陣對角線上有值，即N(p，p)＝np，其他值均為零。I為單位矩陣，W為歸一化后的邊權(quán)重矩陣。第二步，根據(jù)拉普拉斯矩陣建立先驗約束；2-1)根據(jù)數(shù)據(jù)的不依賴濾波特性(即當(dāng)輸入理想深度圖時，經(jīng)過設(shè)計的濾波器得到的結(jié)果與輸入理想深度圖相同，深度值不變)推導(dǎo)出先驗約束：d*＝Wd*式中，d*為輸入理想深度圖的向量表達形式，W為歸一化后的邊權(quán)重矩陣；應(yīng)用邊權(quán)重矩陣W建立不依賴數(shù)據(jù)的濾波器；2-2)根據(jù)2-1)中的公式，得到濾波器與拉普拉斯矩陣間的關(guān)系：式中，I為單位矩陣；在數(shù)據(jù)的不依賴濾波特性約束下，理想深度圖與拉普拉斯矩陣作用為零。第三步，構(gòu)建全局優(yōu)化方程；3-1)將第二步得到的約束結(jié)合到深度重建框架內(nèi)，得到如下優(yōu)化方程：式中，min為求取能量方程的最小值；d為待求的高質(zhì)量深度圖的向量表達形式；為輸入的初始低質(zhì)量深度圖的向量表達形式；P為觀測矩陣，用于指示d中深度像素值的可靠性；λ為平衡前后兩項的系數(shù)，取值為0.1；||·||2為2范數(shù)。3-2)將優(yōu)化方程轉(zhuǎn)化為逐像素表示形式，方程如下：mindΣphp(dp-dp~)2+λΣp(dp-Σpωp,qdq)2]]>其中，hp為像素p在觀測矩陣P內(nèi)的對應(yīng)位置的值，指示像素p是否有值；dp和dq分別為像素p和q的深度值，為像素p的初始深度值，ωp，q為像素p和q的相似度權(quán)重。第四步，應(yīng)用非局部的定點迭代濾波算法，得到高質(zhì)量深度圖，包括以下步驟：4-1)對3-2)中的公式中每一像素dp求導(dǎo)并置零得到如下方程：dp=hpdp~+λΣqωp,qdq+λΣrωr,p(dr-Σqωr,qdq)hp+λ]]>其中，r為像素p鄰域內(nèi)的像素，鄰域大小為7×7。4-2)利用4-1)中求導(dǎo)的結(jié)果構(gòu)建定點迭代濾波算法對低質(zhì)量深度圖進行濾波，并得到最終的高質(zhì)量深度圖。算法流程如下：dp(0)=dp~dp(k+1)=hpdp~+λΣqωp,qdq(k)+λΣrωr,p(dr(k)-Σqωr,qdq(k))hp+λ]]>其中，為迭代前的深度圖初始化結(jié)果，為第k+1次迭代求得的結(jié)果，k+1為迭代的次數(shù)。算法在第k次的迭代結(jié)果的基礎(chǔ)上濾波得到第k+1次結(jié)果。經(jīng)過6次迭代，得到最終恢復(fù)結(jié)果。本實施例對兩組數(shù)據(jù)的最終恢復(fù)結(jié)果及與其他方法的比較如圖2所示，其中(a)圖為兩組彩色視頻數(shù)據(jù)中挑選出來的幀圖像，(b)圖為采用局部濾波方法得到的結(jié)果(J.Lu,K.Shi,D.Min,L.Lin,andM.N.Do,“Cross-basedlocalmultipointfiltering,”inProc.CVPR,2012,pp.430–437.)；(c)圖為采用全局自回歸建模方法得到的恢復(fù)幀結(jié)果(J.Yang,X.Ye,K.Li,C.Hou,andY.Wang,“Color-guideddepthrecoveryfromRGBDdatausinganadaptiveautoregressivemodel.”IEEETIP,vol.23,no.8,pp.3443–3458,2014)；(d)本發(fā)明所述方法的結(jié)果。當(dāng)前第1頁1 2 3