本發(fā)明涉及立體視覺領(lǐng)域，具體涉及一種基于立體匹配與結(jié)構(gòu)光相結(jié)合的深度圖獲取方法。

背景技術(shù)：

立體視覺是計算機視覺中的一個關(guān)鍵性問題，其獲取的深度信息被廣泛應(yīng)用于工業(yè)產(chǎn)品的外觀設(shè)計、藝術(shù)雕塑、建筑、機器人視覺、無人機避障、醫(yī)學(xué)整形與美容、航空測繪和軍事應(yīng)用等領(lǐng)域。立體匹配是獲取深度信息的一種重要方法，該方法通過計算空間點在兩幅圖像中的偏差，獲得視差圖，然后根據(jù)視差圖來獲取物體的深度信息。物體各點的視差通過尋找左右圖像平面中的匹配點對獲取，因此圖像匹配成為了最終獲取三維場景深度信息的關(guān)鍵。立體匹配中常見的問題有遮擋區(qū)域、視差不連續(xù)區(qū)域、高紋理區(qū)域、低紋理區(qū)域、重復(fù)紋理區(qū)域等。弱紋理區(qū)域由于其像素區(qū)分度低通常會導(dǎo)致誤匹配?，F(xiàn)有的算法中，區(qū)域匹配法以擴大窗口來增強弱紋理區(qū)域的可區(qū)分性，全局約束通過能量函數(shù)的平滑項來提高弱紋理的匹配率，基于顏色的分割算法在預(yù)處理中利用圖像的顏色關(guān)系劃分深度區(qū)域。上述算法都在小面積弱紋理匹配上取得了良好的效果。

然而，當(dāng)圖像中弱紋理區(qū)域面積較大或者圖像曝光量不足時，現(xiàn)有算法的優(yōu)越性能降低。利用增大窗口的局部算法匹配大面積弱紋理區(qū)域，容易引起視差不連續(xù)區(qū)域的過分平滑，出現(xiàn)“前景肥大”效應(yīng)；而基于能量函數(shù)優(yōu)化的全局算法與基于顏色分割的算法在大面積弱紋理區(qū)域的匹配精度降低。同時，在圖像曝光量不足的環(huán)境下(如黑暗環(huán)境)，采集圖像特征信息無法滿足匹配需求，運用現(xiàn)有的匹配算法無法獲取物體深度信息。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是：提出一種基于立體匹配與結(jié)構(gòu)光相結(jié)合的深度圖獲取方法，解決圖像弱紋理區(qū)域與圖像曝光量不足情況下的立體匹配問題。

本發(fā)明解決上述技術(shù)問題所采用的方案是：

一種基于立體匹配與結(jié)構(gòu)光相結(jié)合的深度圖獲取方法，其包括以下步驟：

A、對結(jié)構(gòu)光進行編碼；

B、標(biāo)定雙目攝像機；

C、根據(jù)外部環(huán)境光強和三維場景紋理信息判斷是否需要主動投影結(jié)構(gòu)光；

D、若不需要主動投影結(jié)構(gòu)光，則利用標(biāo)定后的雙目攝像機拍攝左右圖像，直接記錄自然光下的圖像信息，獲取視差圖，然后根據(jù)視差與深度之間的映射關(guān)系獲取三維場景的深度圖；

E、若需要主動投影結(jié)構(gòu)光，則利用投影儀投影編碼后的結(jié)構(gòu)光，并利用標(biāo)定后的雙目攝像機拍攝左右圖像，若結(jié)構(gòu)光用于增強外部環(huán)境光強，則記錄結(jié)構(gòu)光下的圖像信息，擇優(yōu)選取立體匹配法或者結(jié)構(gòu)光測量法獲取視差圖或相位圖，進入步驟F；

若結(jié)構(gòu)光用于增強三維場景的紋理信息，則分別記錄結(jié)構(gòu)光下與自然光下的圖像信息，選取立體匹配法或者結(jié)構(gòu)光測量法恢復(fù)弱紋理區(qū)域的深度信息，進而獲取三維場景的視差圖或相位圖，進入步驟F；

F、根據(jù)視差與深度之間的映射關(guān)系獲取三維場景的深度圖，或者，根據(jù)相位與深度之間的映射關(guān)系獲取三維場景的深度圖。

作為進一步優(yōu)化，步驟A中，當(dāng)利用立體匹配法獲取三維場景深度信息時，選用特征信息較為明顯的編碼方式編碼結(jié)構(gòu)光，包括：De Bruijn編碼、基于圖形信息的編碼或基于幾何特征的M-marry編碼方式；當(dāng)利用結(jié)構(gòu)光測量法獲取三維場景深度信息時，選用受場景調(diào)制具有一定變化規(guī)律的編碼方式編碼結(jié)構(gòu)光，包括：正弦條紋圖編碼方式、格雷碼條紋圖編碼方式。

作為進一步優(yōu)化，步驟B中，利用棋盤格對雙目攝像機進行標(biāo)定獲得兩個攝像機的內(nèi)部參數(shù)與外部參數(shù)，內(nèi)部參數(shù)包括主點、焦距以及相機的畸變參數(shù)，用于校正攝像機拍攝圖像的切向畸變與徑向畸變，外部參數(shù)用于確定相機在三維空間中的朝向和位置。

作為進一步優(yōu)化，步驟C中，根據(jù)外部環(huán)境光強和三維場景紋理信息判斷是否需要主動投影結(jié)構(gòu)光，具體包括：

C1、通過攝像機獲取自然光照下圖像，通過該圖像灰度直方圖分布特征與圖像信噪比判斷外部環(huán)境光強是否充足，若外部環(huán)境光強充足，則進入步驟C2，若外部環(huán)境光強不充足，則主動投影編碼結(jié)構(gòu)光以增加環(huán)境光強信息；

C2、在外部環(huán)境光強充足的情況下，判斷圖像的紋理信息，若存在弱紋理區(qū)域，則主動投影編碼結(jié)構(gòu)光以增加紋理信息，同時利用標(biāo)號記錄下弱紋理區(qū)域位置。

作為進一步優(yōu)化，步驟C1中，所述通過該圖像灰度直方圖分布特征與圖像信噪比判斷外部環(huán)境光強是否充足的方法是：

C11.基于圖像灰度直方圖分布特征計算圖像曝光量，并判斷圖像是否為欠曝光圖像，若為欠曝光圖像，則進入步驟C12進一步判斷；

C12.對圖像信噪比進行驗證，若圖像信噪比小于設(shè)定閾值，則判定為外部環(huán)境光不充足。

作為進一步優(yōu)化，步驟C11中，所述基于圖像灰度直方圖分布特征計算圖像曝光量，并判斷圖像是否為欠曝光圖像的方法是：

通過灰度直方圖兩端像素值個數(shù)為空的區(qū)域所占的比例F_rat，直方圖峰值灰度g_peak與灰度直方圖的均值灰度g_mean來估計圖像曝光量：

F_rat＝(g_min+1)/(255-g_max+g_min+1) (1)

其中，g_max為灰度直方圖左邊緣處的像素數(shù)量為零的最大灰度值數(shù)，g_min為灰度直方圖右邊緣處的像素數(shù)量為零的最小灰度值數(shù)；

設(shè)定閾值M<0.5，當(dāng)g_peak或g_mean小于128，F(xiàn)_rat<M時，判定該圖像為欠曝光圖像。

作為進一步優(yōu)化，步驟C12中，所述對圖像信噪比進行驗證的方法是：

采用無參考峰值信噪比的方法來衡量圖像的信噪比，將圖像平坦區(qū)域的標(biāo)準(zhǔn)差作為噪聲標(biāo)準(zhǔn)差，用該標(biāo)準(zhǔn)差代替均方誤差，噪聲標(biāo)準(zhǔn)差公式為：

其中，N為圖像的總個數(shù)，I(x,y)表示像素點的灰度值，像素均值μ的表達式為：

將整幅圖像分成多個小區(qū)域，分別求出各個區(qū)域的噪聲標(biāo)準(zhǔn)差，升序排列各個區(qū)域的方差值，求出前的方差的均值視為整幅圖像的噪聲標(biāo)準(zhǔn)差，則圖像的無參考峰值信噪比公式為：

其中，L為圖像最大灰階數(shù)；

設(shè)定閾值W，若求取的無操控峰值信噪比NPSNR小于設(shè)定閾值W，則判定為外部環(huán)境光不充足，則主動投影編碼結(jié)構(gòu)光以增加環(huán)境光強信息。

作為進一步優(yōu)化，步驟C2中，所述在外部環(huán)境光強充足的情況下，判斷圖像的紋理信息的方法是：

基于圖像像素灰度的梯度特性和特定窗口下像素灰度的統(tǒng)計特性判斷圖像的紋理信息：

其中，N表示窗口中的像素個數(shù)，W_(x,y)表示以像素(x,y)為中心的窗口，I_(u,v)表示灰度圖像中的像素點灰度值，s為窗口中像素的方差，k為窗口中像素的梯度值之和；

設(shè)定閾值s_r與k_r，若s²<s_r且k<k_r，則判定該區(qū)域為弱紋理區(qū)域，則主動投影結(jié)構(gòu)光以增加紋理信息。

作為進一步優(yōu)化，步驟E中，若結(jié)構(gòu)光用于增強三維場景的紋理信息，選取立體匹配法恢復(fù)弱紋理區(qū)域的深度信息的方法是：

根據(jù)弱紋理區(qū)域的標(biāo)號信息分割弱紋理區(qū)域和非弱紋理區(qū)域，將結(jié)構(gòu)光輔助得到的立體匹配視差信息作為弱紋理區(qū)域的視差信息，自然光下得到的立體匹配視差信息作為非弱紋理的視差信息，利用動態(tài)規(guī)劃縫合線法與加權(quán)疊加法融合弱紋理區(qū)域和非弱紋理區(qū)域的視差信息，得到最終該場景的視差圖：

其中，在動態(tài)規(guī)劃路徑中融合代價的計算公式為：

E(x,y)＝E_diff(x,y)+λE_color(x,y) (7)

其中，d₁表示結(jié)構(gòu)光輔助下得到的視差圖，d₂自然光下得到的視差圖，I₁表示結(jié)構(gòu)光輔助下采集得到的灰度圖，I₂表示自然光下得到的灰度圖，E_color用周圍矩形區(qū)域V內(nèi)的像素之差，表示區(qū)域V內(nèi)像素點色彩上的強度關(guān)系，E_diff取兩幅圖像結(jié)構(gòu)變化較小的位置處的梯度值來表示幾何結(jié)構(gòu)的相似性，λ是一個調(diào)節(jié)系數(shù)，N_V為區(qū)域V內(nèi)像素的總數(shù)，E為融合代價，E越小選擇該點作為縫合線上點的機率越大；

路徑規(guī)劃完成后，沿著縫合線利用加權(quán)疊加的方法對視差圖進行融合，融合方式為：

d_end(x,y)＝ω₁d₁(x,y)+ω₂d₂(x,y) (10)

其中，ω₁和ω₂為加權(quán)疊加的權(quán)重系數(shù)，ω₁+ω₂<1，d_end為最終融合得到的視差圖。

作為進一步優(yōu)化，步驟E中，若結(jié)構(gòu)光用于增強三維場景的紋理信息，選取結(jié)構(gòu)光測量法恢復(fù)弱紋理區(qū)域的深度信息的方法是：直接利用受場景深度調(diào)制的編碼圖像求取整個三維場景的相位信息，具體包括：

投影N幀正弦條紋至待測場景表面，再利用攝像機采集N幀受場景調(diào)制的變形條紋，采集得到的變形條紋變化強度表示為：

I_n＝R(x,y){1+B(x,y)cos[φ(x,y)+2πn/N]}(n＝1,2…N) (11)

其中R(x,y)為物體表面反射率系數(shù)，B(x,y)為條紋對比度，φ(x,y)為受場景深度調(diào)制后的相位信息，N為投影條紋幀數(shù)，其中N大于等于3；

根據(jù)N步等步相移計算公式：

即可獲得場景的截斷相位信息φ(x,y)，再通過解相算法后獲得場景的連續(xù)相位信息θ(x,y)。

本發(fā)明的有益效果是：

可自動判定拍攝環(huán)境光強信息與三維場景紋理信息是否滿足立體匹配需求，并依據(jù)判定結(jié)果決定是否投影編碼結(jié)構(gòu)光，利用主動投影方式增加外部環(huán)境光強與立體匹配所需的場景紋理信息，或利用場景深度信息調(diào)制編碼結(jié)構(gòu)光。該方法即保證了雙目視覺方法低功耗的特點，又解決了外部環(huán)境光強較弱條件下深度圖獲取困難和三維場景弱紋理區(qū)域的深度圖的精度較低的問題。

附圖說明

圖1為是否需要對三維場景投影結(jié)構(gòu)光的判斷流程圖；

圖2為立體匹配與結(jié)構(gòu)光相結(jié)合的深度圖獲取方法流程圖；

圖3為直接利用結(jié)構(gòu)光測量法獲取深度圖方法流程圖。

具體實施方式

本發(fā)明提供一種基于立體匹配與結(jié)構(gòu)光相結(jié)合的深度圖獲取方法，旨在解決圖像弱紋理區(qū)域與圖像曝光量不足情況下的立體匹配問題。利用該方法可自動判定拍攝環(huán)境光強信息與三維場景紋理信息是否滿足立體匹配需求，并依據(jù)判定結(jié)果決定是否投影編碼結(jié)構(gòu)光，利用主動投影方式增加外部環(huán)境光強與立體匹配所需的場景紋理信息，或利用場景深度信息調(diào)制編碼結(jié)構(gòu)光。該方法即保證了雙目視覺方法低功耗的特點，又解決了外部環(huán)境光強較弱條件下深度圖獲取困難和三維場景弱紋理區(qū)域的深度圖的精度較低的問題。

在本發(fā)明中，利用投影儀投影編碼結(jié)構(gòu)光，左右攝像機采集待匹配圖像，并將圖像傳輸至計算機，計算機運用立體匹配算法即可獲取到三維場景的視差圖，進而可以獲得對應(yīng)的深度圖。當(dāng)外部環(huán)境光充足且拍攝場景中不存在弱紋理區(qū)域時，直接利用自然光下拍攝的圖像獲取三維場景的深度信息；當(dāng)采集的紋理信息稀少或者采集過程中外部環(huán)境光強較弱時，則主動投影編碼結(jié)構(gòu)光，以增加環(huán)境光強與場景紋理信息，提高立體匹配精度。由于結(jié)構(gòu)光在增強場景紋理信息的同時受場景調(diào)制，可直接利用結(jié)構(gòu)光測量法恢復(fù)出場景的深度信息，因此在紋理信息稀少或者外部環(huán)境光強較弱的場景中，擇優(yōu)選取立體匹配法或結(jié)構(gòu)光測量法恢復(fù)其深度信息。

在具體實現(xiàn)上，本發(fā)明中基于立體匹配與結(jié)構(gòu)光相結(jié)合的深度圖獲取方法，具體包括以下幾個實現(xiàn)步驟：

1、結(jié)構(gòu)光編碼：

本發(fā)明利用基于空間的結(jié)構(gòu)光編碼方式，在場景存在弱紋理區(qū)域(如白色墻面)時，主動投影結(jié)構(gòu)光，利用投影圖像的灰度信息，增強三維場景的紋理信息，或利用場景自身的深度信息調(diào)制投影結(jié)構(gòu)光。而在外部環(huán)境光不足(如黑暗環(huán)境)也通過主動投影結(jié)構(gòu)光方式增加外部環(huán)境的光強信息。

在利用立體匹配法獲取三維場景深度信息時，為了增強三維場景弱紋理區(qū)域的特征信息，最大程度提高立體匹配時的精度，優(yōu)選地，選用特征信息較為明顯的編碼方式編碼結(jié)構(gòu)光，如De Bruijn編碼、基于圖形信息的編碼或基于幾何特征的M-marry編碼方式等；利用結(jié)構(gòu)光測量法獲取深度信息時，優(yōu)選地，選用受場景調(diào)制具有一定變化規(guī)律的編碼方式編碼結(jié)構(gòu)光，如正弦條紋圖編碼、格雷碼條紋圖編碼等。

2、標(biāo)定雙目攝像機：

該過程用于獲取攝像機內(nèi)部參數(shù)與外部參數(shù)，內(nèi)部參數(shù)包括主點、焦距以及相機的畸變參數(shù)，用于校正攝像機拍攝圖像的切向畸變與徑向畸變等，外部參數(shù)用于確定相機在三維空間中的朝向和位置。利用立體匹配法獲取場景深度信息時，通過標(biāo)定可獲得(x,y,d)-(X_C,Y_C,Z_C)的映射關(guān)系，其中(x,y)為圖像像素坐標(biāo)，d為該坐標(biāo)的視差值，(X_C,Y_C,Z_C)為(x,y,d)對應(yīng)的空間點的三維坐標(biāo)。視差d可以通過極線對齊后左右視圖中相同點橫坐標(biāo)的差值求取。利用結(jié)構(gòu)光測量法獲取場景深度信息時，通過標(biāo)定可獲得(x,y,θ)-(X_C,Y_C,Z_C)的映射關(guān)系,其中θ為像素坐標(biāo)(x,y)的相位值，可通過相位測量輪廓術(shù)、傅里葉變換輪廓術(shù)等方法獲取。

3、環(huán)境判決與處理：

該步驟流程如附圖1所示，包括外部環(huán)境光強判斷，三維場景紋理信息判斷以及根據(jù)判斷結(jié)果決策是否主動投影結(jié)構(gòu)光三個部分。

第一，通過攝像機獲取自然光照下圖像，通過該圖像直方圖分布特征與圖像信噪比SNR判斷外部環(huán)境光強是否充足；

第二，若圖像直方圖分布集中在灰度低的區(qū)域且SNR值小于給定閾值W，則判定該拍攝條件下外部環(huán)境光強較弱，投影編碼結(jié)構(gòu)光；

第三，若外部環(huán)境光強達到立體匹配需求，再通過原始拍攝圖像判定拍攝物體是否存在弱紋理區(qū)域。本發(fā)明定義弱紋理為圖像中像素灰度不發(fā)生變換或者變換很微弱的區(qū)域，該變換體現(xiàn)在像素灰度的梯度和特定窗口下像素灰度的統(tǒng)計特性上。根據(jù)梯度特性或統(tǒng)計特性判定圖像是否存在弱紋理區(qū)域，若存在弱紋理區(qū)域，則投影編碼結(jié)構(gòu)光，增強場景中的紋理信息，同時利用標(biāo)號記錄下弱紋理區(qū)域位置，用以后續(xù)步驟區(qū)分圖像中弱紋理區(qū)域和非弱紋理區(qū)域的像素位置。

4、利用標(biāo)定后的攝像機拍攝左右圖像，若無需結(jié)構(gòu)光輔助，則直接記錄自然光下的圖像信息，獲取視差圖，然后根據(jù)視差與深度之間的映射關(guān)系獲取三維場景的深度圖；若需要結(jié)構(gòu)光輔助且主動投影結(jié)構(gòu)光用于增強外部環(huán)境光強，則記錄結(jié)構(gòu)光下的圖像信息，擇優(yōu)選取立體匹配法或結(jié)構(gòu)光測量法獲取視差圖或相位圖，執(zhí)行步驟6；

若需要結(jié)構(gòu)光輔助且主動投影結(jié)構(gòu)光是用于增強三維場景中的紋理信息，則分別記錄結(jié)構(gòu)光下與自然光下的圖像信息，執(zhí)行步驟5。

5、若利用立體匹配法獲取弱紋理區(qū)域的深度信息，則根據(jù)弱紋理區(qū)域的標(biāo)號信息，分割弱紋理區(qū)域和非弱紋理區(qū)域。將結(jié)構(gòu)光輔助得到的立體匹配視差信息作為弱紋理區(qū)域的視差信息，自然光下得到的立體匹配視差信息作為非弱紋理的視差信息。利用動態(tài)規(guī)劃縫合線法與加權(quán)疊加法融合弱紋理區(qū)域和非弱紋理區(qū)域的視差信息，得到最終該場景的視差圖。

本發(fā)明定義在縫合線上兩幅視差圖的視差差值最小，且縫合線上的鄰域內(nèi)像素值最相近。為較好的滿足上述條件，定義融合代價計算公式如下：

E(x,y)＝E_diff(x,y)+λE_color(x,y)

其中，d₁表示結(jié)構(gòu)光輔助下得到的視差圖，d₂自然光下得到的視差圖，I₁表示結(jié)構(gòu)光輔助下采集得到的灰度圖，I₂表示自然光下得到的灰度圖。E_color用周圍矩形區(qū)域V內(nèi)的像素之差，表示區(qū)域V內(nèi)像素點色彩上的強度關(guān)系，E_diff取兩幅圖像結(jié)構(gòu)變化較小的位置處的梯度值來表示幾何結(jié)構(gòu)的相似性，λ是一個調(diào)節(jié)系數(shù)，N_V為區(qū)域V內(nèi)像素的總數(shù)，E為融合代價，E越小選擇該點作為縫合線上點的機率越大。

路徑規(guī)劃完成后，沿著縫合線利用加權(quán)疊加的方法對視差圖進行融合。融合方式如下：

d_end(x,y)＝ω₁d₁(x,y)+ω₂d₂(x,y)

其中，ω₁和ω₂為加權(quán)疊加的權(quán)重系數(shù)，ω₁+ω₂<1，d_end最終融合得到的視差圖。

若利用結(jié)構(gòu)光測量法獲取弱紋理區(qū)域的深度信息，直接利用受場景深度調(diào)制的編碼圖像求取整個三維場景的相位信息。

6、獲取場景深度圖：

若選用立體匹配法獲取場景的深度信息，本步驟中利用(x,y,d)-(X_C,Y_C,Z_C)的映射關(guān)系恢復(fù)場景的深度信息。若選用結(jié)構(gòu)光測量法獲取場景的深度信息，本步驟中利用(x,y,θ)-(X_C,Y_C,Z_C)的映射關(guān)系恢復(fù)場景的深度信息。

實施例：

本例分別闡述利用立體匹配法和結(jié)構(gòu)光測量法恢復(fù)弱紋理區(qū)域的深度信息的過程。

1、利用立體匹配法恢復(fù)弱紋理區(qū)域的深度信息：

該方法中，投影結(jié)構(gòu)光用于增強弱紋理區(qū)域的紋理信息。優(yōu)選地，由于本例中使用數(shù)字投影儀投影結(jié)構(gòu)光，因此只需對投影圖像進行編碼；同時本例中采用局部算法進行立體匹配，而偽隨機編碼具有窗口唯一性，因此本例中利用偽隨機編碼方式編碼投影圖像。通過數(shù)字投影儀投影編碼圖像后即可獲得編碼結(jié)構(gòu)光。具體流程圖如附圖2所示，根據(jù)立體匹配原理，首先利用棋盤格對雙目攝像機進行標(biāo)定獲得兩個攝像機的內(nèi)部參數(shù)與外部參數(shù)。通過攝像機獲取圖像后，對拍攝環(huán)境進行判決，即判定外部環(huán)境光強與場景紋理信息是否符合立體匹配需求，判定過程如下：

1)首先求取圖像直方圖與圖像信噪比SNR判斷外界環(huán)境光強是否充足：

11)判斷圖像曝光量大?。簣D像在欠曝光時，在對應(yīng)的灰度直方圖中，像素大多集中在灰度低的區(qū)域，并且有明顯的溢出現(xiàn)象，而在灰度高的區(qū)域很少出現(xiàn)。通過灰度直方圖兩端像素值個數(shù)為空的區(qū)域所占的比例F_rat，直方圖峰值灰度g_peak與灰度直方圖的均值灰度g_mean來估計圖像曝光量。

F_rat＝(g_min+1)/(255-g_max+g_min+1)

其中，g_max為灰度圖左邊緣處的像素數(shù)量為零的最大灰度值數(shù)，g_min為灰度圖右邊緣處的像素數(shù)量為零的最小灰度值數(shù)；

設(shè)定閾值M<0.5，當(dāng)g_peak或g_mean小于128，F(xiàn)_rat<M時，該圖像為欠曝光圖像。

12)為排除黑色物體對判斷的干擾，本發(fā)明利用信噪比對判定結(jié)果進行再次驗證。優(yōu)選地，采用無參考峰值信噪比的方法來衡量圖像的信噪比，將圖像平坦區(qū)域的標(biāo)準(zhǔn)差作為噪聲標(biāo)準(zhǔn)差，用該標(biāo)準(zhǔn)差代替均方誤差，噪聲標(biāo)準(zhǔn)差公式為：

其中，N為圖像的總個數(shù)，I(x,y)表示像素點的灰度值，像素均值μ的表達式為：

將整幅圖像分成多個小區(qū)域，分別求出各個區(qū)域的噪聲標(biāo)準(zhǔn)差，升序排列各個區(qū)域的方差值，求出前的方差的均值視為整幅圖像的噪聲標(biāo)準(zhǔn)差，則圖像的無參考峰值信噪比公式為：

其中，L為圖像最大灰階數(shù)。

設(shè)定閾值W，若求取的NPSNR小于設(shè)定閾值，則確定該條件下外部環(huán)境光不足，主動投影結(jié)構(gòu)光增加光強信息。

2)在外部環(huán)境光充足的情況下，對圖像紋理信息進行判斷，由于圖像像素灰度的梯度和特定窗口下像素灰度的統(tǒng)計特性可以反應(yīng)圖像的紋理信息，優(yōu)選地，為了判斷過程更為精準(zhǔn)，選用兩者結(jié)合的方式進行判定，判定準(zhǔn)則如下：

其中，N表示窗口中的像素個數(shù)，W_(x,y)表示以像素(x,y)為中心的窗口，I_(u,v)表示灰度圖像中的像素點灰度值，s為窗口中像素的方差，k為窗口中像素的梯度值之和。設(shè)定閾值s_r與k_r，若s²<s_r且k<k_r，則判定該區(qū)域為弱紋理區(qū)域，主動投影結(jié)構(gòu)光增加紋理信息。

決策完成之后，利用左右攝像頭采集圖像，當(dāng)前環(huán)境為弱紋理區(qū)域，則通過立體匹配算法獲得自然光下的視差圖與結(jié)構(gòu)光輔助下的視差圖，并記錄下弱紋理區(qū)域像素位置。優(yōu)選地，為了實現(xiàn)匹配過程中精度與速度的均衡化，采用自適應(yīng)權(quán)重(ASW)方法計算視差圖。通過動態(tài)規(guī)劃路徑與加權(quán)疊加的方法獲得最終融合的視差圖d_end。本例中動態(tài)規(guī)劃路徑中融合代價計算方式為：

E(x,y)＝E_diff(x,y)+0.3*E_color(x,y)

融合計算公式為：

d_end(x,y)＝0.5*d₁(x,y)+0.5*d₂(x,y)

最后通過視差與深度的映射關(guān)系求取三維場景深度圖。

2、利用結(jié)構(gòu)光測量法恢復(fù)弱紋理區(qū)域的深度信息：

選用結(jié)構(gòu)光測量法恢復(fù)弱紋理區(qū)域的深度信息時，直接利用結(jié)構(gòu)光測量法恢復(fù)整個場景的三維信息。優(yōu)選地，選取正弦編碼條紋作為編碼圖像，采用相位測量輪廓術(shù)獲取場景的相位信息。相位測量輪廓術(shù)利用N步相移法，投影N幀具有2π/N相移間隔的正弦編碼條紋至待測場景表面。

采用結(jié)構(gòu)光測量法獲取弱紋理區(qū)域場景深度圖的具體流程參見圖3，首先對環(huán)境進行判決，判決過程與立體匹配法相同。若場景中存在弱紋理區(qū)域，則投影N幀正弦條紋至待測場景表面，再利用攝像機采集N幀受場景調(diào)制的變形條紋，采集得到的變形條紋變化強度表示為：

I_n＝R(x,y){1+B(x,y)cos[φ(x,y)+2πn/N]}(n＝1,2…N)

其中R(x,y)為物體表面反射率系數(shù)，B(x,y)為條紋對比度，φ(x,y)為受場景深度調(diào)制后的相位信息，N為投影條紋幀數(shù)，其中N大于等于3。根據(jù)N步等步相移計算公式：

即可獲得場景的截斷相位信息φ(x,y)，再通過解相算法后獲得場景的連續(xù)相位信息θ(x,y)，最后通過相位與深度的映射關(guān)系求取三維場景深度圖。