專利名稱：基于svm模型的單目紅外圖像深度估計方法
技術領域：
本發(fā)明涉及一種能夠對單目紅外圖像進行深度估計的方法，通過本方法可對紅外圖像中的場景的空間位置信息進行估計。
背景技術：
圖像的深度估計即是從圖像中獲取深度距離信息，從本質上講是一個深度感知的問題。由深度感知構建的空間位置信息所表征的是從觀察者到場景中檢測到的表面的相對距離?；謴筒噬珗D像中的深度距離信息現(xiàn)在已有比較理想的算法，但對于紅外圖像來說，因其反映的是場景的溫度分布，有著低信噪比、低對比度等缺陷，恢復該圖像的深度算法尚屬空白。若能恢復紅外圖像的深度信息，那么將極大地提高人眼對該圖像的理解效果。目前圖像深度估計方法主要是針對雙目深度線索和基于圖像序列的深度估計展開的，這兩種方法都依賴于圖像間的特征差異。而對于單目深度估計，在早期傳統(tǒng)的算法當中較為經(jīng)典的是“由陰影恢復形狀(shape from shading) ”,該算法以空間立體幾何為理論基礎，依據(jù)光源照射到物體表面所產(chǎn)生的明暗變化即圖像的陰影來恢復物體深度的，但因為該算法需要先驗知識(如反射模型和光源方向等)使得應用的局限性增加。之后，一些研究者逐漸發(fā)現(xiàn)經(jīng)驗的重要性，開始利用機器學習的方法去解決這一問題。斯坦福大學 Andrew Ng的團隊通過利用馬爾科夫場訓練的模型對單幅圖像進行深度估計，達到了很好的效果；卡耐基梅隆大學的Aloysha Efros團隊則在訓練前手動標定場景中簡單的類別， 比如天空、樹木、地面及垂直線等等，然后利用大量的數(shù)據(jù)學習這些類別，并最終通過構建貝葉斯模型對新圖像進行分類從而恢復深度信息。這種方法雖然對一系列場景簡單的圖片較為適用，并且達到了預期的效果，但對于場景中沒有學習的類別往往是不準確的。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種針對紅外圖像進行深度估計的方法，通過該方法可以較為準確地估計紅外圖像的深度信息。為了達到上述目的，本發(fā)明的技術方案是提供了一種基于SVM模型的單目紅外圖像深度估計方法，其特征在于，步驟為步驟I、獲取任意單目紅外圖像I (X，y)及與該單目紅外圖像I (X，y)所對應的深度圖；步驟2、為單目紅外圖像I(x，y)中的每個像素點設定至少三個不同尺度上的特征區(qū)域，三個不同尺度由小到大分別為第一尺度、第二尺度及第三尺度，其中，每個尺度的特征區(qū)域至少包括位于中心的圖像塊及與該圖像塊上、下、左、右相鄰的圖像塊，第i個像素點在第一尺度上的位于中心的圖像塊為第i個像素點本身，該第i個像素點在第二尺度上的位于中心的圖像塊包含第一尺度上的所有 圖像塊，該第i個像素點在第三尺度上的位于中心的圖像塊包含第二尺度上的所有圖像塊，以此類推；步驟3、計算單目紅外圖像I (X，y)中每個像素點所對應的特征區(qū)域的特征向量，第i個像素點的特征向量的特征分量至少包括第i個像素點在第一尺度上的所有圖像塊的灰度值，第i個像素點在除第一尺度外的其他尺度上的各圖像塊的紋理能量，第i個像素點在除第一尺度外的其他尺度上的各圖像塊的不同方向的梯度能量及所有梯度能量的均值和方差，及第i個像素點在除第一尺度外的其他尺度上的各圖像塊的清晰度；步驟4、對步驟3中已獲取的所有特征向量依次利用逐步線性回歸分析和獨立分量分析的方法進行篩選，得到較為符合紅外圖像深度信息的特征向量；步驟5、利用通過步驟4篩選得到特征向量與該單目紅外圖像I(x，y)所述對應的深度圖構建深度訓練樣本集合，將深度訓練樣本集合中的特征向量映射到另一新的特征空間中，并把新的特征空間與深度圖的深度值用支持向量回歸進行非線性擬合，進而構建深度模型；步驟6、將采集到的新單目紅外圖像通過步驟5得到的深度模型分析得到深度估計值。優(yōu)選地，步驟3中所述紋理能量通過勞斯掩膜計算得到，具體步驟為采用N個基本的二維勞斯掩膜，記為M1,. . .，Mn，將所述單目紅外圖像I (x，y)與每一個二維勞斯掩膜做卷積，則單目紅外圖像I(x，y)與第k個二維勞斯掩膜卷積后的值為Tk(x,y) = I (x,y) XMk, k = I,. . . ,N,則第i個像素點在第j尺度上的第m個圖像塊N1(Iii)
在單目紅外圖像I (X，y)與第k個二維勞斯掩膜卷積后得到的紋理能量為
權利要求
1.一種基于SVM模型的單目紅外圖像深度估計方法，其特征在于，步驟為 步驟I、獲取任意單目紅外圖像I(x，y)及與該單目紅外圖像I(x，y)所對應的深度圖；步驟2、為單目紅外圖像I (X，y)中的每個像素點設定至少三個不同尺度上的特征區(qū)域，三個不同尺度由小到大分別為第一尺度、第二尺度及第三尺度，其中，每個尺度的特征區(qū)域至少包括位于中心的圖像塊及與該圖像塊上、下、左、右相鄰的圖像塊，第i個像素點在第一尺度上的位于中心的圖像塊為第i個像素點本身，該第i個像素點在第二尺度上的位于中心的圖像塊包含第一尺度上的所有圖像塊，該第i個像素點在第三尺度上的位于中心的圖像塊包含第二尺度上的所有圖像塊，以此類推； 步驟3、計算單目紅外圖像I (x，y)中每個像素點所對應的特征區(qū)域的特征向量，第i個像素點的特征向量的特征分量至少包括第i個像素點在第一尺度上的所有圖像塊的灰度值，第i個像素點在除第一尺度外的其他尺度上的各圖像塊的紋理能量，第i個像素點在除第一尺度外的其他尺度上的各圖像塊的不同方向的梯度能量及所有梯度能量的均值和方差，及第i個像素點在除第一尺度外的其他尺度上的各圖像塊的清晰度； 步驟4、對步驟3中已獲取的所有特征向量依次利用逐步線性回歸分析和獨立分量分析的方法進行篩選，得到較為符合紅外圖像深度信息的特征向量； 步驟5、利用通過步驟4篩選得到特征向量與該單目紅外圖像I (X，y)所述對應的深度圖構建深度訓練樣本集合，將深度訓練樣本集合中的特征向量映射到另一新的特征空間中，并把新的特征空間與深度圖的深度值用支持向量回歸進行非線性擬合，進而構建深度模型； 步驟6、將采集到的新單目紅外圖像通過步驟5得到的深度模型分析得到深度估計值。
2.如權利要求I所述的一種基于SVM模型的單目紅外圖像深度估計方法，其特征在于，步驟3中所述紋理能量通過勞斯掩膜計算得到，具體步驟為 采用N個基本的二維勞斯掩膜，記為M1,. . .，Mn，將所述單目紅外圖像I (x，y)與每一個二維勞斯掩膜做卷積，則單目紅外圖像I(x，y)與第k個二維勞斯掩膜卷積后的值為Tk(x，y) = I (x, y) XMk, k = I,. . . ,N,則第i個像素點在第j尺度上的第m個圖像塊N1 (m)在單目紅外圖像I (X，y)與第k個二維勞斯掩膜卷積后得到的紋理能量為， = ΣΙΓ*(χ，外
3.如權利要求I所述的一種基于SVM模型的單目紅外圖像深度估計方法，其特征在于，步驟3中所述梯度能量、梯度能量的均值及方差的計算步驟為 對所述單目紅外圖像I (X，y)在X軸方向及y軸方向上分別求得X軸梯度圖IgMdx(X，y)和y軸梯度圖Igrady(X，y)，則單目紅外圖像I(x，y)在角度θ ι方向上的梯度值G1U, y)=gradx (x>y) Xcos( Θ ^+Igrady (x,y) Xsin( θ χ)，其中肩1=0,..., (L-I) ,L 為方向的總個數(shù)，隨后計算每個像素點在除第一尺度外的其他尺度上的各圖像塊的不同方向的梯度能量，其中，第i個像素點在第j尺度上的第m個圖像塊Ni(Hi)在角度Q1方向上的梯度能量為3tL- =’則第i個像素點在第j尺度上的第m個圖像塊Ni (m)在角度X^yeN1 (m)θ I方向上的梯度能量的均值
4.如權利要求I所述的一種基于SVM模型的單目紅外圖像深度估計方法，其特征在于，在所述步驟4中，逐步線性回歸分析的具體步驟為 步驟4. I. I、計算特征向量中每個特征分量與深度值的相關系數(shù)，根據(jù)相關系數(shù)的絕對值由大到小得到每個特征分量對深度影響程度的排序； 步驟4. I. 2、從相關系數(shù)的絕對值最大的特征分量開始逐步引入回歸方程，并作回歸方程顯著性檢驗，若不顯著可認為所選全部特征分量均不是影響深度值的主要因素，若顯著再從對深度值影響由大到小依次逐個引入回歸方程； 步驟4. I. 3、每引入一個新的特征分量都需要對回歸方程中所含的每一個特征分量進行顯著性檢驗，將那個在新回歸方程中不顯著且對深度值影響最小的特征分量剔除，重復本步驟直到回歸方程中的每一個特征分量都顯著為止；步驟4. I. 4、再引入未引入的特征分量中對深度值影響最大的一個特征分量，重復步驟.4.I. 3及步驟4. I. 4，直到無法剔除已入選的特征分量，也無法引入新的特征分量為止。
5.如權利要求I所述的一種基于SVM模型的單目紅外圖像深度估計方法，其特征在于，在所述步驟4中，獨立分量分析的具體步驟為 步驟4. 2. I、指定經(jīng)過逐步線性回歸分析后的M個像素點的特征向量為觀測數(shù)據(jù)X，并對觀測數(shù)據(jù)X進行中心化，使之均值為O ; 步驟4. 2. 2、將中心化的觀測數(shù)據(jù)X白化，即將觀測數(shù)據(jù)X投影到新的子空間后變成白化向量Z，Z = WtlX,其中，Wtl為白化矩陣，W0 = A_1/2UT，A為觀測數(shù)據(jù)X的協(xié)方差矩陣的特征值矩陣，U為觀測數(shù)據(jù)X的協(xié)方差矩陣的特征向量矩陣； 步驟4. 2. 3、更新W*使得fzEiZgO^ZM-Eig' (WtZ) }W，其中g( ·)為非線性函數(shù)，然后再對標準化:W = WV W* I，若不收斂則重復本步驟，其中，選擇一個模為I的初始隨機權矢量作為W的初始值。
全文摘要
本發(fā)明提出一種針對紅外圖像進行深度估計的方法，利用支持向量回歸理論對已對紅外圖像提取的深度特征構建深度估計模型，從而利用深度模型估計新的紅外圖像的深度圖。首先選取紅外圖像中的特征向量；接著利用逐步線性回歸方法查找與紅外深度特征相關的特征向量，對篩選的特征向量再進行獨立成分分析，得出互相獨立的特征向量，并構建紅外深度訓練集；然后以具有核函數(shù)的非線性支持向量回歸理論為基礎對訓練集計算得出深度估計模型；最后對新引入的紅外圖像按照訓練集中的特征提取方法進行提取后通過模型對其進行深度估計，從而得出該紅外圖像的深度圖。實驗結果證明，該方法能夠有效估計紅外圖像的深度圖。
文檔編號G06T7/00GK102708569SQ20121015062
公開日2012年10月3日 申請日期2012年5月15日 優(yōu)先權日2012年5月15日
發(fā)明者孫韶媛, 席林 申請人:東華大學