專利名稱：一種基于全局和局部算法的計算機雙目視覺匹配方法
技術領域：
本發(fā)明涉及圖像處理、計算機視覺、計算方法、數(shù)學、數(shù)值方法 領域，尤其是計算機視覺的雙目圖像匹配方法。
背景技術：
. '
目前，立體視覺匹配問題的研究己經(jīng)取得了很大的進展。特別 是基于全局優(yōu)化的匹配算法，已經(jīng)成為了解決匹配問題的主要方法， 得到了廣泛的運用。其能得到如此關注的原因是因為匹配問題可以很
好地被建模為一個馬爾可夫隨機場(MRF)或條件隨機場(CRF)的 優(yōu)化問題。這類問題在許多學科中都有設計，由此產(chǎn)生的很多算法都 可以運用到匹配問題的解決當中來，比如圖割法(Graph Cuts) (1、 Y. Boykov, 0. Veksler, and R. Zabih, "Fast approximate energy minimization via graph cuts", IEEE Transaction on Pattern Analysis and Machine Intelligence, 2001， 23(11): pp. 1222-1239.博依科夫，范克斯 勒，扎比，"使用圖割算法的快速能量最小化估計"，美國電氣電子工 程師學會模式識別與智能機器學報，2001， 23 (11):頁1222—1239 2、 V. Kolmogorov and R. Zabih, "What energy functions can be minimized via graph cuts ", European Conf. on Computer Vision, 2002， pp. 65-81. 科爾莫格洛夫，扎比，"圖割算法可以最小化什么形式的能量函數(shù)？" 歐洲計算機視覺會議，2002，頁65 — 81)，置信度擴散法(Belief Propagation) (1、 P. Felzenszwalb and D. Huttenlocher, "Efficient belief propagation for early vision", Int. J. of Computer Vision, 2006, 70(1), pp.41-54.費爾贊茨沃，赫頓洛契，"底層視覺中的高效置信度擴散算法"，
計算機視覺國際期刊，2006， 70(1)，頁41—54 2、 J. Sun, Y. Li, S. Kang, and H. Y, Shum, "Symmetric stereo matching for occlusion handling", In Proc. IEEE Computer Vision and Pattern Recognition, 2005, 2, pp. 399-406.孫，李，康，舒姆，"使用對稱匹配的遮擋剔除算法"，美國 電氣電子工程師學會計算機視覺與模式識別會議，2005， 2，頁399 —406 )， 二次多項式偽二值優(yōu)化法(Quadratic Pseudo Boolean Optimization) (1、 O. J. Woodford, P. H. S. Torr， I. D. Reid and A. W. Fitzgibbon, "Global stereo reconstruction under second order smoothness priors", IEEE Computer Vision and Pattern Recognition, 2008, 1-12, pp. 2570-2577.伍德福德，托爾，雷德，斐茨格本，"基于二次光滑假設的 全局重建算法"，美國電氣電子工程師學會計算機視覺與模式識別會 議，2008， 1 — 12，頁2570 — 2577 2、 C. Rother, V. Kolmogorov, V. Lempitsky, and M. Szummer, "Optimizing binary MRFs via extended roof duality", In Proc. IEEE Computer Vision and Pattern Recognition, 2007, 1-8, pp. 1784-1791.羅瑟，科爾莫格洛夫，蘭皮茨基，舒莫，"基于擴 展的頂對偶方法的二值馬爾可夫隨機場模型的優(yōu)化算法"，美國電氣電 子工程師學會計算機視覺與模式識別會議會報，2007， l一8，頁1784 一1791)等。這些方法都使用一個能量函數(shù)來表征多幅圖像見的關系， 并且假設該能量函數(shù)的最小值對應于最佳匹配。然而，事實是這樣的 能量函數(shù)越復雜，這個假設才越正確。在實際應用中，為了使問題可 以得到有效解決，通常都采用比較簡單的能量函數(shù)，這些能量函數(shù)會 使得最終結(jié)果失去很多細節(jié)特征，但從另外一個方面來看， 一些經(jīng)典 的全局匹配算法可以結(jié)合這種比較簡單的能量函數(shù)得到一個比較準確的分層匹配結(jié)果，同時，這些方法可以結(jié)合對稱可見性檢測和非對稱 可見性檢測使得結(jié)果更為準確。這種分層的結(jié)果提供了一個很好的粗 匹配結(jié)果，并在很大程度上減小了再優(yōu)化的搜索空間。
目前，許多研究者主要在兩個方面優(yōu)化分層匹配結(jié)果。 一個方面， 通過改造優(yōu)化算法，使其可以適應更復雜的能量函數(shù)；另一個方面， 通過采用一些預先定義的表面模型來消除分層現(xiàn)象。 一般來說，有兩 種表面模型最多被采用， 一種是平面模型，該模型假設場景是由許許 多多的不同朝向，不同形狀的平面組成。這種假設使得在處理一些特 定測試數(shù)據(jù)時顯示出良好的結(jié)果，但在實際應用中的結(jié)果往往不是很
理想；另一種是樣條曲面，通常使用的三階B樣條曲面可以描述絕大 多數(shù)物體的表面，但是對于這類表面假設， 一般沒有比較高效的優(yōu)化 算法。Lin (M. H. Lin, and C. Tomasi， "Surfaces with occlusions from layered stereo", IEEE Transaction on Pattern Analysis and Machine Intelligence, 2004, 26(8), pp. 1073-1078.林，托馬西，"基于分層匹配的 帶遮擋檢測的表面重建算法"，美國電氣電子工程師學會模式識別與智 能機器學報，2004， 26 (8)，頁1073 — 1078)提出了一種采用這種表 面假設的優(yōu)化算法，對于一般的測試圖像對，需要進行幾個小時的優(yōu) 化，而在一些尖角處仍會留有比較大的錯誤。
局部匹配算法也存在著許多問題。像經(jīng)典的基于窗口的贏家通吃 (winner-takes-all)算法，因為缺少更多的信息，匹配局限在一個小的 局部，往往會導致結(jié)果的不準確。所以，對于局部匹配算法的改進， 往往需要增大其搜索空間。但當搜索空間太大時，場景的幾何結(jié)構(gòu)所 產(chǎn)生的影響就會增大，從而影響到結(jié)果的準確性。為了減小這種幾何 結(jié)構(gòu)的影響，Li和Zucker(G. Li and S. W. Zucker, "Differential geometricconsistency extends stereo to curved surfaces", In Proc. European Conference on Computer Vision, 2006， 3(3953), pp. 44-57.李，促克，"一
種滿足微分幾何連續(xù)性的從匹配結(jié)果擴展到曲面的方法"，歐洲計算機 視覺會議會報，2006， 3 (3953)，頁44一57)提出了一種可變窗口的 SSD匹配算法。該算法將場景幾何結(jié)構(gòu)在窗口中的投影和窗口的形變 之間建立了一種聯(lián)系，雖然這種方法可以極大地減少錯誤匹配，但其 算法復雜度卻從O(")上升到了 (9("3)，效率下降明顯。
當全局匹配結(jié)果經(jīng)過局部匹配算法的優(yōu)化后，由于局部算法的局 部性，其結(jié)果還需要進行再優(yōu)化。Li和Zucker (G. Li and S. W. Zucker, "Differential geometric consistency extends stereo to curved surfaces", In Proc. European Conference on Computer Vision, 2006， 3(3953), pp. 44-57. 李，促克，"一種滿足微分幾何連續(xù)性的從匹配結(jié)果擴展到曲面的方 法"，歐洲計算機視覺會議會報，2006， 3 (3953)，頁44一57)提出 了一種融合多個局部匹配結(jié)果得到一個光滑的結(jié)果的算法，但由于其 沒有考慮遮擋區(qū)域的問題，使得最后的結(jié)果在物體邊緣處產(chǎn)生很多的 錯誤匹配。而物體遮擋在全局匹配算法中有著相當廣泛的討論，而這 種情況在真實場景中也是普遍存在的。

發(fā)明內(nèi)容
為了克服已有的計算機雙目立體視覺匹配方法的不能兼顧全局最 優(yōu)和局部特征、匹配結(jié)果不精確的不足，本發(fā)明提供一種能夠兼顧全 局最優(yōu)和局部特征、得到更精確的匹配結(jié)果的基于全局和局部算法的 計算機雙目立體視覺匹配方法。
本發(fā)明解決其技術問題所采用的技術方案是
一種基于全局和局部算法的計算機雙目立體視覺匹配方法，所述計算機雙目立體視覺匹配方法包括以下步驟
(1 )、對雙目立體視覺傳感器獲得的左右兩幅圖像使用圖割法獲得一 個分層的匹配結(jié)果；
(2) 、使用不同窗口大小的窗口匹配法在全局匹配結(jié)果的一個小的領
域里獲得多個不同的局部匹配結(jié)果；
(3) 、將這多個局部匹配結(jié)果置于一個帶有二階光滑能量函數(shù)(O. J. Woodford, P. H. S. Torr， I. D. Reid and A. W. Fitzgibbon, "Global stereo reconstruction under second order smoothness priors", IEEE Computer Vision and Pattern Recognition, 2008, 1-12, pp. 2570-2577.伍德福德，托 爾，雷德，斐茨格本，"基于二次光滑假設的全局重建算法"，美國電 氣電子工程師學會計算機視覺與模式識別會議，2008， 1一12，頁2570 一2577)的馬爾可夫隨機場中使用二次多項式偽二值優(yōu)化法(QPBO) 進行迭代優(yōu)化，得到匹配結(jié)果。
進一步，在所述步驟(1)中，將雙目立體視覺傳感器獲得的左右 兩幅圖像進行匹配的問題，描述為如下能量函數(shù)，即該能量函數(shù)的最 小值對應于最優(yōu)匹配
<formula>formula see original document page 9</formula> (1)
其中
(D) = Z1W -D(x)))l (2) 五訓^(D)-義'Z min(r,|DW —D(力l) (3)
其中，W表示4鄰域集合，r表示最大的懲罰值，Ii和Iw表示左右 兩幅圖像；D表示視差圖，視差圖D將和^聯(lián)系，而Iw將作為參考 圖像，左圖上的一個像素點表示為Ii(x)，其在右圖上的視差值為"的匹配點表示為《X, J);
使用a-expansion算法進行匹配得到一個分層的匹配結(jié)果。 再進一步，在所述步驟(2)中，將分層的匹配結(jié)果作為一個表面
約束，每個層次被看成一個連續(xù)的表面，首先給出的是一個路徑連通
性的遞歸定義
.固0) = 1 . (4)
、iDW-D(力卜t7,(x,;);)eW
(5)
其中c表示一種連接范圍，E^此？^^+表面使用路徑連通性定義如
下
5W/(x, S) = W V> e S, co"(x,力=1} (6)
其中S是定義域，它總是被表示成一個矩形窗口； Surf(x,S)表示一 個以X為中心，定義在S上的表面； .〃
根據(jù)所述表面定義，步驟(1)中得到的全局匹配結(jié)果被分為幾個 連續(xù)的表面，局部匹配算法以這些連續(xù)表面為約束，使得同時跨越多 個表面的窗口被分割成幾個不同的小部分，各自在其所屬的表面進行
匹配，約束條件真實的視差值和分層結(jié)果的誤差不超過0.5個像素，
即求解范圍被限定在分層匹配結(jié)果的士0.5像素的鄰域里，使用經(jīng)典的
窗口匹配算法，其定義如下所示
D(x) = arg min朋g/e(v(Swr/ (x, S))， v(5Wr/0: +《S))) (7) 其中v(x)表示原點在X處的窗口中所有灰度值為元素所組成的一維
向量，angle(x,力表示向量x和y的夾角； 每一種窗口大小得到一個局部匹配結(jié)果。
更進一步，在所述步驟(3)中，將步驟(2)得到的一系列局部匹配結(jié)果兩兩置于一個馬爾可夫隨機場模型中使用QPBO算法進行迭
代優(yōu)化，如下所示
D(x) = D〔argmin￡((l —B).D(x) + B.D,0c))), z.s[2，A:] (9)
其中B是一個二值矩陣，當B(x"O時，取值D(x)，否貝U，取值D,(x)。 D,(x)表示第/個局部匹配結(jié)果； . 采用帶有二階光滑項的能量函數(shù)表示如下
￡(D) = A。,。(D) + A,,A(D) (1)
其中
KD) Ifl(;r(x， DW))| (2) 二階光滑項使用鄰接的3個像素來定義表面的光滑性，能量函數(shù) 的數(shù)據(jù)項將保持不變，但光滑項定義為如下形式
A(D)= Z |D(x)-2D(力+ D(z)卜 GO) 采用二次多項式偽二值優(yōu)化法來進行優(yōu)化，得到匹配結(jié)果。 再進一步，在所述步驟(1)中，采用不帶遮擋檢測方法。
在所述步驟(2)中，使用小的視差步長，在進行匹配時使用線性
插值計算小數(shù)單位像素的灰度值。
本發(fā)明的技術構(gòu)思為為了利用全局匹配和局部匹配算法各自的 優(yōu)點，同時克服他們各自的缺點，本支提出了一種融合全局與局部特 點的新算法。該算法主要分為三步首先，使用圖割法獲得一個分層 的匹配結(jié)果；然后，使用不同窗口大小的窗口匹配法在全局匹配結(jié)果 的一個小的領域里獲得多個不同的局部匹配結(jié)果；最后，將這多個局
部匹配結(jié)果置于一個帶有二階光滑能量函數(shù)的馬爾可夫隨機場中進行迭代優(yōu)化。
本發(fā)明的有益效果主要表現(xiàn)在能夠兼顧全局最優(yōu)和局部特征、 得到更精確的匹配結(jié)果。


圖1是對于Venus測試數(shù)據(jù)的結(jié)果分析的示意圖，其中Error threshold(pixel):誤差容許范圍(像素)，即橫坐標表示的含義；Bad pixds(°/。)錯誤率(％)，即縱坐標表示的含義；Layered result:分層 匹配結(jié)果；Several local results:多個局部匹配結(jié)果；Final result:最終結(jié)果。
具體實施例方式
下面結(jié)合附圖對本發(fā)明作進一步描述。
參照圖1， 一種基于全局和局部算法的計算機雙目立體視覺匹配
方法，所述計算機雙目立體視覺匹配方法包括以下步驟
(1 )、對雙目立體視覺傳感器獲得的左右兩幅圖像使用圖割法獲得一 個分層的匹配結(jié)果；
(2) 、使用不同窗口大小的窗口匹配法在全局匹配結(jié)果的一個小的領 域里獲得多個不同的局部匹配結(jié)果；
(3) 、將這多個局部匹配結(jié)果置于一個帶有二階光滑能量函數(shù)的馬爾
可夫隨機場中使用QPBO算法進行迭代優(yōu)化，得到匹配結(jié)果。
全局匹配過程 一個好的全局匹配結(jié)果是后續(xù)優(yōu)化算法的基礎。
在本文所述算法中，全局匹配是對整個場景的一個基本估計，在后續(xù)
的優(yōu)化中都將保持不變，這個估計滿足的假設是它和真實結(jié)果的差不
超過0.5個像素，所以這個全局匹配結(jié)果必須相對光滑，并且在物體
邊緣處能夠保持足夠的準確性?；趫D割法的算法，比如a-expansion，在處理帶有滿足正則條件 (regularity condition)能量函數(shù)的馬爾可夫隨機場的優(yōu)化問題中表現(xiàn) 得非常高效。本文采用的能量函數(shù)是在使用^expansion算法進行匹配
時最常用到的能量函數(shù)，如下所示
，)U)"JD) (1)
其中
五"D) = Z|I々)—IJ;r(x， DW))| (2) 五一,"D)=義.Z min(r,|D(x) —D(力l) (3)
其中，表示4鄰域集合r表示最大的懲罰值。L和iw表示左
右兩幅圖像；D表示視差圖?？紤]到效率，這里我們采用非對稱的模 型，因此，視差圖D將和L聯(lián)系，而Iw將作為參考圖像。左圖上的 一個像素點表示為I工(x)，其在右圖上的視差值為J的匹配點表示為堿x，
^r這里我們沒有引入遮擋檢測，這是因為在這個階段的匹配結(jié)果如
果帶有噪聲，那么這種噪聲將會帶到后續(xù)的優(yōu)化中去，影響最后的匹 配結(jié)果。而一些比較高效的遮擋檢測算法，比如Wei和Quan (Y Wei and L. Quan, "Asymmetrical occlusion handling using graph cut for multi-view stereo", In Proc. IEEE Computer Vision and Pattern Recognition, 2005, 2, pp. 902-909.魏，全，"使用圖割法的多視圖非對 稱遮擋剔除算法"，美國電氣電子工程師學會計算機視覺與模式識別會 議會報，2005， 2，頁902—909)提出的非對稱遮擋檢測算法會在結(jié) 果中引入一些噪聲，所以我們這里采用不帶遮擋檢測的圖割算法來產(chǎn) 生全局匹配結(jié)果。圖1顯示了帶遮擋檢測和不帶遮擋檢測的全局匹配 結(jié)果的比較，其中圖的構(gòu)造和文獻中所提出的方法類似，其優(yōu)化過程 是采用QPBO-P方法(C. Rother， V. Kolmogorov, V. Lempitsky， and M.Szummer, "Optimizing binary MRFs via extended roof duality", In Proc. IEEE Computer Vision and Pattern Recognition, 2007, 1-8, pp. 1784-1791
羅瑟，科爾莫格洛夫，蘭皮茨基，舒莫，"基于擴展的頂對偶方法的二
值馬爾可夫隨機場模型的優(yōu)化算法"，美國電氣電子工程師學會計算機
視覺與模式識別會議會報，2007， 1_8，頁1784_1791)，右圖是由
中定義直接獲得的結(jié)果。
局部匹配在得到全局匹配的分層結(jié)果后，將分層結(jié)果作為一個
表面約束，運用基于亞像素的局部匹配算法可以得到一個更為精確的
匹配結(jié)果。其中，每一個層次被看成是一個連續(xù)的表面，其更準確的
定義將在后面給出。
首先給出的是一個路徑連通性的遞歸定義
畫O) = l (4)
帶可見性檢測的全局匹配結(jié)果和不帶可見性檢測的全局匹配結(jié)果
'1 lDO)-D(力卜o",(x,力eW
COW(JC,力=
0 o;tenv/se
(5)
其中O"表示一種連接范圍。由此， 一個表面可以使用路徑連通性定 義如下
S) = W Yy e S， c。"0,力=1} (6)
其中，S是定義域，它總是被表示成一個矩形窗口。Surf(x,S)表 示一個以x為中心，定義在S上的表面。根據(jù)這個表面定義，之前得 到的全局匹配結(jié)果可以被分為幾個連續(xù)的表面，由此，局部匹配算法 作用于這些連續(xù)的表面上，將避免對深度不連續(xù)處產(chǎn)生影響。
因為先前給出的約束條件的成立，即真實的視差值和分層結(jié)果的 誤差不超過0.5個像素，則我們可以使用局部算法得到更精確的結(jié)果?？紤]到算法的效率，我們使用經(jīng)典的窗口匹配算法，其定義如下所示:
D(x) = arg min a"gfe(v(5W/(x, S)), v(5W/(jc + d, S))) (7)
其中表示原點在x處的窗口中所有灰度值為元素所組成的一維
向量，angle(x,力表示向量x和y的夾角。為了得到更精確的匹配， 這里將使用更小的視差步長，由于像素點都是整數(shù)步長，所以在進行 匹配時，就必須進行差值計算。出于效率考慮，這里將使用線性插值 計算小數(shù)單位像素的灰度值。 '
因為采用了更小步長的視差值，并且其搜索范圍被限制在全局匹 配結(jié)果的一個小鄰域中，使得得到的匹配結(jié)果會更精確，新的方法具 有明顯的優(yōu)越性。
在傳統(tǒng)的窗口匹配算法中，噪聲是不可避免的，但使用本文提出 的方法，噪聲被明顯抑制。另一方面，由于采用了亞像素級的局部匹 配算法，全局匹配結(jié)果中存在的分層現(xiàn)象被明顯消除"J 。
當更加近距離地觀察匹配結(jié)果，亞像素級的光滑性還是比較差 的，。這是由局部匹配算法的獨立性決定的。每個窗口的匹配都是各自 獨立的，和其他的匹配窗口無關。盡管進行了亞像素級的匹配，但這 種獨立性還是存在的。所以為了使得結(jié)果更光滑，還需要進行再優(yōu)化。
局部匹配結(jié)果的優(yōu)化為了優(yōu)化前面得到的一系列局部匹配結(jié)果， 本文提出的方法是將它們兩兩置于一個馬爾可夫模型中進行迭代優(yōu) 化，如下所示
dw = d,w (8)
D(Jc) = D「argmin￡((l —B)'D(x) + B-D,(x))), '.e[2,A:] (9)
其中，B是一個二值矩陣，當B(x^0時，取值D(x)，否則，取 值D,(x)。 D,(jc)表示第/個局部匹配結(jié)果這里我們采用形如式(1)的能量函數(shù)?？紤]到先前采用的能量函 數(shù)會產(chǎn)生比較明顯的分層效果，這里將采用更為復雜一點的能量函數(shù)， 即帶有二階光滑項的能量函數(shù)。二階光滑項使用鄰接的3個像素來定 義表面的光滑性，可以在一定程度上抑制分層現(xiàn)象的產(chǎn)生。產(chǎn)生的結(jié) 果會好于傳統(tǒng)的帶有一階光滑項的能量函數(shù)。
因為全局的分層結(jié)果已經(jīng)被分成了一系列的連續(xù)表面，現(xiàn)階段的
優(yōu)化也將分別在這些連續(xù)表面上進行。所以這里我們不需要考慮可見
性的問題，從而可以簡化優(yōu)化的過程。這里我們采用的能量函數(shù)的數(shù)
據(jù)項將保持不變，但光滑項定義為如下形式
UD)= Z |D(x)-2DO0 + D(Z)|. (10)
這樣的光滑項可以被證明不符合正則條件(V. Kolmogorov and R. Zabih， "What energy functions can be minimized via graph cuts ", European Conf. on Computer Vision, 2002, pp. 65-81.禾斗爾莫格洛夫，扎 比，"圖割算法可以最小化什么形式的能量函數(shù)？"歐洲計算機視覺會 議，2002，頁65_81)，所以我們無法使用"-expansion算法來對其進 行優(yōu)化。作為一種替代，這里將采用二次多項式偽二值優(yōu)化法 (Quadratic Pseudo Boolean Optimization)來進行優(yōu)化。這種優(yōu)化算法 在處理不滿足正則條件的函數(shù)的優(yōu)化問題時，將得到一個部分最優(yōu)的 解。為了估計其余部分解的合理性， 一般采用估計的方法。這里，我 們采用QPBO-P算法。該算法和眾多的同類算法相比，可以得到較好 的結(jié)果，但其效率不高。由于本階段優(yōu)化中所采用的能量函數(shù)相對比 較簡單，同時也為了得到更好的結(jié)果，我們還是采用了該方法來進行 優(yōu)化。
經(jīng)過本階段的優(yōu)化，我們可以得到一個在視覺上比較好的結(jié)果。
16如圖4所示，大部分的噪聲影響已經(jīng)被消除，并且也沒有產(chǎn)生和明顯 的分層效應。
我們將使用Middlebury(D. Scharstein and R. Szeliski. "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms", International Journal of Computer Vision, 2002, 47(1), pp. 742.沙斯坦， 切利斯基，"一種對雙目密集點匹配算法的分類和評價"，計算機視覺 國際期刊，2002， 47 (1)，頁7—42)的測試數(shù)據(jù)集來測試所提出的 算法。為了使得實驗結(jié)果更客觀，在所有的實驗中，我們使用一組同 樣的參數(shù)r=2，；i=10,o=l。同時，在第二階段的優(yōu)化中，我們分別使 用邊長為3, 5， 7, 9， 11, 13, 15, 17, 19和21的窗口來獲得10組局部匹 配結(jié)果。當窗口比較小時，更多的細節(jié)信息可以得到保持，當窗口比 較大時， 一些大尺度的幾何信息將顯現(xiàn)出來。
圖1顯示了對于Venus測試數(shù)據(jù)的結(jié)果分析。從圖中可以明顯 看出，紅色線條表示的全局匹配得到的分層結(jié)果在0.1像素的誤差分 辨率下具有很高的錯誤率。在接下來的局部匹配中，處于高分辨率處 的錯誤率明顯下降，但另一方面， 一些低分辨率處的錯誤率卻出現(xiàn)了 升高。在最后的優(yōu)化過程后，如圖中藍色線條表示，處于低分辨率和 高分辨率處的錯誤率都得到了明顯的下降。換一個角度來說，最后階 段的優(yōu)化得到的是一系列局部匹配結(jié)果的最優(yōu)組合。
權利要求
1、一種基于全局和局部算法的計算機雙目視覺匹配方法，所述計算機雙目視覺匹配方法包括以下步驟(1)、對雙目立體視覺傳感器獲得的左右兩幅圖像使用圖割法獲得一個分層的匹配結(jié)果；(2)、使用不同窗口大小的窗口匹配法在分層結(jié)果的一個小的領域里獲得多個不同的局部匹配結(jié)果；(3)、將這多個局部匹配結(jié)果置于一個帶有二階光滑能量函數(shù)的馬爾可夫隨機場中使用二次多項式偽二值優(yōu)化法進行兩兩迭代優(yōu)化，得到匹配結(jié)果。
2、 如權利要求1所述的一種基于全局和局部算法的計算機雙目視覺匹 配方法，其特征在于在所述步驟(1)中，將雙目立體視覺傳感器獲 得的左右兩幅圖像進行匹配的問題，描述為如下能量函數(shù)，即該能量 函數(shù)的最小值對應于最優(yōu)匹配<formula>formula see original document page 2</formula>其中<formula>formula see original document page 2</formula>其中，iv表示4鄰域集合r表示最大的懲罰值，ii和iw表示左右兩幅圖像；D表示視差圖，視差圖D將和^聯(lián)系，而Iw將作為參考圖 像，左圖上的一個像素點表示為Ii(x)，其在右圖上的視差值為J的匹 酉己點表示為；z(x, J);使用"-expansion算法進行匹配得到一個分層的匹配結(jié)果。
3、如權利要求1或2所述的一種基于全局和局部算法的計算機雙目視 覺匹配方法，其特征在于在所述步驟(2)中，將分層的匹配結(jié)果作 為一個表面約束，每個層次被看成一個連續(xù)的表面，首先給出的是一 個路徑連通性的遞歸定義co"(x) = l (4) —1 |D(x) —D(力l〈c7,(x,力eW。、co"(x,力= { 1 3z, com(x， z) = cow(_y, z) = 、 乂其中O"表示一種連接范圍，由^，"^個^面使用路徑連通性定義如下5W/(jc， S) =I Yy e S,謹(x，力=1} (6)其中S是定義域，它總是被表示成一個矩形窗口； Surf(x, S)表示一 個以X為中心，定義在S上的表面；根據(jù)所述表面定義，步驟(1)中得到的全局匹配結(jié)果被分為幾個 連續(xù)的表面，局部匹配算法以這些連續(xù)表面為約束，使得同時跨越多 個表面的窗口被分割成幾個不同的小部分，各自在其所屬的表面進行匹配，約束條件真實的視差值和分層結(jié)果的誤差不超過0.5個像素，即求解范圍被限定在分層匹配結(jié)果的士0.5像素的鄰域里，使用經(jīng)典的窗口匹配算法，其定義如下所示D(jc) = arg min呵fe(v(SM/"/(X S)), v(5W/(x + d, S))) (7)其中表示原點在x處的窗口中所有灰度值為元素所組成的一維向 量，angle(x,力表示向量x和y的夾角；每一種窗口大小得到一 局部匹配結(jié)果。
4、 如權利要求3所述的一種基于全局和局部算法的計算機雙目視覺匹 配方法，其特征在于在所述步驟(3)中，將步驟(2)得到的一系列局部匹配結(jié)果兩兩置于一個馬爾可夫隨機場模型中使用QPBO算法進行迭代優(yōu)化，如下所示<formula>formula see original document page 4</formula>其中B是一個二值矩陣，當B(x"0時，取值D(x)，否則，取值D,(x)。 D,<x)表示第/個局部匹配結(jié)果；采用帶有二階光滑項的能量函數(shù)表示如下￡(D) = ￡rf。,。(D) + JB_rt(D) (1)其中五"D) = ")-"(;r" D(x)))i (2)二階光滑項使用鄰接的3個像素來定義表面的光滑性，光滑項定 義為如下形式U= Z IDW-2D(力+ D(z)卜 (10) 采用二次多項式偽二值優(yōu)化法來進行優(yōu)化，得到匹配結(jié)果。
5、 如權利要求2所迷的一種基于全局和局部算法的計算機雙目視覺匹 配方法，其特征在于在所述步驟(1)中，采用不帶遮擋檢測方法。
6、 如權利要求3所述的一種基于全局和局部算法的計算機雙目視覺匹配方法，其特征在于在所述步驟(2)中，使用小的視差步長，在進行匹配時使用線性插值計算小數(shù)單位像素的灰度值。
全文摘要
一種基于全局和局部算法的計算機雙目視覺匹配方法，包括以下步驟(1)對雙目立體視覺傳感器獲得的左右兩幅圖像使用圖割法獲得一個分層的匹配結(jié)果；(2)使用不同窗口大小的窗口匹配法在全局匹配結(jié)果的一個小的領域里獲得多個不同的局部匹配結(jié)果；(3)將這多個局部匹配結(jié)果置于一個帶有二階光滑能量函數(shù)的馬爾可夫隨機場中進行迭代優(yōu)化，得到匹配結(jié)果。本發(fā)明提供一種能夠兼顧全局最優(yōu)和局部特征、得到更精確的匹配結(jié)果的基于全局和局部算法的計算機雙目視覺匹配方法。
文檔編號G06T7/00GK101625761SQ20091010151
公開日2010年1月13日 申請日期2009年8月6日 優(yōu)先權日2009年8月6日
發(fā)明者盛 劉, 毛國紅, 王中杰, 秋 管, 陳勝勇 申請人:浙江工業(yè)大學