本發(fā)明涉及一種基于多視圖幾何的多目立體匹配優(yōu)化方法，屬于工業(yè)自動測量。

背景技術(shù)：

1、立體匹配，即通過使用兩個攝像頭捕捉同一場景的圖像，來獲得場景中物體的深度信息。其基本原理是利用左右攝像頭的視差，即相同物體在左右圖像中的位置差異，來計算物體到攝像頭的距離。一般在大面積區(qū)域的三維測量工程中，遠距離區(qū)域在雙目圖像中的差異難以識別，導(dǎo)致最終測量的三維結(jié)構(gòu)誤差較大。因此，寬基線的雙目立體視覺通過構(gòu)建遠大于雙目相機自身基線的虛擬基線，增強雙目相機的視差效應(yīng)，提高遠距離的測量精度。然而，寬基線的雙目圖像無法處理近景遮擋問題，導(dǎo)致深度圖中的近景遮擋物附近的無效深度點區(qū)域擴大。

2、王杰等人提出基于多目相機的立體匹配優(yōu)化方法，在左右目相機之間引入中間相機，并通過相機之間的固定幾何關(guān)系約束左右目相機的立體匹配，解決固定基線立體匹配的遮擋問題，但是其固定基線的幾何約束不適用于寬基線立體匹配，無法解決寬基線情況下的遮擋問題。

技術(shù)實現(xiàn)思路

1、為解決上述問題，本發(fā)明提供一種基于多視圖幾何的多目立體匹配優(yōu)化方法，該方法在測量大范圍區(qū)域時測量性能較高，顯著降低近景遮擋物的遮擋效應(yīng)，能夠同時保證近距離和遠距離目標區(qū)域的測量精度，具有一定的魯棒性。

2、為實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

3、一種基于多視圖幾何的多目立體匹配優(yōu)化方法，包括如下步驟：

4、步驟1：利用單目視覺慣性定位系統(tǒng)對目標區(qū)域進行三幀寬基線圖像和其相機定位數(shù)據(jù)采集；

5、步驟2：采用多視圖幾何方法估計三幀寬基線圖像對應(yīng)相機的位姿，并根據(jù)位姿進行圖像校正；

6、步驟3：采用sgm算法對校正后的圖像對進行立體匹配，并利用相機定位數(shù)據(jù)將視差圖轉(zhuǎn)換為深度圖；

7、步驟4：采用多視圖幾何算法計算深度圖之間的幾何約束；

8、步驟5：采用基于多視圖幾何約束和改進sgm算法的多目立體匹配優(yōu)化算法，改善寬基線立體匹配時的近景遮擋。

9、進一步的，所述步驟1具體包括如下步驟：

10、步驟1.1：從單目視覺慣性系統(tǒng)采集的多幀數(shù)據(jù)中篩選出所有相機位姿和目標區(qū)域滿足前向交會的三幀寬基線圖像數(shù)據(jù)組合；

11、步驟1.2：從三幀寬基線圖像數(shù)據(jù)組合中篩選出基線長度合適的三幀寬基線圖像數(shù)據(jù)組合。

12、進一步的，所述步驟2具體包括如下步驟：

13、步驟2.1：采用光束法平差估計出三幀寬基線圖像的位姿；

14、步驟2.2：采用基于歐氏幾何的立體校正方法校正圖像。

15、進一步的，所述步驟2.1中，采用sift算法進行圖像特征提取，并基于sift特征描述符的最近鄰與次近鄰距離比例閾值進行三幀寬基線圖像之間的特征匹配，然后采用ransac算法和極線約束來去除誤匹配特征；根據(jù)特征匹配關(guān)系，以第一幀寬基線圖像的相機位姿為參考坐標系，采用pnp算法計算三幀寬基線圖像對應(yīng)的相機之間的相對位姿；采用光束法平差優(yōu)化相機之間的相對位姿。

16、進一步的，所述步驟2.2中，將三幀寬基線圖像分為窄基線圖像對和寬基線圖像對，假設(shè)三幀寬基線圖像的相機位置由左向右移動，三幀寬基線圖像分別記為i1、i2和i3；左起第一幀寬基線圖像i1和第二幀寬基線圖像i2組成窄基線圖像對，左起第一幀寬基線圖像i1和第三幀寬基線圖像i3組成寬基線圖像對；分別對窄基線圖像對和寬基線圖像對進行立體校正。

17、進一步的，所述步驟3具體包括如下步驟：

18、步驟3.1：采用sgm算法分別對寬窄基線圖像對進行立體匹配，得到寬基線視差圖和窄基線視差圖；

19、步驟3.2：利用定位數(shù)據(jù)計算寬窄基線圖像對的真實基線長度，利用下述公式將視差圖轉(zhuǎn)換為深度圖：

20、

21、其中，z表示校正后的像素點深度；b表示圖像對的基線長度；f表示相機的焦距；d表示像素點的視差。

22、進一步的，所述步驟4具體包括如下步驟：

23、步驟4.1：利用針孔相機模型將校正后的窄基線深度圖轉(zhuǎn)換為參考坐標系下的點云，通過下述公式轉(zhuǎn)換：

24、

25、其中，knl為校正后窄基線圖像對中的左相機內(nèi)參；rnl為校正后的窄基線圖像對中的左相機在參考坐標系中的旋轉(zhuǎn)矩陣；z1為校正后的窄基線深度圖中像素點的深度；(u,v)為像素點在校正后窄基線圖像中的像素坐標；(xc,yc,zc)為校正后的窄基線深度圖中的點在參考坐標系下的點云坐標；

26、步驟4.2：將窄基線的點云坐標投影到寬基線深度圖中，得到深度圖之間的幾何約束，通過下述公式表述：

27、

28、其中，kwl為校正后寬基線圖像對中的左相機內(nèi)參；rwl為校正后的寬基線圖像對中的左相機在參考坐標系中的旋轉(zhuǎn)矩陣；z2為校正后的寬基線深度圖中像素點的深度，(u',v')為像素點在校正后寬基線圖像中的像素坐標。

29、進一步的，所述步驟5具體包括如下步驟：

30、步驟5.1：計算寬基線深度圖中遮擋點的像素坐標；

31、步驟5.2：利用步驟4.2得到的幾何約束限定寬基線圖像對中遮擋區(qū)域的視差搜索范圍，通過下述公式動態(tài)范圍視差搜索：

32、

33、其中，r為視差搜索半徑，可在一定范圍內(nèi)調(diào)節(jié)；disparity為寬基線圖像的視差值；

34、步驟5.3：在匹配代價階段，通過census變換計算約束半徑內(nèi)的視差代價值；在代價聚合階段，使用8路徑聚合融合遮擋區(qū)域和非遮擋區(qū)域的代價值；在視差優(yōu)化階段，采用贏者通吃(wta)策略。

35、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下：

36、1、本發(fā)明對采集的圖像與定位數(shù)據(jù)進行篩選，保證相機位姿與目標區(qū)域滿足前向交會；采用多視圖幾何方法校正圖像，保證了立體校正的精度；采用一種基于寬基線的視覺測量方式，增強目標區(qū)域的視差效應(yīng)，提高了遠距離目標區(qū)域的測量精度。

37、2、本發(fā)明利用窄基線雙目的深度信息約束寬基線雙目在遮擋區(qū)域的測量結(jié)果，顯著改善寬基線測量中近景遮擋效應(yīng)嚴重的問題，實現(xiàn)近景遮擋區(qū)域的精確測量，有利于對跑道等存在近景遮擋的大場景進行精確測繪。

技術(shù)特征：

1.一種基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，所述步驟1具體包括如下步驟：

3.根據(jù)權(quán)利要求1所述的基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，所述步驟2具體包括如下步驟：

4.根據(jù)權(quán)利要求3所述的基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，所述步驟2.1的過程包括：采用sift算法進行圖像特征提取，并基于sift特征描述符的最近鄰與次近鄰距離比例閾值進行三幀寬基線圖像之間的特征匹配，然后采用ransac算法和極線約束來去除誤匹配特征；根據(jù)特征匹配關(guān)系，以第一幀寬基線圖像的相機位姿為參考坐標系，采用pnp算法計算三幀寬基線圖像對應(yīng)的相機之間的相對位姿；采用光束法平差優(yōu)化相機之間的相對位姿。

5.根據(jù)權(quán)利要求3所述的基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，所述步驟2.2的過程包括：將三幀寬基線圖像分為窄基線圖像對和寬基線圖像對，假設(shè)三幀寬基線圖像的相機位置由左向右移動，三幀寬基線圖像分別記為i1、i2和i3；左起第一幀寬基線圖像i1和第二幀寬基線圖像i2組成窄基線圖像對，左起第一幀寬基線圖像i1和第三幀寬基線圖像i3組成寬基線圖像對；分別對窄基線圖像對和寬基線圖像對進行立體校正。

6.根據(jù)權(quán)利要求1所述的基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，所述步驟3具體包括如下步驟：

7.根據(jù)權(quán)利要求6所述的基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，所述步驟4具體包括如下步驟：

8.根據(jù)權(quán)利要求7所述的基于多視圖幾何的多目立體匹配優(yōu)化方法，其特征在于，所述步驟5具體包括如下步驟：

技術(shù)總結(jié)
本發(fā)明公開了一種基于多視圖幾何的多目立體匹配優(yōu)化方法，實現(xiàn)步驟：(1)利用單目視覺慣性定位系統(tǒng)采集三幀目標區(qū)域的寬基線圖像和寬基線圖像的相機定位數(shù)據(jù)；(2)采用多視圖幾何方法對采集的三幀寬基線圖像進行立體校正；(3)采用SGM算法對校正后的三幀圖像進行深度估計；(4)采用多視圖幾何算法計算深度圖之間的幾何約束；(5)采用基于多視圖幾何約束和改進SGM算法的多目立體匹配優(yōu)化算法，在保證寬基線立體匹配大范圍區(qū)域高精度測量的同時改善寬基線立體匹配存在近景遮擋的問題。本發(fā)明能夠用于解決寬基線立體匹配算法中存在的嚴重近景遮擋的問題，提高了寬基線深度估計的準確度，有利于對跑道等存在近景遮擋的大場景進行精確測繪。

技術(shù)研發(fā)人員：張侃健,許銀輝,楊浪,劉志明,韓功本,方仕雄,謝利萍,葛健,魏海坤
受保護的技術(shù)使用者：東南大學(xué)深圳研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9