基于結(jié)構(gòu)性線條的視覺(jué)slam方法
【專利摘要】本發(fā)明提供了一種基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法，其中，提供了用以采集周圍環(huán)境圖像的攝像設(shè)備；利用建筑的結(jié)構(gòu)性線條作為特征線條來(lái)實(shí)現(xiàn)實(shí)時(shí)定位和地圖構(gòu)建（SLAM）；該方法包括如下步驟：SLAM初始化：選擇主導(dǎo)方向，采集主導(dǎo)方向上的線條作為特征線條，并對(duì)新增的特征線條進(jìn)行參數(shù)化；SLAM過(guò)程中：針對(duì)每一幀圖像，預(yù)測(cè)所述攝像設(shè)備的運(yùn)動(dòng)，并依此預(yù)測(cè)特征線條在下一幀圖像中的位置，然后在下一幀圖像中在預(yù)測(cè)位置附近尋找匹配線條，得到該特征線條在下一幀圖像中的實(shí)際位置，進(jìn)而計(jì)算預(yù)測(cè)位置與實(shí)際位置的偏差，再利用卡爾曼濾波器更新特征直線的位置以及所述攝像設(shè)備的位置和姿態(tài)。
【專利說(shuō)明】基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視覺(jué)同步定位與地圖構(gòu)建(SLAM)領(lǐng)域，可應(yīng)用于移動(dòng)機(jī)器人、無(wú)人機(jī)的自主導(dǎo)航，也可用于移動(dòng)終端的增強(qiáng)現(xiàn)實(shí)及虛擬建模。

【背景技術(shù)】
[0002]目前，同步定位與地圖構(gòu)建(SLAM)是實(shí)現(xiàn)自主導(dǎo)航的基本問(wèn)題與研究熱點(diǎn)。它的目標(biāo)是解決在進(jìn)入未知環(huán)境后，如何感知周圍環(huán)境構(gòu)建增量式地圖，并同時(shí)進(jìn)行自身定位的問(wèn)題。用于感知周圍環(huán)境的傳感器有很多種，攝像設(shè)備憑借其廉價(jià)，體積小，便于安裝等優(yōu)點(diǎn)使視覺(jué)SLAM方法成為領(lǐng)域中重要研究?jī)?nèi)容。傳統(tǒng)的理論主要是利用環(huán)境中的特征點(diǎn)制圖和定位，優(yōu)點(diǎn)是特征點(diǎn)便于檢測(cè)和跟蹤，而缺點(diǎn)則是對(duì)于一些人造建筑的環(huán)境如走廊的墻面等，往往因?yàn)槿鄙偬卣鼽c(diǎn)而嚴(yán)重影響SLAM的準(zhǔn)確度。現(xiàn)有技術(shù)也有利用線段實(shí)現(xiàn)SLAM的，但其通過(guò)跟蹤線段的兩個(gè)端點(diǎn)的方法使其在本質(zhì)上無(wú)異于之前的特征點(diǎn)SLAM。還有一些技術(shù)，將垂直線量化成地面上的一點(diǎn)，而這將原本的六個(gè)自由度局限在了 2D平面。


【發(fā)明內(nèi)容】

[0003]本發(fā)明要解決的技術(shù)問(wèn)題是提供一種能在特征數(shù)目很少的情況下依然保證高精度的SLAM方法，同時(shí)使得最后地圖的描述與三位重建更清晰。
[0004]為了解決這一技術(shù)問(wèn)題，本發(fā)明提供了一種基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法，其中，提供了用以采集周圍環(huán)境圖像的攝像設(shè)備；利用建筑的結(jié)構(gòu)性線條作為特征線條來(lái)實(shí)現(xiàn)實(shí)時(shí)定位和地圖構(gòu)建(SLAM)；
[0005]該方法包括如下步驟:
[0006]SLAM初始化:選擇主導(dǎo)方向，采集主導(dǎo)方向上的線條作為特征線條，并對(duì)新增的特征線條進(jìn)行參數(shù)化；
[0007]SLAM過(guò)程中:針對(duì)每一幀圖像，預(yù)測(cè)所述攝像設(shè)備的運(yùn)動(dòng)，并依此預(yù)測(cè)特征線條在下一幀圖像中的位置，然后在下一幀圖像中在預(yù)測(cè)位置附近尋找匹配線條，得到該特征線條在下一幀圖像中的實(shí)際位置，進(jìn)而計(jì)算預(yù)測(cè)位置與實(shí)際位置的偏差，再利用卡爾曼濾波器更新特征直線的位置以及所述攝像設(shè)備的位置和姿態(tài)。
[0008]SLAM初始化時(shí)，對(duì)采集的環(huán)境圖像進(jìn)行線條檢測(cè)，根據(jù)檢測(cè)到的線條計(jì)算消失點(diǎn)，再依據(jù)不同的消失點(diǎn)對(duì)檢測(cè)到的線條進(jìn)行分類，選擇其中線條最多的三類或N類作為主導(dǎo)方向。
[0009]在對(duì)新增線條進(jìn)行參數(shù)化時(shí)，先確認(rèn)該特征線條屬于哪一主導(dǎo)方向，利用該特征線條所屬的主導(dǎo)方向表示其方向，再求得該特征線條與參考平面的交點(diǎn)，作為特征線條的參數(shù)記錄在卡爾曼濾波器的狀態(tài)向量中；
[0010]其中參考平面為世界坐標(biāo)系下兩兩垂直的XY、YZ或ZX平面，參考平面的選擇依據(jù)該特征線條與三個(gè)平面法線方向的夾角，夾角最小的平面被選為該特征線條的參考平面。
[0011]確定該特征直線屬于哪一主導(dǎo)方向時(shí)，將三個(gè)主導(dǎo)方向所對(duì)應(yīng)的三個(gè)消失點(diǎn)分別與該特征直線的中點(diǎn)連接，形成三條參考直線，其中一條所述參考直線與該特征直線共線或接近共線時(shí)，則判定該線條為對(duì)應(yīng)主導(dǎo)方向上的特征直線。
[0012]通過(guò)更新所述攝像設(shè)備的參數(shù)實(shí)現(xiàn)所述攝像設(shè)備的定位，所述攝像設(shè)備的參數(shù)至少包括了其在世界坐標(biāo)系中的位置、姿態(tài)，角速度和速度。
[0013]在找出匹配線條的過(guò)程中，先通過(guò)幾何信息匹配過(guò)程和外觀信息匹配過(guò)程選出類似直線，然后再通過(guò)局部更新濾波器剔除異常值，得到最佳的一個(gè)或多個(gè)線段作為匹配線段；
[0014]在幾何信息匹配過(guò)程中，選擇與所述預(yù)測(cè)線條距離最近，且斜率最相似的若干線段；在外觀信息匹配過(guò)程中，將線段中點(diǎn)的一塊圖像塊與所述預(yù)測(cè)線條的圖像塊進(jìn)行相似度的計(jì)算，選擇相似度最佳的若干線段；同時(shí)經(jīng)幾何信息匹配過(guò)程和外觀信息匹配過(guò)程選擇得到的若干線段作為匹配線段。
[0015]得到了直線的預(yù)測(cè)位置及其實(shí)際匹配的匹配線段后，計(jì)算預(yù)測(cè)位置與實(shí)際位置的偏差時(shí)，計(jì)算所述匹配線段的兩個(gè)端點(diǎn)到該預(yù)測(cè)直線的有符號(hào)距離，計(jì)算過(guò)程中，若遇到長(zhǎng)線段，則將長(zhǎng)線段截取成長(zhǎng)度一定的若干短線段，再分別計(jì)算。
[0016]處理完每一幀圖像后，還包括進(jìn)行地圖管理的過(guò)程，對(duì)于每一個(gè)主導(dǎo)方向，給定一個(gè)直線的最小數(shù)目，僅當(dāng)現(xiàn)有的直線數(shù)目小于這個(gè)最小數(shù)目時(shí)，才對(duì)該主導(dǎo)方向上的新檢測(cè)到特征線條進(jìn)行參數(shù)化；
[0017]在進(jìn)行地圖管理的過(guò)程中，用一個(gè)變量記錄每個(gè)特征線條連續(xù)未被匹配的次數(shù)，該次數(shù)會(huì)在重新成功匹配后被清零，否則一直累加，當(dāng)?shù)貓D中的特征線條數(shù)目超過(guò)一定上限，我們則從地圖中刪除對(duì)應(yīng)未被匹配次數(shù)最大的特征線條。
[0018]所述攝像設(shè)備運(yùn)動(dòng)過(guò)程中，還實(shí)時(shí)進(jìn)行特征點(diǎn)檢測(cè)，通過(guò)所述特征線條和特征點(diǎn)共同實(shí)現(xiàn)實(shí)時(shí)定位和地圖構(gòu)建(SLAM)。
[0019]本發(fā)明創(chuàng)造性地發(fā)現(xiàn)到，對(duì)于人造建筑的場(chǎng)景，包含了若干個(gè)主導(dǎo)方向的平面，而沿著這些主導(dǎo)方向的直線可以大致勾勒出建筑的結(jié)構(gòu)，故可稱之為結(jié)構(gòu)性線條。例如絕大部分情況下，建筑都垂直于地面，那么就有一個(gè)主導(dǎo)方向是垂直于地面的，繼而所有垂直于地面的直線都是屬于這一主導(dǎo)方向的結(jié)構(gòu)性線條，當(dāng)然主導(dǎo)方向應(yīng)該不只有一個(gè)。本發(fā)明利用攝像設(shè)備拍攝和采集人造建筑的結(jié)構(gòu)性線條來(lái)實(shí)現(xiàn)六個(gè)自由度的視覺(jué)同步定位與地圖構(gòu)建(SLAM)?？梢?jiàn)，本發(fā)明對(duì)特征線條進(jìn)行了創(chuàng)造性地選擇，并進(jìn)一步地創(chuàng)造性地將其應(yīng)用于SLAM方法中，充分利用了建筑的結(jié)構(gòu)信息，即使在特征數(shù)目很少的情況下依然能夠達(dá)到很高的精度。在最后的地圖描述和三維重建上，結(jié)構(gòu)性線條也能夠比特征點(diǎn)更清晰的重現(xiàn)實(shí)際的地圖場(chǎng)景。

【專利附圖】

【附圖說(shuō)明】
[0020]圖1和圖2為本發(fā)明一實(shí)施例中結(jié)構(gòu)性線條在環(huán)境圖像中和三維的世界坐標(biāo)系中的對(duì)比示意圖；
[0021]圖3為本發(fā)明一實(shí)施例中特征線條參數(shù)化的示意圖；
[0022]圖4為本發(fā)明一實(shí)施例中結(jié)構(gòu)性線條并結(jié)合特征點(diǎn)的SLAM和傳統(tǒng)的基于點(diǎn)的MonoSLAM的結(jié)果比較示意圖；
[0023]圖5為本發(fā)明一實(shí)施例中三維重建的結(jié)果示意圖。

【具體實(shí)施方式】
[0024]以下將結(jié)合圖1至圖5對(duì)本發(fā)明提供的基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法進(jìn)行詳細(xì)的描述，其為本發(fā)明一可選的實(shí)施例，可以認(rèn)為，本領(lǐng)域的技術(shù)人員在不改變本發(fā)明精神和內(nèi)容的范圍內(nèi)能夠?qū)ζ溥M(jìn)行修改和潤(rùn)色。
[0025]本實(shí)施例是在傳統(tǒng)SLAM上的改進(jìn)，其提供了一種基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法，其中，提供了用以采集周圍環(huán)境圖像的攝像設(shè)備；利用建筑的結(jié)構(gòu)性線條作為特征線條來(lái)實(shí)現(xiàn)實(shí)時(shí)定位和地圖構(gòu)建(SLAM)；
[0026]主要過(guò)程通過(guò)matlab來(lái)實(shí)現(xiàn)，該方法包括如下步驟:
[0027]SLAM初始化:選擇主導(dǎo)方向，采集主導(dǎo)方向上的線條作為特征線條，并對(duì)新增的特征線條進(jìn)行參數(shù)化；將其參數(shù)化后才可以將特征線條投射到世界坐標(biāo)系中，也能通過(guò)對(duì)參數(shù)進(jìn)行進(jìn)一步處理和更新；
[0028]SLAM過(guò)程中:針對(duì)每一幀圖像，預(yù)測(cè)所述攝像設(shè)備的運(yùn)動(dòng)，并依此預(yù)測(cè)特征線條在下一幀圖像中的位置，然后在下一幀圖像中在預(yù)測(cè)位置附近尋找匹配線條，得到該特征線條在下一幀圖像中的實(shí)際位置，進(jìn)而計(jì)算預(yù)測(cè)位置與實(shí)際位置的偏差，再利用卡爾曼濾波器更新特征直線的位置以及所述攝像設(shè)備的位置和姿態(tài)。
[0029]這里的實(shí)際位置其實(shí)為觀測(cè)位置，卡爾曼濾波器依據(jù)預(yù)測(cè)位置和觀測(cè)位置進(jìn)行計(jì)算，通過(guò)狀態(tài)向量和協(xié)方差矩陣進(jìn)行估算，從而得到最佳的值，最終依據(jù)該值可以在三維世界坐標(biāo)系中進(jìn)行更精確的實(shí)時(shí)定位和地圖構(gòu)建(SLAM)。
[0030]至于如何在三維世界坐標(biāo)系下進(jìn)行特征線條的投射，進(jìn)而實(shí)現(xiàn)三維的地圖構(gòu)建以及具體的定位，在本領(lǐng)域都已有諸多文獻(xiàn)有所記載，本實(shí)施例僅就與現(xiàn)有技術(shù)的區(qū)別部分進(jìn)行詳細(xì)闡述，故而不應(yīng)因?yàn)楸景l(fā)明和實(shí)施例中未記載現(xiàn)有技術(shù)中已有的內(nèi)容而認(rèn)為本發(fā)明未充分公開(kāi)，換言之，本領(lǐng)域的技術(shù)人員在將現(xiàn)有技術(shù)與本發(fā)明的技術(shù)方案結(jié)合的情況下，完全可以實(shí)現(xiàn)本發(fā)明的技術(shù)手段和技術(shù)效果。
[0031]SLAM初始化時(shí)，對(duì)采集的環(huán)境圖像進(jìn)行線條檢測(cè)，根據(jù)檢測(cè)到的線條計(jì)算消失點(diǎn)，再依據(jù)不同的消失點(diǎn)對(duì)檢測(cè)到的線條進(jìn)行分類，選擇其中線條最多的三類或N類作為主導(dǎo)方向。本實(shí)施例以三類主導(dǎo)方向進(jìn)行闡述，N的取值可以為任意。
[0032]在對(duì)新增線條進(jìn)行參數(shù)化時(shí)，先確認(rèn)該特征線條屬于哪一主導(dǎo)方向，利用該特征線條所屬的主導(dǎo)方向表示其方向，再求得該特征線條與參考平面的交點(diǎn)，作為特征線條的參數(shù)記錄在卡爾曼濾波器的狀態(tài)向量中；換言之，通過(guò)消失點(diǎn)和與參考平面的交點(diǎn)可確定一條直線。
[0033]其中參考平面為世界坐標(biāo)系下兩兩垂直的XY、YZ或ZX平面，參考平面的選擇依據(jù)該特征線條與三個(gè)平面法線方向的夾角，夾角最小的平面被選為該特征線條的參考平面。
[0034]確定該特征直線屬于哪一主導(dǎo)方向時(shí)，將三個(gè)主導(dǎo)方向所對(duì)應(yīng)的三個(gè)消失點(diǎn)分別與該特征直線的中點(diǎn)連接，形成三條參考直線，其中一條所述參考直線與該特征直線共線或接近共線時(shí)，則判定該線條為對(duì)應(yīng)主導(dǎo)方向上的特征直線。
[0035]通過(guò)更新所述攝像設(shè)備的參數(shù)實(shí)現(xiàn)所述攝像設(shè)備的定位，所述攝像設(shè)備的參數(shù)至少包括了其在世界坐標(biāo)系中的位置、姿態(tài)，角速度和速度。
[0036]在找出匹配線條的過(guò)程中，先通過(guò)幾何信息匹配過(guò)程和外觀信息匹配過(guò)程選出類似直線，然后再通過(guò)局部更新濾波器剔除異常值，得到最佳的一個(gè)或多個(gè)線段作為匹配線段；
[0037]在幾何信息匹配過(guò)程中，選擇與所述預(yù)測(cè)線條距離最近，且斜率最相似的若干線段；在外觀信息匹配過(guò)程中，將線段中點(diǎn)的一塊圖像塊與所述預(yù)測(cè)線條的圖像塊進(jìn)行相似度的計(jì)算，選擇相似度最佳的若干線段；同時(shí)經(jīng)幾何信息匹配過(guò)程和外觀信息匹配過(guò)程選擇得到的若干線段作為匹配線段。
[0038]得到了直線的預(yù)測(cè)位置及其實(shí)際匹配的匹配線段后，計(jì)算預(yù)測(cè)位置與實(shí)際位置的偏差時(shí)，計(jì)算所述匹配線段的兩個(gè)端點(diǎn)到該預(yù)測(cè)直線的有符號(hào)距離，計(jì)算過(guò)程中，若遇到長(zhǎng)線段，則將長(zhǎng)線段截取成長(zhǎng)度一定的若干短線段，再分別計(jì)算。
[0039]處理完每一幀圖像后，還包括進(jìn)行地圖管理的過(guò)程，對(duì)于每一個(gè)主導(dǎo)方向，給定一個(gè)直線的最小數(shù)目，僅當(dāng)現(xiàn)有的直線數(shù)目小于這個(gè)最小數(shù)目時(shí)，才對(duì)該主導(dǎo)方向上的新檢測(cè)到特征線條進(jìn)行參數(shù)化；
[0040]在進(jìn)行地圖管理的過(guò)程中，用一個(gè)變量記錄每個(gè)特征線條連續(xù)未被匹配的次數(shù)，該次數(shù)會(huì)在重新成功匹配后被清零，否則一直累加，當(dāng)?shù)貓D中的特征線條數(shù)目超過(guò)一定上限，我們則從地圖中刪除對(duì)應(yīng)未被匹配次數(shù)最大的特征線條。
[0041]所述攝像設(shè)備運(yùn)動(dòng)過(guò)程中，還實(shí)時(shí)進(jìn)行特征點(diǎn)檢測(cè)，通過(guò)所述特征線條和特征點(diǎn)共同實(shí)現(xiàn)實(shí)時(shí)定位和地圖構(gòu)建(SLAM)。
[0042]以下將對(duì)其中內(nèi)容進(jìn)行進(jìn)一步展開(kāi)，其中只詳細(xì)描述本發(fā)明提出的關(guān)于結(jié)構(gòu)性線條部分的方案內(nèi)容，而不對(duì)特征點(diǎn)進(jìn)行闡述。
[0043]本發(fā)明創(chuàng)造性地發(fā)現(xiàn)到，對(duì)于人造建筑的場(chǎng)景，包含了若干個(gè)主導(dǎo)方向的平面，而沿著這些主導(dǎo)方向的直線可以大致勾勒出建筑的結(jié)構(gòu)，故可稱之為結(jié)構(gòu)性線條。例如絕大部分情況下，建筑都垂直于地面，那么就有一個(gè)主導(dǎo)方向是垂直于地面的，繼而所有垂直于地面的直線都是屬于這一主導(dǎo)方向的結(jié)構(gòu)性線條，當(dāng)然主導(dǎo)方向應(yīng)該不只有一個(gè)。本發(fā)明利用攝像設(shè)備拍攝和采集人造建筑的結(jié)構(gòu)性線條來(lái)實(shí)現(xiàn)六個(gè)自由度的視覺(jué)同步定位與地圖構(gòu)建(SLAM)?？梢?jiàn)，本發(fā)明對(duì)特征線條進(jìn)行了創(chuàng)造性地選擇，并進(jìn)一步地創(chuàng)造性地將其應(yīng)用于SLAM方法中，充分利用了建筑的結(jié)構(gòu)信息，即使在特征數(shù)目很少的情況下依然能夠達(dá)到很高的精度。在最后的地圖描述和三維重建上，結(jié)構(gòu)性線條也能夠比特征點(diǎn)更清晰的重現(xiàn)實(shí)際的地圖場(chǎng)景。
[0044]步驟一、結(jié)構(gòu)性線條的主導(dǎo)方向的確定
[0045]在圖1中，一個(gè)走廊環(huán)境里的主導(dǎo)方向有三個(gè),一個(gè)是垂直于地面的,還有兩個(gè)是平行與地面的(沿著走廊方向和垂直于走廊方向)。圖2則展現(xiàn)了在matlab中具體如何建模和展現(xiàn)結(jié)構(gòu)性線條的圖像截圖。
[0046]為了確定主導(dǎo)方向，我們先利用現(xiàn)有的LSD算法檢測(cè)直線，再用J-1inkage算法根據(jù)消失點(diǎn)的不同對(duì)圖像中直線進(jìn)行分組。最后選取直線數(shù)量最多的三組作為我們的主導(dǎo)方向。在每組直線內(nèi)，消失點(diǎn)可以通過(guò)公式(I)求直線交點(diǎn)獲得。其中，s表示一個(gè)3XM的矩陣，3 XM表示M條直線，V是需要求解的消失點(diǎn)的3 X I齊次坐標(biāo)表示。
[0047]sTv = O (I)
[0048]通過(guò)解該方程，可得圖像中消失點(diǎn)的位置。得到了圖像中的消失點(diǎn)，可以通過(guò)公式
(2)，得到消失點(diǎn)在世界坐標(biāo)系中的方向。而我們所說(shuō)的主導(dǎo)方向和結(jié)構(gòu)性線條的方向都可以通過(guò)世界坐標(biāo)系中消失點(diǎn)的方向來(lái)表達(dá)。
[0049]n oc rcrV (2)
[0050]公式(2)中，R和K分別表示攝像設(shè)備的外部旋轉(zhuǎn)矩陣和內(nèi)部參數(shù)矩陣，則表示所求的世界坐標(biāo)系下消失點(diǎn)的方向。
[0051]消失點(diǎn)方向被全局的保留下來(lái)，不在每一步迭代中進(jìn)行更新。但如果SLAM中途遇到某一方向的直線數(shù)量超過(guò)一定閾值，且又與現(xiàn)有的主導(dǎo)方向不一致時(shí)，我們會(huì)增加一個(gè)主導(dǎo)方向，此時(shí)，這個(gè)主導(dǎo)方向的消失點(diǎn)方向會(huì)被加入地圖的狀態(tài)向量，參與更新。
[0052]步驟二、結(jié)構(gòu)性線條的初始化
[0053]所述攝像設(shè)備運(yùn)動(dòng)過(guò)程中，針對(duì)每一幀圖像，先對(duì)特征直線和攝像設(shè)備的運(yùn)動(dòng)進(jìn)行參數(shù)化，然后利用卡爾曼濾波器對(duì)每幀環(huán)境圖像中的特征直線的參數(shù)和攝像設(shè)備運(yùn)動(dòng)的參數(shù)進(jìn)行估算，得到最佳的值，從而根據(jù)該最佳的值將特征直線和攝像設(shè)備的運(yùn)動(dòng)軌跡投射到世界坐標(biāo)系中。
[0054]這里我們采用傳統(tǒng)的基于擴(kuò)展的卡爾曼濾波器(EKF)的框架，其包含一個(gè)狀態(tài)向量(記錄攝像設(shè)備位置、姿態(tài)和動(dòng)態(tài)參數(shù)以及周圍特征直線、特征點(diǎn)的位置)和一個(gè)與其對(duì)應(yīng)的協(xié)方差矩陣。
[0055]所以，需將結(jié)構(gòu)性線條，即特征線條通過(guò)參數(shù)來(lái)表征。
[0056]由于我們只考慮結(jié)構(gòu)性線條，所以初始化直線的第一步是查看該直線屬于哪個(gè)主導(dǎo)方向。這里需將世界坐標(biāo)系下的主導(dǎo)方向n反投到圖像坐標(biāo)系下:
[0057]V = KR? η (3)
[0058]針對(duì)某一條直線，我們分別連接直線中點(diǎn)和每一個(gè)消失點(diǎn)Vi形成一條參考直線，如果檢測(cè)直線靠近參考直線，則認(rèn)為屬于該主導(dǎo)方向。直線的主導(dǎo)方向的信息被保存下來(lái)，但并不計(jì)入狀態(tài)向量。狀態(tài)向量中記錄的是直線與XY或YZ或ZX平面的交點(diǎn)的反深度表示，如圖2所示，[(^(^^是攝像設(shè)備沿主導(dǎo)方向投影到參考平面上的位置，Θ表示攝像設(shè)備投影與直線和參考平面交點(diǎn)的方向，h是攝像設(shè)備投影到直線與參考平面交點(diǎn)的距離的倒數(shù):

【權(quán)利要求】
1.一種基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法，其中，提供了用以采集周圍環(huán)境圖像的攝像設(shè)備；利用建筑的結(jié)構(gòu)性線條作為特征線條來(lái)實(shí)現(xiàn)實(shí)時(shí)定位和地圖構(gòu)建(SLAM)； 該方法包括如下步驟: SLAM初始化:選擇主導(dǎo)方向，采集主導(dǎo)方向上的線條作為特征線條，并對(duì)新增的特征線條進(jìn)行參數(shù)化； SLAM過(guò)程中:針對(duì)每一幀圖像，預(yù)測(cè)所述攝像設(shè)備的運(yùn)動(dòng)，并依此預(yù)測(cè)特征線條在下一幀圖像中的位置，然后在下一幀圖像中在預(yù)測(cè)位置附近尋找匹配線條，得到該特征線條在下一幀圖像中的實(shí)際位置，進(jìn)而計(jì)算預(yù)測(cè)位置與實(shí)際位置的偏差，再利用卡爾曼濾波器更新特征直線的位置以及所述攝像設(shè)備的位置和姿態(tài)。
2.如權(quán)利要求1所述的基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法，其特征在于:SLAM初始化時(shí)，對(duì)采集的環(huán)境圖像進(jìn)行線條檢測(cè)，根據(jù)檢測(cè)到的線條計(jì)算消失點(diǎn)，再依據(jù)不同的消失點(diǎn)對(duì)檢測(cè)到的線條進(jìn)行分類，選擇其中線條最多的三類或N類作為主導(dǎo)方向。
3.如權(quán)利要求1所述的基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法，其特征在于:在對(duì)新增線條進(jìn)行參數(shù)化時(shí)，先確認(rèn)該特征線條屬于哪一主導(dǎo)方向，利用該特征線條所屬的主導(dǎo)方向表示其方向，再求得該特征線條與參考平面的交點(diǎn)，作為特征線條的參數(shù)記錄在卡爾曼濾波器的狀態(tài)向量中； 其中參考平面為世界坐標(biāo)系下兩兩垂直的XY、YZ或ZX平面，參考平面的選擇依據(jù)該特征線條與三個(gè)平面法 線方向的夾角，夾角最小的平面被選為該特征線條的參考平面。
4.如權(quán)利要求3所述的基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法，其特征在于:確定該特征直線屬于哪一主導(dǎo)方向時(shí)，將三個(gè)主導(dǎo)方向所對(duì)應(yīng)的三個(gè)消失點(diǎn)分別與該特征直線的中點(diǎn)連接，形成三條參考直線，其中一條所述參考直線與該特征直線共線或接近共線時(shí)，則判定該線條為對(duì)應(yīng)主導(dǎo)方向上的特征直線。
5.如權(quán)利要求1所述的基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法，其特征在于:通過(guò)更新所述攝像設(shè)備的參數(shù)實(shí)現(xiàn)所述攝像設(shè)備的定位，所述攝像設(shè)備的參數(shù)至少包括了其在世界坐標(biāo)系中的位置、姿態(tài)，角速度和速度。
6.如權(quán)利要求1所述的基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法，其特征在于:在找出匹配線條的過(guò)程中，先通過(guò)幾何信息匹配過(guò)程和外觀信息匹配過(guò)程選出類似直線，然后再通過(guò)局部更新濾波器剔除異常值，得到最佳的一個(gè)或多個(gè)線段作為匹配線段； 在幾何信息匹配過(guò)程中，選擇與所述預(yù)測(cè)線條距離最近，且斜率最相似的若干線段；在外觀信息匹配過(guò)程中，將線段中點(diǎn)的一塊圖像塊與所述預(yù)測(cè)線條的圖像塊進(jìn)行相似度的計(jì)算，選擇相似度最佳的若干線段；同時(shí)經(jīng)幾何信息匹配過(guò)程和外觀信息匹配過(guò)程選擇得到的若干線段作為匹配線段。
7.如權(quán)利要求6所述的基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法，其特征在于:得到了直線的預(yù)測(cè)位置及其實(shí)際匹配的匹配線段后，計(jì)算預(yù)測(cè)位置與實(shí)際位置的偏差時(shí)，計(jì)算所述匹配線段的兩個(gè)端點(diǎn)到該預(yù)測(cè)直線的有符號(hào)距離，計(jì)算過(guò)程中，若遇到長(zhǎng)線段，則將長(zhǎng)線段截取成長(zhǎng)度一定的若干短線段，再分別計(jì)算。
8.如權(quán)利要求1所述的基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法，其特征在于:處理完每一幀圖像后，還包括進(jìn)行地圖管理的過(guò)程，對(duì)于每一個(gè)主導(dǎo)方向，給定一個(gè)直線的最小數(shù)目，僅當(dāng)現(xiàn)有的直線數(shù)目小于這個(gè)最小數(shù)目時(shí)，才對(duì)該主導(dǎo)方向上的新檢測(cè)到特征線條進(jìn)行參數(shù)化；
9.如權(quán)利要求8所述的基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法，其特征在于:在進(jìn)行地圖管理的過(guò)程中，用一個(gè)變量記錄每個(gè)特征線條連續(xù)未被匹配的次數(shù)，該次數(shù)會(huì)在重新成功匹配后被清零，否則一直 累加，當(dāng)?shù)貓D中的特征線條數(shù)目超過(guò)一定上限，我們則從地圖中刪除對(duì)應(yīng)未被匹配次數(shù)最大的特征線條。
10.如權(quán)利要求1所述的基于結(jié)構(gòu)性線條的視覺(jué)SLAM方法，其特征在于:所述攝像設(shè)備運(yùn)動(dòng)過(guò)程中，還實(shí)時(shí)進(jìn)行特征點(diǎn)檢測(cè)，通過(guò)所述特征線條和特征點(diǎn)共同實(shí)現(xiàn)實(shí)時(shí)定位和地圖構(gòu)建(SLAM)。
【文檔編號(hào)】G06T17/05GK104077809SQ201410286543
【公開(kāi)日】2014年10月1日 申請(qǐng)日期:2014年6月24日 優(yōu)先權(quán)日:2014年6月24日
【發(fā)明者】周慧中, 鄒丹平, 裴凌, 應(yīng)忍冬, 劉佩林, 郁文賢 申請(qǐng)人:上海交通大學(xué)