基于激光雷達(dá)和圖像數(shù)據(jù)融合的地形地貌特征構(gòu)建方法
【專利摘要】本發(fā)明公開了基于激光雷達(dá)和圖像數(shù)據(jù)融合的地形地貌特征構(gòu)建方法，屬于自動(dòng)控制領(lǐng)域。該方法具體為：一、獲取當(dāng)前時(shí)刻地面無(wú)人移動(dòng)平臺(tái)周圍環(huán)境的3D激光點(diǎn)云和全景圖像；二、將3D激光點(diǎn)云和全景圖像進(jìn)行匹配，獲得匹配圖像：步驟三、根據(jù)各激光點(diǎn)對(duì)應(yīng)的不同分布特征，對(duì)3D激光點(diǎn)云進(jìn)行劃分，并根據(jù)各分布特征的動(dòng)態(tài)聚類算法進(jìn)行聚類，獲得多個(gè)區(qū)域類；四、根據(jù)地面無(wú)人移動(dòng)平臺(tái)的行駛能力，在多個(gè)區(qū)域類中找到可通行區(qū)域類；五、使用稠密SIFT算法獲得可通行區(qū)域類的地貌識(shí)別向量；六、采用分類器按照地貌識(shí)別向量對(duì)可通行區(qū)域類進(jìn)行地貌分類。本發(fā)明適用于地面無(wú)人移動(dòng)平臺(tái)的可通行地形地貌特征構(gòu)建。
【專利說明】基于激光雷達(dá)和圖像數(shù)據(jù)融合的地形地貌特征構(gòu)建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于自動(dòng)控制領(lǐng)域，具體涉及一種利用地面無(wú)人移動(dòng)平臺(tái)搭載的3D激光雷達(dá)和攝像頭圖像信息建立地理環(huán)境地圖的方法。
【背景技術(shù)】
[0002]無(wú)人地面移動(dòng)平臺(tái)UGP是一種集環(huán)境感知、動(dòng)態(tài)決策與規(guī)劃、行為控制與執(zhí)行等多種功能于一體的綜合系統(tǒng)，其在未來軍事，智能交通，偵查救災(zāi)領(lǐng)域具有廣泛的應(yīng)用前景。而UGP的機(jī)動(dòng)性與智能化程度取決于它的自主導(dǎo)航能力，而準(zhǔn)確、快速的自主導(dǎo)航功能則是建立在精確的地理環(huán)境的地圖信息基礎(chǔ)上的。
[0003]研究先進(jìn)的地理環(huán)境地圖構(gòu)建方法有助于增強(qiáng)地面無(wú)人移動(dòng)平臺(tái)的智能化，擴(kuò)寬其現(xiàn)代化應(yīng)用。
[0004]現(xiàn)有的基于車載激光雷達(dá)和攝像頭圖像信息的地面無(wú)人移動(dòng)平臺(tái)的地理環(huán)境地圖構(gòu)建方法包括如下:
[0005](I) 3D激光點(diǎn)云的處理:該方法是通過激光雷達(dá)采集3D點(diǎn)云數(shù)據(jù)，然后在柱坐標(biāo)系下一定距離范圍內(nèi)對(duì)3D點(diǎn)云數(shù)據(jù)進(jìn)行可通行性分析。由于3D激光雷達(dá)點(diǎn)云數(shù)據(jù)具有近密遠(yuǎn)疏的特性，則在進(jìn)行可通行性分析時(shí)，遠(yuǎn)處稀疏點(diǎn)容易被忽略；而且如果僅采用點(diǎn)云數(shù)據(jù)的幾何特征，遇到非結(jié)構(gòu)環(huán)境，其障礙物具有不規(guī)則性，則會(huì)加大點(diǎn)云數(shù)據(jù)的處理難度，從而導(dǎo)致在提取地形特征方面出現(xiàn)較大誤差。
[0006](2)基于圖像信息進(jìn)行地貌識(shí)別:該種方法是最符合人類對(duì)環(huán)境理解的一種方法。其中圖像信息包括多種，例如:目前在目標(biāo)跟隨和目標(biāo)識(shí)別中，通常采用尺度不變特征變換SIFT和梯度方向直方圖HOGs來描述圖像變化，若采用SIFT和HOGs來進(jìn)行整幅圖像的特征描述，則具有一定的難度。另外顏色直方圖、紋理模型、區(qū)域分割、GIST描述符、詞袋模型以及空間的金字塔等也可以用來表述圖像的全局特征。而上述先進(jìn)的算法和特征提取方法均是通過對(duì)圖像進(jìn)行分割來達(dá)到理解的效果，但是2D空間中通常采用透視投影，所獲得的對(duì)象和背景的相似度高，圖像分割效果不理想，對(duì)相應(yīng)特征的提取有影響，最終則會(huì)影響到對(duì)圖像彳目息的理解。
[0007](3) 3D激光點(diǎn)云數(shù)據(jù)與攝像頭圖像信息的匹配與融合:該方法是將攝像頭與激光雷達(dá)坐標(biāo)進(jìn)行匹配，獲得匹配后的結(jié)果并合并，該方法能夠?qū)⒓す饫走_(dá)的獲得的距離信息與圖像中的顏色信息合并，以達(dá)到對(duì)環(huán)境更好的理解。然而由于匹配與融合的特征較少，無(wú)法發(fā)揮3D激光雷達(dá)的幾何信息特征和圖像多種特征的優(yōu)勢(shì)，無(wú)法保證匹配的準(zhǔn)確度。
[0008]綜上所述，基于現(xiàn)有的方法在進(jìn)行地圖構(gòu)建時(shí)，無(wú)法保證地面無(wú)人移動(dòng)平臺(tái)對(duì)環(huán)境理解的準(zhǔn)確度，同時(shí)復(fù)雜的算法以及巨大的計(jì)算量無(wú)法滿足現(xiàn)代化的要求。

【發(fā)明內(nèi)容】

[0009]有鑒于此，本發(fā)明提出了一種地面無(wú)人移動(dòng)平臺(tái)的地理環(huán)境地圖構(gòu)建方法，該方法能夠保證所構(gòu)建的全局地圖的準(zhǔn)確性，同時(shí)能夠降低計(jì)算的復(fù)雜程度，使計(jì)算量減少。[0010]為達(dá)到上述目的，本發(fā)明的技術(shù)方案為:一種基于激光雷達(dá)和圖像數(shù)據(jù)融合的地形地貌特征構(gòu)建方法，具體包括如下步驟:
[0011]步驟一、獲取當(dāng)前時(shí)刻地面無(wú)人移動(dòng)平臺(tái)周圍環(huán)境的3D激光點(diǎn)云和全景圖像；
[0012]所獲得3D激光點(diǎn)云為平臺(tái)周圍環(huán)境的特征點(diǎn)集，包括各特征點(diǎn)的三維坐標(biāo)值以及反射率；
[0013]步驟二、對(duì)3D激光點(diǎn)云和全景圖像進(jìn)行匹配，獲得匹配圖像:
[0014]步驟三、對(duì)于3D激光點(diǎn)云中各激光點(diǎn)，選取其對(duì)應(yīng)的不同分布特征，對(duì)3D激光點(diǎn)云進(jìn)行劃分，并根據(jù)各分布特征的動(dòng)態(tài)聚類算法進(jìn)行聚類，獲得多個(gè)區(qū)域類；
[0015]其中，所選取分布特征包括:激光點(diǎn)所在面法向量、反射率以及該點(diǎn)映射到圖像上的顏色特征；
[0016]步驟四、根據(jù)地面無(wú)人移動(dòng)平臺(tái)的行駛能力，對(duì)多個(gè)區(qū)域類的地形進(jìn)行判斷，獲得可通行區(qū)域類；
[0017]步驟五、使用稠密SIFT算法獲得可通行區(qū)域類的地貌識(shí)別向量；
[0018]步驟六、采用分類器按照地貌識(shí)別向量對(duì)可通行區(qū)域類進(jìn)行地貌分類，最終獲得地面無(wú)人移動(dòng)平臺(tái)周圍可通行區(qū)域的地貌。
[0019]優(yōu)選地，上述步驟三具體分為如下步驟:
[0020]步驟301、建立3D激光點(diǎn)云坐標(biāo)系oxyz:該坐標(biāo)系以激光雷達(dá)為原點(diǎn)，以水平面作為xoy平面，以垂直于xoy平面的方向作為z軸方向；
[0021]將3D激光點(diǎn)云中各激光點(diǎn)的在oxyz坐標(biāo)系下的坐標(biāo)轉(zhuǎn)化為以激光雷達(dá)為原點(diǎn)的球坐標(biāo)系下的表示(〃/?，其中，r為激光點(diǎn)距原點(diǎn)的距離，0和Cp分別為激光點(diǎn)所在的緯度和經(jīng)度；
[0022]對(duì)于所獲得的3D激光點(diǎn)云進(jìn)行如下處理:
[0023]在經(jīng)度方向上，按照0.5度的步長(zhǎng)將大致均勻分布在360度的激光點(diǎn)劃分進(jìn)720個(gè)經(jīng)度組；
[0024]在緯度方向上，按照0.45度的步長(zhǎng)將大致均勻分布在180度的激光點(diǎn)劃分進(jìn)400個(gè)緯度組；
[0025]對(duì)于3D激光點(diǎn)云中每個(gè)激光點(diǎn)，找到其在經(jīng)度方向上同屬于一個(gè)經(jīng)度組的相鄰激光點(diǎn)作擬合直線，再找到其在緯度方向上同屬于一個(gè)緯度組的相鄰激光點(diǎn)作擬合直線，兩擬合直線的單位向量叉乘獲得該激光點(diǎn)的面法向量；
[0026]步驟302、在經(jīng)度組中，將激光點(diǎn)依據(jù)z軸坐標(biāo)差異和其在經(jīng)度方向上擬合直線的斜率差異劃分成子類，在進(jìn)行子類劃分時(shí):若兩激光點(diǎn)z方向坐標(biāo)差異超過一定閾值，或者擬合直線的斜率差異達(dá)到一定程度，則兩點(diǎn)劃分入不同的子類；
[0027]針對(duì)劃分出每個(gè)子類，統(tǒng)計(jì)其如下子類特征的特征值:法向量、中心點(diǎn)坐標(biāo)、顏色和反射率；
[0028]其中各子類特征值的計(jì)算方法如下:
[0029]子類法向量:子類中每個(gè)點(diǎn)的面法向量進(jìn)行相加并歸一化，得到該子類的所在平面的法向量；
[0030]子類中心點(diǎn)坐標(biāo):獲取每個(gè)子類中心點(diǎn)的經(jīng)度、纟韋度和距激光雷達(dá)原點(diǎn)的距離，作為中心點(diǎn)坐標(biāo)；[0031]子類顏色:獲取每個(gè)激光點(diǎn)在全景圖像上對(duì)應(yīng)的0到255的rgb三維顏色向量；將0至255均勻劃分為8段，在一個(gè)子類中，統(tǒng)計(jì)各維顏色向量的8段中激光點(diǎn)出現(xiàn)的頻率，進(jìn)行直方圖統(tǒng)計(jì)，獲得該子類的24維顏色向量；
[0032]子類反射率:通過3D激光雷達(dá)獲得每個(gè)激光點(diǎn)的反射率，該反射率是一個(gè)0-255的整數(shù)，將0-255均勻劃分為8個(gè)區(qū)域，在每一個(gè)子類中，統(tǒng)計(jì)反射率的8個(gè)區(qū)域中激光點(diǎn)出現(xiàn)的概率，進(jìn)行直方圖統(tǒng)計(jì)，獲得該子類的8維反射率向量；
[0033]步驟303、計(jì)算每個(gè)子類與相鄰子類之間各特征值的相似度，選取相似度最大的子類進(jìn)行合并，獲得簇，計(jì)算簇內(nèi)的類間凝聚度，若凝聚度超過一定閾值，則取消合并；
[0034]步驟304、經(jīng)過步驟303之后，激光點(diǎn)的聚類包括簇與子類兩種，計(jì)算每一簇和每一子類的物理空間大小，將物理空間最大的簇或子類作為區(qū)域類，將除區(qū)域類以外的剩余的簇或子類返回步驟303進(jìn)行聚類，直到剩余的簇或子類個(gè)數(shù)小于一定數(shù)值，最終獲得多個(gè)區(qū)域類。 [0035]優(yōu)選地，步驟四中，采用如下方法對(duì)區(qū)域類進(jìn)行地形判斷:
[0036]根據(jù)地面無(wú)人移動(dòng)平臺(tái)的行駛能力，建立地形分類模糊表；
[0037]地形分類模糊表將地形中所有區(qū)域分為可通行和不可通行兩大類，其中可通行中分為平路，上坡，下坡；不可通行分為凸障礙和凹障礙，共五小類，地形分類模糊表以每一區(qū)域類的徑向坡度和起始點(diǎn)為依據(jù)進(jìn)行模糊分類，分類的結(jié)果即為地形判斷的結(jié)果。
[0038]優(yōu)選地，步驟五具體分為如下步驟:
[0039]步驟501、依據(jù)稠密SIFT算法，將匹配圖像劃分呈固定大小的像素塊，每個(gè)像素塊得到D維SIFT描述子；
[0040]步驟502、計(jì)算每一維SIFT描述子權(quán)重:
[0041]上述步驟501中劃分的每個(gè)像素塊覆蓋多個(gè)區(qū)域類，設(shè)一像素塊覆蓋j個(gè)區(qū)域類Cp...、Cj,其中區(qū)域類Ci中被該像素塊覆蓋的激光點(diǎn)的個(gè)數(shù)為ni; I < i < j，整個(gè)像素塊的激光點(diǎn)個(gè)數(shù)為N，Ci中的所有激光點(diǎn)個(gè)數(shù)為M,則D維SIFT描述子在區(qū)域類Ci中的所有
紋理特征中所占的權(quán)重為
【權(quán)利要求】
1.基于激光雷達(dá)和圖像數(shù)據(jù)融合的地形地貌特征構(gòu)建方法，其特征在于，該方法包括如下步驟: 步驟一、獲取當(dāng)前時(shí)刻地面無(wú)人移動(dòng)平臺(tái)周圍環(huán)境的3D激光點(diǎn)云和全景圖像； 所獲得3D激光點(diǎn)云為平臺(tái)周圍環(huán)境的特征點(diǎn)集，包括各特征點(diǎn)的三維坐標(biāo)值以及反射率； 步驟二、對(duì)3D激光點(diǎn)云和全景圖像進(jìn)行匹配，獲得匹配圖像: 步驟三、對(duì)于3D激光點(diǎn)云中各激光點(diǎn)，選取其對(duì)應(yīng)的不同分布特征，對(duì)3D激光點(diǎn)云進(jìn)行劃分，并根據(jù)各分布特征的動(dòng)態(tài)聚類算法進(jìn)行聚類，獲得多個(gè)區(qū)域類； 其中，所選取分布特征包括:激光點(diǎn)所在面法向量、反射率以及該點(diǎn)映射到圖像上的顏色特征； 步驟四、根據(jù)地面無(wú)人移動(dòng)平臺(tái)的行駛能力，對(duì)多個(gè)區(qū)域類的地形進(jìn)行判斷，獲得可通行區(qū)域類； 步驟五、使用稠密SIFT算法獲得可通行區(qū)域類的地貌識(shí)別向量； 步驟六、采用分類器按照地貌識(shí)別向量對(duì)可通行區(qū)域類進(jìn)行地貌分類，最終獲得地面無(wú)人移動(dòng)平臺(tái)周圍可通行區(qū)域的地貌。
2.如權(quán)利要求1所述的基于激光雷達(dá)和圖像數(shù)據(jù)融合的地形地貌特征構(gòu)建方法，其特征在于，所述步驟三具體分為如下步驟:` 步驟301、建立3D激光點(diǎn)云坐標(biāo)系oxyz:該坐標(biāo)系以激光雷達(dá)為原點(diǎn)，以水平面作為xoy平面，以垂直于xoy平面的方向作為z軸方向； 將3D激光點(diǎn)云中各激光點(diǎn)的在oxyz坐標(biāo)系下的坐標(biāo)轉(zhuǎn)化為以激光雷達(dá)為原點(diǎn)的球坐標(biāo)系下的表示其中，r為激光點(diǎn)距原點(diǎn)的距離，0和(p分別為激光點(diǎn)所在的緯度和經(jīng)度； 對(duì)于所獲得的3D激光點(diǎn)云進(jìn)行如下處理: 在經(jīng)度方向上，按照0.5度的步長(zhǎng)將大致均勻分布在360度的激光點(diǎn)劃分進(jìn)720個(gè)經(jīng)度組； 在緯度方向上，按照0.45度的步長(zhǎng)將大致均勻分布在180度的激光點(diǎn)劃分進(jìn)400個(gè)緯度組； 對(duì)于3D激光點(diǎn)云中每個(gè)激光點(diǎn)，找到其在經(jīng)度方向上同屬于一個(gè)經(jīng)度組的相鄰激光點(diǎn)作擬合直線，再找到其在緯度方向上同屬于一個(gè)緯度組的相鄰激光點(diǎn)作擬合直線，兩擬合直線的單位向量叉乘獲得該激光點(diǎn)的面法向量； 步驟302、在經(jīng)度組中，將激光點(diǎn)依據(jù)z軸坐標(biāo)差異和其在經(jīng)度方向上擬合直線的斜率差異劃分成子類，在進(jìn)行子類劃分時(shí):若兩激光點(diǎn)z方向坐標(biāo)差異超過一定閾值，或者擬合直線的斜率差異達(dá)到一定程度，則兩點(diǎn)劃分入不同的子類； 針對(duì)劃分出每個(gè)子類，統(tǒng)計(jì)其如下子類特征的特征值:法向量、中心點(diǎn)坐標(biāo)、顏色和反射率； 其中各子類特征值的計(jì)算方法如下: 子類法向量:子類中每個(gè)點(diǎn)的面法向量進(jìn)行相加并歸一化，得到該子類的所在平面的法向量；子類中心點(diǎn)坐標(biāo):獲取每個(gè)子類中心點(diǎn)的經(jīng)度、緯度和距激光雷達(dá)原點(diǎn)的距離，作為中心點(diǎn)坐標(biāo)； 子類顏色:獲取每個(gè)激光點(diǎn)在全景圖像上對(duì)應(yīng)的O到255的rgb三維顏色向量；將O至255均勻劃分為8段，在一個(gè)子類中，統(tǒng)計(jì)各維顏色向量的8段中激光點(diǎn)出現(xiàn)的頻率，進(jìn)行直方圖統(tǒng)計(jì)，獲得該子類的24維顏色向量； 子類反射率:通過3D激光雷達(dá)獲得每個(gè)激光點(diǎn)的反射率，該反射率是一個(gè)0-255的整數(shù)，將0-255均勻劃分為8個(gè)區(qū)域，在每一個(gè)子類中，統(tǒng)計(jì)反射率的8個(gè)區(qū)域中激光點(diǎn)出現(xiàn)的概率，進(jìn)行直方圖統(tǒng)計(jì)，獲得該子類的8維反射率向量； 步驟303、計(jì)算每個(gè)子類與相鄰子類之間各特征值的相似度，選取相似度最大的子類進(jìn)行合并，獲得簇，計(jì)算簇內(nèi)的類間凝聚度，若凝聚度超過一定閾值，則取消合并； 步驟304、經(jīng)過步驟303之后，激光點(diǎn)的聚類包括簇與子類兩種，計(jì)算每一簇和每一子類的物理空間大小，將物理空間最大的簇或子類作為區(qū)域類，將除區(qū)域類以外的剩余的簇或子類返回步驟303進(jìn)行聚類，直到剩余的簇或子類個(gè)數(shù)小于一定數(shù)值，最終獲得多個(gè)區(qū)域類。
3.如權(quán)利要求1所述的基于激光雷達(dá)和圖像數(shù)據(jù)融合的地形地貌特征構(gòu)建方法，其特征在于，所述步驟四中，采用如下方法對(duì)區(qū)域類進(jìn)行地形判斷: 根據(jù)地面無(wú)人移動(dòng)平臺(tái)的行駛能力，建立地形分類模糊表； 地形分類模糊表將地形中所有區(qū)域分為可通行和不可通行兩大類，其中可通行中分為平路，上坡，下坡；不可通行分為凸障礙和凹障礙，共五小類，地形分類模糊表以每一區(qū)域類的徑向坡度和起始點(diǎn)為依據(jù)進(jìn)行模糊分類，分類的結(jié)果即為地形判斷的結(jié)果。
4.如權(quán)利要求1所述的基于激光雷達(dá)和圖像數(shù)據(jù)融合的地形地貌特征構(gòu)建方法，其特征在于，所述步驟五具體分為如下步驟: 步驟501、依據(jù)稠密SIFT算法，將匹配圖像劃分呈固定大小的像素塊，每個(gè)像素塊得到D維SIFT描述子； 步驟502、計(jì)算每一維SIFT描述子權(quán)重: 所述步驟501中劃分的每個(gè)像素塊覆蓋多個(gè)區(qū)域類，設(shè)一像素塊覆蓋j個(gè)區(qū)域類Cp...、Cj,其中區(qū)域類Ci中被該像素塊覆蓋的激光點(diǎn)的個(gè)數(shù)為ni; I < i < j，整個(gè)像素塊的激光點(diǎn)個(gè)數(shù)為N，Ci中的所有激光點(diǎn)個(gè)數(shù)為M,則D維SIFT描述子在區(qū)域類Ci中的所有紋理特征中所占的權(quán)重為COij = \.1 M*N， 步驟503、采用詞袋模型Bag of Words,使用Kneans算法聚類出所有SIFT描述子的P個(gè)中心點(diǎn)，作為視覺字典，其中p>D ； 對(duì)于區(qū)域類Ci,將每一個(gè)SIFT描述子對(duì)應(yīng)視覺字典的概率值乘以其在該區(qū)域類Ci中的權(quán)重，所得的值組合獲得該區(qū)域類Ci的地貌識(shí)別向量； 所述地貌識(shí)別向量表征該區(qū)域類對(duì)應(yīng)圖像的紋理信息，其維數(shù)和視覺字典的維數(shù)相同。
5.如權(quán)利要求1所述的一種地面無(wú)人移動(dòng)平臺(tái)的地理環(huán)境地圖構(gòu)建方法，其特征在于，所述步驟六中，使用分類器按照地貌識(shí)別向量對(duì)可通行區(qū)域類進(jìn)行地貌分類的過程具體為:選取一部分地貌識(shí)別向量作為訓(xùn)練集，另一部分作為測(cè)試集，將訓(xùn)練集中地貌識(shí)別向量作為分類器的輸入，訓(xùn)練獲得地貌分類模型；將測(cè)試集中的地貌識(shí)別向量輸入分類器，利用地貌分 類模型將輸入的地貌識(shí)別向量劃分到其對(duì)應(yīng)的地貌特征類中。
【文檔編號(hào)】G01S17/89GK103645480SQ201310645716
【公開日】2014年3月19日 申請(qǐng)日期:2013年12月4日 優(yōu)先權(quán)日:2013年12月4日
【發(fā)明者】王美玲, 彭佳 申請(qǐng)人:北京理工大學(xué)