本發(fā)明涉景象匹配技術(shù)及無人機導(dǎo)航技術(shù)，具體涉及一種基于快速特征匹配的景象匹配導(dǎo)航方法。

背景技術(shù)：

1、隨著無人機技術(shù)與芯片的快速發(fā)展，無人機搭載嵌入式計算平臺在軍事、民用、科研等領(lǐng)域的應(yīng)用逐漸增多，而無人機的快速導(dǎo)航是實現(xiàn)其他任務(wù)的一個基本前置任務(wù)。然而由于應(yīng)用越來越復(fù)雜，其往往需要工作在無gnss信號或gnss信號不可靠的情況，這就要求通過其他傳感器來實現(xiàn)無人機的定位導(dǎo)航。這其中通過圖像匹配技術(shù)來實現(xiàn)定位導(dǎo)航是一個較為可行的方案，但是在大場景大規(guī)模的圖像數(shù)據(jù)導(dǎo)航任務(wù)中，會消耗大量時間在數(shù)據(jù)預(yù)處理與特征重復(fù)提取上。同時由于傳統(tǒng)特征提取算法對圖像本身的差異變化敏感，存在魯棒性不高的問題，在實時性和準確性都有所不足。因此，提高景象匹配方法的計算速度、精度和魯棒性是當前研究人員的主要工作方向。

2、本發(fā)明針對在大范圍場景下，景象匹配方法計算速度低、魯棒性不高等問題提出了一種大范圍場景下的無人機快速景象匹配定位方法。

技術(shù)實現(xiàn)思路

1、為了解決上述現(xiàn)有技術(shù)的不足，本發(fā)明旨在提供一種在大范圍場景下的無人機快速景象匹配定位方法，通過離線生成特征描述子數(shù)據(jù)庫并引入次級景象適配區(qū)來減少計算量；在匹配失敗的情況下使用視覺地點識別算法快速找回正確的次級景象適配區(qū)來提升系統(tǒng)魯棒性。

2、本申請通過以下技術(shù)方案實現(xiàn)上述效果：一種大范圍場景下的無人機快速景象匹配定位方法，所述方法包括以下步驟：

3、s1使用無人機獲取目標區(qū)域的真實航拍圖像，投影矯正并合成為一張大場景范圍底圖，并構(gòu)建數(shù)據(jù)集；

4、s2構(gòu)建語義分割模型，根據(jù)所述數(shù)據(jù)集微調(diào)預(yù)訓(xùn)練好的語義分割模型；使用視覺地點識別vpr算法分塊處理大場景底圖生成區(qū)塊識別向量數(shù)據(jù)庫；使用特征提取算法分塊處理大場景底圖生成區(qū)塊匹配特征數(shù)據(jù)庫；

5、s3機載計算平臺獲取機載攝像頭實時圖像，使用次級景象適配區(qū)生成算法根據(jù)機載實時圖像生成次級景象適配區(qū)；

6、s4使用精匹配算法對機載攝像頭實時圖像進行像素級精匹配并輸出精匹配像素坐標；

7、s5使用像素坐標到地理坐標映射算法計算無人機機載攝像頭實時圖像中心像素坐標映射的地理坐標，并氣壓高信息，生成nmea格式gnss信息。

8、進一步的，所述s1具體為：

9、s11劃定飛行區(qū)域范圍，使用商用無人機對目標區(qū)域執(zhí)行有重疊區(qū)域的遍歷飛行；

10、s12將得到的有重疊無人機圖像輸入到arcgis軟件中進行投影矯正，生成帶地理坐標信息的tiff格式大場景范圍底圖，并根據(jù)該圖像的地理信息生成tfw文件；

11、s13對得到的底圖進行裁切與標注，構(gòu)建分割數(shù)據(jù)集。

12、進一步的，所述s2具體為：

13、s21根據(jù)所述分割數(shù)據(jù)集對預(yù)訓(xùn)練過的語義分割網(wǎng)絡(luò)進行微調(diào)，得到微調(diào)后的訓(xùn)練權(quán)重；

14、s22使用微調(diào)后的語義分割網(wǎng)絡(luò)對裁切后的所述底圖進行推理得到語義分割掩膜；

15、s23將得到的分割掩膜輸入到vpr算法中，生成區(qū)塊檢索向量庫；

16、s24將裁切后的大場景范圍底圖送入到特征提取算法中，得到每一區(qū)塊的匹配特征，生成匹配特征庫。

17、進一步的，所述s3具體為：

18、s31判斷上一幀匹配結(jié)果是否可靠；

19、s32若上一幀匹配結(jié)果可靠，跳轉(zhuǎn)至s33，若上一幀匹配結(jié)果不可靠，跳轉(zhuǎn)至s34；

20、s33將上一幀匹配結(jié)果坐標所在分塊區(qū)域作為次級景象適配區(qū)中心區(qū)塊，并以此區(qū)塊為中心擴展為n×n區(qū)塊，作為次級景象適配區(qū)，直接進入s4；

21、s34將當前幀圖像送入語義分割模型得到分割掩膜；

22、s35將分割掩膜輸入至vpr算法中得到被檢索向量；

23、s36計算被檢索向量與檢索向量庫中每個向量的余弦相似度，余弦相似度公式如下：

24、

25、式中，向量a為被檢索向量，向量b為檢索向量庫中的向量，a·b是向量a和向量b的點積，‖a‖和‖b‖分別是向量a和向量b的歐幾里得范數(shù)；

26、s37將相似度最高的區(qū)塊作為次級景象適配區(qū)中心區(qū)塊，并以所述次級景象適配區(qū)中心區(qū)塊為中心擴展為n×n區(qū)塊，作為次級景象適配區(qū)，進入s4。

27、進一步的，所述s4具體為：

28、s41使用特征提取算法對當前幀圖像進行特征提取；

29、s42根據(jù)次級景象適配區(qū)范圍從匹配特征數(shù)據(jù)庫中獲取各區(qū)塊特征，并將各區(qū)塊的特征向量隊列合并成為一個完整的特征向量隊列；

30、s43使用精匹配算法對當前幀圖像特征向量隊列與次級景象適配區(qū)的特征向量隊列進行匹配；

31、s44使用ransac算法對匹配后的點對進行誤匹配點剔除；

32、s45計算單應(yīng)性變換矩陣h，得到當前幀圖像與底圖的變換矩陣，得到當前幀圖像中心坐標在底圖中的位置，單應(yīng)性變換矩陣與映射坐標點對之間關(guān)系如下式所示：

33、

34、式中，(x′,y′)是特征點(x,y)的映射點坐標，h是單應(yīng)性矩陣；

35、s46利用單應(yīng)性矩陣計算當前幀中心坐標在底圖中的像素坐標。

36、進一步的，所述s5具體為：

37、s51讀取s12中生成的tfw文件中圖像空間與地理空間的映射關(guān)系；

38、s52根據(jù)映射關(guān)系計算中心像素坐標的地理坐標，計算公式如下：

39、x′＝ax+by+c

40、y′＝dx+ey+f

41、式中，x′為象素對應(yīng)的地理x坐標，y′為象素對應(yīng)的地理y坐標，x為象素坐標，y為象素坐標，a為x方向上的象素分辨率，d、b為平移和旋轉(zhuǎn)系數(shù)，e為y方向上的象素分辨素，c為柵格地圖左上角象素中心x坐標，f為柵格地圖左上角象素中心y坐標；

42、s53計算氣壓高，生成nmea格式的gnss語句信息，氣壓高使用hypsometric公式，公式如下：

43、

44、式中，p0為標準大氣壓強，取值101.325kpa；p為實際測量的大氣壓強，單位為kpa；t為實際測量溫度，單位為℃。該公式同時考慮為溫度和壓強計算海拔高度。

45、與現(xiàn)有技術(shù)相比，本發(fā)明具有一下優(yōu)勢：

46、(1)本發(fā)明使用離線的方式提取超大底圖的匹配特征，大大減少了實時計算量，同時不需要存儲原底圖在計算平臺，節(jié)省了存儲空間。

47、(2)本發(fā)明使用次級景象適配區(qū)作為緩沖區(qū)間來與實時圖像進行匹配，降低了計算量的同時降低了誤匹配的概率。

48、(3)本發(fā)明使用vpr算法在發(fā)生誤匹配情況時對匹配算法進行糾正，提高了系統(tǒng)的魯棒性

49、(4)本發(fā)明特征提取算法亦可替換，亦可使用深度學(xué)習的方法進行特征提取。

技術(shù)特征：

1.一種大范圍場景下的無人機快速景象匹配定位方法，其特征在于，所述方法包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種大范圍場景下的無人機快速景象匹配定位方法，其特征在于，所述s1具體為：

3.根據(jù)權(quán)利要求1所述的一種大范圍場景下的無人機快速景象匹配定位方法，其特征在于，所述s2具體為：

4.根據(jù)權(quán)利要求1所述的一種大范圍場景下的無人機快速景象匹配定位方法，其特征在于，所述s3具體為：

5.根據(jù)權(quán)利要求1所述的一種大范圍場景下的無人機快速景象匹配定位方法，其特征在于，所述s4具體為：

6.根據(jù)權(quán)利要求1所述的一種大范圍場景下的無人機快速景象匹配定位方法，其特征在于，所述s5具體為：

技術(shù)總結(jié)
本發(fā)明公開一種大范圍場景下的無人機快速景象匹配定位方法，包括數(shù)據(jù)集制作，對語義分割算法進行訓(xùn)練；使用視覺地點識別算法與特征提取算法對不同區(qū)塊生成圖像檢索向量與特征描述子，制成底圖數(shù)據(jù)庫；在無人機飛行過程中，將無人機實時拍攝到的圖像數(shù)據(jù)送入語義分割算法生成分割結(jié)果圖像，再利用視覺地點識別算法與數(shù)據(jù)庫計算相似度得到粗定位區(qū)域，然后對實時圖像提取特征與特征數(shù)據(jù)庫進行特征匹配實現(xiàn)精匹配，最后根據(jù)底圖中地理映射得到地理坐標。本發(fā)明有效解決了無人機在拒止環(huán)境下大場景范圍中難以快速初定位在匹配失敗后難以重定位的問題，提高了無人機能在各種極具挑戰(zhàn)性環(huán)境下執(zhí)行景象匹配任務(wù)的可靠性。

技術(shù)研發(fā)人員：閆鈞華,徐世博,張寅,岳晨珂,景瑋霖,羅昭龍,吳佳康,陳默
受保護的技術(shù)使用者：南京航空航天大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6