本發(fā)明涉及無人機(jī)自主規(guī)劃領(lǐng)域，具體而言，涉及一種無人機(jī)路徑搜索方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、無人機(jī)的路徑規(guī)劃一般由前端的無人機(jī)路徑搜索與后端的軌跡優(yōu)化兩部分組成，其中前端路徑搜索算法的核心目標(biāo)是快速找到一條大致滿足飛行約束（如避障、安全高度等）且盡可能短的路徑，以實(shí)現(xiàn)任務(wù)目標(biāo)。

2、astar路徑搜索方法是一種經(jīng)典的前端路徑搜索方法，在搜索過程中結(jié)合了啟發(fā)式信息（如歐幾里得距離）來加速路徑的生成。但是傳統(tǒng)的啟發(fā)式函數(shù)是固定的，不能動(dòng)態(tài)調(diào)整。因此在動(dòng)態(tài)環(huán)境、非確定環(huán)境下需要頻繁重新規(guī)劃路徑時(shí)，astar算法的效果會(huì)有所下降。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)的目的在于提供一種無人機(jī)路徑搜索方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，能夠?qū)⒛芰肯呐c碰撞風(fēng)險(xiǎn)作為啟發(fā)式函數(shù)的優(yōu)化目標(biāo)，確保無人機(jī)與障礙物保持安全距離；利用強(qiáng)化學(xué)習(xí)中的自注意力機(jī)制和actor-critic算法，使astar算法在高維度空間中能夠更快地收斂，減少重新規(guī)劃的次數(shù)，提高無人機(jī)路徑搜索在變化環(huán)境中的適應(yīng)能力。

2、第一方面，本技術(shù)實(shí)施例提供了一種無人機(jī)路徑搜索方法，該無人機(jī)路徑搜索方法包括：

3、s1，獲取包含有目標(biāo)無人機(jī)的實(shí)際起始節(jié)點(diǎn)和實(shí)際目標(biāo)節(jié)點(diǎn)的實(shí)際三維空間的實(shí)際柵格化地圖以及實(shí)際柵格化地圖對(duì)應(yīng)的實(shí)際硬性障礙物檢索三維數(shù)組qa和實(shí)際軟性障礙物檢索三維數(shù)組qb；所述qa中包括實(shí)際柵格化中各節(jié)點(diǎn)的是否被障礙物占據(jù)標(biāo)識(shí)；所述qb中包括各節(jié)點(diǎn)的鄰居節(jié)點(diǎn)是否被障礙物占據(jù)標(biāo)識(shí)；

4、s2，根據(jù)目標(biāo)無人機(jī)的升力表達(dá)式、功率與升力的關(guān)系模型和空氣密度與海拔高度的關(guān)系模型，構(gòu)建目標(biāo)無人機(jī)的升力與空氣密度的關(guān)系模型；目標(biāo)無人機(jī)的升力與空氣密度的關(guān)系模型定量化的描述海拔高度、空氣密度與目標(biāo)無人機(jī)的能耗之間的關(guān)系；

5、s3，根據(jù)升力與空氣密度的關(guān)系模型，構(gòu)建目標(biāo)無人機(jī)從起始節(jié)點(diǎn)到當(dāng)前節(jié)點(diǎn)的能量消耗代價(jià)e；根據(jù)目標(biāo)無人機(jī)的軟性障礙物檢索三維數(shù)組，構(gòu)建目標(biāo)無人機(jī)從起始節(jié)點(diǎn)到當(dāng)前節(jié)點(diǎn)的碰撞風(fēng)險(xiǎn)代價(jià)c；對(duì)能量消耗代價(jià)e和碰撞風(fēng)險(xiǎn)代價(jià)c進(jìn)行加權(quán)求和，得到astar路徑搜索算法中的第一啟發(fā)式函數(shù)g；

6、s4，采用根據(jù)astar路徑搜索算法的目標(biāo)啟發(fā)式函數(shù)f值變化定義的獎(jiǎng)勵(lì)函數(shù)、策略網(wǎng)絡(luò)actor-價(jià)值網(wǎng)絡(luò)critic訓(xùn)練深度強(qiáng)化學(xué)習(xí)模型；將訓(xùn)練完成的深度強(qiáng)化學(xué)習(xí)模型中的critic的輸出作為astar路徑搜索算法中的第二啟發(fā)式函數(shù)h；目標(biāo)啟發(fā)式函數(shù)f為第一啟發(fā)式函數(shù)g和第二啟發(fā)式函數(shù)h的和；深度強(qiáng)化學(xué)習(xí)模型的輸入為起始節(jié)點(diǎn)在柵格化地圖中的位置、所述目標(biāo)節(jié)點(diǎn)在柵格化地圖中的位置，以及當(dāng)前節(jié)點(diǎn)的是否被障礙物占據(jù)標(biāo)識(shí)和鄰居節(jié)點(diǎn)是否被障礙物占據(jù)標(biāo)識(shí)；

7、s5，根據(jù)實(shí)際起始節(jié)點(diǎn)、實(shí)際目標(biāo)節(jié)點(diǎn)、實(shí)際柵格化地圖、qa、qb、第一啟發(fā)式函數(shù)g、第二啟發(fā)式函數(shù)h和目標(biāo)啟發(fā)式函數(shù)f，搜索目標(biāo)無人機(jī)的路徑。

8、在一種可能的實(shí)施方式中，?s2包括：

9、將空氣密度與海拔高度的關(guān)系模型中的空氣密度代入功率與升力的關(guān)系模型中，得到功率與海拔高度的關(guān)系模型：

10、；

11、其中，為目標(biāo)無人機(jī)在海拔高度下的功率，為目標(biāo)無人機(jī)的重力，為目標(biāo)無人機(jī)在海拔高度下的螺旋槳尖端的速度，為目標(biāo)無人機(jī)將推力轉(zhuǎn)化為功率的效率；

12、結(jié)合功率與海拔高度的關(guān)系模型和所述升力表達(dá)式，得到升力與空氣密度的關(guān)系模型：

13、；

14、其中，為升力系數(shù)，為螺旋槳掃過的面積，為目標(biāo)無人機(jī)在海拔高度下的空氣密度。

15、在一種可能的實(shí)施方式中，目標(biāo)無人機(jī)從上一節(jié)點(diǎn)到當(dāng)前節(jié)點(diǎn)的能量消耗代價(jià)e的表達(dá)式為：

16、；

17、；

18、；

19、；

20、其中，當(dāng)前節(jié)點(diǎn)為在目標(biāo)無人機(jī)的路徑中起始節(jié)點(diǎn)的第n代子節(jié)點(diǎn)，為起始節(jié)點(diǎn)的第i代子節(jié)點(diǎn)的海拔高度，為起始節(jié)點(diǎn)的第i-1代子節(jié)點(diǎn)到第i代子節(jié)點(diǎn)的距離，為第i代子節(jié)點(diǎn)在柵格化地圖中的z軸的坐標(biāo)值，為柵格化地圖中柵格的邊長(zhǎng)，為起始節(jié)點(diǎn)的第i-1代子節(jié)點(diǎn)到第i代子節(jié)點(diǎn)的距離類型，為第i代子節(jié)點(diǎn)在柵格化地圖中的x軸的坐標(biāo)值，為第i代子節(jié)點(diǎn)在柵格化地圖中的y軸的坐標(biāo)值，為第i-1代子節(jié)點(diǎn)在柵格化地圖中的x軸的坐標(biāo)值，為第i-1代子節(jié)點(diǎn)在柵格化地圖中的y軸的坐標(biāo)值，為第i-1代子節(jié)點(diǎn)在柵格化地圖中的z軸的坐標(biāo)值。

21、在一種可能的實(shí)施方式中，目標(biāo)無人機(jī)從起始節(jié)點(diǎn)到當(dāng)前節(jié)點(diǎn)的碰撞風(fēng)險(xiǎn)代價(jià)c的表達(dá)式如下：

22、；

23、其中，當(dāng)前節(jié)點(diǎn)為在目標(biāo)無人機(jī)的路徑中起始節(jié)點(diǎn)的第n代子節(jié)點(diǎn)，為起始節(jié)點(diǎn)的第i代子節(jié)點(diǎn)，為第i代子節(jié)點(diǎn)在柵格化地圖中的x軸的坐標(biāo)值，為第i代子節(jié)點(diǎn)在柵格化地圖中的y軸的坐標(biāo)值，為第i代子節(jié)點(diǎn)在柵格化地圖中的z軸的坐標(biāo)值。

24、在一種可能的實(shí)施方式中，通過下述步驟構(gòu)建獎(jiǎng)勵(lì)函數(shù)：

25、定義動(dòng)作表示目標(biāo)無人機(jī)在當(dāng)前節(jié)點(diǎn)時(shí)下一步選擇的移動(dòng)方向，通過向量進(jìn)行表示：=[]；其中，為移動(dòng)方向向量在x軸的移動(dòng)距離，，為移動(dòng)方向向量在y軸的移動(dòng)距離，，為移動(dòng)方向向量在z軸的移動(dòng)距離，，；當(dāng)前節(jié)點(diǎn)為在目標(biāo)無人機(jī)的路徑中起始節(jié)點(diǎn)的第n代子節(jié)點(diǎn)；

26、定義獎(jiǎng)勵(lì)函數(shù)為目標(biāo)無人機(jī)在當(dāng)前節(jié)點(diǎn)采用動(dòng)作后帶來的改進(jìn)或懲罰；

27、若動(dòng)作使得?astar路徑搜索算法的目標(biāo)啟發(fā)式函數(shù)f值變小，則；其中，為目標(biāo)無人機(jī)在進(jìn)行動(dòng)作前的目標(biāo)啟發(fā)式函數(shù)f值，為目標(biāo)無人機(jī)在進(jìn)行動(dòng)作后的目標(biāo)啟發(fā)式函數(shù)f值；

28、若動(dòng)作使得?astar路徑搜索算法的目標(biāo)啟發(fā)式函數(shù)f值變大，則；其中，為大于0的懲罰系數(shù)。

29、在一種可能的實(shí)施方式中，策略網(wǎng)絡(luò)actor的損失函數(shù)的表達(dá)式為：

30、；

31、其中，為策略網(wǎng)絡(luò)actor的網(wǎng)絡(luò)參數(shù)，為數(shù)學(xué)期望，為策略網(wǎng)絡(luò)actor輸出動(dòng)作的概率分布，為當(dāng)前節(jié)點(diǎn)對(duì)應(yīng)的深度強(qiáng)化學(xué)習(xí)模型的輸入；

32、價(jià)值網(wǎng)絡(luò)critic的損失函數(shù)的表達(dá)式為：

33、；

34、其中，為價(jià)值網(wǎng)絡(luò)critic的網(wǎng)絡(luò)參數(shù)，為折扣因子，為輸出動(dòng)作的概率分布，為輸出動(dòng)作的概率分布，為當(dāng)前節(jié)點(diǎn)的下一節(jié)點(diǎn)對(duì)應(yīng)的深度強(qiáng)化學(xué)習(xí)模型的輸入。

35、在一種可能的實(shí)施方式中，?s5包括：

36、s51，創(chuàng)建開放列表和關(guān)閉列表，并將實(shí)際起始節(jié)點(diǎn)添加到開放列表；

37、s52，將開放列表中啟發(fā)式函數(shù)f值最小的節(jié)點(diǎn)確定為實(shí)際當(dāng)前節(jié)點(diǎn)p；并將實(shí)際當(dāng)前節(jié)點(diǎn)p從開放列表中移除，加入到關(guān)閉列表中；實(shí)際起始節(jié)點(diǎn)對(duì)應(yīng)的g值設(shè)置為0；

38、s53，若實(shí)際當(dāng)前節(jié)點(diǎn)p不為實(shí)際目標(biāo)節(jié)點(diǎn)，則針對(duì)實(shí)際柵格化地圖中實(shí)際當(dāng)前節(jié)點(diǎn)p的是否被障礙物占據(jù)標(biāo)識(shí)為未被障礙物占據(jù)的各實(shí)際鄰居節(jié)點(diǎn)ne，若實(shí)際鄰居節(jié)點(diǎn)ne不在開放列表和關(guān)閉列表中，則將實(shí)際鄰居節(jié)點(diǎn)ne添加到開放列表，并假設(shè)目標(biāo)無人機(jī)從實(shí)際當(dāng)前節(jié)點(diǎn)到達(dá)實(shí)際鄰居節(jié)點(diǎn)ne，計(jì)算實(shí)際鄰居節(jié)點(diǎn)的ne對(duì)應(yīng)的g和f；并將實(shí)際當(dāng)前節(jié)點(diǎn)p作為實(shí)際鄰居節(jié)點(diǎn)ne的父節(jié)點(diǎn)；

39、若實(shí)際鄰居節(jié)點(diǎn)ne在開放列表中，則假設(shè)目標(biāo)無人機(jī)從實(shí)際當(dāng)前節(jié)點(diǎn)p到達(dá)實(shí)際鄰居節(jié)點(diǎn)ne，計(jì)算實(shí)際鄰居節(jié)點(diǎn)ne對(duì)應(yīng)的g，若實(shí)際鄰居節(jié)點(diǎn)ne對(duì)應(yīng)的最新計(jì)算的g值小于上一次計(jì)算的g值，則更新實(shí)際鄰居節(jié)點(diǎn)ne對(duì)應(yīng)的g和f；并將實(shí)際當(dāng)前節(jié)點(diǎn)p作為實(shí)際鄰居節(jié)點(diǎn)ne的父節(jié)點(diǎn)；

40、若開放列表不為空，則返回到s502繼續(xù)執(zhí)行；

41、s54，若實(shí)際當(dāng)前節(jié)點(diǎn)p為實(shí)際目標(biāo)節(jié)點(diǎn)，則從實(shí)際目標(biāo)節(jié)點(diǎn)開始通過對(duì)應(yīng)的父節(jié)點(diǎn)進(jìn)行逐步回溯，得到目標(biāo)無人機(jī)的目標(biāo)路徑。

42、第二方面，本技術(shù)實(shí)施例還提供了一種無人機(jī)路徑搜索裝置，該無人機(jī)路徑搜索裝置包括：

43、獲取模塊，用于獲取包含有目標(biāo)無人機(jī)的實(shí)際起始節(jié)點(diǎn)和實(shí)際目標(biāo)節(jié)點(diǎn)的實(shí)際三維空間的實(shí)際柵格化地圖以及實(shí)際柵格化地圖對(duì)應(yīng)的實(shí)際硬性障礙物檢索三維數(shù)組qa和實(shí)際軟性障礙物檢索三維數(shù)組qb；qa中包括所述實(shí)際柵格化中各節(jié)點(diǎn)的是否被障礙物占據(jù)標(biāo)識(shí)；qb中包括各節(jié)點(diǎn)的鄰居節(jié)點(diǎn)是否被障礙物占據(jù)標(biāo)識(shí)；

44、構(gòu)建模塊，用于根據(jù)目標(biāo)無人機(jī)的升力表達(dá)式、功率與升力的關(guān)系模型和空氣密度與海拔高度的關(guān)系模型，構(gòu)建目標(biāo)無人機(jī)的升力與空氣密度的關(guān)系模型；目標(biāo)無人機(jī)的升力與空氣密度的關(guān)系模型定量化的描述海拔高度、空氣密度與目標(biāo)無人機(jī)的能耗之間的關(guān)系；

45、構(gòu)建模塊，還用于根據(jù)升力與空氣密度的關(guān)系模型，構(gòu)建目標(biāo)無人機(jī)從起始節(jié)點(diǎn)到當(dāng)前節(jié)點(diǎn)的能量消耗代價(jià)e；根據(jù)目標(biāo)無人機(jī)的軟性障礙物檢索三維數(shù)組，構(gòu)建目標(biāo)無人機(jī)從起始節(jié)點(diǎn)到當(dāng)前節(jié)點(diǎn)的碰撞風(fēng)險(xiǎn)代價(jià)c；對(duì)能量消耗代價(jià)e和碰撞風(fēng)險(xiǎn)代價(jià)c進(jìn)行加權(quán)求和，得到astar路徑搜索算法中的第一啟發(fā)式函數(shù)g；

46、訓(xùn)練模塊，用于采用根據(jù)astar路徑搜索算法的目標(biāo)啟發(fā)式函數(shù)f值變化定義的獎(jiǎng)勵(lì)函數(shù)、策略網(wǎng)絡(luò)actor-價(jià)值網(wǎng)絡(luò)critic訓(xùn)練深度強(qiáng)化學(xué)習(xí)模型；將訓(xùn)練完成的深度強(qiáng)化學(xué)習(xí)模型中的critic的輸出作為astar路徑搜索算法中的第二啟發(fā)式函數(shù)h；目標(biāo)啟發(fā)式函數(shù)f為第一啟發(fā)式函數(shù)g和第二啟發(fā)式函數(shù)h的和；深度強(qiáng)化學(xué)習(xí)模型的輸入為所述起始節(jié)點(diǎn)在柵格化地圖中的位置、目標(biāo)節(jié)點(diǎn)在柵格化地圖中的位置，以及當(dāng)前節(jié)點(diǎn)的是否被障礙物占據(jù)標(biāo)識(shí)和鄰居節(jié)點(diǎn)是否被障礙物占據(jù)標(biāo)識(shí)；

47、搜索模塊，用于根據(jù)實(shí)際起始節(jié)點(diǎn)、實(shí)際目標(biāo)節(jié)點(diǎn)、實(shí)際柵格化地圖、qa、qb、第一啟發(fā)式函數(shù)g、第二啟發(fā)式函數(shù)h和目標(biāo)啟發(fā)式函數(shù)f，搜索目標(biāo)無人機(jī)的路徑。

48、第三方面，本技術(shù)實(shí)施例還提供了一種電子設(shè)備，包括：處理器、存儲(chǔ)介質(zhì)和總線，存儲(chǔ)介質(zhì)存儲(chǔ)有處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)電子設(shè)備運(yùn)行時(shí)，處理器與存儲(chǔ)介質(zhì)之間通過總線通信，處理器執(zhí)行機(jī)器可讀指令，以執(zhí)行如第一方面任一項(xiàng)無人機(jī)路徑搜索方法的步驟。

49、第四方面，本技術(shù)實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行如第一方面任一項(xiàng)無人機(jī)路徑搜索方法的步驟。

50、本技術(shù)實(shí)施例提供了一種無人機(jī)路徑搜索方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：獲取包含有目標(biāo)無人機(jī)的實(shí)際起始節(jié)點(diǎn)和實(shí)際目標(biāo)節(jié)點(diǎn)的實(shí)際三維空間的實(shí)際柵格化地圖以及實(shí)際柵格化地圖對(duì)應(yīng)的實(shí)際硬性障礙物檢索三維數(shù)組qa和實(shí)際軟性障礙物檢索三維數(shù)組qb；qa中包括實(shí)際柵格化中各節(jié)點(diǎn)的是否被障礙物占據(jù)標(biāo)識(shí)；qb中包括各節(jié)點(diǎn)的鄰居節(jié)點(diǎn)是否被障礙物占據(jù)標(biāo)識(shí)；根據(jù)目標(biāo)無人機(jī)的升力表達(dá)式、功率與升力的關(guān)系模型和空氣密度與海拔高度的關(guān)系模型，構(gòu)建目標(biāo)無人機(jī)的升力與空氣密度的關(guān)系模型；目標(biāo)無人機(jī)的升力與空氣密度的關(guān)系模型定量化的描述海拔高度、空氣密度與目標(biāo)無人機(jī)的能耗之間的關(guān)系；根據(jù)升力與空氣密度的關(guān)系模型，構(gòu)建目標(biāo)無人機(jī)從起始節(jié)點(diǎn)到當(dāng)前節(jié)點(diǎn)的能量消耗代價(jià)e；根據(jù)目標(biāo)無人機(jī)的軟性障礙物檢索三維數(shù)組，構(gòu)建目標(biāo)無人機(jī)從起始節(jié)點(diǎn)到當(dāng)前節(jié)點(diǎn)的碰撞風(fēng)險(xiǎn)代價(jià)c；對(duì)能量消耗代價(jià)e和碰撞風(fēng)險(xiǎn)代價(jià)c進(jìn)行加權(quán)求和，得到astar路徑搜索算法中的第一啟發(fā)式函數(shù)g；采用根據(jù)astar路徑搜索算法的目標(biāo)啟發(fā)式函數(shù)f值變化定義的獎(jiǎng)勵(lì)函數(shù)、策略網(wǎng)絡(luò)actor-價(jià)值網(wǎng)絡(luò)critic訓(xùn)練深度強(qiáng)化學(xué)習(xí)模型；將訓(xùn)練完成的深度強(qiáng)化學(xué)習(xí)模型中的critic的輸出作為astar路徑搜索算法中的第二啟發(fā)式函數(shù)h；目標(biāo)啟發(fā)式函數(shù)f為第一啟發(fā)式函數(shù)g和第二啟發(fā)式函數(shù)h的和；深度強(qiáng)化學(xué)習(xí)模型的輸入為起始節(jié)點(diǎn)在柵格化地圖中的位置、目標(biāo)節(jié)點(diǎn)在柵格化地圖中的位置，以及當(dāng)前節(jié)點(diǎn)的是否被障礙物占據(jù)標(biāo)識(shí)和鄰居節(jié)點(diǎn)是否被障礙物占據(jù)標(biāo)識(shí)；根據(jù)實(shí)際起始節(jié)點(diǎn)、實(shí)際目標(biāo)節(jié)點(diǎn)、實(shí)際柵格化地圖、qa、qb、第一啟發(fā)式函數(shù)g、第二啟發(fā)式函數(shù)h和目標(biāo)啟發(fā)式函數(shù)f，搜索目標(biāo)無人機(jī)的路徑。本技術(shù)能夠?qū)⒛芰肯呐c碰撞風(fēng)險(xiǎn)作為啟發(fā)式函數(shù)的優(yōu)化目標(biāo)，確保無人機(jī)與障礙物保持安全距離；利用強(qiáng)化學(xué)習(xí)中的自注意力機(jī)制和actor-critic算法，使astar算法在高維度空間中能夠更快地收斂，減少重新規(guī)劃的次數(shù)，提高無人機(jī)路徑搜索在變化環(huán)境中的適應(yīng)能力。