本技術(shù)涉及無(wú)線通信，尤其是一種路由決策優(yōu)化方法、路由決策方法及相關(guān)設(shè)備。

背景技術(shù)：

1、無(wú)人機(jī)集群中各個(gè)當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)之間的協(xié)調(diào)通信依賴于飛行自組網(wǎng)。

2、然而，由于飛行自組網(wǎng)中當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)的高移動(dòng)性，導(dǎo)致網(wǎng)絡(luò)拓?fù)渥儞Q頻繁，傳輸鏈路的質(zhì)量和穩(wěn)定性經(jīng)常間歇性地發(fā)生變化，容易出現(xiàn)數(shù)據(jù)包丟失、數(shù)據(jù)傳輸時(shí)間過(guò)長(zhǎng)等問(wèn)題。另外，由于當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)的電池容量有限，當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)耗能不均勻會(huì)導(dǎo)致當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)提前退網(wǎng)，從而影響飛行自組網(wǎng)的生存時(shí)間。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)的目的是提供一種路由決策優(yōu)化方法、路由決策方法及相關(guān)設(shè)備，可以提高飛行自組網(wǎng)的鏈路穩(wěn)定性和網(wǎng)絡(luò)生存時(shí)間。

2、本技術(shù)實(shí)施例提供一種路由決策優(yōu)化方法，包括：

3、在無(wú)人機(jī)集群中發(fā)起路由決策；

4、獲取在路由決策的過(guò)程中當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)的鏈路狀態(tài)信息；

5、將所述鏈路狀態(tài)信息輸入近端策略優(yōu)化模型的策略網(wǎng)絡(luò)，得到節(jié)點(diǎn)性能數(shù)據(jù)，并根據(jù)所述節(jié)點(diǎn)性能數(shù)據(jù)進(jìn)行路由決策；所述節(jié)點(diǎn)性能數(shù)據(jù)包含所述當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)的鏈路狀態(tài)信息、跳轉(zhuǎn)動(dòng)作信息、動(dòng)作概率信息和鏈路獎(jiǎng)勵(lì)信息，所述跳轉(zhuǎn)動(dòng)作信息、所述動(dòng)作概率信息和所述鏈路獎(jiǎng)勵(lì)信息為根據(jù)所述鏈路狀態(tài)信息進(jìn)行決策得到；

6、判斷所述節(jié)點(diǎn)性能數(shù)據(jù)的數(shù)量是否達(dá)到第一數(shù)量閾值；

7、若未達(dá)到，返回所述獲取路由決策時(shí)當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)的鏈路狀態(tài)信息的步驟，或在通過(guò)路由決策得到完整的路由時(shí)，返回所述在無(wú)人機(jī)集群中發(fā)起路由決策的步驟；

8、若達(dá)到，利用所述節(jié)點(diǎn)性能數(shù)據(jù)對(duì)所述近端策略優(yōu)化模型進(jìn)行訓(xùn)練，在所述近端策略優(yōu)化模型符合訓(xùn)練結(jié)束條件時(shí)，得到路由決策模型。

9、在一些實(shí)施例中，所述在無(wú)人機(jī)集群中發(fā)起路由決策，包括：

10、在所述無(wú)人機(jī)集群中隨機(jī)選取無(wú)人機(jī)節(jié)點(diǎn)，作為源節(jié)點(diǎn)和目的節(jié)點(diǎn)；

11、發(fā)起尋找自所述源節(jié)點(diǎn)至所述目的節(jié)點(diǎn)的路由的路由決策。

12、在一些實(shí)施例中，所述鏈路狀態(tài)信息包含鏈路穩(wěn)定性性能信息、鏈路時(shí)延性能信息、當(dāng)前鄰居節(jié)點(diǎn)的剩余能量信息和所述當(dāng)前鄰居節(jié)點(diǎn)與目的節(jié)點(diǎn)之間的距離信息，所述當(dāng)前鄰居節(jié)點(diǎn)為所述當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)的鄰居節(jié)點(diǎn)；

13、所述鏈路穩(wěn)定性性能信息的表達(dá)式為：

14、，

15、其中，為鏈路穩(wěn)定性性能信息，為當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)與當(dāng)前鄰居節(jié)點(diǎn)構(gòu)成的鏈路的傳遞率信息，為當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)與當(dāng)前鄰居節(jié)點(diǎn)構(gòu)成的鏈路的持續(xù)時(shí)長(zhǎng)信息，i=1,2,...,n，j=1,2,...,m，n為路由上非目的節(jié)點(diǎn)的當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)的數(shù)量，m為當(dāng)前鄰居節(jié)點(diǎn)的數(shù)量；

16、所述鏈路時(shí)延性能信息的表達(dá)式為：

17、，

18、其中，為鏈路時(shí)延性能信息，為mac時(shí)延信息，為排隊(duì)時(shí)延信息，為傳輸時(shí)延信息，為傳播時(shí)延信息；

19、所述當(dāng)前鄰居節(jié)點(diǎn)的剩余能量信息的表達(dá)式為：

20、，

21、其中，為當(dāng)前鄰居節(jié)點(diǎn)的剩余能量信息，為當(dāng)前鄰居節(jié)點(diǎn)的初始能量信息，為當(dāng)前鄰居節(jié)點(diǎn)的飛行能耗信息，為當(dāng)前鄰居節(jié)點(diǎn)的通信能耗信息。

22、在一些實(shí)施例中，所述將所述鏈路狀態(tài)信息輸入近端策略優(yōu)化模型，得到節(jié)點(diǎn)性能數(shù)據(jù)，并根據(jù)所述節(jié)點(diǎn)性能數(shù)據(jù)進(jìn)行路由決策，包括：

23、根據(jù)所述鏈路狀態(tài)信息和所述當(dāng)前鄰居節(jié)點(diǎn)的類型，生成所述跳轉(zhuǎn)動(dòng)作信息；所述當(dāng)前鄰居節(jié)點(diǎn)的類型為目的節(jié)點(diǎn)或非目的節(jié)點(diǎn)；

24、根據(jù)所述鏈路狀態(tài)信息和所述跳轉(zhuǎn)動(dòng)作信息，生成所述動(dòng)作概率信息；

25、在存有類型為所述目的節(jié)點(diǎn)的當(dāng)前鄰居節(jié)點(diǎn)時(shí)，生成最大的鏈路獎(jiǎng)勵(lì)信息，在未存有類型為所述目的節(jié)點(diǎn)的當(dāng)前鄰居節(jié)點(diǎn)時(shí)，根據(jù)所述鏈路狀態(tài)信息，生成相應(yīng)的鏈路獎(jiǎng)勵(lì)信息；

26、根據(jù)所述節(jié)點(diǎn)性能數(shù)據(jù)，使所述當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)進(jìn)行路由決策。

27、在一些實(shí)施例中，在未存有類型為所述目的節(jié)點(diǎn)的當(dāng)前鄰居節(jié)點(diǎn)時(shí)，所述鏈路獎(jiǎng)勵(lì)信息等于第一獎(jiǎng)勵(lì)信息、第二獎(jiǎng)勵(lì)信息、第三獎(jiǎng)勵(lì)信息和第四獎(jiǎng)勵(lì)信息之和，所述第一獎(jiǎng)勵(lì)信息與所述當(dāng)前鄰居節(jié)點(diǎn)和所述目的節(jié)點(diǎn)之間的距離信息呈負(fù)相關(guān)，所述第二獎(jiǎng)勵(lì)信息與所述當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)和所述當(dāng)前鄰居節(jié)點(diǎn)構(gòu)成的鏈路鏈路穩(wěn)定性性能信息呈正相關(guān)，所述第三獎(jiǎng)勵(lì)信息與所述當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)和所述當(dāng)前鄰居節(jié)點(diǎn)構(gòu)成的鏈路時(shí)延性能信息呈負(fù)相關(guān)，所述第四獎(jiǎng)勵(lì)信息與所述當(dāng)前鄰居節(jié)點(diǎn)的剩余能量信息呈正相關(guān)。

28、在一些實(shí)施例中，所述利用所述節(jié)點(diǎn)性能數(shù)據(jù)對(duì)所述近端策略優(yōu)化模型進(jìn)行訓(xùn)練，在所述近端策略優(yōu)化模型符合訓(xùn)練結(jié)束條件時(shí)，得到路由決策模型，包括：

29、將所述節(jié)點(diǎn)性能數(shù)據(jù)輸入所述近端策略優(yōu)化模型的評(píng)估網(wǎng)絡(luò)，以對(duì)所述節(jié)點(diǎn)性能數(shù)據(jù)進(jìn)行價(jià)值評(píng)估，得到所述節(jié)點(diǎn)性能數(shù)據(jù)的評(píng)估結(jié)果；

30、根據(jù)所述節(jié)點(diǎn)性能數(shù)據(jù)，計(jì)算策略網(wǎng)絡(luò)目標(biāo)函數(shù)的輸出結(jié)果；

31、根據(jù)所述節(jié)點(diǎn)性能數(shù)據(jù)的評(píng)估結(jié)果，計(jì)算評(píng)估網(wǎng)絡(luò)目標(biāo)函數(shù)的輸出結(jié)果；

32、根據(jù)所述策略網(wǎng)絡(luò)目標(biāo)函數(shù)的輸出結(jié)果和所述評(píng)估網(wǎng)絡(luò)目標(biāo)函數(shù)的輸出結(jié)果，計(jì)算模型目標(biāo)函數(shù)的輸出結(jié)果；

33、根據(jù)所述模型目標(biāo)函數(shù)的輸出結(jié)果，調(diào)整所述策略網(wǎng)絡(luò)和所述評(píng)估網(wǎng)絡(luò)兩者的權(quán)重參數(shù)，使所述模型目標(biāo)函數(shù)的輸出結(jié)果達(dá)到最大值，并丟棄所述節(jié)點(diǎn)性能數(shù)據(jù)；

34、判斷所述鏈路狀態(tài)信息是否達(dá)到第二數(shù)量閾值；

35、若未達(dá)到，返回所述獲取路由決策時(shí)當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)的鏈路狀態(tài)信息的步驟，或在通過(guò)路由決策得到完整的路由時(shí)，返回所述在無(wú)人機(jī)集群中發(fā)起路由決策的步驟；

36、若達(dá)到，結(jié)束訓(xùn)練，得到所述路由決策模型。

37、在一些實(shí)施例中，所述目標(biāo)函數(shù)的表達(dá)式為：

38、，

39、其中，為模型目標(biāo)函數(shù)的輸出結(jié)果，為近端策略優(yōu)化模型的當(dāng)前權(quán)重參數(shù)，為策略網(wǎng)絡(luò)目標(biāo)函數(shù)的輸出結(jié)果，為評(píng)估網(wǎng)絡(luò)目標(biāo)函數(shù)的輸出結(jié)果，為策略的熵，和為權(quán)重系數(shù)，為求期望值操作，為網(wǎng)絡(luò)參數(shù)為的策略，為第t個(gè)節(jié)點(diǎn)性能數(shù)據(jù)的鏈路狀態(tài)信息，t=1,2,...,t，t為節(jié)點(diǎn)性能數(shù)據(jù)的數(shù)量；

40、所述策略網(wǎng)絡(luò)目標(biāo)函數(shù)的輸出結(jié)果的計(jì)算公式為：

41、，

42、，

43、，

44、，

45、其中，為為策略更新幅度，為優(yōu)勢(shì)估計(jì)，min（）為求最小值操作，clip（）為截?cái)嗪瘮?shù)，用于將限制在之間，為用于控制clip的超參數(shù)，為評(píng)估網(wǎng)絡(luò)得到的狀態(tài)價(jià)值，為折扣獎(jiǎng)勵(lì)，為策略更新幅度，為舊策略，為近端策略優(yōu)化模型的歷史權(quán)重參數(shù)，為時(shí)刻t選擇的動(dòng)作，為時(shí)刻g的獎(jiǎng)勵(lì)，g∈[t,t]，為折扣因子；

46、所述評(píng)估網(wǎng)絡(luò)目標(biāo)函數(shù)的輸出結(jié)果的計(jì)算公式為：

47、，

48、其中，為評(píng)估網(wǎng)絡(luò)得到的狀態(tài)價(jià)值。

49、本技術(shù)實(shí)施例還提供一種路由決策方法，包括：

50、獲取路由決策發(fā)起指令；

51、根據(jù)所述路由決策發(fā)起指令，確定作為源節(jié)點(diǎn)和作為目的節(jié)點(diǎn)的無(wú)人機(jī)節(jié)點(diǎn)；

52、根據(jù)所述源節(jié)點(diǎn)和所述目的節(jié)點(diǎn)，在無(wú)人機(jī)集群中發(fā)起路由決策；

53、獲取在路由決策的過(guò)程中當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)的鏈路狀態(tài)信息；

54、將所述鏈路狀態(tài)信息輸入路由決策模型，得到路由策略結(jié)果，并根據(jù)所述節(jié)點(diǎn)性能數(shù)據(jù)進(jìn)行路由決策；所述路由決策模型為采用權(quán)利要求1至7任一項(xiàng)所述的路由決策優(yōu)化方法得到。

55、本技術(shù)實(shí)施例還提供一種電子設(shè)備，所述電子設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述的方法。

56、本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的方法。

57、本技術(shù)的有益效果：在無(wú)人機(jī)集群的路由決策過(guò)程中獲取當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)的鏈路狀態(tài)信息，利用近端策略優(yōu)化模型對(duì)鏈路狀態(tài)信息進(jìn)行決策，生成包含當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)的鏈路狀態(tài)信息、跳轉(zhuǎn)動(dòng)作信息、動(dòng)作概率信息和鏈路獎(jiǎng)勵(lì)信息的節(jié)點(diǎn)性能數(shù)據(jù)，根據(jù)節(jié)點(diǎn)性能數(shù)據(jù)進(jìn)行路由決策，并在節(jié)點(diǎn)性能數(shù)據(jù)達(dá)到第一數(shù)量閾值時(shí)利用節(jié)點(diǎn)性能數(shù)據(jù)對(duì)近端策略優(yōu)化模型訓(xùn)練至符合訓(xùn)練結(jié)束條件，得到具備優(yōu)化后的路由決策邏輯的路由決策模型。由于利用多次路由決策所產(chǎn)生的鏈路狀態(tài)信息生成包含當(dāng)前無(wú)人機(jī)節(jié)點(diǎn)的鏈路狀態(tài)信息、跳轉(zhuǎn)動(dòng)作信息、動(dòng)作概率信息和鏈路獎(jiǎng)勵(lì)信息的節(jié)點(diǎn)性能數(shù)據(jù)，再利用生成的多個(gè)節(jié)點(diǎn)性能數(shù)據(jù)對(duì)近端策略優(yōu)化模型進(jìn)行訓(xùn)練，使訓(xùn)練得到的路由決策模型具備優(yōu)化后的路由決策邏輯，該路由決策邏輯綜合考慮鏈路的多個(gè)性能指標(biāo)，可以提高飛行自組網(wǎng)的鏈路穩(wěn)定性和網(wǎng)絡(luò)生存時(shí)間。