本申請涉及數(shù)據(jù)融合，特別是涉及一種基于轉(zhuǎn)換圖神經(jīng)網(wǎng)絡(luò)的無人機多模態(tài)數(shù)據(jù)融合方法。

背景技術(shù)：

1、在無人機技術(shù)快速發(fā)展的今天，多模態(tài)數(shù)據(jù)處理已成為一個關(guān)鍵領(lǐng)域，特別是在低算力但數(shù)據(jù)量巨大的場景中。無人機在執(zhí)行任務(wù)時，需要同時處理來自多個傳感器的數(shù)據(jù)，如高分辨率圖像、視頻、雷達信號等，這些數(shù)據(jù)的融合對于提高任務(wù)執(zhí)行的準確性和效率至關(guān)重要。然而，由于無人機平臺的計算資源有限，如何在有限的算力下實現(xiàn)高效的多模態(tài)數(shù)據(jù)融合成為了一個技術(shù)挑戰(zhàn)。

技術(shù)實現(xiàn)思路

1、基于此，有必要提供一種基于轉(zhuǎn)換圖神經(jīng)網(wǎng)絡(luò)的無人機多模態(tài)數(shù)據(jù)融合方法，該方法包括：

2、s1：對無人機收集的rgb圖像、激光雷達點云圖像、紅外圖像進行特征提取，分別得到第一全局特征、第二全局特征、第三全局特征；

3、s2：基于第一全局特征、第二全局特征、第三全局特征構(gòu)建圖結(jié)構(gòu)；

4、s3：對圖結(jié)構(gòu)中的節(jié)點進行第一輪節(jié)點更新；

5、s4：通過定量分析和定性分析確定節(jié)點更新的聚合效果，聚合效果包括良好或不佳；

6、聚合效果為良好時，對圖結(jié)構(gòu)中的節(jié)點進行第二輪節(jié)點更新，并確定第二輪節(jié)點更新的聚合效果；

7、聚合效果為不佳時，對第一輪節(jié)點更新后的圖結(jié)構(gòu)進行轉(zhuǎn)換，對轉(zhuǎn)換后的圖結(jié)構(gòu)中的節(jié)點進行第二輪節(jié)點更新，并確定第二輪節(jié)點更新的聚合效果；

8、s5：基于第二輪節(jié)點更新的聚合效果確定節(jié)點更新方式進行第三輪節(jié)點更新，三輪節(jié)點更新完成后，得到無人機多模態(tài)融合特征。

9、有益效果：該方法基于圖結(jié)構(gòu)的轉(zhuǎn)換將無人機收集的三種不同模態(tài)的特征進行融合，為無人機在資源受限環(huán)境中融合大量多模態(tài)數(shù)據(jù)提供了一種有效的解決方案，有望推動無人機技術(shù)在各個領(lǐng)域的進一步發(fā)展和應(yīng)用。

技術(shù)特征：

1.一種基于轉(zhuǎn)換圖神經(jīng)網(wǎng)絡(luò)的無人機多模態(tài)數(shù)據(jù)融合方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于轉(zhuǎn)換圖神經(jīng)網(wǎng)絡(luò)的無人機多模態(tài)數(shù)據(jù)融合方法，其特征在于，s1包括：

3.根據(jù)權(quán)利要求1所述的基于轉(zhuǎn)換圖神經(jīng)網(wǎng)絡(luò)的無人機多模態(tài)數(shù)據(jù)融合方法，其特征在于，s2包括：

4.根據(jù)權(quán)利要求3所述的基于轉(zhuǎn)換圖神經(jīng)網(wǎng)絡(luò)的無人機多模態(tài)數(shù)據(jù)融合方法，其特征在于，s2.4還包括：

5.根據(jù)權(quán)利要求3所述的基于轉(zhuǎn)換圖神經(jīng)網(wǎng)絡(luò)的無人機多模態(tài)數(shù)據(jù)融合方法，其特征在于，s3包括：

6.根據(jù)權(quán)利要求5所述的基于轉(zhuǎn)換圖神經(jīng)網(wǎng)絡(luò)的無人機多模態(tài)數(shù)據(jù)融合方法，其特征在于，s4中，所述通過定量分析和定性分析確定節(jié)點更新的聚合效果包括：

7.根據(jù)權(quán)利要求1所述的基于轉(zhuǎn)換圖神經(jīng)網(wǎng)絡(luò)的無人機多模態(tài)數(shù)據(jù)融合方法，其特征在于，s4中，所述對第一輪節(jié)點更新后的圖結(jié)構(gòu)進行轉(zhuǎn)換包括：

8.根據(jù)權(quán)利要求7所述的基于轉(zhuǎn)換圖神經(jīng)網(wǎng)絡(luò)的無人機多模態(tài)數(shù)據(jù)融合方法，其特征在于，所述對第一輪節(jié)點更新后的圖結(jié)構(gòu)中的鄰接矩陣進行轉(zhuǎn)換、更新，得到更新的鄰接矩陣包括：

9.根據(jù)權(quán)利要求8所述的基于轉(zhuǎn)換圖神經(jīng)網(wǎng)絡(luò)的無人機多模態(tài)數(shù)據(jù)融合方法，其特征在于，采用新的度矩陣歸一化更新的鄰接矩陣的計算公式為：

10.根據(jù)權(quán)利要求1所述的基于轉(zhuǎn)換圖神經(jīng)網(wǎng)絡(luò)的無人機多模態(tài)數(shù)據(jù)融合方法，其特征在于，s5包括：

技術(shù)總結(jié)
本申請涉及一種基于轉(zhuǎn)換圖神經(jīng)網(wǎng)絡(luò)的無人機多模態(tài)數(shù)據(jù)融合方法，包括：基于第一全局特征、第二全局特征、第三全局特征構(gòu)建圖結(jié)構(gòu)；對圖結(jié)構(gòu)中的節(jié)點進行第一輪節(jié)點更新；通過定量分析和定性分析確定節(jié)點更新的聚合效果，聚合效果包括良好或不佳；聚合效果為良好時，對圖結(jié)構(gòu)中的節(jié)點進行第二輪節(jié)點更新，并確定第二輪節(jié)點更新的聚合效果；聚合效果為不佳時，對第一輪節(jié)點更新后的圖結(jié)構(gòu)進行轉(zhuǎn)換，對轉(zhuǎn)換后的圖結(jié)構(gòu)中的節(jié)點進行第二輪節(jié)點更新，并確定第二輪節(jié)點更新的聚合效果；基于第二輪節(jié)點更新的聚合效果確定節(jié)點更新方式進行第三輪節(jié)點更新，三輪節(jié)點更新完成后，得到無人機多模態(tài)融合特征。

技術(shù)研發(fā)人員：陳曉紅,王煜坤,徐雪松,劉琪,霍楊杰
受保護的技術(shù)使用者：湖南工商大學
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6