本發(fā)明涉及遙感圖像目標(biāo)檢測，尤其涉及一種基于特征融合和注意力機(jī)制的遙感車輛目標(biāo)檢測方法。

背景技術(shù)：

1、遙感技術(shù)發(fā)展迅速，廣泛應(yīng)用于搜救、勘察、地質(zhì)災(zāi)害監(jiān)測、城市規(guī)劃、土地利用和農(nóng)業(yè)調(diào)查等各個(gè)領(lǐng)域。遙感圖像目標(biāo)檢測已成為一項(xiàng)重要技術(shù)，它利用圖像處理技術(shù)和計(jì)算機(jī)視覺算法來精確檢測和定位圖像中的感興趣物體(如車輛、飛機(jī)和船只等)。然而，遙感圖像中的車輛具有目標(biāo)較小、所占像素?cái)?shù)少、背景復(fù)雜等特點(diǎn)，現(xiàn)有的大多數(shù)檢測方法都只對(duì)于大型目標(biāo)有較好的檢測效果，對(duì)于小目標(biāo)的檢測性能不佳。

2、由于遙感圖像的特殊性，相比于在自然圖像上進(jìn)行車輛檢測，遙感車輛的目標(biāo)檢測工作通常面臨以下挑戰(zhàn)：(1)由于遙感圖像背景復(fù)雜，存在很多目標(biāo)被遮擋的情況，導(dǎo)致模型很難提取到充分的特征。(2)遙感圖像中的車輛通常較小，易受噪聲干擾，這非?？简?yàn)?zāi)Ｐ吞崛√卣饕约叭诤咸卣鞯哪芰Α?3)現(xiàn)有模型在檢測目標(biāo)時(shí)存在對(duì)目標(biāo)尺寸敏感的情況，導(dǎo)致檢測器性能較低。

技術(shù)實(shí)現(xiàn)思路

1、為了至少能夠部分地解決上述三方面的挑戰(zhàn)，本發(fā)明提供一種基于特征融合和注意力機(jī)制的遙感車輛目標(biāo)檢測方法。

2、本發(fā)明提供的一種基于特征融合和注意力機(jī)制的遙感車輛目標(biāo)檢測方法，包括：

3、步驟1：對(duì)yolov8網(wǎng)絡(luò)進(jìn)行改進(jìn)，形成遙感車輛目標(biāo)檢測網(wǎng)絡(luò)；其中，對(duì)yolov8網(wǎng)絡(luò)進(jìn)行改進(jìn)，具體包括：將主干網(wǎng)絡(luò)中的所有c2f模塊均替換為聚焦特征提取模塊ffem(focused?feature?extraction?modulel)，所述ffem主要是將ca注意力機(jī)制融入到c2f模塊中的拼接操作之后得到的；

4、步驟2：對(duì)所述遙感車輛目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到遙感車輛目標(biāo)檢測模型；

5、步驟3：將待檢測遙感車輛圖像輸入至所述遙感車輛目標(biāo)檢測模型中，得到檢測結(jié)果。

6、進(jìn)一步地，所述ca注意力機(jī)制的特征提取過程包括：

7、將c2f模塊中拼接操作之后輸出的特征圖x分別在水平和垂直方向上進(jìn)行池化操作，得到兩個(gè)特征圖zh和zw；

8、將特征圖zh和zw在空間維度上依次進(jìn)行拼接、卷積、歸一化以及激活操作，得到特征圖f；

9、沿著空間維度將特征圖f進(jìn)行split操作，得到特征圖fh和fw；

10、將特征圖fh和fw均分別依次進(jìn)行卷積和激活操作，得到注意力權(quán)重gh和gw；

11、將c2f模塊中拼接操作之后輸出的特征圖x與注意力權(quán)重gh和gw相乘，得到加權(quán)特征圖y。

12、進(jìn)一步地，對(duì)yolov8網(wǎng)絡(luò)進(jìn)行改進(jìn)，具體還包括：

13、將頸部網(wǎng)絡(luò)中的路徑聚合網(wǎng)絡(luò)替換為三權(quán)重特征融合網(wǎng)絡(luò)twffpn(tripleweighted?feature?fusion?pyramid?network)；所述twffpn主要是在bifpn的結(jié)構(gòu)上添加小目標(biāo)層p2層，并改變p2層和p5層的特征融合方式，使得p2層的輸出特征圖由來自本層的初始特征、中間特征以及來自p3層的中間特征融合得到；p3層和p4層的輸出特征圖均由來自本層的初始特征、中間特征和來自其上一層的輸出特征圖融合得到；p5層的輸出特征圖由來自本層的初始特征、p4層的中間特征和p4層的輸出特征圖融合得到；

14、對(duì)應(yīng)地，將p3層、p4層和p5層的輸出特征圖作為遙感車輛目標(biāo)檢測網(wǎng)絡(luò)的三個(gè)檢測頭。

15、進(jìn)一步地，p2層的輸出特征圖p3層的輸出特征圖p4層的輸出特征圖和p5層的輸出特征圖分別為：

16、

17、

18、其中，ωi'j表示可學(xué)習(xí)權(quán)重，i＝2,3,4,5,j＝1,2,3,εn表示預(yù)設(shè)值，n＝1,2,3,4,piin表示第i層的初始特征，pitd表示第i層的中間特征，resize表示上采樣操作或下采樣操作，conv表示卷積操作。

19、進(jìn)一步地，在對(duì)所述遙感車輛目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練的過程中，采用nwd(normalized?wasserstein?distance)損失作為邊界框損失。

20、本發(fā)明的有益效果：

21、(1)本發(fā)明設(shè)計(jì)了一個(gè)聚焦特征提取模塊，通過將ca注意力機(jī)制融入到c2f模塊中，并將其代替原有主干網(wǎng)中的c2f模塊從而提高模型的特征提取能力。

22、(2)本發(fā)明設(shè)計(jì)了一種三權(quán)重特征融合網(wǎng)絡(luò)，可以更好地融合深層語義信息和淺層細(xì)節(jié)信息，增強(qiáng)了模型對(duì)小型目標(biāo)檢測能力。

23、(3)本發(fā)明使用nwd損失作為模型的邊界框回歸損失，緩解模型對(duì)不同目標(biāo)尺寸極度靈敏的問題，提高模型收斂速度。

24、在dota和dior數(shù)據(jù)集上的實(shí)驗(yàn)表明，與已有檢測方法相比，本發(fā)明方法在遙感圖像目標(biāo)檢測中具有較好的性能。同時(shí)，從消融實(shí)驗(yàn)中可以看出，本發(fā)明提出的每個(gè)改進(jìn)模塊都能夠有效地提高檢測精度。因此，本發(fā)明所提出的方法相對(duì)于現(xiàn)有的檢測算法更適用于遙感圖像的目標(biāo)檢測，對(duì)遙感圖像的檢測工作具有重要的現(xiàn)實(shí)意義。

技術(shù)特征：

1.一種基于特征融合和注意力機(jī)制的遙感車輛目標(biāo)檢測方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種基于特征融合和注意力機(jī)制的遙感車輛目標(biāo)檢測方法，其特征在于，所述ca注意力機(jī)制的特征提取過程包括：

3.根據(jù)權(quán)利要求1所述的一種基于特征融合和注意力機(jī)制的遙感車輛目標(biāo)檢測方法，其特征在于，對(duì)yolov8網(wǎng)絡(luò)進(jìn)行改進(jìn)，具體還包括：

4.根據(jù)權(quán)利要求3所述的一種基于特征融合和注意力機(jī)制的遙感車輛目標(biāo)檢測方法，其特征在于，p2層的輸出特征圖p3層的輸出特征圖p4層的輸出特征圖和p5層的輸出特征圖分別為：

5.根據(jù)權(quán)利要求1所述的一種基于特征融合和注意力機(jī)制的遙感車輛目標(biāo)檢測方法，其特征在于，在對(duì)所述遙感車輛目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練的過程中，采用nwd損失作為邊界框損失。

技術(shù)總結(jié)
本發(fā)明提供一種基于特征融合和注意力機(jī)制的遙感車輛目標(biāo)檢測方法。該方法包括：步驟1：對(duì)YOLOv8網(wǎng)絡(luò)進(jìn)行改進(jìn)，形成遙感車輛目標(biāo)檢測網(wǎng)絡(luò)；其中，對(duì)YOLOv8網(wǎng)絡(luò)進(jìn)行改進(jìn)，具體包括：將主干網(wǎng)絡(luò)中的所有C2f模塊均替換為聚焦特征提取模塊FFEM，所述FFEM模塊主要是將CA注意力機(jī)制融入到C2f模塊中的拼接操作之后得到的；步驟2：對(duì)所述遙感車輛目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到遙感車輛目標(biāo)檢測模型；步驟3：將待檢測遙感車輛圖像輸入至所述遙感車輛目標(biāo)檢測模型中，得到檢測結(jié)果。本發(fā)明在遙感圖像背景復(fù)雜的情況下，也可以較好地檢測出小車輛目標(biāo)。

技術(shù)研發(fā)人員：喬保軍,劉新雅,陳碩,劉成,左憲禹,張婉君,周新輝
受保護(hù)的技術(shù)使用者：河南大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9