本發(fā)明涉及遙感影像道路提取，尤其涉及一種基于多尺度特征融合與連通性感知的道路提取方法。

背景技術：

1、遙感影像道路提取是近幾年來備受關注的熱門研究課題。在道路提取研究中，往往會先使用圖像處理、計算機視覺領域的技術對遙感影像進行處理，提取出道路的掩碼圖。目前，研究人員們提出了很多道路提取的算法，分為傳統(tǒng)道路提取算法和基于深度學習的道路提取算法，傳統(tǒng)道路提取方法著重于道路與其他物體之間的輻射特征差異，通常先利用圖像中的光譜信息對圖像進行分割，然后根據(jù)道路的形狀特征、光譜特征、紋理特征來提取道路。基于深度學習的道路提取算法無需繁瑣的手工設計就可以從海里數(shù)據(jù)中學習出如何提取生成道路所需要的特征，所提取出的特征魯棒性更好、泛化能力更強，因此提取出的道路中包含的錯誤更少。

2、而目前主流的基于深度學習的道路提取算法都是采用語義分割的算法對遙感影像進行處理，將每個像素分為背景像素和道路像素，由此得到道路的掩碼圖。然而，遙感影像相較于自然影像來說更加復雜。在遙感影像中存在大量的建筑物、車輛、樹木等地物，這些地物會遮擋道路。除此之外，道路光譜特征與周圍的地物具有很高的相似性，如農(nóng)村土路與周圍農(nóng)田視覺特征極為相似，很容易造成誤判。因此以像素分類方式提取道路，沒有有效利用道路拓撲分布的先驗知識，提取出的道路往往存在碎片化的問題。其次，相較于建筑物、車輛、植被等地物，道路既具有較小尺寸的局部特征，如路口、交匯點等，還具有較大尺寸的特征，如長距離的高速公路等，因此道路具有多尺度特征。遙感影像中的道路目標尺寸差別較大，同時還呈現(xiàn)出密集分布不均衡的特征，這給道路提取任務帶來了較大挑戰(zhàn)。

技術實現(xiàn)思路

1、本發(fā)明提供一種基于多尺度特征融合與連通性感知的道路提取方法，以克服上述技術問題。

2、為了實現(xiàn)上述目的，本發(fā)明的技術方案是：

3、一種基于多尺度特征融合與連通性感知的道路提取方法，具體包括以下步驟：

4、s1：獲取遙感影像道路數(shù)據(jù)集，

5、且所述遙感影像道路數(shù)據(jù)集中的樣本圖像包括原始遙感圖像與其對應的真實道路標簽圖像；

6、并對遙感影像道路數(shù)據(jù)集進行數(shù)據(jù)預處理獲取優(yōu)化遙感影像道路數(shù)據(jù)集，按照預設比例隨機劃分為訓練集、驗證集以及測試集；

7、所述數(shù)據(jù)預處理包括對遙感影像道路數(shù)據(jù)集中的樣本圖像進行翻轉操作，以擴充遙感影像道路數(shù)據(jù)集中的樣本圖像獲取擴充數(shù)據(jù)集；

8、基于opencv技術，根據(jù)圖像分辨率對擴充數(shù)據(jù)集中的樣本圖像進行切割裁剪，獲取樣本子圖像；所述樣本子圖像包括遙感子圖像及與其對應的真實道路標簽子圖像；

9、并根據(jù)真實道路標簽子圖像獲取基于道路像素的若干道路連通性標簽圖像；

10、s2：構建基于多尺度特征融合與連通性感知的道路提取模型；

11、s3：根據(jù)訓練集對道路提取模型進行訓練，獲取訓練后的道路提取模型，并通過所述驗證集對所述訓練后的道路提取模型進行測試，獲取最優(yōu)道路提取模型；

12、s4：根據(jù)所述最優(yōu)道路提取模型對所述測試集進行預測，以實現(xiàn)多尺度特征融合與連通性感知的道路提取過程。

13、進一步的，s2中構建的基于多尺度特征融合與連通性感知的道路提取模型，包括編碼器模塊、解碼器模塊、多尺度特征融合模塊msfm、連通性感知模塊cam以及fuse模塊；

14、所述編碼器模塊包括依次連接的第一編碼層、第二編碼層、第三編碼層以及第四編碼層；

15、所述第一編碼層包括ope層與第一biformer注意力層；

16、所述ope層用于對輸入的遙感圖像進行下采樣操作，以獲取第一遙感圖像特征圖；所述第一biformer注意力模塊用于提取第一遙感圖像特征圖中的局部道路紋理特征與道路連接特征，獲取第一特征提取圖；

17、并將所述第一特征提取圖分別傳輸至第二編碼層與多尺度特征融合模塊msfm；

18、所述第二編碼層包括第一patch?merging層與第二biformer注意力層，所述第一patch?merging層用于對第一特征提取圖進行下采樣操作，獲取第二遙感圖像特征圖；所述第二biformer注意力層用于提取第二遙感圖像特征圖的局部道路紋理特征與道路連接特征，獲取第二特征提取圖；

19、并將所述第二特征提取圖分別傳輸至第三編碼層與多尺度特征融合模塊msfm；

20、所述第三編碼層包括第二patch?merging層與第三biformer注意力層，所述第二patch?merging層用于對第二特征提取圖進行下采樣操作，獲取第三遙感圖像特征圖；所述第三biformer注意力層用于提取第三遙感圖像特征圖的局部道路紋理特征與道路連接特征，獲取第三特征提取圖；

21、并將所述第三特征提取圖分別傳輸至第四編碼層與多尺度特征融合模塊msfm；

22、所述第四編碼層包括第三patch?merging層與第四biformer注意力層，所述第三patch?merging層用于對第三特征提取圖進行下采樣操作，獲取第四遙感圖像特征圖；所述第四biformer注意力層用于提取第四遙感圖像特征圖的局部道路紋理特征與道路連接特征，獲取第四特征提取圖。

23、進一步的，所述多尺度特征融合模塊msfm包括若干依次連接的多尺度特征聚合模塊msfa與多尺度通道transformer模塊msct；

24、所述多尺度特征聚合模塊msfa用于對第一特征提取圖、第二特征提取圖以及第三特征提取圖依次進行下采樣操作、恒等映射操作以及上采樣操作，獲取對應操作階段的輸出特征圖；

25、并將所述輸出特征圖傳輸至多尺度通道transformer模塊msct；

26、所述多尺度通道transformer模塊msct包括第一深度卷積層dwconv、第一標準化層、交叉注意力模塊、第二標準化層以及多層感知機mlp；

27、所述第一深度卷積層dwconv用于對輸出特征圖中道路位置信息編碼，獲取編碼特征圖并將傳輸至歸一化層；

28、所述第一標準化層用于對編碼特征圖進行歸一化操作，并對歸一化操作后的編碼特征圖沿著其通道維度進行拼接，獲取拼接特征圖；

29、并對拼接特征圖進行reshape操作獲取用于作為交叉注意力模塊輸入的key向量與value向量，將恒等映射操作獲取的輸出特征圖作為交叉注意力模塊的query向量；

30、所述交叉注意力模塊用于根據(jù)獲取的key向量、value向量以及query向量進行注意力交叉運算，獲取注意力特征圖；

31、所述第二標準化層用于對注意力特征圖進行歸一化操作；

32、所述多層感知機mlp用于對第二標準化層的輸出進行非線性變換操作，獲取最終輸出特征圖；

33、所述最終輸出特征圖包括第一尺度特征圖、第二尺度特征圖以及第三尺度特征圖。

34、進一步的，所述解碼器模塊包括依次連接的結構相同第一解碼層、第二解碼層、第三解碼層以及第四解碼層；

35、且各解碼層均包括依次連接的biformer?blocks層與patch?expanding層；

36、所述第一解碼層用于通過其biformer?blocks層對第四特征提取圖行局部道路紋理特征與道路連接特征的提取，獲取解碼特征提取圖；

37、通過其patch?expanding層對解碼特征提取圖進行上采樣操作，獲第一解碼特征圖并將其傳輸至第二解碼層；

38、所述第二解碼層用于通過其biformer?blocks層對第一解碼特征圖與第三尺度特征圖進行特征融合，獲取第一解碼融合特征圖；

39、通過其patch?expanding層對第一解碼融合特征圖進行上采樣操作，獲第二解碼特征圖；

40、所述第三解碼層用于通過其biformer?blocks層對第二解碼特征圖與第二尺度特征圖進行特征融合，獲取第二解碼融合特征圖；

41、通過其patch?expanding層對第二解碼融合特征圖進行上采樣操作，獲第三解碼特征圖；

42、所述第四解碼層用于通過其biformer?blocks層對第三解碼特征圖與第一尺度特征圖進行特征融合，獲取第三解碼融合特征圖；

43、通過其patch?expanding層對第三解碼融合特征圖進行上采樣操作，獲最終解碼特征圖。

44、進一步的，所述連通性感知模塊cam包括條形卷積層、感知模塊拼接層以及第二深度卷積層dwconv；

45、所述條形卷積層包括水平方向、豎直方向、預設主對角線方向以及預設副對角線方向的條形卷積核，以用于對獲取的最終解碼特征圖中的連通性信息進行提取，獲取不同感知方向的連通性特征圖；

46、所述感知模塊拼接層用于對條形卷積層的輸出沿著其通道維度進行拼接；

47、所述第二深度卷積層dwconv用于對感知模塊拼接層的輸出進行連通性信息的提取，獲取道路連通性特征圖；

48、所述fuse模塊具體為卷積層，用于對第二深度卷積層dwconv的輸出與解碼器模塊的輸出進行特征融合操作，獲取最終道路連通性特征圖。

49、進一步的，所述s3具體包括以下步驟：

50、s31：預設道路提取模型的初始權重參數(shù)值與模型的最大迭代訓練次數(shù)；

51、s32：根據(jù)訓練集中對道路提取模型進行訓練，獲取訓練后的道路提取模型；

52、s33：通過驗證集對所述訓練后的深度學習網(wǎng)絡模型進行測試，獲取連通性感知模塊cam輸出的預測道路連通性特征圖；

53、構建連通性約束損失函數(shù)，且基于連通性約束損失函數(shù)獲取所述預測道路連通性特征圖與對應真實的道路連通性標簽圖像的模型損失值；

54、并基于模型損失值，通過反向傳播更新道路提取模型的模型參數(shù)權重，重復執(zhí)行步驟s32，直至達到最大迭代訓練次數(shù)，獲取最優(yōu)道路提取模型。

55、進一步的，s33中構建的所述連通性約束損失函數(shù)loss表達式為

56、

57、loss＝αlbce+(1-α)ldice+λlcon

58、式中：n代表圖像中像素總數(shù)；yi代表像素真實標簽；代表像素預測標簽；co代表構造連通性標簽時考慮的方向數(shù)量；代表真實連通性標簽；代表連通性預測標簽；α代表用于調整lbce與ldice在損失函數(shù)中的占比的超參數(shù)；λ代表用于調整lcon在損失函數(shù)中的占比的超參數(shù)；lbce代表交叉熵損失函數(shù)；ldice代表dice損失函數(shù)；lcon代表連通性損失函數(shù)。

59、有益效果：本發(fā)明提供了基于多尺度特征融合與連通性感知的道路提取方法，根據(jù)圖像分辨率對擴充數(shù)據(jù)集中的樣本圖像進行切割裁剪，獲取遙感子圖像及與其對應的真實道路標簽子圖像，并根據(jù)真實道路標簽子圖像獲取基于道路像素的若干道路連通性標簽圖像，以得到避免被樹木、車輛、建筑物陰影遮擋道路提取的連通性；構建基于多尺度特征融合與連通性感知的道路提取模型，利用通道交叉注意力機制將不同尺度的編碼器輸出特征進行自適應融合，使淺層特征融入深層特征的語義信息，深層特征中融入淺層特征的幾何細節(jié)信息，有效提升了對不同尺度道路的提取效果。此外，為了提高被樹木、車輛、建筑物陰影遮擋道路提取的連通性，基于連通性感知模塊中的條形卷積來捕獲道路的連通性信息，并引入連通性約束損失函數(shù)，提升模型推理道路連通性的能力，有效解決了現(xiàn)有方法提取道路的碎片化問題。