本發(fā)明屬于圖像處理，涉及一種融合梯度特征transformer的dem超分辨率重建方法及系統(tǒng)。

背景技術：

1、dem是一種地理信息系統(tǒng)（gis）中常用的地形數(shù)據模型，dem在各種地理分析中起著重要作用，廣泛應用于地形分析、水文建模、地形輔助導航和環(huán)境模擬等領域。dem精度越高對于地理分析的結果越準確，因此如何獲得高分辨率dem已成為了研究熱點。采用車載激光雷達測量、航空攝影測量和衛(wèi)星影像測量等方法，都是直接獲取dem的方法，但耗時耗力，對于部分地方并不適合使用大規(guī)模的采集方式。并且隨著dem測量方式的增多，對同一地區(qū)的dem也越來越多，呈多分辨率和多時相的特點。研究者們已經開始探索利用多源dem進行數(shù)據融合以提高dem分辨率。然而，由于部分地區(qū)dem的保密性，多源dem的獲取存在一定困難。因此，目前主流的方法是對低分辨率dem進行超分辨率重建，以獲取高分辨率的dem。

2、然而利用集投影法、迭代反投影法、最大后驗估計法和各種插值方法都無法準確獲取dem細節(jié)信息，導致重建后的dem丟失地形邊緣、細節(jié)和清晰度。隨著深度學習不斷發(fā)展，基于卷積神經網絡（convolutional?neural?network，cnn）的超分辨率模型能抽象學習到的高分辨率數(shù)據和低分辨率數(shù)據之間的映射關系，并實現(xiàn)超分辨率重建。因此研究者們將目光集中于將基于深度學習的超分辨率重建方法應用于dem上，2016年，chen等人在cnn的基礎上，通過最小化誤差的優(yōu)化方法輸出高分辨率的dem，該方法重建得到的dem和傳統(tǒng)插值方法相比取得了更好的效果。2018年，xu等人利用深度卷積網絡結合遷移學習，成功將自然圖像學習的知識遷移到dem超分辨率重建領域，實現(xiàn)在少量dem情況下獲得高精度結果。2020年，jiao等人，提出了基于深度殘差網絡的dem超分辨率重建模型，該模型通過最小化重建誤差來優(yōu)化模型，從而提高dem的分辨率和精度。2022年，lin等人，介紹了一個結合內部和外部學習的dem超分辨率重建模型，該模型利用dem數(shù)據的內部先驗知識和外部圖像數(shù)據集的學習，以提升重建后dem的質量和細節(jié)。2023年，zhou等人，將地形特征與cnn進行結合，介紹了一種基于多地形特征的超分辨率深度模型mtf-sr，從矢量和柵格地形特征的角度出發(fā)，提高了dem整體精度和保留地形特征的優(yōu)勢。

3、上述方法都基于cnn將dem作為普通圖像的拓展，利用灰度值來表示dem的高程信息，但dem空間信息極為復雜，地形特征之間存在長期依賴關系，cnn無法充分利用，導致無法可靠重建dem的地理結構細節(jié)。

技術實現(xiàn)思路

1、針對現(xiàn)有技術中存在的問題，本發(fā)明提供一種融合梯度特征transformer的dem超分辨率重建方法及系統(tǒng)，加強了對全局信息獲取能力和長距離依賴性建模能力，充分提取dem高低頻特征，實現(xiàn)了在梯度域和高度域雙重約束下進行超分辨率重建。

2、本發(fā)明是通過以下技術方案來實現(xiàn)：

3、一種融合梯度特征transformer的dem超分辨率重建方法，包括，

4、將高分辨率數(shù)字高程模型d處理后得到低分辨率數(shù)字高程模型的梯度圖；

5、對低分辨率數(shù)字高程模型的梯度圖進行淺層特征提取，得到特征圖；

6、對特征圖通過多個殘差特征融合塊和雙濾波卷積塊進行深度特征提取后，得到特征圖；

7、將特征圖輸入到upscale模塊后經過卷積層得到高分辨率數(shù)字高程模型梯度圖，對高分辨率數(shù)字高程模型梯度圖在梯度域和高度域雙重約束下最終得到高分辨數(shù)字高程模型，實現(xiàn)對dem超分辨率重建。

8、優(yōu)選的，對高分辨率數(shù)字高程模型的處理過程為：

9、s1：將高分辨率數(shù)字高程模型劃分為若干子模塊，其中將子模塊中的90%作為訓練集，5%作為驗證集，5%作為測試集；

10、s2：將高分辨率數(shù)字高程模型中用于訓練集的子模塊，通過降采樣方法得到低分辨率數(shù)字高程模型；

11、s3：將低分辨率數(shù)字高程模型采用圖像梯度算子得到低分辨率數(shù)字高程模型的梯度圖。

12、優(yōu)選的，所述降采樣方法為：

13、將高分辨率數(shù)字高程模型中用于訓練集的子模塊，分別按照縮放尺度為×2、×3、×4的因子進行下采樣得到對應低分辨率數(shù)字高程模型。

14、優(yōu)選的，所述對低分辨率數(shù)字高程模型的梯度圖使用卷積進行淺層特征提取。

15、優(yōu)選的，深度特征提取的過程為：

16、s1，將得到的特征進行深層提取，其中，深層特征提取模塊中含有5個殘差特征融合塊和1個雙濾波卷積塊；

17、s2，特征圖進入到第一個殘差特征融合塊中，對特征圖中高低頻特征進行提取，再采用密集連接的方式進行模塊之間的對稱殘差鏈接，實現(xiàn)不同階段的特征相互融合，輸出特征圖；

18、s3，將特征圖輸入到下一個殘差特征融合塊中，重復s2中學習步驟，將得到的特征圖記為，再將其輸入到下一個殘差特征融合塊中，重復逐步執(zhí)行5個rffb后得到特征圖；

19、s4，將輸入雙濾波卷積塊中，得到并與淺層特征提取的特征圖進行殘差連接得到特征圖。

20、優(yōu)選的，每一個殘差特征融合塊均由多尺度金字塔切分transformer層和stl組成，兩者并交替使用；

21、每一個殘差特征融合塊包括3個stl模塊和2個多尺度金字塔切分transformer層模塊；

22、所述多尺度金字塔切分transformer層由多頭自注意力和金字塔切分注意力融合組成。

23、優(yōu)選的，所述雙濾波卷積塊采用兩個不同濾波塊的并行結構，包括上方濾波塊和下方濾波；通過融合這兩個濾波塊的特征圖，實現(xiàn)了對dem不同尺度信息的整合；

24、所述上方濾波塊采用3x3卷積核，結合relu激活函數(shù)和殘差鏈接，下方濾波塊則采用7x7卷積核。

25、一種融合梯度特征transformer的dem超分辨率重建系統(tǒng)，包括，

26、圖像處理模塊，用于將高分辨率數(shù)字高程模型處理后得到低分辨率數(shù)字高程模型的梯度圖；

27、淺層特征提取模塊，用于對低分辨率數(shù)字高程模型的梯度圖進行淺層特征提取，得到特征圖，

28、深度特征提取模塊，用于對特征圖通過多個殘差特征融合塊和雙濾波卷積塊進行深度特征提取后，得到特征圖；

29、超分辨率重建模塊，用于將特征圖輸入到upscale模塊后經過卷積層得到高分辨率數(shù)字高程模型梯度圖；

30、高度域重建模塊，對高分辨率數(shù)字高程模型梯度圖在梯度域和高度域雙重約束得到高分辨數(shù)字高程模型.。

31、一種電子設備，包括處理器和存儲器，所述存儲器中存儲至少一個指令，執(zhí)行所述存儲器中存儲的指令以實現(xiàn)如所述的融合梯度特征transformer的dem超分辨率重建方法。

32、一種計算機可讀存儲介質所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如所述的融合梯度特征transformer的dem超分辨率重建方法。

33、與現(xiàn)有技術相比，本發(fā)明具有以下有益的技術效果：

34、本發(fā)明提供一種融合梯度特征transformer的dem超分辨率重建方法及系統(tǒng)，為加強對全局信息獲取能力和長距離依賴性建模能力，模型由多個殘差特征融合塊組成，其內部的多尺度金字塔切分transformer層將多頭自注意力和金字塔切分注意力進行融合，更好地捕捉dem局部和整體特征信息，解決了無法充分利用dem復雜地形特征導致的細節(jié)缺失和失真問題；其次為使重建的dem更加接近真實，使用了雙濾波卷積塊，通過兩個不同濾波塊的并行結構，充分提取dem高低頻特征，最終在梯度域和高度域雙重約束下進行超分辨率重建，使重建的dem復原出真實地貌，本發(fā)明解決了將dem作為二維圖像拓展，所導致高程特征與rgb特征幾何線索差異問題。

35、進一步，本發(fā)明使用psnr和are作為客觀評價指標并針對地形要素的重建效果，引入了坡度和坡向作為額外的評估標準，通過結合msa和psa達到多尺度特征提取和全局上下文建模并有效捕捉復雜地形特征，在經過多層感知機(multi-layer?perceptron，mlp)進一步整合，實現(xiàn)對局部信息進行提取，使模型更好地理解dem?數(shù)據中的細節(jié)地形特征。

36、進一步，本發(fā)明直觀引入了dfcb兩個不同濾波塊的并行結構同時考慮高頻和低頻特征，可以更全面地捕捉地形模型的多尺度信息，其中，一條分支采用3x3卷積核，結合激活函數(shù)和殘差鏈接，專注于準確提取dem的高頻信息，捕捉小尺度特征如河流、山谷和山嶺。另一條分支則采用7x7卷積核，結合激活函數(shù)和殘差鏈接，旨在獲取更廣范圍的低頻信息，涵蓋大尺度特征如山脈和高原。通過融合這兩個分支的特征圖，dfcb實現(xiàn)了對dem不同尺度信息的整合，提高模型對dem地形特征的全面感知和準確表達。

37、進一步，本發(fā)明超分辨率重建的數(shù)字高程模型更加準確，與原始圖像最為接近，效果均要優(yōu)于比較算法。