本技術(shù)涉及圖像處理，尤其是涉及一種基于先驗(yàn)擴(kuò)散模型的遙感圖像超分辨率重建方法及系統(tǒng)。

背景技術(shù)：

1、目前，在遙感圖像超分辨率重建中，基于擴(kuò)散模型的方法通過逐步推斷高分辨率圖像，這些方法在細(xì)節(jié)保留和全局一致性方面都有顯著提升，擴(kuò)散模型的引入為解決遙感圖像超分辨率重建問題提供了新的思路，特別是在災(zāi)后影像的重建中，能夠提升建筑物細(xì)節(jié)的還原程度，為后續(xù)災(zāi)害評(píng)估提供精準(zhǔn)的數(shù)據(jù)支持。

2、然而，當(dāng)前的超分辨率重建技術(shù)面臨兩大挑戰(zhàn)，首先，遙感圖像中常包含大量小目標(biāo)，特別是在災(zāi)后評(píng)估場(chǎng)景中，如倒塌的建筑碎片和地面裂縫等，這些小目標(biāo)具有低像素密度、聚集分布、被遮擋以及尺度多樣化的特征，導(dǎo)致高精度重建尤為困難?，F(xiàn)有方法對(duì)小目標(biāo)的高頻細(xì)節(jié)建模能力有限，難以有效恢復(fù)這些精細(xì)特征，而這些細(xì)節(jié)對(duì)于判斷建筑損壞程度和制定維修計(jì)劃至關(guān)重要。

3、其次，擴(kuò)散模型的去噪過程通?；趗net架構(gòu)，unet中編碼器與解碼器的信息傳遞通常采用直接通道拼接的方式，容易在語義信息傳遞過程中出現(xiàn)不匹配，導(dǎo)致語義差距問題。特別是在災(zāi)后復(fù)雜場(chǎng)景的重建中，如高層建筑與周邊殘骸的評(píng)估，這種信息不匹配可能引入重建的模糊和失真。此外，unet在下采樣過程中通常采用步長(zhǎng)卷積，導(dǎo)致特征信息的損失，尤其是高頻細(xì)節(jié)的丟失，限制了重建結(jié)果在細(xì)節(jié)還原方面的表現(xiàn)。這對(duì)災(zāi)后城市基礎(chǔ)設(shè)施的精細(xì)評(píng)估有直接影響，細(xì)節(jié)的缺失可能導(dǎo)致對(duì)損壞程度的錯(cuò)誤判斷。

4、因此，亟待需要設(shè)計(jì)一種更加精細(xì)化的重建方法，提升遙感圖像超分辨率重建的性能，特別是針對(duì)自然災(zāi)害后復(fù)雜場(chǎng)景下的基礎(chǔ)設(shè)施損壞評(píng)估。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)旨在解決上述提出的現(xiàn)有技術(shù)中存在的至少一個(gè)問題，基于此，提出一種基于先驗(yàn)擴(kuò)散模型的遙感圖像超分辨率重建方法。

2、第一方面，本技術(shù)提供一種基于先驗(yàn)擴(kuò)散模型的遙感圖像超分辨率重建方法，包括：

3、獲取低分辨率圖像和高分辨率圖像，對(duì)所述低分辨率圖像進(jìn)行淺層特征信息提取，得到淺層特征圖；

4、對(duì)所述淺層特征圖和所述高分辨率圖像分別進(jìn)行多尺度下采樣及卷積融合處理，得到所述淺層特征圖對(duì)應(yīng)的第一多尺度特征圖及所述高分辨率圖像對(duì)應(yīng)的第二多尺度特征圖；

5、對(duì)所述第一多尺度特征圖和所述第二多尺度特征圖分別進(jìn)行快速傅里葉變換得到第一頻譜特征圖和第二頻譜特征圖，以及分別對(duì)所述第一頻譜特征圖和所述第二頻譜特征圖進(jìn)行高頻信息的提取、并對(duì)所述高頻信息進(jìn)行自適應(yīng)高頻增強(qiáng)處理，得到第一高頻特征圖和第二高頻特征圖；

6、根據(jù)所述第一高頻特征圖和所述第二高頻特征圖的頻譜幅值及相位信息搭建第一損失函數(shù)，基于所述第一損失函數(shù)，確定包括圖像重建結(jié)果的條件信息；

7、對(duì)所述高分辨率圖像進(jìn)行正向擴(kuò)散處理,得到加噪后的終態(tài)圖像，搭建噪聲預(yù)測(cè)的初始網(wǎng)絡(luò)模型，并基于所述終態(tài)圖像以及所述條件信息對(duì)所述初始網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練得到噪聲預(yù)測(cè)的目標(biāo)網(wǎng)絡(luò)模型；

8、對(duì)所述終態(tài)圖像進(jìn)行反向擴(kuò)散處理以得到重建高分辨率圖像，其中，在反向擴(kuò)散處理過程中基于所述目標(biāo)網(wǎng)絡(luò)模型得到每一次圖像迭代的噪聲估計(jì)值，所述噪聲估計(jì)值用于引導(dǎo)反向擴(kuò)散過程的噪聲處理以得到高分辨率的圖像。

9、在一些實(shí)施方式中，所述獲取低分辨率圖像和高分辨率圖像，對(duì)所述低分辨率圖像進(jìn)行淺層特征信息提取，得到淺層特征圖，包括：

10、對(duì)所述低分辨率圖像進(jìn)行直接特征提取得到目標(biāo)特征圖、以及殘差特征提取得到目標(biāo)殘差特征，將所述目標(biāo)特征圖與所述目標(biāo)殘差特征進(jìn)行殘差連接，得到所述淺層特征圖。

11、在一些實(shí)施方式中，所述對(duì)所述低分辨率圖像進(jìn)行直接特征提取得到目標(biāo)特征圖、以及殘差特征提取得到目標(biāo)殘差特征，將所述目標(biāo)特征圖與所述目標(biāo)殘差特征進(jìn)行殘差連接，得到所述淺層特征圖中，所述直接特征提取包括：

12、對(duì)所述低分辨率圖像提取初始特征，得到初始特征圖；

13、基于激活函數(shù)對(duì)所述初始特征圖進(jìn)行非線性變換，以及對(duì)非線性變換后的所述初始特征圖進(jìn)行卷積操作得到第一路特征圖及第二路特征圖；

14、對(duì)所述第一路特征圖分別進(jìn)行第一分支處理以及第二分支處理，其中，所述第一分支處理包括對(duì)所述第一路特征圖進(jìn)行深度卷積和逐點(diǎn)卷積提取空間和通道信息得到輸出特征圖；所述第二分支處理包括對(duì)第一路特征圖進(jìn)行特征壓縮與維度匹配生成注意力權(quán)重；

15、基于所述注意力權(quán)重對(duì)所述輸出特征圖進(jìn)行加權(quán)處理生成加權(quán)特征圖；

16、對(duì)所述第二路特征圖進(jìn)行深度可分離卷積操作提取第一特征信息，將所述第一特征信息與所述加權(quán)特征圖進(jìn)行通道融合以及卷積操作，得到第二特征信息；

17、將所述第二特征信息與所述初始特征圖進(jìn)行全局殘差融合生成目標(biāo)特征圖。

18、在一些實(shí)施方式中，所述對(duì)所述低分辨率圖像進(jìn)行直接特征提取得到目標(biāo)特征圖、以及殘差特征提取得到目標(biāo)殘差特征，將所述目標(biāo)特征圖與所述目標(biāo)殘差特征進(jìn)行殘差連接，得到所述淺層特征圖，所述殘差特征提取包括：

19、對(duì)所述低分辨率圖像進(jìn)行深度可分離卷積操作提取初始?xì)埐钐卣?，以及?duì)所述初始?xì)埐钐卣鬟M(jìn)行像素重排得到上采樣特征，并對(duì)所述上采樣特征進(jìn)行卷積操作得到目標(biāo)殘差特征。

20、在一些實(shí)施方式中，所述根據(jù)所述第一高頻特征圖和所述第二高頻特征圖的頻譜幅值及相位信息搭建第一損失函數(shù)，基于所述第一損失函數(shù)，確定包括圖像重建結(jié)果的條件信息，包括：

21、搭建度量重建圖像與真實(shí)圖像在高頻區(qū)域中差異的幅值損失函數(shù)，其中，所述幅值損失函數(shù)表達(dá)式為：

22、

23、式中，、和分別表示頻譜圖的高、寬和通道數(shù)，、和分別表示頻譜數(shù)據(jù)在水平頻率維度、垂直頻率維度和通道上的索引位置，|?|表示頻譜幅值的計(jì)算，表示第一高頻特征圖，表示第二高頻特征圖，是頻譜特征在第個(gè)通道、位置為的復(fù)數(shù)；

24、搭建度量重建圖像與真實(shí)圖像在高頻結(jié)構(gòu)上的差異的相位損失函數(shù)，其中，所述相位損失函數(shù)表達(dá)式為：

25、；

26、式中，表示頻譜相位的計(jì)算；

27、根據(jù)所述幅值損失函數(shù)及所述相位損失函數(shù)，得到第一損失函數(shù)，所述第一損失函數(shù)表達(dá)式為：

28、

29、式中，和表示權(quán)重超參數(shù)，表示幅值損失函數(shù)，表示相位損失函數(shù)。

30、在一些實(shí)施方式中，所述對(duì)所述終態(tài)圖像進(jìn)行反向擴(kuò)散處理以得到重建高分辨率圖像，其中，在反向擴(kuò)散處理過程中基于所述目標(biāo)網(wǎng)絡(luò)模型得到每一次圖像迭代的噪聲估計(jì)值，所述噪聲估計(jì)值用于引導(dǎo)反向擴(kuò)散過程的噪聲處理以得到高分辨率的圖像，包括：

31、向所述目標(biāo)網(wǎng)絡(luò)模型輸入所述終態(tài)圖像以及所述條件信息，得到在不同時(shí)間步長(zhǎng)下的噪聲估計(jì)值；

32、搭建所述目標(biāo)網(wǎng)絡(luò)模型對(duì)應(yīng)的第二損失函數(shù)，基于所述第二損失函數(shù)判斷所述噪聲估計(jì)值與真實(shí)噪聲值的差異，其中，所述第二損失函數(shù)表達(dá)式為：

33、

34、式中，表示噪聲預(yù)測(cè)網(wǎng)絡(luò)的參數(shù)，表示對(duì)時(shí)間步長(zhǎng)、加噪圖像和真實(shí)噪聲的期望值，表示網(wǎng)絡(luò)對(duì)噪聲的估計(jì)函數(shù)，表示條件信息，表示二范數(shù)的平方。

35、在一些實(shí)施方式中，所述對(duì)所述終態(tài)圖像進(jìn)行反向擴(kuò)散處理以得到重建高分辨率圖像，其中，在反向擴(kuò)散處理過程中基于所述目標(biāo)網(wǎng)絡(luò)模型得到每一次圖像迭代的噪聲估計(jì)值，所述噪聲估計(jì)值用于引導(dǎo)反向擴(kuò)散過程的噪聲處理以得到高分辨率的圖像，還包括：

36、基于逐步迭代反向擴(kuò)散過程不斷更新圖像狀態(tài)，反向擴(kuò)散過程的離散化形式為：

37、

38、式中，表示未迭代完全隨機(jī)噪聲圖像，表示離散時(shí)間步長(zhǎng)，表示為標(biāo)準(zhǔn)高斯噪聲，表示與時(shí)間步長(zhǎng)相關(guān)的系數(shù)，表示均值，表示與時(shí)間步長(zhǎng)相關(guān)的系數(shù)，為條件概率密度的梯度，由所述噪聲預(yù)測(cè)網(wǎng)絡(luò)的輸出計(jì)算得到。

39、與現(xiàn)有技術(shù)相比較，本技術(shù)第一方面提供的技術(shù)方案至少包括以下有益效果或優(yōu)點(diǎn)：

40、上述基于先驗(yàn)擴(kuò)散模型的遙感圖像超分辨率重建方法中，通過對(duì)低分辨率圖像進(jìn)行淺層特征信息提取得到淺層特征圖，將淺層特征圖與高分辨率圖像進(jìn)行多尺度下采樣及卷積融合處理，并對(duì)處理后的特征圖進(jìn)行高頻信息的提取以及自適應(yīng)高頻增強(qiáng)處理，得到用于輸入擴(kuò)散模型去噪網(wǎng)絡(luò)的先驗(yàn)條件信息，通過在擴(kuò)散模型的去噪過程中，對(duì)作為條件信息輸入的低分辨率圖像進(jìn)行高頻信息的深度挖掘，使低分辨率圖像中的高頻信息逐步逼近高分辨率圖像，從而提升重建精度；

41、此外，通過在反向擴(kuò)散過程中引入噪聲預(yù)測(cè)網(wǎng)絡(luò)模型，噪聲預(yù)測(cè)網(wǎng)絡(luò)能夠有效地學(xué)習(xí)反向擴(kuò)散過程中所需的噪聲估計(jì)，從而指導(dǎo)模型逐步去除噪聲，精確重建高分辨率圖像，以及，通過交叉注意力模塊數(shù)據(jù)處理，優(yōu)化編碼器與解碼器之間的特征信息傳遞和細(xì)節(jié)還原能力，有效緩解了二者在語義信息傳遞過程中的不匹配問題，通過使用像素重采樣卷積模塊替代擴(kuò)散模型去噪網(wǎng)絡(luò)中的步長(zhǎng)卷積，減少細(xì)粒度特征信息的損失，從而進(jìn)一步提升超分辨率重建的細(xì)節(jié)還原能力，提高了自然災(zāi)害遙感圖像超分辨率重建的精度。

42、第二方面，本技術(shù)提供一種基于先驗(yàn)擴(kuò)散模型的遙感圖像超分辨率重建系統(tǒng)，包括：

43、特征提取模塊，被配置為獲取低分辨率圖像和高分辨率圖像，對(duì)所述低分辨率圖像進(jìn)行淺層特征信息提取，得到淺層特征圖；

44、下采樣卷積模塊，被配置為對(duì)所述淺層特征圖和所述高分辨率圖像分別進(jìn)行多尺度下采樣及卷積融合處理，得到所述淺層特征圖對(duì)應(yīng)的第一多尺度特征圖及所述高分辨率圖像對(duì)應(yīng)的第二多尺度特征圖；

45、高頻信息處理模塊，被配置為對(duì)所述第一多尺度特征圖和所述第二多尺度特征圖分別進(jìn)行快速傅里葉變換得到第一頻譜特征圖和第二頻譜特征圖，以及分別對(duì)所述第一頻譜特征圖和所述第二頻譜特征圖進(jìn)行高頻信息的提取、并對(duì)所述高頻信息進(jìn)行自適應(yīng)高頻增強(qiáng)處理，得到第一高頻特征圖和第二高頻特征圖；

46、損失函數(shù)搭建模塊，被配置為根據(jù)所述第一高頻特征圖和所述第二高頻特征圖的頻譜幅值及相位信息搭建第一損失函數(shù)，基于所述第一損失函數(shù)，確定包括圖像重建結(jié)果的條件信息；

47、正向擴(kuò)散模塊，被配置為對(duì)所述高分辨率圖像進(jìn)行正向擴(kuò)散處理,得到加噪后的終態(tài)圖像，

48、網(wǎng)絡(luò)模型搭建模塊，被配置為搭建噪聲預(yù)測(cè)的初始網(wǎng)絡(luò)模型，并基于所述終態(tài)圖像以及所述條件信息對(duì)所述初始網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練得到噪聲預(yù)測(cè)的目標(biāo)網(wǎng)絡(luò)模型；

49、反向擴(kuò)散模塊，被配置為對(duì)所述終態(tài)圖像進(jìn)行反向擴(kuò)散處理以得到重建高分辨率圖像，其中，在反向擴(kuò)散處理過程中基于所述目標(biāo)網(wǎng)絡(luò)模型得到每一次圖像迭代的噪聲估計(jì)值，所述噪聲估計(jì)值用于引導(dǎo)反向擴(kuò)散過程的噪聲處理以得到高分辨率的圖像。

50、第三方面，本技術(shù)還提供一種電子設(shè)備，包括：

51、至少一個(gè)處理器；以及

52、與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

53、所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行上述第一方面提供的所述一種基于先驗(yàn)擴(kuò)散模型的遙感圖像超分辨率重建方法的步驟。

54、第四方面，本技術(shù)還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面提供的所述一種基于先驗(yàn)擴(kuò)散模型的遙感圖像超分辨率重建方法的步驟。

55、可以理解的是，上述第二方面、第三方面和第四方面提供技術(shù)方案的有益效果可以參見上述第一方面中的相關(guān)描述，在此不再贅述。

56、本技術(shù)的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本技術(shù)的實(shí)踐了解到。