本發(fā)明涉及遙感影像處理的，更具體地，涉及一種遙感圖像光譜超分辨率重建方法。

背景技術(shù)：

1、圖像光譜超分辨率重構(gòu)技術(shù)是一種用于提高圖像空間分辨率和光譜分辨率的技術(shù)。它結(jié)合了圖像超分辨率和光譜成像技術(shù)的優(yōu)勢，旨在從低分辨率的高光譜圖像中重建出高分辨率的圖像，最終使得處理后的圖像同時(shí)具備高光譜與高空間分辨率的圖像數(shù)據(jù)屬性。目前高光譜成像面臨如下挑戰(zhàn)：用于獲取高光譜圖像的光譜成像儀價(jià)格昂貴導(dǎo)致成本加大；光譜成像儀對光線和天氣條件要求高；空間和光譜分辨率相互制約，難以同時(shí)獲得具備高光譜分辨率和高空間分辨率的圖像。因此，利用光譜重構(gòu)技術(shù)可以突破光譜成像儀的性能瓶頸、降低成本，進(jìn)一步發(fā)揮高光譜圖像的潛力。光譜重構(gòu)技術(shù)中包含圖像融合和光譜超分辨率兩種策略，由于圖像融合依賴于msi-hsi(multi-spectral?image-hyperspectralimage，多光譜圖像-高光譜圖像)圖像對的可用性，圖像光譜超分辨重構(gòu)技術(shù)則是側(cè)重將同一傳感器的低光譜分辨率圖像從光譜維度進(jìn)行重建，使之光譜特征信息達(dá)到精細(xì)化的目的，最終使得處理后的圖像同時(shí)具備高光譜與高空間分辨率的圖像數(shù)據(jù)屬性。

2、現(xiàn)有的光譜超分辨率技術(shù)可分為字典學(xué)習(xí)法、深度網(wǎng)絡(luò)法和深度先驗(yàn)法。這些技術(shù)仍存在以下弊端：

3、模型架構(gòu)方面：編碼器-解碼器(endecoder)架構(gòu)和帶有殘差連接的連續(xù)卷積(seqconv)架構(gòu)是常見的ssr(spectral?super-resolution，光譜超分辨率)模型架構(gòu)，但存在相應(yīng)問題，前者容易丟失空間細(xì)節(jié)，后者在不同場景下的重建性能不一致。

4、先驗(yàn)嵌入方面：在ssr網(wǎng)絡(luò)中，通過數(shù)據(jù)預(yù)處理獲得先驗(yàn)信息的方法更加常見，而不是學(xué)習(xí)獲得的先驗(yàn)信息。

5、輕量級部署方面：目前的ssr方法更關(guān)注重建性能而非模型輕量化，因此很難實(shí)現(xiàn)最終部署。

6、應(yīng)用可行性方面：大多數(shù)ssr方法在標(biāo)準(zhǔn)數(shù)據(jù)集上的表現(xiàn)都非常出色，但在跨傳感器數(shù)據(jù)上仍有局限性。具體來說，雖然現(xiàn)有融合方法能有效獲得高空間分辨率的hsi(hyperspectral?image，高光譜圖像)，但其模型性能依賴于msi-hsi圖像對的可用性，但實(shí)際上，相應(yīng)的msi-hsi圖像對較難獲得。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為克服上述現(xiàn)有模型重建帶來技術(shù)信息丟失和模型重建性能不高的缺陷，提供一種遙感圖像光譜超分辨率重建方法。

2、為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案如下：

3、本發(fā)明提出一種遙感圖像光譜超分辨率重建方法，包括：

4、s1：獲取遙感rgb圖像數(shù)據(jù)集，并將每張遙感rgb圖像對應(yīng)轉(zhuǎn)化為參考高光譜圖像；

5、s2：將遙感rgb圖像數(shù)據(jù)集輸入構(gòu)建的分層語義感知cnn-transformer模型中，生成對應(yīng)的重構(gòu)高光譜圖像；

6、s3：根據(jù)所述參考高光譜圖像和重構(gòu)高光譜圖像構(gòu)建總訓(xùn)練損失函數(shù)，對分層語義感知cnn-transformer模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的分層語義感知cnn-transformer模型；

7、s4：獲取待重建遙感rgb圖像，輸入到訓(xùn)練好的分層語義感知cnn-transformer模型，獲得重建好的高光譜圖像。

8、優(yōu)選地，所述分層語義感知cnn-transformer模型包括ise模塊、第一深度卷積層、concat層、第二深度卷積層、第一sact單元、第三深度卷積層、第一拼接層、第一卷積層、pixelunshuffle模塊、第四深度卷積層、第二sact單元、第五深度卷積層和pixelshuffle模塊；

9、ise模塊、第一深度卷積層、concat層、第二深度卷積層、第一sact單元、第三深度卷積層、第一拼接層和第一卷積層依次連接；

10、pixelunshuffle模塊、第四深度卷積層、第二sact單元、第五深度卷積層和pixelshuffle模塊依次連接，pixelshuffle模塊的輸出端與concat層的輸入端連接；

11、ise模塊的輸出端還分別與pixelunshuffle模塊和第一拼接層的輸入端連接；

12、第一sact單元包括n個(gè)依次連接的sact模塊，第二sact單元包括n-1個(gè)依次連接的sact模塊。

13、優(yōu)選地，所述ise模塊包括依次連接的波長內(nèi)估算子模塊、波長外估算子模塊；

14、記rgb圖像r，圖像r的原始光譜通道包括sr、sg和sb，其中sr、sg和sb分別表示圖像r的紅色、綠色和藍(lán)色光譜通道，將圖像r輸入到波長內(nèi)估算子模塊進(jìn)行估算，獲得估算光譜通道估計(jì)值，包括紅綠光譜通道估計(jì)值和綠藍(lán)光譜通道估計(jì)值：

15、srg＝(sr+sg)/2

16、sgb＝(sg+sb)/2

17、其中，srg表示圖像r的紅綠光譜通道估計(jì)值，sgb表示圖像r的綠藍(lán)光譜通道估計(jì)值，sr、sg和sb分別表示圖像r的紅色、綠色和藍(lán)色光譜通道；

18、將原始光譜通道和估算光譜通道合并為圖像r的精細(xì)光譜信息作為波長內(nèi)估算子模塊的輸出圖像：

19、sr＝{sr,srg,sg,sgb,sb}

20、其中，sr表示圖像r的精細(xì)光譜信息；

21、將波長內(nèi)估算子模塊的輸出圖像輸入到波長外估算子模塊得到初始光譜估算特征具體過程如下：

22、

23、其中，i＝{λr,λg,λb}為第i個(gè)波長組，λs和λe分別為波長區(qū)間λ的左端點(diǎn)和右端點(diǎn)，λr，λg，λb依次為波長區(qū)間λ的三個(gè)相等分子區(qū)間，dwconvr(·)、dwconvg(·)和dwconvb(·)分別表示紅色、綠色和藍(lán)色通道深度卷積層。

24、優(yōu)選地，每個(gè)所述sact模塊均包括依次連接的第一psconv子模塊、sacnn子模塊、第二拼接層、leakyrelu激活層、第二psconv子模塊、saformer子模塊和第三拼接層；

25、第一psconv子模塊和第二psconv子模塊均由n個(gè)psconv器依次連接；

26、第一psconv子模塊的輸入端還與第二拼接層的輸入端連接，leakyrelu激活層的輸入端還與第三拼接層的輸入端連接。

27、優(yōu)選地，所述psconv器包括超像素語義器、第四拼接層、speconv器、spaconv器、spespaconv器和融合器；

28、超像素語義器的輸入端和輸出端均與第四拼接層的輸入端連接，第四拼接層的輸出端分別與speconv器、spaconv器和spespaconv器的輸入端連接，speconv器、spaconv器和spespaconv器的輸出端均與融合器的輸入端連接。

29、優(yōu)選地，所述超像素語義器包括依次連接的第六深度卷積層、第二卷積層、probability處理層、softmax處理層和region?labels處理層。

30、優(yōu)選地，所述s3中，所述總訓(xùn)練損失函數(shù)的確定方法包括：

31、ltotal＝l1+αlspe-spa

32、其中，ltotal表示總訓(xùn)練損失函數(shù)，w、l和c分別為高光譜圖像的寬度、高度和光譜通道數(shù)，為參考高光譜圖像，為重建高光譜圖像；lspe-spa表示光譜空間損失函數(shù)，α表示平衡參數(shù)。

33、優(yōu)選地，所述光譜空間損失函數(shù)的確定方法包括：

34、lspe-spa＝2(lspe+lspa)

35、其中，lspe表示頻譜損失函數(shù)，lspa表示空間損失函數(shù)。

36、優(yōu)選地，所述頻譜損失函數(shù)的確定方法包括：

37、

38、其中，和分別由h和沿光譜維展開得到，<·>表示各像素點(diǎn)光譜輻射度的點(diǎn)積運(yùn)算，∥·∥表示各像素點(diǎn)光譜輻射度平方累計(jì)的平方根。

39、優(yōu)選地，所述空間損失函數(shù)的確定方法包括：

40、

41、其中，hspa和分別由h和經(jīng)度量變換得到。

42、與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是：

43、本發(fā)明提出了一種遙感圖像光譜超分辨率重建方法，首先獲取遙感rgb圖像數(shù)據(jù)集，并將每張遙感rgb圖像對應(yīng)轉(zhuǎn)化為參考高光譜圖像；將遙感rgb圖像數(shù)據(jù)集輸入構(gòu)建的分層語義感知cnn-transformer模型中，生成對應(yīng)的重構(gòu)高光譜圖像；根據(jù)所述參考高光譜圖像和重構(gòu)高光譜圖像構(gòu)建頻譜和空間損失函數(shù)，對所述模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的分層語義感知cnn-transformer模型；將待重建遙感rgb圖像，輸入到訓(xùn)練好的模型，獲得重建好的高光譜圖像。本發(fā)明能夠有效防止信息丟失，提升模型在不同使用情景下的穩(wěn)定性，更準(zhǔn)確地從遙感rgb圖像中重建高光譜圖像。