本技術涉及圖像處理，尤其涉及一種基于空間超分增強的高光譜生成方法及裝置。

背景技術：

1、高光譜成像技術作為現(xiàn)代遙感與圖像分析的前沿領域，通過連續(xù)光譜波段的捕獲，為材料識別與分析提供了前所未有的光譜特征信息。相較于傳統(tǒng)彩色成像，高光譜成像能深入揭示物質內部細節(jié)，廣泛應用于農業(yè)、環(huán)境、礦產勘探及醫(yī)學診斷等領域。

2、當前，為克服高光譜圖像數(shù)據(jù)獲取的高成本問題，研究人員轉向深度學習技術，特別是生成對抗網(wǎng)絡和變分自編碼器，以合成高質量的高光譜圖像。這些方法雖取得一定成果，但在實際應用中仍面臨諸多挑戰(zhàn)缺乏對生成圖像內容的精確控制，難以滿足特定需求，以及因數(shù)據(jù)稀缺性導致的圖像多樣性與真實性不足。

3、現(xiàn)有技術在高光譜圖像領域的直接應用尚顯不足，未能充分解決高光譜圖像的稀缺性與生成質量之間的矛盾。因此如何實現(xiàn)高質量、高多樣性且可控的高光譜圖像生成，成為待解決的問題。

技術實現(xiàn)思路

1、在本技術實施例中，通過提供一種基于空間超分增強的高光譜生成方法，解決了如何實現(xiàn)高質量、高多樣性且可控的高光譜圖像生成的問題。

2、第一方面，本技術實施例提供了一種基于空間超分增強的高光譜生成方法，該方法包括：從多個來源收集高光譜圖像，并對收集到的高光譜圖像進行預處理；利用插值技術對預處理后的高光譜圖像進行上采樣，使用裁剪技術從上采樣后的高光譜圖像中裁剪出多個訓練塊，并生成訓練樣本；從每個訓練塊中提取三個波段，并將其組合成rgb圖像；構建生成模型；其中，所述生成模型包括dsrnet模型和矩形引導注意力網(wǎng)絡；dsrnet模型將rgb圖像作為輸入圖像，結合vae編碼器和unet結構，利用控制網(wǎng)絡和去噪擴散隱模型進行迭代去噪，生成高分辨率rgb圖像；矩形引導注意力網(wǎng)絡通過其多個引導注意力層，通過矩形窗口內的交叉注意力計算，將高分辨率rgb圖像作為輔助信息以獲得超高分辨率高光譜圖像；為超高分辨率高光譜圖像設置生成條件；其中，所設置的生成條件包括邊綠檢測、圖像分割、草圖生成、線段檢測、內容編碼和文本生成；獲取訓練樣本作為訓練集；使用訓練集對生成模型進行迭代訓練，獲得最終生成模型；其中，所述最終生成模型用于響應于多種生成條件，以生成符合生成條件的高光譜圖像。

3、在一種可能的實現(xiàn)方式中，所述預處理包括波長對齊、去噪操作和標準化處理。

4、在一種可能的實現(xiàn)方式中，所述dsrnet模型將rgb圖像作為輸入圖像，結合vae編碼器和unet結構，利用控制網(wǎng)絡和去噪擴散隱模型進行迭代去噪，生成最終高分辨率rgb圖像，包括：利用vae編碼器對輸入圖像進行編碼，將輸入圖像壓縮到低維潛在空間，同時保留輸入圖像的關鍵特征；在潛在空間中利用去噪擴散隱模型進行前向擴散過程和逆向擴散，最小化預測噪聲與實際噪聲的差異；前向擴散過程為通過一系列時間步，逐步向潛在空間表示中添加噪聲，直到其分布接近高斯分布；逆向擴散過程為以輸入圖像為條件，從噪聲分布開始，通過逐步去噪，生成初始高分辨率rgb圖像；控制網(wǎng)絡接收輸入圖像，提取關鍵特征，并將其傳遞給unet結構；unet結構利用從控制網(wǎng)絡傳遞來的關鍵特征，在逆向擴散過程中重建初始高分辨率rgb圖像，以確保生成的最終高分辨率rgb圖像在內容上與輸入圖像保持一致。

5、在一種可能的實現(xiàn)方式中，所述矩形引導注意力網(wǎng)絡通過其多個引導注意力層，通過矩形窗口內的交叉注意力計算，將高分辨率rgb圖像作為輔助信息以獲得超高分辨率高光譜圖像，包括：每個引導注意力層包括自注意力層、交叉注意力層、光譜注意力層和前饋層；在自注意力層中應用自注意力機制，以增強特征圖內部的空間依賴性；其中，所述特征圖為通過卷積操作從高分辨率rgb圖像中提取出來的圖像；在交叉注意力層中將訓練塊和特征圖均分割成垂直和水平的矩形窗口，對每個窗口應用卷積操作，生成查詢特征、鍵特征和值特征；在垂直和水平方向上分別執(zhí)行多頭交叉注意力計算，將特征圖的細節(jié)信息融合到訓練塊中，將不同方向上的多頭交叉注意力計算結果聚合并轉換回原始特征圖尺寸；在光譜注意力層中應用光譜注意力機制，增強特征圖在光譜維度上的依賴性；使用前饋層分別對自注意力、交叉注意力和光譜注意力的輸出進行線性變換和非線性激活；將多個引導注意力層按順序堆疊，每一層的輸出作為下一層的輸入；通過多個引導注意力層的處理，獲得超高分辨率高光譜圖像。

6、在一種可能的實現(xiàn)方式中，所述為超高分辨率高光譜圖像設置生成條件，包括：通過邊緣檢測提取超高分辨率高光譜圖像的邊緣邊界；利用預訓練的分割模型生成超高分辨率高光譜圖像的分割掩碼；通過草圖繪制模型將超高分辨率高光譜圖像簡化為線條和輪廓；應用多尺度線段檢測模型識別超高分辨率高光譜圖像中的直線路徑；使用clip模型的圖像編碼器來提取超高分辨率高光譜圖像內容的全局表示。

7、在一種可能的實現(xiàn)方式中，所述使用訓練集對生成模型進行迭代訓練，獲得最終生成模型，包括：使用均方誤差作為損失函數(shù)，通過adamw優(yōu)化器迭代更新生成模型參數(shù)；利用預訓練的權重初始化生成模型中的unet結構，以加速訓練過程并提高生成模型性能，以獲得最終生成模型。

8、第二方面，本技術實施例提供了一種基于空間超分增強的高光譜生成裝置，該裝置包括：預處理模塊，用于從多個來源收集高光譜圖像，并對收集到的高光譜圖像進行預處理；裁剪模塊，用于利用插值技術對預處理后的高光譜圖像進行上采樣，使用裁剪技術從上采樣后的高光譜圖像中裁剪出多個訓練塊，并生成訓練樣本；構成模塊，用于構建生成模型；其中，所述生成模型包括dsrnet模型和矩形引導注意力網(wǎng)絡；dsrnet模型將rgb圖像作為輸入圖像，結合vae編碼器和unet結構，利用控制網(wǎng)絡和去噪擴散隱模型進行迭代去噪，生成高分辨率rgb圖像；矩形引導注意力網(wǎng)絡通過其多個引導注意力層，通過矩形窗口內的交叉注意力計算，將高分辨率rgb圖像作為輔助信息以獲得超高分辨率高光譜圖像；設置模塊，用于為超高分辨率高光譜圖像設置生成條件；其中，所設置的生成條件包括邊綠檢測、圖像分割、草圖生成、線段檢測、內容編碼和文本生成；獲取模塊，用于獲取訓練樣本作為訓練集；迭代訓練模塊，用于使用訓練集對生成模型進行迭代訓練，獲得最終生成模型；其中，所述最終生成模型用于響應于多種生成條件，以生成符合生成條件的高光譜圖像。

9、第三方面，本技術實施例提供了一種基于空間超分增強的高光譜生成服務器，包括存儲器和處理器；所述存儲器用于存儲計算機可執(zhí)行指令；所述處理器用于執(zhí)行所述計算機可執(zhí)行指令，以實現(xiàn)第一方面或第一方面任一種可能的實現(xiàn)方式所述的方法。

10、第四方面，本技術實施例提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有可執(zhí)行指令，計算機執(zhí)行所述可執(zhí)行指令時能夠實現(xiàn)第一方面或第一方面任一種可能的實現(xiàn)方式所述的方法。

11、本技術實施例中提供的一個或多個技術方案，至少具有如下技術效果：

12、本技術實施例提供了一種基于空間超分增強的高光譜生成方法，通過從多個來源收集高光譜圖像，增加了數(shù)據(jù)的多樣性和代表性，為后續(xù)模型的訓練提供了堅實的基礎。預處理步驟進一步提升了數(shù)據(jù)質量，為后續(xù)處理流程奠定了良好基礎。利用插值技術和裁剪技術，能夠從高光譜圖像中有效提取訓練塊，這些訓練塊在保留原始圖像關鍵特征的同時，顯著提升了圖像的分辨率。通過dsrnet模型的迭代去噪過程，進一步增強了生成圖像的質量，使得生成的高分辨率rgb圖像更加清晰、細膩。矩形引導注意力網(wǎng)絡通過其獨特的矩形窗口交叉注意力機制，能夠充分利用高分辨率rgb圖像的輔助信息，生成超高分辨率的高光譜圖像。這種機制不僅提高了生成圖像的空間分辨率，還顯著增強了光譜信息的準確性和豐富性。本技術為圖像的生成設置了多種生成條件，包括邊緣檢測、圖像分割、草圖生成、線段檢測、內容編碼和文本生成等。這些生成條件的設置，使得生成模型能夠根據(jù)實際需求，靈活生成符合特定條件的高光譜圖像，極大地擴展了模型的應用場景和實用性。通過迭代訓練生成模型，最終獲得了能夠響應多種生成條件的最終生成模型。該模型在訓練過程中不斷優(yōu)化，提高了生成圖像的質量和效率。同時，由于模型設計的靈活性和可擴展性，未來可以方便地引入新的生成條件或改進模型結構，以適應不斷變化的需求和技術發(fā)展。解決了如何實現(xiàn)高質量、高多樣性且可控的高光譜圖像生成的問題。