本發(fā)明屬于計算機視覺圖像復原領域，涉及一種基于元-遷移學習的高光譜圖像盲超分辨率重建方法。

背景技術：

1、高光譜圖像以其捕獲大量光譜帶的能力，在遙感、環(huán)境監(jiān)測、醫(yī)療診斷等多個領域得到了廣泛應用。高光譜圖像可以為每個像素記錄詳細的光譜信息，從而能夠識別和區(qū)分微小的光譜特征。然而，現(xiàn)有的光譜成像系統(tǒng)在提升光譜分辨率的同時，往往需要犧牲空間分辨率，導致高光譜圖像在空間細節(jié)的表現(xiàn)上有所欠缺。此外，成像過程中復雜的外部環(huán)境和設備限制可能引入圖像退化，進一步影響了高光譜圖像對目標物體的準確描述。這些因素為高光譜圖像的精確解譯帶來了巨大的挑戰(zhàn)。

2、為了克服這一難題，高光譜圖像超分辨率技術應運而生，其核心思想是從低分辨率高光譜圖像中重建高分辨率圖像，從而提高圖像的空間細節(jié)表達能力，增強對事物信息的描述準確性。根據(jù)是否利用額外的輔助圖像信息，現(xiàn)有的高光譜圖像超分辨率方法大致分為兩類：基于輔助圖像的融合方法和單一高光譜圖像的超分辨率方法。基于輔助圖像的融合方法通過融合與高光譜圖像配準的高分辨率圖像(如rgb圖像或多光譜圖像)，來提升高光譜圖像的空間分辨率。然而，受制于實際應用中的外部環(huán)境因素，獲取與高光譜圖像精確配準的輔助圖像往往非常困難，極大地限制了這類方法的實用性。相比之下，單一高光譜圖像的超分辨率方法無需額外的輔助信息，通過分析和提取高光譜圖像內部的光譜和空間特征來實現(xiàn)超分辨率重建，因此在實際應用中更加普及?，F(xiàn)有的單一高光譜圖像超分辨率方法主要分為傳統(tǒng)方法和基于深度學習的方法。傳統(tǒng)方法包括低階近似、字典學習和稀疏表示等技術，這些方法利用手動先驗來捕捉圖像特征，但往往表達能力有限，難以恢復復雜的圖像細節(jié)。近年來，深度學習在圖像超分辨率領域取得了顯著進展，特別是在端到端訓練框架中，通過隱式學習映射函數(shù)有效地提升了圖像的重建性能。然而，直接將深度學習應用于高光譜圖像超分辨率可能導致光譜失真，因為這些方法通常忽視了高光譜圖像波段間的相關性。

3、為此，近年來一些新興的網絡結構設計開始兼顧光譜和空間特征，通過三維卷積等技術實現(xiàn)了較好的重建效果，但這也不可避免地增加了計算復雜度。此外，這些方法往往依賴于特定的降解模型來生成低分辨率圖像，當實際退化模型與預設不符時，模型的重建效果將顯著下降，限制了其適應性和魯棒性。為了克服這些局限性，高光譜圖像的盲超分辨率方法逐漸成為研究熱點，這類方法在不依賴特定退化模型的前提下實現(xiàn)超分辨率重建。然而，現(xiàn)有的大多數(shù)盲超分辨率方法仍然依賴于高分辨率輔助圖像，如rgb圖像或多光譜圖像，這在實際應用中難以實現(xiàn)。因此，開發(fā)輕量級的、無需額外輔助圖像的單幀盲超分辨率模型仍然是當前研究的一個重要方向。

技術實現(xiàn)思路

1、要解決的技術問題

2、為了避免現(xiàn)有技術的不足之處，本發(fā)明提出一種基于元-遷移學習的高光譜圖像盲超分辨率重建方法，提高高光譜圖像的超分辨率重建能力。

3、本發(fā)明的方法，是一種基于知識蒸餾的多階段遷移學習的單一高光譜圖像盲超分辨率方法。其主要思想是：通過對網絡進行多階段訓練，結合自然圖像與hsi的相似性，利用元學習策略快速適應新退化形式，并通過知識蒸餾技術有效壓縮模型，改善高光譜圖像的重建性能。本發(fā)明方法包含以下四個步驟：通過利用大量來自自然圖像的低分辨率-高分辨率(lr-hr)數(shù)據(jù)對模型進行預訓練，將自然圖像域的空間知識遷移到高光譜圖像域，獲得適合高光譜圖像超分辨率任務的初始解。為了適應不同退化模型的復雜情況，采用元學習機制，使得網絡可以通過少量迭代迅速適應新環(huán)境。在此基礎上，利用知識蒸餾技術壓縮模型，通過從教師網絡中提取注意力特征圖(afm)來指導學生網絡的訓練，從而保證性能的同時減少模型復雜度。通過對網絡進行塊遞歸特性微調，進一步提升模型的泛化能力。

4、技術方案

5、一種基于元-遷移學習的高光譜圖像盲超分辨率重建方法，其特征在于步驟如下：

6、步驟1、構建圖像訓練集：對高分辨圖像進行模糊處理和數(shù)據(jù)增強，得到低分辨lr1與高分辨hr1圖像對：

7、

8、其中：xh和yh為hsi域的lr1和hr1數(shù)據(jù)，b表示lr1和hr1圖像對應的波段數(shù)；

9、步驟2、預訓練網絡模型：對自然圖像數(shù)據(jù)集div2k的hr圖像通過雙三次下采樣生成lr2圖像，與hr2圖像形成圖像對：

10、

11、其中，xr和yr分別表示lr2和hr2圖像，p和p(p＜＜p)表示圖像的像素數(shù)；

12、以lr2圖像和hr2圖像形成圖像對對edsr基礎網絡進行訓練，得到預訓練的三通道網絡模型；

13、步驟3、將預訓練的模型遷移到hsi?sr中：將步驟1得到的xh中的偽rgb圖像循環(huán)輸入三通道網絡模型中，輸入順序遵循h(huán)si固有的波段指數(shù)順序；然后，將所有重建的波段沿著輸入的光譜維數(shù)進行串聯(lián)，以獲得最終的sr?his；

14、步驟4、使用元訓練進行教師網絡訓練：將yh分為訓練集和測試集分別對應元學習中的支持集和查詢集；

15、在退化空間p(k)和高分辨率高光譜圖像樣本yh中選擇n種退化類型進行元訓練，得到每種退化類型生成相應的低分辨率圖像，其中，訓練集生成的低分辨率圖像與匹配，測集生成的則與匹配；

16、所述退化空間p(k)的退化過程表示為：

17、＝y(tǒng)*k)↓s+n，

18、其中，*表示模糊操作，k為模糊核，↓s表示尺度因子為s的下采樣操作，n表示退化過程中添加的噪聲；

19、步驟6、學生網絡蒸餾：以知識蒸餾技術對模型進行壓縮；首先從退化空間中隨機選擇一種退化類型，將其應用于yh生成xh，然后將xh輸入到知識蒸餾網絡中；

20、其次，利用卷積神經網絡提取hsi的低級特征、中級特征和高級特征并計算了教師網絡和學生網絡在不同階段的空間注意力特征圖

21、afm表示為：

22、

23、其中，c表示特征圖中的通道數(shù)，表示網絡中的特征圖；

24、知識蒸餾階段的整體損失lkd為：

25、

26、其中，lk3為學生網絡的輸出與yh之間的重構損失；蒸餾損失lk1來約束教師網絡和學生網絡的注意力特征圖之間的差異；利用教師網絡的輸出作為標簽來約束教師網絡的輸出與學生網絡的輸出之間的差異，構成蒸餾損失lk2；lk3為學生網絡的輸出與yh之間的重構損失參數(shù)；λ1、λ2、λ3用來平衡這三種損失的重要性；

27、步驟7、使用元測試進行圖像重建：對原圖像yh進行通過雙三次下采樣得到的退化圖像xh，生成下采樣后的xh；然后使用下采樣后的xh和xh對模型參數(shù)進行n次梯度更新；該模型充分利用內部圖像信息，并對自身進行微調以適應特定的退化；最后，在xh上使用微調模型得到最終的sr圖像fs(xh；θ)。

28、所述步驟1的模糊處理是對利用高斯模糊核對高分辨圖像進行模糊處理。

29、所述步驟1的數(shù)據(jù)增強是采用雙三次插值對模糊圖像進行下采樣，得到圖像初始的數(shù)據(jù)對即低分辨與高分辨圖像對，再通過翻轉、旋轉方式對訓練集數(shù)據(jù)增強，得到最終的低分辨lr與高分辨hr圖像對。

30、所述包含b波段，將第t(1<t<b)波段及其相鄰的和波段視為偽rgb圖像。

31、所述步驟3的過程表示為：

32、

33、式中，f(·)和f(·)分別為自然圖像和hsi的lr-hr隱式映射表達式，w表示權重矩陣，b為偏置項。

34、所述步驟5的教師網絡訓練時，用通過預訓練獲得的初始解θ0來初始化每個任務的模型參數(shù)，隨后在支持集的圖像對上進行n次迭代，以通過梯度下降逐步優(yōu)化訓練損失函數(shù)

35、

36、其中，ft(·)表示教師網絡的映射函數(shù)，并以此來更新每個任務特定的參數(shù)θi：

37、

38、完成支持集上的訓練后，使用更新后的任務特定參數(shù)在查詢集的圖像對上評估模型性能，驗證損失為

39、

40、并通過查詢集的平均損失更新模型的初始參數(shù)θ0，最終通過元學習率β調整模型參數(shù)θt：

41、

42、使其能夠在未來的任務中更好地泛化。其中，ti為從退化空間中選擇的n種退化類類型的一種，α為任務級學習率和β為元學習率。

43、所述約束教師網絡和學生網絡的注意力特征圖之間的差異蒸餾損失lk1描述為：

44、

45、其中，分別表示教師網絡和學生網絡的注意力特征圖。索引j表示在網絡不同階段的位置；m表示一個訓練批中圖像的數(shù)量，e是一個值非常小的超參數(shù)，以防止除零誤差。

46、所述約束教師網絡的輸出與學生網絡的輸出之間的差異的蒸餾損失lk2描述為：

47、

48、其中，θt和θs分別表示教師網絡和學生網絡的模型參數(shù)，fs(·)表示學生網絡的映射函數(shù)；ft(·)和fs(·)分別表示教師網絡和學生網絡對應的映射函數(shù)。

49、所述學生網絡的輸出與yh之間的重構損失lk3描述為：

50、

51、一種計算機程序產品，其特征在于包括計算機可執(zhí)行指令，所述指令在被執(zhí)行時用于實現(xiàn)所述的基于元-遷移學習的高光譜圖像盲超分辨率重建方法。

52、有益效果

53、本發(fā)明提出的一種基于元-遷移學習的高光譜圖像盲超分辨率重建方法，采用元-遷移學習與知識邊緣蒸餾相結合的策略，針對高光譜圖像進行盲超分辨率重建。通過利用大量自然圖像的預訓練模型，將自然圖像域的空間知識有效遷移到高光譜圖像域中，提升了模型的初始性能。此外，本發(fā)明采用元-遷移學習策略，使得模型能夠快速適應不同的退化形式，從而增強了在實際應用中的魯棒性與泛化能力。同時，通過知識邊緣蒸餾壓縮模型，減少了網絡的參數(shù)量與計算開銷，提高了模型的效率。還通過多階段注意力特征圖的傳遞增強了模型對圖像細節(jié)的表達能力。最后，利用塊遞歸特性對模型進行微調，有助于進一步提高高分辨率重建的精度，使得生成的圖像在邊緣和細節(jié)處更加清晰。