本發(fā)明涉及高光譜圖像的生成技術，具體涉及一種高分辨率高光譜視頻融合成像裝置與方法。

背景技術：

1、高光譜成像技術將二維空間數據信息與光譜數據信息相結合，其光譜波段較寬、光譜分辨率更高、圖譜數據信息更為豐富，能夠同時記錄選定波段范圍內的圖像信息、空間信息、光譜圖中的波峰、波谷信息以及待測目標相應范圍內的反射強度。高光譜成像技術在圖像識別和檢測中具有巨大的優(yōu)勢，在遙感探測，農業(yè)土地覆蓋調研、環(huán)境監(jiān)測等多個領域都有著重要作用。目前市面上主要的高光譜成像儀有譜掃式、擺掃式、推掃式三種，由于光學成像硬件設施的限制，難以低成本快速獲取高分辨率高光譜數據。

技術實現思路

1、本發(fā)明要解決的技術問題：針對現有技術的上述問題，提供一種高分辨率高光譜視頻融合成像裝置與方法，本發(fā)明旨在解決高分辨率高光譜圖像實現難、成本高的問題，降低高光譜圖像獲取成本，提高獲取效率。

2、為了解決上述技術問題，本發(fā)明采用的技術方案為：

3、一種高分辨率高光譜視頻融合成像裝置，包括鏡頭、分光器件和多個成像芯片，所述多個成像芯片包括全色ccd芯片和至少一個像元級馬賽克鍍膜ccd芯片，所述鏡頭捕獲目標的反射光線后經過分光器件分為多束，并分別通過多個成像芯片接收并轉換為電信號。

4、可選地，所述像元級馬賽克鍍膜ccd芯片均包括ccd芯片和設于ccd芯片入光側的像元級馬賽克鍍膜。

5、可選地，所述像元級馬賽克鍍膜由多個像元級馬賽克單元重復排列構成，且像元級馬賽克單元由多個像元級馬賽克組成，且像元級馬賽克單元中不同像元級馬賽克的過濾波段不同。

6、此外，本發(fā)明還提供一種基于所述的高分辨率高光譜視頻融合成像裝置的高分辨率高光譜視頻融合成像方法，包括下述步驟：

7、s101，獲取三個成像芯片獲得原始圖像中最大重疊視場對應的裁剪對齊圖像；

8、s102，將多個像元級馬賽克鍍膜ccd芯片的裁剪對齊圖像組成單一波段的圖像并進行堆疊得到低分辨率高光譜圖像，插值至最大重疊視場對應的裁剪對齊圖像的大小得到插值后的低分辨率高光譜圖像x；

9、s103，將全色ccd芯片的裁剪對齊圖像作為高分辨率全色圖像y，與低分辨率高光譜圖像x融合獲得高分辨率高光譜圖像z。

10、可選地，步驟s101中獲取三個成像芯片獲得原始圖像中最大重疊視場對應的裁剪對齊圖像包括：根據對高分辨率高光譜視頻融合成像裝置利用預先標定得到的標定參數，對三個成像芯片獲得原始圖像進行去畸變并獲得三個成像芯片的最大重疊視場，然后分別從原始圖像中裁剪出最大重疊視場對應的裁剪對齊圖像。

11、可選地，步驟s102中將多個像元級馬賽克鍍膜ccd芯片的裁剪對齊圖像組成單一波段的圖像并進行堆疊得到低分辨率高光譜圖像時，包括將個像元級馬賽克鍍膜ccd芯片的裁剪對齊圖像組成單一波段的圖像，總的波段數量為c1，組成的任意第個波段的圖像尺寸大小為，且其中任意像素坐標位置處對應的像素值的計算函數表達式為：

12、，

13、上式中，為a/?c2的上取整，使得為f1或f2，?f1和f2分別為第一像元級馬賽克鍍膜ccd芯片、第二像元級馬賽克鍍膜ccd芯片的裁剪對齊圖像，為(a-1)/n的下取整，a為波段的序號，c2為總的波段數量c1的一半。

14、可選地，步驟s102中插值至最大重疊視場對應的裁剪對齊圖像的大小得到插值后的低分辨率高光譜圖像x時，包括針對插值后的低分辨率高光譜圖像x中的每一個待插值目標點估計像素值并進行像素值補全，且針對每一個待插值目標點估計像素值包括：

15、s201，計算待插值目標點和個相鄰像素點之間的歐氏距離；

16、s202，將計算出的歐式距離代入下式的一維高斯函數得到第個相鄰像素點的權值：

17、，

18、上式中，表示方差，表示尺度因子，為插值目標點和個相鄰像素點中第個相鄰像素點之間的歐氏距離，且個相鄰像素點的權值總和為1；

19、s203，根據下式計算待插值目標點的估計像素值：

20、

21、上式中，為待插值目標點的估計像素值，為低分辨率高光譜圖像中待插值目標點的個相鄰像素點中第個相鄰像素點的像素值。

22、可選地，步驟s103中將全色ccd芯片的裁剪對齊圖像作為高分辨率全色圖像y，與低分辨率高光譜圖像x融合獲得高分辨率高光譜圖像z包括：

23、s301，建立低分辨率高光譜圖像x和高分辨率全色圖像y的成像模型：

24、，

25、，

26、上式中，為低分辨率高光譜圖像x沿圖像波段維度展開后的二維矩陣，為高分辨率高光譜圖像z沿圖像波段維度展開后的二維矩陣，b為空間模糊操作矩陣，s為空間下采樣操作矩陣；為高分辨率全色圖像y沿圖像波段維度展開后的二維矩陣，r為光譜下采樣操作矩陣；

27、建立高分辨率高光譜圖像z的低秩子空間表示：

28、

29、上式中，d表示光譜子空間，為子空間系數矩陣c按通道維度展開后得到的二維矩陣；通過低分辨率高光譜圖像x和高分辨率全色圖像y的成像模型以及高分辨率高光譜圖像z的低秩子空間表示，將高分辨率全色圖像y與低分辨率高光譜圖像x融合的問題轉換為估計光譜子空間d及其子空間系數矩陣c的問題；

30、s302，求解估計光譜子空間d及其子空間系數矩陣c的問題；

31、其中求解估計光譜子空間d的問題包括：

32、1）對低分辨率高光譜圖像x進行奇異值分解：

33、，

34、上式中，和為酋矩陣，為對角矩陣；

35、2）保留對角矩陣中指定數量個最大的奇異值，得到以下低維分解：

36、，

37、上式中，為低分辨率高光譜圖像x的低維部分，為酋矩陣的低維部分，為對角矩陣的低維部分，為酋矩陣的低維部分，且有：

38、，，；

39、3）將酋矩陣的低維部分作為估計光譜子空間d；

40、其中求解子空間系數矩陣c的問題包括：

41、1）建立求解子空間系數矩陣c的優(yōu)化問題模型：

42、，

43、上式中，表示對子空間系數矩陣c的先驗約束；

44、2）將高分辨率全色圖像y分割為若干個空間大小為的圖形塊，然后采用聚類方法將這些圖像塊聚類為類圖像塊：

45、，

46、上式中，為第類圖像塊，為第類的第j個圖像塊，為第類圖像塊中的相似圖像塊數量，n為聚類的簇數；

47、3）基于高分辨率高光譜圖像z和子空間系數矩陣c具有相同的frobenius范數，根據從高分辨率全色圖像y中聚類學到的圖像塊聚類結構應用到子空間系數矩陣c得到：

48、，

49、上式中，為第類系數塊，為第類的第j個系數塊，且空間位置和第類的第j個圖像塊相同，各個第類系數塊構成張量，張量的三個維度分別代表第類中相似系數塊的數量、光譜子空間維度以及圖像塊的像素數量；

50、4）對張量施加張量低秩先驗約束，將求解子空間系數矩陣c的優(yōu)化問題模型轉換為求解以下優(yōu)化問題：

51、，

52、上式中，為正則化參數，為張量秩的正則項，為子空間系數矩陣c按通道維度展開后得到的二維矩陣；為優(yōu)化問題引入一個交替方向乘子法求解所需的額外的變量，并得到增廣拉格朗日函數：

53、

54、上式中，為增廣拉格朗日函數，是懲罰因子，是拉格朗日乘子，為張量的在變量v形式下的表示；

55、5）將增廣拉格朗日函數的最小化優(yōu)化轉化為迭代求解以下幾個子問題：

56、子問題（a）：估計子空間系數矩陣c按通道維度展開后得到的二維矩陣：

57、，

58、上式中，和分別是張量和的三維展開矩陣；

59、子問題（b）：估計變量：

60、，

61、子問題（c）：估計變量：

62、，

63、6）通過交替方向乘子法針對所述幾個子問題依次交替迭代更新變量、以及，當迭代輪數達到預設的最大迭代次數時，得到最終的子空間系數矩陣c按通道維度展開后得到的二維矩陣；

64、s303，根據估計光譜子空間d以及最終的子空間系數矩陣c按通道維度展開后得到的二維矩陣，根據得到高分辨率高光譜圖像z沿圖像波段維度展開后的二維矩陣，作為高分辨率全色圖像y與低分辨率高光譜圖像x融合獲得高分辨率高光譜圖像z。

65、此外，本發(fā)明還提供一種高分辨率高光譜視頻融合成像系統，包括相互連接的微處理器和存儲器，所述微處理器被編程或配置以執(zhí)行所述高分辨率高光譜視頻融合成像方法。

66、此外，本發(fā)明還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有計算機程序，所述計算機程序用于被微處理器編程或配置以執(zhí)行所述高分辨率高光譜視頻融合成像方法。

67、和現有技術相比，本發(fā)明主要具有下述優(yōu)點：本發(fā)明高分辨率高光譜視頻融合成像裝置包括鏡頭、分光器件和三個成像芯片，三個成像芯片包括第一像元級馬賽克鍍膜ccd芯片、第二像元級馬賽克鍍膜ccd芯片以及全色ccd芯片，所述鏡頭捕獲目標的反射光線后經過分光器件分為三束，并分別通過三個成像芯片接收并轉換為電信號，通過一方面通過三個成像芯片同時成像，能夠提高高分辨率高光譜圖像生成所需數據的效率；另一方面，通過借助像元級馬賽克鍍膜，利用第一像元級馬賽克鍍膜ccd芯片、第二像元級馬賽克鍍膜ccd芯片以及全色ccd芯片三個成像芯片來獲取不同的高分辨率高光譜圖像生成所需數據，能夠為高分辨率高光譜圖像的高質量生成提供所需基礎數據，解決高分辨率高光譜圖像實現難、成本高的問題，降低高光譜圖像獲取成本，提高獲取效率。