本發(fā)明屬于圖像處理領(lǐng)域，主要涉及一種基于元學(xué)習(xí)的關(guān)系和表征學(xué)習(xí)網(wǎng)絡(luò)的單幅圖像去雨方法。

背景技術(shù)：

1、隨著計算機視覺技術(shù)的發(fā)展，圖像去雨已成為其近年來發(fā)展過程中出現(xiàn)的一種重要算法。該算法主要用于提高拍攝于提高雨天下的圖像質(zhì)量，目前已廣泛應(yīng)用于許多戶外計算機視覺任務(wù)，如視頻監(jiān)控、人物識別和目標檢測等。但目前的主流算法都是將包括雨水條紋和干凈背景的整個降雨圖像直接“翻譯”為干凈圖像，或者間接表征降雨殘差并將其從降雨圖像的嵌入中去除，泛化能力不足。因此，如何能夠得出更好的圖像去雨結(jié)果，是目前計算機視覺領(lǐng)域研究的熱門課題之一。

2、針對上述問題，研究者們提出了一些方法，最近在2019年計算機領(lǐng)域世界頂級的學(xué)術(shù)會議ieee?international?conference?on?computer?vision?proceeding上發(fā)表了文章《erl-net:?entangled?representation?learning?for?single?image?de-raining》，該文章將“含雨圖像到干凈圖像”這一圖像轉(zhuǎn)換模型分解成一個嵌入學(xué)習(xí)網(wǎng)絡(luò)（編碼器）和一個條件生成器（解碼器），并假設(shè)在潛在的嵌入空間中存在從基本嵌入到最優(yōu)嵌入的平滑連接，提出用殘差學(xué)習(xí)來學(xué)習(xí)這種連接。但是由于該方法并沒有深入考慮雨天圖像的背景呈現(xiàn)出無窮無盡的多樣性。當(dāng)一種類型的背景與訓(xùn)練集的數(shù)據(jù)分布相去甚遠時，這種情況可能會破壞去除雨痕和保持背景保真度之間的平衡，從而導(dǎo)致圖像模糊。此外，從現(xiàn)實世界中收集的雨天圖像并不具有基準真實值，這限制了在合成數(shù)據(jù)集上訓(xùn)練的基于深度學(xué)習(xí)的傳統(tǒng)去雨方法的性能。

技術(shù)實現(xiàn)思路

1、本發(fā)明是為了解決上述現(xiàn)有技術(shù)存在的不足之處，提出一種基于元學(xué)習(xí)的關(guān)系和表征學(xué)習(xí)網(wǎng)絡(luò)的單幅圖像去雨方法，以期既能保證雨天圖像中背景的保真度，又能更好地實現(xiàn)無窮多復(fù)雜場景的圖像去雨，并能提高干凈圖像的生成質(zhì)量以及去雨任務(wù)的泛化能力。

2、本發(fā)明為解決技術(shù)問題，采用如下的技術(shù)方案：

3、本發(fā)明一種基于元學(xué)習(xí)的關(guān)系和表征學(xué)習(xí)網(wǎng)絡(luò)的單幅圖像去雨方法的特點在于，是按如下步驟進行：

4、步驟1：獲取圖像訓(xùn)練集，其中，表示第幅圖像，表示訓(xùn)練集圖像的數(shù)量，且，表示雨天圖像集、表示干凈圖像集；表示第幅雨天圖像，表示匹配的第幅干凈圖像；

5、步驟2：構(gòu)建去雨網(wǎng)絡(luò)mldn，包括：基于元學(xué)習(xí)判別器的編碼器、基于元學(xué)習(xí)的關(guān)系網(wǎng)絡(luò)、去雨網(wǎng)絡(luò)生成器：

6、步驟2.1：基于元學(xué)習(xí)判別器的編碼器對進行處理，得到第幅圖像的圖像特征；

7、步驟2.2：隨機初始化生成關(guān)系向量；

8、步驟2.3：利用式(1)計算第幅圖像與第幅圖像之間的相似度；

9、?(1)

10、式(1)中，t表示轉(zhuǎn)置，表示神經(jīng)網(wǎng)絡(luò)的激活函數(shù)；表示第幅圖像的圖像特征，表示第幅圖像與第幅圖像之間的相關(guān)性特征；

11、步驟2.4：利用式(2)計算三元損失函數(shù)，并通過更新關(guān)系向量來最小化三元損失，從而訓(xùn)練關(guān)系向量，得到訓(xùn)練后的關(guān)系向量：

12、?(2)

13、式(2)中，表示第幅雨天圖像與第幅干凈圖像之間的相似度，表示第幅雨天圖像與第幅雨天圖像之間的相似度；表示第幅雨天圖像與第幅干凈圖像之間的相關(guān)性特征，表示第幅雨天圖像與第幅雨天圖像之間的相關(guān)性特征。其中、和均為1至n的隨機數(shù)，且；

14、步驟2.5：利用式(3)構(gòu)建目標函數(shù)，并用于訓(xùn)練編碼器的參數(shù)，從而得到訓(xùn)練后的編碼器：

15、?(3)

16、式(3)中，表示第幅雨天圖像與第幅圖像之間的相似度；表示第幅雨天圖像與第幅圖像之間的相關(guān)性特征；

17、步驟2.6：利用式(4)構(gòu)建目標函數(shù)，并用于訓(xùn)練去雨網(wǎng)絡(luò)生成器的參數(shù)，從而得到訓(xùn)練后的去雨網(wǎng)絡(luò)生成器：

18、?(4)

19、式(4)中，是結(jié)構(gòu)相似度；

20、步驟3：利用式(5)對輸入的任一含雨圖像進行去雨，從而得到相應(yīng)的去雨后干凈圖像：

21、?(5)。

22、本發(fā)明一種電子設(shè)備，包括存儲器以及處理器的特點在于，所述存儲器用于存儲支持處理器執(zhí)行權(quán)利要求1所述單幅圖像去雨方法的程序，所述處理器被配置為用于執(zhí)行所述存儲器中存儲的程序。

23、本發(fā)明一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)上存儲有計算機程序的特點在于，所述計算機程序被處理器運行時執(zhí)行權(quán)利要求1所述單幅圖像去雨方法的步驟。

24、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果體現(xiàn)在：

25、1?、本發(fā)明考慮了現(xiàn)實世界中雨天圖像無窮的多樣性和訓(xùn)練樣本有限的多樣性的矛盾，為此提出了一種基于任務(wù)定制的元學(xué)習(xí)關(guān)系網(wǎng)絡(luò)，以描述關(guān)系向量中有雨/干凈圖像之間的一般關(guān)系，從而能夠更好地區(qū)分不同背景下的雨水條紋。

26、2?、本發(fā)明針對現(xiàn)實世界中收集到的雨天圖像缺乏基準真實值的問題，提出了一種基于元學(xué)習(xí)的表征學(xué)習(xí)網(wǎng)絡(luò)，以學(xué)習(xí)雨天/干凈圖像的可轉(zhuǎn)移嵌入，元學(xué)習(xí)網(wǎng)絡(luò)與現(xiàn)有方法相比能夠探索雨天圖像的更多固有模式，從而改善了去雨性能，保持了圖像背景的保真度，提高了泛化能力。

27、3、本發(fā)明圖像去雨方法，通過結(jié)合元學(xué)習(xí)技術(shù)學(xué)習(xí)有雨/干凈圖像的可轉(zhuǎn)移嵌入，并通過學(xué)習(xí)關(guān)系向量來描繪有雨/干凈圖像之間的潛在差異，從而提高了去雨任務(wù)的泛化能力，解決了解決當(dāng)前多數(shù)圖像去雨方法對圖像進行去雨中，由于雨天圖像的背景呈現(xiàn)出無窮無盡的多樣性和訓(xùn)練樣本的多樣性有限的矛盾所導(dǎo)致的泛化能力受限問題，以及由于從現(xiàn)實世界中收集的雨天圖像并不具有基準真實值所導(dǎo)致的，對基于深度學(xué)習(xí)的傳統(tǒng)去雨方法的性能的限制問題。

技術(shù)特征：

1.一種基于元學(xué)習(xí)的關(guān)系和表征學(xué)習(xí)網(wǎng)絡(luò)的單幅圖像去雨方法，其特征在于，是按如下步驟進行：

2.一種電子設(shè)備，包括存儲器以及處理器，其特征在于，所述存儲器用于存儲支持處理器執(zhí)行權(quán)利要求1所述單幅圖像去雨方法的程序，所述處理器被配置為用于執(zhí)行所述存儲器中存儲的程序。

3.一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)上存儲有計算機程序，其特征在于，所述計算機程序被處理器運行時執(zhí)行權(quán)利要求1所述單幅圖像去雨方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開了一種基于元學(xué)習(xí)的關(guān)系和表征學(xué)習(xí)網(wǎng)絡(luò)的單幅圖像去雨方法，包括：1、獲取雨天圖像和對應(yīng)干凈圖像的數(shù)據(jù)集；2、通過所構(gòu)建的相似度函數(shù)計算相似度；3、將相似度代入三元損失函數(shù)訓(xùn)練更新關(guān)系向量來捕捉和保存雨水條紋的特征；4、設(shè)計目標函數(shù)訓(xùn)練更新基于元學(xué)習(xí)判別器的編碼器，從而學(xué)習(xí)有雨/干凈圖像的特征；5、設(shè)計目標函數(shù)訓(xùn)練去雨網(wǎng)絡(luò)生成器；6、將訓(xùn)練好的參數(shù)代入構(gòu)建的圖像去雨函數(shù)，得到去雨方法的一般過程；7、根據(jù)圖像去雨函數(shù)，輸入雨天圖像，即可得到相應(yīng)的干凈圖像。本發(fā)明既能保證雨天圖像中背景的保真度，又能更好地實現(xiàn)無窮多復(fù)雜場景的圖像去雨，并能提高干凈圖像的生成質(zhì)量以及去雨任務(wù)的泛化能力。

技術(shù)研發(fā)人員：高欣健,李程曄,南星宇
受保護的技術(shù)使用者：合肥工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9