本發(fā)明涉及一種圖像降噪方法，尤其是涉及一種使用深度全卷積編碼-解碼網(wǎng)絡(luò)的圖像降噪方法。

背景技術(shù)：

圖像降噪是低層視覺領(lǐng)域中的一個經(jīng)典問題，它在圖像處理和計算機視覺領(lǐng)域得到了廣泛地研究，但目前仍然是一個具有挑戰(zhàn)性的問題。傳統(tǒng)的圖像降噪方法主要是基于小波收縮、全差分或圖像的先驗知識的方法。其中，基于小波收縮的方法將小波變換系數(shù)建模為拉普拉斯分布模型?；谌罘值姆椒僭O(shè)圖像的梯度符合拉普拉斯分布。基于圖像先驗知識的方法中的一個代表就是基于字典的方法。受益于K-SVD算法的成功，學(xué)習(xí)用于圖像降噪的字典的方法已經(jīng)獲得了廣泛的研究。

圖像降噪另一個比較活躍也可能更有前景的研究方向是基于神經(jīng)網(wǎng)絡(luò)的方法?；谏窠?jīng)網(wǎng)絡(luò)的方法與其它方法的一個最大不同點就是它是從訓(xùn)練數(shù)據(jù)中直接學(xué)習(xí)得到用于降噪的參數(shù)，而不是依賴于先驗知識。堆疊降噪自動編碼器是其中一個最為著名的用于圖像降噪的深度神經(jīng)網(wǎng)絡(luò)模型。它是堆疊自動編碼器的一種擴展，最初設(shè)計時是為了將其用于無監(jiān)督特征學(xué)習(xí)。降噪自動編碼器可以堆疊起來組成一個深度的網(wǎng)絡(luò)結(jié)構(gòu)。還有一些基于神經(jīng)網(wǎng)絡(luò)的降噪方法使用多層感知器或卷積神經(jīng)網(wǎng)絡(luò)。研究發(fā)現(xiàn)，越深的網(wǎng)絡(luò)結(jié)構(gòu)，越多的訓(xùn)練數(shù)據(jù)集可以幫助神經(jīng)網(wǎng)絡(luò)獲得越好的降噪性能。使用神經(jīng)網(wǎng)絡(luò)進行圖像降噪的一個優(yōu)勢是模型可以直接從數(shù)據(jù)中學(xué)習(xí)降噪?yún)?shù)，也就是說可以進行端到端的學(xué)習(xí)而不需要對自然圖像做出假設(shè)。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種使用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進行的深度全卷積編碼-解碼網(wǎng)絡(luò)的圖像降噪方法。

本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)：

一種使用深度全卷積編碼-解碼網(wǎng)絡(luò)的圖像降噪方法，該方法采用神經(jīng)網(wǎng)絡(luò)模型進行圖像降噪，所述模型的輸入為帶噪聲圖像，輸出為降噪后的圖像，其特征在于，所述的模型采用對稱的編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu)，包括依次連接的N個卷積層和N個解卷積層，其中第i個卷積層與第N+1-i個解卷積層為對稱關(guān)系，i＝1,2…N，卷積層作為特征提取器，用于對圖像的主要內(nèi)容進行編碼并消減噪聲，解卷積層用于對圖像的抽象內(nèi)容進行解碼并對圖像的細節(jié)內(nèi)容進行恢復(fù)。

所述的模型還包括跳躍連接結(jié)構(gòu)，所述的跳躍連接結(jié)構(gòu)用于連接相互對應(yīng)的卷積特征映射與解卷積特征映射，所述的卷積特征映射為相鄰兩個卷積層之間的卷積特征映射，所述的解卷積特征映射為相鄰兩個解卷積層之間的解卷積特征映射，具體的，第i個卷積層與第i+1個卷積層之間的卷積特征映射，對應(yīng)第N+1-i個解卷積層與第N+2-i個解卷積層之間的解卷積特征映射，這些跳躍連接將整個網(wǎng)絡(luò)結(jié)構(gòu)分割成幾個模塊，來自卷積層的響應(yīng)通過這些跳躍連接直接傳遞給對應(yīng)的鏡像解卷積層。

所述的跳躍連接結(jié)構(gòu)每隔2～3個卷積層設(shè)置一個，即：若第i個卷積層后設(shè)置一個跳躍連接結(jié)構(gòu)，則第i+2或第i+3個卷積層后設(shè)置一個跳躍連接結(jié)構(gòu)。

模型訓(xùn)練過程包括：給定N個訓(xùn)練樣本對X_i,Y_i，X_i為第i幅帶噪聲圖像，Y_i是對應(yīng)的第i幅無噪聲圖像，模型的目標(biāo)為下式的最小值，

其中，為參數(shù)為Θ時得到的無噪聲圖像與干凈圖像之間的均方根誤差，Θ為卷積和解卷積核的參數(shù)，N為訓(xùn)練集中樣本個數(shù)。

該方法在多個方向上對圖像進行降噪，用于平滑圖像，具體為：對模型中的濾波器核進行旋轉(zhuǎn)、鏡像和/或翻轉(zhuǎn)操作，得到不同的濾波器核，分別利用不同的濾波器核將圖像進行前向傳播，得到多個輸出圖像，再對多個輸出圖像求均值，得到平滑的降噪圖像。

不同于以往的方法，本發(fā)明的網(wǎng)絡(luò)結(jié)構(gòu)是一個基于跳躍連接的編碼-解碼框架，其中使用卷積和解卷積操作進行圖像降噪，使用跳躍連接結(jié)構(gòu)解決模型訓(xùn)練問題。該結(jié)構(gòu)在網(wǎng)絡(luò)層數(shù)很深的時候，也可以進行有效的端到端的訓(xùn)練，并取得比已有方法更好的降噪性能。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點：

(1)提出了一種非常深的用于圖像降噪的網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)由對稱的卷積層和解卷積層構(gòu)成，其中的卷積層作為特征提取器，在對圖像的主要內(nèi)容進行編碼的過程中同時消減噪聲，之后，解卷積層用于對圖像的抽象內(nèi)容進行解碼并對圖像的細節(jié)內(nèi)容進行恢復(fù)，可最大程度保留圖像的細節(jié)內(nèi)容。

(2)為了更好地訓(xùn)練深度網(wǎng)絡(luò)，在卷積層和與之對應(yīng)的解卷積層之間增加跳躍連接結(jié)構(gòu)。這種跳躍連接有助于將梯度反向傳播到底層并使圖像細節(jié)得以傳播到頂層，同時使訓(xùn)練過程更加容易和高效，利于網(wǎng)絡(luò)層次的加深，從而帶來更優(yōu)的降噪性能。

(3)跳躍連接結(jié)構(gòu)每隔2～3個卷積層設(shè)置一個，可達到理想降噪效果。

(4)本發(fā)明中使用的網(wǎng)絡(luò)模型中的濾波器核只用于消除噪聲，對于圖像內(nèi)容的方向并不敏感，在多個方向上對圖像進行降噪，可平滑圖像。

(5)由于卷積層和解卷積層是對稱的，所以輸入圖像可以是任意尺寸的，對圖像尺寸無要求。

附圖說明

圖1為本發(fā)明提出的圖像降噪模型的網(wǎng)絡(luò)結(jié)構(gòu)圖；

圖2為全卷積網(wǎng)絡(luò)和卷積-解卷積網(wǎng)絡(luò)的性能對比圖；

圖3(a)～圖3(f)為10層的全卷積網(wǎng)絡(luò)降噪效果的可視化圖，依次為：干凈圖像、帶噪聲圖像、第2層卷積層的輸出、第5層卷積層的輸出、第8層卷積層的輸出、第10層卷積層的輸出；

圖4(a)～圖4(f)為10層卷積-解卷積網(wǎng)絡(luò)降噪效果的可視化圖，依次為；干凈圖像、帶噪聲圖像、第2層卷積層的輸出、第5層卷積層的輸出、第3層解卷積層的輸出、第5層解卷積層的輸出；

圖5為卷積-解卷積網(wǎng)絡(luò)結(jié)構(gòu)中一個模塊的結(jié)構(gòu)圖；

圖6為5種網(wǎng)絡(luò)結(jié)構(gòu)模型在訓(xùn)練過程中的訓(xùn)練損失；

圖7為5種網(wǎng)絡(luò)結(jié)構(gòu)模型在驗證集上的峰值信噪比(PSNR)；

圖8為跳躍連接結(jié)構(gòu)中采用不同跳躍步長的網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練過程中的損失；

圖9為跳躍連接結(jié)構(gòu)中采用不同跳躍步長的網(wǎng)絡(luò)結(jié)構(gòu)在驗證集上的峰值信噪比(PSNR)；

圖10為14張用于測試降噪性能的通用測試圖像；

圖11(a)～圖11(c)為噪聲級別為30時，各種降噪方法分別在“飛機”、“攝影師”和“Lena”圖像上的降噪結(jié)果的可視化；

圖12(a)～圖12(c)為噪聲級別為70時，各種降噪方法分別在“飛機”、“攝影師”和“Lena”圖像上的降噪結(jié)果的可視化；

具體實施方式

下面結(jié)合附圖和具體實施例對本發(fā)明進行詳細說明。本實施例以本發(fā)明技術(shù)方案為前提進行實施，給出了詳細的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下述的實施例。

實施例

一種使用深度全卷積編碼-解碼網(wǎng)絡(luò)的圖像降噪方法，模型的輸入是一幅帶噪聲圖片，輸出是降噪后的干凈圖片。該模型具有一種非常深的編碼-解碼框架。與傳統(tǒng)的使用圖像的先驗知識的方法不同，該框架直接從訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)得到將輸入的帶噪聲圖像映射到干凈的輸出圖像的端到端的全卷積映射關(guān)系。該網(wǎng)絡(luò)模型由多層卷積和解卷積操作構(gòu)成。由于越深的網(wǎng)絡(luò)訓(xùn)練越困難，本方法使用層間跳躍連接結(jié)構(gòu)將卷積層和與之對稱的解卷積層連接起來，使訓(xùn)練收斂得更快并且可以獲得一個更高質(zhì)量的局部最優(yōu)解。

模型框架如圖1所示，主要包含一系列卷積層和與之對稱的解卷積層。該網(wǎng)絡(luò)結(jié)構(gòu)由對稱的卷積層(編碼器)和解卷積層(解碼器)構(gòu)成。在每隔幾層(圖中和實施例中的設(shè)置是2層，也可以是其它設(shè)置)之間有跳躍連接結(jié)構(gòu)將卷積特征映射和與之鏡像對應(yīng)的解卷積特征映射連接起來。這些跳躍連接將整個網(wǎng)絡(luò)結(jié)構(gòu)分割成幾個模塊。來自卷積層的響應(yīng)通過這些跳躍連接直接傳遞給對應(yīng)的鏡像解卷積層。

卷積層作為特征提取器，在保留圖中主要內(nèi)容的同時，又消減了其中的噪聲。輸入的噪聲圖像前向傳播通過卷積層之后就轉(zhuǎn)化成一幅干凈的圖像，但在該過程中圖像內(nèi)容的細節(jié)信息可能會有所損失。因此，解卷積層被用來對圖像的細節(jié)信息進行恢復(fù)。解卷積層的最終輸出就是所要的降噪后的干凈圖像。由于卷積層和解卷積層是對稱的，所以輸入圖像可以是任意尺寸的。

另外，在卷積層和它對應(yīng)的鏡像解卷積層之間增加了一個跳躍連接結(jié)構(gòu)，在每個卷積和解卷積層之后有修正層。在獲得卷積層特征映射和對應(yīng)的解卷積層特征映射之后，通過跳躍連接結(jié)構(gòu)在兩個特征映射之間進行元素級別的加和，之后經(jīng)過修正層后傳遞給下一層。

在卷積層中，一個濾波器窗中的多個輸入激活值被融合起來輸出一個單獨的激活值。與該過程相反，解卷積層將一個輸入激活值與多個輸出聯(lián)系起來。與傳統(tǒng)的使用卷積層和解卷積層進行語義分割的模型不同，本發(fā)明中所提出的模型完全由卷積層和解卷積層構(gòu)成，不包含池化和逆池化過程。原因是圖像降噪的目的是為了在保留圖像細節(jié)的同時消除噪聲而不是為了學(xué)到用于分類的圖像抽象。不同于分割或識別等高層應(yīng)用，池化傾向于使降噪性能惡化。

通過簡單地將解卷積層替換為卷積層，就得到類似于最近提出的全卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。但是，在全卷積網(wǎng)絡(luò)和本發(fā)明所提出的網(wǎng)絡(luò)之間存在著本質(zhì)的差別。在全卷積網(wǎng)路中，噪聲是一步一步消除的，也就是說經(jīng)過一層噪聲減少一點。在該過程中，圖像內(nèi)容的細節(jié)信息可能會丟失。然而，在本發(fā)明提出的模型中，卷積層保留了圖像的主要內(nèi)容。之后，解卷積層被用于補償卷積過程中損失的圖像細節(jié)。兩種模型的對比實驗結(jié)果見圖2、圖3(a)～圖3(f)、圖4(a)～圖4(f)所示。圖2中，全卷積網(wǎng)絡(luò)有5層和10層兩種結(jié)構(gòu)，對輸入圖像使用補白(padding)或上采樣(upsampling)操作獲得同樣尺寸的輸入輸出。卷積-解卷積網(wǎng)絡(luò)由5層的卷積層和5層的解卷積層構(gòu)成，在該結(jié)構(gòu)中不使用跳躍連接結(jié)構(gòu)。本發(fā)明使用的網(wǎng)絡(luò)模型由5層卷積層和5層解卷積層構(gòu)成，不使用跳躍連接結(jié)構(gòu)。參與對比的全卷積網(wǎng)絡(luò)模型分為5層和10層兩種網(wǎng)絡(luò)結(jié)構(gòu)。在全卷積網(wǎng)絡(luò)中，使用補白(padding)和上采樣操作來使輸入和輸出具有保持相同的尺寸。其它所有訓(xùn)練參數(shù)都保持相同。實驗結(jié)果表明，本發(fā)明中提出的模型的降噪性能優(yōu)于全卷積網(wǎng)絡(luò)模型。從圖2、圖3(a)～圖3(f)、圖4(a)～圖4(f)中分析可知，在全卷積網(wǎng)絡(luò)中噪聲是逐層減少的，而在本發(fā)明的模型中，卷積層可以捕獲圖像的主要內(nèi)容，解卷積層可以有效地對卷積層中丟失的圖像的細節(jié)信息進行修復(fù)。

要學(xué)習(xí)從噪聲圖像到干凈圖像的端到端的映射，需要對卷積和解卷積核的權(quán)重進行估計。通過最小化輸出圖像和干凈圖像之間的歐式損失來實現(xiàn)這一過程。具體來說，給定N個訓(xùn)練樣本對X_i、Y_i，其中X_i是第i幅帶噪聲圖像，Y_i是其對應(yīng)的第i幅干凈圖像，模型的訓(xùn)練就轉(zhuǎn)化為最小化下面的均方根誤差(MSE)：

在訓(xùn)練階段，該框架首先從訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)得到將輸入的帶噪聲圖像映射到干凈的輸出圖像的端到端的全卷積映射關(guān)系。該網(wǎng)絡(luò)模型由多層卷積和解卷積操作構(gòu)成。其中，卷積層作為特征提取器，在保留圖中主要內(nèi)容的同時，又消減了其中的噪聲。輸入的噪聲圖像前向傳播通過卷積層之后就轉(zhuǎn)化成一幅干凈的圖像，但在該過程中圖像內(nèi)容的細節(jié)信息會有所損失。因此，解卷積層被用來對圖像的細節(jié)信息進行恢復(fù)。解卷積層的最終輸出就是所要的降噪后的干凈圖像。

在淺層網(wǎng)絡(luò)中，解卷積可以恢復(fù)圖像細節(jié)。但是，隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深或使用一些類似最大池化等操作時，由于在卷積過程中丟失了太多的細節(jié)信息，解卷積操作的效果并不好。另外，隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深，梯度消失問題使得模型的訓(xùn)練變得困難。

為了解決這兩個問題，本發(fā)明提出在卷積層和對應(yīng)的解卷積層之間增加跳躍連接結(jié)構(gòu)，如圖1所示，它由多個模塊組成。其中，單個模塊的組成如圖5所示。圖中實線矩形和虛線矩形分別表示卷積和解卷積層，表示特征映射中對應(yīng)元素之間的加和操作。之所以使用這種連接結(jié)構(gòu)有兩個原因，首先，如前所述，隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深，圖像細節(jié)信息大量損失，這使解卷積操作進行細節(jié)修復(fù)變得困難。而通過跳躍連接傳遞過來的特征映射攜帶著大量的圖像細節(jié)信息，這有助于解卷積操作修復(fù)得到一個更好的干凈圖像。另外，由于反向傳播過程中梯度消失問題的存在，越深的網(wǎng)絡(luò)訓(xùn)練越困難，跳躍連接也可以使梯度反向傳播到底層，這使得訓(xùn)練更深的網(wǎng)絡(luò)模型變得更加容易，可以設(shè)計更深的網(wǎng)絡(luò)結(jié)構(gòu)用于提升圖像的降噪效果。

特征映射(feature map)就是輸入圖像經(jīng)過一個特征提取層后所得到的特征輸出。輸入圖像通過一層神經(jīng)網(wǎng)絡(luò)就會得到一個特征輸出，這個特征輸出就叫特征映射，實質(zhì)上就是特征數(shù)據(jù)的一個集合，就相當(dāng)于一個二維數(shù)組，里面存放的每個數(shù)據(jù)點就是輸入圖像經(jīng)過神經(jīng)網(wǎng)絡(luò)處理后得到的特征，每經(jīng)過一層神經(jīng)網(wǎng)絡(luò)就會得到一個。

每隔2～3個卷積層設(shè)置一個跳躍連接結(jié)構(gòu)，跳躍步長也可以設(shè)置為其它。使用跳躍連接結(jié)構(gòu)的優(yōu)點是可以解決深層網(wǎng)絡(luò)在訓(xùn)練過程中的梯度消散問題。越深的網(wǎng)絡(luò)往往可以獲得越好的性能，但之前的網(wǎng)絡(luò)結(jié)構(gòu)都不會很深，因為在訓(xùn)練過程中需要將誤差反向傳播到前面的層，若網(wǎng)絡(luò)太深，誤差在傳遞過程中越來越小，網(wǎng)絡(luò)無法進行有效訓(xùn)練，即梯度消散問題。而采用跳躍連接結(jié)構(gòu)之后，就可以直接將誤差從后面的層傳到前面，就解決了深層網(wǎng)絡(luò)訓(xùn)練困難的問題，這樣就可以設(shè)計很深的網(wǎng)絡(luò)結(jié)構(gòu)來獲得理想的降噪性能。

與直接學(xué)習(xí)從輸入X到輸出Y的映射不同，本發(fā)明中所使用的網(wǎng)絡(luò)模型擬合的是圖像降噪問題的殘差，也就是F(X)＝Y(jié)-X。在網(wǎng)絡(luò)的內(nèi)部模塊中使用這種學(xué)習(xí)策略可以獲得更加高效的訓(xùn)練過程。通過跳躍連接，每兩個卷積層和它們對應(yīng)的鏡像解卷積層連接起來，也就是說跳躍步長可以設(shè)置為2。當(dāng)然，其它設(shè)置也是可以的。這種跳躍連接結(jié)構(gòu)使得模型更容易訓(xùn)練并且可以通過增加網(wǎng)絡(luò)層數(shù)的深度來獲得更好的降噪性能。

本發(fā)明的模型被用于對任意尺寸的圖像進行降噪，給定一個用于測試的帶噪聲圖像，只是將其簡單地前向傳播通過網(wǎng)絡(luò)就可以獲得一個比當(dāng)前其它降噪方法還要好的結(jié)果。為了獲得一個更加平滑的降噪結(jié)果，本發(fā)明中提出在多個方向上對噪聲圖像進行降噪。由于本發(fā)明中使用的網(wǎng)絡(luò)模型中的濾波器核只用于消除噪聲，對于圖像內(nèi)容的方向并不敏感，因此可以將濾波器核進行旋轉(zhuǎn)、鏡像、翻轉(zhuǎn)等操作，然后將一幅圖像進行多次前向傳播得到多個輸出，再對多個輸出求均值得到一個平滑的降噪圖像。

本實施例的效果可以通過以下實驗進一步說明：

1.訓(xùn)練數(shù)據(jù)

本實施例使用的用于評估模型性能的數(shù)據(jù)集是灰度圖像。當(dāng)然，該模型同樣適用于彩色圖像。本實施例使用300張來自伯克利分割數(shù)據(jù)集的圖像來生成訓(xùn)練集。對于每幅圖像，從中采樣50*50大小的不重疊圖像面片作為類標(biāo)。在實驗中發(fā)現(xiàn)，較小的圖像面片尺寸會導(dǎo)致較差的性能，這可能是因為太少的像素不足以代表噪聲的分布。對于每個圖像面片，為其增加高斯噪聲后作為噪聲圖像。為了獲得大量的訓(xùn)練數(shù)據(jù)集，一張圖像面片被使用多次來生成多幅噪聲圖像，最終可以獲得一個包含50萬幅圖像的訓(xùn)練數(shù)據(jù)集。對于不同的噪聲級別，本實施例使用相應(yīng)的訓(xùn)練數(shù)據(jù)集來訓(xùn)練對應(yīng)的模型。本實施例使用的噪聲是常用的均值為0，標(biāo)準(zhǔn)差為σ的高斯噪聲。噪聲級別σ包括10、30、50和70。

2.網(wǎng)絡(luò)模型

本發(fā)明中提出的方法記為“RED-Net”(Residual Encoder Decoder Networks)。基于圖1中的網(wǎng)絡(luò)結(jié)構(gòu)，在本實驗中設(shè)計了三個網(wǎng)絡(luò)模型，分別為RED10、RED20和RED30。RED10包含5個卷積層和5個解卷積層，但不包含跳躍連接結(jié)構(gòu)。RED20包含10個卷積層和10個解卷積層，具有步長為2的跳躍連接結(jié)構(gòu)。RED30包含15個卷積層和15個解卷積層，具有步長為2的跳躍連接結(jié)構(gòu)。

20層和30層的RED-Net網(wǎng)絡(luò)結(jié)構(gòu)具體配置信息如表1所示。其中“conv3”和“deconv3”分別代表卷積和解卷積核的尺寸為3*3，128、256和512表示經(jīng)過每一層卷積或解卷積之后得到的特征映射的數(shù)量?！癱”是輸入輸出圖像的通道數(shù)，由于本實施例進行的實驗是在灰度圖像上進行測試的，所以c＝1。當(dāng)然，該算法可以直接應(yīng)用于彩色圖像。

表1 RED-Net20和RED-Net30網(wǎng)絡(luò)結(jié)構(gòu)具體配置信息

3.跳躍連接結(jié)構(gòu)

為了驗證跳躍連接結(jié)構(gòu)對降噪性能的影響，本實施例中對比了5種不同的網(wǎng)絡(luò)結(jié)構(gòu)的降噪性能，分別是10層、20層和30層3種無跳躍連接結(jié)構(gòu)的網(wǎng)絡(luò)模型和20層、30層兩種有跳躍連接結(jié)構(gòu)的網(wǎng)絡(luò)模型。結(jié)果如圖6和圖7所示。圖6為5種網(wǎng)絡(luò)結(jié)構(gòu)模型在訓(xùn)練過程中的訓(xùn)練損失；圖7為5種網(wǎng)絡(luò)結(jié)構(gòu)模型在驗證集上的峰值信噪比(PSNR)。在訓(xùn)練集上，隨著網(wǎng)絡(luò)層數(shù)的加深，無跳躍連接結(jié)構(gòu)的網(wǎng)絡(luò)模型訓(xùn)練誤差越來越大，有跳躍連接結(jié)構(gòu)的網(wǎng)絡(luò)模型訓(xùn)練誤差越來越小。在驗證集上，對于沒有跳躍連接結(jié)構(gòu)的網(wǎng)絡(luò)模型，越深的網(wǎng)絡(luò)有越低的峰值信噪比，對于30層的網(wǎng)絡(luò)模型，甚至出現(xiàn)了過擬合。然而，使用跳躍連接結(jié)構(gòu)的網(wǎng)絡(luò)模型隨著網(wǎng)絡(luò)層數(shù)的加深，可以獲得較高的峰值信噪比和較好的泛化性能。

對于不同的跳躍連接步長(2、4、7)，對比結(jié)果如圖8和圖9所示。圖8為跳躍連接結(jié)構(gòu)中采用不同跳躍步長的網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練過程中的損失；圖9為跳躍連接結(jié)構(gòu)中采用不同跳躍步長的網(wǎng)絡(luò)結(jié)構(gòu)在驗證集上的峰值信噪比(PSNR)。結(jié)果表明，較小的跳躍步長可以獲得較好的降噪性能，因為較小的跳躍步長有助于梯度反向傳播到底層，同時小的跳躍步長可以傳播更多的信息。

4.降噪性能分析

在本部分，本發(fā)明中提出的RED10、RED20和RED30降噪模型的降噪效果將與BM3D、NCSR、EPLL、PCLR、PDPD和WMMN 6種降噪模型進行對比。降噪性能評估實驗在兩個數(shù)據(jù)集上進行，一個是14張通用的基準(zhǔn)圖像(如圖10所示)，一個是伯克利圖像分割數(shù)據(jù)集。

當(dāng)噪聲級別分別為10、30、50和70時，在14張通用的基準(zhǔn)圖像上的降噪效果見表2和表3所示。其中，表2是在峰值信噪比(PSNR)上的評估結(jié)果，表3是在結(jié)構(gòu)相似性(SSIM)上的評估結(jié)果。從實驗數(shù)據(jù)可知，本發(fā)明所提出的無跳躍連接結(jié)構(gòu)的10層的卷積-解卷積網(wǎng)絡(luò)所取得的降噪性能早已超過了其它降噪方法，這說明本發(fā)明所提出的將卷積和解卷積結(jié)合起來用于圖像降噪的方法可以取得理想的降噪效果。另外，隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深，本發(fā)明中所提出的跳躍連接結(jié)構(gòu)可以進一步提升降噪性能，它所取得的降噪效果超過了目前最好的降噪方法。最后，實驗結(jié)果表明，圖像中所加的噪聲越復(fù)雜，本發(fā)明所提出的模型所取得的降噪性能的提升效果越明顯。

表2各降噪方法在多種噪聲級別的噪聲圖像上所取得的峰值信噪比

表3各降噪方法在多種噪聲級別的噪聲圖像上所取得的結(jié)構(gòu)相似性

對于伯克利圖像分割數(shù)據(jù)集，其中的300幅圖像用作訓(xùn)練數(shù)據(jù)，剩余的200幅圖像用作對降噪性能的測試。當(dāng)噪聲級別σ分別為10、30、50和70時，降噪效果如表4所示。從中可知，本發(fā)明中所提出的方法取得了優(yōu)于其它方法的降噪效果。

表4各降噪方法在伯克利圖像分割數(shù)據(jù)集上的降噪結(jié)果

各種降噪方法的降噪結(jié)果的可視化見圖11和圖12所示。圖11(a)～圖11(c)為噪聲級別為30時，各種降噪方法在“飛機”、“攝影師”和“Lena”圖像上的降噪結(jié)果的可視化；圖12(a)～圖12(c)為噪聲級別為70時，各種降噪方法在“飛機”、“攝影師”和“Lena”圖像上的降噪結(jié)果的可視化。其中，在每幅圖像中，從左上角到右下角的圖像依次是：噪聲圖像，BM3D，NPLL，NCSR，PCLR，PGPD，WNNM，RED10，RED20，RED30。