本發(fā)明涉及圖像去噪領(lǐng)域，尤其是涉及了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)去除泊松噪聲的方法。

背景技術(shù)：

圖像去噪常用于視頻監(jiān)控、醫(yī)學(xué)、天文圖像等領(lǐng)域，還原噪聲圖像并保留圖像關(guān)鍵信息，即去除影響對(duì)圖像源信息進(jìn)行理解分析的因素，獲得視覺(jué)更清晰的效果。具體地安全領(lǐng)域內(nèi)可以在模糊視頻中是幀中目標(biāo)輪廓清晰以助于辨別特定人或物，而醫(yī)學(xué)上，由于醫(yī)學(xué)成像系統(tǒng)的復(fù)雜性常產(chǎn)生噪聲導(dǎo)致醫(yī)學(xué)圖像質(zhì)量下降，進(jìn)而影響醫(yī)學(xué)分析診斷系統(tǒng)分析的精確性，故去除泊松噪聲可以使得醫(yī)學(xué)分析診斷能夠得到精確的圖像利于醫(yī)學(xué)后續(xù)工作。故盡可能的減少噪聲、提高圖像的質(zhì)量，選用適當(dāng)?shù)姆椒ūM可能地去除噪聲干擾是一個(gè)非常重要的圖像預(yù)處理步驟，換句話(huà)說(shuō)圖像去噪算法研究是一切圖像處理的前提，具有相當(dāng)重要的意義。

本發(fā)明提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)去除泊松噪聲的方法，采取監(jiān)督的方法，并使用由深度神經(jīng)網(wǎng)絡(luò)所表現(xiàn)的強(qiáng)大表示能力，在沒(méi)有明確依賴(lài)一個(gè)模型的情況下，學(xué)習(xí)去除泊松噪聲。通過(guò)構(gòu)建一個(gè)深度神經(jīng)網(wǎng)絡(luò)DeNet，接收噪聲灰度圖像作為輸入，網(wǎng)絡(luò)每一層均用3×3的卷積核對(duì)上一層輸出進(jìn)行卷積，然后提取最后一個(gè)通道與輸入圖像組合預(yù)測(cè)原圖的清晰圖像，產(chǎn)生對(duì)原始清晰圖像的估計(jì)，最終輸出所得清晰圖像。本發(fā)明突破了對(duì)數(shù)據(jù)模型的依賴(lài)，易于通過(guò)訓(xùn)練適應(yīng)某種數(shù)據(jù)類(lèi)型，此外，高度可并行化可在GPU上進(jìn)行快速運(yùn)算，使得能夠更快速得到更精確的圖像，推動(dòng)了醫(yī)學(xué)和天文等領(lǐng)域后續(xù)工作的研究和發(fā)展。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有方法多需要更有效的對(duì)比推動(dòng)研究的問(wèn)題，本發(fā)明的目的在于提供一種基于深度卷積神經(jīng)網(wǎng)絡(luò)去除泊松噪聲的方法，通過(guò)構(gòu)建一個(gè)深度神經(jīng)網(wǎng)絡(luò)，采取監(jiān)督的方法學(xué)習(xí)去除泊松噪聲，易于通過(guò)訓(xùn)練適應(yīng)某種數(shù)據(jù)類(lèi)型，此外，高度可并行化可在GPU上進(jìn)行快速運(yùn)算，使得能夠更快速得到更精確的圖像，推動(dòng)了醫(yī)學(xué)和天文等領(lǐng)域后續(xù)工作的研究和發(fā)展。

為解決上述問(wèn)題，本發(fā)明提供一種基于深度卷積神經(jīng)網(wǎng)絡(luò)去除泊松噪聲的方法，其主要內(nèi)容包括：

(一)網(wǎng)絡(luò)架構(gòu)；

(二)訓(xùn)練網(wǎng)絡(luò)；

(三)監(jiān)督框架；

(四)去除泊松噪聲。

其中，所述的網(wǎng)絡(luò)架構(gòu)，是一個(gè)深度神經(jīng)網(wǎng)絡(luò)，用于將被泊松噪聲污染的圖像恢復(fù)成清晰圖像，即去除泊松噪聲，表示為DeNet，當(dāng)網(wǎng)絡(luò)估計(jì)噪聲圖像與清晰圖像之間的差異時(shí)是以超分辨率為目的，并且與殘差網(wǎng)絡(luò)相似的是其權(quán)重梯度也是要通過(guò)后面的層并且直接從損失函數(shù)傳播到每一層。

進(jìn)一步地，所述的DeNet，DeNet網(wǎng)絡(luò)接收噪聲灰度圖像作為輸入，產(chǎn)生對(duì)原始清晰圖像的估計(jì)，在每一層上，利用64個(gè)尺寸為3×3的卷積核在上一層輸出上以步長(zhǎng)為1做卷積，第63個(gè)輸出通道用于計(jì)算后續(xù)步驟，而最后一個(gè)通道被提取出來(lái)直接與輸入圖像組合來(lái)預(yù)測(cè)清晰輸出，這些提取層可以被視為負(fù)噪聲成分因?yàn)樗鼈兊暮偷咒N(xiāo)了噪聲，網(wǎng)絡(luò)包括20個(gè)卷積層，其中第18層使用非線(xiàn)性修正線(xiàn)性單元(ReLU)，而最后兩層完全保持線(xiàn)性。

其中，所述的訓(xùn)練網(wǎng)絡(luò)，在采用數(shù)據(jù)流圖用于數(shù)值計(jì)算的開(kāi)源軟件庫(kù)中執(zhí)行網(wǎng)絡(luò)，對(duì)5000幅圖像做240K次迭代，采用了64個(gè)尺寸為128×128的圖像塊，圖像被轉(zhuǎn)換為YCbCr，Y通道在經(jīng)過(guò)峰值縮放并偏移后，用作輸入灰度圖像，為擴(kuò)張數(shù)據(jù)，在訓(xùn)練過(guò)程中，隨機(jī)對(duì)訓(xùn)練圖像進(jìn)行裁剪和翻轉(zhuǎn)垂直軸得到新的圖像塊，此外，噪聲實(shí)現(xiàn)也是隨機(jī)的。

進(jìn)一步地，所述的訓(xùn)練過(guò)程，使用自適應(yīng)矩估計(jì)(ADAM)優(yōu)化器完成訓(xùn)練，分別用不同的峰值單獨(dú)訓(xùn)練網(wǎng)絡(luò)，為避免卷積在圖像塊的邊界產(chǎn)生偽圖像，在訓(xùn)練期間使用l₂損失在圖像塊的中心部分裁減了外部的21個(gè)像素。在測(cè)試時(shí)，將使用對(duì)稱(chēng)映射的21個(gè)像素在其通過(guò)網(wǎng)絡(luò)傳遞之前用于填充圖像，然后裁剪回原來(lái)的大小輸出最終結(jié)果。

進(jìn)一步地，所述的自適應(yīng)矩估計(jì)(ADAM)，利用梯度的一階矩估計(jì)和二階矩估計(jì)動(dòng)態(tài)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率，學(xué)習(xí)率為α＝10^-4，β₁＝0.9，β₂＝0.999和∈＝10^-8，優(yōu)點(diǎn)主要在于經(jīng)過(guò)偏置校正后，每一次迭代學(xué)習(xí)率都有個(gè)確定范圍，使得參數(shù)比較平穩(wěn)。

其中，所述的監(jiān)督框架，是為泊松去噪而構(gòu)建，使網(wǎng)絡(luò)具備固有靈活性可對(duì)特定數(shù)據(jù)進(jìn)行微調(diào)，此框架使用語(yǔ)義類(lèi)作為先驗(yàn)，并構(gòu)建類(lèi)感知去噪器，即限制為特定語(yǔ)義類(lèi)，其中類(lèi)感知是通過(guò)訓(xùn)練而得，并非如一般方法是通過(guò)設(shè)計(jì)或用戶(hù)手動(dòng)提供而得，因此它可以自動(dòng)擴(kuò)展到任何類(lèi)型或數(shù)量的類(lèi)，例如，選擇人臉去噪以獲得個(gè)人清晰照片集合，或者，一個(gè)潛在地訓(xùn)練的同時(shí)另一個(gè)深度網(wǎng)絡(luò)對(duì)噪聲圖像進(jìn)行自動(dòng)分類(lèi)。

進(jìn)一步地，所述的泊松噪聲，既不是累加的也不是固定的，因?yàn)槠鋸?qiáng)度取決于圖像強(qiáng)度，當(dāng)信噪比(SNR)在每個(gè)像素中是時(shí)，降低圖像中的強(qiáng)度會(huì)產(chǎn)生更強(qiáng)的噪聲，因此，利用Y的最大值(其峰值)定義圖像中的噪聲功率，假設(shè)強(qiáng)度值在整個(gè)動(dòng)態(tài)范圍內(nèi)均勻分布時(shí)，此方法具有優(yōu)越的性能，并且適用于大多數(shù)自然圖像。

其中，所述的去除泊松噪聲，使用語(yǔ)義類(lèi)作為先驗(yàn)，并構(gòu)建類(lèi)感知去噪器，通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)DeNet，以噪聲灰度圖像作為輸入，每一層均用3×3的卷積核對(duì)上一層輸出進(jìn)行卷積，然后提取最后一個(gè)通道與輸入圖像組合預(yù)測(cè)原圖的清晰圖像，產(chǎn)生對(duì)原始清晰圖像的估計(jì)，最終輸出所得清晰圖像。

附圖說(shuō)明

圖1是本發(fā)明一種基于深度卷積神經(jīng)網(wǎng)絡(luò)去除泊松噪聲的方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于深度卷積神經(jīng)網(wǎng)絡(luò)去除泊松噪聲的方法的DeNet網(wǎng)絡(luò)架構(gòu)圖。

圖3是本發(fā)明一種基于深度卷積神經(jīng)網(wǎng)絡(luò)去除泊松噪聲的方法的去噪流程圖。

具體實(shí)施方式

需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。

圖1是本發(fā)明一種基于深度卷積神經(jīng)網(wǎng)絡(luò)去除泊松噪聲的方法的系統(tǒng)流程圖。主要包括網(wǎng)絡(luò)架構(gòu)、訓(xùn)練網(wǎng)絡(luò)、監(jiān)督框架、去除泊松噪聲。

其中，所述的網(wǎng)絡(luò)架構(gòu)，是一個(gè)深度神經(jīng)網(wǎng)絡(luò)，用于將被泊松噪聲污染的圖像恢復(fù)成清晰圖像，即去除泊松噪聲，表示為DeNet，當(dāng)網(wǎng)絡(luò)估計(jì)噪聲圖像與清晰圖像之間的差異時(shí)是以超分辨率為目的，并且與殘差網(wǎng)絡(luò)相似的是其權(quán)重梯度也是要通過(guò)后面的層并且直接從損失函數(shù)傳播到每一層。

DeNet網(wǎng)絡(luò)接收噪聲灰度圖像作為輸入，產(chǎn)生對(duì)原始清晰圖像的估計(jì)，在每一層上，利用64個(gè)尺寸為3×3的卷積核在上一層輸出上以步長(zhǎng)為1做卷積，第63個(gè)輸出通道用于計(jì)算后續(xù)步驟，而最后一個(gè)通道被提取出來(lái)直接與輸入圖像組合來(lái)預(yù)測(cè)清晰輸出，這些提取層可以被視為負(fù)噪聲成分因?yàn)樗鼈兊暮偷咒N(xiāo)了噪聲，網(wǎng)絡(luò)包括20個(gè)卷積層，其中第18層使用非線(xiàn)性修正線(xiàn)性單元(ReLU)，而最后兩層完全保持線(xiàn)性。

其中，所述的訓(xùn)練網(wǎng)絡(luò)，在采用數(shù)據(jù)流圖用于數(shù)值計(jì)算的開(kāi)源軟件庫(kù)中執(zhí)行網(wǎng)絡(luò)，對(duì)5000幅圖像做240K次迭代，采用了64個(gè)尺寸為128×128的圖像塊，圖像被轉(zhuǎn)換為YCbCr，Y通道在經(jīng)過(guò)峰值縮放并偏移后，用作輸入灰度圖像，為擴(kuò)張數(shù)據(jù)，在訓(xùn)練過(guò)程中，隨機(jī)對(duì)訓(xùn)練圖像進(jìn)行裁剪和翻轉(zhuǎn)垂直軸得到新的圖像塊，此外，噪聲實(shí)現(xiàn)也是隨機(jī)的。訓(xùn)練期間，使用自適應(yīng)矩估計(jì)(ADAM)優(yōu)化器完成訓(xùn)練，分別用不同的峰值單獨(dú)訓(xùn)練網(wǎng)絡(luò)，為避免卷積在圖像塊的邊界產(chǎn)生偽圖像，在訓(xùn)練期間使用l₂損失在圖像塊的中心部分裁減了外部的21個(gè)像素。在測(cè)試時(shí)，將使用對(duì)稱(chēng)映射的21個(gè)像素在其通過(guò)網(wǎng)絡(luò)傳遞之前用于填充圖像，然后裁剪回原來(lái)的大小輸出最終結(jié)果。

其中，所述的監(jiān)督框架，是為泊松去噪而構(gòu)建，使網(wǎng)絡(luò)具備固有靈活性可對(duì)特定數(shù)據(jù)進(jìn)行微調(diào)，此框架使用語(yǔ)義類(lèi)作為先驗(yàn)，并構(gòu)建類(lèi)感知去噪器，即限制為特定語(yǔ)義類(lèi)，其中類(lèi)感知是通過(guò)訓(xùn)練而得，并非如一般方法是通過(guò)設(shè)計(jì)或用戶(hù)手動(dòng)提供而得，因此它可以自動(dòng)擴(kuò)展到任何類(lèi)型或數(shù)量的類(lèi)，例如，選擇人臉去噪以獲得個(gè)人清晰照片集合，或者，一個(gè)潛在地訓(xùn)練的同時(shí)另一個(gè)深度網(wǎng)絡(luò)對(duì)噪聲圖像進(jìn)行自動(dòng)分類(lèi)。

注意，泊松噪聲既不是累加的也不是固定的，因?yàn)槠鋸?qiáng)度取決于圖像強(qiáng)度，當(dāng)信噪比(SNR)在每個(gè)像素中是時(shí)，降低圖像中的強(qiáng)度會(huì)產(chǎn)生更強(qiáng)的噪聲，因此，利用Y的最大值(其峰值)定義圖像中的噪聲功率，假設(shè)強(qiáng)度值在整個(gè)動(dòng)態(tài)范圍內(nèi)均勻分布時(shí)，此方法具有優(yōu)越的性能，并且適用于大多數(shù)自然圖像。

其中，所述的去除泊松噪聲，使用語(yǔ)義類(lèi)作為先驗(yàn)，并構(gòu)建類(lèi)感知去噪器，通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)DeNet，以噪聲灰度圖像作為輸入，每一層均用3×3的卷積核對(duì)上一層輸出進(jìn)行卷積，然后提取最后一個(gè)通道與輸入圖像組合預(yù)測(cè)原圖的清晰圖像，產(chǎn)生對(duì)原始清晰圖像的估計(jì)，最終輸出所得清晰圖像。

圖2是本發(fā)明一種基于深度卷積神經(jīng)網(wǎng)絡(luò)去除泊松噪聲的方法的DeNet網(wǎng)絡(luò)架構(gòu)圖。DeNet網(wǎng)絡(luò)接收噪聲灰度圖像作為輸入，產(chǎn)生對(duì)原始清晰圖像的估計(jì)，在每一層上，利用64個(gè)尺寸為3×3的卷積核在上一層輸出上以步長(zhǎng)為1做卷積，第63個(gè)輸出通道用于計(jì)算后續(xù)步驟，而最后一個(gè)通道被提取出來(lái)直接與輸入圖像組合來(lái)預(yù)測(cè)清晰輸出，這些提取層可以被視為負(fù)噪聲成分因?yàn)樗鼈兊暮偷咒N(xiāo)了噪聲，網(wǎng)絡(luò)包括20個(gè)卷積層，其中第18層使用非線(xiàn)性修正線(xiàn)性單元(ReLU)，而最后兩層完全保持線(xiàn)性。

圖3是本發(fā)明一種基于深度卷積神經(jīng)網(wǎng)絡(luò)去除泊松噪聲的方法的去噪流程圖。以噪聲灰度圖像作為輸入，通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)DeNet，每一層均用3×3的卷積核對(duì)上一層輸出進(jìn)行卷積，然后提取最后一個(gè)通道與輸入圖像組合預(yù)測(cè)原圖的清晰圖像，產(chǎn)生對(duì)原始清晰圖像的估計(jì)，最終輸出所得清晰圖像。

對(duì)于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實(shí)施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實(shí)現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。