本發(fā)明涉及圖像融合方法，具體為一種基于深度學(xué)習(xí)的圖像融合方法。

背景技術(shù)：

圖像融合是復(fù)雜探測(cè)系統(tǒng)的關(guān)鍵技術(shù)之一，其目的是將同一場(chǎng)景的多幅圖像或序列探測(cè)圖像合成一幅信息更完整、全面的圖像，以便后續(xù)的圖像分析、目標(biāo)識(shí)別和跟蹤。多尺度變換域融合是當(dāng)前采用的主要方法，但往往需要依據(jù)先驗(yàn)知識(shí)選擇合適的多尺度變換方法和融合規(guī)則，不利于工程化應(yīng)用。

新近，深度學(xué)習(xí)在圖像分類、目標(biāo)跟蹤等許多領(lǐng)域均已成功突破了固定狀態(tài)模型的約束，在圖像融合領(lǐng)域也有少些探索性的研究，如首先利用深度支撐值學(xué)習(xí)網(wǎng)絡(luò)將遙感圖像分解為高低頻圖像，再分別融合；將多尺度變換和低頻自動(dòng)編碼相結(jié)合融合多聚焦圖像，均獲得了較好的融合結(jié)果。前者僅實(shí)現(xiàn)了支撐值濾波器自適應(yīng)，對(duì)不適用于支持度變換的融合無法做到濾波器自適應(yīng)，后者雖實(shí)現(xiàn)了融合規(guī)則自適應(yīng)，但濾波器需要人工定義?？偟膩碚f，這些研究證實(shí)深度人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到的參數(shù)更多、更全，可以以全應(yīng)變做到自適應(yīng)，降低方法對(duì)先驗(yàn)知識(shí)的依賴性，但未解決圖像融合中各類多尺度變換均須依據(jù)先驗(yàn)知識(shí)選擇濾波器類型、分解層數(shù)、方向數(shù)等問題。而在實(shí)際探測(cè)中，以上這些先驗(yàn)知識(shí)的獲取往往極其困難。

為此，需要有一種新的方法來解決多尺度變換等方法融合圖像時(shí)依賴先驗(yàn)知識(shí)難以工程化的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為了解決多尺度變換融合圖像時(shí)須依據(jù)先驗(yàn)知識(shí)選擇濾波器類型、分解層數(shù)、方向數(shù)等問題，提出了一種基于深度學(xué)習(xí)的圖像融合方法。

本發(fā)明是采用如下的技術(shù)方案實(shí)現(xiàn)的：一種基于深度學(xué)習(xí)的圖像融合方法，包括以下步驟：

構(gòu)建深度堆疊卷積神經(jīng)網(wǎng)絡(luò)基本單元:基本單元由高頻子網(wǎng)、低頻子網(wǎng)和融合卷積層構(gòu)成，高頻子網(wǎng)、低頻子網(wǎng)又分別由三層卷積層構(gòu)成，其中，第一層卷積層對(duì)輸入信息進(jìn)行限制，第二層卷積層對(duì)信息進(jìn)行組合，第三層卷積層再將這些信息合并為映射圖；

先對(duì)基本單元進(jìn)行訓(xùn)練，再將多個(gè)基本單元堆疊起來采用端對(duì)端的方式訓(xùn)練得到深度堆疊神經(jīng)網(wǎng)絡(luò)；

利用該堆疊神經(jīng)網(wǎng)絡(luò)分別分解輸入圖像，在最后一個(gè)基本單元的第三層卷積層分別得到各自的高頻和低頻特征映射圖，利用局部方差取大得到融合后的高頻特征映射圖，利用區(qū)域匹配度得到融合后的低頻特征映射圖；

將高頻特征映射圖和低頻特征映射圖放回最后一個(gè)基本單元的融合卷積層，得到最終的融合圖像。

上述的一種基于深度學(xué)習(xí)的圖像融合方法，高頻子網(wǎng)和低頻子網(wǎng)第一層卷積層的卷積核分別初始化為高斯拉普拉斯濾波器和高斯濾波器，其余層卷積核用初始化。

上述的一種基于深度學(xué)習(xí)的圖像融合方法，深度堆疊神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集和測(cè)試集由各類型的圖像等比例混合組成，所述圖像包括可見光圖像、紅外圖像和醫(yī)學(xué)圖像，mini-batch取值在22-32之間。mini-batch大小決定誤差收斂的穩(wěn)定性，其值越大越穩(wěn)定，但占用的內(nèi)存更多，故取值在22-32之間，學(xué)習(xí)率決定誤差收斂的速度，其值越大收斂速度越快，但越不穩(wěn)定，取值通常在0.001-0.01之間。

上述的一種基于深度學(xué)習(xí)的圖像融合方法，基本單元第一層卷積層和第二層卷積層的卷積核個(gè)數(shù)相等且取值范圍為4-16，基本單元堆疊個(gè)數(shù)取值范圍為3-6。卷積核個(gè)數(shù)越多，習(xí)得的特征越多，但占用內(nèi)存越大，取值通常在4-16之間?；締卧询B個(gè)數(shù)越多，網(wǎng)絡(luò)對(duì)圖像的分解就越精細(xì)，但個(gè)數(shù)太多卻會(huì)使邊緣等細(xì)節(jié)的重構(gòu)能力變差，取值通常在3-6之間。

上述的一種基于深度學(xué)習(xí)的圖像融合方法，卷積層的激活函數(shù)選或y＝max(0,x)。

多尺度變換融合圖像的一個(gè)優(yōu)勢(shì)在于可對(duì)同類信息(高頻或低頻)采用相同的合成規(guī)則從而可提高信息利用率，使融合結(jié)果更為精確，但其缺點(diǎn)是需要依賴先驗(yàn)知識(shí)選擇合適的參數(shù)；卷積神經(jīng)網(wǎng)絡(luò)是一種常用的深度學(xué)習(xí)模型，通過系列卷積和下采樣對(duì)圖像進(jìn)行特征提取與抽象，與圖像通過卷積和下采樣進(jìn)行多尺度分解思想一致，不同之處在于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到的濾波器更多、更全，這樣，當(dāng)融合不同對(duì)象時(shí)可以從中自適應(yīng)選擇合適的濾波器；自動(dòng)編碼器也是一種深度學(xué)習(xí)模型，它能在一定誤差內(nèi)對(duì)信號(hào)進(jìn)行編碼解碼與多尺度變換對(duì)圖像進(jìn)行分解重構(gòu)的思想一致，但該模型不適合處理圖像這類二維信號(hào)，因此本發(fā)明利用卷積神經(jīng)網(wǎng)絡(luò)的卷積層替換自動(dòng)編碼器的全連接層構(gòu)建神經(jīng)網(wǎng)絡(luò)來模擬多尺度變換對(duì)圖像分解重構(gòu)，利用其可自適應(yīng)的優(yōu)勢(shì)來克服多尺度變換的不足，但若對(duì)網(wǎng)絡(luò)不做限定，它提取的并非圖像的高低頻特征，不利于針對(duì)性地制定融合規(guī)則，因此本發(fā)明用高斯拉普拉斯濾波器和高斯濾波器分別作為高頻子網(wǎng)和低頻子網(wǎng)首層網(wǎng)絡(luò)的初始卷積核，以保證輸入圖像經(jīng)過高頻子網(wǎng)和低頻子網(wǎng)后可得到高頻特征映射圖和低頻特征映射圖；由于淺層網(wǎng)絡(luò)的學(xué)習(xí)能力較弱，因此本發(fā)明通過以該網(wǎng)絡(luò)為基本單元堆疊形成深度堆疊卷積神經(jīng)網(wǎng)絡(luò)用以提高學(xué)習(xí)能力；使用端對(duì)端方式訓(xùn)練提高網(wǎng)絡(luò)的精度、穩(wěn)定性和收斂性；利用不同類型圖像訓(xùn)練同一深度堆疊卷積神經(jīng)網(wǎng)絡(luò)，既保證網(wǎng)絡(luò)的泛化能力，又方便得到最終融合結(jié)果；再對(duì)其分解得到的高低頻特征分別制定合適的融合規(guī)則，本發(fā)明可實(shí)現(xiàn)對(duì)輸入圖像自適應(yīng)分解并融合，相比于多尺度變換方法算法簡(jiǎn)單，融合結(jié)果的質(zhì)量好，運(yùn)行速度快。

附圖4-6為紅外/可見光圖像的實(shí)例，其中，圖4為紅外圖像，圖5為可見光圖像，圖6為本發(fā)明融合結(jié)果。

附圖說明

圖1為本發(fā)明的流程圖。

圖2為基本單元結(jié)構(gòu)圖。

圖3本發(fā)明融合圖像時(shí)的網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖4為紅外圖像。

圖5為可見光圖像。

圖6為本發(fā)明的融合圖像。

具體實(shí)施方式

一種基于深度學(xué)習(xí)的圖像融合方法，包括以下步驟：

1.構(gòu)建深度堆疊卷積神經(jīng)網(wǎng)絡(luò)基本單元

深度堆疊卷積神經(jīng)網(wǎng)絡(luò)由多個(gè)基本單元堆疊而成，基本單元由高頻子網(wǎng)、低頻子網(wǎng)和融合卷積層構(gòu)成，高頻子網(wǎng)、低頻子網(wǎng)又分別由三層卷積層構(gòu)成，其中，第一層卷積層對(duì)輸入信息進(jìn)行限制，第二層卷積層對(duì)信息進(jìn)行組合，第三層卷積層再將這些信息合并為高頻、低頻特征映射圖各一幅，具體如下：

(1)輸入源圖像x，經(jīng)卷積操作得高頻子網(wǎng)第一個(gè)卷積層h1的特征映射圖式中，表示卷積操作，f為激活函數(shù)，ω為卷積核，θ表示偏置，j表示第j個(gè)輸出，j＝{1,2,…,n1},n1為h1層特征映射圖的個(gè)數(shù)；高頻子網(wǎng)和低頻子網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)相同，差別在于將高頻子網(wǎng)h1層卷積核初始化為高斯拉普拉斯濾波器，低頻子網(wǎng)h1層卷積核初始化為高斯濾波器；

(2)ih1再經(jīng)卷積可得高頻子網(wǎng)第二個(gè)卷積層h2的特征映射圖式中，卷積核其中g(shù)為高斯分布，n為輸入神經(jīng)元的個(gè)數(shù)，i為第i個(gè)輸入，j為第j(j＝{1,2,…,n2})個(gè)輸出，n2為h2層特征映射圖的個(gè)數(shù)；將輸入ih1換為il1，可得低頻子網(wǎng)第二個(gè)卷積層l2層特征映射圖il2；

(3)ih2再經(jīng)卷積可得高頻子網(wǎng)第三個(gè)卷積層h3的特征映射圖卷積核將ih2替換為il2可得低頻子網(wǎng)第三個(gè)卷積層l3層特征映射圖il3；

(4)高頻特征映射圖ih3和低頻特征映射圖il3再經(jīng)過融合卷積層卷積得到重構(gòu)圖像卷積核

2.訓(xùn)練基本單元

(1)在基本單元構(gòu)建完成后，將其所有的偏置初始化為0；

(2)采用無監(jiān)督方式訓(xùn)練基本單元，輸入訓(xùn)練數(shù)據(jù)其中x表示輸入圖像，t表示目標(biāo)圖像，本訓(xùn)練集ts＝xs，s表示當(dāng)前訓(xùn)練樣本，n表示訓(xùn)練集的大小，設(shè)網(wǎng)絡(luò)的輸出為zs，目標(biāo)函數(shù)：式中，m和n為單幅圖像的尺寸，zsuv表示當(dāng)前樣本輸出結(jié)果點(diǎn)(u,v)處的值，然后通過反向傳播算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

3.構(gòu)建并訓(xùn)練堆疊網(wǎng)絡(luò)

將多個(gè)訓(xùn)練好的基本單元首尾相接，將前一個(gè)基本單元的輸出作為下個(gè)基本單元的輸入組成堆疊網(wǎng)絡(luò)，再用和基本單元相同的數(shù)據(jù)集和目標(biāo)函數(shù)采用端對(duì)端的方式同時(shí)調(diào)整整個(gè)網(wǎng)絡(luò)，最終得到堆疊卷積神經(jīng)網(wǎng)絡(luò)；

4.基于深度堆疊卷積神經(jīng)網(wǎng)絡(luò)融合圖像

(1)輸入源圖像a和b，經(jīng)已訓(xùn)練好的深度堆疊卷積神經(jīng)網(wǎng)絡(luò)在最后一個(gè)基本單元的h3層和l3層分別得到高頻特征映射圖ah3、bh3和低頻特征映射圖al3、bl3；

(2)融合高頻特征映射圖式中，fh3(x,y)、ah3(x,y)和bh3(x,y)分別表示融合結(jié)果、源圖像a高頻特征映射圖和源圖像b高頻特征映射圖點(diǎn)(x,y)處的值，σ(x,y)表示點(diǎn)(x,y)的局部方差，局部窗口大小均選5×5或7×7；

(3)融合低頻特征映射圖

低頻特征映射圖al3(x,y)的局部能量定義為：式中，p、q控制點(diǎn)(x,y)局部窗口的大小，al3(x+p,y+q)表示al3在點(diǎn)(x+p,y+q)的值，將al3換為bl3可得bl2的局部區(qū)域能量

低頻特征映射圖al3(x,y)和bl3(x,y)所對(duì)應(yīng)區(qū)域的匹配度為：該匹配度反映了al3和bl3間的相關(guān)性，若對(duì)應(yīng)區(qū)域內(nèi)al3＝bl3，則mab(x,y)＝1，此時(shí)該區(qū)域內(nèi)信息匹配度最高；

設(shè)α為匹配度的閾值，匹配度閾值α取值通常在0.7-0.9之間，mab(x,y)<α表明對(duì)應(yīng)區(qū)域的差異較大，宜采用取大的合并規(guī)則：否則，若mab(x,y)≥α，表明二者差異較小，則采用自適應(yīng)加權(quán)平均：式中，λl和λs分別表示較大權(quán)重和較小權(quán)重，且λs＝1-λl；

(4)將fh3和fl3放回最后一個(gè)基本單元的融合卷積層，得到融合結(jié)果f。

上述的一種基于深度學(xué)習(xí)的圖像融合方法，高頻子網(wǎng)和低頻子網(wǎng)第一層卷積層的卷積核分別初始化為高斯拉普拉斯濾波器和高斯濾波器，其余層卷積核用初始化。

上述的一種基于深度學(xué)習(xí)的圖像融合方法，深度堆疊神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集和測(cè)試集由各類型的圖像等比例混合組成，所述圖像包括可見光圖像、紅外圖像和醫(yī)學(xué)圖像，mini-batch取值在22-32之間。mini-batch大小決定誤差收斂的穩(wěn)定性，其值越大越穩(wěn)定，但占用的內(nèi)存更多，故取值在22-32之間，學(xué)習(xí)率決定誤差收斂的速度，其值越大收斂速度越快，但越不穩(wěn)定，取值通常在0.001-0.01之間。

上述的一種基于深度學(xué)習(xí)的圖像融合方法，基本單元第一層卷積層和第二層卷積層的卷積核個(gè)數(shù)相等且取值范圍為4-16，基本單元堆疊個(gè)數(shù)取值范圍為3-6。卷積核個(gè)數(shù)越多，學(xué)習(xí)得的特征越多，但占用內(nèi)存越大，取值通常在4-16之間。基本單元堆疊個(gè)數(shù)越多，網(wǎng)絡(luò)對(duì)圖像的分解就越精細(xì)，但個(gè)數(shù)太多卻會(huì)使邊緣等細(xì)節(jié)的重構(gòu)能力變差，取值通常在3-6之間。

上述的一種基于深度學(xué)習(xí)的圖像融合方法，卷積層的激活函數(shù)選或y＝max(0,x)。

反向傳播算法、高斯濾波器和高斯拉普拉斯濾波器的實(shí)現(xiàn)是本領(lǐng)域技術(shù)人員公知的算法，具體流程可在相應(yīng)的教科書或者技術(shù)文獻(xiàn)中查閱到。