一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率方法及系統(tǒng)的制作方法
【專利摘要】一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率方法及系統(tǒng)，包括將原高分辨率圖像降分辨率得到等大的低分辨率圖像，并計算兩者的差值部分；分別得到低分圖像字典和差值圖像字典及相應(yīng)的稀疏表示系數(shù)；構(gòu)建以均方根誤差為代價函數(shù)的深度學(xué)習(xí)網(wǎng)絡(luò)，迭代優(yōu)化網(wǎng)絡(luò)參數(shù)使得代價函數(shù)達(dá)到最小，得到訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)；將作為測試部分的低分圖像稀疏系數(shù)輸入深度學(xué)習(xí)網(wǎng)絡(luò)中，當(dāng)誤差小于給定閾值，根據(jù)待提高分辨率的低分圖像重建出對應(yīng)的高分辨率圖像。本發(fā)明克服了現(xiàn)有方法利用聯(lián)合字典訓(xùn)練方式使高低分辨率圖像共享稀疏表示系數(shù)的不足，利用深度學(xué)習(xí)充分學(xué)習(xí)低分圖像和差值圖像稀疏表示系數(shù)間的映射關(guān)系，從而得到具有更高精度的高分辨率重建結(jié)果。
【專利說明】
一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于遙感圖像處理技術(shù)領(lǐng)域，涉及一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超 分辨率方法及系統(tǒng)。
【背景技術(shù)】
[0002] 圖像超分辨率就是從一系列分辨率較低的圖像來重建出包含更多細(xì)節(jié)的高分辨 率圖像，在遙感影像的目標(biāo)識別與定位、環(huán)境監(jiān)測、醫(yī)學(xué)成像等諸多領(lǐng)域都具有重要的應(yīng)用 價值。圖像超分辨率突破了傳感器本身分辨率的限制，在現(xiàn)有圖像獲取技術(shù)的基礎(chǔ)上得到 具有更高質(zhì)量、更高分辨率的圖像，為進(jìn)一步的圖像分析提供了基礎(chǔ)。
[0003] 傳統(tǒng)的圖像超分辨率需要多幅同一場景的低分辨率圖像作為信息源，基于對高分 辨率圖像到低分辨率圖像映射的合理假設(shè)及先驗信息，對低分辨圖像進(jìn)行融合來重建高分 辨率圖像，常用的先驗?zāi)Ｐ陀懈咚瓜闰災(zāi)Ｐ?、馬爾科夫隨機(jī)場等。但是，從數(shù)學(xué)的角度來看， 因為低分辨率圖像的數(shù)目不足，上述超分辨率重建問題實際上是一個病態(tài)的反問題，重建 結(jié)果可能不唯一。
[0004] 基于學(xué)習(xí)的超分辨率，是利用機(jī)器學(xué)習(xí)的方法去獲得高低影響塊間的某種對應(yīng)關(guān) 系。Freeman等利用馬爾科夫隨機(jī)場來建立高低圖像塊之間的對應(yīng)關(guān)系，并用貝葉斯置信算 法求解;Change等把流形學(xué)習(xí)中領(lǐng)域嵌入的思想運(yùn)用到圖像超分辨率中，假設(shè)LR圖像塊和 HR圖像塊的局部流形是相似的，通過求解測試圖像塊在低分辨率圖像塊所形成流形中的k 鄰域表示系數(shù)，最后再使用這些系數(shù)對HR圖像塊的k鄰域進(jìn)行線性組合得到對應(yīng)的HR圖像 塊，但是這種方法也容易產(chǎn)生欠擬合或過擬合的現(xiàn)象;Yang等把壓縮感知的部分思想引入 到超分辨率算法中，并通過與HR圖像塊的線性組合得到高分辨率圖像。
[0005] 上述圖像超分辨率均是直接將低分辨率圖像稀疏分解系數(shù)用于高分辨率圖像的 合成，或者是在求解過程中強(qiáng)迫高低分辨率稀疏表示系數(shù)間存在線性關(guān)系而進(jìn)行求解。實 際上，同一幅圖像在不同空間尺度的稀疏表示系數(shù)是不同的。因此，這種簡單的處理方式往 往是制約圖像超分辨率效果的一個重要因素。本發(fā)明提供一種基于深度學(xué)習(xí)的方法，利用 深度學(xué)習(xí)網(wǎng)絡(luò)去學(xué)習(xí)高低分辨率稀疏表示系數(shù)間的對應(yīng)關(guān)系，從而將低分辨率稀疏表示系 數(shù)映射到高分辨率稀疏表示系數(shù)。

【發(fā)明內(nèi)容】

[0006] 針對現(xiàn)有圖像超分辨率重建技術(shù)存在的不足，本發(fā)明的目的是，提供一種新的利 用深度學(xué)習(xí)網(wǎng)絡(luò)去學(xué)習(xí)高低分辨率圖像稀疏表示系數(shù)間映射關(guān)系的技術(shù)方案。
[0007] 本發(fā)明的技術(shù)方案為1、一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率方法，其特 征在于，包括以下步驟：
[0008] 步驟a，將原高分辨率圖像降分辨率得到等大的低分辨率圖像，并分別表示為矩陣 形式y(tǒng)h和yi，計算兩者的差值部分yhi = yh-yi;
[0009] 步驟b，將yjPyhl分別進(jìn)行字典訓(xùn)練，得到低分圖像字典DjP差值圖像字典Dhl，以 及相應(yīng)的稀疏表;^系數(shù)ai和cthi;
[0010] 步驟c，將稀疏表示系數(shù)a#Pahl分為訓(xùn)練樣本(^^^郵^^和測試樣本以^^、 Whi test ；
[0011] 步驟d，構(gòu)建以均方根誤差為代價函數(shù)的L層深度學(xué)習(xí)網(wǎng)絡(luò)；
[0012] 步驟e，以低分圖像稀疏系數(shù)ai_train作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入，以對應(yīng)的差值圖像 稀疏系數(shù)a hl_train作為目標(biāo)輸出為為網(wǎng)絡(luò)預(yù)測的差值圖像稀疏系數(shù)，迭代優(yōu)化網(wǎng)絡(luò)參 數(shù)使得代價函數(shù)達(dá)到最小，直到得到訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)；
[0013] 步驟f，將作為測試部分的低分圖像稀疏系數(shù)ai_tes4ll入步驟沖訓(xùn)練好的深度學(xué) 習(xí)網(wǎng)絡(luò)中，輸出得到預(yù)測的差值圖像稀疏系數(shù)知十算％與對應(yīng)真實差值圖像稀 疏系數(shù)aw+test的誤差，當(dāng)誤差小于給定閾值，則驗證了步驟e中訓(xùn)練得到的深度學(xué)習(xí)網(wǎng)絡(luò)是 低分圖像和差值圖像稀疏系數(shù)間的一個映射；
[0014] 步驟g，將待提高分辨率的低分圖像表示成矩陣形式21，用字典口:來表示Z1并記相 應(yīng)稀疏系數(shù)為仇，將扮輸入訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)中，得到預(yù)測的差值圖像稀疏系數(shù)fta;再 利用字典Dhi重建出差值部分4i，最后將4 = 4? + A還原為圖像形式，重建出對應(yīng)的高分 辨率圖像Zh。
[0015] 而且，步驟a中，首先將訓(xùn)練樣本庫中的高分辨率圖像裁剪成N個dXd的圖像塊，降 低每個圖像塊的分辨率得到N個對應(yīng)的低分辨率圖像塊，然后將高分辨率圖像塊拉伸成的 列向量組成矩陣;Fft e i?d:2xw，將低分辨率圖像塊拉伸成的列向量組成矩陣於€ 氣計算 得到兩者之間的差值部分yhl = yh-y i。
[0016] 而且，步驟b中，將yjPyhl分別進(jìn)行字典訓(xùn)練，得到對應(yīng)的低分圖像字典Di和差值 圖像字典Dhl，以及相應(yīng)的稀疏表示系數(shù)adPa hl，等價于求解優(yōu)化問題如下，
[0017] min||a/||0 subject to \\y, - D^Wl < s (1) Dim 12345678910 min ||^|l〇 subject to WyM- Du^hM ^^ (2) Dhbahl 2 其中，e為重構(gòu)誤差閾值。 3 而且，步驟d中，所構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)共包含L層。將每層的輸出記為一，1 = 0，1， 2,…，L，其中/為網(wǎng)絡(luò)輸入，則第1層的輸出為： 4
[0021 ] x1 = f: (whH+b1 )，1 = 1，2，~，L (3)其中，W1和b1分別表示第1層的權(quán)值和偏置 項，fi( ?)為第1層的激活函數(shù)，第L層的輸出即為網(wǎng)絡(luò)預(yù)測。 5
[0022]而且，步驟e中，利用深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練低分圖像和差值圖像稀疏系數(shù)ai_train、 ahl_train的隱含關(guān)系，以低分圖像稀疏系數(shù)ai_train作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入，以差值圖像稀 疏系數(shù)a hl_train作為監(jiān)督，記網(wǎng)絡(luò)預(yù)測的差值圖像稀疏系數(shù)為 6 〇^hl_train ~ k ("? AiW^ijrain + I；1)) ⑷ 7 取代價函數(shù)為吟u_ train _ 的均方根誤差 8
(5) 9
[0026]其中，m和n分別為字典元素個數(shù)和訓(xùn)練樣本個數(shù)，通過迭代優(yōu)化網(wǎng)絡(luò)參數(shù)，使損失 10 函數(shù)MSRE達(dá)到最小，完成網(wǎng)絡(luò)訓(xùn)練。
[0027] 本發(fā)明還提供一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率系統(tǒng)，包括以下模 塊：
[0028] 第一模塊，用于將原高分辨率圖像降分辨率得到等大的低分辨率圖像，并分別表 示為矩陣形式y(tǒng)h和yi,計算兩者的差值部分yhi = yh_yi;
[0029] 第二模塊，用于將yjPyhl分別進(jìn)行字典訓(xùn)練，得到低分圖像字典Di和差值圖像字 典Dhi，以及相應(yīng)的稀疏表不系數(shù)ai和ahi;
[0030] 第三模塊，用于將稀疏表示系數(shù)adPlahl分為訓(xùn)練樣本ai+trainWhLtrain和測試樣本 〇1-test、Cthl-test;
[0031] 第四模塊，用于構(gòu)建以均方根誤差為代價函數(shù)的L層深度學(xué)習(xí)網(wǎng)絡(luò)；
[0032]第五模塊，用于以低分圖像稀疏系數(shù)ai_train作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入，以對應(yīng)的 差值圖像稀疏系數(shù)ahl_train作為目標(biāo)輸出Aut*為網(wǎng)絡(luò)預(yù)測的差值圖像稀疏系數(shù)，迭代優(yōu) 化網(wǎng)絡(luò)參數(shù)使得代價函數(shù)達(dá)到最小，直到得到訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)；
[0033] 第六模塊，用于將作為測試部分的低分圖像稀疏系數(shù)ai_t(5St輸入第五模塊中訓(xùn)練 好的深度學(xué)習(xí)網(wǎng)絡(luò)中，輸出得到預(yù)測的差值圖像稀疏系數(shù)'加t，計算知與對應(yīng)真實 差值圖像稀疏系數(shù)a hl_test的誤差，當(dāng)誤差小于給定閾值，則驗證了第五模塊中訓(xùn)練得到的 深度學(xué)習(xí)網(wǎng)絡(luò)是低分圖像和差值圖像稀疏系數(shù)間的一個映射；
[0034] 第七模塊，用于將待提高分辨率的低分圖像表示成矩陣形式21，用字典口:來表示Z1 并記相應(yīng)稀疏系數(shù)為扮，將仇輸入訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)中，得到預(yù)測的差值圖像稀疏系數(shù) Phi;再利用字典Dhi重建出差值部分知z，最后將4 = +句還原為圖像形式，重建出對應(yīng)的 高分辨率圖像Zh。
[0035]而且，第一模塊中，首先將訓(xùn)練樣本庫中的高分辨率圖像裁剪成N個dXd的圖像 塊，降低每個圖像塊的分辨率得到N個對應(yīng)的低分辨率圖像塊，然后將高分辨率圖像塊拉伸 成的列向量組成矩陣凡e Rfg，將低分辨率圖像塊拉伸成的列向量組成矩陣％ e /?d2xiV， 計算得到兩者之間的差值部分yhi = yh_y i。
[0036]而且，第二模塊中，將yjPyw分別進(jìn)行字典訓(xùn)練，得到對應(yīng)的低分圖像字典Di和差 值圖像字典Dhl，以及相應(yīng)的稀疏表示系數(shù)a_ahl，等價于求解優(yōu)化問題如下，
[0037] ⑴叫丨內(nèi)丨丨。sitfo/ectto D沖丨斤 fs (6) Di，cci (10)
[0044]取代價函數(shù)為％￡_ train ~ 的均方根誤差
[0046] 其中，m和n分別為字典元素個數(shù)和訓(xùn)練樣本個數(shù)，通過迭代優(yōu)化網(wǎng)絡(luò)參數(shù)，使損失 函數(shù)MSRE達(dá)到最小，完成網(wǎng)絡(luò)訓(xùn)練。
[0047] 本發(fā)明克服了現(xiàn)有方法利用聯(lián)合字典訓(xùn)練方式使高低分辨率圖像共享稀疏表示 系數(shù)的不足，利用深度學(xué)習(xí)充分學(xué)習(xí)低分圖像和差值圖像稀疏表示系數(shù)間的映射關(guān)系，從 而得到具有更高精度的高分辨率重建結(jié)果。
[0048]相比于現(xiàn)有方法，本發(fā)明的優(yōu)勢和積極效果:基于稀疏表示的圖像超分辨率重建 中，現(xiàn)有方法一般利用聯(lián)合字典訓(xùn)練方式使高低分辨率圖像共享稀疏表示系數(shù)，或是在訓(xùn) 練字典的過程中將高低分辨率的圖像簡單地線性組合起來進(jìn)行訓(xùn)練，但是同一幅圖像在不 同空間尺度的稀疏表示系數(shù)往往并不是簡單的線性映射關(guān)系。本發(fā)明的優(yōu)勢在于用深度學(xué) 習(xí)網(wǎng)絡(luò)從大量樣本中學(xué)習(xí)高低分辨率稀疏表示系數(shù)間的隱含關(guān)系，從而使得圖像的超分辨 率重建精度更高。
【附圖說明】
[0049]圖1為本發(fā)明實施例的圖像超分辨率流程圖。
【具體實施方式】
[0050] 下面結(jié)合附圖和實施例對本發(fā)明做進(jìn)一步說明。
[0051] 本發(fā)明的實施例是遙感圖像的超分辨率重建，參照圖1，本發(fā)明實施例的具體步驟 如下：
[0052]步驟a:數(shù)據(jù)生成
[0053]本發(fā)明首先將訓(xùn)練樣本庫中的高分辨率圖像裁剪成N個dXd的圖像塊，降低每個 圖像塊的分辨率得到N個對應(yīng)的低分辨率圖像塊。然后將高分辨率圖像塊按列拉伸成的列 向量組成矩陣(表示yh為d2XN的實矩陣），同樣方式得到低分辨圖像對應(yīng)矩陣 妁e i?d2x氣計算得到兩者之間的差值部分yhFyh-yu [0054]步驟b:訓(xùn)練字典及相應(yīng)稀疏表示系數(shù)
[0055] 將yi和yhi分別進(jìn)行字典訓(xùn)練，得到對應(yīng)的低分圖像字典Di和差值圖像字典Dhi，以 及相應(yīng)的稀疏表示系數(shù)adPahl，即求解優(yōu)化問題：
[0056] min||a;||〇 subject to \\y, - < ￡? (11) 1)1從1 123 min ||aft，||0 subject to \\yhl - Dklakl\\l < s (12) DhUahl 2
[0058]其中，N ? | |f為F-范數(shù)，￡為重構(gòu)誤差閾值，一般為較小的值，具體實施時可根據(jù) 具體要求進(jìn)行設(shè)置。 3 但是由于上述1〇范數(shù)約束問題是一個NP-hard問題，需要用貪婪算法等進(jìn)行求解。 Tao，Candes和Donoho等人已經(jīng)證明在信號滿足一定的稀疏條件時，可以將1〇范數(shù)轉(zhuǎn)化為li 范數(shù)進(jìn)行求解。這樣，上述優(yōu)化問題可以轉(zhuǎn)化為
[0060] minj|yz - A?/IIf +?'-lla/lli (13)
[0_ Ct11凡廠"丨1…丨丨^丨丨1 (14)
[0062] 其中，A為稀疏約束的權(quán)值(參考值為A = 〇 . 15，具體實施時，本領(lǐng)域技術(shù)人員可根 據(jù)對稀疏項的需求進(jìn)行調(diào)整）。上述優(yōu)化問題為凸優(yōu)化問題，可以用最優(yōu)化算法來求解。
[0063] 步驟c:將稀疏表示系數(shù)劃分為訓(xùn)練樣本和測試樣本
[0064] 具體實施時，本領(lǐng)域技術(shù)人員可自行預(yù)設(shè)劃分比例。在實施例中，訓(xùn)練樣本與測試 樣本之比約為2:1，即將樣本總數(shù)的三分之二作為訓(xùn)練樣本，并用分別表示 用來訓(xùn)練的低分圖像和差值圖像稀疏系數(shù);將剩余的三分之一作為測試樣本，并用 ahl_test分別表示用來測試的低分圖像和差值圖像稀疏系數(shù)。
[0065] 步驟d:構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)
[0066] 實施例所構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)共包含L層(建議以L = 3為宜，即網(wǎng)絡(luò)包含兩個隱 含層和一個輸出層，層數(shù)過多時會增加計算量）。將每層的輸出記為x1，1 = 0,1，2,…，L，其 中/為網(wǎng)絡(luò)輸入，則第1層的輸出為：
[0067] (15)其中，W1和b1分別表示第1層的權(quán)值及偏置， fi( ?)為第1層的激活函數(shù)。第1 = 1，2,…，L-1可看作是網(wǎng)絡(luò)輸入/的特征，第L層的輸出即 為網(wǎng)絡(luò)預(yù)測。
[0068] 步驟e:利用深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練低分圖像和差值圖像稀疏系數(shù)間的映射關(guān)系 [0069]以低分圖像稀疏系數(shù)ai_t rain作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入，以差值圖像稀疏系數(shù) ahl_train作為監(jiān)督，逐層進(jìn)行特征提取并進(jìn)行預(yù)測，得到網(wǎng)絡(luò)預(yù)測的差值圖像稀疏系數(shù)為
[0070]茂wjrain = 4 (?，? A(獻(xiàn)1，_t_n + 心1)) (16 )
[0071 ]其中，W1和b1分別為第一層的權(quán)值和偏置項。
[0072] 取代價函數(shù)為叫Ltrai" - ^Ltrai"的均方根誤差
(17)
[0074]其中，m和n分別為字典元素個數(shù)和訓(xùn)練樣本個數(shù)。通過迭代優(yōu)化網(wǎng)絡(luò)參數(shù)，使損失 函數(shù)MSRE達(dá)到最小，從而完成網(wǎng)絡(luò)訓(xùn)練。本實施例采用梯度下降法迭代調(diào)整網(wǎng)絡(luò)參數(shù)，直至 損失函數(shù)MSRE小于給定誤差閾值S或迭代次數(shù)達(dá)到給定上限時，結(jié)束訓(xùn)練并得到訓(xùn)練好的 深度學(xué)習(xí)網(wǎng)絡(luò)。具體實施時，本領(lǐng)域技術(shù)人員可以預(yù)先設(shè)置誤差閾值或迭代次數(shù)的取值。 [0075]步驟f:測試深度學(xué)習(xí)網(wǎng)絡(luò)
[0076]將低分圖像稀疏系數(shù)測試集ai_test輸入步驟e中訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)中，輸出得 至麵測的差值圖像稀疏系數(shù)計算與對應(yīng)真實差值圖像稀疏系數(shù)Cutest的誤 差，若誤差小于給定誤差閾值，則驗證了步驟e中訓(xùn)練得到的深度學(xué)習(xí)網(wǎng)絡(luò)是低分圖像和差 值圖像稀疏系數(shù)間的一個映射。否則需要按步驟e中方法進(jìn)一步對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。具體實施 時，本領(lǐng)域技術(shù)人員可以預(yù)先設(shè)置誤差閾值。
[0077]步驟g:高分辨率圖像重建
[0078]將待提高分辨率的低分圖像按步驟a同樣方式表示成矩陣形式Z1，用字典口:來線性 表示Z1并記相應(yīng)稀疏表示系數(shù)為仇，即求解下式中的仇
[0079] zi = Di^i (18)
[0080] 將輸入訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)中，得到預(yù)測的差值圖像稀疏表示系數(shù)fta。再結(jié) 合差值圖像字典Dhl，利用式
[0081 ] zM = Dh；J3hi i 19 )
[0082] 重建出差值部分4i，最后重建出的高分辨率圖像矩陣形式為
[0083] % = ^hi + zi (2〇.)
[0084] 將4:還原為圖像形式，即得到最終重建的高分辨率圖像Zh。
[0085] 其中，上述步驟中，步驟a~c為數(shù)據(jù)準(zhǔn)備部分，步驟d~e為網(wǎng)絡(luò)訓(xùn)練部分，步驟f?為 網(wǎng)絡(luò)測試部分，步驟g為圖像超分辨率重建部分。
[0086] 具體實施時，以上流程可采用軟件技術(shù)實現(xiàn)自動運(yùn)行，還可以采用模塊化方式提 供相應(yīng)系統(tǒng)。本發(fā)明實施例還提供一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率系統(tǒng)，包 括以下模塊：
[0087] 第一模塊，用于將原高分辨率圖像降分辨率得到等大的低分辨率圖像，并分別表 示為矩陣形式y(tǒng)h和yi,計算兩者的差值部分yhi = yh_yi;
[0088] 第二模塊，用于將yjPyhl分別進(jìn)行字典訓(xùn)練，得到低分圖像字典Di和差值圖像字 典Dhl，以及相應(yīng)的稀疏表不系數(shù)ai和ahi;
[0089] 第三模塊，用于將稀疏表不系數(shù)ai和ahi分為訓(xùn)練樣本ai_train、ahi_train和測試樣本 〇1-test、Cthl-test;
[0090] 第四模塊，用于構(gòu)建以均方根誤差為代價函數(shù)的L層深度學(xué)習(xí)網(wǎng)絡(luò)；
[0091] 第五模塊，用于以低分圖像稀疏系數(shù)ai_train作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入，以對應(yīng)的 差值圖像稀疏系數(shù)a hl_train作為目標(biāo)輸出為網(wǎng)絡(luò)預(yù)測的差值圖像稀疏系數(shù)，迭代優(yōu) 化網(wǎng)絡(luò)參數(shù)使得代價函數(shù)達(dá)到最小，直到得到訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)；
[0092] 第六模塊，用于將作為測試部分的低分圖像稀疏系數(shù)ai_t(5St輸入第五模塊中訓(xùn)練 好的深度學(xué)習(xí)網(wǎng)絡(luò)中，輸出得到預(yù)測的差值圖像稀疏系數(shù)知計算與對應(yīng)真實 差值圖像稀疏系數(shù)a hl_test的誤差，當(dāng)誤差小于給定閾值，則驗證了第五模塊中訓(xùn)練得到的 深度學(xué)習(xí)網(wǎng)絡(luò)是低分圖像和差值圖像稀疏系數(shù)間的一個映射；
[0093] 第七模塊，用于將待提高分辨率的低分圖像表示成矩陣形式21，用字典口:來表示Z1 并記相應(yīng)稀疏系數(shù)為扮，將仇輸入訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)中，得到預(yù)測的差值圖像稀疏系數(shù) Phi;再利用字典Dhl重建出差值部分4?，最后將4 = A還原為圖像形式，重建出對應(yīng)的 高分辨率圖像Zh。
[0094] 各模塊具體實現(xiàn)參見相應(yīng)步驟，本發(fā)明不予贅述。
【主權(quán)項】
1. 一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率方法，其特征在于，包括以下步驟： 步驟a，將原高分辨率圖像降分辨率得到等大的低分辨率圖像，并分別表示為矩陣形式 yh和yi，計算兩者的差值部分yhi = yh-yi; 步驟b，將ydPyhl分別進(jìn)行字典訓(xùn)練，得到低分圖像字典DjP差值圖像字典Dhl，以及相 應(yīng)的稀疏表不系數(shù)aI和ahl; 步驟C，將稀疏表7]^系數(shù)Ql和Qhl分為訓(xùn)練樣本ai_train、ahl_train和測試樣本〇1_ test > Whi test； 步驟d，構(gòu)建以均方根誤差為代價函數(shù)的L層深度學(xué)習(xí)網(wǎng)絡(luò)； 步驟e，以低分圖像稀疏系數(shù)C^train作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入，以對應(yīng)的差值圖像稀疏 系數(shù)ahl_train作為目標(biāo)輸出，為網(wǎng)絡(luò)預(yù)測的差值圖像稀疏系數(shù)，迭代優(yōu)化網(wǎng)絡(luò)參數(shù)使 得代價函數(shù)達(dá)到最小，直到得到訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)； 步驟f，將作為測試部分的低分圖像稀疏系數(shù)Ite3st輸入步驟e中訓(xùn)練好的深度學(xué)習(xí)網(wǎng) 絡(luò)中，輸出得到預(yù)測的差值圖像稀疏系數(shù)~__，計算與對應(yīng)真實差值圖像稀疏系 數(shù)ahl_test的誤差，當(dāng)誤差小于給定閾值，則驗證了步驟e中訓(xùn)練得到的深度學(xué)習(xí)網(wǎng)絡(luò)是低分 圖像和差值圖像稀疏系數(shù)間的一個映射； 步驟g，將待提高分辨率的低分圖像表示成矩陣形式21，用字典0:來表示Z1并記相應(yīng)稀 疏系數(shù)為βι，將βι輸入訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)中，得到預(yù)測的差值圖像稀疏系數(shù)fta;再利用 字典Dhl重建出差值部分％，最后將4= %+ ?還原為圖像形式，重建出對應(yīng)的高分辨率 圖像Zh。2. 根據(jù)權(quán)利要求1所述一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率方法，其特征在 于:步驟a中，首先將訓(xùn)練樣本庫中的高分辨率圖像裁剪成N個dXd的圖像塊，降低每個圖像 塊的分辨率得到N個對應(yīng)的低分辨率圖像塊，然后將高分辨率圖像塊拉伸成的列向量組成 矩陣e i?d2xw，將低分辨率圖像塊拉伸成的列向量組成矩陣％ e尺^?，計算得到兩者之 間的差值部分yu = yh_y 1。3. 根據(jù)權(quán)利要求1所述一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率方法，其特征在 于:步驟b中，將yi和yhi分別進(jìn)行字典訓(xùn)練，得到對應(yīng)的低分圖像字典Di和差值圖像字典Dhi， 以及相應(yīng)的稀疏表示系數(shù)adPa hl，等價于求解優(yōu)化問題如下，其中，ε為重構(gòu)誤差閾值。4. 根據(jù)權(quán)利要求1所述一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率方法，其特征在 于:步驟d中，所構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)共包含L層。將每層的輸出記為X 1J = O, 1，2，-_，L，其 中/為網(wǎng)絡(luò)輸入，則第1層的輸出為： X1 = f I-(W1X1^t)1 )，1 = 1，2，···，L 其中，W1和b1分別表示第1層的權(quán)值和偏置項，fV( ·)為第1層的激活函數(shù)，第L層的輸出 即為網(wǎng)絡(luò)預(yù)測。5. 根據(jù)權(quán)利要求1所述一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率方法，其特征在 于:步驟e中，利用深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練低分圖像和差值圖像稀疏系數(shù)C^ trainWhlJrain的隱含 關(guān)系，以低分圖像稀疏系數(shù)作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入，以差值圖像稀疏系數(shù)ahl_train 作為監(jiān)督，記網(wǎng)絡(luò)預(yù)測的差值圖像稀疏系數(shù)為取代價函數(shù)為tram -AumiH的均方根誤差其中，m和η分別為字典元素個數(shù)和訓(xùn)練樣本個數(shù)，通過迭代優(yōu)化網(wǎng)絡(luò)參數(shù)，使損失函數(shù) MSRE達(dá)到最小，完成網(wǎng)絡(luò)訓(xùn)練。6. -種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率系統(tǒng)，其特征在于，包括以下模塊： 第一模塊，用于將原高分辨率圖像降分辨率得到等大的低分辨率圖像，并分別表示為 矩陣形式y(tǒng)h和yi，計算兩者的差值部分yhi = yh-yi; 第二模塊，用于將yi和yw分別進(jìn)行字典訓(xùn)練，得到低分圖像字典DdP差值圖像字典Dhl， 以及相應(yīng)的稀疏表不系數(shù)aI和ahl; 第三模塊，用于將稀疏表示系數(shù)ai和ahl分為訓(xùn)練樣本和測試樣本 〇1-test、Cthl-test; 第四模塊，用于構(gòu)建以均方根誤差為代價函數(shù)的L層深度學(xué)習(xí)網(wǎng)絡(luò)； 第五模塊，用于以低分圖像稀疏系數(shù)C^train作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入，以對應(yīng)的差值圖 像稀疏系數(shù)ahl_train作為目標(biāo)輸出，^_train為網(wǎng)絡(luò)預(yù)測的差值圖像稀疏系數(shù)，迭代優(yōu)化網(wǎng)絡(luò) 參數(shù)使得代價函數(shù)達(dá)到最小，直到得到訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)； 第六模塊，用于將作為測試部分的低分圖像稀疏系數(shù)輸入第五模塊中訓(xùn)練好的 深度學(xué)習(xí)網(wǎng)絡(luò)中，輸出得到預(yù)測的差值圖像稀疏系數(shù)知^#，計算％^?#與對應(yīng)真實差值 圖像稀疏系數(shù)Cutest的誤差，當(dāng)誤差小于給定閾值，則驗證了第五模塊中訓(xùn)練得到的深度 學(xué)習(xí)網(wǎng)絡(luò)是低分圖像和差值圖像稀疏系數(shù)間的一個映射； 第七模塊，用于將待提高分辨率的低分圖像表示成矩陣形式21，用字典0:來表示Z1并記 相應(yīng)稀疏系數(shù)為βι，將βι輸入訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)中，得到預(yù)測的差值圖像稀疏系數(shù)知； 再利用字典〇^重建出差值部分最后將4 = 4i + A還原為圖像形式，重建出對應(yīng)的高 分辨率圖像Zh。7. 根據(jù)權(quán)利要求6所述一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率系統(tǒng)，其特征在 于:第一模塊中，首先將訓(xùn)練樣本庫中的高分辨率圖像裁剪成N個dXd的圖像塊，降低每個 圖像塊的分辨率得到N個對應(yīng)的低分辨率圖像塊，然后將高分辨率圖像塊拉伸成的列向量 組成矩陣)? :e Sd2M,將低分辨率圖像塊拉伸成的列向量組成矩陣妁e i?d2x氣計算得到兩 者之間的差值部分yu = yh-y 1。8. 根據(jù)權(quán)利要求6所述一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率系統(tǒng)，其特征在 于:第二模塊中，將yi和yhl分別進(jìn)行字典訓(xùn)練，得到對應(yīng)的低分圖像字典DdP差值圖像字典 Dhl，以及相應(yīng)的稀疏表示系數(shù)C^Pahl，等價于求解優(yōu)化問題如下，其中，ε為重構(gòu)誤差閾值。9. 根據(jù)權(quán)利要求6所述一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率系統(tǒng)，其特征在 于:第四模塊中，所構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)共包含L層。將每層的輸出記為X 1J = O, 1，2,…，L， 其中/為網(wǎng)絡(luò)輸入，則第1層的輸出為： X1 = f I-(W1X1^t)1 )，1 = 1，2，···，L 其中，W1和b1分別表示第1層的權(quán)值和偏置項，fV( ·)為第1層的激活函數(shù)，第L層的輸出 即為網(wǎng)絡(luò)預(yù)測。10. 根據(jù)權(quán)利要求6所述一種聯(lián)合稀疏表示與深度學(xué)習(xí)的圖像超分辨率系統(tǒng)，其特征在 于:第五模塊中，利用深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練低分圖像和差值圖像稀疏系數(shù)C^ trainWhLtrain的隱 含關(guān)系，以低分圖像稀疏系數(shù)Ct1^ raln作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入，以差值圖像稀疏系數(shù) ahl_tralJt為監(jiān)督，記網(wǎng)絡(luò)預(yù)測的差值圖像稀疏系數(shù)為取代價函數(shù)為的均方根誤差其中，m和η分別為字典元素個數(shù)和訓(xùn)練樣本個數(shù)，通過迭代優(yōu)化網(wǎng)絡(luò)參數(shù)，使損失函數(shù) MSRE達(dá)到最小，完成網(wǎng)絡(luò)訓(xùn)練。
【文檔編號】G06T3/40GK105931179SQ201610216592
【公開日】2016年9月7日
【申請日】2016年4月8日
【發(fā)明人】邵振峰, 王磊, 王中元, 蔡家駿
【申請人】武漢大學(xué)