基于自適應(yīng)亞模字典選擇的超分辨率圖像重建系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種圖像重建技術(shù)領(lǐng)域的方案，具體為一種基于自適應(yīng)亞模字典選擇 的超分辨率圖像重建系統(tǒng)。
【背景技術(shù)】
[0002] 在大量的數(shù)字圖像應(yīng)用領(lǐng)域里，人們往往期望得到更高分辨率的圖像。圖像分辨 率表示了圖像信息的詳細(xì)程度，而高分辨率圖像意味著更高的像素密度，更細(xì)膩的畫質(zhì)，更 多的細(xì)節(jié)信息。由于超分辨率圖像重建技術(shù)不用受限于傳感器制造技術(shù)的約束，而通過圖 像處理算法獲得更高分辨率的圖像，因而在衛(wèi)星氣象、醫(yī)療成像、圖像壓縮等眾多領(lǐng)域里得 到了廣泛應(yīng)用。但是，該技術(shù)領(lǐng)域里仍存在著許多需要解決的問題，如傳統(tǒng)的基于內(nèi)插的方 法會(huì)對(duì)圖像中不連續(xù)的部分造成模糊效應(yīng)，基于重建的方法的圖像重構(gòu)質(zhì)量會(huì)隨著放大系 數(shù)的增加而迅速下降。近些年熱門的基于學(xué)習(xí)的方法利用學(xué)習(xí)算法從訓(xùn)練集中學(xué)習(xí)低分辨 率圖像和高分辨率圖像之間的對(duì)應(yīng)關(guān)系，構(gòu)造最優(yōu)權(quán)值約束對(duì)輸入的低分辨率圖像進(jìn)行信 息補(bǔ)充，能夠獲得比基于內(nèi)插和基于重建的算法更好的效果。
[0003]經(jīng)過對(duì)現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，JianchaoYang,JohnWright,ThomasS.Huang, 和YiMa在 2010 年的《IEEETransactionsonImageProcessing》（TIP2010)期刊上發(fā)表 的"ImageSuper-ResolutionviaSparseRepresentation" 一文中開創(chuàng)性地提出利用稀 疏表示實(shí)現(xiàn)一種基于學(xué)習(xí)的超分辨率重建方法，首先從對(duì)應(yīng)的高、低分辨率訓(xùn)練圖像中學(xué) 習(xí)出一對(duì)聯(lián)合字典，使得訓(xùn)練集中的每個(gè)圖像塊都能由該字典對(duì)稀疏表示。在重建過程中， 對(duì)輸入的低分辨率圖像塊在低分辨率字典上進(jìn)行稀疏編碼，并利用該稀疏表示系數(shù)將高分 辨率字典基線性組合得到重建的高分辨率塊。但是，其交替迭代優(yōu)化學(xué)習(xí)的聯(lián)合字典對(duì)的 重建效果并不是十分良好，且字典訓(xùn)練復(fù)雜度高。而RonRubinstein,MichaelZibulevsky 和MichaelElad在 2010 年的《IEEETransactionsonSignalProcessing》（TSP2010) 期干丨J上發(fā)表的"DoubleSparsity:LearningSparseDictionariesforSparseSignal Approximation" 一文中提出了一種基于字典原子在已知固定基本字典上稀疏表示的雙稀 疏度模型，其學(xué)習(xí)得到的非參數(shù)化的稀疏字典結(jié)構(gòu)能夠?qū)㈦[式字典與顯示字典的優(yōu)點(diǎn)相結(jié) 合，具有結(jié)構(gòu)簡(jiǎn)潔和實(shí)現(xiàn)高效的特點(diǎn)。然而，由于近似K-SVD方法并不能確保漸進(jìn)收斂到最 優(yōu)解，對(duì)于從不同統(tǒng)計(jì)特性的圖像序列中訓(xùn)練出的字典，其重建出的圖像質(zhì)量較低。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的不足，提供了一種基于自適應(yīng)亞模字典選 擇的超分辨率圖像重建系統(tǒng)，可以有效提高重建圖像的主客觀質(zhì)量并且能夠保證高效的字 典設(shè)計(jì)過程，同時(shí)也為現(xiàn)存的圖像壓縮標(biāo)準(zhǔn)提供了一個(gè)新穎的視角。
[0005] 本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的：
[0006] 本發(fā)明包括：輸入模塊、高低頻訓(xùn)練集構(gòu)建模塊、候選基向量集合組建模塊、亞模 字典選擇模塊、測(cè)試圖像預(yù)處理模塊、超分辨率圖像重建模塊和輸出模塊，其中：
[0007] 所述輸入模塊用于獲取原始高分辨率訓(xùn)練圖像序列和待重建的低分辨率圖像，并 將將原始高分辨率訓(xùn)練圖像序列傳輸給高低頻訓(xùn)練集構(gòu)建模塊、將待重建的低分辨率圖像 傳輸給測(cè)試圖像預(yù)處理模塊；
[0008] 所述高低頻訓(xùn)練集構(gòu)建模塊對(duì)原始高分辨率訓(xùn)練圖像序列進(jìn)行處理得到高低頻 圖像基元塊組成的訓(xùn)練集，并將得到的訓(xùn)練集傳輸給候選基向量集合組建模塊；
[0009] 所述候選基向量集合組建模塊對(duì)所述訓(xùn)練集進(jìn)行處理，得到候選字典原子集合， 并將候選字典原子集合傳輸給亞模字典選擇模塊；
[0010] 所述亞模字典選擇模塊對(duì)候選字典原子集合進(jìn)行處理，構(gòu)造出高低頻聯(lián)合字典 對(duì)，并將高低頻聯(lián)合字典對(duì)傳輸給超分辨率圖像重建模塊；
[0011] 所述測(cè)試圖像預(yù)處理模塊對(duì)將待重建的低分辨率圖像處理，得到低頻圖像；
[0012] 所述超分辨率圖像重建模塊對(duì)所述亞模字典選擇模塊得到的高低頻聯(lián)合字典對(duì)、 所述測(cè)試圖像預(yù)處理模塊得到的低頻圖像進(jìn)行處理，得到重建后的高分辨率圖像；
[0013] 所述輸出模塊將所述超分辨率圖像重建模塊重建后的高分辨率圖像進(jìn)行輸出。
[0014] 優(yōu)選的，所述的高低頻訓(xùn)練集構(gòu)建模塊包括：頻帶劃分子模塊和基元塊提取子模 塊，其中：輸入模塊將原始高分辨率訓(xùn)練圖像序列輸出給頻帶劃分子模塊，頻帶劃分子模塊 利用低頻濾波與高頻抽取將原始高分辨率圖像頻帶分層，并將劃分后的高低頻圖像分層結(jié) 構(gòu)輸出到基元塊提取子模塊；基元塊提取子模塊利用一組高斯差分濾波器對(duì)低頻圖像濾波 提取出方向能量從而獲取圖像基元區(qū)域，并截取對(duì)應(yīng)的高低頻圖像基元塊進(jìn)而構(gòu)造出字典 訓(xùn)練集，并將字典訓(xùn)練集輸出到與候選基向量集合組建模塊。
[0015] 進(jìn)一步的，所述的頻帶劃分子模塊通過下采樣-上采樣對(duì)原始高分辨率圖像進(jìn)行 低頻濾波獲得低頻子帶，高頻子帶由高分辨率圖像與低頻圖像的差值部分抽取。
[0016] 進(jìn)一步的，所述的基元塊提取子模塊利用高斯差分濾波器組對(duì)低頻子帶濾波提取 方向能量從而獲取圖像基元區(qū)域，截取對(duì)應(yīng)的高低頻圖像基元塊構(gòu)造出字典訓(xùn)練集。
[0017] 優(yōu)選的，所述的候選基向量集合組建模塊包括：在線字典學(xué)習(xí)子模塊和DCT字典 構(gòu)建子模塊，其中：在線字典學(xué)習(xí)子模塊采用基于隨機(jī)近似的在線學(xué)習(xí)算法進(jìn)行字典原子 的快速更新，在節(jié)省計(jì)算時(shí)間與內(nèi)存消耗的保證下自適應(yīng)地學(xué)習(xí)出最優(yōu)字典，該最優(yōu)字典 與DCT字典構(gòu)建子模塊所生成的解析的可分離DCT(離散余弦變換）字典相級(jí)聯(lián)，共同組成 候選字典基向量集合并傳輸至下一級(jí)的亞模字典選擇模塊。
[0018] 進(jìn)一步的，所述的在線字典學(xué)習(xí)子模塊在字典學(xué)習(xí)的優(yōu)化設(shè)計(jì)中利用稀疏編碼的 特定結(jié)構(gòu)，采用基于隨機(jī)近似的在線學(xué)習(xí)算法實(shí)現(xiàn)字典原子的快速更新，在顯著降低計(jì)算 復(fù)雜度及節(jié)省內(nèi)存消耗的保證下自適應(yīng)地學(xué)習(xí)出最優(yōu)字典。
[0019] 進(jìn)一步的，所述的DCT字典構(gòu)建子模塊從不同頻率的余弦波中采樣構(gòu)造出一個(gè)可 分離的DCT字典，截取正交DCT字典矩陣獲得一維過完備DCT字典，對(duì)于二維圖像信號(hào)，利 用兩個(gè)一維過完備DCT字典的Kronecker內(nèi)積構(gòu)成二維過完備DCT字典。
[0020] 優(yōu)選的，所述的亞模字典選擇模塊將字典原子的選擇和樣本信號(hào)的稀疏表不聯(lián)合 優(yōu)化，在字典尺寸和信號(hào)表示稀疏度的約束條件下最大化具有單調(diào)亞模特性的近似目標(biāo)函 數(shù)，將解析字典的高效率與學(xué)習(xí)字典的高性能相結(jié)合，利用貪心算法從候選基向量集合中 迭代選擇出結(jié)構(gòu)簡(jiǎn)潔的近似最優(yōu)低頻字典，而對(duì)應(yīng)的高頻字典則通過最小化訓(xùn)練信號(hào)與字 典表示的估計(jì)誤差獲得，該模塊將得到的高低頻聯(lián)合字典對(duì)傳輸給超分辨率圖像重建模 塊。
[0021] 優(yōu)選的，所述的測(cè)試圖像預(yù)處理模塊包括：低頻濾波子模塊和基元塊提取子模塊， 其中：輸入模塊輸待重建的低分辨率圖像輸出到低頻濾波子模塊，低頻濾波子模塊通過下 采樣-上采樣內(nèi)插的低頻濾波操作獲取低分辨率圖像的低頻子帶，該子模塊將低分辨率圖 像的低頻子帶輸出給基元塊提取子模塊；基元塊提取子模塊將截取的低頻基元塊及低頻圖 像子帶輸出給超分辨率圖像重建模塊。該處的基元塊提取子模塊與高低頻訓(xùn)練集構(gòu)建模塊 中的基元塊提取子模塊功能相同。
[0022] 優(yōu)選的，所述的超分辨率圖像重建模塊利用稀疏編碼技術(shù)及追蹤算法近似求解低 頻基元塊在低頻字典上的稀疏表示系數(shù)，相應(yīng)的高頻基元塊則通過相同的系數(shù)線性組合高 頻字典基向量得到，圖像的低頻子帶與重構(gòu)出的高頻子帶相疊加并對(duì)重疊像素區(qū)域均值濾 波進(jìn)而得到最終的重建圖像，該模塊通過輸出模塊將重建后的高分辨率圖像輸出。
[0023] 與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：
[0024] 本發(fā)明有效地提高了重建圖像的主客觀質(zhì)量，并能夠保證高效的字典設(shè)計(jì)過程， 同時(shí)也為現(xiàn)存的圖像壓縮標(biāo)準(zhǔn)提供了一個(gè)新穎的視角。由于本發(fā)明采用將解析的DCT字典 基與在線學(xué)習(xí)字典基相結(jié)合并利用亞模優(yōu)化算法進(jìn)行字典選擇，與基于解析字典基的超分 辨率重建技術(shù)相比，本發(fā)明對(duì)于訓(xùn)練信號(hào)具有數(shù)據(jù)自適應(yīng)性，因此可以大幅提高圖像的重 建質(zhì)量；與基于學(xué)習(xí)字典基的超分辨率重建方法相比，本發(fā)明能夠在保證重構(gòu)性能的基礎(chǔ) 上有效降低計(jì)算復(fù)雜度，因此可以快速的實(shí)現(xiàn)圖像重建；而與基于稀疏表示的超分辨率重 建算法相比，本發(fā)明在重建圖像的主客觀質(zhì)量及字典更新的收斂速度兩方面均得到顯著提 升。
【附圖說明】