請中的實(shí)施例及實(shí)施例中的特征可以相 互結(jié)合，下面結(jié)合附圖和具體實(shí)施例對本發(fā)明作進(jìn)一步詳細(xì)說明。
[0018] 如圖1所示，本發(fā)明首先提供一種基于迭代投影重建的字典類圖像超分辨率系 統(tǒng)，其包括： 字典訓(xùn)練和投影矩陣預(yù)計算模塊，用于分別從訓(xùn)練圖像集中提取高分辨率圖像塊以及 從該圖像的降采樣圖像上選取對應(yīng)的低分辨率圖像塊作為樣本，然后使用K均值聚類的方 法訓(xùn)練字典，計算字典中每個原子和全部樣本的歐式距離，從中選取最近鄰構(gòu)成該原子的K 近鄰，再使用每個原子的K近鄰樣本集計算原子的投影矩陣，作為該原子代表的同一類圖 像塊的投影矩陣； 基于投影矩陣的迭代投影超分辨率重建模塊，用于對低分辨率圖像塊輸入乃在字典中 尋找與其最相似的原子，使用該原子的投影矩陣來對行超分辨率重建，對使用字典中 的相似原子來估計輸入的投影矩陣的過程中產(chǎn)生的殘差向量進(jìn)行再次投影重建獲得殘差 向量的高分辨率重建，如此迭代進(jìn)行重建，最后將全部重建成分加權(quán)相加，作為最后重建的 結(jié)果； 基于全局約束的后處理模塊：用于對重建圖像通過全局約束的后處理來消除逐塊重建 過程中出現(xiàn)的不滿足全局約束的不自然效應(yīng)。
[0019] 另一方面，本發(fā)明還提供一種基于迭代投影重建的字典類圖像超分辨率方法，包 括如下步驟： 步驟S1、字典的學(xué)習(xí)和投影矩陣的計算 首先，在訓(xùn)練圖像中隨機(jī)選取局部塊，再在該圖片的降采樣圖像上選取對應(yīng)的低分辨 率局部塊，通過大量提取這種高分辨率圖像塊和對應(yīng)的低分辨圖像塊的局部塊特征作為樣 本；其次，使用K均值聚類的方法訓(xùn)練字典，從訓(xùn)練圖像庫中隨機(jī)選取五百萬個樣本，使用K 均值聚類算法聚類出1024個聚類中心，用這些聚類中心作為字典的原子構(gòu)成字典；再次， 計算字典中每個原子和全部五百萬個樣本的歐式距離，從中選取2048個最近鄰構(gòu)成該原 子的K近鄰，K近鄰包含低分辨率圖像塊鄰居樣本集％和相應(yīng)高分辨率圖像塊鄰居樣本集 %，最后，使用每個原子的K近鄰樣本集計算原子的投影矩陣，作為該原子代表的同一類圖 像塊的投影矩陣，投影矩陣的計算方法如下： 對于低分辨率字典中的原子4我們使用低分辨率字典中的原子的K近鄰樣本集％來 對其進(jìn)行重建，重建目標(biāo)函數(shù)如下： 十AjMU (1) 其中，CZ為重建的表達(dá)系數(shù)，為目標(biāo)函數(shù)的參數(shù)，該目標(biāo)函數(shù)的解為： 然后，可以使用原子難]高分辨率鄰居樣本集和求解出的表達(dá)系數(shù)cr對〇進(jìn)行超分 辨率重建，其重建的公式如下： xd^Nha^ -bAlY^N；d(3) 其中，義為高分辨率圖像塊鄰居樣本集，/為單位矩陣，通過公式（3)，可定義投影矩 陣： (4) 這樣，可以使用公式（4)預(yù)先計算出字典中每一個原子對應(yīng)的投影矩陣。在重建時，使 用這些預(yù)計算的字典原子的投影矩陣來估計輸入圖像塊的投影矩陣，從而避免了在重建每 個圖像塊時對每個輸入圖像塊單獨(dú)計算其表達(dá)系數(shù)，因此大大提高了字典類方法的計算速 度。
[0020] 步驟S2、基于投影矩陣的迭代投影超分辨率重建 對于一個低分辨率圖像塊輸入在字典中尋找與其最相似的原子，使用該原子的投影 矩陣來對行超分辨率重建。通過計算內(nèi)積，將7在各個原子上進(jìn)行投影，選擇投影長度 最大的原子作為與相似的原子，計算方式如下： I'、、I=級夕、印、"、、I ' (5) 其中，是和j#相似的原子，使用原子t的投影矩陣來估計輸入崩投影矩陣 巧，可以得到7的超分辨率重建： 多.'.?:._浐盔:斧媒方' (6) 由于直接使用相似的原子的投影矩陣直接估計輸入的投影矩陣是有誤差的，因而重建 的效果取決于輸入和選擇的原子的相似程度，當(dāng)估計誤差擴(kuò)大時，重建的誤差也會相應(yīng)增 加，并且損失高頻細(xì)節(jié)信息。本發(fā)明使用迭代投影的方法來更好地進(jìn)行超分辨率重建，輸入 J郝相似原子t之間的(第一階）殘差為， =^r~<yds.： >dq,. (7) 同樣的，使用內(nèi)積計算殘差A(yù)的最相似原子4， I-'- ： ~ 1； "V' (8) 我們使用相似原子4的投影矩陣來估計殘差$的投影矩陣/^，可以得到該殘差 分量的超分辨率重建： Kf(,_= *Pdq,Rl ( 9 ) 考慮第一階殘差之后，輸入超分辨率重建為， A* = Xy十嶺=Pdnay~^ ( 10 ) 其中，(Wl< 1)是人為定義的權(quán)值，用于調(diào)整殘差分量在最后重建結(jié)果中的比重。 類似地，可以通過迭代的方式計算第i階殘差兄， 盡=A-!-，紀(jì)C-! 心_: (ID 同樣使用內(nèi)積計算兄的最相似原子 <,，并使用該原子的投影矩陣來估計第i階殘 差兄的投影矩陣/并計算兄的超分辨重建X,,。在總計％次迭代后，輸入崩超分辨率 重建為，
(12) 權(quán)值《,計算公式如下，
(13) 其中，iG(1，2,…，Nr)，Rq=r，e是一個很小的正數(shù)以避免分母為0。當(dāng)?shù)头直媛?圖像沖每個低分辨率圖像塊卩使用公式（12)重建其高分辨率圖像塊x后，就得到了重 建的高分辨率圖像X。
[0021] 步驟S3、基于全局約束的后處理 圖像超分辨率的一個基本全局約束為重建的高分辨率圖像X要和輸入的低分辨率圖 像/保持一致，即其中腐p歷>別代表降采樣和模糊操作。在本發(fā)明提出的方法中， 圖像逐塊進(jìn)行重建，受到噪聲等影響時可能在圖像塊局部出現(xiàn)一些不自然效應(yīng)，通過以下 全局約束來消除這些不自然效應(yīng)： mmx\\DHX-Fl!|-f~ ,￥01| (14) 其中，l是上述迭代投影重建模塊逐塊重建得到的高分辨率圖像，c是一個常數(shù)。公式 (14)可以通過梯度下降法求解： 二'今 孩齡一麵凈(15) 其中，不代表第必:迭代后的高分辨率圖像，y為梯度下降步長，△為上采樣操作。公 式（15)的結(jié)果即作為最終的高分辨率輸出圖像。
[0022] 圖2給出了本發(fā)明提出的方法和傳統(tǒng)的插值方法以及一種快速字典類方法 ANR(A+) (R.Timofte,V.D.Smet,andL.V.Gool,^A+:Adjustedanchored neighborhoodregressionforfastsuper-resolution，〃AsianConferenceon tb尊wter 叫2014，pp. 1-15 )的超分辨率效果比較?？梢钥闯?，本方法在邊緣、織 物、衣料、頭發(fā)等細(xì)節(jié)紋理處的超分辨率效果有明顯改善，恢復(fù)了插值算法及快速字典方法 中丟失的高頻紋理細(xì)節(jié)信息^
[0023] 圖3給出了本發(fā)明提出的方法和Bicubic插值，Giachett等人在2011年提出的 ICBI方法（A.GiachettandN.Asuni, "Real-timeartifact-freeimageupscaling，'' IEEETransactionsonImageProcessing,vol. 20，no. 10，pp. 2760-2768， 2011)， Wang等人提出的基于梯度圖約束重建的方法（L.Wang，S.Xiang，G.Meng，etal， "Edge-DirectedSingleImageSuper-ResolutionviaAdaptiveGradientMagnitude Self-Interpolation，"IEEETransactionsonCircuitsandSystemsforVideo vol. 23，no. 8，pp. 1289-1299，2013)，Yang等人 2010 年提出的ScSR方 法（J.Yang,J.Wright,T.S.Huang,etal，"Imagesuper-resolutionviasparse representation， "IEEETransactionsonImageProcessing,vol. 19，no. 11，pp. 2861-2873，2010)，Dong等人提出的ASDS分類字典方法（W.Dong，D.Zhang，G.Shi，et al."Imagedeblurringandsuper-resolutionbyadaptivesparsedom