基于迭代投影重建的字典類圖像超分辨率系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像及視頻超分辨率技術(shù)領(lǐng)域，具體是一種基于迭代投影重建的字典 類圖像超分辨率系統(tǒng)及方法。 技術(shù)背景
[0002] 超分辨率（Super-Resolution)也被稱為上采樣、圖像放大，指的是通過(guò)低分辨率 的圖像來(lái)恢復(fù)高分辨率的清晰圖像。超分辨率是圖像和視頻處理領(lǐng)域的基礎(chǔ)問(wèn)題之一，在 醫(yī)學(xué)圖像處理、圖像識(shí)別、數(shù)碼照片處理、高清電視等領(lǐng)域有著非常廣泛的應(yīng)用前景。
[0003] 最經(jīng)典的超分辨率算法之一是基于核的插值算法，例如：雙線性插值、樣條曲線插 值等等。但是這一類算法是通過(guò)已知的離散數(shù)據(jù)來(lái)生成連續(xù)數(shù)據(jù)，會(huì)帶來(lái)模糊、鋸齒等效 應(yīng)，同時(shí)，也無(wú)法恢復(fù)在低分辨率圖像中所丟失的高頻細(xì)節(jié)信息。近年來(lái)，大量的基于邊緣 的超分辨率算法被提出，改善了傳統(tǒng)插值的不自然效應(yīng)，同時(shí)提高了邊緣的視覺(jué)質(zhì)量。但 是，這一類聚焦于改善邊緣的算法仍然不能恢復(fù)高頻紋理細(xì)節(jié)。為了解決高頻細(xì)節(jié)重建的 問(wèn)題，一些字典學(xué)習(xí)類方法也被相繼提出，通過(guò)使用額外的高分辨率圖像塊來(lái)訓(xùn)練低分辨 率對(duì)應(yīng)的高分辨率字典，來(lái)恢復(fù)低分辨率圖像中丟失的細(xì)節(jié)信息。但是該類方法中逐塊使 用字典進(jìn)行高分辨率重建非常耗時(shí)。因此，如何在降低時(shí)間和計(jì)算消耗的同時(shí)提高超分辨 率圖像的質(zhì)量，是我們十分關(guān)注的一個(gè)重要課題。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問(wèn)題是，提供一種基于迭代投影重建的字典類超分辨率系 統(tǒng)，以有效提高字典類方法的計(jì)算速度并且能夠恢復(fù)圖像高頻細(xì)節(jié)信息。
[0005] 本發(fā)明所要解決的技術(shù)問(wèn)題是，提供一種基于迭代投影重建的快速字典類超分辨 率方法，以有效提高字典類方法的計(jì)算速度并且能夠恢復(fù)圖像高頻細(xì)節(jié)信息。
[0006] 為解決上述技術(shù)問(wèn)題，本發(fā)明首先提供一種基于迭代投影重建的字典類圖像超分 辨率系統(tǒng)，其包括： 字典訓(xùn)練和投影矩陣預(yù)計(jì)算模塊，用于分別從訓(xùn)練圖像集中提取高分辨率圖像塊以及 從該圖像的降采樣圖像上選取對(duì)應(yīng)的低分辨率圖像塊作為樣本，然后使用K均值聚類的方 法訓(xùn)練字典，計(jì)算字典中每個(gè)原子和全部樣本的歐式距離，從中選取最近鄰構(gòu)成該原子的K 近鄰，再使用每個(gè)原子的K近鄰樣本集計(jì)算原子的投影矩陣，作為該原子代表的同一類圖 像塊的投影矩陣； 基于投影矩陣的迭代投影超分辨率重建模塊，用于對(duì)低分辨率圖像塊輸入乃在字典中 尋找與其最相似的原子，使用該原子的投影矩陣來(lái)對(duì)行超分辨率重建，對(duì)使用字典中 的相似原子來(lái)計(jì)算輸入的投影矩陣的過(guò)程中產(chǎn)生的殘差向量進(jìn)行再次投影重建獲得殘差 向量的高分辨率重建，如此迭代進(jìn)行重建，最后將全部重建成分加權(quán)相加，作為最后重建的 結(jié)果； 基于全局約束的后處理模塊：用于對(duì)重建圖像通過(guò)全局約束的后處理來(lái)消除逐塊重建 過(guò)程中出現(xiàn)的不滿足全局約束的不自然效應(yīng)。
[0007] 另一方面，本發(fā)明還提供一種基于迭代投影重建的字典類圖像超分辨率方法，其 包括如下步驟： 步驟S1、字典的學(xué)習(xí)和投影矩陣的計(jì)算：分別從訓(xùn)練圖像集中提取高分辨率圖像塊以 及從該圖像的降采樣圖像上選取對(duì)應(yīng)的低分辨率圖像塊作為樣本，使用K均值聚類的方法 訓(xùn)練字典，計(jì)算字典中每個(gè)原子和全部樣本的歐式距離，從中選取最近鄰構(gòu)成該原子的K 近鄰，再使用每個(gè)原子的K近鄰樣本集計(jì)算原子的投影矩陣，作為該原子代表的同一類圖 像塊的投影矩陣； 步驟S2、基于投影矩陣的迭代投影超分辨率重建：對(duì)于低分辨率圖像塊輸入乃在字典 中尋找與其最相似的原子，使用該原子的投影矩陣來(lái)對(duì)行超分辨率重建，對(duì)使用字典 中的相似原子來(lái)計(jì)算輸入的投影矩陣的過(guò)程中產(chǎn)生的殘差向量進(jìn)行再次投影重建獲得殘 差向量的高分辨率重建，如此迭代進(jìn)行重建，最后將全部重建成分加權(quán)相加，作為最后重建 的結(jié)果； 步驟S3、基于全局約束的后處理：對(duì)步驟S2后的重建圖像通過(guò)全局約束來(lái)消除在重建 過(guò)程中產(chǎn)生的不滿足全局約束的不自然效應(yīng)。
[0008] 進(jìn)一步地，進(jìn)行步驟S1時(shí)，K近鄰包含低分辨率圖像塊鄰居樣本集％和相應(yīng)高分 辨率圖像塊鄰居樣本集y%。
[0009] 進(jìn)一步地，進(jìn)行步驟S1時(shí)，投影矩陣的計(jì)算方法如下： 對(duì)于低分辨率字典中的原子4使用低分辨率字典中的原子的K近鄰樣本集M來(lái)對(duì)其 進(jìn)行重建，重建目標(biāo)函數(shù)如下： :狐s一:顯:錢.輕 (1) 其中，為重建的表達(dá)系數(shù)，為目標(biāo)函數(shù)的參數(shù)，該目標(biāo)函數(shù)的解為： 然后，使用原子難]高分辨率鄰居樣本集和求解出的表達(dá)系數(shù)&對(duì)〇進(jìn)行超分辨率 重建，其重建的公式如下： 其中，義為高分辨率圖像塊鄰居樣本集，/為單位矩陣，通過(guò)公式（3)，定義投影矩陣： P=方辦/% +Ai).-Ar/ ⑷ 再使用公式（4)預(yù)先計(jì)算出字典中每一個(gè)原子對(duì)應(yīng)的投影矩陣，在重建時(shí)，使用這些預(yù) 計(jì)算的字典原子的投影矩陣來(lái)估計(jì)輸入圖像塊的投影矩陣。
[0010] 進(jìn)一步地，進(jìn)行步驟S2時(shí)，通過(guò)計(jì)算內(nèi)積，將在各個(gè)原子上進(jìn)行投影，選擇投影 長(zhǎng)度最大的原子作為與相似的原子，計(jì)算公式如下： (5) 其中，是和相似的原子，使用原子t的投影矩陣來(lái)估計(jì)輸入崩投影矩陣 巧，得到J他超分辨率重建： x=av (6) 輸入相似原子t之間的(第一階）殘差為， (7) 同樣的，使用內(nèi)積計(jì)算殘差$的最相似原子4， |< 1為！ >卜n隊(duì)噸二.."v>k扎為(8) 使用相似原子的投影矩陣來(lái)估計(jì)殘差A(yù)的投影矩陣/^，得到該殘差分量的超 分辨率重建： %,. = * ^：, (9) 考慮第一階殘差之后，輸入超分辨率重建為， ny 十叫a乂 = ?辦=y+ 心 （10) 其中，COi(〇^< 1)是人為定義的權(quán)值，用于調(diào)整殘差分量在最后重建結(jié)果中的比重， 通過(guò)迭代的方式計(jì)算第i階殘差兄， 圮=忍i-i-:：r 及i-(11) 同樣使用內(nèi)積計(jì)算兄的最相似原子 <,，并使用該原子的投影矩陣來(lái)估計(jì)第i階殘 差兄的投影矩陣/并計(jì)算兄的超分辨重建X,,，在總計(jì)4次迭代后，輸入崩超分辨率重 建為，
(12) 權(quán)值《,計(jì)算公式如下，
(13) 其中，iG(1，2,…，Nr)，Rq=r，e是一個(gè)很小的正數(shù)以避免分母為0,當(dāng)?shù)头直媛蕡D 像沖每個(gè)低分辨率圖像塊卩使用公式（12)重建其高分辨率圖像塊x后，就得到了重建 的高分辨率圖像X。
[0011] 進(jìn)一步地，進(jìn)行步驟S3時(shí)，采用以下公式進(jìn)行全局約束：
(14) 其中，I是上述迭代投影重建模塊逐塊重建得到的高分辨率圖像，c是一個(gè)常數(shù)，公式 (14)通過(guò)梯度下降法求解：
(15) 其中，不代表第必:迭代后的高分辨率圖像，y為梯度下降步長(zhǎng)，△為上采樣操作，公 式（15)的結(jié)果即作為最終的高分辨率輸出圖像。
[0012] 通過(guò)采用上述技術(shù)方案，本發(fā)明具有以下技術(shù)效果：本發(fā)明對(duì)投影過(guò)程中產(chǎn)生的 殘差向量進(jìn)行再次投影重建獲得殘差向量的高分辨率重建，如此迭代進(jìn)行重建，最后將全 部重建成分加權(quán)相加作為最后重建的結(jié)果，而且，還采用全局約束的后處理來(lái)消除逐塊重 建過(guò)程中可能出現(xiàn)的不自然效應(yīng)，從而可以有效提高字典類方法的計(jì)算速度并且能夠恢復(fù) 圖像高頻細(xì)節(jié)信息。
【附圖說(shuō)明】
[0013]圖1是本發(fā)明基于迭代投影重建的快速字典類圖像超分辨率方法的流程圖。
[0014] 圖2是本發(fā)明提出的方法與傳統(tǒng)的Bicubic插值方法和快速字典類方法ANR(A+) 的超分辨率效果對(duì)比圖。
[0015] 圖3是本發(fā)明提出的方法與傳統(tǒng)的Bicubic插值、ICBI方法、基于梯度圖約束重 建的方法、ScSR方法、ASDS分類字典方法以及ANR(A+)的效果對(duì)比圖。
[0016] 圖4是本發(fā)明提出的方法與傳統(tǒng)的字典類方法Bicubic、ScSR、ASDS、NE+LLE、 Zeyde以及ANR(A+)的效果對(duì)比圖。
【具體實(shí)施方式】
[0017] 需要說(shuō)明的是，在不沖突的情況下，本申