一種單圖像超分辨率重建的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像重建技術(shù)領(lǐng)域，尤其涉及一種單圖像超分辨率重建的方法。
【背景技術(shù)】
[0002]自然圖像存在一些自相似的屬性，如強度、顏色及幾何結(jié)構(gòu)等。這些自相似信息在 一些類似圖像重構(gòu)、去噪、修復(fù)等圖像操作中可被看作是有價值的先驗知識。缺失的、覆蓋 的信息可以通過自相似性從圖像的其他位置獲取，但如何有效地利用圖像的自相似屬性來 獲取高質(zhì)量的圖像重建是一個有意義的問題。
[0003]圖像超分辨率重建技術(shù)是指利用低質(zhì)量、低分辨率圖像或圖像序列來產(chǎn)生單幅高 質(zhì)量、高分辨率圖像。它的目的是要使得輸出的圖像或視頻的分辨率比任意一幅輸入的圖 像或輸入視頻的任意一幀的分辨率都要高。其可以提高圖像的識別能力和識別精度，在軍 事，醫(yī)學(xué)，公共安全，計算機視覺等方面都存在著重要的應(yīng)用前景。
[0004] 單圖像超分辨率重建是圖像重建的一個特例，其中的關(guān)鍵是如何從低分辨率圖像 中獲取有用信息以恢復(fù)其高分辨率版本。而自相似性可以看作一種有效的輔助方式。近年 來，自相似的超分辨率模型成功出現(xiàn)，除了不需要借助額外數(shù)據(jù)，大量的實驗說明其結(jié)果優(yōu) 于數(shù)據(jù)驅(qū)動模型。但是，如何獲取最優(yōu)的相似片仍是問題的關(guān)鍵。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是為了克服現(xiàn)有技術(shù)的缺陷，提出了一種新的自相似性最大化的概 念來構(gòu)建高質(zhì)量的超分辨率模型。其關(guān)鍵思想是高分辨率圖像中任意選擇的圖像片，在輸 入的低分辨率圖像中，都有一些圖像片視覺上與其相似。利用這個先驗知識，建立了一個優(yōu) 化模型以生成優(yōu)化的超分辨率圖像。為求解該成本函數(shù)，提出一種高斯逼近方案，其應(yīng)用高 斯混合模型以生成不同尺度輸入圖像的關(guān)聯(lián)概率密度函數(shù)。
[0006] 為實現(xiàn)上述目的，本發(fā)明提供了一種單圖像超分辨率重建的方法，該方法包含兩 個部分：一是利用高斯混合模型計算高分辨率圖像中每個最佳相似片；二是根據(jù)最佳相似 片建立自相似性最大化優(yōu)化模型實現(xiàn)超分辨率圖像重建；具體為，對低分辨率原圖像分別 做上采樣和高斯濾波以獲取兩個不同的版本，并將上采樣版本作為初始的高分辨率版本； 對高斯濾波版本和低分辨率圖像抽取圖像片建立片對以構(gòu)建高斯混合模式，將初始的高分 辨率版本中的每個圖像片看作濾波版本輸入高斯混合模型以獲取細(xì)節(jié)更豐富的高分辨率 圖像片輸出；然后將這些細(xì)節(jié)豐富的圖像片輸入所建立的自相似先驗最大化模型以輸出細(xì) 節(jié)豐富的高分辨率圖像。
[0007] 優(yōu)選地，在尋求相似圖像片時，基于低分辨率模糊版本和清晰版本抽取的圖像片 對建立高斯混合模型，并將高分辨率圖像的模糊圖像片作為輸入，采用期望最大化算法計 算最佳圖像片。在尋求最佳相似片時，從低分辨率圖像及高斯濾波模糊版本中抽取圖像片， 以這些圖像片作為訓(xùn)練數(shù)據(jù)集，建立基于高斯混合模型的關(guān)聯(lián)概率密度函數(shù)。
[0008] 優(yōu)選地，在建立自相似先驗最大化模型及求解時：利用自然圖像自身的自相似性， 將高分辨率圖像與低分辨率圖像之間一對多的映射附加自相似最大化約束轉(zhuǎn)化為最優(yōu)的 一對一映射替代。在對模型求解時，引入對數(shù)運算將乘法關(guān)系轉(zhuǎn)化為加法運算，并引入輔助 變量為一個難以求解的問題尋求最優(yōu)解。
[0009] 本發(fā)明的有益效果：
[0010] (1)基于自相似性最大化提出了一種優(yōu)化的超分辨率模型，其挖掘自相似的圖像 內(nèi)容以獲取高質(zhì)量的超分辨率輸出，提高圖像的識別能力和識別精度。
[0011] (2)提供了一種高斯逼近求解方法，其采用高斯混合模型求解每個低分辨率圖像 片對應(yīng)的最大相似度的高分辨率圖像片?；谶@些高分辨率圖像片，利用全局優(yōu)化加局部 優(yōu)化的方法直接求解高分辨率圖像，使得圖像在保真度、細(xì)節(jié)恢復(fù)等方面有著更優(yōu)越性能。
【附圖說明】
[0012] 為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以 根據(jù)這些附圖獲得其它的附圖。
[0013] 圖1是本發(fā)明的基于自相似性最大化的單圖像超分辨率重建方法的流程圖。
【具體實施方式】
[0014] 下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于 本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他 實施例，都屬于本發(fā)明保護的范圍。
[0015] 本發(fā)明提供了一種單圖像超分辨率重建的方法，本方法主要包括兩個部分，一是 利用高斯混合模型計算高分辨率圖像中每個最佳相似片；二是根據(jù)最佳相似片建立模型求 解超分辨率圖像。具體為，對低分辨率原圖像分別做上采樣和高斯濾波以獲取兩個不同的 版本，并將上采樣版本作為初始的高分辨率版本。對高斯濾波版本和低分辨率圖像抽取圖 像片建立片對以構(gòu)建高斯混合模式，將高分辨率版本中的每個圖像片看作濾波版本輸入代 入高斯混合模型以獲取細(xì)節(jié)更豐富的高分辨率圖像片輸出；然后將這些細(xì)節(jié)較為豐富的圖 像片代入所建立的自相似先驗最大化模型以求解細(xì)節(jié)豐富的高分辨率圖像。
[0016] 其中，在尋求最佳相似片時：高分辨率圖像的模糊版本比較容易獲取，而無論高分 辨率圖像還是低分辨率圖像，其模糊版本和清晰版本之間的對應(yīng)關(guān)系都是一致的。對高分 辨率清晰版本中的每個圖像片，根據(jù)自相似性，其對應(yīng)于低分辨率清晰版本中的一個或多 個圖像片。為尋求這樣的相似圖像片，基于低分辨率模糊版本和清晰版本抽取的圖像片對 建立高斯混合模型，并將高分辨率圖像的模糊圖像片作為輸入，采用期望最大化算法計算 最佳圖像片。
[0017] 在建立自相似先驗最大化模型及求解時：利用自然圖像自身的自相似性，將高分 辨率圖像與低分辨率圖像之間一對多的映射附加自相似最大化約束轉(zhuǎn)化為最優(yōu)的一對一 映射替代。在對模型求解時，引入對數(shù)運算將乘法關(guān)系轉(zhuǎn)化為加法運算，并引入輔助變量為 一個難以求解的問題尋求最優(yōu)解。
[0018] 具體實施如下：
[0019] 1、模型建立
[0020] -般來說，對于一個單圖像超分辨率問題，高分辨率圖像X和對應(yīng)的低分辨率圖 像Y之間滿足
[0021] Y=DHX+ω, (1)
[0022] 其中觀察的低分辨率圖像Y e Rn，對應(yīng)的待求高分辨率圖像X e Rn及附加的高斯 噪聲ωeRn均被轉(zhuǎn)換成矢量形式。D是一個RnXN的下采樣操作矩陣，Η是一個RNXN用于模 糊操作的卷積矩陣。
[0023] 圖像Y的超分辨率重建是方程（1)的逆問題。根據(jù)片重現(xiàn)觀點，重建轉(zhuǎn)化為尋找 最相似片的過程。對于高分辨率圖像X中任意圖像片X1，假定在輸入的低分辨率圖像Y中 存在一個最相似的圖像片/。該假設(shè)成立用Y的上采樣圖像\對應(yīng)的圖像片：<和Y的高 斯濾波圖像Yc對應(yīng)的圖像片乂間的相似度來度量X1和yp間的相似度。然而，該逼近很難 獲得一個理想的精度因為低分辨率圖像片和高分辨率圖像片之間存在一對多的映射。最直 接的影