一種基于dct域本征變換的人臉圖像超分辨率重建方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理方法，特別涉及一種基于DCT域本征變換的人臉圖像超分辨 率重建方法。
【背景技術(shù)】
[0002] 高質(zhì)量的圖像和視頻因其具有更豐富的信息和更真實(shí)的視覺感受，越來越成為一 種主流的需求。受到成像環(huán)境和成像系統(tǒng)性能的限制，成像系統(tǒng)獲得的圖像通常是清晰度 較低的低質(zhì)量圖像。例如，很多安全部門、敏感公共場(chǎng)所、交通要道、居民小區(qū)等都配備了全 天候?qū)崟r(shí)視頻監(jiān)控系統(tǒng)。然而，由于受到監(jiān)控?cái)z像頭分辨率性能、監(jiān)控環(huán)境光照條件、監(jiān)控 距離以及噪聲等因素的影響，監(jiān)控系統(tǒng)所獲取的視頻圖像可能是模糊不清的低質(zhì)量圖像， 人臉圖像的分辨率通常較低，人臉面部細(xì)節(jié)丟失嚴(yán)重，難以達(dá)到進(jìn)一步自動(dòng)分析和識(shí)別的 要求。因此，針對(duì)低質(zhì)人臉圖像，研究超分辨率復(fù)原技術(shù)，提高圖像的質(zhì)量，具有重要的理論 意義和實(shí)際應(yīng)用價(jià)值。
[0003] 傳統(tǒng)的簡單的信號(hào)處理技術(shù)，直接采用最近鄰、雙向線性內(nèi)插方法，雖然提高了圖 像的分辨率，但是并沒有添加圖像的高頻信息，圖像質(zhì)量難以提高。隨后，研究者提出了基 于重建的方法和基于學(xué)習(xí)的方法預(yù)測(cè)高分辨率圖像的高頻信息。
[0004] 從早期的頻域混迭開始，到各種基于正則化重建的空域方法?；谥亟ǖ募夹g(shù)得 到了廣泛的研究，期間涌現(xiàn)了一批有效的算法。但是，當(dāng)放大因子增大時(shí)，重建約束所能提 供的有效信息越來越少，因此這種方法的超分辨率復(fù)原能力受到了很大的限制。
[0005] 基于學(xué)習(xí)或基于示例的超分辨率復(fù)原則利用了不同圖像在高頻細(xì)節(jié)上的相似性， 通過學(xué)習(xí)低分辨率圖像和對(duì)應(yīng)高分辨率圖像之間的關(guān)系來指導(dǎo)圖像的超分辨率復(fù)原過程。 基于學(xué)習(xí)的方法對(duì)于人臉圖像，在低分辨率圖像質(zhì)量較差、放大倍數(shù)較高時(shí)能取得很好的 效果。
[0006] DCT(Discrete Cosine Transform)具有很好的能量集中性能，經(jīng)過變換大部分能 量集中在低頻區(qū)域，能夠很好的將圖像塊的中高頻信息和低頻信息進(jìn)行分離?；诜謮K的 DCT變換，廣泛應(yīng)用于JPEG等壓縮處理中。DC(Direct Current)系數(shù)表示子塊圖像的平均亮 度，AC(Alternating Current)系數(shù)代表子塊圖像的邊緣、紋理信息。眼睛、鼻子、嘴唇等高 頻信息豐富的區(qū)域，往往需要通過學(xué)習(xí)補(bǔ)償?shù)玫健?br>[0007] 主成分分析算法(PCA，Principal Component Analysis)在人臉超分辨率復(fù)原算 法中得到了廣泛應(yīng)用。PCA是一種多元統(tǒng)計(jì)數(shù)據(jù)分析方法，它是采用很少的線性無關(guān)的變量 來表征多維空間的大部分時(shí)刻變化的信息，因此，它是目標(biāo)統(tǒng)計(jì)特性的最佳正交變換。
[0008] 利用PCA算法和DCT變換的優(yōu)勢(shì)，我們提出了基于DCT域本征變換的人臉圖像超分 辨率重建方法。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明的目的在于，面向低分辨率人臉圖像，采用一種基于DCT域本征變換的人臉 圖像超分辨率重建方法，提高人臉圖像的質(zhì)量。
[0010] 本發(fā)明是通過以下技術(shù)手段來實(shí)現(xiàn)的：
[0011] -種基于DCT域本征變換的人臉圖像超分辨率重建方法，整體流程圖如附圖1所 示;算法分為離線部分和在線部分;其流程圖分別如附圖2和附圖3所示;離線部分，根據(jù)高 分辨率(HR，High Resolution)人臉圖像和下采樣得到的低分辨率(LR，Low Resolution)人 臉圖像，分別確定在DCT域基于PCA的特征向量矩陣?yán)蜖?wèi) 1;首先將HR圖像庫中的每幅圖像 進(jìn)行下采樣得到LR圖像庫;然后將LR圖像進(jìn)行DCT域插值放大，得到初始放大的圖像樣本庫 (LR_Prim);接著分別將LR_Prim樣本庫中的圖像和HR圖像庫中的圖像進(jìn)行DCT域基于PCA的 本征變換，分別得到LR_Prim圖像和HR圖像的特征向量矩陣?yán)驮诰€部分，將輸入的LR 人臉圖像進(jìn)行DCT域插值放大，得到的DCT系數(shù)矩陣，經(jīng)過歸一化，列向量化，得到的結(jié)果記 為X1。將中心化，映射至ljLR_Prim圖像對(duì)應(yīng)的特征向量矩陣蹲，確定x^PCA系數(shù) W1。將HR 圖像進(jìn)行分塊DCT變換，歸一化，列向量化，得到的結(jié)果記為xo。將xo去中心化映射到HR圖像 庫的特征向量矩陣，確定xo的PCA系數(shù)wo。對(duì)于同一幅HR圖像，和下采樣得到的LR圖像，由 于圖像內(nèi)容相同，我們假定權(quán)重系數(shù)抑和奶相等;超分辨率復(fù)原過程，LR圖像已知，因此我們 能夠確S X1，W1，又因?yàn)?和名1可以通過樣本庫訓(xùn)練得到。通過矩陣運(yùn)算，可以得到最終重 建后的DCT系數(shù)。具體運(yùn)算過程，我們將會(huì)在下文具體闡述。由于分塊DCT處理會(huì)導(dǎo)致塊效應(yīng) 的存在，我們采用基于DCT域的雙邊濾波的方法，自適應(yīng)去除塊效應(yīng)。
[0012] 所述離線部分分為以下幾個(gè)步驟：
[0013] ⑴將HR人臉圖像樣本庫中的圖像，經(jīng)過下采樣得到LR人臉圖像樣本庫，通過DCT 域高頻系數(shù)補(bǔ)零的方式進(jìn)行插值放大獲得LR圖像的初始放大圖像庫LR_Prim。
[0014] (2)對(duì)（1)中得到的LR_Prim圖像庫和HR圖像庫，進(jìn)行分塊DCT變換，并將每幅圖像 的DCT系數(shù)矩陣，歸一化，列向量化，從而得到了人臉圖像DCT域訓(xùn)練集，LR_Prim圖像庫對(duì)應(yīng) 的訓(xùn)練樣本矩陣L 1和HR圖像庫對(duì)應(yīng)的訓(xùn)練樣本矩陣ΙΛ
[0015] (3)對(duì)訓(xùn)練樣本矩陣LU進(jìn)行主成分量分析(PCA)，得到對(duì)應(yīng)的特征向量矩陣爲(wèi) 1和 E%
[0016] 所述在線部分分為5個(gè)步驟：
[0017] (1)輸入一幅LR圖像，分塊DCT變換，得至IjDCT系數(shù)矩陣；
[0018] (2)對(duì)（1)中得到的DCT系數(shù)矩陣，進(jìn)行DCT域插值放大，歸一化，列向量化，得到的 結(jié)果記Sxi。將xi去中心化的結(jié)果映射到樣本矩陣L1對(duì)應(yīng)的特征向量矩陣句，得到權(quán)重系數(shù) W1；
[0019] ⑶將權(quán)重系數(shù)奶與邢圖像樣本矩陣L°對(duì)應(yīng)的特征向量矩陣貧乘積，得到重建HR圖 像的DCT域的列向量，去中心化，歸一化，并將該列向量矩陣轉(zhuǎn)化成圖像大小，獲得每個(gè)子塊 的尚頻系數(shù)；
[0020] (4)將LR_Prim的低頻部分作為重建目標(biāo)圖像的低頻系數(shù)，（3)中得到的每個(gè)子塊 的高頻系數(shù)作為重建圖像的高頻系數(shù)；
[0021] (5)將重建圖像進(jìn)行基于DCT域的雙邊濾波處理，去除塊效應(yīng)，然后進(jìn)行分塊DCT逆 變換，得到重建高分辨率圖像。
[0022]本發(fā)明與現(xiàn)有技術(shù)相比，具有以下明顯的優(yōu)勢(shì)和有益效果：
[0023]本發(fā)明首先提出了一種新的DCT域人臉圖像超分辨率復(fù)原算法，利用了 DCT變換的 能量集中特性，低頻部分采用DCT域插值放大方法，高頻部分利用基于PCA的方法，預(yù)測(cè)高頻 信息。DCT域插值放大的得到的重建圖像比雙線性內(nèi)插方法的得到的重建圖像具有更好主 客觀質(zhì)量。相比其他算法，本發(fā)明的方法能針對(duì)輸入的LR圖像在DCT域操作，處理結(jié)束后采 用DCT域基于雙邊濾波的方法，自適應(yīng)去除塊效應(yīng)。DCT變換被廣泛應(yīng)用于圖像視頻壓縮中， 在DCT域進(jìn)行圖像超分辨率復(fù)原具有一定的應(yīng)用基礎(chǔ)。我們對(duì)壓縮圖像部分解壓就可得到 圖像的分塊DCT系數(shù)，將DCT系數(shù)直接應(yīng)用到提出的算法中，減少了圖像處理算法的運(yùn)行時(shí) 間。對(duì)于壓縮圖像，DCT系數(shù)的粗糙量化導(dǎo)致圖像壓縮失真，在DCT域進(jìn)行超分辨率復(fù)原，是 從失真產(chǎn)生的根源出發(fā)進(jìn)行算法處理，有助于更好地解決壓縮失真問題。與傳統(tǒng)的超分辨 率復(fù)原算法相比，本發(fā)明方法將來能夠直接應(yīng)用到壓縮圖像中，所重建的圖像具有更高的 主客觀質(zhì)量。
[0024]本發(fā)明的特點(diǎn)：
[0025] 1.提出一種新的基于DCT域的人臉圖像超分辨率重建算法，利用DCT域插值放大得 到的初始放大的圖像，初始放大圖像的分塊DCT變換的低頻系數(shù)作為重建圖像的低頻系數(shù)； [0026] 2.利用訓(xùn)練樣本庫，確定下采樣插值放大LR圖像和HR圖像在DCT域基于PCA的特征 向量矩陣，假設(shè)同一幅高分辨率圖像和下采樣插值放大的低分辨率圖像在對(duì)應(yīng)特征向量矩 陣映射的PCA系數(shù)相同，來預(yù)測(cè)高頻信息；
[0027] 3.在DCT域進(jìn)行雙邊濾波處理，有效解決了圖像超分辨率重建的塊效應(yīng)失真問題， 并且最大程度的保留了圖像的高頻信息；
[0028] 4.本方法在DCT域?qū)D像進(jìn)行超分辨率復(fù)原，將來能夠更好的應(yīng)用到壓縮圖像中。
[0029] 下面結(jié)合實(shí)例參照附圖進(jìn)行詳細(xì)說明，以求對(duì)本發(fā)明的目的、特征和優(yōu)點(diǎn)得到更 深入的理解。
【附圖說明】：
[0030] 圖1、發(fā)明方法總體流程圖；
[0031] 圖2、發(fā)明方法離線部分流程圖；
[0032]圖3、發(fā)明方法在線部分流程圖；
[0033]圖4、DCT域內(nèi)插方法說明；
[0034]圖5、DCT域基于本征變換的重建模型；
[0035]圖6、目標(biāo)塊和平移塊的定義；
[0036]圖7、本發(fā)明方法實(shí)驗(yàn)結(jié)果。
[0037] 其中（a)LR圖像 [0038] (b)插值放大后的結(jié)果
[0039] (c)重建后的高分辨圖像
[0040] (d)濾波后的結(jié)果 [00411 (e)原始高分辨率圖像
【具體實(shí)施方式】：
[0042]以下結(jié)合說明書附圖，對(duì)本發(fā)明的實(shí)施實(shí)例加以詳細(xì)說明：
[0043]本發(fā)明算法分為離線和在線兩部分。離線部分，利用人臉圖像樣本庫，在DCT域確 定基于PCA的LR圖像和HR圖像的特征向量矩陣;首先將HR樣本庫圖像下采樣，得到下采樣后 的LR圖像;然后對(duì)高分辨率圖像進(jìn)行分塊DCT變換，對(duì)LR圖像進(jìn)行DCT域插值放大;接著分別 將分塊DCT變換后的HR圖像和DCT域插值放大的LR圖像進(jìn)行PCA，得到相應(yīng)的特征向量矩陣； 在線部分，對(duì)輸入LR圖像進(jìn)行DCT域插值放大和高頻信息預(yù)測(cè)完成人臉圖像超分辨率復(fù)原； 首先對(duì)輸入的低比特率圖像進(jìn)行分塊DCT變換，采用高頻信息補(bǔ)零的方法，進(jìn)行DCT域插值 放大，利用插值放大的圖像在LR_Prim圖像特征向量矩陣的映射，補(bǔ)償高頻信息。
[0044]( - )離線部分
[0045] (1)對(duì)人臉樣本庫圖像進(jìn)行下采樣
[0046]選擇一個(gè)HR圖像樣本庫中的300幅HR人臉圖像，然后對(duì)這些圖像直接進(jìn)行下采樣， 生成300幅LR圖像樣本庫。假設(shè)采樣因子為fact，原始HR圖像的大小為136X160,下采樣后 LR圖像組成的樣本庫中圖像大小為136/factX160/fact。以下闡述中，我們令fact為4,那 么LR圖像的分塊DCT變換的大小為4 X 4，HR圖像的分塊DCT變換的大小為16 X 16.
[0047] (2)對(duì)HR圖像進(jìn)行DCT變換，對(duì)LR圖像進(jìn)行DCT域插值放大
[0048]首先，我們對(duì)H