專利名稱：一種基于主成份稀疏表達(dá)的人臉超分辨率重建方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人臉圖像超分辨率領(lǐng)域，具體涉及一種基于主成份稀疏表達(dá)的對噪聲魯棒的人臉超分辨率重建方法。
背景技術(shù)：
近年來，視頻監(jiān)控系統(tǒng)已經(jīng)在城市安全保障工作中得到了廣泛應(yīng)用。然而，在很多應(yīng)用場景下，由于攝像頭離所關(guān)注的目標(biāo)距離較遠(yuǎn)，使得在監(jiān)控視頻中目標(biāo)的成像像素通常較小，缺乏足夠的細(xì)節(jié)信息，無法滿足識別需求。特別是在刑事偵查應(yīng)用中，感興趣的目標(biāo)人臉成像分辨率過低，無法滿足人眼辨識的需求，對于有效的鎖定證據(jù)造成了困難。因此，針對低質(zhì)量的監(jiān)控視頻中的低分辨率人臉圖像進(jìn)行超分辨率增強(qiáng)，進(jìn)而獲得更多的局部細(xì)節(jié)信息以便于識別，已經(jīng)成為了刑事偵查業(yè)務(wù)中亟待解決的問題。針對人臉低分辨率圖像的分辨率提升問題，人臉超分辨率技術(shù)將輸入的低分辨率人臉圖像借助圖像樣本的先驗(yàn)信息重建出高分辨率圖像，并得到了廣泛的應(yīng)用。人臉超分辨率技術(shù)已經(jīng)成為了一個熱點(diǎn)研究問題，大量的基于樣本庫學(xué)習(xí)的人臉超分辨率算法近年來涌現(xiàn)?；趯W(xué)習(xí)的人臉超分辨率算法主要是利用了高低分辨率圖像的樣本對，學(xué)習(xí)獲得高低分辨率圖像之間的關(guān)系，通過輸入的低分辨率圖像推導(dǎo)生產(chǎn)對應(yīng)的高分辨率圖像。2000年，Simon和Kanade發(fā)表了首次提出了基于學(xué)習(xí)的人臉超分辨率算法，在文獻(xiàn) I (S. Baker and T. Kanade. Hallucinating faces.1n FG, Grenoble, France, Mar. 2000，83-88.)中也稱為人臉幻覺(face hallucination)方法。2001年，Liu等人在文獻(xiàn)2(C. Liu, H. Y. Shum, andC. S. Zhang. A two-step approach to hallucinating faces: globalparametric model and localnonparametric model.1n CVPR, pp. 192 - 198, 2001.)中提出參數(shù)全局人臉和非參數(shù)局部臉?biāo)惴ǖ膬刹胶铣扇四槇D像的兩步法?；趯W(xué)習(xí)的人臉超分辨率算法以其優(yōu)良的算法性能與重建效果逐步獲得了廣泛的關(guān)注與研究?；趯W(xué)習(xí)的人臉超分辨率算法按照對人臉圖像的處理方式分為全局臉?biāo)惴ê途植磕標(biāo)惴?，全局臉?biāo)惴▽⒄比四樧鳛橐粋€向量進(jìn)行處理，該方法重建的人臉圖像在整體上與輸入人臉相似、而且對噪聲具有一定的魯棒性，然而在重建圖像的邊緣部分存在著混疊效應(yīng)。局部臉方法是將整副人臉圖像劃分成塊，對輸出高分辨率圖像的重建過程按照分塊進(jìn)行，然后拼合成整副圖像，這種方法重建的人臉圖像主觀質(zhì)量較好，但是對噪聲敏感。2004 年 Chang 等人在文獻(xiàn) 3 (H. Chang, D. Y. Yeung, and Y. M. Xiong. Super-resolutionthrough neighborembedding.1n CVPR, pp. 275 - 282, 2004.)中假設(shè)高低分辨率人臉圖像的分塊具有幾何一致性，并利用輸入低分辨率圖像塊的表達(dá)系數(shù)保持到高分辨率空間合成高分辨率圖像，取得了較好的主客觀重建質(zhì)量。由于該方法所選擇的進(jìn)行表達(dá)的近鄰塊個數(shù)是固定的，因此在對輸入圖像塊進(jìn)行表達(dá)時(shí)可能存在過擬合和約束不足的問題。針對這一問題，2010 年 Ma 等人在文獻(xiàn) 4 (X. Ma, J. P Zhang, and C. Q1. Hallucinating face byposition-patch. Pattern Recognition, 43 (6) : 3178 - 3194, 2010.)中提出一種基于位置塊約束人臉超分辨率算法，提出了人臉圖像位置塊的先驗(yàn)約束算法，改善了圖像塊的最近鄰選擇方法，選擇了全部了位置塊進(jìn)行表達(dá)與合成，但是該算法沒有考慮噪聲對于圖像塊表達(dá)的影響，因此在噪聲環(huán)境下的重建質(zhì)量不佳?；诜謮K的局部臉?biāo)惴ㄖ苯永孟袼赜蛱卣鬟M(jìn)行表達(dá)與合成，在噪聲條件下，現(xiàn)有的分塊局部臉?biāo)惴o法區(qū)分圖像塊中的內(nèi)在特征與噪聲成分，將噪聲也進(jìn)行了表達(dá)，使得合成的高分辨率圖像也包含了噪聲信息，降低了該類算法的合成質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明目的是提供一種基于主成份稀疏表達(dá)的人臉圖像超分辨率重建方法，解決現(xiàn)有同類基于分塊表達(dá)算法中無法區(qū)分噪聲與內(nèi)在特征的問題，利用主成份稀疏表達(dá)根據(jù)圖像內(nèi)容自適應(yīng)選擇圖像的內(nèi)在特征進(jìn)行表達(dá)，提高合成的高分辨率人臉圖像的質(zhì)量。為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是一種基于主成份稀疏表達(dá)的人臉超分辨率重建方法，包括如下步驟步驟1，圖像分塊，包括根據(jù)預(yù)設(shè)的圖像的分塊大小和分塊的重疊區(qū)域大小，對輸入的低分辨率人臉圖像、低分辨率人臉樣本圖像和高分辨率人臉樣本圖像進(jìn)行分塊，得到相應(yīng)的圖像塊；步驟2，基于所有低分辨率人臉樣本圖像每一個位置上的圖像塊進(jìn)行主成份分解，獲得圖像塊的主成份表達(dá)基；步驟3，用步驟2所得低分辨率人臉樣本圖像上圖像塊的主成份表達(dá)基，求取輸入的低分辨率人臉圖像相應(yīng)圖像塊的主成份稀疏表達(dá)系數(shù)，然后轉(zhuǎn)化為特質(zhì)一致空間表達(dá)系數(shù)；步驟4，把所有低分 辨率人臉樣本圖像的圖像塊替換為位置對應(yīng)的高分辨率人臉樣本圖像的圖像塊，用步驟3所得特質(zhì)一致空間表達(dá)系數(shù)加權(quán)合成高分辨率人臉圖像塊；步驟5，將步驟4合成所得高分辨率人臉圖像塊按照圖像塊所在位置進(jìn)行拼合，得到一張高分辨率人臉圖像。而且，步驟2實(shí)現(xiàn)方式如下，取M個低分辨率人臉樣本圖像的某位置(i，j)的圖像塊，把每個dXd像素的圖像塊展開成一個列向量，把M個圖像塊列向量組合成圖像塊矩陣Ff (/,力；主成份表達(dá)基由下式獲得，
權(quán)利要求
1.一種基于主成份稀疏表達(dá)的人臉超分辨率重建方法，其特征在于，包括如下步驟 步驟1，圖像分塊，包括根據(jù)預(yù)設(shè)的圖像的分塊大小和分塊的重疊區(qū)域大小，對輸入的低分辨率人臉圖像、低分辨率人臉樣本圖像和高分辨率人臉樣本圖像進(jìn)行分塊，得到相應(yīng)的圖像塊； 步驟2，基于所有低分辨率人臉樣本圖像每一個位置上的圖像塊進(jìn)行主成份分解，獲得圖像塊的主成份表達(dá)基； 步驟3，用步驟2所得低分辨率人臉樣本圖像上圖像塊的主成份表達(dá)基，求取輸入的低分辨率人臉圖像相應(yīng)圖像塊的主成份稀疏表達(dá)系數(shù)，然后轉(zhuǎn)化為特質(zhì)一致空間表達(dá)系數(shù)；步驟4，把所有低分辨率人臉樣本圖像的圖像塊替換為位置對應(yīng)的高分辨率人臉樣本圖像的圖像塊，用步驟3所得特質(zhì)一致空間表達(dá)系數(shù)加權(quán)合成高分辨率人臉圖像塊； 步驟5，將步驟4合成所得高分辨率人臉圖像塊按照圖像塊所在位置進(jìn)行拼合，得到一張高分辨率人臉圖像。
2.根據(jù)權(quán)利要求1所述基于主成份稀疏表達(dá)的人臉超分辨率重建方法，其特征在于步驟2實(shí)現(xiàn)方式如下， 取M個低分辨率人臉樣本圖像的某位置(i，j)的圖像塊，把每個dXd像素的圖像塊展開成一個列向量，把M個圖像塊列向量組合成圖像塊矩陣7f (U)； 主成份表達(dá)基由下式獲得，
3.根據(jù)權(quán)利要求2所述基于主成份稀疏表達(dá)的人臉超分辨率重建方法，其特征在于步驟3實(shí)現(xiàn)方式如下， 對于輸入的低分辨率人臉圖像的某位置(i，j)上的圖像塊，按下式獲得一個主成份稀疏的表達(dá)系數(shù)，
全文摘要
一種基于主成份稀疏表達(dá)的人臉超分辨率重建方法，將輸入的低分辨率人臉圖像、低分辨率人臉樣本圖像和高分辨率人臉樣本圖像分別劃分為相互交疊的圖像塊；對于圖像的每一個位置圖像塊進(jìn)行主成份分解獲得主成份表達(dá)基；對輸入的低分辨率人臉圖像每一個圖像塊，根據(jù)樣本庫中對應(yīng)圖像塊的主成份表達(dá)基進(jìn)行稀疏約束投影，并將獲得的主成份稀疏表達(dá)系數(shù)轉(zhuǎn)換到樣本表達(dá)空間；將對應(yīng)的同一位置塊的低分辨率人臉樣本圖像替換成高分辨率人臉樣本圖像，合成高分辨率圖像塊并拼合得到輸出高分辨率圖像。本發(fā)明提出了位置塊的主成份稀疏表達(dá)，將輸入圖像塊的內(nèi)在信息與噪聲信息區(qū)分，提升了在噪聲環(huán)境下圖像塊的表達(dá)精度，提高了高分辨率重建圖像的客觀圖像質(zhì)量。
文檔編號G06T5/50GK103065292SQ201210574750
公開日2013年4月24日 申請日期2012年12月26日 優(yōu)先權(quán)日2012年12月26日
發(fā)明者胡瑞敏, 盧濤, 江俊君, 韓鎮(zhèn), 夏洋, 陳亮, 高尚, 王中元, 黃克斌, 王冰 申請人:武漢大學(xué)