一種基于雙層流形約束的人臉超分辨率處理方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理和圖像恢復(fù)技術(shù)領(lǐng)域，具體涉及一種基于雙層流形約束的人 臉超分辨率處理方法及系統(tǒng)。
【背景技術(shù)】
[0002] 人臉超分辨率技術(shù)是通過輔助訓(xùn)練庫，學(xué)習(xí)高低分辨率對(duì)應(yīng)關(guān)系，進(jìn)而達(dá)到從已 有的低分辨率人臉圖像中估計(jì)出高分辨率人臉圖像的目的。人臉超分辨率現(xiàn)在被廣泛應(yīng)用 于多個(gè)領(lǐng)域，其中最具代表性的領(lǐng)域之一就是監(jiān)控錄像中的人臉圖像增強(qiáng)。隨著監(jiān)控系統(tǒng) 的廣泛普及，監(jiān)控視頻在刑事取證和刑偵調(diào)查過程中發(fā)揮著越來越重要的作用。而人臉圖 像作為直接證據(jù)之一，在案件分析和法庭取證中占據(jù)著重要的位置。然而，由于現(xiàn)有條件 下，目標(biāo)嫌疑人與攝像頭距離相對(duì)較遠(yuǎn)，捕捉到的監(jiān)控人臉可用像素非常少，兼之真實(shí)情況 下由于惡劣天氣（例如：雨霧）、光照（例如:光照過強(qiáng)、過暗、明暗不均）、器件等因素對(duì)捕獲 的圖像引發(fā)的嚴(yán)重?fù)p毀(例如:嚴(yán)重的模糊和噪聲），圖像恢復(fù)、放大和辨識(shí)往往受到嚴(yán)重的 干擾。這就需要用到人臉超分辨率技術(shù)提升圖像分辨率，從低分辨率圖像恢復(fù)到高分辨率 圖像。
[0003] 為達(dá)到監(jiān)控視頻人臉的有效恢復(fù)，改進(jìn)算法甚至犧牲效率來換取算法的有效性和 易用性還是很有必要的（人臉對(duì)齊、大圖像庫引起的）。具體做法除了引入有效計(jì)算工具和 數(shù)據(jù)利用形式之外，還可以通過提出新的理論假設(shè)及約束模式解決這種問題。
[0004] 近年來，流形學(xué)習(xí)逐漸成為了人臉超分辨率的主流方法。這類方法的核心思想是： 描述低分辨率圖像的流形空間關(guān)系，尋找出每個(gè)低分辨率圖像數(shù)據(jù)點(diǎn)周圍的局部性質(zhì)，然 后將低分辨率圖像的流形非線性地映射到高分辨率圖像的流形空間中，在高分辨率對(duì)應(yīng)空 間上做投影，從而合成高分辨圖像。具有代表性的有以下幾種方法:2004年，Chang等首次將 流形學(xué)習(xí)法引入圖像超分辨率重構(gòu)中，提出了一種鄰域嵌入的圖像超分辨率重構(gòu)法(文獻(xiàn) [lDdung Won Park提出一種基于局部保持投影的自適應(yīng)流形學(xué)習(xí)方法(文獻(xiàn)[2])，從局 部子流形分析人臉的內(nèi)在特征，重構(gòu)出低分辨率圖像缺失的高頻成分。2005年，Wang提出一 種基于PCA(Principal component analysis，主成分分析)分解的方法(文獻(xiàn)[3])，把低分 辨率待處理圖像用低分辨率空間的主成分的線性組合表示，投影系數(shù)到對(duì)應(yīng)的高分辨率主 成分空間獲得最終結(jié)果。該方法對(duì)早上具有較好的魯棒性，但是仍然在結(jié)果圖像的邊緣存 在鬼影、混疊的現(xiàn)象。2010年，Huang提出基于CCA(Canonical Correlation Analysis)的方 法(文獻(xiàn)[4])，通過將PCA空間延伸至CCA空間，進(jìn)一步解決了這個(gè)問題。同年，Lan針對(duì)監(jiān)控 環(huán)境下嚴(yán)重的模糊和噪聲導(dǎo)致的圖像像素?fù)p毀嚴(yán)重的問題，提出一種基于形狀約束的人臉 超分辨率方法(文獻(xiàn)[5])，在傳統(tǒng)PCA架構(gòu)中添加形狀約束作為相似度度量準(zhǔn)則，利用人眼 睛識(shí)別形狀時(shí)對(duì)干擾的魯棒性來人工添加形狀特征點(diǎn)作為約束，優(yōu)化低質(zhì)量圖像的重建結(jié) 果。綜上所述，現(xiàn)有的這些方法大多僅按照傳統(tǒng)的技術(shù)思路以圖像塊本身的子空間信息作 為目標(biāo)學(xué)習(xí)庫進(jìn)行高低分辨率關(guān)系學(xué)習(xí)，這種一對(duì)一的學(xué)習(xí)過程作為算法基礎(chǔ)。只考慮了 待處理圖像塊是處在一個(gè)流行空間中的，忽略了所有在庫的圖像塊都是處于流行空間中的 情況。因此雖然在處理一般環(huán)境下低質(zhì)量圖像的過程中，可以得到不錯(cuò)的效果。但是圖像質(zhì) 量很低的時(shí)候，像素會(huì)遭到嚴(yán)重的毀壞混疊，圖像本身的子空間信息因此很容易遭到損壞， 用傳統(tǒng)方法恢復(fù)出來的圖像，效果并不令人滿意。
[0005] [文獻(xiàn) 1 ]H· Chang，D ·-Y · Yeung，and Y · Xiong，"Super-resolution through neighbor embedding，'，in Proc. IEEE Conf.Comput.Vis.Pattern Recog·，Jul·2004， pp.275-282.
[0006] [文獻(xiàn)2]Sung Won Park，Savvides，M. "Breaking the Limitation of Manifold Analysis for Super-Resolution of Facial Images"，ICASSP，pp:573-576，2007·
[0007] [文南犬3 ]Xiaogang Wang and Xiaoou Tang，"Hal lucinating face by eigentransformation，'，Systems，Man，and Cybernetics ,Part C:Applications and Reviews,IEEE Transactions on,vol.35,no.3,pp.425-434,2005.
[0008] [文南犬4]Hua Huang，Hui t ing He , Xin Fan , and JunpingZhang，"Super-resolution of human face image using canonical correlation analysis/'Pattern Recognition, vo 1.43 ,no. 7 ,pp. 2532-2543,2010
[0009] [文南犬5]C Lan，R Hu，Z Han，A face super-resolution approach using shape semantic mode regularization.IEEE International Conference on Image Processing(ICIP),2021-2024,26-29Sept.2010.

【發(fā)明內(nèi)容】

[0010] 為了解決上述技術(shù)問題，本發(fā)明提供了一種基于雙層流形約束的人臉超分辨率處 理方法及系統(tǒng)，尤其適用于低質(zhì)量監(jiān)控視頻中人臉圖像的恢復(fù)。
[0011] 本發(fā)明的方法所采用的技術(shù)方案是:一種基于雙層流形約束的人臉超分辨率處理 方法，其特征在于，包括以下步驟：
[0012] 步驟1:構(gòu)建訓(xùn)練庫，所述訓(xùn)練庫包含高分辨率人臉圖像庫及其對(duì)應(yīng)的低分辨率人 臉圖像庫；
[0013] 取歸一化的清晰人臉圖像若干作為高分辨率圖像庫，將高分辨率圖像庫經(jīng)過統(tǒng)一 下采樣過程得到低分辨率圖像庫；
[0014] 步驟2:采用相同的分塊方式將待處理低分辨率人臉圖像和訓(xùn)練庫中圖像劃分為 具交疊部分的圖像塊，所述圖像塊為正方形，其邊長為psize;
[0015] 步驟3:對(duì)分塊后的待處理低分辨率人臉圖像中每一圖像塊，在對(duì)應(yīng)位置的訓(xùn)練庫 中低分辨率訓(xùn)練塊集合中查找其近鄰塊，稱為直接近鄰，或者一層近鄰；
[0016] 步驟4:對(duì)分塊后的待處理低分辨率人臉圖像中每一圖像塊，查找其二層近鄰;其 具體實(shí)現(xiàn)包括以下子步驟：
[0017] 步驟4.1:根據(jù)高低分辨率對(duì)應(yīng)關(guān)系，查找得到低分辨率圖像塊直接近鄰在訓(xùn)練庫 中高分辨率訓(xùn)練塊集合中的對(duì)應(yīng)塊；
[0018] 步驟4.2:然后在高分辨率人臉圖像庫中，找到這些對(duì)應(yīng)塊的近鄰，記下標(biāo)號(hào)，稱之 為二層近鄰，或者間接近鄰；
[0019] 步驟4.3:將高分辨率人臉圖像庫中的二層近鄰標(biāo)號(hào)投影到低分辨率人臉圖像庫 中，作為待處理低分辨率圖像塊的二層近鄰；
[0020] 步驟5:計(jì)算待處理低分辨率人臉圖像中圖像塊的一層近鄰和二層近鄰之間，在低 分辨率人臉圖像庫中的權(quán)重系數(shù)；
[0021] 步驟6:計(jì)算待處理低分辨率人臉圖像中圖像塊和一層近鄰之間，在低分辨率人臉 圖像庫中的權(quán)重系數(shù)；
[0022] 步驟7:利用約束公式，計(jì)算待處理低分辨率人臉圖像中圖像塊和二層近鄰之間的 權(quán)重；
[0023] 步驟8:取步驟7中低分辨率二層近鄰所對(duì)應(yīng)的高分辨率二層近鄰，將步驟7中所獲 得的權(quán)重與高分辨率二層近鄰相乘，獲得待處理低分辨率人臉圖像中的圖像塊的高分辨率 圖像塊；
[0024]步驟9:拼接所有高分辨率人臉圖像塊，得高分辨率人臉圖像。
[0025] 作為優(yōu)選，步驟1中所述構(gòu)建訓(xùn)練庫，是將高分辨率人臉圖像庫中高分辨率人臉圖 像位置對(duì)齊，并進(jìn)行降質(zhì)處理，得對(duì)應(yīng)的低分辨率人臉圖像庫，高分辨率人臉圖像庫和低分 辨率人臉圖像庫構(gòu)成訓(xùn)練庫。
[0026] 作為優(yōu)選，步驟2中采用相同的分塊方式將待處理低分辨率人臉圖像和訓(xùn)練庫中 圖像劃分為具交疊部分的圖像塊，首先使待處理低分辨率人臉圖像與訓(xùn)練庫中圖像大小相 同，且位置對(duì)齊。
[0027] 作為優(yōu)選，所述位置對(duì)齊是采用仿射變換法進(jìn)行位置對(duì)齊。
[0028] 作為優(yōu)選，步驟3的具體實(shí)現(xiàn)過程是，對(duì)于待處理低分辨率人臉圖像χιη，假設(shè)在位 置i上的圖像塊為低分辨率人臉圖像庫設(shè)為X，X上在位置i的所有圖像塊記為X 1;竑在X1 上的K1個(gè)一層近鄰塊，K1