專利名稱：一種高抗噪性單幅人臉自動超分辨率方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字圖像處理領(lǐng)域，尤其是一種高抗噪性單幅人臉自動超分辨率方法。
背景技術(shù)：
超分辨率是指由一幀或多幀低分辨率圖像重建出一幀或者多幀高分辨率圖像?，F(xiàn)有技術(shù)如專利號為200910056694X的“融合全局特征與局部信息的人臉圖像超分辨率處理方法”，該專利其主要是通過構(gòu)造圖像金字塔表示低頻和高頻的對應(yīng)關(guān)系，恢復(fù)全局圖像，然后預(yù)測殘差項，該方法計算方法及處理過程復(fù)雜，計算速度慢，重建效率較低。另有專利 號為200810232778X的“ー種利用位置圖像塊重建的人臉圖像超分辨率方法”，該專利直接用訓(xùn)練樣本集表達(dá)待恢復(fù)低分辨圖像，在圖像子塊上操作，該方法未涉及圖像如何抗噪抗遮擋目的的實(shí)現(xiàn)，降低了圖像還原度效果。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)存在的缺陷，提供一種高抗噪性單幅人臉自動超分辨率方法，實(shí)現(xiàn)圖像抗噪抗遮擋，恢復(fù)的圖像清晰度高。為此，本發(fā)明采取如下技術(shù)方案一種高抗噪性單幅人臉自動超分辨率方法，其特征在于包括訓(xùn)練和重建兩個主要過程，訓(xùn)練包括基礎(chǔ)人臉模型訓(xùn)練和附屬物模型訓(xùn)練，基礎(chǔ)人臉模型訓(xùn)練是對高分辨率基礎(chǔ)人臉庫使用ASM算法自動標(biāo)定人臉特征點(diǎn)，并通過幾何變換重建人臉到固定的對齊后的基礎(chǔ)人臉庫，再使用變換裁選好的人臉庫，并用PCA算法進(jìn)行訓(xùn)練，得到人臉分解基序列；所述的附屬物模型訓(xùn)練，是將帶附屬物的人臉庫與帶附屬物基礎(chǔ)人臉庫的相減，得到附屬物庫，再使用變換裁選好的附屬物庫，利用PCA算法訓(xùn)練，得到附屬物分解基序列；重建的步驟如下輸入人臉圖像后通過ASM算法標(biāo)定人臉特征點(diǎn)在通過幾何變換得到配準(zhǔn)后的人臉圖像，再根據(jù)公式(l)min(W*| |A*B*X-Ij |2)的算法，其中W為權(quán)重矩陣，A=D*F，D為降采樣矩陣，F(xiàn)為模糊矩陣，B為所有特征臉向量組成的矩陣，X為各特征臉對應(yīng)的系數(shù)，ら為向量化后的低分辨率人臉圖，采用迭代求解方法得到重建后的基礎(chǔ)人臉，利用重建后的基礎(chǔ)人臉與輸入人臉圖像相減得到當(dāng)前附屬物，再對附屬物采用公式(I)算法重建得到重建后的附屬物，最后將重建后的附屬物與配準(zhǔn)后的人臉圖像相加即得到最終的重建人臉圖像。本發(fā)明通過WLS (加權(quán)最小二乗法)提升L2問題的魯棒性，采用迭代求解的方式尺度由小到大逐步更新權(quán)重矩陣，無噪聲區(qū)域權(quán)重大，有噪聲區(qū)域權(quán)重小，隨著迭代進(jìn)行權(quán)重矩陣越來越準(zhǔn)確；并使用ASM算法自動標(biāo)定人臉特征點(diǎn)；通過F的構(gòu)造可以控制輸出的清晰度；系統(tǒng)提供參數(shù)遍歷，多種輸出，以適應(yīng)特征點(diǎn)標(biāo)定的誤差?；A(chǔ)人臉模型訓(xùn)練過程中，在得到對齊后的基礎(chǔ)人臉庫后，將人臉按重點(diǎn)區(qū)域劃分為眼睛、鼻子和嘴幾部分，并通過PCA算法訓(xùn)練分別得到眼睛分解基序列、鼻子分解基序列和嘴分解基序列；重建過程中在完成重建后的基礎(chǔ)人臉圖像后，可根據(jù)需要對某些人臉局部部件先進(jìn)行替換，完成后再進(jìn)行后續(xù)重建步驟。支持人臉部件的替換，自動替換標(biāo)準(zhǔn)可以由WLS中的權(quán)重矩陣得出，也可依據(jù)人主觀感受手動替換。將部件替換后的人臉圖與附屬物圖加權(quán)求和，達(dá)到最佳輸出效果。所述的人臉幾何變換包括仿射變換、投影變換、多項式變換和三角形剖分變換。所述的ASM算法自動標(biāo)定68個人臉特征點(diǎn),還包括手動的4點(diǎn)、6點(diǎn)、8點(diǎn)和12點(diǎn)的手動標(biāo)定法。所述的附屬物包括眼鏡、胡子、頭發(fā)、皺紋、胡子、遮擋、光照不均、更清晰。重建步驟中在輸入人臉圖像前進(jìn)行光照歸ー化、圖像增強(qiáng)的預(yù)處理操作。本發(fā)明的高分辨率圖像是由基礎(chǔ)人臉(根據(jù)需要替換相應(yīng)的部件，包括眼睛、鼻子、嘴巴)和附屬物(頭發(fā)、眼鏡、胡子、遮擋、皺紋、光照不均、更清晰等)加權(quán)求和得出最終 的結(jié)果圖?；A(chǔ)人臉和部件替換均是通過PCA算法訓(xùn)練或重建得到，附屬物分別由不同的附屬物庫重建得到。本發(fā)明的高分辨率方法具有抗強(qiáng)噪聲、抗遮擋；全過程自動化程度高，計算速度快，避免了很多方法中的子塊搜索步驟，恢復(fù)效果清晰自然，符合一般人臉結(jié)構(gòu)，人臉部件可替換，可輸出多種效果。


圖I為本發(fā)明的基礎(chǔ)人臉模型訓(xùn)練流程圖。圖2為本發(fā)明的附屬物模型訓(xùn)練流程圖。圖3為本發(fā)明的重建流程圖。
具體實(shí)施例方式下面通過實(shí)施例，對本發(fā)明的技術(shù)方案作進(jìn)ー步具體的說明。如圖I-圖3所示，本發(fā)明具體分為訓(xùn)練和重建兩個主要過程，訓(xùn)練包括基礎(chǔ)人臉模型訓(xùn)練和附屬物模型訓(xùn)練，基礎(chǔ)人臉模型訓(xùn)練是對高分辨率基礎(chǔ)人臉庫使用ASM算法自動標(biāo)定人臉特征點(diǎn)，并通過幾何變換包括仿射變換、投影變換、多項式變換和三角形剖分變換，重建人臉到固定的對齊后的基礎(chǔ)人臉庫，再使用變換裁選好的人臉庫，并用PCA算法進(jìn)行訓(xùn)練，得到人臉分解基序列；得到基礎(chǔ)人臉庫后將人臉按重點(diǎn)區(qū)域劃分為眼睛、鼻子和嘴幾部分，并通過PCA算法訓(xùn)練分別得到眼睛分解基序列、鼻子分解基序列和嘴分解基序列；所述的附屬物模型訓(xùn)練，是將帶附屬物的人臉庫與帶附屬物基礎(chǔ)人臉庫的相減，得到附屬物庫，再使用變換裁選好的附屬物庫，利用PCA算法訓(xùn)練，得到附屬物分解基序列；重建的步驟如下輸入人臉圖像后通過ASM算法標(biāo)定人臉特征點(diǎn)在通過幾何變換得到配準(zhǔn)后的人臉圖像，再根據(jù)公式(l)min(W*| |A*B*X-Ij |2)的算法，其中W為權(quán)重矩陣，A=D*F，D為降采樣矩陣，F(xiàn)為模糊矩陣，B為所有特征臉向量組成的矩陣，X為各特征臉對應(yīng)的系數(shù)，ら為向量化后的低分辨率人臉圖，采用迭代求解方法得到重建后的基礎(chǔ)人臉，根據(jù)需要對某些人臉局部部件進(jìn)行替換，利用重建后的部件替換后人臉與輸入人臉圖像相減得到當(dāng)前附屬物，再對附屬物采用公式(I)算法重建得到重建后的附屬物，最后將重建后的附屬物與配準(zhǔn)后的人臉圖像相加即得到最終的重建人臉圖像。ASM算法自動標(biāo)定68個人臉特征點(diǎn),還包括手動的4點(diǎn)、6點(diǎn)、8點(diǎn)和12點(diǎn)的手動標(biāo)定法。
附屬物包括眼鏡、胡子、頭發(fā)、皺紋、胡子、遮擋、光照不均、更清晰。重建步驟中在輸入人臉圖像前進(jìn)行光照歸ー化、圖像增強(qiáng)的預(yù)處理操作。如圖I和圖2所示，圖中帶括號的數(shù)字標(biāo)號主要是指以下流程I.自動標(biāo)定/手動標(biāo)定自動標(biāo)定方法使用ASM算法標(biāo)定68個人臉特征點(diǎn)，手動標(biāo)定方法分為四種不同的標(biāo)定模式4點(diǎn)、6點(diǎn)、8點(diǎn)和12點(diǎn)；2.人臉幾何變換將當(dāng)前待重建人臉變換到固定的平均形狀；3.人臉PCA訓(xùn)練使用變換裁選好的庫，并用PCA算法進(jìn)行訓(xùn)練，得到人臉基序列。4.部件分解將人臉按重點(diǎn)區(qū)域劃分為左眼、右眼、鼻子和嘴四部分； 5.兩圖相減包括訓(xùn)練過程中“帶附屬物人臉庫”和“帶附屬物基礎(chǔ)人臉庫”的相減，其中后者是前者通過重建過程得到；重建過程中“輸入人臉圖像”和“部件替換后人臉”的相減；6.基于加權(quán)最小ニ乘的PCA重建采用公式(I)中的方法，實(shí)現(xiàn)時采用迭代求解的方法；7.部件替換對重建效果不好的基礎(chǔ)人臉的局部部件進(jìn)行替換；8.兩圖相加“重建后的附屬物”和“部件替換后人臉”圖像相加。需要特別指出的是，上述實(shí)施例的方式僅限于描述實(shí)施例，但本發(fā)明不止局限于上述方式，且本領(lǐng)域的技術(shù)人員據(jù)此可在不脫離本發(fā)明的范圍內(nèi)方便的進(jìn)行修飾，因此本發(fā)明的范圍應(yīng)當(dāng)包括本發(fā)明所掲示的原理和新特征的最大范圍。
權(quán)利要求
1.一種高抗噪性單幅人臉自動超分辨率方法，其特征在于包括訓(xùn)練和重建兩個主要過程， 訓(xùn)練包括基礎(chǔ)人臉模型訓(xùn)練和附屬物模型訓(xùn)練，基礎(chǔ)人臉模型訓(xùn)練是對高分辨率基礎(chǔ)人臉庫使用ASM算法自動標(biāo)定人臉特征點(diǎn)，并通過幾何變換重建人臉到固定的對齊后的基礎(chǔ)人臉庫，再使用變換裁選好的人臉庫，并用PCA算法進(jìn)行訓(xùn)練，得到人臉分解基序列；所述的附屬物模型訓(xùn)練，是將帶附屬物的人臉庫與帶附屬物基礎(chǔ)人臉庫的相減，得到附屬物庫，再使用變換裁選好的附屬物庫，利用PCA算法訓(xùn)練，得到附屬物分解基序列； 重建的步驟如下輸入人臉圖像后通過ASM算法標(biāo)定人臉特征點(diǎn)再通過幾何變換得到配準(zhǔn)后的人臉圖像，再根據(jù)公式(l)min(W*| |A*B*X-Il| |2)的算法，其中W為權(quán)重矩陣，A=D*F，D為降采樣矩陣，F(xiàn)為模糊矩陣，B為所有特征臉向量組成的矩陣，X為各特征臉對應(yīng)的系數(shù)，ら為向量化后的低分辨率人臉圖，采用迭代求解方法得到重建后的基礎(chǔ)人臉，利用重建后的基礎(chǔ)人臉與輸入人臉圖像相減得到當(dāng)前附屬物，再對附屬物采用公式(I)算法重建得到重建后的附屬物，最后將重建后的附屬物與配準(zhǔn)后的人臉圖像相加即得到最終的重建人臉圖像。
2.根據(jù)權(quán)利要求I所述的高抗噪性單幅人臉自動超分辨率方法，其特征在于基礎(chǔ)人臉模型訓(xùn)練過程中，在得到對齊后的基礎(chǔ)人臉庫后，將人臉按重點(diǎn)區(qū)域劃分為眼睛、鼻子和嘴幾部分，并通過PCA算法訓(xùn)練分別得到眼睛分解基序列、鼻子分解基序列和嘴分解基序列；重建過程中在完成重建后的基礎(chǔ)人臉圖像后，可根據(jù)需要對某些人臉局部部件先進(jìn)行替換，完成后再進(jìn)行后續(xù)重建步驟。
3.根據(jù)權(quán)利要求2所述的高抗噪性單幅人臉自動超分辨率方法，其特征在于所述的人臉幾何變換包括仿射變換、投影變換、多項式變換和三角形剖分變換。
4.根據(jù)權(quán)利要求3所述的高抗噪性單幅人臉自動超分辨率方法，其特征在于所述的ASM算法自動標(biāo)定68個人臉特征點(diǎn),還包括手動的4點(diǎn)、6點(diǎn)、8點(diǎn)和12點(diǎn)的手動標(biāo)定法。
5.根據(jù)權(quán)利要求I所述的高抗噪性單幅人臉自動超分辨率方法，其特征在于所述的附屬物包括眼鏡、胡子、頭發(fā)、皺紋、胡子、遮擋、光照不均、更清晰。
6.根據(jù)權(quán)利要求I所述的高抗噪性單幅人臉自動超分辨率方法，其特征在于重建步驟中在輸入人臉圖像前進(jìn)行光照歸ー化、圖像增強(qiáng)的預(yù)處理操作。
全文摘要
本發(fā)明涉及一種高抗噪性單幅人臉自動超分辨率方法。本發(fā)明其特征在于包括訓(xùn)練和重建兩個主要過程，訓(xùn)練包括基礎(chǔ)人臉模型訓(xùn)練和附屬物模型訓(xùn)練，重建的步驟如下輸入人臉圖像后通過ASM算法標(biāo)定人臉特征點(diǎn)在通過幾何變換得到配準(zhǔn)后的人臉圖像，再根據(jù)公式(1)min(W*||A*B*X-IL||2)的算法，采用迭代求解方法得到重建后的基礎(chǔ)人臉，利用重建后的基礎(chǔ)人臉與輸入人臉圖像相減得到當(dāng)前附屬物，再對附屬物采用公式(1)算法重建得到重建后的附屬物，最后將重建后的附屬物與配準(zhǔn)后的人臉圖像相加即得到最終的重建人臉圖像。本發(fā)明的高分辨率方法具有抗強(qiáng)噪聲、抗遮擋；全過程自動化程度高，計算速度快，避恢復(fù)效果清晰自然，符合一般人臉結(jié)構(gòu)，人臉部件可替換，可輸出多種效果。
文檔編號G06K9/00GK102693416SQ201210145150
公開日2012年9月26日 申請日期2012年5月9日 優(yōu)先權(quán)日2012年5月9日
發(fā)明者劉嘉, 尚凌輝, 王百超, 高勇 申請人:浙江捷尚視覺科技有限公司