專利名稱：一種基于五官相關(guān)aam模型的面部特征定位方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于數(shù)字圖像處理與模式識別的人臉圖像五官檢測及定位技術(shù)領(lǐng)域， 尤其涉及一種基于五官相關(guān)AAM模型的面部特征定位方法。
背景技術(shù)：
人臉識別技術(shù)通過分析比較人臉視覺特征信息進(jìn)行身份鑒別，是生物特征識別領(lǐng)域甚至人工智能領(lǐng)域最困難的研究課題之一，人臉識別的困難主要來自人臉作為生物特征的特點(diǎn)，是一個熱門的計算機(jī)技術(shù)研究領(lǐng)域?；谀Ｐ偷娜四樧R別主要方法包括主動形狀模型(Active Shape Model, ASM)和主動表觀模型(Active Appearance Model, AAM)。ASM利用物體的形狀信息學(xué)習(xí)訓(xùn)練得到形狀變化的模型，然后借助訓(xùn)練得到的模型搜索圖像中的目標(biāo)。ASM雖然利用了物體的形狀信息，但還可以進(jìn)一步利用區(qū)域內(nèi)的紋理信息，對目標(biāo)物體形狀區(qū)域內(nèi)紋理的統(tǒng)計規(guī)律進(jìn)行建模，這樣就可以得到AAM，通過使用AAM能夠大大提高定位的準(zhǔn)確率?；贏AM的人臉識別分為模型建立和模型擬合計算兩部分。作為主動表觀模型，AAM是在形狀模型的基礎(chǔ)之上結(jié)合對象的紋理而建立的。在模型擬合計算中，以AAM模型實(shí)例與輸入圖像差的平方和來定義一個能量函數(shù)，利用該能量函數(shù)來評價擬合程度，通過不斷反復(fù)迭代以實(shí)現(xiàn)能量函數(shù)的最小化，達(dá)到模型實(shí)例與輸入圖像之間擬合的目的，而最終得到的各形狀控制點(diǎn)的位置則描述了當(dāng)前圖像中的人臉面部特征。在處理無遮擋面部圖像特征點(diǎn)定位問題方面，大量研究者在增強(qiáng)算法魯棒性、提高準(zhǔn)確率和提高效率方面提出了很多方法；但是在處理面部部分遮擋情況方面，所提出的方法并不多且仍以AAM算法為主，例如基于PO的AAM、基于ERN的AAM。目前處理部分遮擋面部特征定位算法主要存在的問題是(1)依靠人臉區(qū)域檢測的結(jié)果，如果人臉檢測結(jié)果不準(zhǔn)確或者失敗，將直接影響特征定位算法的準(zhǔn)確率；(2)現(xiàn)有算法對遮擋比較敏感，當(dāng)遮擋面積較大時，準(zhǔn)確率不高；C3)傳統(tǒng)的模型搜索方式效率較低。

發(fā)明內(nèi)容
本發(fā)明主要是解決現(xiàn)有技術(shù)所存在的依靠人臉區(qū)域檢測的結(jié)果，如果人臉檢測結(jié)果不準(zhǔn)確或者失敗，將直接影響特征定位算法的準(zhǔn)確率等的技術(shù)問題；提供了一種按被搜索概率的大小分為第一、第二、第三搜索區(qū)域，從而增強(qiáng)了特征定位算法的魯棒性的一種基于五官相關(guān)AAM模型的面部特征定位方法。本發(fā)明還有一目的是解決現(xiàn)有技術(shù)所存在的對遮擋比較敏感，當(dāng)遮擋面積較大時，準(zhǔn)確率不高等的技術(shù)問題；提供了一種根據(jù)人臉的面部五官劃分來處理遮擋誤差，降低了對遮擋的敏感度，提高了特征定位的準(zhǔn)確率的一種基于五官相關(guān)AAM模型的面部特征定位方法。本發(fā)明再有一目的是解決現(xiàn)有技術(shù)所存在的搜索方式效率較低等的技術(shù)問題；提供了一種對模型搜索過程進(jìn)行優(yōu)化，不僅提高了模型搜索的效率，而且盡量避免了可能出現(xiàn)的局部最優(yōu)化問題的一種基于五官相關(guān)AAM模型的面部特征定位方法。本發(fā)明的上述技術(shù)問題主要是通過下述技術(shù)方案得以解決的一種基于五官相關(guān)AAM模型的面部特征定位方法，其特征在于，包括以下步驟步驟1，基于樣本圖像集，分別對每個面部器官建模，訓(xùn)練得到與每個面部器官對應(yīng)的五官相關(guān)AAM模型；步驟2，在面部區(qū)域初始定位時利用Haar特征人臉檢測技術(shù)，確定上述每個AAM模型的搜索區(qū)域，并對其按照被搜索的概率進(jìn)行分類；步驟3，在AAM模型擬合計算部分，基于五官的遮擋權(quán)值對每個面部器官分別進(jìn)行誤差計算，然后通過能量函數(shù)綜合評價模型與圖像的擬合程度；步驟4，使用遺傳算法對已完成步驟3同時結(jié)合步驟2的分類進(jìn)行AAM模型擬合過程的搜索優(yōu)化。在上述的一種基于五官相關(guān)AAM模型的面部特征定位方法，所述的步驟1中，基于樣本圖像集，分別對每個面部器官建模，訓(xùn)練得到五官相關(guān)AAM模型，包括以下步驟步驟1. 1，選取人臉數(shù)據(jù)庫，對圖像中的人臉進(jìn)行手工的特征點(diǎn)標(biāo)記；步驟1.2，基于步驟1. 1所標(biāo)記的特征點(diǎn)，對人臉進(jìn)行基于Delaimay三角化的 Delaunay三角劃分，并按五官的不同，訓(xùn)練得到各自的形狀模型；然后在五官對應(yīng)的三角網(wǎng)格區(qū)域進(jìn)行線性仿射，訓(xùn)練得到各自的紋理模型；融合形狀模型和紋理模型最終得到 AAM模型，五官分別為左眼睛和左眉毛、右眼睛和右眉毛、鼻子、嘴巴以及面部輪廓。在上述的一種基于五官相關(guān)AAM模型的面部特征定位方法，所述步驟2中在面部區(qū)域初始定位時利用Haar特征人臉檢測技術(shù)，確定AAM模型的搜索區(qū)域，并對其按照被搜索的概率進(jìn)行分類，包括以下子步驟步驟2. 1，利用級聯(lián)的Haar特征分類器對圖像進(jìn)行人臉檢測；步驟2. 2，如果檢測到人臉或類似人臉區(qū)域，對其進(jìn)行三個優(yōu)先級別的劃分，按照被搜索概率的大小分為第一、第二、第三搜索區(qū)域；步驟2. 3，如果檢測不到人臉區(qū)域，則在整個圖像空間進(jìn)行AAM模型的搜索。在上述的一種基于五官相關(guān)AAM模型的面部特征定位方法，所述步驟3中在AAM 模型擬合計算部分，基于五官的遮擋權(quán)值對每個面部器官分別進(jìn)行誤差計算，然后通過能量函數(shù)綜合評價模型與圖像的擬合程度，包括以下子步驟步驟3. 1，在AAM模型中，分別計算不同器官區(qū)域的紋理統(tǒng)計信息，即模型歸一化后各個器官區(qū)域的紋理平均值；步驟3. 2，將五官相關(guān)AAM模型應(yīng)用于面部無遮擋的樣本圖像集，確定樣本圖像的五官后，分別計算每個器官區(qū)域的紋理統(tǒng)計信息，即圖像歸一化后各個器官區(qū)域的紋理平均值；步驟3. 3，以圖像紋理均值與模型紋理均值的比值作為器官的遮擋權(quán)值，基于面部無遮擋樣本圖像集在模型擬合計算中反復(fù)迭代的所有結(jié)果，確定各個器官區(qū)域的最大和最小遮擋權(quán)值；步驟3. 4，針對待處理的非樣本圖像，計算五官相關(guān)AAM模型擬合過程中各器官的遮擋權(quán)值，如果權(quán)值在該器官最小和最大權(quán)值之間，認(rèn)為無遮擋，否則判斷為遮擋，遮擋時當(dāng)前圖像器官紋理值取代為相應(yīng)的樣本圖像器官紋理平均值；
步驟3. 5，對于因樣本圖像集特征空間有限而可能導(dǎo)致的判斷錯誤，通過均值濾波的方法對擬合過程中誤差向量序列的噪聲進(jìn)行濾波處理。在上述的一種基于五官相關(guān)AAM模型的面部特征定位方法，所述步驟4中使用遺傳算法對AAM模型擬合過程進(jìn)行搜索優(yōu)化，包括以下子步驟步驟4. 1，引入遺傳算法對AAM模型的搜索過程進(jìn)行優(yōu)化，按照概率大小分別在第一、第二、第三搜索區(qū)域中選取個體形成種群，并采用適當(dāng)?shù)倪z傳策略；步驟4. 2，通過基于樣本圖像的一系列實(shí)驗，確定遺傳算法各個參數(shù)的值；步驟4. 3，使用遺傳算法進(jìn)行AAM模型的擬合計算，在圖像搜索中同時考慮模型的平移、縮放、旋轉(zhuǎn)變換。在上述的一種基于五官相關(guān)AAM模型的面部特征定位方法，所述的步驟1.2中， 基于手工標(biāo)記的特征點(diǎn)集進(jìn)行Delaimay三角化，把人臉區(qū)域劃分為包括左眼、右眼、鼻子、 嘴巴、面部輪廓在內(nèi)的5個器官，形狀模型S因此可表達(dá)為五官的組合，即S = (SeyeL, SeyeE, Snose, Sfflouth, S。utliJ，其中各個器官區(qū)域的三角網(wǎng)格構(gòu)成描述如下左眼(包括眼睛和眉毛)對應(yīng)的三角網(wǎng)格SeyeL = {TriangleLi i e [1，Nl] }其中Triangleu為位于左眼區(qū)域的三角網(wǎng)格，Nl是該區(qū)域三角形數(shù)目；右眼(包括眼睛和眉毛)對應(yīng)的三角網(wǎng)格SeyeE = {TriangleEi i e [1，Nj}其中Triangle為位于右眼區(qū)域的三角網(wǎng)格，Ne是該區(qū)域三角形數(shù)目；鼻子對應(yīng)的三角網(wǎng)格Snose = {TriangleNi i e [1，Nj}其中Triangle為位于鼻子區(qū)域的三角網(wǎng)格，Nn是該區(qū)域三角形數(shù)目；嘴巴對應(yīng)的三角網(wǎng)格Smouth = {TriangleMi i e [1，Nj}其中Triangle為位于嘴巴區(qū)域的三角網(wǎng)格， 是該區(qū)域三角形數(shù)目；面部輪廓對應(yīng)的三角網(wǎng)格Soutline = (Triangle0i |i e [1,N0]}其中Triangle為位于面部輪廓區(qū)域的三角網(wǎng)格，N0是該區(qū)域三角形數(shù)目。在上述的一種基于五官相關(guān)AAM模型的面部特征定位方法，所述的步驟1. 2中，根據(jù)手工標(biāo)記及三角化的結(jié)果，訓(xùn)練得到五官各自的形狀模型，經(jīng)過歸一化和PCA處理后的形狀模型S可表示為
權(quán)利要求
1.一種基于五官相關(guān)AAM模型的面部特征定位方法，其特征在于，包括以下步驟 步驟1，基于樣本圖像集，分別對每個面部器官建模，訓(xùn)練得到與每個面部器官對應(yīng)的五官相關(guān)AAM模型；步驟2，在面部區(qū)域初始定位時利用Haar特征人臉檢測技術(shù)，確定上述每個AAM模型的搜索區(qū)域，并對其按照被搜索的概率進(jìn)行分類；步驟3，在AAM模型擬合計算部分，基于五官的遮擋權(quán)值對每個面部器官分別進(jìn)行誤差計算，然后通過能量函數(shù)綜合評價模型與圖像的擬合程度；步驟4，使用遺傳算法對已完成步驟3同時結(jié)合步驟2的分類進(jìn)行AAM模型擬合過程的搜索優(yōu)化。
2.根據(jù)權(quán)利要求1所述的一種基于五官相關(guān)AAM模型的面部特征定位方法，其特征在于，所述的步驟1中，基于樣本圖像集，分別對每個面部器官建模，訓(xùn)練得到五官相關(guān)AAM模型，包括以下步驟步驟1. 1，選取人臉數(shù)據(jù)庫，對圖像中的人臉進(jìn)行手工的特征點(diǎn)標(biāo)記； 步驟1.2，基于步驟1. 1所標(biāo)記的特征點(diǎn)，對人臉進(jìn)行基于Delaimay三角化的 Delaunay三角劃分，并按五官的不同，訓(xùn)練得到各自的形狀模型；然后在五官對應(yīng)的三角網(wǎng)格區(qū)域進(jìn)行線性仿射，訓(xùn)練得到各自的紋理模型；融合形狀模型和紋理模型最終得到 AAM模型，五官分別為左眼睛和左眉毛、右眼睛和右眉毛、鼻子、嘴巴以及面部輪廓。
3.根據(jù)權(quán)利要求1所述的一種基于五官相關(guān)AAM模型的面部特征定位方法，其特征在于，所述步驟2中在面部區(qū)域初始定位時利用Haar特征人臉檢測技術(shù)，確定AAM模型的搜索區(qū)域，并對其按照被搜索的概率進(jìn)行分類，包括以下子步驟步驟2. 1，利用級聯(lián)的Haar特征分類器對圖像進(jìn)行人臉檢測； 步驟2. 2，如果檢測到人臉或類似人臉區(qū)域，對其進(jìn)行三個優(yōu)先級別的劃分，按照被搜索概率的大小分為第一、第二、第三搜索區(qū)域；步驟2. 3，如果檢測不到人臉區(qū)域，則在整個圖像空間進(jìn)行AAM模型的搜索。
4.根據(jù)權(quán)利要求1所述的一種基于五官相關(guān)AAM模型的面部特征定位方法，其特征在于，所述步驟3中在AAM模型擬合計算部分，基于五官的遮擋權(quán)值對每個面部器官分別進(jìn)行誤差計算，然后通過能量函數(shù)綜合評價模型與圖像的擬合程度，包括以下子步驟步驟3. 1，在AAM模型中，分別計算不同器官區(qū)域的紋理統(tǒng)計信息，即模型歸一化后各個器官區(qū)域的紋理平均值；步驟3. 2，將五官相關(guān)AAM模型應(yīng)用于面部無遮擋的樣本圖像集，確定樣本圖像的五官后，分別計算每個器官區(qū)域的紋理統(tǒng)計信息，即圖像歸一化后各個器官區(qū)域的紋理平均值；步驟3. 3，以圖像紋理均值與模型紋理均值的比值作為器官的遮擋權(quán)值，基于面部無遮擋樣本圖像集在模型擬合計算中反復(fù)迭代的所有結(jié)果，確定各個器官區(qū)域的最大和最小遮擋權(quán)值；步驟3. 4，針對待處理的非樣本圖像，計算五官相關(guān)AAM模型擬合過程中各器官的遮擋權(quán)值，如果權(quán)值在該器官最小和最大權(quán)值之間，認(rèn)為無遮擋，否則判斷為遮擋，遮擋時當(dāng)前圖像器官紋理值取代為相應(yīng)的樣本圖像器官紋理平均值；步驟3. 5，對于因樣本圖像集特征空間有限而可能導(dǎo)致的判斷錯誤，通過均值濾波的方法對擬合過程中誤差向量序列的噪聲進(jìn)行濾波處理。
5.根據(jù)權(quán)利要求1所述的一種基于五官相關(guān)AAM模型的面部特征定位方法，其特征在于，所述步驟4中使用遺傳算法對AAM模型擬合過程進(jìn)行搜索優(yōu)化，包括以下子步驟步驟4. 1，引入遺傳算法對AAM模型的搜索過程進(jìn)行優(yōu)化，按照概率大小分別在第一、 第二、第三搜索區(qū)域中選取個體形成種群，并采用適當(dāng)?shù)倪z傳策略；步驟4. 2，通過基于樣本圖像的一系列實(shí)驗，確定遺傳算法各個參數(shù)的值； 步驟4. 3，使用遺傳算法進(jìn)行AAM模型的擬合計算，在圖像搜索中同時考慮模型的平移、縮放、旋轉(zhuǎn)變換。
6.根據(jù)權(quán)利要求1所述的一種基于五官相關(guān)AAM模型的面部特征定位方法， 其特征在于，所述的步驟1.2中，基于手工標(biāo)記的特征點(diǎn)集進(jìn)行Delaimay三角化， 把人臉區(qū)域劃分為包括左眼、右眼、鼻子、嘴巴、面部輪廓在內(nèi)的5個器官，形狀模型 S因此可表達(dá)為五官的組合，即
7.根據(jù)權(quán)利要求1所述的一種基于五官相關(guān)AAM模型的面部特征定位方法，其特征在于，所述的步驟1. 2中，根據(jù)手工行l(wèi)·己及三角化的結(jié)果，訓(xùn)練得到五官各自的形狀模型，經(jīng)過歸一化和PCA處理后的形狀模型S可表示為
8.根據(jù)權(quán)利要求1所述的一種基于五官相關(guān)AAM模型的面部特征定位方法，其特征在于，所述步驟2. 2中，根據(jù)檢測到的人臉，對AAM模型的搜索區(qū)域按照被搜索的概率劃分為 3類，即第一、第二、第三搜索區(qū)域，分別表述如下第一搜索區(qū)域，人臉矩形框中心點(diǎn)的K鄰域(如10*10區(qū)域)，為AAM模型與輸入圖像之間最有可能實(shí)現(xiàn)擬合的區(qū)域，該區(qū)域被搜索的概率為P ；第二搜索區(qū)域，位于人臉矩形框中心點(diǎn)K鄰域之外與人臉矩形框之內(nèi)的區(qū)域，該區(qū)域被搜索的概率為；第三搜索區(qū)域，位于人臉矩形框之外的整個圖像空間的剩余區(qū)域，該區(qū)域被搜索的概率為F'.所述三個搜索區(qū)域的被搜索概率間的關(guān)系為
9.根據(jù)權(quán)利要求1所述的一種基于五官相關(guān)AAM模型的面部特征定位方法，其特征在于，所述步驟3. 1中，具體操作方法如下將人臉區(qū)域劃分為5個器官，各器官的模型紋理均值的計算公式如下，其中，戎功表示像素ι對應(yīng)的紋理特征向量左眼(包括眼睛和眉毛)的模型紋理均值
全文摘要
本發(fā)明涉及一種針對復(fù)雜場景中部分遮擋圖像的面部特征定位方法。本發(fā)明包括基于樣本圖像集，分別對每個面部器官建模，訓(xùn)練得到五官相關(guān)的AAM模型；在面部區(qū)域初始定位時利用Haar特征人臉檢測技術(shù)，確定AAM模型的搜索區(qū)域，并對其按照被搜索的概率進(jìn)行分類；在AAM模型擬合計算部分，基于五官的遮擋權(quán)值對每個面部器官分別進(jìn)行誤差計算，然后通過能量函數(shù)綜合評價模型與圖像的擬合程度；使用遺傳算法對AAM模型擬合過程進(jìn)行搜索優(yōu)化。相比現(xiàn)有的相關(guān)算法，本發(fā)明可以對部分遮擋人臉圖像的面部特征作出更加精確的定位，在保證更高準(zhǔn)確率的同時，增強(qiáng)了算法的魯棒性，提高了算法的效率。
文檔編號G06K9/66GK102270308SQ20111020502
公開日2011年12月7日 申請日期2011年7月21日 優(yōu)先權(quán)日2011年7月21日
發(fā)明者李磊, 袁志勇, 趙儉輝 申請人:武漢大學(xué)