一種基于人眼優(yōu)先擬合的人臉特征點(diǎn)跟蹤方法
【專利摘要】本發(fā)明提出了一種基于人眼優(yōu)先擬合的人臉特征點(diǎn)跟蹤方法，其特征在于：包含了人臉姿態(tài)估計(jì)與更新、人眼的檢測(cè)與跟蹤以及基于反向合成算法的人眼優(yōu)先擬合與人臉剩余部件的擬合步驟：本發(fā)明解決了在人臉特征點(diǎn)跟蹤時(shí)，人臉姿態(tài)出現(xiàn)大幅度偏轉(zhuǎn)、人臉模型的初始位置與目標(biāo)位置偏離較大時(shí)，出現(xiàn)人臉特征點(diǎn)跟蹤丟失，跟蹤準(zhǔn)確低等問題，提高了視頻人臉特征點(diǎn)跟蹤的準(zhǔn)確性、實(shí)時(shí)性和魯棒性。
【專利說明】一種基于人眼優(yōu)先擬合的人臉特征點(diǎn)跟蹤方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像模式識(shí)別領(lǐng)域，尤其涉及一種基于人眼優(yōu)先擬合的人臉特征點(diǎn)跟 蹤方法。

【背景技術(shù)】
[0002] 人臉特征點(diǎn)跟蹤在人機(jī)交互、視頻監(jiān)控等領(lǐng)域得到了廣泛的應(yīng)用，成為當(dāng)前計(jì)算 機(jī)視覺研究領(lǐng)域中研究熱點(diǎn)。傳統(tǒng)的人臉跟蹤技術(shù)是對(duì)目標(biāo)人臉?biāo)诿恳粠奈恢眠M(jìn)行 標(biāo)記，而人臉特征點(diǎn)的跟蹤不僅能確定目標(biāo)人臉的位置，同時(shí)還能夠準(zhǔn)確的描述人臉各 部件特征點(diǎn)的位置。目前人臉特征點(diǎn)的定位與跟蹤主要采用的是主動(dòng)外觀模型（Active AppearanceModel,AAM)并此基礎(chǔ)上研究人員進(jìn)行了大量的改進(jìn)，在人臉與其他非剛體的 識(shí)別中得到了廣泛應(yīng)用。
[0003]AAM模型是通過統(tǒng)計(jì)學(xué)習(xí)建立目標(biāo)人臉的形狀和紋理模型，由于AAM模型使用的 是人臉的全局表觀，對(duì)人臉具有較強(qiáng)的描述能力。使用傳統(tǒng)的AAM模型進(jìn)行人臉特征點(diǎn)跟 蹤時(shí)是通過對(duì)形狀與紋理模型賦予初值，以迭代的方式求解模型的增加量對(duì)模型的參數(shù)進(jìn) 行更新，算法的計(jì)算量較大，無法實(shí)現(xiàn)實(shí)時(shí)的人臉特征點(diǎn)跟蹤。目前主流的人臉特征點(diǎn)跟蹤 技術(shù)采用的是反向合成擬合（InverseCompositional)算法實(shí)現(xiàn)人臉與AAM人臉模型的 擬合，該算法是通過計(jì)算AAM模型的反向增量，使得在迭代尋優(yōu)的計(jì)算過程中所需的梯度 與Hessian保持不變，降低了算法計(jì)算代價(jià)，然而當(dāng)AAM模型的初始位置與目標(biāo)位置偏離較 大，或者人臉姿態(tài)出現(xiàn)較大幅度轉(zhuǎn)動(dòng)時(shí)，將對(duì)算法的擬合效率與精確度產(chǎn)生較大的影響，最 終導(dǎo)致人臉特征點(diǎn)跟蹤失敗。因此同時(shí)解決人臉特征點(diǎn)跟蹤過程中魯棒性與準(zhǔn)確性方面的 問題具有重要的研究意義。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于解決人臉模型的初始位置與目標(biāo)人臉偏離較大、人臉出現(xiàn)大幅 度偏轉(zhuǎn)以及人臉特征點(diǎn)跟蹤不精確的問題，提出一種基于人眼優(yōu)先擬合的人臉特征點(diǎn)跟蹤 方法。
[0005] 為解決上述技術(shù)問題，本發(fā)明采用以下技術(shù)方案：
[0006] -種基于人眼優(yōu)先擬合的人臉特征點(diǎn)跟蹤方法，其特征在于：包含了人臉姿態(tài)估 計(jì)與更新、人眼的檢測(cè)與跟蹤以及基于反向合成算法的人眼優(yōu)先擬合與人臉剩余部件的擬 合步驟：
[0007] 首先對(duì)歸一化后的訓(xùn)練樣本進(jìn)行主成分分析，建立人眼與人臉剩余部件的AAM形 狀模型；
[0008] 然后，應(yīng)用支持向量機(jī)算法建立人臉偏轉(zhuǎn)模型，估算出當(dāng)前人臉的偏轉(zhuǎn)角度并對(duì) 人臉姿態(tài)偏轉(zhuǎn)模型中的參數(shù)進(jìn)行實(shí)時(shí)更新，有效解決人臉姿態(tài)大幅度偏轉(zhuǎn)問題；與此同時(shí)， 使用強(qiáng)跟蹤卡爾曼濾波算法進(jìn)行人眼跟蹤，獲取的當(dāng)前準(zhǔn)確的人眼位置坐標(biāo)；
[0009] 將人眼位置坐標(biāo)與人臉姿態(tài)信息相結(jié)合對(duì)反向合成算法中的參數(shù)進(jìn)行更新，使用 人眼形狀模型優(yōu)先對(duì)人眼區(qū)域進(jìn)行特征點(diǎn)擬合，當(dāng)人眼特征點(diǎn)擬合完成后再對(duì)剩余人臉部 件特征點(diǎn)進(jìn)行擬合。
[0010] 上述技術(shù)方案中，基于人眼優(yōu)先擬合的人臉特征點(diǎn)跟蹤方法的具體實(shí)現(xiàn)步驟如 下：
[0011] 步驟SI:對(duì)訓(xùn)練集中所有樣本中的人眼與人臉剩余部件特征點(diǎn)的二維坐標(biāo)進(jìn)行 中心、尺度和方向歸一化，將所有歸一化的形狀向量進(jìn)行主成分分析建立人眼與人臉剩余 部件的AAM形狀模型；
[0012] 步驟S2 :使用Opencv開源視覺庫，按照所設(shè)定幀率讀取攝像頭中的視頻流，作為 算法的數(shù)據(jù)輸入；
[0013] 步驟S3:應(yīng)用支持向量機(jī)算法對(duì)人臉姿態(tài)進(jìn)行檢測(cè)，計(jì)算出人臉偏轉(zhuǎn)角度，使用 人臉偏轉(zhuǎn)角度對(duì)人臉偏轉(zhuǎn)模型中的參數(shù)進(jìn)行更新；與此同時(shí)，使用Adaboost算法與強(qiáng)跟蹤 Kalman濾波對(duì)人眼進(jìn)行檢測(cè)跟蹤，獲取人眼的準(zhǔn)確位置坐標(biāo)；
[0014] 步驟S4:使用人眼位置坐標(biāo)與人臉姿態(tài)信息對(duì)AAM模型的反向合成算法中參數(shù)進(jìn) 行優(yōu)化，進(jìn)行人眼特征點(diǎn)的優(yōu)先擬合，若擬合成功，對(duì)人臉剩余部件特征點(diǎn)進(jìn)行擬合，否則 丟棄當(dāng)前幀，程序跳轉(zhuǎn)至步驟S2順序執(zhí)行；
[0015] 步驟S5:應(yīng)用反向合成算法對(duì)人臉剩余部件特征點(diǎn)進(jìn)行擬合，若擬合成功則對(duì)下 一幀圖像進(jìn)行人臉特征點(diǎn)跟蹤，否則丟棄當(dāng)前幀，程序跳轉(zhuǎn)至步驟S2順序執(zhí)行。
[0016] 上述技術(shù)方案中，步驟Sl:人眼形狀模型與人臉剩余部件的AAM形狀模型的建立 方法，包含了以下步驟：
[0017] 步驟Sll:建立人眼的形狀模型：通過對(duì)人眼特征點(diǎn)的二維坐標(biāo)進(jìn)行中心、尺度和 方向歸一化，在對(duì)訓(xùn)練集中所有歸一化的形狀向量進(jìn)行主成分分析；建立人眼AAM形狀模 型；
[0018] 步驟S12:建立人臉剩余部件的形狀模型：通過對(duì)人臉剩余部件的二維坐標(biāo)進(jìn)行 中心、尺度和方向歸一化，在對(duì)訓(xùn)練集中所有歸一化的形狀向量進(jìn)行主成分分析；建立人臉 剩余部件的AAM形狀模型。
[0019] 上述技術(shù)方案中，步驟S3具體包含以下步驟：
[0020] 步驟S31，人臉偏轉(zhuǎn)角度的估計(jì)，采用支持向量機(jī)算法對(duì)大量人臉樣本進(jìn)行學(xué)習(xí)， 建立人臉姿態(tài)的分類器，使用該分類器對(duì)當(dāng)前人臉進(jìn)行檢測(cè)，估算出當(dāng)前人臉的偏轉(zhuǎn)角度， 根據(jù)該偏轉(zhuǎn)角度建立人臉的偏轉(zhuǎn)模型；
[0021] 步驟S32,應(yīng)用Adaboost算法對(duì)人臉進(jìn)行檢測(cè)，在檢測(cè)出人臉的區(qū)域內(nèi)進(jìn)行人眼 檢測(cè)并標(biāo)識(shí)出人眼的位置；在對(duì)人臉和人眼進(jìn)行檢測(cè)時(shí)，使用Haar特征進(jìn)行模型訓(xùn)練與檢 測(cè)；
[0022] 步驟S33,使用強(qiáng)跟蹤Kalman濾波算法對(duì)人眼進(jìn)行跟蹤，將算法檢測(cè)到的人眼位 置與人眼運(yùn)動(dòng)模型對(duì)下一幀圖像中人眼可能出現(xiàn)的位置進(jìn)行預(yù)測(cè)，并對(duì)該預(yù)測(cè)位置優(yōu)先進(jìn) 行檢測(cè)。
[0023] 步驟S32中Adaboost算法是一種自適應(yīng)增強(qiáng)（AdaptiveBoosting)的分類算法， 該算法的核心思想是通過自適應(yīng)調(diào)節(jié)訓(xùn)練樣本的權(quán)重分布，挑選出當(dāng)前權(quán)重分布下分類準(zhǔn) 確率較高的弱分類器，并根據(jù)權(quán)重的分布將弱分類器組合成強(qiáng)分類器。在對(duì)人臉和人眼進(jìn) 行檢測(cè)時(shí)，使用Haar特征進(jìn)行模型訓(xùn)練與檢測(cè)，由于Haar特征采用積分圖進(jìn)行求取，因此 耗費(fèi)在特征值計(jì)算上時(shí)間為常量，都是簡(jiǎn)單的加減運(yùn)算，使得算法具備較高的效率與精度。 步驟S33中強(qiáng)跟蹤Kalman濾波算法的使用對(duì)于穩(wěn)定人眼跟蹤精度具有重要作用。
[0024] 綜上，本發(fā)明所提出的基于人眼優(yōu)先擬合的AAM人臉特征點(diǎn)跟蹤算法，針對(duì)傳統(tǒng) 的AAM人臉特征點(diǎn)跟蹤算法對(duì)初始位置及人臉姿態(tài)與表情的變化較為敏感的問題，進(jìn)行了 研究，相對(duì)于現(xiàn)有方法，有以下幾方面的有益效果：1)建立了人臉姿態(tài)偏轉(zhuǎn)模型，為人臉跟 蹤提供準(zhǔn)確的姿態(tài)信息，有效解決了人臉姿態(tài)大幅度偏轉(zhuǎn)問題；2)使用強(qiáng)跟蹤Kalman濾波 算法對(duì)人眼進(jìn)行實(shí)時(shí)準(zhǔn)確的跟蹤，為特征點(diǎn)的擬合提供了準(zhǔn)確的初始位置；3)提出了一種 人眼優(yōu)先擬合的策略，根據(jù)人眼跟蹤算法所提供的人眼坐標(biāo)，優(yōu)先對(duì)人眼進(jìn)行擬合。本發(fā)明 方法解決了在進(jìn)行人臉特征點(diǎn)跟蹤時(shí)，當(dāng)人臉姿態(tài)出現(xiàn)大幅度偏轉(zhuǎn)以及人臉模型的初始位 置與目標(biāo)位置偏離較大時(shí)，容易導(dǎo)致人臉特征點(diǎn)跟蹤丟失，跟蹤準(zhǔn)確低等問題。本發(fā)明方法 提高了視頻人臉特征點(diǎn)跟蹤的準(zhǔn)確性、實(shí)時(shí)性和魯棒性。

【專利附圖】

【附圖說明】
[0025] 圖1是本發(fā)明基于人眼優(yōu)先擬合的人臉特征點(diǎn)跟蹤方法流程圖；
[0026] 圖2是本發(fā)明方法中人眼形狀模型；
[0027] 圖3是本發(fā)明方法中人臉剩余部件模型；
[0028] 圖4是根據(jù)本發(fā)明方法對(duì)正面人臉進(jìn)行特征點(diǎn)跟蹤的結(jié)果示意圖，圖中所有藍(lán) 色的圓點(diǎn)為本發(fā)明方法所跟蹤到的人臉特征點(diǎn)，白色的連線為根據(jù)人臉特征點(diǎn)構(gòu)建的 Delaunay三角網(wǎng)；
[0029] 圖5是根據(jù)本發(fā)明方法對(duì)快速運(yùn)動(dòng)的人臉進(jìn)行特征點(diǎn)跟蹤結(jié)果示意圖，圖中所有 藍(lán)色的圓點(diǎn)為本發(fā)明方法所跟蹤到的人臉特征點(diǎn)，白色的連線為根據(jù)人臉特征點(diǎn)構(gòu)建的 Delaunay三角網(wǎng)；
[0030] 圖6是根據(jù)本發(fā)明方法對(duì)具有表情變化與小角度偏轉(zhuǎn)的人臉進(jìn)行特征點(diǎn)跟蹤結(jié) 果示意圖，圖中所有藍(lán)色的圓點(diǎn)為本發(fā)明方法所跟蹤到的人臉特征點(diǎn)，白色的連線為根據(jù) 人臉特征點(diǎn)構(gòu)建的Delaunay三角網(wǎng)；
[0031] 圖7是根據(jù)本發(fā)明方法對(duì)存在大角度偏轉(zhuǎn)的人臉進(jìn)行特征點(diǎn)跟蹤結(jié)果示意圖，圖 中所有藍(lán)色的圓點(diǎn)為本發(fā)明方法所跟蹤到的人臉特征點(diǎn)，白色的連線為根據(jù)人臉特征點(diǎn)構(gòu) 建的Delaunay三角網(wǎng)。

【具體實(shí)施方式】
[0032] 為了進(jìn)一步說明本發(fā)明的技術(shù)方案與優(yōu)勢(shì)，通過具體實(shí)施例并結(jié)合附圖，對(duì)本發(fā) 明進(jìn)行詳細(xì)的說明。
[0033] 圖1為本發(fā)明基于人眼優(yōu)先擬合的人臉特征點(diǎn)跟蹤方法流程圖，該檢測(cè)方法包含 以下步驟：
[0034] 步驟SI :對(duì)訓(xùn)練集中所有樣本中的人眼（如圖2)與人臉剩余部件特征點(diǎn)（如圖 3)的二維坐標(biāo)進(jìn)行中心、尺度和方向歸一化，將所有歸一化的形狀向量進(jìn)行主成分分析建 立人眼形狀模型與人臉除人眼外的面部剩余部件的AAM形狀模型；
[0035] 人眼形狀模型與人臉剩余部件的AAM形狀模型的建立方法，包含了以下步驟：
[0036] 步驟Sll :建立人眼的形狀模型，如圖2所示。為了實(shí)現(xiàn)人眼的優(yōu)先擬合，需要建 立人眼與人臉剩余部件的AAM形狀模型，在本發(fā)明中使用的68個(gè)特征點(diǎn)對(duì)人臉輪廓進(jìn)行描 述，其中人眼由22個(gè)特征點(diǎn)，如圖3所示，人臉剩余部件由46個(gè)特征點(diǎn)構(gòu)成。通過對(duì)人眼 特征點(diǎn)的二維坐標(biāo)進(jìn)行中心、尺度和方向歸一化，在對(duì)訓(xùn)練集中所有歸一化的形狀向量進(jìn) 行主成分分析，這樣人眼形狀模型可以表示為：
[0037]

【權(quán)利要求】
1. 一種基于人眼優(yōu)先擬合的人臉特征點(diǎn)跟蹤方法，其特征在于：包含了人臉姿態(tài)估計(jì) 與更新、人眼的檢測(cè)與跟蹤以及基于反向合成算法的人眼優(yōu)先擬合與人臉剩余部件的擬合 步驟： 首先對(duì)歸一化后的訓(xùn)練樣本進(jìn)行主成分分析，建立人眼與人臉剩余部件的AAM形狀模 型； 然后，應(yīng)用支持向量機(jī)算法建立人臉偏轉(zhuǎn)模型，估算出當(dāng)前人臉的偏轉(zhuǎn)角度并對(duì)人臉 姿態(tài)偏轉(zhuǎn)模型中的參數(shù)進(jìn)行實(shí)時(shí)更新，有效解決人臉姿態(tài)大幅度偏轉(zhuǎn)問題；與此同時(shí)，使用 強(qiáng)跟蹤卡爾曼濾波算法進(jìn)行人眼跟蹤，獲取的當(dāng)前準(zhǔn)確的人眼位置坐標(biāo)； 將人眼位置坐標(biāo)與人臉姿態(tài)信息相結(jié)合對(duì)反向合成算法中的參數(shù)進(jìn)行更新，使用人眼 形狀模型優(yōu)先對(duì)人眼區(qū)域進(jìn)行特征點(diǎn)擬合，當(dāng)人眼特征點(diǎn)擬合完成后再對(duì)剩余人臉部件特 征點(diǎn)進(jìn)行擬合。
2. 根據(jù)權(quán)利要求1所述的基于人眼優(yōu)先擬合的人臉特征點(diǎn)跟蹤方法，其特征在于：該 基于人眼優(yōu)先擬合的人臉特征點(diǎn)跟蹤方法的具體實(shí)現(xiàn)步驟如下： 步驟Sl :對(duì)訓(xùn)練集中所有樣本中的人眼與人臉剩余部件特征點(diǎn)的二維坐標(biāo)進(jìn)行中心、 尺度和方向歸一化，將所有歸一化的形狀向量進(jìn)行主成分分析建立人眼與人臉剩余部件的 AAM形狀模型； 步驟S2 :使用Opencv開源視覺庫，按照所設(shè)定幀率讀取攝像頭中的視頻流，作為算法 的數(shù)據(jù)輸入； 步驟S3 :應(yīng)用支持向量機(jī)算法對(duì)人臉姿態(tài)進(jìn)行檢測(cè)，計(jì)算出人臉偏轉(zhuǎn)角度，使用人 臉偏轉(zhuǎn)角度對(duì)人臉偏轉(zhuǎn)模型中的參數(shù)進(jìn)行更新；與此同時(shí)，使用Adaboost算法與強(qiáng)跟蹤 Kalman濾波對(duì)人眼進(jìn)行檢測(cè)跟蹤，獲取人眼的準(zhǔn)確位置坐標(biāo)； 步驟S4 :使用人眼位置坐標(biāo)與人臉姿態(tài)信息對(duì)AAM模型的反向合成算法中參數(shù)進(jìn)行優(yōu) 化，進(jìn)行人眼特征點(diǎn)的優(yōu)先擬合，若擬合成功，對(duì)人臉剩余部件特征點(diǎn)進(jìn)行擬合，否則丟棄 當(dāng)前幀，程序跳轉(zhuǎn)至步驟S2順序執(zhí)行； 步驟S5 :應(yīng)用反向合成算法對(duì)人臉剩余部件特征點(diǎn)進(jìn)行擬合，若擬合成功則對(duì)下一幀 圖像進(jìn)行人臉特征點(diǎn)跟蹤，否則丟棄當(dāng)前幀，程序跳轉(zhuǎn)至步驟S2順序執(zhí)行。
3. 根據(jù)權(quán)利要求1所述的基于人眼優(yōu)先擬合的人臉特征點(diǎn)跟蹤方法，其特征在于：步 驟Sl :人眼形狀模型與人臉剩余部件的AAM形狀模型的建立方法，包含了以下步驟： 步驟Sll :建立人眼的形狀模型：通過對(duì)人眼特征點(diǎn)的二維坐標(biāo)進(jìn)行中心、尺度和方向 歸一化，在對(duì)訓(xùn)練集中所有歸一化的形狀向量進(jìn)行主成分分析；建立人眼AAM形狀模型； 步驟S12 :建立人臉剩余部件的形狀模型：通過對(duì)人臉剩余部件的二維坐標(biāo)進(jìn)行中心、 尺度和方向歸一化，在對(duì)訓(xùn)練集中所有歸一化的形狀向量進(jìn)行主成分分析；建立人臉剩余 部件的AAM形狀模型。
4. 根據(jù)權(quán)利要求1所述的基于人眼優(yōu)先擬合的人臉特征點(diǎn)跟蹤方法，其特征在于：步 驟S3具體包含以下步驟： 步驟S31，人臉偏轉(zhuǎn)角度的估計(jì)，采用支持向量機(jī)算法對(duì)大量人臉樣本進(jìn)行學(xué)習(xí)，建立 人臉姿態(tài)的分類器，使用該分類器對(duì)當(dāng)前人臉進(jìn)行檢測(cè)，估算出當(dāng)前人臉的偏轉(zhuǎn)角度，根據(jù) 該偏轉(zhuǎn)角度建立人臉的偏轉(zhuǎn)模型； 步驟S32,應(yīng)用Adaboost算法對(duì)人臉進(jìn)行檢測(cè)，在檢測(cè)出人臉的區(qū)域內(nèi)進(jìn)行人眼檢測(cè) 并標(biāo)識(shí)出人眼的位置；在對(duì)人臉和人眼進(jìn)行檢測(cè)時(shí)，使用Haar特征進(jìn)行模型訓(xùn)練與檢測(cè)； 步驟S33,使用強(qiáng)跟蹤Kalman濾波算法對(duì)人眼進(jìn)行跟蹤，將算法檢測(cè)到的人眼位置與 人眼運(yùn)動(dòng)模型對(duì)下一幀圖像中人眼可能出現(xiàn)的位置進(jìn)行預(yù)測(cè)，并對(duì)該預(yù)測(cè)位置優(yōu)先進(jìn)行檢 測(cè)。
【文檔編號(hào)】G06T7/20GK104318264SQ201410543159
【公開日】2015年1月28日 申請(qǐng)日期:2014年10月14日 優(yōu)先權(quán)日:2014年10月14日
【發(fā)明者】吳懷宇, 鐘銳, 吳若鴻, 李威凌, 程果 申請(qǐng)人:武漢科技大學(xué)