本發(fā)明涉及一種應(yīng)用于移動設(shè)備端的人臉關(guān)鍵點跟蹤系統(tǒng)及方法。

背景技術(shù)：

人臉跟蹤是在視頻或圖像序列中確定某個人臉的運動軌跡及大小變化的過程，是進(jìn)行動態(tài)人臉信息處理的第一個環(huán)節(jié)，在人機(jī)智能交互有著重要的應(yīng)用價值。

在傳統(tǒng)的人臉關(guān)鍵點定位系統(tǒng)中，對于視頻中的每一幀圖像都要經(jīng)過人臉檢測和人臉對準(zhǔn)這兩個步驟，才能獲得連續(xù)的人臉關(guān)鍵點定位，其中人臉檢測步驟即為獲取到初始人臉框，人臉對準(zhǔn)則為關(guān)鍵點的計算。這種方式下，效率較低，耗時長，易在交互過程中出現(xiàn)卡頓現(xiàn)象。

在多人臉模式的人臉跟蹤中，存在著人臉的增減的情況，因此在跟蹤的過程中如果需要同時進(jìn)行人臉檢測，在傳統(tǒng)的方法中對每一幀圖像都會進(jìn)行人臉檢測，存在著效率低，耗時長的問題。

上述問題是在人臉關(guān)鍵點跟蹤過程中應(yīng)當(dāng)予以考慮并解決的問題。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是提供一種應(yīng)用于移動設(shè)備端的人臉關(guān)鍵點跟蹤系統(tǒng)及方法，只需在第一幀進(jìn)行人臉初始框檢測，在后續(xù)的定位過程中采用跟蹤模式，采用上一幀的關(guān)鍵點定位作為當(dāng)前幀的輸入，節(jié)省計算時間，提高系統(tǒng)效率，解決現(xiàn)有技術(shù)中存在的上述問題。

本發(fā)明的技術(shù)解決方案是：

一種應(yīng)用于移動設(shè)備端的人臉關(guān)鍵點跟蹤系統(tǒng)，包括：

初始人臉框檢測模塊：讀入當(dāng)前幀圖像，獲取當(dāng)前幀圖像中人臉的位置，獲得初始人臉框；

人臉關(guān)鍵點回歸模型學(xué)習(xí)模塊：收集各角度的人臉訓(xùn)練圖像，通過標(biāo)定技術(shù)對所收集的人臉圖像進(jìn)行68個關(guān)鍵點的標(biāo)記，選擇基于隨機(jī)森林的LBF算法來進(jìn)行回歸模型的學(xué)習(xí)；

人臉關(guān)鍵點回歸計算模塊：包含檢測模式與跟蹤模式，檢測模式根據(jù)初始人臉框作為輸入人臉關(guān)鍵點回歸計算模型；跟蹤模式根據(jù)上一幀人臉形狀作為輸入當(dāng)前幀關(guān)鍵點回歸計算模型；

工作模式判定模塊：在第一幀采用檢測模式，進(jìn)行人臉初始框檢測；在后續(xù)的定位過程中采用跟蹤模式，采用上一幀的關(guān)鍵點定位作為當(dāng)前幀的輸入，通過統(tǒng)計方法計算當(dāng)前幀關(guān)鍵點模型與上一幀人臉關(guān)鍵點模型的關(guān)系來判斷當(dāng)前幀關(guān)鍵點模型是否處于跟蹤成功的狀態(tài)；

人臉關(guān)鍵點后處理模塊：通過濾波算法對人臉關(guān)鍵點位置進(jìn)行濾波，消除關(guān)鍵點的抖動；通過預(yù)先設(shè)置的參數(shù)對人臉x、y、z軸三個方向的旋轉(zhuǎn)角進(jìn)行估算，實現(xiàn)人臉姿態(tài)估算。

進(jìn)一步地，初始人臉框檢測模塊，具體為：

S11、利用人臉圖像提取其中的模式特征，包括色彩特征、直方圖特征或Haar特征；

S12、利用Adaboost算法組成級聯(lián)分類器利用提取的模式特征來獲取人臉位置的粗略估計；

S13、此時獲取的人臉粗略估計通常存在一定的漂移誤差，利用人眼位置來進(jìn)行矯正，采用opencv的人眼級聯(lián)檢測器來檢測人眼，獲取每一個人眼的中心位置；

S14、通過人眼的連線與水平位置的夾角來確定人臉框旋轉(zhuǎn)的矯正角度，再通過人眼坐標(biāo)和人臉框的坐標(biāo)關(guān)系來確定人臉框縮放的尺度因子與平移向量；

S15、通過上述計算得到的矯正參數(shù)，包括旋轉(zhuǎn)角度、縮放因子、平移向量，對粗略估計的人臉框進(jìn)行矯正，得到初始人臉框。

進(jìn)一步地，人臉關(guān)鍵點回歸模型學(xué)習(xí)模塊，具體為：

每個訓(xùn)練樣本包含一個訓(xùn)練圖像、一個初始人臉形狀和一個真實人臉形狀，再通過數(shù)據(jù)增強(qiáng)的方法在原始訓(xùn)練樣本的基礎(chǔ)上獲得更多的訓(xùn)練樣本；利用基于隨機(jī)森林的LBF算法對上述標(biāo)定的訓(xùn)練樣本計算得到特征映射函數(shù)，進(jìn)而計算得到局部LBF特征；將局部LBF特征組合起來得到一個全局的LBF特征，利用全局回歸算法對全局LBF特征進(jìn)行學(xué)習(xí)獲得一個全局線性回歸模型。

進(jìn)一步地，人臉關(guān)鍵點回歸計算模塊中檢測模式具體為：

S311、載入初始人臉框坐標(biāo)，計算歸一化的人臉框坐標(biāo)與初始人臉框坐標(biāo)的仿射變換矩陣；

S312、將平均人臉形狀，用S表示，按照上述放射變換矩陣投影到初始人臉框的坐標(biāo)系中，得到初始人臉框的平均人臉形狀，用S′表示；

S313、將上述S′放入級聯(lián)隨機(jī)森林回歸器中進(jìn)行逐級回歸計算，每一級回歸的輸出作為下一級回歸的輸入；

S314、在每一級的回歸器中，針對每一個關(guān)鍵點提取LBF特征算子，并且按照該特征算子來推算出關(guān)鍵點應(yīng)當(dāng)回歸的偏移量ΔS_i，其中i表示第i個特征點。

進(jìn)一步地，人臉關(guān)鍵點回歸計算模塊中跟蹤模式具體為：

S321、將平均人臉形狀，用S表示，與上一幀人臉形狀進(jìn)行歸一化計算，再分別計算兩個形狀的均方差，按照均方差的比列求得兩個形狀的比例因子；

S322、利用放射變換關(guān)系計算上述兩個歸一化后的人臉形狀的旋轉(zhuǎn)變換因子，按照比例因子與旋轉(zhuǎn)因子將平均人臉形狀變換到當(dāng)前人臉的坐標(biāo)系當(dāng)中，用S′表示；

S323、將上述S′放入級聯(lián)隨機(jī)森林回歸器中進(jìn)行逐級回歸計算，每一級回歸的輸出作為下一級回歸的輸入；

S324、在每一級的回歸器中，針對每一個關(guān)鍵點提取LBF特征算子，并且按照該特征算子來推算出關(guān)鍵點應(yīng)當(dāng)回歸的偏移量ΔS_i，其中i表示第i個特征點。

進(jìn)一步地，工作模式判定模塊具體為：

S41、記錄上一幀的人臉形狀坐標(biāo)，計算與當(dāng)前人臉形狀每一個關(guān)鍵點的坐標(biāo)的差值；

S42、計算所有關(guān)鍵點差值的均值及均方差；

S43、當(dāng)差值均值和均方差小于預(yù)設(shè)閾值時，判定當(dāng)前跟蹤成功；當(dāng)上述統(tǒng)計值大于預(yù)設(shè)閾值時，則判斷當(dāng)前跟蹤失敗。

進(jìn)一步地，人臉關(guān)鍵點后處理模塊：通過濾波算法對人臉關(guān)鍵點位置進(jìn)行濾波，具體為：

S51、利用一個n倍于人臉形狀大小的內(nèi)存空間存儲跟蹤成功的最近n幀的形狀坐標(biāo)，1≤n≤100，設(shè)置起始標(biāo)志位；

S52、利用存儲的有效n幀人臉形狀坐標(biāo)信息和卡爾曼濾波器對當(dāng)前得到的坐標(biāo)進(jìn)行濾波處理；

S53、將濾波后的形狀坐標(biāo)作為當(dāng)前幀的真實坐標(biāo)輸出。

進(jìn)一步地，還包括人臉重疊率計算模塊，人臉重疊率計算模塊：只應(yīng)用在多人臉跟蹤的情況下，設(shè)置檢測間隙，通過每隔一段檢測間隙后進(jìn)行一次檢測，將檢測中獲取的初始人臉框與跟蹤人臉形狀進(jìn)行重疊率計算，當(dāng)重疊率大于預(yù)設(shè)閾值時，則判定當(dāng)前初始人臉與跟蹤人臉為同一人臉，不進(jìn)行后續(xù)操作；若重疊率小于預(yù)設(shè)閾值時，判定當(dāng)前初始人臉為新加入人臉，調(diào)用檢測模式進(jìn)行人臉關(guān)鍵點回歸計算模塊。

一種使用上述應(yīng)用于移動設(shè)備端的人臉關(guān)鍵點跟蹤系統(tǒng)的方法，包括以下步驟：在讀入當(dāng)前幀圖像以后，通過判斷是否需要進(jìn)行人臉檢測，判斷依據(jù)為當(dāng)前是否達(dá)到規(guī)定的跟蹤人臉數(shù)以及是否滿足檢測間隙的要求，通過每隔一段檢測間隙后進(jìn)行一次檢測，進(jìn)行人臉檢測，則調(diào)用人臉檢測模塊獲取得到初始人臉，并對獲取的人臉進(jìn)行重疊率計算，判斷出是否有新增人臉，若有新增人臉則對其使用檢測模式的關(guān)鍵點回歸計算；若當(dāng)前幀不需要檢測人臉以及人臉檢測后仍需判斷是否存在成功跟蹤的人臉，若存在前幀中成功跟蹤的人臉，則對該人臉進(jìn)行跟蹤模式的關(guān)鍵點回歸計算；否則，返回重新讀入下一幀圖像。

進(jìn)一步地，將檢測中獲取的初始人臉框與跟蹤人臉關(guān)鍵點模型進(jìn)行重疊率計算，當(dāng)重疊率大于預(yù)設(shè)閾值時，則判定當(dāng)前初始人臉與跟蹤人臉為同一人臉，不進(jìn)行后續(xù)添加新增人臉以及不進(jìn)行檢測模式的關(guān)鍵點回歸計算的操作；；若重疊率小于預(yù)設(shè)閾值時，判定當(dāng)前初始人臉為新加入人臉，調(diào)用檢測模式進(jìn)行人臉關(guān)鍵點回歸計算模塊。

本發(fā)明的有益效果是：該種應(yīng)用于移動設(shè)備端的人臉關(guān)鍵點跟蹤系統(tǒng)及方法，為具有檢測模式和跟蹤模式的人臉關(guān)鍵點定位技術(shù)，只需在第一幀進(jìn)行人臉初始框檢測，在后續(xù)的定位過程中采用跟蹤模式，采用上一幀的關(guān)鍵點定位作為當(dāng)前幀的輸入，這樣，在跟蹤過程不用再次調(diào)用人臉檢測模塊，節(jié)省計算時間，提高系統(tǒng)效率。

附圖說明

圖1是本發(fā)明實施例應(yīng)用于移動設(shè)備端的人臉關(guān)鍵點跟蹤系統(tǒng)的說明框圖。

圖2是本發(fā)明實施例應(yīng)用于移動設(shè)備端的人臉關(guān)鍵點跟蹤方法的流程示意圖。

圖3是實施例中對所收集的人臉圖像進(jìn)行68個關(guān)鍵點的標(biāo)記示意圖。

圖4是實施例中人眼矯正的流程示意圖。

圖5是實施例中關(guān)鍵點計算實例的示意圖。

圖6是實施例系統(tǒng)在不同機(jī)型的性能測試結(jié)果示意圖。

具體實施方式

下面結(jié)合附圖詳細(xì)說明本發(fā)明的優(yōu)選實施例。

實施例

一種應(yīng)用于移動設(shè)備端的人臉關(guān)鍵點跟蹤系統(tǒng)，如圖1和圖5，包括初始人臉框檢測模塊、人臉關(guān)鍵點回歸模型學(xué)習(xí)模塊、人臉關(guān)鍵點回歸計算模塊、工作模式判定模塊和人臉關(guān)鍵點后處理模塊。其中人臉關(guān)鍵點回歸模型學(xué)習(xí)模塊屬于離線模塊，可事先離線學(xué)習(xí)出回歸模型；另外其他的模塊均為在線模塊，即為在系統(tǒng)工作流程上必須使用的模塊。

初始人臉框檢測模塊：獲取得到一個或者多個人臉的位置。具體為：

利用人臉圖像提取其中的模式特征，包括色彩特征、直方圖特征、Haar特征等；利用Adaboost算法組成級聯(lián)分類器利用上述特征來獲取人臉位置的粗略估計；此時獲取的人臉粗略估計通常存在一定的漂移誤差，因此實施例利用人眼位置來進(jìn)行矯正，如圖4，實施例同樣采用opencv的人眼級聯(lián)檢測器來檢測人眼，獲取每一個人眼的中心位置；通過人眼的連線與水平位置的夾角來確定人臉框旋轉(zhuǎn)的矯正角度，再通過人眼坐標(biāo)和人臉框的坐標(biāo)關(guān)系來確定人臉框縮放的尺度因子與平移向量；通過上述計算得到的矯正參數(shù)(旋轉(zhuǎn)角度、縮放因子、平移向量)對粗略估計的人臉框進(jìn)行矯正，得到初始人臉框。

人臉關(guān)鍵點回歸模型學(xué)習(xí)模塊：收集各個角度的人臉訓(xùn)練圖像，通過標(biāo)定技術(shù)對所收集的人臉圖像進(jìn)行68個關(guān)鍵點的標(biāo)記，如圖3所示。每個訓(xùn)練樣本包含一個訓(xùn)練圖像，一個初始人臉形狀，一個真實人臉形狀。再通過數(shù)據(jù)增強(qiáng)的方法在原始訓(xùn)練樣本的基礎(chǔ)上獲得更多的訓(xùn)練樣本。選擇基于隨機(jī)森林的LBF算法來進(jìn)行回歸模型的學(xué)習(xí)，學(xué)習(xí)過程主要包括：利用隨機(jī)森林對上述標(biāo)定的訓(xùn)練樣本計算得到特征映射函數(shù)，進(jìn)而計算得到局部LBF特征；將局部LBF特征組合起來得到一個全局的LBF特征，利用全局回回歸算法對全局LBF特征進(jìn)行學(xué)習(xí)獲得一個全局線性回歸模型。本發(fā)明采用多級級聯(lián)回歸的方法，每一級回歸模型都可由上述提取局部LBF特征以及全局回歸算法計算得到。

人臉關(guān)鍵點回歸計算模塊：包含檢測模式與跟蹤模式。

檢測模式：根據(jù)初始人臉框作為輸入回歸計算人臉關(guān)鍵點模型。具體流程如下：載入初始人臉框坐標(biāo)，計算歸一化的人臉框坐標(biāo)(頂點坐標(biāo)取值范圍為[0,1])與初始人臉框坐標(biāo)的仿射變換矩陣；將平均人臉形狀meanshape，用S表示，按照上述放射變換矩陣投影到初始人臉框的坐標(biāo)系中，得到初始人臉框的平均人臉形狀，用S′表示；將上述S′放入級聯(lián)隨機(jī)森林回歸器中進(jìn)行逐級回歸計算，每一級回歸的輸出作為下一級回歸的輸入；在每一級的回歸器中，針對每一個關(guān)鍵點提取LBF特征算子，并且按照該特征算子來推算出關(guān)鍵點應(yīng)當(dāng)回歸的偏移量ΔS_i，其中i表示第i個特征點。

跟蹤模式：根據(jù)上一幀人臉形狀作為輸入回歸計算當(dāng)前幀形狀模版。由于兩幀之間的位移較小，則能提高計算性能。具體流程如下：將平均人臉形狀(meanshape)，用S表示，與上一幀人臉形狀進(jìn)行零-均值歸一化計算，再分別計算兩個形狀的均方差，按照均方差的比列求得兩個形狀的比例因子。利用放射變換關(guān)系計算上述兩個歸一化人臉形狀的旋轉(zhuǎn)變換因子，按照比例因子與旋轉(zhuǎn)因子將平均人臉形狀變換到當(dāng)前人臉的坐標(biāo)系當(dāng)中，用S′表示；將上述S°放入級聯(lián)隨機(jī)森林回歸器中進(jìn)行逐級回歸計算，每一級回歸的輸出作為下一級回歸的輸入；在每一級的回歸器中，針對每一個關(guān)鍵點提取LBF特征算子，并且按照該特征算子來推算出關(guān)鍵點應(yīng)當(dāng)回歸的偏移量ΔS_i，其中i表示第i個特征點。

工作模式判定模塊：在傳統(tǒng)的人臉關(guān)鍵點定位系統(tǒng)中，對于視頻中的每一幀圖像都要經(jīng)過人臉檢測和人臉對準(zhǔn)這兩個步驟，才能獲得連續(xù)的人臉關(guān)鍵點定位，其中人臉檢測步驟即為獲取到初始人臉框，人臉對準(zhǔn)則為關(guān)鍵點的計算。本發(fā)明提出一種具有檢測模式和跟蹤模式的人臉關(guān)鍵點定位技術(shù)，只需在第一幀進(jìn)行人臉初始框檢測，在后續(xù)的定位過程中采用跟蹤模式，采用上一幀的關(guān)鍵點定位作為當(dāng)前幀的輸入，這樣做的好處為在跟蹤過程不用再次調(diào)用人臉檢測模塊，節(jié)省計算時間，提高系統(tǒng)效率。

實施例通過統(tǒng)計方法計算當(dāng)前幀人臉形狀與上一幀人臉形狀的關(guān)系來判斷當(dāng)前幀形狀是否處于跟蹤成功的狀態(tài)，具體的工作流程如下：

1).記錄上一幀的人臉形狀坐標(biāo)，計算與當(dāng)前形狀每一個關(guān)鍵點的坐標(biāo)的差值；

2).計算所有關(guān)鍵點差值的均值及均方差；

3).當(dāng)差值均值和均方差小于預(yù)設(shè)閾值時，判定當(dāng)前跟蹤成功；當(dāng)上述統(tǒng)計值大于預(yù)設(shè)閾值時，則判斷當(dāng)前跟蹤失敗。

實施例系統(tǒng)還包括人臉重疊率計算模塊即多人臉模式：該模塊只應(yīng)用在多人臉跟蹤的情況下，若只有一張人臉的跟蹤模式則不需要調(diào)用該模塊。在多人臉模式的人臉跟蹤中，存在著人臉的增減的情況，因此在跟蹤的過程中如果需要同時進(jìn)行人臉檢測，在傳統(tǒng)的方法中對每一幀圖像都會進(jìn)行人臉檢測。本發(fā)明中設(shè)置一個檢測間隙，即為不用每一幀都進(jìn)行人臉檢測，而是通過每隔一段檢測間隙后進(jìn)行一次檢測，將檢測中獲取的初始人臉框與跟蹤人臉形狀進(jìn)行重疊率計算。當(dāng)重疊率大于預(yù)設(shè)閾值時，則判定當(dāng)前初始人臉與跟蹤人臉為同一人臉，不進(jìn)行后續(xù)操作；若重疊率小于預(yù)設(shè)閾值時，判定當(dāng)前初始人臉為新加入人臉，調(diào)用檢測模式進(jìn)行人臉關(guān)鍵點回歸計算。本發(fā)明中的檢測間隙可設(shè)置為1-200幀，由于檢測間隙的設(shè)置，能夠大大提高本系統(tǒng)的工作效率。

人臉關(guān)鍵點后處理模塊：包括濾波模塊和人臉姿態(tài)估算模塊：

濾波模塊：通過卡爾曼濾波器等濾波算法對人臉關(guān)鍵點位置進(jìn)行濾波，以消除關(guān)鍵點的抖動。具體流程如下：利用一個n倍于人臉形狀大小的內(nèi)存空間存儲跟蹤成功的最近n幀人臉形狀坐標(biāo)，(1≤n≤100)，設(shè)置起始標(biāo)志位；利用存儲的有效n幀人臉形狀坐標(biāo)信息和卡爾曼濾波器對當(dāng)前得到的形狀坐標(biāo)進(jìn)行濾波處理；將濾波后的人臉形狀坐標(biāo)作為當(dāng)前幀的真實坐標(biāo)輸出。

姿態(tài)估算模塊：通過預(yù)先設(shè)置的參數(shù)對人臉xyz軸三個方向的旋轉(zhuǎn)角進(jìn)行估算。

對實施例系統(tǒng)在多款常見的手機(jī)上進(jìn)行了性能測試，每次測試分別記錄了10分鐘的單人臉/無人臉跟蹤過程中的CPU和內(nèi)存的占用情況以及平均單幀處理時間，展示在圖6表1-4中。從表中數(shù)據(jù)可以看出，本發(fā)明所提供的方法在CPU占用、內(nèi)存占用以及單幀處理時間這三個方面都有較好的表現(xiàn)。其中具體來說，本發(fā)明方法在CPU占用率上與現(xiàn)有的行業(yè)內(nèi)技術(shù)相比降低50％左右；此外，內(nèi)存占用率以及單幀處理時間這兩項指標(biāo)與現(xiàn)有方法比較出入不大，均處于行業(yè)內(nèi)領(lǐng)先水平，能夠?qū)崿F(xiàn)移動端實時的人臉關(guān)鍵點檢測與跟蹤，滿足二次開發(fā)的性能需求。

一種使用上述應(yīng)用于移動設(shè)備端的人臉關(guān)鍵點跟蹤系統(tǒng)的方法，圖2，包括以下步驟：在讀入當(dāng)前幀圖像以后，通過判斷是否需要進(jìn)行人臉檢測，判斷依據(jù)為當(dāng)前是否達(dá)到規(guī)定的跟蹤人臉數(shù)以及是否滿足檢測間隙的要求，通過每隔一段檢測間隙后進(jìn)行一次檢測，進(jìn)行人臉檢測，則調(diào)用人臉檢測模塊獲取得到初始人臉，并對獲取的人臉進(jìn)行重疊率計算，判斷出是否有新增人臉，若有新增人臉則對其使用檢測模式的關(guān)鍵點回歸計算；若當(dāng)前幀不需要檢測人臉以及人臉檢測后仍需判斷是否存在成功跟蹤的人臉，若存在前幀中成功跟蹤的人臉，則對該人臉進(jìn)行跟蹤模式的關(guān)鍵點回歸計算；否則，返回重新讀入下一幀圖像。

如圖2，重疊率計算后并行兩個進(jìn)程，即判斷出是否有新增人臉與判斷是否存在成功跟蹤的人臉。

圖2中，將檢測中獲取的初始人臉框與跟蹤人臉關(guān)鍵點模型進(jìn)行重疊率計算，當(dāng)重疊率大于預(yù)設(shè)閾值時，則判定當(dāng)前初始人臉與跟蹤人臉為同一人臉，不進(jìn)行后續(xù)添加新增人臉以及不進(jìn)行檢測模式的關(guān)鍵點回歸計算的操作，結(jié)束該進(jìn)程；若重疊率小于預(yù)設(shè)閾值時，判定當(dāng)前初始人臉為新加入人臉，調(diào)用檢測模式進(jìn)行人臉關(guān)鍵點回歸計算模塊。