專利名稱：一種弱化表情形變影響的三維人臉識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種三維人臉識(shí)別方法，尤其涉及一種以導(dǎo)向變形和變形剛性約束為基礎(chǔ)的弱化表情形變影響、提高識(shí)別性能的三維人臉識(shí)別方法。

背景技術(shù)：
自動(dòng)人臉識(shí)別技術(shù)在國(guó)家安全、軍事安全、公共安全和家庭娛樂(lè)等領(lǐng)域具有廣泛的應(yīng)用前景，過(guò)去幾十年中，人臉識(shí)別得到深入廣泛的研究。然而，基于圖像的二維人臉識(shí)別技術(shù)仍然面臨巨大的挑戰(zhàn)，在光線、姿態(tài)和表情變化的情況下，二維人臉識(shí)別的準(zhǔn)確性還遠(yuǎn)遠(yuǎn)不能讓人滿意。
三維人臉識(shí)別技術(shù)有望從根本上解決基于圖像的人臉識(shí)別方法所面臨的“受姿態(tài)、光線和表情影響”的難題。基于三維數(shù)據(jù)已經(jīng)獲取的前提，三維人臉識(shí)別受光線的影響很小。由于三維數(shù)據(jù)具有顯式的幾何形狀，三維人臉識(shí)別更具克服姿態(tài)變化的潛力。然而，表情變化改變了三維人臉模型的形狀，造成人臉局部區(qū)域的塑性變形，從而極大地降低三維人臉識(shí)別的性能，因此，如何克服或降低表情的影響是三維人臉識(shí)別中一個(gè)關(guān)鍵的問(wèn)題和挑戰(zhàn)?，F(xiàn)有的技術(shù)尚無(wú)法做到在各種表情變化情況下達(dá)到較好的識(shí)別性能。


發(fā)明內(nèi)容
本發(fā)明提供一種基于導(dǎo)向變形和變形剛性約束的弱化表情變化影響、提高識(shí)別性能的三維人臉識(shí)別方法。
一種弱化表情形變影響的三維人臉識(shí)別方法，其步驟如下 (1)三維人臉模型姿態(tài)定位通過(guò)檢測(cè)三維模型的對(duì)稱面和兩個(gè)特征點(diǎn)(鼻尖點(diǎn)和鼻基點(diǎn))確定人臉姿態(tài)，將三維模型置于統(tǒng)一的坐標(biāo)框架中，方便導(dǎo)向變形時(shí)三角形對(duì)應(yīng)關(guān)系的建立； 步驟(1)采用的定位人臉模型的6個(gè)自由度的元素是對(duì)稱面和兩個(gè)特征點(diǎn)(鼻尖點(diǎn)和鼻基點(diǎn))。
對(duì)稱面檢測(cè)采用的是基于ICP對(duì)齊原始模型和其鏡像模型，再求對(duì)應(yīng)點(diǎn)的中軸面的方法。
鼻尖點(diǎn)和鼻基點(diǎn)的檢測(cè)采用下述方法 pnt＝argmaxp∈C(dist(p，le))(1) pnb＝arg minp∈L(yp)(2) L＝{p|p∈C，yp＞ypnt，dist′(p，le)＝0} (3) 其中，pnt為鼻尖點(diǎn)和pnb為鼻基點(diǎn)，C為側(cè)影線，連接側(cè)影線C頭尾兩點(diǎn)的線段為le，dist(·，)表示點(diǎn)到直線段的距離，yp表示點(diǎn)p的y軸坐標(biāo)，dist′(·，)表示點(diǎn)到直線段距離的一階微分。
(2)、剛性約束的計(jì)算選取包含不同表情的同類模型樣本和異類模型樣本各若干組，在參數(shù)域分別計(jì)算同類差異和異類差異，將同類差異二值化為剛性約束模板，用于描述人臉曲面不同區(qū)域的不同變形能力； 步驟(2)采用的剛性約束的計(jì)算是基于多組同類模型，每組中一個(gè)是中性模型，其余為帶表情模型。
采用的模型間對(duì)應(yīng)關(guān)系的計(jì)算在參數(shù)域建立。
采用的二值剛性約束的約束率為50％。
(3)基于向?qū)У募s束變形給定待變形模型和中性表情的向?qū)Ｐ?，以向?qū)Ｐ偷奶荻葓?chǎng)為目標(biāo)對(duì)待變形模型的所有三角形面片進(jìn)行變換，然后建立變換后的梯度場(chǎng)及其散度場(chǎng)，結(jié)合二值剛性約束模板，利用泊松方程求解變形結(jié)果，得到弱化表情變形的中間模型； 步驟(3)中采用變形技術(shù)是基于泊松方程的變形技術(shù)，其線性系統(tǒng)的建立如下式 AU＝b (4)
其中U是變形后網(wǎng)格中任一待求解頂點(diǎn)的坐標(biāo)分量，b是修改后的梯度向量場(chǎng)的散度，矩陣A是拉普拉斯算子在網(wǎng)格M上構(gòu)建的一個(gè)稀疏矩陣，相應(yīng)角度見(jiàn)附圖7。
采用的變形技術(shù)是用gallery中的模型作為變形向?qū)А?br> 對(duì)應(yīng)三角面片的建立采用的是平均最近距離。
基于向?qū)У奶荻葓?chǎng)計(jì)算是對(duì)每個(gè)三角面片建立局部坐標(biāo)系，然后用下式進(jìn)行變換 X′ij＝Hi·Xij，j＝0，1，2(6) 其中Hi保證下式成立 其中

是三角面片T的法向量。
剛性約束與變形技術(shù)的融合采用的是分塊矩陣計(jì)算法，如下 其中落入二值約束模板中剛性區(qū)域的頂點(diǎn)元素個(gè)數(shù)為k，稀疏矩陣A的前k行的方程系數(shù)對(duì)應(yīng)這k個(gè)頂點(diǎn)，A1，A2，A3，A4分別為k×k，k×(n-k)，(n-k)×k，(n-k)×(n-k)的塊矩陣，U1對(duì)應(yīng)于剛性區(qū)域中頂點(diǎn)的x，y，z分量之一，U2是待變形頂點(diǎn)的坐標(biāo)分量，b1，b2是對(duì)應(yīng)的散度。保持U1不變，泊松方程簡(jiǎn)化為求解如下線性系統(tǒng) A4U2＝b2-A3U1 (9) 采用的線性系統(tǒng)的計(jì)算方法是矩陣分解和回代。
(4)匹配匹配變形后的中間模型和當(dāng)前從gallery庫(kù)中取得的向?qū)Ｐ?，?jì)算相似度。
步驟(4)采用的匹配相似度量如下式 其中Dcg(·)表示基于向?qū)Ｐ偷囊淮渭s束變形過(guò)程，RMS(·，·)表示最近點(diǎn)平均距離。
(5)識(shí)別對(duì)gallery中的每一個(gè)模型施加(3)、(4)兩步的計(jì)算，選取其中平均距離最小的一個(gè)作為識(shí)別結(jié)果，以完成系統(tǒng)功能。
表情變化下的三維人臉識(shí)別問(wèn)題可以簡(jiǎn)單定義為已知庫(kù)(gallery)中登記了多個(gè)身份人每人一個(gè)的中性表情模型，對(duì)輸入的一個(gè)帶表情的模型(probe)，如何實(shí)現(xiàn)正確的分類。
假設(shè)帶表情的模型為Mp，其對(duì)應(yīng)未知的中性表情模型為Mpn，則存在一個(gè)變形函數(shù)F，使得Mp＝F(Mpn)，如果可以求出F的逆函數(shù)F-1，則可以對(duì)Mp施以變換F-1，得到中性的模型Mpn，然后用Mpn與gallery庫(kù)中模型匹配則可以實(shí)現(xiàn)弱化表情的影響的目的。
由于Mpn未知，F(xiàn)和F-1無(wú)法求解，但可以用已有的條件求近似解，首先，F(xiàn)-1函數(shù)與模型本身的屬性有關(guān)系，例如人臉模型有些區(qū)域變形能力強(qiáng)，有些區(qū)域則更剛性一些。其次，盡管Mpn未知，但gallery中有大量的中性表情模型，可以借用這些模型的信息。
首先計(jì)算模型Mp的表情變形屬性λ，為模型的每個(gè)區(qū)域賦以一定的變形能力，然后以gallery中的每一個(gè)中性模型為假想Mpn′，計(jì)算F-1，再用模型的變形屬性λ約束F-1，改進(jìn)F-1為Fλ-1，采用Fλ-1對(duì)Mp進(jìn)行變換，再與gallery中當(dāng)前模型匹配。此時(shí)，當(dāng)且僅當(dāng)Mpn′與Mpn是同一個(gè)中性表情模型時(shí)，F(xiàn)λ-1才可以將Mp變?yōu)镸pn，否則表情變形屬性約束Mp，確保Mp不會(huì)變成Mpn′。這樣的變換Fλ-1可以提高類內(nèi)相似度，而保持類間的差別度，以弱化表情變化的影響。按以上的思路，提出了一個(gè)帶約束的導(dǎo)向變形模型(GCD模型)。其中表情變形屬性對(duì)應(yīng)模型中的剛性約束，導(dǎo)向變形對(duì)應(yīng)于F-1。
本發(fā)明方法在三維人臉識(shí)別中可以弱化表情變化的影響、提高三維人臉識(shí)別的性能。



圖1是本發(fā)明的帶約束的導(dǎo)向變形模型用于三維人臉識(shí)別的流程圖； 圖2是本發(fā)明的人臉模型對(duì)稱面檢測(cè)和側(cè)影線提取示意圖； 圖3是本發(fā)明的側(cè)影線上鼻尖點(diǎn)和鼻基點(diǎn)檢測(cè)示意圖； 圖4是本發(fā)明的三維人臉模型的類內(nèi)差異(第一行)和類間差異(第二行)示意圖； 圖5是本發(fā)明的三維人臉模型匹配差異度量亮度圖； 圖6是本發(fā)明的剛性約束模板建立過(guò)程示意圖； 圖7是本發(fā)明的簡(jiǎn)單一環(huán)網(wǎng)格示意圖； 圖8是本發(fā)明的三維人臉網(wǎng)格之間的三角面片局部坐標(biāo)系的生成和變換示意圖； 圖9是本發(fā)明的基于向?qū)Ｐ偷奶荻葓?chǎng)導(dǎo)引和基于泊松方程的變形結(jié)果重建示意圖； 圖10是本發(fā)明的約束前后的變形結(jié)果對(duì)比示意圖； 圖11是本發(fā)明的基于GCD模型的三維人臉識(shí)別與PCA、ICP識(shí)別率的比較圖；
具體實(shí)施例方式 三維人臉模型姿態(tài)定位 姿態(tài)定位通過(guò)三步完成，首先檢測(cè)對(duì)稱面并提取側(cè)影線，然后確定鼻尖點(diǎn)和鼻基點(diǎn)，最后應(yīng)用一個(gè)剛性變換將三維人臉模型置于統(tǒng)一的坐標(biāo)框架中以完成姿態(tài)定位。
(1)對(duì)稱面檢測(cè)和側(cè)影線提取 我們首先提出一個(gè)魯棒的三維人臉對(duì)稱面檢測(cè)的方法。給定人臉網(wǎng)格M的頂點(diǎn)集合VM＝{pi∈R3|1≤i≤N}，對(duì)任意一個(gè)平面，可以找到VM關(guān)于該平面的鏡像頂點(diǎn)集VM中任意一點(diǎn)pi的對(duì)應(yīng)鏡像點(diǎn)是VMm中的pim，原人臉網(wǎng)格的拓?fù)浣Y(jié)構(gòu)與鏡像網(wǎng)格一致，嚴(yán)格意義上說(shuō)，如果考慮曲面片的方向，鏡像網(wǎng)格的三角面片的頂點(diǎn)序應(yīng)該與原網(wǎng)格M相反，此時(shí)可以取得統(tǒng)一的曲面方向，由于這里我們主要對(duì)點(diǎn)集進(jìn)行分析，因此可以忽略拓?fù)浣Y(jié)構(gòu)變化的影響。
將鏡像點(diǎn)集VMm向原網(wǎng)格點(diǎn)集VM配準(zhǔn)，使兩者最終對(duì)齊，假設(shè)得到的點(diǎn)集為其中點(diǎn)的對(duì)應(yīng)次序依然不變。此時(shí)，VM和VMm′組成一個(gè)新的頂點(diǎn)集合
由于三維人臉本身大致對(duì)稱，

是一個(gè)自對(duì)稱的集合，人臉網(wǎng)格的對(duì)稱面必過(guò)VM和VMm′中對(duì)應(yīng)點(diǎn)的平分線，因此人臉的對(duì)稱面A內(nèi)蘊(yùn)的點(diǎn)集可以用下式表示 其中<·，·>表示兩向量的點(diǎn)積。
我們采用ICP方法對(duì)齊VM和VMm，ICP能有效地對(duì)齊三維模型，但保證其收斂要求兩個(gè)待對(duì)齊的模型具有粗略對(duì)齊的初始位置。因此，計(jì)算原人臉網(wǎng)格M的鏡像網(wǎng)格時(shí)，需小心地選擇對(duì)稱平面。如果初始選擇的對(duì)稱平面本身就在人臉網(wǎng)格的對(duì)稱面附近，則用該平面鏡像得到的鏡像點(diǎn)集VMm和VM就會(huì)有較好的初始對(duì)齊位置。
觀察人臉網(wǎng)格的基本形狀，我們發(fā)現(xiàn)人臉網(wǎng)格是一張上下方向較長(zhǎng)，左右跨度居中，前后厚度較小的曲面，近似于半橢球的形狀。因此，我們對(duì)人臉網(wǎng)格的點(diǎn)集VM分布做主元分析(PCA)，可以得到一個(gè)平均點(diǎn)

和三個(gè)主方向(特征向量)

這三個(gè)特征向量分別對(duì)應(yīng)從大到小排序的三個(gè)特征值，按PCA的特征值與特征向量的關(guān)系，

方向是點(diǎn)集散度最大的方向，

其次，

最小，其方差即為三個(gè)對(duì)應(yīng)特征值。由此，我們可以選擇初始對(duì)稱平面如下 這個(gè)初始鏡像對(duì)稱平面滿足在原始人臉的對(duì)稱面附近的要求。
由于VM和VMm′有N對(duì)對(duì)稱點(diǎn)，每一對(duì)都可以確定一個(gè)人臉網(wǎng)格的對(duì)稱平面，我們用最小二乘法擬合各個(gè)平面，最后得到優(yōu)化的對(duì)稱平面A，側(cè)影線的求取只需計(jì)算對(duì)稱平面A與原始網(wǎng)格M的交，如圖2。
(2)鼻尖點(diǎn)和鼻基點(diǎn)的確定 鼻尖點(diǎn)pnt和鼻基點(diǎn)pnb都在側(cè)影線C上，假設(shè)連接側(cè)影線C頭尾兩點(diǎn)的線段為le，如圖3所示，對(duì)大量人臉特征的觀察可以得出下面兩條假設(shè) a)鼻尖點(diǎn)pnt是位于側(cè)影線C上，距離線段le最遠(yuǎn)的點(diǎn)； b)鼻基點(diǎn)pnb是位于側(cè)影線C上，沿pnt向上的側(cè)影線上所有點(diǎn)中與線段le的第一個(gè)距離極小值點(diǎn)。
基于上面的兩條假設(shè)，可以列出如下的鼻尖與鼻基檢測(cè)方法 pnt＝argmaxp∈C(dist(p，le))(4) pnb＝arg minp∈L(yp)(5) L＝{p|p∈C，yp＞ypnt，dist′(p，le)＝0} (6) 其中，dist(·，)表示點(diǎn)到直線段的距離，yp表示點(diǎn)p的y軸坐標(biāo)，dist′(·，)表示點(diǎn)到直線段距離的一階微分。
(3)統(tǒng)一坐標(biāo)框架 我們已得到人臉網(wǎng)格的對(duì)稱面方向ds和兩個(gè)特征點(diǎn)pnt和pnb，通過(guò)這三個(gè)特征可以把人臉網(wǎng)格放置到一個(gè)統(tǒng)一的坐標(biāo)系中以完成姿態(tài)確定。令 vx＝ds(7) vz＝vx×vy(9) 以pnt為原點(diǎn)，vx，vy，vz分別為x，y，z三個(gè)坐標(biāo)軸，可以確定一個(gè)新的坐標(biāo)框架，所有的三維人臉模型可以變換到這個(gè)坐標(biāo)框架中。把坐標(biāo)框架沿x軸逆時(shí)針轉(zhuǎn)20度，得到最終的統(tǒng)一坐標(biāo)框架。
剛性約束的計(jì)算 三維人臉模型因表情產(chǎn)生的塑性變形在人臉各個(gè)部分是不同的，表明人臉各部分的變形能力是不同的，我們要將塑性變形恢復(fù)回來(lái)，其實(shí)是一種逆向的變形，也應(yīng)該考慮人臉各部分的變形能力。剛性約束正是表達(dá)人臉模型各部分不同變形能力的一種度量。
經(jīng)過(guò)大量的觀察和實(shí)驗(yàn)，我們發(fā)現(xiàn)三維模型匹配時(shí)類間差異和類內(nèi)差異分布情況有較大差別。如圖4，類內(nèi)的差異(第1行)多發(fā)生于嘴巴區(qū)域、雙眉和兩頰的下側(cè)，而類間的差異非常不穩(wěn)定(第2行)，在人臉的任何區(qū)域都可能出現(xiàn)差異。圖5是類間差異(第1列)和類內(nèi)差異(第2列)的一個(gè)統(tǒng)計(jì)分析亮度圖。類內(nèi)差異的亮度較大的區(qū)域恰恰是表情影響較小的區(qū)域，我們稱之為近似剛性區(qū)域，當(dāng)我們對(duì)帶表情模型施以逆向變形的時(shí)候，近似剛性區(qū)域應(yīng)該具有更大的彈性系數(shù)。相反，其它區(qū)域的彈性系數(shù)小一些。
隨機(jī)選擇一個(gè)模型集合St，其中每個(gè)個(gè)體包含至少一個(gè)中性模型和盡可能多的帶表情模型，統(tǒng)一的剛性約束模板可以通過(guò)訓(xùn)練的方法得到，如圖6。
首先建立中性模型與同類模型之間的頂點(diǎn)對(duì)應(yīng)關(guān)系，我們?cè)谀Ｐ偷膮?shù)域求解對(duì)應(yīng)關(guān)系。將所有模型姿態(tài)確定后固定于統(tǒng)一坐標(biāo)系中，然后以一個(gè)單位圓盤作為參數(shù)域?qū)γ總€(gè)模型進(jìn)行參數(shù)化，在參數(shù)域內(nèi)按最近點(diǎn)原則建立頂點(diǎn)的對(duì)應(yīng)關(guān)系；對(duì)參數(shù)域圓盤建立極坐標(biāo)系，對(duì)極坐標(biāo)r和θ進(jìn)行均勻分割，建立多個(gè)cell，模型參數(shù)化后落于同一個(gè)cell的人臉區(qū)域認(rèn)為是同一個(gè)區(qū)域。
采用ICP算法對(duì)St中任意一個(gè)非中性模型Mi與其同類的中性模型MiN進(jìn)行匹配，并計(jì)算每個(gè)頂點(diǎn)在中性模型上的最近點(diǎn)的距離，設(shè)Vi是Mi中所有落入第i個(gè)cell的頂點(diǎn)集，Vi中第j個(gè)頂點(diǎn)到MiN的最近的頂點(diǎn)距離為dij，那么第i個(gè)cell對(duì)應(yīng)區(qū)域的平均類內(nèi)差異DTi為 其中|·|表示集合中元素的個(gè)數(shù)，在圓盤參數(shù)域?qū)λ械腸ell計(jì)算類內(nèi)平均差異，采樣后的亮度圖像如圖6。
我們的約束條件是要確定參數(shù)域某個(gè)區(qū)域內(nèi)保持固定的頂點(diǎn)，對(duì)參數(shù)域平均差異圖設(shè)定一個(gè)比例后，可以得到一個(gè)二值的剛性模板(binarymask)。這個(gè)二值剛性模板即是GCD模型的約束條件，白色區(qū)域內(nèi)的頂點(diǎn)保持不變，黑色區(qū)域內(nèi)的頂點(diǎn)用GCD模型進(jìn)行變形。為參數(shù)域平均差異圖設(shè)定的比例，即不變區(qū)域在整個(gè)參數(shù)域中的比例，我們稱之為約束比率，圖6的約束比率為50％。
基于向?qū)У募s束變形 帶約束的導(dǎo)向變形模型就是要將帶表情的模型Mp，在約束條件下向向?qū)е行员砬槟Ｐ蚆q變形以弱化表情的影響，主要內(nèi)容包括基于泊松方程的梯度域變形技術(shù)、基于向?qū)У奶荻鹊挠?jì)算和剛性約束的融合。
(1)基于泊松方程的梯度域網(wǎng)格變形技術(shù) 給定的網(wǎng)格Mp，其所有頂點(diǎn)的坐標(biāo)分量x，y，z分別表示三個(gè)標(biāo)量場(chǎng)，采用梯度算子，可以得到相應(yīng)的梯度場(chǎng)，梯度域變形技術(shù)的關(guān)鍵是通過(guò)改變梯度場(chǎng)，得到修改后的網(wǎng)格微分屬性，然后對(duì)其重建標(biāo)量場(chǎng)，重建結(jié)果對(duì)應(yīng)原來(lái)的x，y，z分量，從而得到變形后的模型。重建過(guò)程通過(guò)Poisson方程完成，而梯度場(chǎng)的改變通過(guò)向?qū)Ｐ屯瓿伞?br> 1)離散網(wǎng)格上的微分操作算子 (a)離散標(biāo)量場(chǎng)和離散矢量場(chǎng) 網(wǎng)格M上定義的離散標(biāo)量場(chǎng)u，可以表示為 其中φi是一個(gè)分段線性基函數(shù)，在M上的vi點(diǎn)值為1，其它頂點(diǎn)位置值為0，因此，標(biāo)量場(chǎng)u在vi處的值為ui。網(wǎng)格M上點(diǎn)的坐標(biāo)的x，y，z三個(gè)分量都滿足標(biāo)量場(chǎng)的定義，可以看作是定義在網(wǎng)格上的三個(gè)標(biāo)量場(chǎng)。
M上離散矢量場(chǎng)ξ的定義類似于標(biāo)量場(chǎng)，如下 其中ψk是分段?；瘮?shù)，在三角形片Tk內(nèi)部為1，Tk外部為0；NT(v)表示與頂點(diǎn)v鄰接的所有三角面片集。標(biāo)量場(chǎng)的梯度場(chǎng)是網(wǎng)格上的一個(gè)矢量場(chǎng)。
(b)離散梯度算子 網(wǎng)格上離散標(biāo)量場(chǎng)u的梯度運(yùn)算子定義如下 其中Tv是頂點(diǎn)v依附的三角形，它的三個(gè)頂點(diǎn)為v0，v1，v2，按逆時(shí)針排序。
其中AT表示三角形Tv的面積，％是求模運(yùn)算符，(·)⊥表示將向量沿Tv的法向逆時(shí)針旋轉(zhuǎn)90度。標(biāo)量場(chǎng)經(jīng)梯度運(yùn)算，可以得到一個(gè)梯度向量場(chǎng)，在Tv內(nèi)部，梯度是一個(gè)常量。
(c)離散散度算子 給定網(wǎng)格M上的向量場(chǎng)ξ，散度運(yùn)算子定義為 其中<·，·>表示向量點(diǎn)乘運(yùn)算。
(d)離散拉普拉斯算子 標(biāo)量場(chǎng)u上的拉普拉斯算子在1環(huán)網(wǎng)格上可以表示為下式，參考圖7中角度的符號(hào)。
其中N(i)表示頂點(diǎn)vi的鄰接頂點(diǎn)。
2)基于泊松方程的曲面重建 連續(xù)曲面上的Poisson方程描述如下 2f＝Div(ξ)，f|Ω＝f*|Ω(17) 其中，f是未知標(biāo)量函數(shù)，Div(·)是向量場(chǎng)ξ的散度，f*是Dirichlet邊界條件，表示連續(xù)條件下的拉普拉斯算子。
考慮離散標(biāo)量場(chǎng)u，可以是網(wǎng)格M的x，y，z分量中的任意一個(gè)，其梯度場(chǎng)(u)是一個(gè)向量場(chǎng)ξ，此時(shí)離散條件下的Poisson方程可以寫為 A(u)≡Div((u))＝Div(ξ)(18) 其中離散梯度算子、散度算子和拉普拉斯算子的計(jì)算如(13)(15)(16)式，可以得到如下的一個(gè)稀疏線性系統(tǒng) AU＝b ( 19) 其中U是變形后網(wǎng)格中任一待求解的坐標(biāo)分量，b是修改后的梯度向量場(chǎng)的散度，矩陣A是拉普拉斯算子在網(wǎng)格M上構(gòu)建的一個(gè)稀疏矩陣
待變形網(wǎng)格Mp，可以看作是拓?fù)浣Y(jié)構(gòu)已知，而幾何信息未知的數(shù)據(jù)集，變形就是通過(guò)未知幾何信息(x，y，z)的梯度場(chǎng)ξ，結(jié)合Mp的拓?fù)湫畔?，求解其散度，然后用公?19)求解幾何信息(x，y，z)坐標(biāo)，即得到變形結(jié)果。梯度場(chǎng)ξ要求運(yùn)算前給定，如何給定ξ我們將在下一節(jié)描述。
3)基于向?qū)У奶荻葓?chǎng)計(jì)算 變形過(guò)程中，如何計(jì)算Mp修改后的梯度場(chǎng)是一個(gè)核心的問(wèn)題。假設(shè)Mg是Mp的變形方向(即向?qū)?，先把Mp和Mg的三角面片建立對(duì)應(yīng)關(guān)系，將Mp的每一個(gè)三角面片在歐氏空間直接向Mg中的對(duì)應(yīng)三角面片作變換。由于每個(gè)三角面片的對(duì)應(yīng)面片一般不是同一個(gè)，三角面片之間的變換并不相同，因此，變換會(huì)把分段光滑的Mp的三角面片分離破碎，然后我們基于破碎的面片集合用梯度算子計(jì)算改變后的梯度場(chǎng)，作為目標(biāo)梯度場(chǎng)，整個(gè)過(guò)程Mp的拓?fù)溥B接關(guān)系始終保持不變。
首先，我們將Mp和Mg置于一個(gè)統(tǒng)一的坐標(biāo)系中。此時(shí)，兩個(gè)模型之間的三角面片有近似的對(duì)應(yīng)關(guān)系。
然后，通過(guò)變換Mp的三角面片方向變換其面上的梯度值，我們對(duì)一個(gè)三角面片的三個(gè)坐標(biāo)x，y，z(對(duì)應(yīng)三個(gè)標(biāo)量場(chǎng))施以相同的變換，這樣變形后的結(jié)果比較一致。設(shè)Tip是Mp上的任意一個(gè)三角面片，Tig是Mg上距Tip平均距離最近的三角面片，引入局部變換Hi，將Tip變換為Tip′，設(shè)Tip中某頂點(diǎn)vj的坐標(biāo)為Xij，Tip′中對(duì)應(yīng)頂點(diǎn)坐標(biāo)為X′ij X′ij＝Hi·Xij，j＝0，1，2(21) 其中Hi保證下式成立 其中

是三角面片T的法向量。
對(duì)每一對(duì)Tip和Tig，按最近點(diǎn)原則建立頂點(diǎn)的對(duì)應(yīng)關(guān)系后，可以在各自三角面片內(nèi)建立兩個(gè)局部的坐標(biāo)框架Fig和Fip，如圖8。由于梯度向量與平移變換無(wú)關(guān)，我們只考慮旋轉(zhuǎn)變換，Hi可以通過(guò)下式計(jì)算 變換完成后，采用梯度算子即可計(jì)算出改變后的梯度場(chǎng)，至此，我們實(shí)現(xiàn)了以Mg作為向?qū)ё儞QMp的微分梯度場(chǎng)的任務(wù)。代入Poisson方程完成破碎三角形的粘合和變形模型的重建。如圖9，結(jié)果與Mg非常相似。
4)剛性約束與泊松方程的融合 采用二值剛性約束，可以確定GCD變形技術(shù)處理Mp時(shí)保持不變的頂點(diǎn)，只需將Mp參數(shù)化到同樣的單位圓盤參數(shù)域中即可參照模板約束確定固定的頂點(diǎn)?，F(xiàn)在我們將約束模板融合到泊松方程中，使得求解過(guò)程更為連貫。
設(shè)Vc是Mp中落入二值約束模板中剛性區(qū)域的頂點(diǎn)集合，其元素個(gè)數(shù)為k，回憶泊松方程，假設(shè)稀疏矩陣A的前k行的方程系數(shù)對(duì)應(yīng)這k個(gè)頂點(diǎn)，否則，我們總可以通交換矩陣的行和列，使得A滿足這個(gè)假設(shè)，將A分割成分塊矩陣，泊松方程可以改寫為 其中A1，A2，A3，A4分別為k×k，k×(n-k)，(n-k)×k，(n-k)×(n-k)的塊矩陣，U1是對(duì)應(yīng)于Vc中頂點(diǎn)的x，y，z分量之一，U2是待變形頂點(diǎn)的坐標(biāo)分量，b1，b2是對(duì)應(yīng)的散度。保持U1不變，泊松方程簡(jiǎn)化為求解如下線性系統(tǒng) A4U2＝b2-A3U1 (25) 在GCD變形中，由于二值剛性模板固定，輸入網(wǎng)格的約束頂點(diǎn)是固定的，因此，我們可以分解矩陣A4，然后用回代的方法解這個(gè)線性方程組，因此，可以實(shí)現(xiàn)非?？斓挠?jì)算速度。圖10是約束前后的變形結(jié)果比較。
三維模型匹配 給定三維模型的Mp和Mg，兩者的相似度計(jì)算如下 其中Dcg(·)表明GCD模型變換，RMS(·，·)表示最近點(diǎn)平均距離。
實(shí)驗(yàn)結(jié)果 我們?cè)贔RGC v2.0庫(kù)上測(cè)試了帶約束的導(dǎo)向變形模型(GCD)用于三維人臉識(shí)別的性能。由于gallery中應(yīng)存放中性表情臉，因此選擇FRGC ver2.0中有對(duì)應(yīng)中性模型的帶表情模型作為測(cè)試模型，這樣的模型共有1538個(gè)，對(duì)應(yīng)353個(gè)人。選擇353人最早采集的中性表情模型組成gallery。1538個(gè)非中性模型對(duì)應(yīng)不同的表情(smile，frowning，surprise，disgust，sadness，puffy cheeks)，由于采集時(shí)間與表情有良好的對(duì)應(yīng)關(guān)系，我們按采集時(shí)間將非中性表情模型分成9個(gè)測(cè)試庫(kù)，Probe1至Probe9，如表1。
表1 FRGC ver2.0帶表情模型的測(cè)試集分割 人臉認(rèn)證模式下，GCD模型與PCA、ICP的等錯(cuò)誤率比較如表2，人臉識(shí)別的Rank-1圖如圖10。
表2等錯(cuò)誤率GCD vs ICP，PCA GCD模型與PCA技術(shù)和ICP技術(shù)進(jìn)行比較的實(shí)驗(yàn)表明，GCD模型在處理表情變化的庫(kù)上有很大的優(yōu)勢(shì)，這主要?dú)w功于GCD模型實(shí)現(xiàn)了變形與約束之間的一個(gè)平衡，對(duì)應(yīng)于類內(nèi)相似度與類間差別之間的一個(gè)平衡，因此，GCD模型能弱化表情變化的影響、顯著地提高表情變化下的三維人臉識(shí)別的性能。
權(quán)利要求
1.一種弱化表情形變影響的三維人臉識(shí)別方法，步驟如下
(1)三維人臉模型姿態(tài)定位
通過(guò)檢測(cè)三維模型的對(duì)稱面和鼻尖點(diǎn)、鼻基點(diǎn)兩個(gè)特征點(diǎn)確定人臉姿態(tài)，將三維模型置于統(tǒng)一的坐標(biāo)框架中，方便步驟，(3)中導(dǎo)向變形時(shí)三角形對(duì)應(yīng)關(guān)系的建立；
(2)剛性約束的計(jì)算
選取包含不同表情的同類模型樣本和異類模型樣本各若干組，每組同類模型至少包括一個(gè)中性模型，在參數(shù)域分別計(jì)算同類差異和異類差異，同類差異基于中性模型計(jì)算，將同類差異二值化為剛性約束模板，用于描述人臉曲面不同區(qū)域的不同變形能力
(3)基于向?qū)У募s束變形
每次匹配測(cè)試模型和gallery中的中性模型時(shí)，將中性模型作為向?qū)Ｐ?，以向?qū)Ｐ偷奶荻葓?chǎng)為目標(biāo)對(duì)測(cè)試模型的所有三角形面片進(jìn)行變換，然后建立變換后的梯度場(chǎng)及其散度場(chǎng)，結(jié)合步驟(2)得到的二值剛性約束模板，利用泊松方程求解變形結(jié)果，得到弱化表情變形的中間模型；
(4)匹配
匹配變形后的中間模型和向?qū)Ｐ?，?jì)算兩個(gè)模型間最近點(diǎn)對(duì)的平均距離作為兩者的相似度；
(5)識(shí)別
對(duì)gallery中的每一個(gè)模型實(shí)施步驟(3)、步驟(4)兩步的計(jì)算，選取其中平均距離最小的一個(gè)作為識(shí)別結(jié)果，以完成系統(tǒng)功能。
2.根據(jù)權(quán)利要求1所述的弱化表情形變影響的三維人臉識(shí)別方法，其特征是步驟(1)的對(duì)稱面檢測(cè)采用的是基于ICP對(duì)齊原始模型和其鏡像模型，然后求對(duì)應(yīng)點(diǎn)的中軸面的方法。
3.根據(jù)權(quán)利要求1所述的弱化表情形變影響的三維人臉識(shí)別方法，其特征是步驟(1)鼻尖點(diǎn)和鼻基點(diǎn)的檢測(cè)采用下述方法
pnt＝argmaxp∈C(dist(p，le))(1)
pnb＝argminp∈L(yp) (2)
其中，pnt為鼻尖點(diǎn)，pnb為鼻基點(diǎn)，C為側(cè)影線，連接側(cè)影線C頭尾兩點(diǎn)的線段為le，dist(·，)表示點(diǎn)到直線段的距離，yp表示點(diǎn)p的y軸坐標(biāo)，dist′(·，)表示點(diǎn)到直線段距離的一階微分。
4.根據(jù)權(quán)利要求1所述的弱化表情形變影響的三維人臉識(shí)別方法，其特征是步驟(2)采用的剛性約束的計(jì)算是基于多組同類模型，每組一個(gè)中性模型，其余為帶表情模型；步驟(2)剛性約束計(jì)算采用的模型間對(duì)應(yīng)關(guān)系在參數(shù)域建立；采用的二值剛性約束的約束率為50％。
5.根據(jù)權(quán)利要求1所述的弱化表情形變影響的三維人臉識(shí)別方法，其特征是步驟(3)中采用變形技術(shù)是基本泊松方程的變形技術(shù)，其線性系統(tǒng)如下式
AU＝b (4)
其中U是變形后網(wǎng)格中任一頂點(diǎn)的坐標(biāo)分量，b是修改后梯度向量場(chǎng)的散度，矩陣A是拉普拉斯算子在網(wǎng)格M上構(gòu)建的一個(gè)稀疏矩陣，αij是邊ei，(j+1)與ej，(j+1)的夾角，βij是邊ei，(j-1)與e(j-1)，j的夾角。
6.根據(jù)權(quán)利要求1所述的弱化表情形變影響的三維人臉識(shí)別方法，其特征是步驟(3)采用的變形技術(shù)是用gallery中的模型作為變形向?qū)?；步驟(3)中模型間對(duì)應(yīng)三角面片的建立采用的是平均最近距離。
7.根據(jù)權(quán)利要求1所述的弱化表情形變影響的三維人臉識(shí)別方法，其特征是步驟(3)中基于向?qū)У奶荻葓?chǎng)計(jì)算是對(duì)每個(gè)三角面片建立局部坐標(biāo)系，然后用下式進(jìn)行變換
Xij′＝Hi·Xij，j＝0，1，2(6)
其中Xij是三角面片i的第j個(gè)坐標(biāo)，Hi保證下式成立
其中
是三角面片T的法向量。
8.根據(jù)權(quán)利要求1所述的弱化表情形變影響的三維人臉識(shí)別方法，
其特征是步驟(3)剛性約束與變形技術(shù)的融合采用的是分塊矩陣計(jì)算法，如下
其中落入二值約束模板中剛性區(qū)域的頂點(diǎn)元素個(gè)數(shù)為k，稀疏矩陣A的前k行的方程系數(shù)對(duì)應(yīng)這k個(gè)頂點(diǎn)，A1，A2，A3，A4分別為k×k，k×(n-k)，(n-k)×k，(n-k)×(n-k)的塊矩陣，U1是對(duì)應(yīng)于剛性區(qū)域中頂點(diǎn)的x，y，z分量之一，U2是待變形頂點(diǎn)的坐標(biāo)分量，b1，b2是對(duì)應(yīng)的散度。保持U1不變，泊松方程簡(jiǎn)化為求解如下線性系統(tǒng)
A4U2＝b2-A3U1 (9)
9.根據(jù)權(quán)利要求1所述的弱化表情形變影響的三維人臉識(shí)別方法，其特征是步驟(3)采用的線性系統(tǒng)的計(jì)算方法是矩陣分解和回代。
10.根據(jù)權(quán)利要求1所述的弱化表情形變影響的三維人臉識(shí)別方法，其特征是步驟(4)采用的匹配相似度量如下式
其中Dcg(·)表示基于向?qū)Ｐ偷囊淮渭s束變形過(guò)程，RMS(·，·)表示最近點(diǎn)平均距離。
全文摘要
本發(fā)明公開(kāi)了一種弱化表情形變影響的三維人臉識(shí)別方法，步驟如下(1)三維人臉模型姿態(tài)定位；(2)剛性約束的計(jì)算；(3)基于向?qū)У募s束變形；(4)匹配變形后的中間模型和gallery庫(kù)中的已知模型完成三維人臉識(shí)別。本發(fā)明可弱化表情變化的影響、提高三維人臉識(shí)別的性能。
文檔編號(hào)G06K9/62GK101131730SQ200710071538
公開(kāi)日2008年2月27日 申請(qǐng)日期2007年9月25日 優(yōu)先權(quán)日2007年9月25日
發(fā)明者綱 潘, 王躍明, 吳朝暉 申請(qǐng)人:浙江大學(xué)