一種面部關(guān)鍵點(diǎn)的標(biāo)注方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，尤其涉及一種面部關(guān)鍵點(diǎn)的標(biāo)注方法。
【背景技術(shù)】
[0002] 面部關(guān)鍵點(diǎn)標(biāo)注是一種利用算法在人臉圖像上標(biāo)注出眼角、鼻尖、嘴角等關(guān)鍵位 置的技術(shù)。面部關(guān)鍵點(diǎn)標(biāo)注技術(shù)在人臉識別、情感分析、人臉追蹤等領(lǐng)域都有重要的作用。
[0003] 衡量面部關(guān)鍵點(diǎn)標(biāo)注技術(shù)好壞的指標(biāo)主要有四個(gè)：準(zhǔn)確性、魯棒性、實(shí)時(shí)性和模型 大小。已知的面部關(guān)鍵點(diǎn)標(biāo)注技術(shù)在上述指標(biāo)都存在可改進(jìn)的空間。隨著i〇S、Android等 移動平臺的廣泛使用，基于移動平臺實(shí)現(xiàn)的人臉識別、疲勞監(jiān)控等機(jī)器視覺應(yīng)用有著廣泛 的應(yīng)用前景。與傳統(tǒng)的"PC主機(jī)+固定攝像頭"框架相比，移動平臺的計(jì)算性能較弱，所拍 攝的圖片在光照、姿態(tài)和遮擋等方面存在著更復(fù)雜的變化。這些情況對面部關(guān)鍵點(diǎn)標(biāo)注技 術(shù)的準(zhǔn)確性、魯棒性、實(shí)時(shí)性和模型大小都提出了更為嚴(yán)峻的要求，現(xiàn)有技術(shù)中魯棒性，實(shí) 時(shí)性都較低，面部關(guān)鍵點(diǎn)定位算法較為復(fù)雜。

【發(fā)明內(nèi)容】

[0004] 針對現(xiàn)有技術(shù)中，面部關(guān)鍵點(diǎn)標(biāo)注技術(shù)所存在的問題，本發(fā)明提供了一種面部關(guān) 鍵點(diǎn)的標(biāo)注方法，能夠?qū)θ四槇D像上的關(guān)鍵點(diǎn)進(jìn)行準(zhǔn)確、健壯且實(shí)時(shí)的標(biāo)注。
[0005] 本發(fā)明采用如下技術(shù)方案：
[0006] -種面部關(guān)鍵點(diǎn)的標(biāo)注方法，所述標(biāo)注方法包括兩個(gè)過程，分別為訓(xùn)練過程和使 用過程，其中，所述訓(xùn)練過程、所述使用過程均包括剛體演變和非剛體演變，所述剛體演變 與非剛體演變能夠進(jìn)行多次迭代，以提高所述面部關(guān)鍵點(diǎn)的預(yù)測精度。
[0007] 本發(fā)明將坐標(biāo)的演化過程分為剛體演化和非剛體演化兩個(gè)步驟。剛體演化過程只 能通過尺度縮放、平移和旋轉(zhuǎn)等仿射變換對所有關(guān)鍵點(diǎn)的初始坐標(biāo)進(jìn)行統(tǒng)一調(diào)整。非剛體 演化過程對每個(gè)關(guān)鍵點(diǎn)的新坐標(biāo)再進(jìn)行獨(dú)立調(diào)整，使得每個(gè)關(guān)鍵點(diǎn)的坐標(biāo)進(jìn)一步逼近真實(shí) 坐標(biāo)。
[0008] 剛體演化和非剛體演化相結(jié)合是本發(fā)明的重要創(chuàng)新，剛體演化將所有特征點(diǎn)看成 一個(gè)模板，通過對模板進(jìn)行縮放、平移和旋轉(zhuǎn)，即為仿射變換，使其從整體上逼近關(guān)鍵點(diǎn)的 真實(shí)坐標(biāo)。這個(gè)做法可以有效避免姿態(tài)變化、光照變化和部分遮擋等情況而帶來的干擾，避 免演化過程陷入局部極值。此外，剛體演化過程只需確定6個(gè)仿射變換參數(shù)即可實(shí)現(xiàn)，大大 降低了預(yù)測模型的體積。非剛體演化能夠克服表情變化和不同人臉上的固有差異，進(jìn)一步 提尚關(guān)鍵點(diǎn)坐標(biāo)的預(yù)測精度。
[0009] 本發(fā)明采用了多次迭代，每次迭代都以前次預(yù)測結(jié)果作為初始值，進(jìn)一步提高了 預(yù)測精度。
[0010] 優(yōu)選的，所述標(biāo)注方法具體包括：
[0011] 步驟S1 :通過所述訓(xùn)練過程的剛體演變消除初始模板與真實(shí)坐標(biāo)之間的仿射變 化差異；
[0012] 步驟S2 :通過所述訓(xùn)練過程的非剛體演變對初始模板中每個(gè)所述面部關(guān)鍵點(diǎn)進(jìn) tx獨(dú)立調(diào)節(jié)，以提尚所述面部關(guān)鍵點(diǎn)的定位精度；
[0013] 步驟S3 :通過所述使用過程的剛體演變根據(jù)線性回歸模型進(jìn)行所述面部關(guān)鍵點(diǎn) 的預(yù)測，推算所述面部關(guān)鍵點(diǎn)的新位置；
[0014] 步驟S4 :在所述使用過程的非剛體演變中，根據(jù)所述新位置調(diào)節(jié)所述面部關(guān)鍵點(diǎn) 的坐標(biāo)，得到預(yù)測結(jié)果。
[0015] 本發(fā)明使用機(jī)器學(xué)習(xí)方法，利用從人臉圖像上提取的特征，來估計(jì)面部關(guān)鍵點(diǎn)的 位置。本發(fā)明首先從大量訓(xùn)練樣本中估計(jì)出關(guān)鍵點(diǎn)的坐標(biāo)均值，坐標(biāo)均值被當(dāng)作初始坐標(biāo)， 最終的關(guān)鍵點(diǎn)坐標(biāo)都通過對初始坐標(biāo)不斷演化獲得，這個(gè)演化模型利用線性回歸算法來求 解。
[0016] 優(yōu)選的，所述步驟S1具體包括：
[0017] 步驟S11 :將所述初始模板放置在訓(xùn)練圖片的中心位置，并解得所述初始模板與 所述真實(shí)坐標(biāo)之間的最佳仿射變換參數(shù)。
[0018] 優(yōu)選的，所述步驟S11中：通過公式解得所述最佳仿射變換參數(shù)，所述公式為：
[0020] 其中，K為所述面部關(guān)鍵點(diǎn)的數(shù)量，集合{(xn(1)，y n(1))}和集合{(xn(2)，yn (2))}分別 為第η個(gè)所述面部關(guān)鍵點(diǎn)的初始坐標(biāo)與所述真實(shí)坐標(biāo)，η為正整數(shù)；
[0021] 以及所述初始坐標(biāo)與所述真實(shí)坐標(biāo)之間的差異通過參數(shù)β 1至β 6決定的仿射變 換消除，求解后得出參數(shù)^至β 6。
[0022] 優(yōu)選的，所述步驟S1還包括：
[0023] 步驟S12 :以所述面部關(guān)鍵點(diǎn)的初始位置為中心，并截取紋理區(qū)域；
[0024] 步驟S13 :利用方向梯度直方圖算子對所述紋理區(qū)域進(jìn)行特征編碼，得到長度為Ζ 的浮點(diǎn)編碼；
[0025] 步驟S14:將Κ個(gè)面部關(guān)鍵點(diǎn)的編碼按照預(yù)定義順序進(jìn)行特征編碼，得到長度為 ΖΧΚ的特征編碼；
[0026] 步驟S15 :將所述ΖΧΚ的特征編碼進(jìn)行歸一化操作，得到歸一化參數(shù)，其中，
[0027] 所述歸一化操作中，分布的均值為0,方差為1。
[0028] 優(yōu)選的，所述步驟S1還包括：
[0029] 步驟S16:于所述步驟S15之后，根據(jù)公式進(jìn)行所述線性回歸模型的訓(xùn)練，其中，所 述公式為：
[0031] 其中，iV為第i個(gè)樣本的第m個(gè)最佳參數(shù)，#為第i個(gè)樣本歸一化后的方向梯度 直方圖特征編碼，和b "分別為待求解的第m個(gè)參數(shù)的線性投影向量和偏置值，通過計(jì)算 得到由和b "表示的線性回歸模型，m和i均為正整數(shù)。
[0032] 優(yōu)選的，所述步驟S2具體包括：
[0033] 步驟S21 :從所述初始坐標(biāo)提取方向梯度直方圖特征，組成長度為ZXK的特征向 量，并進(jìn)行所述歸一化操作；
[0034] 步驟S22 :根據(jù)公式進(jìn)行線性回歸模型的非剛體演變訓(xùn)練過程。
[0035] 優(yōu)選的，所述非剛體演變訓(xùn)練過程的實(shí)施公式為：
[0037] 其中，為第i個(gè)樣本的第int(n/2)個(gè)關(guān)鍵點(diǎn)的所述初始坐標(biāo)與所述真實(shí)坐標(biāo) 在X軸或Y軸上的偏移量，#為第i個(gè)樣本歸一化后的方向梯度直方圖特征編碼，^和b "分 別為待求解的第η個(gè)偏移量的線性投影向量和偏置值，通過計(jì)算，得到由^和b "表示的線 性回歸模型。
[0038] 本發(fā)明利用線性回歸算法來學(xué)習(xí)剛體演化和非剛體演化中的參數(shù)。與其他機(jī)器學(xué) 習(xí)方法相比，線性回歸算法的計(jì)算量小，有較好的實(shí)時(shí)性。
[0039] 優(yōu)選的，所述步驟S3具體包括：
[0040] 步驟S31 :將面部圖像調(diào)節(jié)至指定像素，將所述初始模板-置于所述面部圖像的人 臉正中；
[0041] 步驟S32 :提取所述面部圖像的方向梯度直方圖，進(jìn)行矩陣乘和向量加操作，得到 仿射變換參數(shù)；
[0042] 步驟S33 :根據(jù)所述仿射變換參數(shù)推算所述面部關(guān)鍵點(diǎn)的新位置。
[0043] 優(yōu)選的，所述步驟S4具體包括：
[0044] 步驟S41 :根據(jù)所述步驟S33推算的新位置提取對應(yīng)的方向梯度直方圖特征，進(jìn)行 矩陣乘和向量加操作，得到2K個(gè)偏移量；
[0045] 步驟S42 :根據(jù)所述偏移量調(diào)整所述面部關(guān)鍵點(diǎn)的坐標(biāo)。
[0046] 優(yōu)選的，所述標(biāo)注方法還包括：
[0047] 步驟S01 :于所述步驟S1之前，將所述面部圖像歸一化到指定像素，標(biāo)出所述面部 關(guān)鍵點(diǎn)的真實(shí)坐標(biāo)；
[0048] 步驟S02 :根據(jù)公式求出初始模板。
[0049] 優(yōu)選的，所述初始模板的求解公式為
[0051] 本發(fā)明的有益效果是：
[0052] 本發(fā)明由粗到細(xì)地逐步估計(jì)關(guān)鍵點(diǎn)位置，避免了局部極值對精度的干擾，使得最 終的預(yù)測精度和魯棒性都有很大的提高；線性回歸算法的計(jì)算高效性和仿射變換僅有的6 個(gè)參數(shù)使得本發(fā)明在實(shí)時(shí)性和模型體積上存在優(yōu)勢。本發(fā)明的定位速度可以超過60幀/ 秒，模型大小可控制在6Mb以內(nèi)。
【附圖說明】
[0053] 圖la-lb為本發(fā)明面部關(guān)鍵點(diǎn)定位方法的流程圖；
[0054] 圖2為本發(fā)明面部關(guān)鍵點(diǎn)坐標(biāo)均值的求解過程；
[0055] 圖3為本發(fā)明剛體演化過程示意圖；
[0056] 圖4為本發(fā)明非剛體演化過程示意圖；
[0057] 圖5為本發(fā)明迭代過程示意圖；
[0058] 圖6為本發(fā)明的預(yù)測效果示意圖。
【具體實(shí)施方式】
[0059] 需要說明的是，在不沖突的情況下，下述技術(shù)方案，技術(shù)特征之間可以相互組合。
[0060] 下面結(jié)合附圖對本發(fā)明的【具體實(shí)施方式】作進(jìn)一步的說明：
[0061] 實(shí)施例一
[0062] 本實(shí)施例涉及一種利用特征提取+機(jī)器學(xué)習(xí)技術(shù)，公開了一種面部關(guān)鍵點(diǎn)標(biāo)注方 法，可以明顯提尚面部關(guān)鍵點(diǎn)的定位準(zhǔn)確性。該方法主要包括以下步驟：a :建立關(guān)鍵點(diǎn)的 初始坐標(biāo)模型；b :根據(jù)關(guān)鍵點(diǎn)的真實(shí)坐標(biāo)，求解從初始坐標(biāo)到真實(shí)坐標(biāo)的最佳二維仿射變 換參數(shù)；c :根據(jù)初始坐標(biāo)從圖像中提取特征，通過訓(xùn)練建立特征到最佳二維仿射變換參數(shù) 之間的線性映射模型。d:利用已訓(xùn)練的線性映射模型，求解出訓(xùn)練樣本對應(yīng)的仿射參數(shù)，并 根據(jù)求得的參數(shù)，計(jì)算出初始坐標(biāo)經(jīng)過仿射變換后的新坐標(biāo)。e :根據(jù)新坐標(biāo)從圖像中提取 特征，通過訓(xùn)練建立特征到真實(shí)坐標(biāo)之間的線性映射模型。f:利用訓(xùn)練得到的模型，預(yù)測關(guān) 鍵點(diǎn)的新位置。g :步驟b到步驟f為一次迭代，為了提高精度，本實(shí)施例包含多次迭代，每 次迭代都以前次迭代的結(jié)果作為新的初始值。
[0063] 實(shí)施例二
[0064] 圖la-lb為本發(fā)明面部關(guān)鍵點(diǎn)定位方法的流程圖，如圖1所示，本實(shí)施例共包含 訓(xùn)練和使用兩個(gè)過程，在訓(xùn)練過程中，首先需要定義關(guān)鍵點(diǎn)的坐標(biāo)初始值，這些初始值通過 對訓(xùn)練樣本的真實(shí)坐標(biāo)求均值獲得。圖2為本發(fā)明面部關(guān)鍵點(diǎn)坐標(biāo)均值的求解過程，圖2 顯示了均值模板的產(chǎn)生過程，對所有的訓(xùn)練樣本，先將人臉區(qū)域歸一化到128X128像素大 小，并標(biāo)出關(guān)鍵點(diǎn)的真實(shí)坐標(biāo)，而后根據(jù)公式（1)求解均值模板Su (初始模板）。
[0066] 得到均值模板后，首先進(jìn)行剛體演變的訓(xùn)練。
[0067] 本實(shí)施例將均值模板Su放置在訓(xùn)練圖片的中心位置，利用Procrustes analyses