基于人臉特征點形狀驅(qū)動深度模型的人臉特征提取方法
【專利摘要】本發(fā)明涉及一種基于人臉特征點形狀驅(qū)動深度模型的人臉特征提取方法，該方法建立一種人臉特征點形狀驅(qū)動深度模型，利用N個深度卷積神經(jīng)網(wǎng)絡(luò)對根據(jù)人臉特征點位置劃分的N個人臉區(qū)域提取特征，得到各區(qū)域的判別性特征和屬性特征，然后將這些判別性特征和屬性特征進行融合，得到描述能力更強的特征。本發(fā)明提供的一種基于人臉特征點形狀驅(qū)動深度模型的人臉特征提取方法，能更好的克服人臉識別在光照、角度、表情、遮擋等變化條件下的魯棒性問題，提高這些條件下人臉識別的識別率。
【專利說明】基于人臉特征點形狀驅(qū)動深度模型的人臉特征提取方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種人臉特征提取方法，特別涉及一種基于人臉特征點形狀驅(qū)動深度 模型的人臉特征提取方法。

【背景技術(shù)】
[0002] 人臉特征提取是人臉識別最為關(guān)鍵的步驟之一，在對目標(biāo)人臉圖像進行識別之 前，首先需要從每一人臉樣本的多幅樣本圖像中，提取圖像中的人臉特征。人臉特征提取的 質(zhì)量，將直接決定人臉識別的效果。現(xiàn)有的大部分人臉特征提取方法為人工特征的提取，如 SIFT、Gabor、HoG、LBP等。進一步地，可以通過將這些人工特征進行合并來獲取更優(yōu)異的 性能。近幾年，采用深度學(xué)習(xí)進行特征提取逐漸成為研宄熱點，相比于人工特征提取方法， 深度學(xué)習(xí)由于具有深層結(jié)構(gòu)及強大的學(xué)習(xí)能力，從而可以通過分層的非線性映射獲取更有 效的特征。目前，用于人臉特征提取的深度學(xué)習(xí)模型包括深度置信網(wǎng)絡(luò)（DBN，De印Belief Network)、棧式自編碼器（SA, Stacked auto-encoder)、以及深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN, Deep Convolutional Neural networks)等。盡管基于深度學(xué)習(xí)的特征表示為人臉識別帶來了巨 大的突破，非約束條件（光照、角度、表情等變化條件）下的人臉識別仍然存在很大挑戰(zhàn)。而 且，現(xiàn)有深度學(xué)習(xí)特征提取方法通常只對整張人臉圖像提取全局特征，在局部變化（光照、 角度、表情等變化都會帶來局部變化）條件下，尤其在遮擋情況下，容易出現(xiàn)識別誤差。


【發(fā)明內(nèi)容】

[0003] 有鑒于此，本發(fā)明的目的在于提供一種基于人臉特征點形狀驅(qū)動深度模型的人臉 特征提取方法，該方法基于DCNN建立了一種人臉特征點形狀驅(qū)動深度模型，然后對人臉特 征點形狀驅(qū)動深度模型進行訓(xùn)練；最后利用人臉特征點形狀驅(qū)動模型進行特征提取，所提 取的特征融合了人臉各部分的判別性特征與該區(qū)域的光照、表情、角度、遮擋等屬性特征， 該方法提高了非約束條件下人臉識別的識別率。
[0004] 為達到上述目的，本發(fā)明提供如下技術(shù)方案：
[0005] 基于人臉特征點形狀驅(qū)動深度模型的人臉特征提取方法，該方法包括以下步驟：
[0006] 步驟一：基于深度卷積神經(jīng)網(wǎng)絡(luò)DCNN建立人臉特征點形狀驅(qū)動深度模型；
[0007] 步驟二：對人臉特征點形狀驅(qū)動深度模型進行訓(xùn)練；訓(xùn)練樣本為兩張人臉圖 片及圖像中相應(yīng)的N個區(qū)域，每個區(qū)域的樣本對應(yīng)每個區(qū)域卷積神經(jīng)網(wǎng)絡(luò)，輸出為兩類 soft-max, oti, t = I, 2,. . . , T, i e {1, 2}；
[0008] 步驟三：利用人臉特征點形狀驅(qū)動深度模型進行人臉特征提取和特征融合，首先 對矯正后的人臉圖片進行區(qū)域的劃分，然后利用人臉特征點形狀驅(qū)動模型進行特征提取， 所提取的特征融合了人臉各部分的判別性特征與屬性特征。
[0009] 進一步，所述步驟一中的人臉特征點形狀驅(qū)動深度模型包括區(qū)域卷積網(wǎng)絡(luò)和全連 接網(wǎng)絡(luò)。
[0010] 進一步，所述區(qū)域卷積網(wǎng)絡(luò)為N個，區(qū)域卷積網(wǎng)絡(luò)由DCNN中卷積層和池化層所構(gòu) 成，用于對人臉的N個區(qū)域進行特征提??；其中，N為根據(jù)人臉特征點的位置信息，將人臉圖 像劃分的N個區(qū)域。
[0011] 進一步，所述全連接網(wǎng)絡(luò)為T個，T>N，全連接網(wǎng)絡(luò)由DCNN中的全連接層構(gòu)成，全連 接網(wǎng)絡(luò)與區(qū)域卷積網(wǎng)絡(luò)相連，每個區(qū)域卷積網(wǎng)絡(luò)對應(yīng)一個輸出判別性特征的全連接網(wǎng)絡(luò)及 多個輸出屬性特征的全連接網(wǎng)絡(luò)。
[0012] 進一步，所述N個區(qū)域之間有重合。
[0013] 進一步，所述N為十，區(qū)域的劃分方法為將人臉劃分為整張人臉、頭發(fā)、前額、眉 毛、眼睛、鼻子、兩頰、唇上、嘴和下巴十個區(qū)域，其中前額、眉毛、眼睛、唇上、嘴巴為矩形區(qū) 域，鼻子、頭發(fā)為梯形區(qū)域，下巴、兩頰及整張人臉為橢圓形區(qū)域。
[0014] 本發(fā)明的有益效果在于：本發(fā)明提出基于人臉特征點形狀驅(qū)動深度模型的人臉特 征提取方法，通過融合人臉特征點周圍的局部特征及光照、角度、遮擋等屬性特征提高特征 的描述能力。該方法具有以下優(yōu)點：1)層次化深度學(xué)習(xí)特征相比于低層特征具有更好的描 述能力，同時，人臉特征點形狀驅(qū)動使得模型獲取的特征融合了全局特征、局部特征及屬性 特征，能更好的克服人臉識別在光照、角度、表情等變化條件下的失配問題；2)通過人臉分 塊和區(qū)域遮擋信息特征融合，能夠有效解決部分遮擋問題，提高遮擋條件下人臉識別的識 別率。

【專利附圖】

【附圖說明】
[0015] 為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明作進 一步的詳細(xì)描述，其中：
[0016] 圖1為DCNN結(jié)構(gòu)圖；
[0017] 圖2為人臉特征點形狀驅(qū)動特征提取網(wǎng)絡(luò)結(jié)構(gòu)；
[0018] 圖3為人臉特征點示例圖。

【具體實施方式】
[0019] 下面將結(jié)合附圖，對本發(fā)明的優(yōu)選實施例進行詳細(xì)的描述。
[0020] 本發(fā)明提供的一種基于人臉特征點形狀驅(qū)動深度模型的人臉特征提取方法，該方 法包括以下步驟：
[0021] 步驟一：基于DCNN建立人臉特征點形狀驅(qū)動深度模型；
[0022] 步驟二：對人臉特征點形狀驅(qū)動深度模型進行訓(xùn)練；
[0023] 步驟三：利用人臉特征點形狀驅(qū)動深度模型進行人臉特征提取和特征融合，首先 對矯正后的人臉圖片進行區(qū)域的劃分，然后利用人臉特征點形狀驅(qū)動模型進行特征提取， 所提取的特征融合了人臉各部分的判別性特征與屬性特征。
[0024] 采用深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN)來提取人臉特征，DCNN是一個層次化的結(jié)構(gòu)，如圖 1所示，除了輸入層和輸出層之外，每層都將上一層的輸出作為輸入，并將本層的輸出傳遞 到下一層。其前半部分由多個卷積（convolution)層與池化（pooling)層交替連接而成， 這里采用最大池化（Max Pooling);卷積層與池化層之后是全連接層，其輸入為前一層的多 Cxp(Ui) 個特征面，輸出是用于分類的特征；DCNN的輸出是一個η類soft-max : A = [n. exp(u.)， i = 1，2,. . .，n，其中4表示輸出神經(jīng)元i的全部輸入（上一層全部神經(jīng)元輸出值的加權(quán) 和），0$其輸出，描述了η類的概率分布。DCNN通過最小化-log 0i來訓(xùn)練參數(shù)，其中 i e {1，2, · · ·，η} 0
[0025] DCNN良好的分類性能來源于卷積層和池化層的設(shè)計。每個卷積層或池化層都由多 個平面組成（稱為特征圖），每個平面中的神經(jīng)元只和前一層平面中的一個小區(qū)域有連接。 相比于全連接（與前一層中的所有神經(jīng)元相連接），局部連接可以減少參數(shù)個數(shù)，提高分類 效率，并且避免參數(shù)訓(xùn)練時發(fā)生過擬合，提高分類器的泛化性能。卷積層通過卷積操作從輸 入圖像或前一層的特征圖中提取特征，池化層用于降低特征維數(shù)，并吸收形狀和位置變化 的影響。DCNN可以提取圖像的層次化特征，通過卷積層與池化層，低層特征被逐漸合并成高 層特征。相比于低層特征，高層特征具有更好的描述能力，這也是DCNN在圖像分類任務(wù)中 取得良好表現(xiàn)的原因。
[0026] 本發(fā)明基于DCNN設(shè)計了一種基于人臉特征點形狀驅(qū)動的人臉特征深度提取模 型，在深度模型的不同層次融合人臉特征點的形狀信息，使得最終學(xué)習(xí)得到的人臉特征能 夠更好地處理自然環(huán)境下的人臉變換。該模型是根據(jù)人臉特征點的位置信息，將人臉圖像 分為N個區(qū)域；再利用卷積網(wǎng)絡(luò)（圖1中卷積層與池化層構(gòu)成的網(wǎng)絡(luò)）對每個區(qū)域提取特 征，我們稱之為區(qū)域卷積網(wǎng)絡(luò)；然后再進行特征融合，得到描述能力更強的特征。人臉特 征點形狀驅(qū)動特征提取網(wǎng)絡(luò)結(jié)構(gòu)，如圖2所示。人臉特征點即人臉中具有明顯特征的一些 關(guān)鍵點，如瞳孔中心、鼻尖、眉毛兩端點、嘴角等，如圖3所示。對于區(qū)域的劃分方法可以是 將人臉劃分為十個區(qū)域，分別為整張人臉、頭發(fā)、前額、眉毛、眼睛、鼻子、兩頰、唇上、嘴和下 巴，根據(jù)形狀前額、眉毛、眼睛、唇上、嘴巴為矩形區(qū)域，鼻子、頭發(fā)選取梯形區(qū)域，下巴、兩頰 及整張人臉則為橢圓形區(qū)域。為了使得區(qū)域的劃分能夠?qū)嵌茸兓?、誤差、人臉對齊等因素 魯棒，各個區(qū)域需要包含相對大一點的面積，各區(qū)域之間可以有重合。T (Τ>Ν)個全連接網(wǎng)絡(luò) 輸出的特征包含每個區(qū)域的判別性特征與帶有光照、角度、表情、以及遮擋等信息的屬性特 征，即每個區(qū)域卷積網(wǎng)絡(luò)對應(yīng)一個輸出判別性特征的全連接網(wǎng)絡(luò)及多個輸出屬性特征的全 連接網(wǎng)絡(luò)。屬性特征的融合有利于提升人臉識別在光照、角度、遮擋等變化條件下的識別效 果。
[0027] 訓(xùn)練過程：為實現(xiàn)基于人臉特征點形狀驅(qū)動深度模型的特征提取方法，首先需要 訓(xùn)練人臉特征點形狀驅(qū)動的深度模型。訓(xùn)練樣本為兩張人臉圖片及圖像中相應(yīng)的N個區(qū)域 (每張人臉圖片及每塊區(qū)域都帶有"是否為同一人"、光照、角度、表情、遮擋等標(biāo)注信息）， 每個區(qū)域的樣本對應(yīng)每個區(qū)域卷積神經(jīng)網(wǎng)絡(luò)，輸出為〇 ti，t = 1，2, ...，Τ。對于本發(fā)明中的 情況，由于僅需要描述是否為同一人或者某種屬性是否出現(xiàn)（如是否被遮擋或角度是否為 10° )，故模型輸出為兩類soft-max，即i e {1，2}。利用DCNN的訓(xùn)練方法一一隨機梯度下 降法，通過最小化-log 〇ti，即可訓(xùn)練出模型的參數(shù)。
[0028] 測試過程：利用人臉特征點形狀驅(qū)動模型進行特征提取，首先需要對矯正后的人 臉圖片（特征提取通常是在人臉矯正或?qū)R步驟之后）進行區(qū)域的劃分，然后即可以利用 本發(fā)明提出的人臉特征點形狀驅(qū)動模型進行特征提取，提取的特征融合了具有判別性特征 與屬性特征，因此對光照、表情、角度、遮擋等變化具有更強的魯棒性。
[0029] 最后說明的是，以上優(yōu)選實施例僅用以說明本發(fā)明的技術(shù)方案而非限制，盡管通 過上述優(yōu)選實施例已經(jīng)對本發(fā)明進行了詳細(xì)的描述，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，可以在 形式上和細(xì)節(jié)上對其作出各種各樣的改變，而不偏離本發(fā)明權(quán)利要求書所限定的范圍。
【權(quán)利要求】
1. 基于人臉特征點形狀驅(qū)動深度模型的人臉特征提取方法，其特征在于：該方法包括 W下步驟： 步驟一：基于深度卷積神經(jīng)網(wǎng)絡(luò)DO^N建立人臉特征點形狀驅(qū)動深度模型； 步驟二：對人臉特征點形狀驅(qū)動深度模型進行訓(xùn)練；訓(xùn)練樣本為兩張人臉圖片及圖像 中相應(yīng)的N個區(qū)域，每個區(qū)域的樣本對應(yīng)每個區(qū)域卷積神經(jīng)網(wǎng)絡(luò)，輸出為兩類soft-max, o"，t = 1，2，...，T，i G {1，2}; 步驟=;利用人臉特征點形狀驅(qū)動深度模型進行人臉特征提取和特征融合，首先對矯 正后的人臉圖片進行區(qū)域的劃分，然后利用人臉特征點形狀驅(qū)動模型進行特征提取，所提 取的特征融合了人臉各部分的判別性特征與屬性特征。
2. 根據(jù)權(quán)利要求1所述的基于人臉特征點形狀驅(qū)動深度模型的人臉特征提取方法， 其特征在于；所述步驟一中的人臉特征點形狀驅(qū)動深度模型包括區(qū)域卷積網(wǎng)絡(luò)和全連接網(wǎng) 絡(luò)。
3. 根據(jù)權(quán)利要求2所述的基于人臉特征點形狀驅(qū)動深度模型的人臉特征提取方法，其 特征在于；所述區(qū)域卷積網(wǎng)絡(luò)為N個，區(qū)域卷積網(wǎng)絡(luò)由DC順中卷積層和池化層所構(gòu)成，用于 對人臉的N個區(qū)域進行特征提取；其中，N為根據(jù)人臉特征點的位置信息，將人臉圖像劃分 的N個區(qū)域。
4. 根據(jù)權(quán)利要求2所述的基于人臉特征點形狀驅(qū)動深度模型的人臉特征提取方法，其 特征在于；所述全連接網(wǎng)絡(luò)為T個，T〉N，全連接網(wǎng)絡(luò)由DO^N中的全連接層構(gòu)成，全連接網(wǎng)絡(luò) 與區(qū)域卷積網(wǎng)絡(luò)相連，每個區(qū)域卷積網(wǎng)絡(luò)對應(yīng)一個輸出判別性特征的全連接網(wǎng)絡(luò)及多個輸 出屬性特征的全連接網(wǎng)絡(luò)。
5. 根據(jù)權(quán)利要求3所述的基于人臉特征點形狀驅(qū)動深度模型的人臉特征提取方法，其 特征在于；所述N個區(qū)域之間有重合。
6. 根據(jù)權(quán)利要求3所述的基于人臉特征點形狀驅(qū)動深度模型的人臉特征提取方法，其 特征在于；所述N為十，區(qū)域的劃分方法為將人臉劃分為整張人臉、頭發(fā)、前額、眉毛、眼睛、 鼻子、兩頰、唇上、嘴和下己十個區(qū)域，其中前額、眉毛、眼睛、唇上、嘴己為矩形區(qū)域，鼻子、 頭發(fā)為梯形區(qū)域，下己、兩頰及整張人臉為楠圓形區(qū)域。
【文檔編號】G06K9/62GK104463172SQ201410750504
【公開日】2015年3月25日 申請日期:2014年12月9日 優(yōu)先權(quán)日:2014年12月9日
【發(fā)明者】劉艷飛, 程誠, 周祥東, 周曦 申請人:中國科學(xué)院重慶綠色智能技術(shù)研究院