一種實(shí)時(shí)表情特征提取及表情識(shí)別方法
【專利摘要】本發(fā)明涉及一種實(shí)時(shí)表情特征提取及識(shí)別方法，包括以下步驟：運(yùn)用Kinect從實(shí)時(shí)視頻數(shù)據(jù)中追蹤人臉、提取面部運(yùn)動(dòng)單元信息AUs和特征點(diǎn)坐標(biāo)FPPs；然后，將這兩類特征信息并行處理，在它們各自的特征通道中，特征數(shù)據(jù)經(jīng)7元1-vs-1分類器組進(jìn)行預(yù)識(shí)別，將得到的預(yù)識(shí)別結(jié)果存入緩存用于情感置信統(tǒng)計(jì)，置信度最高的即為此通道中的表情識(shí)別結(jié)果，最后，融合AUs和FPPs這兩個(gè)特征通道的結(jié)果即可得到最終的表情識(shí)別結(jié)果。本發(fā)明解決了常用的表情識(shí)別方法速度和精度不理想的問(wèn)題，基于Kinect提取的面部特征，可實(shí)現(xiàn)實(shí)時(shí)高精度表情識(shí)別。
【專利說(shuō)明】一種實(shí)時(shí)表情特征提取及表情識(shí)別方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種實(shí)時(shí)表情特征提取及識(shí)別方法，特指一種基于Kinect提取的面 部運(yùn)動(dòng)單元及特征點(diǎn)坐標(biāo)信息識(shí)別表情的方法。

【背景技術(shù)】
[0002] 近二十年來(lái)，隨著人工智能與模式識(shí)別技術(shù)的迅猛發(fā)展，關(guān)于面部表情識(shí)別技術(shù) 的研究得到了研究者們的廣泛關(guān)注?，F(xiàn)如今，其應(yīng)用已廣泛覆蓋各領(lǐng)域，如：游戲、安全、情 感計(jì)算和人機(jī)交互。
[0003] 傳統(tǒng)的表情識(shí)別方法還存在著著很大的局限性。在識(shí)別精度方面，大部分研究都 是基于普通攝像頭的，只能采集平面的2D圖像。然而人臉是存在于三維空間中的物體，用 2D圖像描述3D的人臉必然會(huì)造成一些重要信息的丟失，這在很大程度上會(huì)影響表情識(shí)別 的精度；在識(shí)別速度方面，由于設(shè)備、算法等方面的原因，2D環(huán)境下的識(shí)別往往很慢，平均 每張人臉圖像大約需要幾秒甚至十幾秒，無(wú)法達(dá)到實(shí)時(shí)性要求。
[0004] 在 Xiangxin Zhu 等名為"Face Detection,Pose Estimation, and Landmark Localization in the Wild"的論文中，他們提出了一種基于2D圖像定位自然環(huán)境中人臉 特征點(diǎn)的方法，其精度達(dá)到了十分先進(jìn)的水平，可計(jì)算量較大，在本發(fā)明的實(shí)驗(yàn)機(jī)器上定位 一張2D圖上的人臉特征點(diǎn)平均需13. 9秒。
[0005] 傳統(tǒng)的表情識(shí)別方法在識(shí)別精度和速度有待進(jìn)一步提商。
[0006] 本發(fā)明為了克服現(xiàn)有技術(shù)缺陷，通過(guò)引入Kinect這一高速3D攝像設(shè)備提取面部 特征，并針對(duì)這些特征提出了一整套切實(shí)可行的表情識(shí)別算法，大大提高了識(shí)別精度與速 度。


【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于提供一種實(shí)時(shí)表情特征提取及表情識(shí)別方法，以提商表情識(shí)別 精度和速度。
[0008] 為了解決以上技術(shù)問(wèn)題，本發(fā)明提出一種基于Kinect的實(shí)時(shí)表情信息提取及識(shí) 別方法，具體技術(shù)方案如下：
[0009] -種實(shí)時(shí)表情特征提取方法，其特征在于包括下列步驟：
[0010] 步驟一，制定基于Kinect的表情特征數(shù)據(jù)庫(kù)規(guī)范，包括表情表現(xiàn)規(guī)范、錄制規(guī)范 及特征文件命名規(guī)范；
[0011] 步驟二，收集表情特征數(shù)據(jù)：運(yùn)用Face Tracking改編的錄制軟件從Kinect的實(shí) 時(shí)視頻流中追蹤人臉并提取運(yùn)動(dòng)單元信息即AUs和特征點(diǎn)坐標(biāo)信息即FPPs，每次記錄的數(shù) 據(jù)包括RGB圖、AUs和FPPs，具體過(guò)程如下：
[0012] 過(guò)程一，記錄表情表現(xiàn)者的個(gè)人信息即編號(hào)，并要求表情表現(xiàn)者在距離Kinect合 適位置上1-1. 5m處以標(biāo)準(zhǔn)的方式做表情，表情表現(xiàn)者以制定的表情及面部姿態(tài)表現(xiàn)某一 表情，每種表情在每個(gè)面部姿態(tài)下，重復(fù)20遍；
[0013] 過(guò)程二，表情表現(xiàn)者對(duì)錄制的RGB圖進(jìn)行個(gè)人評(píng)價(jià)，當(dāng)錄制的RGB圖符合表情表現(xiàn) 者的表達(dá)意愿，則將RGB圖、AUs和FPPs記錄下來(lái)，否則重復(fù)過(guò)程一；
[0014] 過(guò)程三，分別以憤怒、厭惡、害怕、高興、平靜、悲傷以及驚訝7種表情，和5種面部 姿態(tài)即當(dāng)前面部與正面人臉的夾角分別為0°，±15°，±30°時(shí)的姿態(tài)，重復(fù)所述過(guò)程一 和過(guò)程二；
[0015] 過(guò)程四，更換表情表現(xiàn)者，重復(fù)所述過(guò)程一至過(guò)程三，去除重復(fù)數(shù)據(jù)，得到10名表 情表現(xiàn)者實(shí)驗(yàn)所獲得的6000組數(shù)據(jù)；
[0016] 步驟三，表情有效性評(píng)測(cè)，即有區(qū)別于表情表現(xiàn)者至少10名測(cè)評(píng)者對(duì)過(guò)程四中得 到的數(shù)據(jù)組中的RGB圖進(jìn)行主觀測(cè)評(píng)實(shí)驗(yàn)，如測(cè)評(píng)者肯定RGB圖表現(xiàn)的有效性，則認(rèn)為提取 的AUs和FPPs是有效的。
[0017] 根據(jù)所述的一種實(shí)時(shí)表情特征提取方法的表情識(shí)別方法，其特征在于包括以下步 驟：
[0018] 步驟一，基于AUs識(shí)別表情的步驟，具體包括以下過(guò)程：
[0019] 過(guò)程一，訓(xùn)練基于AUs的情感模型，將某X類AUs的標(biāo)簽置為1，其它類別AUs的 標(biāo)簽均置為-1，然后運(yùn)用這些標(biāo)記過(guò)的AUs訓(xùn)練SVM模型用于識(shí)別給定的AUs是否屬于X 類，如果是屬于X類，輸出1，否則輸出-1 ;
[0020] 過(guò)程二，更換X類的類別，重復(fù)過(guò)程一，得到憤怒、厭惡、害怕、高興、平靜、悲傷以 及驚訝對(duì)應(yīng)7種不同表情的AUs情感模型，用于組建7元1-vs-lSVM分類器組，給定實(shí)時(shí) AUs，輸出7個(gè)預(yù)識(shí)別結(jié)果；
[0021] 過(guò)程三，將每一幀表情圖像的AUs輸入過(guò)程二訓(xùn)練好的7元1-vs-l SVM分類器組 中，得到每一幀表情圖像的預(yù)識(shí)別結(jié)果，每幀表情圖像的預(yù)識(shí)別結(jié)果被存儲(chǔ)在緩沖存儲(chǔ)器 BM-AUs 中；
[0022] 過(guò)程四，采用情感置信分布圖對(duì)BM-AUs中連續(xù)30幀表情圖像的預(yù)識(shí)別結(jié)果進(jìn)行 融合，情感置信分布圖中最高置信度所對(duì)應(yīng)的表情即為所述連續(xù)30幀表情圖像的基于AUs 得到的表情預(yù)識(shí)別結(jié)果；
[0023] 步驟二，基于FPPs識(shí)別表情的步驟，具體包括以下過(guò)程：
[0024] 過(guò)程一，訓(xùn)練基于FPPs的情感模型，將某X類FPPs的標(biāo)簽置為1，其它類別FPPs 的標(biāo)簽均置為-1，然后運(yùn)用這些標(biāo)記過(guò)的FPPs訓(xùn)練SVM模型用于識(shí)別給定的FPPs是否屬 于X類，如果是屬于X類，輸出1，否則輸出-1 ;
[0025] 過(guò)程二，更換X類的類別，重復(fù)過(guò)程一，得到憤怒、厭惡、害怕、高興、平靜、悲傷以 及驚訝對(duì)應(yīng)7種不同表情的FPPs情感模型，用于組建7元1-vs-lSVM分類器組，對(duì)于給定 實(shí)時(shí)FPPs可輸出7個(gè)預(yù)識(shí)別結(jié)果；
[0026] 過(guò)程三，將每一幀表情圖像的FPPs輸入過(guò)程二訓(xùn)練好的7元1-vs-l SVM分類器 組中，得到每一幀表情圖像的預(yù)識(shí)別結(jié)果，每幀表情圖像的預(yù)識(shí)別結(jié)果被存儲(chǔ)在緩沖存儲(chǔ) 器 BM-FPPs 中；
[0027] 過(guò)程四，采用情感置信分布圖對(duì)BM-FPPs中連續(xù)30幀表情圖像的預(yù)識(shí)別結(jié)果進(jìn)行 融合，情感置信分布圖中最高置信度所對(duì)應(yīng)的表情即為該連續(xù)30幀表情圖像的基于FPPs 得到的表情預(yù)識(shí)別結(jié)果；
[0028] 步驟四，比較基于AUs得到的表情預(yù)識(shí)別結(jié)果的置信度和基于FPPs得到的表情預(yù) 識(shí)別結(jié)果的置信度，將擁有較高置信度的表情預(yù)識(shí)別結(jié)果作為當(dāng)前連續(xù)30幀表情圖像的 最終識(shí)別結(jié)果。
[0029] 本發(fā)明具有有益效果
[0030] 1.本發(fā)明通過(guò)融合基于AUs和FPPs的RGB特征和深度特征，成功解決了基于傳統(tǒng) 方法難以達(dá)到高精度實(shí)時(shí)表情識(shí)別的問(wèn)題，憑借Kinect實(shí)現(xiàn)了高精度實(shí)時(shí)表情識(shí)別。
[0031] 2.本發(fā)明充分考慮情感表達(dá)的非瞬時(shí)性，通過(guò)統(tǒng)計(jì)連續(xù)30幀即1秒內(nèi)圖像所表現(xiàn) 的表情，得到了融合的表情預(yù)識(shí)別結(jié)果。
[0032] 3.本發(fā)明通過(guò)融合基于不同類型表情特征得到的識(shí)別結(jié)果，最終得到了更為可靠 的識(shí)別結(jié)果。

【專利附圖】

【附圖說(shuō)明】
[0033] 圖1是本發(fā)明基于Kinect的實(shí)時(shí)表情識(shí)別方法流程圖；
[0034] 圖2是本發(fā)明單獨(dú)運(yùn)用一類特征識(shí)別表情的方法演示圖，以AUs特征為例；
[0035] 圖3是本發(fā)明AUs特征在人臉上的展示圖；
[0036] 圖4是本發(fā)明在自行錄制的數(shù)據(jù)庫(kù)上的識(shí)別準(zhǔn)確率結(jié)果圖。

【具體實(shí)施方式】
[0037] 下面結(jié)合附圖和具體實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步詳細(xì)說(shuō)明。
[0038] 圖1給出了本發(fā)明的總體思路，運(yùn)用Kinect從實(shí)時(shí)視頻數(shù)據(jù)中追蹤人臉、提取面 部運(yùn)動(dòng)單元信息即AUs和特征點(diǎn)坐標(biāo)即FPPs，然后，將這兩類特征信息并行處理，在它們各 自的特征通道中，特征數(shù)據(jù)經(jīng)7元1-vs-l SVM分類器組進(jìn)行預(yù)識(shí)別，將得到的連續(xù)30幀表 情圖像的預(yù)識(shí)別結(jié)果存入緩存用于情感置信統(tǒng)計(jì)，置信度最高的即為此通道中連續(xù)30幀 表情圖像的表情預(yù)識(shí)別結(jié)果，最后，融合AUs和FPPs這兩個(gè)特征通道的結(jié)果即可得到最終 的表情識(shí)別結(jié)果。
[0039] 圖2以AUs通道為例演示了基于AUs識(shí)別表情的方法。從每幀圖像提取的AUs首 先經(jīng)由7元1-vs-l SVM分類器組進(jìn)行預(yù)識(shí)別，其中每個(gè)子分類器對(duì)應(yīng)一種表情，可判斷輸 入的AUs是否符合此表情，如果是，輸出1，否則，輸出-1，對(duì)應(yīng)7類表情的7元預(yù)識(shí)別結(jié)果 以圖中形式存儲(chǔ)在緩存隊(duì)列中，經(jīng)情感置信統(tǒng)計(jì)，置信度最高的即為基于AUs得到的表情 識(shí)別結(jié)果。在本示例中，擁有最大置信度的是憤怒，因此，憤怒是該表情圖像基于AUs得到 的表情識(shí)別結(jié)果。
[0040] 圖3中的人臉網(wǎng)格圖是由Face tracking定義的121個(gè)特征點(diǎn)聯(lián)接而成，本發(fā)明 選取了與表情最為相關(guān)的及其它一些重要部分的特征點(diǎn)，最終得到45個(gè)主要關(guān)于眼睛、眉 毛和嘴部的3D特征點(diǎn)。AUs包含6個(gè)面部運(yùn)動(dòng)單元信息，如圖3中所示。
[0041] 運(yùn)用AUs和FPPs可分別訓(xùn)練得到一個(gè)7元1-vs-l SVM分類器組，其中各子分類 器在數(shù)據(jù)庫(kù)內(nèi)的識(shí)別率如圖4所示。
[0042] 由于現(xiàn)實(shí)中人的表情變化是個(gè)動(dòng)態(tài)過(guò)程，并且這一過(guò)程不可能如同幀的刷新那么 迅速，因此，綜合判斷一段連續(xù)幀中的信息顯然更為合理。本發(fā)明識(shí)別系統(tǒng)中圖像的刷新頻 率為30幀/秒，可實(shí)時(shí)對(duì)連續(xù)30幀即1秒內(nèi)表現(xiàn)的表情進(jìn)行識(shí)別。
[0043] 本發(fā)明主要分為兩部分：基于Kinect的實(shí)時(shí)表情特征提取方法和實(shí)時(shí)表情識(shí)別 方法。
[0044] -、基于Kinect的實(shí)時(shí)表情特征提取方法，該方法步驟如下：
[0045] 步驟1，制定表情特征數(shù)據(jù)庫(kù)規(guī)范
[0046] 在表情特征數(shù)據(jù)庫(kù)的整個(gè)錄制過(guò)程中的每一步都應(yīng)遵從特定的規(guī)范，包括表情表 現(xiàn)規(guī)范、錄制規(guī)范及特征文件命名規(guī)范等。根據(jù)表情研究的應(yīng)用需求，具體涉及到的制作規(guī) 范和含義如下：
[0047] (1)表情表現(xiàn)規(guī)范
[0048] 為了使提取的表情特征有較好的可區(qū)分性，要求表情表現(xiàn)者盡量以大的變 化幅度做表情，表現(xiàn)內(nèi)容包括5種面部姿態(tài)即當(dāng)前面部與正面人臉的夾角分別為 0°，±15°，±30°時(shí)的姿態(tài)下的7種表情即憤怒、厭惡、害怕、高興、平靜、悲傷以及驚 訝；
[0049] (2)錄制規(guī)范
[0050] 為了使實(shí)驗(yàn)更切合實(shí)際環(huán)境，錄制的場(chǎng)所并不固定，對(duì)光照條件也無(wú)特殊要求，只 要充足即可，錄制設(shè)備為傳感器Kinect For Windows以及配置為Inter dual-core, 2.8GHz CPU，4G RAM的電腦一臺(tái)，錄制軟件是基于配套開發(fā)工具Face Tracking SDK編寫的，以便 記錄指定的特征；
[0051] (3)特征文件命名規(guī)范
[0052] 為了方便表情特征數(shù)據(jù)的組織和檢索，對(duì)單個(gè)表情特征有直觀的描述，設(shè)計(jì)了特 征文件命名規(guī)范。由于AUs和FPPs是分開處理的，為了簡(jiǎn)化，在命名時(shí)不對(duì)特征類型進(jìn)行 區(qū)別，而將不同類型的特征放在不同文件夾中。文件名由表情類別、表情表現(xiàn)者編號(hào)以及面 部姿態(tài)3種信息構(gòu)成，如：1號(hào)表情表現(xiàn)者表現(xiàn)憤怒的表情，且其面部姿態(tài)為向左15°，特征 文件命名應(yīng)為"anger 1@15"，此文件內(nèi)集合了所有符合此描述的特征，并且每組特征數(shù)據(jù) 都標(biāo)有相應(yīng)的錄制時(shí)間以進(jìn)行區(qū)分和方便查找。與AUs、FPPs相對(duì)應(yīng)的RGB圖名稱以上述 命名方法附加時(shí)間命名，如："anger 1@0 11. 2912時(shí)08分41秒538. bmp"。
[0053] 步驟2 :收集表情特征數(shù)據(jù)
[0054] 運(yùn)用編寫的錄制軟件可從Kinect的實(shí)時(shí)視頻流中追蹤人臉并提取AUs和FPPs。 每次記錄的數(shù)據(jù)包括：RGB圖、AUs、FPPs ;
[0055] 每個(gè)AU的取值在[-1，1]內(nèi)，從每幀圖像中提取的AUs可表示為6元向量：
[0056]

【權(quán)利要求】
1. 一種實(shí)時(shí)表情特征提取方法，其特征在于包括下列步驟： 步驟一，制定基于Kinect的表情特征數(shù)據(jù)庫(kù)規(guī)范，包括表情表現(xiàn)規(guī)范、錄制規(guī)范及特 征文件命名規(guī)范； 步驟二，收集表情特征數(shù)據(jù)：運(yùn)用Face Tracking改編的錄制軟件從Kinect的實(shí)時(shí)視 頻流中追蹤人臉并提取運(yùn)動(dòng)單元信息即AUs和特征點(diǎn)坐標(biāo)信息即FPPs，每次記錄的數(shù)據(jù)包 括RGB圖、AUs和FPPs，具體過(guò)程如下： 過(guò)程一，記錄表情表現(xiàn)者的個(gè)人信息即編號(hào)，并要求表情表現(xiàn)者在距離Kinect合適位 置上1-1. 5m處以標(biāo)準(zhǔn)的方式做表情，表情表現(xiàn)者以制定的表情及面部姿態(tài)表現(xiàn)某一表情， 每種表情在每個(gè)面部姿態(tài)下，重復(fù)20遍； 過(guò)程二，表情表現(xiàn)者對(duì)錄制的RGB圖進(jìn)行個(gè)人評(píng)價(jià)，當(dāng)錄制的RGB圖符合表情表現(xiàn)者的 表達(dá)意愿，則將RGB圖、AUs和FPPs記錄下來(lái)，否則重復(fù)過(guò)程一； 過(guò)程三，分別以憤怒、厭惡、害怕、高興、平靜、悲傷以及驚訝7種表情，和5種面部姿態(tài) 即當(dāng)前面部與正面人臉的夾角分別為0°，±15°，±30°時(shí)的姿態(tài)，重復(fù)所述過(guò)程一和過(guò) 程二； 過(guò)程四，更換表情表現(xiàn)者，重復(fù)所述過(guò)程一至過(guò)程三，去除重復(fù)數(shù)據(jù)，得到10名表情表 現(xiàn)者實(shí)驗(yàn)所獲得的6000組數(shù)據(jù)； 步驟三，表情有效性評(píng)測(cè)，即有區(qū)別于表情表現(xiàn)者至少10名測(cè)評(píng)者對(duì)過(guò)程四中得到的 數(shù)據(jù)組中的RGB圖進(jìn)行主觀測(cè)評(píng)實(shí)驗(yàn)，如測(cè)評(píng)者肯定RGB圖表現(xiàn)的有效性，則認(rèn)為提取的 AUs和FPPs是有效的。
2. 根據(jù)權(quán)利要求1所述的一種實(shí)時(shí)表情特征提取方法的表情識(shí)別方法，其特征在于包 括以下步驟： 步驟一，基于AUs識(shí)別表情的步驟，具體包括以下過(guò)程： 過(guò)程一，訓(xùn)練基于AUs的情感模型，將某X類AUs的標(biāo)簽置為1，其它類別AUs的標(biāo)簽均 置為-1，然后運(yùn)用這些標(biāo)記過(guò)的AUs訓(xùn)練SVM模型用于識(shí)別給定的AUs是否屬于X類，如果 是屬于X類，輸出1，否則輸出-1 ; 過(guò)程二，更換X類的類別，重復(fù)過(guò)程一，得到憤怒、厭惡、害怕、高興、平靜、悲傷以及驚 訝對(duì)應(yīng)7種不同表情的AUs情感模型，用于組建7元1-vs-lSVM分類器組，給定實(shí)時(shí)AUs，輸 出7個(gè)預(yù)識(shí)別結(jié)果； 過(guò)程三，將每一幀表情圖像的AUs輸入過(guò)程二訓(xùn)練好的7元1-vs-l SVM分類器組中，得 到每一幀表情圖像的預(yù)識(shí)別結(jié)果，每幀表情圖像的預(yù)識(shí)別結(jié)果被存儲(chǔ)在緩沖存儲(chǔ)器BM-AUs 中； 過(guò)程四，采用情感置信分布圖對(duì)BM-AUs中連續(xù)30幀表情圖像的預(yù)識(shí)別結(jié)果進(jìn)行融合， 情感置信分布圖中最高置信度所對(duì)應(yīng)的表情即為所述連續(xù)30幀表情圖像的基于AUs得到 的表情預(yù)識(shí)別結(jié)果； 步驟二，基于FPPs識(shí)別表情的步驟，具體包括以下過(guò)程： 過(guò)程一，訓(xùn)練基于FPPs的情感模型，將某X類FPPs的標(biāo)簽置為1，其它類別FPPs的標(biāo) 簽均置為-1，然后運(yùn)用這些標(biāo)記過(guò)的FPPs訓(xùn)練SVM模型用于識(shí)別給定的FPPs是否屬于X 類，如果是屬于X類，輸出1，否則輸出-1; 過(guò)程二，更換X類的類別，重復(fù)過(guò)程一，得到憤怒、厭惡、害怕、高興、平靜、悲傷以及驚 訝對(duì)應(yīng)7種不同表情的FPPs情感模型，用于組建7元1-vs-lSVM分類器組，對(duì)于給定實(shí)時(shí) FPPs可輸出7個(gè)預(yù)識(shí)別結(jié)果； 過(guò)程三，將每一幀表情圖像的FPPs輸入過(guò)程二訓(xùn)練好的7元1-vs-l SVM分類器組 中，得到每一幀表情圖像的預(yù)識(shí)別結(jié)果，每幀表情圖像的預(yù)識(shí)別結(jié)果被存儲(chǔ)在緩沖存儲(chǔ)器 BM-FPPs 中； 過(guò)程四，采用情感置信分布圖對(duì)BM-FPPs中連續(xù)30幀表情圖像的預(yù)識(shí)別結(jié)果進(jìn)行融 合，情感置信分布圖中最高置信度所對(duì)應(yīng)的表情即為該連續(xù)30幀表情圖像的基于FPPs得 到的表情預(yù)識(shí)別結(jié)果； 步驟四，比較基于AUs得到的表情預(yù)識(shí)別結(jié)果的置信度和基于FPPs得到的表情預(yù)識(shí)別 結(jié)果的置信度，將擁有較高置信度的表情預(yù)識(shí)別結(jié)果作為當(dāng)前連續(xù)30幀表情圖像的最終 識(shí)別結(jié)果。
【文檔編號(hào)】G06K9/00GK104123545SQ201410357670
【公開日】2014年10月29日 申請(qǐng)日期:2014年7月24日 優(yōu)先權(quán)日:2014年7月24日
【發(fā)明者】毛啟容, 潘新宇, 于永斌, 茍建平, 楊洋, 詹永照, 屈興 申請(qǐng)人:江蘇大學(xué)