一種基于情感分布學(xué)習(xí)的情感成分分析方法及其系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及模式識別和機器學(xué)習(xí)，特別涉及情感分布學(xué)習(xí)和人臉情感成分分析。
【背景技術(shù)】
[0002] 人臉情感成分分析是根據(jù)一幅人臉表情圖像，估計出該圖像中6種基本情感所 占的成分比。人臉表情分析技術(shù)目前主要的應(yīng)用領(lǐng)域包括：1)人機交互，計算機通過估計 人臉表情所包含的情感來給出一系列響應(yīng)；2)安全領(lǐng)域，表情分析可對重要工作人員的疲 勞、瞌睡等表情做出警報響應(yīng)（如：長途汽車司機、核電站管理人員）；3)醫(yī)療領(lǐng)域，表情分 析可用于機器人手術(shù)操作和電子護士的護理，可根據(jù)患者面部表情變化及時發(fā)現(xiàn)其身體狀 況的變化，避免悲劇發(fā)生。因此人臉表情分析技術(shù)的研宄與發(fā)展有著十分重要的意義。在 以往的研宄中，人臉表情識別方法往往只識別出一種最主要的情感，而這往往是不符合現(xiàn) 實場景的，在很多的時候，人臉表情不僅包含一種情感，而是多種情感的混合，比如說：又驚 又喜，喜憂參半等等。本專利提出的方法是識別出表情圖像中帶有的所有的情感，并且給出 每種情感所占有的成分比。
[0003] 假設(shè)我們使用6種基本情感：開心、生氣、驚訝、惡心、害怕、悲傷，記為 (yi，y2, ye)。我們提出的情感成分分析的方法，在訓(xùn)練過程中使用一個情感分布向 量表示這些基礎(chǔ)情感所占的比重，稱為成分比，表示為（E1, e2, e3, e4, e5, E6)，分布中每個值 都屬于〇到1之間，并且和為1。

【發(fā)明內(nèi)容】

[0004] 發(fā)明目的：針對現(xiàn)有表情分析方法僅識別出表情的一種情感的問題，本發(fā)明提出 一種基于情感分布學(xué)習(xí)的情感成分分析方法及其系統(tǒng)，能夠?qū)W習(xí)出人類表情圖像中蘊含的 所有情感及其所占比重，更符合現(xiàn)實生活中的情況并可以更好地匹配現(xiàn)實生活中的應(yīng)用。
[0005] 技術(shù)方案：為了解決上述問題，本發(fā)明提出一種基于情感分布學(xué)習(xí)的情感成分分 析方法，包括如下步驟：
[0006] 1)獲取用于訓(xùn)練的人臉表情圖像集，截取出人臉部分；
[0007] 2)將圖像集中的所有圖像縮放到統(tǒng)一大小的分辨率；
[0008] 3)對步驟2)中縮放后的圖像提取圖像特征向量；
[0009] 4)分別給每幅圖像的每種基礎(chǔ)情感進行打分，計算每種情感的平均分，并進行歸 一化處理得到該幅圖像的情感分布向量；
[0010] 5)計算每一對基礎(chǔ)情感之間的相關(guān)系數(shù)，利用這個相關(guān)系數(shù)計算權(quán)值矩陣；
[0011] 6)使用圖像特征向量及其情感分布作為訓(xùn)練集，將最大熵模型與Jeffrey散度以 及步驟5中的權(quán)值矩陣結(jié)合起來，再加上兩個正則化項生成目標函數(shù)，并優(yōu)化該目標函數(shù) 得到用于情感分布預(yù)測的參數(shù)模型；
[0012] 7)對于待進行情感分布估計的圖像新經(jīng)過步驟1、2、3提取人臉的特征向量，再使 用步驟6中訓(xùn)練出來的模型來預(yù)測情感分布，表示各種基礎(chǔ)情感在該表情圖像中所占的成 分比，若情感標記所對應(yīng)的值大于虛擬標記成分比，則判定為主要情感成分。
[0013] 所述步驟1中人臉部分截取的具體方法為：手工定位兩只眼睛的位置，計算兩只 眼睛的中心點P、兩眼睛之間的距離d，截取中心點P距離左邊緣的距離為l*d，距離右邊緣 的距離為r*d，距離上邊緣的距離為t*d，距離下邊緣的距離為b*d的人臉部分，其中1、r、 t、d為預(yù)設(shè)值，分別表示圖像從兩眼中心點p出發(fā)，向左右上下所要截取的距離關(guān)于兩眼距 離的比例。
[0014] 所述步驟3中提取的人臉特征為LBP特征。
[0015] 所述步驟4為開心、生氣、驚訝、惡心、害怕、悲傷6種基礎(chǔ)情感打分，其中5分為最 高分，表示表情與情緒的相關(guān)度高，1分為最低分，表示表情與情緒的相關(guān)度低。
[0016] 所述步驟5中權(quán)值矩陣的具體計算公式為：
[0017] (1)
[0018] 式中，為權(quán)值矩陣λ的元素，表示第j個情感與第k個情感同時發(fā)生的可能 性，
表示第j個情感與第k個情感之間的相關(guān)系數(shù)，5」表 示第j個情感的分數(shù)向量，由所有打分者對第j個情感的打分組成，^表示第j個情感的分 數(shù)平均值，Sk表示第k個情感的分數(shù)向量，由所有打分者對第j個情感的打分組成，瓦表示 第k個情感的分數(shù)平均值；Aj= Σ k(pjkr為歸一化因子，用來使得Σ kAjk= I 是一 個正的奇數(shù)，用來控制情感間相關(guān)系數(shù)所起的作用；ε是一個閾值，如果情感間相關(guān)系數(shù) 的絕對值大于這個閾值，就認為起作用，否則就不予以考慮。
[0019] 所述步驟6訓(xùn)練用于情感分布預(yù)測的參數(shù)模型的具體方法為：
[0020] 6. 1)將權(quán)值加入到Jeffery散度中來計算兩個情感分布之間的差異，使用最大j：商 模型對預(yù)測分布建模，并加入兩個正則化項來緩解預(yù)測分布過于平緩的問題和防止不穩(wěn)定 的輸出，生成的目標函數(shù)為：
[0021]
[0022] 式中，E表示真實的情感分布，云表示預(yù)測的情感分布，X>w7(￡||旬表示加權(quán) Jeffery散度，ξ JP ξ 2為平衡因子，Θ k表示模型參數(shù)Θ的第k個行，歹表示模型參數(shù)Θ 每列的平均值組成的向量，Sfa表示參數(shù)Θ的第k行第r列個值；
[0023] 6. 2)將步驟4得到的情感分布加入一個虛擬標記Vtl，再帶入到公式2表示的模型 中，然后使用L-BFGS梯度下降法進行優(yōu)化，訓(xùn)練得到用于預(yù)測情感分布的參數(shù)模型，Vtl的具 體取法為：對于每一幅表情圖像，對其每種情感的平均分進行由大到小的排序，計算相鄰兩 個情感分數(shù)之間的差，取出差值最大的那兩個情感標記分數(shù)，取其中間值，即為％的值。
[0024] 本發(fā)明還提出一種情感成分分析系統(tǒng)，包括特征向量提取模塊、情感分布獲取模 塊、參數(shù)模型預(yù)測模塊和評分結(jié)果預(yù)測模塊；其中特征向量提取模塊用于選擇表情圖像集 的特征，并對得到的特征進行去噪、預(yù)處理和特征向量提取；情感分布獲取模塊用于得到每 幅人臉表情圖像對應(yīng)的每種情感的打分信息，并對所有分數(shù)做歸一化處理得到情感分布向 量；參數(shù)模型預(yù)測模炔基于訓(xùn)練人臉表情數(shù)據(jù)集的特征向量和情感分布向量訓(xùn)練情感分布 預(yù)測參數(shù)模型；評分結(jié)果預(yù)測模炔基于未使用的人臉表情圖像的特征向量和訓(xùn)練的情感分 布預(yù)測參數(shù)模型預(yù)測未使用人臉表情圖像的情感分布。
[0025] 有益效果：本發(fā)明提出的方法和系統(tǒng)可以快速、有效地訓(xùn)練出情感成分分析的模 型，利用該方法不僅可以計算出該表情包含哪些情感，還可以計算出每種情感所包含的比 重。
【附圖說明】
[0026] 圖1是本發(fā)明的基于情感分布學(xué)習(xí)的人臉情感成分分析的方法流程圖；
[0027] 圖2是人臉表情不例；
[0028] 圖3是情感分布示例；
[0029] 圖4是加虛擬標記的取值示例；
[0030] 圖5是加虛擬標記的情感分布示例。
【具體實施方式】
[0031] 下面結(jié)合具體實例，進一步闡明本發(fā)明，應(yīng)理解這些實例僅用于說明本發(fā)明而不 用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對本發(fā)明的各種等價形式 的修改均落于本申請所附權(quán)利要求所限定的范圍。
[0032] 如圖1所示，基于情感分布學(xué)習(xí)的人臉情感成分分析方法包括如下步驟：
[0033] 1)獲取用于訓(xùn)練的人臉表情的圖像集，固定圖像集中每幅圖像的兩只眼睛的位置 進行剪裁，使得每幅人臉圖像中眼睛的相對位置一樣，并且只剩下人臉部分；
[0034] 在該步驟中可以手工定位兩只眼睛位置，固定兩只眼睛在圖像中的相對位置，計 算出兩只眼睛的中心點P、兩眼睛之間的距離為d，截取圖像使得每幅圖像中P距離左邊緣 距離l*d，距離右邊緣距離r*d，距離上邊緣距離t*d，距離下邊緣距離b*d，其中l(wèi)、r、t、d事 先給定，表示圖像從兩眼中心點P出發(fā)，向左右上下關(guān)于兩眼距離d要截取的比例。
[0035] 2)將圖像集中的所有圖像縮放到統(tǒng)一大小的分辨率，本實施例將圖像縮放到 156*156 像素。
[0036] 3)使用局部二值模式方法（LBP)從步驟2縮放后的圖像中提取圖像特征向量；
[0037] 在該步驟中，從圖像集合{I, KL1中提取特征向量te KU，其中η表示圖像集合 中樣本個數(shù)，Ii表示第i個樣本的圖像，X i表示第i個樣本的特征。用LBP方法提 取特征時，需要設(shè)置像素點的鄰域值作為參數(shù)（具體可參考：T.Ahonen，A. Hadid, and M.Pietikainen. Face description with local binary patterns:Application to face recognition.IEEE Transactions on Pattern Analysis and Machine Intelligen ce，28 (12) : 2037 - 2041，2006.)，這個參數(shù)需要調(diào)試確定，本實施例設(shè)定為3, 3*3領(lǐng)域共取 16個點。
[0038] 4)對每幅表情圖像的每種情感進行打分，收集打分信息(YiKL1，并進行歸一化處 理得到情感分布向量{E,.K.U ;
[0039] 在該步驟中，我們使用6種基本情感：開心、生氣、驚訝、惡心、害怕、悲傷，請一些 人來給每幅圖像的每種情感進行打分，其中1分為最低分，代表相關(guān)度低，5分為最高分，代 表相關(guān)度高，之后對各表情的所有打分求平均分，記為Y = G1, y2, y5, y6)。然后對這 個平均分進行歸一化，具體的，iE
良示第j個情感關(guān)于該表情的置信度，這里的 yj表示第j個情感對應(yīng)的分數(shù)，于是形成一個情感分布E，表示為（E i，E2, E3, E4, E5, E6)，情感 分布中每一個值在0到1之間，值之和為1。
[0040] 5)根據(jù)情感的分數(shù)信息，計算每一對情感之間的相關(guān)系數(shù)，由相關(guān)系數(shù)計算權(quán)值 λ，經(jīng)常一起出現(xiàn)的情感權(quán)值為正數(shù)，并且λ值越大表示越相關(guān)，互斥的情感權(quán)重為負數(shù)， 且值越小越互斥，表示這兩種情感不太可能同時發(fā)生；
[0041] 在該步驟中，先根據(jù)每種基礎(chǔ)情感之間的關(guān)系，計算出每一對基礎(chǔ)情感 標記向量之間的相關(guān)系數(shù)，利用這個相關(guān)系數(shù)來計算一個6*6的權(quán)值矩陣λ，
羑示第j個情感與第 k個情感之間的相關(guān)系數(shù)，表示第j個情感的分數(shù)向量，由所有打分者對第j個情感的打 分組成，巧表示第j個情感的分數(shù)平均值，Sk表示第k個情感的分數(shù)向量，由所有打分者對 第j個情感的打分組成，旯表示第k個情感的分數(shù)平均值；Λ」=Σ k(p 為歸一化因子， 用來使得Sk λ Λ= 1 ; η是一個正的奇數(shù)，用來控制情感間相關(guān)系數(shù)所起的作用；ε是一 個閾值，如果情感間相關(guān)系數(shù)的絕對值大于這個閾值，就認為起作用，否則就不予以考慮。
[0042] 6)將步驟5中的權(quán)值加入到Jeffery散度中作為加權(quán)Jeffery散度來計算兩個情 感分布之間的差異，使用最大熵模型對預(yù)測分布建模，并在目標函數(shù)中加入兩個正則化項 來緩解預(yù)測分布過于平緩的問題以及防止不穩(wěn)定的輸出；
[0043] 在該步驟中，加權(quán)Jeffery散度表示為
其 中，為步驟5中求出的權(quán)值；Qa、Qb分別表示兩個情感分布；Q,:表示分布％中的第j個元 素，^^表示分布Qb中的第k個元素。最大熵模型表示為
，表示 第i個樣本的第k個情感的預(yù)測值，
為歸一化因子，Xi表示第i個樣本， yk表示第k