基于部分遮擋圖像的人臉表情識(shí)別方法
【專利摘要】本發(fā)明公開了一種基于部分遮擋圖像的人臉表情識(shí)別方法，包括如下步驟：1、對(duì)已知類別的人臉表情庫(kù)中包含N類表情的人臉圖像進(jìn)行預(yù)處理；2、計(jì)算測(cè)試集中的待測(cè)樣本和訓(xùn)練集中的訓(xùn)練樣本之間的相似度，得到與待測(cè)樣本同類別且最近鄰圖像；3、對(duì)待測(cè)樣本的遮擋部分進(jìn)行重構(gòu)；4、提取重構(gòu)后的待測(cè)樣本和訓(xùn)練集中的訓(xùn)練樣本的PWLD特征；5、使用SVM分類器對(duì)測(cè)試集中所有待測(cè)樣本進(jìn)行分類識(shí)別。本發(fā)明采用圖像匹配的方法，能夠有效地重構(gòu)圖像的遮擋部位，避免了只提取非遮擋部分時(shí)特征表征不完整的問(wèn)題，此外本發(fā)明采用的三層金字塔結(jié)構(gòu)提取了圖像的全局和局部特征，增強(qiáng)了特征表征的精確性。
【專利說(shuō)明】
基于部分廬擋圖像的人臉表情識(shí)別方法
技術(shù)領(lǐng)域：
[0001] 本發(fā)明設(shè)及圖像重構(gòu)和特征提取，屬于圖像處理領(lǐng)域，具體地說(shuō)是一種基于部分 遮擋圖像的人臉表情識(shí)別方法。
【背景技術(shù)】：
[0002] 人臉表情識(shí)別在人機(jī)交互，智能信息處理等方面受到了廣泛關(guān)注，但目前大多數(shù) 的研究都是在受控環(huán)境下進(jìn)行的，難W適應(yīng)外界環(huán)境的復(fù)雜多變性，然而人臉卻經(jīng)常會(huì)受 到眼鏡，圍巾，口罩W及一些隨機(jī)遮擋物遮擋，導(dǎo)致人臉表情的識(shí)別率大大降低。近年來(lái)，遮 擋情況下人臉表情識(shí)別方面的研究成為了一個(gè)重要研究方向。如今處理遮擋情況下人臉表 情識(shí)別方面的一些研究者嘗試著對(duì)遮擋部分的紋理特征和幾何特征進(jìn)行重構(gòu)，從而消除遮 擋對(duì)表情識(shí)別產(chǎn)生的影響。
[0003] 主成分分析(PCA)是一種用于降低數(shù)據(jù)維數(shù)的統(tǒng)計(jì)方法，并能夠盡量保留原始數(shù) 據(jù)的變化，近年來(lái)有些學(xué)者將其運(yùn)用于遮擋情況下人臉的重構(gòu)，實(shí)驗(yàn)結(jié)果表明在遮擋面積 較小時(shí)，實(shí)驗(yàn)取得的效果較好。但是對(duì)于遮擋面積比較大的情況，經(jīng)PCA重構(gòu)后圖像比較模 糊，重構(gòu)后圖像的識(shí)別率也相對(duì)較低。
[0004] 基于子模式的主成分分析(SpPCA)是對(duì)主成分分析(PCA)的一種改進(jìn)，傳統(tǒng)的PCA 是將整個(gè)樣本看作一個(gè)向量來(lái)計(jì)算特征值和特征向量，提取樣本的全局特征，SpPCA則是將 一個(gè)樣本分為了若干個(gè)不同的區(qū)域，分別計(jì)算每個(gè)區(qū)域的特征值和特征向量。所W將PCA應(yīng) 用在人臉表情識(shí)別中會(huì)存在一些不足，比如在悲傷運(yùn)種表情下，會(huì)存在眼睛，眉毛和嘴己部 位占的比重較大，臉頰和鼻子等部位所占比重較小的問(wèn)題。雖然SpPCA克服了 PCA在不同表 情表達(dá)時(shí)沒(méi)有區(qū)分不同部位具有的重要性的缺點(diǎn)，但是對(duì)于較大的遮擋，由于遮擋部分的 區(qū)域可能就會(huì)被單獨(dú)劃分到一個(gè)較小區(qū)域，在運(yùn)個(gè)較小區(qū)域內(nèi)計(jì)算特征值和特征向量后， 重構(gòu)后的圖像仍然含有較多的遮擋，運(yùn)樣也會(huì)造成圖像識(shí)別率不高的問(wèn)題。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明為避免上述現(xiàn)有技術(shù)存在的不足之處，提供一種基于部分遮擋圖像的人臉 表情識(shí)別方法，W期能夠有效地重構(gòu)圖像的遮擋部位，從而提高遮擋情況下人臉表情的識(shí) 別率。
[0006] 本發(fā)明為解決技術(shù)問(wèn)題采用如下技術(shù)方案：
[0007] 本發(fā)明一種基于部分遮擋圖像的人臉表情識(shí)別方法的特點(diǎn)是按如下步驟進(jìn)行： [000引步驟1、對(duì)已知類別的人臉表情庫(kù)中包含N類表情的人臉圖像進(jìn)行預(yù)處理：
[0009] 用AdaBoost檢測(cè)人臉?biāo)惴▽?duì)所有人臉圖像中的人臉區(qū)域進(jìn)行檢測(cè)，得到人臉圖 像;再利用雙向灰度積分投影法對(duì)所檢測(cè)出的人臉圖像進(jìn)行眼睛定位，并對(duì)定位后的人臉 圖像進(jìn)行尺度歸一化處理，從而獲得純?nèi)四槇D像集；
[0010] W所述純?nèi)四槇D像集作為樣本集，選取一部分樣本作為訓(xùn)練集，剩余樣本作為測(cè) 試集；
[0011]步驟2、計(jì)算測(cè)試集中的待測(cè)樣本和訓(xùn)練集中的訓(xùn)練樣本之間的相似度，得到與待 測(cè)樣本同類別且最近鄰圖像；
[0012]步驟2.1、提取訓(xùn)練集中所有訓(xùn)練樣本的LBP特征；
[0013]步驟2.2、將訓(xùn)練集中屬于第k類表情的所有訓(xùn)練樣本所提取到的LBP特征用矩陣 X以P表示，從而獲得N類表情中所有訓(xùn)練樣本的LBP特征矩陣
[0016] 其中，mk是第k類表情中包含的訓(xùn)練樣本個(gè)數(shù)，η是所有訓(xùn)練樣本所提取到的LBP特 征維數(shù);^-1，》-讀示第k類表情中第mk-1個(gè)訓(xùn)練樣本的第η-1個(gè)LBP特征值;l《k《N;
[0017] 步驟2.3、利用式（1)計(jì)算第k類表情中所有訓(xùn)練樣本的LBP特征均值矩陣巧W，從 而獲得胸1表情中所有訓(xùn)練樣本的1^8口特征均值矩陣^^> =·[^^，^^，···，^6Ρ，···，^ρ}; [001 引
[0019] 步驟2.4、提取訓(xùn)練集中所有訓(xùn)練樣本的LDTP特征；
[0020] 步驟2.5、將訓(xùn)練集中屬于第k類表情的所有訓(xùn)練樣本所提取到的LDTP特征用矩陣 心心IP表示，從而獲得N類表情中所有訓(xùn)練樣本的LDTP特征矩陣
[002引其中，q是所有訓(xùn)練樣本所提取到的LDTP特征維數(shù);^心-1表示第k類表情中第mk-1 個(gè)訓(xùn)練樣本的第q-1個(gè)LDTP特征值；
[0024]步驟2.6、利用式（2)計(jì)算第k類表情中所有訓(xùn)練樣本的LDTP特征均值矩陣巧。W， 從而獲得N類表情中所有訓(xùn)練樣本的LDTP特征均值矩陣
[0027] 步驟2.7、提取訓(xùn)練集中所有訓(xùn)練樣本的WLD特征；
[0028] 步驟2.7.1、利用式(3)、式(4)和式(5)獲得任意一個(gè)訓(xùn)練樣本的差分激勵(lì)ξ(χ。)和 方向 θ' (Xc):
[0032] 式(3)、式(4)和式巧）中，X。表示任意一個(gè)訓(xùn)練樣本中3X3鄰域
的中 屯、像素值，XI表示中屯、像素值X。的第i個(gè)鄰域的像素值，P表示鄰域像素的個(gè)數(shù)；并有：
[0033] 步驟2.7.2、利用式(6)將所述方向θ/(χ。)進(jìn)行量化，獲得Τ個(gè)方向Φ。
[0036] 步驟2.7.3、將所述任意一個(gè)訓(xùn)練樣本的差分激勵(lì)ξ(χ。)和方向θ/(χ。)聯(lián)合起來(lái)構(gòu) 造相應(yīng)訓(xùn)練樣本的二維WLD直方圖，且令橫坐標(biāo)表示方向，縱坐標(biāo)表示差分激勵(lì)；
[0037] 步驟2.7.4、將所述二維札0直方圖轉(zhuǎn)化為一維札0直方圖，^所述一維札0直方圖 作為相應(yīng)訓(xùn)練樣本的WLD特征;從而獲得所有訓(xùn)練樣本的WLD特征；
[003引步驟2.8、將訓(xùn)練集中屬于第k類表情的所有訓(xùn)練樣本所提取到的WLD特征用矩陣 X,以。表示，從而獲得N類表情中所有訓(xùn)練樣本的WLD特征矩陣
[00川其中，P是所有訓(xùn)練樣本所提取到的WLD特征維數(shù);·ν-ι,ρ-1表示第k類表情中第mk-1 個(gè)訓(xùn)練樣本的第P-1個(gè)WLD特征值；
[0042]步驟2.9、利用式(7)計(jì)算第k類表情中所有訓(xùn)練樣本的WLD特征均值矩陣心。，從 而獲得N類表情中所有訓(xùn)練樣本的WLD特征均值矩陣
[0043]
[0044] 步驟2.10、對(duì)測(cè)試集中的任意一個(gè)待測(cè)樣本提取1^8?特征，記為￥18。=[70， yi......,yn-i]；
[0045] 步驟2.11、根據(jù)歐式距離利用式(8)計(jì)算出所述待測(cè)樣本的LBP特征與訓(xùn)練集中屬 于第k類表情的所有訓(xùn)練樣本的LBP特征均值間的相似度|ziw|，從而獲得所述待測(cè)樣本的 LBP特征與N類表情中所有訓(xùn)練樣本的LBP特征均值間的相似度集合
[004引式(8)中，皆表示第k類表情中所有訓(xùn)練樣本LBP特征均值的第i個(gè)值，yi表示待測(cè) 樣本的LBP特征中第i個(gè)值；
[0049] 步驟2.12、從所述相似度集合
中選取最小值，并記為 miriLBP；
[0050] 步驟2. 13、對(duì)測(cè)試集中的任意一個(gè)待測(cè)樣本提取LDTP特征，記為化DTP=[y(/， yi'......，y'q-i];
[0051] 步驟2.14、根據(jù)歐式距離利用式(9)計(jì)算出所述待測(cè)樣本的LDTP特征與訓(xùn)練集中 屬于第k類表情的所有訓(xùn)練樣本的LDTP特征均值間的相似度從而獲得所述待測(cè)樣本 的LDTP特征與N類表情中所有訓(xùn)練樣本的LDTP特征均值間的相似度集合
[0054] 式(9)中，表示第k類表情中所有訓(xùn)練樣本的LDTP特征均值的第i個(gè)值，y/表示 待測(cè)樣本的LDTP特征中第i個(gè)值；
[0055] 步驟2.15、從所述相似度集省
中選取最小值，并 記為miriLDTP;
[0化6]步驟2.16、對(duì)測(cè)試集中的任意一個(gè)待測(cè)樣本提取胖1^0特征，記為￥^1〇=[70" 11 ......，y"P-i];
[0057]步驟2.17、根據(jù)歐式距離利用式(10)計(jì)算出所述待測(cè)樣本的WLD特征與訓(xùn)練集中屬 于第k類表情的所有訓(xùn)練樣本的WLD特征均值間的相似度I，從而獲得所述待測(cè)樣本的WLD特 征與N類表情中所有訓(xùn)練樣本的WLD特征均值間的相似度集合
[0化引
[0化9]式(10)中，Sf表示第k類表情中所有訓(xùn)練樣本W(wǎng)LD特征均值的第i個(gè)值，y/ /表示待 測(cè)樣本的WLD特征的第i個(gè)值；
[0060]步驟2.18、從所述相似度集合^
選取最小值，并記 為minwLD;
[0061 ] 步驟2.19、若miriLBP所對(duì)應(yīng)的表情類別，miriLDTP所對(duì)應(yīng)的表情類別和minwLD所對(duì)應(yīng) 的表情類別中有任意兩個(gè)相同或Ξ個(gè)值均相同時(shí)，即可得出待測(cè)樣本的表情類別；如若 mi riLBP所對(duì)應(yīng)的表情類別，mi riLDTP所對(duì)應(yīng)的表情類別和mi加 LD所對(duì)應(yīng)的表情類別均不相同 時(shí)，則采用式(11 )、式(12)和式(13)對(duì)最小值進(jìn)行歸一化處理：
[0065] 步驟2.20、從化bp，Rwld和化DTP中選取出最小值，并將最小值對(duì)應(yīng)的表情類別作為待 測(cè)樣本的表情類別；
[0066] 步驟2.21、根據(jù)歐式距離計(jì)算出所述待測(cè)樣本的表情類別與其相同的表情類別中 所有訓(xùn)練樣本之間的距離，并將最小距離所對(duì)應(yīng)的訓(xùn)練樣本作為所述待測(cè)樣本的最近鄰圖 像；
[0067] 步驟3、對(duì)待測(cè)樣本的遮擋部分進(jìn)行重構(gòu)：
[0068] 步驟3.1、利用式(14)所示的信息賭和最大類間差法檢測(cè)待測(cè)樣本中的遮擋部位：
[0069] H(X) =-/xp(x)logp(x)dx (14)
[0070] 式（14)中，X是一個(gè)隨機(jī)變量，X是變量X的取值范圍中的一個(gè)值，HO為信息賭;p (X)是當(dāng)變量X取值為X時(shí)的概率；
[0071 ]當(dāng)X是離散型隨機(jī)變量時(shí)：
[0072]
(1^)
[0073] 式(15)中，D(x)是隨機(jī)變量X的定義域；
[0074] 步驟3.2、利用所述待測(cè)樣本的最近鄰圖像的相應(yīng)部分替換所述遮擋部位，從而得 到重構(gòu)后的待測(cè)樣本；
[0075] 步驟4、提取重構(gòu)后的待測(cè)樣本和訓(xùn)練集中的訓(xùn)練樣本的PWLD特征：
[0076] 步驟4.1、把所述待測(cè)樣本分為1層圖像，每一層圖像均由方形，大小均等且互不重 疊的圖像塊組成，每層圖像塊的個(gè)數(shù)為4^，1代表圖像塊所在的層數(shù)；
[0077] 步驟4.2、選取第1層中任意一個(gè)圖像塊作為一個(gè)子圖像，并按照步驟2.7、提取子 圖像的WLD特征;從而獲得第1層中所有圖像塊的WLD特征;將第1層中所有圖像塊的WLD特征 級(jí)聯(lián)起來(lái)，即可得到第1層圖像的一維WLD特征;繼而獲得1層圖像的一維WLD特征；
[0078] 步驟4.3、將1層圖像的一維WLD特征進(jìn)行逐層級(jí)聯(lián)，即可得到待測(cè)樣本的PWLD特 征；
[0079] 步驟4.4、重復(fù)步驟4.1-步驟4.3,從而獲得所有訓(xùn)練樣本的PWLD特征；
[0080] 步驟5、使用SVM分類器對(duì)測(cè)試集中所有待測(cè)樣本進(jìn)行分類識(shí)別：
[0081] 步驟5.1、對(duì)訓(xùn)練集和測(cè)試集中的所有已知類別的樣本按照表情的類別設(shè)置相應(yīng) 的標(biāo)簽；
[0082] 步驟5.2、將所述訓(xùn)練樣本所提取的PWLD特征和類別標(biāo)簽作為參數(shù)輸入SVM，通過(guò) 機(jī)器學(xué)習(xí)，訓(xùn)練得到SVM分類器模型；
[0083] 步驟5.3、將所述測(cè)試集中任意一個(gè)待測(cè)樣本所提取的PWLD特征和類別標(biāo)簽作為 參數(shù)，輸入到所述SVM分類器模型中，進(jìn)行分類預(yù)測(cè)，獲得預(yù)測(cè)的類別。
[0084] 與已有技術(shù)相比，本發(fā)明的有益效果體現(xiàn)在：
[0085] 1、本發(fā)明利用Ξ種比較優(yōu)秀的特征提取方法(局部二值模式LBP，局部方向紋理模 式LDTP和韋伯局部描述子WLD)提取訓(xùn)練集樣本的特征，根據(jù)人臉表情庫(kù)中表情的種類，計(jì) 算出每類表情的特征均值，對(duì)于待測(cè)樣本也同樣提取上述Ξ種特征，計(jì)算待測(cè)樣本和訓(xùn)練 集樣本之間的相似度，利用Ξ種不同特征值之間的比較和特征值歸一化處理，從而有效地 實(shí)現(xiàn)了對(duì)待測(cè)樣本的表情類別的粗分類，使得分類結(jié)果更具準(zhǔn)確性。
[0086] 2、本發(fā)明利用粗分類方法得到最近鄰類別后，選出此類別中與待測(cè)樣本最近鄰的 圖像，之后用得到的最近鄰圖像的相應(yīng)部分替代待測(cè)樣本中的遮擋部分;使用訓(xùn)練集中和 待測(cè)樣本最近鄰的圖像，對(duì)遮擋部分進(jìn)行重構(gòu)，從而有效地減小了重構(gòu)遮擋的誤差。
[0087] 3、本發(fā)明利用信息賭和最大類間差法檢測(cè)待測(cè)樣本的遮擋部位，通過(guò)設(shè)定闊值的 方法，將圖像的遮擋部分和非遮擋部分進(jìn)行分離，能夠清楚地顯示出圖像的遮擋部分。
[0088] 4、本發(fā)明利用最近鄰圖像對(duì)待測(cè)圖像的遮擋部分進(jìn)行重構(gòu)，而不是舍棄遮擋部分 只提取非遮擋部分的特征，使得圖像的紋理信息表征地更加完整，從而減少了遮擋對(duì)人臉 表情識(shí)別的影響。
[0089] 5、本發(fā)明利用金字塔韋伯局部描述子來(lái)提取圖像的特征，Ξ層結(jié)構(gòu)的特征提取方 法，比較完整地提取了圖像的全局和局部特征。
[0090] 6、本發(fā)明利用支持向量機(jī)對(duì)人臉表情圖像分類識(shí)別，與傳統(tǒng)的機(jī)器學(xué)習(xí)相比，具 有較好的推廣能力，但其性能依賴參數(shù)的選擇，本發(fā)明中選用了徑向基核函數(shù)，在線性核函 數(shù)，多項(xiàng)式核函數(shù)，徑向基核函數(shù)和Sigmoid核函數(shù)中，徑向基核函數(shù)使用最廣泛，無(wú)論是低 維、高維、小樣本、大樣本情況下，徑向基核函數(shù)均使用，具有較寬的收斂域，是較為理想的 分類依據(jù)函數(shù)。
【附圖說(shuō)明】
[0091] 圖1為本發(fā)明的流程圖；
[0092] 圖2a為本發(fā)明中基于JAFFE人臉表情庫(kù)的模擬遮擋的樣本圖；
[0093] 圖化為本發(fā)明中基于CK人臉表情庫(kù)的模擬遮擋的樣本圖；
[0094] 圖3a為本發(fā)明中基于JAFFE人臉表情庫(kù)的遮擋模擬部分遮擋檢測(cè)圖W及遮擋的重 構(gòu)效果圖。
[00%]圖3b為本發(fā)明中基于CK人臉表情庫(kù)的遮擋模擬部分遮擋檢測(cè)圖W及遮擋的重構(gòu) 效果圖；
[0096] 圖4a為本發(fā)明中不同方法在基于JAFFE人臉表情庫(kù)中不同遮擋情況下的識(shí)別率之 間的比較圖；
[0097] 圖4b為本發(fā)明中不同方法在基于CK人臉表情庫(kù)中不同遮擋情況下的識(shí)別率之間 的比較圖；
[0098] 圖5為本發(fā)明對(duì)模擬口罩遮擋情況下的重構(gòu)效果圖。
【具體實(shí)施方式】
[0099] 本實(shí)施例中，如圖1所示，一種基于部分遮擋圖像的人臉表情識(shí)別方法，包括如下 步驟：
[0100] 1、一種基于部分遮擋圖像的人臉表情識(shí)別方法，其特征是按如下步驟進(jìn)行：
[0101] 步驟1、對(duì)已知類別的人臉表情庫(kù)中包含N類表情的人臉圖像進(jìn)行預(yù)處理：
[0102] 用AdaBoost檢測(cè)人臉?biāo)惴▽?duì)所有人臉圖像中的人臉區(qū)域進(jìn)行檢測(cè)，得到人臉圖 像;再利用雙向灰度積分投影法對(duì)所檢測(cè)出的人臉圖像進(jìn)行眼睛定位，并對(duì)定位后的人臉 圖像進(jìn)行尺度歸一化處理，從而獲得純?nèi)四槇D像集;本實(shí)施例中，經(jīng)過(guò)尺度歸一化處理后的 所有人臉圖像的像素大小為96 X 96;
[0103] W純?nèi)四槇D像集作為樣本集，選取一部分樣本作為訓(xùn)練集，剩余樣本作為測(cè)試集；
[0104] 本發(fā)明采用JAFW人臉表情庫(kù)和Cohn-Kanade人臉表情庫(kù)。JAFW人臉表情庫(kù)由10 位日本女性的213張人臉圖像構(gòu)成，包含每人2~4幅不同表情的圖像，Cohn-Kanade人臉表 情庫(kù)包含了 97個(gè)對(duì)象的486個(gè)表情序列。在JAFi^庫(kù)中選取了屯種基本表情:生氣、厭惡、恐 懼、高興、中性、悲傷、吃驚，在CK庫(kù)中基于圖像序列選取了六種基本表情:悲傷、高興、吃驚、 恐懼、生氣、厭惡。在JAFFE庫(kù)中選取每人每類表情的兩到Ξ張圖像作為訓(xùn)練集中的訓(xùn)練樣 本，一張圖像作為測(cè)試集中的測(cè)試樣本。在CK庫(kù)中選取92個(gè)對(duì)象進(jìn)行實(shí)驗(yàn)，基于圖像序列選 取上述92個(gè)人中每人每類表情的兩張圖像作為訓(xùn)練集中的訓(xùn)練樣本，兩張圖像作為測(cè)試集 中的測(cè)試樣本。
[010引步驟2、計(jì)算測(cè)試集中的待測(cè)樣本和訓(xùn)練集中的訓(xùn)練樣本之間的相似度，得到與待 測(cè)樣本同類別且最近鄰圖像；
[0106] 步驟2.1、提取訓(xùn)練集中所有訓(xùn)練樣本的LBP特征；
[0107] 步驟2.1.1、將訓(xùn)練樣本分成四塊大小相等且互不重疊的子塊，即得到大小為24X 24像素的圖像塊;將每一個(gè)圖像塊看作是一個(gè)子圖像，提取每個(gè)子圖像的LBP特征。
[010引步驟2.1.2、重復(fù)步驟2.1.1即可得到樣本中所有圖像塊的LBP特征。
[0109] 步驟2.1.3、將步驟2.1.2中得到的所有圖像塊的LBP特征級(jí)聯(lián)起來(lái)，即可得到訓(xùn)練 樣本的LBP特征。
[0110] 步驟2.2、將訓(xùn)練集中屬于第k類表情的所有訓(xùn)練樣本所提取到的LBP特征用矩陣 表示，從而獲得N類表情中所有訓(xùn)練樣本的LBP特征矩陣
[0111]
[0112]
[0113] 其中，mk是第k類表情中包含的訓(xùn)練樣本個(gè)數(shù)，η是所有訓(xùn)練樣本所提取到的LBP特 征維數(shù);X，，，一，Μ表示第k類表情中第mk-1個(gè)訓(xùn)練樣本的第n-1個(gè)LBP特征值;l《k《N;
[0114] 步驟2.3、利用式（1)計(jì)算第k類表情中所有訓(xùn)練樣本的LBP特征均值矩陣llw，從 而獲得N類表情中所有訓(xùn)練樣本的LBP特征均值矩陣
[0115]
[0116] 步驟2.4、提取訓(xùn)練集中所有訓(xùn)練樣本的LDTP特征；
[0117] 步驟2.4.1、將訓(xùn)練樣本分成四塊大小相等且互不重疊的子塊，即得到大小為24X 24像素的圖像塊。將每一個(gè)圖像塊看作是一個(gè)子圖像，提取每個(gè)子圖像的LDTP特征。
[011引步驟2.4.2、重復(fù)步驟2.4.1即可得到樣本中所有圖像塊的LDTP特征。
[0119] 步驟2.4.3、將步驟2.4.2中得到的所有圖像塊的LDTP特征級(jí)聯(lián)起來(lái)，即可得到訓(xùn) 練樣本的LDTP特征。
[0120] 步驟2.5、將訓(xùn)練集中屬于第k類表情的所有訓(xùn)練樣本所提取到的LDTP特征用矩陣 Xiwp表示，從而獲得N類表情中所有訓(xùn)練樣本的LDTP特征矩陣
[012引其中，q是所有訓(xùn)練樣本所提取到的LDTP特征維數(shù)；·Υ"ι,-ι?-ι表示第k類表情中第mk- 1個(gè)訓(xùn)練樣本的第q-1個(gè)LDTP特征值；
[0124]步驟2.6、利用式(2)計(jì)算第k類表情中所有訓(xùn)練樣本的LDTP特征均值矩陣玄心。， 從而獲得N類表情中所有訓(xùn)練樣本的LDTP特征均值矩陣
[0127]步驟2.7、提取訓(xùn)練集中所有訓(xùn)練樣本的WLD特征；
[012引步驟2.7.1、利用式(3)、式(4)和式(5)獲得任意一個(gè)訓(xùn)練樣本的差分激勵(lì)ξ(χ。)和 方向 θ' (Xc):
[om] 式(3)、式(4)和式(5)中，X康示任意一個(gè)訓(xùn)練樣本中3X3鄰巧
均中 屯、像素值，XI表示中屯、像素值X。的第i個(gè)鄰域的像素值，P表示鄰域像素的個(gè)數(shù)；并有： vf -Xl ,ν" ；
[0133]步驟2.7.2、利用式(6)將所述方向θ/(χ。)進(jìn)行量化，獲得Τ個(gè)方向Φ。
[0136] 步驟2.7.3、將所述任意一個(gè)訓(xùn)練樣本的差分激勵(lì)ξ(χ。)和方向θ/(χ。)聯(lián)合起來(lái)構(gòu) 造相應(yīng)訓(xùn)練樣本的二維WLD直方圖，且令橫坐標(biāo)表示方向，縱坐標(biāo)表示差分激勵(lì)；
[0137] 步驟2.7.4、將所述二維札0直方圖轉(zhuǎn)化為一維札0直方圖，^所述一維札0直方圖 作為相應(yīng)訓(xùn)練樣本的WLD特征;從而獲得所有訓(xùn)練樣本的WLD特征；
[013引步驟2.8、將訓(xùn)練集中屬于第k類表情的所有訓(xùn)練樣本所提取到的WLD特征用矩陣 本表示，從而獲得N類表情中所有訓(xùn)練樣本的WLD特征矩陣
[0141] 其中，Ρ是所有訓(xùn)練樣本所提取到的WLD特征維數(shù)；*康示第k類表情中第mk-1 個(gè)訓(xùn)練樣本的第P-1個(gè)WLD特征值；
[0142] 步驟2.9、利用式(7)計(jì)算第k類表情中所有訓(xùn)練樣本的WLD特征均值矩陣疋4u0，從 而獲得N類表情中所有訓(xùn)練樣本的WLD特征均值矩陣
[0143]
[0144] 步驟2 . 10、對(duì)測(cè)試集中的任意一個(gè)待測(cè)樣本提取L B P特征，記為Υ L B p = [ y ο， yi......,yn-i]；
[0145] 步驟2.11、根據(jù)歐式距離利用式(8)計(jì)算出所述待測(cè)樣本的LBP特征與訓(xùn)練集中屬 于第k類表情的所有訓(xùn)練樣本的LBP特征均值間的相似度從而獲得所述待測(cè)樣本的 LBP特征與N類表情中所有訓(xùn)練樣本的LBP特征均值間的相似度集合
[0148] 式(8)中，療表示第k類表情中所有訓(xùn)練樣本LBP特征均值的第i個(gè)值，yi表示待測(cè) 樣本的LBP特征中第i個(gè)值；
[0149] 步驟2.12、從所述相似度集合
中選取最小值，并記 為miriLBP;
[0150] 步驟2.13、對(duì)測(cè)試集中的任意一個(gè)待測(cè)樣本提取1^)了？特征，記為化〇1。=[7'0， yi'......，y Vi];
[0151] 步驟2.14、根據(jù)歐式距離利用式(9)計(jì)算出所述待測(cè)樣本的LDTP特征與訓(xùn)練集中 屬于第k類表情的所有訓(xùn)練樣本的LDTP特征均值間的相似度從而獲得所述待測(cè)樣本 的LDTP特征與N類表情中所有訓(xùn)練樣本的LDTP特征均值間的相似度集合
[0154]式(9)中，璋t表示第k類表情中所有訓(xùn)練樣本的LDTP特征均值的第i個(gè)值，y/表示 待測(cè)樣本的LDTP特征中第i個(gè)值；
[01W] 步驟2.15、從所述相似度集合
中選取最小值，并 記為miriLDTP;
[0156] 步驟2 . 16、對(duì)測(cè)試集中的任意一個(gè)待測(cè)樣本提取WLD特征，記為YwLD = [ y0"， yi"......，y"P-i];
[0157] 步驟2.17、根據(jù)歐式距離利用式（10)計(jì)算出所述待測(cè)樣本的WLD特征與訓(xùn)練集中 屬于第k類表情的所有訓(xùn)練樣本的WLD特征均值間的相似度|2；；1。|，從而獲得所述待測(cè)樣本的 WLD特征與N類表情中所有訓(xùn)練樣本的WLD特征均值間的相似度集合
[0160] 式(10)中，馬"表示第k類表情中所有訓(xùn)練樣本W(wǎng)LD特征均值的第i個(gè)值，y//表示待 測(cè)樣本的WLD特征的第i個(gè)值；
[0161] 步驟2.18、從所述相似度集合{片1"|，[40|，'"，|成0|，'"，|媒"[}中選取最小值，并記 為minwLD;
[0162] 步驟2.19、若miriLBP所對(duì)應(yīng)的表情類別，miriLDTP所對(duì)應(yīng)的表情類別和minwLD所對(duì)應(yīng) 的表情類別中有任意兩個(gè)相同或Ξ個(gè)值均相同時(shí)，即可得出待測(cè)樣本的表情類別；如若 mi riLBP所對(duì)應(yīng)的表情類別，mi riLDTP所對(duì)應(yīng)的表情類別和mi加 LD所對(duì)應(yīng)的表情類別均不相同 時(shí)，則采用式(11 )、式(12)和式(13)對(duì)最小值進(jìn)行歸一化處理：
[0166] 步驟2.20、從化bp，Rwld和化DTP中選取出最小值，并將最小值對(duì)應(yīng)的表情類別作為待 測(cè)樣本的表情類別；
[0167] 步驟2.21、根據(jù)歐式距離計(jì)算出所述待測(cè)樣本的表情類別與其相同的表情類別中 所有訓(xùn)練樣本之間的距離，并將最小距離所對(duì)應(yīng)的訓(xùn)練樣本作為所述待測(cè)樣本的最近鄰圖 像；
[0168] 步驟3、對(duì)待測(cè)樣本的遮擋部分進(jìn)行重構(gòu)：
[0169] 如圖2a和2b所示，左上角第一幅圖像對(duì)應(yīng)的是無(wú)遮擋情況，其余的圖像對(duì)應(yīng)的是 本發(fā)明中設(shè)及的屯種遮擋類型。包括Ξ種遮擋面積不同的隨機(jī)遮擋，眼睛塊遮擋，嘴己塊遮 擋，墨鏡遮擋和口罩遮擋。Ξ種遮擋面積不同的隨機(jī)遮擋包括遮擋區(qū)域?yàn)?0 X 10像素，20 X 20像素，30X30像素大小的遮擋。眼睛塊的遮擋是在眼睛部位添加了兩個(gè)黑色的矩形塊，嘴 己塊的遮擋是在嘴己部位添加了一個(gè)黑色的矩形塊，墨鏡遮擋是在眼睛部位添加了類似于 墨鏡的遮擋，口罩遮擋是在嘴己部位添加了類似于口罩的遮擋。
[0170] 步驟3.1、利用式(14)所示的信息賭和最大類間差法檢測(cè)待測(cè)樣本中的遮擋部位：
[0171] H(X)=-/xp(x)logp(x)dx (14)
[0172] 式（14)中，X是一個(gè)隨機(jī)變量，X是變量X的取值范圍中的一個(gè)值，HO表示信息賭的 定義;P(x)是當(dāng)變量X取值為X時(shí)的概率;如果隨機(jī)變量X的概率分布越大，H(X)也就越大，那 么變量X的不確定性程度也就越高。當(dāng)變量X每種取值的概率相同時(shí)，H(X)達(dá)到最大。
[0173] 當(dāng)X是離散型隨機(jī)變量時(shí)：
[0174]
(15)
[0175] 式(15)中，D(x)是隨機(jī)變量X的定義域。
[0176] 對(duì)于一幅人臉圖像而言，隨機(jī)變量X可看作為圖像的像素，D(x)代表圖像的灰度級(jí) 數(shù)，那么H(X)代表圖像的信息量大小，也可W表達(dá)圖像紋理的豐富程度。
[0177] 步驟3.2、利用所述待測(cè)樣本的最近鄰圖像的相應(yīng)部分替換所述遮擋部位，從而得 到重構(gòu)后的待測(cè)樣本；
[0178] 如圖3a和3b所示，對(duì)于隨機(jī)遮擋30X30的遮擋情況，首先利用步驟3.1檢測(cè)待測(cè)樣 本的遮擋部分，然后利用步驟3.2中得到的最近鄰圖像的相應(yīng)部分替換所述遮擋部位，從而 得到重構(gòu)后的待測(cè)樣本。
[0179] 步驟4、提取重構(gòu)后的待測(cè)樣本和訓(xùn)練集中的訓(xùn)練樣本的PWLD特征：
[0180] 步驟4.1、把所述待測(cè)樣本分為1層圖像，每一層圖像均由方形，大小均等且互不重 疊的圖像塊組成，每層圖像塊的個(gè)數(shù)為4^，1代表圖像塊所在的層數(shù)，1 = 1，2,3;即下一層 圖像由上一層圖像的圖像塊按照長(zhǎng)和寬劃分成更小的圖像塊組成；
[0181] 步驟4.2、選取第1層中任意一個(gè)圖像塊作為一個(gè)子圖像，并按照步驟2.7、提取子 圖像的WLD特征;從而獲得第1層中所有圖像塊的WLD特征;將第1層中所有圖像塊的WLD特征 級(jí)聯(lián)起來(lái)，即可得到第1層圖像的一維WLD特征;繼而獲得1層圖像的一維WLD特征；
[0182] 步驟4.3、將1層圖像的一維WLD特征進(jìn)行逐層級(jí)聯(lián)，即可得到待測(cè)樣本的PWLD特 征；
[0183] 步驟4.4、重復(fù)步驟4.1-步驟4.3,從而獲得所有訓(xùn)練樣本的PWLD特征；
[0184] 步驟5、使用SVM分類器對(duì)測(cè)試集中所有待測(cè)樣本進(jìn)行分類識(shí)別：
[0185] 步驟5.1、對(duì)訓(xùn)練集和測(cè)試集中的所有已知類別的樣本按照表情的類別設(shè)置相應(yīng) 的標(biāo)簽;比如在JAFi^人臉表情庫(kù)中，把所有屬于生氣運(yùn)種表情類別的樣本設(shè)標(biāo)簽為1，把所 有屬于厭惡運(yùn)種表情類別的樣本設(shè)標(biāo)簽為2,把所有屬于恐懼運(yùn)種表情類別的樣本設(shè)標(biāo)簽 為3,把所有屬于高興運(yùn)種表情類別的樣本設(shè)標(biāo)簽為4,把所有屬于中性運(yùn)種表情類別的樣 本設(shè)標(biāo)簽為5,把所有屬于悲傷運(yùn)種表情類別的樣本設(shè)標(biāo)簽為6,把所有屬于吃驚運(yùn)種表情 類別的樣本設(shè)標(biāo)簽為7。
[0186] 步驟5.2、將所述訓(xùn)練樣本的PWLD特征和類別標(biāo)簽作為參數(shù)輸入SVM分類器，通過(guò) 機(jī)器學(xué)習(xí)訓(xùn)練得到一個(gè)SVM分類器模型，訓(xùn)練中選用的核函數(shù)是徑向基核函數(shù)。
[0187] 步驟5.3、將所述測(cè)試集中任意一個(gè)待測(cè)樣本的PWLD特征和類別標(biāo)簽作為參數(shù)輸 入到步驟5.2中所得到的SVM分類器模型中，進(jìn)行分類預(yù)測(cè)，獲得預(yù)測(cè)的類別；如果預(yù)測(cè)的類 別和待測(cè)樣本的類別標(biāo)簽一致，則識(shí)別正確；
[0188] 結(jié)合下列圖表進(jìn)一步描述本發(fā)明的測(cè)試結(jié)果：
[0189] 實(shí)驗(yàn)一、不同類型的遮擋對(duì)人臉表情庫(kù)中的圖像產(chǎn)生的影響
[0190] 本實(shí)驗(yàn)中選取jAFra人臉表情庫(kù)和CK人臉表情庫(kù)，包括jAFra庫(kù)中屯種基本表情 (生氣、厭惡、恐懼、高興、中性、悲傷、吃驚）的213幅圖片，選取每人每類表情的兩到Ξ張圖 像作為訓(xùn)練集中的訓(xùn)練樣本，一張圖像作為測(cè)試集中的測(cè)試樣本。CK庫(kù)中選取92個(gè)對(duì)象的 六種基本表情（生氣、厭惡、恐懼、高興、悲傷、吃驚），基于圖像序列選取上述92個(gè)人中每人 每類表情的兩張圖像作為訓(xùn)練集中的訓(xùn)練樣本，兩張圖像作為測(cè)試集中的測(cè)試樣本。
[0191 ]表1不同的遮擋在JAFi^人臉表情庫(kù)和CK人臉表情庫(kù)上的識(shí)別率(單位％ )
[0192]
[0193] ~參見(jiàn)表1所示，不同的遮擋對(duì)同一表情庫(kù)產(chǎn)生不同的影響，相同的遮擋對(duì)不同的表胃 情庫(kù)也有不同的影響。但是從表中可W發(fā)現(xiàn)，本發(fā)明得到的較高的識(shí)別率在90% W上，稍低 的識(shí)別率也在70 % W上。
[0194] 實(shí)驗(yàn)二、不同方法在不同遮擋情況下對(duì)不同表情庫(kù)中的樣本產(chǎn)生的影響。
[0195] 實(shí)驗(yàn)結(jié)果如圖4a和圖4b所示，圖中縱坐標(biāo)表示識(shí)別率，橫坐標(biāo)表示遮擋類型，其中 隨機(jī)遮擋10、隨機(jī)遮擋20和隨機(jī)遮擋30,分別表示遮擋大小為10X10,20X20和30X30。從 圖中可W看出在JAF陽(yáng)人臉表情庫(kù)和CK人臉表情庫(kù)中，與PCA，SpPCA和Gabor方法相比，本發(fā) 明的方法達(dá)到了較高的識(shí)別率。
[0196] 實(shí)驗(yàn)Ξ、不同方法對(duì)于墨鏡和口罩遮擋不同方法識(shí)別率之間的比較。
[0197] 本發(fā)明中對(duì)于口罩遮擋的處理不同于其它類型的遮擋，其原因在于，口罩遮擋的 面積較大，且遮擋部位固定，所W在本次實(shí)驗(yàn)中求取相似度時(shí)，將圖像進(jìn)行了分割，使用了 圖像的非遮擋部分，遮擋重構(gòu)效果如圖5所示。
[0198] 表2不同方法在墨鏡和口罩遮擋情況下的識(shí)別率(單位％)
[0199]
【主權(quán)項(xiàng)】
1. 一種基于部分遮擋圖像的人臉表情識(shí)別方法，其特征是按如下步驟進(jìn)行： 步驟1、對(duì)已知類別的人臉表情庫(kù)中包含N類表情的人臉圖像進(jìn)行預(yù)處理： 用AdaBoost檢測(cè)人臉?biāo)惴▽?duì)所有人臉圖像中的人臉區(qū)域進(jìn)行檢測(cè)，得到人臉圖像;再 利用雙向灰度積分投影法對(duì)所檢測(cè)出的人臉圖像進(jìn)行眼睛定位，并對(duì)定位后的人臉圖像進(jìn) 行尺度歸一化處理，從而獲得純?nèi)四槇D像集； 以所述純?nèi)四槇D像集作為樣本集，選取一部分樣本作為訓(xùn)練集，剩余樣本作為測(cè)試集； 步驟2、計(jì)算測(cè)試集中的待測(cè)樣本和訓(xùn)練集中的訓(xùn)練樣本之間的相似度，得到與待測(cè)樣 本同類別且最近鄰圖像； 步驟2.1、提取訓(xùn)練集中所有訓(xùn)練樣本的LBP特征； 步驟2.2、將訓(xùn)練集中屬于第k類表情的所有訓(xùn)練樣本所提取到的LBP特征用矩陣1^>表 示，從而獲得N類表情中所有訓(xùn)練樣本的LBP特征矩陣其中，mk是第k類表情中包含的訓(xùn)練樣本個(gè)數(shù)，η是所有訓(xùn)練樣本所提取到的LBP特征維 數(shù);\^?-i表示第k類表情中第mk-l個(gè)訓(xùn)練樣本的第n-Ι個(gè)LBP特征值;1彡k彡N; 步驟2.3、利用式(1)計(jì)算第k類表情中所有訓(xùn)練樣本的LBP特征均值矩陣巧^，從而獲得 N類表情中所有訓(xùn)練樣本的LBP特征均值矩陣尤冊(cè)，…，f;，···,無(wú) y :步驟2.4、提取訓(xùn)練集中所有訓(xùn)練樣本的LDTP特征； 步驟2.5、將訓(xùn)練集中屬于第k類表情的所有訓(xùn)練樣本所提取到的LDTP特征用矩陣表示， 從而獲得N類表情中所有訓(xùn)練樣本的LDTP特征矩陣足，…，X:yj:其中，q是所有訓(xùn)練樣本所提取到的LDTP特征維數(shù);·Vw表示第k類表情中第mk_l個(gè)訓(xùn) 練樣本的第q-Ι個(gè)LDTP特征值； 步驟2.6、利用式(2)計(jì)算第k類表情中所有訓(xùn)練樣本的LDTP特征均值矩陣，從而獲 得N類表情中所有訓(xùn)練樣本的LDTP特征均值矩陣= ，…，，…，:步驟2.7、提取訓(xùn)練集中所有訓(xùn)練樣本的WLD特征； 步驟2.7.1、利用式(3)、式(4)和式(5)獲得任意一個(gè)訓(xùn)練樣本的差分激勵(lì)ξ(χ。)和方向 Θ^Χο)：式(3)、式(4)和式(5)中，X。表示任意一個(gè)訓(xùn)練樣本中3X3 素值，^表示中心像素值X。的第i個(gè)鄰域的像素值，Ρ表示鄰域像素的個(gè)數(shù)；并有： = % -太1，= 步驟2.7.2、利用式(6)將所述方向θ'(χ。)進(jìn)行量化，獲得T個(gè)方向Φ?:步驟2.7.3、將所述任意一個(gè)訓(xùn)練樣本的差分激勵(lì)ξ(χ。)和方向θ'(X。)聯(lián)合起來(lái)構(gòu)造相 應(yīng)訓(xùn)練樣本的二維WLD直方圖，且令橫坐標(biāo)表示方向，縱坐標(biāo)表示差分激勵(lì)； 步驟2.7.4、將所述二維WLD直方圖轉(zhuǎn)化為一維WLD直方圖，以所述一維WLD直方圖作為 相應(yīng)訓(xùn)練樣本的WLD特征;從而獲得所有訓(xùn)練樣本的WLD特征； 步驟2.8、將訓(xùn)練集中屬于第k類表情的所有訓(xùn)練樣本所提取到的WLD特征用矩陣表示， 從而獲得Ν類表情中所有訓(xùn)練樣本的WLD特征矩陣，不^，…，…，:其中，Ρ是所有訓(xùn)練樣本所提取到的WLD特征維數(shù)；、-^表示第k類表情中第mk-l個(gè)訓(xùn) 練樣本的第P-1個(gè)WLD特征值； 步驟2.9、利用式(7)計(jì)算第k類表情中所有訓(xùn)練樣本的WLD特征均值矩陣_Ζ〗ΙΖ)，從而獲 得Ν類表情中所有訓(xùn)練樣本的WLD特征均值矩陣={尤ω，…，，…，尤U :步驟2.10、對(duì)測(cè)試集中的任意一個(gè)待測(cè)樣本提取LBP特征，記為Ylbp= [yo, yi......, yn-i]； 步驟2.11、根據(jù)歐式距離利用式(8)計(jì)算出所述待測(cè)樣本的LBP特征與訓(xùn)練集中屬于第k 類表情的所有訓(xùn)練樣本的LBP特征均值間的相似度|21#|，從而獲得所述待測(cè)樣本的LBP特征 與N類表情中所有訓(xùn)練樣本的LBP特征均值間的相似度集合·}| ZLBP 15\^LBP I 5 * * * 5\ZLBP 15 * *' ? \4bp^式(8)中，#'表示第k類表情中所有訓(xùn)練樣本LBP特征均值的第i個(gè)值，71表示待測(cè)樣本的 LBP特征中第i個(gè)值； 步驟2· I2、從所述相似度集合丨[^|，卜丨βΡ|，.·.，卜丨中選取最小值，并記為 minLBP； 步驟2. 13、對(duì)測(cè)試集中的任意一個(gè)待測(cè)樣本提取LDTP特征，記為YLDTP= [y7 o，y 71……,γ%-ι]； 步驟2.14、根據(jù)歐式距離利用式(9)計(jì)算出所述待測(cè)樣本的LDTP特征與訓(xùn)練集中屬于 第k類表情的所有訓(xùn)練樣本的LDTP特征均值間的相似度|4^|，從而獲得所述待測(cè)樣本的 L D T P特征與N類表情中所有訓(xùn)練樣本的L D T P特征均值間的相似度集合 {l^ZOTi5 5 ZLDTP ZLDTP ? " - ：式(9)中，#表示第k類表情中所有訓(xùn)練樣本的LDTP特征均值的第i個(gè)值，表示待測(cè) 樣本的LDTP特征中第i個(gè)值； 步驟2.15、從所述相似度集合DTP 15 |2ZZ)JP I ^ * * * > I I，I I}中選取最小值，并記為 minLDTP； 步驟2.16、對(duì)測(cè)試集中的任意一個(gè)待測(cè)樣本提取WLD特征，記為Ywld= [y〃o，y〃i......， 步驟2.17、根據(jù)歐式距離利用式(10)計(jì)算出所述待測(cè)樣本的WLD特征與訓(xùn)練集中屬于第k 類表情的所有訓(xùn)練樣本的WLD特征均值間的相似度從而獲得所述待測(cè)樣本的WLD特征與 n類表情中所有訓(xùn)練樣本的wld特征均值間的相似度集合I，|gI￡) I,…，|^Ζβ I，…:式（10)中，表示第k類表情中所有訓(xùn)練樣本W(wǎng)LD特征均值的第i個(gè)值，y%表示待測(cè)樣 本的WLD特征的第i個(gè)值； 步驟2.18、從所述相似度集合"{ΙζΙρ^Ι,Ιζ^^Ι,-,Ιζ^ρ?Γ-,Ιζ?ρΙ中選取最小值，并記為 minwLD； 步驟2 · 19、若minLBP所對(duì)應(yīng)的表情類別，minLDTP所對(duì)應(yīng)的表情類別和mimD所對(duì)應(yīng)的表情 類別中有任意兩個(gè)相同或三個(gè)值均相同時(shí)，即可得出待測(cè)樣本的表情類別；如若minLBP所對(duì) 應(yīng)的表情類別，π?ιω ΤΡ所對(duì)應(yīng)的表情類別和mimD所對(duì)應(yīng)的表情類別均不相同時(shí)，則采用式 (11 )、式（12)和式（13)對(duì)最小值進(jìn)行歸一化處理：步驟2.20、從RLBP，RWLD和Rldtp中選取出最小值，并將最小值對(duì)應(yīng)的表情類別作為待測(cè)樣 本的表情類別； 步驟2.21、根據(jù)歐式距離計(jì)算出所述待測(cè)樣本的表情類別與其相同的表情類別中所有 訓(xùn)練樣本之間的距離，并將最小距離所對(duì)應(yīng)的訓(xùn)練樣本作為所述待測(cè)樣本的最近鄰圖像； 步驟3、對(duì)待測(cè)樣本的遮擋部分進(jìn)行重構(gòu)： 步驟3.1、利用式(14)所示的信息熵和最大類間差法檢測(cè)待測(cè)樣本中的遮擋部位： H(X) =-/xp(x)logp(x)dx (14) 式（14)中，X是一個(gè)隨機(jī)變量，x是變量X的取值范圍中的一個(gè)值，H()為信息熵;p(x)是 當(dāng)變量X取值為X時(shí)的概率； 當(dāng)X是離散型隨機(jī)變量時(shí)：式(15)中，D(x)是隨機(jī)變量X的定義域； 步驟3.2、利用所述待測(cè)樣本的最近鄰圖像的相應(yīng)部分替換所述遮擋部位，從而得到重 構(gòu)后的待測(cè)樣本； 步驟4、提取重構(gòu)后的待測(cè)樣本和訓(xùn)練集中的訓(xùn)練樣本的PWLD特征： 步驟4.1、把所述待測(cè)樣本分為1層圖像，每一層圖像均由方形，大小均等且互不重疊的 圖像塊組成，每層圖像塊的個(gè)數(shù)為4H，1代表圖像塊所在的層數(shù)； 步驟4.2、選取第1層中任意一個(gè)圖像塊作為一個(gè)子圖像，并按照步驟2.7、提取子圖像 的WLD特征;從而獲得第1層中所有圖像塊的WLD特征;將第1層中所有圖像塊的WLD特征級(jí)聯(lián) 起來(lái)，即可得到第1層圖像的一維WLD特征;繼而獲得1層圖像的一維WLD特征； 步驟4.3、將1層圖像的一維WLD特征進(jìn)行逐層級(jí)聯(lián)，即可得到待測(cè)樣本的PWLD特征； 步驟4.4、重復(fù)步驟4.1-步驟4.3，從而獲得所有訓(xùn)練樣本的PWLD特征； 步驟5、使用SVM分類器對(duì)測(cè)試集中所有待測(cè)樣本進(jìn)行分類識(shí)別： 步驟5.1、對(duì)訓(xùn)練集和測(cè)試集中的所有已知類別的樣本按照表情的類別設(shè)置相應(yīng)的標(biāo) 簽； 步驟5.2、將所述訓(xùn)練樣本所提取的PWLD特征和類別標(biāo)簽作為參數(shù)輸入SVM，通過(guò)機(jī)器 學(xué)習(xí)，訓(xùn)練得到SVM分類器模型； 步驟5.3、將所述測(cè)試集中任意一個(gè)待測(cè)樣本所提取的PWLD特征和類別標(biāo)簽作為參數(shù)， 輸入到所述SVM分類器模型中，進(jìn)行分類預(yù)測(cè)，獲得預(yù)測(cè)的類別。
【文檔編號(hào)】G06K9/00GK105825183SQ201610147969
【公開日】2016年8月3日
【申請(qǐng)日】2016年3月14日
【發(fā)明人】王曉華, 李瑞靜, 胡敏, 金超, 侯登永, 任福繼
【申請(qǐng)人】合肥工業(yè)大學(xué)