專利名稱：一種奇、偶分組的局部二元模式的人臉表情識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種奇、偶分組的局部二元模式的人臉表情識(shí)別方法，屬于圖像處理、模式識(shí)別技術(shù)和人機(jī)交互領(lǐng)域。
背景技術(shù)：
近年來，在心理學(xué)、公共安全、消費(fèi)電子、遠(yuǎn)程教育、臨床醫(yī)學(xué)上，人機(jī)交互(Human-Computer Interface, HCI) 一直是眾多研究人員的一個(gè)重要研究方向。人們雖然可以通過各種輸入指令對(duì)計(jì)算機(jī)進(jìn)行控制，但是，計(jì)算機(jī)卻不能根據(jù)人所處的環(huán)境、心情、習(xí)慣等信息主動(dòng)判斷來幫助人去完成各項(xiàng)任務(wù)。只有使計(jì)算機(jī)從視覺上理解人的意圖，才使得計(jì)算機(jī)可以主動(dòng)與人進(jìn)行交流，從而，在計(jì)算機(jī)和人的主動(dòng)交流、交互中搭建一座橋梁，使得計(jì)算機(jī)變得更加主動(dòng)、智能和友好。人臉包含著非常豐富的信息，人臉表情是人們之間非語言交流時(shí)最豐富的資源和最容易表達(dá)人們情感的一種方式，因此，人臉表情識(shí)別是實(shí)現(xiàn)人機(jī)交互，并使得計(jì)算機(jī)能更準(zhǔn)確地理解人的表情和意圖的一個(gè)重要研究?jī)?nèi)容。所以，開發(fā)復(fù)雜人臉表情的自動(dòng)識(shí)別系統(tǒng)具有重大的實(shí)際意義和研究?jī)r(jià)值。例如，用于醫(yī)護(hù)的醫(yī)療機(jī)器人一旦發(fā)現(xiàn)病人有痛苦表情，就可以向遠(yuǎn)程監(jiān)控的醫(yī)護(hù)人員發(fā)出警報(bào)，并通知醫(yī)生前來救治。局部二元模式(Local Binary Pattern, LBP)算子最初由Ojala等人于1996年提出，并將其成功應(yīng)用于紋理分類(見參考文獻(xiàn)I)。LBP本質(zhì)上是提取圖像的邊緣、角點(diǎn)等局部變化特征；但是，LBP只能提取單一尺度的紋理特征，并對(duì)噪聲非常敏感。原始LBP算子共有256種變換模式，使用Uniform模式后減為59種(見參考文獻(xiàn)2)。針對(duì)于多尺度紋理特征提取，Ojala等人又提出多分辨率灰度級(jí)和具有旋轉(zhuǎn)不變性的LBP (見參考文獻(xiàn)3)，該算子不僅對(duì)任何灰度級(jí)的單調(diào)變換具有魯棒性，而且計(jì)算簡(jiǎn)便，可以在一個(gè)小鄰域內(nèi)用算子和查找表來實(shí)現(xiàn)。因?yàn)長(zhǎng)BP算子計(jì)算簡(jiǎn)單，經(jīng)過LBP算子濾波后所獲得的特征擁有很強(qiáng)的分辨能力，這使得后來的研究者將其引入到人臉識(shí)別(見參考文獻(xiàn)4)、表情識(shí)別(見參考文獻(xiàn)5)、行人檢測(cè)(見參考文獻(xiàn)6)等應(yīng)用中，并取得了很好的識(shí)別、檢測(cè)效果。但是，現(xiàn)有的LBP各種改進(jìn)算子的模式數(shù)量依然很多，對(duì)于提高識(shí)別效率有很大的局限性。參考文獻(xiàn)1:《帶有基于特征分布的分類的紋理措施對(duì)比研究》，載《國(guó)際模式識(shí)別期刊》(Ojala, T.，Pietikainen., M., and Harwood, D.:‘A Comparative Study of TextureMeasures with Classification Based on Featured Distributions’.Pattern Recognition, 1996, 29(I), pp.51-59)。參考文獻(xiàn)2:《基于灰度和旋轉(zhuǎn)不變性的局部二元模式的紋理分類》，載《第六屆歐洲計(jì)算機(jī)視覺年會(huì)》(Ojala, T., Pietikainen , M., and Maenpaa , T.: ‘Gray Scaleand Rotation Invariant Texture Classification with Local Binary Patterns’.6thEuropean Conference on Computer Vision, 2000，pp.404-420)。參考文獻(xiàn)3:《基于多分辨率灰度和旋轉(zhuǎn)不變性的局部二元模式紋理分類》，載《國(guó)際模式分析與機(jī)器智能期刊》(Ojala, T., Pietikainen , M., and Maenpaa,T.:1Multiresolution Gray-scale and Rotation Invariant Texture Classificationwith Local Binary Patterns’.1EEE Transactions on Pattern Analysis and MachineIntelligence, 2002，24(7)，pp.971-987)。參考文獻(xiàn)4:《局部二元模式的人臉描述及其在人臉識(shí)別中的應(yīng)用》，載《國(guó)際模式分析與機(jī)器智能期刊》(Ahonen，T.，Hadid，A.，and Pietikainen, Μ.; ‘Face Descriptionwith Local Binary Patterns:Application to Face Recognition’.1EEE Transactionson Pattern Analysis and Machine Intelligence，2006，28 (12)，pp.2037-2041)。參考文獻(xiàn)5:《使用局部二元模式的動(dòng)態(tài)紋理識(shí)別及其在人臉表情識(shí)別中的應(yīng)用》，載《國(guó)際模式分析與機(jī)器智能期刊》(Zhao, G., and Pietikainen, M.: ‘DynamicTexture Recognition Using Local Binary Patterns with an Application to FacialExpressions’.1EEE Transactions on Pattern Analysis and Machine Intelligence,2007，29 (6)，pp.915-928)。參考文獻(xiàn)6:《帶有部分遮擋處理的基于方向梯度直方圖和局部二元模式的人體檢測(cè)》，載《第12屆IEEE國(guó)際計(jì)算機(jī)視覺年會(huì)》(Wang，X.，Han, T.X.，Yanj S.: ‘AnHOG-LBP Human Detector with Partial Occlusion Handling’.IEEE12th InternationalConference on Computer Vision，2009，pp.32-39)。

發(fā)明內(nèi)容
針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種奇、偶分組的局部二元模式的人臉表情識(shí)別方法。在人臉表情識(shí)別問題上，將該原始LBP算子按奇、偶位置分組形成兩組SubLBP算子，可增加LBP算子的魯棒性，提高人臉表情的識(shí)別率，大大減少識(shí)別所需時(shí)間。本發(fā)明的目的是這樣實(shí)現(xiàn)的:一種奇、偶分組的局部二元模式的人臉表情識(shí)別方法，包括訓(xùn)練和識(shí)別階段；訓(xùn)練階段的方法為，首先，將所有訓(xùn)練樣本的每張人臉圖像進(jìn)行均勻地、無交疊分塊處理，然后對(duì)每個(gè)子塊提取奇、偶分組的局部二元模式后轉(zhuǎn)換成Uniform模式，形成特征直方圖，接著把每個(gè)子塊的特征直方圖合為整體構(gòu)成訓(xùn)練樣本集的特征集合。識(shí)別階段的方法是:對(duì)待測(cè)樣本的每張人臉圖像進(jìn)行均勻地、無交疊分塊處理，然后對(duì)每個(gè)子塊提取奇、偶分組的局部二元模式后轉(zhuǎn)換成Uniform模式，形成特征直方圖，接著把每個(gè)子塊的特征直方圖合為整體作為待測(cè)特征，預(yù)測(cè)待測(cè)樣本所屬的類別。作為本發(fā)明的進(jìn)一步改進(jìn)，所述訓(xùn)練階段，在對(duì)每張人臉圖像進(jìn)行均勻地、無交疊分塊處理之前，將所有訓(xùn)練樣本首先進(jìn)行人臉圖像檢測(cè)與裁剪，再進(jìn)行人臉圖像矯正。所述識(shí)別階段，在對(duì)每張人臉圖像進(jìn)行均勻地、無交疊分塊處理之前，對(duì)待測(cè)樣本首先進(jìn)行人臉圖像檢測(cè)與裁剪，再進(jìn)行人臉圖像矯正。所述人臉圖像檢測(cè)與裁剪是進(jìn)行人臉檢測(cè)與人眼定位，根據(jù)人眼的位置將人臉圖像的像素大小進(jìn)行裁剪，使得每張圖片的五官位置都處于統(tǒng)一像素位置。所述人臉圖像矯正的方法為:使左右兩個(gè)眼睛的中心處在同一水平線上。假設(shè)兩只眼睛的坐標(biāo)分別為(X1, yi)，(x2，y2)，眼睛中心間的距離為D，兩眼軸線與水平軸之間的夾角為Θ:
權(quán)利要求
1.一種奇、偶分組的局部二元模式的人臉表情識(shí)別方法，其特征是，包括訓(xùn)練和識(shí)別階段；訓(xùn)練階段的方法為，首先，將所有訓(xùn)練樣本的每張人臉圖像進(jìn)行均勻地、無交疊分塊處理，然后對(duì)每個(gè)子塊提取奇、偶分組的局部二元模式后轉(zhuǎn)換成Uniform模式，形成特征直方圖，接著把每個(gè)子塊的特征直方圖合為整體構(gòu)成訓(xùn)練樣本集的特征集合；識(shí)別階段的方法是:對(duì)待測(cè)樣本的每張人臉圖像進(jìn)行均勻地、無交疊分塊處理，然后對(duì)每個(gè)子塊提取奇、偶分組的局部二元模式后轉(zhuǎn)換成Uniform模式，形成特征直方圖，接著把每個(gè)子塊的特征直方圖合為整體作為待測(cè)特征，預(yù)測(cè)待測(cè)樣本所屬的類別。
2.如權(quán)利要求1所述奇、偶分組的局部二元模式的人臉表情識(shí)別方法，其特征是，所述訓(xùn)練階段，在對(duì)每張人臉圖像進(jìn)行均勻地、無交疊分塊處理之前，將所有訓(xùn)練樣本首先進(jìn)行人臉圖像檢測(cè)與裁剪，再進(jìn)行人臉圖像矯正；所述識(shí)別階段，在對(duì)每張人臉圖像進(jìn)行均勻地、無交疊分塊處理之前，對(duì)待測(cè)樣本首先進(jìn)行人臉圖像檢測(cè)與裁剪，再進(jìn)行人臉圖像矯正。
3.如權(quán)利要求2所述奇、偶分組的局部二元模式的人臉表情識(shí)別方法，其特征是，所述人臉圖像檢測(cè)與裁剪是進(jìn)行人臉檢測(cè)與人眼定位，根據(jù)人眼的位置將人臉圖像的像素大小進(jìn)行裁剪，使得每張圖片的五官位置都處于統(tǒng)一像素位置。
4.如權(quán)利要求2所述奇、偶分組的局部二元模式的人臉表情識(shí)別方法，其特征是，所述人臉圖像矯正的方法為:使左右兩個(gè)眼睛的中心處在同一水平線上。
5.如權(quán)利要求1所述奇、偶分組的局部二元模式的人臉表情識(shí)別方法，其特征是，所述均勻地、無交疊分塊處理是把人臉均勻地分成5X5塊，每個(gè)子塊的像素大小為20X20。
6.如權(quán)利要求1所述奇、偶分組的局部二元模式的人臉表情識(shí)別方法，其特征是，所述提取奇、偶分組的局部二元模式是將局部二元模式編碼分成兩組，g。是中心像素，gl，g2，...，g8是其周圍8個(gè)采樣點(diǎn)，g。的局部紋理特征T舍棄亮度信息后:
7.如權(quán)利要求1或6所述奇、偶分組的局部二元模式的人臉表情識(shí)別方法，其特征是，所述Uniform模式是OLBP和ELBP的二進(jìn)制編碼被視為首尾鏈接的環(huán)形時(shí)，至多存在兩處由O到I或是I到O的轉(zhuǎn)換，即
全文摘要
本發(fā)明公開一種奇、偶分組的局部二元模式的人臉表情識(shí)別方法，包括訓(xùn)練和識(shí)別階段；訓(xùn)練階段的方法為，將所有訓(xùn)練樣本的每張人臉圖像進(jìn)行均勻地、無交疊分塊處理，對(duì)每個(gè)子塊提取奇、偶分組的局部二元模式后轉(zhuǎn)換成Uniform模式，形成特征直方圖，把每個(gè)子塊的特征直方圖合為整體構(gòu)成訓(xùn)練樣本集的特征集合；識(shí)別階段的方法是對(duì)待測(cè)樣本的每張人臉圖像進(jìn)行均勻地、無交疊分塊處理，對(duì)每個(gè)子塊提取奇、偶分組的局部二元模式后轉(zhuǎn)換成Uniform模式，形成特征直方圖，把每個(gè)子塊的特征直方圖合為整體作為待測(cè)特征，預(yù)測(cè)待測(cè)樣本所屬的類別。本發(fā)明對(duì)圖像的噪聲具有較強(qiáng)的魯棒性，可增加LBP算子的魯棒性，提高人臉表情識(shí)別的識(shí)別率，大大減少識(shí)別所需時(shí)間。
文檔編號(hào)G06K9/66GK103116765SQ20131008636
公開日2013年5月22日 申請(qǐng)日期2013年3月18日 優(yōu)先權(quán)日2013年3月18日
發(fā)明者賁晛燁, 陸華, 楊明強(qiáng), 張子瑾, 曾威, 張鵬, 孟凡松 申請(qǐng)人:山東大學(xué)