對人體面部微笑表情深度卷積神經(jīng)網(wǎng)絡(luò)的檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理及模式識別的技術(shù)領(lǐng)域，具體地涉及一種對人體面部微笑表 情深度卷積神經(jīng)網(wǎng)絡(luò)的檢測方法。
【背景技術(shù)】
[0002] 作為人類情感表達的重要方式之一，微笑常常代表著人們快樂、歡喜、滿意等情 緒。人們能夠一眼看出其他人的快樂心情，如果計算機也能自動解讀人的情緒，計算機將會 為人類提供更全面的服務(wù)。近年來，微笑自動檢測技術(shù)逐漸得到研究人員和服務(wù)行業(yè)的關(guān) 注，并滲透于人們?nèi)粘Ｉ畹母鱾€技術(shù)領(lǐng)域。例如，2013年，巴塞羅那一家喜劇倶樂部 Teatreneu利用平板電腦通過識別人臉表情實行"按微笑收費"，這種創(chuàng)新實效的舉措贏得 了用戶的青睞，并使得倶樂部的收入飆漲。再如，2007年，在索尼公司的S0NYT200數(shù)碼相機 中，提供了由索尼和歐姆龍公司合作開發(fā)出來"微笑快門"用來捕捉剎那間笑容。此后，索尼 愛立信將該功能引入到Cyber-shot系列手機W61S。但是，一般來說"微笑快門"靈敏度尚不 理想。
[0003] 目前，人們對微笑表情識別方法開始考慮遮擋和噪聲的影響，比如身份、年齡、性 另IJ、姿態(tài)、光照、遮擋、拍攝環(huán)境、圖像質(zhì)量等因素。由于面部微笑表情易受多種客觀因素影 響，使得微笑表情特征復(fù)雜多變，難以人為的設(shè)計特征，因此，微笑表情識別成為一項具有 挑戰(zhàn)性的研究課題。
[0004] 現(xiàn)有人臉表情識別多是對人臉正面成像的圖像進行分析，用一種或多種特征融合 的方法識別人臉表情，因此特征提取和選擇算法不可避免的損失了部分信息，且易受人臉 角度姿態(tài)、尺度變化和噪聲干擾。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明所要解決的技術(shù)問題在于克服現(xiàn)有技術(shù)的缺點，提供一種設(shè)計特征簡單、 全面、檢測準確率高、檢測速度快的對人體面部微笑表情深度卷積神經(jīng)網(wǎng)絡(luò)的檢測方法。
[0006] 解決上述技術(shù)問題所采用的技術(shù)方案它是由訓(xùn)練步驟和測試步驟組成，本發(fā)明的 訓(xùn)練步驟為：
[0007] (1)對訓(xùn)練樣本圖像進行預(yù)處理
[0008] 包括圖像灰度化、嘴巴子圖定位、大小歸一化以及亮度調(diào)節(jié)步驟；
[0009] 圖像灰度化:用（1)式對被訓(xùn)練的樣本圖像進行灰度化處理，將彩色圖像轉(zhuǎn)為灰度 圖像：
[0010] I=ffrXR+ffgXG+ffbXB (1)
[0011] 式中I為灰度化后的亮度，R為彩色圖像的紅色分量，G為彩色圖像的綠色分量，B為 彩色圖像的藍色分量，Wr為彩色圖像的紅色分量的權(quán)重，Wg為彩色圖像的綠色分量的權(quán)重， Wb為彩色圖像的藍色分量的權(quán)重。
[0012] 嘴巴子圖定位:用五個關(guān)鍵點橫坐標的平均值作為中心點的橫坐標X，用五個關(guān)鍵 點縱坐標的平均值作為中心點的縱坐標y，用歐式距離或曼哈頓距離或棋盤距離計算五個 關(guān)鍵點到中心點的距離;計算上述五個距離的最大距離D或平均距離D或最小距離D，以（（X-(0.75~0.77)0)，7)為左上角，裁剪成寬為（1.5~1.58)0、高為（1.7~1.78)0的矩形，得到 嘴巴子圖。
[0013] 嘴巴子圖大小歸一化:將上述嘴巴子圖用雙三次插值法或B樣條插值法或三次樣 條插值法或等距插值法或四次樣條插值法或拉格朗日插值法，歸一化為32 X 32嘴巴子圖， 像素總個數(shù)為322。
[0014] 對嘴巴子圖進行亮度調(diào)節(jié):采用自適應(yīng)亮度調(diào)節(jié)法或分段線性拉伸法或直方圖均 衡化算法，獲得亮度調(diào)節(jié)后的嘴巴子圖。
[0015] 自適應(yīng)亮度調(diào)節(jié)法，用(4)式計算32X32嘴巴子圖的直方圖h(x)累加和與像素總 個數(shù)的比值cdf (X):
[0016]
(4)
[0017] 式中xe [0,255]，在cdf (X)中尋找第一個大于0.01的索引值i low和第一個大于 0.99的索引值ihigh。
[0018] 用（5)式得到亮度范圍[low，high]:
[0019] low= (i low-1 )/255, high = (ihigh-1 )/255 (5)
[0020] 用(6)式計算調(diào)節(jié)后的亮度值J
[0021] J= (tmp-low)/(high-low) (6)
[0022] 式中1：11^1=11^1(1〇￥，111；[11(11丨811，1))，1為灰度化后的亮度，得到32\32標準嘴巴圖 像。
[0023] (2)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)
[0024] 將訓(xùn)練樣本預(yù)處理后得到的32X32標準嘴巴圖像輸入卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)前向傳播 和反向傳播兩個步驟反復(fù)循環(huán)至達到設(shè)定的最大迭代次數(shù)，得到卷積神經(jīng)網(wǎng)絡(luò)和訓(xùn)練樣本 的多尺度特征。
[0025] (3)訓(xùn)練支持向量機分類器
[0026] 把多尺度特征輸入支持向量機，支持向量機根據(jù)多尺度特征尋找最優(yōu)分類超平 面，得到支持向量機分類器，該分類器的輸出是1或〇，1為微笑，0為不微笑。
[0027] 本發(fā)明的測試步驟為：
[0028] (1)對測試樣本圖像進行預(yù)處理
[0029]測試樣本圖像的預(yù)處理與對訓(xùn)練樣本圖像進行預(yù)處理步驟(1)相同。
[0030] (2)用預(yù)處理后的測試樣本輸入到卷積神經(jīng)網(wǎng)絡(luò)中，提取測試樣本的多尺度特征。
[0031] (3)將多尺度特征輸入到支持向量機分類器中，得到檢測結(jié)果，即是否微笑。
[0032]本發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為:輸入層是32X32的標準嘴巴圖像;C1層是第一 個卷積層，有10個28X28的特征圖，每個特征圖中的1個像素點與輸入層的1個5X5區(qū)域相 連接，共（5X5+1 )X 10 = 260個訓(xùn)練參數(shù);S2層是下2采樣層，有10個14X14特征圖，每個特 征圖中的1個像素點與C1層相應(yīng)特征圖的1個2X2區(qū)域相連接，共IX 10個偏置參數(shù);C3層是 第二個卷積層，有12個10 X 10的特征圖，每個特征圖中的1個像素點與S2層相應(yīng)的1個5 X 5 區(qū)域相連接，共（5X5+1 )X 10X12 = 3120個參數(shù);S4層為第二個下2采樣層，有12個5X5的 特征圖，共IX 12個偏置參數(shù);F5層是S4中12個5X5的特征圖以列序為主序依次排列生成的 1個300維的多尺度特征;輸出層由2個結(jié)點1和0組成，F(xiàn)5層與輸出層之間全連接，共300X2 = 600個參數(shù);該深度卷積神經(jīng)網(wǎng)絡(luò)共260+10+3120+12+600 = 4002個參數(shù)，通過前向傳播和 反向傳播反復(fù)循環(huán)至達到設(shè)定的最大迭代次數(shù)，確定網(wǎng)絡(luò)參數(shù)。
[0033]本發(fā)明的支持向量機為：支持向量機的核函數(shù)選擇徑向基函數(shù)，其參數(shù)gamma = 0.05,支持向量機的輸入是從卷積神經(jīng)網(wǎng)絡(luò)得到的多尺度特征，輸出是1或0，1為微笑，0為 不微笑。
[0034]本發(fā)明的多尺度特征的生成過程為:將32X32的標準嘴巴圖像輸入到卷積神經(jīng)網(wǎng) 絡(luò)的輸入層中，經(jīng)C1層、S2層、C3層和S4層的2次卷積和下2采樣，得到12個5X5的特征圖，以 列序為主序依次排列生成的1個300維的多尺度特征。
[0035] 本發(fā)明針對真實場景下拍攝的不同姿態(tài)、光照和胡須等干擾的人臉圖像，采用卷 積神經(jīng)網(wǎng)絡(luò)的自動學(xué)習(xí)能力，從大量樣本圖像中自動地提取微笑特征，避免了人工設(shè)計特 征的復(fù)雜性和片面性，再利用支持向量機分類器進行微笑檢測，提高了檢測的準確率，可用 于新產(chǎn)品用戶體驗評價、服務(wù)人員微笑服務(wù)評價、相機微笑快門控制及照片選擇等。
【附圖說明】
[0036] 圖1是本發(fā)明實施例1對人體面部微笑表情深度卷積神經(jīng)網(wǎng)絡(luò)的檢測方法流程圖。 [0037]圖2是圖1中測試步驟的流程圖。
[0038]圖3是經(jīng)過預(yù)處理后部分32X32的標準嘴巴圖像。
[0039] 圖4是深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖。
[0040] 圖5是非正面成像的測試樣本人體面部微笑表情的檢測結(jié)果圖。
[0041] 圖6是人體面部有胡須的測試樣本微笑表情的檢測結(jié)果圖。
【具體實施方式】
[0042]下面結(jié)合具體附圖和實例對本發(fā)明進行進一步的說明，但本發(fā)明不限于下述實 例。
[0043] 實施例1
[0044] 本實施例的人臉圖像來自多任務(wù)人臉標注(the Multi-Task Facial Landmark， MTFL)數(shù)據(jù)庫，該庫包括12995幅人臉圖像，其中10000幅圖像為訓(xùn)練樣本，2995幅圖像為測 試樣本。
[0045] 本實施例微笑表情深度卷積神經(jīng)網(wǎng)絡(luò)的檢測方法由訓(xùn)練步驟和測試步驟組成，訓(xùn) 練步驟如下：
[0046] 1、對10000幅訓(xùn)練樣本圖像進行預(yù)處理
[0047]包括圖像灰度化、嘴巴子圖定位、大小歸一化以及亮度調(diào)節(jié)步驟；
[0048] 10000幅圖像灰度化：用（1)式對被訓(xùn)練的樣本圖像進行灰度化處理，將彩色圖像 轉(zhuǎn)為灰度圖像：
[0049] I = 0.2989 XR+0.5870 XG+0.1140 XB (1)
[0050] 式中I為灰度化后的亮度，