基于光流特征的笑臉識(shí)別系統(tǒng)及方法
【專利摘要】本發(fā)明揭示了一種基于光流特征的笑臉識(shí)別系統(tǒng)及方法，所述系統(tǒng)包括特征提取模塊、分類識(shí)別模塊；特征提取模塊與分類識(shí)別模塊連接；特征提取模塊包括人臉檢測(cè)單元、光流計(jì)算單元、光流特征生成單元；所述人臉檢測(cè)單元用于在輸入的圖像中如果存在人臉區(qū)域，則檢測(cè)出人臉，確定所有人臉的大小、位置和位姿；光流計(jì)算單元用于進(jìn)行光流的計(jì)算；所述光流特征生成單元用以獲取圖像的光流場(chǎng)；分類識(shí)別模塊用以訓(xùn)練和識(shí)別笑臉；在訓(xùn)練和識(shí)別中，均要用到特征提取模塊得到的特征向量。本發(fā)明提出的基于光流特征的笑臉識(shí)別系統(tǒng)及方法，結(jié)合人臉檢測(cè)、五官定位等相關(guān)技術(shù)，采用有效的特征提取方法，取得更加有效的信息，從而提高笑臉識(shí)別的準(zhǔn)確性。
【專利說明】基于光流特征的笑臉識(shí)別系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于人臉識(shí)別【技術(shù)領(lǐng)域】，涉及一種笑臉識(shí)別系統(tǒng)，尤其涉及一種基于光流 特征的笑臉識(shí)別系統(tǒng)；同時(shí)，本發(fā)明還涉及一種基于光流特征的笑臉識(shí)別方法。

【背景技術(shù)】
[0002] 計(jì)算機(jī)視覺和人機(jī)交互技術(shù)的快速發(fā)展，使得人們對(duì)計(jì)算機(jī)應(yīng)用及各種電子產(chǎn)品 的智能化研究愈來愈感興趣。眾多的智能化研究圍繞著如何讓計(jì)算機(jī)等通過獲取某些信 息，自動(dòng)知道人類的情緒和也理活動(dòng)，其中，通過對(duì)人臉面部表情的識(shí)別，進(jìn)行人類情緒的 感知研究尤為火熱。但根據(jù)一些使用數(shù)碼產(chǎn)品的用戶反饋，所體驗(yàn)到的笑臉功能并不理想， 在實(shí)際應(yīng)用中存在著很多不足之處。
[0003] 首先，笑臉識(shí)別功能的準(zhǔn)確性不高。由于人類表情的表現(xiàn)方式有細(xì)微和強(qiáng)烈之分、 緩和和激動(dòng)之分、輕松和緊張之分等諸多形式，所W同一種表情往往表現(xiàn)出不同的面部形 變和強(qiáng)度。比如同樣是高興的表情，有的是微笑，有的是大笑，有的是勉強(qiáng)的笑等，該就給笑 臉識(shí)別的結(jié)果是否準(zhǔn)確帶來了一定的挑戰(zhàn)。
[0004] 其次，笑臉識(shí)別功能的敏感度不高。目前有很多產(chǎn)品中的笑臉識(shí)別功能只有當(dāng)被 拍攝者的笑容達(dá)到一定程度或者符合一定規(guī)范時(shí)，甚至是必須露出牙齒，笑臉快口才能起 到作用。
[0005] 有鑒于此，如今迫切需要設(shè)計(jì)一種新的笑臉識(shí)別方式，W便克服現(xiàn)有笑臉識(shí)別方 式的上述缺陷。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明所要解決的技術(shù)問題是；提供一種基于光流特征的笑臉識(shí)別系統(tǒng)，可提高 笑臉識(shí)別的準(zhǔn)確性。
[0007] 此外，本發(fā)明還提供一種基于光流特征的笑臉識(shí)別方法，可提高笑臉識(shí)別的準(zhǔn)確 性。
[000引為解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案：
[0009] -種基于光流特征的笑臉識(shí)別系統(tǒng)，所述系統(tǒng)包括；數(shù)據(jù)庫模塊、預(yù)處理模塊、特 征提取模塊、分類識(shí)別模塊；
[0010] 所述預(yù)處理模塊包括圖像預(yù)處理模塊和感興趣區(qū)域檢測(cè)模塊；
[0011] 所述圖像預(yù)處理模塊包括圖像平滑單元、尺寸歸一化單元、灰度均衡單元；
[0012] 所述圖像平滑單元用W利用鄰域平均法消除圖像噪聲；用幾個(gè)像素灰度的平均值 來代替每個(gè)像素的灰度；假定有一幅NXN個(gè)像素的圖像f(x，y)，平滑處理后得到一幅圖像 為g(x，y) ;g(x，y)由下式?jīng)Q定：
[0013]

【權(quán)利要求】
1. 一種基于光流特征的笑臉識(shí)別系統(tǒng)，其特征在于，所述系統(tǒng)包括：數(shù)據(jù)庫模塊、預(yù)處 理模塊、特征提取模塊、分類識(shí)別模塊； 所述預(yù)處理模塊包括圖像預(yù)處理模塊；所述圖像預(yù)處理模塊包括圖像平滑單元、尺寸 歸一化單元、灰度均衡單元； 所述圖像平滑單元用以利用鄰域平均法消除圖像噪聲；用幾個(gè)像素灰度的平均值來代 替每個(gè)像素的灰度；假定有一幅NXN個(gè)像素的圖像f(x，y)，平滑處理后得到一幅圖像為 g(x，y) ;g(x，y)由下式?jīng)Q定：
式中X，y= 0, 1，2,......，N-I;S是（x,y)點(diǎn)鄰域中點(diǎn)的坐標(biāo)的集合,但其中不包括 (x，y)點(diǎn)，M是集合內(nèi)坐標(biāo)點(diǎn)的總數(shù)；式（1)說明，平滑化的圖像g(x，y)中的每個(gè)像素的灰 度值均由包含在（x，y)的預(yù)定鄰域中的f(x，y)幾個(gè)像素的灰度值的平均值來決定；以（X， y)點(diǎn)為中心，取單位距離構(gòu)成一個(gè)鄰域，其中點(diǎn)的坐標(biāo)集合為 S= {(x, y+1), (x, y - I), (x+1, y), (x - I, y)} (2) 所述圖像平滑單元還采用閾值法減少由于鄰域平均所產(chǎn)生的模糊效應(yīng)；當(dāng)一些點(diǎn)和它 的鄰域內(nèi)的點(diǎn)的灰度平均值的差不超過規(guī)定的閾值T時(shí)，就仍然保留其原灰度值不變，如 果大于閾值T時(shí)就用它們的平均值來代替該點(diǎn)的灰度值；以減少模糊的程度；其基本方法 由下式?jīng)Q定
其中，T為規(guī)定的非負(fù)閾值； 所述尺寸歸一化單元用以通過尺度校正、平移、旋轉(zhuǎn)的方法去除圖像中的結(jié)構(gòu)變形，使 人臉圖像標(biāo)準(zhǔn)化； 所述灰度均衡單元用以減少光照對(duì)人臉圖像灰度分布的影響，對(duì)人臉樣本圖像進(jìn)行直 方圖均衡化；直方圖均衡化處理是把原始圖像的灰度直方圖從比較集中的某個(gè)灰度區(qū)間變 成在全部灰度范圍內(nèi)的均勻分布； 所述特征提取模塊包括人臉檢測(cè)單元、光流計(jì)算單元、光流特征生成單元； 所述特征提取模塊用以采用光流特征提取方法；提取光流特征就是對(duì)兩幅圖像做以下 操作：1)輸入圖像；輸入圖像為兩幅圖像，用以測(cè)試某一幅表情圖像是否是笑臉圖像；2)人 臉檢測(cè)；光流特征提取嚴(yán)格針對(duì)人臉區(qū)域，采用的Jaffe數(shù)據(jù)庫中的圖像需要進(jìn)行人臉檢 測(cè)，剔除周圍不相關(guān)的區(qū)域，得到準(zhǔn)確的人臉區(qū)域，將人臉區(qū)域從圖像中提取出來，并進(jìn)行 歸一化； 所述人臉檢測(cè)單元在輸入的圖像中如果存在人臉區(qū)域，則檢測(cè)出人臉，確定所有人臉 的大小、位置和位姿；采用Haar-Like特征與級(jí)聯(lián)的Adaboost學(xué)習(xí)算法相結(jié)合的方法；具 體步驟如下： 第一步、對(duì)人臉進(jìn)行Haar-Like特征計(jì)算，運(yùn)用"積分圖"算法快速提取特征； 目標(biāo)的特征通常是對(duì)待分類目標(biāo)進(jìn)行研究后得到的知識(shí)進(jìn)行編碼來取得的，用來編碼 的知識(shí)通常很難從原始圖像的像素中直接獲到；在人臉圖像的模型建立過程中，運(yùn)用人臉 的特征能夠使得人臉跟非人臉這兩個(gè)類別的類內(nèi)距離得到大大的降低； 將人臉特征經(jīng)過不斷的延展之后得到新的特征，將此新特征叫做"矩形特征";表示矩 形特征的值通常被人們叫做"特征值"； 將訓(xùn)練窗口的規(guī)模初始化為W*H個(gè)像素點(diǎn)；W代表特征原型長(zhǎng)度具有的像素個(gè)數(shù)，h代 表特征原型寬度具有的像素個(gè)數(shù)； 令：x=(?W)/w，. 〃?〃表示對(duì)數(shù)值取整；一個(gè)大小為w*h的特征原型在一個(gè)大小為W*H的搜索窗中得到的矩形特征的個(gè)數(shù)常常用下面的公式的計(jì)算結(jié)果來表示； 利用新的圖像表示方法--積分圖像，計(jì)算矩形特征的特征值，只與此特征矩形的端 點(diǎn)的積分圖有關(guān)，所以不管此特征矩形的尺度變換如何，特征值的計(jì)算所消耗的時(shí)間都是 常量；這樣只要遍歷圖像一次，求得所有子窗口的特征值； 積分圖的定義為：
其中，I(x'，y'）為圖像在點(diǎn)（x'，y'）處的像素值； 為了節(jié)約時(shí)間，減少重復(fù)計(jì)算，則圖像I的積分圖按如下遞推公式計(jì)算：
這樣就能進(jìn)行2種運(yùn)算： 第一種運(yùn)算方法，對(duì)任意矩形區(qū)域內(nèi)像素積分；由圖像的積分圖可方便快速地計(jì)算圖 像中任意矩形內(nèi)所有像素灰度積分； 第二種運(yùn)算方法，特征值計(jì)算；矩形特征的特征值是兩個(gè)不同的矩形區(qū)域像素和之差， 由（1)式計(jì)算任意矩形特征的特征值； 運(yùn)用積分圖快速計(jì)算給定的矩形之所有象素值之和Sum(r);假設(shè)r= (x，y，w，h)，那 么此矩形內(nèi)部所有元素之和等價(jià)于下面積分圖中下面這個(gè)式子： Sum(r) =ii(x+w,y+h)+ii(x-1,y-1)-ii(x+w,y-1)-ii(x-1,y+h) (15) 第二步、根據(jù)AdaBoost算法提取最有效的Haar-Like特征，經(jīng)過多次迭代確定各個(gè)弱 分類器的權(quán)值； AdaBoost算法同時(shí)進(jìn)行訓(xùn)練分類器和特征選擇的工作，這是它的一個(gè)非常重要的特 點(diǎn)；AdaBoost算法中的每個(gè)弱分類器都與某個(gè)特征對(duì)應(yīng)，弱分類器的個(gè)數(shù)等于矩形特征 數(shù)；訓(xùn)練過程中從大量的弱分類器中選出一個(gè)在當(dāng)前樣本權(quán)重分布情況下具有最小分類錯(cuò) 誤率的弱分類器作為本輪的最優(yōu)弱分類器，進(jìn)行T輪訓(xùn)練以后，最終得出T個(gè)最具代表性的 特征，對(duì)應(yīng)了T個(gè)弱分類器，最后根據(jù)每個(gè)特征的不同權(quán)值加權(quán)后連接得到一個(gè)非常強(qiáng)大 的分類器； 令X為訓(xùn)練樣本空間，Y= {0，1}中包含了訓(xùn)練樣本可能來自的類別的記號(hào)；1代表正 的樣本點(diǎn)，即人臉樣本，〇代表負(fù)的樣本點(diǎn)，即非人臉樣本；假設(shè)一共有K個(gè)矩形特征；」代 表第t輪迭代過程中的第j個(gè)樣本點(diǎn)所具有的權(quán)重；算法的具體實(shí)現(xiàn)通常包含下面的4個(gè) 重要環(huán)節(jié)： (1)已知訓(xùn)練樣本集X=Kx1,y)，（x2,y2)，…，（xn，yn)};式中XiGX;假定訓(xùn)練集中共 包含1個(gè)人臉樣本點(diǎn)，m個(gè)非人類樣本點(diǎn)，1+m=n; (2) 給每個(gè)樣本點(diǎn)一個(gè)起始權(quán)重；
(3) 對(duì)于t= 1，…，T;T為循環(huán)次數(shù)； ① 對(duì)樣本所具有的權(quán)重執(zhí)行歸一化操作； ② 針對(duì)每一個(gè)特征j，在已知的樣本權(quán)重分布情況下訓(xùn)練得到弱分類器hy(x)，通過計(jì) 算得到每個(gè)弱分類器對(duì)樣本集的分類錯(cuò)誤率，
③ 確定第t輪迭代的最優(yōu)弱分類器ht (X)，令k=argminet，」，并將樣本集的分類錯(cuò)誤 率取為et=et，k; @根據(jù)獲得的最優(yōu)弱分類器修改樣本的權(quán)重：叫+1=叫/?廣"'，其中1=￡/(1-^) ; ei= 0,表示Xi被正確分類，ei= 1表示Xi被錯(cuò)誤分類； (4) 最后得到的強(qiáng)分類器為：
第三步、將訓(xùn)練得到的弱分類器進(jìn)行級(jí)聯(lián)，組成完整的人臉檢測(cè)系統(tǒng)； 為了能夠改善人臉檢測(cè)的時(shí)間性能，利用新的分類器結(jié)構(gòu)：分層的級(jí)聯(lián)分類器，分類器 包括多層分類器，通過這樣的一種分類器組織方式使得人臉檢測(cè)過程隨著層數(shù)的遞增得到 更1?的精度； 上述的級(jí)聯(lián)分類器的判決過程與經(jīng)過退化的決策樹的判定過程相似，若第i層將搜索 子窗判定為"是"，那么這個(gè)可能會(huì)包含人臉圖像的搜索子窗便會(huì)被繼續(xù)派發(fā)到第i+1層分 類器，同時(shí)誘發(fā)第i+1層的分類器進(jìn)行分類工作，如此逐級(jí)檢測(cè)；這種檢測(cè)方法首先副除巨 量的不包含人臉圖像的搜索子窗，從而使得人臉檢測(cè)的時(shí)間性能得到優(yōu)化； Adaboost分類器的訓(xùn)練過程包括： 利用光流計(jì)算單元計(jì)算光流；采用Horn-Schunck算法進(jìn)行光流（u，v)的計(jì)算，設(shè)定搜 索窗口為1，計(jì)算得到的光流特征向量維數(shù)為（100/2) *(100/2) = 2500 ; Horn-Schunck算法核心思想是：圖像上每一點(diǎn)的光流之間都有聯(lián)系，光流在整個(gè)圖像 范圍內(nèi)應(yīng)該是平滑變化的，所以引入了平滑性約束，使平滑約束項(xiàng)極小化； 設(shè)平滑性約束項(xiàng)為極小化： Es =ff{u2x+ir+ +)dxdy (18) 結(jié)合基本等式，要求極小化： Ec=/ /(IXu+Iyv+It)2dxdy(19) 結(jié)合式18和式19可知，最后求得的光流應(yīng)滿足式20 : minii[(ul+ul+vl+v]) +A,(Iu+1+1,);]dxdy (20) 這里入的取值要考慮噪聲情況，噪聲較強(qiáng)，則說明圖像數(shù)據(jù)本身具有較低的置信度， 這時(shí)便需要更多的依賴加入的光流約束，A取較小的值；反之，若噪聲較弱，A取較大的 值； 此時(shí)，問題將轉(zhuǎn)化為求解Lagrangian最小化問題；對(duì)形如式20的形式變分問題min{ / /F(u,v,ux,uy,vx,vy)dxdy} (21) 的解釋對(duì)應(yīng)Euler方程21的解
其中，▽ 2是Laplace算子； 實(shí)際計(jì)算過程中，處理對(duì)象為離散化的坐標(biāo)，相應(yīng)的，要對(duì)式23進(jìn)行離散化處理： <+<+乂+<離散化為

根據(jù)中性圖像，利用Horn-Schunck計(jì)算出表情圖像中每一點(diǎn)的光流矢量，所有點(diǎn)的光 流矢量共同構(gòu)成這幅表情圖像的光流特征； 所述系統(tǒng)中的Horn-Schunck算法計(jì)算的是稠密光流的速度場(chǎng)，S卩，將圖像中的每個(gè)像 素都與速度關(guān)聯(lián)，針對(duì)每個(gè)像素分別計(jì)算光流向量的u和V兩個(gè)分量；所述光流特征生成單 元用以獲取圖像Horn-Schunck光流場(chǎng)，圖像Horn-Schunck光流場(chǎng)的獲取需要四個(gè)步驟： (1) 計(jì)算像素點(diǎn)的光流分量；計(jì)算的依據(jù)是Horn-Schunck算法中的光流（u，v)迭代公 式（式 29、30、31); (2) 設(shè)定搜索窗口大小；經(jīng)過多次設(shè)定搜索窗口的大小，通過笑臉識(shí)別的結(jié)果，得出本 系統(tǒng)中最合適的窗口大小為2*2,即設(shè)定winsize= 1 ; (3) 計(jì)算窗口中的光流特征值；在每一個(gè)2*2的窗口中，含有4個(gè)像素點(diǎn)，對(duì)這4個(gè)像 素點(diǎn)的u和V分量進(jìn)行加法運(yùn)算，得到該窗口的（u，v)分量，根據(jù)d=arctan(v/w)計(jì)算光 流特征值； (4) 獲取圖像的光流特征向量；將所有窗口計(jì)算所得的光流特征值串聯(lián)起來，組成整 幅圖像的光流特征向量； 所述分類識(shí)別模塊用以訓(xùn)練和識(shí)別笑臉；在訓(xùn)練和識(shí)別中，均要用到特征提取模塊得 到的特征向量；訓(xùn)練的目的是通過對(duì)大量訓(xùn)練樣本的特征向量進(jìn)行機(jī)器學(xué)習(xí)，得到能夠最 大限度地區(qū)分出笑臉和非笑臉的分類器；識(shí)別過程是將測(cè)試樣本通過特征提取模塊之后得 至_特征向量，送入訓(xùn)練得到的笑臉分類器，通過一系列對(duì)比和劃分，最終得到測(cè)試樣本所 屬的類別； 在分類識(shí)別模塊采用隨機(jī)森林的分類方法，隨機(jī)森林RF是一種聯(lián)合分類器，每棵決策 樹都是一個(gè)基礎(chǔ)分類器，多個(gè)決策樹共同構(gòu)成隨機(jī)森林；決策樹在每個(gè)節(jié)點(diǎn)隨機(jī)從屬性集 中選取若干候選屬性，根據(jù)Gini系數(shù)最小原則選擇分類屬性和閾值；每一棵樹都依賴于獨(dú) 立抽樣，并與森林中所有樹具有相同分布的隨機(jī)向量的值；米用隨機(jī)森林分類RFC時(shí)，每棵 樹都投票并返回得票最多的類； 決策樹與流程圖的樹結(jié)構(gòu)相類似，其中，每個(gè)內(nèi)部節(jié)點(diǎn)都是一個(gè)分裂問題，每個(gè)分支代 表該測(cè)試的一個(gè)輸出，而每個(gè)樹葉節(jié)點(diǎn)存放一個(gè)類標(biāo)號(hào)；樹的最頂層節(jié)點(diǎn)是根節(jié)點(diǎn)； 決策樹構(gòu)建的基本步驟如下： (1)開始，所有記錄看作一個(gè)節(jié)點(diǎn)； (2) 遍歷每個(gè)變量的每一種分割方式，找到最好的分割點(diǎn)； (3) 分割成兩個(gè)節(jié)點(diǎn)NJPN2; (4) 對(duì)NJPN2分別繼續(xù)執(zhí)行2-3步，直到每個(gè)節(jié)點(diǎn)足夠"純"為止；
每一類的比例P(i)=第i類的數(shù)目/總數(shù)目；Gini系數(shù)值越大，表示越"不純"，越小表示 越"純"；純度差為：
其中，I代表不純度（也就是上面三個(gè)公式的任意一種），K代表分割的節(jié)點(diǎn)數(shù)，一般K=2 表示子節(jié)點(diǎn)中的記錄數(shù)目；上面公式實(shí)際上就是當(dāng)前節(jié)點(diǎn)的不純度減去子節(jié)點(diǎn)不 純度的加權(quán)平均數(shù)，權(quán)重由子節(jié)點(diǎn)記錄數(shù)與當(dāng)前節(jié)點(diǎn)記錄數(shù)的比例決定； 決策樹的構(gòu)建過程是一個(gè)遞歸的過程，所以需要確定停止條件，否則過程將不會(huì)結(jié)束； 當(dāng)前節(jié)點(diǎn)中的記錄數(shù)低于一個(gè)最小的閾值，那么就停止分割，將max(P(i))對(duì)應(yīng)的分類作 為當(dāng)前葉節(jié)點(diǎn)的分類； 決策樹T構(gòu)建好后，需要估計(jì)預(yù)測(cè)準(zhǔn)確率；直觀說明，比如N條測(cè)試數(shù)據(jù)，X預(yù)測(cè)正確 的記錄數(shù)，那么可以估計(jì)acc=X/N為T的準(zhǔn)確率；但是，這樣不是很科學(xué)；因?yàn)槲覀兪峭ㄟ^ 樣本估計(jì)的準(zhǔn)確率，很有可能存在偏差；所以，比較科學(xué)的方法是估計(jì)一個(gè)準(zhǔn)確率的區(qū)間， 這里就要用到統(tǒng)計(jì)學(xué)中的置信區(qū)間； 設(shè)T的準(zhǔn)確率p是一個(gè)客觀存在的值，X的概率分布為X?B(N，p)，即X遵循概率 為P，次數(shù)為N的二項(xiàng)分布（BinomialDistribution),期望E(X) =N*p，方差Var(X)= N*p*(l_p);由于當(dāng)N很大時(shí)，二項(xiàng)分布可以近似有正太分布（NormalDistribution)計(jì) 算，一般N會(huì)很大，所以X?N(np,n*p*(l-p));算出，acc=X/N的期望E(acc) =E(X/ N) =E(X)/N=p，方差Var(acc) =Var(X/N) =Var(X)/N2=p*(l_p)/N，所以acc? N(p，p*(l-p)/N);這樣，就通過正太分布的置信區(qū)間的計(jì)算方式計(jì)算執(zhí)行區(qū)間； 正太分布的置信區(qū)間求解如下：
(2) 選擇置信水平a= 95%，或其他值，這取決于你需要對(duì)這個(gè)區(qū)間有多自信；一般來 說，a越大，區(qū)間越大； (3) 求出a/2和I-a/2對(duì)應(yīng)的標(biāo)準(zhǔn)正太分布的統(tǒng)計(jì)量Za/2和Zi_a/2,Za/2和Zh/2均為 常量；然后解下面關(guān)于P的不等式；acc由樣本估計(jì)得出；即可以得到關(guān)于p的執(zhí)行區(qū)間
采用的隨機(jī)森林，由兩種隨機(jī)算法共同構(gòu)建，這兩種隨機(jī)算法分別是裝袋法，和基于輸 入的構(gòu)建方法； 裝袋法bagging是一個(gè)統(tǒng)計(jì)重采樣的組合技術(shù)，利用有放回的隨機(jī)重采樣來生成多個(gè) 版本的預(yù)測(cè)器，然后把這些分類器融合，通常情況下，組合的分類器與單一分類器相比，其 分類效果更好，原因是在最終解決問題時(shí)，結(jié)合了所有單獨(dú)分類器的特點(diǎn)； 利用bagging方法來生成訓(xùn)練集，其具體思想及操作步驟是：原始訓(xùn)練集D中，由于抽 取樣本的隨機(jī)性，每個(gè)樣本未被抽取的概率為（1_1/N)N，其中N為原始訓(xùn)練集D中的樣本個(gè) 數(shù)；當(dāng)N足夠大時(shí)，（1-1/N)1f收斂于1/e?0. 368,也就是說，在原始樣本集D中，將會(huì)有 接近37%的樣本在抽樣時(shí)不會(huì)出現(xiàn)在bootstrap的樣本中，這些未被抽取的數(shù)據(jù)稱為袋外 OOB數(shù)據(jù)，使用袋外數(shù)據(jù)來估計(jì)模型性能的方法稱為OOB估計(jì)；由于使用OOB估計(jì)和使用相 同樣本容量的測(cè)試集的精度一樣，就沒有必要再使用測(cè)試集；采用的識(shí)別率統(tǒng)計(jì)由OOB估 計(jì)來代替； 采用Forests-RI構(gòu)建隨機(jī)森林；Forests-RI構(gòu)建方法是對(duì)輸入變量進(jìn)行隨機(jī)分組，例 如，給定d個(gè)樣本的訓(xùn)練集D，目的是為組合分類器產(chǎn)生k棵決策樹，過程如下：首先，對(duì)于 每次迭代i(i= 1，2,…，k)，使用有放回抽樣，由D產(chǎn)生d個(gè)樣本的訓(xùn)練集Di，使得某些樣 本可能在Dim現(xiàn)多次，而另一些可能不出現(xiàn)；設(shè)F是用來在每個(gè)節(jié)點(diǎn)決定劃分的屬性數(shù)，其 中F遠(yuǎn)小于可用屬性數(shù)；為了構(gòu)造決策樹分類器Mi,在每個(gè)節(jié)點(diǎn)隨機(jī)選擇F個(gè)屬性作為該節(jié) 點(diǎn)劃分的候選屬性；樹增長(zhǎng)到最大規(guī)模，并且不剪枝。
2. -種基于光流特征的笑臉識(shí)別系統(tǒng)，其特征在于，所述系統(tǒng)包括：特征提取模塊、分 類識(shí)別模塊，特征提取模塊與分類識(shí)別模塊連接； 所述特征提取模塊包括人臉檢測(cè)單元、光流計(jì)算單元、光流特征生成單元； 所述人臉檢測(cè)單元用于在輸入的圖像中如果存在人臉區(qū)域，則檢測(cè)出人臉，確定所有 人臉的大小、位置和位姿； 所述光流計(jì)算單元用于進(jìn)行光流的計(jì)算； 所述光流特征生成單元用以獲取圖像的光流場(chǎng)； 所述分類識(shí)別模塊用以訓(xùn)練和識(shí)別笑臉；在訓(xùn)練和識(shí)別中，均要用到特征提取模塊得 到的特征向量；訓(xùn)練的目的是通過對(duì)大量訓(xùn)練樣本的特征向量進(jìn)行機(jī)器學(xué)習(xí)，得到能夠最 大限度地區(qū)分出笑臉和非笑臉的分類器；識(shí)別過程是將測(cè)試樣本通過特征提取模塊之后得 至_特征向量，送入訓(xùn)練得到的笑臉分類器，通過對(duì)比和劃分，最終得到測(cè)試樣本所屬的類 別。
3. 根據(jù)權(quán)利要求2所述的基于光流特征的笑臉識(shí)別系統(tǒng)，其特征在于： 所述系統(tǒng)還包括預(yù)處理模塊，用以對(duì)圖像進(jìn)行預(yù)處理； 預(yù)處理模塊中，所做工作的目的是為了得到能夠直接提取光流特征的區(qū)域圖像；對(duì)于 訓(xùn)練流程來說，其處理對(duì)象為JafTe表情庫，所做工作為人臉檢測(cè)，對(duì)于識(shí)別流程來說，其 處理對(duì)象為通過攝像頭直接采集到的人臉圖像，需要在人臉檢測(cè)之前，首先進(jìn)行簡(jiǎn)單的灰 度化處理；其中，人臉檢測(cè)步驟中，通過類Haar特征對(duì)人臉特征進(jìn)行描述，同時(shí)采用積分圖 方法實(shí)現(xiàn)類Haar特征的快速計(jì)算，采用Adaboost級(jí)聯(lián)分類器實(shí)現(xiàn)對(duì)圖像中人臉的檢測(cè)，得 到人臉區(qū)域的位置，并將人臉提取出來； 特征提取模塊的功能是從人臉圖像上，眾多特征中提取出能夠表達(dá)其表情的形變的特 征，這里的表情特征指能夠區(qū)分其為笑臉還是非笑臉的形變特征，得到最有利于笑臉識(shí)別 的信息；這些提取出來的特征的準(zhǔn)確性和有效性直接影響到最后的笑臉識(shí)別率；光流特征 的提取通過Horn-Schunck的全局平滑約束，結(jié)合光流基本約束方程計(jì)算得到； 分類識(shí)別模塊采用隨機(jī)森林算法進(jìn)行訓(xùn)練和分類識(shí)別，這里，隨機(jī)森林是由裝袋法和 輸入變量進(jìn)行隨機(jī)分組構(gòu)建而成的Forests-RI;在訓(xùn)練流程中完成的功能是，根據(jù)特征提 取模塊中得到的大量訓(xùn)練樣本的特征向量，通過機(jī)器學(xué)習(xí)的方法，得到笑臉和非笑臉兩種 類別的分類標(biāo)準(zhǔn)，即，訓(xùn)練得到笑臉分類器；在識(shí)別流程中完成的功能是，將待識(shí)別圖像的 特征向量與這個(gè)分類器進(jìn)行對(duì)比或匹配等操作，識(shí)別出該待識(shí)別圖像屬于笑臉和非笑臉的 哪個(gè)類別，從而達(dá)到對(duì)其進(jìn)行分類識(shí)別的目的。
4. 根據(jù)權(quán)利要求2所述的基于光流特征的笑臉識(shí)別系統(tǒng)，其特征在于： 所述系統(tǒng)還包括預(yù)處理模塊，用以對(duì)圖像進(jìn)行預(yù)處理； 所述預(yù)處理模塊包括圖像平滑單元、尺寸歸一化單元、灰度均衡單元； 所述圖像平滑單元用以利用鄰域平均法消除圖像噪聲；用幾個(gè)像素灰度的平均值來代 替每個(gè)像素的灰度；假定有一幅NXN個(gè)像素的圖像f(x，y)，平滑處理后得到一幅圖像為 g(x，y) ;g(x，y)由下式?jīng)Q定：
式中X，y= 0, 1，2,......，N-I;S是（x,y)點(diǎn)鄰域中點(diǎn)的坐標(biāo)的集合,但其中不包括 (x，y)點(diǎn)，M是集合內(nèi)坐標(biāo)點(diǎn)的總數(shù)；式（1)說明，平滑化的圖像g(x，y)中的每個(gè)像素的灰 度值均由包含在（x，y)的預(yù)定鄰域中的f(x，y)幾個(gè)像素的灰度值的平均值來決定；以（X， y)點(diǎn)為中心，取單位距離構(gòu)成一個(gè)鄰域，其中點(diǎn)的坐標(biāo)集合為 S= {(x,y+1), (x,y-I), (x+1,y),(x-I,y)} (2) 所述圖像平滑單元還采用閾值法減少由于鄰域平均所產(chǎn)生的模糊效應(yīng)；當(dāng)一些點(diǎn)和它 的鄰域內(nèi)的點(diǎn)的灰度平均值的差不超過規(guī)定的閾值T時(shí)，就仍然保留其原灰度值不變，如 果大于閾值T時(shí)就用它們的平均值來代替該點(diǎn)的灰度值；以減少模糊的程度；其基本方法 由下式?jīng)Q定
其中，T為規(guī)定的非負(fù)閾值； 所述尺寸歸一化單元用以通過尺度校正、平移、旋轉(zhuǎn)的方法去除圖像中的結(jié)構(gòu)變形，使 人臉圖像標(biāo)準(zhǔn)化； 所述灰度均衡單元用以減少光照對(duì)人臉圖像灰度分布的影響，對(duì)人臉樣本圖像進(jìn)行直 方圖均衡化；直方圖均衡化處理是把原始圖像的灰度直方圖從比較集中的某個(gè)灰度區(qū)間變 成在全部灰度范圍內(nèi)的均勻分布。
5. 根據(jù)權(quán)利要求2所述的基于光流特征的笑臉識(shí)別系統(tǒng)，其特征在于： 所述特征提取模塊用以采用光流特征提取方法；提取光流特征就是對(duì)兩幅圖像做以下 操作：1)輸入圖像；輸入圖像為兩幅圖像，用以測(cè)試某一幅表情圖像是否是笑臉圖像；2)人 臉檢測(cè)；光流特征提取嚴(yán)格針對(duì)人臉區(qū)域，采用的Jaffe數(shù)據(jù)庫中的圖像需要進(jìn)行人臉檢 測(cè)，剔除周圍不相關(guān)的區(qū)域，得到準(zhǔn)確的人臉區(qū)域，將人臉區(qū)域從圖像中提取出來，并進(jìn)行 歸一化； 所述人臉檢測(cè)單元在輸入的圖像中如果存在人臉區(qū)域，則檢測(cè)出人臉，確定所有人臉 的大小、位置和位姿；采用Haar-Like特征與級(jí)聯(lián)的Adaboost學(xué)習(xí)算法相結(jié)合的方法；具 體步驟如下： 第一步、對(duì)人臉進(jìn)行Haar-Like特征計(jì)算，運(yùn)用"積分圖"算法快速提取特征； 目標(biāo)的特征通常是對(duì)待分類目標(biāo)進(jìn)行研究后得到的知識(shí)進(jìn)行編碼來取得的，用來編碼 的知識(shí)通常很難從原始圖像的像素中直接獲到；在人臉圖像的模型建立過程中，運(yùn)用人臉 的特征能夠使得人臉跟非人臉這兩個(gè)類別的類內(nèi)距離得到大大的降低； 將人臉特征經(jīng)過不斷的延展之后得到新的特征，將此新特征叫做"矩形特征";表示矩 形特征的值通常被人們叫做"特征值"； 將訓(xùn)練窗口的規(guī)模初始化為W*H個(gè)像素點(diǎn)；W代表特征原型長(zhǎng)度具有的像素個(gè)數(shù)，h代 表特征原型寬度具有的像素個(gè)數(shù)； 令：X=(?W) /w，. 〃?〃表示對(duì)數(shù)值取整；一個(gè)大小為w*h的特征原型在一個(gè)大小為W*H的搜索窗中得到的矩形特征的個(gè)數(shù)常常用下面的公式的計(jì)算結(jié)果來表示； 利用新的圖像表示方法--積分圖像，計(jì)算矩形特征的特征值，只與此特征矩形的端 點(diǎn)的積分圖有關(guān)，所以不管此特征矩形的尺度變換如何，特征值的計(jì)算所消耗的時(shí)間都是 常量；這樣只要遍歷圖像一次，求得所有子窗口的特征值； 積分圖的定義為：
其中，I(x'，y'）為圖像在點(diǎn)（x'，y'）處的像素值； 為了節(jié)約時(shí)間，減少重復(fù)計(jì)算，則圖像I的積分圖按如下遞推公式計(jì)算：
這樣就能進(jìn)行2種運(yùn)算： 第一種運(yùn)算方法，對(duì)任意矩形區(qū)域內(nèi)像素積分；由圖像的積分圖可方便快速地計(jì)算圖 像中任意矩形內(nèi)所有像素灰度積分； 第二種運(yùn)算方法，特征值計(jì)算；矩形特征的特征值是兩個(gè)不同的矩形區(qū)域像素和之差， 由（1)式計(jì)算任意矩形特征的特征值； 運(yùn)用積分圖快速計(jì)算給定的矩形之所有象素值之和Sum(r);假設(shè)r= (x，y，w，h)，那 么此矩形內(nèi)部所有元素之和等價(jià)于下面積分圖中下面這個(gè)式子： Sum(r) =ii(x+w,y+h)+ii(x-1,y-1)-ii(x+w,y-1)-ii(x-1,y+h) (15) 第二步、根據(jù)AdaBoost算法提取最有效的Haar-Like特征，經(jīng)過多次迭代確定各個(gè)弱 分類器的權(quán)值； AdaBoost算法同時(shí)進(jìn)行訓(xùn)練分類器和特征選擇的工作，這是它的一個(gè)非常重要的特 點(diǎn)；AdaBoost算法中的每個(gè)弱分類器都與某個(gè)特征對(duì)應(yīng)，弱分類器的個(gè)數(shù)等于矩形特征 數(shù)；訓(xùn)練過程中從大量的弱分類器中選出一個(gè)在當(dāng)前樣本權(quán)重分布情況下具有最小分類錯(cuò) 誤率的弱分類器作為本輪的最優(yōu)弱分類器，進(jìn)行T輪訓(xùn)練以后，最終得出T個(gè)最具代表性的 特征，對(duì)應(yīng)了T個(gè)弱分類器，最后根據(jù)每個(gè)特征的不同權(quán)值加權(quán)后連接得到一個(gè)非常強(qiáng)大 的分類器； 令X為訓(xùn)練樣本空間，Y= {0，1}中包含了訓(xùn)練樣本可能來自的類別的記號(hào)；1代表正 的樣本點(diǎn)，即人臉樣本，〇代表負(fù)的樣本點(diǎn)，即非人臉樣本；假設(shè)一共有K個(gè)矩形特征；Wy代 表第t輪迭代過程中的第j個(gè)樣本點(diǎn)所具有的權(quán)重；算法的具體實(shí)現(xiàn)通常包含下面的4個(gè) 重要環(huán)節(jié)： (1) 已知訓(xùn)練樣本集X=Kx1,y)，（x2,y2)，…，（xn，yn)};式中XiGX;假定訓(xùn)練集中共 包含1個(gè)人臉樣本點(diǎn)，m個(gè)非人類樣本點(diǎn)，1+m=n; (2) 給每個(gè)樣本點(diǎn)一個(gè)起始權(quán)重；
(3) 對(duì)于t= 1，…，T;T為循環(huán)次數(shù)； ① 對(duì)樣本所具有的權(quán)重執(zhí)行歸一化操作； ② 針對(duì)每一個(gè)特征j，在已知的樣本權(quán)重分布情況下訓(xùn)練得到弱分類器hy(x)，通過計(jì) 算得到每個(gè)弱分類器對(duì)樣本集的分類錯(cuò)誤率，
③ 確定第t輪迭代的最優(yōu)弱分類器ht (X)，令k=argminet，」，并將樣本集的分類錯(cuò)誤 率取為et=et，k; ④ 根據(jù)獲得的最優(yōu)弱分類器修改樣本的權(quán)重：wnl =W^1j，其中Pt=ey(i-et); ei= 0,表示Xi被正確分類，ei= 1表示xi被錯(cuò)誤分類； (4) 最后得到的強(qiáng)分類器為：
第三步、將訓(xùn)練得到的弱分類器進(jìn)行級(jí)聯(lián)，組成完整的人臉檢測(cè)系統(tǒng)； 為了能夠改善人臉檢測(cè)的時(shí)間性能，利用新的分類器結(jié)構(gòu)：分層的級(jí)聯(lián)分類器，分類器 包括多層分類器，通過這樣的一種分類器組織方式使得人臉檢測(cè)過程隨著層數(shù)的遞增得到 更1?的精度； 上述的級(jí)聯(lián)分類器的判決過程與經(jīng)過退化的決策樹的判定過程相似，若第i層將搜索 子窗判定為"是"，那么這個(gè)可能會(huì)包含人臉圖像的搜索子窗便會(huì)被繼續(xù)派發(fā)到第i+1層分 類器，同時(shí)誘發(fā)第i+1層的分類器進(jìn)行分類工作，如此逐級(jí)檢測(cè)；這種檢測(cè)方法首先副除巨 量的不包含人臉圖像的搜索子窗，從而使得人臉檢測(cè)的時(shí)間性能得到優(yōu)化； Adaboost分類器的訓(xùn)練過程包括： 利用光流計(jì)算單元計(jì)算光流；采用Horn-Schunck算法進(jìn)行光流（u，v)的計(jì)算，設(shè)定搜 索窗口為1，計(jì)算得到的光流特征向量維數(shù)為（100/2) *(100/2) = 2500 ; Horn-Schunck算法核心思想是：圖像上每一點(diǎn)的光流之間都有聯(lián)系，光流在整個(gè)圖像 范圍內(nèi)應(yīng)該是平滑變化的，所以引入了平滑性約束，使平滑約束項(xiàng)極小化； 設(shè)平滑性約束項(xiàng)為極小化： Es = 11(u2x +U2y +v^. +V^)dxdy (18) 結(jié)合基本等式，要求極小化： Ec=/ /(IXu+Iyv+It)2dxdy(19) 結(jié)合式18和式19可知，最后求得的光流應(yīng)滿足式20 : min+U1y ++v2y)-\-X{Iu+Ivv-\-1tY'\dxdy (20) 這里入的取值要考慮噪聲情況，噪聲較強(qiáng)，則說明圖像數(shù)據(jù)本身具有較低的置信度， 這時(shí)便需要更多的依賴加入的光流約束，A取較小的值；反之，若噪聲較弱，A取較大的 值； 此時(shí)，問題將轉(zhuǎn)化為求解Lagrangian最小化問題；對(duì)形如式20的形式變分問題min{ / /F(u,v,ux,uy,vx,vy)dxdy} (21) 的解釋對(duì)應(yīng)Euler方程21的解
其中，▽ 2是Laplace算子； 實(shí)際計(jì)算過程中，處理對(duì)象為離散化的坐標(biāo)，相應(yīng)的，要對(duì)式23進(jìn)行離散化處理： +< + < +g離散化為

根據(jù)中性圖像，利用Horn-Schunck計(jì)算出表情圖像中每一點(diǎn)的光流矢量，所有點(diǎn)的光 流矢量共同構(gòu)成這幅表情圖像的光流特征。
6. 根據(jù)權(quán)利要求5所述的基于光流特征的笑臉識(shí)別系統(tǒng)，其特征在于： 所述系統(tǒng)中的Horn-Schunck算法計(jì)算的是稠密光流的速度場(chǎng)，S卩，將圖像中的每個(gè) 像素都與速度關(guān)聯(lián)，針對(duì)每個(gè)像素分別計(jì)算光流向量的u和V兩個(gè)分量；所述光流特征提 取單元用以獲取圖像Horn-Schunck光流場(chǎng)，圖像Horn-Schunck光流場(chǎng)的獲取需要四個(gè)步 驟： (1) 計(jì)算像素點(diǎn)的光流分量；計(jì)算的依據(jù)是Horn-Schunck算法中的光流（u，v)迭代公 式（式 29、30、31); (2) 設(shè)定搜索窗口大小；經(jīng)過多次設(shè)定搜索窗口的大小，通過笑臉識(shí)別的結(jié)果，得出本 系統(tǒng)中最合適的窗口大小為2*2,即設(shè)定winsize= 1 ; (3) 計(jì)算窗口中的光流特征值；在每一個(gè)2*2的窗口中，含有4個(gè)像素點(diǎn)，對(duì)這4個(gè)像 素點(diǎn)的u和V分量進(jìn)行加法運(yùn)算，得到該窗口的（u，v)分量，根據(jù)3 =arctan(v/w)計(jì)算光 流特征值； (4) 獲取圖像的光流特征向量；將所有窗口計(jì)算所得的光流特征值串聯(lián)起來，組成整 幅圖像的光流特征向量。
7. 根據(jù)權(quán)利要求2所述的基于光流特征的笑臉識(shí)別系統(tǒng)，其特征在于： 在分類識(shí)別模塊采用隨機(jī)森林的分類方法，隨機(jī)森林RF是一種聯(lián)合分類器，每棵決策 樹都是一個(gè)基礎(chǔ)分類器，多個(gè)決策樹共同構(gòu)成隨機(jī)森林；決策樹在每個(gè)節(jié)點(diǎn)隨機(jī)從屬性集 中選取若干候選屬性，根據(jù)Gini系數(shù)最小原則選擇分類屬性和閾值；每一棵樹都依賴于獨(dú) 立抽樣，并與森林中所有樹具有相同分布的隨機(jī)向量的值；米用隨機(jī)森林分類RFC時(shí)，每棵 樹都投票并返回得票最多的類； 決策樹與流程圖的樹結(jié)構(gòu)相類似，其中，每個(gè)內(nèi)部節(jié)點(diǎn)都是一個(gè)分裂問題，每個(gè)分支代 表該測(cè)試的一個(gè)輸出，而每個(gè)樹葉節(jié)點(diǎn)存放一個(gè)類標(biāo)號(hào)；樹的最頂層節(jié)點(diǎn)是根節(jié)點(diǎn)； 決策樹構(gòu)建的基本步驟如下： (1) 開始，所有記錄看作一個(gè)節(jié)點(diǎn)； (2) 遍歷每個(gè)變量的每一種分割方式，找到最好的分割點(diǎn)； (3) 分割成兩個(gè)節(jié)點(diǎn)NJPN2; (4)對(duì)NJPN2分別繼續(xù)執(zhí)行2-3步，直到每個(gè)節(jié)點(diǎn)足夠"純"為止；
每一類的比例P(i)=第i類的數(shù)目/總數(shù)目；Gini系數(shù)值越大，表示越"不純"，越小表示 越"純"；純度差為：
其中，I代表不純度（也就是上面三個(gè)公式的任意一種），K代表分割的節(jié)點(diǎn)數(shù)，一般K=2 表示子節(jié)點(diǎn)中的記錄數(shù)目；上面公式實(shí)際上就是當(dāng)前節(jié)點(diǎn)的不純度減去子節(jié)點(diǎn)不 純度的加權(quán)平均數(shù)，權(quán)重由子節(jié)點(diǎn)記錄數(shù)與當(dāng)前節(jié)點(diǎn)記錄數(shù)的比例決定； 決策樹的構(gòu)建過程是一個(gè)遞歸的過程，所以需要確定停止條件，否則過程將不會(huì)結(jié)束； 當(dāng)前節(jié)點(diǎn)中的記錄數(shù)低于一個(gè)最小的閾值，那么就停止分割，將max(P(i))對(duì)應(yīng)的分類作 為當(dāng)前葉節(jié)點(diǎn)的分類； 決策樹T構(gòu)建好后，需要估計(jì)預(yù)測(cè)準(zhǔn)確率；直觀說明，比如N條測(cè)試數(shù)據(jù)，X預(yù)測(cè)正確的 記錄數(shù)，那么可以估計(jì)acc=X/N為T的準(zhǔn)確率；但是，這樣不是很科學(xué)；因?yàn)槲覀兪峭ㄟ^樣 本估計(jì)的準(zhǔn)確率，很有可能存在偏差；所以，比較科學(xué)的方法是估計(jì)一個(gè)準(zhǔn)確率的區(qū)間，這 里就要用到統(tǒng)計(jì)學(xué)中的置信區(qū)間； 設(shè)T的準(zhǔn)確率p是一個(gè)客觀存在的值，X的概率分布為X?B(N，p)，即X遵循概率 為P，次數(shù)為N的二項(xiàng)分布（BinomialDistribution),期望E(X) =N*p，方差Var(X)= N*p*(l_p);由于當(dāng)N很大時(shí)，二項(xiàng)分布可以近似有正太分布（NormalDistribution)計(jì) 算，一般N會(huì)很大，所以X?N(np,n*p*(l-p));算出，acc=X/N的期望E(acc) =E(X/ N) =E(X)/N=p，方差Var(acc) =Var(X/N) =Var(X)/N2=p*(l_p)/N，所以acc? N(p，p*(l-p)/N);這樣，就通過正太分布的置信區(qū)間的計(jì)算方式計(jì)算執(zhí)行區(qū)間； 正太分布的置信區(qū)間求解如下：
(2) 選擇置信水平a= 95%，或其他值，這取決于你需要對(duì)這個(gè)區(qū)間有多自信；一般來 說，a越大，區(qū)間越大； (3) 求出a/2和I-a/2對(duì)應(yīng)的標(biāo)準(zhǔn)正太分布的統(tǒng)計(jì)量Za/2和Zi_a/2,Za/2和Zh/2均為 常量；然后解下面關(guān)于P的不等式；acc由樣本估計(jì)得出；即可以得到關(guān)于p的執(zhí)行區(qū)間
采用的隨機(jī)森林，由兩種隨機(jī)算法共同構(gòu)建，這兩種隨機(jī)算法分別是裝袋法，和基于輸 入的構(gòu)建方法； 裝袋法bagging是一個(gè)統(tǒng)計(jì)重采樣的組合技術(shù)，利用有放回的隨機(jī)重采樣來生成多個(gè) 版本的預(yù)測(cè)器，然后把這些分類器融合，通常情況下，組合的分類器與單一分類器相比，其 分類效果更好，原因是在最終解決問題時(shí)，結(jié)合了所有單獨(dú)分類器的特點(diǎn)； 利用bagging方法來生成訓(xùn)練集，其具體思想及操作步驟是：原始訓(xùn)練集D中，由于抽 取樣本的隨機(jī)性，每個(gè)樣本未被抽取的概率為（1_1/N)N，其中N為原始訓(xùn)練集D中的樣本個(gè) 數(shù)；當(dāng)N足夠大時(shí)，（1-1/N)1f收斂于1/e?0. 368,也就是說，在原始樣本集D中，將會(huì)有 接近37%的樣本在抽樣時(shí)不會(huì)出現(xiàn)在bootstrap的樣本中，這些未被抽取的數(shù)據(jù)稱為袋外 OOB數(shù)據(jù)，使用袋外數(shù)據(jù)來估計(jì)模型性能的方法稱為OOB估計(jì)；由于使用OOB估計(jì)和使用相 同樣本容量的測(cè)試集的精度一樣，就沒有必要再使用測(cè)試集；采用的識(shí)別率統(tǒng)計(jì)由OOB估 計(jì)來代替； 采用Forests-RI構(gòu)建隨機(jī)森林；Forests-RI構(gòu)建方法是對(duì)輸入變量進(jìn)行隨機(jī)分組，例 如，給定d個(gè)樣本的訓(xùn)練集D，目的是為組合分類器產(chǎn)生k棵決策樹，過程如下：首先，對(duì)于 每次迭代i(i= 1，2,…，k)，使用有放回抽樣，由D產(chǎn)生d個(gè)樣本的訓(xùn)練集Di，使得某些樣 本可能在Dim現(xiàn)多次，而另一些可能不出現(xiàn)；設(shè)F是用來在每個(gè)節(jié)點(diǎn)決定劃分的屬性數(shù)，其 中F遠(yuǎn)小于可用屬性數(shù)；為了構(gòu)造決策樹分類器Mi,在每個(gè)節(jié)點(diǎn)隨機(jī)選擇F個(gè)屬性作為該節(jié) 點(diǎn)劃分的候選屬性；樹增長(zhǎng)到最大規(guī)模，并且不剪枝。
8. 根據(jù)權(quán)利要求2所述的基于光流特征的笑臉識(shí)別系統(tǒng)，其特征在于： 所述分類識(shí)別模塊還包括訓(xùn)練分類器，訓(xùn)練分類器的流程是： St印11 :輸入Jaffe人臉表情數(shù)據(jù)庫中共10人的樣本，對(duì)每一個(gè)樣本圖像進(jìn)行人臉檢 測(cè)，得到人臉區(qū)域； Stepl2:選取每個(gè)人的一幅中性表情圖作為基準(zhǔn)圖像，將其余樣本圖像與同一個(gè)人的 基準(zhǔn)圖像成對(duì)進(jìn)行光流特征的提取；其余樣本圖像這里稱為表情圖像； Stepl3 :利用光流特征，得到每個(gè)表情圖像的特征向量； St印14 :將所有表情圖像的特征向量送入隨機(jī)森林RF模塊中，進(jìn)行分類器的訓(xùn)練； 所述分類識(shí)別模塊還包括笑臉識(shí)別單元，笑臉識(shí)別的流程是： Step21 :通過相機(jī)采集一段視頻序列，對(duì)圖像進(jìn)行人臉檢測(cè)； St印22 :將圖像進(jìn)行灰度化處理之后，成對(duì)進(jìn)行光流特征的提取，得到待識(shí)別表情圖像 的特征向量； St印23 :利用訓(xùn)練流程中得到的笑臉分類器，對(duì)待識(shí)別表情圖像的特征向量進(jìn)行分類 識(shí)別，得出識(shí)別結(jié)果。
9. 一種基于光流特征的笑臉識(shí)別方法，其特征在于，所述方法包括如下步驟：特征提 取步驟、分類識(shí)別步驟； 所述特征提取步驟包括： 人臉檢測(cè)步驟，通過人臉檢測(cè)單元在輸入的圖像中如果存在人臉區(qū)域，則檢測(cè)出人臉， 確定所有人臉的大小、位置和位姿； 光流計(jì)算步驟，通過光流計(jì)算單元進(jìn)行光流的計(jì)算； 光流特征生成步驟，通過光流特征生成單元獲取圖像的光流場(chǎng)； 分類識(shí)別步驟包括訓(xùn)練和識(shí)別笑臉；在訓(xùn)練和識(shí)別中，均要用到特征提取模塊得到的 特征向量；訓(xùn)練的目的是通過對(duì)大量訓(xùn)練樣本的特征向量進(jìn)行機(jī)器學(xué)習(xí)，得到能夠最大限 度地區(qū)分出笑臉和非笑臉的分類器；識(shí)別過程是將測(cè)試樣本通過特征提取模塊之后得到的 特征向量，送入訓(xùn)練得到的笑臉分類器，通過對(duì)比和劃分，最終得到測(cè)試樣本所屬的類別。
10. 根據(jù)權(quán)利要求9所述的基于光流特征的笑臉識(shí)別方法，其特征在于： 特征提取步驟中，采用光流特征提取方法；提取光流特征就是對(duì)兩幅圖像做以下操 作： 1)輸入圖像；輸入圖像為兩幅圖像，用以測(cè)試某一幅表情圖像是否是笑臉圖像；2)人 臉檢測(cè)；光流特征提取嚴(yán)格針對(duì)人臉區(qū)域，采用的Jaffe數(shù)據(jù)庫中的圖像需要進(jìn)行人臉檢 測(cè)，剔除周圍不相關(guān)的區(qū)域，得到準(zhǔn)確的人臉區(qū)域，將人臉區(qū)域從圖像中提取出來，并進(jìn)行 歸一化； 所述人臉檢測(cè)單元在輸入的圖像中如果存在人臉區(qū)域，則檢測(cè)出人臉，確定所有人臉 的大小、位置和位姿；采用Haar-Like特征與級(jí)聯(lián)的Adaboost學(xué)習(xí)算法相結(jié)合的方法；具 體步驟如下： 第一步、對(duì)人臉進(jìn)行Haar-Like特征計(jì)算，運(yùn)用"積分圖"算法快速提取特征； 目標(biāo)的特征通常是對(duì)待分類目標(biāo)進(jìn)行研究后得到的知識(shí)進(jìn)行編碼來取得的，用來編碼 的知識(shí)通常很難從原始圖像的像素中直接獲到；在人臉圖像的模型建立過程中，運(yùn)用人臉 的特征能夠使得人臉跟非人臉這兩個(gè)類別的類內(nèi)距離得到大大的降低； 將人臉特征經(jīng)過不斷的延展之后得到新的特征，將此新特征叫做"矩形特征";表示矩 形特征的值通常被人們叫做"特征值"； 將訓(xùn)練窗口的規(guī)模初始化為W*H個(gè)像素點(diǎn)；W代表特征原型長(zhǎng)度具有的像素個(gè)數(shù)，h代 表特征原型寬度具有的像素個(gè)數(shù)； 令：X=(?W) /w，. 〃?〃表示對(duì)數(shù)值取整；一個(gè)大小為w*h的特征原型在一個(gè)大小為W*H的搜索窗中得到的矩形特征的個(gè)數(shù)常常用下面的公式的計(jì)算結(jié)果來表示； 利用新的圖像表示方法--積分圖像，計(jì)算矩形特征的特征值，只與此特征矩形的端 點(diǎn)的積分圖有關(guān)，所以不管此特征矩形的尺度變換如何，特征值的計(jì)算所消耗的時(shí)間都是 常量；這樣只要遍歷圖像一次，求得所有子窗口的特征值； 積分圖的定義為：
這樣就能進(jìn)行2種運(yùn)算： 第一種運(yùn)算方法，對(duì)任意矩形區(qū)域內(nèi)像素積分；由圖像的積分圖可方便快速地計(jì)算圖 像中任意矩形內(nèi)所有像素灰度積分； 第二種運(yùn)算方法，特征值計(jì)算；矩形特征的特征值是兩個(gè)不同的矩形區(qū)域像素和之差， 由（1)式計(jì)算任意矩形特征的特征值； 運(yùn)用積分圖快速計(jì)算給定的矩形之所有象素值之和Sum(r);假設(shè)r= (x，y，w，h)，那 么此矩形內(nèi)部所有元素之和等價(jià)于下面積分圖中下面這個(gè)式子： Sum(r) =ii(x+w,y+h)+ii(x-1,y-1)-ii(x+w,y-1)-ii(x-1,y+h) (15) 第二步、根據(jù)AdaBoost算法提取最有效的Haar-Like特征，經(jīng)過多次迭代確定各個(gè)弱 分類器的權(quán)值； AdaBoost算法同時(shí)進(jìn)行訓(xùn)練分類器和特征選擇的工作，這是它的一個(gè)非常重要的特 點(diǎn)；AdaBoost算法中的每個(gè)弱分類器都與某個(gè)特征對(duì)應(yīng)，弱分類器的個(gè)數(shù)等于矩形特征 數(shù)；訓(xùn)練過程中從大量的弱分類器中選出一個(gè)在當(dāng)前樣本權(quán)重分布情況下具有最小分類錯(cuò) 誤率的弱分類器作為本輪的最優(yōu)弱分類器，進(jìn)行T輪訓(xùn)練以后，最終得出T個(gè)最具代表性的 特征，對(duì)應(yīng)了T個(gè)弱分類器，最后根據(jù)每個(gè)特征的不同權(quán)值加權(quán)后連接得到一個(gè)非常強(qiáng)大 的分類器； 令X為訓(xùn)練樣本空間，Y= {0，1}中包含了訓(xùn)練樣本可能來自的類別的記號(hào)；1代表正 的樣本點(diǎn)，即人臉樣本，〇代表負(fù)的樣本點(diǎn)，即非人臉樣本；假設(shè)一共有K個(gè)矩形特征；」代 表第t輪迭代過程中的第j個(gè)樣本點(diǎn)所具有的權(quán)重；算法的具體實(shí)現(xiàn)通常包含下面的4個(gè) 重要環(huán)節(jié)： (1) 已知訓(xùn)練樣本集X=Kx1,y)，（x2,y2)，…，（xn，yn)};式中XiGX;假定訓(xùn)練集中共 包含1個(gè)人臉樣本點(diǎn)，m個(gè)非人類樣本點(diǎn)，1+m=n; (2) 給每個(gè)樣本點(diǎn)一個(gè)起始權(quán)重；
(3) 對(duì)于t= 1，…，T;T為循環(huán)次數(shù)； ① 對(duì)樣本所具有的權(quán)重執(zhí)行歸一化操作； ② 針對(duì)每一個(gè)特征j，在已知的樣本權(quán)重分布情況下訓(xùn)練得到弱分類器hy(x)，通過計(jì) 算得到每個(gè)弱分類器對(duì)樣本集的分類錯(cuò)誤率，

③ 確定第t輪迭代的最優(yōu)弱分類器ht(x)，令k=argminet;j，并將樣本集的分類錯(cuò)誤 率取為et=et，k; ④ 根據(jù)獲得的最優(yōu)弱分類器修改樣本的權(quán)重：= ,其中pt=ey(i-et);ei= 0,表示Xi被正確分類，ei= 1表示xi被錯(cuò)誤分類； (4) 最后得到的強(qiáng)分類器為：
第三步、將訓(xùn)練得到的弱分類器進(jìn)行級(jí)聯(lián)，組成完整的人臉檢測(cè)系統(tǒng)； 為了能夠改善人臉檢測(cè)的時(shí)間性能，利用新的分類器結(jié)構(gòu)：分層的級(jí)聯(lián)分類器，分類器 包括多層分類器，通過這樣的一種分類器組織方式使得人臉檢測(cè)過程隨著層數(shù)的遞增得到 更1?的精度； 上述的級(jí)聯(lián)分類器的判決過程與經(jīng)過退化的決策樹的判定過程相似，若第i層將搜索 子窗判定為"是"，那么這個(gè)可能會(huì)包含人臉圖像的搜索子窗便會(huì)被繼續(xù)派發(fā)到第i+1層分 類器，同時(shí)誘發(fā)第i+1層的分類器進(jìn)行分類工作，如此逐級(jí)檢測(cè)；這種檢測(cè)方法首先副除巨 量的不包含人臉圖像的搜索子窗，從而使得人臉檢測(cè)的時(shí)間性能得到優(yōu)化； Adaboost分類器的訓(xùn)練過程包括： 利用光流計(jì)算單元計(jì)算光流；采用Horn-Schunck算法進(jìn)行光流（u，v)的計(jì)算，設(shè)定搜 索窗口為1，計(jì)算得到的光流特征向量維數(shù)為（100/2) *(100/2) = 2500 ; Horn-Schunck算法核心思想是：圖像上每一點(diǎn)的光流之間都有聯(lián)系，光流在整個(gè)圖像 范圍內(nèi)應(yīng)該是平滑變化的，所以引入了平滑性約束，使平滑約束項(xiàng)極小化； 設(shè)平滑性約束項(xiàng)為極小化： Es =Ii(u：+ir+v：+vl)dxdy (18) 結(jié)合基本等式，要求極小化： Ec=/ /(IXu+Iyv+It)2dxdy(19) 結(jié)合式18和式19可知，最后求得的光流應(yīng)滿足式20 :minU[(w^+ir+vl+V2i.)+X(Iu+1^ +It)2]dxdy (20) 這里入的取值要考慮噪聲情況，噪聲較強(qiáng)，則說明圖像數(shù)據(jù)本身具有較低的置信度， 這時(shí)便需要更多的依賴加入的光流約束，A取較小的值；反之，若噪聲較弱，A取較大的 值； 此時(shí)，問題將轉(zhuǎn)化為求解Lagrangian最小化問題；對(duì)形如式20的形式變分問題min{ / /F(u,v,ux,uy,vx,vy)dxdy} (21) 的解釋對(duì)應(yīng)Euler方程21的解
其中，▽ 2是Laplace算子； 實(shí)際計(jì)算過程中，處理對(duì)象為離散化的坐標(biāo)，相應(yīng)的，要對(duì)式23進(jìn)行離散化處理： <+<+<+<離散化為
此時(shí)，對(duì)其求關(guān)于UkJPVkl的偏導(dǎo)，并令其為0,有
根據(jù)中性圖像，利用Horn-Schunck計(jì)算出表情圖像中每一點(diǎn)的光流矢量，所有點(diǎn)的 光流矢量共同構(gòu)成這幅表情圖像的光流特征； 所述系統(tǒng)中的Horn-Schunck算法計(jì)算的是稠密光流的速度場(chǎng)，S卩，將圖像中的每個(gè)像 素都與速度關(guān)聯(lián)，針對(duì)每個(gè)像素分別計(jì)算光流向量的u和V兩個(gè)分量；所述光流特征提取單 元用以獲取圖像Horn-Schunck光流場(chǎng)，圖像Horn-Schunck光流場(chǎng)的獲取需要四個(gè)步驟： (1) 計(jì)算像素點(diǎn)的光流分量；計(jì)算的依據(jù)是Horn-Schunck算法中的光流（u，v)迭代公 式（式 29、30、31); (2) 設(shè)定搜索窗口大?。唤?jīng)過多次設(shè)定搜索窗口的大小，通過笑臉識(shí)別的結(jié)果，得出本 系統(tǒng)中最合適的窗口大小為2*2,即設(shè)定winsize= 1 ; (3) 計(jì)算窗口中的光流特征值；在每一個(gè)2*2的窗口中，含有4個(gè)像素點(diǎn)，對(duì)這4個(gè)像 素點(diǎn)的U和V分量進(jìn)行加法運(yùn)算，得到該窗口的（u，v)分量，根據(jù)5 =arctan(v/w)計(jì)算光 流特征值； (4) 獲取圖像的光流特征向量；將所有窗口計(jì)算所得的光流特征值串聯(lián)起來，組成整 幅圖像的光流特征向量； 在分類識(shí)別步驟中，采用隨機(jī)森林的分類方法，隨機(jī)森林RF是一種聯(lián)合分類器，每棵 決策樹都是一個(gè)基礎(chǔ)分類器，多個(gè)決策樹共同構(gòu)成隨機(jī)森林；決策樹在每個(gè)節(jié)點(diǎn)隨機(jī)從屬 性集中選取若干候選屬性，根據(jù)Gini系數(shù)最小原則選擇分類屬性和閾值；每一棵樹都依賴 于獨(dú)立抽樣，并與森林中所有樹具有相同分布的隨機(jī)向量的值；米用隨機(jī)森林分類RFC時(shí)， 每棵樹都投票并返回得票最多的類； 決策樹與流程圖的樹結(jié)構(gòu)相類似，其中，每個(gè)內(nèi)部節(jié)點(diǎn)都是一個(gè)分裂問題，每個(gè)分支代 表該測(cè)試的一個(gè)輸出，而每個(gè)樹葉節(jié)點(diǎn)存放一個(gè)類標(biāo)號(hào)；樹的最頂層節(jié)點(diǎn)是根節(jié)點(diǎn)； 決策樹構(gòu)建的基本步驟如下： (1) 開始，所有記錄看作一個(gè)節(jié)點(diǎn)； (2) 遍歷每個(gè)變量的每一種分割方式，找到最好的分割點(diǎn)； (3) 分割成兩個(gè)節(jié)點(diǎn)NJPN2; (4) 對(duì)NJPN2分別繼續(xù)執(zhí)行2-3步，直到每個(gè)節(jié)點(diǎn)足夠"純"為止；
每一類的比例P(i)=第i類的數(shù)目/總數(shù)目；Gini系數(shù)值越大，表示越"不純"，越小表示 越"純"；純度差為：
其中，I代表不純度（也就是上面三個(gè)公式的任意一種），K代表分割的節(jié)點(diǎn)數(shù)，一般K=2 表示子節(jié)點(diǎn)中的記錄數(shù)目；上面公式實(shí)際上就是當(dāng)前節(jié)點(diǎn)的不純度減去子節(jié)點(diǎn)不 純度的加權(quán)平均數(shù)，權(quán)重由子節(jié)點(diǎn)記錄數(shù)與當(dāng)前節(jié)點(diǎn)記錄數(shù)的比例決定； 決策樹的構(gòu)建過程是一個(gè)遞歸的過程，所以需要確定停止條件，否則過程將不會(huì)結(jié)束； 當(dāng)前節(jié)點(diǎn)中的記錄數(shù)低于一個(gè)最小的閾值，那么就停止分割，將max(P(i))對(duì)應(yīng)的分類作 為當(dāng)前葉節(jié)點(diǎn)的分類； 決策樹T構(gòu)建好后，需要估計(jì)預(yù)測(cè)準(zhǔn)確率；直觀說明，比如N條測(cè)試數(shù)據(jù)，X預(yù)測(cè)正確的 記錄數(shù)，那么可以估計(jì)acc=X/N為T的準(zhǔn)確率；但是，這樣不是很科學(xué)；因?yàn)槲覀兪峭ㄟ^樣 本估計(jì)的準(zhǔn)確率，很有可能存在偏差；所以，比較科學(xué)的方法是估計(jì)一個(gè)準(zhǔn)確率的區(qū)間，這 里就要用到統(tǒng)計(jì)學(xué)中的置信區(qū)間； 設(shè)T的準(zhǔn)確率p是一個(gè)客觀存在的值，X的概率分布為X?B(N，p)，即X遵循概率 為P，次數(shù)為N的二項(xiàng)分布（BinomialDistribution),期望E(X) =N*p，方差Var(X)= N*p*(l_p);由于當(dāng)N很大時(shí)，二項(xiàng)分布可以近似有正太分布（NormalDistribution)計(jì) 算，一般N會(huì)很大，所以X?N(np,n*p*(l-p));算出，acc=X/N的期望E(acc) =E(X/ N) =E(X)/N=p，方差Var(acc) =Var(X/N) =Var(X)/N2=p*(l_p)/N，所以acc? N(p，p*(l-p)/N);這樣，就通過正太分布的置信區(qū)間的計(jì)算方式計(jì)算執(zhí)行區(qū)間； 正太分布的置信區(qū)間求解如下：
(2) 選擇置信水平a= 95%，或其他值，這取決于你需要對(duì)這個(gè)區(qū)間有多自信；一般來 說，a越大，區(qū)間越大； (3) 求出a/2和I-a/2對(duì)應(yīng)的標(biāo)準(zhǔn)正太分布的統(tǒng)計(jì)量Za/2和Zi_a/2,Za/2和Zh/2均為 常量；然后解下面關(guān)于P的不等式；acc由樣本估計(jì)得出；即可以得到關(guān)于p的執(zhí)行區(qū)間
采用的隨機(jī)森林，由兩種隨機(jī)算法共同構(gòu)建，這兩種隨機(jī)算法分別是裝袋法，和基于輸 入的構(gòu)建方法； 裝袋法bagging是一個(gè)統(tǒng)計(jì)重采樣的組合技術(shù)，利用有放回的隨機(jī)重采樣來生成多個(gè) 版本的預(yù)測(cè)器，然后把這些分類器融合，通常情況下，組合的分類器與單一分類器相比，其 分類效果更好，原因是在最終解決問題時(shí)，結(jié)合了所有單獨(dú)分類器的特點(diǎn)； 利用bagging方法來生成訓(xùn)練集，其具體思想及操作步驟是：原始訓(xùn)練集D中，由于抽 取樣本的隨機(jī)性，每個(gè)樣本未被抽取的概率為（1_1/N)N，其中N為原始訓(xùn)練集D中的樣本個(gè) 數(shù)；當(dāng)N足夠大時(shí)，（1-1/N)1f收斂于1/e?0. 368,也就是說，在原始樣本集D中，將會(huì)有 接近37%的樣本在抽樣時(shí)不會(huì)出現(xiàn)在bootstrap的樣本中，這些未被抽取的數(shù)據(jù)稱為袋外 OOB數(shù)據(jù)，使用袋外數(shù)據(jù)來估計(jì)模型性能的方法稱為OOB估計(jì)；由于使用OOB估計(jì)和使用相 同樣本容量的測(cè)試集的精度一樣，就沒有必要再使用測(cè)試集；采用的識(shí)別率統(tǒng)計(jì)由OOB估 計(jì)來代替； 采用Forests-RI構(gòu)建隨機(jī)森林；Forests-RI構(gòu)建方法是對(duì)輸入變量進(jìn)行隨機(jī)分組，例 如，給定d個(gè)樣本的訓(xùn)練集D，目的是為組合分類器產(chǎn)生k棵決策樹，過程如下：首先，對(duì)于 每次迭代i(i= 1，2,…，k)，使用有放回抽樣，由D產(chǎn)生d個(gè)樣本的訓(xùn)練集Di，使得某些樣 本可能在Dim現(xiàn)多次，而另一些可能不出現(xiàn)；設(shè)F是用來在每個(gè)節(jié)點(diǎn)決定劃分的屬性數(shù)，其 中F遠(yuǎn)小于可用屬性數(shù)；為了構(gòu)造決策樹分類器Mi,在每個(gè)節(jié)點(diǎn)隨機(jī)選擇F個(gè)屬性作為該節(jié) 點(diǎn)劃分的候選屬性；樹增長(zhǎng)到最大規(guī)模，并且不剪枝。
【文檔編號(hào)】G06K9/00GK104504366SQ201410680069
【公開日】2015年4月8日 申請(qǐng)日期:2014年11月24日 優(yōu)先權(quán)日:2014年11月24日
【發(fā)明者】李保印 申請(qǐng)人:上海聞泰電子科技有限公司