本發(fā)明涉及算機視覺和模式識別領域，具體涉及一種基于條件隨機森林的笑臉檢測器及方法。

背景技術：

笑臉檢測在用戶體驗感知、學生心理狀態(tài)分析、照片增強處理、相機微笑快門等方面有著廣泛的應用。當前的笑臉檢測算法大多只對正臉圖像有效，而在很多實際應用中，人的頭部姿態(tài)通常不受限制。在頭部姿態(tài)變化范圍較大的情況下，人臉對齊較為困難，巨大的類內(nèi)差異會導致難以設計高正確率和高效率的笑臉檢測器。

技術實現(xiàn)要素：

針對現(xiàn)有技術的缺陷，本發(fā)明的目的在于，解決在不限定頭部姿態(tài)圖像中檢測笑臉的問題，提供一種具備高正確率、高效率的笑臉檢測器。

一種基于條件隨機森林的笑臉檢測器，包括條件隨機森林組、人臉檢測模塊、頭部姿態(tài)估計模塊、動態(tài)隨機森林組建模塊、隨機森林笑臉分類模塊，其中，

條件隨機森林組通過離線訓練得到，由一組不同頭部姿態(tài)條件下的笑臉分類隨機森林組成；人臉檢測模塊用于從圖像中檢測出包含人臉的區(qū)域；頭部姿態(tài)估計模塊用于根據(jù)人臉區(qū)域提取的特征估計出頭部姿態(tài)；動態(tài)隨機森林組建模塊用于根據(jù)估計的頭部姿態(tài)從條件隨機森林組中選擇決策樹動態(tài)建構用于笑臉分類的隨機森林；隨機森林笑臉分類模塊用于利用動態(tài)組建的笑臉分類隨機森林對人臉區(qū)域圖像做出笑臉/非笑臉的分類。

作為優(yōu)化，所述條件隨機森林組離線訓練得到，訓練的過程為：

(1)將訓練數(shù)據(jù)集中的圖像按頭部姿態(tài)所屬范圍劃分為N個子集，記為其中Ω_n表示第n個子集中包含的圖像的頭部姿態(tài)范圍；

(2)利用各個數(shù)據(jù)子集中的圖像訓練一個條件隨機森林T(Ω_n)，每個條件隨機森林T(Ω_n)由T棵決策樹組成，即每棵決策樹T_t(Ω_n)采用如下步驟獨立訓練生成：

(21)從訓練樣本子集中隨機選擇m張圖像，接著從選中的每張圖像上提取一系列圖像特征，圖像I_i提取特征后的特征圖像集合記為I_i＝{I_i¹,I_i²，...，I_i^f，...，I_i^F}，i∈[1,m]，其中F表示特征的種數(shù)；然后從每張?zhí)卣鲌D像上隨機摳取N_P個大小為s×s像素的圖像子塊，并將從第i張圖像上摳取的第j個圖像塊記為P_ij＝(θ_i,I_ij)，其中θ_i∈{-1,+1}為表示笑和非笑的類別標簽；

(22)生成候選二值測試集每個二值測試包含四個參數(shù)R₁,R₂,f,τ，其中R₁和R₂分別表示從圖像子塊P里隨機選取的兩個矩形區(qū)域，f∈{1,2,…,F}表示隨機選取的特征通道，τ為閾值；每個二值測試的形式為：

其中I^f表示提取第f種特征后的圖像，|R₁|、|R₂|分別表示兩個矩形區(qū)域內(nèi)像素的數(shù)量，(x,y)表示像素；

(23)生成一個根節(jié)點，該節(jié)點中包含所有摳取的圖像子塊{P_ij}，將根節(jié)點標記為當前節(jié)點；

(24)使用候選二值測試集中的每一個嘗試將當前節(jié)點上的圖像子塊集P分裂為兩個子集和及

(25)計算分裂后的信息增益：

其中H(·)表示熵；

當隨機樹生長到預設的最大深度時，或當前節(jié)點的信息增益小于最小閾值時，停止隨機樹的生長并生成葉子節(jié)點；否則繼續(xù)迭代分裂；到達葉子節(jié)點l的圖像子塊記為l(P)，統(tǒng)計l(P)中標簽為笑臉(θ＝1)的概率p(θ|l(P))，并將p(θ|l(P))存儲于該葉子節(jié)點上；

(3)計算各個條件隨機森林分類閾值：

(31)從訓練數(shù)據(jù)子集中的各張圖像上隨機摳取一系列圖像子塊，并將各個圖像子塊輸入條件隨機森林T(Ω_n)的各棵決策樹，最終到達決策樹的葉子節(jié)點；取圖像子塊到達的葉子節(jié)點上存儲的分類概率p(θ|Ω_n,l(P))作為該圖像子塊屬于笑臉的概率。為表述方便將所有圖像子塊屬于笑臉的概率簡記為{p₁,p₂,p₃…}；

(32)初始化聚類中心:c₀＝min{p₁,p₂,p₃…},c₁＝max{p₁,p₂,p₃…}；

(33)計算每個數(shù)據(jù)對象p_i到聚類中心c₀和c₁的歐式距離，并將各個數(shù)據(jù)歸類到距離較短的聚類中心所在的類，歸類后的兩類數(shù)據(jù)集合分別記為和

(34)計算各類均值作為新的聚類中心；

(35)重復(32)、(33)直到聚類中心不再變化；

(36)輸出聚類結果C₀、C₁。

(37)計算條件隨機森林T(Ω_n)的分類閾值τ_p(Ω_n)：

作為優(yōu)化，所述動態(tài)隨機森林組建模塊從離線訓練的條件隨機森林組中選出T棵決策樹動態(tài)組建出一個隨機森林T^C，其中從條件隨機森林T(Ω_n)中隨機選出的決策樹的棵數(shù)k_n由頭部姿態(tài)估計模塊給出的頭部姿態(tài)分布情況來決定：

其中p(ω|P)表示頭部姿態(tài)估計模塊給出的頭部姿態(tài)分布，表示向下取整；動態(tài)組建的隨機森林T^C的分類閾值τ_p為：

作為優(yōu)化，所述隨機森林笑臉分類模塊接收從人臉檢測模塊輸入的人臉區(qū)域圖像，并利用動態(tài)組建的隨機森林T^C對人臉區(qū)域圖像做出笑臉/非笑臉的分類，步驟為：

1)對人臉區(qū)域圖像提取特征；

2)從人臉區(qū)域的各類特征圖像上分別摳取M個圖像子塊{P_i,i∈[1,m]}，并輸入動態(tài)組建的隨機森林T^C的各棵決策樹種；當圖像子塊到P_i到達決策樹的葉子節(jié)點時，記錄該葉子節(jié)點上保存的概率值p_it＝p(θ,l(P))；

3)若判決輸入的人臉區(qū)域圖像為笑臉；否則判決輸入的人臉區(qū)域圖像為非笑臉。

一種基于條件隨機森林的笑臉檢測方法，包括以下步驟：

步驟1)通過離線訓練得到由一組不同頭部姿態(tài)條件下的笑臉分類隨機森林組成的條件隨機森林組；

步驟2)從圖像中檢測出包含人臉的區(qū)域；

步驟3)根據(jù)人臉區(qū)域提取的特征估計出頭部姿態(tài)；

步驟4)根據(jù)估計的頭部姿態(tài)從條件隨機森林組中選擇決策樹動態(tài)建構用于笑臉分類的隨機森林；

步驟5)利用動態(tài)組建的笑臉分類隨機森林對人臉區(qū)域圖像做出笑臉/非笑臉的分類。

作為優(yōu)化，所述步驟1)中的條件隨機森林組離線訓練得到，訓練的過程為：

11)將訓練數(shù)據(jù)集中的圖像按頭部姿態(tài)所屬范圍劃分為N個子集，記為其中Ω_n表示第n個子集中包含的圖像的頭部姿態(tài)范圍；

12)利用各個數(shù)據(jù)子集中的圖像訓練一個條件隨機森林T(Ω_n)，每個條件隨機森林T(Ω_n)由T棵決策樹組成，即每棵決策樹T_t(Ω_n)采用如下步驟獨立訓練生成：

121)從訓練樣本子集中隨機選擇m張圖像，接著從選中的每張圖像上提取一系列圖像特征，圖像I_i提取特征后的特征圖像集合記為I_i＝{I_i¹,I_i²，...，I_i^f，...，I_i^F}，i∈[1,m]，其中F表示特征的種數(shù)；然后從每張?zhí)卣鲌D像上隨機摳取N_P個大小為s×s像素的圖像子塊，并將從第i張圖像上摳取的第j個圖像塊記為P_ij＝(θ_i,I_ij)，其中θ_i∈{-1,+1}為表示笑和非笑的類別標簽；

122)生成候選二值測試集每個二值測試包含四個參數(shù)R₁,R₂,f,τ，其中R₁和R₂分別表示從圖像子塊P里隨機選取的兩個矩形區(qū)域，f∈{1,2,…,F}表示隨機選取的特征通道，τ為閾值；每個二值測試的形式為：

其中I^f表示提取第f種特征后的圖像，|R₁|、|R₂|分別表示兩個矩形區(qū)域內(nèi)像素的數(shù)量，(x,y)表示像素；

123)生成一個根節(jié)點，該節(jié)點中包含所有摳取的圖像子塊{P_ij}，將根節(jié)點標記為當前節(jié)點；

124)使用候選二值測試集中的每一個嘗試將當前節(jié)點上的圖像子塊集P分裂為兩個子集和及

125)計算分裂后的信息增益：

其中H(·)表示熵；

當隨機樹生長到預設的最大深度時，或當前節(jié)點的信息增益小于最小閾值時，停止隨機樹的生長并生成葉子節(jié)點；否則繼續(xù)迭代分裂；到達葉子節(jié)點l的圖像子塊記為l(P)，統(tǒng)計l(P)中標簽為笑臉(θ＝1)的概率p(θ|l(P))，并將p(θ|l(P))存儲于該葉子節(jié)點上；

13)計算各個條件隨機森林分類閾值：

131)從訓練數(shù)據(jù)子集中的各張圖像上隨機摳取一系列圖像子塊，并將各個圖像子塊輸入條件隨機森林T(Ω_n)的各棵決策樹，最終到達決策樹的葉子節(jié)點；取圖像子塊到達的葉子節(jié)點上存儲的分類概率p(θ|Ω_n,l(P))作為該圖像子塊屬于笑臉的概率。為表述方便將所有圖像子塊屬于笑臉的概率簡記為{p₁,p₂,p₃…}；

132)初始化聚類中心:c₀＝min{p₁,p₂,p₃…},c₁＝max{p₁,p₂,p₃…}；

133)計算每個數(shù)據(jù)對象p_i到聚類中心c₀和c₁的歐式距離，并將各個數(shù)據(jù)歸類到距離較短的聚類中心所在的類，歸類后的兩類數(shù)據(jù)集合分別記為和

134)計算各類均值作為新的聚類中心；

135)重復132)、133)直到聚類中心不再變化；

136)輸出聚類結果C₀、C₁。

137)計算條件隨機森林T(Ω_n)的分類閾值τ_p(Ω_n)：

作為優(yōu)化，所述步驟4)從離線訓練的條件隨機森林組中選出T棵決策樹動態(tài)組建出一個隨機森林T^C，其中從條件隨機森林T(Ω_n)中隨機選出的決策樹的棵數(shù)k_n由頭部姿態(tài)估計模塊給出的頭部姿態(tài)分布情況來決定：

其中p(ω|P)表示頭部姿態(tài)估計模塊給出的頭部姿態(tài)分布，表示向下取整；動態(tài)組建的隨機森林T^C的分類閾值τ_p為：

作為優(yōu)化，所述步驟5)接收從人臉檢測模塊輸入的人臉區(qū)域圖像，并利用動態(tài)組建的隨機森林T^C對人臉區(qū)域圖像做出笑臉/非笑臉的分類，步驟為：

51)對人臉區(qū)域圖像提取特征；

52)從人臉區(qū)域的各類特征圖像上分別摳取M個圖像子塊{P_i,i∈[1,m]}，并輸入動態(tài)組建的隨機森林T^C的各棵決策樹種；當圖像子塊到P_i到達決策樹的葉子節(jié)點時，記錄該葉子節(jié)點上保存的概率值p_it＝p(θ,l(P))；

53)若判決輸入的人臉區(qū)域圖像為笑臉；否則判決輸入的人臉區(qū)域圖像為非笑臉。

作為優(yōu)化，在訓練和檢測過程中也可以不從整個人臉區(qū)域摳取圖像子塊，而從嘴巴、眉眼等區(qū)域摳取圖像子塊，然后利用本發(fā)明提供的技術構建笑臉檢測器。

作為優(yōu)化，亦可從多個人臉的多個區(qū)域摳取圖像子塊，利用本發(fā)明提供的技術構建笑臉多個檢測器，然后組合這些笑臉檢測器，進一步提高笑臉檢測的正確率。

本發(fā)明的有益技術效果體現(xiàn)在：

本發(fā)明提供了一種基于條件隨機森林的笑臉檢測系統(tǒng)。該系統(tǒng)在利用隨機森林做笑臉檢測時將頭部姿態(tài)作為條件狀態(tài)，在訓練時根據(jù)頭部姿態(tài)將數(shù)據(jù)進行分類，降低了數(shù)據(jù)的內(nèi)類差異，使得訓練的條件隨機森林具備高的分類正確率和效率；在進行笑臉/非笑臉分類時，也先進行了頭部姿態(tài)的估計，根據(jù)估計的頭部姿態(tài)分布情況動態(tài)組建隨機森林，并計算動態(tài)隨機森林的分類閾值。因此，本發(fā)明提供的技術可以解決不限定頭部姿態(tài)情景下的笑臉檢測問題，擴展笑臉檢測系統(tǒng)的應用范圍。

附圖說明

圖1是本發(fā)明一較佳實施例結構組成示意圖；

圖2是本發(fā)明一較佳實施例條件隨機森林組的離線訓練流程圖；

具體實施方式

為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術特征只要彼此之間未構成沖突就可以相互組合。

圖1示出了本發(fā)明一個較佳實施例。一種基于條件隨機森林的笑臉檢測器，包括：條件隨機森林組10、人臉檢測模塊11、頭部姿態(tài)估計模塊12、動態(tài)隨機森林組建模塊13、隨機森林笑臉分類模塊14，其中，

條件隨機森林組10通過離線訓練得到，由一組不同頭部姿態(tài)條件下的笑臉分類隨機森林組成；人臉檢測模塊11從圖像中檢測出包含人臉的區(qū)域；頭部姿態(tài)估計模塊12根據(jù)人臉區(qū)域提取的特征估計出頭部姿態(tài)；動態(tài)隨機森林組建模塊13根據(jù)估計的頭部姿態(tài)從條件隨機森林組中選擇決策樹動態(tài)建構用于笑臉分類的隨機森林；隨機森林笑臉分類模塊14利用動態(tài)組建的笑臉分類隨機森林對人臉區(qū)域圖像做出笑臉/非笑臉的分類。

所述條件隨機森林組10離線訓練得到，訓練的過程如圖2所示：

S11：將訓練數(shù)據(jù)集中的圖像按頭部姿態(tài)所屬范圍劃分為N個子集，記為其中Ω_n表示第n個數(shù)據(jù)子集中包含的圖像的頭部姿態(tài)范圍。在本實施例中，按頭部的水平偏向角度ω將訓練數(shù)據(jù)劃分為3個子集，即Ω₁＝{-30°≤ω≤30°}、Ω₂＝{ω|-30°＜ω≤-60°}∪{ω|30°＜ω≤60°}、及Ω₃＝{ω|-90°≤ω＜-60°}∪{ω|60°＜ω≤90°}。其中，Ω₂和Ω₃利用了人臉的水平對稱性，將朝向為左的人臉圖像作水平鏡像后與朝向為右的人臉圖像合并。

S12：利用各個數(shù)據(jù)子集中的圖像訓練一個條件隨機森林T(Ω_n)。每個條件隨機森林T(Ω_n)由T棵決策樹組成，即在本實施例中，T設置為30。每棵決策樹T_t(Ω_n)采用如下步驟獨立訓練生成：

S121：從訓練樣本子集中隨機選擇m張圖像。在本實施例中，m設置為2000。接著從每張選中的圖像上提取一系列圖像特征，圖像I_i提取特征后的特征圖像集合記為I_i＝{I_i¹,I_i²，...，I_i^F}，i∈[1,m]其中F表示特征的種數(shù)。在本實施例中，F(xiàn)設置為3，并采用了3種特征：圖像灰度值、局部二進制模式(LBP)和Gabor特征。然后從每張?zhí)卣鲌D像上隨機摳取N_P個大小為s×s像素的圖像子塊，并將從第i張圖像上摳取的第j個圖像塊記為P_ij＝(θ_i,I_ij)，其中θ_i∈{-1,+1}為類別標簽(笑/非笑)。在本實施例中，N_P設置為200，s設置為25，即從每張?zhí)卣鲌D像上摳取200個25×25像素的圖像子塊。

S122：生成候選二值測試集每個二值測試包含四個參數(shù)R₁,R₂,f,τ，其中R₁和R₂分別表示從圖像子塊P里隨機選取的兩個矩形區(qū)域，f∈{1,2,…,F}表示隨機選取的特征通道，τ為閾值。每個二值測試的形式為：

其中|R₁|、|R₂|分別表示矩形區(qū)域內(nèi)像素的數(shù)量。在本實施例中，候選二值測試集的大小設置為3000。

S123：生成一個根節(jié)點，該節(jié)點中包含所有摳取的圖像子塊{P_ij}。將根節(jié)點標記為當前節(jié)點。

S124：分裂節(jié)點。使用候選二值測試集中的每一個嘗試將當前節(jié)點上的圖像子塊集P分裂為兩個子集和及

計算分裂后的信息增益:

其中H(·)表示熵。選擇使得信息增益最大的二值測試將當前節(jié)點分裂為兩個子節(jié)點。

當隨機樹生長到預設的最大深度時，或當前節(jié)點的信息增益小于最小閾值時，停止隨機樹的生長并生成葉子節(jié)點；否則繼續(xù)迭代分裂。到達葉子節(jié)點l的圖像子塊記為l(P)，統(tǒng)計l(P)中標簽為笑臉(θ＝1)的概率p(θ|l(P))，并將p(θ|l(P))存儲于該葉子節(jié)點上。

S13：計算各個條件隨機森林分類閾值。閾值的計算步驟為：

S131：從訓練數(shù)據(jù)子集中的各張圖像上隨機摳取一系列圖像子塊，并將各個圖像子塊輸入條件隨機森林T(Ω_n)的各棵決策樹，最終到達決策樹的葉子節(jié)點。取圖像子塊到達的葉子節(jié)點上存儲的分類概率p(θ|Ω_n,l(P))作為該圖像子塊屬于笑臉的概率。為表述方便將所有圖像子塊屬于笑臉的概率簡記為{p₁,p₂,p₃…}。

S132：初始化聚類中心:c₀＝min{p₁,p₂,p₃…},c₁＝max{p₁,p₂,p₃…}。

S133：計算每個數(shù)據(jù)對象p_i到聚類中心c₀和c₁的歐式距離，并將各個數(shù)據(jù)歸類到距離較短的聚類中心所在的類。歸類后的兩類數(shù)據(jù)集合分別記為和

S134：計算各類均值作為新的聚類中心。

S135：重復(S132)、(S133)直到聚類中心不再變化。

S136：輸出聚類結果C₀、C₁。

S137：計算條件隨機森林T(Ω_n)的分類閾值：

在本實施例中，人臉檢測模塊11由兩個基于Haar特征的AdaBoost分類器組成，其中一個負責從圖像中檢測正面人臉，另外一個負責從圖像中檢測側臉圖像。不難理解，人臉檢測模塊11也可以采用其他算法來實施。

在本實施例中，頭部姿態(tài)估計算法采用文獻《Robust head pose estimation using Dirichlet-tree distribution enhanced random forests》中提供的算法來實現(xiàn)。改算法輸入人臉區(qū)域圖像即可估計出頭部姿態(tài)的分布情況。不難理解，頭部姿態(tài)檢測模塊12也可以采用其他能估計頭部姿態(tài)分布的算法來實施。

所述動態(tài)隨機森林組建模塊13從離線訓練的條件隨機森林組10中選出T棵決策樹動態(tài)組建出一個隨機森林T^C，其中從條件隨機森林T(Ω_n)中隨機選出的決策樹的棵數(shù)k_n由頭部姿態(tài)估計模塊給出的頭部姿態(tài)分布情況來決定：

其中p(ω|P)表示頭部姿態(tài)估計模塊給出的頭部姿態(tài)分布，表示向下取整。動態(tài)組建的隨機森林T^C的分類閾值τ_p為：

所述隨機森林笑臉分類模塊14接收從人臉檢測模塊輸入的人臉區(qū)域圖像，并利用動態(tài)組建的隨機森林T^C對人臉區(qū)域圖像做出笑臉/非笑臉的分類，步驟為：

(1)對人臉區(qū)域圖像提取特征。所提取的特種種類與離線訓練條件隨機森林組所提取的特征種類一致。

(2)從人臉區(qū)域的各類特征圖像上分別摳取M個圖像子塊{P_i,i∈[1,m]}，并輸入動態(tài)組建的隨機森林T^C的各棵決策樹種。當圖像子塊到P_i到達決策樹的葉子節(jié)點時，記錄該葉子節(jié)點上保存的概率值p_it＝p(θ,l(P))。在本實施例中M設置為200.

(3)若判決輸入的人臉區(qū)域圖像為笑臉；否則判決輸入的人臉區(qū)域圖像為非笑臉。

作為優(yōu)化，在訓練和檢測過程中也可以不從整個人臉區(qū)域摳取圖像子塊，而從嘴巴、眉眼等區(qū)域摳取圖像子塊，然后利用本發(fā)明提供的技術構建笑臉檢測器。作為優(yōu)化，亦可從多個人臉的多個區(qū)域摳取圖像子塊，利用本發(fā)明提供的技術構建笑臉多個檢測器，然后組合這些笑臉檢測器，進一步提高笑臉檢測的正確率。

本實例可在包括但不限于智能手機、平板電腦、智能電視、計算機等硬件上實施。

本領域的技術人員容易理解，以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。