專利名稱：基于第二代Bandelet統(tǒng)計特征的人體運動識別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及人體運動識別方法，可用于虛擬視頻、智能監(jiān)控和姿態(tài)估計。
背景技術(shù)：
人體運動識別是近幾年來計算機視覺領(lǐng)域的重大熱點之一，人體運動識別在運動捕獲，人機交互，視頻監(jiān)控等多領(lǐng)域獲得了初步的應(yīng)用，具有重大的應(yīng)用前景。由于人體運動的多變性和多樣性，背景的嘈雜以及光照條件，衣服紋理和自身遮擋等多方面的因素嚴重影響人體運動的識別效果，故從視頻圖像中準(zhǔn)確估計人體姿態(tài)，實現(xiàn)人體運動識別是計 算機視覺領(lǐng)域長期存在的問題。目前，人體運動識別的方法主要分為三大類基于學(xué)習(xí)的人體運動識別、基于模型的人體運動識別和基于表現(xiàn)的人體運動識別。第一種，基于學(xué)習(xí)的人體運動識別方法該方法首先在訓(xùn)練的視頻圖像和目標(biāo)視頻圖像數(shù)據(jù)庫里提取精確的圖像特征，通過機器學(xué)習(xí)從一系列訓(xùn)練數(shù)據(jù)中學(xué)習(xí)得到一個分類器，用該分類器來表示人體運動，然后利用該分類器對輸入窗口進行分類及識別。如IvanLaptev等人采用的基于HOG和HOF的特征提取方法和基于KNN和SVM的識別方法。另外還有Somayeh Danafar和Niloofar Cheissari在其論文中采用了基于光流的特征提取方法和基于SVM的運動識別方法，其中基于光流的特征是從圖像序列的相鄰幀中提取。該識別方法的優(yōu)點與人體模型的方法和模板匹配的方法相比是比較魯棒，檢測結(jié)果較優(yōu)，但是缺點是運動信息的計算過程缺乏對行為的全局分析，且計算特征的復(fù)雜度較高，需要很多訓(xùn)練數(shù)據(jù)，通常需要上萬的數(shù)據(jù)。第二種，基于模型的方法，利用人體結(jié)構(gòu)的先驗知識建立人體模型，然后提取圖像底層特征匹配到模型中，并以運動規(guī)律加以約束。當(dāng)前比較典型的方法如Ju Sun采用了基于SIFT描述子和基于Markov模型的識別方法；Hsuan_Sheng Chen等人采用了基于星形骨架描述輪廓信息的特征表述方法和基于HMM的動作識別方法。這種方法簡單，容易實現(xiàn)，但是特征表征能力較弱，信息包含較少，識別性能低，準(zhǔn)確率不高，且容易受遮擋和人體服裝差異的影響，常作為一種輔助方法。第三種，基于表現(xiàn)的方法，無須對人體建模，直接提取圖像中感興趣區(qū)域的底層二維表觀特征，然后找出區(qū)域特征與人體動作的對應(yīng)關(guān)系進行匹配。如Bobick和Davis采用了基于輪廓表征的特征表示方法和基于MHI和MEI模板的識別方法。這種方法與基于模型的方法相比計算比較簡單，缺點是提出的特征對環(huán)境的動態(tài)變化敏感，易受背景變化的影響，對紋理變化不夠敏感，不能最優(yōu)的表征圖像邊緣，同時由于人體姿態(tài)的復(fù)雜性，很難構(gòu)造出足夠的模板以處理不同的姿態(tài)，故正確率也不高。

發(fā)明內(nèi)容
本發(fā)明目的是針對上述已有技術(shù)的不足，提出的一種基于第二代Bandelet統(tǒng)計特征的人體運動識別方法，以降低圖像特征提取的復(fù)雜度，同時提高特征的表征能力，在無需大量訓(xùn)練數(shù)據(jù)的情況下，有效地提高人體運動識別的正確率。為實現(xiàn)上述目的，本發(fā)明的技術(shù)方案包括如下(I)將Weizmann數(shù)據(jù)庫中的每段視頻轉(zhuǎn)換為連續(xù)的單幅序列圖像，并按照8 I的比例構(gòu)建訓(xùn)練樣本集X和測試樣本集T ；(2)對訓(xùn)練樣本集X中的單幅序列圖像，進行第二代Bandelet變換，提取每幅圖像的Bandelet系數(shù)；(3)計算每幅圖像Bandelet系數(shù)的7類統(tǒng)計特征，分別為能量特征Ve，熵特征Ns,最大值特征vmax，最小值特征vmin，對比度特征V。，均值特征Vli和方差特征Vv ；(4)將上述所有統(tǒng)計特征級聯(lián)，得到單幅序列圖像的特征V = {Ve, Vs, Vfflax, Vfflin, Vc, νμ,νν}；(5)按照上述步驟(2Γ(4)分別將訓(xùn)練樣本集X和測試樣本集T中的所有序列圖像提取特征，獲得訓(xùn)練樣本特征集X*和測試樣本特征集Τ* ；(6)利用Adaboost算法和訓(xùn)練樣本特征集X*對這7類Bandelet統(tǒng)計特征進行選擇，在特征選擇的同時訓(xùn)練并構(gòu)建分類器(6. I)訓(xùn)練樣本特征集X*包括m個訓(xùn)練樣本的特征集合Xi，i = I, 2. . . .m，其對應(yīng)的類別標(biāo)簽為yi e Y = {1，... k}，其中k為總的運動類別數(shù)；(6.2)對所有樣本賦予初始權(quán)重W1 (i) = l/(mk),置初始循環(huán)次數(shù)t = I ；(6. 3)將所有樣本權(quán)重歸一化為—
=1(6. 4)對上述單幅序列圖像的7類Bandelet統(tǒng)計特征中每類特征j，j = 1，2，... 7，設(shè)計弱分類器7f(x,)，并計算每個弱分類器的誤差
m__/ m
CtTu)^Γ/)(χ ))/ΣΜ#)，其中符號 π 表示求積；
=1/ f 二I(6. 5)在所有弱分類器中，選擇誤差最小的弱分類器T(t)；(6. 6)計算弱分類器置信α( ) = log1"^1"+Iog(^-I)，將所有樣本的權(quán)重更新為
err
Wt+1 (i) = wt (i) *exp { α ω Π [yj φ T(t) (Xi) ]}, i = I,.....m ；(6. 7)令循環(huán)次數(shù)t = t+1，返回到步驟(6. 3)，直至循環(huán)次數(shù)t = N ;(6. 8)用每次迭代被選中的弱分類器和其對應(yīng)的置信組合成一個強分類器，即最
終的分類器// = aT.gmax|>ir!n(r.’° =/)(7)將測試樣本特征集Τ*輸入到已訓(xùn)練好的分類器H中得到各類運動的分類結(jié)
果O本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點本發(fā)明由于利用第二代Bandelet變換，通過計算系數(shù)的統(tǒng)計量得到特征向量進行人體運動識別，從圖像的幾何特性出發(fā)，有效的提高了基于圖片序列的人體運動識別的正確率；同時由于本發(fā)明利用Adaboost算法具有特征選擇的性能，通過對不同特征的篩選，降低了圖像特征的維度，提高了圖像特征的表達能力；此外由于本發(fā)明使用的BandeIet變換具有多尺度特性，多方向性以及各向異性，可以連續(xù)的細化圖像，較好的表示人體的輪廓，因此，不需要對圖像序列中的人體運動區(qū)域進行背景剪除，從而降低了圖像特征提取的復(fù)雜度，比傳統(tǒng)的特征提取方法更加節(jié)省計算資源和時間。


圖I是本發(fā)明的流程示意圖；
圖2是本發(fā)明仿真使用的數(shù)據(jù)庫的部分序列圖像；圖3是本發(fā)明對Weizmann數(shù)據(jù)庫進行仿真后的分類混淆矩陣圖。
具體實施例方式參照圖I，本發(fā)明的具體實現(xiàn)步驟如下步驟一，獲取整個人體運動識別訓(xùn)練樣本集X和測試樣本集T。(I. I)本發(fā)明試驗所需的樣本集來自Weizmann人體數(shù)據(jù)庫，下載地址為http://www. wisdom, weizmann. ac. il/ vision/SpaceTimeActions. html,圖 2 給出了數(shù)據(jù)庫中的部分序列圖像。(I. 2)將Weizmann數(shù)據(jù)庫中的每段視頻轉(zhuǎn)換為連續(xù)的單幅序列圖像，并按照8:1的比例構(gòu)建訓(xùn)練樣本集X和測試樣本集T。步驟二，對訓(xùn)練樣本集X中的單幅序列圖像，進行第二代Bandelet變換，提取每幅圖像的Bandelet系數(shù),具體步驟為(2. I)對單幅序列圖像做如下二維離散正交小波變換(2. Ia)對單幅序列圖像的每行做一維小波變換，即
權(quán)利要求
1.一種基于第二代Bandelet統(tǒng)計特征的人體運動識別方法，包括如下步驟 (1)將Weizmann數(shù)據(jù)庫中的每段視頻轉(zhuǎn)換為連續(xù)的單幅序列圖像,并按照8 I的比例構(gòu)建訓(xùn)練樣本集X和測試樣本集T ； (2)對訓(xùn)練樣本集X中的單幅序列圖像，進行第二代Bandelet變換，提取每幅圖像的Bandelet 系數(shù)； (3)計算每幅圖像Bandelet系數(shù)的7類統(tǒng)計特征，分別為能量特征Ve，熵特征Ns,最大值特征V_，最小值特征Vmin,對比度特征V。，均值特征Vij和方差特征Vv ； (4)將上述所有統(tǒng)計特征級聯(lián)，得到單幅序列圖像的特征V= {Ve, Vs, Vfflax,Vfflin, V。，V,,vv}； (5)按照上述步驟(2Γ(4)分別將訓(xùn)練樣本集X和測試樣本集T中的所有序列圖像提取特征，獲得訓(xùn)練樣本特征集X*和測試樣本特征集Τ* ； (6)利用Adaboost算法和訓(xùn)練樣本特征集X*對這7類Bandelet統(tǒng)計特征進行選擇，在特征選擇的同時訓(xùn)練并構(gòu)建分類器 (6. I)訓(xùn)練樣本特征集X*包括m個訓(xùn)練樣本的特征集合xi, i = 1,2. ... m,其對應(yīng)的類別標(biāo)簽為yi e Y = {1，... k}，其中k為總的運動類別數(shù)； (6.2)對所有樣本賦予初始權(quán)重W1Q) = l/(mk),置初始循環(huán)次數(shù)t = I ； (6. 3)將所有樣本權(quán)重歸一化為
2.根據(jù)權(quán)利要求I所述的人體運動識別方法，其中步驟(2)所述的對訓(xùn)練樣本集X中的單幅序列圖像，進行第二代Bandelet變換，提取每幅圖像的Bandelet系數(shù)，按如下步驟進行 (2. I)對訓(xùn)練樣本集X中單幅序列圖像進行二維離散正交小波變換； (2. 2)結(jié)合四叉樹分割法和自底向上融合算法CART建立多尺度圖各子帶的最佳四叉樹分解，得到Bandelet塊； (2. 3)對各Bandelet塊,根據(jù)Lagarange罰函數(shù)法求取一個最優(yōu)方向，即最佳幾何流方向； (2. 4)根據(jù)每個Bandelet塊中的最佳幾何流方向，借助正交投影和小波系數(shù)重排，得到一個一維離散信號，并對該離散信號進行一維離散小波變換； (2. 5)將每個Bandelet塊中一維離散小波變換后的系數(shù)，作為對應(yīng)Bandelet塊的Bandelet系數(shù)，用所有Bandelet塊的Bandelet系數(shù)構(gòu)成該單幅序列圖像的Bandelet系數(shù)。
3.根據(jù)權(quán)利要求I所述的人體運動識別方法，其中步驟(3)所述的計算每幅圖像Bandelet系數(shù)的7類統(tǒng)計特征，按如下步驟進行 (3. I)按如下公式計算每個Bandelet塊中Bandelet系數(shù)的7類統(tǒng)計特征，即
全文摘要
本發(fā)明提出了一種基于第二代Bandelet統(tǒng)計特征的人體運動識別方法，主要解決現(xiàn)有技術(shù)中特征提取復(fù)雜，表征能力弱的問題。其實現(xiàn)步驟是(1)將Weizmann數(shù)據(jù)庫中的視頻轉(zhuǎn)換為序列圖像，并按8:1比例構(gòu)建訓(xùn)練樣本集X和測試樣本集T；(2)對樣本集中的單幅序列圖像，進行第二代Bandelet變換，依次提取圖像的能量特征Ve、熵特征Vs、最大值特征Vmax、最小值特征Vmin、對比度特征Vc、均值特征Vμ和方差特征Vv，并將這些特征級聯(lián)，作為單幅圖像的最終特征；(3)重復(fù)步驟(2)分別對訓(xùn)練樣本集X和測試樣本集T中的所有序列圖像提取特征，獲得訓(xùn)練樣本特征集X*和測試樣本特征集T*，利用Adaboost算法對其進行學(xué)習(xí)訓(xùn)練，獲得分類結(jié)果。本發(fā)明能準(zhǔn)確識別人體運動，可用于視頻監(jiān)控、目標(biāo)識別的視頻處理。
文檔編號G06K9/00GK102968621SQ20121048340
公開日2013年3月13日 申請日期2012年11月23日 優(yōu)先權(quán)日2012年11月23日
發(fā)明者韓紅, 李曉君, 張紅蕾, 韓啟強, 謝福強, 顧建銀 申請人:西安電子科技大學(xué)