專利名稱：一種基于幾何不變量的視角不變的行為識別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識別領(lǐng)域，涉及計算機視覺和圖像處理等技術(shù)，特別是涉及視角 不變的行為識別。
背景技術(shù)：
隨著技術(shù)的發(fā)展以及硬件設(shè)備價格的逐漸降低，大量的監(jiān)控攝像頭被安裝到各種 場合，特別是那些對安全要求敏感的場合，如機場、社區(qū)、銀行、停車場、軍事基地等。動態(tài)場 景的視覺監(jiān)控是近年來備受關(guān)注的前沿研究方向，它從攝像機捕捉的圖像序列中檢測、識 別、跟蹤目標(biāo)并對其行為進行理解。盡管目前作為人類視覺延伸的監(jiān)控攝像機在商業(yè)應(yīng)用 中已經(jīng)普遍存在，但目前的監(jiān)控系統(tǒng)在稍復(fù)雜的監(jiān)控場景下，系統(tǒng)的性能遠遠達不到人們 所預(yù)期的效果。因此，開發(fā)出具有實際意義的自動性、智能性的視覺監(jiān)控系統(tǒng)日益變得迫切 和必要。這就要求不僅能用攝像機代替人眼，而且能用計算機協(xié)助人、代替人，以完成監(jiān)視 或控制任務(wù)。人的行為分析是計算機視覺領(lǐng)域的一個重要研究方向。它的目的是讓計算機能夠 像人一樣理解人的行為。為了解決這一問題，首先必須找到能夠表達人的行為的有效的信 息，然后對所獲取的信息利用數(shù)據(jù)挖掘方法以及機器學(xué)習(xí)方法建立數(shù)據(jù)信息與語義之間的 關(guān)系。人的行為分析不僅是理論的研究熱點，更是一個有著廣闊的應(yīng)用前景的研究方 向。人的行為分析在智能視覺監(jiān)控中的作用主要有以下幾點1.理解人的行為，對違規(guī)行為自動報警；2.預(yù)測人的行為，采取有效的防御措施；3.視頻數(shù)據(jù)的自動化處理和理解，將海量的視頻數(shù)據(jù)進行自動檢索。視角的變化 會帶來圖像的投影失真。同一動作在不同視角拍下的圖片中呈現(xiàn)不同的外觀。視角的變化 帶來的直接后果是圖像信息的減少，噪聲增多，所以傳統(tǒng)的利用人體輪廓特征，然后對圖像 序列進行時間序列分析的方法已經(jīng)不適合視角變化的要求?，F(xiàn)有的視角不變的技術(shù)大多需 要精確的人體的三維模型，然而獲取人體三維模型的不僅要付出很大的代價，而且計算得 到的人體三維模型與真實的人體存在很大的誤差，不適合實際應(yīng)用。

發(fā)明內(nèi)容
要解決的技術(shù)問題本發(fā)明的目的是解決視角的變化會帶來圖像的投影失真，為了避免失真導(dǎo)致無法 正確識別出圖像中人的行為，為此，本發(fā)明提出一種基于幾何不變量的視角不變的行為識 別方法。為了實現(xiàn)上述目的，本發(fā)明提供的基于幾何不變量的視角不變的行為識別方法， 基于人的行為軌跡，包括行為訓(xùn)練和行為識別兩個過程，如下
步驟S1 對已標(biāo)注人的行為類別的視頻圖像提取人體運動軌跡，對運動軌跡數(shù)據(jù) 提取視角不變的行為特征，對已標(biāo)注人行為類別的視頻圖像中人的運動軌跡的視角不變的 特征進行訓(xùn)練得到分類模型的參數(shù)，生成并建立人的行為分類模型；步驟S2 對未標(biāo)注人的行為類別的被測試的視頻數(shù)據(jù)提取人體運動軌跡，對軌跡 數(shù)據(jù)提取視角不變的行為特征，將提取的視角不變的特征輸入到訓(xùn)練得到的人的行為分類 模型進行分類識別，得到人的行為類別。優(yōu)選地，所述人體運動部位的運動軌跡是從視頻數(shù)據(jù)庫提取出人體運動部位頭、 手和腳的軌跡。優(yōu)選地，所述人的行為分類模型參數(shù)的獲取步驟如下步驟S11 對已標(biāo)注人的行為類別的視頻數(shù)據(jù)的人體運動軌跡上相鄰的點，構(gòu)造 視角不變量-交比，計算并獲取已標(biāo)注人的行為類別的視頻數(shù)據(jù)的人體運動軌跡的交比的 值；步驟S12 將從每條人體運動軌跡數(shù)據(jù)上計算出的交比值進行量化，并向直方圖 的每個分量投票，得到已經(jīng)標(biāo)注人的行為類別的視頻數(shù)據(jù)人體運動軌跡的交比直方圖；步驟S13 將得到的已標(biāo)注人的行為類別視頻數(shù)據(jù)的行為軌跡的交比直方圖作為 特征向量輸入到支持向量機進行訓(xùn)練，獲得基于支持向量機的行為分類模型參數(shù)并將參數(shù) 保存。優(yōu)選地，所述識別模塊的識別步驟步驟S21 對未標(biāo)注人的行為類別的被測試視頻數(shù)據(jù)的運動軌跡上相鄰的點，構(gòu) 造被測試視頻數(shù)據(jù)人體運動軌跡上的視角不變量_交比，并計算出被測試視頻數(shù)據(jù)人體運 動軌跡的交比值；步驟S22 將從被測試視頻數(shù)據(jù)的每條人體運動軌跡上計算出的交比進行量化， 并向直方圖的每個分量投票，得到被測試視頻數(shù)據(jù)的人體運動軌跡的交比直方圖；步驟S23 利用訓(xùn)練得到的支持向量機模型，對被測試視頻的人體運動軌跡數(shù)據(jù) 的交比直方圖進行分類，得到當(dāng)前人的行為類別。優(yōu)選地，所述行為軌跡是使用軌跡上的每相鄰的五個點構(gòu)造出一對交比。優(yōu)選地，所述交比，是指同一直線上四點間線段長度之比的比是所要采用的一種 視角不變量，交比具有投影不變性。優(yōu)選地，在行為分類中，以交比直方圖作為特征向量。優(yōu)選地，在行為分類中，是使用支持向量機對特征進行訓(xùn)練，獲得能夠分辨行為的 模型。本發(fā)明的方法的有益效果，該方法能夠在不同的視角下，仍能夠識別人的行為?？?服了之前所述傳統(tǒng)方法的種種不足。本發(fā)明的方法與其他的基于標(biāo)記點的視角不變的方法 不同，本發(fā)明的方法以視頻為輸入源，對視頻中的行人提取關(guān)鍵部位(頭、手和腳)的軌跡， 然后從軌跡上提取視角不變的特征，達到視角不變的行為識別的目的。本發(fā)明基于幾何不 變量的視角不變的行為識別方法不需要手工標(biāo)記出精確的人體的骨架模型，易于實現(xiàn)和應(yīng) 用?；趲缀尾蛔兞康囊暯遣蛔兊男袨樽R別可以應(yīng)用于如下方面用于智能視覺監(jiān)控系統(tǒng)， 幫助監(jiān)控系統(tǒng)識別場景中不同視角下人的行為，使得監(jiān)控系統(tǒng)能更好地理解場景中正在發(fā) 生什么。


圖1示出基于幾何不變量的視角不變的行為識別算法的流程框圖，包括訓(xùn)練和識 別兩個部分。圖2示出人體頭、手和腳的行為軌跡示例。圖3示出在不同視角下的視頻中提取人手的軌跡示例。圖4示出利用軌跡上點構(gòu)造交比的方法。圖5示出軌跡點的交比直方圖示例。
具體實施例方式下面結(jié)合附圖詳細說明本發(fā)明技術(shù)方案中所涉及的各個細節(jié)問題。應(yīng)指出的是， 所描述的實施例僅旨在便于對本發(fā)明的理解，而對其不起任何限定作用?；趲缀尾蛔兞康囊暯遣蛔兊男袨樽R別對于提高監(jiān)控系統(tǒng)對監(jiān)控場景的理解能 力，提升行為識別系統(tǒng)的識別能力具有很重要的作用。利用行為軌跡，本發(fā)明實現(xiàn)了一個基 于幾何不變量的視角不變的行為識別系統(tǒng)。如圖1示出基于幾何不變量的視角不變的行為 識別方法的流程框圖，包括訓(xùn)練和識別兩個部分所述的訓(xùn)練過程包括步驟對已標(biāo)注人的行為類別的視頻圖像序列，即用來做訓(xùn) 練的數(shù)據(jù)，提取頭、手和腳的運動軌跡；構(gòu)造出運動軌跡上點的交比，并計算交比的值；計 算軌跡點交比的直方圖；使用支持向量機進行訓(xùn)練，生成并建立人的行為分類模型；所述的識別過程包括步驟對未標(biāo)注人的行為類別的被測試視頻數(shù)據(jù)提取人體 頭、手和腳的運動軌跡；構(gòu)造出運動軌跡上點的交比，并計算交比的值；計算軌跡點交比的 直方圖并載入訓(xùn)練階段得到的人的行為分類模型進行行為識別，得到人的行為類別。本發(fā)明的方法需要的硬件最低配置為P43. 0G CPU，512M內(nèi)存的計算機；在此配 置水平的硬件上，采用C++語言編程實現(xiàn)本方法。下面對本發(fā)明的方法涉及的關(guān)鍵步驟進 行逐一詳細說明，具體形式如下所述首先，是人體關(guān)鍵運動部位軌跡的提取在軌跡數(shù)據(jù)庫中選取人體關(guān)鍵運動部位頭、手和腳的行為軌跡作為數(shù)據(jù)對象，圖2 示例行為跳在某一視角下的頭、手和腳的運動軌跡。運動軌跡由一序列的離散點在時間軸 上的位置分布構(gòu)成。由于將要提取的特征具有尺度不變性，所以運動軌跡的不必做歸一化 處理。圖3示例在17個不同視角下行為跳的手的運動軌跡。其二，是軌跡點的視角不變量的構(gòu)造和計算交比定義為直線上四點間線段長度的比的比。用數(shù)學(xué)公式表達為 X2，X3，X4是同一直線上的四點，用向量表示。Xi-Xj表示點i和j之間的距離， i、j 代表 1、2、3、4。交比具有投影不變的特性，即對空間中共線的四點向圖像平面投影時，交比的值 保持不變。根據(jù)這一特性，應(yīng)用到智能視覺監(jiān)控上，可以解決不同視角下行為識別的問題。
但是，直線上的四點的交比很難應(yīng)用到圖像中去。為了解決這一問題，可以將直線 上的四點的交比擴展到曲線上去。對空間中的平面曲線(是指曲線上所有的點都共面)上的5個點，可以構(gòu)造出一 對視角不變量_交比。如圖4所示，^2，^4，&為平面曲線上的5個點，分別過^2和 X4，X5作直線交于P點，分別過X2，X3和X4，X3作直線分別交直線X:P和直線X5P于Q、R點， 于是得到一對共線的四點(Xi，X2，Q，P)和(X5，X4，R，P)。由于共線的四點構(gòu)成一個交比，所 以五個點得到一對交比。對于圖像中人的行為軌跡，可以認為是由很多段空間中的平面曲線投影而成，利 用上述構(gòu)造曲線上五點的交比的原則，就可以得到圖像中行為軌跡上點的交比。交比的值 在投影前后保持不變。對軌跡上每相鄰的五個點如上述方法計算交比，就可以得到軌跡的 視角不變的表達方法，可以記為T ，X2，X3，X4，X5) — I (CRi，CR2)(2)在計算交比的時候，通過簡化，可以直接通過\，X2，X3，X4，X5的坐標(biāo)來計算CRp CR2，計算公式為其中Iwl表示二階矩陣[XA]的行列式。 其三，是軌跡點的交比直方圖的計算對每條軌跡所計算出的交比，用直方圖的方法描述交比的統(tǒng)計特性。經(jīng)過試驗，計 算出的交比的值分布在(0，2)區(qū)間，將此區(qū)間平均劃分為50等分，得到直方圖的50個分量 (bin)，每個bin的值由軌跡點的交比投票得到，用數(shù)學(xué)表達式記為 其中 計算出軌跡的直方圖如圖5所示。由于軌跡上每五個點可以得到兩個交比，所以一條軌跡可由50X2 = 100維的特 征向量來描述。分別將頭、手和腳的軌跡的交比直方圖向量拼接起來就得到了 300維的特 征向量，該向量就是最終用來訓(xùn)練和識別的特征向量。最后，是利用支持向量機訓(xùn)練和識別支持向量機(Support Vector Machines)是在統(tǒng)計學(xué)習(xí)理論上發(fā)展起來的一種新 的方法。支持向量機的基本思想是通過非線性映射，把樣本空間映射到一個高維乃至無窮 維的特征空間，使得在特征空間中可以應(yīng)用線性學(xué)習(xí)機的方法解決樣本空間中的高度非線性的分類和回歸問題。支持向量機能較好地解決小樣本、非線性、高維數(shù)和局部極小點等實 際問題。首先將計算出的交比直方圖作為支持向量機的特征向量，輸入到將要學(xué)習(xí)的模型 中。使用支持向量機的關(guān)鍵步驟是選擇核函數(shù)，有多種核函數(shù)可以選擇，比如線性、多 項式、徑向基函數(shù)和sigmod等。通過比較實驗，發(fā)現(xiàn)徑向基函數(shù)(RBF)具有最好的識別率， 因此選用徑向基函數(shù)進行訓(xùn)練和識別。為了驗證算法有效性，使用 CMU Motion Capture database (Mocap :mocap. cs.cmu.edu)步態(tài)數(shù)據(jù)庫對提出的算法進行了測試。Mocap數(shù)據(jù)庫是由卡耐基梅隆大學(xué)創(chuàng) 建的一個共享數(shù)據(jù)庫，被廣泛應(yīng)用于人的行為分析研究。測試中從數(shù)據(jù)庫中選取了五種行 為在17個視角下做試驗，這17個視角由平均分布在場景的四周17臺攝像機實現(xiàn)，所選 五種行為分別為走、跑、跳、爬階梯和打高爾夫球，每類行為共選取了 200個樣本，其中走為 100個，跑為41個，跳為57個，爬階梯為12個，打高爾夫球為10個，用每個視角下的數(shù)據(jù)樣 本訓(xùn)練得到的行為模型去測試其他16個視角下的數(shù)據(jù)樣本，最后得到平均正確識別率為 92. 38%。該算法的識別率優(yōu)于其他一些機器學(xué)習(xí)方法和基于模型的識別方法。實施例子如下整個基于幾何不變量的視角不變的行為識別方案主要包含訓(xùn)練和識別兩個過程， 為了詳細說明該發(fā)明的具體實施方式
，以某一個視角不變的行為識別系統(tǒng)說明。這個系統(tǒng) 可以記錄下監(jiān)控場景里出現(xiàn)的每一個人的軌跡，并識別出他們在做什么動作。訓(xùn)練的目的是學(xué)習(xí)不同的行為規(guī)律。首先我們要收集大量軌跡數(shù)據(jù)，并標(biāo)注出所 屬行為類別。這些標(biāo)注了行為類別的軌跡數(shù)據(jù)用于訓(xùn)練行為識別模型。訓(xùn)練步驟如下步驟Sla 對已標(biāo)注人的行為視頻圖像數(shù)據(jù)庫提取出人體頭、手和腳的運動軌跡；步驟Sib 對人體運動軌跡上相鄰的點，構(gòu)造視角不變量-交比，計算出并獲取已 經(jīng)標(biāo)注人的行為類別的視頻數(shù)據(jù)的人體運動軌跡的交比的值；步驟Sic 將從每條人體行為軌跡上計算出的交比進行量化，并向直方圖的每個 分量投票，得到已經(jīng)標(biāo)注人的行為類別的視頻數(shù)據(jù)的人體運動軌跡的交比直方圖；步驟Sid:將得到的交比直方圖作為特征向量，用支持向量機進行訓(xùn)練，獲得基于 支持向量機的行為分類模型參數(shù)并將參數(shù)保存。在識別階段，將人體運動軌跡測試數(shù)據(jù)輸入計算機，初始階段的處理跟訓(xùn)練階段 一致，然后將得到的特征向量輸入到訓(xùn)練階段所獲得的基于支持向量機的行為模型進行分 類，輸出分類結(jié)果。程序?qū)⒎诸惤Y(jié)果記錄下來，或者傳給其他的程序。具體識別步驟如下步驟S2a 對被測試視頻數(shù)據(jù)提取出人體頭、手和腳的軌跡；步驟S2b 對被測試視頻數(shù)據(jù)人體運動軌跡上相鄰的點，構(gòu)造視角不變量_交比， 并計算出交比的值；步驟S2c 將從每條人體運動軌跡上計算出的交比進行量化，并向直方圖的每個 分量投票，得到交比直方圖；步驟S2d:利用步驟Sid中獲得的行為分類模型，對被測試視頻數(shù)據(jù)的人體運動軌 跡計算出的交比直方圖特征進行分類，得到被測試視頻數(shù)據(jù)中當(dāng)前人的行為類別。
總之，本發(fā)明提出了一種簡單有效的基于幾何不變量的視角不變的行為識別方 法。CMU Mocap數(shù)據(jù)庫上的試驗結(jié)果驗證了該算法的有效性。本發(fā)明易于實現(xiàn)、性能穩(wěn)定。 本發(fā)明能夠提高智能監(jiān)控系統(tǒng)對監(jiān)控場景的理解能力，是下一代智能監(jiān)控系統(tǒng)里的關(guān)鍵技 術(shù)。以上所述，僅為本發(fā)明中的具體實施方式
，但本發(fā)明的保護范圍并不局限于此，任 何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在 本發(fā)明的包含范圍之內(nèi)，因此，本發(fā)明的保護范圍應(yīng)該以權(quán)利要求書的保護范圍為準(zhǔn)。
權(quán)利要求
一種基于幾何不變量的視角不變的行為識別方法，其特征在于基于人的行為軌跡，包括訓(xùn)練和識別兩個過程，如下步驟S1對已標(biāo)注人的行為類別的視頻圖像提取人體運動部位的運動軌跡，對運動軌跡數(shù)據(jù)提取視角不變的行為特征，對已標(biāo)注人的行為類別視頻圖像中人的行為軌跡的視角不變的特征進行訓(xùn)練得到分類模型的參數(shù)，生成并建立人的行為分類模型；步驟S2對未標(biāo)注人的行為類別的被測試的視頻數(shù)據(jù)提取人體運動部位的運動軌跡，對運動軌跡數(shù)據(jù)提取視角不變的行為特征，將提取的視角不變的特征輸入到訓(xùn)練得到的人的行為分類模型進行分類識別，得到人的行為類別。
2.按權(quán)利要求1所述的基于幾何不變量的視角不變的行為識別方法，其特征在于所 述人體運動部位的運動軌跡是從視頻數(shù)據(jù)庫提取出人體頭、手和腳的軌跡。
3.按權(quán)利要求1所述的基于幾何不變量的視角不變的行為識別方法，其特征在于所 述人的行為分類模型參數(shù)的獲取步驟如下步驟Sll 對已標(biāo)注人的行為類別視頻數(shù)據(jù)的人體運動軌跡上相鄰的點，構(gòu)造視角不 變量-交比，計算并獲取已標(biāo)注人的行為類別的視頻數(shù)據(jù)的人體運動軌跡的交比的值；步驟S12:將從每條人體行為軌跡數(shù)據(jù)上計算出的交比值進行量化，并向直方圖的每 個分量投票，得到已經(jīng)標(biāo)注人的行為類別的視頻數(shù)據(jù)的人體運動軌跡的交比直方圖；步驟S13 將得到的已標(biāo)注人的行為類別的視頻數(shù)據(jù)的人體運動軌跡的交比直方圖作 為特征向量輸入到支持向量機進行訓(xùn)練，獲得基于支持向量機的行為分類模型參數(shù)并將參 數(shù)保存。
4.按權(quán)利要求1所述的基于幾何不變量的視角不變的行為識別方法，其特征在于所 述識別模塊的識別步驟步驟S21 對未標(biāo)注人的行為類別的被測試視頻數(shù)據(jù)的人體運動軌跡上相鄰的點，構(gòu) 造被測試視頻數(shù)據(jù)人體運動軌跡上的視角不變量_交比，并計算出被測試視頻數(shù)據(jù)人體運 動軌跡的交比值；步驟S22 將從被測試視頻數(shù)據(jù)的每條人體運動軌跡上計算出的交比進行量化，并向 直方圖的每個分量投票，得到被測試視頻數(shù)據(jù)的人體運動軌跡的交比直方圖；步驟S23 利用訓(xùn)練得到的支持向量機模型，對被測試視頻的人體運動軌跡數(shù)據(jù)的交 比直方圖進行分類，得到當(dāng)前人的行為類別。
5.按權(quán)利要求3所述的基于幾何不變量的視角不變的行為識別方法，其特征在于所 述交比是使用軌跡上的每相鄰的五個點構(gòu)造出一對交比。
6.按權(quán)利要求3所述的基于幾何不變量的視角不變的行為識別方法，其特征在于所 述交比是指同一直線上四點間線段長度之比的比，交比是視角不變量，交比具有投影不變 性。
7.按權(quán)利要求1所述的基于幾何不變量的視角不變的行為識別方法，其特征在于在 行為分類中，以交比直方圖作為特征向量。
8.按權(quán)利要求1所述的基于幾何不變量的視角不變的行為識別方法法，其特征在于 在行為分類中，是使用支持向量機對特征進行訓(xùn)練，獲得能夠分辨行為的模型。
全文摘要
本發(fā)明提出一種基于幾何不變量的視角不變的行為識別方法，包括訓(xùn)練和識別兩個過程；步驟如下對已標(biāo)注行為類別的軌跡數(shù)據(jù)進行特征提取，對提取的特征進行訓(xùn)練，得到行為模型的參數(shù)；對未知行為類別人的行為軌跡測試數(shù)據(jù)進行特征提取，將提取的特征輸入到訓(xùn)練得到的模型，輸出視頻中人的行為的類別?？捎糜谥悄芤曈X監(jiān)控系統(tǒng)，幫助監(jiān)控系統(tǒng)識別場景中人的行為，使得監(jiān)控系統(tǒng)能更好地理解場景中正在發(fā)生什么。基于幾何不變量的視角不變的行為識別對于提高下一代智能監(jiān)控系統(tǒng)對監(jiān)控場景中人的行為的理解能力具有很重要的意義。
文檔編號G06K9/62GK101853388SQ20091008109
公開日2010年10月6日 申請日期2009年4月1日 優(yōu)先權(quán)日2009年4月1日
發(fā)明者張葉銀, 譚鐵牛, 黃凱奇 申請人:中國科學(xué)院自動化研究所