視頻序列圖像中的異常行為智能檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及視頻序列圖像中運(yùn)動目標(biāo)檢測。
【背景技術(shù)】
[0002] 現(xiàn)代社會人們的活動場所越來越多，內(nèi)容也愈加豐富，所以面臨的異常行為和突 發(fā)事件也會相應(yīng)增多。因此人們對視頻監(jiān)控系統(tǒng)的要求提高到"如何防止?jié)撛谖ｋU"，這樣 就要求有關(guān)部門在重點(diǎn)區(qū)域增加電子探頭數(shù)量以及擴(kuò)大視頻監(jiān)控區(qū)域，提高視頻監(jiān)控系統(tǒng) 的智能化水平，進(jìn)行全天候、實(shí)時的自動的監(jiān)控。智能視頻監(jiān)控技術(shù)的出現(xiàn)徹底改變了以往 分析監(jiān)控視頻完全靠人的工作模式，將智能視頻監(jiān)控算法嵌入到前端攝像頭或者在后臺對 視頻進(jìn)行智能分析，這樣就可以更加精確對異常行為進(jìn)行定義，同時能夠提高檢測的精度 和響應(yīng)速度，有效降低誤報和漏報現(xiàn)象的出現(xiàn)，通過系統(tǒng)的提示可以讓工作人員對潛在的 異常行為做好提前應(yīng)對準(zhǔn)備，使得工作人員從簡單的枯燥無味的勞動中解放出來，提高了 工作人員應(yīng)急反應(yīng)處理各種突發(fā)事件的能力。在安防領(lǐng)域，智能視頻監(jiān)控系統(tǒng)適用于公共 場所用來掌握行人的信息，判斷人員聚集、穿越警戒線、進(jìn)入虛擬墻、是否逆向運(yùn)動；在交通 監(jiān)管方面，用來分析和處理車輛擁堵、統(tǒng)計(jì)車流量、車速以及對路況的監(jiān)控；在軍事應(yīng)用方 面，可以對導(dǎo)彈、飛機(jī)、防空等方面進(jìn)行預(yù)警和監(jiān)控；另外，智能視頻監(jiān)控系統(tǒng)同樣也可以對 非安防領(lǐng)域進(jìn)行視頻資源分析，例如家中有不慎跌倒的老人，這樣就可以及時通知家人或 者幫助呼叫救護(hù)車；幫助商場或者超市統(tǒng)計(jì)當(dāng)天的客流量，用來分析當(dāng)天的銷售狀況等等。
[0003] 運(yùn)動目標(biāo)的行為分析可以當(dāng)作是對視頻序列中行為樣本的分類，可以理解為將待 檢測的行為與預(yù)先規(guī)定的行為模板進(jìn)行匹配，主要的分析方法有基于模板的方法、基于狀 態(tài)空間的方法和基于模型的方法三類。
[0004] 1)基于模板的方法
[0005] 基于模板的方法是將原始的視頻圖像序列轉(zhuǎn)換為一組靜態(tài)行為模式，然后在進(jìn) 行識別的階段和預(yù)先存儲的行為模板進(jìn)行對比。最具代表性的方法有：模板匹配、動態(tài)規(guī) 劃、動態(tài)時間規(guī)整等。文獻(xiàn)（Bobick AF, Davis J.W. The recognition of human movement using temporal templates[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001，23(3) :257-267)公開一種運(yùn)用運(yùn)動能量圖像和運(yùn)動歷史圖像對圖 像序列中行人的運(yùn)動進(jìn)行描述，人的每種行為可以認(rèn)為是由不同視角下圖像序列的運(yùn) 動能量圖像和歷史運(yùn)動圖像組成的，從中提取出基于矩的行為特征應(yīng)用于識別階段的 模板匹配。文獻(xiàn)（Polana R, Nelson R. Low level recognition of human motion[C]. Proceedings of the 1994IEEE Workshop on Motion of Non-Rigid and Articulated Object, 1994:77-82.)公開利用二維網(wǎng)格的特征對行人的運(yùn)動進(jìn)行識別，為了對運(yùn)動的持 續(xù)時間進(jìn)行歸一化，假設(shè)了人的運(yùn)動具有周期性，并將整個序列分解為該行為的一系列的 循環(huán)過程，用最近鄰算法進(jìn)行人的行為識別。
[0006] 2)基于狀態(tài)空間的方法
[0007] 基于狀態(tài)空間的方法對每個靜態(tài)的姿勢定義為一個狀態(tài)，并且認(rèn)為這些狀態(tài)之間 通過某種概率聯(lián)系起來。目前，狀態(tài)空間模型已被廣泛應(yīng)用于時間序列中的預(yù)測、估計(jì)和檢 測，研究人員利用人的運(yùn)動區(qū)域塊的網(wǎng)絡(luò)特征作為學(xué)習(xí)和識別的低級特征，隱馬爾科夫模 型（Hyper Media Management Schema, HMMS)用來為每個類別產(chǎn)生符號模式來進(jìn)行行為識 另IJ。狀態(tài)空間方法能夠克服模板匹配的缺點(diǎn)，可以更好地刻畫動作本質(zhì)特征，應(yīng)用的范圍也 更加的廣泛。
[0008] 3)基于模型的方法
[0009] 基于模型的方法是通過對大量的行為樣本進(jìn)行訓(xùn)練、學(xué)習(xí)，形成一個統(tǒng)計(jì)的行為 模型描述，然后對所需識別行為進(jìn)行基于模型的匹配，該方法中的代表性模型有：隱馬爾可 夫模型、最大熵馬爾可夫模型、條件隨機(jī)場等。另外在應(yīng)用中也可以利用2D或者3D對人體 建立相應(yīng)的模型，可以將人看作是由關(guān)節(jié)點(diǎn)連接的剛體集合，這樣可以利用三維的人體骨 架描述人體的運(yùn)動情況，但是這通常需要重建3D模型對人的行為進(jìn)行識別，該方法準(zhǔn)確性 好，能夠很好地處理人被遮擋的情況但對計(jì)算機(jī)的硬件要求較高。
[0010] 模型的選擇對運(yùn)動目標(biāo)的跟蹤的準(zhǔn)確性以及后續(xù)的異常行為檢測的可靠性有著 直接的關(guān)系，本發(fā)明將顏色特征引入可對目標(biāo)進(jìn)行準(zhǔn)確的跟蹤。粒子濾波算法已經(jīng)發(fā)展為 非線性、非高斯系統(tǒng)中運(yùn)動目標(biāo)跟蹤的主流算法，但是計(jì)算量大始終是其最大的缺點(diǎn)，本發(fā) 明通過結(jié)合前景目標(biāo)檢測實(shí)現(xiàn)了對粒子濾波算法的改進(jìn)，實(shí)現(xiàn)了運(yùn)動目標(biāo)的自動檢測與跟 蹤，提高了粒子濾波算法對目標(biāo)跟蹤的準(zhǔn)確性，也使得算法的實(shí)時性得到了改善。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明針對現(xiàn)有行為檢測技術(shù)運(yùn)算量大、實(shí)時性差的缺陷，首先，通過碼本背景建 模和改進(jìn)的粒子濾波對視頻序列圖像中的運(yùn)動目標(biāo)進(jìn)行目標(biāo)檢測與目標(biāo)跟蹤；然后設(shè)置警 戒線、警戒區(qū)域，根據(jù)目標(biāo)檢測與跟蹤所得結(jié)果對運(yùn)動目標(biāo)的行為進(jìn)行分析，對運(yùn)動目標(biāo)越 過警戒線、運(yùn)動目標(biāo)進(jìn)入虛擬墻、運(yùn)動目標(biāo)加速及其人體動作異常行為進(jìn)行檢測。
[0012] 本發(fā)明解決上述技術(shù)問題的技術(shù)方案是：采用改進(jìn)的粒子濾波算法結(jié)合顏色特征 信息和碼本背景模型，對實(shí)時的監(jiān)控視頻或者是視頻錄像，將其轉(zhuǎn)換為圖像序列便于后續(xù) 的檢測和跟蹤。具體為，首先使用碼本Codebook對視頻序列進(jìn)行背景建模，完成對前景目 標(biāo)的檢測，使用形態(tài)學(xué)方法以及陰影去除對前景進(jìn)行優(yōu)化，用前景檢測得到的模板對粒子 濾波的初始化設(shè)定R0I，在ROI中使用前景區(qū)域的HSV顏色直方圖作為模板初始化粒子，然 后進(jìn)行粒子的狀態(tài)轉(zhuǎn)移并對粒子的權(quán)值進(jìn)行更新，接下來對粒子的狀態(tài)進(jìn)行預(yù)測，最后判 斷重采樣，在更新模板時考慮目標(biāo)之間的交叉遮擋問題。設(shè)置警戒線和虛擬墻對運(yùn)動目標(biāo) 越線、越界、超速、行為異常進(jìn)行判定。
[0013] 對視頻序列圖像中的運(yùn)動目標(biāo)進(jìn)行目標(biāo)檢測與目標(biāo)跟蹤，在視頻區(qū)域中任意設(shè)定 一條虛擬直線、或設(shè)定一個"虛擬墻";判斷運(yùn)動目標(biāo)位置信息，實(shí)現(xiàn)運(yùn)動目標(biāo)越線、越界、超 速、行為異常的判定；當(dāng)運(yùn)動目標(biāo)接觸到虛擬直線、或"虛擬墻"邊界，改變跟蹤窗口顏色，當(dāng) 運(yùn)動目標(biāo)越過虛擬直線、或"虛擬墻"邊界恢復(fù)跟蹤窗口顏色，對觸線的運(yùn)動目標(biāo)進(jìn)行計(jì)數(shù)。
[0014] 以視頻區(qū)域的左下角0為原點(diǎn)，水平方向OC為X軸，垂直方向OA為y軸，建 立直角坐標(biāo)系，根據(jù)公式：(y 2_yi) (χ_χι)_(χ2_χι) (y_yi) = 〇確定虛擬直線L，根據(jù)公式
【主權(quán)項(xiàng)】
1. 一種視頻序列圖像中的異常行為智能檢測方法，其特征在于，采用改進(jìn)的粒子濾波 算法結(jié)合顏色特征信息和碼本背景模型，實(shí)時將視頻圖像轉(zhuǎn)換為圖像序列，對視頻序列圖 像中的運(yùn)動目標(biāo)進(jìn)行目標(biāo)檢測與目標(biāo)跟蹤，在視頻區(qū)域中設(shè)定一條虛擬直線、或設(shè)定一個 "虛擬墻"，判斷運(yùn)動目標(biāo)位置信息，實(shí)現(xiàn)運(yùn)動目標(biāo)越線、越界、超速、行為異常的判定；當(dāng)運(yùn) 動目標(biāo)接觸到虛擬直線、或"虛擬墻"邊界，改變跟蹤窗口顏色，當(dāng)運(yùn)動目標(biāo)越過虛擬直線、 或"虛擬墻"邊界恢復(fù)跟蹤窗口顏色，對觸線的運(yùn)動目標(biāo)進(jìn)行計(jì)數(shù)。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將視頻圖像轉(zhuǎn)換為圖像序列進(jìn)一步 具體包括：使用碼本對視頻序列進(jìn)行背景建模，完成對前景目標(biāo)的檢測，用前景檢測得到的 模板對粒子濾波的初始化設(shè)定ROI，在ROI中使用前景區(qū)域的HSV顏色直方圖作為模板初始 化粒子，進(jìn)行粒子狀態(tài)轉(zhuǎn)移并對粒子的權(quán)值進(jìn)行更新，對粒子的狀態(tài)進(jìn)行預(yù)測。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，判斷運(yùn)動目標(biāo)位置信息具體為，以視頻區(qū) 域的左下角0為原點(diǎn)，水平方向OC為X軸，垂直方向OA為y軸，建立直角坐標(biāo)系，根據(jù)公 式： (y2_yi) (χ_χι)_(χ2_χι) (yii) = 〇 確定虛擬線 L，根據(jù)公式
判斷運(yùn)動目標(biāo)與虛擬線L的位置 關(guān)系，LinePos = -1表示目標(biāo)在虛擬線左側(cè)，LinePos = 0表示目標(biāo)在虛擬線上，LinePos =1表示運(yùn)動目標(biāo)在虛擬線的右側(cè)，其中，（Xpy1)、（Xi^y2)分別為虛擬線端點(diǎn)坐標(biāo)，（ xci，y。） 為運(yùn)動目標(biāo)位置坐標(biāo)。
4. 根據(jù)權(quán)利要求1-3其中之一所述的方法，其特征在于，視頻區(qū)域中目標(biāo)與警戒線L的 位置關(guān)系判斷具體為：根據(jù)公式：
判斷運(yùn)動目標(biāo)是否穿越警戒線，若目標(biāo)未越 線則目標(biāo)的兩次位置信息相同，LineStatus = 1 ;若目標(biāo)觸線，LineStatus = 0 ;若目標(biāo)越 線則目標(biāo)的兩次位置信息不同，LineStatus = -1，其中，目標(biāo)進(jìn)入監(jiān)測區(qū)域的初始位置信 息為LinePosl,后續(xù)目標(biāo)位置信息為LinePos2。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，判斷運(yùn)動目標(biāo)位置信息進(jìn)一步包括，根據(jù) 公式：
判斷運(yùn)動目標(biāo)與虛擬墻的位 置，當(dāng)目標(biāo)位于Ll下面、L2左面、L3上面、L4右面，則判定目標(biāo)位于虛擬墻內(nèi)，表示 為AreaStatus = 1 ;當(dāng)目標(biāo)點(diǎn)位于任一條邊上時，判定目標(biāo)位于虛擬墻邊界上，表示為 AreaStatus = 0 ;其他情況表示目標(biāo)位于虛擬墻外，表示為AreaStatus = -1，其中，L1、L2、 L3、L4分別表示虛擬墻的四條邊界，目標(biāo)與四條邊的位置關(guān)系分別表示為LP1、LP2、LP3、 LP4。
6. 根據(jù)權(quán)利要求1、2或5所述的方法，其特征在于，當(dāng)虛擬墻為不規(guī)則多邊形，當(dāng)運(yùn) 動目標(biāo)矩形標(biāo)記框的至少有1個頂點(diǎn)位于不規(guī)則多邊形內(nèi)，判斷運(yùn)動目標(biāo)進(jìn)入不規(guī)則多邊 形的虛擬墻，以任一個頂點(diǎn)為端點(diǎn)，向左方做水平射線，當(dāng)射線和多邊形的交點(diǎn)個數(shù)為奇數(shù) 時，頂點(diǎn)在多邊形內(nèi)，交點(diǎn)個數(shù)為偶數(shù)時，頂點(diǎn)在多邊形外。
7. 根據(jù)權(quán)利要求1所述的方法，其特征在于，將人體正常行走狀態(tài)下跟蹤窗口長寬比 設(shè)定為閾值，當(dāng)視頻監(jiān)控中運(yùn)動人體給定連續(xù)幀長寬比大于或小于該閾值，跟蹤窗口顏色 變化，則判定人體為非正常行走狀態(tài)。
【專利摘要】本發(fā)明公開一種視頻序列圖像中的異常行為智能檢測方法，涉及圖像處理技術(shù)領(lǐng)域。本發(fā)明針對現(xiàn)有行為檢測技術(shù)運(yùn)算量大、實(shí)時性差的缺陷，通過碼本背景建模和改進(jìn)的粒子濾波對視頻序列圖像中的運(yùn)動目標(biāo)進(jìn)行目標(biāo)檢測與目標(biāo)跟蹤，然后設(shè)置警戒線、警戒區(qū)域，根據(jù)目標(biāo)檢測與跟蹤所得結(jié)果對運(yùn)動目標(biāo)的行為進(jìn)行分析，對運(yùn)動目標(biāo)越過警戒線、運(yùn)動目標(biāo)進(jìn)入虛擬墻、運(yùn)動目標(biāo)加速及其人體動作異常行為進(jìn)行檢測。
【IPC分類】G06K9-00, G06T7-20
【公開號】CN104680557
【申請?zhí)枴緾N201510104855
【發(fā)明人】瞿中, 鞠芳蓉, 陳昌志, 安世全, 劉達(dá)明
【申請人】重慶郵電大學(xué)
【公開日】2015年6月3日
【申請日】2015年3月10日