基于時間遞歸神經(jīng)網(wǎng)絡(luò)的人群異常檢測和定位系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機視覺領(lǐng)域，特別涉及一種基于時間遞歸神經(jīng)網(wǎng)絡(luò)的人群異常檢測和定位系統(tǒng)及方法。
【背景技術(shù)】
[0002]群體事件檢測是指對由大量目標所構(gòu)成的事件進行檢測，以此來發(fā)現(xiàn)異常或者是發(fā)現(xiàn)具體的我們所感興趣的事件，來幫助人們迅速作出決策。異常檢測和定位是群體事件檢測中的一個重要方面。一方面，隨著社會的發(fā)展進步，人口持續(xù)快速的增長，伴隨著城鎮(zhèn)化，人群現(xiàn)象越來越頻繁，這為公共空間的安全留下了一個隱患。特別是在當代，恐怖事件頻繁發(fā)生，這嚴重的危害到了廣大人民群眾的生命和財產(chǎn)安全，為了能夠盡早發(fā)現(xiàn)，盡快采取相應(yīng)的應(yīng)對措施，如能夠通過廣布的監(jiān)控設(shè)備進行事件的檢測和跟蹤，及時的發(fā)現(xiàn)異常事件，對于人民的生命財產(chǎn)安全有著深遠的意義。另一方面，對于目前來說，監(jiān)控設(shè)備智能程度不高，這就相應(yīng)的也需要配備相應(yīng)的人員實時的對監(jiān)控情況進行跟蹤，對異常及時反饋處理，而這些工作是相當枯燥的，通過對視頻監(jiān)控事件的研宄，可以自動的發(fā)現(xiàn)視頻中的異常情況，或者特殊的事件，這樣可以大大減輕工作人員的工作量，讓他們能從枯燥的工作中解放出來。這兩方面使得人群異常檢測和定位系統(tǒng)和方法，具有巨大的商業(yè)價值。
[0003]目前針對的異常檢測主要可以分成兩類:整體異常檢測和局部異常檢測。整體異常指的是由場景中的所有個體引發(fā)的異常，如人群恐慌。整體異常檢測的任務(wù)是檢測異常事件，并確定異常事件的起始和終止位置，以及它們之間的過渡。局部異常是指由某個個體引發(fā)的異常，這個個體可能有別于其他正常的個體。局部異常檢測的任務(wù)是檢測異常事件，并定位異常發(fā)生的位置。目前大部分的算法只針對其中一種任務(wù)，同時適用這兩種任務(wù)的算法比較少。并且很多的局部異常檢測方法，將檢測和定位分開考慮，即先檢測出異常幀，再在異常幀中定位異常發(fā)生的位置，這樣顯然花費了更多時間。
[0004]人群異常檢測由于異常定義的主觀性，使得異常形式多樣，其中大部分的異常主要由人群動態(tài)的變化情況觸發(fā)的，有少數(shù)的異常情況除了人群動態(tài)之外還需要借助外形特征來輔助檢測。人群異常檢測主要的目標在于尋找人群狀態(tài)的變化與人群異常之間存在的關(guān)系。這里面主要包含兩個關(guān)鍵點:1)構(gòu)建能刻畫人群狀態(tài)變化的特征，2)構(gòu)建人群狀態(tài)的變化與人群異常之間存在的關(guān)系的模型。人群狀態(tài)變化主要可以從四個維度來刻畫:1)人群之間空間維度的變化關(guān)系，2)人群之間時間維度的變化關(guān)系，3)人群在每一時刻的運動狀態(tài)，4)有些還需要借助人群在每一時刻的外形特征。目前用于刻畫人群狀態(tài)變化的特征，有光流直方圖、局部時空立方體建模、光流聚類、社會動力模型等，而構(gòu)建人群狀態(tài)變化與人群異常之間存在的關(guān)系則常常通過在訓(xùn)練數(shù)據(jù)上擬合一個概率模型，將概率接近某一類別的測試樣本判別為該類行為，如隱馬爾可夫模型、隱條件隨機場等。
[0005]目前已有的人群異常行為檢測的專利技術(shù)主要分為幾類，其中以中國計量學(xué)院為代表的，申請?zhí)枮镃N201210223375、發(fā)明名稱為“視頻監(jiān)控中的團體人群異常行為檢測方法”的專利是在目標檢測和跟蹤的基礎(chǔ)上進行的，而對于人群來說，由于人群場景的復(fù)雜性，在人群場景中存在著大量的遮擋，目標檢測和追蹤很難達到較好的效果；以上海交通大學(xué)為代表的，申請?zhí)枮镃N201210065523、發(fā)明名稱為“基于LBP加權(quán)社會力模型的人群異常事件檢測方法”的專利，沒有考慮到時間的依賴關(guān)系；以中國計量學(xué)院為代表的，申請?zhí)枮镃N201310494769、發(fā)明名稱為“基于SIFT流和隱條件隨機場的人群異常行為識別方法”的專利，雖然考慮了長時間依賴關(guān)系，但是跟我們的方法是不同的，隱條件隨機場希望刻畫人群動態(tài)背后的概率分布，而時間遞歸神經(jīng)網(wǎng)絡(luò)則是直接擬合數(shù)據(jù)，或者直接找到區(qū)別不同序列類別的判別分界面，對于人群動態(tài)來說，想要找到較好的概率分布是比較難的；而以中山大學(xué)為代表的，申請?zhí)枮镃N201410312813、發(fā)明名稱為“一種采用單類序列化模型的人群異常行為檢測方法”的專利，仍然沒有考慮時間依賴關(guān)系，只是在最后使用了隱含馬爾科夫模型進行了平滑處理。并且其中大部分的方法都沒有考慮到不同位置之間的關(guān)系，而對于由某個個體引發(fā)的異常情況，不同位置之間的關(guān)系是有助于檢測異常的；其中大部分的方法也都沒有考慮到外形特征，這樣的話對于某些異常很難檢測，例如車以很慢的速度開到行道上，或者一頭牛出現(xiàn)在人群中。
[0006]參考文獻
[0007][I]上海交通大學(xué).基于改進的社會力模型的異常集群行為檢測方法:中國，CN102156880B[P], 2013.01.09.
[0008][2]上海交通大學(xué).基于LBP加權(quán)社會力模型的人群異常事件檢測方法:中國，CN102682303B[P], 2014.04.30.
[0009][3]中國計量學(xué)院.視頻監(jiān)控中的團體人群異常行為檢測方法:中國，CN102799863A[P], 2012.11.28.
[0010][4]中國計量學(xué)院.基于機器學(xué)習(xí)的人群異常行為檢測方法:中國，CN102930248A[P], 2013.02.13.
[0011][5]燕山大學(xué).一種基于因果網(wǎng)絡(luò)分析的中等規(guī)模人群異常行為檢測方法:中國，CN103020591A[P], 2013.04.03..
[0012][6]北京聯(lián)合大學(xué).一種基于FAST的人群異常行為識別方法:中國，CN103488993A[P], 2014.01.01.
[0013][7]中國計量學(xué)院.一種基于微行為分析的密集人群異常行為檢測方法:中國，CN103593646A[P], 2014.02.19.
[0014][8]中國計量學(xué)院.基于SIFT流和隱條件隨機場的人群異常行為識別方法:中國，CN103577804A[P], 2014.02.12.
[0015][9]中國計量學(xué)院.基于SURF流和LLE稀疏表示的人群異常行為識別方法:中國，CN103699874A[P], 2014.04.02.
[0016][10]中山大學(xué).一種采用單類序列化模型的人群異常行為檢測方法:中國，CN104077571A[P], 2014.10.01.

【發(fā)明內(nèi)容】

[0017]為了解決上述問題，本發(fā)明提出了一種人群異常檢測和定位系統(tǒng)及方法。
[0018]本發(fā)明的人群異常檢測和定位系統(tǒng)包括:用戶接口，用于系統(tǒng)與用戶的交互，包括提示用戶并輸出結(jié)果給用戶和方便用戶查看歷史檢測結(jié)果；管理員接口，用于管理員對檢測結(jié)果進行修正，或者構(gòu)建初始異常視頻訓(xùn)練樣本數(shù)據(jù)庫；數(shù)據(jù)接口，用于把從監(jiān)控設(shè)備上獲取的數(shù)據(jù)存入到監(jiān)控視頻數(shù)據(jù)庫中，或者直接將實時數(shù)據(jù)用于異常檢測和定位；監(jiān)控視頻數(shù)據(jù)庫，用于存儲從監(jiān)控設(shè)備上獲取到的數(shù)據(jù)；人群異常樣本數(shù)據(jù)庫，用于存儲各種已標注的訓(xùn)練樣本；模型數(shù)據(jù)庫，用于存儲訓(xùn)練好的時間遞歸神經(jīng)網(wǎng)絡(luò)模型；異常檢測結(jié)果數(shù)據(jù)庫，用于存儲異常檢測結(jié)果，方便之后管理人員進行修正，以對樣本數(shù)據(jù)庫進行更新，也方便用戶查看歷史檢測結(jié)果；視頻預(yù)處理模塊，該模塊用于對從監(jiān)控設(shè)備上獲取到的視頻信息以及原始訓(xùn)練樣本數(shù)據(jù)進行圖像預(yù)處理等操作，方便之后的特征提?。惶卣魈崛∧K，用于從每個時空塊中提取移動和外形特征，并將從所有時空塊中獲取到的信息向量化，轉(zhuǎn)化為規(guī)定的訓(xùn)練數(shù)據(jù)格式；時間遞歸神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練模塊，使用轉(zhuǎn)化后的訓(xùn)練數(shù)據(jù)調(diào)整模型參數(shù)，對時間遞歸神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練，將訓(xùn)練好的時間遞歸神經(jīng)網(wǎng)絡(luò)模型保存到模型數(shù)據(jù)庫中；異常檢測和定位模塊，將向量化的視頻信息輸入已訓(xùn)練好的時間遞歸神經(jīng)網(wǎng)絡(luò)模型中進行異常檢測和定位，輸出結(jié)果給異常展示模塊。
[0019]本發(fā)明還提出了一種基于時間遞歸神經(jīng)網(wǎng)絡(luò)的人群異常檢測和定位方法，該方法包括以下四個步驟:1)對視頻進行網(wǎng)格化劃分，將由η幀構(gòu)成的視頻片段劃分成多個時空塊；2)利用光流算法計算光流，從每個時空塊中構(gòu)造多規(guī)模的光流直方圖并利用Gabor小波提取紋理特征，并將從多個時空塊中提取的特征向量化后合并起來，訓(xùn)練并獲得具有長時間依賴特性的時間遞歸神經(jīng)網(wǎng)絡(luò)模型；3)對視頻信息進行預(yù)處理，特征提取，利用階段2中訓(xùn)練好的時間遞歸神經(jīng)網(wǎng)絡(luò)模型實現(xiàn)人群異常檢測和定位，并保存檢測結(jié)果；4)引入反饋機制，能夠?qū)ε袛噱e誤的樣本數(shù)據(jù)進行學(xué)習(xí)。
[0020]使用本發(fā)明的系統(tǒng)與方法具有以下幾方面的優(yōu)點:1)異常檢測和定位同時進行。能夠在檢測出異常場景的情況下，同時發(fā)現(xiàn)異常發(fā)生的位置，而不需要將這兩個分開進行，使得檢測效率更加高，有較好的實時性；2)有良好的準確率。一方面，使用時間遞歸神經(jīng)網(wǎng)絡(luò)，可以發(fā)現(xiàn)視頻中的長依賴關(guān)系，而人群異常情況正是根據(jù)人群動態(tài)的變化情況來判斷的，使用時間遞歸神經(jīng)網(wǎng)絡(luò)可以很好的發(fā)現(xiàn)這種動態(tài)的變化。另一方面，人群中某些個體與周圍其他的個體的狀態(tài)的差異性也是判斷異常的一個方面，而通過對場景網(wǎng)格化可以很好的利用時間遞歸神經(jīng)網(wǎng)絡(luò)模型來獲取不同網(wǎng)格之間的位置關(guān)系；3)能檢測多種異常情況。即能檢測由多個個體觸發(fā)的異常也能檢測由少數(shù)幾個個體觸發(fā)的異常；4)系統(tǒng)具有自動學(xué)習(xí)機制。反饋機制的引入能夠幫助模型學(xué)習(xí)判斷錯誤的樣本信息，使得模型能夠不斷地學(xué)習(xí)，提高精度，達到越用越準確的效果；5)不需要進行目標追蹤，而是基于整體的方法，來提取局部整體的動態(tài)特征。
【附圖說明】
[0021]圖1為本發(fā)明的基于時間遞歸神經(jīng)網(wǎng)絡(luò)的人群異常檢測和定位系統(tǒng)架構(gòu)圖；
[0022]圖2為本發(fā)明的基于時間遞歸神經(jīng)網(wǎng)絡(luò)的人群異常檢測和定位方法的流程圖；
[0023]圖3為本發(fā)明的基于時間遞歸神經(jīng)網(wǎng)絡(luò)的人群異常檢測和定位方法中訓(xùn)練樣本數(shù)據(jù)收集步驟的實現(xiàn)原理圖；
[0024]圖4為本發(fā)明的基于時間遞歸神經(jīng)網(wǎng)絡(luò)的人群異常檢測和定位方法中時間遞歸神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練步驟的實現(xiàn)原理圖；
[0025]圖5為本發(fā)明的基于時間遞歸神經(jīng)網(wǎng)絡(luò)的人群異常檢測和定位方法中異常檢測和定位步驟的實現(xiàn)原理圖。
【具體實施方式】
[0026]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進一步詳細說明。
[0027]圖1示出了本發(fā)明基于時間遞歸神經(jīng)網(wǎng)絡(luò)的人群異常檢測和定位系統(tǒng)的架構(gòu)圖。
[0028]參照圖1，本發(fā)明的人群異常檢測和定位系統(tǒng)包括用戶接口、數(shù)據(jù)接口、異常視頻訓(xùn)練樣本數(shù)據(jù)庫、模型數(shù)據(jù)庫、異常檢測結(jié)果數(shù)據(jù)庫、監(jiān)控視頻數(shù)據(jù)庫、視頻預(yù)處理模塊、特征抽取模塊、時間遞歸神經(jīng)網(wǎng)絡(luò)