專利名稱：基于目標特征和報警行為的智能視頻檢索系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種智能視頻檢索系統(tǒng)和方法，尤其涉及一種綜合利用視頻中的目標 特征和報警行為的智能視頻檢索系統(tǒng)和方法。
背景技術(shù)：
視頻監(jiān)控系統(tǒng)存儲了海量的視頻數(shù)據(jù)，在目前的視頻監(jiān)控管理平臺中，一般是基 于攝像機安裝位置或IP地址并結(jié)合時間，對這些視頻進行查詢和回放。但對于一些特定 應(yīng)用，傳統(tǒng)的查詢方式無能為力，比如刑偵時查找，并不知道攝像機安裝位置和具體拍攝時 間，而只是知道嫌疑犯的一些特征；又比如一輛車被盜，要從幾天的視頻中定位其被盜時 間；又比如想快速瀏覽進出某個大門的人和車輛。隨著“平安城市”等大型安防監(jiān)控系統(tǒng)的 建設(shè)，對海量視頻的維護量也越來越大，對快速智能檢索的需求越來越強烈。當前出現(xiàn)了很多智能視頻分析器產(chǎn)品，在監(jiān)控系統(tǒng)中做行為分析和實時報警，但 還沒有專門針對歷史視頻對指定的報警行為作視頻檢索；當前也有一些基于內(nèi)容(即各種 圖像特征)的視頻檢索產(chǎn)品，對電影或者新聞鏡頭進行分析檢索。這些產(chǎn)品和學(xué)術(shù)研究為 實現(xiàn)監(jiān)控系統(tǒng)的海量視頻的綜合智能檢索提供了技術(shù)條件。

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明所要解決的技術(shù)問題是克服現(xiàn)有的視頻檢索方式的不足，提 供一種綜合利用目標特征和報警行為的智能視頻檢索系統(tǒng)和方法。技術(shù)方案本發(fā)明的基于目標特征和報警行為的智能視頻檢索系統(tǒng)為綜合利用視 頻中運動目標的特征及產(chǎn)生的報警行為的智能視頻檢索系統(tǒng)，其包括軌跡跟蹤模塊提取輸入視頻中目標的運動軌跡和報警行為；特征提取模塊提取輸入圖像的特征，包括顏色、紋理、形狀和類別；特征存儲模塊把運動軌跡、報警行為、目標特征和視頻相關(guān)信息存入特征數(shù)據(jù) 庫；搜索引擎模塊解析用戶輸入的檢索條件，從數(shù)據(jù)庫中進行基于特征和行為的視 頻檢索，返回滿足條件的視頻片段；檢索終端即客戶端軟件，接收用戶輸入的檢索條件，檢索后顯示檢索結(jié)果。所述的特征存儲模塊，運動軌跡信息包括每隔一定時間的目標的尺寸、速度、方向 和軌跡的圖像坐標及所在幀序號；報警行為信息包括行為類型及是否發(fā)生；目標特征包括 顏色、紋理、形狀，均以整數(shù)向量表示；目標類別為人、車輛、動物或其它，用對應(yīng)英文表示； 以上信息存儲到XML文件或直接存于數(shù)據(jù)庫。所述的搜索引擎模塊包括以下功能1).根據(jù)用戶選擇的文字描述的特征組合在特征數(shù)據(jù)庫進行比對查找，返回匹配 記錄；2).根據(jù)用戶選擇的圖像或視頻截圖，提取特征向量，即提取輸入查詢圖像中的顏色，紋理，及形狀特征向量，在特征數(shù)據(jù)庫中逐一計算向量間距離并加權(quán)排序；3).根據(jù)用戶選擇的報警類型及對應(yīng)的規(guī)則，與特征數(shù)據(jù)庫中的軌跡逐一進行匹 配計算，提取出滿足規(guī)則的軌跡作為報警行為；4).結(jié)合步驟1)、步驟2)和步驟3)中得到的結(jié)果進行綜合加權(quán)和排序。所述的檢索終端，用戶從中輸入檢索條件，包括拍攝地點、拍攝時間、目標特征、 類型、報警行為類型及其準則，條件為其中之一或其組合，并可指定各種特征的權(quán)重。其中 的目標特征的輸入有以下方式；(1)文字描述的特征，(2)用戶草圖描述的特征，(3)樣例圖 像或視頻作為目標特征?；谀繕颂卣骱蛨缶袨榈闹悄芤曨l檢索方法包括以下步驟1).監(jiān)控系統(tǒng)運行的同時，做軌跡跟蹤模塊和特征提取，把實時的目標軌跡、報警 行為和目標特征存入特征數(shù)據(jù)庫；2).用戶從檢索終端輸入檢索條件，目標特征為文字描述，由搜索引擎返回檢索結(jié) 果，顯示在檢索終端。6.如權(quán)利要求5所述的基于目標特征和報警行為的智能視頻檢索方法，其特征在 于，還可以按照以下步驟進行1).用戶從檢索終端輸入檢索條件，輸入一幅參考圖像或視頻的截屏圖像，把模板 圖像作為目標特征，根據(jù)需要輸入報警行為規(guī)則；2).用戶從檢索終端指定一個或多個視頻文件，分析這些視頻文件，做軌跡跟蹤和 特征提取，把得到的目標軌跡、報警行為和目標特征存入特征數(shù)據(jù)庫；3).用戶從檢索終端輸入檢索條件，搜索引擎返回檢索結(jié)果顯示在檢索終端。有益效果本檢索系統(tǒng)采用先進的目標跟蹤算法、特征提取算法、先進的數(shù)據(jù)庫結(jié) 構(gòu)和用戶接口 ；與現(xiàn)有技術(shù)相比，使用本檢索系統(tǒng)，用戶可以非常精確地定制檢索條件，可 以作基于目標特征和基于報警行為的視頻檢索；對實時分析所產(chǎn)生的特征可以非?？焖俚?得到檢索結(jié)果，并且系統(tǒng)記錄了目標的運動軌跡，因此可以根據(jù)軌跡與保健規(guī)則的匹配快 速檢測多類報警行為；特征數(shù)據(jù)庫的存儲成本很低。


圖1為本發(fā)明的系統(tǒng)框圖。圖2為本發(fā)明實施例一的流程圖。圖3為本發(fā)明實施例二的流程圖。
具體實施例方式下面將結(jié)合附圖和實施例對本發(fā)明作進一步的詳細描述(1)軌跡跟蹤模塊，分析輸入視頻，提取目標的運動軌跡，若定義了行為報警規(guī)則， 則當運動軌跡觸發(fā)該行為規(guī)則時會產(chǎn)生報警行為。(2)特征提取模塊，分析輸入圖像，提取圖像的全部或從步驟⑴得到的目標區(qū)域 的特征，包括顏色、紋理、形狀和類別。(3)特征存儲模塊，把軌跡跟蹤模塊提取的運動軌跡和報警行為，以及特征提取模 塊提取的目標的顏色、形狀和紋理特征、，連同攝像機地點和拍攝時間，存入特征數(shù)據(jù)庫，可以用XML文件的形式存儲，也可直接存入數(shù)據(jù)庫。(4)搜索引擎模塊，解析用戶輸入的檢索條件，從數(shù)據(jù)庫中進行基于特征和行為的 視頻檢索，返回滿足條件的視頻片段，按相似度排序。其中相似度的計算，對于文字描述的 特征，值為1(匹配)或0(不匹配)，對于樣例圖像特征，值為歸一化的向量間的歐氏距離， 目標行為則根據(jù)目標運動軌跡和定義的規(guī)則的相交判斷，值為1或0，最后把所有的相似度 按權(quán)值加權(quán)求和。(5)檢索終端，即客戶端軟件，接收用戶輸入的檢索條件，檢索后顯示檢索結(jié)果。上述(5)檢索終端，用戶從中輸入檢索條件，包括拍攝地點、拍攝時間、目標特征 (顏色、形狀、紋理)、目標類型(人、車輛)、報警行為類型(越線、越區(qū)、逆行、物體遺留、指 定物體出現(xiàn)、指定物體消失)及其準則(拌線、區(qū)域)，條件為其中之一或其組合，并可指定 各種特征的權(quán)重。其中的目標特征的輸入有以下方式；(1)文字描述的特征，如選擇了顏色特征，則需指定為以下顏色之一紅、綠、藍、 黃、青、黑、白、銀灰等；如選擇形狀特征，則需指定為以下形狀之一正方形、矩形、三角形、 圓形等。(2)用戶草圖描述的特征，比如，從調(diào)色板選擇一種顏色、草圖勾畫一個多邊形輪 廓、草圖畫一張紋理圖案。(3)輸入模板圖像，打開樣例圖像或視頻，由檢索系統(tǒng)提取圖像或者視頻截圖的顏 色、形狀、紋理特征作為隱式目標特征。檢索終端調(diào)用搜索引擎，得到檢索結(jié)果，以縮略圖形式顯示，并顯示所在視頻的相 關(guān)信息，包括拍攝地點、拍攝時間、所處幀號、相似度打分等，雙擊每個縮略圖可播放對應(yīng)視 頻中對應(yīng)幀號前后的視頻片段。綜合利用視頻中運動目標的特征及產(chǎn)生的報警行為的智能視頻檢索方法，包括以 下步驟(1)對視頻做軌跡跟蹤，得到每個運動目標的運動軌跡，若定義了報警規(guī)則則判斷 是否觸發(fā)了報警；(2)對運動目標區(qū)域做特征提取，得到目標的顏色、紋理和形狀特征；(3)把運動目標的軌跡、報警、特征信息存入數(shù)據(jù)庫；(4)根據(jù)輸入條件從數(shù)據(jù)庫查詢滿足要求的目標和報警行為。步驟(1)軌跡跟蹤所用的目標跟蹤算法和行為分析算法(1)運動軌跡采用基于Harris角點提取、SIFT特征匹配、跟蹤后聚類的方法得 到，或者基于高斯背景模型、提取背景差分后提取輪廓并跟蹤得到，跟蹤算法可以根據(jù)時間 需要跳幀執(zhí)行，每0.5秒記錄一次目標的尺寸、速度、方向和軌跡的圖像坐標、對應(yīng)的幀序 5等{曰息。(2)行為分析以目標跟蹤得到的運動軌跡為基礎(chǔ)，根據(jù)運動軌跡和設(shè)定準則的 相交來判斷如軌跡與絆線相交則發(fā)生越線行為、軌跡與區(qū)域相交則發(fā)生越區(qū)行為、運動方 向與指定方向相反則發(fā)生逆行行為、若軌跡長期停留在一處則為物體遺留；指定物體出現(xiàn) 和指定物體消失，需根據(jù)物體特征比對(Harris角點匹配，或SIFT特征匹配，或模板匹配) 來判斷。
步驟(2)特征提取所用的算法(1)顏色特征視頻幀或圖像解碼為彩色位圖，并從RGB(紅、綠、藍)顏色空間轉(zhuǎn) 換到HSV(色度、飽和度、亮度)顏色空間，建立直方圖作為特征向量。(2)形狀特征采用MPEG-7標準中的邊緣直方圖描述符(Edge HistogramDescriptor)實現(xiàn)作為特征向量。(3)紋理特征采用MPEG-7標準中的曲率尺度空間(Curvature Scale Space)或 局部二進制模式(Local Binary Pattern)作為特征向量。(4)目標類別根據(jù)目標的形狀特征、寬高比、紋理特征進行歸類為人、車輛、動物 或其它；也可根據(jù)事先用梯度直方圖(Histogram of Gradient)特征訓(xùn)練的模型來進行學(xué) 習(xí)識別。指定特征描述和報警行為規(guī)則，在監(jiān)控系統(tǒng)錄制的視頻中進行檢索，本發(fā)明所述 的智能檢索方法，包括以下步驟(1)監(jiān)控系統(tǒng)運行的同時，做軌跡跟蹤模塊和特征提取，把實時的目標軌跡、報警 行為和目標特征存入特征數(shù)據(jù)庫。(2)用戶從檢索終端輸入檢索條件，目標特征為文字描述，由搜索引擎返回檢索結(jié) 果，顯示在檢索終端。若通過輸入樣例圖像隱式指定目標特征，或只在指定視頻文件中進行檢索，本發(fā) 明還可以下步驟進行(1)用戶從檢索終端輸入檢索條件，輸入一幅參考圖像或視頻的截屏圖像，把模板 圖像作為目標特征，根據(jù)需要輸入報警行為規(guī)則。(2)用戶從檢索終端指定一個或多個視頻文件，分析這些視頻文件，做軌跡跟蹤和 特征提取，把得到的目標軌跡、報警行為和目標特征存入特征數(shù)據(jù)庫。(3)用戶從檢索終端輸入檢索條件，搜索引擎返回檢索結(jié)果顯示在檢索終端。圖1是本發(fā)明的系統(tǒng)框圖，以特征數(shù)據(jù)庫為中心，視頻流通過軌跡跟蹤模塊把目 標軌跡和報警信息送入特征存儲模塊、同時把目標區(qū)域送入特征提取模塊，得到的目標特 征也送入特征存儲模塊，這些信息匯總存于特征數(shù)據(jù)庫；用戶通過檢索終端(客戶端軟件) 輸入查詢條件，檢索終端自動調(diào)用搜索引擎模塊向特征數(shù)據(jù)庫查詢，查詢結(jié)果通過搜索引 擎模塊返回給檢索終端顯示。其中查詢條件包括但不限于目標特征描述(顏色、形狀、紋理)、樣例圖像或樣例 視頻的截屏作為模板(由系統(tǒng)自動提取其顏色、形狀、紋理、類別特征)、拍攝時間、拍攝地 點、報警行為類型(越線、越區(qū)、逆行、物體遺留、指定物體出現(xiàn)、指定物體消失)及對應(yīng)的 行為規(guī)則(直線或區(qū)域)、限定檢索范圍為一個或多個視頻文件等，以上檢索條件可任意組 合，并指定各自的權(quán)重。特征數(shù)據(jù)庫的生成可由攝像機拍攝時在線生成，也可從用戶臨時指定的視頻中生 成，都是通過調(diào)用軌跡跟蹤模塊、特征提取模塊和特征存儲模塊得到。檢索終端軟件在界面上包含有目標特征類別及各自的特征描述列表，拍攝時間 列表、拍攝地點列表、報警行為列表、畫直線和畫區(qū)域工具、選擇樣例圖像并顯示、選擇樣例 視頻、播放和截屏、指定在其中做檢索的一個或多個視頻文件、縮略圖顯示檢索結(jié)果、雙擊 可播放對應(yīng)的視頻片段等用戶接口。
實施例一本發(fā)明實施例一流程圖如圖2所示，用戶在監(jiān)控系統(tǒng)的視頻中檢索滿足條件的視 頻片段，檢索按以下步驟進行(1)監(jiān)控系統(tǒng)平時運行時，攝像機的視頻源做軌跡跟蹤和特征提取，并把提取的目 標軌跡、報警行為和目標特征存入了特征數(shù)據(jù)庫。(2)用戶從檢索終端輸入檢索條件，主要是各類特征描述和報警規(guī)則。比如檢索穿 越某條警戒線的紅色汽車，則目標特征設(shè)定為紅色，目標類別為汽車，報警行為為越線，并 畫直線作為拌線規(guī)則。如果不設(shè)報警規(guī)則，則為檢索所有的紅色汽車；如果不設(shè)目標特征， 只有報警規(guī)則，則為檢索任意運動目標越過警戒線的所有報警行為。(3)檢索終端調(diào)用搜索引擎得到檢索結(jié)果，以縮略圖形式顯示，并顯示所在視頻的 相關(guān)信息，包括拍攝地點、拍攝時間、所處幀號、相似度打分等，雙擊縮略圖可播放對應(yīng)視頻 中對應(yīng)幀號前后的視頻片段。實施例二本發(fā)明實施例二流程圖如圖2所示，監(jiān)控系統(tǒng)沒有運行，或監(jiān)控系統(tǒng)沒有做軌跡 跟蹤和特征提取，或者用戶不關(guān)心監(jiān)控系統(tǒng)的視頻數(shù)據(jù)，總之是沒有用戶需要的特征數(shù)據(jù) 庫。用戶在指定的視頻中檢索與指定圖像相似的視頻片段，檢索按以下步驟進行(1)用戶從檢索終端輸入檢索條件，此時的目標特征不是根據(jù)描述，而是打開一幅 圖像作為模板，或者打開一個視頻播放到某幀時作截屏，在模板圖像或者截屏圖像設(shè)定感 興趣區(qū)域，此區(qū)域圖像成為目標模板；檢索終端會自動做特征提取以得到目標特征向量，用 戶還可設(shè)定所關(guān)心的特征類型以及報警規(guī)則，這些條件都會自動送入搜索引擎。比如檢索 與指定模板圖像的形狀相似的目標越過該區(qū)域的報警行為，設(shè)定特征類型為形狀，報警行 為為越區(qū)，并畫一個多邊形區(qū)域。如果不設(shè)報警規(guī)則，則為檢索所有與模板圖像的形狀特征 相似的運動目標；如果不設(shè)特征類型，只有報警規(guī)則，則為檢索與模板圖像的整體特征相似 的目標越過該區(qū)域的所有報警行為。(2)用戶通過檢索終端指定在某些視頻文件中進行檢索，此時檢索終端會自動做 軌跡跟蹤和特征提取，對這些視頻進行分析，并把提取的目標軌跡、報警行為和目標特征存 入特征數(shù)據(jù)庫，這一步的執(zhí)行時間與視頻內(nèi)容的多少有關(guān)。(3)用戶通過檢索終端開始檢索時，由搜索引擎得到檢索結(jié)果，反映在檢索終端的 界面上。本發(fā)明還可以有其它實施方法，凡采用同等替換或等效變換形成的技術(shù)方案，均 落在本發(fā)明要求保護的范圍之內(nèi)。
權(quán)利要求
一種基于目標特征和報警行為的智能視頻檢索系統(tǒng)，其特征在于，包括軌跡跟蹤模塊提取輸入視頻中目標的運動軌跡和報警行為；特征提取模塊提取輸入圖像的特征，包括顏色、紋理、形狀和類別；特征存儲模塊把運動軌跡、報警行為、目標特征和視頻相關(guān)信息存入特征數(shù)據(jù)庫；搜索引擎模塊解析用戶輸入的檢索條件，從數(shù)據(jù)庫中進行基于特征和行為的視頻檢索，返回滿足條件的視頻片段；檢索終端即客戶端軟件，接收用戶輸入的檢索條件，檢索后顯示檢索結(jié)果。
2.如權(quán)利要求1所述的基于目標特征和報警行為的智能視頻檢索系統(tǒng)，其特征在于 所述的特征存儲模塊，運動軌跡信息包括每隔一定時間的目標的尺寸、速度、方向和軌跡的 圖像坐標及所在幀序號；報警行為信息包括行為類型及是否發(fā)生；目標特征包括顏色、紋 理、形狀，均以整數(shù)向量表示；目標類別為人、車輛、動物或其它，用對應(yīng)英文表示；以上信 息存儲到XML文件或直接存于數(shù)據(jù)庫。
3.如權(quán)利要求1所述的基于目標特征和報警行為的智能視頻檢索系統(tǒng)，其特征在于 所述的搜索引擎模塊包括以下功能1).根據(jù)用戶選擇的文字描述的特征組合在特征數(shù)據(jù)庫進行比對查找，返回匹配記錄；2).根據(jù)用戶選擇的圖像或視頻截圖，提取特征向量，即提取輸入查詢圖像中的顏色， 紋理，及形狀特征向量，在特征數(shù)據(jù)庫中逐一計算向量間距離并加權(quán)排序；3).根據(jù)用戶選擇的報警類型及對應(yīng)的規(guī)則，與特征數(shù)據(jù)庫中的軌跡逐一進行匹配計 算，提取出滿足規(guī)則的軌跡作為報警行為；4).結(jié)合步驟1)、步驟2)和步驟3)中得到的結(jié)果進行綜合加權(quán)和排序。
4.如權(quán)利要求1所述的基于目標特征和報警行為的智能視頻檢索系統(tǒng)，其特征在于 所述的檢索終端，用戶從中輸入檢索條件，包括拍攝地點、拍攝時間、目標特征、類型、報警 行為類型及其準則，條件為其中之一或其組合，并可指定各種特征的權(quán)重。其中的目標特征 的輸入有以下方式；(1)文字描述的特征，(2)用戶草圖描述的特征，(3)樣例圖像或視頻作 為目標特征。
5.一種基于目標特征和報警行為的智能視頻檢索方法，其特征在于，該方法包括以下 步驟1).監(jiān)控系統(tǒng)運行的同時，做軌跡跟蹤模塊和特征提取，把實時的目標軌跡、報警行為 和目標特征存入特征數(shù)據(jù)庫；2).用戶從檢索終端輸入檢索條件，目標特征為文字描述，由搜索引擎返回檢索結(jié)果， 顯示在檢索終端。
6.如權(quán)利要求5所述的基于目標特征和報警行為的智能視頻檢索方法，其特征在于， 還可以按照以下步驟進行1).用戶從檢索終端輸入檢索條件，輸入一幅參考圖像或視頻的截屏圖像，把模板圖像 作為目標特征，根據(jù)需要輸入報警行為規(guī)則；2).用戶從檢索終端指定一個或多個視頻文件，分析這些視頻文件，做軌跡跟蹤和特征 提取，把得到的目標軌跡、報警行為和目標特征存入特征數(shù)據(jù)庫；3).用戶從檢索終端輸入檢索條件，搜索引擎返回檢索結(jié)果顯示在檢索終端。
全文摘要
基于目標特征和報警行為的智能視頻檢索系統(tǒng)和方法涉及一種智能視頻檢索系統(tǒng)和方法，包括軌跡跟蹤模塊提取輸入視頻中目標的運動軌跡和報警行為；特征提取模塊提取輸入圖像的特征，包括顏色、紋理、形狀和類別；特征存儲模塊把運動軌跡、報警行為、目標特征和視頻相關(guān)信息存入特征數(shù)據(jù)庫；搜索引擎模塊解析用戶輸入的檢索條件，從數(shù)據(jù)庫中進行基于特征和行為的視頻檢索，返回滿足條件的視頻片段；檢索終端即客戶端軟件，接收用戶輸入的檢索條件，檢索后顯示檢索結(jié)果。與現(xiàn)有技術(shù)相比，使用本檢索系統(tǒng)，用戶可以非常精確地定制檢索條件，可以作基于目標特征和基于報警行為的視頻檢索；對實時分析所產(chǎn)生的特征可以非常快速的得到檢索結(jié)果。
文檔編號G06K9/46GK101840422SQ201010145468
公開日2010年9月22日 申請日期2010年4月9日 優(yōu)先權(quán)日2010年4月9日
發(fā)明者騫森 申請人:江蘇東大金智建筑智能化系統(tǒng)工程有限公司