專利名稱：基于多路網(wǎng)絡(luò)視頻流并行處理的分區(qū)視頻監(jiān)控方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于多路網(wǎng)絡(luò)視頻流并行處理的分區(qū)視頻監(jiān)控方法。
背景技術(shù)：
作為視頻運動目標(biāo)檢測與跟蹤技術(shù)的主要應(yīng)用之一，視頻監(jiān)控隨著多媒體 技術(shù)應(yīng)用水平的提高、計算機網(wǎng)絡(luò)技術(shù)的演進(jìn)、數(shù)字媒體設(shè)備和網(wǎng)絡(luò)基礎(chǔ)設(shè)施 的改善而迅速發(fā)展，對社會生活生產(chǎn)的影響日漸擴(kuò)大，有著顯著的實用價值。 如在地鐵、商場、機場及一些涉及信息安全和保密的場所，視頻監(jiān)控技術(shù)的應(yīng) 用可以方便實現(xiàn)監(jiān)視和安防的自動化。特別地，人工智能技術(shù)的滲透應(yīng)用使得 視頻監(jiān)控向著更加智能化的方向發(fā)展，智能視頻監(jiān)控系統(tǒng)不僅可以實現(xiàn)基本的 監(jiān)測、報警和自動錄像等功能，而且能夠進(jìn)一步地分析檢測結(jié)果，對目標(biāo)物體 進(jìn)行分割和聚類，甚至從高層語義層次實現(xiàn)目標(biāo)物體的識別與行為理解。
近年來，隨著攝像設(shè)備價格下降、計算機計算能力增強和網(wǎng)絡(luò)速度的提高， 以及人民日益增長的生活水平和對安全防范設(shè)備要求的不斷提高，視頻監(jiān)控技 術(shù)獲得了日益廣泛的研究與應(yīng)用。許多關(guān)于視頻監(jiān)控的大規(guī)模研究項目已經(jīng)在 美國、歐洲和日本展開，國內(nèi)也陸續(xù)掀起研究高潮，視頻監(jiān)控已經(jīng)成為許多國 際學(xué)術(shù)會議關(guān)注的重要主題。視頻監(jiān)控的應(yīng)用也已經(jīng)涉及到各行各業(yè)，例如對 交警系統(tǒng)中的違規(guī)、違法行為的監(jiān)視，銀行內(nèi)防盜系統(tǒng)的監(jiān)視等應(yīng)用。通過視 頻監(jiān)控系統(tǒng)，人們可以很方便地對需要進(jìn)行監(jiān)視管理的場景進(jìn)行智能化的管理， 結(jié)合遙控技術(shù)可以對現(xiàn)場進(jìn)行遠(yuǎn)程管理，同時可以進(jìn)行視頻錄像的保存，以便 進(jìn)行后續(xù)分析和取證。
從檢測算法的研究來看，視頻運動目標(biāo)檢測存在的技術(shù)困難主要來源于運 動圖像固有的動態(tài)背景特性、光照環(huán)境的變化、陰影的干擾和目標(biāo)物體速度等 因素的影響。現(xiàn)有的檢測算法基本都存在著優(yōu)勢與不足的互補，任何一種算法 都難以適應(yīng)所有的應(yīng)用需求，也幾乎沒有統(tǒng)一的最優(yōu)算法。因此，對于不同的 實際應(yīng)用可以采用不同檢測算法，并根據(jù)檢測目標(biāo)的運動規(guī)律和場景的光照環(huán) 境波動特點對算法加以實現(xiàn)層次上的改進(jìn).
總體而言，在核心監(jiān)控功能方面，通常視頻監(jiān)控系統(tǒng)作為客戶端應(yīng)用軟件
運動于獨立的通用PC機上，其運動檢測模塊負(fù)責(zé)對網(wǎng)絡(luò)視頻流媒體數(shù)據(jù)進(jìn)行實 時分析處理和檢測，及時地警示指定區(qū)域內(nèi)前景運動目標(biāo)的狀態(tài)，同時系統(tǒng)需 要能較為穩(wěn)定地處理如光照變化，背景運動等來自環(huán)境的干擾，在此基礎(chǔ)上實現(xiàn)分級報警和自動報警錄像功能等。在系統(tǒng)管理與用戶操縱方面，系統(tǒng)需要支 持用戶自定義監(jiān)控區(qū)域并實施分區(qū)域單獨監(jiān)控，同時進(jìn)行多個區(qū)域并發(fā)監(jiān)控處
理，能夠通過系統(tǒng)對遠(yuǎn)程DVR (硬盤錄像機)節(jié)點進(jìn)行配置和控制。此外，作 為系統(tǒng)的重要目標(biāo)之一，監(jiān)控系統(tǒng)需要在保證良好的實時性情況下同時對多個 DVR的多通道視頻流進(jìn)行監(jiān)控處理，并且具有一定的異常事件處理能力和較好 的容錯性。最后，系統(tǒng)也應(yīng)提供良好的交互接口以提高其易用性與實用性，允 許用戶隨時對報警錄像進(jìn)行關(guān)聯(lián)回放，自由切換多路監(jiān)控圖像的瀏覽方式，具 有監(jiān)控區(qū)域的交互定義、刪除、屬性編輯功能，提供監(jiān)控的啟停與重置控制， 監(jiān)控區(qū)域?qū)傩孕畔⒏犹崾?，支持報警等級定義并按報警聲和前景運動區(qū)域閃 爍邊框進(jìn)行報警等級區(qū)分，自動后臺維護(hù)報警事件日志與運行日志，提供方便 的錄像備査管理功能，當(dāng)環(huán)境變化而使能見度變得很差時，系統(tǒng)自動啟動、暫 停告警機制，如果網(wǎng)絡(luò)通信中止或傳輸故障，系統(tǒng)可在網(wǎng)絡(luò)傳輸恢復(fù)后自動從 斷點恢復(fù)工作等等。
在運動目標(biāo)檢測算法的基礎(chǔ)上實現(xiàn)實時場景的監(jiān)控，進(jìn)而依據(jù)用戶的監(jiān)控 定義進(jìn)行及時報警是整個監(jiān)控系統(tǒng)的中心目標(biāo)。系統(tǒng)不僅要提供對整個視頻幀 進(jìn)行目標(biāo)監(jiān)控的基本功能，而且允許用戶通過隨手畫圖方式定義出不同幾何形 狀邊界的子監(jiān)控區(qū)域，并針對每個監(jiān)控區(qū)域進(jìn)行單獨檢測。這種分區(qū)域監(jiān)控的 實現(xiàn)方式實際上也符合了視頻監(jiān)控系統(tǒng)應(yīng)用中的一般需求，即用戶可以對自己 的興趣區(qū)域(Region of Interest)進(jìn)行監(jiān)控，而不關(guān)心其它區(qū)域是否有運動目標(biāo) 出現(xiàn)或消失。如在海事場景監(jiān)控中，用戶通常主要關(guān)心是航運中心的安檢入口， 碼頭的航道通行口，船只上的艙門等安全敏感區(qū)域。
為了適應(yīng)視頻場景中不同關(guān)注區(qū)域的形狀，系統(tǒng)提供了多邊形和任意曲邊 形的監(jiān)控區(qū)域定義方式，同時提供常用的矩形區(qū)域和橢圓形區(qū)域定義。另外， 視圖管理模塊也通過仿畫圖操作方式實現(xiàn)隨手畫定監(jiān)控區(qū)域，增強系統(tǒng)的易用 性和靈活性。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)的不足，提供一種基于多路網(wǎng)絡(luò)視頻流并行 處理的分區(qū)視頻監(jiān)控方法。 包括如下步驟
1) 通過畫圖交互方式定義監(jiān)控區(qū)域；
2) 指定子監(jiān)控區(qū)域的關(guān)鍵屬性初始值，包括如下步驟
(a)提供系統(tǒng)自動編號和手工指定編號兩種可選方式；(b)指定監(jiān)控區(qū)域名稱與監(jiān)控目的；并用預(yù)定默認(rèn)值初始化報警等級與監(jiān)控 靈敏度。
3) 分配新定義監(jiān)控子區(qū)域的監(jiān)控標(biāo)識碼，用于后續(xù)的分區(qū)域并行監(jiān)控、屬 性編輯，針對子窗口的監(jiān)控標(biāo)識碼矩陣中的屬于區(qū)域內(nèi)的像素對應(yīng)的元素值與 此區(qū)域編號一致；
4) 對各個子區(qū)域進(jìn)行并行監(jiān)控管理，并行監(jiān)控管理包括監(jiān)控狀態(tài)、名稱、 編號、監(jiān)控目的基本區(qū)域?qū)傩?、監(jiān)控相關(guān)的參數(shù)，相關(guān)的參數(shù)包括報警等級、 監(jiān)控靈敏度、報警聲開關(guān)、區(qū)域外邊框可見性；
5) 依據(jù)交互定義實施分區(qū)視頻監(jiān)控與分級報警；
6) 按當(dāng)前全局錄像模式實施不同的報警錄像控制，全局錄像模式包括持續(xù) 錄像模式和延時錄像模式，通過延時報警錄像模式實現(xiàn)錄像自動停止控制。
所述的通過畫圖交互方式定義監(jiān)控區(qū)域步驟
(C)用鼠標(biāo)點擊拖放的方式給出監(jiān)控子區(qū)域的各條邊界；
(d) 建立用于記錄新增監(jiān)控子區(qū)域的數(shù)據(jù)結(jié)構(gòu)，依據(jù)監(jiān)控區(qū)域的形狀不同而 采用相應(yīng)的數(shù)據(jù)結(jié)構(gòu)，且對于任意曲邊形處理為邊數(shù)較多的多邊形；
(e) 給定監(jiān)控區(qū)域的基本屬性及監(jiān)控相關(guān)屬性的初始化值。 所述的分配新定義監(jiān)控子區(qū)域的監(jiān)控標(biāo)識碼步驟
(f) 搜索在子監(jiān)控窗口全部監(jiān)控區(qū)域范圍內(nèi)的當(dāng)前最小可用區(qū)域編號作為新 監(jiān)控區(qū)域編號值；
(g) 依據(jù)已經(jīng)分配的局部唯一的區(qū)域編號分配區(qū)域監(jiān)控標(biāo)識碼，同時以區(qū)域 監(jiān)控標(biāo)識碼設(shè)定子窗口監(jiān)控標(biāo)識碼矩陣的相應(yīng)元素，元素置值時按區(qū)域內(nèi)像素 點坐標(biāo)進(jìn)行索引。
所述的依據(jù)交互定義實施分區(qū)視頻監(jiān)控與分級報警步驟
(h) 根據(jù)監(jiān)控靈敏度定義確定與運動目標(biāo)檢測算法內(nèi)部實現(xiàn)相關(guān)的參量和閾
值的取值，監(jiān)控靈敏度由GMM算法中權(quán)重閾值7^定義；
(i) 根據(jù)報警等級設(shè)定發(fā)送區(qū)域報警信號所需要的參數(shù)，所需要的參數(shù)包括 報警聲音的頻率、延時時長和區(qū)域邊框閃爍顏色；
(j)建立用于區(qū)域監(jiān)控的線程，并接受監(jiān)控啟?；蛑刂每刂啤?所述的進(jìn)行監(jiān)控靈敏度的定義步驟通過GMM運動目標(biāo)檢測算法中的關(guān)
鍵參數(shù)；來定義，同時參考前景目標(biāo)在監(jiān)控區(qū)域內(nèi)的持續(xù)時長，以幀數(shù)為計量
尺度
5 = argmiru(Z欣> 公式(2)式中L為確定像素真實背景模型的閾值和參量。所述的依據(jù)交互定義實施分區(qū)視頻監(jiān)控與分級報警步驟報警等級從一級 至四級依次指示對監(jiān)控區(qū)域的關(guān)注程度的遞減，采用的顏色亮度、可見度依次 減弱。所述的按當(dāng)前全局錄像模式實施不同的報警錄像控制步驟(k)當(dāng)開啟區(qū)域監(jiān)控并發(fā)生報警后，開始建立針對子窗口的報警錄像定時器;(l)在發(fā)生報警時，如果同子窗口內(nèi)的其它監(jiān)控區(qū)域已經(jīng)在錄像，則定時器 在計時，先停止前一個定時器，并新建一個定時器，重啟計時；(m)當(dāng)報警動作消失，在持續(xù)錄像模式下，報警錄像將一直進(jìn)行，直至進(jìn)行 人工干預(yù)；在延時錄像模式下則按指定的延時時長，由定時器控制在計時器到 終點值時自動停止錄像。所述的通過延時報警錄像模式實現(xiàn)錄像自動停止控制步驟(n)當(dāng)子窗口所用錄像定時器超時后，通過檢測當(dāng)前本子窗口內(nèi)全部的監(jiān)控 區(qū)域的運動檢測結(jié)果標(biāo)記，用"無前景物體","有前景物體"區(qū)分運動物體是否引 起監(jiān)控區(qū)域內(nèi)的報警，則當(dāng)檢測到有任何其它區(qū)域的標(biāo)記為"有前景物體"時重置 定時器，即當(dāng)所有監(jiān)控區(qū)域當(dāng)前均無錄像運作時才停止本子窗口對應(yīng)通道上的 視頻流錄像，同時關(guān)閉定時器；(o)對于由定時器控制而超時停止錄像的報警子監(jiān)控區(qū)域，其錄像停止伹保 持其外框警示繼續(xù)；(p)當(dāng)再次有前景物體進(jìn)入此類區(qū)域時，將重新觸發(fā)開始錄像，并且定時重 新恢復(fù)工作，計時開始。本發(fā)明采用監(jiān)控子窗口的區(qū)域劃分并實施同一路視頻流中多個監(jiān)控子區(qū)域 的并行監(jiān)控，它主要涉及區(qū)域的自然交互定義、區(qū)域獨立監(jiān)控管理、分級報警以 及擴(kuò)展的延時錄像等方法。通過子區(qū)域監(jiān)控策略的實施，不僅可以滿足大量實 用的視頻監(jiān)控應(yīng)用軟件的需求，更重要地它可以在很大程度上提高整個系統(tǒng)的 易用性與靈活性，而且由于通常一個監(jiān)控子窗口內(nèi)的監(jiān)控區(qū)域較小，監(jiān)控區(qū)域 的數(shù)量也取決于用戶的興趣區(qū)域， 一般也不會太多，因此分區(qū)域監(jiān)控的機制可 以大提高系統(tǒng)的整體實時性能。本發(fā)明適用于在視頻監(jiān)控系統(tǒng)等應(yīng)用軟件中， 提升軟件系統(tǒng)的功能與性能，使得視頻監(jiān)控更加智能化。


圖l(a)是本發(fā)明的矩形和橢圓形監(jiān)控區(qū)域示意圖；圖l(b)是本發(fā)明的多邊形和任意曲邊形監(jiān)控區(qū)域示意圖；圖2(a)是本發(fā)明的橢圓形監(jiān)控區(qū)域的監(jiān)控標(biāo)識碼的分配方法示意圖；圖2(b)是本發(fā)明的多邊形監(jiān)控區(qū)域的監(jiān)控標(biāo)識碼的分配方法示意圖； 圖2(C)是本發(fā)明的任意曲邊形監(jiān)控區(qū)域的監(jiān)控標(biāo)識碼的分配方法示意圖；圖3是本發(fā)明的對于多邊形區(qū)域分配監(jiān)控標(biāo)識碼時所采用掃描線填充算法 示意圖；圖4是本發(fā)明的實現(xiàn)子區(qū)域監(jiān)控的操作控制流程圖； 圖5是本發(fā)明的最終實現(xiàn)結(jié)果示意圖。
具體實施方式
基于多路網(wǎng)絡(luò)視頻流并行處理的分區(qū)視頻監(jiān)控方法包括如下步驟1) 通過畫圖交互方式定義監(jiān)控區(qū)域；系統(tǒng)提供了監(jiān)控區(qū)域的繪圖式定義，理論上在一個監(jiān)控子窗口內(nèi)的可定義 監(jiān)控區(qū)域總數(shù)是不受限制的?？紤]到實際應(yīng)用需要，在系統(tǒng)實現(xiàn)中我們給定了 一個可調(diào)整的區(qū)域數(shù)量上限。當(dāng)用戶選定監(jiān)控區(qū)域定義操作時，首先確定監(jiān)控 區(qū)域的類型。完成監(jiān)控區(qū)域畫定后，以GUI提供區(qū)域?qū)傩缘脑O(shè)定，并由此增加 一個新的監(jiān)控區(qū)域。對于已經(jīng)生成的監(jiān)控區(qū)域，需要提供其刪除和屬性編輯功 能。為了維護(hù)不同形狀的監(jiān)控區(qū)域，我們需要用不同的數(shù)據(jù)結(jié)構(gòu)來保存區(qū)域的 幾何參數(shù)。對于矩形，我們只存儲其TopLeft和Bo加mRight兩個端點即可；對 橢圓形區(qū)域，需要存儲其中心點和兩個半軸的長度；而對于多邊形和任意曲邊 形，由于其形狀的不確定性，只能記錄其所有的頂點(任意多邊形處理為邊數(shù) 較多的特殊多邊形)。圖1是系統(tǒng)提供的常規(guī)監(jiān)控子區(qū)域外部幾何形狀，這幾種 形狀可滿足用戶的絕大多數(shù)分區(qū)視頻監(jiān)控需求。2) 指定子監(jiān)控區(qū)域的關(guān)鍵屬性初始值，包括如下步驟(a) 提供系統(tǒng)自動編號和手工指定編號兩種可選方式；(b) 指定監(jiān)控區(qū)域名稱與監(jiān)控目的；并用預(yù)定默認(rèn)值初始化報警等級與監(jiān)控 靈敏度。在監(jiān)控區(qū)域生成之前需要進(jìn)行區(qū)域相交檢測，因為對于存在重疊監(jiān)控區(qū)域 的子窗口，唯一地選中選定監(jiān)控區(qū)域?qū)㈦y以實現(xiàn)。為便于監(jiān)控區(qū)域相交檢測和 區(qū)域選中，對于每種區(qū)域均在定義后計算其外接包圍矩形(BomidingBox，包圍盒) 并保存下來。包圍盒可統(tǒng)一表示為[(h,"，,4 (i，;w)]，對于矩形監(jiān)控區(qū)域而言， 其記錄的兩個頂點本身已經(jīng)構(gòu)成包圍盒，故無需再計算和單獨存儲；對于橢圓 形區(qū)域，可從中心點位置和兩半軸長計算出其其包圍盒(也可以直接只記錄橢圓區(qū)域的包圍盒，因為該包圍盒可唯一確定一個橢圓)；多邊形及任意曲邊形的 包圍盒計算則需要遍歷其所有頂點，分別求出在x和y方向上的下界與上界值。 圖2中示意橢圓、多邊形及任意曲邊形的包圍盒。
在監(jiān)控區(qū)域定義完成以后， 一方面視圖模塊要提供浮動窗口的區(qū)域?qū)傩蕴?示，另一個重要的功能即是對選定的監(jiān)控區(qū)域進(jìn)行基本屬性編輯，尤其是監(jiān)控 屬性的控制，二者均需要首先選中監(jiān)控區(qū)域。可以依據(jù)用戶的單擊或右擊點坐 標(biāo)(A/。w —,，A/。^j)遍歷對應(yīng)子窗口內(nèi)當(dāng)前監(jiān)控區(qū)域容器，找到該點所在的包圍盒 進(jìn)而確定選中的監(jiān)控區(qū)域。最后，在區(qū)域選中的基礎(chǔ)上，可以簡單地實現(xiàn)對指 定區(qū)域作刪除操作。在監(jiān)控區(qū)域被刪除以前，視圖模型通過與檢測跟蹤模塊的 通信將強制關(guān)閉可能發(fā)生的報警信號指示(包括聲音和視覺提示)，并且停止針 對該區(qū)域的監(jiān)控。
3)分配新定義監(jiān)控子區(qū)域的監(jiān)控標(biāo)識碼，用于后續(xù)的分區(qū)域并行監(jiān)控、屬 性編輯，針對子窗口的監(jiān)控標(biāo)識碼矩陣(DISCODE)中的屬于區(qū)域內(nèi)的像素對應(yīng) 的元素值與區(qū)域編號(RID)—致；
為了實現(xiàn)分區(qū)域的監(jiān)控方式，需要在檢測算法的二重循環(huán)內(nèi)區(qū)分待處理的 像素是否在指定區(qū)域內(nèi)。以當(dāng)前像素匹配監(jiān)控子窗口內(nèi)當(dāng)前所有監(jiān)控區(qū)域的包 圍盒盡管可行，但顯然將使算法的整體復(fù)雜度大大降低，系統(tǒng)難以做到實時監(jiān) 控。對此，我們采用一種簡單的編號(ID)對應(yīng)策略依據(jù)視頻幀尺寸，對每 一個監(jiān)控子窗口維護(hù)一個各元素對應(yīng)于每個像素的"指示碼(監(jiān)控標(biāo)識碼)"矩陣， 并以像素的子窗口內(nèi)相對坐標(biāo)進(jìn)行索引；每一個定義好的監(jiān)控區(qū)域，對于其內(nèi) 的每個像素點，按照這個區(qū)域在同一子窗口內(nèi)的唯一編號(區(qū)域編號)統(tǒng)一分 配其監(jiān)控標(biāo)識碼。然后，在進(jìn)行像素級的運動檢測時，只要簡單地判定當(dāng)前待 考察的像素對應(yīng)的監(jiān)控標(biāo)識碼是否與存在監(jiān)控的區(qū)域的區(qū)域編號一致即可知此 像素是否為指定監(jiān)控區(qū)域內(nèi)需要作檢測處理的像素。
這種分區(qū)域監(jiān)控的策略不僅滿足系統(tǒng)的需求，由于區(qū)域外的像素被排除在 運動檢測算法流程之外，從算法的時間效率上來看這也有利于提高監(jiān)控實時性。 這里需要解決的一個問題是，當(dāng)用戶隨機進(jìn)行大量的區(qū)域定義和刪除操作后，ID 分配將可能出現(xiàn)數(shù)值過大甚至越出整數(shù)上界，但同時存在較大的ID資源浪費。 對此采取的解決方法是ID資源自動回收和重復(fù)使用機制，即每次需要分配新ID 時，從最小ID值開始尋找最小可用ID值，而不是簡單地進(jìn)行ID遞增分配。圖 2中指示了監(jiān)控區(qū)域內(nèi)的像素點所分配的監(jiān)控標(biāo)識碼值，該值從該區(qū)域的區(qū)域編 號得到。具體實現(xiàn)過程中，首先通過ID資源分配例程返回一個當(dāng)前可用區(qū)域編號， 然后遍歷監(jiān)控區(qū)域內(nèi)的每一個像素Cc，力，指定監(jiān)控標(biāo)識碼的相應(yīng)位置為此區(qū)域 編號值，即i)/SCOZ)EDc,W-WZ)。 ID指派在經(jīng)過相交檢測后監(jiān)控區(qū)域?qū)ο笊梢?前進(jìn)行，與所有用戶定義的其它屬性一起存儲到區(qū)域?qū)ο笾?。系統(tǒng)實現(xiàn)時提供 了兩種編號方式，以上為自動編號；用戶指定編號是可選的另一種方式，這種 方式的關(guān)鍵問題是要檢查用戶指定的值是否合法，特別是要保證它的唯一性。
對于矩形區(qū)域，遍歷區(qū)域內(nèi)的像素容易實現(xiàn)，但對于其它三種幾何形狀則 不能直接依次遍歷其包圍盒內(nèi)的所有像素。對此我們采用了基本圖元算法中的 區(qū)域填充算法來伺接實現(xiàn)像素遍歷。對于橢圓通過執(zhí)行中點橢圓算法將所有屬 于區(qū)域內(nèi)的像素位置對應(yīng)的監(jiān)控標(biāo)識碼值置為該區(qū)域區(qū)域編號；對于多邊形區(qū) 域和任意曲邊形區(qū)域，借助掃描線(SCANNING—LINE)填充算法來指定監(jiān)控 標(biāo)識碼矩陣的相應(yīng)碼置。圖3給出了利用掃描線填充算法實現(xiàn)監(jiān)控標(biāo)識碼值分 配的示意圖。對于凹多邊形的情況，掃描線填充算法本身已經(jīng)作處理。
4)對各個子區(qū)域進(jìn)行并行監(jiān)控管理，并行監(jiān)控管理包括監(jiān)控狀態(tài)、名稱、 編號、監(jiān)控目的基本區(qū)域?qū)傩?、監(jiān)控相關(guān)的參數(shù)，相關(guān)的參數(shù)包括報警等級、 監(jiān)控靈敏度、報警聲開關(guān)、區(qū)域外邊框可見性；
在完成目標(biāo)檢測從而實現(xiàn)指定區(qū)域內(nèi)的監(jiān)控功能基礎(chǔ)上，用戶還可以依據(jù) 對不同區(qū)域的關(guān)注程度定義不同等級的報警信號，以此區(qū)分報警事件的輕重緩 急。這一分級報警功能的實現(xiàn)也是系統(tǒng)的全局目標(biāo)中的重點之一，它具體由報 警等級和監(jiān)控靈敏度共同實現(xiàn)。作為監(jiān)控區(qū)域的部分屬性，報警等級和監(jiān)控靈 敏度在定義時指定初始值，當(dāng)用戶未指定時將置為默認(rèn)值。在區(qū)域定義完成以 后，用戶可通過GUI選擇新的報警等級和監(jiān)控靈敏度。
一般情況下可以定義報警信號的四個級別，從一級到四級報警依次指示警 示用戶對相應(yīng)監(jiān)控區(qū)域的關(guān)注程度的遞減。報警等級具體由發(fā)生報警時揚聲器 發(fā)聲頻率和高低和監(jiān)控區(qū)域外框閃爍色彩的不同共同定義。表1給出了報警等 級的詳細(xì)定義。另外，用戶可以通過指定不同的監(jiān)控靈敏度來選擇幾個預(yù)設(shè)的 閾值組合來間接控制核心運動檢測算法中的判據(jù)條件的計算。具體而言，監(jiān)控 靈敏度由GMM算法中權(quán)重閾值7^和前景物體在監(jiān)控區(qū)域內(nèi)持續(xù)的幀數(shù)定義。 系統(tǒng)提供了三級靈敏度控制，從一級到三級分別指示關(guān)注程度的遞減。表2是 監(jiān)控靈敏度的詳細(xì)定義。表1報警等級的定義方法報警等級關(guān)注程度報警等級定義聲音頻率(HZ)邊框閃爍顏色(RGB)一級報警最咼1200(255,0,100)二級報警較高1000(0,0,200)三級報警一般800(0,200,0)四級報警較低600(IOO，跳O)表2監(jiān)控靈敏度的定義方法監(jiān)控靈敏度關(guān)注程度靈敏度定義權(quán)重閾值7^前景待續(xù)幀數(shù)一級靈敏度高0.720二級靈敏度中0.850二級靈敏度低0.6805)依據(jù)交互定義實施分區(qū)視頻監(jiān)控與分級報警;圖4顯示了區(qū)域監(jiān)控功能的處理流程。首先，用戶通過界面指令發(fā)出區(qū)域 定義操作，并選擇將定義的監(jiān)控區(qū)域類型。然后，系統(tǒng)提示GUI以使用戶指定 區(qū)域?qū)傩?，包括基本區(qū)域?qū)傩院捅O(jiān)控相關(guān)屬性。在區(qū)域生成以后，用戶可以進(jìn) 行的操作包括屬性編輯，監(jiān)控功能控制和區(qū)域刪除等.6)按當(dāng)前全局錄像模式實施不同的報警錄像控制，全局錄像模式包括持續(xù) 錄像模式和延時錄像模式，通過延時報警錄像模式實現(xiàn)錄像自動停止控制。一般而言，視頻監(jiān)控系統(tǒng)需要長時間不間斷運行以避免對重要事件的漏監(jiān) 控。因此，系統(tǒng)需要將每次發(fā)生的報警事件對應(yīng)的視頻錄像存儲起來，并通過 一定的索引策略實現(xiàn)事后錄像的檢索與回放功能。為了節(jié)省建立專門的數(shù)據(jù)庫所需系統(tǒng)運行開銷，可以通過建立報警日志記 錄與錄像文件的關(guān)聯(lián)實現(xiàn)對報警錄像的檢索。具體實現(xiàn)方法為當(dāng)特定的監(jiān)控區(qū)域內(nèi)發(fā)出報警信號后，首先用{報警日期+報警時間+報警位置(監(jiān)控區(qū)域名稱)+監(jiān)控目的+報警等級}的格式存儲報警事件日志；然后立即啟動發(fā)生報警事件的 DVR上相應(yīng)通道上視頻錄像(以MPEG4格式文件存儲)。啟動報警錄像時指定 的文件命名方法為(報警日期+報警時間+報警源DVR的IP地址+通道號)。這 里關(guān)鍵是利用了報警日志記錄與錄像文件名的公共字段來建立兩者之間的關(guān)ii聯(lián)，不同字段部分用于各自的單獨査詢時的分類檢索功能。此外，為了方便實 現(xiàn)攝像錄像和日志記錄檢索，日志文件命名中同樣包含了其創(chuàng)建時的日期，曰 期精度記錄至日級。在此過程中，確保同一時刻發(fā)生的報警事件其日志記錄中 的時間和相應(yīng)的報警錄像文件名中的時間在秒級精度上嚴(yán)格一致。
如上所述，攝像錄像的檢索借助各個錄像文件與報警日志文件中的記錄關(guān) 聯(lián)來實現(xiàn)。具體實現(xiàn)方法為按照用戶指定的日期和時間范圍，首先定位系統(tǒng) 日志目錄中的與指定日期匹配的報警事件日志文件；然后，對所有匹配的報警
曰志文件遍歷遍歷內(nèi)全部記錄，并讀取每條記錄的建立日期與時間，時間精度
直到秒級；用提取的報警記錄發(fā)生日期與時間到系統(tǒng)錄像目錄中査找命名匹配 的錄像文件；當(dāng)用戶在選定的報警記錄上作回放操作時，即可査看相應(yīng)的報警 錄像。圖5顯示了利用本發(fā)明的方法在一個實際的視頻監(jiān)控系統(tǒng)中實現(xiàn)的分區(qū) 視頻監(jiān)控結(jié)果。
所述的通過畫圖交互方式定義監(jiān)控區(qū)域步驟
(C)用鼠標(biāo)點擊拖放的方式給出監(jiān)控子區(qū)域的各條邊界；
(d) 建立用于記錄新增監(jiān)控子區(qū)域的數(shù)據(jù)結(jié)構(gòu)，依據(jù)監(jiān)控區(qū)域的形狀不同而 采用相應(yīng)的數(shù)據(jù)結(jié)構(gòu)，且對于任意曲邊形處理為邊數(shù)較多的多邊形；
(e) 給定監(jiān)控區(qū)域的基本屬性及監(jiān)控相關(guān)屬性的初始化值。 所述的分配新定義監(jiān)控子區(qū)域的監(jiān)控標(biāo)識碼步驟
(f) 搜索在子監(jiān)控窗口全部監(jiān)控區(qū)域范圍內(nèi)的當(dāng)前最小可用區(qū)域編號作為新 監(jiān)控區(qū)域編號值；
(g) 依據(jù)己經(jīng)分配的局部唯一的區(qū)域編號分配區(qū)域監(jiān)控標(biāo)識碼，同時以區(qū)域 監(jiān)控標(biāo)識碼設(shè)定子窗口監(jiān)控標(biāo)識碼矩陣的相應(yīng)元素，元素置值時按區(qū)域內(nèi)像素 點坐標(biāo)進(jìn)行索引。
所述的依據(jù)交互定義實施分區(qū)視頻監(jiān)控與分級報警步驟
(h) 根據(jù)監(jiān)控靈敏度定義確定與運動目標(biāo)檢測算法內(nèi)部實現(xiàn)相關(guān)的參量和閾 值的取值，監(jiān)控靈敏度由GMM算法中權(quán)重閾值7^定義；
(i) 根據(jù)報警等級設(shè)定發(fā)送區(qū)域報警信號所需要的參數(shù)，所需要的參數(shù)包括 報警聲音的頻率、延時時長和區(qū)域邊框閃爍顏色；
(j)建立用于區(qū)域監(jiān)控的線程，并接受監(jiān)控啟停或重置控制。 所述的進(jìn)行監(jiān)控靈敏度的定義步驟通過GMM運動目標(biāo)檢測算法中的關(guān)
鍵參數(shù)7^來定義，同時參考前景目標(biāo)在監(jiān)控區(qū)域內(nèi)的持續(xù)時長，以幀數(shù)為計量
尺度B = arg min "Z艦> rw) 公式(3 )式中r訓(xùn)為確定像素真實背景模型的閾值朝'參量。所述的依據(jù)交互定義實施分區(qū)視頻監(jiān)控與分級報警步驟報警等級從一級至四級依次指示對監(jiān)控區(qū)域的關(guān)注程度的遞減，采用的顏色亮度、可見度依次 減弱。所述的按當(dāng)前全局錄像模式實施不同的報警錄像控制步驟(k)當(dāng)開啟區(qū)域監(jiān)控并發(fā)生報警后，開始建立針對子窗口的報警錄像定時器；(l)在發(fā)生報警時，如果同子窗口內(nèi)的其它監(jiān)控區(qū)域已經(jīng)在錄像，則定時器在計時，先停止前一個定時器，并新建一個定時器，重啟計時；(m)當(dāng)報警動作消失，在持續(xù)錄像模式下，報警錄像將一直進(jìn)行，直至進(jìn)行人工干預(yù)；在延時錄像模式下則按指定的延時時長，由定時器控制在計時器到終點值時自動停止錄像。所述的通過延時報警錄像模式實現(xiàn)錄像自動停止控制步驟(n)當(dāng)子窗口所用錄像定時器超時后，通過檢測當(dāng)前本子窗口內(nèi)全部的監(jiān)控區(qū)域的運動檢測結(jié)果標(biāo)記，用"無前景物體","有前景物體"區(qū)分運動物體是否引起監(jiān)控區(qū)域內(nèi)的報警，則當(dāng)檢測到有任何其它區(qū)域的標(biāo)記為"有前景物體"時重置定時器，即當(dāng)所有監(jiān)控區(qū)域當(dāng)前均無錄像運作時才停止本子窗口對應(yīng)通道上的視頻流錄像，同時關(guān)閉定時器；(O)對于由定時器控制而超時停止錄像的報警子監(jiān)控區(qū)域，其錄像停止但保持其外框警示繼續(xù)；(P)當(dāng)再次有前景物體進(jìn)入此類區(qū)域時，將再次觸發(fā)錄像開始，并且定時重 新恢復(fù)工作，計時開始。
權(quán)利要求
1.一種基于多路網(wǎng)絡(luò)視頻流并行處理的分區(qū)視頻監(jiān)控方法，其特征在于包括如下步驟1)通過畫圖交互方式定義監(jiān)控區(qū)域；2)指定子監(jiān)控區(qū)域的關(guān)鍵屬性初始值，包括如下步驟(a)選取自動編號和手工指定編號兩種方式之一；(b)指定監(jiān)控區(qū)域名稱與監(jiān)控目的，并用預(yù)定默認(rèn)值初始化報警等級與監(jiān)控靈敏度。3)分配新定義監(jiān)控子區(qū)域的監(jiān)控標(biāo)識碼，用于后續(xù)的分區(qū)域并行監(jiān)控、屬性編輯，針對子窗口的監(jiān)控標(biāo)識碼矩陣中的屬于區(qū)域內(nèi)的像素對應(yīng)的元素值與區(qū)域編號一致；4)對各個子區(qū)域進(jìn)行并行監(jiān)控管理，并行監(jiān)控管理包括監(jiān)控狀態(tài)、名稱、編號、監(jiān)控目的基本區(qū)域?qū)傩浴⒈O(jiān)控相關(guān)的參數(shù)，相關(guān)的參數(shù)包括報警等級、監(jiān)控靈敏度、報警聲開關(guān)、區(qū)域外邊框可見性；5)依據(jù)交互定義實施分區(qū)視頻監(jiān)控與分級報警；6)按當(dāng)前全局錄像模式實施不同的報警錄像控制，全局錄像模式包括持續(xù)錄像模式和延時錄像模式，通過延時報警錄像模式實現(xiàn)錄像自動停止控制。
2. 根據(jù)權(quán)利要求1所述的一種基于多路網(wǎng)絡(luò)視頻流并行處理的分區(qū)視頻監(jiān) 控方法，其特征在于所述的通過畫圖交互方式定義監(jiān)控區(qū)域步驟(C)用鼠標(biāo)點擊拖放的方式給出監(jiān)控子區(qū)域的各條邊界；(d) 建立用于記錄新增監(jiān)控子區(qū)域的數(shù)據(jù)結(jié)構(gòu)，依據(jù)監(jiān)控區(qū)域的形狀不同而 采用相應(yīng)的數(shù)據(jù)結(jié)構(gòu)，且對于任意曲邊形處理為邊數(shù)較多的多邊形；(e) 給定監(jiān)控區(qū)域的基本屬性及監(jiān)控相關(guān)屬性的初始化值。
3. 根據(jù)權(quán)利要求1所述的一種基于多路網(wǎng)絡(luò)視頻流并行處理的分區(qū)視頻監(jiān) 控方法，其特征在于所述的分配新定義監(jiān)控子區(qū)域的監(jiān)控標(biāo)識碼步驟(f) 搜索在子監(jiān)控窗口全部監(jiān)控區(qū)域范圍內(nèi)的當(dāng)前最小可用區(qū)域編號作為新 監(jiān)控區(qū)域編號值；(g) 依據(jù)己經(jīng)分配的局部唯一的區(qū)域編號分配區(qū)域監(jiān)控標(biāo)識碼，同時以區(qū)域 監(jiān)控標(biāo)識碼設(shè)定子窗口監(jiān)控標(biāo)識碼矩陣的相應(yīng)元素，元素置值時按區(qū)域內(nèi)像素 點坐標(biāo)進(jìn)行索引。
4. 根據(jù)權(quán)利要求1所述的一種基于多路網(wǎng)絡(luò)視頻流并行處理的分區(qū)視頻監(jiān) 控方法，其特征在于所述的依據(jù)交互定義實施分區(qū)視頻監(jiān)控與分級報警步驟(h) 根據(jù)監(jiān)控靈敏度定義確定與運動目標(biāo)檢測算法內(nèi)部實現(xiàn)相關(guān)的參量和閾值的取值，監(jiān)控靈敏度由GMM算法中權(quán)重閾值7^定義；(i)根據(jù)報警等級設(shè)定發(fā)送區(qū)域報警信號所需要的參數(shù)，所需要的參數(shù)包括 報警聲音頻率、延時時長和區(qū)域邊框閃爍顏色；(j)建立用于區(qū)域監(jiān)控的線程，并接受監(jiān)控啟?；蛑刂每刂?。
5. 根據(jù)權(quán)利要求1所述的一種基于多路網(wǎng)絡(luò)視頻流并行處理的分區(qū)視頻監(jiān) 控方法，其特征在于所述的進(jìn)行監(jiān)控靈敏度的定義步驟通過GMM運動目標(biāo) 檢測算法中的關(guān)鍵參數(shù)7^來定義，同時參考前景目標(biāo)在監(jiān)控區(qū)域內(nèi)的持續(xù)時長， 以幀數(shù)為計量尺度<formula>formula see original document page 3</formula> 公式(l) 式中7^為確定像素真實背景模型的閾值-ff參量。
6. 根據(jù)權(quán)利要求1所述的一種基于多路網(wǎng)絡(luò)視頻流并行處理的分區(qū)視頻監(jiān) 控方法，其特征在于所述的依據(jù)交互定義實施分區(qū)視頻監(jiān)控與分級報警步驟 報警等級從一級至四級依次指示對監(jiān)控區(qū)域的關(guān)注程度的遞減，采用的顏色亮 度、可見度依次減弱。
7. 根據(jù)權(quán)利要求1所述的一種基于多路網(wǎng)絡(luò)視頻流并行處理的分區(qū)視頻監(jiān) 控方法，其特征在于所述的按當(dāng)前全局錄像模式實施不同的報警錄像控制步驟(k)當(dāng)開啟區(qū)域監(jiān)控并發(fā)生報警后，開始建立針對子窗口的報警錄像定時器； (l)在發(fā)生報警時，如果同子窗口內(nèi)的其它監(jiān)控區(qū)域已經(jīng)在錄像，則定時器在計時，先停止前一個定時器，并新建一個定時器，重啟計時；(m)當(dāng)報警動作消失，在持續(xù)錄像模式下，報警錄像將一直進(jìn)行，直至進(jìn)行人工干預(yù)；在延時錄像模式下則按指定的延時時長，由定時器控制在計時器到終點值時自動停止錄像。
8. 根據(jù)權(quán)利要求1所述的一種基于多路網(wǎng)絡(luò)視頻流并行處理的分區(qū)視頻監(jiān) 控方法，其特征在于所述的通過延時報警錄像模式實現(xiàn)錄像自動停止控制步驟(n)當(dāng)子窗口所用錄像定時器超時后，通過檢測當(dāng)前本子窗口內(nèi)全部的監(jiān)控 區(qū)域的運動檢測結(jié)果標(biāo)記，用"無前景物體"，"有前景物體"區(qū)分運動物體是否引 起監(jiān)控區(qū)域內(nèi)的報警，當(dāng)檢測到有任何其它區(qū)域的標(biāo)記為"有前景物體"時重置定 時器，即當(dāng)所有監(jiān)控區(qū)域當(dāng)前均無錄像運作時才停止本子窗口對應(yīng)通道上的視 頻流錄像，同時關(guān)閉定時器；(o)對于由定時器控制而超時停止錄像的報警子監(jiān)控區(qū)域，其錄像停止但保 持其外框警示繼續(xù)；(p)當(dāng)再次有前景物體進(jìn)入此類區(qū)域時，將重新觸發(fā)開始錄像，并且定時重 新恢復(fù)工作，計時開始。
全文摘要
本發(fā)明公開了一種基于多路網(wǎng)絡(luò)視頻流并行處理的分區(qū)視頻監(jiān)控方法。步驟為1)通過簡易用戶交互在指定的子監(jiān)控窗口內(nèi)畫定監(jiān)控區(qū)域；2)指定監(jiān)控區(qū)域的關(guān)鍵屬性用以描述特定的監(jiān)控子區(qū)域；3)依據(jù)子監(jiān)控窗口內(nèi)的運動檢測識別碼分配所定義監(jiān)控子區(qū)域的子窗口唯一標(biāo)識碼；4)通過子區(qū)域監(jiān)控管理交互接口實施分區(qū)視頻監(jiān)控，包括對各個子監(jiān)控區(qū)域的屬性配置；5)根據(jù)用戶定義實施分級監(jiān)控，同時實現(xiàn)分等級報警；6)依據(jù)用戶在系統(tǒng)配置中指定的報警錄像模式，利用定時器實施延時報警錄像和持續(xù)錄像。本發(fā)明可以滿足視頻監(jiān)控應(yīng)用系統(tǒng)本身的要求，同時監(jiān)控算法的整體實時性也可以大大提高。
文檔編號G08B13/196GK101320505SQ20081006300
公開日2008年12月10日 申請日期2008年7月4日 優(yōu)先權(quán)日2008年7月4日
發(fā)明者潘志庚, 蔡海鵬, 韓建平 申請人:浙江大學(xué)