一種三層可插拔智能視頻信息管理系統(tǒng)的制作方法
【專利摘要】一種三層可插拔智能視頻信息管理系統(tǒng),該視頻信息管理系統(tǒng)中包含多種不同類型的攝像裝置、本地單元管理服務器LUMS、虛擬單元管理服務器VUMS以及全局服務器GS,所述攝像裝置均勻分布在多個地理位置上,每一個攝像裝置具有一個地理位置標簽GL以及一個功能標簽FL,具有相同功能的多個攝像裝置公用一個FL,該系統(tǒng)的第一層由所包含的多種不同類型的攝像裝置以及LUMS組成,第二層由所述攝像裝置以及VUMS組成,第三層由LUMS和VUMS,以及GS組成。通過三層結構,能夠保證在任何時間和任何地方都能有效地訪問任何相機的數(shù)據(jù)和信息。
【專利說明】-種H層可插拔智能視頻信息管理系統(tǒng)
【技術領域】
[0001] 本實用新型涉及視頻信息管理【技術領域】,特別涉及一種H層可插拔智能視頻信息 管理系統(tǒng)。
【背景技術】
[0002] -個視頻系統(tǒng),例如,其安全性通常涉及大量不同類型的照相機如圖1所示。在同 一時間,該系統(tǒng)可W有多種用途,例如,除了安全性還有自動市場調(diào)查功能。每個攝像頭可 W具有不同的輸出格式化264、MJPEG編碼、MXPG等),和不同的信號類型(模擬信號、火線 1394信號、基于IP的信號)。所有該些相機的輸出能更好的自動分析出連續(xù)檢測異常事件 或危險事件。一旦檢測到可疑事件,記錄下證據(jù)并應通知相關人員。更重要的是,事件發(fā)生 進行通知時,操作者和提供幫助的人應該W-種高效的方式收集和審查正在發(fā)生事件的所 有的證據(jù)和信息,該樣就可W在最短的時間內(nèi)采取適當?shù)男袆印R虼?,高效的信息和?shù)據(jù)重 新審視對于一個成功的視頻管理系統(tǒng)來說應該是一個非常重要的方面。該依賴于相機管理 的一個有效的體系結構。
[0003] 另一方面,基于IP的視頻管理供應商,已成功建立可支持各種視頻/音頻輸入的 開放式視頻管理系統(tǒng)。然而,該些系統(tǒng)與新的視頻/音頻分析算法不兼容。所有的視頻/ 音頻分析模塊需要建立,并由相應的供應商在內(nèi)部進行合并。如果提供者不能提供所需的 模塊,用戶的要求將永遠不會被達成。意識到存在該個問題,像HALC0N和VisiQuest的產(chǎn) 品提供商努力為客戶提供一個簡單的原型環(huán)境視覺算法。然而,如果模塊合并是可能的,現(xiàn) 有的代碼集成始終是非常困難的。MTLAB是一個比較完整而簡單的視覺的算法原型設計 環(huán)境。但是,基于原型設計的目的,用戶必須購買昂貴的平臺。并且成形的模塊總是運行很 慢。事實上,在流行的計算機視覺庫中已經(jīng)存在許多有用視覺算法和數(shù)據(jù)結構,如化enCV 和RAVL。所有該些原型環(huán)境和處理模塊主要是為單個單元處理。近日,有一些嘗試,類似 iceWing項目,W帶有插件機制的原型分布式視覺系統(tǒng)為目的。該個趨勢符合云計算在互聯(lián) 網(wǎng)服務方面的發(fā)展。底層通信框架XCF已成功在歐洲VAMPIRE項目應用于大規(guī)模的視覺系 統(tǒng)。然而,W上所有的努力集中在發(fā)展視覺算法,但或多或少忽視它們的部署。需要一個統(tǒng) 一的平臺,在發(fā)展終止的時候可W完美地將成熟的視覺模塊合并在一起。
[0004] 因此如何將該些視覺模塊合并在一起,部署在一個統(tǒng)一的平臺,一直是人們在努 力解決的問題。 實用新型內(nèi)容
[0005] 針對現(xiàn)有技術存在的上述缺陷,本實用新型的目的是提供一種兼容市面上現(xiàn)有的 所有類型攝像頭,該些視覺模塊合并在一起,部署在一個統(tǒng)一的平臺上的H層可插拔智能 視頻信息管理系統(tǒng)。
[0006] 為達上述目的,本實用新型采取如下方案:
[0007] -種H層可插拔智能視頻信息管理系統(tǒng),該視頻信息管理系統(tǒng)中包含多種不同類 型的攝像裝置、本地單元管理服務器LUMS、虛擬單元管理服務器VUMS W及全局服務器GS, 所述攝像裝置均勻分布在多個地理位置上,每一個攝像裝置具有一個地理位置標簽化W 及一個功能標簽化,具有相同功能的多個攝像裝置公用一個化,其特征在于:
[0008] 所述H層可插拔智能視頻信息管理系統(tǒng)的第一層由所包含的多種不同類型的攝 像裝置W及本地單元管理服務器LUMS組成,其中所述攝像裝置按照各自的地理位置標簽 化進行分組,每一組攝像裝置由一個LUMS管理,LUMS管理各攝像裝置獲取的數(shù)據(jù)后處理為 有用信息,并控制攝像裝置的配置操作;
[0009] 所述H層可插拔智能視頻信息管理系統(tǒng)的第二層由所包含的多種不同類型的攝 像裝置W及虛擬單元管理服務器VUMS組成,其中具有相同功能標簽化的所述攝像裝置被 分到一個虛擬單元,每一各虛擬單元由一個虛擬單元管理服務器VUMS來管理,VUMS為攝像 裝置的數(shù)據(jù)輸出、存儲和信息通道提供參考;
[0010] 所述H層可插拔智能視頻信息管理系統(tǒng)的第H層由所有的本地單元管理服務器 LUMS和虛擬單元管理服務器VUMS,W及全局服務器GS組成。
[0011] 優(yōu)選的,該視頻信息管理系統(tǒng)中包括多個智能模塊IM,該智能模塊IM包含處理模 塊和顯示模塊,其中處理模塊用于實現(xiàn)分析任務,把接收到的來自所述攝像裝置的視頻數(shù) 據(jù)轉化為信息;顯示模塊用于展示經(jīng)過處理的輸出信息。
[0012] 優(yōu)選的,所述智能模塊IM將接收的視頻數(shù)據(jù)和配置參數(shù)作為輸入信息,視頻數(shù)據(jù) 是原始的RGB格式;
[0013] 所述智能模塊IM提供XML格式的參數(shù)定義文件,在該參數(shù)定義文件中定義了插件 類型和使用的參數(shù)值,并且每個參數(shù)都有一個唯一與其相關聯(lián)的ID和名稱,根據(jù)所述參數(shù) 定義文件視頻信息管理系統(tǒng)會自動為用戶生成參數(shù)配置頁面,所述智能模塊IM中的處理 模塊輸出的數(shù)據(jù)W XML格式封裝,其中XML格式的信息能夠通過統(tǒng)一的支持HTTP協(xié)議的接 口連接網(wǎng)絡傳輸;
[0014] 顯示模塊是能夠直接融入客戶端的屏幕。
[0015] 優(yōu)選的,該視頻信息管理系統(tǒng)中包括多個智能模塊IM,該智能模塊IM由輸入模 塊、輸出模塊、內(nèi)存設置模塊W及控制參數(shù)模塊組成;
[0016] 輸入模塊,被配置用于獲取需要處理的一個或多個圖像;
[0017] 輸出模塊,被配置用于將處理結果輸出;
[0018] 控制參數(shù)模塊,被配置用于為每一個模塊設置參數(shù);
[0019] 內(nèi)存設置模塊,被配置用于預先分配每個模塊需要用到的緩存,并向每個模塊發(fā) 布需要用到的緩存的地址。
[0020] 優(yōu)選的,該視頻信息管理系統(tǒng)中包括多個智能模塊IM,該智能模塊IM由原子基本 模塊ABM和組成基本模塊CBM兩類模塊組成;
[0021] 原子基本模塊ABM,該類模塊不是建立在其他模塊上的;
[0022] 組成基本模塊CBM,該類模塊是建立在原子基本模塊ABM之上的;
[0023] 所述原子基本模塊ABM和組成基本模塊CBM都來源于一個基本模塊庫。
[0024] 本實用新型具有W下優(yōu)點和積極效果:
[0025] 1)該管理系統(tǒng)能夠兼容市面上現(xiàn)有的所有類型攝像頭。盡管攝像頭可能有不同的 一種類型和不同的格式輸出,類型的數(shù)量和輸出的格式是被限制的。因此,該系統(tǒng)可W為它 們?nèi)刻峁┲С郑词剐碌念愋突蛘咝碌母袷酵蝗怀霈F(xiàn),能夠迅速將它合并,同時對所有 的LUMS和VUMS進行更新,使最終用戶和第H方開發(fā)者不需要關也該部分工作。
[0026] 2)具有完全開放的智能插件。第H方開發(fā)者可W開發(fā)該個系統(tǒng)的插件,只要他/ 她堅持我們?yōu)橄到y(tǒng)設置的一致性規(guī)則。通過插件的開發(fā),他/她可W向系統(tǒng)提供額外的智 能性能,而無需關也數(shù)據(jù)來自何處W及最后結果將被顯示在哪里。
[0027] 3) H層結構,能夠保證在任何時間和任何地方都能有效地訪問任何相機的數(shù)據(jù)和 信息。
【專利附圖】
【附圖說明】
[0028] 圖1示出了一個典型的包含多個各類相機視頻系統(tǒng);
[0029] 圖2示出了大容量的視頻信息轉化為小容量信息后通過低寬帶連接有效傳播的 示意圖;
[0030] 圖3示出了用地理位置和功能標記的所有相機二維結構示意圖;
[0031] 圖4示出了H層視頻管理系統(tǒng)總框架;
[0032] 圖5示出了視頻管理系統(tǒng)的視頻處理流程;
[0033] 圖6示出了圖像和視頻處理框圖;
[0034] 圖7示出了 "邊緣提取"處理合理的實現(xiàn)圖;
[00巧]圖8為一個基本模塊庫的示意圖。
【具體實施方式】
[0036] 下面結合附圖對本實用新型的實施方式做進一步的說明。
[0037] 如圖1所示,盡管典型的視頻管理系統(tǒng)可能包含多個不同類型的攝像機,我們可 W用一定的方式將它們聚集起來。其主要思想是將該些攝像機置于一個多維度的空間,其 中每個維度有不同的度量,有了該個度量,我們可W聚集所有攝像機,并將其分為多個易于 管理的組。兩個最重要的指標是:
[0038] 1.地理位置;通常情況下,相機是均勻分布在多個地理位置的。相機可W在一個 相對密集的地方形成一個獨立的單元。另一方面,每一個攝像頭可W得到一個地理位置標 簽化,它可W是一個相關單元唯一的ID。每個單元由本地單元管理服務器LUMS管理。LUMS 管理攝像頭獲取的所有數(shù)據(jù),并處理為有用信息,控制所有攝像頭的位置和配置。因為通常 寬帶局域網(wǎng)LAN是可用的,每個攝像頭與LUMS的連接不僅僅是足夠大容量的視頻數(shù)據(jù)傳 輸。分析數(shù)據(jù)后,LUMS的輸出信息就體積而言很小,因此能夠通過低寬帶連接如因特網(wǎng)有 效傳播。
[0039] 在相應的LUMS中本地記錄了憑證,如相關事件信息。LUMS也在外部世界與它管 理的每個攝像頭之間架起了通信的橋梁。因此,每個LUMS應該是可控的。該就意味著每個 LUMS應該能夠提供管理和控制支持所有分配的相機。通常一個LUMS在物理硬件上運行的 能力有限,所W每個LUMS最多可W管理NMAX個攝像頭。每個LUMS和它的攝像頭通過LAN 緊密結合。不同的LUMS通過廣域網(wǎng)WAN松散禪合。假設每個LAN的成本是CLAN,每個LUMS 的成本是CLUMS,整個系統(tǒng)的管理成本為CM (nLUM巧(通常隨著LUMS的數(shù)量單調(diào)遞增,包括 可變成本,如WAN成本CWAN)。那么在每個LUMS可控的條件下,所需的LUMS的數(shù)量nLUMS 由w下函數(shù)來表示:
[0040] 雙里?每巧 + 毎f(%swiy々
[0041] 當然實際上我們也應該考慮更多的限制條件如網(wǎng)絡連接的可能性。
[0042] 2.功能:視頻系統(tǒng)中的每個攝像頭存在都要一定的原因。有的可能用于檢查票務 情況、有的用于檢測口 口的可疑人物、還有的可W監(jiān)督電車軌道W防可能的危險行為(如 電車靠近時有人在跑道上)。因此,每個攝像頭都有一個功能標簽化。多個攝像頭也可能 公用一個化,化隨后把所有相機分為多個單元,每個單元由相同的化。
[0043] 根據(jù)上述的兩個指標,我們可W對所有相機形成一個如圖3所示的二維結構。通 常在某一地理位置的某些功能發(fā)生危險性或有害性事件時,就發(fā)出警報。因此,我們把每個 事件與組合屬性(GLFL)結合。根據(jù)該一屬性,彈出任何事件,我們都能很容易用憑證和當 前狀態(tài)追溯相關的攝像頭。
[0044] 基于該個二維結構,我們提出了H層視頻管理框架,如圖4所示:
[0045] 第一層,根據(jù)化屬性對所有攝像頭分組。一個LUMS管理一個單元中的攝像頭。
[0046] 第二層,化相同的攝像頭分到一個虛擬單元,由虛擬單元管理服務器VUMS來管 理。每個VUMS為它的攝像頭數(shù)據(jù)的所有輸出、存儲和信息通道提供參考。它的額外功能就 是純粹的功能依賴。
[0047] 第H層,所有的LUMS和VUMS由一個全局服務器GS管理。通過GS,各種客戶端 (不管是手機、筆記本、或者臺式機)都能用一個統(tǒng)一的格式很容易地定位任何一個LUMS或 VUMS。定位后,兩方可通過P2P技術或傳輸服務器實現(xiàn)通信。
[0048] 當然,在該H層框架中,我們還可W使用其他基于化和化指標的類型。并且,女口 果需要的話,整個框架可W進一步擴展到多層從而進行更有效的視頻管理。
[004引插件支持:
[0050] 如上所述,一種有效的和開放的視頻管理系統(tǒng)應支持插件管理。該并不僅僅意味 著系統(tǒng)能夠提供額外的處理模塊,同時還很容易被改善,也應該在統(tǒng)一的接口下給第H方 開發(fā)生產(chǎn)更多的分析模塊。此外,系統(tǒng)應該能夠快速、無縫地安裝新的模塊。
[0051] 幸運的是,雖然不同的相機可W有不同的信號輸出,但是所有輸出信號可W轉換 為原始RGB (或YUV)格式的信號,該信號又可W作為如圖5中所示的每一個智能模塊IM(例 女口;人臉識別)的輸入信號。實際上,每一個IM包含兩個部分;a.處理;該部分進行分析任 務,把視頻數(shù)據(jù)轉化為信息;b.顯示;本部分展示客戶端處理部分的輸出信息。
[0052] IM通過W下四個部分保證系統(tǒng)的熱插拔:
[0053] 1) IM將接收的視頻數(shù)據(jù)和配置參數(shù)作為輸入信息。視頻數(shù)據(jù)是原始的RGB格式 (也可W是YUV或其它格式)。
[0054] 2)通過IM提供參數(shù)定義文件,此文件是XML格式,定義了插件類型和使用的參數(shù) 的可能值。目前,我們的設定了參數(shù)類型的限制范圍(最大和最小的范圍內(nèi)的一個整數(shù)), W及選擇值(限制范圍類的整數(shù))。每個參數(shù)都有一個唯一與其相關聯(lián)的ID和名稱。有了 該個參數(shù)定義文件,系統(tǒng)會自動為用戶生成參數(shù)配置頁面,并且修改每個參數(shù)的值。
[0055] 3)實際參數(shù)也被封裝為XML格式。此XML文檔可W有效地通過統(tǒng)一的接口(如 XCF[11])連接網(wǎng)絡傳輸。目前,我們使用的是HTTP服務標準。
[005引 4)另外,處理部分輸出的信息,WXML格式封裝。此XML文檔可W有效地通過統(tǒng)一 的接口(如XCF[11])連接網(wǎng)絡傳輸。目前,我們使用的是HTTP服務標準。
[0057] 5)顯示部分是統(tǒng)一的窗口,可W直接融入客戶端屏幕。內(nèi)部邏輯程序能完全處理 每個單獨的IM。,當然,它可W顯示在系統(tǒng)提供的顯示窗口的頂部,W此來避免重復的基本 功能。
[0058] 目前,每個IM處理部分是作為Windows平臺的化L (動態(tài)鏈接庫)來研發(fā)的,顯示 部分是作為Flash平臺的容器來顯示。當然該些可W被拓展應用到其它平臺。它們是由第 H方開發(fā)并上傳到GS W便在用戶指定LUMS或VUMS上排列和部署。
[00則 IM模塊化
[0060] 另外,每個IM可W被模塊化。清楚和簡單的圖像和視頻處理的過程已被模塊化, 如圖6所示。輸入和輸出模塊都是標準的,因為我們只有有限數(shù)量的輸入通道和輸出的可 能性。此外,所謂"處理"模塊可W分離成一些基本的圖像處理技術。例如,邊緣提取處理 可W實現(xiàn)如圖7的效果。其中"卷積","算術計算","闊值化"是所有標準的圖像處理技術, 該些可提前編寫作為基本模塊。該些基本模塊BM是構建一個圖像處理應用程序的基礎。
[0061] 它們中的每一個都有4種類型的接口與外部相互作用:
[0062] 輸入;該是用來獲取需要處理的圖像。該里可能有0個或多個輸入圖像。例如,一 個"生成噪聲圖像"的模塊沒有輸入圖像,"卷積"模塊有一個輸入圖像。如圖7 "算術計算" 模塊有兩個輸入圖像。
[0063] 輸出;該是一個傳輸處理結果送給處理鏈中的下一個模塊的通道。通常情況下每 個模塊只有一個輸出。
[0064] 內(nèi)存設置:為了提高進程的有效性,在整個進程開始之前,每個模塊需要用到的 緩存會被預先分配,并且通過該個通道發(fā)布各模塊的可用地址。
[0065] 控制參數(shù);每一個基本模塊都是被一系列參數(shù)控制的,該一系列參數(shù)可W戲劇性 的改變模塊的功能。而該一系列參數(shù)是被該個通道設置的。
[0066] 實際上,其基本模塊可W被分為兩類:
[0067] 原子基本模塊(ABM);該些基本模塊是原子的。也就是說它們不是建立在其他模 塊上的。它們就像在樹上的樹葉,在圖7中,所有的3種基本模塊是該一類基本模塊
[0068] 組成基本模塊(CBM);該類基本模塊是建立在其它基礎模塊之上的。僅僅是因為 它們很有用,因此把它們作為基本模塊。它們就像一棵樹上的葉子節(jié)點。例如,在圖7中, "邊緣提取"處理可W合并在一起作為一個組成基本模塊。在我們的視頻跟蹤系統(tǒng)中,"背景 估計","前景提取","目標跟蹤","目標分類"都可W被作為組成基本模塊建造。
[0069] 所有的基本模塊都來源于一個基本模塊庫。把所有的基本模塊作為節(jié)點,其整個 基本模塊庫就像一個單向圖。
[0070] 圖8展示了一個圖像處理基本模塊庫的例子。從該個例子中我們可W看出: l.ABMs不可W從其它模塊繼承;2. CBM可W只建立在ABMs之上(如CBM01) ;3. CBM可W 建立在ABMs和其它CBM之上(如CBM03) ;4. -個CBM甚至可W僅由其它CBMs組成(如 CBM5) ;5.在庫中不存在任何循環(huán)(例如:如果A是建立在B之上,那么B被稱作A的孩子。 因此,如果D是C后代的孩子,那么C應該不是D后代的孩子)。
[0071] 本實用新型的保護范圍并不限于上述的實施例,顯然,本領域的技術人員可W對 本實用新型進行各種改動和變形而不脫離本實用新型的范圍和精神。倘若該些改動和變形 屬于本實用新型權利要求及其等同技術的范圍內(nèi),則本實用新型的意圖也包含該些改動和 變形在內(nèi)。
【權利要求】
1. 一種三層可插拔智能視頻信息管理系統(tǒng),該視頻信息管理系統(tǒng)中包含多種不同類型 的攝像裝置、本地單元管理服務器LUMS、虛擬單元管理服務器VUMS以及全局服務器GS,所 述攝像裝置均勻分布在多個地理位置上,每一個攝像裝置具有一個地理位置標簽GL以及 一個功能標簽FL,具有相同功能的多個攝像裝置公用一個FL,其特征在于: 所述三層可插拔智能視頻信息管理系統(tǒng)的第一層由所包含的多種不同類型的攝像裝 置以及本地單元管理服務器LUMS組成,其中所述攝像裝置按照各自的地理位置標簽GL進 行分組,每一組攝像裝置由一個LUMS管理,LUMS管理各攝像裝置獲取的數(shù)據(jù)后處理為有用 信息,并控制攝像裝置的配置操作; 所述三層可插拔智能視頻信息管理系統(tǒng)的第二層由所包含的多種不同類型的攝像裝 置以及虛擬單元管理服務器VUMS組成,其中具有相同功能標簽FL的所述攝像裝置被分到 一個虛擬單元,每一各虛擬單元由一個虛擬單元管理服務器VUMS來管理,VUMS接收相關攝 像裝置的數(shù)據(jù)輸入并進行相應設定的智能處理,同時可對輸入輸出數(shù)據(jù)進行存儲,查詢和 智能動態(tài)轉發(fā); 所述三層可插拔智能視頻信息管理系統(tǒng)的第三層由所有的本地單元管理服務器LUMS 和虛擬單元管理服務器VUMS,以及全局服務器GS組成。
2. 根據(jù)權利要求1中所述的三層可插拔智能視頻信息管理系統(tǒng),其特征在于:該視頻 信息管理系統(tǒng)中包括多個智能模塊頂,該智能模塊頂包含處理模塊和顯示模塊,其中處理 模塊用于實現(xiàn)分析任務,把接收到的來自所述攝像裝置的視頻數(shù)據(jù)轉化為信息;顯示模塊 用于展示經(jīng)過處理的輸出信息。
3. 根據(jù)權利要求2中所述的三層可插拔智能視頻信息管理系統(tǒng),其特征在于: 所述智能模塊頂將接收的視頻數(shù)據(jù)和配置參數(shù)作為輸入信息,視頻數(shù)據(jù)是原始的RGB 格式; 所述智能模塊IM提供XML格式的參數(shù)定義文件,在該參數(shù)定義文件中定義了插件類型 和使用的參數(shù)值,并且每個參數(shù)都有一個唯一與其相關聯(lián)的ID和名稱,根據(jù)所述參數(shù)定義 文件視頻信息管理系統(tǒng)會自動為用戶生成參數(shù)配置頁面,所述智能模塊頂中的處理模塊 輸出的數(shù)據(jù)以XML格式封裝,其中XML格式的信息能夠通過統(tǒng)一的支持HTTP協(xié)議的接口連 接網(wǎng)絡傳輸; 顯示模塊是能夠直接融入客戶端的屏幕。
4. 根據(jù)權利要求1中所述的三層可插拔智能視頻信息管理系統(tǒng),其特征在于:該視頻 信息管理系統(tǒng)中包括多個智能模塊頂,該智能模塊頂由輸入模塊、輸出模塊、內(nèi)存設置模 塊以及控制參數(shù)模塊組成; 輸入模塊,被配置用于獲取需要處理的一個或多個圖像; 輸出模塊,被配置用于將處理結果輸出; 控制參數(shù)模塊,被配置用于為每一個模塊設置參數(shù); 內(nèi)存設置模塊,被配置用于預先分配每個模塊需要用到的緩存,并向每個模塊發(fā)布需 要用到的緩存的地址。
5. 根據(jù)權利要求1中所述的三層可插拔智能視頻信息管理系統(tǒng),其特征在于:該視頻 信息管理系統(tǒng)中包括多個智能模塊頂,該智能模塊頂由原子基本模塊ABM和組成基本模塊 CBM兩類模塊組成; 原子基本模塊ABM,這類模塊不是建立在其他模塊上的; 組成基本模塊CBM,這類模塊是建立在原子基本模塊ABM之上的; 所述原子基本模塊ABM和組成基本模塊CBM都來源于一個基本模塊庫。
【文檔編號】H04N7/18GK204244385SQ201420795589
【公開日】2015年4月1日 申請日期:2014年12月15日 優(yōu)先權日:2014年12月15日
【發(fā)明者】雷幫軍, 劉軍清, 徐光柱, 陳小輝, 董方敏 申請人:三峽大學, 宜昌千覺電子科技有限公司