專利名稱：用于監(jiān)視系統(tǒng)的目標屬性地圖的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻監(jiān)視。更具體地，本發(fā)明的特定實施例涉及一種上下文敏感的基于視頻的監(jiān)視系統(tǒng)。
背景技術(shù)：
諸如銀行、商店、機場等許多商業(yè)和其他設(shè)施使用安全系統(tǒng)。在這些系統(tǒng)中有基于視頻的系統(tǒng)，其中攝像機之類的感測設(shè)備獲得并記錄其感測區(qū)域之內(nèi)的圖像。例如，攝像機會對其鏡頭視野范圍之內(nèi)的任何內(nèi)容進行視頻記錄。這種視頻圖像可以受到操作員的監(jiān)視和/或稍后由操作員審查。新近發(fā)展也允許這種視頻圖像受到自動化系統(tǒng)的監(jiān)視，從而提高檢測速率，節(jié)省人力資源。
在許多情況下，希望使用諸如快、慢、高、平、寬、窄等相對修飾語來指定目標檢測，而無需對這些形容詞進行量化。類似地，希望使最新的監(jiān)視系統(tǒng)適應(yīng)場景的特征，這是因為當(dāng)前的系統(tǒng)不能實現(xiàn)這一點，即使相同的系統(tǒng)已經(jīng)監(jiān)視相同場景長達多年。

發(fā)明內(nèi)容
本發(fā)明的實施例針對于實現(xiàn)自動提取和上下文信息的利用。此外，本發(fā)明的實施例提供與運動目標有關(guān)的上下文信息。該上下文信息可以用于進行上下文敏感事件檢測，可以改善目標檢測，改善跟蹤和分類，并降低視頻監(jiān)視系統(tǒng)的誤警報率。
具體地，根據(jù)本發(fā)明實施例的視頻處理系統(tǒng)可以包括上游視頻處理設(shè)備，用于接受輸入視頻序列，并輸出與所述輸入視頻序列中的一個或更多目標有關(guān)的信息；以及目標屬性地圖構(gòu)造器，與所述上游視頻處理設(shè)備相連，以接收所述輸出信息的至少一部分，并構(gòu)造至少一個目標屬性地圖。
在本發(fā)明的另一實施例中，一種視頻處理方法可以包括對輸入視頻序列進行處理，以獲得目標信息；以及基于所述目標信息，構(gòu)造至少一個目標屬性地圖。
此外，本發(fā)明可以采用硬件、軟件、固件或其組合的形式實現(xiàn)。
定義以下定義可應(yīng)用于本公開全部內(nèi)容，包括上述內(nèi)容。
“視頻”表示以模擬和/或數(shù)字形式表征的運動畫面。視頻的示例包括電視、電影、來自攝像機或其他觀測器的圖像序列、以及計算機產(chǎn)生的圖像序列。
“幀”表示視頻內(nèi)的特定圖像或其他離散單元。
“對象”表示視頻中感興趣的項。對象的示例包括人物、車輛、動物和物理實體。
“目標”表示對象的計算機模型。目標可以通過圖像處理導(dǎo)出，在目標與對象之間存在一對一的對應(yīng)關(guān)系。
“目標實例”或“實例”表示幀中對象的出現(xiàn)(sighting)。
“活動”表示一個或更多對象的一個或更多動作和/或一個或更多的動作合成?；顒拥氖纠ㄟM入；退出；停止；移動；上升；下降；長大；以及收縮。
“位置”表示活動可以發(fā)生的空間。例如，位置可以是基于場景或基于圖像的?；趫鼍暗奈恢檬纠ü矆鏊?；商店；零售商店；辦公室；倉庫；旅館房間；旅館大廳；建筑物大廳；賭場；公交車站；火車站；機場；港口；公交車；火車；飛機；以及輪船?；趫D像的位置示例包括視頻圖像；視頻圖像中的線；視頻圖像中的區(qū)域；視頻圖像的矩形部分；以及視頻圖像的多邊形部分。
“事件”表示參與活動的一個或更多的對象。事件可以參照位置和/或時間。
“計算機”表示能夠接受結(jié)構(gòu)化的輸入、根據(jù)指定規(guī)則對該結(jié)構(gòu)化輸入進行處理、并產(chǎn)生作為輸出的處理結(jié)果的任何裝置。計算機的示例包括計算機；通用計算機；超級計算機；大型機；超小型計算機；小型計算機；工作站；微型計算機；服務(wù)器；交互性電視；計算機和交互性電視的混合；以及模仿計算機和/或軟件的專用硬件。計算機可以具有單個處理器或可以并行和/或非并行操作的多個處理器。計算機也可以表示經(jīng)由用于在計算機之間發(fā)送或接收信息的網(wǎng)絡(luò)而連接在一起的兩臺或更多的計算機。這種計算機的示例包括通過由網(wǎng)絡(luò)鏈接的計算機對信息進行處理的分布式計算機系統(tǒng)。
“計算機可讀介質(zhì)”表示用于存儲計算機可訪問的數(shù)據(jù)的任何存儲器件。計算機可讀介質(zhì)包括磁硬盤；軟盤；光盤，例如CD-ROM和DVD；磁帶；存儲芯片；以及用于載送計算機可讀電子數(shù)據(jù)的載波，例如用于發(fā)送和接收電子郵件或用于訪問網(wǎng)絡(luò)的載波。
“軟件”表示對計算機進行操作的指定規(guī)則。軟件的示例包括軟件；代碼段；指令；計算機程序；以及編程邏輯。
“計算機系統(tǒng)”表示具有計算機的系統(tǒng)，其中計算機包括具體實現(xiàn)對計算機進行操作的軟件的計算機可讀介質(zhì)。
“網(wǎng)絡(luò)”表示通過通信設(shè)施相連的多臺計算機和關(guān)聯(lián)的設(shè)備。網(wǎng)絡(luò)包括纜線等永久性連接、或通過電話或其他通信鏈路等的暫時連接。網(wǎng)絡(luò)的示例包括網(wǎng)際網(wǎng)，例如因特網(wǎng)；內(nèi)聯(lián)網(wǎng)；局域網(wǎng)(LAN)；廣域網(wǎng)(WAN)；以及網(wǎng)絡(luò)的組合，例如網(wǎng)際網(wǎng)和內(nèi)聯(lián)網(wǎng)。
“感測設(shè)備”表示用于獲取視覺信息的任何裝置。示例包括彩色和單色照相機、攝像機、閉路電視(CCTV)攝像機、電荷耦合器件(CCD)傳感器、模擬和數(shù)字攝像機、攝像頭、網(wǎng)絡(luò)攝像機和紅外成像設(shè)備。如果無更具體的描述，“攝像機”表示任何感測設(shè)備。
“團點”一般表示圖像中的任何對象(通常在視頻上下文中)。團點的示例包括運動對象(例如，人物和車輛)和靜止對象(例如，箱包、家具或商店貨架上的商品)。
“目標屬性地圖”是目標屬性或目標屬性函數(shù)與圖像位置的映射。通過在每個圖像位置對目標屬性或一個或更多目標屬性的函數(shù)進行記錄和建模，構(gòu)造目標屬性地圖。例如，通過對經(jīng)過位置(x，y)處像素的所有目標的寬度進行記錄，可以獲得圖像位置(x，y)處的寬度模型。模型可以用于表征該記錄并提供統(tǒng)計信息，該統(tǒng)計信息可以包括位置(x，y)處的平均目標寬度、該位置處平均值的標準偏差等。這種模型的集合是每個圖像位置一個，稱作目標屬性地圖。


現(xiàn)在結(jié)合附圖，更加詳細地描述本發(fā)明的特定實施例，其中圖1示出了可以包括本發(fā)明實施例的內(nèi)容分析系統(tǒng)的流程圖；圖2示出了用于描述根據(jù)本發(fā)明實施例的目標屬性地圖的訓(xùn)練的流程圖；圖3示出了用于描述根據(jù)本發(fā)明實施例的目標屬性地圖的使用的流程圖；以及圖4示出了可以用于實施本發(fā)明一些實施例的系統(tǒng)的方框圖。
具體實施例方式
本發(fā)明可以包括通用監(jiān)視系統(tǒng)的一部分。圖1中示出了可能的實施例。由檢測(11)、跟蹤(12)和分類(13)模塊從視頻序列中提取目標屬性信息。這些模塊可以利用已知或尚待發(fā)現(xiàn)的技術(shù)。將得到的信息傳遞至事件檢測模塊(14)，該事件檢測模塊(14)將觀測的目標屬性與在用戶(15)看來有威脅性的屬性相匹配。例如，用戶能夠通過使用與系統(tǒng)交互的圖形用戶界面(GUI)或其他輸入/輸出(I/O)接口，指定這種威脅性屬性。目標屬性地圖構(gòu)造器(16)對由上游組件(11)、(12)和(13)提取的數(shù)據(jù)進行監(jiān)視和建模，并且可以進一步向這些組件提供信息。數(shù)據(jù)模型可以基于單個目標屬性，或基于一個或更多目標屬性的函數(shù)。數(shù)據(jù)模型可以像平均屬性值或正態(tài)分布模型一樣簡單?？梢曰卺槍o定目標屬性集合而剪裁的算法，產(chǎn)生復(fù)雜模型。例如，模型可以測量比率目標尺寸的平方根/目標到攝像機的距離。
訓(xùn)練目標屬性地圖在使用包括目標屬性地圖的模型之前，可以基于觀測而對該模型進行構(gòu)造；在可選實施例中，可以預(yù)先確定目標屬性模型，并將其提供至系統(tǒng)。以下論述針對作為該過程一部分而構(gòu)造模型的情況，但是對于這種可選實施例，其他過程同等地相關(guān)。例如，可以將上下文信息周期性地保存到永久性存儲器件中，從而在系統(tǒng)故障之后，可以從永久性存儲器件中重載差不多這些上下文信息。該實施例提供來自外部源的初始模型信息(先前保存的)。
在構(gòu)造模型的本發(fā)明實施例中，為了通知模型的有效性，僅在已觀測到在統(tǒng)計上有意義的量的數(shù)據(jù)之后，才將模型標記為“成熟”。對于尚未成熟的模型的查詢是得不到回答的。這種策略使系統(tǒng)處于缺省模式，知道該模型已成熟。如圖1所示，當(dāng)模型已成熟時，模型可以提供可以結(jié)合到相連的算法組件的決策制定過程中的信息。這種新證據(jù)的可用性有助于算法組件做出更好的決策。
不是所有目標或其實例都必須用于訓(xùn)練。收集目標屬性的上游組件(11)、(12)和(13)可能失敗，將模型與錯誤數(shù)據(jù)屏蔽開來是很重要的。用于處理這種問題的一種技術(shù)是設(shè)計仔細分析目標屬性質(zhì)量的算法。在本發(fā)明的其他實施例中，可以使用簡單算法，該簡單算法在對目標或目標實例的質(zhì)量有疑問時拒絕它們。后一方法可能延長時間，直到目標屬性地圖達到成熟。然而，多數(shù)視頻監(jiān)視系統(tǒng)用于查看場景的延長時間使該選擇比較吸引人。
圖2示出了根據(jù)本發(fā)明實施例、用于構(gòu)造目標屬性地圖的算法的流程圖。例如，如圖1所示，可以采用目標屬性地圖構(gòu)造器(16)實現(xiàn)這種算法。該算法可以開始于在步驟201中適當(dāng)?shù)爻跏蓟c目標屬性地圖的尺寸相對應(yīng)的陣列(一般而言，可以與圖像尺寸相對應(yīng))。在步驟202，可以考慮下一目標。這部分過程可以開始于在步驟203中初始化過濾后的目標實例的緩沖器，該緩沖器可以是環(huán)形緩沖器。然后，該過程可以前進到步驟204，其中可以處理所考慮目標的下一實例(該實例可以存儲在緩沖器中)。在步驟205，確定是否完成目標；如果已考慮了目標的所有實例，則完成了目標。如果完成了目標，則過程可以前進到步驟210(以下將論述)。否則，過程可以前進到步驟206，以確定目標是否較差；如果最新實例揭示出由上游過程進行的目標處理、標記或標識中的嚴重故障，則確定目標較差。如果是這種情況，則過程可以循環(huán)回到步驟202，考慮下一目標。否則，過程可以前進至步驟207，以確定所考慮的特定實例是否是較差的實例；如果最新實例揭示出由上游過程進行的目標處理、標記或標識中有限的不一致性，則確定所考慮的特定實例是較差的實例。如果發(fā)現(xiàn)較差實例，則忽略該實例，過程前進到步驟204，考慮下一目標實例。否則，過程可以前進至步驟208，并對過濾后的目標實例的緩沖器進行更新，之后返回步驟204以考慮下一目標實例。
在步驟205之后(如上所述)，該算法可以前進至步驟209，在步驟209，如果有，則確定可以認為哪些目標實例是“成熟”的。根據(jù)本發(fā)明實施例，如果發(fā)現(xiàn)緩沖器為滿，則可以將緩沖器中最早的目標實例標記為“成熟”。如果已考慮了目標的所有實例(即，如果完成了目標)，則可以將緩沖器中的所有目標實例標記為“成熟”。
然后，過程可以前進到步驟210，在步驟210，可以在與成熟目標實例相對應(yīng)的地圖位置處，對目標屬性地圖模型進行更新。在該地圖更新之后，在步驟211，過程可以確定每個模型是否是成熟的。具體地，如果針對給定位置的目標實例數(shù)目大于成熟所要求的預(yù)設(shè)實例數(shù)目，則可以將該地圖位置標記為“成熟”。如上所述，只有成熟位置才可以用于對詢問進行處理。
根據(jù)圖2的本發(fā)明實施例的三種可能典型實施方式的不同之處可以是標記為201、206、207和208的算法組件的實施方式。
第一種實施方式可以用于提供針對直接可用目標屬性的目標屬性地圖，例如，直接可用目標屬性可以是但不限于寬度、高度、尺寸、運動方向和目標進入/退出區(qū)域。這可以通過僅修改步驟208中的緩沖器更新來實現(xiàn)，以處理該實施方式的不同實例。
第二種實施方式可以用于提供針對多個目標屬性的函數(shù)的目標屬性地圖，例如，多個目標屬性的函數(shù)可以是速度(位置的改變/時間的改變)、慣量(位置的改變/目標尺寸)、縱橫比(目標寬度/目標高度)、緊致度(目標周長/目標面積)和加速度(位置改變率/時間改變)。在這種情況下，可以修改步驟201(地圖初始化)和208，以處理該實施例的不同實例。
第三種實施方式可以用于提供在每個目標自身歷史的上下文中對當(dāng)前目標屬性進行建模的目標屬性地圖。這些地圖可以幫助改善上游組件，并可以包括但不限于檢測故障地圖、跟蹤器故障地圖和分類故障地圖。這種實施方式可以要求改變模塊201、206(目標實例過濾)、207(目標過濾)和208，以處理該實施方式的不同實例。
使用目標屬性地圖以上結(jié)合圖2所述的算法可以用于構(gòu)造和保持目標屬性地圖。但是，目標屬性地圖也應(yīng)該能夠向系統(tǒng)提供信息，以對于監(jiān)視系統(tǒng)是有用的。圖3示出了根據(jù)本發(fā)明實施例、用于查詢目標屬性地圖以獲得上下文信息的算法的流程圖。
圖3的算法可以開始于在步驟31中考慮下一目標。然后，可以前進到步驟32，以確定是否已定義了所要求的目標屬性。如果還沒有，則與目標有關(guān)的信息不可用，過程可以循環(huán)回到步驟31，考慮下一目標。
如果確定所要求的目標屬性地圖可用，則在步驟33，該過程可以考慮下一目標實例。在步驟34，如果該實例指示完成了目標，則過程可以循環(huán)回到步驟31，考慮下一目標；如果已考慮了當(dāng)前目標的所有實例，則完成了目標。如果未完成目標，則過程可以前進到步驟35，并可以確定在所考慮的目標實例的位置處的目標屬性地圖模型是否已成熟。如果還未成熟，則過程可以循環(huán)回到步驟33，考慮下一目標實例。否則，過程可以前進到步驟36，對目標上下文進行更新。通過記錄目標上下文與由該算法保持的目標屬性地圖的一致性程度，對目標上下文進行更新。在步驟36之后，該過程可以前進到步驟37，以基于目標的目標屬性上下文，確定目標的常態(tài)屬性。保持每個目標的上下文，以確定目標是否按照與通過目標屬性地圖模型預(yù)測的行為或觀測不一致的方式而動作。最后，在步驟37之后，過程可以返回步驟31，考慮下一目標。
如上所述，本發(fā)明的一些實施例可以采用機器可讀介質(zhì)上的軟件指令形式具體實現(xiàn)。圖4中示出了這種實施例。圖4的計算機系統(tǒng)包括至少一個處理器42和關(guān)聯(lián)的系統(tǒng)存儲器41，例如，該系統(tǒng)存儲器41可以存儲操作系統(tǒng)軟件等。該系統(tǒng)還可以包括附加存儲器43，例如，該附加存儲器43可以包括用于執(zhí)行多種應(yīng)用程序的軟件指令。該系統(tǒng)還可以包括一個或更多輸入/輸出(I/O)設(shè)備44，例如(但不限于)，鍵盤、鼠標、軌跡球、打印機、顯示器、網(wǎng)絡(luò)連接等。本發(fā)明可以具體實現(xiàn)為可以存儲在系統(tǒng)存儲器41或附加存儲器43中的軟件指令。這種軟件指令也可以存儲在可通過I/O設(shè)備44(例如但不限于軟盤驅(qū)動)讀取的可拆卸或遠程介質(zhì)(例如但不限于緊致盤、軟盤等)。此外，也可以經(jīng)由諸如網(wǎng)絡(luò)連接等I/O設(shè)備44向計算機系統(tǒng)傳送軟件指令；在這種情況下，可以將包含該軟件指令的信號看作機器可讀介質(zhì)。
參照多種實施例詳細描述了本發(fā)明，對于本領(lǐng)域技術(shù)人員，從前述內(nèi)容中顯而易見的是在本發(fā)明更廣方面，在不背離本發(fā)明的情況下，可以進行改變和修改。因此，如所附權(quán)利要求所限定的本發(fā)明旨在涵蓋落入本發(fā)明本質(zhì)精神的所有改變和修改。
權(quán)利要求
1.一種視頻處理系統(tǒng)，包括上游視頻處理設(shè)備，用于接受輸入視頻序列，并輸出與所述輸入視頻序列中的一個或更多目標有關(guān)的信息；以及目標屬性地圖構(gòu)造器，與所述上游視頻處理設(shè)備相連，以接收所述輸出信息的至少一部分，并構(gòu)造至少一個目標屬性地圖。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述上游視頻處理設(shè)備包括檢測設(shè)備，用于接收所述輸入視頻序列；跟蹤設(shè)備，與所述檢測設(shè)備的輸出相連；以及分類設(shè)備，與所述跟蹤設(shè)備的輸出相連，所述分類設(shè)備的輸出與所述目標屬性地圖構(gòu)造器的輸入相連。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括事件檢測設(shè)備，連接以接收所述目標屬性地圖構(gòu)造器的輸出，并輸出一個或更多檢測到的事件。
4.根據(jù)權(quán)利要求3所述的系統(tǒng)，還包括事件指定接口，與所述事件檢測設(shè)備相連，以向所述事件檢測設(shè)備提供一個或更多感興趣的事件。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中所述事件指定接口包括圖形用戶界面。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述目標屬性地圖構(gòu)造器向所述上游視頻處理設(shè)備提供反饋。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述目標屬性地圖構(gòu)造器包括至少一個緩沖器。
8.一種視頻處理方法，包括對輸入視頻序列進行處理，以獲得目標信息；以及基于所述目標信息，構(gòu)造至少一個目標屬性地圖。
9.根據(jù)權(quán)利要求8所述的方法，其中所述對輸入視頻序列進行處理包括檢測至少一個目標；跟蹤至少一個目標；以及對至少一個目標進行分類。
10.根據(jù)權(quán)利要求8所述的方法，其中所述構(gòu)造至少一個目標屬性地圖包括對于給定目標，考慮所述目標的至少一個實例；過濾所述目標的至少一個實例；以及確定所述目標的至少一個實例是否成熟。
11.根據(jù)權(quán)利要求10所述的方法，其中所述構(gòu)造至少一個目標屬性地圖還包括如果所述目標的至少一個實例成熟，則對與至少一個位置相對應(yīng)的至少一個地圖模型進行更新，在所述至少一個位置處，所述目標的實例是成熟的。
12.根據(jù)權(quán)利要求11所述的方法，其中所述構(gòu)造至少一個目標屬性地圖還包括確定所述至少一個目標屬性地圖的至少一個模型形成部分是否成熟。
13.根據(jù)權(quán)利要求8所述的方法，還包括基于所述至少一個目標屬性地圖，檢測至少一個事件。
14.根據(jù)權(quán)利要求13所述的方法，其中所述檢測至少一個事件包括對于給定目標，將所述目標的至少一個屬性與所述至少一個目標屬性地圖的至少一個屬性相比較。
15.根據(jù)權(quán)利要求14所述的方法，其中所述比較包括使用用戶定義的比較標準。
16.根據(jù)權(quán)利要求13所述的方法，還包括獲得針對事件檢測的至少一個用戶定義的標準。
17.一種計算機可讀介質(zhì)，包含指令，當(dāng)由處理器執(zhí)行所述指令時，所述指令使所述處理器執(zhí)行根據(jù)權(quán)利要求8所述的方法。
18.一種視頻處理系統(tǒng)，包括計算機系統(tǒng)；以及根據(jù)權(quán)利要求17所述的計算機可讀介質(zhì)。
19.一種視頻監(jiān)視系統(tǒng)，包括至少一個攝像機，用于產(chǎn)生輸入視頻序列；以及根據(jù)權(quán)利要求18所述的視頻處理系統(tǒng)。
全文摘要
可以通過對輸入視頻序列進行處理，獲得目標信息，并基于所述目標信息構(gòu)造至少一個目標屬性地圖，來對輸入視頻序列進行處理。該目標屬性地圖可以用于檢測多種事件，尤其在結(jié)合視頻監(jiān)視的情況下。
文檔編號H04N7/18GK101065968SQ200580039162
公開日2007年10月31日 申請日期2005年9月22日 優(yōu)先權(quán)日2004年9月24日
發(fā)明者尼爾斯·黑林, 澤善·拉希德, 安德魯·J·肖克, 杰弗里·埃涅爾, 艾倫·J·利普頓, 劉海鷹, 彼得·L·韋奈蒂阿奈爾, 尹衛(wèi)紅, 余立, 余良吟, 張忠 申請人:實物視頻影像公司