專利名稱：基于層級式特征匹配的目標(biāo)跟蹤裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理和視頻監(jiān)控，特別涉及目標(biāo)遮擋情況下基于層級式特征匹配的目標(biāo)跟蹤裝置及方法。
背景技術(shù)：
隨著犯罪水平和威脅的增加，安全已成為世界普遍關(guān)注的問題。視頻監(jiān)控是解決該問題的方法之一。除了公共安全外，視頻監(jiān)控也能有效地解決一些其他問題，如擁擠城市車流量、人流量的調(diào)節(jié)。多年來大型監(jiān)控裝置在諸如機場、銀行、高速公路或城市中心等的主要場所得到了廣泛地應(yīng)用。由于傳統(tǒng)的視頻監(jiān)控技術(shù)一般為人工監(jiān)視，存在著易疲勞、易疏忽、反應(yīng)速度慢、 人工費用高等諸多不足。因此，近年來人們逐漸研究一種數(shù)字化、標(biāo)準(zhǔn)化、智能化和IP網(wǎng)絡(luò)化的智能視頻監(jiān)控技術(shù)。運動目標(biāo)檢測、跟蹤是智能視頻監(jiān)控技術(shù)的基礎(chǔ)，其檢測結(jié)果、跟蹤結(jié)果直接影響著后期事件(諸如入侵、物品遺留、物品被盜、車輛逆向行駛等)檢測的誤警率和虛警率。 因此，運動目標(biāo)檢測、跟蹤的方法得到了廣泛的關(guān)注。公開號為CN 1875379A的中國專利申請公開了一種考慮了各匹配特征的范圍和方差，對視頻圖像中的對象跟蹤的方法和裝置。公開號為CN 101017572A的中國專利申請公開了一種用在幀視頻序列中跟蹤非剛性物體的方法，從視頻中提取包括像素位置和屬性的特征，用這些特征構(gòu)建一個協(xié)方差矩陣，該協(xié)方差矩陣以跟蹤為目的作為物體的描述符， 通過基于李代數(shù)平均的更新機制來管理物體變形和外表改變。上述目標(biāo)跟蹤方法能夠跟蹤簡單場景中的單個目標(biāo)，但是一旦場景中出現(xiàn)目標(biāo)被遮擋情況時，上述方法會出現(xiàn)目標(biāo)跟蹤丟失問題。綜上所述，目前迫切需要提出能解決大量噪聲情況下目標(biāo)交匯遮擋的問題，同時具有較強魯棒性的目標(biāo)跟蹤裝置及方法。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于解決大量噪聲情況下目標(biāo)交匯遮擋的問題，提高跟蹤的實用性、連續(xù)性和可靠性。為了實現(xiàn)這一目的，按照本發(fā)明的第一個方面，提供了一種跟蹤裝置，包括目標(biāo)檢測模塊，用于將視頻場景中的目標(biāo)以及目標(biāo)區(qū)域從背景中提取出來；目標(biāo)跟蹤模塊，用于基于所提取出的目標(biāo)區(qū)域以及檢測區(qū)域，記錄目標(biāo)在每幀內(nèi)的位置。其中，所述目標(biāo)跟蹤模塊進一步包括特征提取模塊，用于計算目標(biāo)區(qū)域的位置、直方圖、速度，并將這些計算結(jié)果作為特征輸出；目標(biāo)預(yù)測模塊，用于根據(jù)上一幀中目標(biāo)區(qū)域的位置、速度，預(yù)測當(dāng)前幀中目標(biāo)區(qū)域的位置；遮擋分離處理模塊，用于根據(jù)多個目標(biāo)區(qū)域的位置，判斷多個目標(biāo)之間是否發(fā)生遮擋或分離，將相互發(fā)生遮擋的目標(biāo)編入遮擋組，將分離的目標(biāo)從遮擋組內(nèi)剔除；匹配系數(shù)計算模塊，用于分別計算每一個目標(biāo)與每個目標(biāo)區(qū)域的特征匹配系數(shù)，把匹配系數(shù)記錄到匹配系數(shù)矩陣中，以便后期的匹配決策；匹配決策模塊，用于從匹配系數(shù)矩陣中選擇出最佳匹配對并輸出；目標(biāo)信息更新模塊，用于根據(jù)所述最佳匹配對，更新目標(biāo)的信息；跟蹤后處理模塊，用于完成包括目標(biāo)狀態(tài)轉(zhuǎn)換、丟失目標(biāo)刪除及新目標(biāo)生成的處理。按照本發(fā)明的第二個方面，還提供了一種目標(biāo)跟蹤方法，包括將視頻場景中的目標(biāo)以及目標(biāo)區(qū)域從背景中提取出來；基于所提取出的目標(biāo)區(qū)域以及檢測區(qū)域，記錄目標(biāo)在每幀內(nèi)的位置。其中，記錄目標(biāo)在每幀內(nèi)的位置的步驟包括計算目標(biāo)區(qū)域的位置、直方圖、 速度，并將這些計算結(jié)果作為特征輸出；根據(jù)上一幀中目標(biāo)區(qū)域的位置、速度，預(yù)測當(dāng)前幀中目標(biāo)區(qū)域的位置；根據(jù)多個目標(biāo)區(qū)域的位置，判斷多個目標(biāo)之間是否發(fā)生遮擋或分離，將相互發(fā)生遮擋的目標(biāo)編入遮擋組，將分離的目標(biāo)從遮擋組內(nèi)剔除；分別計算每一個目標(biāo)與每個目標(biāo)區(qū)域的特征匹配系數(shù)，把匹配系數(shù)記錄到匹配系數(shù)矩陣中，以便后期的匹配決策； 從匹配系數(shù)矩陣中選擇出最佳匹配對并輸出；根據(jù)所述最佳匹配對，更新目標(biāo)的信息；完成包括目標(biāo)狀態(tài)轉(zhuǎn)換、丟失目標(biāo)刪除及新目標(biāo)生成的處理。


圖1示出了按照本發(fā)明的基于層級式特征匹配的目標(biāo)跟蹤裝置；圖2示出了按照本發(fā)明的遮擋分離處理模塊；圖3示出了按照本發(fā)明的遮擋、分離、交匯的示意圖；圖4示出了按照本發(fā)明的遮擋穩(wěn)定模塊的時序示意圖；圖5示出了按照本發(fā)明的匹配系數(shù)計算模塊；圖6示出了按照本發(fā)明的兩分離目標(biāo)匹配系數(shù)計算方法；圖7示出了按照本發(fā)明的趨勢匹配系數(shù)計算的示意圖；圖8示出了按照本發(fā)明的匹配決策模塊；圖9示出了按照本發(fā)明的目標(biāo)信息更新模塊；圖10示出了按照本發(fā)明的一例遮擋過程的未修正軌跡以及修正后軌跡的示意圖。^X在描述本發(fā)明時，全部使用下列定義(包括上面的描述)。T :Tracks/Targets 跟蹤軌跡/跟蹤目標(biāo)M =Measures檢測區(qū)域/前景檢測G Group組檢測檢測到的當(dāng)前幀的前景團塊，例如通過檢測器檢測到的。檢測區(qū)域前景檢測的外接矩形區(qū)域。目標(biāo)連續(xù)多幀匹配形成的檢測序列，例如通過跟蹤器連續(xù)多幀匹配形成的。目標(biāo)區(qū)域目標(biāo)的外接矩形區(qū)域。目標(biāo)位置目標(biāo)質(zhì)心在圖像中的坐標(biāo)位置(u，ν)。有趨勢目標(biāo)當(dāng)目標(biāo)生成后，連續(xù)跟蹤多幀(例如可以選為8幀)后且沿某一方向移動一定距離(例如可以選為10個像素)的目標(biāo)。交疊檢測區(qū)域與目標(biāo)區(qū)域或目標(biāo)區(qū)域與目標(biāo)區(qū)域二者發(fā)生疊壓。即，二者在圖像中面積交集不為空集μ η τ興φ或者τι η Τ2興φ。其中“交”為相互的含義，“疊”為疊
7壓。表征兩個對象間的關(guān)系。遮擋判據(jù)模塊中的交疊判據(jù)用于判斷是否出現(xiàn)1個檢測區(qū)域疊壓2個目標(biāo)的現(xiàn)象。分離判據(jù)模塊中的交疊判據(jù)用于判斷是否出現(xiàn)2個檢測區(qū)域疊壓1個目標(biāo)的現(xiàn)象。交匯當(dāng)兩個或多個跟蹤目標(biāo)移動到某一相對較近的空間位置時，使目標(biāo)在圖像中表現(xiàn)為被其他目標(biāo)遮擋的狀態(tài)，稱目標(biāo)間發(fā)生交匯?！敖弧闭f明二者面積的交疊，“匯”為二者路徑的聚攏。僅表征目標(biāo)所處的過程狀態(tài)。遮擋特指目標(biāo)間發(fā)生的交疊現(xiàn)象。僅表征目標(biāo)的瞬時狀態(tài)。首次遮擋交匯目標(biāo)首次發(fā)生交疊時的狀態(tài)。即當(dāng)兩個或多個跟蹤目標(biāo)的前景檢測從非交匯狀態(tài)變?yōu)榻粎R狀態(tài)時刻的瞬時狀態(tài)。分離當(dāng)兩個或多個跟蹤目標(biāo)的前景檢測從交匯狀態(tài)變?yōu)榉墙粎R狀態(tài)時刻的瞬時狀態(tài)。遮擋過程指兩個或多個跟蹤目標(biāo)從首次遮擋到分離的全部交匯過程，持續(xù)狀態(tài)。組為遮擋在一起的目標(biāo)編制一個組，組內(nèi)可以共享組員(遮擋目標(biāo))的信息，如 Id、面積、直方圖等。組集管理幀內(nèi)的全部遮擋組的集合。分離模型為了處理的簡化，把復(fù)雜的分離過程簡化成幾個典型模型。mT-nM 通用的分離模型，η個目標(biāo)對m個檢測的分離模型的簡寫。2T-2M 最簡單的分離模型，2個目標(biāo)對2個檢測的分離模型的簡寫。兩目標(biāo)分離即2T-2M模型，發(fā)生分離時，遮擋組內(nèi)僅存在2個目標(biāo)。這是目標(biāo)分離模型中最簡單的模型。任何多目標(biāo)分離最后都要經(jīng)過這一模型。匹配T找到自己對應(yīng)的M的過程。Ti-Mj 一個匹配對的簡寫，表示第i個T和第j個M相互匹配。最佳匹配對在匹配矩陣中，決策風(fēng)險最小的一對組合Ti-Mj，即得分最高的匹配對。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，下面結(jié)合實施例和附圖，對本發(fā)明進一步詳細說明。圖1表示圖1示出了按照本發(fā)明的基于層級式特征匹配的目標(biāo)跟蹤裝置。如圖1 所示，按照本發(fā)明的基于層級式特征匹配的目標(biāo)跟蹤裝置可以包括目標(biāo)檢測模塊10，用于將視頻場景中的檢測從背景中提取出來；目標(biāo)跟蹤模塊20，用于基于目標(biāo)檢測模塊10輸出的檢測，通過一系列處理，記錄每幀內(nèi)的目標(biāo)位置。其中，所述目標(biāo)檢測模塊10可以通過我們之前申請的專利申請?zhí)枮?CN200910077433. 6的“運動目標(biāo)檢測方法及裝置”實現(xiàn)，也可以通過公開的運動目標(biāo)檢測算法實現(xiàn)。由于這不是本發(fā)明的重點，這里不再詳細描述。所述目標(biāo)跟蹤模塊20可以進一步包括
特征提取模塊21，用于計算目標(biāo)的位置、直方圖、速度，并將這些計算結(jié)果作為特征輸出；目標(biāo)預(yù)測模塊22，用于根據(jù)上一幀目標(biāo)的位置、速度，預(yù)測當(dāng)前幀目標(biāo)的位置；遮擋分離處理模塊23，用于根據(jù)各個有趨勢的目標(biāo)的位置，判斷目標(biāo)之間是否發(fā)生遮擋或分離，將遮擋的目標(biāo)編入遮擋組，將分離的目標(biāo)從遮擋組內(nèi)剔除；匹配系數(shù)計算模塊M，用于分別計算每一個目標(biāo)與每個檢測區(qū)域的特征匹配系數(shù)，把匹配系數(shù)記錄到匹配系數(shù)矩陣中，以便后期的匹配決策；后面將對此進行詳細介紹， 參見圖5 7和說明書的第12 16頁。匹配決策模塊25，用于從匹配系數(shù)矩陣中選擇出最佳匹配對并輸出；后面將對此進行詳細介紹，參見圖8和說明書的第16 17頁。
方圖等
目標(biāo)信息更新模塊26，用于根據(jù)最佳匹配對，更新目標(biāo)的信息，比如尺寸、面積、直跟蹤后處理模塊27，用于完成包括目標(biāo)狀態(tài)轉(zhuǎn)換，丟失目標(biāo)刪除，及新目標(biāo)生成的
特征提取模塊21還可以進一步用于統(tǒng)計RGB彩色直方圖和計算RGB三通道的-階矩、三階矩。其中，計算一階矩、二階矩、三階矩的公式如下
權(quán)利要求
1.一種跟蹤裝置，包括目標(biāo)檢測模塊，用于將視頻場景中的檢測從背景中提取出來； 目標(biāo)跟蹤模塊，用于基于所提取出的檢測，記錄目標(biāo)在每幀內(nèi)的位置， 其中，所述檢測是指檢測到的當(dāng)前幀的前景團塊，所述目標(biāo)指的是連續(xù)多幀匹配形成的檢測序列。
2.按照權(quán)利要求1所述的跟蹤裝置，其中，所述目標(biāo)跟蹤模塊進一步包括特征提取模塊，用于計算目標(biāo)的位置、直方圖、速度，并將這些計算結(jié)果作為特征輸出；目標(biāo)預(yù)測模塊，用于根據(jù)上一幀中目標(biāo)的位置、速度，預(yù)測當(dāng)前幀中目標(biāo)的位置； 遮擋分離處理模塊，用于根據(jù)多個目標(biāo)的位置，判斷多個目標(biāo)之間是否發(fā)生遮擋或分離，將相互發(fā)生遮擋的目標(biāo)編入遮擋組，將分離的目標(biāo)從遮擋組內(nèi)剔除；匹配系數(shù)計算模塊，用于分別計算每一個目標(biāo)與每個檢測的特征匹配系數(shù)，把匹配系數(shù)記錄到匹配系數(shù)矩陣中，以便后期的匹配決策；匹配決策模塊，用于從匹配系數(shù)矩陣中選擇出最佳匹配對并輸出；目標(biāo)信息更新模塊，用于根據(jù)所述最佳匹配對，更新目標(biāo)的信息；跟蹤后處理模塊，用于完成包括目標(biāo)狀態(tài)轉(zhuǎn)換、丟失目標(biāo)刪除及新目標(biāo)生成的處理。
3.按照權(quán)利要求2所述的裝置，其中，所述遮擋分離處理模塊進一步包括 遮擋判據(jù)模塊，用于判斷目標(biāo)是否處于遮擋狀態(tài)；分離判據(jù)模塊，用于判斷目標(biāo)是否處于分離狀態(tài)； 交疊判據(jù)模塊，用于判斷目標(biāo)是否發(fā)生交疊；面積合理性判據(jù)模塊，用于對參與遮擋的檢測的面積和目標(biāo)的面積進行合理性判斷， 以濾除細小、超大的噪聲目標(biāo)區(qū)域和檢測區(qū)域； 組空間整理模塊，用于整理遮擋組空間； 組面積信息統(tǒng)計模塊，用于統(tǒng)計遮擋組面積信息。
4.按照權(quán)利要求3所述的裝置，其中，遮擋判據(jù)模塊能夠執(zhí)行以下操作當(dāng)?shù)趇幀目標(biāo) T和第i+Ι幀檢測區(qū)域M滿足以下全部條件時，則視為遮擋，遮擋后形成組并保存各目標(biāo)編組前特征，所述條件包括(1)檢測是存在的；( 滿足交疊判據(jù)，即1個M與2個T交疊； (3)滿足面積合理性判據(jù)；其中，交疊判據(jù)由交疊判據(jù)模塊實現(xiàn)；面積合理性判據(jù)由面積合理性判據(jù)模塊實現(xiàn)。
5.按照權(quán)利要求3所述的裝置，其中，分離判據(jù)模塊能夠執(zhí)行以下操作當(dāng)?shù)趈幀目標(biāo) T和第j+Ι幀檢測區(qū)域M滿足以下全部條件時，則視為分離，分離后遮擋組解散，各目標(biāo)匹配對應(yīng)，所述條件包括(1)目標(biāo)是穩(wěn)定存在的，且具有一定的運動趨勢；( 檢測是存在的； ⑶滿足交疊判據(jù)，即2個M與1個T交疊；(4)滿足面積合理性判據(jù)；(5)檢測的遮擋組指針與目標(biāo)的遮擋組指針一致；其中，交疊判據(jù)由所述交疊判據(jù)模塊實現(xiàn)；面積合理性判據(jù)由所述面積合理性判據(jù)模塊實現(xiàn)。
6.按照權(quán)利要求3所述的裝置，其中，交疊判據(jù)模塊能夠執(zhí)行以下操作計算檢測區(qū)域與目標(biāo)區(qū)域的交疊面積同目標(biāo)區(qū)域自身面積的比值R，其計算公式如
7.按照權(quán)利要求3所述的裝置，其中，面積合理性判據(jù)模塊判斷條件如下遮擋觸發(fā)加入R'濾除極小目標(biāo)的觸發(fā)，要求R' >第三預(yù)定閾值；加入面積關(guān)系限制，要求 Max (Tl. Area, T2. Area) < Μ. Area < Tl. Area+T2. Area ；分離觸發(fā)加入R'濾除極小檢測的觸發(fā)，要求R' >第三預(yù)定閾值；加入遮擋組面積限制，要求 Max (Ml. Area，M2. Area) < G. Area < Ml. Area+M2. Area ；加入遮擋組成員面積限制，要求Min (Tj. samp IeArea) < Mi. Area < Max (Tj. samp Ie Are a)。其中，R'表示目標(biāo)間的面積比，其公式如下
8.按照權(quán)利要求3所述的裝置，其中，遮擋分離處理模塊此外還包括遮擋穩(wěn)定模塊，用于提高遮擋過程的連續(xù)性，該遮擋穩(wěn)定模塊通過對短暫缺失的遮擋幀進行糾錯來避免遮擋過程的中斷。
9.按照權(quán)利要求2所述的裝置，其中，匹配系數(shù)計算模塊進一步包括單體目標(biāo)匹配系數(shù)計算模塊，用于計算未發(fā)生遮擋的目標(biāo)與未發(fā)生遮擋的前景檢測間的匹配系數(shù)；分離目標(biāo)匹配系數(shù)計算模塊，用于計算分離目標(biāo)和參與分離的前景檢測間的匹配系數(shù)。
10.按照權(quán)利要求9所述的裝置，其中，所述分離目標(biāo)匹配系數(shù)計算模塊能夠執(zhí)行以下操作_ i十算目標(biāo)面禾只比targetsAreaRate、區(qū)域面禾只比regionsAreaRate、0禾只變化量deltaAreaRate,其公式如下
11.按照權(quán)利要求2所述的裝置，其中，所述匹配決策模塊包括單體目標(biāo)匹配決策模塊，用于對未遮擋的目標(biāo)進行匹配置信比較，決策出最佳匹配對；兩分離目標(biāo)匹配決策模塊，用于對分離組內(nèi)的目標(biāo)進行匹配置信比較，決策出最佳匹配對。
12.按照權(quán)利要求11所述的裝置，其中，兩分離目標(biāo)匹配決策模塊能夠執(zhí)行以下操作 -對匹配矩陣，先橫向檢測每行的最大值，對初始化全0的標(biāo)號矩陣中其對應(yīng)位置加1，然后再縱向檢測每列的最大值，對標(biāo)號矩陣中其對應(yīng)位置再加1 ；這時標(biāo)號矩陣每個位置就可能為三種情況的一種0、1和2 ；其中“2”表示M與T互相選擇；“1”表示M與T互相只有1個選擇對方；“0”表示M與T相互沒有選擇；-找到標(biāo)號矩陣中為“2”的位置，其橫縱所對應(yīng)的Ti和Mj就是最佳匹配對。
13.按照權(quán)利要求2所述的裝置，其中，所述目標(biāo)信息更新模塊包括單體目標(biāo)信息更新模塊和遮擋目標(biāo)信息更新模塊，其中，單體目標(biāo)信息更新模塊用于按照匹配結(jié)果，用檢測區(qū)域信息更新單體目標(biāo)信息； 遮擋目標(biāo)信息更新模塊用于按照匹配結(jié)果，用檢測區(qū)域信息更新遮擋目標(biāo)信息。
14.按照權(quán)利要求13所述的裝置，其中，目標(biāo)信息更新模塊此外還包括遮擋軌跡修正模塊，用于為遮擋過程的軌跡做修正處理。
15.一種目標(biāo)跟蹤方法，包括將視頻場景中的檢測從背景中提取出來； 基于所提取出的檢測，記錄目標(biāo)在每幀內(nèi)的位置；其中，所述檢測是指檢測到的當(dāng)前幀的前景團塊，所述目標(biāo)指的是連續(xù)多幀匹配形成的檢測序列。
16.按照權(quán)利要求15所述的目標(biāo)跟蹤方法，其中記錄目標(biāo)在每幀內(nèi)的位置的步驟包括計算目標(biāo)的位置、直方圖、速度，并將這些計算結(jié)果作為特征輸出； 根據(jù)上一幀中目標(biāo)的位置、速度，預(yù)測當(dāng)前幀中目標(biāo)的位置；根據(jù)多個目標(biāo)的位置，判斷多個目標(biāo)之間是否發(fā)生遮擋或分離，將相互發(fā)生遮擋的目標(biāo)編入遮擋組，將分離的目標(biāo)從遮擋組內(nèi)剔除；分別計算每一個目標(biāo)與每個檢測的特征匹配系數(shù)，把匹配系數(shù)記錄到匹配系數(shù)矩陣中，以便后期的匹配決策；從匹配系數(shù)矩陣中選擇出最佳匹配對并輸出；根據(jù)所述最佳匹配對，更新目標(biāo)的信息；完成包括目標(biāo)狀態(tài)轉(zhuǎn)換、丟失目標(biāo)刪除及新目標(biāo)生成的處理。
全文摘要
本發(fā)明提供了一種基于層級式特征匹配的目標(biāo)跟蹤裝置及方法。該裝置包括目標(biāo)檢測模塊、特征提取模塊、目標(biāo)預(yù)測模塊、遮擋分離處理模塊、匹配系數(shù)計算模塊、匹配決策模塊、目標(biāo)信息更新模塊、跟蹤后處理模塊。本發(fā)明為實現(xiàn)在遮擋事件期間保持對目標(biāo)的連續(xù)跟蹤，采用了對遮擋目標(biāo)編組處理的思想。通過“交疊判據(jù)”和“面積合理性判據(jù)”的共同約束，保證了遮擋觸發(fā)和分離觸發(fā)在含噪聲場景下的魯棒性。通過層級式特征匹配法，有效利用了特征的差異屬性，使匹配結(jié)果更為準(zhǔn)確。
文檔編號G06T7/20GK102214359SQ20101014281
公開日2011年10月12日 申請日期2010年4月7日 優(yōu)先權(quán)日2010年4月7日
發(fā)明者黃建 申請人:北京智安邦科技有限公司