專利名稱：面向低幀率視頻的目標跟蹤方法
技術領域：
本發(fā)明涉及計算機視覺領域，尤其是一種面向低幀率視頻的目標跟蹤方法。
背景技術：
在很多的實際的機器視覺應用中，可利用的資源都是受限制的(例如嵌入式可 視系統(tǒng))。所以，在視頻采集的過程中就會產生一些低巾貞率(Low Frame Rate)視頻,具體的 原因有如下兩種1)由于視頻采集硬件的延時或傳輸帶寬的限制，使得視頻采集過程或傳 輸過程掉幀；2)由于CPU處理能力或存儲容量的限制，對所采集的視頻數(shù)據(jù)在時間維上進 行下采樣，從而提高處理速率或降低存儲量。由于低幀率視頻數(shù)據(jù)每秒鐘顯示的圖像數(shù)據(jù)少于10幀，導致其連續(xù)的圖像幀中 目標物體的表觀或運動存在很大的突變。然而，大多經典的跟蹤算法都是基于目標狀態(tài)的 連續(xù)性假設，即假定目標物體的運動和表觀在連續(xù)圖像幀間的變化很小。例如，粒子濾波算 法采用在前一幀的跟蹤結果的基礎上來預測當前幀圖像中的粒子；基于迭代優(yōu)化的跟蹤算 法，如KLT (Kanade-Lucas-Tomasi)、模板匹配算法和均值漂移算法也同樣將基于前一巾貞的 跟蹤結果作為當前幀迭代優(yōu)化的初始值。因此，上述經典的跟蹤算法在面向低幀率視頻的 應用中無法獲得令人滿意的結果。國內外直接針對低幀率視頻下目標跟蹤的研究較少，其中Porikli等人對均值漂 移算法進行了拓展，在背景減除的基礎上對運動顯著區(qū)域采用多核的均值漂移算法，從而 克服了由低幀率所引起的運動不連續(xù)性以及不可預測的問題。Li等人提出一種級聯(lián)粒子濾 波算法來解決低幀率視頻下目標運動突變的問題，該算法通過檢測器來學習不同時序周期 上的特征，并將檢測器的響應作為重要性分布融入到粒子濾波算法，實現(xiàn)對低幀率人臉視 頻的有效跟蹤。Carrano等人目標運動的可能性區(qū)域通過背景減除獲得，然后結合下列四種 特征相關性系數(shù)、平均像素強度、速度差和角度差，來實現(xiàn)目標模型與運動可能性區(qū)域的 匹配。另外，Zhang等人采用連續(xù)圖像幀間的差分圖來預測目標的運動突變，然后利用預測 的結果來指導粒子濾波中的樣本傳播過程?？偠灾瑖鴥韧猬F(xiàn)有的研究都是將低幀率視 頻看成目標物體的運動突變。然而，在實際應用中，低幀率視頻所引入的不僅僅是目標物體 的運動突變，還伴隨著目標表觀的巨大變化。因此，要實現(xiàn)低幀率視頻下得魯棒跟蹤，需要 同時從目標物體的表觀模型和運動搜索框架兩個方面著手，使其符合低幀率視頻的特性。

發(fā)明內容
為了克服低幀率視頻所帶來的目標表觀和運動突變的問題，本發(fā)明提出從以下三 個方面著手來建立一個魯棒的面向低幀率視頻的目標跟蹤系統(tǒng)1)目標表示；2)模型匹 配；3)運動搜索。首先，提出融合主顏色及其空間分布的表觀模型和交叉顏色比例的匹配 準則，使得模型有效地處理目標表觀和光線的突變；其次，提出基于生物群智能的運動搜索 方法，從而對運動突變進行有效地跟蹤。為了實現(xiàn)上述的目的，本發(fā)明采用了以下的技術方案
建立一個魯棒的面向低幀率視頻的目標跟蹤系統(tǒng)，包括以下的步驟I.融合主顔色及其空間分布信息的目標表觀及其更新，主要有以下步驟第一歩，將目標區(qū)域像素從RGB轉換到rgl顔色空間，再計算像素顔色的歐氏距 離，從而建立目標區(qū)域像素間的權重圖矩陣；第二歩，利用所建立像素間的圖結構，對像素采用主導集聚類算法可依次獲得目 標區(qū)域的主顏色模式，當剰余像素個數(shù)小于一定的閾值，則聚類結束，并認為剰余像素為噪 聲；第三步，提取落在每個主顏色模式內所有像素的包括權重、均值和方差的空間分 布信息，而且所有像素點的空間位置需要進行中心化處理(為了消除絕對位置的影響)；第四步，在每ー幀跟蹤結束之后，對主顏色模式及其空間分布信息進行更新；2.在完成對目標區(qū)域模板的“主顔色+空間”表示后，當跟蹤系統(tǒng)獲得一個候選區(qū) 域時，需要對候選區(qū)域與目標模型進行相似度匹配。本發(fā)明就提出了基于交叉顔色比例的 匹配準則，基本步驟如下第一歩，在給定目標模板的主顏色模式上利用最近鄰算法確定候選區(qū)域的主顔色 模式，再計算各自主顔色模式間的交叉比例矩陣；第二步，根據(jù)所建立的不同交叉比例矩陣，計算兩個矩陣間的平方和距離作為顏 色模式的匹配誤差；第三步，根據(jù)目標模板中主顔色的空間分布信息，計算候選區(qū)域中對應顏色模式 的空間匹配誤差，并與顏色匹配誤差進行融合；3.在應用退火粒子群優(yōu)化框架前，需要定義ー個適應值函數(shù)來表征樣本粒子與目 標模板的匹配程度。為了避免在適應值評價過程中多次計算圖像的重復區(qū)域，本發(fā)明設計 一種基于參數(shù)積分圖的適應值快速計算方法，具體實現(xiàn)步驟如下第一歩，根據(jù)粒子群優(yōu)化算法中的最大限制速度參數(shù)來確定潛在樣本粒子所能覆 蓋的最大區(qū)域；第二步，根據(jù)目標模板的主顏色模式和最近鄰算法確定該圖像區(qū)域中每個像素屬 于哪個主顏色模式，從而獲得整個圖像區(qū)域像素的標簽；第三步，針對每ー個像素，記錄其標簽和空間參數(shù)形成ー個5維向量，并計算該5 維向量的積分圖；第四步，對于給定樣本粒子的對應區(qū)域，根據(jù)積分圖查找該區(qū)域的模型參數(shù)，井根 據(jù)匹配準則計算該粒子的適應值；4.對于由低幀率視頻所引起的突變運動，本發(fā)明設計ー種模擬生物群智能的退火 粒子群優(yōu)化框架來捜索。其主要步驟如下第一歩，對上ー幀圖像跟蹤收斂后的個體最優(yōu)粒子進行時序上的隨機傳播，以提 高樣本粒子的多祥性，由于個體最優(yōu)粒子的緊致性，所以不需要對粒子進行重采樣；第二步，對樣本粒子進行退火優(yōu)化迭代，在迭代過程中需要通過適應值評價更新 粒子群的個體最優(yōu)粒子和群體最優(yōu)粒子，用以指導粒子群的進化迭代過程；第三步，對進化的粒子進行收斂性判斷，并輸出跟蹤結果；本發(fā)明的有益效果是I、本發(fā)明所提出的跟蹤算法是ー種面向低幀率視頻的目標跟蹤的方法；〔0028〕 2、本發(fā)明提出一種融合主顏色及其空間分布信息的目標表觀模型，采用主導集 聚類算法獲得目標區(qū)域的主顏色模式，該算法可根據(jù)樣本的“緊致性”自動決定類的個數(shù)， 產生層次清晰的聚類類別，從而保留最具判別性的顏色模式，剔除噪聲像素的影響，并且該 算法的計算量小，容易滿足實時性需求。同時提取主顏色在空間位置中的分布模式，既可以 保留顏色模型的適應性，又提高了模型的判別性。
〔0029〕 3、本發(fā)明提出一種交叉顏色比例的匹配準則，該準則較其他準則(如 811511:1:51(311511*75^系數(shù)、如116狀卜匕讓丨一!'散度等)更為魯棒，具體表現(xiàn)以下兩個方面該 準則采用顏色比例可有效消除光照變化的影響計算距離時將每個顏色模式對所有其 他顏色模式考慮進來，可減輕背景噪聲像素和遮擋部分像素的影響。
〔0030〕 4本發(fā)明提出的退火粒子群優(yōu)化框架是一個基于分布重要性采樣的過程，通過粗 采樣和細采樣兩個步驟將圖像觀測信息加入到采樣過程中，從而得到的采樣結果逼近直接 采樣于最佳重要性分布的結果，也很好的解決了突然運動的搜索問題。
〔0031〕 5^本發(fā)明提出一種基于積分圖的適應值快速計算方法避免了在評價過程中多次 計算圖像的重復區(qū)域。每個像素只需一次匹配計算，即使運動搜索的迭代次數(shù)增加了，也不 會增加計算復雜度。


〔0032〕 下面結合附圖和實施例對本發(fā)明進一步說明。
〔0033〕 圖1是本發(fā)明的跟蹤系統(tǒng)的整體框架；
具體實施例方式
〔0034〕 下面通過實施例對本發(fā)明進行具體的描述，只用于對本發(fā)明進行進一步說明，不 能理解為對本發(fā)明保護范圍的限定，該領域的技術人員可根據(jù)上述發(fā)明的內容對本發(fā)明作 出一些非本質的改進和調整。
〔0035〕 如圖1所示，圖1為本發(fā)明整體框架。本發(fā)明為一種面向低幀率視頻的目標跟蹤 方法，本發(fā)明的方法具體運行的硬件和編程語言并不限制，用任何語言編寫都可以完成，為 此其它工作模式不再贅述。
〔0036〕 本發(fā)明的實施例采用一臺具有3丨26赫茲中央處理器和字節(jié)內存的奔騰4計算 機并用1社1處語言編制了工作程序，實現(xiàn)了本發(fā)明的方法，本發(fā)明的面向低幀率視頻的目 標跟蹤方法包括以下步驟
〔0037〕 計算融合主顏色及其空間分布信息的目標表觀、交叉顏色比例的匹配準則的構 建、模擬生物群智能的退火粒子群優(yōu)化框架的更新及判斷、基于積分圖的適應值快速計算 等模塊，具體步驟如下所述
〔0038〕(丨)首先將目標區(qū)域像素按公式
〔0039〕 1- ^ (^+^)，8 二 以(^+^)，I 二 (^+^)
〔0040〕 進行顏色空間的轉變；然后再定義像素間的權重圖如下
〔0041〕 I』二 |2
〔0042〕 其中匕二 (巧，。I》，1，』分別表示第1個像素和第』個像素。
〔0043〕 再通過主導集聚類的方法就可以依次得到主顏色模式6、。
(2)計算落在第1個顏色模式的所有像素的空間分布模式均值、方差分別如下
權利要求
1.一種面向低幀率視頻的目標跟蹤方法，其特征在于，包括以下步驟 (1)在融合主顔色及其空間分布的目標表示過程中要將目標區(qū)域像素的顔色空間從RGB轉換到rgl空間，再采用主導集聚類的方法獲得像素的主顏色模式； (2)對于落在每個主顏色模式內所有像素的包括權重、均值和方差的空間分布信息進行計算，并與顏色模式信息進行融合及更新； (3)對給定目標模板的主顏色模式利用最近鄰算法確定候選區(qū)域的主顏色模式，進而計算各主顔色模式間的交叉比例矩陣及顏色模式的匹配誤差； (4)根據(jù)目標模板中主顔色的空間分布信息計算候選區(qū)域中對應顏色模式的空間匹配誤差，并且與顔色匹配誤差進行融合； (5)在已確定的最大圖像區(qū)域計算其中每個像素的標簽，并將其與空間參數(shù)構成5維向量，再計算該5維向量的積分圖； (6)根據(jù)積分圖查找給定樣本粒子的對應區(qū)域的模型參數(shù)，并根據(jù)匹配準則計算該粒子的適應值； (7)根據(jù)退火粒子群優(yōu)化的運動搜索框架對樣本粒子進行退火優(yōu)化迭代，同時還要利用適應值評價更新粒子群的個體最優(yōu)粒子和全體最優(yōu)粒子，然后對進化的粒子進行收斂性判斷并輸出跟蹤結果。
2.根據(jù)權利要求I所述的面向低幀率視頻的目標跟蹤方法，其特征在于，所述的步驟(1)具體包括以下子步驟 首先，目標區(qū)域像素顔色空間的轉換； 其次，計算像素顏色的歐氏距離，由此建立像素間的權重圖矩陣； 最后，由圖結構依次獲得主顏色模式。
3.根據(jù)權利要求I所述的面向低幀率視頻的目標跟蹤方法，其特征在于，所述的步驟(2)具體包括以下子步驟 首先，從權重、均值、方差三個方面計算像素的空間分布模式，而且像素點的位置還要中心化處理； 其次，將空間分布信息與顔色分布信息進行融合及更新。
4.根據(jù)權利要求I所述的面向低幀率視頻的目標跟蹤方法，其特征在于，所述的步驟(3)具體包括以下子步驟 首先，確定候選區(qū)域的主顏色模式； 其次，計算各自主顔色模式間的交叉比例矩陣； 最后，計算兩個矩陣間的平方和距離作為顏色模式的匹配誤差。
5.根據(jù)權利要求I所述的面向低幀率視頻的目標跟蹤方法，其特征在于，所述的步驟(4)具體包括以下子步驟 首先，計算候選區(qū)域中對應顏色模式的空間匹配誤差； 其次，將顏色匹配誤差與空間匹配誤差進行融合。
6.根據(jù)權利要求I所述的面向低幀率視頻的目標跟蹤方法，其特征在于，所述的步驟(5)具體包括以下子步驟 首先，確定潛在樣本粒子所能覆蓋的最大圖像區(qū)域； 其次，由最大圖像區(qū)域中的每個像素的主顏色模式可得該區(qū)域像素的標簽；最后，計算由標簽和空間參數(shù)構成的5維向量的積分圖。
7.根據(jù)權利要求I所述的面向低幀率視頻的目標跟蹤方法，其特征在于，所述的步驟(6)具體包括以下子步驟 首先，根據(jù)積分圖查找給定樣本粒子的對應區(qū)域的模型參數(shù)； 其次，根據(jù)匹配準則計算該粒子的適應值。
8.根據(jù)權利要求I所述的面向低幀率視頻的目標跟蹤方法，其特征在于，所述的步驟(7)具體包括以下子步驟 首先，對前ー幀圖像收斂后的個體最優(yōu)粒子進行時序上的隨機傳播； 其次，對樣本粒子進行退火優(yōu)化迭代，同時還要通過適應值評價更新粒子群個體最優(yōu)粒子和群體最優(yōu)粒子； 最后，對進化的粒子進行收斂性判斷。
全文摘要
本發(fā)明公開了一種面向低幀率視頻的目標跟蹤方法，其包含主要的步驟如下(1)將目標區(qū)域用融合主顏色及其空間分布特征的方法表示；(2)對候選區(qū)域與目標區(qū)域采用基于交叉顏色比例的匹配準則進行相似度匹配；(3)采用一種基于參數(shù)積分圖的適應值函數(shù)來表征樣本粒子與目標模板的匹配程度；(4)利用一種模擬生物群智能的退火粒子群優(yōu)化框架來搜索低幀率視頻所引起的突變運動。本發(fā)明實現(xiàn)了有效的目標跟蹤方法，相對于其他經典低幀率跟蹤算法，實驗結果表明該發(fā)明更加有效和魯棒。
文檔編號G06T7/20GK102663775SQ201210089248
公開日2012年9月12日 申請日期2012年3月30日 優(yōu)先權日2012年3月30日
發(fā)明者張笑欽 申請人:溫州大學