多目標跟蹤方法及裝置制造方法
【專利摘要】本發(fā)明提供一種多目標跟蹤方法及裝置，所述方法包括以下步驟：在獲取視頻圖像后，對所述視頻圖像進行分割，根據(jù)分割的結(jié)果提取所有待跟蹤目標的斑點；對各斑點進行擬合得到相應(yīng)的擬合形狀，并將所述擬合形狀的像素與待跟蹤目標進行關(guān)聯(lián)；根據(jù)所述擬合形狀及待跟蹤目標的數(shù)量判斷是否發(fā)生遮擋；則對待跟蹤目標及相應(yīng)的斑點進行遮擋分析，并根據(jù)關(guān)聯(lián)的結(jié)果及遮擋分析的結(jié)果將各斑點中的像素賦給相應(yīng)的待跟蹤目標，使得待跟蹤目標與相應(yīng)斑點中的預(yù)定像素一一對應(yīng)后，對各待跟蹤目標進行跟蹤。本發(fā)明的多目標跟蹤方法及裝置能有效提高目標跟蹤的穩(wěn)定性。
【專利說明】多目標跟蹤方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及目標跟蹤【技術(shù)領(lǐng)域】，特別是涉及一種多目標跟蹤方法及一種多目標跟
蹤裝置。
【背景技術(shù)】
[0002]目標跟蹤是機器視覺的核心問題之一，是一個融合圖像處理、模式識別、人工智能及自動控制等不同領(lǐng)域先進成果的高新技術(shù)，在軍事制導(dǎo)、視頻監(jiān)控、醫(yī)療診斷、產(chǎn)品檢測、虛擬現(xiàn)實等眾多領(lǐng)域有重要的實用價值和廣闊的發(fā)展前景。
[0003]然而，由于被跟蹤目標本身特征的多樣性和外部環(huán)境的復(fù)雜性，目標跟蹤一直是一個極富挑戰(zhàn)性的課題。一個魯棒的目標跟蹤算法必須要能夠解決跟蹤過程中遇到的各種困難，如旋轉(zhuǎn)、尺寸變化、光照變化等，其中遮擋問題是其中的難點。遮擋是目標跟蹤中的常見情況。主要有以下兩種遮擋:一是被背景中的靜止目標所遮擋；二是多目標之間的互相遮擋；目標遮擋的過程又分為三個階段:一是目標開始進入遮擋，這時關(guān)于目標的信息會逐漸丟失；二是目標處于遮擋之中，該過程中信息一直保持丟失狀態(tài)；三是目標離開遮擋，目標信息逐漸恢復(fù)。
[0004]復(fù)雜背景下的目標跟蹤由于很難提取出目標進行跟蹤，因此在復(fù)雜背景下很難達到性能穩(wěn)定的目標提取效果，一般采用基于模板的相關(guān)匹配跟蹤技術(shù)。對于近距離面目標或尺寸很大的面目標，目標圖像占據(jù)視場的大部分或充滿視場，圖像相關(guān)匹配的數(shù)據(jù)和計算量很大。圖像相關(guān)匹配的計算實時性在一定程度上決定了該技術(shù)的實用性。
[0005]在復(fù)雜背景下，運動目標存在不同程度的遮擋，此時不能根據(jù)圖像特征來分辨遮擋物，一般采用基于模板的相關(guān)跟蹤算法。但是常用的單模板跟蹤算法存在著不確定性:匹配點與極值點的不確定性、相關(guān)峰寬度的不確定性、圖像變化造成的不確定性和判定準則的不確定性。為了改善單模板匹配存在的問題，業(yè)界提出了采用動態(tài)模板和遮擋檢測的方法來解決目標發(fā)生遮擋時的跟蹤問題，但更新后的模板與真正目標差異仍然很大，跟蹤穩(wěn)定性較差。

【發(fā)明內(nèi)容】

[0006]基于此，本發(fā)明提供一種多目標跟蹤方法及裝置，能夠有效提聞目標跟蹤的穩(wěn)定性。
[0007]一種多目標跟蹤方法，包括以下步驟:
[0008]在獲取視頻圖像后，對所述視頻圖像進行分割，根據(jù)分割的結(jié)果提取所有待跟蹤目標的斑點；
[0009]對各斑點進行擬合得到相應(yīng)的擬合形狀，并將所述擬合形狀的像素與待跟蹤目標進行關(guān)聯(lián)；
[0010]根據(jù)所述擬合形狀及待跟蹤目標的數(shù)量判斷是否發(fā)生遮擋；
[0011]若是，則對待跟蹤目標及相應(yīng)的斑點進行遮擋分析，并根據(jù)關(guān)聯(lián)的結(jié)果及遮擋分析的結(jié)果將各斑點中的像素賦給相應(yīng)的待跟蹤目標，使得待跟蹤目標與相應(yīng)斑點中的預(yù)定像素一一對應(yīng)后，對各待跟蹤目標進行跟蹤。
[0012]一種多目標跟蹤裝置，包括:
[0013]圖像分割及斑點獲取模塊，在獲取視頻圖像后，對所述視頻圖像進行分割，根據(jù)分割的結(jié)果提取所有待跟蹤目標的斑點；
[0014]關(guān)聯(lián)模塊，用于對各斑點進行擬合得到相應(yīng)的擬合形狀，并將所述擬合形狀的像素與待跟蹤目標進行關(guān)聯(lián)；
[0015]判斷模塊，根據(jù)所述擬合形狀及待跟蹤目標的數(shù)量判斷是否發(fā)生遮擋；
[0016]賦值模塊，用于當所述判斷模塊的判斷結(jié)果為是時，對待跟蹤目標及相應(yīng)的斑點進行遮擋分析，并根據(jù)關(guān)聯(lián)的結(jié)果及遮擋分析的結(jié)果將各斑點中的像素賦給相應(yīng)的待跟蹤目標，使得待跟蹤目標與相應(yīng)斑點中的預(yù)定像素一一對應(yīng)后，對各待跟蹤目標進行跟蹤。
[0017]由以上方案可以看出，本發(fā)明的多目標跟蹤方法及裝置在獲取視頻圖像后獲取待跟蹤目標的斑點，對各斑點進行擬合得到相應(yīng)的目標，并將所述斑點與目標進行關(guān)聯(lián)，當出現(xiàn)多個目標發(fā)生遮擋時，則進行遮擋分析得出遮擋物與被遮擋物分別對應(yīng)斑點中的像素集，再根據(jù)關(guān)聯(lián)的結(jié)果及遮擋分析的結(jié)果將各斑點的像素賦給相應(yīng)的目標。本發(fā)明通過對各待跟蹤目標賦予相應(yīng)斑點的像素，使得各待跟蹤目標與相應(yīng)斑點的像素集一一對應(yīng)，即利用了空間分布和紋理信息來將各斑點的像素與對應(yīng)目標關(guān)聯(lián)起來，從而提高了對目標的跟蹤的穩(wěn)定性。另外，本發(fā)明根據(jù)所述關(guān)聯(lián)的結(jié)果及遮擋分析的結(jié)果使得待跟蹤目標與相應(yīng)斑點中的像素進行對應(yīng)后，對待跟蹤目標進行跟蹤，從而使得跟蹤的速度更快、準確度更聞。
【專利附圖】

【附圖說明】
[0018]圖1為本發(fā)明實施例中一種多目標跟蹤方法的流程示意圖；
[0019]圖2為本發(fā)明實施例中目標和斑點可能存在的關(guān)系示意圖；
[0020]圖3為本發(fā)明實施例中兩個目標發(fā)生遮擋過程的示意圖；
[0021]圖4為本發(fā)明實施例中一種多目標跟蹤裝置的結(jié)構(gòu)示意圖。
【具體實施方式】
[0022]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0023]參照圖1所示，一種多目標跟蹤方法，包括以下步驟:
[0024]步驟S101，在獲取視頻圖像后，對所述視頻圖像進行分割，根據(jù)分割的結(jié)果提取所有待跟蹤目標的斑點。所述斑點可以是通過高斯背景建模識別出來的沒經(jīng)過任何處理的數(shù)據(jù)。
[0025]步驟S102，對各斑點進行擬合得到相應(yīng)的擬合形狀，并將所述擬合形狀的像素與待跟蹤目標進行關(guān)聯(lián)；
[0026]步驟S103，根據(jù)所述擬合形狀及待跟蹤目標的數(shù)量判斷是否發(fā)生遮擋；若是，則說明一個斑點所擬合的擬合形狀可能對應(yīng)著多個目標，即發(fā)生了多目標間的遮擋，此時執(zhí)行步驟S104。否則，根據(jù)所述擬合形狀與目標關(guān)聯(lián)的結(jié)果將各待跟蹤目標與相應(yīng)斑點的像素對應(yīng)，以提聞目標跟著的穩(wěn)定性。
[0027]如圖2所示，Vb2和b3為經(jīng)過高斯背景建模提取出來的斑點，而0l、02、03和O4為擬合得到的擬合形狀。假設(shè)在時刻t檢測到有M個斑點Iv I ≤j ≤ M，其中有N個目標(0i，l≤i≤N)已經(jīng)處于跟蹤的狀態(tài)。由于遮擋的原因，一個或多個目標有可能表現(xiàn)為一個閉合的斑點，如圖2中的匕可能就是由目標O2和O3疊加的。因此，可以得到M≤N，即一個斑點可能對應(yīng)著一個或者多個目標，即發(fā)生了目標間的遮擋。
[0028]步驟S104，當所述步驟S103的判斷結(jié)果為是時，則進行遮擋分析，并根據(jù)關(guān)聯(lián)的結(jié)果及遮擋分析的結(jié)果將各斑點中的像素賦給相應(yīng)的待跟蹤目標，使得待跟蹤目標與相應(yīng)斑點中的預(yù)定像素一一對應(yīng)后，對各待跟蹤目標進行跟蹤。由于發(fā)生遮擋時，有可能一個斑點對應(yīng)多個待跟蹤目標，此步驟中各待跟蹤目標所對應(yīng)的預(yù)定可能是相應(yīng)斑點中的某部分的像素，例如為對應(yīng)斑點中關(guān)聯(lián)度最高的像素。
[0029]遮擋的分析可以在是在擬合形狀及待跟蹤目標的分布空間和紋理上進行。如圖3(a)至圖3 (e)中所示的為在遮擋前的兩個目標。當遮擋發(fā)生時，只能得到一個斑點，兩個目標都會把這個斑點的像素當作自己的像素。但是，如果斑點中的像素符合某個目標的紋理，那么該像素還是會賦給該目標，如圖3 (a)至圖3 (e)中的矩形目標，這樣，在觀察矩形目標時是不會發(fā)生什么 變化的，而被遮擋的目標，會隨著賦給它的像素越來越少而逐漸消失，如圖三(b)中的圓形目標。定義目標Oi的遮擋率Ri為某個目標與其他目標交于斑點的像素點數(shù)，定義一個閾值!\當Ri ( T時，就可以假設(shè)該目標已經(jīng)被完全遮擋了。
[0030]在進行遮擋分析時，不僅要知道一個目標是否發(fā)生遮擋，更要確認出遮擋者。根據(jù)已知在被遮擋的目標再次出現(xiàn)之前，它都會被假定在遮擋目標的后面，并且隨著該遮擋目標一起運動。但當被遮擋的目標在遮擋目標附近重新出現(xiàn)時，將這兩個目標分開，并且重新建立一個空間模型。
[0031]本發(fā)明的提出了一個多目標跟蹤方法可以解決長時間遮擋的多目標跟蹤算法。該方法基于“目標存在的持久性”這個原理，即一個被完全遮擋的目標可能還重新出現(xiàn)在遮擋它的目標旁邊出現(xiàn)。本發(fā)明的方法不需要提前對目標的形狀、顏色、大小等特征進行訓練，可以自適應(yīng)的建立目標的模型。由于建立了數(shù)據(jù)關(guān)聯(lián)機制，使得可以很好的解決遮擋問題，提聞了目標跟蹤的準確度。
[0032]作為一個較好的實施例，所述在獲取視頻圖像后，對所述視頻圖像進行分割，根據(jù)分割的結(jié)果提取所有待跟蹤目標的斑點的過程，具體可以包括以下步驟:
[0033]步驟S1011,在獲取視頻圖像后，采用高斯混合模型(GMM, Gaussian MixtureModel)進行背景建模。目標的紋理g由高斯混合模型g=g(wk，uk，Xk)來表示，其中
1≤K, (wk, uk, Σ,)則表示混合模型的第k個高斯分量的加權(quán)系數(shù)、均值和協(xié)方差。高斯混合模型的參數(shù)主要是通過EM算法估計得到。同樣，定義像素值為c的像素點是由GMM算法得到的概率為其中PA(p，g)為P的顏色是否符合高斯模型g的一個度量。
[0034]步驟S1012，根據(jù)在后一幀視頻圖像的建模結(jié)果與在前一幀視頻圖像的背景建模結(jié)果進行計算，分割出后一幀視頻圖像的待跟蹤目標。即可將后一幀視頻圖像的建模結(jié)果減去在前一幀視頻圖像的背景建模結(jié)果得到待跟蹤目標。
[0035]步驟S1013，獲取各待跟蹤目標的像素集合，該像素集合為所述各待跟蹤目標的斑點。
[0036]由于圖像中每個像素點的值(或特征)在短時間內(nèi)都是圍繞與某一中心值一定距離內(nèi)分布，通常，中心值可以用均值來代替，距離可以用方差來代替。這種分布是有規(guī)律的。根據(jù)統(tǒng)計定律，如果數(shù)據(jù)點足夠多的話，可以說明這些點呈正態(tài)分布，也稱為高斯分布。根據(jù)這個特點，如果像素點的值偏離中心值較遠，那么，這個像素值屬于前景，如果像素點的值偏離中心值很近(在一定方差范圍內(nèi))，那么可以說該像素點屬于背景。
[0037]混合高斯模型使用K個(K基本為3到5個)高斯模型來表征圖像中各個像素點的特征，在新一幀圖像獲得后更新混合高斯模型，用當前圖像中的每個像素點與混合高斯模型匹配，如果成功則判定該點為背景點，否則為前景點。每個高斯模型，他主要是有方差和均值兩個參數(shù)決定，對均值和方差的學習，采取不同的學習機制，將直接影響到模型的穩(wěn)定性、精確性和收斂性。由于本發(fā)明是對運動目標的背景提取建模，因此需要對高斯模型中方差和均值兩個參數(shù)實時更新。為提高模型的學習能力，改進方法對均值和方差的更新采用不同的學習率；為提高在繁忙的場景下，大而慢的運動目標的檢測效果，引入權(quán)值均值的概念，建立背景圖像并實時更新，然后結(jié)合權(quán)值、權(quán)值均值和背景圖像對像素點進行前景和背景的分類。假設(shè)對每個輸入像素值It，若滿足:
[0038]Ilt-UiiHl SD.0i,t-1;
[0039]其中μ 為均值，D為參數(shù)，σ Μ。為標準差。
[0040]則It和該高斯函數(shù)匹配，其參數(shù)按如下公式更新:
[0041]
【權(quán)利要求】
1.一種多目標跟蹤方法，其特征在于，包括以下步驟: 在獲取視頻圖像后，對所述視頻圖像進行分割，根據(jù)分割的結(jié)果提取所有待跟蹤目標的斑點； 對各斑點進行擬合得到相應(yīng)的擬合形狀，并將所述擬合形狀的像素與待跟蹤目標進行關(guān)聯(lián)； 根據(jù)所述擬合形狀及待跟蹤目標的數(shù)量判斷是否發(fā)生遮擋； 若是，則對待跟蹤目標及相應(yīng)的斑點進行遮擋分析，并根據(jù)關(guān)聯(lián)的結(jié)果及遮擋分析的結(jié)果將各斑點中的像素賦給相應(yīng)的待跟蹤目標，使得待跟蹤目標與相應(yīng)斑點中的預(yù)定像素一一對應(yīng)后，對各待跟蹤目標進行跟蹤。
2.根據(jù)權(quán)利要求1所述的多目標跟蹤方法，其特征在于，所述對各斑點進行擬合得到相應(yīng)的擬合形狀，并將所述擬合形狀的像素與待跟蹤目標進行關(guān)聯(lián)的過程包括以下步驟: 通過空間分布模型對斑點進行擬合，所述空間分布模型包括待跟蹤目標的位置信息以及空間分布信息； 獲取與各待跟蹤目標相交的所有斑點，并對各待跟蹤目標及與其相交的斑點進行計算； 根據(jù)計算的結(jié)果查詢相應(yīng)斑點中與各待跟蹤目標關(guān)聯(lián)度最高的像素； 將各待跟蹤目標分別與相應(yīng)斑點中關(guān)聯(lián)度最聞的像素進行關(guān)聯(lián)。
3.根據(jù)權(quán)利要求2所述的多目標跟蹤方法，其特征在于，所述空間分布模型為:

4.根據(jù)權(quán)利要求2或3所述的多目標跟蹤方法，其特征在于，所述對各斑點進行擬合得到相應(yīng)的擬合形狀，并將所述擬合形狀的像素與待跟蹤目標進行關(guān)聯(lián)的過程還包括以下步驟: 根據(jù)高斯混合模型g=g(wk，uk，Xk)計算待跟蹤目標的紋理；其中，I ≤ k ≤K，(wk, uk, Σ,)分別表示高斯混合模型的第k個高斯分量的加權(quán)系數(shù)、均值和協(xié)方差。
5.根據(jù)權(quán)利要求4所述的多目標跟蹤方法，其特征在于，所述對各斑點進行擬合得到相應(yīng)的擬合形狀，并將所述擬合形狀的像素與待跟蹤目標進行關(guān)聯(lián)的過程還包括以下步驟: 判斷出現(xiàn)遮擋的待跟蹤目標的紋理是否相同； 若否，則根據(jù)公式
6.根據(jù)權(quán)利要求5所述的多目標跟蹤方法，其特征在于，還包括以下步驟: 若所述判斷出現(xiàn)遮擋的各待跟蹤目標的紋理是否相同的判斷的結(jié)果為是，則根據(jù)公式
7.根據(jù)權(quán)利要求4所述的多目標跟蹤方法，其特征在于，所述在獲取視頻圖像后，對所述視頻圖像進行分割，根據(jù)分割的結(jié)果提取所有待跟蹤目標的斑點的過程包括以下步驟: 在獲取視頻圖像后，采用高斯混合模型進行背景建模； 根據(jù)在后一幀視頻圖像的建模結(jié)果與在前一幀視頻圖像的背景建模結(jié)果進行計算，分割出后一幀視頻圖像的待跟蹤目標； 獲取各待跟蹤目標的像素集合，該像素集合為所述各待跟蹤目標的斑點。
8.一種多目標跟蹤裝置，其特征在于，包括: 圖像分割及斑點獲取模塊，在獲取視頻圖像后，對所述視頻圖像進行分割，根據(jù)分割的結(jié)果提取所有待跟蹤目標的斑點； 關(guān)聯(lián)模塊，用于對各斑點進行擬合得到相應(yīng)的擬合形狀，并將所述擬合形狀的像素與待跟蹤目標進行關(guān)聯(lián)； 判斷模塊，根據(jù)所述擬合形狀及待跟蹤目標的數(shù)量判斷是否發(fā)生遮擋； 賦值模塊，用于當所述判斷模塊的判斷結(jié)果為是時，對待跟蹤目標及相應(yīng)的斑點進行遮擋分析，并根據(jù)關(guān)聯(lián)的結(jié)果及遮擋分析的結(jié)果將各斑點中的像素賦給相應(yīng)的待跟蹤目標，使得待跟蹤目標與相應(yīng)斑點中的預(yù)定像素一一對應(yīng)后，對各待跟蹤目標進行跟蹤。
9.根據(jù)權(quán)利要求8所述的多目標跟蹤裝置，其特征在于，所述關(guān)聯(lián)模塊包括: 擬合模塊，用于通過空間分布模型對斑點進行擬合，所述空間分布模型包括目標的位置信息以及空間分布信息； 計算模塊，用于獲取與各待跟蹤目標相交的所有斑點，并對各待跟蹤目標及與其相交的斑點進行計算； 查詢模塊，用于根據(jù)計算的結(jié)果查詢與各待跟蹤目標關(guān)聯(lián)度最高的斑點； 關(guān)聯(lián)子模塊，用于將各待跟蹤目標分別與其關(guān)聯(lián)度最高的斑點進行關(guān)聯(lián)。
10.根據(jù)權(quán)利要求8所述的多目標跟蹤裝置，其特征在于，所述圖像分割及斑點獲取模塊包括: 背景建模模塊，用于在獲取視頻圖像后，采用高斯混合模型進行背景建模； 分割模塊，用于根據(jù)在后一幀視頻圖像的建模結(jié)果與在前一幀視頻圖像的背景建模結(jié)果進行計算，從而分割出后一幀視頻圖像的目標； 斑點獲取模塊，用于獲取各待跟蹤目標的像素集合，該像素集合為所述各待跟蹤目標的斑點。
【文檔編號】G06K9/00GK103942535SQ201410126335
【公開日】2014年7月23日 申請日期:2014年3月28日 優(yōu)先權(quán)日:2014年3月28日
【發(fā)明者】沈三明 申請人:廣東威創(chuàng)視訊科技股份有限公司