本發(fā)明涉及無線通信技術(shù)領(lǐng)域，特別是涉及一種用戶終端及其目標(biāo)跟蹤方法及裝置。

背景技術(shù)：

智能人機(jī)交互是未來手機(jī)多媒體應(yīng)用的發(fā)展方向，而目標(biāo)跟蹤(tracking)則是智能人機(jī)交互的基礎(chǔ)，現(xiàn)有技術(shù)中存在多種目標(biāo)跟蹤算法。所謂目標(biāo)跟蹤算法，給定一組視頻序列和目標(biāo)的初始位置，目標(biāo)跟蹤算法可以自動定位視頻序列中目標(biāo)的位置。

現(xiàn)有技術(shù)中存在以下兩類目標(biāo)跟蹤算法：

1)跟蹤——檢測算法(tracking-by-detection)

該類算法一般包含兩大步驟，訓(xùn)練(training)和檢測(detection)。訓(xùn)練一般指根據(jù)前一幀的目標(biāo)位置提取樣本然后利用機(jī)器學(xué)習(xí)算法訓(xùn)練參數(shù)模型。而檢測則是根據(jù)上一幀訓(xùn)練的參數(shù)模型對當(dāng)前幀的樣本進(jìn)行分類，預(yù)測當(dāng)前幀的目標(biāo)位置，然后提取當(dāng)前幀的樣本以更新參數(shù)模型，用于預(yù)測下一幀的目標(biāo)位置。

2)相關(guān)性跟蹤算法(correlation tracking)

目前，相關(guān)性濾波器(correlation filters)已廣泛使用在諸如目標(biāo)檢測和識別等許多應(yīng)用中。由于其運(yùn)算操作很容易轉(zhuǎn)移在傅里葉域中的逐點(diǎn)相乘運(yùn)算(element-wise multiplication)，相關(guān)性濾波器在視覺跟蹤領(lǐng)域引起了大范圍的關(guān)注。Bolme等人提出了在灰度圖上學(xué)習(xí)平方和最小輸出誤差(MOSSE)跟蹤算法；Heriques等人提出了循環(huán)結(jié)構(gòu)核函數(shù)((circulant structure kernels，CSK)的跟蹤算法，該算法在內(nèi)核空間(kernel space)使用相關(guān)濾波器進(jìn)行目標(biāo)跟蹤，并且在最近的一項基準(zhǔn)中達(dá)到最高的速度，之后，該組人員提出了核相關(guān)濾波(kernelized correlation filters，KCF)算法，該算法在CSK的基礎(chǔ)上加入HOG特征進(jìn)一步提高算法性能。

包括以上兩類目標(biāo)跟蹤算法在內(nèi)的現(xiàn)有技術(shù)方案主要存在以下兩方面缺陷：

a)在特征提取步驟中通常采用灰度、顏色或HOG等單一特征，由于不同特征在不同場景中表現(xiàn)效果不同，單一特征無法適應(yīng)于多個不同場景。

b)目前諸如CSK、MOSSE和KCF等一些目標(biāo)跟蹤算法只能估計目標(biāo)偏移的位置，這樣導(dǎo)致在跟蹤目標(biāo)發(fā)生較大尺度變化時算法的跟蹤性能變差，而另一些目標(biāo)跟蹤算法則只能在低幀率時估計尺度變化，無法滿足實(shí)時跟蹤的要求。也就是說，在跟蹤目標(biāo)的尺度變化和跟蹤的實(shí)時性上兩者難以兼顧。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明解決的技術(shù)問題是：在進(jìn)行目標(biāo)跟蹤時，如何在保證跟蹤的實(shí)時性的基礎(chǔ)上，適應(yīng)跟蹤目標(biāo)較大的尺度變化、以及適應(yīng)多種不同場景。

為了解決上述技術(shù)問題，本發(fā)明實(shí)施例提供一種目標(biāo)跟蹤方法，包括：

依據(jù)圖像幀甲，訓(xùn)練目標(biāo)的參數(shù)模型；

依據(jù)訓(xùn)練的所述目標(biāo)的參數(shù)模型，預(yù)測所述目標(biāo)在圖像幀乙中的位置；

所述訓(xùn)練目標(biāo)的參數(shù)模型包括：訓(xùn)練目標(biāo)的第一參數(shù)模型和訓(xùn)練目標(biāo)的第二參數(shù)模型；

所述訓(xùn)練目標(biāo)的第一參數(shù)模型包括：通過KCF算法訓(xùn)練目標(biāo)的第一參數(shù)模型；

所述目標(biāo)的第二參數(shù)模型為：依據(jù)目標(biāo)的FHOG特征和目標(biāo)的顏色特征的組合來描述所述目標(biāo)的模型。

可選的，所述目標(biāo)的第一參數(shù)模型為預(yù)測目標(biāo)偏移的模型，所述目標(biāo)的第二參數(shù)模型為預(yù)測目標(biāo)尺度的模型，所述目標(biāo)的第一參數(shù)模型和目標(biāo)的第二參數(shù)模型為基于核相關(guān)濾波器的回歸模型。

可選的，所述目標(biāo)的FHOG特征為：目標(biāo)的FHOG特征向量中的9維對比度不敏感特征和4維紋理特征。

可選的，所述訓(xùn)練目標(biāo)的第二參數(shù)模型包括：

將圖像幀甲從RGB顏色空間轉(zhuǎn)化為HSI顏色空間；

獲取目標(biāo)在HSI顏色空間的圖像幀甲中的色調(diào)分量和飽和度分量；

將所述色調(diào)分量對應(yīng)于FHOG特征中的一階梯度的方向，將所述飽和度分量對應(yīng)于FHOG特征中的一階梯度的幅值，計算得出飽和度分量在色調(diào)分量方向上的直方圖特征，作為目標(biāo)的顏色特征。

可選的，所述目標(biāo)的顏色特征為：目標(biāo)在HSI顏色空間下9維飽和度分量在色調(diào)分量方向上的直方圖特征和目標(biāo)在HSI顏色空間下的4維紋理特征。

可選的，所述通過KCF算法訓(xùn)練目標(biāo)的第一參數(shù)模型包括：

以目標(biāo)為中心的附近區(qū)域采集大小為W×H的圖像樣本x訓(xùn)練KCF分類器；

利用循環(huán)移位矩陣的性質(zhì)和擴(kuò)充圖像，KCF將所有的循環(huán)移位樣本x_w,h，(w,h)∈{0,1,...,W-1}×{0,1,...,H-1}作為所述KCF分類器的訓(xùn)練樣本；

回歸目標(biāo)y中心點(diǎn)值為1，離中心點(diǎn)越遠(yuǎn)的位置其值越衰減，在目標(biāo)邊緣衰減至0，其中，y_w,h表示x_w,h的標(biāo)簽；

找到如下函數(shù)：

f(z)＝w^Tz

使得樣本x_w,h和其回歸目標(biāo)y_w,h的均方誤差最小，即：

其中，φ表示通過核函數(shù)κ將樣本映射到Hilbert空間，x和x′的內(nèi)積表示為：

<f(x),f(x′)>＝κ(x,x′)

其中，λ表示正則項系數(shù)；

將線性問題的輸入映射到非線性特征空間φ(x)后其解w表示為：

向量α的解為：

其中，F(xiàn)表示傅里葉正變換，F(xiàn)^-1表示傅里葉逆變換；其中，(k^x)＝κ(x_w,h,x)；

向量α包含了所有的α(w,h)系數(shù)；處理每一幀圖像幀中的目標(biāo)時更新目標(biāo)外觀模型；所述第一參數(shù)模型包含學(xué)習(xí)到的目標(biāo)外觀模型和分類器系數(shù)F(α)。

可選的，所述依據(jù)訓(xùn)練的所述目標(biāo)的參數(shù)模型，預(yù)測所述目標(biāo)在圖像幀乙中的位置包括如下步驟：在當(dāng)前幀中通過計算置信度得分預(yù)測當(dāng)前幀的目標(biāo)位置，預(yù)測公式如下：

其中，表示逐點(diǎn)相乘，表示學(xué)習(xí)到的目標(biāo)外觀模型。

可選的，所述目標(biāo)跟蹤方法還包括：預(yù)先設(shè)定第一閾值；所述目標(biāo)跟蹤方法還包括：在所述預(yù)測所述目標(biāo)在圖像幀乙中的位置之后，在預(yù)測目標(biāo)偏移位置的置信度大于所述第一閾值的情況下，進(jìn)行尺度估計。

可選的，所述進(jìn)行尺度估計包括：

假設(shè)P×Q為圖像幀乙中的預(yù)測到的目標(biāo)大小，N表示尺度的數(shù)量，則尺度S表示為：

其中，a表示尺度參數(shù)；對于s∈S：

將中心為預(yù)測目標(biāo)位置和大小為sP×sQ的圖像樣本縮放到大小為P×Q的樣本；

采用FHOG特征構(gòu)建尺度特征金字塔；其中，表示回歸目標(biāo)的相關(guān)性響應(yīng)映射；

則目標(biāo)的最優(yōu)尺度為：

。

為了解決上述技術(shù)問題，本發(fā)明實(shí)施例還提供一種目標(biāo)跟蹤裝置，包括：模型訓(xùn)練單元和目標(biāo)預(yù)測單元；其中：

模型訓(xùn)練單元，適于依據(jù)圖像幀甲，訓(xùn)練目標(biāo)的參數(shù)模型；

目標(biāo)預(yù)測單元，適于在所述模型訓(xùn)練單元執(zhí)行操作之后，依據(jù)訓(xùn)練的所述目標(biāo)的參數(shù)模型，預(yù)測所述目標(biāo)在圖像幀乙中的位置；

所述訓(xùn)練目標(biāo)的參數(shù)模型包括：訓(xùn)練目標(biāo)的第一參數(shù)模型和訓(xùn)練目標(biāo)的第二參數(shù)模型；

所述訓(xùn)練目標(biāo)的第一參數(shù)模型包括：通過KCF算法訓(xùn)練目標(biāo)的第一參數(shù)模型；

所述目標(biāo)的第二參數(shù)模型為：依據(jù)目標(biāo)的FHOG特征和目標(biāo)的顏色特征的組合來描述所述目標(biāo)的模型。

可選的，所述目標(biāo)的第一參數(shù)模型為預(yù)測目標(biāo)偏移的模型，所述目標(biāo)的第二參數(shù)模型為預(yù)測目標(biāo)尺度的模型，所述目標(biāo)的第一參數(shù)模型和目標(biāo)的第二參數(shù)模型為基于核相關(guān)濾波器的回歸模型。

可選的，所述目標(biāo)的FHOG特征為：目標(biāo)的FHOG特征向量中的9維對比度不敏感特征和4維紋理特征。

可選的，所述模型訓(xùn)練單元包括：HSI轉(zhuǎn)化子單元、分量獲取子單元和顏色特征計算子單元；其中：

HSI轉(zhuǎn)化子單元，適于將圖像幀甲從RGB顏色空間轉(zhuǎn)化為HSI顏色空間；

分量獲取子單元，適于在所述HSI轉(zhuǎn)化子單元執(zhí)行操作之后，獲取目標(biāo)在HSI顏色空間的圖像幀甲中的色調(diào)分量和飽和度分量；

顏色特征計算子單元，適于在所述分量獲取子單元執(zhí)行操作之后，將所述色調(diào)分量對應(yīng)于FHOG特征中的一階梯度的方向，將所述飽和度分量對應(yīng)于FHOG特征中的一階梯度的幅值，計算得出飽和度分量在色調(diào)分量方向上的直方圖特征，作為目標(biāo)的顏色特征。

可選的，所述目標(biāo)的顏色特征為：目標(biāo)在HSI顏色空間下9維飽和度分量在色調(diào)分量方向上的直方圖特征和目標(biāo)在HSI顏色空間下的4維紋理特征。

可選的，所述通過KCF算法訓(xùn)練目標(biāo)的第一參數(shù)模型包括：

以目標(biāo)為中心的附近區(qū)域采集大小為W×H的圖像樣本x訓(xùn)練KCF分類器；

利用循環(huán)移位矩陣的性質(zhì)和擴(kuò)充圖像，KCF將所有的循環(huán)移位樣本x_w,h，(w,h)∈{0,1,...,W-1}×{0,1,...,H-1}作為所述KCF分類器的訓(xùn)練樣本；

回歸目標(biāo)y中心點(diǎn)值為1，離中心點(diǎn)越遠(yuǎn)的位置其值越衰減，在目標(biāo)邊緣衰減至0，其中，y_w,h表示x_w,h的標(biāo)簽；

找到如下函數(shù)：

f(z)＝w^Tz

使得樣本x_w,h和其回歸目標(biāo)y_w,h的均方誤差最小，即：

其中，φ表示通過核函數(shù)κ將樣本映射到Hilbert空間，x和x′的內(nèi)積表示為：

<f(x),f(x′)>＝κ(x,x′)

其中，λ表示正則項系數(shù)；

將線性問題的輸入映射到非線性特征空間φ(x)后其解w表示為：

向量α的解為：

其中，F(xiàn)表示傅里葉正變換，F(xiàn)^-1表示傅里葉逆變換；其中，(k^x)＝κ(x_w,h,x)；

向量α包含了所有的α(w,h)系數(shù)；處理每一幀圖像幀中的目標(biāo)時更新目標(biāo)外觀模型；所述第一參數(shù)模型包含學(xué)習(xí)到的目標(biāo)外觀模型和分類器系數(shù)F(α)。

可選的，所述目標(biāo)預(yù)測單元所述依據(jù)訓(xùn)練的所述目標(biāo)的參數(shù)模型，預(yù)測所述目標(biāo)在圖像幀乙中的位置包括：在當(dāng)前幀中通過計算置信度得分預(yù)測當(dāng)前幀的目標(biāo)位置，預(yù)設(shè)公式如下：

其中，表示逐點(diǎn)相乘，表示學(xué)習(xí)到的目標(biāo)外觀模型。

可選的，所述目標(biāo)跟蹤裝置還包括：閾值設(shè)定單元，適于預(yù)先設(shè)定第一閾值；所述目標(biāo)跟蹤裝置還包括：尺度估計單元，適于在所述目標(biāo)預(yù)測單元執(zhí)行操作之后，在預(yù)測目標(biāo)偏移位置的置信度大于所述第一閾值的情況下，進(jìn)行尺度估計。

可選的，所述進(jìn)行尺度估計包括：

假設(shè)P×Q為圖像幀乙中的預(yù)測到的目標(biāo)大小，N表示尺度的數(shù)量，則尺度S表示為：

其中，a表示尺度參數(shù)；對于s∈S：

將中心為預(yù)測目標(biāo)位置和大小為sP×sQ的圖像樣本縮放到大小為P×Q的樣本；

采用FHOG特征構(gòu)建尺度特征金字塔；其中，表示回歸目標(biāo)的相關(guān)性響應(yīng)映射；

則目標(biāo)的最優(yōu)尺度為：

。

為了解決上述技術(shù)問題，本發(fā)明實(shí)施例還提供一種用戶終端，包括如上所述的目標(biāo)跟蹤裝置。

可選的，所述用戶終端為智能手機(jī)或平板電腦。

與現(xiàn)有技術(shù)相比，本發(fā)明的技術(shù)方案具有以下有益效果：

在進(jìn)行目標(biāo)跟蹤時，在跟蹤——檢測框架下利用KCF算法中的相關(guān)性濾波器，加入了由FHOG特征和(HSI)顏色特征所構(gòu)成的組合特征來提高算法的性能。該方案是一種利用了多種特征來表達(dá)信息的目標(biāo)跟蹤算法，不僅具有較高的實(shí)時性，還能有效應(yīng)對復(fù)雜背景、光照、非剛性變換(non-rigid deformation)等不利因素對目標(biāo)跟蹤帶來的不利影響。

進(jìn)一步地，目標(biāo)的FHOG特征向量中不包含18維對比度敏感特征，且由于(HSI)顏色特征的存在，在不考慮FHOG特征向量中的18維對比度敏感特征的情況下，對目標(biāo)跟蹤的效果影響不大。得到的FHOG特征和(HSI)顏色特征所構(gòu)成的組合特征的維度為13+13＝26維，相對于現(xiàn)有技術(shù)中31維的FHOG特征(包含18維對比度敏感特征)而言，維度更少。

進(jìn)一步地，將圖像幀從RGB顏色空間轉(zhuǎn)化為HSI顏色空間，將所述色調(diào)分量對應(yīng)于FHOG特征中的一階梯度的方向，將所述飽和度分量對應(yīng)于FHOG特征中的一階梯度的幅值，計算得出飽和度分量在色調(diào)分量方向上的直方圖特征，作為目標(biāo)的顏色特征，使得本實(shí)施例中的顏色特征與FHOG特征擁有相似的結(jié)構(gòu)(均是基于胞元)，從而便于兩者的銜接及配合使用。

進(jìn)一步地，還加入了尺度估計來進(jìn)一步提高算法的性能。

附圖說明

圖1為本發(fā)明實(shí)施例中目標(biāo)跟蹤方法流程圖；

圖2為本發(fā)明實(shí)施例中訓(xùn)練目標(biāo)的第二參數(shù)模型的方法流程圖；

圖3為本發(fā)明實(shí)施例中目標(biāo)跟蹤裝置結(jié)構(gòu)框圖。

具體實(shí)施方式

根據(jù)背景技術(shù)部分的分析可知，現(xiàn)有技術(shù)中存在以下兩類目標(biāo)跟蹤算法：1)跟蹤——檢測算法；2)相關(guān)性跟蹤算法。包括以上兩類目標(biāo)跟蹤算法在內(nèi)的現(xiàn)有技術(shù)方案主要存在以下兩方面缺陷：a)在特征提取步驟中通常采用灰度、顏色或HOG等單一特征，由于不同特征在不同場景中表現(xiàn)效果不同， 單一特征無法適應(yīng)于多個不同場景；b)目前諸如CSK、MOSSE和KCF等一些目標(biāo)跟蹤算法只能估計目標(biāo)偏移的位置，這樣導(dǎo)致在跟蹤目標(biāo)發(fā)生較大尺度變化時算法的跟蹤性能變差，而另一些目標(biāo)跟蹤算法則只能在低幀率時估計尺度變化，無法滿足實(shí)時跟蹤的要求。也就是說，在跟蹤目標(biāo)的尺度變化和跟蹤的實(shí)時性上兩者難以兼顧。

發(fā)明人經(jīng)研究后提出一種新的目標(biāo)跟蹤方法，在跟蹤——檢測框架下利用KCF算法中的相關(guān)性濾波器，加入了由FHOG特征和(HSI)顏色特征所構(gòu)成的組合特征(combined features)來提高算法的性能。該方案是一種利用了多種特征來表達(dá)信息的目標(biāo)跟蹤算法，不僅具有較高的實(shí)時性，還能有效應(yīng)對復(fù)雜背景、光照、非剛性變換(non-rigid deformation)等不利因素對目標(biāo)跟蹤帶來的不利影響。

由于核相關(guān)函數(shù)(kernel correlation function)只需要計算點(diǎn)積(dot-pro duct)和向量歸一化(vector norm)，所以，本申請在多個通道計算圖像特征，這樣可以利用其他有力的特征發(fā)揮特征融合(feature fusion)的威力。

對于上述缺陷a)，本申請嘗試考慮不同特征之間的互補(bǔ)性，利用多種特征表達(dá)更為豐富的信息；對于上述缺陷b)，鑒于KCF跟蹤算法擁有較高的計算效率，本申請在跟蹤——檢測框架下利用KCF算法中的相關(guān)性濾波器，加入了組合特征和尺度估計來提高算法的性能。

為使本領(lǐng)域技術(shù)人員更好地理解和實(shí)現(xiàn)本發(fā)明，以下參照附圖，通過具體實(shí)施例進(jìn)行詳細(xì)說明。

實(shí)施例一

如下所述，本發(fā)明實(shí)施例提供一種目標(biāo)跟蹤方法。

參照圖1所示的目標(biāo)跟蹤方法流程圖，以下通過具體步驟進(jìn)行詳細(xì)說明：

S101，依據(jù)圖像幀甲，訓(xùn)練目標(biāo)的參數(shù)模型。

本實(shí)施例在跟蹤——檢測框架下，利用KCF算法中的相關(guān)性濾波器，加入了組合特征和尺度估計(scale estimation)來提高算法的性能。

如前所述，跟蹤——檢測類算法包含兩大步驟，訓(xùn)練和檢測。訓(xùn)練一般 指根據(jù)前一幀的目標(biāo)位置提取樣本然后利用機(jī)器學(xué)習(xí)算法訓(xùn)練參數(shù)模型。而檢測則是根據(jù)上一幀訓(xùn)練的參數(shù)模型對當(dāng)前幀的樣本進(jìn)行分類，預(yù)測當(dāng)前幀的目標(biāo)位置，然后提取當(dāng)前幀的樣本以更新參數(shù)模型，用于預(yù)測下一幀的目標(biāo)位置。

本實(shí)施例先依據(jù)圖像幀甲，訓(xùn)練目標(biāo)的參數(shù)模型，后續(xù)步驟中會依據(jù)訓(xùn)練得到的所述目標(biāo)的參數(shù)模型，來預(yù)測所述目標(biāo)在圖像幀乙中的位置。其中，圖像幀甲在先，圖像幀乙在后。

與現(xiàn)有技術(shù)的不同之處在于，本實(shí)施例中，所述訓(xùn)練目標(biāo)的參數(shù)模型包括：訓(xùn)練目標(biāo)的第一參數(shù)模型和訓(xùn)練目標(biāo)的第二參數(shù)模型。

所述目標(biāo)的第一參數(shù)模型和目標(biāo)的第二參數(shù)模型均為基于核相關(guān)濾波器的回歸模型。

在具體實(shí)施中，所述目標(biāo)的第一參數(shù)模型可以是預(yù)測目標(biāo)偏移的模型，所述目標(biāo)的第二參數(shù)模型可以是預(yù)測目標(biāo)尺度的模型。

本實(shí)施例通過KCF算法訓(xùn)練預(yù)測目標(biāo)偏移的第一參數(shù)模型。

KCF算法本身屬于現(xiàn)有技術(shù)，以下簡要介紹如何在本實(shí)施例中應(yīng)用KCF算法來訓(xùn)練預(yù)測目標(biāo)偏移的第一參數(shù)模型。所述通過KCF算法訓(xùn)練目標(biāo)的第一參數(shù)模型包括：

以目標(biāo)為中心的附近區(qū)域采集大小為W×H的圖像樣本x訓(xùn)練KCF分類器；

利用循環(huán)移位矩陣(cyclic shift matrix)的性質(zhì)和擴(kuò)充圖像，KCF將所有的循環(huán)移位樣本x_w,h，(w,h)∈{0,1,...,W-1}×{0,1,...,H-1}作為所述KCF分類器的訓(xùn)練樣本；

回歸目標(biāo)y中心點(diǎn)值為1，離中心點(diǎn)越遠(yuǎn)的位置其值越衰減，在目標(biāo)邊緣衰減至0，其中，y_w,h表示x_w,h的標(biāo)簽；

找到如下函數(shù)：

f(z)＝w^Tz

使得樣本x_w,h和其回歸目標(biāo)y_w,h的均方誤差最小，即：

其中，φ表示通過核函數(shù)κ將樣本映射到Hilbert空間，x和x′的內(nèi)積表示為：

<f(x),f(x′)>＝κ(x,x′)

其中，λ表示正則項系數(shù)；

將線性問題的輸入映射到非線性特征空間φ(x)后其解w表示為：

向量α的解為：

其中，F(xiàn)表示傅里葉正變換，F(xiàn)^-1表示傅里葉逆變換；其中，(k^x)＝κ(x_w,h,x)；

向量α包含了所有的α(w,h)系數(shù)；處理每一幀圖像幀中的目標(biāo)時更新目標(biāo)外觀模型；所述第一參數(shù)模型包含學(xué)習(xí)到的目標(biāo)外觀模型和分類器系數(shù)F(α)。

在具體實(shí)施中，所述依據(jù)訓(xùn)練的所述目標(biāo)的參數(shù)模型，預(yù)測所述目標(biāo)在圖像幀乙中的位置可以包括如下步驟：在當(dāng)前幀中通過計算置信度得分預(yù)測當(dāng)前幀的目標(biāo)位置，預(yù)測公式如下：

其中，表示逐點(diǎn)相乘，表示學(xué)習(xí)到的目標(biāo)外觀模型。

以上介紹了如何在本實(shí)施例中應(yīng)用KCF算法來訓(xùn)練預(yù)測目標(biāo)偏移的第一參數(shù)模型。以下介紹第二參數(shù)模型。

發(fā)明人經(jīng)研究后發(fā)現(xiàn)：由于核相關(guān)函數(shù)(kernel correlation function)只需要計算點(diǎn)積(dot-pro duct)和向量歸一化(vector norm)，所以，可以在多個 通道計算圖像特征，這樣可以利用其他有力的特征發(fā)揮特征融合(feature fusion)的威力。

本實(shí)施例中的第二參數(shù)模型，采用以目標(biāo)的FHOG特征和目標(biāo)的顏色特征所構(gòu)成的組合特征來描述所述目標(biāo)。

HOG特征最初由Dalal&Triggs提出。該算子計算每個像素點(diǎn)的一階梯度，然后將梯度聚集于相對應(yīng)的胞元(cell)，然后計算每個胞元的直方圖，沿著四個方向?qū)χ狈綀D進(jìn)行歸一化，最后將所有的歸一化直方圖連接成對應(yīng)的特征向量。

本實(shí)施例所采用的方案基于由Felzenszwalb提出的改進(jìn)的FHOG特征，該特征主要在以下兩點(diǎn)優(yōu)于原始的HOG，一方面是將四個方向的胞元特征相加，而不同于原始的直接相連，這樣能將特征向量的維度(dimensions)降低1/4，另一方面是在每個胞元中加入4維的紋理特征向量。

本實(shí)施例中，采用FHOG特征算法計算出目標(biāo)的FHOG特征。

通常FHOG特征中直方圖的方向(bins)設(shè)置為9，F(xiàn)HOG特征向量的維度為31維(9個對比度不敏感特征(contrast-insensitive features)+18個對比度敏感特征(contrast-sensitive features)+4個紋理特征(texture features))，

本實(shí)施例中，所述目標(biāo)的FHOG特征為：目標(biāo)的FHOG特征向量中的9維對比度不敏感特征和4維紋理特征，即不包含18維對比度敏感特征。

通常彩色圖像包含紅綠藍(lán)三個通道信息，但是直接采用RGB顏色空間進(jìn)行特征提取(feature extraction)效果較差，原因在于該特征中包含了顏色信息和灰度信息。本實(shí)施例將RGB顏色空間轉(zhuǎn)化為(Hue-Saturation-Intensity，HSI)顏色空間，從而分離顏色信息和灰度信息。

由于在計算FHOG特征時已經(jīng)使用了灰度信息，為了避免信息冗余，本實(shí)施例保留HSI顏色空間中的色調(diào)(hue)分量和飽和度(saturation)分量，即不考慮亮度(intensity)分量。

在不考慮亮度分量的情況下，色調(diào)分量和飽和度分量形成一個類似圓盤的空間，其中，色調(diào)對應(yīng)角度，飽和度對應(yīng)半徑，然后將所述色調(diào)分量對應(yīng) 于FHOG特征中的一階梯度的方向，將所述飽和度分量對應(yīng)于FHOG特征中的一階梯度的幅值，則可以利用FHOG特征的計算過程，計算得出飽和度分量在色調(diào)分量方向上的直方圖特征，作為目標(biāo)的顏色特征，該特征可以描述圖像中的顏色分布同時避免了信息冗余。

由于FHOG特征和本實(shí)施例中的顏色特征擁有相似的結(jié)構(gòu)(均是基于胞元)，故可以將上述特征連接起來作為第二參數(shù)模型來描述目標(biāo)。

通過以上對技術(shù)方案的描述可以看出：本實(shí)施例中，將圖像幀從RGB顏色空間轉(zhuǎn)化為HSI顏色空間，將所述色調(diào)分量對應(yīng)于FHOG特征中的一階梯度的方向，將所述飽和度分量對應(yīng)于FHOG特征中的一階梯度的幅值，計算得出飽和度分量在色調(diào)分量方向上的直方圖特征，作為目標(biāo)的顏色特征，使得本實(shí)施例中的顏色特征與FHOG特征擁有相似的結(jié)構(gòu)(均是基于胞元)，從而便于兩者的銜接及配合使用。

在具體實(shí)施中，如圖2所示，所述訓(xùn)練目標(biāo)的第二參數(shù)模型可以包括：

S201，將圖像幀甲從RGB顏色空間轉(zhuǎn)化為HSI顏色空間。

S202，獲取目標(biāo)在HSI顏色空間的圖像幀甲中的色調(diào)分量和飽和度分量。

S203，將所述色調(diào)分量對應(yīng)于FHOG特征中的一階梯度的方向，將所述飽和度分量對應(yīng)于FHOG特征中的一階梯度的幅值，計算得出飽和度分量在色調(diào)分量方向上的直方圖特征，作為目標(biāo)的顏色特征。

所述目標(biāo)的顏色特征為：目標(biāo)在HSI顏色空間下9維飽和度分量在色調(diào)分量方向上的直方圖特征和目標(biāo)在HSI顏色空間下的4維紋理特征。

發(fā)明人在實(shí)踐中發(fā)現(xiàn)，F(xiàn)HOG特征中的對比度敏感特征在只使用FHOG特征時影響較大，但是在使用FHOG特征和(HSI)顏色特征所構(gòu)成的組合特征時影響不大。原因可能在于(HSI)顏色特征以某種特定方式彌補(bǔ)了對比度敏感特征的作用，且移除18維對比度敏感特征可以使特征提取過程所消耗的時間變短。因此，本實(shí)施例目標(biāo)的FHOG特征向量中不包含18維對比度敏感特征。

如前所述，所述目標(biāo)的FHOG特征為：目標(biāo)的FHOG特征向量中的9維 對比度不敏感特征和4維紋理特征；所述目標(biāo)的顏色特征為：目標(biāo)在HSI顏色空間下9維飽和度分量在色調(diào)分量方向上的直方圖特征和目標(biāo)在HSI顏色空間下的4維紋理特征。

因此，本實(shí)施例中，F(xiàn)HOG特征和(HSI)顏色特征所構(gòu)成的組合特征的維度為13+13＝26維，相對于現(xiàn)有技術(shù)中31維的FHOG特征(包含18維對比度敏感特征)而言，維度更少，盡管增加將圖像幀從RGB顏色空間轉(zhuǎn)化為HSI顏色空間的開銷，但整體開銷并沒有大幅增加，因而在目標(biāo)跟蹤時保證較高的實(shí)時性。

此外，相較于現(xiàn)有技術(shù)中基于像素(pixel level)將RGB和梯度直接相連的計算方法，本實(shí)施例中FHOG特征和(HSI)顏色特征所構(gòu)成的組合特征不僅能夠減少特征映射(feature map)的維度，還對微小變換(small deformation)具有不變性(invariance)。

在一個可選的實(shí)施例中，還可以進(jìn)一步進(jìn)行尺度估計。

在具體實(shí)施中，還可以預(yù)先設(shè)定第一閾值；所述目標(biāo)跟蹤方法還可以包括：在所述預(yù)測所述目標(biāo)在圖像幀乙中的位置之后，在預(yù)測目標(biāo)偏移位置的置信度大于所述第一閾值的情況下，進(jìn)行尺度估計。

所述進(jìn)行尺度估計包括：

假設(shè)P×Q為圖像幀乙中的預(yù)測到的目標(biāo)大小，N表示尺度的數(shù)量，則尺度S表示為：

其中，a表示尺度參數(shù)；對于s∈S：

將中心為預(yù)測目標(biāo)位置和大小為sP×sQ的圖像樣本縮放到大小為P×Q的樣本；

采用FHOG特征構(gòu)建尺度特征金字塔；其中，表示回歸目標(biāo)的相關(guān)性響應(yīng)映射；

則目標(biāo)的最優(yōu)尺度為：

。

在依據(jù)在先的圖像幀甲訓(xùn)練得到目標(biāo)的參數(shù)模型之后，后續(xù)即可依據(jù)訓(xùn)練的所述目標(biāo)的參數(shù)模型，預(yù)測所述目標(biāo)在在后的圖像幀乙中的位置。

通過以上對技術(shù)方案的描述可以看出：本實(shí)施例中，還加入了尺度估計來進(jìn)一步提高算法的性能。

S102，依據(jù)訓(xùn)練的所述目標(biāo)的參數(shù)模型，預(yù)測所述目標(biāo)在圖像幀乙中的位置。

通過以上對技術(shù)方案的描述可以看出：本實(shí)施例中，在進(jìn)行目標(biāo)跟蹤時，在跟蹤——檢測框架下利用KCF算法中的相關(guān)性濾波器，加入了由FHOG特征和(HSI)顏色特征所構(gòu)成的組合特征來提高算法的性能。該方案是一種利用了多種特征來表達(dá)信息的目標(biāo)跟蹤算法，不僅具有較高的實(shí)時性，還能有效應(yīng)對復(fù)雜背景、光照、非剛性變換等不利因素對目標(biāo)跟蹤帶來的不利影響。

在此基礎(chǔ)上，本實(shí)施例還可以進(jìn)一步做出如下改進(jìn)：1)還可以通過Neon或者GPU加速技術(shù)對離散傅立葉變換進(jìn)行并行加速處理，提高算法的運(yùn)行效率；2)還可以采用卷積神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)特征用于特征提取。

實(shí)施例二

如下所述，本發(fā)明實(shí)施例提供一種目標(biāo)跟蹤裝置。

參照圖3所示的目標(biāo)跟蹤裝置結(jié)構(gòu)框圖。

所述目標(biāo)跟蹤裝置包括：模型訓(xùn)練單元301和目標(biāo)預(yù)測單元302；其中各單元的主要功能如下：

模型訓(xùn)練單元301，適于依據(jù)圖像幀甲，訓(xùn)練目標(biāo)的參數(shù)模型；

目標(biāo)預(yù)測單元302，適于在所述模型訓(xùn)練單元301執(zhí)行操作之后，依據(jù)訓(xùn)練的所述目標(biāo)的參數(shù)模型，預(yù)測所述目標(biāo)在圖像幀乙中的位置；

所述訓(xùn)練目標(biāo)的參數(shù)模型包括：訓(xùn)練目標(biāo)的第一參數(shù)模型和訓(xùn)練目標(biāo)的第二參數(shù)模型；

所述訓(xùn)練目標(biāo)的第一參數(shù)模型包括：通過KCF算法訓(xùn)練目標(biāo)的第一參數(shù) 模型；

所述目標(biāo)的第二參數(shù)模型為：依據(jù)目標(biāo)的FHOG特征和目標(biāo)的顏色特征的組合來描述所述目標(biāo)的模型。

通過以上對技術(shù)方案的描述可以看出：本實(shí)施例中，在進(jìn)行目標(biāo)跟蹤時，在跟蹤——檢測框架下利用KCF算法中的相關(guān)性濾波器，加入了由FHOG特征和(HSI)顏色特征所構(gòu)成的組合特征來提高算法的性能。該方案是一種利用了多種特征來表達(dá)信息的目標(biāo)跟蹤算法，不僅具有較高的實(shí)時性，還能有效應(yīng)對復(fù)雜背景、光照、非剛性變換等不利因素對目標(biāo)跟蹤帶來的不利影響。

在具體實(shí)施中，所述目標(biāo)的第一參數(shù)模型可以為預(yù)測目標(biāo)偏移的模型，所述目標(biāo)的第二參數(shù)模型可以為預(yù)測目標(biāo)尺度的模型，所述目標(biāo)的第一參數(shù)模型和目標(biāo)的第二參數(shù)模型均可以為基于核相關(guān)濾波器的回歸模型。

在具體實(shí)施中，所述目標(biāo)的FHOG特征可以為：目標(biāo)的FHOG特征向量中的9維對比度不敏感特征和4維紋理特征。

通過以上對技術(shù)方案的描述可以看出：本實(shí)施例中，目標(biāo)的FHOG特征向量中不包含18維對比度敏感特征，且由于(HSI)顏色特征的存在，在不考慮FHOG特征向量中的18維對比度敏感特征的情況下，對目標(biāo)跟蹤的效果影響不大。得到的FHOG特征和(HSI)顏色特征所構(gòu)成的組合特征的維度為13+13＝26維，相對于現(xiàn)有技術(shù)中31維的FHOG特征(包含18維對比度敏感特征)而言，維度更少。

在具體實(shí)施中，所述模型訓(xùn)練單元301可以包括：HSI轉(zhuǎn)化子單元3011、分量獲取子單元3012和顏色特征計算子單元3013；其中：

HSI轉(zhuǎn)化子單元3011，適于將圖像幀甲從RGB顏色空間轉(zhuǎn)化為HSI顏色空間；

分量獲取子單元3012，適于在所述HSI轉(zhuǎn)化子單元3011執(zhí)行操作之后，獲取目標(biāo)在HSI顏色空間的圖像幀甲中的色調(diào)分量和飽和度分量；

顏色特征計算子單元3013，適于在所述分量獲取子單元3012執(zhí)行操作之后，將所述色調(diào)分量對應(yīng)于FHOG特征中的一階梯度的方向，將所述飽和度 分量對應(yīng)于FHOG特征中的一階梯度的幅值，計算得出飽和度分量在色調(diào)分量方向上的直方圖特征，作為目標(biāo)的顏色特征。

通過以上對技術(shù)方案的描述可以看出：本實(shí)施例中，將圖像幀從RGB顏色空間轉(zhuǎn)化為HSI顏色空間，將所述色調(diào)分量對應(yīng)于FHOG特征中的一階梯度的方向，將所述飽和度分量對應(yīng)于FHOG特征中的一階梯度的幅值，計算得出飽和度分量在色調(diào)分量方向上的直方圖特征，作為目標(biāo)的顏色特征，使得本實(shí)施例中的顏色特征與FHOG特征擁有相似的結(jié)構(gòu)(均是基于胞元)，從而便于兩者的銜接及配合使用。

在具體實(shí)施中，所述目標(biāo)的顏色特征可以為：目標(biāo)在HSI顏色空間下9維飽和度分量在色調(diào)分量方向上的直方圖特征和目標(biāo)在HSI顏色空間下的4維紋理特征。

在具體實(shí)施中，所述通過KCF算法訓(xùn)練目標(biāo)的第一參數(shù)模型可以包括：

以目標(biāo)為中心的附近區(qū)域采集大小為W×H的圖像樣本x訓(xùn)練KCF分類器；

利用循環(huán)移位矩陣的性質(zhì)和擴(kuò)充圖像，KCF將所有的循環(huán)移位樣本x_w,h，(w,h)∈{0,1,...,W-1}×{0,1,...,H-1}作為所述KCF分類器的訓(xùn)練樣本；

回歸目標(biāo)y中心點(diǎn)值為1，離中心點(diǎn)越遠(yuǎn)的位置其值越衰減，在目標(biāo)邊緣衰減至0，其中，y_w,h表示x_w,h的標(biāo)簽；

找到如下函數(shù)：

f(z)＝w^Tz

使得樣本x_w,h和其回歸目標(biāo)y_w,h的均方誤差最小，即：

其中，φ表示通過核函數(shù)κ將樣本映射到Hilbert空間，x和x′的內(nèi)積表示為：

<f(x),f(x′)>＝κ(x,x′)

其中，λ表示正則項系數(shù)；

將線性問題的輸入映射到非線性特征空間φ(x)后其解w表示為：

向量α的解為：

其中，F(xiàn)表示傅里葉正變換，F(xiàn)^-1表示傅里葉逆變換；其中，(k^x)＝κ(x_w,h,x)；

向量α包含了所有的α(w,h)系數(shù)；處理每一幀圖像幀中的目標(biāo)時更新目標(biāo)外觀模型；所述第一參數(shù)模型包含學(xué)習(xí)到的目標(biāo)外觀模型和分類器系數(shù)F(α)。

在具體實(shí)施中，所述目標(biāo)預(yù)測單元302所述依據(jù)訓(xùn)練的所述目標(biāo)的參數(shù)模型，預(yù)測所述目標(biāo)在圖像幀乙中的位置可以包括：在當(dāng)前幀中通過計算置信度得分預(yù)測當(dāng)前幀的目標(biāo)位置，預(yù)設(shè)公式如下：

其中，表示逐點(diǎn)相乘，表示學(xué)習(xí)到的目標(biāo)外觀模型。

在具體實(shí)施中，所述目標(biāo)跟蹤裝置還可以包括：閾值設(shè)定單元303，適于預(yù)先設(shè)定第一閾值；所述目標(biāo)跟蹤裝置還可以包括：尺度估計單元304，適于在所述目標(biāo)預(yù)測單元執(zhí)行操作之后，在預(yù)測目標(biāo)偏移位置的置信度大于所述第一閾值的情況下，進(jìn)行尺度估計。

在具體實(shí)施中，所述進(jìn)行尺度估計可以包括：

假設(shè)P×Q為圖像幀乙中的預(yù)測到的目標(biāo)大小，N表示尺度的數(shù)量，則尺度S表示為：

其中，a表示尺度參數(shù)；對于s∈S：

將中心為預(yù)測目標(biāo)位置和大小為sP×sQ的圖像樣本縮放到大小為P×Q的樣本；

采用FHOG特征構(gòu)建尺度特征金字塔；其中，表示回歸目標(biāo)的相關(guān)性響應(yīng)映射；

則目標(biāo)的最優(yōu)尺度為：

。

通過以上對技術(shù)方案的描述可以看出：本實(shí)施例中，還加入了尺度估計來進(jìn)一步提高算法的性能。

實(shí)施例三

如下所述，本發(fā)明實(shí)施例提供一種用戶終端。

與現(xiàn)有技術(shù)的不同之處在于，該用戶終端還包括如本發(fā)明實(shí)施例中所提供的目標(biāo)跟蹤裝置。因而該用戶終端在進(jìn)行目標(biāo)跟蹤時，在跟蹤——檢測框架下利用KCF算法中的相關(guān)性濾波器，加入了由FHOG特征和(HSI)顏色特征所構(gòu)成的組合特征來提高算法的性能。該方案是一種利用了多種特征來表達(dá)信息的目標(biāo)跟蹤算法，不僅具有較高的實(shí)時性，還能有效應(yīng)對復(fù)雜背景、光照、非剛性變換等不利因素對目標(biāo)跟蹤帶來的不利影響。

在具體實(shí)施中，所述用戶終端可以是智能手機(jī)或平板電腦。

本領(lǐng)域普通技術(shù)人員可以理解，上述實(shí)施例的各種方法中，全部或部分步驟是可以通過程序指令相關(guān)的硬件來完成的，該程序可以存儲于一計算機(jī)可讀存儲介質(zhì)中，存儲介質(zhì)可以包括：ROM、RAM、磁盤或光盤等。

雖然本發(fā)明披露如上，但本發(fā)明并非限定于此。任何本領(lǐng)域技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，均可作各種更動與修改，因此本發(fā)明的保護(hù)范圍應(yīng)當(dāng)以權(quán)利要求所限定的范圍為準(zhǔn)。