一種深度信息輔助粒子濾波跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺和模式識(shí)別技術(shù)領(lǐng)域，尤其涉及一種深度輔助粒子濾波跟 蹤方法。
【背景技術(shù)】
[0002] 計(jì)算機(jī)視覺是近年來快速發(fā)展的領(lǐng)域之一。他的研宄目的是使計(jì)算機(jī)可以代替人 類的感官，對(duì)所處環(huán)境進(jìn)行感知并作出相應(yīng)的判斷處理。隨著科學(xué)技術(shù)的發(fā)展，計(jì)算機(jī)視覺 領(lǐng)域的應(yīng)用越來越廣泛，無論是在軍工或是民用方面。現(xiàn)在為了構(gòu)建安全社會(huì)，監(jiān)控?cái)z像頭 越來越多的被安裝到了大街小巷。這些監(jiān)控系統(tǒng)依靠攝像頭，可以對(duì)感興趣的目標(biāo)進(jìn)行跟 蹤，但是怎樣進(jìn)行更好更精確的跟蹤，是研宄者們非常感興趣的研宄點(diǎn)。目標(biāo)追蹤的基本思 想是在序列圖像中，根據(jù)視頻序列，目標(biāo)在時(shí)間和空間上的相關(guān)性，從而確定目標(biāo)在每一幀 的位置和姿態(tài)。目標(biāo)跟蹤是一項(xiàng)所學(xué)科融合的復(fù)雜課題。他無論在軍工還是民用方面都有 很廣的應(yīng)用前景。目標(biāo)跟蹤研宄的應(yīng)用范圍很廣。除了上面提到的還可以用在視頻壓縮，裸 眼3D技術(shù)中，為了給其他處理讓出足夠的時(shí)間，目標(biāo)跟蹤對(duì)時(shí)間性的要求也越來越高。但 是由于許多客觀因素的影響，依然沒有一種可以應(yīng)用于各種場(chǎng)景，并且實(shí)時(shí)性以及魯棒性 都很卓越的非常成熟的跟蹤方法被提出。研宄的難點(diǎn)在于：1.三維世界的信息被投影到了 二維的相機(jī)上，造成了信息的丟失；2.計(jì)算機(jī)處理速度影響實(shí)時(shí)性；3,光照的不均衡以及 物體的遮擋等。
[0003] 在目標(biāo)跟蹤中，一個(gè)目標(biāo)被很好的跟蹤的定義為，在每一幀圖像中目標(biāo)的位置和 形狀都能被準(zhǔn)確快速的推定。所以在目標(biāo)追蹤中，確定目標(biāo)的位置信息和形態(tài)信息尤為關(guān) 鍵。目標(biāo)跟蹤的方法，大致可以分為三種：一.使用卡爾曼（kalmanFilter)濾波器或者粒 子濾波器（particleFilter)的基于濾波理論的目標(biāo)跟蹤方法即粒子濾波跟蹤算法，該算 法將目標(biāo)跟蹤問題轉(zhuǎn)化為概率密度函數(shù)的最優(yōu)估計(jì)問題來跟蹤目標(biāo)，該算法具體包括初始 化粒子、移動(dòng)粒子、直方圖計(jì)算、相似性計(jì)算、重采樣等幾個(gè)步驟，其中移動(dòng)粒子的步驟可以 使用粒子的一階運(yùn)動(dòng)方程xt=Axh+Bw^或者二階Xt=Axm+Bx^+Cw^來進(jìn)行粒子的移 動(dòng)，它表示粒子的這一時(shí)刻的位置與上一時(shí)刻或者上上時(shí)刻的位置再加上一個(gè)擾動(dòng)系數(shù)w 有關(guān)，然而這一類跟蹤方法計(jì)算量大耗時(shí)多，實(shí)時(shí)性有待提升；二.采用概率密度之間的相 似性函數(shù)度量目標(biāo)和候選目標(biāo)中間的相似性通過梯度下降算法推導(dǎo)出Mean-shift向量從 而對(duì)目標(biāo)進(jìn)行跟蹤的基于Mean-shift的目標(biāo)跟蹤方法，這類跟蹤方法計(jì)算量相對(duì)減小，但 是無法解決目標(biāo)的遮擋問題；三.將目標(biāo)的跟蹤問題轉(zhuǎn)化為泛函優(yōu)化問題，通過偏微分方 程的求解得到泛函的極值，從而對(duì)目標(biāo)進(jìn)行跟蹤的基于偏微分方程的目標(biāo)跟蹤方法，這類 方法的計(jì)算量也比較大。
[0004] GPU全稱GraphicsProcessingUnit，即計(jì)算圖形處理器。他的引入使得傳統(tǒng)的 (PU的計(jì)算受到了挑戰(zhàn)，GPU在浮點(diǎn)數(shù)據(jù)上的處理能力以及并行操作性是驚人的。所以目前 怎樣在GPU上編寫高效的并行程序也是一個(gè)研宄熱點(diǎn)。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服傳統(tǒng)粒子濾波算法中從三維到二維圖像平面投影所造成 的信息損失，提供了一種3D的目標(biāo)跟蹤方法，使得跟蹤的魯棒性得到了很大的提升。
[0006] 本發(fā)明具體采用如下技術(shù)方案：
[0007] -種深度信息輔助粒子濾波跟蹤方法，其流程如圖1所示，主要包括以下步驟：
[0008] 步驟1 :使用帶有深度傳感器的攝像頭為前端，獲取目標(biāo)區(qū)域第一幀的RGB-D圖像 數(shù)據(jù)；所述深度傳感器能夠探測(cè)并記錄目標(biāo)距該深度傳感器的直線距離，所述RBG-D圖像 數(shù)據(jù)包括圖像的RGB數(shù)據(jù)及圖像中每一像素點(diǎn)對(duì)應(yīng)目標(biāo)所在空間位置距深度傳感器的距 離信息D;
[0009] 步驟2 :在第一幀圖像中手動(dòng)選擇跟蹤目標(biāo)，并根據(jù)目標(biāo)的RGB-D特征進(jìn)行建模； 手動(dòng)選擇跟蹤目標(biāo)所在區(qū)域并定義為跟蹤窗口H1，所述跟蹤窗口的中心像素點(diǎn)深度為D1, 所述深度即為像素點(diǎn)對(duì)應(yīng)目標(biāo)所在空間位置距離所述深度傳感器的直線距離；設(shè)置深度方 向閾值Dth= [0. 7DpI. 3DJ，根據(jù)閾值Dth定義窗口區(qū)域內(nèi)第i個(gè)像素點(diǎn)的深度方向權(quán)重
【主權(quán)項(xiàng)】
1. 一種深度信息輔助粒子濾波跟蹤方法，主要包括w下步驟： 步驟1 ;使用帶有深度傳感器的攝像頭為前端，獲取目標(biāo)區(qū)域第一帖的RGB-D圖像數(shù) 據(jù)；所述深度傳感器能夠探測(cè)并記錄目標(biāo)距該深度傳感器的直線距離，所述RBG-D圖像數(shù) 據(jù)包括圖像的RGB數(shù)據(jù)及圖像中每一像素點(diǎn)對(duì)應(yīng)目標(biāo)所在空間位置距深度傳感器的距離 f目息D; 步驟2 ;在第一帖圖像中手動(dòng)選擇跟蹤目標(biāo)，并根據(jù)目標(biāo)的RGB-D特征進(jìn)行建模；手動(dòng) 選擇跟蹤目標(biāo)所在區(qū)域并定義為跟蹤窗口Hi,所述跟蹤窗口的中屯、像素點(diǎn)深度為Di，所述 深度即為像素點(diǎn)對(duì)應(yīng)目標(biāo)所在空間位置距離所述深度傳感器的直線距離；設(shè)置深度方向闊 值Dth，根據(jù)闊值Dth定義窗口區(qū)域內(nèi)第i個(gè)像素點(diǎn)的深度方向權(quán)重《z，i;
其中，Di是跟蹤窗口區(qū)域內(nèi)第i個(gè)像素點(diǎn)的深度值；對(duì)跟蹤窗口內(nèi)的區(qū)域做深度信息 加權(quán)巧=畔.乂 ：每個(gè)像素點(diǎn)的顏色信息If乘W該像素點(diǎn)的深度方向權(quán)重《 即得該像 素點(diǎn)的深度信息加權(quán)值口,；跟蹤窗口區(qū)域的深度信息加權(quán)顏色矩陣為?^ =[巧，…，巧，…];記 化st〇b,wd為跟蹤窗口區(qū)域深度信息加權(quán)矩陣4的統(tǒng)計(jì)直方圖，即化st〇b,wd為跟蹤窗口區(qū) 域的RGB-D特征模型； 步驟3 ;通過所述前端獲取第二帖的RGB-D圖像數(shù)據(jù)； 步驟4 ;采用粒子濾波跟蹤算法，初始化N個(gè)粒子并進(jìn)行移動(dòng)采樣； 步驟5 ;把每個(gè)粒子W自身坐標(biāo)為中屯、擴(kuò)展成一個(gè)粒子區(qū)域； 步驟6 ;按照步驟2所述方法計(jì)算所述N個(gè)粒子區(qū)域的RGB-D特征并建模，得到每個(gè)粒 子區(qū)域的RGB-D特征模型化j= 1，…，N，；計(jì)算每個(gè)粒子區(qū)域的RGB-D特征模 型與所述的第一帖圖像中跟蹤窗口區(qū)域的RGB-D特征模型化st〇b,wd的相似度； 步驟7 ;從所述N個(gè)相似度中選出相似度最大值所對(duì)應(yīng)的粒子區(qū)域，并將該區(qū)域?qū)?yīng)的 粒子位置按照粒子濾波算法進(jìn)行粒子重采樣，得跟蹤目標(biāo)在第二帖圖像中的具體區(qū)域； 步驟8 ;若所述前端獲得了第S帖及后續(xù)圖像，則對(duì)每一帖圖像依次按步驟3至步驟7 所述方法進(jìn)行操作，得跟蹤目標(biāo)在每一帖圖像中的具體位置；若無則后續(xù)圖像則退出執(zhí)行， 完成目標(biāo)跟蹤。
2. 根據(jù)權(quán)利要求1所述的深度信息輔助粒子濾波跟蹤方法，其特征在于，所述設(shè)置深 度方向闊值Dth=化7D。1.3Di]。
3. 根據(jù)權(quán)利要求1所述的深度信息輔助粒子濾波跟蹤方法，其特征在于，具體采用W 下方法實(shí)現(xiàn)步驟5所述的粒子區(qū)域的擴(kuò)展： 基于所述目標(biāo)區(qū)域Hi的形狀及其中屯、點(diǎn)的深度〇1，利用相似S角形原理，把每個(gè)粒子W自身坐標(biāo)為中屯、擴(kuò)展成一個(gè)粒子區(qū)域，即每個(gè)粒子區(qū)域的形狀與所述目標(biāo)區(qū)域Hi的形狀 一致，且每個(gè)粒子區(qū)域的邊長(zhǎng)與所述目標(biāo)區(qū)域Hi的對(duì)應(yīng)邊長(zhǎng)的比值等于所述粒子區(qū)域的中 屯、粒子的深度與所述目標(biāo)區(qū)域Hi的中屯、點(diǎn)深度D1的比值。
【專利摘要】本發(fā)明公開了一種深度信息輔助粒子濾波跟蹤方法，通過帶深度傳感器的攝像頭如Kinect攝像頭對(duì)圖像進(jìn)行采集，獲取RGB以及深度數(shù)據(jù)。跟蹤時(shí)，首先在第一幀選取一個(gè)跟蹤目標(biāo)，獲得跟蹤區(qū)域窗口大小，依據(jù)選取目標(biāo)RGB信息，中心點(diǎn)深度值以及整個(gè)區(qū)域深度數(shù)據(jù)對(duì)跟蹤目標(biāo)進(jìn)行特征建模,并按上述方法繼續(xù)下一幀圖像的建模。根據(jù)粒子在不同位置的不同深度值，以及第一幀的深度值，即可算出每一個(gè)粒子所描述區(qū)域的窗口大小，從而得到區(qū)域特征。按與第一幀同樣方式進(jìn)行建模，并與第一幀特征進(jìn)行比較，最終得到最佳粒子區(qū)域。從而實(shí)現(xiàn)結(jié)合深度信息的粒子濾波跟蹤。本發(fā)明根據(jù)采集到的RGB-D信息，即顏色及深度信息，提升目標(biāo)跟蹤下的準(zhǔn)確性和魯棒性。
【IPC分類】G06T7-20
【公開號(hào)】CN104794737
【申請(qǐng)?zhí)枴緾N201510169237
【發(fā)明人】李曉峰, 周潔蕓, 陳海濤, 周寧
【申請(qǐng)人】電子科技大學(xué)
【公開日】2015年7月22日
【申請(qǐng)日】2015年4月10日