一種三維目標(biāo)跟蹤的方法及裝置的制造方法
【專利摘要】本發(fā)明涉及一種三維目標(biāo)跟蹤的方法及裝置，所述三維目標(biāo)跟蹤的方法包括以下步驟：獲取動(dòng)態(tài)視頻中的一幀待跟蹤目標(biāo)圖像的三維點(diǎn)云圖，根據(jù)所述三維點(diǎn)云圖獲取所述待跟蹤目標(biāo)圖像的二值化三維特征點(diǎn)；獲取待跟蹤目標(biāo)圖像的邊緣特征點(diǎn)，根據(jù)所述邊緣特征點(diǎn)及所述二值化三維特征點(diǎn)生成顯著圖；獲取所述顯著圖中特征點(diǎn)的特征值，根據(jù)所述特征值對(duì)所述動(dòng)態(tài)視頻中后續(xù)的圖像幀進(jìn)行均值漂移MeanShift目標(biāo)跟蹤。本發(fā)明能夠使得計(jì)算的數(shù)據(jù)量大大減少，計(jì)算復(fù)雜度大幅降低，在數(shù)據(jù)處理過(guò)程中只需要占用較小的存儲(chǔ)空間和使用較少的計(jì)算機(jī)資源，便于高效運(yùn)算，利于三維目標(biāo)識(shí)別算法的實(shí)時(shí)化。
【專利說(shuō)明】
一種三維目標(biāo)跟蹤的方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及機(jī)器視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種三維目標(biāo)跟蹤的方法及裝置。
【背景技術(shù)】
[0002] 三維目標(biāo)識(shí)別的目的是在三維場(chǎng)景中正確地識(shí)別目標(biāo)并確定目標(biāo)的位置與姿態(tài)。 三維目標(biāo)識(shí)別相比于基于二維圖像的目標(biāo)識(shí)別技術(shù)有著獨(dú)特的優(yōu)勢(shì)：1、包含更多的深度信 息;2、特征提取受尺度、旋轉(zhuǎn)和光照的影響小;3、對(duì)目標(biāo)姿態(tài)的估計(jì)更精確。
[0003] 現(xiàn)有三維目標(biāo)識(shí)別方法中通常是使用一行浮點(diǎn)數(shù)向量表征三維局部表面的特征， 并且特征向量維度普遍較高。因此，使用該種方法來(lái)進(jìn)行特征匹配時(shí)計(jì)算量大，對(duì)設(shè)備計(jì)算 性能有較高要求，算法應(yīng)用場(chǎng)景受限，且識(shí)別過(guò)程耗時(shí)長(zhǎng)，不利于三維目標(biāo)識(shí)別的實(shí)時(shí)化。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種三維目標(biāo)跟蹤的方法及裝置。
[0005] 本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下：一種三維目標(biāo)跟蹤的方法，所述三維 目標(biāo)跟蹤的方法包括以下步驟：
[0006] si，獲取動(dòng)態(tài)視頻中的一幀待跟蹤目標(biāo)圖像的三維點(diǎn)云圖，根據(jù)所述三維點(diǎn)云圖 獲取所述待跟蹤目標(biāo)圖像的二值化三維特征點(diǎn)；
[0007] S2,獲取待跟蹤目標(biāo)圖像的邊緣特征點(diǎn)，根據(jù)所述邊緣特征點(diǎn)及所述二值化三維 特征點(diǎn)生成顯著圖；
[0008] S3,獲取所述顯著圖中特征點(diǎn)的特征值，根據(jù)所述特征值對(duì)所述動(dòng)態(tài)視頻中后續(xù) 的圖像幀進(jìn)行均值漂移MeanShif t目標(biāo)跟蹤。
[0009] 本發(fā)明的有益效果是:在三維目標(biāo)跟蹤中，待跟蹤目標(biāo)用二值化三維特征點(diǎn)來(lái)表 征，即以二值位串表示，同時(shí)，將邊緣特征點(diǎn)及二值化三維特征點(diǎn)結(jié)合進(jìn)行均值漂移 MeanShif t目標(biāo)跟蹤，能夠使得計(jì)算的數(shù)據(jù)量大大減少，計(jì)算復(fù)雜度大幅降低，在數(shù)據(jù)處理 過(guò)程中只需要占用較小的存儲(chǔ)空間和使用較少的計(jì)算機(jī)資源，便于高效運(yùn)算，利于三維目 標(biāo)識(shí)別算法的實(shí)時(shí)化。
[0010] 在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。
[0011] 進(jìn)一步，還包括：
[0012] S4,當(dāng)進(jìn)行均值漂移MeanShif t目標(biāo)跟蹤至設(shè)定幀數(shù)時(shí)，以所述設(shè)定幀數(shù)對(duì)應(yīng)的圖 像幀作為所述待跟蹤目標(biāo)圖像并循環(huán)。
[0013] 采用上述進(jìn)一步方案的有益效果是更換待跟蹤目標(biāo)圖像能夠提高跟蹤的準(zhǔn)確性， 同時(shí)能夠更好地跟蹤目標(biāo)，避免目標(biāo)的丟失。
[0014] 進(jìn)一步，所述步驟S1包括：
[0015] S11，獲取動(dòng)態(tài)視頻中的待跟蹤目標(biāo)圖像的三維點(diǎn)云圖，計(jì)算所述三維點(diǎn)云圖的網(wǎng) 格分辨率；
[0016] S12,根據(jù)所述網(wǎng)格分辨率進(jìn)行均勻采樣，獲取網(wǎng)格特征點(diǎn)；
[0017] S13,根據(jù)所述網(wǎng)格特征點(diǎn)構(gòu)建投影參考系；
[0018] S14,根據(jù)所述投影參考系將所述網(wǎng)格特征點(diǎn)分別投影至三維空間對(duì)應(yīng)的三個(gè)平 面上；
[0019] S15,將投影后每一平面上的網(wǎng)格特征點(diǎn)進(jìn)行二值化，獲取所述三個(gè)平面上二值化 后的特征點(diǎn)，得到所述二值化三維特征點(diǎn)。
[0020] 采用上述進(jìn)一步方案的有益效果是三維點(diǎn)云圖經(jīng)均勻采樣及構(gòu)建投影參考系后， 三維網(wǎng)格特征點(diǎn)投影至二維平面上，再進(jìn)行二值化，這樣三維點(diǎn)云圖的數(shù)據(jù)轉(zhuǎn)變?yōu)槎滴?串，使得計(jì)算的數(shù)據(jù)量大大減少，計(jì)算復(fù)雜度大幅降低。
[0021] 進(jìn)一步，所述步驟S13包括：
[0022]獲取所述網(wǎng)格特征點(diǎn)中的給定特征點(diǎn)及支持半徑，根據(jù)所述給定特征點(diǎn)及所述支 持半徑構(gòu)建協(xié)方差矩陣；
[0023]對(duì)所述協(xié)方差矩陣進(jìn)行特征值分解；
[0024]對(duì)所述特征值分解中的正交矩陣進(jìn)行符號(hào)消歧，以消歧后的正交矩陣中的分量的 方向作為所述投影參考系在三維方向上對(duì)應(yīng)的投影方向。
[0025]采用上述進(jìn)一步方案的有益效果是通過(guò)構(gòu)建協(xié)方差矩陣來(lái)確定投影參考系在三 維方向上對(duì)應(yīng)的投影方向，為后續(xù)實(shí)現(xiàn)對(duì)三維目標(biāo)的準(zhǔn)確跟蹤提供了良好的基礎(chǔ)。
[0026] 進(jìn)一步，所述步驟S3包括：
[0027]獲取所述顯著圖中特征點(diǎn)的特征值，根據(jù)所述特征值建立第一概率分布函數(shù)； [0028]建立所述動(dòng)態(tài)視頻中后續(xù)的每一圖像幀的對(duì)應(yīng)的第二概率分布函數(shù)，通過(guò)計(jì)算根 據(jù)所述第一概率分布函數(shù)及所述第二概率分布函數(shù)的相似度進(jìn)行目標(biāo)跟蹤。
[0029]本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案還如下：一種三維目標(biāo)跟蹤的裝置，所述三 維目標(biāo)跟蹤的裝置包括：
[0030]獲取模塊，用于獲取動(dòng)態(tài)視頻中的一幀待跟蹤目標(biāo)圖像的三維點(diǎn)云圖，根據(jù)所述 三維點(diǎn)云圖獲取所述待跟蹤目標(biāo)圖像的二值化三維特征點(diǎn)；
[0031 ]生成模塊，用于獲取待跟蹤目標(biāo)圖像的邊緣特征點(diǎn)，根據(jù)所述邊緣特征點(diǎn)及所述 二值化三維特征點(diǎn)生成顯著圖；
[0032]跟蹤模塊，用于獲取所述顯著圖中特征點(diǎn)的特征值，根據(jù)所述特征值對(duì)所述動(dòng)態(tài) 視頻中后續(xù)的圖像幀進(jìn)行均值漂移MeanShift目標(biāo)跟蹤。
[0033] 進(jìn)一步，還包括：
[0034]更新模塊，用于當(dāng)進(jìn)行均值漂移Meanaift目標(biāo)跟蹤至設(shè)定幀數(shù)時(shí)，以所述設(shè)定幀 數(shù)對(duì)應(yīng)的圖像幀作為所述待跟蹤目標(biāo)圖像并循環(huán) [0035]進(jìn)一步，所述獲取模塊包括：
[0036]計(jì)算單元，用于獲取動(dòng)態(tài)視頻中的待跟蹤目標(biāo)圖像的三維點(diǎn)云圖，計(jì)算所述三維 點(diǎn)云圖的網(wǎng)格分辨率；
[0037]采樣單元，用于根據(jù)所述網(wǎng)格分辨率進(jìn)行均勻采樣，獲取網(wǎng)格特征點(diǎn)；
[0038]構(gòu)建單元，用于根據(jù)所述網(wǎng)格特征點(diǎn)構(gòu)建投影參考系；
[0039] 投影單元，用于根據(jù)所述投影參考系將所述網(wǎng)格特征點(diǎn)分別投影至三維空間對(duì)應(yīng) 的三個(gè)平面上；
[0040] 二值化單元，用于將投影后每一平面上的網(wǎng)格特征點(diǎn)進(jìn)行二值化，獲取所述三個(gè) 平面上二值化后的特征點(diǎn)，得到所述二值化三維特征點(diǎn)。
[0041]進(jìn)一步，所述構(gòu)建單元具體用于獲取所述網(wǎng)格特征點(diǎn)中的給定特征點(diǎn)及支持半 徑，根據(jù)所述給定特征點(diǎn)及所述支持半徑構(gòu)建協(xié)方差矩陣;對(duì)所述協(xié)方差矩陣進(jìn)行特征值 分解;對(duì)所述特征值分解中的正交矩陣進(jìn)行符號(hào)消歧，以消歧后的正交矩陣中的分量的方 向作為所述投影參考系在三維方向上對(duì)應(yīng)的投影方向。
[0042]進(jìn)一步，所述跟蹤模塊具體用于獲取所述顯著圖中特征點(diǎn)的特征值，根據(jù)所述特 征值建立第一概率分布函數(shù);建立所述動(dòng)態(tài)視頻中后續(xù)的每一圖像幀的對(duì)應(yīng)的第二概率分 布函數(shù)，通過(guò)計(jì)算所述第一概率分布函數(shù)及所述第二概率分布函數(shù)的相似度進(jìn)行目標(biāo)跟
【附圖說(shuō)明】
[0043]圖1為本發(fā)明三維目標(biāo)跟蹤的方法第一實(shí)施例的流程示意圖；
[0044] 圖2為本發(fā)明三維目標(biāo)跟蹤的方法第二實(shí)施例的流程示意圖；
[0045] 圖3為圖1所示步驟S1的流程示意圖；
[0046] 圖4為本發(fā)明三維目標(biāo)跟蹤的裝置第一實(shí)施例的結(jié)構(gòu)示意圖；
[0047]圖5為本發(fā)明三維目標(biāo)跟蹤的裝置第二實(shí)施例的結(jié)構(gòu)示意圖；
[0048] 圖6為圖4所示獲取模塊的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0049] 以下結(jié)合附圖對(duì)本發(fā)明的原理和特征進(jìn)行描述，所舉實(shí)例只用于解釋本發(fā)明，并 非用于限定本發(fā)明的范圍。
[0050] 如圖1所示，圖1是本發(fā)明一種三維目標(biāo)跟蹤的方法第一實(shí)施例的流程示意圖，該 三維目標(biāo)跟蹤的方法包括：
[0051] 步驟S1，獲取動(dòng)態(tài)視頻中的一幀待跟蹤目標(biāo)圖像的三維點(diǎn)云圖，根據(jù)所述三維點(diǎn) 云圖獲取所述待跟蹤目標(biāo)圖像的二值化三維特征點(diǎn)；
[0052]本實(shí)施例中，三維點(diǎn)云圖表示圖像的3D掃描的原始數(shù)據(jù)點(diǎn)群，可以從空間不同角 度旋轉(zhuǎn)觀看，能夠顯示原始數(shù)據(jù)的初貌，三維點(diǎn)云圖的數(shù)據(jù)量很大。
[0053] 本實(shí)施例中，目標(biāo)跟蹤可以分為靜態(tài)背景下的目標(biāo)跟蹤及動(dòng)態(tài)背景下的目標(biāo)跟 蹤，本實(shí)施例適用于靜態(tài)背景下的目標(biāo)跟蹤及動(dòng)態(tài)背景下的目標(biāo)跟蹤。在攝像頭取得動(dòng)態(tài) 視頻時(shí)，取出其中的一幀圖像，然后在該幀圖像中選出待跟蹤目標(biāo)。
[0054]在三維點(diǎn)云圖中，在三維方向上取其中的一些數(shù)據(jù)點(diǎn)，這些數(shù)據(jù)點(diǎn)能夠代表待跟 蹤目標(biāo)的特征，例如可以是包括待跟蹤目標(biāo)的輪廓點(diǎn)或者邊緣點(diǎn)的數(shù)據(jù)點(diǎn)等，取這些數(shù)據(jù) 點(diǎn)能夠使得處理數(shù)據(jù)大大變少，處理速度變快。在取出這些數(shù)據(jù)點(diǎn)后，將這些數(shù)據(jù)點(diǎn)進(jìn)行二 值化，進(jìn)行二值化后的數(shù)據(jù)點(diǎn)的灰度只有〇和1兩個(gè)值，這樣更進(jìn)一步使得處理數(shù)據(jù)大大變 少。
[0055] 步驟S2,獲取待跟蹤目標(biāo)圖像的邊緣特征點(diǎn)，根據(jù)所述邊緣特征點(diǎn)及所述二值化 三維特征點(diǎn)生成顯著圖；
[0056] 邊緣特征點(diǎn)能夠勾劃出目標(biāo)物體的輪廓，是圖像的重要屬性之一。本實(shí)施例中，可 以利用現(xiàn)有技術(shù)手段獲取待跟蹤目標(biāo)圖像的邊緣特征點(diǎn)，當(dāng)然，也可以采用其他的手段。
[0057]在獲取跟蹤目標(biāo)圖像的邊緣特征點(diǎn)后，將邊緣特征點(diǎn)及二值化三維特征點(diǎn)結(jié)合， 合成三維視覺(jué)顯著圖，以該顯著圖作為跟蹤的匹配模板。
[0058]步驟S3,獲取所述顯著圖中特征點(diǎn)的特征值，根據(jù)所述特征值對(duì)所述動(dòng)態(tài)視頻中 后續(xù)的圖像幀進(jìn)行均值漂移MeanShift目標(biāo)跟蹤。
[0059]均值漂移MeanShift算法是一種半自動(dòng)化跟蹤算法?；诰灯频哪繕?biāo)跟蹤算 法通過(guò)分別計(jì)算目標(biāo)區(qū)域和候選區(qū)域內(nèi)像素的特征值概率得到關(guān)于目標(biāo)模型和候選模型 的描述，然后利用相似函數(shù)度量初始幀目標(biāo)模型和當(dāng)前幀的候選模版的相似性，選擇使相 似函數(shù)最大的候選模型并得到關(guān)于目標(biāo)模型的Meanshift向量，這個(gè)向量正是目標(biāo)由初始 位置向正確位置移動(dòng)的向量。由于均值漂移算法的快速收斂性，通過(guò)不斷迭代計(jì)算 Meanshift向量，算法最終將收斂到目標(biāo)的真實(shí)位置，達(dá)到跟蹤的目的。
[0060] 本實(shí)施例中，在生成三維視覺(jué)顯著圖后，以顯著圖中的特征點(diǎn)的像素作為待跟蹤 目標(biāo)圖像的特征像素，建立均值漂移Meanshift的目標(biāo)模型，同時(shí)，對(duì)動(dòng)態(tài)視頻中后續(xù)的每 一幀圖像建立均值漂移MeanShift的候選目標(biāo)模型，將候選目標(biāo)模型與目標(biāo)模型進(jìn)行匹配 來(lái)實(shí)現(xiàn)目標(biāo)跟蹤。
[0061] 本實(shí)施例在三維目標(biāo)跟蹤中，待跟蹤目標(biāo)用二值化三維特征點(diǎn)來(lái)表征，即以二值 位串表示，同時(shí)，將邊緣特征點(diǎn)及二值化三維特征點(diǎn)結(jié)合進(jìn)行均值漂移Meanshift目標(biāo)跟 蹤，能夠使得計(jì)算的數(shù)據(jù)量大大減少，計(jì)算復(fù)雜度大幅降低，在數(shù)據(jù)處理過(guò)程中只需要占用 較小的存儲(chǔ)空間和使用較少的計(jì)算機(jī)資源，便于高效運(yùn)算，利于三維目標(biāo)識(shí)別算法的實(shí)時(shí) 化。
[0062] 在一優(yōu)選的實(shí)施例中，如圖2所示，在上述圖1的實(shí)施例的基礎(chǔ)上，本實(shí)施例還包括 以下步驟：
[0063] 步驟S4,當(dāng)進(jìn)行均值漂移MeanShift目標(biāo)跟蹤至設(shè)定幀數(shù)時(shí)，以所述設(shè)定幀數(shù)對(duì)應(yīng) 的圖像幀作為所述待跟蹤目標(biāo)圖像并循環(huán)。
[0064]本實(shí)施例中，可以設(shè)定跟蹤的圖像的幀數(shù)，例如設(shè)定為10幀或者20幀。由于考慮到 跟蹤目標(biāo)有可能在外形和/或形態(tài)等上發(fā)生變化，因此在跟蹤至設(shè)定幀數(shù)的圖像后，需要對(duì) 待跟蹤目標(biāo)圖像進(jìn)行更換，即以設(shè)定幀數(shù)對(duì)應(yīng)的圖像幀作為上述步驟S1中的待跟蹤目標(biāo)圖 像，獲取該待跟蹤目標(biāo)圖像的點(diǎn)云圖并執(zhí)行步驟S1至步驟S3,以此方式循環(huán)。
[0065]本實(shí)施例中，更換待跟蹤目標(biāo)圖像能夠提高跟蹤的準(zhǔn)確性，同時(shí)能夠更好地跟蹤 目標(biāo)，避免目標(biāo)的丟失。
[0066]在一優(yōu)選的實(shí)施例中，如圖3所示，在上述圖1的實(shí)施例的基礎(chǔ)上，上述步驟S1包 括：
[0067] S11，獲取動(dòng)態(tài)視頻中的待跟蹤目標(biāo)圖像的三維點(diǎn)云圖，計(jì)算所述三維點(diǎn)云圖的網(wǎng) 格分辨率；
[0068] S12,根據(jù)所述網(wǎng)格分辨率進(jìn)行均勻采樣，獲取網(wǎng)格特征點(diǎn)；
[0069] S13,根據(jù)所述網(wǎng)格特征點(diǎn)構(gòu)建投影參考系；
[0070] S14,根據(jù)所述投影參考系將所述網(wǎng)格特征點(diǎn)分別投影至三維空間對(duì)應(yīng)的三個(gè)平 面上；
[0071] S15,將投影后每一平面上的網(wǎng)格特征點(diǎn)進(jìn)行二值化，獲取所述三個(gè)平面上二值化 后的特征點(diǎn)，得到所述二值化三維特征點(diǎn)。
[0072]網(wǎng)格分辨率是均勻采樣的基準(zhǔn)，首先對(duì)三維點(diǎn)云圖的網(wǎng)格中所有的邊長(zhǎng)求平均 值，該平均值即為該三維點(diǎn)云圖的網(wǎng)格分辨率。假設(shè)三維點(diǎn)云圖用圖Q表示，三維點(diǎn)云圖中 的所有邊E = {e 1，e2，…，eN}，則三維點(diǎn)云圖的網(wǎng)格分辨率可定義為：
[0074]其中，|ei |表示邊ei的長(zhǎng)度。
[0075]在計(jì)算三維點(diǎn)云圖的網(wǎng)格分辨率后，可根據(jù)網(wǎng)格分辨率進(jìn)行均勻采樣:將點(diǎn)云Q均 勻分割成邊長(zhǎng)為η · R的立方體網(wǎng)格。假設(shè)第i個(gè)立體網(wǎng)格里含有k個(gè)頂點(diǎn)Pil，Pi2,…，Pik， 對(duì)這k個(gè)頂點(diǎn)的x，y，z坐標(biāo)分別求均值，即得到該立體網(wǎng)格Pi(即網(wǎng)格特征點(diǎn)）的坐標(biāo)：
[0077] 其中，采樣頂點(diǎn)數(shù)k大于等于預(yù)定數(shù)量τ的立體網(wǎng)格作為網(wǎng)格特征點(diǎn)，對(duì)于頂點(diǎn)數(shù)k 小于預(yù)定數(shù)量τ的立體網(wǎng)格，則該立體網(wǎng)格不作為網(wǎng)格特征點(diǎn)。
[0078] 在采樣完成后，建立網(wǎng)格特征點(diǎn)構(gòu)建投影參考系，構(gòu)建投影參考系的目的是投影 的前提，投影參考系構(gòu)建后，可以確定三維的網(wǎng)格特征點(diǎn)從哪個(gè)角度或方向投影至二維的 平面上。
[0079] 在投影時(shí)，以給定特征點(diǎn)Ρ為原點(diǎn)，:r為支持半徑，按照給定特征點(diǎn)Ρ及支持半徑r在 上述采樣后的網(wǎng)格特征點(diǎn)中截得局部點(diǎn)云Q'。將Q'分別向xy，yz， XZ三個(gè)二維坐標(biāo)平面投影 得到三個(gè)二維的投影后的點(diǎn)云&'，Q2'，Q3'，對(duì)點(diǎn)云，Q 2'，Q3'分別作1X1的分塊并統(tǒng)計(jì)每 個(gè)子塊中的網(wǎng)格特征點(diǎn)的數(shù)目。根據(jù)子塊中的網(wǎng)格特征點(diǎn)數(shù)分別構(gòu)造 1X1的方陣D1，D2， D3〇
[0080] 然后，分別對(duì)方陣D1，D2，D3進(jìn)行二值化：隨機(jī)選取方陣D1中2u個(gè)元素，按先后順 序，每?jī)蓚€(gè)元素一組，構(gòu)建u組測(cè)試對(duì)。對(duì)于第i組測(cè)試對(duì)執(zhí)行以下測(cè)試：
[0082]其中，D(i)，D(i)'分別是第i組測(cè)試對(duì)的第一個(gè)元素和第二個(gè)元素。對(duì)u組測(cè)試對(duì) 執(zhí)行相同的測(cè)試，可確定一行唯一的u維二值位串：
[0083]
[0084] 同理，對(duì)方陣D2，D3選擇與方陣D1元素位置相同的測(cè)試序列，可以分別確定二值位 串f2，f3，最后可得到特征點(diǎn)的二值化三維特征點(diǎn)fp = {f 1，f2，f3}。
[0085] 本實(shí)施例的三維點(diǎn)云圖經(jīng)均勻采樣及構(gòu)建投影參考系后，三維網(wǎng)格特征點(diǎn)投影至 二維平面上，再進(jìn)行二值化，這樣三維點(diǎn)云圖的數(shù)據(jù)轉(zhuǎn)變?yōu)槎滴淮?，使得?jì)算的數(shù)據(jù)量大 大減少，計(jì)算復(fù)雜度大幅降低。
[0086] 在一優(yōu)選的實(shí)施例中，在上述圖3的實(shí)施例的基礎(chǔ)上，上述步驟S13包括：
[0087] 獲取所述網(wǎng)格特征點(diǎn)中的給定特征點(diǎn)及支持半徑，根據(jù)所述給定特征點(diǎn)及所述支 持半徑構(gòu)建協(xié)方差矩陣；
[0088] 對(duì)所述協(xié)方差矩陣進(jìn)行特征值分解；
[0089]對(duì)所述特征值分解中的正交矩陣進(jìn)行符號(hào)消歧，以消歧后的正交矩陣中的分量的 方向作為所述投影參考系在三維方向上對(duì)應(yīng)的投影方向。
[0090]本實(shí)施例中，可以利用上述的給定特征點(diǎn)P及支持半徑r構(gòu)建協(xié)方差矩陣，即根據(jù) 給定特征點(diǎn)P和所有在支持半徑r內(nèi)點(diǎn)之間的空間位置關(guān)系可以構(gòu)建協(xié)方差矩陣C:
[0092] 其中，di = |p -Pi I表示點(diǎn)Pi到點(diǎn)P的距離，M = Pi-P表示從點(diǎn)Pi指向點(diǎn)P的向量。
[0093] 然后，對(duì)協(xié)方差矩陣C作特征值分解：
[0094] CV = EV,
[0095] 其中，E為對(duì)角矩陣，E={λl，λ2，λ3}，λl、λ2及λ3為特征值且λl彡λ2彡λ3，V為正交 矩陣，V= {vl，v2，v3}，vl、v2及v3為λ?，λ2，λ3對(duì)應(yīng)的正交特征向量，且為x，y，z軸的坐標(biāo)基。
[0096] 對(duì)特征值分解中的正交矩陣V進(jìn)行符號(hào)消歧，以消歧后的正交矩陣中的分量的方 向作為投影參考系在三維方向上對(duì)應(yīng)的投影方向，為了消除向量vl、v2及v3符號(hào)的不確定 性，必須使它們的方向與局部表面上點(diǎn)到特征點(diǎn)向量的主體方向保持一致。符號(hào)消歧過(guò)程 為：給定特征點(diǎn)P，在給定特征點(diǎn)P所在的局部表面上選取離其最近的m(m為奇數(shù))個(gè)點(diǎn)。若 (Pi-P) · vl彡0且i>m/2,則保持向量vl符號(hào)不變，反之，則向量vl變?yōu)?vl，至此，確定了X 軸的方向。以類似方法可以確定向量v3的符號(hào)，即z軸的方向。y軸的方向可以由zXx來(lái)確 定。由此，投影參考系在三維方向上x，y，z對(duì)應(yīng)的投影方向可以確定。
[0097] 本實(shí)施例通過(guò)構(gòu)建協(xié)方差矩陣來(lái)確定投影參考系在三維方向上對(duì)應(yīng)的投影方向， 為后續(xù)實(shí)現(xiàn)對(duì)三維目標(biāo)的準(zhǔn)確跟蹤提供了良好的基礎(chǔ)。
[0098] 在一優(yōu)選的實(shí)施例中，在上述圖1的實(shí)施例的基礎(chǔ)上，上述步驟S3包括：
[0099]獲取所述顯著圖中特征點(diǎn)的特征值，根據(jù)所述特征值建立第一概率分布函數(shù)； [0100]建立所述動(dòng)態(tài)視頻中后續(xù)的每一圖像幀的對(duì)應(yīng)的第二概率分布函數(shù)，通過(guò)計(jì)算根 據(jù)所述第一概率分布函數(shù)及所述第二概率分布函數(shù)的相似度進(jìn)行目標(biāo)跟蹤。
[0101]本實(shí)施例中，首先獲取顯著圖中特征點(diǎn)的特征值，為選中的待跟蹤目標(biāo)建立第一 概率分布函數(shù)，第一概率分布函數(shù)為：
[0103] 其中，k為核函數(shù)，m為特征空間中特征值的個(gè)數(shù)，δ為Kronecker函數(shù)，b(Xi)為像素 xi對(duì)應(yīng)的特征值，C為歸一化系數(shù)，h為核函數(shù)的帶寬，X1，X2,...，χη為核函數(shù)所包含采樣點(diǎn)， x〇為目標(biāo)中心。核函數(shù)也叫窗口函數(shù)，在核估計(jì)中起到平滑的作用。
[0104] 動(dòng)態(tài)視頻中后續(xù)的某一幀圖像的對(duì)應(yīng)的第二概率分布函數(shù)為：
[0106]然后，計(jì)算第一概率分布函數(shù)與第二概率分布函數(shù)的相似度：即尋找最優(yōu)的y，使 得/\()')與4最相似?！贰穇(>'_)與《《:的相似度用他&1^(31^773系數(shù)來(lái)度量，即 ：
[0108] 當(dāng)相似度最大時(shí)，得到關(guān)于第一概率分布函數(shù)的Meanshift向量，該Meanshift向 量是待跟蹤目標(biāo)由初始位置向正確位置移動(dòng)的向量。分別計(jì)算第一概率分布函數(shù)與動(dòng)態(tài)視 頻中后續(xù)的其他幀圖像的概率分布函數(shù)的相似度，得到對(duì)應(yīng)的Meansh i ft向量。
[0109]在均值漂移Meanshift目標(biāo)跟蹤中，目標(biāo)位置搜索的過(guò)程是均值漂移的迭代過(guò)程， 待跟蹤目標(biāo)新的位置為：
[0111]式中兔為待跟蹤目標(biāo)新的中心位置，其中：
[0113] 通過(guò)不斷地迭代計(jì)算待跟蹤目標(biāo)新的位置，直至Bhattacharyya系數(shù)最大即定位 為待跟蹤目標(biāo)最終中心位置，停止迭代。
[0114]如圖4所示，圖4是本發(fā)明一種三維目標(biāo)跟蹤的裝置的第一實(shí)施例的結(jié)構(gòu)示意圖， 該三維目標(biāo)跟蹤的裝置包括：
[0115]獲取模塊，用于獲取動(dòng)態(tài)視頻中的一幀待跟蹤目標(biāo)圖像的三維點(diǎn)云圖，根據(jù)所述 三維點(diǎn)云圖獲取所述待跟蹤目標(biāo)圖像的二值化三維特征點(diǎn)；
[0116]本實(shí)施例中，三維點(diǎn)云圖表示圖像的3D掃描的原始數(shù)據(jù)點(diǎn)群，可以從空間不同角 度旋轉(zhuǎn)觀看，能夠顯示原始數(shù)據(jù)的初貌，三維點(diǎn)云圖的數(shù)據(jù)量很大。
[0117] 本實(shí)施例中，目標(biāo)跟蹤可以分為靜態(tài)背景下的目標(biāo)跟蹤及動(dòng)態(tài)背景下的目標(biāo)跟 蹤，本實(shí)施例適用于靜態(tài)背景下的目標(biāo)跟蹤及動(dòng)態(tài)背景下的目標(biāo)跟蹤。在攝像頭取得動(dòng)態(tài) 視頻時(shí)，取出其中的一幀圖像，然后在該幀圖像中選出待跟蹤目標(biāo)。
[0118]在三維點(diǎn)云圖中，在三維方向上取其中的一些數(shù)據(jù)點(diǎn)，這些數(shù)據(jù)點(diǎn)能夠代表待跟 蹤目標(biāo)的特征，例如可以是包括待跟蹤目標(biāo)的輪廓點(diǎn)或者邊緣點(diǎn)的數(shù)據(jù)點(diǎn)等，取這些數(shù)據(jù) 點(diǎn)能夠使得處理數(shù)據(jù)大大變少，處理速度變快。在取出這些數(shù)據(jù)點(diǎn)后，將這些數(shù)據(jù)點(diǎn)進(jìn)行二 值化，進(jìn)行二值化后的數(shù)據(jù)點(diǎn)的灰度只有〇和1兩個(gè)值，這樣更進(jìn)一步使得處理數(shù)據(jù)大大變 少。
[0119] 生成模塊，用于獲取待跟蹤目標(biāo)圖像的邊緣特征點(diǎn)，根據(jù)所述邊緣特征點(diǎn)及所述 二值化三維特征點(diǎn)生成顯著圖；
[0120] 邊緣特征點(diǎn)能夠勾劃出目標(biāo)物體的輪廓，是圖像的重要屬性之一。本實(shí)施例中，可 以利用現(xiàn)有技術(shù)手段獲取待跟蹤目標(biāo)圖像的邊緣特征點(diǎn)，當(dāng)然，也可以采用其他的手段。
[0121 ]在獲取跟蹤目標(biāo)圖像的邊緣特征點(diǎn)后，將邊緣特征點(diǎn)及二值化三維特征點(diǎn)結(jié)合， 合成三維視覺(jué)顯著圖，以該顯著圖作為跟蹤的匹配模板。
[0122] 跟蹤模塊，用于獲取所述顯著圖中特征點(diǎn)的特征值，根據(jù)所述特征值對(duì)所述動(dòng)態(tài) 視頻中后續(xù)的圖像幀進(jìn)行均值漂移MeanShift目標(biāo)跟蹤。
[0123] 均值漂移MeanShift算法是一種半自動(dòng)化跟蹤算法?；诰灯频哪繕?biāo)跟蹤算 法通過(guò)分別計(jì)算目標(biāo)區(qū)域和候選區(qū)域內(nèi)像素的特征值概率得到關(guān)于目標(biāo)模型和候選模型 的描述，然后利用相似函數(shù)度量初始幀目標(biāo)模型和當(dāng)前幀的候選模版的相似性，選擇使相 似函數(shù)最大的候選模型并得到關(guān)于目標(biāo)模型的Meanshift向量，這個(gè)向量正是目標(biāo)由初始 位置向正確位置移動(dòng)的向量。由于均值漂移算法的快速收斂性，通過(guò)不斷迭代計(jì)算 Meanshift向量，算法最終將收斂到目標(biāo)的真實(shí)位置，達(dá)到跟蹤的目的。
[0124] 本實(shí)施例中，在生成三維視覺(jué)顯著圖后，以顯著圖中的特征點(diǎn)的像素作為待跟蹤 目標(biāo)圖像的特征像素，建立均值漂移MeanShift的目標(biāo)模型，同時(shí)，對(duì)動(dòng)態(tài)視頻中后續(xù)的每 一幀圖像建立均值漂移MeanShift的候選目標(biāo)模型，將候選目標(biāo)模型與目標(biāo)模型進(jìn)行匹配 來(lái)實(shí)現(xiàn)目標(biāo)跟蹤。
[0125] 在一優(yōu)選的實(shí)施例中，如圖5所示，在本發(fā)明一種三維目標(biāo)跟蹤的裝置的第二實(shí)施 例中還包括：
[0126] 更新模塊，用于當(dāng)進(jìn)行均值漂移MeanShift目標(biāo)跟蹤至設(shè)定幀數(shù)時(shí)，以所述設(shè)定幀 數(shù)對(duì)應(yīng)的圖像幀作為所述待跟蹤目標(biāo)圖像并循環(huán)。
[0127] 本實(shí)施例中，可以設(shè)定跟蹤的圖像的幀數(shù)，例如設(shè)定為10幀或者20幀。由于考慮到 跟蹤目標(biāo)有可能在外形和/或形態(tài)等上發(fā)生變化，因此在跟蹤至設(shè)定幀數(shù)的圖像后，需要對(duì) 待跟蹤目標(biāo)圖像進(jìn)行更換，即以設(shè)定幀數(shù)對(duì)應(yīng)的圖像幀作為上述獲取模塊中的待跟蹤目標(biāo) 圖像，依次觸發(fā)獲取模塊、生成模塊及跟蹤模塊執(zhí)行相關(guān)的過(guò)程，以此方式循環(huán)。
[0128] 本實(shí)施例中，更換待跟蹤目標(biāo)圖像能夠提高跟蹤的準(zhǔn)確性，同時(shí)能夠更好地跟蹤 目標(biāo)，避免目標(biāo)的丟失。
[0129] 在一優(yōu)選的實(shí)施例中，如圖6所示，上述的獲取模塊包括：
[0130]計(jì)算單元，用于獲取動(dòng)態(tài)視頻中的待跟蹤目標(biāo)圖像的三維點(diǎn)云圖，計(jì)算所述三維 點(diǎn)云圖的網(wǎng)格分辨率；
[0131] 采樣單元，用于根據(jù)所述網(wǎng)格分辨率進(jìn)行均勻采樣，獲取網(wǎng)格特征點(diǎn)；
[0132] 構(gòu)建單元，用于根據(jù)所述網(wǎng)格特征點(diǎn)構(gòu)建投影參考系；
[0133] 投影單元，用于根據(jù)所述投影參考系將所述網(wǎng)格特征點(diǎn)分別投影至三維空間對(duì)應(yīng) 的三個(gè)平面上；
[0134] 二值化單元，用于將投影后每一平面上的網(wǎng)格特征點(diǎn)進(jìn)行二值化，獲取所述三個(gè) 平面上二值化后的特征點(diǎn)，得到所述二值化三維特征點(diǎn)。
[0135] 網(wǎng)格分辨率是均勻采樣的基準(zhǔn)，首先對(duì)三維點(diǎn)云圖的網(wǎng)格中所有的邊長(zhǎng)求平均 值，該平均值即為該三維點(diǎn)云圖的網(wǎng)格分辨率。假設(shè)三維點(diǎn)云圖用圖Q表示，三維點(diǎn)云圖中 的所有邊E = {e 1，e2，…，eN}，則三維點(diǎn)云圖的網(wǎng)格分辨率可定義為：
[0137] 其中，|ei |表示邊ei的長(zhǎng)度。
[0138] 在計(jì)算三維點(diǎn)云圖的網(wǎng)格分辨率后，可根據(jù)網(wǎng)格分辨率進(jìn)行均勻采樣:將點(diǎn)云Q均 勻分割成邊長(zhǎng)為η · R的立方體網(wǎng)格。假設(shè)第i個(gè)立體網(wǎng)格里含有k個(gè)頂點(diǎn)Pil，Pi2,…，Pik， 對(duì)這k個(gè)頂點(diǎn)的x，y，z坐標(biāo)分別求均值，即得到該立體網(wǎng)格Pi(即網(wǎng)格特征點(diǎn)）的坐標(biāo)：
[0140]其中，采樣頂點(diǎn)數(shù)k大于等于預(yù)定數(shù)量τ的立體網(wǎng)格作為網(wǎng)格特征點(diǎn)，對(duì)于頂點(diǎn)數(shù)k 小于預(yù)定數(shù)量τ的立體網(wǎng)格，則該立體網(wǎng)格不作為網(wǎng)格特征點(diǎn)。
[0141 ]在采樣完成后，建立網(wǎng)格特征點(diǎn)構(gòu)建投影參考系，構(gòu)建投影參考系的目的是投影 的前提，投影參考系構(gòu)建后，可以確定三維的網(wǎng)格特征點(diǎn)從哪個(gè)角度或方向投影至二維的 平面上。
[0142]在投影時(shí)，以給定特征點(diǎn)Ρ為原點(diǎn)，:r為支持半徑，按照給定特征點(diǎn)Ρ及支持半徑r在 上述采樣后的網(wǎng)格特征點(diǎn)中截得局部點(diǎn)云Q'。將Q'分別向Xy，yZ，XZ三個(gè)二維坐標(biāo)平面投影 得到三個(gè)二維的投影后的點(diǎn)云&'，Q2'，Q3'，對(duì)點(diǎn)云，Q2'，Q 3'分別作1X1的分塊并統(tǒng)計(jì)每 個(gè)子塊中的網(wǎng)格特征點(diǎn)的數(shù)目。根據(jù)子塊中的網(wǎng)格特征點(diǎn)數(shù)分別構(gòu)造1X1的方陣D1，D2， D3〇
[0143]然后，分別對(duì)方陣D1，D2，D3進(jìn)行二值化：隨機(jī)選取方陣D1中2u個(gè)元素，按先后順 序，每?jī)蓚€(gè)元素一組，構(gòu)建u組測(cè)試對(duì)。對(duì)于第i組測(cè)試對(duì)執(zhí)行以下測(cè)試：
[0145] 其中，D(i)，D(i)'分別是第i組測(cè)試對(duì)的第一個(gè)元素和第二個(gè)元素。對(duì)u組測(cè)試對(duì) 執(zhí)行相同的測(cè)試，可確定一行唯一的u維二值位串：
[0146] fi=E ),
[0147] 同理，對(duì)方陣D2，D3選擇與方陣D1元素位置相同的測(cè)試序列，可以分別確定二值位 串f2，f3，最后可得到特征點(diǎn)的二值化三維特征點(diǎn)fp = {f 1，f2，f3}。
[0148] 本實(shí)施例的三維點(diǎn)云圖經(jīng)均勻采樣及構(gòu)建投影參考系后，三維網(wǎng)格特征點(diǎn)投影至 二維平面上，再進(jìn)行二值化，這樣三維點(diǎn)云圖的數(shù)據(jù)轉(zhuǎn)變?yōu)槎滴淮沟糜?jì)算的數(shù)據(jù)量大 大減少，計(jì)算復(fù)雜度大幅降低。
[0149] 在一優(yōu)選的實(shí)施例中，上述的構(gòu)建單元具體用于獲取所述網(wǎng)格特征點(diǎn)中的給定特 征點(diǎn)及支持半徑，根據(jù)所述給定特征點(diǎn)及所述支持半徑構(gòu)建協(xié)方差矩陣;對(duì)所述協(xié)方差矩 陣進(jìn)行特征值分解;對(duì)所述特征值分解中的正交矩陣進(jìn)行符號(hào)消歧，以消歧后的正交矩陣 中的分量的方向作為所述投影參考系在三維方向上對(duì)應(yīng)的投影方向。
[0150]本實(shí)施例中，可以利用上述的給定特征點(diǎn)P及支持半徑r構(gòu)建協(xié)方差矩陣，即根據(jù) 給定特征點(diǎn)P和所有在支持半徑r內(nèi)點(diǎn)之間的空間位置關(guān)系可以構(gòu)建協(xié)方差矩陣C:
[0152] 其中，di = |P -Pi |表示點(diǎn)Pi到點(diǎn)P的距離，M = Pi-P表示從點(diǎn)Pi指向點(diǎn)P的向量。
[0153] 然后，對(duì)協(xié)方差矩陣C作特征值分解：
[0154] CV = EV,
[0155] 其中，E為對(duì)角矩陣，E={λl，λ2，λ3}，λl、λ2及λ3為特征值且λl彡λ2彡λ3，V為正交 矩陣，V= {vl，v2，v3}，vl、v2及v3為λ?，λ2，λ3對(duì)應(yīng)的正交特征向量，且為x，y，z軸的坐標(biāo)基。
[0156] 對(duì)特征值分解中的正交矩陣V進(jìn)行符號(hào)消歧，以消歧后的正交矩陣中的分量的方 向作為投影參考系在三維方向上對(duì)應(yīng)的投影方向，為了消除向量vl、v2及v3符號(hào)的不確定 性，必須使它們的方向與局部表面上點(diǎn)到特征點(diǎn)向量的主體方向保持一致。符號(hào)消歧過(guò)程 為：給定特征點(diǎn)P，在給定特征點(diǎn)P所在的局部表面上選取離其最近的m(m為奇數(shù))個(gè)點(diǎn)。若 (Pi-P) · vl彡0且i>m/2,則保持向量vl符號(hào)不變，反之，則向量vl變?yōu)?vl，至此，確定了X 軸的方向。以類似方法可以確定向量v3的符號(hào)，即z軸的方向。y軸的方向可以由zXx來(lái)確 定。由此，投影參考系在三維方向上x，y，z對(duì)應(yīng)的投影方向可以確定。
[0157] 本實(shí)施例通過(guò)構(gòu)建協(xié)方差矩陣來(lái)確定投影參考系在三維方向上對(duì)應(yīng)的投影方向， 為后續(xù)實(shí)現(xiàn)對(duì)三維目標(biāo)的準(zhǔn)確跟蹤提供了良好的基礎(chǔ)。
[0158] 在一優(yōu)選的實(shí)施例中，上述跟蹤模塊具體用于獲取所述顯著圖中特征點(diǎn)的特征 值，根據(jù)所述特征值建立第一概率分布函數(shù);建立所述動(dòng)態(tài)視頻中后續(xù)的每一圖像幀的對(duì) 應(yīng)的第二概率分布函數(shù)，通過(guò)計(jì)算所述第一概率分布函數(shù)及所述第二概率分布函數(shù)的相似 度進(jìn)行目標(biāo)跟蹤。
[0159]本實(shí)施例中，首先獲取顯著圖中特征點(diǎn)的特征值，為選中的待跟蹤目標(biāo)建立第一 概率分布函數(shù)，第一概率分布函數(shù)為：
[0161] 其中，k為核函數(shù)，m為特征空間中特征值的個(gè)數(shù)，δ為Kronecker函數(shù)，b(Xi)為像素 xi對(duì)應(yīng)的特征值，C為歸一化系數(shù)，h為核函數(shù)的帶寬，X1，X2,...，χη為核函數(shù)所包含采樣點(diǎn)， x〇為目標(biāo)中心。核函數(shù)也叫窗口函數(shù)，在核估計(jì)中起到平滑的作用。
[0162] 動(dòng)態(tài)視頻中后續(xù)的某一幀圖像的對(duì)應(yīng)的第二概率分布函數(shù)為：
[0164]然后，計(jì)算第一概率分布函數(shù)與第二概率分布函數(shù)的相似度：即尋找最優(yōu)的y，使 得A0.')與I最相似。久⑴與的相似度用Bhattacharyya系數(shù)來(lái)度量，即：
[0166] 當(dāng)相似度最大時(shí)，得到關(guān)于第一概率分布函數(shù)的Meanshift向量，該Meanshift向 量是待跟蹤目標(biāo)由初始位置向正確位置移動(dòng)的向量。分別計(jì)算第一概率分布函數(shù)與動(dòng)態(tài)視 頻中后續(xù)的其他幀圖像的概率分布函數(shù)的相似度，得到對(duì)應(yīng)的Meansh i ft向量。
[0167]在均值漂移MeanShift目標(biāo)跟蹤中，目標(biāo)位置搜索的過(guò)程是均值漂移的迭代過(guò)程， 待跟蹤目標(biāo)新的位置為：
[0169]式中Λ為待跟蹤目標(biāo)新的中心位置，其中：
[0171 ] 通過(guò)不斷地迭代計(jì)算待跟蹤目標(biāo)新的位置，直至Bhattacharyya系數(shù)最大即定位 為待跟蹤目標(biāo)最終中心位置，停止迭代。
[0172]以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和 原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種三維目標(biāo)跟蹤的方法，其特征在于，所述三維目標(biāo)跟蹤的方法包括以下步驟： S1，獲取動(dòng)態(tài)視頻中的一幀待跟蹤目標(biāo)圖像的三維點(diǎn)云圖，根據(jù)所述三維點(diǎn)云圖獲取 所述待跟蹤目標(biāo)圖像的二值化三維特征點(diǎn)； S2，獲取待跟蹤目標(biāo)圖像的邊緣特征點(diǎn)，根據(jù)所述邊緣特征點(diǎn)及所述二值化三維特征 點(diǎn)生成顯著圖； S3,獲取所述顯著圖中特征點(diǎn)的特征值，根據(jù)所述特征值對(duì)所述動(dòng)態(tài)視頻中后續(xù)的圖 像幀進(jìn)行均值漂移MeanShift目標(biāo)跟蹤。2. 根據(jù)權(quán)利要求1所述一種三維目標(biāo)跟蹤的方法，其特征在于，還包括： S4，當(dāng)進(jìn)行均值漂移MeanShift目標(biāo)跟蹤至設(shè)定幀數(shù)時(shí)，以所述設(shè)定幀數(shù)對(duì)應(yīng)的圖像幀 作為所述待跟蹤目標(biāo)圖像并循環(huán)。3. 根據(jù)權(quán)利要求1或2所述一種三維目標(biāo)跟蹤的方法，其特征在于，所述步驟S1包括： S11，獲取動(dòng)態(tài)視頻中的待跟蹤目標(biāo)圖像的三維點(diǎn)云圖，計(jì)算所述三維點(diǎn)云圖的網(wǎng)格分 辨率； S12,根據(jù)所述網(wǎng)格分辨率進(jìn)行均勻采樣，獲取網(wǎng)格特征點(diǎn)； S13，根據(jù)所述網(wǎng)格特征點(diǎn)構(gòu)建投影參考系； S14,根據(jù)所述投影參考系將所述網(wǎng)格特征點(diǎn)分別投影至三維空間對(duì)應(yīng)的三個(gè)平面上； S15，將投影后每一平面上的網(wǎng)格特征點(diǎn)進(jìn)行二值化，獲取所述三個(gè)平面上二值化后的 特征點(diǎn)，得到所述二值化三維特征點(diǎn)。4. 根據(jù)權(quán)利要求3所述一種三維目標(biāo)跟蹤的方法，其特征在于，所述步驟S13包括： 獲取所述網(wǎng)格特征點(diǎn)中的給定特征點(diǎn)及支持半徑，根據(jù)所述給定特征點(diǎn)及所述支持半 徑構(gòu)建協(xié)方差矩陣； 對(duì)所述協(xié)方差矩陣進(jìn)行特征值分解； 對(duì)所述特征值分解中的正交矩陣進(jìn)行符號(hào)消歧，以消歧后的正交矩陣中的分量的方向 作為所述投影參考系在三維方向上對(duì)應(yīng)的投影方向。5. 根據(jù)權(quán)利要求3任一項(xiàng)所述一種三維目標(biāo)跟蹤的方法，其特征在于，所述步驟S3包 括： 獲取所述顯著圖中特征點(diǎn)的特征值，根據(jù)所述特征值建立第一概率分布函數(shù)； 建立所述動(dòng)態(tài)視頻中后續(xù)的每一圖像幀的對(duì)應(yīng)的第二概率分布函數(shù)，通過(guò)計(jì)算根據(jù)所 述第一概率分布函數(shù)及所述第二概率分布函數(shù)的相似度進(jìn)行目標(biāo)跟蹤。6. -種三維目標(biāo)跟蹤的裝置，其特征在于，所述三維目標(biāo)跟蹤的裝置包括： 獲取模塊，用于獲取動(dòng)態(tài)視頻中的一幀待跟蹤目標(biāo)圖像的三維點(diǎn)云圖，根據(jù)所述三維 點(diǎn)云圖獲取所述待跟蹤目標(biāo)圖像的二值化三維特征點(diǎn)； 生成模塊，用于獲取待跟蹤目標(biāo)圖像的邊緣特征點(diǎn)，根據(jù)所述邊緣特征點(diǎn)及所述二值 化三維特征點(diǎn)生成顯著圖； 跟蹤模塊，用于獲取所述顯著圖中特征點(diǎn)的特征值，根據(jù)所述特征值對(duì)所述動(dòng)態(tài)視頻 中后續(xù)的圖像幀進(jìn)行均值漂移MeanShift目標(biāo)跟蹤。7. 根據(jù)權(quán)利要求6所述一種三維目標(biāo)跟蹤的裝置，其特征在于，還包括： 更新模塊，用于當(dāng)進(jìn)行均值漂移MeanShift目標(biāo)跟蹤至設(shè)定幀數(shù)時(shí)，以所述設(shè)定幀數(shù)對(duì) 應(yīng)的圖像幀作為所述待跟蹤目標(biāo)圖像并循環(huán)。8. 根據(jù)權(quán)利要求6或7所述一種三維目標(biāo)跟蹤的裝置，其特征在于，所述獲取模塊包括： 計(jì)算單元，用于獲取動(dòng)態(tài)視頻中的待跟蹤目標(biāo)圖像的三維點(diǎn)云圖，計(jì)算所述三維點(diǎn)云 圖的網(wǎng)格分辨率； 采樣單元，用于根據(jù)所述網(wǎng)格分辨率進(jìn)行均勻采樣，獲取網(wǎng)格特征點(diǎn)； 構(gòu)建單元，用于根據(jù)所述網(wǎng)格特征點(diǎn)構(gòu)建投影參考系； 投影單元，用于根據(jù)所述投影參考系將所述網(wǎng)格特征點(diǎn)分別投影至三維空間對(duì)應(yīng)的三 個(gè)平面上； 二值化單元，用于將投影后每一平面上的網(wǎng)格特征點(diǎn)進(jìn)行二值化，獲取所述三個(gè)平面 上二值化后的特征點(diǎn)，得到所述二值化三維特征點(diǎn)。9. 根據(jù)權(quán)利要求8所述一種三維目標(biāo)跟蹤的裝置，其特征在于，所述構(gòu)建單元具體用于 獲取所述網(wǎng)格特征點(diǎn)中的給定特征點(diǎn)及支持半徑，根據(jù)所述給定特征點(diǎn)及所述支持半徑構(gòu) 建協(xié)方差矩陣;對(duì)所述協(xié)方差矩陣進(jìn)行特征值分解;對(duì)所述特征值分解中的正交矩陣進(jìn)行 符號(hào)消歧，以消歧后的正交矩陣中的分量的方向作為所述投影參考系在三維方向上對(duì)應(yīng)的 投影方向。10. 根據(jù)權(quán)利要求8所述一種三維目標(biāo)跟蹤的裝置，其特征在于，所述跟蹤模塊具體用 于獲取所述顯著圖中特征點(diǎn)的特征值，根據(jù)所述特征值建立第一概率分布函數(shù);建立所述 動(dòng)態(tài)視頻中后續(xù)的每一圖像幀的對(duì)應(yīng)的第二概率分布函數(shù)，通過(guò)計(jì)算所述第一概率分布函 數(shù)及所述第二概率分布函數(shù)的相似度進(jìn)行目標(biāo)跟蹤。
【文檔編號(hào)】G06K9/00GK106096516SQ201610383553
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月1日 公開號(hào)201610383553.9, CN 106096516 A, CN 106096516A, CN 201610383553, CN-A-106096516, CN106096516 A, CN106096516A, CN201610383553, CN201610383553.9
【發(fā)明人】蔣薇, 鄭浩
【申請(qǐng)人】常州漫道羅孚特網(wǎng)絡(luò)科技有限公司