一種全景攝像機(jī)間運(yùn)動目標(biāo)的協(xié)同跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻圖像跟蹤技術(shù)領(lǐng)域，涉及一種全景攝像機(jī)間運(yùn)動目標(biāo)的協(xié)同跟蹤 方法。
【背景技術(shù)】
[0002] 由于多傳感協(xié)同目標(biāo)跟蹤可以有效地解決目標(biāo)遮擋、場景混亂、環(huán)境光照突變等 情況下的目標(biāo)跟蹤問題，因此，被廣泛應(yīng)用在視頻監(jiān)控、行為分析、交通監(jiān)測等方面，但不同 攝像機(jī)中的目標(biāo)匹配是多傳感器協(xié)同跟蹤中需要解決的關(guān)鍵問題。
[0003] 目前，常見的判斷目標(biāo)一致性的模型有：高度模型、地標(biāo)模型、顏色模型、對極幾何 模型和單應(yīng)性模型。由于攝像機(jī)安裝高度和角度不同，外觀高度模型不具有代表性；地標(biāo)模 型需要進(jìn)行攝像機(jī)標(biāo)定，算法的復(fù)雜度高，限制了應(yīng)用范圍；而顏色模型在不同攝像機(jī)間會 有所差異，通常與對極幾何、單應(yīng)性模型聯(lián)合應(yīng)用；對極幾何方法是利用平面對極約束，得 到對應(yīng)目標(biāo)所在平面的對極線，實(shí)現(xiàn)目標(biāo)的協(xié)同跟蹤，對極幾何關(guān)系建立多攝像機(jī)之間協(xié) 同概率模型，實(shí)現(xiàn)目標(biāo)魯棒跟蹤，但缺點(diǎn)是不能直接獲取目標(biāo)的準(zhǔn)確位置，只能得到一條通 過目標(biāo)的對極線。因此，有人提出一種三焦點(diǎn)張量點(diǎn)轉(zhuǎn)移的方法，通過求取兩條對極線的交 點(diǎn)即目標(biāo)點(diǎn)，實(shí)現(xiàn)對目標(biāo)的準(zhǔn)確定位，但這種方法又存在極點(diǎn)漂移問題，給計(jì)算結(jié)果帶來不 可預(yù)估的偏差。除此之外，為解決對極幾何不確定性問題，有人又提出了單應(yīng)性方法，在對 極幾何約束的基礎(chǔ)上，假設(shè)目標(biāo)運(yùn)動在地平面或者位于同一個(gè)平面上，實(shí)現(xiàn)點(diǎn)對點(diǎn)的對應(yīng)， 準(zhǔn)確得到目標(biāo)的"腳點(diǎn)"位置，局限性是獲取的目標(biāo)信息不夠全面，即只有"腳點(diǎn)"信息，而 當(dāng)目標(biāo)出現(xiàn)遮擋時(shí)，"腳點(diǎn)"位置又很難獲取。
[0004] 上述協(xié)同跟蹤方法均是建立在普通攝像機(jī)基礎(chǔ)上，由于普通攝像機(jī)視野范圍有限 的影響，就使得監(jiān)控網(wǎng)絡(luò)中的協(xié)同跟蹤有效區(qū)域狹小，而且當(dāng)攝像機(jī)位置或角度發(fā)生變化 時(shí)，就要重新建立各攝像機(jī)之間的聯(lián)系。針對上述視野范圍問題，有人設(shè)計(jì)了一套用于軍事 監(jiān)測的雙曲面反射鏡成像系統(tǒng)（全景攝像機(jī)），可以獲得寬廣的視野范圍，最高可獲得360 度范圍的全景視野，雖然全景攝像機(jī)彌補(bǔ)了普通攝像機(jī)視野狹小的缺點(diǎn)，但是由于全景攝 像機(jī)間的對極幾何關(guān)系比較復(fù)雜，因此，上述的在普通攝像機(jī)間的對運(yùn)動目標(biāo)的協(xié)同跟蹤 方法在全景攝像機(jī)中不再完全適用，目前，在全景攝像機(jī)中并無實(shí)現(xiàn)運(yùn)動目標(biāo)協(xié)同跟蹤的 方法。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是提供一種全景攝像機(jī)間運(yùn)動目標(biāo)的協(xié)同跟蹤方法，能夠?qū)崿F(xiàn)兩個(gè) 全景攝像機(jī)之間運(yùn)動目標(biāo)的持續(xù)協(xié)同跟蹤。
[0006] 本發(fā)明所采用的技術(shù)方案是，一種全景攝像機(jī)間運(yùn)動目標(biāo)的協(xié)同跟蹤方法，具體 按照以下步驟實(shí)施：
[0007] 步驟1，利用兩個(gè)全方位視覺傳感器從不同視角采集包含有同一個(gè)目標(biāo)的全景視 頻A'和全景視頻B'，并選取全景視頻A'和全景視頻B'當(dāng)中的一對圖像，一對圖像指同 一目標(biāo)分別在全景攝像機(jī)Cl和全景攝像機(jī)C2中同一時(shí)刻的圖像，分別記為全景圖像A和 全景圖像B;
[0008] 步驟2,分別提取全景圖像A和全景圖像B中的目標(biāo)特征，目標(biāo)特征包括顏色信息 和位置信息；
[0009] 步驟3,采用粒子濾波方法并根據(jù)提取出來的全景圖像A的目標(biāo)特征對全景圖像A 目標(biāo)下一時(shí)刻的狀態(tài)進(jìn)行預(yù)估計(jì)；
[0010] 同時(shí)，采用粒子濾波方法并根據(jù)提取出來的全景圖像B的目標(biāo)特征對全景圖像B 目標(biāo)下一時(shí)刻的狀態(tài)進(jìn)行預(yù)估計(jì)；
[0011] 步驟4,當(dāng)全景圖像A和全景圖像B中預(yù)估計(jì)的目標(biāo)狀態(tài)均滿足對極幾何條件時(shí)， 則計(jì)算全景圖像A中預(yù)估計(jì)目標(biāo)在全景攝像機(jī)C2中的對極曲線；
[0012] 同時(shí)計(jì)算全景圖像B中預(yù)估計(jì)目標(biāo)在全景攝像機(jī)C1中的對極曲線；
[0013] 步驟5,當(dāng)全景圖像A和全景圖像B之間滿足協(xié)同控制開關(guān)條件時(shí)，則分別根據(jù)步 驟4中計(jì)算出來的對極曲線對全景圖像A和全景圖像B中目標(biāo)的位置進(jìn)行校正，并更新顏 色信息，從而實(shí)現(xiàn)全景圖像A和全景圖像B間目標(biāo)的協(xié)同跟蹤；
[0014] 步驟6,將步驟5中得到的校正和更新后的圖像作為全景圖像A和全景圖像B當(dāng)前 時(shí)刻狀態(tài)，并返回步驟3,直至將全景視頻A'和全景視頻B'中所有圖像序列跟蹤完，從而 實(shí)現(xiàn)兩個(gè)全景攝像機(jī)間運(yùn)動目標(biāo)的協(xié)同跟蹤。
[0015] 本發(fā)明的特點(diǎn)還在于，
[0016] 步驟3中采用粒子濾波方法分別對全景圖像A和全景圖像B中目標(biāo)下一時(shí)刻狀態(tài) 進(jìn)行預(yù)估計(jì)，具體按照以下方法實(shí)施：
[0017] 步驟3. 1，分別采用局部似然權(quán)重對全景圖像A和全景圖像B中目標(biāo)下一時(shí)刻的顏 色信息預(yù)估計(jì)，并分別采用重要性密度函數(shù)對全景圖像A和全景圖像B中目標(biāo)下一時(shí)刻的 位置信息預(yù)估計(jì)：
[0018] 對全景圖像A中目標(biāo)下一時(shí)刻的顏色信息進(jìn)行預(yù)估計(jì)，具體方法如下：
[0019] a.在全景圖像A中選取采樣粒子對目標(biāo)進(jìn)行表示；
[0020] b.將全景圖像A中選取的采樣粒子的局部觀測似然權(quán)重初始化為：
【主權(quán)項(xiàng)】
1. 一種全景攝像機(jī)間運(yùn)動目標(biāo)的協(xié)同跟蹤方法，其特征在于，具體按照以下步驟實(shí) 施： 步驟1，利用兩個(gè)全方位視覺傳感器從不同視角采集包含有同一個(gè)目標(biāo)的全景視頻A'和全景視頻B'，并選取全景視頻A'和全景視頻B'當(dāng)中的一對圖像，所述一對圖像指 同一目標(biāo)分別在全景攝像機(jī)C1和全景攝像機(jī)C2中同一時(shí)刻的圖像，分別記為全景圖像A 和全景圖像B; 步驟2,分別提取全景圖像A和全景圖像B中的目標(biāo)特征，目標(biāo)特征包括顏色信息和位 置信息； 步驟3,采用粒子濾波方法并根據(jù)提取出來的全景圖像A的目標(biāo)特征對全景圖像A目標(biāo) 下一時(shí)刻的狀態(tài)進(jìn)行預(yù)估計(jì)； 同時(shí)，采用粒子濾波方法并根據(jù)提取出來的全景圖像B的目標(biāo)特征對全景圖像B目標(biāo) 下一時(shí)刻的狀態(tài)進(jìn)行預(yù)估計(jì)； 步驟4,當(dāng)全景圖像A和全景圖像B中預(yù)估計(jì)的目標(biāo)狀態(tài)均滿足對極幾何條件時(shí)，則計(jì) 算全景圖像A中預(yù)估計(jì)目標(biāo)在全景攝像機(jī)C2中的對極曲線； 同時(shí)計(jì)算全景圖像B中預(yù)估計(jì)目標(biāo)在全景攝像機(jī)C1中的對極曲線； 步驟5,當(dāng)全景圖像A和全景圖像B之間滿足協(xié)同控制開關(guān)條件時(shí)，則分別根據(jù)步驟4 中計(jì)算出來的對極曲線對全景圖像A和全景圖像B中目標(biāo)的位置進(jìn)行校正，并更新顏色信 息，從而實(shí)現(xiàn)全景圖像A和全景圖像B間目標(biāo)的協(xié)同跟蹤； 步驟6,將步驟5中得到的校正和更新后的圖像作為全景圖像A和全景圖像B當(dāng)前時(shí)刻 狀態(tài)，并返回步驟3,直至將全景視頻A'和全景視頻B'中所有圖像序列跟蹤完，從而實(shí)現(xiàn) 兩個(gè)全景攝像機(jī)間運(yùn)動目標(biāo)的協(xié)同跟蹤。
2. 根據(jù)權(quán)利要求1所述的一種全景攝像機(jī)間運(yùn)動目標(biāo)的協(xié)同跟蹤方法，其特征在于， 步驟3中采用粒子濾波方法分別對全景圖像A和全景圖像B中目標(biāo)下一時(shí)刻狀態(tài)進(jìn)行預(yù)估 計(jì)，具體按照以下方法實(shí)施： 步驟3. 1，分別采用局部似然權(quán)重對全景圖像A和全景圖像B中目標(biāo)下一時(shí)刻的顏色信 息預(yù)估計(jì)，并分別采用重要性密度函數(shù)對全景圖像A和全景圖像B中目標(biāo)下一時(shí)刻的位置 信息預(yù)估計(jì)： 對全景圖像A中目標(biāo)下一時(shí)刻的顏色信息進(jìn)行預(yù)估計(jì)，具體方法如下： a. 在全景圖像A中選取采樣粒子對目標(biāo)進(jìn)行表示； b. 將全景圖像A中選取的采樣粒子的局部觀測