專利名稱：一種基于多光譜圖像傳感器的目標(biāo)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于信息技術(shù)領(lǐng)域，可應(yīng)用于智能視頻監(jiān)控、體育運動視頻分析、 國防等領(lǐng)域，涉及一種基于多光譜圖像傳感器的目標(biāo)跟蹤方法。
背景技術(shù)：
近年來隨著計算機(jī)視覺技術(shù)的發(fā)展，基于視頻的自動目標(biāo)跟蹤技術(shù)在視 頻監(jiān)控、體育視頻分析、國防等方面得到了較為廣泛的應(yīng)用。然而，過去使 用單傳感器的跟蹤系統(tǒng)受到傳感器自身性能局限性的約束，往往只能應(yīng)用于 某些特定場合下已知目標(biāo)的跟蹤。由于光照條件的變化、復(fù)雜背景、遮擋等 不確定因素的影響，長期穩(wěn)定地跟蹤復(fù)雜場景中感興趣目標(biāo)仍然是一個很具 有挑戰(zhàn)性的課題。因此，研究者開始探索生物體與環(huán)境進(jìn)行交互的基本機(jī)理， 而借鑒生物感知外界環(huán)境的機(jī)理，利用多光譜圖像傳感器信息融合技術(shù)來實 現(xiàn)視頻目標(biāo)跟蹤也已成為一個熱門研究領(lǐng)域。發(fā)明內(nèi)容本發(fā)明的目的是提供一種基于多光譜圖像傳感器的目標(biāo)跟蹤方法，該方 法基于多光譜圖像傳感器四層數(shù)據(jù)融合框架的目標(biāo)跟蹤系統(tǒng)，利用多個不同 波段的光譜圖像傳感器所提供的互補(bǔ)甚至重疊的信息提高視頻目標(biāo)跟蹤精 度、拓寬系統(tǒng)應(yīng)用范圍，使其能夠在復(fù)雜背景下穩(wěn)定地跟蹤運動目標(biāo)，而且 具有較高的魯棒性。為了實現(xiàn)上述任務(wù)，本發(fā)明采用如下的解決方案-一種多光譜圖像傳感器的目標(biāo)跟蹤方法，其特征在于，該方法采用具有 一定通用性的四層數(shù)據(jù)融合的計算框架，由下往上依次是多特征融合級、多 模式融合級、多模型融合級和多傳感器融合級，各層之間協(xié)同工作，構(gòu)成一個完整的、通用的目標(biāo)跟蹤系統(tǒng)；目標(biāo)跟蹤系統(tǒng)的圖像預(yù)處理根據(jù)不同目標(biāo) 檢測的需要，提取特征的方法為基于灰度的特征提取、基于區(qū)域的特征提 取和基于形狀的特征提?。欢嗵卣魅诤霞壊捎脴闼刎惾~斯方法，用于對不同的特征以概率進(jìn)行融 合，來描述同一個目標(biāo)，使其能夠明顯地區(qū)別于背景或噪聲；多模式融合級采用分階段切換算法，用于實現(xiàn)三種跟蹤模式在四個不同階段的平穩(wěn)切換；多模型融合級采用Kalman濾波基礎(chǔ)上的交互多模型I畫算法，用于解 決目標(biāo)勻速運動、勻加速運動和轉(zhuǎn)角運動等模型的融合；多傳感器融合級采用分布式融合跟蹤算法，用于對長波紅外、短波紅外、 可見光傳感器進(jìn)行融合跟蹤。本發(fā)明針對目標(biāo)跟蹤中存在的問題，給出四層數(shù)據(jù)融合的框架。為了確 保層與層之間的連貫性，每一層的輸入輸出均用狀態(tài)分布來表示。運動目標(biāo)由于距離圖像傳感器的成像平面的距離及角度均會發(fā)生變化， 從而導(dǎo)致成像圖像中目標(biāo)的大小發(fā)生變化。如果波門總是不變，跟蹤的精度 必然有限，甚至斷鎖，所以采用波門自適應(yīng)調(diào)節(jié)算法來解決這個問題。本發(fā)明的方法實現(xiàn)了對感興趣目標(biāo)的自動跟蹤，實際應(yīng)用證明多傳感器 四層數(shù)據(jù)融合框架的目標(biāo)跟蹤效果優(yōu)于單傳感器。


圖1是本發(fā)明的基于多光譜圖像傳感器的目標(biāo)跟蹤系統(tǒng)的四級數(shù)據(jù)融 合框架結(jié)構(gòu)圖；圖2是貪婪蛇算法流程圖；圖3是主動輪廓算法效果圖示，其中圖a是蛇點初始化，圖b是用貪婪 蛇算法迭代3次后的結(jié)果；圖4是單特征目標(biāo)檢測與多特征融合的目標(biāo)檢測結(jié)果對比圖；圖5是根據(jù)波門大小來確定目標(biāo)所處的跟蹤階段并選擇相應(yīng)的跟蹤模式的過程；圖6是多模式融合算法流程圖；圖7是多模式融合方法跟蹤紅外目標(biāo)的結(jié)果； 圖8是多模型融合算法流程圖；圖9是多模型融合跟蹤結(jié)果，其中圖a是跟蹤的示意圖，圖b是使用兩 個模型時的模型概率變化圖；圖IO是采用長波紅外，短波紅外和可見光等三類傳感器示意圖； 圖11是多傳感器融合算法流程圖； 圖12是系統(tǒng)跟蹤的軟件運行界面。 以下結(jié)合附圖和實施例對本發(fā)明作進(jìn)一步的詳細(xì)說明。
具體實施方式
本發(fā)明的基于多光譜圖像傳感器的目標(biāo)跟蹤方法，按以下方式進(jìn)行-1. 構(gòu)建四級數(shù)據(jù)融合框架 本發(fā)明根據(jù)不同傳感器各自的特點，首先構(gòu)建視覺跟蹤的四級數(shù)據(jù)融合框架(四級數(shù)據(jù)融合框架的結(jié)構(gòu)如圖l所示)，包括由下往上依次是多特 征融合級、多模式融合級、多模型融合級、多傳感器融合級。多特征融合級用概率方法實現(xiàn)基于多視覺線索的融合；多模式融合級運用分階段模式切換 算法，以一定的加權(quán)系數(shù)聯(lián)合兩種相鄰的跟蹤模式使模式之間平滑過渡；多 模型融合級運用交互多模型(I麗)算法實現(xiàn)；多傳感器融合級運用分布式 融合算法完成。前一級的融合結(jié)果是下一級融合的基礎(chǔ)。不同圖像傳感器得 到的圖像只是提取的特征有所不同，前三級的數(shù)據(jù)融合方法是一致的。最后 將每個傳感器的跟蹤結(jié)果進(jìn)行融合得到整個系統(tǒng)的跟蹤結(jié)果。2. 特征提取特征提取是視頻目標(biāo)跟蹤的首要階段，視覺系統(tǒng)的性能嚴(yán)重依賴于所選擇的特征空間對目標(biāo)的描述能力和分辯能力以及用于提取特征的算法有效 性和可靠性。然而紅外圖像與可見光圖像的成像原理不盡相同，所以需要的 特征也有所不同。根據(jù)不同目標(biāo)檢測的需要，本發(fā)明中提取特征的方法有 基于灰度的特征提取、基于區(qū)域的特征提取和基于形狀的特征提取。2.1基于灰度的特征提取考慮本系統(tǒng)中遠(yuǎn)距離的微弱目標(biāo)，顏色、形狀等特征并不顯著，而灰度 特征在紅外傳感器中直接反映為目標(biāo)成像，因此在這種情況下重點考察基于 圖像灰度值的亮度(目標(biāo)區(qū)域中的最大灰度值)和對比度(目標(biāo)最亮像素點 灰度值與目標(biāo)最暗像素灰度值之比值)作為主要特征來檢測目標(biāo)。亮度特征的提取根據(jù)上一幀得到的目標(biāo)點位置及灰度均值與方差，在其周圍指定的范圍內(nèi)，通過逐個像素計算，得到對應(yīng)點的灰度高斯分布似然函 數(shù)值A(chǔ)(Q')。對比度特征的提取根據(jù)上一幀得到的目標(biāo)點位置及對比度均值與方差， 在其周圍指定的范圍內(nèi)，通過逐個像素計算，得到對應(yīng)點的對比度高斯分布 似然函數(shù)值A(chǔ)("')。這里，對特征量均構(gòu)造高斯分布似然函數(shù)-其中 ^分別為目標(biāo)亮度均值與方差， 。22分別為對比度的均值與方差。2.2基于分割的特征提取當(dāng)目標(biāo)成像為一個小亮斑，所形成的區(qū)域已經(jīng)有相當(dāng)數(shù)量的像素組成但 是又不能用形狀來描述的時候，采用基于分割的特征提取顯得尤為有效。它首先對目標(biāo)區(qū)域和背景進(jìn)行有效的分割，并對其二值化其中g(shù)"力為坐標(biāo)"，力上的灰度值，Th為灰度閾值。這時用質(zhì)心來表示目標(biāo)區(qū)域的位置" 5] g"力'' Z其中S為目標(biāo)所在的區(qū)域；g"，力為目標(biāo)成像在",力點的灰度，"，義)是經(jīng)過圖像分割以后確定特征點所在區(qū)域并計算得到的質(zhì)心。2. 3基于形狀的特征提取當(dāng)目標(biāo)成像比較清晰時，形狀是常用的重要視覺特征，因為它基本上不 受光照變化、目標(biāo)旋轉(zhuǎn)變換和平移變換等影響。對于面積較大、輪廓較清晰 的面目標(biāo)，使用一條在內(nèi)部約束力和外部作用力共同作用下產(chǎn)生移動的可變 曲線(主動輪廓)表示基于輪廓的形狀特征。首先構(gòu)造一個合適的能量函數(shù)^W來定義這條曲線，其中*("^(力}表 示輪廓，表示從單位參量域^[GJ到圖像表面的映射。通?！阇}由兩部分組 成，即內(nèi)部變形能量&'和外部勢能&':(3)內(nèi)部變形能量定義了 一條具有伸縮及彎曲的曲線v("，即由變形而獲得的能量4"W)kl、則kl2^，其中v的下標(biāo)表示對s的微分，式中 兩項分別控制主動輪廓的彈性和剛性。外部勢能&'解釋了主動輪廓如何被吸引到顯著的圖像特征， ^'〃ip(v(")氣其中A力式定義為圖像平面上的標(biāo)量函數(shù)。本模塊對于該主動輪廓的理論模型使用的Williams貪婪算法，該算法 是一種相對精度高而計算復(fù)雜度較低的算法。貪婪算法把內(nèi)部能量分為連續(xù)性能量、彎曲性能量，而外部能量分為圖 像能量和約束能量。則貪婪算法把主動輪廓模型重寫為 ,,。) = ^["五》,,》+氛》,,》+;^,呵"，》+0")] (4)10其中(^0，1，…7V-l)表示蛇點標(biāo)號，v"表示蛇點及其8鄰域點。"，々，7^分別表示能量項的歸一化權(quán)值，用以調(diào)節(jié)各能量項在總能量中的比重。主動輪廓貪婪蛇算法流程如圖2所示，某紅外圖像的基于形狀的主動輪 廓提取結(jié)果如圖3所示。3.多特征融合單個特征對環(huán)境變化的適應(yīng)能力較差，而多特征的融合能夠彌補(bǔ)特征之 間的不足，是增強(qiáng)目標(biāo)對環(huán)境變化適應(yīng)能力的有效辦法，因此聯(lián)合多個特征 共同工作可以使目標(biāo)跟蹤在動態(tài)環(huán)境中具有較好的魯棒性。特征融合算法通 過使用和整合各種不同的視覺線索，建立具有唯一性的目標(biāo)表示模型成為目 標(biāo)跟蹤的必要手段。 3. 1特征融合算法特征級的目標(biāo)檢測效果可以從兩種主要方式得到提高強(qiáng)化每個獨立的 視覺線索，或者改進(jìn)不同特征信息的整合方法。與此相對應(yīng)，有兩類主要方 法用于融合多視覺線索(1)民主整合，即所有的視覺線索同時作用，地位 平等。也就是說，每個視覺線索獨立決策，然后使用加權(quán)和得到最終決策。 (2)用概率方法組合不同視覺線索。這種方法要求細(xì)心設(shè)計每個視覺線索 的模型，以使整合模型按所希望的方式工作。這也是該方法的優(yōu)勢所在，因 為它要求明確設(shè)計模型，指定要使用的參數(shù)和假設(shè)。適應(yīng)性在辨別不同目標(biāo) 時非常重要，而且也使跟蹤對由于光照、目標(biāo)姿態(tài)的變化引起的目標(biāo)形態(tài)變 化更為魯棒。鑒于特征融合階段并不能耗費過多的處理資源，本系統(tǒng)采用概率方法實 現(xiàn)基于多視覺線索融合的跟蹤算法，并用簡單的方法融合先假設(shè)特征間獨立，然后應(yīng)用樸素貝葉斯規(guī)則求得聯(lián)合分布函數(shù)，即 <formula>formula see original document page 11</formula>(5)其中/^,…，^lx)為特征y'，…，y"的聯(lián)合似然分布，而p(》lx)為第/個特征的似 然分布。在融合前，必須取得各特征的似然分布函數(shù)。根據(jù)上面特征提取得到的M',力禾口/^,力，通過比較找出使得"P'"'(一般取n^n-i)最大的點作為輸出。3. 2特征融合結(jié)果根據(jù)上述第一級多特征的融合方法，對于小目標(biāo)可以得到更為魯棒的跟 蹤，圖4分別顯示了單特征和多特征融合情況下目標(biāo)的檢測結(jié)果。圖(a)僅僅使用亮度作為特征，而圖(b)使用亮度和對比度兩個特征按(5)式融合得到的結(jié)果。從圖中可以清楚地反映多特征融合具有一定的魯棒性 在第15幀時，單特征檢測結(jié)果已經(jīng)不是原來的目標(biāo)，而多特征融合結(jié)果始 終是原來的目標(biāo)。4. 多模式融合動態(tài)場景中的運動目標(biāo)在不同階段有不同形態(tài)，峰值模式往往難以表示 大目標(biāo)，而主動輪廓模式難以表示小目標(biāo)，所以需要根據(jù)不同階段的目標(biāo)選擇不同的模式，即數(shù)據(jù)融合的第二級多模式融合。本系統(tǒng)根據(jù)目標(biāo)的成像 尺寸把運動目標(biāo)由遠(yuǎn)及近的過程分成四個階段。根據(jù)每個階段的不同成像特 點，使用不同的跟蹤模式以達(dá)到魯棒跟蹤的目的。4. 1各種跟蹤模式本系統(tǒng)中使用的跟蹤模式包括峰值模式、形心模式、主動輪廓模式。這 三種特征的提取前面已經(jīng)講過，所以相應(yīng)的目標(biāo)檢測位置也可以得到。當(dāng)目標(biāo)成像為一個光學(xué)系統(tǒng)衍射所形成的亮斑(點目標(biāo)階段)時，目標(biāo) 不存在形狀和輪廓信息，但它的亮度和對比度分布可以用二維高斯分布來描 述，所以使用峰值跟蹤模式；當(dāng)目標(biāo)成像有一定尺寸的區(qū)域卻不顯著(準(zhǔn)目 標(biāo)階段)時，存在輪廓信息卻并不明顯，使用峰值和形心兩種跟蹤模式同時工作并融合；當(dāng)目標(biāo)成像能清楚反映出目標(biāo)的形狀輪廓(顯著目標(biāo)階段)時，目標(biāo)特征明晰，采用形心和主動輪廓兩種跟蹤模式的融合策略；當(dāng)目成像尺寸可與視場尺寸相比擬(大目標(biāo)階段)時，形心跟蹤在精度上無能為力，采 用主動輪廓跟蹤模式。實現(xiàn)時依靠自適應(yīng)波門技術(shù)，根據(jù)波門尺寸s來判斷目標(biāo)所處的階段。各階段的跟蹤模式及判斷依據(jù)如圖5所示。 4.2多模式的融合算法多模式的融合跟蹤以Kalman濾波器為框架，以各種模式或者模式的組 合作為測量，具體的融合流程如圖6所示。這里主要是模式的選取，各個跟蹤階段使用不同的跟蹤模式，但是模式 間直接切換將造成跟蹤的不協(xié)調(diào)，容易導(dǎo)致跳動而斷鎖。本發(fā)明使用簡單平 滑的跟蹤模式過渡，使用線性融合方式，即以一定的加權(quán)系數(shù)聯(lián)合兩種相鄰 的跟蹤模式<formula>formula see original document page 13</formula>(6 )其中，《(o為綜合輸出，x，(/)是第一個跟蹤模式，x^)是第二個跟蹤模式，而C(s)是關(guān)于波門尺寸s的加權(quán)系數(shù)函數(shù)，C(s)定義如下<formula>formula see original document page 13</formula>其中omS^為波門當(dāng)前尺寸"^Do簡和^W7; 分別為波門尺寸的下閾值 和上閾值。4. 3多模式融合結(jié)果多模式融合的部分結(jié)果如圖7所示。圖像中的綠色為主動輪廓跟蹤模式 的結(jié)果，藍(lán)色為形心跟蹤模式的結(jié)果，紅色為融合結(jié)果。圖中可以清楚看到， 多模式融合的結(jié)果比單模式跟蹤具有更強(qiáng)的魯棒性。 5多模型融合對于任何的濾波器，只有當(dāng)所使用的系統(tǒng)模型與目標(biāo)的運動模式比較接 近時，才能得到較好的跟蹤效果。模式級雖然解決了目標(biāo)不同模式下的跟蹤 問題，但并不足以描述目標(biāo)的復(fù)雜運動，這時需要用不同運動模型來描述。5. 1模型選擇對于復(fù)雜情況的運動目標(biāo)，在二維圖像坐標(biāo)系中的可能運動有靜止， 勻速運動，加速運動，轉(zhuǎn)角運動等。選擇適當(dāng)數(shù)量的而且能全面描述目標(biāo)運 動的模型是多模型融合的關(guān)鍵。如何設(shè)計好運動模型的關(guān)鍵是選擇合適的機(jī)動水平(加速度)，在最 大加速度和最小加速度間折衷選?。贿x擇合適的噪聲方差，盡量照顧各種運 動，且各方差間盡量間隔開(相差比較大)。本系統(tǒng)中使用了勻速運動、勻加速運動和轉(zhuǎn)角運動的模型。5. 2多模型融合算法有效融合目標(biāo)的多種模型能得到更精確的解，而交互多模型(IMM)是目 前混合系統(tǒng)中性能比最好且非常簡單的算法，它具有自調(diào)整、變帶寬的特性， 非常適合機(jī)動目標(biāo)跟蹤，因此本發(fā)明的多模型融合采用BM算法。以三種模 型的融合為例，I麗的工作基本原理如圖8所示，可見，結(jié)合卡爾曼濾波后 整個I醒算法包括5個步驟，具體如下-1)使用前一時刻的模式概率計算當(dāng)前混合概率2) 濾波器重新初始化 A,-乙,=1 a'-ii'-i>",-i'-i3) 模型條件濾波計算A;"=iV(;;,—/z(:^f); 0,《力)144) 模型更新概率計算<formula>formula see original document page 15</formula>5) 狀態(tài)估計和協(xié)方差組合 <formula>formula see original document page 15</formula>5. 3多模型融合結(jié)果多模型融合部分的實驗跟蹤結(jié)果和模型概率的變化分別如圖9 (a)和 (b)所示。其中使用兩個運動模型勻速運動模型和勻加速運動模型。容 易看出，無論是在目標(biāo)變速運動還是在轉(zhuǎn)彎運動中，系統(tǒng)都能穩(wěn)定地跟蹤目 標(biāo)。而沒有進(jìn)行模型融合的時候，在運動轉(zhuǎn)變時會引起十字架的跳動，甚至 導(dǎo)致跟蹤丟失。 6多傳感器融合本系統(tǒng)采用長波紅外，短波紅外和可見光等三類傳感器(如圖10所示)， 由于每個傳感器在每個時刻并非同時具有最佳的探測和跟蹤效果，如果等同 看待不同傳感器的檢測結(jié)果，則總的結(jié)果并不能達(dá)到最佳，所以需要在不同 時刻，根據(jù)不同傳感器多模型融合估計的不同跟蹤效果，進(jìn)行綜合考慮。圖 中，不同的傳感器獲取圖像序列，傳感器的信息處理過程由波門自適應(yīng)模塊、 模式選擇器、多特征融合級(特征提取與特征融合模塊、圖像分割及形心模 塊、主動輪廓模塊組成)、多模式融合模塊、多模型融合模塊以及卡爾曼濾 波模塊負(fù)責(zé)完成。6. 1分布式融合算法從計算復(fù)雜度和實現(xiàn)的難度綜合考慮，本系統(tǒng)中的傳感器融合方法采用 分布式融合，每個傳感器都擁有獨立的跟蹤器，該跟蹤器就是前面的三個融 合級，而傳感器融合體現(xiàn)在各跟蹤器估計狀態(tài)的融合。分布式多傳感器融合 的基本思路是將單傳感器多模型的融合估計，按照一定概率加權(quán)組合，計算方便而且數(shù)據(jù)量小。其原理如圖11所示，具體的分布式融合跟蹤算法如下:1) 取時刻k二l的圖像數(shù)據(jù)；初始化相應(yīng)參數(shù)；2) 通過I畫得到每個濾波器輸出A7("及i,("， ir(^及《("；3) 全局預(yù)測X-(A) = ^1(A: —1);尸—("=^尸(A: —1)」7+0(々一1);4) 融合跟蹤結(jié)果尸("=尸_ w—Z'二 [w — if("] ， pw Z,二 [if' w - zr' ("A7("];5) 反饋i,(*) = i("; 《("=尸(^:)6) k=k+l，轉(zhuǎn)到步驟2)。 7.多傳感器融合跟蹤系統(tǒng)最后，整個系統(tǒng)的跟蹤界面及跟蹤效果如圖12所示，圖中從左到右， 從上到下分別表示長波紅外傳感器、短波紅外傳感器和可見光傳感器以及融 合結(jié)果，從跟蹤效果和融合結(jié)果來看，多傳感器融合跟蹤比單傳感器跟蹤具 有更高的魯棒性。許多情況下，當(dāng)目標(biāo)被偶爾遮擋或者特征信息提取信息不 充分的情況下，用單傳感器就會導(dǎo)致跟蹤丟失，而多傳感器融合跟蹤不會出 現(xiàn)這種情況。
權(quán)利要求
1. 一種多光譜圖像傳感器的目標(biāo)跟蹤方法，其特征在于，該方法采用具有一定通用性的四層數(shù)據(jù)融合的計算框架，由下往上依次是多特征融合級、多模式融合級、多模型融合級和多傳感器融合級，各層之間協(xié)同工作，構(gòu)成一個完整的、通用的目標(biāo)跟蹤系統(tǒng)；目標(biāo)跟蹤系統(tǒng)的圖像預(yù)處理根據(jù)不同目標(biāo)檢測的需要，提取特征的方法為基于灰度的特征提取、基于區(qū)域的特征提取和基于形狀的特征提取；多特征融合級采用樸素貝葉斯方法，用于對不同的特征以概率進(jìn)行融合，來描述同一個目標(biāo)，使其能夠明顯地區(qū)別于背景或噪聲；多模式融合級采用分階段切換算法，用于實現(xiàn)三種跟蹤模式在四個不同階段的平穩(wěn)切換；多模型融合級采用Kalman濾波基礎(chǔ)上的交互多模型IMM算法，用于解決目標(biāo)勻速運動、勻加速運動和轉(zhuǎn)角運動等模型的融合；多傳感器融合級采用分布式融合跟蹤算法，用于對長波紅外、短波紅外、可見光傳感器進(jìn)行融合跟蹤。
2、 如權(quán)利要求1所述的方法，其特征在于，所述的基于灰度的特征提 取包括亮度特征的提取和對比度特征的提取，艮P:亮度特征的提取根據(jù)上一幀得到的目標(biāo)點位置及灰度均值與方差，在其周圍指定的范圍內(nèi)，通過逐個像素計算，得到對應(yīng)點的灰度高斯分布似然函 數(shù)值A(chǔ)("');對比度特征的提取根據(jù)上一幀得到的目標(biāo)點位置及對比度均值與方差，在其周圍指定的范圍內(nèi)，通過逐個像素計算，得到對應(yīng)點的對比度高斯分布似然函數(shù)值^"');這里，對特征量均構(gòu)造高斯分布似然函數(shù) <formula>formula see original document page 2</formula>其中 一分別為目標(biāo)亮度均值與方差，W，S分別為對比度的均值與方差。
3、 如權(quán)利要求1所述的方法，其特征在于，所述的基于區(qū)域的特征提 取采用基于分割的特征提取首先對目標(biāo)區(qū)域和背景進(jìn)行有效的分割，并對其二值化<formula>formula see original document page 3</formula>其中g(shù)(X，力為坐標(biāo)(X，力上的灰度值，Th為灰度閾值；這時用質(zhì)心來表示目標(biāo)區(qū)域的位置<formula>formula see original document page 3</formula>力其中，S為目標(biāo)所在的區(qū)域；g",力為目標(biāo)成像在",力點的灰度，"，A) 是經(jīng)過圖像分割以后確定特征點所在區(qū)域并計算得到的質(zhì)心。
4、 如權(quán)利要求1所述的方法，其特征在于，所述的基于形狀的特征提 取是首先構(gòu)造一個合適的能量函數(shù)^W來定義這條曲線，其中v"""^表 示輪廓，表示從單位參量域"[W]到圖像表面的映射。通常^^由兩部分組 成，即內(nèi)部變形能量^和外部勢能^':內(nèi)部變形能量定義T 一條具有伸縮及彎曲的曲線WW ，即由變形而獲得的能量4-i、"Wkf+風(fēng)"卜力氣其中v的下標(biāo)表示對s的微分，式中 兩項分別控制主動輪廓的彈性和剛性；外1部勢能&'解釋了主動輪廓如何被吸引到顯著的圖像特征，= P(V("^ ，其中P( V)式定義為圖像平面上的標(biāo)量函數(shù)；對于該主動輪廓的理論模型使用Williams貪婪算法，把內(nèi)部能量分為 連續(xù)性能量、彎曲性能量，而外部能量分為圖像能量和約束能量； 貪婪算法把主動輪廓模型重寫為<formula>formula see original document page 4</formula>其中('o，i，…yv-i)表示蛇點標(biāo)號，"''表示蛇點及其8鄰域點，"，々，r^分別表示能量項的歸一化權(quán)值，用以調(diào)節(jié)各能量項在總能量中的比重。
5、如權(quán)利要求l所述的方法，其特征在于，所述的交互多模型IMM算 法包括如下步驟.-1)使用前一時刻的模式概率計算當(dāng)前混合概率D，2)濾波器重新初始化 ，=yw》,)3)模型條件濾波計算A;"=7V(x-/z(^2f); o，《4)模型更新概率計算//)、y^:(")'^5)狀態(tài)估計和協(xié)方差組合 S (,)(,)A = Z》(')(《)《。
6、如權(quán)利要求1所述的方法，其特征在于，所述的布式融合跟蹤算法如下1) 取時刻k二l的圖像數(shù)據(jù)；初始化相應(yīng)參數(shù)；2) 通過I畫得到每個濾波器輸出x;w及i,ot)， f("及i^t);3) 全局預(yù)測X-("= 1); , =l)j7 + 1);4) 融合跟蹤結(jié)果<formula>formula see original document page 5</formula> 5) 反饋;柳=岸)； 6) k=k+l，轉(zhuǎn)到步驟2)。
全文摘要
本發(fā)明公開了一種多光譜圖像傳感器融合的目標(biāo)跟蹤方法，該方法采用具有一定通用性的四層數(shù)據(jù)融合計算框架。該四級數(shù)據(jù)融合計算框架由下至上分別是多特征融合級、多模式融合級、多模型融合級和多傳感器融合級。多特征融合運用概率方法實現(xiàn)多個特征線索的綜合，保證不同環(huán)境下有足夠的特征信息來表示目標(biāo)；多模式融合運用分階段模式切換算法，以一定的加權(quán)系數(shù)聯(lián)合兩種相鄰的跟蹤模式，使模式之間平滑過渡，保證目標(biāo)的連續(xù)跟蹤；多模型融合運用交互多模型算法，解決了目標(biāo)不同運動模型之間的平穩(wěn)切換；多傳感器融合運用分布式融合跟蹤算法，取各傳感器之優(yōu)點，彌補(bǔ)相互之間的不足，使跟蹤更為魯棒和精確。
文檔編號H04N7/18GK101252677SQ20071001891
公開日2008年8月27日 申請日期2007年10月19日 優(yōu)先權(quán)日2007年10月19日
發(fā)明者平林江, 薛建儒, 鄭南寧, 鐘小品 申請人:西安交通大學(xué)