專利名稱：一種基于視頻監(jiān)控圖像自動判別道路交通狀態(tài)的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻檢測技術(shù)在交通領(lǐng)域的應(yīng)用，具體涉及一種基于視頻監(jiān)控圖像實時判別道路交通狀況的方法。

背景技術(shù)：
道路交通狀態(tài)判別是城市智能交通系統(tǒng)進(jìn)行路況信息發(fā)布和交通誘導(dǎo)的基礎(chǔ)。目前道路交通狀態(tài)判別主要還是基于浮動車數(shù)據(jù)進(jìn)行分析處理，輔以城市中大量的視頻監(jiān)控資源以人工觀測的手段對道路交通狀態(tài)進(jìn)行修正和補充。但是基于浮動車數(shù)據(jù)的交通狀態(tài)判別算法的準(zhǔn)確度與浮動車數(shù)量以及運營狀態(tài)有直接的關(guān)聯(lián)，故而無法達(dá)到很高的準(zhǔn)確度，而人工觀測視頻監(jiān)控的方法則又對觀測人有著極高的要求，存在判別依據(jù)過于主觀以及較高的漏報率。故而為了更有效的利用現(xiàn)有的視頻監(jiān)控資源，有必要將先進(jìn)的視頻檢測技術(shù)合理的應(yīng)用于我國交通領(lǐng)域。
視頻檢測技術(shù)也被稱為數(shù)字圖像處理技術(shù)，是結(jié)合視頻圖像和電腦化模式識別技術(shù)新興技術(shù)。該技術(shù)應(yīng)用于交通領(lǐng)域之后，可以通過視頻攝像機(jī)和計算機(jī)模仿人眼的功能，將連續(xù)的模擬圖像轉(zhuǎn)換為離散的數(shù)字圖像，在成熟的物理模型和數(shù)字模型的基礎(chǔ)上對圖像按一定的處理算法進(jìn)行分析，從而判別出道路的交通狀態(tài)。
視頻檢測技術(shù)在交通領(lǐng)域的應(yīng)用研究的發(fā)展歷史并不很長，1984年，美國的明尼蘇達(dá)大學(xué)首次開展了將計算機(jī)視覺應(yīng)用于高級交通管理的研究。1984～1989年，該大學(xué)在美國明尼蘇達(dá)州的交通管理部門的扶植下，做了進(jìn)一步的實驗研究，與此同時成立了ISS(ImageSensing System，INC.)公司，專門從事交通視頻技術(shù)的開發(fā)。在1987年，ISS公司設(shè)計出了第一臺原型機(jī)，此次設(shè)計首次驗證了視頻檢測技術(shù)在交通領(lǐng)域的應(yīng)用。1989年ISS公司開發(fā)出了第二代產(chǎn)品。在以后的幾年里，推出了一系列以AutoscopeTM為注冊商標(biāo)的交通視頻檢測產(chǎn)品，形成了一個較為成功的商業(yè)系統(tǒng)。AUTOSCOP系統(tǒng)具有實時檢測交通參數(shù)的能力，是國際上交通信息采集中最具競爭力的視頻檢測系統(tǒng)之一。AUTOSCOP可以裝在室外機(jī)柜里，接收多路由路邊攝像機(jī)傳來的視頻信號。用戶根據(jù)顯示的路面交通狀況圖像，利用鼠標(biāo)在屏幕上繪制虛擬“車輛檢測器”。系統(tǒng)一旦完成檢測器的設(shè)置，每當(dāng)車輛通過任何一個虛擬檢測器時，就會產(chǎn)生一個檢測信號。AUTOSCOPE處理器分析輸入的視頻圖像，產(chǎn)生所需的交通數(shù)據(jù)，例如流量、速度、占有率、車頭距離、車輛排隊長度以及車輛類型等。ISS公司對AUTOSCOPE技術(shù)不斷開發(fā)、改進(jìn)和完善，目前該公司的產(chǎn)品已成為業(yè)界的領(lǐng)頭羊。另外國外還有一些公司在這方面也從事了應(yīng)用研究和開發(fā)，也推出了各自成熟的系統(tǒng)級產(chǎn)品，如美國PEEK公司的VideoTrak-900，比利時的Traficon公司的推出的Monitor系列等。
視頻檢測技術(shù)在國內(nèi)的應(yīng)用研究起步較晚，伴隨著交通運輸?shù)陌l(fā)展，交通管理與控制的應(yīng)用需求在不斷增加，國內(nèi)有許多公司也在這方面作了許多努力，比如湖南天翼信息技術(shù)有限公司推出的“智能交通視頻圖像處理系統(tǒng)”，清華紫光開發(fā)的VS3001視頻檢測系統(tǒng)，廈門恒深智能軟件系統(tǒng)有限公司研制的Headsun SmartViewer-II視頻交通檢測器等等。這些產(chǎn)品大多停留在原型機(jī)的層次或?qū)崿F(xiàn)的功能不夠完善，在實際的推廣當(dāng)中效果并不明顯，還遠(yuǎn)遠(yuǎn)沒有達(dá)到實際應(yīng)用的要求，同國外產(chǎn)品相比還有相當(dāng)?shù)牟罹唷?br> 綜上，基于視頻監(jiān)控的道路交通狀態(tài)判別方面還有許多不足之處，主要體現(xiàn)在，目前的視頻檢測系統(tǒng)不僅檢測精度不高且仍停留在交通參數(shù)檢測的層面上，若要判別道路交通狀態(tài)還需進(jìn)一步對交通參數(shù)進(jìn)行分析處理，沒有充分發(fā)揮出視頻監(jiān)控的應(yīng)有的性能。


發(fā)明內(nèi)容
為了解決更加精確監(jiān)控判別道路交通狀況的問題，本發(fā)明提出一種基于視頻監(jiān)控圖像自動判別道路交通狀態(tài)的方法，包括如下步驟 A、獲取視頻監(jiān)控圖像； B、對于第一周期時間中的視頻監(jiān)控圖像，基于混合高斯模型建立視頻監(jiān)控圖像的時空域背景模型； C、計算當(dāng)前圖像與時空域背景模型的相似性，基于相似性提取前景信息； D、運用連通域blob分析方法提取前景信息中各連通區(qū)域的特征信息； E、利用連通域的距離和面積信息進(jìn)行車輛識別，若有車，保存車輛特征信息，轉(zhuǎn)步驟F；若無車，以當(dāng)前圖像更新背景模型，并輸出暢通，轉(zhuǎn)步驟J； F、以去除車輛信息的背景信息更新背景模型； G、在第一周期時間內(nèi)，基于已有目標(biāo)特征和當(dāng)前圖像的目標(biāo)特征的匹配結(jié)果建立特征辨識矩陣判斷目標(biāo)的運動狀態(tài)，若辨識發(fā)現(xiàn)出現(xiàn)新目標(biāo)，則建立新目標(biāo)信息并預(yù)測目標(biāo)形心進(jìn)行跟蹤，若發(fā)現(xiàn)目標(biāo)處于理想跟蹤狀態(tài)，則預(yù)測目標(biāo)形心進(jìn)行跟蹤，若目標(biāo)消失，則刪除目標(biāo)信息； H、計算不同目標(biāo)在第一周期時間內(nèi)的平均速度，計算圖像上所有車輛速度的平均值作為當(dāng)前道路的速度參數(shù)； I、根據(jù)設(shè)定好的速度閾值判斷道路交通狀態(tài)，速度參數(shù)小于所述閾值輸出擁堵，大于等于所述閾值輸出暢通； J、對輸出的擁堵信號次數(shù)計數(shù)，判斷第二周期時間是否結(jié)束，如果結(jié)束，則轉(zhuǎn)步驟K，否則轉(zhuǎn)步驟A； K、在第二周期時間內(nèi)，計算輸出擁堵的次數(shù)，如果輸出擁堵次數(shù)大于預(yù)定值，則提示監(jiān)控路段處于擁堵狀態(tài)； 其中，步驟D具體包括 D1、形態(tài)學(xué)操作去除前景信息中的噪點影響； D2、將目標(biāo)從像素級轉(zhuǎn)換到連通分量級，利用膨脹算子去除填補目標(biāo)區(qū)域的小孔，再將結(jié)果重新返回到初始前景點集上，以恢復(fù)前景圖像的固有邊緣； D3、統(tǒng)計圖像中連通域的數(shù)目并對各連通域標(biāo)號； D4、提取連通域的面積、周長、形心位置以及外接矩形信息。
其中，步驟B基于混合高斯模型建立視頻監(jiān)控圖像的時空域背景模型具體包括 B1、利用混合高斯背景建模法建立每個像素的時間域背景模型； B2、進(jìn)行高斯成分個數(shù)的自適應(yīng)選擇，具體包括 B21、初始化時，場景每個像素的混合高斯模型只設(shè)置一個高斯成分； B22、當(dāng)場景發(fā)生變化，像素的混合高斯模型不能與當(dāng)前像素值匹配時，如果該像素混合高斯模型中的高斯成分個數(shù)沒有達(dá)到設(shè)定的最大值，則自動增加一個以當(dāng)前值為均值的初始高斯成分，否則則用當(dāng)前像素值為均值的新高斯成分代替像素混合高斯模型中的末尾高斯成分； B23、在模型更新完成后，判斷每個像素的混合高斯模型中的最后一個高斯成分是否過期，如果過期則刪除 B3、通過時間域背景模型對場景的學(xué)習(xí)，已經(jīng)獲得了表示背景的一組樣本，直接統(tǒng)計這些表示背景的樣本在空間上的分布，作為像素的空間域背景模型。
其中，步驟E具體包括 E1、對搜索區(qū)域內(nèi)的連通域進(jìn)行初步篩選，將將Blob面積小于一定門限的Blob置于考慮范圍之外； E2、進(jìn)行區(qū)域聚合，基于形心位置、外接矩形的上下邊界條件將具有相似性的多個連通域聚合為一個車輛； E3、獲取聚合得到的車輛的面積、外接矩形特性、車輛的直方圖信息； E4、將獲得的車輛特征信息保存為目標(biāo)信息。
其中，步驟G還包括如下步驟 G11、判斷目標(biāo)是否出現(xiàn)分裂，如果是則執(zhí)行G12，否則跳出分裂觀測； G12、保持追蹤，將分裂的子目標(biāo)放入備用目標(biāo)信息列表，并保持更新和預(yù)測； G13、如果分裂一預(yù)定時間，確認(rèn)分裂刪除原目標(biāo)，將分裂子目標(biāo)放入目標(biāo)信息列表，且賦予新的標(biāo)記，進(jìn)行追蹤。
其中，步驟G還包括如下步驟 G21、判斷目標(biāo)是否出現(xiàn)合并，如果是，則保存目標(biāo)在合并前的圖像信息，然后將合并后的區(qū)域看作一個新的目標(biāo)，保持在合并期間的跟蹤； 622、當(dāng)目標(biāo)合并時間超過某一閾值，則確認(rèn)目標(biāo)合并，將其作為共同的運動體生成新目標(biāo)，并刪除模板和合并前的子目標(biāo)。
本發(fā)明的上述以及其它的目的、特征以及優(yōu)點將在結(jié)合顯示和描述本發(fā)明的具體實施例的附圖閱讀了以下的詳細(xì)說明后對于本領(lǐng)域的技術(shù)人員變得明確。



圖1是本發(fā)明實施例的方法整體流程圖； 圖2是基于混合高斯模型建立視頻監(jiān)控圖像的時空域背景模型的流程圖； 圖3是目標(biāo)特征匹配流程圖； 圖4是多目標(biāo)跟蹤處理流程圖； 圖5是目標(biāo)分裂狀態(tài)的跟蹤處理流程圖； 圖6是目標(biāo)融合狀態(tài)的跟蹤處理流程圖。

具體實施例方式 以下結(jié)合附圖詳細(xì)說明本發(fā)明的具體實施方式
。
本發(fā)明所述方法可以以嵌入交通監(jiān)控系統(tǒng)的軟件來實現(xiàn)，其具體方法流程如圖1所示。
Step0獲取視頻監(jiān)控圖像 Step1基于自適應(yīng)混合高斯模型建立視頻監(jiān)控圖像的時空域背景模型。
Step2采取基于決策融合的目標(biāo)檢測方法提取前景信息。
Step3運用Blob分析方法提取各Blob的特征信息。
Step4利用Blob的距離和面積信息進(jìn)行車輛識別，若有車，保存車輛特征信息，轉(zhuǎn)step5；若無車，轉(zhuǎn)step9。
step5以去除車輛信息的背景信息更新背景模型。
step6建立特征辨識矩陣判斷目標(biāo)的運動狀態(tài)，再針對不同運動狀態(tài)采取相應(yīng)的跟蹤策略。
Step7根據(jù)跟蹤保存的車輛信息計算車輛速度，進(jìn)而計算道路速度參數(shù)。
Step8根據(jù)設(shè)定好的速度閾值判斷道路交通狀態(tài)，小于所述閾值輸出擁堵；大于等于所述閾值輸出暢通。
Step9以當(dāng)前圖像更新背景模型，并輸出暢通。
上述流程以一秒為周期循環(huán)執(zhí)行，每秒鐘輸出一個交通狀態(tài)的判定值。在每秒鐘輸出的交通狀態(tài)的基礎(chǔ)上，方法每30秒輸出一個明確的交通狀態(tài)信號。若在30秒內(nèi)后臺有累計超過15次的擁堵狀態(tài)值，則輸出一個交通擁堵狀態(tài)信號，代表這30秒內(nèi)該觀測點交通擁堵；否則輸出一個交通暢通狀態(tài)信號。
以下針對各步驟的具體實施方式
做進(jìn)一步的詳細(xì)說明。
其中，步驟1中采用基于自適應(yīng)的混合高斯模型的時空背景建模法來對視頻監(jiān)控圖像進(jìn)行背景建模。
基于自適應(yīng)混合高斯模型的時空背景建模法在利用混合高斯模型學(xué)習(xí)了每個像素的時間域背景模型之后，使用非參數(shù)密度估計方法構(gòu)造了基于像素的空間域背景模型，從而有效地融合了每個像素在時空域上的分布信息；同時利用混合高斯模型的高斯成分個數(shù)的自適應(yīng)選擇策略，改善了時空背景的建模效率。
(1)混合高斯模型 混合高斯背景建模法對每個像素采用多個高斯模型進(jìn)行混合表示。設(shè)用來描述每個像素顏色分布的高斯分布共有K個，便可以K個高斯成分組成的混合高斯模型表示像素在時間域上的概率分布模型。以圖像中的像素j為例，在t時刻取值為χj的概率為 式中ωj，ti表示在t時刻像素j的混合高斯模型中第i個高斯成分的權(quán)重， μj，ti表示第i個高斯成分的均值；

表示第i個高斯成分的協(xié)方差，其中σ表示第i個高斯成分的標(biāo)準(zhǔn)差，I表示單位矩陣；η為高斯概率密度函數(shù)，函數(shù)表達(dá)式為 其中d為χj的維數(shù)。
在視頻中場景變化時，每個像素的混合高斯模型都會被不斷地學(xué)習(xí)更新。其具體的更新步驟為首先每個場景的混合高斯模型中的K個高斯成分都會按照ωj，ti/σj，ti由大到小的順序進(jìn)行排列，然后用像素的當(dāng)前值χj與混合高斯模型中的K個成分逐一比較，若χj與第i個高斯成分的均值μj，ti的差小于δ倍(通常δ設(shè)為2.5～3.5)的該高斯成分的標(biāo)準(zhǔn)差σj，ti，則該高斯成分將被χi更新，反之則保持不變。更新方程優(yōu)選如下 其中，α是模型的學(xué)習(xí)率，當(dāng)?shù)趇個高斯成分與χj匹配時，Mj，ti否則為0；如果χj與像素j的混合高斯模型中的K個成分都不匹配，則該像素混合高斯模型中排在最后的高斯成分被新的高斯成分取代，新的高斯成分的均值為χj，初始標(biāo)準(zhǔn)差及權(quán)重設(shè)為σinit和ωinit。在更新完成后，各高斯成分的權(quán)重要進(jìn)行歸一化處理，保證

在判斷背景前景時，往往按每個高斯成分的ωj，ti/σj，ti由大到小進(jìn)行排序，取前Bj個高斯成分作為背景分布。Bj的計算公式如下 閾值T度量了背景高斯成分在像素的整個概率分布中所占的最小比例。
(2)高斯成分個數(shù)的自適應(yīng)選擇 實際場景中，不同區(qū)域背景的狀態(tài)個數(shù)不同，隨著場景變化，同一區(qū)域的狀態(tài)個數(shù)也會改變，因此若所有像素都保持固定不變的高斯成分個數(shù)，往往會造成系統(tǒng)運算資源的大量浪費。
由混合高斯模型的更新方程可以看出，長時間與場景匹配的高斯成分的權(quán)重會越來越大，而不匹配的高斯成分權(quán)重會越來越小，從而逐漸落入表示前景的部分，當(dāng)某個高斯成分的去權(quán)重ωj，ti小于初始權(quán)重ωinit，且該高斯成分的ωj，ti/σj，ti小于初始的ωinit/σinit時，經(jīng)過排序，該高斯成分將會被排在初始化的成分之后。繼續(xù)保留該高斯成分，將使得在此出現(xiàn)與這個高斯成分匹配的場景時，利用該高斯成分學(xué)習(xí)此場景比用一個新的高斯成分學(xué)習(xí)此場景所花費的時間更長，于是可將這樣的高斯成分稱為“過期的”高斯成分，應(yīng)該被刪除。過期高斯成分的判別公式如下 且 在上述分析的基礎(chǔ)上，可以給出如下的高斯成分個數(shù)自適應(yīng)選擇策略 a、初始化時，場景每個像素的混合高斯模型只設(shè)置一個高斯成分； b、當(dāng)場景發(fā)生變化，某個像素的混合高斯模型不能與當(dāng)前像素值匹配時，如果該像素混合高斯模型中的高斯成分個數(shù)沒有達(dá)到設(shè)定的最大值(通常設(shè)為3～5)，則自動增加一個以當(dāng)前值為均值的初始高斯成分，否則則用當(dāng)前像素值為均值的新高斯成分代替像素混合高斯模型中的末尾高斯成分； c、在模型更新完成后，判斷每個像素的混合高斯模型中的最后一個高斯成分是否過期，如果過期則刪除。
(3)時空域背景模型 時間域背景模型對場景學(xué)習(xí)之后，已經(jīng)獲得了每個像素的混合高斯模型中表示背景的前Bj個高斯成分，這些高斯成分的均值對應(yīng)著背景的狀態(tài)，權(quán)重表示該背景狀態(tài)出現(xiàn)的相對頻率。即通過時間域背景模型對場景的學(xué)習(xí)，已經(jīng)獲得了表示背景的一組樣本，因而可以直接統(tǒng)計這些表示背景的樣本在空間上的分布，作為像素的空間域背景模型。
由于每個背景高斯成分在時間上出現(xiàn)的頻率不一樣，因此在統(tǒng)計像素的空間域背景模型時，需要用背景高斯成分的權(quán)重對相應(yīng)的樣本進(jìn)行加權(quán)。
這里利用顏色直方圖來統(tǒng)計每個像素鄰域內(nèi)背景高斯成分的分布。顏色直方圖是一種簡單的非參數(shù)概率密度估計方法，具有旋轉(zhuǎn)及平移不變性，用于統(tǒng)計像素鄰域內(nèi)的背景分布能夠較好地克服背景局部運動的干擾。設(shè)像素j用顏色直方圖表示的空間域背景模型為 q(xj)＝{qv(xj)}v＝1，…，m 其中，m表示直方圖區(qū)間的個數(shù)；xjN表示以像素j為中心的N×N鄰域；Bj為該鄰域內(nèi)第ι個像素的混合高斯模型中背景高斯成分的個數(shù)；ωj，ti為像素ι的第i個高斯成分的權(quán)重；b(μl，ti)表示均值為μj，ti的高斯成分對應(yīng)的直方圖顏色區(qū)間；v為相應(yīng)的顏色區(qū)間；δ為Kronecker函數(shù)；Cq為歸一化系數(shù)。因為ωj，ti表示了相應(yīng)的背景狀態(tài)在時間上出現(xiàn)的相對頻率，因而使得空間域背景模型也同時反映了時間域的分布信息，用一個直方圖即可表示時間上動態(tài)變化的背景，因而稱為時空域背景模型。
由于圖像中獲得的像素值通常會受到噪聲的干擾，如果直接利用當(dāng)前像素值作為樣本統(tǒng)計每個像素鄰域內(nèi)的顏色直方圖，會使顏色直方圖易受噪聲的影響。因此，當(dāng)像素ι的當(dāng)前值χι與混合高斯模型的某個高斯成分匹配時，則以該高斯成分作為當(dāng)前空間顏色直方圖的統(tǒng)計樣本，否則以該像素的當(dāng)前值作為統(tǒng)計樣本，于是可得 其中，Kι表示像素ι的混合高斯模型中高斯成分的個數(shù)；Cp為歸一化系數(shù)；當(dāng)?shù)讦蓚€高斯成分與χι匹配時，Ml，ti為1，否則為0。
在進(jìn)行背景減除時，需要判斷在當(dāng)前幀中像素的空間分布是否與其時空域背景模型相似，即判斷兩個直方圖之間的相似性。這里采用直方圖相交法，計算兩個直方圖共有的部分。像素j的時空域背景模型與當(dāng)前場景的相似性ρ表示為 建立時空域背景模型后，本實施例步驟2采取以下這種基于決策融合的目標(biāo)檢測方法來提取前景信息獲得前景目標(biāo)輪廓，其主要思想是先利用時空域背景模型進(jìn)行粗尺度判斷，再利用時間域背景模型對進(jìn)行細(xì)尺度判斷。
當(dāng)像素的相鄰域與其背景模型極為相似時，即ρ＞τ1時(τ1為判定當(dāng)前場景為背景的相似性度量的下界)，可以認(rèn)為該像素鄰域為背景；當(dāng)該像素的當(dāng)前鄰域與其時空域背景模型極為不相似時，即ρ＞τ2時(τ2為判定當(dāng)前場景為前景的相似性度量的上界)，則可認(rèn)為該像素鄰域為前景；當(dāng)時空域背景模型不能準(zhǔn)確判斷像素歸屬時，即τ1≤ρ≤τ2時，可以利用時間域背景模型對該像素進(jìn)行細(xì)尺度判斷，當(dāng)該像素的混合高斯模型中存在與當(dāng)前值匹配的背景高斯成分時，則像素為背景，否則為前景。整個流程的決策公式如下 如果τ1≤ρ≤τ2
否則 其中，D(χj)為0表示像素j為背景，D(χj)為1表示像素j為前景。
整個前景提取過程是根據(jù)像素在時間域和空間域上的分布對每個像素進(jìn)行檢測的，因而可以消除傳統(tǒng)背景模型對非平穩(wěn)變化比較敏感的缺點，并能保持較好的前景目標(biāo)輪廓。
本實施例步驟3采用Blog分析來基于前景信息提取前景目標(biāo)的相關(guān)信息。Blob分析是對圖像中相同像素的連通域進(jìn)行特征分析，該連通域被稱為Blob。Blob分析技術(shù)在此應(yīng)用于在時空域背景模型的基礎(chǔ)上所提取的前景目標(biāo)，對其進(jìn)行分析，主要操作步驟如下 (1)形態(tài)學(xué)操作 形態(tài)學(xué)操作的目的是去除噪聲點的影響，可以利用腐蝕算子去除孤立的噪聲前景點。但這種處理也會影響目標(biāo)原本的邊緣和形狀，特別是目標(biāo)本身尺度較小的時候，它的邊緣細(xì)節(jié)很容易被去噪處理破壞。
(2)連通性分析 將目標(biāo)從像素級轉(zhuǎn)換到連通分量級，利用膨脹算子去除填補目標(biāo)區(qū)域的小孔。膨脹運算可以補償目標(biāo)被去噪處理破壞的部分信息。我們將去噪后連通檢測的結(jié)果重新返回到初始前景點集上，以恢復(fù)其固有的邊緣。這種分割算法既保持了目標(biāo)的完整性，避免了噪聲前景點的影響，又保留了目標(biāo)的邊緣細(xì)節(jié)部分。
(3)Blob統(tǒng)計 Blob統(tǒng)計階段就是統(tǒng)計出圖像中滿足條件的Blob的數(shù)目，并對畫面中每個Blob進(jìn)行標(biāo)號 (4)Blob特征信息提取 這一階段將提取Blob所有所需的信息，也是最為耗時的部分，在此采用Blob線處理方法，該方法可以有效的提高計算效率，實現(xiàn)實時處理的要求。Blob線處理方法可在連通區(qū)域的掃描過程中，同時獲取連通區(qū)域的幾何特征，包括連通區(qū)域的面積、周長、形心位置、外接矩陣等。
在衡量目標(biāo)區(qū)域大小時，目標(biāo)區(qū)域面積參數(shù)A(·)可以作為一種度量尺度，對于區(qū)域R(x，y)，A(·)定義為該區(qū)域中像素數(shù)目。
形心在目標(biāo)跟蹤階段是一個很重要的參量，對區(qū)域R(x，y)來說，其形心(x0，y0)的計算式為 x0＝M10(R(x，y))/M00(R(x，y)) y0＝M01(R(x，y))/M00(R(x，y)) 其中矩 依據(jù)此式不僅可以得到形心坐標(biāo)，如果需要還可得到更高階的矩。
除了上述信息外，還可提取Blob的邊界信息，包括邊界點的輪廓以及上下左右各個極值點的位置，利用邊界的極值點還可進(jìn)一步確定Blob的外接矩形。
極值點的確定算法為 這些信息都存儲在各個Blob的信息結(jié)構(gòu)體中。
步驟4中，在得到圖像中的Blob信息之后，需要根據(jù)各個Blob的特性將同一輛車的Blob聚合起來，完成對一輛整車信息的提取，從而實現(xiàn)從Blob信息到車輛信息的轉(zhuǎn)換。
進(jìn)行區(qū)域合并的主要依據(jù)是Blob的距離和面積信息。在合并過程中，首先對搜索區(qū)域內(nèi)的Blob進(jìn)行初步的篩選，將Blob面積小于一定門限的Blob置于考慮范圍之外，從而濾除這些噪聲Blob的干擾，這一步稱為Blob的面積濾波器。然后進(jìn)行區(qū)域聚合，其依據(jù)包括形心的位置，外接矩形的上下邊界條件等。通過這些條件將滿足條件的具有相似性的多個Blob聚合為一個車輛，同時通過Blob信息得到車輛信息枛大小、外接矩形特性、車輛的直方圖等。最后將這些信息組成的車輛特征存入目標(biāo)信息的結(jié)構(gòu)體中。
步驟6建立特征辨識矩陣判斷目標(biāo)的運動狀態(tài)，再針對不同運動狀態(tài)采取相應(yīng)的跟蹤策略。
1)建立特征辨識矩陣 特征辨識矩陣就是利用已有目標(biāo)特征和當(dāng)前圖像的目標(biāo)特征的匹配結(jié)果建立的矩陣。設(shè)第k幀的目標(biāo)數(shù)目為N，第K+1幀的目標(biāo)數(shù)目為P，設(shè)第k幀目標(biāo)集為X＝{Xi|i＝1，2，…，N}，第K+1幀目標(biāo)集為Y＝{Yj|j＝1，2，…，P}，則Xi和Yj若干個特征的匹配結(jié)果就是特征辨識矩陣的元素，稱為辨識元素mij。由辨識元素mij組成的N×P矩陣即為特征辨識矩陣M。
多個目標(biāo)的運動狀態(tài)主要可分為以下五類新目標(biāo)產(chǎn)生、理想跟蹤狀態(tài)、目標(biāo)分裂、目標(biāo)融合、目標(biāo)消失。多目標(biāo)跟蹤場景中，運動狀態(tài)也就在五個狀態(tài)之間相互轉(zhuǎn)換。設(shè)目標(biāo)的狀態(tài)空間為S＝{Si|i＝0，1，2，3，4}，分別代表以上五種狀態(tài)。
這里采用性能相對穩(wěn)定的目標(biāo)面積參數(shù)A，形心位置參數(shù)C以及目標(biāo)與邊界的距離參數(shù)三個特征建立特征辨識矩陣，并通過對辨識矩陣行和列的分析推斷各目標(biāo)運動狀態(tài)。
mij是運動狀態(tài)識別算法的輸入?yún)?shù)，代表這三維幾何特征匹配的結(jié)果，其取值與兩個目標(biāo)集的三個特征匹配函數(shù)fA(i，j)、fC(i，j)、fD(i，j)關(guān)系密切。這三個特征匹配函數(shù)的代表著兩個目標(biāo)集的匹配結(jié)果，其具體表達(dá)式如下 fA(i，j)＝{λA|if(|A(Xi)-A(Yj)|≤HA)，λA＝1，elseλA＝0}
fD(i，j)＝{λD|if(|D(Xi)|≤HD)，λD＝1，elseλD＝0} 其中A(·)、C(·)、

D(·)分別表示目標(biāo)的面積、形心、預(yù)測形心、外接矩形離圖像邊緣的距離；HA、HC、HD分別表示各特征匹配的有限匹配門限，一般HA取目標(biāo)面積較小值的十分之一，HC取目標(biāo)外接矩形寬的一半，HD取5；d表示前一幀目標(biāo)預(yù)測形心與當(dāng)前幀目標(biāo)形心之間的距離，d越小，重疊程度越高。
由這三個特征可以產(chǎn)生四種有意義的匹配情況，如下所示 由上式計算得到mij后，即可建立特征辨識矩陣M。
(2)劃分運動目標(biāo)狀態(tài) 對于目標(biāo)狀態(tài)空間S來說，其特征辨識算法如下 新目標(biāo)產(chǎn)生狀態(tài)S0新目標(biāo)產(chǎn)生意味著當(dāng)前提取的新目標(biāo)不與任何已有的目標(biāo)特征吻合，因此，S0對應(yīng)的識別算法為M滿足

j0使得 或 ，其中i＝1，2，…，N，i≠i0，j＝1，2，…，P，j≠j0。
目標(biāo)分裂狀態(tài)S2目標(biāo)分裂有兩種可能，一種是目標(biāo)真實的分裂，一種則是目標(biāo)被背景部分遮擋所致，兩種分裂都會導(dǎo)致當(dāng)前幀有多個目標(biāo)與前一幀同一目標(biāo)相對應(yīng)，因此S2對應(yīng)的識別算法為M滿足

jt使得 其中t＝1，2，…h(huán)，h當(dāng)前幀為與前一幀某目標(biāo)匹配的目標(biāo)數(shù)目，i＝1，2，…，N，i≠i0，j＝1，2，…，P，j≠jt。
目標(biāo)消失狀態(tài)S4目標(biāo)消失與目標(biāo)產(chǎn)生類似，場景中沒有任何目標(biāo)與前一幀的目標(biāo)相匹配，因此，S4對應(yīng)的識別算法為M滿足

使得

其中j＝1，2，…，P。
復(fù)雜遮擋，即前一幀m個目標(biāo)對應(yīng)后一幀n個目標(biāo)的情況要通過計算形心匹配程度，轉(zhuǎn)化為以上五種對應(yīng)，從而避免歧義，更好地判斷目標(biāo)的運動狀態(tài)。
(3)基于運動狀態(tài)分析的多目標(biāo)跟蹤 運動目標(biāo)的跟蹤、調(diào)整與其所處的運動狀態(tài)密切相關(guān)，不同運動狀態(tài)對應(yīng)不同的跟蹤處理和預(yù)測策略，才能更可靠的保持場景中多目標(biāo)的跟蹤。
處于新目標(biāo)產(chǎn)生狀態(tài)時，需要判斷該目標(biāo)是否處于背景中可進(jìn)出車輛的位置。如果在，則認(rèn)為其為新的目標(biāo)，生成一個新的目標(biāo)信息結(jié)構(gòu)體(A，C，R，D)，分別表示車輛的面積、形心、外接矩形以及其與邊界的位置特征，然后初始化該目標(biāo)的預(yù)測信息，并將目標(biāo)放入目標(biāo)信息列表。當(dāng)該目標(biāo)被穩(wěn)定跟蹤超過了T幀則確認(rèn)目標(biāo)，賦予其新的標(biāo)記。若目標(biāo)出現(xiàn)位置不符合，則判斷其為場景中先前出現(xiàn)但被背景遮擋的目標(biāo)或周圍其他目標(biāo)的部分分裂塊，或者為噪聲。
理想跟蹤最為普遍，一旦判斷為該狀態(tài)，則可利用當(dāng)前目標(biāo)特征更新前一幀目標(biāo)特征。以面積參數(shù)為例，其更新公式為
其中



分別表示目標(biāo)i0的在第k+1幀的面積，第K幀的預(yù)測面積以及其在K+1幀對應(yīng)的面積。α為更新因子，控制更新的快慢，在mij＝0時，α可以取值稍大，在mij＝1時，則需減小取值，減緩更新。面積的預(yù)測采用平均變化法。而形心和與邊界距離的預(yù)測則采用Kalman濾波法。
目標(biāo)分裂狀態(tài)需要對其中的兩類狀態(tài)進(jìn)一步予以判別。真正的目標(biāo)分裂，分開趨勢會逐漸加大，面積和外接矩形會發(fā)生明顯變化，且此分裂是持續(xù)穩(wěn)定的。而由于目標(biāo)被背景遮擋而引起的分裂，趨勢不會持續(xù)增加，面積和外接矩形也不會明顯增大，分裂不穩(wěn)定。判別時，首先要合并K+1幀的多個目標(biāo)，計算合并后區(qū)域的面積和外接矩形，若面積小于K幀的目標(biāo)面積，且外接矩形無明顯擴(kuò)張，則為背景遮擋，此時，利用合并區(qū)域的特征更新目標(biāo)信息，更新和預(yù)測方法與理想跟蹤狀態(tài)一致。當(dāng)合并后的外接矩形明顯擴(kuò)大，且目標(biāo)形心之間距離隨幀變大時，則目標(biāo)可能分裂，此時，一方面保持跟蹤，一方面將分裂的子目標(biāo)放入備用目標(biāo)信息列表，并在保持更新和預(yù)測，當(dāng)持續(xù)分裂一定時間或分開距離超過某一閾值時，確認(rèn)分裂，刪除原目標(biāo)，將分裂子目標(biāo)放入目標(biāo)信息列表，且賦予新的標(biāo)記。
目標(biāo)融合狀態(tài)需要為合并前的子目標(biāo)建立模板，即保存目標(biāo)在合并前的圖像信息，然后將合并后的區(qū)域看作一個新的目標(biāo)，保持在合并期間的跟蹤。合并結(jié)束后，利用合并前的模板信息與各個目標(biāo)信息進(jìn)行比較，從而將合并前后的目標(biāo)對應(yīng)起來。當(dāng)目標(biāo)合并時間超過某一閾值，則確認(rèn)目標(biāo)合并，將其作為共同的運動體生成新目標(biāo)，并刪除模板和合并前的子目標(biāo)。
目標(biāo)消失狀態(tài)也有兩種情況，當(dāng)mij＝2時，目標(biāo)處于圖像邊緣或其他目標(biāo)可以進(jìn)出的位置，因此為正常消失，此時保留其信息和最后出現(xiàn)的位置，當(dāng)消失時間超過某一閾值，則確認(rèn)目標(biāo)消失，將其從目標(biāo)信息列表中刪除。當(dāng)mij＝3時，目標(biāo)為非正常消失，應(yīng)該是被背景完全遮擋了，此時保持目標(biāo)的信息并減緩運動預(yù)測速度，在目標(biāo)重新出現(xiàn)時，恢復(fù)目標(biāo)標(biāo)記，更新目標(biāo)信息，若目標(biāo)長時間非正常消失，則記錄其信息并中斷對其的跟蹤。
步驟7中在目標(biāo)跟蹤的基礎(chǔ)上可根據(jù)同一個車輛目標(biāo)記錄下來的信息，推出某段時間內(nèi)的車輛位移，進(jìn)而可以計算出該車輛的速度。圖像上所以車輛速度的平均值即為當(dāng)前道路的速度參數(shù)，設(shè)定閾值之后即可判斷擁堵和暢通，該閾值可調(diào)整。
通過本發(fā)明的方法能夠基于實時獲取的視頻監(jiān)控圖像自動判別監(jiān)控路段的交通狀況，利用交通管理部門已有的視頻監(jiān)控資源，從背景建模、前景提取、車輛識別、多目標(biāo)跟蹤等技術(shù)層面入手，對視頻監(jiān)控錄像進(jìn)行詳細(xì)的分類分析，最終通過設(shè)定相應(yīng)的參數(shù)值便可對安裝有監(jiān)控攝像頭的道路交通狀態(tài)進(jìn)行判別。本發(fā)明道路交通狀態(tài)的判別準(zhǔn)確率在90％以上。一旦判別出擁堵，即可誘導(dǎo)車輛繞道，從而減少道路擁堵時間，有利于改善城市交通環(huán)境。本發(fā)明中采用的方法和技術(shù)均可通過軟件實現(xiàn)且運行條件容易滿足，易于在全國中大型城市中推廣應(yīng)用。
權(quán)利要求
1.一種基于視頻監(jiān)控圖像自動判別道路交通狀態(tài)的方法，包括如下步驟
A、獲取視頻監(jiān)控圖像；
B、對于第一周期時間中的視頻監(jiān)控圖像，基于混合高斯模型建立視頻監(jiān)控圖像的時空域背景模型；
C、計算當(dāng)前圖像與時空域背景模型的相似性，基于相似性提取前景信息；
D、運用連通域blob分析方法提取前景信息中各連通區(qū)域的特征信息；
E、利用連通域的距離和面積信息進(jìn)行車輛識別，若有車，保存車輛特征信息，轉(zhuǎn)步驟F；若無車，以當(dāng)前圖像更新背景模型，并輸出暢通，轉(zhuǎn)步驟J；
F、以去除車輛信息的背景信息更新背景模型；
G、在第一周期時間內(nèi)，基于已有目標(biāo)特征和當(dāng)前圖像的目標(biāo)特征的匹配結(jié)果建立特征辨識矩陣判斷目標(biāo)的運動狀態(tài)，若辨識發(fā)現(xiàn)出現(xiàn)新目標(biāo)，則建立新目標(biāo)信息并預(yù)測目標(biāo)形心進(jìn)行跟蹤，若發(fā)現(xiàn)目標(biāo)處于理想跟蹤狀態(tài)，則預(yù)測目標(biāo)形心進(jìn)行跟蹤，若目標(biāo)消失，則刪除目標(biāo)信息；
H、計算不同目標(biāo)在第一周期時間內(nèi)的平均速度，計算圖像上所有車輛速度的平均值作為當(dāng)前道路的速度參數(shù)；
I、根據(jù)設(shè)定好的速度閾值判斷道路交通狀態(tài)，速度參數(shù)小于所述閾值輸出擁堵，大于等于所述閾值輸出暢通；
J、對輸出的擁堵信號次數(shù)計數(shù)，判斷第二周期時間是否結(jié)束，如果結(jié)束，則轉(zhuǎn)步驟K，否則轉(zhuǎn)步驟A；
K、在第二周期時間內(nèi)，計算輸出擁堵的次數(shù)，如果輸出擁堵次數(shù)大于預(yù)定值，則提示監(jiān)控路段處于擁堵狀態(tài)；
其中，步驟D具體包括
D1、形態(tài)學(xué)操作去除前景信息中的噪點影響；
D2、將目標(biāo)從像素級轉(zhuǎn)換到連通分量級，利用膨脹算子去除填補目標(biāo)區(qū)域的小孔，再將結(jié)果重新返回到初始前景點集上，以恢復(fù)前景圖像的固有邊緣；
D3、統(tǒng)計圖像中連通域的數(shù)目并對各連通域標(biāo)號；
D4、提取連通域的面積、周長、形心位置以及外接矩形信息。
2.如權(quán)利要求1所述的方法，其特征在于步驟B基于混合高斯模型建立視頻監(jiān)控圖像的時空域背景模型具體包括
B1、利用混合高斯背景建模法建立每個像素的時間域背景模型；
B2、進(jìn)行高斯成分個數(shù)的自適應(yīng)選擇，具體包括
B21、初始化時，場景每個像素的混合高斯模型只設(shè)置一個高斯成分；
B22、當(dāng)場景發(fā)生變化，像素的混合高斯模型不能與當(dāng)前像素值匹配時，如果該像素混合高斯模型中的高斯成分個數(shù)沒有達(dá)到設(shè)定的最大值，則自動增加一個以當(dāng)前值為均值的初始高斯成分，否則則用當(dāng)前像素值為均值的新高斯成分代替像素混合高斯模型中的末尾高斯成分；
B23、在模型更新完成后，判斷每個像素的混合高斯模型中的最后一個高斯成分是否過期，如果過期則刪除
B3、通過時間域背景模型對場景的學(xué)習(xí)，已經(jīng)獲得了表示背景的一組樣本，直接統(tǒng)計這些表示背景的樣本在空間上的分布，作為像素的空間域背景模型。
3.如權(quán)利要求2所述的方法，其特征在于步驟E具體包括
E1、對搜索區(qū)域內(nèi)的連通域進(jìn)行初步篩選，將將Blob面積小于一定門限的Blob置于考慮范圍之外；
E2、進(jìn)行區(qū)域聚合，基于形心位置、外接矩形的上下邊界條件將具有相似性的多個連通域聚合為一個車輛；
E3、獲取聚合得到的車輛的面積、外接矩形特性、車輛的直方圖信息；
E4、將獲得的車輛特征信息保存為目標(biāo)信息。
4.如權(quán)利要求3所述的方法，其特征在于，步驟G還包括如下步驟
G11、判斷目標(biāo)是否出現(xiàn)分裂，如果是則執(zhí)行G12，否則跳出分裂觀測；
G12、保持追蹤，將分裂的子目標(biāo)放入備用目標(biāo)信息列表，并保持更新和預(yù)測；
G13、如果分裂一預(yù)定時間，確認(rèn)分裂刪除原目標(biāo)，將分裂子目標(biāo)放入目標(biāo)信息列表，且賦予新的標(biāo)記，進(jìn)行追蹤。
5.如權(quán)利要求3所述的方法，其特征在于，步驟G還包括如下步驟
G21、判斷目標(biāo)是否出現(xiàn)合并，如果是，則保存目標(biāo)在合并前的圖像信息，然后將合并后的區(qū)域看作一個新的目標(biāo)，保持在合并期間的跟蹤；
G22、當(dāng)目標(biāo)合并時間超過某一閾值，則確認(rèn)目標(biāo)合并，將其作為共同的運動體生成新目標(biāo)，并刪除模板和合并前的子目標(biāo)。
全文摘要
本發(fā)明涉及一種基于視頻監(jiān)控圖像自動判別道路交通狀態(tài)的方法，該方法從背景建模、前景提取、車輛識別、多目標(biāo)跟蹤等技術(shù)層面入手，對視頻監(jiān)控錄像進(jìn)行詳細(xì)的分類分析，最終通過設(shè)定相應(yīng)的參數(shù)值便可對安裝有監(jiān)控攝像頭的道路交通狀態(tài)進(jìn)行判別，大大提高了交通狀況自動識別的精確度。
文檔編號H04N7/18GK101729872SQ20091031122
公開日2010年6月9日 申請日期2009年12月11日 優(yōu)先權(quán)日2009年12月11日
發(fā)明者儲浩, 李建平 申請人:南京城際在線信息技術(shù)有限公司