專利名稱：對背景區(qū)域和前景區(qū)域進(jìn)行建模的方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及圖像處理，更具體地說，本發(fā)明涉及在圖像序列中檢測前景。
背景技術(shù)：
在例如監(jiān)視、跟蹤和識別應(yīng)用的許多計算機視覺應(yīng)用中，必要的第一步是檢測場景中的前景對象。典型地，通過如圖1A所示的背景相減方法100來完成這一步驟。在120中處理由場景獲得的輸入圖像序列110，以產(chǎn)生背景圖像130。隨后在140中從圖像110中減去背景圖像，以產(chǎn)生前景圖像150。
現(xiàn)有技術(shù)的前景檢測方法或者關(guān)于場景的組成作出嚴(yán)格的假設(shè)，或者不能夠處理突發(fā)的照明改變，或者在計算上復(fù)雜且耗費時間。
一般可將現(xiàn)有技術(shù)的前景檢測方法分類為單層和多層。單層方法開發(fā)出一種基于過去觀測結(jié)果的單動態(tài)模型。
構(gòu)建單層背景圖像的最簡單的方法是測量像素強度的均值或方差?？稍诿總€(RGB)通道的基礎(chǔ)上測量所述強度，以表征彩色變化。隨后，可將所述強度用作閾值，以檢測前景區(qū)域。然而，這樣的進(jìn)行平均的操作通常產(chǎn)生“重影”區(qū)域，所述重影區(qū)域既不是真實背景，也不是真實前景。
一種方法用高斯函數(shù)和alpha混合來對背景像素的統(tǒng)計分布進(jìn)行建模，參見C.R.Wren，A.Azarbayejani，T.J.Darrell和A.P.Pentland“PfinderReal-time tracking of the human body”，PAMI，19(7)，pp.780-785，1997年7月。使用預(yù)置的混合權(quán)重α以如下的方式根據(jù)當(dāng)前圖像It來更新背景圖像BtBt＝(1-α)Bt-1+αIt.
混合權(quán)重α調(diào)整背景應(yīng)該以多快的速度來與當(dāng)前圖像進(jìn)行混合。這種進(jìn)行平均的方法對混合權(quán)重的選擇非常敏感。取決于α的值，會將前景圖像包含在背景圖像中，或者不適應(yīng)照明改變。
可選擇的“投票”方法基于出現(xiàn)的頻率來選擇強度值。這種“投票”方法比進(jìn)行平均的方法更具優(yōu)點。它不會模糊背景并且允許突然的照明改變。投票方法的主要缺點是它在計算上的復(fù)雜性?？蓱?yīng)用量化以減少候選值的數(shù)量和操作的數(shù)量。然而，量化降低了將前景從背景分離的能力。
卡爾曼(Kalman)濾波器可用于背景檢測，參見K.Karmann，A.Brand，“Time-varing image processing and moving objectrecognition”.Elsevier Science Publish.，1990，C.Ridder，O.Munkelt和H.Kirchner，“Adaptive background estimation and foregrounddetection using Kalman filtering，”Proc.ICAM，1995，以及K.Toyama，J.Krumm，B.Brumitt，B.Meyers，“WallflowerPrinciples andPractice of Background Maintenance，”Proc.of Int’l Conf.onComputer Vision，pp.255-261，1999.由J.Zhong和S.Sclaroff在“Segmenting foreground objects from a dynamic，texturedbackground via a robust Kalman filter，”Proc.of IEEE Int’l Conf.onComputer Vision，pp.44-50，2003中描述了直接操作于數(shù)據(jù)子空間上的卡爾曼濾波器的形式。
一種類似的自回歸模型獲得動態(tài)場景的屬性，參見A.Monnet，A.Mittal，N.Paragios和V.Ramesh，“Background modeling andsubtraction of dynamic scenes，”Proc.of IEEE Int’l Conf.on ComputerVision，pp.1305-1312，2003。
所述卡爾曼濾波器為離散時間過程的狀態(tài)提供最佳估計，例如背景的強度，所述離散時間過程遵守線性隨機差分方程?？稍诿總€時間步進(jìn)改變卡爾曼濾波器的各種參數(shù)，諸如轉(zhuǎn)移矩陣、過程噪聲協(xié)方差和測量噪聲協(xié)方差。通過使用更大的協(xié)方差值，背景更加快速地適應(yīng)照明改變。然而，所述濾波器變得對場景中的噪聲和對象更加敏感?？柭鼮V波器的另一缺點是它區(qū)分多峰(multimodal)分布的能力，所述多峰分布即運動的樹葉或草、或者是水面上的波?？柭鼮V波器在存在較大的非線性的情況下性能較差。
另一種方法用高斯分布函數(shù)的混合來對圖像中的背景進(jìn)行建模，參見C.Stauffer和W.Grimson，“Adaptive background mixturemodels for real-time tracking，”Proc.of IEEE Int’l Conf.on ComputerVision and Pattern Recognition，1999。與明確地將所有像素的值建模為一種特定類型的分布的處理不同，由逐像素的高斯分布函數(shù)的混合來對背景進(jìn)行建模以支持多峰背景?；诨旌现忻總€高斯函數(shù)的持續(xù)性和方差來確定與背景區(qū)域?qū)?yīng)的高斯模型。不符合背景分布的像素值被認(rèn)為是前景，直到有以足夠和一致的支持證據(jù)將所述像素包括在背景中的高斯模型。這一方法包括學(xué)習(xí)常數(shù)和控制應(yīng)該用于背景的像素的比例的參數(shù)。高斯混合式方法是許多相關(guān)方法的基礎(chǔ)，O.Javed，K.Shafique和M.Shah，“A hierarchical approach to robust backgroundsubtraction using color and gradient information，”MVP，pp.22-27，2002。
所述混合式方法適用于照明改變并且不會造成重影效果。此外，所述混合式方法可處理多峰背景。然而，當(dāng)場景是動態(tài)的并且表現(xiàn)出時間上的非靜態(tài)屬性時，所述方法的性能會惡化。基于混合式模型的解決方案的另一缺點是構(gòu)建和更新背景模型的計算工作量。對于大量混合中的模型而言，這些方法由于變得在計算上要求過多，而無法在實踐中實施。
非參數(shù)方法使用高斯內(nèi)核來對特定的像素上的密度進(jìn)行建模，參見A.Elgammal，D.Harwood和L.Davis，“Non-parametric model forbackground subtraction，”Proc.of European Conf.on Computer Vision，pp.II751767，2000。
另一種方法在對動態(tài)特性的建模過程中結(jié)合光流，參見A.Mittal和N.Paragios，“Motion-Based background subtraction using adaptivekernel density estimation，”Proc.Int’l Conf.on Computer Vision andPattern Recognition，2004。
統(tǒng)計方法可使用彩色、全局和動態(tài)特征以增強對象檢測特征，參見C.Jiang和M.O.Ward，“Shadow identification”，Proc.of IEEEInt’l Conf.on Computer Vision and Pattern Recognition，pp.606-612，1992，以及Stauder，R.Mech和J.Ostermann，“Detection of movingcast shadows for object segmentation”，IEEE Transactions onMultimedia，vol.1，no.1，pp.65-76，1999年3月。
因此，需要改進(jìn)現(xiàn)有技術(shù)的前景檢測方法。
本征圖像對于場景的一種解釋表明每個圖像都是場景的特性的乘積。那么，“本征(intrinsic)”圖像是反映場景中的特征之一的圖像的分解，H.G.Barrow和J.M.Tenenbaum，“Recovering intrinsic scenecharacteristics from images”，Computer Vision Systems，AcademicPress，pp.3-26，1978。
將場景的輸入圖像It分解為反射圖像R和照明圖像Lt的處理可表示為乘積It＝R·Lt.(1)反射圖像R包含場景的反射值，照明圖像Lt包含照明強度。因為照明圖像Lt代表場景中入射光的分布，而反射圖像R描述場景的表面反射屬性，所以這一表示對于分析和處理輸入圖像中獲得的場景的反射和照明屬性是有用處的。
在現(xiàn)有技術(shù)中，本征圖像處理場景的單個圖像之內(nèi)的空間特性，所述特性諸如是圖像紋理中可見的反射和照明，本征圖像自身并不處理場景中前景對象的時間演變。
如圖1B中所示，一種分解方法在照明條件中有非常大變化的情況下，通過由固定的點獲得的輸入圖像序列101來估計產(chǎn)生反射圖像102和照明圖像103的最大可能性，參見Y.Weiss，“Deriving intrinsicimages from image sequences”，Proc.of IEEE Int’l Conf.on ComputerVision，pp.68-75，2001年7月。應(yīng)注意到，在照明圖像中，從右(R)向左(L)的照明是清晰可見的。
該方法已擴展為從圖像序列中得到變化的反射圖像和相應(yīng)的照明圖像，參見Y.Matsushita，K.Nishino，K.Ikeuchi和S.Masao，“Illumination normalization with time-dependent intrinsic images forvideo surveillance”，Proc.of IEEE Int’l Conf.on Computer Vision andPattern Recognition，2004。Matsushita等人也描述了捕捉照明變化的照明本征空間。在該方法中，場景是靜態(tài)的，唯一檢測的是諸如照明條件的場景的外部因素變化。不考慮前景圖像的運動。
另一種方法從單彩色圖像中恢復(fù)類似于反射圖像的照明不變圖像，參見G.D.Finlayson，S.D.Hordley和M.S.Drew，“RemovingShadows from Images，”Proc.of Eurepean Conf.on Computer VisionVol.4，pp.823-826，2002。Finlayson等人假設(shè)輸入圖像包含非陰影表面和投射在這些表面上的陰影。他們通過最小化彩色分布的熵來計算對數(shù)色度空間中用于“不變方向”的角度。
另一種方法使用多個提示以從單個圖像中恢復(fù)陰影圖像和反射圖像，參見M.Tappen，W.Freeman，E.Adelson，“Recovering Shadingand Reflectance from a single image”，NIPS，2002。Tappen等人使用彩色信息和被訓(xùn)練用于識別灰度級模式的分類器。將每個本征圖像分類為是由陰影引起的，或是由表面反射中的改變引起的。應(yīng)注意到，該方法也不考慮場景中前景對象的運動。
另一種確定的方法使用灰度級，以及本地和靜態(tài)特征，參見M.Kilger，“A shadow handler in a video-based real-time trafficmonitoring system”，Proc.of IEEE Workshop on Applications ofComputer Vision，pp.11-18，1992，以及D.Koller，K.Danilidis和H.Nagel，“Model-based object tracking in monocular image sequences ofroad traffic scenes”，Int’l Journal of Computer Vision，vol.10，pp.257-281，1993。
通常，現(xiàn)有技術(shù)的本征圖像不考慮場景中前景對象的運動。因此，需要提供反映場景自身中的運動變化的改進(jìn)的本征圖像。
此外，需要使用改進(jìn)的本征圖像來改善前景檢測。

發(fā)明內(nèi)容
替代通過背景相減的傳統(tǒng)前景檢測方式，本發(fā)明將動態(tài)場景的圖像分解為時變本征背景和前景圖像。這些本征圖像的乘積表征所述場景。
由場景獲得圖像的時間序列。使用濾波器確定空間梯度。通過利用濾波器的輸出的稀疏，本征背景圖像作為中值濾波后的梯度而產(chǎn)生。隨后本征背景圖像被分成圖像的原始序列，以產(chǎn)生本征前景圖像。
本發(fā)明還提供一種以閾值限制本征前景圖像的強壯方法，以獲得檢測掩蔽。本發(fā)明還可檢測靜態(tài)和運動線。
即使在突發(fā)和嚴(yán)重的照明改變情況下，本發(fā)明在計算上也是有效率且有效的。


圖1A示出檢測場景中的前景的現(xiàn)有技術(shù)的方法；圖1B示出現(xiàn)有技術(shù)的本征圖像；圖2示出根據(jù)本發(fā)明的檢測場景中的前景的方法；圖3示出圖2的方法的詳細(xì)步驟；圖4示出根據(jù)本發(fā)明的在道路場景情況下的本征圖像；以及圖5示出根據(jù)本發(fā)明的在高爾夫場景情況下的本征圖像。
具體實施例方式
本征背景圖像如圖2所示，本發(fā)明提供一種檢測圖像中的前景區(qū)域的方法200。前景區(qū)域典型地代表場景中的運動對象。在300中處理由場景獲得的輸入圖像序列210，以產(chǎn)生本征背景圖像230。由所述本征背景圖像在240中去除每個輸入圖像210，以產(chǎn)生本征前景圖像序列250。在優(yōu)選實施例中，在處理序列210中的每個當(dāng)前圖像時，更新本征背景圖像。
本發(fā)明以前景特征和背景特征的乘積來表征場景，即It＝B·Ft，(2)其中，背景圖像Bt230是相對靜態(tài)的，前景圖像Ft250表征場景的動態(tài)特征，例如，運動對象。應(yīng)該注意的是背景圖像會發(fā)生變化，但是與前景圖像相比，這種變化要經(jīng)過長得多的時間量程。因此，根據(jù)本發(fā)明，通過在240中由本征背景圖像去除輸入圖像來確定本征前景圖像Ft=ItB.]]>應(yīng)注意到這種定義與現(xiàn)有技術(shù)形成了鮮明的對比，現(xiàn)有技術(shù)將背景特征和前景特征表示為加性的推斷，即，It＝B+Ft，并且前景圖像是Ft＝It-B。
在真實世界的場景中，盡管“靜態(tài)”特征的改變與動態(tài)特征相比非常慢，但是靜態(tài)特征和動態(tài)特征均隨時間而改變。例如，在“靜態(tài)”的室外場景中，建筑物陰影的運動相對較慢，在室內(nèi)場景中，當(dāng)背包被放在某處而無人注意時，該背包就最終被包含在背景中。
因此，單非時變靜態(tài)圖像可代表背景的想法是錯誤的。當(dāng)非時變背景圖像B(x，y)合理地描述沒有運動對象的靜態(tài)場景時，估計的前景圖像F(x，y，t)趨向于包含相當(dāng)多的紋理和陰影，特別是在全局照明變化的情況下。因此，與暗示地假設(shè)反射圖像是非時變的照明圖像的根據(jù)Weiss的方法不同，本發(fā)明使用時變本征圖像，即，隨時間而更新背景圖像和前景圖像兩者。
如在圖3中所詳細(xì)示出的，本發(fā)明由場景獲得N個輸入圖像序列210，{It-N，...，It-1，It}。圖像211是當(dāng)前輸入圖像。獲得圖像的速率可取決于場景中運動對象的速度。如果將連續(xù)圖像中運動對象的表面之間的重疊最小化，則對所述對象得到的統(tǒng)計不大可能會損害背景圖像230。
因此，圖像的支持集是{It-kN，...，It-k，It}，其中，k是采樣周期。盡管選擇較長的采樣周期是合理的，但是較短的采樣周期用于對象移動較快的場景?？傊?，采樣周期k不是關(guān)鍵的決定。還應(yīng)注意到，可以隨時間，根據(jù)場景中的平均運動以變化的速度來獲得圖像。
接著，在310中確定每個輸入圖像It210的強度值的對數(shù)(log)。由此產(chǎn)生了“對數(shù)”圖像311-312。其中，對數(shù)圖像312是針對當(dāng)前輸入圖像211的。
接著，將空間導(dǎo)數(shù)濾波器sn320應(yīng)用于對數(shù)圖像it311-312，以根據(jù)sn*it來確定強度梯度。其中，“*”代表卷積。導(dǎo)數(shù)濾波器可以是s0＝[1-1]，s1＝[1-1]T。
還可以使用形式為fline＝[-1 2 -1]的線檢測器(line detector)來替代使用導(dǎo)數(shù)濾波器。該濾波器的輸出也是稀疏的。該濾波器可捕獲場景中的靜態(tài)和運動邊緣，這對于形狀析取是非常必要的。
因為濾波器輸出在空間和時間上是拉普拉斯分布并且獨立的，所以濾波后的背景圖像的最大似然估計 是通過下式得出的中值圖像330b^tn=mediant{sn*it}.---(3)]]>應(yīng)該注意，中值圖像330是在n個先前的對數(shù)輸入圖像311和當(dāng)前對數(shù)輸入圖像312的“窗口”上進(jìn)行濾波的結(jié)果。通過對每個新的輸入圖像進(jìn)行更新，本征背景圖像總是正確的。這是以下情況的直接結(jié)果當(dāng)將導(dǎo)數(shù)濾波器320應(yīng)用于自然場景的圖像時，所述濾波器的輸出具有稀疏的趨勢。
隨后通過使用估計的濾波后的背景圖像 根據(jù)下式來確定本征前景圖像ftn250f^tn=(sn*it)-b^tn.---(4)]]>現(xiàn)在通過解答下面的線性方程系統(tǒng)來對中值圖像330進(jìn)行“反向”濾波b^t=g*(Σnsnr*b^tn),and---(5)]]>和f^t=g*(Σnsnr*f^tn),---(6)]]>其中，snr340是sn的反向濾波器，濾波器g350是滿足下述傅立葉方程的濾波器
G=(Sn·snr)-1.---(7)]]>濾波器g 350獨立于輸入圖像序列210，并且可被預(yù)先確定。
仍舊在對數(shù)域中，隨后從當(dāng)前圖像的對數(shù)310中減去濾波器350的輸出351，所述輸出為本征背景圖像的對數(shù)。
隨后通過根據(jù)Bt=ebt,Ft=eft.]]>在361-362中通過應(yīng)用反對數(shù)而獲得最終的本征前景圖像250和本征背景圖像230。
還可使用掩蔽圖像Mt。掩蔽圖像Mt基于當(dāng)前本征背景圖像和前景圖像之間的差值Dt(x，y)＝Bt(x，y)-Ft(x，y)的強度統(tǒng)計來表示當(dāng)前輸入圖像It中的前景像素。
可通過高斯函數(shù)來逼近所述差值的分布。因此，分布的均值μt和方差σt2得以確定，并且95％的百分點被指定為閾值τ＝2.5σ。通過下式得出所述掩蔽圖像MtMt(x,y)=1|D(x,y)-μ1|>2.5σt0otherwise---(8)]]>對于交通場景的輸入圖像序列401，圖4根據(jù)本發(fā)明示出相應(yīng)的本征背景圖像402、本征前景圖像403和掩蔽圖像404。可清楚看出，掩蔽圖像跟隨運動的車輛。所述場景包含遠(yuǎn)處活動的灌木和云，以及車輛下彌漫的陰影。應(yīng)注意到，前景圖像402是精確的，并且不包含這些偽像。還可以看出在掩蔽圖像404中消除了所述彌漫的陰影。
圖5示出高爾夫場景的輸入圖像501、相應(yīng)的本征背景圖像502、本征前景圖像503和掩蔽圖像504。在這一場景中，天空的顏色發(fā)生改變并且陰影更加突出。根據(jù)本發(fā)明的方法精確地將輸入圖像分解為背景圖像和前景圖像。
本發(fā)明的效果本發(fā)明從由靜止相機獲得的輸入圖像序列中檢測諸如運動對象的前景區(qū)域。與現(xiàn)有技術(shù)的加性的背景/前景方案相對比，本發(fā)明將序列分解為隨時間變化的相乘的本征背景圖像和本征前景圖像的乘積。所提出的方法有一些優(yōu)點。乘積比求和具有更高的增益，因此，本發(fā)明對突然的和嚴(yán)重的照明改變比較不敏感。本發(fā)明不是基于模型的，因此不需要模型擬合。本發(fā)明在計算上是高效的，并且可實現(xiàn)為實時系統(tǒng)。本發(fā)明不需要對參數(shù)精調(diào)諧。本發(fā)明還可估計場景的靜態(tài)邊緣圖。最重要的是，相乘的背景/前景特征比現(xiàn)有技術(shù)中加性的方案產(chǎn)生更好的性能。
盡管已通過優(yōu)選實施例的示例描述了本發(fā)明，但是應(yīng)該理解在不脫離本發(fā)明的精神和范圍的情況下，可進(jìn)行各種其它的改變和修改。因此，所附權(quán)利要求的目的在于覆蓋本發(fā)明的真正精神和范圍內(nèi)的所有這樣的改變和修改。
權(quán)利要求
1.一種用于根據(jù)場景的輸入圖像序列來對所述場景的背景區(qū)域和前景區(qū)域進(jìn)行建模的方法，包括從由場景獲得的輸入圖像序列中產(chǎn)生本征背景圖像；以及由本征背景圖像除每個輸入圖像以獲得本征前景圖像序列。
2.如權(quán)利要求1所述的方法，還包括在處理每個輸入圖像時，更新本征背景圖像。
3.如權(quán)利要求1所述的方法，其中，輸入圖像的采樣周期隨時間而變化。
4.如權(quán)利要求1所述的方法，其中，輸入圖像的采樣周期根據(jù)場景中的運動對象而變化。
5.如權(quán)利要求1所述的方法，還包括將每個輸入圖像轉(zhuǎn)換為對數(shù)圖像；將濾波器應(yīng)用于每個對數(shù)圖像；從濾波后的對數(shù)圖像的時間窗來確定中值圖像；對中值圖像進(jìn)行反向濾波；從當(dāng)前對數(shù)圖像中減去中值圖像，以獲得對數(shù)前景圖像；向?qū)?shù)前景圖像應(yīng)用反對數(shù)，以獲得本征前景圖像；以及對中值圖像應(yīng)用反對數(shù)，以獲得本征背景圖像。
6.如權(quán)利要求5所述的方法，其中，所述濾波器是空間導(dǎo)數(shù)濾波器。
7.如權(quán)利要求5所述的方法，其中，所述濾波器是線檢測器。
8.如權(quán)利要求1所述的方法，還包括檢測本征前景圖像中的運動對象；以及產(chǎn)生運動對象的掩蔽圖像。
9.如權(quán)利要求8所述的方法，其中，掩蔽圖像是基于本征背景圖像和本征前景圖像之間的差值的強度統(tǒng)計的。
10.如權(quán)利要求1所述的方法，還包括使用線檢測器從本征背景圖像中檢測線和輪廓。
全文摘要
由動態(tài)場景獲得圖像的時間序列。使用濾波器確定空間梯度。通過利用濾波器的輸出的稀疏，產(chǎn)生本征背景圖像作為中值濾波后的梯度。隨后本征背景圖像被分成圖像的原始序列，以產(chǎn)生本征前景圖像?？捎砷撝迪拗票菊髑熬皥D像以獲得檢測掩蔽。
文檔編號H04N5/272GK1918604SQ20058000490
公開日2007年2月21日 申請日期2005年12月9日 優(yōu)先權(quán)日2004年12月15日
發(fā)明者法蒂·M.·波利克力 申請人:三菱電機株式會社