專利名稱：圖像處理裝置、圖像處理方法以及程序的制作方法
技術領域：
本技術涉及圖像處理裝置、圖像處理方法以及程序，尤其涉及在不動體的檢測中，也就是說，在留下的物體或被帶走的物體的檢測中可以抑制誤檢的圖像處理裝置、圖像處理方法以及程序。
背景技術：
例如，作為檢測有人留下可疑物或帶走陳列在陳列室中的展品的技術，存在檢測作為圖像中的不動體，既不是背景也不動的一部分的方法。檢測不動體的不動體檢測方法包括從圖像中檢測靜止區(qū)域并將新檢測靜止區(qū)域登記為背景以創(chuàng)建多個背景，以及即使一個靜止物體出現(xiàn)在另一個靜止物體的前面和兩個靜止物體彼此重疊,也可以分開檢測兩個靜止物體的方法(例如，參照W0/2009/005141)。而且，不動體檢測方法包括以多種時標進行背景的更新等以保證抗干擾的健壯性的方法(例如，參照日本待審專利申請公告第2008-257693號)。另外，在公開在W0/2009/005141中的不動體檢測方法中，可能將樹木的晃動等錯誤地檢測成靜止物體(不動體)。此外,在公開在W0/2009/005141中的不動體檢測方法中，為了將靜止物體彼此分開，由于需要計算各種類型的特征量并且還有必要進行歸類，所以使運算量增加，使得不適合實時處理。而且，在公開在日本待審專利申請公告第2008-257693號中的不動體檢測方法中，當兩個靜止物體彼此重疊時，不能保證將兩個靜止物體適當?shù)貦z測成不動體。而且，按照在運動體檢測、不動體檢測等中使用背景圖像的代表性檢測技術，可能未生成正常背景，以及在人或像車輛那樣的物體頻繁通過的區(qū)域中可能得到錯誤結果。為了應付這樣的情況，日本待審專利申請公告第2004-265291號提出了一種技術:計算亮度值的離差作為每個像素的變化以確定該區(qū)域是否是可以處理的有效區(qū)。而且，還提出了通過排除確定為無效區(qū)的區(qū)域進行各種處理的背景差方法。但是，按照在日本待審專利申請公告第2004-265291號中提出的方法，由于有效區(qū)是根據(jù)亮度值的標準偏差(離差)確定的，所以不可能唯一地區(qū)分實際難以創(chuàng)建背景的狀況。例如，當使用多項分布檢測背景時，在人頻繁通過的狀況下難以創(chuàng)建背景，但在像閃光那樣亮度值差大的狀況下可以生成背景。按照在日本待審專利申請公告第2004-265291號中提出的方法，由于有效區(qū)是根據(jù)亮度值的離差確定的，所以可能將此確定為相同的“無效區(qū)”。因此，由于不可能確定是否存在由難以創(chuàng)建背景造成的不可檢測區(qū)，所以可能無法精確生成背景。而且，日本待審專利申請公告第2006-331306號提出了將每個像素的隨時間變化確定為中間類別、不穩(wěn)定類別等的方法。但是，按照這種確定方法，由于只根據(jù)多種分布的權重確定穩(wěn)定性，所以難以確定在短時間內(nèi)發(fā)生變化的區(qū)域，或由頻繁通過引起的實際困難區(qū)域。因此，在這種情況下，也可能無法精確生成背景。

發(fā)明內(nèi)容
作為不動體檢測方法，越來越需要一種能夠在抑制誤檢的同時高精度地檢測不動體的方法。監(jiān)于上述情況，本技術的目的是在抑制誤檢的同時進行健壯不動體檢測。本技術的一個實施例的圖像處理裝置包括:生成單元，配置成從所獲取圖像中生成多項分布的背景模型，并生成背景；以及確定單元，配置成確定是否可以從所述生成單元生成的背景模型中生成置信度高的背景。所述背景模型包括將預定坐標上的亮度值與亮度值的出現(xiàn)頻率相聯(lián)系的分布，以及當頻率最高的分布大于預定值時，所述確定單元確定可以生成置信度高的背景。所述預定值是從多項分布的項數(shù)和背景模型的更新次數(shù)中計算的。向用戶展示所述確定單元確定為不能生成置信度高的背景的區(qū)域的區(qū)域。所述圖像處理裝置進一步包括:運動體檢測單元，配置成從當前圖像中檢測作為與所述生成單元生成的背景不同的圖像的運動體；暫時停止確定單元，配置成確定運動體是否暫停了預定時間間隔或更長；置信度處理單元，配置成使用包括暫時停止物體的暫時停止圖像為當前圖像的像素計算不動體置信度，所述暫時停止物體是暫停了預定時間間隔或更長的運動體，所述不動體置信度代表成為不動體一在預定時間間隔或更長內(nèi)不變的與背景不同的圖像的可能性；以及不動體檢測單元，配置成根據(jù)所述不動體置信度從當前圖像中檢測不動體。本技術的一個實施例的圖像處理方法包括:從所獲取圖像中生成多項分布的背景模型，并生成背景；以及確定是否可以從所生成背景模型中生成置信度高的背景。本技術的一個實施例的程序使計算機起如下作用:生成單元，配置成從所獲取圖像中生成多項分布的背景模型，并生成背景；以及確定單元，配置成確定是否可以從所述生成單元生成的背景模型中生成置信度高的背景。依照按照本技術一個實施例的圖像處理裝置、圖像處理方法以及程序，從所獲取圖像中生成多項分布的背景模型，并確定是否可以從所生成背景模型中生成置信度高的背
景另外，所述圖像處理裝置可以是獨立裝置或構成一臺裝置的內(nèi)部塊。而且，所述程序可以通過經(jīng)由傳輸媒體傳輸或寄存在記錄媒體上來提供。按照本技術，可以在抑制誤檢的同時進行健壯不動體檢測。


圖1是例示應用本技術的不動體檢測裝置的一個實施例的配置例子的方塊圖；圖2是描述不動體檢測裝置的處理概況的圖形；圖3A和圖3B是描述背景模型的圖形；圖4是描述背景模型的生成的流程圖；圖5A和圖5B是描述背景模型的圖形；圖6A和圖6B是描述背景模型的圖形；圖7A和圖7B是描述背景模型的圖形；圖8是例示運動體檢測單元31的配置例子的方塊圖9是描述運動體檢測單元31中的運動體檢測原理的圖形；圖10是描述暫時停止確定單元32的處理的圖形；圖11是描述置信度處理單元35的處理的圖形；圖12A-圖12C是描述置信度處理單元35更新不動體置信度的概況的圖形；圖13是描述置信度處理單元35更新不動體置信度的細節(jié)的圖形；圖14A和圖14B是例示置信度處理單元35更新的不動體置信度C (X)的變化的圖形；圖15是描述置信度處理單元35對不動體置信度C(X)的初始值C。的設置的圖形；圖16是描述不動體檢測裝置的處理(不動體檢測處理)的流程圖；圖17是例示不動體檢測裝置的另一個配置例子的方塊圖；圖18是描述不動體檢測裝置的處理的圖形；圖19是描述不動體置信度C(X)單調降低時阻止像素X被檢測為不動體的圖形；圖20是描述三個暫時停止圖像和置信度圖像被分別存儲在存儲單元34和36中時不動體檢測裝置的處理的圖形；圖21是例示網(wǎng)絡攝像機的配置例子的方塊圖；以及圖22是例示應用本技術的計算機的一個實施例的配置例子的方塊圖。
具體實施例方式在下文中，將參考附圖詳細描述本技術的優(yōu)選實施例。注意，在這個說明書以及附圖中，具有大致相同功能和結構的結構元件用相同標號表示，并省略對這些結構元件的重復說明。[應用本技術的不動體檢測裝置的實施例]圖1是例示應用本技術的圖像處理裝置的不動體檢測裝置的一個實施例的配置例子的方塊圖。在圖1中，不動體檢測裝置包括圖像獲取單元11、背景生成單元21、不可處理區(qū)確定單元22、運動體檢測單元31、暫時停止確定單元32、暫時停止圖像處理單元33、存儲單元34、置信度處理單元35、存儲單元36、不動體檢測單元37、和不動體展示單元38，以及檢測和展示不動體。圖像獲取單元11獲取和輸出預定速率的圖像(運動圖像)。也就是說，圖像獲取單元11是，例如，攝像機，以預定速率捕獲像陳列室那樣安裝了攝像機的預定地方的圖像，并輸出捕獲的圖像。而且，圖像獲取單元11從攝像機(未示出)獲取，例如，捕獲預定地方獲得的圖像，進行提高圖像清晰度的圖像處理，并輸出高清晰度圖像。另外，圖像獲取單元11獲取的圖像可以是彩色圖像或黑白圖像。這里，假設獲取單元11獲取的圖像是黑白圖像。在這種情況下，在如下描述中，像素的數(shù)量是亮度值。將從圖像獲取單元11輸出的圖像供應給背景生成單元21、運動體檢測單元31、暫時停止圖像處理單元33、置信度處理單元35、和不動體展示單元38。背景生成單元21使用作為圖像獲取單元11供應的最后圖像的當前圖像等生成背景(圖像)，并將生成的背景供應給不可處理區(qū)確定單元22和置信度處理單元35。不可處理區(qū)確定單元22檢測其中未正常生成背景的區(qū)域，并將檢測的區(qū)域供應給不動體展示單元38。不動體展示單元38向用戶展示未正常生成背景的區(qū)域。運動體檢測單元31在來自圖像獲取單元11的當前圖像中檢測作為與背景不同的圖像的運動體(圖像)，并將作為圍繞運動體的最小長方形區(qū)域的運動體區(qū)域供應給暫時停止確定單元32和暫時停止圖像處理單元33。暫時停止確定單元32確定包括在來自運動體檢測單元31的運動體區(qū)域中的運動體是否暫停(也稱為暫時停止)了預定時間間隔或更長。當確定運動體暫時停止時，暫時停止確定單元32復制暫時停止運動體的運動體區(qū)域中的圖像作為反映在暫時停止圖像上的暫時停止物體，并將該圖像供應給暫時停止圖像處理單元33，在該暫時停止圖像上，暫時停止的物體(暫時停止物體)被反映。暫時停止圖像處理單元33將暫時停止確定單元32供應的暫住停止物體登記(存儲)在存儲單元34中。也就是說，存儲單元34是，例如，存儲暫時停止圖像的幀存儲器，且暫時停止圖像處理單元33將包括在存儲于存儲單元34中的圖像(暫時停止圖像)中、來自暫時停止確定單元32的暫時停止物體的區(qū)域中的像素的像素值更新成暫時停止物體的像素值。而且，暫時停止圖像處理單元33使用來自圖像獲取單元11的當前圖像和來自運動體檢測單元31的運動體(運動體區(qū)域)更新存儲在存儲單元34中的暫時停止圖像。也就是說，暫時停止圖像處理單元33通過登記在存儲單元34中的暫時停止圖像(暫時停止物體)和來自圖像獲取單元11的當前圖像的加權相加，更新反映在登記(存儲)于存儲單元34中的暫時停止圖像上的暫時停止物體中，未包括在來自運動體檢測單元31的運動體中的像素的像素值。詳細地說，如果在時間t的圖像(當前圖像)的像素X的像素值用It(X)表達，在早I個時間單位的時間t-1的存儲在存儲單元34中的暫時停止圖像的像素X的像素值用Pt-! (X)表達，以及在時間t的暫時停止圖像處理單元33獲得的更新暫時停止圖像的像素X的像素值用Pt(X)表達，則 暫時停止圖像處理單元33在反映在存儲于存儲單元34中的暫時停止圖像上的暫時停止物體的像素當中，按照下面的方程I對運動體的像素，和按照下面的方程2對未包括在運動體中的像素計算在時間t的暫時停止圖像(更新暫時停止圖像)的像素X的像素值Pt⑴:Pt ⑴=P^ (X)(I)Pt ⑴= (l-a' ) Ph (X)+ a It(X)(2)按照基于上面方程2的暫時停止圖像的更新，在圖像獲取單元11獲取的圖像的整個屏幕的亮度因太陽光或照明的變化而發(fā)生變化的狀態(tài)下，可以適當?shù)馗路从吃诖鎯τ诖鎯卧?4中的暫時停止圖像上的暫時停止物體的亮度(像素值)，以便該亮度最大程度地接近當前亮度(當前圖像的亮度)，使得抗圖像亮度變化的健壯性得到提高。因此，可以高精度地進行不動體檢測。另外，按照上面的方程(1)，不更新與當前圖像的運動體重疊、反映在暫時停止圖像上的暫時停止物體的一部分的像素值(保持更新之前的值)。這是為了防止當像行人那樣的運動體從暫時停止物體的前側通過時，根據(jù)行人(運動體)的像素值改寫(更新)暫時停止物體的像素值。置信度處理單元35使用來自圖像獲取單元11的當前圖像、來自背景生成單元21的背景、和存儲在存儲單元34中的暫時停止圖像，為當前圖像的每個像素(或一些相鄰像素)計算不動體置信度，并將不動體置信度登記(存儲)在存儲單元36中，其中不動體置信度代表成為不動體的可能性，所述不動體是在預定時間間隔或更長內(nèi)不變的與背景不同的圖像。存儲單元36存儲置信度圖像，其中將來自置信度處理單元35的當前圖像的每個像素的不動體置信度用作像素值。不動體檢測單元37根據(jù)存儲在存儲單元36中的置信度圖像從當前圖像中檢測不動體，并將檢測的不動體供應給不動體展示單元38。也就是說，不動體檢測單元37使用閾值對不動體置信度一其是存儲在存儲單元36中的置信度圖像的像素值一進行二值化(將大于等于閾值的不動體置信度設置成1，而將小于閾值的不動體置信度設置成0)，從而獲得二值化置信度圖像。此外，不動體檢測單元37對二值化置信度圖像進行標記，以便在像素值為I的像素(不動體置信度大于等于閾值的像素)和與該像素相鄰的八個像素之間將相同標記附在像素值為I的像素上，從而檢測圍繞包括像素值為I的像素的區(qū)域的最小長方形區(qū)域作為不動體的區(qū)域(不動體區(qū)域)。然后，不動體檢測單元37分析(獲取)指定不動體(區(qū)域)的信息，諸如作為不動體區(qū)域的長方形的大小(水平和垂直像素的數(shù)量)、長方形的中心或左上角的坐標等，并將該信息供應給不動體展示單元38作為不動體信息。根據(jù)來自不動體檢測單元37的不動體信息，不動體展示單元38按照必要性，使用來自圖像獲取單元11的當前圖像展示不動體(不動體的檢測目的)。也就是說，如果不動體檢測單元37供應了不動體信息，則不動體展示單元38通過聲音、圖像、燈泡的閃爍或發(fā)光等向用戶展示不動體的檢測目的(通知用戶)。而且，不動體展示單元38將圍繞由來自不動體檢測單元37的不動體信息指定的不動體區(qū)域的框架的屏幕顯示(OSD)疊加在來自圖像獲取單元11的當前圖像上，并使OSD顯示在顯示裝置(未例示)上。另外，只有當不動體(不動體區(qū)域)具有預定大小SA或更大時，才可以讓不動體展示單元38展示不動體。而且，只有當不動體具有預定大小SA或更小時，才可以讓不動體展示單元38展示不動體。此外，只有當不動體具有預定大小SA或更大以及具有另一個預定大小SB (>SA)或更小時,才可以讓不動體展示單元38展示不動體。例如,預定大小SA或SB的設置可以通過用戶針對不動體檢測裝置的操作來進行。圖2是說明圖1的不動體檢測裝置的處理概況的圖形。也就是說，圖2例示了圖1的圖像獲取單元11獲取的圖像的時序例子。在圖2中，在時間A的圖像上，反映了房屋和生長在房屋芳邊的樹木。在時間h之后的時間t2的圖像上，除了房屋和樹木之外，反映了停在房屋前面的汽車，以及在時間t2上反映了從屏幕的右邊走向左邊的行人。在時間t2之后的時間t3的圖像上，反映了房屋、樹木、汽車、和移動到屏幕左側的行人。然后，在時間t3之后的時間t4上，由于行人已經(jīng)走過屏幕，所以在時間t4的圖像上反映了房屋、樹木、和汽車，但行人已經(jīng)消失了。
在這種情況下，在圖1的不動體檢測裝置中，將時間h的圖像用作背景(圖像)，并檢測從時間t2開始停放和與背景不同的汽車(的圖像)作為不動體。而且，在圖1的不動體檢測裝置中，由于行人對應于靠行走移動的運動體，所以不將行人檢測為不動體。如上所述，在圖1的不動體檢測裝置中，檢測圖像中在預定時間間隔或更長內(nèi)不變和與背景不同的部分作為不動體。因此，在圖1的不動體檢測裝置中，例如，如圖2所例示，在在時間h包括房屋和樹木的圖像是背景的情況下，當汽車停放在房屋的前面并留下來時，將汽車檢測成不動體。另夕卜，例如，在在時間t4包括房屋、樹木、和停放汽車的圖像是背景的情況下，當停放的汽車留下來時，將汽車(包括汽車的部分)檢測成不動體。[背景生成單元21]圖3A是例示背景生成單元21生成的背景模型的例子的圖形。在例示在圖3A中的背景模型中，水平軸表示亮度值，以及垂直軸表示權重(出現(xiàn)頻率)。例示在圖3A中的背景模型是用三項分布模擬背景獲得的例子。這里，將三項分布作為例子來描述。但是，本技術不局限于三項分布。例如，本技術也可以應用于多項分布。而且，三項分布具有如圖3A所例示的三個峰，其中從左側開始適當?shù)貙懗傻谝豁?、第二項、和第三項。例示在圖3A中的背景模型是沿著預定像素的時間方向創(chuàng)建的。如圖3B所例示，每種分布包括平均亮度值、權重、和范圍三個指標。一種分布的水平軸表示有關平均亮度值的預定范圍。該范圍中的亮度值的出現(xiàn)頻率被表示成一種分布的高度。有關平均亮度值的范圍將被繼續(xù)描述為固定值，以及同一范圍將被繼續(xù)描述為用在每種分布中。但是，可以使用可變值，或在每種分布中可以使用不同范圍。而且，可以使每項具有離差等，例如，在使用所謂混合正態(tài)分布、和視為相同分布的范圍的背景創(chuàng)建技術中有必要已知的參數(shù)可以用作隨該范圍變化的參數(shù)。下面描述背景模型的生成。首先，圖像獲取單元11獲取像攝像機那樣的拍攝設備拍攝的圖像，或像來自另一個再生設備的輸入信號那樣的圖像。按照必要性使獲取的圖像經(jīng)受像圖像除噪或分辨率提高處理那樣的信號處理，然后供應給背景生成單元21。背景生成單元21通過分析供應的時序圖像信號進行背景模擬。在估計背景時的每個像素中，創(chuàng)建例示在圖3中的多項分布的背景模型。對于每個像素中的生成，例如，在處理了 100個幀的時刻從100個像素的亮度值中生成背景模型。而且，當一個幀包括100個像素時，在每個像素中生成如圖3所例示的100個背景模型。參照圖4的流程圖，描述背景生成單元21進行的背景模型生成。在步驟SI中，搜索包括當前幀的亮度值(在要處理的預定坐標上的像素的亮度值)的所希望分布。首先，從分布中獲取當前幀的亮度值與平均亮度值最接近的分布，確定當前幀的亮度值是否包括在所獲得分布的范圍之內(nèi)，以及當當前幀的亮度值包括在該范圍中時，所獲得的分布就是所希望的分布。作為搜索的結果，在步驟S2中確定是否已經(jīng)找到包括當前幀的亮度值的所希望分布。假設已經(jīng)處理了一個幀和已經(jīng)創(chuàng)建了例示在圖3A中的背景模型。當前亮度值可以是如圖5A所例示的預定分布內(nèi)的亮度值，或如圖5B所例示的預定分布外的亮度值。如圖5A所例示，當當前亮度值是預定分布內(nèi)的亮度值時，確定在步驟S2中找到了所希望分布，并進行步驟S3的處理。
在步驟S3中，更新包括當前亮度值的分布。參考圖6描述這種更新。圖6A使用與圖5A中相同的背景模型，并例示了當前亮度值包括在第二項的分布中的情況。在這種情況下，更新平均亮度值和第二項的分布的權重(頻率)。圖6B例示了更新之后的背景模型。如圖6B所例示，可以明白，更新之后的第二項的分布的頻率與例示在圖6A中的更新之前的第二項的分布的頻率提高了。而且，當前亮度值處在例示在圖6A中的更新之前的第二項的分布的右端上，但處在例示在圖6B中的更新之后的第二項的分布的近似中心(近似平均亮度值)上。平均亮度值根據(jù)下面的方程3來更新。也就是說，如果時間t的圖像(當前圖像)的位置X的像素(下文也稱為像素X)的像素值用It(X)表達，在早I個時間單位的時間t-1的背景生成單元21生成的背景的像素X的像素值用Bw(X)表達，以及在時間t的背景生成單元21生成的背景的像素X的像素值用Bt (X)表達，則背景生成單元21，例如，按照下面的方程(3)計算時間t的背景的像素X的像素值Bt (X):方程3Bt (X) = (1-a ) Bw (X)+ a It(X)在上面的方程3中，系數(shù)a表示0〈 a〈1.0范圍內(nèi)的值。按照上面的方程3，背景生成單元21通過從過去時間t_ AT+1到當前時間t的時間AT的圖像的加權相加(近似)同等地獲取背景，并且在每個像素中生成如圖6所例示的背景模型。如果系數(shù)a變小，則長間隔地更新按照上面方程3獲得的背景。也就是說，在上面方程3的系數(shù)a具有小值的情況下，即使在圖像中發(fā)生變化，如果變化之后圖像的狀態(tài)未持續(xù)一長段時間，則在背景中不反映系數(shù)a。而且，如果系數(shù)a變大，則短間隔地更新按照上面方程3獲得的背景。也就是說，在上面方程3的系數(shù)a具有大值的情況下，當在圖像中發(fā)生變化時，如果變化之后圖像的狀態(tài)持續(xù)一小段時間，則在背景中反映系數(shù)a。當至少在時間m內(nèi)未移動的物體被檢測為不動體時，如果時間m被定義為不動體識別時間m，則優(yōu)選的是背景生成單元21生成的背景的更新間隔長于不動體識別時間m，例如，大約是不動體識別時間m的五倍那么長。也就是說，即使在圖像中發(fā)生變化，如果變化之后的圖像的狀態(tài)只持續(xù)與大約不動體識別時間m的五倍相對應的時間，則也將系數(shù)a設置成反映在背景中的值。這里，不動體識別時間m可以，例如，由用戶操作圖1的不動體檢測裝置來設置，以及背景生成單元21按照不動體識別時間m設置系數(shù)a。另外，背景生成單元21的背景生成方法不局限于使用上面方程3的方法。也就是說，可以讓背景生成單元21應用使用高斯混合模型(加權混合正態(tài)分布)等創(chuàng)建背景的方法。平均亮度值根據(jù)上面的方程3來更新。程度(頻率)根據(jù)下面的方程4來更新。如果更新之前的頻率用Ws (t，X)表達，以及更新之后的頻率用Ws (t+1, X)表達，則如下面的方程4那樣計算程度:方程4Ws (t+1, X) =Ws (t, X) +(N-1)
在上面的方程4中，N表示項數(shù)。這里，由于將三項分布作為例子來描述，所以N是3。另外，根據(jù)上面的方程4計算頻率。在這種情況下，(N-1)部分是固定值2(=3_1)。但是，該固定值可以是除了 “2”之外的其它數(shù)值。例如，該固定值可以是“I”。在步驟S3中，當更新分布時，也存儲更新次數(shù)。更新次數(shù)是處理幀的數(shù)量的累計值。如上所述，當要處理的當前幀中的像素的亮度值在已創(chuàng)建背景模型的分布之內(nèi)時，更新分布的頻率和平均亮度值。同時，當在步驟S2中確定未找到包括要處理的當前幀的亮度值的所希望分布時，進行步驟S4的處理。在步驟S4中，刪除不必要分布并創(chuàng)建新分布。步驟S4的處理將參考圖7來描述。圖7A使用與圖5A中相同的背景模型，并例示了當前亮度值包括在第二項的分布與第三項的分布之間的情況。當包括當前亮度值的分布不是背景模型時，從那時的背景模型中搜索權重(頻率)最低的分布并刪除它。在例示在圖7A中的例子中，由于第三項的分布的權重最低，所以刪除第三項的分布。然后，新創(chuàng)建將當前亮度值用作平均亮度值的分布。如上所述進行分布的刪除和創(chuàng)建(更新)之后的背景模型例示在圖7B中。如圖7B所例示，在刪除了第三項的分布之后，新創(chuàng)建了將當前亮度值用作平均亮度值和具有平均亮度值在其中心上的預定范圍的分布作為第三項的分布。將新創(chuàng)建分布的權重設置成具有與上面方程4中的(N-1)相同的值。如上所述，當N是3時，新創(chuàng)建分布的權重是2。而且，當(N-1)是固定值“I”時，將權重設置成固定值。另外，更新時的權重和新創(chuàng)建時的權重不局限于相同值。例如，可以將這些權重設置成不同值。如上所述，在每個像素中生成背景模型，并將其供應給不可處理區(qū)確定單元22和置信度處理單元35作為背景(圖像)。[運動體檢測單元31]圖8是例示顯示在圖1中的運動體檢測單元31的配置例子的方塊圖。運動體檢測單元31包括背景生成部分51、背景差圖像生成部分52、過去圖像存儲部分53、過去差圖像生成部分54、連續(xù)性計數(shù)圖像生成部分55、運動體候選區(qū)圖像生成部分56、和檢測部分57，以及從來自圖像獲取單元11 (圖1)的當前圖像中檢測與背景不同的運動體，其中運動體包括正在運動的物體、只暫停一小段時間的物體等。這里，圖8的運動體檢測單元31，例如，使用公開在日本待審專利申請公告第2006-107457號中的方法檢測運動體。但是,運動體檢測單元31的運動體檢測方法不特別局限于此。在圖8中，將來自圖像獲取單元11的當前圖像供應給背景生成部分51、背景差圖像生成部分52、過去圖像存儲部分53、和檢測部分57。背景生成部分51，例如，與圖1的背景生成單元21類似，按照上面的方程3，使用來自圖像獲取單元11的當前圖像生成背景，并將背景供應給背景差圖像生成部分52。另外，為了抑制運動體的誤檢，背景生成部分51生成與圖1的背景生成單元21生成的背景相比短間隔更新的背景。也就是說，如果圖1的背景生成單元21生成的背景的更新間隔是例如I小時，則背景生成部分51生成，例如，以大約15秒的間隔更新的背景。因此，背景生成部分51將比用在圖1的背景生成單元21中的值大的值設置成上面方程3的系數(shù)a。這里，背景生成部分51生成反映在當前圖像上的運動體(其顯示)受到抑制和暫停了預定時間間隔的圖像作為背景。同時，為了檢測在像三分鐘那樣的預定時間間隔或更長內(nèi)不變和與背景不同的不動體，圖1的背景生成單元21，例如，生成在與不動體不變的最小所希望時間(上述的三分鐘等)相比足夠長的時間內(nèi)處在暫停狀態(tài)下的圖像作為背景。另外，可以讓背景生成部分51生成以與圖1的背景生成單元21生成的背景相同的間隔更新的背景。在這種情況下，只將背景生成單元21和51之一配備在不動體檢測裝置中就足夠了。背景差圖像生成部分52生成背景差圖像，其中將來自圖像獲取單元11的當前圖形與來自背景生成部分51的背景之間的像素的像素值之差的絕對值用作像素值，并將背景差圖像供應給檢測部分57。同時，過去圖像存儲部分53依次存儲圖像獲取單元11作為當前圖像供應的圖像，從而存儲從當前往回N+1個時間間隔的圖像，即，最近時間(當前時間)t的當前圖像和從時間t-N到t-1的過去圖像。將存儲在過去圖像存儲部分53中的時間t的圖像(當前圖像)和從時間t-N到t-1的圖像(過去圖像)供應給過去差圖像生成部分54。過去差圖像生成部分54生成將當前圖像與每個時間t-n (n=l，2，...N)的過去圖像之間的像素的像素值的差值用作像素值的過去差圖像，并將過去差圖像供應給連續(xù)性計數(shù)圖像生成部分55。連續(xù)性計數(shù)圖像生成部分55對從時間t-N、t_(N+l)、 ..、t_l的過去圖像中獲得的N個過去差圖像的像素進行計數(shù)以便確定像素值(差值)的連續(xù)性，生成將計數(shù)值用作像素值的連續(xù)性計數(shù)圖像，并將連續(xù)性計數(shù)圖像供應給運動體候選區(qū)圖像生成部分56。運動體候選區(qū)圖像生成部分56使用閾值對來自連續(xù)性計數(shù)圖像生成部分55的連續(xù)性計數(shù)圖像(其像素的像素值)進行二值化，生成將包括運動體的像素的候選像素值設置成I而將其它像素的像素值設置成0的運動體候選區(qū)圖像，并將運動體候選區(qū)圖像供應給檢測部分57。檢測部分57根據(jù)來自背景差圖像生成部分52的背景差圖像和來自運動體候選區(qū)圖像生成部分56的運動體候選區(qū)圖像，檢測包括當前圖像中的運動體的當前圖像的區(qū)域。此外，檢測部分57復制圍繞反映運動體的區(qū)域的最小長方形圍繞區(qū)域的圖像，作為來自圖像獲取單元11的當前圖像的運動體區(qū)域，并將運動體區(qū)域供應給圖1的暫時停止確定單元32和暫時停止圖像處理單元33。圖9是說明圖8的運動體檢測單元31的運動體檢測原理的圖形。也就是說，圖9
例示了將當前圖像與時間t-N、t-(N+l).....t-1的過去圖像之間的像素的像素值的差值
用作像素值的N個過去差圖像的像素X的像素值(當前圖像和過去圖像的像素值之間的差值)的例子。另外，在圖9中，水平軸表示 為了獲取過去差圖像而使用的過去圖像的時間，以及垂直軸表示過去差圖像的像素X的像素值(當前圖像和過去圖像的像素值的差值)。當運動體未反映在時間t-N到t的每個圖像的像素X上時，如圖9的頂圖所例示，N個過去差圖像的像素X的像素值(差值)持續(xù)具有相對較小值。同時，在時間t_N到t的時間t'上，當運動體開始反映在像素X上和反映在當前圖像中的像素X上時，如圖9的中圖所例示，時間t'之前的過去差圖像的像素X的像素值(差值)持續(xù)具有相對較大值，而時間t'之后的過去差圖像的像素X的像素值(差值)具有相對較小值。而且，當樹木的葉子或紋理反映在時間t_N到t的圖像的像素X上以及發(fā)生晃動時，如圖9的底圖所例示，N個過去差圖像的像素X的像素值(差值)變成大值或小值。因此，使用閾值對N個過去差圖像的像素X的像素值(差值)進行二值化，并將像素值超過閾值和持續(xù)預定時間間隔的像素檢測為運動體反映在上面的像素，以便可以防止將樹木的樹葉或紋理的晃動或像太陽光的突然變化引起的亮度變化那樣的干擾錯誤地檢測(誤檢)成運動體。關于這一點，在圖8的運動體檢測單元31中，連續(xù)性計數(shù)圖像生成部分55對從時
間t-N、t-(N+l).....t-1的過去圖像中獲得的N個過去差圖像的像素進行計數(shù)以便計算
像素值連續(xù)超過閾值的次數(shù)(過去差圖像的個數(shù))，生成將計數(shù)值用作像素值的連續(xù)性計數(shù)圖像，并將連續(xù)性計數(shù)圖像供應給運動體候選區(qū)圖像生成部分56。這里，如參考圖8所述，運動體候選區(qū)圖像生成部分56生成使用閾值將來自連續(xù)性計數(shù)圖像生成部分55的連續(xù)性計數(shù)圖像的像素的像素值進行二值化而獲得的運動體候選區(qū)圖像。當運動體反映在像素X上時，由于N個過去差圖像的像素X的像素值(差值)持續(xù)具有相對較大值，并且連續(xù)性計數(shù)圖像的像素X的像素值超過閾值，所以檢測到具有超過閾值的像素值的連續(xù)性計數(shù)圖像的像素，也就是說，檢測到具有I的像素值的運動體候選區(qū)圖像的像素，以便可以檢測運動體(運動體反映在上面的像素)。同時，當一個物體從位置X移動到位置Y時，連續(xù)性計數(shù)圖像的像素X和Y的所有像素值都超過閾值。因此，當具有像素值I的運動體候選區(qū)圖像的像素被檢測為運動體時，像素X和Y兩者都被檢測為運動體。但是，當一個物體從位置X移動到位置Y時，運動體反映在當前圖像中的像素Y上，但不反映在像素X上，因為物體已經(jīng)經(jīng)過了像素X。因此，當一個物體從位置X移動到位置Y時，在從當前圖像中檢測到運動體的時候，不將像素X和Y兩者都檢測為運動體。也就是說，將當前圖像中包括已運動體的像素Y檢測為運動體，而不將當前圖像中不包括已運動體的像素X檢測為運動體。關于這一點，在具有像素值I的運動體候選區(qū)圖像的像素當中，圖8的運動體檢測單元31只檢測當前圖像中運動之后包括已運動體的像素作為運動體(不檢測當前圖像中運動之前包括物體的像素作為運動體)。也就是說，如上所述，在圖8的運動體檢測單元31中，背景差圖像生成部分52生成將來自圖像獲取單元11的當前圖像與來自背景生成部分51的背景之間的像素的像素值之差的絕對值用作像素值的背景差圖像，并將背景差圖像供應給檢測部分57。由于背景差圖像的像素值(差值的絕對值)在在當前圖像和背景中不同的像素中變大，也就是說，在未反映在背景上但反映在當前圖像上的物體的像素中變大，所以使用閾值將背景差圖像(其每個像素的像素值)進行二值化，以便可以獲得未反映在背景上但反映在當前圖像上的物體的像素具有I的像素值、而其它像素具有O的像素值的圖像(下文也稱為二值化背景差圖像)。由于在二值化背景差圖像中未反映在背景上但反映在當前圖像上的物體的像素具有I的像素值，所以檢測二值化背景差圖像和運動體候選區(qū)圖像兩者中具有像素值I的像素，以便可以只檢測當前圖像中運動之后包括物體的像素作為運動體。如上所述，檢測部分57根據(jù)來自背景差圖像生成部分52的背景差圖像(獲得的二值化背景差圖像)和來自運動體候選區(qū)圖像生成部分56的運動體候選區(qū)圖像檢測運動之后包括物體的當前圖像的像素作為運動體。在如上所述的運動體檢測單元31中，當出現(xiàn)未在背景中的物體時(例如，當物體被留下時)，檢測當前圖像中包括物體的部分作為運動體。但是，當存在于背景中的物體消失時(例如，當物體被帶走時)，檢測當前圖像中包括存在于背景中的物體的部分作為運動體。[暫時停止確定單元32]圖10是說明圖1的暫時停止確定單元32的處理的圖形。暫時停止確定單元32確定來自運動體檢測單元31的運動體(包括在運動體區(qū)域中)是否暫停了預定時間間隔或更長(暫時停止)。有關運動體是否暫時停止的確定包括有關運動體是否處在暫停狀態(tài)下的暫停狀態(tài)確定、以及有關暫停狀態(tài)是否持續(xù)了預定時間間隔(等于或稍短于上述不動體識別時間m)或更長的持續(xù)確定。也就是說，通過跟蹤運動體檢測單元31檢測的運動體，暫時停止確定單元32使用從時間t的圖像(當前圖像)中檢測的運動體和與上面運動體相同、從早I個時間單位的時間t-1的圖像中檢測的運動體進行暫停狀態(tài)確定。在暫停狀態(tài)確定中，確定從當前圖像中檢測的運動體與例如從像時間t-1那樣早一段時間(過去時間)的圖像中檢測的運動體之間的位置偏移量是否小于位置偏移量的閾值 TH1。例如，如果從當前圖像中檢測的運動體的長方形運動體區(qū)域的中心坐標(位置)用(ex, cy)表達，以及從時間t-1的圖像中檢測的運動體的長方形運動體區(qū)域的中心坐標(位置)用(cx_p, cy_p)表達,則位置偏移量可以表達成,例如，I cx_cx_p I +1 cy_cy_p I。在這種情況下,在暫停狀態(tài)確定中,確定是否滿足I cx_cx_p I +1 cy_cy_p I〈TH1。當從當前圖像中檢測的運動體與從時間t-1的圖像中檢測的運動體之間的位置偏移量小于位置偏移量的閾值THl時，將計數(shù)運動體連續(xù)處在暫停狀態(tài)下的變量snum加I。而且，當從當前圖像中檢測的運動體與從時間t-1的圖像中檢測的運動體之間的位置偏移量不小于位置偏移量的閾值THl時,使變量snum復位成O。在連續(xù)確定中，確定變量snum是否大于(大于等于)與預定時間間隔相對應的時間的閾值TH2。當變量snum大于閾值TH2時,確定從當前圖像中檢測的運動體暫時停止(處在暫時停止狀態(tài)下)。當變量snum未大于閾值TH2時,確定從當前圖像中檢測的運動體未暫時停止(未處在暫時停止狀態(tài)下)。如上所述，當從當前圖像中檢測的運動體與從比當前圖像早一個時間單位的圖像中檢測的運動體之間的位置偏移量小于閾值THl的事實持續(xù)了時間的閾值TH2或更長時，暫時停止確定單元32確定從當前圖像中檢測的運動體暫時停止了預定時間間隔或更長，即，處在暫時停止狀態(tài)下。如果確定從當前圖像中檢測的運動體暫時停止了預定時間間隔或更長，S卩，處在暫時停止狀態(tài)下，則暫時停止確定單元32將暫時停止標志isPause指定給運動體，其中暫時停止標志isPause具有指示暫時停止狀態(tài)的值I。然后，暫時停止確定單元32將指定了具有值I的暫時停止標志isPause的運動體供應給暫時停止圖像處理單元33作為暫時停止的暫時停止物體。暫時停止圖像處理單元33以改寫的形式將暫時停止確定單元32供應的暫時停止物體登記(存儲)在存儲于存儲單元34中的暫時停止圖像中。另外，可以從檢測為暫時停止物體或不動體的物體中排除掉人(人類)。根據(jù)本發(fā)明人的經(jīng)驗，由于與有人有關的亮度在相應較短時間內(nèi)變化，所以如果從當前圖像中檢測的運動體是亮度在相應較短時間內(nèi)變化的運動體，則即使暫時停止確定單元32確定運動體是暫時停止的，也不把運動體設置成暫時停止物體(不登記在存儲單元34中)，以便可以防止把人檢測為不動體。[置信度處理單元35]圖11是說明圖1的置信度處理單元35的處理的圖形。如參考圖1所述，置信度處理單元35使用來自圖像獲取單元11的當前圖像、來自背景生成單元21的背景、和存儲在存儲單元34中的暫時停止圖像關于當前圖像的每個像素計算不動體置信度，并將不動體置信度登記(存儲)在存儲單元36中。這里，如圖11所例示，假設房屋、樹木、汽車、和行人反映在當前圖像上。而且，在圖11中，假設反映在當前圖像上的房屋和樹木是背景，汽車是不動體，以及行人是作為運動物體的運動體。在這種情況下，如圖11所例示，存儲單元34存儲作為不動體的汽車作為暫時停止物體反映在上面的暫時停止圖像。當關注作為不動體的汽車反映在上面的當前圖像的像素(下文也稱為不動體像素)x時，當前圖像的不動體像素(位置X的像素)X的像素值I與暫時停止圖像的不動體像素(位置X的像素)X的像素值P相等(一致或近似一致)。而且，暫時停止圖像的不動體像素X的像素值P與背景的不動體像素(位置X的像素)X的像素值B不相等。此外，當前圖像的不動體像素X的像素值I與背景的不動體像素X的像素值B不相等。同時，當關注當前圖像的背景，例如，房屋反映在上面的像素(下文也稱為背景像素)x'時，當前像素的背景像素X'的像素值I與暫時停止圖像的背景像素X'的像素值P不相等。此外，暫時停止圖像的背景像素V的像素值P與背景的背景像素V的像素值B不相等。但是，當前像素的背景像素X'的像素值I與背景的背景像素X'的像素值B相等。
同時，當關注作為當前圖像的運動體的行人反映在上面的像素(下文也稱為運動體像素)x"時，當前圖像的運動體像素X"的像素值I與暫時停止圖像的運動體像素X"的像素值P不相等。此外，暫時停止圖像的運動體像素X"的像素值P與背景的運動體像素X"的像素值B不相等，以及當前像素的運動體像素X"的像素值I與背景的運動體像素X"的像素值B不相等。如圖11所例示，當作為運動體的行人在作為不動體的汽車的前面以及當前圖像的運動體像素是運動體反映在上面的像素時，也是這樣的。如上所述，由于當前圖像、暫時停止圖像和背景之間的位置X的像素的像素值之間的幅度關系隨當前圖像的位置X的像素是不動體像素、背景像素還是運動體像素而變，所以可以根據(jù)幅度關系估計代表當前圖像的位置X的像素是不動體像素的可能性的不動體置信度。關于這一點，置信度處理單元35根據(jù)當前圖像、背景、和暫時停止圖像的像素X的像素值之間的幅度關系，計算當前圖像的每個像素(每個位置X的像素)x的不動體置信度。例如，當對圖1的不動體檢測裝置加電時，置信度處理單元35使存儲在存儲單元36中的置信度圖像(將不動體置信度用作像素值的圖像)的每個像素值復位成，例如，O。然后，如果將暫時停止物體新登記(存儲)在存儲單元34中，也就是說，如果從當前圖像中獲得新暫時停止物體，則置信度處理單元35在構成存儲在存儲單元36中的置信度圖像的新暫時停止物體的每個像素中設置不動體置信度的初始值Ctl (將初始值Ctl存儲(登記)在存儲單元36中)。此外，每當獲得新當前圖像(在每個幀中)時，置信度處理單元35就確定當前圖像的每個像素是否是不動體像素，并根據(jù)確定結果更新與存儲在存儲單元36中的置信度圖像的像素值相對應的不動體置信度。也就是說，圖12是說明置信度處理單元35更新不動體置信度的概況的圖形。假設當前圖像的位置X的像素的像素值用I (X)表達，暫時停止圖像的位置X的像素的像素值用P(X)表達，以及背景的位置X的像素的像素值用B(X)表達。如參考圖11所述，在當前圖像的位置X的像素是不動體像素時，像素值I (X)與像素值P (X)相等，像素值P (X)與像素值B (X)不相等，以及像素值I (X)與像素值B (X)不相
坐寸o而且，在當前圖像的位置X的像素是背景像素時，像素值I (X)與像素值P(X)彼此相等，像素值P(X)與像素值B(X)彼此不相等，以及像素值I (X)與像素值B(X)彼此相等。此外，在當前圖像的位置X的像素是運動體像素時，像素值I (X)與像素值P(X)不相等，像素值P (X)與像素值B (X)不相等，以及像素值I (X)與像素值B (X)不相等。關于這一點，如圖12A所例示，當像素值I(X)與像素值P(X)之差的絕對值I(X)-P(X)I小于閾值th，像素值I(X)與像素值B(X)之差的絕對值I OO-B⑴等于
或大于閾值th，以及像素值B(X)與像素值P(X)之差的絕對值IB(X)-P(X)I等于或大于閾值th時，由于當前圖像的像素(位置X的像素)X很有可能是不動體像素，所以置信度處理單元35將像素X的不動體置信度C(X)的更新量AC(X)設置成例如+1，并按照方程C⑴=C (X) + A C⑴更新不動體置信度C⑴(增加不動體置信度C (X))。
此外，如圖12B所例示，當像素值I (X)與像素值P (X)之差的絕對值I (X) -P (X)等于或大于閾值th，像素值P (X)與像素值B (X)之差的絕對值IP(X)-B(X) I等于或大于閾值th，以及像素值B (X)與像素值I (X)之差的絕對值Ib(X)-1(X) I小于閾值th時，或當像素值I(X)與像素值P(X)之差的絕對值Il(X)-P(X) I小于閾值th，像素值P(X)與像素值B(X)之差的絕對值Ip(X)-B(X) I小于閾值th，以及像素值B (X)與像素值I (X)之差的絕對值Ib(X)-1(X)I小于閾值th時，由于當前圖像的像素X很有可能是背景像素，所以置信度處理單元35將像素X的不動體置信度C(X)的更新量AC(X)設置成例如-1，并按照方程C (X) =C (X) + A C (X)更新不動體置信度C (X)(減小不動體置信度C (X))。這里，在本實施例中，由于存儲在存儲單元34中的暫時停止物體具有長方形形狀，所以暫時停止物體的一部分可能包括背景。在暫時停止物體包括背景的情況下，由于包括背景的位置X的像素的像素值I (X)、P(X)和B(X)彼此相等，所以當像素值I (X)與像素值P (X)之差的絕對值Il(X)-P(X) I等于或大于閾值th，像素值P (X)與像素值B (X)之差的絕對值Ip(X)-B(X) I等于或大于閾值th，以及像素值B (X)與像素值I (X)之差的絕對值
B(X)-1(X) I小于閾值th時，以及當像素值I (X)與像素值P (X)之差的絕對值Il(X)-P(X)小于閾值th，像素值P (X)與像素值B (X)之差的絕對值IP(X)-B(X) I小于閾值th，以及像素值B(X)與像素值I (X)之差的絕對值Ib(X)-1 (X) I小于閾值th時，也就是說，即使像素值I(X)、P (X)和B (X)都相等，置信度處理單元35也將當前圖像的像素X當作背景像素，并減小不動體置信度C(X)。而且，如圖12C所例示，當像素值I (X)與像素值P (X)之差的絕對值Il(X)-P(X)等于或大于閾值th，像素值P (X)與像素值B (X)之差的絕對值IP(X)-B(X) I等于或大于閾值th，以及像素值B (X)與像素值I (X)之差的絕對值Ib(X)-1(X) I等于或大于閾值th時，也就是說，當像素值I(X)、P (X)和B (X)相對不同時，置信度處理單元35不將當前圖像的像素X當作不動體像素和背景像素，例如，將當前圖像的像素X當作運動體像素，將像素X的不動體置信度C(X)的更新量AC(X)設置成例如0，并按照方程C(X) =C(X)+ AC(X)更新不動體置信度C(X)(使不動體置信度C (X)保持原樣)。在上文中，盡管當前圖像的像素X很有可能是運動體像素，則置信度處理單元35減小像素X的不動體置信度C(X)。這是因為，當作為運動體的行人在作為不動體的汽車的前面時，當前圖像的像素X (X")可能是如圖6所例示包括運動體的運動體像素。也就是說，在作為運動體的行人在作為不動體的汽車的前面的情況下，當像素X是包括運動體的運動體像素時，如果作為運動體的行人經(jīng)過作為不動體的汽車，則像素X是包括不動體的不動體像素。因此，在某時的圖像中，在作為運動體的行人在作為不動體的汽車的前面的情況下，即使像素X是包括運動體的運動體像素，像素X在隨后時間的圖像中也可能是不動體像素。在這樣的情況下，如果減小像素X的不動體置信度C (X)，則由于可能未將不動體像素檢測成不動體，所以不減小不動體置信度C(X)。圖13是說明置信度處理單元35更新不動體置信度的細節(jié)的圖形。如圖13所例示，置信度處理單元 35 確定 11 (X) -P (X) I〈th、IP (X) -B (X) I〈th、和 11 (X) -B (X) |〈th 得到滿足(是)還是未得到滿足(否)，并根據(jù)確定結果增加(提高)，減小(降低)、或保持(既不提高也不降低)不動體置信度C(X)。
也就是說，假設I I (X) -P (X) I〈th得到滿足的情況和I I (X) -P (X) I〈th未得到滿足的情況分別用[是，，]和[否，，]表達。類似地，假設IP⑴-B⑴I〈th得到滿足的情況和
IP⑴-B⑴I〈th未得到滿足的情況分別用[，是，]和[，否，]表達，以及11⑴-B⑴I〈th得到滿足的情況和I(X)-B(X) I〈th未得到滿足的情況分別用[，，是]和[，，否]表達。在這種情況下，例如，[是，是，是]指不11 (X) -P (X) I〈th、IP (X) -B (X) I〈th和I(X)-B(X) I〈th都得到滿足。置信度處理單元35在[是，是，是]的情況下將不動體置信度C (X)減小例如1，在[是，否，否]的情況下將不動體置信度c (X)加例如1，在[否，否，是]的情況下將不動體置信度C(X)減小例如1，在[否，否，否]的情況下保持不動體置信度C(X)不變，在[否，是，否]的情況下將不動體置信度C (X)減小例如1，以及在其它情況下將不動體置信度C (X)減小例如I。另外，不動體置信度C(X)的更新量(增量或減量)不局限于I。也就是說，置信度處理單元35在[是，是，是]的情況下可以將不動體置信度C(X)減小例如2，在[是，否，否]的情況下將不動體置信度C (X)加例如1，在[否，否，是]的情況下將不動體置信度C (X)減小例如2，在[否，否，否]的情況下保持不動體置信度C(X)不變，在[否，是，否]的情況下將不動體置信度C(X)減小例如2，以及在其它情況下將不動體置信度C(X)減小例如，I。至此，根據(jù)三個像素值，即，當前圖像的像素值I⑴、暫時停止圖像的像素值P(X)與背景的像素值B(X)之間的幅度關系更新了不動體置信度C(X)。但是，不動體置信度C(X)可以，例如，根據(jù)兩個像素值，即，當前圖像的像素值I (X)與暫時停止圖像的像素值P(X)之間的幅度關系來更新。例如，當Il(X)-P(X) |〈th得到滿足時，可以將像素X當作不動體像素并可以增加不動體置信度c(x)。當Il(X)-P(X) I〈th未得到滿足時，不可以將像素X當作不動體像素并可以減小不動體置信度C(X)。當根據(jù)當前圖像的像素值I⑴和暫時停止圖像的像素值P(X)的兩個像素值之間的幅度關系更新不動體置信度C(X)時，不動體的檢測精度與根據(jù)當前圖像的像素值I (X)、暫時停止圖像的像素值P(X)和背景的像素值B(X)的三個像素值之間的幅度關系更新不動體置信度C(X)的情況相比降低了，但可以(更小尺寸地)制造沒有背景生成單元21的不動體檢測裝置。圖14是例示置信度處理單元35更新的不動體置信度C(X)的變化的圖形。也就是說，圖14A例示了像素X是不動體像素時像素X的不動體置信度C(X)的變化。當像素X是不動體像素時，如果暫時停止確定單元32確定像素X是暫時停止的，則將像素X (它的像素值)存儲在存儲單元34中作為暫時停止物體。如果將像素X存儲在存儲單元34中作為暫時停止物體，則置信度處理單元35在存儲單元36中設置(存儲)初始值Ctl作為像素X的不動體置信度C(X)。當像素X是不動體像素時，按照經(jīng)過的時間提高(增加)像素X的不動體置信度C(X)。因此，當像素X是不動體像素時，如果設置了初始值Ctl并經(jīng)過了預定時間，則像素X的不動體置信度C(X)是等于或大于用在不動體檢測單元37 (圖1)進行的二值化中的閾值th_conf的值，使得不動體檢測單元37將像素X檢測為不動體。圖14B例示了像素X是存在反映樹木的樹葉等在晃動的干擾的像素時像素X的不動體置信度C(X)的變化。暫時停止確定單元32可能受干擾的影響將存在反映樹木的樹葉等在晃動的干擾的像素X錯誤地確定為暫時停止的。在這種情況下，將像素X (它的像素值)存儲在存儲單元34中作為暫時停止物體。如果將像素X存儲在存儲單元34中作為暫時停止物體，則置信度處理單元35在存儲單元36中設置初始值Ctl作為像素X的不動體置信度C(X)。如上所述，即使在對像素X的不動體置信度C(X)設置了初始值Ctl之后，當像素X是存在反映樹木的樹葉等在晃動的干擾的像素時，在更新像素X的不動體置信度C (X)時隨機增加、減小、或保持不動體置信度C(X)的數(shù)值。因此，即使在經(jīng)過一段時間之后，像素X的不動體置信度C(X)相對于初始值C。變化不大，并不等于或大于閾值th_conf。因此，由于不動體檢測單元37未將像素X檢測為不動體像素，所以可以防止將存在干擾的像素錯誤地檢測為不動體。圖15是說明圖1的置信度處理單元35對不動體置信度C (X)的初始值C。的設置的圖形。如果將暫時停止物體新登記(存儲)在存儲單元34中，也就是說，如果從當前圖像中獲得新暫時停止物體，則置信度處理單元35在構成暫時停止物體的每個像素中設置不動體置信度C(X)的初始值Q。也就是說，在存儲在存儲單元36中和將不動體置信度C(X)用作像素值的置信度圖像的像素當中，置信度處理單元35存儲(登記)初始值Ctl作為暫時停止物體的像素(與該像素相同的位置中的像素)的像素值。在這種情況下，存儲在存儲單元36中的置信度圖像的像素值被初始值Ctl改寫。同時，當已經(jīng)獲得了暫時停止物體A和不動體置信度已經(jīng)存儲在暫時停止物體A的區(qū)域中的像素中作為置信度圖像的像素值時，假設新獲得了與暫時停止物體A至少部分重疊的暫時停止物體B。在這種情況下，對于新暫時停止物體B，如果不加限制地將不動體置信度的初始值C0存儲在暫時停止物體B的區(qū)域(在圖15中用粗線圍住的區(qū)域)中的像素中作為置信度圖像的像素值，則已經(jīng)大于初始值Ctl的暫時停止物體A的不動體置信度被初始值Ctl改寫。當已經(jīng)大于初始值Ctl的暫時停止物體A的不動體置信度被初始值Ctl改寫時，例如，當改寫之前的不動體置信度已經(jīng)等于或大于閾值th_conf時，存在檢測為不動體的暫時停止物體A的一部分可能出乎意料地不被檢測為不動體的問題。關于這一點，在將初始值Ctl存儲成存儲在存儲單元36中的置信度圖像的像素值的情況下，當置信度圖像的像素的像素值已經(jīng)等于或大于初始值Ctl時，置信度處理單元35保持等于或大于初始值Ctl的像素的像素值，而不存儲初始值Ctl (限制改寫)。也就是說，當新獲取暫時停止物體時，置信度處理單元35只在新暫時停止物體的區(qū)域中的像素之間像素值小于初始值Ctl的置信度圖像的像素中存儲(設置)初始值C。。這樣，在置信度圖像中，已經(jīng)等于或大于初始值Ctl的像素值不被初始值Ctl改寫，從而可以防止不動體檢測不到。[不動體檢測裝置的處理]圖16是說明圖1的不動體檢測裝置的處理(不動體檢測處理)的流程圖。
圖像獲取單元11獲取最近圖像，并將最近圖像供應給背景生成單元21、運動體檢測單元31、暫時停止圖像處理單元33、置信度處理單元35、和不動體展示單元38作為當前圖像。如果從圖像獲取單元11供應了當前圖像，則在步驟Sll中，背景生成單元21按照上面的方程I使用當前圖像生成(更新)背景，并將背景供應給置信度處理單元35。然后，該處理轉到步驟S12。在步驟S12中，運動體檢測單元31進行運動體檢測處理，以便從來自圖像獲取單元11的當前圖像中檢測運動體。然后，該處理轉到步驟S13。在步驟S13中，運動體檢測單元31確定在步驟S12的運動體檢測處理中是否檢測到運動體。當在步驟S13中確定未檢測到運動體時，該處理跳過步驟S14到S16轉到步驟S17。此外，當在步驟S13中確定檢測到運動體時，運動體檢測單元31將從當前圖像中檢測的運動體(其運動體區(qū)域)供應給暫時停止確定單元32和暫時停止圖像處理單元33。然后，該處理轉到步驟S14。在步驟S14中，暫時停止確定單元32確定來自運動體檢測單元31的運動體是否暫時停止。當在步驟S14中確定運動體未暫時停止時，該處理跳過步驟S15和S16轉到步驟S17。此外，當在步驟S14中確定運動體暫時停止時，暫時停止確定單元32將暫時停止的運動體供應給暫時停止圖像處理單元33作為暫時停止物體。然后，該處理轉到步驟S15。在步驟S15中，暫時停止圖像處理單元33將來自暫時停止確定單元32的暫時停止物體登記在存儲單元34中，也就是說，將暫時停止物體存儲在與暫時停止物體相對應的存儲在存儲單元34中的暫時停止圖像的區(qū)域中。然后，該處理轉到步驟S16。在步驟S16中，對于在步驟S15中存儲在存儲單元34中的暫時停止物體，置信度處理單元35在與暫時停止物體相對應的存儲在存儲單元36中的置信度圖像的像素中存儲(設置)不動體置信度的初始值Q。然后，該處理轉到步驟S17。在步驟S17中，暫時停止圖像處理單元33按照上面的方程2和方程3，使用來自圖像獲取單元11的當前圖像和來自運動體檢測單元31的運動體更新存儲在存儲單元34中的暫時停止圖像(反映在暫時停止圖像上的暫時停止物體)。然后，該處理轉到步驟S18。在步驟S18中，置信度處理單元35如參考圖11到圖14所述，使用來自圖像獲取單元11的當前圖像、來自背景生成單元21的背景、和存儲在存儲單元34中的暫時停止圖像更新作為存儲在存儲單元36中的置信度圖像的像素值的不動體置信度。然后，該處理轉到步驟S19。在步驟S19中，不動體檢測單元37根據(jù)存儲在存儲單元36中的置信度圖像進行檢測處理，以便從當前圖像中檢測不動體。然后，該處理轉到步驟S20。也就是說，在檢測處理中，不動體檢測單元37使用閾值th_conf將作為存儲在存儲單元36中的置信度圖像的像素值的不動體置信度進行二值化，從而獲得二值化置信度圖像。
此外，不動體檢測單元37對二值化置信度圖像進行標記，以便在像素值為I的像素(不動體置信度大于或等于閾值th_conf的像素)和與該像素相鄰的八個像素之間將相同標記附在像素值為I的像素上，從而檢測圍繞包括像素值為I的像素的區(qū)域的最小長方形區(qū)域作為不動體的區(qū)域(不動體區(qū)域)。在步驟S20中，不動體檢測單元37確定在步驟S19的檢測處理中是否檢測到不動體。當在步驟S20中確定未檢測到不動體時，該處理跳過步驟S21轉到步驟S22。此外，當在步驟S20中確定檢測到不動體時，不動體檢測單元37計算包括不動體(不動體區(qū)域)的大小、中心坐標等的不動體信息，并將不動體信息供應給不動體展示單元38。然后，該處理轉到步驟S21。在步驟S21中,根據(jù)來自不動體檢測單元37的不動體信息,不動體展示單元38按照必要性，使用來自圖像獲取單元11的當前圖像展示不動體(不動體的檢測目的)。然后，該處理轉到步驟S22。在步驟S22中，暫時停止圖像處理單元33參照存儲在存儲單元36中的置信度圖像，并刪除不動體置信度(像素值)小于初始值Ctl，例如，0的存儲存儲單元34中的暫時停止物體。也就是說，在存儲在存儲單元34中的暫時停止物體的像素當中，暫時停止圖像處理單元33將不動體置信度為0的像素的像素值設置成，例如，0等。在將新當前圖像從圖像獲取單元11供應給背景生成單元21、運動體檢測單元31、暫時停止圖像處理單元33、置信度處理單元35、和不動體展示單元38之后，該處理從步驟S22返回到步驟S11，以便重復相同的處理。如上所述，圖1的不動體檢測裝置確定運動體是否暫時停止，至少使用當前圖像和包括作為暫時停止運動體的暫時停止物體的暫時停止圖像更新(生成)不動體置信度，并根據(jù)不動體置信度刪除不動體，從而在抑制誤檢的同時進行健壯的不動體檢測。[防止誤檢的處理]至此，在圖1的不動體檢測裝置中，可以在抑制誤檢的同時進行健壯的不動體檢測。但是，當獲得的圖像(要處理的圖像)是如下圖像時，有可能未正常進行不動體檢測。在下文中，將對檢測可能未正常進行不動體檢測的區(qū)域，以及在進一步抑制誤檢的同時進行健壯不動體檢測的處理加以描述。可能未正常進行不動體檢測的區(qū)域的圖像包括，例如，像拍攝交叉點的攝像機獲取的圖像那樣，包括許多人或車輛來來往往的區(qū)域的圖像。在包括許多人或車輛來來往往的區(qū)域的圖像的情況下，有可能未正常生成背景，并錯誤地檢測不動體。關于這一點，檢測這樣的區(qū)域并進行適當處理。按照適當處理，例如，如下所述，由不動體展示單元38向用戶展示這個區(qū)域，以便用戶可以識別該區(qū)域。未正常生成背景的區(qū)域由不可處理區(qū)確定單元22檢測。不可處理區(qū)確定單元22使用背景生成單元21生成的背景模型檢測不可處理區(qū)。如參考圖3到圖7所述，在每個像素中生成背景模型。作為背景模型，例如，在三項分布的情況下生成例示在圖3A中的背景模型。在下文中，將再次描述背景模型。例如，考慮通過處理連續(xù)100個幀中的圖像獲得相同靜止圖像，例如，圖2的時間tl的圖像的情況。在這種情況下，由于預定像素的亮度值在100個幀中都是相同的，所以當生成像素的背景模型時，只存在一種分布，并生成分布的權重按照處理幀的數(shù)量具有相對較大值(例如，當將權重設置成逐一增大時，100)的背景模型。如果存在像背景那樣的圖像，而不是靜止圖像，則可以假設生成了這樣的背景模型。而且，與圖2的時間tl的圖像一樣，在存在連續(xù)拍攝包括房屋和樹木的圖像和樹木在晃動的情況下，當關注房屋的預定位置上的墻壁時，可以看見墻壁，并且可以看到朝著墻壁晃動的樹木的樹葉。當觀看這樣的區(qū)域時，交替地看到墻壁和樹木的樹葉。從該區(qū)域獲得的背景模型很有可能存在墻壁的像素的亮度值的分布和樹木的樹葉的像素的亮度值的分布。 如上所述，估計從確定為背景的圖像(區(qū)域)獲得的背景模型至少具有一種分布，以及每種分布的權重具有相對較高數(shù)值。而且，由于一種分布在預定范圍內(nèi)具有亮度值，所以如果亮度值有所變化，則在該范圍內(nèi)亮度值可能被吸收掉。而且，如參考圖4的流程圖所述，由于進行包括更新、刪除和生成分布的處理，所以盡管背景的亮度值發(fā)生變化，但背景模型的分布不會突然改變。因此，從確定為背景的圖像中獲得的背景模型具有高權重的分布。在包括這樣背景模型的區(qū)域中，正常地生成背景，并較不可能錯誤地檢測不動體。另一方面，在從像車輛或人那樣的運動體頻繁地來來往往和亮度值突然變化的區(qū)域中獲得的背景模型中，由于亮度值突然變化，所以背景模型的亮度值的分布是分散的，并且一種分布的權重具有較低數(shù)值。在包括這樣背景模型的區(qū)域中，不能正常生成背景，并很有可能錯誤地檢測不動體。于是，不可處理區(qū)確定單元22檢測具有不動體有可能被錯誤檢測的概率的區(qū)域(圖像)。在下文中，將不動體有可能被錯誤檢測、以及即使檢測到不動體檢測的置信度也很低的區(qū)域稱為不可處理區(qū)。換句話說，當通過與置信度高的背景的比較來檢測不動體時，會高置信度地檢測到不動體，而難以高置信度地生成背景的區(qū)域被稱為不可處理區(qū)。另一方面，很有可能正常檢測到不動體以及檢測的置信度高的區(qū)域被稱為可處理區(qū)。從上面的描述中可明顯看出，在生成的背景模型中可以根據(jù)具有最高權重的分布的權重和更新數(shù)次確定可處理區(qū)或不可處理區(qū)。在下文中，將對具有最高權重的分布的權重高于通過更新次數(shù)和項數(shù)計算的閾值時確定可處理、而在其它情況下確定不可處理的情況加以描述。詳細地說，當生成的背景模型的分布當中具有最高權重的分布的權重用Wh (t，X)表達，在作出確定之前分布的更新次數(shù)用C(t，X)表達，以及在背景模型中表達的分布的數(shù)量是N時，按照下面的方程5確定一個像素是否屬于可處理區(qū)。方程5如果Wh (t，X) > P X C (t, X) /N:可處理否則:不可處理在上面的方程5中，^是調整參數(shù)，在正常情況下被設置成I。當在三項分布的情況下生成背景模型時，N是3。C(t，X)表示分布的更新次數(shù)。例如，在通過處理100個幀獲得的背景模型的情況下，C(t，X)是100。因此，分布的更新次數(shù)是要處理的幀的數(shù)量的累計值。根據(jù)上面的方程5，可以確定一個區(qū)域(像素)是否是可處理的。如果方程5中的不等號的右側被設置成預定閾值(固定值)以及權重等于或大于預定閾值，則可以確定該區(qū)域(像素)是可處理的。至此，已經(jīng)描述了在每個像素中生成背景模型以及根據(jù)方程5使用生成的背景模型確定一個區(qū)域是否是可處理的情況。也就是說，在這種情況下，確定每個像素是否是可處理的?？梢詰靡灶A定塊為單位，而不是每個像素地確定一個區(qū)域是否是集體可處理的配置。這樣，由于確定為可處理的像素和包括這個像素的區(qū)域使背景可以正常生成，所以在隨后處理中不會出現(xiàn)問題。但是，由于確定為不可處理的圖像(區(qū)域)使背景不能正常生成并引起不動體的誤檢，所以有必要對這樣的區(qū)域進行適當處理。在下文中，將對作為適當處理，向用戶展示確定為不可處理的區(qū)域的情況加以描述。將確定單元22的輸出供應給不動體展示單元38。如上所述,不動體展示單元38根據(jù)來自不動體檢測單元37的不動體信息，展示檢測到不動體的事實。按照如上所述的展示，將圍繞來自不動體檢測單元37的不動體信息指定的不動體區(qū)域的框架的屏幕顯示(OSD)疊加在來自圖像獲取單元11的當前圖像上，并顯示在顯示裝置(未例示)上。與檢測到不動體的區(qū)域類似，對于確定為不可處理的區(qū)域，將圍繞框架的屏幕顯示(OSD)疊加在來自圖像獲取單元11的當前圖像上，并顯示在顯示裝置(未例示)上，以便可以向用戶展示該區(qū)域。換句話說，向用戶展示不動體和不可處理區(qū)。由于用戶確認以這種方式展示的不可處理區(qū)，所以即使展示了在該區(qū)域中檢測到不動體，用戶也可以認識到不動體檢測的置信度是低的。而且，用戶還可以確定不處理置信度低的不動體。一旦用戶確認了這種情況，即使已經(jīng)確定不是不可處理區(qū)，也可以按照用戶的指令進行復位處理等。而且，一旦用戶確認了這種情況，即使已經(jīng)確定是不可處理區(qū)，用戶也可以停止該區(qū)域的展示，或可以改變展示方法。例如，作為確認結果，當不可處理區(qū)很有可能是以后的不可處理區(qū)時，如果繼續(xù)展示該區(qū)域，則可能妨礙觀看。因此，用戶可以阻止進行這樣的展示，或可以涂掉該區(qū)域。而且，可以將不可處理區(qū)通知通過網(wǎng)絡等連接的另一個裝置，該裝置可以使用自由顯示方法向用戶方展示不可處理區(qū)，或進行其它處理。在這種情況下，可以生成所檢測不可處理區(qū)具有I的值而可處理區(qū)具有0的值的圖像，并通過網(wǎng)絡將該圖像發(fā)送給其它裝置作為元數(shù)據(jù)。而且，在上面的方程5中，0是參數(shù)。參數(shù)0由用戶設置。當設置參數(shù)時，用戶可以直接設置數(shù)值。而且，為了使用戶可以容易理解，例如，可以像高、中或低那樣多步設置參數(shù)。當參數(shù)具有高值時，將3設置成具有大值。例如，當分高、中或低三步設置參數(shù)時，將參數(shù)P設置成具有2 (高)、1 (中)和0.5 (低)的數(shù)值。當0被設置成具有大于I的數(shù)值時，由于方程5的不等號的右側的數(shù)值變成大，所以不等號得不到滿足的情況可能增加，導致確定為不可處理的像素增加。例如，當車輛不那么頻繁來往但較不可能檢測到不動體的地方被確定為不可處理像素(區(qū)域)時，將3設置成具有大值。
如上所述，參數(shù)由用戶輸入，以便可以按照用戶的使用環(huán)境進行估計，并利用該估計進行處理等。如上所述，當允許用戶設置參數(shù)或進行與不可處理區(qū)的顯示方法等有關的設置時，如圖17所例示地提供參數(shù)設置單元81，以便將通過參數(shù)設置單元81設置的參數(shù)供應給不可處理區(qū)確定單元22。參數(shù)設置單元81具有獲取用戶設置的參數(shù)的功能等。例如，可以應用包括像鍵盤那樣的操作單元的配置。在將參數(shù)設置單元81設置的參數(shù)供應給不可處理區(qū)確定單元22之后，不可處理區(qū)確定單元22通過將供應的參數(shù)作為3的值代入方程5中進行處理。如上所述，可以允許用戶設置參數(shù)。至此，在上述實施例中，已經(jīng)描述了如向用戶展示的不可處理像素(區(qū)域)。但是，不僅可以展示不可處理區(qū)，而且可以進行不處理該區(qū)域的設置。例如，可以應用將有關不可處理區(qū)確定單元22確定為不可處理區(qū)的區(qū)域的信息供應給像運動體檢測單元31或不動體檢測單元37那樣的不動體檢測裝置的每個元件的配置(未例示)。借助于這樣的配置，例如，可以允許運動體檢測單元31進行不處理不可處理區(qū)(從該區(qū)域中未檢測到運動體)的設置，且不允許運動體檢測單元31處理該區(qū)域。借助于這樣的配置，可以減輕不動體檢測裝置的處理負擔。如上所述，可以在用戶確認不可處理區(qū)以及得到用戶的認可之后進行不處理不可處理區(qū)的設置。[不動體檢測裝置的處理]參考圖18，再次描述圖1的不動體檢測裝置的處理。在如下描述中，假設未檢測不可處理像素(區(qū)域)。圖18例示了在時間&到t8當前圖像、暫時停止圖像和背景的例子。在圖18中，在時間h，只有樹木出現(xiàn)在當前圖像中，背景生成單元21生成與當前圖像類似只包括樹木的圖像作為背景。此外 ，沒有暫時停止物體顯示在暫時停止圖像中。在時間h之后的時間t2，從右向左移動的汽車開始出現(xiàn)，與樹木一起反映在當前圖像的右側上。反映在當前圖像上的汽車被運動體檢測單元31檢測為運動體。此外，背景生成單元21不受汽車影響地生成只包括樹木的圖像作為背景。在時間t2之后的時間t3，汽車暫停(停止)，并與樹木一起反映在當前圖像的左側上。停止的汽車繼續(xù)被運動體檢測單元31檢測為運動體。但是，由于汽車只剛停止，所以暫時停止確定單元32未確定汽車暫時停止，且汽車未反映在暫時停止圖像上。此外，背景生成單元21不受汽車影響地生成只包括樹木的圖像作為背景。在時間t3之后的時間t4，汽車繼續(xù)暫停，與時間t3的情況類似地與樹木一起反映在當前圖像的左側上。在時間t4，由于汽車只繼續(xù)暫停預定時間間隔，所以暫時停止確定單元32確定汽車暫時停止，汽車被暫時停止圖像處理單元33登記(反映)在存儲在存儲單元34中的暫時停止圖像中作為暫時停止物體。這樣，暫時停止圖像是包括作為暫時停止物體的汽車的圖像。此外，在時間&，將作為暫時停止物體的汽車存儲在存儲單元34中，以便置信度處理單元35在與作為暫時停止物體的汽車相對應的存儲在存儲單元36中的置信度圖像中的區(qū)域的像素的像素值中設置不動體置信度的初始值C。。此外，在時間t4，背景生成單元21不受汽車影響地生成只包括樹木的圖像作為背
旦
o
在時間t4與時間t5之間，汽車繼續(xù)暫停，與時間t3和t4的情況類似地與樹木一起反映在時間t5的當前圖像的左側上。此外，包括作為暫時停止物體的汽車的暫時停止圖像繼續(xù)存儲在存儲單元34中，以及背景生成單元21不受汽車影響地生成只包括樹木的圖像作為背景。因此，從時間t4到時間t5，對于包括作為暫時停止物體的汽車的當前圖像的像素X，與當前圖像的像素X的像素值I (X)、暫時停止圖像的像素X的像素值P(X)、和背景的像素X的像素值B (X)有關，由于像素值I (X)與像素值P (X)之差的絕對值11 (X) -P (X) I小于閾值th，像素值I (X)與像素值B(X)之差的絕對值11 (X)-B(X) I等于或大于閾值th，以及像素值B(X)與像素值P(X)之差的絕對值IB(X)-P(X) I等于或大于閾值th，所以如參考圖12A所述，置信度處理單元35增加作為存儲在存儲單元36中的置信度圖像的像素(位置X的像素)X的像素值的不動體置信度C(X)。在時間t5，包括作為暫時停止物體的汽車的當前圖像的像素X的不動體置信度C(X)等于閾值th conf，使得當前圖像的作為暫時停止物體的汽車被不動體檢測單元37檢測為不動體。在時間t5之后的時間t6，汽車繼續(xù)暫停，與時間t3到t5的情況類似地與樹木一起反映在時間t6的當前圖像的左側上。此外，包括作為暫時停止物體的汽車的暫時停止圖像繼續(xù)存儲在存儲單元34中。此外，在時間t6，由于從汽車暫停的時間t3開始經(jīng)過了與不動體識別時間m的大約五倍相對應的時間，所以背景生成單元21因汽車的影響生成包括樹木和汽車的圖像作為背景。在時間t6與時間t7之間，汽車繼續(xù)暫停，與時間t3到t6的情況類似地與樹木一起反映在時間t7的當前圖像的左側上。此外，包括汽車的暫時停止圖像繼續(xù)存儲在存儲單元34中，以及背景生成單元21因汽車的影響生成包括樹木和汽車的圖像作為背景。因此，從時間〖6到時間t7，對于包括汽車的當前圖像的像素X，與當前圖像的像素X的像素值I (X)、暫時停止圖像的像素X的像素值P (X)、和背景的像素X的像素值B (X)有關，由于像素值I⑴與像素值P⑴之差的絕對值11⑴-P⑴I小于閾值th，像素值I⑴與像素值B (X)之差的絕對值Il(X)-B(X) I小于閾值th，以及像素值B (X)與像素值P (X)之差的絕對值IB(X)-P(X) I小于閾值th，所以如參考圖12B所述，置信度處理單元35減小作為存儲在存儲單元36中的置信度圖像的像素(位置X的像素)X的像素值的不動體置信度C(X)。在時間t7，包括汽車的當前圖像的像素X的不動體置信度C(X)小于閾值th_conf，使得當前圖像的汽車未被不動體檢測單元37檢測為不動體。此后，由于汽車繼續(xù)暫停，所以繼續(xù)減小包括汽車的當前圖像的像素X的不動體置信度C(X)。在時間t7之后的時間t8，由于包括汽車的當前圖像的像素X的不動體置信度C(X)是0，所以暫時停止圖像處理單元33刪除(移除)不動體置信度為0的存儲在存儲單元34中的汽車。
至此，在上述情況下，當像素X的不動體置信度C (X)等于或大于閾值th_conf時，將像素X檢測為不動體。但是，即使像素X的不動體置信度C (X)等于或大于閾值th_conf，但如果不動體置信度C(X)單調降低，則可以阻止將像素X檢測為不動體(不將像素X檢測為不動體)。也就是說，在圖1的不動體檢測裝置中，例如，當如參考圖18所述作為暫時停止物體的汽車繼續(xù)暫停并反映在背景上時，如果包括汽車的像素X的不動體置信度C (X)繼續(xù)減小并變成小于閾值th_conf時，則不將汽車檢測為不動體。因此，在繼續(xù)停止的汽車反映在背景上之后，由于包括汽車的像素的不動體置信度單調降低然后變成小于閾值th_conf，所以不將汽車檢測為不動體。因此，包括汽車的像素的不動體置信度單調降低的事實意味著未來不將汽車檢測為不動體。關于這一點，即使像素X的不動體置信度C (X)等于或大于閾值th_conf，但如果不動體置信度C(X)單調降低，則可以阻止將像素X檢測為不動體。圖19是描述不動體置信度C(X)單調降低時阻止像素X被檢測為不動體的圖形。也就是說，圖19是例示不動體置信度C(X)的圖形。如圖19所例示，即使像素X的不動體置信度C(X)等于或大于閾值th_conf，但如果不動體置信度C(X)在預定時間間隔At內(nèi)只繼續(xù)降低(單調降低)，則可以阻止在不動體檢測單元37中將像素X檢測為不動體。另外,例如，即使像素X的不動體置信度C(X)小于閾值th_conf,但如果不動體置信度C(X)在預定時間間隔At內(nèi)只繼續(xù)升高(單調升高)，則可以讓不動體檢測單元37將像素X檢測為不動體。[多個暫時停止圖像和置信度圖像]至此，在上述情況下，假設將一個(與一個屏幕相對應)暫時停止圖像和一個置信度圖像分別存儲在存儲單元34和36 (圖1)中。但是，可以將多個暫時停止圖像和多個置信度圖像分別存儲在存儲單元34和36中。圖20是說明三個暫時停止圖像和三個置信度圖像被分別存儲在存儲單元34和36中時圖1的不動體檢測裝置的處理的圖形。另外，準備了相同數(shù)量的多個暫時停止圖像P#i和多個置信度圖像Q#i。而且，使一個暫時停止圖像P#i和一個置信度圖像Q#i相互聯(lián)系以便用作一對。假設三個暫時停止圖像P#1、P#2和P#3存儲在存儲單元34中，以及與暫時停止圖像P#l、P#2和P#3形成配對的三個置信度圖像Q#1、Q#2和Q#3存儲在存儲單元36中。當將來自暫時停止確定單元32的新暫時停止物體登記在存儲單元34中時，暫時停止圖像處理單元33從存儲單元36的置信度圖像Q#1、Q#2和Q#3中檢測與暫時停止物體相對應的區(qū)域的每個不動體置信度都是0的一個置信度圖像Q#i。然后，暫時停止圖像處理單元33在和其中與暫時停止物體相對應的區(qū)域的每個不動體置信度都是0的置信度圖像Q#i形成配對的存儲單元34的暫時停止圖像Ptn到P#3的暫時停止圖像P#i中登記(改寫)新暫時停止物體。在圖20中，在置信度圖像Q#1到Q#3當中，由于只有置信度圖像Q#3是其中與新暫時停止物體相對應的區(qū)域的每個不動體置信度是0的圖像，所以將新暫時停止物體登記在與置信度圖像Q#3形成配對的暫時停止圖像P#3中。另外，在置信度圖像Q#1到Q#3當中，當不存在其中與暫時停止物體相對應的區(qū)域的每個不動體置信度都是0的置信度圖像時，從置信度圖像Qtn到Q#3中檢測與暫時停止物體相對應的區(qū)域的不動體置信度的平均值最小的置信度圖像，并將新暫時停止物體登記在與所檢測置信度圖像形成配對的暫時停止圖像中。而且，與一個暫時停止圖像的情況類似，暫時停止圖像處理單元33按照上面的方程I和2獨立地更新存儲在存儲單元34中的暫時停止圖像P#1到P#3。當已經(jīng)將暫時停止物體新登記在存儲在存儲單元34中的暫時停止圖像P#i中時，與一個暫時停止圖像的情況類似，置信度處理單元35只在不動體置信度中設置初始值Ctl,作為與新登記了暫時停止物體的暫時停止圖像P#i形成配對的、存儲在存儲單元36中的置信度圖像Q#1到Q#3的置信度圖像Q#i的像素值。然后，與一個暫時停止圖像的情況類似，置信度處理單元35使用與置信度圖像Q#i形成配對的暫時停止圖像P#i獨立地更新存儲在存儲單元36中的置信度圖像Q#1到Q#3的每個不動體置信度。對于存儲在存儲單元36中的置信度圖像Q#1到Q#3,與一個暫時停止圖像的情況類似，不動體檢測單元37使用置信度圖像Q#i獨立地檢測不動體。如上所述，由于使用了多個暫時停止圖像和多個置信度圖像，所以即使相同數(shù)量的不動體與暫時停止圖像和置信度圖像重疊，也可以分開檢測重疊不動體。[應用本技術的網(wǎng)絡攝像機]可以應用檢測不動體的不動體檢測裝置例如被包括在例示在圖21中的網(wǎng)絡攝像機的一部分中的配置。例示在圖21中的網(wǎng)絡攝像機包括成像單元91、圖像信號處理單元92、圖像數(shù)據(jù)處理單元93、圖像處理單元94、和發(fā)送單元95。將成像單元91捕獲的圖像的信號供應給圖像信號處理單元92，經(jīng)受像清晰度提高那樣的圖像處理。將圖像處理之后的信號供應給圖像數(shù)據(jù)處理單元93，經(jīng)受通過適合發(fā)送單元95發(fā)送的壓縮方案的壓縮處理，并通過網(wǎng)絡從發(fā)送單元95發(fā)送給另一個裝置。而且，還將來自圖像信號處理單元92的信號供應給圖像處理單元94。圖像處理單元94包括例示在圖1或圖17中的不動體檢測裝置，以及例如，將有關所檢測不動體的信息、有關作為背景的置信度低的區(qū)域的信息等供應給發(fā)送單元95作為元數(shù)據(jù)。發(fā)送單元95通過網(wǎng)絡將供應的元數(shù)據(jù)與來自圖像數(shù)據(jù)處理單元93的捕獲數(shù)據(jù)一起發(fā)送給其它裝置。應用本技術的不動體檢測裝置可以應用于具有這樣配置的網(wǎng)絡攝像機。而且，盡管未例示在圖中，但本技術也可以應用于信號處理IC等。而且，本技術也可以應用于例示在圖22中的計算機。[應用本技術的計算機的說明]接著，如上所述的一系列處理可以通過硬件或軟件來執(zhí)行。當一系列處理通過軟件來執(zhí)行時，將構成軟件的程序安裝在通用計算機等中。關于這一點，圖22例示了安裝了進行一系列處理的程序的計算機的一個實施例的配置例子。程序可以事先記錄在作為內(nèi)置在計算機中的記錄媒體的硬盤105或R0M103中。可替代地，程序可以存儲(寄存)在可換式記錄媒體111中。這樣的可換式記錄媒體111可以作為軟件包來提供。這里，可換式記錄媒體111包括，例如，軟盤、光盤只讀存儲器(⑶-ROM)、磁光(MO)盤、數(shù)字多功能盤(DVD)、磁盤、半導體存儲器等。除了從上述可換式記錄媒體111安裝到計算機上之外，也可以通過通信網(wǎng)絡或廣播網(wǎng)絡將程序下載到計算機中，或可以安裝在內(nèi)置在計算機中的硬盤105中。也就是說，例如，可以通過用于數(shù)字衛(wèi)星廣播的人造衛(wèi)星以無線方式將程序從下載服務器發(fā)送到計算機，或可以通過像局域網(wǎng)(LAN)或互聯(lián)網(wǎng)那樣的網(wǎng)絡以有線方式將程序從下載服務器發(fā)送到計算機。該計算機含有中央處理單元(CPU) 102，并通過總線101將輸入/輸出接口 110與CPU 102 連接。如果用戶操作輸入單元107并通過輸入/輸出接口 110輸入命令，則CPU102按照該命令執(zhí)行存儲在只讀存儲器(ROM) 103中的程序?？商娲氖牵珻PU 102將存儲在硬盤105中的程序裝載到隨機訪問存儲器(RAM) 104中并執(zhí)行裝載的程序。這樣，CPU 102進行基于上述流程圖的處理或基于上述方塊圖的配置的處理。然后，例如，CPU 102從輸出單元106輸出處理的結果或通過輸入/輸出接口 110從通信單元108發(fā)送處理的結果，或按照必要性將處理的結果寄存在硬盤105中。另外，輸入單元107包括鍵盤、鼠標、麥克風等。而且，輸出單元106包括液晶顯示器(IXD)、揚聲器等。在本說明書中，計算機根據(jù)程序進行的處理可以不按流程圖的次序依時序進行。也就是說，計算機根據(jù)程序進行的處理可以包括以并行方式或以分別方式進行的處理(例如，并行處理或基于對象處理)。而且，程序也可以由一臺計算機(處理器)執(zhí)行，或者也可以由多臺計算機分布式地執(zhí)行。此外，程序也可以發(fā)送給遠程計算機來執(zhí)行。本領域的普通技術人員應該明白，只要在所附權利要求書或其等效物的范圍之內(nèi)，視設計要求和其它因素而定，可以作出各種各樣的修改、組合、分組合和變更。也就是說，在本實施例中，如果從不動體檢測單元37供應不動體信息，則不動體展示單元38通過聲音、圖像、燈泡的閃爍或發(fā)光等向用戶展示(通知)不動體的檢測目的。但是，不動體檢測單元37獲得的不動體信息可以作為圖像的元數(shù)據(jù)通過網(wǎng)絡與圖像獲取單元11獲取的圖像一起發(fā)送。而且，在本實施例中，通過二值化，不動體檢測單元37將不動體置信度等于或大于閾值的存儲在存儲單元36中的置信度圖像的像素的像素值設置成1，并將不動體置信度小于閾值的像素的像素值設置成0，從而獲得二值化置信度圖像。但是，可替代的是，二值化置信度圖像可以，例如，通過二值化，也就是說，通過將具有等于或大于閾值的不動體置信度、包括暫時停止物體、和在存儲在存儲單元34中之后的預定時間間隔或更長內(nèi)存在的置信度圖像的像素的像素值設置成I ;而將其它像素的像素值設置成0來獲得。而且，圖1的不動體檢測裝置可以應用于，例如，能夠通過網(wǎng)絡發(fā)送捕獲圖像的網(wǎng)絡攝像機、用于聯(lián)網(wǎng)模擬圖像的裝置(通過網(wǎng)絡發(fā)送模擬圖像的裝置或個人計算機(PO)、或其它裝置。在本說明書中，“等于或大于”或“等于或小于”可以代表“大于”或“小于”，或“大于”或“小于”可以代表“等于或大于”或“等于或小于”。而且，本技術也可以配置成如下那樣。(I)一種圖像處理裝置，其包括:
生成單元，配置成從所獲取圖像中生成多項分布的背景模型，并生成背景；以及確定單元，配置成確定是否可以從所述生成單元生成的背景模型中生成置信度高的背景。(2)按照(I)所述的圖像處理裝置，其中所述背景模型包括將預定坐標上的亮度值與亮度值的出現(xiàn)頻率相聯(lián)系的分布，以及當頻率最高的分布大于預定值時，所述確定單元確定可以生成置信度高的背景。(3)按照(2)所述的圖像處理裝置，其中所述預定值是從多項分布的項數(shù)和背景模型的更新次數(shù)中計算的。(4)按照(I)至(3)的任何一項所述的圖像處理裝置，其中向用戶展示所述確定單元確定為不能生成置信度高的背景的區(qū)域的區(qū)域。(5)按照(I)所述的圖像處理裝置，進一步包括:運動體檢測單元，配置成從當前圖像中檢測作為與所述生成單元生成的背景不同的圖像的運動體；暫時停止確定單元，配置成確定運動體是否暫停了預定時間間隔或更長；置信度處理單元，配置成使用當前圖像和包括暫時停止物的暫時停止圖像關于當前圖像的像素計算不動體置信度，所述暫時停止物是暫停了預定時間間隔或更長的運動體，所述不動體置信度代表成為不動體的可能性，所述不動體是在預定時間間隔或更長內(nèi)不變的與背景不同的圖像；以及不動體檢測單元，配置成根據(jù)所述不動體置信度從當前圖像中檢測不動體。(6)一種圖像處理方法，其包括:從所獲取圖像中生成多項分布的背景模型，并生成背景；以及確定是否可以從所生成背景模型中生成置信度高的背景。(7)一種使計算機起如下作用的程序:生成單元，配置成從所獲取圖像中生成多項分布的背景模型，并生成背景；以及確定單元，配置成確定是否可以從所述生成單元生成的背景模型中生成置信度高的背景。本公開包含與公開在2011年9月16日向日本專利局提交的日本優(yōu)先權專利申請JP 2011-202748中的主題有關的主題，特此通過引用并入其全部內(nèi)容。
權利要求
1.一種圖像處理裝置，其包含: 生成單元，配置成從所獲取圖像中生成多項分布的背景模型，并生成背景；以及 確定單元，配置成確定是否可以從所述生成單元生成的背景模型中生成置信度高的背
2.按照權利要求1所述的圖像處理裝置，其中所述背景模型包括將預定坐標上的亮度值與亮度值的出現(xiàn)頻率相聯(lián)系的分布，以及 當頻率最高的分布大于預定值時，所述確定單元確定可以生成置信度高的背景。
3.按照權利要求2所述的圖像處理裝置，其中所述預定值是從多項分布的項數(shù)和背景模型的更新次數(shù)中計算的。
4.按照權利要求1所述的圖像處理裝置，其中向用戶展示所述確定單元確定為不能生成置信度高的背景的區(qū)域的區(qū)域。
5.按照權利要求1所述的圖像處理裝置，進一步包含: 運動體檢測單元，配置成從當前圖像中檢測作為與所述生成單元生成的背景不同的圖像的運動體； 暫時停止確定單元，配置成確定運動體是否暫停了預定時間間隔或更長； 置信度處理單元，配置成使用當前圖像和包括暫時停止物體的暫時停止圖像關于當前圖像的像素計算不動體置信度，所述暫時停止物體是暫停了預定時間間隔或更長的運動體，所述不動體置信度代表成為不動體的可能性，所述不動體是在預定時間間隔或更長內(nèi)不變的與背景不同的圖像；以及 不動體檢測單元，配置成根據(jù)所述不動體置信度從當前圖像中檢測不動體。
6.一種圖像處理方法，其包含: 從所獲取圖像中生成多項分布的背景模型，并生成背景；以及 確定是否可以從所生成背景模型中生成置信度高的背景。
7.一種使計算機起如下作用的程序: 生成單元，配置成從所獲取圖像中生成多項分布的背景模型，并生成背景；以及 確定單元，配置成確定是否可以從所述生成單元生成的背景模型中生成置信度高的背旦 o
全文摘要
本發(fā)明提供了一種圖像處理裝置，其包括生成單元，配置成從所獲取圖像中生成多項分布的背景模型，并生成背景；以及確定單元，配置成確定是否可以從所述生成單元生成的背景模型中生成置信度高的背景。
文檔編號G06T7/20GK103198490SQ20121032882
公開日2013年7月10日 申請日期2012年9月7日 優(yōu)先權日2011年9月16日
發(fā)明者西野勝章 申請人:索尼公司