專利名稱：異常檢測裝置以及異常檢測程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種使用由攝像裝置拍攝的攝像數(shù)據(jù)對監(jiān)視對象的異常 進(jìn)行檢測的異常檢測裝置及異常檢測程序。10背景技術(shù)為了應(yīng)付犯罪發(fā)生率增加等的社會不穩(wěn)定現(xiàn)象，以監(jiān)視可疑人員和可 疑車輛等為目的的攝像機(jī)的設(shè)置臺數(shù)正在增加。在使用眾多的攝像機(jī)進(jìn)行監(jiān)視時，需要用于由較少的監(jiān)視人員有效地對監(jiān)視區(qū)域進(jìn)行監(jiān)視的監(jiān)視支 援技術(shù)。15 作為上述監(jiān)視支援技術(shù)，例如在專利文獻(xiàn)1 (特開2006-79272號公報)中公開了一種檢測技術(shù)，其提取被稱為立體高次局部自相關(guān)特征的圖像特 征量，使用該特征量對圖像中的人的正常活動進(jìn)行學(xué)習(xí)，并將從學(xué)習(xí)到的 正常行動中偏離的行動檢測為異常行動。此外，在專利文獻(xiàn)2 (特開平7-78239號公報)中公開了一種檢測技20術(shù)，其將工廠設(shè)備正常運(yùn)轉(zhuǎn)時的圖像作為正常狀態(tài)進(jìn)行學(xué)習(xí)，并將從學(xué)習(xí) 到的正常狀態(tài)中偏離的狀態(tài)檢測為異常狀態(tài)。在該檢測技術(shù)中，在檢測到 異常狀態(tài)時，通過與事先學(xué)習(xí)到的多種異常狀態(tài)的模式進(jìn)行對照，對異常 狀態(tài)的種類進(jìn)行識別。專利文獻(xiàn)1特開2006-79272號公開25 專利文獻(xiàn)2特開平7-78239號公開在專利文獻(xiàn)1所公開的檢測技術(shù)中，對于將正常行動誤檢測為異常行 動的誤報，通過將該圖像進(jìn)行追加學(xué)習(xí)并對正常行動的范圍進(jìn)行更新就能 夠進(jìn)行應(yīng)對。但是，在專利文獻(xiàn)1所公開的檢測技術(shù)中存在以下問題，艮P， 30對于不能檢測異常行動從而將異常行動誤檢測為正常行動的漏報，即使對正常行動的圖像進(jìn)行追加學(xué)習(xí)，也無法使漏報減少。此外，在專利文獻(xiàn)2所公開的檢測技術(shù)中，除了能夠采用與專利文獻(xiàn) 1所公開的檢測技術(shù)相同的方法進(jìn)行異常狀態(tài)的檢測以外，還能夠在檢測到異常狀態(tài)時對異常狀態(tài)的種類進(jìn)行識別。但是，專利文獻(xiàn)2所公開的檢測技術(shù)與專利文獻(xiàn)1所公開的檢測技術(shù)一樣，是將從事先學(xué)習(xí)到的正常狀 態(tài)偏離的狀態(tài)作為異常狀態(tài)進(jìn)行檢測的技術(shù)，所以存在即使對正常狀態(tài)的 圖像進(jìn)行追加學(xué)習(xí)，也無法使漏報減少的問題。發(fā)明內(nèi)容本發(fā)明是為了解決上述問題而作出的，本發(fā)明的目的在于提供一種異常檢測裝置和異常檢測程序，其能夠通過學(xué)習(xí)來減少將異常的監(jiān)視對象誤 檢測為正常的監(jiān)視對象的漏報。為了實現(xiàn)上述目的，本發(fā)明的異常檢測裝置的特征在于，g卩，該異常檢測裝置具有獲取監(jiān)視對象的攝像數(shù)據(jù)的攝像數(shù)據(jù)獲取部；正常學(xué)習(xí)數(shù)據(jù)存儲部，其存儲對正常的所述監(jiān)視對象事先進(jìn)行學(xué)習(xí)而獲得的正常學(xué)習(xí) 數(shù)據(jù)；正常判斷部，其根據(jù)所述攝像數(shù)據(jù)以及所述正常學(xué)習(xí)數(shù)據(jù)，判斷所 述攝像數(shù)據(jù)中所包含的監(jiān)視對象是否正常；異常學(xué)習(xí)數(shù)據(jù)存儲部，其存儲 對異常的所述監(jiān)視對象事先進(jìn)行學(xué)習(xí)而獲得的異常學(xué)習(xí)數(shù)據(jù)；異常判斷 部，其根據(jù)所述攝像數(shù)據(jù)以及所述異常學(xué)習(xí)數(shù)據(jù)，判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象是否異常；和綜合判斷部，其根據(jù)所述正常判斷部的判斷結(jié)果以及所述異常判斷部的判斷結(jié)果，判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視 對象是正常還是異常。此外，為了實現(xiàn)上述目的，本發(fā)明的異常檢測程序的特征在于，即，使電子計算機(jī)作為如下各部發(fā)揮功能獲取監(jiān)視對象的攝像數(shù)據(jù)的攝像數(shù)據(jù)獲取部；正常判斷部，其根據(jù)事先存儲的對正常的所述監(jiān)視對象事先進(jìn) 行學(xué)習(xí)而獲得的正常學(xué)習(xí)數(shù)據(jù)以及所述攝像數(shù)據(jù)，來判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象是否正常；異常判斷部，其根據(jù)事先存儲的對異常的所述監(jiān)視對象事先進(jìn)行學(xué)習(xí)而獲得的異常學(xué)習(xí)數(shù)據(jù)以及所述攝像數(shù)據(jù)，來判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象是否異常；以及綜合判斷部，其根據(jù)所述正常判斷部的判斷結(jié)果以及所述異常判斷部的判斷結(jié)果，來判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象是正常還是異常。因而，根據(jù)本發(fā)明，能夠通過學(xué)習(xí)，減少將異常的監(jiān)視對象誤檢測為 正常的監(jiān)視對象的漏報。

圖1是表示具有本發(fā)明的第1實施方式所涉及的異常檢測裝置的異常 檢測系統(tǒng)的框圖。圖2是表示圖1的正常判斷部的詳細(xì)框圖。 圖3是表示圖1的異常判斷部的詳細(xì)框圖。io 圖4(a)是攝像數(shù)據(jù)的說明圖。圖4(b)特征量的計算對象的說明圖。圖5是表示計算立體高次局部自相關(guān)特征時使用的掩模圖案的例示圖。圖6是表示用于生成正常學(xué)習(xí)數(shù)據(jù)的正常學(xué)習(xí)數(shù)據(jù)生成裝置的框圖。 15 圖7是在主分量分析中得到的各個主分量的累積貢獻(xiàn)率的說明圖。圖8是由正常度計算部所進(jìn)行的正常度的計算處理的說明圖。 圖9是表示用于生成異常學(xué)習(xí)數(shù)據(jù)的異常學(xué)習(xí)數(shù)據(jù)生成裝置的框圖。 圖IO是由異常度計算部所進(jìn)行的異常度的計算處理的說明圖。 圖11是表示圖1的綜合判斷部的詳細(xì)框圖。 20 圖12(a)和(b)是綜合判斷表的示例說明圖。圖13是對圖1的異常檢測裝置的動作例進(jìn)行說明的流程圖。 圖14是對正常判斷部的動作例進(jìn)行說明的流程圖。 圖15是對異常判斷部的動作例進(jìn)行說明的流程圖。 圖16是對特征量計算部的動作例進(jìn)行說明的流程圖。 25 圖17是對正常學(xué)習(xí)數(shù)據(jù)生成裝置的動作例進(jìn)行說明的流程圖。圖18是對異常學(xué)習(xí)數(shù)據(jù)生成裝置的動作例進(jìn)行說明的流程圖。 圖19是表示本發(fā)明的第2實施方式所涉及的異常檢測裝置的框圖。 圖20是表示本發(fā)明的第3實施方式所涉及的異常檢測裝置主要部分 的框圖。30 圖21是表示本發(fā)明的第3實施方式所涉及的異常檢測裝置主要部分的框圖。圖22是表示本發(fā)明的第4實施方式所涉及的異常檢測裝置主要部分 的框圖。圖中20A、 20B、 20C、 20D 異常檢測裝置 21攝像數(shù)據(jù)獲取部22A、22B、22C1、 22C2正常學(xué)習(xí)數(shù)據(jù)存儲部23A、23B、23C正常判斷部24A、22B、22CK 22C2異常學(xué)習(xí)數(shù)據(jù)存儲部io 25A、25B、25C異常判斷部26A、26D綜合判斷部具體實施方式
以下參照適當(dāng)附圖對本發(fā)明的實施方式進(jìn)行說明。對相同的部分賦予15 相同的符號，并省略重復(fù)說明。本發(fā)明的異常檢測裝置所檢測的異常包含從多個幀(圖像)中檢測到的 異常行動以及從單個幀中檢測到的異常狀態(tài)這兩個概念。在以下的實施方 式中，以檢測異常行動的情況為例進(jìn)行說明，但其并不構(gòu)成對本發(fā)明的技 術(shù)范圍的任何限制。此外，本發(fā)明的監(jiān)視對象中包含有人、動物以及車輛 20 等。<第1實施方式〉 《異常檢測系統(tǒng)》圖1是表示具有本發(fā)明的第1實施方式所涉及的異常檢測裝置的異常 檢測系統(tǒng)的框圖。如圖1所示，該異常檢測系統(tǒng)具有攝像裝置10、異常行25動檢測裝置20A以及外部裝置30。攝像裝置10是對監(jiān)視對象進(jìn)行攝像的裝置(例如攝像機(jī)等)。通過攝像 所得到的攝像數(shù)據(jù)被輸出到異常檢測裝置20A中。此外，異常檢測系統(tǒng)可 以使用圖像再生裝置(例如錄像機(jī)等)來代替攝像裝置10。在使用了圖像再 生裝置時，從圖像再生裝置向異常檢測裝置20A輸出攝像數(shù)據(jù)。在使用實30時圖像時優(yōu)選使用攝像裝置10;在使用過去所蓄積的圖像時優(yōu)選使用圖像再生裝置。異常檢測裝置20A是具有例如CPU、 RAM、 ROM及輸入輸出電路， 且使用攝像數(shù)據(jù)來檢測監(jiān)視對象異常的裝置。在本實施方式中，異常檢測 裝置20A對監(jiān)視對象的異?；顒舆M(jìn)行檢測。在檢測到異常行動時，其檢測 5結(jié)果被輸出到外部裝置30中。外部裝置30是用來輸出異常檢測裝置20A的檢測結(jié)果的裝置(例如揚(yáng) 聲器和顯示器等)。此外，外部裝置30還可以構(gòu)成為進(jìn)一步具備將向保安 人員通知檢測結(jié)果的保安人員用終端、根據(jù)檢測結(jié)果對電梯的移動進(jìn)行限 制的電梯控制裝置以及根據(jù)檢測結(jié)果限制自動門動作的自動門控制裝置 io等。也就是說，通過異常檢測裝置20A將檢測結(jié)果通報給電梯控制裝置或 者自動門控制裝置，就能夠限制電梯或者自動門的動作從而防止作為監(jiān)視 對象的人即可疑人員侵入。 《異常檢測裝置20A的詳細(xì)結(jié)構(gòu)》以下對異常檢測裝置20A的詳細(xì)結(jié)構(gòu)進(jìn)行說明。如圖1所示，異常檢 15測裝置20A具有攝像數(shù)據(jù)獲取部21、正常學(xué)習(xí)數(shù)據(jù)存儲部22A、正常判 斷部23A、異常學(xué)習(xí)數(shù)據(jù)存儲部24A、異常判斷部25A、綜合判斷部26A 以及通報部27作為其功能部。攝像數(shù)據(jù)獲取部21獲取從攝像裝置IO輸出的攝像數(shù)據(jù)。所獲取的攝 像數(shù)據(jù)被輸出到正常判斷部23A以及異常判斷部25A。 20 正常學(xué)習(xí)數(shù)據(jù)存儲部22A存儲監(jiān)視對象的正常行動的事先學(xué)習(xí)結(jié)果即正常學(xué)習(xí)數(shù)據(jù)。正常判斷部23A根據(jù)從攝像數(shù)據(jù)獲取部21輸出的攝像數(shù)據(jù)以及從正 常學(xué)習(xí)數(shù)據(jù)存儲部22A中讀取的正常學(xué)習(xí)數(shù)據(jù)來判斷攝像數(shù)據(jù)中所包含 的監(jiān)視對象的行動是否為正常行動。在此，在監(jiān)視對象的行動不是正常行 25動的情況下(非正常行動)，正常判斷部23A將監(jiān)視對象的行動判斷為異常 行動。判斷結(jié)果被輸出到綜合判斷部26A中。異常學(xué)習(xí)數(shù)據(jù)存儲部24A存儲監(jiān)視對象的異常行動的事先學(xué)習(xí)結(jié)果 即異常學(xué)習(xí)數(shù)據(jù)。異常判斷部25A根據(jù)從攝像數(shù)據(jù)獲取部21輸出的攝像數(shù)據(jù)以及從異 30常學(xué)習(xí)數(shù)據(jù)存儲部24A中讀取的異常學(xué)習(xí)數(shù)據(jù)來判斷攝像數(shù)據(jù)中所包含的監(jiān)視對象的行動是否為異常行動。在此，在監(jiān)視對象的行動不是異常行動的情況下(非異常行動)，異常判斷部25A將監(jiān)視對象的行動判斷為正常 行動。判斷結(jié)果被輸出到綜合判斷部26A中。綜合判斷部26A根據(jù)正常判斷部23A的判斷結(jié)果以及異常判斷部25A 5的判斷結(jié)果，綜合性地判斷攝像數(shù)據(jù)中所包含的監(jiān)視對象的行動是正常行 動還是異常行動。判斷結(jié)果被輸出到通報部27中。通報部27在根據(jù)綜合判斷部26A的判斷結(jié)果而判斷監(jiān)視對象的行動 為異常行動的情況下，將通知該異常行動的通報數(shù)據(jù)輸出到外部裝置30。 《正常判斷部23A的詳細(xì)結(jié)構(gòu)》 io 第1實施方式所涉及的正常判斷部23A例如使用日本特開2006-79272號公報中所公開的判斷方法來判斷監(jiān)視對象的行動是否為正常行動。此 時，正常學(xué)習(xí)數(shù)據(jù)存儲部22A中所存儲的正常學(xué)習(xí)數(shù)據(jù)為線性變換矩陣、 分布中心(重心)以及方差協(xié)方差矩陣的逆矩陣。關(guān)于這些在后文中進(jìn)行說 明。15 圖2是表示圖1的正常判斷部的詳細(xì)框圖。如圖2所示，正常判斷部23A具有運(yùn)動提取部23a、特征量計算部23b、特征量變換部23c、正常度 計算部23d、正常度閾值存儲部23e以及正常度判斷部23f。運(yùn)動提取部23a從由攝像數(shù)據(jù)獲取部21獲取的攝像數(shù)據(jù)中提取有運(yùn) 動的部分。這是為了刪除與判斷無關(guān)的靜止部分(例如背景等)的攝像數(shù)據(jù)20 而進(jìn)行的。為了提取有運(yùn)動的部分，運(yùn)動提取部23a可以使用日本特開 2005-92346號公報中所公幵的畫像處理方法，例如，單純地提取2個幀之 間的差分的方法以及在實施了邊緣提取處理后提取2個幀之間的差分的方 法等。運(yùn)動提取部23a在提取有運(yùn)動的部分后，為了除去由于照明變更等 而引起的雜波的影響，對于有運(yùn)動的部分實施二值化處理，以取得像素值25為0或者1的值。提取了有運(yùn)動的部分并實施二值化處理后的攝像數(shù)據(jù)被 輸出到特征量計算部23b中。特征量計算部23b對有運(yùn)動的部分的特征量進(jìn)行計算。特征量計算部 23b能夠使用日本特開2006-92346號公報中所公開的立體高次局部自相關(guān) 特征作為特征量。立體高次局部自相關(guān)特征是將由3個連續(xù)幀的圖像組成30的三維像素數(shù)據(jù)(voxel data)的幾何學(xué)特征作為251維的特征向量進(jìn)行計算的方法。關(guān)于該特征量的計算方法將在后文中進(jìn)行說明。計算出來的特征量即特征向量被輸出到特征量變換部23c中。特征量變換部23c使用正常學(xué)習(xí)數(shù)據(jù)存儲部22中所存儲的變換矩陣 對由特征量計算部23b計算出的特征量、即特征向量進(jìn)行坐標(biāo)變換(線性變 5 換)。該變換用于提取在特征向量中包含的正常行動的分量。在此，將由特 征量計算部23b計算出的特征向量設(shè)定為x，將正常學(xué)習(xí)數(shù)據(jù)存儲部22 中所存儲的變換矩陣設(shè)定為A，將由特征量變換部23c變換后的特征向量 設(shè)定為x'時，該變換由公式(l)表示。x，-Ax …公式(1)io 變換矩陣A是通過主分量分析等的多變量解析而計算出的矩陣。關(guān)于 該變換矩陣A的計算方法將在后文中進(jìn)行說明。將高次局部自相關(guān)特征即 251維的特征向量x作為攝像數(shù)據(jù)的特征量使用時，變換矩陣A是大小為 nX251(n=l， 2，， 251)的矩陣。此外，由變換矩陣A線性變換后的特 征向量x'成為n維的向量。變換后的特征量即特征向量x'被輸出到正常度15 計算部23d中。正常度計算部23d使用通過特征量變換部23c進(jìn)行了變換的特征向量 x，計算用于表示與事先學(xué)習(xí)到的正常行動的類似程度的正常度。在此，正 常度為標(biāo)量，該值越小就表示正常度越高；該值越大就表示正常度越低， 即表示其為異常。關(guān)于正常度的具體計算方法將在后文中進(jìn)行說明。計算20出的正常度被輸出到正常度判斷部23f中。正常度閾值存儲部23e用來存儲正常度閾值。正常度判斷部23f根據(jù)通過正常度計算部23d計算出的正常度，判斷 監(jiān)視對象的行動是否為正常行動。正常度判斷部23f將存儲在正常度閾值 存儲部23e中的正常度閾值作為判斷標(biāo)準(zhǔn)使用。當(dāng)正常度在正常度閾值以 25 下時，正常度判斷部23f判斷監(jiān)視對象的行動為正常行動。另一方面，在 正常度超過了正常度閾值時，正常度判斷部23f判斷監(jiān)視對象的行動不是 正常行動(非正常行動)即異常行動。判斷結(jié)果被輸出到綜合判斷部26中。 《異常判斷部25A的詳細(xì)結(jié)構(gòu)》第1實施方式所涉及的異常判斷部25A例如使用日本特開2006-79272 30號公報中所公開的判斷方法來判斷監(jiān)視對象的行動是否為異常行動。此時，異常學(xué)習(xí)數(shù)據(jù)存儲部24A中所存儲的異常學(xué)習(xí)數(shù)據(jù)是線性變換矩陣、分布中心(重心)以及方差協(xié)方差矩陣(分散共分散行列)的逆矩陣。關(guān)于 這些將在后文中進(jìn)行說明。圖3是表示圖1的異常判斷部的詳細(xì)框圖。如圖3所示，異常判斷部 525A具有運(yùn)動提取部25a、特征量計算部25b、特征量變換部25c、異常度 計算部25d、異常度閾值存儲部25e以及異常度判斷部25f。運(yùn)動提取部25a從通過攝像數(shù)據(jù)獲取部21而獲得的攝像數(shù)據(jù)中提取 有運(yùn)動的部分。這是為了刪除背景等與判斷無關(guān)的靜止部分的攝像數(shù)據(jù)而 進(jìn)行的。為了提取有運(yùn)動的部分，運(yùn)動提取部25a可以使用日本特開 io 2005-92346號公報中所公開的畫像處理方法，例如，單純地提取2個幀之 間的差分的方法以及在實施了邊緣提取處理后提取2個幀之間的差分的方 法等。運(yùn)動提取部25a在提取有運(yùn)動的部分后，為了除去由于照明變更等 而引起的雜波的影響，對于有運(yùn)動的部分行實施二值化處理，以取得像素 值為0或者1的值。提取了有運(yùn)動的部分并實施二值化處理后的攝像數(shù)據(jù) 15 被輸出到特征量計算部25b中。特征量計算部25b對有運(yùn)動的部分的特征量進(jìn)行計算。特征量計算部 25b能夠使用日本特開2006-92346號公報中所公開的立體高次局部自相關(guān) 特征作為特征量。立體高次局部自相關(guān)特征是將由3個連續(xù)幀的圖像組成 的三維像素數(shù)據(jù)的幾何學(xué)特征作為251維的特征向量進(jìn)行計算的方法。關(guān) 20于該特征量的計算方法將在后文中進(jìn)行說明。計算出來的特征量即特征向 量被輸出到特征量變換部25c中。特征量變換部25c使用正常學(xué)習(xí)數(shù)據(jù)存儲部22中所存儲的變換矩陣 對通過特征量計算部25b計算出的特征量即特征向量進(jìn)行坐標(biāo)變換(線性 變換)。該變換用于提取在特征向量中包含的異常行動的分量。在此，當(dāng)將 25 通過特征量計算部25b計算出的特征向量設(shè)定為y，將異常學(xué)習(xí)數(shù)據(jù)存儲 部24中所存儲的變換矩陣設(shè)定為B，將通過特征量變換部25c進(jìn)行了變 換的特征向量設(shè)定為y'時，該變換由公式(2)表示。 y，=By …公式(2)變換矩陣B是通過主分量分析等的多變量解析而計算出的矩陣。關(guān)于 30該變換矩陣B的計算方法將在后文中進(jìn)行說明。將高次局部自相關(guān)特征即251維的特征向量y作為攝像數(shù)據(jù)的特征量進(jìn)行使用時，變換矩陣B是大 小為nX251(n-l， 2，， 251)的矩陣。此外，由變換矩陣B進(jìn)行了線性 變換的特征向量y'成為n維的向量。變換后的特征量即特征向量y，被輸出 到異常度計算部25d中。 5 異常度計算部25d使用由特征量變換部25c變換后的特征向量y'計算用于表示與事先學(xué)習(xí)到的異常行動的類似程度的異常度。在此，異常度為 標(biāo)量，該值越小就表示異常度越高；該值越大就表示異常度越低，即表示 其為正常。關(guān)于異常度的具體計算方法將在后文中進(jìn)行說明。計算出的異 常度被輸出到異常度判斷部25f中。10 異常度閾值存儲部25e用來存儲異常度閾值。異常度判斷部25f根據(jù)通過異常度計算部25d計算出的異常度，判斷 監(jiān)視對象的行動是否為異常行動。異常度判斷部25f將存儲在異常度閾值 存儲部25e中的異常度閾值作為判斷標(biāo)準(zhǔn)進(jìn)行使用。當(dāng)異常度在異常度閾 值以下時，異常度判斷部25f判斷監(jiān)視對象的行動為異常行動。另一方面，15在異常度超過了異常度閾值時，異常度判斷部25f判斷監(jiān)視對象的行動不 是異常行動(非異常行動)即正常行動。判斷結(jié)果被輸出到綜合判斷部26 中?！短卣髁康挠嬎惴椒ā芬韵聦μ卣髁坑嬎悴?3b,25b進(jìn)行特征量計算時的計算方法進(jìn)行詳細(xì) 20說明。并且，由于特征量計算部23b和特征量計算部25b的計算方法相同， 所以以下只對特征量計算部23b的計算方法進(jìn)行說明。圖4(a)是攝像數(shù)據(jù) 的說明圖，圖4(b)是特征量的計算對象的說明圖。如圖4(a)所示，特征量的計算對象是圖像(動畫圖像)即在時序上連續(xù) 的幀(圖像)組。為了計算本實施方式所涉及的立體高次局部自相關(guān)特征， 25需要至少3個幀。例如，在幀編號為m的幀F(xiàn)m被給定的情況下，由位于 該幀前后位置的幀編號為m—l的幀F(xiàn)m—,以及幀編號為m+l的幀F(xiàn)m+1 以及Fm這3個幀組成1個幀組GF，且該幀組Gp作為特征量的計算對象。 在此，當(dāng)幀的分辨率為縱向h像素且橫向w像素時，幀組GF構(gòu)成h XwX3的三維像素的3維幀。特征量計算部23b，針對3維幀的三維像素 30的全部要素，順次移動并使用3X3X3的掩模圖案MP，由此提取立體高次局部自相關(guān)特征。并且，在本實施方式中，以連續(xù)的3個幀F(xiàn)『!、 Fm 、 Fm+,組成的幀 組GF作為處理對象，但也可以將由任意的f個幀組成的幀組作為處理對象。此時，hXwXf的三維像素的3維幀成為處理對象，并計算出f個幀5的圖像的平均特征量。圖5是表示計算立體高次局部自相關(guān)特征時使用的掩模圖案的例示 圖。掩模圖案MP用于計算三維像素的局部相關(guān)特征，在本實施方式中， 掩模圖案MP由3 X 3 X 3三維像素構(gòu)成。第1掩模圖案MP1是用于在順次掃描相對于輸入圖像的三維像素數(shù) io據(jù)時，對中心的三維像素Bcl為1時的數(shù)進(jìn)行計數(shù)的掩模圖案。第2掩模模式MP2是用于對除中心的三維像素Bcl外當(dāng)位于三維像 素Bcl之上的三維像素Bc2也成為1時的數(shù)進(jìn)行計數(shù)的掩模圖案。在與2值圖像相對的立體高次局部自相關(guān)特征中存在有251個掩模圖 案MP(MP1,MP2，…，MP251)，通過對滿足各個掩模圖案MP時的數(shù)進(jìn)行計 15數(shù)，就能夠?qū)⑤斎雸D像的特征作為251維的特征向量提取出來。也就是說，滿足第i掩模圖案MP時的數(shù)，成為特征向量的第i要素。 《正常學(xué)習(xí)數(shù)據(jù)生成裝置40》接著，對用于生成正常學(xué)習(xí)數(shù)據(jù)存儲部22A中所存儲的正常學(xué)習(xí)數(shù)據(jù) 的正常學(xué)習(xí)數(shù)據(jù)生成裝置進(jìn)行說明。圖6是表示用于生成正常學(xué)習(xí)數(shù)據(jù)的 20正常學(xué)習(xí)數(shù)據(jù)生成裝置的框圖。如圖6所示，正常學(xué)習(xí)數(shù)據(jù)生成裝置40 具有學(xué)習(xí)用攝像數(shù)據(jù)獲取部41、運(yùn)動提取部42、特征量計算部43、主分 量分析部44以及部分空間計算部45作為其功能部。學(xué)習(xí)用攝像數(shù)據(jù)獲取部41獲取對攝像裝置或者圖像再生裝置所輸出 的正常行動進(jìn)行學(xué)習(xí)所需的學(xué)習(xí)用攝像數(shù)據(jù)。該學(xué)習(xí)用攝像數(shù)據(jù)中包含有 25 監(jiān)視對象的正常行動。并且，當(dāng)希望在短時間內(nèi)獲取大量的學(xué)習(xí)用攝像數(shù) 據(jù)時，學(xué)習(xí)用攝像數(shù)據(jù)獲取部41只要從事先記錄了大量學(xué)習(xí)用攝像數(shù)據(jù) 的記錄介質(zhì)(DVD等)中獲取學(xué)習(xí)用攝像數(shù)據(jù)即可。所獲取的學(xué)習(xí)用攝像數(shù) 據(jù)被輸出到運(yùn)動提取部42中。運(yùn)動提取部42從學(xué)習(xí)用攝像數(shù)據(jù)中提取有運(yùn)動的部分。運(yùn)動提取部 30 42的動作與運(yùn)動提取部23a相同。提取了有運(yùn)動的部分并實施二值化處理后的學(xué)習(xí)用攝像數(shù)據(jù)被輸出到特征量計算部43中。特征量計算部43對有運(yùn)動的部分的特征量進(jìn)行計算。特征量計算部 43的動作與特征量計算部23b相同。計算出的特征量即特征向量，被輸出 到主分量分析部44中。5 主分量分析部44對計算出的特征向量的集合進(jìn)行主分量分析。主分量分析是一種多變量解析方法，其以相互之間不相關(guān)的方式從若干個變量 生成合成變量(被稱為主分量)，由此能夠?qū)⒍鄠€變量所具有的信息進(jìn)行匯 集。該主分量分析法廣泛用于多變量數(shù)據(jù)的解析，由于例如在石村貞夫著 的「卞《b力、3多変量解析」東京図書(《簡單易懂的多變量解析》io 1992年IO月由東京圖書出版)中有詳細(xì)的說明，所以在此不進(jìn)行詳細(xì)的 說明。在本實施方式中，通過主分量分析部44對251維的特征向量的集 合進(jìn)行主分量分析，由此計算出251個主分量即固有向量以及固有值。所 計算出的251個主分量被輸出到部分空間計算部45中。部分空間計算部45根據(jù)計算出的主分量而計算對正常行動的貢獻(xiàn)率15 較低的部分空間。然后，部分空間計算部45計算將特征向量投影到該部 分空間的矩陣。所計算出的矩陣被存儲在正常學(xué)習(xí)數(shù)據(jù)存儲部22A中。此 夕卜，部分空間計算部45計算部分空間中的特征向量的集合的中心(重心) 以及部分空間中的特征向量的集合的方差協(xié)方差矩陣的逆矩陣。所計算出 的重心以及方差協(xié)方差矩陣的逆矩陣被存儲在正常學(xué)習(xí)數(shù)據(jù)存儲部22A20 中?！恫糠挚臻g的計算處理》以下對由部分空間計算部45進(jìn)行的部分空間的計算處理進(jìn)行詳細(xì)說 明。圖7是在主分量分析中得到的各個主分量的累積貢獻(xiàn)率的說明圖。累 積貢獻(xiàn)率通過從大到小依序?qū)Ω髦鞣至康呢暙I(xiàn)率進(jìn)行疊加而得到，其是一25 種指標(biāo)性數(shù)據(jù)，表示到此為止的主分量能夠?qū)Ψ治鰧ο蟮臄?shù)據(jù)本來具有的信息量進(jìn)行何種程度的說明。在圖7的示例中，到第三大的主分量為止的累積貢獻(xiàn)率為90%，其意 味著將最大的主分量到第三大的主分量加起來的合計，表示本來的數(shù)據(jù)的 信息量的90%。另一方面，從第四大的主分量到最小的主分量為止的合計 30只表示了本來的數(shù)據(jù)的信息量的10%。如上所述，可以認(rèn)為由最大的主分量到第三大的主分量構(gòu)成的部分空 間對正常行動的貢獻(xiàn)率大。此外，還可以認(rèn)為，由第四大的主分量到最小 的主分量構(gòu)成的部分空間對正常行動的貢獻(xiàn)率小。如此，以累積貢獻(xiàn)率為 判斷標(biāo)準(zhǔn)，能夠計算出對正常行動的貢獻(xiàn)率小的部分空間。此外，關(guān)于按 5 照哪個百分比的累積貢獻(xiàn)率來進(jìn)行劃分這一事項，則已事先進(jìn)行了存儲。 《正常度的計算處理》
以下詳細(xì)說明由正常度計算部23d所進(jìn)行的正常度的計算處理。圖8 是由正常度計算部所進(jìn)行的正常度的計算處理的說明圖。正常度的計算在 對正常度的貢獻(xiàn)率較小的部分空間中實行。這是因為在該部分空間中，正
io常行動的特征量的分散較小，而非正常行動即異常行動的特征量的分散較 大的緣故。在本實施方式中，使用由主分量的大小在第k+l大的主分量以 下的主分量構(gòu)成的部分空間對正常度進(jìn)行計算。
該部分空間是251—k維的部分空間，但為了便于說明，在圖8中選 擇第k+l大的主分量以及第k+2大的主分量這2個軸來進(jìn)行表示。
15 特征量的集合Cl是根據(jù)用于學(xué)習(xí)的正常行動的特征量畫出的部分空
間。在對正常行動的貢獻(xiàn)率較小的部分空間中，特征量分布在以集合Cl 的重心xc為中心的附近區(qū)域。因此，當(dāng)與正在進(jìn)行評價的攝像數(shù)據(jù)有關(guān) 的特征向量x，位于重心xc附近時，判斷監(jiān)視對象的行動為正常行動；當(dāng) 特征向量x，遠(yuǎn)離重心xc時，將監(jiān)視對象的行動判斷為不是正常行動(非正
20 常行動)即異常行動。
在此，將與正在進(jìn)行評價的攝像數(shù)據(jù)有關(guān)的特征向量x'和重心xc之
間的距離定義為正常度。該正常度可以作為計算成本較小的歐幾里得距離
來進(jìn)行計算，但在本實施方式中，考慮到集合C1的分散情況，而作為馬 25 氏(Mahalanobis)距離來進(jìn)行計算。
在此，將特征量的集合C1的方差協(xié)方差矩陣的逆矩陣設(shè)定為Sx"時， 馬氏距離D1由下述公式(3)表示。
<formula>formula see original document page 16</formula> …公式(3)
當(dāng)如此算出的馬氏距離D1在正常閾值T1以下時，正常度判斷部23f 30判斷監(jiān)視對象的行動為正常行動。另一方面，當(dāng)馬氏距離D1大于正常度閾值T1時，正常度判斷部23f將監(jiān)視對象的行動判斷為不是正常行動(非 正常行動)即異常行動。在此，圖8中所示的正常度閾值Tl是從集合Cl 的各個特征量與重心xc之間的馬氏距離中選出的最大值。 《異常學(xué)習(xí)數(shù)據(jù)生成裝置50》 5 以下對用于生成異常學(xué)習(xí)數(shù)據(jù)存儲部24A中所存儲的異常學(xué)習(xí)數(shù)據(jù)
的異常學(xué)習(xí)數(shù)據(jù)生成裝置進(jìn)行說明。圖9是表示用于生成異常學(xué)習(xí)數(shù)據(jù)的 異常學(xué)習(xí)數(shù)據(jù)生成裝置的框圖。如圖9所示，異常學(xué)習(xí)數(shù)據(jù)生成裝置50 具有學(xué)習(xí)用攝像數(shù)據(jù)獲取部51、運(yùn)動提取部52、特征量計算部53、主分 量分析部54以及部分空間計算部55作為其功能部。
io 學(xué)習(xí)用攝像數(shù)據(jù)獲取部51獲取對攝像裝置或者圖像再生裝置所輸出
的異常行動進(jìn)行學(xué)習(xí)所需的學(xué)習(xí)用攝像數(shù)據(jù)。該學(xué)習(xí)用攝像數(shù)據(jù)中包含有 監(jiān)視對象的異常行動。并且，當(dāng)希望在短時間內(nèi)獲取大量的學(xué)習(xí)用攝像數(shù) 據(jù)時，學(xué)習(xí)用攝像數(shù)據(jù)獲取部51只要從事先記錄了大量學(xué)習(xí)用攝像數(shù)據(jù) 的記錄介質(zhì)(DVD等)中獲取學(xué)習(xí)用攝像數(shù)據(jù)即可。所獲取的學(xué)習(xí)用攝像數(shù)
15據(jù)被輸出到運(yùn)動提取部52中。
運(yùn)動提取部52從學(xué)習(xí)用攝像數(shù)據(jù)中提取有運(yùn)動的部分。運(yùn)動提取部 52的動作與運(yùn)動提取部25a相同。提取了有運(yùn)動的部分并實施二值化處理 后的學(xué)習(xí)用攝像數(shù)據(jù)被輸出到特征量計算部53中。
特征量計算部53對有運(yùn)動的部分的特征量進(jìn)行計算。特征量計算部
2053的動作與特征量計算部25b相同。計算出的特征量即特征向量，被輸出 到主分量分析部54中。
主分量分析部54對計算出的特征向量的集合進(jìn)行主分量分析。主分 量分析是一種多變量解析方法，其以相互之間不相關(guān)的方式從若干個變量 生成合成變量(被稱為主分量)，由此能夠?qū)⒍鄠€變量所具有的信息進(jìn)行匯
25集。該主分量分析法廣泛用于多變量數(shù)據(jù)的解析，由于例如在石村貞夫著 的「t《^力^3多変量解析」東京図書(《簡單易懂的多變量解析》 1992年10月由東京圖書出版)中有詳細(xì)的說明，所以在此不迸行詳細(xì)的 說明。在本實施方式中，通過主分量分析部54對251維的特征向量的集 合進(jìn)行主分量分析，由此計算出251個主分量即固有向量以及固有值。所
30計算出的251個主分量被輸出到部分空間計算部55中。部分空間計算部55根據(jù)計算出的主分量來計算對異常行動的貢獻(xiàn)率 較高的部分空間。然后，部分空間計算部55計算將特征向量投影到該部 分空間的矩陣。所計算出的矩陣被存儲在異常學(xué)習(xí)數(shù)據(jù)存儲部24A中。此 夕卜，部分空間計算部55計算部分空間中的特征向量的集合的中心(重心) 5以及部分空間中的特征向量的集合的方差協(xié)方差矩陣的逆矩陣。所計算出 的重心以及方差協(xié)方差矩陣的逆矩陣被存儲在異常學(xué)習(xí)數(shù)據(jù)存儲部24A 中。
《部分空間的計算處理》
接下來，部分空間計算部55能夠以圖7所示的累積貢獻(xiàn)率為判斷標(biāo) io準(zhǔn)而計算出對異常行動的貢獻(xiàn)率較大的部分空間。此外，關(guān)于按照哪個百 分比的累積貢獻(xiàn)率來進(jìn)行劃分這一事項，則已事先進(jìn)行了存儲。 《異常度的計算處理》
以下詳細(xì)說明由異常度計算部25d所進(jìn)行的異常度的計算處理。圖10
是由異常度計算部所進(jìn)行的異常度的計算處理的說明圖。異常度的計算在 15對異常度的貢獻(xiàn)率較大的部分空間中實行。這是因為在該部分空間中，異
常行動的特征量的分散較小，而非異常行動即正常行動的特征量的分散較
大的緣故。在本實施方式中，使用由主分量的大小在第k大的主分量以上
的主分量構(gòu)成的部分空間對異常度進(jìn)行計算。
該部分空間是k維的部分空間，但為了便于說明，在圖10中選擇第 20 —大的主分量(第1主分量)以及第二大的主分量(第2主分量)這2個
軸來進(jìn)行表示。
特征量的集合C2是根據(jù)用于學(xué)習(xí)的異常行動的特征量畫出的部分空 間。在對異常行動的貢獻(xiàn)率較小的部分空間中，特征量分布在以集合C2 的重心yc為中心的附近區(qū)域。因此，當(dāng)與正在進(jìn)行評價的攝像數(shù)據(jù)有關(guān) 25 的特征向量y，位于重心yc附近時，判斷監(jiān)視對象的行動為異常行動；當(dāng) 特征向量y，遠(yuǎn)離重心yc時，將監(jiān)視對象的行動判斷為不是異常行動(非異 常行動)即正常行動。
在此，將與正在進(jìn)行評價的攝像數(shù)據(jù)有關(guān)的特征向量y'和重心yc之 間的距離定義為異常度。該異常度可以作為計算成本較小的歐幾里得距離 30 來進(jìn)行計算，但在本實施方式中，考慮到集合C2的分散而作為馬氏距離D2來進(jìn)行計算。
在此，將特征量的集合C2的方差協(xié)方差矩陣的逆矩陣設(shè)定為S/1時， 馬氏距離D2由下述公式(4)表示。
D22=(y，一yc)tSy"(y，一yc)…公式(4) 5 當(dāng)如此算出的馬氏距離D2在異常閾值T2以下時，異常度判斷部25f
判斷監(jiān)視對象的行動為異常行動。另一方面，當(dāng)馬氏距離D2大于異常度 閾值T2時，異常度判斷部25f將監(jiān)視對象的行動判斷為不是異常行動(非 異常行動)即正常行動。在此，圖10中所示的異常度閾值T2是從集合C2 的各個特征量與重心yc之間的馬氏距離中選出的最大值。 io 《綜合判斷部26A的詳細(xì)結(jié)構(gòu)》
以下對綜合判斷部26A的詳細(xì)結(jié)構(gòu)進(jìn)行說明。圖11是表示圖1的綜 合判斷部的詳細(xì)框圖。如圖II所示，綜合判斷部26A具有綜合判斷表存 儲部26a以及正常/異常判斷部26b。
綜合判斷表存儲部26a用于存儲正常判斷部23A的判斷結(jié)果以及異常 15判斷部25A的判斷結(jié)果和綜合判斷結(jié)果建立關(guān)聯(lián)后的綜合判斷表。
正常/異常判斷部26b參照在綜合判斷表存儲部26a中存儲的綜合判 斷表，根據(jù)正常判斷部23A的判斷結(jié)果以及異常判斷部25A的判斷結(jié)果， 來判斷監(jiān)視對象的行動是正常行動還是異常行動。該判斷結(jié)果被輸出到通 報部27中。 20 《綜合判斷表的示例》
以下對綜合判斷表的示例進(jìn)行說明。圖12(a)和(b)是綜合判斷表的示 例說明圖。
在圖12(a)所示的綜合判斷表26al中，在正常判斷部23A的判斷結(jié)果 以及異常判斷部25A的判斷結(jié)果都為正常時，將綜合判斷結(jié)果判斷為正 25常，在正常判斷部23A的判斷結(jié)果以及異常判斷部25A的判斷結(jié)果中的 至少一個判斷結(jié)果為異常時，將綜合判斷結(jié)果判斷為異常。
在圖12(b)所示的綜合判斷表26a2中，在正常判斷部23A的判斷結(jié)果 以及異常判斷部25A的判斷結(jié)果中至少一個判斷結(jié)果為正常時，將綜合判 斷結(jié)果判斷為正常，在正常判斷部23A的判斷結(jié)果以及異常判斷部25A 30的判斷結(jié)果都為異常時，將綜合判斷結(jié)果判斷為異常。綜合判斷表26al的重點(diǎn)放在減少漏報上，而綜合判斷表26a2的重點(diǎn) 放在減少誤報上。 《異常檢測裝置20A的動作例》
以下對本發(fā)明的第1實施方式所涉及的異常檢測裝置20A的動作例進(jìn) 5行說明。圖13是對圖1的異常檢測裝置的動作例進(jìn)行說明的流程圖。以 下適當(dāng)參照圖1至圖12對動作例進(jìn)行說明。
首先，由圖像獲取部21將成為處理對象的攝像數(shù)據(jù)作為數(shù)字?jǐn)?shù)據(jù)而 獲取(步驟S1)。接下來，由正常判斷部23A根據(jù)正常學(xué)習(xí)數(shù)據(jù)判斷攝像數(shù) 據(jù)中所包含的監(jiān)視對象的行動是否正常(步驟S2)。此外，異常判斷部25A io根據(jù)異常學(xué)習(xí)數(shù)據(jù)判斷攝像數(shù)據(jù)中所包含的監(jiān)視對象的行動是否異常(步 驟S3)。此外，附帶說一下，步驟S2和步驟S3可以顛倒順序進(jìn)行，也可 以并列進(jìn)行。
接下來，由綜合判斷部26A根據(jù)正常判斷部23A的判斷結(jié)果以及異 常判斷部25A的判斷結(jié)果，對攝像數(shù)據(jù)中所包含的監(jiān)視對象的行動是正常
15還是異常進(jìn)行綜合性判斷(步驟S4)。綜合判斷的結(jié)果是正常時(在步驟S5 中為No時)，通報部27將存在行動異常的監(jiān)視對象這一情況向外部裝置 30進(jìn)行通報(步驟S6)。上述一連串的處理以規(guī)定的頻度反復(fù)進(jìn)行，直到異 常檢測裝置20A的用戶輸入結(jié)束指令為止(步驟S7)。在此，規(guī)定的頻度是 指例如與攝像數(shù)據(jù)的幀頻相同(l秒鐘30次)的頻度等。
20《正常判斷部23A的動作例》
以下對步驟S2的子步驟即正常判斷部23A的動作例進(jìn)行說明。圖14 是對正常判斷部的動作例進(jìn)行說明的流程圖。
首先，運(yùn)動提取部23a從通過攝像數(shù)據(jù)獲取部21而獲取的攝像數(shù)據(jù) 中提取有運(yùn)動的部分并進(jìn)行二值化處理(步驟S21)。接下來，在特征量計
25算部23b中對提取了有運(yùn)動的部分并進(jìn)行二值化處理后的攝像數(shù)據(jù)的特征 量進(jìn)行計算(步驟S22)。之后，由特征量變換部23c使用正常學(xué)習(xí)數(shù)據(jù)存 儲部22A的變換矩陣對所計算出的特征量即特征量向量進(jìn)行坐標(biāo)變換，以 生成進(jìn)行了特征向量變換的新的特征向量(步驟S23)。此后，由正常度計 算部23d計算用于表示進(jìn)行了坐標(biāo)變換的特征向量與正常行動之間的相似
30程度的正常度(步驟S24)。然后，由正常度判斷部23f根據(jù)正常度閾值以及正常度來判斷監(jiān)視對象的行動是否為正常行動(步驟S25)。 《異常判斷部25A的動作例》
以下對步驟S3的子步驟即異常判斷部25A的動作例進(jìn)行說明。圖15 是對異常判斷部的動作例進(jìn)行說明的流程圖。 5 首先，由運(yùn)動提取部25a從通過攝像數(shù)據(jù)獲取部21而獲取的攝像數(shù)
據(jù)中提取有運(yùn)動的部分并進(jìn)行二值化處理(步驟S31)。接下來，在特征量 計算部25b中對提取了有運(yùn)動的部分并進(jìn)行二值化處理后的攝像數(shù)據(jù)的特 征量進(jìn)行計算(步驟S32)。之后，由特征量變換部25c使用異常學(xué)習(xí)數(shù)據(jù) 存儲部24A的變換矩陣對所計算出的特征量即特征量向量進(jìn)行坐標(biāo)變換， io以生成進(jìn)行了特征向量變換的新的特征向量(步驟S33)。此后，由異常度 計算部25d計算用于表示進(jìn)行了坐標(biāo)變換的特征向量與異常行動之間的相 似程度的異常度(步驟S34)。然后，由異常度判斷部25f根據(jù)異常度閾值以 及異常度來判斷監(jiān)視對象的行動是否為異常行動(步驟S35)。 《特征量計算部23a，25a的動作例》 15 以下對步驟S22,S32的子步驟即特征量計算部23a,25a的動作例進(jìn)行
說明。由于特征量計算部23a和特征量計算部25a的動作例是相同的，所 以，在此以特征量計算部23a為例來進(jìn)行說明。圖16是對特征量計算部
的動作例進(jìn)行說明的流程圖。
首先，特征量計算部23a對特征向量vn(n-l，， 251)進(jìn)行初始化(步 20 驟S101)。接下來，由特征量計算部23a判斷與第i個掩模圖案MP相對的 三維像素是否全部為l(步驟SI02)。當(dāng)與第i個掩模圖案MP相對的三維 像素全部為1時(在步驟S102中為Yes時)，由特征量計算部23a在與第i 個掩模圖案MP相對的特征向量的要素中加上l(步驟S103)。步驟S102和 S103的處理對所有的掩模圖案i進(jìn)行(循環(huán)處理1)，并且對處理對象的幀 25組的所有三維像素進(jìn)行(循環(huán)處理2)。
通過上述一連串的處理，特征量計算部23a能夠計算出基于立體高次 局部自相關(guān)的251維的特征向量vn。 《正常學(xué)習(xí)數(shù)據(jù)生成裝置40的動作例》
以下對正常學(xué)習(xí)數(shù)據(jù)生成裝置40的動作例進(jìn)行說明。圖17是對正常 30 學(xué)習(xí)數(shù)據(jù)生成裝置的動作例進(jìn)行說明的流程圖。首先，通過運(yùn)動提取部42從由學(xué)習(xí)用攝像數(shù)據(jù)獲取部41獲取的學(xué)習(xí) 用攝像數(shù)據(jù)中提取有運(yùn)動的部分并進(jìn)行二值化處理(步驟Slll)。接下來， 由特征量計算部43對有運(yùn)動的部分的特征量進(jìn)行計算(步驟S112)。對學(xué) 習(xí)正常行動用的所有學(xué)習(xí)用攝像數(shù)據(jù)進(jìn)行步驟S111和S112的處理(循環(huán)處 5理3)。之后，由主分量分析部44對與學(xué)習(xí)用攝像數(shù)據(jù)有關(guān)的所有特征量 進(jìn)行主分量分析(步驟S113)。然后，由部分空間計算部45根據(jù)主分量分 析的結(jié)果計算對正常行動的貢獻(xiàn)率較低的部分空間，并計算將特征向量投 影到該部分空間的矩陣(步驟S114)。 《異常學(xué)習(xí)數(shù)據(jù)生成裝置50的動作例》 io 以下對異常學(xué)習(xí)數(shù)據(jù)生成裝置50的動作例進(jìn)行說明。圖18是對異常
學(xué)習(xí)數(shù)據(jù)生成裝置的動作例進(jìn)行說明的流程圖。
首先，通過運(yùn)動提取部52從由學(xué)習(xí)用攝像數(shù)據(jù)獲取部51獲取的攝像 數(shù)據(jù)中提取有運(yùn)動的部分并進(jìn)行二值化處理(步驟S121)。接下來，由特征 量計算部53對有運(yùn)動的部分的特征量進(jìn)行計算(步驟S122)。對學(xué)習(xí)異常 15 行動用的所有學(xué)習(xí)用攝像數(shù)據(jù)進(jìn)行步驟S121和S122的處理(循環(huán)處理4)。 之后，由主分量分析部54對與學(xué)習(xí)用攝像數(shù)據(jù)有關(guān)的所有特征量進(jìn)行主 分量分析(步驟S123)。然后，由部分空間計算部55根據(jù)主分量分析的結(jié) 果計算對異常行動的貢獻(xiàn)率較高的部分空間，并計算將特征向量投影到該
部分空間的矩陣(步驟S124)。 20 由于第1實施方式所涉及的異常檢測裝置20A不僅使用根據(jù)異常學(xué)習(xí)
數(shù)據(jù)作出的判斷結(jié)果，而且還使用根據(jù)異常學(xué)習(xí)數(shù)據(jù)作出的判斷結(jié)果進(jìn)行
綜合性的判斷，所以不僅能夠減少將正常的監(jiān)視對象誤檢測為異常的監(jiān)視
對象的誤報，而且還能夠減少將異常的監(jiān)視對象誤檢測為正常的監(jiān)視對象
的漏報。 25 <第2實施方式>
以下針對第2實施方式所涉及的異常檢測裝置，以與第1實施方式所
涉及的異常檢測裝置20A相異點(diǎn)為重點(diǎn)進(jìn)行說明。圖19是表示本發(fā)明的
第2實施方式所涉及的異常檢測裝置的框圖。
如圖19所示，第2實施方式所涉及的異常檢測裝置20B具有正常學(xué) 30習(xí)數(shù)據(jù)存儲部22B、正常判斷部23B、異常學(xué)習(xí)數(shù)據(jù)存儲部24B以及異常判斷部25B，來代替正常學(xué)習(xí)數(shù)據(jù)存儲部22A、正常判斷部23A、異常學(xué) 習(xí)數(shù)據(jù)存儲部24A以及異常判斷部25A。
正常學(xué)習(xí)數(shù)據(jù)存儲部22B具有多個正常學(xué)習(xí)數(shù)據(jù)存儲單元22-1和
22- 2。多個正常學(xué)習(xí)數(shù)據(jù)存儲單元22-1和22-2中分別存儲種類不同的正 5常學(xué)習(xí)數(shù)據(jù)。
正常判斷部23B具有多個正常判斷單元23-1和23-2。多個正常判斷 單元23-1和23-2分別具有與正常判斷部23A相等的功能。正常判斷單元
23- 1根據(jù)正常學(xué)習(xí)數(shù)據(jù)存儲單元22-1中所存儲的正常學(xué)習(xí)數(shù)據(jù)來進(jìn)行判 斷，正常判斷單元23-2根據(jù)正常學(xué)習(xí)數(shù)據(jù)存儲單元22-2中所存儲的正常
io學(xué)習(xí)數(shù)據(jù)來進(jìn)行判斷。
異常學(xué)習(xí)數(shù)據(jù)存儲部24B具有多個異常學(xué)習(xí)數(shù)據(jù)存儲單元24-1和
24- 2。多個異常學(xué)習(xí)數(shù)據(jù)存儲單元24-1和24-2分別存儲種類不同的異常 學(xué)習(xí)數(shù)據(jù)。
異常判斷部25B具有多個異常判斷單元25-1和25-2。多個異常判斷 15單元25-1和25-2分別具有與異常判斷部25A相等的功能。異常判斷單元
25- 1根據(jù)異常學(xué)習(xí)數(shù)據(jù)存儲單元24-1中所存儲的異常學(xué)習(xí)數(shù)據(jù)來進(jìn)行判 斷，而異常判斷單元25-2根據(jù)異常學(xué)習(xí)數(shù)據(jù)存儲單元24-2中所存儲的異 常學(xué)習(xí)數(shù)據(jù)來進(jìn)行判斷。
第2實施方式所涉及的綜合判斷部26A的正常/異常判斷部26b(參照 20 圖11)，在多個正常判斷單元23-l和23-2的判斷結(jié)果中的至少一個判斷結(jié) 果為正常時，將正常判斷部23B的判斷結(jié)果判斷為正常，而在多個正常判 斷單元23-1和23-2的判斷結(jié)果全部為異常時，將正常判斷部23B的判斷 結(jié)果判斷為異常。如此，由于多個正常判斷單元23-1和23-2將正常行動 以外的行動間接地檢測為異常行動，所以，當(dāng)多個正常判斷單元23-1和 25 23-2的判斷結(jié)果全部是異常時，綜合判斷部26A的正常/異常判斷判斷部 26b將正常判斷部23B的判斷結(jié)果判斷為異常比較妥當(dāng)。
此外，正常/異常判斷部26b，在多個異常判斷單元25-1和25-2的 判斷結(jié)果中的至少一個判斷結(jié)果為異常時，將異常判斷部25B的判斷結(jié)果 判斷為異常，而在多個異常判斷單元25-1和25-2的判斷結(jié)果全部為正常 30時，將異常判斷部25B的判斷結(jié)果判斷為正常。如此，由于多個異常判斷單元25-1和25-2直接檢測異常行動，所以，當(dāng)多個異常判斷單元25-l和 25-2的判斷結(jié)果中的至少一個判斷結(jié)果是異常時，綜合判斷部26A的正常 /異常判斷部26b將異常判斷部25B的判斷結(jié)果判斷為異常比較妥當(dāng)。 由于第2實施方式所涉及的異常檢測裝置20B具有將按照正常行動以 5及異常行動的種類分類(clustering)而獨(dú)立學(xué)習(xí)的結(jié)果進(jìn)行存儲的存儲單 元，所以能夠有效地按照不同的種類構(gòu)成部分空間，因此能夠提高判斷精 度。<第3實施方式〉以下針對第3實施方式所涉及的異常檢測裝置，以與第1實施方式所 io涉及的異常檢測裝置20A相異點(diǎn)為重點(diǎn)進(jìn)行說明。圖20以及圖21是表示 本發(fā)明的第3實施方式所涉及的異常檢測裝置主要部分的框圖。如圖20以及圖21所示，第3實施方式所涉及的異常檢測裝置20C具 有多個正常學(xué)習(xí)數(shù)據(jù)存儲部22C1和22C2、正常判斷部23C、多個異常學(xué) 習(xí)數(shù)據(jù)存儲部24C1和24C2以及異常判斷部25C，來代替正常學(xué)習(xí)數(shù)據(jù)存 15儲部22A、正常判斷部23A、異常學(xué)習(xí)數(shù)據(jù)存儲部24A以及異常判斷部 25A。此外，異常檢測裝置20C還具有告知時刻的時鐘部28。多個正常學(xué)習(xí)數(shù)據(jù)存儲部22C1和22C2分別存儲不同的正常學(xué)習(xí)數(shù)據(jù)。正常判斷部23C還具有正常學(xué)習(xí)數(shù)據(jù)選擇部23g。正常學(xué)習(xí)數(shù)據(jù)選擇 20部23g根據(jù)從時鐘部28中讀取的時刻，從多個正常學(xué)習(xí)數(shù)據(jù)存儲部22C1 和22C2中選擇在特征量計算部23b以及特征量變換部23c中使用的正常 學(xué)習(xí)數(shù)據(jù)。多個異常學(xué)習(xí)數(shù)據(jù)存儲部24C1和24C2分別存儲不同的異常學(xué)習(xí)數(shù)據(jù)。25 異常判斷部25C還具有異常學(xué)習(xí)數(shù)據(jù)選擇部25g。異常學(xué)習(xí)數(shù)據(jù)選擇部25g根據(jù)從時鐘部28中讀取的時間，從多個異常學(xué)習(xí)數(shù)據(jù)存儲部24C1 和24C2中選擇在特征量計算部25b以及特征量變換部25c中使用的異常 學(xué)習(xí)數(shù)據(jù)。由于第3實施方式所涉及的異常檢測裝置20C根據(jù)時刻來切換判斷用 30的學(xué)習(xí)數(shù)據(jù)，所以，例如在辦公大樓等監(jiān)視對象的使用形態(tài)在很大程度上與時間有關(guān)的場合，也能夠得到良好的綜合判斷結(jié)果。 <第4實施方式〉以下針對第4實施方式所涉及的異常檢測裝置，以與第1實施方式所涉及的異常檢測裝置20A相異點(diǎn)為重點(diǎn)進(jìn)行說明。圖22是表示本發(fā)明的 5第4實施方式所涉及的異常檢測裝置的主要部分的框圖。如圖22所示，第4實施方式所涉及的異常檢測裝置20D具有綜合判 斷部26D,來代替綜合判斷部26A。此外，異常檢測裝置20D還具有為了 告知時刻的時鐘部28。綜合判斷部26D具有綜合判斷表選擇部26c。此外，本實施方式所涉 io及的綜合判斷表存儲部26a中存儲了多個綜合判斷表26al和26a2。綜合 判斷表選擇部26c根據(jù)從時鐘部28中讀取的時刻，從多個綜合判斷表26al 和26a2中選擇在正常/異常判斷部26b中所使用的綜合判斷表。由于第4實施方式所涉及的異常檢測裝置20D根據(jù)時刻來切換綜合判 斷表，所以，例如在辦公大樓等監(jiān)視對象的使用形態(tài)在很大程度上與時間 15有關(guān)的場合，也能夠得到良好的綜合判斷結(jié)果。以上對本發(fā)明的實施方式進(jìn)行了說明，但本發(fā)明并不僅限于上述實施 方式，而能夠在不脫離本發(fā)明宗旨的范圍內(nèi)適當(dāng)?shù)剡M(jìn)行設(shè)計變更。例如， 能夠?qū)Ω鱾€實施方式所涉及的異常檢測裝置20A，20B,20C，20D進(jìn)行適宜的組合。此外，也能夠?qū)⒄W(xué)習(xí)數(shù)據(jù)生成裝置40以及異常學(xué)習(xí)數(shù)據(jù)生成 20 裝置50與異常檢測裝置20A組合成一體。而且，各個選擇部23g，"g，26c 可以被設(shè)置成不根據(jù)時刻進(jìn)行選擇，而根據(jù)例如由用、戶輸入的選擇指令進(jìn) 行選擇。此外，本發(fā)明還能夠具體實現(xiàn)使電子計算機(jī)作為所述異常檢測裝 置發(fā)揮功能的異常檢測程序。
權(quán)利要求
1.一種異常檢測裝置，具有攝像數(shù)據(jù)獲取部，其獲取監(jiān)視對象的攝像數(shù)據(jù)；正常學(xué)習(xí)數(shù)據(jù)存儲部，其存儲對正常的所述監(jiān)視對象事先進(jìn)行學(xué)習(xí)而獲得的正常學(xué)習(xí)數(shù)據(jù)；正常判斷部，其根據(jù)所述攝像數(shù)據(jù)以及所述正常學(xué)習(xí)數(shù)據(jù)，判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象是否正常；異常學(xué)習(xí)數(shù)據(jù)存儲部，其存儲對異常的所述監(jiān)視對象事先進(jìn)行學(xué)習(xí)而獲得的異常學(xué)習(xí)數(shù)據(jù)；異常判斷部，其根據(jù)所述攝像數(shù)據(jù)以及所述異常學(xué)習(xí)數(shù)據(jù)，判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象是否異常；和綜合判斷部，其根據(jù)所述正常判斷部的判斷結(jié)果及所述異常判斷部的判斷結(jié)果，判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象是正常還是異常。
2 .如權(quán)利要求1所述的異常檢測裝置，其特征在于，在所述正常判斷部的判斷結(jié)果為正常并且所述異常判斷部的判斷結(jié)果為非異常時，所述 綜合判斷部判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象為正常；在所述正常判 斷部的判斷結(jié)果為非正常或者所述異常判斷部的判斷結(jié)果為異常時，所述 綜合判斷部判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象為異常。 20
3.如權(quán)利要求1所述的異常檢測裝置，其特征在于，在所述正常判斷部的判斷結(jié)果為正?；蛘咚霎惓Ｅ袛嗖康呐袛嘟Y(jié)果為非異常時，所述 綜合判斷部判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象為正常；在所述正常判 斷部的判斷結(jié)果為非正常并且所述異常判斷部的判斷結(jié)果為異常時，所述 綜合判斷部判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象為異常。 25
4.如權(quán)利要求l所述的異常檢測裝置，其特征在于，所述正常學(xué)習(xí)數(shù)據(jù)存儲部具有將正常學(xué)習(xí)數(shù)據(jù)按照種類進(jìn)行存儲的 多個正常學(xué)習(xí)數(shù)據(jù)存儲單元，所述正常判斷部具有與所述多個正常學(xué)習(xí)數(shù)據(jù)存儲單元相對應(yīng)，并且 根據(jù)該正常學(xué)習(xí)數(shù)據(jù)存儲單元中所存儲的正常學(xué)習(xí)數(shù)據(jù)的種類，來判斷所 30 述攝像數(shù)據(jù)中所包含的監(jiān)視對象的行動是正常還是異常的多個正常判斷單元，所述綜合判斷部在所述多個正常判斷單元的判斷結(jié)果全部為非正常 時，判斷所述正常判斷部的判斷結(jié)果為非正常。
5. 如權(quán)利要求1所述的異常檢測裝置，其特征在于， 5 所述異常學(xué)習(xí)數(shù)據(jù)存儲部具有將異常學(xué)習(xí)數(shù)據(jù)按照種類進(jìn)行存儲的 多個異常學(xué)習(xí)數(shù)據(jù)存儲單元，所述異常判斷部具有與所述多個異常學(xué)習(xí)數(shù)據(jù)存儲單元相對應(yīng)，并且 根據(jù)該異常學(xué)習(xí)數(shù)據(jù)存儲單元中所存儲的異常學(xué)習(xí)數(shù)據(jù)的種類，來判斷所 述攝像數(shù)據(jù)中所包含的監(jiān)視對象是異常還是正常的多個異常判斷單元， 10 所述綜合判斷部在所述多個異常判斷單元的判斷結(jié)果中的至少1個為異常時，判斷所述異常判斷部的判斷結(jié)果為異常。
6.如權(quán)利要求l所述的異常檢測裝置，其特征在于， 具有多個所述正常學(xué)習(xí)數(shù)據(jù)存儲部，所述正常判斷部從多個所述正常學(xué)習(xí)數(shù)據(jù)存儲部中選擇1個用于判 15 斷。
7. 如權(quán)利要求6所述的異常檢測裝置，其特征在于，所述正常判斷部基于時刻從多個所述正常學(xué)習(xí)數(shù)據(jù)存儲部中選擇1個。
8. 如權(quán)利要求1所述的異常檢測裝置，其特征在于，具有多個所述異常學(xué)習(xí)數(shù)據(jù)存儲部， 20 所述異常判斷部從多個所述異常學(xué)習(xí)數(shù)據(jù)存儲部中選擇1個用于判斷。
9. 如權(quán)利要求8所述的異常檢測裝置，其特征在于，所述異常判斷部基于時刻從多個所述異常學(xué)習(xí)數(shù)據(jù)存儲部中選擇1個。
10. 如權(quán)利要求1所述的異常檢測裝置，其特征在于， 25 所述綜合判斷部具有綜合判斷表存儲部，其存儲將所述第1判斷部的判斷結(jié)果以及所述第 2判斷部的判斷結(jié)果與該綜合判斷部的判斷結(jié)果建立關(guān)聯(lián)后的綜合判斷 表；和正常/異常判斷部，其根據(jù)所述第1判斷部的判斷結(jié)果、所述第2判 30 斷部的判斷結(jié)果及所述綜合判斷表，來判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象是正常還是異常。
11. 如權(quán)利要求10所述的異常檢測裝置，其特征在于， 所述綜合判斷表存儲部具有多個所述綜合判斷表，還具有綜合判斷表選擇部，其從所述多個綜合判斷表中選擇1個， 所述正常/異常判斷部使用由所述綜合判斷表選擇部選擇的綜合判斷表進(jìn)行判斷。
12. 如權(quán)利要求11所述的異常檢測裝置，其特征在于，所述綜合判 斷表選擇部基于時刻從所述多個綜合判斷表中選擇1個。
13. —種異常檢測程序，使計算機(jī)作為如下各部發(fā)揮功能 攝像數(shù)據(jù)獲取部，其獲取監(jiān)視對象的攝像數(shù)據(jù)；正常判斷部，其根據(jù)事先存儲的對正常的所述監(jiān)視對象事先進(jìn)行學(xué)習(xí) 而獲得的正常學(xué)習(xí)數(shù)據(jù)以及所述攝像數(shù)據(jù)，來判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象是否正常；異常判斷部，其根據(jù)事先存儲的對異常的所述監(jiān)視對象事先進(jìn)行學(xué)習(xí)而獲得的異常學(xué)習(xí)數(shù)據(jù)以及所述攝像數(shù)據(jù)，來判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象是否異常；以及綜合判斷部，其根據(jù)所述正常判斷部的判斷結(jié)果以及所述異常判斷部 的判斷結(jié)果，來判斷所述攝像數(shù)據(jù)中所包含的監(jiān)視對象是正常還是異常。
全文摘要
提供一種異常檢測裝置，其能夠通過學(xué)習(xí)來減少將異常的監(jiān)視對象誤檢測為正常的監(jiān)視對象的漏報。異常檢測裝置(20A)具有獲取監(jiān)視對象的攝像數(shù)據(jù)的攝像數(shù)據(jù)獲取部(21)；正常學(xué)習(xí)數(shù)據(jù)存儲部(22A)，其存儲對正常的監(jiān)視對象事先進(jìn)行學(xué)習(xí)而獲得的正常學(xué)習(xí)數(shù)據(jù)；正常判斷部(23A)，其根據(jù)攝像數(shù)據(jù)以及正常學(xué)習(xí)數(shù)據(jù)，判斷監(jiān)視對象是否正常；異常學(xué)習(xí)數(shù)據(jù)存儲部(24A)，其存儲對異常的監(jiān)視對象事先進(jìn)行學(xué)習(xí)而獲得的異常學(xué)習(xí)數(shù)據(jù)；異常判斷部(25A)，其根據(jù)攝像數(shù)據(jù)以及異常學(xué)習(xí)數(shù)據(jù)，判斷監(jiān)視對象是否異常；和綜合判斷部(26A)，其根據(jù)正常判斷部(23A)的判斷結(jié)果以及異常判斷部(25A)的判斷結(jié)果，判斷監(jiān)視對象是正常還是異常。
文檔編號G06K9/64GK101271529SQ200810008509
公開日2008年9月24日 申請日期2008年1月23日 優(yōu)先權(quán)日2007年3月23日
發(fā)明者三好雅則, 伊藤誠也, 大貫朗, 山口伸一朗, 正島博 申請人:株式會社日立制作所;株式會社日立建筑系統(tǒng)