專利名稱：移動(dòng)體檢測(cè)裝置以及移動(dòng)體檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過(guò)對(duì)圖像中的移動(dòng)體的區(qū)域進(jìn)行確定，來(lái)檢測(cè)移動(dòng)體的圖像處理技術(shù)，尤其涉及在容易發(fā)生遮蔽的環(huán)境下，根據(jù)運(yùn)動(dòng)圖像中的運(yùn)動(dòng)信息來(lái)檢測(cè)并提取移動(dòng)體的移動(dòng)體檢測(cè)裝置等。
背景技術(shù)：
以往廣泛進(jìn)行的研究開發(fā)是，從包含有移動(dòng)體的像(以下，簡(jiǎn)單稱為“移動(dòng)體”)的圖像中，通過(guò)提取圖像中的移動(dòng)體的區(qū)域，來(lái)檢測(cè)移動(dòng)體的區(qū)域提取技術(shù)。提取移動(dòng)體的區(qū)域的技術(shù)是能夠在數(shù)字視頻攝像機(jī)或數(shù)字靜態(tài)相機(jī)中的焦點(diǎn)控制、畫質(zhì)改善處理、汽車的安全行駛支援系統(tǒng)、或機(jī)器人技術(shù)中的與移動(dòng)體的沖突回避控制、或者用于沖突回避的報(bào)警等中共同利用的基礎(chǔ)技術(shù)。作為檢測(cè)圖像中的移動(dòng)體的技術(shù)中的一般的方法例如有非專利文獻(xiàn)I所公開的技術(shù)，具體而言，預(yù)先學(xué)習(xí)與移動(dòng)體相關(guān)的形狀信息，在圖像中一邊掃描，一邊對(duì)學(xué)習(xí)的形狀信息與圖像中的區(qū)域進(jìn)行匹配，將匹配度高的區(qū)域作為檢測(cè)對(duì)象物體來(lái)提取。并且，在非專利文獻(xiàn)2至5中公開的方法是，在容易發(fā)生遮蔽的混亂的場(chǎng)面中追蹤移動(dòng)體。這些方法與非專利文獻(xiàn)I不同，不是利用形狀信息，而是能夠從運(yùn)動(dòng)圖像中提取移動(dòng)軌跡，通過(guò)根據(jù)移動(dòng)軌跡的類似性來(lái)對(duì)各個(gè)移動(dòng)軌跡進(jìn)行分群，將進(jìn)行不同運(yùn)動(dòng)的移動(dòng)體分別作為類來(lái)提取并進(jìn)行追蹤。這種方法尤其對(duì)于在利用形狀信息的移動(dòng)體提取方法中難于提取的遮蔽物體的追蹤有效。(非專利文獻(xiàn))非專利文獻(xiàn)IB.Leibe, K.Schindler, N.Cornellis and L.Van Gool, “CoupledObject Detection and Tracking from Static Cameras and Moving Vehicles，，，IEEETrans.Pattern Recognition and Machine Intelligence Vol.30,N0.10，1683-1698，2008非專利文獻(xiàn)2G.J.Brostow and R.Cipolla,“Unsupervised Bayesian Detectionof Independent Motion in Crowds，，，In Proc.0f IEEE Conference on Computer Visionand Pattern Recognition,2006非專利文獻(xiàn)3L.Kratz and K.Nishino,“Tracking with Local Spatio-temporalMotion Patterns in Extremely Crowded Scenes，，，In Proc.0f IEEE Conference onComputer Vision and Pattern Recognition,2010非專利文獻(xiàn)4V.Rabaud and S.Belongie,“Counting Crowded Moving Objects”,In Proc.0f IEEE Conference on Computer Vision and Pattern Recognition,2006非專利文獻(xiàn)5D.Sugimura, K.Kitani, T.0kabe, Y.Sato, and A.Sugimoto, “UsingIndividuality to Track Individuals:Clustering Individual Trajectories inCrowds using Local Appearance and Frequency Trait，，，In Proc.0f InternationalConference on Computer Vision,2009但是，在上述的專利文獻(xiàn)I所記載的方法中的問題是，尤其是在混亂的環(huán)境下等容易發(fā)生遮蔽的場(chǎng)面中，會(huì)出現(xiàn)只能看到移動(dòng)體的形狀信息的一部分的情況，這樣就會(huì)因所述匹配度低而造成不能對(duì)檢測(cè)對(duì)象物體進(jìn)行檢測(cè)。并且，在以上述的非專利文獻(xiàn)2到5為代表的混亂狀態(tài)下的移動(dòng)體追蹤技術(shù)中，由于不是著眼于區(qū)域提取而是移動(dòng)體的追蹤，因此前提條件是即使移動(dòng)體的一部分也不被長(zhǎng)期間地遮蔽的場(chǎng)面。也就是說(shuō)是在各個(gè)移動(dòng)體的一部分不被遮蔽而能夠進(jìn)行追蹤的情況下利用的方法。因此，出現(xiàn)的問題是需要將攝像機(jī)設(shè)置在高的位置，僅限定于俯視拍攝場(chǎng)面
坐寸o

發(fā)明內(nèi)容
因此，本發(fā)明為了解決攝像機(jī)的拍攝位置被限定的問題以及誤檢測(cè)的問題，目的在于提供一種移動(dòng)體檢測(cè)裝置以及移動(dòng)體檢測(cè)方法，即使在容易發(fā)生遮蔽的環(huán)境下也能夠確切地對(duì)移動(dòng)體進(jìn)行檢測(cè)并提取。為了達(dá)成上述的目的，本發(fā)明的一個(gè)實(shí)施方式所涉及的移動(dòng)體檢測(cè)裝置，通過(guò)執(zhí)行用于確定運(yùn)動(dòng)圖像中的移動(dòng)體的全部或者一部分的區(qū)域的區(qū)域分割，從而對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)，該移動(dòng)體檢測(cè)裝置具備:圖像輸入部，接受構(gòu)成運(yùn)動(dòng)圖像的并且至少由三張圖片構(gòu)成的多張圖片；移動(dòng)軌跡算出部，從所述多張圖片中，抽取多個(gè)至少由兩張圖片構(gòu)成的圖像子集，并按每個(gè)圖像子集，算出多個(gè)該圖像子集中所包含的圖片間的移動(dòng)軌跡，該移動(dòng)軌跡是由構(gòu)成圖片的一個(gè)以上的像素構(gòu)成的塊的運(yùn)動(dòng)的軌跡；子類分類部，按照每個(gè)圖像子集，將該圖像子集中所包含的由所述移動(dòng)軌跡算出部算出的多個(gè)移動(dòng)軌跡，分類為子類；子類間類似度計(jì)算部，在任意的兩個(gè)子類之間，算出表示同一個(gè)移動(dòng)軌跡被共用的程度的移動(dòng)軌跡的共用比例，并根據(jù)所述共用比例，計(jì)算子類間的類似度；以及移動(dòng)體檢測(cè)部，以由所述子類間類似度計(jì)算部計(jì)算的子類間的類似度越高的子類的集合，就越被分類為同一個(gè)類的方式，將子類分類為類，并通過(guò)將與同一個(gè)類中所包含的移動(dòng)軌跡相對(duì)應(yīng)的各個(gè)塊作為移動(dòng)體的區(qū)域來(lái)確定，從而對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)。另外，這些所有的或具體的實(shí)施方式不僅能夠以系統(tǒng)、方法、集成電路或計(jì)算機(jī)程序或者記錄介質(zhì)來(lái)實(shí)現(xiàn)，而且可以通過(guò)對(duì)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序以及記錄介質(zhì)進(jìn)行任意地組合來(lái)實(shí)現(xiàn)。通過(guò)本發(fā)明能夠解決攝像機(jī)的拍攝位置被限定的問題以及誤檢測(cè)的問題，即使在容易發(fā)生遮蔽的環(huán)境下也能夠進(jìn)行確切地移動(dòng)體的檢測(cè)以及提取。


圖1A示出了本發(fā)明將要解決的課題的一個(gè)例子。圖1B示出了本發(fā)明將要解決的課題的一個(gè)例子。圖2示出了本發(fā)明的實(shí)施方式I中的移動(dòng)體檢測(cè)裝置的基本構(gòu)成。圖3是在以軟件來(lái)實(shí)現(xiàn)本發(fā)明的實(shí)施方式I中的移動(dòng)體檢測(cè)裝置的情況下的、執(zhí)行軟件的硬件的構(gòu)成圖。圖4是示出本發(fā)明的實(shí)施方式I中的移動(dòng)體檢測(cè)裝置的基本工作的流程圖。圖5A示出了本發(fā)明的實(shí)施方式I中的分割為圖像子集的分割方法的處理例子。圖5B示出了本發(fā)明的實(shí)施方式I中的移動(dòng)軌跡算出部的處理例子。
圖6示出了本發(fā)明的實(shí)施方式I中的子類標(biāo)記賦予部的處理例子。圖7A示出了本發(fā)明的實(shí)施方式I中的移動(dòng)軌跡的共用比例的算出例子。圖7B示出了本發(fā)明的實(shí)施方式I中的移動(dòng)軌跡的共用比例的算出例子。圖8A示出了本發(fā)明的實(shí)施方式I中的標(biāo)記傳播部以及移動(dòng)體檢測(cè)部的處理例子。圖SB示出了本發(fā)明的實(shí)施方式I中的標(biāo)記傳播部以及移動(dòng)體檢測(cè)部的處理例子。圖SC示出了本發(fā)明的實(shí)施方式I中的標(biāo)記傳播部以及移動(dòng)體檢測(cè)部的處理例子。圖9是針對(duì)人物步行中的步調(diào)的說(shuō)明圖。圖10示出了本發(fā)明的實(shí)施方式2中的移動(dòng)體檢測(cè)裝置的基本構(gòu)成。圖11是示出本發(fā)明的實(shí)施方式2中的移動(dòng)體檢測(cè)裝置的基本工作的流程圖。圖12示出了本發(fā)明的實(shí)施方式2中的子類標(biāo)記賦予部的處理例子。圖13示出了本發(fā)明的實(shí)施方式3中的移動(dòng)體檢測(cè)裝置的構(gòu)成。圖14是示出本發(fā)明的實(shí)施方式3中的移動(dòng)體檢測(cè)裝置的基本工作的流程圖。圖15示出了本發(fā)明的實(shí)施方式3中的測(cè)地距離的效果的一個(gè)例子。圖16示出了本發(fā)明的實(shí)施方式3中的子類標(biāo)記賦予部的處理例子。圖17示出了本發(fā)明的實(shí)施方式3中的子類標(biāo)記賦予部的處理例子。圖18示出了本發(fā)明的實(shí)施方式4中的移動(dòng)體檢測(cè)裝置的基本構(gòu)成。圖19是示出本發(fā)明的實(shí)施方式4中的移動(dòng)體檢測(cè)裝置的基本工作的流程圖。圖20示出了本發(fā)明的實(shí)施方式4中的移動(dòng)軌跡恢復(fù)部的處理例子。圖21示出了本發(fā)明的實(shí)施方式I至4的第一變形例中的移動(dòng)體檢測(cè)裝置的基本構(gòu)成。圖22示出了本發(fā)明的實(shí)施方式I至4的第一變形例中的記錄或發(fā)送數(shù)據(jù)的一個(gè)例子。圖23示出了本發(fā)明的實(shí)施方式I至4的第二變形例中的移動(dòng)體檢測(cè)裝置的構(gòu)成例子。圖24是示出本發(fā)明的實(shí)施方式I至4的第二變形例中的移動(dòng)體檢測(cè)裝置的基本工作的流程圖。圖25示出了本發(fā)明的實(shí)施方式I至4的第二變形例中的運(yùn)動(dòng)預(yù)測(cè)的一個(gè)例子。
具體實(shí)施例方式(成為本發(fā)明的基礎(chǔ)的見解)本領(lǐng)域技術(shù)人員針對(duì)在“背景技術(shù)” 一欄中記載的現(xiàn)有技術(shù)文獻(xiàn)，發(fā)現(xiàn)會(huì)發(fā)生以下的問題。車載攝像機(jī)或可攜帶的攝像機(jī)大多都是用在從比較低的位置來(lái)拍攝。尤其是從低的位置來(lái)拍攝混亂的場(chǎng)面的情況下，與從高的位置俯視拍攝的場(chǎng)面相比，遠(yuǎn)處的移動(dòng)體容易被存在于跟前的移動(dòng)體遮蔽。因此，如圖1A以及圖1B所示，在容易發(fā)生由護(hù)欄或者其他的物體等遮蔽的環(huán)境下，會(huì)出現(xiàn)難于長(zhǎng)時(shí)間地追蹤移動(dòng)體的問題。針對(duì)該問題，若應(yīng)用根據(jù)短時(shí)間的運(yùn)動(dòng)信息的所述移動(dòng)體追蹤的技術(shù)，在圖1A以及圖1B所示的例子中就會(huì)出現(xiàn)發(fā)生誤檢測(cè)的問題。例如，在移動(dòng)體的一部分一時(shí)性地由護(hù)欄或者人等遮蔽的情況下，就會(huì)出現(xiàn)像檢測(cè)結(jié)果a-l、a_2以及檢測(cè)結(jié)果b-l、b_2所示那樣，移動(dòng)體的頭部和腳部被作為分離的移動(dòng)體而被提取，本來(lái)是一個(gè)移動(dòng)體而被作為了兩個(gè)移動(dòng)體被檢測(cè)，這樣出現(xiàn)誤檢測(cè)的問題。例如，在圖1A中，若經(jīng)過(guò)長(zhǎng)的時(shí)間來(lái)求出移動(dòng)軌跡，則在發(fā)生了遮蔽的時(shí)刻開始以后的時(shí)刻中，移動(dòng)軌跡就會(huì)出現(xiàn)間斷。因此，若在人物的腰部、腳部、頭部等依次發(fā)生遮蔽，則出現(xiàn)最終不能求出移動(dòng)軌跡的問題。即，若經(jīng)過(guò)長(zhǎng)的時(shí)間來(lái)求移動(dòng)軌跡，則會(huì)出現(xiàn)不能求出緊密的移動(dòng)軌跡的問題。為了解決這樣的問題，本發(fā)明的一個(gè)實(shí)施例所涉及的移動(dòng)體檢測(cè)裝置，通過(guò)執(zhí)行用于確定運(yùn)動(dòng)圖像中的移動(dòng)體的全部或者一部分的區(qū)域的區(qū)域分割，從而對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)，該移動(dòng)體檢測(cè)裝置具備:圖像輸入部，接受構(gòu)成運(yùn)動(dòng)圖像的并且至少由三張圖片構(gòu)成的多張圖片；移動(dòng)軌跡算出部，從所述多張圖片中，抽取多個(gè)至少由兩張圖片構(gòu)成的圖像子集，并按每個(gè)圖像子集，算出多個(gè)該圖像子集中所包含的圖片間的移動(dòng)軌跡，該移動(dòng)軌跡是由構(gòu)成圖片的一個(gè)以上的像素構(gòu)成的塊的運(yùn)動(dòng)的軌跡；子類分類部，按照每個(gè)圖像子集，將該圖像子集中所包含的由所述移動(dòng)軌跡算出部算出的多個(gè)移動(dòng)軌跡，分類為子類；子類間類似度計(jì)算部，在任意的兩個(gè)子類之間，算出表示同一個(gè)移動(dòng)軌跡被共用的程度的移動(dòng)軌跡的共用比例，并根據(jù)所述共用比例，計(jì)算子類間的類似度；以及移動(dòng)體檢測(cè)部，以由所述子類間類似度計(jì)算部計(jì)算的子類間的類似度越高的子類的集合，就越被分類為同一個(gè)類的方式，將子類分類為類，并通過(guò)將與同一個(gè)類中所包含的移動(dòng)軌跡相對(duì)應(yīng)的各個(gè)塊作為移動(dòng)體的區(qū)域來(lái)確定，從而對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)。根據(jù)此構(gòu)成，能夠按每個(gè)圖像子集來(lái)算出移動(dòng)軌跡。通過(guò)以這樣短的時(shí)間間隔來(lái)算出移動(dòng)軌跡，從而能夠在圖像子集內(nèi)算出緊密的移動(dòng)軌跡。通過(guò)將這樣的緊密的移動(dòng)軌跡分類為子類，并根據(jù)共用比例來(lái)計(jì)算子類間的類似度，從而即使在容易發(fā)生遮蔽的情況下也能夠確切地對(duì)移動(dòng)體進(jìn)行檢測(cè)。例如，在第一圖像子集中被分類為第一子類的移動(dòng)軌跡因遮蔽的影響，在下一個(gè)時(shí)刻的第二的圖像子集中被分離為第二子類以及第三子類，即使在這樣的情況下，第一子類與第二子類之間的共用比例以及第一子類與第三子類之間的共用比例均增高。因此，若利用根據(jù)共用比例而被計(jì)算的子類間的類似度來(lái)對(duì)子類進(jìn)行類的分類，則從第一至第三子類被分類為同一個(gè)類，作為同一個(gè)移動(dòng)體被檢測(cè)。因此，攝像機(jī)的拍攝位置被限定的課題以及誤檢測(cè)的課題均得以解決，即使在容易發(fā)生遮蔽的環(huán)境下也能夠確切地對(duì)移動(dòng)體進(jìn)行檢測(cè)以及提取。例如，也可以是，所述子類分類部包括子類標(biāo)記賦予部，該子類標(biāo)記賦予部，按照每個(gè)圖像子集，將該圖像子集中所包含的由所述移動(dòng)軌跡算出部算出的多個(gè)移動(dòng)軌跡分類為子類，并對(duì)各個(gè)移動(dòng)軌跡賦予作為該移動(dòng)軌跡被分類后的子類的標(biāo)識(shí)符的子類標(biāo)記；所述子類間類似度計(jì)算部包括標(biāo)記傳播部，該標(biāo)記傳播部，在從所有的子類中任意選擇的第一子類以及第二子類之間，算出表示示出同一個(gè)塊的運(yùn)動(dòng)的移動(dòng)軌跡被共用的程度的移動(dòng)軌跡的共用比例，通過(guò)對(duì)所述共用比例越高的所述第一子類以及第二子類就越再次賦予同一個(gè)子類標(biāo)記，從而使子類標(biāo)記在子類間傳播；所述移動(dòng)體檢測(cè)部，通過(guò)將被賦予了同一個(gè)子類標(biāo)記的子類的集合分類為同一個(gè)類，從而將與同一個(gè)類中所包含的移動(dòng)軌跡相對(duì)應(yīng)的各個(gè)塊作為移動(dòng)體的區(qū)域來(lái)確定，據(jù)此對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)。根據(jù)此構(gòu)成，能夠按每個(gè)圖像子集來(lái)算出移動(dòng)軌跡。通過(guò)以這樣短的時(shí)間間隔來(lái)算出移動(dòng)軌跡，從而能夠在圖像子集內(nèi)算出緊密的移動(dòng)軌跡。通過(guò)將這樣的緊密的移動(dòng)軌跡分類為子類，并根據(jù)共用比例使子類標(biāo)記在子類標(biāo)記間傳播，從而即使在容易發(fā)生遮蔽的情況下也能夠確切地對(duì)移動(dòng)體進(jìn)行檢測(cè)。例如，在第一圖像子集中被分類為第一子類的移動(dòng)軌跡因遮蔽的影響，在下一個(gè)時(shí)刻的第二的圖像子集中被分離為第二子類以及第三子類，即使在這樣的情況下，第一子類與第二子類之間的共用比例以及第一子類與第三子類之間的共用比例均增高。通過(guò)進(jìn)行子類間的傳播處理，從而從第一至第三子類能夠被再次賦予同一個(gè)子類標(biāo)記，從而作為同一個(gè)移動(dòng)體被檢測(cè)。因此，攝像機(jī)的拍攝位置被限定的課題以及誤檢測(cè)的課題均得以解決，即使在容易發(fā)生遮蔽的環(huán)境下也能夠確切地對(duì)移動(dòng)體進(jìn)行檢測(cè)以及提取。S卩，與以往的移動(dòng)軌跡的分群法相比較，能夠?qū)r(shí)間短的移動(dòng)軌跡分類為子類，將子類間的時(shí)間上的關(guān)聯(lián)的強(qiáng)度用作移動(dòng)軌跡的共用比例，并通過(guò)傳播得到的子類標(biāo)記，從而能夠?qū)r(shí)間上關(guān)聯(lián)強(qiáng)的子類標(biāo)記更新為同一個(gè)類標(biāo)記，從而能夠進(jìn)行確保了時(shí)間上的相干的區(qū)域提取。因此，能夠?qū)簳r(shí)被分離為兩個(gè)部分的一個(gè)移動(dòng)體，作為一個(gè)移動(dòng)體來(lái)賦予同一個(gè)標(biāo)記，從而能夠?qū)崿F(xiàn)減少移動(dòng)體檢測(cè)中的誤檢測(cè)的效果。而且，由于利用了時(shí)間短的移動(dòng)軌跡，因此能夠減少頻繁出現(xiàn)遮蔽的場(chǎng)面中所發(fā)生的，對(duì)應(yīng)點(diǎn)的消失而不能算出移動(dòng)軌跡的危險(xiǎn)性。據(jù)此，能夠高密度地提取移動(dòng)體，并能夠提高檢測(cè)精度。而且，不僅能夠檢測(cè)移動(dòng)體，而且還能夠從圖像中提取移動(dòng)體。并且，也可以是，所述移動(dòng)軌跡算出部，以使時(shí)間上相鄰的圖像子集間的一部分的圖片重疊的方式，從所述多張圖片中抽取多個(gè)圖像子集，并按照每個(gè)圖像子集，算出多個(gè)該圖像子集中所包含的圖片間的移動(dòng)軌跡，該移動(dòng)軌跡是構(gòu)成圖片的一個(gè)以上的像素所構(gòu)成的塊的運(yùn)動(dòng)的軌跡；所述標(biāo)記傳播部，在經(jīng)過(guò)所述第一子類以及第二子類之間所共用的圖片中的同一個(gè)位置的移動(dòng)軌跡，相對(duì)于所述第一子類以及第二子類中所包含的移動(dòng)軌跡的比例越大的情況下，就越將所述第一子類以及第二子類之間的移動(dòng)軌跡的共用比例判斷為高，并通過(guò)對(duì)所述移動(dòng)軌跡的共用比例越高的所述第一子類以及第二子類，就越再次賦予同一個(gè)子類標(biāo)記，從而使子類標(biāo)記在子類間傳播。以使時(shí)間上相鄰的圖像子集間的圖片重疊的方式來(lái)抽取圖像子集。因此，在具有時(shí)間上相鄰的圖像子集間的重合(重疊)的圖片中，移動(dòng)軌跡相同。因此，能夠簡(jiǎn)單地算出第一以及第二子類間的共用比例。并且，也可以是，所述標(biāo)記傳播部，進(jìn)一步，對(duì)子類的可靠性越大的子類，就再次賦予與所述子類標(biāo)記賦予部賦予的子類標(biāo)記相同的子類標(biāo)記，據(jù)此使子類標(biāo)記在子類間傳播，所述子類的可靠性是指，與子類中所包含的移動(dòng)軌跡的數(shù)量或者該子類中所包含的移動(dòng)軌跡所構(gòu)成的空間上的大小相對(duì)應(yīng)的值。通過(guò)利用子類的可靠性，從而能夠以更高的精確度來(lái)進(jìn)行在時(shí)間上具有相干的區(qū)域分割。因此，能夠正確對(duì)移動(dòng)體進(jìn)行區(qū)域提取，據(jù)此能夠確實(shí)地檢測(cè)圖像中的移動(dòng)體。并且，也可以是，上述的移動(dòng)體檢測(cè)裝置進(jìn)一步包括:保持部，保持由所述移動(dòng)軌跡算出部算出的移動(dòng)軌跡之中的、只有以比構(gòu)成圖像子集的圖片的張數(shù)少的圖片的張數(shù)才能算出的移動(dòng)軌跡；以及移動(dòng)軌跡恢復(fù)部，將所述保持部所保持的移動(dòng)軌跡，分類為與該移動(dòng)軌跡連續(xù)的其他的移動(dòng)軌跡所屬的類相同的類；所述移動(dòng)體檢測(cè)部，進(jìn)一步，將與所述移動(dòng)軌跡恢復(fù)部所分類的移動(dòng)軌跡以及同一個(gè)類中所包含的移動(dòng)軌跡相對(duì)應(yīng)的各個(gè)塊，作為移動(dòng)體的區(qū)域來(lái)確定，從而對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)。通過(guò)將在子類的生成時(shí)沒有使用的移動(dòng)軌跡分類為，與該移動(dòng)軌跡連續(xù)的其他的移動(dòng)軌跡所屬的類，從而能夠高密度地提取移動(dòng)體。并且，也可以是，所述子類標(biāo)記賦予部，通過(guò)按照每個(gè)圖像子集，將該圖像子集中所包含的由所述移動(dòng)軌跡算出部算出的多個(gè)移動(dòng)軌跡之中類似的移動(dòng)軌跡，分類為同一個(gè)子類，從而將所述多個(gè)移動(dòng)軌跡分類為子類，并對(duì)各個(gè)移動(dòng)軌跡賦予作為該移動(dòng)軌跡被分類后的子類的標(biāo)識(shí)符的子類標(biāo)記。具體而言，也可以是，所述子類標(biāo)記賦予部，按照每個(gè)圖像子集，將該圖像子集中所包含的由所述移動(dòng)軌跡算出部算出的多個(gè)移動(dòng)軌跡之中最類似的移動(dòng)軌跡的組合分類為同一個(gè)子類，通過(guò)對(duì)這種進(jìn)行分類的處理反復(fù)執(zhí)行規(guī)定的次數(shù)或者反復(fù)執(zhí)行到所述多個(gè)移動(dòng)軌跡被分類為規(guī)定的子類個(gè)數(shù)為止，來(lái)將所述多個(gè)移動(dòng)軌跡分類為子類，并對(duì)各個(gè)移動(dòng)軌跡賦予作為該移動(dòng)軌跡被分類后的子類的標(biāo)識(shí)符的子類標(biāo)記。據(jù)此，能夠?qū)㈩愃频囊苿?dòng)軌跡分類為同一個(gè)子類。并且，也可以是，所述子類標(biāo)記賦予部，(a)針對(duì)由所述移動(dòng)軌跡算出部算出的多個(gè)移動(dòng)軌跡，算出表示移動(dòng)軌跡間的類似性的距離，(b)通過(guò)對(duì)算出的距離之中的比預(yù)先規(guī)定的閾值小的距離進(jìn)行連結(jié)，從而將所述算出的距離變換為測(cè)地距離，(C)按照每個(gè)圖像子集，針對(duì)該圖像子集中所包含的由所述移動(dòng)軌跡算出部算出的多個(gè)移動(dòng)軌跡之中的任意的兩個(gè)移動(dòng)軌跡，將除此以外的移動(dòng)軌跡作為中繼點(diǎn)，算出從所述兩個(gè)移動(dòng)軌跡之中的一方沿著所述中繼點(diǎn)到達(dá)另一方的路徑的距離，以作為測(cè)地距離，對(duì)得到的測(cè)地距離中分布的不連續(xù)的點(diǎn)進(jìn)行檢測(cè)，將相隔的測(cè)地距離比檢測(cè)的不連續(xù)的點(diǎn)小的移動(dòng)軌跡作為一個(gè)類來(lái)分類為同一個(gè)子類，通過(guò) 進(jìn)行這樣的分類的處理，從而將所述多個(gè)移動(dòng)軌跡分類為子類，并對(duì)各個(gè)移動(dòng)軌跡賦予作為該移動(dòng)軌跡被分類后的子類的標(biāo)識(shí)符的子類標(biāo)記。像這樣為了表現(xiàn)移動(dòng)軌跡間的類似性而利用移動(dòng)軌跡間的測(cè)地距離，從而能夠?qū)θ宋锏汝P(guān)節(jié)物體進(jìn)行更正確的移動(dòng)體的檢測(cè)以及提取。而且，關(guān)于子類的生成方法，其他的優(yōu)選的方式是，所述子類標(biāo)記賦予部，按照每個(gè)圖像子集，從該圖像子集中所包含的至少一張圖像中，使用邊緣、顏色、亮度之中的至少一種，將圖像分割為多個(gè)區(qū)域并生成子類，對(duì)經(jīng)過(guò)分割后的區(qū)域的移動(dòng)軌跡分別賦予子類
己 O這樣，能夠利用邊緣、亮度、顏色等圖像的空間信息來(lái)將移動(dòng)軌跡分類為子類。并且，也可以是，上述的移動(dòng)體檢測(cè)裝置進(jìn)一步具備輸出部，該輸出部針對(duì)由所述圖像輸入部接受的所述多張圖片之中的至少一張圖片，以由所述移動(dòng)體檢測(cè)部被分類為同一個(gè)類的移動(dòng)體區(qū)域?yàn)閱挝粊?lái)施行圖像處理，以便成為與其他的移動(dòng)體區(qū)域不同的顯示方式，并輸出被施行了圖像處理的圖片。在AV(Audio/Visual)設(shè)備、圖像監(jiān)視裝置等能夠?qū)⑻崛〉囊苿?dòng)體分別顯示在圖像上。因此，用戶容易識(shí)別移動(dòng)體。并且，也可以是，上述的移動(dòng)體檢測(cè)裝置進(jìn)一步具備記錄或發(fā)送部，將由所述移動(dòng)體檢測(cè)部進(jìn)行的移動(dòng)體的檢測(cè)結(jié)果，寫入到記錄裝置，或者經(jīng)由傳輸路徑發(fā)送到外部。例如，僅從各個(gè)移動(dòng)體圖像中選擇需要的移動(dòng)體圖像并保存,通過(guò)向外部輸出，能夠作為圖形要素來(lái)高效率地保存以及輸出。因此，能夠有效地使用于便攜式電話等處理能力受限的設(shè)備對(duì)移動(dòng)體圖像的保存以及發(fā)送的情況。并且，也可以是，上述的移動(dòng)體檢測(cè)裝置進(jìn)一步具備運(yùn)動(dòng)預(yù)測(cè)部，該運(yùn)動(dòng)預(yù)測(cè)部從構(gòu)成由所述移動(dòng)體檢測(cè)部確定的類的移動(dòng)軌跡中，算出代表該類的代表移動(dòng)軌跡，按照算出的所述代表移動(dòng)軌跡，將與該類對(duì)應(yīng)的移動(dòng)體的區(qū)域預(yù)測(cè)為在圖片間移動(dòng)，據(jù)此對(duì)所述移動(dòng)體的運(yùn)動(dòng)進(jìn)行預(yù)測(cè)。通過(guò)利用代表多個(gè)塊的移動(dòng)軌跡的軌跡來(lái)預(yù)測(cè)移動(dòng)體的運(yùn)動(dòng)，從而能夠進(jìn)行噪聲耐性高的運(yùn)動(dòng)預(yù)測(cè)。并且，也可以是，所述子類間類似度計(jì)算部，通過(guò)使以子類間的類似度為要素的矩陣Z，反復(fù)與以子類間的移動(dòng)軌跡的共用比例為要素的矩陣W相乘，來(lái)更新以子類間的類似度為要素的矩陣Z，從而計(jì)算子類間的類似度。由于子類間的類似度能夠在矩陣間進(jìn)行乘法運(yùn)算來(lái)算出，因此能夠進(jìn)行高速地子類間的類似度的計(jì)算。并且，也可以是，所述子類間類似度計(jì)算部，進(jìn)一步，通過(guò)對(duì)以子類的可靠性為要素的矩陣Y進(jìn)行加權(quán)并與更新后的矩陣Z相加，從而計(jì)算子類間的類似度，所述子類的可靠性是指，與子類中所包含的移動(dòng)軌跡的數(shù)量或者該子類中所包含的移動(dòng)軌跡所構(gòu)成的空間上的大小相對(duì)應(yīng)的值。通過(guò)在考慮了子類的可靠性的基礎(chǔ)上來(lái)計(jì)算子類間的類似度，從而能夠提高子類間的類似度的可靠性。并且，這些發(fā)明的全體或每個(gè)具體的發(fā)明能夠由系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或者記錄介質(zhì)來(lái)實(shí)現(xiàn)，也可以通過(guò)對(duì)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或者記錄介質(zhì)進(jìn)行任意地組合來(lái)實(shí)現(xiàn)。以下參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行詳細(xì)說(shuō)明。并且，以下所說(shuō)明的實(shí)施例均為本發(fā)明的一個(gè)具體的例子。在以下的實(shí)施方式中所示的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的設(shè)置位置以及連接形態(tài)、步驟、步驟的順序等均是本發(fā)明的一個(gè)例子，本發(fā)明并非受這些所限。并且，對(duì)于以下的實(shí)施例中的構(gòu)成要素之中的、示出最上位概念的獨(dú)立權(quán)利要求所沒有記載的構(gòu)成要素，能夠作為任意的構(gòu)成要素來(lái)說(shuō)明。(實(shí)施方式I)以下，利用附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。圖2示出了實(shí)施方式I中的移動(dòng)體檢測(cè)裝置的構(gòu)成。如圖2所示，該移動(dòng)體檢測(cè)裝置200具備:圖像輸入部201、移動(dòng)軌跡算出部202、子類分類部213、子類間類似度計(jì)算部214A、移動(dòng)體檢測(cè)部204B以及輸出部205。該移動(dòng)體檢測(cè)裝置200是利用移動(dòng)軌跡，通過(guò)對(duì)用于確定運(yùn)動(dòng)圖像中的移動(dòng)體的全部或一部分的區(qū)域進(jìn)行類的分類，來(lái)檢測(cè)運(yùn)動(dòng)圖像中的移動(dòng)體的裝置。即，移動(dòng)體檢測(cè)裝置200是通過(guò)執(zhí)行用于確定運(yùn)動(dòng)圖像中的移動(dòng)體的全部或者一部分區(qū)域的區(qū)域分割，來(lái)檢測(cè)運(yùn)動(dòng)圖像中的移動(dòng)體的裝置。圖像輸入部201是接受構(gòu)成運(yùn)動(dòng)圖像的、在時(shí)間上互不相同的多張圖片的輸入的處理部，例如是視頻攝像機(jī)或者與視頻攝像機(jī)連接的通信接口等。即，圖像輸入部201接受構(gòu)成運(yùn)動(dòng)圖像的至少由三張圖片構(gòu)成的多張圖片。以下，將圖片也稱為圖像。移動(dòng)軌跡算出部202將由圖像輸入部201接受的至少三張圖片，分割為多個(gè)圖像子集。在此，圖像子集至少由兩張圖片構(gòu)成。并且，移動(dòng)軌跡算出部202按每個(gè)圖像子集算出移動(dòng)軌跡。移動(dòng)軌跡算出部202按照構(gòu)成圖片的且由一個(gè)以上的像素構(gòu)成的塊，至少檢測(cè)兩張圖片間的圖像的運(yùn)動(dòng)，通過(guò)將檢測(cè)出的運(yùn)動(dòng)連結(jié)到多張圖片，從而算出移動(dòng)軌跡。即，塊是算出移動(dòng)軌跡的單位，是一個(gè)以上的像素的集合。即，移動(dòng)軌跡算出部202從多張圖片中，抽取多個(gè)至少由兩張圖片構(gòu)成的圖像子集，并按每個(gè)圖像子集在該圖像子集所包含的圖片之間，算出多個(gè)移動(dòng)軌跡，該移動(dòng)軌跡是構(gòu)成圖片的、由一個(gè)以上的像素構(gòu)成的塊的運(yùn)動(dòng)的軌跡。子類分類部213按照每個(gè)圖像子集，將該圖像子集中中包含的、由所述移動(dòng)軌跡算出部算出的多個(gè)移動(dòng)軌跡分類為子類。子類分類部213包括子類標(biāo)記賦予部203。子類標(biāo)記賦予部203按照每個(gè)圖像子集，將該圖像子集中包含的由移動(dòng)軌跡算出部202算出的多個(gè)移動(dòng)軌跡分類為子類，向各移動(dòng)軌跡賦予該移動(dòng)軌跡被分類后的子類的標(biāo)識(shí)符，即賦予子類標(biāo)記。子類間類似度計(jì)算部214A在任意的兩個(gè)子類之間，算出表示同一個(gè)移動(dòng)軌跡被共用的程度的移動(dòng)軌跡的共用比例，并根據(jù)所述共用比例，計(jì)算子類間的類似度。子類間類似度計(jì)算部214A包括標(biāo)記傳播部204A。標(biāo)記傳播部204A在從所有的子類中任意選擇的第一子類以及第二子類之間，算出表示同一個(gè)移動(dòng)軌跡(表示同一個(gè)塊的運(yùn)動(dòng)的移動(dòng)軌跡)被共用的程度的移動(dòng)軌跡的共用比例，算出的共用比例越高，就越將同一個(gè)子類標(biāo)記再次賦予到所述第一子類以及第二子類，據(jù)此，使子類標(biāo)記在子類間傳播。即，標(biāo)記傳播部204A利用移動(dòng)軌跡的共用比例，以作為任意的子類配對(duì)中的子類配對(duì)的類似度(時(shí)間上的關(guān)聯(lián)強(qiáng)度)，使子類的標(biāo)記信息在子類間傳播。并且，移動(dòng)軌跡的共用比例是指，子類間的同一移動(dòng)軌跡的保持率，詳細(xì)待后述。在此，根據(jù)傳播的子類的標(biāo)記信息的結(jié)果，來(lái)子更新類的標(biāo)記信息。即，被賦予了同一子類標(biāo)記的各個(gè)子類之間示出了，子類間的類似度高。移動(dòng)體檢測(cè)部204B對(duì)于由子類間類似度計(jì)算部214A計(jì)算的子類間的類似度越高的子類的集合，就越分類為同一個(gè)類，這樣能夠?qū)⑴c同一個(gè)類中所包含的移動(dòng)軌跡對(duì)應(yīng)的各個(gè)塊作為移動(dòng)體的區(qū)域來(lái)確定，從而對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)。同一個(gè)子類標(biāo)記被賦予到類似度高的兩個(gè)子類。因此，移動(dòng)體檢測(cè)部204B將被賦予了同一個(gè)子類標(biāo)記的子類的集合分類為同一個(gè)類，并將與同一個(gè)類中所包含的移動(dòng)軌跡相對(duì)應(yīng)的各個(gè)塊作為移動(dòng)體的區(qū)域來(lái)確定，從而對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)。S卩，移動(dòng)體檢測(cè)部204B通過(guò)標(biāo)記信息的更新，將被賦予了同一個(gè)子類標(biāo)記的子類判斷為是同一個(gè)類。這樣，移動(dòng)體檢測(cè)部204B通過(guò)對(duì)從各個(gè)圖像子集得到的子類是否為同一個(gè)類進(jìn)行判斷，從而能夠進(jìn)行具有時(shí)間上的相干的分群。據(jù)此，在屬于被判斷為同一個(gè)類的子類的移動(dòng)軌跡中，被賦予了相同的類標(biāo)記。結(jié)果是，一個(gè)類與一個(gè)移動(dòng)體相對(duì)應(yīng)，只要能夠?qū)⒏鱾€(gè)移動(dòng)軌跡分類到類，就能夠?qū)σ苿?dòng)體的區(qū)域進(jìn)行確定，從而能夠檢測(cè)移動(dòng)體。在此，類是至少由一個(gè)子類構(gòu)成的集合，屬于同一個(gè)類的子類與同一個(gè)移動(dòng)體相對(duì)應(yīng)。輸出部205輸出由移動(dòng)體檢測(cè)部204B進(jìn)行的運(yùn)動(dòng)圖像中的移動(dòng)體的檢測(cè)結(jié)果。具體而言，輸出部205針對(duì)在圖像輸入部201接受的多張圖片中的至少一張圖片，按照每個(gè)由移動(dòng)體檢測(cè)部204B被分類為同一個(gè)類的移動(dòng)體區(qū)域進(jìn)行圖像處理，以便成為與其他的移動(dòng)體區(qū)域不同的顯示狀態(tài)，并輸出被進(jìn)行了圖像處理的圖片。并且，輸出部205將被進(jìn)行了圖像處理的圖片輸出到顯示器裝置等。另外，在本說(shuō)明書中，“區(qū)域”的決定方法包括以下的兩個(gè)技術(shù)，即:提取某個(gè)確定的對(duì)象物所存在的圖像區(qū)域的檢測(cè)技術(shù)、以及不對(duì)對(duì)象物進(jìn)行區(qū)分而按照每個(gè)物體對(duì)圖像區(qū)域(移動(dòng)軌跡)進(jìn)行分類的類的分類技術(shù)。另外，由于檢測(cè)技術(shù)與類分類技術(shù)共同的部分較多，在本說(shuō)明書中不對(duì)兩者進(jìn)行區(qū)分。并且，構(gòu)成上述的移動(dòng)體檢測(cè)裝置200的各個(gè)構(gòu)成要素(圖像輸入部201、移動(dòng)軌跡算出部202、子類標(biāo)記賦予部203、標(biāo)記傳播部204A、移動(dòng)體檢測(cè)部204B、輸出部205)可以由在計(jì)算機(jī)上執(zhí)行的程序等軟件來(lái)實(shí)現(xiàn)，也可以由電子電路或者集成電路等硬件來(lái)實(shí)現(xiàn)。圖3示出了由軟件實(shí)現(xiàn)的本實(shí)施方式中的移動(dòng)體檢測(cè)裝置的硬件構(gòu)成。在圖3中，攝像機(jī)301對(duì)圖像進(jìn)行拍攝并輸出。計(jì)算機(jī)302從攝像機(jī)301獲得圖像，并進(jìn)行移動(dòng)體檢測(cè)處理，生成顯示移動(dòng)體檢測(cè)結(jié)果的圖像。顯示器303獲得并顯示在計(jì)算機(jī)302生成的圖像。計(jì)算機(jī) 302 包括:I/F304、CPU305、R0M306、RAM307、HDD308 以及視頻卡 309。使計(jì)算機(jī) 302工作的程序預(yù)先被保持在R0M306或者HDD308中。程序由作為處理器的CPU305從R0M306或者HDD308中讀出到RAM307并被展開。CPU305執(zhí)行在RAM307被展開的程序中的被代碼化后的各個(gè)命令。I/F304按照程序的執(zhí)行，將由攝像機(jī)301拍攝的圖像取入到RAM307。視頻卡309輸出按照程序的執(zhí)行而被生成的圖像，顯示器303顯示該圖像。另外，計(jì)算機(jī)程序并非受限于存放在R0M306或者HDD308這種半導(dǎo)體中，例如也可以被存放在光盤中。并且，也可以經(jīng)由有線或無(wú)線的網(wǎng)絡(luò)、廣播等而被傳送，被取入到計(jì)算機(jī)的RAM307內(nèi)。以下，利用圖4對(duì)本實(shí)施方式的移動(dòng)體檢測(cè)裝置200的工作進(jìn)行說(shuō)明。圖4是示出本實(shí)施方式的移動(dòng)體檢測(cè)裝置200的工作的流程圖。在圖4中，步驟S401至S403分別與圖2的圖像輸入部201、移動(dòng)軌跡算出部202以及子類標(biāo)記賦予部203相對(duì)應(yīng)。并且，步驟S404與圖2的標(biāo)記傳播部204A以及移動(dòng)體檢測(cè)部204B相對(duì)應(yīng)。而且，步驟S405與圖2的輸出部205相對(duì)應(yīng)。即，在圖像輸入部201執(zhí)行圖像輸入步驟S401的工作，在移動(dòng)軌跡算出部202執(zhí)行移動(dòng)軌跡算出步驟S402的工作，在子類標(biāo)記賦予部203執(zhí)行子類標(biāo)記賦予步驟S403的工作，在標(biāo)記傳播部204A以及移動(dòng)體檢測(cè)部204B執(zhí)行標(biāo)記傳播及更新步驟S404的工作，在輸出部205執(zhí)行圖像輸出步驟S405的工作。
在圖像輸入步驟S401，圖像輸入部201從攝像機(jī)301獲得構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖片。在此視為T (T≥3)張圖片被輸入。接著，在移動(dòng)軌跡算出步驟S402，移動(dòng)軌跡算出部202將由圖像輸入部201接受的T張圖片，以由F(F彡2)張圖片構(gòu)成一個(gè)圖像子集的方式，并以時(shí)間序列分割為D個(gè)圖像子集。在此，T>F。并且，移動(dòng)軌跡算出部202最好是如圖5A所示，以同一時(shí)刻的圖片重疊的方式，將圖片分割為圖像子集502。并且，移動(dòng)軌跡算出部202按每個(gè)圖像子集算出移動(dòng)軌跡。在此，如圖5B所示，移動(dòng)軌跡算出部202算出各個(gè)圖像子集502中包含的多個(gè)圖片間的運(yùn)動(dòng)信息503，生成移動(dòng)軌跡并輸出。作為多個(gè)圖片間的算出運(yùn)動(dòng)的方法是，以多張圖片中的某一張圖片上的I點(diǎn)的像素i504為基準(zhǔn)，搜索其他(F-1)張圖片中的對(duì)應(yīng)的像素。另外，也可以取代I點(diǎn)的像素，而以I個(gè)小矩形區(qū)域(塊)為基準(zhǔn)。例如，移動(dòng)軌跡算出部202利用在時(shí)刻t和時(shí)刻(t+Ι)拍攝的圖片，推定與時(shí)刻t的圖片上的像素i的像素坐標(biāo)(xit，yit) (i=L...)相對(duì)應(yīng)的時(shí)刻(t+1)的圖片上的像素坐標(biāo)(xit+1，yit+1)。在圖片為3張以上的情況下，通過(guò)依次求出對(duì)應(yīng)的坐標(biāo)，從而能夠算出各個(gè)圖像子集的F張圖片的I點(diǎn)的對(duì)應(yīng)點(diǎn)。
作為算出上述的多個(gè)圖片間的對(duì)應(yīng)點(diǎn)的具體的方法，由于已由非專利文獻(xiàn)6或者非專利文獻(xiàn)7等詳細(xì)記載，因此在此省略詳細(xì)說(shuō)明。另外，在本實(shí)施方式中，只要T為3以上，F(xiàn)為2以上即可。并且，圖像子集也可以不必像圖5A的例子那樣，以同一時(shí)刻的圖片重疊的方式對(duì)T張圖片進(jìn)行分割，而是可以將時(shí)刻(t+Ι)到時(shí)刻(t+F)為止的圖片作為一個(gè)圖像子集，將時(shí)刻(t+F+n)到時(shí)刻(t+2F-l+n)作為一個(gè)圖像子集，以不使圖片重疊的方式來(lái)進(jìn)行分割。這樣，在圖像子集間同一時(shí)刻的圖片不重疊的方式來(lái)進(jìn)行分割的情況下，移動(dòng)軌跡算出部202在作為圖像子集的圖像的、時(shí)刻(t+F)和時(shí)刻(t+F+n)之間的圖像中，進(jìn)行塊間的匹配，預(yù)先算出兩張圖像間的對(duì)應(yīng)點(diǎn)。非專利文獻(xiàn) 6P.Anandan, “A Computational Framework and an Algorithm forthe Measurement of Visual Motion”， International Journal of Computer Vision,Vol.2，pp.283-310，1989非專利文獻(xiàn)7Vladimir Kolmogorov and Ramin Zabih,“Computing VisualCorrespondence with Occlusions via Graph Cuts，，，International Conference onComputer Vision,2001并且，在該移動(dòng)軌跡算出步驟S402中，移動(dòng)軌跡算出部202 ii針對(duì)各個(gè)圖像子集，如下式I所示，從對(duì)應(yīng)點(diǎn)的像素坐標(biāo)的組中生成I條與每個(gè)像素相對(duì)應(yīng)的移動(dòng)軌跡，該移動(dòng)軌跡是指I點(diǎn)的像素經(jīng)過(guò)F張圖片時(shí)的運(yùn)動(dòng)信息。以下，以針對(duì)一個(gè)圖像子集算出移動(dòng)軌跡為例進(jìn)行說(shuō)明。[數(shù)式1]
權(quán)利要求
1.一種移動(dòng)體檢測(cè)裝置，通過(guò)執(zhí)行用于確定運(yùn)動(dòng)圖像中的移動(dòng)體的全部或者一部分的區(qū)域的區(qū)域分割，從而對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)，該移動(dòng)體檢測(cè)裝置具備: 圖像輸入部，接受構(gòu)成運(yùn)動(dòng)圖像的并且至少由三張圖片構(gòu)成的多張圖片； 移動(dòng)軌跡算出部，從所述多張圖片中，抽取多個(gè)至少由兩張圖片構(gòu)成的圖像子集，并按每個(gè)圖像子集，算出多個(gè)該圖像子集中所包含的圖片間的移動(dòng)軌跡，該移動(dòng)軌跡是由構(gòu)成圖片的一個(gè)以上的像素構(gòu)成的塊的運(yùn)動(dòng)的軌跡； 子類分類部，按照每個(gè)圖像子集，將該圖像子集中所包含的由所述移動(dòng)軌跡算出部算出的多個(gè)移動(dòng)軌跡，分類為子類； 子類間類似度計(jì)算部，在任意的兩個(gè)子類之間，算出表示同一個(gè)移動(dòng)軌跡被共用的程度的移動(dòng)軌跡的共用比例，并根據(jù)所述共用比例，計(jì)算子類間的類似度；以及 移動(dòng)體檢測(cè)部，以由所述子類間類似度計(jì)算部計(jì)算的子類間的類似度越高的子類的集合，就越被分類為同一個(gè)類的方式，將子類分類為類，并通過(guò)將與同一個(gè)類中所包含的移動(dòng)軌跡相對(duì)應(yīng)的各個(gè)塊作為移動(dòng)體的區(qū)域來(lái)確定，從而對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)。
2.如權(quán)利要求1所述的移動(dòng)體檢測(cè)裝置， 所述子類分類部包括子類標(biāo)記賦予部，該子類標(biāo)記賦予部，按照每個(gè)圖像子集，將該圖像子集中所包含的由所述移動(dòng)軌跡算出部算出的多個(gè)移動(dòng)軌跡分類為子類，并對(duì)各個(gè)移動(dòng)軌跡賦予作為該移動(dòng)軌跡被分類后的子類的標(biāo)識(shí)符的子類標(biāo)記； 所述子類間類似度計(jì)算部包括標(biāo)記傳播部，該標(biāo)記傳播部，在從所有的子類中任意選擇的第一子類以及第二子類之間，算出表示示出同一個(gè)塊的運(yùn)動(dòng)的移動(dòng)軌跡被共用的程度的移動(dòng)軌跡的共用比例，通過(guò)對(duì)所述共用比例越高的所述第一子類以及第二子類就越再次賦予同一個(gè)子類標(biāo)記，從而使子類標(biāo)記在子類間傳播；` 所述移動(dòng)體檢測(cè)部，通過(guò)將被賦予了同一個(gè)子類標(biāo)記的子類的集合分類為同一個(gè)類，從而將與同一個(gè)類中所包含的移動(dòng)軌跡相對(duì)應(yīng)的各個(gè)塊作為移動(dòng)體的區(qū)域來(lái)確定，據(jù)此對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)。
3.如權(quán)利要求2所述的移動(dòng)體檢測(cè)裝置， 所述移動(dòng)軌跡算出部，以使時(shí)間上相鄰的圖像子集間的一部分的圖片重疊的方式，從所述多張圖片中抽取多個(gè)圖像子集，并按照每個(gè)圖像子集，算出多個(gè)該圖像子集中所包含的圖片間的移動(dòng)軌跡，該移動(dòng)軌跡是構(gòu)成圖片的一個(gè)以上的像素所構(gòu)成的塊的運(yùn)動(dòng)的軌跡； 所述標(biāo)記傳播部，在經(jīng)過(guò)所述第一子類以及第二子類之間所共用的圖片中的同一個(gè)位置的移動(dòng)軌跡，相對(duì)于所述第一子類以及第二子類中所包含的移動(dòng)軌跡的比例越大的情況下，就越將所述第一子類以及第二子類之間的移動(dòng)軌跡的共用比例判斷為高，并通過(guò)對(duì)所述移動(dòng)軌跡的共用比例越高的所述第一子類以及第二子類，就越再次賦予同一個(gè)子類標(biāo)記，從而使子類標(biāo)記在子類間傳播。
4.如權(quán)利要求2或者3所述的移動(dòng)體檢測(cè)裝置， 所述標(biāo)記傳播部，進(jìn)一步，對(duì)子類的可靠性越大的子類，就再次賦予與所述子類標(biāo)記賦予部賦予的子類標(biāo)記相同的子類標(biāo)記，據(jù)此使子類標(biāo)記在子類間傳播，所述子類的可靠性是指，與子類中所包含的移動(dòng)軌跡的數(shù)量或者該子類中所包含的移動(dòng)軌跡所構(gòu)成的空間上的大小相對(duì)應(yīng)的值。
5.如權(quán)利要求2至4的任一項(xiàng)所述的移動(dòng)體檢測(cè)裝置， 該移動(dòng)體檢測(cè)裝置進(jìn)一步包括: 保持部，保持由所述移動(dòng)軌跡算出部算出的移動(dòng)軌跡之中的、只有以比構(gòu)成圖像子集的圖片的張數(shù)少的圖片的張數(shù)才能算出的移動(dòng)軌跡；以及 移動(dòng)軌跡恢復(fù)部，將所述保持部所保持的移動(dòng)軌跡，分類為與該移動(dòng)軌跡連續(xù)的其他的移動(dòng)軌跡所屬的類相同的類； 所述移動(dòng)體檢測(cè)部，進(jìn)一步，將與所述移動(dòng)軌跡恢復(fù)部所分類的移動(dòng)軌跡以及同一個(gè)類中所包含的移動(dòng)軌跡相對(duì)應(yīng)的各個(gè)塊，作為移動(dòng)體的區(qū)域來(lái)確定，從而對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)。
6.權(quán)利要求2至5的任一項(xiàng)所述的移動(dòng)體檢測(cè)裝置， 所述子類標(biāo)記賦予部，通過(guò)按照每個(gè)圖像子集，將該圖像子集中所包含的由所述移動(dòng)軌跡算出部算出的多個(gè)移動(dòng)軌跡之中類似的移動(dòng)軌跡，分類為同一個(gè)子類，從而將所述多個(gè)移動(dòng)軌跡分類為子類，并對(duì)各個(gè)移動(dòng)軌跡賦予作為該移動(dòng)軌跡被分類后的子類的標(biāo)識(shí)符的子類標(biāo)記。
7.如權(quán)利要求6所述的移動(dòng)體檢測(cè)裝置， 所述子類標(biāo)記賦予部，按照每個(gè)圖像子集，將該圖像子集中所包含的由所述移動(dòng)軌跡算出部算出的多個(gè)移動(dòng)軌跡之中最類似的移動(dòng)軌跡的組合分類為同一個(gè)子類，通過(guò)對(duì)這種進(jìn)行分類的處理反復(fù)執(zhí)行規(guī)定的次數(shù)或者反復(fù)執(zhí)行到所述多個(gè)移動(dòng)軌跡被分類為規(guī)定的子類個(gè)數(shù)為止，來(lái)將所述多個(gè)移動(dòng)軌跡分類為子類，并對(duì)各個(gè)移動(dòng)軌跡賦予作為該移動(dòng)軌跡被分類后的子類的標(biāo)識(shí)符的子類標(biāo)記。
8.如權(quán)利要求6所述的移動(dòng)體檢測(cè)裝置， 所述子類標(biāo)記賦予部，(a)針對(duì)由所述移動(dòng)軌跡算出部算出的多個(gè)移動(dòng)軌跡，算出表示移動(dòng)軌跡間的類似性的距離，(b)通過(guò)對(duì)算出的距離之中的比預(yù)先規(guī)定的閾值小的距離進(jìn)行連結(jié)，從而將所述算出的距離變換為測(cè)地距離，(C)按照每個(gè)圖像子集，針對(duì)該圖像子集中所包含的由所述移動(dòng)軌跡算出部算出的多個(gè)移動(dòng)軌跡之中的任意的兩個(gè)移動(dòng)軌跡，將除此以外的移動(dòng)軌跡作為中繼點(diǎn)，算出從所述兩個(gè)移動(dòng)軌跡之中的一方沿著所述中繼點(diǎn)到達(dá)另一方的路徑的距離，以作為測(cè)地距離，對(duì)得到的測(cè)地距離中分布的不連續(xù)的點(diǎn)進(jìn)行檢測(cè)，將相隔的測(cè)地距離比檢測(cè)的不連續(xù)的點(diǎn)小的移動(dòng)軌跡作為一個(gè)類來(lái)分類為同一個(gè)子類，通過(guò)進(jìn)行這樣的分類的處理，從而將所述多個(gè)移動(dòng)軌跡分類為子類，并對(duì)各個(gè)移動(dòng)軌跡賦予作為該移動(dòng)軌跡被分類后的子類的標(biāo)識(shí)符的子類標(biāo)記。
9.如權(quán)利要求2至5的任一項(xiàng)所述的移動(dòng)體檢測(cè)裝置， 所述子類標(biāo)記賦予部，按照每個(gè)圖像子集，從該圖像子集中所包含的至少一張圖像中，使用邊緣、顏色、亮度之中的至少一種，將圖像分割為多個(gè)區(qū)域并生成子類，對(duì)經(jīng)過(guò)分割后的區(qū)域的移動(dòng)軌跡分別賦予子類標(biāo)記。
10.如權(quán)利要求2至9的任一項(xiàng)所述的移動(dòng)體檢測(cè)裝置， 該移動(dòng)體檢測(cè)裝置進(jìn)一步具備輸出部，該輸出部針對(duì)由所述圖像輸入部接受的所述多張圖片之中的至少一張圖片，以由所述移動(dòng)體檢測(cè)部被分類為同一個(gè)類的移動(dòng)體區(qū)域?yàn)閱挝粊?lái)施行圖像處理，以便成為與其他的移動(dòng)體區(qū)域不同的顯示方式，并輸出被施行了圖像處理的圖片。
11.如權(quán)利要求2至9的任一項(xiàng)所述的移動(dòng)體檢測(cè)裝置， 該移動(dòng)體檢測(cè)裝置進(jìn)一步具備記錄或發(fā)送部，將由所述移動(dòng)體檢測(cè)部進(jìn)行的移動(dòng)體的檢測(cè)結(jié)果，寫入到記錄裝置，或者經(jīng)由傳輸路徑發(fā)送到外部。
12.如權(quán)利要求2至9的任一項(xiàng)所述的移動(dòng)體檢測(cè)裝置， 該移動(dòng)體檢測(cè)裝置進(jìn)一步具備運(yùn)動(dòng)預(yù)測(cè)部，該運(yùn)動(dòng)預(yù)測(cè)部從構(gòu)成由所述移動(dòng)體檢測(cè)部確定的類的移動(dòng)軌跡中，算出代表該類的代表移動(dòng)軌跡，按照算出的所述代表移動(dòng)軌跡，將與該類對(duì)應(yīng)的移動(dòng)體的區(qū)域預(yù)測(cè)為在圖片間移動(dòng)，據(jù)此對(duì)所述移動(dòng)體的運(yùn)動(dòng)進(jìn)行預(yù)測(cè)。
13.如權(quán)利要求1所述的移動(dòng)體檢測(cè)裝置， 所述子類間類似度計(jì)算部，通過(guò)使以子類間的類似度為要素的矩陣Z，反復(fù)與以子類間的移動(dòng)軌跡的共用比例為要素的矩陣W相乘，來(lái)更新以子類間的類似度為要素的矩陣Z，從而計(jì)算子類間的類似度。
14.如權(quán)利要求13所述的移動(dòng)體檢測(cè)裝置， 所述子類間類似度計(jì)算部，進(jìn)一步，通過(guò)對(duì)以子類的可靠性為要素的矩陣Y進(jìn)行加權(quán)并與更新后的矩陣Z相加，從 而計(jì)算子類間的類似度，所述子類的可靠性是指，與子類中所包含的移動(dòng)軌跡的數(shù)量或者該子類中所包含的移動(dòng)軌跡所構(gòu)成的空間上的大小相對(duì)應(yīng)的值。
15.一種移動(dòng)體檢測(cè)方法，通過(guò)執(zhí)行用于確定運(yùn)動(dòng)圖像中的移動(dòng)體的全部或者一部分的區(qū)域的區(qū)域分割，從而對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)，該移動(dòng)體檢測(cè)方法包括以下的步驟: 接受構(gòu)成運(yùn)動(dòng)圖像的并且至少由三張圖片構(gòu)成的多張圖片的步驟； 從所述多張圖片中，抽取多個(gè)至少由兩張圖片構(gòu)成的圖像子集，并按每個(gè)圖像子集，算出多個(gè)該圖像子集所包含的圖片間的移動(dòng)軌跡的步驟，所述移動(dòng)軌跡是由構(gòu)成圖片的一個(gè)以上的像素構(gòu)成的塊的運(yùn)動(dòng)的軌跡； 按照每個(gè)圖像子集，將該圖像子集中所包含的被算出的多個(gè)移動(dòng)軌跡，分類為子類的步驟； 在任意的兩個(gè)子類之間，算出表示同一個(gè)移動(dòng)軌跡被共用的程度的移動(dòng)軌跡的共用比例，并根據(jù)所述共用比例，計(jì)算子類間的類似度的步驟；以及 以被計(jì)算出的子類間的類似度越高的子類的集合，就越被分類為同一個(gè)類的方式，來(lái)將子類分類為類，并通過(guò)將與同一個(gè)類中所包含的移動(dòng)軌跡相對(duì)應(yīng)的各個(gè)作為移動(dòng)體的區(qū)域來(lái)確定，從而對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)的步驟。
16.一種程序，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求15所述的移動(dòng)體檢測(cè)方法中所包含的所有的步驟。
全文摘要
移動(dòng)體檢測(cè)裝置(200)具備移動(dòng)軌跡算出部(202)，按每個(gè)圖像子集算出多個(gè)移動(dòng)軌跡；子類分類部(213)，按每個(gè)圖像子集將多個(gè)移動(dòng)軌跡分類為子類；子類間類似度計(jì)算部(214A)，在任意的兩個(gè)子類之間，算出表示同一個(gè)移動(dòng)軌跡被共用的程度的移動(dòng)軌跡的共用比例，并根據(jù)所述共用比例，計(jì)算子類間的類似度；以及移動(dòng)體檢測(cè)部(204B)，由所述子類間類似度計(jì)算部計(jì)算的子類間的類似度越高的子類的集合就越被分類為同一個(gè)類的方式，將子類分類為類，從而對(duì)運(yùn)動(dòng)圖像中的移動(dòng)體進(jìn)行檢測(cè)。
文檔編號(hào)G06T7/20GK103189898SQ201280003439
公開日2013年7月3日 申請(qǐng)日期2012年3月13日 優(yōu)先權(quán)日2011年3月22日
發(fā)明者巖崎正宏, 登一生, 甲本亞矢子 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社