專利名稱：對象計數(shù)器及對對象進行計數(shù)的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對象計數(shù)器及對通過預(yù)定邊界的對象進行計數(shù)的方法。更具體地，本發(fā)明涉及通過分析利用相機捕獲的圖像而對這種對象進行計數(shù)。
背景技術(shù)：
基于傳感器和分析器的對象計數(shù)器廣泛使用在不同的應(yīng)用中，其中分析器協(xié)作確定通過邊界的對象的數(shù)目。對象計數(shù)器是一種用于對對象(例如進出百貨公司、火車站或任何其他關(guān)注區(qū)域的人，進出一個區(qū)域的家畜，傳送帶上傳遞的產(chǎn)品，或傳送滑槽上傳遞的產(chǎn)品等)進行計數(shù)的設(shè)備。所述對象計數(shù)器可以例如用于安全目的，也可以用于生成進出一個區(qū)域的對象的統(tǒng)計數(shù)據(jù)。概括而言，對象計數(shù)器包括傳感部分和分析部分。傳感部分通?；谔綔y與對象相關(guān)的一些特征的傳感器，例如用于探測光譜的可見部分以探測對象的可見特征的圖像傳感器，基于焦平面陣列，例如用于探測光譜的紅外部分以記錄對象的散熱模式的微輻射熱測定儀傳感器，或者基于用來創(chuàng)建到圖像視場中的對象的距離的圖像的飛行時間傳感器系統(tǒng)。在傳感部分是用于以陣列記錄對象特征(例如記錄可以通過圖像分析工具解釋和分析的數(shù)據(jù))的傳感器的情況下，分析部分則一般適于進行圖像分析。在大多數(shù)對象計數(shù)器中，圖像分析基于對象探測算法，例如探測、識別并遍及傳感器覆蓋的區(qū)域追蹤各個對象，然后在他們通過預(yù)定邊界時進行計數(shù)。幾種對象探測算法為本領(lǐng)域技術(shù)人員所熟知。當(dāng)前的對象探測算法的一個問題是很難將靠近在一起、具有類似特征和/或具有大約相同速度的對象探測為分開的對象。明顯具有這些問題的情況是，例如當(dāng)對那些隨意輸出到傳送帶上的對象進行計數(shù)時明顯具有這些問題，因為所述對象可能靠近在一起而布置或者以不同大小的群摞在一起；當(dāng)對進出商店或雜貨店的人進行計數(shù)時明顯具有這些問題，因為人們經(jīng)常成群的進入，即兩個或更多個人靠近在一起行走而成組進入，以及其他類似的情況。對象群應(yīng)該理解為靠近在一起而成組的對象組。因為對象群可能會被探測為一個單一對象，因此會產(chǎn)生所述問題。許多對象計數(shù)器依靠簡單的對所探測的對象進行計數(shù)， 如果對象成群的到達并且每個群作為一個對象而計數(shù)，則結(jié)果是對象數(shù)目的低估。在現(xiàn)有技術(shù)的一些解決方案中，分析所探測對象的形狀從而更加精確地估計包括在所探測對象中的對象的數(shù)目。然而，所探測對象的這種形狀分析需要大量處理能力，因此，該方法的使用限于具有大量空余處理能力的設(shè)備。而在嵌入式系統(tǒng)或小規(guī)格設(shè)備中可能無法獲得這種處理能力。在W02009/016614中描述了一種用于計數(shù)和測量的過程。所述過程包括捕獲不包括任何待計數(shù)對象的背景圖像。接著當(dāng)對象處于相機前時拍攝圖像。區(qū)別于所述背景圖像的區(qū)域被解釋為對象，并且可以通過將所解釋對象的區(qū)域乘以一個因子或者通過利用查找表來計算對象的數(shù)目，其中查找表包括將一區(qū)域與指示對象數(shù)目的值相關(guān)聯(lián)的值。當(dāng)對靜止對象進行計數(shù)時，這個方法簡單而且有效。然而，當(dāng)對通過邊界的移動對象進行計數(shù)時， 這個方法就不可靠了。

發(fā)明內(nèi)容
本發(fā)明的一個目的是提供一種改進的對象計數(shù)器。所述目的通過根據(jù)權(quán)利請求1所述的方法以及根據(jù)權(quán)利請求10所述的對象計數(shù)器來實現(xiàn)。本發(fā)明的進一步的實施例出現(xiàn)在從屬權(quán)利請求中。具體而言，根據(jù)本發(fā)明的第一方面，所述目的通過用于對對象進行計數(shù)的方法來實現(xiàn)。所述方法包括捕獲表示預(yù)定計數(shù)視場的移動圖像的圖像、探測所述預(yù)定計數(shù)視場的所述移動圖像中的移動區(qū)域、計算指示所述移動區(qū)域的移動速度的移動區(qū)域速度值、基于預(yù)定計數(shù)邊界、所述移動區(qū)域速度值以及貢獻時間段dt重復(fù)限定貢獻區(qū)帶(contribution zone)、重復(fù)檢索(retrieve)并記錄表示所述移動區(qū)域的包含于所限定的貢獻區(qū)帶中的面積大小的子面積值、通過將多個記錄的子面積值相加而生成總面積、并且通過將所述總面積值除以參考對象面積值來估計已通過所述計數(shù)邊界的對象的數(shù)目，其中所述貢獻時間段對應(yīng)于兩個連續(xù)的檢索子面積值的行為之間的時間段。所述方法的優(yōu)點在于其使得在具有有限容量(例如處理容量、存儲容量等)的處理環(huán)境中對移動對象的計數(shù)變得容易。產(chǎn)生這個優(yōu)點的一個原因是所述方法基于面積流量，即移動區(qū)域中的子面積而工作的事實，因此不需要例如對象跟蹤的密集處理操作。在一個實施例中，所述方法在能夠捕獲移動圖像的相機中執(zhí)行。由此可以降低系統(tǒng)的帶寬需求，因為不需要針對人數(shù)計數(shù)器功能而通過網(wǎng)絡(luò)發(fā)送圖像。在另一個實施例中，只要在所述移動圖像中探測到對象就重復(fù)限定貢獻區(qū)帶。根據(jù)又一個實施例，當(dāng)沒有移動區(qū)域出現(xiàn)在相應(yīng)的貢獻區(qū)帶中時，執(zhí)行所述估計已通過所述計數(shù)邊界的對象的數(shù)目的行為。通過執(zhí)行所述估計，當(dāng)沒有對象出現(xiàn)在其對應(yīng)的貢獻區(qū)帶中時，就不需要與出現(xiàn)在其對應(yīng)的貢獻區(qū)帶中的對象相關(guān)的處理。因此，所述系統(tǒng)可以使用少于兩個操作同時執(zhí)行時的處理能力來工作。根據(jù)另一個實施例，所述方法進一步包括將所估計的數(shù)目加到表示總數(shù)目的變量上的步驟。在一個實施例中，移動區(qū)域的探測進一步包括探測同時出現(xiàn)在所述計數(shù)視場中的多個移動區(qū)域。通過探測多個移動區(qū)域，可以提高所述子面積的準(zhǔn)確度，因為在記錄不同移動區(qū)域的子面積時，可以考慮各個移動區(qū)域的相應(yīng)特征，例如速度。另外，所述速度值的計算可以包括分別計算所探測的移動區(qū)域的對應(yīng)速度值，并且由此可以針對每個移動區(qū)域限定單獨的貢獻區(qū)帶。由此可以更進一步的提高子面積的準(zhǔn)確度。在又一個實施例中，所述限定貢獻區(qū)帶的行為在兩個連續(xù)的檢索并記錄表示所述移動區(qū)域的包含于所限定的貢獻區(qū)帶中的面積大小的子面積值的行為之間執(zhí)行。在另一個實施例中，所述限定貢獻區(qū)帶的行為在每個檢索并記錄子面積值的行為之前重復(fù)。根據(jù)本發(fā)明的另一方面，用于對通過特定計數(shù)邊界的對象進行計數(shù)的對象計數(shù)器包括被布置為捕獲預(yù)定計數(shù)視場的圖像的圖像傳感器、被布置為探測所捕獲的圖像中的移動區(qū)域并計算指示所述移動區(qū)域的移動速度的速度值的移動區(qū)域探測器、被布置為基于預(yù)定計數(shù)邊界、所述移動區(qū)域的移動速度以及貢獻時間段dt重復(fù)限定貢獻區(qū)帶的貢獻區(qū)帶計算器、被布置為檢索并記錄表示所述移動區(qū)域的包含于所限定的貢獻區(qū)帶中的面積大小的子面積值的面積計算器、被布置為通過將多個記錄的子面積值相加而累加總面積值的面積累加器、被布置為通過將所述總面積值除以參考對象面積值來計算已通過所述計數(shù)邊界的對象的數(shù)目的對象計數(shù)單元。所述對象計數(shù)器的優(yōu)點在于其使得在具有有限容量(例如處理容量、存儲容量等)的處理環(huán)境中對移動對象的計數(shù)變得容易。產(chǎn)生這個優(yōu)點的一個原因是所述對象計數(shù)器包括貢獻區(qū)帶計算器和面積計算器使得對象計數(shù)器基于面積流量，即移動區(qū)域中的子面積而工作的事實，因此不需要例如身份關(guān)鍵對象跟蹤器的密集處理裝置。在一個實施例中，所述對象計數(shù)器被布置在相機中。由此可以降低系統(tǒng)的帶寬需求，因為不需要針對人數(shù)計數(shù)器功能而通過網(wǎng)絡(luò)發(fā)送圖像。在另一個實施例中，所述移動區(qū)域探測器進一步被布置為探測同時出現(xiàn)在所述計數(shù)視場中的多個移動區(qū)域。從下文所給的具體描述，本發(fā)明的進一步的應(yīng)用范圍將會變得清晰。然而，應(yīng)當(dāng)理解，指示本發(fā)明優(yōu)選實施例的詳細描述和具體示例僅僅通過圖示的方式而給出，因為根據(jù)該詳細描述，對于本領(lǐng)域技術(shù)人員來說，在本發(fā)明的精神和范圍內(nèi)的各種改變和修改將變得明顯。


通過下文中結(jié)合附圖具體描述目前的優(yōu)選實施例，本發(fā)明的其他特征和優(yōu)點將會變得明顯，其中圖1是可以使用本發(fā)明的一種可能環(huán)境的示意圖，圖2是可以使用本發(fā)明的另一種可能環(huán)境的示意圖，圖3是本發(fā)明的一種設(shè)置的示意圖，圖4是本發(fā)明的另一種設(shè)置的示意圖，圖5是本發(fā)明的又一種設(shè)置的示意圖，圖6是示出根據(jù)本發(fā)明一個實施例的相機系統(tǒng)的功能塊的框圖，圖7是根據(jù)本發(fā)明一個實施例的方法的一般流程圖，圖8是描述本發(fā)明的一個實施例的流程圖，圖9是描述本發(fā)明的另一個實施例的流程圖，圖10是通過本發(fā)明分析的圖像視場的示意性圖像，圖11描述從圖10中的圖像視場檢索的數(shù)值和數(shù)據(jù)，圖12-14通過圖表示出限定貢獻區(qū)帶的函數(shù)的替代實施例的效果，圖lfe-f是表示根據(jù)本發(fā)明的實施例所處理的連續(xù)圖像的一系列圖像視場，并且圖16示出表示單個貢獻面積和總面積的圖形。
具體實施例方式在詳細描述本發(fā)明之前，應(yīng)當(dāng)理解本發(fā)明并不限于所描述設(shè)備的特定構(gòu)成部分或者所描述方法的步驟，因此這樣的設(shè)備和方法可以改變。還應(yīng)當(dāng)理解，這里所使用的術(shù)語僅僅是為了描述特定的實施例，而不打算限制。必須要注意，除非上下文明確進行相反的規(guī)定，否則在說明書和所附權(quán)利請求中使用的詞“所述”意在指存在一個或多個所述元件。由此，例如，關(guān)于“傳感器”或“所述傳感器”可以包括多個傳感器，等等。此外，詞語“包括”不排除其他的元件或步驟。另外，在附圖中相同的附圖標(biāo)記在多個附圖中指代相同或相應(yīng)的部分。本發(fā)明涉及對對象進行計數(shù)的任務(wù)。在多種情況下，對對象進行計數(shù)的方法很好的適用于對各式各樣的不同對象進行計數(shù)，即通用方法很少是為了特定的對象類型而定制的。這也適用于本發(fā)明。根據(jù)本發(fā)明的方法可以有利地用于基本上對穿過計數(shù)邊界的任何類型的移動對象進行計數(shù)。計數(shù)邊界本質(zhì)上可以是限定邊界的任何形狀，例如線、具有不同方向且連接成一個連續(xù)邊界的多條線、弧形、圓形等。圖1中描述了本發(fā)明實施例的一種設(shè)置。在該特定設(shè)置中，相機10被布置為具有計數(shù)圖像視場12，計數(shù)圖像視場12用于捕獲待計數(shù)的人18、20所通過的過道的圖像。比如，這種設(shè)置可以被布置在出口 14和/或入口 14處。然后包括相機10的系統(tǒng)被布置為計算通過計數(shù)邊界16的人的數(shù)目，計數(shù)邊界16可以僅僅是在計數(shù)系統(tǒng)中限定的邊界，即不必要是在出口 /入口處看得見的線。過道、出口或入口可以屬于商店、超市、百貨公司、公園、 火車站、圖書館、游樂園等。相機10可以被布置在待計數(shù)的人的上方，例如安裝在天花板上或者高掛在墻上，以便于降低計數(shù)區(qū)域中(即計數(shù)圖像視場12中)的人18被另一人20掩蓋或隱藏的風(fēng)險。圖1的設(shè)置還可以用在用于對進入和/或離開停車場的汽車進行計數(shù)的系統(tǒng)中。圖2中描述了本發(fā)明實施例的另一種設(shè)置。在該設(shè)置中，相機10被布置為具有覆蓋運送對象M的傳送帶22的部分的計數(shù)圖像視場12。計數(shù)系統(tǒng)被布置為計算通過計數(shù)邊界16的對象的數(shù)目。通過這種方法計數(shù)的對象可以是任何對象，包括人和動物。這種類型的應(yīng)用可以被布置為對生產(chǎn)線上的產(chǎn)品、行李傳送系統(tǒng)中的行李、自動扶梯上的人等進行計數(shù)?，F(xiàn)在參見圖3-5，一個實施例的計數(shù)系統(tǒng)基于用于記錄計數(shù)圖像視場12的圖像的相機10和被布置為分析相機10所捕獲的圖像并確定有多少對象已通過計數(shù)邊界16的對象計數(shù)器26。如上所述，計數(shù)邊界16可以被限定為對象計數(shù)器沈中的虛擬邊界。參見圖3，對象計數(shù)器沈可以是相機外部的設(shè)備，并且可以是專用于基于所接收的圖像完成對象計數(shù)的任務(wù)的設(shè)備。然而，這種功能也可以在服務(wù)器觀、個人電腦30、工作站32等中實現(xiàn)。用于對象計數(shù)器沈的圖像可以通過計算機網(wǎng)絡(luò)34從相機10傳送。結(jié)果同樣可以通過計算機網(wǎng)絡(luò)34而展示。根據(jù)另一實施例，參見圖4，對象計數(shù)器沈也是相機10外部的設(shè)備。對象計數(shù)器 26可以是專用設(shè)備，但是其也可以在其他設(shè)備中實現(xiàn)，如結(jié)合圖3所示。在這個實施例中， 對象計數(shù)器26從相機10直接接收圖像，并且可以被布置為通過計算機網(wǎng)絡(luò)34展示結(jié)果。根據(jù)又一個實施例，參見圖5，對象計數(shù)器沈可以被嵌入在相機10中。在這個實施例中，計數(shù)的結(jié)果可以通過如上所述的計算機網(wǎng)絡(luò)34而展示。然而這些實施例中的任一個可以被布置為通過任意類型的通信展示最終計數(shù)。將對象計數(shù)器26嵌入相機10的一些好處是計數(shù)系統(tǒng)需要較少的空間；因為計數(shù)所基于的圖像是內(nèi)部傳送的而不是依靠網(wǎng)絡(luò)連接，所以計數(shù)系統(tǒng)可以更加可靠；因為僅僅必須安裝一個設(shè)備并且沒有通信路徑必須建立，所以計數(shù)系統(tǒng)的安裝變得容易；因為例如相對于每個像素都由至少三個值表示的彩色圖像來說，表示一個單值的數(shù)據(jù)非常小，所以計數(shù)系統(tǒng)需要更小的帶寬，等等。嵌入有對象計數(shù)器沈的相機10通過圖6中的概括框圖而示出。這個實施例包括透鏡600、圖像傳感器602以及圖像處理單元604，全部被布置為用于圖像捕獲。另外，相機包括處理單元606、易失性存儲器608、非易失性存儲器610以及網(wǎng)絡(luò)接口 612，全部被布置為用于與相機10的一般工作以及圖像捕獲功能相結(jié)合。這些部分對于本領(lǐng)域技術(shù)人員是熟知的，并且它們的功能不需要區(qū)別于這些部分的常規(guī)功能。進一步，相機10包括圖像分析器614、參考面積調(diào)整裝置616以及對象計數(shù)單元618。圖像分析器614、參考面積調(diào)整裝置616以及對象計數(shù)單元618中的每一個都可以借助于硬件而實現(xiàn)，例如基于邏輯電路，或者可以通過由處理單元606執(zhí)行并存儲在存儲器608、610中的程序代碼而實現(xiàn)。圖像傳感器602可以是探測與對象相關(guān)的一些特征的任意傳感器，例如用于探測光譜的可見部分以探測對象的可見特征的圖像傳感器，可以是焦平面陣列，例如用于探測光譜的紅外部分以記錄對象的散熱模式的微輻射熱測定儀傳感器，或者可以是創(chuàng)建到圖像視場中的對象的距離的圖像的飛行時間傳感器系統(tǒng)。來自圖像傳感器602的輸出是可以表示為兩維圖像并且可以借助于圖像分析工具進行解釋并分析的數(shù)據(jù)。圖像分析器被布置為分析圖像傳感器602所捕獲的圖像數(shù)據(jù)，并且可以包括移動區(qū)域探測器620。移動區(qū)域探測器620被布置為探測圖像傳感器602所捕獲的圖像中的移動區(qū)域，并且執(zhí)行如下所述的與移動區(qū)域的探測相關(guān)的功能，例如探測并且劃分移動區(qū)域， 估計所探測的移動區(qū)域的速度等。在本應(yīng)用中，移動區(qū)域理解為其中整個區(qū)域以基本相同的方向移動的圖像中的圖像元素(例如像素)的區(qū)域，并且該移動區(qū)域僅僅暫時停止這種移動。參考面積調(diào)整裝置616被布置為調(diào)整指示待計數(shù)對象的標(biāo)準(zhǔn)大小的標(biāo)準(zhǔn)值A(chǔ)n。。后面進一步描述怎樣調(diào)整這個值。然而，相機10不一定必須包括這個面積調(diào)整裝置616，而是可以包括指示標(biāo)準(zhǔn)面積值A(chǔ)n。的預(yù)設(shè)固定值。An。值可以存儲在易失性存儲器608或非易失性存儲器610中。對象計數(shù)單元618被布置為生成與穿過計數(shù)圖像視場12的計數(shù)邊界16的對象的數(shù)目相對應(yīng)的值。其可以被布置為通過累加移動區(qū)域的已通過計數(shù)邊界的面積并將該累加面積除以所述標(biāo)準(zhǔn)面積值A(chǔ)n。而生成上述值。根據(jù)一個實施例，移動區(qū)域面積的累加可以通過研究穿過計數(shù)邊界的面積流量而實現(xiàn)。為了實現(xiàn)該面積累加功能，對象計數(shù)單元618進一步包括貢獻區(qū)帶計算器622、面積計算器6 和面積累加器626，貢獻區(qū)帶計算器622被布置為確定包括可能表示待計數(shù)對象的移動區(qū)域的每個離散圖像的貢獻區(qū)帶，面積計算器 624被布置為計算與貢獻區(qū)帶中存在的面積相對應(yīng)的瞬時面積流量，面積累加器6 被布置為計算瞬時面積流量的積分面積或者將每個取樣時段的離散面積值相加，并且累加計數(shù)中所使用的總面積值。以下將描述與對象計數(shù)器的功能相關(guān)的其他細節(jié)。根據(jù)另一實施例，對象計算單元618被布置在通過計算機網(wǎng)絡(luò)34連接至相機10 的單獨的設(shè)備中。根據(jù)又一個實施例，圖形分析器614、參考調(diào)整裝置616以及對象計數(shù)單元618都可以被布置在通過網(wǎng)絡(luò)34接收圖像信息以進行處理的單獨的設(shè)備中。因此，對對象進行計數(shù)的方法可以借助于邏輯電路或者借助于在處理單元606中運行的程序代碼來實現(xiàn)。根據(jù)本發(fā)明的一個實施例，參見圖7，計數(shù)方法包括以下步驟捕獲表示移動圖像的圖像(步驟700)，根據(jù)所捕獲的圖像記錄穿過所限定的計數(shù)邊界的移動區(qū)域面積流量(步驟70 ，以及計算預(yù)定時間段期間記錄的移動區(qū)域面積流量的積分(步驟704)。積分計算可以包括將移動區(qū)域的面積片相加。由此，獲得與已穿過計數(shù)邊界的可能對象相關(guān)的總面積，而不需要系統(tǒng)在所述對象在圖像視場中出現(xiàn)期間識別并跟蹤各個對象。然后將最終的總面積除以參考面積(步驟706)，并且將除法的結(jié)果用于估計已穿過計數(shù)邊界的對象的數(shù)目(步驟708)。在步驟708中估計對象的數(shù)目之后，啟動新的面積獲取周期。預(yù)定時間段可以是適合于特定應(yīng)用的任何長度。在另一實施例中，預(yù)定時間段可以被替代為由相機記錄的特征所確定的時間段，這些特征例如是直到?jīng)]有面積流量被記錄而得到的累加面積。這可以通過只要存在穿過邊界的可能對象就對移動區(qū)域面積片進行積分然后執(zhí)行估計而實現(xiàn)。在又一個實施例中，面積被連續(xù)累加而不復(fù)位，然后基于用戶或另一個系統(tǒng)的請求而展示通過的對象的數(shù)目。根據(jù)一個特定實施例，盡可能快地執(zhí)行將最終的總面積除以參考面積(步驟706) 以及估計對象數(shù)目(步驟708)，以便避免與參考面積不準(zhǔn)確對應(yīng)于被計數(shù)對象的面積相關(guān)的累加錯誤。當(dāng)對大小有所變化的對象(例如人、動物等)進行計數(shù)時，這一點特別明顯。 因此，如果記錄的總面積是參考面積的1. 2倍，則很可能是一個對象已通過，并且該特定的對象稍微大于參考對象的面積。然而，如果記錄的總面積是參考面積的4. 8倍，則系統(tǒng)可能估計已通過的對象的數(shù)目是五。這個估計可能是正確的，但是如果面積分別為1.2倍參考面積的四個對象已通過，則計數(shù)器仍舊指示已通過五人。因此，如果盡可能快地估計對象的數(shù)目，則這種累加錯誤可以被避免或至少保持在低水平。即使該過程沒有達到自動輸出指示當(dāng)前累加的總面積的面積值并估計對象數(shù)目的狀態(tài)，該過程也可以基于請求而允許輸出該面積，即可以在任何時間請求輸出面積值。在一個特定的實施例中，上述方法被實現(xiàn)為以下結(jié)合圖8的過程所述。以下關(guān)于圖8的描述也參見圖10-12。起初該過程被布置為從計數(shù)圖像視場中捕獲圖像并且探測這些圖像視場中的移動區(qū)域的存在(步驟802)。圖10表示相機10所捕獲的計數(shù)圖像視場，其中在計數(shù)圖像視場12中捕獲兩人 18,20,并且探測移動區(qū)域的步驟802導(dǎo)致探測到由虛線指示的一個移動區(qū)域102。在這個示例中，盡管事實上在計數(shù)圖像視場12中存在兩人18、20，但是移動區(qū)域的探測(步驟 802)的結(jié)果為探測到一個移動區(qū)域102。如上所述，其原因在于移動區(qū)域探測算法不能夠區(qū)分彼此靠近的對象，因此移動區(qū)域102被探測為覆蓋兩人18、20的一個移動區(qū)域102。然后生成描述所探測的移動區(qū)域102的移動的速度矢量^； 104(步驟804)。當(dāng)圖 10和11中的移動區(qū)域102被探測為一個移動區(qū)域時，圖11中僅僅描繪一個速度矢量[104。 所生成的速度矢量 ； 104包括與每個所探測的移動區(qū)域102相關(guān)的移動方向和移動速度。然后根據(jù)對應(yīng)的移動區(qū)域102的速度和兩個連續(xù)的生成即將加到累加總面積上的子面積值的步驟之間的時間段，計算每個所探測的移動區(qū)域102的貢獻區(qū)帶的邊界(步驟 806)。根據(jù)圖12中舉例說明的一個實施例，貢獻區(qū)帶由計數(shù)邊界16(在該特定實施例中是線)、整個計數(shù)圖像視場12的寬度和與計數(shù)邊界線16平行且被布置在與計數(shù)邊界線16的距離為dS處的貢獻線108來限定。距離dS對應(yīng)于在時間段dt期間移動區(qū)域102向計數(shù)邊界線16行進的距離，其中時間段dt對應(yīng)于連續(xù)的生成即將加到累加總面積上的子面積值的步驟之間的時間。距離dS可以例如計算為dS = vadt。因此距離dS可以通過將速度Va與較小時間值dt相乘而獲得，較小時間值dt例如是兩個連續(xù)的子面積確定之間的時間、兩個連續(xù)的圖像捕獲之間的時間，等等。在這個方程中，變量Va是速度矢量[的具有垂直于計數(shù)邊界線I6的方向的速度分量，參見圖11。時間變量dt可以是兩個連續(xù)的生成即將加到累加總面積上的子面積值的步驟之間的時間或者類似的周期，例如連續(xù)的貢獻區(qū)帶計算之間的時間、連續(xù)的檢查移動區(qū)域是否接近計數(shù)邊界之間的時間、連續(xù)的移動區(qū)域探測之間的時間，等等。然而，時間變量dt也可以被設(shè)置為多個周期之間的時間或者被設(shè)置為與該過程的任何特定特征都不相關(guān)的固定值。因此， 距離dS可以通過將速度Va乘以較小時間值dt而獲得。然后，如果發(fā)現(xiàn)所探測的任一移動區(qū)域102接近計數(shù)邊界線16 (步驟808)(在這個特定實施例中，這意味著發(fā)現(xiàn)該移動區(qū)域102出現(xiàn)在與其自身相關(guān)的貢獻區(qū)帶中)，則該過程通過生成每個移動區(qū)域102的出現(xiàn)在與其自身相關(guān)的貢獻區(qū)帶中的子面積dA而繼續(xù) (步驟810)。因此，子面積dA可以描述為dA= I貢獻區(qū)帶η移動區(qū)域I。貢獻區(qū)帶和移動區(qū)域102的交集可以借助于多邊形剪切或者貢獻區(qū)帶與所探測移動區(qū)域102之間的像素級上的與操作來確定。然后子面積dA可以被計算為最終的多邊形的面積或最終的像素的總面積。技術(shù)人員將認(rèn)識到用于確定子面積dA的其他方法。因此，每個子面積dA指示移動區(qū)域102的出現(xiàn)在對應(yīng)的貢獻區(qū)帶中的面積。子面積dA也可以被視為面積流量值。當(dāng)確定每個子面積dA時，將每個子面積dA加到總面積At。t上(步驟81 ，以便于累加與通過對象探測邊界16的對象相對應(yīng)的面積。探測移動區(qū)域802、生成速度矢量804、 計算貢獻區(qū)帶的邊界16806、檢查移動區(qū)域102是否接近于計數(shù)邊界808、生成子面積dA 810以及將貢獻面積dA加到總面積At。t上的這些步驟，不斷重復(fù)直到計時器ti到期(步驟 814)。在計時器ti到期之后，時間段ti期間通過的對象的數(shù)目通過將累加總面積At。t除以表示參考對象面積An。的值來確定(步驟816)。由此，對象的數(shù)目可以近似為N。bj = At。t/ An。。對象的這一估計數(shù)目可以累加以提供表示較長時間段的值，或者可以被存儲以供感興趣的一方訪問。不管怎樣，當(dāng)估計出通過計數(shù)邊界的對象的數(shù)目時，重置表示總面積At。t的變量(步驟818)，例如重置為零，并且該過程返回至探測對象的步驟802，并可以對其他對象進行計數(shù)。根據(jù)另一個實施例，其在圖9中由利用虛線畫出的附加處理步驟(步驟820和 822)表示，該過程能夠探測來自用戶或交互系統(tǒng)的最終請求(步驟820)。響應(yīng)于該請求， 該過程繼續(xù)，并執(zhí)行將累加總面積Atot除以表示參考對象面積An。的值的計算(步驟822)。 該過程通過返回至步驟802繼續(xù)累加子面積。在這個特定實施例中，ti時間段可以被設(shè)置為大值，以便于很少的重置累加總面積At。t。系統(tǒng)甚至可以被設(shè)置為不用重置累加總面積 At。t直到相機被重啟或重置。在一個實施例中，區(qū)域的探測(步驟80 以及速度矢量^；的生成(步驟804)，通過相機10的現(xiàn)有功能而執(zhí)行，然后輸入到對象計數(shù)過程中。對象計數(shù)過程的這一輸入可以是一個或多個移動區(qū)域指示符，例如每個移動區(qū)域102的位映像，或者與每個移動區(qū)域102近似的多邊形、橢圓形、長方形、圓形等任意之一。進一步地，對象計數(shù)過程可以接收與每個移動區(qū)域102相關(guān)聯(lián)的速度矢量[或移動場。移動場可以包括圖像的基本上所有可見表面點或像素的速度。在對象計數(shù)過程的輸入是移動場的情況下，移動場可以與移動區(qū)域102的表示相結(jié)合，以便生成速度矢量[。怎樣執(zhí)行這種結(jié)合是本領(lǐng)域技術(shù)人員所熟知的。這些處理步驟當(dāng)然也可以通過處理單元606中的軟件來執(zhí)行。為了探測移動區(qū)域，可以使用多種可能的方法。用于識別移動區(qū)域的可能算法的一些示例可以是分割算法，例如Stauffer和Grimson在1999年6月“ 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR' 99)-Volume 2”第 2246 頁出版的"Adaptive background mixture models or real-time tracking (自適應(yīng)背景混合模型或?qū)崟r跟蹤)”中公開的算法，像在Almbladh的申請?zhí)枮?17四03的歐洲專利中公開的算法，根據(jù)S. S. Beauchemin, J. L. Barron在美國紐約ACM 1995年的 "Thecomputation of optical flow(光學(xué)流量的計算)”中討論的光學(xué)流量理論的算法，或者技術(shù)人員已知的任意其他分割算法。另外，用于生成與所探測的移動區(qū)域的速度相關(guān)的數(shù)據(jù)的多種方法為本領(lǐng)域技術(shù)人員所熟知。這種方法的一個示例是生成如光學(xué)流量理論中討論的移動場，并且根據(jù)該移動場獲得速度矢量[。另一個示例是將來自連續(xù)捕獲的圖像幀的移動區(qū)域進行比較，然后假定第二圖像幀中面積與第一圖像幀的移動區(qū)域相同的移動區(qū)域表示同一移動區(qū)域，并且由此基于兩個連續(xù)幀之間的時間和移動區(qū)域的移動距離來計算速度矢量。又一種方法包括利用簡單的“斑點追蹤儀”，“斑點追蹤儀”被布置為追蹤移動區(qū)域的時間長到足以估計速度， 但不足以保證在移動區(qū)域出現(xiàn)于計數(shù)視場中時在整個時間段期間識別出斑點。用于生成速度矢量 ；的其他方法是本領(lǐng)域技術(shù)人員所熟知的，因此上述示例并不限制本發(fā)明的保護范圍。在圖9中描述另一個實施例。該過程與圖8中所描述的過程極其相似。因此，步驟 902-912和916-918與步驟802-812和步驟816-818是相同的。然而步驟914與步驟814 的不同之處在于，面積值A(chǔ)t。t的累加持續(xù)到?jīng)]有移動區(qū)域接近計數(shù)邊界16。因此，在沒有移動區(qū)域通過計數(shù)邊界時的時段期間，估計已通過計數(shù)邊界16的移動區(qū)域的數(shù)目。依賴于移動區(qū)域探測器的實施方式，如果包括移動區(qū)域已經(jīng)停止的指示符，則計數(shù)器的結(jié)果可能更力口可靠。在另一個實施例(未示出)中，與步驟814或914相對應(yīng)的步驟可以被布置為結(jié)合這兩種方法。因此，面積值A(chǔ)t。t的累加持續(xù)到?jīng)]有移動區(qū)域接近計數(shù)邊界16，除非時間段 ti已經(jīng)到期，如果滿足這些條件中的任一個，則通過將At。t除以kno來生成指示對象數(shù)目的值。在圖8-9中，針對每個所探測的移動區(qū)域102生成速度矢量^。這可以作為移動區(qū)域探測的一部分或作為單個過程而執(zhí)行。在另一個實施例中，直到移動區(qū)域102接觸計數(shù)邊界16或者處于離計數(shù)邊界16預(yù)定距離處，才針對移動區(qū)域102生成速度矢量7。如果實施方式無法針對速度矢量[處理每一個所探測的移動區(qū)域，那么這個實施例可能是有利的。 為了計算通過計數(shù)邊界的對象的數(shù)目而使用的參考面積K0可以通過將累加面積At。t與已穿過計數(shù)邊界的已知對象數(shù)目相比較來估計，或者可以通過根據(jù)已穿過計數(shù)邊界的大但未知的對象數(shù)目，以多個測量的總面積分析并估計量化步驟，來以統(tǒng)計方式推斷出參考面積An。。使用這種“自學(xué)習(xí)”的方法來估計參考面積，對象計數(shù)系統(tǒng)就隨時間改進參考面積的準(zhǔn)確度。使用那樣的對象計數(shù)系統(tǒng)的一個好處是它不需要任何或者不需要至少僅僅一些手動校準(zhǔn)或配置。參考面積An?？梢岳缡侨藬?shù)計數(shù)器所探測的所有用戶的面積的均值或中值。 可替代地，參考面積An?？梢允穷A(yù)定的固定值。結(jié)合圖8和圖12描述一種設(shè)置貢獻區(qū)帶的邊界的方法。設(shè)置貢獻區(qū)帶的另一種方法在圖13中描述。這個方法還包括計算在與貢獻區(qū)帶的連續(xù)計算之間的時間相對應(yīng)的時間段dt期間移動區(qū)域12向計數(shù)邊界線16行進的距離dS。然而，距離dS用于設(shè)置布置在計數(shù)邊界16不同側(cè)的兩條平行貢獻線108、110。由此，計數(shù)區(qū)帶被兩條平行貢獻線108、 110和整個計數(shù)圖像視場的寬度(即計數(shù)圖像視場的垂直于貢獻線108、110的邊緣)所限定。貢獻線可以布置在離計數(shù)邊界不同或相同的距離處。圖14中描述又一種設(shè)置貢獻區(qū)帶的方法。距離dS再次被計算。然而，這次貢獻線Iio被布置在計數(shù)邊界16的相對于移動區(qū)域102的行進方向的遠側(cè)離計數(shù)邊界16距離 dS處。由此，計數(shù)區(qū)域被計數(shù)邊界16、貢獻線110以及整個計數(shù)圖像視場的寬度所限定。為了使本發(fā)明理解起來更容易，本發(fā)明一個具體實施例中的處理過程適用于兩個人穿過計數(shù)邊界16的場景。這種場景的處理過程將會在下文中參照圖lfe-f和圖16進行描述。圖15a-f示出從時間、到時間t5捕獲的六張圖像的圖像序列。圖15a中，在、時，因為兩個人50、52緊靠在一起行走，所以兩個人50、52被探測為用虛線表示的一個移動區(qū)域102。所探測的移動區(qū)域102還沒有到達計數(shù)邊界108，但是速度分量％指示移動區(qū)域102將會在隨后的時間片dt內(nèi)到達邊界線。因此，移動區(qū)域102 位于貢獻區(qū)帶中，并且如圖16中的圖形所述，在先前的描述中也被稱作為子面積的瞬時面積流量ClAtl為非零?，F(xiàn)在參見表示、時的下一幀的圖15b，兩個人50、52仍舊被探測為一個移動區(qū)域 102。基于速度V1來計算貢獻區(qū)帶?，F(xiàn)在移動區(qū)域102的一部分穿過計數(shù)邊界，并且如前所述，從貢獻區(qū)帶中產(chǎn)生新的瞬時面積流量ClA115如在圖1 和16中可見，移動區(qū)域102的出現(xiàn)在貢獻區(qū)帶中的面積ClA1在、時大于、時。在表示t = t2時捕獲的圖像的圖15c中，兩個人50、52已經(jīng)互相分開行走并且因此更遠地分開行走。因此，兩個人50、52被探測為兩個單獨的移動區(qū)域10加、102b，并且生成兩個單獨的瞬時面積流量分量dA2a和dAa。不同的面積流量分量dA2a和dA2b使用每個移動區(qū)域10h、102b的相應(yīng)速度分別計算，即每個移動區(qū)域102a、102b基于每個移動區(qū)域 102a、102b的相應(yīng)速度v2a、Va被提供以其自身的貢獻區(qū)帶。在這個示例中，v& > v2b，并且由此針對以速度v2a移動的移動區(qū)域10 生成的貢獻區(qū)帶大于針對以速度Rb行進的移動區(qū)域102b生成的貢獻區(qū)帶。根據(jù)一個實施例，將兩個瞬時面積流量分量dAa加在一起，以便于生成針對時間隙t2的總瞬時面積流量dA2。根據(jù)另一個實施例，兩個瞬時面積流量分量(1~3和ClAa分別存儲或者分別加到指示已穿過計數(shù)邊界的總面積流量At。t&累加變量上。在時間t3時，參見圖15d，兩個人50、52再次靠近在一起，由此生成覆蓋兩個人50、 52的單個移動區(qū)域102。因此生成單個瞬時面積流量分量dA3。參見圖15e，在時間t4時捕獲的圖像中，確定與兩個人50、52相關(guān)的移動區(qū)域的最終瞬時面積流量分量dA4。然后，在時間t5時，兩個人50、52已經(jīng)完全通過計數(shù)邊界16，并且可以確定沒有進一步的面積流量分量。如上所述，圖16的圖形示出表示從圖lfe-f的圖像序列確定的瞬時面積流量或子面積的圖形。圖形以下的面積可以認(rèn)為是根據(jù)圖像序列的累加面積，并且將對應(yīng)于從、到 t5的積分瞬時面積流量，即總面積At。t。在圖15a中進一步示出即使所探測的移動區(qū)域102沒有與計數(shù)邊界16相接觸的部分，也可以記錄移動區(qū)域102的面積的一部分。對于可計算的面積流量貢獻來說，移動區(qū)域102僅僅需要位于其自身的貢獻區(qū)帶內(nèi)，并且如先前所述，貢獻區(qū)帶的大小依賴于移動區(qū)域102的速度。因此高速度的對象將會生成較大的貢獻區(qū)帶。為了正確計算面積流量， 將整個貢獻區(qū)帶全部包含在對象計數(shù)器相機的視場內(nèi)是極為有利的。這可以被視為被計數(shù)的對象的速度上限。
權(quán)利要求
1.對對象進行計數(shù)的方法，所述方法包括捕獲表示預(yù)定計數(shù)視場(1 的移動圖像的圖像， 探測所述預(yù)定計數(shù)視場(1 的所述移動圖像中的移動區(qū)域(102)， 計算指示所述移動區(qū)域(10 的移動速度的移動區(qū)域(10 速度值(Va)， 基于預(yù)定計數(shù)邊界(16)、所述移動區(qū)域速度值(Va)以及貢獻時間段(dt)，重復(fù)限定貢獻區(qū)帶，重復(fù)檢索并記錄表示所述移動區(qū)域(10 的包含于所限定的貢獻區(qū)帶中的面積大小的子面積值(dA)，通過將多個記錄的子面積值(dA)相加而生成總面積值(Atot)， 通過將所述總面積值(At。t)除以參考對象面積值(AJ來估計已通過所述計數(shù)邊界 (16)的對象的數(shù)目，其中所述貢獻時間段(dt)對應(yīng)于兩個連續(xù)的檢索子面積值(dA)的行為之間的時間段。
2.根據(jù)權(quán)利請求1所述的方法，其中所述方法在能夠捕獲移動圖像的相機(10)中執(zhí)行。
3.根據(jù)權(quán)利請求1-2中任一個所述的方法，其中只要在所述移動圖像中探測到移動區(qū)域(102)，所述限定貢獻區(qū)帶的行為就被重復(fù)執(zhí)行。
4.根據(jù)權(quán)利請求1-5中任一個所述的方法，其中當(dāng)沒有移動區(qū)域(10 出現(xiàn)在相應(yīng)的貢獻區(qū)帶中時，執(zhí)行所述估計已通過所述計數(shù)邊界(16)的對象的數(shù)目的行為。
5.根據(jù)權(quán)利請求4所述的方法，進一步包括將所估計的數(shù)目加到表示總數(shù)目的變量上的步驟。
6.根據(jù)權(quán)利請求1-5中任一個所述的方法，其中移動區(qū)域(10 的探測進一步包括探測同時出現(xiàn)在所述計數(shù)視場(1 中的多個移動區(qū)域(102)。
7.根據(jù)權(quán)利請求6所述的方法，其中速度值(Va)的計算包括分別計算所探測的移動區(qū)域(102)的對應(yīng)速度值(va)。
8.根據(jù)權(quán)利請求1-7中任一個所述的方法，其中所述限定貢獻區(qū)帶的行為在兩個連續(xù)的檢索并記錄表示所述移動區(qū)域(10 的包含于所限定的貢獻區(qū)帶中的面積大小的子面積值(dA)的行為之間執(zhí)行。
9.根據(jù)權(quán)利請求8的方法，其中所述限定貢獻區(qū)帶的行為在每個檢索子面積值(dA)的行為之前重復(fù)。
10.用于對通過特定計數(shù)邊界(16)的對象進行計數(shù)的對象計數(shù)器，所述對象計數(shù)器包括被布置為捕獲預(yù)定計數(shù)視場的圖像的圖像傳感器(60 ，以及被布置為探測所捕獲的圖像中的移動區(qū)域(10 并計算指示所述移動區(qū)域(10 的移動速度的速度值(Va)的移動區(qū)域探測器(620)， 其特征在于貢獻區(qū)帶計算器(622)，被布置為基于預(yù)定計數(shù)邊界(16)、所述速度值(ν)以及貢獻時間段(dt)重復(fù)限定貢獻區(qū)帶，面積計算器(6M)，被布置為檢索并記錄表示所述移動區(qū)域(10 的包含于所限定的貢獻區(qū)帶中的面積大小的子面積值(dA)，面積累加器(6 )，被布置為通過將多個記錄的子面積值(dA)相加而累加總面積值(Atot)，對象計數(shù)單元(618)，被布置為通過將所述總面積值(At。t)除以參考對象面積值(AJ 來計算已通過所述計數(shù)邊界(16)的對象的數(shù)目。
11.根據(jù)權(quán)利請求10所述的對象計數(shù)器，其中所述對象計數(shù)器被布置在相機中。
12.根據(jù)權(quán)利請求10或11中任一個所述的對象計數(shù)器，其中所述移動區(qū)域探測器 (620)進一步被布置為探測同時出現(xiàn)在所述計數(shù)視場(1 中的多個移動區(qū)域(102)。
全文摘要
本發(fā)明涉及一種對象計數(shù)器及對對象進行計數(shù)的方法。所述方法包括捕獲表示預(yù)定計數(shù)視場的移動圖像的圖像、探測所述預(yù)定計數(shù)視場的所述移動圖像中的移動區(qū)域、計算指示所述移動區(qū)域的移動速度的移動區(qū)域速度值、基于預(yù)定計數(shù)邊界、所述移動區(qū)域速度值以及貢獻時間段dt重復(fù)限定貢獻區(qū)帶、重復(fù)檢索并記錄表示所述移動區(qū)域的包含于所限定的貢獻區(qū)帶中的面積大小的子面積值、通過將多個記錄的子面積值相加而生成總面積、并且通過將所述總面積值除以參考對象面積值來估計已通過所述計數(shù)邊界的對象的數(shù)目，其中所述貢獻時間段對應(yīng)于兩個連續(xù)的檢索子面積值的行為之間的時間段。
文檔編號G06T7/00GK102467679SQ20111036011
公開日2012年5月23日 申請日期2011年11月14日 優(yōu)先權(quán)日2010年11月18日
發(fā)明者喬安·阿爾姆布拉德 申請人:安訊士有限公司