專利名稱：用于安全應(yīng)用的人體檢測和跟蹤的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及監(jiān)視系統(tǒng)。具體地，本發(fā)明涉及基于視頻的智能監(jiān)視系統(tǒng)， 其能自動檢測和^J宗監(jiān)視下的場景內(nèi)的人體目標(biāo)。
背景技術(shù)：
穩(wěn)健的人體檢測和跟蹤對于現(xiàn)代視頻監(jiān)視和安全應(yīng)用很重要。任何住 宅和商業(yè)系統(tǒng)關(guān)心的一個問^高的誤報警或誤報警的傾向。許多因素可 以觸發(fā)誤報警。例如，在家庭安全系統(tǒng)中，諸如生日氣球或?qū)櫸锬酥潦フQ 樹上的裝飾物之類的物體或動物的熱、聲音或移動的任何來源，如果處于 安全傳感器的檢測范圍之內(nèi)，都可能引起誤報警。這樣的誤報警可能促使 人員響應(yīng)，顯著增加了系統(tǒng)的總成本。此外，反復(fù)的誤報警可能降低系統(tǒng) 的有效性，當(dāng)真正的事件或威脅發(fā)生時，這會很不利。
同樣，如果安全系統(tǒng)能夠可靠地檢測場景中的人體目標(biāo)，則大多數(shù)的 誤報警需要被去除，因?yàn)榭磥砗孟穹侨梭w的目標(biāo)引發(fā)了大多數(shù)的誤報警。 所需要的是可靠的人#測和1 ^宗系統(tǒng)，該系統(tǒng)不僅能夠減少誤報警，而 且還能夠用于執(zhí)行更高水平的人類行為分析，所U類行為分析可以具有 大范圍的潛在應(yīng)用，包括但不限于人員計數(shù)、中老年或精神疾病的監(jiān)視，
以及可ltA員犯罪行為檢測。

發(fā)明內(nèi)容
本發(fā)明包括用于人體檢測和跟蹤的方法、系統(tǒng)、i殳備和制造的物品。
在實(shí)施例中，本發(fā)明使用了具有有關(guān)人體對象的多個線索和一^A體 模型的人體檢測方法。本發(fā)明的實(shí)施例還使用了人體目標(biāo)躍應(yīng)和時間信息 來進(jìn)一 步增加檢測的可靠性。
本發(fā)明的實(shí)施例還可以用替選方式使用人體外觀、膚色檢測和人* 動。在一個實(shí)施例中，臉部檢測可以使用人體對象的正面或半正面視圖以 及頭部圖像尺寸和主要面部特征。
根據(jù)實(shí)施例，本發(fā)明包括計算機(jī)可讀介質(zhì)，其包含軟件代碼，當(dāng)所述 軟件代碼由機(jī)器如計算機(jī)讀取時，使該計算機(jī)執(zhí)行用于視頻目標(biāo)跟蹤的方
法，該方法包括但不限于下述操作對輸入的監(jiān)皿頻執(zhí)行變化檢測；檢 測和跟蹤目標(biāo)；以及基于用戶限定的規(guī)則檢測所關(guān)心的事件。
在實(shí)施例中，用于本發(fā)明的系統(tǒng)可以包括計算機(jī)系統(tǒng)，其包括計算機(jī) 可讀介質(zhì)，該計算機(jī)可讀介質(zhì)具有根據(jù)本發(fā)明的實(shí)施例來^Mt計算機(jī)的軟 件。在實(shí)施例中，用于本發(fā)明的設(shè)備包括計算機(jī)，其包括計算機(jī)可讀介質(zhì)， 該計算機(jī)可讀介質(zhì)具有根據(jù)本發(fā)明的實(shí)施例來操作計算機(jī)的軟件。
在實(shí)施例中，用于本發(fā)明的制造的物品包括計算機(jī)可讀介質(zhì)，其具有 根據(jù)本發(fā)明的實(shí)施例來操作計算機(jī)的軟件。
本發(fā)明的示例性特征和優(yōu)點(diǎn)以及本發(fā)明的各種實(shí)施例的結(jié)構(gòu)和操作 可以在下面參考附圖詳細(xì)說明。


本發(fā)明的上述和其它特征和優(yōu)點(diǎn)將通過下面本發(fā)明的示例性實(shí)施例 的更具體的描述而更加明顯，如附圖所示，其中相同的附圖標(biāo)記一般指示 相同、功能上相似和/或結(jié)構(gòu)上相似的元件。相應(yīng)的附圖標(biāo)記中的最左邊 的數(shù)字指示元件最先出現(xiàn)在其中的附圖。
圖l描繪了根據(jù)本發(fā)明的實(shí)施例的智能視頻系統(tǒng)(IVS)系統(tǒng)的概念 性才匡圖2描繪了根據(jù)本發(fā)明的實(shí)施例的IVS系統(tǒng)的與人體檢測/跟蹤有關(guān) 的內(nèi)容分析模塊的概念性框圖3描繪了根據(jù)本發(fā)明的實(shí)施例的人體檢測/跟蹤模塊的概念性框圖4列出了根據(jù)本發(fā)明的實(shí)施例的人體特征提,塊的主要部件；
圖5描繪了根據(jù)本發(fā)明的實(shí)施例的人體頭部檢測模塊的概念性框圖6描繪了根據(jù)本發(fā)明的實(shí)施例的人體頭部位置檢測模塊的概念性 框圖7圖示了根據(jù)本發(fā)明的實(shí)施例的目標(biāo)上部輪廓的例子；
圖8示出了才艮據(jù)本發(fā)明的實(shí)施例的檢測到的潛在頭部位置的某個例
子；
圖9描繪了根據(jù)本發(fā)明的實(shí)施例的橢圓形頭部配合(fit)模塊的概念
性才匡圖10圖示了才艮據(jù)本發(fā)明的實(shí)施例的如何找到頭部外形像素的方法；
圖11圖示了根據(jù)本發(fā)明的實(shí)施例的將一個頭部外形點(diǎn)的配合誤差限 定到估計的頭部模型；
圖12描繪了根據(jù)本發(fā)明的實(shí)施例的橢圓形頭部精細(xì)配合模塊的概念 性4匡圖13列出了根據(jù)本發(fā)明的實(shí)施例的頭部跟蹤器模塊406的主要部件； 圖14描繪了根據(jù)本發(fā)明的實(shí)施例的相對尺寸估計器模塊的概念性框
圖15描繪了根據(jù)本發(fā)明的實(shí)施例的人體形狀輪廓提,塊的概念性 框圖16示出了根據(jù)本發(fā)明的實(shí)施例的人體投影輪廓提取和規(guī)范化的例
子；
圖17描繪了 4艮據(jù)本發(fā)明的實(shí)施例的人體檢測模塊的概念性框圖； 圖18示出了根據(jù)本發(fā)明的實(shí)施例的不同水平的人體特征支持的例
子；
圖19列出了根據(jù)本發(fā)明的實(shí)施例的人體目標(biāo)檢測器和跟蹤器使用的 潛在人體目標(biāo)狀態(tài)；
圖20圖示了根據(jù)本發(fā)明的實(shí)施例的人體目標(biāo)狀態(tài)變換圖。
應(yīng)當(dāng)理解這些附圖描繪的是本發(fā)明的實(shí)施例?；诎诖说慕虒?dǎo)， 這些實(shí)施例的變化對于相關(guān)領(lǐng)域普通技術(shù)人員是明顯的。例如，這些附圖 中所包含的流程圖和框圖描繪了具體的操作流程。但是，這些流程圖中所 包含的功能和步驟可以以其它次序執(zhí)行，如基于包含于此的教導(dǎo)對于相關(guān) 領(lǐng)域普通技術(shù)人員將會明顯的那樣。
定義
下面的定義適用于本公開全文，包括上面的內(nèi)容。
"視頻"可以指以模擬和/或數(shù)字形式表示的運(yùn)動圖片。視頻的例子 可以包括電視、電影、來自攝<|*或其它觀察器的圖像序列和計算機(jī)生成
的圖像序列。視頻可以例如從現(xiàn)場報道(live feed )、存儲裝置、基于IEEE 1394的接口、視頻數(shù)字轉(zhuǎn)換器、計算機(jī)圖形引擎或者網(wǎng)絡(luò)連接中獲得。
"幀"指的是視頻中的具體圖^i^其它離散單元。
"視頻攝^^"可以指用于視覺記錄的設(shè)備。視頻攝^N^的例子可以 包括以下中的一個或多個視頻損WI4iL;數(shù)字視頻攝^^;彩色攝^^; 單色攝^^;攝膝^;可攜式攝#^; PC攝^^;網(wǎng)絡(luò)攝膝fe紅外(IR) 視頻攝^4^;低照度視頻攝#4^;熱視頻攝像機(jī)；CCTV攝4I^;遙攝、 傾斜、變焦(PTZ)攝^^L;以及視頻感測裝置?？梢园仓靡曨l攝^4^以 執(zhí)行所關(guān)心區(qū)域的監(jiān)視。
"對象"是指在視頻中關(guān)注的項(xiàng)目。對象的例子包括人、車輛、動物 和物理實(shí)體。
"目標(biāo)，，是指對象的計算M型。目標(biāo)從圖像處理中導(dǎo)出，并且在目 標(biāo)和對象之間存在——對應(yīng)。4^>開中的目標(biāo)具體地是指對象在一定時間 期間的 一段時期的 一致的計算,型。
"計算機(jī)"是指能夠接受結(jié)構(gòu)化輸入、根據(jù)規(guī)定的規(guī)則處理所述結(jié)構(gòu) 化輸入并產(chǎn)生處理的結(jié)果作為輸出的任何設(shè)備。計算機(jī)例如可以包括接 受數(shù)據(jù)、根據(jù)一個或多個存儲的軟件程序處理所述數(shù)據(jù)、產(chǎn)生結(jié)果并且典 型地包括輸入、輸出、存儲、算術(shù)、邏輯和控制單元的任何設(shè)備；計算機(jī)； 通用計算機(jī)；超級計算機(jī)；大型機(jī)；超級小型計算機(jī)；小型計算機(jī)；工作 站；微型計算機(jī)；服務(wù)器；交互式電視；網(wǎng)絡(luò)設(shè)備；具有互聯(lián)網(wǎng)接入的電 信設(shè)備；計算機(jī)和交互式電視的混合組合；便攜式計算機(jī)；個人數(shù)字助理 (PDA);便攜式電話；仿效計算機(jī)和/或軟件的專用硬件；固定式計算機(jī)； 便攜式計算機(jī)；單處理器計算機(jī)；可以并行和/或不并行操作的多處理器 計算機(jī)；以及經(jīng)由網(wǎng)絡(luò)連接在一起的用于在計算機(jī)之間傳輸或接收信息的 兩個或更多計算機(jī)，比如用于經(jīng)由通過網(wǎng)絡(luò)鏈接的計算機(jī)處理信息的分布 式計算機(jī)系統(tǒng)。
"計算機(jī)可讀介質(zhì)"是指用于存儲計算機(jī)可訪問數(shù)據(jù)的任何存儲裝 置。計算機(jī)可讀介質(zhì)的例子包括磁性硬盤；軟盤；光盤如CD-ROM和 DVD;磁帶；存儲芯片；以及用于運(yùn)送計算機(jī)可讀電子數(shù)據(jù)的載波，比 如在發(fā)送和接收電子郵件中或者在訪問網(wǎng)絡(luò)中使用的那些載波。
"軟件"是指用于操作計算機(jī)的規(guī)定的規(guī)則。軟件的例子包括軟件； 代碼段；指令；軟件程序；計算機(jī)程序；以及編程邏輯。
"計算機(jī)系統(tǒng)"是指具有計算機(jī)的系統(tǒng)，其中計算機(jī)包括含有軟件以 操作計算機(jī)的計算機(jī)可讀介質(zhì)。
"網(wǎng)絡(luò)"是指通過通信設(shè)施連接的若干計算機(jī)和相關(guān)設(shè)備。網(wǎng)絡(luò)可以 包括永久連接如纜線或臨時連接如通過電話、無線或其它通信M進(jìn)行的
那些連接。網(wǎng)絡(luò)的例子可以包括互聯(lián)網(wǎng)如因特網(wǎng)；內(nèi)聯(lián)網(wǎng)；局域網(wǎng)(LAN); 廣域網(wǎng)(WAN);以及網(wǎng)絡(luò)如互聯(lián)網(wǎng)和內(nèi)聯(lián)網(wǎng)的組合。
具體實(shí)施例方式
在此說明本發(fā)明的示例性實(shí)施例。盡管討論了具體示例性實(shí)施例，但 M當(dāng)理解這只是用于說明的目的。相關(guān)領(lǐng)域中的普通技術(shù)人員會明白， 至少基于在此提供的教導(dǎo)，能夠使用其它部件和配置而不脫離本發(fā)明的精 神和范圍。
本發(fā)明的示例性實(shí)施例的具體應(yīng)用包括但不限于以下住宅安全監(jiān) 視；商業(yè)安全監(jiān)視，比如像用于零售、保健或倉庫；以及重要M設(shè)施的 視頻監(jiān)視，比如像用于煉油廠、核電站、港口、機(jī)場和鐵路。
在說明本發(fā)明的實(shí)施例時， 一般使用下列準(zhǔn)則，但本發(fā)明不限于它們。 相關(guān)領(lǐng)域中的普通技術(shù)人員會至少基于在此提供的教導(dǎo)而意識到對所述 準(zhǔn)則的替選和添加。
1、 人體對象具有頭部，其在攝^^L視野中具有直立身體支持至少 一定時間。這可能要求攝像機(jī)不是俯視和/或人體沒有總是爬行。
2 、 人體對象在對象移動時具有肢體運(yùn)動。
3、 人體尺寸在平均人體尺寸的一定范圍內(nèi)。
4、 人體臉部可以看見。
上述一般的人體對象性質(zhì)是這樣的準(zhǔn)則，所述準(zhǔn)則充當(dāng)用于場景中的 人體目標(biāo)的多條線索，并且不同的線索在所觀察的目標(biāo)是否是人體目標(biāo)方 面可以具有不同的可信度。根據(jù)實(shí)施例，每個視頻幀上的人體檢測可以是 來自該幀的所有線索或所有線索的子集的加權(quán)或非加權(quán)的組合。視頻序列 中的人體檢測可以是來自人體目標(biāo)跟蹤的全局決定。
圖1描繪了根據(jù)本發(fā)明的實(shí)施例的典型的IVS系統(tǒng)100的概念性框 圖。視頻輸入102可以是常規(guī)閉路電視(CCTV)視頻信號，或者一般地， 是來自視頻攝像機(jī)的視頻信號。元件104可以是具有內(nèi)容分析模塊的計算
機(jī)，所述內(nèi)容分析模塊執(zhí)行在此說明的場景內(nèi)容分析。用戶可以通過用戶
界面106配置系統(tǒng)100并定義事件。一M測到任何事件，就向指定人員 發(fā)送報警110，其帶有必要的信息和指令用于進(jìn)一步的關(guān)注和調(diào)查。視頻 數(shù)據(jù)、場景內(nèi)^Kt據(jù)和其它事件相關(guān)數(shù)據(jù)將被存儲到數(shù)據(jù)存儲器108中用 于以后的法庭分析。本發(fā)明的這個實(shí)施例關(guān)注內(nèi)容分析模塊104的一個具 體能力，亦即人/^險測和跟蹤。在視頻輸入102中檢測和跟蹤到人體目標(biāo) 的任何時候，都可以生成報警。
圖2描繪了根據(jù)本發(fā)明的實(shí)施例的內(nèi)容分析模塊104所進(jìn)行的人體檢 測/跟蹤的操作實(shí)施例的框圖。首先，系統(tǒng)可以使用運(yùn)動和變化檢測模塊 202來將前景與背景202分開，并且這個模塊的輸出可以^1對于每一幀的 前景遮罩(mask)。下一步，前景區(qū)可以被斑點(diǎn)(blob)提取模塊206分成分 開的斑點(diǎn)208，并且這些斑點(diǎn)為目標(biāo)在每個時標(biāo)的觀察。人體檢測/跟蹤 模塊210可以檢測和 視頻中的每個人體目標(biāo)，并在場景中有人體時發(fā) 出報警110。
圖3描繪了根據(jù)本發(fā)明的實(shí)施例的人體檢測/跟蹤模塊210的概念性 框圖。首先，人體部位和特征檢測302提取并分析各種對象特征304。這 些特征304可以稍后被人體檢測模塊306使用以檢測在場景中是否有人體 對象。然后可以為每個檢測到的人體生成人體模型308。這些檢測到的人 體模型308可以充當(dāng)用于人體跟蹤模塊310的每個幀處的人體觀察。
圖4列出了根據(jù)本發(fā)明的實(shí)施例的人體部位和特征提,塊302中的 示例性部件。斑點(diǎn)跟蹤器402可以執(zhí)行基于斑點(diǎn)的目標(biāo)跟蹤，其中基本的 目標(biāo)單元是由前景斑點(diǎn)提:^塊206提供的單獨(dú)斑點(diǎn)。注意斑點(diǎn)可以是人 體目標(biāo)的基本支持，幀中的任何人體對象都位于前景斑點(diǎn)中。頭部檢測器 404和跟蹤器模塊406可以執(zhí)行人體頭部檢測和跟蹤。在斑點(diǎn)中存在人體 頭部可以提供有力的證據(jù)來證明所述斑點(diǎn)是人體或至少可能包含人體。相 對尺寸估計器408可以提供目標(biāo)和平均人體目標(biāo)相比的相對尺寸。通過研 究斑點(diǎn)遮罩的垂直投影和斑點(diǎn)的頂部輪廓，人體輪廓提W^塊410可以提 *個斑點(diǎn)中的人體輪廓的數(shù)目。
臉部檢測器412還可以用于提供在場景中是否存在人體的證明。存在 許多臉部檢測算法可用于在這個階段應(yīng)用，并且在此說明的這些算法是實(shí) 施例，而不打算限制本發(fā)明?；谥辽僭诖颂峁┑慕虒?dǎo)，相關(guān)領(lǐng)域的普通 技術(shù)人員將會意識到其它臉部檢測算法的應(yīng)用。在這個視頻人體檢測想定 中，通過較早的內(nèi)容分析模塊已經(jīng)檢測了前景目標(biāo)，并且臉部檢測只能夠
在輸入的斑點(diǎn)上應(yīng)用，這可以提高檢測可靠性并降低計算成本。
下一個模塊414可以提供稱作尺度不變特征變換(SIFT)的圖像特 征生成方法或者提取SIFT特征?？梢詾槊總€斑點(diǎn)提取局部圖像特征的類。 這些特征對于圖像縮放、平移和旋轉(zhuǎn)是不變的，并且對于照明變化和仿射 或三維(3D)投影部分地不變。這些特征可以用于將剛性對象如車輛與 非剛性對象如人體分開。對于剛性對象，它們的來自后續(xù)幀的SIFT特征 可以提供比非剛性對象好得多的匹配。這樣一來，被跟蹤目標(biāo)的SIFT特 征匹配得分就可以用作目標(biāo)的剛性量度，其可以進(jìn)一步在某些目標(biāo)分類想 定中使用，例如將人群與車輛分開。
膚色檢測器模塊416可以檢測每個被檢測到的頭部區(qū)域中的一些或 所有的膚色像素。在本發(fā)明的實(shí)施例中，頭部區(qū)域中的膚色像素的比率可 以用于檢測最佳人體快照。根據(jù)本發(fā)明的實(shí)施例，檢測膚色像素的方法可 以是通過訓(xùn)練在YCrCb顏色空間中產(chǎn)生膚色查詢表?？梢灶A(yù)先收集有關(guān) 應(yīng)用想定的大量圖像快照。下一步，可以手工獲得其上有膚色像素的地面 實(shí)況。這可以有助于一組訓(xùn)練數(shù)據(jù)，其然后可以用于產(chǎn)生概率圖，其中， 根據(jù)實(shí)施例，每個位置涉及一個YCrCb數(shù)，并且該位置上的值可以是具 有YCrCb值的像素為膚色像素的概率。通過在膚色概率圖上應(yīng)用閾值， 可以獲得膚色查詢表，并且膚色概率大于用戶可控闊值的任何YCrCb值 都可以被J人為AJ統(tǒng)色。
和臉部檢測相似，存在許多膚色檢測算法可用于在這個階段應(yīng)用，并 且在此說明的這些算法是實(shí)施例，而不打算限制本發(fā)明。基于至少在此提 供的教導(dǎo)，相關(guān)領(lǐng)域的普通技術(shù)人員將會意識到其它膚色檢測算法的應(yīng) 用。
物理尺寸估計器418可以提供被檢測目標(biāo)的近似物理尺寸。這可以通 過對正在使用的攝#*拖加校準(zhǔn)來實(shí)現(xiàn)?？赡艽嬖诳捎玫臄z#*艮準(zhǔn)方法 的范圍，其中的一些在計算上是密集的。在視頻監(jiān)視應(yīng)用中，通常希望快 速、簡便和可靠的方法。在本發(fā)明的實(shí)施例中，基于圖案的校準(zhǔn)可以4艮好 地服務(wù)于這個目的。例如參見Z.Zhang的"A flexible new technique for camera calibration" ， IEEE Transactions on Pattern Analysis and Machine Intelligence,22(ll):1330-1334,2000,其麥體結(jié)合于此，其中操作者僅僅需 M的事是在視頻攝^^前揮動具有棋盤狀圖案的平板。
圖5描繪了根據(jù)本發(fā)明的實(shí)施例的人體頭部檢測器模塊404的框圖。 向模塊404的輸入可以包括基于幀的圖像數(shù)據(jù)，比如源視頻幀；具有不
同可信度水平的前景遮罩；以及分段的前景斑點(diǎn)。對于每個前景斑點(diǎn)，頭
部位置檢測模塊502可以首先檢測潛在的人體頭部位置。注意每個斑點(diǎn)可
以包括多個人體頭部，而每個人體頭部位置則僅可以包括至多 一個人體頭 部。下一步，對于每個潛在的人體頭部位置，基于不同的輸入數(shù)據(jù)，通過
橢圓形頭部配合模塊504可以檢測對應(yīng)于相同人體對象的多個頭部。
根據(jù)本發(fā)明的實(shí)施例，直立橢圓形頭部模型可以用于橢圓形頭部配合 模塊504。直立橢圓形頭部模型可以包括三個基本參數(shù)，其既不是最小也 不是最大數(shù)目的參數(shù)中心點(diǎn)；頭部寬度，其對應(yīng)于短軸；以及頭部高度， 其對應(yīng)于長軸。進(jìn)一步，頭部高度和頭部寬度之間的比率可以才艮據(jù)本發(fā)明 的實(shí)施例限定在大約1.1到大約1.4的范圍內(nèi)。在本發(fā)明的實(shí)施例中，三 種類型的輸入圖像遮罩可以獨(dú)立地用于檢測人體頭部變化遮軍、明確的 前景遮罩和邊緣遮軍。變化遮罩可以指示可能在某種程度上不同于背景模 型的全部〗象素。它既可以包括前景對象，又可以包括由前景對fJt成的其 它副作用如陰影。明確的前景遮革可以提供更可信版本的前景遮罩，并可 以去除大部分的陰影像素。通#輸入的斑點(diǎn)之上執(zhí)行邊^(qū)測，比如但 不限于Canny邊緣險測，可以生成邊緣遮罩。
橢圓形頭部配合模塊504可以基于三種不同遮罩來檢測三種潛在的 頭部，然后可以通過用于一致性檢驗(yàn)的一致性檢驗(yàn)?zāi)K506比較這些潛在 的頭部。如果最佳匹配對相互符合，則組合的頭部可以通過身體支持檢驗(yàn) 模塊508進(jìn)一步檢驗(yàn)，以確定所述對是否具有足夠的人體身體支持。例如， 一些對象如氣球可能具有人體頭部形狀，但不會通過身體支持檢驗(yàn)測試。 在進(jìn)一步的實(shí)施例中，身體支持測試可能要求被檢測的頭部處于其它前景 區(qū)之上，該區(qū)在寬度和高度量度上都比頭部區(qū)大。
圖6描繪了根據(jù)本發(fā)明的實(shí)施例的頭部位置檢測模塊502的概念性框 圖。向模塊502的輸入可以包括斑點(diǎn)邊界框；以及圖像遮罩中的一個。 生成頂部輪廓模塊602可以從圖像遮罩中生成數(shù)據(jù)矢量，指示目標(biāo)的頂部 輪廓。矢量的長度可以和斑點(diǎn)寬度的寬度相同。圖7圖示了根據(jù)本發(fā)明的 實(shí)施例的目標(biāo)頂部輪廓的例子。幀702描繪了具有各種特征的多個斑點(diǎn)目 標(biāo)和適用于確定輪廓的頂部輪廓。曲線圖704描繪了作為距離的因素的結(jié) 果輪廓。
下一步，計算輪廓導(dǎo)數(shù)模塊604對輪廓執(zhí)行導(dǎo)數(shù)運(yùn)算。斜率模塊606 可以檢測一些、大部分、任何或所有的向上和向下斜率位置。在本發(fā)明的 實(shí)施例中， 一個向上斜率可以是輪廓導(dǎo)數(shù)為局部最大的地方，并且值大于
最小頭部梯度闊值。相似地， 一個向下斜率可以是輪廓導(dǎo)數(shù)為局部最小的 地方，并且值小于上述最小頭部梯度閾值的負(fù)數(shù)。潛在的頭部中心可以位 于一個向上斜率位置和一個向下斜率位置之間，其中向上斜率應(yīng)當(dāng)在向下 斜率的左側(cè)。對于潛在的頭部，可以要求至少一側(cè)肩膀支持。左肩可以是 緊靠著具有正輪廓導(dǎo)數(shù)值的向上斜率位置左側(cè)的區(qū)域。右肩可以是緊靠著 具有負(fù)輪廓導(dǎo)數(shù)值的向上斜率位置右側(cè)的區(qū)域。被檢測到的潛在頭部位置 可以由像素邊界框限定。如果沒有左肩可以被檢測到，則邊界框的左側(cè)位 置可以是左肩位置或向上斜率位置的最小位置。如果沒有右肩可以被檢測 到，則邊界框的右側(cè)可以是右肩位置或向下斜率位置的最大位置。頂部可 以是邊界框的左側(cè)和右側(cè)邊緣之間的最大輪廓位置，并且底部可以是左側(cè) 和右側(cè)邊緣上的最小輪廓位置。在這個模塊中可以檢測到多個潛在頭部位 置。
圖8示出了根據(jù)本發(fā)明的實(shí)施例的檢測到的潛在頭部位置的一些例 子。幀804描繪了正面或背面人體。幀808描繪了右面人體，幀810描繪 了左面人體。幀814描繪了兩個正面和/或背面人體。每一幀包括斑點(diǎn)遮 罩806、至少一個潛在頭部位置812以及斑點(diǎn)邊界框816。
圖9描繪了根據(jù)本發(fā)明的實(shí)施例的橢圓形頭部配合模塊504的概念性 框圖。向模塊504的輸入可以包括上述遮罩和作為邊界框的潛在頭部位置 中的一個。檢測邊緣標(biāo)記模塊卯2可以提取輸入邊界框之內(nèi)的輸入遮罩的 外形邊緣。然后通過找到頭部外形模塊卯4提取頭部外形像素。然后，使 用粗略配合模塊卯6，這些點(diǎn)可以用于估計近似橢圓形頭部模型。頭部模 型可以通it^fr細(xì)配合模塊卯8進(jìn)一步被局部細(xì)化，這將總體配合誤差減小 到最小。
圖10圖示了根據(jù)本發(fā)明的實(shí)施例的如何找到頭部外形像素的方法。 描繪的幀可以包括邊緣框1002,其可以指示在模塊502中檢測到的潛 在頭部位置的輸入邊界框；輸入遮罩1004;以及遮罩的外形邊緣1006。 該方案可以執(zhí)行水平掃描，從邊界框的頂部開始，從外向內(nèi)，如線1008 指示的那樣。對于每一條掃描線，可以獲得一對潛在頭部外形點(diǎn)，如在點(diǎn) 1010處的箭頭的尖部所指示的那樣。所述兩個點(diǎn)可以表示潛在頭部的一 段，其可稱為頭部片段。所述兩個端點(diǎn)要想被認(rèn)作有效的頭部片段，可能 需要足夠靠近以前的有效頭部片段的相應(yīng)端點(diǎn)。距離閾值可以和平均頭部 寬度相適應(yīng)，該平均頭部寬度可以通過在檢測到的頭部片段的長度上取平 均值來獲得。例如，當(dāng)前平均頭部寬度的四分之一可以選作距離閾值。
返回參考圖9，檢測到的潛在頭部外形像素可以用來和橢圓形人體頭 部模型配合。如果配合誤差相對頭部尺寸小，則頭部可以被認(rèn)為是潛在檢 測。頭部配合過程可以包括兩個步驟用粗略配合模塊906進(jìn)行確定性的 粗略配合，之后用精細(xì)配合模塊908進(jìn)行迭代^lt估計細(xì)化。在粗略配合 模塊906中，可能需要從輸入的頭部外形像素中估計四個橢圓模型M: 頭部中心位置Cx和Cy、頭部寬度Hw和頭部高度Hh。由于頭部外形像素 成對出現(xiàn)，Cx可以是夕卜形像素的所有X坐標(biāo)的平均值?；跈E圓形狀的 基本特性，使用平均頭部片段長度與頭部片段長度的標(biāo)準(zhǔn)差之和，可以近 似頭部寬度Hw。使用1.25的平均人體高度對寬度的比率，可以從頭部寬 度中計算近似頭部高度。最后，考慮到頭部中心位置Cx、頭部寬度Hw和 頭部高度Hh的上述三個橢圓參數(shù)，使用橢圓方程的一般公式，對于每一 個頭部外形點(diǎn)，可以獲得橢圓中心的期望Y坐標(biāo)。Cy的最后估計可以是 所有這些期望的Cy值的平均值。
圖11圖示了根據(jù)本發(fā)明的實(shí)施例的將一個頭部外形點(diǎn)的配合誤差限 定到估計的頭部模型。該圖示包括估計的橢圓形頭部模型1102和頭部中 心1104。對于一個頭部外形點(diǎn)1106，其到頭部模型的配合誤差1110可以 被限定為外形點(diǎn)1106和交叉點(diǎn)1108之間的距離。交叉點(diǎn)1108可以是頭 部橢圓和由中心點(diǎn)1104與外形點(diǎn)1106確定的線的交叉點(diǎn)。
圖12描繪了根據(jù)本發(fā)明的實(shí)施例的精細(xì)配合才莫塊908的概念性框圖。 計算初始平均配合誤差模塊1202可以計算由粗略配合模塊906獲得的頭 部模型上的全部頭部外形像素的平均配^^誤差。下一步，在迭代參數(shù)調(diào)整 模塊1204中，對于每一個橢圓參數(shù)可以作出小的調(diào)整，以確定所調(diào)整的 模型是否會降低平均配合誤差。選#^整值的一種方法可以是使用平均配 合誤差的一半?？梢詫蓚€方向作出調(diào)整。這樣，在每一個迭代中，可以 測試八個調(diào)整，并且產(chǎn)生最小平均配合誤差的一個調(diào)整將被挑出。降低平 均配合誤差模塊1206可以比較調(diào)整之前和之后的平均配合誤差，如果配 合誤差沒有降低，則模塊可以輸出精細(xì)化的頭部模型以及最后的平均配合 誤差；否則，流程可以回到1204去執(zhí)行M細(xì)化的下一個迭代。
圖13列出了根據(jù)本發(fā)明的實(shí)施例的頭部跟蹤器模塊406的示例性部 件。頭部檢測器模塊404可以提供用于人體檢測的可靠信息，但是可能要 求人體頭部輪廓可以在前景遮罩和斑點(diǎn)邊緣遮罩中看見。遺憾地是，在實(shí)
際情況中不總是這樣。當(dāng)人體頭部部分和背景m^目似或人體頭部被遮擋或
是部分被遮擋時，人體頭部檢測模塊404可能難以檢測到頭部外形。此夕卜，
基于視頻序列的單幀的任何結(jié)果可能常常不是最佳的。
在本發(fā)明的實(shí)施例中，可以使用將時間 一致性考慮在內(nèi)的人體頭部跟 蹤器。通過圖像的時間序列來絲對象的問題可能具有挑戰(zhàn)性。在實(shí)施例 中，諸如卡爾曼濾波之類的濾波可以用于跟蹤場景中的對象，在所述場景 中，背景沒有視覺混亂。在具有顯著背景混亂的場景中可以要求額外處理。 這種額外處理的原因可能是卡爾曼濾波所使用的概率密度的高斯表達(dá)。這 種表達(dá)可以固有地是單峰的，因此，在任何給定的時間，它僅可以支持關(guān) 于所跟蹤對象的真實(shí)狀態(tài)的一個假設(shè)，即使背景混亂可能暗示不同于真實(shí) 目標(biāo)特征的假設(shè)。這種限制可能導(dǎo)致卡爾曼濾波的實(shí)施丟失目標(biāo)的跟蹤， 而代替地在背景看來好像比正在被跟蹤的真實(shí)目標(biāo)更有可能配合的時候， 鎖定到背景特征上。在具有這種混亂的本發(fā)明的實(shí)施例中，可以應(yīng)用以下 替選方法。
在一個實(shí)施例中，對這種跟蹤問題的解決方案可以是CONDENSATION (條件密度傳播)算法的應(yīng)用。CONDENSATION算法可以通過以下應(yīng)對卡 爾曼濾波的問題允許概率密度表達(dá)為多峰，因此能夠同時維持關(guān)于目標(biāo) 真實(shí)狀態(tài)的多個假設(shè)。這可以允許從這樣的短暫瞬間中恢復(fù)，在所述短暫 瞬間中，背景特征看來好像比正被跟蹤的真實(shí)對象更像目標(biāo)(因此是更有 可能的假設(shè))。隨著圖像序列中的后續(xù)時間步為真實(shí)目標(biāo)狀態(tài)的假設(shè)提供 加強(qiáng)，同時用于假目標(biāo)的假設(shè)可能未凈iL^強(qiáng)并因此逐漸減弱，恢復(fù)可能發(fā) 生。
CONDENSATION算法和卡爾曼濾波跟蹤器都可以^皮描述為隨著時間傳 播用于運(yùn)動對象的概率密度的過程。通過模型化目標(biāo)的動態(tài)并結(jié)合觀察， 跟蹤器的目的可以是考慮到觀察和假定的在先密度，確定每個時間步t 的用于目標(biāo)狀態(tài)的概率密度。傳播可以被認(rèn)為是三步過程，包括漂移、擴(kuò) 散和由測量引起的反應(yīng)增強(qiáng)。對象的動態(tài)可以用確定的和隨機(jī)的分量來模 型化。確定的分量可以引起密度函數(shù)的漂移，而隨機(jī)的分量則可以增加不 確定性，因此可以引起密度函數(shù)的擴(kuò)展。應(yīng)用目標(biāo)動態(tài)的模型可以從以前 時間步的密度的知識中產(chǎn)生當(dāng)前時間步的概率密度的預(yù)測。在模型正確 時，這可以提膝^理的預(yù)測，但可能不足以跟蹤，因?yàn)樗赡軟]有包括任 何觀察。密度傳播中的晚期或接近最后的步驟可以是慮及在當(dāng)前時間步進(jìn) 行的觀察。這可以經(jīng)由觀察附近的區(qū)域中的預(yù)測密度的反應(yīng)增強(qiáng)來進(jìn)行。 在用于卡爾曼濾波的單峰高斯分布的情況下，這可以使高斯分布的峰值朝 向觀察的狀態(tài)移動。在CONDENSATION算法的情況下，這種^^應(yīng)增強(qiáng)可以
在觀察的局部鄰域中建立峰值，這導(dǎo)致了密度的多峰表達(dá)。在混亂場景的 情況下，可能存在多個觀察，這暗示了對于當(dāng)前狀態(tài)的分開假設(shè)。
CONDENSATION算法可以為每一個觀察創(chuàng)建密度函數(shù)中的分開峰值，并且 這些不同的"^值在嚴(yán)重混亂的情況下可能有助于穩(wěn)健的性能。
如使用在此其它地方描述的卡爾曼濾波跟蹤器的本發(fā)明的實(shí)施例一 樣，在本發(fā)明的進(jìn)一步或可替選的實(shí)施例中，可以為實(shí)際的實(shí)施修改 CONDENSATION算法，因?yàn)闄z測是高度依賴于應(yīng)用的。參考圖13， CONDENSATION跟蹤器一般可以利用以下因素，其中，基于至少在此提供 的教導(dǎo)，替選的和/或另外的因素對于相關(guān)領(lǐng)域中的普通技術(shù)人員是明顯 的
1、 目標(biāo)的模型化或狀態(tài)矢量x的選擇1302
2、 目標(biāo)狀態(tài)初始化1304
3、 動態(tài)傳播模型1306
4、 后驗(yàn)概率生成和測量1308
5、 計算成本考慮1310
在實(shí)施例中，頭部跟蹤器模塊可以是多目標(biāo)跟蹤系統(tǒng)，其為整個人體 跟蹤系統(tǒng)的一小部分。以下示例性實(shí)施例被提供用來說明實(shí)際實(shí)施，而不 打算限制本發(fā)明?；谥辽僭诖颂峁┑慕虒?dǎo)，本領(lǐng)域普通技術(shù)人員會認(rèn)識 到替選的或另外的實(shí)施。
對于目標(biāo)模型因素1302， CONDENSATION算法可以被具體地開發(fā)以跟 蹤典型地表示前景對象的外形或特征的曲線。典型地，可以限制問題以允 許曲線的低維^lt化，使得跟蹤對象的狀態(tài)可以用低維參數(shù)x表達(dá)。例如， 狀態(tài)x可以將曲線的仿射變換表達(dá)為不可變形的整體。更復(fù)雜的例子可以 涉及可變形曲線的M化，比如人手的輪廓，其中允if^:一個手指獨(dú)立活 動。通過簡單地使用更高維狀態(tài)x， CONDENSATION算法可以用相同的一般 過程既處理簡單的情況，又處理復(fù)雜的情況。但是，增加狀態(tài)的維數(shù)不僅 可能增加計算費(fèi)用，而且還可能極大地增加算法所需的模型化(例如運(yùn)動 模型)的費(fèi)用。這就是狀態(tài)可以典型地被限制為低維的原因。由于上述原 因，用于頭部跟蹤的三個狀態(tài)，為頭部的中心位置Cx和Cy以及由頭部橢 圓模型的短軸長度表示的頭部尺寸。可能使用的兩個限制為頭部總處于 直立位置和頭部具有固定范圍的縱橫比。試驗(yàn)結(jié)果表明在和實(shí)際數(shù)據(jù)對比 時，這兩個限制可能是合理的。
對于目標(biāo)初始化因素1304,由于場景中的背景混亂，CONDENSATION 跟蹤器的大多數(shù)現(xiàn)有實(shí)施都手工選擇用于目標(biāo)模型的初始狀態(tài)。對于本發(fā) 明，頭部檢測器模塊404可以為每個視頻幀進(jìn)行自動頭部檢測。這些檢測 到的頭部可能是不同的人體跟蹤器正在跟蹤的現(xiàn)有人體頭部，或者是新檢 測到的人體頭部。可以對這些新檢測到的頭部進(jìn)行時間檢驗(yàn)，并且一旦新 檢測到的頭部通過時間一致性檢驗(yàn)，就初始化頭部跟蹤模塊310并且啟動 另外的自動躍J宗。
對于動態(tài)傳播模型因素1306,傳統(tǒng)的動態(tài)傳播模型可以是與隨機(jī)擴(kuò) 散相結(jié)合的線性預(yù)測，如公式(1)和(2)中描述的那樣
<formula>formula see original document page 17</formula>
其中f("可以是卡爾曼濾波器或常規(guī)IIR濾波器，參數(shù)A和B表示 動態(tài)模型的確定的和隨機(jī)的分量，并且wt是正態(tài)高斯分布。來自f(O和 Wt的不確定性是性能限制的主要來源。需要更多的樣本來抵消這種不確定 性，這可能顯著增加計算成本。在本發(fā)明中，平均移動預(yù)測器(mean-shift predictor)可用來解決這個問題。在實(shí)施例中，平均移動預(yù)測器可以用 于跟蹤具有區(qū)別顏色的對象。該性能可能受制于以下事實(shí)進(jìn)行了目標(biāo)和 其周圍背景具有不同顏色的假定，而這可能不總是正確的。但在頭部跟蹤 的情況下，平均移動預(yù)測器可以用于得到頭部的大概位置，這樣可以顯著 降低所需要的樣本數(shù)，但卻具有更好的穩(wěn)健性。平均移動預(yù)測器可以被用 來通it^初始平均給定數(shù)據(jù)點(diǎn)確定移動矢量，來估計數(shù)據(jù)的平均的確切位 置，并且可以近似這個數(shù)據(jù)的平均的位置。在頭部跟蹤的情況下，數(shù)據(jù)點(diǎn) 可以指頭部區(qū)域中的像素，平均可以指頭部中心的位置，并且平均的近似 位置可以從可能是線性預(yù)測的動態(tài)模型f (*)獲得。
對于后驗(yàn)概率生成和測量因素1308,通過規(guī)范化顏色直方圖匹配和 頭部輪廓匹配，可以生成用于每一個樣本配置的算法所需的后驗(yàn)概率。使 用頭部橢圓形之內(nèi)的所有4象素，可以生成顏色直方圖。頭部輪廓匹配可以 是沿著頭部外形模型的邊緣像素的比率。匹配得分越好，樣本和真實(shí)頭部 交迭的概率就越高。概率可以始現(xiàn)范化，使得理想匹配具有1的概率。
對于計算成本因素1310， 一般來說，性能和計算成本都可以和所用 的樣本數(shù)成比例。我們可以固定可被固定的后驗(yàn)概率之和，而不是選擇固 定數(shù)目的樣本，使得樣本數(shù)量可以基于跟蹤可信度而變化。當(dāng)在高可信度
時刻時，我們可以看到，可以獲得更多好的匹配樣本，這樣就可能需要較 少樣本。另一方面，當(dāng)跟蹤可信度低時，該算法可以自動使用更多的樣本 以設(shè)法徹底跟蹤。這樣，計算成本可能根據(jù)場景中的目標(biāo)數(shù)以及跟蹤這些 目標(biāo)的難度而變化。通過結(jié)合平均移動預(yù)測器和適合的樣^lt量選擇，可 以容易地獲得多個頭部的實(shí)時跟蹤而不會損失跟蹤可靠性。
圖14描繪了根據(jù)本發(fā)明的實(shí)施例的相對尺寸估計器模塊408的概念 性框圖。被檢測和跟蹤的人體目標(biāo)可以用作向模塊408的數(shù)據(jù)輸入1402。 人體尺寸訓(xùn)練模塊1404可以選擇一個或多個人體目標(biāo)實(shí)例，比如那些被 認(rèn)為具有高水平可信度的實(shí)例，并且累積人體尺寸統(tǒng)計。人體尺寸統(tǒng)計實(shí) 際是查詢表模塊1406，其可以存儲平均人體高度、寬度和用于圖像幀上 的每一個像素位置的圖像面積數(shù)據(jù)。對于每一個人體目標(biāo)，可以在其消失 后執(zhí)行一次統(tǒng)計更新，這樣可以獲得目標(biāo)實(shí)際類型的最大可信度。足跡軌 線可以用作用于統(tǒng)計更新的位置指標(biāo)。假定足跡位置的估計可能不精確， 并且事實(shí)上目標(biāo)很可能在鄰近區(qū)域中具有相似尺寸，則確切的足跡位置及 其鄰域都可以使用相同的即時人體目標(biāo)數(shù)據(jù)來更新。使用相對尺寸查詢模 塊1408，當(dāng)檢測到新的目標(biāo)時，通過使用足跡位置作為關(guān)鍵詞W目對尺 寸估計器中查詢，可以估計其對平均人體目標(biāo)的相對尺寸。當(dāng)在所查詢的 位置上已經(jīng)有足夠的數(shù)據(jù)點(diǎn)時，相對尺寸估計器1408可以返回值。
圖15描繪了根據(jù)本發(fā)明的實(shí)施例的人體輪廓提,塊410的概念性 框圖。首先，框1502可以生成目標(biāo)垂直投影輪廓。用于列的投影輪廓值 可以是輸入的背景遮軍中的該列上的全部前景像素數(shù)目。下一步，投影輪 廓可以在投影輪廓規(guī)范化模塊1504中凈姚范化，使得最大值可以是1。 最后，使用人體輪廓檢測模塊1506，通過搜索投影輪廓1506上的波峰和 波谷，可以提取潛在的人體形狀投影輪廓。
圖16示出了根據(jù)本發(fā)明的實(shí)施例的人體投影輪廓提取和規(guī)范化的例 子。1604 (a)圖示了輸入的斑點(diǎn)遮罩和邊界框。1604 (b)圖示了輸入目 標(biāo)的垂直投影輪廓。1604 (c)圖示了規(guī)范化的垂直投影輪廓。
圖17描繪了根據(jù)本發(fā)明的實(shí)施例的人體檢測模塊306的概念性框圖。 首先，檢查斑點(diǎn)支持模塊1702可以檢查目標(biāo)是否具有斑點(diǎn)支持。潛在的 人體目標(biāo)可以具有多個水平的支持。非?；镜闹С质前唿c(diǎn)。換言之，人 體目標(biāo)能夠僅存在于一定的斑點(diǎn)中，該斑點(diǎn)由斑點(diǎn)跟蹤器跟蹤。下一步， 檢查頭部和臉部支持模塊1704可以檢查在斑點(diǎn)中是否檢測到人體頭部或 臉部，人體頭部或人體臉部可能是人體目標(biāo)的強(qiáng)烈指示器。第三，檢查身
體支持模塊1706可以進(jìn)一步檢查斑點(diǎn)是否含有人體身體。存在可以用作 人體身體指示器的幾個性質(zhì)，例如包括
1、 人體斑點(diǎn)縱橫比在非俯視的情況下，人體斑點(diǎn)高度通常可以 比人體斑點(diǎn)寬度大很多；
2、 人體斑點(diǎn)相對尺寸在每一個圖像像素位置處，人體斑點(diǎn)的相 對高度、寬度和面積可以接近于平均人體斑點(diǎn)高度、寬度和面積。
3、 人體垂直投影輪廓每一個人體斑點(diǎn)可以具有一個相應(yīng)的人體 投影輪廓峰值。
4、 內(nèi)部人體運(yùn)動移動的人體目標(biāo)可以具有顯著內(nèi)部運(yùn)動，其可 以通過SIFT特征的一致性來測量。
最后，確定人體狀態(tài)模塊1708確定輸入的斑點(diǎn)目標(biāo)是否是人體目標(biāo)， 并且如果是的話，其人體狀態(tài)是什么。
圖18示出了根據(jù)本發(fā)明的實(shí)施例的不同水平的人體特征支持的例 子。圖18包括視頻幀1802、被跟蹤的目標(biāo)塊的邊界框1804、相同斑點(diǎn)的 前景遮罩1806和人體頭部支持1810。在所示的例子中，可能有四個潛在 的人體目標(biāo)，并且全都具有三個水平的/^體特征支持。
圖19列出了根據(jù)本發(fā)明的實(shí)施例的可以由人體檢測和跟蹤模塊210 使用的潛在人體目標(biāo)狀態(tài)。"完整"人體狀態(tài)指示頭部/臉部和人體身體都 被檢測到。換言之，目標(biāo)可以具有所有的"斑點(diǎn)"、"身體"和"頭部"支 持。圖18中的例子示出了四個"完整"的人體目標(biāo)。"僅頭部"人體狀態(tài) 指的是這樣的情形在斑點(diǎn)中可以檢測到人體頭部或臉部，但是僅有部分 的人體身體特征可以得到。這可以對應(yīng)于這種想定人體身體的較低部分
可能被擋住了或是不在攝1I4M^野內(nèi)。"僅身體，，狀態(tài)是指這種情況在 目標(biāo)斑點(diǎn)中可以觀察到人體身體特征，但沒有人體頭部或臉部。注意，即 使在目標(biāo)斑點(diǎn)中可能沒有人體臉部或頭部可以被檢測到，如果所有上述特 征都被檢測到，則斑點(diǎn)也仍然可以被認(rèn)為是人體目標(biāo)。"包藏(Occluded)" 狀態(tài)指示人體目標(biāo)可能和其它目標(biāo)歸并，并且沒有準(zhǔn)確的人體外觀表達(dá)和 位置可以得到。"消失"狀態(tài)指示人體目標(biāo)可能已經(jīng)離開場景。
圖20圖示了根據(jù)本發(fā)明的實(shí)施例的人體目標(biāo)狀態(tài)變換圖。這個過程 可以由人體檢測和跟蹤模塊210來處理。這個狀態(tài)變換圖包括五個狀態(tài)， 其中至少狀態(tài)2006、2008和2010連接到初始狀態(tài)2004:狀態(tài)僅頭部2006、 完整2008、僅身體2010、消失2012和包藏2014互相連接并且自我連接。
當(dāng)人體目標(biāo)被創(chuàng)建時，可以處在三種人體狀態(tài)的其中一種完整、僅頭部 或僅身體。狀態(tài)到狀態(tài)的轉(zhuǎn)換主要基于當(dāng)前人體目標(biāo)狀態(tài)，并iLA^測 可能導(dǎo)致新的匹配斑點(diǎn)，這可以描述如下
如果當(dāng)前狀態(tài)是"僅頭部"，則下一個狀態(tài)可能是
"僅頭部"具有匹配的臉部或繼續(xù)頭部跟蹤；
"完整，，除了上面的以外，檢測人體身體；
"包藏"具有匹配的斑點(diǎn)但失去了頭部跟蹤和匹配的臉部；
"消失"失去了匹配的斑點(diǎn)。 如果當(dāng)前狀態(tài)是"完整"，則下一個狀態(tài)可能是
"完整"具有匹配的臉部或繼續(xù)頭部跟蹤以;5LA體身體的檢測；
"僅頭部"由于斑點(diǎn)歸并或背景包藏而失去了人體身體。
"僅身體"失去了頭部跟蹤和匹配的^p檢測；
"包藏"失去了頭部跟蹤、匹配的臉部以;5LA體身體支持，但仍然 具有匹配的斑點(diǎn)；
"消失"失去了所有，甚至斑點(diǎn)支持。
如果當(dāng)前狀態(tài)是"僅身體"，則下一個狀態(tài)可能是
"完整"探測到了頭部或臉部，具有連續(xù)的人體身體支持；
"僅身體"沒有檢測到頭部或臉部，但具有連續(xù)的人體身體支持；
"包藏，，失去了人體身體支持但仍具有匹配的斑點(diǎn)；
"消失"失去了人體身體支持和斑點(diǎn)支持。
如果當(dāng)前狀態(tài)是"包藏"，則下一個狀態(tài)可能是
"完整"得到了新的匹配的人體目標(biāo)斑點(diǎn)，其既具有頭部/臉部，又 具有人體身體支持；
"僅身體，，得到了新的匹配的人體目標(biāo)斑點(diǎn)，其具有人體身體支持; "僅頭部，，在匹配的斑點(diǎn)中得到了匹配的人體頭部/臉部； "包藏"沒有匹配的人體斑點(diǎn)但仍然具有相應(yīng)斑點(diǎn)跟蹤； "消失"失去了斑點(diǎn)支持。 如果當(dāng)前狀態(tài)是"消失"，則下一個狀態(tài)可能是
"完整"得到了新的匹配的人體目標(biāo)斑點(diǎn)，其既具有頭部/臉部，又
具有人體身體支持；
"消失"仍然沒有匹配的人體斑點(diǎn)。
注意"完整"狀態(tài)可以指示最可信的人體目標(biāo)實(shí)例。4吏用人體目標(biāo)片 斷的數(shù)目在目標(biāo)片斷的總數(shù)之上的加權(quán)比率，可以估計對目標(biāo)的總體人體 檢測可信度測量。"完整"人體片斷的權(quán)重可以是"僅頭部，，和"僅身體" 人體片斷的權(quán)重的兩倍。對于更高可信度的人體目標(biāo)，其跟蹤歷史數(shù)據(jù)， 尤其是具有"完整，，或"僅身體"片斷的那些目標(biāo)片斷，可以用于訓(xùn)練人 體尺寸估計器模塊408。
使用上述的頭部檢測和人體模型，可以由系統(tǒng)提供更多的功能性，比 如最佳人體快照檢測。當(dāng)人體目標(biāo)觸發(fā)事件時，系統(tǒng)可以用目標(biāo)的清晰快 照發(fā)出報警。根據(jù)本發(fā)明的實(shí)施例的一個快照可以是操作者能夠獲得關(guān)于 目標(biāo)的最大量信息的一個。為了檢測人體快照，或者什么可以被稱作最佳 可用快照或最佳快照，可以檢查下列規(guī)則
1、 頭部區(qū)中的膚色比率可以使用這樣的觀察人體頭部的正面 視圖通常比背視圖(也稱背面視圖)包含更多膚色像素。這樣較高的頭部 區(qū)膚色比率可能指示更好的快照。
2、 目標(biāo)軌線從目標(biāo)的足跡軌線中，可以確定人體是朝向損WI^L 移動還是從^L^4^移開。朝向攝^4^移動比從攝像機(jī)移開可以提供好得多 的快照。
3、 頭部尺寸人體頭部的圖像尺寸越大，圖像就可以提供關(guān)于人 體目標(biāo)的越多細(xì)節(jié)。頭部的尺寸可以被定義為頭部橢圓模型的長軸和短軸 長度的平均。
可靠的最佳人體快照檢測可以通過綜合考慮上述三個規(guī)則來獲得。一 種方法是創(chuàng)建關(guān)于任何兩個人體快照例如人體1和人體2的相對最佳人體 快照量度
R=Rs*Rt*Rh，其中
Rs是相對于人體1的頭部膚色比率的人體2的頭部膚色比率；
如果兩個目標(biāo)朝向^HI4^在相同的相對方向上移動，則Rt等于1; 如^A體2朝向攝^^L移動，同時人體1從攝^4M多開，則Rt等于2; 并且如^A體2從攝^NM多開，同i^A體1朝向攝#4^多動，則Rt等于0.5;
Rh是相對于人體1的頭部尺寸的/v體2的頭部尺寸。
如果R大于1，則人體2可以被認(rèn)為是更好的快照。在系統(tǒng)中，對于 相同的人體目標(biāo)，最近的人體快照可以連續(xù)地與當(dāng)時的最佳人體快照相比 較。如^目對量度R大于1，則最佳快照可以用最近的快照取代。
另一個新的能力和隱私有關(guān)。使用精確的頭部檢測，關(guān)于人體頭部/ 臉部的報警圖像可以被數(shù)字地模糊以保護(hù)隱私，同時給予操作者以人體存 在的可,驗(yàn)。這在住宅應(yīng)用中尤其有用。
使用上述的人體檢測和跟蹤，系統(tǒng)可以提供關(guān)于在所關(guān)心的任何時間 有多少人體目標(biāo)可能存在于攝^*現(xiàn)野中的精確估計。系統(tǒng)使得用戶可以 執(zhí)行更高級的分析，像例如人體活動識別、場景內(nèi)容學(xué)習(xí)，如本領(lǐng)域的普 通技術(shù)人員基于至少在此提供的教導(dǎo)將會意識到的那樣。
在此討論的各種模塊可以以軟件實(shí)施，所述軟件適合于存儲在計算機(jī) 可讀介質(zhì)上，并且適合于由計算機(jī)或者在計算機(jī)上操作，如在此定義的那 樣。
所有在此討論的例子都是非限制性和非排它性的例子，如相關(guān)領(lǐng)域的 普通技術(shù)人員基于至少在此提供的教導(dǎo)將會理解的那樣。
盡管上面已經(jīng)說明了本發(fā)明的各種實(shí)施例，但是應(yīng)當(dāng)理解它們是作為 例子提出的，而不是限制。對本領(lǐng)域的普通技術(shù)人員將會明顯的是，在此 可以進(jìn)行形式和細(xì)節(jié)方面的各種變化，而不脫離本發(fā)明的精神和范圍。考 慮到以后可能會被開發(fā)的相關(guān)領(lǐng)域之內(nèi)的技術(shù)和術(shù)語，這尤其如此。這樣 本發(fā)明不應(yīng)當(dāng)受任何的上述示例性實(shí)施例的限制，而應(yīng)當(dāng)僅根據(jù)所附權(quán)利 要求及其等同物來限定。
權(quán)利要求
1、一種基于計算機(jī)的系統(tǒng)，用于執(zhí)行用于人體檢測和跟蹤的場景內(nèi)容分析，包括視頻輸入端，用于接收視頻信號；內(nèi)容分析模塊，其耦合到所述視頻輸入端，用于接收來自所述視頻輸入端的所述視頻信號，從所述視頻信號中分析場景內(nèi)容，并且從在所述視頻信號中可見的一個或多個對象中確定事件；數(shù)據(jù)存儲模塊，用于存儲所述視頻信號、涉及所述事件的數(shù)據(jù)或涉及所述系統(tǒng)的配置和操作的數(shù)據(jù)；以及用戶界面模塊，其耦合到所述內(nèi)容分析模塊，用于允許用戶配置所述內(nèi)容分析模塊以提供用于所述事件的報警，其中，一旦識別所述事件，所述內(nèi)容分析模塊就產(chǎn)生所述報警。
2、 如權(quán)利要求l所述的系統(tǒng)，其中所述事件對應(yīng)于數(shù)據(jù)的檢測，所 述數(shù)據(jù)涉及所述視頻信號中的人體目標(biāo)或所^A體目標(biāo)的運(yùn)動。
3、 如權(quán)利要求l所述的系統(tǒng)，所述內(nèi)容分析模塊包括運(yùn)動和變化檢測模塊，用于檢測所述視頻信號中的一個或多個對象的 運(yùn)動或所述運(yùn)動的變化，并從所述視頻信號中確定前景；前景斑點(diǎn)提,塊，用于將所述前景分成一個或多個斑點(diǎn)；以及人體檢測和跟蹤模塊，用于從所述一個或多個斑點(diǎn)中確定一個或多個 人體目標(biāo)。
4、 如權(quán)利要求3所述的系統(tǒng)，所iiA體檢測和跟蹤模塊包括人體部位和特征檢測模塊，用于映象所述一個或多個斑點(diǎn)，并且確定 一個或多個對象特征是否包括人體部位；人體險測模塊，用于接收涉及被確定包括人體部位的所述一個或多個 對象特征的數(shù)據(jù)，并且從所述數(shù)據(jù)中生成一個或多個人體模型；以及人體 模塊，用于接收涉及所述一個或多個人體模型的數(shù)據(jù)，并且 跟蹤所述一個或多個人體模型中的 一個或多個的運(yùn)動。
5、 如權(quán)利要求4所述的系統(tǒng)，所i^體部位和特征檢測模塊包括 斑點(diǎn)跟蹤器4莫塊； 頭部檢測器模塊； 頭部跟蹤器模塊； 相對尺寸估計器模塊； 人體輪廓提城塊； 臉部檢測器模塊；以及 尺度不變特征變換(SIFT)模塊。
6、 如權(quán)利要求5所述的系統(tǒng)，所述頭部檢測器模塊包括 頭部位置檢測模塊；橢圓形頭部配合模塊； 一致性枱:驗(yàn)?zāi)K；以及 身體支持檢驗(yàn)?zāi)K。
7、 如權(quán)利要求6所述的系統(tǒng)，所述頭部位置檢測模塊包括生成頂部輪廓模塊； 計算導(dǎo)數(shù)模塊；斜率模塊；以及 頭部位置定位器模塊。
8、 如權(quán)利要求6所述的系統(tǒng)，所述橢圓形頭部配合模塊包括:遮罩邊泉險測器模塊；頭部外形確定器模塊； 粗略配合模塊；以及精細(xì)配合模塊。
9、 如權(quán)利要求8所述的系統(tǒng)，所述精細(xì)配合模塊包括 初始平均配合誤差模塊；以及調(diào)整模塊。
10、 如權(quán)利要求5所述的系統(tǒng)，所述頭部跟蹤器模塊包括 目標(biāo)模型模塊；目標(biāo)初始化模塊；動態(tài)傳播模型模塊； 后騶^概率生成和測量模塊；以及 計算成4^塊。
11、 如權(quán)利要求5所述的系統(tǒng)，所i^目對尺寸估計器模塊包括: 人體尺寸訓(xùn)練模塊；人體尺寸統(tǒng)計查詢模塊；以及 相對尺寸查詢模塊。
12、 如權(quán)利要求5所述的系統(tǒng)，所iiA體輪廓提,塊包括垂直投影輪廓模塊；垂直投影輪廓規(guī)范器模塊；以及 人體外形檢測器模塊。
13、 如權(quán)利要求4所述的系統(tǒng)，所i^A體檢測模塊包括 檢查斑點(diǎn)支持模塊； 檢查頭部和臉部支持模塊；檢查身體支持模塊；以及 人體狀態(tài)確定器模塊。
全文摘要
一種基于計算機(jī)的系統(tǒng)，用于執(zhí)行用于人體檢測和跟蹤的場景內(nèi)容分析，可以包括視頻輸入端，用于接收視頻信號；內(nèi)容分析模塊，其耦合到所述視頻輸入端，用于接收來自所述視頻輸入端的所述視頻信號，從所述視頻信號中分析場景內(nèi)容，并且從在所述視頻信號中可見的一個或多個對象中確定事件；數(shù)據(jù)存儲模塊，用于存儲所述視頻信號、涉及所述事件的數(shù)據(jù)或涉及所述系統(tǒng)的配置和操作的數(shù)據(jù)；以及用戶界面模塊，其耦合到所述內(nèi)容分析模塊，用于允許用戶配置所述內(nèi)容分析模塊以提供用于所述事件的報警，其中，一旦識別所述事件，所述內(nèi)容分析模塊就產(chǎn)生所述報警。
文檔編號G06K9/00GK101167086SQ200680011052
公開日2008年4月23日 申請日期2006年5月31日 優(yōu)先權(quán)日2005年5月31日
發(fā)明者保羅·C·布雷韋爾, 加里·W·邁爾斯, 安德魯·J·喬薩克, 尹衛(wèi)紅, 尼爾斯·黑林, 忠 張, 彼得·L·韋奈蒂阿奈爾, 阿蘭·J·利普頓 申請人:實(shí)物視頻影像公司