基于結(jié)構(gòu)化的特征圖的人體行為識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視覺信息處理技術(shù)領(lǐng)域，具體涉及一種基于結(jié)構(gòu)化的特征圖的人體行 為識(shí)別方法。
【背景技術(shù)】
[0002] 現(xiàn)在是一個(gè)信息爆炸的時(shí)代，各種內(nèi)容、形式、載體的信息接踵而來(lái)，充斥著我們 的生活，而人們所獲得的80%以上的信息都是視覺信息。面對(duì)如此龐大的信息量，僅僅人工 處理信息，越來(lái)越無(wú)法滿足需要，因此急需研宄開發(fā)計(jì)算機(jī)相關(guān)方面的能替代人力的能力。 基于視覺的人體行為分析是一個(gè)非?；钴S的研宄領(lǐng)域，同時(shí)人體行為識(shí)別在人機(jī)交互、智 能監(jiān)控、體育性能分析、內(nèi)容檢索等領(lǐng)域也具有廣泛的應(yīng)用價(jià)值，已經(jīng)成為計(jì)算機(jī)視覺的熱 門研宄領(lǐng)域。
[0003] 行為分析有兩大關(guān)鍵問(wèn)題：行為描述和行為識(shí)別。其中，行為描述是通過(guò)提取有判 別力的、魯棒的特征來(lái)表達(dá)行為；行為識(shí)別則是選取與之相應(yīng)的分類模型，利用所提取的特 征對(duì)行為進(jìn)行分類識(shí)別。
[0004] 近些年來(lái)，局部特征因其對(duì)遮擋、光照、平移、旋轉(zhuǎn)的不敏感性，被廣泛用于行為識(shí) 別中，并且取得了可觀的識(shí)別率；詞袋模型，利用一系列無(wú)序且相互獨(dú)立的時(shí)空單詞對(duì)人體 行為進(jìn)行建模，在構(gòu)建直方圖時(shí)只保留每個(gè)時(shí)空單詞在詞典中的類別標(biāo)號(hào)，是人體行為識(shí) 別領(lǐng)域中常用的分類模型。局部特征+詞袋模型，在目標(biāo)檢測(cè)以及行為識(shí)別領(lǐng)域中經(jīng)常使 用。雖然，局部特征+詞袋模型的方法簡(jiǎn)單有效并且不需要對(duì)人體進(jìn)行跟蹤，但是，這種方 法忽略了局部特征在空間-時(shí)間上的關(guān)聯(lián)關(guān)系。另外，目前，人體行為識(shí)別技術(shù)的研宄主要 集中在簡(jiǎn)單的單人行為識(shí)別，而對(duì)更具實(shí)際意義的多人交互行為分析很少涉及。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實(shí)施例的目的是提供一種基于結(jié)構(gòu)化的特征圖的人體行為識(shí)別方法，充分 利用局部特征空間-時(shí)間的關(guān)聯(lián)關(guān)系，完成單人及多人交互行為的識(shí)別。
[0006] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于結(jié)構(gòu)化的特征圖的人體行為識(shí)別方法， 所述方法包括如下步驟：
[0007] 從樣本視頻序列中提取時(shí)空興趣點(diǎn)；
[0008] 對(duì)所述時(shí)空興趣點(diǎn)進(jìn)行描述，生成特征向量，并通過(guò)預(yù)設(shè)算法生成時(shí)空興趣點(diǎn)的 空間連接關(guān)系；
[0009] 為樣本視頻序列的每一幀學(xué)習(xí)隱條件隨機(jī)場(chǎng)模型HCRF，將所述時(shí)空興趣點(diǎn)的特 征向量和空間連接關(guān)系作為HCRF的原始觀測(cè)值，在樣本視頻的集合上利用預(yù)設(shè)函數(shù)完成 HCRF的參數(shù)訓(xùn)練，學(xué)習(xí)到具有中級(jí)語(yǔ)義信息的隱狀態(tài)及隱狀態(tài)的空間連接關(guān)系；
[0010] 將所述樣本視頻序列分割為時(shí)序單元；
[0011] 在所述時(shí)序單元內(nèi)，利用所述隱狀態(tài)和隱狀態(tài)的空間連接關(guān)系構(gòu)建結(jié)構(gòu)化的特征 圖；
[0012] 將所述結(jié)構(gòu)化的特征圖映射到特征空間中；
[0013] 將所述時(shí)序單元通過(guò)時(shí)序關(guān)系進(jìn)行連接，構(gòu)建基于結(jié)構(gòu)化的特征圖的鏈狀圖，提 出時(shí)序圖核；利用所述時(shí)序圖核，對(duì)待識(shí)別行為視頻進(jìn)行識(shí)別。
[0014] 上述方案中，所述時(shí)序單元中包含一個(gè)或一個(gè)以上的幀。
[0015] 上述方案中，所述構(gòu)建結(jié)構(gòu)化的特征圖，進(jìn)一步包括：
[0016] 將學(xué)習(xí)到的所述隱狀態(tài)對(duì)應(yīng)所述特征圖的頂點(diǎn)，將學(xué)習(xí)到的所述隱狀態(tài)的空間連 接關(guān)系對(duì)應(yīng)所述特征圖的邊，所述頂點(diǎn)的屬性值為所述頂點(diǎn)所對(duì)應(yīng)的隱狀態(tài)在該時(shí)序單元 內(nèi)出現(xiàn)的概率，所述邊的屬性值為所述邊所對(duì)應(yīng)的隱狀態(tài)在該時(shí)序單元內(nèi)出現(xiàn)的概率。
[0017] 上述方案中，所述結(jié)構(gòu)化的特征圖具有固定的結(jié)構(gòu)。
[0018] 上述方案中，所述將所述時(shí)序單元通過(guò)時(shí)序關(guān)系進(jìn)行連接、構(gòu)建基于結(jié)構(gòu)化的特 征圖的鏈狀圖，進(jìn)一步包括：
[0019] 將所述時(shí)序單元作為所述鏈狀圖的頂點(diǎn)，將所述時(shí)序關(guān)系作為所述鏈狀圖的邊， 通過(guò)作為邊的時(shí)序關(guān)系將所述作為頂點(diǎn)的時(shí)序單元連接起來(lái)，構(gòu)建基于結(jié)構(gòu)化的特征圖的 鏈狀圖。
[0020] 上述方案中，所述時(shí)序圖核是基于隨機(jī)游走的。
[0021] 本發(fā)明的一種人體行為識(shí)別方法，首將選取樣本視頻，從樣本視頻序列中提取時(shí) 空興趣點(diǎn)，生成描述興趣點(diǎn)的特征向量；為樣本視頻序列的每一幀學(xué)習(xí)隱條件隨機(jī)場(chǎng)模型 HCRF，以所述特征向量為初始值，在樣本視頻的集合上利用預(yù)設(shè)函數(shù)完成HCRF的參數(shù)訓(xùn) 練，學(xué)習(xí)到具有中級(jí)語(yǔ)義信息的隱狀態(tài)及隱狀態(tài)的空間連接關(guān)系；而后將樣本視頻序列分 割為時(shí)序單元，并在每個(gè)時(shí)序單元內(nèi)利用所學(xué)習(xí)到的基元即隱狀態(tài)及其空間連接關(guān)系構(gòu)建 結(jié)構(gòu)化的特征圖；將所述結(jié)構(gòu)化的特征圖映射到特征空間中；將所述時(shí)序單元通過(guò)時(shí)序關(guān) 系進(jìn)行連接，構(gòu)建一個(gè)基于特征圖的鏈狀圖；利用時(shí)序圖核，將待識(shí)別行為視頻進(jìn)行特征圖 空間-時(shí)間上的匹配，進(jìn)行分類識(shí)別。本發(fā)明應(yīng)用HCRF完成對(duì)中級(jí)基元和關(guān)聯(lián)關(guān)系的學(xué)習(xí)， 利用一系列結(jié)構(gòu)化的特征圖完成對(duì)視頻序列的描述，利用時(shí)序圖核完成特征圖在空間-時(shí) 間上的匹配，從而可以對(duì)不同長(zhǎng)度和速度的行為序列進(jìn)行匹配，不僅可以用于對(duì)單人的行 為進(jìn)行識(shí)別，也可以用于對(duì)多人的交互行為進(jìn)行分類識(shí)別。
【附圖說(shuō)明】
[0022] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用 的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本 領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的 附圖。
[0023] 圖1為本發(fā)明第一實(shí)施例的基于結(jié)構(gòu)化的特征圖的人體行為識(shí)別方法流程示意 圖；
[0024] 圖2為本發(fā)明第二實(shí)施例的基于結(jié)構(gòu)化的特征圖的人體行為識(shí)別方法流程示意 圖；
[0025] 圖3為本發(fā)明第二實(shí)施例中所構(gòu)建的結(jié)構(gòu)化特征圖的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0026] 本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式"一"、"一 個(gè)"、"所述"和"該"也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本發(fā)明的說(shuō)明書中使用的措 辭"包括"是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加 一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。應(yīng)該理解，當(dāng)我們稱元 件被"連接"或"耦接"到另一元件時(shí)，它可以直接連接或耦接到其他元件，或者也可以存在 中間元件。此外，這里使用的"連接"或"耦接"可以包括無(wú)線連接或耦接。這里使用的措 辭"和/或"包括一個(gè)或更多個(gè)相關(guān)聯(lián)的列出項(xiàng)的任一單元和全部組合。
[0027] 本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非另外定義，這里使用的所有術(shù)語(yǔ)（包括技術(shù) 術(shù)語(yǔ)和科學(xué)術(shù)語(yǔ)）具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng) 該理解的是，諸如通用字典中定義的那些術(shù)語(yǔ)應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的 意義一致的意義，并且除非像這里一樣定義，不會(huì)用理想化或過(guò)于正式的含義來(lái)解釋。
[0028] 為便于對(duì)本發(fā)明實(shí)施例的理解，下面詳細(xì)描述本發(fā)明的實(shí)施方式，通過(guò)參考附圖 描述的實(shí)施方式是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。
[0029] 本發(fā)明實(shí)施例利用局部特征在空間-時(shí)間上的關(guān)聯(lián)關(guān)系，對(duì)人體行為進(jìn)行建模和 分析，從而進(jìn)行分類識(shí)別。本發(fā)明實(shí)施例應(yīng)用局部特征，構(gòu)建一種結(jié)構(gòu)化的特征圖，在此基 礎(chǔ)上，提出了一種新的時(shí)序圖核，完成特征圖在空間_時(shí)間上的匹配，從而可以對(duì)不同長(zhǎng)度 和速度的行為視頻進(jìn)行匹配，不僅可以用于對(duì)單人的行為視頻進(jìn)行識(shí)別，也可以用于對(duì)多 人的交互行為視頻進(jìn)行識(shí)別。以下結(jié)合附圖及具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。
[0030] 圖1為本發(fā)明第一實(shí)施例的基于結(jié)構(gòu)化的特征圖的人體行為識(shí)別方法流程示意 圖。
[0031] 如圖1所示，本實(shí)施例基于結(jié)構(gòu)化的特征圖的人體行為識(shí)別方法包括如下步驟：
[0032] 步驟1，從樣本視頻序列中提取時(shí)空興趣點(diǎn)。
[0033] 本步驟中的時(shí)空興趣點(diǎn)（STIP，SpaceandTimeInterestingPoint)，是在時(shí)間 域和空間域中變化劇烈的角點(diǎn)，如此可以更好的描述時(shí)空興趣點(diǎn)所在樣本視頻的特征。
[0034] 步驟2,利用直方圖對(duì)所述時(shí)空興趣點(diǎn)進(jìn)行描述，生成描述時(shí)空興趣點(diǎn)的特征向 量，并通過(guò)預(yù)設(shè)算法生成時(shí)空興趣點(diǎn)的空間連接關(guān)系。
[0035] 本步驟中所述的直方圖，包括梯度方向直方圖（HOG，HistogramsofOriented Gradient)和光流方向直方圖（HOF，HistogramsofOpticalFlow)。優(yōu)選的，本步驟中的 預(yù)設(shè)算法為最小生成樹算法或廣度優(yōu)先搜索算法。
[0036] 步驟3,為樣本視頻序列的每一幀學(xué)習(xí)一個(gè)隱條件隨機(jī)場(chǎng)模型（HCRF，Hidden ConditionalRandomField)，將所述時(shí)空興趣點(diǎn)的特征向量和空間連接