基于形狀上下文的動(dòng)作識(shí)別方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種基于形狀上下文的動(dòng)作識(shí)別方法及裝置，該方法包括如下步驟：S01、采集多幀連續(xù)的人體動(dòng)作的視頻圖像；S02、提取視頻圖像中任意一幀圖像中的人體輪廓，其中人體輪廓由若干輪廓點(diǎn)組成；S03、計(jì)算人體輪廓中所有輪廓點(diǎn)與關(guān)鍵輪廓庫中所包含的關(guān)鍵輪廓中輪廓點(diǎn)的形狀距離，所述關(guān)鍵輪廓為標(biāo)準(zhǔn)人體動(dòng)作；S04、依次對(duì)人體輪廓中所有輪廓點(diǎn)選擇與其距離最小的關(guān)鍵輪廓庫中的關(guān)鍵輪廓，并對(duì)該關(guān)鍵輪廓投票；S05、統(tǒng)計(jì)關(guān)鍵輪廓庫中的關(guān)鍵輪廓的得票數(shù)，將視頻圖像中的人體動(dòng)作識(shí)別為得票數(shù)最多的關(guān)鍵輪廓?dú)q對(duì)應(yīng)的標(biāo)準(zhǔn)人體動(dòng)。本發(fā)明能夠提高人體動(dòng)作的識(shí)別的準(zhǔn)確率。
【專利說明】基于形狀上下文的動(dòng)作識(shí)別方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，尤其涉及基于形狀上下文的動(dòng)作識(shí)別方法及裝置。
【背景技術(shù)】
[0002]人體行為識(shí)別作為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)新興技術(shù)，在人機(jī)交互和視頻監(jiān)控等方面具有廣泛的應(yīng)用前景。目前，可應(yīng)用的場(chǎng)合分別有運(yùn)動(dòng)捕捉、監(jiān)控視頻分析、視頻分類、體育運(yùn)動(dòng)與娛樂視頻處理、智能家居開發(fā)、人機(jī)交互、環(huán)境控制與監(jiān)視等等。
[0003]目前主要的人體行為識(shí)別方法大致可以分為基于目標(biāo)跟蹤、基于形狀模板匹配、基于光流和基于時(shí)空興趣點(diǎn)這四大類?；谀繕?biāo)跟蹤和形狀模板匹配的方法要求建立精確的人體模板，系統(tǒng)魯棒性相對(duì)較差?；诠饬鞯姆椒ɡ霉饬餍畔⑦M(jìn)行行為識(shí)別，容易受到噪聲以及光照強(qiáng)度變化的干擾?；跁r(shí)空興趣點(diǎn)分析的方法通過濾波和非極值抑制法提取出興趣點(diǎn)，從時(shí)空興趣點(diǎn)中提取人體動(dòng)作的時(shí)空運(yùn)動(dòng)特征作為識(shí)別的依據(jù)。這類方法對(duì)于低分辨率視頻以及噪聲和攝像頭運(yùn)動(dòng)造成的干擾魯棒性效果不佳。為此，有必要對(duì)上述的人體行為識(shí)別方法進(jìn)行進(jìn)一步改進(jìn)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題是:提供一種能夠提高人體行為識(shí)別率的基于形狀上下文的動(dòng)作識(shí)別方法及裝置。
[0005]為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為:提供一種基于形狀上下文的動(dòng)作識(shí)別方法，包括如下步驟:
[0006]S01、采集多幀連續(xù)的人體動(dòng)作的視頻圖像；
[0007]S02、提取視頻圖像中任意一幀圖像中的人體輪廓，其中人體輪廓由若干輪廓點(diǎn)組成；
[0008]S03、計(jì)算人體輪廓中所有輪廓點(diǎn)與關(guān)鍵輪廓庫中所包含的關(guān)鍵輪廓中輪廓點(diǎn)的形狀距離，所述關(guān)鍵輪廓為標(biāo)準(zhǔn)人體動(dòng)作；
[0009]S04、依次對(duì)人體輪廓中所有輪廓點(diǎn)選擇與其距離最小的關(guān)鍵輪廓庫中的關(guān)鍵輪廓，并對(duì)該關(guān)鍵輪廓投票；
[0010]S05、統(tǒng)計(jì)關(guān)鍵輪廓庫中的關(guān)鍵輪廓的得票數(shù)，將視頻圖像中的人體動(dòng)作識(shí)別為得票數(shù)最多的關(guān)鍵輪廓?dú)q對(duì)應(yīng)的標(biāo)準(zhǔn)人體動(dòng)作。
[0011]為解決上述技術(shù)問題，本發(fā)明采用的另一技術(shù)方案為:提供一種基于形狀上下文的動(dòng)作識(shí)別裝置，包括順次電連接的視頻采集模塊、圖像提取模塊、計(jì)算模塊、動(dòng)作解析模塊以及動(dòng)作識(shí)別模塊；所述視頻采集模塊，用于采集多幀連續(xù)的人體動(dòng)作的視頻圖像；所述圖像提取模塊，用于提取視頻圖像中任意一幀圖像中的人體輪廓，其中人體輪廓由若干輪廓點(diǎn)組成；所述計(jì)算模塊，用于計(jì)算人體輪廓中所有輪廓點(diǎn)與關(guān)鍵輪廓庫中所包含的關(guān)鍵輪廓中輪廓點(diǎn)的形狀距離，所述關(guān)鍵輪廓為標(biāo)準(zhǔn)人體動(dòng)作；所述動(dòng)作解析模塊，用于依次對(duì)人體輪廓中所有輪廓點(diǎn)選擇與其距離最小的關(guān)鍵輪廓庫中的關(guān)鍵輪廓，并對(duì)該關(guān)鍵輪廓投票；所述動(dòng)作識(shí)別模塊，用于統(tǒng)計(jì)關(guān)鍵輪廓庫中的關(guān)鍵輪廓的得票數(shù)，將視頻圖像中的人體動(dòng)作識(shí)別為得票數(shù)最多的關(guān)鍵輪廓?dú)q對(duì)應(yīng)的標(biāo)準(zhǔn)人體動(dòng)作。
[0012]本發(fā)明的有益效果在于:本發(fā)明通過依次對(duì)人體輪廓中所有輪廓點(diǎn)選擇與其距離最小的關(guān)鍵輪廓庫中的關(guān)鍵輪廓，并且對(duì)關(guān)鍵輪廓進(jìn)行投票后，根據(jù)得票數(shù)最多的關(guān)鍵輪廓識(shí)別該幀圖像的標(biāo)準(zhǔn)人體動(dòng)作，能夠?qū)σ曨l的圖像進(jìn)行很好的識(shí)別。另外，采用投票的方式進(jìn)行識(shí)別，能夠減少環(huán)境中的噪聲對(duì)行為識(shí)別的影響，行為識(shí)別的準(zhǔn)確率越高。
【專利附圖】

【附圖說明】
[0013]圖1是本發(fā)明基于形狀上下文的動(dòng)作識(shí)別方法的流程圖；
[0014]圖2是順時(shí)針邊界跟蹤算法的一實(shí)施例示意圖；
[0015]圖3是順時(shí)針邊界跟蹤算法的另一實(shí)施例實(shí)施例示意圖；
[0016]圖4是邊界跟蹤算法按照順時(shí)針方向檢測(cè)出來的邊界結(jié)果示意圖；
[0017]圖5是“走路”動(dòng)作的輪廓示意圖；
[0018]圖6是“跳躍”動(dòng)作的輪廓示意圖；
[0019]圖7是圖5和圖6疊加在一起的示意圖；
[0020]圖8是圖5和圖6人體輪廓的最佳匹配結(jié)果示意圖。
【具體實(shí)施方式】
[0021]為詳細(xì)說明本發(fā)明的技術(shù)內(nèi)容、構(gòu)造特征、所實(shí)現(xiàn)目的及效果，以下結(jié)合實(shí)施方式并配合附圖詳予說明。
[0022]本發(fā)明最關(guān)鍵的構(gòu)思在于:本方案通過依次對(duì)人體輪廓中所有輪廓點(diǎn)選擇與其距離最小的關(guān)鍵輪廓庫中的關(guān)鍵輪廓并進(jìn)行投票，根據(jù)得票數(shù)最多的關(guān)鍵輪廓識(shí)別該幀圖像的標(biāo)準(zhǔn)人體動(dòng)作，能夠?qū)σ曨l的圖像進(jìn)行很好的識(shí)別。
[0023]請(qǐng)參閱圖1，一種基于形狀上下文的動(dòng)作識(shí)別方法，包括如下步驟:
[0024]S01、采集多幀連續(xù)的人體動(dòng)作的視頻圖像；
[0025]S02、提取視頻圖像中任意一幀圖像中的人體輪廓，其中人體輪廓由若干輪廓點(diǎn)組成；
[0026]S03、計(jì)算人體輪廓中所有輪廓點(diǎn)與關(guān)鍵輪廓庫中所包含的關(guān)鍵輪廓中輪廓點(diǎn)的形狀距離，所述關(guān)鍵輪廓為標(biāo)準(zhǔn)人體動(dòng)作；
[0027]S04、依次對(duì)人體輪廓中所有輪廓點(diǎn)選擇與其距離最小的關(guān)鍵輪廓庫中的關(guān)鍵輪廓，并對(duì)該關(guān)鍵輪廓投票；
[0028]S05、統(tǒng)計(jì)關(guān)鍵輪廓庫中的關(guān)鍵輪廓的得票數(shù)，將視頻圖像中的人體動(dòng)作識(shí)別為得票數(shù)最多的關(guān)鍵輪廓?dú)q對(duì)應(yīng)的標(biāo)準(zhǔn)人體動(dòng)作。
[0029]從上述描述可知，本發(fā)明的有益效果在于:本發(fā)明通過依次對(duì)人體輪廓中所有輪廓點(diǎn)選擇與其距離最小的關(guān)鍵輪廓庫中的關(guān)鍵輪廓，并且對(duì)關(guān)鍵輪廓進(jìn)行投票后，根據(jù)得票數(shù)最多的關(guān)鍵輪廓識(shí)別該幀圖像的標(biāo)準(zhǔn)人體動(dòng)作，能夠?qū)σ曨l的圖像進(jìn)行很好的識(shí)別。另外，采用投票的方式進(jìn)行識(shí)別，能夠減少環(huán)境中的噪聲對(duì)行為識(shí)別的影響，行為識(shí)別的準(zhǔn)確率越聞。[0030]上述步驟S03、計(jì)算人體動(dòng)作與每一類動(dòng)作關(guān)鍵輪廓的形狀距離的實(shí)現(xiàn)方案為:我們將兩個(gè)人體輪廓的形狀距離D定義為形狀上下文距離Ds。和形狀外觀距離Dsa這兩種距離的加權(quán)和，即
[0031 ]
【權(quán)利要求】
1.一種基于形狀上下文的動(dòng)作識(shí)別方法，其特征在于，包括如下步驟: S01、采集多幀連續(xù)的人體動(dòng)作的視頻圖像； S02、提取視頻圖像中任意一幀圖像中的人體輪廓，其中人體輪廓由若干輪廓點(diǎn)組成； S03、計(jì)算人體輪廓中所有輪廓點(diǎn)與關(guān)鍵輪廓庫中所包含的關(guān)鍵輪廓中輪廓點(diǎn)的形狀距離，所述關(guān)鍵輪廓為標(biāo)準(zhǔn)人體動(dòng)作； S04、依次對(duì)人體輪廓中所有輪廓點(diǎn)選擇與其距離最小的關(guān)鍵輪廓庫中的關(guān)鍵輪廓，并對(duì)該關(guān)鍵輪廓投票； S05、統(tǒng)計(jì)關(guān)鍵輪廓庫中的關(guān)鍵輪廓的得票數(shù)，將視頻圖像中的人體動(dòng)作識(shí)別為得票數(shù)最多的關(guān)鍵輪廓?dú)q對(duì)應(yīng)的標(biāo)準(zhǔn)人體動(dòng)作。
2.根據(jù)權(quán)利要求1所述的基于形狀上下文的動(dòng)作識(shí)別方法，其特征在于，所述步驟S02中具體包括步驟， S21、根據(jù)背景減法提取每一幀圖像視頻中的人體形狀； S22、根據(jù)人體形狀選用邊界跟蹤法提取人體動(dòng)作，具體為，選擇目標(biāo)區(qū)域邊界的任意一點(diǎn)作為出發(fā)點(diǎn)，順時(shí) 針探索出設(shè)定鄰域內(nèi)第一個(gè)出現(xiàn)的點(diǎn)作為一個(gè)輪廓點(diǎn)，以該輪廓點(diǎn)位出發(fā)點(diǎn)順時(shí)針探索出設(shè)定鄰域內(nèi)第一個(gè)出現(xiàn)的點(diǎn)作為下一輪廓點(diǎn)，直至檢測(cè)出人體輪廓。
3.根據(jù)權(quán)利要求1所述的基于形狀上下文的動(dòng)作識(shí)別方法，其特征在于，所述步驟S03之前還包括選定“關(guān)鍵輪廓”的步驟，具體包括步驟: S31、根據(jù)背景減法和邊界跟蹤法提取出所有屬于一類的動(dòng)作視頻的人體輪廓并統(tǒng)計(jì)每個(gè)人體輪廓的形狀上下文； S32、根據(jù)中心點(diǎn)聚類算法從每個(gè)人體輪廓的形狀上下文中選取預(yù)設(shè)數(shù)量的候選關(guān)鍵輪廓并賦予權(quán)值； SS S34、對(duì)所有候選關(guān)鍵輪廓按照權(quán)值大小順序進(jìn)行排序，選取每類候選關(guān)鍵輪廓為關(guān)鍵輪廓。
4.根據(jù)權(quán)利要求3所述的基于形狀上下文的動(dòng)作識(shí)別方法，其特征在于，所述步驟S32具體包括步驟: S321、初始化聚類中心； S322、根據(jù)最小形狀距離將選取的未分配的候選關(guān)鍵輪廓分配給指定一簇； S323、更新每個(gè)簇的中心； S324、判斷任意一簇的中心是否收斂，若否，則返回步驟S33，若是，則結(jié)束更新該簇中心并將其選定為候選關(guān)鍵輪廓。
5.根據(jù)權(quán)利要求1所述的基于形狀上下文的動(dòng)作識(shí)別方法，其特征在于，所述步驟S03之前還包括求取人體動(dòng)作與關(guān)鍵輪廓庫中所有關(guān)鍵輪廓的最佳匹配序列的步驟。
6.一種基于形狀上下文的動(dòng)作識(shí)別裝置，其特征在于，包括順次電連接的視頻采集模塊、圖像提取模塊、計(jì)算模塊、動(dòng)作解析模塊以及動(dòng)作識(shí)別模塊； 所述視頻采集模塊，用于采集多幀連續(xù)的人體動(dòng)作的視頻圖像； 所述圖像提取模塊，用于提取視頻圖像中任意一幀圖像中的人體輪廓，其中人體輪廓由若干輪廓點(diǎn)組成；所述計(jì)算模塊，用于計(jì)算人體輪廓中所有輪廓點(diǎn)與關(guān)鍵輪廓庫中所包含的關(guān)鍵輪廓中輪廓點(diǎn)的形狀距離，所述關(guān)鍵輪廓為標(biāo)準(zhǔn)人體動(dòng)作； 所述動(dòng)作解析模塊，用于依次對(duì)人體輪廓中所有輪廓點(diǎn)選擇與其距離最小的關(guān)鍵輪廓庫中的關(guān)鍵輪廓，并對(duì)該關(guān)鍵輪廓投票； 所述動(dòng)作識(shí)別模塊，用于統(tǒng)計(jì)關(guān)鍵輪廓庫中的關(guān)鍵輪廓的得票數(shù)，將視頻圖像中的人體動(dòng)作識(shí)別為得票數(shù)最 多的關(guān)鍵輪廓?dú)q對(duì)應(yīng)的標(biāo)準(zhǔn)人體動(dòng)作。
【文檔編號(hào)】G06K9/00GK103955680SQ201410214490
【公開日】2014年7月30日 申請(qǐng)日期:2014年5月20日 優(yōu)先權(quán)日:2014年5月20日
【發(fā)明者】陳雁, 陳敏, 胡祝銀, 吳悅, 顧文錦 申請(qǐng)人:深圳市賽為智能股份有限公司