一種基于運(yùn)動(dòng)統(tǒng)計(jì)特征分析的關(guān)鍵姿態(tài)提取方法
【專利摘要】一種基于運(yùn)動(dòng)統(tǒng)計(jì)特征分析的關(guān)鍵姿態(tài)提取方法涉及運(yùn)動(dòng)目標(biāo)檢測(cè)域。本發(fā)明將金字塔LK光流方法應(yīng)用于舉重運(yùn)動(dòng)視頻中，建立了4個(gè)時(shí)空通道描述子，將統(tǒng)計(jì)分析特性應(yīng)用于舉重運(yùn)動(dòng)，而且發(fā)現(xiàn)每個(gè)通道強(qiáng)度的最值點(diǎn)處和要提取的關(guān)鍵姿態(tài)有著緊密的聯(lián)系。對(duì)于教練希望詳細(xì)查看、分析的關(guān)鍵幀畫(huà)面以及對(duì)于運(yùn)動(dòng)員舉重的訓(xùn)練具有重大意義。
【專利說(shuō)明】一種基于運(yùn)動(dòng)統(tǒng)計(jì)特征分析的關(guān)鍵姿態(tài)提取方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及運(yùn)動(dòng)目標(biāo)檢測(cè)域中基于運(yùn)動(dòng)員關(guān)鍵姿態(tài)提取技術(shù)，具體涉及一種基于運(yùn)動(dòng)統(tǒng)計(jì)特征分析，來(lái)提取運(yùn)動(dòng)視頻中關(guān)鍵姿態(tài)幀方法的研究及實(shí)現(xiàn)。

【背景技術(shù)】
[0002]隨著目標(biāo)檢測(cè)與跟蹤系統(tǒng)進(jìn)入數(shù)字化時(shí)代，運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤把圖像處理、自動(dòng)控制、信息科學(xué)有機(jī)結(jié)合起來(lái)，形成了一種能從圖像信號(hào)中實(shí)時(shí)地自動(dòng)識(shí)別目標(biāo)，提取目標(biāo)位置信息，自動(dòng)跟蹤目標(biāo)運(yùn)動(dòng)的技術(shù)。對(duì)序列圖像中的目標(biāo)進(jìn)行實(shí)時(shí)檢測(cè)與跟蹤技術(shù)越來(lái)越具有實(shí)用性，它在智能監(jiān)控、交通監(jiān)視、流量統(tǒng)計(jì)等領(lǐng)域有非常重要的實(shí)用價(jià)值，具有廣闊的發(fā)展前景，在軍事、工業(yè)、安防、智能交通和科學(xué)研究等方面都具有重要的意義。
[0003]目前，運(yùn)動(dòng)目標(biāo)的檢測(cè)技術(shù)已經(jīng)頗為成熟，下面是三種比較經(jīng)典的方法:(1)光流法三種傳統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法之一。當(dāng)物體運(yùn)動(dòng)時(shí)，在圖象上對(duì)應(yīng)物體的亮度模式也在運(yùn)動(dòng)，從而稱光流是圖象亮度模式的視覺(jué)在運(yùn)動(dòng)。光流法檢測(cè)采用了目標(biāo)隨時(shí)間變化的光流特性。利用光流法可以通過(guò)計(jì)算位移向量光流場(chǎng)來(lái)初始化目標(biāo)的輪廓，從而使基于輪廓的跟蹤算法有效地檢測(cè)和跟蹤目標(biāo)。特征光流法的主要點(diǎn)在于對(duì)目標(biāo)幀間的運(yùn)動(dòng)的限制較少，可以處理大的幀間的位移；主要缺點(diǎn)是大多數(shù)光流計(jì)算方法相當(dāng)復(fù)雜，且抗噪性能差，如果沒(méi)有特定的硬件支持，一般很難應(yīng)用于序列圖像中運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)性操作。光流法參見(jiàn)文獻(xiàn):Sasa G,Lonoar1 S.Spalic-temporal image segmentat1n using optical flowand clustering algorithm[A].First Int, Workshop on Image and Signal ProcessingAnalysis[C], Pula, Crotia.2000.63-38。(2)幀間差分法三種傳統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法之一。幀間差分是檢測(cè)相鄰兩幀圖象之間變化的最簡(jiǎn)單、最直接的方法，它是直接比較了兩幀圖象對(duì)應(yīng)象素點(diǎn)的灰度值的不同，然后通過(guò)閾值來(lái)提取序列圖象中的運(yùn)動(dòng)區(qū)域，第k幀圖象A(x，y)和第k+Ι幀圖象Ux，式中T為差分圖象二值化的閾值。二值圖象中為〃0〃的象素對(duì)應(yīng)在前后兩幀圖象間沒(méi)有發(fā)生(由于運(yùn)動(dòng)而產(chǎn)生的)變化的地方，為〃1〃的象素對(duì)應(yīng)兩幀圖象間發(fā)生變化的地方，這常是由目標(biāo)運(yùn)動(dòng)而產(chǎn)生的。幀差法參見(jiàn)文獻(xiàn):G.L.ForestiObject recognit1n and tracking for remote video surveillance IEEE Trans, onCircuits and Systems for Video Technology, 9 (1999), pp.1045 - 1062
(3)背景消減法三種傳統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法之一。在攝像頭固定的情況下，背景消減法是常用的運(yùn)動(dòng)目標(biāo)檢測(cè)方法。其基本思想是將當(dāng)前幀圖象與事先存儲(chǔ)或者實(shí)時(shí)得到的背景模型比較，根據(jù)比較的結(jié)果判斷此象素點(diǎn)是否屬于運(yùn)動(dòng)目標(biāo)區(qū)域。背景消減法參見(jiàn)文獻(xiàn):Stringa E, Regazzoni C S.Real-time video-shot detect1n for scene surveillanceapplicat1ns [J].1mage Processing, IEEE Transact1ns on, 2000, 9 (I): 69-79.背景消減法操作簡(jiǎn)單，檢測(cè)位置準(zhǔn)確且速度快。但通常的背景消減法對(duì)光線、天氣等光照條件的變化非常敏感。運(yùn)動(dòng)目標(biāo)的陰影也常常被檢測(cè)為運(yùn)動(dòng)目標(biāo)的一部分。這將影響檢測(cè)結(jié)果的準(zhǔn)確性。因此，在非控環(huán)境中需要加入背景圖象的更新機(jī)制。常見(jiàn)的背景模型有單高斯分布背景模型和多高斯分布背景模型，前者是為每一個(gè)象素點(diǎn)建立了一個(gè)高斯分布模型，而后者則是根據(jù)多個(gè)高斯分布共同描述一個(gè)象素點(diǎn)上的顏色分布，參考文獻(xiàn):C Stauffer, W EL Grimson.L—earning Patters of Activity Using Real—Time Tracking, IEEE Trans.PAMI，2000，22(8):747 ~757 和 R T Collins, AJLipton, T Kanade.A System for VideoSurveillance and Monitoring.Proc A m.Nuclear Soc.(ANS)English Int,I TopicalMeeting Robotic and Remote Systems, Apr.1999傳統(tǒng)的基于統(tǒng)計(jì)模型的背景法，由于需要對(duì)每個(gè)象素點(diǎn)建立統(tǒng)計(jì)模型，計(jì)算量大，而且通過(guò)該模型進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，無(wú)法在短時(shí)間內(nèi)消除運(yùn)動(dòng)目標(biāo)帶來(lái)的〃鬼影"。


【發(fā)明內(nèi)容】

[0004]本發(fā)明是一種基于運(yùn)動(dòng)統(tǒng)計(jì)特征進(jìn)行運(yùn)動(dòng)關(guān)鍵姿態(tài)的分析方法，將金字塔LK光流方法應(yīng)用于舉重運(yùn)動(dòng)視頻中，建立了 4個(gè)時(shí)空通道描述子，將統(tǒng)計(jì)分析特性應(yīng)用于舉重運(yùn)動(dòng)，而且發(fā)現(xiàn)每個(gè)通道強(qiáng)度的最值點(diǎn)處和要提取的關(guān)鍵姿態(tài)有著緊密的聯(lián)系。對(duì)于教練希望詳細(xì)查看、分析的關(guān)鍵幀畫(huà)面以及對(duì)于運(yùn)動(dòng)員舉重的訓(xùn)練具有重大意義。
[0005]為了實(shí)現(xiàn)上述應(yīng)用，具體步驟如下:
[0006]I)獲得以人物為中心的視頻序列。
[0007]2)在每一幀圖像上按7*7 (比例可以是5*5~9*9，本發(fā)明以7*7為例)窗口大小，對(duì)像素點(diǎn)進(jìn)行采樣，如下圖1是采樣的特征點(diǎn)。
[0008]3)以采樣到的點(diǎn)為特征點(diǎn)進(jìn)行金字塔Lucas-Kanade光流跟蹤。令point[0][i]為前一幀的采樣點(diǎn)坐標(biāo)，point [I] [i]為光流跟蹤該點(diǎn)的當(dāng)前圖像幀中的坐標(biāo),則:
[0009]dist = point [I] [i]-point [0] [i] i = 0, I, 2.....(width/7) * (height/7) (I)
[0010]其中dist為采樣點(diǎn)的運(yùn)動(dòng)矢量，i為每幀圖像中采樣點(diǎn)的位置。Width為圖像寬度，height為圖像高度,連接點(diǎn)point[l] [i]和點(diǎn)point[0] [i],就得到了光流運(yùn)動(dòng)的矢量圖，以dist的大小為尺度，以point[0] [i]為左上角坐標(biāo)點(diǎn)，在7*7區(qū)域內(nèi)標(biāo)定亮度，得到了運(yùn)動(dòng)的顯著性圖。圖2(a)-(b)是一段舉重視頻中幾幀光流跟蹤的矢量圖和顯著性圖。
[0011]從矢量圖和顯著性圖可以看出，光流運(yùn)動(dòng)主要集中于前景運(yùn)動(dòng)員的運(yùn)動(dòng)，背景的運(yùn)動(dòng)噪聲相對(duì)較小。
[0012]4)根據(jù)3)中dist運(yùn)動(dòng)矢量，將光流跟蹤的結(jié)果分解成四個(gè)分量水平正方向Fx+、水平負(fù)方向Fx_、垂直正方向Fy+、垂直負(fù)方向Fy，建立4個(gè)通道描述子。如圖3是每個(gè)通道建立的過(guò)程。
[0013]定義點(diǎn)運(yùn)動(dòng)的水平距離dx，垂直距離dy為:
[0014]

【權(quán)利要求】
1.一種基于運(yùn)動(dòng)統(tǒng)計(jì)特征分析的關(guān)鍵姿態(tài)提取方法，其特征在于，步驟如下: 1)獲得以人物為中心的視頻序列； 2)在每一幀圖像上按7*7窗口大小,對(duì)像素點(diǎn)進(jìn)行米樣； 3)以采樣到的點(diǎn)為特征點(diǎn)進(jìn)行金字塔Lucas-Kanade光流跟蹤；$point[0][i]為前一中貞的采樣點(diǎn)坐標(biāo)，point[l] [i]為光流跟蹤該點(diǎn)的當(dāng)前圖像幀中的坐標(biāo),則:
dist = point[I][i]-point[O][i] i = 0, I, 2.....(width/7)*(height/7) (I) 其中dist為采樣點(diǎn)的運(yùn)動(dòng)矢量，i為每幀圖像中采樣點(diǎn)的位置；Width為圖像寬度，height為圖像高度,連接點(diǎn)point[l] [i]和點(diǎn)point[0] [i],就得到了光流運(yùn)動(dòng)的矢量圖，以dist的大小為尺度，以point [O] [i]為左上角坐標(biāo)點(diǎn)，在7*7區(qū)域內(nèi)標(biāo)定亮度，得到了運(yùn)動(dòng)的顯著性圖； 4)根據(jù)3)中dist運(yùn)動(dòng)矢量，將光流跟蹤的結(jié)果分解成四個(gè)分量水平正方向Fx+、水平負(fù)方向Fx_、垂直正方向Fy+、垂直負(fù)方向Fy_，建立4個(gè)通道描述子；定義點(diǎn)運(yùn)動(dòng)的水平距離dx，垂直距離dy為:
光流矢量4個(gè)通道劃分:
width ,height代表圖像的寬度和高度，其中i代表每幀圖像中采樣的像素點(diǎn)的位置，t代表當(dāng)如圖像在運(yùn)動(dòng)視頻序列中的幀號(hào)，fiast為該視頻序列中最后一幀圖像，dX為光流跟蹤的運(yùn)動(dòng)矢量在水平方向的運(yùn)動(dòng)，dy為光流跟蹤的運(yùn)動(dòng)矢量在垂直方向的運(yùn)動(dòng)； Fx+(t, i)代表在X水平正方向通道中第t幀圖像中，第i個(gè)采樣點(diǎn)的運(yùn)動(dòng)距離值；Fx-(t，i)代表在X水平負(fù)方向通道中第t幀圖像中，第i個(gè)采樣點(diǎn)的運(yùn)動(dòng)距離值；Fy+(t，i)代表在I垂直正方向通道中第t幀圖像中，第i個(gè)采樣點(diǎn)的運(yùn)動(dòng)距離值；Fy_(t，i)代表在y垂直負(fù)方向通道中第t幀圖像中，第i個(gè)采樣點(diǎn)的運(yùn)動(dòng)距離值；然后統(tǒng)計(jì)每個(gè)通道的當(dāng)前幀所有采樣點(diǎn)的強(qiáng)度:
其中t為代表當(dāng)前圖像在運(yùn)動(dòng)視頻序列中的幀號(hào)，i為每幀圖像中采樣點(diǎn)的位置，F(xiàn)x+(t, i)代表在X水平正方向第t幀圖像中，第i個(gè)采樣點(diǎn)的運(yùn)動(dòng)距離值，F(xiàn)x+(t)為在t幀圖像中水平正方向Fx+所有采樣點(diǎn)的運(yùn)動(dòng)距離和，F(xiàn)x-(t)為在t幀圖像中水平負(fù)方向Fx-所有采樣點(diǎn)的運(yùn)動(dòng)距離和，F(xiàn)y+(t)為在t幀圖像中垂直正方向Fy+所有采樣點(diǎn)的運(yùn)動(dòng)距離和，F(xiàn)y-(t)為在t幀圖像中垂直負(fù)方向Fy-所有采樣點(diǎn)的運(yùn)動(dòng)距離和，其中t =1,2.......flast同理求出Fx-(t)和Fy+(t)以及Fy-(t)在t幀圖像中水平負(fù)方向Fx_，垂直正方向Fy+、垂直負(fù)方向Fy-所有采樣點(diǎn)的運(yùn)動(dòng)距離和，然后求出所有幀中每個(gè)通道的最大值:MaxFx+ = Fx+(t)，其中t e (1,2.......flast) ；MaxFx+為Fx+方向上所有幀中的運(yùn)動(dòng)距離最大值，MaxFx-為Fx-方向上所有幀中的運(yùn)動(dòng)距離最大值，MaxFy+為Fy+方向上所有幀中運(yùn)動(dòng)距離的最大值，MaxFy-為Fy_方向上所有幀中運(yùn)動(dòng)距離的最大值，同理求出MaxFx_和MaxFy+以及MaxFy_ ;畫(huà)出每個(gè)通道的強(qiáng)度變化曲線，并找出曲線最大值點(diǎn)處對(duì)應(yīng)的關(guān)鍵視頻幀。
【文檔編號(hào)】G06T7/00GK104200455SQ201410263618
【公開(kāi)日】2014年12月10日 申請(qǐng)日期:2014年6月13日 優(yōu)先權(quán)日:2014年6月13日
【發(fā)明者】毋立芳, 錢坤, 張靜文, 邱健康 申請(qǐng)人:北京工業(yè)大學(xué)