本發(fā)明涉及動作識別領(lǐng)域，尤其是涉及了一種基于節(jié)體對象的動作識別方法。

背景技術(shù)：

隨著科學(xué)技術(shù)的高速發(fā)展與社會進(jìn)步，人們的日常生活中對于動作識別的需求越來越大。比如識別在視頻監(jiān)控中的某個人物的某一動作，分析籃球比賽中的投籃動作以及其他資料中動物、人類的動作分析等，而人為地去看這些視頻、圖片會耗費時間、人力和物力，效率很低。而如果采用智能的動作識別，則可以自動對視頻圖像數(shù)據(jù)中的動作進(jìn)行標(biāo)注。動作識別技術(shù)還可以用于許多領(lǐng)域，比如自動對互聯(lián)網(wǎng)上的視頻進(jìn)行動作標(biāo)注，公共場合的智能監(jiān)控，司機(jī)姿勢的監(jiān)控，人群中危險姿勢的監(jiān)控，通過人體動作的自動識別調(diào)用家具設(shè)備的相應(yīng)功能，或者是監(jiān)控老人，小孩的安全情況等。

本發(fā)明提出了一種基于節(jié)體對象的動作識別方法，先從輸入的圖像中提取感興趣對象的點，進(jìn)行預(yù)處理和獲得初始姿態(tài)；在生成的多個初始姿態(tài)中篩選成最佳的作為最終估計姿態(tài)；接著利用粒子濾波器解決跟蹤問題；最后利用學(xué)習(xí)預(yù)測器，提取將要描述的專用特征，并輸出預(yù)測的動作類別。本發(fā)明中光照、遮擋等對識別的影響較小，提高識別效率；它可以自動識別動物或人體的動作，解決了傳統(tǒng)識別動作方法耗費時間、人力和物力的問題。

技術(shù)實現(xiàn)要素：

針對光照、遮擋等對識別有影響的問題，本發(fā)明的目的在于提供一種基于節(jié)體對象的動作識別方法，先從輸入的圖像中提取感興趣對象的點，進(jìn)行預(yù)處理和獲得初始姿態(tài)；在生成的多個初始姿態(tài)中篩選成最佳的作為最終估計姿態(tài)；接著利用粒子濾波器解決跟蹤問題；最后利用學(xué)習(xí)預(yù)測器，提取將要描述的專用特征，并輸出預(yù)測的動作類別。

為解決上述問題，本發(fā)明提供一種基于節(jié)體對象的動作識別方法，其主要內(nèi)容包括：

(一)預(yù)處理和獲得初始姿態(tài)；

(二)姿態(tài)估計；

(三)跟蹤；

(四)動作識別。

其中，所述的預(yù)處理和獲得初始姿態(tài)，假設(shè)在輸入深度圖像或補(bǔ)丁中存在一個且只有一個節(jié)體對象，從圖像中提取感興趣對象的點，通過設(shè)置這些姿勢作為基礎(chǔ)關(guān)節(jié)對象的主姿態(tài)來獲得初始姿態(tài)；對于每個初始姿態(tài)，通過從(-π,π)上的均勻分布擾動平面內(nèi)基礎(chǔ)關(guān)節(jié)的方向來生成對象的初始取向。

其中，所述的姿態(tài)估計，包括測試和訓(xùn)練。

進(jìn)一步地，所述的測試過程，給定一組n_t個訓(xùn)練圖像，定義

為J個關(guān)節(jié)集合的第j個關(guān)節(jié)的訓(xùn)練圖像的平均偏差；偏差Δθj表示估計姿態(tài)和地面真實姿態(tài)之間的變化量；全局誤差函數(shù)可以被定義在評估來自平均偏差的和的一組示例中，例如以下形式

其中，‖·‖₂是歐氏空間中的標(biāo)準(zhǔn)向量范數(shù)；

假設(shè)每個J關(guān)節(jié)有C個循環(huán)或迭代，給定測試圖像和初始姿態(tài)估計，對于來自基本關(guān)節(jié)的長度J的運動鏈，每個關(guān)節(jié)j∈{1,…,J}，在當(dāng)前循環(huán)c∈{1,…,C}處，關(guān)節(jié)的當(dāng)前姿態(tài)將由lie群動作糾正，其中扭曲r_j^(c)是本地回歸者的輸出換句話說，表示速記符號和可以通過以下的左組動作

來更新第j個關(guān)節(jié)空間坐標(biāo)，其中是最近的組元素，用于進(jìn)一步校正在循環(huán)c的第c個關(guān)節(jié)的空間位置；

在測試運行時，為每個輸入圖像生成多個初始姿態(tài)，通過逆運動學(xué)回歸，產(chǎn)生相應(yīng)的候選姿勢；這些輸出姿態(tài)將通過度量來篩選，挑選其中最佳姿態(tài)將作為最終估計姿態(tài)。

進(jìn)一步地，所述的訓(xùn)練過程，在訓(xùn)練階段，以與測試階段相同的方式獲得輸入圖像的一組K個初始姿態(tài)；訓(xùn)練數(shù)據(jù)集的每個示例由一個實例組成：一對姿態(tài)包括估計姿態(tài)和地面真實姿態(tài)以及其標(biāo)記：估計與地面真實的偏差θ_j，如

對于第一關(guān)節(jié)j＝1(運動鏈中的基本關(guān)節(jié))和第一個循環(huán)c＝1，示例的標(biāo)簽將是從初始姿態(tài)的第一關(guān)節(jié)到地面真實的第一關(guān)節(jié)的變化量；然后在所有循環(huán)c通過執(zhí)行當(dāng)前部分運動學(xué)模型直到前一個循環(huán)c-1獲得其對應(yīng)的初始姿態(tài)。

其中，所述的跟蹤，粒子濾波器可以解決跟蹤問題，考慮離散的時間步長t，并且使用x表示潛在隨機(jī)變量，用y觀察它；跟蹤對象的狀態(tài)(即，在時間t的估計姿態(tài))被表示為x_t，并且其函數(shù)關(guān)系為x_1:t＝(x₁,…,x_t)；類似地，當(dāng)前觀察被表示為y_t，其函數(shù)關(guān)系被表示為y_1:t＝(y₁,…,y_t)；基本的一階時間馬爾可夫鏈誘導(dǎo)條件獨立性，其定義為p(x_t|x_1:t-1)＝p(x_t|x_t-1)；遵循這種狀態(tài)空間動態(tài)模型的典型因式分解，有

以及

我們還需要用于濾波的后驗概率p(x_t|y_1:t)，定義為

p(x_t|y_1:t)∝p(y_t|x_t)p(x_t|y_1:t-1) (7)

以及

p(x_t|y_1:t-1)＝∫p(x_t|x_t-1)p(x_t-1|y_1:t-1)dx_t-1 (8)

即通過遞歸方式，用來自先前時間步長的后者p(x_t-1|y_1:t-1)進(jìn)行評估；

粒子過濾器范例的實現(xiàn)涉及選擇-傳播-測量的三步概率推理過程，其用作粒子過濾器中的一個時間步長更新規(guī)則；特別地，在當(dāng)前時間步驟t的處理對應(yīng)于選擇標(biāo)準(zhǔn)測量三元組步驟的執(zhí)行：先前時間步驟的輸出包含一組Kr加權(quán)粒子

這里每個粒子i，對應(yīng)唯一確定姿態(tài)的切向量參數(shù)集合其中每個向量連接到運動鏈之后的關(guān)節(jié)；粒子與其重量相關(guān)；總體上，這組加權(quán)粒子被認(rèn)為是后驗分布p(x_t-1|y_1:t-1)的近似；選擇步驟通過從p(x_t-1|y_1:t-1)的累積分布函數(shù)(CDF)進(jìn)行均勻采樣操作，以產(chǎn)生具有相等權(quán)重的一組新粒子K_r。

進(jìn)一步地，所述的傳播步驟，使用公式(11)的基于流形的布朗運動采樣來實現(xiàn)p(x_t|x_t-1)，即基于與先前時間步長的離散布朗運動偏差獲得新狀態(tài)；該布朗運動采樣僅在基本聯(lián)合上執(zhí)行，而剩余關(guān)節(jié)通過直接執(zhí)行與姿態(tài)估計算法中的公式(3)相同的推理過程來獲得；樣本集構(gòu)成了對于p(x_t|y_1:t-1)的預(yù)測分布函數(shù)的近似。

進(jìn)一步地，所述的布朗運動，可認(rèn)為是高斯隨機(jī)變量在流形上的泛化，其中增量是獨立的并且是高斯分布的，布朗運動的發(fā)生器是拉普拉斯-貝爾拉米算子；令表示連續(xù)變量，δ>0是一個小步長；令表示從正態(tài)分布中采樣的隨機(jī)向量，對于k＝0,1,…，是協(xié)方差矩陣；具有起點g(0)∈SE(3)的左不變布朗運動可近似于

此外，這些采樣點可以通過測地學(xué)來內(nèi)插以形成連續(xù)的采樣路徑，即對于有

公式如上所示。

進(jìn)一步地，所述的測量步驟，為每個粒子提供如下的更新的權(quán)重令是通過應(yīng)用我們學(xué)習(xí)的度量獲得的第i個粒子的預(yù)測誤差值；因此，重量被評價為

在獲得所有K_r權(quán)重之后，每個權(quán)重被進(jìn)一步標(biāo)準(zhǔn)化為

更新的樣本集合現(xiàn)在共同近似在時間t的對應(yīng)的后驗分布p(x_t|y_1:t)；

加權(quán)粒子集合表示整個分布；最終姿態(tài)估計，(即在時間t的)，通過對這組粒子進(jìn)行加權(quán)平均來產(chǎn)生

公式如上所示。

其中，所述的動作識別，考慮學(xué)習(xí)預(yù)測器，提取將要描述的專用特征，并且輸出預(yù)測的動作類別。

附圖說明

圖1是本發(fā)明一種基于節(jié)體對象的動作識別方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于節(jié)體對象的動作識別方法的姿態(tài)估計過程。

圖3是本發(fā)明一種基于節(jié)體對象的動作識別方法的跟蹤過程。

具體實施方式

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實施例對本發(fā)明作進(jìn)一步詳細(xì)說明。

圖1是本發(fā)明一種基于節(jié)體對象的動作識別方法的系統(tǒng)流程圖。主要包括預(yù)處理和獲得初始姿態(tài)，姿態(tài)估計，跟蹤，動作識別。

其中，預(yù)處理和獲得初始姿態(tài)，假設(shè)在輸入深度圖像或補(bǔ)丁中存在一個且只有一個節(jié)體對象，從圖像中提取感興趣對象的點，通過設(shè)置這些姿勢作為基礎(chǔ)關(guān)節(jié)對象的主姿態(tài)來獲得初始姿態(tài)；對于每個初始姿態(tài)，通過從(-π,π)上的均勻分布擾動平面內(nèi)基礎(chǔ)關(guān)節(jié)的方向來生成對象的初始取向。

其中，動作識別，考慮學(xué)習(xí)預(yù)測器，提取將要描述的專用特征，并且輸出預(yù)測的動作類別。

圖2是一種基于節(jié)體對象的動作識別方法的姿態(tài)估計過程。姿態(tài)估計包括測試和訓(xùn)練。

測試過程，給定一組n_t個訓(xùn)練圖像，定義

為J個關(guān)節(jié)集合的第j個關(guān)節(jié)的訓(xùn)練圖像的平均偏差；偏差Δθj表示估計姿態(tài)和地面真實姿態(tài)之間的變化量；全局誤差函數(shù)可以被定義在評估來自平均偏差的和的一組示例中，例如以下形式

其中，‖·‖₂是歐氏空間中的標(biāo)準(zhǔn)向量范數(shù)；

假設(shè)每個J關(guān)節(jié)有C個循環(huán)或迭代，給定測試圖像和初始姿態(tài)估計，對于來自基本關(guān)節(jié)的長度J的運動鏈，每個關(guān)節(jié)j∈{1,…,J}，在當(dāng)前循環(huán)c∈{1,…,C}處，關(guān)節(jié)的當(dāng)前姿態(tài)將由lie群動作糾正，其中扭曲是本地回歸者的輸出換句話說，表示速記符號和可以通過以下的左組動作

來更新第j個關(guān)節(jié)空間坐標(biāo)，其中是最近的組元素，用于進(jìn)一步校正在循環(huán)c的第c個關(guān)節(jié)的空間位置；

在測試運行時，為每個輸入圖像生成多個初始姿態(tài)，通過逆運動學(xué)回歸，產(chǎn)生相應(yīng)的候選姿勢；這些輸出姿態(tài)將通過度量來篩選，挑選其中最佳姿態(tài)將作為最終估計姿態(tài)。

訓(xùn)練過程，在訓(xùn)練階段，以與測試階段相同的方式獲得輸入圖像的一組K個初始姿態(tài)；訓(xùn)練數(shù)據(jù)集的每個示例由一個實例組成：一對姿態(tài)包括估計姿態(tài)和地面真實姿態(tài)以及其標(biāo)記：估計與地面真實的偏差θ_j，如

對于第一關(guān)節(jié)j＝1(運動鏈中的基本關(guān)節(jié))和第一個循環(huán)c＝1，示例的標(biāo)簽將是從初始姿態(tài)的第一關(guān)節(jié)到地面真實的第一關(guān)節(jié)的變化量；然后在所有循環(huán)c通過執(zhí)行當(dāng)前部分運動學(xué)模型直到前一個循環(huán)c-1獲得其對應(yīng)的初始姿態(tài)。

圖3是本發(fā)明一種基于節(jié)體對象的動作識別方法的跟蹤過程。粒子濾波器可以解決跟蹤問題，考慮離散的時間步長t，并且使用x表示潛在隨機(jī)變量，用y觀察它；跟蹤對象的狀態(tài)(即，在時間t的估計姿態(tài))被表示為x_t，并且其函數(shù)關(guān)系為x_1:t＝(x₁,…,x_t)；類似地，當(dāng)前觀察被表示為y_t，其函數(shù)關(guān)系被表示為y_1:t＝(y₁,…,y_t)；基本的一階時間馬爾可夫鏈誘導(dǎo)條件獨立性，其定義為p(x_t|x_1:t-1)＝p(x_t|x_t-1)；遵循這種狀態(tài)空間動態(tài)模型的典型因式分解，有

以及

我們還需要用于濾波的后驗概率p(x_t|y_1:t)，定義為

p(x_t|y_1:t)∝p(y_t|x_t)p(x_t|y_1:t-1) (7)

以及

p(x_t|y_1:t-1)＝∫p(x_t|x_t-1)p(x_t-1|y_1:t-1)dx_t-1 (8)

即通過遞歸方式，用來自先前時間步長的后者p(x_t-1|y_1:t-1)進(jìn)行評估；

粒子過濾器范例的實現(xiàn)涉及選擇-傳播-測量的三步概率推理過程，其用作粒子過濾器中的一個時間步長更新規(guī)則；特別地，在當(dāng)前時間步驟t的處理對應(yīng)于選擇標(biāo)準(zhǔn)測量三元組步驟的執(zhí)行：先前時間步驟的輸出包含一組Kr加權(quán)粒子

這里每個粒子i，對應(yīng)唯一確定姿態(tài)的切向量參數(shù)集合其中每個向量連接到運動鏈之后的關(guān)節(jié)；粒子與其重量相關(guān)；總體上，這組加權(quán)粒子被認(rèn)為是后驗分布p(x_t-1|y_1:t-1)的近似；選擇步驟通過從p(x_t-1|y_1:t-1)的累積分布函數(shù)(CDF)進(jìn)行均勻采樣操作，以產(chǎn)生具有相等權(quán)重的一組新粒子K_r。

傳播步驟，使用公式(11)的基于流形的布朗運動采樣來實現(xiàn)p(x_t|x_t-1)，即基于與先前時間步長的離散布朗運動偏差獲得新狀態(tài)；該布朗運動采樣僅在基本聯(lián)合上執(zhí)行，而剩余關(guān)節(jié)通過直接執(zhí)行與姿態(tài)估計算法中的公式(3)相同的推理過程來獲得；樣本集構(gòu)成了對于p(x_t|y_1:t-1)的預(yù)測分布函數(shù)的近似。

進(jìn)一步地，布朗運動，可認(rèn)為是高斯隨機(jī)變量在流形上的泛化，其中增量是獨立的并且是高斯分布的，布朗運動的發(fā)生器是拉普拉斯-貝爾拉米算子；令表示連續(xù)變量，δ>0是一個小步長；令表示從正態(tài)分布中采樣的隨機(jī)向量，對于k＝0,1,…，是協(xié)方差矩陣；具有起點g(0)∈SE(3)的左不變布朗運動可近似于

此外，這些采樣點可以通過測地學(xué)來內(nèi)插以形成連續(xù)的采樣路徑，即對于有

公式如上所示。

測量步驟，為每個粒子提供如下的更新的權(quán)重令是通過應(yīng)用我們學(xué)習(xí)的度量獲得的第i個粒子的預(yù)測誤差值；因此，重量被評價為

在獲得所有K_r權(quán)重之后，每個權(quán)重被進(jìn)一步標(biāo)準(zhǔn)化為

更新的樣本集合現(xiàn)在共同近似在時間t的對應(yīng)的后驗分布p(x_t|y_1:t)；

加權(quán)粒子集合表示整個分布；最終姿態(tài)估計，(即在時間t的)，通過對這組粒子進(jìn)行加權(quán)平均來產(chǎn)生

公式如上所示。

對于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。