本申請(qǐng)大體涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及計(jì)算機(jī)視覺，更具體涉及姿勢(shì)估計(jì)方法、裝置和計(jì)算機(jī)系統(tǒng)。

背景技術(shù)：

現(xiàn)有很多工作嘗試把圖模型應(yīng)用到的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)當(dāng)中去。但是這些嘗試都比較簡(jiǎn)單，例如，直接將圖模型作為后處理以提高結(jié)果的準(zhǔn)確性，或者聯(lián)合優(yōu)化預(yù)測(cè)層的圖模型和神經(jīng)網(wǎng)絡(luò)。由于神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)層的信息比較少，一般來說只有一個(gè)值，代表是否是身體的某個(gè)關(guān)鍵點(diǎn)，或者根據(jù)二維的旋轉(zhuǎn)角度進(jìn)行聚類，得到含有二維角度的信息。但是大量的視覺上的信息就被丟失掉了，比如這個(gè)人穿什么種類的衣服，某個(gè)關(guān)鍵點(diǎn)是否被一些裝飾品遮擋(例如背書包的時(shí)候，身體就基本被書包遮擋住了)。這些信息對(duì)于關(guān)鍵點(diǎn)的預(yù)測(cè)是很有幫助的，但是在預(yù)測(cè)層已經(jīng)被壓縮丟失掉了。

技術(shù)實(shí)現(xiàn)要素：

本申請(qǐng)?zhí)岢鲆环N姿勢(shì)估計(jì)技術(shù)方案。

本申請(qǐng)的一方面提供了一種姿勢(shì)估計(jì)方法，其包括：從輸入圖像中提取與對(duì)象的身體部位對(duì)應(yīng)的特征，以生成特征圖；基于所述對(duì)象的預(yù)定圖模型，更新所述特征圖；從更新的所述特征圖建立身體部位得分圖；通過所述身體部位得分圖，在所述輸入圖像中確定出所述對(duì)象的各個(gè)身體部位的位置；以及從確定出的所述位置估計(jì)出所述對(duì)象的姿勢(shì)。

根據(jù)本申請(qǐng)實(shí)施方式，基于所述對(duì)象的預(yù)定圖模型，更新所述特征圖的步驟包括：

利用和積算法沿著所述預(yù)定圖模型中的第一方向和第二方向更新所述特征圖，以預(yù)測(cè)出更新的所述特征圖中的至少一個(gè)點(diǎn)處的條件邊緣概率，以及

根據(jù)更新的所述特征圖建立身體部位得分圖的步驟包括：通過預(yù)測(cè)的所述條件邊緣概率建立所述身體部位得分圖。

根據(jù)本申請(qǐng)實(shí)施方式，所述預(yù)定圖模型為無環(huán)模型，所述無環(huán)模型中的節(jié)點(diǎn)與所述對(duì)象的身體部位相對(duì)應(yīng)并與和該身體部位相對(duì)應(yīng)的特征相對(duì)應(yīng)；以及

所述第一方向?yàn)閺娜~子節(jié)點(diǎn)到根節(jié)點(diǎn)的方向，以及所述第二方向?yàn)閺母?jié)點(diǎn)至葉子節(jié)點(diǎn)的方向。

根據(jù)本申請(qǐng)實(shí)施方式，利用和積算法沿著所述對(duì)象的預(yù)定圖模型中的第一方向和第二方向更新所述特征圖的步驟包括：

對(duì)于所述特征圖中的點(diǎn)，利用所述無環(huán)模型中與該點(diǎn)對(duì)應(yīng)的節(jié)點(diǎn)的相鄰節(jié)點(diǎn)所對(duì)應(yīng)的特征，更新所述特征圖。

根據(jù)本申請(qǐng)實(shí)施方式，基于所述對(duì)象的預(yù)定圖模型，更新所述特征圖的步驟包括：

基于所述對(duì)象的預(yù)定圖模型，通過卷積神經(jīng)網(wǎng)絡(luò)更新所述特征圖。

根據(jù)本申請(qǐng)實(shí)施方式，基于所述對(duì)象的預(yù)定圖模型，通過卷積神經(jīng)網(wǎng)絡(luò)更新所述特征圖的步驟包括：將所述對(duì)象的預(yù)定圖模型應(yīng)用至所述卷積神經(jīng)網(wǎng)絡(luò)的特征層，并通過所述卷積神經(jīng)網(wǎng)絡(luò)的卷積層更新所述特征圖。

本申請(qǐng)的另一方面提供了一種姿勢(shì)估計(jì)裝置，其包括：提取單元，用于從輸入圖像中提取與對(duì)象的身體部位對(duì)應(yīng)的特征，以生成特征圖；更新單元，用于基于所述對(duì)象的預(yù)定圖模型更新所述特征圖，并從更新的所述特征圖建立身體部位得分圖；以及估計(jì)單元，用于通過所述身體部位得分圖，在所述輸入圖像中確定出所述對(duì)象的各個(gè)身體部位的位置，并從確定出的所述位置估計(jì)出所述對(duì)象的姿勢(shì)。

根據(jù)本申請(qǐng)實(shí)施方式，所述更新單元還用于：

利用和積算法沿著所述預(yù)定圖模型中的第一方向和第二方向更新所述特征圖，以預(yù)測(cè)出更新的所述特征圖中的至少一個(gè)點(diǎn)處的條件邊緣概率；以及

通過預(yù)測(cè)的所述條件邊緣概率建立所述身體部位得分圖。

根據(jù)本申請(qǐng)實(shí)施方式，所述預(yù)定圖模型為無環(huán)模型，所述無環(huán)模型中的節(jié)點(diǎn)與所述對(duì)象的身體部位相對(duì)應(yīng)并與和該身體部位相對(duì)應(yīng)的特征相對(duì)應(yīng)；以及

所述第一方向?yàn)閺娜~子節(jié)點(diǎn)到根節(jié)點(diǎn)的方向，以及所述第二方向?yàn)閺母?jié)點(diǎn)至葉子節(jié)點(diǎn)的方向。

根據(jù)本申請(qǐng)實(shí)施方式，對(duì)于所述特征圖中的點(diǎn)，所述更新單元利用所述無環(huán)模型中與該點(diǎn)對(duì)應(yīng)的節(jié)點(diǎn)的相鄰節(jié)點(diǎn)所對(duì)應(yīng)的特征來更新所述特征圖。

根據(jù)本申請(qǐng)實(shí)施方式，所述更新單元基于所述對(duì)象的預(yù)定圖模型通過卷積神經(jīng)網(wǎng)絡(luò)來更新所述特征圖。

根據(jù)本申請(qǐng)實(shí)施方式，所述更新單元將所述對(duì)象的預(yù)定圖模型應(yīng)用至所述卷積神經(jīng)網(wǎng)絡(luò)的特征層，并通過所述卷積神經(jīng)網(wǎng)絡(luò)的卷積層更新所述特征圖。

本申請(qǐng)的另一方面還提供了一種計(jì)算機(jī)系統(tǒng)，其包括：

存儲(chǔ)器，存儲(chǔ)可執(zhí)行指令；

一個(gè)或多個(gè)處理器，與存儲(chǔ)器通信以執(zhí)行可執(zhí)行指令從而完成以下操作：

從輸入圖像中提取與對(duì)象的身體部位對(duì)應(yīng)的特征，以生成特征圖；

基于所述對(duì)象的預(yù)定圖模型，更新所述特征圖；

從更新的所述特征圖建立身體部位得分圖；

通過所述身體部位得分圖，在所述輸入圖像中確定出所述對(duì)象的各個(gè)身體部位的位置；以及

從確定出的所述位置估計(jì)出所述對(duì)象的姿勢(shì)。

本申請(qǐng)的又一方面提供了一種非暫時(shí)性計(jì)算機(jī)存儲(chǔ)介質(zhì)，該介質(zhì)存儲(chǔ)計(jì)算機(jī)可讀指令，當(dāng)這些指令被執(zhí)行時(shí)使處理器執(zhí)行以下操作：從輸入圖像中提取與對(duì)象的身體部位對(duì)應(yīng)的特征，以生成特征圖；基于所述對(duì)象的預(yù)定圖模型，更新所述特征圖；從更新的所述特征圖建立身體部位得分圖；通過所述身體部位得分圖，在所述輸入圖像中確定出所述對(duì)象的各個(gè)身體部位的位置；以及從確定出的所述位置估計(jì)出所述對(duì)象的姿勢(shì)。

在本申請(qǐng)的姿勢(shì)估計(jì)方法和裝置中，通過將圖模型與特征圖結(jié)合，從而賦予特征圖概率的含義，提高了姿勢(shì)估計(jì)的準(zhǔn)確率。

附圖說明

通過閱讀參照以下附圖所作的對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本申請(qǐng)的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯：

圖1示出了根據(jù)本申請(qǐng)實(shí)施方式的姿勢(shì)估計(jì)方法的流程圖；

圖2示意性地示出了通過卷積神經(jīng)網(wǎng)絡(luò)實(shí)施根據(jù)本申請(qǐng)實(shí)施方式的姿勢(shì)估計(jì)方法的示例性過程；

圖3(a)示出了根據(jù)本申請(qǐng)實(shí)施方式的利用樹形結(jié)構(gòu)標(biāo)記的人體；

圖3(b)示出了根據(jù)本申請(qǐng)實(shí)施方式的示例性樹形結(jié)構(gòu)的示意圖；

圖3(c)示出了根據(jù)本申請(qǐng)實(shí)施方式的示例性第一方向的示意圖；

圖3(d)示出了根據(jù)本申請(qǐng)實(shí)施方式的示例性第二方向的示意圖；

圖4示出了根據(jù)本申請(qǐng)實(shí)施方式的姿勢(shì)估計(jì)裝置的示意圖；以及

圖5示出了適于用來實(shí)現(xiàn)本申請(qǐng)實(shí)施方式的姿勢(shì)估計(jì)方法或裝置的計(jì)算機(jī)系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本申請(qǐng)作進(jìn)一步的詳細(xì)說明?？梢岳斫獾氖?，此處所描述的具體實(shí)施例僅僅用于解釋相關(guān)發(fā)明，而非對(duì)該發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與發(fā)明相關(guān)的部分。

需要說明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本申請(qǐng)。

如本申請(qǐng)中所使用的，術(shù)語“身體部位”旨在描述所選擇的身體的部位，例如可包括但不限于頭、頸、肩、膝蓋、腳踝等部位，如圖4(a)所示。但是，本申請(qǐng)并不旨在受限于本文中所公開的實(shí)施方式。例如，出于準(zhǔn)確性或效率考慮，可包括更多或更少的身體部位、甚至完全不同的其他身體部位。

術(shù)語“特征圖(feature map)”旨在代表從圖像中提取的特征。特征圖中的每個(gè)點(diǎn)對(duì)應(yīng)于一個(gè)圖像塊，該圖像塊的中心為該圖像中與特征圖中的該點(diǎn)對(duì)應(yīng)的點(diǎn)。

術(shù)語“卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network)”及其縮寫詞“CNN”旨在表示用于機(jī)器學(xué)習(xí)的各種類型的基于卷積的神經(jīng)網(wǎng)絡(luò)，在該網(wǎng)絡(luò)中，各神經(jīng)元可以以響應(yīng)于覆蓋視野的重疊區(qū)域的方式進(jìn)行布置。

本申請(qǐng)實(shí)施方式提供的姿勢(shì)估計(jì)方法可以在終端設(shè)備、服務(wù)器或其他類型的電子設(shè)備上運(yùn)行。

其中，終端設(shè)備包括但不限于個(gè)人電腦、智能手機(jī)、智能電視、平板電腦、個(gè)人數(shù)字助理、電子書閱讀器等等。

服務(wù)器可以是提供各種服務(wù)的服務(wù)器。服務(wù)器可以響應(yīng)于用戶的服務(wù)請(qǐng)求而提供服務(wù)。可以理解，一個(gè)服務(wù)器可以提供一種或多種服務(wù)，同一種服務(wù)也可以由多個(gè)服務(wù)器來提供。在本申請(qǐng)的實(shí)施例中，所涉及的服務(wù)器可以包括但不限于，網(wǎng)頁服務(wù)器、URL云查詢服務(wù)器、數(shù)據(jù)統(tǒng)計(jì)服務(wù)器、數(shù)據(jù)挖掘服務(wù)器、推薦服務(wù)器等。

參考圖1，其示出了根據(jù)本申請(qǐng)實(shí)施方式的姿勢(shì)估計(jì)方法的示例性流程圖。圖1所示的方法可以在終端設(shè)備或服務(wù)器或其他類型的電子設(shè)備中執(zhí)行。

在步驟100中，從輸入圖像中提取與對(duì)象的身體部位對(duì)應(yīng)的特征，以生成特征圖。該圖像可以是某一靜態(tài)圖像，也可以是視頻的某一幀圖像，本申請(qǐng)?jiān)谶@方面不進(jìn)行限制。本領(lǐng)域的技術(shù)人員應(yīng)理解，可使用多種方法提取特征圖。例如，可使用手動(dòng)生成的特征(如方向梯度直方圖和顏色直方圖)借助監(jiān)督分類器(如潛在支持向量機(jī)或提升的隨機(jī)森林算法)來檢測(cè)圖像中的身體部位。根據(jù)本申請(qǐng)的實(shí)施方式，可通過例如但并不限于卷積神經(jīng)網(wǎng)絡(luò)(CNN)來提取特征圖。在本申請(qǐng)中，特征圖中的每個(gè)點(diǎn)處的數(shù)值表示CNN的一個(gè)神經(jīng)元對(duì)輸入圖像的圖像塊的響應(yīng)。例如，如果神經(jīng)元對(duì)圓形具有更高的響應(yīng)，則在特征圖中出現(xiàn)圓形處的點(diǎn)可具有更大的數(shù)值。

在步驟200中，基于對(duì)象的預(yù)定圖模型，更新特征圖。

具體地，在本申請(qǐng)實(shí)施方式中，步驟200包括：

利用和積(sum-product)算法沿著對(duì)象的預(yù)定圖模型中的第一方向和第二方向更新特征圖，以預(yù)測(cè)出更新的特征圖中的至少一個(gè)點(diǎn)處的條件邊緣概率。

在本申請(qǐng)實(shí)施方式中，上述的至少一點(diǎn)可通過對(duì)所生成的特征圖進(jìn)行例如但不限于降噪處理、采樣處理、濾波處理等而選擇得到。

根據(jù)本申請(qǐng)的實(shí)施方式，預(yù)定圖模型為無環(huán)模型，該無環(huán)模型中的節(jié)點(diǎn)與所述對(duì)象的身體部位相對(duì)應(yīng)并因此還與和該身體部位相對(duì)應(yīng)的特征相對(duì)應(yīng)。具體地，在本申請(qǐng)中以一種具體的無環(huán)模型，如樹形模型，為例來解釋本申請(qǐng)，然而本領(lǐng)域技術(shù)人員可理解，本申請(qǐng)所提出的姿勢(shì)估計(jì)方法也可適用于環(huán)形模型，本申請(qǐng)?jiān)诖朔矫娌]有限制。

此外，上述的第一方向指的是預(yù)定圖模型中從葉子節(jié)點(diǎn)到根節(jié)點(diǎn)的方向，以及上述的第二方向指的是預(yù)定圖模型中從根節(jié)點(diǎn)至葉子節(jié)點(diǎn)的方向。本領(lǐng)域技術(shù)人員應(yīng)理解，本文中所使用的術(shù)語“第一”和“第二”僅用于將一個(gè)方向與另一個(gè)方向區(qū)分開，而非對(duì)其進(jìn)行限定，因此在不背離本公開的教導(dǎo)的情況下，上述的第一方向和第二方向還可被稱為第二方向和第一方向。

根據(jù)用于樹形結(jié)構(gòu)的和積算法，對(duì)于特征圖中的點(diǎn)，利用樹形模型中與該點(diǎn)對(duì)應(yīng)的節(jié)點(diǎn)的相鄰節(jié)點(diǎn)所對(duì)應(yīng)的特征來更新該點(diǎn)處的值，從而更新了該特征圖。

如參見圖3(c)，示出了從葉子節(jié)點(diǎn)至根節(jié)點(diǎn)的第一方向，以及圖3(d)，示出了從根節(jié)點(diǎn)至葉子節(jié)點(diǎn)的第二方向，其中圖3(c)～(d)中的h₁，h₂，h₃，和h₄代表對(duì)象的身體部位，以及f_a，f_b，和f_c代表因子節(jié)點(diǎn)。根據(jù)圖3(c)和圖3(d)所示的過程，在特征圖中，利用第一方向和第二方向上前一節(jié)點(diǎn)所對(duì)應(yīng)的特征來更新當(dāng)前節(jié)點(diǎn)所對(duì)應(yīng)的特征。

具體地，在本申請(qǐng)實(shí)施方式中，步驟200實(shí)施為消息傳播過程。圖3(c)中所示的沿著第一方向進(jìn)行消息傳播過程如下所示：

以及在圖3(d)中所示的沿著第二方向進(jìn)行消息傳播過程如下所示：

其中，公式(1)和(2)中的F代表消息傳播過程中的消息，Q代表從輸入圖像中提取出的特征，τ表示softmax操作并且輸出L維的概率分布，即進(jìn)行了歸一化處理，w₁，w₂，w₃，W_fa，W_fb，和W_fc為預(yù)定的系數(shù)。

在沿著第一方向和第二方向的消息傳播之后，可得到以下近似分布：

其中Q(h_i)為Q(h|I，Θ)省略了I和Θ的簡(jiǎn)單寫法，其中Θ為上文中所提到的預(yù)定的參數(shù)，I代表輸入圖像。

在得到了Q(h|I，Θ)的情況下，可通過下式近似得出特征h的條件概率值：

另外，在本申請(qǐng)實(shí)施方式中，通過卷積神經(jīng)網(wǎng)絡(luò)來更新特征圖，然而本申請(qǐng)并不限于此，本領(lǐng)域技術(shù)人員可知還可通過其他適當(dāng)?shù)募夹g(shù)來更新特征圖。

本領(lǐng)域技術(shù)人員應(yīng)理解，在步驟200中，對(duì)于無環(huán)模型可通過洪泛(flooding)或串行(serial)方式來更新特征圖，然而對(duì)于有環(huán)模型僅可通過洪泛(flooding)的方式來更新特征圖。

繼續(xù)參照?qǐng)D1，在步驟300中，根據(jù)更新的特征圖，建立身體部位得分圖。

具體地，在本申請(qǐng)實(shí)施方式中，步驟300包括：通過預(yù)測(cè)的條件邊緣概率建立身體部位得分圖。

在得到了特征圖中的至少一點(diǎn)處的條件邊緣概率p(h|I,Θ)的情況下，可通過下式來得到對(duì)象的身體部位的條件概率，從而建立多個(gè)身體部位得分圖：

其中以及

z代表對(duì)象的身體部位。

部位類型圖中每個(gè)點(diǎn)處的數(shù)值表示該點(diǎn)所對(duì)應(yīng)的圖像塊對(duì)應(yīng)于該身體部位的可能性。

在步驟400中，通過上述身體部位得分圖，在輸入圖像中確定出對(duì)象的各個(gè)身體部位的位置。

例如，對(duì)于對(duì)象的某個(gè)身體部位，可將與該身體部位對(duì)應(yīng)的身體部位得分圖中分值最高的點(diǎn)在輸入圖像中所對(duì)應(yīng)的位置確定為該身體部位所在的位置。然而，本領(lǐng)域技術(shù)人員可理解，還可通過其他方式確定出身體部位的位置，例如但不限于，還可將與該身體部位對(duì)應(yīng)的身體部位得分圖中分值超過預(yù)定閾值的點(diǎn)在輸入圖像中所對(duì)應(yīng)的位置確定為該身體部位所在的位置，或?qū)Σ课活愋偷梅謭D進(jìn)行加權(quán)處理后選擇數(shù)值最大的位置作為該身體部位的位置，或在部位類型得分圖中選擇具有得分極大值的位置作為該身體部位的位置等。

在步驟500中，從確定出的位置估計(jì)出對(duì)象的姿勢(shì)。

在本申請(qǐng)實(shí)施方式中，通過在卷積神經(jīng)網(wǎng)絡(luò)的中間層(即特征提取層，也可稱為特征層)中引入了圖模型，并通過信息傳遞和歸一化(如通過CNN的softmax函數(shù)進(jìn)行歸一化)將特征層變成有概率含義的特征層，并且通過條件隨機(jī)場(chǎng)(CRF，Conditional Random Fields)，具體如通過上文中的公式(4)和公式(5)來處理節(jié)點(diǎn)之間的依賴關(guān)系，從而提高了對(duì)象姿勢(shì)估計(jì)的準(zhǔn)確率。

此外，在本申請(qǐng)實(shí)施方式中，對(duì)象的預(yù)定圖模型被應(yīng)用至卷積神經(jīng)網(wǎng)絡(luò)的特征層，并通過卷積神經(jīng)網(wǎng)絡(luò)的卷積層更新了特征圖。

參照?qǐng)D2，其中示出了通過卷積神經(jīng)網(wǎng)絡(luò)實(shí)施根據(jù)本申請(qǐng)實(shí)施方式的姿勢(shì)估計(jì)方法的示例性過程。圖2與圖1所示的流程圖相對(duì)應(yīng)，因此各個(gè)過程的具體描述可參見圖1中各步驟的描述，本文中不再重復(fù)。在圖2的過程(1)中，通過例如VGG模型從輸入圖片I中提取特征f，整個(gè)模型都是通過卷積神經(jīng)網(wǎng)絡(luò)框架caffe來實(shí)現(xiàn)；

在圖2的過程(2.1)中，特征f被分成若干組，通過來表示，每組對(duì)應(yīng)人身體的一個(gè)關(guān)鍵點(diǎn)；

過程(2.1)中得到的是一組沒有概率含義的特征，然而在圖2的過程(2.2)中，通過歸一化使得每組特征都有概率含義；

在圖2的過程(3)中，通過消息傳播過程去建立起來隱藏層(hidden layer)和預(yù)測(cè)層之間的關(guān)系以及兩組特征值之間的關(guān)系

然后，預(yù)測(cè)層利用得到的輸出預(yù)測(cè)結(jié)果。圖2中z表示身體部位的位置。

進(jìn)一步參考圖4，作為對(duì)上述各圖所示方法的實(shí)現(xiàn)，本申請(qǐng)?zhí)峁┝艘环N姿勢(shì)估計(jì)裝置，該裝置與圖1所示的方法相對(duì)應(yīng)，該裝置具體可以應(yīng)用于各種電子設(shè)備中。

如圖4所示，根據(jù)本實(shí)施方式的裝置400包括：提取單元401，更新單元402，以及估計(jì)單元403。

提取單元401從輸入圖像中提取與對(duì)象的身體部位對(duì)應(yīng)的特征，以生成特征圖。

更新單元402基于對(duì)象的預(yù)定圖模型更新特征圖，并從更新的特征圖建立身體部位得分圖。

估計(jì)單元403通過身體部位得分圖，在輸入圖像中確定出對(duì)象的各個(gè)身體部位的位置，并從確定出的上述位置估計(jì)出該對(duì)象的姿勢(shì)。

具體地，根據(jù)本申請(qǐng)實(shí)施方式，更新單元402，利用和積算法沿著上述對(duì)象的預(yù)定圖模型中的第一方向和第二方向更新上述特征圖，以預(yù)測(cè)更新的特征圖中的至少一個(gè)點(diǎn)處的條件邊緣概率，并且通過預(yù)測(cè)的條件邊緣概率建立身體部位得分圖。

根據(jù)本申請(qǐng)的實(shí)施方式，預(yù)定圖模型為無環(huán)模型，該無環(huán)模型中的節(jié)點(diǎn)與所述對(duì)象的身體部位相對(duì)應(yīng)并因此還與和該身體部位相對(duì)應(yīng)的特征相對(duì)應(yīng)。具體地，在本申請(qǐng)中以一種具體的無環(huán)模型，即樹形模型，為例來解釋本發(fā)明，然而本領(lǐng)域技術(shù)人員可理解，本申請(qǐng)所提出的姿勢(shì)估計(jì)方法也可適用于環(huán)形模型，本申請(qǐng)?jiān)诖朔矫娌]有限制。

此外，上述的第一方向指的是預(yù)定圖模型中從葉子節(jié)點(diǎn)到根節(jié)點(diǎn)的方向，以及上述的第二方向指的是預(yù)定圖模型中從根節(jié)點(diǎn)至葉子節(jié)點(diǎn)的方向。

根據(jù)用于樹形結(jié)構(gòu)的和積算法，對(duì)于特征圖中的點(diǎn)，利用樹形模型中與該點(diǎn)對(duì)應(yīng)的節(jié)點(diǎn)的相鄰節(jié)點(diǎn)所對(duì)應(yīng)的特征來更新該點(diǎn)處的值，從而更新了該特征圖。

根據(jù)本申請(qǐng)實(shí)施方式，對(duì)于上述特征圖中的點(diǎn)，更新單元402利用無環(huán)模型中與該點(diǎn)對(duì)應(yīng)的節(jié)點(diǎn)的相鄰節(jié)點(diǎn)所對(duì)應(yīng)的特征來更新上述的特征圖。

另外，在本申請(qǐng)實(shí)施方式中，更新單元402利用卷積神經(jīng)網(wǎng)絡(luò)來更新特征圖，然而本申請(qǐng)并不限于此，本領(lǐng)域技術(shù)人員可知還可通過其他適當(dāng)?shù)募夹g(shù)來更新特征圖。

根據(jù)本申請(qǐng)實(shí)施方式，更新單元402還可將對(duì)象的預(yù)定圖模型應(yīng)用至卷積神經(jīng)網(wǎng)絡(luò)的特征層，并通過卷積神經(jīng)網(wǎng)絡(luò)的卷積層更新特征圖。

下面參考圖5，其示出了適于用來實(shí)現(xiàn)本申請(qǐng)實(shí)施例的姿勢(shì)估計(jì)方法或裝置的計(jì)算機(jī)系統(tǒng)5000的結(jié)構(gòu)示意圖。

如圖5所示，計(jì)算機(jī)系統(tǒng)5000包括中央處理單元(CPU)501，其可以根據(jù)存儲(chǔ)在只讀存儲(chǔ)器(ROM)502中的

程序或者從存儲(chǔ)部分508加載到隨機(jī)訪問存儲(chǔ)器(RAM)503中的程序而執(zhí)行各種適當(dāng)?shù)膭?dòng)作和處理。在RAM 503中，還存儲(chǔ)有系統(tǒng)500操作所需的各種程序和數(shù)據(jù)。CPU 501、ROM 502以及RAM 503通過總線504彼此相連。輸入/輸出(I/O)接口505也連接至總線504。

以下部件連接至I/O接口505：包括鍵盤、鼠標(biāo)等的輸入部分506；包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚(yáng)聲器等的輸出部分507；包括硬盤等的存儲(chǔ)部分508；以及包括諸如LAN卡、調(diào)制解調(diào)器等的網(wǎng)絡(luò)接口卡的通信部分509。通信部分509經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動(dòng)器510也根據(jù)需要連接至I/O接口505。可拆卸介質(zhì)511，諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲(chǔ)器等等，根據(jù)需要安裝在驅(qū)動(dòng)器510上，以便于從其上讀出的計(jì)算機(jī)程序根據(jù)需要被安裝入存儲(chǔ)部分508。

特別地，根據(jù)本公開的實(shí)施例，上文參考流程圖描述的過程可以被實(shí)現(xiàn)為計(jì)算機(jī)軟件程序。例如，本公開的實(shí)施例包括一種計(jì)算機(jī)程序產(chǎn)品，其包括有形地包含在機(jī)器可讀介質(zhì)上的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包含用于執(zhí)行流程圖所示的方法的程序代碼。在這樣的實(shí)施例中，該計(jì)算機(jī)程序可以通過通信部分509從網(wǎng)絡(luò)上被下載和安裝，和/或從可拆卸介質(zhì)511被安裝。在該計(jì)算機(jī)程序被中央處理單元(CPU)501或圖像處理單元(GPU)執(zhí)行時(shí)，執(zhí)行本申請(qǐng)的方法中限定的上述功能。

附圖中的流程圖和框圖，圖示了按照本申請(qǐng)各種實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段、或代碼的一部分，所述模塊、程序段、或代碼的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實(shí)現(xiàn)中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個(gè)接連地表示的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時(shí)也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或操作的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn)，或者可以用專用硬件與計(jì)算機(jī)指令的組合來實(shí)現(xiàn)。

描述于本申請(qǐng)實(shí)施例中所涉及到的單元可以通過軟件的方式實(shí)現(xiàn)，也可以通過硬件的方式來實(shí)現(xiàn)。所描述的單元也可以設(shè)置在處理器中，例如，可以描述為：一種處理器包括提取單元、更新單元、和估計(jì)單元。其中，這些單元的名稱在某種情況下并不構(gòu)成對(duì)該單元本身的限定，例如，提取單元還可以被描述為“從輸入圖像中提取與對(duì)象的身體部位對(duì)應(yīng)的特征，以生成特征圖的單元”。

作為另一方面，本申請(qǐng)還提供了一種非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)，該非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)可以是上述實(shí)施例中所述裝置中所包含的非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)；也可以是單獨(dú)存在，未裝配入終端中的非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)。上述非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有一個(gè)或者多個(gè)程序，當(dāng)所述一個(gè)或者多個(gè)程序被一個(gè)設(shè)備執(zhí)行時(shí)，使得所述設(shè)備：從輸入圖像中提取與對(duì)象的身體部位對(duì)應(yīng)的特征，以生成特征圖；基于所述對(duì)象的預(yù)定圖模型，更新所述特征圖；根據(jù)更新的特征圖，建立身體部位得分圖；通過所述身體部位得分圖，在所述輸入圖像中確定出所述對(duì)象的各個(gè)身體部位的位置；以及從確定出的位置估計(jì)出所述對(duì)象的姿勢(shì)。

以上描述僅為本申請(qǐng)的較佳實(shí)施例以及對(duì)所運(yùn)用技術(shù)原理的說明。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本申請(qǐng)中所涉及的發(fā)明范圍，并不限于上述技術(shù)特征的特定組合而成的技術(shù)方案，同時(shí)也應(yīng)涵蓋在不脫離所述發(fā)明構(gòu)思的情況下，由上述技術(shù)特征或其等同特征進(jìn)行任意組合而形成的其它技術(shù)方案。例如上述特征與本申請(qǐng)中公開的(但不限于)具有類似功能的技術(shù)特征進(jìn)行互相替換而形成的技術(shù)方案。