三維對象建模擬合與跟蹤的制作方法
【專利摘要】本發(fā)明描述一種在三維點云中的對象的骨架表示的無標(biāo)志的三維建模、擬合和跟蹤的方法和系統(tǒng)。具體地說,它涉及相對于時間跟蹤人類用戶骨架表示。該方法包括:輸入從景深圖中得到的三維點云(210);預(yù)定一組表征用戶骨架的對照點;確定起始骨架姿態(tài);通過采樣具有預(yù)定靜態(tài)尺寸(220)的3D點云獲得被投影到柵格上的用戶3D點云的正交表示;確定靠近用戶主體的中心軸的一組曲率中心點;確定軀干平面;以及精細(xì)化和/或定義身體的主要方向。該方法包括步驟:對用戶3D點云上的一組對照點和例如曲率中心點的關(guān)聯(lián)數(shù)據(jù)執(zhí)行迭代的局部和全局?jǐn)M合;使用拓樸和幾何約束(230)以隨時間跟蹤骨架姿態(tài)。使骨架姿態(tài)(240)穩(wěn)定;對不明確量求解(250);并提供適當(dāng)?shù)妮敵?260),這些是本發(fā)明優(yōu)選實施例的一些最后步驟。
【專利說明】三維對象建模擬合與跟蹤
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及三維對象建模,更具體地關(guān)系到對象的建模、擬合和跟蹤的方法,并尤其(盡管不是排它地)涉及確定、擬合和跟蹤由三維成像系統(tǒng)捕捉的一時間序列的景深圖中的用戶的骨架表示。
【背景技術(shù)】
[0002]三維(3D)成像系統(tǒng),例如立體視覺相機、飛行時間(TOF)相機以及結(jié)構(gòu)光相機,提供了一時間序列的景深圖,這些景深圖是為場景的每個成像點提供至少Χ、y、z坐標(biāo)的2D圖像。X和Y坐標(biāo)可指示像素在相機傳感器矩陣陣列中的水平和垂直位置,而Z坐標(biāo)可指示場景中的成像點與成像設(shè)備的距離。替代地,每個被成像的場景點可包括與其在3D空間中的位置對應(yīng)的X、Y、Z坐標(biāo),該坐標(biāo)可相對于具有原點(例如基準(zhǔn)點)的3D坐標(biāo)系予以表達(dá)??蓪⑾鄼C位置選為基準(zhǔn)點以規(guī)定相機坐標(biāo)系。然而,場景的成像點也可在其它3D坐標(biāo)系中表達(dá),在這些坐標(biāo)系中基準(zhǔn)點不被設(shè)置在相機位置,而是被確定為在所成像的真實世界場景中的一個點位置以使場景的每個成像點的X、Y、Z坐標(biāo)表征所謂世界坐標(biāo)系中的真實位置。包括某些約束條件的真實世界坐標(biāo)系和相機坐標(biāo)系之間的轉(zhuǎn)換能簡單地通過施加例如使用校正矩陣的數(shù)學(xué)轉(zhuǎn)換而實現(xiàn),從而執(zhí)行特定3D坐標(biāo)的幾何投影。
[0003]在使用諸如W0-A-2011/080282中描述的特定2D或3D分析方法的場景下,不管使用什么坐標(biāo)系,可處理所產(chǎn)生的景深圖以檢測、定位、跟蹤、分割和分析對象,所述對象包括帶關(guān)節(jié)的人體或動物體(即用戶)。 該方法的一個結(jié)果可尤其有助于將一組3D點定義為在虛擬世界中表示的一個點、在真實場景下的每個本體或?qū)ο蟆?br>
[0004]對隨時間表征用戶的對象或至少身體的這種3D點云進(jìn)行處理允許模型或?qū)ο蠡蛏眢w的其它類型表征被繪制、擬合和跟蹤。例如,人體或?qū)ο蟮墓羌鼙硎究杀焕L制、擬合和跟蹤以針對對象或用戶在真實世界中的移動監(jiān)視或控制虛擬環(huán)境中的對象或身體的相應(yīng)虛擬表示。這被命名為運動捕捉。
[0005]在現(xiàn)有技術(shù)圖像處理技術(shù)中,跟蹤場景中的骨架的常見方法需要使用與骨架被跟蹤的用戶關(guān)聯(lián)的標(biāo)志,跟蹤這些標(biāo)志而不是跟蹤用戶他/她本身。在一些情況下,這些標(biāo)志附著于套裝或用戶穿戴的另一物品。
[0006]更近來地,范圍成像設(shè)備輸出數(shù)據(jù)——即景深圖——開始被用于標(biāo)志較少的骨架跟蹤。使用這些成像設(shè)備,跟蹤依賴于二維或三維運動檢測和某些估計技術(shù),混以使用圖案匹配技術(shù)的身體部分識別。另外,姿態(tài)識別和估計也主要使用與模型的匹配技術(shù)。
[0007]在US2010/0034457中,披露了用于從景深圖對人形建模的計算機實現(xiàn)的方法。更具體地,該方法包括接收含人形目標(biāo)的身體的場景的景深圖。該景深圖包括像素矩陣,每個像素對應(yīng)于場景中的相應(yīng)位置并具有指示從基準(zhǔn)位置至相應(yīng)位置的距離的相應(yīng)像素值。該景深圖被分割以尋找身體輪廓,接下來對該身體輪廓進(jìn)行處理以標(biāo)識所考慮目標(biāo)的軀干以及一個或多個四肢。通過分析景深圖中至少一個標(biāo)識的四肢的配置,產(chǎn)生輸入信號以控制在計算機上運行的應(yīng)用程序。[0008]在US-A-2011/0052006中,描述了用于從景深圖中提取骨架的方法。該方法包括接收場景的一時間序列的景深圖,該場景包括具有頭部的人形。該景深圖包括具有相應(yīng)像素景深值的像素矩陣。數(shù)字處理器處理景深圖的至少一個以尋找頭部的位置并基于其位置估計人形的維度,該人形以校正的姿態(tài)或造型站立。處理器使用估計的維度、人體部分標(biāo)識和運動估計方法跟蹤序列上人形的運動。
[0009]在US-A-2010/0194872中,捕捉場景的景深信息的系統(tǒng)和方法被用來處理人類輸入。場景的景深圖像通過成像設(shè)備被捕捉。圖像捕捉依賴于相機相對于場景的取向。然后分析景深圖像以確定景深圖像是否包括人類對象和非人類對象兩者。例如,景深圖像可包括一個或多個對象,該一個或多個對象包括人類對象和一些非人類對象。根據(jù)一個實施例,每個對象是泛色(FLOOD-FILLED)的并與圖案比較以確定該對象是否為人類對象。如果景深圖像中的一個或多個對象包括人類對象,則掃描人類對象,并基于從中識別人體部分的人類對象的二元掩模的掃描來產(chǎn)生人類對象的骨架模型。
[0010]在US-A-2011/0249865中,披露了一種跟蹤三維(3D)環(huán)境中的目標(biāo)的無標(biāo)志運動的基于圖像處理的方法,其中包括含景深信息的輸入圖像。該方法利用二維(2D)較低和較高身體部分檢測單元,這些檢測單元使用運動檢測原理。這些檢測單元關(guān)聯(lián)于若干3D身體部分檢測單元,這些3D身體部分檢測單元使用較低和較高的身體部分模型在空間中定位3D身體部分中的每一個的各個候選項。模型渲染單元被用來根據(jù)一些預(yù)測的身體姿態(tài)來渲染完整的模型。
[0011]在US2011/0292036中,披露了一種使用具有應(yīng)用接口的景深傳感器的方法。該方法包括對含人形目標(biāo)的身體的場景的景深圖執(zhí)行數(shù)據(jù)處理。在與前述US2010/0034457中使用的相同的一個方法中,景深圖包括像素矩陣,每個像素對應(yīng)于場景中的一個相應(yīng)位置并具有指示從基準(zhǔn)平面至相應(yīng)位置的距離的相應(yīng)像素景深值。景深圖然后在數(shù)字處理器中被處理以提取人形目標(biāo)的身體的至少一部分的骨架,該骨架包括具有相應(yīng)坐標(biāo)的多個關(guān)節(jié)并包括至少兩個肩關(guān)節(jié),這些關(guān)節(jié)用于定義身體的冠狀平面,該冠狀平面相對于基準(zhǔn)平面轉(zhuǎn)過至少10°。應(yīng)用程序接口(API)指示至少關(guān)節(jié)的坐標(biāo)。
[0012]在US2011/0211754中,披露了通過組合的色彩圖像和景深處理跟蹤身體部分的方法。該方法依賴于圖像處理技術(shù)并包括接收含人類目標(biāo)的場景的景深圖像以及接收含人類目標(biāo)的場景的色彩圖像。在這些圖像的至少一個中識別目標(biāo)的身體的一部分。評價景深圖像和色彩圖像兩者的質(zhì)量,并響應(yīng)于該質(zhì)量選擇其中一個圖像以使其成為圖像中在身體部分的處理中占主導(dǎo)的圖像。所識別的部分位于主導(dǎo)圖像內(nèi),同時使用來自另一圖像的支持?jǐn)?shù)據(jù)。
[0013]盡管一些已有方法披露了根據(jù)一些特定實施例的骨架繪制,然而未被正確應(yīng)對的一種重要考量是何時使用表征場景的每個成像點的景深圖或相應(yīng)3D點云以提供一健全和有效的方法時,該方法具有獨立于本地景深圖分辨率的處理時間,以及何時原景深圖對健全和有效配合的骨架的完全處理是在低端硬件平臺上實時執(zhí)行的。
[0014]另外,沒有披露能夠同時應(yīng)付區(qū)段堵塞和適應(yīng)關(guān)節(jié)極限、速度約束和沖突約束的任何目標(biāo)擬合和跟蹤方法。此外,在對用戶或?qū)Ρ桓櫟哪繕?biāo)形態(tài)不可知的同時,沒有任何已有方法能夠從姿態(tài)錯誤中恢復(fù)。此外,沒有任何已有的方法使用對對象部分的中心軸的估計來改善其骨架表示的擬合和跟蹤,或?qū)M合過程的多標(biāo)準(zhǔn)迭代能量最小化。
【發(fā)明內(nèi)容】
[0015]因此本發(fā)明的一個目的是提供一種不需要讓標(biāo)志附連至該對象的情況下創(chuàng)建、擬合和跟蹤一對象的骨架表示的方法。
[0016]本發(fā)明的另一目的是使用與要被擬合和跟蹤的對象對應(yīng)的3D點云在正投影空間內(nèi)的投影來優(yōu)化其骨架表示的擬合和跟蹤。
[0017]本發(fā)明的另一目的是提供一種使用景深圖確定、擬合和跟蹤對象的骨架表示的方法,該方法使用對象部分的中心軸的估計作為種子信息來執(zhí)行擬合。
[0018]本發(fā)明的又一目的是提供一種使用景深圖確定、擬合和跟蹤對象的骨架表示的健全和有效的方法,該方法能夠在形態(tài)不可知的同時處理區(qū)段的堵塞、關(guān)節(jié)限制、速度約束、沖突約束以及錯誤恢復(fù)。
[0019]本發(fā)明的又一目的是迭代地在局部和全局層面使用多個標(biāo)準(zhǔn)能量最小化方法提供對象的骨架表示的有效擬合和跟蹤。
[0020]根據(jù)本發(fā)明的第一方面,這里提供一種擬合和跟蹤在由三維點云表征的三維場景中的對象的骨架表示的方法,該骨架表示包括多個對照點的排列,該方法包括下列步驟:
[0021]A)使用場景的三維點云以確定與場景中要被擬合和跟蹤的對象關(guān)聯(lián)的輸入信息;
[0022]B)將場景中要被擬合和跟蹤的對象確定的三維點云轉(zhuǎn)換成正交表示;
[0023]C)確定曲率中心點以估計要被擬合和跟蹤的對象的至少一部分的中心軸位置;
[0024]D)確定表征三維場景中要被擬合和跟蹤的對象的多個對照點的位置;以及
[0025]E)擬合和跟蹤三維場景中的多個對照點,以使對象的骨架表示相對于時間的位置精細(xì)化。
[0026]本文中使用的術(shù)語“對象”指無生命對象或有生命對象,它可以人類、動物或機器人。
[0027]本文中使用的術(shù)語“骨架表示”指表征一對象的一組對照點,并且該對象的空間排列定義要被擬合和跟蹤的對象的姿態(tài)。
[0028]本發(fā)明的方法具有的優(yōu)勢是,它利用三維場景中要被擬合和跟蹤的對象(例如人類使用者)的特定骨架表示而不具有附于對象的標(biāo)志,并且它能隨時間跟蹤場景中的骨架表不。
[0029]容易理解,術(shù)語“跟蹤”指對象相對于捕捉三維場景的三維成像設(shè)備(例如相機)的相對運動。這意味著,如果在一段時間至少一次地檢測到對象,如果成像設(shè)備是相對這些對象移動的或甚至沒有運動,也可跟蹤場景中的靜止對象。
[0030]本發(fā)明中考慮的骨架表示使用一組對照點。在由成像設(shè)備捕捉的每個幀中要被處理的對照點的數(shù)目可以根據(jù)要被擬合和跟蹤的對象以及根據(jù)執(zhí)行方法的系統(tǒng)的處理能力或根據(jù)要被表征的身體區(qū)段的準(zhǔn)確性被具體地預(yù)定義。例如,對于人類用戶,考慮將13個對照點作為人類骨架表示的適宜范例。如果認(rèn)為要被擬合和跟蹤的對象隨時間變化將一直是相同類型的,例如如果一直使用該系統(tǒng)來擬合和跟蹤人類的骨架表示,可由此預(yù)先確定對照點的數(shù)目。然而,識別方法也可用來自動地標(biāo)識場景中檢測到的對象,并隨后將包括對照點及其排列的數(shù)目的設(shè)置的最佳骨架表示相應(yīng)地設(shè)置成要被認(rèn)為對擬合和跟蹤感興趣的所標(biāo)識的一個表示。例如,可能需要系統(tǒng)隨時間地擬合和跟蹤單個場景內(nèi)人類和機器人的骨架表示。系統(tǒng)檢測、識別對應(yīng)于人類的對象并將對應(yīng)于人類的對象與對應(yīng)于機器人的對象區(qū)別開,并針對每個單個對象、校正骨架表示相應(yīng)地進(jìn)行設(shè)置。
[0031]優(yōu)選地,還要理解,步驟C)、D)和E)中的每一個包括使用正交表示。
[0032]在一個實施例中,三維點云可從三維場景的景深圖中衍生出。在另一實施例中,輸入信息可另外包括針對三維點云中的每個點而確定的標(biāo)準(zhǔn)圖。在又一實施例中,輸入信息可包括景深圖和標(biāo)準(zhǔn)圖的組合。在又一實施例中,輸入信息可包括與要被擬合和跟蹤的已知對象對應(yīng)的確定的骨架表示。
[0033]此外,步驟A)也可包括從三維點云確定至少一個感興趣對象。這可進(jìn)一步包括確定要被擬合和跟蹤的對象的主要方向。在另一實施例中,這可另外包括自動地識別要被擬合和跟蹤的對象并且如果在該場景中必須對若干種對象進(jìn)行擬合和跟蹤則由此確定對象的骨架表示。
[0034]在一優(yōu)選實施例中,步驟A)可包括:當(dāng)之前沒有任何對象已被擬合和跟蹤時,確定對照點的位置在空間上的最初排列,這些對照點定義了要被擬合和跟蹤的對象的骨架姿態(tài)表不O
[0035]優(yōu)選地,步驟B)包括將要被擬合和跟蹤的對象的三維點云投影到柵格中,該柵格包括多個柵格面元,每個柵格面元具有預(yù)定的尺寸,該投影在空間以預(yù)定的靜態(tài)尺寸來采樣對象的三維點云。
[0036]附加地,步驟B)包括對于與之關(guān)聯(lián)的柵格中的三維點云中的每個點關(guān)聯(lián)的信息累加和加權(quán)。在一個實施例中,方法還包括:在柵格面元空置的情形下,用來自相鄰的布居的柵格面元的內(nèi)插信息來填充它。
[0037]優(yōu)選地,步驟C)包括確定對象部分曲率中心點,其位置是通過使用由正交表示的柵格面元優(yōu)選提供的法向數(shù)據(jù)。
[0038]步驟C)還包括將每個曲率中心點關(guān)聯(lián)于密切球面以對要被擬合和跟蹤的對象的每個部分的中心軸的體積求近似。
[0039]優(yōu)選地,步驟C)包括將每個曲率中心點及其相關(guān)的密切球面與一標(biāo)簽關(guān)聯(lián),該標(biāo)簽指示與它們關(guān)聯(lián)的要被擬合和跟蹤的對象的每個部分的表面的凸度。表面的凸度可被歸類為下面中的一個:平表面、凹表面和凸表面。具體地說,平表面可對應(yīng)于人類用戶的軀干,而凸表面可對應(yīng)于人類用戶的一部分四肢。凹表面可以不被認(rèn)為一直有關(guān)的,尤其是當(dāng)考慮有效的人類骨架擬合和跟蹤時。
[0040]優(yōu)選地,步驟D)包括:如果對象之前被擬合和跟蹤過,則使用前一幀中設(shè)定的骨架表示來確定對照點的位置,或者如果沒有任何對象之前被擬合和跟蹤過,則使用步驟A)中確定的最初骨架表示。
[0041]較為有利地,步驟D)進(jìn)一步包括下列步驟:
[0042]Dl)在每對毗鄰的對照點之間擬合至少一個區(qū)段。
[0043]另外,步驟D)可進(jìn)一步包括下列步驟:
[0044]D2)識別對象中的平面。
[0045]此外,步驟D2)可進(jìn)一步包括下列步驟:
[0046]D3)使用凸度標(biāo)簽標(biāo)識要被擬合和跟蹤的對象的三維點云中的一個平面。[0047]此外,步驟D)可進(jìn)一步包括下列步驟:
[0048]D4)標(biāo)識對象的主要方向;
[0049]D5)標(biāo)識對象的至少一部分的位置;以及
[0050]D6)使對象的每個部分的位置以及相對于彼此的主要方向精細(xì)化。
[0051]在對象是有生命對象(例如人類)的一個優(yōu)選實施例中,步驟D2)可包括將平面標(biāo)識為軀干并且步驟D5)可包括標(biāo)識與頭部對應(yīng)的身體部分。
[0052]在一個實施例中,步驟E)包括利用所標(biāo)識的對照點的屬性來擬合要被跟蹤的骨架表示的位置。所利用的屬性可包括下面至少一個:相對于時間的位置、速度、加速度和概
率因素。
[0053]另外,步驟E)可包括利用局部和全局能量最小化策略的組合以相對于時間迭代地擬合對象的骨架表示的姿態(tài)。這些能量最小化策略可包括下面中的至少一個標(biāo)準(zhǔn):至物體的距離、至前一骨架的距離以及至輪廓的距離。優(yōu)選地,能量最小化策略使用至物體的距離、至前一骨架的距離以及至輪廓的距離中的全部。
[0054]步驟E)可進(jìn)一步包括根據(jù)相對于時間確定的概率因素評估多個可能的對照點位置,以優(yōu)化擬合和跟蹤的結(jié)果。根據(jù)一優(yōu)選實施例,步驟E)包括根據(jù)至少一個預(yù)定的標(biāo)準(zhǔn)迭代地執(zhí)行局部能量最小化和全局能量最小化兩者。
[0055]另外,能量最小化策略可使用梯度下降式算法來實現(xiàn)。
[0056]此外,一旦骨架被跟蹤,可優(yōu)選地在又一步驟中穩(wěn)定每個對照點位置,以避免骨架移動的不穩(wěn)定、不自然的表示。
[0057]在又一步驟中,可使用補全技術(shù)以產(chǎn)生對尚未被成功跟蹤的骨架對照點的適當(dāng)位置。例如,可使用這些技術(shù)來補償因不明確知道的對象姿態(tài)造成的跟蹤誤差,和/或在能量最小化之后用骨架的丟失部分來填充三維點云以補償對捕捉三維場景的成像設(shè)備不可見的骨架部分。
【專利附圖】
【附圖說明】
[0058]為了更好地理解本發(fā)明,現(xiàn)在將僅以示例的方式參考附圖,在附圖中:
[0059]圖1示出根據(jù)本發(fā)明用于跟蹤的人體的骨架表示;
[0060]圖2示出根據(jù)本發(fā)明的全局人體骨架跟蹤過程的流程圖;
[0061]圖3示出被施加至景深圖以運行諸如從水平和垂直梯度得到標(biāo)準(zhǔn)圖的圖像處理的3X3核;
[0062]圖4示出相對于圖3的柵格陣列的兩個相鄰柵格要素的分別沿Z軸和X軸的景深Λ ZX和Λ ZY梯度的景深圖的俯視圖;
[0063]圖5示出作為正交表示中的用戶點云投影的一部分的面元填充原理;
[0064]圖6示出用來表征用戶的身體部分的中心軸的體積的密切球面的二維圖,密切球面的中心對應(yīng)于從標(biāo)準(zhǔn)圖近似求得的曲率中心點;
[0065]圖7Α不出根據(jù)本發(fā)明的正交用戶柵格(ORUS);
[0066]圖7Β示出根據(jù)本發(fā)明的曲率中心點及其相關(guān)的密切球面的位置;
[0067]圖7C示出圖7Α的正交用戶柵格和圖7Β的曲率中心點及其相關(guān)的密切球面的組合;[0068]圖7D示出圖7A的正交用戶柵格,其中作為根據(jù)本發(fā)明的擬合過程的結(jié)果,密切球面輪廓被骨架取代;
[0069]圖7E示出與用戶對應(yīng)的3D點云,其中曲率中心點通過一組密切球面連同根據(jù)本發(fā)明的擬合骨架模型來表征;
[0070]圖8A示出使用質(zhì)量位置的用戶3D點云中心作為原點的以用戶為中心的徑向距離計算原理;
[0071]圖8B示出從如圖8A所示測得的徑向距離確定的曲線圖;以及
[0072]圖9示出根據(jù)本發(fā)明在骨架表示擬合和跟蹤過程中使用的迭代局部和全局能量最小化的原理。
【具體實施方式】
[0073]將針對特定實施例并參考特定附圖來描述本發(fā)明,但是本發(fā)明不限于此。所描述的附圖只是示意性的和非限制性的。在附圖中,出于說明的目的,一些元件的尺寸可放大且不按比例地繪制。
[0074]要理解,術(shù)語“垂直的”和“水平的”在本文中指附圖的具體取向,并且這些術(shù)語不對本文描述的具體實施例構(gòu)成限制。
[0075]還要理解,盡管參照人體的骨架對骨架擬合和跟蹤方法進(jìn)行了描述,但本發(fā)明不僅限于此并可用于任何其它類型的對象,不管是有生命的還是沒有生命的和/或有關(guān)節(jié)的還是沒有關(guān)節(jié)的。
[0076]圖1示出用于對虛擬環(huán)境中的人進(jìn)行擬合和跟蹤的骨架表示100。骨架表示100包括在一組對照點或關(guān)節(jié)之間的一組帶關(guān)節(jié)的剛體,這一組對照點或關(guān)節(jié)具有某些約束以及預(yù)定數(shù)量的自由度。更具體地,骨架表示100可包括十三個對照點110、112、114、116、118、120、122、124、126、128、130、132、134,這些對照點界定了如圖所示的小塊140以及九個區(qū)段 150、152、154、156、158、160、162、164、166。小塊 140 和區(qū)段 150、152、154、156、158、160、162、164、166可被視為骨架表示100中的十個固體部分或剛體。
[0077]這些固體部分和剛體可包括例如沖突約束,該沖突約束確保它們的表示不被允許根據(jù)不自然的姿態(tài)或造型而彼此相交。對照點110、112、114、116、118、120、124、126、128、130、132、134可僅包括三個自由度,這些自由度例如關(guān)聯(lián)于它們在虛擬環(huán)境中的3D定位的
自由度。
[0078]要注意,在要擬合和跟蹤人類骨架的一個特定實施例中,將人類骨架表示限制在僅13個對照點,其中每個對照點具有三個自由度(即它們各自的三維位置),使執(zhí)行比當(dāng)使用更多數(shù)目的具有三個或更多個自由度的對照點時更有效率的擬合和跟蹤處理變得可能,同時維持人類骨架的動作的逼真表示。對照點的數(shù)目越高和/或自由度的數(shù)目越高,則將這些對照點的最逼真姿態(tài)擬合到表征用戶的3D點云所需的復(fù)雜度越高,伴隨的是最佳擬合的姿態(tài)解的數(shù)學(xué)收斂的較慢速率。然而,盡管13個對照點的使用對應(yīng)于人類骨架表示的優(yōu)選實施例,但可根據(jù)要被跟蹤的帶關(guān)節(jié)對象來選擇其它適當(dāng)數(shù)量的對照點和/或自由度,例如根據(jù)關(guān)節(jié)數(shù)量和要被渲染的區(qū)段數(shù)目或根據(jù)平臺性能。例如,在另一實施例中,人類骨架表示可包括17個對照點,由此提供四肢末端的更好渲染,即與手或腳對應(yīng)的每個之前的對照點由兩個對照點替換,這兩個對照點分別地對應(yīng)于腳的腳踝和腳末端以及手的手月:?和手的末。
[0079]在使用13個對照點的人體骨架擬合和跟蹤的特定實施例中,每個對照點110、112、114、116、118、120、122、124、126、128、130、132、134、每個區(qū)段 150、152、154、156、158、160、162、164、166和小塊140被映射到在通過如前所述的適當(dāng)3D成像設(shè)備確定的3D點云
中與用戶對應(yīng)的點。
[0080]對照點110、112、114、116、118、120、122、124、126、128、130、132、134 有效地對應(yīng)于骨架部分或關(guān)節(jié):點Iio對應(yīng)于頭部;點112、114對應(yīng)于手或手腕;點116、118對應(yīng)于手肘;點120、122對應(yīng)于肩部;點124、126對應(yīng)于腳或腳踝;點128、130對應(yīng)于膝蓋,而點132、134對應(yīng)于臀部。
[0081]小塊140包括連接在一起以界定軀干的四個對照點120、122、132、134,也就是肩部 120,122 和盆骨 132U340
[0082]區(qū)段150、152、154、156、158、160、162、164、166對應(yīng)于多對對照點之間的組合,這些對照點彼此相連,除了區(qū)段150,該區(qū)段150由于將頭與軀干(小塊140)鏈接而接近頸部。區(qū)段152、154近似地 對應(yīng)于手或手腕和手肘之間的下段臂(點112和116以及點114、118);區(qū)段156、158近似地對應(yīng)于手肘和肩部之間的上段臂(點116和120以及點118和122);區(qū)段160、162近似對應(yīng)于腳或腳踝和膝蓋之間的下段腳(點124和128以及點126和130);并且區(qū)段164、166近似地對應(yīng)于膝蓋和臀部之間的上段腳(點128和132以及點130、134)。
[0083]現(xiàn)在參見圖2,其示出一流程圖,該流程圖示出提供在3D場景中隨時間自由移動的用戶的骨架表示的過程中的步驟。骨架擬合和跟蹤是使用由3D成像系統(tǒng)提供的3D點云來執(zhí)行的,并且計算骨架表示以使其匹配用戶隨時間的真實運動。第一步驟,即步驟210,是初始化步驟,其中提供輸入數(shù)據(jù)并使輸入數(shù)據(jù)精細(xì)化,例如將用戶成像在場景中的景深圖、用戶掩模以及對應(yīng)的用戶3D點云、可能的用戶頭部位置以及可能的用戶主要方向位置。具體地,步驟210包括根據(jù)要被擬合和跟蹤的對象確定骨架表示的對照點數(shù)目和這些對照點在空間內(nèi)的排列。如果要被擬合和跟蹤的對象是已知的并且從不隨時間改變類型,則該確定可以是人工預(yù)定的,例如當(dāng)跟蹤落在場景中的人并在表示他們的三維點云上擬合他們的骨架表示時。當(dāng)將感興趣對象檢測、識別和標(biāo)識為多個已知對象之中感興趣的一個時,該確定也可在運行時間自動地定義。例如,現(xiàn)有技術(shù)的識別方法,包括但不限于2D和3D匹配技術(shù),可被用來標(biāo)識場景中不同的有生命或無生命對象。從該標(biāo)識中,根據(jù)被認(rèn)為是感興趣的那些對象來確定用于擬合和跟蹤的各種骨架表示。
[0084]步驟210也包括所確定的骨架表示的基礎(chǔ)最初姿態(tài)的非系統(tǒng)確定,從而開始擬合和跟蹤過程。術(shù)語“非系統(tǒng)”意指骨架表示的這種原始或基礎(chǔ)的最初姿態(tài)確定僅當(dāng)檢測到對象時和沒有之前的骨架表示可用時才被執(zhí)行。例如,如果人類用戶被跟蹤,則對頭部的檢測和定位可有助于提供人類用戶的最初主要方向。主要方向可被認(rèn)為是經(jīng)過用戶的3D表示的頭部和質(zhì)心的方向。
[0085]人類用戶的主要方向的確定可使用將感興趣的對象分割成例如W0-A-2008/128568中描述的一組簇來達(dá)成,在W0-A-2008/128568中,使用3D成像系統(tǒng)捕捉表征多個點的3D圖像數(shù)據(jù),其每個點具有在三維空間內(nèi)的至少一組坐標(biāo)。這些點被分組以形成一組簇,并根據(jù)預(yù)定參數(shù),例如根據(jù)位置、尺寸和形狀從這組簇中選擇感興趣的對象。與感興趣對象有關(guān)的簇根據(jù)又一組參數(shù)(例如3D空間中的位置和/或輪廓)被分組成一組子簇。每個子簇具有在3D空間內(nèi)的質(zhì)心,并通過將一體積關(guān)聯(lián)于這些子簇的每個質(zhì)心,可獲得感興趣的對象的表示??梢詮倪@種表示和子簇的位置估計主要方向,并可估計要被跟蹤的對象(在這種情形下是人類用戶)的骨架表示的最初姿態(tài)。例如,該最初姿態(tài)可考慮身體的末端的位置,即連接于另外一個簇并對應(yīng)于頭、手和腳的簇,由于確定的主要方向,這些簇的位置是明確的。
[0086]初始化步驟210以及另一預(yù)設(shè)置步驟220是在實際擬合和跟蹤步驟230之前執(zhí)行的。具體地說,預(yù)設(shè)置步驟220旨在產(chǎn)生優(yōu)化過程中下面的擬合和跟蹤步驟所需的具體特征,即其旨在執(zhí)行對嵌入到景深圖中的3D點數(shù)據(jù)的正投影以提供具體和強制的輸入,從而實現(xiàn)在步驟230中對用戶的骨架表示隨時間的更好的擬合和跟蹤。
[0087]返回到流程圖,下一步驟230對應(yīng)于骨架表示的擬合和跟蹤步驟。隨后執(zhí)行下一步驟,即穩(wěn)定步驟240,以禁止骨架表示中的不穩(wěn)定和不連續(xù)的移動。然后執(zhí)行進(jìn)一步的補全步驟250以使對照點重新指向一組某些可能的不明確姿態(tài)的具體位置,這些可能的不明確姿態(tài)可能對跟蹤形成干擾,最后執(zhí)行使輸出精細(xì)化的步驟260以產(chǎn)生順應(yīng)一預(yù)定組的規(guī)范的經(jīng)處理的數(shù)據(jù)輸出,例如將與骨架表示有關(guān)的數(shù)據(jù)轉(zhuǎn)換成適于具體應(yīng)用的量度系統(tǒng)。如前面提到的,每個成像的場景點可包括與其在3D空間中的位置對應(yīng)的X、Y、Z坐標(biāo),該坐標(biāo)可相對于具有原點(即基準(zhǔn)點)的3D坐標(biāo)系予以表達(dá)??蓪⑾鄼C位置選為基準(zhǔn)點以規(guī)定相機坐標(biāo)系。轉(zhuǎn)換數(shù)據(jù)的一個例子可以在相機坐標(biāo)系和真實世界或笛卡爾坐標(biāo)系之間。
[0088]回到初始化步驟210,輸入數(shù)據(jù)可包括景深圖、用戶掩模和/或用戶3D點云、從景深圖提取的標(biāo)準(zhǔn)圖、用戶3D點云的主要方向、從另一獨立方法提取的頭部位置、一組感興趣點,例如由諸如W0-A-2008/128568中描述的成簇方法定義的質(zhì)心(在本文中也被稱為“關(guān)鍵點”)以及3D點云的質(zhì)心。
[0089]如前所述,景深圖除其它信息外尤其提供距離數(shù)據(jù)。該距離數(shù)據(jù)一般被嵌入到3D點云中的諸3D點的每個點的Z坐標(biāo),該3D點云表征由景深感測(或3D成像)相機設(shè)備捕捉的場景。距離數(shù)據(jù)對應(yīng)于場景中的每個成像點和場景中的另一基準(zhǔn)位置之間的距離測量,該另一基準(zhǔn)位置例如可以是相機設(shè)備位置或場景中預(yù)定義的另一基準(zhǔn)位置。然后確定用戶掩?;蛳鄳?yīng)的用戶3D點云以準(zhǔn)確地定義哪些像素屬于用戶或?qū)儆谄涔羌芤粩M合和跟蹤的帶關(guān)節(jié)對象。這種確定可使用諸如W0-A-2011/080282中詳細(xì)描述的一個專門方法來實現(xiàn)。在W0-A-2011/080282中,描述了一種跟蹤對象的方法,其中3D點云中的像素被分組到多個具有質(zhì)心的區(qū)域,并且這些區(qū)域被分組成互連區(qū)域的多個簇。從它們的互連的空間-時間屬性,對簇進(jìn)行評估以確定它們是否屬于同一對象以及該對象是否部分地在2D投影中被另一簇遮蔽。
[0090]初始化步驟210進(jìn)一步包括確定一標(biāo)準(zhǔn)圖或使該標(biāo)準(zhǔn)圖精細(xì)化,該標(biāo)準(zhǔn)圖能夠直接從輸入傳感器獲得(如果支持它的話)或若非如此可從景深圖計算出。在后一情形下,可通過相對于下面參照圖3和圖4描述的固定尺寸核利用景深圖中的水平梯度和垂直梯度從景深圖提取確定的標(biāo)準(zhǔn)圖。用于確定標(biāo)準(zhǔn)圖的其它方法是已知的,這些方法例如包括定義屬于局部擬合的平面或?qū)儆谝唤M像素或?qū)儆诰矸e掩模的每個中心像素的法線。
[0091]具體地說,對于圖3所示的一個實施例,包括九個柵格要素或像素310、320、330、340、350、360、370、380、390(即核)的3X3柵格陣列300可作為卷積掩模作用于景深圖以執(zhí)行沿X軸和Y軸中的相應(yīng)一個對Λ ZX和Λ ZY景深梯度的每個像素的確定。隨后從這些梯度對一些其它操作中的每個像素的局部表面取向和相應(yīng)法線求近似。
[0092]圖4示出3D場景的自頂向下視圖400,該3D場景具有帶表面430的對象、被成像到景深圖中的對象。將圖3的卷積掩模300作用至該景深圖允許確定每個像素的景深梯度。例如,如果僅考慮單個維度上的X軸,則對象點410通過像素350被成像在核中,并且景深圖中的成像點420通過像素360被成像在核中。然后可確定表征點410處的ΛΧ的點410、420之間的景深梯度ΛΖΧ。可對Y軸和核點320來執(zhí)行相同操作以確定點410處的ΛΖΥ。然后將點410處的ΛΖΧ、ΛΖΥ用作輸入以近似求得每個像素的局部平面取向,并從中提取法線。
[0093]初始化步驟210還包括確定或使3D點云的質(zhì)心的位置精細(xì)化??赏ㄟ^本領(lǐng)域內(nèi)技術(shù)人員顯而易見的許多種方式來確定質(zhì)心。
[0094]初始化步驟210還包括確定或使用戶的主要方向精細(xì)化,該主要方向可例如使用3D點云的主要組成分析(PCA)來獲得。
[0095]初始化步驟210還包括通過使用本領(lǐng)域內(nèi)技術(shù)人員已知的適當(dāng)方法來確定或使頭部的位置精細(xì)化。
[0096]除使輸入數(shù)據(jù)精細(xì)化和確定輸入數(shù)據(jù)外,初始化步驟210也旨在根據(jù)用戶的3D點云設(shè)定骨架表示的逼真最初位置,從而當(dāng)之前尚未執(zhí)行的骨架表示時在擬合和跟蹤步驟之后提供一正確的起點。初始化不需要使被跟蹤的用戶/對象以具體姿態(tài)站立,但需要用戶/對象部分之間不明確的相對位置,例如但非限定地,沒有雙臂交叉、沒有雙腳交叉、所有的四肢體可見(具有盡可能少的遮蔽)。用戶/對象的姿態(tài)越簡單,姿態(tài)初始化將更快地收斂至正確的骨架表示姿態(tài)。姿態(tài)初始化步驟包括下列子步驟:
[0097]I)預(yù)備輸入
[0098]2)確定最佳的頭部候選
[0099]3)對軀干進(jìn)行外推;以及
[0100]4)確定最初骨架姿態(tài)
[0101]關(guān)聯(lián)于預(yù)備輸入,可例如使用通過成簇算法產(chǎn)生的質(zhì)心采集與均勻地散布在用戶3D點云周圍的一組感興趣點(即關(guān)鍵點)關(guān)聯(lián)的統(tǒng)計以確定信息,例如位置、像素數(shù)、一階和二階運動數(shù)據(jù)、質(zhì)心的連通性、區(qū)域的鄰接性、相鄰質(zhì)心、相鄰質(zhì)心之間的距離等。也可確定每個關(guān)鍵點和其鄰居對的每種組合之間的角度;這些關(guān)鍵點和/或質(zhì)心被歸類到如下文描述的三個目錄中的一個,以用于姿態(tài)識別過程;以及例如通過與質(zhì)心定位組合地使用頭部定位技術(shù)、使用線擬合技術(shù)或使用PCA或類似的平面/形狀擬合算法或使用被歸類為屬于軀干的關(guān)鍵點來確定用戶身體的主要方向。
[0102]這三個目錄被定義為下面的其中一個:“末端”,即可能的頭部、手或腳;“四肢”,即可能的手肘或膝蓋、足或臂以及“軀干”?!澳┒恕蹦夸洶ň哂蟹浅<怃J的角的關(guān)鍵點和/或質(zhì)心和/或僅一個鄰居和/或沒有鄰居?!八闹蹦夸洶ǚ悄┒说年P(guān)鍵點以及位于兩個相鄰物之間的質(zhì)心?!败|干”目錄包括不被歸類為末端或四肢的關(guān)鍵點和/或質(zhì)心。
[0103]頭部候選是使用適當(dāng)?shù)念^部檢測算法來確定的。頭部候選的確定需要滿足下列條件:候選必須是“末端”;候選必須是對于真實世界坐標(biāo)的最高點之一(假設(shè)存在標(biāo)度);候選必須連接至被歸類到“軀干”目錄中的某些點;以及候選必須松弛地對準(zhǔn)于用戶的主要身體方向。
[0104]對于每個可能的頭部候選,確定經(jīng)外推的用戶軀干,其包括骨盆位置、左右肩和左右臀。軀干外推是通過假設(shè)用戶處于站立狀態(tài)、從最高頭部候選點得到用戶高度并根據(jù)用戶高度定義軀干比例和標(biāo)度來獲得的。這些最初比例僅由初始化步驟使用并稍后通過骨架擬合優(yōu)化環(huán)來修正,在骨架擬合優(yōu)化環(huán)中可逐步地使用戶的真實尺寸精細(xì)化。
[0105]使用之前歸類的每個關(guān)鍵點或質(zhì)心,骨架表示最初姿態(tài)被認(rèn)為是最好地擬合所歸類的關(guān)鍵點和/或質(zhì)心的對照點的具體排列。由此必須根據(jù)所識別的關(guān)鍵點和/或質(zhì)心的相應(yīng)位置來擬合和/或匹配骨架表示,即對照點。
[0106]確定最初姿態(tài)檢測的方法旨在使姿態(tài)評價的次數(shù)減至最小并同時完全利用之前計算的信息。在一個實施例中,姿態(tài)檢測可以是外推-外推策略或完全回溯外推。
[0107]為了確定一姿態(tài),每個關(guān)鍵點和/或質(zhì)心關(guān)聯(lián)于一身體部分:頭部、軀干、左臂和右臂以及左腳和右腳。這些關(guān)聯(lián)是使用在前述姿態(tài)估計步驟210中作出的最初關(guān)鍵點歸類而產(chǎn)生的(預(yù)備輸入),但不限于此。當(dāng)執(zhí)行關(guān)聯(lián)時,如果它滿足一些規(guī)范的人類關(guān)節(jié)和形態(tài)約束且僅在這種情況下,保留具體臂或腳的配置的評估。通過在處理過程中盡可能快地執(zhí)行這些評估步驟,這急劇地減少了探索的搜索空間。將被保持的完全姿態(tài)是提供關(guān)鍵點和/或質(zhì)心與各身體部分的最大滿足關(guān)聯(lián)的那一個。
[0108]例如,在一個實施例中,自頂向下的回溯外推可開始于任何所識別的頭部候選以及相應(yīng)的軀干關(guān)鍵點候選。然后通過使用各種策略或各種策略的組合探索其它的關(guān)鍵點來確定可能兼容的完整身體姿態(tài),主要是四肢。
[0109](I)在第一策略中,被歸類為“末端”的每個關(guān)鍵點可作為可能的腳和/或手被探索。包括關(guān)于關(guān)鍵點鏈接的區(qū)域鄰接圖(RAG)則可被用來搜索與手和腳對應(yīng)的潛在候選以及它們聯(lián)系至的最近軀干關(guān)鍵點候選之間的手肘和膝蓋。
[0110](ii)在另一策略中,屬于“四肢”目錄的關(guān)鍵點也可被探索作為可能的手肘或膝蓋,可附加地使用RAG以搜索或幫助從可能的手肘和膝蓋候選中確認(rèn)可能的手和腳候選。
[0111]在又一實施例中,可有條件地執(zhí)行不同的具體探索策略,以單獨方式或與其它策略結(jié)合。例如,當(dāng)用戶最可能直臂貼身地站立時,可使用一個具體策略搜索最佳關(guān)鍵點候選排列。
[0112]在又一實施例中,可通過使用相對于關(guān)鍵點位置施加至對照點排列的具體約束使用額外的約束來排除錯誤姿態(tài)的候選。例如,可考慮關(guān)節(jié)限制和其它松弛四肢長度約束以接受或拒絕姿態(tài)候選。
[0113]回到圖2,預(yù)設(shè)步驟(步驟220)包括在擬合和跟蹤步驟230之前在具有預(yù)定量的像素或面元的柵格中產(chǎn)生景深圖的正投影。這些面元中的每一個采集與3D點關(guān)聯(lián)的信息,這些3D點對應(yīng)于要被擬合和跟蹤的對象。該信息可以是深度測量、IR照明值、法線矢量和/或這些測量、值和/或矢量等的統(tǒng)計模式。
[0114]將信息采集到面元中是通過將與對象的3D點對應(yīng)的數(shù)據(jù)存儲在面元中而執(zhí)行的。每個面元可從對象的若干3D點采集信息,這是根據(jù)這些點在空間中與諸如成像傳感器或相機的成像設(shè)備的距離而進(jìn)行的。這是由于3D點云由分辨率為靜態(tài)的2D成像傳感器采樣,這導(dǎo)致在3D空間中在相比接近成像傳感器或相機的距離更遠(yuǎn)離成像傳感器或相機的距離下以不同精確度進(jìn)行采樣。例如,在離成像傳感器或相機5米處,獲得的點可對應(yīng)于真實世界中的7CM表面,而在離成像傳感器或相機I米處,獲得的點可對應(yīng)于真實世界中的
1.5CM表面。順便說下,確定將數(shù)據(jù)投影到例如5CM的面元的固定維度的采樣步驟也將根據(jù)與這些面元關(guān)聯(lián)的經(jīng)投影3D點與成像傳感器或相機的距離導(dǎo)致不同量的數(shù)據(jù)被采集在這些面元中。
[0115]這意味著,例如在與成像傳感器5米距離處的一個點在正投影中可被投影到柵格的一個面元內(nèi),并且在I米距離的至少三個點在正投影中可被投影到柵格的一個面元內(nèi)。這也意味著,這些點離成像傳感器越近,正交柵格更準(zhǔn)確,因為更多的點將進(jìn)入柵格的每個面元。
[0116]由于柵格內(nèi)的正投影,被處理的圖像是固定尺寸的,不管對象與相機的距離如何。這意味著可通過確定與對象離相機的距離無關(guān)的方便確定的柵格尺寸來獲得恒定的處理時間。在大多數(shù)情形下,對優(yōu)化處理性能存在權(quán)衡,也就是處理時間和處理質(zhì)量。
[0117]在本發(fā)明的優(yōu)選實施例中,正投影不是在整個景深圖上執(zhí)行的,而是優(yōu)選地在景深圖通過使用用戶掩模圖像、居中在用戶質(zhì)心上的再正投影柵格界定的有限區(qū)域上執(zhí)行的。這個過程的結(jié)果可被稱為正交用戶或0RUS。當(dāng)執(zhí)行再投影時,最初3D點云的若干像素可指向正交柵格中的相同的一個單元元素(即面元),而ORUS中的一些其它單元元素或面元可以是空的。
[0118]由ORUS提供的數(shù)據(jù)包括一圖像,對于該圖像,每個像素或單元或面元包含:與關(guān)聯(lián)于ORUS單元的最初3D點云點對應(yīng)的法線估計;最小Z坐標(biāo)值,即可投影入ORUS柵格的單個面元中的景深圖像素的最小景深值的統(tǒng)計模式;以及被投影在柵格像素中的3D點云點的X、Y和Z坐標(biāo)的平均值。
[0119]在圖5中,示出了 ORUS再投影方法原理的一個例子。相機500捕捉包括要被跟蹤的對象510的場景。在這種情形下,對象510是由如圖所示的曲線表示的。對象510由景深感測捕捉過程采樣,并且每個經(jīng)采樣的點511對應(yīng)于從對象510至相機500的傳感器矩陣陣列的投影512。要理解,存在若干經(jīng)采樣的點,其數(shù)目由景深感測系統(tǒng)的分辨率定義,但在圖5中為簡便起見僅標(biāo)示出一個。投影512是由所使用的成像設(shè)備或相機的類型確定的,不僅包括景深感測系統(tǒng)的分辨率還包括其視野。ORUS過程如投影513所示將對象510的曲線的每個采樣點投影到固定步長的投影柵格520中,該投影柵格520包括多個面元530、532、534、536、538、540、542、544、546、548、550。圖 5 中僅示出一行柵格 520,因為它對應(yīng)于垂直平面內(nèi)的剖面表示。柵格520的每個面元530、532、534、536、538、540、542、544、546、548,550從觀察的對象510累積采樣點,并包含指示曲線的景深值的至少一個值。每個面元530、532、534、536、538、540、542、544、546、548、550也可包參照圖3和圖4如前所述相應(yīng)法線的值。作為示例,面元530、532、534、536、538、540、544、546、548、550包含景深值,但面元542是空的并因此對應(yīng)于一孔或由對象510的再投影所產(chǎn)生的遮蔽。同樣地,面元548、544包括通過相機系統(tǒng)從來自場景的兩個經(jīng)采樣點提取的數(shù)據(jù)。
[0120]在一個優(yōu)選實施例中,可使用內(nèi)插技術(shù)使ORUS柵格的空面元重新布居,這些內(nèi)插技術(shù)使用一個統(tǒng)計模式,例如相鄰面元中的每個采樣點的數(shù)據(jù)的平均值。在這種情形下,可使用與面元540、544中的值對應(yīng)的內(nèi)插值來重新布居面元542。內(nèi)插的數(shù)據(jù)值包括至少深度值和標(biāo)準(zhǔn)值。在另一實施例中,可執(zhí)行景深圖的三角測量,并且這些三角可被投影到ORUS柵格中并通過任何三角光柵化方法來填充,例如使用掃描線渲染、可見表面確定的算法,它在3D計算機圖形中以逐行基礎(chǔ)工作而不是逐多邊形或逐像素基礎(chǔ)。
[0121]使用ORUS投影,與用戶對應(yīng)的3D點云可被處理以確定或使如圖8A和圖8B所示的用戶身體的主要方向精細(xì)化。在圖8A中,示出具有輪廓810的用戶體形800。用戶體形800具有質(zhì)心820。來自質(zhì)心820的射線830被延長至如輪廓810表示的用戶體形800的邊界。為簡明起見,在圖8A中僅標(biāo)示出一條射線830。每條射線與相鄰的射線相距一適宜角A,角A可以是任何適宜的角,例如2°、5°或10°,這依賴于從質(zhì)心820至輪廓810擬被確定的距離測量數(shù)。然后在如圖8B所示的圖中繪出距離測量。
[0122]在圖8B中,示出曲線840,該曲線與從基準(zhǔn)點(例如用戶820的質(zhì)心)至輪廓810相對于角度的射線長度的距離測量的曲線圖對應(yīng)。曲線840具有數(shù)個峰850、860、870、880,在這種情形下,這些峰850、860、870、880對應(yīng)于用戶伸展的臂、他/她的兩腳和他/她的頭部中的相應(yīng)一個。
[0123]參照圖8B,頭部被確定為峰880,即與例如由用戶身體的主要方向確定的0°位置的最近峰。雙腳被確定為峰860、870,這些峰860、870位于180°位置的任一側(cè),即基本相反地在頭部位置兩側(cè)。伸展的臂被確定為0°和90°之間的峰850。與頭部位置對應(yīng)的峰也可被確定為在與肩部對應(yīng)的兩個峰(未示出)之間。
[0124]在這種情形下,另一臂無法從射線830的長度中確定,因為它實際上由用戶體形800的軀干部分遮蔽。然而,要理解如果用戶站立在不同位置,例如雙臂伸展,則另一臂的位置可被確定為270° 3和0°之間的峰(未示出)。
[0125]在一優(yōu)選實施例中,執(zhí)行基于圖表模式的統(tǒng)計分析以對檢測到的全部模式確定或使用戶的3D點云中的頭部位置精細(xì)化。另外,標(biāo)識模式分布的一些明確配置有益于從關(guān)聯(lián)于頭部位置或整體姿態(tài)的跟蹤誤差中恢復(fù)。例如,要考慮可能的頭部模式相對于可能的肩部模式的對稱性。類似地,考慮四肢模式規(guī)范。在另一例子中,具有類似高度幅度并沿自頂向下方向小于30°相鄰的兩個獨立模式對應(yīng)于用戶的雙腳,而其它模式可能更好地對應(yīng)于頭部和雙臂,頭部模式優(yōu)選地是位于表征臂的兩個模式之間的那一個。在一特定實施例中,由另一過程提供的頭部位置可在與附連至通過模式統(tǒng)計分析定義的用戶3D點云的一個感興趣點或質(zhì)心對應(yīng)的更適當(dāng)位置被重置或精細(xì)化。
[0126]來自用戶頭部位置的這種確定或精細(xì)化,可將主要方向確定或精細(xì)化為以直線形式從頭部中心經(jīng)過質(zhì)心820并向下到達(dá)根據(jù)圖8A的雙腳之間的位置的那個方向。
[0127]回到圖2,在步驟220,在下一步驟中使用ORUS數(shù)據(jù)來確定曲率中心點。具體地說,通過使用法線矢量——即ORUS的法向數(shù)據(jù)——質(zhì)心曲率中心點位置估計,以確定法線在局部層面的交點,從而估計作為與對象諸部分的截面的中心點對應(yīng)的點的曲率中心點。在ORUS柵格中累積與曲率中心點的位置關(guān)聯(lián)的數(shù)據(jù),并隨后將具有這些曲率中心點的累積密度最大值的位置設(shè)定為定義對象部分的中心軸的最佳近似值的那些位置(即在擬合和跟蹤人類的情形下的四肢的骨頭)。具體地說,每個最大密度位置具有中心和半徑,它們一起定義密切球面的參數(shù)。另外,每個密切球面被歸類,例如被歸類為相對于從中提取的曲線C的點收斂的正、負(fù)或零曲率點。在一優(yōu)選實施例中,使用如此定義的密切球面及其參數(shù)來對用戶身體骨頭的中心軸、用戶身體骨頭體積、軀干平面求近似,并豐富和/或使身體的主要方向精細(xì)化。
[0128]在圖6中,以二維形式示出密切球面的一個例子。在點P與曲線C具有觸點的球610被定義為密切球面,其中心位于與點P處的曲線正交的平面內(nèi)。在這種情形下,對于由曲線C定義的表面,可畫出密切球面610以使其中心620位于由箭頭630指示的在點P正交于表面C的法線上,密切球面610的中心620對應(yīng)于投影在ORUS柵格中的曲線C的法線的交點處的密度的最大值。密切球面的中心620提供可能的身體骨頭的中心軸或中線的位置的指示。通過將附于身體的全部密切球面的中心連在一起,人們能獲得或使骨架標(biāo)示的配置的估計精細(xì)化。
[0129]如前所述,要注意密切球面及其關(guān)聯(lián)的曲率中心點根據(jù)與之關(guān)聯(lián)的表面的收斂可以是三種類型,即具有與在當(dāng)前實施例中丟棄的凹表面對應(yīng)的正半徑的類型、具有指示可能至少部分地是軀干的平坦表面的接近零的小半徑值的類型以及具有例如用戶四肢的與管狀結(jié)構(gòu)對應(yīng)的負(fù)半徑的類型(這是在當(dāng)前實施例中特別考慮的)。如果密切球面的半徑一開始是通過曲率中心點和P點之間的距離確定的,則應(yīng)理解它也可以是預(yù)定義的。
[0130]從步驟220確定的數(shù)據(jù)來看,可使用拓樸和幾何約束來執(zhí)行根據(jù)具體跟蹤技術(shù)的迭代的局部和全局?jǐn)M合(步驟230)。局部擬合旨在當(dāng)重定位骨架表示的每個對照點時從其當(dāng)前位置相對于在3D點云中確定的預(yù)期位置,例如將頭部對照點擬合到從3D點云或優(yōu)選地從ORUS柵格分析確定的頭部的位置上?!霸谇拔恢谩北硎竟羌鼙硎镜亩鄠€對照點的位置及其在其中一個之前幀的空間排列,如果對象的骨架表示是之前擬合和跟蹤的,則優(yōu)選地使用前一幀。如果對象的骨架表示不是之前擬合和跟蹤的,則在前位置是使用要被擬合和跟蹤的對象的骨架表示的最初姿態(tài)確定的。要理解,在被用作當(dāng)前骨架姿態(tài)表示的輸入的在前幀的骨架表示也可通過使用運動估計技術(shù)來豐富,例如使用一階、二階或三階動力矩參數(shù)(即在前幀下對照點的位置、速度和加速度)中的至少一個的那些運動估計技術(shù)。全局?jǐn)M合旨在全局地相對彼此和相對于確定的全局姿態(tài)重定位骨架表示的所有對照點。
[0131]拓樸約束的考慮包括將具有確定的相互關(guān)系的多組連接點考慮在內(nèi),例如表征一組4個連接點的用戶軀干的圖1所示小塊140。另外,上臂和下臂、上腳和下腳被認(rèn)為是多組兩個連接點。具體地說,當(dāng)相對于軀干地考慮用戶頭部位置時,與頸部對應(yīng)的一組連接點被認(rèn)為是將頭部聯(lián)系于兩肩之間的區(qū)段中心的三對照點的三角體系。
[0132]幾何約束的考慮包括:兩連接的對照點之間的最小和/或最大距離,例如上肢和下肢的長度以及頸部的長度是受約束的。也可考慮兩個非連接的對照點之間的約束,例如頭部和臀部之間的距離。具體地說,使用幾何約束以有效地限制可供拓樸約束使用的姿態(tài)估計解空間,并如下面更詳細(xì)描述地那樣簡化擬合,例如當(dāng)考慮頭部和肩部時可強加正交約束。
[0133]在一優(yōu)選實施例中,當(dāng)該過程采集可靠的測量值時,骨架表示的諸對照點的幾何約束之間的距離隨時間被加強。加強可例如通過高斯混合或通過時間平均法來執(zhí)行。當(dāng)骨架表示的姿態(tài)不包含含糊性時,例如當(dāng)場景中用戶以允許其全部末端的完美檢測和標(biāo)識的方式站立(其中沒有任何肢交叉或身體沒有任何部分遮蔽的情形)時,可檢測到可靠的測量。
[0134]除了拓樸和幾何約束,速度和沖突約束也被考慮以獲得必須實際永不重疊或融合在一起的骨架表示對照點、相關(guān)區(qū)段和/或小塊的正確位置的更好估計。具體地說,速度約束關(guān)聯(lián)于對照點的運動速度。它們必須被包括在允許速度的預(yù)定范圍內(nèi)??蓪τ诠羌鼙硎镜拿總€對照點定義允許速度。對于預(yù)定范圍的較低速度被認(rèn)為是沒有運動的指示。比那些允許速度更高的速度也被認(rèn)為是沒有運動的指示。超出預(yù)定義范圍的任何速度因此被認(rèn)為是沒有運動,其結(jié)果是被考慮的對照點將保持與其在先前幀的同一位置。
[0135]沖突約束涉及重疊、融合并在某種程度上涉及一個對照點、區(qū)段和/或小塊彼此之間的距離,由此它們之間的任何重疊是不允許的。通過術(shù)語“不允許的”,要理解擬合過程例如將區(qū)段位置凍結(jié)在最近認(rèn)可的位置,或在另一位置調(diào)節(jié)它,以使姿態(tài)相對于全部關(guān)聯(lián)的約束滿足能量最小化原則。由于全局跟蹤步驟實際上依賴于擬合精確度,它也依賴于隨時間的拓樸和幾何約束。在開始時或當(dāng)沒有執(zhí)行之前的跟蹤時提出至少一次的骨架表示的最初姿態(tài)估計,即步驟210,提供一步驟,該步驟有助于提高跟蹤過程的效率,因為它傳達(dá)了骨架表示的對照點的明確排列。
[0136]回到跟蹤步驟本身,它基于一種使能量最小化的方法,所述能量最小化可以是不同標(biāo)準(zhǔn)的組合,例如:
[0137].至物體的距離,即從骨架至密切球面中心的距離;
[0138].從當(dāng)前骨架姿態(tài)至前一骨架姿態(tài)的距離;
[0139].至如由成像設(shè)備觀察到的用戶表面的距離,即根據(jù)深
[0140]度骨架表示必須在用戶掩模后面并包括在用戶的輪廓之內(nèi)
[0141]的這一事實(這被命名成“至輪廓的距離”)。
[0142]能量最小化的優(yōu)化是在兩個層面執(zhí)行的,即局部層面和全局層面。該過程基本上旨在對骨架表示的每個對照點尋找局部層面位置,在那里骨架表示作為其一部分的全局能量相對于前面描述的約束和標(biāo)準(zhǔn)得以最小化,也就是說,擬合在涉及其它對照點中的一些的位置的某些可能改變的新位置處的對照點的位置,這些對照點關(guān)聯(lián)于約束。例如,如果與手肘對應(yīng)的對照點的位置由于這兩個對照點之間的距離受前臂區(qū)段尺寸約束,則與手對應(yīng)的對照點的位置變化可改變很少。例如使用被稱為梯度下降的算法或使用類似于Levenbeeg-Maequaedt的算法迭代地執(zhí)行優(yōu)化。一旦滿足迭代優(yōu)化中的收斂標(biāo)準(zhǔn),這意味著例如局部優(yōu)化接近于局部最小化,則附加的引導(dǎo)的配置修正則被使用以脫離確定的局部最小化,由此可嘗試尋找另一配置,在這種配置中能量低于之前在局部優(yōu)化步驟中確定的能量。引導(dǎo)的配置修正則旨在在局部優(yōu)化過程之上執(zhí)行全局優(yōu)化。可執(zhí)行局部和全局優(yōu)化的若干環(huán),不管它們是否連續(xù),由此對適當(dāng)骨架姿態(tài)解的收斂滿足下列組合中的至少一個:達(dá)到最小全局能量;達(dá)到最小局部能量;達(dá)到能量最小化過程中的預(yù)定次數(shù)的迭代;和/或達(dá)到針對收斂分配的預(yù)定時間。
[0143]引導(dǎo)的配置修正的一個優(yōu)選實施例使用一專門的工藝技術(shù),該技術(shù)檢測例如系統(tǒng)狀態(tài)的一些已知模式,即有限數(shù)目的已知用戶姿態(tài),并施加預(yù)定義的關(guān)聯(lián)響應(yīng),即預(yù)定義的骨架姿態(tài)或預(yù)定義的骨架對照點排列,其旨在獲得整體系統(tǒng)的能量更好最小化。
[0144]在一個更優(yōu)選實施例中,為了改善全局?jǐn)M合和跟蹤性能,每個專門的過程通過概率因數(shù)被加權(quán),例如下面的至少一個:它們的出現(xiàn)比率、它們的成功比率以及它們的最小化能量比率。最小化效率比對應(yīng)于之前執(zhí)行的最小化過程中它們相應(yīng)的速度表現(xiàn)。具有較高權(quán)重的專門過程將被優(yōu)先選擇,并在具有較低權(quán)重因數(shù)的任何其它專門過程之前。
[0145]在圖9中,骨架表示的全局能量即與骨架表示和相關(guān)本體(即區(qū)段和小塊)的對照點相對于確定的曲率中心、相對于其先前位置和相對于用戶掩模的距離對應(yīng)的全局能量是通過虛線910表示的。要理解,直線910的形狀僅為示例目的繪出,并且它可從一個姿態(tài)至另一姿態(tài)和從一個骨架表示至另一骨架表示顯著地變化。對于每個幀,當(dāng)進(jìn)入能量最小化過程(圖2的步驟230)時,骨架的全局能量如點921指示地那樣被確定。如箭頭920指示的那樣,局部迭代能量最小化過程是通過連續(xù)地解析骨架表示的相關(guān)可能的對照點配置(如點922、923所示)直到對由點923指示的骨架表示所發(fā)現(xiàn)的最小能量為止而實現(xiàn)的。要理解,迭代的次數(shù)可從一個用戶姿態(tài)至另一用戶姿態(tài)地變化,并可設(shè)置允許的迭代次數(shù)的閾值以避免無限循環(huán)或限制收斂時間過程。
[0146]一旦發(fā)現(xiàn)由點923指示的局部最小值,引導(dǎo)的配置修正過程如箭頭950指示的那樣離開點923確定的局部最小值,由此它可尋找骨架表示的另一對照點,其相對配置的能量低于曾經(jīng)局部地發(fā)現(xiàn)的能量(點923)。在圖9中,引導(dǎo)的配置修正過程(箭頭950)幫助執(zhí)行全局優(yōu)化,其結(jié)果是由點951表征的骨架表示的配置,這種配置具有比在點923更低的能量。盡管圖9中僅示出一個全局最小值搜索,然而要理解,該全局能量最小化可以與包括使用參數(shù)相對于允許的處理時間優(yōu)化收斂準(zhǔn)確性的局部優(yōu)化相同的方式迭代。
[0147]一旦找到最佳全局最小值,在點951,可如箭頭980所示地執(zhí)行另一局部最小值優(yōu)化過程,由此使用如點982、983表示的迭代尋找骨架表示的相關(guān)局部配置,直到找到最小局部能量為止。
[0148]在迭代地執(zhí)行局部和全局能量最小化優(yōu)化之后,可找到骨架表示的優(yōu)化配置,如點983所示那樣。這種骨架表示的配置然后被認(rèn)為是與優(yōu)化擬合對應(yīng)的配置,即最好地表征實際用戶姿態(tài)的骨架表示的最佳對照點排列。
[0149]下一步驟包括將強健的穩(wěn)定過濾施加至骨架表示的對照點位置,即步驟240。優(yōu)選地,考慮全部這些對照點,但要理解如果尚無運動存在則可能無需考慮這些點中的一些。W0-A-2011/080281中描述了執(zhí)行逐幀的穩(wěn)定化的方法,在該方法中,由相機或其它傳感器捕捉的物理變量的一系列測量值被處理以提供穩(wěn)定的圖像。該處理包括將第一和第二測量值之間的差與預(yù)定閾值比較,并如果該差低于該預(yù)定閾值,則用校正的第二測量值來取代第二測量值,在該校正的第二測量值中使用第一過濾值來減少該差。與第二和第三測量值類似,如果該差也低于預(yù)定閾值,則用經(jīng)校正的第三測量值來取代第三測量值,該經(jīng)校正的第三測量值使用比第一過濾值更低的第二過濾值而被減小。對于所考慮的全部骨架對照點重復(fù)這個步驟,由此使骨架移動表示變得平滑。
[0150]在下一步驟,即步驟250,當(dāng)沒有信息可供至少一些特定對照點使用時,即當(dāng)三維點云上存在遮蔽骨架表示的相應(yīng)對照點的遮蔽時,執(zhí)行補全過程以提供對骨架表示的這些對照點的位置的估計。一個具體的例子是當(dāng)用戶的手相對于景深感測系統(tǒng)(即相機的成像傳感器)的光軸與肩部對準(zhǔn)時,使得至少手肘被遮蔽并使得與用戶對應(yīng)的3D點云不具有與手肘對應(yīng)的點。在該具體例子中,補全可包括基于先前步驟230、240估計手肘位置,其中跟蹤和穩(wěn)定化結(jié)果通過例如正被考慮的骨架表示的對照點的最近已知位置被豐富。在本發(fā)明的一個優(yōu)選實施例中,丟失信息的補全使用下面至少一個:基于卡爾曼的位置外推、基于逆運動學(xué)的位置精細(xì)化、關(guān)節(jié)限制和重力模擬。
[0151]具體得說,當(dāng)使用基于卡爾曼的位置外推時,對其沒有信息可供優(yōu)化能量最小化過程使用的骨架表示的對照點具有根據(jù)其先前位置、速度和加速度設(shè)定的位置。當(dāng)單獨或結(jié)合基于卡爾曼的補全使用基于運動學(xué)的位置精細(xì)化時,骨架表示的對照點位置被重置,例如相對于它們至其相鄰對照點的距離。當(dāng)單獨或結(jié)合其它補全過程之一地使用關(guān)節(jié)限制位置精細(xì)化時,骨架表示的對照點位置例如針對它們中的每一個和它們每個相鄰物之間允許的角極限被精細(xì)化,這種精細(xì)化是根據(jù)所考慮的用戶(或?qū)ο?的生理屬性進(jìn)行的。當(dāng)單獨或結(jié)合其它之前的補全過程之一地使用基于重力模擬的位置精細(xì)化時,骨架表示中所考慮的對照點位置例如針對重力被精細(xì)化,即根據(jù)流逝的時間和被分配給所考慮的對照點的預(yù)定權(quán)重的估計將每個位置調(diào)整至比之前估計的位置更低。具體地說,每個對照點的權(quán)重預(yù)定可關(guān)系于用戶的尺寸和維度執(zhí)行,該尺寸和維度已隨時間地被精細(xì)化。
[0152]最終步驟,即步驟260,旨在提供包括下面其中之一的輸出:如前面結(jié)合圖1描述的與在相機視野內(nèi)的用戶骨架表示對應(yīng)的一組對照點;以及提供用戶的骨架表示的一組3D原始要素,例如區(qū)段、三角形、小塊。這組對照點或3D原始要素可包括3D坐標(biāo)數(shù)據(jù)、3D取向數(shù)據(jù)、運動關(guān)聯(lián)的數(shù)據(jù)(在不同高度上)、關(guān)節(jié)(如前面結(jié)合圖1描述的對照點)或3D原始要素的標(biāo)識以及關(guān)節(jié)(如前面描述的對照點)或3D原始要素的狀態(tài)。
[0153]盡管參照圖2描述的方法涉及人類用戶以及該用戶的骨架表示的形成,然而要理解該方法也可用來確定表征成像傳感器或相機的視野內(nèi)的任何其它對象的骨架表示并用來擬合和跟蹤該對象的骨架表示。
[0154]另外,如果相機或其它成像設(shè)備相對于被捕捉的場景移動,則可跟蹤固定對象。具體地說,可根據(jù)一坐標(biāo)系而提供任何3D信息,該坐標(biāo)系的基準(zhǔn)點或原點可以是:相機位置以及場景中的另一個點;靜止的基準(zhǔn)點,例如地板上的一個點;或移動的基準(zhǔn)點,例如跟蹤的對象上的一個點。
[0155]本發(fā)明的方法具有下列優(yōu)勢:
[0156](I)固定步長柵格被用于正投影。該柵格有效地使處理時間與圖像分辨率解耦,即處理時間基本與圖像分辨率無關(guān)。
[0157](2)當(dāng)對該方法進(jìn)行優(yōu)化時,可在質(zhì)量和性能之間作出衡量。這例如是通過選擇ORUS柵格的尺寸和在每個時間間隔運行的專門過程的數(shù)目來完成的。
[0158](3)區(qū)段中每塊骨頭的中心軸的近似值是使用一組曲率中心點確定的,這組曲率中心點是通過空間中來自點云的各個局部法線矢量相交的位置的估計來定義的。
[0159](4)骨架表示的擬合和跟蹤能量度量被定義并包括要被滿足的條件。
[0160](5)使用原點跟蹤策略,該策略包括與專門過程相關(guān)的局部和全局能量最小化,用于確定與骨架表示的姿態(tài)能量的局部最小值對應(yīng)的姿態(tài)估計,并因此允許最小全局姿態(tài)能量的確定。
[0161](6)在骨架表示的每個確定的對照點位置的頂上施加穩(wěn)定化,從而使其相對于時間的移動動作變得平滑。
[0162](7)在結(jié)束時使用補全以求解不明確知道的姿態(tài)。
[0163]圖7A示出一正交用戶柵格(ORUS)。盡管用戶看上去具有奇怪的外形,但這是由于用來捕捉與用戶對應(yīng)的3D點云的相機或成像設(shè)備的分辨率所致。
[0164]圖7B示出曲率中心點及其關(guān)聯(lián)的密切球面的位置。如圖所示,密切球面實際給出了看上去像骨架的東西,同時不是如同骨架的這種高級信息的代替。
[0165]圖7C示出圖7A的正交用戶柵格和圖7B的曲率中心點及其相關(guān)的密切球面的組合。如圖所示,密切球面輪廓以與骨架模型相同的方式擬合在ORUS柵格內(nèi)。
[0166]圖7D示出圖7A的正交用戶柵格,其中由于作為擬合過程的結(jié)果密切球面輪廓由骨架取代。如圖所示,對照點是可見的,但與如圖1所示的軀干對應(yīng)的小塊140未被示出。
[0167]圖7E示出與用戶對應(yīng)的3D點云,其中確定密切球面中心位置的曲率中心點被輪廓化以表征用戶的骨頭連同骨架模型的管狀結(jié)構(gòu)近似。這里,用戶姿態(tài)類似于圖7B所示的姿態(tài)。要注意,由于骨架根據(jù)本發(fā)明如前所述地在密切球面上擬合,因此密切球面輪廓和骨架模型非常相似。
【權(quán)利要求】
1.一種在由三維點云表示的三維場景中擬合和跟蹤一對象的骨架表示(100)的方法,所述骨架表示(100)包括多個對照點(110、112、114、116、118、120、122、124、126、128、130、132,134)的排列,所述方法包括下列步驟: A)使用場景的三維點云以確定與場景中要被擬合和跟蹤的對象關(guān)聯(lián)的輸入信息; B)將要被擬合和跟蹤的對象的確定的三維點云轉(zhuǎn)換成正交表示(220); C)確定曲率中心點(620)以估計要被擬合和跟蹤的對象的至少一部分的中心軸位置; D)確定多個對照點(110、112、114、116、118、120、122、124、126、128、130、132、134)的位置,這些對照點表征在三維場景中要被擬合和跟蹤的對象;以及 E)擬合和跟蹤在三維場景中的多個對照點(110、112、114、116、118、120、122、124、126、128、130、132、134)以相對于時間使所述對象的骨架表示(100)的位置精細(xì)化。
2.如權(quán)利要求1所述的方法,其特征在于,所述輸入信息包括針對三維輸入點云中的每個點所確定的法線。
3.如權(quán)利要求1或2所述的方法,其特征在于,步驟A)包括確定與至少一個感興趣的對象相對應(yīng)的三維點云。
4.如權(quán)利要求3所述的方法,其特征在于,步驟A)包括確定要被擬合和跟蹤的對象的主要方向。
5.如權(quán)利要求 3或4所述的方法,其特征在于,步驟A)包括:當(dāng)之前沒有任何對象已被擬合和跟蹤時,確定對照點的位置在空間內(nèi)的最初排列,這些對照點定義了要被擬合和跟蹤的對象的骨架姿態(tài)的表示。
6.如前面任何一項權(quán)利要求所述的方法,其特征在于,步驟B)包括將要被擬合和跟蹤的對象的三維點云投影到柵格(520)中,所述柵格包括多個柵格面元(530、532、534、536、538、540、542、544、546、548、550),每個柵格面元具有預(yù)定的尺寸,所述投影在空間中以預(yù)定的靜態(tài)尺寸來采樣所述對象的三維點云。
7.如權(quán)利要求6所述的方法,其特征在于,步驟B)包括對與其關(guān)聯(lián)的柵格面元(530、532、534、536、538、540、542、544、546、548、550)中的三維點云中的每個點相關(guān)的信息進(jìn)行累積和加權(quán)。
8.如權(quán)利要求7所述的方法,其特征在于,還包括步驟:在柵格面元(542)為空的情況下,用來自相鄰的布居的柵格面元(540、544)的內(nèi)插信息來填充所述柵格面元(542)。
9.如權(quán)利要求6-8中任何一項所述的方法,其特征在于,步驟C)包括從由柵格面元(530、532、534、536、538、540、542、544、546、548、550)提供的法向數(shù)據(jù)中確定曲率中心點(620)。
10.如權(quán)利要求9所述的方法,其特征在于,步驟C)還包括將每個曲率中心點(620)關(guān)聯(lián)于密切球面(610)以對要被擬合和跟蹤的對象的每個部分的中心軸的體積求近似。
11.如權(quán)利要求10所述的方法,其特征在于,步驟C)還包括將每個曲率中心點(620)及其相關(guān)的密切球面(610)與一標(biāo)簽關(guān)聯(lián),所述標(biāo)簽指示與它們關(guān)聯(lián)的要被擬合和跟蹤的對象的每個部分的表面的凸度。
12.如前面任何一項權(quán)利要求所述的方法,其特征在于,步驟D)包括下列步驟: Dl)擬合在對照點(110、112、114、116、118、120、122、124、126、128、130、132、134)的每一對之間的至少一個區(qū)段(152、154、156、158、160、162、164、166)。
13.如前面任何一項權(quán)利要求所述的方法,其特征在于,步驟D)包括下列步驟: D2)標(biāo)識所述對象的三維點云中的平面(140)。
14.如權(quán)利要求13所述的方法,其特征在于,步驟D2)還包括以下步驟: D3)使用凸度標(biāo)簽來標(biāo)識要被擬合和跟蹤的對象的三維點云中的平面(140)。
15.如權(quán)利要求13或14所述的方法,其特征在于,步驟D)還包括以下步驟: D4)標(biāo)識所述對象的主要方向; D5)標(biāo)識所述對象的至少一部分的位置;以及 D6)使所述對象的每個部分的位置以及相對于彼此的主要方向精細(xì)化。
16.如前面任何一項權(quán)利要求所述的方法,其特征在于,步驟(E)包括利用所標(biāo)識的對照點(110、112、114、116、118、120、122、124、126、128、130、132、134)的性質(zhì)來擬合要被跟蹤的對象的骨架表示的位置。
17.如權(quán)利要求16所述的方法,其特征在于,所利用的性質(zhì)包括下列至少一個:相對于時間的位置、速度、加速度和概率因數(shù)。
18.如前面任何一項權(quán)利要求所述的方法,其特征在于,步驟E)包括利用局部和全局能量最小化策略的組合來擬合所述對象的骨架表示相對于時間的姿態(tài)。
19.如權(quán)利要求18所述的方法,其特征在于,所述能量最小化策略包括下列至少一個:至物體的距離、至前一骨架的距離以及至輪廓的距離。
20.如權(quán)利要求19所述的方法,其特征在于,能量最小化策略使用至物體的距離、至前一骨架的距離以及至輪廓的距離中的全部。
21.如權(quán)利要求18-20中任何一項所述的方法,其特征在于,步驟E)進(jìn)一步包括根據(jù)相對于時間而確定的概率因數(shù)來評估對照點(110、112、114、116、118、120、122、124、126、128、130、132、134)的多個可能的位置以優(yōu)化擬合和跟蹤的結(jié)果。
22.如權(quán)利要求21所述的方法,其特征在于,步驟E)包括根據(jù)至少一個預(yù)定的標(biāo)準(zhǔn)迭代地執(zhí)行局部能量最小化和全局能量最小化這兩者。
23.如權(quán)利要求18-22中任何一項所述的方法,其特征在于,所述能量最小化策略是使用梯度下降式算法執(zhí)行的。
【文檔編號】G06T7/20GK103733227SQ201380001412
【公開日】2014年4月16日 申請日期:2013年5月16日 優(yōu)先權(quán)日:2012年6月14日
【發(fā)明者】L·蓋格思, A·瑞努依特, J·羅伊 申請人:索弗特凱耐提克軟件公司