人體姿勢(shì)識(shí)別的制作方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及人體姿勢(shì)識(shí)別方法及用于人體姿勢(shì)識(shí)別的識(shí)別裝置。
【背景技術(shù)】
[0002]已知借助深度照相機(jī)裝置來采集人體姿勢(shì)。因此，例如以下系統(tǒng)已投放市場(chǎng)，其能夠確定各個(gè)人體部分或者說各個(gè)身體肢節(jié)的彼此相對(duì)位置?？梢詮睦缧”巯鄬?duì)于上臂的相對(duì)位置推導(dǎo)出姿勢(shì)和進(jìn)而姿勢(shì)控制。已知方法例如被用于執(zhí)行電腦游戲或電視機(jī)的控制。在此通常通過深度照相機(jī)產(chǎn)生點(diǎn)云，可從點(diǎn)云中通過計(jì)算算法算出各自身體部分的當(dāng)前位置和進(jìn)而身體部分的相互關(guān)聯(lián)。對(duì)所有時(shí)刻來說，在此須根據(jù)分析評(píng)估方法學(xué)來處理整個(gè)點(diǎn)云。
[0003]已知方法的缺點(diǎn)是在該方法的任何時(shí)刻都需要相對(duì)高的計(jì)算成本。因此，在每次運(yùn)動(dòng)后的人體活動(dòng)時(shí)必須重新獲取整個(gè)點(diǎn)云并重新分析。這尤其在辨識(shí)小的身體部分乃至各個(gè)身體肢節(jié)時(shí)需要巨大的通常無法提供的計(jì)算成本。與此相應(yīng)，已知方法局限于識(shí)別相對(duì)粗略的姿勢(shì)，即，例如手臂向上或向下運(yùn)動(dòng)或者小臂彎曲運(yùn)動(dòng)。細(xì)微運(yùn)動(dòng)如不同手勢(shì)尤其是由不同手指姿態(tài)所產(chǎn)生的手勢(shì)只能通過已知方法以過度復(fù)雜的計(jì)算投入來解決。這增加了執(zhí)行這種方法的算不上經(jīng)濟(jì)的成本。另外在這種情況下需要分辨率很高的深度照相機(jī)以所需速度在點(diǎn)云中可彼此區(qū)分地成像各個(gè)身體肢節(jié)。為此執(zhí)行相應(yīng)方法所需要的成本投入也顯著增加。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的任務(wù)是至少部分消除前述缺點(diǎn)。尤其是本發(fā)明的任務(wù)是以低成本的簡(jiǎn)單方法也允許識(shí)別細(xì)微姿勢(shì)且尤其是識(shí)別各個(gè)指節(jié)的姿勢(shì)。
[0005]前述任務(wù)將通過具有權(quán)利要求1的特征的方法和具有權(quán)利要求15的特征的識(shí)別裝置完成。由從屬權(quán)利要求、說明書和附圖中得到本發(fā)明的其它特征和細(xì)節(jié)。在此適用與本發(fā)明方法相關(guān)和當(dāng)然還有與本發(fā)明的識(shí)別裝置相關(guān)(反之亦然)所描述的特征和細(xì)節(jié)，因而，關(guān)于公開內(nèi)容，總是或能夠交替參照一些發(fā)明方面。
[0006]本發(fā)明的方法用于借助深度照相機(jī)裝置識(shí)別人體姿勢(shì)，具有以下步驟:
a)通過深度照相機(jī)裝置在第一時(shí)刻作為初始圖像產(chǎn)生點(diǎn)云；
b)分析初始圖像以識(shí)別身體的身體肢節(jié)；
c)安插具有相對(duì)于至少一個(gè)身體肢節(jié)的由轉(zhuǎn)動(dòng)角度限定的回轉(zhuǎn)自由度的至少一個(gè)關(guān)節(jié)點(diǎn)；
d)由深度照相機(jī)裝置在第一時(shí)刻之后的第二時(shí)刻作為后續(xù)圖像產(chǎn)生點(diǎn)云；
e)從該初始圖像關(guān)于所述至少一個(gè)所識(shí)別的身體肢節(jié)和至少一個(gè)所安插的關(guān)節(jié)點(diǎn)分析該后續(xù)圖像；
f)在該后續(xù)圖像中確定該至少一個(gè)關(guān)節(jié)點(diǎn)的轉(zhuǎn)動(dòng)角度；
g)比較所確定的轉(zhuǎn)動(dòng)角度與轉(zhuǎn)動(dòng)角度設(shè)定值， h)在確定的轉(zhuǎn)動(dòng)角度與轉(zhuǎn)動(dòng)角度設(shè)定值的關(guān)聯(lián)中識(shí)別姿勢(shì)。
[0007]本發(fā)明的方法用于也識(shí)別尤其是各個(gè)身體肢節(jié)如人體手指的細(xì)微姿勢(shì)。但是，該方法原則上可以被用于整個(gè)人體中，即用在任何身體肢節(jié)上。因此，身體肢節(jié)尤其能被定義為單獨(dú)活動(dòng)的人體骨頭單元。它們例如可以通過小腿、大腿、上臂或小臂構(gòu)成。更細(xì)小的關(guān)節(jié)如尤其是每個(gè)手指的各個(gè)指節(jié)也可以是本發(fā)明意義上的人體身體肢節(jié)。
[0008]在本發(fā)明意義上，并非在任何時(shí)刻進(jìn)行點(diǎn)云的完全分析。相反，在兩個(gè)不同時(shí)刻的點(diǎn)云的比較可以允許縮減至各自身體肢節(jié)的模型和相應(yīng)關(guān)節(jié)點(diǎn)。因此，不必再進(jìn)行復(fù)雜的圖像比較以識(shí)別姿勢(shì)。相反，姿勢(shì)識(shí)別可以被縮減至直接或間接地比較轉(zhuǎn)動(dòng)角度與轉(zhuǎn)動(dòng)角度設(shè)定值。在間接比較時(shí)不必完全重合一致，而是只存在足夠的尤其預(yù)定的近似。
[0009]根據(jù)本發(fā)明，該方法以初始化開始。深度照相機(jī)裝置在此最好配備有至少一個(gè)深度照相機(jī)并且可通過這種方式產(chǎn)生三維點(diǎn)云。即，在也可稱為初始化時(shí)刻的第一時(shí)刻，該點(diǎn)云作為初始圖像出現(xiàn)。與身體的身體肢節(jié)識(shí)別相關(guān)地進(jìn)行初始圖像的分析。在此，整個(gè)點(diǎn)云或點(diǎn)云的部分區(qū)域可以被詳細(xì)分析。尤其是只在以下身體部分區(qū)域中進(jìn)行分析，該身體部分區(qū)域包含姿勢(shì)所需要的身體肢節(jié)。即，如果例如識(shí)別人體且查找手指姿勢(shì)，則只在該手的區(qū)域內(nèi)進(jìn)行初始圖像的詳細(xì)分析以便進(jìn)行作為人體身體肢節(jié)的各個(gè)指節(jié)的識(shí)別。
[0010]關(guān)節(jié)點(diǎn)的安插與當(dāng)前所識(shí)別的身體肢節(jié)相關(guān)地進(jìn)行。因此，例如通過呈指節(jié)形式的各個(gè)身體肢節(jié)限定人手的各個(gè)手指。在各個(gè)身體肢節(jié)之間設(shè)有具有一個(gè)或多個(gè)回轉(zhuǎn)自由度的人體關(guān)節(jié)。各個(gè)身體肢節(jié)之間的連接通過本發(fā)明所基于的模型通過恰好具有一個(gè)規(guī)定的自由度的關(guān)節(jié)點(diǎn)來表現(xiàn)。如果在人體的兩個(gè)身體肢節(jié)之間的真實(shí)關(guān)節(jié)是具有兩個(gè)或更多回轉(zhuǎn)自由度的結(jié)構(gòu)，則當(dāng)然也可以安插分別具有一個(gè)規(guī)定的自由度的兩個(gè)或更多關(guān)節(jié)點(diǎn)。為此，根據(jù)本發(fā)明也可以模擬具有兩個(gè)或更多回轉(zhuǎn)自由度的人體的復(fù)雜關(guān)節(jié)。通過安插所述關(guān)節(jié)點(diǎn)，得到了初始轉(zhuǎn)動(dòng)角度，其按照規(guī)定方式表述兩個(gè)相鄰身體肢節(jié)的相對(duì)定位。即，該轉(zhuǎn)動(dòng)角度明確無疑地表示身體肢節(jié)的相互實(shí)際定位。
[0011]在此，每個(gè)關(guān)節(jié)點(diǎn)的轉(zhuǎn)動(dòng)角度在各自坐標(biāo)系內(nèi)對(duì)應(yīng)于各自關(guān)節(jié)點(diǎn)是確定的。在本發(fā)明方法中設(shè)定的每個(gè)關(guān)節(jié)點(diǎn)具有自身坐標(biāo)系。由于就像例如在人手的各個(gè)指節(jié)時(shí)那樣各個(gè)身體肢節(jié)相互鏈接，故在各個(gè)身體肢節(jié)彼此相對(duì)進(jìn)行復(fù)雜運(yùn)動(dòng)時(shí)也得到各個(gè)坐標(biāo)系的平移運(yùn)動(dòng)和/或回轉(zhuǎn)運(yùn)動(dòng)。但為了保持隨后的分析步驟盡量簡(jiǎn)單，總是分別與對(duì)應(yīng)關(guān)節(jié)點(diǎn)的例如平移隨動(dòng)坐標(biāo)系相關(guān)地設(shè)定該轉(zhuǎn)動(dòng)角度。為此，通過在多個(gè)關(guān)節(jié)點(diǎn)中的多個(gè)轉(zhuǎn)動(dòng)角度的關(guān)系得到所有身體肢節(jié)的規(guī)定的彼此相對(duì)身體肢節(jié)位置。
[0012]如從前一段落中知道地，最好采用并安插多個(gè)關(guān)節(jié)點(diǎn)。為此也針對(duì)所述多個(gè)關(guān)節(jié)點(diǎn)得到多個(gè)轉(zhuǎn)動(dòng)角度。它們能例如以單列多行矢量形式設(shè)置或存儲(chǔ)以便更好地一覽無余。為此，單列多行矢量以規(guī)定的且尤其明確無疑的方式描述各個(gè)身體肢節(jié)的彼此相對(duì)位置。
[0013]此外要指出的是，不必為每個(gè)所識(shí)別的身體肢節(jié)也安插一個(gè)關(guān)節(jié)點(diǎn)。因此，例如可以發(fā)生身體的所有身體肢節(jié)的識(shí)別，在這里，對(duì)于其它方法步驟僅針對(duì)兩手或一手安插所述關(guān)節(jié)點(diǎn)。換言之，在安插關(guān)節(jié)點(diǎn)時(shí)進(jìn)行從所有所識(shí)別的身體肢節(jié)中的挑選。這種挑選可以包含一部分的或者所有的所識(shí)別的身體肢節(jié)。但至少在至少一個(gè)所識(shí)別的身體肢節(jié)中執(zhí)行唯一的關(guān)節(jié)點(diǎn)。
[0014]在通過步驟a)至c)能完成當(dāng)前人體狀況的初始化后，現(xiàn)在可以進(jìn)行姿勢(shì)識(shí)別。在第二時(shí)刻，又借助深度照相機(jī)裝置作為后續(xù)圖像產(chǎn)生在第一時(shí)刻后的一個(gè)點(diǎn)云?，F(xiàn)在，從初始圖像中關(guān)于在初始化中已識(shí)別的身體肢節(jié)且與所安插的關(guān)節(jié)點(diǎn)相關(guān)地進(jìn)行這種分析。接著，在后續(xù)圖像中進(jìn)行該至少一個(gè)關(guān)節(jié)點(diǎn)的轉(zhuǎn)動(dòng)角度的確定。換言之，現(xiàn)在對(duì)于多個(gè)關(guān)節(jié)點(diǎn)得到具有多個(gè)轉(zhuǎn)動(dòng)角度的一個(gè)新的單列多行矢量。在初始圖像和后續(xù)圖像之間的該矢量?jī)?nèi)的轉(zhuǎn)動(dòng)角度變化對(duì)應(yīng)于身體肢節(jié)的轉(zhuǎn)動(dòng)角度的變化和由此導(dǎo)出的人體真實(shí)情況下的姿勢(shì)的變化。
[0015]接著，可以執(zhí)行在后續(xù)圖像內(nèi)的一定的轉(zhuǎn)動(dòng)角度與轉(zhuǎn)動(dòng)角度設(shè)定值的比較。在此，轉(zhuǎn)動(dòng)角度設(shè)定值也例如以單列多行矢量形式構(gòu)成。因此，可以逐行比較在一定轉(zhuǎn)動(dòng)角度和轉(zhuǎn)動(dòng)角度設(shè)定值之間是否一致或基本一致或者說足夠且尤其按照規(guī)定地近似。如果是這種情況，則各自人體肢節(jié)的真實(shí)運(yùn)動(dòng)位置對(duì)應(yīng)于與轉(zhuǎn)動(dòng)角度設(shè)定