專利名稱：在圖像中檢測手指的方法及設備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理方法及設備，并且更具體地涉及一種在圖像中檢測手指的方法及設備、以及一種在圖像中進行手勢識別的方法及設備。
背景技術(shù)：
目前，在基于視覺的人機交互領(lǐng)域中，已經(jīng)提出了多種手勢識別方法，這些手勢識別方法大多基于手指的檢測。然而，現(xiàn)有的大多數(shù)手指檢測方法往往在很小的局部范圍內(nèi)進行手指檢測(例如，指尖領(lǐng)域)，并且所檢測的特征往往不具有明確的物理特性，例如，指根點、掌心點等重要的人手形狀信息在檢測過程中被忽略。在專利文獻1(JP2008152622A)中提供了一種用手指進行交互的方法，其中首 先，在幾何顏色校正后，利用幀差法得到手區(qū)域；其次，通過距離變換的方法，把最大內(nèi)接圓中心定義為掌心點；然后，對整個手區(qū)域進行橢圓擬合，以得到手方向，把指尖點定義為沿該方向的最遠點。然而，依據(jù)在專利文獻I中提供的方法所進行的掌心點和指尖點的估計的精度不高。此外，在該方法中，不提供指根估計，并且也不支持多手指的情況。在專利文獻2(JP9035066A)中提供了一種手勢識別方法，其中首先利用一些預處理方法，分割出手區(qū)域；其次，對該手區(qū)域進行Hough變換，檢測直線并抑制空間臨近但較短的直線，通過剩余直線來確定手指數(shù)、指尖和方向；最后，根據(jù)手指數(shù)來判斷手勢操作。然而，專利文獻2中的手勢識別方法的檢測結(jié)果高度依賴于直線抑制，而這一操作非常困難和模糊。此外，在手指彎曲時，或者在所分割的手區(qū)域中包含了過多的手臂部分時，該手勢識別方法都會失效。因此，存在對于一種能夠利用具有顯著物理意義的特征準確地進行手指檢測方法及設備的需要。

發(fā)明內(nèi)容
考慮到上述問題而提出了本發(fā)明。本發(fā)明的一個目的是提供一種在圖像中檢測手指的方法及設備，其通過在圖像中提取出具有顯著物理意義的特征并利用所提取的特征進行手指檢測，來準確高效地檢測手指。根據(jù)本發(fā)明的一方面，提供了一種在圖像中檢測手指的方法，包括在從所述圖像生成的二值圖中提取穿越候選手指手掌的候選手指手掌中軸；依據(jù)所述候選手指手掌中軸，生成所述候選手指手掌的形狀特征；以及根據(jù)人的手指手掌的形狀特征，判斷所述候選手指手掌中軸是否來自人手。在將所述在圖像中檢測手指的方法應用于手勢識別的情況下，優(yōu)選地，所述在圖像中檢測手指的方法還可以包括將所有屬于同一手的手指手掌中軸進行關(guān)聯(lián)；生成該手的姿態(tài)特征；以及依據(jù)所述姿態(tài)特征，進行手勢識別。優(yōu)選地，根據(jù)本發(fā)明實施例，提取候選手指手掌中軸可以包括對所述二值圖進行距離變換以生成距離變換圖，所述距離變換為對于所述二值圖中每一前景像素計算該前景像素到背景像素的最近距離以作為該前景像素的距離變換值，而背景像素的距離變換值為
O;在所述二值圖中檢測候選指尖點；以及以所述候選指尖點為起點，從所述距離變換圖中提取候選手指手掌中軸。優(yōu)選地，根據(jù)本發(fā)明實施例，生成所述候選手指手掌的形狀特征包括在所述候選手指手掌中軸中提取手形關(guān)鍵點；以及基于所提取的手形關(guān)鍵點，確定所述候選手指手掌的形狀特征。 優(yōu)選地，所述手形關(guān)鍵點可以包括候選指尖點、候選指根點、和候選掌心點。優(yōu)選地，所述形狀特征可以包括以下至少一項候選手指寬度、歸一化候選手指長度、和歸一化候選手掌寬度，其中，所述候選手指寬度為所述候選指根點處的距離變換值，所述歸一化候選手指寬度為將所述候選指尖點與所述候選指根點之間的中軸長度除以所述候選手指寬度所得的商值，所述歸一化候選手掌寬度為將所述候選掌心點處的距離變換值除以所述候選手指寬度所得的商值。 優(yōu)選地，所述手的姿態(tài)特征包括以下至少一項伸出手指指數(shù)、手指方向、指尖位置、以及手臂方向。根據(jù)本發(fā)明的另一方面，提供了一種用于在圖像中檢測手指的設備，包括中軸提取裝置，其在從所述圖像生成的二值圖中提取穿越候選手指手掌的候選手指手掌中軸；形狀特征生成裝置，其依據(jù)所述候選手指手掌中軸生成所述候選手指手掌的形狀特征；以及手指決策裝置，其根據(jù)人的手指手掌的形狀特征判斷所述候選手指手掌中軸是否來自人手。在將所述在圖像中檢測手指的設備應用于手勢識別的情況下，優(yōu)選地，所述在圖像中檢測手指的方法還可以包括關(guān)聯(lián)裝置，其將所有屬于同一手的手指手掌中軸相關(guān)聯(lián)；手姿態(tài)生成裝置，其生成手的姿態(tài)特征；以及手勢識別裝置，其依據(jù)所生成的手的姿態(tài)特征進行手勢識別。優(yōu)選地，根據(jù)本發(fā)明實施例，所述中軸提取裝置包括距離變換部件，其對所述二值圖進行距離變換以生成距離變換圖；指尖點檢測部件，其在所述二值圖中檢測候選指尖點；以及中軸形成部件，其以所述候選指尖點為起點，從所述距離變換圖中提取候選手指手掌中軸。優(yōu)選地，根據(jù)本發(fā)明實施例，所述形狀特征生成裝置包括關(guān)鍵點提取部件，其在所述候選手指手掌中軸中提取手形關(guān)鍵點；以及形狀特征確定部件，其基于所提取的手形關(guān)鍵點確定所述候選手指手掌的形狀特征。優(yōu)選地，所述手形關(guān)鍵點可以包括候選指尖點、候選指根點、和候選掌心點。優(yōu)選地，所述形狀特征可以包括以下至少一項候選手指寬度、歸一化候選手指長度、和歸一化候選手掌寬度，其中，所述候選手指寬度為所述候選指根點處的距離變換值，所述歸一化候選手指寬度為將所述候選指尖點與所述候選指根點之間的中軸長度除以所述候選手指寬度所得的商值，所述歸一化候選手掌寬度為將所述候選掌心點處的距離變換值除以所述候選手指寬度所得的商值。根據(jù)本發(fā)明的又一方面，提供了一種在圖像中進行手勢識別的方法，包括在從所述圖像生成的二值圖中提取穿越候選手指手掌的候選手指手掌中軸；依據(jù)所述候選手指手掌中軸，生成所述候選手指手掌的形狀特征；根據(jù)人的手指手掌的形狀特征，判斷所述候選手指手掌中軸是否來自；判斷在所述二值圖中還存在其它的候選手指手掌中軸未經(jīng)過判別；將所有屬于同一手的手指手掌中軸進行關(guān)聯(lián)；生成該手的姿態(tài)特征；以及依據(jù)所述姿態(tài)特征，進行手勢識別。根據(jù)本發(fā)明的再一方面，提供了一種在圖像中進行手勢識別的設備，包括中軸提取裝置，其在從所述圖像生成的二值圖中提取穿越候選手指手掌的候選手指手掌中軸；形狀特征生成裝置，其依據(jù)所述候選手指手掌中軸生成所述候選手指手掌的形狀特征；手指決策裝置，其根據(jù)人的手指手掌的形狀特征判斷所述候選手指手掌中軸是否來自人手；關(guān)聯(lián)裝置，其將所有屬于同一手的手指手掌中軸相關(guān)聯(lián)；手姿態(tài)生成裝置，其生成手的姿態(tài)特征；以及手勢識別裝置，其依據(jù)所生成的手的姿態(tài)特征進行手勢識別。


通過結(jié)合附圖對本發(fā)明的實施例進行詳細描述，本發(fā)明的上述和其它目的、特征、優(yōu)點將會變得更加清楚，其中圖I圖示了根據(jù)本發(fā)明實施例的在圖像中檢測手指的方法的流程圖；圖2A圖示了圖I中的步驟SllO的提取候選手指手掌中軸的方法的示例流程圖；圖2B圖示了(a)灰度圖與(b)采用城區(qū)距離計算的距離變換圖的對應關(guān)系的示例；圖3A圖示了圖I中的步驟S120的生成形狀特征的方法的示例流程圖；圖3B圖示了(a)人手的灰度圖像、(b)從該灰度圖像生成的二值圖的距離變換圖、與(C)距離曲線的對照關(guān)系的示例；圖4圖示了根據(jù)本發(fā)明實施例的在圖像中檢測手指的方法的進一步擴展的流程圖；圖5A圖示了手臂方向和手指方向的示例；圖5B圖示了指根點與手臂夾角的示例；圖6圖示了基于中軸線距離變換值分析得到的手指檢測結(jié)果；圖7圖示了根據(jù)本發(fā)明實施例的在圖像中檢測手指的設備的示意性框圖；以及圖8圖示了根據(jù)本發(fā)明實施例的在圖像中檢測手指的設備的應用示例。
具體實施例方式下面將參照附圖來描述根據(jù)本發(fā)明實施例的在圖像中檢測手指的方法及設備。首先，將參考圖I來說明根據(jù)本發(fā)明實施例的在圖像中檢測手指的方法100。根據(jù)本發(fā)明實施例的在圖像中檢測手指的方法100在步驟SlOl開始。在步驟S110，在從所述圖像生成的二值圖中提取穿越候選手指手掌的候選手指手掌中軸。所述候選手指手掌中軸是潛在的連接手指指尖、手指指根和手掌心的手指手掌中軸，其不僅包括真實的來自人手的手指手掌中軸，而且還包括類似于手指形狀的對象的中軸，諸如，人手臂的中軸、兔子耳朵的中軸、以及具有長條形狀的對象的中軸等。所述二值圖用于指示潛在的人體區(qū)域，具體地，在二值圖中將所述圖像中與潛在人體相關(guān)的區(qū)域內(nèi)的像素設置為具有值“I”的前景像素點，而將無關(guān)區(qū)域內(nèi)的像素設置為具有值“O”的背景像素點。
例如，可以通過背景減除法來從所述圖像生成指示潛在人體區(qū)域的二值圖。具體地，可以設置一背景圖像B，其往往被取為在沒有任何物體進入攝像機視野時所拍攝的圖像，其在X點處的像素值為B (x)。然后，在時刻t拍攝圖像F，其在X點處的像素值為F (X)。圖像F和背景圖像B之間的差異往往屬于進入該背景區(qū)域的物體，如人體?？梢岳美缦率絹砩芍甘緷撛谌梭w區(qū)域的二值圖
[I, |F(x)-5(χ)|>ΓP(X) =
[o, |F(x)-5(x)|<r其中，P(X)為二值圖中X點處的取值，T為給定閾值，其可以隨像素點位置X的不同而變化。優(yōu)選地，可以在拍攝過程中自動更新背景圖像B，以適應可能的光照變化。此外，可以對上面生成的二值圖P進行一些形態(tài)學處理(諸如，開運算)以去除噪聲點。 可以以多種方式從所述二值圖中提取候選手指手掌中軸。例如，首先對所述二值圖做距離變換以便獲得距離變換圖，在所述距離變換圖中獲得該二值圖中對象的整個中軸，然后將以該整個中軸的某個端點為起點的預定長度的中軸確定為候選手指手掌中軸。然而，獲得二值圖中對象的整個中軸非常耗時，通過獲得候選指尖點并從該候選指尖點出發(fā)來獲得候選手指手掌中軸將大大降低計算量。在圖2A中圖示了通過首先獲得候選指尖點并繼而提取候選手指手掌中軸的方法的示例的流程圖。首先，在步驟S1110，對所述二值圖進行距離變換以生成距離變換圖，所述距離變換為對于所述二值圖中的每一前景像素計算該前景像素到背景像素的最近距離。在距離變換中，通常有3種距離，即城區(qū)距離(city block distance)、棋盤距離(chess board distance)、歐幾里德距離(Euclid distance)。對(x0, yO)和(xl, yl)兩點而言，其城區(qū)距離為(I XO-Xl I +1 yo-yl |)，棋盤距離為max (| x0-xl |，| y0-yl |)，而歐幾里德距離為((X0-Xl)2+(y0-yl)2)1/2。城區(qū)距離和棋盤距離可以通過從所述二值圖的上左到下右的正向、反向兩次掃描的信息傳遞完成。而歐幾里德距離則可通過更復雜的迭代算法或簡單的距離核卷積近似得到，如在2008年O' Reilly Media中Gary Bradski, AdrianKaehler 的 “Learning OpenCV Computer Vision with the OpenCV Library，，所公開的。優(yōu)選地，在步驟SlllO中，采用最為精確的歐幾里德距離變換，以便更準確地提取手指手掌中軸。接下來，在步驟SI 120，在所述二值圖中檢測候選指尖點。作為示例,把候選指尖點定義為二值圖(f (X) = O或I)的角點，將f (X) = O的點稱為背景像素點，將f(x) = I的點稱為前景像素點，將二值圖在X點的角點響應表示為cf(X)，其定義了在以X點為中心的半徑為r的鄰域B(x，r)內(nèi)除x點外的前景像素點的面積與該鄰域B(x，r)內(nèi)除X點外的所有像素點的面積的比值
ι,/(χ) = οCf(X) = I吃舜)/ω)_ _ _1]/(χ) = i其中，Σ y(y)為B(x，r)內(nèi)前景像素點的數(shù)目(SP，前景像素點的面積)，N為鄰域B(x，r)內(nèi)像素點的數(shù)目(即，鄰域B(x，r)內(nèi)所有像素點的面積)，半徑r與手指寬度有關(guān)，角點響應Cf(Xtl)是鄰域B(x，r)內(nèi)的一個局部極小值。優(yōu)選地，角點響應Cf(Xtl)滿足Tcfl ( Cf(X0) ( Tca,Tcfl為用于濾除噪聲點的閾值，作為示例，可將其設置為1/12，而Tca為用于濾出邊界點的閾值，作為示例，可將其設置為2/5。然而，本發(fā)明不受這些閾值的限制。此外，還可以把二值圖和灰度圖相結(jié)合來提取候選指尖點。例如，把候選指尖點定義為二值圖凸包上的灰度圖Harris強響應角點，如在1988年Alvey vision conference中 C Harris, M Stephens 的 “A combined corner and edge detector，，所公開的。然后，在步驟S1130，以所述候選指尖點為起點，從所述距離變換圖中提取候選手指手掌中軸。所提取的候選手指手掌中軸的長度足以通過手掌的掌心。此外，所提取的候選手指手掌中軸的長度優(yōu)選地依據(jù)手指的寬度而定。作為示例，可以從所述候選指尖點開始，沿著距離變換圖提取脊線點。所謂脊線點在距離變換圖上表現(xiàn)為某個方向上的極大點。然而，應注意，所述候選指尖點不一定就是脊線點，在此情況下，可以從所述候選指尖點開始，首先沿著梯度上升的方向?qū)ふ宜鼍嚯x變換圖中距離值的脊線點；然后，追蹤所述距離變換圖中距離值的脊線點，直至與所述候選指 尖點相距的距離大于或等于預定閾值。圖2B中給出了灰度圖、其對應距離變換圖、以及距離變換圖的中軸的示例。圖2B中的(a)表示灰度圖，圖2B中的(b)表示對從(a)生成的二值圖進行采用城區(qū)距離的距離變換之后獲得的距離變換圖，其中，數(shù)字“I”表示其所在的前景像素點距背景像素點的最近距離為1，數(shù)字“2”表示其所在的前景像素點距背景像素點的最近距離為2，以此類推。另外，在圖2B中的(b)中示出了連接距離變換圖中的脊線點所形成的中軸。盡管上面給出了幾種提取候選手指手掌中軸的方式，但是本發(fā)明不限于此，本領(lǐng)域技術(shù)人員可以預期其它的提取候選手指手掌中軸的方式。接下來，返回圖1，在步驟S120，依據(jù)所述候選手指手掌中軸，生成所述候選手指手掌的形狀特征。所述形狀特征可以包括候選手指寬度、候選手指長度、候選手掌寬度、候選手掌長度(即，候選指根點到候選掌心點的長度)、候選手指長度與候選手指寬度之比、候選手掌寬度與候選手指寬度之比、候選手掌長度與候選手掌寬度之比等。本發(fā)明不限于此，可能存在其它的形狀特征。然后，在步驟S130，基于所確定的候選手指手掌的形狀特征，判斷所述候選手指手掌中軸是否是來自人手的手指手掌中軸。已知人手的形狀特征，例如，手指長度是手指寬度的2-5倍，手掌寬度是手指寬度的2-3倍，手掌長度與手掌寬度相差不多等?？梢愿鶕?jù)已知的人手形狀特征來判別所檢測的候選手指手掌中軸是否是來自人手的手指手掌中軸。當所確定的候選手指手掌的形狀特征滿足人手形狀特征時，判定所述候選手指手掌中軸為來自人手的手指手掌中軸，由此檢測到手指。反之，當所確定的候選手指手掌的形狀特征不滿足人手形狀特征時，判定所述候選手指手掌中軸不是來自人手的手指手掌中軸，并將之丟棄。根據(jù)本發(fā)明實施例的在圖像中檢測手指的方法100在步驟S199結(jié)束。接下來，將參考圖3A來描述圖I中的生成候選手指手掌中軸的步驟S120的操作的示例。在步驟S1210，在所述候選手指手掌中軸中提取手形關(guān)鍵點。具體地，通過對所述候選手指手掌中軸線上的距離變換值進行分析，來提取手形關(guān)鍵點，所述手形關(guān)鍵點可以包括候選指尖點、候選指根點、和候選掌心點。簡單地，可以將所述候選中軸線上距離變換值突然變大的點確定為候選指根點，而將所述候選中軸線上距離變換值突然變小的點確定為候選掌心點。為了準確地提取出手形關(guān)鍵點，提高手指檢測的魯棒性并降低虛警率，優(yōu)選地，在提取了候選手指手掌中軸之后，對于該候選手指手掌中軸繪制其對應的距離曲線d(l)，其中，橫軸(I)為從該候選手指手掌中軸的起點(指尖點)到該候選手指手掌中軸上的當前中軸點的中軸游程(即，中軸長度)，縱軸(d)表示與該起點相距I的中軸點處的距離變換值。研究發(fā)現(xiàn)，指根點和掌心點是中軸線上距離變換值的斜率發(fā)生突變、并滿足一定條件的特殊點。具體而言，在指根點處，d(l)的斜率大約會從O突變?yōu)?，而在掌心點處，d(l)的斜率大約會從I突變?yōu)镺。可以從圖3B的(c)中看出d(l)的上述斜率變化。此外，圖3B中的(a)圖示了人手的灰度圖像，(b)圖示了對從該灰度圖像生成的指示人手區(qū)域的 二值圖進行距離變換而得到的距離變換圖，其中，顏色越淺表明距離變換值越高，(c)距離曲線的對照關(guān)系。在圖3B中用虛線表明了圖3B中(a)和(c)之間的指尖點和掌心點的對應關(guān)系。根據(jù)上述的指根點和掌心點處的斜率變化關(guān)系，從所提取的候選手指手掌中軸中提取候選指根點和候選掌心點。由于經(jīng)由候選指尖點檢測而檢測到的候選指尖點不一定是真正的指尖點，優(yōu)選地，還從所提取的候選手指手掌中軸中提取候選指尖點。需要說明，在一條候選手指手掌中軸中可能僅提取出候選指根點而沒有提取出候選掌心點，或者僅提取出候選掌心點而沒有提取出候選指根點。優(yōu)選地，在此情況下，可以直接確定所述候選手指手掌中軸不是來自人手的手指手掌中軸。類似地，在一條候選手指手掌中軸中可能提取出多于一個候選指根點、和多于一個候選掌心點，并且所提取的候選指根點的數(shù)目和所提取的候選掌心點的數(shù)目不一定相同。作為示例，將一條候選手指手掌中軸上的所提取的候選指尖點、候選指根點之一、和候選掌心點之一組成一個三元組(候選指尖點、候選指根點、候選掌心點)。接下來，在步驟S1220，基于所提取的手形關(guān)鍵點，確定所述候選手指手掌中軸所對應的候選手指手掌的形狀特征。所述形狀特征可以包括候選手指寬度FW、候選手指長度FL、歸一化候選手指長度FL/FW、候選手掌寬度PW、和歸一化候選手掌寬度等PW/FW。所述候選手指寬度為所述候選指根點處的距離變換值，所述歸一化候選手指寬度為將所述候選指尖點與所述候選指根點之間的中軸長度除以所述候選手指寬度所得的商值，所述歸一化候選手掌寬度為將所述候選掌心點處的距離變換值除以所述候選手指寬度所得的商值。需要說明，一條候選手指手掌中軸可能有多個三元組，對每個三元組產(chǎn)生一組形狀特征，以便用于進行手指判別。研究發(fā)現(xiàn)，由候選手指寬度、歸一化候選手指長度、和歸一化候選手掌寬度所組成的3維特征(FW，F(xiàn)L/FW，PW/FW)具有很強的物理意義，并且具有很強的區(qū)分能力。此外，所述形狀特征還可以包括許多其它特征，例如，指根點距離曲線的擬合斜率及誤差、掌心點距離曲線的擬合斜率及誤差、彩色圖像的顏色等。在此情況下，例如，在圖I的步驟S130中，通過對每個三元組進行決策來判別該三元組是否對應于人手，并且在該三元組對應于人手時，將該三元組分類為正三元組，而在該三元組不對應于人手時，將該三元組分類為負三元組。此外，在圖I的步驟S130中，還可以基于所述形狀特征為每個正三元組分配不同的分類值，分類值越高表明該正三元組對應于人手的可能性越高。經(jīng)過步驟S130的處理之后，對于所檢測的一條候選手指手掌中軸，可能存在多個正三元組。優(yōu)選地，所述多個正三元組具有不同的分類值。作為根據(jù)本發(fā)明實施例的在圖像中檢測手指的方法的擴展，可以基于上述手指檢測的結(jié)果來進一步進行手勢識別。在圖4中圖示了根據(jù)本發(fā)明實施例的在圖像中檢測手指的方法在手勢識別應用中的擴展方法400。換句話說，在圖4中圖示了根據(jù)本發(fā)明實施例的在圖像中進行手勢識別的方法400。 首先，本發(fā)明實施例的在圖像中檢測手指的方法400或根據(jù)本發(fā)明實施例的在圖像中進行手勢識別的方法400(在下文中，為描述簡便將其統(tǒng)稱為方法400)在步驟S401開始處理。接下來，在步驟S410到S430中，執(zhí)行手指檢測。步驟S410、S420和S430分別與圖I中的步驟SI 10、S120和S130相對應，因此在此不再進行贅述。在步驟S440，判斷是否還存在其它的候選手指手掌中軸未經(jīng)過判別/決策。在判斷還存在其它的候選手指手掌中軸未經(jīng)過判別/決策的情況下，方法400返回到步驟S410，并重復步驟S410到S430的處理。在不存在其它的候選手指手掌中軸未經(jīng)過判別/決策的情況下，方法400進行到步驟S450。然后，在步驟S450，將所有屬于同一手的手指手掌中軸進行關(guān)聯(lián)。如前所述，步驟S410到S430的處理可以重復多次，結(jié)果在圖像中可能檢測到多于一個手指手掌中軸。需要說明的是，圖像中的一只手可能沒有手指手掌中軸、一個手指手掌中軸、或多于一個手指手掌中軸。例如，在圖像中的一只手呈現(xiàn)出拳頭緊握的外形時，此時就無法檢測到手指手掌中軸；在手呈現(xiàn)出伸出一根手指的外形時，此時檢測到一個手指手掌中軸；而在手呈現(xiàn)出伸出多根手指的外形時，此時可能檢測到多個手指手掌中軸。在檢測到一只手中的一個或多個手指手掌中軸的情況下，需要將所檢測的手指手掌中軸與手對應起來，即，通過將所有屬于同一手的手指手掌中軸關(guān)聯(lián)而確定出手。通過進行手指手掌中軸關(guān)聯(lián)，可以從源自同一手指手掌中軸的多個正三元組中確定出最適當?shù)恼M，并且可以將來自同一手的至少一個正三元組關(guān)聯(lián)起來。作為示例，對于每個手指手掌中軸線，利用具有最高分類值的三元組。可以以具有最高分類值的一個正三元組為基準，確定該正三元組的掌心點與具有最高分類值的另一正三元組的掌心點之間的距離，當該距離小于一給定閾值時，確定該正三元組與該另一正三兀組屬于同一手。替換地，可以以一個正三元組為基準，以該正三元組的掌心點為中心以給定半徑繪制圓作為一掌心區(qū)域，并將其掌心點落入該掌心區(qū)域內(nèi)的三元組確定為與該基準正三元
組屬于同一手。此外，還可以按照屬于同一手的各正三元組的形狀特征之間的關(guān)系，來辨別屬于同一手指手掌中軸的多個正三元組中的最適合的正三元組，該最合適的正三元組可以與具有最高分類值的正三元組不同。此外，在該步驟S450中，還可以結(jié)合利用手跟蹤算法來判別屬于同一手指手掌中軸的多個正三元組中的最合適的正三元組。替換地，也可以在手指判別步驟S430中結(jié)合利用手跟蹤算法來為屬于同一手指手掌中軸的多個正三元組分配不同的分類值。接下來，在步驟S460，生成手的姿態(tài)特征，從而獲得手的姿態(tài)信息，以用于后續(xù)的手勢識別?；谑中侮P(guān)鍵點，如指尖點、指根點、掌心點，可以獲得很多幾何特征的度量。不同的應用可以選擇不同的度量。下面給出一些簡單幾何特征的例子。
伸出手指指數(shù)對手勢識別來說，伸出手指數(shù)是一個非常重要的姿態(tài)信息。經(jīng)過手指手掌中軸關(guān)聯(lián)步驟S450之后，可以知道圖像中手的數(shù)目、以及每只手的伸出手指的數(shù)目。手指方向?qū)κ謩葑R別來說，手指方向也是一個非常重要的姿態(tài)信息，其完全可以通過從指根點到指尖點的中軸線的方向來估計。比如，對伸直的手指而言，可以用這段中軸線進行直線擬合。圖5A給出了一個簡單的示例。指尖位置在候選指尖點檢測(步驟S1110)中，可以得到指尖的大概位置，以用于中軸線和手形關(guān)鍵點的提取。然而，在某些應用中可能會要求指尖的精確位置，比如通過指尖來定位鼠標。事實上，在中軸線和手形關(guān)鍵點的幫助下，可以獲得指尖的精確位置。比如，可以把其定義為手指區(qū)域中，沿著手指方向的最遠點。手臂方向手臂方向可以用于獲取手指的相對位置，從而對手勢識別非常重要。具體說來，可以把手指的相對位置定義為“掌心-指根點方向”和手臂方向直接的夾角，我們稱之為“指根點-手臂夾角”。具體示例見圖5B。手臂方向可以定義為從掌心出發(fā)并穿越手臂區(qū)域的射線方向，因此其估計較為簡單。如圖5A所示，從掌心開始，在
范圍內(nèi)作一系列射線。令方向Θ射線的連續(xù)游程為RunLen(0)，其定義為從掌心開始沿該方向到達第一個背景像素點(或圖形邊界)的距離。而最大連續(xù)游程方向，即為手臂方向0 氺0 氺=argmax θ RunLen ( θ )。實際中，由于射線角度是對
進行一定步長的采樣。因此，Θ*可以對最大游程角度鄰域用RunLen( Θ )加權(quán)平均得到。圖5A給出了連續(xù)游程和手臂方向估計的示例。此外，在執(zhí)行步驟S560之前，可選地進行手跟蹤，其意在確定相鄰幀所檢測的手的對應關(guān)系。這其實是個多目標跟蹤問題，可以有很多解法。由于根據(jù)本發(fā)明實施例的手指檢測非常穩(wěn)健，因此可以采用基于匈牙利算法的雙向匹配(bipartite matching)來解決。在該雙向匹配中，找到每個軌跡T(i)和手H(j)之間的匹配代價，并以具有最低總匹配代價的匹配結(jié)果作為最終的軌跡和手之間的對應關(guān)系。一個簡單的方案是利用掌心的空間距離來作為該匹配代價，即D(T(i)，H(j))=dist(T(i), H(j))。此外，當然可以采用更加精細的算法，比如基于Kalman濾波的位置概率預測。接下來，在步驟S570，依據(jù)所獲得的手的姿態(tài)特征，進行手勢識別。在通過手姿態(tài)特征度量獲得重要幾何特征后，可以將其用于手勢識別。具體的姿態(tài)特征完全取決于具體應用要求。圖6中示出了其中僅對兩種手勢“指示”(一個食指伸出)和“點擊”(大拇指和食指伸出)感興趣的應用示例。在該應用示例中，通過這兩種手勢，完全可以模擬鼠標操作，用“指示”來定位鼠標位置，用“點擊”來觸發(fā)鼠標左鍵。在此情況下，手指數(shù)足以區(qū)分這兩種手勢，而指根點-手臂夾角(圖5B)則可以用于區(qū)分食指和大拇指。在圖6中圖示了基于中軸線距離變換值分析得到的手指檢測結(jié)果。具體地，在圖6的(a)中，示出了穿過大拇指和掌心點的手指手掌中軸線、以及穿過食指和掌心點的手指手掌中軸線。在圖6的(b)中，僅示出了穿過食指和掌心點的手指手掌中軸線。在圖6中，還示出了手形關(guān)鍵點(諸如指尖點、指根點、以及掌心點)、手掌區(qū)域(用紅圈示意，其中心為掌心，半徑為手掌寬度)、以及手臂方向。不管采用何種特征，手勢往往定義為一系列的姿態(tài)的變化，因此可以通過狀態(tài)轉(zhuǎn)移模型來識別。最常用的手勢識別方法是隱馬爾科夫模型(Hidden Markov Model)。然而， 本發(fā)明不受具體的手勢識別方法的限制，基于本發(fā)明中所獲得的手姿態(tài)特征，可以利用現(xiàn)有的或?qū)黹_發(fā)的所有手勢識別方法來進行手勢識別。在上面已經(jīng)通過示例描述了根據(jù)本發(fā)明實施例的在圖像中檢測手指的方法，利用該方法，通過提取出穿過候選手指手掌的候選手指手掌中軸，基于該候選手指手掌中軸生成與其對應的候選手指手掌的形狀特征，并根據(jù)所生成的候選手指手掌的形狀特征來判斷所述候選手指手掌中軸是否是來自人手的手指手掌中軸。由此，通過提取具有明晰物理意義的候選手指手掌的幾何形狀特征，可以穩(wěn)健地進行手指檢測，從而降低漏檢率和虛警率。此外，在上面也通過示例描述了根據(jù)本發(fā)明實施例的在圖像中進行手勢識別的方法，利用該方法，通過提取出候選手指手掌中軸，基于該候選手指手掌中軸生成與其對應的候選手指手掌的形狀特征，根據(jù)所述形狀特征判斷所述候選手指手掌中軸是否是來自人手的手指手掌中軸，將屬于同一手的所有手指手掌中軸關(guān)聯(lián)，提取手的姿態(tài)特征并由此進行手勢識別。由此，通過提取具有明晰物理意義的候選手指手掌的幾何形狀特征、以及手的幾何形狀特征，可以穩(wěn)健地進行手勢識別。接下來，將參考圖7來描述根據(jù)本發(fā)明實施例的在圖像中檢測手指的設備700。在圖像中檢測手指的設備700包括中軸提取裝置710，其在從所述圖像生成的二值圖中提取穿越候選手指手掌的候選手指手掌中軸；形狀特征生成裝置720，其依據(jù)所述候選手指手掌中軸生成所述候選手指手掌的形狀特征；以及手指決策裝置730，其根據(jù)人的手指手掌的形狀特征判斷所述候選手指手掌中軸是否是來自人手的手指手掌中軸。如前面參考圖I所描述的，中軸提取裝置710可以以多種方式從所述二值圖中提取候選手指手掌中軸。優(yōu)選地，中軸提取裝置710包括距離變換部件7110，其對所述二值圖進行距離變換以生成距離變換圖，所述距離變換為對于所述二值圖中每一前景像素計算該前景像素到背景像素的最近距離以作為該前景像素的距離變換值；指尖點檢測部件7120，其在所述二值圖中檢測候選指尖點；以及中軸形成部件7130，其以所述候選指尖點為起點，從所述距離變換圖中提取候選手指手掌中軸。形狀特征生成裝置720所生成的候選手指手掌的形狀特征可以包括候選手指寬度、候選手指長度、候選手掌寬度、候選手掌長度(即，候選指根點到候選掌心點的長度)、候選手指長度與候選手指寬度之比、候選手掌寬度與候選手指寬度之比、候選手掌長度與候選手掌寬度之比等。本發(fā)明不限于此，可能存在其它的形狀特征。優(yōu)選地，形狀特征生成裝置720包括關(guān)鍵點提取部件7210，其在所述候選手指手掌中軸中提取手形關(guān)鍵點，所述手形關(guān)鍵點至少包括候選指尖點、候選指根點、和候選掌心點；以及形狀特征確定部件7220，其基于所提取的關(guān)鍵點確定所述候選手指手掌中軸所對應的候選手指手掌的形狀特征。優(yōu)選地，在關(guān)鍵點提取部件7210在一條候選手指手掌中軸中僅提取出候選指根點而沒有提取出候選掌心點，或者僅提取出候選掌心點而沒有提取出候選指根點的情況下，可以直接確定所述候選手指手掌中軸不是來自人手的手指手掌中軸。此外，關(guān)鍵點提取部件7210在一條候選手指手掌中軸可能提取出多于一個候選指根點、和多于一個候選掌心點，并且所提取的候選指根點的數(shù)目和所提取的候選掌心點 的數(shù)目不一定相同，在此情況下，關(guān)鍵點提取部件7210將一條候選手指手掌中軸上的所提取的候選指尖點、候選指根點之一、和候選掌心點之一組成產(chǎn)生一個三元組(候選指尖點、候選指根點、候選掌心點)。形狀特征確定部件7220針對每個三元組產(chǎn)生一組形狀特征，以便用于進行手指判別。優(yōu)選地，形狀特征確定部件7220所產(chǎn)生的形狀特征包括由候選手指寬度、歸一化候選手指長度、和歸一化候選手掌寬度所組成的3維形狀特征(FW，F(xiàn)L/FW，PW/FW)。此外，所述形狀特征還可以包括許多其它特征，例如，指根點距離曲線的擬合斜率及誤差、掌心點距離曲線的擬合斜率及誤差、彩色圖像的顏色等。手指決策裝置730可以通過許多種類的分類器來實現(xiàn)，例如SVM、決策樹等。對于3維特征(FW，F(xiàn)L/FW，PW/FW)而言，考慮到其具有明晰的物理含義，優(yōu)選地采用決策樹來實現(xiàn)手指決策裝置730。此外，還可以采用基于決策樹的集合分類器，如adaboost，Randomforest0然而，根據(jù)本發(fā)明實施例的在圖像中檢測手指的設備700不受手指決策裝置730的具體實現(xiàn)方式的限制，只要其可以基于所確定的候選手指手掌的形狀特征來進行手指決策即可，因此，手指決策裝置730不僅可以使用現(xiàn)有的任何合適的技術(shù)來實現(xiàn)，而且還可以使用將來開發(fā)的具有基于所確定的候選手指手掌的形狀特征來進行手指決策的功能的其它技術(shù)來實現(xiàn)。手指決策裝置730通過對每個三元組進行決策來判別該三元組是否對應于人手，并且在該三元組對應于人手時，將該三元組分類為正三元組，而在該三元組不對應于人手時，將該三元組分類為負三元組。此外，手指決策裝置730還可以為每個正三元組分配不同的分類值，分類值越高表明該正三元組對應于人手的可能性越高。此外，在所述中軸提取裝置710還判斷是否還存在其它的候選手指手掌中軸未經(jīng)過決策。在判斷出不存在其它的候選手指手掌中軸未經(jīng)過判別/決策的情況下，中軸提取裝置710、形狀特征生成裝置720、和手指決策裝置730繼續(xù)進行候選手指手掌中軸的提取與決策。為了進行手勢識別，根據(jù)本發(fā)明實施例的在圖像中檢測手指的設備700還可以包括以下裝置關(guān)聯(lián)裝置740，其將所有屬于同一手的手指手掌中軸相關(guān)聯(lián)；手姿態(tài)生成裝置760，其生成手的姿態(tài)特征；以及手勢識別裝置770，其依據(jù)所生成的手的姿態(tài)特征進行手勢識別。換句話說，在手勢識別應用的擴展中，根據(jù)本發(fā)明實施例的在圖像中檢測手指的設備700可被稱為在圖像中進行手勢識別的設備。
關(guān)聯(lián)裝置740接收手指決策裝置730輸出的所有正三元組，并將其中屬于同一手的正三元組進行歸組與關(guān)聯(lián)。例如，關(guān)聯(lián)裝置740對于每個手指手掌中軸線，利用具有最高分類值的那對三元組。在此情況下，關(guān)聯(lián)裝置740可以以具有最高分類值的一個正三元組為基準，確定該正三元組的掌心點與具有最高分類值的另一正三元組的掌心點之間的距離，當該距離小于一給定閾值時，確定該正三元組與該另一正三元組屬于同一手。優(yōu)選地，關(guān)聯(lián)裝置740可以以一個正三元組為基準，以該正三元組的掌心點為中心以給定半徑為r繪制圓作為一掌心區(qū)域，并將其掌心點落入該掌心區(qū)域內(nèi)的三元組確定為與該基準正三兀組屬于同一手。手姿態(tài)生成裝置760基于候選手指手掌中軸或手形關(guān)鍵點(如指尖點、指根點、掌心點)可以獲得很多幾何特征的度量，例如，伸出手指指數(shù)、手指方向、指尖位置、手臂方向、掌心-指根點方向、指根點-手臂夾角等。針對不同的應用，可以獲得不同的幾何特征。手勢識別裝置770依據(jù)所獲得的手的姿態(tài)特征，進行手勢識別。手勢識別裝置770 可以利用隱馬爾科夫模型來進行手勢識別。然而，本發(fā)明不受具體的手勢識別方法的限制，基于本發(fā)明中所獲得的手姿態(tài)特征，可以利用現(xiàn)有的或?qū)黹_發(fā)的任何合適手勢識別方法來進行手勢識別。此外，根據(jù)本發(fā)明實施例的在圖像中檢測手指的設備700還可以包括手跟蹤裝置750，用于確定相鄰幀所檢測的手的對應關(guān)系。例如，手跟蹤裝置750可以采用基于匈牙利算法的雙向匹配、或基于Kalman濾波的位置概率預測來進行手跟蹤。然而，手跟蹤裝置750不限于此，其可以利用其它的現(xiàn)有的或?qū)黹_發(fā)的合適跟蹤技術(shù)來實現(xiàn)。在上面已經(jīng)通過示例描述了根據(jù)本發(fā)明實施例的在圖像中檢測手指的設備，利用該設備，通過提取出穿過候選手指手掌的候選手指手掌中軸，基于該候選手指手掌中軸生成與其對應的候選手指手掌的形狀特征，并根據(jù)所生成的候選手指手掌的形狀特征來判斷所述候選手指手掌中軸是否是來自人手的手指手掌中軸。由此，通過提取具有明晰物理意義的候選手指手掌的幾何形狀特征，可以穩(wěn)健地進行手指檢測，從而降低漏檢率和虛警率。此外，在上面也通過示例描述了根據(jù)本發(fā)明實施例的在圖像中進行手勢識別的設備，利用該設備，通過提取出候選手指手掌中軸，基于該候選手指手掌中軸生成與其對應的候選手指手掌的形狀特征，根據(jù)所述形狀特征判斷所述候選手指手掌中軸是否是來自人手的手指手掌中軸，將屬于同一手的所有手指手掌中軸關(guān)聯(lián)，提取手的姿態(tài)特征并由此進行手勢識別。由此，通過提取具有明晰物理意義的候選手指手掌的幾何形狀特征、以及手的幾何形狀特征，可以穩(wěn)健地進行手勢識別。此外，在根據(jù)本發(fā)明實施例的在圖像中檢測手指的方法及設備中，通過提取候選手指手掌中軸上的手形關(guān)鍵點，不僅可以得到具有明晰物理意義的幾何特征，還可以由此獲得手勢的重要姿態(tài)信息，由此可以有利地進行手勢識別。最后，在圖8中給出了應用根據(jù)本發(fā)明實施例的在圖像中檢測手指的設備的系統(tǒng)800。該系統(tǒng)800包括紅外攝像頭810、紅外光源820、投影儀830，計算機840、以及手勢識別裝置850。手勢識別裝置850可以利用根據(jù)本發(fā)明實施例的在圖像中檢測手指的設備(或在圖像中進行手勢識別的設備)700來實現(xiàn)。例如，通過利用圖8所示的系統(tǒng)，演講者可以在投影屏幕上用手指和手勢實現(xiàn)對電腦的交互式控制。然而，根據(jù)本發(fā)明實施例的在圖像中檢測手指的方法及設備不限于用于上述的系統(tǒng)800中。根據(jù)本發(fā)明實施例的在圖像中檢測手指的方法及設備可以應用于基于視覺的人機交互系統(tǒng)，比如交互式投影儀、交互式顯示器、交互式電子白板等。應當理解，可以以硬件、軟件、固件、專用處理器或它們的組合的各種形式來實現(xiàn)根據(jù)本發(fā)明實施例的在圖像中檢測手指的方法及設備。還應當理解，優(yōu)選地用軟件來實現(xiàn)在附圖中示出的一些組成系統(tǒng)組件和方法，因此這些系統(tǒng)組件或處理功能塊之間的實際連接可以根據(jù)本發(fā)明被編程的方式而不同。給出這里的描述，相關(guān)領(lǐng)域的普通技術(shù)人員將能夠想到本發(fā)明的這些和類似的實現(xiàn)或配置。盡管在這里參照附圖描述了本發(fā)明的一些實施例，但是應當理解，所述實施例僅是示例性的，而非限制性的。本領(lǐng)域技術(shù)人員應當理解，在不背離權(quán)利要求及其等價物中限定的本發(fā)明的范圍和精神的情況下，可以對這些示例性實施例做出各種形式和細節(jié) 上的變化。
權(quán)利要求
1.一種在圖像中檢測手指的方法，包括 在從所述圖像生成的ニ值圖中提取穿越候選手指手掌的候選手指手掌中軸； 依據(jù)所述候選手指手掌中軸，生成所述候選手指手掌的形狀特征；以及 根據(jù)人的手指手掌的形狀特征，判斷所述候選手指手掌中軸是否來自人手。
2.如權(quán)利要求I所述的方法，進ー步包括 將所有屬于同一手的手指手掌中軸進行關(guān)聯(lián)； 生成該手的姿態(tài)特征；以及 依據(jù)所述姿態(tài)特征，進行手勢識別。
3.如權(quán)利要求I所述的方法，其中，提取候選手指手掌中軸包括 對所述ニ值圖進行距離變換以生成距離變換圖，所述距離變換為對于所述ニ值圖中每一前景像素計算該前景像素到背景像素的最近距離以作為該前景像素的距離變換值，而背景像素的距離變換值為O ; 在所述ニ值圖中檢測候選指尖點； 以所述候選指尖點為起點，從所述距離變換圖中提取候選手指手掌中軸。
4.如權(quán)利要求I所述的方法，其中，生成所述候選手指手掌的形狀特征包括 在所述候選手指手掌中軸中提取手形關(guān)鍵點，所述手形關(guān)鍵點至少包括候選指尖點、候選指根點、和候選掌心點；以及 基于所提取的手形關(guān)鍵點，確定所述候選手指手掌的形狀特征。
5.如權(quán)利要求4所述的方法，其中， 所述形狀特征至少包括以下至少ー項候選手指寬度、歸ー化候選手指長度、和歸ー化候選手掌寬度， 其中，所述候選手指寬度為所述候選指根點處的距離變換值，所述歸ー化候選手指寬度為將所述候選指尖點與所述候選指根點之間的中軸長度除以所述候選手指寬度所得的商值，所述歸ー化候選手掌寬度為將所述候選掌心點處的距離變換值除以所述候選手指寬度所得的商值。
6.如權(quán)利要求2所述的方法，其中， 所述手的姿態(tài)特征包括以下至少ー項伸出手指指數(shù)、手指方向、指尖位置、以及手臂方向。
7.一種用于在圖像中檢測手指的設備，包括 中軸提取裝置，其在從所述圖像生成的ニ值圖中提取穿越候選手指手掌的候選手指手掌中軸； 形狀特征生成裝置，其依據(jù)所述候選手指手掌中軸生成所述候選手指手掌的形狀特征；以及 手指決策裝置，其根據(jù)人的手指手掌的形狀特征判斷所述候選手指手掌中軸是否來自人手。
8.如權(quán)利要求7所述的設備，進一歩包括 關(guān)聯(lián)裝置，其將所有屬于同一手的手指手掌中軸相關(guān)聯(lián)； 手姿態(tài)生成裝置，其生成手的姿態(tài)特征；以及 手勢識別裝置，其依據(jù)所生成的手的姿態(tài)特征進行手勢識別。
9.如權(quán)利要求7所述的設備，其中，所述中軸提取裝置包括 距離變換部件，其對所述ニ值圖進行距離變換以生成距離變換圖； 指尖點檢測部件，其在所述ニ值圖中檢測候選指尖點；以及 中軸形成部件，其以所述候選指尖點為起點，從所述距離變換圖中提取候選手指手掌中軸。
10.如權(quán)利要求7所述的設備，其中，所述形狀特征生成裝置包括 關(guān)鍵點提取部件，其在所述候選手指手掌中軸中提取手形關(guān)鍵點，所述手形關(guān)鍵點至少包括候選指尖點、候選指根點、和候選掌心點；以及 形狀特征確定部件，其基于所提取的手形關(guān)鍵點確定所述候選手指手掌的形狀特征。
全文摘要
提供了一種在圖像中檢測手指的方法及設備。所述方法包括在從所述圖像生成的二值圖中提取穿越候選手指手掌的候選手指手掌中軸；生成所述候選手指手掌中軸所對應的候選手指手掌的形狀特征；以及根據(jù)人的手指手掌的形狀特征，判斷所述候選手指手掌中軸是否來自人手。所述在圖像中檢測手指的方法及設備通過在圖像中提取出具有顯著物理意義的特征并利用所提取的特征進行手指檢測，來準確高效地檢測手指。
文檔編號G06T7/00GK102855461SQ20111018524
公開日2013年1月2日 申請日期2011年7月1日 優(yōu)先權(quán)日2011年7月1日
發(fā)明者章鵬, 李滔, 熊懷欣 申請人:株式會社理光