基于物件追蹤的手勢辨識方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種基于物件追蹤的手勢辨識方法及系統(tǒng)，包括對操作區(qū)域打光，能在接收的影像中產(chǎn)生因物件反光而形成的亮區(qū)，從該亮區(qū)的重心位置、平均亮度或面積的變化判斷手勢，據(jù)以產(chǎn)生指令。本發(fā)明以簡單的操作及運算即可檢測物件在影像的X軸、Y軸或Z軸的運動，進而辨識出物件移動所表達的手勢。
【專利說明】基于物件追蹤的手勢辨識方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明是有關(guān)一種手勢檢測，特別是關(guān)于一種動態(tài)手勢辨識。
【背景技術(shù)】
[0002]手勢控制系統(tǒng)提供簡單且直覺式的操作便利性，但是使用諸如觸控面板這類接觸式的人機接口的系統(tǒng)限制使用者必須緊貼該接口操作，對于某些應(yīng)用而言相當不便。相反的，使用非接觸式接口的手勢控制系統(tǒng)讓使用者能在相對較遠的距離操作，但是必須通過影像的擷取及辨識來判斷手勢，所以難度較高。
[0003]一種已知的手勢辨識方法是輸入可見光影像，從影像中辨識膚色范圍，再對膚色范圍辨識形狀找出手的位置，依據(jù)連續(xù)影像中手的位置的變化追蹤手的位移，進而判斷出手勢。然而膚色分析需要很復(fù)雜的演算法，而且與環(huán)境光有密切的關(guān)系，錯誤率比較高。手勢的形狀辨識也需要復(fù)雜的演算法，還要求使用者維持固定的手勢形狀，例如五指張開或手指比著V字形，因此不能檢測某些手勢，例如翻掌、握拳變張開手指、張開手指變握拳。不同使用者的手結(jié)構(gòu)差異也增加辨識的困難度或錯誤率。其他的缺點還有暗處無法檢測、需要特定的手掌起手式等等。由于依賴形狀辨識來追蹤手的位移，所以這類方法只能辨識在影像的X軸及Y軸運動的手勢，不能辨識在影像的Z軸運動的手勢，因此不能檢測手向前推或向后拉的手勢。在某些應(yīng)用中，例如手機或筆記本電腦，使用者的背后可能會有人體移動，這也可能造成辨識錯誤。
[0004]另一種依靠連續(xù)影像的手勢辨識方法，例如微軟的體感裝置Kinect，除了二維的影像分析以外，還利用影像的深度信息來建立人體的骨架模型，再藉骨架模型來追蹤手的位置變化以進行手勢辨識。這種方法使用的演算法更復(fù)雜，需要更多運算時間，雖然可以檢測在影像的Z軸運動的手勢，但是只能應(yīng)用在一個固定的操作距離，而且允許使用者前后移動的空間很小，如果使用者不在預(yù)設(shè)的操作距離上，或是使用環(huán)境不足以提供預(yù)設(shè)的操作距離，那么這種辨識系統(tǒng)就不能使用。這種操作距離的僵固性對手勢辨識系統(tǒng)的制造商造成困擾，制造商只能預(yù)設(shè)一個合理的操作距離，并以其為基礎(chǔ)設(shè)定手勢辨識系統(tǒng)的參數(shù)值，因此這種辨識系統(tǒng)無法適用在不同的場合。
[0005]上述兩種方法皆需大量的運算，因此軟硬件的成本比較高，不適合某些較簡單的應(yīng)用，而且大量的運算還會造成系統(tǒng)的反應(yīng)較慢。上述兩種方法也不適合短距離的應(yīng)用，例如操作距離在I米以內(nèi)時，系統(tǒng)的穩(wěn)定度會變差。此外，上述兩種方法都需要依賴手的膚色和輪廓來作辨識，所以載手套、手指卷曲或手指不全也不適用，當然也不適用在其他物件操作，例如筆或紙卷。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的之一，在于提出一種簡單的手勢辨識方法及系統(tǒng)。
[0007]本發(fā)明的目的之一，在于提出一種較低成本的手勢辨識方法及系統(tǒng)。
[0008]本發(fā)明的目的之一，在于提出一種基于物件追蹤的手勢辨識方法及系統(tǒng)。[0009]本發(fā)明的目的之一，在于提出一種可調(diào)整操作距離的手勢辨識方法及系統(tǒng)。
[0010]本發(fā)明的目的之一，在于提出一種可檢測物件的三維運動的手勢辨識方法及系統(tǒng)。
[0011]本發(fā)明的目的之一，在于提出一種適用廣泛的操作物件的手勢辨識方法及系統(tǒng)。
[0012]根據(jù)本發(fā)明，一種基于物件追蹤的手勢辨識方法包括提供光線向操作區(qū)域投射，接收來自該操作區(qū)域的影像，檢測該影像中的亮區(qū)，以及從該亮區(qū)的重心位置、平均亮度或面積的變化判斷手勢。
[0013]根據(jù)本發(fā)明，一種基于物件追蹤的手勢辨識系統(tǒng)包括發(fā)光單元提供光線向操作區(qū)域投射，影像感測器從該操作區(qū)域擷取影像，以及處理器檢測該影像中的亮區(qū)，利用該亮區(qū)提供的信息進行物件追蹤，以及將該物件追蹤的結(jié)果比對手勢定義，以判斷操作手勢。
[0014]本發(fā)明的手勢辨識方法不需要運算復(fù)雜的深度信息，也不需要知道使用者的手部形狀或膚色等等的信息，在應(yīng)用上相對便利，軟硬件的成本也比較低，而且系統(tǒng)的反應(yīng)快。此外，因為不需要辨識手部形狀或膚色，所以操作物件不限于手，只要能反射投射光的物件皆可適用。由于操作距離可動態(tài)切換，因此對使用者的空間限制較松。
【專利附圖】

【附圖說明】
[0015]圖1是本發(fā)明的手勢辨識系統(tǒng)的實施例；
[0016]圖2是本發(fā)明的手勢辨識方法的實施例；
[0017]圖3是利用重心位置的變化判斷手勢的示意圖；
[0018]圖4是利用重心位置的變化判斷手勢的示意圖；
[0019]圖5是利用重心位置的變化判斷手勢的示意圖；
[0020]圖6是利用平均亮度的變化判斷手勢的示意圖；
[0021]圖7是物件的前后移動造成亮區(qū)面積變化的示意圖；
[0022]圖8是利用面積的變化判斷手勢的示意圖；
[0023]圖9是切換操作距離的示意圖；
[0024]圖10是利用影像處理的技巧切換操作距離的示意圖；
[0025]圖11是使用可移動的透鏡調(diào)整光的投射角度的實施例；
[0026]圖12是使用可移動的拋物面反射鏡調(diào)整光的投射角度的實施例；
[0027]圖13是自動切換操作距離的實施例；
[0028]圖14是自動切換操作距離的實施例；以及
[0029]圖15是縮減取樣以縮減影像的示意圖。
[0030]附圖標號:
[0031]10影像感測器
[0032]12發(fā)光單元
[0033]14處理器
[0034]16 物件
[0035]18發(fā)光源
[0036]20發(fā)光源
[0037]22輸入影像[0038]24檢測亮區(qū)
[0039]26物件追蹤
[0040]28計算重心位置
[0041]30計算重心位置的變化
[0042]32手勢比對
[0043]34產(chǎn)生指令
[0044]36計算平均亮度
[0045]38計算平均亮度的變化
[0046]40計算面積
[0047]42計算面積的變化
[0048]44優(yōu)化
[0049]46影像
[0050]48影像
[0051]50影像
[0052]52光學(xué)感測陣列
[0053]54透鏡
[0054]56透鏡
[0055]58拋物面反射鏡
[0056]60預(yù)設(shè)操作距離
[0057]62檢測移動物件
[0058]64檢測手勢
[0059]66切換操作距離
[0060]68計算亮區(qū)的面積
[0061]70判斷亮區(qū)占一幀影像的面積比例
【具體實施方式】
[0062]參照圖1的實施例，本發(fā)明的手勢辨識系統(tǒng)包括影像感測器10、發(fā)光單元12及處理器14。影像感測器10的視角為Θ，由其定義的視錐范圍即影像感測器10可擷取影像的區(qū)域。物件16的操作距離為D，視錐在此距離的截面為物件16的操作區(qū)域A。處理器14分別藉控制信號Si及SI控制影像感測器10及發(fā)光單元12，發(fā)光單元12提供可見光或不可見光向操作區(qū)域A投射，影像感測器10感測的波長范圍包括發(fā)光單元12提供的光的波長。物件16反射發(fā)光單元12提供的光，在影像感測器10接收到的影像中形成亮區(qū)。影像感測器10把接收到的影像以視訊VI傳給處理器14，處理器14利用亮區(qū)提供的信息來追蹤物件16，進而判斷手勢，據(jù)以產(chǎn)生指令Sc。
[0063]處理器14可藉切換影像感測器10的視角Θ或利用影像處理技巧來切換操作距離O。影像感測器10可使用定焦鏡頭或變焦鏡頭。若使用定焦鏡頭，則影像感測器10的視角Θ是固定的。若使用變焦鏡頭，則影像感測器10的視角Θ可動態(tài)調(diào)整。
[0064]較佳者，發(fā)光單元12是可調(diào)整的，例如，操作距離D越遠時，發(fā)光單元12提供越高亮度的光。調(diào)整發(fā)光單元12的方式有很多種，例如，因應(yīng)操作距離D的改變調(diào)整發(fā)光單元12的操作電流，以調(diào)整發(fā)光單元12提供的光亮度；或者在發(fā)光單元12中配置不同出光角度的發(fā)光源18及20，在較近的操作距離D時使用發(fā)光源18，在較遠的操作距離D時切換為發(fā)光源20，其中發(fā)光源18具有較大的出光角度,而發(fā)光源20具有相對較小的出光角度；或者使用光學(xué)組件來調(diào)整發(fā)光單元12的出光角度。
[0065]參照圖2，在一實施例中，步驟22輸入影像，步驟24檢測影像中的亮區(qū)，然后步驟26利用亮區(qū)提供的信息進行物件追蹤，例如，步驟28計算亮區(qū)的重心位置，步驟30計算重心位置的變化，步驟32把重心位置的變化與預(yù)設(shè)的手勢定義比對，如果符合某一定義的手勢，則步驟34產(chǎn)生該手勢相對應(yīng)的指令Sc，如果重心位置的變化不符合任何手勢定義，則回到步驟22繼續(xù)輸入影像實施辨識。
[0066]較佳者，步驟22具有影像緩沖的功能，當處理器14在進行其他步驟時，步驟22即可先讀入下一幀(frame)影像，如此可以縮短整體辨識作業(yè)的時間，加快辨識系統(tǒng)的反應(yīng)速率。
[0067]在進行步驟24時，使用一個門檻值作為比較基準，只有亮度超過門檻值的像素被列為亮區(qū)的元素。例如，影像感測器10的亮度分為32階，門檻值設(shè)為18階，只有亮度在18階以上的影像區(qū)塊會被判定為亮區(qū)?；氐綀D1，雖然物件16的背后可能會有其他物件，但是經(jīng)過門檻值的篩選后被排除了。較佳者，發(fā)光單元12提供的是不可見光，以避免可見光的干擾。較佳者，檢測亮區(qū)所用的門檻值是可調(diào)整的。
[0068]圖3、圖4到圖5是揭露利用亮區(qū)的重心位置的變化來判斷物件16的運動(如:使用者的手勢)的示意圖。在圖3中，連續(xù)多幀影像的亮區(qū)計算出來的重心位置Pl到P5顯示朝向一特定方向，因此處理器14可判定使用者的手勢是朝向該特定方向運動。在圖4中，重心位置的移動向量顯示其運動方向改變達到角度α，因此可判定手勢是轉(zhuǎn)向，依此原理，若使用者的手勢是進行旋轉(zhuǎn)手勢的動作時，便可透過前述計算重心位置、移動向量和兩個移動向量之間的角度的方法，而判定手勢是旋轉(zhuǎn)，如圖5所示。
[0069]回到圖2，如前所述，步驟28及30是追蹤物件16在影像的X軸及Y軸的運動，要追蹤物件16在影像的Z軸的運動，可以利用亮區(qū)提供的其他信息，例如平均亮度或面積的變化。例如圖2中所示，步驟36計算亮區(qū)的平均亮度，步驟38計算平均亮度的變化，步驟32根據(jù)平均亮度的變化與預(yù)設(shè)的手勢定義比對的結(jié)果，決定到步驟34或22。參照圖1，物件16相對于影像感測器10的前后移動會造成反光亮度的變化，進而造成亮區(qū)的平均亮度改變，例如參照圖6所示，連續(xù)多幀影像的亮區(qū)平均亮度遞減，表示物件16離影像感測器10更遠，因此手勢為物件16拉回；反之，連續(xù)多幀影像的亮區(qū)平均亮度遞增，表示物件16向影像感測器10靠近，因此手勢為推出。計算亮區(qū)的平均亮度只需要很簡單的運算，例如把亮區(qū)的每一個像素的亮度相加后，再除以亮區(qū)包括的像素數(shù)量，此運算也可以在執(zhí)行步驟24時一起執(zhí)行。
[0070]參照圖1，由于透視的緣故，只要視角Θ維持不變，則物件16在影像感測器10取得的影像中，其大小會隨著物件16與影像感測器10的距離改變，因此物件16相對于影像感測器10的前后移動會造成亮區(qū)面積的變化，例如參照圖7所示，在一幀影像46中，物件16距離影像感測器10較近產(chǎn)生的亮區(qū)48會比距離影像感測器10較遠產(chǎn)生的亮區(qū)50更大?；氐綀D2，步驟40計算亮區(qū)的面積，步驟42計算面積的變化，步驟32根據(jù)面積的變化與預(yù)設(shè)的手勢定義比對的結(jié)果，決定到步驟34或22。例如參照圖8所示，連續(xù)多幀影像的亮區(qū)面積遞減表示物件16是向后拉回的手勢，連續(xù)多幀影像的亮區(qū)面積遞增表示物件16是向前推出的手勢。計算亮區(qū)的面積只需要計算亮區(qū)包括的像素數(shù)量即可，因此運算很簡單，而且可以在執(zhí)行步驟24時一起執(zhí)行。值得一提的是，上述檢測物件16于Z軸上運動的方式可以同時結(jié)合上述步驟36、38以及步驟40、42的結(jié)果而決定，意即:可同時根據(jù)平均亮度的變化以及亮區(qū)面積的變化而判斷物件16于Z軸上的運動。
[0071]回到圖2，在步驟24后可增加步驟44來優(yōu)化檢測結(jié)果，以提高準確度，例如使用已知技術(shù)的斷開運算(opening operation),包括侵蝕(erosion)及擴張(dilation)處理，以去除雜訊在影像中產(chǎn)生的雜點；又例如，在檢測到一幀影像包括數(shù)個分離區(qū)塊的亮區(qū)時，選擇最亮的區(qū)塊，其余的舍棄；又例如，舍棄面積不在某個區(qū)間內(nèi)的亮區(qū)。
[0072]圖9是切換操作距離的示意圖。如前所述，切換影像感測器10的視角可切換操作距離，例如，視角從Θ1切換到Θ 2，相當于操作距離從Dl切換到D2，但操作區(qū)域Al的大小維持不變。在相同的視角Θ2下，在較近的操作距離Dl的操作區(qū)域A2會小于在更遠的操作距離D2的操作區(qū)域Al，因此物件16在操作區(qū)域A2產(chǎn)生的影像會比較大。特別地，此系統(tǒng)可根據(jù)操作距離動態(tài)切換影像感測器10接收影像的位置(D)或大小(A)。即使不切換影像感測器10的視角，亦可利用影像處理的技巧達到切換操作距離的效果，例如參照圖10所示，在影像感測器10中，光學(xué)感測陣列52及透鏡54的硬體配置為視角60°，如果只擷取光學(xué)感測陣列52取得的影像的中央一部分，則其效果相當于擷取較遠操作距離的影像，例如，光學(xué)感測陣列52取得的影像大小為100 X 100，如果只擷取該影像的中央大小為50 X 50的區(qū)塊，則相當于以視角30°擷取影像。利用此技巧，即使影像感測器10是使用定焦鏡頭，依然可切換操作距離。較佳者，當切換操作距離時，也控制發(fā)光單元12切換其發(fā)光亮度或投射角度。變化地，亦可切換影像感測器10的光敏感度，例如電路增益，或切換步驟24用來檢測亮區(qū)的門檻值，效果如同切換發(fā)光單元12的發(fā)光亮度或投射角度。
[0073]圖11及圖12是使用光學(xué)組件調(diào)整發(fā)光單元12的實施例，二者分別使用可移動的透鏡56及拋物面反射鏡58來調(diào)整光的投射角度。
[0074]亦可由系統(tǒng)自動切換操作距離，例如參照圖13的實施例，步驟60預(yù)設(shè)操作距離，例如系統(tǒng)允許的最短距離，在此操作距離，步驟62檢測是否有物件移動，若檢測到有物件移動，則步驟64進行手勢檢測以產(chǎn)生指令Sc，若未檢測到有物件移動，則步驟66切換操作距離，例如增加操作距離，再回到步驟62檢測是否有物件移動。此實施例可用來搜尋操作物件，并將系統(tǒng)切換到最合適的操作距離。值得一提的是，上述所謂是否檢測到有物件移動，是指物件影像是否達到一定品質(zhì)的要求，而符合物件檢測的標準，其中品質(zhì)的要求例如是亮度是否達到一亮度門檻值、亮度變化程度是否達到一亮度變化門檻值，或亮區(qū)面積的變化的程度是否到達到一面積變化門檻值等等。
[0075]在另一實施例中，參照圖14，步驟68計算亮區(qū)的面積R，步驟70判斷亮區(qū)占一幀影像的面積比例R/A是否在門檻值Tl與Th之間，若是，則步驟64進行手勢檢測以產(chǎn)生指令Sc，否則步驟66切換操作距離，再回到步驟68。
[0076]如果因為動態(tài)調(diào)整導(dǎo)致要辨識的影像大小不同，例如圖10所示的狀況，可以在影像感測器10送出影像前先將影像正規(guī)化(normalization),例如使用已知的尺度調(diào)整(scaling)或縮減取樣(downsampling)等技術(shù),在影像辨識前把所有的影像都調(diào)整成大小一致。圖15是縮減取樣的示意圖，將每2X2的像素的亮度平均后當作一個像素的亮度，可將一巾貞IOOX 100的影像framel縮減成50X50的影像frame2。
[0077]本發(fā)明的手勢辨識方法不需要運算復(fù)雜的深度信息，也不需要知道使用者的手部形狀或膚色等等的信息，在應(yīng)用上相對便利，軟硬件的成本也比較低，而且系統(tǒng)的反應(yīng)快。此外，因為不需要辨識手部形狀或膚色，所以操作物件不限于手，只要能反射投射光的物件皆可適用。由于操作距離可動態(tài)切換，因此對使用者的空間限制較松。
[0078]以上對于本發(fā)明的較佳實施例所作的敘述是為闡明的目的，而無意限定本發(fā)明精確地為所揭露的形式，基于以上的教導(dǎo)或從本發(fā)明的實施例學(xué)習而作修改或變化是可能的，實施例是為解說本發(fā)明的原理以及讓本領(lǐng)域技術(shù)人員以各種實施例利用本發(fā)明在實際應(yīng)用上而選擇及敘述，本發(fā)明的技術(shù)思想企圖由權(quán)利要求及其均等來決定。
【權(quán)利要求】
1.一種基于物件追蹤的手勢辨識方法，其特征在于，所述基于物件追蹤的手勢辨識方法包括下列步驟: A)提供光線向操作區(qū)域投射； B)從所述操作區(qū)域擷取影像； C)檢測所述影像中的亮區(qū)； D)利用所述亮區(qū)提供的信息進行物件追蹤；以及 E)將所述物件追蹤的結(jié)果比對手勢定義，以判斷操作手勢。
2.如權(quán)利要求1的手勢辨識方法，其特征在于，所述步驟B)包括正規(guī)化所述影像的大小。
3.如權(quán)利要求1的手勢辨識方法，其特征在于，所述步驟C)包括使用門檻值比較所述影像的像素的売度，以決定所述売區(qū)。
4.如權(quán)利要求1的手勢辨識方法，其特征在于，所述步驟D)包括下列步驟: 計算所述亮區(qū)的平均亮度；以及 計算所述平均亮度的變化。
5.如權(quán)利要求1的手勢辨識方法，其特征在于，所述步驟D)包括下列步驟:` 計算所述亮區(qū)的面積；以及 計算所述面積的變化。
6.如權(quán)利要求1的手勢辨識方法，其特征在于，所述的手勢辨識方法更包括切換向所述操作區(qū)域投射光線的亮度。
7.如權(quán)利要求1的手勢辨識方法，其特征在于，所述的手勢辨識方法更包括切換向所述操作區(qū)域投射光線的角度。
8.如權(quán)利要求1的手勢辨識方法，其特征在于，所述的手勢辨識方法更包括切換操作距離。
9.如權(quán)利要求1的手勢辨識方法，其特征在于，所述的手勢辨識方法更包括從所述影像擷取一部分，以達到等同于切換操作距離。
10.如權(quán)利要求1的手勢辨識方法，其特征在于，所述的手勢辨識方法更包括下列步驟: 以第一操作距離檢測是否有物件移動；以及 若未檢測到有物件移動，則切換到第二操作距離。
11.如權(quán)利要求1的手勢辨識方法，其特征在于，所述的手勢辨識方法更包括下列步驟: 在第一操作距離時計算所述亮區(qū)的面積； 判斷所述亮區(qū)占所述影像的面積比例是否在二門檻值之間；以及 若所述亮區(qū)占所述影像的面積比例不在二門檻值之間，則切換到第二操作距離。
12.一種基于物件追蹤的手勢辨識系統(tǒng)，其特征在于，所述的基于物件追蹤的手勢辨識系統(tǒng)包括: 受控制的發(fā)光單元，提供光線向操作區(qū)域投射； 影像感測器，從所述操作區(qū)域擷取影像；以及 處理器，連接所述發(fā)光單元及所述影像感測器，從所述影像感測器接收所述影像，檢測所述影像中的亮區(qū)，利用所述亮區(qū)提供的信息進行物件追蹤，以及將所述物件追蹤的結(jié)果比對手勢定義，以判斷操作手勢。
13.如權(quán)利要求12的手勢辨識系統(tǒng)，其特征在于，所述影像感測器正規(guī)化所述影像的大小。
14.如權(quán)利要求12的手勢辨識系統(tǒng)，其特征在于，所述處理器使用門檻值比較所述影像的像素的売度，以決定所述売區(qū)。
15.如權(quán)利要求12的手勢辨識系統(tǒng)，其特征在于，所述處理器計算所述亮區(qū)的平均亮度，以及計算所述平均亮度的變化。
16.如權(quán)利要求12的手勢辨識系統(tǒng)，其特征在于，所述處理器計算所述亮區(qū)的面積，以及計算所述面積的變化。
17.如權(quán)利要求12的手勢辨識系統(tǒng)，其特征在于，所述處理器控制所述影像感測器切換視角。
18.如權(quán)利要求12的手勢辨識系統(tǒng)，其特征在于，所述處理器控制所述影像感測器切換光敏感度。
19.如權(quán)利要 求12的手勢辨識系統(tǒng)，其特征在于，所述處理器控制所述發(fā)光單元切換光線的亮度。
20.如權(quán)利要求12的手勢辨識系統(tǒng)，其特征在于，所述處理器控制所述發(fā)光單元切換出光角度。
21.如權(quán)利要求20的手勢辨識系統(tǒng)，其特征在于，所述處理器控制所述發(fā)光單元切換具有不同發(fā)光角度的發(fā)光源。
22.如權(quán)利要求20的手勢辨識系統(tǒng)，其特征在于，所述處理器控制所述發(fā)光單元中的透鏡或反射鏡移動，以切換所述出光角度。
【文檔編號】G06F3/01GK103777741SQ201210400872
【公開日】2014年5月7日 申請日期:2012年10月19日 優(yōu)先權(quán)日:2012年10月19日
【發(fā)明者】黃昱豪, 許恩峰, 高銘璨 申請人:原相科技股份有限公司