專利名稱：電子游戲控制裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電子游戲領(lǐng)域，特別是涉及一種電子游戲控制裝置。本發(fā)明還涉及一種電子游戲的控制方法
背景技術(shù)：
隨著人們娛樂生活的多樣性，電子游戲已經(jīng)成為一種比較好的休閑娛樂方式。在業(yè)界，許多公司都投入到了電子游戲開發(fā)這個行列中來，開發(fā)出了許多娛樂性的電子游戲。 這些電子游戲可以是單機版的，也可以是網(wǎng)絡(luò)版的。雖然電子游戲數(shù)量越來越多，娛樂性和參與性也越來越強，但游戲的控制方式卻都沒發(fā)生根本性變化；一般不外乎采用鍵盤、鼠標(biāo)、游戲手柄等有線設(shè)備，對于電視機、機頂盒等近端設(shè)備的控制一般由游戲玩家操作遙控器來完成。近幾年來，隨著體感互動游戲的流行，也出現(xiàn)了一些帶加速度傳感器的無線游戲手柄，如任天堂公司的Wii游戲手柄。這些帶加速度傳感器的游戲手柄可以感知出游戲玩家的手部動作，游戲玩家可以通過舞動手中的游戲手柄來參與游戲。不管是有線的鍵盤、鼠標(biāo)和游戲手柄，還是帶加速度傳感器的無線游戲手柄，游戲玩家都必須用手操控一種設(shè)備才能參與游戲。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種電子游戲控制裝置，游戲玩家能夠在不需要操控任何設(shè)備的情況下參與到游戲中；為此本發(fā)明還要提供一種電子游戲的控制方法。為解決上述技術(shù)問題，本發(fā)明的電子游戲控制裝置包括攝像頭，與攝像頭相連接的游戲主機；所述攝像頭用于拍攝人體動作圖像并將該圖像傳送給游戲主機；其特征在于所述游戲主機對圖像進(jìn)行跟蹤和檢測，定位出臉部和手部位置，通過連續(xù)地跟蹤和檢測逐幀圖像的臉部和手部位置，計算出臉部和手部的移動方向，采用所述的臉部和/或手部的移動方向信息作為游戲的控制輸入信號。本發(fā)明的電子游戲的控制方法包括如下步驟步驟一、初始化；檢測游戲主機上是否插有攝像頭；如有，則對攝像頭進(jìn)行初始化，如沒有，則提示游戲玩家將攝像頭插入到游戲主機上；步驟二、臉部初始位置檢測；游戲玩家保持臉部端正，不傾斜，并在攝像頭的鏡頭內(nèi)某一位置保持10幀圖像的時間；檢測出臉部初始位置區(qū)域后，截取位于臉部初始位置區(qū)域正中心，面積為臉部初始位置區(qū)域一半的區(qū)域作為參考膚色區(qū)域，同時記錄下臉部初始位置區(qū)域的面積和長寬比例；把參考膚色區(qū)域內(nèi)的圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，統(tǒng)計出參考膚色區(qū)域內(nèi)的色相分量H的分布；步驟三、手部初始位置檢測；將檢測出臉部初始位置區(qū)域的整幅圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，尋找出整幅圖像內(nèi)色相分量H分布與參考膚色區(qū)域內(nèi)的色相分
5量H分布相接近的區(qū)域，得到匹配處理過的二值圖像；對匹配處理過的二值圖像進(jìn)行腐蝕， 膨脹操作，得到手部初始位置的潛在區(qū)域；將手部初始位置的潛在區(qū)域按面積大小進(jìn)行排序，剔除面積大于參考膚色區(qū)域面積的區(qū)域，以及排除臉部初始位置區(qū)域本身，剩下的分別位于臉部初始位置區(qū)域一左一右的2個面積較大的區(qū)域即為人體的左右手的初始位置；步驟四、正常跟蹤；跟蹤算法將臉部和手部初始位置作為跟蹤參考起點，在參考起點附近的相關(guān)區(qū)域進(jìn)行膚色匹配，膚色最匹配的區(qū)域即為跟蹤算法計算出來的當(dāng)前幀圖像內(nèi)臉部和手部的位置；與此同時，檢測算法進(jìn)行整幅圖像范圍內(nèi)的膚色匹配，所有整幅圖像內(nèi)色相分量統(tǒng)計信息和參考膚色區(qū)域內(nèi)的色相分量統(tǒng)計信息在一定誤差閾值內(nèi)的區(qū)域都假定為潛在的手部和臉部位置；如果跟蹤算法計算出來的臉部和手部位置在檢測算法中都有相應(yīng)的區(qū)域與之對應(yīng)，則將跟蹤算法計算得出的臉部和手部位置信息作為當(dāng)前幀圖像的臉部和手部位置信息輸出，并將當(dāng)前幀圖像的臉部和手部位置信息作為下一幀圖像的臉部和手部位置跟蹤的新的參考起點；如果跟蹤算法計算出來的臉部和手部位置在檢測算法中無相應(yīng)的區(qū)域與之對應(yīng)， 且跟蹤算法返回的迭代信息表明此位置的迭代次數(shù)高于平均迭代次數(shù)一定閾值時，則對臉部和手部的位置進(jìn)行更新；利用跟蹤和檢測相結(jié)合的方法計算出臉部和手部的位置，通過逐幀圖像連續(xù)計算臉部和手部的位置，單一幀的臉部和手部的位置即可轉(zhuǎn)化為臉部和手部的空間移動方向信息，臉部和/或手部移動方向信息即可作為游戲控制的輸入信號。本發(fā)明為電子游戲提供了一種新的參與控制玩法，游戲玩家可以不需要借助鍵盤、鼠標(biāo)或游戲手柄等游戲操控設(shè)備，直接利用臉部和手部的空間移動來控制游戲。在一些體感式游戲中，比如乒乓球、頭部頂球、足球守門員等游戲，本發(fā)明能夠使游戲玩家更加靈活、便捷、輕松自如地參與到游戲之中，并且在游戲中能隨心所欲對游戲進(jìn)行控制。


下面結(jié)合附圖與具體實施方式
對本發(fā)明作進(jìn)一步詳細(xì)的說明圖1是本發(fā)明的電子游戲控制裝置一實施例示意圖；圖2是本發(fā)明的電子游戲控制裝置控制過程示意圖；圖3是參考膚色區(qū)域統(tǒng)計出的H、S和V三個分量的分布示意圖；圖4是圖1所示裝置中采用的跟蹤和檢測算法控制流程圖。
具體實施例方式參見圖1所示，在一實施例中所述電子游戲控制裝置包括攝像頭2和游戲主機1。 攝像頭2必須是彩色攝像頭；為了能夠讓人體(游戲玩家)3的所有動作都能在攝像頭鏡頭范圍之內(nèi)，攝像頭的分辨率最好能達(dá)到640X480，如LogiTech S7500 ；當(dāng)然，攝像頭的分辨率為320X240也是可以的。游戲主機1應(yīng)當(dāng)具有比較強的數(shù)據(jù)處理能力，如電腦。游戲主機1對與其連接的攝像頭2捕獲的人體動作圖像進(jìn)行跟蹤和檢測，識別出臉部和手部的位置，通過逐幀圖像的臉部和手部位置處理，就可計算出臉部和手部的移動方向，這些移動方向信息即可作為游戲的輸入控制信號。
參見圖2，所述電子游戲控制裝置計算出臉部和手部的移動方向，控制游戲的過程是(1)、初始化系統(tǒng)開始工作前，首先檢測游戲主機1上是否插有攝像頭2 ；如有，則對攝像頭2 進(jìn)行初始化，如沒有，則提示游戲玩家將攝像頭插入到游戲主機1上。O)、臉部初始位置檢測主要完成兩個功能A、識別出游戲玩家的臉部初始位置；B、根據(jù)識別出來的臉部初始位置區(qū)域統(tǒng)計出參考膚色的色相分量H(Hue色相)的分布。臉部初始位置識別采用了經(jīng)由一千多張臉部照片訓(xùn)練出來的臉部模板技術(shù)。在臉部初始位置識別過程中，游戲玩家必須保持臉部端正，不傾斜，并在攝像頭的鏡頭內(nèi)某一位置保持大約10幀圖像的時間。在后續(xù)的正常跟蹤狀態(tài)下，為防止誤捕捉，系統(tǒng)只在鏡頭內(nèi)某一位置連續(xù)10幀圖像的時間內(nèi)都檢測到有臉部圖像存在，才認(rèn)為此區(qū)域為游戲玩家的臉部位置區(qū)域。在成功檢測出臉部初始位置區(qū)域后，截取位于臉部初始位置區(qū)域正中心，面積為臉部初始位置區(qū)域一半的區(qū)域作為參考膚色區(qū)域，同時記錄下臉部初始位置區(qū)域的面積和長寬比例。該臉部初始位置區(qū)域的面積和長寬比例，在后續(xù)的正常跟蹤狀態(tài)下，將作為判斷游戲玩家臉部圖像是否丟失的參考依據(jù)。截取臉部位置區(qū)域一半的區(qū)域作為參考膚色區(qū)域是為了將緊靠臉部輪廓附近的背景色干擾消除。把參考膚色區(qū)域內(nèi)的圖像從RGB顏色空間轉(zhuǎn)換到HSV(也叫HSB)顏色空間，統(tǒng)計出參考膚色區(qū)域內(nèi)的色相分量H的分布(或稱為參考膚色H分布統(tǒng)計)，用于后續(xù)正常跟蹤狀態(tài)下，臉部和手部移動位置的跟蹤和檢測的初始參照依據(jù)(參考起點)。圖3是對一幅臉部位置區(qū)域的圖像截取出參考膚色區(qū)域，并統(tǒng)計出H(Hue色相)， S(Mturation飽和度)和V(Brightness亮度)三個分量的分布示意圖。從中可以很明顯的看出色相分量H分布最窄，對該示例而言，分布范圍為W，40]的區(qū)域，而且主要是集中在[10，25]的區(qū)域。這意味著H分量對某一顏色的區(qū)分度最強，所以本發(fā)明的實施例中將 H分量用于游戲玩家的臉部和手部移動位置的跟蹤和檢測(即游戲玩家的臉部和手部移動位置的跟蹤和檢測采用膚色匹配的方式實現(xiàn))。對于分辨率高，輸出像素位數(shù)高的攝像頭還可以采用H和V分量聯(lián)合跟蹤和檢測的辦法，這樣可以極大的提高參考膚色區(qū)域的檢測精確度。出于成本和對處理器處理能力要求的考慮，在本發(fā)明的實施例中僅采用色相分量H用于膚色跟蹤和檢測。(3)、手部初始位置檢測在得到參考膚色區(qū)域內(nèi)的色相分量H的分布后進(jìn)行手部初始位置的檢測。將檢測出臉部初始位置區(qū)域的整幅圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，尋找出整幅圖像內(nèi)色相分量H分布中與參考膚色區(qū)域內(nèi)的色相分量H分布相接近的區(qū)域， 該過程稱為膚色區(qū)域檢測過程。在膚色區(qū)域檢測過程中，為排除背景噪聲的干擾，使用了 “閉合”處理技術(shù)。即對匹配處理過的二值圖像先進(jìn)行腐蝕(Erosion)操作，然后進(jìn)行膨脹 (Dilation)操作。這樣便可處理掉那些零星的，面積比較小的，不連續(xù)的偽膚色區(qū)域。最后被保留下來的區(qū)域是手部初始位置的潛在區(qū)域。將上述檢測出來的手部初始位置的潛在區(qū)域按面積大小進(jìn)行排序，剔除那些面積大于參考膚色區(qū)域面積的區(qū)域，以及排除臉部初始位置區(qū)域本身(即臉部整幅圖像)，剩下的分別位于臉部初始位置區(qū)域一左一右的2個面積較大的區(qū)域即可認(rèn)定是人體的左右手的初始位置。0)、正常跟蹤在成功地檢測出臉部和手部的初始位置后，系統(tǒng)即進(jìn)入正常跟蹤狀態(tài)，該狀態(tài)為系統(tǒng)主要的工作狀態(tài)，系統(tǒng)絕大部分時間內(nèi)都應(yīng)工作于此狀態(tài)下。在正常跟蹤狀態(tài)下，利用跟蹤和檢測相結(jié)合的方法計算出臉部和手部的位置。通過逐幀連續(xù)計算，單一幀的臉部和手部的位置即可轉(zhuǎn)化為臉部和手部的空間移動方向信息，這些移動方向信息即可作為游戲控制的輸入信號。整個跟蹤和檢測算法的控制流程可參見圖4。跟蹤算法把步驟( 和步驟( 計算得出的臉部和手部初始位置作為跟蹤參考起點，在參考起點附近的相關(guān)區(qū)域進(jìn)行膚色匹配，膚色最匹配的區(qū)域即為跟蹤算法計算出來的當(dāng)前幀圖像內(nèi)臉部和手部的位置。與此同時，檢測算法進(jìn)行整幅圖像(即攝像頭拍攝到的整個鏡頭內(nèi)的圖像)范圍內(nèi)的膚色匹配，所有整幅圖像內(nèi)色相分量H統(tǒng)計信息和參考膚色區(qū)域內(nèi)的色相分量H統(tǒng)計信息在一定誤差閾值內(nèi)的區(qū)域都假定為潛在的手部和臉部位置。檢測算法中的誤差閾值會隨檢測出來的區(qū)域個數(shù)做動態(tài)的自適應(yīng)，如果檢測出來的區(qū)域數(shù)大于3 (正常情況下，檢測出來的區(qū)域數(shù)應(yīng)該為3，對應(yīng)于臉部，左手和右手)，則說明誤差閾值門限偏低，需適當(dāng)調(diào)高誤差閾值門限；如果檢測出來的區(qū)域數(shù)小于3，并且連續(xù)幾幀內(nèi)都是這樣，則說明誤差閾值門限偏高，需適當(dāng)降低誤差閾值門限。如果跟蹤算法計算出來的臉部和手部位置在檢測算法中都有相應(yīng)的區(qū)域與之對應(yīng)，則說明跟蹤算法計算得出的臉部和手部位置信息是正確的，可作為當(dāng)前幀圖像的臉部和手部位置信息輸出，臉部和手部的跟蹤參考位置也用新位置值進(jìn)行替代，為下一幀的跟蹤做好準(zhǔn)備。也就是說，在本發(fā)明中并不采用固定的參考膚色，這樣能很好的解決不同膚色人種、不同光照下的游戲玩家臉部、手部位置識別。如果跟蹤算法計算出來的臉部和手部位置在檢測算法中無相應(yīng)的區(qū)域與之對應(yīng)， 且跟蹤算法返回的迭代信息表明此位置的迭代次數(shù)高于平均迭代次數(shù)一定閾值時，則說明跟蹤算法已經(jīng)跟丟了臉部或手部區(qū)域，必須做臉部和手部位置的更新。因為臉部區(qū)域的圖像面積比較大，在正常情況下是不會跟丟的。如果真出現(xiàn)跟丟的情況，則說明游戲玩家已經(jīng)離開攝像頭的鏡頭范圍，系統(tǒng)進(jìn)入步驟(5) “臉部重定位”。手部位置的更新利用了檢測算法所檢測出來的區(qū)域信息。把檢測算法所檢測出來的區(qū)域按面積大小進(jìn)行排序，然后逐一和跟丟前一幀的臉部或手部位置計算中心點位置差，把位置差最小且面積大于一定閾值的區(qū)域更新為現(xiàn)在的手部位置。本發(fā)明采用跟蹤和檢測相結(jié)合的方式進(jìn)行臉部和手部的位置定位，能彌補單一算法存在的缺陷和誤差，極大地提高檢測準(zhǔn)確度。(5)、臉部重定位在系統(tǒng)的運行過程中，游戲玩家可能出于某種原因會暫時離開。游戲玩家離開后， 運行中的臉部跟蹤算法有2種可能一是跟蹤算法一直找不到臉部區(qū)域，大部分情況下都是發(fā)生這種可能；二是在臉部移出位置附近剛好有一塊跟參考膚色比較接近的背景區(qū)域，這種情況下，跟蹤算法會誤認(rèn)為此區(qū)域為臉部區(qū)域。此時，可以從區(qū)域面積和區(qū)域長寬比例來判定是否為真正的臉部。如果此區(qū)域面積大于步驟(2)所記錄下來的臉部面積一定閾值或小于一定閾值后，或者區(qū)域的長寬比例與在步驟( 所記錄下來的臉部長寬比例相比較有較大差距時(即超過一定閾值)，都可判定為臉部丟失。如果在連續(xù)的幾幀圖像內(nèi)(比如 10幀)都是這樣的結(jié)果，可以判定游戲玩家已經(jīng)離開，輸出控制信息暫停游戲的執(zhí)行，系統(tǒng)進(jìn)入“臉部重定位”狀態(tài)。在進(jìn)入“臉部重定位”狀態(tài)后，系統(tǒng)會重啟臉部識別。跟步驟O) “臉部初始位置檢測” 一樣，系統(tǒng)在鏡頭內(nèi)某一位置連續(xù)10幀圖像的時間都檢測到臉部才認(rèn)為此區(qū)域為臉部區(qū)域。檢測成功后，如圖2所示，系統(tǒng)重新進(jìn)入步驟“正常跟蹤”狀態(tài)，繼續(xù)游戲的運行?！澳槻恐囟ㄎ弧睜顟B(tài)中的“臉部識別”與步驟O) “臉部初始位置檢測”中的“臉部識別”的區(qū)別在于，在成功檢查出臉部區(qū)域后，不進(jìn)行參考膚色區(qū)域內(nèi)的色相分量H的分布統(tǒng)計。本發(fā)明通過攝像頭拍攝人體動作圖像，由處理器(如電腦)實時識別出臉部和手部的移動方向，以此來參與體感式互動游戲或遙控電視機，機頂盒等近端設(shè)備；使游戲玩家可以不必借助鼠標(biāo)、鍵盤或游戲手柄就可以參與到游戲的中，完成對游戲的控制。本發(fā)明通過跟蹤和檢測聯(lián)合算法，可以得出每一幀內(nèi)臉部、左手和右手位置。通過計算臉部和左右手區(qū)域中心點的位置差，可以得出臉部和手部的移動方向。臉部和手部的移動方向信息便可作為游戲的控制輸入信號。在具體的實際應(yīng)用中，既可以利用單獨的臉部移動信息，單獨的左手或右手的移動信息，也可利用三者的不同組合信息。以上通過具體實施方式
和實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，但這些并非構(gòu)成對本發(fā)明的限制。在不脫離本發(fā)明原理的情況下，本領(lǐng)域的技術(shù)人員還可做出許多變形和改進(jìn)，這些也應(yīng)視為本發(fā)明的保護(hù)范圍。
9
權(quán)利要求
1.一種電子游戲控制裝置，包括攝像頭，與攝像頭相連接的游戲主機；所述攝像頭用于拍攝人體動作圖像并將該圖像傳送給游戲主機；其特征在于所述游戲主機對圖像進(jìn)行跟蹤和檢測，定位出臉部和手部位置，通過連續(xù)地跟蹤和檢測逐幀圖像的臉部和手部位置， 計算出臉部和手部的移動方向，采用所述的臉部和/或手部的移動方向信息作為游戲的控制輸入信號。
2.如權(quán)利要求1所述的電子游戲控制裝置，其特征在于所述游戲主機對圖像進(jìn)行跟蹤和檢測的過程是，跟蹤算法將臉部和手部初始位置作為跟蹤參考起點，在參考起點附近的相關(guān)區(qū)域進(jìn)行膚色匹配，膚色最匹配的區(qū)域即為跟蹤算法計算出來的當(dāng)前幀圖像內(nèi)臉部和手部的位置；與此同時，檢測算法進(jìn)行整幅圖像范圍內(nèi)的膚色匹配；所有整幅圖像內(nèi)色相分量統(tǒng)計信息和參考膚色區(qū)域內(nèi)的色相分量統(tǒng)計信息在一定誤差閾值內(nèi)的區(qū)域都假定為潛在的臉部和手部位置；如果跟蹤算法計算出來的臉部和手部位置在檢測算法中都有相應(yīng)的區(qū)域與之對應(yīng)，則將跟蹤算法計算得出的臉部和手部位置信息作為當(dāng)前幀圖像的臉部和手部位置信息輸出， 并將當(dāng)前幀圖像的臉部和手部位置信息作為下一幀圖像的臉部和手部位置跟蹤的新的參考起點；如果跟蹤算法計算出來的臉部和手部位置在檢測算法中無相應(yīng)的區(qū)域與之對應(yīng)，且跟蹤算法返回的迭代信息表明此位置的迭代次數(shù)高于平均迭代次數(shù)一定閾值時，則對臉部和手部的位置進(jìn)行更新。
3.如權(quán)利要求2所述的電子游戲控制裝置，其特征在于檢測算法中的誤差閾值會隨檢測出來的區(qū)域個數(shù)做動態(tài)的自適應(yīng)，正常情況下，檢測出來的區(qū)域數(shù)為3，分別對應(yīng)于臉部，左手和右手；如果檢測出來的區(qū)域數(shù)大于3，需調(diào)高誤差閾值門限；如果檢測出來的區(qū)域數(shù)在連續(xù)幾幀圖像內(nèi)小于3，需降低誤差閾值門限。
4.如權(quán)利要求2所述的電子游戲控制裝置，其特征在于進(jìn)行手部位置更新的過程是， 把檢測算法所檢測出來的區(qū)域按面積大小進(jìn)行排序，然后逐一和跟丟前一幀的臉部或手部位置計算中心點位置差，把位置差最小且面積大于一定閾值的區(qū)域更新為現(xiàn)在的手部位置。
5.如權(quán)利要求2所述的電子游戲控制裝置，其特征在于跟蹤算法跟丟臉部位置區(qū)域時將暫停游戲的執(zhí)行，系統(tǒng)進(jìn)入“臉部重定位”狀態(tài)；“臉部重定位”的過程是如果在鏡頭內(nèi)某一位置連續(xù)10幀圖像的時間內(nèi)都檢測到臉部位置區(qū)域，則認(rèn)為該區(qū)域為臉部位置區(qū)域， 然后繼續(xù)游戲的運行。
6.如權(quán)利要求2所述的電子游戲控制裝置，其特征在于臉部初始位置檢測的過程是， 游戲玩家保持臉部端正，不傾斜，并在攝像頭的鏡頭內(nèi)某一位置保持10幀圖像的時間；在檢測出臉部初始位置區(qū)域后，截取位于臉部初始位置區(qū)域正中心，面積為臉部初始位置區(qū)域一半的區(qū)域作為參考膚色區(qū)域；把參考膚色區(qū)域內(nèi)的圖像從RGB顏色空間轉(zhuǎn)換到 HSV顏色空間，統(tǒng)計出參考膚色區(qū)域內(nèi)的色相分量H的分布。
7.如權(quán)利要求2所述的電子游戲控制裝置，其特征在于手部初始位置檢測過程是，將檢測出臉部初始位置區(qū)域的整幅圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，尋找出整幅圖像內(nèi)色相分量H分布與參考膚色區(qū)域內(nèi)的色相分量H分布相接近的區(qū)域，得到匹配處理過的二值圖像；對該二值圖像進(jìn)行腐蝕，膨脹操作，得到手部初始位置的潛在區(qū)域；將手部初始位置的潛在區(qū)域按面積大小進(jìn)行排序，剔除面積大于參考膚色區(qū)域面積的區(qū)域，以及排除臉部初始位置區(qū)域本身，剩下的分別位于臉部初始位置區(qū)域一左一右的2個面積較大的區(qū)域即為人體的左右手的初始位置。
8.如權(quán)利要求1所述的電子游戲控制裝置，其特征在于所述攝像頭為彩色攝像頭，攝像頭的分辨率為320X240或640X480。
9.一種電子游戲的控制方法，其特征在于包括如下步驟，步驟一、初始化；檢測游戲主機上是否插有攝像頭；如有，則對攝像頭進(jìn)行初始化，如沒有，則提示游戲玩家將攝像頭插入到游戲主機上；步驟二、臉部初始位置檢測；游戲玩家保持臉部端正，不傾斜，并在攝像頭的鏡頭內(nèi)某一位置保持10幀圖像的時間；檢測出臉部初始位置區(qū)域后，截取位于臉部初始位置區(qū)域正中心，面積為臉部初始位置區(qū)域一半的區(qū)域作為參考膚色區(qū)域，同時記錄下臉部初始位置區(qū)域的面積和長寬比例；把參考膚色區(qū)域內(nèi)的圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，統(tǒng)計出參考膚色區(qū)域內(nèi)的色相分量H的分布；步驟三、手部初始位置檢測；將檢測出臉部初始位置區(qū)域的整幅圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，尋找出整幅圖像內(nèi)色相分量H分布與參考膚色區(qū)域內(nèi)的色相分量H 分布相接近的區(qū)域，得到匹配處理過的二值圖像；對匹配處理過的二值圖像進(jìn)行腐蝕，膨脹操作，得到手部初始位置的潛在區(qū)域；將手部初始位置的潛在區(qū)域按面積大小進(jìn)行排序，剔除面積大于參考膚色區(qū)域面積的區(qū)域，以及排除臉部初始位置區(qū)域本身，剩下的分別位于臉部初始位置區(qū)域一左一右的2個面積較大的區(qū)域即為人體的左右手的初始位置；步驟四、正常跟蹤；跟蹤算法將臉部和手部初始位置作為跟蹤參考起點，在參考起點附近的相關(guān)區(qū)域進(jìn)行膚色匹配，膚色最匹配的區(qū)域即為跟蹤算法計算出來的當(dāng)前幀圖像內(nèi)臉部和手部的位置；與此同時，檢測算法進(jìn)行整幅圖像范圍內(nèi)的膚色匹配，所有整幅圖像內(nèi)色相分量統(tǒng)計信息和參考膚色區(qū)域內(nèi)的色相分量統(tǒng)計信息在一定誤差閾值內(nèi)的區(qū)域都假定為潛在的手部和臉部位置；如果跟蹤算法計算出來的臉部和手部位置在檢測算法中都有相應(yīng)的區(qū)域與之對應(yīng)，則將跟蹤算法計算得出的臉部和手部位置信息作為當(dāng)前幀圖像的臉部和手部位置信息輸出， 并將當(dāng)前幀圖像的臉部和手部位置信息作為下一幀圖像的臉部和手部位置跟蹤的新的參考起點；如果跟蹤算法計算出來的臉部和手部位置在檢測算法中無相應(yīng)的區(qū)域與之對應(yīng)，且跟蹤算法返回的迭代信息表明此位置的迭代次數(shù)高于平均迭代次數(shù)一定閾值時，則對臉部和手部的位置進(jìn)行更新；利用跟蹤和檢測相結(jié)合的方法計算出臉部和手部的位置，通過逐幀圖像連續(xù)計算臉部和手部的位置，單一幀的臉部和手部的位置即可轉(zhuǎn)化為臉部和手部的空間移動方向信息， 臉部和/或手部移動方向信息即可作為游戲控制的輸入信號。
10.如權(quán)利要求9所述的方法，其特征在于檢測算法中的誤差閾值會隨檢測出來的區(qū)域個數(shù)做動態(tài)的自適應(yīng)，正常情況下，檢測出來的區(qū)域數(shù)為3，分別對應(yīng)于臉部，左手和右手；如果檢測出來的區(qū)域數(shù)大于3，需調(diào)高誤差閾值門限；如果檢測出來的區(qū)域數(shù)在連續(xù)幾幀圖像內(nèi)小于3，需降低誤差閾值門限。
11.如權(quán)利要求9所述的方法，其特征在于進(jìn)行手部位置更新的方法是，把檢測算法所檢測出來的區(qū)域按面積大小進(jìn)行排序，然后逐一和跟丟前一幀的臉部或手部位置計算中心點位置差，把位置差最小且面積大于一定閾值的區(qū)域更新為現(xiàn)在的手部位置。
12.如權(quán)利要求9所述的方法，其特征在于跟蹤算法跟丟臉部位置區(qū)域時將暫停游戲的執(zhí)行，系統(tǒng)進(jìn)入“臉部重定位”狀態(tài)；“臉部重定位”的方法是如果在鏡頭內(nèi)某一位置連續(xù) 10幀圖像的時間內(nèi)都檢測到臉部位置區(qū)域，則認(rèn)為該區(qū)域為臉部位置區(qū)域，然后繼續(xù)游戲的運行。
13.如權(quán)利要求12所述的方法，其特征在于判定跟蹤算法跟丟臉部位置區(qū)域的方法是，跟蹤算法一直找不到臉部區(qū)域；或者，在臉部移出位置附近有一塊跟參考膚色比較接近的背景區(qū)域，如果該背景區(qū)域面積大于臉部初始位置區(qū)域的面積一定閾值，或小于臉部初始位置區(qū)域的面積一定閾值，或該背景區(qū)域的長寬比例超過臉部初始位置區(qū)域的長寬比例一定閾值時，則判定為臉部位置區(qū)域丟失。
全文摘要
本發(fā)明公開了一種電子游戲控制裝置，包括攝像頭，與攝像頭相連接的游戲主機；所述攝像頭用于拍攝人體動作圖像并將該圖像傳送給游戲主機；所述游戲主機對圖像進(jìn)行跟蹤和檢測，定位出臉部和手部位置，通過連續(xù)地跟蹤和檢測逐幀圖像的臉部和手部位置，計算出臉部和手部的移動方向，采用所述的臉部和/或手部的移動方向信息作為游戲的控制輸入信號。本發(fā)明還公開了一種電子游戲的控制方法。本發(fā)明能夠使游戲玩家在不需要操控任何設(shè)備的情況下參與到游戲中。
文檔編號A63F13/00GK102188819SQ20101012184
公開日2011年9月21日 申請日期2010年3月11日 優(yōu)先權(quán)日2010年3月11日
發(fā)明者姜建華 申請人:鼎億公司, 鼎億數(shù)碼科技(上海)有限公司