專利名稱：手勢識別方法及基于手勢識別控制的智能輪椅人機系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機視覺、人機系統(tǒng)、控制領(lǐng)域，具體涉及手勢的跟蹤識別以及基于手勢識別控制的智能輪椅人機系統(tǒng)。
背景技術(shù)：
隨著人口老齡化進程的加快，老齡人口越來越多。由于先天殘疾或者后天各種災(zāi)難和疾病造成的殘障人士也在逐年增加，他們大多存在不同程度行走能力的喪失。為老年人和殘障人士提供性能優(yōu)越的代步工具，幫助他們提高行動自由和重新融于社會顯得非常必要。智能輪椅因其具有非常好的自主性、交互性被用來解決這一問題。智能輪椅是以人為中心的控制系統(tǒng)，智能輪椅的控制系統(tǒng)不是設(shè)計的自主性越高越好，而是要考慮到用戶的自身特點，有效的彌補用戶的身體缺陷，充分發(fā)揮他們的主觀能動性。這就決定了智能輪椅人機系統(tǒng)的多樣性?；谑謩葑R別的智能輪椅人機系統(tǒng)作為用戶和輪椅之間的交互方式，有其特定的應(yīng)用場合和人群。在噪雜的環(huán)境中，語音識別的效果會比較差，或者在公共場合或很安靜的環(huán)境中，用戶不想打擾周圍的人，通過手勢識別來控制輪椅就非常有優(yōu)勢。對于患有上肢無力和精神運動性癲癇的人來說，通過普通操縱桿將無法正常操縱輪椅，通過不同的手勢或者手勢的指向可以獲取控制信號，將手勢指令轉(zhuǎn)化為驅(qū)動指令，可以達到控制輪椅運動的目的。研究手勢識別的人員和機構(gòu)都非常多，使用的方法也各不相同。美國CMU的 Christopher Lee和YanghengXu利用HMM技術(shù)識別手勢；韓國的Kim利用一幅數(shù)據(jù)手套作為感知手和手指的運動，利用模糊最大最小神經(jīng)網(wǎng)絡(luò)技術(shù)進行手指字母及手勢的在線識別；中科院先進人機通信技術(shù)聯(lián)合實驗室和哈爾濱工業(yè)大學(xué)計算機學(xué)院智能接口實驗室開發(fā)的手語識別系統(tǒng)，采用Cyberglove作為輸入設(shè)備，采用基于統(tǒng)計的手語識別模型，綜合 HMM和ANN等手語模型。哈爾濱工業(yè)大學(xué)計算機系還利用邊緣檢測、神經(jīng)網(wǎng)絡(luò)等方法，實現(xiàn)了基于視覺的可識別13個靜止手勢的手勢識別系統(tǒng)和基于視覺的簡單連續(xù)變化手勢識別系統(tǒng)。但是，上述方法有的是基于數(shù)據(jù)手套的手勢識別，不能實現(xiàn)自然、友好的手勢識別，有的雖然是基于視覺的手勢識別，只適用于簡單環(huán)境，當(dāng)背景環(huán)境變得復(fù)雜，或者遇到大面積膚色干擾和遮擋等問題時，很難得到準(zhǔn)確的識別。因此急需一種能用于從復(fù)雜環(huán)境中識別與跟蹤手勢的方法以及根據(jù)識別出手勢來控制輪椅運動，作為用戶和輪椅之間的交互方式的人機系統(tǒng)系統(tǒng)。

發(fā)明內(nèi)容
有鑒于此，為了解決上述問題，本發(fā)明所要解決的技術(shù)問題是，針對現(xiàn)有現(xiàn)有的基于手勢控制的智能輪椅人機系統(tǒng)系統(tǒng)及手勢識別方法中，手勢識別只能用于簡單環(huán)境，在復(fù)雜環(huán)境中識別手勢效果差，很難在實際生活中應(yīng)用的問題。本發(fā)明的目的之一是提出一種手勢識別方法；本發(fā)明的目的之二是提出一種基于手勢識別控制的智能輪椅人機系統(tǒng)系統(tǒng)。
本發(fā)明的目的之一是通過以下技術(shù)方案來實現(xiàn)的本發(fā)明提供的手勢識別方法，包括以下步驟Sl 獲取手勢的視頻信號；S2 將視頻信號中的圖像從RGB圖像空間轉(zhuǎn)化到HSV圖像空間，建立手勢區(qū)域的 HSV顏色分布直方圖；其中R、G、B分別表示紅、綠、藍(lán)三個通道；H、S、V分別表示色調(diào)、飽和度和亮度；S3 從HSV圖像空間中分離出H分量，根據(jù)H分量對顏色分布直方圖進行查詢，獲取手勢區(qū)域中的手勢膚色概率分布圖；S4 根據(jù)手勢膚色概率分布圖采用Camshift跟蹤算法對手勢區(qū)域進行跟蹤，輸出手勢的質(zhì)心位置到Kalman濾波器，Kalman濾波器根據(jù)質(zhì)心位置確定其搜索窗口的位置和大小；S5 根據(jù)搜索窗口設(shè)置計算概率分布的區(qū)域作為狀態(tài)預(yù)測信息反饋回Camshift 跟蹤器，實施對下一幅圖像中手勢區(qū)域的跟蹤；S6:根據(jù)跟蹤結(jié)果，將手勢區(qū)域從背景中分離出來，并對手勢區(qū)域進行預(yù)處理，將手勢很好的分割出來；S7 根據(jù)Hu矩提取已經(jīng)分割的手勢區(qū)域的Hu矩，并組合成手勢特征向量；S8 根據(jù)經(jīng)過訓(xùn)練的SVM模型對手勢特征向量進行預(yù)測分類，識別出當(dāng)前幀中的手勢類別。進一步，所述步驟S6中對手勢區(qū)域的預(yù)處理是通過灰度化、去噪、二值化、數(shù)學(xué)形態(tài)學(xué)處理分割出手勢的最小矩形區(qū)域；進一步，所述SVM模型為根據(jù)現(xiàn)有的工具箱LIBSVM對樣本手勢區(qū)域進行訓(xùn)練得到分類模型。本發(fā)明的目的之二是通過以下技術(shù)方案來實現(xiàn)的本發(fā)明提供的基于手勢識別控制的智能輪椅人機系統(tǒng)，包括視頻采集模塊，用于獲取手勢的視頻信號；分離器，用于將視頻信號中的圖像從RGB圖像空間轉(zhuǎn)化到HSV圖像空間，建立手勢區(qū)域的HSV顏色分布直方圖；查詢模塊，從HSV圖像空間中分離出H分量，根據(jù)H分量對顏色分布直方圖進行查詢，獲取手勢區(qū)域中的手勢膚色概率分布圖；跟蹤模塊，根據(jù)手勢膚色概率分布圖對手勢區(qū)域進行跟蹤，獲取手勢區(qū)域的質(zhì)心位置，并預(yù)測下一幅圖像中手勢區(qū)域位置；手勢預(yù)處理模塊，根據(jù)跟蹤結(jié)果，將手勢區(qū)域從背景中分離出來，并對手勢區(qū)域進行預(yù)處理，將手勢很好的分割出來；特征提取模塊，根據(jù)Hu矩提取已經(jīng)分割的手勢區(qū)域的Hu矩，并組合成手勢特征向量；手勢識別模塊，根據(jù)經(jīng)過訓(xùn)練的SVM模型對手勢特征向量進行預(yù)測分類，識別出當(dāng)前幀中的手勢類別表示的控制指令?？刂颇K，接受手勢識別模塊傳送過來的控制指令，驅(qū)動電機，對輪椅進行控制。
進一步，所述跟蹤模塊包括Camshift跟蹤器和Kalman濾波器，根據(jù)手勢膚色概率
5分布圖采用Camshift跟蹤算法對手勢區(qū)域進行跟蹤，輸出手勢的質(zhì)心位置到Kalman濾波器，Kalman濾波器根據(jù)質(zhì)心位置確定其搜索窗口的位置和大??；根據(jù)搜索窗口設(shè)置計算概率分布的區(qū)域作為狀態(tài)預(yù)測信息反饋回Camshift跟蹤器，實施對下一幅圖像中手勢區(qū)域的跟蹤；進一步，所述手勢預(yù)處理模塊中對手勢區(qū)域的預(yù)處理是通過灰度化、去噪、二值化、數(shù)學(xué)形態(tài)學(xué)處理分割出手勢的最小矩形區(qū)域；進一步，所述控制指令包括驅(qū)動電機來控制輪椅的前進、后退、左轉(zhuǎn)、右轉(zhuǎn)、停止的指令。本發(fā)明的優(yōu)點在于本發(fā)明將跟蹤算法和識別算法有機結(jié)合，能解決復(fù)雜背景、 大面積的膚色干擾、遮擋等對手勢分割造成影響的問題，能夠?qū)崿F(xiàn)對人手的精確跟蹤和快速準(zhǔn)確識別，用于基于手勢識別的智能輪椅人機系統(tǒng)中，可以達到快速、準(zhǔn)確的識別手勢命令，安全的控制智能輪椅的目的，能幫助老年人和殘疾人提高活動范圍和生活質(zhì)量。本發(fā)明的其它優(yōu)點、目標(biāo)和特征在某種程度上將在隨后的說明書中進行闡述，并且在某種程度上，基于對下文的考察研究對本領(lǐng)域技術(shù)人員而言將是顯而易見的，或者可以從本發(fā)明的實踐中得到教導(dǎo)。本發(fā)明的目標(biāo)和其它優(yōu)點可以通過下面的說明書，權(quán)利要求書，以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。


為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明作進一步的詳細(xì)描述，其中圖1為本發(fā)明采用跟蹤與識別相結(jié)合的方法進行手勢識別系統(tǒng)流程圖；圖2為本發(fā)明中基于手勢識別的智能輪椅人機系統(tǒng)硬件示意圖；圖3為本發(fā)明中手勢控制的智能輪椅系統(tǒng)示意圖。
具體實施例方式以下將結(jié)合附圖，對本發(fā)明的優(yōu)選實施例進行詳細(xì)的描述；應(yīng)當(dāng)理解，優(yōu)選實施例僅為了說明本發(fā)明，而不是為了限制本發(fā)明的保護范圍。圖1為本發(fā)明采用跟蹤與識別相結(jié)合的方法進行手勢識別系統(tǒng)流程圖；如圖所示本發(fā)明提供的手勢識別方法，包括以下步驟Sl 通過攝像頭獲取包含人手手勢的視頻信號；S2 將視頻信號中的圖像從RGB圖像空間轉(zhuǎn)化到HSV圖像空間，建立手勢區(qū)域的 HSV顏色分布直方圖；其中R、G、B分別表示紅、綠、藍(lán)三個通道；H、S、V分別表示色調(diào)、飽和度和亮度；S3 從HSV圖像空間中分離出H分量，根據(jù)H分量對顏色分布直方圖進行查詢，獲取手勢區(qū)域中的手勢膚色概率分布圖；S4 根據(jù)手勢膚色概率分布圖采用Camshift跟蹤算法對手勢區(qū)域進行跟蹤，輸出手勢的質(zhì)心位置為測量信號，并送人到Kalman濾波器，Kalman濾波器根據(jù)質(zhì)心位置(即搜索窗口的中心位置)確定其搜索窗口的位置和大?。籗5 根據(jù)搜索窗口設(shè)置計算概率分布的區(qū)域作為狀態(tài)預(yù)測信息反饋回Camshift跟蹤器，實施對下一幅圖像中手勢區(qū)域的跟蹤；s6 根據(jù)跟蹤結(jié)果可以得到包圍手勢圖像的最小矩形區(qū)域，即跟蹤到的手勢區(qū)域， 把跟蹤到的手部區(qū)域從原圖像背景中分離出來，并對手勢區(qū)域進行預(yù)處理，如灰度化，去噪、二值化，數(shù)學(xué)形態(tài)學(xué)處理等預(yù)處理，將手勢從剩下少量的背景中分割出來，可以達到非常好的效果s7 根據(jù)hu矩的計算公式提取手勢的七個hu矩作為手勢的特征向量，根據(jù)hu矩提取已經(jīng)分割的手勢區(qū)域的Hu矩，并組合成手勢特征向量；手勢特征提取部分采用hu矩作為描述子。根據(jù)跟蹤到的的結(jié)果分離出手部區(qū)域， 并對手部區(qū)域進行一系列的預(yù)處理，分割出手勢，提取手勢的七個Hu矩。通過下面的公式計算手勢的(P+q)階幾何矩mm;Mpq=YY4x'y^l{x,y) ρ, ？=0, 1, 2· · · · (1)
χ ^其中Mm是p+q級幾何矩，xpyQ是變換核，I (x，y)是二值化圖像(x，y)處的像素值，X和y的范圍是手部區(qū)域。最常用的矩是零階矩，根據(jù)矩的定義，手勢的零階矩Mcitl定義為Μ。。=ΣΣ7(χ，>ο (2)
X ^mtltl表示手勢圖像的面積。兩個一階矩mltl和mtll用來確定手勢的質(zhì)心位置。手勢質(zhì)心為
χ我產(chǎn)^ (3)
M00 M00
若將坐標(biāo)原點移至χ和;;處，就得到了手勢的中心矩
根據(jù)Hu氏理論，通過各種不同級別幾何矩的數(shù)學(xué)組合，可以得到七個特征向量 Φ ( = 1，2，3，4，5，6，7)。這七個特征量具有當(dāng)圖形移動、轉(zhuǎn)動與比例大小改變時保持其數(shù)值不變的特性。因此稱它們?yōu)椴蛔兙靥卣髁?，這七個分量分別是Φι=u20+u02 (5)
φ2=(U20-U02) +4un (6)
φ3=(u30-3u12) + (3u12-u03) 2 (7)
φ4=(u3o+u12)2+ (u21-u03)2 (8)
Φ5=(u30-3u12) (u30+u12) [ (u3[3 (u30+u)2-12/(u21+u03) 2]
(9)
φ6=(u20-u02) [ (u30+u12)2- (u21+u03)
φ 7=(3u21-u03) (u30+u12) [ (u[3 (u30+u)2_ 12/(u21+u03) 2]
(11)
為了保持幾何矩的尺度不變性，upq
I2I+U03) 2I + (3u21-u03) (u21+u03)
(10)
2] +4un (u30+u12) (u21+u03) SO+u12)2- (u21+u03)2] - (u30-3u12) (u21 + u03)
權(quán)利要求
1.手勢識別方法，其特征在于包括以下步驟51獲取手勢的視頻信號；52將視頻信號中的圖像從RGB圖像空間轉(zhuǎn)化到HSV圖像空間，建立手勢區(qū)域的HSV顏色分布直方圖；其中R、G、B分別表示紅、綠、藍(lán)三個通道；H、S、V分別表示色調(diào)、飽和度和亮度；53從HSV圖像空間中分離出H分量，根據(jù)H分量對顏色分布直方圖進行查詢，獲取手勢區(qū)域中的手勢膚色概率分布圖；54根據(jù)手勢膚色概率分布圖采用Camshift跟蹤算法對手勢區(qū)域進行跟蹤，輸出手勢的質(zhì)心位置到Kalman濾波器，Kalman濾波器根據(jù)質(zhì)心位置確定其搜索窗口的位置和大??；55根據(jù)搜索窗口設(shè)置計算概率分布的區(qū)域作為狀態(tài)預(yù)測信息反饋回Camshift跟蹤器，實施對下一幅圖像中手勢區(qū)域的跟蹤；S6:根據(jù)跟蹤結(jié)果，將手勢區(qū)域從背景中分離出來，并對手勢區(qū)域進行預(yù)處理，將手勢很好的分割出來；57根據(jù)Hu矩提取已經(jīng)分割的手勢區(qū)域的Hu矩，并組合成手勢特征向量；58根據(jù)經(jīng)過訓(xùn)練的SVM模型對手勢特征向量進行預(yù)測分類，識別出當(dāng)前幀中的手勢類別。
2.根據(jù)權(quán)利要求1所述的手勢識別方法，其特征在于所述步驟S6中對手勢區(qū)域的預(yù)處理是通過灰度化、去噪、二值化、數(shù)學(xué)形態(tài)學(xué)處理分割出手勢的最小矩形區(qū)域。
3.根據(jù)權(quán)利要求2所述的手勢識別方法，其特征在于所述SVM模型為根據(jù)現(xiàn)有的工具箱LIBSVM對樣本手勢區(qū)域進行訓(xùn)練得到的分類模型。
4.基于手勢識別控制的智能輪椅人機系統(tǒng)，其特征在于包括 視頻采集模塊，用于獲取手勢的視頻信號；分離器，用于將視頻信號中的圖像從RGB圖像空間轉(zhuǎn)化到HSV圖像空間，建立手勢區(qū)域的HSV顏色分布直方圖；查詢模塊，從HSV圖像空間中分離出H分量，根據(jù)H分量對顏色分布直方圖進行查詢， 獲取手勢區(qū)域中的手勢膚色概率分布圖；跟蹤模塊，根據(jù)手勢膚色概率分布圖對手勢區(qū)域進行跟蹤，獲取手勢區(qū)域的質(zhì)心位置， 并預(yù)測下一幅圖像中手勢區(qū)域位置；手勢預(yù)處理模塊，根據(jù)跟蹤結(jié)果，將手勢區(qū)域從背景中分離出來，并對手勢區(qū)域進行預(yù)處理，將手勢很好的分割出來；特征提取模塊，根據(jù)Hu矩提取已經(jīng)分割的手勢區(qū)域的Hu矩，并組合成手勢特征向量； 手勢識別模塊，根據(jù)經(jīng)過訓(xùn)練的SVM模型對手勢特征向量進行預(yù)測分類，識別出當(dāng)前幀中的手勢類別表示的控制指令。控制模塊，接受手勢識別模塊傳送過來的控制指令，驅(qū)動電機，對輪椅進行控制。
5.根據(jù)權(quán)利要求4所述的基于手勢識別控制的智能輪椅人機系統(tǒng)，其特征在于所述跟蹤模塊包括Camshift跟蹤器和Kalman濾波器，根據(jù)手勢膚色概率分布圖采用Camshift 跟蹤算法對手勢區(qū)域進行跟蹤，輸出手勢的質(zhì)心位置到Kalman濾波器，Kalman濾波器根據(jù)質(zhì)心位置確定其搜索窗口的位置和大?。桓鶕?jù)搜索窗口設(shè)置計算概率分布的區(qū)域作為狀態(tài)預(yù)測信息反饋回Camshift跟蹤器，實施對下一幅圖像中手勢區(qū)域的跟蹤。
6.根據(jù)權(quán)利要求4所述的基于手勢識別控制的智能輪椅人機系統(tǒng)，其特征在于所述手勢預(yù)處理模塊中對手勢區(qū)域的預(yù)處理是通過灰度化、去噪、二值化、數(shù)學(xué)形態(tài)學(xué)處理分割出手勢的最小矩形區(qū)域。
7.根據(jù)權(quán)利要求4所述的基于手勢識別控制的智能輪椅人機系統(tǒng)，其特征在于所述控制指令包括驅(qū)動電機來控制輪椅的前進、后退、左轉(zhuǎn)、右轉(zhuǎn)、停止的指令。
全文摘要
本發(fā)明公開了一種手勢識別方法及基于手勢識別控制的智能輪椅人機系統(tǒng)，涉及計算機視覺、人機系統(tǒng)、控制領(lǐng)域，包括視頻采集模塊，分離器，查詢模塊，跟蹤模塊，手勢預(yù)處理模塊，特征提取模塊，手勢識別模塊，控制模塊，采用Camshift跟蹤算法與Kalman濾波算法相結(jié)合的方法對人手進行跟蹤，并分離出手勢，結(jié)合Hu矩與支持向量機(SVM)對手勢進行識別，該手勢識別方法可以濾除膚色干擾、遮擋及周圍復(fù)雜環(huán)境對手勢分割的影響，實現(xiàn)對人手的精確跟蹤和快速準(zhǔn)確識別，用于基于手勢識別的智能輪椅人機系統(tǒng)中，可以達到快速、準(zhǔn)確的識別手勢命令，安全的控制智能輪椅的目的，能幫助老年人和殘疾人提高活動范圍和生活質(zhì)量。
文檔編號G06K9/00GK102339379SQ20111010914
公開日2012年2月1日 申請日期2011年4月28日 優(yōu)先權(quán)日2011年4月28日
發(fā)明者張姣, 張毅, 徐曉東, 李敏, 林海波, 羅元, 蔡軍, 謝穎 申請人:重慶郵電大學(xué)