本發(fā)明涉及圖像識(shí)別技術(shù)領(lǐng)域，特別涉及一種基于視覺(jué)的手勢(shì)識(shí)別方法和系統(tǒng)。

背景技術(shù)：

近年來(lái)計(jì)算機(jī)已經(jīng)成為人們?nèi)粘Ｉ畹囊徊糠?，人們與計(jì)算機(jī)的交互也日益成為科研領(lǐng)域的熱點(diǎn)。傳統(tǒng)的人機(jī)交互方式已經(jīng)不能滿足人們對(duì)“智能化”人機(jī)交互領(lǐng)域的需求。但是如何讓機(jī)器理解人一直是一個(gè)難題，因此如果能夠借助各種傳感設(shè)備實(shí)時(shí)提取人的行為的三維操控信息并設(shè)定某些規(guī)則使機(jī)器理解這些信息，將是解決這個(gè)問(wèn)題的關(guān)鍵。

目前實(shí)現(xiàn)3D目標(biāo)重建的方法主要有三種技術(shù)路線：(1)結(jié)構(gòu)光技術(shù)：結(jié)構(gòu)光技術(shù)利用可控光源和圖像處理技術(shù)結(jié)合來(lái)進(jìn)行目標(biāo)重建。其基本思想是利用光源中的幾何信息來(lái)幫助提取目標(biāo)的幾何信息。這種技術(shù)的缺點(diǎn)是物體需要跟光源保持一定的距離，不能用于過(guò)短或過(guò)長(zhǎng)的距離，而且其精度也不高。(2)飛行時(shí)間技術(shù)：是基于測(cè)量激光或者其它光源脈沖光束的飛行時(shí)間來(lái)進(jìn)行物體深度測(cè)量，這種技術(shù)的缺點(diǎn)是成本高，不利于大范圍推廣。(3)雙目立體視覺(jué)技術(shù)：屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，它是通過(guò)兩臺(tái)不同位置的攝像機(jī)拍攝同一幅場(chǎng)景，并通過(guò)計(jì)算對(duì)應(yīng)點(diǎn)在兩幅圖像中的位置偏差，來(lái)獲得該點(diǎn)的三維 坐標(biāo)值。它系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，精度較高，成本低，在很多領(lǐng)域都極具應(yīng)用價(jià)值?；谝曈X(jué)的手勢(shì)識(shí)別是實(shí)現(xiàn)新一代人機(jī)交互所不可缺少的一項(xiàng)關(guān)鍵技術(shù)。

已有的傳統(tǒng)的手勢(shì)識(shí)別方法有很多的缺點(diǎn)。目前較為典型的手勢(shì)識(shí)別技術(shù)是基于RGB彩色相機(jī)的手勢(shì)動(dòng)作識(shí)別方法，例如已公開(kāi)的專利文獻(xiàn)(公開(kāi)號(hào)為CN102592113A)。這種識(shí)別方法通常采用基于皮膚顏色來(lái)確定手的位置，利用攝像頭對(duì)拍攝圖像，通過(guò)對(duì)圖像進(jìn)行膚色識(shí)別，識(shí)別出用戶的手部。由于圖像對(duì)可見(jiàn)光線敏感，容易受光照、復(fù)雜背景等因素的影響，導(dǎo)致這種識(shí)別方式的提取效果、通用性差。

已公開(kāi)的專利文獻(xiàn)(公開(kāi)號(hào)為CN103714322A)提出了一種實(shí)時(shí)手勢(shì)識(shí)別方法及裝置，能在一幀內(nèi)邊進(jìn)行圖像實(shí)時(shí)輸出邊進(jìn)行該算法圖像處理，但是其計(jì)算和處理信息量大，識(shí)別速度低。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)以上問(wèn)題，本發(fā)明專利目的在于設(shè)計(jì)了一種基于視覺(jué)的手勢(shì)識(shí)別方法和系統(tǒng)，可實(shí)現(xiàn)快速、精確、實(shí)時(shí)的手勢(shì)識(shí)別功能。

本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

一種基于視覺(jué)的手勢(shì)識(shí)別方法，包括：

分別獲取在紅外LED燈關(guān)和開(kāi)的情況下的手勢(shì)的紅外圖像R和L；

對(duì)所述紅外圖像R和紅外圖像L進(jìn)行灰度對(duì)比，提取得到手勢(shì) 區(qū)域圖；

利用圖像檢測(cè)邊緣算法在所述手勢(shì)區(qū)域圖上獲取手勢(shì)邊緣圖；

通過(guò)視頻濾波算法在所述手勢(shì)邊緣圖上計(jì)算出手勢(shì)特征點(diǎn)，再根據(jù)所述手勢(shì)特征點(diǎn)對(duì)用戶的手勢(shì)進(jìn)行識(shí)別。

進(jìn)一步，本發(fā)明所述獲取手勢(shì)區(qū)域圖進(jìn)一步包括：

設(shè)置一個(gè)灰度閾值；

逐點(diǎn)計(jì)算紅外圖像R和紅外圖像L中每個(gè)像素點(diǎn)灰度值的差值；

提取差值超過(guò)所述灰度閾值的區(qū)域，得到手勢(shì)區(qū)域圖。

進(jìn)一步，本發(fā)明所述圖像檢測(cè)邊緣算法為Canny算子或者Sobel算子。

進(jìn)一步，本發(fā)明選取手指尖位置作為所述手勢(shì)特征點(diǎn)。

本發(fā)明還提供一種基于視覺(jué)的手勢(shì)識(shí)別系統(tǒng)，包括：

視頻采集模塊，用于獲取手勢(shì)紅外圖像；

圖像處理模塊，用于對(duì)所述紅外圖像進(jìn)行灰度對(duì)比，得到手勢(shì)區(qū)域圖；

邊緣提取模塊，用于在所述手勢(shì)區(qū)域圖上獲取手勢(shì)邊緣圖；

特征提取模塊，用于在所述手勢(shì)邊緣圖上計(jì)算出手勢(shì)特征點(diǎn)。

進(jìn)一步，本發(fā)明所述視頻采集模塊包括紅外攝像頭、紅外LED、紅外濾光片和控制器。

進(jìn)一步，本發(fā)明所述邊緣提取模塊采用Canny算子或者Sobel算子獲取手勢(shì)邊緣圖。

附圖說(shuō)明

以下參照附圖對(duì)本發(fā)明實(shí)施例作進(jìn)一步說(shuō)明，其中：

圖1是本發(fā)明基于視覺(jué)的手勢(shì)識(shí)別方法的流程圖；

圖2是本發(fā)明基于視覺(jué)的手勢(shì)識(shí)別系統(tǒng)的視頻采集模塊示意圖；

圖3是本發(fā)明基于視覺(jué)的手勢(shì)識(shí)別方法的提取手勢(shì)區(qū)域圖的流程圖；

圖4是本發(fā)明基于視覺(jué)的手勢(shì)識(shí)別方法的原理圖；

圖5是本發(fā)明基于視覺(jué)的手勢(shì)識(shí)別系統(tǒng)的示意圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。

本發(fā)明提出了一種基于視覺(jué)的手勢(shì)識(shí)別方法，主要是針對(duì)近距離應(yīng)用條件下，結(jié)合紅外LED的輔助，精確提取有效區(qū)域，去除無(wú)效點(diǎn)，通過(guò)模式識(shí)別達(dá)到實(shí)現(xiàn)實(shí)時(shí)手勢(shì)識(shí)別的目的，同時(shí)利用這些信息結(jié)合操作規(guī)則實(shí)現(xiàn)體感操控。

請(qǐng)參閱圖1是本發(fā)明基于視覺(jué)的手勢(shì)識(shí)別方法的流程圖，包括如下步驟：

步驟S101，分別獲取在紅外LED燈關(guān)和開(kāi)的情況下的手勢(shì)的紅外圖像R和L；

具體的，視頻獲取利用視頻采集模塊實(shí)現(xiàn)視頻的獲取，請(qǐng)參閱圖2是本發(fā)明的基于視覺(jué)的手勢(shì)識(shí)別系統(tǒng)的視頻采集模塊示意圖，主要部件包括：紅外攝像頭，紅外LED，紅外濾光片以及相應(yīng)的控制器。通過(guò)該模塊結(jié)合算法可以實(shí)現(xiàn)區(qū)域選擇與操作點(diǎn)計(jì)算功能。

首先，紅外LED燈處于關(guān)閉狀態(tài)，先利用攝像頭拍攝一張圖片，得到紅外圖像R；然后打開(kāi)紅外LED燈，得到由攝像頭拍攝到的紅外圖像L。

步驟S102，對(duì)所述紅外圖像R和紅外圖像L進(jìn)行灰度對(duì)比，提取得到手勢(shì)區(qū)域圖；

具體的，將紅外圖像R和紅外圖像L通過(guò)逐點(diǎn)計(jì)算每個(gè)像素灰度值的大小差值，把差值超過(guò)一個(gè)設(shè)定閾值的點(diǎn)提取出來(lái)，從而得到有效區(qū)域的信息，提取得到手勢(shì)區(qū)域圖。請(qǐng)參閱圖3是本發(fā)明基于視覺(jué)的手勢(shì)識(shí)別方法的提取手勢(shì)區(qū)域圖的流程圖，為實(shí)現(xiàn)實(shí)時(shí)區(qū)域選擇，需要使LED以一定的頻率閃爍。

步驟S103，利用圖像檢測(cè)邊緣算法在所述手勢(shì)區(qū)域圖上獲取手勢(shì)邊緣圖；

具體的，對(duì)得到的手勢(shì)區(qū)域圖進(jìn)行腐蝕操作，去除邊緣處由于遮擋產(chǎn)生的無(wú)效的邊緣點(diǎn)，得到可靠的手勢(shì)區(qū)域圖，利用圖像邊緣檢測(cè)算法，比如Canny算子、Sobel算子等方法計(jì)算得到手勢(shì)邊緣圖。

步驟S104，通過(guò)視頻濾波算法在所述手勢(shì)邊緣圖上計(jì)算出手勢(shì) 特征點(diǎn)；

具體的，為了得到可靠應(yīng)用點(diǎn)，通過(guò)濾波計(jì)算算法所述手勢(shì)邊緣圖上計(jì)算出手指尖位置作為特征點(diǎn)。為了重構(gòu)出完整物體，通過(guò)抓取邊緣得到邊緣點(diǎn)，內(nèi)部的點(diǎn)在計(jì)算完成后通過(guò)對(duì)邊緣點(diǎn)進(jìn)行插值得到。由于我們?cè)诮嚯x中絕大多數(shù)情況下得到的內(nèi)部區(qū)域滿足平滑條件，這樣的插值理論上是比較精確的。

請(qǐng)參閱圖4是本發(fā)明基于視覺(jué)的手勢(shì)識(shí)別方法的原理圖，通過(guò)上述的計(jì)算，可以得到目標(biāo)的手勢(shì)特征點(diǎn)點(diǎn)在視場(chǎng)內(nèi)X方向、Y方向的實(shí)時(shí)坐標(biāo)，通過(guò)該實(shí)時(shí)坐標(biāo)，并結(jié)合一定的規(guī)則，就可以利用該設(shè)備進(jìn)行體感操作。

本發(fā)明還提供一種基于視覺(jué)的手勢(shì)識(shí)別系統(tǒng)，請(qǐng)參閱圖5是本發(fā)明基于視覺(jué)的手勢(shì)識(shí)別系統(tǒng)的示意圖，包括：

視頻采集模塊，用于獲取手勢(shì)紅外圖像，主要部件包括紅外攝像頭，紅外LED，紅外濾光片以及相應(yīng)的控制器；

圖像處理模塊，用于對(duì)所述紅外圖像進(jìn)行灰度對(duì)比，得到手勢(shì)區(qū)域圖；

邊緣提取模塊，用于在所述手勢(shì)區(qū)域圖上獲取手勢(shì)邊緣圖；

特征提取模塊，用于在所述手勢(shì)邊緣圖上計(jì)算出手勢(shì)特征點(diǎn)。

本發(fā)明主要是針對(duì)近距離應(yīng)用條件下，結(jié)合紅外LED的輔助，精確提取有效區(qū)域，去除無(wú)效點(diǎn)，通過(guò)模式識(shí)別達(dá)到實(shí)現(xiàn)實(shí)時(shí)手勢(shì)識(shí)別的目的，同時(shí)利用這些信息結(jié)合操作規(guī)則實(shí)現(xiàn)體感操控。

以上所述本發(fā)明的具體實(shí)施方式，并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限定。任何根據(jù)本發(fā)明的技術(shù)構(gòu)思所做出的各種其他相應(yīng)的改變與變形，均應(yīng)包含在本發(fā)明權(quán)利要求的保護(hù)范圍內(nèi)。