專利名稱：一種基于指端跟蹤的快速人機(jī)交互方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于指端跟蹤的的人機(jī)交互方法，屬于計(jì)算機(jī)視覺(jué)和視頻跟蹤領(lǐng)域，適用 于虛擬現(xiàn)實(shí)系統(tǒng)中的人機(jī)交互環(huán)節(jié)。
背景技術(shù)：
人機(jī)交互技術(shù)是虛擬現(xiàn)實(shí)系統(tǒng)的關(guān)鍵技術(shù)之一，它實(shí)現(xiàn)了人與計(jì)算機(jī)、現(xiàn)實(shí)世界與虛 擬世界的交互。手勢(shì)是一種自然而直觀的人際交流方式?；谝曈X(jué)的人手跟蹤及手勢(shì)識(shí)別 是實(shí)現(xiàn)新一代人機(jī)交互必不可少的一項(xiàng)關(guān)鍵技術(shù)。
在人機(jī)交互中，手部的跟蹤主要有數(shù)據(jù)手套和視覺(jué)識(shí)別等方法。
數(shù)據(jù)手套，即人可以戴上一個(gè)類似于手套的傳感器，計(jì)算機(jī)通過(guò)它可以獲取手的位置
和手指的伸展?fàn)顩r等豐富信息。如1993年.BThmaas等人做的自由手控制目標(biāo)的系統(tǒng)是憑 借數(shù)據(jù)手套作為輸入的媒介，但這需要實(shí)驗(yàn)者帶上一個(gè)專用設(shè)備。這不便于使用和推廣。 隨著計(jì)算機(jī)硬件的發(fā)展，計(jì)算機(jī)視覺(jué)己逐漸應(yīng)用于手部定位與跟蹤?；谝曈X(jué)的手部跟蹤 方法，首先要考慮的就是環(huán)境因素，特別是背景。為了減少背景的影響，往往采取限制背 景，如背景全為黑色或白色等。還有就是采用手指標(biāo)記的方法，但對(duì)使用者造成不便，因 此手部跟蹤的注意力便轉(zhuǎn)移到自然手的跟蹤。
基于視覺(jué)的手部跟蹤的方法已經(jīng)越來(lái)越廣泛，特別在手寫識(shí)別的領(lǐng)域。由于面向個(gè)人 的智能手機(jī)等智能設(shè)備的迅速發(fā)展，目前大部分的日常應(yīng)用所采取的手部跟蹤都是局限在 小范圍，即采集的視頻中都不包含除了手部之外的其他部分，這限制了使用者及其手部的 活動(dòng)范圍，只能在攝像系統(tǒng)附近操作計(jì)算機(jī)，缺乏靈活性，也不太適合邊操作邊交流的多 人場(chǎng)合。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種基于計(jì)算機(jī)視覺(jué)的可大范圍活動(dòng)的使用手指控制的人機(jī) 交互方法。
本發(fā)明的目的通過(guò)如下技術(shù)方案實(shí)現(xiàn)-
一種基于指端跟蹤的快速人機(jī)交互方法，包括以下歩驟 (1)圖像預(yù)處理采用一個(gè)60至120度的廣角高清攝像頭對(duì)--室內(nèi)區(qū)域進(jìn)行高分辨率攝像，對(duì)所得圖像進(jìn)行圖像幾何畸變糾正；
(2)手部圖像提取對(duì)步驟(1)所得的校正圖像應(yīng)用膚色濾波器、運(yùn)動(dòng)濾波器和色 彩分割器進(jìn)行處理，然后把結(jié)果融合，把手部圖像從步驟(l)所得的校正圖像中分割出來(lái)， 包括如下步驟
a、進(jìn)行膚色濾波處理，采用TSL色彩模型將與皮膚顏色接近圖像區(qū)域選擇出來(lái)，對(duì) 膚色濾波后得到的二值圖像，其中膚色區(qū)域?yàn)閘，其他區(qū)域?yàn)?，再進(jìn)行膨脹運(yùn)算，減少膚 色濾波導(dǎo)致的空洞；
b、 采用圖像幀間差分的算法進(jìn)行運(yùn)動(dòng)濾波處理，將運(yùn)動(dòng)區(qū)域從靜態(tài)背景中分離出來(lái)；
c、 對(duì)步驟a膨脹運(yùn)算后的二值圖像進(jìn)行色彩分割，得到的圖像為包含臉部和手部膚色 區(qū)域的二值圖像，提取手部的完整圖像；
d、 在步驟a、 b、 c處理的基礎(chǔ)上，進(jìn)行圖像融合，將手部的完整圖像與運(yùn)動(dòng)濾波得到 的圖像進(jìn)行"與"運(yùn)算，并對(duì)結(jié)果進(jìn)行膨脹運(yùn)算，得到主要包含手部區(qū)域的二值圖像；對(duì) 主要包含手部區(qū)域的二值圖像，如果判斷該圖像為新使用者手部區(qū)域的二值圖像，按從上 到下、從左到右的優(yōu)先順序搜索人臉，并計(jì)算其雙眼的圖像距離，第--個(gè)符合雙眼圖像距 離條件的人取得控制權(quán)；如果判斷該圖像為已知使用者手部區(qū)域的二值圖像，則跟蹤其臉 部位置，重新計(jì)算雙眼圖像距離，若符合雙眼圖像距離條件，則根據(jù)手部在臉部右下方而 預(yù)先設(shè)定的搜索區(qū)域中跟蹤手部，具體步驟在圖像的對(duì)應(yīng)區(qū)域中進(jìn)行，并在圖像中進(jìn)一歩 消除非手部的圖像，得到僅包含手部的二值圖像；若雙眼圖像距離不符合圖像中能清楚地 分辨出來(lái)的要求，放棄控制權(quán)，不再進(jìn)行指尖定位，轉(zhuǎn)而搜索新的使用者；
(3)指尖定位對(duì)歩驟(2)中得到的僅含手部的圖像進(jìn)行指尖定位，首先，應(yīng)用直 方圖進(jìn)行指尖的粗略定位，規(guī)定使用者的指尖向上；對(duì)(2)中得到的僅包含手部的二值化 圖像，通過(guò)邊緣檢測(cè)進(jìn)行手部輪廓提取，并把輪廓點(diǎn)進(jìn)行橫縱坐標(biāo)投影，從上至下、從左 至右，搜索到投影值明顯變化的地方，作為手指尖的粗略位置，以此位置為中心，構(gòu)造一 個(gè)搜索窗口；然后，通過(guò)模板匹配進(jìn)行指尖的精確定位。
所述的對(duì)所得圖像進(jìn)行圖像幾何畸變糾正是指采用三次多項(xiàng)式變形技術(shù)和雙線性插值 法消除從廣角攝像頭采集到的圖像的幾何畸變失真。
所述的三次多項(xiàng)式變形技術(shù)和雙線性插值法，是通過(guò)選定一個(gè)自定義的基準(zhǔn)圖像及其 畸變圖像，聯(lián)立方程組，并通過(guò)最小二乘法求解，確定理想圖像與畸變圖像的具體變換關(guān) 系。
4所述的"與"運(yùn)算是指色彩分割后得到的二值圖像與運(yùn)動(dòng)濾波得到的二值圖像之間
5的，逐點(diǎn)進(jìn)行的二進(jìn)制邏輯與運(yùn)算。
所述的膨脹運(yùn)算是指數(shù)學(xué)形態(tài)學(xué)中用己定義的模板子圖像對(duì)原圖像進(jìn)行的能實(shí)現(xiàn)平滑 或減少圖像空洞運(yùn)算。
所述步驟(3)的搜索窗口是指以指尖粗定位位置為中心的，且其邊長(zhǎng)由統(tǒng)計(jì)設(shè)定的、 大小為粗定位位置與實(shí)際精確位置的最大誤差的兩倍的矩形窗口。
所述步驟G)的模板匹配是指用已定義的若干個(gè)手指指端模板去匹配得到的指端圖像，
找到最佳匹配模板與指端圖像的最佳匹配位置，該匹配位置即為指尖的精確位置。 所述步驟d符合雙眼圖像距離條件是指該圖像距離大到保證使用者是符合正對(duì)攝像頭
的使用規(guī)則，同時(shí)也保證了手指在圖像中是能夠分辨出來(lái)的。 與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)-
(1) 本發(fā)明采用廣角鏡頭(60至120° )及高分辨率的攝像頭攝像，允許使用者在比 較大的區(qū)域內(nèi)(攝像頭視角范圍內(nèi))活動(dòng)，并使用圖像變形修正算法，有效提高場(chǎng)景圖像 感知效率，實(shí)現(xiàn)較大范圍的手指檢測(cè)和定位；
(2) 按區(qū)域劃分的優(yōu)先級(jí)對(duì)多使用者情況進(jìn)行管理，同時(shí)縮小了計(jì)算量，極大提高速 度和效率；
(3) 對(duì)自然手進(jìn)行實(shí)時(shí)的跟蹤定位，無(wú)需任何指端標(biāo)記，具有更高實(shí)用性；
(4) 使用膚色濾波與運(yùn)動(dòng)檢測(cè)相結(jié)合的方式對(duì)手部進(jìn)行定位跟蹤，不僅提高了手部定 位的準(zhǔn)確性，而且增加了對(duì)環(huán)境(特別是背景)的適應(yīng)性，能夠適應(yīng)一般的室內(nèi)應(yīng)用，并 能夠在比較復(fù)雜的背景情況下使用；
(4)把雙眼的圖像距離判斷作為能夠進(jìn)行指端定位的依據(jù)(圖像距離過(guò)大表明手指在 圖像的分辨率太低而導(dǎo)致無(wú)法精確定位)，無(wú)需環(huán)境的任何先驗(yàn)知識(shí)，故距離魯棒性突出， 優(yōu)于現(xiàn)有技術(shù)。


圖1為基于指端跟蹤的快速人機(jī)交互系統(tǒng)結(jié)構(gòu)示意圖，示出了本發(fā)明的第一實(shí)施例的基 于指端跟蹤的快速人機(jī)交互系統(tǒng)的系統(tǒng)結(jié)構(gòu)。
圖2為基于指端跟蹤的快速人機(jī)交互方法流程框圖，示出了基于指端跟蹤的快速人機(jī)交 互系統(tǒng)的具體實(shí)現(xiàn)方法的歩驟。
具體實(shí)施例方式
下面結(jié)合實(shí)施例對(duì)本發(fā)明作進(jìn)一歩的描述，但需要說(shuō)明的是，實(shí)施例并不構(gòu)成對(duì)本發(fā) 明要求保護(hù)范圍的限制。如圖1所示，基于指端跟蹤的快速人機(jī)交互系統(tǒng)包括廣角高清攝像頭101、 DSP (數(shù)字 信號(hào)處理器)設(shè)備102和計(jì)算機(jī)106。 DSP設(shè)備102包括圖像采集部103、信號(hào)轉(zhuǎn)換部104 和圖像預(yù)處理部105;廣角高清攝像頭101與DSP設(shè)備102的圖像采集部103信號(hào)連接， 圖像采集部103與信號(hào)轉(zhuǎn)換部104和圖像預(yù)處理部105依次信號(hào)連接；圖像預(yù)處理部105 與計(jì)算機(jī)106信號(hào)連接。采用廣角高清攝像頭101進(jìn)行檢測(cè)，由DSP設(shè)備102的圖像采集 部103進(jìn)行圖像采集，通過(guò)信號(hào)轉(zhuǎn)換部104將視頻模擬輸入信號(hào)轉(zhuǎn)換為圖像數(shù)字信號(hào)，并 通過(guò)圖像預(yù)處理部105進(jìn)行圖像預(yù)處理，然后由計(jì)算機(jī)106完成手部提取和指尖的識(shí)別定 位。
廣角攝像頭101負(fù)責(zé)采集大范圍的高清晰度圖像；DSP設(shè)備102設(shè)備負(fù)責(zé)將模擬圖像 信號(hào)轉(zhuǎn)換成數(shù)字圖像信號(hào)，并進(jìn)行圖像幾何畸變糾正的圖像與處理。計(jì)算機(jī)106負(fù)責(zé)完成 通過(guò)膚色濾波、運(yùn)動(dòng)濾波和色彩分割來(lái)提取使用者的手部，然后進(jìn)一步識(shí)別指尖的位置， 最后把指尖的圖像坐標(biāo)轉(zhuǎn)換成實(shí)際的坐標(biāo)，實(shí)現(xiàn)控制輸出。
廣角高清攝像頭101可選美國(guó)微軟公司的LifeCam NX-6000廣角高清攝像頭；DSP設(shè) 備102具體可選用TI公司的TMS320系列處理器。
如圖2所示，基于指端跟蹤的快速人機(jī)交互方法具體包括如下步驟-(1)圖像預(yù)處理采用一個(gè)60至120度的廣角高清攝像頭對(duì)一室內(nèi)區(qū)域進(jìn)行高分辨 率攝像，對(duì)所得圖像進(jìn)行圖像幾何畸變糾正。從廣角攝像頭采集到的圖像存在比較嚴(yán)重的 幾何畸變，因此在后續(xù)圖像處理之前，必須進(jìn)行圖像幾何畸變糾正。為運(yùn)算量簡(jiǎn)化下，獲 得盡可能好的修正效果，可采用三次多項(xiàng)式變形技術(shù)和雙線性插值法消除從廣角攝像頭采 集到的圖像的幾何畸變失真。三次多項(xiàng)式變形技術(shù)和雙線性插值法具體如下
設(shè)理想圖像g的像素坐標(biāo)為O,"，畸變圖像/對(duì)應(yīng)像素坐標(biāo)為(x,j;)，則三次多項(xiàng)式
坐標(biāo)變換關(guān)系為
<formula>formula see original document page 7</formula> 式①
其中 和^.(/J = 0,1,2,3)為待定的多項(xiàng)式系數(shù)；
式 中的多項(xiàng)式系數(shù)",,和~(/^ = 0，1，2,3)是僅與攝像頭相關(guān)的參數(shù)，可通過(guò)選定一個(gè) 自定義的基準(zhǔn)圖像及其畸變圖像，聯(lián)立方程組，并通過(guò)最小二乘法求解，得到 和^的值，從而確定理想圖像與畸變圖像的具體變換關(guān)系。由于式①計(jì)算得到的JC，J/不一定為整數(shù)， 所以不能直接使用￡("^) = /(1，力，而必須進(jìn)行灰度差值運(yùn)算。因此，采用雙線性插值法, 即式②
g(M,v) = (l-aXl-")/(xo，h) + a(l-^/"0+lj0) + (l-a)^(xoj。+l) + a/ /"+l，3;0+l) 其中a-;c-x。,/9 = ;;-y。;/,g分別為對(duì)應(yīng)的畸變圖像和理想圖像 ； ;x，y可由將",v代入式①得到，^。，;;。分別為不大于x,少的最大整數(shù)；
對(duì)所有的像素點(diǎn)("，v)進(jìn)行式②的運(yùn)算，最終得到理想圖g;即實(shí)現(xiàn)圖像及和畸變糾正。
(2)手部圖像提取對(duì)步驟(1)所得的校正圖像應(yīng)用膚色濾波器、運(yùn)動(dòng)濾波器和色 彩分割器進(jìn)行處理，然后把結(jié)果融合，把手部圖像從步驟(l)所得的校正圖像中分割出來(lái)， 具體步驟如下
a、進(jìn)行膚色濾波處理，采用TSL色彩模型將與皮膚顏色接近圖像區(qū)域選擇出來(lái)。TSL 色彩模型進(jìn)行膚色濾波，比RGB、 HIS、 YIQ與C正LUV模型過(guò)濾出來(lái)的膚色區(qū)域準(zhǔn)確。 其中，TSL色彩模型與RGB模型的轉(zhuǎn)換見式③；TSL色彩空間把亮度及色度分開處理， RGB模型為原始圖像的色彩模型，轉(zhuǎn)換為TSL模型有助于膚色叢集化。
r-丄tan-'(二) + 0.5
R、 G、 B分別為RGB色彩模型下的RGB分量；T、 S、 L分別為TSL色彩模型下的T、 S、 L分量。由于彩色圖像一般采用RGB模型，所以在使用TSL模型時(shí)，必須用式③進(jìn)行 轉(zhuǎn)換。
通過(guò)對(duì)500張包含膚色區(qū)域的圖像的臉部和手部區(qū)域進(jìn)行采樣，估計(jì)TSL模型下膚色 (T和S)的(二維高斯分布)概率分布參數(shù)(均值矩陣E和協(xié)方差矩陣s:);并且采用馬 氏距離進(jìn)行膚色的判別，即對(duì)每個(gè)像素進(jìn)行檢測(cè)，若一個(gè)像素的T和S分量組成的C= (T，
i = 0.299 * i + 0.587 * G + 0.114 * 5
8S)向量與均值向量E的馬氏距離低于某個(gè)閾值Threshold,則認(rèn)為該像素屬于膚色區(qū)域。
具體如下
馬氏距離d = (C — ￡)r 2T1 (C —五) 若d < 7T^ey/wW,像素屬于膚色區(qū)域 若d > 7VeAoW,像素不屬于膚色區(qū)域
其中Threshold為閾值，在得到膚色區(qū)域統(tǒng)計(jì)數(shù)據(jù)(均值矩陣E和協(xié)方差矩陣S )后， 估計(jì)正常膚色(T， S)與均值E的距離，得到初始值，再經(jīng)過(guò)實(shí)驗(yàn)調(diào)整，可確定閾值為0.99。
對(duì)膚色濾波后得到的二值圖像(膚色區(qū)域?yàn)閘，其他區(qū)域?yàn)?)進(jìn)行膨脹運(yùn)算(模板子 圖像使用3X3模板子圖像，且模板中每個(gè)像素均為1)，減少膚色濾波導(dǎo)致的空洞。
b、 在進(jìn)行上述a處理的同時(shí)，并行地進(jìn)行運(yùn)動(dòng)濾波處理，將運(yùn)動(dòng)區(qū)域從靜態(tài)背景中分 離出來(lái)具體采取圖像幀間差分的算法來(lái)檢測(cè)出運(yùn)動(dòng)區(qū)域，為了防止把由于攝像系統(tǒng)等原 因?qū)е碌呐及l(fā)性變化判為運(yùn)動(dòng)，進(jìn)一步加強(qiáng)條件，即在連續(xù)5幀圖像里至少有3幀都變化 的像素才視為運(yùn)動(dòng)像素。根據(jù)各像素運(yùn)動(dòng)狀態(tài)將原始圖像二值化，得到的二值圖像記為B， 對(duì)B的每個(gè)像素S(/,/h
p， (/，力為運(yùn)動(dòng)像素 lo， (/,力為靜止像素
對(duì)差分后得到的二值圖像B進(jìn)行腐蝕運(yùn)算(使用3X3模板子圖像，且模板中每個(gè)像素 均為l)，更清晰的把運(yùn)動(dòng)區(qū)域和背景區(qū)分開來(lái)。
c、 在步驟a處理的基礎(chǔ)上，進(jìn)行色彩分割，提取手部的完整圖像 由于亮度的影響，膚色濾波器有可能把屬于膚色的像素或區(qū)域錯(cuò)判為非膚色。為了盡
量排除誤判的影響，加入色彩分割器，定義色彩的相似度量，把原始圖像分成幾塊區(qū)域， 這樣，整個(gè)手部形成了--個(gè)連通域。使用RGB色彩空間下的色彩相似度量，具體如下(對(duì) 相鄰像素a和b):
= 0.3* I i 。 -I +0.59* I G。 - GA I +0.11* I & - A j 其中，i 。,(^和5。分別為a的RGB分量；A，(^和^分別為6的RGB分量
若6)<則a和b屈于同-一個(gè)色彩區(qū)域，否則屬于不同的色彩區(qū)域;thresholds
是估計(jì)不同區(qū)域像素點(diǎn)的RGB向量距離，得到初始值，再經(jīng)過(guò)實(shí)驗(yàn)調(diào)整確定；本發(fā)明確 定thresholds為12?？紤]誤判被排除的膚色點(diǎn)與膚色濾波得到的膚色區(qū)域，在共同組成完整的膚色區(qū)域中 應(yīng)是連通的，因此采用區(qū)域生長(zhǎng)的色彩分割方法，即以膚色濾波得到的膚色區(qū)域中所有點(diǎn) 為種子點(diǎn)，進(jìn)行區(qū)域生長(zhǎng)，最后得到包含完整膚色區(qū)域的二值圖像C。
d、在上述步驟a、 b、 c處理的基礎(chǔ)上，進(jìn)行圖像融合。首先，色彩分割后得到的圖像
C為包含臉部和手部等膚色區(qū)域的二值圖像考慮到手部的運(yùn)動(dòng)，將圖像C與運(yùn)動(dòng)濾波最
終得到的圖像進(jìn)行"與"運(yùn)算，并對(duì)結(jié)果進(jìn)行膨脹運(yùn)算(模板子圖像使用3X3模板子圖像， 且模板中每個(gè)像素均為1)，就得到主要包含手部區(qū)域的二值圖像D (與圖像C相比，僅濾 除了非運(yùn)動(dòng)區(qū)域，其中可能包含臉部)。
最后，在二值圖像C中，如果判斷該圖像為新使用者手部區(qū)域的二值圖像，就按從上 到下、從左到右的優(yōu)先順序搜索人臉，并計(jì)算其雙眼的圖像距離，第一個(gè)符合雙眼圖像距 離條件的人取得控制權(quán)，取得控制權(quán)的用戶即為被跟蹤的用戶，系統(tǒng)繼續(xù)進(jìn)行步驟(3)指 尖定位步驟；符合雙眼圖像距離條件是指該圖像距離應(yīng)該足夠大，使得保證使用者是符合
正對(duì)攝像頭的使用規(guī)則，同時(shí)也保證手指在圖像中有足夠分辨率，以便于指尖的定位，如
可設(shè)雙眼圖像距離為大于10個(gè)像素距離。相應(yīng)地，不符合雙眼圖像距離要求是指圖像距離 過(guò)小，小于預(yù)設(shè)值，則意味著臉部沒(méi)有正對(duì)著攝像頭，不符合使用規(guī)則或者人離開攝像頭 太遠(yuǎn)，導(dǎo)致無(wú)法進(jìn)行跟蹤；如果判斷該圖像為已知使用者手部區(qū)域的二值圖像，則跟蹤其 臉部位置，重新計(jì)算雙眼圖像距離，若符合雙眼圖像距離條件，則根據(jù)手部在臉部右下方 而預(yù)先設(shè)定的搜索區(qū)域中跟蹤手部，在圖像D的對(duì)應(yīng)區(qū)域中進(jìn)行，并在圖像D中進(jìn)一歩消 除非手部的圖像，最終得到的二值圖像記為H;若雙眼圖像距離不符合雙眼圖像距離條件， 放棄控制權(quán)，不再進(jìn)行指尖定位，轉(zhuǎn)而在圖像C中繼續(xù)搜索新的使用者(人臉)，若整個(gè)圖 像C中均找不到符合雙眼圖像距離圖像的人臉，則返回歩驟(1),重新開始。 (3)指尖定位對(duì)步驟(2)中得到的僅含手部的圖像H進(jìn)行指尖定位。 首先，應(yīng)用直方圖進(jìn)行指尖的粗略定位；對(duì)二值圖像H進(jìn)行輪廓提取(提取輪廓圖像 設(shè)為H1)，并進(jìn)行網(wǎng)格大小為2X2像素的網(wǎng)格采樣(網(wǎng)格中存在輪廓點(diǎn)，在采樣后的圖像 中對(duì)應(yīng)的點(diǎn)仍為輪廓點(diǎn))，以保證輪廓的連續(xù)性，網(wǎng)格采樣后的圖像設(shè)為H2。由于指尖的 粗略位置一般是輪廓在四個(gè)方向的頂點(diǎn)之一，手指可以近似看成由矩形和一個(gè)半圓組成， 因此在H2中找出4個(gè)候選點(diǎn)(4個(gè)方向的頂點(diǎn))后，對(duì)每個(gè)候選點(diǎn)，分別從逆時(shí)針和順時(shí) 針選擇第2、 3、 4共3個(gè)輪廓點(diǎn)，構(gòu)成3個(gè)像素對(duì)，由于手指的寬度近似是不變的，所以 計(jì)算每個(gè)候選點(diǎn)的鄰近的3對(duì)像素點(diǎn)的距離的方差，方差最小的候選點(diǎn)就是最佳的候選點(diǎn)， 根據(jù)該候選點(diǎn)在H2中的位置，在圖像H1 (或H)中找到對(duì)應(yīng)的候選點(diǎn)，作為手指尖的粗略位置。
在輪廓圖像H1中，以手指尖的粗略位置為中心，構(gòu)造一個(gè)的搜索窗口，該搜索窗口中 的輪廓點(diǎn)都有可能是指尖的精確位置，對(duì)指尖的精確定位便在該窗口進(jìn)行。搜索窗口以能 包括指尖的所有可能的精確位置為準(zhǔn)， 一般可以設(shè)置為9X9像素。然后，對(duì)搜索窗口的所
有輪廓點(diǎn)，進(jìn)行模板匹配，找出指尖的精確位置模板匹配是目前手指檢測(cè)中常用的方法， 模板匹配是指用預(yù)定義好的若干個(gè)手指指端模板去匹配得到的指端圖像，找到最佳匹配模 板與指尖圖像的最佳匹配位置，以使得絕對(duì)距離測(cè)度最小，該匹配位置即為指尖的精確位 置。常用的距離測(cè)度有歐式距離、相關(guān)距離等。本發(fā)明采用絕對(duì)值距離測(cè)度。模板匹配方 法可用下式來(lái)描述-
式中p是搜索窗口中的待匹配子圖像，"代表第k個(gè)模板，模板大小為MXN。 (i，j)表示 搜索窗口中的任意輪廓點(diǎn)，""，L)表示最終檢測(cè)到的手指尖精確位置的坐標(biāo)，m， n在上 式中表示用來(lái)求和迭代過(guò)程中的臨時(shí)變量，P(i+n^ + n〗表示的是圖像在坐標(biāo)(i+m，j+n)上 的值；考慮到手指指向一般不會(huì)向下，選用5個(gè)大小為25X25像素的包括0。 、 45° 、 90 ° 、 135°和180°的手指指向的指端模板。最后把圖像中的指尖位置映射到顯示器屏幕坐 標(biāo)等控制坐標(biāo)，作為最終的坐標(biāo)輸出。
本方法在人數(shù)不多的室內(nèi)環(huán)境下基本能夠跟蹤使用者的手指指尖。本方法采用的算法 比較簡(jiǎn)單，容易實(shí)現(xiàn)，而且運(yùn)算復(fù)雜度不高。通過(guò)人眼距離檢測(cè)的輸出量的距離標(biāo)度，該 方法對(duì)于一個(gè)距離區(qū)間內(nèi)的使用者均可具有相近的操作體現(xiàn)和輸出控制精確度，比現(xiàn)有技 術(shù)對(duì)操作距離有要求的方法具有更高實(shí)用性。
1權(quán)利要求
1、一種基于指端跟蹤的快速人機(jī)交互方法，其特征在于包括以下步驟(1)圖像預(yù)處理采用一個(gè)60至120度的廣角高清攝像頭對(duì)一室內(nèi)區(qū)域進(jìn)行高分辨率攝像，對(duì)所得圖像進(jìn)行圖像幾何畸變糾正；(2)手部圖像提取對(duì)步驟(1)所得的校正圖像應(yīng)用膚色濾波器、運(yùn)動(dòng)濾波器和色彩分割器進(jìn)行處理，然后把結(jié)果融合，把手部圖像從步驟(1)所得的校正圖像中分割出來(lái)，包括如下步驟a、進(jìn)行膚色濾波處理，采用TSL色彩模型將與皮膚顏色接近圖像區(qū)域選擇出來(lái)，對(duì)膚色濾波后得到的二值圖像，其中膚色區(qū)域?yàn)?，其他區(qū)域?yàn)?，再進(jìn)行膨脹運(yùn)算，減少膚色濾波導(dǎo)致的空洞；b、采用圖像幀間差分的算法進(jìn)行運(yùn)動(dòng)濾波處理，將運(yùn)動(dòng)區(qū)域從靜態(tài)背景中分離出來(lái)；c、對(duì)步驟a膨脹運(yùn)算后的二值圖像進(jìn)行色彩分割，得到的圖像為包含臉部和手部膚色區(qū)域的二值圖像，提取手部的完整圖像；d、在步驟a、b、c處理的基礎(chǔ)上，進(jìn)行圖像融合，將手部的完整圖像與運(yùn)動(dòng)濾波得到的圖像進(jìn)行“與”運(yùn)算，并對(duì)結(jié)果進(jìn)行膨脹運(yùn)算，得到主要包含手部區(qū)域的二值圖像；對(duì)主要包含手部區(qū)域的二值圖像，如果判斷該圖像為新使用者手部區(qū)域的二值圖像，按從上到下、從左到右的優(yōu)先順序搜索人臉，并計(jì)算其雙眼的圖像距離，第一個(gè)符合雙眼圖像距離條件的人取得控制權(quán)；如果判斷該圖像為已知使用者手部區(qū)域的二值圖像，則跟蹤其臉部位置，重新計(jì)算雙眼圖像距離，若符合雙眼圖像距離條件，則根據(jù)手部在臉部右下方而預(yù)先設(shè)定的搜索區(qū)域中跟蹤手部，具體步驟在圖像的對(duì)應(yīng)區(qū)域中進(jìn)行，并在圖像中進(jìn)一步消除非手部的圖像，得到僅包含手部的二值圖像；若雙眼圖像距離不符合圖像中能清楚地分辨出來(lái)的要求，放棄控制權(quán)，不再進(jìn)行指尖定位，轉(zhuǎn)而搜索新的使用者；(3)指尖定位對(duì)步驟(2)中得到的僅含手部的圖像進(jìn)行指尖定位，首先，應(yīng)用直方圖進(jìn)行指尖的粗略定位，規(guī)定使用者的指尖向上；對(duì)(2)中得到的僅包含手部的二值化圖像，通過(guò)邊緣檢測(cè)進(jìn)行手部輪廓提取，并把輪廓點(diǎn)進(jìn)行橫縱坐標(biāo)投影，從上至下、從左至右，搜索到投影值明顯變化的地方，作為手指尖的粗略位置，以此位置為中心，構(gòu)造一個(gè)搜索窗口；然后，通過(guò)模板匹配進(jìn)行指尖的精確定位。
2、根據(jù)權(quán)利要求1所述的基于指端跟蹤的快速人機(jī)交互方法，其特征在于所述的對(duì)所得圖像進(jìn)行圖像幾何畸變糾正是指采用三次多項(xiàng)式變形技術(shù)和雙線性插值法消除從廣角攝 像頭采集到的圖像的幾何畸變失真。
3、根據(jù)權(quán)利要求2所述的基于指端跟蹤的快速人機(jī)交互方法，其特征在于所述的三次多項(xiàng)式變形技術(shù)和雙線性插值法，是通過(guò)選定一個(gè)自定義的基準(zhǔn)圖像及其畸變圖像，聯(lián)立 方程組，并通過(guò)最小二乘法求解，確定理想圖像與畸變圖像的具體變換關(guān)系。
4、 根據(jù)權(quán)利要求1所述的基于指端跟蹤的快速人機(jī)交互方法，其特征在于所述的"與"運(yùn)算是指色彩分割后得到的二值圖像與運(yùn)動(dòng)濾波得到的二值圖像之間的，逐點(diǎn)進(jìn)行的二進(jìn) 制邏輯與運(yùn)算。
5、 根據(jù)權(quán)利要求1所述的基于指端跟蹤的快速人機(jī)交互方法，其特征在于所述的膨脹運(yùn)算是指數(shù)學(xué)形態(tài)學(xué)中用已定義的模板子圖像對(duì)原圖像進(jìn)行的能實(shí)現(xiàn)平滑或減少圖像空洞 運(yùn)算。
6、 根據(jù)權(quán)利要求1所述的基于指端跟蹤的快速人機(jī)交互方法，其特征在于所述步驟(3)的搜索窗口是指以指尖粗定位位置為中心的，且其邊長(zhǎng)由統(tǒng)計(jì)設(shè)定的、大小為粗定位位置 與實(shí)際精確位置的最大誤差的兩倍的矩形窗口。
7、 根據(jù)權(quán)利要求1所述的基于指端跟蹤的快速人機(jī)交互方法，其特征在于所述歩驟(3)的模板匹配是指用已定義的若干個(gè)手指指端模板去匹配得到的指端圖像，找到最佳匹配模 板與指端圖像的最佳匹配位置，該匹配位置即為指尖的精確位置。
8、 根據(jù)權(quán)利要求1所述的基于指端跟蹤的快速人機(jī)交互方法，其特征在于所述步驟d符合雙眼圖像距離條件是指該圖像距離大到保證使用者是符合正對(duì)攝像頭的使用規(guī)則，同 時(shí)也保證了手指在圖像中是能夠分辨出來(lái)的。
全文摘要
本發(fā)明公開了一種基于指端跟蹤的快速人機(jī)交互方法。該方法先對(duì)圖像預(yù)處理，采用一個(gè)60至120度的廣角高清攝像頭對(duì)一室內(nèi)區(qū)域進(jìn)行高分辨率攝像，對(duì)所得圖像進(jìn)行圖像幾何畸變糾正；然后進(jìn)行手部圖像提取，對(duì)所得的校正圖像應(yīng)用膚色濾波器、運(yùn)動(dòng)濾波器和色彩分割器進(jìn)行處理，然后把結(jié)果融合，把手部圖像從所得的校正圖像中分割出來(lái)；最后進(jìn)行指尖定位，應(yīng)用直方圖進(jìn)行指尖的粗略定位，以手指尖的粗略位置為中心，構(gòu)造一個(gè)搜索窗口，通過(guò)模板匹配進(jìn)行指尖的精確定位。本發(fā)明有效提高場(chǎng)景圖像感知效率，實(shí)現(xiàn)較大范圍的手指檢測(cè)和定位；把雙眼的圖像距離判斷作為能夠進(jìn)行指端定位的依據(jù)，無(wú)需環(huán)境的任何先驗(yàn)知識(shí)，距離魯棒性突出。
文檔編號(hào)G06K9/00GK101593022SQ200910040699
公開日2009年12月2日 申請(qǐng)日期2009年6月30日 優(yōu)先權(quán)日2009年6月30日
發(fā)明者徐向民 申請(qǐng)人:華南理工大學(xué)