專利名稱：基于顏色識別的手指多點觸控系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實用新型屬于新型人機交互系統(tǒng)技術(shù)領(lǐng)域，特別是涉及一種基于顏色識別的手指多點觸控系統(tǒng)。
背景技術(shù)：
計算機視覺是使用計算機及相關(guān)設(shè)備對生物視覺的一種模擬，用各種成象系統(tǒng)代替視覺器官作為輸入敏感手段，由計算機來代替大腦完成處理和解釋。它的主要任務(wù)就是通過對采集的圖片或視頻進行處理以獲得相應(yīng)場景的三維信息，就像人類和許多其他類生物每天所做的那樣，最終目標就是使計算機能象人那樣通過視覺觀察和理解世界，具有自主適應(yīng)環(huán)境的能力。隨著計算機技術(shù)和計算機硬件設(shè)備快速的發(fā)展，由當初的只有鍵盤輸入到目前的鼠標、遙桿、無線設(shè)備輸入等等都大大地便利了人們與計算機之間的交互，使得人們能夠更方便地操作計算機，從而能夠快速的完成一定的任務(wù)。WIMp(Windos，Ieon, Menus, pointdeviees)在現(xiàn)代圖形接口(eux)占有著重要的位置，它代表一種交互方式，即通過點設(shè)備來選擇相應(yīng)的菜單或者屏幕上的某點。在大多數(shù)的應(yīng)用當中，WlMP都要求用戶與物理設(shè)備有一定的接觸才能完成相應(yīng)的輸入。但是很快人們也發(fā)現(xiàn)了這種方式在某些特定的場合上固有的約束，比如當顯示設(shè)備不斷的擴大，而人們又想更好的與此顯示場景進行交互， 那么wIMP就顯示出了相應(yīng)的弱點，所以我們需要尋找一種更好的交互方式來完成此些任務(wù)。在人機交流的領(lǐng)域，國際上已經(jīng)研究成功了多種模式的人機交流系統(tǒng)，并且將其付諸于應(yīng)用方面。2003年7月，索尼計算機娛樂公司(SonyComPuterEniertailunent)發(fā)布了一款名為EyeToy的手勢識別設(shè)備，這種設(shè)備能將玩游戲者的視頻資料傳輸?shù)接螒虻漠嬅嬷?，使游戲與玩游戲者互動。同年12月，美國密歇根州的cybemetsystems技術(shù)研發(fā)公司成功開發(fā)出一套名為手勢風(fēng)暴的軟件系統(tǒng)，天氣預(yù)報員通過使用這種系統(tǒng)，只需將手輕輕撥動幾下就能制造出特別的視頻效果來配合他們所預(yù)報的天氣。2008年9月2日roshiki位于英國劍橋(cambridgc)的研究實驗室，在IFA上展示了大家圖片辨識與手勢辨識與電視操作結(jié)合的技術(shù)主要是透過攝影機捕捉人手的動作，一旦握拳則進入操作模式，放松變?yōu)檎泼鎰t表示關(guān)閉操作，算是相當直覺。在握拳的時候，拳頭便可做為光標操作的指令輸入端，而手掌除了可以解除指令之外，也可以拿來在作為三度空間影像的轉(zhuǎn)動、移動，不過目前的效果并非相當理想。國內(nèi)吳江琴、高文通過研究ANN-HMM混合方法，成功開發(fā)出有18個傳感器的 Cyber-Glover型號數(shù)據(jù)手套的中國手語識別系統(tǒng)。在單目視覺下的手勢識別方面，2000 年，清華大學(xué)祝遠新、徐光枯等對有關(guān)連續(xù)動態(tài)手勢的識別進行了研究，通過融合手勢運動信息和皮膚顏色信息，成功的進行了復(fù)雜背景下的手勢分割。2008年9月，中國科學(xué)院計算技術(shù)研究所手語識別與合成課題組歷時8年，開發(fā)出了先進的手語識別與合成技術(shù)基于運動跟蹤的原理，使用了 2只數(shù)據(jù)手套和3個六自由度位置跟蹤器，記錄真實人體演示每個手語詞的運動數(shù)據(jù)，以建立初始的手語詞運動數(shù)據(jù)庫。建立成功數(shù)據(jù)庫后，再對數(shù)據(jù)庫里的每個手語詞的運動數(shù)據(jù)進行編輯與微調(diào)，最后得到高質(zhì)量的手語詞運動數(shù)據(jù)庫雖然使用數(shù)據(jù)手套可識別的手勢種類多，能夠獲得手勢的精確數(shù)據(jù)，對手勢能夠做準確地分析，且能夠進行實時地識別。但是這些系統(tǒng)都有漏洞，或是成本過高的問題，具體表現(xiàn)在1.傳感器手套類的使用者需要穿戴復(fù)雜的數(shù)據(jù)手套和位置跟蹤器，給使用者造成了一定的不便，影響了人機交互的自然性，并且輸入設(shè)備比較昂貴。2.視頻類受到外部因素影響比較多，比如光照、抖動等，因此在穩(wěn)定性和準確率方面還有很大的提升空間。
發(fā)明內(nèi)容本實用新型所要解決的技術(shù)問題是提供一種基于顏色識別的手指多點觸控系統(tǒng)， 通過采用膚色模型和改進型Camshift算法相結(jié)合的方式，在顏色跟蹤窗口中包含一定數(shù)量膚色二值像素時才認為是有效目標，在跟蹤前進行現(xiàn)場顏色提取，增強跟蹤效果，從而減弱由于現(xiàn)場環(huán)境的不同導(dǎo)致光照對系統(tǒng)跟蹤的影響，以解決人與人之間膚色差異引起的手勢跟蹤問題和基于常規(guī)Camshift算法的手勢跟蹤容易受背景色干擾的問題。本實用新型解決其技術(shù)問題所采用的技術(shù)方案是提供一種基于顏色識別的手指多點觸控系統(tǒng)，包括帶有凌動芯片的中央處理平臺，攝像頭，電視機模塊，LED顯示屏， OpenCV圖像處理和模式識別模塊；所述的攝像頭通過USB與帶有凌動芯片的中央處理平臺連接，所述的電視模塊通過USB接口與帶有凌動芯片的中央處理平臺連接；所述的LED顯示屏通過DVI-D接口與帶有凌動芯片的中央處理平臺連接；所述的OpenCV圖像處理和模式識別模塊與帶有凌動芯片的中央處理平臺連接。所述的帶有凌動芯片的中央處理平臺采用EMB-4650工控板。所述的攝像頭采用CMOS攝像頭。所述的電視機模塊采用TM系列電視棒。所述的LED顯示屏采用DVI-D接口的液晶顯示屏。所述的TM系列電視棒通過魚骨天線接收模擬信號。有益效果本實用新型提供一種基于顏色識別的手指多點觸控系統(tǒng)，基于手勢識別和手勢跟蹤技術(shù)，達到了對視頻的手勢多點觸控技術(shù)的穩(wěn)定、精確、快速實現(xiàn)。此外本實用新型操作簡單，價格低廉，人機交互方便友好。

圖1為系統(tǒng)結(jié)構(gòu)示意圖。
具體實施方式
下面結(jié)合具體實施例，進一步闡述本實用新型。應(yīng)理解，這些實施例僅用于說明本實用新型而不用于限制本實用新型的范圍。此外應(yīng)理解，在閱讀了本實用新型講授的內(nèi)容之后，本領(lǐng)域技術(shù)人員可以對本實用新型作各種改動或修改，這些等價形式同樣落于本申請所附權(quán)利要求書所限定的范圍。[0020]實施例1如圖1所示，本實用新型包括帶有凌動芯片的中央處理平臺，攝像頭，電視機模塊，LED顯示屏，OpenCV圖像處理和模式識別模塊，所述的攝像頭通過USB與帶有凌動芯片的中央處理平臺連接；所述的電視模塊通過USB接口與帶有凌動芯片的中央處理平臺連接；所述的LED顯示屏通過DVI-D接口與帶有凌動芯片的中央處理平臺連接；所述的 OpenCV圖像處理和模式識別模塊與帶有凌動芯片的中央處理平臺連接；所述的帶有凌動芯片的中央處理平臺采用EMB-4650工控板；所述的攝像頭采用CMOS攝像頭；所述的電視機模塊采用TM系列電視棒；所述的LED顯示屏采用DVI-D接口的液晶顯示屏；所述的 OpenCV圖像處理和模式識別模塊采用OpenCV+MFC構(gòu)成，所述的圖像處理和模式識別模塊采用現(xiàn)場顏色提取技術(shù)，系統(tǒng)開始工作前對現(xiàn)場顏色進行采樣提取，所述的TM系列電視棒通過魚骨天線接收模擬信號。本系統(tǒng)采用EMB-4650工控板作為核心控制系統(tǒng)。EMB-4650是一款基于htel Menlow平臺，為用戶精心設(shè)計的高性能、低功耗EPIC規(guī)格主板。該板采用^itel Menlow處理器，CPU速度可達到1. 1G/1. 6G，支持超線程技術(shù)，內(nèi)存采用的是板載DDR II 512MB內(nèi)存。 主板采用無風(fēng)扇設(shè)計，其強大的穩(wěn)定性能；超低的功耗，整合性能強勁。顯示終端的顯示類型豐富多樣，分別為DVI和LVDS接口，可以滿足不同客戶顯示方面的需求。采用Realtek 8111C/D千兆網(wǎng)卡設(shè)計，具有IDE和CF，SD卡等多存儲手段；2個COM 口，其中COM2支持 RS232/422/485可選，1個LPT，8個USB ；接口豐富為客戶提供更多的可選擇性。1個PCI槽； 一個PC104接口，一個LPC擴展口極大地提升了外圍的擴充彈性。板上的JTAG 口可以讓用戶更方便的進行調(diào)試。本系統(tǒng)定位在一個通用的人機交互界面，對于通用用戶來說，昂貴的人機界面并不適用。本系統(tǒng)沒有采用CCD攝像頭和圖像采集卡，而是使用了普通的PC用USB攝像頭， 但是由于采用了現(xiàn)場顏色提取技術(shù)使得對攝像頭精度要求大幅度較低，一般CMOS攝像頭完全滿足了本系統(tǒng)對視頻采集的需要。這也是本系統(tǒng)相對于過去各種圖像識別系統(tǒng)的系統(tǒng)優(yōu)勢所在。相比于CXD攝像頭，本系統(tǒng)使用的CMOS攝像頭有很多優(yōu)點。CXD和CMOS在制造上的主要區(qū)別是CCD是集成在半導(dǎo)體單晶材料上，而CMOS是集成在被稱做金屬氧化物的半導(dǎo)體材料上，工作原理沒有本質(zhì)的區(qū)別。CCD只有少數(shù)幾個廠商例如索尼、松下等掌握這種技術(shù)。而且C⑶制造工藝較復(fù)雜，采用C⑶的攝像頭價格都會相對比較貴。事實上經(jīng)過技術(shù)改造，目前CXD和CMOS的實際效果的差距已經(jīng)減小了不少。而且CMOS的制造成本和功耗都要低于CCD不少，所以很多攝像頭生產(chǎn)廠商采用的CMOS感光元件。成像方面在相同像素下CXD的成像通透性、明銳度都很好，色彩還原、曝光可以保證基本準確。而CMOS的產(chǎn)品往往通透性一般，對實物的色彩還原能力偏弱，曝光也都不太好，由于自身物理特性的原因，CMOS的成像質(zhì)量和CXD還是有一定距離的。但由于低廉的價格以及高度的整合性，因此在攝像頭領(lǐng)域還是得到了廣泛的應(yīng)用。在應(yīng)用中數(shù)碼攝像頭中以CMOS感光器件的為主。在采用CMOS為感光元器件的產(chǎn)品中，通過采用影像光源自動增益補強技術(shù)，自動亮度、白平衡控制技術(shù)，色飽和度、對比度、邊緣增強以及伽馬矯正等先進的影像控制技術(shù)，完全可以達到與CCD攝像頭相媲美的效果。事實上，攝像頭采用CCD圖像傳感器的廠商為數(shù)不多，主要原因是采用CCD圖像傳感器成本高的影響。所示，USB接收棒是一款功能強大的國標數(shù)字移動電視接收棒，只要你的電腦有個高速USB2.0接口芯片。您就可以盡情的收看國標數(shù)字移動電視了。它的通用播放軟件不僅能讓您收看電視，更能播放DVD，VCD, SVCD，CD, MP3，MP4，RMMOV, SWF, WMV, DIVX等格式的媒體資料。電視棒我們使用的是TM系列電視棒，該電視棒使用USB接口，可以接受模擬電視信號在電腦上顯示電視畫面，并且我們通過魚骨天線接收模擬信號，實現(xiàn)了電視信號的加強。最終在電腦上也可以實現(xiàn)看電視的功能，通過本系統(tǒng)的視頻手勢識別，可以通過手指動作控制電視頻道的變化和音量的變化。該系統(tǒng)使用的電視棒有如下特點1、符合 DMB-TH 標準。2、支持多國語言。3、支持電子節(jié)目單(EPG)、時光平移、智能搜索。4、支持市場上大部分帶有BDA接口的電視卡。5、支持 WIND0WS98/ME/2000XP 等操作系統(tǒng)。6、U盤大小電視盒，攜帶方便，更適合筆記本用戶使用7、獨創(chuàng)軟壓錄像暫停功能，輕松跳過廣告，節(jié)約硬盤空間8、可隨意縮放影像窗口 G 3或16 9)或全屏收看電視節(jié)目9、電視頻道編排功能，可自定義喜愛電視頻道名稱，任意排序10、可實現(xiàn)多頻道預(yù)覽、實時/預(yù)約錄制電視節(jié)目等高級功能。11、可實現(xiàn)定時錄制DVD視頻/音頻、屏幕截取、書簽管理、桌面播放等多種擴展功能。12、支持高清晰數(shù)字電視(HDTV)、圖文廣播(TELETEXT)和數(shù)字FM廣播節(jié)目。液晶顯示屏我們采用了 DVI-D接口的液晶顯示屏，一般的VGA接口只能傳輸模擬信號，而計算機內(nèi)部的傳輸用的是數(shù)字信號，這樣一來顯卡在對顯示器傳輸信號的時候，就要把數(shù)字信號轉(zhuǎn)換成模擬信號，傳輸?shù)斤@示器上，然后顯示器會再把計算機傳輸過來的模擬信號轉(zhuǎn)換成數(shù)字信號，最后才能被顯示出來。而DVI-D接口可以直接傳輸數(shù)字信號，因此在顯示數(shù)據(jù)的時候可以不用經(jīng)過數(shù)字一模擬一數(shù)字繁瑣的轉(zhuǎn)換過程，最終使傳輸速度加快。而且顯示出來的畫面要更清晰流暢。VGA (Video Graphics Array)接口，也叫 D-Sub 接口。VGA 接口是一種 D 型接口， 上面共有15針空，分成三排，每排五個。VGA接口是顯卡上應(yīng)用最為廣泛的接口類型，多數(shù)的顯卡都帶有此種接口。有些不帶VGA接口而帶有DVI接口的顯卡，也可以通過一個簡單的轉(zhuǎn)接頭將DVI接口轉(zhuǎn)成VGA接口，通常沒有VGA接口的顯卡會附贈這樣的轉(zhuǎn)接頭。DVI 是由 DDWG(Digital Display working Group，數(shù)字顯示工作組)發(fā)明的一種高速傳輸數(shù)字信號的技術(shù)，有DVI-D和DVI-I兩種不同的接口形式。DVI-D只有數(shù)字接口，DVI-I有數(shù)字和模擬接口，目前應(yīng)用主要以DVI-D為主。DVI是基于TMDSCTransition Minimized Differential Signaling，轉(zhuǎn)換最小差分信號)技術(shù)來傳輸數(shù)字信號，TMDS運用先進的編碼算法把8bit數(shù)據(jù)(R、G、B中的每路基色信號)通過最小轉(zhuǎn)換編碼為IObit數(shù)據(jù)(包含行場同步信息、時鐘信息、數(shù)據(jù)DE、糾錯等)，經(jīng)過DC平衡后，采用差分信號傳輸數(shù)據(jù)，它和LVDS、TTL相比有較好的電磁兼容性能，可以用低成本的專用電纜實現(xiàn)長距離、高質(zhì)量的數(shù)字信號傳輸。對顯示器顯示要求較高，甚至是專業(yè)作圖人員而言，DVI接口是有必要的。上面的文章中，我們已經(jīng)看到了 DVI接口在顯示文字方面的優(yōu)勢。此外，DVI接口不會帶來任何信號的損失，并且支持更高的帶寬傳輸這對專業(yè)用戶而言非常重要。 計算機視覺(computer vision)是在數(shù)字圖像處理的基礎(chǔ)上發(fā)展起來的新興學(xué)科，它從信息處理的層次研究視覺信息的認知過程，研究視覺信息處理的計算理論和表達與計算方法，包括圖像特征提取，攝像機定標，立體視覺，運動視覺(或稱序列圖像分析)， 由圖像灰度恢復(fù)三維物體形狀的方法，物體建模與識別方法以及距離圖像分析方法等方OpenCV白勺H^i :Open Source Computer Vision Library.f·*白勺it胃機視覺、圖像處理和模式識別的開源項目，OpenCV可以直接應(yīng)用于很多領(lǐng)域，作為二次開發(fā)的理想工具。本系統(tǒng)上位機采用OpenCV+MFC構(gòu)成，基于圖像差異檢測對駕駛員酒精檢測進行監(jiān)控，主要方法為結(jié)合膚色識別和Camshift顏色跟蹤算法，在每幀同時得到Camshift顏色跟蹤窗口以及膚色二值圖像，在顏色跟蹤窗口中包含一定數(shù)量膚色二值像素時才認為是有效目標，如圖五。合成的方案具有較好的識別跟蹤效果，并使用改進的Camshift算法，即便出現(xiàn)跟蹤丟失現(xiàn)象，也會在數(shù)幀內(nèi)再次跟蹤上目標顏色。為了實現(xiàn)更好的效果，系統(tǒng)開始前進行現(xiàn)場顏色采樣，提高系統(tǒng)捕捉目標的性能。 本實用新型可以讓用戶在較復(fù)雜背景環(huán)境下，通過手勢對計算機進行無接觸式的多點“觸控”操作，體驗前所未有的操控體驗，系統(tǒng)具體運作流程如下1.在手指上戴上我們特制的指套，計算機對手指進行顏色跟蹤，在開機顏色校正時刻盡量使用與背景顏色不同的指套進行顏色校正跟蹤以達到最佳效果。當手移動式，鼠標隨著手指移動，當右手食指拇指“捏”在一起時，為單擊操作；當左右手食指拇指分別“捏” 在一起，進行拉伸或者湊近時，為多點觸控。2.攝像頭對前方環(huán)境進行拍攝，并對捕獲的圖像進行處理，檢測有沒有目標顏色， 并且在顏色跟蹤窗口中包含一定數(shù)量膚色二值像素時才認為是有效目標。進而手指的動作進行識別，來確定是否要執(zhí)行對應(yīng)的操作。3.系統(tǒng)有4個體驗功能，用戶通過“單擊”來進入相應(yīng)的功能模塊a)無線電視節(jié)目功能左右手同時“捏住”動作實現(xiàn)換臺和調(diào)節(jié)音量功能。“捏住” 橫向拉開是向上調(diào)臺，橫向縮回是向下調(diào)臺，縱向拉開是增大音量，縱向縮回是減小音量。b) PDF瀏覽功能。通過右手“捏”動作實現(xiàn)單機效果，通過“捏住動作”實現(xiàn)抓取拖動，通過左手捏住，右手上移超過左手高度實現(xiàn)向上翻頁功能，而右手下一低于左手高度實現(xiàn)下翻頁。c)畫圖功能。通過右手“捏住”功能在Windows自帶畫圖工具上畫圖。d)圖片瀏覽功能。通過雙手多點觸控操作可實現(xiàn)類似于IPod的多點觸控功能。4.要關(guān)閉某個功能模塊，只需將兩手的食指拇指同時聚在一起2秒鐘便可關(guān)閉。
權(quán)利要求1.一種基于顏色識別的手指多點觸控系統(tǒng)，包括帶有凌動芯片的中央處理平臺，攝像頭，電視機模塊，LED顯示屏，OpenCV圖像處理和模式識別模塊；其特征在于，所述的攝像頭通過USB與帶有凌動芯片的中央處理平臺連接；所述的電視模塊通過USB接口與帶有凌動芯片的中央處理平臺連接；所述的LED顯示屏通過DVI-D接口與帶有凌動芯片的中央處理平臺連接；所述的OpenCV圖像處理和模式識別模塊與帶有凌動芯片的中央處理平臺連接。
2.根據(jù)權(quán)利要求1所述的一種所述的基于顏色識別的手指多點觸控系統(tǒng)，其特征在于，所述的帶有凌動芯片的中央處理平臺采用EMB-4650工控板。
3.根據(jù)權(quán)利要求1所述的一種所述的基于顏色識別的手指多點觸控系統(tǒng)，其特征在于，所述的攝像頭采用CMOS攝像頭；所述的電視機模塊采用TM系列電視棒。
4.根據(jù)權(quán)利要求1所述的一種所述的基于顏色識別的手指多點觸控系統(tǒng)，其特征在于，所述的LED顯示屏采用DVI-D接口的液晶顯示屏。
5.根據(jù)權(quán)利要求1所述的一種所述的基于顏色識別的手指多點觸控系統(tǒng)，其特征在于，所述的TM系列電視棒通過魚骨天線接收模擬信號。
專利摘要本實用新型涉及一種基于顏色識別的手指多點觸控系統(tǒng)，包括帶有凌動芯片的中央處理平臺，攝像頭，電視機模塊，LED顯示屏，OpenCV圖像處理和模式識別模塊；所述的帶有凌動芯片的中央處理平臺采用EMB-4650工控板；所述的攝像頭采用CMOS攝像頭；所述的電視機模塊采用TM系列電視棒；所述的LED顯示屏采用DVI-D接口的液晶顯示屏。本實用新型基于手勢識別和手勢跟蹤技術(shù)，通過計算機視覺，使用戶在較復(fù)雜背景環(huán)境下，通過手勢實現(xiàn)對計算機進行穩(wěn)定、精確和快速的無接觸式的多點“觸控”操作。
文檔編號G06F3/042GK202075718SQ201120156629
公開日2011年12月14日 申請日期2011年5月17日 優(yōu)先權(quán)日2011年5月17日
發(fā)明者王銘偉, 王鵬程 申請人:東華大學(xué)