專利名稱：基于labview的多點觸控屏交互系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一套基于LABVIEW的多點觸控屏人機交互系統(tǒng)，具體為一套包括硬件系統(tǒng)和軟件系統(tǒng)在內(nèi)的手指多點觸摸采集，識別，處理系統(tǒng)。
背景技術(shù)：
目前，市場上的觸摸屏主要有電阻觸摸屏、電容觸摸屏及光學(xué)原理觸摸屏。電阻觸摸屏、電容觸摸屏均是利用復(fù)雜的電學(xué)原理設(shè)計，一般只能實現(xiàn)單點或兩點的觸控識別，產(chǎn)品觸摸面積較小，制造大面積觸摸屏成本高昂。光學(xué)原理觸摸屏原理的種類較多，如正面散射光照式，背面散射光照式，紅外陣列式，激光式等，但每種設(shè)計都存在一定缺點，并且，與現(xiàn)有硬件系統(tǒng)配套的軟件系統(tǒng)很少，軟件系統(tǒng)可移植性差，擴展性受限。電阻式觸摸屏基本結(jié)構(gòu)是兩張平面透明的阻性材料疊加，無壓力時分開，有壓力時在接觸處產(chǎn)生電壓變化，通過檢測電壓值可計算出坐標(biāo)。這種方式只能同時有一個點接觸，不能實現(xiàn)多點觸控，并且精度低。電容式觸摸屏利用用戶自身電場改變顯示屏電容來獲得坐標(biāo)，當(dāng)手指觸摸電容屏?xí)r，用戶手指和觸摸屏工作面形成一個耦合電容，由于觸摸屏工作面上接有高頻信號，手指吸收一個很小的電流，這個電流分別從屏的四個角上的電極中流出，且理論上流經(jīng)四個電極的電流與手指到四角的距離成比例，控制器通過對四個電流比例的精密計算，得出手指位置坐標(biāo)。但這種方式抗干擾能力差，當(dāng)環(huán)境溫度改變，濕度改變，電場發(fā)生變化時，都會引起電容屏處理出的坐標(biāo)漂移，造成精度降低。當(dāng)較大面積的手掌或手持的導(dǎo)體物靠近電容屏，但并沒有觸摸時，就可能引起電容屏的誤操作，在潮濕天氣，這種情況尤為嚴(yán)重。并且手指接觸時觸摸屏對各種波長光的透光率會出現(xiàn)不均勻的現(xiàn)象，于是屏幕會出現(xiàn)色彩失真的問題。有時，由于光線在各層間的反射，還會出現(xiàn)圖像字符模糊的現(xiàn)象。光學(xué)原理觸摸屏是利用紅外線或激光進行設(shè)計，大部分設(shè)計都存在一定缺陷，如 [1]，[2]中描述的掃描的方法，需要機械機構(gòu)配合，定位時，需要一定的掃描周期，對電伺服要求高，很難實現(xiàn)實時坐標(biāo)處理。當(dāng)多個觸摸點共線或兩個觸摸點距離很近時也不能給出正確的觸摸點個數(shù)及準(zhǔn)確的坐標(biāo)。并且設(shè)計中沒有涉及與硬件相配套的軟件解決方案。 [3]所描述的方法，硬件上只在玻璃板的一邊使用紅外線燈照射，其他三邊使用反光條對其發(fā)射的紅外線進行反射，這種方法會使觸摸精度降低，并且紅外攝像機價格昂貴，一般用戶負擔(dān)不起，軟件上沒有應(yīng)用程序處理方法，使可移植性與擴展性受到限制。[4]中描述的方法，所需要的設(shè)備較多，紅外光學(xué)裝置、紅外線接收器較為昂貴，穩(wěn)定性差，易受外界干擾， 且整個裝置占用空間大，不適用于教學(xué)，公共場所等場合。在圖像處理的軟件選用方面，當(dāng)前此類產(chǎn)品主要使用C/C++、Java作為編程語言，這些語言編寫相關(guān)圖像處理程序需要精通相關(guān)的編程語法，熟練掌握編程思想，開發(fā)周期較長，程序抽象，對于程序開發(fā)者要求很高，對于大多數(shù)使用者而言，難以改良其代碼，可擴展性受限。綜上所述，現(xiàn)今的各種多點觸控技術(shù)在硬件及軟件上都具有很大的缺陷。還沒有一種硬件上能滿足各種使用需要，軟件上簡明易懂，可移植性和可擴展性強的多點觸控交互系統(tǒng)出現(xiàn)。[1] 一種紅外多點觸摸屏，申請?zhí)?01020256135 ；[2]紅外線觸摸屏及多點觸摸定位方法，申請?zhí)?00810025705 ；[3]基于紅外線攝像的觸摸屏及其定位檢測方法，申請?zhí)?00710047703 ；[4]紅外線擴展光源式多點觸控系統(tǒng)，申請?zhí)?00910158230。

發(fā)明內(nèi)容
為了實現(xiàn)一套實用完整的多點觸摸屏交互系統(tǒng)，克服以上各種觸摸屏的硬件軟件設(shè)計缺陷，本發(fā)明提供一套新型基于LABVIEW的多點觸控交互系統(tǒng)，該系統(tǒng)能在保障硬軟件系統(tǒng)運行流暢，識別精度高的前提下提供一個簡單易行，造價低廉，高穩(wěn)定性，高可移植性，高擴展性的多點觸摸屏交互系統(tǒng)平臺。本發(fā)明解決所述問題的技術(shù)方案為一種全新的基于LABVIEW的多點觸控交互系統(tǒng)，包括由硬件系統(tǒng)部分與軟件系統(tǒng)部分組成；1)硬件系統(tǒng)部分包括亞克力玻璃、紅外燈、兼容層、投影儀、計算機、攝像頭和紅外波段濾光片；所述亞克力玻璃為觸摸介質(zhì)，用紅外燈對亞克力玻璃側(cè)面進行照射，紅外燈的紅外線發(fā)射張角為120度，亞克力玻璃的厚度> 8mm ；所述投影儀設(shè)在亞克力玻璃正面的上方；所述兼容層包括投影幕布，投影幕布布在亞克力玻璃上，顯示投影儀投來的圖像；所述兼容層還包括硅膠層，硅膠層貼在亞克力玻璃正面的表面，投影幕布鋪在硅膠層上。所述攝像頭加裝紅外波段濾光片，攝像頭設(shè)在亞克力玻璃背面的下方，捕捉亞克力玻璃背面的帶有紅外亮斑圖像；攝像頭的視頻信號輸出端連接計算機數(shù)據(jù)接收端，投影儀的視頻信號輸入端連接計算機的視頻信號輸出端；計算機載有LABVIEW軟件，LABVIEff軟件對攝像頭捕捉到的圖像信息進行處理得到坐標(biāo)信息；2)軟件系統(tǒng)部分包括圖像采集與圖像處理兩部分；圖像采集流程包括查找攝像頭，初始化攝像頭，建立抓拍內(nèi)存空間，連續(xù)抓拍，關(guān)閉攝像頭和釋放內(nèi)存空間；圖像的處理流程包括圖像灰度化，模糊濾波，二值化，去除干擾像素點和分析坐標(biāo)位置；經(jīng)過圖像采集與圖像處理過程可處理，得到手指觸摸的點在整個投影幕布上的X、 Y坐標(biāo)；軟件系統(tǒng)部分由LABVIEW軟件中的與視覺與運動模塊相關(guān)的函數(shù)實現(xiàn)。本技術(shù)方案的原理說明如下兼容層有兩層，靠近亞克力玻璃的那層使用透明硅膠，用于增加觸摸的平滑感； 第二層是投影幕布層，用于顯示投影效果。根據(jù)受抑全反射理論，當(dāng)紅外線從側(cè)面以小于 120°的角度進入亞克力板，且亞克力板的厚度大于8mm時，光線會在亞克力玻璃內(nèi)不斷全反射，不會從亞克力玻璃板表面射出，但當(dāng)手指等具有一定韌性和反射性的材料碰到亞克力表面時，亞克力玻璃內(nèi)部全反射會被破壞，紅外線會在手指觸摸點的亞克力玻璃下表面發(fā)生折射，紅外線從觸摸點下方出射。亞克力玻璃板下方加裝紅外波段濾光片的USB攝像頭，可捕捉到帶有手指處折射出的紅外線亮斑的實時圖像，USB攝像頭捕捉到的圖像會傳送到個人計算機LABVIEW軟件中進行處理得到坐標(biāo)信息。坐標(biāo)信息傳入應(yīng)用程序，用戶操作界面由投影儀從亞克力玻璃上方投影至亞克力玻璃板面兼容層上。電源及導(dǎo)線用于給紅外LED燈供電。軟件系統(tǒng)由LABVIEW軟件中的視覺與運動模塊相關(guān)函數(shù)實現(xiàn)，充分利用LABVIEW 框圖化編程語言直觀，簡明，易懂，易于修改，可擴展性強的特點。軟件系統(tǒng)包括圖像采集與圖像處理兩部分。圖像采集主要流程包括查找USB攝像頭設(shè)備、初始化USB攝像頭設(shè)備、建立抓拍內(nèi)存空間、連續(xù)抓拍、關(guān)閉USB攝像頭設(shè)備及釋放內(nèi)存空間等過程。本流程應(yīng)用LABVIEW 軟件函數(shù)庫“IMAQ USB”中的“IMAQ USB Enumerate Cameras. VI”進行查找可用的USB設(shè)備并返回設(shè)備名稱，“ IMAQ USB hit. VI”對所選的USB設(shè)備進行初始化工作，“ IMAQ USB Grab Setup. VI”建立連續(xù)抓拍的操作，“IMAQ Create. VI”建立內(nèi)存空間進行圖片的存放， "IMAQ USB Grab Acquire. VI”放置在循環(huán)中實現(xiàn)圖片的連續(xù)抓拍，“IMAQ USB Close. VI” 在停止執(zhí)行采集操作時關(guān)閉USB設(shè)備，從而實現(xiàn)USB攝像頭連續(xù)抓拍照片，并實現(xiàn)將圖像傳到LABVIEW的程序框圖中的工作。圖像的處理分析的流程包括圖像灰度化、模糊濾波、二值化、去除干擾像素點及分析坐標(biāo)位置等過程。本流程應(yīng)用LABVIEW軟件函數(shù)庫“Vision”中的“IMAQ Symmetry VI” 對采集的圖像進行鏡像處理，“ IMAQ ExtractSingleColorPlane VI”完成對RGBA和HSL格式的彩色圖片灰度化操作，以降低圖片的顏色信息只留下輪廓信息，“IMAQ Convolute VI” 對圖片進行模糊濾波處理使得圖片上的噪聲點變模糊，方便二值化處理，“IMAQ Threshold VI”對圖片進行二值化，并通過選定一定的閾值來將圖片處理為兩種顏色，圖像中大于此閾值為紅色，小于此閾值為黑色，“ IMAQ RemovePartic 1 e VI ”去除小的噪聲點，便于坐標(biāo)的準(zhǔn)確分析，“IMAQ Particle Analysis VI”分析各個手指的中心坐標(biāo)點。以上圖像采集與圖像處理過程可處理出手指觸摸的點在整個屏幕上的X，Y坐標(biāo)，此坐標(biāo)點可應(yīng)用為多點觸控應(yīng)用程序的輸入接口。與現(xiàn)有的各種觸摸屏相比，本系統(tǒng)在硬件上具有對手指觸摸反應(yīng)迅速，靈敏度高， 識別精度高，硬件造價低廉，抗干擾，結(jié)構(gòu)簡單，更換方便等優(yōu)點。軟件上由于采用LABVIEW 框圖化編程，具有程序簡單易懂，便于非軟件專業(yè)人士修改，軟件擴展性強，可移植性強，運行效率高等優(yōu)點。并且以本系統(tǒng)為平臺接口，可開發(fā)出各種不同的觸摸應(yīng)用程序。


下面結(jié)合附圖和實施例對本發(fā)明做進一步說明。圖1是本發(fā)明的硬件原理圖。圖2是受抑全內(nèi)反射原理圖。圖3是USB攝像頭拍攝的手指觸點圖。圖4是由軟件處理后的攝像頭拍攝的手指觸點圖(含坐標(biāo)信息)圖5是系統(tǒng)整體處理流程6是計算機軟件處理攝像頭拍攝圖像的流程圖。圖中1.兼容層，2.紅外LED燈，3.亞克力玻璃，4.個人計算機，5.加裝了紅外波段濾光片的攝像頭，6. USB攝像頭與個人計算機的接口，7.投影儀，8.手指，9.紅外光，10.擋板。
具體實施例方式下面結(jié)合具體實施方式
對本技術(shù)方案作進一步說明在圖2所示受抑全內(nèi)反射基本原理圖中，紅外LED燈2發(fā)射紅外光進入亞克力玻璃3，紅外光在玻璃內(nèi)發(fā)生全內(nèi)反射，當(dāng)手指8觸碰在亞克力玻璃上某點時，該點上紅外光的全反射被破壞，紅外光9在亞克力玻璃的下表面射出。擋板10用于阻擋紅外LED燈的紅外光在剛射出時泄漏到空氣中，防止產(chǎn)生不必要的干擾。在圖1中，亞克力玻璃3固定在物理支架上，高度可調(diào)節(jié)，投影儀7固定在亞克力玻璃3的正上方，攝像頭5固定在亞克力玻璃3正下方，距離可根據(jù)玻璃的尺寸進行調(diào)節(jié)， 為使觸摸屏效果達到最佳，投影儀，玻璃，攝像機的世界坐標(biāo)要一一對應(yīng)。在亞克力玻璃的四周平行放置一定數(shù)量的紅外LED燈2，紅外LED燈的數(shù)量根據(jù)亞克力玻璃的尺寸而定，通常每隔20mm放置一個，則可達到理想效果；紅外LED燈的功率大于lOOmw，紅外線發(fā)射張角為120°。亞克力玻璃上涂抹一層均勻的兼容層1，兼容層有兩層，靠近亞克力玻璃的那層使用透明硅膠，用于增加觸摸的平滑感；第二層是投影幕布層，用于顯示投影效果，有此組成完整的觸摸屏。根據(jù)圖5的流程框圖，手指8碰觸到亞克力玻璃板表面，進而亞克力玻璃板內(nèi)的紅外線全反射被破壞，從而攝像頭5通過USB接口 6將拍攝到得信息傳給個人計算機4，通過個人計算機進行圖像處理，配合相應(yīng)的應(yīng)用軟件，實現(xiàn)最終的多點觸控操作，而投影儀7通過向亞克力玻璃板上投影來實現(xiàn)實時視覺反饋。在圖3中顯示的是當(dāng)五個手指按在亞克力玻璃上時，攝像頭撲捉到的五個紅外線
7 點ο在圖6中顯示了計算機軟件處理攝像頭拍攝圖像的流程，即當(dāng)攝像頭將拍攝的信息傳給個人計算機后，計算機軟件將經(jīng)過如圖所示流程對圖像進行處理。此流程圖主要是實現(xiàn)系統(tǒng)軟件的處理，其目的是將USB采集的圖片進行處理并分析出觸摸點的具體坐標(biāo)， 進而產(chǎn)生多點觸控命令。其過程為，首先將USB攝像頭通過USB接口接入電腦，處理軟件首先是檢測可以利用的USB攝像頭設(shè)備，并將對應(yīng)的設(shè)備名顯示出來供用戶選擇。選擇好平臺下方的USB攝像頭，然后對該USB攝像頭進行初始化，初始化主要工作是完成通用 USB攝像頭采集芯片內(nèi)部的各個寄存器的初始化工作，做好實時采集圖片的準(zhǔn)備。接著是建立連續(xù)抓取圖片的LABVIEW設(shè)備環(huán)境，進行內(nèi)存的空間分配來存儲實時采集圖片及做好 LABVIEff軟件內(nèi)部接收準(zhǔn)備。接著是進入主循環(huán)，主循環(huán)是這個系統(tǒng)軟件處理核心，是從開始抓取一張圖片開始的；由于攝像頭拍攝的照片方向與觸摸屏的操作界面關(guān)系為鏡像關(guān)系，為了與手指的操作保持一致，先對取得的圖片進行一次軟件鏡像處理；接著是將所獲得的彩色圖片裝換為灰度圖片，灰度圖片特點的是只有圖片各個像素的亮暗強度，通常強度等級分為255個等級，O表示黑色255表示白的，這樣方便后續(xù)處理；由于攝像頭工作于非封閉的環(huán)境，外界環(huán)境也存在紅外光，外界紅外光會使采集圖片上顯示一些較小的亮點噪聲，如果光點亮度較大就會影響二值化結(jié)果，這樣就會錯誤地把外界噪聲點處理為觸摸點，所以必須進行模糊濾波降噪處理，這樣可以使噪聲點的亮度降低。接著是二值化過程，即選定一個閾值范圍，使閾值兩側(cè)的值取極值的過程，如果該點灰度值小于閾值就將該點的灰度值設(shè)為0為黑色，否則設(shè)為255為白色，白色點就是觸摸點，這樣處理就使得觸摸點的輪廓更加清晰。由于經(jīng)過上述過程噪聲有可能沒有被完全去除，必須進行進一步處理，一般噪聲點都比較小，少于5個像素點，利用去除像素點的方法可以去除這些比較小的區(qū)域。 最后是進行像素點的分析，分析后用紅色填充(圖4所示為黑色)，并顯示坐標(biāo)，根據(jù)點的多少來產(chǎn)生具體的操作指令(如圖3)；如果不按停止按鈕，上述循環(huán)就會一直執(zhí)行下去，直到停止按鈕被按下，停止后先關(guān)閉USB設(shè)備，并釋放內(nèi)存空間是的計算機資源再利用。
在圖4中顯示了用個人計算機中LABVIEW軟件處理圖3所示圖片后，獲得的更加清晰的觸點和相應(yīng)的坐標(biāo)信息。
權(quán)利要求
1.一種全新的基于LABVIEW軟件的多點觸控交互系統(tǒng)，其特征是包括硬件系統(tǒng)部分與軟件系統(tǒng)部分；1)硬件系統(tǒng)部分包括亞克力玻璃、紅外燈、兼容層、投影儀、計算機、攝像頭和紅外波段濾光片；所述亞克力玻璃為觸摸介質(zhì)，用紅外燈對亞克力玻璃側(cè)面進行照射，紅外燈的紅外線發(fā)射張角為120度，亞克力玻璃的厚度> 8mm;所述投影儀設(shè)在亞克力玻璃正面的上方；所述兼容層包括投影幕布，投影幕布布在亞克力玻璃上，顯示投影儀投來的圖像；所述攝像頭加裝紅外波段濾光片，攝像頭設(shè)在亞克力玻璃背面的下方，捕捉亞克力玻璃背面的帶有紅外亮斑圖像；攝像頭的視頻信號輸出端連接計算機數(shù)據(jù)接收端，投影儀的視頻信號輸入端連接計算機的視頻信號輸出端；計算機載有LABVIEW軟件，LABVIEff軟件對攝像頭捕捉到的圖像信息進行處理得到坐標(biāo)信息；2)軟件系統(tǒng)部分包括圖像采集與圖像處理兩部分；圖像采集流程包括查找攝像頭，初始化攝像頭，建立抓拍內(nèi)存空間，連續(xù)抓拍，關(guān)閉攝像頭和釋放內(nèi)存空間；圖像的處理流程包括圖像灰度化，模糊濾波，二值化，去除干擾像素點和分析坐標(biāo)位置；經(jīng)過圖像采集與圖像處理過程可處理，得到手指觸摸的點在整個投影幕布上的X、Y坐標(biāo)；軟件系統(tǒng)部分由LABVIEW軟件中的與視覺與運動模塊相關(guān)的函數(shù)實現(xiàn) 所述圖像的處理流程應(yīng)用LABVIEW軟件函數(shù)庫“Vision”中， "IMAQ Symmetry VI”對采集的圖像進行鏡像處理；"IMAQ ExtractSingleColorPlane VI ”完成對RGBA和HSL格式的彩色圖片灰度化操作，以降低圖片的顏色信息只留下輪廓信息；"IMAQ Convolute VI”對圖片進行模糊濾波處理使得圖片上的噪聲點變模糊，方便二值化處理；"IMAQ Threshold VI”對圖片進行二值化，并通過選定閾值來將圖片處理為兩種顏色； "IMAQ RemoveParticle VI”去除小的噪聲點，便于坐標(biāo)的準(zhǔn)確分析； "IMAQ Particle Analysis VI”分析各個手指的中心坐標(biāo)點。
2.根據(jù)權(quán)利要求1所述的全新的多點觸控交互系統(tǒng)，其特征是所述兼容層還包括硅膠層，硅膠層貼在亞克力玻璃正面的表面，投影幕布鋪在硅膠層上。
3.根據(jù)權(quán)利要求1或2所述的全新的多點觸控交互系統(tǒng)，其特征是所述紅外燈是紅外 LED 燈。
4.根據(jù)權(quán)利要求1或2所述的全新的多點觸控交互系統(tǒng)，其特征是在亞克力玻璃的四周每隔20mm平行放置一個紅外燈。
5.根據(jù)權(quán)利要求1或2所述的全新的多點觸控交互系統(tǒng)，其特征是所述攝像頭是USB 接口攝像頭；圖像采集流程應(yīng)用LABVIEW軟件函數(shù)庫“ IMAQ USB”中，"IMAQ USB Enumerate Cameras. VI”進行查找可用的USB設(shè)備并返回設(shè)備名稱；"IMAQ USB hit. VI”對所選的USB設(shè)備進行初始化工作；"IMAQ USB Grab Setup. VI”建立連續(xù)抓拍的操作；"IMAQ Create. VI”建立內(nèi)存空間進行圖片的存放；"IMAQ USB Grab Acquire. VI”放置在循環(huán)中實現(xiàn)圖片的連續(xù)抓拍；"IMAQ USB Close. VI”在停止執(zhí)行采集操作時關(guān)閉USB設(shè)備；從而實現(xiàn)USB攝像頭連續(xù)抓拍照片，并實現(xiàn)將圖像傳到LABVIEW的程序框圖中的工作。
全文摘要
本系統(tǒng)提供了一套基于LABVIEW軟件的多點觸控屏人機交互系統(tǒng)。系統(tǒng)分為硬件部分與軟件部分，硬件部分是利用亞克力玻璃受抑全反射原理，使玻璃側(cè)面入射的紅外線在玻璃中全反射，手指觸摸屏幕時破壞全反射，紅外線在觸摸點下表面出射，下方加裝紅外濾光片的USB攝像頭捕捉帶有紅外亮斑圖像，傳入電腦LABVIEW軟件中處理。軟件部分用LABVIEW軟件中的視覺與運動模塊相關(guān)函數(shù)實現(xiàn)。本系統(tǒng)具有硬件上反應(yīng)迅速，靈敏度高，精度高，造價低廉，抗干擾性好等優(yōu)點，軟件上具有編程語言結(jié)構(gòu)簡單，語言直觀，簡明，易懂，易于修改等特點?？傮w上，該多點觸控人機交互系統(tǒng)具有可移植性強，可擴展性強的特點。
文檔編號G06F3/042GK102193687SQ201110107978
公開日2011年9月21日 申請日期2011年4月25日 優(yōu)先權(quán)日2011年4月25日
發(fā)明者劉弘逸, 龐成, 李耀磊, 蔡體菁 申請人:東南大學(xué)