專利名稱：用于提供交互界面的系統(tǒng)和方法
用于提供交互界面的系統(tǒng)和方法
優(yōu)先權(quán)
本申請(qǐng)要求2005年9月16日提交的美國(guó)專利申請(qǐng)No. 11/228,790的優(yōu)先權(quán)。
背景技術(shù)：
本發(fā)明總體涉及用于計(jì)算機(jī)相關(guān)應(yīng)用的數(shù)據(jù)輸入裝置，具體地設(shè) 計(jì)用于多用戶和/或多計(jì)算機(jī)相關(guān)應(yīng)用的交互輸入/輸出裝置。
可以由多個(gè)用戶同時(shí)觀看的用于計(jì)算機(jī)相關(guān)應(yīng)用的數(shù)據(jù)顯示裝 置通常包括大格式顯示器和其它顯示投影裝置。與這種顯示器相關(guān)聯(lián) 的輸入裝置通常涉及個(gè)人輸入單元(例如手持鍵盤)或者觸摸屏輸出 顯示器，該觸摸屏輸出顯示器可以由用戶物理地觸摸，從而直接在屏 幕上使用他們的手指。
這種觸摸屏采用的用來識(shí)別用戶正在觸摸的屏幕上的位置的技 術(shù)涉及多種技術(shù)，例如電容傳感、光束中斷、光束生成、聲波生成 和攝影成像。電容傳感涉及對(duì)屏幕的暴露表面進(jìn)行充電，從而當(dāng)用戶 用他或她的指尖觸摸屏幕時(shí)指尖區(qū)域的電容電場(chǎng)發(fā)生改變。在電容電 場(chǎng)中這個(gè)輕微變化的位置被識(shí)別，從而提供用戶指尖的位置。例如， 美國(guó)專利No. 6，825，833公開了用于定位在電容觸摸屏上的觸摸的系 統(tǒng)和方法。許多自動(dòng)銀行機(jī)顯示屏幕采用電容傳感識(shí)別在屏幕上的用 戶輸入位置。
采樣光束中斷的系統(tǒng)通常包括在顯示器兩側(cè)上的發(fā)光光源陣列， 以及在顯示器的其余兩側(cè)上的互補(bǔ)探測(cè)器陣列。每一個(gè)光源/光電探測(cè) 器對(duì)提供當(dāng)用戶手指觸摸屏幕時(shí)就會(huì)被阻斷的光路。光電探測(cè)器探測(cè) 到發(fā)生阻斷的光路被識(shí)別出，并且該信息被用來定位用戶手指的位 置。例如，美國(guó)專利No.4，855，590公開了一種觸摸輸入裝置，該觸摸輸入裝置包括在顯示器兩側(cè)上的紅外發(fā)光二極管(LED)陣列，以及 在顯示器相對(duì)側(cè)上的光電探測(cè)器陣列。
其它觸摸式傳感系統(tǒng)采用光導(dǎo)膜覆蓋顯示器。當(dāng)用戶按壓該膜上 的位置時(shí)，光進(jìn)入該膜，接著例如通過全內(nèi)反射被捕獲到膜中。傳感 器沿兩條或多條邊緣放置，以便確定凹陷的位置，通過該凹陷，周圍 的光進(jìn)入該膜。例如，美國(guó)專利No.6，172，667公開了一種基于光學(xué)的 觸摸屏輸入裝置，該觸摸屏輸入裝置采用光導(dǎo)膜覆蓋顯示器。
采用聲波生成技術(shù)的系統(tǒng)與那些采用光束生成技術(shù)的系統(tǒng)相似， 因?yàn)橛脩舻氖种笇?dǎo)致感應(yīng)聲波，該感應(yīng)聲波向邊緣傳播并在兩個(gè)或四 個(gè)邊緣處被探測(cè)。
但是，上述的每一個(gè)系統(tǒng)通常要求同一時(shí)間只有一個(gè)用戶觸摸屏 幕。而且，即使這種系統(tǒng)能夠幾乎同時(shí)探測(cè)到兩個(gè)獨(dú)立的觸摸，如果 兩個(gè)或更多個(gè)用戶同時(shí)沿著屏幕上的水平或垂直線觸摸屏幕，那么也 會(huì)失敗。如果兩個(gè)用戶同時(shí)沿著這種線觸摸使用上述技術(shù)的屏幕，那 么系統(tǒng)通常只會(huì)登記第一個(gè)人對(duì)屏幕的最初觸摸。這種系統(tǒng)也不無法 適應(yīng)在輸入中發(fā)生的變化，例如如果一個(gè)人將其手指停留在屏幕上較 長(zhǎng)的一段時(shí)間時(shí)在輸入中可能發(fā)生的變化。
涉及攝影成像的系統(tǒng)采用相機(jī)探測(cè)人或人的一部分的位置，例如 他們的手指的位置和取向。這種基于相機(jī)的系統(tǒng)通常向計(jì)算機(jī)圖像處 理系統(tǒng)提供一系列數(shù)字幀輸出數(shù)據(jù)。例如，美國(guó)專利No. 5,917,490公 開了 一種交互處理系統(tǒng)，該交互處理系統(tǒng)包括記錄用戶在限定環(huán)境內(nèi) 的移動(dòng)的相機(jī)。但是，這種系統(tǒng)必須適應(yīng)環(huán)境中的變化以及輸出顯示 器本身的變化。而且，這種系統(tǒng)可能難以區(qū)分用戶手指對(duì)輸入屏幕的 觸摸和在輸入屏幕上輕輕劃過的兩種情況。
另外，美國(guó)公開專利申請(qǐng)2004/0183775 公開了一種交互環(huán)境， 該交互環(huán)境包括可以安裝在天花板上的投影儀、以及捕獲表示在該環(huán) 境中的被攝體的位置的圖像數(shù)據(jù)的相機(jī)。該投影儀被公開為用于投射 可見照明光或紅外照明光。但是，辨別用戶在微小的移動(dòng)之間，例如 觸摸或沒有完全觸摸到輸入屏幕時(shí)，這種系統(tǒng)也可能會(huì)遭遇困難。因此，對(duì)允許多用戶同時(shí)與顯示系統(tǒng)交互的改進(jìn)的交互顯示系統(tǒng) 仍然有需求。

發(fā)明內(nèi)容
根據(jù)一個(gè)實(shí)施例，本發(fā)明提供一種交互系統(tǒng)，該交互系統(tǒng)包括 用于使用基本均勻的紅外照明光對(duì)暴露給用戶的暴露的界面表面進(jìn) 行照射的紅外光源組件、用于擴(kuò)散紅外照明光的擴(kuò)散器、以及用于捕 獲通過擴(kuò)散器的暴露的界面表面的紅外圖像的紅外探測(cè)系統(tǒng)。該紅外 探測(cè)系統(tǒng)提供表示暴露的界面表面的紅外照明強(qiáng)度的圖像數(shù)據(jù)。
根據(jù)另一個(gè)實(shí)施例，本發(fā)明一種交互系統(tǒng)，該交互系統(tǒng)包括界 面表面，通過該界面表面，用戶從所述界面表面的暴露側(cè)與該交互系 統(tǒng)交互；使用基本均勻的紅外照明光從所述界面表面的內(nèi)表面對(duì)所述 界面表面進(jìn)行照射的紅外光源組件；以及從所述界面表面的內(nèi)表面捕 獲暴露的表面的紅外圖像的紅外探測(cè)系統(tǒng)。該紅外探測(cè)系統(tǒng)提供表示 暴露的表面的紅外照明強(qiáng)度的圖像數(shù)據(jù)。
根據(jù)另一個(gè)實(shí)施例，本發(fā)明提供一種方法，該方法提供一種交互 系統(tǒng)，該方法包括以下的步驟提供暴露的界面表面，通過該暴露的 界面表面，用戶可以與交互系統(tǒng)進(jìn)行交互；使用基本均勻的紅外照明 光對(duì)所述暴露的界面表面進(jìn)行照射；捕獲暴露表面的紅外圖像并產(chǎn)生 捕獲的紅外圖像數(shù)據(jù)，以及從捕獲的紅外圖像數(shù)據(jù)中過濾背景數(shù)據(jù)。


參照附圖可以進(jìn)一步理解下面的描述，在附圖中
圖1示出才艮據(jù)本發(fā)明實(shí)施例的系統(tǒng)的示意性功能圖2示出根據(jù)本發(fā)明實(shí)施例的系統(tǒng)的示意性側(cè)視圖3示出圖2中所示的系統(tǒng)的示意性俯視圖4A-4C示出根據(jù)本發(fā)明實(shí)施例的系統(tǒng)的操作步驟的示意性流
程圖5A和5B示出可以與根據(jù)本發(fā)明實(shí)施例的系統(tǒng)一起使用的兩個(gè)物體的底面的示意圖6示出根據(jù)本發(fā)明另一個(gè)實(shí)施例的屏幕組件的示意圖； 圖7示出根據(jù)本發(fā)明另一個(gè)實(shí)施例的多用戶系統(tǒng)的示意圖。 附圖只為示意性目的而被示出。
具體實(shí)施例方式
如圖1所示，根據(jù)本發(fā)明實(shí)施例的系統(tǒng)包括顯示輸出系統(tǒng)10、 觸摸輸入系統(tǒng)12和用于執(zhí)行應(yīng)用程序的計(jì)算機(jī)處理系統(tǒng)14，該應(yīng)用 程序?qū)⑤敵鰯?shù)據(jù)顯示到顯示輸出系統(tǒng)10并接收來自觸摸輸入系統(tǒng)12 的輸入數(shù)據(jù)。
顯示輸出系統(tǒng)IO包括顯示控制器16、顯示投影儀18和用于從 顯示輸出中除去紅外光的紅外濾波器20。顯示投影儀將顯示圖像投影 到屏幕組件22的底面。例如，顯示圖像可以包括計(jì)算機(jī)屏幕的投影 圖#>，以便多個(gè)人從屏幕組件22的相反一側(cè)同時(shí)觀看。該系統(tǒng)可以 這樣構(gòu)造屏幕組件22可以提供多個(gè)人可以圍繞其聚集在一起的工 作臺(tái)表面，或者提供多個(gè)人可以同時(shí)觀看的墻裝顯示屏幕。屏幕組件 22可以包括支撐材料23 (例如玻璃或聚合物-玻璃組合)并提供具有 無光光潔度的非鏡面表面的擴(kuò)散器材料24。例如，該擴(kuò)散器材料可以 由聚酯膜(例如由位于德國(guó) Wilminton市的E.I. DuPont deNemours&Co.銷售的MYLAR⑧膜)形成。支撐材料23和擴(kuò)散器材 料24應(yīng)該至少是基本透明的。如下面所討論的，擴(kuò)散器材料24應(yīng)該 對(duì)通過支撐材料23的紅外照明光提供理想的擴(kuò)散量。
觸摸輸入系統(tǒng)包括只允許紅外光通過的紅外通過濾波器 (infrared pass filter)、用于接收紅外照明光的紅外接收相機(jī)28和 觸摸輸入控制器30。相機(jī)28可以專門設(shè)計(jì)為接收紅外照明光，或者 可以提供寬帶的光譜靈敏度，如下文所討論的，該光譜靈敏度對(duì)紅外 照明光具有低水平的接收，從而足夠本發(fā)明使用。雖然本實(shí)施方式中 使用的是近場(chǎng)紅外光，但是任何非可變光都可以使用。
該系統(tǒng)還包括紅外光源32和34，該紅外光源32和34與輸出透鏡36和38 —起在整個(gè)屏幕組件22上提供基本均勻的紅外照明場(chǎng)。 該紅外光源可以作為沿著顯示屏幕單元的任意的1到4個(gè)邊的LED 光源陣列提供。例如，系統(tǒng)可以包括如圖1所示的在屏幕組件22的 兩個(gè)相對(duì)側(cè)的每一個(gè)上的LED陣列，其中每一個(gè)陣列包括若干排緊 密放置的LED (例如每一個(gè)陣列包括兩排或三排)。根據(jù)另一個(gè)實(shí)施 例，可以使用包括與紅外通過濾波器在一起的白熾(例如鵠、卣素等) 光源的紅外光源。在另一些實(shí)施例中，紅外光源可以放置于不同的位 置，包括，例如，在相機(jī)附近。
如圖2和圖3所示，實(shí)際的顯示單元可以包括反射鏡50和52， 以便使投影儀和相機(jī)的聚焦區(qū)域指向屏幕組件22。具體來說，投影儀 18可以通過反射鏡50和52將投影圖像引導(dǎo)到屏幕組件22上，而相 機(jī)28可以通過反射鏡52捕獲屏幕組件22的圖像幀，如圖2和圖3 所示。如圖2中的B所示，投影圖像的大小(以及捕獲的圖像)也可 以通過改變屏幕組件22到反射鏡52的距離來調(diào)整。
在使用中，顯示輸出系統(tǒng)10的投影儀18把計(jì)算機(jī)輸出屏幕的顯 示圖像投影到屏幕組件22的第一側(cè)。 一個(gè)或多個(gè)用戶可以通過屏幕 組件22看見顯示圖像。任何來自顯示投影儀18的紅外照明光都被紅 外濾波器20去除(如果需要的話)。紅外光源32、 34在屏幕組件22 的整個(gè)第一側(cè)上提供基本均勻的紅外照明光。觸摸輸入系統(tǒng)12的紅 外相機(jī)28只接收紅外照明光(由于紅外通過濾波器26的原因)，并 給觸摸輸入控制器30提供圖像。
當(dāng)一個(gè)人將其手指40置于屏幕組件22的外暴露表面上時(shí)，觸摸 輸入控制器30探測(cè)在該人的手指40的位置處在紅外照明場(chǎng)中出現(xiàn)的 強(qiáng)度干擾。例如，該人可以指向顯示圖像上的特定項(xiàng)目，非常像人們 使用計(jì)算機(jī)鼠標(biāo)在傳統(tǒng)個(gè)人電腦上做的那樣。通過在啟動(dòng)時(shí)用戶對(duì)特 定部位的觸摸，該系統(tǒng)可以初始化并校準(zhǔn)，從而使得投影儀18的焦 場(chǎng)與相才幾28的視場(chǎng)同步。
在使用中，兩個(gè)或多個(gè)人可能同時(shí)指向(例如40、 42)顯示圖 像的不同部分。在另一些實(shí)施例中， 一個(gè)或多個(gè)物體44可以置于屏幕組件22的暴露表面上。擴(kuò)散器材料24提供投影儀表面以及漫射表 面，該漫射表面的性質(zhì)使得人的手指必須離屏幕組件22充分地近才 能使紅外照明光的強(qiáng)度干擾被充分地定義。當(dāng)手指離屏幕組件22(如 圖1中的A所示)大于一定距離時(shí)，那么在手指區(qū)域中的反射的紅外 照明強(qiáng)度就太分散，所以控制器30能夠有利地拒絕這種模糊強(qiáng)度區(qū) 域。作為距離的函數(shù)，擴(kuò)散器的分散或模糊透射光的能力有助于在手 指或物體接觸表面或幾乎與表面接觸時(shí)進(jìn)行探測(cè)，而不是在離表面還 有幾英寸時(shí)進(jìn)行探測(cè)。為了拒絕任何模糊的物體，圖像處理軟件在輸 入的圖像信號(hào)上實(shí)現(xiàn)高通濾波器。該高通濾波器使銳邊變亮并去除強(qiáng) 度不變或緩慢變化的區(qū)域(例如模糊的形狀)。這一步驟有效地排除 了對(duì)離表面超過小距離的任何明亮物體的考慮。這一高通步驟也有助 于提高系統(tǒng)對(duì)周圍室內(nèi)照明變化的魯棒性。
例如，每一個(gè)圖像幀可以包括640 x520像素(每一像素8比特 數(shù)據(jù))的圖像數(shù)據(jù)。該系統(tǒng)必須在生成實(shí)際事件數(shù)據(jù)(例如由用戶觸 摸產(chǎn)生的)時(shí)不犧牲觸摸輸入系統(tǒng)的輸出完整性的情況下快速處理數(shù) 據(jù)。如圖4A到4C所示，該系統(tǒng)通過接收來自相機(jī)的表示當(dāng)前圖像 幀的圖像幀數(shù)據(jù)(步驟102)開始每一次的迭代(步驟100)。使用 一種加權(quán)平均技術(shù)，將小百分比的原始圖像幀數(shù)據(jù)均分(步驟104) 到動(dòng)態(tài)更新的背景圖像幀中(步驟106)。例如，可能給予背景大于 50/100的權(quán)重，例如75/100到99/100，而給予當(dāng)前圖像幀數(shù)據(jù)介于1 和背景數(shù)據(jù)的權(quán)重之間的差的權(quán)重。例如，背景權(quán)重可能是99%,而 可以給予當(dāng)前圖像幀1%的權(quán)重。許多幀以后，之前是當(dāng)前圖像數(shù)據(jù) 的幀數(shù)據(jù)的不變部分最終變成背景圖像數(shù)據(jù)。隨著時(shí)間的過去，這種 形式的背景平均化將用背景指數(shù)淡入當(dāng)前圖像。在另一些實(shí)施例中， 背景數(shù)據(jù)可能是以前的10、 IOO或200個(gè)圖像幀的加窗平均值。如果 使處理幀圖像數(shù)據(jù)的速度保持相對(duì)較高，則這種背景權(quán)重相減技術(shù)將 使得該系統(tǒng)快速地調(diào)整到任何新的平衡狀態(tài)，即使在最初的啟動(dòng)中不 考慮最初的背景數(shù)據(jù)。這種調(diào)整能力使該系統(tǒng)能夠?qū)Νh(huán)境中的照明變 化具有魯棒性。如果對(duì)于較慢的淡化時(shí)間給予背景圖像非常長(zhǎng)的半衰期，那么瞬 時(shí)表面接觸不會(huì)太快地淡入，權(quán)重必定小，因此當(dāng)前圖像的淡入會(huì)花
費(fèi)較長(zhǎng)時(shí)間。合理的是給出小于1/256的加權(quán)，其小于8比特圖像像 素值的比特單位值。這樣，為了實(shí)現(xiàn)上述兩個(gè)8比特?cái)?shù)(例如每一個(gè) 像素)的加權(quán)相減，為了保持準(zhǔn)確性和避免人造痕跡(artifact),人 們希望允許轉(zhuǎn)換到16比特和。簡(jiǎn)單地把這一比特和轉(zhuǎn)換回到8比特 數(shù)(例如通過十進(jìn)制移位)，然后基于傳統(tǒng)的大于或小于0.5的方法 進(jìn)行四舍五入，發(fā)現(xiàn)得到的結(jié)果不能完全令人滿意。但是，申請(qǐng)人發(fā) 現(xiàn)基本的準(zhǔn)確度可以通過執(zhí)行不是基于0.5的舍入(四舍五入)函數(shù) 來保持，而是對(duì)每次迭代基于介于0和1之間的隨機(jī)數(shù)進(jìn)行舍入從而 進(jìn)位到8比特。舍入觸發(fā)器的這種隨機(jī)生成的結(jié)果,皮發(fā)現(xiàn)獲得了圖像 數(shù)據(jù)的準(zhǔn)確性，遠(yuǎn)遠(yuǎn)超出用于進(jìn)一步處理的實(shí)際的8比特圖像數(shù)據(jù)， 所述進(jìn)一步處理可能是由于舍入操作所引起的錯(cuò)誤的人造痕跡的隨 機(jī)分布而導(dǎo)致增加4比特的分辨率的等價(jià)物導(dǎo)致的。
在另 一個(gè)實(shí)施例中，浮點(diǎn)值可以用于背景圖像(和其它圖像緩沖 器)，以便允許更精確的表示。在一些CPU架構(gòu)中，浮點(diǎn)運(yùn)算在速 度上與整數(shù)運(yùn)算可比，因此進(jìn)行浮點(diǎn)圖像處理沒有多大的成本。
在由于在足夠的時(shí)間內(nèi)環(huán)境沒有發(fā)生移動(dòng)或改變而導(dǎo)致背景圖 像達(dá)到穩(wěn)定狀態(tài)后，當(dāng)沒有手或物體接觸表面時(shí)，背景表示顯示表面 的狀態(tài)。當(dāng)環(huán)境改變時(shí)，上述系統(tǒng)將隨著時(shí)間動(dòng)態(tài)地調(diào)整。這個(gè)背景 圖像被從原始圖像幀中減去，從而得到差圖像(步驟104)。這種相 減去除了圖像的不變部分，只顯露改變的內(nèi)容以及其它瞬間的和反射 的物體，特別是接觸或靠近表面的手指將顯現(xiàn)。因?yàn)榧t外光照射該物 體，所以，當(dāng)沒有東西與表面接觸時(shí)，該物體將比表面更亮，從而物 體將比背景圖像更亮。
接著該系統(tǒng)執(zhí)行下文討論的大量的圖像處理功能，這些圖像處理 功能可以使用各種標(biāo)準(zhǔn)的圖像處理工具來實(shí)現(xiàn)，所述圖像處理工具， 例如，由位于美國(guó)賓夕法尼亞州Pittsburgh市卡內(nèi)基梅隆大學(xué)的計(jì)算 機(jī)視覺組發(fā)布的那些工具(OpenCv)。為了減少噪聲，用不同方法對(duì)原始的差圖像進(jìn)行平滑處理。在一個(gè)實(shí)施例中，采用了平滑濾波器， 而在另一個(gè)實(shí)施例中，通過對(duì)像素組求平均值，可以減小圖像的分辨 率。接著，該系統(tǒng)使用例如常規(guī)拉普拉斯變化算法對(duì)圖像幀數(shù)據(jù)執(zhí)行
高通濾波功能(步驟108)。例如，當(dāng)手指觸摸屏幕時(shí)，該高通操作 找到邊緣以及充分定義的快速的強(qiáng)度變化和特征。當(dāng)手指移走時(shí)，其 將變得模糊，因此被從此通過中濾出。然后，該系統(tǒng)通過在所有側(cè)上 的大約3到5個(gè)像素來裁剪圖像的大小(步驟110)，從而去掉邊界。 然后，該系統(tǒng)執(zhí)行閾值化功能(步驟112)來確定大于所定義的閾值 的像素。大于所定義的閾值的像素在下文中稱為on，而其余的像素被 認(rèn)為是off。然后，該系統(tǒng)執(zhí)行腐蝕(erosion)功能(步驟114)，接 著執(zhí)行膨脹(dilation)功能(步驟116)，從而去除大于閾值強(qiáng)度的 像素的非常小的區(qū)域，即小組的on像素。這是通過首先腐蝕所有的 on像素組例如通過每組的邊緣周圍的一個(gè)或兩個(gè)像素來實(shí)現(xiàn)。于是， 那些非常小的組將消失。然后，每一個(gè)其余的組通過例如在每一個(gè)on 像素組的邊緣周圍的一個(gè)或兩個(gè)像素來被膨脹。腐蝕/膨脹算子用于減 少探測(cè)中的噪聲(例如來自可能由于高通操作增強(qiáng)的圖像中的偶然靜 止的)，因此減少了對(duì)觸摸的誤報(bào)探測(cè)。
然后，該系統(tǒng)從圖像邊緣去除任何剩余的噪聲像素(步驟118 ), 接著計(jì)算每一個(gè)on像素連接組的形狀的輪廓線(步驟120 )。這些輪 廓線表示為相連的頂點(diǎn)的列表，當(dāng)三個(gè)或多個(gè)相鄰頂點(diǎn)非常相似或彼 此在同一直線上時(shí)，并且/或者當(dāng)集合中的一個(gè)或多個(gè)線段非常短時(shí)， 通過用一個(gè)輸出頂點(diǎn)替換兩個(gè)或多個(gè)相鄰矢量的集合來減少每一個(gè) on像素組的頂點(diǎn)數(shù)。也可以使用其它多邊形頂點(diǎn)減少技術(shù)，例如使用 由OpenCv圖像處理庫(C.H. Teh， R.T. Chin. On the Detection of Dominant Points on Digital Curves. —IEEE Tr. PAMI, 1989， v.ll, No.8， p. 859-872 )提供的LI曲率的The-Chin算法。這一階段(步驟 124)的輸出是描述每一個(gè)輪廓線形狀(也稱為團(tuán)跡)的輪廓的簡(jiǎn)化 的多邊形列表。
現(xiàn)在，每一組on像素都由定義該組的形狀的多邊形集合所表示。然后，該系統(tǒng)形成這些形狀或多邊形的列表，如果圖像幀包括太多的
多邊形(步驟126),那么圖像幀數(shù)據(jù)被丟掉(步驟128)，對(duì)圖像 幀數(shù)據(jù)的處理結(jié)束(步驟130)。在圖像幀中有太多多邊形的情況可 能會(huì)發(fā)生，例如，如果閾值設(shè)定太低，或者如果屏幕組件被紅外照明 光照射得太亮。這可能導(dǎo)致許多團(tuán)跡(數(shù)十或數(shù)百)出現(xiàn)在經(jīng)處理的 幀中，直到背景或相機(jī)的設(shè)置被重新調(diào)整到新的光水平。
如果圖像幀里沒有太多的多邊形(步驟126)，那么系統(tǒng)使用例 如平移不變量，非正交中心矩例如Hu矩(步驟132) (M.Hu. Visual Pattern Recognition by Moment Invariants, IRE Transactions on Information Theory, 8:2， pp. 179-187， 1962)描述每一個(gè)多邊形?，F(xiàn) 在可以評(píng)定每一個(gè)多邊形的形狀和面積，并且該系統(tǒng)現(xiàn)在確定任何形 狀是否太大(步驟134)，如果任何形狀太大，該系統(tǒng)去除對(duì)應(yīng)于被 確定為太大的形狀的數(shù)據(jù)(驟136)。然后，該系統(tǒng)確定任何形狀是 否太小(步驟138)，如果任何形狀太小，該系統(tǒng)去除對(duì)應(yīng)于被確定 為太小的形狀的數(shù)據(jù)(驟140)。
然后，該系統(tǒng)尋求通過把所述形狀與已知輪廓的集合相關(guān)聯(lián)，從 而識(shí)別每一個(gè)形狀(步驟142),例如所述已知輪廓可以是與屏幕組 件接觸的人類手指40、 42或者其他物體44。然后，任何剩余的彼此 相距非常近的像素組(或者團(tuán)跡)合并為組合形狀(步驟144)。形 狀的匯集列表作為一個(gè)事件報(bào)告(步驟149)。
為了給終端用戶應(yīng)用提供更高級(jí)別的事件，例如按下鼠標(biāo)
(mouse-down )、移動(dòng)鼠標(biāo)(mouse-move )和放開鼠標(biāo)按鍵(mouse-up ) 分別對(duì)應(yīng)于手指接觸、手指移動(dòng)、手指移開的時(shí)刻，多邊形形狀必須 隨著時(shí)間一幀一幀地跟蹤。在圖像處理步驟完成后，每一幀都展現(xiàn)新 的多邊形集合，該多邊形集合與前一幀的跟蹤的多邊形集合進(jìn)行比較
(步驟146)。對(duì)多邊形的位置、大小和其它屬性例如Hu矩進(jìn)行比 較。如果兩個(gè)多邊形具有相似的形狀屬性，并處于合理的距離之內(nèi)(可 以這樣理解， 一個(gè)人以合理的速度在一個(gè)幀內(nèi)移動(dòng)他的手指)，那么 這兩個(gè)形狀認(rèn)為是匹配的。對(duì)于匹配的多邊形，匹配的多邊形的ID(標(biāo)識(shí)符)與移動(dòng)鼠標(biāo)事件一同被報(bào)告。
如果沒有發(fā)現(xiàn)與前一幀的多邊形匹配的新的多邊形，那么可以假 定物體或手指從顯示器表面移開了。跟蹤算法可以等待一定數(shù)量的不 匹配幀在沒有匹配的情況下通過，從而允許瞬時(shí)遺失幀。當(dāng)過去足夠 的幀而沒有多邊形匹配時(shí)，報(bào)告放開鼠標(biāo)按鍵事件。如果發(fā)現(xiàn)不與以
前的多邊形匹配的新的多邊形，那么分配新的唯一 ID給新的多邊形 并將其報(bào)告為按下鼠標(biāo)事件。使用這一技術(shù)，4吏得如使用鼠標(biāo)一樣熟
練地直接使用人的手指成為可能。本發(fā)明中的一部分是用于與標(biāo)準(zhǔn) PC軟件交互的普通鼠標(biāo)裝置的軟件仿真器。在新型姿態(tài)相關(guān)(gesture related)的用戶界面中同時(shí)使用多個(gè)手指也是可能的。對(duì)該圖像幀的 處理結(jié)束(步驟130)。然后，該系統(tǒng)對(duì)下一圖像幀重復(fù)整個(gè)處理過 程。
在系統(tǒng)初始化時(shí)，背景圖像可以是任意的多種圖像數(shù)據(jù)集合，例 如全為零或者由相機(jī)捕獲的第一幀。因?yàn)樵撓到y(tǒng)對(duì)捕獲的每一幀進(jìn)行 迭代循環(huán)，加權(quán)背景平均在最終(例如在幾秒或幾分鐘后)將歸一化， 以便提供對(duì)未改變背景的準(zhǔn)確表示。
在校準(zhǔn)階段，通過在指定時(shí)間讓用戶指向顯示圖像上的特定標(biāo) 記，可以對(duì)顯示圖像到由相機(jī)捕獲的圖像幀數(shù)據(jù)的映射進(jìn)行細(xì)微地調(diào) 整。通過至少四個(gè)點(diǎn)來了解這些點(diǎn)在哪里顯示和觸摸在哪里發(fā)生，可 以計(jì)算透視映射，以便從在相機(jī)圖像的坐標(biāo)中感應(yīng)到的觸摸位置映射 到投影儀的顯示坐標(biāo)。在另一個(gè)實(shí)施例中，可視塊/紅外濾波器可以從 相機(jī)中去除，而投影儀可以投影用于自動(dòng)定義映射的圖案。
在使用中，為了確定在沒有LED 32和34的屏幕組件的一般環(huán) 境中的紅外照明光的量，該系統(tǒng)也可以關(guān)閉紅外發(fā)光LED陣列32、 34。這一信息可以用來在圖像處理中調(diào)整閾值和其它信息。
在其它實(shí)施例中，該系統(tǒng)可以提供紅外光源32和34，該紅外光 源32和34提供在第一紅外頻率范圍內(nèi)的紅外照明光。該系統(tǒng)還可以 包括第二紅外濾波器，該第二紅外濾波器只將在第二紅外頻率范圍內(nèi) 的紅外照明光傳遞給第二紅外相機(jī)，該第二紅外頻率范圍內(nèi)的紅外照明光與第 一紅外頻率范圍內(nèi)的紅外照明光之間沒有重疊。假定周圍的 任意紅外照明光會(huì)在第一范圍和第二范圍內(nèi)提供相等的強(qiáng)度，那么基 于對(duì)在第二頻率范圍內(nèi)的紅外照明光的測(cè)量，在環(huán)境中的背景紅外照 明光可以被持續(xù)地監(jiān)測(cè)和減去。
如圖5A和5B所示，任何物體150、 152可以在其底部包括顯 示物體類型的物體類型紅外反射碼154，以及用來唯一識(shí)別每一個(gè)實(shí) 際物體的一系列紅外反射鍵碼(key code)集合156、 158。這些碼形 狀可以如上述步驟142中討論的那樣識(shí)別，從而唯一地識(shí)別每一個(gè)物 體和其取向。
除了 一層擴(kuò)散器材料160和支撐材料162外，屏幕組件還可以包 括一個(gè)或多個(gè)減少眩光的透明材料層，例如圖6所示的二色性材料 164。例如，可以i更計(jì)一種二色性膜164來減少以在166示出的限定 角度oc的睹光。在(關(guān)于較少光延伸靠近(as to a lesser extend near)) ot角度的紅外照明光將被阻擋，從而不能通過屏幕組件。這可以幫助 減少來自從房間窗口進(jìn)入的陽光的紅外照明光的影響。在另一些實(shí)施 例中，可以使用多個(gè)這種膜，其中的每一個(gè)膜都有不同的阻擋角度 cx、 oc2、 0C3等，以便覆蓋更寬范圍的角度?；蛘?，紅外阻擋膜可以 置于任何窗口上。
在另一些實(shí)施例中，該系統(tǒng)可以包括多個(gè)投影儀/輸入裝置170、 172、 174、 176、 178和180，其中的一些可以作為工作臺(tái)提供， 一些 可以作為墻裝單元提供。每一個(gè)投影儀/輸入裝置都包括顯示輸出系統(tǒng) 和觸摸輸入系統(tǒng)。該系統(tǒng)也可以包括網(wǎng)絡(luò)182 (例如無線網(wǎng)絡(luò))，以 及執(zhí)行應(yīng)用程序的中央處理器系統(tǒng)184。該中央處理器還為每一個(gè)裝 置提供普通的輸出顯示并從每一個(gè)裝置接收輸入。因此，每一個(gè)用戶 可以觀看到同一輸出顯示，并且可以同時(shí)通過屏幕組件輸入數(shù)據(jù)到該 系統(tǒng)。由每一個(gè)用戶造成的改變也可以展現(xiàn)在其他用戶的顯示上。
在另一些實(shí)施例中，紅外接收相機(jī)18可以包括兩個(gè)獨(dú)立的圖像 記錄陣列(例如CCD陣列)，其中 一 個(gè)對(duì)第 一 范圍(例如 800nm-850nm )的紅外照明光敏感，另一個(gè)對(duì)第二范圍(例如850nm-900nm )的紅外照明光敏感。敏感性可以通過使用特定的閉塞 濾波器來實(shí)現(xiàn)，該特定的閉塞濾波器只使相應(yīng)范圍的紅外照明光通過 并照射到相關(guān)CCD陣列。因?yàn)槲覀冎兰t外光源32和34會(huì)在一個(gè) 范圍內(nèi)而不是在兩個(gè)范圍內(nèi)(例如825nm)，所以，該系統(tǒng)能夠識(shí)別
作為背景紅外照明光的由另 一 個(gè)記錄陣列探測(cè)到的紅外照明光。然 后，這種背景照明光能夠從記錄的圖像中被減去，因?yàn)樵撓到y(tǒng)基于這 種假定，即背景照明光(例如來自太陽)在兩個(gè)范圍內(nèi)很可能包括相 同量的紅外照明光。
本領(lǐng)域的技術(shù)人員應(yīng)該理解，在不脫離本發(fā)明的實(shí)質(zhì)和范圍的情 況下，可以對(duì)上述公開的實(shí)施例進(jìn)行許多修改和改變。
權(quán)利要求書如下
權(quán)利要求
1. 一種交互系統(tǒng)，該交互系統(tǒng)包括光源組件，用于使用基本均勻的照明光照射暴露給用戶的暴露的界面表面；擴(kuò)散器，用于擴(kuò)散照明光；探測(cè)系統(tǒng)，用于通過所述擴(kuò)散器捕獲所述暴露的界面表面的圖像，所述探測(cè)系統(tǒng)提供表示所述暴露的界面表面的照明強(qiáng)度的圖像數(shù)據(jù)；以及數(shù)據(jù)濾波器，用于對(duì)所述圖像數(shù)據(jù)進(jìn)行濾波，以便提供過經(jīng)過濾波的圖像數(shù)據(jù)，其中所述經(jīng)過濾波的圖像數(shù)據(jù)識(shí)別包括在其邊緣強(qiáng)度快速轉(zhuǎn)變的區(qū)域。
2. 如權(quán)利要求1所述的交互系統(tǒng)，其中所述暴露的界面表面在 所述擴(kuò)散器的暴露表面提供。
3. 如權(quán)利要求1所述的交互系統(tǒng)，其中系統(tǒng)還包括用于在所述 暴露的界面表面處顯示顯示圖像的顯示組件和用于使所述暴露的界 面表面上的顯示圖像與所述探測(cè)系統(tǒng)校準(zhǔn)的校準(zhǔn)裝置。
4. 如權(quán)利要求1所述的交互系統(tǒng)，其中所述擴(kuò)散器插入在所述 交互系統(tǒng)的用戶與所述探測(cè)系統(tǒng)和光源組件二者之間。
5. 如權(quán)利要求1所述的交互系統(tǒng)，其中所述交互系統(tǒng)還包括耦 接到所述探測(cè)系統(tǒng)的控制系統(tǒng)，所述控制系統(tǒng)能夠基本上同時(shí)探測(cè)在 所述暴露的界面表面上的包括大于閾值照明強(qiáng)度的照明強(qiáng)度的多個(gè) 區(qū)域。
6. 如權(quán)利要求5所述的交互系統(tǒng)，其中所述控制系統(tǒng)捕獲多個(gè) 連續(xù)的圖像數(shù)據(jù)集合，每一個(gè)圖像數(shù)據(jù)集合表示在特定時(shí)間所述暴露 的界面表面的區(qū)域的照明強(qiáng)度。
7. 如權(quán)利要求6所述的交互系統(tǒng)，其中所述控制系統(tǒng)使用存儲(chǔ) 的背景圖像均分當(dāng)前圖像。
8. 如權(quán)利要求1所述的交互系統(tǒng)，其中所述探測(cè)系統(tǒng)包括用于分別探測(cè)在兩個(gè)獨(dú)立的照明光頻率范圍中的每一個(gè)內(nèi)的照明光的裝 置，所述光源組件提供所述獨(dú)立的照明光頻率范圍中的 一個(gè)而不是兩 個(gè)內(nèi)的照明光。
9. 如權(quán)利要求1所述的交互系統(tǒng)，其中所述交互顯示系統(tǒng)還包 括選擇濾波器，該選擇濾波器用于去除以cx角度接近所述選擇濾波器 的周圍的照明光。
10. 如權(quán)利要求l所述的交互系統(tǒng)，其中所述光源組件、所述擴(kuò) 散器和所述探測(cè)系統(tǒng)都包含在交互單元內(nèi)，并且其中所述交互系統(tǒng)還 包括多個(gè)附加的互連交互單元，每一個(gè)所述附加的交互單元包括光源 組件、擴(kuò)散器和探測(cè)系統(tǒng)。
11. 一種交互系統(tǒng)，該交互系統(tǒng)包括界面表面，通過該界面表面，用戶可以從所述界面表面的暴露側(cè) 與所述交互系統(tǒng)交互；紅外光源組件，用于使用基本均勻的紅外照明光從所述界面表面 的內(nèi)側(cè)照射所述界面表面；以及紅外探測(cè)系統(tǒng)，用于從所述界面表面的所述內(nèi)側(cè)捕獲所述暴露表 面的紅外圖像，所述紅外探測(cè)系統(tǒng)提供經(jīng)過濾波的圖像數(shù)據(jù)，所迷經(jīng) 過濾波的圖像數(shù)據(jù)表示所述暴露表面的在包括在其邊緣強(qiáng)度快速轉(zhuǎn) 變的區(qū)域中的紅外照明強(qiáng)度。
12. 如權(quán)利要求11所迷的交互系統(tǒng)，其中所迷界面表面由擴(kuò)散 器提供。
13. 如權(quán)利要求11所述的交互系統(tǒng)，其中系統(tǒng)還包括用于在所 述界面表面的暴露側(cè)處顯示顯示圖像的顯示組件和用于使所述界面 表面的暴露側(cè)上的顯示圖像與紅外探測(cè)系統(tǒng)校準(zhǔn)的校準(zhǔn)裝置。
14. 如權(quán)利要求11所述的交互系統(tǒng)，其中所述交互系統(tǒng)還包括 耦接到所述紅外探測(cè)系統(tǒng)的控制系統(tǒng)，所述控制系統(tǒng)能夠基本上同時(shí) 探測(cè)在所述暴露的界面表面上的包括大于照明強(qiáng)度閾值的照明強(qiáng)度 的多個(gè)區(qū)域。
15. 如權(quán)利要求14所述的交互系統(tǒng)，其中所述控制系統(tǒng)捕獲多個(gè)連續(xù)的圖像數(shù)據(jù)集合，每一個(gè)圖像數(shù)據(jù)集合表示在特定時(shí)間所述界 面表面的所述暴露側(cè)的區(qū)域的紅外照明強(qiáng)度。
16. 如權(quán)利要求15所述的交互系統(tǒng)，其中所述控制系統(tǒng)使用存 儲(chǔ)的背景圖像均分當(dāng)前圖像。
17. 如權(quán)利要求11所述的交互系統(tǒng)，其中所述紅外探測(cè)系統(tǒng)包 括用于分別探測(cè)在兩個(gè)獨(dú)立的紅外照明光頻率范圍中的每一個(gè)內(nèi)的 紅外照明光的裝置，所述紅外光源組件提供所述獨(dú)立的照明光頻率范 圍中的一個(gè)而不是兩個(gè)內(nèi)的紅外照明光。
18. 如權(quán)利要求11所述的交互系統(tǒng)，其中所述交互系統(tǒng)還包括 選擇濾波器，該選擇濾波器用于去除以ct角度接近所述選擇濾波器的 周圍的紅外照明光。
19. 如權(quán)利要求11所述的交互系統(tǒng)，其中所述界面表面、所述 紅外光源組件和所述探測(cè)系統(tǒng)都包含在交互單元內(nèi)，并且其中所述交 互系統(tǒng)還包括多個(gè)附加的互連交互單元，每一個(gè)所述附加的交互單元 包括界面表面、紅外光源組件和紅外探測(cè)系統(tǒng)。
20. —種提供交互系統(tǒng)的方法，所述方法包括以下步驟 提供暴露的界面表面，通過該暴露的界面表面，用戶可以與所述交互系統(tǒng)進(jìn)行交互；使用基本均勻的紅外照明光照射所述暴露的界面表面； 捕獲所述暴露表面的紅外圖像并產(chǎn)生捕獲的紅外圖像數(shù)據(jù)； 從所述捕獲的紅外圖像數(shù)據(jù)中過濾背景數(shù)據(jù)；以及 對(duì)所述捕獲的圖像數(shù)據(jù)進(jìn)行高通濾波，以便提供經(jīng)過濾波的圖像數(shù)據(jù)，所述經(jīng)過濾波的圖像數(shù)據(jù)識(shí)別包括在其邊緣強(qiáng)度快速轉(zhuǎn)變的區(qū)域。
21. 如權(quán)利要求20所述的方法，其中從所述捕獲的紅外圖像數(shù) 據(jù)中過濾背景數(shù)據(jù)的所述步驟涉及使用存儲(chǔ)的背景圖像均分當(dāng)前圖 像。
22. 如權(quán)利要求20所述的方法，其中從所述捕獲的紅外圖像數(shù) 據(jù)中過濾背景數(shù)據(jù)的所述步驟涉及從當(dāng)前圖像減去背景圖像，其中所述背景圖像被捕獲為不包括紅外照明光的頻率在內(nèi)的頻率范圍。
23. 如權(quán)利要求20所述的方法，其中，對(duì)于多次中的每一次， 捕獲所述暴露表面的所述紅外圖像的所述步驟包括通過擴(kuò)散器捕獲 所述暴露表面的所述紅外圖像。
24. 如權(quán)利要求23所述的方法，其中所述方法還包括對(duì)所述捕 獲的紅外圖像數(shù)據(jù)進(jìn)行高通濾波。
25. 如權(quán)利要求20所述的方法，其中所述方法還包括在所述暴 露的界面表面處顯示顯示圖像的步驟，以及將所述暴露的界面表面上 的顯示圖像與紅外探測(cè)系統(tǒng)進(jìn)行校準(zhǔn)的步驟。
26. 如權(quán)利要求20所述的方法，其中所述方法還包括基本上同 時(shí)探測(cè)在所述暴露的界面表面上的包括大于照明強(qiáng)度閾值的照明強(qiáng) 度的多個(gè)區(qū)域的步驟。
27. 如權(quán)利要求20所述的方法，其中所述方法還包括從所迷捕 獲的紅外圖像數(shù)據(jù)去除以cx角度接近所述選擇濾波器的周圍的紅外 照明光的步驟。
28. 如權(quán)利要求1所述的交互系統(tǒng)，其中所述數(shù)據(jù)濾波器包括高 通濾波器。
29. 如權(quán)利要求l所述的交互系統(tǒng)，其中所述數(shù)據(jù)濾波器對(duì)所述 圖像數(shù)據(jù)執(zhí)行拉普拉斯變換。
30. 如權(quán)利要求20所述的方法，其中進(jìn)行高通濾波的所述步驟 包括對(duì)所迷圖像數(shù)據(jù)執(zhí)行拉普拉斯變換。
全文摘要
公開一種交互系統(tǒng)，其包括用于使用基本均勻的紅外照明光照射暴露給用戶的暴露的界面表面的紅外光源組件、用于散射紅外照明光的擴(kuò)散器、用于通過該擴(kuò)散器捕獲該暴露的界面表面的紅外圖像的紅外探測(cè)系統(tǒng)。該紅外探測(cè)系統(tǒng)提供表示該暴露的界面表面的紅外照明強(qiáng)度的圖像數(shù)據(jù)。
文檔編號(hào)G06F3/042GK101305339SQ200680041437
公開日2008年11月12日 申請(qǐng)日期2006年9月12日 優(yōu)先權(quán)日2005年9月16日
發(fā)明者H·考夫曼, T·A·加雷安三世 申請(qǐng)人:麥加梵有限責(zé)任公司