專利名稱：檢測和定位用戶－對象與虛擬傳送設備的交互作用的準三維方法和裝置的制作方法
技術領域：
本發(fā)明通常涉及檢測相對于設備的鐵筆或用戶手指的接近以便將命令和/或數(shù)據輸入或傳送到系統(tǒng)，以及更具體地說涉及相對于虛擬設備的這種檢測，該虛擬設備用來將命令和/或數(shù)據和/或其他信息輸入或傳送到系統(tǒng)。
背景技術：
通常希望使用虛擬輸入設備來輸入命令和/或數(shù)據和/或其他信息傳送到電子系統(tǒng)，例如，計算機系統(tǒng)、樂器甚至電話。例如，盡管現(xiàn)在能以幾乎袖珍型來實現(xiàn)計算機，但在迷你鍵盤上輸入數(shù)據或命令卻很費時且容易出錯。雖然現(xiàn)今很多移動電話能處理e-mail通信，但實際上使用小型電話觸摸鍵盤輸入消息是很困難的。
例如，PDA具有許多計算機的功能但卻得忍受極小的或不存在的鍵盤。如果系統(tǒng)可用來確定用戶手指或鐵筆何時接觸到虛擬鍵盤，或哪個手指接觸到哪個虛擬按鍵上，也許能將系統(tǒng)的輸出輸入到PDA中代替鍵盤信息(在此可交換地使用術語“手指”或“多個手指”以及“鐵筆”。)在該例子中，虛擬鍵盤可是展開成鍵盤大小，在其上印刷有按鍵以引導用戶手的一張紙。理解到虛擬鍵盤或其他輸入設備只不過是工作面而且沒有傳感器或機械或電子部件。紙以及按鍵不是真正輸入信息，而是用戶手指以及紙部分間的交互作用或界面，或如果不是紙，在其上將存在按鍵的工作面部分能用來將信息輸入到PDA。類似的虛擬設備和系統(tǒng)可用來將e-mail輸入到移動電話。虛擬琴鍵盤可用來充當真正的樂器。問題是如何來檢測或檢測相對于虛擬設備用戶手指或鐵筆的位置。
Korth(1998)的名為“Method and Device for Optical Inputof Commands or Data”的U.S專利5,767,848試圖使用二維TV攝像機實現(xiàn)虛擬設備。這種光學系統(tǒng)依賴亮度數(shù)據并要求穩(wěn)定的環(huán)境光源，但不幸的是亮度數(shù)據能干擾成象系統(tǒng)。例如，圖象前景中的用戶手指可能無法從背景區(qū)域中區(qū)別開來。另外，由防礙虛擬設備的用戶的手引起的陰影或其他圖象塊現(xiàn)象似乎使得在操作中實現(xiàn)Korth系統(tǒng)有點不精確。Korth也要求檢驗用戶手指的輪廓、相對于虛擬設備的手指位置以及確定手指運動。
Bamji et al.(2001)1999年9月22日申請的、名為“CMOS-Compatible Three-Dimensional Image Sensor IC”，申請序列號No.09/406,059的U.S專利No.公開了能與虛擬設備一起使用的復雜的三維成象系統(tǒng)以便將命令和數(shù)據輸入到電子系統(tǒng)中。在那個專利中，公開了各種測距系統(tǒng)，這些系統(tǒng)能用來確定用戶指尖和虛擬輸入設備如鍵盤間的界面。使用渡越時間(time of flight)測量在三維中確定成象。放出光能的光源朝著目標對象，例如虛擬設備的方向，以及通過光電二極管陣列檢測由成象通路內的對象部分反射的能源。使用各種復雜的技術，確定光能發(fā)射及其通過光電二極管陣列的檢測間的實際渡越時間。這種測量允許計算對三級中目標對象點，例如，(x，y，z)的矢量距離。上述系統(tǒng)檢驗反射的發(fā)射能源，并且能在沒有環(huán)境光的情況下工作。如果例如，目標對象是計算機鍵盤的布局，也許是在其上具有印刷按鍵的一張紙，系統(tǒng)能確定哪個用戶手指以何種順序觸摸在目標什么部分，例如哪個虛擬按鍵上。當然，紙是任選的并可用來引導用戶手指。
用Bamji發(fā)明獲得的三維數(shù)據能用軟件處理以便當它們接觸到觸摸表面，例如虛擬輸入設備時，能定位用戶手指。當請求將鍵盤事件輸入到由相關的電子設備或系統(tǒng)(例如，計算機、PDA、移動電話、信息站設備、銷焦點設備等等)執(zhí)行的應用時，軟件能識別與表面上位置的手指接觸。雖然Bamji系統(tǒng)能操作且可用來使用三維成象將命令和/或數(shù)據輸入到計算機系統(tǒng)中以便分析手指和虛擬輸入設備的界面，但需要不那么復雜而且也許不那么高級的系統(tǒng)。象Bamji系統(tǒng)，這種新系統(tǒng)應當相對便宜以便大量生產而且應當耗費相對少的負載功率以便電池供電是可行的。
本發(fā)明提供這種系統(tǒng)。

發(fā)明內容
本發(fā)明使用平面準三維檢測，定位用戶手指或鐵筆和上述定義為工作面的無源觸摸面(例如，虛擬輸入設備)間的交互作用。準三維檢測意思是使用二維平面作為基準，能基本上在三維中確定交互作用點，在三維空間中任意定向二維平面。只要檢測到觸摸，本發(fā)明定位觸摸區(qū)以確定響應觸摸，產生了與觸摸的定位區(qū)域一致的在虛擬輸入設備上何處發(fā)生了觸摸，以及鍵入了什么數(shù)據或命令。另外，虛擬輸入設備可包括虛擬鼠標或跟蹤球。在該實施例中，本發(fā)明檢測和報告與虛擬輸入設備的接觸點的坐標，這些坐標結合到應用中，可能用來移動顯示器上的光標(用虛擬鼠標或跟蹤球實現(xiàn))和/或對制圖或書寫應用提交數(shù)字標記(虛擬筆或鐵筆實現(xiàn))。在各個實施例中，最好使用三角測量分析方法來確定在何處產生與虛擬輸入設備的用戶-對象“接觸”。
在所謂的結構光實施例中，本發(fā)明包括第一光學系統(tǒng)(OS1)，產生定義平行于且與工作面分開小平衡距離ΔY的光束角Φ的扇形射束，在工作面上定義虛擬輸入設備。在該實施例中，感興趣平面是由OS1產生的光平面，OS1通常是激光器或LED光發(fā)射器。兩個平行的平面可通常是水平的，但它們可垂直以或方便的任何其他角度放置。本發(fā)明還包括第二光學系統(tǒng)(OS2)，對由OS1發(fā)射的相同波長的光能起響應。最好，將OS2放在OS1上，且相對于扇形射束平面，朝定義虛擬輸入設備的區(qū)域偏轉θ角。OS2對由OS1發(fā)射的能源起響應，但光能的波長不需要人類可見。
本發(fā)明也可使用有源或無源的非結構光結構實現(xiàn)。在無源三角測量實施例中，OS1是攝像機而不是有效的光能源，以及OS2是攝像機，對與OS1相同的光能起響應，并且是最好如上所述放置。在這種實施例中，感興趣平面是OS1攝像機的掃描線的投影平面。在非結構光實施例中，諸如有源三角測量實施例中，OS1和OS2是攝像機并且本發(fā)明還包括發(fā)射具有OS1和OS2響應的波長的光能?？蛇x地，在這些實施例中，OS1和OS2每個包括與有源光源的輸出同步的遮光器機構，以便當發(fā)射光能時，打開OS1和OS2中的遮光器，否則關閉。使用兩個攝像機的非結構光結構的優(yōu)點在于更能容忍工作面中的連續(xù)沖擊或不規(guī)則性。通過選擇檢測象素無的OS1的適當行以便符合工作面的最高y-維點(例如，連續(xù)沖擊)，選擇由OS1定義的平面。
在結構光實施例中，OS2將不檢測光能直到對象，例如用戶手指或鐵筆開始觸摸在其上定義虛擬輸入設備的工作面區(qū)域。然而，只要對象透過由OS1發(fā)射的光能的平面，將照亮與平面相交的手指或鐵筆部分(對用戶可見或不可見)。OS2通過檢測由照亮的對象區(qū)域反射到OS2的光能來檢測與感興趣平面的交叉?；旧现挥幸粋€平面對本發(fā)明有益，由OS1的結構確定，以及在三維空間中可定義的平行于虛擬輸入設備的所有其他平面可根據無關性忽略。因此，平面三維傳感器系統(tǒng)檢測在發(fā)射的扇形光束平面上發(fā)生的與虛擬輸入設備的交互作用，以及忽略在其他平面上的交互作用。
以這種方式，本發(fā)明檢測已經觸摸過虛擬輸入設備的對象。發(fā)生檢測相關的觸摸相關，然后本發(fā)明以二維在虛擬設備的平面上定位觸摸的位置。在優(yōu)選實施例中，定位事件可包括識別在虛擬計算機鍵盤或樂器鍵盤上的哪些虛擬鍵由用戶觸摸過。用戶可同時觸摸不至一個鍵，例如“shift”鍵和另一鍵。同時注意由本發(fā)明確定觸摸的時序。因此，如果用戶觸摸虛擬鍵“SHIFT”和“t”，然后是字母“h”和“e”，本發(fā)明將識別出正在輸入的是“T”，然后是“h”和“e”，或“The”，因此能在即使存在環(huán)境光的情況下完美地操作，假定用戶知道虛擬輸入設備的位置。
結構光和/或非結構光有源三角測量方法可用來確定用戶手和檢測平面間的接觸點(x，z)。由于OS和OS2間的基線距離B是已知的，在OS1、OS2和點(x，z)間形成三角形，其邊分別是B、從OS，OS2至(x，z)的投影射線R1和R2。OS1和OS2允許確定遠離基準面的三角形角度，以及由投影射線形成的角度α1和α2，以及三角法得出到表面點(x，z)的距離z以及投影射線的長度。
與本發(fā)明有關的處理器單元執(zhí)行軟件以識別用戶控制的對象與虛擬輸入設備的每次相交并由此確定適當?shù)挠脩粝胍妮斎霐?shù)據和/或命令，最好使用三角測量分析。然后通過本發(fā)明，將數(shù)據和/或命令輸出作為用于虛擬輸入設備的設備或系統(tǒng)的輸入。如果需要的話，本發(fā)明可在伴隨設備或系統(tǒng)中實現(xiàn)，特別是對于PDAs、移動電話以及通常缺少大的用戶輸入設備如鍵盤的其他小型設備或系統(tǒng)。
本發(fā)明的其他特點和優(yōu)點從下述描述將變得明白，其中已經結合它們的附圖闡述過優(yōu)選實施例。


圖1A根據本發(fā)明，描述用來檢測對虛擬輸入設備的用戶輸入的平面準三維檢測結構光源系統(tǒng)；圖1B根據本發(fā)明，描述用來檢測對虛擬輸入設備的用戶輸入的平面準三維檢測非結構化有源光源系統(tǒng)；圖1C根據本發(fā)明，描述用來檢測對虛擬輸入設備的用戶輸入的平面準三維檢測非結構化無源光源系統(tǒng)；圖2A根據本發(fā)明，描述與使用三角測量的位置確定有關的幾何結構；圖2B根據本發(fā)明，描述使用彼此分開的光發(fā)射器和反射器作為第一光學系統(tǒng)；圖3A-3E根據本發(fā)明，描述與改變OS2傳感器的方向、OS2鏡頭以及有效視場上的檢測平面以及圖象質量有關的設計折衷；圖4是根據本發(fā)明的實施例，描述由圖1B中的示例性系統(tǒng)中的處理器單元執(zhí)行的功能的框圖；圖5A根據本發(fā)明，描述虛擬設備具有5個用戶可選擇區(qū)域以及伴隨設備(companion device)是監(jiān)視器的實施例；圖5B根據本發(fā)明，描述虛擬設備是計算機鍵盤以及伴隨設備是可移動收發(fā)器的實施例；圖5C根據本發(fā)明，描述虛擬設備是安裝在墻上或在墻上凸出且伴隨設備是監(jiān)視器的實施例；圖6根據本發(fā)明，描述平面距離檢測；圖7根據本發(fā)明，描述用在示例性觸摸位置計算中的坐標距離測量，用在輸入相應的信息或數(shù)據或命令中；具體實施方式

圖1A描述準平面三維檢測系統(tǒng)10的優(yōu)選實施例，在結構光源系統(tǒng)實施例中，包括第一光學系統(tǒng)(OS1)20，發(fā)射平行于平面工作面40的光能的扇形射束平面30，在扇形射束平面30上定義了虛擬輸入設備50和/或50′和/或50″。最好，扇形射束定義扇形角Φ并與工作面分開小平衡(stand-off)距離ΔY。試圖觸摸工作面的任何對象(例如，用戶手指或鐵筆)必須首先接觸扇形射束，從而將被發(fā)射的光能照亮(可見或不可見)。盡管在圖1A中示出了水平放置扇形射束平面以及工作面平面40，但這兩個平面可以垂直或甚至以系統(tǒng)期望的任何其他角度來放置。注意，沒有限制，工作面40可是工作臺的一部分、臺面、交通工具的一部分，例如，飛機中的托盤、擋風玻璃或儀表板、墻、包括放映影象的顯示器、或如CRT、LCD等等的顯示器。如在此所使用的，應當將術語“平面”理解成包括全部平面的子集。例如，將扇形射束平面30稱為平面，即使它具有有限的寬度而且在所有方向中不是無限地擴展。
對“虛擬輸入設備”，它的意思是可將輸入設備的圖象呈現(xiàn)在工作面40上，可能通過放置含有印刷圖象的紙，或可能系統(tǒng)10將輸入設備的可視圖象投影在工作面上，或完全沒有無論如何在工作面40上可見的圖象。同樣地，虛擬輸入設備50、50′、50″不需要諸如工作按鍵的機械部件且不需要對手指或鐵筆的觸摸靈敏；簡單地說，虛擬輸入設備最好是無源的。
在圖1A的例子中，虛擬輸入設備50是可是原尺寸或由實際大小鍵盤放大或縮小的計算機型鍵盤。如果需要的話，虛擬輸入設備可包含或包括虛擬跟蹤球50′和/或虛擬觸摸鍵盤50″。當系統(tǒng)10與虛擬鍵盤輸入設備50，或虛擬跟蹤球50′或虛擬觸摸鍵盤50″一起使用時，約50°至90°的扇形角Φ，最好是約90°將確保扇形射束30以通常使用的距離包圍整個虛擬輸入設備。另外，對這種虛擬輸入設備，達到幾mm的平衡距離ΔY工作良好，最好是約1mm。
系統(tǒng)10還包括第二光學系統(tǒng)(OS2)60，通常是具有平面?zhèn)鞲衅鞯臄z象機，最好是與OS120分開放置且位于OS1之上，并且以約10°至約90°，并且最好是25°的角度θ朝工作面40和平面30傾斜。系統(tǒng)10還包括電子處理系統(tǒng)70，在其他任務中，監(jiān)視OS1和OS2。系統(tǒng)70最好包括至少一個中央處理單元(CPU)以及能包括只讀存儲器(ROM)以及隨機存取存儲器(RAM)的相關的存儲器。
在圖1A中，示出了系統(tǒng)10元件OS1 20、OS2 60以及處理單元70放置在設備80上或位于設備80中。設備80可是系統(tǒng)10的獨立實現(xiàn)或實際上是虛擬輸入設備50用來輸入數(shù)據或命令的系統(tǒng)或設備。在后一種情況下，設備80可是但不局限于計算機、PDA(如圖1A中所示)、移動電話、樂器等等。如果系統(tǒng)或設備80不受虛擬輸入設備的控制，受控的設備90可電耦合到系統(tǒng)/設備80以便從虛擬設備50接收數(shù)據和/或命令輸入。在虛擬設備是跟蹤球(或鼠標)50′或觸摸鍵盤50″的情況下，用戶與這些虛擬輸入設備50′或50″的交互作用可直接輸出由設備80使用的觸摸坐標(x，z)的原信息或數(shù)據。例如，用戶與虛擬輸入設備50′或50″的交互作用可在顯示器140上重新定位光標160，或者改變由設備80執(zhí)行的應用程序，或擬定所謂的數(shù)字標記180的位置，該位置沿用戶可能使用虛擬鼠標或跟蹤球50′或使用鐵筆120′和虛擬觸摸鍵盤50″“書寫”的位置。系統(tǒng)/設備90可通過媒介100電耦合到系統(tǒng)80，媒介100并無限制，可包括導線或無線的，或能是包括Internet的網絡。
在結構光源的實施例中，OS1 20在平行于x-z平面30的扇形射束30中發(fā)射光能。OS1可包括激光線發(fā)生器或LED線發(fā)生器，盡管其他光能源也可用于發(fā)射平面30。線發(fā)生器OS1如此稱謂是因為它發(fā)射光平面，當與第二平面交叉時，光平面照亮使OS的平面，使得OS2的平面視為第二平面上的線。例如，如果圓柱形對象與平面30交叉時，OS2將事件看作橢圓弧的照亮部分，橢圓弧的長寬比將由平面30和表面40上的OS2的距離而定。因此，除環(huán)境光外，由平面30上的橢圓弧的OS2的檢測表示觸摸事件，例如，對象如120R已經接觸或穿過平面30。盡管可使用各種光發(fā)射器，可使用波長在300nm至1000nm間也許3mW平均功率的激光二極管輸出。雖然也可使用環(huán)境光波長(例如，也許350nm至700nm)，如果沒有避開這些波長的話，沒有過濾或遮光器，會最小化環(huán)境光的影響。因此，可使用約600nm(可見紅光)至約1,000nm(遠紅外線)。輸出850nm波長光能的激光二極管將代表經濟發(fā)射器，盡管OS2最好包括過濾器以減小環(huán)境光的影響。
雖然在結構光實施例中OS1最好是固定的，但應當理解可通過機械掃描光能的單個發(fā)射線來限定扇形射束平面30以生成扇形射束30。如圖2B所示，OS1實際上可包括發(fā)射扇形射束的光能發(fā)射器20-A以及控制扇形射束30基本上平行于表面40的反射鏡20-B。對本發(fā)明來說，在結構光實施例中，由OS1 20發(fā)射的光能對人來說是可見的或不可見的。OS2 60最好包括攝象機系統(tǒng)，對由OS1 20發(fā)射的波長的光能起響應。對于“響應”，它的意思是OS2識別出由OS1發(fā)射的相同波長的能源，并且理想地，將不識別或響應實質上不同波長的能源。例如，OS2可包括過濾系統(tǒng)以便不檢測除由OS1發(fā)射以外的波長的光能，例如濾色鏡。
如果需要的話，通過在例如單元70的控制下，同時同步開和關OS1和OS2，可使OS2實質上僅對由OS1發(fā)射的光能起響應。OS1和OS2最好包括遮光器機構，如元件22所示，將以同步的方式功能性地打開和關閉。例如，通過想要的占空比，電子處理系統(tǒng)70可同步地接通OS1、OS2，或遮光器機構22持續(xù)時間周期t1，其中t1或許在約0.1ms至約35ms的范圍內，然后斷開Os1和OS2。如果需要的話，可在任何時間操作OS1，其中允許平面30僅在OS1 20前部的遮光器22打開時輻射。在各種遮光器結構中，同時開關的重復率最好在20Hz至大概300Hz的范圍內以便促進適當?shù)膸瑪?shù)據采集率。為守恒操作功率并降低計算開銷，大概30Hz至100Hz的重復率表示可接受的比率。當然，也可使用用于確保OS2實質上僅響應由OS1發(fā)射的光能的其他設備和方法。為便于描述，將遮光器22描述成機械元件，但實際上遮光器的概念應當是包括以多種方式的任何一種接通和斷開光源。
如果需要的話，可使用與本發(fā)明一起使用的光能源具有所謂的標記以便更好地從環(huán)境光能識別出這種能源。例如并且并不局限于，可以固定頻率調制這種光源以便與本發(fā)明一起使用的攝像機或其他傳感器單元能更容易識別這種能源同時由于缺少這種標記，能充分地抑制環(huán)境光能。簡單地說，標記技術如選擇用于光能的不同于環(huán)境光的波長、涉及光源和攝像機傳感器的同步操作的技術、以及調制或者標記光源能源均能提高由本發(fā)明獲得的信息的信號/噪間比。
注意，不要求工作面40可發(fā)射或不可發(fā)射關于由OS1發(fā)射的波長，因為扇形射束或者光能的其他發(fā)射不能到達表面本身。也注意最好虛擬輸入設備是完全無源的。因為設備50是無源的，能將其比例化到小于實際大小的設備，如果需要的話。另外，無源虛擬輸入設備的成本能為零，特別是如果“設備”只不過是一張含有實際輸入設備的印刷圖形圖象的紙的話。
在圖1A中，假定最初系統(tǒng)10的用戶不是與虛擬輸入設備極其接近。在結構光實施例中，盡管OS1可發(fā)射光能扇形射束平面30，OS2檢測不到任何東西，因為沒有對象與平面30交叉?，F(xiàn)在假定用戶的左或右手120L、120R的手指部分向下移動以便觸摸在虛擬輸入設備50上限定的工作面40的區(qū)域部分。另外，用戶控制的鐵筆120′部分110′可向下移動以觸摸工作面40的相關部分。在本發(fā)明的情況中，當請求將鍵盤事件發(fā)送到在伴隨設備或系統(tǒng)80或90，例如筆記本、PDA、移動電話、信息站設備、銷售點等等上運行的應用程序時，由與本發(fā)明有關的軟件來解釋觸摸。
在圖1A中當用戶手指向下移動并開始與光能平面30相交時，面對OS1的手指尖部分現(xiàn)在將反射光能130。OS2將檢測到至少一些反射的光能130，因為反射能源的波長與由OS1反射的能源相同，而且OS2對這種波長的能源起作用。因此，平面準三維檢測系統(tǒng)10檢測由用戶控制的對象(例如手指、鐵筆等等)的交互作用反射的光能，交互作用發(fā)生在由扇形射束平面30定義的感興趣的平面(plane ofinterest)處。在任何其他平面上可發(fā)生的交互作用被視為不相關且可被本發(fā)明忽略。
因此，直到諸如用戶手指或可能鐵筆部分的對象與由OS1 20發(fā)射的光能平面30相交為止，將沒有反射光能130用來OS2 60檢測。在這種情況下，系統(tǒng)10知道當前沒有用戶輸入。然而，一旦穿過光能平面，OS2 60就能檢測到穿過的對象(例如，手指尖、鐵筆尖等等)的交互作用，以及可由與系統(tǒng)10有關的處理單元70確定穿過的位置(x，z)。在圖1A中，如果用戶左食指正觸摸在定義為坐標(x7，z3)的虛擬輸入設備50部分上，那么與本發(fā)明有關的軟件能確定已經“按壓”字母“t”。由于沒有同時按“換檔鍵”，因此按壓的字母將被理解為小寫“t”。
在所示的實施例中，系統(tǒng)10可生成表示用戶將在實際鍵盤上輸入的數(shù)據和/或命令的鍵擊并輸入到系統(tǒng)80或90中。這種對系統(tǒng)80或90的輸入可用來在顯示器150上顯示信息140，當用戶在虛擬輸入設備50上輸入信息時。如果需要的話，可實現(xiàn)放大的光標區(qū)160以提供另外的可視輸入以幫助輸入信息的用戶。如果需要的話，處理單元70可使系統(tǒng)80和/或90發(fā)射可聽的反饋以幫助用戶，例如，與在虛擬輸入設備50上按下的虛擬鍵一致的電鍵聲170。應當理解如果系統(tǒng)80或90是樂器而不是計算機或PDA或移動電話的話，將發(fā)射音樂聲170，并且虛擬輸入設備50可另外具有與合成音樂發(fā)生器有關的琴鍵類似的結構。
圖1B描述非結構有源光系統(tǒng)10，其中在第一光學系統(tǒng)OS1中的攝像機20′定義感光趣的平面30′，該平面30′實際上代替由圖1A的實施例中的光發(fā)射器OS1定義的平面30。攝像機20′OS1最好與攝像機60 OS2類似，可與圖1A的實施例中的攝像機60 OS2類似。例如，OS1 20′可具有傳感器陣列，包含至少一條線并且最好是若干線的象素檢測器元件。圖1B的實施例是有源的，因為放置在OS1 20′和OS260中間的一個或多個光源190產生可由攝像機OS1 20′和攝像機OS260檢測的波長的光能。為減小攝像機OS1和OS2檢測時環(huán)境光的影響，最好通過例如單元70使最好每個攝像機以及每個光能發(fā)射器190與遮光器機構協(xié)同同步操作。因此，在遮光器22允許來自發(fā)射器190的光能輻射到虛擬輸入設備50、50′、50″的時間期間，類似的遮光器22將允許攝像機OS1和OS2檢測光能。由OS1和OS2檢測用戶-對象，例如120L與平面30′的交互作用。然后使用例如在此稍后所述的三角測量方法，來計算相交點的位置。
在圖1B中，示出了用戶-對象120L的接觸點110附近的工作面40的平面中的連續(xù)沖擊或不規(guī)則性。存在第二攝像機OS1 20′的好處在于可能通過單元70選擇感光趣的平面30′以便正好位于工作面40的最不規(guī)則部分上。如果在圖1A的實施例中在工作面40中存在不規(guī)則性，將有必要相對于工作面稍微重新定位激光面30。但在圖1B中，簡單地通過從具有OS1 20′的檢測器陣列選擇適當?shù)南笏鼐€，則可電子地獲得這種重新定位的效果。
注意圖1B的結構本身適用于各處方法來提高信號/噪聲比。例如，遮光器22能允許攝像機OC1和OS2在通過例如控制單元70斷開發(fā)射器190的時間期間收集圖象數(shù)據。然后由OS1和/或OS2采集的任何圖象數(shù)據將表示由環(huán)境光引起的背景噪聲。(同樣，應當理解為最小化環(huán)境光的影響，發(fā)射器190以及攝像機OS1、OS2最好以從環(huán)境光去除的波長狀態(tài)操作)。可將已經采集的數(shù)據稱為背景噪聲信號，攝像機OS1和OS2現(xiàn)在可正常操作并與發(fā)射器190同步。由與發(fā)射器190同步的攝像機OS1和OS2采集的圖象數(shù)據將包括實際數(shù)據如用戶-對象與平面30′的交互作用，加上由于環(huán)境光而導致的任何(期望的)結果。然后處理器70(或另一單元)可動態(tài)地將背景噪聲信號從實際數(shù)據加上噪聲信號中去除，以得出實際的數(shù)據信號，從而提高信號/噪聲比。
圖1C描述本發(fā)明的非結構無源實施例。圖1C中的系統(tǒng)是無源的，因為存在的任何環(huán)境光源195提供在成象過程中使用的光能。與圖1B的系統(tǒng)10類似，OS1是定義感興趣的平面30′的攝像機20′以及OS2是攝像機60。通常，將平面30′定義成工作面40上的距離ΔY′，通常是幾mm的距離。用戶-對象與平面30′的交互作用由OS1和OS2使用來自環(huán)境光源195的光能檢測。然后可使用三角測量方法來定位與平面30′的交互作用或交叉點，如本文中別處所述。
圖2A描述幾何結構，通過該幾何結構，可使用三角測量來確定用戶手指或對象120R以及平面30間的交點的位置(x，z)。圖2A和圖2B可用來描述圖1A-1C所示的各種實施例的分析。
如在此所使用的，三角測量通過由投影光線如兩個光學系統(tǒng)如OS1 20、OS2 60的R1、R2形成的三角形的幾何分析，幫助確定感興趣視場內表面的形狀?；€B表示連接兩個光學系統(tǒng)OS1、OS2的投影中心的已知長度的線。對感興趣視場中可視面上的點(x，z)，可用點的位置和OS1及OS2的位置來定義三角形。三角形的三個邊是B、R1和R2。OS1和OS2可確定三角形到基準面的角距離，以及由投影光線形成的角度α1和α2，投影光線將表面點與兩個光學系統(tǒng)的投影中心連接起來。角度α1和α2以及基線B完全確定三角形的形狀。能使用簡單的三角法來得出到表面點(x，z)的距離以及投影光線R1和/或R2的長度。
不需要以單個單元實現(xiàn)OS 120。例如，圖2B描述結構化光實施例，其中第一光學系統(tǒng)分成兩部分一個部分OS1-A 20-A是與OS2和OS1-B 20-B相距距離B放置的光發(fā)射器，光反射設備諸如反射鏡。由OS1-A生成的入射扇形射束由反射鏡20-B偏轉以形成平面30。在圖2B的方向中，相對于水平面傾斜反射鏡20-B約45°，以及從實質上垂直的平面偏轉到實質上水平的平面。在圖2B以及真正的無源光實施例中，OS2 60將是針對通常朝向感興趣的視場的角度Φ的攝像機，即其中用戶手指或鐵筆將使用放置在扇形表面30下的虛擬輸入設備。
根據本發(fā)明的三角測量最好使用具有如OS2 60的平面?zhèn)鞲衅鞯臉藴蕯z像機。OS1 20的特性區(qū)分兩種相當寬的三角測量。在結構光三角測量中，OS1 20通常是其光束可是單線形狀的激光器等等，移動光束以便將移動點投影在表面上。另外，激光束可是平面的并移動來投影平面曲線。如所提到的，另一種三角測量系統(tǒng)可稱為無源三角測量，其中將攝像機用作OS1 20。結構光系統(tǒng)傾向于更復雜以便構成并消費更多的操作功率，因為需要投影光平面。無源系統(tǒng)很低廉，并消費較少的功率。然而，無源系統(tǒng)必須解決所謂的對應問題，例如，確定兩個圖象中的哪對點是真實世界中的相同點的投影。如將描述的，根據本發(fā)明，可使用無源非結構光三角測量實施例。
不管將系統(tǒng)10實現(xiàn)為其中OS1有源發(fā)射光以及OS2是攝像機的結構光系統(tǒng)，還是按其中OS1和OS2均是攝像機的無源系統(tǒng)來實現(xiàn)，都將把來自OS2和OS1的信息耦合到處理單元，例如70上，處理單元能確定正發(fā)生什么事件。在另一實施例中，當對象如120R和與OS120有關的投影面30交叉時，可檢測交叉。在結構光實施例中，其中OS1發(fā)射光能，由從相交對象120R反射的光能表示交叉并由通常為攝像機的OS2檢測。在無源光實施例中，由OS1、攝像機察看交叉同時由OS2、攝像機察看。在每個實施例中，檢測與平面30的交叉，就象在(x，z)平面交叉下的表面40的區(qū)域被對象120R觸摸過一樣。系統(tǒng)10最好包括計算系統(tǒng)70，從OS1、OS2接收數(shù)據并使用幾何結構來從結構光實施例中的反射圖象坐標，或從無源系統(tǒng)中的攝像機圖象坐標確定平面交叉位置(x，z)。同樣地，從而可實現(xiàn)檢測初始和連續(xù)接觸以及穿透平面30(例如，觸摸事件)以及確定平面上交叉點坐標位置的雙重任務。
至此總之，當OS1識別出平面30與闖入對象如120R的交叉，檢測并說明觸摸事件。在兩個攝像機的系統(tǒng)中，建立來自OS1的感知的圖象與來自OS2的感知的圖象間的對應關系。此后，將OS2攝像機坐標轉換成觸摸區(qū)(x軸，z軸)坐標以定位平面30中感興趣的區(qū)域內事件的(x，z)坐標位置。最好，由處理單元70執(zhí)行這些變換，處理單元執(zhí)行算法來從對OS2可見的點的圖象坐標計算平面30中交叉位置。另外，無源光系統(tǒng)必須將闖入對象與來自OS1和OS2的圖象中的背景區(qū)分開來。在系統(tǒng)10是無源光系統(tǒng)的情況下，需要建立來自攝像機OS1和來自攝像機OS2的圖象間的對應關系。在系統(tǒng)10是結構光系統(tǒng)的情況下，希望最小化來自環(huán)境光的干擾。
現(xiàn)在考慮計平面30上(x，z)交叉點或尖端位置。在透視投影中，通過稱為單應的變換將世界上的平面及其圖象關聯(lián)。使該平面上的點(x，z)用列向量P＝(X，Z，1)T表示，其中上標T表示對換。同樣地，使相應圖象點用P＝(x，z，1)T表示。
然后，單應是線性變換P＝Hp，其中H是3×3矩陣。
可用校準程序找出該單應矩陣。由于將傳感器建立在表面上，相對于表面的傳感器位置是恒定的，以及校準程序僅需要執(zhí)行一次。對于校準，將已知行距的網格放在其上放置傳感器的平面上。在圖象中測量與網格頂點P1對應的圖象點的坐標pi。可使用直接線性變換(DLT)算法來確定單應矩陣H。這種DLT變換在本領域是公知的，參見例如Richard Hartley以及Andrew Zisserman.，名為MultipleView Geometry in Computer Vision，Cambridge University Press，Cambridge，UK，2000。
只要H是已知的，那么與圖象中的點p一致的表面點P可通過上述矩陣矢量乘法直接計算出來。最好這種計算由系統(tǒng)70執(zhí)行。
現(xiàn)在將描述用于無源光實施例的圖象對應關系。攝像機OS1 20和OS2 60察看空間中相同的平面。結果，來自OS1的行掃描攝像機圖象以及來自OS2的攝像機圖象間的映射本身將是單應的。這與上面描述過的關于尖端相交位置的計算，OS2攝像機圖象以及平面30觸摸表面間的映射類似。因此類似的程序可用來計算該映射。
注意由于行掃描攝像機OS1 20實質上察看或掠過折疊成單線的觸摸表面，兩個圖象間的單應是退化。對每個OS2攝像機點，有一個OS1行掃描圖象點，但對每個OS1行掃描圖象點，有OS2攝像機點的全部線。由于這種退化，將修改上述DLT算法以得出點對線的對應關系。
通過定義，本發(fā)明的無源光實施例在環(huán)境光上沒有控制，以及能要求將闖入的交叉對象或尖端與一般背景區(qū)分開來。簡單地說，如何斷定OS1圖象或OS2中的具體圖象象素表示對象z如120R上的點的圖象，還是一般背景中的點，現(xiàn)在將描述可由系統(tǒng)70執(zhí)行的算法。
最初，假定僅具有看得見的平面30的觸摸表面部分的一個或多個背景圖象I1，...，In。假定攝像機OS1和OS2能對顏色起響應，并使Rbi(x，z)、Gbi(x，z)、Bbi(x，z)為在象素位置(x，z)的背景圖象亮度的紅、綠以及藍分量。使Sb(x，z)為所有圖象上Rbi(x，z)、Gbi(x，z)、Bbi(x，z)的總和。例如，Sb(x，z)可以是具有平均值、中間值或可能標準化以降低圖象亮度方面的變化的所有背景圖象I1，...，In上象素位置(x，z)處Rbi(x，z)、Gbi(x，z)、Bbi(x，z)的統(tǒng)計數(shù)。
接著，收集用于新的圖象序列J1，...，Jm上尖端象素的類似總和St。該第二總和是單個矢量，而不是關于Sb(x，z)的矢量圖象。換句話說，St不依賴于象素位置(x，z)?？赏ㄟ^例如要求用戶將手指尖或鐵筆放在表面的敏感區(qū)中、并僅記錄在其顏色非常不同于在(x，z)處背景總和Sb(x，z)的象素位置(x，z)處的值、并計算j，x，z的所有值上的統(tǒng)計來計算該新的總和。
然后，假定具有顏色分量c(x，z)＝(R(x，z)，G(x，z)，B(x，z)的新圖象)，通過適當?shù)呐袆e規(guī)則，將在(x，z)的具體象素歸因于尖端或背景。例如，可定義三個矢量間的距離d(c1，c2)(Euclidan距離是一個例子)，以及基于下述示例規(guī)則分配象素背景 如果 d(c(x，z)，Sb(x，z))＜＜d(c(x，z)，st)尖頭 如果 d(c(x，z)，Sb(x，z))＞＞d(c(x，z)，st)未知 其它現(xiàn)在將描述用于降低環(huán)境光干擾，特別是用于結構光三角測量實施例的技術。在這種實施例中，OS2需要區(qū)分環(huán)境光和由線發(fā)生器產生的并由闖入對象再反射回來的光。
使用第一種方法，OS1在例如，在近紅外區(qū)中的其中環(huán)境光具有較小的功率的光譜區(qū)域中發(fā)射能源。在攝像機OS2上的紅外過濾器能確保由OS2傳感器檢測到的光主要從對象(例如，120R)發(fā)射到攝像機OS2的鏡頭中。
在第二種方法中，OS1在光譜的可見部分中操作，但比環(huán)境光要亮得多。盡管原則上這可通過任何顏色的光源來實現(xiàn)，但對室內應用，它可用來看見用于OS1(500nm至550nm)的藍-綠光源，因為標準的熒光燈在該波段具有相對低的發(fā)射。最好，OS2將包含匹配的過濾器以確保充分衰減對其他波長的響應。
減小環(huán)境光影響的第三種方法將標準的可見激光源用作OS1，以及將彩色攝像機傳感器用作OS2。該方法使用如上所述的相同的背景減算法。使用與上相同的術語學來定義下述組合。
C(x，z)＝min{d(c(x，z)，sb(x，z))，d(c(x，z)，st)}當c(x，z)等于代表的對象尖總和St(由于d(st，st)＝0)以及對于背景圖象Sb(x，z)(因為d(Sb(x，z)，Sb(x，z)＝0)時，該組合正好為零，以及對其他對象尖圖象行距以及對背景的可見部分，該組合將接近于0。換句話說，對象尖和背景在圖象C(x，z)中很難看見。通過比較，在來自激光發(fā)射器OS1的投影面30與對象尖120R相交的位置，項d(c(x，z))將是較大的非零值，反過來獲得用于C(x，z)的相當大的非零值。該方法學實現(xiàn)期望的基本上只識別由激光(或其他發(fā)射器)OS1)照亮的對象尖象素的目的?？筛淖冊摲椒ㄒ员憷貌煌伾墓獍l(fā)射器，以便使用用于距離d的其他距離定義，以及以便使用不同總和Sb(x，z)和St。
在圖1A中，如果設備80是諸如PDA或移動電話的袖珍系統(tǒng)，就特別需要來降低需要來實現(xiàn)本發(fā)明的大小。如果如圖1A-1C、2A、2B所示，將OS2相對于平面30或表面40傾斜某一角度θ，能產生較小的總體構成事實。但是當角度θ減小時，攝像機OS2從更窄的角度察看平面30。對用于平面30的敏感區(qū)的固定大小，即，由用戶對象“觸摸”以操縱下面的虛擬輸入設備的表面矩形，當距離B和角度θ減小時，由視場對著的有效面積減小。該結果是減小有效的OS2分辨率，從而減小z深度測量的準確性，如圖3A所示，其中L表示與OS2有關的攝像機鏡頭，其象素檢測器的平面如用OS2標記的直線所示。
如圖3A中提到的，將OS2移動到更靠近平面30導致更窄的視點以及更小和、更不準確感知的攝像機圖象。這些不利的副作用可通過傾斜攝像機OS2中的象素檢測器的平面、真正傾斜使其幾乎平行于平面30來減小，如圖3B所示。通過圖3B的傾斜結構，注意實質上更多的圖象掃描線與來自平面30上的敏感區(qū)的射線的錐形部分交叉，這相應地增加了深度分辨率。例如，將圖3A中相對小的距離Dx與圖3B中較大的距離Dx′進行比較，表示現(xiàn)在正在使用更多的圖象掃描線。另外，當OS2攝像機傳感器平面更平行于觸摸面的平面或平面30時，導致較少的觸摸面圖象失真。這意味著觸摸面(或平面30)上的平行線在OS2攝像機圖象中仍然平行。優(yōu)點是簡化對仿射變換(移動和比例化)的單應H。另外，使得在感興趣的視場內的整個敏感區(qū)上的圖象分辨率更一致。
現(xiàn)在考慮圖3C的結構。在平面30上感興趣的觸摸敏感區(qū)上的不同點處于與攝像機OS2的鏡頭L不同的距離是顯而易見的。這意味著如果鏡頭L如圖3A或圖3B所示定位的話，則不能精確地集中于感興趣的整個敏感區(qū)。雖然關閉攝像機光圈能增加視野的深度，合成圖象將變得更模糊，并且將減小圖象的信號/噪聲比。
因此，可采用圖3C的結構，其中相對于圖3B重新定位透鏡L。在該結構中，假定觸摸表面30、攝像機OS2傳感器、以及攝像機鏡頭L均滿足所謂的scheimpflug條件，其中它們的各自的平面沿公共線、在圖3C中無限遠距離處的線交叉。另外，關于scheimpflug條件的詳細情況可在The Optical Society of America、Handbook ofOptics，Michael Bass，Editor in Chief，McGraw-Hill，Inc.，1995中找到。在圖3C中，當相關的光學系統(tǒng)滿足該條件時，在觸摸表面30上的所有點將焦點對準。因此，通過使用適當?shù)膬A斜傳感器OS2，滿足Scheimpflug條件的適當定位的鏡頭S、由表平面30上感興趣的點的OS2所見的圖象將焦點對準，并且顯示出高分辨率以及較小失真。但滿足Scheimpflug條件將導致?lián)p失圖象亮度，因為當從平面30上的敏感區(qū)的中心看時，鏡頭對著的角度相對于圖3B的結構被減小。因此，最好，可在某些應用中，通過將OS2攝像機鏡頭放在圖3B和圖3C的OS2攝像機鏡頭中間的方位中來實現(xiàn)焦點的銳度與圖象亮度間的平衡。圖3D描述一種這樣的中間結構，其中相對于OS2的平面30，故意將鏡頭L稍微遠離滿足Scheimpflug的方向。
這種中間方位不滿足Scheimpflug條件，但通過更小的角度并因此仍然顯示出比鏡頭軸點直接對著平面3的敏感區(qū)的中心的結構更好的聚集。圖3E描述另一種中間結構，其中精確地驗證Scheimpflug條件，但傾斜攝像機傳感器OS2使其遠離水平方向。圖3E的結構能實現(xiàn)精確的聚集但具有稍微低一些的圖象分辨率并且比圖3C的結構具有更大的失真。
圖4是描述系統(tǒng)10中處理器單元70的操作部分的框圖，處理器單元最好執(zhí)行各種三角測量以及在此描述的其他計算以檢測和識別與感興趣的平面30的(x，z)截距。如圖4的左邊部分，分別將來自OS1 20和OS2 30的信息輸入到象素圖200-1、200-2中。在圖4中，根據本發(fā)明，OS1和OS2輸入指的是由平面距離傳感器系統(tǒng)10中的光學系統(tǒng)1(20)以及光學系統(tǒng)2(60)生成的數(shù)字化圖象幀流。在優(yōu)選實施例中，光學系統(tǒng)每秒生成至少約30幀(fps)。需要較高的幀頻，因為在30fps，用戶手指或鐵筆尖能移動幾個象素同時在兩幀之間在虛擬輸入設備上“健入”。象素圖模塊200-1、200-2在與計算單元70有關的存儲器中處理來自OS1和OS2的數(shù)字幀。合成器模塊210確保兩個光學系統(tǒng)在大約相同的時間產生數(shù)字化圖象幀。如果需要的話，可實現(xiàn)雙緩沖系統(tǒng)以允許在構成一幀的同時由其他模塊(及時)處理在前幀。當手指尖或鐵筆的輪廓出現(xiàn)在選定的幀行中時，觸摸檢測模塊220檢測觸摸(例如，用戶手指或鐵筆與由OS1感測到的光平面的交叉點)。當檢測到觸摸時，尖端檢測模塊230將相應的手指尖的輪廓記錄到適當?shù)南笏貓D200-1或200-2中。在圖4中，在結構光實施例中，其中OS1是光束發(fā)生器，不產生象素圖，以及觸摸檢測將使用來自OS2的輸入而不是OS1的。
當報告不自觸摸檢測模塊220的觸摸時，觸摸位置模塊240使用來自尖端檢測模塊230的尖端象素坐標以找到觸摸表面上觸摸的(x，z)坐標。如所提到的，在結構光實施例中，觸摸相當于穿透與光發(fā)射器OS1有關的平面，以及在無源光實施例中，相當于穿透與攝像機Os1的視圖平面有關的平面。在本文的別處描述將象素坐標轉換成X-Z觸摸位置的數(shù)學方法。
鍵識別模塊260使用觸摸的X-Z位置并使用最好存在與計算單元70有關的存儲器中的鍵盤布局表250映射位置以便鍵識別。鍵盤布局表250通常相對于零原點定義每個鍵的上/下/左和右坐標。同樣，鍵識別模塊260的功能是執(zhí)行表250的搜索并確定哪個鍵包含觸摸點的(x，z)坐標。當識別出觸摸過的(虛擬)鍵時，變換模塊270將鍵映射到預定的KEYCODE值。將該KEYCODE值輸出并傳送給正伴隨設備或系統(tǒng)80上執(zhí)行的應用程序(正在伴隨設備上執(zhí)行)，應用程序正在等待接收鍵入事件的通知。正在執(zhí)行的應用程序解釋擊鍵事件并賦予其含義。例如，文本輸入應用程序使用該值來確定輸入了什么符號。電子琴應用程序確定按下了什么音符并演奏那個音符等等。
另外，如圖4所示，可直接將X-Z觸摸坐標傳送給應用程序280。在虛擬鼠標或虛擬跟蹤球的初稿例中，應用程序280使用坐標數(shù)據來控制顯示器上光標的位置，或在虛擬筆或虛擬鐵筆的實施例中，用來控制數(shù)字標記源，對制圖或手寫輸入應用程序，在顯示器上顯示其軌跡。
圖5A是簡化的系統(tǒng)10的圖，其中虛擬設備50現(xiàn)在用5個區(qū)域控制，以及其中伴隨設備80、90包括監(jiān)視器。在該實施例中，所示的伴隨設備80或90具有顯示器150，顯示器150可包括圖標140，其中一個圖標由光標310包圍以及用戶能使用虛擬設備50′移動，在此虛擬設備50′為虛擬跟蹤球或鼠標。例如，在虛擬設備50′中，如果用戶手120的(或鐵筆)部分按壓虛擬區(qū)300-1，將命令在伴隨設備80工中顯示的光標310向左移動。如果按壓虛擬區(qū)300-2，光標應當向右移動，例如，選擇一塊面包的圖標，以及如果按壓虛擬區(qū)300-4，光標應當移向在設備80、90上的顯示器的底部。如果用戶按壓第五區(qū)300-5，“翹拇指”區(qū)域，伴隨設備80或90知道現(xiàn)在結束用戶選擇。在圖5A中，如果用戶現(xiàn)在按壓區(qū)域300-5，選擇“熱狗”圖標。如果設備80、90是在超級市場中的信息站，例如，選擇“熱狗”圖標將使顯示器顯示在市場中何處可找到熱狗，或正出售的各種商標的熱狗的價格，或設備80、90可甚至分發(fā)熱狗。如果設備80、90用在運輸配置中，圖標(或字)可是各種目的地，以及設備80或90可表示路線、時間表以及對目的地的費用，甚至可分發(fā)用于汽車、地鐵、飛機、船等等的車票。例如，用戶能按壓表示行程起點和行程目的地點的輸入設備50′的兩個區(qū)，據此，系統(tǒng)10能使顯示器顯示適當?shù)倪\輸車輛、時間表、費用等等，以及如果需要的話，打印出來。將意識到由系統(tǒng)10生成的信息可簡單的是由伴隨設備執(zhí)行的軟件應用程序用來重新定位顯示器上的光標或其他信息的原始(x，z)坐標。
在圖5A中將理解到虛擬設備50′是無源的；其輪廓可是印刷或涂在下面的工作面上，或可能其輪廓可由系統(tǒng)10投影。虛擬設備50中的感興趣的各種區(qū)可根據相對于x-z平面的坐標識別?？紤]下面表1中的信息，其對應于圖4中的鍵盤布局250中的信息。
表1 當用戶手指(或鐵筆)觸摸虛擬輸入設備50的區(qū)域時，觸摸位置模塊240(見圖4)確定觸摸點的(x，z)坐標。在圖5中，觸摸點110位于“B”區(qū)300-4中。在如表1所示的例子中，鍵識別模塊260使用鍵盤布局250信息來確定在相關(x，z)平面中，何處產生觸摸點坐標。通過例子，假定觸摸坐標(x，z)為(1.5，0.5)。最好存儲在與單元70有關的存儲器(見圖1A)中并由單元70執(zhí)行的搜索例程確定1＜x＜2以及-1＜z＜1。搜索表1中的信息，鍵識別模塊將確定觸摸點110是否落在記錄中。在該例子中，伴隨設備80和90從通知已經觸摸過區(qū)域B的系統(tǒng)10接收數(shù)據。系統(tǒng)10中的處理器單元能使伴隨設備接收可能需要來執(zhí)行與事件，例如，在顯示器上向下移動光標有關的任何的其他信息。
圖5B描述與圖1A所示的類似的系統(tǒng)10的實施例。在圖5B中，虛擬輸入設備50是計算機鍵盤以及伴隨設備80、90是例如移動收發(fā)器、移動電話。將理解到系統(tǒng)10實際上能在設備80、90內實現(xiàn)。同樣地，OS1可從設備80、90的下面部分發(fā)射扇形射束30，以及OS2可放置在同樣的設備的上面部分。如果需要的話，可從設備80、90任何投影虛擬輸入設備50。另外，虛擬輸入設備50可印刷在可折疊的襯底例如塑料、紙等等，其能保留在設備80、90中，然后去除或展開或鋪開并放在設備80、90的前端的平的工作面上。在設備80、90的前部的虛擬輸入設備50的位置可是OS1能發(fā)射包圍虛擬輸入設備的扇形射束30以及OS2能檢測對象，例如用戶手指或光標等等與覆蓋在虛擬輸入設備50中的任何感興趣區(qū)的扇形射束中的位置的交點110。
在圖5B中，OS2將不檢測反射的光能直到對象120R與扇形射束130相交為止，因此，將反射(130)由OS1發(fā)射的一些光能并將由OS2檢測。相對于圖1A中所示的系統(tǒng)的(x，z)坐標，交叉點110約為位置(13，5)。參考圖4，將理解到鍵盤布局表250將具有至少一條用于虛擬輸入設備50上定義的每個虛擬鍵，如“1”、“2”，...，“Q”、“W”...“SHIFT”的記錄。最好通過單元70執(zhí)行與參考圖5A描述的類似的記錄搜索過程并能識別在觸摸點110下的相關虛擬鍵。在圖5B中，相關鍵是“1”，在顯示器150上顯示的字母“1”作為正由用戶的手120R(或通過鐵筆)部分輸入到移動電話0、90中的e-mail消息正文140部分。與使用移動電話鍵盤費力地輸入消息相比，使用虛擬鍵盤50將提高快速將消息盲打到移動電話80、90中的能力。
在圖5C中，示出了系統(tǒng)10的實施例，其中工作間40是垂直墻，可能在商店或商場中，以及虛擬輸入設備也是垂直放置。在該實施例中，所示的虛擬輸入設備50具有幾個圖標和/或字320，當由用戶的手120，例如在觸摸點110上觸摸時，將使適當?shù)奈谋净?或圖形圖象140出現(xiàn)在伴隨設備80、90中的顯示器150上。在所示的例子中，圖標320可表示商店中的位置或部門，以及響應圖標區(qū)的用戶觸摸，顯示器150將交互式地提供另外的信息。在商場中，各種圖標可表示整個商店或部分或商店內的區(qū)域等等。最好如參考圖3A和3B的實施例所述，執(zhí)行諸如110的觸摸點的檢測和定位。最好，系統(tǒng)10內的處理器單元70執(zhí)行存儲在或下載到處理器單元70中的軟件以確定已經觸摸過虛擬輸入設備50的什么圖標或文本部分，以及應當將什么命令和/或數(shù)據傳送到主機系統(tǒng)80、90中。
在圖5C的實施例中，如果虛擬輸入設備50適用于頻繁改變，例如，可能是飯店中的菜單，其中顯示器150可提供詳細的信息如卡路里、調味器含量等等，設備50可是從墻40內向后凸出。理解到如果各個圖標320的布局和位置改變，存儲在系統(tǒng)10的單元70內的映射信息也將改變。快速改變虛擬輸入設備的屬性以及內容而不需要鎖定為在固定的位置中具有固定大小的圖標的能力非常有用。如果需要的話，在設備50上可真正固定一些圖標的大小和位置，它們的通過用戶觸摸可用來選擇重新映射在輸入設備50上顯示的東西以及通過單元70內的軟件來映射。應當理解除簡單地顯示可包括廣告的信息外，伴隨設備80、90可用來向用戶發(fā)行宣傳性贈券330。
現(xiàn)在轉到圖6，在某種程度上，根據系統(tǒng)10是結構光系統(tǒng)還是無源光系統(tǒng)，由系統(tǒng)確定登記觸摸事件以及定位其位置的方式。如前面所提到的，在結構光系統(tǒng)中，OS1可是線發(fā)生激光系統(tǒng)，以及在無源光系統(tǒng)中，OS1可是數(shù)字攝像機。每個系統(tǒng)定義平面30，當與120R的對象相交時，平面30將定義以后將確定其(x，z)坐標的觸摸事件。只要確定虛擬觸摸的(x，z)坐標，本發(fā)明能確定使用該系統(tǒng)，該個人打算什么輸入或命令。這種輸入或命令可傳遞到伴隨設備，該設備實際上也可嵌入本發(fā)明。
如果系統(tǒng)10是無源光系統(tǒng)，當手指尖的輪廓出現(xiàn)在選定的OS1，數(shù)字攝像機的幀行中時，登記觸摸事件。當在OS1中檢測到觸摸時，通過OS2中相應的對象尖端(例如，120R)的象素位置確定觸摸的(x，z)平面30位置。如圖6所示，從攝像機OS1到觸摸點的范圍或距離是來自象素幀的“近”端的象素的數(shù)量的仿射函數(shù)。
如所提到的，在結構光實施例中，OS1將通常是激光線發(fā)生器，以及OS2將為主要對由OS1發(fā)射的光能的波長敏感的攝像機。如所提到的，這可通過將窄波段光過濾器安裝在OS2上以便僅與由OS1發(fā)射的波長一致的波長能通過來實現(xiàn)。另外，可將OS2理解成包括與OS1的脈沖輸出同步打開和關閉的遮光器，例如，OS2能僅在OS1發(fā)射光能時察看光能。在結構光系統(tǒng)的實施例中，OS2最好將僅檢測與平面30相關的對象并因此反射由OS1發(fā)射的能源。
在上述情況下，由系統(tǒng)10執(zhí)行觸覺檢測和距離計算。因此，當對象的輪廓如手指尖120R出現(xiàn)在OS2的察看范圍內時，記錄觸摸事件。如在上述例子中，可按來自象素幀的“近”端的象素的數(shù)量的仿射函數(shù)計算距離。
現(xiàn)在將給出由本發(fā)明執(zhí)行的圖4中的分析步驟的另一個例子。假定虛擬輸入設備5O是鍵盤，如圖1A中所述，以及希望系統(tǒng)10輸出由至少與用戶在虛擬鍵盤50上“觸摸”過的虛擬鍵對應的掃描碼組成的信息。在圖1A和圖2A中，假定上面部分(例如，具有虛擬鍵“ESC”、“F1”、“F2”等等的行)與光學系統(tǒng)OS1 20相距約20cm。假定攝像機OS2 60安裝在PDA或高約10cm的其他設備80上，以及以相對于平面30的已知角α1＝120°來放置。同時假定攝像機OS2 60具有焦距為4mm的鏡頭，以及按480行和640列排列的攝像機傳感器。
按照慣例，將虛擬鍵盤50的左上角的Z坐標設置為x＝0以及z＝0，例如(0，0)。將圖象中的點映射到虛擬設備上的點的單應性取決于攝像機OS2 60的傾斜。用于上述結構的示例性單應性矩陣如下H=0.133-0.06132.9-0.1940.015.10.00.01.0]]>上述矩陣最好在校準過程期間僅需要確定一次，如本文別外所述。
現(xiàn)在參考圖1A和圖7，假定用戶120L觸摸與字母“T”一致的虛擬鍵盤50的區(qū)域，字母“T”可印刷在襯底上以引導用戶手指或可是可能由系統(tǒng)10投影的虛擬輸入設備的圖象部分。使用如上定義的坐標系統(tǒng)，鍵“T”可假定為位于水平坐標Xmin＝10.5以及Xmax＝12.4cm之間以及位于垂直坐標Zmin＝1.9和Zmax＝3.8cm之間，如圖7所示。
現(xiàn)在參考圖6，在用戶手指120L(或鐵筆)與傳感器OS1 20的平面相交前，后者檢測到沒有光，以及察看由黑色象素組成的圖象，如圖底部處的暈影(vignette)340所示。然而，只要用戶-對象與光平面30相交，相交事件或界面變?yōu)閷S1 20來說可視。OS1 20現(xiàn)在產生與在圖6的底部暈影350中所述的類似的圖象。當用戶對象(如手指120L)的向下移動尖端110到達表面40，手指變得更可視?，F(xiàn)在可通過例如單元70使用邊緣檢測來確定手指輪廓。這種確定在圖6的底部描述為“觸摸”事件暈影360。然后圖4中的觸摸檢測模塊220確定用戶對象已經觸摸過表面40，并將該發(fā)生的事件通知尖端檢測模塊230。
如圖1中所看到的，在虛擬鍵盤50的第二行中找到虛擬“T”鍵，因此相當接近于傳感器0S1 20。在圖6中，該位置與位置110′中的手指尖一致。如圖6中進一步所示，在光學系統(tǒng)O82 60的傳感器上的手指尖位置110′的底部投影相對接近于圖象的頂部。因此產生的手指尖圖象的邊緣與在圖6的頂部的暈影370中所示的類似。在暈影370中，所示的兩個灰色方形表示手指尖的底部邊緣象素。
使用戶代替擊非常接近于虛擬鍵盤50的底部的空格鍵或一些其他鍵，即，更遠離傳感器OS1 20，由圖6中的手指尖位置110所述的位置將出現(xiàn)。將虛擬鍵盤上相對遠的位置映射到更接近于圖象的底部的象素，以及將出現(xiàn)與\在圖6的頂部的暈影380中勾畫出的類似的邊緣圖象。中間虛擬鍵接觸情況將產生與圖6的頂部的暈影390所述的非常類似的邊緣圖象。
在上述例子中，其中按虛擬鍵“T”，圖4中的尖端檢測模塊230運行邊緣檢測算法，從而找出表示將在圖象行65和列492處接觸的概括區(qū)域的“模糊點”的底部中心。單應的圖象坐標矢量p，假定由以下形成P=654921]]>然后將單應圖象坐標矢量p乘以單應矩陣H以得出在虛擬鍵盤的基準幀中用戶手指尖的坐標P。
P=Hp=0.133×65-0.061×492+32.9×1-0.194×65+0.0×492+15.1×10.0×65+0.0×492+1.0×1≅11.532.491.00]]>因此確定用戶-對象或手指120L已經在具有坐標x＝11.53以及z＝2.49cm的位置點觸摸過虛擬鍵盤50。圖4中的鍵盤識別模塊260在鍵盤布局中搜索a鍵以便xmin≤11.53＜xmax以及ymin≤2.49＜ymax。
虛擬“T”鍵滿足這些條件，因為10.5＜11.53＜12.4并且1.9＜2.49＜3.8。參考圖4，因此虛擬識別模塊60確定用戶對象正觸摸虛擬鍵盤50上的虛擬鍵“T”，并通知變換模塊270發(fā)出了該事件。
該事件不必是擊鍵。例如，用戶對象或手指可以前接觸過“T”鍵并在此后保持該鍵接觸。在這種情況下，不應當將擊鍵事件傳送給在伴隨設備80或90上運行的應用程序280。
鍵變換模塊270最好存儲每個鍵固有的釋放狀態(tài)(up-state)或按下狀態(tài)(down-state)。該模塊確定在每幀處任何鍵是否已經改變過狀態(tài)。在上述例子中，如果發(fā)現(xiàn)鍵“T”處于當前幀中的按下狀態(tài)中且處于在前幀中的釋放狀態(tài)中，變換模塊270將KEYCODE消息發(fā)送給應用280。KEYCODE碼將包括“KEY DOWN”事件標識符以及標識“T”鍵的“KEY ID”標記，從而通知應用程序280“T”鍵正好已經由用戶對象“按壓”過。如果發(fā)現(xiàn)“T”鍵在在前幀期間已經處于按下狀態(tài)中，KEYCODE將包括“KEY HELD”事件標識符以及與“T”鍵有關的“KEY ID”。將在其中鍵處于按下狀態(tài)的每個幀(除第一幀外)處的“KEY HELD”事件將應用程序280從必須保持有關鍵的任何狀態(tài)解脫出來。只要發(fā)現(xiàn)“T”鍵在當前幀中處理釋放狀態(tài)以及在在前幀中處于按下狀態(tài)，變換模塊270發(fā)送KEYCODE以及“KEY UP”事件標識符以及識別“T”鍵的“KEY ID”標記，通知應用程序280“T”鍵剛好由用戶對象“釋放”。
從上文，將意識到滿足幀圖象僅由用戶對象的尖端例如手指尖組成。本發(fā)明的各個實施例小于全部三維圖象信息，三維圖象信息是從虛擬輸入或虛擬傳送設備上稍微定義的相對窄的容積內采樣的。能相對便宜地制作實現(xiàn)這些實施例的系統(tǒng)并由自帶的電池源操作。實際上，系統(tǒng)能構造在通用設備如PDAs、移動電話等等中以快速由用戶輸入或傳送信息。如所提到的，在有源光實施例中，來自環(huán)境光的不希望的效果可通過選擇波長、通過使攝像機和光源同步、通過采集并減去表示背景噪聲的圖象的信號處理技術來降低。
在不脫離由下述權利要求書定義的本發(fā)明的主題和精神的情況下，可對公開的實施例做出修改和變更。
權利要求
1.一種從用戶-對象與虛擬傳送設備的交互獲得信息的方法，該方法包括下述步驟(a)定義基本上平行于且在所述虛擬傳送設備的假定位置上與之隔開的平面；(b)當用戶-對象透過所述平面與所述虛擬傳送設備交互作用時進行檢測；以及(c)確定在所述平面上所述用戶-對象部分的相對位置。
2.如權利要求1所述的方法，還包括(d)將和相對于所述虛擬傳送設備的所述用戶-對象穿透的位置相當?shù)男畔魉徒o伴隨設備；其中用戶-對象與所述虛擬傳送設備交互作用影響所述伴隨設備的操作。
3.如權利要求1所述的方法，其中步驟(a)包括生成光能的平面，以及其中步驟(b)包括當所述用戶-對象透過所述平面時，檢測所述光能的反射部分。
4.如權利要求1所述的方法，其中步驟(a)包括提供定義所述平面的攝像機，以及步驟(b)包括觀察所述用戶-對象與所述平面的交互作用。
5.如權利要求1所述的方法，其中步驟(b)和步驟(c)的至少一個步驟使用三角測量分析來執(zhí)行。
6.如權利要求2所述的方法，其中所述伴隨設備包括(i)PDA、(ii)、便攜式通信設備、(iii)電子設備、(iv)電子游戲設備以及(v)樂器中的至少一種，以及所述虛擬傳送設備是(I)虛擬鍵盤、(II)虛擬鼠標、(III)虛擬跟蹤球、(IV)虛擬筆、(V)虛擬軌跡板以及(VI)用戶界面選擇器的至少一種。
7.如權利要求1所述的方法，其中將所述虛擬傳送設備映射到從(i)桌面、(ii)臺面、(iii)墻、(iv)銷售點應用、(v)服務點應用、(vi)信息站、(vii)交通工具中的表面、(viii)投射顯示器、(ix)物理顯示器、(x)CRT以及(xi)LCD中選擇的至少一個的工作面上。
8.如權利要求1所述的方法，其中步驟(a)和步驟(b)的至少一個包括提供具有鏡頭和成象平面的攝像機，以及還包括通過將所述鏡頭和所述成象平面的至少一個傾斜，提高所述攝像機的分辨率和視場深度中的至少一個。
9.如權利要求1所述的方法，其中步驟(a)包括使用光源定義所述平面；以及步驟(b)包括提供攝像機以便檢測透過所述平面。
10.如權利要求9所述的方法，還包括使所述光源和所述攝像機的操作同步；其中降低環(huán)境光對步驟(b)和步驟(c)的至少一個步驟獲得的信息的準確性的影響。
11.如權利要求9所述的方法，其中所述光源發(fā)射含有用來抑制環(huán)境光的標記的光能。
12.如權利要求1所述的方法，其中步驟(a)包括由第一攝像機定義的所述平面；步驟(b)包括提供第二攝像機以檢測透過所述平面；以及還包括將光能源通常引向所述虛擬傳送設備；以及使所述光能源與所述第一攝像機及所述第二攝像機的至少一個的操作同步；其中降低環(huán)境光對步驟(b)和步驟(c)的至少一個獲得的信息的準確性的影響。
13.如權利要求1所述的方法，其中步驟(b)包括當所述用戶-對象遠離所述平面時，通過檢測，采集由環(huán)境光產生的信息；以及步驟(b)和步驟(c)中的至少一個包括從當所述用戶-對象與所述傳送設備交互作用時采集的信息中扣除所述信息；其中降低環(huán)境光的影響。
14.一種允許用戶操縱的用戶對象與虛擬傳送設備一起使用以便將信息傳送給伴隨設備的系統(tǒng)，該系統(tǒng)包括中央處理單元，包括存儲至少一個軟件例程的存儲器；第一光學系統(tǒng)，定義基本上平行于且在所述虛擬傳送設備的假定位置上與之隔開的平面；第二光學系統(tǒng)，具有包含至少所述平面部分的相關視場，以及對用戶-對象透過所述平面進行響應，從而與所述虛擬傳送設備交互作用；用于確定所述用戶-對象部分在所述平面上的相對位置的裝置；其中所述系統(tǒng)將信息傳送給所述伴隨設備，使用戶-對象和所述虛擬傳送設備能影響所述伴隨設備的操作。
15.如權利要求14所述的系統(tǒng)，其中用于確定的所述裝置使用三角測量分析確定所述相對位置。
16.如權利要求14所述的系統(tǒng)，其中用于確定的所述裝置包括執(zhí)行所述例程來確定所述相對位置的所述處理器單元。
17.如權利要求14所述的系統(tǒng)，其中所述第一光學系統(tǒng)包括用于產生光能的平面的裝置；以及所述第二光學系統(tǒng)包括當所述用戶-對象透過所述平面時，檢測所述光能的反射部分的攝像機傳感器。
18.如權利要求14所述的系統(tǒng)，其中所述第一光學系統(tǒng)包括(i)用以產生所述平面的激光器以及(ii)用以產生所述平面的LED中的至少一個；以及所述第二光學系統(tǒng)包括當所述用戶-對象透過所述平面時，檢測所述光能的反射部分的攝像機傳感器。
19.如權利要求14所述的系統(tǒng)，還包括用于增強所述第二光學系統(tǒng)對所述用戶-對象透過的響應同時降低對環(huán)境光的響應的裝置。
20.如權利要求19所述的系統(tǒng)，其中用于增強的所述裝置包括(a)提供與生成所述平面有關的標記、(b)對于所述第一光學系統(tǒng)定義的所述平面內的能量以及所述第二光學系統(tǒng)的響應性選擇同一波長；以及(c)使所述第一光學系統(tǒng)的操作和所述第二光學系統(tǒng)的操作同步。
21.如權利要求14所述的系統(tǒng)，其中所述第一光學系統(tǒng)包括定義所述平面的第一攝像機傳感器。
22.如權利要求14所述的系統(tǒng)，其中所述第一光學系統(tǒng)包括定義所述平面的第一攝像機傳感器；所述第二光學系統(tǒng)包括第二攝像機以便檢測所述透過；以及還包括通常引向所述虛擬傳送設備的光能源；以及用于使同樣的第一光學系統(tǒng)、所述第二光學系統(tǒng)以及所述光能源的至少兩個操作同步的裝置；其中降低環(huán)境光對所述系統(tǒng)獲得的信息的準確性的影響。
23.如權利要求14所述的系統(tǒng)，其中所述第一光學系統(tǒng)包括期望波長的光能發(fā)生器；以及所述第二光學系統(tǒng)基本上僅對所述期望波長的光能敏感。
24.如權利要求14所述的系統(tǒng)，其中所述伴隨設備包括(i)PDA、(ii)、便攜式通信設備、(iii)電子設備、(iv)電子游戲設備以及(v)樂器中的至少一種，以及所述虛擬傳送設備是(I)虛擬鍵盤、(II)虛擬鼠標、(III)虛擬跟蹤球、(IV)虛擬筆、(V)虛擬軌跡板以及(VI)用戶界面選擇器的至少一種。
25.如權利要求14所述的系統(tǒng)，其中將所述虛擬傳送設備映射到從(i)桌面、(ii)臺面、(iii)墻、(iv)銷售點應用、(v)服務點應用、(vi)信息站、(vii)交通工具中的表面、(viii)投射顯示器、(ix)物理顯示器、(x)CRT以及(xi)LCD中選擇的至少一個的工作面上。
26.如權利要求14所述的系統(tǒng)，其中所述第一操作系統(tǒng)和述第二操作系統(tǒng)的至少一個是具有鏡頭和成象平面的攝像機傳感器，其中所述鏡頭和所述成像平面中的至少一個傾斜，提高分辨率和視場深度中的至少一個。
27.如權利要求14所述的系統(tǒng)，還包括用于增強所述用戶-對象與背景對象的區(qū)別的裝置。
全文摘要
與虛擬設備(50)一起使用的系統(tǒng)(10)并將信息傳送給伴隨設備(80)，并包括兩個光學系統(tǒng)OS1(20)、OS2(60)。在結構光實施例中，OS1(20)發(fā)射平行于且在虛擬設備(50)上的光能的扇形射束平面(30)。當用戶對象(110)透過感興趣的射束平面，OS2(60)記錄事件。三角測量方法能定位虛擬接觸，并將用戶意圖信息傳送給伴隨設備(80，90)。在非結構光實施例中，OS1(20)最好是其視場定義感興趣的平面的數(shù)字攝像機，由有效的光能源照亮平面。最好，有源源，OS1(20)以及OS2(60)同步操作以降低環(huán)境光的影響。除光能源是環(huán)境光外，非結構無源光實施例更小?？鄢夹g最好提高信號/噪聲比。伴隨設備(80)實際上可包含本發(fā)明。
文檔編號G09G5/00GK1701351SQ01817826
公開日2005年11月23日 申請日期2001年9月7日 優(yōu)先權日2000年9月7日
發(fā)明者卡洛·托馬斯, 阿巴斯·拉非 申請人:卡尼斯塔公司