一方面與指向器的主題上出現(xiàn)的按鈕1110、1120、1130中的一個的 壓下相對應(yīng),其中該按壓觸發(fā)了函數(shù)的執(zhí)行,并且該命令另一方面與感知到指向器的移動 相對應(yīng)以便控制基站的控制屏上的光標的移動或要被控制的物體的移動。這些控制信號 可由嵌入到指向器自身中的、或嵌入到基站中的、或分布于指向器和基站之間的計算模塊 (未示出)生成。計算模塊可以有利地包括用于補償由用戶所給予指向器的扭轉(zhuǎn)的子模塊。 指向器包括至少一個計算模塊,該計算模塊處理按鈕的一些處理以及運動傳感器的一些處 理。該計算模塊包括微處理器(例如,用于在計算時間方面要求最高的應(yīng)用的DSP Texas Instruments TMS320VC5509)、或具有ARM內(nèi)核的32位微處理器(例如,STR9系列中的一 個,尤其是來自STM的STR9F12FAW32)。計算模塊還優(yōu)選地包括用于存儲要被執(zhí)行的代碼 和其所需要的參數(shù)數(shù)據(jù)所必須的閃速存儲器以及動態(tài)工作存儲器。計算模塊接收來自兩種 類型的傳感器的輸出以作為輸入。一方面,角速度傳感器(未示出)具有測量指向器關(guān)于 兩個或三個軸的旋轉(zhuǎn)的功能。這些傳感器優(yōu)選為陀螺儀。其可以為兩軸陀螺儀或三軸陀螺 儀。例如可以使用由Analog Devices所提供的參照ADXRS300的陀螺儀。但是能夠測量 角速率或速度的任何傳感器是可用的。特別是可以設(shè)想其圖像處理比較連續(xù)的圖像以便 從中推斷出位移(其為移位的組合和旋轉(zhuǎn)的組合)的攝像頭。然而接著,需要具有實質(zhì)上 比陀螺儀所需的更強的計算能力。還可以使用磁力計,對其關(guān)于地磁場的位移的測量使得 能夠測量關(guān)于該場的參照系的旋轉(zhuǎn),例如可以使用參照來自Honeywell公司的HMC1001或 HMC1052、或來自NXP公司的KMZ41的磁力計。無論使用哪種傳感器,它們的測量在指向器 的參照系中讀出。如果該參照系與位置移位內(nèi)的參照系、用戶的參照系和指向器的參照系 并非完全相同的,則測量受到偏移,其將引起移動元素的不一致位移。這是為什么可以在計 算模塊內(nèi)提供具有以下功能的補償子模塊:根據(jù)持有指向器的用戶的肢體的位移而計算平 面中移動元素的位移。針對由用戶所給予指向器的扭轉(zhuǎn)的影響而進行校正。補償子模塊將 來自測量指向器的線性加速度a x、ay、az的第二傳感器的輸出恢復(fù)為輸入。優(yōu)選地,該傳感 器為三軸加速計(未示出)。有利地,這兩個傳感器都是通過MEMS(微電子機械系統(tǒng))技 術(shù)生產(chǎn)的,可選地在同一電路(例如,參照來自Analog Devices的加速計ADXL103、來自ST MicroElectronics 的加速計 LIS302DL、參考來自 Melixis 的陀螺儀 MLX90609、來自 Analog Devices的陀螺儀ADXRS300)內(nèi)生產(chǎn)。然而,將注意到補充有圖像處理設(shè)備的攝像頭也可以 替代兩個傳感器,可從連續(xù)圖像的相關(guān)中和/或從逐幀圖像處理中推斷出指向器的位移的 角速率/速度和線性加速度。
[0026] 圖1示出了不同參照系,其用于根據(jù)手持設(shè)備來定義光標控制。這些參照系還可 以用于參照系的變換,這有助于描述對于指向的滾動(roll)補償變量,即,由于陀螺儀的 輸出是根據(jù)不同于屏幕的參照系的指向器的參照系而給定的這個事實而缺少滾動效果的 指向。
[0027] 一般將屏幕參照系定義為與屏幕相關(guān)聯(lián)的正交參照系(xyz),z軸指向下方。在該 參照系中沿y軸和z軸而定義移動元素的位移。第二參照系與設(shè)備的參照系(XYZ)相對應(yīng), X在指向的主方向上,Y朝右而Z從設(shè)備向下。這個參照系是通過將該參照系(XYZ)重新參 照水平面而定義。因此,從用戶的參照系到設(shè)備的參照系的切換是通過兩個連續(xù)旋轉(zhuǎn)(俯 仰Θ、滾動φ)而進行的。另外,用戶并不一定面對屏幕,從該參照系到屏幕參照系( xyz) 的切換是通過旋轉(zhuǎn)(航向(yaw)識.)而進行的。
[0028] 無論選擇任何技術(shù),本發(fā)明都可以用于根據(jù)給予指向設(shè)備的用戶的運動的光標控 制。例如,MEMS類傳感器(例如,陀螺儀或加速計)可以安裝在遠程控制器中。另一示例為 使用攝像頭并結(jié)合標識或LED的系統(tǒng)(例如,Nintendo Wii系統(tǒng)、或Philips Uwand)。在 這些系統(tǒng)中,標識被安裝在系統(tǒng)或屏幕上,并且小攝像頭被安裝在遠程控制器中,或反之, 并且通過示例性實施例的方式,來自攝像頭的圖像被處理,以根據(jù)實際圖像與參照圖像的 空間比較來計算遠程控制器的位置和朝向。
[0029] 圖2表示現(xiàn)有技術(shù)的具有手勢識別功能的設(shè)備。
[0030] 對被轉(zhuǎn)讓給共同受讓人人(其中的一個為本申請的受讓人)的美國專利申請序列 No. 13/499175進行參照,其中通過引用的方式將該專利申請并如本文。該技術(shù)領(lǐng)域?qū)τ卺?對人機交互應(yīng)用或基于手勢識別的那些應(yīng)用(例如,多媒體系統(tǒng)、互動游戲機、在家庭中的 所有類型的電氣和/或電子裝置的通用遠程控制器、使用移動電話作為遠程控制器、控制 樂器等)的公眾來說是尤其有意義的。其還可以與專業(yè)或半專業(yè)應(yīng)用有關(guān),例如書寫識別 或仿真以用于訓(xùn)練、運動、飛行、或其它活動。
[0031] 這樣的系統(tǒng)優(yōu)選地使用位于由人的手勢所移動的設(shè)備中的運動敏感的傳感器(3D 鼠標、遠程控制器、電話、玩具、手表、配件、衣服等)。在這樣的設(shè)備中,可以使用如在上文關(guān) 于圖1所描述指向設(shè)備中的MEMS類型的傳感器(陀螺儀和/或加速計)、以及磁力計,但是 同樣的原理應(yīng)用于其它運動敏感的測量,例如可能在紅外中的圖像采集、力或壓力測量、由 光電池所進行的測量、遙感測量、雷達或激光雷達測量等。然而優(yōu)選地,用于提供信號的傳 感器足以表示要被捕獲的動作,特別是為了識別這些手勢所需要考慮的自由度的數(shù)量。
[0032] 為了給出示例,圖2示出了表示由實體220 (在本例中為用戶的手)所產(chǎn)生的" 8 " 的手勢210。該實體裝備有對移動230敏感的設(shè)備,這該事例中被表示為遠程控制器。"8" 可以是例如電視頻道號或游戲機上的游戲號。因此,通過由表示在特定于該應(yīng)用的代碼中 的對象的一個或多個字母或數(shù)字進行的調(diào)用,可以命令該對象,并且接著該對象可以執(zhí)行 的功能中的一個可以被該代碼的第二層級的另一字母數(shù)字字符所調(diào)用。
[0033] 在關(guān)于個人計算機或關(guān)于房間控制臺的多媒體應(yīng)用領(lǐng)域,能夠使用3D鼠標(即, "在空中"持有)或者具有允許由控制軟件所控制的交互的任何其它感應(yīng)外圍設(shè)備。其可 以是例如AirMouse?,其包括兩個陀螺儀傳感器,每個具有旋轉(zhuǎn)軸。所使用的陀螺儀可以是 Epson XV3500品牌的那些。它們的軸是正交的并且實現(xiàn)航向(關(guān)于平行于垂直重力軸的 軸的旋轉(zhuǎn))的速度角和俯仰(關(guān)于屬于水平面的軸的旋轉(zhuǎn))的速度角。由兩個陀螺儀軸所 測量的瞬時俯仰和航向速度被傳送到內(nèi)置于鼠標主體中的微控制器并且由所述控制器轉(zhuǎn) 換為位移。表示在面對用戶的屏幕上的光標的移動的該數(shù)據(jù)由無線電設(shè)備傳送到計算機或 控制移動的光標在屏幕上的顯示的裝置。該轉(zhuǎn)換過程還可以在使用該光標的基站中進行處 理。由持有AirMouse的手所進行的手勢在它們被系統(tǒng)識別時,呈現(xiàn)處驅(qū)動的意思。例如, 劃叉(cross)以抑制系統(tǒng)所關(guān)注的項(在計算機語言中的"活動"項)。
[0034] 例如,為了統(tǒng)計的匹配分析的目的,還可以識別并計數(shù)某些技術(shù)手勢,例如在玩虛 擬網(wǎng)球時的正手或反手。還可以學(xué)習(xí)所做出的與理想或模型技術(shù)手勢相關(guān)的手勢的簡檔, 并且分析差異(尤其是其中所做出的背離于模型的手勢的手勢階段),以便識別該手勢中 的缺陷(例如,在擊球一瞬間時的猛擊(jerk))或以該缺陷為目標。
[0035] 遠程控制器可以包括三軸加速計、三軸磁力計、用于預(yù)處理來自傳感器的信號的 預(yù)處理功能、用于傳送手勢信號到處理單元自身的射頻傳輸模塊,以及電池。該運動傳感器 被稱為"3A3M"傳感器(具有三個加速計軸和三個磁力計軸)。該加速計和磁力計為小體 積、低功耗和低成本的商用微處理器,例如來自Kionix?的KXPA43628三通道加速計、以及 Honeywell?的磁力計HMC1041Z(1個垂直通道)和HMC1042L(2個水平通道)類型。存在 其它供應(yīng)商,在磁力計的事例中的Memsic? or Asahi Kasei?、在加速計的事例中的STM