本公開的實(shí)現(xiàn)涉及可穿戴技術(shù)手勢控制。更具體地,本公開的實(shí)現(xiàn)涉及使穿戴者能夠無線地控制輸入?yún)?shù)并且將其發(fā)送至電子接收器和計(jì)算裝置的可穿戴人機(jī)接口(HMI)裝置,即,與傳感器、開關(guān)、控制單元、無線通信模塊、和電源適配的手套和其它服裝。
背景技術(shù):
近年來,可穿戴技術(shù)已經(jīng)不斷地獲得了認(rèn)可,但是絕大部分的這種裝置仍然在試驗(yàn)階段,并且商用的可穿戴技術(shù)仍然具有眾多缺陷。在可穿戴技術(shù)領(lǐng)域內(nèi),手勢控制手套是出現(xiàn)在市場中的最早期產(chǎn)品之一,但是它們當(dāng)前仍然有功能受限和通用性顯著缺乏的問題。例如,任天堂動力手套(Nintendo Power Glove)是僅用于游戲目的的可穿戴手裝置的早期示例。
進(jìn)一步使缺乏通用性加劇的是:目前大多數(shù)可穿戴手套技術(shù)缺乏無線能力;用戶只能夠在電纜/電線所允許的長度范圍內(nèi)移動遠(yuǎn)離接收裝置。嵌入式機(jī)械彈簧的使用也有助于這種裝置的剛度并且降低了對消費(fèi)者的吸引力,而對許多這種裝置的自定義通信協(xié)議的依賴進(jìn)一步阻礙了它們的廣泛采用。
市場中對如下可穿戴手勢手套存在未被滿足的需求:該可穿戴手勢手套實(shí)現(xiàn)在本行業(yè)中已知的通信協(xié)議標(biāo)準(zhǔn)以與電子設(shè)備和計(jì)算機(jī)(即,功能上很好地集成的鍵盤、鼠標(biāo)、操作桿)接口連接,并且還具有更換鼠標(biāo)、游戲手柄、和操作桿的能力以控制電子裝置(諸如,無人機(jī)、游戲機(jī)、計(jì)算機(jī)、電視機(jī)、家庭自動化電氣用具)并且將手語轉(zhuǎn)換成更易理解的通信手段(諸如,書面語言或者口頭語言)。
技術(shù)實(shí)現(xiàn)要素:
在隨附權(quán)利要求書的范圍內(nèi)的裝置、設(shè)備、和方法的各種實(shí)現(xiàn)方式分別具有若干方面,其中沒有一個方面單獨(dú)地對本文描述的屬性負(fù)責(zé)。在不限制隨附權(quán)利要求書的范圍的情況下,在考慮本公開之后,并且具體地,在考慮到標(biāo)題為“具體實(shí)施方式”這部分之后,人們將理解是如何將各種實(shí)現(xiàn)方式的各個方面用于創(chuàng)建基于上下文的事件條目。
根據(jù)一些實(shí)現(xiàn)方式,可穿戴手勢控制接口設(shè)備用于基于由用戶提供的手勢來控制可控裝置。在一些實(shí)現(xiàn)方式中,可穿戴手勢控制接口設(shè)備可以包括:多個傳感器,該多個傳感器被配置為檢測用戶的取向和/或位置和/或移動和/或彎曲并且生成與該取向和/或位置和/或移動和/或彎曲對應(yīng)的傳感器數(shù)據(jù);以及微控制器,該微控制器被配置為:使用采樣模塊來采樣來自多個傳感器的傳感器數(shù)據(jù);使用判定模塊來判定來自多個傳感器之一的傳感器數(shù)據(jù)是否滿足傳輸判據(jù);并且根據(jù)來自多個傳感器中的該一個傳感器的傳感器數(shù)據(jù)滿足傳輸判據(jù)的判定,使用傳輸模塊來把與全部多個傳感器對應(yīng)的控制數(shù)據(jù)傳輸至可控裝置。
在一些實(shí)現(xiàn)方式中,可穿戴手勢控制接口設(shè)備用于基于由用戶提供的手勢來控制可控裝置。該可穿戴手勢控制接口設(shè)備包括:多個傳感器,該多個傳感器被配置為檢測用戶的取向和/或位置和/或移動和/或彎曲并且生成與該取向和/或位置和/或移動和/或彎曲對應(yīng)的傳感器數(shù)據(jù);以及微控制器,該微控制器可在低延遲模式和高精度模式中操作,該微控制器被配置為:使用采樣模塊對來自多個傳感器的傳感器數(shù)據(jù)進(jìn)行采樣;當(dāng)在低延遲模式中操作時,基于來自一部分多個傳感器的傳感器數(shù)據(jù),使用生成模塊來生成傳感器輸出;并且當(dāng)在高精度模式中操作時,基于來自全部多個傳感器的傳感器數(shù)據(jù),使用生成模塊來生成傳感器輸出。
在一些實(shí)現(xiàn)方式中,傳感器用于測量物體的彎曲或者撓曲。該傳感器包括:第一柔性導(dǎo)電板和第二柔性導(dǎo)電板;柔性半導(dǎo)體多孔襯底,該柔性半導(dǎo)體多孔襯底設(shè)置在該第一與第二導(dǎo)電板之間并且與該第一和第二導(dǎo)電板接觸,其中,半導(dǎo)體多孔襯底的電阻基于該半導(dǎo)體多孔襯底的彎曲量而變化;第一引線,該第一引線連接至該第一柔性導(dǎo)電板,該第一引線被配置為接收驅(qū)動信號,該驅(qū)動信號基于該半導(dǎo)體多孔襯底的電阻而改變以生成輸出信號;第二引線,該第二引線連接至該第二柔性導(dǎo)電板,該第二引線被配置為在不需要附加的信號調(diào)節(jié)的情況下將該輸出信號直接地傳輸至微控制器。
在一些實(shí)現(xiàn)方式中,可穿戴手勢控制接口設(shè)備用于基于由用戶提供的手勢來控制可控裝置。該可穿戴手勢控制接口設(shè)備包括:多個傳感器,該多個傳感器被配置為檢測用戶的取向和/或位置和/或移動和/或彎曲并且生成與該取向和/或位置和/或移動和/或彎曲對應(yīng)的傳感器數(shù)據(jù);以及微控制器,該微控制器可在低延遲模式和高精度模式中操作,該微控制器被配置為:使用采樣模塊對來自多個傳感器的傳感器數(shù)據(jù)進(jìn)行采樣;使用判定模塊來判定來自多個傳感器之一的傳感器數(shù)據(jù)是否滿足傳輸判據(jù);并且根據(jù)來自多個傳感器中的該一個傳感器的傳感器數(shù)據(jù)滿足該傳輸判據(jù)的判定,微控制器被配置為:當(dāng)在低延遲模式中操作時,基于來自一部分多個傳感器的傳感器數(shù)據(jù),使用生成模塊來生成控制數(shù)據(jù);并且當(dāng)在高精度模式中操作時,基于來自全部多個傳感器的傳感器數(shù)據(jù),使用生成模塊生成控制數(shù)據(jù);并且使用傳輸模塊將控制數(shù)據(jù)傳輸至可控裝置。
鑒于下面的描述,本申請的各種優(yōu)點(diǎn)是顯而易見的。
附圖說明
為了更好地理解本發(fā)明的上述方面以及本發(fā)明的附加方面和實(shí)現(xiàn)方式,應(yīng)該結(jié)合下面的附圖參考下面的具體實(shí)施方式,在附圖中,在整個附圖中相同的附圖標(biāo)記表示對應(yīng)的部分。其中
圖1是手勢手套的內(nèi)襯的背視圖。
圖2示出了手勢手套的全部傳感器、開關(guān)、電池和電子部件的相對定位。
圖3圖示了針對撓曲傳感器的手勢手套的正(+)電壓布線層。
圖4圖示了在撓曲傳感器與微控制器單元(MCU)之間的連接。
圖5圖示了針對開關(guān)的手勢手套的負(fù)(-)電壓布線層。
圖6圖示了在按鈕開關(guān)與MCU之間的連接。
圖7圖示了在手勢手套的手指上的按鈕開關(guān)的安裝位置。
圖8圖示了手勢手套的氈型材料的初級層。
圖9圖示了從MCU(在上面的圖8中描繪的層的頂部)到開關(guān)和傳感器(在圖8中描繪的層的頂部下方發(fā)現(xiàn)的)的布線。
圖10圖示了應(yīng)用于MCU的頂部上和撓曲傳感器的頂部上的薄氈型材料的保護(hù)層。
圖11圖示了手勢手套的最終外護(hù)套(包住下面的全部復(fù)合層)。
圖12是整體組裝后的手勢手套的部分透視圖,示出了該手勢手套在外護(hù)套下方部分可見的全部電子設(shè)備和織物襯里底層。
圖13是具有其外護(hù)套的成品手勢手套的等距視圖。
圖14是成品手勢手套的表面呈現(xiàn)視圖。
圖15圖示了針對手勢手套開發(fā)的新型撓曲傳感器的功能結(jié)構(gòu)。
圖16是由手勢手套的MCU執(zhí)行的處理步驟的流程圖。
圖17是由RF接收器裝置(例如,控制臺應(yīng)用或者可控電子裝置)執(zhí)行的處理步驟的流程圖。
圖18是用于由接收器裝置提取單獨(dú)的手勢位置和手取向的處理步驟的通用表示。
圖19是通過針對接收器計(jì)算機(jī)進(jìn)行的鼠標(biāo)和操縱桿控制的應(yīng)用執(zhí)行的處理步驟的流程圖。
圖20a是可穿戴人機(jī)接口(HMI)裝置(手勢手套是一種實(shí)現(xiàn)方式)和可由可穿戴HMI裝置控制的電子裝置的框圖。
圖20b是描繪了類似于圖20a的實(shí)現(xiàn)方式的框圖,但是,手勢庫和手勢檢測位于HMI上(與圖20a相反,在圖20a中,手勢庫和手勢檢測位于可控裝置自身上)。
圖21是示出了圖20a的可穿戴HMI裝置的功能細(xì)節(jié)的框圖。
圖22是示出了可由圖20a的可穿戴HMI裝置控制的電子裝置的功能細(xì)節(jié)的框圖。
在附圖的若干視圖,相同的附圖標(biāo)記表示對應(yīng)的部分。
具體實(shí)施方式
本文描述的許多細(xì)節(jié)是為了提供對在附圖中圖示的示例實(shí)現(xiàn)方式的全面理解。然而,一些實(shí)現(xiàn)方式可以在沒有許多特定細(xì)節(jié)的情況下實(shí)踐,并且權(quán)利要求書的范圍僅受在權(quán)利要求書中具體列舉的那些特征和方面的限制。此外,并未對已知的方法和系統(tǒng)進(jìn)行詳盡描述,以免不必要地模糊本文描述的實(shí)現(xiàn)方式的更為顯著的方面。
現(xiàn)在更詳細(xì)地參照本發(fā)明,圖1圖示了手勢手套的示例實(shí)現(xiàn)方式的內(nèi)襯100的背視圖。在一些實(shí)現(xiàn)方式中,針對內(nèi)襯100,使用聚酯或者棉織物的舒適共混物。圖1還針對傳感器和電子部件的位置參考描繪了掌指關(guān)節(jié)101和近端指節(jié)間關(guān)節(jié)102。
圖2是手勢手套的示例實(shí)現(xiàn)方式的背透視圖,示出了關(guān)節(jié)傳感器110和111、按鈕開關(guān)120、121和122、微控制器(MCU)130、運(yùn)動處理單元(MPU)131、射頻傳輸單元(RFTX)132、和電源(例如,電池組或者一個或者多個鋰聚合物電池(諸如,可再充電型))113的相對定位。出于更清楚的說明起見,貫穿本公開,詞語“開關(guān)”或者“多個開關(guān)”應(yīng)表示,但不限于,以下任何一種:位置開關(guān)、方向開關(guān)、方向控制、微型操縱桿等。在一些實(shí)現(xiàn)方式中,除了本文描述的傳感器和開關(guān)之外,手勢手套還包括一個或者多個操縱桿、紅外傳感器、全球定位系統(tǒng)傳感器、或者被配置為檢測用戶手勢或者用戶輸入的任何類似的傳感器。在一些實(shí)現(xiàn)方式中,傳感器、開關(guān)、電子部件(例如,MCU、MPU、RFTX、和電源)、和替代輸入裝置(例如,操縱桿等)的位置和數(shù)量與圖2中圖示的那些部件的位置和數(shù)量是全部或者部分不同的。這種差異可以是由于不同實(shí)現(xiàn)方式的封裝約束(可用于電力供應(yīng)的空間)、或者是適用于傳感器和/或用戶輸入裝置(例如,操縱桿的用戶友好型定位)的操作約束和/或人體工程學(xué)約束。
將四個撓曲傳感器110放置在近端指節(jié)間關(guān)節(jié)102的背側(cè)上,并且將一個撓曲傳感器111放置在拇指與食指之間??蛇x地,可以將附加的撓曲傳感器(類似于撓曲傳感器111)放置在其它手指中的每一個之間。將四個開關(guān)傾斜地安裝在每個手指120的內(nèi)側(cè)指骨上。食指包含在近端指骨121上的附加的開關(guān)。將兩個以上的開關(guān)安裝在手122的背表面上,位于拇指的底部處,用于輔助控制功能。
圖3圖示了用于驅(qū)動撓曲傳感器110和111的正(+)電壓布線層112。每個撓曲傳感器利用并聯(lián)布線模式接收源電壓。
圖4圖示了單獨(dú)的撓曲傳感器110和111、信號線113與微控制器單元(MCU)130的連接。針對狀態(tài)變化每個撓曲傳感器由MCU軟件單獨(dú)地監(jiān)測。
圖5圖示了用于驅(qū)動按鈕開關(guān)120、121和122的負(fù)(-)電壓布線層123。每個按鈕開關(guān)利用并聯(lián)布線模式鏈接至源電壓。每個按鈕開關(guān)可以將數(shù)字信號提供至MCU,該數(shù)字信號指示按鈕開關(guān)被“按壓”還是未被“按壓”。
圖6圖示了單獨(dú)的按鈕開關(guān)120、121和122、信號線124到微控制器單元(MCU)的連接。針對狀態(tài)變化每個按鈕開關(guān)位置由MCU軟件監(jiān)測。
圖7圖示了在內(nèi)側(cè)指骨120上的按鈕開關(guān)的傾斜安裝、針對四個手指的典型布置、和在平行于矢狀平面的食指的近端指骨上的附加的按鈕開關(guān)121。這種取向在使手指彎曲的同時防止開關(guān)的意外致動。
圖8圖示了在布線層上的柔軟的、薄的、氈型材料140的初級層。電線在織物覆蓋下伸展。在織物141的中部設(shè)置有狹槽或者開口,以供布線穿過織物的頂面,以與它們相應(yīng)的目的地點(diǎn)連接。
圖9圖示了通信布線141到安裝在氈型織物140的頂部上的MCU的連接??椢飳颖Wo(hù)下方的布線和上方的電子模塊(MPU、MCU、電池、和RFTX)并且將它們隔離。
圖10圖示了分別用于保護(hù)電子模塊(MPU、MCU、RFTX)和撓曲傳感器110和111的薄氈型材料150、151、和152的最終層。
圖11圖示了在下面的復(fù)合層之上的最終外護(hù)套(160)的安裝;該最終外部護(hù)套是由壓合織物制成,以完成手套。附加的包裝材料161(諸如,氈)可以用于填充并且平衡在指骨處由傾斜地安裝在手指120的內(nèi)側(cè)指骨上的嵌入式按鈕開關(guān)造成的手套的突出點(diǎn)。
圖12圖示了手勢手套的整體組件,其中,手勢手套的電子設(shè)備和織物襯里的底層在外護(hù)套160下方部分可見。
圖13是具有外護(hù)套160的成品手勢手套的等距視圖。
圖14是使用壓合材料的成品手勢手套的表面呈現(xiàn)視圖。
圖15圖示了用于檢測在手勢手套中的手指撓曲位置的典型撓曲傳感器110和111的功能結(jié)構(gòu)。這種撓曲傳感器安裝在近端指節(jié)間關(guān)節(jié)的背側(cè)之上。撓曲傳感器由半導(dǎo)體注碳彈性塑料(諸如,聚氨酯或者聚乙烯多孔襯底材料)的核心170構(gòu)成,該半導(dǎo)體注碳彈性塑料能夠可選地用以下一種或者多種浸漬:乙醇、異丁烷、丙烷、1,1-二氟乙烷、碳粉、和石墨粉。在核心170的上方和下方,存在兩個薄的柔性導(dǎo)電板171(由導(dǎo)電抗腐蝕片材制成),該柔性導(dǎo)電板171完成在整個上半導(dǎo)體核心表面和下半導(dǎo)體核心表面之上的導(dǎo)電通路。在實(shí)施例中,較寬的導(dǎo)電板171用于最佳感測,與導(dǎo)電層接觸的寬接觸表面降低了信號噪聲,并且克服了由在制造過程期間產(chǎn)生的表面不規(guī)則性造成的局部信號退化。寬接觸表面面積還在不同批次的生產(chǎn)單元或者具有相同的整體尺寸的傳感器之間提供電流通路冗余、容錯、和更高的精度和再現(xiàn)性??梢允褂萌魏我阎膶?dǎo)電的附接手段(諸如,銅焊、焊接、或者釬焊)172來將導(dǎo)電引線173附接至上導(dǎo)電板171和下導(dǎo)電板171。所施加的電流的極性可在上導(dǎo)電板171與下導(dǎo)電板171之間互換。導(dǎo)電板171,連同核心半導(dǎo)體層170和附接的引線173,被封閉在柔性且耐用的薄塑料護(hù)套174中。該護(hù)套由平坦的錐形區(qū)域175制成,該護(hù)套用作將傳感器組件緊固至手勢手套的其余部分的指定表面(應(yīng)用于區(qū)域175的任何固定手段都不會引起核心感測區(qū)域170和171的壓縮)。在與區(qū)域175相對的傳感器端處,使用非導(dǎo)電的環(huán)氧膠密封176來密封引線173離開護(hù)套174的區(qū)域,以防止核心滑動,并且為引線提供錨點(diǎn),以便防止在導(dǎo)電板171上的相應(yīng)附接點(diǎn)172處由于重復(fù)的移動而斷開連接或者疲勞。環(huán)氧密封176還用作撓曲傳感器的第二緊固表面。沿著傳感器的長度在任一方向上撓曲該傳感器組件都會拉伸和壓縮半導(dǎo)體材料,從而增加了導(dǎo)電密度并且降低了傳感器組件的電阻。
在一些實(shí)現(xiàn)方式中,可以利用電阻改變化學(xué)添加劑(諸如,乙醇、異丁烷、丙烷、1,1-二氟乙烷、碳粉、石墨粉等)來進(jìn)一步浸漬注碳多孔襯底。為此,可以通過將多孔襯底浸泡在包含乙醇、異丁烷、丙烷、1,1-二氟乙烷、碳粉、石墨粉的各種溶液或者懸浮液中來浸漬多孔襯底,隨后低溫干燥1個小時或者更長時間(諸如,24個小時),以便實(shí)現(xiàn)化學(xué)添加劑浸漬的各種重量百分比水平。在一些實(shí)施例中,多孔襯底材料具有像海綿一樣的吸收性和吸收一致性,具有高滲透性以吸收化學(xué)溶液。
在不同的實(shí)現(xiàn)方式中,可以根據(jù)需要對材料和化學(xué)濃度進(jìn)行調(diào)整以針對電阻變化產(chǎn)生期望的動態(tài)范圍。例如,越高的碳沉積會產(chǎn)生越高的導(dǎo)電性和越小的動態(tài)范圍??商娲兀礁叩幕瘜W(xué)添加劑沉積會在材料未被撓曲時產(chǎn)生越高的電阻,并且在彎曲期間產(chǎn)生越大的動態(tài)范圍。因此,可以在未撓曲到撓曲彎曲之間調(diào)整該范圍。例如,在多孔襯底內(nèi)具有大約10%化學(xué)沉積的一些實(shí)現(xiàn)方式中,最大-最小電阻率范圍分別可以是大約30k歐姆到大約2k歐姆,并且在多孔襯底內(nèi)具有100%化學(xué)沉積的其它實(shí)現(xiàn)方式中,分別可以是大約200k歐姆到大約5k歐姆。
在操作中,可以將傳感器定位在接近HMI裝置的用戶的手指或者手關(guān)節(jié)或者肌肉的可穿戴HMI裝置中,從而使得這樣的關(guān)節(jié)或者肌肉的任何運(yùn)動使傳感器變形,導(dǎo)致傳感器將代表變形程度的相應(yīng)的模擬信號直接地輸出至MCU。因?yàn)閾锨鷤鞲衅骶哂邢鄬τ谄湮锢聿考膿锨蛘邚澢慷兓目勺冸娮?,所以模擬信號變化。在一些實(shí)現(xiàn)方式中,撓曲傳感器(例如,撓曲傳感器110或者111)提供全范圍信號(例如,大約1伏特到大約3.3伏特)以向計(jì)算裝置(諸如,微控制器(例如,圖2中的MCU 130))傳送撓曲傳感器位置。在一些實(shí)現(xiàn)方式中,撓曲傳感器通過使用浸漬有單位重量10%的化學(xué)添加劑的1.5mm厚度的、低密度的注碳聚氨酯多孔襯底170展示出寬電阻范圍,即從在90度撓曲下的大約2000歐姆到在直中性位置中的大約30,000歐姆。該范圍消除了對外部信號調(diào)節(jié)電路的需求,允許撓曲傳感器與微控制器直接接口連接,從而減少了延遲。在一些實(shí)現(xiàn)方式中,撓曲傳感器可以在低至3.3伏特的所施加的源驅(qū)動電壓下運(yùn)行。
圖16是由手勢手套的MCU執(zhí)行的處理步驟的流程圖。
在步驟1601中,MCU初始化系統(tǒng)。該系統(tǒng)可以包括電子模塊(諸如,MPU、MCU、電池、RFTX)。初始化系統(tǒng)的示例可以包括:針對某些電子模塊加載裝置設(shè)置或者默認(rèn)設(shè)置并且設(shè)置閾值以確定何時傳送傳感器數(shù)據(jù)。
步驟1601a至1601d描述了根據(jù)本發(fā)明的至少一個實(shí)施例的用于初始化系統(tǒng)的過程。在步驟1601a中,MCU加載系統(tǒng)通信和裝置設(shè)置。在步驟1601b中,MCU向通信模塊加載默認(rèn)設(shè)置。在步驟1601c中,MCU初始化MPU。在步驟1601d中,MCU為運(yùn)動傳感器和撓曲傳感器設(shè)置閾值。當(dāng)由運(yùn)動傳感器和撓曲傳感器生成的值超出由MCU設(shè)置的閾值時,MCU將由一個或者多個傳感器(諸如,撓曲傳感器)測得的傳感器數(shù)據(jù)傳輸至另一個計(jì)算裝置。
在步驟1602中,MCU對來自一個或者多個傳感器(諸如,撓曲傳感器、按鈕開關(guān)、微型操縱桿、或者M(jìn)PU)的數(shù)據(jù)進(jìn)行采樣。如本文所討論的,傳感器可以被配置為檢測用戶的取向和/或位置和/或移動和/或彎曲,并且生成與該取向和/或位置和/或移動和/或彎曲對應(yīng)的傳感器數(shù)據(jù)。
在步驟1603中,MCU通過將來自每個傳感器的采樣數(shù)據(jù)與閾值進(jìn)行比較來判定傳感器數(shù)據(jù)是否滿足預(yù)定傳輸判據(jù)。如果采樣數(shù)據(jù)未超出閾值,則MCU返回步驟1602并且繼續(xù)對來自一個或者多個電子裝置的數(shù)據(jù)進(jìn)行采樣。如果采樣數(shù)據(jù)超出閾值,則MCU前進(jìn)至步驟1604。在一些實(shí)現(xiàn)方式中,當(dāng)來自一個或者多個傳感器的采樣數(shù)據(jù)超出閾值時,MCU可以對來自全部傳感器的數(shù)據(jù)進(jìn)行采樣。通過判定傳感器數(shù)據(jù)是否滿足預(yù)定傳輸判據(jù),MCU可以準(zhǔn)確地決定傳輸數(shù)據(jù)還是避免傳輸數(shù)據(jù)。傳輸數(shù)據(jù)要求電力,并且利用在固定的電力供應(yīng)上操作的HMI,以允許用戶具有自由的移動范圍,節(jié)電為用戶提供了更好的整體體驗(yàn)。
在步驟1604中,MCU基于MCU是在低延遲模式中操作還是在高精度模式中操作,利用統(tǒng)計(jì)調(diào)節(jié),對采樣數(shù)據(jù)進(jìn)行平均。
在低延遲模式中,可以使用用于測量用戶的每個具體取向或者移動的單個傳感器。通過使用單個傳感器,需要的處理時間較少,這意味著通過該系統(tǒng)整體上實(shí)現(xiàn)了低延遲。在針對低延遲應(yīng)用的這些實(shí)現(xiàn)方式中,可以通過使用任何已知的濾波算法或者融合算法(例如,卡耳曼濾波器或者自定義濾波器),在一對一的基礎(chǔ)上,將陀螺儀、加速度計(jì)、和磁力計(jì)數(shù)據(jù)的原始傳感器數(shù)據(jù)與傳感器輸出(一個陀螺儀、一個加速度計(jì)、一個磁力計(jì))相關(guān)聯(lián)。然后,通過多次讀取將傳感器數(shù)據(jù)聚合,并且進(jìn)行時間平均以產(chǎn)生具有低漂移和低噪聲的穩(wěn)定輸出。在對時間平均的數(shù)據(jù)流進(jìn)行采樣之后采用的低通濾波算法使噪聲最小化,從而產(chǎn)生了可用于高效并且精確地控制控制臺應(yīng)用的非常穩(wěn)定的取向和運(yùn)動數(shù)據(jù)。在低通濾波之前的時間平均對于實(shí)現(xiàn)輸出中的高精度輸出至關(guān)重要。
在高精度模式中,MCU可以從多個冗余傳感器(例如,用于測量相同線性方向的兩個或者更多個加速度計(jì)、或者用于測量相同角移動的兩個或者更多個陀螺儀)接收傳感器數(shù)據(jù)。因?yàn)閼T性傳感器傾向于有為在傳感器數(shù)據(jù)中顯露出的一種類型的噪聲的長期漂移,所以冗余傳感器可以是有幫助的。通過對來自多個冗余傳感器的采樣數(shù)據(jù)進(jìn)行平均,MCU可以降低在采樣數(shù)據(jù)中的噪聲量。例如,如果采樣數(shù)據(jù)包括多個采樣,則有可能其中一些采樣可能具有大的噪聲分量。然而,如果其它采樣具有有限的噪聲分量,則對該采樣的平均會降低在采樣數(shù)據(jù)中的整體噪聲分量。通過降低噪聲,本文描述的電子裝置可以更容易地處理采樣數(shù)據(jù)的期望信號分量。
在一些實(shí)現(xiàn)方式中,多個冗余傳感器可以安裝在自定義印刷電路板上,相對于彼此相隔固定的已知的距離。該距離可以在電路板制造期間預(yù)定。如上所述,來自多個冗余傳感器的傳感器數(shù)據(jù)與在低延遲模式中經(jīng)歷濾波方法的每個輸出一起使用。然后,結(jié)合已知的實(shí)際物理或者取向數(shù)據(jù),來考慮來自每個傳感器的位置和取向數(shù)據(jù),以進(jìn)一步消除漂移、噪聲,并且進(jìn)行定位以獲得最佳的精度。因?yàn)樵阝F焊在MPU板上的傳感器之間的實(shí)際距離和角度是已知的,所以該配置使長期漂移和噪聲偏差最小化。
在混合低延遲高精度模式中,MCU可以包括20Mhz到50Mhz的處理器。在該實(shí)現(xiàn)方式中,利用更高電池消耗的標(biāo)稱權(quán)衡,可以使用上文描述的高精度和低延遲方法。在一些實(shí)現(xiàn)方式中,利用更高電池消耗的相似權(quán)衡,可以通過使用I2C或者SPI通信總線將多個低頻率MCU一前一后地連接,以采集并且處理來自每組陀螺儀、加速度計(jì)、和/或磁力計(jì)的數(shù)據(jù),從而劃分處理負(fù)載并且實(shí)現(xiàn)更高的吞吐量。
在一些實(shí)現(xiàn)方式中,可以反向執(zhí)行在步驟1603和1604中由MCU執(zhí)行的過程。在這些實(shí)現(xiàn)方式中,MCU對采樣數(shù)據(jù)進(jìn)行平均以降低噪聲,并且然后,將采樣數(shù)據(jù)與閾值進(jìn)行比較。
在步驟1605中,MCU創(chuàng)建ASCII數(shù)據(jù)流,作為來自每個傳感器的采樣數(shù)據(jù)的名=值對(name=value pair)。在一些實(shí)現(xiàn)方式中,名(name)對應(yīng)于電子部件(例如,撓曲傳感器或者按鈕開關(guān)),并且值(value)對應(yīng)于由電子部件測得的人類動作或者手勢。例如,“B0=H”,其中,“B0”是位于食指的近端指骨上的、垂直安裝的按鈕開關(guān)121,并且“=H”表示在“H”為“按壓”按鈕狀態(tài)時“B0”的值。如“B0=L”中,零(0)值將意味著按鈕開關(guān)為未“按壓”。在一些實(shí)現(xiàn)方式中,每個名和/或值由每個字符8個字節(jié)表示。ASCII數(shù)據(jù)流和名=值對的使用有利于使用應(yīng)用平臺接口(API)與控制臺應(yīng)用通信。通過使用ASCII數(shù)據(jù),對控制臺應(yīng)用或者類似的電子裝置進(jìn)行編程的任何開發(fā)人員可以容易地解釋并且處理這種使手勢處理系統(tǒng)通用化或者與裝置無關(guān)的數(shù)據(jù)格式。
在一些實(shí)現(xiàn)方式中,MCU創(chuàng)建編碼的(例如,壓縮的)數(shù)據(jù)流。在這些實(shí)現(xiàn)方式中,將采樣數(shù)據(jù)的每個字節(jié)編碼成對應(yīng)的值,以進(jìn)行進(jìn)一步的處理并且傳輸至控制臺應(yīng)用。對數(shù)據(jù)進(jìn)行編碼的其中一種益處是減少在手套與控制臺應(yīng)用之間傳輸?shù)牡臄?shù)據(jù)量,從而改善手勢處理延遲。
在步驟1606中,MCU通過使用無線模塊(例如,射頻傳輸單元(RFTX)132)將來自一個或者多個傳感器的傳感器數(shù)據(jù)傳輸至控制臺應(yīng)用(即,可控裝置)。
在一些實(shí)現(xiàn)方式中,MCU將數(shù)據(jù)作為數(shù)據(jù)傳輸包傳輸。數(shù)據(jù)傳輸包由以下組成:i)描述命名的變量及其相應(yīng)的值的標(biāo)準(zhǔn)ASCII字符;或者,ii)與傳感器數(shù)據(jù)對應(yīng)的編碼值。然后,通過射頻傳輸單元(RFTX)132、藍(lán)牙、或者WiFi(IEEE 802.1)模塊,來推送包含全部數(shù)據(jù)變量(包括HMI的開關(guān)、撓曲傳感器、和運(yùn)動處理單元)的整個數(shù)據(jù)包。
在一些實(shí)現(xiàn)方式中,如步驟1603所述,如果來自至少一個傳感器的傳感器數(shù)據(jù)超出閾值,則MCU將來自至少兩個(可選地,全部)傳感器的傳感器數(shù)據(jù)傳輸至控制臺應(yīng)用,因此實(shí)現(xiàn)改進(jìn)的精度。
在步驟1607中,MCU重置在其存儲器中存儲的全部變量、寄存器和計(jì)數(shù)器,并且返回步驟1602以繼續(xù)對傳感器數(shù)據(jù)進(jìn)行采樣。
圖17是由RF接收器裝置(例如,無人駕駛飛行器、游戲機(jī)、可控裝置、控制臺應(yīng)用)執(zhí)行的處理步驟的流程圖。圖17描繪了用于從手勢手套攔截?cái)?shù)據(jù)的初級層、類別、或者過程。該層可以用在任何電子設(shè)備或者計(jì)算裝置上。該層的輸出由圖17底部的“A”表示,其為轉(zhuǎn)發(fā)到更高的層或者封裝類別的事件。將名-值對轉(zhuǎn)換成陣列或者列表,對該陣列或者列表進(jìn)行循環(huán)遍歷和解析以評估變量狀態(tài),諸如,按鈕開關(guān)120、121和122、撓曲傳感器位置110和111、以及手取向和移動(MCU)131。如果任何變量超出了其給定的閾值,則針對封裝類別的更高層應(yīng)用提高事件“A”,諸如,分別在圖18和圖19中描述的手勢控制接口和鼠標(biāo)控制應(yīng)用。通過由RF接收器裝置處理數(shù)據(jù),MCU要求較少的處理能力來運(yùn)行,從而,節(jié)省電池電力。同樣,RF接收器裝置可以具有更快的處理能力,因此,與在MCU處解釋手勢命令相比,通過將在接收器裝置處解釋手勢命令而減少了延遲。然而,在諸如圖20b所示一些替代實(shí)現(xiàn)方式中,預(yù)期處理傳感器數(shù)據(jù),解釋手勢,并且生成手勢命令的正是MCU。在這種實(shí)現(xiàn)方式中,MCU將手勢命令傳輸至RF接收器裝置。手勢命令在由控制臺應(yīng)用執(zhí)行時使該控制臺應(yīng)用執(zhí)行動作(例如,使無人駕駛飛行器執(zhí)行桶滾)。MCU可以使用如上文在步驟1605和1606中描述的類似技術(shù)(例如,ASCII名=值對或者壓縮編碼技術(shù))來將手勢命令傳輸至RF接收器裝置。
圖18是在本發(fā)明的實(shí)施例中的用于提取單獨(dú)的手勢位置和手取向的處理步驟的通用表示。針對超出每個變量的閾值限制的值,對從如圖17所述的輸出“A”接收的事件進(jìn)行評估。如果值低于閾值,則在圖18中該過程終止或者退出。如果超出閾值,則將在該觸發(fā)之后進(jìn)行的輸入存儲在存儲器中,直到值降到低于給定變量的閾值的那一刻為止。隨后,追蹤采集到的數(shù)據(jù)并且對其進(jìn)行模式識別算法(諸如,隱馬爾柯夫模型或者具有集成模糊邏輯的神經(jīng)網(wǎng)絡(luò)),該數(shù)據(jù)的輸出識別觸發(fā)動作、宏、存儲過程、程序等的所述運(yùn)動。
圖19是由用于鼠標(biāo)和操縱桿控制的應(yīng)用執(zhí)行的處理步驟的流程圖。將從如圖17所述的輸出“A”接收的事件解析為手取向和運(yùn)動,將該手取向和運(yùn)動轉(zhuǎn)換為在接收器計(jì)算機(jī)的操作系統(tǒng)中模擬各種鼠標(biāo)按鈕狀態(tài)的鼠標(biāo)移動和按鈕狀態(tài)。
更詳細(xì)地,仍然參照圖1至圖19的本發(fā)明,手勢手套通過使用多種方法使用無線傳輸來控制電子裝置。在實(shí)施例中,存在通過手勢手套無線地控制裝置的三種方法。第一,可以將手指110和拇指111的撓曲取向用作控制無線連接的裝置的輸入方法。第二,可以使用嵌入式開關(guān)120或者交替用戶控制(例如,操縱桿或者電容性觸控板)來控制鏈接的裝置。第三,還可以將手取向和運(yùn)動(MPU)131用作手勢控制參數(shù)。此外,針對多個附加的手勢控制,可以使用這三種方法的任何組合。與新的且通用的數(shù)據(jù)傳輸分組(將在下文中進(jìn)行詳細(xì)描述)結(jié)合的輸入方法的這種新穎混合使手勢手套成為多功能人機(jī)接口裝置的獨(dú)特解決方案。
手勢手套的其中一個最明顯的且獨(dú)特的功能特征是:撓曲傳感器110起作用的方法。在一些實(shí)現(xiàn)方式中,四個(4)撓曲傳感器110測量在每個手指的背側(cè)上的近端指節(jié)間關(guān)節(jié)102處的四個(4)手指的撓曲位置。將第五(5)撓曲傳感器111放置在拇指與食指之間。當(dāng)手指是直的(未撓曲)時,傳感器未被壓縮;因此,在兩個(2)導(dǎo)電板171之間的電流流動通路中核心材料170的導(dǎo)電密度最低并且傳感器的電阻最高。對取決于撓曲位置并且在5,000Ω(90度撓曲)到200,000Ω(直的、未撓曲的位置)之間變化的該電阻進(jìn)行采樣,并且在按照微秒的時間順序的若干讀數(shù)上對其進(jìn)行平均,并且通過無線射頻傳輸單元(RFTX)132將其中繼至無線接收器裝置。
手勢手套實(shí)現(xiàn)的第二種控制方法是通過使用按鈕開關(guān)120。微控制器單元(MCU)130在數(shù)據(jù)包傳輸期間監(jiān)測按鈕開關(guān)120的兩種(2)狀態(tài)(開或者關(guān))并且將其中繼至給定的無線接收裝置。
手勢手套利用的第三種控制方法是通過使用手取向和運(yùn)動。為了促進(jìn)這種方法,使用慣性運(yùn)動處理單元(MPU)131來測量在XYZ軸上的靜態(tài)重力。在無線數(shù)據(jù)包傳輸內(nèi),這些值由微控制器單元(MCU)130讀取,并且由微控制器單元(MCU)130將其作為手的傾斜取向傳輸至無線接收器裝置。使用相同的MPU 131來測量手的空間運(yùn)動。在任何軸平面中的移動會引起在MPU 131上的慣性力,在無線數(shù)據(jù)包傳輸內(nèi),該慣性力也由MCU 130讀取并且加以中繼。對于手勢檢測,手勢手套被配置為執(zhí)行以下:
i)靜態(tài)的位置手勢檢測,諸如,當(dāng)用戶將戴有手套的手舉起并且固定不動且5指全部舒展開時,檢測5個單元(5分鐘或者5個點(diǎn))的值;
ii)簡化的移動手勢檢測,諸如,解釋手在空中的簡單運(yùn)動來表示重?fù)?、或者投擲、或者“劃掉”;
iii)組合式手勢檢測,諸如,將某些意義分配給在將手指保持在某些位置的同時執(zhí)行的手的某些移動。
為了測量手的取向和空間運(yùn)動,MPU 131可以包括一個或者多個傳感器,諸如,磁力計(jì)、陀螺儀、慣性傳感器、加速度計(jì)、和肌動電流儀。磁力計(jì)可以測量用戶的身體部分相對于地球磁場的取向。陀螺儀可以測量用戶的身體部分在一個或者多個軸中的角度取向的變化。加速度計(jì)可以測量用戶的身體部分在一個或者多個(例如,三個)軸中的移動的變化。肌動電流儀可以測量在用戶肌肉收縮期間產(chǎn)生的電信號。MPU 131可以被配置為檢測在用戶皮膚上的張力或者應(yīng)力水平,并且對傳感器數(shù)據(jù)進(jìn)行編碼以與用戶的身體部分(例如,手)的一般配置對應(yīng)。在這種配置中,MPU 131可以檢測在用戶的手掌上的張力,或者檢測用戶的手是握拳還是手指伸展開。
在一些實(shí)現(xiàn)方式中,MPU 131可以包括傳感器(諸如,磁力計(jì)、陀螺儀、加速度計(jì)、和肌動電流儀)的冗余對(例如,二、四、六)。在這些配置中,MPU 131可以通過合并冗余并且對來自冗余傳感器的群的傳感器數(shù)據(jù)進(jìn)行平均來降低傳感器噪聲。通過對來自冗余傳感器的群的傳感器數(shù)據(jù)進(jìn)行平均,可以通過用來自正常運(yùn)轉(zhuǎn)的傳感器的傳感器數(shù)據(jù)對具有異常噪聲的傳感器數(shù)據(jù)進(jìn)行平均,來使在一個傳感器中發(fā)現(xiàn)的異常噪聲最小化。
在一些實(shí)現(xiàn)方式中,MPU 131可以包括用于降低在隨著時間流逝而累積的傳感器數(shù)據(jù)中的漂移或者不準(zhǔn)確/噪聲的多傳感器陣列。
在一些實(shí)現(xiàn)方式中,MPU 131是具有傳感器陣列的自定義印刷電路板。在一些實(shí)現(xiàn)方式中,MPU 131包括用于在傳感器與MCU 130之間傳輸數(shù)據(jù)的多主多從單端串行計(jì)算機(jī)總線。MCU 130可以使用由Philips開發(fā)的I2C協(xié)議來處理來自MPU 131的傳感器數(shù)據(jù)。在一些實(shí)現(xiàn)方式中,每個傳感器是可尋址的,并且總線包含兩個輸出、時鐘信號、和傳感器數(shù)據(jù)。在每個時鐘周期中,MCU 130對來自每個傳感器的數(shù)據(jù)的一個位進(jìn)行采樣,直到對全部的傳感器數(shù)據(jù)都進(jìn)行了采樣。然后,MCU 130重復(fù)采樣過程。
一旦無線接收器裝置接收到數(shù)據(jù)包,將數(shù)據(jù)包經(jīng)歷一連串處理層,每個層設(shè)計(jì)為兼容地耦合或者去耦合,從而使手勢手套通用地適用于具有最小附加電子設(shè)備或者計(jì)算能力的寬范圍的現(xiàn)場應(yīng)用。圖17描述了用于攔截?cái)?shù)據(jù)包并且在將手勢手套傳輸?shù)拿總€變量的值傳送至更高的處理層之前對其進(jìn)行預(yù)處理的過程。該方法建立用于通信的基本層,該基本層可以按照軟件類別的形式標(biāo)準(zhǔn)化,可輸入到使用初級層的標(biāo)準(zhǔn)過程的封裝類別中以攔截手勢控制數(shù)據(jù)并且構(gòu)造更復(fù)雜的控制應(yīng)用。作為示例,在圖18中描述了更高級的類別或者過程以檢測預(yù)定義手勢或者手移動,以觸發(fā)程序、方法、宏等,并且進(jìn)一步觸發(fā)鏈。在圖19中描述了針對鼠標(biāo)控制的另一種應(yīng)用。對經(jīng)由藍(lán)牙、射頻(例如,振幅調(diào)制、頻率調(diào)制、相位調(diào)制)、或者WiFi由計(jì)算機(jī)接收的數(shù)據(jù)進(jìn)行解析并且將其轉(zhuǎn)換成代表鼠標(biāo)的位置X、Y值,并且可以對按鈕狀態(tài)進(jìn)行映射以模擬在計(jì)算機(jī)的駐留操作系統(tǒng)上的鼠標(biāo)移動和點(diǎn)擊。另外,手勢控制應(yīng)用和鼠標(biāo)控制應(yīng)用可以串接在一起,以通過組合使用手指、開關(guān)、和在手勢手套中的運(yùn)動傳感器來創(chuàng)建具有大量控制的更健壯的應(yīng)用。而且,左手手套和右手手套可以配合使用,以便甚至更好地控制接收器裝置。
在進(jìn)一步的細(xì)節(jié)中,仍然參照圖1至圖19的本發(fā)明,可以將手勢手套制作成若干商用大小(例如,小號、中號、和大號)以適合成年人和兒童最常見的手大小范圍。
可選地使用彈性得到改進(jìn)的壓合材料,使得可以按照僅若干預(yù)設(shè)的大小來生產(chǎn)手勢手套,該預(yù)設(shè)的大小仍然覆蓋了潛在用戶的大多數(shù)手大小。
就其構(gòu)造而言,可以使用本領(lǐng)域已知的任何適合的手套制作技術(shù)來組裝手勢手套。如圖1至圖19所示,在本發(fā)明的一個實(shí)施例中,按層來組裝手套,以使手勢手套輕薄、耐久且實(shí)用。從第一(最里面的)層開始,內(nèi)襯100由棉或者聚酯或者任何其它適合的材料的柔軟且舒適的共混物組成。安裝在內(nèi)襯100頂部的有:撓曲傳感器110和111、按鈕開關(guān)120、121和122、以及它們相應(yīng)的電力和通信布線112、113、123和124。在該布線層上方,引入了一層氈型材料140(或者任何其它適合的材料),用于隔離并且保護(hù)隨后的電子設(shè)備層。在該氈型材料140的中心設(shè)置有縫隙、孔口、或者切口141,以允許下層布線出現(xiàn)在放置在如圖9所示的氈型材料的頂部上的電子設(shè)備層上。微控制器單元(MCU)130、運(yùn)動處理單元(MPU)131、射頻傳輸單元(RFTX)132、和電池133、以及它們相應(yīng)的通信和電力布線都位于電子設(shè)備層中。然后,用另一層氈型材料(施加在圖10中的區(qū)域150、151和152中)覆蓋電子設(shè)備和撓曲傳感器,以在使用期間保護(hù)它們不受物理損壞,并且通過抑制由電子設(shè)備、傳感器、開關(guān)、和布線造成的任何突起來提供平滑輪廓或者對手套進(jìn)行修飾。最后,將手套形式的壓合材料放置在下方的全部層的頂部上,以產(chǎn)生成品手套。在一種實(shí)現(xiàn)方式中,最終手套組件的靈活性和手感非常接近具有滑動配合的現(xiàn)成的高品質(zhì)、高性能手套。在另一實(shí)現(xiàn)方式中,可以將自定義制造的支架、內(nèi)骨架、或者外骨架適配到手勢手套或者可以用其替代手勢手套的一個或者多個或者全部層,以便為附接至手勢手套的電子部件提供支撐。在又一實(shí)現(xiàn)方式中,在具有或者不具有類似服裝手套的一個或者多個覆蓋層的情況下,可以通過任何已知的手段將本發(fā)明的電子部件直接地和/或單獨(dú)地附接至用戶的手指、拇指、手掌或者手背。
本發(fā)明的各種實(shí)現(xiàn)方式的優(yōu)點(diǎn)包括,但不限于,由于其標(biāo)準(zhǔn)協(xié)議和基礎(chǔ)類別軟件而產(chǎn)生的即插即用能力。在其各種實(shí)現(xiàn)方式中,手勢手套提供準(zhǔn)許數(shù)百種不同手勢的多種控制輸入。ASCII數(shù)據(jù)包傳輸實(shí)現(xiàn)方式允許快速且容易地開發(fā)應(yīng)用,這些應(yīng)用可以將手勢手套用作與各種裝置的輸入接口。纖細(xì)靈活的外觀給用戶帶來穿戴普通手套的感受。一些實(shí)現(xiàn)方式采用在不同的可穿戴HMI裝置形狀因子(諸如,無指手套、適合一個或者多個手指或者適合另一身體部分(諸如,手腕、前臂、手肘、腳踝、腳、或者小腿中的一個或者多個)的套筒)中的類似的數(shù)據(jù)處理原理和部件。
在一些實(shí)現(xiàn)方式中,本發(fā)明是使其用戶能夠以更加動態(tài)且自然的方式與機(jī)電裝置或者電子裝置接口連接的可穿戴裝置。
圖20a是根據(jù)一些實(shí)現(xiàn)方式的主從環(huán)境2000的框圖,該主從環(huán)境2000包括可穿戴人機(jī)接口(HMI)裝置2001(其手勢手套是一種實(shí)現(xiàn)方式)和可由可穿戴HMI裝置控制的電子裝置2020。在一些實(shí)現(xiàn)方式中,主從環(huán)境100包括耦合至電子裝置2020(例如,無人駕駛飛行器、控制臺應(yīng)用、RF接收器裝置)的HMI裝置2001(例如,手勢手套)和用于互相連接這些部件的一種或者多種通信網(wǎng)絡(luò)2010。該一種或者多種網(wǎng)絡(luò)2010的示例包括局域網(wǎng)(LAN)和廣域網(wǎng)(WAN)(諸如,互聯(lián)網(wǎng))??蛇x地,通過使用任何已知的網(wǎng)絡(luò)協(xié)議,包括:各種有線或者無線協(xié)議(諸如,以太網(wǎng)、通用串行總線(USB)、FIREWIRE、全球移動通信系統(tǒng)(GSM)、增強(qiáng)數(shù)據(jù)GSM環(huán)境(EDGE)、碼分多址(CDMA)、時分多址(TDMA)、藍(lán)牙、Wi-Fi、互聯(lián)網(wǎng)語音傳輸協(xié)議(VoIP)、Wi-MAX、或者任何其它適合的通信協(xié)議),來實(shí)施該一種或者多種網(wǎng)絡(luò)2010。
在一些實(shí)現(xiàn)方式中,HMI裝置2001包括一個或多個傳感器2002和/或微控制器2004。一個或多個傳感器2002被配置為檢測用戶的取向和/或位置和/或移動和/或彎曲(即,手勢),并且生成與該取向和/或位置和/或移動和/或彎曲對應(yīng)的傳感器數(shù)據(jù)。微控制器2004被配置為對來自一個或多個傳感器2002的傳感器數(shù)據(jù)進(jìn)行采樣并且確定是否將傳感器數(shù)據(jù)或者對應(yīng)的手勢控制數(shù)據(jù)傳輸至電子裝置2020。如本文所述,微控制器2004可以被配置為在不同模式(諸如,低延遲模式和高精度模式)中操作,并且基于該模式將控制數(shù)據(jù)傳輸至電子裝置2020??刂茢?shù)據(jù)是數(shù)據(jù),該數(shù)據(jù)在由電子裝置2020處理時使電子裝置2020執(zhí)行動作(例如,執(zhí)行鼠標(biāo)點(diǎn)擊功能或者駕駛無人駕駛飛行器)。
在一些實(shí)現(xiàn)方式中,電子裝置2020可以包括應(yīng)用2022和/或手勢庫2024、和/或智能手勢檢測算法2026。該應(yīng)用2022被配置為處理從HMI裝置2001接收的控制數(shù)據(jù)并且執(zhí)行使電子裝置2020執(zhí)行動作的命令。在一些實(shí)現(xiàn)方式中,控制數(shù)據(jù)是傳感器數(shù)據(jù)。在這些實(shí)現(xiàn)方式中,應(yīng)用2022分析傳感器數(shù)據(jù)并且基于傳感器數(shù)據(jù)從手勢庫2024檢索手勢命令。手勢庫2024是與傳感器數(shù)據(jù)有關(guān)的手勢命令的數(shù)據(jù)庫。在圖19的標(biāo)題為“基于傳感器狀態(tài)執(zhí)行命令級聯(lián)”的部分中示出了手勢庫2024的示例。即使當(dāng)手勢庫2024不具有與傳感器數(shù)據(jù)有關(guān)的任何預(yù)設(shè)手勢命令時,智能手勢檢測算法2026也允許進(jìn)行手勢的智能檢測;相反,可以通過智能處理、猜測和/或在傳輸過程中計(jì)算來檢測新的手勢。如圖20a和20b所示,手勢庫和智能手勢檢測可以駐留在受控裝置自身(如圖20a)或者HMI裝置(如圖20b)上。
在一些實(shí)現(xiàn)方式中,從HMI裝置2001傳輸?shù)目刂茢?shù)據(jù)是手勢命令。在這些實(shí)現(xiàn)方式中,手勢庫2024可以存在于HMI裝置2001上。在這些實(shí)現(xiàn)方式中,微控制器2004可以分析傳感器數(shù)據(jù)并且基于傳感器數(shù)據(jù)從手勢庫2024檢索手勢命令。一旦將手勢命令傳輸至電子裝置2020,應(yīng)用2022執(zhí)行該命令并且使電子裝置2020執(zhí)行動作。
圖21是示出了圖20a的可穿戴HMI裝置2001的功能細(xì)節(jié)的框圖。
在一些實(shí)現(xiàn)方式中,HMI裝置2001包括控制處理單元一個或多個CPU(諸如,在圖20中示出的微控制器2002(即,MCU))、MPU 2102、一個或者多個網(wǎng)絡(luò)接口或者其它通信接口2104(例如,RFTX)、用戶界面2110、存儲器2106、和用于將這些部件互相連接的一條或者多條通信總線2108。通信總線2108可以包括將系統(tǒng)部件互相連接并且控制在系統(tǒng)部件之間的通信的電路(有時稱作芯片集)。
在一些實(shí)現(xiàn)方式中,HMI裝置2001包括一個或者多個慣性傳感器2116,該慣性傳感器2116直接地或者間接地確定用戶的身體部分的取向和移動。在一些實(shí)現(xiàn)方式中,位置/運(yùn)動傳感器316包括但不限于:陀螺儀、加速度計(jì)、和GPS裝置。在一些實(shí)現(xiàn)方式中,HMI裝置2001還可以包括一個或者多個撓曲傳感器2110,該撓曲傳感器2110確定用戶的身體部分的彎曲。在一些實(shí)現(xiàn)方式中,HMI裝置2001還可以包括一個或者多個按鈕傳感器2112,該按鈕傳感器2112檢測按鈕的由用戶發(fā)起的按壓。由任何上述傳感器按照任何組合產(chǎn)生的傳感器數(shù)據(jù)都可以由HMI裝置2001用于追蹤用戶手勢并且基于與追蹤到的用戶手勢對應(yīng)的手勢命令來控制電子裝置2020。
存儲器2106包括高速隨機(jī)存取存儲器(諸如,DRAM、SRAM、DDR RAM、或者其它隨機(jī)存取固態(tài)存儲器裝置);并且可選地包括非易失性存儲器(諸如,一個或者多個磁盤存儲裝置、光盤存儲裝置、閃存存儲器裝置、EPROM、EEPROM、或者其它已知的非易失性固態(tài)存儲裝置)。存儲器2016可選地進(jìn)一步包括與一個或多個CPU 2002遠(yuǎn)離地定位的一個或者多個存儲裝置(例如,云存儲)。存儲器2106,或者可替代地,在存儲器2106內(nèi)的一個或多個非易失性存儲器裝置包括非暫時性計(jì)算機(jī)可讀存儲介質(zhì)。在一些實(shí)現(xiàn)方式中,存儲器2106或者存儲器2106的計(jì)算機(jī)可讀存儲介質(zhì)存儲以下程序、模塊和數(shù)據(jù)結(jié)構(gòu)、或者它們的子集或者超集:
操作系統(tǒng)2120,該操作系統(tǒng)2120包括用于處理各種基本系統(tǒng)服務(wù)并且用于執(zhí)行硬件相關(guān)任務(wù)的過程;
網(wǎng)絡(luò)通信模塊2122(或者傳輸模塊),該網(wǎng)絡(luò)通信模塊2122用于經(jīng)由例如RFTX 2104(有線或者無線)和一種或者多種網(wǎng)絡(luò)2010(圖20a)(諸如,互聯(lián)網(wǎng)、其它廣域網(wǎng)、局域網(wǎng)、城域網(wǎng)等)將HMI裝置2001連接至電子裝置2020;
采樣模塊2124,該采樣模塊2124用于對來自多個傳感器2216、2110和2112的傳感器數(shù)據(jù)進(jìn)行采樣;
判定模塊2126,該判定模塊2126用于判定來自多個傳感器之一的傳感器數(shù)據(jù)是否滿足傳輸判據(jù);
生成模塊2127,該生成模塊2127用于當(dāng)在低延遲模式中操作時,基于來自一部分多個傳感器的傳感器數(shù)據(jù)來生成控制數(shù)據(jù);并且當(dāng)在高精度模式中操作時,基于來自全部多個傳感器的傳感器數(shù)據(jù)來生成控制數(shù)據(jù);以及
選擇模塊2128,該選擇模塊2128用于基于來自多個傳感器的傳感器數(shù)據(jù)來選擇用于可控裝置的手勢命令。
可以將上文識別的元件中的每一個存儲在HMI裝置2001的一個或者多個先前提到的存儲器裝置中,并且上文識別的元件中的每一個與用于執(zhí)行上文所述的功能的一組指令對應(yīng)。不需要將上文識別的模塊或者程序(即,多組指令)實(shí)施為單獨(dú)的軟件程序、過程、模塊或者數(shù)據(jù)結(jié)構(gòu),并且因此,在各種實(shí)現(xiàn)方式中,可以對這些模塊的各種子集進(jìn)行組合或者否則重新布置。在一些實(shí)現(xiàn)方式中,存儲器2106可選地存儲上文識別的模塊和數(shù)據(jù)結(jié)構(gòu)的子集。此外,存儲器2106可選地存儲上文未描述的附加模塊和數(shù)據(jù)結(jié)構(gòu)。
圖22是示出了可由圖20a的可穿戴HMI裝置2001控制的電子裝置2020的功能細(xì)節(jié)的框圖。在一些實(shí)現(xiàn)方式中,電子裝置2020包括一個或者多個處理單元(CPU)2204、一個或者多個網(wǎng)絡(luò)接口或者其它通信接口2204、存儲器2206、和用于將這些部件互相連接的一條或者多條通信總線2208。通信總線2208可以包括將系統(tǒng)部件互相連接并且控制在系統(tǒng)部件之間的通信的電路(有時稱作芯片集)。
在一些可選的實(shí)現(xiàn)方式中,電子裝置2020還包括使用一個或者多個輸出裝置來呈現(xiàn)圖形用戶界面(GUI)并且經(jīng)由一個或者多個輸出裝置接收用戶輸入的用戶界面。在一些可選的實(shí)現(xiàn)方式中,電子裝置2020包括用戶界面2210,該用戶界面2210包括零個或者多個顯示裝置2212(例如,屏幕或者監(jiān)視器)和零個或者多個輸入裝置或者機(jī)構(gòu)2214。該一個或者多個輸出裝置,可選地包括一個或者多個視覺顯示器并且可選地包括一個或者多個揚(yáng)聲器,使得能夠通過電子裝置2020呈現(xiàn)媒體內(nèi)容。在一些實(shí)現(xiàn)方式中,該一個或者多個輸入裝置包括便于用戶輸入的用戶界面部件(諸如,鍵盤、鼠標(biāo)、語音命令輸入單元或者麥克風(fēng)、觸屏顯示器、觸敏式輸入板、照相機(jī)、手勢捕捉相機(jī)、和/或其它輸入按鈕或者控制),并且可選地包括這種輸入裝置中的兩個或者更多個。此外,電子裝置2020可以使用麥克風(fēng)和語音識別、或者照相機(jī)和虹膜/面部識別來補(bǔ)充或者替代物理或者虛擬鍵盤。
存儲器2206包括高速隨機(jī)存取存儲器(諸如,DRAM、SRAM、DDR RAM、或者其它隨機(jī)存取固態(tài)存儲器裝置);并且可選地包括非易失性存儲器(諸如,一個或者多個磁盤存儲裝置、光盤存儲裝置、閃存存儲器裝置、EPROM、EEPROM、或者其它已知的非易失性固態(tài)存儲裝置)。存儲器2206可選地進(jìn)一步包括與一個或多個CPU 2002遠(yuǎn)離地定位的一個或者多個存儲裝置(例如,云存儲)。存儲器2206,或者可替代地,在存儲器2206內(nèi)的一個或多個非易失性存儲器裝置包括非暫時性計(jì)算機(jī)可讀存儲介質(zhì)。在一些實(shí)現(xiàn)方式中,存儲器2206或者存儲器2206的計(jì)算機(jī)可讀存儲介質(zhì)存儲以下程序、模塊和數(shù)據(jù)結(jié)構(gòu)、或者它們的子集或者超集:
操作系統(tǒng)2220,該操作系統(tǒng)2220包括用于處理各種基本系統(tǒng)服務(wù)并且用于執(zhí)行硬件相關(guān)任務(wù)的過程;
網(wǎng)絡(luò)通信模塊2222,該網(wǎng)絡(luò)通信模塊2222用于經(jīng)由一個或者多個通信網(wǎng)絡(luò)接口2204(有線或者無線)和一種或者多種網(wǎng)絡(luò)2010(圖20a)(諸如,互聯(lián)網(wǎng)、其它廣域網(wǎng)、局域網(wǎng)、城域網(wǎng)等)將電子裝置2020連接至HMI裝置2001;
應(yīng)用模塊2224,該應(yīng)用模塊2224用于分析來自HMI裝置2001的傳感器數(shù)據(jù)(即,控制數(shù)據(jù))以確定對應(yīng)的手勢命令和/或執(zhí)行手勢命令以使電子裝置2020執(zhí)行動作;
手勢庫2230,該手勢庫2230用于存儲手勢命令和對應(yīng)的傳感器數(shù)據(jù)并且處理對來自應(yīng)用模塊2224的手勢命令的請求。
可以將上文識別的元件中的每一個存儲在電子裝置2020的一個或者多個先前提到的存儲器裝置中,并且上文識別的元件中的每一個與用于執(zhí)行上文所述的功能的一組指令對應(yīng)。不需要將上文識別的模塊或者程序(即,多組指令)實(shí)施為單獨(dú)的軟件程序、過程、模塊或者數(shù)據(jù)結(jié)構(gòu),并且因此,在各種實(shí)現(xiàn)方式中,可以對這些模塊的各種子集進(jìn)行組合或者否則重新布置。在一些實(shí)現(xiàn)方式中,存儲器2206可選地存儲上文識別的模塊和數(shù)據(jù)結(jié)構(gòu)的子集。此外,存儲器2206可選地存儲上文未描述的附加模塊和數(shù)據(jù)結(jié)構(gòu)。
在一些實(shí)現(xiàn)方式中,電子裝置2020的至少一些功能由HMI裝置2001執(zhí)行,并且這些功能的對應(yīng)的子模塊可以位于HMI裝置2001內(nèi)。此外,在一些實(shí)現(xiàn)方式中,HMI裝置2001的至少一些功能由電子裝置2020執(zhí)行,并且這些功能的對應(yīng)的子模塊可以位于電子裝置2020內(nèi)。圖20所示的HMI裝置2001和電子裝置2020僅僅是示例性的,并且,在各種實(shí)現(xiàn)方式中,用于實(shí)現(xiàn)本文描述的功能的模塊的不同配置都是可能的。
要考慮,通過使用本文描述的裝置和技術(shù),用戶可以采用HMI裝置2001的任何控制形式(按鈕、手指、運(yùn)動、傳感器、開關(guān)、微型操縱桿等)來定義數(shù)百種自定義手勢并且實(shí)現(xiàn)數(shù)百種自定義手勢命令,該自定義手勢命令在執(zhí)行時使電子裝置2020執(zhí)行動作。除了其它原因之外,這可能是由于所公開的處理技術(shù)、冗余傳感器所允許的準(zhǔn)確度和/或所公開的彎曲傳感器所允許的精度。
為了創(chuàng)建自定義手勢,可以將在HMI裝置或者另一種電子裝置上執(zhí)行的手勢手套控制臺應(yīng)用放到學(xué)習(xí)模式中,在學(xué)習(xí)模式期間,由穿戴手勢手套的用戶/操作者執(zhí)行自定義手勢的重復(fù)試驗(yàn)。
在使用行業(yè)標(biāo)準(zhǔn)模式識別算法的當(dāng)前最佳情況應(yīng)用中,需要對相同的手勢模式進(jìn)行大約一百次試驗(yàn),以針對給定的自定義手勢建立良好的統(tǒng)計(jì)數(shù)據(jù)集,以便降低數(shù)據(jù)方差并且估算適當(dāng)?shù)呐卸ㄟ吔缫员阍诂F(xiàn)場應(yīng)用中重復(fù)使用手勢模式。這些技術(shù)仍然處于研發(fā)中。
與此相反,對于待通過模式識別算法適當(dāng)?shù)刈R別的自定義手勢,手勢手套控制臺應(yīng)用需要不超過十次的訓(xùn)練重復(fù)。通過使用加權(quán)統(tǒng)計(jì)措施(包括:來自融入到針對自定義手勢能夠利用更少的訓(xùn)練集來更好地預(yù)測判定邊界的新計(jì)算方法中的K近鄰、動態(tài)時間規(guī)整、支持向量機(jī)和非線性相關(guān)的部分算法的組合)的算法或者方程式來實(shí)現(xiàn)這點(diǎn)??梢詫碜赃@種方法的預(yù)測輸出直接用于低延遲應(yīng)用,或者進(jìn)一步將其經(jīng)歷附加的識別層(諸如神經(jīng)網(wǎng)絡(luò)、決策樹、或者用于高精度應(yīng)用的隱馬爾柯夫)。
一旦將自定義手勢添加至手勢庫,可以從控制臺應(yīng)用使用手勢庫或者可以將手勢庫上傳至手勢手套MCU以便直接現(xiàn)場使用。
本文描述的每一個方法通常受存儲在計(jì)算機(jī)可讀存儲介質(zhì)中并且由一個或者多個服務(wù)器或者客戶端裝置的一個或者多個處理器執(zhí)行的指令支配。不需要將上文識別的模塊或者程序(即,多組指令)實(shí)施為單獨(dú)的軟件程序、過程、或者模塊,并且因此,在各種實(shí)現(xiàn)方式中,可以對這些模塊的各種子集進(jìn)行組合或者否則重新布置。
出于解釋的目的,已經(jīng)參照特定實(shí)現(xiàn)方式對上面的說明進(jìn)行了描述。然而,上述說明性的討論不旨在詳盡地展現(xiàn)所公開的精確形式或者限制所公開的精確形式。鑒于上文的教導(dǎo),許多修改和變型都是可能的。選擇并且描述實(shí)現(xiàn)方式是為了更好地解釋本發(fā)明的原理和其實(shí)際應(yīng)用,從而使本領(lǐng)域的技術(shù)人員能夠更好地利用本發(fā)明和具有各種修改的實(shí)現(xiàn)方式,以適應(yīng)于所預(yù)期的特定使用。