用戶接口和用于從用戶接口的第一操作模式變換成3d手勢模式的方法
【專利摘要】提出一種用戶接口和用于從用戶接口的第一操作模式變換3D手勢模式的方法，借助于3D手勢模式用戶接口的操作可通過多個在空間中自由實(shí)現(xiàn)的手勢（下面稱為3D手勢）實(shí)現(xiàn)。方法包括步驟：?在預(yù)定義的區(qū)域中借助于傳感器檢測用戶的手部(4)，?識別用戶的手部(4)的預(yù)定義的姿勢和/或用戶的手部(4)的預(yù)定義的運(yùn)動，以及?從第一操作模式變換成3D手勢模式。
【專利說明】
用戶接口和用于從用戶接口的第一操作模式變換成3D手勢模式的方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及用戶接口以及用于用戶接口的第一操作模式變換成3D手勢模式的方法，借助于3D手勢模式用戶接口的操作可通過多個在空間中自由實(shí)現(xiàn)的手勢實(shí)現(xiàn)。尤其是本發(fā)明涉及通過輕松然而安全地初始化3D手勢模式避免錯誤操作步驟。
【背景技術(shù)】
[0002]在自由空間中的手勢操作非常受歡迎。借助于這種3D手勢用戶可以與人機(jī)接口通信，而不用與輸入設(shè)備身體接觸。例如通過基于光學(xué)和/或紅外的系統(tǒng)識別手勢并且轉(zhuǎn)換為控制命令。對于3D手勢操作的開始和接下來操作的實(shí)現(xiàn)在現(xiàn)有技術(shù)中已知不同的方法。
[0003]DE102012000263A1公開方法和設(shè)備用于通過使用在三維空間中實(shí)現(xiàn)的手勢操作車輛中的功能。如果通過在車輛的頂蓋區(qū)域中布置的檢測設(shè)備在有效檢測區(qū)域中對于第一預(yù)定持續(xù)時(shí)間檢測到使用者的手部或手指，則激活手勢控制。對于使用者的學(xué)習(xí)過程提出，通過光學(xué)和/或聲學(xué)反饋在手勢操作期間實(shí)現(xiàn)使用者的盲操作。
[0004]DE102006037156A1描述交互的操作設(shè)備，通過操作設(shè)備實(shí)現(xiàn)在顯示設(shè)備表示的圖形內(nèi)容的手勢操作。根據(jù)確定的操作意圖最優(yōu)地表示用于激活與其相關(guān)聯(lián)的功能的在顯示設(shè)備上表示的圖形內(nèi)容。例如在接近按鈕的情況下放大地表示按鈕。
[0005]DE102009008041A1公開用于用觸摸屏操作機(jī)動車的方法，其中設(shè)置接近傳感器用于識別用于實(shí)現(xiàn)或者初始化機(jī)動車的功能的實(shí)現(xiàn)的手勢。如果在觸摸屏的周圍實(shí)現(xiàn)手部的手勢而不觸摸觸摸屏，則實(shí)現(xiàn)機(jī)動車的功能。
[0006]在現(xiàn)有技術(shù)中已知方法沒有盡可能重復(fù)利用簡化手勢操作的初始化的技術(shù)可能性。在此本發(fā)明的任務(wù)在于滿足前述需求。

【發(fā)明內(nèi)容】

[0007]根據(jù)本發(fā)明前述任務(wù)通過具有權(quán)利要求1所述特征的方法以及通過具有權(quán)利要求6所述特征的用戶接口解決。此外提出用于解決該任務(wù)的用戶終端裝置，計(jì)算機(jī)程序產(chǎn)品，信號序列和運(yùn)輸工具。該方法用于從第一操作模式(其中用于開始用戶接口或者與其以通信技術(shù)連接的EDV-設(shè)施的多個功能的3D手勢操作不可能)變換從3D手勢模式(借助于3D手勢模式用戶接口的操作可通過多個在空間中自由實(shí)現(xiàn)的手勢實(shí)現(xiàn))。第一操作模式可以例如完全在操作上通過以硬件設(shè)計(jì)的按鈕，旋轉(zhuǎn)壓力調(diào)節(jié)器，移動/滑動變阻器等等，并且備選地或附加地通過使用顯示單元(例如觸摸屏)的觸摸敏感的表面設(shè)計(jì)。換句話說在第一操作模式中不通過3D手勢調(diào)用與圖形內(nèi)容關(guān)聯(lián)的功能。在3D手勢模式的開始在第一步驟中在傳感器的預(yù)定義的檢測區(qū)域中檢測用戶的手部。傳感器可以設(shè)計(jì)成例如光學(xué)傳感器和/或紅外-傳感器(例如紅外-LED-板條(Leiste))。原則上可以使用全體在用于識別3D手勢的現(xiàn)有技術(shù)中已知并且證明有效的傳感器。在第二步驟中識別用戶的手部的預(yù)定義的姿勢和/或用戶的手部的預(yù)定義的運(yùn)動。用戶的手部的預(yù)定義的姿勢和/或手部的預(yù)定義的運(yùn)動可以原則上任意或者以合適的方式選擇。僅重要的是，手部的預(yù)定義的姿勢或者預(yù)定義的運(yùn)動在3D手勢模式的開始進(jìn)行預(yù)定義。相對于現(xiàn)有技術(shù)在此不僅適合于在預(yù)定義的區(qū)域中手部的存在，從而盡可能避免從第一操作模式到3D手勢模式的轉(zhuǎn)換的偶然發(fā)動。
[0008]從屬權(quán)利要求示出本發(fā)明的優(yōu)選改進(jìn)方案。
[0009]優(yōu)選地根據(jù)本發(fā)明的方法包括開始定時(shí)器。定時(shí)器可以例如響應(yīng)于識別用戶手部的預(yù)定義的姿勢和/或響應(yīng)于識別用戶手部的預(yù)定義的運(yùn)動開始。在這個改進(jìn)方案中首先如果預(yù)定義的姿勢和/或運(yùn)動在定時(shí)器到期之前沒有結(jié)束，則轉(zhuǎn)換到3D手勢模式。換句話說在定時(shí)器到期時(shí)檢查，預(yù)定義的姿勢/運(yùn)動是否還繼續(xù)并且首先響應(yīng)于兩個條件從第一操作模式轉(zhuǎn)換到3D手勢模式。
[0010]預(yù)定義的姿勢可以包括例如在用于3D手勢-識別的使用的傳感器的方向上和/或在用戶接口的顯示單元的方向上打開的手掌。在此打開的手掌基本上位于平行于顯示單元的表面或者基本上垂直于傳感器的方向。附加地作為預(yù)定義的姿勢的條件可以要求，手部的手指以預(yù)定義的方式叉開和/或伸展。備選地或附加地可以預(yù)定義一個或多個其他手勢，以便開始或結(jié)束手勢操作。對此的其他示例為所謂的“拇指向上”手勢或抓握手勢(例如或多個或所有手指尖的相聚或者在使用的傳感器的方向上和/或在用戶接口的顯示單元的方向上打開的手部姿勢的拳頭的緊握)。這種手勢證實(shí)為傳感器可更安全識別并且在此為適合用于3D手勢模式的開始。
[0011]可選地響應(yīng)于識別手部的預(yù)定義的姿勢或者手部的預(yù)定義的運(yùn)動關(guān)于3D手勢模式這時(shí)激活的光學(xué)和/或聲學(xué)通知可以輸出到用戶。備選地或附加地該通知還可以響應(yīng)于完成的轉(zhuǎn)換到3D手勢-模式實(shí)現(xiàn)。這樣避免了，盡管3D手勢操作可已經(jīng)實(shí)現(xiàn)，用戶不必要長地占據(jù)預(yù)定義的姿勢或者實(shí)施運(yùn)動。例如根據(jù)本發(fā)明設(shè)計(jì)的車輛的駕駛員可以快速又獲得其駕駛?cè)蝿?wù)，這提高了交通安全性。作為光學(xué)通知例如手部符號可在顯示單元的圖形內(nèi)容的邊緣區(qū)域中表示，尤其是動畫示出。備選地或附加地聲音信號，卡搭噪聲或語音輸出實(shí)現(xiàn)作為聲學(xué)通知。所述通知表示不觸目的可能性，通知用戶關(guān)于3D手勢模式的成功開始。
[0012]根據(jù)本發(fā)明的第二方面提出用戶接口，其包括傳感器用于檢測用戶的手部在空間中自由實(shí)現(xiàn)的手勢。此外用戶接口具有顯示單元用于表示自由選擇的圖形內(nèi)容。對此顯示單元可以例如設(shè)計(jì)為矩陣屏幕，其在運(yùn)輸工具的儀表板中作為組合儀表和/或作為中央信息顯示器嵌入。附加地設(shè)置評估單元(其例如可以包括可編程處理器)用于識別傳感器的信號中的多個手勢。在汽車環(huán)境中這種評估單元還稱為“電子控制裝置(ECU)”。評估單元設(shè)立成識別用戶的手部的預(yù)定義的姿勢和/或用戶的手部的預(yù)定義的運(yùn)動。對此評估單元可以分析檢測的運(yùn)動模式并且與(例如在本地或無線連接的數(shù)據(jù)庫)存儲的參考進(jìn)行比較。如果比較成功，換句話說也就是識別的3D手勢與3D手勢模式的開始關(guān)聯(lián)，則評估單元將根據(jù)本發(fā)明的用戶接口從第一操作模式(其中雖然識別單獨(dú)的在3D手勢模式的開始設(shè)置的手勢，但不是多個3D手勢的使用與不同的功能調(diào)用結(jié)合)置換為3D手勢模式(其中，這成為可能)。特征，特征組合和由此得出的優(yōu)點(diǎn)相應(yīng)于連同根據(jù)本發(fā)明的方法實(shí)施的如此明顯，從而為了避免重復(fù)參考上面實(shí)施。
[0013]優(yōu)選地傳感器可以是光學(xué)傳感器，例如在運(yùn)輸工具的頂蓋上布置。備選地或附加地還可以在紅外區(qū)域工作的傳感器中設(shè)置，以實(shí)現(xiàn)或支持手勢識別。
[0014]優(yōu)選地可以設(shè)置光學(xué)和/或聲學(xué)輸出單元用于輸出關(guān)于3D手勢模式的成功開始的通知。在LED或矩陣-顯示器為光學(xué)的輸出單元時(shí)，優(yōu)選地?fù)P聲器用于輸出聲學(xué)通知(例如語音輸出，聲音信號，噪聲)。
[0015]根據(jù)本發(fā)明的第三方面提出計(jì)算機(jī)程序產(chǎn)品(例如數(shù)據(jù)存儲器)，其上存儲指令，其使得根據(jù)本發(fā)明的第二提及的方面的用戶接口的評估單元的可編程處理器能夠執(zhí)行根據(jù)第一提及的發(fā)明方面的方法的步驟。計(jì)算機(jī)程序產(chǎn)品可以設(shè)計(jì)為CD，DVD，藍(lán)光盤，閃速存儲器，硬盤，RAM/R0M，高速緩存等等。
[0016]根據(jù)本發(fā)明的第四方面提出表示信號序列的指令，其使得根據(jù)本發(fā)明的第二提及的方面的用戶接口的評估單元的可編程處理器能夠執(zhí)行根據(jù)第一提及的本發(fā)明方面的方法步驟。這樣還將對于下列情況以信息技術(shù)提供指令置于保護(hù)之下:在此要求的存儲介質(zhì)位于所附權(quán)利要求的適用范圍之外。
[0017]根據(jù)本發(fā)明的第五方面提出用戶終端裝置，其可設(shè)計(jì)成例如便攜電子裝置。尤其是電子無線通信裝置(如智能電話，平板-PC或筆記本電腦/膝上型電腦)適合于通過根據(jù)本發(fā)明的用戶接口擴(kuò)展并且使得變成用戶友好可操作。便攜用戶終端裝置經(jīng)常具有總體需要的硬件以便于支持3D手勢操作。此外關(guān)于用戶終端裝置和與其相關(guān)的特征和優(yōu)點(diǎn)參考上面實(shí)施。
[0018]根據(jù)本發(fā)明的第六方面提出運(yùn)輸工具，其可以設(shè)計(jì)成例如汽車，運(yùn)輸器，卡車，飛行器和/或船舶。根據(jù)本發(fā)明運(yùn)輸工具包括用戶接口，如其連同第二提及的本發(fā)明方面上面詳細(xì)所述的一樣。顯示單元可以設(shè)計(jì)成固定嵌入到運(yùn)輸工具的儀表板中的中央屏幕和/或作為組合儀表。這樣運(yùn)輸工具同樣設(shè)立用于解決根據(jù)本發(fā)明的任務(wù)或者用于在根據(jù)本發(fā)明的方法中使用。
【附圖說明】
[0019]下面參考所附附圖詳細(xì)描述本發(fā)明的實(shí)施例。在附圖中:
圖1是根據(jù)本發(fā)明設(shè)計(jì)的汽車的實(shí)施例中的根據(jù)本發(fā)明的用戶接口的實(shí)施例的組件的示意概覽；
圖2是根據(jù)本發(fā)明設(shè)計(jì)的用戶終端裝置的實(shí)施例中的根據(jù)本發(fā)明的用戶接口的實(shí)施例的組件的示意概覽；
圖3是用于解釋根據(jù)本發(fā)明的方法的實(shí)施例的第一方法步驟的表示；
圖4是根據(jù)本發(fā)明可使用的手勢的選擇；
圖5是用于解釋根據(jù)本發(fā)明的方法的第二實(shí)施例的第一方法步驟的表示；以及圖6是闡明根據(jù)本發(fā)明的方法的實(shí)施例的步驟的流程圖。
【具體實(shí)施方式】
[0020]圖1示出作為運(yùn)輸工具的汽車10，其中根據(jù)本發(fā)明的用戶接口的屏幕3作為顯示單元嵌入到汽車10的儀表板中。在屏幕3之下布置傳感器5，所述傳感器在屏幕3之前在空間中展開檢測區(qū)域9。設(shè)置揚(yáng)聲器11用于輸出用戶接口 I的通知。最后用于提供用于手勢識別的預(yù)定義的參考的數(shù)據(jù)存儲器還包含在汽車10中。所述的組件以信息技術(shù)連接到以電子控制裝置7的形式的評估單元。此外電子控制裝置7設(shè)立用于在屏幕3上表示圖形內(nèi)容2。
[0021]圖2示出關(guān)于以智能電話形式的根據(jù)本發(fā)明的用戶終端裝置20的實(shí)施例中的根據(jù)本發(fā)明的用戶接口的實(shí)施例的組件的概覽。智能電話的屏幕3是顯示單元，微處理器7是評估單元，閃速存儲器8是存儲介質(zhì)并且揚(yáng)聲器11是根據(jù)本發(fā)明的用戶接口 I的信號傳送器。附加地紅外-LED-板條5作為傳感器與微處理器7以信息技術(shù)連接。后者還與天線17耦合以便無線地與無線基礎(chǔ)設(shè)施或者其他用戶終端裝置通信。智能電話20的鍵盤6部分自由切割(freigeschnitten)，以便于可以看到位于其后的組件。
[0022]圖3示出操作步驟，其中在作為顯示單元的屏幕3上通過用戶的手部4操作菜單2用于選擇作為圖形內(nèi)容的無線電發(fā)生器。在3D手勢操作的開始用戶的手部4實(shí)施在用戶接口的檢測區(qū)域中的預(yù)定義的手勢。在示例中它是，打開的手部指向屏幕3的方向上并且手部4的五個手指保持伸展并且適度叉開。作為其響應(yīng)(未示出)評估單元設(shè)立成還將手部4的其他手勢轉(zhuǎn)換成控制屏幕3上的菜單2的命令。僅僅可選地可以規(guī)定，手部4的示出的姿勢必須對于固定預(yù)定義的時(shí)間占用或者保持。
[0023]圖4示出與根據(jù)本發(fā)明的用戶接口I交互的可能的手部姿勢和手勢。在子圖a中手部4的打開的手掌指向屏幕3的方向上。手部4的手指伸展并且(輕微)叉開的。在子圖b中表示手部4的指示手勢，其中僅指示手指伸展，其余手指收縮到拳頭。在子圖c中說明指點(diǎn)手勢或者點(diǎn)擊手勢，其中手部4的指示手指首先伸展并且隨后在屏幕3的方向上下翻。
[0024]圖5示出操作步驟，其跟隨在圖3中討論的登記過程可接在成功3D手勢操作之后。用于3D手勢操作的結(jié)束并且因此為了保護(hù)根據(jù)本發(fā)明的用戶接口防止偶然手勢操作，打開的具有伸展以及(適度)叉開的手指指向屏幕3的方向的手部4沿著箭頭P從傳感器(兩個都未示出)的檢測區(qū)域引到外面。換句話說根據(jù)本發(fā)明還規(guī)定，用戶的手部4的預(yù)定義的姿勢和/或用戶的手部4的運(yùn)動設(shè)置用于3D手勢模式的結(jié)束。這樣用戶可以獨(dú)立決定，用于3D手勢操作的可能性是否繼續(xù)存在(在這種情況下手部4在沒有預(yù)定義的姿勢/運(yùn)動的情況下從用戶接口的檢測區(qū)域引到外面)，或他是否想要如前所述結(jié)束3D手勢模式。
[0025]圖6示出用于從用戶接口的第一操作模式轉(zhuǎn)換到3D手勢模式的根據(jù)本發(fā)明的方法的實(shí)施例的方法步驟。在第一步驟100中在顯示單元上表示圖形內(nèi)容，所述圖形內(nèi)容適合隨后關(guān)于3D手勢操作。對此用戶將其手部導(dǎo)引到用戶接口的傳感器的預(yù)定義的檢測區(qū)域中。在步驟200中用戶的手部通過傳感器檢測并且在步驟300中檢測用戶手部的預(yù)定義的姿勢和/或運(yùn)動。尤其是對此適合的是一方面?zhèn)鞲衅骺砂踩貦z測并且然而還是在用戶工作時(shí)與一般姿勢/運(yùn)動的良好區(qū)分的手勢。在步驟400中開始定時(shí)器，定時(shí)器的到期提出用于3D手勢模式的開始的另外的條件。如果定時(shí)器到期，在預(yù)定義的姿勢/運(yùn)動結(jié)束之后(是)，則系統(tǒng)留著第一操作模式中。相應(yīng)地在這種情況下方法返回步驟100。如果定時(shí)器到期，在用戶手部的預(yù)定義的姿勢/運(yùn)動結(jié)束之前，則系統(tǒng)在步驟500中從第一操作模式轉(zhuǎn)換到3D手勢模式并且在步驟600中輸出光學(xué)和聲學(xué)關(guān)于下列的通知:成功激活3D手勢模式。
[0026]此外當(dāng)根據(jù)連同所附附圖解釋的實(shí)施例詳細(xì)描述根據(jù)本發(fā)明的方面和有利實(shí)施方式時(shí)，對于技術(shù)人員來說在不背離本發(fā)明的范圍的情況下表示的實(shí)施例的特征的修改和組合是可能的，本發(fā)明的保護(hù)范圍通過所附權(quán)利要求來限定。
[0027]附圖標(biāo)記列表I用戶接口
2菜單 3屏幕4用戶的手5傳感器7電子控制裝置8數(shù)據(jù)存儲器9檢測區(qū)域10汽車11揚(yáng)聲器100-600方法步驟P箭頭
【主權(quán)項(xiàng)】
1.一種用于從用戶接口(I)的第一操作模式變換成3D手勢模式的方法，借助于所述3D手勢模式能通過下面稱為3D手勢的多個在空間中自由實(shí)現(xiàn)的手勢實(shí)現(xiàn)用戶接口(I)的操作，包括下列步驟: -借助于傳感器(5)檢測(200)在預(yù)定義的區(qū)域(9)中的用戶的手部(4)， -識別(300)用戶手部(4)的預(yù)定義的姿勢和/或用戶的手部(4)的預(yù)定義的運(yùn)動，以及 -從第一操作模式變換(500)為所述3D手勢模式。2.如權(quán)利要求1所述的方法，還包括步驟 -開始(400)定時(shí)器，并且在在定時(shí)器到期之前用戶的手部(4)的識別的預(yù)定義的姿勢和/或用戶的手部(4)的預(yù)定義的運(yùn)動未結(jié)束的條件下， -從所述第一操作模式變換(500)成所述3D手勢模式。3.如權(quán)利要求2所述的方法，其中所述定時(shí)器響應(yīng)于用戶的手部(4)的預(yù)定義的姿勢的識別(300)和/或用戶的手部(4)的預(yù)定義的運(yùn)動的識別(300)開始。4.如先前權(quán)利要求之一所述的方法，其中 -所述預(yù)定義的姿勢包括 -尤其是具有叉開的手指的在用于手勢識別的傳感器(5)的方向上和/或在顯示單元(3)的方向上打開的手掌， -和/或“拇指向上”手勢，和/或其中 -所述預(yù)定義的運(yùn)動包括抓握手勢。5.如先前權(quán)利要求之一所述的方法，還包括 輸出(600)關(guān)于所述3D手勢模式這時(shí)有效的光學(xué)和/或聲學(xué)通知。6.—種用戶接口，包括 -傳感器(5)，用于檢測(200)由用戶的手部(4)在空間中自由實(shí)現(xiàn)的手勢，下面稱為3D手勢， -顯示單元(3)，用于表示圖形內(nèi)容(2)，以及 -評估單元(7)，用于識別傳感器(5)信號中的多個手勢， 其中所述評估單元(7)設(shè)立成識別(300)用戶的手部(4)的預(yù)定義的姿勢和/或用戶的手部(4)的預(yù)定義的運(yùn)動，以及 所述用戶接口(I)作為其響應(yīng)從第一操作模式移動到3D手勢模式。7.如權(quán)利要求6所述的用戶接口，其中所述傳感器(5)是光學(xué)傳感器和/或在紅外區(qū)域中工作的傳感器。8.如權(quán)利要求6或7所述的用戶接口還包括，尤其是光學(xué)和/或聲學(xué)的輸出單元用于輸出關(guān)于所述3D手勢模式激活或者去激活的通知。9.用戶終端裝置，尤其是電子無線通信裝置，包括如權(quán)利要求6-8中任一項(xiàng)所述的用戶接口⑴。10.計(jì)算機(jī)程序產(chǎn)品，包括指令，當(dāng)其在如權(quán)利要求6-8中任一項(xiàng)所述的用戶接口(I)的可編程處理器(8)上執(zhí)行時(shí)，其促使所述用戶接口(I)執(zhí)行如權(quán)利要求1-5中任一項(xiàng)所述的方法的步驟。11.代表信號序列的指令，當(dāng)其在如權(quán)利要求6-8中任一項(xiàng)所述的可編程處理器(8)上執(zhí)行時(shí)，其促使所述用戶接口(I)，執(zhí)行如權(quán)利要求1-5中任一項(xiàng)所述的方法的步驟。12.—種運(yùn)輸工具，其包括如權(quán)利要求6-8中任一項(xiàng)所述的用戶接口(I)，其中所述顯示單元(3)設(shè)計(jì)為固定地嵌入運(yùn)輸工具(10)的儀表板中的中央屏幕和/或設(shè)計(jì)為運(yùn)輸工具(10)的組合儀表。
【文檔編號】G06F3/01GK106030462SQ201580009060
【公開日】2016年10月12日
【申請日】2015年2月6日
【發(fā)明人】H.維爾德, M.P.切爾尼克
【申請人】大眾汽車有限公司