交互式制圖識別的制作方法
【專利摘要】描述了交互式制圖識別。在一個示例中，接收指示制圖的類型的命令，并且觀察用戶制圖。基于所述命令來訪問與制圖類型相關(guān)聯(lián)的制圖模板的庫。將觀察到的制圖與所述制圖模板進行比較以便識別所述觀察到的制圖，并且向所識別的制圖指派屬性。
【專利說明】交互式制圖識別

【背景技術(shù)】
[0001]計算系統(tǒng)經(jīng)常依賴于鼠標(biāo)和鍵盤輸入來確定用戶創(chuàng)建的數(shù)字對象的外觀。鍵盤、鼠標(biāo)和游戲控制器輸入通常確定數(shù)字對象的行為。人們可以繪制對象并且將它們掃描到計算機中，允許一些徒手輸入，但是所掃描的制圖接著是一個單個對象。用戶具有有限的機會用于如何與對象進行交互，例如改變尺寸和改變顏色。輸入視覺信息的更加自然的方法將允許與計算設(shè)備的更加豐富的圖形交互。
[0002]平板計算機已經(jīng)用作輸入設(shè)備。典型地，平板計算機感測指示筆在特殊表面上的壓力，并且在屏幕上再現(xiàn)所繪制的形狀。平板計算機還可以用于修改照片和制圖并且作為類似于鼠標(biāo)的指向設(shè)備。在一些版本中，除了制圖表面以外的筆數(shù)字地記錄所繪制的輸入。這些筆使用光學(xué)傳感器以及有時特別標(biāo)記的紙張來感測和存儲制圖。
[0003]一些現(xiàn)有的計算系統(tǒng)將所繪制的對象識別為系統(tǒng)中的簡單的命令、字母數(shù)字符號或者匹配的對象。這些系統(tǒng)掃描制圖以便識別它。然而，這些交互的性質(zhì)被限制。
[0004]一些現(xiàn)有的計算系統(tǒng)將“空中姿勢”識別為簡單的命令，或者更常見地識別為到計算機游戲中的輸入?？罩凶藙菘梢酝ㄟ^由相機或者持有包括慣性傳感器的設(shè)備并且接著移動該設(shè)備的用戶觀察而進行識別。

【專利附圖】

【附圖說明】
[0005]在附圖中通過示例而非限制的方式說明了本發(fā)明的實施例，其中相似的附圖標(biāo)記指示相似的元件。
[0006]圖1是根據(jù)本發(fā)明實施例用戶繪制用于由計算機系統(tǒng)使用的鍵區(qū)的圖。
[0007]圖2是根據(jù)本發(fā)明實施例用戶繪制用于由計算機系統(tǒng)使用的搖桿的圖。
[0008]圖3是根據(jù)本發(fā)明另一實施例用戶繪制用于由計算機系統(tǒng)使用的鍵區(qū)的圖。
[0009]圖4是根據(jù)本發(fā)明另一實施例用戶繪制用于由計算機系統(tǒng)使用的搖桿的圖。
[0010]圖5是根據(jù)本發(fā)明另一實施例計算機繪制用于由計算機系統(tǒng)使用的鍵區(qū)的圖。
[0011]圖6是根據(jù)本發(fā)明實施例計算機系統(tǒng)解釋用戶制圖的處理流程圖。
[0012]圖7是根據(jù)本發(fā)明另一實施例計算機系統(tǒng)解釋用戶制圖的處理流程圖。
[0013]圖8是根據(jù)本發(fā)明實施例適合于實現(xiàn)本公開的處理的計算機系統(tǒng)的方框圖。
[0014]圖9是根據(jù)本發(fā)明實施例適合于實現(xiàn)本公開的處理的圖8的計算機系統(tǒng)的可選視圖的方框圖。

【具體實施方式】
[0015]本發(fā)明實施例提供一種以新的方式識別所繪制的輸入的系統(tǒng)。所繪制的輸入可以例如包括:用作鍵區(qū)的所繪制的數(shù)字鍵區(qū)；用作點擊設(shè)備的所繪制的鼠標(biāo)或“鼠標(biāo)區(qū)域”；“Line Rider”的繪圖游戲，其中線被徒手繪制并且計算機生成騎在所繪制的線上的字符。
[0016]圖1示出了適合于由本發(fā)明實施例使用的計算機系統(tǒng)的示例。計算機系統(tǒng)100具有典型地用于語音和視頻呼叫的相機102和麥克風(fēng)104。相機可以是用于三維視頻呼叫或者考慮到三維空中姿勢的解釋的立體相機。盡管示出了筆記本型計算機，但是板型計算機和平板計算機典型地具有類似的硬件特征?？蛇x地，可以使用智能電話、智能電視機、媒體播放器或便攜式游戲設(shè)備。當(dāng)根據(jù)下面描述的各種實施例的需要來配備相機和麥克風(fēng)時，也可以使用桌上型計算機。
[0017]在實施例中，本發(fā)明可以合并到個人計算機(PC)、膝上型計算機、超級膝上型計算機、平板計算機、觸摸板、便攜式計算機、手持計算機、掌上型計算機、個人數(shù)字助理(PDA)、蜂窩電話、組合蜂窩電話/PDA、電視機、智能設(shè)備(例如智能電話、智能平板計算機或智能電視機)、移動互聯(lián)網(wǎng)設(shè)備(MID)、消息傳送設(shè)備、數(shù)據(jù)通信設(shè)備等等。
[0018]將一張紙106放置在相機102的視域內(nèi)。該紙可以位于如圖所示的相同桌子上或者位于附近表面上。代替一張紙，可以使用任何書寫表面，例如白板、黑板或者諸如檢測制圖輸入并且在顯示器上顯示結(jié)果的顯示表面的電子表面。使用紙或類似的物品，用戶112能夠繪制并書寫任何期望的字和形狀。在圖1中，用戶寫出字“鍵區(qū)”108并且接著繪制鍵區(qū)的圖片110。
[0019]計算機系統(tǒng)觀察該紙并且檢測在該紙上寫的字鍵區(qū)。這取決于特定實施例可以使用各種書寫和符號識別實用程序中的任意一種來完成。在識別了工作鍵區(qū)之后，系統(tǒng)接著嘗試將該制圖識別為鍵區(qū)。字的識別允許系統(tǒng)將一組模板或形狀識別模式限制到可能與鍵區(qū)相對應(yīng)的那些模板或模式。這增加了制圖識別的可靠性和速度。在接著將該制圖識別為鍵區(qū)之后，用戶可以關(guān)于鍵區(qū)的制圖來執(zhí)行姿勢，并且輸入數(shù)字和字符，就好像它是鍵區(qū)一樣。
[0020]圖2示出了計算機系統(tǒng)的類似使用。在圖2的示例中，相同的計算機觀察用戶122已經(jīng)在一張紙126上寫出“搖桿”128。用戶接著繪制了某些東西120?；趽u桿的可能制圖的計算機系統(tǒng)能夠?qū)⑺L制的瓦片120識別為搖桿的某個部分。文本允許計算機系統(tǒng)將搖桿設(shè)計和特征應(yīng)用于制圖，使得該制圖，盡管它沒有緊密地類似于搖桿，將被按照這樣進行解釋。在所說明的示例中，五個瓦片(tile)可以例如被看作推按表面和發(fā)射按鈕。用戶可以接著觸摸該瓦片以便具有游戲桿命令在計算機系統(tǒng)上的效果。
[0021]圖3示出另一可選實施例，其中用戶132應(yīng)用不同的方案來指示所繪制的對象的性質(zhì)。用戶132在一張紙136上繪制了鍵區(qū)130，然而，代替寫出描述性字以便幫助計算機識別該制圖，用戶說出字“鍵區(qū)”138。計算機在麥克風(fēng)104中接收所說的話，將它應(yīng)用于語音識別系統(tǒng)以便識別該字，并且接著將該字識別為“鍵區(qū)”。
[0022]所說的話為計算機系統(tǒng)提供關(guān)于所繪制的對象的性質(zhì)的指示。計算機系統(tǒng)可以使用此來選擇與字“鍵區(qū)”相關(guān)聯(lián)的一組模板，并且接著識別與鍵區(qū)的特征相對應(yīng)的制圖的特征。如同所寫的字，可以具有指示計算機系統(tǒng)要用于識別制圖的模板的子集的不同的字。用戶也可以說或者寫數(shù)字板、計算器、加法機、數(shù)學(xué)或其它字。
[0023]圖4示出了輔助計算機識別制圖的進一步示例。在圖4中，用戶繪制了飛機的符號148。計算機觀察到這一制圖并且在紙146上對它進行識別。當(dāng)用戶接著繪制5個瓦片140時，計算機系統(tǒng)訪問與飛機符號相關(guān)聯(lián)的模板庫。這導(dǎo)致將所繪制的搖桿與搖桿控制和命令相關(guān)聯(lián)。
[0024]圖5示出了類似的示例，其中不是所繪制或者說出的指示，用戶提供諸如手勢的空中姿勢152?？梢允褂米藙莸膸靵碜R別由相機102觀察的手勢。所識別的姿勢可以接著用于選擇模板的庫或者將所述庫限制到模板的某個子集?？罩凶藙菘梢匀鐖D所示由手152執(zhí)行，或者它可以使用任何其它臂、足、頭或其它身體姿勢執(zhí)行。如果如圖4所示飛機搖桿被預(yù)期，則可以使用兩只手以便例如指示飛機。
[0025]作為進一步的可選形式，代替做手勢，手152可以使用鍵盤103或軌跡板105來向計算機系統(tǒng)指示命令?？梢园凑张c所繪制的、說出的或者做手勢的命令相同的方式來使用這一命令。特定的鍵盤或軌跡板命令可以基于上下文或特殊的工具，或者應(yīng)用可以用于做出選擇。對于具有諸如鼠標(biāo)、滾輪、游戲板或其它設(shè)備的額外或不同的輸入設(shè)備的計算機系統(tǒng)，可以代替或除了所示的鍵盤和軌跡板來使用這些輸入設(shè)備。在計算機系統(tǒng)顯示器上顯示的菜單系統(tǒng)可以用于確定用于匹配所繪制的對象的類別。例如，用戶可以選擇游戲模式。這將允許所繪制的搖桿被識別，即使該制圖沒有緊密地類似于搖桿。
[0026]語音或書寫命令也可以用于不僅輔助計算機系統(tǒng)識別對象，而且還賦予所繪制的對象以特定的物理屬性。語音命令、非繪制的姿勢或者觸摸輸入可以結(jié)合所繪制的輸入來使用以便改變系統(tǒng)如何解釋所繪制的符號。與繪制圓形相關(guān)聯(lián)，用戶可以說“藍(lán)色球”。這可以由計算機系統(tǒng)解釋以便不僅輔助計算機將所繪制的對象識別為球，而且還將所述球染成藍(lán)色用于顯示目的。計算機系統(tǒng)還可以使與球的類型相對應(yīng)的物理和三維屬性與該球相關(guān)聯(lián)。用戶可以接著使用那些屬性來與對象交互。
[0027]繪制、語音和姿勢輸入還允許用戶對于他們的制圖采用速記法。在圖2和圖4的示例中，用戶所繪制的5個瓦片并不緊密地類似于搖桿。然而，借助于繪制、語音或姿勢輸入，計算機系統(tǒng)仍然能夠識別該制圖。這一原理可以被擴展到其它類型的制圖。因此，用戶可以繪制部分鍵盤并且說“鍵盤”，并且系統(tǒng)接著可以將該制圖解釋為全鍵盤。用戶可以可選地繪制部分鼠標(biāo)并且說“鼠標(biāo)”用于類似的結(jié)果。繪制在紙上的鍵盤或鼠標(biāo)可以接著變?yōu)樘摂M3D對象，當(dāng)用戶朝向制圖做姿勢或者實際上物理地移動制圖時，該虛擬3D對象可以在計算機系統(tǒng)顯示器上被虛擬地“移動”或操控。虛擬輸入設(shè)備可以配置為適應(yīng)用戶在手和其它位置上的改變。
[0028]圖6示出了用于實現(xiàn)上面描述的示例的簡化處理流。在611，計算機系統(tǒng)接收指示用戶打算做出的制圖的類型的命令。如上面提及的，這一命令可以作為鍵按壓、菜單選擇、語音命令或另一制圖而被接收。在613，響應(yīng)于該命令，計算機系統(tǒng)訪問模板庫。模板將基于該命令被選擇，使得計算機系統(tǒng)具有要使用的模板的有限集合。選定的模板將是與命令相關(guān)聯(lián)的那些模板。
[0029]在615，計算機系統(tǒng)觀察用戶的制圖?？梢越?jīng)過相機或觸敏表面或者以另一方式觀察該制圖?？梢葬槍χ茍D中的反射性的變化、梯形失真、由劣質(zhì)筆的使用引起的不一致的線寬度和其它失真來校正該制圖。使用相機允許用戶使用所期望的任何繪制表面，同時使用已知的書寫表面和筆減少了圖像中的失真以及可能與識別和觀察制圖的相機相關(guān)聯(lián)的誤差。在617，計算機系統(tǒng)將該制圖與選定的模板進行比較。如果找到匹配，則在619，該制圖被識別。
[0030]在上面的示例中，制圖被識別為鍵區(qū)或搖桿，然而可以繪制任何各種各樣的其它物品。在621，計算機系統(tǒng)向所識別的制圖指派屬性。這些屬性可以是可訪問的功能、用戶輸入能力等等。可以使用與模板相關(guān)聯(lián)的信息來確定屬性。因此，如果制圖與鍵區(qū)模板匹配，則該模板可以包括關(guān)于觸摸制圖的特定部分被指派“9”數(shù)字鍵按壓的信息。模板可以包括“9”鍵的界限作為該模板的一部分。
[0031]圖7是在上面描述的用例中執(zhí)行的處理的可選的處理流程圖。在710，計算機系統(tǒng)發(fā)起并裝入任何期望的模板用于匹配。這些模板可以是用于匹配寫出的字、所說的話和空中姿勢以及用于制圖的模板。模板可以由操作系統(tǒng)、單獨的制圖識別應(yīng)用提供，允許用戶提供模板，或者它們可以是游戲或生產(chǎn)力應(yīng)用程序的一部分。
[0032]在712，用戶繪制符號或?qū)ο螅缟厦媸境龅逆I區(qū)或搖桿。制圖不需要精確地匹配任何特定的模塊或者對于這樣的對象的規(guī)定形式。
[0033]在714，用戶輸入用于在識別對象的使用時使用的命令。如上面提及的，該命令可以是寫出的字或符號、所說的字、姿勢或命令。例如，用戶可以敲打鍵盤上的鍵區(qū)或者使用跟蹤板和鼠標(biāo)按鈕來選擇鍵區(qū)。該命令向系統(tǒng)指示該系統(tǒng)能夠使用的制圖的類型以便減少可能的選擇或者甚至對系統(tǒng)強加選擇。在712繪制對象和在714指示對象的類型的兩個操作可以按照任意順序執(zhí)行。計算機系統(tǒng)接收這兩個輸入并且接著相應(yīng)地起作用。
[0034]在716，用戶接收并且識別用戶命令，并且在718，系統(tǒng)使用該命令來訪問可以應(yīng)用于制圖的制圖模板的庫。如果命令在制圖之前被接收，則計算機系統(tǒng)可以識別該命令并且在用戶在712進行制圖之前訪問該模板。另一方面，如果用戶首先繪制制圖，則系統(tǒng)可以在嘗試匹配該制圖之前等待命令被接收。
[0035]在720，計算機系統(tǒng)經(jīng)過它的相機輸入來感測制圖。典型地，這可以通過使用耦合到計算機系統(tǒng)的相機捕獲制圖的圖像來完成。以所捕獲的圖像或其它數(shù)字文件的形式的制圖可以接著被轉(zhuǎn)換為可以與其它數(shù)字文件匹配的數(shù)字形式。該形式可以是位圖或其它圖像文件，或者它可以是用戶的制圖的主要特征的抽象數(shù)學(xué)表示。
[0036]在722，計算機系統(tǒng)將所觀察的制圖與它在718訪問的制圖模板的組進行比較。這是基于在716的接收用戶命令的模板的有限組。該比較可以更快地完成，因為可能模板的數(shù)量被極大地減少。在724，系統(tǒng)選擇模板，并且如果它匹配所觀察的制圖，則在728，系統(tǒng)向該制圖的所繪制的元件指派屬性。系統(tǒng)循環(huán)經(jīng)過所有模板，并且如果沒有匹配被識別，則系統(tǒng)采取某一其它動作。它可以簡單地忽略該制圖。在稍后的時間，該系統(tǒng)可以在用戶返回到該制圖以便提供更多的細(xì)節(jié)或者對制圖進行校正之后嘗試進行另一匹配。該系統(tǒng)也可以通過向用戶顯示一些模板用于選擇或者通過請求用戶寫、說或鍵入對象是什么來請求用戶輔助。例如，該系統(tǒng)可以通過顯示對于該制圖的兩個或更多個可能的匹配來詢問用戶并且接著允許用戶選擇所述模板中的一個作為正確的匹配。
[0037]可選地，該系統(tǒng)可以做出它的最佳猜測并且使用用戶繪制的東西的近似。由于在714的附加命令，該近似是可能的。如上面提及的，用戶能夠?qū)憮u桿并且接著繪制看起來并不確切地像搖桿的某些東西。知道該制圖是搖桿的計算機系統(tǒng)可以接著將搖桿設(shè)計強加在該制圖上，而不是僅接受被非常好地完成的制圖。計算機可以向與搖桿屬性相對應(yīng)的五個瓦片中的每一個指派屬性。該瓦片可以被指派為按鈕或表面，取決于所匹配的模板。按照相同的方式，對于鍵區(qū)繪制的正方形可以被指派各種數(shù)量的板鍵的屬性。在右邊的較大正方形可以被指派為例如“ + ”鍵，而在底部上的正方形可以被指派為“O”鍵。五個瓦片的不清楚的一般化制圖可以被看作搖桿按鈕或表面，而不用看起來非常像它們。
[0038]該處理接著在712對于下一個用戶返回。該處理流可以在完全不相關(guān)的制圖上重新開始。例如用戶可能在紙上的一個位置中繪制搖桿，并且接著在該紙上的另一位置上繪制WASD鍵組合或者箭頭鍵組合。用戶可以接著用一只手操作鍵并且用另一只手操作搖桿。
[0039]該處理返回也允許用戶擴大制圖。在搖桿示例中，用戶可能輸入了搖桿命令并且將額外的觸發(fā)控制添加到該搖桿。計算機系統(tǒng)將接收該命令或者可以替代地識別用戶正在添加到搖桿制圖，并且接著尋找不同的模板來匹配增強的搖桿制圖。使用鍵盤，用戶可以僅以WASD開始，并且接著隨后添加空格鍵、字型變換鍵或者可能期望用于更多功能的其它鍵。
[0040]圖8是能夠支持上面討論的操作的計算環(huán)境的方框圖。鼠標(biāo)和系統(tǒng)可以被實現(xiàn)在各種不同的硬件架構(gòu)和形狀因子中，包括如圖9所示的。
[0041]命令執(zhí)行模塊801包括中央處理單元以便高速緩存并執(zhí)行命令并且在所示的其它模塊和系統(tǒng)當(dāng)中分配任務(wù)。它可以包括指令棧、存儲中間和最終結(jié)果的高速緩存以及存儲應(yīng)用和操作系統(tǒng)的海量存儲器。命令執(zhí)行模塊還可以用作系統(tǒng)的中央?yún)f(xié)調(diào)和任務(wù)分配單
J Li ο
[0042]屏幕渲染模塊821在一個或多個多屏幕上繪制對象用于使用戶看見。它可以適合于從下面描述的制圖跟蹤模塊806接收數(shù)據(jù)，并且在屏幕上渲染制圖的表示。屏幕渲染模塊還渲染用戶和制圖之間的交互，作為用于用戶正在操作的應(yīng)用的命令。
[0043]姿勢識別模塊822可以適合于識別并跟蹤用戶的手和臂的姿勢。這樣的模塊可以用于識別手、手指、手指姿勢、手移動和手相對于制圖的位置。例如，姿勢識別系統(tǒng)可以例如確定用戶做出了身體部分姿勢以便按下鍵盤上的虛擬按鈕，或者用戶做出了身體部分姿勢以便移動制圖的虛擬控制表面。姿勢識別系統(tǒng)可以耦合到相機或相機陣列、麥克風(fēng)或麥克風(fēng)陣列、觸摸屏或觸摸表面或者指向設(shè)備或者這些物品的某個組合，以便檢測來自用戶的姿勢和命令。
[0044]可以使用用于姿勢識別的各種技術(shù)中的任意一種。該系統(tǒng)可以用于識別手、手指、手指姿勢、手移動和手相對于制圖表面的位置。如果該姿勢與先前繪制和識別的對象以多種預(yù)定的方式交叉，則這一模塊將該姿勢與所匹配的對象的屬性進行組合以便確定計算系統(tǒng)將采取的動作。如果為否，則該姿勢作為純姿勢命令成立。該姿勢可以接著被轉(zhuǎn)換為到計算機系統(tǒng)的命令用于由命令執(zhí)行模塊801執(zhí)行。
[0045]制圖檢測模塊823可以配備有相機或其它傳感器以便跟蹤用戶的手或筆的位置或方位?？蛇x地，制圖檢測模塊的觸摸屏或觸摸表面可以包括觸摸屏傳感器。來自傳感器的數(shù)據(jù)可以被饋送到硬件、軟件、固件或其組合以便將在屏幕或表面上用戶的手的觸摸姿勢映射到相對應(yīng)的制圖或圖像。當(dāng)用戶暫停時或者當(dāng)用戶采取諸如姿勢或語音命令的明確的動作時，能夠假設(shè)所繪制的輸入是完整的。
[0046]制圖識別模塊825識別所繪制和書寫的輸入。它通過使制圖的部分與存儲在計算設(shè)備中的模板對象匹配來解釋所繪制的輸入。這一模塊可以被發(fā)起以便對照模塊的整個庫進行匹配，或者它能夠使用其它視覺輸入或用戶命令來對照庫的子集進行匹配。制圖識別模塊也可以包括梯形失真校正。當(dāng)圖像以一角度被捕獲時，它們必須在對照模板庫進行匹配之前針對由角度視圖引起的失真而被校正。梯形失真校正可以通過關(guān)于相機和書寫表面的位置的知識來幫助。對于所示的筆記本計算機示例，可以使用在屏幕邊框的頂部處的相機從擱在桌子上的殼體的底部起的近似高度值來配置計算機。這一值由殼體的設(shè)計確定并且對于具有相同殼體的每一個計算機是相同的。
[0047]制圖對象模板模塊804存儲諸如鍵區(qū)、觸摸板和命令按鈕的輸入設(shè)備的模板。當(dāng)用戶繪制具有匹配特性的輸入設(shè)備時，模板的屬性將確定制圖的行為以及用戶交互是否將影響它。
[0048]制圖跟蹤模塊806跟蹤復(fù)雜制圖在級和層中的發(fā)展。當(dāng)用戶在級中添加復(fù)雜對象的元素時，這一模塊將確定在當(dāng)前和先前繪制的輸入之間的增量。如果該制圖已經(jīng)相對于計算設(shè)備移動，則這一模塊將確定新的方位以便允許連續(xù)的輸入，盡管制圖正在被移動。
[0049]對象和速度及方向模塊803可以適合于通過從制圖跟蹤模塊806接收輸入來估計作為虛擬對象正在移動的制圖的動力學(xué)，例如其軌跡、速度(線性速度或者角速度)、動量(線性動量或者角動量)等等。對象和速度及方向模塊可以進一步適合于例如通過估計用戶姿勢的加速度、偏轉(zhuǎn)等等來估計任何物理力的動力學(xué)。對象和速度及方向模塊還可以使用圖像運動、尺寸和角度改變來估計對象的速度，例如手和手指的速度。
[0050]動量和慣性模塊802允許基于用戶輸入的各種“物理”行為?？旎蚵臐L動或揮擊可以例如被賦予動量。這一模塊將具有匹配到用戶姿勢和制圖的物理模板以便添加諸如屏幕上對象的加速度的行為。它能夠使用制圖的平面中或三維空間中的制圖運動和用戶運動來估計與該制圖有關(guān)的虛擬對象的速度和方向。動量和慣性模塊耦合到對象和姿勢識別系統(tǒng)822以便估計由手、手指和其它身體部分執(zhí)行的姿勢的速度并且接著應(yīng)用那些估計以便確定將被該姿勢影響的虛擬對象的動量和速度。
[0051]3D圖像交互和效果模塊805跟蹤與看起來好像延伸出一個或多個屏幕的3D圖像的用戶交互?？梢赃B同這些對象對彼此的相對影響一起來計算對象在z軸中的影響(朝向和遠(yuǎn)離屏幕的平面)。例如，在虛擬對象到達屏幕的平面之前，通過用戶姿勢投擲的對象可能被前景中的3D對象影響。這些對象可以改變軌跡的方向或速度或者完全毀壞它?？梢酝ㄟ^3D圖像交互和效果模塊在一個或多個顯示器上的前景中渲染該對象。
[0052]結(jié)合圖7更加詳細(xì)描述的圖8的計算系統(tǒng)在制圖檢測模塊823的發(fā)起下操作。它經(jīng)過應(yīng)用的發(fā)動或者通過諸如語音命令的其它用戶輸入來發(fā)起。用戶創(chuàng)建制圖并且接著指示(如上所述)所繪制的輸入是完整的。制圖識別模塊825對照模板庫來匹配制圖。當(dāng)達到可以按照應(yīng)用變換的某個水平的確定性的匹配時，制圖跟蹤模塊806使制圖與一組屬性相關(guān)聯(lián)。如果用戶隨后在所匹配的制圖上做姿勢，則系統(tǒng)根據(jù)這組匹配的屬性來執(zhí)行命令。
[0053]圖9是諸如個人計算機、游戲控制臺、智能電話或便攜式游戲設(shè)備的計算系統(tǒng)的方框圖。計算機系統(tǒng)900包括用于傳遞信息的總線或其它通信裝置901以及諸如與總線901耦合用于處理信息的微處理器902的處理裝置。計算機系統(tǒng)可以被增添有特別用于經(jīng)過并行管線來渲染圖形的圖形處理器903以及用于計算如上所述的物理交互的物理處理器905。這些處理器可以被合并到中央處理器902中或者被提供為一個或多個單獨的處理器。
[0054]計算機系統(tǒng)900進一步包括耦合到總線901用于存儲信息和由處理器902執(zhí)行的指令的主存儲器904，例如隨機存取存儲器(RAM)或其它動態(tài)數(shù)據(jù)存儲設(shè)備。主存儲器還可以用于在處理器執(zhí)行指令期間存儲臨時變量或其它中間信息。計算機系統(tǒng)還可以包括非易失性存儲器906，例如只讀存儲器(ROM)或耦合到總線用于為處理器存儲靜態(tài)信息和指令的其它靜態(tài)數(shù)據(jù)存儲設(shè)備。
[0055]諸如磁盤、光盤或固態(tài)陣列的海量存儲器907及其相對應(yīng)的驅(qū)動器也可以耦合到計算機系統(tǒng)的總線用于存儲信息和指令。計算機系統(tǒng)也可以經(jīng)由總線耦合到用于向用戶顯示信息的顯示設(shè)備或監(jiān)視器921，例如液晶顯示器(LCD)或有機發(fā)光二極管(OLED)陣列。例如，除了上面討論的各種視圖和用戶交互以外，安裝狀態(tài)、操作狀態(tài)和其它信息的圖形和文本指示可以在顯示設(shè)備上呈現(xiàn)給用戶。
[0056]典型地，諸如具有字母數(shù)字、功能和其它鍵的鍵盤的用戶輸入設(shè)備可以耦合到總線，用于將信息和命令選擇傳遞到處理器。額外的用戶輸入設(shè)備可以包括光標(biāo)控制輸入設(shè)備，例如鼠標(biāo)、軌跡球、軌跡板，或者光標(biāo)方向鍵可以耦合到總線用于將方向信息和命令選擇傳遞到處理器并且控制顯示器921上的光標(biāo)移動。
[0057]相機和麥克風(fēng)陣列923耦合到總線以便如上面提及地觀察姿勢、記錄音頻和視頻并且接收視覺和音頻命令。
[0058]通信接口 925也耦合到總線901。通信接口可以包括調(diào)制解調(diào)器、網(wǎng)絡(luò)接口卡或其它公知的接口設(shè)備，例如用于耦合到以太網(wǎng)、令牌環(huán)或其它類型的物理有線或無線附件的那些接口設(shè)備，用于例如提供通信鏈路以便支持局域網(wǎng)或廣域網(wǎng)(LAN或WAN)的目的。按照這種方式，計算機系統(tǒng)也可以經(jīng)由例如包括內(nèi)聯(lián)網(wǎng)和互聯(lián)網(wǎng)的常規(guī)網(wǎng)絡(luò)基礎(chǔ)設(shè)施耦合到多個外圍設(shè)備、其它客戶端或控制表面或控制臺或者服務(wù)器。
[0059]應(yīng)該認(rèn)識到，比上面描述的示例更少或更多配備的系統(tǒng)可能對于某些實現(xiàn)是優(yōu)選的。因此，示例性系統(tǒng)800和900的配置可以從一個實現(xiàn)到另一個實現(xiàn)改變，取決于諸如價格約束、性能要求、技術(shù)改進或其它情況的各種因素。
[0060]實施例可以被實現(xiàn)為下列項目中的任意一個或組合:使用父板互連的一個或多個微芯片或集成電路、硬連線邏輯、由存儲器設(shè)備存儲并且由微處理器執(zhí)行的軟件、固件、專用集成電路(ASIC)和/或現(xiàn)場可編程門陣列(FPGA)。術(shù)語“邏輯”可以通過示例的方式包括軟件或硬件和/或軟件和硬件的組合。
[0061]實施例可以被提供為例如可以包括一個或多個機器可讀介質(zhì)的計算機程序產(chǎn)品，該機器可讀介質(zhì)具有存儲在其上的機器可執(zhí)行指令，當(dāng)該機器可執(zhí)行指令由諸如計算機、計算機的網(wǎng)絡(luò)或其它電子設(shè)備的一個或多個機器執(zhí)行時，可以導(dǎo)致該一個或多個機器執(zhí)行根據(jù)本發(fā)明實施例的操作。機器可讀介質(zhì)可以包括但不局限于軟盤、光盤、CD-R0M(壓縮盤只讀存儲器)和磁光盤、R0M(只讀存儲器)、RAM(隨機存取存儲器)>EPROM(可擦除可編程只讀存儲器)、EEPR0M(電可擦除可編程只讀存儲器)、磁卡或光學(xué)卡、閃存或者適合于存儲機器可執(zhí)行指令的其它類型的介質(zhì)/機器可讀介質(zhì)。
[0062]而且，實施例可以被下載為計算機程序產(chǎn)品，其中該程序可以通過體現(xiàn)在載波中或其它傳播介質(zhì)中和/或由該載波或其它傳播介質(zhì)調(diào)制的一個或多個數(shù)據(jù)信號經(jīng)由通信鏈路(例如，調(diào)制解調(diào)器和/或網(wǎng)絡(luò)連接)被從遠(yuǎn)程計算機(例如，服務(wù)器)轉(zhuǎn)移到請求的計算機(例如，客戶端)。因此，如本文使用的，機器可讀介質(zhì)可以包括但不要求包括這樣的載波。
[0063]對“一個實施例”、“實施例”、“示例實施例”、“各種實施例”等等的提及指示這樣描述的本發(fā)明實施例可以包括特定的特征、結(jié)構(gòu)或特性，但是并不是每一個實施例都必須包括該特定的特征、結(jié)構(gòu)或特性。進而，一些實施例可以具有對于其它實施例描述的特征中的一些、全部或沒有一個。
[0064]在下面的描述和權(quán)利要求中，可以使用術(shù)語“耦合”連同其派生詞?！榜詈稀庇糜谥甘緝蓚€或更多個元件彼此協(xié)作或相互作用，但是它們可以具有或者可以不具有在它們之間的中間物理或電學(xué)部件。
[0065]如在權(quán)利要求中使用的，除非另有規(guī)定，描述公共元件的順序形容詞“第一”、“第二”、“第三”等等的使用僅指示正在提及的相似元件的不同實例并且并不意在暗示這樣描述的元件必須在時間上、在空間上、在等級上或者以任何其它方式按照給定的順序。
[0066]附圖和前面的描述給出了實施例的示例。本領(lǐng)域中的技術(shù)人員將認(rèn)識到，一個或多個所描述的元件可以被很好地組合為單個功能元件?？蛇x地，某些元件可以被劃分為多個功能元件。來自一個實施例的元件可以被添加到另一實施例。例如，本文描述的處理的順序可以改變并且不局限于本文描述的方式。而且，任何流程圖的動作不需要按照所示的順序?qū)崿F(xiàn)；所有動作也不一定需要都被執(zhí)行。并且，不依賴于其它動作的那些動作可以與該其它動作并行地執(zhí)行。實施例的范圍決不由這些具體的示例限制。例如在結(jié)構(gòu)、尺寸和材料使用方面的差異的很多變化是可能的，無論是否在說明書中明確給出。實施例的范圍至少與下面的權(quán)利要求給出的一樣寬。
【權(quán)利要求】
1.一種方法，包括: 在計算機系統(tǒng)處接收指示制圖的類型的命令； 訪問與制圖類型相關(guān)聯(lián)的制圖模板的庫； 在計算機系統(tǒng)處觀察用戶制圖； 將被觀察的制圖與所述制圖模板進行比較以便識別所述被觀察的制圖；以及 向被識別的制圖指派屬性。
2.如權(quán)利要求1所述的方法，其中，所述命令是寫出的文本、語音、第二制圖和姿勢中的一個。
3.如權(quán)利要求1所述的方法，其中，所述制圖的類型是用戶輸入設(shè)備的類型。
4.如權(quán)利要求3所述的方法，其中，控制器是鍵區(qū)。
5.如權(quán)利要求1所述的方法，進一步包括裝入多個制圖模板用于由被裝入的應(yīng)用程序使用。
6.如權(quán)利要求5所述的方法，其中，所述制圖模板與用戶輸入設(shè)備的不同配置和類型相對應(yīng)。
7.如權(quán)利要求5所述的方法，其中，所述制圖模板的庫由在所述計算機系統(tǒng)上運行的應(yīng)用程序提供。
8.如權(quán)利要求1所述的方法，其中，訪問庫包括基于被接收的命令從多個不同的制圖模板的庫當(dāng)中選擇一個制圖模板的庫。
9.如權(quán)利要求1所述的方法，其中，觀察用戶制圖包括使用耦合到所述計算機系統(tǒng)的相機來捕獲所述制圖的圖像。
10.如權(quán)利要求9所述的方法，進一步包括針對由所述相機和所述制圖的相對位置引起的失真來校正被捕獲的圖像。
11.如權(quán)利要求1所述的方法，其中，指派屬性包括向所述制圖指派控制表面。
12.如權(quán)利要求1所述的方法，其中，指派屬性包括向所述制圖的一部分指派鍵。
13.—種其上具有指令的計算機可讀介質(zhì),所述指令當(dāng)由計算機操作時使所述計算機執(zhí)行操作，所述操作包括: 在計算機系統(tǒng)處接收指示制圖的類型的命令； 訪問與制圖類型相關(guān)聯(lián)的制圖模板的庫； 在計算機系統(tǒng)處觀察用戶制圖； 將被觀察的制圖與所述制圖模板進行比較以便識別所述被觀察的制圖；以及 向被識別的制圖指派屬性。
14.如權(quán)利要求13所述的介質(zhì)，其中，所述命令是書寫的文本、語音、第二制圖和姿勢中的一個。
15.如權(quán)利要求13所述的介質(zhì)，其中，指派屬性包括向所述制圖指派控制表面。
16.—種系統(tǒng),包括: 制圖檢測模塊，用于接收指示制圖的類型的命令并且觀察用戶制圖； 命令執(zhí)行模塊，用于接收所述命令并且使制圖對象模板模塊訪問與制圖類型相關(guān)聯(lián)的制圖模板的庫；以及 制圖識別模塊，用于將被觀察的制圖與所述制圖模板進行比較以便識別所述被觀察的制圖并且向被識別的制圖指派屬性。
17.如權(quán)利要求16所述的系統(tǒng)，進一步包括姿勢識別模塊，用于接收與所述被識別的制圖相關(guān)聯(lián)的姿勢并且生成命令用于由所述命令執(zhí)行模塊執(zhí)行。
18.如權(quán) 利要求17所述的系統(tǒng)，進一步包括顯示器以及三維效果模塊，所述三維效果模塊用于將所述命令的執(zhí)行渲染為所述顯示器上的三維圖像。
19.如權(quán)利要求16所述的系統(tǒng)，進一步包括耦合到所述制圖檢測模塊的相機，用于捕獲所述制圖的圖像。
【文檔編號】G06F3/01GK104137026SQ201180076479
【公開日】2014年11月5日 申請日期:2011年12月30日 優(yōu)先權(quán)日:2011年12月30日
【發(fā)明者】G·J·安德森, C·J·布思 申請人:英特爾公司