專(zhuān)利名稱(chēng)：通過(guò)所識(shí)別文本和有界區(qū)域的設(shè)備用戶(hù)接口的制作方法
技術(shù)領(lǐng)域：
在此描述的實(shí)施例涉及交互式設(shè)備、計(jì)算機(jī)、電子設(shè)備、器具、玩具等的控制和使用。本書(shū)面內(nèi)容公開(kāi)了一種用于通過(guò)所識(shí)別文本和有界區(qū)域來(lái)實(shí)施用于設(shè)備的用戶(hù)接口。
背景技術(shù)：
諸如光學(xué)讀取器或光學(xué)筆的設(shè)備常規(guī)上將反射離開(kāi)表面的光發(fā)射到檢測(cè)器或成像器。在設(shè)備相對(duì)于表面移動(dòng)(或反之亦然)時(shí)，相繼的圖像得以迅速捕獲。通過(guò)分析所述圖像，可對(duì)光學(xué)設(shè)備相對(duì)于表面的移動(dòng)加以跟蹤。
一種類(lèi)型的光學(xué)筆與其上打印了很小的點(diǎn)的紙張一起使用。所述點(diǎn)以具有大約0.3毫米(0.01英寸)的額定間距的圖案打印在頁(yè)面上。頁(yè)面上任何區(qū)內(nèi)的點(diǎn)的圖案對(duì)于該區(qū)是唯一的。光學(xué)筆實(shí)質(zhì)上獲取表面的快照，可能每秒100次或更多。通過(guò)解釋每個(gè)快照中所捕獲的點(diǎn)位置，光學(xué)筆可精確地確定其相對(duì)于頁(yè)面的位置。
已經(jīng)或正在設(shè)計(jì)利用有關(guān)光學(xué)筆相對(duì)于表面的位置的信息的應(yīng)用。具有藍(lán)牙或其他無(wú)線能力的光學(xué)筆可鏈接到其他設(shè)備并用于發(fā)送電子郵件(e-mail)或傳真。
嵌入式計(jì)算機(jī)系統(tǒng)增加的能力以及它們能夠?qū)嵤┑墓δ艿膹?fù)雜度已經(jīng)產(chǎn)生了對(duì)一種訪問(wèn)這種能力的較為直觀且用戶(hù)友好的方式。典型的現(xiàn)有技術(shù)光學(xué)筆將通過(guò)用戶(hù)操作光學(xué)筆的一個(gè)或多個(gè)按鈕/開(kāi)關(guān)或控制以激活一個(gè)或多個(gè)軟件程序、例程、嵌入式設(shè)備等來(lái)實(shí)施其預(yù)期功能性。所述筆可以包含計(jì)算機(jī)系統(tǒng)或與之通信。一旦激勵(lì)了這樣的控制，筆設(shè)備就執(zhí)行其預(yù)期功能。通過(guò)在筆本身上提供的有限數(shù)量和配置的開(kāi)關(guān)、按鈕等或任何遠(yuǎn)距離耦合的計(jì)算機(jī)系統(tǒng)設(shè)備來(lái)訪問(wèn)日益強(qiáng)大的光學(xué)筆的能力并不是令人滿意的安排。
一個(gè)現(xiàn)有技術(shù)解決方案使用光學(xué)筆來(lái)識(shí)別用戶(hù)定義的命令，并且使用該命令來(lái)調(diào)用該筆的某種功能(例如PCT公布WO/01/48590A1)。例如用戶(hù)的書(shū)寫(xiě)可以識(shí)別(例如實(shí)時(shí)地)和解釋為用于光學(xué)筆的命令。該解決方案的缺陷在于，筆功能的交互和控制需要對(duì)用戶(hù)手寫(xiě)的實(shí)時(shí)識(shí)別(例如在用戶(hù)在紙張上寫(xiě)下命令時(shí))。該解決方案不令人滿意是因?yàn)榕c光學(xué)筆的較為復(fù)雜的功能性交互需要用戶(hù)重復(fù)寫(xiě)下一個(gè)或多個(gè)命令來(lái)訪問(wèn)筆所提供的不同選擇、選項(xiàng)或功能。盡管該解決方案對(duì)于極度簡(jiǎn)單、單步驟類(lèi)型的應(yīng)用(例如“關(guān)斷”、“存儲(chǔ)”等)可能是令人滿意的，但是在需要較為復(fù)雜的、令人滿意的、豐富的功能性的情況下，該解決方案過(guò)于麻煩和有限。

發(fā)明內(nèi)容
因此，這樣一種用戶(hù)接口方法和系統(tǒng)將是有價(jià)值的，其使能與具有與之關(guān)聯(lián)的計(jì)算機(jī)系統(tǒng)的筆設(shè)備的較復(fù)雜功能性的交互，并且使能對(duì)筆設(shè)備所提供的不同選擇、選項(xiàng)和功能的較為有效的訪問(wèn)。進(jìn)一步需要一種用戶(hù)接口及其使用技術(shù)，用于允許用戶(hù)與基于筆的計(jì)算機(jī)系統(tǒng)的操作系統(tǒng)交互。根據(jù)本發(fā)明的實(shí)施例提供了這些和其他優(yōu)點(diǎn)。
在一個(gè)實(shí)施例中，本發(fā)明實(shí)施為一種用于通過(guò)所識(shí)別文本和有界區(qū)域來(lái)實(shí)施用于設(shè)備的用戶(hù)接口的方法。所述方法包括識(shí)別文本串(例如詞)并根據(jù)該識(shí)別來(lái)訪問(wèn)與該文本串有關(guān)的功能。輸出根據(jù)所述功能來(lái)提供并且該功能與所述文本串關(guān)聯(lián)。應(yīng)理解，在一個(gè)實(shí)施例中，功能與文本串是持久關(guān)聯(lián)的。因此，每次當(dāng)文本串被筆設(shè)備選擇時(shí)，功能被單獨(dú)調(diào)用一次。在一個(gè)例子中，限定了圍繞文本串的有界區(qū)。筆設(shè)備對(duì)有界區(qū)內(nèi)的任何點(diǎn)的選擇會(huì)指示文本串的選擇。示例性的功能可以是例如翻譯功能，其中文本串(例如詞)從一種語(yǔ)言(例如英語(yǔ))翻譯成不同的語(yǔ)言；詞典功能，其中為詞提供了定義；辭典功能等。
所述方法包括識(shí)別有界區(qū)域內(nèi)的激勵(lì)(例如用戶(hù)書(shū)寫(xiě))和基于所述激勵(lì)自動(dòng)訪問(wèn)與該有界區(qū)域有關(guān)的功能或應(yīng)用程序。示例性的功能可以是例如計(jì)算器功能，其中在計(jì)算器有界區(qū)域內(nèi)所輸入文本被識(shí)別為數(shù)值字符，等等。以這種方式，有界區(qū)域內(nèi)所識(shí)別的文本字符或文本串根據(jù)文本串并且也根據(jù)與該有界區(qū)域關(guān)聯(lián)的功能的應(yīng)用自動(dòng)產(chǎn)生輸出。這是無(wú)需用戶(hù)另外選擇應(yīng)用程序來(lái)完成的，所述應(yīng)用程序響應(yīng)于用戶(hù)在與該應(yīng)用關(guān)聯(lián)的有界區(qū)域內(nèi)書(shū)寫(xiě)而自動(dòng)變?yōu)楸贿x擇。
所述輸出典型地是通過(guò)音頻輸出設(shè)備(例如耦合到設(shè)備的揚(yáng)聲器)提供的音頻輸出。功能與文本串和/或有界區(qū)域持久地關(guān)聯(lián)，從而使能通過(guò)對(duì)文本串的隨后激勵(lì)(例如輕敲)對(duì)功能的隨后訪問(wèn)(例如在某個(gè)以后的時(shí)間)。
廣義地，本書(shū)面內(nèi)容公開(kāi)了一種用于通過(guò)所識(shí)別文本和有界區(qū)域來(lái)實(shí)施用于筆設(shè)備的用戶(hù)接口的方法和系統(tǒng)。所述方法包括識(shí)別文本串和基于該識(shí)別來(lái)訪問(wèn)與該文本串有關(guān)的功能或應(yīng)用。根據(jù)所述功能提供輸出并且功能與所述文本串關(guān)聯(lián)。可替換地，對(duì)文本串的選擇將文本串的識(shí)別結(jié)果自動(dòng)應(yīng)用到當(dāng)前活動(dòng)的應(yīng)用。所述方法包括識(shí)別有界區(qū)域內(nèi)的激勵(lì)并且基于所述激勵(lì)來(lái)自動(dòng)訪問(wèn)與該有界區(qū)域有關(guān)的功能。有界區(qū)域內(nèi)所識(shí)別的文本串根據(jù)所述文本串和有界區(qū)域產(chǎn)生輸出。
在閱讀了以下在各個(gè)附圖中示出的詳述之后，本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到本發(fā)明的這些和其他目的和優(yōu)點(diǎn)。


結(jié)合在本說(shuō)明書(shū)中并形成其一部分的

了本發(fā)明的實(shí)施例并且與以下描述一起用來(lái)說(shuō)明本發(fā)明的原理圖1是在其上可實(shí)施本發(fā)明實(shí)施例的設(shè)備的塊圖。
圖2是在其上可實(shí)施本發(fā)明實(shí)施例的另一個(gè)設(shè)備的塊圖。
圖3示出根據(jù)本發(fā)明一個(gè)實(shí)施例的帶有標(biāo)記圖案的示例紙張。
圖4示出根據(jù)本發(fā)明一個(gè)實(shí)施例的示例紙張上的標(biāo)記圖案的放大圖。
圖5示出根據(jù)本發(fā)明一個(gè)實(shí)施例的設(shè)備用戶(hù)接口過(guò)程步驟的計(jì)算機(jī)控制流程圖。
圖6示出根據(jù)本發(fā)明一個(gè)實(shí)施例的分層的設(shè)備用戶(hù)接口過(guò)程步驟的計(jì)算機(jī)控制流程圖。
圖7根據(jù)本發(fā)明一個(gè)實(shí)施例的菜單項(xiàng)目樹(shù)目錄。
圖8A示出根據(jù)本發(fā)明一個(gè)實(shí)施例的菜單項(xiàng)目可聽(tīng)見(jiàn)提示過(guò)程。
圖8B示出根據(jù)本發(fā)明一個(gè)實(shí)施例的菜單項(xiàng)目選擇過(guò)程。
圖8C示出根據(jù)本發(fā)明一個(gè)實(shí)施例的子菜單項(xiàng)目選擇過(guò)程。
圖9示出根據(jù)本發(fā)明一個(gè)實(shí)施例的表面上的多個(gè)不同類(lèi)型的圖形元素圖標(biāo)。
圖10示出根據(jù)本發(fā)明一個(gè)實(shí)施例的有界區(qū)域用戶(hù)接口過(guò)程的計(jì)算機(jī)實(shí)施步驟的流程圖。
圖11示出根據(jù)本發(fā)明一個(gè)實(shí)施例的計(jì)算器有界區(qū)域應(yīng)用。
圖12A示出根據(jù)本發(fā)明第一實(shí)施例的文本串識(shí)別用戶(hù)接口過(guò)程的計(jì)算機(jī)實(shí)施步驟的流程圖。
圖12B示出根據(jù)本發(fā)明第二實(shí)施例的文本串識(shí)別用戶(hù)接口過(guò)程的計(jì)算機(jī)實(shí)施步驟的流程圖。
圖13A示出根據(jù)本發(fā)明一個(gè)實(shí)施例的詞典文本串識(shí)別應(yīng)用的第一例子。
圖13B示出根據(jù)本發(fā)明一個(gè)實(shí)施例的詞典文本串識(shí)別應(yīng)用的第二例子。
具體實(shí)施例方式
現(xiàn)在將詳細(xì)參考本發(fā)明的優(yōu)選實(shí)施例，其例子在附圖中說(shuō)明。盡管將結(jié)合優(yōu)選實(shí)施例來(lái)描述本發(fā)明，應(yīng)理解它們并不是想要將本發(fā)明限制于這些實(shí)施例。相反，本發(fā)明旨在覆蓋可包括在所附權(quán)利要求所限定的本發(fā)明的精神和范圍內(nèi)的替換、修改和等效物。此外，在以下對(duì)本發(fā)明實(shí)施例的詳述中，提出眾多特定細(xì)節(jié)是為了提供對(duì)本發(fā)明的全面理解。然而，本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，本發(fā)明可無(wú)需這些特定細(xì)節(jié)來(lái)實(shí)現(xiàn)。在其他實(shí)施例中，眾所周知的方法、過(guò)程、部件和電路未曾詳述是為了避免不必要的模糊本發(fā)明實(shí)施例的各個(gè)方面。
符號(hào)及術(shù)語(yǔ)以下詳述的一些部分是根據(jù)計(jì)算機(jī)存儲(chǔ)器內(nèi)的數(shù)位的運(yùn)算的過(guò)程、步驟、邏輯塊、處理和其他符號(hào)表示來(lái)提供的。這些描述和表示是數(shù)據(jù)處理領(lǐng)域內(nèi)的技術(shù)人員用來(lái)將其工作的實(shí)質(zhì)最有效地展示給本領(lǐng)域其他人員的方式。程序、計(jì)算機(jī)執(zhí)行步驟、邏輯塊、過(guò)程等在此一般設(shè)想為導(dǎo)致所需結(jié)果的步驟或指令的自洽(self-consistent)序列。所述步驟是需要物理量的物理操縱的步驟。通常，盡管不是必要的，這些量采用能夠存儲(chǔ)、傳遞、組合、比較或操縱于計(jì)算機(jī)系統(tǒng)內(nèi)的電或磁信號(hào)。主要為了共同使用，將這些信號(hào)稱(chēng)為位、值、元素、符號(hào)、字符、術(shù)語(yǔ)、數(shù)字等有時(shí)是方便的。
然而，應(yīng)當(dāng)記住，所有這些和類(lèi)似術(shù)語(yǔ)應(yīng)當(dāng)與適當(dāng)?shù)奈锢砹筷P(guān)聯(lián)并且僅僅適用于這些量的方便標(biāo)記。除非專(zhuān)門(mén)陳述或者從以下討論顯而易見(jiàn)，應(yīng)理解在整個(gè)本發(fā)明中，利用諸如“處理”、“計(jì)算”、“配置”、“生成”等術(shù)語(yǔ)的討論指的是操縱寄存器和存儲(chǔ)器內(nèi)表示為物理(電子)量的數(shù)據(jù)和將其變換成類(lèi)似表示為物理量的其他數(shù)據(jù)的微控制器、計(jì)算機(jī)系統(tǒng)或類(lèi)似電子計(jì)算設(shè)備的動(dòng)作和過(guò)程。
本發(fā)明的實(shí)施例圖1是可在其上實(shí)施本發(fā)明實(shí)施例的筆設(shè)備100的塊圖。通常，筆設(shè)備100可以稱(chēng)為光學(xué)設(shè)備，更具體地稱(chēng)為光學(xué)讀取器、光學(xué)筆或數(shù)字筆。所述設(shè)備可包含計(jì)算機(jī)系統(tǒng)和駐留在其上的操作系統(tǒng)。應(yīng)用程序亦可駐留在其上。
在圖1的實(shí)施例中，筆設(shè)備100包括殼體62內(nèi)的處理器32。在一個(gè)實(shí)施例中，殼體62具有筆或者其他書(shū)寫(xiě)或標(biāo)記用具或工具的形式。處理器32可操作用于處理用來(lái)實(shí)施筆設(shè)備100的功能的信息和指令，如以下所述。
在本實(shí)施例中，筆設(shè)備100可包括耦合到處理器32的音頻輸出設(shè)備36和顯示設(shè)備40。在其他實(shí)施例中，音頻輸出設(shè)備和/或顯示設(shè)備在物理上與筆設(shè)備100分離，但通過(guò)有線或無(wú)線連接與筆設(shè)備100通信。對(duì)于無(wú)線通信，筆設(shè)備100可包括收發(fā)器或發(fā)送器(在圖1中未示出)。音頻輸出設(shè)備36可包括揚(yáng)聲器或音頻插孔(例如用于耳機(jī)或頭戴受話器)。顯示設(shè)備40可以是液晶顯示器(LCD)或某種其他適合類(lèi)型的顯示器。
在圖1的實(shí)施例中，筆設(shè)備100可包括耦合到處理器32的輸入按鈕38，用于激活和控制筆設(shè)備100。例如輸入按鈕38允許用戶(hù)將信息和命令輸入到筆設(shè)備100或者接通或關(guān)斷筆設(shè)備100。筆設(shè)備100亦包括電源34，如電池。
筆設(shè)備100亦包括耦合到處理器32的光源或光學(xué)發(fā)射器44和光傳感器或光學(xué)檢測(cè)器42。光學(xué)發(fā)射器44可以是例如光發(fā)射二極管(LED)，而光學(xué)檢測(cè)器42可以是例如電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)成像器陣列。光學(xué)發(fā)射器44照亮表面70或其部分。從表面70反射的光在光學(xué)檢測(cè)器42處接收并由其記錄。
表面70可以是紙張，盡管本發(fā)明并未如此限制。例如，表面70可包括LCD(液晶顯示器)、CRT(陰極射線管)、觸摸屏、包括電子墨的表面、可再配置紙或其他類(lèi)型的電子活性表面(例如膝上型或平板PC的顯示器)。
在一個(gè)實(shí)施例中，標(biāo)記圖案打印在表面70上。持有光學(xué)發(fā)射器44和光學(xué)檢測(cè)器42的筆設(shè)備100的一端相對(duì)于或接近于表面70而放置。當(dāng)筆設(shè)備100相對(duì)于表面70移動(dòng)時(shí)，標(biāo)記圖案由光學(xué)發(fā)射器44和光學(xué)檢測(cè)器42讀取和記錄。如以下更詳細(xì)討論的，在一個(gè)實(shí)施例中，表面70上的標(biāo)記用來(lái)確定筆設(shè)備100相對(duì)于表面的位置(見(jiàn)圖3和4)。在另一個(gè)實(shí)施例中，表面70上的標(biāo)記用來(lái)編碼信息(見(jiàn)圖5和6)。所捕獲的表面70的圖像可由筆設(shè)備100來(lái)分析(處理)以解碼所述標(biāo)記并恢復(fù)所編碼的信息。
有關(guān)用于編碼信息的標(biāo)記以及通過(guò)電子設(shè)備來(lái)讀取/記錄這種標(biāo)記的附加描述可在轉(zhuǎn)讓給Anoto并且通過(guò)引用完整結(jié)合在此的以下專(zhuān)利和專(zhuān)利申請(qǐng)中找到美國(guó)專(zhuān)利No.6,502,756，美國(guó)申請(qǐng)No.101179,966，提交于2002年6月26日，WO 01/95559，WO 01/71473，WO 01/75723，WO 01/26032，WO 01/75780，WO 01/01670，WO 01/75773，WO 01/71475，WO 1000/73983和WO 01116691。
圖1的筆設(shè)備100還包括耦合到處理器32的存儲(chǔ)器單元48。在一個(gè)實(shí)施例中，存儲(chǔ)器單元48是實(shí)施為存儲(chǔ)器盒或存儲(chǔ)器卡的可移動(dòng)存儲(chǔ)器單元。在另一個(gè)實(shí)施例中，存儲(chǔ)器單元48包括存儲(chǔ)用于處理器的信息和指令的隨機(jī)訪問(wèn)(易失性)存儲(chǔ)器(RAM)和只讀(非易失性)存儲(chǔ)器(ROM)。
在圖1的實(shí)施例中，筆設(shè)備100包括書(shū)寫(xiě)元件52，其位于筆設(shè)備100的與光學(xué)檢測(cè)器42和光學(xué)發(fā)射器44相同的一端。書(shū)寫(xiě)元件52可以是例如鋼筆、鉛筆、記號(hào)筆等，并且可以是或者可以不是可縮回的。在某些應(yīng)用中，不需要書(shū)寫(xiě)元件52。在其他應(yīng)用中，用戶(hù)可使用書(shū)寫(xiě)元件52在表面70上做標(biāo)記(例如圖形元素)，包括字符如字母、詞、數(shù)字、數(shù)學(xué)符號(hào)等。這些標(biāo)記可以根據(jù)其在表面70上的位置由筆設(shè)備100來(lái)掃描(成像)和解釋。用戶(hù)產(chǎn)生的標(biāo)記的位置可使用打印在表面70上的標(biāo)記圖案來(lái)確定；參考以下對(duì)圖3和4的討論。在一個(gè)實(shí)施例中，用戶(hù)產(chǎn)生的標(biāo)記可使用識(shí)別手寫(xiě)字符的光學(xué)字符識(shí)別(OCR)技術(shù)由筆設(shè)備100來(lái)解釋。
如以上所述，表面70可以是適合于在其上書(shū)寫(xiě)的任何表面，如例如紙張，盡管可以使用由除紙以外的材料構(gòu)成的表面。而且，表面70可以是或可以不是平的。例如，表面70可以實(shí)施為球的表面。此外，表面70可以小于或大于常規(guī)(例如8.5×11英寸)紙頁(yè)。
圖2是可在其上實(shí)施本發(fā)明實(shí)施例的另一個(gè)設(shè)備200的塊圖。設(shè)備200包括在本文中先前所述的處理器32、電源34、音頻輸出設(shè)備36、輸入按鈕38、存儲(chǔ)器單元48、光學(xué)檢測(cè)器42、光學(xué)發(fā)射器44和書(shū)寫(xiě)元件52。然而，在圖2的實(shí)施例中，光學(xué)檢測(cè)器42、光學(xué)發(fā)射器44和書(shū)寫(xiě)元件52實(shí)施為殼體62中的光學(xué)設(shè)備201，而處理器32、電源34、音頻輸出設(shè)備36、輸入按鈕38和存儲(chǔ)器單元48實(shí)施為殼體74中的平臺(tái)202。在本實(shí)施例中，光學(xué)設(shè)備201通過(guò)線纜102耦合到平臺(tái)202；然而，無(wú)線連接可替代使用。圖2所示的元件可以以不同于以上所述的組合分布在光學(xué)設(shè)備201和平臺(tái)202之間。
圖3示出根據(jù)本發(fā)明一個(gè)實(shí)施例帶有標(biāo)記圖案的紙張15。在圖3的實(shí)施例中，紙張15帶有以由標(biāo)記18圖案構(gòu)成的光學(xué)可讀位置碼17形式的編碼圖案。為清楚起見(jiàn)，大大地放大了圖3中的標(biāo)記18。實(shí)際上，標(biāo)記18可能不能由人的視覺(jué)系統(tǒng)容易地辨別，并且可在紙張15上作為灰度級(jí)出現(xiàn)。在一個(gè)實(shí)施例中，標(biāo)記18實(shí)施為點(diǎn)；然而，本發(fā)明并不局限于此。
圖4示出圖3的位置碼17的放大部分19。對(duì)諸如設(shè)備100和200(圖1和2)的光學(xué)設(shè)備進(jìn)行定位以記錄位置碼17的區(qū)的圖像。在一個(gè)實(shí)施例中，光學(xué)設(shè)備將標(biāo)記18配合于基準(zhǔn)系統(tǒng)，該基準(zhǔn)系統(tǒng)采取具有在柵格點(diǎn)22相交的柵格線21的柵格的形式。每個(gè)標(biāo)記18與一柵格點(diǎn)22關(guān)聯(lián)。例如，標(biāo)記23與柵格點(diǎn)24關(guān)聯(lián)。對(duì)于圖像/柵格中的標(biāo)記，確定標(biāo)記距離與該標(biāo)記關(guān)聯(lián)的柵格點(diǎn)的位移。通過(guò)使用這些位移，將圖像/柵格中的圖案與基準(zhǔn)系統(tǒng)中的圖案進(jìn)行比較?；鶞?zhǔn)系統(tǒng)中的每個(gè)圖案與表面70上的特定位置關(guān)聯(lián)。這樣，通過(guò)將圖像/柵格中的圖案與基準(zhǔn)系統(tǒng)中的圖案相匹配，可確定表面70上的圖案位置，并因此可確定光學(xué)設(shè)備相對(duì)于表面70的位置。
有關(guān)用于編碼信息的表面標(biāo)記以及通過(guò)電子設(shè)備來(lái)讀取/記錄這種標(biāo)記的附加描述可在轉(zhuǎn)讓給Anoto并且通過(guò)引用完整結(jié)合在此的以下專(zhuān)利和專(zhuān)利申請(qǐng)中找到美國(guó)專(zhuān)利No.6,502,756，美國(guó)申請(qǐng)No.10/1179,966，提交于2002年6月26日，WO 01/95559，WO 01/71473，WO 01/75723，WO 01/26032，WO 01/75780，WO 01/01670，WO 01/75773，WO 01/71475，WO 1000/73983和WO 01/16691。
返回來(lái)參考圖1，表面70上的四個(gè)位置或區(qū)由字母A、B、C和D(這些字符并不打印在表面70上，而是在此用于指示表面70上的位置)來(lái)指示。在表面70上可以有很多這樣的區(qū)。表面70上的每個(gè)區(qū)與唯一的標(biāo)記圖案相關(guān)聯(lián)。表面70上的區(qū)可重疊，因?yàn)榧词挂恍?biāo)記在重疊區(qū)之間共享，一個(gè)區(qū)內(nèi)的標(biāo)記圖案對(duì)于該區(qū)仍是唯一的。
在圖1的例子中，通過(guò)使用筆設(shè)備100(具體地，通過(guò)使用書(shū)寫(xiě)元件52)，用戶(hù)可在表面70上的位置A創(chuàng)建由例如帶圈的字母“M”構(gòu)成的字符(通常用戶(hù)可在表面70上的任何位置創(chuàng)建字符)。用戶(hù)可響應(yīng)于來(lái)自筆設(shè)備100的提示(例如可聽(tīng)見(jiàn)的提示)來(lái)創(chuàng)建這樣的字符。當(dāng)用戶(hù)創(chuàng)建字符時(shí)，筆設(shè)備100記錄標(biāo)記的圖案，所述標(biāo)記唯一地存在于創(chuàng)建字符的位置。筆設(shè)備100將所述標(biāo)記圖案與剛才創(chuàng)建的字符關(guān)聯(lián)。當(dāng)筆設(shè)備100隨后定位在帶圈的“M”上時(shí)，筆設(shè)備100識(shí)別與之關(guān)聯(lián)的標(biāo)記圖案并且將該位置識(shí)別為與帶圈“M”關(guān)聯(lián)。實(shí)際上，筆設(shè)備100是通過(guò)使用字符所處的位置處的標(biāo)記圖案來(lái)識(shí)別該字符的，而不是通過(guò)識(shí)別字符本身。
在一個(gè)實(shí)施例中，以上所述的字符包括與筆設(shè)備100的一個(gè)或多個(gè)命令關(guān)聯(lián)的“圖形元素”。應(yīng)指出，與包括命令的筆設(shè)備100實(shí)施的功能關(guān)聯(lián)并且用于對(duì)其進(jìn)行訪問(wèn)的這種圖形元素在以下稱(chēng)為“圖形元素圖標(biāo)”，以便區(qū)分于其它未與訪問(wèn)筆設(shè)備100的功能或應(yīng)用關(guān)聯(lián)的所寫(xiě)字符、標(biāo)記等。在剛才所述的例子中，用戶(hù)可創(chuàng)建(寫(xiě)出)標(biāo)識(shí)特定命令的圖形元素圖標(biāo)，并且可通過(guò)簡(jiǎn)單地將筆設(shè)備100定位于圖形元素圖標(biāo)(例如所寫(xiě)字符)上來(lái)重復(fù)調(diào)用該命令。在一個(gè)實(shí)施例中，將書(shū)寫(xiě)工具定位于圖形字符上。換句話說(shuō)，用戶(hù)不必在每次要由筆設(shè)備100調(diào)用命令時(shí)寫(xiě)出用于該命令的字符；相反，用戶(hù)可寫(xiě)出用于命令的圖形元素圖標(biāo)一次，并且使用同一所寫(xiě)圖形元素圖標(biāo)來(lái)重復(fù)調(diào)用該命令。該屬性稱(chēng)為“持久性”，并且在以下更詳細(xì)地描述。對(duì)于不是用戶(hù)寫(xiě)出而是預(yù)打印在表面上、然而可由筆設(shè)備100選擇的圖形元素圖標(biāo)也是這樣。
在一個(gè)實(shí)施例中，圖形元素圖標(biāo)可包括一字母或數(shù)字，有一條線限定該字母或數(shù)字。限定字母或數(shù)字的線可以是圓形、橢圓形、方形、多邊形等。這樣的圖形元素看起來(lái)象是可由用戶(hù)選擇的“按鈕”，而不是普通的字母和數(shù)字。通過(guò)創(chuàng)建這種圖形元素圖標(biāo)，用戶(hù)可將諸如功能圖標(biāo)的圖形元素圖標(biāo)在視覺(jué)上區(qū)分于可被筆設(shè)備100當(dāng)做數(shù)據(jù)的普通字母和數(shù)字。而且，通過(guò)創(chuàng)建這種圖形元素圖標(biāo)，筆設(shè)備100亦能夠較好地將功能或菜單項(xiàng)目類(lèi)型的圖形元素區(qū)分于非功能或非菜單項(xiàng)目類(lèi)型的圖形元素。例如，用戶(hù)可以創(chuàng)建作為圓形所包圍的字母“M”的圖形元素圖標(biāo)來(lái)創(chuàng)建交互式“菜單”圖形元素圖標(biāo)。
可將筆設(shè)備100編程為將其中有字母“M”的重疊圓形或方形識(shí)別為與詞中的字母“M”區(qū)分的功能圖形元素。圖形元素圖標(biāo)亦可以包括在某個(gè)距離(例如1英寸、1.5英寸等)內(nèi)與其相鄰的小“復(fù)選標(biāo)記”符號(hào)。復(fù)選標(biāo)記將與圖形元素圖標(biāo)關(guān)聯(lián)。用于識(shí)別這種功能圖形元素并將其與其它非功能圖形元素區(qū)分的計(jì)算機(jī)代碼可駐留在筆設(shè)備的存儲(chǔ)器單元中。處理器可識(shí)別所述圖形元素圖標(biāo)并且可辨識(shí)那些圖形元素圖標(biāo)的位置以使筆設(shè)備100可執(zhí)行與之關(guān)聯(lián)的各種功能、操作等。在這些實(shí)施例中，存儲(chǔ)器單元可包括用于將用戶(hù)所產(chǎn)生的任何圖形元素與其在表面上的位置相關(guān)的計(jì)算機(jī)代碼。筆設(shè)備100識(shí)別“下觸(down-touch)”或“下劃”或者向下放在表面上(例如當(dāng)用戶(hù)開(kāi)始書(shū)寫(xiě)時(shí))，并且識(shí)別“上劃”或從表面向上拾起(例如當(dāng)用戶(hù)完成書(shū)寫(xiě)時(shí))。這樣的下劃和上劃可由筆設(shè)備100解釋為例如何時(shí)調(diào)用某些功能性以及調(diào)用什么樣的特定功能/應(yīng)用(例如觸發(fā)OCR處理)的指示器。特別地，下劃后迅速跟隨上劃(例如筆設(shè)備在表面上的輕敲)可與取決于應(yīng)用的具體動(dòng)作(例如選擇圖形元素圖標(biāo)、文本串等)關(guān)聯(lián)。
應(yīng)指出，通用術(shù)語(yǔ)“圖形元素”可包括用戶(hù)所創(chuàng)建的任何適合標(biāo)記，并且可區(qū)分于涉及用于訪問(wèn)設(shè)備的一個(gè)或多個(gè)功能的功能圖形元素的圖形元素圖標(biāo)。
如以上所述，應(yīng)指出圖形元素圖標(biāo)可由筆設(shè)備100來(lái)創(chuàng)建(例如由用戶(hù)畫(huà)出)或可以是預(yù)先存在的(例如紙張上打印的元素)。示例的圖形元素包括但不限于符號(hào)、標(biāo)志如字母和/或數(shù)字、字符、詞、形狀、線等。它們?cè)谛螤钌峡梢允且?guī)則或不規(guī)則的。用戶(hù)寫(xiě)出/創(chuàng)建的圖形元素典型地使用筆設(shè)備100來(lái)創(chuàng)建。另外，對(duì)用戶(hù)和筆設(shè)備100兩者，圖形元素圖標(biāo)通常但不總是結(jié)合圍繞字符(例如字母“M”)的限定線(例如圓形)以給予它們?cè)黾拥膮^(qū)分度。例如，在一個(gè)實(shí)施例中，完成字符周?chē)膱A形之后的上劃可具體向筆設(shè)備100指示用戶(hù)剛剛創(chuàng)建了圖形元素圖標(biāo)。
圖5示出根據(jù)本發(fā)明一個(gè)實(shí)施例的計(jì)算機(jī)實(shí)施過(guò)程550的步驟的流程圖。過(guò)程550描述了根據(jù)本發(fā)明一個(gè)實(shí)施例的由設(shè)備(例如筆設(shè)備100)在其解釋圖形元素、書(shū)寫(xiě)、標(biāo)記等形式的用戶(hù)輸入并且將所請(qǐng)求的功能性提供給用戶(hù)時(shí)所實(shí)施的用戶(hù)接口過(guò)程的基本操作步驟。
過(guò)程550開(kāi)始于步驟551，其中筆設(shè)備100的計(jì)算機(jī)實(shí)施的功能性識(shí)別所創(chuàng)建的圖形元素圖標(biāo)(例如由用戶(hù)創(chuàng)建)?？商鎿Q地，圖形元素可以預(yù)先打印在表面上并且其位置對(duì)于筆設(shè)備100是已知的。在步驟551，如果用戶(hù)第一次寫(xiě)出圖形元素，則筆設(shè)備100使用光學(xué)傳感器和處理器來(lái)對(duì)所述書(shū)寫(xiě)執(zhí)行OCR(光學(xué)字符識(shí)別)以辨識(shí)用戶(hù)所寫(xiě)的圖形元素。在一個(gè)實(shí)施例中，然后亦記錄其在表面上的唯一位置。在步驟552，一旦識(shí)別，則訪問(wèn)涉及該圖形元素圖標(biāo)的功能。該功能可以是例如菜單功能，該菜單功能可以宣布(例如在聽(tīng)覺(jué)上再現(xiàn))預(yù)定功能列表(例如菜單選擇或子菜單選項(xiàng))以便于隨后由用戶(hù)激活。在步驟553，提供根據(jù)所述功能的音頻輸出。該音頻輸出可以是例如對(duì)在選擇的列表內(nèi)用戶(hù)處于什么樣的特定選擇的宣布。在步驟554，功能與圖形元素圖標(biāo)持久關(guān)聯(lián)，從而使能通過(guò)對(duì)圖形元素圖標(biāo)的隨后激勵(lì)(例如用筆設(shè)備100輕敲)對(duì)功能的隨后訪問(wèn)(例如在某個(gè)以后的時(shí)間)。例如，在菜單功能的情況下，所列的菜單選擇可以通過(guò)簡(jiǎn)單地激勵(lì)菜單圖形元素圖標(biāo)(例如輕敲它)在某個(gè)以后的時(shí)間由用戶(hù)隨后訪問(wèn)。
應(yīng)指出，除音頻輸出以外或取代音頻輸出，筆設(shè)備100的輸出還可以是視覺(jué)輸出(例如經(jīng)由顯示器、指示器燈等)。視覺(jué)輸出和/或音頻輸出可以直接來(lái)自筆設(shè)備100，或者可來(lái)自在通信上耦合到筆設(shè)備100的另一個(gè)設(shè)備(例如個(gè)人計(jì)算機(jī)、揚(yáng)聲器、LCD顯示器等)。
應(yīng)理解，多個(gè)不同的圖形元素可在表面上和任何時(shí)間存在，并且其選擇可提供待由筆設(shè)備100執(zhí)行的各種功能，例如調(diào)用應(yīng)用、調(diào)用子菜單選項(xiàng)等。
以這種方式，本發(fā)明的實(shí)施例實(shí)施了一種用戶(hù)接口裝置，用于導(dǎo)航計(jì)算機(jī)系統(tǒng)、特別是例如包括筆設(shè)備100的基于筆的計(jì)算機(jī)系統(tǒng)的功能性。圖形元素圖標(biāo)所實(shí)施的用戶(hù)接口提供了與在筆設(shè)備100內(nèi)執(zhí)行的許多軟件應(yīng)用交互的方法。如以上所述，來(lái)自筆設(shè)備100的輸出可包括音頻輸出，并因此，用戶(hù)接口裝置使用戶(hù)能與筆設(shè)備100的應(yīng)用和功能性進(jìn)行“對(duì)話”。換句話說(shuō)，用戶(hù)接口使用戶(hù)能創(chuàng)建相互識(shí)別的項(xiàng)目，如允許用戶(hù)和筆設(shè)備100彼此交互的圖形元素圖標(biāo)。如以上所述，相互識(shí)別的項(xiàng)目典型地是用戶(hù)在典型為紙張的表面上畫(huà)出的符號(hào)或標(biāo)記或圖標(biāo)。
不同的圖形元素圖標(biāo)具有不同的含義和不同的與用戶(hù)交互的方式。通常，對(duì)于給定的圖形元素圖標(biāo)，交互方式將調(diào)動(dòng)筆設(shè)備的不同的計(jì)算機(jī)實(shí)施的功能性。為了說(shuō)明的目的，在以上的菜單例子的情況下，菜單功能性允許用戶(hù)重復(fù)經(jīng)過(guò)涉及圖形元素的功能的列表(例如，菜單圖形元素圖標(biāo)上的輕敲的數(shù)目重復(fù)經(jīng)過(guò)功能列表)。在完成輕敲時(shí)，來(lái)自筆設(shè)備的音頻可宣布功能或模式。所宣布的功能/模式之一然后可由用戶(hù)通過(guò)某種進(jìn)一步的交互(例如畫(huà)出或選擇與所述圖形元素圖標(biāo)關(guān)聯(lián)的先前畫(huà)出的復(fù)選標(biāo)記圖形元素)來(lái)選擇。一旦選擇，功能性和選項(xiàng)以及特定所選功能的進(jìn)一步子菜單則可由用戶(hù)來(lái)訪問(wèn)?？商鎿Q地，如果可聽(tīng)見(jiàn)地再現(xiàn)的子選項(xiàng)之一本身是菜單圖形圖標(biāo)，則它可以通過(guò)用戶(hù)在表面上畫(huà)出其表示并且選擇它來(lái)選擇。
圖6示出根據(jù)本發(fā)明一個(gè)實(shí)施例的過(guò)程650的計(jì)算機(jī)實(shí)施步驟的流程圖。過(guò)程650描述了根據(jù)本發(fā)明一個(gè)實(shí)施例的用于訪問(wèn)(例如導(dǎo)航經(jīng)過(guò))交互式設(shè)備(例如筆設(shè)備100)的許多嵌套、分層功能的用戶(hù)接口過(guò)程的基本操作步驟。過(guò)程650參照?qǐng)D8A、8B和8C來(lái)描述。
過(guò)程650開(kāi)始于步驟651，其中筆設(shè)備100的計(jì)算機(jī)實(shí)施的功能性識(shí)別所創(chuàng)建的圖形元素圖標(biāo)，在圖8A中示為菜單圖標(biāo)“M”。類(lèi)似于步驟551，圖形元素圖標(biāo)可由用戶(hù)寫(xiě)或預(yù)先打印在表面上。在一種情況下，圖形元素圖標(biāo)可提供與其關(guān)聯(lián)并且本身可提供另外選擇的另外圖形元素圖標(biāo)(例如分層設(shè)置)的選擇列表。在步驟652并且如圖8A所示，一旦識(shí)別，則訪問(wèn)與該圖形元素圖標(biāo)有關(guān)的功能的第一分層菜單。在該例子中，一旦識(shí)別，在步驟651的菜單圖標(biāo)“M”使子選項(xiàng)(例如系統(tǒng)“S”、游戲“G”、參考“R”和工具“T”)可聽(tīng)見(jiàn)地再現(xiàn)(例如通過(guò)可聽(tīng)見(jiàn)的提示)，一次一個(gè)選項(xiàng)，如圖8A所示。所述選項(xiàng)響應(yīng)于筆設(shè)備(例如筆設(shè)備100)對(duì)步驟651的菜單圖標(biāo)的相繼選擇而再現(xiàn)。
在步驟653，并且如圖8B中所示，所宣布的功能之一，在該例子中為參考圖形元素圖標(biāo)“R”，通過(guò)對(duì)菜單圖形元素圖標(biāo)的適當(dāng)數(shù)量的激勵(lì)(例如輕敲)和對(duì)關(guān)聯(lián)復(fù)選標(biāo)記870的激勵(lì)來(lái)選擇。在步驟654，所激活的功能可提示創(chuàng)建用于功能的第二分層菜單的第二圖形元素圖標(biāo)。第二圖形元素圖標(biāo)，在該例子中為參考圖形“R”，然后可由用戶(hù)在表面上畫(huà)出。如圖8C所示，其選擇將使子菜單選項(xiàng)的第二列表以如上所述的方式(例如辭典“TH”、詞典“D”和幫助“H”)可聽(tīng)見(jiàn)地再現(xiàn)(例如經(jīng)由可聽(tīng)見(jiàn)的提示)。隨后在步驟655，第二圖形元素圖標(biāo)的所宣布的功能之一通過(guò)適當(dāng)數(shù)量的激勵(lì)來(lái)激活以選擇第二分層層次功能之一。
以這種方式，一個(gè)菜單可以調(diào)用本身具有更進(jìn)一步的子菜單的許多子菜單。這樣，不同層次的圖形元素圖標(biāo)可以分層設(shè)置。通常，表示功能菜單的頂層圖形元素圖標(biāo)稱(chēng)為組圖形元素圖標(biāo)。應(yīng)用圖形元素圖標(biāo)是第二層圖形元素圖標(biāo)，其通常表示用于給定應(yīng)用的配置選項(xiàng)或應(yīng)用設(shè)置的菜單。例如，應(yīng)用圖形元素圖標(biāo)可以認(rèn)為是組圖形元素圖標(biāo)的特殊情況。通常，應(yīng)用圖形元素圖標(biāo)具有與之關(guān)聯(lián)的專(zhuān)門(mén)化的應(yīng)用相關(guān)的缺省行為。
以這種方式，用戶(hù)然后可從菜單項(xiàng)目列表中選擇菜單項(xiàng)目。菜單項(xiàng)目可包括目錄名稱(chēng)、子目錄名稱(chēng)、應(yīng)用名稱(chēng)或特定數(shù)據(jù)集的名稱(chēng)。目錄或子目錄名稱(chēng)的例子包括但不限于“工具”(例如，用于在許多不同環(huán)境下適用的交互式有用功能)、“參考”(例如，用于諸如詞典的參考材料)、“游戲”(例如，用于不同游戲)等。特定應(yīng)用(或子目錄)名稱(chēng)的例子包括“計(jì)算器”、“拼寫(xiě)檢查器”以及“翻譯器”。數(shù)據(jù)集的特定例子可包括外來(lái)詞及其定義的集合、電話列表、日歷、行事列表(to-do list)等。圖7中示出菜單項(xiàng)目的附加例子。
可為各種菜單項(xiàng)目提供特定的音頻指令。例如，在用戶(hù)選擇“計(jì)算器”菜單項(xiàng)目之后，筆設(shè)備可指示用戶(hù)在紙張上畫(huà)出數(shù)字0-9以及運(yùn)算符±、-、×、/和＝，然后選擇數(shù)字來(lái)執(zhí)行數(shù)學(xué)計(jì)算。在另一個(gè)例子中，在用戶(hù)選擇“翻譯器”菜單項(xiàng)目之后，筆設(shè)備指示用戶(hù)寫(xiě)出第二語(yǔ)言的名稱(chēng)并將其圈起來(lái)。在用戶(hù)這樣做之后，筆設(shè)備可進(jìn)一步指示用戶(hù)寫(xiě)下英語(yǔ)詞，然后選擇所圈的第二語(yǔ)言以便聽(tīng)取轉(zhuǎn)換成第二語(yǔ)言的所寫(xiě)詞。在這樣做之后，筆設(shè)備中的音頻輸出設(shè)備可以第二語(yǔ)言來(lái)朗讀該詞。
圖7示出根據(jù)本發(fā)明一個(gè)實(shí)施例的菜單項(xiàng)目樹(shù)目錄，其包括每個(gè)選項(xiàng)的圖形元素圖標(biāo)表示。所述菜單項(xiàng)目樹(shù)目錄可實(shí)施從菜單圖形元素圖標(biāo)開(kāi)始的音頻菜單。從圖7的頂部開(kāi)始，第一音頻子目錄將是工具T子目錄。在工具T子目錄下，可以是翻譯器TR子目錄、計(jì)算器C子目錄、拼寫(xiě)檢查器SC子目錄、個(gè)人助理PA子目錄、鬧鐘AL子目錄和導(dǎo)師TU功能。在翻譯器TR子目錄下，將有西班牙語(yǔ)SP、法語(yǔ)FR和德語(yǔ)GE翻譯器功能。在個(gè)人助理PA子目錄下，將有日歷C、電話列表FL、和行事列表TD功能或子目錄。在參考R子目錄下，可存在辭典TH功能、詞典D子目錄和幫助H功能。在詞典D子目錄下，可存在英語(yǔ)E功能、西班牙語(yǔ)SP功能和法語(yǔ)FR功能。在游戲G子目錄下，可存在游戲，如猜詞WS、怪味馬鈴薯FP和涂鴉DO。在本發(fā)明的其它實(shí)施例中還可存在其它游戲。在系統(tǒng)S子目錄下，可存在安全SE功能以及個(gè)性化P功能。
以下提供有關(guān)一些關(guān)于以上目錄、子目錄和功能的細(xì)節(jié)。如菜單項(xiàng)目樹(shù)目錄所示，用戶(hù)可通過(guò)聽(tīng)取各種菜單項(xiàng)目的朗讀并且然后選擇所需的菜單項(xiàng)目來(lái)沿著任何所需路徑前進(jìn)或?qū)Ш?。?duì)所需菜單項(xiàng)目的隨后選擇可以以任何合適的方式進(jìn)行。例如，在一些實(shí)施例中，通過(guò)在所創(chuàng)建的圖形元素上“下觸”(例如下劃)，用戶(hù)可以使筆設(shè)備卷動(dòng)經(jīng)過(guò)音頻菜單。通過(guò)使用任何合適的機(jī)制，筆設(shè)備中的電子設(shè)備可將“下觸”識(shí)別為“激勵(lì)”。例如，可將筆設(shè)備編程為識(shí)別與其向著所選圖形元素的向下移動(dòng)關(guān)聯(lián)的圖像變化。
在另一個(gè)例子中，筆設(shè)備中可提供壓敏開(kāi)關(guān)，使得當(dāng)筆設(shè)備的末端施加壓力于紙時(shí)，壓力開(kāi)關(guān)得以激活。由此通知筆設(shè)備卷動(dòng)經(jīng)過(guò)音頻菜單。例如，在用筆設(shè)備選擇了帶圈的字母“M”(以由此使筆設(shè)備中的壓力開(kāi)關(guān)得以激活)之后，筆設(shè)備中的音頻輸出設(shè)備可僅朗讀“工具”。用戶(hù)可第二次選擇帶圈的字母“M”，以使音頻輸出設(shè)備朗讀菜單項(xiàng)目“參考”。這可按所需頻率重復(fù)，以卷動(dòng)經(jīng)過(guò)所述音頻菜單。為選擇特定菜單項(xiàng)目，用戶(hù)可在紙上創(chuàng)建區(qū)別性標(biāo)記或利用掃描裝置提供特定的姿態(tài)。例如，在聽(tīng)到詞“工具”之后，用戶(hù)可緊鄰帶圈的字母“M”畫(huà)出“復(fù)選標(biāo)記”(或其它圖形元素)，以選擇子目錄“工具”。通過(guò)使用如此的方法，用戶(hù)可向菜單項(xiàng)目樹(shù)中的預(yù)期目錄、子目錄和功能導(dǎo)航。不同圖形元素或不同姿態(tài)的創(chuàng)建可用來(lái)使筆設(shè)備向上卷動(dòng)。可替換地，按鈕或其它激勵(lì)器可提供在筆設(shè)備中以卷動(dòng)經(jīng)過(guò)菜單。一旦選擇了“工具”，其將如上所述但針對(duì)其子目錄菜單起作用。
在其它實(shí)施例中，在創(chuàng)建菜單圖形元素圖標(biāo)(如帶有圓形的字母“M”)之后，用戶(hù)可選擇菜單圖形元素圖標(biāo)。掃描裝置中的軟件將帶圈的字母識(shí)別為菜單符號(hào)并使掃描裝置以間隔開(kāi)的時(shí)序間隔依次朗讀菜單項(xiàng)目“工具”、“參考”、“游戲”和“系統(tǒng)”，而無(wú)需用戶(hù)下觸。音頻指令可提供給用戶(hù)。例如，筆設(shè)備可以說(shuō)“選擇‘工具’目錄，寫(xiě)出字母‘T’并將其圈起來(lái)”。為了選擇菜單項(xiàng)目，用戶(hù)可創(chuàng)建字母“T”并將其圈起來(lái)。這指示筆設(shè)備用戶(hù)已經(jīng)選擇子目錄“工具”。然后，筆設(shè)備可為用戶(hù)朗讀“工具”子目錄下的菜單項(xiàng)目。這樣，通過(guò)在片上創(chuàng)建表示特定目錄、子目錄或功能的圖形元素并與其交互，有可能直接前進(jìn)到菜單項(xiàng)目樹(shù)中的該目錄、子目錄或功能?？商鎿Q地，如果菜單項(xiàng)目已駐留在表面上，用戶(hù)可在任何時(shí)間與其交互來(lái)選擇其功能。
應(yīng)指出，圖7中所述的圖形元素圖標(biāo)的目錄、子目錄、選項(xiàng)菜單等內(nèi)項(xiàng)目的順序可由用戶(hù)改變。例如，用戶(hù)可訪問(wèn)某個(gè)應(yīng)用并使用該應(yīng)用來(lái)改變可聽(tīng)見(jiàn)地再現(xiàn)一個(gè)或多個(gè)目錄、子目錄等的項(xiàng)目的順序。類(lèi)似地，用戶(hù)可改變與一個(gè)給定目錄/子目錄等內(nèi)的一個(gè)或多個(gè)項(xiàng)目關(guān)聯(lián)的特定音頻輸出，例如，用戶(hù)可針對(duì)一項(xiàng)目記錄其自己的語(yǔ)音，使用預(yù)先記錄的歌曲(例如，MP3等)等等，并且用戶(hù)相應(yīng)地用作該項(xiàng)目的可聽(tīng)見(jiàn)地再現(xiàn)的輸出。另外，應(yīng)指出，例如通過(guò)提供給筆設(shè)備的軟件/或固件更新(例如，上載新的基于軟件的功能性)，可為一個(gè)或多個(gè)目錄、子目錄等添加附加的項(xiàng)目。
應(yīng)指出，圖形元素圖標(biāo)(例如，多個(gè)菜單圖標(biāo))的多個(gè)實(shí)例的相應(yīng)狀態(tài)可與每個(gè)特定實(shí)例持久地關(guān)聯(lián)。例如，在兩個(gè)或多個(gè)圖形元素圖標(biāo)存在于共同表面上(例如，用戶(hù)創(chuàng)建、預(yù)打印等)的情況下，可為每個(gè)圖標(biāo)獨(dú)立保持或記住其狀態(tài)或其在其選項(xiàng)目錄內(nèi)的具體位置。例如，如果第一菜單圖標(biāo)當(dāng)前在選項(xiàng)三(例如“游戲”)，而第二菜單圖標(biāo)當(dāng)前在選項(xiàng)一(例如“工具”)，用戶(hù)可離開(kāi)并使用其它應(yīng)用(例如，計(jì)算器、詞典等)來(lái)執(zhí)行其它任務(wù)，并在某個(gè)以后的時(shí)間回到第一或第二菜單圖標(biāo)，而它們將正確地保持其最后的狀態(tài)(例如，第一菜單圖標(biāo)為“游戲”，而第二菜單圖標(biāo)為“工具”)。
類(lèi)似地，應(yīng)指出，圖形元素圖標(biāo)(例如多個(gè)菜單圖標(biāo))的多個(gè)實(shí)例的相應(yīng)狀態(tài)可在多個(gè)實(shí)例間協(xié)調(diào)并與每個(gè)特定實(shí)例持久地關(guān)聯(lián)。利用經(jīng)協(xié)調(diào)的狀態(tài)，在兩個(gè)或多個(gè)圖形元素圖標(biāo)存在于共同表面(例如，用戶(hù)創(chuàng)建、預(yù)打印等)上的情況下，可為每個(gè)圖標(biāo)記住其狀態(tài)，但該狀態(tài)可加以協(xié)調(diào)以使選項(xiàng)跨越每個(gè)實(shí)例。例如，如果第一菜單圖標(biāo)當(dāng)前在選項(xiàng)二(例如，“系統(tǒng)”)，第二菜單圖標(biāo)將使其狀態(tài)得到協(xié)調(diào)以使其將在選項(xiàng)三(例如，“工具”)。用戶(hù)可執(zhí)行其它中間任務(wù)并在某個(gè)以后的時(shí)間回到第一或第二菜單圖標(biāo)，而它們將正確地保持其協(xié)調(diào)狀態(tài)(例如，第一為“系統(tǒng)”而第二為“工具”)。
圖9示出根據(jù)本發(fā)明一個(gè)實(shí)施例的具有在其上寫(xiě)出的許多圖形元素圖標(biāo)的表面910(例如，紙張)。圖9示出組圖形元素圖標(biāo)(例如，菜單圖標(biāo)“M”和游戲圖標(biāo)“G”)以及應(yīng)用圖標(biāo)(例如，計(jì)算器圖標(biāo)“C”)的例子。圖形元素圖標(biāo)可由用戶(hù)寫(xiě)在紙張910上，或者可預(yù)打印。如上所述，組圖形元素圖標(biāo)通?？陕?tīng)見(jiàn)地再現(xiàn)列表選項(xiàng)。例如，用筆設(shè)備100在位置901重復(fù)輕敲前進(jìn)通過(guò)菜單目錄的選項(xiàng)(例如，系統(tǒng)、游戲、參考和工具)，如在圖7的討論中所述。例如，在菜單圖標(biāo)上輕敲兩次將使筆設(shè)備100可聽(tīng)見(jiàn)地再現(xiàn)“系統(tǒng)”并且然后可聽(tīng)見(jiàn)地再現(xiàn)“游戲”，指示對(duì)游戲子目錄的選擇。然后可通過(guò)接觸位置902(例如，復(fù)選標(biāo)記)來(lái)激活游戲子目錄并且該激活可通過(guò)一音頻音調(diào)而確認(rèn)給用戶(hù)。
隨后，筆設(shè)備100可聽(tīng)見(jiàn)地提示用戶(hù)創(chuàng)建(例如，畫(huà)出)如圖9中所示的游戲圖形元素圖標(biāo)。使用筆設(shè)備100重復(fù)輕敲位置903處的游戲圖標(biāo)則使筆設(shè)備100前進(jìn)通過(guò)游戲子目錄的選項(xiàng)(例如，猜詞、funky potatoes和涂鴉)，如在圖7的討論中所述。一個(gè)所選的游戲子目錄項(xiàng)目然后可通過(guò)在位置904(例如與游戲關(guān)聯(lián)的復(fù)選標(biāo)記)的輕敲來(lái)選擇，或可替換地，如果那里沒(méi)有復(fù)選標(biāo)記，則畫(huà)出它。
仍參考圖9，在計(jì)算器圖標(biāo)“C”的接觸啟動(dòng)計(jì)算器應(yīng)用。以這種方式，計(jì)算器圖標(biāo)并不再現(xiàn)菜單項(xiàng)目的列表或子目錄選項(xiàng)，而是直接啟動(dòng)應(yīng)用本身，在此情況下是計(jì)算器應(yīng)用。一旦調(diào)用了計(jì)算器應(yīng)用，筆設(shè)備100確認(rèn)激活(例如，通過(guò)再現(xiàn)音頻音調(diào))并可聽(tīng)見(jiàn)地提示用戶(hù)通過(guò)一系列動(dòng)作來(lái)準(zhǔn)備計(jì)算器以便于使用(例如，通過(guò)指示用戶(hù)在表面上畫(huà)出數(shù)字0-9、以及運(yùn)算符±、-、×、/和＝，并且然后選擇數(shù)字來(lái)執(zhí)行數(shù)學(xué)計(jì)算)。
圖9還示出使用筆設(shè)備100的“提示并相信”功能所創(chuàng)建的用戶(hù)所寫(xiě)的詞906(例如文本串)。根據(jù)本發(fā)明的實(shí)施例，應(yīng)指出，一些詞、文本串、標(biāo)記、符號(hào)或其它圖形元素完全不需要使用OCR來(lái)處理。例如，用戶(hù)可響應(yīng)于來(lái)自筆設(shè)備100的可聽(tīng)見(jiàn)的提示來(lái)創(chuàng)建特定的詞、圖形元素等，其中筆設(shè)備提示用戶(hù)寫(xiě)出特定的詞(例如，“president”)并且隨后存儲(chǔ)帶有關(guān)聯(lián)(例如，來(lái)自提示)的所寫(xiě)詞的位置。以如上所述的方式，通過(guò)位置來(lái)識(shí)別對(duì)所創(chuàng)建的詞的隨后選擇。例如，筆設(shè)備100可指示用戶(hù)寫(xiě)出詞“president”906。響應(yīng)于該提示，用戶(hù)寫(xiě)出詞“president”，而筆設(shè)備100將在對(duì)所述詞的隨后選擇時(shí)認(rèn)為，或換言之相信，用戶(hù)響應(yīng)于提示所寫(xiě)的事實(shí)上是詞“president”。換句話說(shuō)，筆設(shè)備100將標(biāo)簽“president”與用戶(hù)響應(yīng)于提示所寫(xiě)的相關(guān)聯(lián)。依賴(lài)于應(yīng)用，可提示用戶(hù)在詞下劃線、圍繞詞畫(huà)框或者另外以及一些區(qū)別標(biāo)記/圖形元素。
當(dāng)用戶(hù)寫(xiě)完所提示的詞時(shí)，筆設(shè)備100通過(guò)例如將不活動(dòng)(例如，用戶(hù)不再書(shū)寫(xiě))識(shí)別為數(shù)據(jù)輸入終止事件來(lái)識(shí)別用戶(hù)已完成的事實(shí)。以這種方式，“超時(shí)”機(jī)制可用來(lái)識(shí)別數(shù)據(jù)輸入的結(jié)束。另一個(gè)終止事件可以是如上所述的詞被下劃線或畫(huà)框的情況。終止事件的附加例子描述在2005年1月12日提交的代理人備案No.LEAP-P03020的由Marggraff等共同轉(zhuǎn)讓的美國(guó)專(zhuān)利申請(qǐng)“TERMINATION EVENTS”中，其全部?jī)?nèi)容結(jié)合于此。
以這種方式，本發(fā)明實(shí)施例的提示并相信特征使能創(chuàng)建具有用戶(hù)和筆設(shè)備100之間相互理解的含義的圖形元素。重要的是，應(yīng)理解對(duì)詞president沒(méi)有進(jìn)行OCR處理。使用“提示并相信”功能創(chuàng)建的圖形元素可與用于其它應(yīng)用、選項(xiàng)、菜單、功能等的標(biāo)簽關(guān)聯(lián)，從而使對(duì)提示并相信圖形元素的選擇(例如，通過(guò)輕敲)可調(diào)用以上的任何一個(gè)。減少對(duì)OCR處理的需求降低了對(duì)筆設(shè)備100的計(jì)算要求并因此改善用戶(hù)接口的響應(yīng)性。
圖10示出根據(jù)本發(fā)明一個(gè)實(shí)施例的過(guò)程570的步驟的流程圖。過(guò)程570描述根據(jù)本發(fā)明一個(gè)實(shí)施例的用于訪問(wèn)交互式設(shè)備(例如筆設(shè)備100)的功能和應(yīng)用的有界區(qū)域用戶(hù)接口過(guò)程的基本操作步驟。
過(guò)程570開(kāi)始于步驟571，在此限定有界區(qū)域。在步驟572，筆設(shè)備100的計(jì)算機(jī)實(shí)施的功能性識(shí)別表面的有界區(qū)域內(nèi)的激勵(lì)。所述激勵(lì)可以是有界區(qū)域內(nèi)的筆設(shè)備的接觸(例如將筆尖放下)、有界區(qū)域內(nèi)的筆設(shè)備的筆劃或標(biāo)記(例如畫(huà)出字符或標(biāo)記)等。如在此所指的，有界區(qū)域指的是邊界所包圍的表面區(qū)域。有界區(qū)域的一個(gè)例子是在紙表面上畫(huà)出的用戶(hù)創(chuàng)建的框。該框內(nèi)的紙區(qū)域包括該有界區(qū)域。在步驟571，有界區(qū)域可由用戶(hù)響應(yīng)于可聽(tīng)見(jiàn)的命令來(lái)畫(huà)出或者由筆設(shè)備來(lái)提示這樣做。換句話說(shuō)，選擇一應(yīng)用之后用戶(hù)所理解的第一個(gè)動(dòng)作可以是用戶(hù)畫(huà)出一個(gè)框。在畫(huà)出所述框或其它包圍之后，筆設(shè)備然后將該框與應(yīng)用或功能相關(guān)聯(lián)。
在步驟573，當(dāng)在有界區(qū)域內(nèi)檢測(cè)到激勵(lì)時(shí)，與該有界區(qū)域相關(guān)的功能或應(yīng)用程序得以自動(dòng)調(diào)用。有界區(qū)域典型地與特定功能關(guān)聯(lián)，該特定功能影響當(dāng)筆設(shè)備識(shí)別出有界區(qū)域內(nèi)的激勵(lì)時(shí)所調(diào)用的特定功能性(或應(yīng)用)。特定功能的一個(gè)例子是計(jì)算器功能，其中，到計(jì)算器有界區(qū)域內(nèi)的用戶(hù)輸入優(yōu)先識(shí)別為與字母相對(duì)照的數(shù)字，以便于改進(jìn)識(shí)別過(guò)程。在該例子中，表示計(jì)算器的有界區(qū)域內(nèi)的任何用戶(hù)書(shū)寫(xiě)自動(dòng)調(diào)用計(jì)算器功能，然后將該功能施加于所述書(shū)寫(xiě)。這在書(shū)寫(xiě)已經(jīng)完成而用戶(hù)僅用書(shū)寫(xiě)工具(例如筆設(shè)備100)來(lái)選擇它們時(shí)也是如此。
在步驟574，根據(jù)特定于有界區(qū)域的功能來(lái)提供輸出。例如，繼續(xù)以上所述的計(jì)算器例子，輸出將是描述用戶(hù)輸入的數(shù)學(xué)運(yùn)算的結(jié)果的音頻輸出。隨后，在步驟575，將所述特定功能與有界區(qū)域關(guān)聯(lián)以便于實(shí)現(xiàn)持久性。如以上所述，該持久性屬性使用戶(hù)能執(zhí)行其它中間任務(wù)和執(zhí)行其它中間動(dòng)作，并且在某個(gè)以后的時(shí)間點(diǎn)返回到有界區(qū)域并使其以其想要的方式來(lái)起作用(例如，有界區(qū)域仍表現(xiàn)為計(jì)算器)。有界區(qū)域的計(jì)算器例子在圖11的討論中進(jìn)一步描述。
圖11示出根據(jù)本發(fā)明一個(gè)實(shí)施例的計(jì)算機(jī)有界區(qū)域應(yīng)用。圖11說(shuō)明用戶(hù)可從空白紙片創(chuàng)建紙計(jì)算器的方式。在該例子中，在用戶(hù)已經(jīng)如上所述選擇了“計(jì)算器”應(yīng)用之后，筆設(shè)備提示用戶(hù)畫(huà)出方形有界區(qū)域211并且提示用戶(hù)在該有界區(qū)域內(nèi)寫(xiě)下數(shù)字0-9和運(yùn)算符+、-、×、/和＝。用戶(hù)創(chuàng)建圖形元素210，包括具有圍繞其的圓形的數(shù)字以及用于諸如加、減、乘、除和相等的運(yùn)算的數(shù)學(xué)運(yùn)算符。在其它實(shí)施例中，圓形不需要圍繞圖11中所示的數(shù)字而提供。筆設(shè)備100識(shí)別所創(chuàng)建的圖形元素并且識(shí)別所創(chuàng)建的實(shí)際圖形元素。
用戶(hù)然后可選擇至少兩個(gè)圖形元素來(lái)實(shí)現(xiàn)與該至少兩個(gè)圖形元素的選擇相關(guān)的音頻輸出。例如，用戶(hù)可選擇圖形元素“4”“+”“7”“＝”的序列來(lái)聽(tīng)取筆設(shè)備朗讀“十一”。如以上所述，紙計(jì)算器是持久的，并因此可在以后的時(shí)間再使用，這是因?yàn)楣P設(shè)備已將圖形元素的位置存儲(chǔ)在其存儲(chǔ)器單元中。該實(shí)施例在學(xué)生沒(méi)有可用的實(shí)際計(jì)算器的學(xué)校中是有用的。
應(yīng)指出，有界區(qū)域可預(yù)打印或由用戶(hù)畫(huà)出。例如，紙計(jì)算器可以是以上述方式響應(yīng)于提示由用戶(hù)創(chuàng)建的，或者紙計(jì)算器可以預(yù)先打印在紙張213上。在任何一種情況下，當(dāng)用戶(hù)在該有界區(qū)域211中書(shū)寫(xiě)時(shí)，僅計(jì)算器應(yīng)用是激活的并且筆設(shè)備僅看到數(shù)字而不是字母，以便于使識(shí)別過(guò)程簡(jiǎn)化。
另外，應(yīng)指出，用戶(hù)不需要選擇圖形元素圖標(biāo)來(lái)激活指定給所述有界區(qū)域的應(yīng)用或功能。根據(jù)創(chuàng)建有界區(qū)域的方式，與有界區(qū)域關(guān)聯(lián)的功能(例如計(jì)算器)持續(xù)存在并且在隨后的激勵(lì)時(shí)自動(dòng)得以自調(diào)用。亦應(yīng)指出，用戶(hù)可限定多個(gè)有界區(qū)域，每個(gè)區(qū)域指定一不同的應(yīng)用。例如，仍參考圖11，用戶(hù)可以如上所述的方式來(lái)限定計(jì)算器有界區(qū)域211，并且亦在同一紙張213上限定詞典有界區(qū)域212(例如從參考子菜單“R”和工具子菜單“T”)。詞典有界區(qū)域212通過(guò)可聽(tīng)見(jiàn)地再現(xiàn)在有界區(qū)域212內(nèi)輸入的文本串(例如詞“rampart”)的定義來(lái)起作用。這樣，在有界區(qū)域212內(nèi)輸入的文本與詞典功能關(guān)聯(lián)并且被識(shí)別為詞(例如字母)，而在有界區(qū)域211內(nèi)輸入的文本與計(jì)算器功能關(guān)聯(lián)并且被識(shí)別為數(shù)字(例如相等)?？商鎿Q地，用戶(hù)可限定多個(gè)有界區(qū)域，其中它們的兩個(gè)或多個(gè)是同一功能的實(shí)例。
圖12A示出根據(jù)本發(fā)明一個(gè)實(shí)施例的計(jì)算機(jī)實(shí)施的過(guò)程580的步驟流程圖。過(guò)程580描述根據(jù)本發(fā)明一個(gè)實(shí)施例的用于訪問(wèn)筆設(shè)備(例如設(shè)備100)的功能的文本串識(shí)別用戶(hù)接口過(guò)程的基本操作步驟。該過(guò)程580描述稱(chēng)為“活動(dòng)文本”的基于筆的計(jì)算機(jī)系統(tǒng)的工作模式。
過(guò)程580開(kāi)始于步驟581，在此設(shè)備100的計(jì)算機(jī)實(shí)施的功能性識(shí)別可由用戶(hù)用筆設(shè)備寫(xiě)出的文本串(例如詞)。在步驟582，一旦識(shí)別，得以訪問(wèn)當(dāng)前選擇或相關(guān)于該文本串的功能。在步驟583，根據(jù)該功能和根據(jù)該文本串來(lái)提供輸出。示例的功能可以是例如翻譯功能，其中詞從一種語(yǔ)言(例如英語(yǔ))翻譯成不同的語(yǔ)言；詞典功能，其中為該詞提供定義；辭典功能等。隨后，在步驟584，將所述特定功能與所述文本串關(guān)聯(lián)以便于實(shí)現(xiàn)持久性。如以上所述，該持久性屬性使用戶(hù)能執(zhí)行其它中間任務(wù)和執(zhí)行其它中間動(dòng)作，并且在某個(gè)以后的時(shí)間點(diǎn)通過(guò)由筆設(shè)備僅選擇該文本串而返回到該文本串并使其以其想要的方式來(lái)起作用(例如，文本串仍表現(xiàn)為辭典、詞典、翻譯器等)。在步驟585，在某個(gè)以后的時(shí)間，用戶(hù)可以用筆設(shè)備來(lái)選擇所述文本串(例如通過(guò)在該文本串上接觸)。隨后，在步驟586，響應(yīng)于所述選擇，筆設(shè)備自動(dòng)選擇與該文本串關(guān)聯(lián)的功能并且再次提供輸出(例如提供翻譯輸出、提供定義等)。
以這種方式，用戶(hù)能夠?qū)懗鑫谋?例如詞)，并且筆設(shè)備記住該詞和它在紙上的位置。所述文本由此成為能夠調(diào)用不同功能的紙上的活動(dòng)區(qū)域(例如象圖形元素圖標(biāo))。
圖12B示出根據(jù)本發(fā)明一個(gè)實(shí)施例的計(jì)算機(jī)實(shí)施的過(guò)程590的步驟流程圖。在過(guò)程590的實(shí)施例中，對(duì)文本所執(zhí)行的功能僅取決于當(dāng)前選擇的應(yīng)用，并且文本串則僅被當(dāng)做數(shù)據(jù)。這由過(guò)程590來(lái)描述。
過(guò)程590開(kāi)始于步驟591，在此用戶(hù)寫(xiě)出文本串。在步驟592，筆設(shè)備自動(dòng)將該文本串識(shí)別為特定的詞。在步驟593，第一應(yīng)用(其是當(dāng)前活動(dòng)的)施加到所述特定詞并且應(yīng)用(對(duì)所述特定詞操作)的結(jié)果由筆設(shè)備可聽(tīng)見(jiàn)地再現(xiàn)。例如，當(dāng)用戶(hù)選擇所述文本時(shí)，可啟動(dòng)特定的專(zhuān)用功能，其中不同的功能依賴(lài)于所選應(yīng)用來(lái)調(diào)用。在步驟594激活第二應(yīng)用。在步驟595，用戶(hù)再次選擇所述文本串并且所述特定詞得以自動(dòng)再調(diào)用。并且在步驟596，第二應(yīng)用自動(dòng)施加到所述特定詞并且第二應(yīng)用(對(duì)所述特定詞操作)的結(jié)果可聽(tīng)見(jiàn)地再現(xiàn)。
在該實(shí)施例中，應(yīng)指出一個(gè)或多個(gè)圖形元素圖標(biāo)可用于改變與文本串(例如詞)關(guān)聯(lián)的功能。例如，詞典應(yīng)用、翻譯應(yīng)用等可通過(guò)其相應(yīng)的圖形元素圖標(biāo)來(lái)選擇。類(lèi)似地，多個(gè)圖形元素圖標(biāo)可從同一詞來(lái)調(diào)用對(duì)應(yīng)的多個(gè)不同的功能(例如以獲取定義、獲取翻譯等)。
這樣，例如，過(guò)程590實(shí)現(xiàn)了接口方法，由此在翻譯應(yīng)用活動(dòng)(例如通過(guò)接觸翻譯圖形項(xiàng)目圖標(biāo))時(shí)，對(duì)詞的選擇調(diào)用特定詞到另一種語(yǔ)言的翻譯。但當(dāng)詞典應(yīng)用活動(dòng)(例如通過(guò)接觸詞典圖形項(xiàng)目圖標(biāo))時(shí)，當(dāng)用戶(hù)選擇特定詞時(shí)，筆設(shè)備提供用于該特定詞的定義。以這種方式，用戶(hù)使多個(gè)應(yīng)用與特定的詞關(guān)聯(lián)。與之相對(duì)照，借助過(guò)程580，在翻譯應(yīng)用活動(dòng)時(shí)，對(duì)詞的選擇調(diào)用該特定詞到另一種語(yǔ)言的翻譯。用戶(hù)然后可繼續(xù)執(zhí)行其它中間任務(wù)(例如計(jì)算器應(yīng)用、游戲等)。且然后在某個(gè)以后的時(shí)間，由于所述一個(gè)應(yīng)用保持與所述文本串關(guān)聯(lián)，當(dāng)用戶(hù)想要再次聽(tīng)取所述特定詞的翻譯(例如筆設(shè)備可聽(tīng)見(jiàn)地再現(xiàn)所述特定詞的翻譯)時(shí)，用戶(hù)僅再次選擇所述文本串(例如通過(guò)接觸它)即可。由于僅單個(gè)應(yīng)用已經(jīng)與所述特定詞關(guān)聯(lián)，翻譯得以自動(dòng)再現(xiàn)。
重要的是，在以上例子中，應(yīng)指出，對(duì)標(biāo)記、單個(gè)字符或文本串(例如詞)，在其首次由用戶(hù)寫(xiě)出(例如圖11中所示的“rampart”)時(shí)，僅需要執(zhí)行一次OCR(光學(xué)字符識(shí)別)過(guò)程。如以上所述，筆設(shè)備100包括可確定圖形元素在表面213上的位置的功能性(例如通過(guò)筆設(shè)備100讀取在表面213上編碼的數(shù)據(jù))。這使筆設(shè)備100能夠記住特定詞的位置。筆設(shè)備100可由此通過(guò)識(shí)別表面213上的特定詞的同一位置(例如當(dāng)用戶(hù)在某個(gè)以后的時(shí)間將筆設(shè)備100接觸到特定詞上)來(lái)辨識(shí)特定詞的選擇。在用戶(hù)對(duì)所述詞的隨后選擇時(shí)，對(duì)較早執(zhí)行的OCR過(guò)程的結(jié)果進(jìn)行再調(diào)用，并且這些結(jié)果由例如活動(dòng)的應(yīng)用(例如詞典)來(lái)使用。這樣，存儲(chǔ)OCR過(guò)程(例如關(guān)于詞、字符、數(shù)字等)的結(jié)果并且在以后的時(shí)間隨后再調(diào)用這些結(jié)果以便用于一個(gè)或多個(gè)應(yīng)用的能力大大改善了由本發(fā)明實(shí)施例所實(shí)施的用戶(hù)接口的響應(yīng)性和性能。資源密集的OCR處理僅需要由筆設(shè)備100的計(jì)算機(jī)系統(tǒng)資源執(zhí)行一次。
應(yīng)指出，有界區(qū)域可用于影響或改變與文本串(例如詞)關(guān)聯(lián)的功能。例如，對(duì)應(yīng)于詞典應(yīng)用的有界區(qū)域可能在詞書(shū)寫(xiě)(或選擇，如果已經(jīng)書(shū)寫(xiě))于該有界區(qū)域內(nèi)時(shí)總是提供該詞的定義。類(lèi)似地，文本串可用于改變或影響與有界區(qū)域關(guān)聯(lián)的功能。
圖13A和13B示出根據(jù)本發(fā)明一個(gè)實(shí)施例的文本串識(shí)別應(yīng)用的例子。如圖13A和圖13B中所述，用戶(hù)可寫(xiě)下由圓形包圍的圖形元素302D。在筆設(shè)備100朗讀詞“詞典”之后，用戶(hù)可以用筆設(shè)備100來(lái)創(chuàng)建復(fù)選標(biāo)記304以指示選擇了詞典功能。在創(chuàng)建圖形元素302之后，筆設(shè)備100可進(jìn)一步提示用戶(hù)創(chuàng)建另一個(gè)圖形元素305，包括由線306(例如有界區(qū)域)包圍的詞“法語(yǔ)”。然后筆設(shè)備100可提示用戶(hù)寫(xiě)出一詞，并且用戶(hù)可寫(xiě)出文本串“Hello”310。然后用戶(hù)可選擇詞“Hello”，然后選擇圖形元素305以聽(tīng)取由設(shè)備100朗讀的詞“Bonjour”。
如以上例子所說(shuō)明的，用戶(hù)所創(chuàng)建的至少兩個(gè)圖形元素可包括第一圖形元素(例如文本串)，包括語(yǔ)言的名稱(chēng)；以及第二圖形元素，包括與所述語(yǔ)言不同的語(yǔ)言的詞。用戶(hù)可選擇該詞，然后選擇語(yǔ)言的名稱(chēng)，并且然后可聽(tīng)取至少一個(gè)音頻示出，包括聽(tīng)取以所述語(yǔ)言說(shuō)出所述詞的合成語(yǔ)音。所述語(yǔ)言可以是非英語(yǔ)語(yǔ)言，如西班牙語(yǔ)、法語(yǔ)、德語(yǔ)、漢語(yǔ)、日語(yǔ)等，并且所述詞可以是英語(yǔ)。英語(yǔ)到外語(yǔ)詞典可以在筆設(shè)備的存儲(chǔ)器單元中存儲(chǔ)為計(jì)算機(jī)代碼。
對(duì)本發(fā)明特定實(shí)施例的以上描述僅僅是為了說(shuō)明和描述的目的而提出的。它們并不是想要窮盡或?qū)⒈景l(fā)明限制于所公開(kāi)的精確的形式，并且顯然按照以上教導(dǎo)，許多修改和變化是可能的。選擇和描述實(shí)施例是為了最好地說(shuō)明本發(fā)明的原理及其實(shí)際應(yīng)用，由此使本領(lǐng)域的其他技術(shù)人員能夠以適合于所設(shè)想的特定用途的各種修改來(lái)最好地利用本發(fā)明和各種實(shí)施例。所希望的是，本發(fā)明的范圍由所附權(quán)利要求及其等效形式來(lái)限定。
權(quán)利要求
1.一種解釋用戶(hù)命令的方法，包括識(shí)別可寫(xiě)表面的有界區(qū)域內(nèi)的筆設(shè)備的激勵(lì)；基于所述激勵(lì)來(lái)訪問(wèn)與所述有界區(qū)域有關(guān)的筆設(shè)備的功能；根據(jù)所述功能來(lái)提供輸出；以及將所述功能與所述有界區(qū)域關(guān)聯(lián)。
2.權(quán)利要求1的方法，其中所述輸出包括與所述功能有關(guān)的音頻輸出。
3.權(quán)利要求1的方法，進(jìn)一步包括通過(guò)存儲(chǔ)所述功能與所述有界區(qū)域的關(guān)聯(lián)來(lái)使能對(duì)所述功能的隨后訪問(wèn)。
4.權(quán)利要求3的方法，其中對(duì)所述功能與所述有界區(qū)域的關(guān)聯(lián)的所述存儲(chǔ)實(shí)現(xiàn)了經(jīng)由所述筆設(shè)備與所述有界區(qū)域的交互、在預(yù)定時(shí)間量?jī)?nèi)的所述功能性的持久可用性。
5.權(quán)利要求1的方法，其中所述有界區(qū)域是用戶(hù)在所述表面上用所述筆設(shè)備畫(huà)出的。
6.權(quán)利要求5的方法，其中所述表面包括紙張。
7.權(quán)利要求1的方法，進(jìn)一步包括通過(guò)首先選擇所述表面上的圖形元素圖標(biāo)的多個(gè)選項(xiàng)之一來(lái)確定與所述有界區(qū)域有關(guān)的功能。
8.權(quán)利要求7的方法，進(jìn)一步包括根據(jù)對(duì)所述多個(gè)選項(xiàng)之一的選擇來(lái)提示創(chuàng)建所述有界區(qū)域。
9.權(quán)利要求1的方法，其中所述有界區(qū)域是預(yù)打印的有界區(qū)域，并且與所述有界區(qū)域有關(guān)的功能是預(yù)定的。
10.權(quán)利要求1的方法，進(jìn)一步包括其中所述激勵(lì)包括所述有界區(qū)域內(nèi)的用戶(hù)所寫(xiě)的文本，并且進(jìn)一步包括將所述用戶(hù)所寫(xiě)的文本自動(dòng)識(shí)別為特定的詞。
11.權(quán)利要求10的方法，其中所述提供輸出包括將所述特定詞自動(dòng)應(yīng)用到與所述有界區(qū)域有關(guān)的功能以產(chǎn)生其結(jié)果。
12.權(quán)利要求11的方法，其中所述結(jié)果可聽(tīng)見(jiàn)地再現(xiàn)。
13.權(quán)利要求1的方法，進(jìn)一步包括使能隨后訪問(wèn)對(duì)應(yīng)于多個(gè)有界區(qū)域的多個(gè)功能，這是通過(guò)分別存儲(chǔ)多個(gè)功能與多個(gè)有界區(qū)域的關(guān)聯(lián)來(lái)實(shí)現(xiàn)的。
14.一種解釋用戶(hù)命令的方法，包括識(shí)別可寫(xiě)表面上的文本串；基于所述識(shí)別來(lái)訪問(wèn)與所述文本串有關(guān)的筆設(shè)備的功能；根據(jù)所述功能來(lái)提供輸出；以及將所述功能與所述文本串關(guān)聯(lián)。
15.權(quán)利要求14的方法，其中所述輸出包括與所述功能有關(guān)的音頻輸出。
16.權(quán)利要求14的方法，進(jìn)一步包括通過(guò)存儲(chǔ)所述功能與所述文本串的關(guān)聯(lián)來(lái)使能對(duì)所述功能的隨后訪問(wèn)。
17.權(quán)利要求16的方法，其中對(duì)所述功能與所述文本串的關(guān)聯(lián)的所述存儲(chǔ)實(shí)現(xiàn)了經(jīng)由所述文本串與所述筆設(shè)備的交互、在預(yù)定時(shí)間量?jī)?nèi)的所述功能性的持久可用性。
18.權(quán)利要求14的方法，其中所述文本串是用戶(hù)在書(shū)寫(xiě)表面上用所述筆設(shè)備畫(huà)出的。
19.權(quán)利要求18的方法，其中所述書(shū)寫(xiě)表面包括紙張。
20.權(quán)利要求14的方法，進(jìn)一步包括通過(guò)選擇圖形元素圖標(biāo)的多個(gè)選項(xiàng)之一來(lái)確定與所述文本串有關(guān)的功能。
21.權(quán)利要求19的方法，進(jìn)一步包括根據(jù)對(duì)所述多個(gè)選項(xiàng)之一的選擇來(lái)提示創(chuàng)建所述文本串。
22.權(quán)利要求14的方法，其中所述文本串在具有與所述有界區(qū)域有關(guān)的并且是預(yù)定的功能的預(yù)打印有界區(qū)域內(nèi)被識(shí)別。
23.權(quán)利要求14的方法，進(jìn)一步包括根據(jù)與所述有界區(qū)域有關(guān)的功能來(lái)選擇與在所述有界區(qū)域內(nèi)輸入的文本串有關(guān)的功能。
24.權(quán)利要求14的方法，進(jìn)一步包括通過(guò)選擇圖形元素圖標(biāo)的多個(gè)選項(xiàng)之一來(lái)選擇與所述文本串一起使用的多個(gè)功能之一。
25.權(quán)利要求14的方法，進(jìn)一步包括識(shí)別通過(guò)所述筆設(shè)備對(duì)所述文本串的選擇；訪問(wèn)與所述文本串有關(guān)的所述功能；以及根據(jù)所述功能來(lái)提供輸出。
26.一種解釋用戶(hù)命令的方法，包括將用戶(hù)所寫(xiě)的文本串識(shí)別為特定詞，其中所述用戶(hù)所寫(xiě)的文本串是使用筆設(shè)備寫(xiě)在可寫(xiě)表面上的；將所述特定詞應(yīng)用到第一應(yīng)用以產(chǎn)生其第一結(jié)果，其中所述第一應(yīng)用是可操作以在所述筆設(shè)備上執(zhí)行的多個(gè)應(yīng)用之一；以及使用所述筆設(shè)備可聽(tīng)見(jiàn)地再現(xiàn)所述結(jié)果。
27.權(quán)利要求26的方法，進(jìn)一步包括識(shí)別響應(yīng)于所述筆設(shè)備與所述可寫(xiě)表面上的圖像交互而選擇了第二應(yīng)用；識(shí)別響應(yīng)于所述筆設(shè)備與其交互而選擇了所述用戶(hù)所寫(xiě)的文本串；將所述特定詞自動(dòng)應(yīng)用到所述第二應(yīng)用以產(chǎn)生其第二結(jié)果；以及使用所述筆設(shè)備可聽(tīng)見(jiàn)地再現(xiàn)所述第二結(jié)果。
28.一種設(shè)備，包括光學(xué)傳感器，用于檢測(cè)來(lái)自可寫(xiě)表面的圖像；處理器，耦合到所述傳感器；以及存儲(chǔ)器，耦合到所述處理器，該存儲(chǔ)器存儲(chǔ)當(dāng)執(zhí)行時(shí)使處理器實(shí)施解釋用戶(hù)命令的方法的指令，所述方法包括識(shí)別所述表面上的所創(chuàng)建的圖形元素圖標(biāo)；訪問(wèn)與所述圖形元素圖標(biāo)有關(guān)的功能；將用戶(hù)所寫(xiě)的文本串識(shí)別為特定詞；根據(jù)所述特定詞并且根據(jù)所述功能來(lái)提供輸出；以及將所述功能與用戶(hù)所寫(xiě)的文本串關(guān)聯(lián)。
29.權(quán)利要求28的設(shè)備，其中所述輸出包括與所述功能有關(guān)并且與所述用戶(hù)所寫(xiě)的文本有關(guān)的音頻輸出。
30.權(quán)利要求28的設(shè)備，進(jìn)一步包括通過(guò)存儲(chǔ)所述功能與所述用戶(hù)所寫(xiě)的文本串的關(guān)聯(lián)來(lái)使能對(duì)所述功能的隨后訪問(wèn)。
31.權(quán)利要求30的設(shè)備，其中對(duì)所述功能與所述用戶(hù)所寫(xiě)的文本串的關(guān)聯(lián)的所述存儲(chǔ)實(shí)現(xiàn)了經(jīng)由使用所述筆設(shè)備與所述文本串的交互、在預(yù)定時(shí)間量?jī)?nèi)的所述功能性的持久可用性。
32.權(quán)利要求28的設(shè)備，其中所述用戶(hù)所寫(xiě)的文本串是在所述表面上用所述筆設(shè)備創(chuàng)建的。
33.權(quán)利要求32的設(shè)備，其中所述表面包括紙張。
34.權(quán)利要求28的設(shè)備，進(jìn)一步包括通過(guò)選擇圖形元素圖標(biāo)的多個(gè)選項(xiàng)之一來(lái)確定與所述文本串有關(guān)的功能。
35.權(quán)利要求28的設(shè)備，進(jìn)一步包括根據(jù)所述功能來(lái)提示創(chuàng)建所述文本串。
36.權(quán)利要求28的設(shè)備，進(jìn)一步包括根據(jù)所述功能來(lái)提示創(chuàng)建有界區(qū)域；以及提示在所述有界區(qū)域內(nèi)創(chuàng)建所述文本串以實(shí)施所述功能。
37.權(quán)利要求36的設(shè)備，進(jìn)一步包括根據(jù)與所述有界區(qū)域有關(guān)的功能來(lái)選擇與在所述有界區(qū)域內(nèi)輸入的文本串有關(guān)的功能。
38.權(quán)利要求28的設(shè)備，進(jìn)一步包括通過(guò)選擇圖形元素圖標(biāo)的多個(gè)選項(xiàng)之一來(lái)選擇與所述文本串一起使用的多個(gè)功能之一。
39.一種筆設(shè)備，包括光學(xué)傳感器，用于感測(cè)可寫(xiě)表面上的圖像；書(shū)寫(xiě)工具；處理器，耦合到總線；揚(yáng)聲器；存儲(chǔ)器，耦合到所述總線，并且包括當(dāng)執(zhí)行時(shí)實(shí)施解釋用戶(hù)命令的方法的指令，所述方法包括將用戶(hù)所寫(xiě)的文本串識(shí)別為特定詞，其中所述用戶(hù)所寫(xiě)的文本串是使用所述書(shū)寫(xiě)裝置寫(xiě)在所述可寫(xiě)表面上的；將所述特定詞應(yīng)用到第一應(yīng)用以產(chǎn)生其第一結(jié)果，其中所述第一應(yīng)用是可操作以在所述筆設(shè)備上執(zhí)行的多個(gè)應(yīng)用之一；以及使用所述揚(yáng)聲器可聽(tīng)見(jiàn)地再現(xiàn)所述結(jié)果。
40.權(quán)利要求39的設(shè)備，其中所述方法進(jìn)一步包括識(shí)別響應(yīng)于所述筆設(shè)備與所述可寫(xiě)表面上的圖像交互而選擇了第二應(yīng)用；識(shí)別響應(yīng)于所述筆設(shè)備與其交互而選擇了所述用戶(hù)所寫(xiě)的文本串；將所述特定詞自動(dòng)應(yīng)用到所述第二應(yīng)用以產(chǎn)生其第二結(jié)果；以及使用所述筆設(shè)備可聽(tīng)見(jiàn)地再現(xiàn)所述第二結(jié)果。
41.一種筆設(shè)備，包括光學(xué)傳感器，用于感測(cè)可寫(xiě)表面上的圖像；書(shū)寫(xiě)工具；處理器，耦合到總線；揚(yáng)聲器；存儲(chǔ)器，耦合到所述總線，并且包括當(dāng)執(zhí)行時(shí)實(shí)施解釋用戶(hù)命令的方法的指令，所述方法包括將所述可寫(xiě)表面的第一有界區(qū)域限定給第一應(yīng)用；將所述可寫(xiě)表面的第二有界區(qū)域限定給第二應(yīng)用，其中所述第一和第二應(yīng)用可操作以在所述筆設(shè)備上執(zhí)行；響應(yīng)于所述第一有界區(qū)域中的第一用戶(hù)書(shū)寫(xiě)數(shù)據(jù)，將所述第一用戶(hù)書(shū)寫(xiě)數(shù)據(jù)識(shí)別為第一表達(dá)，并且將所述第一表達(dá)自動(dòng)應(yīng)用到所述第一應(yīng)用以產(chǎn)生其第一結(jié)果；以及使用所述揚(yáng)聲器可聽(tīng)見(jiàn)地再現(xiàn)所述第一結(jié)果。
42.權(quán)利要求41的筆設(shè)備，其中所述方法進(jìn)一步包括響應(yīng)于所述第二有界區(qū)域中的第二用戶(hù)書(shū)寫(xiě)數(shù)據(jù)，將所述用戶(hù)第二書(shū)寫(xiě)數(shù)據(jù)識(shí)別為第二表達(dá)，并且將所述第二表達(dá)自動(dòng)應(yīng)用到所述第二應(yīng)用以產(chǎn)生其第二結(jié)果；以及使用所述揚(yáng)聲器可聽(tīng)見(jiàn)地再現(xiàn)所述第二結(jié)果。
43.權(quán)利要求41的筆設(shè)備，其中所述將所述第一有界區(qū)域限定給所述第一應(yīng)用包括識(shí)別響應(yīng)于所述筆設(shè)備與所述可寫(xiě)表面上的圖像交互而選擇了所述第一應(yīng)用；使用所述揚(yáng)聲器來(lái)提示在所述表面上畫(huà)出所述第一有界區(qū)域；響應(yīng)于使用所述筆設(shè)備對(duì)其畫(huà)出來(lái)限定所述第一有界區(qū)域；以及將所述第一有界區(qū)域與所述第一應(yīng)用關(guān)聯(lián)。
44.權(quán)利要求43的筆設(shè)備，其中所述將所述第二有界區(qū)域限定給所述第二應(yīng)用包括識(shí)別響應(yīng)于所述筆設(shè)備與所述可寫(xiě)表面上的圖像交互而選擇了所述第二應(yīng)用；使用所述揚(yáng)聲器來(lái)提示在所述表面上畫(huà)出所述第二有界區(qū)域；響應(yīng)于使用所述筆設(shè)備對(duì)其畫(huà)出來(lái)限定所述第二有界區(qū)域；以及將所述第二有界區(qū)域與所述第二應(yīng)用關(guān)聯(lián)。
45.一種接受來(lái)自用戶(hù)的輸入的方法，包括識(shí)別可寫(xiě)表面的有界區(qū)域內(nèi)的筆設(shè)備的激勵(lì)；基于所述激勵(lì)來(lái)訪問(wèn)與所述有界區(qū)域有關(guān)的筆設(shè)備的功能；根據(jù)所述功能來(lái)提供輸出；以及將所述功能與所述有界區(qū)域關(guān)聯(lián)。
46.權(quán)利要求45的方法，其中所述輸出包括與所述功能有關(guān)的音頻輸出。
47.權(quán)利要求46的方法，其中所述音頻輸出是通過(guò)筆設(shè)備提供的。
48.權(quán)利要求47的方法，其中所述音頻輸出是通過(guò)與所述筆設(shè)備通信的第二設(shè)備來(lái)提供的。
49.權(quán)利要求45的方法，其中所述輸出包括與所述功能有關(guān)的視覺(jué)輸出。
50.權(quán)利要求49的方法，其中所述視覺(jué)輸出是通過(guò)筆設(shè)備提供的。
51.權(quán)利要求50的方法，其中所述視覺(jué)輸出是通過(guò)與所述筆設(shè)備通信的第二設(shè)備來(lái)提供的。
全文摘要
一種用于通過(guò)所識(shí)別文本和有界區(qū)域來(lái)實(shí)施用于筆設(shè)備的用戶(hù)接口的方法和系統(tǒng)。所述方法包括識(shí)別文本串和基于該識(shí)別來(lái)訪問(wèn)與該文本串有關(guān)的功能或應(yīng)用。根據(jù)所述功能提供輸出并且功能與所述文本串關(guān)聯(lián)。可替換地，對(duì)文本串的選擇將文本串的識(shí)別結(jié)果自動(dòng)應(yīng)用到當(dāng)前活動(dòng)的應(yīng)用。所述方法包括識(shí)別有界區(qū)域內(nèi)的激勵(lì)并且基于所述激勵(lì)來(lái)自動(dòng)訪問(wèn)與該有界區(qū)域有關(guān)的功能。有界區(qū)域內(nèi)所識(shí)別的文本串根據(jù)所述文本串和有界區(qū)域產(chǎn)生輸出。
文檔編號(hào)G06F3/048GK1855014SQ20061000056
公開(kāi)日2006年11月1日 申請(qǐng)日期2006年1月11日 優(yōu)先權(quán)日2005年1月12日
發(fā)明者詹姆斯·馬格拉夫, 亞歷山大·奇澤姆, 特拉西·L·埃奇庫(kù)姆 申請(qǐng)人:跳蛙企業(yè)股份有限公司