專利名稱：用戶創(chuàng)建交互界面的制作方法
背景技術(shù)：
有許多系統(tǒng)允許用戶用觸針(stylus)在打印介質(zhì)上選擇打印元素后獲得一些反饋。
一個這樣的系統(tǒng)在Ohara等的專利(U.S.5,485,176)中描述。在此專利中，用戶使用觸針并在平臺上的書內(nèi)選擇打印元素。所述平臺連接到視頻監(jiān)視器。在用戶選擇打印元素后與所選打印元素對應(yīng)的視覺輸出顯示在視頻監(jiān)視器上。
盡管在Ohara等的專利中描述的系統(tǒng)是有用的，但可進行改進。例如，系統(tǒng)主要產(chǎn)生相對于音頻輸出的視覺輸出并且不具有寫能力。
允許用戶獲得反饋的另一個系統(tǒng)稱作來自Brighteye TechnologyTM的Scan-A-Page或WordTM。為了到達理解的程度，系統(tǒng)使用了掃描觸針并通過個人計算機運行的光學(xué)字符識別軟件來識別打印的詞。在掃描和識別詞后，所述被識別的詞通過合成聲音大聲讀出。盡管該系統(tǒng)也是有用的，但其交互能力是有限的。例如，其限制于掃描打印元素如詞及然后聽取與所述打印元素相關(guān)的音頻。
上述識別系統(tǒng)有其它問題。例如，上述系統(tǒng)都不允許用戶在紙張或其它介質(zhì)上創(chuàng)建用戶定義的應(yīng)用或用戶交互式系統(tǒng)。
本發(fā)明的實施例試圖處理這些和其它問題。

發(fā)明內(nèi)容
此處描述的實施例允許用戶在紙上創(chuàng)建用戶定義的應(yīng)用，和/或允許用戶以先前未想過的方式與紙交互。例如，在一些實施例中，用戶可以用交互式觸針通過在紙張上創(chuàng)建圖形元素來創(chuàng)建用戶定義的用戶界面。其后用戶可以類似于個人可如何與基于鋼筆的計算機交互的方式與所述圖形元素交互，除非基于鋼筆的計算機不存在。從用戶的視角，一張沒有生命的紙有了生命并且對于用戶是功能界面。
一個實施例指向一種方法，包括(a)用觸針創(chuàng)建圖形元素；(b)在創(chuàng)建所述圖形元素后聽取多個菜單項中至少一個菜單項的音頻朗讀；以及(c)從所述多個菜單項中選擇菜單項。
另一個實施例指向一種交互式設(shè)備，包括觸針殼；處理器；存儲單元，包括(i)用于識別用戶用觸針創(chuàng)建的圖形元素的計算機代碼，(ii)用于在用戶創(chuàng)建圖形元素后播放多個菜單項中至少一個菜單項的音頻朗讀的計算機代碼，以及(iii)用于識別用戶從多個菜單項中對一個菜單項的選擇的計算機代碼；以及音頻輸出裝置，其中所述音頻輸出裝置和所述存儲單元有效地耦合到處理器。
另一個實施例指向一種方法，包括(a)用觸針形成多個圖形元素；(b)用所述觸針以用戶限定的順序選擇至少兩個所述圖形元素；以及(c)聽取與所述形成的圖形元素相關(guān)的至少一個音頻輸出。
另一個實施例指向一種交互式設(shè)備包括觸針殼；耦合到所述觸針殼的處理器；存儲單元，包括(i)用于識別用觸針創(chuàng)建的多個圖形元素的計算機代碼，(ii)用于識別用所述觸針以用戶限定的順序?qū)χ辽賰蓚€所述圖形元素的選擇的計算機代碼，以及(iii)用于播放與所述形成的圖形元素相關(guān)的音頻輸出的計算機代碼；以及音頻輸出裝置，其中所述音頻輸出裝置和所述存儲單元有效地耦合到處理器。
這些和其它實施例將在下面進一步詳細描述。


圖1示出了包括二維物品和交互式設(shè)備的交互式系統(tǒng)的示意圖。
圖2示出了包括二維物品以及包括平臺的交互式設(shè)備的交互式系統(tǒng)的示意圖。
圖3示出了根據(jù)本發(fā)明的一個實施例的交互式設(shè)備的一些電子部件的方框圖。
圖4示出了根據(jù)本發(fā)明的一個實施例的樹形菜單的示意圖。
圖5示出了圖解根據(jù)本發(fā)明的一個實施例的方法的流程圖。
圖6(a)-6(b)示出了觸針可如何用于創(chuàng)建圖形元素以及與其交互以使交互式設(shè)備提供菜單項列表和允許用戶選擇菜單項的示意圖解。
圖7示出了圖解根據(jù)本發(fā)明的一個實施例的方法的流程圖。
圖8示出了根據(jù)本發(fā)明的一個實施例，其中用戶可在紙張上寫多個數(shù)字以產(chǎn)生定制計算器。
圖9(a)-9(b)示出了圖解可如何在紙張上產(chǎn)生翻譯器的紙張。
圖10(a)示出了其上帶有圓的紙張，其中圓用于稱作“猜詞(wordscramble)”的游戲。
圖10(b)是帶有標(biāo)記的紙張，其示出了另一個翻譯器和詞典可如何使用。
圖11(a)是示出了鬧鐘功能可如何使用的紙張。
圖11(b)是示出了電話列表功能可如何使用的紙張。
圖12示出了根據(jù)本發(fā)明的一個實施例的通信系統(tǒng)的框圖。
具體實施例方式
本發(fā)明的實施例包括交互式設(shè)備。一種示范性的交互式設(shè)備包括觸針殼、耦合到所述觸針殼的處理器、存儲單元和音頻輸出裝置。所述處理器有效地耦合到所述存儲單元和所述音頻輸出裝置。在一些實施例中，所述存儲單元可包括(i)用于識別用戶用觸針創(chuàng)建的圖形元素的計算機代碼，(ii)用于在用戶創(chuàng)建圖形元素后播放多個菜單項中至少一個菜單項的音頻朗讀的計算機代碼，以及(iii)用于識別用戶從多個菜單項中對一個菜單項的選擇的計算機代碼。可替換地或另外地，所述存儲單元可包括(i)用于識別用觸針創(chuàng)建的多個圖形元素的計算機代碼，(ii)用于識別用所述觸針以用戶限定的順序選擇至少兩個所述圖形元素的計算機代碼，以及(iii)用于播放與所述形成的圖形元素相關(guān)的至少一個音頻輸出的計算機代碼。優(yōu)選地，交互式設(shè)備具有自含式觸針的形式，并且所述處理器、存儲單元和所述音頻輸出裝置處于所述觸針殼內(nèi)。
所述交互式設(shè)備可用于教授和學(xué)習(xí)任何適合的科目。例如，交互式設(shè)備可以預(yù)編程以教授有關(guān)科目，如字母、數(shù)字、數(shù)學(xué)(例如，加、減、乘、除、代數(shù)學(xué)等)、社會學(xué)科、語音學(xué)、語言、歷史等。
在一些實施例中，所述交互式設(shè)備可掃描紙張上的基本不可見的碼。此類型的交互式設(shè)備在2003年3月18日提交的美國專利申請No.60/456,053和2004年3月17日提交的No.10/803,803中描述，其通過引用結(jié)合于此以用于任何目的。所述交互式設(shè)備可包括有效地耦合到所述處理器的光學(xué)發(fā)射器和光學(xué)檢測器。所述交互式設(shè)備能夠從光學(xué)上掃描物品上基本不可見的碼，所述物品具有包含多個位置的表面。不同的碼分別在所述多個位置處，并且可與所述表面上多個位置的定位(例如，相對或絕對空間坐標(biāo))相關(guān)。用戶可在所述位置處形成圖形元素如打印元素和/或在這些位置處可存在預(yù)打印的打印元素。
“圖形元素”可包括由用戶創(chuàng)建的任何適合的標(biāo)記。如果在紙張上做出標(biāo)記，則所述圖形元素可以是打印元素?？商鎿Q地，所述標(biāo)記可以在可擦除寫介質(zhì)如液晶顯示器內(nèi)。在這樣的例子中，圖形元素可以是虛擬圖形元素。適合的圖形元素包括但不局限于符號、標(biāo)記如字母和/或數(shù)字、字符、詞、形狀、線等。它們形狀上可以是規(guī)則的或不規(guī)則的，并且它們典型地用觸針創(chuàng)建。
在一些實施例中，圖形元素可包括帶有線環(huán)繞所述字母或數(shù)字的字母或數(shù)字。環(huán)繞所述字母或數(shù)字的線可以是圓、橢圓、正方形、多邊形等。這樣的圖形元素看上去像可由用戶選擇的“按鈕”，而不是普通的字母和數(shù)字。通過創(chuàng)建此類圖形元素，用戶能夠視覺上區(qū)別圖形元素如功能圖標(biāo)與普通字母和數(shù)字。同樣，通過創(chuàng)建此類圖形元素，所述交互式設(shè)備也能夠更好地區(qū)別功能或菜單項類圖形元素與非功能或非菜單項類圖形元素。例如，用戶可以創(chuàng)建圖形元素為具有圓圍繞其的字母“M”以創(chuàng)建交互式“菜單”圖標(biāo)。如與詞中的字母“M”所區(qū)別的，所述交互式設(shè)備可編程為將其內(nèi)帶有字母“M”的重疊的圓或正方形識別為功能圖形元素。用于識別這樣的功能圖形元素并區(qū)別它們和其它非功能圖形元素的計算機代碼可駐留在所述交互式設(shè)備中的存儲單元中。
所述處理器能夠識別圖形元素并能夠識別這些圖形元素的定位以便于所述交互式設(shè)備能夠執(zhí)行各種操作。在這些實施例中，所述存儲單元可包括用于使由用戶產(chǎn)生的任何圖形元素與它們在所述表面上的定位關(guān)聯(lián)的計算機代碼。
在一些實施例中，所述物品可以是帶有或不帶有預(yù)打印的打印元素的紙張。所述紙張在其上可具有基本不可見的碼。所述碼對于用戶的眼睛“基本不可見”并且可以對應(yīng)于頁上的打印元素的絕對或相對定位。“基本不可見”也包括對于用戶的眼睛完全或輕微不可見的碼。例如，如果對于用戶的眼睛輕微不可見的點碼打印在整張紙上，當(dāng)以正常視距來觀察時，所述紙張可能看上去有淡灰的陰影。在一些情況下，在用戶用所述交互式設(shè)備掃描碼后，在所述交互式設(shè)備內(nèi)的音頻輸出裝置產(chǎn)生對應(yīng)于與所述碼相關(guān)聯(lián)的圖形元素的獨特音頻輸出(相對于像嘟嘟聲的無差別的音頻輸出)。
優(yōu)選地，所述基本不可見的碼由點圖案來實施。讀取可見的或“潛在”打印的點圖案的技術(shù)存在并可從商業(yè)上獲得。這些打印的點圖案對于用戶的眼睛基本不可見，以至這樣在點圖案中存在的碼在正常使用中無法由用戶的眼睛覺察(不像標(biāo)準條形碼)。點圖案能夠通過例如小和大的點的具體組合來實施，所述小和大的點可以代表在二進制編碼中的1和0。點圖案可以用墨打印，所述墨不同于用于打印所述打印元素的墨，以便所述交互式設(shè)備能夠明確地讀取所述點圖案。
瑞典公司Anoto應(yīng)用一種使用算法產(chǎn)生圖案的技術(shù)，使很大的唯一數(shù)據(jù)空間能夠在大的文檔集合上無沖突的使用。如果完全打印，在任何頁上任何2平方厘米唯一識別的情況下，其圖案將覆蓋70萬億8.5”×11”的頁。包含具體點圖案的論文可從Anoto商業(yè)上獲得。以下專利和專利申請轉(zhuǎn)讓給Anoto并且描述了該基本技術(shù)并且在此通過引用完整地結(jié)合于此以用于任何目的美國專利No.6,502,756、2002年6月26日提交的美國申請No.10/179,966、WO 01/95559、WO 01/71473、WO 01/75723、WO 01/26032、WO 01/75780、WO 01/01670、WO 01/75773、WO 01/71475、WO 01/73983，和WO 01/16691。
在一些實施例中，點圖案可無其它類型的數(shù)據(jù)，如用于數(shù)據(jù)塊、音頻數(shù)據(jù)和/或錯誤檢測數(shù)據(jù)的數(shù)據(jù)表示標(biāo)記。如上所述，交互式設(shè)備中的處理器可以使用查找表來確定觸針的定位，并且可以基于所述定位信息來檢索和播放音頻。這具有優(yōu)勢。例如，與具有用于標(biāo)記、音頻和錯誤檢測的數(shù)據(jù)打印在其上的紙相比，本發(fā)明的實施例需要更少的點，因為用于標(biāo)記、音頻和錯誤檢測的數(shù)據(jù)不需要打印在紙上。例如，通過忽略來自紙張的音頻數(shù)據(jù)，紙上更多的空間可再現(xiàn)為交互的，因為實際的音頻數(shù)據(jù)不需要占用紙上的空間。另外，因為在本發(fā)明的實施例中用于音頻的計算機代碼存儲在交互式設(shè)備內(nèi)，產(chǎn)生的音頻被例如紙張中的皺折或撕裂所破壞或改變的可能性較小。
雖然在此特別描述了點圖案碼，其它類型的基本不可見碼也可在本發(fā)明的其它實施例中使用。例如，如果條形碼在物品上以陣列的形式布置，則可以使用紅外條形碼。說明性地，一張紙可包括100×100的基本不可見條形碼陣列，每個碼與紙張上不同的x-y位置關(guān)聯(lián)。所述陣列中的條形碼的相對或絕對定位可存儲在交互式設(shè)備的存儲單元中。
如所指出的，在優(yōu)選實施例中，基本不可見碼可以與紙張上的多個位置和/或任何打印元素的定位直接或間接相關(guān)。在一些實施例中，基本不可見碼可以與紙張(或其它物品)上的多個位置的定位直接相關(guān)。在這些實施例中，紙張上的不同位置的定位可由碼本身提供。例如，在第一位置的第一碼可包括用于紙張上第一位置的空間坐標(biāo)(例如，特定x-y位置)的碼，而在第二位置的第二碼可包括用于紙張上第二位置的空間坐標(biāo)的碼。不同的圖形元素如用戶產(chǎn)生的打印元素可處于紙張上的不同位置處。這些打印元素可在所述碼上形成。例如，第一打印元素可在與第一碼重疊的第一位置形成。第二打印元素可在與第二碼重疊的第二位置形成。當(dāng)用戶形成第一打印元素時，掃描設(shè)備識別出形成的第一打印元素并且基本上同時掃描與所述形成的第一打印元素關(guān)聯(lián)的第一碼。交互式設(shè)備內(nèi)的處理器能夠確定第一位置的特定空間坐標(biāo)并且能夠使所述第一打印元素與所述空間坐標(biāo)相關(guān)聯(lián)。當(dāng)用戶形成第二打印元素時，掃描設(shè)備識別出所述形成的第二打印元素并且基本上同時掃描第二碼。處理器然后能夠確定所述第二位置的空間坐標(biāo)并且能夠使所述第二打印元素與所述空間坐標(biāo)相關(guān)聯(lián)。用戶然后可使用交互式設(shè)備隨后選擇用戶形成的第一和第二打印元素，并且所述交互式設(shè)備能夠執(zhí)行另外的操作。例如，如下面指出的，使用此方法，用戶能夠在空白紙張上創(chuàng)建用戶定義的界面或功能裝置。
所述交互式設(shè)備也可包括在存儲單元內(nèi)使相對或絕對定位與所述形成的圖形元素映射或相關(guān)聯(lián)的機構(gòu)。所述機構(gòu)可以是使物品上與具體圖形元素相關(guān)的數(shù)據(jù)與物品上特定定位相關(guān)聯(lián)的查找表。此查找表可存儲在存儲單元內(nèi)。處理器可以使用所述查找表來識別具體定位處的圖形元素以便于處理器能夠執(zhí)行接下來的操作。
帶有基本不可見碼的物品可以具有任何適合的形式。例如，所述物品可以是紙張、記事本、活頁紙、海報、布告、菜單、張貼物、標(biāo)簽、產(chǎn)品包裝、盒子、交易卡、磁體(例如冰箱磁體)等。任何這些或其它類型的物品都可在帶有或不帶有預(yù)打印的打印元素情況下使用。如果所述物品是片，所述片可以是任何適合的尺寸并且可由任何適合的材料制成。例如，所述片可以是基于紙的，或者可以是塑料膜。
在一些實施例中，所述物品可以是帶有三維表面的三維物品。所述三維表面可包括人類身體、動物(例如恐龍)、汽車、字符的模制輪廓或其它輪廓。
如上所指出的，在一些實施例中，所述物品是片并且所述片可以無預(yù)打印的打印元素如打印的字母或數(shù)字(例如，在用戶在片上創(chuàng)建圖形元素之前進行的標(biāo)記)。在其它實施例中，預(yù)打印的打印元素可以處于片上(例如，在用戶在片上創(chuàng)建圖形元素之前)。預(yù)打印的打印元素可包括數(shù)字、圖標(biāo)、字母、圓、詞、符號、線等。例如，本發(fā)明的實施例可使用預(yù)打印的表格如預(yù)打印的定單表格或投票選票。
所述交互式設(shè)備可具有任何適合的形式。在一個實施例中，所述交互式設(shè)備是定型為觸針的掃描設(shè)備，并且優(yōu)選地是口袋大小。所述觸針包括可由塑料或金屬制成的觸針殼。觸針殼上可存在夾持區(qū)域。如果所述交互式設(shè)備具有便攜、自含觸針的形式，所述交互式設(shè)備可大約重4盎司，可具有大約40小時的電池壽命，并可使用處理器(例如，包括ASIC芯片)來控制所述交互式設(shè)備的功能。所述觸針可包含耳機插孔、數(shù)據(jù)端口、快閃存儲器、電池和觸針尖上的光學(xué)掃描器(帶有光學(xué)檢測器和光學(xué)發(fā)射器)以及揚聲器。所述觸針下半部可類似于筆，并且頂部可加寬以舒適地放置在用戶的姆指和食指之間。
在其它實施例中，所述交互式設(shè)備包括觸針和平臺(其可類似于夾板)。所述觸針縛到所述平臺并且可包含揚聲器、電池和快閃/盒式連接器(flash/cartridge connector)。為了方便所述平臺可夾到片上。
雖然詳細地描述了帶有光學(xué)發(fā)射器和光學(xué)檢測器的交互式設(shè)備，所述交互式設(shè)備仍可采用其它形式并且不需要包括光學(xué)發(fā)射器和光學(xué)檢測器。例如，在一些實施例中，所述交互式設(shè)備可以具有使用觸針的平板計算機的形式，如平板PC或個人數(shù)字助理(PDA)。這樣的裝置可從商業(yè)上獲得。平板PC或PDA中的存儲單元可具有執(zhí)行本申請描述的任何功能的計算機代碼。圖形元素可在液晶顯示器中創(chuàng)建，并且用戶可隨后以在此描述的方式與這些創(chuàng)建的圖形元素交互。在這些實施例中，觸針可以或可以不包括有源電子設(shè)備。例如可使用許多PDA中存在的技術(shù)，使得沒有任何電子設(shè)備的觸針能夠用于本發(fā)明的一些實施例。如下面將要詳細解釋的，本領(lǐng)域的普通技術(shù)人員可將在此描述的各種創(chuàng)造性功能編程到這樣的商業(yè)上可獲得裝置中。
在其它實施例中，所述交互式設(shè)備可以是在2003年6月9日提交的美國專利申請No.10/457,981和2004年5月28日提交的題目為“PrintMedia Apparatus Including Handwriting Recognition”的美國專利申請No.＿＿(律師備案no.020824-009200US)中描述的類型，其通過引用結(jié)合于此。在這些實施例中，所述交互式設(shè)備是帶有平臺的電記錄(electrographic)位置定位設(shè)備，所述平臺包括表面、處理器、多個第一天線元件以及音頻輸出設(shè)備如揚聲器。包括第二天線元件和寫工具的觸針可耦合到所述平臺。第一天線元件可以是信號發(fā)射天線元件，而第二天線元件可以是信號接收天線元件(或反之亦然)。紙張(沒有基本不可見碼)可出現(xiàn)在平臺上預(yù)定位置處。所述第一天線元件可在所述表面(并且因此所述紙張)上的不同x-y位置發(fā)射不同的信號(例如，帶有不同振幅的信號)，并且這些不同的信號可由觸針中的第二天線元件接收。因而第一天線元件和第二天線元件能夠一起電容性地耦合通過紙。因此，當(dāng)用戶在所述紙張上創(chuàng)建圖形元素時，處理器能夠確定正在創(chuàng)建的圖形元素的位置。如在2004年5月28日提交的題目為“Print MediaApparatus Including Handwriting Recognition”的美國專利申請No.(律師備案no.020824-009200US)(其通過引用完整地結(jié)合于此)中描述的，處理器也可使用商業(yè)上可獲得的字符識別軟件來確定創(chuàng)建的圖形元素是什么。如其中描述的，字符識別軟件可從Xpert Eye，Inc.ofSammamish，WA(www.experteye.com)和Vision Object，Inc.of Paris，F(xiàn)rance商業(yè)上獲得。如這些企業(yè)所出售類型的軟件可用于在此描述的任何交互式設(shè)備。當(dāng)此軟件用于使用紙的電記錄位置定位設(shè)備(或在此描述的任何其它交互式設(shè)備實施例)時，所述軟件能夠識別由用戶在紙上創(chuàng)建的圖形元素。如將從下面其它例子顯而易見的，通過確定用戶創(chuàng)建的圖形元素和確定這些圖形元素的位置，許多有用的功能可通過所述交互式設(shè)備執(zhí)行。
圖1示出了根據(jù)本發(fā)明的一個實施例的系統(tǒng)。所述系統(tǒng)包括交互式設(shè)備100和物品70。交互式設(shè)備100具有觸針的形式。
交互式設(shè)備100包括觸針殼62內(nèi)的處理器32。觸針殼62可直接耦合或通過中介物理結(jié)構(gòu)耦合到處理器32。交互式設(shè)備100還包括耦合到處理器32的音頻輸出裝置36和顯示裝置40。音頻輸出裝置36可包括揚聲器或音頻插孔(耳機或頭戴受話器插孔)。顯示裝置40可包括LCD(液晶顯示器)或任何其它適合的顯示裝置。用于提供觸覺反饋的裝置(未示出)也可存在于觸針殼62內(nèi)。
在一些實施例中，顯示裝置40可物理耦合到觸針殼62。在其它實施例中，顯示裝置40可與交互式設(shè)備100的其它部分分離并可通過無線數(shù)據(jù)發(fā)射機構(gòu)(例如，IR或紅外信號數(shù)據(jù)發(fā)射機構(gòu))與所述其它部分通信。這樣的分離顯示裝置40可以給用戶提供看到由他或她與交互式設(shè)備100交互作用所產(chǎn)生的任何視覺反饋的能力，并且適合于教室環(huán)境。
輸入按鈕38也存在并且電耦合到處理器32以允許用戶輸入信息(如開始、停止、或進入)到設(shè)備100中，和/或打開和關(guān)閉設(shè)備100。電源34如電池處于殼62內(nèi)并為處理器32和交互式設(shè)備100的其它組件供電。
光學(xué)發(fā)射器44和光學(xué)檢測器42在觸針形交互式設(shè)備100的一端。光學(xué)發(fā)射器44和光學(xué)檢測器42耦合到處理器32。光學(xué)發(fā)射器44可以是例如LED(光發(fā)射二極管)或其它光源，而光學(xué)檢測器42可包括例如電荷耦合器件。
處理器32可包括實現(xiàn)交互式設(shè)備32的功能的任何適合的電子設(shè)備。例如，處理器32可包括帶有用于產(chǎn)生合成語音的語音合成電路的微處理器、用于放大所述語音的放大器電路、用于控制到交互式設(shè)備100的任何輸入和由交互式設(shè)備100提供的任何輸出的電路、以及用于把從光學(xué)檢測器42接收到的信號轉(zhuǎn)換成數(shù)字信號的模擬-到-數(shù)字轉(zhuǎn)換器。
存儲單元48也存在于交互式設(shè)備100中。存儲單元48耦合到處理器32。存儲單元48可以是可移除存儲單元如ROM或快閃存儲器盒。在其它實施例中，存儲單元48可包括完全在殼62內(nèi)部的一個或多個存儲單元(例如，RAM、ROM、EEPROM等)。在其它實施例中，存儲單元48可包括在觸針殼62內(nèi)部和/或外部的兩個或多個存儲裝置的組合。
存儲單元48可包括任何適合的磁、電、電磁、光學(xué)或電子光學(xué)數(shù)據(jù)存儲裝置。例如，一個或多個基于半導(dǎo)體的裝置可以在存儲單元48內(nèi)。
存儲單元48包括用于執(zhí)行交互式設(shè)備100的任何功能的計算機代碼。例如，存儲單元48可包括用于識別打印字符的計算機代碼、用于識別用戶手寫和解釋用戶手寫的計算機代碼(如手寫字符識別軟件)、用于使物品上的位置與各個打印元素相關(guān)聯(lián)的計算機代碼、用于把文本轉(zhuǎn)換成語音的代碼(例如，文本到語音引擎)、用于朗讀菜單項的計算機代碼、用于執(zhí)行語言翻譯的計算機代碼(英語-外語詞典)等。用于把文本轉(zhuǎn)換成語音的軟件可從一些不同的廠商商業(yè)上獲得。存儲單元48還可包括用于音頻和視覺輸出的代碼。例如，用于音效的代碼、用于說詞的代碼、用于課程計劃和指導(dǎo)的代碼、用于提問的代碼等都可存儲在所述存儲器48內(nèi)。如這些的用于音頻輸出的代碼可存儲在非易失性存儲器中(以持久的或半持久的方式使得即使所述交互式設(shè)備關(guān)閉數(shù)據(jù)也保留)，而不是在物品本身上。用于本申請中所描述的這些和其它功能的計算機代碼可包括在存儲單元48內(nèi)，并可使用適合的編程語言包括C、C++等來創(chuàng)建。
寫元件52處于觸針形交互式設(shè)備100的與光學(xué)發(fā)射器44和光學(xué)檢測器42相同的端。所述寫元件52可包括標(biāo)記器、粉筆、鋼筆或鉛筆并且可以或可以不是可縮回的。如果是可縮回的，那么所述寫元件52可耦合到傳動裝置。用戶可激勵所述傳動裝置以使寫元件從觸針殼向外延伸或縮回觸針殼。當(dāng)其使用時，用戶可握住觸針形交互式設(shè)備100并使用其在片上書寫。用戶的標(biāo)記也可以用光學(xué)發(fā)射器44和光學(xué)檢測器42掃描而處理器32可解釋用戶的書寫。
圖1中所示出的物品70是二維的并且可以是例如紙張。在圖1中，字母A、B、C和D表示物品70上的不同位置。物品70上的不同位置A、B、C和D可以有不同的碼(未示出)和不同的打印元素(未示出)。所述碼和所述打印元素可在位置A、B、C和D重疊。所述不同的碼對用戶的眼睛基本不可見，并且在正常使用中用戶不能以用戶的眼睛看到所述碼。
說明性地，用戶可用交互式設(shè)備100內(nèi)的寫元件52在物品70上創(chuàng)建帶圈的字母“M”以創(chuàng)建菜單圖標(biāo)。帶圈的字母“M”(圖1中未示出)打印在A位置處在A位置處基本不可見的碼上。當(dāng)用戶稍后選擇和掃描所述字母“M”時，光學(xué)發(fā)射器44產(chǎn)生光信號，所述光信號反射離開A位置處的基本不可見碼并由光學(xué)檢測器42接收。處理器32確定A位置的定位并從存儲單元48檢索對應(yīng)于字母“M”的音頻和/或執(zhí)行與字母“M”相關(guān)的功能。例如，在交互式設(shè)備100用于選擇字母“M”后以及在其掃描在位置A的基本不可見碼后，處理器32可將交互式設(shè)備100轉(zhuǎn)換到菜單交互模式，由此用戶可卷動通過菜單項并可選擇菜單項。在對所述字母“M”的每個連續(xù)選擇后，處理器32可以使音頻輸出裝置36為用戶產(chǎn)生菜單項列表。例如，用交互式設(shè)備100對字母“M”的第一次選擇可使音頻輸出裝置36朗讀“計算器”，用交互式設(shè)備100對字母“M”的第二次選擇可使音頻輸出裝置36朗讀“翻譯器”等。對所述創(chuàng)建的圖形元素的每個后續(xù)選擇可使所述交互式設(shè)備朗讀不同的菜單項。
寫元件52可用于在物品70的具體定位上寫。使用適當(dāng)?shù)氖謱懽R別和/或光學(xué)字符識別軟件(其可以作為計算機代碼存儲在存儲單元48內(nèi))，用戶的書寫能夠由處理器32解釋，以便于處理器32能夠確定用戶寫的是什么以及還有用戶所寫位置的特定定位。如下面所進一步詳細解釋的，使用此信息，所述系統(tǒng)和所述交互式設(shè)備可適合于執(zhí)行更復(fù)雜的操作，如語言翻譯或數(shù)學(xué)運算。
圖2示出了本發(fā)明的另一實施例。在此例子中，相似的數(shù)字指示相似的元件且相似元件的先前描述不需要再重復(fù)。但是，在此實施例中，交互式設(shè)備100包括觸針100(a)和平臺100(b)。線纜102將平臺100(b)耦合到觸針100(a)。平臺100(b)支撐二維物品70。在此實施例中，處理器32、電源34、音頻輸出裝置36、按鈕38和存儲單元48處于平臺100(b)而不是觸針100(a)內(nèi)。在其它實施例中，可能不具有線纜而在觸針100(a)和平臺100(b)(或其它基部單元)之間可以有無線鏈接。
在圖2所示出的實施例中，在觸針100(a)內(nèi)有較少的電子部件，使得觸針100(a)可比圖1示出的觸針形交互式設(shè)備體積更小。當(dāng)所使用的物品是紙張時，所述紙張可放在平臺100(b)上以便為所述紙張?zhí)峁┲巍?br> 圖3示出了可用于根據(jù)本發(fā)明的一個實施例的交互式設(shè)備的一些電組件的框圖。所述交互式設(shè)備可包括處理器101和耦合到所述處理器101的存儲單元103。處理器101和存儲單元103可通過一個或多個計算機芯片單獨或與一個或多個可拆卸存儲器存儲裝置(例如，存儲棒、存儲卡等)的組合來實施。在一些實施例中，處理器101可包括專用電路，而語音合成器可與處理器101關(guān)聯(lián)(例如在所述處理器內(nèi)或耦合到所述處理器)。光學(xué)檢測器105和光學(xué)發(fā)射器也有效地耦合到處理器101。輸出裝置如顯示裝置111(例如，LCD或LED屏)和音頻輸出裝置109(例如，揚聲器或耳機)也可耦合到處理器101。關(guān)于這些組件的另外的示范性細節(jié)在以上和以下提供。
在本發(fā)明的實施例中，在用戶創(chuàng)建圖形元素且用戶隨后選擇此圖形元素后，多個菜單項可以以音頻的形式呈現(xiàn)給用戶。用戶然后可從菜單項列表中選擇一菜單項。所述菜單項可包括目錄名、子目錄名、應(yīng)用名或具體數(shù)據(jù)組名。目錄和子目錄名的例子包括但局限于“工具”(例如，對于可應(yīng)用在許多不同環(huán)境下的交互式有用的功能)、“參考”(例如，對于參考材料如詞典)、“游戲”(例如，對于不同的游戲)等。具體應(yīng)用(或子目錄)名的例子包括“計算器”、“拼寫檢查器”和“翻譯器”。數(shù)據(jù)組的具體例子可包括一組外國詞和它們的釋義、電話列表、日歷、行事列表等。另外的菜單項例子在圖4中示出。
可為各種菜單項提供具體音頻指令。例如，在用戶選擇“計算器”菜單項后，所述交互式設(shè)備可指示用戶在紙張上繪制數(shù)字0-9和運算符+、-、×、/和＝，并且然后選擇數(shù)字以執(zhí)行數(shù)學(xué)計算。在另一個例子中，在用戶選擇“翻譯器”菜單項后，所述交互式設(shè)備可指示用戶寫第二語言的名字并將其圈上。用戶這樣做以后，所述交互式設(shè)備可以進一步指示用戶用英語寫下詞并且然后選擇帶圈的第二語言以聽取譯成該第二語言的所寫的詞。這樣做以后，所述交互式設(shè)備內(nèi)的音頻輸出裝置可以以第二語言朗讀所述詞。
圖4示出了根據(jù)本發(fā)明的一個實施例的菜單項樹形目錄。所述菜單項樹形目錄可實施從菜單M符號開始的音頻菜單。
從圖4的頂端開始，第一音頻子目錄將是工具T子目錄。在所述工具T子目錄下，可以有翻譯器TR子目錄、計算器C子目錄、拼寫檢查器SC子目錄、個人助手PA子目錄、鬧鐘AL子目錄以及導(dǎo)師TU功能。在翻譯器TR子目錄下，將有西班牙語SP、法語FR和德語GE翻譯器功能。在個人助手PA子目錄下，將有日歷C、電話列表PL和行事列表TD功能或子目錄。
在參考R子目錄下，可以有辭典TH功能、詞典D子目錄和幫助H功能。在詞典D子目錄下，可以有英語E功能、西班牙語SP功能和法語FR功能。
在游戲G子目錄下，可有游戲，如猜詞WS、怪味馬鈴薯(funkypotatoes)FP和涂鴉DO。其它游戲也可在本發(fā)明的其它實施例中出現(xiàn)。
在系統(tǒng)S子目錄下，可有安全SE功能和個性化P功能。
關(guān)于一些上述目錄、子目錄和功能的細節(jié)在下面提供。
如所述菜單項樹形目錄所示出的，用戶可通過聽取各種菜單項的朗讀并且然后選擇所需菜單項而下行到任何所需路徑。對所需菜單項的隨后選擇可以以任何適合的方式發(fā)生。
例如，在一些實施例中，用戶可通過在創(chuàng)建的圖形元素上“向下接觸”而使所述交互式設(shè)備卷動通過音頻菜單。所述“向下接觸”可使用任何適合的機制由交互式設(shè)備中的電子設(shè)備識別出。例如，交互式設(shè)備可編程為識別與其向著所述選擇的圖形元素向下移動相關(guān)聯(lián)的圖像改變。在另一個例子中，壓力敏感開關(guān)可在交互式設(shè)備內(nèi)提供以便當(dāng)交互式設(shè)備的端施加壓力到紙上時，壓力開關(guān)激活。這通知所述交互式設(shè)備卷動通過所述音頻菜單。例如，在用交互式設(shè)備選擇帶圈的字母“M”(以由此使交互式設(shè)備內(nèi)的壓力開關(guān)激活)后，交互式設(shè)備內(nèi)的音頻輸出裝置可以僅朗讀“工具”。用戶可第二次選擇帶圈的字母“M”以使所述音頻輸出裝置朗讀菜單項“參考”。每當(dāng)需要卷動通過音頻菜單項時可以重復(fù)上述過程。為了選擇特定的菜單項，用戶可在紙上創(chuàng)建獨特的標(biāo)記或用掃描設(shè)備提供具體的表示。例如，用戶可在聽到詞“工具”后在帶圈的字母“M”旁邊繪制“勾號”(或其它圖形元素)以便選擇子目錄“工具”。使用如這樣的方法，用戶可向菜單項樹內(nèi)預(yù)定的目錄、子目錄或功能行進。所述創(chuàng)建不同的圖形元素或不同的表示可用于使所述交互式設(shè)備向上卷動。可替換地，可在所述交互式設(shè)備內(nèi)提供按鈕或其它傳動裝置以卷動通過菜單。
在其它實施例中，在創(chuàng)建帶有圓的字母“M”后，用戶可選擇帶圈的字母“M”。掃描設(shè)備內(nèi)的軟件將帶圈的字母“M”識別為菜單符號并使所述掃描設(shè)備順序地并以隔開的時間間隔朗讀菜單項“工具”、“參考”、“游戲”和“系統(tǒng)”，而不需由用戶向下接觸。音頻指令可以提供給用戶。例如，所述交互式設(shè)備可以說“選擇‘工具’目錄，寫字母‘T’并將其圈上”。為了選擇所述菜單項，用戶可創(chuàng)建字母“T”并將其圈上。這向交互式設(shè)備顯示用戶已選擇子目錄“工具”。然后所述交互式設(shè)備可為用戶朗讀“工具”目錄下的菜單項。因而，可能通過在紙張上創(chuàng)建代表目錄、子目錄或功能的圖形元素而直接進行到所述菜單項樹內(nèi)的特定目錄、子目錄或功能。
圖5示出了圖解根據(jù)本發(fā)明的一個實施例的方法的流程圖。所述方法包括提示用戶創(chuàng)建圖形元素400。所述提示可以是由交互式設(shè)備對用戶產(chǎn)生的音頻提示以在紙張上寫詞、字符、符號或其它圖形元素。所述交互式設(shè)備識別所述創(chuàng)建的圖形元素402，并且所述交互式設(shè)備為用戶朗讀菜單項列表404。用戶然后選擇菜單項并且所述交互式設(shè)備識別所述選擇的菜單項406，并在所述選擇的菜單項的基礎(chǔ)上改變其操作408。所述交互式設(shè)備可編程以便這些步驟可執(zhí)行并且用于執(zhí)行這些步驟的計算機代碼可存在存儲單元內(nèi)。
圖6(a)和6(b)示出了根據(jù)圖5示出的流程圖的方法如何工作的圖解。首先，以自含觸針形式的交互式設(shè)備100可提示用戶創(chuàng)建圖形元素(步驟400)。用戶可然后在紙張202上創(chuàng)建一個或多個圖形元素。在這個例子中，圖形元素206可包括字母“M”202，其中圓204環(huán)繞字母“M”202。該圖形元素206以交互式設(shè)備100內(nèi)的寫元件(未示出)來繪制。
在創(chuàng)建圖形元素206后，交互式設(shè)備100可朗讀若干菜單項(步驟404)。例如，交互式設(shè)備100可識別出用戶已寫完帶有字母M 202和圓202環(huán)繞其的圖形元素206。如上面所指出的，交互式設(shè)備100在其中可具有光學(xué)字符識別軟件，并且設(shè)備100可編程為識別以下重疊的字母“O”和字母“M”(即在相同的大致物理位置)指示用戶已激活交互式設(shè)備206內(nèi)的音頻菜單(步驟406)。交互式設(shè)備100還可被編程，以便每個子目錄名在用戶使用交互式設(shè)備100選擇圖形元素206后被朗讀。例如，用交互式設(shè)備100在圖形元素206上四次連續(xù)“向下接觸”將使交互式設(shè)備100分別朗讀子目錄名“工具”、“參考”、“游戲”以及“系統(tǒng)”。
為了指示對特定菜單項、目錄或子目錄的選擇，用戶可創(chuàng)建另一個圖形元素或以交互式設(shè)備100產(chǎn)生表示。例如，如果用戶想下行“工具”子目錄，例如，用戶然后可在紙張202上繪制勾號208以指示已進行了選擇。在繪制勾號后，在每個順序選擇或交互式設(shè)備100“向下接觸”到紙張202上后，所述詞“計算器”、“拼寫檢查器”、“個人助手”和“導(dǎo)師”可由交互式設(shè)備100朗讀。在用戶聽到詞“計算器”被朗讀后，“計算器”功能然后可被選擇以將交互式設(shè)備100的操作模式改變?yōu)橛嬎闫鞴δ?步驟408)。用戶可在紙張202上繪制另一個勾號(未示出)以指示用戶選擇了計算器功能。
圖7示出了圖解本發(fā)明的另一實施例的流程圖。在此方法中，交互式設(shè)備提示用戶創(chuàng)建至少兩個圖形元素(步驟500)。所述交互式設(shè)備然后識別由用戶對所述圖形元素的選擇和其順序(步驟502)。然后，所述交互式設(shè)備提供與所述選擇的圖形元素相關(guān)的至少一個輸出(步驟504)。
所述至少一個輸出可以以任何方式與所述選擇的圖形元素相關(guān)。例如，至少一個輸出可包括與所述圖形元素的內(nèi)容相關(guān)的一個或多個聲音。例如，在下面的計算器例子中，兩個數(shù)字如1和4可寫在紙張上。用戶然后可選擇它們以將它們加在一起。所述音頻輸出“5”可由交互式設(shè)備提供，并且可與所述選擇的圖形元素1和4相關(guān)。在又一個例子中，如將在下面描述的猜詞游戲所示出的，可在紙張上繪制圓并且詞(未寫在紙上)可與所述圓關(guān)聯(lián)。當(dāng)用戶以特定順序選擇這些圓時，對應(yīng)于選擇的圓的順序的一系列詞從交互式設(shè)備中發(fā)聲。由所述交互式設(shè)備提供的聲音與所述選擇的圖形元素相關(guān)，但不需要與所述圖形元素的內(nèi)容相關(guān)。
實施圖7所示方法的例子在圖8中示出。圖8示出了用戶可如何從一張空白紙創(chuàng)建紙計算器。在此例子中，在用戶已如上面描述選擇“計算器”功能后，掃描設(shè)備提示用戶寫下數(shù)字0-9和運算符+、-、×、/和＝(步驟500)。用戶創(chuàng)建圖形元素210，包括帶有圓環(huán)繞的數(shù)字和用于運算如加、減、乘、除和等于的數(shù)學(xué)運算符。在其它實施例中，不必在圖8中示出的數(shù)字周圍提供圓。交互式設(shè)備100識別所述創(chuàng)建的圖形元素的位置并識別創(chuàng)建的實際圖形元素(步驟502)。用戶然后可選擇至少兩個圖形元素以接收與對這至少兩個圖形元素的選擇相關(guān)的音頻輸出。例如，用戶可順序選擇圖形元素“4”“+”“7”“＝”以聽取交互式設(shè)備100朗讀“11”(步驟504)。所述紙計算器可在以后再次使用，因為所述交互式設(shè)備已在其存儲單元內(nèi)部存儲了所述圖形元素的定位。此實施例在學(xué)生沒有物理計算器可用的學(xué)?？梢杂杏谩?br> 圖9(a)和9(b)示出了本發(fā)明的又一個實施例。參考圖9(a)，用戶可寫下由圓圍繞的圖形元素302D。在交互式設(shè)備100朗讀詞“詞典”后，用戶可用交互式設(shè)備創(chuàng)建勾號304以指示選擇了詞典功能。在創(chuàng)建圖形元素302后，交互式設(shè)備100可進一步提示用戶創(chuàng)建包括由線306圍繞的詞“法語”308的另一個圖形元素305。交互式設(shè)備100然后可提示用戶寫一詞并且用戶可以寫詞“Hello”310(圖7中的步驟500)。用戶然后可選擇詞“Hello”并且然后選擇圖形元素305從而聽取由交互式設(shè)備100朗讀的詞“Bon jour！”(圖7中的步驟504和506)。
如前述例子所示出的，由用戶創(chuàng)建的至少兩個圖形元素可包括包括語言名的第一圖形元素和包括以不同于該語言的語言的詞的第二圖形元素。用戶可選擇所述詞并且然后選擇所述語言名，并且然后可聽取至少一種音頻輸出，包括聽取合成聲音以所述語言讀所述詞。所述語言可以是非英語的語言如西班牙語、法語、德語、漢語、日語等，并且所述詞可以是用英語的。英語-外語詞典可作為計算機代碼存儲在所述交互式設(shè)備的存儲單元內(nèi)。
如圖8和9所示出，本發(fā)明的實施例具有許多優(yōu)勢。所述帶圈的字母和符號像“按鈕”，用戶可與其交互。因此用戶可基本上在任何地點在任何時間創(chuàng)建他或她的定制用戶界面。這提供了方便、有趣和好玩的方式來與以前不存在的而完全由用戶創(chuàng)建的某物交互。這不像標(biāo)準的用戶界面如標(biāo)準鍵盤。
雖然示出了翻譯器按鈕，用戶可在片或其它物品上創(chuàng)建其它功能按鈕。例如，其它按鈕可包括幫助按鈕、記錄按鈕(如果所述交互式設(shè)備具有錄音機并具有錄音能力)、音量按鈕、游戲按鈕等。用戶也可用所述交互式設(shè)備創(chuàng)建字母數(shù)字鍵盤以便于數(shù)據(jù)錄入和接下來的交互。
在一些實施例中，用戶可繪制圖形元素且用戶可以好玩的和/或教育性的方式與其交互。例如，用戶可在紙張上繪制1到5并且所述交互式設(shè)備能夠記住它們每一個在紙上的定位。用戶可繪制“游戲”按鈕來玩游戲。例如，所述交互式設(shè)備可編程為提示用戶找比2大并比5小的數(shù)字。用戶然后可通過選擇所述數(shù)字之一來嘗試和猜這個數(shù)字是什么。響應(yīng)于所述用戶選擇，可向用戶提供正確或錯誤的音頻反饋。
圖10(a)示出了其上有若干圓602、604、606、608、610的紙張。其可用于如猜詞的游戲。例如，在創(chuàng)建圖形元素600(帶圈的字母“WS”表示猜詞)后，所述交互式設(shè)備(未示出)可置于猜詞模式。所述交互式設(shè)備可請求用戶“繪制5個猜詞圓”(圖7中步驟500)。在用戶繪制5個圓602、604、606、608、610后，音頻部分(在圖10(a)的圓括號內(nèi)示出)被指定給它們。用戶然后被提示選擇圓的正確順序以產(chǎn)生句子。例如，所述交互式設(shè)備可以說，“接觸猜詞圓以便整理句子，準備，開始！”用戶可以以此順序接觸5個圓602、604、606、608、610以產(chǎn)生短語“ratfat the ate cheese”(圖7中步驟502和504)。最后，用戶將想出要選擇圓的正確順序是圓606、604、602、608、610，使得所述交互式設(shè)備產(chǎn)生句子“The fat rat ate cheese(肥老鼠吃奶酪)”(圖7中步驟502和504)。在此時，因為選擇圓的正確順序也可向用戶提供獎賞輸出。所述交互式設(shè)備可問用戶是否用戶想再次玩。再次地，所述交互式設(shè)備識別由用戶創(chuàng)建的圖形元素并將其與紙張上的定位關(guān)聯(lián)。
圖10(b)示出了帶有圖形元素的又一紙張。其可用于說明詞典功能和執(zhí)行翻譯器功能的又一種方式。參考圖10(b)，用戶首先從一張空白紙開始并如所示繪制帶圈的字母M。然后，用戶使用所述交互式設(shè)備(未示出)并“接觸”帶圈的字母“M”。在用戶聽到菜單項“詞典”后，用戶可在其旁邊繪制勾號以指示已選擇詞典菜單項。所述交互式設(shè)備然后改變?yōu)樵~典模式。所述交互式設(shè)備然后可提示用戶“寫一詞用于其釋義”。用戶然后可寫如圖10(b)所示出的詞“magic”。在寫所述詞“magic”后，所述交互式設(shè)備可識別寫了“magic”并可以說“魔法。其意思為控制自然力的力量或看上去神奇的力量?！庇脩艨蓪懴氯魏芜m合的詞并收到詞典釋義。
在用戶寫一詞如所述詞“magic”，用戶可接觸所述詞的最后一個字母(“c”)以告訴所述交互式設(shè)備用戶寫完想要的詞而所述交互式設(shè)備應(yīng)該產(chǎn)生詞典釋義。可替換地，用戶可等一會兒而所述交互式設(shè)備內(nèi)的超時機制可使所述交互式設(shè)備自動產(chǎn)生詞“magic”的詞典釋義。在前的解決方法是優(yōu)選的，使得用戶在收到想要的反饋之前不必等待。在此解決方法中，可在最后一個字符周圍提供虛擬框。如果用戶選擇此虛擬框內(nèi)的任何區(qū)域，這可指示給交互式設(shè)備用戶寫完了想要的詞。例如，當(dāng)用戶使觸針向下接觸到最后一個字符上，用戶通知所述觸針用戶已寫完。在一個觸針的實施例中，可在所述觸針的末端提供壓力開關(guān)以便于向下的壓力使所述寫元件向上。如上面所指出的，觸針可編程為識別所述寫的字符。如果壓力開關(guān)被激活，而寫的字符再次在短的時間內(nèi)被識別，則所述觸針可確定所述序列已結(jié)束并可為用戶提供想要的反饋。此方法可用于其它字符序列如數(shù)字序列或符號序列。
這解決了一些問題。首先，通過選擇序列中的最后一個字符，用戶可迅速通知所述觸針用戶寫完。選擇序列最后一個字符是通知所述觸針用戶寫完并想收到反饋的自然和有效的方式。其次，通過選擇最后一個字符，所述觸針知道序列結(jié)束而所述觸針內(nèi)的掃描電子設(shè)備可關(guān)閉。這節(jié)省了電池電力。第三，通過選擇序列的最后一個字符來指示結(jié)束，最多在最后字符附近形成一點。這避免了紙上的混亂。第四，序列最后一個字符是用戶請求反饋的自然結(jié)束點。其指示結(jié)束的選擇對于用戶是直觀的。
再次參考圖10(b)，然后用戶可寫下用于翻譯器的帶圈的字母TR。用戶這樣做后，交互式設(shè)備可說“接觸TR以用于您的翻譯器菜單”。每次向下接觸可使所述交互式設(shè)備連續(xù)地說“英語到西班牙語”、“英語到法語”、“英語到德語”等。如果用戶聽到“英語到西班牙語”選項時，用戶然后可在帶圈的TR旁邊繪制勾號。用戶然后可寫“bye”而交互式設(shè)備可說“Bye.Adios.A-d-i-o-s.”。用戶然后可寫“friend”而交互式設(shè)備可說“Friend.El amigo.El(pause)a-m-i-g-o.”。
圖11(a)示出了可如何使用鬧鐘功能。用戶可被提示創(chuàng)建帶圈的“AL”或用戶可預(yù)先知道這么做。這可在用戶寫帶圈的字母M、聽取菜單項列表并通過在字母M旁邊繪制勾號來選擇鬧鐘功能之后發(fā)生。用戶然后寫字母AL并且然后將其圈上。交互式設(shè)備然后說“鬧鐘。接觸AL以用于您的鬧鐘選項”。每次連續(xù)向下接觸會使所述交互式設(shè)備朗讀功能“添加鬧鈴”、“回顧鬧鈴”、以及在“鬧鐘”子目錄下的“當(dāng)前時間”。例如，為了選擇“添加鬧鈴”，用戶將在帶圈的字母AL旁邊繪制勾號。所述交互式設(shè)備然后可提示用戶“寫日期”。用戶然后寫“5-9”表示5月9日。然后，所述交互式設(shè)備可提示用戶“寫時間”。用戶然后寫“2:00PM”。在寫所述時間后，所述交互式設(shè)備說“現(xiàn)在寫消息”。用戶然后可寫“電話Jim”而所述交互式設(shè)備記錄該消息。交互式設(shè)備內(nèi)的文本到語音轉(zhuǎn)換軟件引擎然后把所述消息轉(zhuǎn)換成口頭文本并說“電話Jim。鬧鈴設(shè)置”。在5月9日下午2點，所述交互式設(shè)備將自動朗讀“電話Jim”。
在回顧鬧鈴模式，用戶可繪制帶圈的“RA”(未示出)用于回顧鬧鈴。每個相繼的接觸將使所述交互式設(shè)備說每個相繼的鬧鈴消息。例如，3次連續(xù)地接觸字母RA會使所述交互式設(shè)備播放下面三條信息(存儲在所述交互式設(shè)備的存儲單元內(nèi))和它們將播放的時間以及日期。
圖11(b)示出了如何使用電話列表功能。如所示，用戶可在被提示之后寫帶圈的字母PL。這可在用戶寫帶圈的M、聽到菜單列表和通過在所述字母M旁邊繪制勾號而選擇電話列表功能之后發(fā)生。用戶然后可用所述交互式設(shè)備接觸所述字母PL。用交互式設(shè)備對字母PL的每個連續(xù)接觸使所述交互式設(shè)備朗讀“電話列表”子目錄內(nèi)的功能“訪問電話號碼”、“增加電話號碼”和“刪除電話號碼”。用戶可選擇“增加電話號碼”并通過在所述字母PL旁邊繪制勾號而指示該選擇。所述交互式設(shè)備然后可提示用戶“寫名字”而用戶用所述交互式設(shè)備寫名字“Joe Smith”。使用文本到語音軟件引擎，所述交互式設(shè)備朗讀名字“Joe Smith”，并且然后提示用戶“寫電話號碼”。用戶然后寫“555-555-5555”而所述交互式設(shè)備將此電話號碼朗讀給用戶(使用文本到語音軟件引擎)。
Joe Smith的電話號碼可在稍后通過訪問“電話列表”子目錄里的“訪問電話號碼”功能并且然后寫名字“Joe Smith”而檢索到。在寫“Joe Smith后，這將由所述交互式設(shè)備識別并且Joe Smith的電話號碼將從所述交互式設(shè)備的存儲單元檢索到并將通過所述交互式設(shè)備中的揚聲器或耳機朗讀給用戶。
圖12示出了可用于把新的和不同的內(nèi)容提供給交互式設(shè)備的計算機系統(tǒng)。圖12示出了耦合到數(shù)據(jù)庫455的服務(wù)器計算機453。服務(wù)器計算機453可操作網(wǎng)站，用戶可通過所述網(wǎng)站聯(lián)系以獲得新的內(nèi)容。數(shù)據(jù)庫455可為交互式設(shè)備459存儲新的內(nèi)容。所述新的內(nèi)容可包括用于音頻的計算機代碼、用于視覺輸出的計算機代碼、用于操作系統(tǒng)的計算機代碼等。雖然數(shù)據(jù)庫455和服務(wù)器計算機453作為兩個框示出，可理解單獨的計算設(shè)備或共同工作的多個計算設(shè)備可實施它們。
通信介質(zhì)451耦合到服務(wù)器計算機453和多個客戶計算機457(a)、457(b)?？蛻粲嬎銠C457(a)、457(b)可以是普通的個人計算機。通信介質(zhì)451可以是任何適合的通信網(wǎng)絡(luò)包括因特網(wǎng)或內(nèi)聯(lián)網(wǎng)。雖然示出了兩個客戶計算機，本發(fā)明的實施例中可有多個客戶計算機。
交互式設(shè)備459可以是在此描述的任何交互式設(shè)備。交互式設(shè)備459可通過任何適合的連接包括無線和有線連接與客戶計算機457(a)通信。通過客戶計算機457(a)，設(shè)備459可通過所述通信介質(zhì)451連續(xù)或不連續(xù)地與服務(wù)器計算機453通信。適合的客戶計算機包括許多商業(yè)上可獲得的個人計算機。
在此提供了對硬件和軟件的各種描述。可理解技術(shù)人員知道有許多硬件和軟件的不同組合，其可用于實現(xiàn)在此描述的交互式設(shè)備的功能。
在此使用的術(shù)語和表達式用作描述的術(shù)語而沒有限制，并且不是想要使用這些術(shù)語和表達式而排除所示出和所描述的特征或其部分的等價形式，可認為在本發(fā)明權(quán)利要求的范圍內(nèi)可進行各種修改。
而且，在不背離本發(fā)明的范圍的情況下，本發(fā)明的任何實施例的任何一個或多個特征可與本發(fā)明的任何其它實施例的任何一個或多個其它特征組合。例如，有關(guān)圖4-11描述的任何實施例可用于在圖1或2的任一所示出的交互式設(shè)備。
總之，本申請已公開了至少一種交互式設(shè)備。所述交互式設(shè)備包括觸針殼；耦合到所述觸針殼的處理器；和存儲單元，包括(i)用于識別用戶用觸針創(chuàng)建的多個圖形元素的計算機代碼，(ii)用于識別用所述觸針以用戶限定的順序選擇至少兩個所述圖形元素的計算機代碼，以及(iii)用于播放與所述形成的圖形元素相關(guān)的至少一個音頻輸出的計算機代碼；以及音頻輸出裝置。
上面提到的所有的引用、專利申請和專利通過引用完整地結(jié)合于此以用于任何目的。對于當(dāng)前權(quán)利要求的發(fā)明它們都不承認是現(xiàn)有技術(shù)。
權(quán)利要求
1.一種方法，包括用觸針創(chuàng)建圖形元素；在創(chuàng)建所述圖形元素后聽取多個菜單項中的至少一個菜單項的音頻朗讀；以及從所述多個菜單項中選擇一菜單項。
2.權(quán)利要求1所述的方法，其中所述觸針具有交互式設(shè)備的形式，包括處理器、發(fā)射器、檢測器和揚聲器，其中所述發(fā)射器、檢測器和所述揚聲器有效地耦合到所述處理器。
3.權(quán)利要求1所述的方法進一步包括在(a)之后和(b)之前用所述觸針選擇所述圖形元素。
4.權(quán)利要求1所述的方法，其中所述圖形元素是打印元素。
5.權(quán)利要求1所述的方法，其中所述觸針包括天線。
6.權(quán)利要求1所述的方法，其中所述圖形元素在紙張上創(chuàng)建。
7.權(quán)利要求1所述的方法，其中所述圖形元素包括符號。
8.權(quán)利要求1所述的方法，其中所述圖形元素包括符號和環(huán)繞所述符號的線。
9.權(quán)利要求1所述的方法，其中在所述用戶選擇所述菜單項后，與所述觸針有效地關(guān)聯(lián)的語音合成器為所述用戶提供指令以創(chuàng)建另外的圖形元素。
10.權(quán)利要求1所述方法，其中所述多個菜單項包括計算器菜單項、參考菜單項和游戲菜單項中的至少一項。
11.一種交互式設(shè)備，包括觸針殼；處理器，耦合到所述觸針殼；存儲單元，包括(i)用于識別用戶用所述觸針創(chuàng)建的圖形元素的計算機代碼，(ii)用于在所述圖形元素由所述用戶創(chuàng)建后播放多個菜單項中的至少一個菜單項的音頻朗讀的計算機代碼，以及(iii)用于識別從多個菜單項中對一菜單項的用戶選擇的計算機代碼；以及音頻輸出裝置，其中所述音頻輸出裝置和所述存儲單元有效地耦合到所述處理器。
12.權(quán)利要求11所述的交互式設(shè)備，其中所述處理器、所述音頻輸出裝置和所述存儲單元在所述觸針殼內(nèi)。
13.權(quán)利要求11所述的交互式設(shè)備，其中所述處理器、所述音頻輸出裝置和所述存儲器在耦合到所述觸針殼的平臺內(nèi)。
14.權(quán)利要求11所述的交互式設(shè)備，其中所述處理器、所述存儲單元和所述音頻輸出裝置都在所述觸針殼內(nèi)，并且其中所述觸針殼進一步包括耦合到所述處理器的光學(xué)發(fā)射器和光學(xué)檢測器。
15.權(quán)利要求11所述的交互式設(shè)備，其中所述圖形元素包括字母或數(shù)字。
16.權(quán)利要求11所述的交互式設(shè)備，其中所述存儲單元包括用于識別物品上的基本不可見碼的計算機代碼。
17.權(quán)利要求11所述的交互式設(shè)備，其中所述存儲單元包括用于識別物品上的基本不可見碼的計算機代碼，并且其中所述基本不可見碼具有點碼的形式。
18.權(quán)利要求11所述的交互式設(shè)備，其中所述存儲單元包括用于識別物品上的基本不可見碼的計算機代碼，并且其中所述基本不可見碼具有編碼相對或絕對的位置的點碼的形式。
19.一種系統(tǒng)，包括(a)權(quán)利要求18所述的交互式設(shè)備；以及(b)包括所述基本不可見碼的物品。
20.一種系統(tǒng)，包括(a)權(quán)利要求18所述的交互式設(shè)備；以及(b)包括所述基本不可見碼的物品，其中所述物品包括紙張。
21.一種系統(tǒng)，包括(a)權(quán)利要求18所述的交互式設(shè)備；以及(b)包括所述基本不可見碼的物品，其中所述物品包括紙張，所述紙張無任何預(yù)打印。
22.一種系統(tǒng)，包括(a)權(quán)利要求18所述的交互式設(shè)備；以及(b)包括所述基本不可見碼的物品，其中所述物品包括紙張，所述紙張包括預(yù)打印。
23.一種系統(tǒng)，包括(a)交互式設(shè)備，包括觸針殼；耦合到所述觸針殼的處理器；語音合成器；存儲單元，包括(i)用于允許用戶用所述觸針創(chuàng)建圖形元素的計算機代碼，(ii)用于在創(chuàng)建所述圖形元素后播放多個菜單項中至少一個菜單項的音頻朗讀的計算機代碼，(iii)用于允許用戶從所述多個菜單項選擇一菜單項的計算機代碼，以及(iv)用于識別物品上基本不可見碼的計算機代碼，并且其中所述基本不可見碼具有點碼的形式，所述點碼編碼相對或絕對的位置；以及音頻輸出裝置；其中所述語音合成器、所述音頻輸出裝置和所述存儲單元有效地耦合到所述處理器，并且其中所述語音合成器、所述音頻輸出裝置、所述處理器和所述存儲單元在所述觸針殼內(nèi)；以及(b)所述物品。
24.權(quán)利要求23所述的系統(tǒng)，其中所述基本不可見碼為點碼。
25.權(quán)利要求23所述的系統(tǒng)，其中所述存儲單元包括用于在對所述圖形元素的每個相繼的選擇之后使所述交互式設(shè)備朗讀所述菜單項的計算機代碼。
26.權(quán)利要求23所述的系統(tǒng)，其中所述基本不可見碼與所述物品上的絕對位置相關(guān)。
27.權(quán)利要求23所述的系統(tǒng)，其中所述物品包括紙張。
28.權(quán)利要求23所述的系統(tǒng)，其中所述物品包括紙張，該紙張無預(yù)打印的打印元素。
29.權(quán)利要求23所述的系統(tǒng)，其中所述物品包括紙張，該紙張包括預(yù)打印的打印元素。
30.權(quán)利要求23所述的系統(tǒng)，其中所述圖形元素包括從由至少一個標(biāo)記構(gòu)成的組以及由至少一個標(biāo)記和界定所述至少一個標(biāo)記的線的組合中選擇的一種。
31.一種方法，包括(a)用觸針形成多個圖形元素；(b)用所述觸針以用戶限定的順序選擇至少兩個所述圖形元素；以及(c)聽取與所述形成的圖形元素相關(guān)的至少一個音頻輸出。
32.權(quán)利要求31所述的方法其中所述多個圖形元素包括多個數(shù)字和數(shù)學(xué)運算符，以及其中(b)包括選擇第一數(shù)字、第一數(shù)學(xué)運算符、第二數(shù)字和第二數(shù)學(xué)運算符，其中所述第一數(shù)字、所述第一數(shù)學(xué)運算符和所述第二數(shù)學(xué)運算符共同形成數(shù)學(xué)問題，并且其中與所選擇的第一數(shù)字、第一數(shù)學(xué)運算符和第二數(shù)學(xué)運算符相關(guān)的至少一個音頻輸出包括所述數(shù)學(xué)問題的答案。
33.權(quán)利要求31所述的方法，其中所述觸針包括發(fā)射器、檢測器、處理器和揚聲器，其中所述發(fā)射器、檢測器和所述揚聲器耦合到所述處理器。
34.權(quán)利要求31所述的方法，其中所述觸針耦合到支撐片的平臺，在所述片上形成所述圖形元素。
35.權(quán)利要求31所述的方法，其中所述至少兩個圖形元素包括字母。
36.權(quán)利要求31所述的方法，其中所述至少兩個圖形元素包括包括語言名的第一圖形元素和包括以不同于所述語言的語言的詞的第二圖形元素，并且其中選擇包括選擇所述詞并且然后選擇所述語言名，并且其中聽取所述至少一個音頻輸出包括聽取合成的聲音用所述語言說所述詞。
37.權(quán)利要求31所述的方法，其中所述至少兩個圖形元素包括包括語言名的第一圖形元素和包括以不同于所述語言的語言的詞的第二圖形元素，并且其中選擇包括選擇所述詞并且然后選擇所述語言名，并且其中聽取所述至少一個音頻輸出包括聽取合成的聲音用所述語言說所述詞，其中所述語言是非英語語言并且其中所述詞是以英語的形式。
38.權(quán)利要求31所述的方法，其中所述觸針包括寫元件，并且其中形成所述多個圖形元素包括在片上寫多個圖形元素。
39.權(quán)利要求31所述的方法，其中所述觸針包括寫元件，并且其中形成所述多個圖形元素包括在片上寫多個圖形元素，其中所述片包括多個基本不可見碼。
40.權(quán)利要求31所述的方法，其中所述觸針包括寫元件，并且其中形成所述多個圖形元素包括在片上寫所述多個圖形元素，其中所述片包括多個基本不可見碼并且無預(yù)打印的打印元素。
41.一種交互式設(shè)備，包括觸針殼；耦合到所述觸針殼的處理器；存儲單元，包括(i)用于識別用觸針創(chuàng)建的多個圖形元素的計算機代碼，(ii)用于識別用所述觸針以用戶限定的順序?qū)χ辽賰蓚€所述圖形元素的選擇的計算機代碼，以及(iii)用于播放與所述形成的圖形元素相關(guān)的至少一個音頻輸出的計算機代碼；以及音頻輸出裝置，其中所述音頻輸出裝置和所述存儲單元有效地耦合到所述處理器。
42.權(quán)利要求41所述的交互式設(shè)備，其中所述觸針包括寫元件。
43.權(quán)利要求41所述的交互式設(shè)備，其中所述處理器、所述存儲單元和所述音頻輸出裝置在所述觸針殼內(nèi)。
44.權(quán)利要求41所述的交互式設(shè)備，其中所述存儲單元進一步包括用于識別打印在物品上的基本不可見碼的計算機代碼。
45.權(quán)利要求41所述的交互式設(shè)備，其中所述存儲單元進一步包括用于識別打印在物品上的基本不可見碼的計算機代碼，其中所述基本不可見碼包括點碼。
46.權(quán)利要求41所述的交互式設(shè)備，其中所述設(shè)備進一步包括平臺，并且其中所述存儲器、所述處理器和所述音頻輸出裝置在所述平臺內(nèi)。
47.權(quán)利要求41所述的交互式設(shè)備，其中所述圖形元素包括數(shù)字，并且其中所述存儲單元進一步包括用于計算數(shù)字的代碼。
48.權(quán)利要求41所述的交互式設(shè)備，其中所述交互式設(shè)備包括可縮回的寫元件。
49.權(quán)利要求41所述的交互式設(shè)備，其中所述存儲單元進一步包括用于教字母、數(shù)字和語音學(xué)中至少一種的計算機代碼。
50.權(quán)利要求41所述的交互式設(shè)備，其中所述存儲單元包括用于使合成聲音朗讀多個菜單項的計算機代碼。
51.一種系統(tǒng)，包括交互式設(shè)備，包括觸針殼；耦合到所述觸針殼的處理器；存儲單元，包括(i)用于識別用觸針創(chuàng)建的多個圖形元素的計算機代碼，(ii)用于識別用所述觸針以用戶限定的順序?qū)χ辽賰蓚€所述圖形元素的選擇的計算機代碼，以及(iii)用于播放與所述形成的圖形元素相關(guān)的至少一個音頻輸出的計算機代碼；以及音頻輸出裝置；其中所述音頻輸出裝置和所述存儲單元有效地耦合到所述處理器；以及物品，在其上創(chuàng)建所述圖形元素。
52.權(quán)利要求51所述的系統(tǒng)，其中所述物品包括紙張。
53.權(quán)利要求51所述的系統(tǒng)，其中所述物品包括紙張并且其中所述紙張包括多個基本不可見的碼。
54.權(quán)利要求51所述的系統(tǒng)，其中所述物品包括紙張并且其中所述紙張包括多個基本不可見的碼，所述基本不可見的碼包括點碼。
55.權(quán)利要求51所述的系統(tǒng)，其中所述物品包括紙張并且其中所述紙張包括多個基本不可見的碼，其中所述基本不可見的碼包括相對或絕對位置信息。
56.權(quán)利要求51所述的系統(tǒng)，其中所述物品包括紙張并且其中所述紙張包括多個基本不可見的碼，其中所述碼為點碼，并且其中所述紙張基本無預(yù)打印的打印元素。
57.權(quán)利要求51所述的系統(tǒng)，其中所述處理器、所述音頻輸出裝置和所述存儲單元在所述觸針殼內(nèi)。
58.權(quán)利要求51所述的系統(tǒng)，其中所述交互式設(shè)備具有自包含裝置的形式。
59.權(quán)利要求51所述的系統(tǒng)，其中所述存儲單元包括用于多個菜單項的計算機代碼。
60.權(quán)利要求51所述的系統(tǒng)，其中所述存儲單元包括用于英語-外語詞典的計算機代碼。
全文摘要
一種交互式設(shè)備(100)，包括觸針殼(62)；耦合到所述觸針殼(62)的處理器(32)；以及存儲單元(48)，包括(i)用于識別用觸針創(chuàng)建的多個圖形元素的計算機代碼，(ii)用于對用所述觸針以用戶限定的順序?qū)χ辽賰蓚€所述圖形元素的選擇進行識別的計算機代碼，以及(iii)用于對與所述形成的圖形元素相關(guān)的至少一個音頻輸出進行播放的計算機代碼；以及音頻輸出裝置(36)。
文檔編號G06K9/22GK1879143SQ200580000442
公開日2006年12月13日 申請日期2005年5月20日 優(yōu)先權(quán)日2004年6月3日
發(fā)明者詹姆斯·馬格拉夫, 亞歷克斯·奇澤姆, Tc·埃奇庫姆, 納撒尼爾·A·法斯特 申請人:跳蛙企業(yè)股份有限公司