專利名稱：用戶界面設(shè)計裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用戶界面設(shè)計裝置和方法，用于為提供模式識別功能的應用程序設(shè)計用戶界面。
背景技術(shù)：
目前，用于描述語音用戶界面(以下稱之為“語音UI”)的標記語言規(guī)范有以下幾種(1)VoiceXML(參見http//www.w3.org/TR/voicexml20/)(2)SALT(參見http//www.saltforum.org/)(3)XHTML+Voice(參見http//www.w3.org/TR/xhtml+voice/)讓瀏覽器讀入根據(jù)這種規(guī)范所寫的內(nèi)容，就可以在用戶和裝置(或服務(wù))之間實現(xiàn)語音UI。
通常，設(shè)計者(author)(內(nèi)容創(chuàng)建者)通過使用專用的設(shè)計工具(authoring tool)來創(chuàng)建這些語音UI內(nèi)容(參見，例如日本特開平03279684和日本特開平09-114623號公報)。
為了實現(xiàn)語音UI，需要用于識別語音的語音識別技術(shù)。語音識別是這樣一種處理其通過使用被稱作聲學模型的人類語音的聲學統(tǒng)計，從滿足指定的語言約束(language constraint)的詞序中選擇最接近該發(fā)音的一個。該語言約束也被稱為語音識別語法。
可以采用現(xiàn)有的語法作為識別“是”或“否”的通用語音識別語法。然而，設(shè)計者需要創(chuàng)建其它應用程序?qū)Ｓ玫恼Z法。W3C正致力于這種語音識別語法的標準化工作，其現(xiàn)在作為“語音識別語法規(guī)范1.0版”(以下稱之為“SRGS”)推薦。根據(jù)SRGS的規(guī)范公開于http//www.w3.org/TR/speech-grammar/。圖3和圖4示出由SRGS所描述的語音識別語法的描述的例于。
同樣，關(guān)于規(guī)范“語音識別的語義解釋”(以下稱之為“SISR”)，現(xiàn)在也在提倡標準化。這是用于指定語音識別結(jié)果的語義結(jié)構(gòu)的規(guī)范。使用該規(guī)范能提取包含在對應的發(fā)音中的語義信息作為語音識別結(jié)果。參考圖3，附圖標記302表示SISR語義結(jié)構(gòu)生成規(guī)則的例子。如在這種情況下，在SRGS或“tag(標簽)”屬性中的<tag>和</tag>之間描述語義結(jié)構(gòu)生成規(guī)則。注意，SISR規(guī)范公開于http//www.w3.org/TR/semantic-interpretation/。
例如，考慮以下這種情況使用圖3和圖4中所示的語音識別語法，在語音識別處理中發(fā)出“我想要可口可樂和三個頂料為意大利辣香腸和蘑菇的大比薩餅(I would like a coca cola andthree large pizzas with pepperoni and mushrooms)”的聲音。結(jié)果，生成如圖5所示的結(jié)構(gòu)數(shù)據(jù)。在該規(guī)范中，根據(jù)用戶輸入的數(shù)據(jù)結(jié)構(gòu)501被稱為“語義結(jié)構(gòu)”，而構(gòu)成該語義結(jié)構(gòu)的每個數(shù)據(jù)502被稱為“語義結(jié)構(gòu)要素(semantic structural element)”。通常，與接收字符串“我想要可口可樂和三個頂料為意大利辣香腸和蘑菇的大比薩餅”作為識別結(jié)果相比，接收識別結(jié)果的應用程序可以更加容易地使用這種語義結(jié)構(gòu)。
圖6A示出數(shù)據(jù)輸入前語音識別應用程序窗口的例子。該應用程序被設(shè)計用來通過語音或GUI輸入定購比薩餅。用戶可通過GUI輸入填寫每個表單(form)，或者可以在點擊語音輸入按鈕602后，發(fā)出聲音“我想要可口可樂和三個頂料為意大利辣香腸和蘑菇的大比薩餅”。當發(fā)出以上聲音時，每個表單自動填寫如圖6B所示的數(shù)據(jù)。
通常通過使用UI設(shè)計工具來創(chuàng)建這種語音UI。圖7示出UI設(shè)計工具窗口的例子。在許多通用UI設(shè)計工具中，在編輯下可見例如表單工具板(form palette)702和GUI窗口703。應用設(shè)計者通過將所期望的表單控件從表單工具板中拖放到UI窗口，來創(chuàng)建GUI窗口。
在用戶發(fā)出聲音后，為了根據(jù)用戶的發(fā)音來更新如圖6B中的窗口603所表示的每個表單控件的值，應用程序設(shè)計者需要執(zhí)行將每個表單綁定到語音識別結(jié)果的語義結(jié)構(gòu)要素的操作。例如，應用程序設(shè)計者必須將語音識別結(jié)果的語義結(jié)構(gòu)中的數(shù)據(jù)502(比薩餅的數(shù)量)綁定到存儲比薩餅的數(shù)量的表單704。當通過這種方式將每個表單或?qū)ο蠼壎ǖ秸Z音識別結(jié)果的語義結(jié)構(gòu)要素上時，最簡單的實現(xiàn)是如圖8所示的UI。即，向設(shè)計者呈現(xiàn)語義結(jié)構(gòu)綁定對話框801，以通過文本輸入使他/她將語音識別語法名稱802和路徑803輸入到由語音識別所生成的特定的結(jié)構(gòu)要素。在這種情況下，到這種語義結(jié)構(gòu)要素的路徑被稱為“語義結(jié)構(gòu)路徑”。語義結(jié)構(gòu)路徑中所寫的“/”表示父子(parent-child)關(guān)系。因此，“/比薩餅/數(shù)量”表示“比薩餅”要素的子要素“數(shù)量”，也就是數(shù)據(jù)502。
如圖8所示，讓設(shè)計者通過文本輸入來輸入語音識別結(jié)果的語義結(jié)構(gòu)路徑，能設(shè)置每個表單控件(或?qū)ο?與語音識別結(jié)果的語義結(jié)構(gòu)要素的綁定。
該文本輸入給設(shè)計者施加負擔。因此，需要減輕設(shè)計者的這種負擔。

發(fā)明內(nèi)容
在本發(fā)明的一個方面，提供一種用戶界面設(shè)計裝置，用于生成提供模式識別功能的應用程序的用戶界面內(nèi)容，該裝置包括獲取裝置，用于獲取包括語義結(jié)構(gòu)生成規(guī)則的識別語法，該語義結(jié)構(gòu)生成規(guī)則用于生成模式識別結(jié)果的語義結(jié)構(gòu)；提取裝置，用于從包括在所述獲取裝置所獲取的識別語法中的語義結(jié)構(gòu)生成規(guī)則中提取至少一個語義結(jié)構(gòu)；顯示裝置，用于顯示構(gòu)成由所述提取裝置所提取的語義結(jié)構(gòu)的語義結(jié)構(gòu)要素；以及選擇裝置，用于從由所述顯示裝置所顯示的語義結(jié)構(gòu)要素中選擇至少一個語義結(jié)構(gòu)要素。
在本發(fā)明的另一方面，提供一種用戶界面設(shè)計裝置，用于生成提供模式識別功能的應用程序的用戶界面內(nèi)容，包括第一獲取裝置，用于獲取包括語義結(jié)構(gòu)生成規(guī)則的識別語法，該語義結(jié)構(gòu)生成規(guī)則用于生成模式識別結(jié)果的語義結(jié)構(gòu)；第二獲取裝置，用于獲取設(shè)計者輸入的語義結(jié)構(gòu)路徑；確認裝置，用于確認根據(jù)該識別語法可生成的語義結(jié)構(gòu)是否包括與該語義結(jié)構(gòu)路徑相匹配的語義結(jié)構(gòu)；以及輸出裝置，用于當通過所述確認裝置不能獲得確認時，輸出錯誤信息。
在本發(fā)明的另一方面，提供一種用于生成提供模式識別功能的應用程序的用戶界面內(nèi)容的方法，該方法包括以下步驟獲取步驟，用于獲取包括語義結(jié)構(gòu)生成規(guī)則的識別語法，該語義結(jié)構(gòu)生成規(guī)則用于生成模式識別結(jié)果的語義結(jié)構(gòu)；提取步驟，用于從包括在所獲取的識別語法中的語義結(jié)構(gòu)生成規(guī)則中提取至少一個語義結(jié)構(gòu)；顯示步驟，用于在顯示單元上顯示構(gòu)成所提取的語義結(jié)構(gòu)的語義結(jié)構(gòu)要素；以及選擇步驟，用于從所顯示的語義結(jié)構(gòu)要素中選擇至少一個語義結(jié)構(gòu)要素。
在本發(fā)明的另一方面，提供一種用于生成提供模式識別功能的應用程序的用戶界面內(nèi)容的方法，該方法包括以下步驟獲取包括語義結(jié)構(gòu)生成規(guī)則的識別語法，該語義結(jié)構(gòu)生成規(guī)則用于生成模式識別結(jié)果的語義結(jié)構(gòu)；獲取設(shè)計者輸入的語義結(jié)構(gòu)路徑；確認根據(jù)該識別語法可生成的語義結(jié)構(gòu)是否包括與該語義結(jié)構(gòu)路徑相匹配的語義結(jié)構(gòu)；以及當不能獲得確認時，輸出錯誤信息。
通過考慮以下結(jié)合其中通過例子示出一個實施例的附圖的詳細說明，本發(fā)明的上述及其它目的和優(yōu)點將更加明顯。


包括在說明書中并構(gòu)成說明書的一部分的附圖，示出了本發(fā)明的實施例，并與說明書一起用來解釋本發(fā)明的原理。
圖1A是示出根據(jù)本發(fā)明的實現(xiàn)用戶界面設(shè)計裝置的功能的計算機系統(tǒng)的硬件配置的例子的框圖；圖1B是示出根據(jù)本發(fā)明的該實施例的用戶界面設(shè)計裝置的功能配置的框圖；圖2是示出根據(jù)本發(fā)明的該實施例的UI設(shè)計裝置的語義結(jié)構(gòu)指定模式中的UI設(shè)計處理的流程圖；圖3和圖4是分別示出語音識別語法的描述例子的視圖；圖5是示出從語音識別語法可生成的語義結(jié)構(gòu)的例子的視圖；圖6A是示出通用語音UI應用程序的窗口例子(數(shù)據(jù)輸入前)的視圖；圖6B是示出通用語音UI應用程序的窗口例子(數(shù)據(jù)輸入后)的視圖；圖7是示出通用UI設(shè)計工具的窗口例子的視圖；圖8是示出通過傳統(tǒng)的UI設(shè)計工具指定語義結(jié)構(gòu)的GUI的例子的視圖；圖9A是示出在該實施例中語音識別語法選擇對話框的例子的視圖；圖9B是示出在該實施例中語義結(jié)構(gòu)路徑生成對話框的例子的視圖；圖10是示出根據(jù)可選實施例1的UI設(shè)計處理的流程圖；圖11是示出根據(jù)可選實施例1的發(fā)音例子生成算法的例子的視圖；圖12A是示出在可選實施例1中語音識別語法指定對話框的例子的視圖；圖12B是示出在可選實施例1中語義結(jié)構(gòu)簡圖(rough sketch)選擇對話框的例子的視圖；圖12C是示出在可選實施例1中語義結(jié)構(gòu)路徑指定對話框的例子的視圖；圖13是示出在可選實施例2中包含發(fā)音例子信息的語音識別語法的例子的視圖；圖14是示出包含可在可選實施例2中生成的語義結(jié)構(gòu)信息的語音識別語法的例子的視圖；圖15是示出根據(jù)可選實施例3的UI設(shè)計處理的流程圖；圖16A是示出在可選實施例3中語音識別語法指定對話框的例子的視圖；圖16B是示出在可選實施例3中語義結(jié)構(gòu)路徑指定對話框的例子的視圖；以及圖17A和17B是分別示出在其它實施例中的手寫字符識別應用程序中所提供的GUI的例子的視圖。
具體實施例方式
根據(jù)附圖來詳細說明本發(fā)明的優(yōu)選實施例。本發(fā)明不局限于所公開的實施例，并且實施例中所述特征的全部組合對于本發(fā)明的解決方案不總是必須的。
圖1A是示出根據(jù)本發(fā)明的實現(xiàn)用戶界面設(shè)計裝置的功能的計算機系統(tǒng)的硬件配置的例子的框圖。注意，在以下說明中，“用戶界面”也被稱為“UI”。
圖1A所示的計算機系統(tǒng)除控制整個裝置的CPU 1外，還包括以下組件存儲引導程序、永久數(shù)據(jù)等的ROM 2；以及用作主存儲器的RAM 3。
HDD 4是硬盤驅(qū)動器，其中除存儲OS 10外，還存儲UI設(shè)計程序11、語音識別語法112、以及通過執(zhí)行UI設(shè)計程序11所形成的UI內(nèi)容111。
另外，VRAM 5是將待顯示的圖像數(shù)據(jù)位圖化的存儲器。該存儲器中的位像數(shù)據(jù)等使得可以在作為窗口輸出裝置的例子的CRT 6上顯示圖像。附圖標記7和8分別表示作為輸入裝置的鍵盤和鼠標，其被連接到向CPU 1傳送中斷信號的鍵盤控制器7a和鼠標控制器8b。
根據(jù)來自鍵盤7或鼠標8的特定指令事件激活UI設(shè)計程序11。在這種情況下，UI設(shè)計程序11被加載到RAM 3，并通過CPU 1來執(zhí)行。因而，該計算機系統(tǒng)發(fā)揮UI設(shè)計裝置的功能。
圖1B是示出根據(jù)該實施例的UI設(shè)計裝置的功能配置的框圖。
UI設(shè)計裝置101通過包括鍵盤7和鼠標8的輸入裝置105、以及由CRT 6形成的窗口輸出裝置108，生成設(shè)計者所期望的UI內(nèi)容111。
假設(shè)要生成如圖6A所示的用于定購比薩餅的應用程序的UI內(nèi)容。該UI允許用戶使用GUI以表單控件輸入數(shù)據(jù)?？蛇x地，通過按下語音輸入按鍵602，并發(fā)出聲音“我想要可口可樂和三個頂料為意大利辣香腸和蘑菇的大比薩餅”，該用戶可以如圖6B所示立即填寫每個表單。
圖7示出該UI設(shè)計裝置的UI窗口。這基本上是根據(jù)設(shè)計者輸入的命令執(zhí)行操作的消息驅(qū)動的應用程序。例如，當輸入文件保存命令或設(shè)計工具結(jié)束命令時，該應用程序執(zhí)行相應的操作。
考慮這樣一種情況，即當比薩餅的數(shù)量作為語音識別結(jié)果輸入時，創(chuàng)建將表單604(圖6A)的值反映在語音識別結(jié)果的值中的UI。在這種情況下，設(shè)計者需要將GUI和其它對象的表單控件綁定到語音識別結(jié)果的語義結(jié)構(gòu)上。綁定到該語義結(jié)構(gòu)的操作被稱為“語義結(jié)構(gòu)指定模式”。該“語義結(jié)構(gòu)指定模式”是本裝置的特有操作。
例如，設(shè)計者在圖7所示的窗口中右鍵點擊表單704，以從上下文菜單中選擇“綁定到語音識別結(jié)果”。因而，激活“語義結(jié)構(gòu)指定模式”。在“語義結(jié)構(gòu)指定模式”中，首先，出現(xiàn)圖9A中的語音識別語法選擇對話框901，設(shè)計者輸入所期望的語音識別語法名稱。如果在另一窗口中指定語音識別語法，則可省略該對話框顯示。
圖2是示出根據(jù)該實施例在UI設(shè)計裝置的語義結(jié)構(gòu)指定模式中的處理的流程圖。
當在語音識別語法選擇對話框901中以上述方式輸入語義識別語法名稱時，語音識別語法獲取單元110(參見圖1B)獲取所指定的語音識別語法112(步驟S201)。在這種情況下，如圖3和4所示來描述所獲取的語音識別語法。假定在所獲取的語音識別語法中，寫入用于生成發(fā)音內(nèi)容的語義結(jié)構(gòu)的語義結(jié)構(gòu)生成規(guī)則302。
將所獲取的語音識別語法發(fā)送到語義結(jié)構(gòu)提取單元106。該語義結(jié)構(gòu)提取單元106分析所獲取的語音識別語法，并從包含在該語法中的語義結(jié)構(gòu)生成規(guī)則中提取至少一個語義結(jié)構(gòu)(步驟S202)。
例如，語義結(jié)構(gòu)提取單元106可搜索包含在語音識別語法中的語義結(jié)構(gòu)生成規(guī)則中的所有屬性，以提取其列表，并將其組合為語義結(jié)構(gòu)。屬性是出現(xiàn)在語義結(jié)構(gòu)生成規(guī)則中左手側(cè)的標識符。這種語義結(jié)構(gòu)生成規(guī)則中的屬性的詳細描述公開于http//www.w3.org/TR/semantic-interpretation/。
下面是圖3和圖4的語法中的所有屬性的列表，供參考[drink(飲料)，drinksize(飲料大小)，liquid(液體)，number(數(shù)量)，pizza(比薩餅)，pizzasize(比薩餅大小)，topping(頂料)，type(類型)]。
將所提取的語義結(jié)構(gòu)發(fā)送到語義結(jié)構(gòu)呈現(xiàn)單元107，并通過窗口輸出裝置108將其呈現(xiàn)給設(shè)計者(步驟S203)。例如，如圖9B所示的語義結(jié)構(gòu)路徑生成對話框902作為一個語義結(jié)構(gòu)來顯示。在看對話框902的同時，設(shè)計者可通過操作輸入裝置105指定特定的語義結(jié)構(gòu)路徑。更具體地，設(shè)計者從列表框903中選擇屬性，并構(gòu)造所期望的語義結(jié)構(gòu)路徑。注意，通過使用路徑長度編輯按鈕904增加或減少路徑的長度。
當設(shè)計者完成選擇，并按下“確定”按鈕時，設(shè)計者輸入信息獲取單元104獲取設(shè)計者輸入的信息(所選擇的信息)(步驟S204)。將所獲取的信息發(fā)送到語義結(jié)構(gòu)路徑生成單元103。在這種情況下，從設(shè)計者所選擇的各屬性名稱及其關(guān)系生成特定的語義結(jié)構(gòu)路徑(步驟S205)。在上述情況下，生成字符串“/比薩餅/數(shù)量”。設(shè)計者僅通過以這種方式執(zhí)行從列表框903中的選擇操作，就可以生成語義結(jié)構(gòu)路徑。這時，設(shè)計者無需如現(xiàn)有技術(shù)中那樣輸入任何指定語義結(jié)構(gòu)要素的文本等。這就減輕了設(shè)計者與輸入操作有關(guān)的負擔。
將該結(jié)果發(fā)送到UI內(nèi)容構(gòu)造單元102，以將其反映在通過標記語言，例如VoiceXML、SALT、或XHTML+Voice，所表達的UI內(nèi)容中。將所生成的UI內(nèi)容發(fā)送到UI內(nèi)容輸出單元109，從該UI內(nèi)容輸出單元109將內(nèi)容輸出到外部UI內(nèi)容文件111。
可選實施例1在上述實施例中，將語義結(jié)構(gòu)生成規(guī)則中的屬性呈現(xiàn)給設(shè)計者，設(shè)計者通過選擇屬性的組合來生成特定的語義結(jié)構(gòu)路徑。根據(jù)該方法，設(shè)計者可能以錯誤的順序指定形成路徑的正確詞匯。例如，在圖5的語義結(jié)構(gòu)中，可能指定不能從該語法生成的語義結(jié)構(gòu)路徑“/數(shù)量/比薩餅”。為了防止這種情況，可從該語法自動生成發(fā)音信息作為符合語音識別語法的有效輸入信息，并向設(shè)計者呈現(xiàn)當輸入發(fā)音時所生成的語義結(jié)構(gòu)。下面將引入這種處理的情況作為可選實施例1進行說明。
圖10是示出根據(jù)可選實施例1的UI設(shè)計處理的流程圖。
當設(shè)計者在圖7的窗口中右鍵點擊表單704，并從上下文菜單中選擇“綁定到語音識別結(jié)果”時，開始圖10中的流程。當該流程開始時，首先，顯示圖12A中的語音識別語法指定對話框1201，在該對話框中獲取設(shè)計者輸入的語音識別語法名稱(步驟S1001)。注意，當已經(jīng)指定語音識別語法時，這部分可以省略。
將內(nèi)部變量N初始化為1(步驟S1002)，并且從所獲取的語音識別語法中生成一個發(fā)音例子(步驟S1004)。例如，可通過使用如圖11所示的算法從該語法生成發(fā)聲例子。
首先，以語法中的路徑規(guī)則名稱為自變量調(diào)用“Generate”程序(第00行)。在“Generate”程序中，清空內(nèi)部變量列表(第02行)，并且從輸入的規(guī)則名稱擴展右手側(cè)。逐標記(token)地刪除所擴展的右手側(cè)，并將該標記存儲在標記列表中(第03行)。
對于所有所刪除的標記，進行以下檢查。首先，檢查每個標記是否涉及其它規(guī)則如<ruleref>。如果涉及，則以相應的規(guī)則名稱為自變量遞歸調(diào)用該“Generate”程序。將結(jié)果添加到列表變量(第06行)。然后，檢查標記是否為選擇要素例如<one-of>。如果是，則以該選擇要素為自變量調(diào)用“Select”子程序(稍后將說明)。將結(jié)果添加到列表變量(第09行)。如果標記既不涉及其它規(guī)則，也不是選擇要素，則認為該標記為終止符號(發(fā)音詞)，并將其不加任何改變地添加到列表中(第12行)。對所有所刪除的標記執(zhí)行這些操作，并在結(jié)束時返回列表變量(第15行)。
在“Select”子程序中，首先，初始化內(nèi)部變量列表(第21行)。選擇由輸入選擇要素的<item>所指定的其中一個選項(第22行)。在該選擇方案中，可以選擇首先出現(xiàn)的選項，或隨機選擇由<item>所指定的其中一項。對于所選擇的選項，執(zhí)行如“Generate”程序中的相同檢查(第23行到第31行)。檢查后，返回列表變量。
通過執(zhí)行該算法，可以提取語音識別語法所接受的發(fā)音例子的文本信息。然而，注意，該算法不能處理指定重復發(fā)音的語法描述。此外，包括規(guī)則遞歸的語法描述會導致死循環(huán)。因此，為了處理這些通用語音識別語法，必須改進上述算法。
當通過這些算法可以生成新的發(fā)音例子的文本信息時(步驟S1005中的否)，從所生成的發(fā)音例子生成語義結(jié)構(gòu)(步驟S1006)。更具體地，通過使用語音識別語法，來執(zhí)行發(fā)音例子文本的語法分析。通過對相應的路徑執(zhí)行語義信息生成規(guī)則，可以生成語義結(jié)構(gòu)。關(guān)于語義結(jié)構(gòu)的生成，參見http//www.w3.org/RT/semantic-interpretation/中的描述。
之后，檢查所生成的語義結(jié)構(gòu)是否與已經(jīng)在列表中注冊的語義結(jié)構(gòu)相同(步驟S1007)。如果該語義結(jié)構(gòu)還沒有注冊，則在列表中注冊該結(jié)構(gòu)(步驟S1008)，并且內(nèi)部變量N加1(步驟S1009)。
重復上述步驟S1004～S1009中的處理，直到變量N的數(shù)量變?yōu)轭A定的數(shù)量M(例如，3)，并從語音識別語法生成新的發(fā)音例子。如果不滿足這些條件，該流程退出循環(huán)，并在例如圖12B所示的語義結(jié)構(gòu)簡圖選擇對話框1202中將列表中的數(shù)據(jù)呈現(xiàn)給設(shè)計者(步驟S1010)。在圖12B所示的窗口中，顯示由語音識別語法自動生成的語義結(jié)構(gòu)的最多M個概圖(overview)。設(shè)計者可以從這些語義結(jié)構(gòu)中選擇語義結(jié)構(gòu)。當獲取該所選擇的信息時(步驟S1011)，擴展所選擇的語義結(jié)構(gòu)的內(nèi)部結(jié)構(gòu)，以呈現(xiàn)允許設(shè)計者選擇語義結(jié)構(gòu)要素的窗口(步驟S1012)。圖12C示出這時所顯示的對話框1203。通過使用鼠標等，設(shè)計者可以選擇語義結(jié)構(gòu)要素。當獲取該所選擇的語義結(jié)構(gòu)要素時(步驟S1013)，在設(shè)計者所選擇的位置生成路徑，并將其反映在UI內(nèi)容中(步驟S1014)。
在該例子中，將裝置所呈現(xiàn)的語義結(jié)構(gòu)的最大數(shù)量限制為M。因此，有可能不呈現(xiàn)設(shè)計者想要的語義結(jié)構(gòu)。在這種情況下，備有圖12B中的按鈕1204。當按下該按鍵時，當前所用的路徑指定方法可被切換到其它方法。例如，可能呈現(xiàn)圖9B中所示的對話框902。
可選實施例2在可選實施例1中，通過語音識別語法自動生成發(fā)音例子。然而，在本方法中，設(shè)計者想要的語義結(jié)構(gòu)可能不包括在裝置所呈現(xiàn)的M個語義結(jié)構(gòu)中。為了解決該問題，可以增大M。然而，如果增大M，則會增加用于搜索設(shè)計者想要的語義結(jié)構(gòu)的負擔。因此，在可選實施例2中，通過使用語音識別語法和寫入語法中的發(fā)音例子信息生成語義結(jié)構(gòu)，并將其呈現(xiàn)給設(shè)計者。
圖13示出通過SRGS所寫的語音識別語法的例子。在SRGS中，備有描述發(fā)音例子的標簽<example>，并且寫入該標簽中的例子可被用作發(fā)音例子信息。圖13中的附圖標記1301表示發(fā)音例子信息的例子。
由于在這種情況下的處理流程與圖10所示的相同，因此將省略其詳細說明。然而，注意，在步驟S1004中的處理與可選實施例1中的處理不同。在上述可選實施例1中，從語音識別語法自動生成發(fā)音例子。在可選實施例2中，可以使用寫入語音識別語法中的發(fā)音例子文本。
另外，在語音識別語法中，可以提前寫入可由語法生成的語義結(jié)構(gòu)信息。圖14示出可由語法生成的語義結(jié)構(gòu)信息被寫入語法中的例子。在SRGS中的注釋字段設(shè)置該語義結(jié)構(gòu)信息。使用這個的優(yōu)點在于無需生成語義結(jié)構(gòu)的處理(步驟S1006)。
可選實施例3在可選實施例2中，在語音識別語法生成的時候，輸入發(fā)音例子。然而，在使用設(shè)計工具的時候，輸入發(fā)音例子是有效的。圖15示出實現(xiàn)該處理的UI設(shè)計處理的流程圖。
當設(shè)計者右鍵點擊在圖7中的窗口中的表單704，并從上下文菜單中選擇“綁定到語音識別結(jié)果”時，圖15中的流程開始。當該流程開始時，首先，顯示圖16A所示的語音識別語法指定對話框1601，在該對話框中獲取由設(shè)計者輸入的語音識別語法名稱(步驟S1501)。在語音識別語法指定對話框1601中，也備有語音識別按鈕1603。當按下該語音識別按鈕1603時，獲取來自設(shè)計者的發(fā)音(步驟S1502)。然后，通過使用在步驟S1501所獲取的語音識別語法來執(zhí)行語音識別處理(步驟S1503)。
當語音識別完成時，從語音識別結(jié)果生成語義結(jié)構(gòu)(步驟S1504)。將該語義結(jié)構(gòu)呈現(xiàn)給設(shè)計者(步驟S1505)。在這種情況下，例如，顯示圖16B中所示的語義結(jié)構(gòu)路徑指定對話框1604。如圖16B所示，與值(數(shù)量“3”等)一起呈現(xiàn)來自設(shè)計者的發(fā)音內(nèi)容的語義結(jié)構(gòu)。通過使用輸入裝置105，設(shè)計者從該窗口選擇特定的語義結(jié)構(gòu)要素。例如，如果設(shè)計者想要指定比薩餅的數(shù)量，則他/她點擊“比薩餅”下的“數(shù)量”部分。當指定特定的語義結(jié)構(gòu)要素時，相應的信息被獲取到該裝置(步驟S1506)。
將所獲取的信息與在步驟S1504所生成的語義結(jié)構(gòu)進行比較，以生成相應的語義結(jié)構(gòu)路徑。例如，生成字符串“/比薩餅/數(shù)量”。然后，將該字符串包括在將要生成的UI內(nèi)容中(步驟S1507)。
在上述例子中，通過設(shè)計者的發(fā)音來生成語義結(jié)構(gòu)。然而，可以從設(shè)計者輸入的文本數(shù)據(jù)來生成語義結(jié)構(gòu)。例如，備有圖16A中的發(fā)音例子文本輸入表單1602。當設(shè)計者以文本在該表單中輸入發(fā)音內(nèi)容，并按下預定的確定按鈕(例如，圖16A中的“下一步”按鈕)時，可以從文本和語音識別語法生成語義結(jié)構(gòu)。
可選實施例4讓設(shè)計者負責輸入語義結(jié)構(gòu)路徑并限制UI設(shè)計裝置檢查該路徑的功能就足夠了。
例如，如果激活“語義結(jié)構(gòu)指定模式”，則顯示圖8中所示的語義結(jié)構(gòu)綁定對話框801，以使設(shè)計者通過文本在字段803中指定語義結(jié)構(gòu)路徑。之后，對字段802中所指定的語音識別語法進行分析。然后，檢查可由語法生成的語義結(jié)構(gòu)是否包括與設(shè)計者所指定的語義結(jié)構(gòu)路徑相匹配的任何語義結(jié)構(gòu)。如果可由語法生成的任何一個語義結(jié)構(gòu)都不與設(shè)計者所指定的語義結(jié)構(gòu)路徑相匹配，則判定設(shè)計者的輸入出現(xiàn)錯誤，并輸出錯誤信息。
其它實施例在假定SRGS被用作語音識別語法，以及SISR被用作語義結(jié)構(gòu)生成規(guī)則的情況下，已對上述實施例進行了說明。然而，本發(fā)明也可適用于其它語音識別語法形式。此外，從UI設(shè)計裝置輸出的內(nèi)容可以有其自己的規(guī)范或使用現(xiàn)有的語言規(guī)范(例如，SALT、VoiceXML、及XHTML+Voice)。而且，可以使用以文本格式描述的格式或以二進制格式描述的格式。
盡管上述實施例是基于語音識別的，但是本發(fā)明不局限于語音識別，也可適用于其它使用識別語法的模式識別(例如，手寫字符識別和姿態(tài)識別)。
例如，同樣在手寫字符識別中，僅根據(jù)識別語法就可生成該識別語法所接受的手寫字符輸入結(jié)果。使用這個能向設(shè)計者呈現(xiàn)如可選實施例1中所述而生成的語義結(jié)構(gòu)。
此外，如可選實施例3，設(shè)計者可以輸入輸入例子。圖17A和17B分別示出在手寫字符識別應用程序中所提供的GUI的例子。具有該GUI的應用程序以與可選實施例3相同的方式進行操作。然而，在可選實施例3中，將語音輸入操作或使用鍵盤的文本輸入操作作為設(shè)計者的輸入操作。在這種情況下，設(shè)計者通過手寫在圖17A中的手寫字符輸入表單1702中輸入字符。
通過使用手寫字符識別語法指定表單1701(圖17A)所指定的語法和在手寫字符輸入表單1702中輸入的手寫字符的數(shù)據(jù)，UI設(shè)計裝置執(zhí)行手寫字符識別。通過圖17B中的語義結(jié)構(gòu)路徑指定對話框1703，向設(shè)計者呈現(xiàn)從該結(jié)果所生成的語義結(jié)構(gòu)，并且，從設(shè)計者關(guān)于特定語義結(jié)構(gòu)的鼠標操作中獲取該結(jié)構(gòu)的路徑信息。
注意，本發(fā)明可適用于包括單個設(shè)備的裝置或者由多個設(shè)備構(gòu)成的系統(tǒng)。
而且，通過直接或間接地向系統(tǒng)或裝置提供實現(xiàn)上述實施例功能的軟件程序、利用該系統(tǒng)或裝置的計算機讀取所提供的程序代碼、然后執(zhí)行該程序代碼，可以實現(xiàn)本發(fā)明。在這種情況下，只要該系統(tǒng)或裝置具有程序的功能，實現(xiàn)的方式無需依賴于程序。
因此，由于本發(fā)明的功能由計算機來實現(xiàn)，所以安裝在計算機中的程序代碼也實現(xiàn)本發(fā)明。換句話說，本發(fā)明的權(quán)利要求也包括用于實現(xiàn)本發(fā)明的功能的計算機程序。
在這種情況下，只要該系統(tǒng)或裝置具有程序的功能，程序可以任何形式來執(zhí)行，例如目標代碼、由解釋程序執(zhí)行的程序、或提供給操作系統(tǒng)的腳本數(shù)據(jù)。
可用于提供程序的存儲介質(zhì)的例子有軟盤、硬盤、光盤、磁光盤、CD-ROM、CD-R、CD-RW、磁帶、非易失型存儲卡、ROM、及DVD(DVD-ROM和DVD-R)。
至于提供程序的方法，可使用客戶計算機的瀏覽器將客戶計算機連接到因特網(wǎng)上的網(wǎng)站，并將本發(fā)明的計算機程序或該程序的可自動安裝的壓縮文件下載到記錄介質(zhì)例如硬盤上。此外，可以通過將構(gòu)成程序的程序代碼分成多個文件，并從不同的網(wǎng)站下載這些文件，來提供本發(fā)明的程序。換句話說，本發(fā)明的權(quán)利要求也覆蓋將通過計算機實現(xiàn)本發(fā)明的功能的程序文件下載到多個用戶的WWW(World Wide Web，萬維網(wǎng))服務(wù)器。
也可以將本發(fā)明的程序進行加密，并將其存儲在存儲介質(zhì)例如CD-ROM上，將該存儲介質(zhì)分發(fā)給用戶，允許滿足某種要求的用戶通過因特網(wǎng)從網(wǎng)站上下載解密密鑰信息，并允許這些用戶通過使用該密鑰信息對所加密的程序進行解密，從而將程序安裝在用戶計算機上。
除通過計算機執(zhí)行讀取的程序來實現(xiàn)根據(jù)實施例的上述功能的情況而外，運行在計算機上的操作系統(tǒng)等可以執(zhí)行全部或部分實際處理，從而通過該處理可以實現(xiàn)上述實施例的功能。
而且，在將從存儲介質(zhì)讀取的程序?qū)懭氩迦胗嬎銠C中的功能擴展板或者與計算機相連接的功能擴展單元所提供的存儲器中之后，安裝在該功能擴展板或功能擴展單元上的CPU等執(zhí)行全部或部分實際處理，從而通過該處理可以實現(xiàn)上述實施例的功能。
由于在不脫離本發(fā)明的精神和范圍的情況下，可以做出很多明顯不同的本發(fā)明的實施例，應該理解，除由所附權(quán)利要求書定義外，本發(fā)明不局限于特定的實施例。
權(quán)利要求
1.一種用戶界面設(shè)計裝置，用于生成提供模式識別功能的應用程序的用戶界面內(nèi)容，該裝置包括獲取裝置，用于獲取包括語義結(jié)構(gòu)生成規(guī)則的識別語法，該語義結(jié)構(gòu)生成規(guī)則用于生成模式識別結(jié)果的語義結(jié)構(gòu)；提取裝置，用于從包括在所述獲取裝置所獲取的識別語法中的語義結(jié)構(gòu)生成規(guī)則中提取至少一個語義結(jié)構(gòu)；顯示裝置，用于顯示構(gòu)成由所述提取裝置所提取的語義結(jié)構(gòu)的語義結(jié)構(gòu)要素；以及選擇裝置，用于從由所述顯示裝置所顯示的語義結(jié)構(gòu)要素中選擇至少一個語義結(jié)構(gòu)要素。
2.根據(jù)權(quán)利要求1所述的用戶界面設(shè)計裝置，其特征在于，還包括生成裝置，用于基于由所述選擇裝置所選擇的語義結(jié)構(gòu)要素，生成語義結(jié)構(gòu)路徑；以及反映裝置，用于將由所述生成裝置所生成的語義結(jié)構(gòu)路徑反映在用戶界面內(nèi)容中。
3.根據(jù)權(quán)利要求1或2所述的用戶界面設(shè)計裝置，其特征在于，還包括輸入信息生成裝置，該輸入信息生成裝置用于根據(jù)由所述獲取裝置所獲取的識別語法，生成可以被接受的輸入信息，其中，當輸入由所述輸入信息生成裝置所生成的輸入信息時，所述提取裝置提取語義結(jié)構(gòu)。
4.根據(jù)權(quán)利要求1或2所述的用戶界面設(shè)計裝置，其特征在于，還包括輸入例句提取裝置，該輸入例句提取裝置用于提取以所述獲取裝置所獲取的識別語法所描述的輸入例句。其中，當輸入由所述輸入例句提取裝置所提取的輸入例句時，所述提取裝置提取語義結(jié)構(gòu)。
5.根據(jù)權(quán)利要求1或2所述的用戶界面設(shè)計裝置，其特征在于，還包括設(shè)計者輸入獲取裝置，該設(shè)計者輸入獲取裝置用于獲取來自設(shè)計者的模式識別輸入，其中，所述提取裝置提取關(guān)于由所述設(shè)計者輸入獲取裝置所獲取的模式識別輸入的模式識別結(jié)果的語義結(jié)構(gòu)。
6.根據(jù)權(quán)利要求1到5中任一項所述的用戶界面設(shè)計裝置，其特征在于，該模式識別是語音識別，并且該識別語法是語音識別語法。
7.根據(jù)權(quán)利要求1到5中任一項所述的用戶界面設(shè)計裝置，其特征在于，模式識別是手寫字符識別，并且識別語法是手寫字符識別語法。
8.根據(jù)權(quán)利要求6所述的用戶界面設(shè)計裝置，其特征在于，按照由W3C所推薦的語音識別語法規(guī)范的規(guī)范描述該語音識別語法，并且按照由W3C所推薦的語音識別的語義解釋的規(guī)范描述語義結(jié)構(gòu)生成規(guī)則。
9.一種用戶界面設(shè)計裝置，用于生成提供模式識別功能的應用程序的用戶界面內(nèi)容，該裝置包括第一獲取裝置，用于獲取包括語義結(jié)構(gòu)生成規(guī)則的識別語法，該語義結(jié)構(gòu)生成規(guī)則用于生成模式識別結(jié)果的語義結(jié)構(gòu)；第二獲取裝置，用于獲取設(shè)計者輸入的語義結(jié)構(gòu)路徑；確認裝置，用于確認根據(jù)該識別語法可生成的語義結(jié)構(gòu)是否包括與該語義結(jié)構(gòu)路徑相匹配的語義結(jié)構(gòu)；以及輸出裝置，用于當通過所述確認裝置不能獲得確認時，輸出錯誤信息。
10.一種用于生成提供模式識別功能的應用程序的用戶界面內(nèi)容的方法，該方法包括以下步驟獲取步驟，用于獲取包括語義結(jié)構(gòu)生成規(guī)則的識別語法，該語義結(jié)構(gòu)生成規(guī)則用于生成模式識別結(jié)果的語義結(jié)構(gòu)；提取步驟，用于從包括在所獲取的識別語法中的語義結(jié)構(gòu)生成規(guī)則中提取至少一個語義結(jié)構(gòu)；顯示步驟，用于在顯示單元上顯示構(gòu)成所提取的語義結(jié)構(gòu)的語義結(jié)構(gòu)要素；以及選擇步驟，用于從所顯示的語義結(jié)構(gòu)要素中選擇至少一個語義結(jié)構(gòu)要素。
11.一種用于生成提供模式識別功能的應用程序的用戶界面內(nèi)容的方法，該方法包括以下步驟獲取包括語義結(jié)構(gòu)生成規(guī)則的識別語法，該語義結(jié)構(gòu)生成規(guī)則用于生成模式識別結(jié)果的語義結(jié)構(gòu)；獲取設(shè)計者輸入的語義結(jié)構(gòu)路徑；確認根據(jù)該識別語法可生成的語義結(jié)構(gòu)是否包括與該語義結(jié)構(gòu)路徑相匹配的語義結(jié)構(gòu)；以及當不能獲得確認時，輸出錯誤信息。
全文摘要
提供一種用戶界面設(shè)計裝置和方法，該裝置減輕了與設(shè)計者的輸入操作有關(guān)的負擔。當獲取包括語義結(jié)構(gòu)生成規(guī)則的語音識別語法時，從包括在該語法中的語義結(jié)構(gòu)生成規(guī)則中提取至少一個語義結(jié)構(gòu)。將該語義結(jié)構(gòu)呈現(xiàn)給設(shè)計者。設(shè)計者可以使用輸入裝置來選擇所呈現(xiàn)的語義結(jié)構(gòu)要素。當設(shè)計者的選擇完成時，提取所選擇的信息，并將其反映在用戶界面內(nèi)容中。
文檔編號G10L15/08GK1779782SQ200510124158
公開日2006年5月31日 申請日期2005年11月25日 優(yōu)先權(quán)日2004年11月26日
發(fā)明者中川賢一郎, 廣田誠, 山本寬樹 申請人:佳能株式會社