一種eswfst構(gòu)建方法
【專利摘要】本發(fā)明公開(kāi)了一種ESWFST構(gòu)建方法，該ESWFST構(gòu)建方法包括，對(duì)WFST的八元組進(jìn)行定義；將正則文法轉(zhuǎn)換成WFST；對(duì)WFST進(jìn)行序列的運(yùn)算；嵌入文法名稱；把文法名稱加入詞典之后進(jìn)行處理；經(jīng)解碼器進(jìn)行處理；生成ESWFST的格式；對(duì)結(jié)果進(jìn)行識(shí)別。該ESWFST構(gòu)建方法在基于自然語(yǔ)言的語(yǔ)義理解過(guò)程中，特別是在文法識(shí)別的應(yīng)用中(如導(dǎo)航類應(yīng)用)，語(yǔ)音識(shí)別結(jié)果的展現(xiàn)形式能夠給予理解過(guò)程更多的輔助信息，從而提升識(shí)別結(jié)果的可理解性。
【專利說(shuō)明】
一種ESWFST構(gòu)建方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于語(yǔ)音識(shí)別技術(shù)領(lǐng)域，尤其涉及一種ESWFST構(gòu)建方法。
【背景技術(shù)】
[0002] WFST技術(shù)是語(yǔ)音識(shí)別過(guò)程中解碼器采用的一種靜態(tài)解碼技術(shù)，該技術(shù)能夠有效的 把聲學(xué)模型和語(yǔ)言模型的信息結(jié)合在一起，在解碼器開(kāi)始工作之前，已經(jīng)靜態(tài)的構(gòu)建了解 碼空間。目前，該技術(shù)被應(yīng)用于大多數(shù)主流解碼器采用，成為語(yǔ)音識(shí)別技術(shù)中一個(gè)重要的分 支。
[0003] 近年來(lái)，隨著語(yǔ)音識(shí)別的識(shí)別率不斷提高，基于自然語(yǔ)言的語(yǔ)義理解系統(tǒng)的性能 也得到了顯著的提升，特別是限定識(shí)別空間的語(yǔ)義理解過(guò)程，該識(shí)別空間限制能夠被識(shí)別 出來(lái)的語(yǔ)言集總數(shù)，語(yǔ)義理解只需要在限定識(shí)別空間上進(jìn)行理解。但一般的做法是先識(shí)別 出來(lái)文本結(jié)果，然后再將文本結(jié)果和對(duì)應(yīng)的空間正則表達(dá)進(jìn)行匹配，繼而通過(guò)建立的映射， 有效映射至語(yǔ)義理解參數(shù)。或在全局語(yǔ)義表達(dá)空間上進(jìn)行解析，根據(jù)句子語(yǔ)言屬性挖掘其 中的語(yǔ)義表達(dá)形式。這些方法都有一個(gè)缺點(diǎn)，就是在語(yǔ)義解析過(guò)程會(huì)丟失識(shí)別過(guò)程中對(duì)解 碼器對(duì)文法路徑的選擇過(guò)程，需要有額外的成本開(kāi)銷進(jìn)行匹配和理解。傳統(tǒng)的WFST構(gòu)建語(yǔ) 音識(shí)別所用的資源時(shí)失去了語(yǔ)法本身和解碼過(guò)程中的屬性。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于提供一種ESWFST構(gòu)建方法，旨在解決在語(yǔ)義解析過(guò)程會(huì)丟失識(shí) 別過(guò)程中對(duì)解碼器對(duì)文法路徑的選擇過(guò)程，需要有額外的成本開(kāi)銷進(jìn)行匹配和理解的問(wèn) 題。
[0005] 本發(fā)明是這樣實(shí)現(xiàn)的，該ESWFST構(gòu)建方法包括以下步驟：
[0006] 步驟一、對(duì)WFST的八元組進(jìn)行定義；
[0007] 步驟二、將正則文法轉(zhuǎn)換成WFST;
[0008] 步驟三、對(duì)WFST進(jìn)行序列的運(yùn)算；
[0009]步驟四、嵌入文法名稱；
[0010] 步驟五、把文法名稱加入詞典之后進(jìn)行處理；
[0011] 步驟六、經(jīng)解碼器進(jìn)行處理；
[0012] 步驟七、生成ESWFST的格式 [0013]步驟八、對(duì)結(jié)果進(jìn)行識(shí)別。
[0014]本發(fā)明還采取如下技術(shù)措施：
[0015] 對(duì)ESWFST進(jìn)行序列的運(yùn)算包括:det、min運(yùn)算。
[0016] 嵌入文法名稱的方法包括以下步驟：
[0017] 步驟一、文法解析時(shí)，碰到文法名稱，添加一條空邊與其所指內(nèi)容相連接，并添加_ namej各式的詞，其權(quán)值由當(dāng)前鏈接決定；
[0018] 步驟二、文法結(jié)束后，輸入_root_A，作為樹(shù)的根結(jié)點(diǎn)。
[0019] 聲學(xué)模型中不包含文法名稱發(fā)音的處理方式為把輔助符號(hào)作為文法名稱的發(fā)音。
[0020] 解碼時(shí)對(duì)詞處理的方法：
[0021 ]出現(xiàn)_XXJ#式詞時(shí)，不會(huì)應(yīng)用插入懲罰策略；
[0022]出現(xiàn)_XXJ#式詞時(shí)，不會(huì)嘗試對(duì)齊其時(shí)間邊界；
[0023]對(duì)于_XXJ#式詞時(shí)，置信度的計(jì)算進(jìn)行區(qū)分。
[0024] 本發(fā)明具有的優(yōu)點(diǎn)和積極效果是:該ESWFST構(gòu)建方法在基于自然語(yǔ)言的語(yǔ)義理解 過(guò)程中，特別是在文法識(shí)別的應(yīng)用中（如導(dǎo)航類應(yīng)用），語(yǔ)音識(shí)別結(jié)果的展現(xiàn)形式能夠給予 理解過(guò)程更多的輔助信息，從而提升識(shí)別結(jié)果的可理解性。這種技術(shù)也是語(yǔ)法類識(shí)別被廣 泛應(yīng)用于語(yǔ)音導(dǎo)航類產(chǎn)品的原因。嵌入語(yǔ)義的WFST(簡(jiǎn)稱ESWFST，Embed Semantic Weighted Finite-State Transducer)是在構(gòu)建WFST時(shí)加入有助于語(yǔ)義理解或分析過(guò)程的 語(yǔ)義信息的一種技術(shù)，ESWFST從實(shí)際構(gòu)詞過(guò)程中確定句子的構(gòu)詞結(jié)構(gòu)和包含的語(yǔ)法信息， 使其不但能夠在句法層面上使計(jì)算機(jī)有效的理解一句話中獨(dú)立的實(shí)體詞的含義，同時(shí)輔助 計(jì)算機(jī)理解一句話中的邏輯關(guān)系的表達(dá)，實(shí)現(xiàn)對(duì)本句話的語(yǔ)義理解。
【附圖說(shuō)明】
[0025] 圖1是本發(fā)明實(shí)施例提供的ESWFST構(gòu)建方法的流程圖；
[0026] 圖2是本發(fā)明實(shí)施例提供的嵌入文法名稱的方法流程圖；
[0027]圖3是本發(fā)明實(shí)施例提供的a | b正則結(jié)構(gòu)對(duì)應(yīng)的WFST格式圖；
[0028]圖4是本發(fā)明實(shí)施例提供的ab正則結(jié)構(gòu)對(duì)應(yīng)的WFST格式圖；
[0029]圖5是本發(fā)明實(shí)施例提供的a*b正則結(jié)構(gòu)對(duì)應(yīng)的WFST格式圖；
[0030]圖6是本發(fā)明實(shí)施例提供的文法被如正則的WFST格式圖；
[0031]圖7是本發(fā)明實(shí)施例提供的用ESWFST技術(shù)構(gòu)建的WFST格式圖；
[0032] 圖8是本發(fā)明實(shí)施例提供的式(3)對(duì)應(yīng)語(yǔ)法樹(shù)；
[0033] 圖9是本發(fā)明實(shí)施例提供的式(4)對(duì)應(yīng)語(yǔ)法樹(shù)。
【具體實(shí)施方式】
[0034]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合實(shí)施例，對(duì)本發(fā)明 進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于 限定本發(fā)明。
[0035]下面結(jié)合附圖1至9及具體實(shí)施例對(duì)本發(fā)明的應(yīng)用原理作進(jìn)一步描述。
[0036] 該ESWFST構(gòu)建方法包括以下步驟：
[0037] S101、對(duì)WFST的八元組進(jìn)行定義;WFST可以被如下的八元組進(jìn)行定義：
[0038] T=(Q,E, T ,I,F,E,A,p) (1)
[0039] 上式（l)中，Q表示狀態(tài)集，E表示輸入符號(hào)集，r表示輸出符號(hào)集，i表示初始狀態(tài) 集，F(xiàn)表示終止?fàn)顟B(tài)集，c e y r x e是連接狀態(tài)的邊集合，X表示起始結(jié)點(diǎn)的權(quán)值映 射，P表示終止結(jié)點(diǎn)的權(quán)值映射；
[0040] S102、將正則文法轉(zhuǎn)換成WFST;正則文法與正則表達(dá)式是等價(jià)的，任何一個(gè)正則文 法總是可以轉(zhuǎn)化成一個(gè)等價(jià)的正則表達(dá)式；同時(shí)，正則表達(dá)式與有限自動(dòng)機(jī)是等價(jià)的，一個(gè) 可以被有限自動(dòng)機(jī)識(shí)別的語(yǔ)言必然是可以用正則表達(dá)式來(lái)表示的，而一個(gè)用正則表達(dá)式表 示的語(yǔ)言一定可以用一個(gè)有限自動(dòng)機(jī)來(lái)識(shí)別；
[0041]從理論上，語(yǔ)音識(shí)別所面對(duì)的解碼語(yǔ)言空間是無(wú)限集的，但從指定語(yǔ)言模型構(gòu)建 開(kāi)始，WFST給語(yǔ)音識(shí)別引擎提供了一個(gè)有限狀態(tài)集的文本句子搜索空間；假定這個(gè)有限狀 態(tài)集的搜索空間是由正規(guī)語(yǔ)言提供的，正規(guī)語(yǔ)言能夠通過(guò)應(yīng)用有限次的某個(gè)標(biāo)準(zhǔn)操作從一 元的語(yǔ)言（詞)產(chǎn)生，同時(shí)，正規(guī)語(yǔ)言能夠被有限自動(dòng)機(jī)識(shí)別；
[0042]下面列舉構(gòu)造正規(guī)文法的三種操作轉(zhuǎn)換到對(duì)應(yīng)的WFST的形式，如列表所示
[0043] l、a|b，WFST對(duì)應(yīng)如圖3所示；
[0044] 2、a b，WFST對(duì)應(yīng)如圖4所示；
[0045] 3、a*b，WFST對(duì)應(yīng)如圖5所示；
[0046]對(duì)于由上面三種操作寫(xiě)成的正規(guī)文法，都可以同時(shí)被表示成WFST的形式。
[0047] S103、對(duì)WFST進(jìn)行序列的運(yùn)算，以保證給語(yǔ)音識(shí)別引擎確定的、最小化的ESWFST; [0048]以下面的文法為例：
[0049] #JSGF VI.0；
[0050] grammar command；
[0051] public<command> = <action> | (<action>and<command>)；
[0052] <action> = stop | start；
[0053]如上面的文法可以被如下的正則所表示
[0054] p=A|(AbP) (2)
[0055] A = c | d;表示成WFST如圖6所示：
[0056] 用ESWFST技術(shù)構(gòu)建的WFST格式如圖7所示，可以直接從文法表達(dá)式(2)生成WFST的 格式，但像P和A這些組織文法結(jié)構(gòu)的符號(hào)沒(méi)有被WFST的輸入或輸出集合繼承，導(dǎo)致文法部 分含義被丟失，對(duì)基于文法的資源解碼器來(lái)說(shuō)，保留文法結(jié)構(gòu)會(huì)使識(shí)別結(jié)果自動(dòng)含有文法 解析信息，從而易于進(jìn)一步的語(yǔ)義分析。
[0057] ESWFST與WFST相區(qū)分的主要點(diǎn)在于ESWFST的構(gòu)建過(guò)程中能夠保留句法結(jié)構(gòu)。這些 詞在解碼器的識(shí)別結(jié)果中也保留，從而維持文法結(jié)構(gòu)的完整性。其具有以下性質(zhì)：
[0058] UESWFST資源中包含這些句法結(jié)構(gòu)詞。
[0059 ] 2、每一個(gè)正則表達(dá)文法都與一條識(shí)別的路徑相對(duì)應(yīng)。
[0060] 3、對(duì)于一個(gè)任何識(shí)別結(jié)果，都存在語(yǔ)法樹(shù)與其對(duì)應(yīng)。
[0061 ] 構(gòu)建ESWFST流程的運(yùn)算都是在定義的半環(huán)中進(jìn)行，包括compose、determinize、 minimize、push過(guò)程等。但ESWFST也有其特殊性，因?yàn)樵赪FST構(gòu)建過(guò)程中，主要是解析表達(dá) 文法所表達(dá)的內(nèi)容，而不會(huì)去表達(dá)文法在表達(dá)內(nèi)容過(guò)程中的結(jié)構(gòu)。所以相比WFST構(gòu)建， ESWFST需要處理幾個(gè)方面的問(wèn)題。
[0062] S104、嵌入文法名稱；
[0063] S105、把文法名稱加入詞典之后進(jìn)行處理；
[0064]在把文法名稱加入詞典之后，聲學(xué)模型中不包含文法名稱發(fā)音的處理方式為把輔 助符號(hào)作為文法名稱的發(fā)音。將#phi作為文法名稱詞的發(fā)音，在生成詞典的transducer時(shí)， 需要對(duì)該符號(hào)作特殊處理，使其能夠成為連接邊，同時(shí)，跳過(guò)該輔助發(fā)音的聲學(xué)模型有效性 檢查。
[0065] S106、經(jīng)解碼器進(jìn)行處理；
[0066] S107、生成 ESWFST 的格式；
[0067] S108、對(duì)結(jié)果進(jìn)行識(shí)別。
[0068] 對(duì)ESWFST進(jìn)行序列的運(yùn)算包括:det、min運(yùn)算這兩種運(yùn)算會(huì)在定義的域上保持原 有的輸入和輸出的順序關(guān)系，這也是ESWFST運(yùn)算能夠用于語(yǔ)音識(shí)別引擎構(gòu)建搜索空間的基 礎(chǔ)。
[0069] 嵌入文法名稱的方法包括以下步驟：
[0070] S201、文法解析時(shí)，碰到文法名稱，添加一條空邊與其所指內(nèi)容相連接，并添加_ namej各式的詞，其權(quán)值由當(dāng)前鏈接決定；
[0071 ] S202、文法結(jié)束后，輸入_r〇〇t_A，作為樹(shù)的根結(jié)點(diǎn)。
[0072] 解碼時(shí)對(duì)詞處理的方法：
[0073] 出現(xiàn)_XXJ#式詞時(shí)，不會(huì)應(yīng)用插入懲罰策略；
[0074] 出現(xiàn)_XXJ#式詞時(shí)，不會(huì)嘗試對(duì)齊其時(shí)間邊界；
[0075] 對(duì)于_XXJ#式詞時(shí)，置信度的計(jì)算進(jìn)行區(qū)分。
[0076]對(duì)結(jié)果進(jìn)行識(shí)別中，
[0077] ESWFST構(gòu)建資源之后，識(shí)別結(jié)果中會(huì)包含文法名稱，并可以很容易的解析為語(yǔ)法 樹(shù)的結(jié)果。如識(shí)別結(jié)果為
[0078] _root-action_start (3)
[0079] _root-action_start and_command-action_stop (4)
[0080] 上面的結(jié)果中包含了正則描述的結(jié)構(gòu)或過(guò)程，分別可以轉(zhuǎn)換為如下的語(yǔ)法樹(shù)結(jié) 構(gòu)，通過(guò)附圖8、9就可以看出ESWFST和WFST的識(shí)別結(jié)果區(qū)別了，在WFST的時(shí)候，識(shí)別結(jié)果是 ESWFST對(duì)應(yīng)的葉子結(jié)點(diǎn)，而ESWFST的識(shí)別結(jié)果包含了樹(shù)干，而這些樹(shù)干正是正則文法解析 葉子的路徑，可以視為葉子的正則表達(dá)。
[0081]以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精 神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種ESWFST構(gòu)建方法，其特征在于，該ESWFST構(gòu)建方法包括以下步驟： 步驟一、對(duì)WFST的八元組進(jìn)行定義； 步驟二、將正則文法轉(zhuǎn)換成WFST; 步驟三、對(duì)WFST進(jìn)行序列的運(yùn)算； 步驟四、嵌入文法名稱； 步驟五、把文法名稱加入詞典之后進(jìn)行處理； 步驟六、經(jīng)解碼器進(jìn)行處理； 步驟七、生成ESWFST的格式； 步驟八、對(duì)結(jié)果進(jìn)行識(shí)別。2. 如權(quán)利要求1所述的ESWFST構(gòu)建方法，其特征在于，對(duì)ESWFST進(jìn)行序列的運(yùn)算包括： det、min 運(yùn)算。3. 如權(quán)利要求1所述的ESWFST構(gòu)建方法，其特征在于，嵌入文法名稱的方法包括以下步 驟： 步驟一、文法解析時(shí)，碰到文法名稱，添加一條空邊與其所指內(nèi)容相連接，并添加_ namej各式的詞，其權(quán)值由當(dāng)前鏈接決定； 步驟二、文法結(jié)束后，輸入_root_A，作為樹(shù)的根結(jié)點(diǎn)。4. 如權(quán)利要求1所述的ESWFST構(gòu)建方法，其特征在于，聲學(xué)模型中不包含文法名稱發(fā)音 的處理方式為把輔助符號(hào)作為文法名稱的發(fā)音。5. 如權(quán)利要求1所述的ESWFST構(gòu)建方法，其特征在于，解碼時(shí)對(duì)詞處理的方法： 出現(xiàn)_XXJ#式詞時(shí)，不會(huì)應(yīng)用插入懲罰策略； 出現(xiàn)_XXJ#式詞時(shí)，不會(huì)嘗試對(duì)齊其時(shí)間邊界； 對(duì)于_XXJ#式詞時(shí)，置信度的計(jì)算進(jìn)行區(qū)分。
【文檔編號(hào)】G10L15/193GK105895091SQ201610210222
【公開(kāi)日】2016年8月24日
【申請(qǐng)日】2016年4月6日
【發(fā)明人】趙茂祥, 何國(guó)濤, 李全忠, 蒲瑤
【申請(qǐng)人】普強(qiáng)信息技術(shù)（北京）有限公司