專利名稱：長語音連續(xù)識別及識別結(jié)果實(shí)時(shí)反饋方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及語音識別技術(shù)領(lǐng)域，特別地涉及ー種長語音連續(xù)識別及語音識別結(jié)果的實(shí)時(shí)反饋方法及系統(tǒng)。
背景技術(shù)：
隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，作為最自然高效的人機(jī)交互手段之一，語音識別及其相關(guān)技術(shù)越來越廣泛的應(yīng)用在生活中。語音識別不再僅僅是好看的花瓶.而是實(shí)實(shí)在在地進(jìn)入了普通人的生活，給我們的社會(huì)帶來便捷和快樂。在實(shí)際應(yīng)用中，對于面向大篇幅的語音信號輸入進(jìn)行實(shí)時(shí)語音識別的應(yīng)用，傳統(tǒng)的方法是采用在線端點(diǎn)檢測的方法，對語音的起始點(diǎn)和結(jié)束點(diǎn)進(jìn)行在線的檢測，并通知在線解碼器進(jìn)行相應(yīng)的操作發(fā)現(xiàn)語音起始點(diǎn)后，啟動(dòng)在線語音識別，并對后續(xù)語音進(jìn)行在線解碼；發(fā)現(xiàn)語音結(jié)束點(diǎn)后，對已經(jīng)處理完畢的解碼狀態(tài)記錄進(jìn)行回溯，獲得最優(yōu)歷史路徑及其對應(yīng)的單詞列表，即識別結(jié)果。該方法的問題在于一方面，在線端點(diǎn)檢測的精度有限。端點(diǎn)檢測算法通常采用短時(shí)能量和短時(shí)過零率分析的方法，或者采用基于模型的方法進(jìn)行語音、非語音的分類。采用短時(shí)能量和短時(shí)過零率分析的方法，需要為語音非語音段的劃分選擇ー個(gè)甚至多個(gè)門限，而該門限的選擇很大程度上需要依賴于對實(shí)際語音的特點(diǎn)進(jìn)行調(diào)整才能獲得最優(yōu)的效果。采用基于模型的方法進(jìn)行語音、非語音的分類，則依賴于模型的語音訓(xùn)練樣本與實(shí)際語音的一致性。因此，目前來說，較難獲得ー個(gè)通用且高效的端點(diǎn)檢測算法。另ー方面，端點(diǎn)檢測的標(biāo)準(zhǔn)僅僅是依賴于語音段和非語音段的判別，而實(shí)際上，完整的語音句子的分割更多的還依賴于語義的完整性。例如，在實(shí)際ロ語說話中，常常出現(xiàn)因?yàn)楠q豫、語速慢或沒有想清楚而出現(xiàn)句中停頓的現(xiàn)象，如果停頓時(shí)間稍長，語音的端點(diǎn)檢測系統(tǒng)會(huì)因?yàn)檎`判為語音結(jié)束點(diǎn)而強(qiáng)行將ー個(gè)完整的句子截成兩段。再如，在表達(dá)一段比較長的意思時(shí)，很多人的說話習(xí)慣是一句說話之后，馬上把下一句的連接詞說完之后再做停頓，以告知其他人其意思尚未表達(dá)完。這種情況下，也會(huì)造成語音端點(diǎn)檢測系統(tǒng)錯(cuò)誤的對語音進(jìn)行分割?？傊瑢?shí)際應(yīng)用中，端點(diǎn)檢測的目標(biāo)與完整語義句子的分割目標(biāo)并不是嚴(yán)格一致的。從上面的分析可以看出，對于大篇幅的語音信號，采用將連續(xù)語音信號分割成獨(dú)立的語音片斷和非語音片斷，然后對分割得到的語音片斷進(jìn)行識別的方法，有較多的局限性和依賴性。如上所述，分割結(jié)果不可避免的錯(cuò)誤必然會(huì)帶入后續(xù)的識別結(jié)果中，造成不必要的識別錯(cuò)誤。對于實(shí)際系統(tǒng)來說，用戶對系統(tǒng)的響應(yīng)速度有著越來越高的要求。采用在線語音識別技術(shù)，可以在語音輸入的同時(shí)進(jìn)行同步的實(shí)時(shí)解碼，將所有可能的識別結(jié)果進(jìn)行實(shí)時(shí)的同步擴(kuò)展。一旦發(fā)現(xiàn)語音輸入結(jié)束點(diǎn)，立即進(jìn)行當(dāng)前全局最優(yōu)路徑的回溯，從而獲取識別結(jié)果。這種在線語音識別技術(shù)，節(jié)約了語音本身的輸入時(shí)間，只需要較短的時(shí)間延遲，即可獲取語音輸入的識別結(jié)果。
但這種方式的ー個(gè)局限性在于，需要到達(dá)一段語音的結(jié)束點(diǎn)，才確定該語音全局最優(yōu)的識別結(jié)果。因?yàn)樵谶@段語音的中間任ー時(shí)刻，獲得的當(dāng)前時(shí)間最優(yōu)路徑僅僅是局部最優(yōu)點(diǎn)，如果從局部最優(yōu)點(diǎn)進(jìn)行回溯，其結(jié)果并不一定與整段語音的識別結(jié)果相一致。因此，對于用戶來說，至少需要等到一句話說完的一定時(shí)間之后，才能看到識別的結(jié)果。尤其在用戶語速較密，端點(diǎn)檢測方法較難判斷語音結(jié)束點(diǎn)時(shí)，用戶會(huì)等待較長的時(shí)間才能看到識別結(jié)果反饋，這是一種較差的用戶體驗(yàn)。

發(fā)明內(nèi)容
有鑒于此，為了更好的解決長語音信號連續(xù)識別問題，同時(shí)給用戶更好的反饋體驗(yàn)，本發(fā)明提供了ー種長語音連續(xù)識別及識別結(jié)果實(shí)時(shí)反饋方法及系統(tǒng)，在語音識別的過程中，減少對端點(diǎn)檢測算法的依賴，更多的引入對語義完整性的判斷，采用全局最優(yōu)的方式尋找語音信號中句子的結(jié)束點(diǎn)，實(shí)現(xiàn)大篇幅語音連續(xù)識別；同時(shí)，實(shí)時(shí)檢測當(dāng)前時(shí)刻下已經(jīng)確定的最優(yōu)識別結(jié)果，無需等待句子結(jié)尾即可反饋給用戶，從而提高響應(yīng)速度。為此，本發(fā)明提出了ー種語音識別結(jié)果實(shí)時(shí)反饋方法，其包括步驟I，在識別的過程中，定期對目前所有活躍節(jié)點(diǎn)的歷史路徑的共有部分進(jìn)行檢測；步驟2，對檢測到的歷史路徑中的共有部分進(jìn)行回溯，獲得該歷史路徑的共有部分上的語音識別結(jié)果，并將其作為當(dāng)前時(shí)刻已經(jīng)確定下來的語音識別結(jié)果；步驟3，判斷所述固定下來的語音識別結(jié)果是否有更新，如果有，則反饋更新后的語音識別結(jié)果。本發(fā)明還提出了ー種利用上述語音識別結(jié)果實(shí)時(shí)反饋方法所確定下來的語音識別結(jié)果的長語音信號連續(xù)識別方法，其包括構(gòu)建支持從句尾結(jié)束點(diǎn)到識別起始點(diǎn)的擴(kuò)展路徑的解碼識別網(wǎng)絡(luò)；接收連續(xù)語音信號，根據(jù)所述解碼識別網(wǎng)絡(luò)對所述連續(xù)語音信號中的每ー幀進(jìn)行解碼；其中，解碼時(shí)根據(jù)語調(diào)分析和靜音持續(xù)時(shí)間調(diào)整句尾結(jié)束點(diǎn)到識別起始點(diǎn)的跳轉(zhuǎn)概率；根據(jù)上述語音識別結(jié)果實(shí)時(shí)反饋方法定期獲取已經(jīng)確定下來的語音識別結(jié)果，判斷當(dāng)前時(shí)刻是否有作為獨(dú)立句子的識別結(jié)果；在確定當(dāng)前時(shí)刻有作為獨(dú)立句子的識別結(jié)果時(shí)，對所述確定的獨(dú)立句子進(jìn)行優(yōu)化和輸出反饋；清理所述確定的獨(dú)立句子在所述解碼識別網(wǎng)絡(luò)中對應(yīng)的解碼空間，以規(guī)整所述解碼識別網(wǎng)絡(luò)。本發(fā)明還提出了ー種語音識別結(jié)果實(shí)時(shí)反饋裝置，其包括歷史共有部分檢測單元，在識別的過程中，定期對目前所有活躍節(jié)點(diǎn)的歷史路徑的共有部分進(jìn)行檢測；識別結(jié)果實(shí)時(shí)反饋單元，對檢測到的歷史路徑中的共有部分進(jìn)行回溯，獲得該歷史路徑的共有部分上的語音識別結(jié)果，并將其作為當(dāng)前時(shí)刻已經(jīng)確定下來的語音識別結(jié)果，如果所述確定下來的語音識別結(jié)果有更新，則反饋更新后的語音識別結(jié)果。本發(fā)明還提出了ー種包括上述語音識別結(jié)果實(shí)時(shí)反饋裝置的長語音信號連續(xù)識別系統(tǒng)，包括
網(wǎng)絡(luò)構(gòu)建単元，用于構(gòu)建支持從句尾結(jié)束點(diǎn)到識別起始點(diǎn)的擴(kuò)展路徑的解碼識別網(wǎng)絡(luò)；解碼單元，用于接收連續(xù)語音信號，根據(jù)所述解碼識別網(wǎng)絡(luò)對所述連續(xù)語音信號中的每ー幀進(jìn)行解碼；語音句子結(jié)束點(diǎn)輔助判斷単元，用于在解碼時(shí)根據(jù)語調(diào)分析和靜音持續(xù)時(shí)間調(diào)整句尾結(jié)束點(diǎn)到識別起始點(diǎn)的跳轉(zhuǎn)概率；上述語音識別結(jié)果實(shí)時(shí)反饋裝置；獨(dú)立句子判斷単元，用于定期從所述語音識別結(jié)果實(shí)時(shí)反饋裝置已經(jīng)確定下來的語音識別結(jié)果，判斷當(dāng)前時(shí)刻是否有作為獨(dú)立句子的識別結(jié)果；獨(dú)立句子處理單元，用于在確定當(dāng)前時(shí)刻有作為獨(dú)立句子的識別結(jié)果時(shí)，對所述確定的獨(dú)立句子進(jìn)行優(yōu)化和輸出反饋；內(nèi)存清理単元，用于清理所述確定的獨(dú)立句子在所述解碼識別網(wǎng)絡(luò)中對應(yīng)的解碼空間，以規(guī)整所述解碼識別網(wǎng)絡(luò)。本發(fā)明實(shí)施例長語音連續(xù)識別及識別結(jié)果實(shí)時(shí)反饋方法和系統(tǒng)，采用在識別網(wǎng)絡(luò)中増加句尾結(jié)束點(diǎn)到識別起始點(diǎn)的擴(kuò)展可能，使得在解碼過程中，識別路徑在擴(kuò)展時(shí)既可以生成單一句子，也可以生成多個(gè)連續(xù)句子。所述方法通過聲學(xué)和語言概率的整體尋優(yōu)來分割大篇幅語音信號，從而避免了對端點(diǎn)檢測算法的依賴。此外，采用定期對所有活躍節(jié)點(diǎn)的最優(yōu)歷史路徑的共有部分進(jìn)行檢測，實(shí)時(shí)更新已經(jīng)固定下來的識別結(jié)果，既實(shí)現(xiàn)更快的人機(jī)交互，又解決了長語音識別時(shí)計(jì)算資源的動(dòng)態(tài)回收，達(dá)到識別的可持續(xù)性。


圖1是本發(fā)明的語音識別結(jié)果實(shí)時(shí)反饋方法的流程圖；圖2是本發(fā)明實(shí)施例中確定活躍節(jié)點(diǎn)歷史路徑中的共有部分時(shí)采用的一種優(yōu)化的回溯節(jié)點(diǎn)的方式；圖3是本發(fā)明實(shí)施例中通過記錄回溯節(jié)點(diǎn)的方式確定活躍節(jié)點(diǎn)歷史路徑中的共有部分及識別結(jié)果更新的流程圖；圖4是本發(fā)明實(shí)施例中采用的基于N-gram的語言模型示意圖；圖5是本發(fā)明實(shí)施例中増加了句尾結(jié)束點(diǎn)到識別起始點(diǎn)的擴(kuò)展跳轉(zhuǎn)路徑的示意圖；圖6是本發(fā)明的長語音連續(xù)識別及識別結(jié)果實(shí)時(shí)反饋系統(tǒng)的結(jié)構(gòu)示意圖。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對本發(fā)明進(jìn)ー步詳細(xì)說明。如圖1所示，是本發(fā)明實(shí)施例中語音識別結(jié)果實(shí)時(shí)反饋方法的流程圖，包括以下步驟步驟101，在解碼過程中，獲取當(dāng)前時(shí)刻所有活躍節(jié)點(diǎn)的歷史路徑中的共有部分。所述共有部分是當(dāng)前所有活躍節(jié)點(diǎn)的歷史路徑的相同部分，不論后面的識別如何繼續(xù)，所述相同部分都不會(huì)受到影響。因此這部分歷史路徑中包含的識別結(jié)果信息是已經(jīng)確定下來的，無需等到最后ー幀語音信號幀到來，即可實(shí)時(shí)反饋。步驟102，從所述歷史路徑中的共有部分的最后節(jié)點(diǎn)出發(fā)，通過解碼狀態(tài)回溯得到所述歷史路徑的共有部分中的最優(yōu)路徑及其對應(yīng)的單詞序列。步驟103，記錄所述單詞序列，并與之前的記錄進(jìn)行對比，判斷是否發(fā)生了變化；如果是，執(zhí)行步驟104 ;否則，執(zhí)行步驟105。步驟104，通知客戶端最新的識別結(jié)果發(fā)生了改變，達(dá)到實(shí)時(shí)反饋。步驟105,不向客戶端通知更新識別結(jié)果。由此可見，本發(fā)明實(shí)施例語音識別結(jié)果實(shí)時(shí)反饋方法，采用定期對所有活躍節(jié)點(diǎn)的最優(yōu)歷史路徑的共有部分進(jìn)行檢測，實(shí)時(shí)更新已經(jīng)固定下來的識別結(jié)果，及時(shí)返回給用戶，實(shí)現(xiàn)了更加快捷的響應(yīng)和更人性化的用戶體驗(yàn)。獲得當(dāng)前時(shí)刻所有活躍節(jié)點(diǎn)的歷史路徑中的共有部分可以采用不同的方法，對此下面詳細(xì)說明。1.通過記錄回溯路徑上的單詞序列直接獲得活躍節(jié)點(diǎn)歷史路徑中共有的識別結(jié)果從當(dāng)前時(shí)刻所有活躍節(jié)點(diǎn)出發(fā)對其歷史路徑進(jìn)行回溯，記錄歷史路徑上的單詞序列。所有活躍節(jié)點(diǎn)都處理完畢之后，可以獲得所有回溯到的單詞序列的交集。如果該單詞序列的交集不為空，即為已經(jīng)固定下來的部分地識別結(jié)果。采用該方法，僅僅記錄回溯路徑上的單詞序列信息，因此每一次回溯都需要回溯到初始節(jié)點(diǎn)才能確定不同活躍節(jié)點(diǎn)的回溯結(jié)果的單詞序列交集。2.通過記錄回溯節(jié)點(diǎn)的方式確定活躍節(jié)點(diǎn)歷史路徑中的共有部分從當(dāng)前時(shí)刻所有活躍節(jié)點(diǎn)出發(fā)對其歷史路徑進(jìn)行回溯，并記錄回溯過程中所遍歷的解碼狀態(tài)節(jié)點(diǎn)。所有活躍節(jié)點(diǎn)都處理完畢之后，可以獲得所有回溯到的解碼狀態(tài)的交集。獲得的所述解碼狀態(tài)的交集即為所有活躍節(jié)點(diǎn)的歷史路徑的共有部分。在回溯過程中，僅僅需要回溯其歷史最優(yōu)路徑。獲得所有活躍節(jié)點(diǎn)歷史路徑中的共有部分之后，確定該共有部分在拓?fù)漤樞蛑形挥谀┪驳墓?jié)點(diǎn)。從所述共有部分的尾部節(jié)點(diǎn)進(jìn)行回溯所得到的歷史路徑上的單詞序列，即為已經(jīng)固定下來的部分地識別結(jié)果。為了提高后續(xù)的處理速度，可以將所述共有部分的尾部節(jié)點(diǎn)記錄下來，并作為下一次的回溯截止點(diǎn)。下一次進(jìn)行共有部分獲取時(shí)，僅需回溯到該回溯截止點(diǎn)即可，從而避免重復(fù)工作。首次回溯的回溯截止點(diǎn)即為識別解碼狀態(tài)的初始節(jié)點(diǎn)。更進(jìn)一歩的，實(shí)際上，不是每一個(gè)活躍節(jié)點(diǎn)都必須回溯到所述回溯截止點(diǎn)。由于在回溯過程中，僅僅需要回溯其歷史路徑。即，從每ー個(gè)活躍節(jié)點(diǎn)出發(fā)，對應(yīng)一條線性的歷史路徑及其路徑上的解碼狀態(tài)節(jié)點(diǎn)。最終的交集部分也是線性的，必然是前面已經(jīng)回溯過活躍節(jié)點(diǎn)的線性歷史路徑的一部分。因此，第二個(gè)被回溯的活躍節(jié)點(diǎn)，僅需回溯到首次與第一個(gè)活躍節(jié)點(diǎn)的回溯路徑相重合的節(jié)點(diǎn)。可能的交集部分從第一個(gè)活躍節(jié)點(diǎn)的全部回溯路徑，被縮減為所述重合節(jié)點(diǎn)之前的部分。如圖2所示，下一個(gè)被回溯的活躍節(jié)點(diǎn)(節(jié)點(diǎn)11)僅需回溯到首次與前面獲得的可能的交集部分(201)相重合的部分(節(jié)點(diǎn)6)，新的可能的交集部分更新為所述重合節(jié)點(diǎn)之前的部分(202)。依次回溯每ー個(gè)活躍節(jié)點(diǎn)，直到所有的活躍節(jié)點(diǎn)都處理完，最后所剩下的可能的交集部分即被確定為最終的交集部分。具體來講，如圖3所示，是本發(fā)明實(shí)施例中通過記錄回溯節(jié)點(diǎn)的方式確定活躍節(jié)點(diǎn)歷史路徑中的共有部分及識別結(jié)果更新的ー種流程圖。該流程具體包括以下步驟步驟301，獲取當(dāng)前時(shí)刻解碼中所有活躍節(jié)點(diǎn)的集合。步驟302，設(shè)置回溯路徑節(jié)點(diǎn)交集為當(dāng)前時(shí)刻最優(yōu)歷史路徑上節(jié)點(diǎn)的集合；其中，獲取所述最優(yōu)歷史路徑時(shí)，僅回溯到當(dāng)前時(shí)刻的回溯截止點(diǎn)，初始時(shí)刻回溯截止點(diǎn)為解碼識別網(wǎng)絡(luò)的初始起始點(diǎn)。步驟303，從所述活躍節(jié)點(diǎn)集合中取出未進(jìn)行過回溯的節(jié)點(diǎn)作為回溯節(jié)點(diǎn)，然后根據(jù)在其歷史路徑上回溯，直到首次遇到回溯路徑節(jié)點(diǎn)交集中的節(jié)點(diǎn)，將該重合節(jié)點(diǎn)記錄下來。步驟304，更新回溯路徑節(jié)點(diǎn)交集為所述回溯節(jié)點(diǎn)在回溯路徑上所述重合節(jié)點(diǎn)之前的部分。步驟305，判斷活躍節(jié)點(diǎn)集合中是否仍有未回溯的節(jié)點(diǎn)。如果是，重新執(zhí)行步驟303 ;否則，執(zhí)行步驟306.步驟306，從回溯路徑節(jié)點(diǎn)交集的尾節(jié)點(diǎn)回溯到回溯截止點(diǎn)，獲得從所述尾節(jié)點(diǎn)到所述回溯截止點(diǎn)的回溯路徑上的單詞序列。步 驟307，將所述回溯路徑節(jié)點(diǎn)交集的尾節(jié)點(diǎn)，作為新的回溯截止點(diǎn)。步驟308，判斷所述單詞序列是否不為空。如果不為空，執(zhí)行步驟309。步驟309，將所述單詞序列作為當(dāng)前時(shí)刻更新的部分識別結(jié)果通知給客戶端。采用該方法計(jì)算復(fù)雜度大大降低，尤其適合在線識別這種對實(shí)時(shí)性要求較高的應(yīng)用。在現(xiàn)有技術(shù)中，通常是利用聲學(xué)模型、詞典將語言模型擴(kuò)展成基于模型層的搜索網(wǎng)絡(luò)，同時(shí)進(jìn)行相應(yīng)的網(wǎng)絡(luò)優(yōu)化，從而構(gòu)建出解碼識別網(wǎng)絡(luò)。所述解碼識別網(wǎng)絡(luò)既可以通過離線的方式構(gòu)建，也可以由系統(tǒng)在線動(dòng)態(tài)構(gòu)建。還可以采用其他方式的解碼識別網(wǎng)絡(luò)，例如基于歷史詞樹拷貝的動(dòng)態(tài)解碼識別網(wǎng)絡(luò)等。如上所述的各種識別網(wǎng)絡(luò)均是依賴于語言模型構(gòu)建的。ー個(gè)好的語言模型可以有效地表征語法及語義等知識，通常采用語音識別領(lǐng)域常用的統(tǒng)計(jì)語言模型統(tǒng)計(jì)語言模型的任務(wù)是給出任意詞序列在文本中出現(xiàn)的概率。為了預(yù)測詞Wk的出現(xiàn)概率，必須已知它前面所有詞的出現(xiàn)概率。為了簡化，一般引入馬爾科夫假設(shè)，即假設(shè)當(dāng)前的這個(gè)詞的出現(xiàn)概率只依賴于其前面有限的N-1個(gè)詞。這時(shí)的語言模型叫做N元模型
權(quán)利要求
1.一種語音識別結(jié)果實(shí)時(shí)反饋方法，其特征在于，包括步驟I，在識別的過程中，定期對目前所有活躍節(jié)點(diǎn)的歷史路徑的共有部分進(jìn)行檢測；步驟2，對檢測到的歷史路徑中的共有部分進(jìn)行回溯，獲得該歷史路徑的共有部分上的語音識別結(jié)果，并將其作為當(dāng)前時(shí)刻已經(jīng)確定下來的語音識別結(jié)果；步驟3，判斷所述固定下來的語音識別結(jié)果是否有更新，如果有，則反饋更新后的語音識別結(jié)果。
2.如權(quán)利要求1所述的方法，其特征在于，所述共有部分指當(dāng)前所有活躍節(jié)點(diǎn)的歷史路徑的相同部分。
3.如權(quán)利要求1所述的方法，其特征在于，從當(dāng)前時(shí)刻所有活躍節(jié)點(diǎn)出發(fā)對其歷史路徑進(jìn)行回溯，記錄歷史路徑上的單詞序列；所有活躍節(jié)點(diǎn)都處理完畢之后，所獲得的所有單詞序列的交集，即為所述已經(jīng)確定下來的語音識別結(jié)果。
4.如權(quán)利要求1所述的方法，其特征在于，通過記錄回溯節(jié)點(diǎn)的方式確定活躍節(jié)點(diǎn)歷史路徑中的共有部分。
5.如權(quán)利要求4所述的方法，其特征在于，在通過記錄回溯節(jié)點(diǎn)的方式確定活躍節(jié)點(diǎn)歷史路徑中的共有部分時(shí)，用于確定語音識別結(jié)果的具體方式為步驟a，獲取當(dāng)前時(shí)刻解碼中所有活躍節(jié)點(diǎn)的集合；步驟b，設(shè)置回溯路徑節(jié)點(diǎn)交集為當(dāng)前時(shí)刻最優(yōu)歷史路徑上節(jié)點(diǎn)的集合；其中，獲取所述最優(yōu)歷史路徑時(shí)，僅回溯到當(dāng)前時(shí)刻的回溯截止點(diǎn)，初始時(shí)刻回溯截止點(diǎn)為解碼識別網(wǎng)絡(luò)的初始起始點(diǎn)；步驟C，從所述活躍節(jié)點(diǎn)集合中取出未進(jìn)行過回溯的節(jié)點(diǎn)作為回溯節(jié)點(diǎn)，回溯其歷史路徑，直到首次遇到回溯路徑節(jié)點(diǎn)交集中的節(jié)點(diǎn)，然后將該節(jié)點(diǎn)作為重合節(jié)點(diǎn)記錄下來；步驟d，更新回溯路徑節(jié)點(diǎn)交集為所述回溯節(jié)點(diǎn)在其回溯路徑上所述重合節(jié)點(diǎn)之前的所有節(jié)點(diǎn)；步驟e，判斷活躍節(jié)點(diǎn)集合中是否仍有未回溯的節(jié)點(diǎn)；如果是，重新執(zhí)行步驟c ;否則， 執(zhí)行步驟f ;步驟f，從回溯路徑節(jié)點(diǎn)交集的尾節(jié)點(diǎn)回溯到回溯截止點(diǎn)，獲得從所述尾節(jié)點(diǎn)到所述回溯截止點(diǎn)的路徑上的單詞序列，并將所述回溯路徑節(jié)點(diǎn)交集的尾節(jié)點(diǎn)，作為新的回溯截止占.步驟g，判斷所述單詞序列是否不為空；如果不為空，則將所述單詞序列作為當(dāng)前時(shí)刻已經(jīng)確定下來的識別結(jié)果反饋給用戶。
6.如權(quán)利要求1所述的方法，其特征在于，在語音識別過程中，判斷已經(jīng)確定下來的語音識別結(jié)果對應(yīng)的識別路徑是否跨越了解碼識別網(wǎng)絡(luò)中的句尾結(jié)束點(diǎn)，如果是，則認(rèn)為有一個(gè)獨(dú)立的句子被確定了，并將該確定的獨(dú)立的句子對應(yīng)的識別網(wǎng)絡(luò)中的各狀態(tài)及跳轉(zhuǎn)弧刪除，以重新規(guī)整所述解碼識別網(wǎng)絡(luò)。
7.一種利用如權(quán)利要求1所述的語音識別結(jié)果實(shí)時(shí)反饋方法所確定下來的語音識別結(jié)果的長語音信號連續(xù)識別方法，其特征在于，包括構(gòu)建支持從句尾結(jié)束點(diǎn)到識別起始點(diǎn)的擴(kuò)展路徑的解碼識別網(wǎng)絡(luò)；接收連續(xù)語音信號，根據(jù)所述解碼識別網(wǎng)絡(luò)對所述連續(xù)語音信號中的每一幀進(jìn)行解碼；其中，解碼時(shí)根據(jù)語調(diào)分析和靜音持續(xù)時(shí)間調(diào)整句尾結(jié)束點(diǎn)到識別起始點(diǎn)的跳轉(zhuǎn)概率；根據(jù)如權(quán)利要求1所述的語音識別結(jié)果實(shí)時(shí)反饋方法定期獲取已經(jīng)確定下來的語音識別結(jié)果，判斷當(dāng)前時(shí)刻是否有作為獨(dú)立句子的識別結(jié)果；在確定當(dāng)前時(shí)刻有作為獨(dú)立句子的識別結(jié)果時(shí)，對所述確定的獨(dú)立句子進(jìn)行優(yōu)化和輸出反饋；清理所述確定的獨(dú)立句子在所述解碼識別網(wǎng)絡(luò)中對應(yīng)的解碼空間，以規(guī)整所述解碼識別網(wǎng)絡(luò)。
8.如權(quán)利要求7所述的方法，其特征在于，所述根據(jù)語調(diào)分析和靜音持續(xù)時(shí)間調(diào)整句尾結(jié)束點(diǎn)到識別起始點(diǎn)的跳轉(zhuǎn)概率具體為采用語調(diào)分析，將句尾結(jié)束點(diǎn)的概率以一定的權(quán)重與預(yù)設(shè)概率相加權(quán)獲得所述跳轉(zhuǎn)概率；到達(dá)所述句子結(jié)束點(diǎn)前經(jīng)歷的靜音的長度大于預(yù)定閾值時(shí)，增加所述跳轉(zhuǎn)概率。
9.一種語音識別結(jié)果實(shí)時(shí)反饋裝置，其特征在于，包括歷史共有部分檢測單元，在識別的過程中，定期對目前所有活躍節(jié)點(diǎn)的歷史路徑的共有部分進(jìn)行檢測；識別結(jié)果實(shí)時(shí)反饋單元，對檢測到的歷史路徑中的共有部分進(jìn)行回溯，獲得該歷史路徑的共有部分上的語音識別結(jié)果，并將其作為當(dāng)前時(shí)刻已經(jīng)確定下來的語音識別結(jié)果，如果所述確定下來的語音識別結(jié)果有更新，則反饋更新后的語音識別結(jié)果。
10.一種包括如權(quán)利要求9所述的語音識別結(jié)果實(shí)時(shí)反饋裝置的長語音信號連續(xù)識別系統(tǒng)，包括網(wǎng)絡(luò)構(gòu)建單元，用于構(gòu)建支持從句尾結(jié)束點(diǎn)到識別起始點(diǎn)的擴(kuò)展路徑的解碼識別網(wǎng)絡(luò)；解碼單元，用于接收連續(xù)語音信號，根據(jù)所述解碼識別網(wǎng)絡(luò)對所述連續(xù)語音信號中的每一幀進(jìn)行解碼；語音句子結(jié)束點(diǎn)輔助判斷單元，用于在解碼時(shí)根據(jù)語調(diào)分析和靜音持續(xù)時(shí)間調(diào)整句尾結(jié)束點(diǎn)到識別起始點(diǎn)的跳轉(zhuǎn)概率；如權(quán)利要求9所述語音識別結(jié)果實(shí)時(shí)反饋裝置；獨(dú)立句子判斷單元，用于定期從所述語音識別結(jié)果實(shí)時(shí)反饋裝置已經(jīng)確定下來的語音識別結(jié)果，判斷當(dāng)前時(shí)刻是否有作為獨(dú)立句子的識別結(jié)果；獨(dú)立句子處理單元，用于在確定當(dāng)前時(shí)刻有作為獨(dú)立句子的識別結(jié)果時(shí)，對所述確定的獨(dú)立句子進(jìn)行優(yōu)化和輸出反饋；內(nèi)存清理單元，用于清理所述確定的獨(dú)立句子在所述解碼識別網(wǎng)絡(luò)中對應(yīng)的解碼空間，以規(guī)整所述解碼識別網(wǎng)絡(luò)。
全文摘要
本發(fā)明公開了一種長語音連續(xù)識別及語音識別結(jié)果實(shí)時(shí)反饋的方法及系統(tǒng)。該方法包括在識別網(wǎng)絡(luò)中增加句尾結(jié)束點(diǎn)到識別起始點(diǎn)的擴(kuò)展可能性；解碼過程中，識別路徑在擴(kuò)展時(shí)既可以生成單一句子，也可以生成多個(gè)連續(xù)句子，通過聲學(xué)和語言概率的整體尋優(yōu)來分割大篇幅語音信號；定期對所有活躍節(jié)點(diǎn)的最優(yōu)歷史路徑的共有部分進(jìn)行檢測；獲得當(dāng)前時(shí)刻已經(jīng)固定下來的識別單詞序列；將更新的局部識別結(jié)果實(shí)時(shí)反饋給用戶；回收已經(jīng)確定下來的識別部分對應(yīng)的解碼空間。利用本發(fā)明，不依賴于端點(diǎn)檢測算法，即可實(shí)現(xiàn)長語音信號的連續(xù)、可持續(xù)識別，同時(shí)給用戶更好的人機(jī)交互體驗(yàn)。
文檔編號G10L15/28GK103035243SQ201210551379
公開日2013年4月10日 申請日期2012年12月18日 優(yōu)先權(quán)日2012年12月18日
發(fā)明者徐波, 孟猛, 高鵬 申請人:中國科學(xué)院自動(dòng)化研究所