專利名稱：一種對普通話重音進行層次化建模和預(yù)測的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人機交互中語音合成技術(shù)領(lǐng)域，尤其涉及一種對普通話重音進行層次化建模和預(yù)測的方法，具體地涉及普通話句重音、詞重音的建模，以及基于最大熵模型的詞重音、句重音的兩層重音預(yù)測方法。
背景技術(shù)：
準確的重音描述以及從文本信息中預(yù)測重音信息一直是語音合成至關(guān)重要的一步，是提高合成語音表現(xiàn)力、構(gòu)建和諧人機交互技術(shù)的重要組成部分。重音模型能夠刻畫出語音中的抑揚頓挫與輕重緩急，進而提高合成語音的表現(xiàn)力和自然度。重音的建模與預(yù)測對語音合成，人機交互等的發(fā)展具有重要意義。雖然，在這個領(lǐng)域已經(jīng)有很多的研究工作，但是重音建模與預(yù)測還有很多問題至今沒有很好的解決。其中，具有重音標注的用于語音合成的語料庫較少，且在僅有的幾個語料庫中，都強調(diào)重音音節(jié)的分析研究，沒有對輕音音節(jié)的分析。但是，從語音合成實驗結(jié)果來看，合成結(jié)果之所以不理想，重要原因之一就是現(xiàn)有合成系統(tǒng)忽略了語音輕音的問題。輕音除了對語流中的輕重緩急起到一定的襯托作用，它還具有表義的作用，即具有區(qū)分詞義的作用。因此，為了提高合成語音的自然度和表現(xiàn)力，有必要加強輕音音節(jié)的研究，同時進一步提高重音音節(jié)的研究。

發(fā)明內(nèi)容
(一)要解決的技術(shù)問題為了解決現(xiàn)有技術(shù)問題，本發(fā)明的主要目的是要提出一種對普通話重音進行層次化建模和預(yù)測的方法，以更精確的描述語音中用于表現(xiàn)韻律凸顯的重音現(xiàn)象，同時能夠從任意輸入的文本得到較為細致的重音等級標注結(jié)果。( 二 )技術(shù)方案為達到上述目的，本發(fā)明提供了一種對普通話重音進行層次化建模和預(yù)測的方法，該方法采用層次化重音描述體系對普通話重音進行描述，包括選擇合適的重音描述體系，創(chuàng)建層級標注的重音語料庫；訓(xùn)練生成韻律詞重音預(yù)測模型；訓(xùn)練生成句重音預(yù)測模型；以及根據(jù)韻律詞重音模型與句重音預(yù)測模型結(jié)果綜合生成每個音節(jié)的重音標注結(jié)果。上述方案中，所述采用層次化重音描述體系對普通話重音進行描述，是采用句重音與韻律詞重音對普通話重音進行描述，以重音凸顯范圍將普通話重音分為句重音與韻律詞重音兩個層級，對于句重音層級采用重音音節(jié)的建模分析，而對于韻律詞重音層級采用輕音音節(jié)的建模分析。所述句重音用于表明在句子層面凸顯的韻律詞，所述韻律詞重音用于表明韻律詞內(nèi)部音節(jié)之間的凸顯對比。
上述方案中，所述選擇合適的重音描述體系，是以重音凸顯范圍將普通話重音分為句重音與韻律詞重音兩個層級，然后針對不同的層級，選擇不同的重音標注單元。所述重音標注單元分為兩類在韻律詞重音中，重音標注單元為單個韻律詞；在句重音標注中，標注單元為句子。所述創(chuàng)建層級標注的重音語料庫，是在錄音室錄制語音數(shù)據(jù)，并進行音節(jié)切分，韻律邊界標注，最后按照標注單元的重音凸顯程度高低分別標注為3、2、1三個等級。上述方案中，所述訓(xùn)練生成韻律詞重音預(yù)測模型，是訓(xùn)練一個能夠預(yù)測當前音節(jié)在其所在的韻律詞范圍內(nèi)是輕音的概率的模型，訓(xùn)練的具體過程為采用一文本特征參數(shù)提取模塊，得到與韻律詞重音特征相關(guān)的文本特征參數(shù)Fl作為模型訓(xùn)練輸入，利用最大熵模型，得到有關(guān)韻律詞內(nèi)部輕音節(jié)與非輕音節(jié)的文本特征差異，進而通過模型訓(xùn)練得到音節(jié)是輕音的概率，建立韻律詞重音預(yù)測模型。所述韻律詞重音預(yù)測模型具有一用于輸出韻律詞重音預(yù)測結(jié)果的輸出端。上述方案中，所述訓(xùn)練生成句重音預(yù)測模型，是訓(xùn)練一個能夠預(yù)測當前音節(jié)在句子范圍內(nèi)是重音的概率的模型，訓(xùn)練的具體過程為采用一文本特征參數(shù)提取模塊，得到與句子級別重音預(yù)測相關(guān)的文本特征參數(shù)F2作為模型輸入，利用最大熵模型，訓(xùn)練有關(guān)句子層級重音節(jié)與非重音節(jié)的文本特征差異，進而通過模型訓(xùn)練得到音節(jié)是重音的概率，建立句重音預(yù)測模型。所述句重音預(yù)測模型具有一輸出句重音預(yù)測結(jié)果的輸出端。上述方案中，所述根據(jù)韻律詞重音模型與句重音預(yù)測模型結(jié)果綜合生成每個音節(jié)的重音標注結(jié)果，是將韻律詞重音預(yù)測結(jié)果和句重音預(yù)測結(jié)果采用公式 PD: 進行加權(quán)綜合，然后輸出綜合后的層級重音標注信息；其中，
和尸Z^r分別是音節(jié)在當前韻律詞和句子中的重音凸顯度，尸乃=是韻律詞在當前句子中的重音凸顯度。(三)有益效果從上述技術(shù)方案可以看出，本發(fā)明具有以下有益效果1、本發(fā)明提供的對普通話重音進行層次化建模和預(yù)測的方法，加強了重音研究中的輕音音節(jié)的研究。以往的重音研究都側(cè)重于重音音節(jié)的研究，包括重音音節(jié)的文本相關(guān)物和聲學(xué)表現(xiàn)等。但是，從語音合成結(jié)果來看，單純強調(diào)重音音節(jié)的研究并不能使得合成語音在自然度和表現(xiàn)力上有明顯的提高。其原因為，隨著交互的需要，在真實語流中存在越來越多的輕音音節(jié)，輕音除了對語流中的輕重緩急起到一定的襯托作用，有時還具有區(qū)分詞義的作用。為了解決該問題，本發(fā)明引入了對重音中輕音音節(jié)的研究，同時，本發(fā)明進一步提高了重音音節(jié)的研究，提出了層級的重音建模方法。2、本發(fā)明提供的對普通話重音進行層次化建模和預(yù)測的方法，在層級重音預(yù)測中，針對不同層級的重音預(yù)測模型，采用不同的文本特征集合，以及特征窗口長度，這樣能夠細致的描述在不同級別下，重音的文本特征，增加了模型預(yù)測的正確率。3、本發(fā)明提供的對普通話重音進行層次化建模和預(yù)測的方法，在層級重音標注綜合結(jié)果階段，采用加權(quán)的方法，這樣得到的重音描述體系更為細致，使得采用這種重音標注方式得到的合成語音自然度和表現(xiàn)力更好。


通過以下結(jié)合附圖的詳細描述，本發(fā)明的上述和其它方面、特征和優(yōu)點將變得更加顯而易見，其中圖1是本發(fā)明提供的對普通話重音進行層次化建模和預(yù)測的方法流程圖；圖2是依照本發(fā)明實施例對普通話重音進行層次化建模和預(yù)測的方法流程圖。圖3是依照本發(fā)明實施例訓(xùn)練生成韻律詞重音預(yù)測模型的方法流程圖。圖4是依照本發(fā)明實施例訓(xùn)練生成句重音預(yù)測模型的方法流程圖。圖5是依照本發(fā)明實施例綜合生成每個音節(jié)的重音標注結(jié)果的方法流程圖。圖6是依照本發(fā)明實施例對普通話重音進行層次化預(yù)測的方法流程圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進一步詳細說明。本發(fā)明提供的對普通話重音進行層次化建模和預(yù)測的方法，是采用層次化重音描述體系對普通話重音進行描述，即采用句重音與韻律詞重音對普通話重音進行描述，以重音凸顯范圍將普通話重音分為句重音與韻律詞重音兩個層級，對于句重音層級采用重音音節(jié)的建模分析，而對于韻律詞重音層級采用輕音音節(jié)的建模分析。所述句重音用于表明在句子層面凸顯的韻律詞，所述韻律詞重音用于表明韻律詞內(nèi)部音節(jié)之間的凸顯對比。相應(yīng)的，本發(fā)明采用基于最大熵的層次化的重音預(yù)測模型。本發(fā)明提供的對普通話重音進行層次化建模和預(yù)測的方法，用于中文語音合成中重音信息的預(yù)測，對語音合成系統(tǒng)接收或輸入的任意文字串標注每個音節(jié)的重音等級；采用層級重音描述體系，即句子層面以及韻律詞層面，其中，在句子層面的重音，本發(fā)明側(cè)重重音詞或者重音音節(jié)的研究，而在詞層面，本發(fā)明側(cè)重輕音音節(jié)研究；創(chuàng)建大規(guī)模的層級重音標注語料數(shù)據(jù)庫；從標注文本進行特征提??；訓(xùn)練最大熵模型預(yù)測詞內(nèi)重音；訓(xùn)練最大熵模型預(yù)測句內(nèi)重音，綜合詞重音與句重音的的預(yù)測結(jié)果得到更精確的重音等級描述。如圖1所示，圖1是本發(fā)明提供的對普通話重音進行層次化建模和預(yù)測的方法流程圖，該方法采用層次化重音描述體系對普通話重音進行描述，包括選擇合適的重音描述體系，創(chuàng)建層級標注的重音語料庫；訓(xùn)練生成韻律詞重音預(yù)測模型；訓(xùn)練生成句重音預(yù)測模型；以及根據(jù)韻律詞重音模型與句重音預(yù)測模型結(jié)果綜合生成每個音節(jié)的重音標注結(jié)^ ο其中，所述采用層次化重音描述體系對普通話重音進行描述，是采用句重音與韻律詞重音對普通話重音進行描述，以重音凸顯范圍將普通話重音分為句重音與韻律詞重音兩個層級，對于句重音層級采用重音音節(jié)的建模分析，而對于韻律詞重音層級采用輕音音節(jié)的建模分析。所述句重音用于表明在句子層面凸顯的韻律詞，所述韻律詞重音用于表明韻律詞內(nèi)部音節(jié)之間的凸顯對比。所述選擇合適的重音描述體系，是以重音凸顯范圍將普通話重音分為句重音與韻律詞重音兩個層級，然后針對不同的層級，選擇不同的重音標注單元。所述重音標注單元分為兩類在韻律詞重音中，重音標注單元為單個韻律詞；在句重音標注中，標注單元為句子。所述創(chuàng)建層級標注的重音語料庫，是在錄音室錄制語音數(shù)據(jù)，并進行音節(jié)切分，韻律邊界標注，最后按照標注單元的重音凸顯程度高低分別標注為3、2、1三個等級。所述訓(xùn)練生成韻律詞重音預(yù)測模型，是訓(xùn)練一個能夠預(yù)測當前音節(jié)在其所在的韻律詞范圍內(nèi)是輕音的概率的模型，訓(xùn)練的具體過程為采用一文本特征參數(shù)提取模塊，得到與韻律詞重音特征相關(guān)的文本特征參數(shù)Fl作為模型訓(xùn)練輸入，利用最大熵模型，得到有關(guān)韻律詞內(nèi)部輕音節(jié)與非輕音節(jié)的文本特征差異，進而通過模型訓(xùn)練得到音節(jié)是輕音的概率，建立韻律詞重音預(yù)測模型。所述韻律詞重音預(yù)測模型具有一用于輸出韻律詞重音預(yù)測結(jié)果的輸出端。所述訓(xùn)練生成句重音預(yù)測模型，是訓(xùn)練一個能夠預(yù)測當前音節(jié)在句子范圍內(nèi)是重音的概率的模型，訓(xùn)練的具體過程為采用一文本特征參數(shù)提取模塊，得到與句子級別重音預(yù)測相關(guān)的文本特征參數(shù)F2作為模型輸入，利用最大熵模型，訓(xùn)練有關(guān)句子層級重音節(jié)與非重音節(jié)的文本特征差異，進而通過模型訓(xùn)練得到音節(jié)是重音的概率，建立句重音預(yù)測模型。所述句重音預(yù)測模型具有一輸出句重音預(yù)測結(jié)果的輸出端。所述根據(jù)韻律詞重音模型與句重音預(yù)測模型結(jié)果綜合生成每個音節(jié)的重音標注結(jié)果，是將韻律詞重音預(yù)測結(jié)果和句重音預(yù)測結(jié)果采用公式=PD: χPD:迸行加權(quán)綜合，然后輸出綜合后的層級重音標注信息；其中，分別是音節(jié)在當前韻律詞和句子中的重音凸顯度，/5CC"是韻律詞在當前句子中的重音凸顯度?；趫D1所示的對普通話重音進行層次化建模和預(yù)測的方法，圖2至圖6示出了依照本發(fā)明一個實施例對普通話重音進行層次化建模和預(yù)測的方法流程。其中，圖2示出了依照本發(fā)明實施例對普通話重音進行層次化建模和預(yù)測的方法流程圖。在圖2所示的實施例中，左側(cè)為訓(xùn)練部分，包括語音合成語料庫、韻律詞重音等級標注語料庫、句重音等級標注語料庫、韻律詞重音預(yù)測模型訓(xùn)練、句重音預(yù)測模型訓(xùn)練、層級重音預(yù)測模型訓(xùn)練；右側(cè)為在線運行部分，包括淺層詞法分析與節(jié)奏預(yù)測、在線層級重音預(yù)測兩大部分，輸入為任意文本，輸出為層級的重音標注結(jié)果。其中，在線層級重音預(yù)測依賴于離線訓(xùn)練得到的層級重音預(yù)測模型。由韻律詞重音等級標注語料庫得到韻律詞重音預(yù)測模型，由韻律詞重音等級標注語料庫和句重音等級標注語料庫綜合得到句中音節(jié)重音等級標注的語料庫，進而訓(xùn)練得到句重音預(yù)測模型，由韻律詞重音預(yù)測模型和句重音預(yù)測模型綜合得到層級重音預(yù)測模型。圖3示出了是依照本發(fā)明實施例訓(xùn)練生成韻律詞重音預(yù)測模型的方法流程圖。輸入為韻律詞中音節(jié)重音等級標注的語料庫，經(jīng)過文本特征提取，如分詞、詞性標注，韻律邊界標注等，提取出與韻律詞重音相關(guān)的文本特征集合F1，利用最大熵模型從大規(guī)模重音標注語料中統(tǒng)計訓(xùn)練學(xué)習(xí)得到當前音節(jié)是韻律詞層面輕音的概率，輸出為韻律詞重音預(yù)測模型。圖4示出了依照本發(fā)明實施例訓(xùn)練生成句重音預(yù)測模型的方法流程圖。輸入為句中音節(jié)重音等級標注的語料庫，經(jīng)過文本特征提取，如分詞、詞性標注，韻律邊界標注等，提取出與句重音相關(guān)的文本特征集合F2，利用最大熵模型從大規(guī)模重音標注語料中統(tǒng)計訓(xùn)練學(xué)習(xí)得到當前音節(jié)是句子層面重音的概率，輸出為句重音預(yù)測模型。圖5示出了依照本發(fā)明實施例綜合生成每個音節(jié)的重音標注結(jié)果的方法流程圖。 對任意輸入語句，能夠標注出韻律詞內(nèi)重音對比以及句內(nèi)音節(jié)重音對比，輸出為句子中每個音節(jié)的層級重音描述。圖6示出了依照本發(fā)明實施例對普通話重音進行層次化預(yù)測的方法流程圖。該實施例從以下六個方面對本發(fā)明進一步詳細描述1、準備重音標注語料庫。根據(jù)本發(fā)明，文本選用一個標注有韻律詞、韻律短語以及語調(diào)短語邊界信息的語音合成文本語料庫。同時，對該語料進行以韻律詞為單位的切分，形成一個以韻律詞為單位存儲的語料庫。這些韻律詞切分之后被打亂原來的次序，以單個文件的方式存儲，避免了上下文信息對詞重音感知的影響。例如標注實例(單句)向香港I特別行政區(qū)同胞$澳門I和臺灣同胞$海外僑胞.xiang4 xiangl gang3 te4 bie2 xing2 zheng4 qui tong2 baol ao4men2 he2 tai 2wanl tong2 baol hai3 wai4 qiao2 baol其中，空格表示韻律詞邊界，‘ I，表示韻律短語的位置，‘$’表示韻律短語的位置。韻律詞為單位的語料庫實例香港xiangl gang32、韻律詞重音標注和句重音標注。包括韻律詞內(nèi)音節(jié)等級標注和句子內(nèi)韻律詞突顯度標注，其中，句子內(nèi)韻律詞突顯度也就是韻律詞在句子中的重音等級。在兩個重音標注工作中，按照凸顯度的高低，將重音標注任務(wù)都分為3級，分別用3、2、1表示。標注樣例如下句子層級標注向香港I特別行政區(qū)同胞$澳門I和臺灣同胞$海外僑胞.2 3 2 22 3 12 2 23韻律詞層級標注香港3 2將這兩個標注結(jié)果采用公式(1)的方式進行加權(quán)綜合，得到句中每個音節(jié)的重音等級。
權(quán)利要求
1.一種對普通話重音進行層次化建模和預(yù)測的方法，其特征在于，該方法采用層次化重音描述體系對普通話重音進行描述，包括選擇合適的重音描述體系，創(chuàng)建層級標注的重音語料庫；訓(xùn)練生成韻律詞重音預(yù)測模型；訓(xùn)練生成句重音預(yù)測模型；以及根據(jù)韻律詞重音模型與句重音預(yù)測模型結(jié)果綜合生成每個音節(jié)的重音標注結(jié)果。
2.根據(jù)權(quán)利要求1所述的對普通話重音進行層次化建模和預(yù)測的方法，其特征在于， 所述采用層次化重音描述體系對普通話重音進行描述，是采用句重音與韻律詞重音對普通話重音進行描述，以重音凸顯范圍將普通話重音分為句重音與韻律詞重音兩個層級，對于句重音層級采用重音音節(jié)的建模分析，而對于韻律詞重音層級采用輕音音節(jié)的建模分析。
3.根據(jù)權(quán)利要求2所述的對普通話重音進行層次化建模和預(yù)測的方法，其特征在于， 所述句重音用于表明在句子層面凸顯的韻律詞，所述韻律詞重音用于表明韻律詞內(nèi)部音節(jié)之間的凸顯對比。
4.根據(jù)權(quán)利要求1所述的對普通話重音進行層次化建模和預(yù)測的方法，其特征在于， 所述選擇合適的重音描述體系，是以重音凸顯范圍將普通話重音分為句重音與韻律詞重音兩個層級，然后針對不同的層級，選擇不同的重音標注單元。
5.根據(jù)權(quán)利要求4所述的對普通話重音進行層次化建模和預(yù)測的方法，其特征在于， 所述重音標注單元分為兩類在韻律詞重音中，重音標注單元為單個韻律詞；在句重音標注中，標注單元為句子。
6.根據(jù)權(quán)利要求5所述的對普通話重音進行層次化建模和預(yù)測的方法，其特征在于， 所述創(chuàng)建層級標注的重音語料庫，是在錄音室錄制語音數(shù)據(jù)，并進行音節(jié)切分，韻律邊界標注，最后按照標注單元的重音凸顯程度高低分別標注為3、2、1三個等級。
7.根據(jù)權(quán)利要求1所述的對普通話重音進行層次化建模和預(yù)測的方法，其特征在于， 所述訓(xùn)練生成韻律詞重音預(yù)測模型，是訓(xùn)練一個能夠預(yù)測當前音節(jié)在其所在的韻律詞范圍內(nèi)是輕音的概率的模型，訓(xùn)練的具體過程為采用一文本特征參數(shù)提取模塊，得到與韻律詞重音特征相關(guān)的文本特征參數(shù)Fl作為模型訓(xùn)練輸入，利用最大熵模型，得到有關(guān)韻律詞內(nèi)部輕音節(jié)與非輕音節(jié)的文本特征差異，進而通過模型訓(xùn)練得到音節(jié)是輕音的概率，建立韻律詞重音預(yù)測模型。
8.根據(jù)權(quán)利要求7所述的對普通話重音進行層次化建模和預(yù)測的方法，其特征在于， 所述韻律詞重音預(yù)測模型具有一用于輸出韻律詞重音預(yù)測結(jié)果的輸出端。
9.根據(jù)權(quán)利要求1所述的對普通話重音進行層次化建模和預(yù)測的方法，其特征在于， 所述訓(xùn)練生成句重音預(yù)測模型，是訓(xùn)練一個能夠預(yù)測當前音節(jié)在句子范圍內(nèi)是重音的概率的模型，訓(xùn)練的具體過程為采用一文本特征參數(shù)提取模塊，得到與句子級別重音預(yù)測相關(guān)的文本特征參數(shù)F2作為模型輸入，利用最大熵模型，訓(xùn)練有關(guān)句子層級重音節(jié)與非重音節(jié)的文本特征差異，進而通過模型訓(xùn)練得到音節(jié)是重音的概率，建立句重音預(yù)測模型。
10.根據(jù)權(quán)利要求1所述的對普通話重音進行層次化建模和預(yù)測的方法，其特征在于， 所述句重音預(yù)測模型具有一輸出句重音預(yù)測結(jié)果的輸出端。
11.根據(jù)權(quán)利要求1所述的對普通話重音進行層次化建模和預(yù)測的方法，其特征在于， 所述根據(jù)韻律詞重音模型與句重音預(yù)測模型結(jié)果綜合生成每個音節(jié)的重音標注結(jié)果，是將韻律詞重音預(yù)測結(jié)果和句重音預(yù)測結(jié)果采用公式=進行加權(quán)綜合，然后輸出綜合后的層級重音標注信息；其中，分別是音節(jié)在當前韻律詞和句子中的重音凸顯度，/5CC"是韻律詞在當前句子中的重音凸顯度。
全文摘要
本發(fā)明公開了一種對普通話重音進行層次化建模和預(yù)測的方法，該方法采用層次化重音描述體系對普通話重音進行描述，包括選擇合適的重音描述體系，創(chuàng)建層級標注的重音語料庫；訓(xùn)練生成韻律詞重音預(yù)測模型；訓(xùn)練生成句重音預(yù)測模型；以及根據(jù)韻律詞重音模型與句重音預(yù)測模型結(jié)果綜合生成每個音節(jié)的重音標注結(jié)果。利用本發(fā)明，提高了重音模型的精細度，同時也保證了較高的重音預(yù)測正確率和召回率，進而提高合成語音的自然度和表現(xiàn)力，能夠以更精確的描述語音中用于表現(xiàn)韻律凸顯的重音現(xiàn)象，同時能夠從任意輸入的文本得到較為細致的重音等級標注結(jié)果。
文檔編號G10L13/08GK102254554SQ201110200330
公開日2011年11月23日 申請日期2011年7月18日 優(yōu)先權(quán)日2011年7月18日
發(fā)明者李雅, 陶建華 申請人:中國科學(xué)院自動化研究所