專利名稱：口語發(fā)音水平自動測試方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機語音信號處理領(lǐng)域。
背景技術(shù)：
普通話水平測試是推廣普通話工作的重要方法，是使推廣普通話工作逐步走
上科學(xué)化、規(guī)范化、制度化的重要舉措。2000年10月31日第九屆全國人民代 表大會常務(wù)委員會第十八次會議通過的《中華人民共和國國家通用語言文字法》 規(guī)定，以普通話作為工作語言的播音員、節(jié)目主持人和影視話劇演員、教師、國 家機關(guān)工作人員必須參加普通話水平測試并達到國家規(guī)定的等級標(biāo)準。
目前進行的普通話水平測試工作全部采用人工評分的方式，一般每個普通話 測試考場需要安排2-3名測試員，由測試員對考生說話的聲音進行評分， 一個考 場一天只能測試30人， 一個上千人的普通話水平測試常常需要在短時間內(nèi)組織 上百名測試員，不僅費時費力，測試成本高，而且效率低。由于全部采用人工的 方式評分，測試員的主觀性很強，在一定程度上存在測試結(jié)果的公正性問題。
因此，結(jié)合現(xiàn)代計算機技術(shù)的發(fā)展，研究開發(fā)如何將先進的信息技術(shù)應(yīng)用于 普通話水平測試，全部替代或部分替代人工的評測員，從而彌補傳統(tǒng)的普通話水 平測試方法的不足，對于節(jié)省人力物力等成本和提高測試的公正性、效率方面都 具有重大的意義。
計算機普通話水平測試系統(tǒng)的研究本身對于基礎(chǔ)資源庫、跨學(xué)科的合作等方 面的要求很高，存在較大的難度。正是由于缺乏系統(tǒng)的指導(dǎo)和廣泛合作，計算機 的方式實現(xiàn)普通話水平測試長期以來一直沒有得到研究人員的關(guān)注。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)的不足，提供了一種運用計算機進行普通話水平測試和 指導(dǎo)學(xué)習(xí)的方法，應(yīng)用計算機智能語音處理技術(shù)，對學(xué)習(xí)者的發(fā)音進行準確、自 動的評測。
本發(fā)明是通過以下技術(shù)方案實現(xiàn)的
口語發(fā)音水平自動測試方法，其特征在于包括以下步驟實現(xiàn)
(1) 根據(jù)標(biāo)準發(fā)音人的發(fā)音錄音建立音素平衡的標(biāo)準發(fā)音人語料庫；將錄音的 保存文件名與對應(yīng)的測試文本進行關(guān)聯(lián)；
(2) 運用標(biāo)準發(fā)音人語料庫及其相關(guān)聯(lián)的文本，訓(xùn)練標(biāo)準語音的標(biāo)準音段模型， 標(biāo)準音段模型的訓(xùn)練步驟是
(a) 將語音分幀，幀長250ms，幀移10ms，并按幀計算語音的Mel倒譜系數(shù)(MFCC) 參數(shù)；
(b) 訓(xùn)練各種音段的基于MFCC參數(shù)的隱含馬爾可夫模型(HMM); 運用標(biāo)準發(fā)音人語料庫及其相關(guān)聯(lián)的文本，訓(xùn)練標(biāo)準語音的標(biāo)準音調(diào)模型，標(biāo)準 音調(diào)模型的訓(xùn)練步驟是
(a) 按幀計算語音的基頻參數(shù)；
(b) 訓(xùn)練各種音調(diào)的基于基頻參數(shù)的隱含馬爾可夫模型；
(3) 對被測試者的發(fā)音進行錄音建立普通話語音庫，同時保存錄音試題，將錄音 文件名與錄音試題進行關(guān)聯(lián)；
(4) 標(biāo)注發(fā)音錯誤，并標(biāo)識出正確的聲母、韻母和聲調(diào)；
(5) 按幀計算出錄音試題的MFCC參數(shù)、基頻參數(shù)和共振峰；用標(biāo)準音段模型按照 錄音對應(yīng)的文本將對錄音的MFCC參數(shù)進行切分到音段，同時得到各音段相對標(biāo) 準模型的切分似然度值；用標(biāo)準音調(diào)模型按照錄音對應(yīng)的文本將對錄音的基頻參 數(shù)信息切分到音段，同時得到各音調(diào)相對標(biāo)準模型的切分似然度值；根據(jù)音段的 切分計算各音段時長，聲韻母時長比，各音段的共振峰序列等音段評測參數(shù)；用 標(biāo)準音段模型和音調(diào)模型對錄音進行音段識別和音調(diào)識別，得到識別結(jié)果和對應(yīng) 的音段識別似然度和音調(diào)識別似然度；將音段和音調(diào)的切分似然度除以識別似然 度得到音段和音調(diào)的似然比；將各音段時長，聲韻母時長比，音段的似然度，音 段的似然比，音調(diào)的似然度，音調(diào)的似然比進行規(guī)整得到針對被測試者的評測結(jié)
果。
判斷計算機測試系統(tǒng)評測性能的優(yōu)劣，這里根據(jù)普通話水平測試大綱的要 求，計算機器測試的結(jié)果與三個人工測試結(jié)果之間的分數(shù)絕對誤差均值和等級一 致率均值來判定。同時由于人工之間也存在誤差，因此將三個人工測試結(jié)果之間 的分數(shù)絕對誤差均值和等級一致率均值做為機器與人工測試性能的比照。在測試 員的打分數(shù)據(jù)庫上經(jīng)統(tǒng)計，三位測試員兩兩之間的評分絕對誤差平均，在不同的 數(shù)據(jù)集上分布在1.5~2.5分之間，等級一致率分布在0.8~0.85。計算機測試系 統(tǒng)評測的總分平均誤差在2分以內(nèi)，與測試員之間的等級一致率達到0. 8以上， 因此計算機測試效果基本達到與人工測試接近的水平。計算機指導(dǎo)學(xué)習(xí)部分的效 果是不僅可以替代部分語言老師的指正，代讀，針對性出題等，還可以更形象化 的指出學(xué)習(xí)者的發(fā)音的物理參數(shù)，如波形、頻譜，并將之與標(biāo)準波形、頻譜進行 對比。
具體實施例方式
具體的實現(xiàn)方法步驟如下
1、 標(biāo)準發(fā)音人語料庫的建立
1) 分性別，按普通話水平測試和學(xué)習(xí)人群的年齡分布尋找一批合適的標(biāo) 準發(fā)音人；
2) 根據(jù)普通話水平測試大綱要求的音素平衡原則設(shè)計錄音文本；
3) 安排標(biāo)準發(fā)音人進行錄音工作，錄音的保存文件名與對應(yīng)的文本進行 關(guān)聯(lián)；
2、 標(biāo)準語音模型的建立包括音段模型和音調(diào)模型的建立。 運用標(biāo)準發(fā)音人語料庫及其相關(guān)聯(lián)的文本，訓(xùn)練標(biāo)準語音的音段模型，可
以是音素、音節(jié)模型，也可以是上下文相關(guān)的音素、音節(jié)模型，模型的訓(xùn)練步驟 是
1) 將語音分幀(幀長250ms,幀移10ms)，并按幀計算語音的Mel倒譜 系數(shù)(MFCC)參數(shù)；
2) 訓(xùn)練各種音段的基于MFCC參數(shù)的隱含馬爾可夫模型(H麗)。 運用標(biāo)準發(fā)音人語料庫及其相關(guān)聯(lián)的文本，訓(xùn)練標(biāo)準語音的音調(diào)模型，可
以是單純四聲音調(diào)模型，也可以是與前后調(diào)以及韻母相關(guān)的音調(diào)模型，模型的訓(xùn) 練步驟是
1) 按幀計算語音的基頻參數(shù)；
2) 訓(xùn)練各種音調(diào)的基于基頻參數(shù)的隱含馬爾可夫模型。
3、 一般普通話語料庫的收集在普通話水平測試現(xiàn)場，對考生的考試發(fā)音進 行錄音，同時保存錄音試題，并將錄音文件名與錄音試題進行關(guān)聯(lián)。
4、 一般普通話語料的標(biāo)注對每份普通話現(xiàn)場錄音進行獨立的打分，詳細標(biāo) 注錄音中的每個字的聲母、韻母以及聲調(diào)的發(fā)音正確與否，并對每個不正 確聲母、韻母及聲調(diào)標(biāo)識出其對應(yīng)聲母、韻母和聲調(diào)。
5、 計算待測語音的各項評測參數(shù)
1) 按幀計算出語音的MFCC參數(shù)、基頻參數(shù)和共振峰
2) 用標(biāo)準音段模型按照語音對應(yīng)的文本將對語音的MFCC參數(shù)進行切分 到音段，同時得到各音段相對標(biāo)準模型的切分似然度值
3) 用標(biāo)準音調(diào)模型按照語音對應(yīng)的文本將對語音的基頻參數(shù)語音切分到 音段，同時得到各音調(diào)相對標(biāo)準模型的切分似然度值
4) 根據(jù)音段的切分計算各音段時長，聲韻母時長比，各音段的共振峰序 列等音段評測參數(shù)
5) 用標(biāo)準音段模型和音調(diào)模型對語音進行音段識別和音調(diào)識別，得到識 別結(jié)果和對應(yīng)的音段識別似然度和音調(diào)識別似然度
6) 將音段和音調(diào)的切分似然度除以識別似然度得到音段和音調(diào)的似然比
7) 將各音段時長，聲韻母時長比，音段的似然度，音段的似然比，音調(diào) 的似然度，音調(diào)的似然比進行規(guī)整(可以按字、詞、短文朗讀、命題 說話等不同測試內(nèi)容進行規(guī)整，也可以按所有發(fā)音進行規(guī)整)得到針 對某個考生的一組或一個(對應(yīng)于所有發(fā)音進行規(guī)整)評測參數(shù)。
權(quán)利要求
1、口語發(fā)音水平自動測試方法，其特征在于包括以下步驟實現(xiàn)(1)根據(jù)標(biāo)準發(fā)音人的發(fā)音錄音建立音素平衡的標(biāo)準發(fā)音人語料庫；將錄音的保存文件名與對應(yīng)的測試文本進行關(guān)聯(lián)；(2)運用標(biāo)準發(fā)音人語料庫及其相關(guān)聯(lián)的文本，訓(xùn)練標(biāo)準語音的標(biāo)準音段模型，標(biāo)準音段模型的訓(xùn)練步驟是(a)將語音分幀，幀長250ms，幀移10ms，并按幀計算語音的Mel倒譜系數(shù)(MFCC)參數(shù)；(b)訓(xùn)練各種音段的基于MFCC參數(shù)的隱含馬爾可夫模型(HMM)；運用標(biāo)準發(fā)音人語料庫及其相關(guān)聯(lián)的文本，訓(xùn)練標(biāo)準語音的標(biāo)準音調(diào)模型，標(biāo)準音調(diào)模型的訓(xùn)練步驟是(a)按幀計算語音的基頻參數(shù)；(b)訓(xùn)練各種音調(diào)的基于基頻參數(shù)的隱含馬爾可夫模型；(3)對被測試者的發(fā)音進行錄音建立普通話語音庫，同時保存錄音試題，將錄音文件名與錄音試題進行關(guān)聯(lián)；(4)標(biāo)注發(fā)音錯誤，并標(biāo)識出正確的聲母、韻母和聲調(diào)；(5)按幀計算出錄音試題的MFCC參數(shù)、基頻參數(shù)和共振峰；用標(biāo)準音段模型按照語音對應(yīng)的文本將對錄音的MFCC參數(shù)進行切分到音段，同時得到各音段相對標(biāo)準模型的切分似然度值；用標(biāo)準音調(diào)模型按照錄音對應(yīng)的文本將對錄音的基頻參數(shù)信息切分到音段，同時得到各音調(diào)相對標(biāo)準模型的切分似然度值；根據(jù)音段的切分計算各音段時長，聲韻母時長比，各音段的共振峰序列等音段評測參數(shù)；用標(biāo)準音段模型和音調(diào)模型對錄音進行音段識別和音調(diào)識別，得到識別結(jié)果和對應(yīng)的音段識別似然度和音調(diào)識別似然度；將音段和音調(diào)的切分似然度除以識別似然度得到音段和音調(diào)的似然比；將各音段時長，聲韻母時長比，音段的似然度，音段的似然比，音調(diào)的似然度，音調(diào)的似然比進行規(guī)整得到針對被測試者的評測結(jié)果。
全文摘要
本發(fā)明涉及口語發(fā)音水平自動測試方法，包括以下步驟實現(xiàn)(1)建立標(biāo)準發(fā)音人語料庫；將錄音的保存文件名與對應(yīng)的測試文本進行關(guān)聯(lián)；(2)運用標(biāo)準發(fā)音人語料庫及其相關(guān)聯(lián)的文本，訓(xùn)練標(biāo)準語音的標(biāo)準音段模型，(3)對被測試者的發(fā)音進行錄音建立普通話語音庫，同時保存錄音試題，將錄音文件名與錄音試題進行關(guān)聯(lián)；(4)標(biāo)注發(fā)音錯誤，并標(biāo)識出正確的聲母、韻母和聲調(diào)；(5)計算待測語音的各項評測參數(shù)得到測評結(jié)果。本發(fā)明運用計算機進行普通話水平測試和指導(dǎo)學(xué)習(xí)的方法，應(yīng)用計算機智能語音處理技術(shù)，實現(xiàn)了對學(xué)習(xí)者的發(fā)音進行準確、自動的評測。
文檔編號G09B19/04GK101383103SQ20081016851
公開日2009年3月11日 申請日期2006年2月28日 優(yōu)先權(quán)日2006年2月28日
發(fā)明者劉慶升, 吳曉如, 易中華, 王仁華, 思 魏 申請人:安徽中科大訊飛信息科技有限公司