本發(fā)明涉及一種動(dòng)態(tài)自適應(yīng)語音分析技術(shù)以用于人機(jī)口語考試的方法，屬于計(jì)算機(jī)軟件技術(shù)領(lǐng)域，尤其涉及互聯(lián)網(wǎng)教育技術(shù)領(lǐng)域。

背景技術(shù)：

在英語口語考試中，試題的類型分為客觀題、主觀題兩大類?？陀^題是指有標(biāo)準(zhǔn)答案，學(xué)生的回答必須符合標(biāo)準(zhǔn)答案的內(nèi)容的試題，又分為短文朗讀、多項(xiàng)分支兩小類，短文朗讀就是給出一段英文文章，要求學(xué)生按文字進(jìn)行朗讀；多項(xiàng)分支選擇，就是一段話后，有幾個(gè)備選答案，其中只有一個(gè)正確的，學(xué)生讀出正確的才得分。而主觀題是指沒有標(biāo)準(zhǔn)答案，需要根據(jù)某些特定的標(biāo)準(zhǔn)才能判定正誤的試題，又分為交際問答、口頭作文兩小類，交際問答是采用一問一答的方式，答案是開放性的；口頭作文是給出一段材料，材料可能是文字或圖片或音頻，或者是其組合，學(xué)生看過或聽過后，口頭說上一段英文。

現(xiàn)有技術(shù)的運(yùn)用，導(dǎo)致了在英語考試的過程中，題目類型不完備，滿足不了全國(guó)廣大范圍內(nèi)用戶的要求，即或有一些產(chǎn)品能部分滿足要求，也是把每個(gè)題目的內(nèi)容及答案上傳到服務(wù)器，完全依賴服務(wù)器端的判定、打分，如果網(wǎng)絡(luò)條件不好就非常影響用戶體驗(yàn)。而本發(fā)明通過客觀題在客戶端完全在本地打分，主觀題才上傳到服務(wù)端打分的方式，將對(duì)網(wǎng)絡(luò)的依賴盡量減小。

造成這種問題的原因是我國(guó)地域廣大，經(jīng)濟(jì)發(fā)展水平、文化水平差異極大，造成了不同地方的考試要求、考試內(nèi)容差異也非常大，各地的計(jì)算機(jī)網(wǎng)絡(luò)條件也有很大的差異，很多地方不知道怎樣對(duì)學(xué)生考核主觀題，導(dǎo)致了考試題目的不完備。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)英語口語人機(jī)交互式測(cè)評(píng)考試系統(tǒng)的口語考試環(huán)節(jié)中，系統(tǒng)反應(yīng)速度與題目開放性的矛盾問題，本發(fā)明的目的在于提供一種動(dòng)態(tài)自適應(yīng)語音分析技術(shù)以用于人機(jī)口語考試的方法及系統(tǒng)。通過使用本技術(shù)，客觀題在本地打分，主觀題則通過試卷的特別編輯來滿足變化的要求，可以在英語口語考試中，達(dá)到反應(yīng)速度與題目開放性的較好平衡。

本發(fā)明的技術(shù)方案為：

一種動(dòng)態(tài)自適應(yīng)語音分析技術(shù)以用于人機(jī)口語考試的方法，其步驟為：

1)編輯試卷，標(biāo)記試卷中每一試題的類型；所述類型包括客觀題、主觀題；對(duì)于類型為客觀題的試題，設(shè)置該試題的正確答案并保存到每一客戶端；對(duì)于類型為主觀題的試題，根據(jù)該試題的內(nèi)容，設(shè)置該試題的關(guān)鍵詞集合，并將該試題與對(duì)應(yīng)關(guān)鍵詞集合上傳到服務(wù)端；

2)考試階段，客戶端記錄用戶回答當(dāng)前試題的音頻，并判斷當(dāng)前試題的類型；如果是客觀題則客戶端在本地根據(jù)當(dāng)前試題的音頻及該試題的正確答案進(jìn)行判分；如果是主觀題，則將當(dāng)前試題的音頻與試題序號(hào)傳給服務(wù)端，由服務(wù)端根據(jù)該試題的關(guān)鍵詞集合進(jìn)行判分，然后將得分返回給該客戶端；

3)客戶端根據(jù)該用戶的每一試題的得分計(jì)算該用戶的總分。

進(jìn)一步的，對(duì)類型為客觀題的試題進(jìn)行判分的方法為：首先根據(jù)試題的正確答案對(duì)應(yīng)的文本對(duì)音頻進(jìn)行邊界對(duì)齊，在單詞邊界內(nèi)部，對(duì)每個(gè)時(shí)間點(diǎn)的音頻進(jìn)行特征提取，根據(jù)提取的特征計(jì)算單詞的音素的后驗(yàn)概率，然后對(duì)這些音素的概率進(jìn)行平均，得到該試題的正確答案的音素概率，并建立該試題得分的映射標(biāo)準(zhǔn)；然后根據(jù)該映射標(biāo)準(zhǔn)和計(jì)算得到的回答該試題的音頻的音素概率確定該試題的分?jǐn)?shù)。

進(jìn)一步的，建立試題得分的映射標(biāo)準(zhǔn)的方法為：選取該試題的多個(gè)音頻并計(jì)算每一音頻的音素概率，其中，選取的每一音頻對(duì)應(yīng)一不同分?jǐn)?shù)；然后將不同音頻的因素概率與該試題的正確答案的音素概率對(duì)比，試題得分的映射標(biāo)準(zhǔn)。

進(jìn)一步的，對(duì)類型為主觀題的試題進(jìn)行判分的方法為：服務(wù)端根據(jù)試題序號(hào)查詢得到該試題的關(guān)鍵詞集合，然后將該關(guān)鍵集合中每一單詞對(duì)應(yīng)的音頻與該試題的音頻進(jìn)行匹配，判斷該試題的音頻中是否包含該單詞的音頻，如果包含則記錄該單詞；然后記錄的單詞數(shù)量與該關(guān)鍵詞集合中的單詞數(shù)計(jì)算得出該試題的分?jǐn)?shù)。

一種動(dòng)態(tài)自適應(yīng)語音分析技術(shù)以用于人機(jī)口語考試的系統(tǒng)，其特征在于，包括試卷、一服務(wù)端，與該服務(wù)端網(wǎng)絡(luò)連接的多個(gè)客戶端；其中，所述試卷中根據(jù)每一試題的類型對(duì)該試題進(jìn)行標(biāo)記，所述類型包括客觀題、主觀題；對(duì)于類型為客觀題的試題，設(shè)置該試題的正確答案并保存到每一客戶端；對(duì)于類型為主觀題的試題，根據(jù)該試題的內(nèi)容，設(shè)置該試題的關(guān)鍵詞集合，并將該試題與對(duì)應(yīng)關(guān)鍵詞集合上傳到服務(wù)端；所述客戶端記錄用戶回答當(dāng)前試題的音頻，并判斷當(dāng)前試題的類型；如果是客觀題則客戶端在本地根據(jù)當(dāng)前試題的音頻及該試題的正確答案進(jìn)行判分；如果是主觀題，則將當(dāng)前試題的音頻與試題序號(hào)傳給服務(wù)端，由服務(wù)端根據(jù)該試題的關(guān)鍵詞集合進(jìn)行判分，然后將得分返回給該客戶端；最終客戶端根據(jù)該用戶的每一試題的得分計(jì)算該用戶的總分。

與現(xiàn)有技術(shù)相比，本發(fā)明的積極效果為：

本發(fā)明能夠同時(shí)滿足客觀題、主觀題兩類題型，最大范圍的適應(yīng)各個(gè)地方的不同情況，并在判定客觀題時(shí)，直接在本地判定，不需要上傳到網(wǎng)絡(luò)，完全免除了網(wǎng)絡(luò)傳輸時(shí)間；在判定主觀題時(shí)，將回答上傳到服務(wù)端，由服務(wù)端進(jìn)行判定并返回結(jié)果。雖然兩類題型判定結(jié)果的方式并不相同，但在對(duì)待兩種題型時(shí)，系統(tǒng)自動(dòng)進(jìn)行判定，對(duì)使用者完全是透明的，學(xué)生在回答問題時(shí)并不知道自己回答的問題是具體的哪種類型。

附圖說明

圖1為本發(fā)明的方法流程圖；

圖2為本發(fā)明的考試流程圖。

具體實(shí)施方式

下面參照本發(fā)明的附圖，更詳細(xì)地描述本發(fā)明的具體實(shí)施方法。

此發(fā)明包括兩步，試卷編輯與考試，如圖1所示。

在試卷編輯時(shí)，需要指明試卷中每一試題是客觀題，還是主觀題：如果是客觀題，需要進(jìn)一步指明該題正確的答案；如果是主觀題，進(jìn)一步確定到底是哪種小類型，無論對(duì)于交際問答，口頭作文哪種小類型，都需要編輯根據(jù)試題的內(nèi)容，手工抽取確定一系列關(guān)鍵詞，并將試題本身與關(guān)鍵詞集合上傳到服務(wù)端。

語音識(shí)別是機(jī)器學(xué)習(xí)的一個(gè)重要鄰域。語音信號(hào)是一個(gè)時(shí)序信號(hào)，是聲波信號(hào)，通常hmm(hiddenmarkovmodel)用來建模時(shí)序數(shù)據(jù)。hmm的隱狀態(tài)代表人的聲帶處于某個(gè)狀態(tài)，然后通過狀態(tài)與狀態(tài)之間不斷的跳轉(zhuǎn)實(shí)現(xiàn)信號(hào)的變化。人感知到的其實(shí)是空氣波的震動(dòng)，震動(dòng)通過聲波展現(xiàn)出來，稱為觀測(cè)信號(hào)o＝o1,o2,…,on。語音識(shí)別的過程就是通過觀測(cè)信號(hào)反推出來聲帶具體處于哪個(gè)狀態(tài)si，進(jìn)而推斷出處于哪個(gè)單詞wi。在深度學(xué)習(xí)出現(xiàn)以前，都是用gmm(gaussianmixturemodel)對(duì)觀測(cè)信號(hào)建模，通過gmm計(jì)算出觀測(cè)信號(hào)處于每個(gè)狀態(tài)的概率，然后利用viterbi解碼得到單詞序列和狀態(tài)序列。

語音評(píng)測(cè)首先利用大量帶有轉(zhuǎn)寫文本的音頻，訓(xùn)練出聲學(xué)模型，聲學(xué)模型可以精確到上下文相關(guān)的音素建模。對(duì)于客觀題型，需要給出正確答案對(duì)應(yīng)的文本，根據(jù)文本對(duì)音頻進(jìn)行邊界對(duì)齊，在單詞邊界內(nèi)部，對(duì)每個(gè)時(shí)間點(diǎn)的音頻提取特征，計(jì)算單詞的音素的后驗(yàn)概率，然后對(duì)這些音素的概率進(jìn)行平均，然后根據(jù)這個(gè)概率映射到得分，映射標(biāo)準(zhǔn)由老師事先對(duì)一批音頻打分。對(duì)于主觀題型，比如口頭作文，會(huì)先對(duì)音頻進(jìn)行識(shí)別，得到文本，然后和該題對(duì)應(yīng)的關(guān)鍵詞集合作對(duì)比，分析語義相似度，語法錯(cuò)誤個(gè)數(shù)等，再結(jié)合評(píng)分標(biāo)準(zhǔn)，得到評(píng)分模型。

學(xué)生在進(jìn)行口語考試時(shí)，對(duì)于客觀題，程序根據(jù)錄下的學(xué)生音頻進(jìn)行分析，確定是原先設(shè)定的正確答案的概率，根據(jù)這個(gè)概率在本地進(jìn)行比對(duì)，然后給出該題的分?jǐn)?shù)。如果是主觀題，將音頻與試題序號(hào)傳給服務(wù)端，先由服務(wù)端根據(jù)試題序號(hào)查詢得到關(guān)鍵詞的集合，再分析學(xué)生音頻，看關(guān)鍵詞集合中有多少單詞的音頻是與學(xué)生朗讀的音頻比較吻合的，對(duì)于每一個(gè)關(guān)鍵詞來說，如果概率較大，就說明學(xué)生讀了，如果概率很小，就說明學(xué)生未讀。再根據(jù)學(xué)生讀的關(guān)鍵詞集合中的單詞數(shù)與該試題所有關(guān)鍵詞單詞數(shù)，經(jīng)過一系列計(jì)算，得出分?jǐn)?shù)，返回給客戶端。在客戶端，客觀題得分加上主觀題得分，就是該次考試的成績(jī)。

學(xué)生在回答時(shí)，流程如圖2所示，學(xué)生在進(jìn)行考試時(shí)，首先進(jìn)入某一試題，根據(jù)試題的內(nèi)容進(jìn)行回答，然后系統(tǒng)根據(jù)試題的類型進(jìn)行分析，是客觀題還是主觀題；如果是客觀題，就調(diào)用本地評(píng)判方式，進(jìn)行評(píng)判；如果是主觀題，將試題的內(nèi)容與學(xué)生的回答上傳到服務(wù)端，由服務(wù)端進(jìn)行判定，然后將主觀題的得分返回給客戶端，然后由客戶端將該學(xué)生此次考試的客觀題得分與主觀題得分相加，獲得此次考試的最終成績(jī)。由于兩者都是在后臺(tái)自動(dòng)運(yùn)行的，學(xué)生在使用時(shí)，除了感覺主觀題獲得分?jǐn)?shù)要稍微慢些外，察覺不到其它的差別，實(shí)現(xiàn)了無論哪種題型，對(duì)于學(xué)生來說都是一樣的感覺，不用手動(dòng)確定回答的是客觀題還是主觀題。在完成該題后，系統(tǒng)判定是否還有下一題，如果有，就進(jìn)入下一試題，過程與上面一樣；如果沒有，就完成考試，并給出此次考試各個(gè)試題的分?jǐn)?shù)及總分。