聽(tīng)障兒童語(yǔ)言訓(xùn)練輔助系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種語(yǔ)言訓(xùn)練輔助系統(tǒng)及方法，具體地，涉及一種聽(tīng)障兒童語(yǔ)言訓(xùn)練輔助系統(tǒng)及方法。
【背景技術(shù)】
[0002]現(xiàn)有的技術(shù)主要是單純捕捉聲音，進(jìn)行分析和反饋，沒(méi)有針對(duì)發(fā)音技巧的指導(dǎo)；或者是主要針對(duì)語(yǔ)言理解、思維認(rèn)知的訓(xùn)練，沒(méi)有對(duì)單個(gè)發(fā)音進(jìn)行練習(xí)；或者是部分的語(yǔ)言訓(xùn)練方法，但是沒(méi)有系統(tǒng)的語(yǔ)言訓(xùn)練方法。

【發(fā)明內(nèi)容】

[0003]針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種聽(tīng)障兒童語(yǔ)言訓(xùn)練輔助系統(tǒng)及方法，其模擬傳統(tǒng)的教學(xué)方式，將主流的教學(xué)方式結(jié)合到一起，可以提供發(fā)音技巧的指導(dǎo)，針對(duì)單個(gè)發(fā)音練習(xí)進(jìn)行準(zhǔn)確度反饋。
[0004]根據(jù)本發(fā)明的一個(gè)方面，提供一種聽(tīng)障兒童語(yǔ)言訓(xùn)練輔助系統(tǒng)，其特征在于，包括:
[0005]視頻處理模塊，用于調(diào)用電腦攝像頭，以及家長(zhǎng)錄制或播放教學(xué)課程視頻，將教學(xué)課程視頻傳送至服務(wù)器或從服務(wù)器獲取教學(xué)課程視頻；
[0006]服務(wù)器模塊，存儲(chǔ)錄制的教學(xué)課程視頻，對(duì)無(wú)線通信模塊發(fā)送數(shù)據(jù)；
[0007]無(wú)線通信模塊，接收來(lái)自服務(wù)器模塊的網(wǎng)站頁(yè)面信息的數(shù)據(jù)，獲取網(wǎng)站頁(yè)面信息的數(shù)據(jù)后，對(duì)其進(jìn)行分析來(lái)得到有效數(shù)據(jù)，傳遞給信息處理模塊，用于控制氣息模擬模塊的運(yùn)作和聲帶振動(dòng)模擬模塊的運(yùn)作；
[0008]信息處理模塊，通過(guò)多線程設(shè)計(jì)對(duì)無(wú)線通信模塊產(chǎn)生的通信線程、氣息模擬模塊產(chǎn)生的氣息模擬線程以及聲帶振動(dòng)模擬模塊產(chǎn)生的聲帶振動(dòng)模擬線程進(jìn)行管理，從而使得各線程同時(shí)運(yùn)行，保障無(wú)線通信模塊在接收數(shù)據(jù)之后及時(shí)將數(shù)據(jù)傳遞給輸出模塊；
[0009]輸出模塊，首先對(duì)GP1進(jìn)行配置，通過(guò)在選定的兩個(gè)GP1 口輸出PWM波來(lái)控制氣息模擬模塊的運(yùn)作程度和聲帶振動(dòng)模擬模塊的運(yùn)作程度，PWM波的占空比由無(wú)線通信模塊的處理數(shù)據(jù)確定；
[0010]氣息模擬模塊，受信息處理模塊控制，氣息模擬模塊進(jìn)行轉(zhuǎn)動(dòng)；根據(jù)輸出模塊的控制，產(chǎn)生不同的轉(zhuǎn)速，模擬不同發(fā)音時(shí)的口腔氣流的大??；
[0011]聲帶振動(dòng)模擬模塊，受信息處理模塊控制，聲帶振動(dòng)模擬模塊產(chǎn)生振動(dòng)；根據(jù)輸出模塊的控制，產(chǎn)生不同的振動(dòng)強(qiáng)度，模擬不同發(fā)音時(shí)聲帶振動(dòng)的強(qiáng)弱；
[0012]語(yǔ)音準(zhǔn)確度反饋模塊，用于將由麥克風(fēng)獲取的聽(tīng)障兒童發(fā)聲的音頻輸出到語(yǔ)音識(shí)別接口，接收反饋并轉(zhuǎn)化為拼音，判斷正誤，產(chǎn)生學(xué)習(xí)記錄，傳輸給數(shù)據(jù)記錄模塊；
[0013]數(shù)據(jù)記錄模塊，用于所有課程數(shù)據(jù)、學(xué)習(xí)記錄的存儲(chǔ)與處理，家長(zhǎng)查看所記錄的數(shù)據(jù)。
[0014]優(yōu)選地，所述氣息模擬模塊采用風(fēng)扇。
[0015]優(yōu)選地，所述聲帶振動(dòng)模擬模塊采用振子ο
[0016]優(yōu)選地，所述語(yǔ)音準(zhǔn)確度反饋模塊包括麥克風(fēng)和語(yǔ)音識(shí)別接口。
[0017]優(yōu)選地，所述無(wú)線通信模塊、信息處理模塊、輸出模塊、氣息模擬模塊、聲帶振動(dòng)模擬模塊構(gòu)成硬件設(shè)備。
[0018]本發(fā)明還提供一種聽(tīng)障兒童語(yǔ)言訓(xùn)練輔助方法，其特征在于，其包括以下步驟:
[0019]步驟一，家長(zhǎng)登錄網(wǎng)站，選擇語(yǔ)言訓(xùn)練課程；
[0020]步驟二，判斷語(yǔ)言訓(xùn)練課程是否是錄制過(guò)的教學(xué)視頻，如果是錄制過(guò)的教學(xué)視頻，則執(zhí)行步驟四；如果是未錄制過(guò)的教學(xué)視頻，則執(zhí)行步驟三；
[0021]步驟三，若該語(yǔ)言訓(xùn)練課程是未錄制過(guò)的教學(xué)視頻，則通過(guò)視頻處理模塊進(jìn)行教學(xué)視頻的錄制，錄制完成的教學(xué)視頻上傳至服務(wù)器模塊；
[0022]步驟四，語(yǔ)言訓(xùn)練課程錄制完成，進(jìn)入課程學(xué)習(xí)頁(yè)面；課程學(xué)習(xí)頁(yè)面左側(cè)為家長(zhǎng)錄制的教學(xué)視頻，右側(cè)為攝像頭實(shí)時(shí)捕捉的兒童學(xué)習(xí)畫(huà)面；學(xué)習(xí)頁(yè)面上還有課程相配套的文字、圖片、拼音、發(fā)聲舌形示意圖；點(diǎn)擊播放語(yǔ)言訓(xùn)練課程的教學(xué)視頻；
[0023]步驟五，開(kāi)啟硬件設(shè)備，硬件設(shè)備中的無(wú)線通信模塊向服務(wù)器模塊發(fā)送指令請(qǐng)求，請(qǐng)求獲取網(wǎng)站頁(yè)面信息的數(shù)據(jù)；
[0024]步驟六，當(dāng)語(yǔ)言訓(xùn)練課程的教學(xué)視頻播放時(shí)，無(wú)線通信模塊接收到來(lái)自服務(wù)器模塊的網(wǎng)站學(xué)習(xí)頁(yè)面信息的數(shù)據(jù)，分析得到有效數(shù)據(jù)，傳遞給信息處理模塊，用于控制氣息模擬模塊的運(yùn)作和聲帶振動(dòng)模擬模塊的運(yùn)作；
[0025]步驟七，硬件設(shè)備中的信息處理模塊將無(wú)線通信模塊接收到的數(shù)據(jù)傳遞給控制氣息模擬模塊、聲帶振動(dòng)模擬模塊，同時(shí)控制控制氣息模擬模塊的運(yùn)作、聲帶振動(dòng)模擬模塊的運(yùn)作；同時(shí)傳遞數(shù)據(jù)給輸出模塊，輸出模塊控制氣息模擬模塊的運(yùn)作程度和聲帶振動(dòng)模擬模塊的運(yùn)作程度；
[0026]步驟八，聽(tīng)障兒童手持硬件設(shè)備，感受硬件設(shè)備根據(jù)視頻的內(nèi)容產(chǎn)生相應(yīng)的振動(dòng)和氣流，結(jié)合網(wǎng)站頁(yè)面上文字、圖片、舌型以及視頻中的口型和聲音，練習(xí)發(fā)聲；
[0027]步驟九，由語(yǔ)音準(zhǔn)確度反饋模塊捕捉兒童聲音，進(jìn)行語(yǔ)音識(shí)別和分析，以拼音形式反饋在學(xué)習(xí)頁(yè)面，和正確的發(fā)音拼音進(jìn)行比較，得出準(zhǔn)確度，以小星星形式評(píng)分反饋；
[0028]步驟十，數(shù)據(jù)記錄模塊記錄兒童學(xué)習(xí)得分和課程數(shù)據(jù)。
[0029]優(yōu)選地，所述評(píng)分的規(guī)則為兩個(gè)字的課程，兩字均發(fā)音錯(cuò)誤，評(píng)為零顆小星星；發(fā)對(duì)部分音節(jié)，評(píng)為一顆小星星；發(fā)對(duì)一字，評(píng)為二顆小星星；兩字均發(fā)音正確，評(píng)為三顆小星星。
[0030]與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果，(I)本發(fā)明可以讓聽(tīng)障兒童感受到模擬的聲帶振動(dòng)過(guò)程，代替?zhèn)鹘y(tǒng)人為教學(xué)環(huán)節(jié)，減輕父母等教學(xué)壓力，提高語(yǔ)言訓(xùn)練效率。
(2)本發(fā)明可以讓聽(tīng)障兒童感受并學(xué)習(xí)不同發(fā)音時(shí)的口腔氣流變化，代替?zhèn)鹘y(tǒng)人為教學(xué)環(huán)節(jié)，減輕父母等教學(xué)壓力，提高語(yǔ)言訓(xùn)練效率。(3)本發(fā)明可以提供實(shí)時(shí)發(fā)音反饋，代替?zhèn)鹘y(tǒng)人為反饋，減輕父母等教學(xué)壓力，提高學(xué)習(xí)效率。
【附圖說(shuō)明】
[0031]通過(guò)閱讀參照以下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯，
[0032]圖1為本發(fā)明聽(tīng)障兒童語(yǔ)言訓(xùn)練輔助系統(tǒng)的原理框圖。
[0033]圖2為本發(fā)明聽(tīng)障兒童語(yǔ)言訓(xùn)練輔助方法的流程圖。
【具體實(shí)施方式】
[0034]下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對(duì)本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。
[0035]如圖1所示，本發(fā)明聽(tīng)障兒童語(yǔ)言訓(xùn)練輔助系統(tǒng)包括:
[0036]視頻處理模塊101，用于調(diào)用電腦攝像頭，以及家長(zhǎng)錄制或播放教學(xué)課程視頻，將教學(xué)課程視頻傳送至服務(wù)器102或從服務(wù)器102獲取教學(xué)課程視頻；
[0037]服務(wù)器模塊102，存儲(chǔ)錄制的教學(xué)課程視頻，對(duì)無(wú)線通信模塊201發(fā)送數(shù)據(jù)；
[0038]無(wú)線通信模塊201，接收來(lái)自服務(wù)器模塊102的網(wǎng)站頁(yè)面信息的數(shù)據(jù)，獲取網(wǎng)站頁(yè)面信息的數(shù)據(jù)后，對(duì)其進(jìn)行分析來(lái)得到有效數(shù)據(jù)，傳遞給信息處理模塊202，用于控制氣息模擬模塊204和聲帶振動(dòng)模擬模塊205的運(yùn)作；
[0039]信息處理模塊202，通過(guò)多線程設(shè)計(jì)對(duì)無(wú)線通信模塊201產(chǎn)生的通信線程、氣息模擬模塊204產(chǎn)生的氣息模擬線程以及聲帶振動(dòng)模擬模塊205產(chǎn)生的聲帶振動(dòng)模擬線程進(jìn)行管理，從而使得各線程同時(shí)運(yùn)行，保障無(wú)線通信模塊201在接收數(shù)據(jù)之后及時(shí)將數(shù)據(jù)傳遞給輸出模塊203 ；
[0040]輸出模塊203，首先對(duì) GP1(General Purpose Input Output，通用輸入 / 輸出)進(jìn)行配置，通過(guò)在選定的兩個(gè)GP1 口輸出PWM(脈寬調(diào)制)波來(lái)控制氣息模擬模塊204的運(yùn)作程度和聲帶振動(dòng)模擬模塊205的運(yùn)作程度，PWM波的占空比由無(wú)線通信模塊201的處理數(shù)據(jù)確定；
[0041 ] 氣息模擬模塊204，氣息模擬模塊204可以采用風(fēng)扇，受信息處理模塊202控制，風(fēng)扇進(jìn)行轉(zhuǎn)動(dòng)；根據(jù)輸出模塊203的控制，產(chǎn)生不同的轉(zhuǎn)速，模擬不同發(fā)音時(shí)的口腔氣流的大??；
[0042]聲帶振動(dòng)模擬模塊205，聲帶振動(dòng)模擬模塊205可以采用振子，受信息處理模塊202控制，振子產(chǎn)生振動(dòng)；根據(jù)輸出模塊203的控制，產(chǎn)生不同的振動(dòng)強(qiáng)度，模擬不同發(fā)音時(shí)聲帶振動(dòng)的強(qiáng)弱；
[0043]語(yǔ)音準(zhǔn)確度反饋模塊103，用于對(duì)聽(tīng)障兒童發(fā)聲的音頻進(jìn)行語(yǔ)音識(shí)別和正誤判斷反饋，具體來(lái)說(shuō)，用于將由麥克風(fēng)獲取的聽(tīng)障兒童發(fā)聲的音頻輸出到語(yǔ)音識(shí)別接口，接收反饋并轉(zhuǎn)化為拼音，判斷正誤，產(chǎn)生學(xué)習(xí)記錄，傳輸給數(shù)據(jù)記錄模塊104 ;語(yǔ)音準(zhǔn)確度反饋模塊103包括麥克風(fēng)和語(yǔ)音識(shí)別接口 ；
[0044]數(shù)據(jù)記錄模塊104，用于所有課程數(shù)據(jù)、學(xué)習(xí)記錄等數(shù)據(jù)的存儲(chǔ)與處理，家長(zhǎng)可以查看所記錄的數(shù)據(jù)。
[0045]其中，無(wú)線通信模塊201、信息處理模塊202、輸出模塊203、氣息模擬模塊204、聲帶振動(dòng)模擬模塊205構(gòu)成硬件設(shè)備。
[0046]如圖2所示，本發(fā)明聽(tīng)障兒童語(yǔ)言訓(xùn)練輔助方法包括以下步驟，
[0047]SI，家長(zhǎng)登錄網(wǎng)站，選擇語(yǔ)言訓(xùn)練課程；
[0048]S2，判斷語(yǔ)言訓(xùn)練課程是否是錄制過(guò)的教學(xué)視頻，如果是錄制過(guò)的教學(xué)視頻，則執(zhí)行步驟S4 ;如果是未錄制過(guò)的教學(xué)視頻，則執(zhí)行步驟S3 ;
[0049]S3，若該語(yǔ)言訓(xùn)練課程是未錄制過(guò)的教學(xué)視頻，則通過(guò)視頻處理模塊101進(jìn)行教學(xué)視頻的錄制，錄制完成的教學(xué)視頻上