傳至服務(wù)器模塊102 ;
[0050]S4，語言訓(xùn)練課程錄制完成，進(jìn)入課程學(xué)習(xí)頁面；課程學(xué)習(xí)頁面左側(cè)為家長錄制的教學(xué)視頻，右側(cè)為攝像頭實(shí)時(shí)捕捉的兒童學(xué)習(xí)畫面；學(xué)習(xí)頁面上還有課程相配套的文字、圖片、拼音、發(fā)聲舌形示意圖；點(diǎn)擊播放語言訓(xùn)練課程的教學(xué)視頻；
[0051]S5，開啟硬件設(shè)備，硬件設(shè)備中的無線通信模塊201向服務(wù)器模塊102發(fā)送指令請求，請求獲取網(wǎng)站頁面信息的數(shù)據(jù)；
[0052]S6，當(dāng)語言訓(xùn)練課程的教學(xué)視頻播放時(shí)，無線通信模塊201接收到來自服務(wù)器模塊102的網(wǎng)站學(xué)習(xí)頁面信息的數(shù)據(jù)，分析得到有效數(shù)據(jù)，傳遞給信息處理模塊202，用于控制氣息模擬模塊204和聲帶振動模擬模塊205的運(yùn)作；
[0053]S7，硬件設(shè)備中的信息處理模塊202將無線通信模塊201接收到的數(shù)據(jù)傳遞給控制氣息模擬模塊204、聲帶振動模擬模塊205，同時(shí)控制它們(氣息模擬模塊204、聲帶振動模擬模塊205)的運(yùn)作；同時(shí)傳遞數(shù)據(jù)給輸出模塊203，輸出模塊203控制氣息模擬模塊204和聲帶振動模擬模塊205的運(yùn)作程度；
[0054]S8，聽障兒童手持硬件設(shè)備，感受硬件設(shè)備根據(jù)視頻的內(nèi)容產(chǎn)生相應(yīng)的振動和氣流(模擬人說話時(shí)的聲帶振動和氣流變化)，結(jié)合網(wǎng)站頁面上文字、圖片、舌型以及視頻中的口型和聲音，練習(xí)發(fā)聲；
[0055]S9，由語音準(zhǔn)確度反饋模塊103捕捉兒童聲音，進(jìn)行語音識別和分析，以拼音形式反饋在學(xué)習(xí)頁面，和正確的發(fā)音拼音進(jìn)行比較，得出準(zhǔn)確度，以小星星形式評分反饋；評分的規(guī)則為兩個(gè)字的課程，兩字均發(fā)音錯(cuò)誤，評為零顆小星星；發(fā)對部分音節(jié)，評為一顆小星星；發(fā)對一字，評為二顆小星星；兩字均發(fā)音正確，評為三顆小星星；
[0056]S10，數(shù)據(jù)記錄模塊104記錄兒童學(xué)習(xí)得分和課程數(shù)據(jù)。家長可以在網(wǎng)站上查看某語言訓(xùn)練課程學(xué)習(xí)一段時(shí)間內(nèi)兒童對的發(fā)音準(zhǔn)確度情況，以及一段時(shí)間內(nèi)所學(xué)課程的記錄。
[0057]實(shí)施舉例一，開啟硬件設(shè)備，硬件設(shè)備中的無線通信模塊201向服務(wù)器模塊102發(fā)送指令請求。當(dāng)網(wǎng)站中某課程的教學(xué)視頻開始播放時(shí)，無線通信模塊201接收到來自服務(wù)器模塊102的某語言訓(xùn)練課程視頻的相關(guān)數(shù)據(jù)，獲取并分析某語言訓(xùn)練課程的網(wǎng)站學(xué)習(xí)頁面信息，得到有效數(shù)據(jù)。信息處理模塊202將有效數(shù)據(jù)傳遞給輸出模塊203，同時(shí)控制聲帶振動t旲擬t旲塊205開始振動，輸出t旲塊203控制振動強(qiáng)弱，t旲擬人說話時(shí)的聲帶振動。聽障兒童通過觸摸硬件感受人說話時(shí)的聲帶振動。
[0058]實(shí)施舉例二，開啟硬件設(shè)備，硬件設(shè)備中的無線通信模塊201向服務(wù)器模塊102發(fā)送指令請求。當(dāng)網(wǎng)站中某課程的教學(xué)視頻開始播放時(shí)，無線通信模塊201接收到來自服務(wù)器模塊102的某課程視頻的相關(guān)數(shù)據(jù)，獲取并分析某課程的網(wǎng)站學(xué)習(xí)頁面信息，得到有效數(shù)據(jù)。信息處理模塊202將數(shù)據(jù)傳遞給輸出模塊203，同時(shí)控制氣息模擬模塊開始轉(zhuǎn)動，輸出模塊203控制轉(zhuǎn)速大小，模擬人說話時(shí)塞擦音(包括送氣音、不送氣音)和擦音的不同口腔氣流特點(diǎn)。聽障兒童通過靠近硬件感受人說話時(shí)的口腔氣流變化。
[0059]實(shí)施舉例三，語音準(zhǔn)確度反饋模塊中103中的麥克風(fēng)獲取的聽障兒童發(fā)聲的音頻輸出到語音識別接口，調(diào)用科大訊飛語音識別系統(tǒng)的API接口，將獲取到的發(fā)音與科大訊飛語音識別系統(tǒng)中的數(shù)據(jù)庫相匹配，找到對應(yīng)的文字，進(jìn)而轉(zhuǎn)化為拼音，與課程預(yù)設(shè)定的正確拼音進(jìn)行比較，判斷發(fā)音準(zhǔn)確度，頁面高亮錯(cuò)誤處的拼音，作為錯(cuò)誤發(fā)音反饋提示。同時(shí)以小星星形式作為評分反饋。評分規(guī)則為兩個(gè)字的課程，兩字均發(fā)音錯(cuò)誤，評為零顆小星星；發(fā)對部分音節(jié)，評為一顆小星星；發(fā)對一字，評為二顆小星星；兩字均發(fā)音正確，評為三顆小星星。為聽障兒童語言訓(xùn)練提供即時(shí)反饋，提高學(xué)習(xí)效率。
[0060]以上對本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述特定實(shí)施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改，這并不影響本發(fā)明的實(shí)質(zhì)內(nèi)容。
【主權(quán)項(xiàng)】
1.一種聽障兒童語言訓(xùn)練輔助系統(tǒng)，其特征在于，包括: 視頻處理模塊，用于調(diào)用電腦攝像頭，以及家長錄制或播放教學(xué)課程視頻，將教學(xué)課程視頻傳送至服務(wù)器或從服務(wù)器獲取教學(xué)課程視頻； 服務(wù)器模塊，存儲錄制的教學(xué)課程視頻，對無線通信模塊發(fā)送數(shù)據(jù)； 無線通信模塊，接收來自服務(wù)器模塊的網(wǎng)站頁面信息的數(shù)據(jù)，獲取網(wǎng)站頁面信息的數(shù)據(jù)后，對其進(jìn)行分析來得到有效數(shù)據(jù)，傳遞給信息處理模塊，用于控制氣息模擬模塊的運(yùn)作和聲帶振動模擬模塊的運(yùn)作； 信息處理模塊，通過多線程設(shè)計(jì)對無線通信模塊產(chǎn)生的通信線程、氣息模擬模塊產(chǎn)生的氣息模擬線程以及聲帶振動模擬模塊產(chǎn)生的聲帶振動模擬線程進(jìn)行管理，從而使得各線程同時(shí)運(yùn)行，保障無線通信模塊在接收數(shù)據(jù)之后及時(shí)將數(shù)據(jù)傳遞給輸出模塊； 輸出模塊，首先對GP1進(jìn)行配置，通過在選定的兩個(gè)GP1 口輸出PWM波來控制氣息模擬模塊的運(yùn)作程度和聲帶振動模擬模塊的運(yùn)作程度，PWM波的占空比由無線通信模塊的處理數(shù)據(jù)確定； 氣息模擬模塊，受信息處理模塊控制，氣息模擬模塊進(jìn)行轉(zhuǎn)動；根據(jù)輸出模塊的控制，產(chǎn)生不同的轉(zhuǎn)速，模擬不同發(fā)音時(shí)的口腔氣流的大?。? 聲帶振動模擬模塊，受信息處理模塊控制，聲帶振動模擬模塊產(chǎn)生振動；根據(jù)輸出模塊的控制，產(chǎn)生不同的振動強(qiáng)度，模擬不同發(fā)音時(shí)聲帶振動的強(qiáng)弱； 語音準(zhǔn)確度反饋模塊，用于將由麥克風(fēng)獲取的聽障兒童發(fā)聲的音頻輸出到語音識別接口，接收反饋并轉(zhuǎn)化為拼音，判斷正誤，產(chǎn)生學(xué)習(xí)記錄，傳輸給數(shù)據(jù)記錄模塊； 數(shù)據(jù)記錄模塊，用于所有課程數(shù)據(jù)、學(xué)習(xí)記錄的存儲與處理，家長查看所記錄的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的聽障兒童語言訓(xùn)練輔助系統(tǒng)，其特征在于，所述氣息模擬模塊米用風(fēng)扇。
3.根據(jù)權(quán)利要求1所述的聽障兒童語言訓(xùn)練輔助系統(tǒng)，其特征在于，所述聲帶振動模擬模塊采用振子。
4.根據(jù)權(quán)利要求1所述的聽障兒童語言訓(xùn)練輔助系統(tǒng)，其特征在于，所述語音準(zhǔn)確度反饋模塊包括麥克風(fēng)和語音識別接口。
5.根據(jù)權(quán)利要求1所述的聽障兒童語言訓(xùn)練輔助系統(tǒng)，其特征在于，所述無線通信模塊、信息處理模塊、輸出模塊、氣息模擬模塊、聲帶振動模擬模塊構(gòu)成硬件設(shè)備。
6.一種聽障兒童語言訓(xùn)練輔助方法，其特征在于，其包括以下步驟: 步驟一，家長登錄網(wǎng)站，選擇語言訓(xùn)練課程； 步驟二，判斷語言訓(xùn)練課程是否是錄制過的教學(xué)視頻，如果是錄制過的教學(xué)視頻，則執(zhí)行步驟四；如果是未錄制過的教學(xué)視頻，則執(zhí)行步驟三； 步驟三，若該語言訓(xùn)練課程是未錄制過的教學(xué)視頻，則通過視頻處理模塊進(jìn)行教學(xué)視頻的錄制，錄制完成的教學(xué)視頻上傳至服務(wù)器模塊； 步驟四，語言訓(xùn)練課程錄制完成，進(jìn)入課程學(xué)習(xí)頁面；課程學(xué)習(xí)頁面左側(cè)為家長錄制的教學(xué)視頻，右側(cè)為攝像頭實(shí)時(shí)捕捉的兒童學(xué)習(xí)畫面；學(xué)習(xí)頁面上還有課程相配套的文字、圖片、拼音、發(fā)聲舌形示意圖；點(diǎn)擊播放語言訓(xùn)練課程的教學(xué)視頻； 步驟五，開啟硬件設(shè)備，硬件設(shè)備中的無線通信模塊向服務(wù)器模塊發(fā)送指令請求，請求獲取網(wǎng)站頁面信息的數(shù)據(jù)； 步驟六，當(dāng)語言訓(xùn)練課程的教學(xué)視頻播放時(shí)，無線通信模塊接收到來自服務(wù)器模塊的網(wǎng)站學(xué)習(xí)頁面信息的數(shù)據(jù)，分析得到有效數(shù)據(jù)，傳遞給信息處理模塊，用于控制氣息模擬模塊的運(yùn)作和聲帶振動模擬模塊的運(yùn)作； 步驟七，硬件設(shè)備中的信息處理模塊將無線通信模塊接收到的數(shù)據(jù)傳遞給控制氣息模擬模塊、聲帶振動模擬模塊，同時(shí)控制控制氣息模擬模塊的運(yùn)作、聲帶振動模擬模塊的運(yùn)作；同時(shí)傳遞數(shù)據(jù)給輸出模塊，輸出模塊控制氣息模擬模塊的運(yùn)作程度和聲帶振動模擬模塊的運(yùn)作程度； 步驟八，聽障兒童手持硬件設(shè)備，感受硬件設(shè)備根據(jù)視頻的內(nèi)容產(chǎn)生相應(yīng)的振動和氣流，結(jié)合網(wǎng)站頁面上文字、圖片、舌型以及視頻中的口型和聲音，練習(xí)發(fā)聲； 步驟九，由語音準(zhǔn)確度反饋模塊捕捉兒童聲音，進(jìn)行語音識別和分析，以拼音形式反饋在學(xué)習(xí)頁面，和正確的發(fā)音拼音進(jìn)行比較，得出準(zhǔn)確度，以小星星形式評分反饋； 步驟十，數(shù)據(jù)記錄模塊記錄兒童學(xué)習(xí)得分和課程數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的聽障兒童語言訓(xùn)練輔助方法，其特征在于，所述評分的規(guī)則為兩個(gè)字的課程，兩字均發(fā)音錯(cuò)誤，評為零顆小星星；發(fā)對部分音節(jié)，評為一顆小星星；發(fā)對一字，評為二顆小星星；兩字均發(fā)音正確，評為三顆小星星。
【專利摘要】本發(fā)明提供了一種聽障兒童語言訓(xùn)練輔助系統(tǒng)及方法，該系統(tǒng)包括：視頻處理模塊，用于調(diào)用電腦攝像頭；服務(wù)器模塊，存儲錄制的教學(xué)課程視頻；無線通信模塊，接收來自服務(wù)器模塊的數(shù)據(jù)；信息處理模塊，保障無線通信模塊在接收數(shù)據(jù)之后及時(shí)將數(shù)據(jù)傳遞給輸出模塊；輸出模塊，通過在兩個(gè)GPIO口輸出PWM波來控制氣息模擬模塊的運(yùn)作程度和聲帶振動模擬模塊的運(yùn)作程度；氣息模擬模塊，受信息處理模塊控制進(jìn)行轉(zhuǎn)動；聲帶振動模擬模塊，受信息處理模塊控制產(chǎn)生振動；語音準(zhǔn)確度反饋模塊，用于將聽障兒童發(fā)聲的音頻輸出到語音識別接口；數(shù)據(jù)記錄模塊，用于所有課程數(shù)據(jù)等的存儲與處理。本發(fā)明提供發(fā)音技巧的指導(dǎo)，針對單個(gè)發(fā)音練習(xí)進(jìn)行準(zhǔn)確度反饋。
【IPC分類】G09B21-00
【公開號】CN104537926
【申請?zhí)枴緾N201410719600
【發(fā)明人】楊穎 , 劉強(qiáng), 蔡文懌, 高嘉俊, 余良駒, 陳序建, 吳偉迪, 荊婧, 韓挺
【申請人】上海交通大學(xué)
【公開日】2015年4月22日
【申請日】2014年12月1日