構(gòu)音障礙識別的方法、系統(tǒng)和裝置制造方法
【專利摘要】本發(fā)明提供了一種構(gòu)音障礙識別的方法，所述方法包括:獲取樣本數(shù)據(jù)，對所述樣本數(shù)據(jù)進行校準去噪，所述樣本數(shù)據(jù)包括語音數(shù)據(jù)和器官運動數(shù)據(jù)；提取所述語音數(shù)據(jù)的共振峰值，計算樣本聲學(xué)參數(shù)；計算所述器官運動數(shù)據(jù)的舌唇偏移位移；計算所述器官運動數(shù)據(jù)的樣本運動學(xué)參數(shù)；對所述共振峰值和所述舌唇偏移位移進行相關(guān)性計算，對所述樣本聲學(xué)參數(shù)和所述樣本運動學(xué)參數(shù)進行多元回歸計算，得到回歸方程；獲取采集數(shù)據(jù)，根據(jù)所述回歸方程計算目標運動學(xué)參數(shù)；根據(jù)所述樣本運動學(xué)參數(shù)和所述目標運動學(xué)參數(shù)，對所述采集數(shù)據(jù)進行識別并分類。采用該方法能有效地提高構(gòu)音障礙識別的準確度。此外，還提供了一種構(gòu)音障礙識別的裝置和系統(tǒng)。
【專利說明】構(gòu)音障礙識別的方法、系統(tǒng)和裝置【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及語音輔助工具領(lǐng)域，特別是涉及一種構(gòu)音障礙識別的方法、裝置和系統(tǒng)。
【背景技術(shù)】
[0002]隨著社會發(fā)展，人與人之間的語言交流在社會生活各個方面的作用越來越重要，因此語言交流過程中的諸多問題也日益受到重視。其中，構(gòu)音障礙是最常見的語言障礙，嚴重影響患者日常的交流和正常的心理發(fā)育。實踐證明對構(gòu)音障礙的患者進行語言訓(xùn)練效果較好，而語音訓(xùn)練的關(guān)鍵是對患者進行準確地評價，因此找出患者和正常人的發(fā)音區(qū)別和特點并進行準確有效的評價有著非常重要的意義。
[0003]目前，對構(gòu)音障礙進行檢測與評估的方法主要是從語音中提取共振峰數(shù)值，利用共振峰數(shù)值代替舌部運動數(shù)據(jù)來計算聲學(xué)參數(shù)，并根據(jù)得到的聲學(xué)參數(shù)評估構(gòu)音障礙。其中第一共振峰Fl用于表示舌部的上下運動，第二共振峰F2用于表示舌部的前后運動。
[0004]然而，聲學(xué)參數(shù)評估的缺點主要是共振峰能否完全替代患者說話時的舌部真實運動數(shù)據(jù)尚未可知，因此，根據(jù)共振峰計算出來的聲學(xué)參數(shù)去檢測評估構(gòu)音障礙的準確性不聞。

【發(fā)明內(nèi)容】

[0005]基于此，有必要提供一種準確度高的構(gòu)音障礙識別的方法。
[0006]一種構(gòu)音障礙識別的方法，包括:
[0007]獲取樣本數(shù)據(jù)，對所述樣本數(shù)據(jù)進行校準去噪，所述樣本數(shù)據(jù)包括語音數(shù)據(jù)和器官運動數(shù)據(jù)，所述器官運動數(shù)據(jù)包括舌`部運動數(shù)據(jù)和唇部運動數(shù)據(jù)；
[0008]提取所述語音數(shù)據(jù)的共振峰值，根據(jù)所述共振峰值計算所述語音數(shù)據(jù)的樣本聲學(xué)參數(shù)；
[0009]根據(jù)所述器官運動數(shù)據(jù)計算舌唇偏移位移；
[0010]根據(jù)所述舌唇偏移位移計算與所述器官運動數(shù)據(jù)對應(yīng)的樣本運動學(xué)參數(shù)；
[0011]對所述共振峰值和所述舌唇偏移位移進行相關(guān)性計算，判斷所述共振峰值和所述舌唇偏移位移是否相關(guān)，若是，則對所述樣本聲學(xué)參數(shù)和所述樣本運動學(xué)參數(shù)進行多元回歸計算，得到回歸方程；
[0012]獲取采集數(shù)據(jù)，根據(jù)所述回歸方程計算與所述采集數(shù)據(jù)的語音數(shù)據(jù)對應(yīng)的目標運動學(xué)參數(shù)；
[0013]根據(jù)所述樣本運動學(xué)參數(shù)和所述目標運動學(xué)參數(shù)，對所述采集數(shù)據(jù)進行識別并分類。
[0014]在其中一個實施例中，所述獲取樣本數(shù)據(jù)的步驟為:通過電磁發(fā)音記錄儀采集獲取樣本數(shù)據(jù)。
[0015]在其中一個實施例中，所述根據(jù)所述器官運動數(shù)據(jù)計算舌唇偏移位移的步驟包括:
[0016]獲取所述語音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段；
[0017]在所述器官運動數(shù)據(jù)中分別獲取與所述語音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段對應(yīng)的子發(fā)音數(shù)據(jù)段和子靜音數(shù)據(jù)段；
[0018]選取所述器官運動數(shù)據(jù)的子靜音數(shù)據(jù)段中運動軌跡最平穩(wěn)的數(shù)據(jù)段，在所述數(shù)據(jù)段中設(shè)定窗口，計算所述窗口中坐標值的方差，選取所述方差最小的窗口作為目標窗口，提取所述目標窗口中坐標值的平均值作為靜態(tài)幀；
[0019]在所述器官運動數(shù)據(jù)的子發(fā)音數(shù)據(jù)段中提取關(guān)鍵幀，所述關(guān)鍵幀為與所述靜態(tài)幀的坐標值的舌唇偏移位移最大時的動態(tài)幀;
[0020]獲取基準發(fā)音坐標系，根據(jù)所述基準發(fā)音坐標系對所述靜態(tài)幀和所述動態(tài)幀分別進行歸一化，得到標準靜態(tài)幀和標準動態(tài)幀;
[0021]計算所述標準動態(tài)幀的坐標值與所述標準靜態(tài)幀的坐標值的差值，根據(jù)所述差值得到與所述器官運動數(shù)據(jù)對應(yīng)的舌唇偏移位移。
[0022]在其中一個實施例中,所述對所述樣本聲學(xué)參數(shù)和所述樣本運動學(xué)參數(shù)進行多元回歸分析的步驟包括采用最小二乘法對所述樣本聲學(xué)參數(shù)和所述樣本運動學(xué)參數(shù)進行多元回歸計算。
[0023]在其中一個實施例中，所述獲取樣本數(shù)據(jù)的步驟之后還包括:
[0024]獲取所述樣本數(shù)據(jù)的舌部運動數(shù)據(jù)的坐標差值和所述坐標差值對應(yīng)的時間間隔，計算舌部速度閾值和舌部加速度閾值。
·[0025]在其中一個實施例中，所述獲取采集數(shù)據(jù)的步驟之后還包括:
[0026]獲取所述采集數(shù)據(jù)的舌部運動數(shù)據(jù)的坐標差值和所述坐標差值對應(yīng)的時間間隔，計算目標舌部速度數(shù)據(jù)和目標舌部加速度數(shù)據(jù)；
[0027]根據(jù)所述舌部速度閾值、舌部加速度閾值和所述目標舌部速度數(shù)據(jù)、目標舌部加速度數(shù)據(jù)，對所述采集數(shù)據(jù)進行識別并分類。
[0028]一種構(gòu)音障礙識別的裝置，包括:
[0029]樣本數(shù)據(jù)獲取模塊，用于獲取樣本數(shù)據(jù)，對所述樣本數(shù)據(jù)進行校準去噪，所述樣本數(shù)據(jù)包括語音數(shù)據(jù)和器官運動數(shù)據(jù)，所述器官運動數(shù)據(jù)包括舌部運動數(shù)據(jù)和唇部運動數(shù)據(jù)；
[0030]樣本聲學(xué)參數(shù)計算模塊，用于提取所述語音數(shù)據(jù)的共振峰值，根據(jù)所述共振峰值計算所述語音數(shù)據(jù)的樣本聲學(xué)參數(shù)；
[0031]偏移位移計算模塊，用于根據(jù)所述器官運動數(shù)據(jù)計算舌唇偏移位移；
[0032]樣本運動學(xué)參數(shù)計算模塊，用于根據(jù)所述舌唇偏移位移計算與所述器官運動數(shù)據(jù)對應(yīng)的樣本運動學(xué)參數(shù)；
[0033]回歸計算模塊，用于對所述共振峰值和所述舌唇偏移位移進行相關(guān)性計算，判斷所述共振峰值和所述舌唇偏移位移是否相關(guān)，若是，則對所述樣本聲學(xué)參數(shù)和所述樣本運動學(xué)參數(shù)進行多元回歸計算，得到回歸方程；
[0034]目標運動學(xué)參數(shù)計算模塊，用于獲取采集數(shù)據(jù)，根據(jù)所述回歸方程計算與所述采集數(shù)據(jù)的語音數(shù)據(jù)對應(yīng)的目標運動學(xué)參數(shù)；
[0035]識別模塊，用于根據(jù)所述樣本運動學(xué)參數(shù)和所述目標運動學(xué)參數(shù)，對所述采集數(shù)據(jù)進行識別并分類。[0036]在其中一個實施例中，所述樣本數(shù)據(jù)采集模塊通過電磁發(fā)音記錄儀采集獲取樣本數(shù)據(jù)。
[0037]在其中一個實施例中，所述偏移位移計算模塊包括:
[0038]第一數(shù)據(jù)獲取模塊，用于獲取所述語音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段；
[0039]第二數(shù)據(jù)獲取模塊，用于在所述器官運動數(shù)據(jù)中分別獲取與所述語音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段對應(yīng)的子發(fā)音數(shù)據(jù)段和子靜音數(shù)據(jù)段；
[0040]靜態(tài)幀提取模塊，用于選取所述器官運動數(shù)據(jù)的子靜音數(shù)據(jù)段中運動軌跡最平穩(wěn)的數(shù)據(jù)段，在所述數(shù)據(jù)段中設(shè)定窗口，計算所述窗口中坐標值的方差，選取所述方差最小的窗口作為目標窗口，提取所述目標窗口中坐標值的平均值作為靜態(tài)幀；
[0041]關(guān)鍵幀提取模塊，用于在所述器官運動數(shù)據(jù)的子發(fā)音數(shù)據(jù)段中提取關(guān)鍵幀，所述關(guān)鍵幀為與所述靜態(tài)幀的坐標值的舌唇偏移位移最大時的動態(tài)幀;
[0042]歸一化模塊，用于獲取基準發(fā)音坐標系，根據(jù)所述基準發(fā)音坐標系對所述靜態(tài)幀和所述動態(tài)幀分別進行歸一化，得到標準靜態(tài)幀和標準動態(tài)幀;
[0043]計算模塊，用于計算所述標準動態(tài)幀的坐標值與所述標準靜態(tài)幀的坐標值的差值，根據(jù)所述差值得到與所述器官運動數(shù)據(jù)對應(yīng)的舌唇偏移位移。
[0044]在其中一個實施例中，所述回歸計算模塊采用最小二乘法對所述樣本聲學(xué)參數(shù)和所述樣本運動學(xué)參數(shù)進行多元回歸計算。
[0045]在其中一個實施例中，所述裝置還包括速度閾值計算模塊，所述速度閾值計算模塊用于獲取所述樣本數(shù)據(jù)的舌部運動數(shù)據(jù)的坐標差值和所述坐標差值對應(yīng)的時間間隔，計算舌部速度閾值和舌部加速度閾值。
[0046]在其中一個實施例中，所述裝置還包括目標速度計算模塊，所述目標計算模塊用于獲取所述采集數(shù)據(jù)的舌部運動數(shù)據(jù)的坐標差值和所述坐標差值對應(yīng)的時間間隔，計算目標舌部速度數(shù)據(jù)和目標舌部加速度數(shù)據(jù)；
[0047]所述識別模塊還用于根據(jù)所述舌部速度閾值、舌部加速度閾值和所述目標舌部速度數(shù)據(jù)、目標舌部加速度數(shù)據(jù)，對所述采集數(shù)據(jù)進行識別并分類。
[0048]一種構(gòu)音障礙識別的系統(tǒng)，包括電磁發(fā)音記錄儀、聲學(xué)參數(shù)計算組件、運動學(xué)參數(shù)計算組件和中央處理組件，所述電磁發(fā)音記錄儀分別連接所述聲學(xué)參數(shù)計算組件和所述運動學(xué)參數(shù)計算組件，所述中央處理組件分別連接所述聲學(xué)參數(shù)計算組件和所述運動學(xué)參數(shù)計算組件；
[0049]所述電磁發(fā)音記錄儀用于采集樣本數(shù)據(jù)，對所述樣本數(shù)據(jù)進行校準去噪，所述樣本數(shù)據(jù)包括語音數(shù)據(jù)和器官運動數(shù)據(jù)，所述器官運動數(shù)據(jù)包括舌部運動數(shù)據(jù)和唇部運動數(shù)據(jù)；
[0050]所述聲學(xué)參數(shù)計算組件用于提取所述語音數(shù)據(jù)的共振峰值，根據(jù)所述共振峰值計算所述語音數(shù)據(jù)的樣本聲學(xué)參數(shù)；
[0051]所述運動學(xué)參數(shù)計算組件用于根據(jù)所述器官運動數(shù)據(jù)計算舌唇偏移位移，根據(jù)所述舌唇偏移位移計算與所述器官運動數(shù)據(jù)對應(yīng)的樣本運動學(xué)參數(shù)；
[0052]所述中央處理組件用于對所述樣本聲學(xué)參數(shù)和所述樣本運動學(xué)參數(shù)進行多元回歸計算，得到回歸方程。[0053]在其中一個實施例中，所述系統(tǒng)還包括識別組件，所述識別組件連接所述中央處理組件；
[0054]所述電磁發(fā)音記錄儀還用于獲取采集數(shù)據(jù)；
[0055]所述中央處理組件還用于根據(jù)所述采集數(shù)據(jù)的目標聲學(xué)參數(shù)和所述回歸方程，計算所述采集數(shù)據(jù)的目標運動學(xué)參數(shù)；
[0056]所述識別組件用于根據(jù)所述樣本運動學(xué)參數(shù)和所述目標運動學(xué)參數(shù)，對所述采集數(shù)據(jù)進行識別并分類。
[0057]在其中一個實施例中，所述電磁發(fā)音記錄儀包括語音傳感器和運動傳感器和校準單元；
[0058]所述語音傳感器用于采集所述語音數(shù)據(jù)；
[0059]所述運動傳感器用于采集所述器官運動數(shù)據(jù)；
[0060]所述校準單元用于對所述語音數(shù)據(jù)和所述器官運動數(shù)據(jù)進行校準去噪。
[0061]上述構(gòu)音障礙識別的方法，利用待測者語音數(shù)據(jù)的聲學(xué)參數(shù)和回歸方程，可直接得到待測者對應(yīng)的運動學(xué)參數(shù)，進而根據(jù)聲學(xué)參數(shù)和運動學(xué)參數(shù)識別該待測者是否有構(gòu)音障礙，避免了傳統(tǒng)的方法僅靠聲學(xué)參數(shù)識別所帶來的誤差，從而提高了識別構(gòu)音障礙的準確度。
【專利附圖】

【附圖說明】
[0062]圖1為一個實施例中構(gòu)音障礙識別的方法的流程示意圖；
[0063]圖2為一個實施例中計算偏移位移的流程示意圖；
[0064]圖3為一個實施例中構(gòu)音障礙識別的裝置的結(jié)構(gòu)框圖；
[0065]圖4為一個實施例中偏移位移計算模塊的結(jié)構(gòu)框圖；
[0066]圖5為一個實施例中構(gòu)音障礙識別的系統(tǒng)的結(jié)構(gòu)框圖；
[0067]圖6為一個實施例中構(gòu)音障礙識別的系統(tǒng)的結(jié)構(gòu)框圖。
【具體實施方式】
[0068]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0069]如圖1所示，在一個實施例中，提出了一種構(gòu)音障礙識別方法，該方法的數(shù)據(jù)通過電磁發(fā)音記錄儀(EMA, Electro Magnetic Articulography AG501)采集，該方法包括:
[0070]步驟S102，獲取樣本數(shù)據(jù)，對樣本數(shù)據(jù)進行校準去噪，樣本數(shù)據(jù)包括語音數(shù)據(jù)和器官運動數(shù)據(jù)，器官運動數(shù)據(jù)包括舌部運動數(shù)據(jù)和唇部運動數(shù)據(jù)。
[0071]樣本數(shù)據(jù)即通過電磁發(fā)音記錄儀采集多個發(fā)音正常的錄音者所得到的數(shù)據(jù)。校準去噪是指對該樣本數(shù)據(jù)進行校準，以避免在錄音過程中，由于錄音者頭部的移動而導(dǎo)致樣本數(shù)據(jù)的坐標值產(chǎn)生偏差。語音數(shù)據(jù)是采集錄音者的錄音所得到的聲頻數(shù)據(jù)，器官運動數(shù)據(jù)是錄音者錄音時其舌部和唇部的三維坐標值。
[0072]具體的，電磁發(fā)音記錄儀有16個通道，每個通道可以插1個傳感器。在本實施例中，在錄音者頭部貼13個傳感器，包括:鼻梁1個、左耳垂1個、右耳垂1個，舌頭3個(舌根、舌中、舌尖)、下牙床I個、嘴唇4個(上下唇、左右嘴角)、臉頰2個(左臉頰、右臉頰)。其中，鼻梁、左耳垂、右耳垂及上唇這4個傳感器所采集的坐標值用于校準。舌根、舌中、舌尖以及上下嘴唇、左右嘴唇7個傳感器所采集的三維坐標值即為器官運動數(shù)據(jù)。
[0073]進一步的,錄音者讀4個元音/a/,/i/,/u/ 12d每個元音讀3遍,每遍讀的間隔為5到10秒。電磁發(fā)音記錄儀以48KHz的頻率采集錄音者的錄音，以250KHz的頻率采集錄音者舌部和唇部的坐標值。
[0074]步驟S104，提取語音數(shù)據(jù)的共振峰值，根據(jù)共振峰值計算語音數(shù)據(jù)的樣本聲學(xué)參數(shù)。
[0075]共振峰值包括第一共振峰值和第二共振峰值，第一共振峰值用于表示舌部的上下運動，第二共振峰值用于表示舌部的前后運動。
[0076]在本實施例中，根據(jù)語音數(shù)據(jù)的共振峰值計算該語音數(shù)據(jù)的樣本聲學(xué)參數(shù)，不同的樣本聲學(xué)參數(shù)可反應(yīng)構(gòu)音障礙患者不同的特征。
[0077]具體的，樣本聲學(xué)參數(shù)包括TVSA，F(xiàn)CR3, VAI3, FCR4, VAI4, F1RR, F2RR 和 AVS。TVSA為元音/a/，/i/, /u/在聲學(xué)元音圖中的面積，用于反映個體語音變化，正常人的TVSA值比構(gòu)音障礙患者的要大。TVSA可根據(jù)公式:
[0078]
【權(quán)利要求】
1.一種構(gòu)音障礙識別的方法，包括: 獲取樣本數(shù)據(jù)，對所述樣本數(shù)據(jù)進行校準去噪，所述樣本數(shù)據(jù)包括語音數(shù)據(jù)和器官運動數(shù)據(jù)，所述器官運動數(shù)據(jù)包括舌部運動數(shù)據(jù)和唇部運動數(shù)據(jù)； 提取所述語音數(shù)據(jù)的共振峰值，根據(jù)所述共振峰值計算所述語音數(shù)據(jù)的樣本聲學(xué)參數(shù)； 根據(jù)所述器官運動數(shù)據(jù)計算舌唇偏移位移； 根據(jù)所述舌唇偏移位移計算與所述器官運動數(shù)據(jù)對應(yīng)的樣本運動學(xué)參數(shù)； 對所述共振峰值和所述舌唇偏移位移進行相關(guān)性計算，判斷所述共振峰值和所述舌唇偏移位移是否相關(guān)，若是，則對所述樣本聲學(xué)參數(shù)和所述樣本運動學(xué)參數(shù)進行多元回歸計算，得到回歸方程； 獲取采集數(shù)據(jù)，根據(jù)所述回歸方程計算與所述采集數(shù)據(jù)的語音數(shù)據(jù)對應(yīng)的目標運動學(xué)參數(shù)； 根據(jù)所述樣本運動學(xué)參數(shù)和所述目標運動學(xué)參數(shù)，對所述采集數(shù)據(jù)進行識別并分類。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取樣本數(shù)據(jù)的步驟為:通過電磁發(fā)音記錄儀采集獲取樣本數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述器官運動數(shù)據(jù)計算舌唇偏移位移的步驟包括: 獲取所述語音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段； 在所述器官運動數(shù)據(jù)中分別獲取與所述語音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段對應(yīng)的子發(fā)音數(shù)據(jù)段和子靜音數(shù)據(jù)段； 選取所述器官運動數(shù)據(jù)的子靜音數(shù)據(jù)段中運動軌跡最平穩(wěn)的數(shù)據(jù)段，在所述數(shù)據(jù)段中設(shè)定窗口，計算所述窗口中坐標值的方差，選取所述方差最小的窗口作為目標窗口，提取所述目標窗口中坐標值的平均值作為靜態(tài)幀； 在所述器官運動數(shù)據(jù)的子發(fā)音數(shù)據(jù)段中提取關(guān)鍵幀，所述關(guān)鍵幀為與所述靜態(tài)幀的坐標值的舌唇偏移位移最大時的動態(tài)幀; 獲取基準發(fā)音坐標系，根據(jù)所述基準發(fā)音坐標系對所述靜態(tài)幀和所述動態(tài)幀分別進行歸一化，得到標準靜態(tài)幀和標準動態(tài)幀； 計算所述標準動態(tài)幀的坐標值與所述標準靜態(tài)幀的坐標值的差值，根據(jù)所述差值得到與所述器官運動數(shù)據(jù)對應(yīng)的舌唇偏移位移。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述樣本聲學(xué)參數(shù)和所述樣本運動學(xué)參數(shù)進行多元回歸分析的步驟包括采用最小二乘法對所述樣本聲學(xué)參數(shù)和所述樣本運動學(xué)參數(shù)進行多元回歸計算。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取樣本數(shù)據(jù)的步驟之后還包括: 獲取所述樣本數(shù)據(jù)的舌部運動數(shù)據(jù)的坐標差值和所述坐標差值對應(yīng)的時間間隔，計算舌部速度閾值和舌部加速度閾值。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述獲取采集數(shù)據(jù)的步驟之后還包括: 獲取所述采集數(shù)據(jù)的舌部運動數(shù)據(jù)的坐標差值和所述坐標差值對應(yīng)的時間間隔，計算目標舌部速度數(shù)據(jù)和目標舌部加速度數(shù)據(jù)； 根據(jù)所述舌部速度閾值、舌部加速度閾值和所述目標舌部速度數(shù)據(jù)、目標舌部加速度數(shù)據(jù)，對所述采集數(shù)據(jù)進行識別并分類。
7.一種構(gòu)音障礙識別的裝置，包括: 樣本數(shù)據(jù)獲取模塊，用于獲取樣本數(shù)據(jù)，對所述樣本數(shù)據(jù)進行校準去噪，所述樣本數(shù)據(jù)包括語音數(shù)據(jù)和器官運動數(shù)據(jù)，所述器官運動數(shù)據(jù)包括舌部運動數(shù)據(jù)和唇部運動數(shù)據(jù)；樣本聲學(xué)參數(shù)計算模塊，用于提取所述語音數(shù)據(jù)的共振峰值，根據(jù)所述共振峰值計算所述語音數(shù)據(jù)的樣本聲學(xué)參數(shù)； 偏移位移計算模塊，用于根據(jù)所述器官運動數(shù)據(jù)計算舌唇偏移位移； 樣本運動學(xué)參數(shù)計算模塊，用于根據(jù)所述舌唇偏移位移計算與所述器官運動數(shù)據(jù)對應(yīng)的樣本運動學(xué)參數(shù)； 回歸計算模塊，用于對所述共振峰值和所述舌唇偏移位移進行相關(guān)性計算，判斷所述共振峰值和所述舌唇偏移位移是否相關(guān)，若是，則對所述樣本聲學(xué)參數(shù)和所述樣本運動學(xué)參數(shù)進行多元回歸計算，得到回歸方程； 目標運動學(xué)參數(shù)計算模塊，用于獲取采集數(shù)據(jù)，根據(jù)所述回歸方程計算與所述采集數(shù)據(jù)的語音數(shù)據(jù)對應(yīng)的目標運動學(xué)參數(shù)； 識別模塊，用于根據(jù)所述樣本運動學(xué)參數(shù)和所述目標運動學(xué)參數(shù)，對所述采集數(shù)據(jù)進行識別并分類。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述樣本數(shù)據(jù)采集模塊通過電磁發(fā)音記錄儀采集獲取樣本數(shù)據(jù)。
9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述偏移位移計算模塊包括: 第一數(shù)據(jù)獲取模塊，用于獲取所述語音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段；` 第二數(shù)據(jù)獲取模塊，用于在所述器官運動數(shù)據(jù)中分別獲取與所述語音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段對應(yīng)的子發(fā)音數(shù)據(jù)段和子靜音數(shù)據(jù)段； 靜態(tài)幀提取模塊，用于選取所述器官運動數(shù)據(jù)的子靜音數(shù)據(jù)段中運動軌跡最平穩(wěn)的數(shù)據(jù)段，在所述數(shù)據(jù)段中設(shè)定窗口，計算所述窗口中坐標值的方差，選取所述方差最小的窗口作為目標窗口，提取所述目標窗口中坐標值的平均值作為靜態(tài)幀； 關(guān)鍵幀提取模塊，用于在所述器官運動數(shù)據(jù)的子發(fā)音數(shù)據(jù)段中提取關(guān)鍵幀，所述關(guān)鍵幀為與所述靜態(tài)幀的坐標值的舌唇偏移位移最大時的動態(tài)幀； 歸一化模塊，用于獲取基準發(fā)音坐標系，根據(jù)所述基準發(fā)音坐標系對所述靜態(tài)幀和所述動態(tài)幀分別進行歸一化，得到標準靜態(tài)幀和標準動態(tài)幀; 計算模塊，用于計算所述標準動態(tài)幀的坐標值與所述標準靜態(tài)幀的坐標值的差值，根據(jù)所述差值得到與所述器官運動數(shù)據(jù)對應(yīng)的舌唇偏移位移。
10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述回歸計算模塊采用最小二乘法對所述樣本聲學(xué)參數(shù)和所述樣本運動學(xué)參數(shù)進行多元回歸計算。
11.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括速度閾值計算模塊，所述速度閾值計算模塊用于獲取所述樣本數(shù)據(jù)的舌部運動數(shù)據(jù)的坐標差值和所述坐標差值對應(yīng)的時間間隔，計算舌部速度閾值和舌部加速度閾值。
12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述裝置還包括目標速度計算模塊，所述目標計算模塊用于獲取所述采集數(shù)據(jù)的舌部運動數(shù)據(jù)的坐標差值和所述坐標差值對應(yīng)的時間間隔，計算目標舌部速度數(shù)據(jù)和目標舌部加速度數(shù)據(jù)；所述識別模塊還用于根據(jù)所述舌部速度閾值、舌部加速度閾值和所述目標舌部速度數(shù)據(jù)、目標舌部加速度數(shù)據(jù)，對所述采集數(shù)據(jù)進行識別并分類。
13.一種構(gòu)音障礙識別的系統(tǒng)，包括電磁發(fā)音記錄儀、聲學(xué)參數(shù)計算組件、運動學(xué)參數(shù)計算組件和中央處理組件，所述電磁發(fā)音記錄儀分別連接所述聲學(xué)參數(shù)計算組件和所述運動學(xué)參數(shù)計算組件，所述中央處理組件分別連接所述聲學(xué)參數(shù)計算組件和所述運動學(xué)參數(shù)計算組件；所述電磁發(fā)音記錄儀用于采集樣本數(shù)據(jù)，對所述樣本數(shù)據(jù)進行校準去噪，所述樣本數(shù)據(jù)包括語音數(shù)據(jù)和器官運動數(shù)據(jù)，所述器官運動數(shù)據(jù)包括舌部運動數(shù)據(jù)和唇部運動數(shù)據(jù)；所述聲學(xué)參數(shù)計算組件用于提取所述語音數(shù)據(jù)的共振峰值，根據(jù)所述共振峰值計算所述語音數(shù)據(jù)的樣本聲學(xué)參數(shù)；所述運動學(xué)參數(shù)計算組件用于根據(jù)所述器官運動數(shù)據(jù)計算舌唇偏移位移，根據(jù)所述舌唇偏移位移計算與所述器官運動數(shù)據(jù)對應(yīng)的樣本運動學(xué)參數(shù)；所述中央處理組件用于對所述樣本聲學(xué)參數(shù)和所述樣本運動學(xué)參數(shù)進行多元回歸計算，得到回歸方程。
14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括識別組件，所述識別組件連接所述中央處理組件；所述電磁發(fā)音記錄儀還用于獲取采集數(shù)據(jù)；所述中央處理組件還用于根據(jù)所述采集數(shù)據(jù)的目標聲學(xué)參數(shù)和所述回歸方程，計算所述采集數(shù)據(jù)的目標運動學(xué)參數(shù)；所述識別組件用于根據(jù)所述樣本運動學(xué)參數(shù)和所述目標運動學(xué)參數(shù)，對所述采集數(shù)據(jù)進行識別并分類?！?br> 15.根據(jù)權(quán)利要求13所述的系統(tǒng)，其特征在于，所述電磁發(fā)音記錄儀包括語音傳感器和運動傳感器和校準單元；所述語音傳感器用于采集所述語音數(shù)據(jù)；所述運動傳感器用于采集所述器官運動數(shù)據(jù)；所述校準單元用于對所述語音數(shù)據(jù)和所述器官運動數(shù)據(jù)進行校準去噪。
【文檔編號】A61B5/00GK103705218SQ201310713782
【公開日】2014年4月9日 申請日期:2013年12月20日 優(yōu)先權(quán)日:2013年12月20日
【發(fā)明者】張丹, 燕楠, 王嵐, 王知踐 申請人:中國科學(xué)院深圳先進技術(shù)研究院