專利名稱：自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的使用者接口、系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明是有關(guān)于一種矯正發(fā)音系統(tǒng)之使用者接口、制造及使用方法。其特點(diǎn)在于能快速而正確的標(biāo)示出一個(gè)聲音信號(hào)的各個(gè)音節(jié)的音標(biāo)，并據(jù)此比較出語(yǔ)言教學(xué)者與語(yǔ)言學(xué)習(xí)者在發(fā)音上的差異，進(jìn)而提出改善建議。
背景技術(shù)：
當(dāng)人們學(xué)習(xí)外語(yǔ)的時(shí)候，不外乎是學(xué)習(xí)該語(yǔ)言的讀、寫、聽、說(shuō)等能力，而最令人感到棘手的，通常是在發(fā)音的部分。同樣的一段外國(guó)話，許多人能看得懂也聽得懂，但就是無(wú)法正確流暢的念出來(lái)，更遑論以該種外國(guó)語(yǔ)與他人溝通。
由于有這樣的需求，所以有些公司便推出了以矯正發(fā)音作為訴求的計(jì)算機(jī)產(chǎn)品。例如臺(tái)灣希伯侖股份有限公司出品的CNN互動(dòng)光盤，與法國(guó)Auralog公司出產(chǎn)的Tell Me More。這兩種產(chǎn)品都可以讓外語(yǔ)學(xué)習(xí)者在朗讀課文時(shí)進(jìn)行錄音，并顯示其波形，然后再讓學(xué)習(xí)者自行比對(duì)他們的發(fā)音波型與教學(xué)者的發(fā)音波形。
然而前述的產(chǎn)品卻有他們的局限性。一方面聲音的波形對(duì)一般人并沒(méi)有特殊的意義，即使在語(yǔ)言方面訓(xùn)練有素的專家，也無(wú)法單由觀看波形就判斷出兩個(gè)發(fā)音是否相似。另一方面，由于這些系統(tǒng)無(wú)法在聲音信號(hào)中找出各個(gè)音節(jié)的所在位置，所以無(wú)法針對(duì)各個(gè)音節(jié)逐一做比對(duì)，并進(jìn)而找出其中差異性較大的部分提出改善建議。這些產(chǎn)品在進(jìn)行聲音比對(duì)的時(shí)候，只能假設(shè)教學(xué)者與學(xué)習(xí)者在同一個(gè)時(shí)段內(nèi)是念到同一個(gè)音節(jié)。但是我們知道，每個(gè)人說(shuō)話的速度(timing)是不同的，舉例而言，當(dāng)教學(xué)者在講第5個(gè)字的時(shí)候，說(shuō)不定學(xué)習(xí)者還在說(shuō)第2個(gè)字，因此，以時(shí)間作為比對(duì)基礎(chǔ)的系統(tǒng)就會(huì)以教學(xué)者念的第5個(gè)字去和學(xué)習(xí)者念的第2個(gè)字做比較，可想而知，這樣的比對(duì)結(jié)果是不具意義的。
以下即參考圖1來(lái)說(shuō)明這樣的情形，圖1為法國(guó)Auralog公司出產(chǎn)的Tell Me More產(chǎn)品的部分使用接口。其中，標(biāo)示100的地方顯示的是學(xué)習(xí)者要學(xué)習(xí)的外語(yǔ)句子。110顯示是教學(xué)者的發(fā)音波形120顯示的是學(xué)習(xí)者的發(fā)音波形。雖然該產(chǎn)品嘗試比較教學(xué)者與學(xué)習(xí)者在念“for”這個(gè)字上的差異(t0～t1反白部分)，但是由于教學(xué)者與學(xué)習(xí)者在發(fā)音的速度上有所不同，所以該產(chǎn)品并沒(méi)有正確地找出“for”這個(gè)字在教學(xué)者發(fā)音與學(xué)習(xí)者發(fā)音中的位置。事實(shí)上，在t0～t1這個(gè)時(shí)段里，教學(xué)者只念了“for”這個(gè)字的前半部，而學(xué)習(xí)者更是沒(méi)有發(fā)出任何聲音。
之所以會(huì)有這樣的情況發(fā)生，完全是因?yàn)檫@類產(chǎn)品在比對(duì)音波時(shí)皆是采“時(shí)間(timing)”比對(duì)，是以除非學(xué)習(xí)者的說(shuō)話速度皆與教學(xué)者相同，否則比對(duì)出的波形是不具意義的。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明提出一種自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的系統(tǒng)，包含其接口、制造方法以及使用方法。這個(gè)系統(tǒng)有兩個(gè)主要優(yōu)點(diǎn)，第一，由于它能在教學(xué)者及學(xué)習(xí)者的發(fā)音波型上，分別標(biāo)示出各個(gè)區(qū)段的音標(biāo)，學(xué)習(xí)者可以更清楚的看出兩者的差異；第二，由于這個(gè)系統(tǒng)系依據(jù)各個(gè)區(qū)段標(biāo)示的音標(biāo)而知道句子中某一特定單字或音節(jié)分別出現(xiàn)在教學(xué)者波形及學(xué)習(xí)者波形的哪一個(gè)部分，是以可以將相對(duì)應(yīng)的部分抽離出來(lái)并單獨(dú)進(jìn)行比較。這些比較包含各組對(duì)應(yīng)音節(jié)之間的發(fā)音差異、音高差異、強(qiáng)度差異、長(zhǎng)短差異等等。
本發(fā)明的制造及使用方法可以分成三個(gè)階段一“數(shù)據(jù)庫(kù)建立階段”、“音標(biāo)標(biāo)示階段”、以及“發(fā)音比較階段”。在數(shù)據(jù)庫(kù)建立階段里，我們的目標(biāo)是要建立一個(gè)“音素特征數(shù)據(jù)庫(kù)”(Phoneme FeatureDatabase)，這個(gè)數(shù)據(jù)庫(kù)包含各個(gè)音素(語(yǔ)言發(fā)音的最小單位，通常對(duì)應(yīng)于一個(gè)音標(biāo))的特征數(shù)據(jù)，以作為下一階段進(jìn)行標(biāo)示音標(biāo)時(shí)的基礎(chǔ)。在音標(biāo)標(biāo)示階段里，我們的目標(biāo)是要在一段語(yǔ)音波形上，標(biāo)示出各個(gè)區(qū)段所對(duì)應(yīng)的音標(biāo)。而在發(fā)音比較階段里，我們的目標(biāo)是要對(duì)兩個(gè)已經(jīng)標(biāo)示出音標(biāo)的波形進(jìn)行比較，分析出各個(gè)對(duì)應(yīng)區(qū)段間的差異程度，然后做出評(píng)分或使提出改善建議。以下我們將針對(duì)各個(gè)階段進(jìn)行較詳細(xì)的說(shuō)明在數(shù)據(jù)庫(kù)建立階段中，首先使用者必須搜集一定數(shù)量的樣本聲音信號(hào)，將之輸入到本系統(tǒng)中。這些樣本聲音信號(hào)通常是由外語(yǔ)教學(xué)者所錄制的，包含許多不同文句的發(fā)音。接著，本系統(tǒng)將這些發(fā)音樣本切割成許多固定長(zhǎng)度的“音頻框”(Frames)，并通過(guò)“特征擷取器”(Feature Extractor)分析并取得各個(gè)音頻框的各項(xiàng)“特征值”(Features)。最后，本系統(tǒng)會(huì)提供一個(gè)使用接口，通過(guò)人工判斷做分類，將屬于同一“音素”(Phoneme)的樣本音頻框搜集在一個(gè)“音素叢集”(Phoneme Cluster)中，并自動(dòng)計(jì)算每一個(gè)音素叢集中各項(xiàng)特征值所共同產(chǎn)生的平均值與標(biāo)準(zhǔn)差，將之存入數(shù)據(jù)庫(kù)中。
在音標(biāo)標(biāo)示階段中，本系統(tǒng)所需的輸入數(shù)據(jù)是一個(gè)文句字符串，以及一個(gè)由語(yǔ)言教學(xué)者或語(yǔ)言學(xué)習(xí)者針對(duì)該文句所錄制的聲音信號(hào)。而這個(gè)階段的輸出則是一個(gè)已標(biāo)示出各區(qū)段音標(biāo)的聲音信號(hào)。在做法上，本系統(tǒng)首先利用一個(gè)電子字典，查詢出輸入文句的對(duì)應(yīng)音標(biāo)，接著本系統(tǒng)會(huì)將輸入的聲音信號(hào)切割成固定大小的音頻框、計(jì)算各音頻框的特征值、并利用前一階段所得到的音素特征數(shù)據(jù)庫(kù)，計(jì)算出每個(gè)音頻框歸屬于各個(gè)音標(biāo)的機(jī)率。最后，本系統(tǒng)提出一個(gè)利用“動(dòng)態(tài)規(guī)劃”(Dynamic Programming)方法的技術(shù)，以求得一個(gè)最佳的音標(biāo)標(biāo)示。
在發(fā)音比較階段中，本系統(tǒng)針對(duì)兩個(gè)已經(jīng)在前一階段標(biāo)示出音標(biāo)的聲音信號(hào)進(jìn)行比對(duì)，這兩個(gè)聲音信號(hào)通常分別來(lái)自于語(yǔ)言教學(xué)者與語(yǔ)言學(xué)習(xí)者。在做法上，我們先找出在兩個(gè)聲音信號(hào)中相對(duì)應(yīng)的部分(一個(gè)或數(shù)個(gè)音頻框)，然后將這些對(duì)應(yīng)的部分逐一配對(duì)進(jìn)行比較。舉例而言，如果語(yǔ)言學(xué)習(xí)者正在學(xué)習(xí)“This is a book”這個(gè)句子，本系統(tǒng)就會(huì)在教學(xué)者的聲音信號(hào)及學(xué)習(xí)者的聲音信號(hào)中分別找出相對(duì)于“Th”的部分進(jìn)行比較，然后再找出相對(duì)于“i”的部分做比較，然后再找出相對(duì)于“s”的部分做比較，依此類推。而比對(duì)的內(nèi)容包含但不限于發(fā)音準(zhǔn)確度、音高、強(qiáng)度、以及節(jié)奏。當(dāng)我們比對(duì)發(fā)音準(zhǔn)確度的時(shí)候，我們可以將學(xué)習(xí)者的發(fā)音直接與教學(xué)者比較，也可以將學(xué)習(xí)者的發(fā)音拿來(lái)與音素?cái)?shù)據(jù)庫(kù)中該發(fā)音的數(shù)據(jù)做比較。當(dāng)我們比較音高的時(shí)候，我們可以將學(xué)習(xí)者發(fā)音與教學(xué)者發(fā)音的絕對(duì)音高拿來(lái)直接做比較，也可以先計(jì)算學(xué)習(xí)者的“相對(duì)音高”(句子一部份的音高與整個(gè)句子的平均音高比)，然后再跟教學(xué)者的相對(duì)音高比較。同樣的，當(dāng)我們比較發(fā)音強(qiáng)度的時(shí)候，我們可以將學(xué)習(xí)者發(fā)音與教學(xué)者發(fā)音在該部分的絕對(duì)發(fā)音強(qiáng)度拿來(lái)直接做比較，也可以先計(jì)算學(xué)習(xí)者在該部分的“相對(duì)發(fā)音強(qiáng)度”(句子一部份的發(fā)音強(qiáng)度與整個(gè)句子的平均發(fā)音強(qiáng)度比)，然后再跟教學(xué)者在該部分的相對(duì)發(fā)音強(qiáng)度比較。也同樣的，當(dāng)我們比較發(fā)音節(jié)奏的時(shí)候，我們可以將學(xué)習(xí)者發(fā)音與教學(xué)者發(fā)音在該部分的時(shí)間長(zhǎng)短直接拿來(lái)做比較，也可以先計(jì)算學(xué)習(xí)者的“相對(duì)發(fā)音長(zhǎng)度”(句子一部份的發(fā)音長(zhǎng)度與整個(gè)句子的總長(zhǎng)度比)，然后再跟教學(xué)者在該部分的相對(duì)發(fā)音長(zhǎng)度比較。
這些比較的結(jié)果，可以分別用分?jǐn)?shù)或是機(jī)率百分比來(lái)表示。而經(jīng)由加權(quán)計(jì)算，我們可以得出學(xué)習(xí)者整句話在發(fā)音、音高、強(qiáng)度、節(jié)奏上的分?jǐn)?shù)，也可以更進(jìn)一步，再經(jīng)由加權(quán)計(jì)算出整個(gè)句子的單一分?jǐn)?shù)。在進(jìn)行這些加權(quán)計(jì)算的時(shí)候，各部份的分?jǐn)?shù)權(quán)重可以來(lái)自于邏輯上的推斷，也可以來(lái)自于實(shí)驗(yàn)所得的經(jīng)驗(yàn)值。
在比對(duì)及計(jì)算分?jǐn)?shù)的過(guò)程中，由于本系統(tǒng)可以得知教學(xué)者與學(xué)習(xí)者在發(fā)音上的差異究竟發(fā)生在哪里、差異的程度有多大，因此本系統(tǒng)也可以根據(jù)這些信息向?qū)W習(xí)者提出改善建議。
上述系統(tǒng)及方法的使用接口包括通過(guò)音頻輸入設(shè)備而得到的聲音信號(hào)圖，和通過(guò)分析聲音信號(hào)而得到強(qiáng)度變化圖及音高變化圖等。此外，數(shù)個(gè)區(qū)隔線段將這些圖表區(qū)隔成幾個(gè)發(fā)音區(qū)間，而每個(gè)發(fā)音區(qū)間由一個(gè)音標(biāo)標(biāo)注。使用者可以通過(guò)鼠標(biāo)等輸入裝置選取一個(gè)或數(shù)個(gè)發(fā)音區(qū)間，并單獨(dú)播放那些發(fā)音區(qū)間的音頻。
在本系統(tǒng)中，語(yǔ)言學(xué)習(xí)者的聲音信號(hào)及學(xué)習(xí)者的聲音信號(hào)分別由一組圖表接口表示，當(dāng)使用者選取教學(xué)者的聲音信號(hào)的某些發(fā)音區(qū)間時(shí)，本系統(tǒng)會(huì)自動(dòng)選取學(xué)習(xí)者的聲音信號(hào)中的那些對(duì)應(yīng)發(fā)音區(qū)間，反之亦然。
綜合上述，本發(fā)明是利用圖形接口比較并顯示語(yǔ)言學(xué)習(xí)者與語(yǔ)言教學(xué)者在發(fā)音上的差異，以幫助語(yǔ)言學(xué)習(xí)者學(xué)習(xí)正確的發(fā)音及語(yǔ)調(diào)。


圖1為歐洲的Auralog公司出產(chǎn)的發(fā)音練習(xí)產(chǎn)品的一使用接口；圖2為本發(fā)明一較佳實(shí)施例的一種自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的一使用者接口；圖3為本發(fā)明一較佳實(shí)施例的一種自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的一使用者接口；圖4為本發(fā)明一較佳實(shí)施例在數(shù)據(jù)庫(kù)建立階段的系統(tǒng)方框圖；圖5為本發(fā)明一較佳實(shí)施例在音標(biāo)標(biāo)示階段的的一系統(tǒng)方框圖；圖6為本發(fā)明一較佳實(shí)施例在音標(biāo)標(biāo)示階段的示意流程圖；圖7為本發(fā)明在音標(biāo)標(biāo)示階段中進(jìn)行動(dòng)態(tài)比對(duì)的一示意圖；以及圖8為本發(fā)明一較佳實(shí)施例在發(fā)音比較階段的系統(tǒng)方框圖。
100字符串顯示處110.教學(xué)者聲音信號(hào)圖120學(xué)習(xí)者聲音信號(hào)圖200教學(xué)內(nèi)容顯示區(qū)210教學(xué)者使用接口220學(xué)習(xí)者使用接口211，221聲音信號(hào)圖212，222音頻變化圖213，223強(qiáng)度變化圖214，214a，214b，224區(qū)隔線段215教學(xué)者指令區(qū)216，226音標(biāo)標(biāo)記區(qū)221聲音信號(hào)圖225學(xué)習(xí)者指令區(qū)402樣本聲音信號(hào)404，510音頻切割器406樣本音頻框408人工音標(biāo)標(biāo)示器410已標(biāo)示音標(biāo)的樣本音頻框412，512特征擷取器414已標(biāo)示音標(biāo)的特征值集合
416叢集分析器418，515叢集信息420，514音素特征數(shù)據(jù)庫(kù)501a聲音信號(hào)501b波形圖504教學(xué)內(nèi)容瀏覽器505文句字符串506電子音標(biāo)字典507音標(biāo)字符串508音標(biāo)標(biāo)示513特征值集合511音頻框步驟602至步驟608為本發(fā)明的一較佳實(shí)施例的一實(shí)施步驟具體實(shí)施方式
請(qǐng)參照?qǐng)D2，其為本發(fā)明一較佳實(shí)施例的使用者接口，其中有分3個(gè)部分，分別是教學(xué)內(nèi)容顯示區(qū)200、教學(xué)者使用接口210、及學(xué)習(xí)者使用接口220。
當(dāng)使用者利用鼠標(biāo)等輸入裝置在教學(xué)內(nèi)容顯示區(qū)200中選取一個(gè)文句字符串的時(shí)候，本系統(tǒng)會(huì)播放對(duì)應(yīng)于該文句字符串且事先由教學(xué)者錄制好的聲音信號(hào)，并在教學(xué)者使用接口210中顯示相關(guān)的信息。
其中，教學(xué)者使用接口210包括聲音信號(hào)圖211、音頻變化圖212、強(qiáng)度變化圖213、數(shù)個(gè)區(qū)隔線段214、教學(xué)者指令區(qū)215及音標(biāo)標(biāo)記區(qū)216。其中，聲音信號(hào)圖211顯示教學(xué)者的聲音信號(hào)的波形。強(qiáng)度(intensity)變化圖213是通過(guò)分析聲音信號(hào)的能量變化而得到的。音頻變化圖212是通過(guò)分析聲音信號(hào)的音頻(pitch)變化而得到的，其分析方法可以是由Goldstein，J.S.，在1973年提出的“Anoptimum processor theory for the central formation of the pitch ofcomplex tones，”而得到，或是由Duifhuis，H.，Willems，L.F.，及Sluyter，R.J.，在1982年提出的“Measurement of pitch in speechanimplementation of Goldstein′s theory of pitch perception，”，或是Gold，B.Morgan，N.，在2000年提出的“Speech and Audio Signal Processing，”等等方法而得到。
在教學(xué)者使用接口210中，本系統(tǒng)會(huì)以區(qū)隔線段214將音波圖區(qū)隔成數(shù)個(gè)“發(fā)音區(qū)間”，并在音標(biāo)標(biāo)記區(qū)216中標(biāo)示各發(fā)音區(qū)間所對(duì)應(yīng)的音標(biāo)。舉例而言，區(qū)隔線段214a及214b間的發(fā)音區(qū)間相對(duì)于“I”的音，其音標(biāo)即顯示在音標(biāo)標(biāo)記區(qū)216中該發(fā)音區(qū)間的下方。使用者可以利用鼠標(biāo)等輸入裝置選取一個(gè)或多個(gè)連續(xù)的發(fā)音區(qū)間，并經(jīng)由點(diǎn)選教學(xué)者指令區(qū)215的“播放選擇部份”(Play Selected)鈕來(lái)播放該發(fā)音區(qū)間的聲音信號(hào)。
學(xué)習(xí)者使用接口220與教學(xué)者使用接口210類似，包括聲音信號(hào)圖221、音頻變化圖222、強(qiáng)度變化圖223、數(shù)個(gè)區(qū)隔線段224、以及音標(biāo)標(biāo)記區(qū)226。其功能與教學(xué)者使用接口210類似，如圖3所示，在此不再詳加贅述。但其分析的聲音信號(hào)并非預(yù)先錄制的，而是由學(xué)習(xí)者利用學(xué)習(xí)者指令區(qū)225中的“錄音”“Record”鈕進(jìn)行實(shí)時(shí)錄音而的得到的。
如圖3所示，當(dāng)學(xué)習(xí)者在學(xué)習(xí)者使用接口210中選取一段發(fā)音區(qū)間時(shí)，本系統(tǒng)會(huì)將該段區(qū)間以反白方式顯示，并依據(jù)標(biāo)示之音標(biāo)自動(dòng)在教學(xué)者使用接口中選取相對(duì)應(yīng)的發(fā)音區(qū)間，并同時(shí)以反白方式顯示。在這里，我們可以看到教學(xué)者和學(xué)習(xí)者在說(shuō)“great”這個(gè)單字時(shí)的時(shí)間與是不同的，但本發(fā)明仍可以分別在教學(xué)者與學(xué)習(xí)者的聲音信號(hào)圖標(biāo)上，自動(dòng)而準(zhǔn)確地標(biāo)示出這個(gè)字出現(xiàn)的位置。
以下我們將針對(duì)此較佳實(shí)施例進(jìn)行比較詳細(xì)的說(shuō)明。圖4為本系統(tǒng)在“音頻數(shù)據(jù)庫(kù)建立階段”中的主要模塊。在這個(gè)階段中，“音頻切割器”404首先將經(jīng)由麥克風(fēng)輸入的樣本聲音信號(hào)402切割成一個(gè)一個(gè)固定長(zhǎng)短(通常是256或512個(gè)字節(jié))的樣本音頻框406。緊接著，我們利用“人工音標(biāo)標(biāo)示器”408以人工試聽的方式來(lái)標(biāo)出每個(gè)樣本音頻框406的音標(biāo)，至此，樣本音頻框406即會(huì)成為已標(biāo)示出音標(biāo)的音頻框410，并將這些樣本音頻框410交給“特征擷取器”412，計(jì)算出每個(gè)樣本音頻框410的特征值414。這些已標(biāo)示出音標(biāo)的音頻框414通常是一組5到40個(gè)浮點(diǎn)運(yùn)算數(shù)，包含“倒頻譜”(Cepstrum)系數(shù)或是預(yù)測(cè)語(yǔ)音編碼(Linear Predictive Coding)系數(shù)等。關(guān)于音頻特征擷取的技術(shù)可以參閱Davis，S.，and Mermelstein，P.，在1980年發(fā)表“Comparison of parametric representations of monosyllabic wordrecognition in continuously spoken sentences，”，或是Gold，B.Morgan，N.，在2000年提出的“Speech and Audio Signal Processing，”。
接著在“叢集分析器”416中，我們將屬于同一音標(biāo)的樣本特征值集合414歸類整理成一個(gè)一個(gè)的“音素叢集”(Phoneme Cluster)，并針對(duì)每一個(gè)音素叢集，計(jì)算其特征值集合的平均值與標(biāo)準(zhǔn)差，然后將這些叢集數(shù)據(jù)418存入音素特征數(shù)據(jù)庫(kù)420中。關(guān)于叢集分析這方面的技術(shù)，可以參閱Duda，R.，及Hart，P.所著，由Wiley-Interscience公司在1973年出版的“Pattern Classification and Scene Analysis”。
圖5所為本較佳實(shí)施例在音標(biāo)標(biāo)示階段中的主要模塊。在這個(gè)階段中，我們的目的是要在一段聲音信號(hào)上標(biāo)示出正確的音標(biāo)，然后交由教學(xué)者使用接口210或?qū)W習(xí)者使用接口220顯示，同時(shí)也將結(jié)果交由發(fā)音比較階段中的“發(fā)音比較器”(未繪示)進(jìn)行評(píng)分。這時(shí)系統(tǒng)需要兩項(xiàng)輸入數(shù)據(jù)，一個(gè)是使用者在“教學(xué)內(nèi)容瀏覽器”504中所點(diǎn)選的文句字符串，另一個(gè)是經(jīng)由麥克風(fēng)輸入且對(duì)應(yīng)于該文句字符串的聲音信號(hào)501a。
由麥克風(fēng)輸入的聲音信號(hào)501a會(huì)經(jīng)由音頻切割器510切割成固定大小的音頻框511，并由特征擷取器512計(jì)算出每個(gè)音頻框511的特征值集合513。音頻切割器510與特征擷取器512的功能如前所述，在此不再重復(fù)。
在教學(xué)內(nèi)容瀏覽器中選取的文句字符串會(huì)經(jīng)由電子音標(biāo)字典506轉(zhuǎn)換為一個(gè)音標(biāo)字符串507，舉例而言，如果使用者選取了文字字符串“Thisis good”，則電子音標(biāo)字典會(huì)將的轉(zhuǎn)換為音標(biāo)字符串“Dls lzgud”。
我們?cè)趫D6中以一個(gè)實(shí)際的例子來(lái)說(shuō)明音標(biāo)標(biāo)示過(guò)程，當(dāng)聲音信號(hào)501a經(jīng)由分割步驟602分割得到數(shù)個(gè)音頻框511后，會(huì)在經(jīng)由特征擷取步驟604進(jìn)行特征擷取而得到音頻框511相對(duì)應(yīng)的特征值集合，其中一個(gè)音頻框?qū)?yīng)一個(gè)特征值集合513，在這些步驟進(jìn)行同時(shí)，亦會(huì)對(duì)輸入的文句字符串505進(jìn)行音標(biāo)字典查詢步驟606，以得到文句字符串505的音標(biāo)字符串507，最后再由步驟604所擷取的特征值集合與步驟606所查詢的音標(biāo)字符串507進(jìn)行步驟608的動(dòng)態(tài)比對(duì)。其中“動(dòng)態(tài)比對(duì)”指的是音標(biāo)標(biāo)示器508以“動(dòng)態(tài)規(guī)劃”(DynamicProgramming)法進(jìn)行音標(biāo)標(biāo)示的工作，這個(gè)過(guò)程會(huì)將音標(biāo)字符串507中的每個(gè)音標(biāo)標(biāo)示到代表各個(gè)音頻框511的特征值集合上。這個(gè)標(biāo)示過(guò)程必須符合幾個(gè)條件第一，各個(gè)音標(biāo)必須依照他們?cè)谝魳?biāo)字符串中出現(xiàn)的順序逐一標(biāo)示，先出現(xiàn)的音標(biāo)先標(biāo)示；第二，每個(gè)音標(biāo)可能對(duì)應(yīng)到零個(gè)、一個(gè)或多個(gè)特征值集合(當(dāng)一個(gè)音標(biāo)對(duì)應(yīng)到零個(gè)特征值集合時(shí)，代表錄音者并未念出那一個(gè)音)；第三，每個(gè)特征值集合可以對(duì)應(yīng)到一個(gè)音標(biāo)，或是不對(duì)應(yīng)到任何音標(biāo)。(當(dāng)一個(gè)特征值集合不對(duì)應(yīng)到任一個(gè)音標(biāo)時(shí)，代表這一個(gè)特征值集合對(duì)應(yīng)于聲音信號(hào)中的一段空白部份或是一段雜音)；第四，這個(gè)標(biāo)示必須讓一個(gè)事先定義的“效用函數(shù)”(Utility Function)達(dá)到最大值(或是讓一個(gè)“懲罰函數(shù)”(Penalty Function)達(dá)到最小值)。這個(gè)效用函數(shù)所代表的是這個(gè)標(biāo)示的正確程度(懲罰函數(shù)所代表的是這個(gè)標(biāo)示的錯(cuò)誤程度)，它可以來(lái)自于理論推斷，也可以根據(jù)實(shí)驗(yàn)所得到的經(jīng)驗(yàn)值來(lái)推定。
圖8所為以“動(dòng)態(tài)規(guī)劃”(Dynamic Programming)方式進(jìn)行音標(biāo)標(biāo)示的較佳實(shí)施例，在這里，我們以音標(biāo)字符串中的各個(gè)音標(biāo)作為橫軸，以聲音信號(hào)中的各個(gè)音頻框作為縱軸，然后在表格中填入下列數(shù)值max(該音頻框?qū)儆谠搶?duì)應(yīng)音標(biāo)的機(jī)率，該音頻框是雜音或空白的機(jī)率)其中各音頻框?qū)儆诟鱾€(gè)音標(biāo)或是雜音及空白的機(jī)率，可以通過(guò)參照音素?cái)?shù)據(jù)庫(kù)而得到?；旧?，我們將各個(gè)音頻框的特征值集合與音素?cái)?shù)據(jù)庫(kù)中各個(gè)音素(一個(gè)音標(biāo)對(duì)應(yīng)于一個(gè)音素)的特征值集合的平均數(shù)與標(biāo)準(zhǔn)差做比較，經(jīng)由簡(jiǎn)單的數(shù)學(xué)運(yùn)算即可得到這些機(jī)率。關(guān)于這方面的技術(shù)，可以參閱Duda，R.，及Hart，P.所著，由Wiley-Interscience公司在1973年出版的“Pattern Classification andScene Analysis”。
此外，如果在某儲(chǔ)存格的數(shù)據(jù)是來(lái)自于該音頻框是雜音或空白的機(jī)率時(shí)，我們會(huì)在該儲(chǔ)存格加上特別的標(biāo)記。在圖7中，我們是以灰階底紋來(lái)標(biāo)示這些儲(chǔ)存格。
接下來(lái)我們必須在圖7的動(dòng)態(tài)比對(duì)表中找到一條由左上角至右下角的路徑，這條路徑所代表的就是音標(biāo)標(biāo)示的結(jié)果。舉例而言，在圖7中第一個(gè)音標(biāo)對(duì)應(yīng)于音頻框1與2，第二個(gè)音標(biāo)I對(duì)應(yīng)于音頻框3與4，而第三個(gè)音標(biāo)s則對(duì)應(yīng)于音頻框5與6。
這條路徑必須符合幾個(gè)條件第一，這條路徑只能往右、往右下、或往下行進(jìn)。第二，這條路徑所代表的音標(biāo)標(biāo)示必須能讓我們所定義的效能函數(shù)達(dá)到最大值，也就是說(shuō)，這個(gè)路徑必須代表一個(gè)最佳的音標(biāo)標(biāo)示。
如果這條路徑經(jīng)過(guò)一個(gè)以灰階標(biāo)示的音頻框，則代表這個(gè)音頻框是一個(gè)雜音或是空白信號(hào)。否則，當(dāng)這條路徑往右行進(jìn)時(shí)，代表接下來(lái)音標(biāo)并未在這個(gè)聲音信號(hào)中出現(xiàn)；當(dāng)這條路徑往右下行進(jìn)時(shí)，代表前后兩個(gè)相鄰的音頻框剛好對(duì)應(yīng)于兩個(gè)相鄰的音標(biāo)；而當(dāng)這條路徑往下行進(jìn)時(shí)，則代表前后兩個(gè)音頻框?qū)?yīng)于同一個(gè)音標(biāo)。
在這里，我們可以將效能函數(shù)定義成這條路徑在動(dòng)態(tài)比對(duì)表中，在往下及往右下行進(jìn)時(shí)所經(jīng)過(guò)的各個(gè)機(jī)率值的乘積(當(dāng)這個(gè)路徑往右行進(jìn)時(shí)，代表我們將略過(guò)那一個(gè)音標(biāo)，因此代表那一個(gè)音標(biāo)的機(jī)率值不應(yīng)該計(jì)入我們的效能函數(shù)中)。理論上，這個(gè)乘積相當(dāng)于這條路徑是正確的音標(biāo)標(biāo)示的機(jī)率。
這樣的一條路徑，可以利用動(dòng)態(tài)規(guī)劃法(Dynamic Programming)得到，關(guān)于以動(dòng)態(tài)規(guī)劃法解決這類問(wèn)題的技術(shù)，可以參考J.Ullman于1977年在Computer Journal 10，ppl41-147所發(fā)表的“A Binaryn-gram technique for automatic correction of substitution，deletion，insertion，and reversal errors in words.”或是R.Wagner與M.Fisher于1974年在Journal ofACM 21，pp168-178所發(fā)表的“The String toString Correction Problem.”圖8所為本系統(tǒng)在發(fā)音比對(duì)階段中的主要模塊。在這個(gè)階段中，本系統(tǒng)先就發(fā)音、音高、強(qiáng)度、節(jié)奏等四個(gè)部份分別進(jìn)行評(píng)分，并列出改善建議。接著，我們?cè)僖约訖?quán)的方式從這四個(gè)分?jǐn)?shù)算出一個(gè)總分。至于加權(quán)的比重，可以來(lái)自于理論推斷，也可以來(lái)自于實(shí)際經(jīng)驗(yàn)。
如前所述，在這些評(píng)分的過(guò)程中，本系統(tǒng)會(huì)先找出在兩個(gè)聲音信號(hào)中相對(duì)應(yīng)的部分(一個(gè)或數(shù)個(gè)音頻框)，然后將這些對(duì)應(yīng)的部分逐一配對(duì)進(jìn)行比較。舉例而言，如果語(yǔ)言學(xué)習(xí)者正在學(xué)習(xí)“This is a book”這個(gè)句子，本系統(tǒng)就會(huì)在教學(xué)者的聲音信號(hào)及學(xué)習(xí)者的聲音信號(hào)中分別找出相對(duì)于“Th”的部分進(jìn)行比較，然后再找出相對(duì)于“i”的部分做比較，然后再找出相對(duì)于“s”的部分做比較，依此類推。而如果一個(gè)音標(biāo)(或音節(jié))在一個(gè)聲音信號(hào)中對(duì)應(yīng)于多個(gè)音頻框，我們可以先求得這些音頻框在特征值(用來(lái)比較發(fā)音)、音高、強(qiáng)度、以及長(zhǎng)度上的平均值，然后再與另一個(gè)聲音信號(hào)中相對(duì)求得的平均值做比較。我們也可以將來(lái)自于教學(xué)者與來(lái)自于學(xué)習(xí)者的各個(gè)音頻框逐一配對(duì)做比較，以分析在同一音標(biāo)范圍內(nèi)，發(fā)音、音高、以及強(qiáng)度隨著時(shí)間所顯現(xiàn)的變化。
權(quán)利要求
1.一種自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的方法，其特征是，該方法包括一音素特征數(shù)據(jù)庫(kù)建立步驟，包括利用樣本聲音信號(hào)建立多個(gè)音素叢集，其中一個(gè)音素叢集對(duì)應(yīng)一個(gè)音標(biāo)；一音標(biāo)標(biāo)示步驟，包括分割一聲音信號(hào)成多個(gè)音頻框，并計(jì)算出每一個(gè)音頻框的特征值集合；以及依據(jù)每一個(gè)音頻框的特征值集合，判斷該音頻框的所屬音素，并予以標(biāo)示相對(duì)的音標(biāo)；以及一發(fā)音比較步驟，包括比較兩個(gè)聲音信號(hào)中相對(duì)于同一音標(biāo)的各組音頻框，做出評(píng)分并提出改善建議。
2.如權(quán)利要求1所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的方法，其特征是，的音素?cái)?shù)據(jù)庫(kù)中包含多個(gè)音素叢集，而每一個(gè)音素叢集對(duì)應(yīng)于一個(gè)音標(biāo)，而該音素叢集的數(shù)據(jù)是通過(guò)分析對(duì)應(yīng)于該音素的樣本音頻框而得到。
3.如權(quán)利要求2所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的方法，其特征是，音素?cái)?shù)據(jù)庫(kù)的建立方法包括輸入樣本聲音信號(hào)；分割樣本聲音信號(hào)成多個(gè)樣本音頻框；由人工試聽的方式判斷各音頻框所屬的因素叢集，并標(biāo)示相對(duì)于該音素的音標(biāo)；分別計(jì)算各個(gè)樣本音頻框的特征值集合；以及對(duì)于每個(gè)音素叢集，計(jì)算其所屬的樣本音頻框的特征值集合的平均值及標(biāo)準(zhǔn)差。
4.如權(quán)利要求2所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的方法，其特征是，輸入的樣本聲音信號(hào)經(jīng)音頻切割器分割成數(shù)個(gè)音頻框之后，由人工試聽的方式判斷各音頻框所屬的音素叢集，并標(biāo)示相對(duì)于該音素的音標(biāo)。
5.如權(quán)利要求2所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的方法，其特征是，每一音素叢集的數(shù)據(jù)包含所有對(duì)應(yīng)于該音素的音頻框的特征值集合的平均值及標(biāo)準(zhǔn)差。
6.如權(quán)利要求1所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的方法，其特征是，的音標(biāo)標(biāo)示步驟包括輸入一文句字符串及對(duì)應(yīng)于該文句字符串的一聲音信號(hào)；通過(guò)一電子音標(biāo)字典，查得輸入文句字符串所對(duì)應(yīng)的多個(gè)音標(biāo)；分割該輸入聲音信號(hào)成多個(gè)音頻框；分別計(jì)算各個(gè)音頻框的特征值集合；依據(jù)一音素特征數(shù)據(jù)庫(kù)所包含的多個(gè)音素叢集信息，計(jì)算各個(gè)音頻框?qū)儆谳斎胛木渥址鶎?duì)應(yīng)的各個(gè)音標(biāo)的機(jī)率；根據(jù)各音頻框?qū)儆诟鱾€(gè)音標(biāo)的機(jī)率，求得一最佳音標(biāo)標(biāo)示，該音標(biāo)標(biāo)示是所有可能的音標(biāo)標(biāo)示中，最有可能是正確的的音標(biāo)標(biāo)示者；以及顯示各音頻框所對(duì)應(yīng)的音標(biāo)。
7.如權(quán)利要求6所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的方法，其特征是，音標(biāo)標(biāo)示通過(guò)比較輸入字符串及其相對(duì)應(yīng)的輸入聲音信號(hào)而得到。
8.如權(quán)利要求6所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的方法，其特征是，即使在輸入字符串所對(duì)應(yīng)的某些音標(biāo)并未出現(xiàn)在輸入的聲音信號(hào)中的狀況下，仍能正常工作，并標(biāo)示出其它出現(xiàn)的音標(biāo)。
9.如權(quán)利要求6所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的方法，其特征是，即使在輸入的聲音信號(hào)中的某些區(qū)段是多余而不對(duì)應(yīng)于輸入字符串的任何部分的狀況下，仍能正常工作，并標(biāo)示出該輸入聲音信號(hào)其它部分的音標(biāo)。
10.如權(quán)利要求6所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的方法，其特征是，求得最佳音標(biāo)標(biāo)示的方法采用一動(dòng)態(tài)規(guī)劃法技術(shù)。
11.如權(quán)利要求10所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的方法，其特征是，該動(dòng)態(tài)規(guī)劃法技術(shù)使用一比較表，該比較表的縱軸或橫軸為輸入字符串所對(duì)應(yīng)的各個(gè)音標(biāo)，而橫軸或縱軸則是經(jīng)切割輸入聲音信號(hào)所得的各個(gè)音頻框，或?qū)?yīng)于各各音頻框的特征值集合。
12.如權(quán)利要求11所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的方法，其特征是，最佳音標(biāo)標(biāo)示的求得方法，是在比較表中尋找一條由左上至右下或由右下至左上的路徑，而該路徑使得一個(gè)事先定義好的效能函數(shù)達(dá)到最大值或是讓一個(gè)“懲罰函數(shù)”達(dá)到最小值。
13.如權(quán)利要求1所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的方法，其特征是，發(fā)音比較步驟所比較的兩個(gè)聲音信號(hào)，其一為預(yù)先錄制的聲音信號(hào)，其一為實(shí)時(shí)錄制的聲音信號(hào)。
14.如權(quán)利要求1所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的方法，其特征是，發(fā)音比較階段所比較的項(xiàng)目包括發(fā)音準(zhǔn)確度、音高、強(qiáng)度及節(jié)奏等的比較。
15.一種自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的使用者接口，其特征是，該接口包括一聲音信號(hào)圖，通過(guò)一音頻輸入設(shè)備而得到；一強(qiáng)度變化圖，分析該聲音信號(hào)圖而得到；一音頻變化圖，分析該聲音信號(hào)圖而得到；多個(gè)區(qū)隔線段，其中兩兩該些區(qū)隔線段形成一發(fā)音區(qū)間，一個(gè)發(fā)音區(qū)間對(duì)應(yīng)一個(gè)音標(biāo)的發(fā)音時(shí)間；以及一音標(biāo)標(biāo)記區(qū)，顯示該些發(fā)音區(qū)間所對(duì)應(yīng)的該些音標(biāo)；其中可標(biāo)記至少一發(fā)音區(qū)間，以命令發(fā)出該發(fā)音區(qū)間的音標(biāo)聲音。
16.如權(quán)利要求15所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的使用者接口，其特征是，包括顯示該聲音信號(hào)的一音頻變化圖及一強(qiáng)度變化圖。
17.如權(quán)利要求15所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的使用者接口，其特征是，包括結(jié)合相鄰且歸屬同一該音素叢集的多個(gè)音頻框，以區(qū)隔成同一發(fā)音區(qū)間，使用者可選取一個(gè)或多個(gè)發(fā)音區(qū)間，并要求系統(tǒng)播放相對(duì)于該發(fā)音區(qū)間的聲音信號(hào)。
18.如權(quán)利要求15所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的使用者接口，其特征是，當(dāng)使用者在一個(gè)聲音信號(hào)圖上選取一個(gè)或多個(gè)連續(xù)的發(fā)音區(qū)間時(shí)，系統(tǒng)會(huì)自動(dòng)在另一個(gè)聲音信號(hào)圖上選取相對(duì)應(yīng)的發(fā)音區(qū)間。
19.如權(quán)利要求15所述的自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的使用者接口，其特征是，該聲音信號(hào)圖以音頻框?yàn)樽钚∵x取及處理單位。
20.一種自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的系統(tǒng)，其特征是，該系統(tǒng)包括一輸入設(shè)備，輸入一文句字符串及對(duì)應(yīng)于該文句字符串的一聲音信號(hào)；一電子音標(biāo)字典，用以查閱得到對(duì)應(yīng)于文句字符串的音標(biāo)字符串；一音頻切割器，分割該聲音信號(hào)成多個(gè)音頻框；一特征擷取器，連接該音頻切割器，從該些音頻框擷取相對(duì)應(yīng)的特征值集合；一音素特征數(shù)據(jù)庫(kù)，包括多個(gè)音素叢集，其中一個(gè)音素叢集對(duì)應(yīng)一個(gè)音標(biāo)；一音標(biāo)標(biāo)示器，連接該特征擷取器、該電子音標(biāo)字典及該音素特征數(shù)據(jù)庫(kù)，依據(jù)音素特征數(shù)據(jù)庫(kù)內(nèi)含的多個(gè)音素叢集，計(jì)算該些音頻框?yàn)樵撐木渥址脑撔┮魳?biāo)的多個(gè)可能機(jī)率，將該些音頻框的該些可能機(jī)率標(biāo)示在一動(dòng)態(tài)比對(duì)表中，以及依據(jù)該動(dòng)態(tài)比對(duì)表的一動(dòng)線方向確定該些音頻框?qū)?yīng)的該些音標(biāo)；以及一輸出設(shè)備，顯示輸入聲音信號(hào)的波形圖、音頻變化圖、強(qiáng)度變化圖、以及對(duì)應(yīng)于各個(gè)發(fā)音區(qū)間的音標(biāo)等。
全文摘要
一種自動(dòng)標(biāo)示音標(biāo)以矯正發(fā)音的使用者接口、系統(tǒng)及方法，利用圖形接口比較并顯示語(yǔ)言學(xué)習(xí)者與語(yǔ)言教學(xué)者在發(fā)音上的差異，以幫助語(yǔ)言學(xué)習(xí)者矯正發(fā)音的計(jì)算機(jī)系統(tǒng)，包含其使用者接口、系統(tǒng)及方法。當(dāng)使用者提供一個(gè)文句字符串并輸入其相對(duì)的聲音信號(hào)之后，本發(fā)明會(huì)在輸入聲音信號(hào)的各個(gè)區(qū)段標(biāo)示出其對(duì)應(yīng)的音標(biāo)。接著以該些區(qū)段的對(duì)應(yīng)音標(biāo)，本系統(tǒng)可以比對(duì)出教學(xué)者聲音信號(hào)與學(xué)習(xí)者聲音信號(hào)之間的差異，如各個(gè)音節(jié)的發(fā)音、音高、強(qiáng)度、長(zhǎng)短的差異等，并據(jù)此進(jìn)行評(píng)分或提出改善建議。
文檔編號(hào)G06F3/16GK1512300SQ0216003
公開日2004年7月14日 申請(qǐng)日期2002年12月30日 優(yōu)先權(quán)日2002年12月30日
發(fā)明者林宜敬 申請(qǐng)人:艾爾科技股份有限公司