專(zhuān)利名稱(chēng)：一種混搭語(yǔ)音合成方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及語(yǔ)音合成技術(shù)領(lǐng)域，特別是涉及一種混搭語(yǔ)音合成方法與系統(tǒng)。
背景技術(shù)：
語(yǔ)音合成技術(shù)，又稱(chēng)文語(yǔ)轉(zhuǎn)換(TTS，Text To Speech)技術(shù)，其能將任意文字信息轉(zhuǎn)化為標(biāo)準(zhǔn)流暢的語(yǔ)音表達(dá)出來(lái)?，F(xiàn)有的通用語(yǔ)音合成技術(shù)主要是只預(yù)先錄制一個(gè)單音色語(yǔ)音庫(kù)，然后基于該語(yǔ)音庫(kù)制作一個(gè)語(yǔ)音合成系統(tǒng)，此方法的合成語(yǔ)音取決于語(yǔ)音庫(kù)，即合成的聲音像是錄音人在說(shuō)話。此過(guò)程僅僅將用戶(hù)輸入的文本轉(zhuǎn)換成單一音色的語(yǔ)音，這種語(yǔ)音的音色、語(yǔ)氣等屬性
也非常單一化。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明提供一種混搭語(yǔ)音合成方法和系統(tǒng)，用于對(duì)一次輸入的文本產(chǎn)生不同音色、不同口音、不同語(yǔ)氣等的混搭合成語(yǔ)音效果。為了解決上述問(wèn)題，本發(fā)明公開(kāi)了一種混搭語(yǔ)音合成方法，其步驟包括步驟101，接收用戶(hù)輸入的文本；步驟102，對(duì)所述文本進(jìn)行自然語(yǔ)言處理，獲得與用戶(hù)輸入的文本對(duì)應(yīng)的音韻結(jié)構(gòu) fn息；步驟103，針對(duì)所獲得的音韻結(jié)構(gòu)信息，結(jié)合混搭定制語(yǔ)音庫(kù)合成與所述文本對(duì)應(yīng)的混搭語(yǔ)音數(shù)據(jù)。進(jìn)一步的，所述步驟103具體包括步驟201，針對(duì)所獲得的音韻結(jié)構(gòu)信息，與混搭定制語(yǔ)音庫(kù)中的定制文本進(jìn)行匹配；如果匹配，轉(zhuǎn)入步驟202，如果未匹配，轉(zhuǎn)入步驟203 ；步驟202，通過(guò)被匹配定制文本調(diào)用混搭定制語(yǔ)音庫(kù)的定制語(yǔ)音數(shù)據(jù)合成定制語(yǔ)音數(shù)據(jù)；步驟203，將未匹配音韻結(jié)構(gòu)信息采用通用語(yǔ)音技術(shù)合成通用語(yǔ)音數(shù)據(jù)；步驟204，將所述的定制語(yǔ)音數(shù)據(jù)和通用語(yǔ)音數(shù)據(jù)調(diào)整合成與所述文本對(duì)應(yīng)的混搭語(yǔ)音數(shù)據(jù)。進(jìn)一步的，所述步驟202包括由被匹配定制文本調(diào)用混搭定制語(yǔ)音庫(kù)中儲(chǔ)存的語(yǔ)音片段，然后將所得到的語(yǔ)音片段進(jìn)行解碼得到定制語(yǔ)音數(shù)據(jù)。進(jìn)一步的，所述的調(diào)用為隨機(jī)調(diào)用或者選定調(diào)用，所述的隨機(jī)調(diào)用為由定位單元隨機(jī)選擇混搭定制語(yǔ)音庫(kù)中的定制語(yǔ)音，所述的選定調(diào)用是用戶(hù)通過(guò)定位單元自己選用混搭定制語(yǔ)音庫(kù)中的定制語(yǔ)音。進(jìn)一步的，所述的混搭定制語(yǔ)音庫(kù)中的每一條定制文本對(duì)應(yīng)多個(gè)與定制文本語(yǔ)義相同的語(yǔ)音片段，所述語(yǔ)音片段的風(fēng)格互不相同。
進(jìn)一步的，所述的風(fēng)格包括音色，和/或方言，和/或語(yǔ)氣。進(jìn)一步的，所述的匹配是以音韻結(jié)構(gòu)信息中最小的韻律短語(yǔ)為單位與混搭定制語(yǔ)音庫(kù)中的定制文本進(jìn)行最長(zhǎng)匹配。本發(fā)明還公開(kāi)了一種混搭語(yǔ)音合成系統(tǒng)，包括接口模塊，用于接收用戶(hù)輸入的文本；自然語(yǔ)言處理模塊，用于獲得與用戶(hù)輸入的文本對(duì)應(yīng)的音韻結(jié)構(gòu)信息；混搭語(yǔ)音合成模塊，用于將所獲得的音韻結(jié)構(gòu)信息何處為混搭語(yǔ)音數(shù)據(jù)。進(jìn)一步的，所述的混搭語(yǔ)音合成模塊包括文本匹配子模塊，定制語(yǔ)音合成子模塊，通用語(yǔ)音合成子模塊，語(yǔ)音調(diào)整合成子模塊；所述文本匹配子模塊，用于將所述的音韻結(jié)構(gòu)信息與混搭定制語(yǔ)音庫(kù)中的定制文本進(jìn)行匹配，得到已匹配定制文本的音韻結(jié)構(gòu)信息和未與定制文本匹配的音韻結(jié)構(gòu)信息；所述定制語(yǔ)音合成子模塊，用于合成已匹配定制文本的音韻結(jié)構(gòu)信息的定制語(yǔ)音數(shù)據(jù)；所述通用語(yǔ)音合成子模塊，用于合成未與定制文本匹配的音韻結(jié)構(gòu)信息的通用語(yǔ)音數(shù)據(jù)；所述語(yǔ)音調(diào)整合成子模塊，用于將所述的定制語(yǔ)音數(shù)據(jù)和所述的通用語(yǔ)音數(shù)據(jù)按用戶(hù)輸入文本的處理順序合成混搭語(yǔ)音數(shù)據(jù)。進(jìn)一步的，所述混搭定制語(yǔ)音合成子模塊包括定位單元，混搭定制語(yǔ)音庫(kù)，和解碼器；定位單元按照被音韻結(jié)構(gòu)信息匹配的定制文本從混搭定制語(yǔ)音庫(kù)的索引中隨機(jī)或者設(shè)置調(diào)用一種風(fēng)格的語(yǔ)音片段壓縮數(shù)據(jù)，然后由解碼器對(duì)所述的語(yǔ)音片段壓縮數(shù)據(jù)進(jìn)行解碼合成匹配語(yǔ)音數(shù)據(jù)。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)本發(fā)明的混搭語(yǔ)音合成方法和系統(tǒng)增加了混搭語(yǔ)音合成技術(shù)，通過(guò)事先定制完成了一個(gè)混搭定制語(yǔ)音庫(kù)，混搭定制語(yǔ)音庫(kù)中的同一定制文本對(duì)應(yīng)了許多語(yǔ)義相同但風(fēng)格不同的語(yǔ)音片段，用戶(hù)可以依據(jù)個(gè)人愛(ài)好，通過(guò)該技術(shù)針對(duì)用戶(hù)所輸入的文本選擇隨機(jī)或者設(shè)置選定混搭定制語(yǔ)音庫(kù)中的不同音色、不同口音、不同語(yǔ)氣等多種風(fēng)格的語(yǔ)音片段，最終合成風(fēng)格多樣化的混搭合成語(yǔ)音。


圖1是本發(fā)明實(shí)施例的一種混搭語(yǔ)音合成方法流程圖；圖2是本發(fā)明優(yōu)選的一種混搭語(yǔ)音合成方法實(shí)施例流程圖；圖3是本發(fā)明優(yōu)選的一種混搭語(yǔ)音合成系統(tǒng)實(shí)施例結(jié)構(gòu)圖；圖4是本發(fā)明進(jìn)一步優(yōu)選的一種混搭語(yǔ)音合成系統(tǒng)實(shí)施例結(jié)構(gòu)圖。
具體實(shí)施例方式為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。在具體合成語(yǔ)音之前，本發(fā)明需建立一個(gè)混搭定制語(yǔ)音庫(kù)?；齑疃ㄖ普Z(yǔ)音庫(kù)包含兩部分內(nèi)容定制文本和定制語(yǔ)音片段，其中每條定制文本對(duì)應(yīng)多個(gè)定制語(yǔ)音片段，每個(gè)定制語(yǔ)音片段均可選用不同音色、不同方言、不同語(yǔ)氣等多種風(fēng)格。參照?qǐng)D1，示出了本發(fā)明一種混搭語(yǔ)音合成方法實(shí)施例，包括以下步驟步驟101，接收用戶(hù)輸入文本。所述用戶(hù)輸入文本可以包括文字和數(shù)字符號(hào)，其中，所述的文字可以是漢字、英文、日文、韓文等，或者，上述多種文字中的一種或者幾種，如漢英組合等，本發(fā)明對(duì)具體文本不加以限制，以下主要以漢字為例。步驟102，對(duì)所述文本進(jìn)行自然語(yǔ)言處理，獲得與用戶(hù)輸入的文本對(duì)應(yīng)的音韻結(jié)構(gòu) fn息ο此步驟包括語(yǔ)法分詞(詞性標(biāo)注、拼音標(biāo)注)、數(shù)字符號(hào)處理、多音字處理、韻律邊界預(yù)測(cè)、變調(diào)處理等步驟。自然語(yǔ)言處理的最終結(jié)果是以字為單位的儲(chǔ)存的音韻結(jié)構(gòu)信息，它包含了拼音、 音調(diào)、韻律短語(yǔ)、韻律邊界、重音等信息。步驟103，將獲得的音韻結(jié)構(gòu)信息，結(jié)合混搭定制語(yǔ)音庫(kù)合成與所述文本對(duì)應(yīng)的混搭語(yǔ)音數(shù)據(jù)。將所得到的音韻結(jié)構(gòu)信息，比如拼音、音調(diào)、韻律短語(yǔ)、韻律邊界、重音等信息，隨機(jī)或者按照用戶(hù)喜好設(shè)定調(diào)用混搭定制語(yǔ)音庫(kù)事先定制好的具有相同語(yǔ)義的多種語(yǔ)音片段中的一種，然后合成混搭定制語(yǔ)音數(shù)據(jù)。在實(shí)際中，由于成本等原因，混搭定制語(yǔ)音庫(kù)定制范圍可能制作的不足夠大，需要結(jié)合通用語(yǔ)音庫(kù)對(duì)未定制到的語(yǔ)言部分進(jìn)行補(bǔ)充。在實(shí)際中混搭定制語(yǔ)音庫(kù)中存儲(chǔ)有大量定制文本和定制語(yǔ)音片段，其中每個(gè)語(yǔ)音片段的索引由其對(duì)應(yīng)的定制文本及一個(gè)附屬編號(hào)確定；每一段定制語(yǔ)音都先由真人按照定制文本錄音，然后將這些錄音采用或G723等編碼方法進(jìn)行壓縮。以漢字為例，定制文本“天氣真好”可以對(duì)應(yīng)四川方言、廣東方言、東北方言、湖南方言、成年男聲、成年女生、小男孩聲、小女孩聲等不同風(fēng)格，通過(guò)錄音得到對(duì)應(yīng)的具有相同語(yǔ)義而風(fēng)格不同的定制語(yǔ)音片段。然后將所述錄音得到的語(yǔ)音片段用或G723等編碼方法進(jìn)行壓縮儲(chǔ)存在混搭定制語(yǔ)音庫(kù)中。優(yōu)選的，參照?qǐng)D2，示出了本發(fā)明優(yōu)選的一種混搭語(yǔ)音合成方法實(shí)施例流程圖，具體可以包括步驟201，接收用戶(hù)輸入文本。所述用戶(hù)輸入文本可以包括文字和數(shù)字符號(hào)，其中，所述的文字可以是漢字、英文、日文、韓文等，或者，上述多種文字中的一種或者幾種，如漢英組合等，本發(fā)明對(duì)具體文本不加以限制，以下主要以漢字為例。步驟202，對(duì)所述文本進(jìn)行自然語(yǔ)言處理，獲得與用戶(hù)輸入的文本對(duì)應(yīng)的音韻結(jié)構(gòu) fn息ο此步驟包括語(yǔ)法分詞(詞性標(biāo)注、拼音標(biāo)注)、數(shù)字符號(hào)處理、多音字處理、韻律邊界預(yù)測(cè)、變調(diào)處理等步驟。自然語(yǔ)言處理的最終結(jié)果是以字為單位的儲(chǔ)存的音韻結(jié)構(gòu)信息，它包含了拼音、音調(diào)、韻律短語(yǔ)等信息。例如，當(dāng)輸入“2009年中華人民共和國(guó)建國(guó)60周年。”，本步驟對(duì)本句話進(jìn)行處理后得到“二零零九年/中華人民共和國(guó)/建國(guó)60周年?！保渲邪巳齻€(gè)韻律短語(yǔ)，當(dāng)然還包含了相應(yīng)的拼音、音調(diào)等信息，此時(shí)系統(tǒng)先按順序處理這三個(gè)韻律短語(yǔ)。當(dāng)輸入文本較短，比如輸入“中間”，那么韻律邊界智能劃分到“間”后，為“中間/”，系統(tǒng)也會(huì)將其按照一個(gè)韻律短語(yǔ)處理。步驟203，針對(duì)所獲得的音韻結(jié)構(gòu)信息，按處理順序與混搭定制語(yǔ)音庫(kù)中的定制文本進(jìn)行匹配；如果音韻結(jié)構(gòu)信息與定制文本匹配，轉(zhuǎn)入步驟204，反之，則轉(zhuǎn)入步驟205。此步驟中，首先將所獲得的音韻結(jié)構(gòu)信息中的韻律短語(yǔ)，與混搭定制語(yǔ)音庫(kù)中事先定制好的定制文本進(jìn)行匹配，匹配時(shí)以最小韻律短語(yǔ)為單位與定制文本進(jìn)行最長(zhǎng)匹配。例如，在定制庫(kù)中的定制文本有“中華人民”和“中華人民共和國(guó)”，但不含“二零零九年”和“建國(guó)60周年”。當(dāng)由步驟102得到“二零零九年/中華人民共和國(guó)/建國(guó)60周年?！逼渲邢到y(tǒng)按文本處理先后順序處理其中的韻律短語(yǔ)，處理順序?yàn)椤岸懔憔拍辍?，“中華人民共和國(guó)”，“建國(guó)60周年”。此時(shí)，系統(tǒng)會(huì)首先依次序進(jìn)行字符串對(duì)比匹配。首先對(duì)“二零零九年”進(jìn)行第一輪匹配，發(fā)現(xiàn)“二零零九年”無(wú)法匹配定制文本，轉(zhuǎn)入步驟204，將其合成通用語(yǔ)音；然后對(duì)“中華人民共和國(guó)，，進(jìn)行第一輪匹配，匹配到中華人民，其匹配長(zhǎng)度為4，再進(jìn)行第二輪匹配，匹配到“中華人民共和國(guó)”，匹配長(zhǎng)度為7，再進(jìn)行第三輪匹配，沒(méi)有即停止，最終的匹配結(jié)果為“中華人民共和國(guó)”，轉(zhuǎn)入步驟205，將其合成定制語(yǔ)音；最后對(duì)“建國(guó)60周年”進(jìn)行第一輪匹配，發(fā)現(xiàn)無(wú)法匹配，轉(zhuǎn)入步驟104，將其合成通用語(yǔ)音。實(shí)際中，每條定制文本的長(zhǎng)度至少為一個(gè)語(yǔ)法詞，定制文本按照編碼順序排序，定制文本在定制庫(kù)中按照編碼順序排序。步驟204，由被匹配定制文本結(jié)合混搭定制語(yǔ)音庫(kù)合成與定制文本對(duì)應(yīng)的定制語(yǔ)音數(shù)據(jù)。此步驟將由步驟203得到的被匹配定制文本，合成結(jié)合混搭定制語(yǔ)音庫(kù)合成定制語(yǔ)首。例如，步驟203中得到的被匹配文本“中華人民共和國(guó)”，調(diào)用混搭定制語(yǔ)音庫(kù)中的的定制語(yǔ)音片段合成語(yǔ)音數(shù)據(jù)。步驟205將未匹配的音韻結(jié)構(gòu)信息按照通用語(yǔ)音合成流程合成通用語(yǔ)音數(shù)據(jù)。例如，將步驟203中得到的“二零零九年”，“建國(guó)60周年”，采用現(xiàn)有的通用語(yǔ)音合成技術(shù)合成通用語(yǔ)音數(shù)據(jù)。其中通用語(yǔ)音合成數(shù)據(jù)可以為現(xiàn)有技術(shù)中的任何一種語(yǔ)音合成方法。步驟206，針對(duì)所述的定制語(yǔ)音數(shù)據(jù)和通用語(yǔ)音數(shù)據(jù)，按照用戶(hù)輸入文本的處理順序合成混搭語(yǔ)音數(shù)據(jù)。此步驟按前述步驟的文本處理順序接收以合成的定制語(yǔ)音數(shù)據(jù)和通用語(yǔ)音數(shù)據(jù)， 并按此順序調(diào)整合作完整的混搭語(yǔ)音數(shù)據(jù)。例如，首先，步驟206接收步驟203按文本處理順序?qū)Α岸懔憔拍辍边M(jìn)行匹配判斷后轉(zhuǎn)入步驟205合成的通用語(yǔ)音數(shù)據(jù)；然后，步驟206接收步驟203按文本處理順序?qū)Α爸腥A人民共和國(guó)”進(jìn)行匹配判斷后轉(zhuǎn)入步驟204合成的定制語(yǔ)音數(shù)據(jù)，并將“中華人民共和國(guó)”的語(yǔ)音數(shù)據(jù)與前面接收的 “二零零九年”語(yǔ)音數(shù)據(jù)進(jìn)行銜接整合；然后，步驟206接收步驟203按文本處理順序?qū)Α爸腥A人民共和國(guó)”進(jìn)行匹配判斷后轉(zhuǎn)入步驟204合成的定制語(yǔ)音數(shù)據(jù)，并將“建國(guó)60周年”語(yǔ)音數(shù)據(jù)與前面接收的“2009年中華人民共和國(guó)”語(yǔ)音數(shù)據(jù)進(jìn)行銜接整合；最終，輸出完整的“2009年中華人民共和國(guó)建國(guó)60周年?！闭Z(yǔ)音數(shù)據(jù)，其中“中華人民共和國(guó)”的風(fēng)格為隨機(jī)選擇或者按照用戶(hù)愛(ài)好選擇的某種風(fēng)格的語(yǔ)音數(shù)據(jù)。當(dāng)然，混搭定制語(yǔ)音庫(kù)中的定制文本的范圍可以定制很寬，比如將上述“2009年”等也可以設(shè)為定制文本并錄取不同風(fēng)格的定制語(yǔ)音片段，從而可以匹配更多用戶(hù)輸入的文本，使風(fēng)格更加鮮明多彩。在圖2所述的一種混搭語(yǔ)音合成方法流程圖步驟中優(yōu)選的，步驟204包含以下步驟步驟Al，針對(duì)由步驟203得到的被匹配定制文本，由定位單元在混搭定制語(yǔ)音庫(kù)的索引中隨機(jī)定位或者設(shè)置定位與定制文本對(duì)應(yīng)的各語(yǔ)音片段的帶有附屬編號(hào)的定制文本。所述的隨機(jī)定位是指由定位單元產(chǎn)生一個(gè)隨機(jī)數(shù)，然后與被匹配定制文本結(jié)合確定某條語(yǔ)音片段壓縮數(shù)據(jù)的索引。所述的設(shè)置定位是指由用戶(hù)根據(jù)自己的喜好選擇相應(yīng)的風(fēng)格的語(yǔ)音片段壓縮數(shù)據(jù)的索引。例如，首先，索引可以由如下方法編制帶有編號(hào)的定制文本和語(yǔ)音片段是一一對(duì)應(yīng)的，每條帶有編號(hào)的定制文本對(duì)應(yīng)一段定制語(yǔ)音；如上述定制文本“中華人民共和國(guó)”可對(duì)應(yīng)四川方言、廣東方言、東北方言、湖南方言、成年男聲、成年女生、小男孩聲、小女孩聲8種風(fēng)格的語(yǔ)音片段，將每個(gè)語(yǔ)音片段的
索引編為“中華人民共和國(guó)10001”、“中華人民共和國(guó)10002”........“中華人民共和國(guó)
10007”、“中華人民共和國(guó)10008”，那么定位單元將結(jié)合被匹配定制文本在此8個(gè)風(fēng)格語(yǔ)音片段的對(duì)應(yīng)的索引中隨機(jī)選定或者設(shè)置選定一個(gè)索引。如果用戶(hù)選擇隨機(jī)定位，那么由定位單元在定制文本“中華人民共和國(guó)”相關(guān)的編號(hào)范圍中隨機(jī)產(chǎn)生一個(gè)數(shù)，接下來(lái)由此隨機(jī)數(shù)和定制文本結(jié)合調(diào)用混搭定制語(yǔ)音庫(kù)中對(duì)應(yīng)的語(yǔ)音片段壓縮數(shù)據(jù)。如果用戶(hù)選擇設(shè)置定位，那么由用戶(hù)直接選定喜歡風(fēng)格的索引編號(hào)即可調(diào)用混搭定制語(yǔ)音庫(kù)中的對(duì)應(yīng)的語(yǔ)音片段壓縮數(shù)據(jù)。步驟A2，根據(jù)步驟Al選定的索引，調(diào)用混搭定制語(yǔ)音庫(kù)中的對(duì)應(yīng)的語(yǔ)音片段壓縮數(shù)據(jù)。步驟A3，根據(jù)步驟A2調(diào)用的語(yǔ)音片段壓縮數(shù)據(jù)，對(duì)其進(jìn)行解碼，得到匹配音韻結(jié)構(gòu)信息的定制語(yǔ)音數(shù)據(jù)。在實(shí)際中，語(yǔ)音片段的壓縮方法可以為或G723等編碼算法進(jìn)行壓縮，語(yǔ)音片段壓縮數(shù)據(jù)最終解碼格式一般默認(rèn)為16KHz 16Bit PCM格式音頻數(shù)據(jù)。
在圖2所述的一種混搭語(yǔ)音合成方法流程圖步驟中，在步驟205中，優(yōu)選的現(xiàn)有的通用語(yǔ)音技術(shù)可以為如下步驟步驟Bi，針對(duì)未匹配上定制文本的音韻結(jié)構(gòu)信息，結(jié)合原用戶(hù)輸入的文本上下文進(jìn)行音素信息預(yù)測(cè)與規(guī)劃，得到未匹配上定制文本的音韻結(jié)構(gòu)信息的語(yǔ)音參數(shù)；即通過(guò)音素信息預(yù)測(cè)與規(guī)劃得到的音節(jié)信息、音節(jié)位置、重音位置等信息。步驟B2，根據(jù)步驟Bl得到的音節(jié)信息、音節(jié)位置、重音位置等信息，結(jié)合通用語(yǔ)音庫(kù)規(guī)劃出語(yǔ)音參數(shù)，所述的語(yǔ)音參數(shù)包括時(shí)長(zhǎng)、基頻、譜等等參數(shù)。步驟B3，根據(jù)步驟B2得到語(yǔ)音參數(shù)利用合成器合成通用語(yǔ)音數(shù)據(jù)。另外，此步驟中也可以采用其它通用語(yǔ)音合成步驟合成通用語(yǔ)音數(shù)據(jù)。參照?qǐng)D3，示出了本發(fā)明優(yōu)選的的一種混搭語(yǔ)音合成系統(tǒng)結(jié)構(gòu)圖。接口模塊301，用于接收用戶(hù)輸入文本。自然語(yǔ)言處理模塊302，用于對(duì)所述文本進(jìn)行自然語(yǔ)言處理，獲得與用戶(hù)輸入的文本對(duì)應(yīng)的音韻結(jié)構(gòu)信息。文本匹配子模塊303，用于將所述的音韻結(jié)構(gòu)信息與混搭定制語(yǔ)音庫(kù)中的定制文本進(jìn)行匹配，得到已匹配定制文本的音韻結(jié)構(gòu)信息和未與定制文本匹配的音韻結(jié)構(gòu)信息。 如果音韻結(jié)構(gòu)信息與定制文本匹配，則將被音韻結(jié)構(gòu)信息匹配的定制文本信息輸入定制語(yǔ)音合成子模塊304，反之，則將未匹配定制文本的音韻結(jié)構(gòu)信息輸入通用語(yǔ)音合成子模塊 305 ；定制語(yǔ)音合成子模塊304，用于將被音韻結(jié)構(gòu)信息匹配的定制文本結(jié)合定制語(yǔ)音庫(kù)合成定制語(yǔ)音數(shù)據(jù)。通用語(yǔ)音合成子模塊305，用于合成未與定制文本匹配的音韻結(jié)構(gòu)信息的通用語(yǔ)音數(shù)據(jù)。語(yǔ)音調(diào)整合成子模塊306，用于將所述的定制語(yǔ)音數(shù)據(jù)和所述的通用語(yǔ)音數(shù)據(jù)按用戶(hù)輸入文本的處理順序合成混搭語(yǔ)音數(shù)據(jù)。優(yōu)選的，所述定制語(yǔ)音合成模快304包括定位單元401，混搭定制語(yǔ)音庫(kù)402，和解碼器403。所述的定位單元401將被匹配定制文本從混搭定制語(yǔ)音庫(kù)402的索引中隨機(jī)定位或者設(shè)置定位從混搭定制語(yǔ)音庫(kù)402中調(diào)用被匹配定制文本的某一種風(fēng)格的語(yǔ)音片段壓縮數(shù)據(jù)，然后由解碼器403將語(yǔ)音片段壓縮數(shù)據(jù)進(jìn)行解碼合成定制語(yǔ)音數(shù)據(jù)。在實(shí)際中，所述的通用語(yǔ)音合成子模塊305可以包括以下幾個(gè)模塊音素信息預(yù)測(cè)與規(guī)劃單元501，通用語(yǔ)音庫(kù)502和合成器503。所述的音素信息預(yù)測(cè)與規(guī)劃單元501對(duì)未匹配上定制文本的音韻結(jié)構(gòu)信息，結(jié)合原用戶(hù)輸入的文本的上下文進(jìn)行音素信息預(yù)測(cè)與規(guī)劃，得到音節(jié)信息、音節(jié)位置、重音位置等信息，然后將從音素信息預(yù)測(cè)與規(guī)劃單元501得到的信息結(jié)合通用語(yǔ)音庫(kù)502得到未匹配上定制文本的音韻結(jié)構(gòu)信息的時(shí)長(zhǎng)、基頻、譜等語(yǔ)音參數(shù)，最后通過(guò)合成器503把語(yǔ)音參數(shù)合成通用語(yǔ)音數(shù)據(jù)。參照?qǐng)D4，示出了本發(fā)明采用進(jìn)一步優(yōu)選方案時(shí)的混搭語(yǔ)音合成系統(tǒng)結(jié)構(gòu)圖。其中定制語(yǔ)音合成子模塊和通用語(yǔ)音合成子模塊如上所述，此處不再詳述。以上對(duì)本發(fā)明所提供的一種混搭語(yǔ)音合成方法和系統(tǒng)進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
1.一種混搭語(yǔ)音合成方法，其特征在于 步驟101，接收用戶(hù)輸入的文本；步驟102，對(duì)所述文本進(jìn)行自然語(yǔ)言處理，獲得與用戶(hù)輸入的文本對(duì)應(yīng)的音韻結(jié)構(gòu)信息；步驟103，針對(duì)所獲得的音韻結(jié)構(gòu)信息，結(jié)合混搭定制語(yǔ)音庫(kù)合成與所述文本對(duì)應(yīng)的混搭語(yǔ)音數(shù)據(jù)。
2.按照權(quán)利要求1所述的混搭語(yǔ)音合成方法其特征在于所述步驟103具體包括 步驟201，針對(duì)所獲得的音韻結(jié)構(gòu)信息，與混搭定制語(yǔ)音庫(kù)中的定制文本進(jìn)行匹配；如果匹配，轉(zhuǎn)入步驟202，如果未匹配，轉(zhuǎn)入步驟203 ；步驟202，通過(guò)被匹配定制文本調(diào)用混搭定制語(yǔ)音庫(kù)的定制語(yǔ)音數(shù)據(jù)合成定制語(yǔ)音數(shù)據(jù)；步驟203，將未匹配音韻結(jié)構(gòu)信息采用通用語(yǔ)音技術(shù)合成通用語(yǔ)音數(shù)據(jù)； 步驟204，將所述的定制語(yǔ)音數(shù)據(jù)和通用語(yǔ)音數(shù)據(jù)調(diào)整合成與所述文本對(duì)應(yīng)的混搭語(yǔ)音數(shù)據(jù)。
3 按照權(quán)利要求2所述的混搭語(yǔ)音合成方法，其特征在于所述步驟202包括由被匹配定制文本調(diào)用混搭定制語(yǔ)音庫(kù)中儲(chǔ)存的語(yǔ)音片段，然后將所得到的語(yǔ)音片段進(jìn)行解碼得到定制語(yǔ)音數(shù)據(jù)。
4.按照權(quán)利要求3所述的混搭語(yǔ)音合成方法，其特征在于所述的調(diào)用為隨機(jī)調(diào)用或者選定調(diào)用，所述的隨機(jī)調(diào)用為由定位單元隨機(jī)選擇混搭定制語(yǔ)音庫(kù)中的定制語(yǔ)音，所述的選定調(diào)用是用戶(hù)通過(guò)定位單元自己選用混搭定制語(yǔ)音庫(kù)中的定制語(yǔ)音。
5.按照權(quán)利要求1或2所述的混搭語(yǔ)音合成方法，其特征在于所述的混搭定制語(yǔ)音庫(kù)中的每一條定制文本對(duì)應(yīng)多個(gè)與定制文本語(yǔ)義相同的語(yǔ)音片段，所述語(yǔ)音片段的風(fēng)格互不相同。
6.按照權(quán)利要求5所述的混搭語(yǔ)音合成方法，其特征在于 所述的風(fēng)格包括音色，和/或方言，和/或語(yǔ)氣。
7.按照權(quán)利要求1所述的混搭語(yǔ)音合成方法，其特征在于所述的匹配是以音韻結(jié)構(gòu)信息中最小的韻律短語(yǔ)為單位與混搭定制語(yǔ)音庫(kù)中的定制文本進(jìn)行最長(zhǎng)匹配。
8.一種混搭語(yǔ)音合成系統(tǒng)，其特征在于，包括 接口模塊，用于接收用戶(hù)輸入的文本；自然語(yǔ)言處理模塊，用于獲得與用戶(hù)輸入的文本對(duì)應(yīng)的音韻結(jié)構(gòu)信息； 混搭語(yǔ)音合成模塊，用于將所獲得的音韻結(jié)構(gòu)信息何處為混搭語(yǔ)音數(shù)據(jù)。
9.按照權(quán)利要求8所述的混搭語(yǔ)音合成系統(tǒng)，其特征在于所述的混搭語(yǔ)音合成模塊包括文本匹配子模塊，定制語(yǔ)音合成子模塊，通用語(yǔ)音合成子模塊，語(yǔ)音調(diào)整合成子模塊；所述文本匹配子模塊，用于將所述的音韻結(jié)構(gòu)信息與混搭定制語(yǔ)音庫(kù)中的定制文本進(jìn)行匹配，得到已匹配定制文本的音韻結(jié)構(gòu)信息和未與定制文本匹配的音韻結(jié)構(gòu)信息；所述定制語(yǔ)音合成子模塊，用于合成已匹配定制文本的音韻結(jié)構(gòu)信息的定制語(yǔ)音數(shù)據(jù)；所述通用語(yǔ)音合成子模塊，用于合成未與定制文本匹配的音韻結(jié)構(gòu)信息的通用語(yǔ)音數(shù)據(jù)；所述語(yǔ)音調(diào)整合成子模塊，用于將所述的定制語(yǔ)音數(shù)據(jù)和所述的通用語(yǔ)音數(shù)據(jù)按用戶(hù)輸入文本的處理順序合成混搭語(yǔ)音數(shù)據(jù)。
10.按照權(quán)利要求9所述的混搭語(yǔ)音合成系統(tǒng)，其特征在于所述混搭定制語(yǔ)音合成子模塊包括定位單元，混搭定制語(yǔ)音庫(kù)，和解碼器；定位單元按照被音韻結(jié)構(gòu)信息匹配的定制文本從混搭定制語(yǔ)音庫(kù)的索引中隨機(jī)或者設(shè)置調(diào)用一種風(fēng)格的語(yǔ)音片段壓縮數(shù)據(jù)，然后由解碼器對(duì)所述的語(yǔ)音片段壓縮數(shù)據(jù)進(jìn)行解碼合成匹配語(yǔ)音數(shù)據(jù)。
全文摘要
本發(fā)明提供的一種混搭語(yǔ)音合成方法，包括接收用戶(hù)輸入的文本；對(duì)所述文本進(jìn)行自然語(yǔ)言處理，獲得與用戶(hù)輸入的文本對(duì)應(yīng)的音韻結(jié)構(gòu)信息；針對(duì)所獲得的音韻結(jié)構(gòu)信息，結(jié)合混搭定制語(yǔ)音庫(kù)合成與所述文本對(duì)應(yīng)的混搭語(yǔ)音數(shù)據(jù)。本發(fā)明還提供一種實(shí)現(xiàn)前述方法的混搭語(yǔ)音合成系統(tǒng)。本發(fā)明的混搭語(yǔ)音合成方法和系統(tǒng)通過(guò)事先定制完成的一個(gè)混搭定制語(yǔ)音庫(kù)，用戶(hù)可以依據(jù)個(gè)人愛(ài)好，通過(guò)該技術(shù)針對(duì)用戶(hù)所輸入的文本選擇隨機(jī)或者設(shè)置選定混搭定制語(yǔ)音庫(kù)中的不同音色、不同口音、不同語(yǔ)氣等多種風(fēng)格的語(yǔ)音片段，最終得到風(fēng)格多樣化的混搭合成語(yǔ)音。
文檔編號(hào)G10L19/14GK102201233SQ201110132768
公開(kāi)日2011年9月28日 申請(qǐng)日期2011年5月20日 優(yōu)先權(quán)日2011年5月20日
發(fā)明者劉暢, 李健, 武衛(wèi)東, 鄭曉明 申請(qǐng)人:北京捷通華聲語(yǔ)音技術(shù)有限公司