一種語音合成的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及語音識(shí)別技術(shù)領(lǐng)域，特別是涉及一種語音合成的方法和裝置以及一種 基頻模型的訓(xùn)練方法和裝置。
【背景技術(shù)】
[0002] 隨著語音合成技術(shù)的發(fā)展，合成聲音的音質(zhì)、自然度、智能度都有了很大提高， HTS (HMM-based speech synthesis system，基于HMM的語音合成系統(tǒng)）技術(shù)目前已成為語 音合成業(yè)界的核心技術(shù)，HMM(Hidden Markov Model，隱馬爾可夫模型）作為一種統(tǒng)計(jì)分析 模型，創(chuàng)立于20世紀(jì)70年代。80年代得到了傳播和發(fā)展，成為信號(hào)處理的一個(gè)重要方向， 現(xiàn)已成功地用于語音識(shí)別。
[0003] HTS技術(shù)可以分為兩個(gè)階段，訓(xùn)練階段和合成階段。在訓(xùn)練階段，使用信號(hào)分析工 具從語音中提取聲學(xué)參數(shù)（譜參數(shù)和基頻參數(shù)），然后以音段為粒度對(duì)聲學(xué)參數(shù)建立HMM模 型；在合成階段，構(gòu)造出整句的馬爾可夫鏈，然后在其上按最大似然原則生成譜參數(shù)、基頻 參數(shù)和時(shí)長(zhǎng)，再使用信號(hào)合成器重構(gòu)出語音。
[0004] 傳統(tǒng)的HTS在訓(xùn)練以及合成階段通常以音段為語音粒度單位，即以聲母或韻母作 為語音粒度單位。然而，以這以種微小的語音粒度為單位進(jìn)行語音合成的方法，會(huì)導(dǎo)致合成 的韻律效果平淡、生硬，與真實(shí)語音差距較大。此外，上述決策樹聚類將原本精細(xì)區(qū)分的語 境類型合并為更粗略的類型集，以單一高斯模型一概而論，丟失了諸多個(gè)性細(xì)節(jié)，導(dǎo)致基頻 參數(shù)的"過平均化"，狀態(tài)間參數(shù)綁定更進(jìn)一步加劇"過平均化"問題，基頻參數(shù)的"過平均 化"導(dǎo)致每個(gè)字的音調(diào)刻板、缺乏變化，機(jī)器風(fēng)格明顯。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實(shí)施例所要解決的技術(shù)問題是提供一種語音合成的方法和裝置以及一種 基頻模型的訓(xùn)練方法和裝置，能夠提高音高的準(zhǔn)確度，從而使韻律更接近真實(shí)語音。
[0006] 為了解決上述問題，本發(fā)明公開了一種語音合成的方法，包括：
[0007] 對(duì)待合成文本中的各音段進(jìn)行音段模型決策，確定所述各音段對(duì)應(yīng)的基線HTS基 頻模型；
[0008] 對(duì)所述待合成文本中的各音節(jié)進(jìn)行音節(jié)模型決策，確定所述各音節(jié)對(duì)應(yīng)的連續(xù)池 音段基頻模型；
[0009] 依據(jù)所述各音段對(duì)應(yīng)的基線HTS基頻模型與所述各音節(jié)對(duì)應(yīng)的連續(xù)濁音段基頻 模型，按照多層融合算法聯(lián)合生成融合基頻參數(shù)；
[0010] 依據(jù)所述融合基頻參數(shù)以及對(duì)應(yīng)的譜參數(shù)合成語音。
[0011] 優(yōu)選地，所述對(duì)所述待合成文本中的各音節(jié)進(jìn)行音節(jié)模型決策，確定所述各音節(jié) 對(duì)應(yīng)的連續(xù)濁音段基頻模型的步驟，包括：
[0012] 對(duì)所述待合成文本中的各音節(jié)進(jìn)行音芐基頻模型預(yù)測(cè)；
[0013] 基于走勢(shì)線擬合的多路優(yōu)選方法確定所述各音節(jié)的最優(yōu)音芐基頻模型；
[0014] 依據(jù)所述各音節(jié)的最優(yōu)音芐基頻模型生成連續(xù)濁音段基頻模型。
[0015] 優(yōu)選地，所述走勢(shì)線生成的步驟，包括：
[0016] 對(duì)所述待合成文本中的每個(gè)音節(jié)，確定多個(gè)音芐基頻候選模型；
[0017] 依據(jù)所述多個(gè)音芐基頻候選模型在二維空間按最小二乘準(zhǔn)則擬合出一條直線，所 述直線即為走勢(shì)線。
[0018] 優(yōu)選地，所述依據(jù)所述各音節(jié)的最優(yōu)音芐基頻模型生成連續(xù)濁音段基頻模型，包 括：
[0019] 將所述各音節(jié)的最優(yōu)音芐基頻模型依次按連續(xù)濁音段為單位進(jìn)行合并；
[0020] 將各連續(xù)濁音段對(duì)應(yīng)的高斯模型依據(jù)時(shí)長(zhǎng)加權(quán)平均得到連續(xù)濁音段基頻模型。
[0021 ] 優(yōu)選地，所述方法還包括：
[0022] 依據(jù)走勢(shì)線控制語音合成的語調(diào)。
[0023] 優(yōu)選地，所述多層融合算法為聯(lián)合狀態(tài)層模型的參數(shù)集和連續(xù)濁音段模型的參數(shù) 集，按照狀態(tài)層與所述連續(xù)濁音段層各自的最優(yōu)準(zhǔn)則進(jìn)行綜合計(jì)算。
[0024] 依據(jù)本發(fā)明的另一個(gè)方面，提供了一種音芐基頻模型的訓(xùn)練方法，包括：
[0025] 對(duì)語音樣本提取聲學(xué)參數(shù)；所述聲學(xué)參數(shù)包括基頻參數(shù)；
[0026] 依據(jù)所述基頻參數(shù)生成音芐基頻均值參數(shù)；
[0027] 依據(jù)所述音芐基頻均值參數(shù)，訓(xùn)練出多套音芐基頻模型。
[0028] 優(yōu)選地，所述依據(jù)所述基頻參數(shù)生成音芐基頻均值參數(shù)，包括：
[0029] 針對(duì)所述基頻參數(shù)以音節(jié)為單位提取特征，逐音節(jié)統(tǒng)計(jì)均值生成音芐基頻均值參 數(shù)。
[0030] 優(yōu)選地，所述依據(jù)所述音芐基頻均值參數(shù)，訓(xùn)練出多套音芐基頻模型的步驟，包 括：
[0031] 根據(jù)音庫中的各類標(biāo)注對(duì)所述語音樣本分別生成逐音段上下文語境信息和逐音 節(jié)上下文語境信息；
[0032] 針對(duì)所述音芐基頻均值參數(shù)，結(jié)合音節(jié)上下文語境信息訓(xùn)練出多套音芐基頻模 型。
[0033] 依據(jù)本發(fā)明的又一個(gè)方面，提供了一種語音合成的裝置，包括：
[0034] 音段模型決策模塊，用于對(duì)待合成文本中的各音段進(jìn)行音段模型決策，確定所述 各音段對(duì)應(yīng)的基線HTS基頻模型；
[0035] 音節(jié)模型決策模塊，用于對(duì)所述待合成文本中的各音節(jié)進(jìn)行音節(jié)模型決策，確定 所述各音節(jié)對(duì)應(yīng)的連續(xù)濁音段基頻模型；
[0036] 融合參數(shù)生成模塊，用于依據(jù)所述各音段對(duì)應(yīng)的基線HTS基頻模型與所述各音節(jié) 對(duì)應(yīng)的連續(xù)濁音段基頻模型，按照多層融合算法聯(lián)合生成融合基頻參數(shù)；以及
[0037] 語音合成模塊，用于依據(jù)所述融合基頻參數(shù)以及對(duì)應(yīng)的譜參數(shù)合成語音。
[0038] 依據(jù)本發(fā)明的再一個(gè)方面，提供了一種音芐基頻模型的訓(xùn)練裝置，包括：
[0039] 聲學(xué)參數(shù)提取模塊，用于對(duì)語音樣本提取聲學(xué)參數(shù)；所述聲學(xué)參數(shù)包括基頻參 數(shù)；
[0040] 音節(jié)參數(shù)生成模塊，用于依據(jù)所述基頻參數(shù)生成音芐基頻均值參數(shù)；以及
[0041] 音芐基頻模型訓(xùn)練模塊，用于依據(jù)所述音芐基頻均值參數(shù)，訓(xùn)練出多套音芐基頻 模型。
[0042] 與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例包括以下優(yōu)點(diǎn)：
[0043] 本發(fā)明實(shí)施例在合成階段增加連續(xù)濁音段這一高層粒度單位，依據(jù)所述各音段對(duì) 應(yīng)的基線HTS基頻模型與所述各音節(jié)對(duì)應(yīng)的連續(xù)濁音段基頻模型，按照多層融合算法聯(lián)合 生成融合基頻參數(shù)，并依據(jù)融合基頻參數(shù)以及對(duì)應(yīng)的譜參數(shù)合成語音；由于融合基頻參數(shù) 為基線HTS模型和高層（連續(xù)濁音段基頻）模型按照多層融合算法聯(lián)合生成的結(jié)果，因此， 融合基頻參數(shù)既能夠通過基線HTS基頻模型保留基線HTS特征，又能夠通過高層模型進(jìn)一 步修正語音的聲調(diào)及韻律，因此可以提高音高的準(zhǔn)確度，從而使韻律更接近真實(shí)語音。
【附圖說明】
[0044] 圖1示出了傳統(tǒng)的HMM語音建模的示意圖；
[0045] 圖2示出了本發(fā)明的一種語音合成的方法實(shí)施例的步驟流程圖；
[0046] 圖3示出了本發(fā)明的一種對(duì)所述待合成文本中的各音節(jié)進(jìn)行音芐基頻模型決策， 確定所述各音節(jié)對(duì)應(yīng)的連續(xù)濁音段基頻模型的步驟流程圖；
[0047] 圖4示出了本發(fā)明的一種走勢(shì)線生成的示意圖；
[0048] 圖5a示出了本發(fā)明的一種語音合成示例的步驟流程圖；
[0049] 圖5b示出了本發(fā)明的一種語音合成的系統(tǒng)流程圖；
[0050] 圖6示出了本發(fā)明的一種語音合成中音芐基頻模型的訓(xùn)練方法步驟流程圖；
[0051] 圖7示出了本發(fā)明的一種基于上下文語境的決策樹聚類的示意圖；
[0052] 圖8示出了本發(fā)明的一種語音合成的基頻模型訓(xùn)練系統(tǒng)流程圖；
[0053] 圖9示出了以音節(jié)為高層粒度進(jìn)行訓(xùn)練及合成的試驗(yàn)例句的示意圖；
[0054] 圖10示出了以音節(jié)為高層粒度進(jìn)行訓(xùn)練及合成的試驗(yàn)例句的局部放大示意圖；
[0055] 圖11示出了本發(fā)明的一種以連續(xù)濁音段為高層粒度單位進(jìn)行訓(xùn)練及合成的試驗(yàn) 例句的示意圖；
[0056] 圖12示出了本發(fā)明的一種語音合成的裝置結(jié)構(gòu)框圖；及
[0057] 圖13示出了本發(fā)明的一種音芐基頻模型的訓(xùn)練裝置結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0058] 為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí) 施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明。
[0059] 為了便于理解，首先對(duì)本發(fā)明涉及的語音概念進(jìn)行解釋說明：
[0060] 基頻：語音信號(hào)可以分為濁音和清音兩大類。語音中只有濁音才有基頻，濁音的激 勵(lì)是周期性的脈沖串，脈沖串的頻率就是基音頻率，簡(jiǎn)稱基頻。由于發(fā)聲器官生理方面的差 異，男性和女性的基頻范圍不同，一般地，男性的基頻范圍為50~250Hz ;女性的基頻范圍 為120~500Hz ;嬰兒的基頻范圍大約為250~800Hz ;新生嬰兒的哭聲基頻范圍更高。
[0061] 音節(jié)、音段（語音粒度單位）：在中文普通話中，一個(gè)字就是一個(gè)音節(jié)；一個(gè)音節(jié)可 由一個(gè)聲母和一個(gè)韻母構(gòu)成，或只由一個(gè)韻母構(gòu)成（如"啊"）。本發(fā)明實(shí)施例中將聲母和 韻母統(tǒng)稱為音段。語音合成領(lǐng)域通常對(duì)全部音段統(tǒng)一建模。
[0062] 韻律短語：言語的韻律單元，具備完整的語調(diào)結(jié)構(gòu)，以換氣停頓結(jié)束?？赏ㄋ桌斫?為一口氣說出的片段。一般陳述語氣下語調(diào)高起低止，稱為音高下傾現(xiàn)象。一句話中包含 一個(gè)或多個(gè)韻律短語。
[0063] 傳統(tǒng)的HTS在訓(xùn)練階段將音段的聲學(xué)表征視為一個(gè)隨時(shí)間變化的隨機(jī)過程，此過 程歷經(jīng)一定數(shù)量的狀態(tài)，以概率轉(zhuǎn)移的方式串聯(lián)成馬爾可夫鏈；假定每個(gè)狀態(tài)內(nèi)保持穩(wěn)定， 以GMM(Gaussian Mixture Model，混合高斯模型）統(tǒng)計(jì)描述。參照?qǐng)D1，示出