本申請涉及計(jì)算機(jī)，特別涉及一種混音音效描述模型生成方法、音效描述生成方法、設(shè)備、介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、目前，利用深度學(xué)習(xí)模型生成混音音頻后，難以評估混音音頻的混音效果，聽者只能借助自身經(jīng)驗(yàn)來判斷混音音頻的混音效果是否恰當(dāng)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本申請的目的在于提供一種混音音效描述模型生成方法、設(shè)備、介質(zhì)及產(chǎn)品，能夠使模型學(xué)習(xí)混音音效描述信息的生成能力，得到的混音音效描述模型輸出的混音音效描述信息能夠指導(dǎo)用戶進(jìn)行混音音頻的調(diào)整。其具體方案如下：

2、為實(shí)現(xiàn)上述目的，一方面，本申請?zhí)峁┝艘环N混音音效描述模型生成方法，包括：

3、獲取樣本音頻、音頻問題文本和音效描述文本；所述樣本音頻為對原音頻進(jìn)行混音處理所得的，所述音頻問題文本用于詢問所述樣本音頻與所述原音頻在目標(biāo)音效參數(shù)上的差異，所述音效描述文本為針對所述音頻問題文本的響應(yīng)；

4、通過待訓(xùn)練的混音音效描述模型對所述樣本音頻和所述音頻問題文本進(jìn)行處理，得到預(yù)測音效描述文本；

5、基于所述預(yù)測音效描述文本和所述音效描述文本，對所述待訓(xùn)練的混音音效描述模型進(jìn)行參數(shù)優(yōu)化，直至達(dá)到收斂條件，得到訓(xùn)練好的混音音效描述模型，所述混音音效描述模型用于針對輸入的混音音頻生成相應(yīng)的混音音效描述信息。

6、可選地，所述樣本音頻的生成過程包括：

7、按照混音音效參數(shù)組調(diào)整dsp混音鏈路中的混響參數(shù)、壓縮參數(shù)、延遲參數(shù)和均衡參數(shù)中的至少一個(gè)，得到混音參數(shù)不同的多個(gè)dsp混音鏈路；所述混音音效參數(shù)組包括：由混響參數(shù)、壓縮參數(shù)、延遲參數(shù)和均衡參數(shù)中的至少一個(gè)構(gòu)成的多組參數(shù)向量；

8、利用所述多個(gè)dsp混音鏈路對多個(gè)目標(biāo)音頻進(jìn)行混音處理，得到所述多個(gè)目標(biāo)音頻分別對應(yīng)的混音音頻；

9、將各個(gè)混音音頻作為所述樣本音頻。

10、可選地，所述音效描述文本的生成過程包括：

11、將用戶輸入的所述樣本音頻的混音音效描述信息作為所述音效描述文本。

12、又一方面，本申請還提供了一種音效描述生成方法，包括：

13、獲取目標(biāo)混音音頻和所述目標(biāo)混音音頻對應(yīng)的問題文本；

14、將所述目標(biāo)混音音頻和所述問題文本輸入混音音效描述模型，以使所述混音音效描述模型生成針對所述問題文本的混音音效描述文本；其中，所述混音音效描述模型按照前述任一項(xiàng)所述的方法生成；所述混音音效描述信息用于指導(dǎo)對所述目標(biāo)混音音頻進(jìn)行混音優(yōu)化。

15、可選地，所述方法還包括：

16、按照所述混音音效描述信息優(yōu)化所述目標(biāo)混音音頻的混音音效，得到優(yōu)化后的目標(biāo)混音音頻；

17、返回執(zhí)行所述獲取目標(biāo)混音音頻和所述目標(biāo)混音音頻的問題文本的步驟，直至得到的混音音效描述信息表征無需再對所述目標(biāo)混音音頻進(jìn)行優(yōu)化，得到最優(yōu)的目標(biāo)混音音頻。

18、可選地，按照所述混音音效描述信息優(yōu)化所述目標(biāo)混音音頻的混音音效，包括：

19、利用dsp混音鏈路按照所述混音音效描述信息，對所述目標(biāo)混音音頻進(jìn)行混響處理、壓縮處理、延遲處理和均衡處理中的至少一種。

20、可選地，所述方法還包括：

21、將所述混音音效描述模型訓(xùn)練過程中的音頻問題文本作為所述目標(biāo)混音音頻對應(yīng)的問題文本。

22、又一方面，本申請還提供了一種電子設(shè)備，所述電子設(shè)備包括處理器和存儲器；其中，所述存儲器用于存儲計(jì)算機(jī)程序，所述計(jì)算機(jī)程序由所述處理器加載并執(zhí)行以實(shí)現(xiàn)前述相應(yīng)方法。

23、又一方面，本申請還提供了一種存儲介質(zhì)，所述存儲介質(zhì)中存儲有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令被處理器加載并執(zhí)行時(shí)，實(shí)現(xiàn)前述相應(yīng)方法。

24、又一方面，本申請還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述任一項(xiàng)所述的方法。

25、本申請基于樣本音頻、音頻問題文本和音效描述文本，可訓(xùn)練得到用于針對輸入的混音音頻生成相應(yīng)的混音音效描述信息的混音音效描述模型。其中，樣本音頻為對原音頻進(jìn)行混音處理所得的，音頻問題文本用于詢問樣本音頻與原音頻在目標(biāo)音效參數(shù)上的差異，音效描述文本為針對音頻問題文本的響應(yīng)，本申請據(jù)此得到的混音音效描述模型所生成的混音音效描述信息能夠指導(dǎo)用戶進(jìn)行混音音頻的調(diào)整，聽者可以借助混音音效描述信息，而非自身經(jīng)驗(yàn)來判斷混音音頻的混音效果是否恰當(dāng)，從而使聽者更容易掌握混音技巧，精確了解音頻的優(yōu)劣之處，提高音樂制作的普適性和便捷性。

26、相應(yīng)地，本申請?zhí)峁┑囊粜枋錾煞椒ā⒒煲舴椒?、設(shè)備、介質(zhì)及產(chǎn)品，也同樣具有上述技術(shù)效果。

技術(shù)特征：

1.一種混音音效描述模型生成方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述樣本音頻的生成過程包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述音效描述文本的生成過程包括：

4.一種音效描述生成方法，其特征在于，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，按照所述混音音效描述信息優(yōu)化所述目標(biāo)混音音頻的混音音效，包括：

7.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

8.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括處理器和存儲器；其中，所述存儲器用于存儲計(jì)算機(jī)程序，所述計(jì)算機(jī)程序由所述處理器加載并執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的方法。

9.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)中存儲有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令被處理器加載并執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，其特征在于，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請公開了計(jì)算機(jī)技術(shù)領(lǐng)域內(nèi)的一種混音音效描述模型生成方法、音效描述生成方法、設(shè)備、介質(zhì)及產(chǎn)品，該方案基于樣本音頻、音頻問題文本和音效描述文本，可訓(xùn)練得到用于針對輸入的混音音頻生成相應(yīng)的混音音效描述信息的混音音效描述模型。該模型所生成的混音音效描述信息能夠指導(dǎo)用戶進(jìn)行混音音頻的調(diào)整，聽者可以借助混音音效描述信息，而非自身經(jīng)驗(yàn)來判斷混音音頻的混音效果是否恰當(dāng)，從而使聽者更容易掌握混音技巧，精確了解音頻的優(yōu)劣之處，提高音樂制作的普適性和便捷性。

技術(shù)研發(fā)人員：劉馨璐,王雨晨,閆震海,洪宇,曹碩
受保護(hù)的技術(shù)使用者：騰訊音樂娛樂科技（深圳）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9