本發(fā)明涉及信號(hào)處理，特別涉及一種音頻主伴唱分離方法、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品。

背景技術(shù)：

1、現(xiàn)有技術(shù)中，主伴唱分離通過(guò)從雙聲道人聲信號(hào)中，提取出單聲道主唱信號(hào)和單聲道伴唱信號(hào)后，簡(jiǎn)單將單聲道復(fù)制成兩軌，得到雙聲道主唱信號(hào)和雙聲道伴唱信號(hào)；但是這種方式分離的準(zhǔn)確性不高?，F(xiàn)有技術(shù)中，還采用基于深度學(xué)習(xí)的主伴唱分離，具體通過(guò)訓(xùn)練大量的主唱和伴唱音頻數(shù)據(jù)，使神經(jīng)網(wǎng)絡(luò)具備分離主伴唱信號(hào)的能力；但是需要大量的數(shù)據(jù)進(jìn)行模型訓(xùn)練，技術(shù)成本高。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供一種音頻主伴唱分離方法、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，能夠提高主唱和伴唱分離的精細(xì)化程度，實(shí)現(xiàn)低成本且還原聲像信息的主伴唱分離。其具體方案如下：

2、第一方面，本申請(qǐng)公開(kāi)了一種音頻主伴唱分離方法，包括：

3、獲取歌曲音頻，從所述歌曲音頻中提取出單聲道相關(guān)信號(hào)和單聲道不相關(guān)信號(hào)；

4、獲取所述歌曲音頻的能量包絡(luò)差信號(hào)，根據(jù)所述能量包絡(luò)差信號(hào)確定出極左信號(hào)區(qū)間和極右信號(hào)區(qū)間；

5、基于所述單聲道相關(guān)信號(hào)得到主唱左聲道信號(hào)和主唱右聲道信號(hào)，基于所述單聲道不相關(guān)信號(hào)得到伴唱左聲道信號(hào)和伴唱右聲道信號(hào)；

6、利用所述單聲道不相關(guān)信號(hào)，分別向極左信號(hào)區(qū)間內(nèi)的主唱左聲道信號(hào)和極右信號(hào)區(qū)間內(nèi)的主唱右聲道信號(hào)添加聲像信息，得到雙聲道主唱信號(hào)；

7、調(diào)整所述極左信號(hào)區(qū)間內(nèi)的伴唱右聲道信號(hào)，以及調(diào)整極右信號(hào)區(qū)間內(nèi)的伴唱左聲道信號(hào)，得到雙聲道伴唱信號(hào)。

8、可選的，所述獲取所述歌曲音頻的能量包絡(luò)差信號(hào)，包括：

9、分別對(duì)所述歌曲音頻的左聲道信號(hào)和右聲道信號(hào)進(jìn)行分幀，并計(jì)算每幀信號(hào)的能量包絡(luò)，得到左聲道的能量包絡(luò)和右聲道的能量包絡(luò)；

10、根據(jù)左聲道的能量包絡(luò)與右聲道的能量包絡(luò)的差異，得到所述歌曲音頻對(duì)應(yīng)的能量包絡(luò)差信號(hào)。

11、可選的，所述根據(jù)所述能量包絡(luò)差信號(hào)確定出極左信號(hào)區(qū)間和極右信號(hào)區(qū)間，包括：

12、獲取第一能量閾值和第二能量閾值；所述第一能量閾值大于所述第二能量閾值；所述第一能量閾值為絕對(duì)值，所述第一能量閾值對(duì)應(yīng)第一能量正閾值和第一能量負(fù)閾值；所述第二能量閾值為絕對(duì)值，所述第二能量閾值對(duì)應(yīng)第二能量正閾值和第二能量負(fù)閾值；

13、從所述能量包絡(luò)差信號(hào)中定位得到能量大于第一能量正閾值的第一區(qū)域，以所述第一區(qū)域?yàn)橹行难厮瞿芰堪j(luò)差信號(hào)向兩側(cè)查找，定位出能量等于第二能量正閾值的兩個(gè)時(shí)間點(diǎn)，將兩個(gè)時(shí)間點(diǎn)之間的時(shí)間段作為所述極左信號(hào)區(qū)間；

14、從所述能量包絡(luò)差信號(hào)中定位得到能量小于第一能量負(fù)閾值的第二區(qū)域，以所述第二區(qū)域?yàn)橹行难厮瞿芰堪j(luò)差信號(hào)向兩側(cè)查找，定位出能量等于第二能量負(fù)閾值的兩個(gè)時(shí)間點(diǎn)，將兩個(gè)時(shí)間點(diǎn)之間的時(shí)間段作為所述極右信號(hào)區(qū)間。

15、可選的，所述計(jì)算每幀信號(hào)的能量包絡(luò)，得到左聲道的能量包絡(luò)和右聲道的能量包絡(luò)，包括：

16、計(jì)算每幀信號(hào)的能量包絡(luò)，對(duì)所述能量包絡(luò)進(jìn)行平滑處理和歸一化處理，得到左聲道的能量包絡(luò)和右聲道的能量包絡(luò)；

17、對(duì)所述能量包絡(luò)進(jìn)行平滑處理，包括：

18、對(duì)所述能量包絡(luò)進(jìn)行上采樣得到上采樣后信號(hào)序列，對(duì)所述上采樣后信號(hào)序列進(jìn)行時(shí)域卷積得到卷積后序列，對(duì)所述卷積后序列進(jìn)行下采樣，得到下采樣后信號(hào)序列。

19、可選的，所述利用所述單聲道不相關(guān)信號(hào)，分別向極左信號(hào)區(qū)間內(nèi)的主唱左聲道信號(hào)和極右信號(hào)區(qū)間內(nèi)的主唱右聲道信號(hào)添加聲像信息，得到雙聲道主唱信號(hào)，包括：

20、根據(jù)極左信號(hào)區(qū)間內(nèi)的主唱左聲道信號(hào)，與所述極左信號(hào)區(qū)間內(nèi)的不相關(guān)信號(hào)的差，得到更新后主唱左聲道信號(hào)；

21、根據(jù)極右信號(hào)區(qū)間內(nèi)的主唱右聲道信號(hào)，與所述極右信號(hào)區(qū)間內(nèi)的不相關(guān)信號(hào)的差，得到更新后主唱右聲道信號(hào)；

22、基于所述更新后主唱左聲道信號(hào)和所述更新后主唱右聲道信號(hào)，得到雙聲道主唱信號(hào)。

23、可選的，所述調(diào)整所述極左信號(hào)區(qū)間內(nèi)的伴唱右聲道信號(hào)，以及調(diào)整極右信號(hào)區(qū)間內(nèi)的伴唱左聲道信號(hào)，得到雙聲道伴唱信號(hào)，包括：

24、將所述極左信號(hào)區(qū)間內(nèi)的伴唱右聲道信號(hào)調(diào)整為0，得到更新后伴唱右聲道信號(hào)；

25、將所述極右信號(hào)區(qū)間內(nèi)的伴唱左聲道信號(hào)調(diào)整為0，得到更新后伴唱左聲道信號(hào)；

26、基于所述更新后伴唱右聲道信號(hào)和所述更新后伴唱左聲道信號(hào)，得到雙聲道伴唱信號(hào)。

27、可選的，所述調(diào)整所述極左信號(hào)區(qū)間內(nèi)的伴唱右聲道信號(hào)，以及調(diào)整極右信號(hào)區(qū)間內(nèi)的伴唱左聲道信號(hào)，得到雙聲道伴唱信號(hào)之后，還包括：

28、對(duì)所述雙聲道伴唱信號(hào)進(jìn)行去相關(guān)處理，得到去相關(guān)處理后雙聲道伴唱信號(hào)。

29、可選的，所述對(duì)所述雙聲道伴唱信號(hào)進(jìn)行去相關(guān)處理，包括：

30、通過(guò)對(duì)所述雙聲道伴唱信號(hào)進(jìn)行延遲采樣進(jìn)行去相關(guān)處理；

31、或，通過(guò)改變所述雙聲道伴唱信號(hào)的相位進(jìn)行去相關(guān)處理。

32、第二方面，本申請(qǐng)公開(kāi)了一種電子設(shè)備，包括：

33、存儲(chǔ)器，用于保存計(jì)算機(jī)程序；

34、處理器，用于執(zhí)行所述計(jì)算機(jī)程序，以實(shí)現(xiàn)前述的音頻主伴唱分離方法。

35、第三方面，本申請(qǐng)公開(kāi)了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)程序；其中計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述的音頻主伴唱分離方法。

36、本申請(qǐng)中，獲取歌曲音頻，從所述歌曲音頻中提取出單聲道相關(guān)信號(hào)和單聲道不相關(guān)信號(hào)；獲取所述歌曲音頻的能量包絡(luò)差信號(hào)，根據(jù)所述能量包絡(luò)差信號(hào)確定出極左信號(hào)區(qū)間和極右信號(hào)區(qū)間；基于所述單聲道相關(guān)信號(hào)得到主唱左聲道信號(hào)和主唱右聲道信號(hào)，基于所述單聲道不相關(guān)信號(hào)得到伴唱左聲道信號(hào)和伴唱右聲道信號(hào)；利用所述單聲道不相關(guān)信號(hào)，分別向極左信號(hào)區(qū)間內(nèi)的主唱左聲道信號(hào)和極右信號(hào)區(qū)間內(nèi)的主唱右聲道信號(hào)添加聲像信息，得到雙聲道主唱信號(hào)；調(diào)整所述極左信號(hào)區(qū)間內(nèi)的伴唱右聲道信號(hào)，以及調(diào)整極右信號(hào)區(qū)間內(nèi)的伴唱左聲道信號(hào)，得到雙聲道伴唱信號(hào)。可見(jiàn)，通過(guò)檢測(cè)歌曲音頻左右聲道的能量包絡(luò)差，確定出可能出現(xiàn)的極左信號(hào)和極右信號(hào)的區(qū)間，利用極左極右信號(hào)給主唱和伴唱賦予聲像信息，最終得到雙聲道主唱信號(hào)和雙聲道伴唱信號(hào)，提高主唱和伴唱分離的精細(xì)化程度，實(shí)現(xiàn)低成本且還原聲像信息的主伴唱分離。

技術(shù)特征：

1.一種音頻主伴唱分離方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的音頻主伴唱分離方法，其特征在于，所述獲取所述歌曲音頻的能量包絡(luò)差信號(hào)，包括：

3.根據(jù)權(quán)利要求2所述的音頻主伴唱分離方法，其特征在于，所述根據(jù)所述能量包絡(luò)差信號(hào)確定出極左信號(hào)區(qū)間和極右信號(hào)區(qū)間，包括：

4.根據(jù)權(quán)利要求2所述的音頻主伴唱分離方法，其特征在于，所述計(jì)算每幀信號(hào)的能量包絡(luò)，得到左聲道的能量包絡(luò)和右聲道的能量包絡(luò)，包括：

5.根據(jù)權(quán)利要求1所述的音頻主伴唱分離方法，其特征在于，所述利用所述單聲道不相關(guān)信號(hào)，分別向極左信號(hào)區(qū)間內(nèi)的主唱左聲道信號(hào)和極右信號(hào)區(qū)間內(nèi)的主唱右聲道信號(hào)添加聲像信息，得到雙聲道主唱信號(hào)，包括：

6.根據(jù)權(quán)利要求1所述的音頻主伴唱分離方法，其特征在于，所述調(diào)整所述極左信號(hào)區(qū)間內(nèi)的伴唱右聲道信號(hào)，以及調(diào)整極右信號(hào)區(qū)間內(nèi)的伴唱左聲道信號(hào)，得到雙聲道伴唱信號(hào)，包括：

7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的音頻主伴唱分離方法，其特征在于，所述調(diào)整所述極左信號(hào)區(qū)間內(nèi)的伴唱右聲道信號(hào)，以及調(diào)整極右信號(hào)區(qū)間內(nèi)的伴唱左聲道信號(hào)，得到雙聲道伴唱信號(hào)之后，還包括：

8.根據(jù)權(quán)利要求7所述的音頻主伴唱分離方法，其特征在于，所述對(duì)所述雙聲道伴唱信號(hào)進(jìn)行去相關(guān)處理，包括：

9.一種電子設(shè)備，其特征在于，包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，用于存儲(chǔ)計(jì)算機(jī)程序；其中計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至8任一項(xiàng)所述的音頻主伴唱分離方法。

11.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至8任一項(xiàng)所述的音頻主伴唱分離方法。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種音頻主伴唱分離方法、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，涉及信號(hào)處理技術(shù)領(lǐng)域。方法包括：獲取歌曲音頻，從中提取出單聲道相關(guān)信號(hào)和單聲道不相關(guān)信號(hào)；獲取歌曲音頻對(duì)應(yīng)的能量包絡(luò)差信號(hào)，確定出極左信號(hào)區(qū)間和極右信號(hào)區(qū)間；基于單聲道相關(guān)信號(hào)得到主唱左聲道信號(hào)和主唱右聲道信號(hào)，基于單聲道不相關(guān)信號(hào)得到伴唱左聲道信號(hào)和伴唱右聲道信號(hào)；利用單聲道不相關(guān)信號(hào)，分別向極左信號(hào)區(qū)間內(nèi)的主唱左聲道信號(hào)和極右信號(hào)區(qū)間內(nèi)的主唱右聲道信號(hào)添加聲像信息，得到雙聲道主唱信號(hào)；調(diào)整極左信號(hào)區(qū)間內(nèi)的伴唱右聲道信號(hào)、極右信號(hào)區(qū)間內(nèi)的伴唱左聲道信號(hào)，得到雙聲道伴唱信號(hào)。能夠低成本提高主唱和伴唱分離的精細(xì)化程度。

技術(shù)研發(fā)人員：趙林浩,閆震海,曹碩
受保護(hù)的技術(shù)使用者：騰訊音樂(lè)娛樂(lè)科技（深圳）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6