本申請涉及人工智能，特別是涉及一種視頻編碼方法、視頻解碼方法、裝置和通信設(shè)備。

背景技術(shù)：

1、隨著深度學(xué)習(xí)的普及，越來越多的視頻圖像面向機(jī)器視覺任務(wù)，因此在學(xué)術(shù)、產(chǎn)業(yè)、及標(biāo)準(zhǔn)界，針對機(jī)器視覺任務(wù)的編解碼算法成為新的熱潮。

2、然而，傳統(tǒng)的編解碼算法是針對視頻數(shù)據(jù)直接進(jìn)行編碼，當(dāng)將該編解碼算法應(yīng)用于機(jī)器視覺任務(wù)網(wǎng)絡(luò)時(shí)，需要對特征提取網(wǎng)絡(luò)輸出的特征進(jìn)行編碼，此種場景下，然而傳統(tǒng)的編解碼算法存在編碼效率低下的問題。

技術(shù)實(shí)現(xiàn)思路

1、本申請實(shí)施例提供一種視頻編碼方法、視頻解碼方法、裝置和通信設(shè)備，可以針對視頻幀對應(yīng)的多數(shù)量和/或多尺度的視頻特征進(jìn)行編解碼，可以提高視頻數(shù)據(jù)的編解碼效率，進(jìn)而可以提高視頻數(shù)據(jù)的傳輸速率。

2、第一方面，一種視頻編碼方法，所述方法應(yīng)用于發(fā)送設(shè)備，所述方法包括：

3、對視頻幀對應(yīng)的多個(gè)視頻特征進(jìn)行融合以及編碼，得到編碼后的編碼特征；

4、將所述編碼特征發(fā)送至接收端。

5、第二方面，一種視頻解碼方法，所述方法應(yīng)用于接收設(shè)備，所述方法包括：

6、接收發(fā)送設(shè)備發(fā)送的編碼特征；所述編碼特征為所述發(fā)送設(shè)備對視頻幀對應(yīng)的多個(gè)視頻特征進(jìn)行融合以及編碼后得到的；

7、對所述編碼特征進(jìn)行解碼以及還原，得到所述視頻幀對應(yīng)的多個(gè)第一還原視頻特征。

8、第三方面，一種視頻編碼裝置，所述裝置包括：

9、融合編碼模塊，用于對視頻幀對應(yīng)的多個(gè)視頻特征進(jìn)行融合以及編碼，得到編碼特征；

10、發(fā)送模塊，用于將所述編碼特征發(fā)送至接收設(shè)備。

11、第四方面，一種視頻編碼裝置，所述裝置包括：

12、接收模塊，用于接收發(fā)送設(shè)備發(fā)送的編碼特征；所述編碼特征為所述發(fā)送設(shè)備對視頻幀對應(yīng)的多個(gè)視頻特征進(jìn)行融合以及編碼后得到的；

13、解碼還原模塊，用于對所述編碼特征進(jìn)行解碼以及還原，得到所述視頻幀對應(yīng)的多個(gè)第一還原視頻特征。

14、第五方面，一種通信設(shè)備，所述通信設(shè)備包括發(fā)送器和處理器；

15、所述處理器，用于對視頻幀對應(yīng)的多個(gè)視頻特征進(jìn)行融合以及編碼，得到編碼特征；

16、所述發(fā)送器，用于將所述編碼特征發(fā)送至接收設(shè)備。

17、第六方面，一種通信設(shè)備，所述通信設(shè)備包括接收器和處理器；

18、所述接收器，用于接收發(fā)送設(shè)備發(fā)送的編碼特征；所述編碼特征為所述發(fā)送設(shè)備對視頻幀對應(yīng)的多個(gè)視頻特征進(jìn)行融合以及編碼后得到的；

19、所述處理器，用于對所述編碼特征進(jìn)行解碼以及還原，得到所述視頻幀對應(yīng)的多個(gè)第一還原視頻特征。

20、第七方面，一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面所述的方法的步驟。

21、第八方面，一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第二方面所述的方法的步驟。

22、第九方面，一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面所述的方法的步驟。

23、第十方面，一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第二方面所述的方法的步驟。

24、上述視頻編碼方法、視頻解碼方法、裝置和存儲(chǔ)介質(zhì)，通過對視頻幀對應(yīng)的多個(gè)視頻特征進(jìn)行融合以及編碼，得到編碼特征，再將編碼特征發(fā)送至接收設(shè)備。該方法通過融合不同視頻特征后進(jìn)行編碼，具備了針對多數(shù)量和/或多尺度的視頻特征進(jìn)行編碼的能力，在一定程度上提高的視頻數(shù)據(jù)的編碼效率，進(jìn)而當(dāng)需要對大量的視頻特征進(jìn)行編碼后傳輸時(shí)，可以在一定程度上提高視頻數(shù)據(jù)傳輸?shù)乃俾?。另外，由于對不同視頻特征進(jìn)行了融合處理，可以去除多個(gè)視頻特征中存在的語義冗余的特征，可以在一定程度上提高編碼效果，進(jìn)而可以提高后期基于編碼特征進(jìn)行解碼和還原后的特征的還原度。

技術(shù)特征：

1.一種視頻編碼方法，其特征在于，所述方法應(yīng)用于發(fā)送設(shè)備，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對視頻幀對應(yīng)的多個(gè)視頻特征進(jìn)行融合以及編碼，得到編碼特征，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述多個(gè)視頻特征輸入至與所述視頻幀的類型對應(yīng)的編解碼網(wǎng)絡(luò)進(jìn)行融合以及編碼，得到所述編碼特征，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述第一編解碼網(wǎng)絡(luò)包括第一編碼子網(wǎng)絡(luò)和第一編碼器；所述將所述多個(gè)視頻特征輸入至第一編解碼網(wǎng)絡(luò)進(jìn)行融合以及編碼，得到所述編碼特征，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述第一編碼子網(wǎng)絡(luò)包括多個(gè)第一卷積模塊和第一拼接模塊，各所述第一卷積模塊的輸出端均連接所述第一拼接模塊的輸入端；

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述第一卷積模塊包括多個(gè)第一線性卷積層，所述多個(gè)第一線性卷積層級聯(lián)連接。

7.根據(jù)權(quán)利要求4-6任一項(xiàng)所述的方法，其特征在于，所述第一編解碼網(wǎng)絡(luò)還包括第一解碼器和解碼子網(wǎng)絡(luò)，所述方法還包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述解碼子網(wǎng)絡(luò)，包括：第一拆分模塊和多個(gè)第一反卷積模塊；所述第一拆分模塊的輸出端分別與各所述第一反卷積模塊的輸入端連接；

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述第一反卷積模塊包括多個(gè)第一線性反卷積層，所述多個(gè)第一線性反卷積層級聯(lián)連接。

10.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述多個(gè)視頻特征輸入至與所述視頻幀的類型對應(yīng)的編解碼網(wǎng)絡(luò)進(jìn)行融合以及編碼，得到所述編碼特征，包括：

11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述第二編解碼網(wǎng)絡(luò)包括預(yù)測網(wǎng)絡(luò)和殘差編解碼網(wǎng)絡(luò)；

12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述預(yù)測網(wǎng)絡(luò)包括運(yùn)動(dòng)編解碼網(wǎng)絡(luò)和幀間預(yù)測網(wǎng)絡(luò)，所述將上一視頻幀對應(yīng)的多個(gè)第二還原視頻特征和所述多個(gè)視頻特征輸入至所述預(yù)測網(wǎng)絡(luò)進(jìn)行預(yù)測，得到多個(gè)預(yù)測特征，包括：

13.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述運(yùn)動(dòng)編解碼網(wǎng)絡(luò)包括運(yùn)動(dòng)編碼網(wǎng)絡(luò)、編解碼器和運(yùn)動(dòng)解碼網(wǎng)絡(luò)；

14.根據(jù)權(quán)利要求13所述的方法，其特征在于，所述運(yùn)動(dòng)編碼網(wǎng)絡(luò)包括：多個(gè)拼接層、多個(gè)第二卷積模塊和第二拼接模塊；各所述拼接層與對應(yīng)的第二卷積模塊的輸入端連接，各所述第二卷積模塊的輸出端連接所述第二拼接模塊；

15.根據(jù)權(quán)利要求14所述的方法，其特征在于，所述第二卷積模塊包括多個(gè)第二線性卷積層，所述多個(gè)第二線性卷積層級聯(lián)連接。

16.根據(jù)權(quán)利要求13所述的方法，其特征在于，所述運(yùn)動(dòng)解碼網(wǎng)絡(luò)包括：第二拆分模塊和多個(gè)第二反卷積模塊；所述第二拆分模塊的輸出端分別與各所述第二反卷積模塊的輸入端連接；

17.根據(jù)權(quán)利要求16所述的方法，其特征在于，所述第二反卷積模塊包括多個(gè)第二線性反卷積層，所述多個(gè)第二線性反卷積層級聯(lián)連接。

18.根據(jù)權(quán)利要求13所述的方法，其特征在于，所述編解碼器包括：第二編碼器和第二解碼器；

19.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述幀間預(yù)測網(wǎng)絡(luò)包括高斯卷積生成器和卷積映射模塊；所述高斯卷積生成器的輸出端與所述卷積映射模塊的輸入端連接；

20.根據(jù)權(quán)利要求19所述的方法，其特征在于，所述幀間預(yù)測網(wǎng)絡(luò)還包括特征分割模塊；所述特征分割模塊的輸入端與所述運(yùn)動(dòng)編解碼網(wǎng)絡(luò)的輸出端連接；所述特征分割模塊的輸出端與所述卷積映射模塊的輸入端連接；

21.根據(jù)權(quán)利要求13-19任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

22.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述殘差編解碼網(wǎng)絡(luò)包括殘差編碼網(wǎng)絡(luò)和第三編碼器；

23.根據(jù)權(quán)利要求22所述的方法，其特征在于，所述殘差編碼網(wǎng)絡(luò)包括：多個(gè)第三卷積模塊和第三拼接模塊；各所述第三卷積模塊的輸出端連接所述第三拼接模塊；

24.根據(jù)權(quán)利要求23所述的方法，其特征在于，所述第三卷積模塊包括多個(gè)第三線性卷積層，所述多個(gè)第三線性卷積層級聯(lián)連接。

25.根據(jù)權(quán)利要求22所述的方法，其特征在于，所述殘差編解碼網(wǎng)絡(luò)還包括第三解碼器和殘差解碼網(wǎng)絡(luò)，所述第二編解碼網(wǎng)絡(luò)還包括加法器，所述方法還包括：

26.根據(jù)權(quán)利要求25所述的方法，其特征在于，所述殘差解碼網(wǎng)絡(luò)包括：第四拼接模塊、第三拆分模塊和多個(gè)第三反卷積模塊；所述第四拼接模塊的輸出端與所述第三拆分模塊的輸入端連接，所述第三拆分模塊的輸出端分別與各所述第三反卷積模塊的輸入端連接；

27.根據(jù)權(quán)利要求26所述的方法，其特征在于，所述第三反卷積模塊包括多個(gè)第三線性反卷積層，所述多個(gè)第三線性反卷積層級聯(lián)連接。

28.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

29.一種視頻解碼方法，其特征在于，所述方法應(yīng)用于接收設(shè)備，所述方法包括：

30.根據(jù)權(quán)利要求29所述的方法，其特征在于，所述對所述編碼特征進(jìn)行解碼以及還原，得到所述視頻幀對應(yīng)的多個(gè)第一還原視頻特征，包括：

31.根據(jù)權(quán)利要求30所述的方法，其特征在于，所述將所述編碼特征輸入至與所述視頻幀的類型對應(yīng)的解碼網(wǎng)絡(luò)進(jìn)行解碼以及還原，得到所述多個(gè)第一還原視頻特征，包括：

32.根據(jù)權(quán)利要求31所述的方法，其特征在于，所述第一解碼網(wǎng)絡(luò)包括第一解碼器和解碼子網(wǎng)絡(luò)，所述將所述編碼特征輸入至第一解碼網(wǎng)絡(luò)進(jìn)行解碼以及還原，得到所述多個(gè)第一還原視頻特征，包括：

33.根據(jù)權(quán)利要求32所述的方法，其特征在于，所述解碼子網(wǎng)絡(luò)，包括：第一拆分模塊和多個(gè)第一反卷積模塊；所述第一拆分模塊的輸出端分別與各所述第一反卷積模塊的輸入端連接；

34.根據(jù)權(quán)利要求33所述的方法，其特征在于，所述第一反卷積模塊包括多個(gè)第一線性反卷積層，所述多個(gè)第一線性反卷積層級聯(lián)連接。

35.根據(jù)權(quán)利要求30所述的方法，其特征在于，所述將所述編碼特征輸入至與所述視頻幀的類型對應(yīng)的解碼網(wǎng)絡(luò)進(jìn)行解碼以及還原，得到所述多個(gè)第一還原視頻特征，包括：

36.根據(jù)權(quán)利要求35所述的方法，其特征在于，所述第二解碼網(wǎng)絡(luò)包括第四解碼器和接收解碼子網(wǎng)絡(luò)；所述將所述編碼特征輸入至第一解碼網(wǎng)絡(luò)進(jìn)行解碼以及還原，得到所述多個(gè)第一還原視頻特征，包括：

37.根據(jù)權(quán)利要求36所述的方法，其特征在于，所述接收解碼子網(wǎng)絡(luò)，包括：第四拆分模塊和多個(gè)第四反卷積模塊；所述第四拆分模塊的輸出端分別與各所述第四反卷積模塊的輸入端連接；

38.根據(jù)權(quán)利要求36所述的方法，其特征在于，所述第二解碼網(wǎng)絡(luò)還包括：第五拼接模塊和加法器；

39.根據(jù)權(quán)利要求29-38任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

40.一種視頻編碼裝置，其特征在于，所述裝置包括：

41.一種視頻解碼裝置，其特征在于，所述裝置包括：

42.一種通信設(shè)備，其特征在于，所述通信設(shè)備包括發(fā)送器和處理器；

43.一種通信設(shè)備，其特征在于，所述通信設(shè)備包括接收器和處理器；

44.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至39中任一項(xiàng)所述的方法的步驟。

45.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至39中任一項(xiàng)所述的方法的步驟。

技術(shù)總結(jié)
本申請涉及一種視頻編碼方法、視頻解碼方法、裝置和通信設(shè)備。所述方法通過對視頻幀對應(yīng)的多個(gè)視頻特征進(jìn)行融合以及編碼，得到編碼特征，再將編碼特征發(fā)送至接收設(shè)備。該方法通過融合不同視頻特征后進(jìn)行編碼，具備了針對多數(shù)量和/或多尺度的視頻特征進(jìn)行編碼的能力，在一定程度上提高的視頻數(shù)據(jù)的編碼效率，進(jìn)而當(dāng)需要對大量的視頻特征進(jìn)行編碼后傳輸時(shí)，可以在一定程度上提高視頻數(shù)據(jù)傳輸?shù)乃俾?。另外，由于對不同視頻特征進(jìn)行了融合處理，可以去除多個(gè)視頻特征中存在的語義冗余的特征，可以在一定程度上提高編碼效果，進(jìn)而可以提高后期基于編碼特征進(jìn)行解碼和還原后的特征的還原度。

技術(shù)研發(fā)人員：王翰銘,吳子君,韓韜,張園,楊明川
受保護(hù)的技術(shù)使用者：中國電信股份有限公司技術(shù)創(chuàng)新中心
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9