本技術(shù)涉及人工智能領(lǐng)域，尤其涉及一種基于大模型的多任務(wù)處理方法、目標(biāo)大模型及設(shè)備。

背景技術(shù)：

1、多任務(wù)模型可以應(yīng)用到對(duì)數(shù)據(jù)進(jìn)行多任務(wù)處理中。例如，針對(duì)圖像，在需要對(duì)圖像進(jìn)行如人物識(shí)別、物品分類(lèi)、目標(biāo)分割等多種任務(wù)處理的時(shí)候，可以根據(jù)多種任務(wù)處理的要求，基于多任務(wù)模型對(duì)圖像完成任務(wù)處理；

2、但是現(xiàn)有技術(shù)中，所提供的基于多任務(wù)模型完成任務(wù)處理時(shí)，多任務(wù)模型中分支之間會(huì)相互影響到，進(jìn)而任務(wù)處理的速度慢、效率低。

3、因此，亟需一種可以快速的對(duì)數(shù)據(jù)進(jìn)行處理，以快速的得到任務(wù)處理結(jié)果的方案。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種基于大模型的多任務(wù)處理方法、目標(biāo)大模型及設(shè)備，用以達(dá)到多任務(wù)處理速度快、效率高的效果。

2、第一方面，本技術(shù)實(shí)施例提供一種基于大模型的多任務(wù)處理方法，包括：

3、將待處理數(shù)據(jù)和目標(biāo)處理任務(wù)輸入目標(biāo)大模型，通過(guò)所述目標(biāo)大模型執(zhí)行如下處理：

4、通過(guò)所述目標(biāo)大模型中的目標(biāo)骨干網(wǎng)絡(luò)對(duì)所述待處理數(shù)據(jù)進(jìn)行特征提取，得到所述待處理數(shù)據(jù)的第一特征；所述目標(biāo)骨干網(wǎng)絡(luò)與所述待處理數(shù)據(jù)的數(shù)據(jù)模態(tài)關(guān)聯(lián)；

5、通過(guò)目標(biāo)任務(wù)網(wǎng)絡(luò)中的特征提取單元對(duì)所述第一特征進(jìn)行特征提取，得到所述待處理數(shù)據(jù)的第二特征；所述目標(biāo)任務(wù)網(wǎng)絡(luò)與所述目標(biāo)骨干網(wǎng)絡(luò)連接，且所述目標(biāo)任務(wù)網(wǎng)絡(luò)為所述目標(biāo)處理任務(wù)關(guān)聯(lián)的任務(wù)網(wǎng)絡(luò)，所述骨干網(wǎng)絡(luò)連接的不同任務(wù)網(wǎng)絡(luò)關(guān)聯(lián)不同的處理任務(wù)；

6、并通過(guò)所述目標(biāo)任務(wù)網(wǎng)絡(luò)中的任務(wù)處理單元對(duì)所述第二特征執(zhí)行所述目標(biāo)處理任務(wù)，得到所述待處理數(shù)據(jù)的任務(wù)處理結(jié)果。

7、在一種可能的實(shí)施方式中，所述目標(biāo)大模型包括m個(gè)骨干網(wǎng)絡(luò)，不同的所述骨干網(wǎng)絡(luò)關(guān)聯(lián)不同的數(shù)據(jù)模態(tài)；其中，所述骨干網(wǎng)絡(luò)連接n個(gè)任務(wù)網(wǎng)絡(luò)，所述骨干網(wǎng)絡(luò)連接的不同任務(wù)網(wǎng)絡(luò)關(guān)聯(lián)不同的處理任務(wù)；所述任務(wù)網(wǎng)絡(luò)包括依次連接的特征提取單元和任務(wù)處理單元；所述m為大于0的整數(shù)；所述n為大于0的整數(shù)。

8、在一種可能的實(shí)施方式中，所述方法還包括：

9、若確定所述目標(biāo)骨干網(wǎng)絡(luò)連接的可使用的任務(wù)網(wǎng)絡(luò)中不包含所述目標(biāo)任務(wù)網(wǎng)絡(luò)，則生成并發(fā)出針對(duì)所述目標(biāo)處理任務(wù)的提示信息；其中，所述提示信息表征無(wú)法處理目標(biāo)處理任務(wù)。

10、在一種可能的實(shí)施方式中，所述數(shù)據(jù)模態(tài)包括圖像、視頻、音頻、文檔、文本、點(diǎn)云數(shù)據(jù)中的至少一種。

11、在一種可能的實(shí)施方式中，所述數(shù)據(jù)模態(tài)包括圖像或視頻時(shí)，所述處理任務(wù)包括目標(biāo)識(shí)別、目標(biāo)分類(lèi)、事件識(shí)別、行為識(shí)別、姿態(tài)識(shí)別、情緒識(shí)別、目標(biāo)分割、關(guān)鍵點(diǎn)檢測(cè)、數(shù)據(jù)格式轉(zhuǎn)換中的至少一種；

12、所述數(shù)據(jù)模態(tài)包括音頻時(shí)，所述處理任務(wù)包括語(yǔ)音識(shí)別、語(yǔ)音對(duì)話、語(yǔ)音問(wèn)詢、數(shù)據(jù)格式轉(zhuǎn)換、語(yǔ)音感情色彩識(shí)別、語(yǔ)音轉(zhuǎn)文字、生成語(yǔ)音摘要中的至少一種；

13、所述數(shù)據(jù)模態(tài)包括文檔時(shí)，所述處理任務(wù)包括文檔分類(lèi)、關(guān)鍵信息提取、生成文檔摘要、文檔情感分析、文檔安全性檢測(cè)中的至少一種；

14、所述數(shù)據(jù)模態(tài)包括文本時(shí)，所述處理任務(wù)包括文本分類(lèi)、實(shí)體識(shí)別、生成文本摘要、文本翻譯、文本去重、文本情感分析、格式錯(cuò)誤識(shí)別中的至少一種；

15、所述數(shù)據(jù)模態(tài)包括點(diǎn)云數(shù)據(jù)時(shí)，所述處理任務(wù)包括目標(biāo)識(shí)別、目標(biāo)分割、關(guān)鍵點(diǎn)檢測(cè)、點(diǎn)云去噪、點(diǎn)云補(bǔ)全中的至少一種

16、第二方面，本技術(shù)實(shí)施例提供一種用于多任務(wù)處理的目標(biāo)大模型，包括：

17、m個(gè)骨干網(wǎng)絡(luò)，不同的所述骨干網(wǎng)絡(luò)關(guān)聯(lián)不同的數(shù)據(jù)模態(tài)；所述骨干網(wǎng)絡(luò)用于對(duì)關(guān)聯(lián)的數(shù)據(jù)模態(tài)的待處理數(shù)據(jù)提取出第一特征；

18、所述骨干網(wǎng)絡(luò)連接n個(gè)任務(wù)網(wǎng)絡(luò)，所述骨干網(wǎng)絡(luò)連接的不同任務(wù)網(wǎng)絡(luò)關(guān)聯(lián)不同的處理任務(wù)；所述任務(wù)網(wǎng)絡(luò)包括依次連接的特征提取單元和任務(wù)處理單元；所述特征提取單元用于對(duì)連接的骨干網(wǎng)絡(luò)提取的第一特征進(jìn)行特征提取，得到第二特征；所述任務(wù)處理單元用于對(duì)連接的特征提取單元提取的第二特征執(zhí)行關(guān)聯(lián)的處理任務(wù)，得到待處理數(shù)據(jù)的任務(wù)處理結(jié)果；

19、其中，所述m為大于0的整數(shù)，所述n為大于0的整數(shù)。

20、在一種可能的實(shí)施方式中，所述特征提取單元包括多尺度特征提取模塊和第一融合模塊；

21、所述多尺度特征提取模塊用于對(duì)連接的骨干網(wǎng)絡(luò)提取的第一特征進(jìn)行特征提取，得到多維度下的數(shù)據(jù)特征；

22、所述第一融合模塊，用于對(duì)所述多維度下的數(shù)據(jù)特征進(jìn)行特征融合，得到第二特征。

23、在一種可能的實(shí)施方式中，所述特征提取單元包括上采樣模塊、下采樣模塊、以及第二融合模塊；

24、所述上采樣模塊用于對(duì)連接的骨干網(wǎng)絡(luò)提取的第一特征進(jìn)行高層特征提取，得到高層語(yǔ)義特征信息；

25、所述下采樣模塊用于對(duì)連接的骨干網(wǎng)絡(luò)提取的第一特征進(jìn)行低層特征提取，得到低層語(yǔ)義特征信息；

26、所述第二融合模塊用于對(duì)所述高層語(yǔ)義特征信息和所述低層語(yǔ)義特征信息進(jìn)行特征融合，得到第二特征。

27、在一種可能的實(shí)施方式中，所述數(shù)據(jù)模態(tài)包括圖像、視頻、音頻、文檔、文本、點(diǎn)云數(shù)據(jù)中的至少一種。

28、在一種可能的實(shí)施方式中，所述數(shù)據(jù)模態(tài)包括圖像或視頻時(shí)，所述處理任務(wù)包括目標(biāo)識(shí)別、目標(biāo)分類(lèi)、事件識(shí)別、行為識(shí)別、姿態(tài)識(shí)別、情緒識(shí)別、目標(biāo)分割、關(guān)鍵點(diǎn)檢測(cè)、數(shù)據(jù)格式轉(zhuǎn)換中的至少一種；

29、所述數(shù)據(jù)模態(tài)包括音頻時(shí)，所述處理任務(wù)包括語(yǔ)音識(shí)別、語(yǔ)音對(duì)話、語(yǔ)音問(wèn)詢、數(shù)據(jù)格式轉(zhuǎn)換、語(yǔ)音感情色彩識(shí)別、語(yǔ)音轉(zhuǎn)文字、生成語(yǔ)音摘要中的至少一種；

30、所述數(shù)據(jù)模態(tài)包括文檔時(shí)，所述處理任務(wù)包括文檔分類(lèi)、關(guān)鍵信息提取、生成文檔摘要、文檔情感分析、文檔安全性檢測(cè)中的至少一種；

31、所述數(shù)據(jù)模態(tài)包括文本時(shí)，所述處理任務(wù)包括文本分類(lèi)、實(shí)體識(shí)別、生成文本摘要、文本翻譯、文本去重、文本情感分析、格式錯(cuò)誤識(shí)別中的至少一種；

32、所述數(shù)據(jù)模態(tài)包括點(diǎn)云數(shù)據(jù)時(shí)，所述處理任務(wù)包括目標(biāo)識(shí)別、目標(biāo)分割、關(guān)鍵點(diǎn)檢測(cè)、點(diǎn)云去噪、點(diǎn)云補(bǔ)全中的至少一種。

33、第三方面，本技術(shù)實(shí)施例提供一種用于多任務(wù)處理的大模型的訓(xùn)練方法，包括：

34、將待訓(xùn)練數(shù)據(jù)和訓(xùn)練處理任務(wù)輸入初始大模型，通過(guò)所述初始大模型執(zhí)行如下處理：

35、通過(guò)所述初始大模型中的目標(biāo)骨干網(wǎng)絡(luò)對(duì)所述待訓(xùn)練數(shù)據(jù)進(jìn)行特征提取，得到所述待訓(xùn)練數(shù)據(jù)的第一特征；所述目標(biāo)骨干網(wǎng)絡(luò)與所述待訓(xùn)練數(shù)據(jù)的數(shù)據(jù)模態(tài)關(guān)聯(lián)；

36、基于所述第一特征，通過(guò)目標(biāo)任務(wù)網(wǎng)絡(luò)中依次連接的特征提取單元和任務(wù)處理單元確定所述待訓(xùn)練數(shù)據(jù)的任務(wù)處理結(jié)果，并基于所述任務(wù)處理結(jié)果調(diào)整所述目標(biāo)任務(wù)網(wǎng)絡(luò)中的特征提取單元和任務(wù)處理單元的參數(shù)；所述目標(biāo)任務(wù)網(wǎng)絡(luò)與所述目標(biāo)骨干網(wǎng)絡(luò)連接，且所述目標(biāo)任務(wù)網(wǎng)絡(luò)為所述訓(xùn)練處理任務(wù)關(guān)聯(lián)的任務(wù)網(wǎng)絡(luò)，所述骨干網(wǎng)絡(luò)連接的不同任務(wù)網(wǎng)絡(luò)關(guān)聯(lián)不同的處理任務(wù)。

37、在一種可能的實(shí)施方式中，所述初始大模型包括m個(gè)骨干網(wǎng)絡(luò)，不同的所述骨干網(wǎng)絡(luò)關(guān)聯(lián)不同的數(shù)據(jù)模態(tài)；其中，所述骨干網(wǎng)絡(luò)連接n個(gè)任務(wù)網(wǎng)絡(luò)，所述骨干網(wǎng)絡(luò)連接的不同任務(wù)網(wǎng)絡(luò)關(guān)聯(lián)不同的處理任務(wù)；所述任務(wù)網(wǎng)絡(luò)包括依次連接的特征提取單元和任務(wù)處理單元；所述m為大于0的整數(shù)；所述n為大于0的整數(shù)。

38、在一種可能的實(shí)施方式中，基于所述第一特征，通過(guò)目標(biāo)任務(wù)網(wǎng)絡(luò)中依次連接的特征提取單元和任務(wù)處理單元確定所述待訓(xùn)練數(shù)據(jù)的任務(wù)處理結(jié)果，包括：

39、通過(guò)目標(biāo)任務(wù)網(wǎng)絡(luò)中的特征提取單元對(duì)所述第一特征進(jìn)行特征提取，得到所述待訓(xùn)練數(shù)據(jù)的第二特征；

40、基于目標(biāo)任務(wù)網(wǎng)絡(luò)中與特征提取單元連接的任務(wù)處理單元，對(duì)所述第二特征執(zhí)行所述訓(xùn)練處理任務(wù)，得到所述待訓(xùn)練數(shù)據(jù)的任務(wù)處理結(jié)果。

41、在一種可能的實(shí)施方式中，所述待訓(xùn)練數(shù)據(jù)具有標(biāo)定的任務(wù)處理結(jié)果；基于所述任務(wù)處理結(jié)果調(diào)整所述目標(biāo)任務(wù)網(wǎng)絡(luò)中的特征提取單元和任務(wù)處理單元的參數(shù)，包括：

42、根據(jù)所述待訓(xùn)練數(shù)據(jù)的標(biāo)定的任務(wù)處理結(jié)果、以及所述目標(biāo)任務(wù)網(wǎng)絡(luò)輸出的任務(wù)處理結(jié)果，得到損失函數(shù)的損失值；

43、根據(jù)所述損失函數(shù)的損失值，更新所述目標(biāo)任務(wù)網(wǎng)絡(luò)中的特征提取單元和任務(wù)處理單元的參數(shù)。

44、在一種可能的實(shí)施方式中，所述數(shù)據(jù)模態(tài)包括圖像、視頻、音頻、文檔、文本、點(diǎn)云數(shù)據(jù)中的至少一種。

45、在一種可能的實(shí)施方式中，所述數(shù)據(jù)模態(tài)包括圖像或視頻時(shí)，所述處理任務(wù)包括目標(biāo)識(shí)別、目標(biāo)分類(lèi)、事件識(shí)別、行為識(shí)別、姿態(tài)識(shí)別、情緒識(shí)別、目標(biāo)分割、關(guān)鍵點(diǎn)檢測(cè)、數(shù)據(jù)格式轉(zhuǎn)換中的至少一種；

46、所述數(shù)據(jù)模態(tài)包括音頻時(shí)，所述處理任務(wù)包括語(yǔ)音識(shí)別、語(yǔ)音對(duì)話、語(yǔ)音問(wèn)詢、數(shù)據(jù)格式轉(zhuǎn)換、語(yǔ)音感情色彩識(shí)別、語(yǔ)音轉(zhuǎn)文字、生成語(yǔ)音摘要中的至少一種；

47、所述數(shù)據(jù)模態(tài)包括文檔時(shí)，所述處理任務(wù)包括文檔分類(lèi)、關(guān)鍵信息提取、生成文檔摘要、文檔情感分析、文檔安全性檢測(cè)中的至少一種；

48、所述數(shù)據(jù)模態(tài)包括文本時(shí)，所述處理任務(wù)包括文本分類(lèi)、實(shí)體識(shí)別、生成文本摘要、文本翻譯、文本去重、文本情感分析、格式錯(cuò)誤識(shí)別中的至少一種；

49、所述數(shù)據(jù)模態(tài)包括點(diǎn)云數(shù)據(jù)時(shí)，所述處理任務(wù)包括目標(biāo)識(shí)別、目標(biāo)分割、關(guān)鍵點(diǎn)檢測(cè)、點(diǎn)云去噪、點(diǎn)云補(bǔ)全中的至少一種。

50、第四方面，本技術(shù)實(shí)施例提供一種基于大模型的多任務(wù)處理裝置，包括：

51、輸入單元，用于將待處理數(shù)據(jù)和目標(biāo)處理任務(wù)輸入目標(biāo)大模型，通過(guò)所述目標(biāo)大模型執(zhí)行如下單元的處理過(guò)程；

52、第一提取單元，用于通過(guò)所述目標(biāo)大模型中的目標(biāo)骨干網(wǎng)絡(luò)對(duì)所述待處理數(shù)據(jù)進(jìn)行特征提取，得到所述待處理數(shù)據(jù)的第一特征；所述目標(biāo)骨干網(wǎng)絡(luò)與所述待處理數(shù)據(jù)的數(shù)據(jù)模態(tài)關(guān)聯(lián)；

53、第二提取單元，用于通過(guò)目標(biāo)任務(wù)網(wǎng)絡(luò)中的特征提取單元對(duì)所述第一特征進(jìn)行特征提取，得到所述待處理數(shù)據(jù)的第二特征；所述目標(biāo)任務(wù)網(wǎng)絡(luò)與所述目標(biāo)骨干網(wǎng)絡(luò)連接，且所述目標(biāo)任務(wù)網(wǎng)絡(luò)為所述目標(biāo)處理任務(wù)關(guān)聯(lián)的任務(wù)網(wǎng)絡(luò)，所述骨干網(wǎng)絡(luò)連接的不同任務(wù)網(wǎng)絡(luò)關(guān)聯(lián)不同的處理任務(wù)；

54、執(zhí)行單元，用于通過(guò)所述目標(biāo)任務(wù)網(wǎng)絡(luò)中的任務(wù)處理單元對(duì)所述第二特征執(zhí)行所述目標(biāo)處理任務(wù)，得到所述待處理數(shù)據(jù)的任務(wù)處理結(jié)果。

55、在一種可能的實(shí)施方式中，目標(biāo)大模型包括m個(gè)骨干網(wǎng)絡(luò)，不同的所述骨干網(wǎng)絡(luò)關(guān)聯(lián)不同的數(shù)據(jù)模態(tài)；其中，所述骨干網(wǎng)絡(luò)連接n個(gè)任務(wù)網(wǎng)絡(luò)，所述骨干網(wǎng)絡(luò)連接的不同任務(wù)網(wǎng)絡(luò)關(guān)聯(lián)不同的處理任務(wù)；所述任務(wù)網(wǎng)絡(luò)包括依次連接的特征提取單元和任務(wù)處理單元；所述m為大于0的整數(shù)；所述n為大于0的整數(shù)。

56、在一種可能的實(shí)施方式中，基于大模型的多任務(wù)處理裝置70還包括；

57、提示單元，用于若確定所述目標(biāo)骨干網(wǎng)絡(luò)連接的可使用的任務(wù)網(wǎng)絡(luò)中不包含所述目標(biāo)任務(wù)網(wǎng)絡(luò)，則生成并發(fā)出針對(duì)所述目標(biāo)處理任務(wù)的提示信息；其中，所述提示信息表征無(wú)法處理目標(biāo)處理任務(wù)。

58、在一種可能的實(shí)施方式中，數(shù)據(jù)模態(tài)包括圖像、視頻、音頻、文檔、文本、點(diǎn)云數(shù)據(jù)中的至少一種。

59、在一種可能的實(shí)施方式中，數(shù)據(jù)模態(tài)包括圖像或視頻時(shí)，所述處理任務(wù)包括目標(biāo)識(shí)別、目標(biāo)分類(lèi)、事件識(shí)別、行為識(shí)別、姿態(tài)識(shí)別、情緒識(shí)別、目標(biāo)分割、數(shù)據(jù)格式轉(zhuǎn)換中的至少一種；

60、所述數(shù)據(jù)模態(tài)包括音頻時(shí)，所述處理任務(wù)包括語(yǔ)音識(shí)別、語(yǔ)音對(duì)話、語(yǔ)音問(wèn)詢、數(shù)據(jù)格式轉(zhuǎn)換、語(yǔ)音感情色彩識(shí)別、語(yǔ)音轉(zhuǎn)文字、生成語(yǔ)音摘要中的至少一種；

61、所述數(shù)據(jù)模態(tài)包括文檔時(shí)，所述處理任務(wù)包括文檔分類(lèi)、關(guān)鍵信息提取、生成文檔摘要、文檔情感分析、文檔安全性檢測(cè)中的至少一種；

62、所述數(shù)據(jù)模態(tài)包括文本時(shí)，所述處理任務(wù)包括文本分類(lèi)、實(shí)體識(shí)別、生成文本摘要、文本翻譯、文本去重、文本情感分析、格式錯(cuò)誤識(shí)別中的至少一種；

63、所述數(shù)據(jù)模態(tài)包括點(diǎn)云數(shù)據(jù)時(shí)，所述處理任務(wù)包括目標(biāo)識(shí)別、目標(biāo)分割、點(diǎn)云去噪、點(diǎn)云補(bǔ)全中的至少一種。

64、第五方面，本技術(shù)實(shí)施例提供一種用于多任務(wù)處理的大模型的訓(xùn)練裝置，包括：

65、輸入單元，用于將待訓(xùn)練數(shù)據(jù)和訓(xùn)練處理任務(wù)輸入初始大模型，通過(guò)所述初始大模型執(zhí)行如下單元的處理過(guò)程；

66、提取單元，用于通過(guò)所述初始大模型中的目標(biāo)骨干網(wǎng)絡(luò)對(duì)所述待訓(xùn)練數(shù)據(jù)進(jìn)行特征提取，得到所述待訓(xùn)練數(shù)據(jù)的第一特征；所述目標(biāo)骨干網(wǎng)絡(luò)與所述待訓(xùn)練數(shù)據(jù)的數(shù)據(jù)模態(tài)關(guān)聯(lián)；

67、確定單元，用于基于所述第一特征，通過(guò)目標(biāo)任務(wù)網(wǎng)絡(luò)中依次連接的特征提取單元和任務(wù)處理單元確定所述待訓(xùn)練數(shù)據(jù)的任務(wù)處理結(jié)果；所述目標(biāo)任務(wù)網(wǎng)絡(luò)與所述目標(biāo)骨干網(wǎng)絡(luò)連接，且所述目標(biāo)任務(wù)網(wǎng)絡(luò)為所述訓(xùn)練處理任務(wù)關(guān)聯(lián)的任務(wù)網(wǎng)絡(luò)，所述骨干網(wǎng)絡(luò)連接的不同任務(wù)網(wǎng)絡(luò)關(guān)聯(lián)不同的處理任務(wù)；

68、調(diào)整單元，用于基于所述任務(wù)處理結(jié)果調(diào)整所述目標(biāo)任務(wù)網(wǎng)絡(luò)中的特征提取單元和任務(wù)處理單元的參數(shù)。

69、第六方面，本技術(shù)實(shí)施例提供另一種用于多任務(wù)處理的大模型的訓(xùn)練裝置，包括：

70、輸入單元，用于將待訓(xùn)練數(shù)據(jù)和訓(xùn)練處理任務(wù)輸入初始大模型，通過(guò)所述初始大模型執(zhí)行如下單元的處理過(guò)程；

71、提取單元，用于通過(guò)所述初始大模型中的目標(biāo)骨干網(wǎng)絡(luò)對(duì)所述待訓(xùn)練數(shù)據(jù)進(jìn)行特征提取，得到所述待訓(xùn)練數(shù)據(jù)的第一特征；所述目標(biāo)骨干網(wǎng)絡(luò)與所述待訓(xùn)練數(shù)據(jù)的數(shù)據(jù)模態(tài)關(guān)聯(lián)；

72、確定單元，用于基于所述第一特征，通過(guò)目標(biāo)任務(wù)網(wǎng)絡(luò)中依次連接的特征提取單元和任務(wù)處理單元確定所述待訓(xùn)練數(shù)據(jù)的任務(wù)處理結(jié)果；所述目標(biāo)任務(wù)網(wǎng)絡(luò)與所述目標(biāo)骨干網(wǎng)絡(luò)連接，且所述目標(biāo)任務(wù)網(wǎng)絡(luò)為所述訓(xùn)練處理任務(wù)關(guān)聯(lián)的任務(wù)網(wǎng)絡(luò)，所述骨干網(wǎng)絡(luò)連接的不同任務(wù)網(wǎng)絡(luò)關(guān)聯(lián)不同的處理任務(wù)；

73、調(diào)整單元，用于基于所述任務(wù)處理結(jié)果調(diào)整所述目標(biāo)任務(wù)網(wǎng)絡(luò)中的特征提取單元和任務(wù)處理單元的參數(shù)。

74、在一種可能的實(shí)施方式中，初始大模型包括m個(gè)骨干網(wǎng)絡(luò)，不同的所述骨干網(wǎng)絡(luò)關(guān)聯(lián)不同的數(shù)據(jù)模態(tài)；其中，所述骨干網(wǎng)絡(luò)連接n個(gè)任務(wù)網(wǎng)絡(luò)，所述骨干網(wǎng)絡(luò)連接的不同任務(wù)網(wǎng)絡(luò)關(guān)聯(lián)不同的處理任務(wù)；所述任務(wù)網(wǎng)絡(luò)包括依次連接的特征提取單元和任務(wù)處理單元；所述m為大于0的整數(shù)；所述n為大于0的整數(shù)。

75、在一種可能的實(shí)施方式中，所述確定單元，具體用于：

76、提取模塊，用于通過(guò)目標(biāo)任務(wù)網(wǎng)絡(luò)中的特征提取單元對(duì)所述第一特征進(jìn)行特征提取，得到所述待訓(xùn)練數(shù)據(jù)的第二特征；

77、執(zhí)行模塊，用于基于目標(biāo)任務(wù)網(wǎng)絡(luò)中與特征提取單元連接的任務(wù)處理單元，對(duì)所述第二特征執(zhí)行所述訓(xùn)練處理任務(wù)，得到所述待訓(xùn)練數(shù)據(jù)的任務(wù)處理結(jié)果。

78、在一種可能的實(shí)施方式中，待訓(xùn)練數(shù)據(jù)具有標(biāo)定的任務(wù)處理結(jié)果；

79、在一種可能的實(shí)施方式中，調(diào)整單元，具體用于：

80、確定模塊，用于根據(jù)所述待訓(xùn)練數(shù)據(jù)的標(biāo)定的任務(wù)處理結(jié)果、以及所述目標(biāo)任務(wù)網(wǎng)絡(luò)輸出的任務(wù)處理結(jié)果，得到損失函數(shù)的損失值；

81、更新模塊，用于根據(jù)所述損失函數(shù)的損失值，更新所述目標(biāo)任務(wù)網(wǎng)絡(luò)中的特征提取單元和任務(wù)處理單元的參數(shù)。

82、在一種可能的實(shí)施方式中，數(shù)據(jù)模態(tài)包括圖像、視頻、音頻、文檔、文本、點(diǎn)云數(shù)據(jù)中的至少一種。

83、在一種可能的實(shí)施方式中，數(shù)據(jù)模態(tài)包括圖像或視頻時(shí)，所述處理任務(wù)包括目標(biāo)識(shí)別、目標(biāo)分類(lèi)、事件識(shí)別、行為識(shí)別、姿態(tài)識(shí)別、情緒識(shí)別、目標(biāo)分割、數(shù)據(jù)格式轉(zhuǎn)換中的至少一種；

84、所述數(shù)據(jù)模態(tài)包括音頻時(shí)，所述處理任務(wù)包括語(yǔ)音識(shí)別、語(yǔ)音對(duì)話、語(yǔ)音問(wèn)詢、數(shù)據(jù)格式轉(zhuǎn)換、語(yǔ)音感情色彩識(shí)別、語(yǔ)音轉(zhuǎn)文字、生成語(yǔ)音摘要中的至少一種；

85、所述數(shù)據(jù)模態(tài)包括文檔時(shí)，所述處理任務(wù)包括文檔分類(lèi)、關(guān)鍵信息提取、生成文檔摘要、文檔情感分析、文檔安全性檢測(cè)中的至少一種；

86、所述數(shù)據(jù)模態(tài)包括文本時(shí)，所述處理任務(wù)包括文本分類(lèi)、實(shí)體識(shí)別、生成文本摘要、文本翻譯、文本去重、文本情感分析、格式錯(cuò)誤識(shí)別中的至少一種；

87、所述數(shù)據(jù)模態(tài)包括點(diǎn)云數(shù)據(jù)時(shí)，所述處理任務(wù)包括目標(biāo)識(shí)別、目標(biāo)分割、點(diǎn)云去噪、點(diǎn)云補(bǔ)全中的至少一種。

88、第七方面，本技術(shù)實(shí)施例提供一種電子設(shè)備，包括：存儲(chǔ)器，處理器；

89、所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)執(zhí)行指令；

90、所述處理器執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)執(zhí)行指令，使得所述處理器執(zhí)行如上第一方面，和/或第一方面各種可能；或者，使得所述處理器執(zhí)行如上第二方面，和/或第二方面各種可能的目標(biāo)大模型的處理過(guò)程；或者，使得所述處理器執(zhí)行如上第三方面，和/或第三方面各種可能。

91、第八方面，本技術(shù)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)執(zhí)行指令，所述計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)如上第一方面，和/或第一方面各種可能；或者，所述計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)如上第二方面，和/或第二方面各種可能的目標(biāo)大模型的處理過(guò)程；或者，所述計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)如上第三方面，和/或第三方面各種可能。

92、第九方面，本技術(shù)實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上第一方面，和/或第一方面各種可能；或者，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上第二方面，和/或第二方面各種可能的目標(biāo)大模型的處理過(guò)程；或者，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上第三方面，和/或第三方面各種可能。

93、本技術(shù)實(shí)施例提供的基于大模型的多任務(wù)處理方法、目標(biāo)大模型及設(shè)備，通過(guò)將待處理數(shù)據(jù)和目標(biāo)處理任務(wù)輸入目標(biāo)大模型，通過(guò)目標(biāo)大模型執(zhí)行如下處理：通過(guò)目標(biāo)大模型中的目標(biāo)骨干網(wǎng)絡(luò)對(duì)待處理數(shù)據(jù)進(jìn)行特征提取，得到待處理數(shù)據(jù)的第一特征；目標(biāo)骨干網(wǎng)絡(luò)與待處理數(shù)據(jù)的數(shù)據(jù)模態(tài)關(guān)聯(lián)；然后，通過(guò)目標(biāo)任務(wù)網(wǎng)絡(luò)中的特征提取單元對(duì)第一特征進(jìn)行特征提取，得到待處理數(shù)據(jù)的第二特征；目標(biāo)任務(wù)網(wǎng)絡(luò)與目標(biāo)骨干網(wǎng)絡(luò)連接，且目標(biāo)任務(wù)網(wǎng)絡(luò)為目標(biāo)處理任務(wù)關(guān)聯(lián)的任務(wù)網(wǎng)絡(luò)，骨干網(wǎng)絡(luò)連接的不同任務(wù)網(wǎng)絡(luò)關(guān)聯(lián)不同的處理任務(wù)；并通過(guò)目標(biāo)任務(wù)網(wǎng)絡(luò)中的任務(wù)處理單元對(duì)第二特征執(zhí)行目標(biāo)處理任務(wù)，得到待處理數(shù)據(jù)的任務(wù)處理結(jié)果。

94、由于在目標(biāo)大模型中包括多個(gè)特征提取單元、以及與每一特征提取單元對(duì)應(yīng)的任務(wù)處理單元?；谂c每一任務(wù)對(duì)應(yīng)的特征提取單元和任務(wù)處理單元，得到每一任務(wù)處理結(jié)果。并且，在基于目標(biāo)大模型進(jìn)行多任務(wù)處理的過(guò)程中，不同的骨干網(wǎng)絡(luò)對(duì)待處理數(shù)據(jù)中不同數(shù)據(jù)模態(tài)的數(shù)據(jù)進(jìn)行特征提取第一特征時(shí)，各骨干網(wǎng)絡(luò)之間互不影響；各目標(biāo)處理任務(wù)關(guān)聯(lián)的目標(biāo)任務(wù)網(wǎng)絡(luò)中的特征提取單元，對(duì)第一特征進(jìn)行特征提取第二特征時(shí)，各特征提取單元之間互不影響。各目標(biāo)處理任務(wù)關(guān)聯(lián)的目標(biāo)任務(wù)網(wǎng)絡(luò)中的任務(wù)處理單元，對(duì)第二特征執(zhí)行該目標(biāo)處理任務(wù)得到任務(wù)處理結(jié)果時(shí)，各任務(wù)處理單元之間互不影響。因此，本實(shí)施例可以提供一種基于大模型的多任務(wù)并行的處理方法。進(jìn)而，每一任務(wù)處理的速度快、效率高。

95、由于在目標(biāo)大模型中可以包括多個(gè)骨干網(wǎng)絡(luò)，且通過(guò)目標(biāo)骨干網(wǎng)絡(luò)與待處理數(shù)據(jù)的數(shù)據(jù)模態(tài)關(guān)聯(lián)，本實(shí)施例可以實(shí)現(xiàn)同時(shí)對(duì)多個(gè)數(shù)據(jù)模態(tài)的待處理數(shù)據(jù)進(jìn)行多任務(wù)處理。

96、由于在目標(biāo)大模型中，每一目標(biāo)處理任務(wù)關(guān)聯(lián)的目標(biāo)任務(wù)網(wǎng)絡(luò)中均具有特征提取單元，用于提取該目標(biāo)任務(wù)網(wǎng)絡(luò)中的任務(wù)處理單元所需要的第二特征，因此，可以更準(zhǔn)確的提取出任務(wù)處理單元所需要的語(yǔ)義特征信息，進(jìn)而得到的任務(wù)處理結(jié)果準(zhǔn)確率更高。

97、由于目標(biāo)處理任務(wù)可以是目標(biāo)大模型中的1個(gè)或多個(gè)任務(wù)，且各任務(wù)之間是相互獨(dú)立的，因此可以實(shí)現(xiàn)僅對(duì)待處理數(shù)據(jù)執(zhí)行目標(biāo)大模型中的部分任務(wù)，提高了模型應(yīng)用的靈活性。