1.一種基于大模型的多任務(wù)處理方法,其特征在于,所述方法包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述目標(biāo)大模型包括m個(gè)骨干網(wǎng)絡(luò),不同的所述骨干網(wǎng)絡(luò)關(guān)聯(lián)不同的數(shù)據(jù)模態(tài);其中,所述骨干網(wǎng)絡(luò)連接n個(gè)任務(wù)網(wǎng)絡(luò),所述骨干網(wǎng)絡(luò)連接的不同任務(wù)網(wǎng)絡(luò)關(guān)聯(lián)不同的處理任務(wù);所述任務(wù)網(wǎng)絡(luò)包括依次連接的特征提取單元和任務(wù)處理單元;所述m為大于0的整數(shù);所述n為大于0的整數(shù)。
3.根據(jù)權(quán)利要求1或2所述的方法,其特征在于,所述方法還包括:
4.根據(jù)權(quán)利要求1或2所述的方法,其特征在于,所述數(shù)據(jù)模態(tài)包括圖像、視頻、音頻、文檔、文本、點(diǎn)云數(shù)據(jù)中的至少一種。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述數(shù)據(jù)模態(tài)包括圖像或視頻時(shí),所述處理任務(wù)包括目標(biāo)識(shí)別、目標(biāo)分類、事件識(shí)別、行為識(shí)別、姿態(tài)識(shí)別、情緒識(shí)別、目標(biāo)分割、關(guān)鍵點(diǎn)檢測(cè)、數(shù)據(jù)格式轉(zhuǎn)換中的至少一種;
6.一種用于多任務(wù)處理的目標(biāo)大模型,其特征在于,所述目標(biāo)大模型包括:m個(gè)骨干網(wǎng)絡(luò),不同的所述骨干網(wǎng)絡(luò)關(guān)聯(lián)不同的數(shù)據(jù)模態(tài);所述骨干網(wǎng)絡(luò)用于對(duì)關(guān)聯(lián)的數(shù)據(jù)模態(tài)的待處理數(shù)據(jù)提取出第一特征;
7.根據(jù)權(quán)利要求6所述的目標(biāo)大模型,其特征在于,所述特征提取單元包括多尺度特征提取模塊和第一融合模塊;
8.根據(jù)權(quán)利要求6所述的目標(biāo)大模型,其特征在于,所述特征提取單元包括上采樣模塊、下采樣模塊、以及第二融合模塊;
9.根據(jù)權(quán)利要求6-8中任一項(xiàng)所述的目標(biāo)大模型,其特征在于,所述數(shù)據(jù)模態(tài)包括圖像、視頻、音頻、文檔、文本、點(diǎn)云數(shù)據(jù)中的至少一種。
10.根據(jù)權(quán)利要求9所述的目標(biāo)大模型,其特征在于,所述數(shù)據(jù)模態(tài)包括圖像或視頻時(shí),所述處理任務(wù)包括目標(biāo)識(shí)別、目標(biāo)分類、事件識(shí)別、行為識(shí)別、姿態(tài)識(shí)別、情緒識(shí)別、目標(biāo)分割、關(guān)鍵點(diǎn)檢測(cè)、數(shù)據(jù)格式轉(zhuǎn)換中的至少一種;
11.一種用于多任務(wù)處理的大模型的訓(xùn)練方法,其特征在于,包括:
12.根據(jù)權(quán)利要求11所述的方法,其特征在于,所述初始大模型包括m個(gè)骨干網(wǎng)絡(luò),不同的所述骨干網(wǎng)絡(luò)關(guān)聯(lián)不同的數(shù)據(jù)模態(tài);其中,所述骨干網(wǎng)絡(luò)連接n個(gè)任務(wù)網(wǎng)絡(luò),所述骨干網(wǎng)絡(luò)連接的不同任務(wù)網(wǎng)絡(luò)關(guān)聯(lián)不同的處理任務(wù);所述任務(wù)網(wǎng)絡(luò)包括依次連接的特征提取單元和任務(wù)處理單元;所述m為大于0的整數(shù);所述n為大于0的整數(shù)。
13.根據(jù)權(quán)利要求11所述的方法,其特征在于,基于所述第一特征,通過目標(biāo)任務(wù)網(wǎng)絡(luò)中依次連接的特征提取單元和任務(wù)處理單元確定所述待訓(xùn)練數(shù)據(jù)的任務(wù)處理結(jié)果,包括:
14.根據(jù)權(quán)利要求11所述的方法,其特征在于,所述待訓(xùn)練數(shù)據(jù)具有標(biāo)定的任務(wù)處理結(jié)果;基于所述任務(wù)處理結(jié)果調(diào)整所述目標(biāo)任務(wù)網(wǎng)絡(luò)中的特征提取單元和任務(wù)處理單元的參數(shù),包括:
15.根據(jù)權(quán)利要求11-14中任一項(xiàng)所述的方法,其特征在于,所述數(shù)據(jù)模態(tài)包括圖像、視頻、音頻、文檔、文本、點(diǎn)云數(shù)據(jù)中的至少一種。
16.根據(jù)權(quán)利要求15所述的方法,其特征在于,所述數(shù)據(jù)模態(tài)包括圖像或視頻時(shí),所述處理任務(wù)包括目標(biāo)識(shí)別、目標(biāo)分類、事件識(shí)別、行為識(shí)別、姿態(tài)識(shí)別、情緒識(shí)別、目標(biāo)分割、關(guān)鍵點(diǎn)檢測(cè)、數(shù)據(jù)格式轉(zhuǎn)換中的至少一種;
17.一種電子設(shè)備,其特征在于,包括:存儲(chǔ)器,處理器;
18.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其特征在于,所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)執(zhí)行指令,所述計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)如權(quán)利要求1-5或者11-16任一項(xiàng)所述的方法,或者用于實(shí)現(xiàn)如權(quán)利要求6-10任一項(xiàng)所述的目標(biāo)大模型的處理過程。
19.一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序,該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-5或者11-16任一項(xiàng)所述的方法,或者,實(shí)現(xiàn)權(quán)利要求6-10任一項(xiàng)所述的目標(biāo)大模型的處理過程。