本技術(shù)涉及數(shù)據(jù)融合，尤其是涉及一種應(yīng)用于情感分析的多模態(tài)數(shù)據(jù)融合方法和融合系統(tǒng)。

背景技術(shù)：

1、隨著社交媒體和智能設(shè)備的普及，人們可以隨時隨地產(chǎn)生和分享大量的文本、圖像、音頻等數(shù)據(jù)用于表達(dá)意見和觀點，無論是相關(guān)機構(gòu)、相關(guān)企業(yè)還是用戶本身，都希望通過情感分析來了解公眾對某一事件、產(chǎn)品或服務(wù)的情感傾向，以便于及時進(jìn)行危機管理、品牌營銷或個性化服務(wù)等，因此，無論是相關(guān)機構(gòu)、相關(guān)企業(yè)還是用戶本身對情感分析的需求越來越高。

2、相關(guān)技術(shù)中一般通過混合融合的方式對多模態(tài)數(shù)據(jù)進(jìn)行情感分析，即，結(jié)合特征級融合和決策級融合的優(yōu)勢對多模態(tài)數(shù)據(jù)進(jìn)行情感分析，但是，在基于混合融合方法對多模態(tài)數(shù)據(jù)進(jìn)行融合處理時，可能會因無法捕捉和學(xué)習(xí)多模態(tài)數(shù)據(jù)之間的交互關(guān)系，而導(dǎo)致情感分析結(jié)果的準(zhǔn)確性較低。

技術(shù)實現(xiàn)思路

1、為了增強多模態(tài)數(shù)據(jù)之間的信息融合度，從而提升情感分析結(jié)果的準(zhǔn)確性，本技術(shù)提供了一種應(yīng)用于情感分析的多模態(tài)數(shù)據(jù)融合方法和融合系統(tǒng)。

2、第一方面，本技術(shù)提供一種應(yīng)用于情感分析的多模態(tài)數(shù)據(jù)融合方法，采用如下的技術(shù)方案：

3、一種應(yīng)用于情感分析的多模態(tài)數(shù)據(jù)融合方法，包括：

4、獲取目標(biāo)時間段內(nèi)的多模態(tài)數(shù)據(jù)，識別所述多模態(tài)數(shù)據(jù)中包含的至少三種單模態(tài)數(shù)據(jù)對應(yīng)的原始數(shù)據(jù)特征；

5、基于預(yù)設(shè)雙向長短期記憶網(wǎng)絡(luò)和每個原始數(shù)據(jù)特征，從所述至少三種單模態(tài)數(shù)據(jù)中識別出至少三個深度語義特征矩陣，每個原始數(shù)據(jù)特征對應(yīng)一個深度語義特征矩陣；

6、基于預(yù)設(shè)多頭注意力公式對所述至少三個深度語義特征矩陣進(jìn)行特征級融合得到初級融合特征矩陣和次級融合特征矩陣；

7、將所述初級融合特征矩陣和所述次級融合特征矩陣進(jìn)行決策級融合，得到所述目標(biāo)時間段內(nèi)的多模態(tài)數(shù)據(jù)對應(yīng)的情感分析結(jié)果。

8、通過采用上述技術(shù)方案，由于情感狀態(tài)通常會受到上下文影響，因此通過預(yù)設(shè)雙向長短期記憶網(wǎng)絡(luò)從多模態(tài)數(shù)據(jù)中識別出原始數(shù)據(jù)特征對應(yīng)的深度語義特征矩陣，便于提升識別原始數(shù)據(jù)特征矩陣時的靈活性，從而便于提升確定深度語義特征矩陣時的準(zhǔn)確性，另外，基于預(yù)設(shè)多頭注意力公式對深度語義特征矩陣進(jìn)行特征級融合，便于在不同的特征維度上關(guān)注各個深度語義特征矩陣之間的依賴關(guān)系，從而便于捕捉更加多樣化的交互信息，進(jìn)而便于提升多模態(tài)數(shù)據(jù)之間的信息融合度，最后通過將具有較高信息融合度的初級融合特征矩陣和次級融合特征矩陣進(jìn)行決策級分析得到情感分析結(jié)果，便于提升情感分析結(jié)果的準(zhǔn)確性。

9、在一種可能實現(xiàn)的方式中，所述基于預(yù)設(shè)多頭注意力公式對所述至少三個深度語義特征矩陣進(jìn)行特征級融合得到初級融合特征矩陣，包括：

10、對所述至少三個深度語義特征矩陣進(jìn)行特征組合，得到至少三個特征組，每個特征組中包含兩個不同的深度語義特征矩陣；

11、基于預(yù)設(shè)多頭注意力公式和每個特征組中包含的深度語義特征矩陣，確定每個特征組對應(yīng)的雙模態(tài)特征矩陣；

12、對每個雙模態(tài)特征矩陣進(jìn)行降維處理，得到每個雙模態(tài)特征矩陣對應(yīng)的降維雙模態(tài)特征矩陣，從至少三個深度語義特征矩陣中確定出每個降維雙模態(tài)特征矩陣對應(yīng)的目標(biāo)深度語義特征矩陣，并對每個目標(biāo)深度語義特征矩陣進(jìn)行轉(zhuǎn)置，得到每個目標(biāo)深度語義特征矩陣對應(yīng)的目標(biāo)轉(zhuǎn)置矩陣；

13、基于每個降維雙模態(tài)特征矩陣和每個降維雙模態(tài)特征矩陣對應(yīng)的目標(biāo)轉(zhuǎn)置矩陣，得到每個降維雙模態(tài)特征矩陣對應(yīng)的三模態(tài)協(xié)同矩陣；

14、基于每個三模態(tài)協(xié)同矩陣和每個三模態(tài)協(xié)同矩陣對應(yīng)的目標(biāo)深度語義特征矩陣，得到每個三模態(tài)協(xié)同矩陣對應(yīng)的三模態(tài)注意力矩陣；

15、基于每個三模態(tài)注意力矩陣和每個三模態(tài)注意力矩陣對應(yīng)的雙模態(tài)特征矩陣，得到每個三模態(tài)注意力矩陣對應(yīng)的三模態(tài)協(xié)同注意力矩陣；

16、對所有的三模態(tài)協(xié)同注意力矩陣進(jìn)行矩陣拼接，得到初級融合特征矩陣。

17、通過采用上述技術(shù)方案，通過多重拼接、矩陣相乘等操作得到的初級融合特征矩陣便于更全面捕捉到不同單模態(tài)數(shù)據(jù)之間的交互信息和相互關(guān)系，通過引入三模態(tài)協(xié)同注意力矩陣便于關(guān)注強化多模態(tài)數(shù)據(jù)中的相關(guān)內(nèi)容，而弱化多模態(tài)數(shù)據(jù)中的不相關(guān)內(nèi)容，從而便于提升多模態(tài)數(shù)據(jù)之間的交互性，進(jìn)而便于提升情感分析結(jié)果的準(zhǔn)確性。

18、在一種可能實現(xiàn)的方式中，當(dāng)特征組中包含的深度語義特征矩陣為文本深度語義特征矩陣和視覺深度語義特征矩陣時，基于預(yù)設(shè)多頭注意力公式和特征組中包含的深度語義特征矩陣，確定特征組對應(yīng)的雙模態(tài)特征矩陣，包括：

19、獲取預(yù)設(shè)可訓(xùn)練權(quán)重矩陣，并基于所述預(yù)設(shè)可訓(xùn)練權(quán)重矩陣和特征組中包含的深度語義特征矩陣確定投影特征矩陣，所述預(yù)設(shè)可訓(xùn)練權(quán)重矩陣包括查詢可訓(xùn)練權(quán)重矩陣、鍵可訓(xùn)練權(quán)重矩陣以及值可訓(xùn)練權(quán)重矩陣，

20、所述投影特征矩陣包含所述文本深度語義特征矩陣對應(yīng)的查詢關(guān)鍵矩陣、所述視覺深度語義特征矩陣對應(yīng)的鍵關(guān)鍵矩陣和值關(guān)鍵矩陣；

21、基于預(yù)設(shè)多頭注意力公式、所述文本深度語義特征矩陣對應(yīng)的查詢關(guān)鍵矩陣以及所述視覺深度語義特征矩陣對應(yīng)的鍵關(guān)鍵矩陣和值關(guān)鍵矩陣確定所述特征組對應(yīng)的多個注意力分?jǐn)?shù)，所述預(yù)設(shè)多頭注意力公式為，其中，attentioni為所述特征組對應(yīng)的第i個注意力分?jǐn)?shù)，i為正整數(shù)，所述為歸一化因子，dk為所述視覺深度語義特征矩陣對應(yīng)的鍵關(guān)鍵矩陣的向量維度；

22、將所述特征組對應(yīng)的所有注意力分?jǐn)?shù)進(jìn)行拼接，得到所述特征組的多頭輸出結(jié)果，并基于所述多頭輸出結(jié)果和預(yù)設(shè)可訓(xùn)練線性變換矩陣確定所述特征組對應(yīng)的雙模態(tài)特征矩陣。

23、通過采用上述技術(shù)方案，通過預(yù)設(shè)多頭注意力公式便于在不同特征維度上評估兩個深度語義特征矩陣之間的注意力分?jǐn)?shù)，從而便于提升不同深度語義特征矩陣之間的交互性，即，便于提升不同單模態(tài)數(shù)據(jù)之間的交互性，進(jìn)而便于增強單模態(tài)數(shù)據(jù)之間的信息融合度。

24、在一種可能實現(xiàn)的方式中，當(dāng)特征組中包含的深度語義特征矩陣為文本深度語義特征矩陣和視覺深度語義特征矩陣時，所述基于所述預(yù)設(shè)可訓(xùn)練權(quán)重矩陣和特征組中包含的深度語義特征矩陣確定投影特征矩陣，包括：

25、根據(jù)所述文本深度語義特征矩陣、所述查詢可訓(xùn)練權(quán)重矩陣以及第一計算公式，確定文本深度語義特征矩陣對應(yīng)的查詢關(guān)鍵矩陣，其中所述第一計算公式為，qt為文本深度語義特征矩陣對應(yīng)的查詢關(guān)鍵矩陣，t為文本深度語義特征矩陣，wiq為查詢可訓(xùn)練權(quán)重矩陣；

26、根據(jù)所述視覺深度語義特征矩陣、所述鍵可訓(xùn)練權(quán)重矩陣以及第二計算公式，確定視覺深度語義特征矩陣對應(yīng)的鍵關(guān)鍵矩陣，所述第二計算公式為，kv為視覺深度語義特征矩陣對應(yīng)的鍵關(guān)鍵矩陣，v為視覺深度語義特征矩陣，wik為鍵可訓(xùn)練權(quán)重矩陣；

27、根據(jù)所述視覺深度語義特征矩陣、所述值可訓(xùn)練權(quán)重矩陣以及第三計算公式，確定視覺深度語義特征矩陣對應(yīng)的值關(guān)鍵矩陣，所述第三計算公式為，vv為視覺深度語義特征矩陣對應(yīng)的值關(guān)鍵矩陣，v為視覺深度語義特征矩陣，wiv為值可訓(xùn)練權(quán)重矩陣；

28、所述文本深度語義特征矩陣對應(yīng)的查詢關(guān)鍵矩陣、所述視覺深度語義特征矩陣對應(yīng)的鍵關(guān)鍵矩陣以及值關(guān)鍵矩陣構(gòu)成投影特征矩陣。

29、通過采用上述技術(shù)方案，本技術(shù)提供了一種確定投影特征矩陣的方式。

30、在一種可能實現(xiàn)的方式中，基于預(yù)設(shè)多頭注意力公式對所述至少三個深度語義特征矩陣進(jìn)行特征級融合得到次級融合特征矩陣，包括：

31、將至少三個雙模態(tài)特征矩陣進(jìn)行拼接，得到拼接三模態(tài)特征矩陣；

32、對所述拼接三模態(tài)特征矩陣進(jìn)行降維處理得到降維拼接三模態(tài)特征矩陣，并基于預(yù)設(shè)自注意力機制確定所述降維拼接三模態(tài)特征矩陣的自注意力分布，得到自注意力拼接三模態(tài)特征矩陣；

33、將所述自注意力拼接三模態(tài)特征矩陣和所述至少三個深度語義特征矩陣進(jìn)行拼接，得到次級融合特征矩陣。

34、通過采用上述技術(shù)方案，通過將雙模態(tài)特征矩陣進(jìn)行拼接，并基于拼接三模態(tài)特征矩陣進(jìn)行特征融合，便于提升特征融合過程中的全面性，另外，基于預(yù)設(shè)多頭注意力機制確定拼接三模態(tài)特征矩陣的注意力分布情況，便于更全面地了解三模態(tài)特征矩陣之間深層次的交互情況，從而便于提升確定次級容和特征矩陣時的準(zhǔn)確性。

35、在一種可能實現(xiàn)的方式中，所述將所述初級融合特征矩陣和所述次級融合特征矩陣進(jìn)行決策級融合，得到所述目標(biāo)時間段內(nèi)的多模態(tài)數(shù)據(jù)對應(yīng)的情感分析結(jié)果，包括：

36、基于預(yù)設(shè)分類器分別對所述初級融合特征矩陣和所述次級融合特征矩陣進(jìn)行分類，確定目標(biāo)分類概率分?jǐn)?shù)；

37、基于所述目標(biāo)分類概率分?jǐn)?shù)和預(yù)設(shè)情感類別映射關(guān)系，確定所述目標(biāo)分類概率對應(yīng)的目標(biāo)情感類別，所述預(yù)設(shè)情感類別映射關(guān)系為目標(biāo)分類概率與目標(biāo)情感類別之間的對應(yīng)關(guān)系；

38、基于所述目標(biāo)情感類別生成情感分析結(jié)果。

39、通過采用上述技術(shù)方案，通過特征級融合操作得到初級融合特征矩陣和次級融合特征矩陣后，再對初級融合特征矩陣和次級融合特征矩陣進(jìn)行決策級融合，便于提升情感分析的精度和魯棒性。

40、在一種可能實現(xiàn)的方式中，所述基于預(yù)設(shè)分類器分別對所述初級融合特征矩陣和所述次級融合特征矩陣進(jìn)行分類，確定目標(biāo)分類概率分?jǐn)?shù)，包括：

41、獲取所述分類器對應(yīng)的分類器權(quán)重信息和分類器偏置信息，所述分類器權(quán)重信息包括第一分類器權(quán)重和第二分類器權(quán)重，所述分類器偏置信息包括第一分類器偏置和第二分類器偏置；

42、基于所述第一分類器權(quán)重、所述第一分類器偏置、所述初級融合特征矩陣以及第一分類公式確定所述初級融合特征矩陣對應(yīng)的初級分類概率分?jǐn)?shù)，所述第一分類公式為，其中，l1為初級分類概率分?jǐn)?shù)，w1為第一分類器權(quán)重，b1為第一分類器偏置，p為初級融合特征矩陣；

43、基于所述第二分類器權(quán)重、所述第二分類器偏置、所述次級融合特征矩陣以及第二分類公式確定所述次級融合特征矩陣對應(yīng)的次級分類概率分?jǐn)?shù)，所述第二分類公式為，其中，l2為次級分類概率分?jǐn)?shù)，w2為第二分類器權(quán)重，b2為第二分類器偏置，s為次級融合特征矩陣；

44、基于預(yù)設(shè)規(guī)則從所述初級分類概率分?jǐn)?shù)和所述次級分類概率分?jǐn)?shù)中確定所述目標(biāo)分類概率分?jǐn)?shù)。

45、通過采用上述技術(shù)方案，本技術(shù)提供了一種確定目標(biāo)分類概率分?jǐn)?shù)的方式。

46、第二方面，本技術(shù)提供一種融合系統(tǒng)，采用如下的技術(shù)方案：

47、一種融合系統(tǒng)，該融合系統(tǒng)包括：

48、至少一個處理器；

49、存儲器；

50、至少一個應(yīng)用程序，其中所述至少一個應(yīng)用程序被存儲在存儲器中并被配置為由至少一個處理器執(zhí)行，所述至少一個應(yīng)用程序配置用于：執(zhí)行上述應(yīng)用于情感分析的多模態(tài)數(shù)據(jù)融合方法。

51、第三方面，本技術(shù)提供一種計算機可讀存儲介質(zhì)，采用如下的技術(shù)方案：

52、一種計算機可讀存儲介質(zhì)，包括：存儲有能夠被處理器加載并執(zhí)行上述應(yīng)用于情感分析的多模態(tài)數(shù)據(jù)融合方法的計算機程序。

53、第四方面，本技術(shù)提供了一種計算機程序產(chǎn)品，采用如下的技術(shù)方案：

54、一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述應(yīng)用于情感分析的多模態(tài)數(shù)據(jù)融合方法。

55、綜上所述，本技術(shù)包括以下至少一種有益技術(shù)效果：

56、由于情感狀態(tài)通常會受到上下文影響，因此通過預(yù)設(shè)雙向長短期記憶網(wǎng)絡(luò)從多模態(tài)數(shù)據(jù)中識別出原始數(shù)據(jù)特征對應(yīng)的深度語義特征矩陣，便于提升識別原始數(shù)據(jù)特征矩陣時的靈活性，從而便于提升確定深度語義特征矩陣時的準(zhǔn)確性，另外，基于預(yù)設(shè)多頭注意力公式對深度語義特征矩陣進(jìn)行特征級融合，便于在不同的特征維度上關(guān)注各個深度語義特征矩陣之間的依賴關(guān)系，從而便于捕捉更加多樣化的交互信息，進(jìn)而便于提升多模態(tài)數(shù)據(jù)之間的信息融合度，最后通過將具有較高信息融合度的初級融合特征矩陣和次級融合特征矩陣進(jìn)行決策級分析得到情感分析結(jié)果，便于提升情感分析結(jié)果的準(zhǔn)確性；

57、通過多重拼接、矩陣相乘等操作得到的初級融合特征矩陣便于更全面捕捉到不同單模態(tài)數(shù)據(jù)之間的交互信息和相互關(guān)系，通過引入三模態(tài)協(xié)同注意力矩陣便于關(guān)注強化多模態(tài)數(shù)據(jù)中的相關(guān)內(nèi)容，而弱化多模態(tài)數(shù)據(jù)中的不相關(guān)內(nèi)容，從而便于提升多模態(tài)數(shù)據(jù)之間的交互性，進(jìn)而便于提升情感分析結(jié)果的準(zhǔn)確性。