本發(fā)明屬于語音、圖像等多模態(tài)情感分析技領(lǐng)域，具體涉及一種多模態(tài)情感分析方法、系統(tǒng)、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、多模態(tài)情感分析是人工智能的一個(gè)重要研究方向，它指的是利用多種類型的輸入數(shù)據(jù)，如文本、語音和圖像等，來識別和預(yù)測情感狀態(tài)。傳統(tǒng)的情感分析主要針對文本內(nèi)容，循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)、長短期記憶模型(lstm)等都是過去常用的情感分析模型。但是只有單一的信息源無法使模型學(xué)習(xí)到豐富的特征，而多模態(tài)情感分析通過融合視覺、聽覺等信息，為深度學(xué)習(xí)模型提供了多方面的特征，提升模型準(zhǔn)確率的同時(shí)，還有利于增強(qiáng)模型的泛化能力，使得模型能夠處理不同類型的情感分析下游任務(wù)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于設(shè)計(jì)一種可以分析多種類型信息的多模態(tài)情感分析方法，提高對情感分析任務(wù)的準(zhǔn)確率，用于分析用戶在進(jìn)行語音通話時(shí)的情感狀態(tài)。

2、本發(fā)明的技術(shù)方案如下：

3、一種多模態(tài)情感分析方法，所述方法包括：

4、s1獲取用戶語音和表情圖片；

5、s2將所述用戶語音和表情圖片輸入到crnn-svm模型中進(jìn)行特征提取，并將提取到的特征通過向量拼接技術(shù)將特征合并進(jìn)行分類，判斷情感極性。

6、進(jìn)一步地，所述crnn-svm模型由卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和支持向量模型構(gòu)成。

7、進(jìn)一步地，所述s2具體為：

8、讀取用戶語音信息，通過傅里葉變換將時(shí)序信號轉(zhuǎn)換為頻域信號，并繪制原始頻譜圖，使用卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)分別提取原始頻譜圖的空間特征和時(shí)序特征；

9、使用卷積神經(jīng)網(wǎng)絡(luò)提取表情圖片的特征；

10、通過向量拼接技術(shù)將提取到的空間特征、時(shí)序特征和表情圖片的特征合并輸入到支持向量模型進(jìn)行分類，判斷情感極性。

11、一種多模態(tài)情感分析系統(tǒng)，包括：

12、獲取模塊，用于獲取用戶語音和表情圖片；

13、特征提取與分類模塊，用于將所述用戶語音和表情圖片輸入到crnn-svm模型中進(jìn)行特征提取，并將提取到的特征通過向量拼接技術(shù)將特征合并進(jìn)行分類，判斷情感極性。

14、進(jìn)一步地所述特征提取與分類模塊包括：

15、語音特征提取模塊，用于讀取用戶語音信息，通過傅里葉變換將時(shí)序信號轉(zhuǎn)換為頻域信號，并繪制原始頻譜圖，使用卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)分別提取原始頻譜圖的空間特征和時(shí)序特征；

16、圖片特征提取模塊，用于使用卷積神經(jīng)網(wǎng)絡(luò)提取表情圖片的特征；

17、分類模塊，用于通過向量拼接技術(shù)將提取到的空間特征、時(shí)序特征和表情圖片的特征合并輸入到支持向量模型進(jìn)行分類，判斷情感極性。

18、本發(fā)明還提供一種電子設(shè)備，其特征在于，包括存儲器及處理器，所述存儲器用于存儲計(jì)算機(jī)程序，所述處理器運(yùn)行所述計(jì)算機(jī)程序以使所述電子設(shè)備執(zhí)行上述的多模態(tài)情感分析方法。

19、本發(fā)明還提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，其存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)上述的多模態(tài)情感分析方法。

20、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

21、本發(fā)明結(jié)合語音和表情圖片兩種模態(tài)的信息，可以捕捉到更多維度的情感特征，通過將不同模態(tài)的數(shù)據(jù)融合起來進(jìn)行情感分析，不再依賴于單一的數(shù)據(jù)源，從而減少了因單一數(shù)據(jù)源質(zhì)量問題導(dǎo)致的誤差，這種多源數(shù)據(jù)融合的方式使得模型更加魯棒，能夠適應(yīng)不同場景下的情感分析任務(wù)。

技術(shù)特征：

1.一種多模態(tài)情感分析方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的多模態(tài)情感分析方法，其特征在于，所述crnn-svm模型由卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和支持向量模型構(gòu)成。

3.根據(jù)權(quán)利要求1所述的多模態(tài)情感分析方法，其特征在于，所述s2具體為：

4.一種多模態(tài)情感分析系統(tǒng)，其特征在于，包括：

5.根據(jù)權(quán)利要求4所述的多模態(tài)情感分析系統(tǒng)，其特征在于，所述特征提取與分類模塊包括：

6.一種電子設(shè)備，其特征在于，包括存儲器及處理器，所述存儲器用于存儲計(jì)算機(jī)程序，所述處理器運(yùn)行所述計(jì)算機(jī)程序以使所述電子設(shè)備執(zhí)行根據(jù)權(quán)利要求1-3中所述的多模態(tài)情感分析方法。

7.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，其存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-3所述的多模態(tài)情感分析方法。

技術(shù)總結(jié)
本發(fā)明提供一種多模態(tài)情感分析方法、系統(tǒng)、電子設(shè)備及存儲介質(zhì)，所述方法包括：S1獲取用戶語音和表情圖片；S2將所述用戶語音和表情圖片輸入到CRNN?SVM模型中進(jìn)行特征提取，并將提取到的特征通過向量拼接技術(shù)將特征合并進(jìn)行分類，判斷情感極性。本發(fā)明結(jié)合語音和表情圖片兩種模態(tài)的信息，可以捕捉到更多維度的情感特征，通過將不同模態(tài)的數(shù)據(jù)融合起來進(jìn)行情感分析，不再依賴于單一的數(shù)據(jù)源，從而減少了因單一數(shù)據(jù)源質(zhì)量問題導(dǎo)致的誤差，這種多源數(shù)據(jù)融合的方式使得模型更加魯棒，能夠適應(yīng)不同場景下的情感分析任務(wù)。

技術(shù)研發(fā)人員：庫爾班·吾布力,趙玉霞,阿力甫·依不拉音,于鵬,林曉雯
受保護(hù)的技術(shù)使用者：新疆大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9