一種基于遺傳算法的多模態(tài)情感特征融合方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于遺傳算法的多模態(tài)情感特征融合方法，屬于信號(hào)處理與模式識(shí)別領(lǐng)域。包括以下內(nèi)容：建立一個(gè)多模態(tài)情感數(shù)據(jù)庫(kù)，然后對(duì)于所述數(shù)據(jù)庫(kù)中的每個(gè)樣本，提取多模態(tài)情感數(shù)據(jù)庫(kù)樣本的各模態(tài)情感特征，例如：面部表情特征、語(yǔ)音情感特征以及身體姿態(tài)特征等，構(gòu)造多模態(tài)情感特征矩陣，將遺傳算法用于多個(gè)模態(tài)的特征融合，包括基于遺傳算法的特征選擇、交叉以及重組，最后采用遺傳算法對(duì)多模態(tài)情感特征進(jìn)行F次迭代的特征選擇和融合。本發(fā)明針對(duì)多模態(tài)情感分類(lèi)識(shí)別，提出將遺傳算法用于特征層融合，為基于特征層融合的多模態(tài)情感分類(lèi)識(shí)別提供了一種新的有效途徑。
【專(zhuān)利說(shuō)明】
一種基于遺傳算法的多模態(tài)情感特征融合方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于信號(hào)處理與模式識(shí)別領(lǐng)域，更具體地，涉及一種基于遺傳算法的多模 態(tài)情感特征融合方法。
【背景技術(shù)】
[0002] 1997年，麻省理工大學(xué)多媒體實(shí)驗(yàn)室Picard教授等人成立了世界上第一個(gè)從事情 感計(jì)算的研究團(tuán)隊(duì)，研究側(cè)重于情感信號(hào)的獲取與識(shí)別。卡內(nèi)基梅隆大學(xué)研究開(kāi)發(fā)基于情 感計(jì)算的可穿戴式計(jì)算機(jī)，致力于情感計(jì)算的實(shí)際應(yīng)用研究。2004年我國(guó)國(guó)家自然科學(xué)基 金委將情感計(jì)算理論與方法的研究首次列入擬資助的重點(diǎn)項(xiàng)目中。2009年，首屆全國(guó)認(rèn)知 科學(xué)研討會(huì)中，首次將"情感計(jì)算"列為認(rèn)知科學(xué)領(lǐng)域當(dāng)前重點(diǎn)關(guān)注的前沿課題之一。2010 年，為了促進(jìn)"情感計(jì)算"這一主題的研究和發(fā)展，IEEE計(jì)算機(jī)協(xié)會(huì)新創(chuàng)辦了一個(gè)以"情感計(jì) 算"命名的國(guó)際學(xué)術(shù)期刊《IEEE Transaction Affective Computing》。
[0003] 目前，在情感識(shí)別領(lǐng)域中，單模態(tài)情感識(shí)別已經(jīng)做得非常成熟，在多模態(tài)情感識(shí)別 研究方面，最核心的部分就是多個(gè)模態(tài)的特征融合，融合的好壞直接影響到最后識(shí)別的效 果，現(xiàn)在已經(jīng)有許多融合方法出現(xiàn):主成分分析(PCA)、典型相關(guān)分析(CCA)、核典型相關(guān)分 析(KCCA)、核矩陣融合(KMF)等。經(jīng)實(shí)驗(yàn)比對(duì)，使用上述融合方法得到的識(shí)別率均低于使用 本發(fā)明的基于遺傳算法的多模態(tài)情感特征融合方法得到的識(shí)別率。
[0004] 在多模態(tài)情感識(shí)別方面，現(xiàn)有已公開(kāi)專(zhuān)利文獻(xiàn)中有一項(xiàng)授權(quán)號(hào)為CN102968643B、 名稱(chēng)為"一種基于李群論的多模態(tài)情感識(shí)別方法"的發(fā)明專(zhuān)利，該發(fā)明在分別獲取人體、臉 部、手部三個(gè)不同模態(tài)的情感識(shí)別率的基礎(chǔ)上，依據(jù)三種模態(tài)特征得到的概率對(duì)最終情感 狀態(tài)進(jìn)行加權(quán)決策，是一種決策層融合方法，但該方法并沒(méi)有考慮不同模態(tài)特征數(shù)據(jù)之間 的聯(lián)系。一般而言，對(duì)于同一個(gè)情感類(lèi)別來(lái)說(shuō)，不同模態(tài)之間一定是有聯(lián)系的。
[0005] 遺傳算法由美國(guó)的J.Holland教授于1975年首先提出，是一種基于自然遺傳與種 群進(jìn)化的自適應(yīng)尋優(yōu)方法，初始種群，也稱(chēng)父代，父代經(jīng)過(guò)一個(gè)操作循環(huán)得到第一代子代種 群，這個(gè)操作循環(huán)由3個(gè)操作算子組成:選擇算子、交叉算子、變異算子。選擇算子是根據(jù)實(shí) 際問(wèn)題需要，計(jì)算種群的適應(yīng)度，篩選掉部分適應(yīng)度值低的，留下適應(yīng)度高的種群，這就相 當(dāng)于多模態(tài)情感的特征選擇，即選擇了區(qū)分度高的特征進(jìn)行實(shí)驗(yàn);交叉算子是遺傳算法的 核心部分，交叉算子將兩個(gè)個(gè)體以交叉率口:重新組合，返回一個(gè)新的個(gè)體，交叉方法有許 多，例如:單點(diǎn)交叉、兩點(diǎn)交叉以及多點(diǎn)交叉等。
[0006] 現(xiàn)有技術(shù)中，目前還沒(méi)有發(fā)現(xiàn)將上述遺傳算法運(yùn)用于多模態(tài)情感特征融合的實(shí)踐 嘗試。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明要解決的技術(shù)問(wèn)題是針對(duì)計(jì)算機(jī)與人進(jìn)行情感交流的現(xiàn)有技術(shù)中識(shí)別率 的準(zhǔn)確性較低的問(wèn)題，為人機(jī)互話(huà)找到了 一條新途徑。
[0008] 為此，本發(fā)明提出一種基于遺傳算法的多模態(tài)情感特征融合方法，采用特征層融 合的方式，解決現(xiàn)有技術(shù)不能獲得較準(zhǔn)確識(shí)別率的問(wèn)題，從而構(gòu)造出友好的人機(jī)界面的需 求。具體的技術(shù)方案如下：
[0009] -種基于遺傳算法的多模態(tài)情感特征融合方法，包含以下步驟：
[0010] -、建立一個(gè)多模態(tài)情感數(shù)據(jù)庫(kù)，包含L類(lèi)情感的樣本，每類(lèi)情感的樣本數(shù)為η，總 樣本數(shù)為N=nL;
[0011] 二、對(duì)于數(shù)據(jù)庫(kù)中的每個(gè)樣本，提取T種不同模態(tài)的情感特征，如語(yǔ)音特征、表情特 征、姿態(tài)特征等，其中第t種模態(tài)的情感特征用dt維特征向量表示，t=l, 2，···，T，則每個(gè)樣 本的多模態(tài)情感特征向量維數(shù)為Μ=((1ι+(?2+···+(1τ);
[0012] 三、對(duì)于數(shù)據(jù)庫(kù)中的N個(gè)樣本，構(gòu)造一個(gè)N*M大小的多模態(tài)情感特征矩陣A:
[0014]其中，矩陣元素 a^,k是屬于第i類(lèi)情感的第j個(gè)樣本特征向量的第k維特征值，i = l，2，...，L，j = l，2，...，n，k=l，2, ···，]?;
[0015] 四、采用遺傳算法對(duì)多模態(tài)情感特征進(jìn)行F次迭代的特征選擇和融合。
[0016] 進(jìn)一步，上述步驟四包含以下子步驟：
[0017] (1)對(duì)于第k維特征，將屬于第i類(lèi)情感的η個(gè)樣本的特征值進(jìn)行組合，構(gòu)成數(shù)組
計(jì)算這個(gè)數(shù)組的均值
和方差=
定義第P類(lèi)情感與第q類(lèi)情感的類(lèi)內(nèi)類(lèi)間距離為RP,q,k:
[0019]定義遺傳算法中使用的適應(yīng)度函數(shù)為Rk:
[0021] 那么Μ維特征的適應(yīng)度函數(shù)值可以分別表示為，R2，…，Rm ;
[0022] (2)定義多模態(tài)情感特征矩陣A中第s列特征被選擇的概率為：
[0024]給定一個(gè)[0，1]區(qū)間的均勻隨機(jī)數(shù)α，若ps^a，則多模態(tài)情感特征矩陣A中第s列特 征被選擇，否則不被選擇，假定經(jīng)選擇后的多模態(tài)情感特征矩陣B是一個(gè)N*m大小的矩陣，m <M；
[0025] (3)使用遺傳算法的單點(diǎn)交叉算子對(duì)特征矩陣B進(jìn)行交叉操作，具體內(nèi)容如下：
[0026] 將矩陣B的奇偶列分離出來(lái)，分別構(gòu)成矩陣Beven和矩陣Bodd，大小分別為N*nu和N* m2，其中m是矩陣B偶數(shù)列的列數(shù)，m2是矩陣B奇數(shù)列的列數(shù)，mdPm2的取值為：
[0028] 產(chǎn)生m個(gè)[0，1]區(qū)間的隨機(jī)數(shù)，將這些隨機(jī)數(shù)依次與事先設(shè)定的交叉 率?1比較，小于P1則返回邏輯值"Γ，否則返回邏輯值"0"，這樣就得到了一個(gè)長(zhǎng)度為m的邏 輯向量，用D.=從,d_ 2,.···., 表示；重新產(chǎn)生mi個(gè)[0，1 ]區(qū)間的隨機(jī)數(shù);Fi.nfe，通過(guò) 以下公式計(jì)算矩陣UP矩陣Bodd第r列的交叉點(diǎn)位置Sr(r = 1，2，…，mO :
[0029] Sr= ((N-l )*yr*dr+N-l) %N+1
[0030] 上式中，％是取余運(yùn)算，對(duì)向量做取余運(yùn)算是指對(duì)向量的每個(gè)元素均做取余運(yùn)算； 依次將矩陣第r列的第Sr個(gè)元素之后的數(shù)據(jù)與矩陣Bodd第r列的第Sr個(gè)元素之后的數(shù)據(jù) 進(jìn)行互換，得到V _"和以odd，將矩陣V odd的每一列依次插入矩陣V 的每?jī)闪兄g，即構(gòu) 成交叉后的特征矩陣Η(當(dāng)m為奇數(shù)時(shí)，特征矩陣Η的最后一列與特征矩陣B的最后一列相 同），根據(jù)步驟(2.1)中的公式計(jì)算交叉后的特征的適應(yīng)度函數(shù)值，m維特征的適應(yīng)度函數(shù)值 可以分別表不為f 1,1^
[0031] (4)將初始的多模態(tài)情感特征矩陣A和交叉后的特征矩陣Η進(jìn)行重組，具體內(nèi)容如 下：
[0032]設(shè)定替換率ρ2,假定用特征矩陣Η中的γ列數(shù)據(jù)替換特征矩陣Α中的γ列數(shù)據(jù)，則 γ的數(shù)值為Ρ2與m相乘后再取整，構(gòu)造數(shù)組Qi = (Ri，R2，…，Rm)和Q2 = (f 1，V 2，…，R\)，將Qi 和Q2的元素按照從大到小的順序分別重新排序，排序后的位置信息分別用向量 φ = ((^，奶,…,^^)和向量0 = 來(lái)表示，即將數(shù)組Q沖第叫〇 =1,2,.. ,Λ?)個(gè) 元素排到第k位，將數(shù)組Q2中第i9w.(w = 1,2, 個(gè)元素排到第w位，例如:a= (3,5,9,7)， 從大到小排序?yàn)閎 = (9，7，5，3)，位置信息為c = (3，4，2，1)，即：將a中第3個(gè)元素排到第1位， 第4個(gè)元素排到第2位，第2個(gè)元素排到第3位，第1個(gè)元素排到第4位，得到排序后的b;將特征 矩陣Η中第~為|…Λ列的數(shù)據(jù)依次替換特征矩陣A中第你％…列的數(shù)據(jù)，得到重組 后的特征矩陣A'，大小為N*M;
[0033] (5)當(dāng)?shù)螖?shù)達(dá)到事先設(shè)定的F值時(shí)，停止循環(huán)，得到最終的融合特征，否則返回 步驟(1)進(jìn)行下一次的迭代。
[0034] 進(jìn)一步，上述步驟二中所述的情感特征包括語(yǔ)音特征、表情特征、姿態(tài)特征。
[0035] 有益效果:本發(fā)明對(duì)基于表情與語(yǔ)音的多模態(tài)情感分類(lèi)識(shí)別進(jìn)行了研究，將遺傳 算法用于特征層融合，采用選擇以及交叉算子。實(shí)驗(yàn)顯示，基于遺傳算法的特征層融合方法 在eNTERFACE和RML數(shù)據(jù)庫(kù)上的識(shí)別率為87.2%和92.4%，比單一模態(tài)的識(shí)別率分別提高了 15 %和11 %，與核矩陣融合(KMF)、核典型相關(guān)分析(KCCA)方法進(jìn)行比較，也有最高的識(shí)別 率，說(shuō)明將遺傳算法用于特征層融合是可行的且效果良好。
【附圖說(shuō)明】
[0036]圖1是本發(fā)明基于遺傳算法的多模態(tài)情感特征融合方法的流程圖。
[0037]圖2是eNTERFACE數(shù)據(jù)庫(kù)中的部分表情圖像。
【具體實(shí)施方式】
[0038]現(xiàn)結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】做進(jìn)一步詳細(xì)的說(shuō)明。本發(fā)明的基于遺傳算 法的多模態(tài)情感特征融合方法的實(shí)現(xiàn)，如圖1所示，主要包含以下步驟：
[0039]第一步：獲取eNTERFACE雙模態(tài)情感數(shù)據(jù)庫(kù)和RML雙模態(tài)情感數(shù)據(jù)庫(kù)，如圖2所示， eNTERFACE數(shù)據(jù)庫(kù)包含6種情緒：angry(憤怒），disgust(厭惡），fear(恐懼），happy(喜悅）， sad(悲傷），surprise(驚訝），44個(gè)實(shí)驗(yàn)者，由于其中2個(gè)實(shí)驗(yàn)者與其他實(shí)驗(yàn)者的樣本個(gè)數(shù)不 一樣，我們選取了其中42個(gè)實(shí)驗(yàn)者，對(duì)應(yīng)于每種情緒有5個(gè)樣本，一共是1260個(gè)樣本。RML數(shù) 據(jù)庫(kù)同樣包含6種情緒，每類(lèi)情緒有120個(gè)樣本，一共720個(gè)樣本。
[0040]第二步:對(duì)雙模態(tài)數(shù)據(jù)庫(kù)進(jìn)行處理，對(duì)于數(shù)據(jù)庫(kù)中的每個(gè)樣本進(jìn)行表情和語(yǔ)音的 特征提?。?br>[0041 ] (1)對(duì)視頻提取關(guān)鍵幀，從關(guān)鍵幀中提取表情的gabor特征，得到N個(gè)cU維的表情特 征向量，N為總樣本數(shù)，cU是每個(gè)樣本關(guān)鍵幀對(duì)應(yīng)的表情特征維數(shù)：
[0042] gabor函數(shù)如下：
[0044]其中（x，y)是像素點(diǎn)的位置坐標(biāo)
是小波向量，
gabor濾波器的中心頻率，:是最大頻率，本文中設(shè)為0.25，λη是尺度因子，本文設(shè)
表示濾波器方向選擇。本文選取的是有8個(gè)不同方向me{l，2,3,4,5,6， 7，8 }，5個(gè)不同尺度n e{l ,2,3,4,5}的gabor濾波器組，即含有40個(gè)gabor濾波器。
[0045 ]當(dāng)我們提取一幅圖像的gab or特征時(shí)，首先將輸入的彩色圖像I (X，y，z)灰度化得 至燈(1，7)，然后將11(1，7)與上面的濾波器組進(jìn)行卷積，即6111,11(1，7)=1(1，7) >^111,11(1，7)，得 到某一個(gè)像素點(diǎn)的40個(gè)復(fù)數(shù)值，我們選擇這40個(gè)復(fù)數(shù)的幅值作為該像素點(diǎn)的gabor特征； [0046] (2)對(duì)視頻提取音頻文件，用opensmi 1 e工具直接從音頻文件中提取語(yǔ)音情感特征 emobase2010，得到N個(gè)d2維的語(yǔ)音特征向量，N為總樣本數(shù)，d2是每個(gè)樣本音頻對(duì)應(yīng)的語(yǔ)音特 征維數(shù)；
[0047]則每個(gè)樣本的雙模態(tài)情感特征向量維數(shù)為M= (cb+cb);
[0048]第三步，對(duì)于數(shù)據(jù)庫(kù)中的N個(gè)樣本，構(gòu)造一個(gè)N*M大小的多模態(tài)情感特征矩陣A:
[0050] 其中，矩陣元素 au,k是屬于第i類(lèi)情感的第j個(gè)樣本特征向量的第k維特征值，i = l，2，...，L，j = l，2，...，n，k=l，2, ···，]?;
[0051] 第四步，采用遺傳算法對(duì)多模態(tài)情感特征進(jìn)行F次迭代的特征選擇和融合，此步驟 包括以下子步驟：
[0052] (4.1)對(duì)于第k維特征，將屬于第i類(lèi)情感的η個(gè)樣本的特征值進(jìn)行組合，構(gòu)成數(shù)組

[0054]定義遺傳算法中使用的適應(yīng)度函數(shù)為Rk:
[0056] 那么Μ維特征的適應(yīng)度函數(shù)值可以分別表示為，R2，…，Rm ;
[0057] (4.2)定義多模態(tài)情感特征矩陣A中第s列特征被選擇的概率為：
[0059] 給定一個(gè)[0，1]區(qū)間的均勻隨機(jī)數(shù)α，若ps^a，則多模態(tài)情感特征矩陣A中第s列特 征被選擇，否則不被選擇，假定經(jīng)選擇后的多模態(tài)情感特征矩陣B是一個(gè)N*m大小的矩陣，m <M；
[0060] (4.3)使用遺傳算法的單點(diǎn)交叉算子對(duì)特征矩陣B進(jìn)行交叉操作，具體內(nèi)容如下： [0061 ] 將矩陣B的奇偶列分離出來(lái)，分別構(gòu)成矩陣Beven和矩陣Bodd，大小分別為N*nu和N* m2，其中m是矩陣B偶數(shù)列的列數(shù)，m 2是矩陣B奇數(shù)列的列數(shù)，mdPm2的取值為：
[0063] 產(chǎn)生nu個(gè)[0，1 ]區(qū)間的隨機(jī)數(shù)*1^:21… ，將這些隨機(jī)數(shù)依次與事先設(shè)定的交叉 率?1比較，小于P1則返回邏輯值"Γ，否則返回邏輯值"0"，這樣就得到了一個(gè)長(zhǎng)度為m的邏 輯向量，用(^為.,…..,!^ j表示；重新產(chǎn)生mi個(gè)[0，1 ]區(qū)間的隨機(jī)數(shù)通過(guò) 以下公式計(jì)算矩陣UP矩陣Bodd第r列的交叉點(diǎn)位置Sr(r = 1，2，…，mO :
[0064] Sr= ((N-l )*yr*dr+N-l) %N+1
[0065] 上式中，％是取余運(yùn)算，對(duì)向量做取余運(yùn)算是指對(duì)向量的每個(gè)元素均做取余運(yùn)算； 依次將矩陣第r列的第Sr個(gè)元素之后的數(shù)據(jù)與矩陣Bodd第r列的第Sr個(gè)元素之后的數(shù)據(jù) 進(jìn)行互換，得到V _"和以odd，將矩陣V odd的每一列依次插入矩陣V 的每?jī)闪兄g，即構(gòu) 成交叉后的特征矩陣Η(當(dāng)m為奇數(shù)時(shí)，特征矩陣Η的最后一列與特征矩陣B的最后一列相 同），根據(jù)步驟4.1中的公式計(jì)算交叉后的特征的適應(yīng)度函數(shù)值，m維特征的適應(yīng)度函數(shù)值可 以分別表不為V 1,1^2，···，Ι^??;
[0066] (4.4)將初始的多模態(tài)情感特征矩陣Α和交叉后的特征矩陣Η進(jìn)行重組，具體內(nèi)容 如下：
[0067] 設(shè)定替換率Ρ2，假定用特征矩陣Η中的γ列數(shù)據(jù)替換特征矩陣Α中的γ列數(shù)據(jù)，則 γ的數(shù)值為Ρ2與m相乘后再取整，構(gòu)造數(shù)組Q! = (R!，R2，…，Rm)和Q2 = (f 1，V 2，…，R\)，將Qi 和Q2的元素按照從大到小的順序分別重新排序，排序后的位置信息分別用向量 Ψ = 〇1,妁,…,<Pm)和向量Θ二0V&，…,?)來(lái)表示，即將數(shù)組Qi中第=1,2,…,Λ?)個(gè) 元素排到第k位，將數(shù)組Q 2中第= 1,2,...,m)個(gè)元素排到第w位，得到排序后的b;將特 征矩陣Η中第％^ ···&列的數(shù)據(jù)依次替換特征矩陣A中第φι，#2, ··，列的數(shù)據(jù)，得到重 組后的特征矩陣A'，大小為N*M;
[0068] (4.5)當(dāng)?shù)螖?shù)達(dá)到事先設(shè)定的F值時(shí)，停止循環(huán)，得到最終的融合特征，否則返 回步驟4.1進(jìn)行下一次的迭代；
[0069] 第五步，為了去除數(shù)據(jù)冗余，降低計(jì)算消耗，使用PCA方法對(duì)融合特征進(jìn)行降維，在 降維前對(duì)融合數(shù)據(jù)進(jìn)行歸一化，將數(shù)據(jù)限定在0-1之間，本發(fā)明在eNTERFACE數(shù)據(jù)庫(kù)上設(shè)定 PCA貢獻(xiàn)率為0.99，在RML數(shù)據(jù)庫(kù)上設(shè)定PCA貢獻(xiàn)率為0.82;
[0070] 第六步，將降維后的數(shù)據(jù)輸入SVM，得到分類(lèi)識(shí)別結(jié)果。
[0071] 本發(fā)明未詳細(xì)說(shuō)明部分都屬于領(lǐng)域技術(shù)人員公知常識(shí)，以上所述僅為本發(fā)明的一 個(gè)具體實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等 同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于遺傳算法的多模態(tài)情感特征融合方法，其特征在于包含W下步驟： (1.1) 建立一個(gè)多模態(tài)情感數(shù)據(jù)庫(kù)，包含L類(lèi)情感的樣本，每類(lèi)情感的樣本數(shù)為η，總樣 本數(shù)為Ν=化； (1.2) 對(duì)于所述數(shù)據(jù)庫(kù)中的每個(gè)樣本，提取Τ種不同模態(tài)的情感特征，其中第t種模態(tài)的 情感特征用dt維特征向量表示，t = l，2, 一,1,則每個(gè)樣本的多模態(tài)情感特征向量維數(shù)為Μ =(di+d2+...+dT); (1.3) 對(duì)于數(shù)據(jù)庫(kù)中的N個(gè)樣本，構(gòu)造一個(gè)N*M大小的多模態(tài)情感特征矩陣A:其中，矩陣元素是屬于第i類(lèi)情感的第j個(gè)樣本特征向量的第k維特征值，i = l， 2，-..，L，j = l，2，...，n，k=l，2，...，M; (1.4) 采用遺傳算法對(duì)多模態(tài)情感特征進(jìn)行F次迭代的特征選擇和融合。2. 根據(jù)權(quán)利要求1所述的一種基于遺傳算法的多模態(tài)情感特征融合方法，其特征在于 所述步驟1.4包含W下子步驟： (2.1) 對(duì)于第k維特征，將屬于第i類(lèi)情感的η個(gè)樣本的特征值進(jìn)行組合，構(gòu)成數(shù)組化義第Ρ類(lèi)情感與第q類(lèi)情感的類(lèi)內(nèi)類(lèi)間距離為Rp,q,k:定義遺傳算法中使用的適應(yīng)度函數(shù)為化：那么Μ維特征的適應(yīng)度函數(shù)值可W分別表示為化，Κ2，···，Κμ; (2.2) 定義多模態(tài)情感特征矩陣A中第S列特征被選擇的概率為：給定一個(gè)[〇，1]區(qū)間的均勻隨機(jī)數(shù)α，若Ps>a，則多模態(tài)情感特征矩陣A中第s列特征被 選擇，否則不被選擇，假定經(jīng)選擇后的多模態(tài)情感特征矩陣B是一個(gè)N*m大小的矩陣，m<M; (2.3) 使用遺傳算法的單點(diǎn)交叉算子對(duì)特征矩陣B進(jìn)行交叉操作，具體內(nèi)容如下： 將矩陣B的奇偶列分離出來(lái)，分別構(gòu)成矩陣Beven和矩陣Bodd，大小分別為N*mi和N*m2，其 中mi是矩陣B偶數(shù)列的列數(shù)，m2是矩陣B奇數(shù)列的列數(shù)，虹和m2的取值為：產(chǎn)生mi個(gè)[0，1]區(qū)間的隨機(jī)數(shù)％|而，…，Xmi，將運(yùn)些隨機(jī)數(shù)依次與事先設(shè)定的交叉率P1 比較，小于P1則返回邏輯值"Γ，否則返回邏輯值"0"，運(yùn)樣就得到了一個(gè)長(zhǎng)度為mi的邏輯向 量，用0二侶，屯成ni)表示；重新產(chǎn)生mi個(gè)[〇，1]區(qū)間的隨機(jī)數(shù)化'扔約^，通過(guò)W下 公式計(jì)算矩陣Beven和矩陣Bodd第r列的交叉點(diǎn)位置Sr(r= 1,2,mi): Sr = ((N-1) *yr*山+N-1) % N+1 上式中，％是取余運(yùn)算，對(duì)向量做取余運(yùn)算是指對(duì)向量的每個(gè)元素均做取余運(yùn)算;依次 將矩陣Beven第r列的第Sr個(gè)元素之后的數(shù)據(jù)與矩陣Bodd第r列的第Sr個(gè)元素之后的數(shù)據(jù)進(jìn)行 互換，得到B/even和B/ Ddd，將矩陣B/ Ddd的每一列依次插入矩陣B/ even的每?jī)闪兄g，即構(gòu)成交 叉后的特征矩陣Η(當(dāng)m為奇數(shù)時(shí)，特征矩陣Η的最后一列與特征矩陣B的最后一列相同），根 據(jù)步驟2.1中的公式計(jì)算交叉后的特征的適應(yīng)度函數(shù)值，m維特征的適應(yīng)度函數(shù)值可W分別 表不為R' 1，R' 2, . . .，R'm; (2.4) 將初始的多模態(tài)情感特征矩陣A和交叉后的特征矩陣Η進(jìn)行重組，具體內(nèi)容如下： 設(shè)定替換率Ρ2,假定用特征矩陣Η中的γ列數(shù)據(jù)替換特征矩陣A中的γ列數(shù)據(jù)，則γ的數(shù) 值為Ρ2與m相乘后再取整，構(gòu)造數(shù)組化=(Ri，化，…，Rm)和化=(R/1，R/ 2，. . .，R\)，將化和化的 元素按照從大到小的順序分別重新排序，排序后的位置信息分別用向量 奪'=如1.,取2,·:.-,機(jī)?)和向量0 =彷1,巧2,..，,巧機(jī))來(lái)表不，即將數(shù)組化中束機(jī)(k二…，城)個(gè) 元素排到第k位，將數(shù)組化中第= 1,2,...，m)個(gè)元素排到第W位，得到排序后的b;將特 征矩陣Η中第新為，…馬列的數(shù)據(jù)依次替換特征矩陣A中第化，恥，…，抑列的數(shù)據(jù)，得到重 組后的特征矩陣，大小為N*M; (2.5) 當(dāng)?shù)螖?shù)達(dá)到事先設(shè)定的F值時(shí)，停止循環(huán)，得到最終的融合特征，否則返回步 驟2.1進(jìn)行下一次的迭代。3.根據(jù)權(quán)利要求1所述的一種基于遺傳算法的多模態(tài)情感特征融合方法，其特征在于 步驟1.2中所述情感特征包括語(yǔ)音特征、表情特征、姿態(tài)特征。
【文檔編號(hào)】G06K9/62GK106096641SQ201610397707
【公開(kāi)日】2016年11月9日
【申請(qǐng)日】2016年6月7日
【發(fā)明人】程曉, 盧官明, 閆靜杰
【申請(qǐng)人】南京郵電大學(xué)