本發(fā)明涉及情緒調(diào)控，特別是一種基于多模式電磁和超聲刺激的綜合調(diào)控方法及系統(tǒng)。

背景技術(shù)：

1、近年來，情緒狀態(tài)監(jiān)測與調(diào)控技術(shù)在腦機接口、神經(jīng)調(diào)控和心理治療等領(lǐng)域得到了廣泛關(guān)注和快速發(fā)展。傳統(tǒng)的情緒調(diào)控方法主要依賴單一的信號源進行情緒狀態(tài)的監(jiān)測和識別。這些方法雖然在某種程度上能夠反映個體的情緒變化，但由于單一信號源難以全面反映情緒波動的復(fù)雜性和多維度特征，導(dǎo)致情緒識別的精確度和可靠性存在顯著局限?，F(xiàn)有的情緒調(diào)控方法大多基于簡單的神經(jīng)刺激策略，并沒有充分考慮大腦功能網(wǎng)絡(luò)在不同情緒狀態(tài)下的動態(tài)變化特征。這種基于固定刺激策略的調(diào)控方法在實際應(yīng)用中效果較為局限，尤其是在復(fù)雜情緒狀態(tài)（如焦慮、壓力、抑郁等）下，單一刺激往往無法達到預(yù)期的情緒調(diào)控效果。因此，現(xiàn)有方法無法根據(jù)情緒狀態(tài)的實時變化對神經(jīng)刺激策略進行動態(tài)調(diào)整，容易導(dǎo)致情緒調(diào)控策略的泛化能力不足，難以實現(xiàn)對個體情緒狀態(tài)的精準(zhǔn)、個性化調(diào)控，容易導(dǎo)致個體的認知模糊進而對個體的運動協(xié)調(diào)能力和語言表達能力造成影響。

技術(shù)實現(xiàn)思路

1、鑒于上述現(xiàn)有的基于多模式電磁和超聲刺激的綜合調(diào)控方法中存在的問題，提出了本發(fā)明。

2、因此，本發(fā)明所要解決的問題在于現(xiàn)有方法無法根據(jù)情緒狀態(tài)的實時變化對神經(jīng)刺激策略進行動態(tài)調(diào)整，容易導(dǎo)致情緒調(diào)控策略的泛化能力不足，難以實現(xiàn)對個體情緒狀態(tài)的精準(zhǔn)、個性化調(diào)控，容易導(dǎo)致個體的認知模糊進而對個體的運動協(xié)調(diào)能力和語言表達能力造成影響。

3、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種基于多模式電磁和超聲刺激的綜合調(diào)控方法，其包括，通過多電極eeg系統(tǒng)實時采集腦電波信號并同步采集皮膚電反應(yīng)和心率變異性信號，預(yù)處理采集的信號后進行特征提??；

4、通過cnn將提取的信號特征進行多模態(tài)特征融合，通過長短期記憶網(wǎng)絡(luò)對多模態(tài)特征進行時序依賴性分析生成實時情緒狀態(tài)量化向量并識別當(dāng)前情緒狀態(tài)類別；根據(jù)情緒狀態(tài)識別的結(jié)果提取eeg信號中不同情緒狀態(tài)下各腦區(qū)之間的相位耦合特征和振蕩同步特征，構(gòu)建實時的大腦功能連接網(wǎng)絡(luò)，通過圖論分析技術(shù)識別功能網(wǎng)絡(luò)中活躍的情緒調(diào)控節(jié)點，將情緒調(diào)控節(jié)點分為表層靶點和深層靶點并量化各節(jié)點的情緒活躍度，根據(jù)情緒活躍度制定刺激策略；記錄每次情緒調(diào)控數(shù)據(jù)并為每個被測者生成個性化情緒檔案。

5、作為本發(fā)明所述基于多模式電磁和超聲刺激的綜合調(diào)控方法的一種優(yōu)選方案，其中：所述通過多電極eeg系統(tǒng)實時采集腦電波信號并同步采集皮膚電反應(yīng)和心率變異性信號，預(yù)處理采集的信號后進行特征提取指使用多電極eeg系統(tǒng)，按照10-20電極系統(tǒng)標(biāo)準(zhǔn)將電極布置在被測者前額葉皮層、頂葉和海馬體區(qū)域，記錄每個電極的eeg信號，在被測者的指尖和掌心放置eda傳感器收集eda信號，在胸部和手腕處放置hrv傳感器收集hrv信號，設(shè)定eeg系統(tǒng)、eda和hrv傳感器的采樣頻率為250hz，同步記錄收集數(shù)據(jù)；

6、通過ica算法對eeg信號進行偽影去除，使用帶通濾波器對去偽影后的eeg信號進行頻域濾波，通過welch方法提取eeg信號的功率譜密度并通過小波變換進行時頻分析，計算樣本熵度量eeg信號復(fù)雜度；

7、使用3秒窗口對eda信號和hrv信號進行滑動窗口均值濾波，去除瞬時尖峰信號，提取eda信號的皮膚電反應(yīng)特征和通過快速傅里葉變換對hrv信號進行頻域分析提取低頻功率、高頻功率以及l(fā)f/hf比值。

8、作為本發(fā)明所述基于多模式電磁和超聲刺激的綜合調(diào)控方法的一種優(yōu)選方案，其中：所述通過cnn將提取的信號特征進行多模態(tài)特征融合指對eeg、eda和hrv信號的特征數(shù)據(jù)進行規(guī)范化處理，將規(guī)范化后的各模態(tài)特征按時間軸對齊并進行拼接生成拼接矩陣x；

9、將拼接后的多模態(tài)特征矩陣擴展為cnn的三維輸入張量，構(gòu)建多模態(tài)特征融合的輸入數(shù)據(jù)格式；

10、構(gòu)建cnn模型包括輸入層、卷積層、池化層、全連接層以及輸出層；

11、將三維張量與卷積核進行卷積計算得到多模態(tài)特征映射張量[jtk]，其中k為卷積核數(shù)量，t是時間步長，j是多模態(tài)特征的種類數(shù)量；

12、對卷積后的特征映射進行非線性激活操作，使用relu激活函數(shù)將特征值中的負數(shù)歸零；

13、使用22最大池化操作對激活后的特征映射進行降維，得到池化后的特征映射張量，將池化后的特征映射展平為一維向量f，輸入到全連接層中，通過線性變化生成多模態(tài)情緒特征向量。

14、作為本發(fā)明所述基于多模式電磁和超聲刺激的綜合調(diào)控方法的一種優(yōu)選方案，其中：所述通過長短期記憶網(wǎng)絡(luò)對多模態(tài)特征進行時序依賴性分析生成實時情緒狀態(tài)量化向量并識別當(dāng)前情緒狀態(tài)類別指將經(jīng)過cnn模型融合后的多模態(tài)情緒特征向量按照時間序列進行組織，形成輸入到lstm模型的時序化特征矩陣，將時序化特征矩陣重新格式化三維輸入格式，形成輸入到lstm模型的三維張量；

15、初始化lstm單元并設(shè)定網(wǎng)絡(luò)層數(shù)和參數(shù)，將三維輸入張量逐時間步輸入到lstm模型中進行隱狀態(tài)的時序更新生成lstm在每個時間步長下的隱狀態(tài)序列；

16、將lstm網(wǎng)絡(luò)的最終隱狀態(tài)作為輸入，通過全連接層將隱狀態(tài)映射為情緒狀態(tài)量化向量；

17、設(shè)定情緒狀態(tài)類別包括焦慮、愉悅、平靜、壓力和放松；

18、將情緒狀態(tài)量化向量輸入到softmax分類器中，計算各個情緒狀態(tài)類別的概率分布，從softmax分類器的概率分布中選擇最大概率對應(yīng)的情緒狀態(tài)類別作為當(dāng)前時刻的情緒識別結(jié)果。

19、作為本發(fā)明所述基于多模式電磁和超聲刺激的綜合調(diào)控方法的一種優(yōu)選方案，其中：所述根據(jù)情緒狀態(tài)識別的結(jié)果提取eeg信號中不同情緒狀態(tài)下各腦區(qū)之間的相位耦合特征和振蕩同步特征，構(gòu)建實時的大腦功能連接網(wǎng)絡(luò)指提取當(dāng)前情緒狀態(tài)類別并記錄對應(yīng)的情緒指數(shù)，使用標(biāo)簽標(biāo)識每個時刻的情緒狀態(tài)，識別出當(dāng)前情緒狀態(tài)持續(xù)穩(wěn)定的時間段并標(biāo)記為目標(biāo)情緒狀態(tài)時間窗口，從目標(biāo)情緒狀態(tài)時間窗口中提取情緒狀態(tài)穩(wěn)定期內(nèi)的eeg信號片段并同步提取時段內(nèi)的eda信號和hrv信號片段；

20、根據(jù)情緒狀態(tài)識別結(jié)果選擇與當(dāng)前情緒狀態(tài)相關(guān)的n個關(guān)鍵腦區(qū)對并標(biāo)記為目標(biāo)腦區(qū)對；

21、使用短時傅里葉變換對每個時間窗口進行時頻分解，針對每個目標(biāo)腦區(qū)對提取在不同頻率帶下的相位值序列并根據(jù)提取的目標(biāo)腦區(qū)對的相位序列計算在各頻率帶下的plv值；

22、針對目標(biāo)eeg信號片段內(nèi)的每個時域窗口計算目標(biāo)腦區(qū)對的plv值，形成隨時間變化的plv值序列；

23、使用hilbert變換對目標(biāo)eeg信號進行時域和頻域的分析，得到各目標(biāo)腦區(qū)在目標(biāo)頻段的瞬時振幅和相位序列，計算振蕩同步值；

24、將所有腦區(qū)的相位耦合值和振蕩同步值進行矩陣化表示生成腦區(qū)間的功能連接矩陣，使用功能連接矩陣中的元素關(guān)系構(gòu)建情緒狀態(tài)下的大腦功能連接網(wǎng)絡(luò)，網(wǎng)絡(luò)的節(jié)點表示不同的腦區(qū)，邊表示節(jié)點間的神經(jīng)交互強度。

25、作為本發(fā)明所述基于多模式電磁和超聲刺激的綜合調(diào)控方法的一種優(yōu)選方案，其中：所述通過圖論分析技術(shù)識別功能網(wǎng)絡(luò)中活躍的情緒調(diào)控節(jié)點，將情緒調(diào)控節(jié)點分為表層靶點和深層靶點并量化各節(jié)點的情緒活躍度，根據(jù)情緒活躍度制定刺激策略指將構(gòu)建的大腦功能連接網(wǎng)絡(luò)映射為有向加權(quán)圖，其中節(jié)點代表情緒相關(guān)的腦區(qū)，邊代表不同腦區(qū)之間的功能連接強度，邊的權(quán)重值由每兩個節(jié)點之間的相位耦合特征和振蕩同步特征進行設(shè)定；

26、計算每個節(jié)點的度中心性和介數(shù)中心性并將度中心性和介數(shù)中心性結(jié)合綜合得出每個節(jié)點的活躍度評分；

27、設(shè)置活躍度閾值q，若節(jié)點活躍度超過閾值q，則該節(jié)點的活躍度異常；

28、根據(jù)eeg信號中各腦區(qū)異?；钴S節(jié)點的空間位置和深度將異?；钴S節(jié)點劃分為表層靶點和深層靶點；

29、將異?；钴S度的節(jié)點作為活躍情緒調(diào)控節(jié)點進行量化并根據(jù)得分對節(jié)點進行遞減排序，并將得分最高的節(jié)點優(yōu)先作為刺激靶向；

30、若異常活躍節(jié)點為表層靶點，則制定初始的經(jīng)顱磁刺激策略，對于γ波異常活躍的區(qū)域，設(shè)置經(jīng)顱磁刺激的初始頻率為30—50hz，降低局部神經(jīng)元的興奮性，根據(jù)節(jié)點活躍值調(diào)節(jié)經(jīng)顱磁刺激的脈沖強度，若γ波功率在500ms內(nèi)未恢復(fù)至正常范圍，則自動延長刺激時間，在表層靶點情緒狀態(tài)恢復(fù)后進一步分析深層腦區(qū)的egg特征；

31、若異?；钴S節(jié)點為深層靶點，則制定初始的經(jīng)顱聚焦超聲策略，對于深層θ波異常活躍的區(qū)域，設(shè)置經(jīng)顱聚焦超聲的頻率為0.5-1.5?mhz，設(shè)置初始聲壓強度和焦點半徑，實時監(jiān)測深層腦區(qū)eeg信號的θ波恢復(fù)情況，若杏仁核-海馬體連接增強，則將杏仁核作為深層主要靶點，通過mri引導(dǎo)定位杏仁核的空間位置，并通過eeg信號確定目標(biāo)區(qū)域的活躍度，若θ波功率譜密度逐漸恢復(fù)至正常水平，表示情緒狀態(tài)趨于平衡，逐漸降低經(jīng)顱聚焦超聲的強度與持續(xù)時間；

32、若在調(diào)控后出現(xiàn)表層γ波恢復(fù)而深層θ波仍然異常，則根據(jù)eeg信號的實時反饋調(diào)整電磁和超聲波的強度和頻率，對恢復(fù)緩慢的腦區(qū)進行主要干預(yù)，再逐步調(diào)整表層靶點的刺激強度，在每次調(diào)控中動態(tài)評估整體情緒狀態(tài)并自適應(yīng)調(diào)整刺激策略，出現(xiàn)深層θ波恢復(fù)而表層γ波仍然異常也進行同樣操作。

33、作為本發(fā)明所述基于多模式電磁和超聲刺激的綜合調(diào)控方法的一種優(yōu)選方案，其中：所述記錄每次情緒調(diào)控數(shù)據(jù)并為每個被測者生成個性化情緒檔案指實時記錄每次情緒調(diào)控的過程中的eeg信號、多模態(tài)生理特征和刺激參數(shù)，識別每個被測者的個性化情緒特征模式生成個性化情緒檔案。

34、本發(fā)明的另外一個目的是提供一種基于多模式電磁和超聲刺激的綜合調(diào)控系統(tǒng)，其包括，

35、數(shù)據(jù)采集模塊，用于實時收集被測者腦電波數(shù)據(jù)和多模態(tài)生理數(shù)據(jù)并對收集的數(shù)據(jù)進行預(yù)處理和特征提取；

36、時序分析模塊，用于對提取的信號特征進行多模態(tài)特征融合，通過cnn和lstm模型進行情緒狀態(tài)的時序依賴性分析生成情緒狀態(tài)量化向量；

37、網(wǎng)絡(luò)構(gòu)建模塊，用于基于情緒狀態(tài)識別結(jié)果提取不同情緒狀態(tài)下的eeg信號特征構(gòu)建實時的大腦功能連接網(wǎng)絡(luò)，并識別活躍的情緒調(diào)控節(jié)點；

38、刺激策略模塊，用于根據(jù)情緒調(diào)控節(jié)點的活躍度和位置制定個性化的電磁和超聲刺激策略，并實時記錄每次調(diào)控過程中的數(shù)據(jù)生成個性化情緒檔案。

39、一種計算機設(shè)備，包括：存儲器和處理器；所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)基于多模式電磁和超聲刺激的綜合調(diào)控方法的步驟。

40、一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)基于多模式電磁和超聲刺激的綜合調(diào)控方法的步驟。

41、本發(fā)明有益效果為：本發(fā)明通過多電極eeg、eda和hrv信號的同步采集與特征融合，構(gòu)建實時的大腦功能連接網(wǎng)絡(luò)，并基于圖論分析對情緒調(diào)控節(jié)點進行精確識別與刺激策略制定，提高了情緒識別的精確度和可靠性，實現(xiàn)了對個體情緒狀態(tài)的個性化調(diào)控，可以提高個體的認知功能和語言表達能力，減少了因情緒波動引發(fā)的運動協(xié)調(diào)障礙。