本發(fā)明屬于智能教育，涉及一種對(duì)課堂教學(xué)中的多模態(tài)情感融合識(shí)別的方法和系統(tǒng)，尤其涉及一種通過(guò)面部多模態(tài)情感融合進(jìn)行學(xué)生課堂注意力分析的方法和系統(tǒng)。

背景技術(shù)：

1、隨著人工智能、機(jī)器學(xué)習(xí)技術(shù)的快速發(fā)展，具有智能的人機(jī)交互已經(jīng)逐漸走入人們的日常生活，未來(lái)的社會(huì)將會(huì)變得更加高度智能化，智能人機(jī)交互將遍及人類生活的各個(gè)方面。而在智慧教育領(lǐng)域，結(jié)合人工智能的方法和傳統(tǒng)教育結(jié)合，通過(guò)關(guān)注學(xué)生的課堂表現(xiàn)，動(dòng)態(tài)調(diào)整教學(xué)內(nèi)容，從而提升課堂教學(xué)質(zhì)量。

2、智慧教育中的課堂教學(xué)過(guò)程中，目前的課堂管理系統(tǒng)可以通過(guò)學(xué)生的日常行為數(shù)據(jù)，分析學(xué)生對(duì)教學(xué)內(nèi)容的關(guān)注度和感興趣程度，但是學(xué)生在聽(tīng)課過(guò)程中可能通過(guò)微表情來(lái)掩飾自己真實(shí)的情感變化。針對(duì)該問(wèn)題，本發(fā)明將以課堂管理系統(tǒng)獲取的學(xué)生面部圖像數(shù)據(jù)為基礎(chǔ)，針對(duì)學(xué)生學(xué)習(xí)過(guò)程中的面部的多模態(tài)數(shù)據(jù)進(jìn)行深入分析，探討多模態(tài)數(shù)據(jù)的相關(guān)性，從而實(shí)現(xiàn)魯棒情感識(shí)別和注意力分析，為智慧教育中的課堂教學(xué)發(fā)展提供新手段和新途徑。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)目前智慧教育課堂環(huán)境中缺乏有效的微表情識(shí)別方法從而判斷學(xué)生對(duì)授課內(nèi)容的注意力分析，提出一種基于面部多模態(tài)情感融合的學(xué)生課堂注意力分析系統(tǒng)。本發(fā)明主要解決的技術(shù)問(wèn)題在于針對(duì)目前智慧教學(xué)課堂中面部微表情識(shí)別分析的缺失，提出一種基于多模態(tài)融合的面部微表情識(shí)別方法，利用面部動(dòng)作單元編碼特征對(duì)面部圖像局部細(xì)節(jié)特征進(jìn)行動(dòng)態(tài)增強(qiáng)，減少微表情運(yùn)動(dòng)低強(qiáng)度帶來(lái)的圖像差異細(xì)微影響，分析學(xué)生是否會(huì)用微表情來(lái)隱藏自己的真實(shí)情感狀態(tài)的，依據(jù)微表情的識(shí)別情況和學(xué)生的平時(shí)表現(xiàn)、師生交流頻率等信息分析學(xué)生聽(tīng)課的注意力情況，進(jìn)而提升動(dòng)態(tài)調(diào)整教師的授課內(nèi)容。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明的實(shí)施采用以下技術(shù)方法。

3、一種基于面部多模態(tài)情感融合的學(xué)生課堂注意力分析系統(tǒng)，其特征在于，包括智慧課堂管理系統(tǒng)模塊、學(xué)生課堂注意力分析模塊、教學(xué)內(nèi)容調(diào)整模塊；

4、所述智慧課堂管理系統(tǒng)模塊為教師使用，可通過(guò)該模塊獲取學(xué)生的各項(xiàng)信息：

5、所述學(xué)生課堂注意力分析模塊通過(guò)分析學(xué)生的微表情以及和老師交流頻率，可以判斷出學(xué)生的學(xué)習(xí)狀態(tài)；

6、所述教學(xué)內(nèi)容調(diào)整模塊，通過(guò)課堂中學(xué)生的學(xué)習(xí)狀態(tài)、師生交流頻率、平時(shí)表現(xiàn)和前期成績(jī)進(jìn)行相應(yīng)的教學(xué)內(nèi)容調(diào)整。

7、另一方面本發(fā)明提供一種基于面部多模態(tài)情感融合的學(xué)生課堂注意力分析方法，包括以下步驟：

8、s1：面部圖像數(shù)據(jù)采集：獲取學(xué)生在智慧課堂中學(xué)習(xí)的面部圖像序列數(shù)據(jù)；

9、s2：面部情感特征提?。簩⒃诓襟Es1采集到的面部圖像序列數(shù)據(jù)進(jìn)行預(yù)處理后的數(shù)據(jù)輸入到圖像編碼模型，提取用戶的面部情感變化特征，所述預(yù)處理包括降噪、分割、歸一化；

10、s3：面部動(dòng)作單元識(shí)別：通過(guò)在步驟s2得到的面部情感變化特征中準(zhǔn)確定位微表情發(fā)生時(shí)面部動(dòng)作單元的感興趣區(qū)域來(lái)促進(jìn)學(xué)習(xí)判別性的局部特征，得到微表情識(shí)別序列；

11、s4：可學(xué)習(xí)掩碼自編碼模型處理：將所述微表情識(shí)別序列中的峰值幀和周圍圖像輸入到可學(xué)習(xí)掩碼自編碼器模型并進(jìn)行處理，得到動(dòng)作單元編碼特征；

12、s5：動(dòng)態(tài)注意力融合模型處理：將多頭自注意力模型提取的特征與動(dòng)作單元編碼特征通過(guò)動(dòng)態(tài)注意力融合模型與高注意力權(quán)重的局部微表情圖像特征進(jìn)行融合，提升面部情緒特征的區(qū)分性。

13、上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，并可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，以下以本發(fā)明的較佳實(shí)施例并配合附圖詳細(xì)說(shuō)明如后。

技術(shù)特征：

1.一種基于面部多模態(tài)情感融合的學(xué)生課堂注意力分析系統(tǒng)，其特征在于，包括智慧課堂管理系統(tǒng)模塊、學(xué)生課堂注意力分析模塊、教學(xué)內(nèi)容調(diào)整模塊；

2.一種基于面部多模態(tài)情感融合的學(xué)生課堂注意力分析方法，其特征在于，包括以下步驟：

技術(shù)總結(jié)
本發(fā)明針對(duì)目前智慧教育課堂環(huán)境中缺乏有效的微表情識(shí)別方法從而判斷學(xué)生對(duì)授課內(nèi)容的注意力分析，提出一種基于面部多模態(tài)情感融合的學(xué)生課堂注意力分析系統(tǒng)。本發(fā)明主要解決的技術(shù)問(wèn)題在于針對(duì)目前智慧教學(xué)課堂中面部微表情識(shí)別分析的缺失，提出一種基于多模態(tài)融合的面部微表情識(shí)別方法，利用面部動(dòng)作單元編碼特征對(duì)面部圖像局部細(xì)節(jié)特征進(jìn)行動(dòng)態(tài)增強(qiáng)，減少微表情運(yùn)動(dòng)低強(qiáng)度帶來(lái)的圖像差異細(xì)微影響，分析學(xué)生是否會(huì)用微表情來(lái)隱藏自己的真實(shí)情感狀態(tài)的，依據(jù)微表情的識(shí)別情況和學(xué)生的平時(shí)表現(xiàn)、師生交流頻率等信息分析學(xué)生聽(tīng)課的注意力情況，進(jìn)而提升動(dòng)態(tài)調(diào)整教師的授課內(nèi)容。

技術(shù)研發(fā)人員：潘航
受保護(hù)的技術(shù)使用者：長(zhǎng)治學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6