本發(fā)明涉及人工智能，特別是涉及一種教學(xué)事件提取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、一般的，教學(xué)事件通常包括教師的講解、學(xué)生的提問、師生互動(dòng)、學(xué)生的反饋以及課堂討論等，能夠反映出教學(xué)過程中的動(dòng)態(tài)變化。教學(xué)事件提取是指從教育過程中（如課堂教學(xué)和在線學(xué)習(xí)等）獲取和識(shí)別關(guān)鍵教學(xué)活動(dòng)或事件的過程。教學(xué)事件的準(zhǔn)確提取不僅可以幫助教學(xué)質(zhì)量的評(píng)估，還可以為個(gè)性化教學(xué)設(shè)計(jì)提供依據(jù)，是智能教育、教育數(shù)據(jù)分析和學(xué)習(xí)管理系統(tǒng)等領(lǐng)域的重要研究課題。

2、在傳統(tǒng)的教學(xué)研究和實(shí)踐中，教學(xué)事件多依賴于教師和學(xué)生的行為、言語交流以及課堂氛圍的變化。然而，隨著教育信息化的發(fā)展，尤其是在線學(xué)習(xí)平臺(tái)和智能教室的普及，教學(xué)活動(dòng)的復(fù)雜性也在不斷增加，因此，如何有效地從多模態(tài)信息中提取教學(xué)事件，成為研究和應(yīng)用中的一個(gè)重要問題。

3、知識(shí)圖譜是一種通過圖結(jié)構(gòu)表示知識(shí)的技術(shù)，通常由實(shí)體、關(guān)系和屬性組成，能夠?qū)χR(shí)進(jìn)行可視化和結(jié)構(gòu)化存儲(chǔ)。通過構(gòu)建教學(xué)知識(shí)圖譜，能夠?qū)φn堂中涉及的概念、事件以及它們之間的相互作用進(jìn)行系統(tǒng)的表征，從而支持智能推薦、個(gè)性化學(xué)習(xí)路徑規(guī)劃、教學(xué)評(píng)估和反饋等。在教學(xué)事件提取的基礎(chǔ)上，知識(shí)圖譜的構(gòu)建借助自然語言處理、信息抽取和圖數(shù)據(jù)庫(kù)等技術(shù)，提取實(shí)體關(guān)系，形成完整的教學(xué)知識(shí)圖譜。

4、盡管現(xiàn)有的基于知識(shí)圖譜的教學(xué)事件提取已經(jīng)取得了一定進(jìn)展，但仍然面臨一些不足。在知識(shí)圖譜構(gòu)建過程中，現(xiàn)有方法在揭示事件之間的復(fù)雜關(guān)系方面存在較大挑戰(zhàn)。教學(xué)事件之間的關(guān)聯(lián)常常是多維度的和時(shí)序性的，而傳統(tǒng)的圖譜構(gòu)建方法通常無法有效建模這些深層次的關(guān)系，導(dǎo)致對(duì)教學(xué)互動(dòng)的理解缺乏深度。且在構(gòu)建的知識(shí)圖譜缺乏動(dòng)態(tài)更新機(jī)制，無法隨著教學(xué)理論的變化或新的教育研究成果的出現(xiàn)進(jìn)行實(shí)時(shí)更新，使得最終提取的教學(xué)事件的準(zhǔn)確性偏低。

技術(shù)實(shí)現(xiàn)思路

1、基于上述技術(shù)問題，本發(fā)明提供了一種教學(xué)事件提取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，解決了現(xiàn)有的教學(xué)事件提取方法往往無法快速響應(yīng)復(fù)雜的教學(xué)情況，缺乏對(duì)動(dòng)態(tài)教學(xué)情境的適應(yīng)能力以及無法有效建模這些深層次的關(guān)系，導(dǎo)致對(duì)教學(xué)互動(dòng)的理解缺乏深度，使得最終提取的教學(xué)事件的準(zhǔn)確性偏低的問題。

2、本發(fā)明采用以下技術(shù)方案：

3、第一方面，本發(fā)明提供一種教學(xué)事件提取方法，包括以下步驟：

4、實(shí)時(shí)采集在教學(xué)場(chǎng)景中的視頻序列、音頻序列和文本序列；

5、構(gòu)建教學(xué)事件提取模型，所述教學(xué)事件提取模型包括向量編碼器、變分量子神經(jīng)網(wǎng)絡(luò)、多模態(tài)融合層和量子增強(qiáng)多級(jí)注意力編碼器；

6、將視頻序列、音頻序列和文本序列輸入至教學(xué)事件提取模型，通過向量編碼器對(duì)視頻序列、音頻序列和文本序列進(jìn)行向量編碼，得到音頻向量、視頻向量和文本向量；通過變分量子神經(jīng)網(wǎng)絡(luò)對(duì)音頻向量、視頻向量和文本向量進(jìn)行編碼、特征提取以及解碼，得到音頻特征向量、視頻特征向量和文本特征向量；通過多模態(tài)融合層對(duì)音頻特征向量、視頻特征向量和文本特征向量進(jìn)行融合，得到融合向量；通過量子增強(qiáng)多級(jí)注意力編碼器對(duì)融合向量與標(biāo)記教學(xué)事件序列進(jìn)行特征提取與融合，得到多級(jí)教學(xué)事件序列；其中，所述標(biāo)記教學(xué)事件序列為按時(shí)間排序并附加標(biāo)簽的多個(gè)教學(xué)事件；

7、將多級(jí)教學(xué)事件序列中的教學(xué)事件定義為節(jié)點(diǎn)，相鄰兩個(gè)教學(xué)事件的語義關(guān)系定義為邊，構(gòu)建教學(xué)事件知識(shí)圖譜；通過教學(xué)事件知識(shí)圖譜提取教學(xué)事件。

8、優(yōu)選的，所述向量編碼器包括音頻編碼器、視頻編碼器和文本編碼器，通過音頻編碼器、視頻編碼器和文本編碼器對(duì)視頻序列、音頻序列和文本序列進(jìn)行向量編碼，得到音頻向量、視頻向量和文本向量。

9、優(yōu)選的，所述通過變分量子神經(jīng)網(wǎng)絡(luò)對(duì)音頻向量、視頻向量和文本向量進(jìn)行編碼、特征提取以及解碼，得到音頻特征向量、視頻特征向量和文本特征向量，包括以下步驟：

10、所述變分量子神經(jīng)網(wǎng)絡(luò)包括編碼層、提取層和解碼層；

11、通過編碼層對(duì)音頻向量、視頻向量和文本向量進(jìn)行振幅編碼，得到視頻量子態(tài)、音頻量子態(tài)和文本量子態(tài)；

12、通過提取層對(duì)視頻量子態(tài)、音頻量子態(tài)和文本量子態(tài)進(jìn)行特征提取，得到視頻特征、音頻特征和文本特征；

13、通過解碼層對(duì)視頻特征、音頻特征和文本特征進(jìn)行解碼，得到音頻特征向量、視頻特征向量和文本特征向量。

14、優(yōu)選的，所述標(biāo)簽表示教學(xué)事件的類別或特征，具體包括提問、回答和討論。

15、優(yōu)選的，通過時(shí)空關(guān)系結(jié)構(gòu)編碼器獲取多級(jí)教學(xué)事件序列中任意相鄰兩個(gè)事件之間語義關(guān)系。

16、第二方面，本發(fā)明提供一種教學(xué)事件提取裝置，包括：

17、采集模塊，用于實(shí)時(shí)采集在教學(xué)場(chǎng)景中的視頻序列、音頻序列和文本序列；

18、構(gòu)建模塊，用于構(gòu)建教學(xué)事件提取模型，所述教學(xué)事件提取模型包括向量編碼器、變分量子神經(jīng)網(wǎng)絡(luò)、多模態(tài)融合層和量子增強(qiáng)多級(jí)注意力編碼器；

19、輸入模塊，用于將視頻序列、音頻序列和文本序列輸入至教學(xué)事件提取模型，通過向量編碼器對(duì)視頻序列、音頻序列和文本序列進(jìn)行向量編碼，得到音頻向量、視頻向量和文本向量；通過變分量子神經(jīng)網(wǎng)絡(luò)對(duì)音頻向量、視頻向量和文本向量進(jìn)行編碼、特征提取以及解碼，得到音頻特征向量、視頻特征向量和文本特征向量；通過多模態(tài)融合層對(duì)音頻特征向量、視頻特征向量和文本特征向量進(jìn)行融合，得到融合向量；通過量子增強(qiáng)多級(jí)注意力編碼器對(duì)融合向量與標(biāo)記教學(xué)事件序列進(jìn)行特征提取與融合，得到多級(jí)教學(xué)事件序列；其中，所述標(biāo)記教學(xué)事件序列為按時(shí)間排序并附加標(biāo)簽的多個(gè)教學(xué)事件；

20、提取模塊，用于將多級(jí)教學(xué)事件序列中的教學(xué)事件定義為節(jié)點(diǎn)，相鄰兩個(gè)教學(xué)事件的語義關(guān)系定義為邊，構(gòu)建教學(xué)事件知識(shí)圖譜；通過教學(xué)事件知識(shí)圖譜提取教學(xué)事件。

21、第三方面，本發(fā)明提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述的教學(xué)事件提取方法。

22、第四方面，本發(fā)明提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的教學(xué)事件提取方法。

23、與現(xiàn)有技術(shù)相比，本發(fā)明采用的上述至少一個(gè)技術(shù)方案能夠達(dá)到以下有益效果：

24、本發(fā)明考慮到教學(xué)事件之間的關(guān)聯(lián)是具有時(shí)序性特征的，因此首先實(shí)時(shí)采集在教學(xué)場(chǎng)景中的視頻序列、音頻序列和文本序列。然后對(duì)視頻序列、音頻序列和文本序列進(jìn)行處理，對(duì)各模態(tài)信息之間的復(fù)雜關(guān)系進(jìn)行捕獲與融合，得到融合向量。將融合向量與標(biāo)記教學(xué)事件序列進(jìn)行特征提取與融合，得到多級(jí)教學(xué)事件序列。本發(fā)明將實(shí)時(shí)數(shù)據(jù)與不同的教學(xué)事件模板進(jìn)行融合，得到了不僅考慮了事件發(fā)生的時(shí)間順序，還可能包括事件之間的復(fù)雜關(guān)系和上下文的多級(jí)教學(xué)事件序列。因此本發(fā)明可以實(shí)時(shí)的根據(jù)復(fù)雜的教學(xué)情況提取教學(xué)事件，增加對(duì)動(dòng)態(tài)教學(xué)情境的適應(yīng)能力，同時(shí)捕獲的教學(xué)事件包括多維度的和時(shí)序性這些深層次的關(guān)系。

25、最后本發(fā)明將多級(jí)教學(xué)事件序列中的教學(xué)事件定義為節(jié)點(diǎn)，相鄰兩個(gè)教學(xué)事件的語義關(guān)聯(lián)定義為邊，構(gòu)建教學(xué)事件知識(shí)圖譜。本發(fā)明的知識(shí)圖譜考慮到多個(gè)教學(xué)事件的多維度的、時(shí)序性以及各個(gè)教學(xué)事件之間的復(fù)雜關(guān)系，并根據(jù)實(shí)時(shí)的教學(xué)場(chǎng)景信息對(duì)節(jié)點(diǎn)信息進(jìn)行更新，提高了教學(xué)事件提取的準(zhǔn)確性。