本發(fā)明涉及人工智能領(lǐng)域，具體涉及一種基于智能體的教學(xué)視頻重構(gòu)方法及系統(tǒng)，屬于智能教學(xué)系統(tǒng)應(yīng)用領(lǐng)域。

背景技術(shù)：

1、隨著人工智能和大數(shù)據(jù)技術(shù)的快速發(fā)展，教育領(lǐng)域正在經(jīng)歷一場(chǎng)數(shù)字化、智能化轉(zhuǎn)型。其中，智能教學(xué)系統(tǒng)的應(yīng)用日益廣泛，特別是在個(gè)性化學(xué)習(xí)和精準(zhǔn)教學(xué)方面展現(xiàn)出巨大潛力。然而，現(xiàn)有的智能教學(xué)系統(tǒng)在處理和利用教學(xué)視頻資源方面仍面臨諸多挑戰(zhàn)。

2、傳統(tǒng)的教學(xué)視頻資源管理和視頻檢索方法主要依賴于標(biāo)關(guān)鍵詞匹配和元數(shù)據(jù)標(biāo)注，難以準(zhǔn)確捕捉視頻內(nèi)容的語義信息，導(dǎo)致檢索結(jié)果不夠精確，無法滿足用戶提出的關(guān)于學(xué)習(xí)目標(biāo)或者能力培養(yǎng)方面的查詢需求；現(xiàn)有方法在檢索和為用戶提供視頻時(shí)，難以準(zhǔn)確定位用戶關(guān)注的教學(xué)知識(shí)點(diǎn)、學(xué)習(xí)目標(biāo)及學(xué)習(xí)能力相關(guān)的特定視頻片段，導(dǎo)致學(xué)習(xí)效率不高。如何有效地將大語言模型與教學(xué)視頻資源結(jié)合，為學(xué)習(xí)者提供針對(duì)知識(shí)點(diǎn)、學(xué)習(xí)目標(biāo)、能力培養(yǎng)等多維度個(gè)性化的視頻內(nèi)容，仍然是一個(gè)亟待解決的問題。

3、專利cn202410135130.x針對(duì)利用文檔和輸入的文本自動(dòng)生成視頻的問題，利用大語言模型對(duì)文檔提取文本、表格和圖片，產(chǎn)生結(jié)構(gòu)化文本、可視化內(nèi)容和圖片拼接成視頻輸出；專利cn202410405951.0針對(duì)視頻的自動(dòng)分段剪輯問題，利用視頻生成視頻內(nèi)容表示，組合劇情描述文本，借助大模型得到視頻分段信息，根據(jù)分段信息將視頻分割為多個(gè)片段；專利cn202410421351.3針對(duì)課堂音視頻的知識(shí)點(diǎn)的標(biāo)記問題，利用大模型對(duì)課堂直播音視頻進(jìn)行文本轉(zhuǎn)寫和語義分析，自動(dòng)提取章節(jié)和知識(shí)點(diǎn)并進(jìn)行時(shí)間標(biāo)記，未涉及學(xué)習(xí)目標(biāo)和學(xué)習(xí)能力的提取分析與信息表達(dá)，未涉及教學(xué)視頻內(nèi)容的重構(gòu)；專利cn202410893508.2針對(duì)視頻檢索模型訓(xùn)練問題，提出一種利用多模態(tài)大模型進(jìn)行視頻幀采樣和文本標(biāo)注的方法，提高跨模態(tài)視頻檢索模型的訓(xùn)練效率。這些方法沒有針對(duì)融合教學(xué)視頻的知識(shí)點(diǎn)、學(xué)習(xí)目標(biāo)和學(xué)習(xí)能力等抽象多維信息的處理，也沒有解決教學(xué)視頻按需進(jìn)行重構(gòu)的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明公開了一種基于智能體的教學(xué)視頻重構(gòu)方法及系統(tǒng)，通過從教學(xué)視頻中提取知識(shí)點(diǎn)以及相關(guān)的學(xué)習(xí)目標(biāo)、學(xué)習(xí)能力、視頻幀、時(shí)間點(diǎn)等信息構(gòu)建向量數(shù)據(jù)庫和多維空間知識(shí)圖譜，并利用這些信息借助大模型提升對(duì)用戶問題的語義理解和信息檢索的精準(zhǔn)度，從而實(shí)現(xiàn)對(duì)教學(xué)視頻的按需重構(gòu)，該方法包括：1）從教學(xué)視頻中提取知識(shí)內(nèi)容文本、視頻幀id及時(shí)間信息，生成對(duì)應(yīng)關(guān)系表；2）利用知識(shí)內(nèi)容文本構(gòu)建語義向量庫和圖數(shù)據(jù)庫；3）根據(jù)知識(shí)圖譜的模式層構(gòu)建提示詞模版；4）定義智能體系統(tǒng)的核心功能模塊；5）核心調(diào)度器接收用戶問題，調(diào)用知識(shí)庫檢索器生成問題相關(guān)的知識(shí)內(nèi)容文本r1；6）知識(shí)庫檢索器以用戶問題和r1查詢圖數(shù)據(jù)庫，得到問題對(duì)應(yīng)的知識(shí)點(diǎn)、學(xué)習(xí)內(nèi)容、學(xué)習(xí)目標(biāo)和學(xué)習(xí)能力相關(guān)的視頻幀時(shí)間；7）視頻重構(gòu)器利用視頻幀時(shí)間、原始視頻中的視頻幀及語音片段，重構(gòu)生成用戶需要的教學(xué)視頻；具體來說，本發(fā)明的方法包括下列步驟：

2、a.?從教學(xué)視頻中提取知識(shí)內(nèi)容文本、視頻幀id及時(shí)間信息，并生成對(duì)應(yīng)關(guān)系表e，具體步驟如下：

3、a1.?利用ocr工具抽取教學(xué)視頻幀圖像中的知識(shí)內(nèi)容文本；

4、a2.?利用語音識(shí)別工具抽取教學(xué)視頻語音中的知識(shí)內(nèi)容文本；

5、a3.?將a1和a2抽取出的知識(shí)內(nèi)容文本，去重并合并成按時(shí)間對(duì)齊的知識(shí)內(nèi)容文本集合t；

6、a4.?構(gòu)造文本時(shí)間對(duì)應(yīng)關(guān)系表e={qti}，i∈(1,n)；qti=(ti,si,ei,vfsi,vfei)；qti表示第i個(gè)文本時(shí)間五元組；n表示t中的知識(shí)內(nèi)容文本條數(shù)，ti表示第i條知識(shí)內(nèi)容文本，si和ei表示ti對(duì)應(yīng)的視頻和音頻的起始時(shí)間點(diǎn)和結(jié)束時(shí)間點(diǎn)，vfsi和vfei表示ti對(duì)應(yīng)的起始視頻幀id和結(jié)束視頻幀id；

7、b.?利用知識(shí)內(nèi)容文本構(gòu)建語義向量庫和圖數(shù)據(jù)庫，具體操作如下：

8、b1.?利用知識(shí)內(nèi)容文本構(gòu)建語義向量庫，具體操作如下：

9、b1.1?利用embedding模型將每一條ti(i∈(1,n))知識(shí)內(nèi)容文本轉(zhuǎn)換成語義向量；

10、b1.2?將語義向量存儲(chǔ)至向量數(shù)據(jù)庫中，構(gòu)建向量數(shù)據(jù)庫索引；

11、b2.?利用e中的知識(shí)內(nèi)容文本、視頻幀id及時(shí)間信息構(gòu)建知識(shí)圖譜并存儲(chǔ)在圖數(shù)據(jù)庫中，具體步驟如下：

12、b2.1?定義知識(shí)圖譜模式層，具體步驟如下：

13、b2.1.1?定義實(shí)體類別集合c={知識(shí)點(diǎn)，學(xué)習(xí)內(nèi)容，學(xué)習(xí)目標(biāo)，學(xué)習(xí)能力}；

14、b2.1.2?定義關(guān)系類別集合r，r中包含知識(shí)點(diǎn)間的關(guān)系、知識(shí)點(diǎn)與學(xué)習(xí)內(nèi)容間的關(guān)系、知識(shí)點(diǎn)與學(xué)習(xí)能力的關(guān)系和學(xué)習(xí)內(nèi)容與學(xué)習(xí)目標(biāo)的關(guān)系；

15、b2.2?根據(jù)知識(shí)圖譜模式層，利用對(duì)應(yīng)關(guān)系表e中的知識(shí)內(nèi)容文本、視頻幀id及時(shí)間信息構(gòu)建知識(shí)圖譜數(shù)據(jù)層；

16、b2.3?將構(gòu)建好的知識(shí)圖譜存儲(chǔ)到圖數(shù)據(jù)庫中；

17、c.?根據(jù)知識(shí)圖譜的模式層構(gòu)建提示詞模板集，具體步驟如下：

18、c1.?構(gòu)建讓大模型生成與用戶問題相關(guān)的同類問題的提示詞模板，記為p1，具體步驟如下：

19、c1.1?描述知識(shí)圖譜模式層，包括實(shí)體類別和關(guān)系類別；

20、c1.2?定義用戶問題變量${question}，question的值是用戶問題；

21、c1.3?定義變量${m}，m的值描述要生成的同類問題的數(shù)量；

22、c2.?構(gòu)建讓大模型生成圖查詢語句的少樣本思維鏈提示詞模板，記為p2，具體步驟如下：

23、c2.1?描述知識(shí)圖譜模式層，包括實(shí)體類別和關(guān)系類別；

24、c2.2?定義用戶問題變量${question}；

25、c2.3?定義用戶問題相關(guān)的知識(shí)內(nèi)容文本變量${r1}；

26、c2.4?定義生成圖數(shù)據(jù)庫查詢語句的思維鏈變量為${cot}；

27、c2.5?定義生成圖數(shù)據(jù)庫查詢語句的少樣本變量為${exp}；

28、d.?定義智能體系統(tǒng)的核心功能模塊，具體步驟如下：

29、d1.?定義核心調(diào)度器，實(shí)現(xiàn)智能體核心流程，調(diào)用各個(gè)功能模塊，傳遞參數(shù)和數(shù)據(jù)，確保各模塊協(xié)同工作；

30、d2.?定義知識(shí)庫檢索器，根據(jù)輸入的用戶問題，檢索語義向量庫和圖數(shù)據(jù)庫，獲得與問題相近的知識(shí)點(diǎn)文本、學(xué)習(xí)目標(biāo)、學(xué)習(xí)能力相關(guān)的視頻幀時(shí)間；

31、d3.?定義視頻重構(gòu)器，根據(jù)視頻幀時(shí)間，重構(gòu)生成用戶需要的教學(xué)視頻；

32、d4.?定義外部函數(shù)及工具列表，具體步驟如下：

33、d4.1?定義執(zhí)行圖數(shù)據(jù)庫查詢的函數(shù)f1，具體步驟如下：

34、d4.1.1?定義函數(shù)參數(shù)，接收?qǐng)D數(shù)據(jù)庫查詢語句作為輸入；

35、d4.1.2?設(shè)置與圖數(shù)據(jù)庫的連接參數(shù)；

36、d4.1.2?執(zhí)行圖數(shù)據(jù)庫查詢語句并返回與用戶問題相關(guān)的知識(shí)點(diǎn)、學(xué)習(xí)內(nèi)容、學(xué)習(xí)目標(biāo)和學(xué)習(xí)能力的視頻幀時(shí)間；

37、d4.2?定義抽取教學(xué)視頻片段函數(shù)f2，具體步驟如下：

38、d4.2.1?定義函數(shù)參數(shù)，接收視頻幀時(shí)間作為輸入；

39、d4.2.2?利用ffmpeg工具提取指定視頻幀時(shí)間段的視頻和音頻片段；

40、d4.2.3?實(shí)現(xiàn)多個(gè)視頻和音頻片段的提取和合并；

41、d4.2.4?返回提取合并后的視頻段；

42、d4.3?定義工具列表，具體步驟如下：

43、d4.3.1?創(chuàng)建工具列表；

44、d4.3.2?為f1和f2添加工具定義，包括函數(shù)名、描述和參數(shù)結(jié)構(gòu)等；

45、e.?核心調(diào)度器接收用戶問題，調(diào)用知識(shí)庫檢索器生成問題相關(guān)的知識(shí)內(nèi)容文本r1，具體步驟如下：

46、e1.?核心調(diào)度器利用用戶問題生成提示詞p1，具體步驟如下:

47、e1.1?將用戶問題代入p1中的用戶問題變量${question}；

48、e1.2?將生成與用戶問題相關(guān)的同類問題的數(shù)量代入變量${m}；

49、e2.?知識(shí)庫檢索器將提示詞p1提交給大模型，生成與用戶問題相關(guān)的包含m個(gè)同類問題的集合qs；

50、e3.?知識(shí)庫檢索器利用步驟b1中的embedding模型將用戶問題和問題集合qs中的m個(gè)問題轉(zhuǎn)換成m+1個(gè)查詢向量q0,?q1,…,?qm；

51、e4.?知識(shí)庫檢索器對(duì)每個(gè)查詢向量q0,?q1,…,?qm，在向量數(shù)據(jù)庫中進(jìn)行相似度搜索，得到最相似的top-k個(gè)知識(shí)內(nèi)容文本；

52、e5.?知識(shí)庫檢索器合并步驟e4中的所有知識(shí)內(nèi)容文本，去除重復(fù)項(xiàng)，得到候選知識(shí)內(nèi)容文本集合c；

53、e6.?知識(shí)庫檢索器使用排序模型對(duì)候選知識(shí)內(nèi)容文本集合c排序，得到對(duì)應(yīng)問題的知識(shí)點(diǎn)文本集合r1，具體步驟如下：

54、e6.1?計(jì)算每個(gè)候選知識(shí)內(nèi)容文本與原始問題的相關(guān)性得分；

55、e6.2?根據(jù)相關(guān)性得分對(duì)候選知識(shí)內(nèi)容文本進(jìn)行降序排序；

56、e6.3?選取排序后的前n個(gè)知識(shí)內(nèi)容文本作為最終的檢索結(jié)果r1；

57、f.?知識(shí)庫檢索器以用戶問題和r1查詢圖數(shù)據(jù)庫，得到問題對(duì)應(yīng)的知識(shí)點(diǎn)、學(xué)習(xí)內(nèi)容、學(xué)習(xí)目標(biāo)和學(xué)習(xí)能力相關(guān)的視頻幀時(shí)間，具體步驟如下：

58、f1.?知識(shí)庫檢索器將提示模板p2中的模板變量，替換為對(duì)應(yīng)的變量值，得到讓大模型生成圖數(shù)據(jù)庫查詢語句的提示詞p2，具體步驟如下:

59、f1.1?將用戶問題代入p2中的用戶問題變量${question}；

60、f1.2?將用戶問題相關(guān)的知識(shí)內(nèi)容文本代入變量${r1}；

61、f1.3?將生成圖數(shù)據(jù)庫查詢語句的思維鏈描述代入變量${cot}；

62、f1.4?將生成圖數(shù)據(jù)庫查詢語句的少樣本代入變量${exp}；

63、f2.?知識(shí)庫檢索器根據(jù)提示詞p2，調(diào)用大模型生成圖查詢語句qu；

64、f3.?知識(shí)庫檢索器以步驟f2生成的查詢語句qu作為輸入?yún)?shù)，調(diào)用工具列表中的f1函數(shù)，在圖數(shù)據(jù)庫中執(zhí)行查詢語句，得到問題對(duì)應(yīng)的知識(shí)點(diǎn)、學(xué)習(xí)內(nèi)容、學(xué)習(xí)目標(biāo)和學(xué)習(xí)能力相關(guān)的視頻幀時(shí)間；

65、g.?視頻重構(gòu)器利用視頻幀時(shí)間、原始視頻中的視頻幀及語音片段，重構(gòu)生成用戶需要的教學(xué)視頻，具體步驟如下：

66、g1.?視頻重構(gòu)器將視頻幀時(shí)間信息作為輸入?yún)?shù)，調(diào)用工具列表中的f2函數(shù)，重構(gòu)生成用戶所需的教學(xué)視頻；

67、g2.?將重構(gòu)好的視頻保存在指定目錄。

68、本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：實(shí)現(xiàn)了一套完整教學(xué)視頻的按需重構(gòu)方法，通過構(gòu)建教學(xué)視頻內(nèi)容文本的語義向量庫和知識(shí)圖譜，精準(zhǔn)表達(dá)教學(xué)視頻中蘊(yùn)含的知識(shí)點(diǎn)、學(xué)習(xí)目標(biāo)及學(xué)習(xí)能力等多維信息；構(gòu)建智能體系統(tǒng)的核心調(diào)度器、知識(shí)庫檢索器及視頻重構(gòu)器模塊，借助大模型實(shí)現(xiàn)了教學(xué)視頻內(nèi)容及用戶問題的精準(zhǔn)語義理解，提升教學(xué)視頻內(nèi)容的檢索精準(zhǔn)度，并根據(jù)用戶對(duì)知識(shí)點(diǎn)、學(xué)習(xí)目標(biāo)及學(xué)習(xí)能力的多維需求重構(gòu)教學(xué)視頻。本發(fā)明無需大模型微調(diào)，提高應(yīng)用系統(tǒng)開發(fā)效率；設(shè)計(jì)的智能體架構(gòu)和提示詞模版，使本系統(tǒng)具有靈活性和可擴(kuò)展性，能夠適應(yīng)不同學(xué)科和難度級(jí)別的教學(xué)視頻重構(gòu)，具有廣泛的應(yīng)用推廣價(jià)值。