本發(fā)明涉及突發(fā)事件管理系統(tǒng)的優(yōu)化方法,具體為一種基于llm和langchain的事件管理系統(tǒng)優(yōu)化方法。
背景技術(shù):
1、現(xiàn)代戰(zhàn)場上涌現(xiàn)了大量的智能化作戰(zhàn)裝備和新型作戰(zhàn)樣式,提升了戰(zhàn)場全面感知能力,逐漸演化出一體化聯(lián)合的復(fù)雜作戰(zhàn)體系,依靠人工處理海量信息已經(jīng)變得十分困難,指揮人員需要掌握包括作戰(zhàn)裝備、作戰(zhàn)戰(zhàn)術(shù)、法律法規(guī)、戰(zhàn)場情報、社會輿情等大量知識,因此亟需人工智能技術(shù)輔助指揮人員進行籌劃決策和業(yè)務(wù)處理。
2、目前人工智能分為專用人工智能和通用人工智能,其中專用人工智能擅長在單一場景下處理特定任務(wù),目前大多數(shù)智能應(yīng)用都屬于這一類,例如deepmind公司推出的“alphago”,能夠在國際象棋中擊敗人類世界象棋冠軍,但如果讓其為文本生成一段摘要是不現(xiàn)實的。對于業(yè)務(wù)復(fù)雜的大系統(tǒng)需要集成大量的模型,成本過高且難以融合。然而通用人工智能更關(guān)注靈活性和通用性,更擅長處理復(fù)雜綜合的任務(wù),尤其是在指揮作戰(zhàn)這種復(fù)雜場景下,突發(fā)情況多變且事件的發(fā)展難以預(yù)測,需要融合多方面情報進行綜合分析,通用人工智能能夠發(fā)揮在事務(wù)中推理、計劃、解決問題、抽象思考、理解復(fù)雜思想、快速學(xué)習和從經(jīng)驗中學(xué)習的特長,協(xié)助指揮人員在緊張局勢下進行正確的事件處置決策。
3、通用人工智能主要指llm(大語言模型),最具代表性的應(yīng)用是2022年底由openai組織推出的“chatgpt”,以其具有強大的語言組織、本文處理、邏輯推理等能力火遍全球互聯(lián)網(wǎng),一躍成為人工智能領(lǐng)域的現(xiàn)象級應(yīng)用。llm底層采用transformer模型,利用自注意力機制提升上下文理解能力,并通過大規(guī)模訓(xùn)練(通常具有十億級以上參數(shù))獲得在事務(wù)中推理、計劃、解決問題、抽象思考、理解復(fù)雜思想、快速學(xué)習和從經(jīng)驗中學(xué)習的能力。
技術(shù)實現(xiàn)思路
1、為了提升指揮作戰(zhàn)場景下突發(fā)事件管理系統(tǒng)的效率,本發(fā)明提供了一種基于llm和langchain的事件管理系統(tǒng)優(yōu)化方法,該方法利用llm技術(shù)加速對各類情報、法規(guī)、案例等信息的快速處理,對事件管理系統(tǒng)進行智能賦能,利用langchain框架快速構(gòu)建領(lǐng)域llm應(yīng)用以提升事件處置流程自動化,同時通過自然語言的方式與用戶進行交互,對事件實體關(guān)系進行關(guān)聯(lián),方便指揮人員對事件脈絡(luò)、事件態(tài)勢以及事件相關(guān)背景綜合理解,在突發(fā)情況下能夠基于llm向量庫中存儲的歷史案例輔助指揮人員快速做出正確反映和即時調(diào)整,從而提升指揮作戰(zhàn)能力。本發(fā)明采用langchain框架來快速構(gòu)建事件管理系統(tǒng),可接入chatglm、qwen、localgpt、ollama等llm進行私有化部署,利用其強大的信息理解、事務(wù)推理能力來應(yīng)對指揮作戰(zhàn)場景下的突發(fā)問題,提升事件處置的效率。
2、本發(fā)明是采用如下的技術(shù)方案實現(xiàn)的:一種基于llm和langchain的事件管理系統(tǒng)優(yōu)化方法,事件管理系統(tǒng)采用應(yīng)用層、框架層、模型層3層系統(tǒng)架構(gòu)設(shè)計,應(yīng)用層圍繞指揮作戰(zhàn)突發(fā)事件處置業(yè)務(wù)邏輯開展設(shè)計,將突發(fā)事件處置流程劃分4個階段,包括事件數(shù)據(jù)管理、事件情況掌握、事件處置建議、事件處置組織協(xié)調(diào);框架層采用大語言應(yīng)用開發(fā)框架langchain進行業(yè)務(wù)串聯(lián)和邏輯拼接,面向應(yīng)用層對突發(fā)事件的處置流程各階段進行優(yōu)化,為應(yīng)急狀態(tài)下的指揮人員決策提供智能輔助決策支撐,保證在緊張局勢下能夠?qū)ν话l(fā)狀況進行即時、正確的響應(yīng);模型層對接開源llm,負責將輸入的自然語言信息經(jīng)過文本理解和知識推理形成期望的事件情況總結(jié),能夠調(diào)用外部接口查詢事件熱點信息和相關(guān)案例支撐系統(tǒng)生成事件處置預(yù)案,能夠與外部系統(tǒng)進行交互自動下達指揮命令、作戰(zhàn)文書、消息警告等進行席位間組織協(xié)調(diào)。
3、上述的一種基于llm和langchain的事件管理系統(tǒng)優(yōu)化方法,事件數(shù)據(jù)管理模塊從情報系統(tǒng)和業(yè)務(wù)系統(tǒng)中獲取情報數(shù)據(jù),為構(gòu)建領(lǐng)域llm提供數(shù)據(jù)支撐;事件情況掌握模塊的數(shù)據(jù)來源通過各席位的指揮人員進行上報,通過llm形成內(nèi)容摘要;事件處置建議模塊利用llm在歷史案例中抽象出事件處置經(jīng)驗,形成處置預(yù)案,并根據(jù)兵力對比、物資保障、社會輿論因素進行權(quán)衡,提供處置建議和理由,幫助指揮人員做出處置決定;事件處置組織協(xié)調(diào)模塊根據(jù)指揮人員制定的事件處置方案進行處突響應(yīng),開展行動監(jiān)控、兵力布勢、反制謀劃,形成任務(wù)工單按照編組派發(fā),支持各要素、各席位之間數(shù)據(jù)流轉(zhuǎn),實現(xiàn)突發(fā)事件處置全過程在線組織協(xié)調(diào)。
4、上述的一種基于llm和langchain的事件管理系統(tǒng)優(yōu)化方法,事件數(shù)據(jù)管理模塊具體包括數(shù)據(jù)引接加載和內(nèi)容詞向量存儲2部分;數(shù)據(jù)引接加載時利用langchain數(shù)據(jù)加載器組件對情報系統(tǒng)和業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進行引接加載,實現(xiàn)數(shù)據(jù)服務(wù)請求和數(shù)據(jù)抽取功能,通過數(shù)據(jù)加載器引接的情報數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)需要存儲到數(shù)據(jù)庫中為業(yè)務(wù)執(zhí)行過程中歷史案例查詢、法律法規(guī)查詢、處置預(yù)案推薦提供知識支撐,其數(shù)據(jù)過程包括文檔數(shù)據(jù)屬性提取、詞向量嵌入訓(xùn)練、數(shù)據(jù)存儲3個階段:①引接的數(shù)據(jù)采用doctran組件進行文檔屬性的提取,以便相關(guān)資料的精準查詢和關(guān)聯(lián)檢索;②將文檔的內(nèi)容進行詞向量嵌入訓(xùn)練,與上下文進行語義關(guān)聯(lián)和不同語境的區(qū)分,形成計算機能夠理解的高維向量格式,③采用chroma向量數(shù)據(jù)庫對訓(xùn)練好的詞向量內(nèi)容進行存儲。
5、上述的一種基于llm和langchain的事件管理系統(tǒng)優(yōu)化方法,數(shù)據(jù)引接加載時為防止數(shù)據(jù)引接通道的擁塞,增加buffermemory組件窗口過濾機制進行數(shù)據(jù)流的削峰填谷。
6、上述的一種基于llm和langchain的事件管理系統(tǒng)優(yōu)化方法,事件情況掌握模塊包括文檔元數(shù)據(jù)標記、知識化標簽類目生成和內(nèi)容綜合摘要生成兩部分,文檔元數(shù)據(jù)標簽標記對突發(fā)事件的歷史案例進行文檔標記,構(gòu)建事件的結(jié)構(gòu)化元數(shù)據(jù)標簽形成指揮作戰(zhàn)領(lǐng)域知識化標簽類目體系,通過文本嵌入模型存儲到chroma向量數(shù)據(jù)庫中;各席位上報的情況報告通過stuffdocumentchain切割成文件塊,通過索引器根據(jù)事件元數(shù)據(jù)從文件塊中查詢相關(guān)信息,并填入到對應(yīng)的摘要提示詞模板中,最終輸入到llm進行多個情況報告的內(nèi)容綜合摘要生成。
7、上述的一種基于llm和langchain的事件管理系統(tǒng)優(yōu)化方法,事件處置建議模塊由用戶觸發(fā),用戶通過sqldatabasechain組件對業(yè)務(wù)系統(tǒng)引接數(shù)據(jù)庫進行查詢實現(xiàn)相關(guān)實時信息查詢,通過multifunctionagent組件調(diào)用自定義方法對現(xiàn)存作戰(zhàn)知識查詢系統(tǒng)進行知識查詢;采用思維鏈技術(shù),將要解決突發(fā)事件所涉及的復(fù)雜問題q按照步驟拆解成一系列簡單問題q={q1,q2,q3,…,qn},形成問題拆解模板為llm提供參考思路;系統(tǒng)將思維鏈填入處置預(yù)案生成提示詞模板中,利用示例選擇器進行自動匹配合適的思維鏈,實現(xiàn)讓llm按照同樣的思維生成處置預(yù)案;同時系統(tǒng)提供自定義輸出模板規(guī)定按照指定格式生成處置預(yù)案,然后將結(jié)果再次輸入llm并輸入評分提示詞模板,最終通過輸出分析器對處置預(yù)案進行分析比對生成處置建議。
8、上述的一種基于llm和langchain的事件管理系統(tǒng)優(yōu)化方法,事件處置組織協(xié)調(diào)模塊依靠langchain提供的callback機制實現(xiàn)對任務(wù)執(zhí)行的方法和時機進行預(yù)設(shè),自定義工具可設(shè)置任務(wù)執(zhí)行的具體內(nèi)容,執(zhí)行代理可設(shè)置任務(wù)執(zhí)行的條件,系統(tǒng)能夠按照業(yè)務(wù)邏輯將多個任務(wù)進行串聯(lián)有序執(zhí)行形成完整的工作流;當突發(fā)事件處置進入方案實施階段,用戶觸發(fā)任務(wù)派發(fā)動作,系統(tǒng)將按照處置方案中處置步驟將任務(wù)加入工作流,非結(jié)構(gòu)化的處置方案通過llm翻譯轉(zhuǎn)換成格式化指揮命令,其內(nèi)容包括命令發(fā)送方、命令接收方、命令類型、命令內(nèi)容、緊急程度等要素;系統(tǒng)通過對話知識圖譜記憶組件完成事件實體和實體間關(guān)聯(lián)關(guān)系的圖譜構(gòu)建,完成格式化指揮命令各類要素內(nèi)容的填寫;系統(tǒng)監(jiān)聽指揮命令生成完畢后,通過callback機制調(diào)用接口完成作戰(zhàn)文書擬制,最終由指揮人員人工核查、修改、發(fā)送,實現(xiàn)人在回路的任務(wù)工單派發(fā)。
9、本發(fā)明在智能模型的選型、業(yè)務(wù)處理的優(yōu)化方法兩方面具有新穎性:
10、①智能模型的選型新穎,選擇了最先進且具有廣闊發(fā)展前景的llm作為底層支撐?,F(xiàn)有事件管理系統(tǒng)主要通過文書報告的形式進行上報和匯總,大多基于關(guān)鍵詞、規(guī)則、結(jié)構(gòu)化數(shù)據(jù)進行匹配和事件信息的抽取,來輔助指揮人員對突發(fā)事件進行情況掌握,這種方法受規(guī)則、格式的限制效果不佳,往往需要人工參與情況報告的審核、修改,效率較低。本發(fā)明采用llm,在內(nèi)容理解方面具有優(yōu)勢,不受規(guī)則、結(jié)構(gòu)等限制,可自動理解、總結(jié)各類情況報告,因此效率更高。
11、②業(yè)務(wù)處理的優(yōu)化方法新穎,在保障業(yè)務(wù)拓展性和系統(tǒng)集成性的同時,利用llm提升突發(fā)事件處置的業(yè)務(wù)處理效率。現(xiàn)有事件管理系統(tǒng)針對特定功能需求采用專用人工智能模型,一個模型智能解決某一類特定問題,對于復(fù)雜系統(tǒng)和多類型的場景需要大量模型,導(dǎo)致集成成本較高,且模型之間很難做到邏輯打通和上下文關(guān)聯(lián)。本發(fā)明采用langchain框架打通業(yè)務(wù)邏輯,可快速構(gòu)建和擴展系統(tǒng)功能,從而降低系統(tǒng)集成成本,同時采用的llm為通用智能模型對于業(yè)務(wù)理解采用統(tǒng)一模型進行調(diào)度,方便存儲業(yè)務(wù)上下文內(nèi)容,有利于理解事件脈絡(luò)和事件主體的關(guān)系,業(yè)務(wù)處理方面效率更高。
12、本發(fā)明在兩方面具有創(chuàng)造性,①在領(lǐng)域應(yīng)用的提升方面,創(chuàng)造性地將llm應(yīng)用于指揮作戰(zhàn)領(lǐng)域,解決指揮人員的突發(fā)事件處置業(yè)務(wù)痛點問題,為llm這種新興技術(shù)的應(yīng)用和普及提供了前沿性探索;②在先進技術(shù)的應(yīng)用方面,提出海量數(shù)據(jù)引接融合、多文本摘要提取、基于思維鏈的處置方案推理、基于圖譜記憶的工作流構(gòu)建等創(chuàng)新方法實現(xiàn)事件處置過程自動化、智能化改造,為突發(fā)事件管理系統(tǒng)提升工作效率。
13、本發(fā)明利用目前主流的langchain框架針對指揮作戰(zhàn)突發(fā)事件處置業(yè)務(wù)進行優(yōu)化,支持對接各類llm,支持私有化部署可投入實際運用,能夠靈活構(gòu)建業(yè)務(wù)流程快速形成基于llm的領(lǐng)域應(yīng)用,利用llm的泛化、遷移學(xué)習能力支持低成本進行業(yè)務(wù)拓展。相對傳統(tǒng)基于規(guī)則和概率的機器學(xué)習方法,本方法在語義理解、內(nèi)容生成、邏輯推理方面準確性和可用性更高,能夠在實際運用中提升指揮人員對海量信息的處理速度,快速掌握戰(zhàn)場態(tài)勢。能夠構(gòu)建作戰(zhàn)指揮知識庫為指揮人員提供合理的處置方案和建議,實現(xiàn)作戰(zhàn)文書生成和派發(fā)提升組織協(xié)調(diào)效率。