本發(fā)明涉及網(wǎng)絡(luò)安全，特別是涉及一種基于人工智能算法的工業(yè)日志降噪處理方法及系統(tǒng)。

背景技術(shù)：

1、在工業(yè)生產(chǎn)過程中，設(shè)備或應(yīng)用運行產(chǎn)生的日志數(shù)據(jù)往往包含大量噪聲，這些噪聲可能來源于設(shè)備的正常運行波動、環(huán)境干擾、傳感器誤差等多種因素。噪聲的存在不僅增加了日志數(shù)據(jù)的處理難度，還可能導(dǎo)致數(shù)據(jù)分析結(jié)果的不準(zhǔn)確，影響故障診斷和維護決策的效率和準(zhǔn)確性，同時也可能掩蓋真正重要的告警信息。因此，如何有效地從工業(yè)日志中去除噪聲，提取出有價值的告警特征，是提高工業(yè)自動化和智能化水平的關(guān)鍵技術(shù)問題。傳統(tǒng)的日志降噪方法主要依賴于規(guī)則和經(jīng)驗，難以適應(yīng)復(fù)雜多變的工業(yè)環(huán)境，且在噪聲識別和過濾方面存在局限性。因此需要一款告警降噪功能來過濾和減少無效告警，提高告警的質(zhì)量和準(zhǔn)確性。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于人工智能算法的工業(yè)日志降噪處理方法及系統(tǒng)，旨在解決上述問題。

2、本發(fā)明提供了一種基于人工智能算法的工業(yè)日志降噪處理方法，包括：

3、采集動態(tài)感知系統(tǒng)內(nèi)設(shè)備/應(yīng)用的歷史告警數(shù)據(jù)，所述歷史告警數(shù)據(jù)包括日常告警和異常告警；

4、對所述歷史告警數(shù)據(jù)進行預(yù)處理，并將預(yù)處理后的歷史告警數(shù)據(jù)劃分為訓(xùn)練集和測試集；

5、構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，基于所述訓(xùn)練集對所述卷積神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練，并基于所述測試集對訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型進行測試，得到告警日志降噪模型；

6、根據(jù)服務(wù)器需求對所述告警日志降噪模型的運行參數(shù)進行配置，并將所述告警日志降噪模型與動態(tài)感知系統(tǒng)集成；

7、接收動態(tài)感知系統(tǒng)內(nèi)設(shè)備/應(yīng)用的實時告警數(shù)據(jù)，對所述實時告警數(shù)據(jù)進行初步處理，并將初步處理后的實時告警數(shù)據(jù)輸入到告警日志降噪模型內(nèi)，得到實時告警數(shù)據(jù)的告警特征；

8、根據(jù)所述告警特征對所述實時告警數(shù)據(jù)進行分類，確定所述實時告警數(shù)據(jù)的類別；

9、基于所述告警特征和類別對所述實時告警數(shù)據(jù)進行存儲和可視化分析。

10、優(yōu)選的，對所述歷史告警數(shù)據(jù)進行預(yù)處理，包括：

11、對所述歷史告警數(shù)據(jù)進行標(biāo)注，劃分為價值告警和噪聲告警；

12、對所述歷史告警數(shù)據(jù)進行數(shù)據(jù)清洗、標(biāo)準(zhǔn)化處理和特征提取。

13、優(yōu)選的，基于所述測試集對訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型進行測試，得到告警日志降噪模型，包括：

14、獲取測試集對訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型進行測試時的精度、召回率和f1分?jǐn)?shù)；

15、根據(jù)所述精度、召回率和f1分?jǐn)?shù)對訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型進行評估；

16、若所述精度、召回率和f1分?jǐn)?shù)均通過評估，則確定訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型為告警日志降噪模型；

17、若所述精度、召回率和f1分?jǐn)?shù)未通過評估，則對卷積神經(jīng)網(wǎng)絡(luò)模型重新訓(xùn)練，并進行測試。

18、優(yōu)選的，根據(jù)服務(wù)器需求對所述告警日志降噪模型的運行參數(shù)進行配置，包括：配置所述告警日志降噪模型的閾值和處理頻率。

19、優(yōu)選的，所述服務(wù)器需求為適配服務(wù)器規(guī)格和存儲需求。

20、優(yōu)選的，對所述實時告警數(shù)據(jù)進行初步處理，包括：

21、利用關(guān)鍵字篩選規(guī)則，對所述實時告警數(shù)據(jù)進行初步篩選；

22、使用正則表達式對所述實時告警數(shù)據(jù)進行過濾，剔除格式不符合要求的實時告警數(shù)據(jù)。

23、優(yōu)選的，所述告警特征包括：時間戳、ip地址、告警類型、告警來源和嚴(yán)重程度。

24、優(yōu)選的，根據(jù)所述告警特征對所述實時告警數(shù)據(jù)進行分類，確定所述實時告警數(shù)據(jù)的類別，包括：

25、設(shè)置有告警類別對照表，所述告警類別對照表包括若干告警類別，每一告警類別設(shè)置有對應(yīng)的告警特征；

26、根據(jù)所述實時告警數(shù)據(jù)的告警特征對所述告警類別對照表進行篩選，確定所述實時告警數(shù)據(jù)的類別。

27、優(yōu)選的，基于所述告警特征和類別對所述實時告警數(shù)據(jù)進行存儲和可視化分析，包括：

28、根據(jù)所述告警特征和類別對所述實時告警數(shù)據(jù)進行存儲，并進行統(tǒng)計分析；

29、確定所述實時告警數(shù)據(jù)的可視化攻擊鏈，并基于溯源圖通過時間、資產(chǎn)、網(wǎng)絡(luò)和情報進行關(guān)聯(lián)，選取與威脅相關(guān)的實體和關(guān)系作為點和邊，形成一張小型威脅圖，形成可視化的攻擊故事鏈。

30、本發(fā)明還公開了一種基于人工智能算法的工業(yè)日志降噪處理系統(tǒng)，用于應(yīng)用上述基于人工智能算法的工業(yè)日志降噪處理方法，包括：

31、數(shù)據(jù)采集模塊，用于采集動態(tài)感知系統(tǒng)內(nèi)設(shè)備/應(yīng)用的歷史告警數(shù)據(jù)，所述歷史告警數(shù)據(jù)包括日常告警和異常告警；

32、數(shù)據(jù)劃分模塊，用于對所述歷史告警數(shù)據(jù)進行預(yù)處理，并將預(yù)處理后的歷史告警數(shù)據(jù)劃分為訓(xùn)練集和測試集；

33、模型構(gòu)建模塊，用于構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，基于所述訓(xùn)練集對所述卷積神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練，并基于所述測試集對訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)模型進行測試，得到告警日志降噪模型；

34、模型集成模塊，用于根據(jù)服務(wù)器需求對所述告警日志降噪模型的運行參數(shù)進行配置，并將所述告警日志降噪模型與動態(tài)感知系統(tǒng)集成；

35、告警處理模塊，用于接收動態(tài)感知系統(tǒng)內(nèi)設(shè)備/應(yīng)用的實時告警數(shù)據(jù)，對所述實時告警數(shù)據(jù)進行初步處理，并將初步處理后的實時告警數(shù)據(jù)輸入到告警日志降噪模型內(nèi)，得到實時告警數(shù)據(jù)的告警特征；

36、日志分類模塊，用于根據(jù)所述告警特征對所述實時告警數(shù)據(jù)進行分類，確定所述實時告警數(shù)據(jù)的類別；

37、日志存儲模塊，用于基于所述告警特征和類別對所述實時告警數(shù)據(jù)進行存儲和可視化分析。

38、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于，本發(fā)明的功能包括告警識別、查重、降噪和過濾。通過cnn模型的強大特征提取能力，系統(tǒng)能夠從大量告警中精準(zhǔn)識別出重復(fù)的或不相關(guān)的告警信息，并進行降噪處理，以減少系統(tǒng)負(fù)擔(dān)。最終，經(jīng)過處理的告警信息將被篩選和提取出具有實際價值的內(nèi)容，從而提升質(zhì)檢人員的工作效率，提高態(tài)勢感知系統(tǒng)的整體可靠性和響應(yīng)效率。這一方案不僅優(yōu)化了告警信息的處理流程，也增強了系統(tǒng)對復(fù)雜和動態(tài)環(huán)境的適應(yīng)能力。

39、本發(fā)明通過使用卷積神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練和測試，可以有效地識別和過濾掉誤報或無關(guān)的告警信息，從而提高告警數(shù)據(jù)的準(zhǔn)確性。這有助于減少運維人員的工作負(fù)擔(dān)，提高問題解決的效率。通過對歷史告警數(shù)據(jù)進行預(yù)處理和分類，可以更好地理解不同類型的告警模式，從而降低誤報率。這對于提高系統(tǒng)的可靠性和穩(wěn)定性具有重要意義。將告警日志降噪模型與動態(tài)感知系統(tǒng)集成后，可以實現(xiàn)對實時告警數(shù)據(jù)的快速處理和分析。這使得系統(tǒng)能夠在短時間內(nèi)對潛在的問題做出反應(yīng)，從而提高了整個系統(tǒng)的實時響應(yīng)能力。通過對實時告警數(shù)據(jù)進行存儲和可視化分析，可以幫助運維人員更直觀地了解系統(tǒng)的運行狀況和潛在問題。這有助于提高運維人員的工作效率，同時也為決策者提供了有力的數(shù)據(jù)支持。通過對告警數(shù)據(jù)進行有效的降噪處理，可以減少因誤報而導(dǎo)致的不必要的人力和物力投入，從而降低企業(yè)的運營成本。同時，提高告警數(shù)據(jù)的準(zhǔn)確性也有助于減少因漏報而導(dǎo)致的潛在損失。