專利名稱：基于離群挖掘的異常檢測系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及移動Ad Hoc網(wǎng)絡(luò)的檢測領(lǐng)域，尤其是網(wǎng)絡(luò)異常入侵的檢測系統(tǒng)，具體地說是一種基于離群挖掘的異常檢測系統(tǒng)。
技術(shù)背景
目前，入侵檢測的方法及理論研究工作己經(jīng)有30多年的歷史。但是，移動(點對點)模式Ad Hoc網(wǎng)絡(luò)入侵檢測系統(tǒng)的研究仍處于相當(dāng)初級的階段:商業(yè)產(chǎn)品在實施方法上大都采用類似于反病毒軟件的硬編碼機制，這顯然不適合快速變化的網(wǎng)絡(luò)攻擊行為；實驗室研究雖然提出了各種新方法來檢測新類型攻擊行為，但離實用還有相當(dāng)?shù)木嚯x。當(dāng)前研究機構(gòu)和工業(yè)界的移動Ad Hoc點對點網(wǎng)絡(luò)異常入侵檢測系統(tǒng)普遍存在的最突出的共性問題是:系統(tǒng)對新攻擊類型往往檢測能力不足、系統(tǒng)誤報率過高從而失去應(yīng)有的性能、系統(tǒng)在檢測攻擊行為時實時性不夠，除此之外，系統(tǒng)操作非常繁瑣、配置復(fù)雜也是所面臨的重要問題之一
發(fā)明內(nèi)容
本發(fā)明的目的是針對現(xiàn)有的異常檢測系統(tǒng)只適用于維數(shù)較低的數(shù)據(jù)集、實時性差、誤報率高和檢測新類型攻擊能力弱的問題，提出了基于離群挖掘的異常檢測系統(tǒng)。
本發(fā)明的技術(shù)方案是: 一種基于離群挖掘的異常檢測系統(tǒng)，它包括數(shù)據(jù)采集器、存儲數(shù)據(jù)庫、特征選擇模塊、數(shù)據(jù)挖掘模塊、正常活動簡檔數(shù)據(jù)庫和分類器，所述的數(shù)據(jù)采集器作為異常檢測系統(tǒng)的信號輸入端采集網(wǎng)絡(luò)數(shù)據(jù)，數(shù)據(jù)采集器的輸出端連接存儲數(shù)據(jù)庫的信號輸入端，存儲數(shù)據(jù)庫的兩信號輸出端分別連接特征選擇模塊、數(shù)據(jù)挖掘模塊的對應(yīng)信號輸入端，數(shù)據(jù)挖掘模塊的另一信號輸入端連接正?；顒雍啓n數(shù)據(jù)庫，特征選擇模塊和數(shù)據(jù)挖掘模塊的信號輸出端分別連接分類器的對應(yīng)信號輸入端，分類器的信號輸出端作為基于離群挖掘的異常檢測系統(tǒng)的輸出，顯示檢測狀態(tài)。
本發(fā)明的數(shù)據(jù)采集器與數(shù)據(jù)庫之間串接預(yù)處理器。
本發(fā)明的有益效果: 本發(fā)明的系統(tǒng)對網(wǎng)絡(luò)數(shù)據(jù)即大量系統(tǒng)日志和審計記錄構(gòu)成的高維的、稀疏的、非線性數(shù)據(jù)集進行處理；在特征選擇模塊中利用基于規(guī)則的離群數(shù)據(jù)分類檢測技術(shù)檢測離群點；在挖掘模塊中利用靜態(tài)挖掘和動態(tài)挖掘技術(shù)快速分析數(shù)據(jù)來滿足實時性要求；使用分類器來進一步降低誤報率。
本發(fā)明在降低誤報率上取得了令人滿意的結(jié)果。該系統(tǒng)還具備回溯到審計數(shù)據(jù)內(nèi)部的能力，以幫助系統(tǒng)安全操作人員進一步分析可疑活動的起源，這樣在自動執(zhí)行檢測任務(wù)的同時，通過把可能引起攻擊的問題集中在審計數(shù)據(jù)某一子集上使其更適合人工干預(yù)，從而提聞系統(tǒng)檢測性能。


圖1是本發(fā)明的結(jié)構(gòu)示意圖。
圖2是基于離群挖掘的異常檢測系統(tǒng)的訓(xùn)練階段示意圖。
圖3是基于離群挖掘的異常檢測系統(tǒng)的檢測階段示意圖 圖4是正常活動簡檔時間更新圖。
具體實施方式
下面結(jié)合附圖和實施例對本發(fā)明作進一步的說明。
如圖1所示，一種基于離群挖掘的異常檢測系統(tǒng)，它包括數(shù)據(jù)采集器、存儲數(shù)據(jù)庫、特征選擇模塊、數(shù)據(jù)挖掘模塊、正常活動簡檔數(shù)據(jù)庫和分類器，所述的數(shù)據(jù)采集器作為異常檢測系統(tǒng)的信號輸入端采集網(wǎng)絡(luò)數(shù)據(jù)，數(shù)據(jù)采集器的輸出端連接存儲數(shù)據(jù)庫的信號輸入端，存儲數(shù)據(jù)庫的兩信號輸出端分別連接特征選擇模塊、數(shù)據(jù)挖掘模塊的對應(yīng)信號輸入端，數(shù)據(jù)挖掘模塊的另一信號輸入端連接正常活動簡檔數(shù)據(jù)庫，特征選擇模塊和數(shù)據(jù)挖掘模塊的信號輸出端分別連接分類器的對應(yīng)信號輸入端，分類器的信號輸出端作為基于離群挖掘的異常檢測系統(tǒng)的輸出，顯示檢測狀態(tài)。
本發(fā)明的數(shù)據(jù)采集器與數(shù)據(jù)庫之間串接預(yù)處理器。
具體實施時: 如圖2所示，訓(xùn)練階段由建模時期和訓(xùn)練分類器時期構(gòu)成。在建模時期完成正常活動簡檔的建立，在訓(xùn)練分類器時期完成分類器的構(gòu)建，過程如下:首先將不包含攻擊數(shù)據(jù)的訓(xùn)練數(shù)據(jù)(稱之為純凈數(shù)據(jù))輸入到一個靜態(tài)挖掘模塊中，該模塊包含了用以挖掘關(guān)聯(lián)規(guī)則的靜態(tài)挖掘算法，其輸出就是網(wǎng)絡(luò)行為的正常活動簡檔，即描述了沒有在攻擊行為出現(xiàn)情況下的網(wǎng)絡(luò)正?；顒樱唤Y(jié)合正?；顒雍啓n，將包含攻擊數(shù)據(jù)的訓(xùn)練數(shù)據(jù)輸入到一個動態(tài)挖掘模塊中，其輸出由表征攻擊數(shù)據(jù)的規(guī)則(項目集)組成，即可疑規(guī)則；最后將可疑規(guī)則連同從特征選擇模塊中提取的一組特征作為分類器的輸入，即作為分類器的訓(xùn)練數(shù)據(jù)。在使用系統(tǒng)檢測入侵之前，訓(xùn)練階段只實施一次。訓(xùn)練階段的第二個時期旨在為已知類型攻擊建立分類器。
如圖3所示，檢測階段使用訓(xùn)練階段得到的正?；顒雍啓n和訓(xùn)練好的分類器，通過實時分析網(wǎng)絡(luò)連接記錄，尋找可疑的規(guī)則集(即那些不包含在正常活動簡檔之中或者和正?；顒悠钶^大的規(guī)則集)，連同由特征選擇模塊提取出的一組特征一起輸入到在訓(xùn)練階段已經(jīng)訓(xùn)練好的分類器中，并進一步通過分類器把可疑規(guī)則分類為正常事件、異常事件、未知事件。對異常事件而言，如果該類型的數(shù)據(jù)在訓(xùn)練階段的分類器訓(xùn)練時期曾經(jīng)出現(xiàn)過，可以進一步給定攻擊類型的名字。當(dāng)分類器把可疑連接記錄分類為正常事件時，就把它們從可疑規(guī)則集中過濾掉，而不將其傳給系統(tǒng)安全人員。
如圖1所示，對異常檢測系統(tǒng)而言，把每天的活動和基準的活動簡檔做比較，從中發(fā)現(xiàn)相似度模式。如果相似度低于某一閾值，但并無顯著改變，而且具有平滑下降的趨勢時，判定其為一種正?；顒涌赡艿母淖?；如果相似度低于某一閾值并且急劇下降的話，判定其為異常行為。本發(fā)明通過正常活動簡檔的更新采用滑動時間窗口方法來更新基準的活動簡檔。
本發(fā)明未涉及部分均與現(xiàn)有技術(shù)相同或可采用現(xiàn)有技術(shù)加以實現(xiàn)。
權(quán)利要求
1.一種基于離群挖掘的異常檢測系統(tǒng)，其特征是它包括數(shù)據(jù)采集器、存儲數(shù)據(jù)庫、特征選擇模塊、數(shù)據(jù)挖掘模塊、正?；顒雍啓n數(shù)據(jù)庫和分類器，所述的數(shù)據(jù)采集器作為異常檢測系統(tǒng)的信號輸入端采集網(wǎng)絡(luò)數(shù)據(jù)，數(shù)據(jù)采集器的輸出端連接存儲數(shù)據(jù)庫的信號輸入端，存儲數(shù)據(jù)庫的兩信號輸出端分別連接特征選擇模塊、數(shù)據(jù)挖掘模塊的對應(yīng)信號輸入端，數(shù)據(jù)挖掘模塊的另一信號輸入端連接正?；顒雍啓n數(shù)據(jù)庫，特征選擇模塊和數(shù)據(jù)挖掘模塊的信號輸出端分別連接分類器的對應(yīng)信號輸入端，分類器的信號輸出端作為基于離群挖掘的異常檢測系統(tǒng)的輸出，顯示檢測狀態(tài)。
2.根據(jù)權(quán)利要求1所述的基于離群挖掘的異常檢測系統(tǒng)，其特征是所述的數(shù)據(jù)采集器與數(shù)據(jù)庫之間串接預(yù)處理器。
全文摘要
一種基于離群挖掘的異常檢測系統(tǒng)，包括數(shù)據(jù)采集器、存儲數(shù)據(jù)庫、特征選擇模塊、數(shù)據(jù)挖掘模塊、正?；顒雍啓n數(shù)據(jù)庫和分類器，數(shù)據(jù)采集器采集網(wǎng)絡(luò)數(shù)據(jù)，數(shù)據(jù)采集器的輸出端連接存儲數(shù)據(jù)庫的信號輸入端，存儲數(shù)據(jù)庫的兩信號輸出端分別連接特征選擇模塊、數(shù)據(jù)挖掘模塊的對應(yīng)信號輸入端，數(shù)據(jù)挖掘模塊的另一信號輸入端連接正?；顒雍啓n數(shù)據(jù)庫，特征選擇模塊和數(shù)據(jù)挖掘模塊的信號輸出端分別連接分類器的對應(yīng)信號輸入端，分類器的信號輸出端作為基于離群挖掘的異常檢測系統(tǒng)的輸出，顯示檢測狀態(tài)。本發(fā)明的系統(tǒng)對網(wǎng)絡(luò)數(shù)據(jù)即大量系統(tǒng)日志和審計記錄構(gòu)成的高維的、稀疏的、非線性數(shù)據(jù)集進行處理；降低誤報率，提高系統(tǒng)檢測性能。
文檔編號H04L12/26GK103107912SQ20111035765
公開日2013年5月15日 申請日期2011年11月11日 優(yōu)先權(quán)日2011年11月11日
發(fā)明者李千目, 戚湧, 許雪松, 李嘉, 侯君, 張宏 申請人:無錫南理工科技發(fā)展有限公司