專利名稱：自適應網絡入侵檢測系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種計算機網絡入侵檢測系統(tǒng)，特別涉及一集成異常檢測技術 和誤用檢測技術的自適應網絡入侵檢測系統(tǒng)。
背景技術：
網絡入侵檢測作為目前最主要的主動網絡安全措施之一，它通過對計算機 和網絡資源上的惡意網絡連接進行識別和響應，有效地補充和完善了諸如訪問 控制、數據加密、防火墻、病毒防范等安全措施，提高了信息安全基礎結構的 完整性，已成為信息系統(tǒng)安全解決方案中不可或缺的環(huán)節(jié)。網絡入侵檢測技術 按其工作原理分為誤用檢測技術和異常檢測技術兩類。其中誤用檢測技術基于 數據報文特征匹配為基礎，這種檢測技術準確率高，但其問題是不能發(fā)現新的 入侵模式而出現漏報情況。異常檢測技術則以網絡連接特征、系統(tǒng)調用特征、 網絡流量特征以及系統(tǒng)時延特征等數據為基礎，建立正常網絡行為的描述模型， 當用戶活動與正常行為有重大偏離時即被認為是入侵，該檢測技術可以發(fā)現新 型網絡入侵，但是存在誤報率高，需要大量訓練樣本的問題。
由于信息系統(tǒng)的運行狀態(tài)是不斷演化，那么反映其運行狀態(tài)的特征數據的 分布規(guī)律自然也會隨之改變。為了獲得理想的檢測性能，就要求異常檢測系統(tǒng) 必須定期動態(tài)更新訓練樣本，并在此基礎上動態(tài)更新異常檢測規(guī)則。然而傳統(tǒng) 的通過網絡專家人工方式收集訓練樣本的方法效率低下，并導致異常檢測系統(tǒng) 的應用和部署成本高昂的問題。

發(fā)明內容
本發(fā)明要解決的技術問題是提供一自適應網絡入侵檢測系統(tǒng)，它能夠結 合異常檢測技術和誤用檢測技術，以實現檢測系統(tǒng)自動適應運行環(huán)境的變化， 并降低整個系統(tǒng)的應用和部署的成本。
為解決上述技術問題，本發(fā)明的技術方案如下系統(tǒng)包括報文預處理與轉 發(fā)模塊、誤用檢測模塊、異常響應模塊、輸出裝置，該報文預處理與轉發(fā)模塊 用來提取網絡連接對象中的非加密報文并轉發(fā)到誤用檢測模塊，誤用檢測模塊 用來將檢測到的異常網絡連接對象轉發(fā)到異常響應模塊，其關鍵在于，該系統(tǒng) 還包括實時數據庫、特征數據整理與存儲模塊、歷史數據庫、半監(jiān)督自適應學 習模塊、異常檢測模塊，
報文預處理與轉發(fā)模塊還用來提取網絡連接對象的網絡連接特征向量并存 儲到實時數據庫；
誤用檢測模塊還用來將非加密報文的報文檢測結果存儲到實時數據庫； 特征數據整理與存儲模塊用來定期檢查和整合實時數據庫中的網絡連接特
征數據和報文狀態(tài)數據，將整理后的網絡連接特征數據存儲到歷史數據庫中； 半監(jiān)督自適應學習模塊根據歷史數據庫中的各種網絡連接特征數據，利用
半監(jiān)督學習算法生成異常檢測規(guī)則，且將該異常檢測規(guī)則動態(tài)更新到異常檢測
模塊中；
異常檢測模塊用來分析實時數據庫中的網絡連接特征向量，然后將檢測到 的異常網絡連接對象接轉發(fā)至異常響應模塊。
本發(fā)明的有益效果本發(fā)明通過使用誤用檢測模塊的^^測結果為異常檢測 模塊生成大量的訓練數據，利用半監(jiān)督學習技術實現異常檢測規(guī)則的動態(tài)更新，從而提高系統(tǒng)的自適應能力；半監(jiān)督自適應學習模塊能根據歷史數據庫中的數
據建立異常檢測規(guī)則，無需大量人工標記的訓練數據，從而極大降低了異常檢
測系統(tǒng)的部署成本；系統(tǒng)綜合異常檢測技術和誤用檢測技術對網絡活動進行分
析，從而提高系統(tǒng)的檢測性能。


圖l是本發(fā)明中的結構示意圖2是網絡連接特征向量數據的結構圖3是特征數據整理與存儲模塊工作流程圖4是報文檢測狀態(tài)數據的結構圖。
具體實施例方式
下面結合附圖和具體實施例對本發(fā)明作進一步的說明。
如圖l、圖2所示，自適應網絡入侵檢測系統(tǒng)中包括報文預處理與轉發(fā)模
塊l，實時數據庫2、特征數據整理與存儲模塊3、歷史數據庫4、半監(jiān)督自適 應學習模塊5、異常檢測模塊6，異常響應模塊7、誤用檢測模塊8、輸出裝置9、 輸入裝置10。報文預處理與轉發(fā)模塊1分別連接到實時數據庫2和誤用檢測模 塊8，該報文預處理與轉發(fā)模塊用來將提取到的網絡連接特征向量存儲到實時數 據庫2，同時將網絡連接對象中的非加密報文轉發(fā)到誤用檢測模塊8;該誤用檢
測模塊8將檢測到的入侵事件發(fā)到異常響應模塊7，誤用檢測模塊8還將報文的 檢測結果存儲到實時數據庫(2)中。
其中報文處理與轉發(fā)模塊1，采用協(xié)議分析的方式對網絡連接對象進行分 析，過濾掉一部分不需要分析的視頻，語音等網絡流量，提取出非加密和重點 關注的網絡連接對象，建立其對應的網絡連接特征向量。所述的網絡連接特征向量中至少包括連接標識,俘獲時間戳、源地址、源端口號、目的地址、目的 端口號、采用的協(xié)議，異常類型。
網絡連接特征向量中其它的數據則可以是根據系統(tǒng)配置情況，借鑒目前異 常檢測算法中采用的網絡屬性特征，例如連接持續(xù)時間、數據報文的長度、 連接類型、錯誤分片樹、服務內容，是否加密等信息。
異常檢測模塊6則按照異常檢測規(guī)則對實時數據庫2中的網絡連接特征向 量進行檢測，如果存在異常就將檢測結果提交給異常響應模塊7;異常響應模塊 7將綜合異常檢測模塊6和誤用檢測模塊8對網絡連接特征向量和網絡報文的檢 測結果，生成告警信息并提交給系統(tǒng)管理員，由系統(tǒng)管理員把告警信息送入輸
出裝置9，輸出裝置9可以為顯示器，打印機或者日志文件等設施。
如圖l、圖2、圖3、圖4所示。為了實現異常檢測模塊6中的異常檢測規(guī) 則的自動更新，特征數據整理與存儲模塊3用來檢查和處理實時數據庫2中的 網絡連接特征向量和報文檢測的結果，然后將獲得的各類網絡連接特征向量數 據寫入到歷史數據庫4中，作為異常檢測的訓練數據集；半監(jiān)督自適應學習豐莫 塊5根據歷史數據庫4中的訓練數據生成異常檢測規(guī)則，且將該異常檢測規(guī)則 更新到異常檢測模塊6中。
為記錄上述報文狀態(tài)，實時數據庫2中的報文狀態(tài)數據至少包括連接標識、 報文標識、是否檢測以及檢測結果等屬性。如果報文已經送入異常檢測模塊， 檢測結果為空則表示誤用檢測模塊8的檢測結果還沒有返回。
如圖3所示，所述的特征數據整理與存儲模塊3可以設置成每1秒鐘或每2 秒鐘或每3秒鐘定期檢查實時數據庫2中的網絡連接特征數據，并按以下步驟 對實時數據庫2中的數據進行處理51、 從實時數據庫2中取出一個網絡連接對象，此時要求該連接對象中所有
報文的檢測結果都已從誤用檢測模塊8返回，或者該連接中的報文都不進行誤
用檢測。
52、 判斷該連接對象的報文是否被送入誤用檢測模塊8，如果沒有就轉入步 驟S9執(zhí)行相應操作；否則轉入步驟S3。
53、 查看與該連接對象中所有報文的狀態(tài)，如果存在一個報文的狀態(tài)為異常， 表明誤用檢測模塊8已經從報文檢測出入侵行為，意味著該連接對象必然是一 個異常連接，將檢査結果送入步驟S4。
54、 判斷連接對象相關的報文中是否包含已知入侵的特征，如果存在則跳轉 到步驟S5;否則該連接可能是正常連接，則跳轉到步驟S7。
55、 設置實時數據庫中對應的網絡連接特征向量的異常值，并記錄是根據誤 用檢測模塊8的檢測結果來設置的，跳轉到步驟S6。
56、 將網絡連接特征向量從實時數據庫2中移除，并存入到歷史數據庫4中， 轉入步驟Sl處理下一個網絡連接對象。
57、 判斷當前的網絡連接對象的活動是否已經結束，如果網絡連接已經結束 就轉到步驟S8;否則轉入步驟S1。
58、 由于連接已經結束，所有報文都為正常狀態(tài)，即誤用檢測系統(tǒng)判斷該連 接是正常的，因此可以將異常類型的值設置為正常連接，并標記該結果是根據 誤用檢測模塊8的檢測結果設置的，轉入步驟S6。
59、 由于該連接對象中的報文沒有送入誤用檢測模塊8，而且當本次連接活 動已經結束，則直接將該連接特征向量的異常類型值標記為空，即作為無分類 標記的網絡連接特征數據，并轉步驟S6;如果沒有結束就轉入步驟Sl。歷史數據庫4還連接有輸入裝置10，網絡管理員根據輸出裝置9顯示的結
果，結合系統(tǒng)中的其它審計信息對網絡連接進行分析，并通過輸入裝置io將審 計結果存儲到歷史數據庫4中，所述輸入裝置為鍵盤和鼠標等設備。其中審計
結果包含了系統(tǒng)管理員對系統(tǒng)中的網絡行為的分析和判斷，因此可以產生少量 帶有分類標記的網絡連接特征數據。此外這些網絡連接特征數據的可靠性較高， 因此在半監(jiān)督學習過程中具有較大的權值。
大量網絡連接特征數據是根據誤用檢測模塊8的檢測結果而生成的，通常大 量的數據為正常連接特征數據，少量異常連接特征數據。另外，系統(tǒng)中大量網 絡連接沒有經過異常檢測模塊6和誤用檢測模塊8分析，因此存在大量無分類 標記的網絡連接特征向量數據。
半監(jiān)督自適應學習模塊5，是采用半監(jiān)督學習算法的自適應學習器，并在歷 史數據庫4中的訓練數據集上學習并生成異常檢測規(guī)則。學習器可以采用現有 常用的基于Bagging和Boosting (包容和加速)學習模式的學習器。根據歷史 數據庫中4中數據構成的特點，半監(jiān)督自適應學習模塊5可能采用以下三種訓 練模式
Cl:少量的有分類標記的網絡連接特征數據、大量無分類標記的網絡連接特 征數據。其中有分類標記的網絡連接特征數據是人工審計產生的結果，可能含 有分類噪聲。
C2:大量的正常網絡連接特征數據、有限的異常網絡連接特征數據、大量的 無分類標記網絡連接特征數據。其中的正常連接特征數據來自誤用檢測的結果， 因此可能包括分類噪聲。 —
C3:少量有分類標記的網絡連接特征數據、大量正常網絡連接特征數據、有限的異常連接特征數據和大量無分類標記的網絡連接特征數據。其中，有分類 標記的網絡連接特征數據和正常的網絡連接特征數據中可能包括分類噪聲。
其中情形C1對應著系統(tǒng)中沒有部署誤用檢測系統(tǒng)，因此具有分類信息的網絡 連接特征數據只能通過網絡管理員定期審計來獲得；情形C2中的網絡連接特征 數據都由誤用檢測系統(tǒng)生成，無需網絡管理人員參與；情形C3則對應著同時包 含審計過程和誤用檢測系統(tǒng)生成的網絡連接特征數據，是最常見的工作模式。 上述三種工作模式中都只包含部分數據有分類標記信息，因此要求半監(jiān)督自適 應學習模塊5能夠利用部分分類標識信息來來完成異常檢測規(guī)則的學習。
異常檢測模塊6將根據半監(jiān)督自適應學習模塊5獲得的異常檢測規(guī)則動態(tài) 更新檢測規(guī)則，并將檢測結果存放到歷史數據庫4中。異常響應模塊7綜合誤 用檢測模塊8和異常檢測模塊6對網絡報文和網絡連接特征向量的檢測結果生 成告警信息，然后提交到系統(tǒng)管理員，并通過輸出裝置9輸出檢測結果。
權利要求
1、一種自適應網絡入侵檢測系統(tǒng)，包括報文預處理與轉發(fā)模塊(1)、誤用檢測模塊(8)、異常響應模塊(7)、輸出裝置(9)，所述報文預處理與轉發(fā)模塊(1)用來提取網絡連接對象中的非加密報文并轉發(fā)到誤用檢測模塊(8)，所述誤用檢測模塊(8)用來將檢測到的異常網絡連接對象轉發(fā)到異常響應模塊(7)，其特征在于該系統(tǒng)還包括實時數據庫(2)、特征數據整理與存儲模塊(3)、歷史數據庫(4)、半監(jiān)督自適應學習模塊(5)、異常檢測模塊(6)；報文預處理與轉發(fā)模塊(1)還用來提取網絡連接對象的網絡連接特征向量并存儲到實時數據庫(2)；誤用檢測模塊(8)還用來將非加密報文的報文檢測結果存儲到實時數據庫(2)；特征數據整理與存儲模塊(3)用來定期檢查和整合實時數據庫(2)中的網絡連接特征數據和報文狀態(tài)，將整理后的網絡連接特征數據存儲到歷史數據庫(4)；半監(jiān)督自適應學習模塊(5)根據歷史數據庫(4)中的各種數據，利用半監(jiān)督學習算法生成異常檢測規(guī)則，且將異常檢測規(guī)則動態(tài)更新到異常檢測模塊(6)中；異常檢測模塊(6)用來分析實時數據庫(2)中的網絡連接特征向量，然后將檢測到的異常網絡連接對象轉發(fā)至異常響應模塊(7)。
2、 按照權利要求l所述的自適應網絡入侵檢測系統(tǒng)，其特征在于所述的 特征數據整理與存儲模塊(3)按以下步驟對實時數據庫(2)中的數據進行處理，51、 從實時數據庫(2)中取出一個網絡連接對象，此時要求該連接對象中 所有報文的檢測結果都己從誤用檢測模塊(8)返回，或者不對該連接中的報文 進行誤用檢測；52、 判斷該連接對象的報文是否送入誤用檢測模塊(8)，如果沒有就轉入步 驟S9執(zhí)行相應操作；否則轉入步驟S3;53、 查看與該連接對象中所有報文的狀態(tài)，如果存在一個報文的狀態(tài)為異常， 表明誤用檢測模塊(8)己經從報文檢測出入侵行為，意味著該連接對象必然是 一個異常連接，將檢査結果送入步驟S4;54、 判斷連接對象相關的報文是否包含已知的入侵的特征，如果存在則跳轉到步驟S5;否則該連接可能是正常連接，則跳轉到步驟S7;55、 設置實時數據庫中對應的網絡連接特征向量的異常值，并記錄是根據誤 用檢測模塊(8)的檢測結果來設置的，跳轉到步驟S6;56、 將網絡連接特征向量從實時數據庫(2)中移除，并存入到歷史數據庫 (4)中，轉入步驟S1處理下一個網絡連接對象；57、 判斷當前的網絡連接對象的活動是否已經結束，如果網絡連接已經結束就轉到步驟S8;否則轉入步驟S1;58、 由于連接已經結束，所有報文都為正常狀態(tài)，可以判定該連接是正常的，因此可以將異常類型的值設置為正常連接，且標記該結果是根據誤用檢測模塊(8)的檢測結果設置，轉入執(zhí)行步驟S6;59、 由于該連接對象中的報文沒有送入誤用檢測模塊(8)，而且當本次連接 活動已經結束，則直接將該連接特征向量的異常類型值標記為空，即作為無分類標記的網絡連接特征數據，并轉步驟S6;如果沒有結束就轉入步驟Sl。
3、 按照權利要求l所述的自適應網絡入侵檢測系統(tǒng)，其特征在于所述的 網絡連接特征向量的參數至少包括連接標識，俘獲時間戳、源地址、源端口號、 目的地址、目的端口號、采用的協(xié)議，異常類型。
4、 按照權利要求l所述的自適應網絡入侵檢測系統(tǒng)，其特征在于所述的半監(jiān)督自適應學習模塊(5)采用的自適應學習器是Bagging和Boosting學習模 型的學習器。
5、 按照權利要求1至4之一所述的自適應網絡入侵檢測系統(tǒng)，其特征在于 歷史數據庫(4)還連接有輸入裝置(10)。
全文摘要
本發(fā)明提供一種自適應網絡入侵檢測系統(tǒng)，包括報文預處理與轉發(fā)模塊、誤用檢測模塊、異常響應模塊、輸出裝置，該報文預處理與轉發(fā)模塊用來提取網絡連接對象中的非加密報文并轉發(fā)到誤用檢測模塊，誤用檢測模塊用來將檢測到的異常網絡連接對象轉發(fā)到異常響應模塊，其關鍵在于，該系統(tǒng)還包括實時數據庫、特征數據整理與存儲模塊、歷史數據庫、半監(jiān)督自適應學習模塊、異常檢測模塊，異常檢測模塊用來分析實時數據庫中的網絡連接特征向量，然后將檢測到的異常網絡連接轉發(fā)至異常響應模塊。本發(fā)明的有益效果本發(fā)明利用半監(jiān)督自適應學習模塊根據歷史數據庫中的數據建立異常檢測規(guī)則，無需大量人工標記訓練數據，從而極大降低了異常檢測系統(tǒng)的部署成本。
文檔編號H04L12/24GK101562539SQ200910103880
公開日2009年10月21日 申請日期2009年5月18日 優(yōu)先權日2009年5月18日
發(fā)明者余傳祥, 溫羅生, 輝 熊, 蒲秀娟, 將 鐘, 亮 韓 申請人:重慶大學