專利名稱：基于貝葉斯統(tǒng)計(jì)模型的網(wǎng)絡(luò)異常檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)異常流量檢測(cè)及入侵檢測(cè)技術(shù)領(lǐng)域，具體涉及一種基于貝葉斯統(tǒng)計(jì)模型的網(wǎng)絡(luò)異常的檢測(cè)方法。
背景技術(shù)：
伴隨著網(wǎng)絡(luò)的正常應(yīng)用流量，網(wǎng)絡(luò)上各種異常流量也隨之而來(lái)，影響到網(wǎng)絡(luò)的正常運(yùn)行，威脅著用戶主機(jī)的安全和使用。網(wǎng)絡(luò)異常往往由網(wǎng)絡(luò)攻擊、蠕蟲病毒、網(wǎng)絡(luò)濫用等原因引起的，例如各種網(wǎng)絡(luò)掃描、DDoS攻擊、網(wǎng)絡(luò)蠕蟲病毒、惡意下載、對(duì)網(wǎng)絡(luò)資源的不當(dāng)使用等都會(huì)造成網(wǎng)絡(luò)性能下降，嚴(yán)重時(shí)會(huì)影響正常的網(wǎng)絡(luò)使用，造成網(wǎng)絡(luò)擁塞，甚至造成網(wǎng)絡(luò)中斷、網(wǎng)絡(luò)設(shè)備的失效。因此，對(duì)網(wǎng)絡(luò)流量進(jìn)行實(shí)時(shí)監(jiān)測(cè)和管理，發(fā)現(xiàn)網(wǎng)絡(luò)中存在的已知類型和未知類型的網(wǎng)絡(luò)異常，已經(jīng)成為網(wǎng)絡(luò)安全管理中需要解決的首要問題，其對(duì)提高網(wǎng)絡(luò)的可靠性和可用性有著重要的意義。
傳統(tǒng)的網(wǎng)絡(luò)異常流量檢測(cè)是通過(guò)長(zhǎng)時(shí)間的網(wǎng)絡(luò)運(yùn)行流量信息的分析、學(xué)習(xí)，建立網(wǎng)絡(luò)正常使用模式的性能參數(shù)基準(zhǔn)范圍，當(dāng)網(wǎng)絡(luò)運(yùn)行狀態(tài)與正?；€有明顯偏差時(shí)，則判定網(wǎng)絡(luò)中存在異常發(fā)生。該方法可以發(fā)現(xiàn)基本的網(wǎng)絡(luò)異常，但是，它存在參數(shù)基準(zhǔn)范圍難以確定、缺乏靈活性和誤報(bào)率高等缺陷。

發(fā)明內(nèi)容
本發(fā)明的主要目的是提供一種基于貝葉斯統(tǒng)計(jì)模型的網(wǎng)絡(luò)異常檢測(cè)的方法，以克服現(xiàn)有技術(shù)存在的參數(shù)基準(zhǔn)范圍難以確定、缺乏靈活性和誤報(bào)率高的問題。
為克服現(xiàn)有技術(shù)存在的問題，本發(fā)明的是通過(guò)以下幾個(gè)步驟來(lái)實(shí)現(xiàn)的步驟一以旁路偵聽方式抓取網(wǎng)絡(luò)上的TCP/IP流量數(shù)據(jù)包；步驟二對(duì)于抓來(lái)的數(shù)據(jù)包進(jìn)行屬性分解，為下一步操作進(jìn)行數(shù)據(jù)的預(yù)處理，并形成數(shù)據(jù)矩陣；步驟三對(duì)預(yù)處理得到的數(shù)據(jù)矩陣進(jìn)行數(shù)據(jù)挖掘，構(gòu)建正常狀態(tài)、已知異常狀態(tài)和未知異常狀態(tài)的訓(xùn)練數(shù)據(jù)矩陣；步驟四繼續(xù)實(shí)時(shí)抓取網(wǎng)絡(luò)上的TCP/IP流量數(shù)據(jù)包，通過(guò)貝葉斯評(píng)估器對(duì)其進(jìn)行檢測(cè)；步驟五如果發(fā)現(xiàn)異常，則報(bào)警并將異常種類以自學(xué)習(xí)的方式填充入已知異常狀態(tài)數(shù)據(jù)庫(kù)，否則執(zhí)行步驟(四)。
上述步驟二所描述的數(shù)據(jù)包的屬性分解是指將抓取到的網(wǎng)絡(luò)數(shù)據(jù)包按照屬性項(xiàng)進(jìn)行分解歸類。亦即通過(guò)抓取網(wǎng)絡(luò)數(shù)據(jù)包的形式，產(chǎn)生每個(gè)TCP/IP連接的屬性記錄，這些記錄的格式如下所示R(T，Src.IP，Src.Port，Dst.IP，Dst.Port，F(xiàn)LAG)其中，T代表連接開始的時(shí)間；Src.IP代表源IP；Src.Port代表源端口；Dst.IP代表目的IP；Dst.Port代表目的端口；FLAG表示TCP/IP連接的狀態(tài)。通過(guò)以上的屬性項(xiàng)，系統(tǒng)將會(huì)為每一個(gè)TCP/IP連接記錄一個(gè)屬性記錄集R。
上述步驟三所描述的對(duì)預(yù)處理得到的數(shù)據(jù)矩陣進(jìn)行數(shù)據(jù)挖掘是指對(duì)于給定的、包含有正常狀態(tài)、已知異常狀態(tài)和未知異常狀態(tài)的訓(xùn)練數(shù)據(jù)矩陣進(jìn)行繼續(xù)歸納處理，形成一個(gè)概率表，在這個(gè)表中，每一列代表一種狀態(tài)實(shí)例的屬性特征，每一行代表一種狀態(tài)實(shí)例。該表的格式如下表所示

上表中A代表狀態(tài)實(shí)例的名稱，這些狀態(tài)包括正常狀態(tài)、已知異常狀態(tài)和未知異常狀態(tài)三種類型；X代表每種狀態(tài)的屬性參數(shù)。
上述步驟四所描述的貝葉斯評(píng)估器的算法如下使事件X＝(X1，X2，…，Xt)，參數(shù)N=Σi=1tXi]]>且p＝(p1，…，pt)
觀察其中的一個(gè)實(shí)例x＝(x1，x2，…，xt)，可知其多項(xiàng)式分布的概率函數(shù)為l(p|x)=l(p1,p2,Λ,pt|x1,x2,Λ,xt)=Πi=11pixi]]>此分布的可以變形為Dirichletf(p|β)=Γ(Σβii=1t)Πi=1tpiβ-1Γ(βi)]]>這里對(duì)于所有的i存在βi＞0，且Γ(y)=∫0∞e-zzy-1dz]]>令參數(shù)K=Σi-1tβi]]>和λi=βiK]]>由此可以得出其先驗(yàn)概率數(shù)學(xué)期望為E(pi|K，λ)＝λi其后驗(yàn)概率數(shù)學(xué)期望為E(pi|K,λ,x)=xi+KλiN+K]]>由此，經(jīng)過(guò)推算，我們可以得出如下的公式來(lái)計(jì)算異常估計(jì)值K^=(N2-Σtijk2)/Σi,j(tijk-Nλijk)2]]>t^ijk=N(tijk+K^λijk)/N+K]]>由此得到P(xj|Ai)=t^ijkΣk=0gt^ijk]]>利用貝葉斯得到P(C=Ai|X=x)=(Πj=0J-1P(xmj)P(X=Ai))P(X=x)---(1)]]>這里的xmj是指表中的第mj列，且P(C=Ai)=1JΣj=0J-1(ΣK=0gt^ijk/N)]]>由以上步驟可以計(jì)算出當(dāng)前網(wǎng)絡(luò)狀況符合那種狀態(tài)。
上述步驟五的自學(xué)習(xí)功能是指，當(dāng)系統(tǒng)初次發(fā)現(xiàn)一個(gè)新的異常時(shí)，系統(tǒng)將該異常加入到訓(xùn)練數(shù)據(jù)庫(kù)中，再次發(fā)現(xiàn)該異常時(shí)，則為已知異常。
與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)是
基于貝葉斯統(tǒng)計(jì)模型的網(wǎng)絡(luò)異常檢測(cè)方法是采用貝葉斯定理揭示的學(xué)習(xí)功能，發(fā)現(xiàn)大量變量之間的關(guān)系，對(duì)數(shù)據(jù)進(jìn)行預(yù)測(cè)、分類，建立起異常入侵檢測(cè)貝葉斯網(wǎng)絡(luò)，然后通過(guò)該網(wǎng)絡(luò)來(lái)分析網(wǎng)絡(luò)異常，判斷結(jié)果。該方法通過(guò)貝葉斯統(tǒng)計(jì)模型來(lái)發(fā)現(xiàn)、判定網(wǎng)絡(luò)中的異常，具有方法靈活、智能化程度高、判斷準(zhǔn)確的優(yōu)點(diǎn)。


附圖為本發(fā)明基于貝葉斯統(tǒng)計(jì)模型的網(wǎng)絡(luò)異常檢測(cè)方法流程圖。
具體實(shí)施例方式貝葉斯統(tǒng)計(jì)分析把先驗(yàn)信息與樣本信息結(jié)合，用于統(tǒng)計(jì)推斷之中。用貝葉斯公式先驗(yàn)信息與樣本信息綜合，得到后驗(yàn)信息。而得到的后驗(yàn)信息又可以作為新一輪計(jì)算的先驗(yàn)，與進(jìn)一步獲得的樣本信息綜合，求的下一個(gè)后驗(yàn)信息。隨著這個(gè)過(guò)程繼續(xù)下去，后驗(yàn)信息確實(shí)是越來(lái)越接近于真值。也就是說(shuō)，貝葉斯方法的學(xué)習(xí)機(jī)制是確實(shí)存在而且有效的。這個(gè)學(xué)習(xí)的過(guò)程實(shí)際上是一個(gè)迭代的過(guò)程。
本發(fā)明的步驟是(一)以旁路偵聽方式捕獲網(wǎng)絡(luò)上的數(shù)據(jù)包(二)對(duì)數(shù)據(jù)包以固定的格式進(jìn)行屬性的分解，數(shù)據(jù)包的屬性分解是指將抓取到的網(wǎng)絡(luò)數(shù)據(jù)包按照屬性項(xiàng)進(jìn)行分解歸類。亦即通過(guò)抓取網(wǎng)絡(luò)數(shù)據(jù)包的形式，產(chǎn)生每個(gè)TCP/IP連接的屬性記錄，這些記錄的格式如下所示R(T，Src.IP，Src.Port，Dst.IP，Dst.Port，F(xiàn)LAG)其中，T代表連接開始的時(shí)間；Src.IP代表源IP；Src.Port代表源端口；Dst.IP代表目的IP；Dst.Port代表目的端口；FLAG表示TCP/IP連接的狀態(tài)。通過(guò)以上的屬性項(xiàng)，系統(tǒng)將會(huì)為每一個(gè)TCP/IP連接記錄一個(gè)屬性記錄集R。
(三)對(duì)預(yù)處理得到的數(shù)據(jù)矩陣進(jìn)行數(shù)據(jù)挖掘，構(gòu)建正常狀態(tài)、已知異常狀態(tài)和未知異常狀態(tài)的訓(xùn)練數(shù)據(jù)矩陣，
按照屬性項(xiàng)進(jìn)行分解歸類，格式如下

(四)繼續(xù)實(shí)時(shí)抓取網(wǎng)絡(luò)上的TCP/IP流量數(shù)據(jù)包，并進(jìn)行屬性分解，根據(jù)前面的公式P(C=Ai|X=x)=(ΠJ=0J-1P(xmj)P(C=Ai))P(X=x)---(1)]]>這里的xmj是指表中的第mj列，且P(C=Ai)=1JΣj=0J-1(Σk=0gt^ijk/N)]]>計(jì)算出當(dāng)前時(shí)段的數(shù)據(jù)包的貝葉斯估計(jì)值，并由此判斷出其狀態(tài)；(五)如果發(fā)現(xiàn)異常，則報(bào)警。并將異常種類以自學(xué)習(xí)的方式填充入已知異常狀態(tài)數(shù)據(jù)庫(kù)，否則直接執(zhí)行下一步；(六)轉(zhuǎn)到(四)。
最后所應(yīng)說(shuō)明的是以上實(shí)施方式僅用以說(shuō)明而非限制本發(fā)明的技術(shù)方案，盡管參照上述實(shí)施方式對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解依然可以對(duì)本發(fā)明進(jìn)行修改或者等同替換，而不脫離本發(fā)明的精神和范圍的任何修改與局部替換，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍內(nèi)。
權(quán)利要求
1.基于貝葉斯統(tǒng)計(jì)模型的網(wǎng)絡(luò)異常檢測(cè)方法，依次包括下述步驟步驟一以旁路偵聽方式抓取網(wǎng)絡(luò)上的TCP/IP流量數(shù)據(jù)包；步驟二對(duì)于抓來(lái)的數(shù)據(jù)包進(jìn)行屬性分解，為下一步操作進(jìn)行數(shù)據(jù)的預(yù)處理，并形成數(shù)據(jù)矩陣；步驟三對(duì)預(yù)處理得到的數(shù)據(jù)矩陣進(jìn)行數(shù)據(jù)挖掘，構(gòu)建正常狀態(tài)、已知異常狀態(tài)和未知異常狀態(tài)的訓(xùn)練數(shù)據(jù)矩陣；步驟四繼續(xù)實(shí)時(shí)抓取網(wǎng)絡(luò)上的TCP/IP流量數(shù)據(jù)包，通過(guò)貝葉斯評(píng)估器對(duì)其進(jìn)行檢測(cè)；步驟五如果發(fā)現(xiàn)異常，則報(bào)警并將異常種類以自學(xué)習(xí)的方式填充入已知異常狀態(tài)數(shù)據(jù)庫(kù)，否則執(zhí)行步驟(四)。
2.如權(quán)利要求1所述的基于貝葉斯統(tǒng)計(jì)模型的網(wǎng)絡(luò)異常檢測(cè)方法，其特征在于所述步驟二所描述的數(shù)據(jù)包的屬性分解是指將抓取到的網(wǎng)絡(luò)數(shù)據(jù)包按照屬性項(xiàng)進(jìn)行分解歸類，亦即通過(guò)抓取網(wǎng)絡(luò)數(shù)據(jù)包的形式，產(chǎn)生每個(gè)TCP/IP連接的屬性記錄，這些記錄的格式如下所示R(T，Src.IP，Src.Port，Dst.IP，Dst.Port，F(xiàn)LAG)其中，T代表連接開始的時(shí)間；Src.IP代表源IP；Src.Port代表源端口；Dst.IP代表目的IP；Dst.Port代表目的端口；FLAG表示TCP/IP連接的狀態(tài)。通過(guò)以上的屬性項(xiàng)，系統(tǒng)將會(huì)為每一個(gè)TCP/IP連接記錄一個(gè)屬性記錄集R。
3.如權(quán)利要求1或2所述的基于貝葉斯統(tǒng)計(jì)模型的網(wǎng)絡(luò)異常檢測(cè)方法，其特征在于所述步驟三所描述的對(duì)預(yù)處理得到的數(shù)據(jù)矩陣進(jìn)行數(shù)據(jù)挖掘是指對(duì)于給定的、包含有正常狀態(tài)、已知異常狀態(tài)和未知異常狀態(tài)的訓(xùn)練數(shù)據(jù)矩陣進(jìn)行繼續(xù)歸納處理，形成一個(gè)概率表，在這個(gè)表中，每一列代表一種狀態(tài)實(shí)例的屬性特征，每一行代表一種狀態(tài)實(shí)例，該表的格式如下表所示
上表中A代表狀態(tài)實(shí)例的名稱，這些狀態(tài)包括正常狀態(tài)、已知異常狀態(tài)和未知異常狀態(tài)三種類型；X代表每種狀態(tài)的屬性參數(shù)。
4.如權(quán)利要求3所述的基于貝葉斯統(tǒng)計(jì)模型的網(wǎng)絡(luò)異常檢測(cè)方法，其特征在于所述步驟四所描述的貝葉斯評(píng)估器的算法如下P(C=Ai|X=x)=(Πj=0J-1P(xmj)P(C=Ai))P(X=x)---(1)]]>這里的xmj是指表中的第mj列，且P(C=Ai)=1JΣj=0J-1(ΣK=0gt^ijk/N).]]>
全文摘要
本發(fā)明涉及網(wǎng)絡(luò)異常流量檢測(cè)及入侵檢測(cè)技術(shù)領(lǐng)域，具體涉及一種基于貝葉斯統(tǒng)計(jì)模型的網(wǎng)絡(luò)異常的檢測(cè)方法。本發(fā)明的目的是要克服現(xiàn)有技術(shù)存在的參數(shù)基準(zhǔn)范圍難以確定、缺乏靈活性和誤報(bào)率高的問題。其技術(shù)方案是包括以下幾個(gè)步驟(一)以旁路偵聽方式抓取網(wǎng)絡(luò)上的TCP/IP流量數(shù)據(jù)包；(二)對(duì)于抓來(lái)的數(shù)據(jù)包進(jìn)行屬性分解，形成數(shù)據(jù)矩陣；(三)對(duì)預(yù)處理得到的數(shù)據(jù)矩陣進(jìn)行數(shù)據(jù)挖掘，構(gòu)建正常狀態(tài)、已知異常狀態(tài)和未知異常狀態(tài)的訓(xùn)練數(shù)據(jù)矩陣；(四)繼續(xù)實(shí)時(shí)抓取網(wǎng)絡(luò)上的TCP/IP流量數(shù)據(jù)包，通過(guò)貝葉斯評(píng)估器對(duì)其進(jìn)行檢測(cè)；(五)如果發(fā)現(xiàn)異常，則報(bào)警并將異常種類以自學(xué)習(xí)的方式填充入已知異常狀態(tài)數(shù)據(jù)庫(kù)，否則執(zhí)行步驟(四)。
文檔編號(hào)H04L12/56GK101060444SQ200710017919
公開日2007年10月24日 申請(qǐng)日期2007年5月23日 優(yōu)先權(quán)日2007年5月23日
發(fā)明者劉濤, 白亮, 張永彬, 趙衛(wèi)棟, 靳衛(wèi)衡 申請(qǐng)人:西安交大捷普網(wǎng)絡(luò)科技有限公司