專利名稱：一種高速網絡數據包內容分析裝置的制作方法
技術領域：
本發(fā)明屬于高速網絡信息監(jiān)控技術領域，更具體地，涉及一種高速網絡數據包內容分析裝置。
背景技術：
對網絡信息內容進行必要的監(jiān)管和審查，確保敏感內容無法在網絡大肆傳播，對于維護社會穩(wěn)定以及保障青少年身心健康成長具有重要的理論價值與現(xiàn)實意義。但隨著IT、網絡技術的迅猛發(fā)展，以人人網、新浪微博等為代表的新興網絡應用服務不斷地涌現(xiàn)。這些新興的網絡服務已經逐漸形成了龐大的用戶群體，并且用戶之間借助各種社會關系形成錯綜復雜的信息傳播路徑，對傳統(tǒng)網絡信息監(jiān)控渠道帶來了巨大的沖擊。此外網絡帶寬的急速增長也構成了網絡內容監(jiān)控面臨的另一個難題。目前，在高速網絡內容的監(jiān)控方面，常用的是基于網絡處理器或者通用軟件機群分析的解決方案。

網絡處理器即具有專用集成芯片線速轉發(fā)報文的高速度特性同時又具有通用芯片的可編程性。這種方法一般系統(tǒng)分為控制層和業(yè)務層，控制層采用RISC通用處理器，負責用戶交互、策略更新、配置等工作；業(yè)務層利用多CPU和專用硬件組成的網絡處理器進行包分析、過濾，用戶編寫微代碼并應用到網絡處理器上生效。這種做法具有較高的靈活性，但目前受網絡處理器性能的限制，總體性能還不是太高。而且微代碼類似匯編語言，開發(fā)難度較大，如果需要系統(tǒng)進行內容分析過濾，開發(fā)速度和處理速度都將更低。不過隨著網絡處理器性能的不斷提高，已經被廣泛應用到高速網絡設備的設計中。軟件方案實質上是基于通用架構的服務器集群進行網絡內容的分析檢測工作。由于傳統(tǒng)的流量采集和協(xié)議還原方式一般是工作于基于X86體系結構PC工作站上，受到CPU處理能力和PCI總線速度等多個方面因素的制約存在著較大的技術性能瓶頸，因此它需要后臺配備以相應規(guī)模的還原與存儲服務器集群來滿足對高速網絡流量的檢測需要。由于需要通過服務器集群技術才能達到較高性能，高速網絡的內容監(jiān)控系統(tǒng)往往采用分流的設計模式，即由專用硬件設備負責捕獲數據并分流到多個軟件處理系統(tǒng)分別處理。這種解決方法能夠在一定程度上靈活快速的將針對低速網絡的內容分析檢測功能進行移植。但是隨著網絡流量越大越復雜，整個系統(tǒng)將趨向越來越復雜，投資和維護成本也將趨高。此外目前高速網絡環(huán)境下，一般系統(tǒng)通常會在對數據進行還原和存儲后，在系統(tǒng)的外圍采用離線的方法來對內容進行監(jiān)控和審查，實現(xiàn)內容還原與分析檢測的分離，利用磁盤空間作為緩沖，防止存儲為核心的協(xié)議還原系統(tǒng)的復雜內容分析與檢測會影響到前段內容還原的速度。但這又引入了磁盤IO的性能瓶頸，并且無法滿足實時性，從而無法做到對網絡數據的實時過濾和動態(tài)阻隔。

發(fā)明內容
針對現(xiàn)有技術的缺陷，本發(fā)明提供一種高速網絡數據包內容分析裝置，實時監(jiān)控網絡數據流，及時發(fā)現(xiàn)敏感，并做出相應的響應；針對高速網絡環(huán)境，無需大量服務器集群和離線文件分析，只需獲取高速網絡數據包，即可識直接對網絡內容進行在線實時的分析檢測。一種高速網絡數據包內容分析裝置，包括網卡，用于獲取高速網絡數據包；FPGA，用于過濾掉不屬于需要檢測的應用層協(xié)議類型的網絡數據包，然后將過濾得到的網絡數據包分流到各眾核處理器中；至少一個的眾核處理器，根據核分配策略對其包含的多核進行任務分配，用于對分流得到的網絡數據包并行執(zhí)行協(xié)議還原、數據包內容提取、數據包內容敏感性分析以及敏感內容分析結果輸出；主控板，用于對FPGA板卡配置需要檢測的應用層協(xié)議類型，以及對眾核處理器配置核分配策略和數據包內容敏感性分析策略，保存和輸出來自眾核處理器的敏感內容分析結果。進一步地，所述眾核處理器包括執(zhí)行協(xié)議還原的第一類核，用于獲取FPGA分流傳送進來的網絡數據包，首先按照網絡層協(xié)議IP進行數據包的IP分片重組，然后再傳輸層進行TCP/UDP協(xié)議重組，將一個TCP會話流或者UDP數據包作為還原結果；執(zhí)行數據包內容提取的第二類核，用于根據還原結果所采用的應用層協(xié)議類型選擇相應的協(xié)議解析器，利用協(xié)議解析器在還原結果中提取文本內容和圖像內容；

執(zhí)行數據包內容分析融合的第三類核,用于分別對文本和圖像內容檢測敏感程度，再對屬于同一個還原結果中的文本和圖像的敏感程度做綜合分析，得到最終的分析融合結果;執(zhí)行敏感內容分析結果輸出的第四類核，用于在分析融合結果表明敏感程度高時，將其對應的敏感內容分析結果即敏感內容及敏感內容相關信息輸出給主控板。進一步地，所述敏感內容相關信息包括敏感內容的源IP、網頁地址URL、捕獲時間、敏感內容訪問者IP和出現(xiàn)頻次。進一步地，所述主控板載入有配置文件，并接受動態(tài)的配置修改，通過CPCI總線對FPGA以及眾核處理器進行動態(tài)配置。進一步地，所述主控板包含⑶I接口。通過本發(fā)明所構思的以上技術方案，與現(xiàn)有技術相比，本發(fā)明具有以下的有益效果1、高系統(tǒng)吞吐量利用硬件設備和FPGA獲取網絡數據包將提供強大的輸入能力。采用眾核計算平臺，計算能力大幅提升，協(xié)議還原和內容檢測過程中的單步瓶頸現(xiàn)象將得以解決。從而跟傳統(tǒng)方式相比，單機系統(tǒng)吞吐量得以大幅提升，適同于高速網絡環(huán)境。2、在線實時監(jiān)控只要獲取到原始的網絡數據包，就可以利用眾核計算平臺的強大并發(fā)計算能力，直接進行協(xié)議還原和敏感信息的分析檢測。與傳統(tǒng)方法相比，無需進行離線分析，可以實時的進行檢測結果的反饋，及時采取相應措施。3、檢測效率高由于協(xié)議還原、分析檢測內容、分析處理和綜合分析在眾核計算平臺下實現(xiàn)，計算能力大幅提升且可根據不同任務量及時進行計算資源調度，使得內容檢測效率大大提高，避免了單步處理速度過慢帶來的性能瓶頸。此外由于進行在線檢測，無需先將待檢測文件保存至硬盤等外部存儲器，跳過了硬盤IO的性能瓶頸，進一步提高了系統(tǒng)的檢測效率。


圖1是本發(fā)明一種高速網絡數據包內容分析裝置結構示意圖。圖2是本發(fā)明一種高速網絡數據包內容分析方法的流程圖。圖3是本發(fā)明方法中步驟(3)的細化流程圖。圖4是本發(fā)明方法中步驟(4)的細化流程圖。圖5是本發(fā)明眾核計算平臺中的核分配調度策略的示意圖。
具體實施例方式為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。如圖1所示，本發(fā)明一種高速網絡數據包內容分析裝置，包括如下部分(I)網卡。主要用來獲取高速網絡數據包。(2)FPGA。主要根據所獲取的網絡數據包頭部中的源IP、目的IP、源端口、目的端口、應用層協(xié)議的五元組信息對網絡數據包進行過濾和分流。過濾的主要工作是凡是該數據包的協(xié)議類型不是配置信息中需要檢測的應用協(xié)議類型，將直接濾掉該數據包不做處理。分流的主要任務是針對裝置中可能會存在的多個眾核單板計算機，F(xiàn)PGA需要根據五元組信息，在多個眾核單板計算機之間進行數據包分流，爭取實現(xiàn)各單板計算機之間的負載均衡。(3)眾核處理器(可插拔式板卡設備)。眾核處理器主要用于網絡數據包的協(xié)議還原、待檢測內容的應用層解析和提取、對文本和圖像內容的敏感內容分別分析和綜合分析、敏感內容分析結果的輸出。為了最大程度的利用眾核計算平臺的強大計算能力，需要這些處理步驟能夠最大限度的并行執(zhí)行。并通過合理有效的核任務分工策略，盡可能的加大任務量較大的步驟所分配核數，盡可能的消除處理流程中的瓶頸現(xiàn)象，保證整個處理流程能夠達到較大吞吐量。具體地說，就是部分核執(zhí)行協(xié)議還原，部分核執(zhí)行數據包內容提取，部分核執(zhí)行數據包敏感性內容分析，部分核執(zhí)行敏感內容輸出。如果有必要還可以并行集成多個眾核處理器，通過FPGA在各眾核設備之間進行數據分流，進一步提升整個系統(tǒng)的吞吐量。圖5中給出了一個16核的眾核分配策略示意圖，從圖中可以看到分組I包括核I至4，各核分別運行一個獨立的協(xié)議還原程序，通過四核的并發(fā)執(zhí)行應對高速網絡的數據流量壓力。分組2考慮到應用層協(xié)議的還原算法相對簡單，就只包括核5和核6來對上一級的四個協(xié)議還原程序的輸出結果進行應用層協(xié)議的解析和內容提取。由于內容檢測算法相對而言復雜度較高，對計算資源需求較大，例中(分組5和分組6)分別為文本和圖片的檢測分配了兩個核進行分析檢測。最后分組7由核13和核14組成進行待檢測內容的綜合判定，并由分組8即核15來輸出高速網絡數據包的分析處理結果。當然，以上只是一個眾核分配策略的示意方案。對網絡數據包進行協(xié)議還原主要是獲取FPGA分流傳送進來的網絡數據包，按照網絡層協(xié)議(IP)進行數據包的IP分片重組，按照傳輸層協(xié)議(TCP/UDP)進行數據包協(xié)議重組(主要是TCP會話流的數據重組)，將同一會話流中的數據內容當做一個還原結果提交；提取相應的分析檢測內容主要是判斷數據包協(xié)議還原結果所采用的應用層協(xié)議類型，根據不同的應用層協(xié)議，選擇不同的協(xié)議解析器，進行相關的待檢測內容的解析與提取，判斷提取出內容的類型，分為文本類型內容和圖像類型內容進行保存；對文本和圖像內容分別進行敏感性分析和綜合分析主要是判斷待檢測內容的類型信息，分為文本和圖像內容進行具體的分析處理，獲取檢測內容的敏感程度。再針對同一個協(xié)議還原結果集的文本和圖片內容分析檢測的結果，進行綜合分析，獲得最終的分析融合結果。敏感內容分析結果輸出主要是有眾核平臺通過CPCI總線向主控板輸出最終分析處理結果。若內容敏感且需要進行證據留存，則還需通過眾核設備的網口向外部設備輸出處理結果和敏感內容。處理結果主要是被判定為敏感內容的源IP(若為網頁內容可能還需包括URL等信息)、數據被捕獲的時間、敏感內容訪問者IP等等。(4)主控板。主控板為嵌入式，對外部提供⑶I接口，同時通過CPCI總線將配置信息分發(fā)到各個設備上。⑶I接口主要是為了方便進行整個系統(tǒng)的配置以及數據包檢測結果的查詢顯示等。而這里的配置信息主要包括系統(tǒng)需要檢測的應用層協(xié)議類型組合、眾核的核分配策略(這里主要是指各任務所需占用的核數)、待檢內容的分析融合策略(例如文本或圖片內容的敏感程度檢測結果在最終判定結果中所占的權重等)、敏感內容是否輸出進行證據留存等。數據包檢測結果主要是被判定為敏感內容的數據包來源IP (若為網頁內容可能還需包括URL等信息)、數據被捕獲的時間、敏感內容訪問者IP、近期出現(xiàn)頻次等等。如圖2所示，本發(fā)明高速網絡數據包內容分析裝置的工作過程具體為

(I)利用高速網卡設備獲取網絡數據包。(2)利用FPGA對網絡數據包進行過濾和分流。(3)利用眾核處理器對網絡數據包進行協(xié)議還原。參見圖3，包括以下子步驟(3-1)獲取FPGA分流傳送進來的網絡數據包；(3-2)按照網絡層協(xié)議(IP)進行數據包的IP分片重組；(3-3)按照傳輸層協(xié)議(TCP/UDP)進行數據包協(xié)議重組若是TCP則轉入(3_4)，否則為UDP則直接將該數據包作為還原結果提交；(3-4)對數據包進行會話流的數據重組，當會話結束時，進入步驟(3-5)，否則繼續(xù)返回(3-1)進行協(xié)議重組；(3-5)將同一會話流中的數據內容當做一個還原結果進行提交。(4)從協(xié)議還原結果中，按照應用層協(xié)議提取相應的分析檢測內容。參見圖4，包括以下子步驟(4-1)判斷數據包協(xié)議還原結果集所采用的應用層協(xié)議類型；(4-2)根據不同的應用層協(xié)議，選擇不同的協(xié)議解析器(例如HTTP協(xié)議解析器、SMTP協(xié)議解析器、POP3協(xié)議解析器等)進行協(xié)議解析，并進行相關的待檢測內容的提??；(4-3)判斷提取出內容的類型，分為文本類型內容和圖像類型內容進行保存和下一步處理。(5)對待檢測內容進行分析處理，并對分析結果進行綜合分析，獲得最終的分析處理結果。包括以下子步驟( 5-1)提取同一結果集的待檢測內容，并依據內容的類型信息分別提取文本和圖像內容；( 5-2)對于同一結果集的文本和圖像內容進行分析處理內容，獲取內容的敏感程度；此步驟可采用基于關鍵詞匹配技術和基于紋理與膚色點檢測相結合的方法對文本和圖像內容進行分析處理。(5-3)針對同一還原結果集的內容分析檢測的結果，對文本和圖像的敏感程度進行綜合評價，獲得該還原結果集最終的分析處理結果。(5-4)向主控板輸出最終敏感分析結果。若內容敏感且需要進行證據留存，則通過網口向外部設備輸出敏感內容及敏感相關信息。(6)嵌入式主控板主要對外部提供⑶I接口進行整個系統(tǒng)的配置以及數據包檢測結果的查詢顯示，同時通過CPCI總線將實時的配置信息分發(fā)到各個設備上。(7)本領域的技術人員容易理 解，以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發(fā)明的保護范圍之內。
權利要求
1.一種高速網絡數據包內容分析裝置，包括 網卡，用于獲取高速網絡數據包； FPGA，用于過濾掉不屬于需要檢測的應用層協(xié)議類型的網絡數據包，然后將過濾得到的網絡數據包分流到各眾核處理器中； 至少一個的眾核處理器，根據核分配策略對其包含的多核進行任務分配，用于對分流得到的網絡數據包并行執(zhí)行協(xié)議還原、數據包內容提取、數據包內容敏感性分析以及敏感內容分析結果輸出； 主控板，用于對FPGA板卡配置需要檢測的應用層協(xié)議類型，以及對眾核處理器配置核分配策略和數據包內容敏感性分析策略，保存和輸出來自眾核處理器的敏感內容分析結果。
2.根據權利要求1所述的高速網絡數據包內容分析裝置，其特征在于，所述眾核處理器包括 執(zhí)行協(xié)議還原的第一類核，用于獲取FPGA分流傳送進來的網絡數據包，首先按照網絡層協(xié)議IP進行數據包的IP分片重組，然后再傳輸層進行TCP/UDP協(xié)議重組，將一個TCP會話流或者UDP數據包作為還原結果； 執(zhí)行數據包內容提取的第二類核，用于根據還原結果所采用的應用層協(xié)議類型選擇相應的協(xié)議解析器，利用協(xié)議解析器在還原結果中提取文本內容和圖像內容； 執(zhí)行數據包內容分析融合的第三類核，用于分別對文本和圖像內容檢測敏感程度,再對屬于同一個還原結果中的文本和圖像的敏感程度做綜合分析，得到最終的分析融合結果; 執(zhí)行敏感內容分析結果輸出的第四類核，用于在分析融合結果表明敏感程度高時，將其對應的敏感內容分析結果即敏感內容及敏感內容相關信息輸出給主控板。
3.根據權利要求2所述的高速網絡數據包內容分析裝置，其特征在于，所述敏感內容相關信息包括敏感內容的源IP、網頁地址URL、捕獲時間、敏感內容訪問者IP和出現(xiàn)頻次。
4.根據權利要求1或2或3所述的高速網絡數據包內容分析裝置與方法，其特征在于，所述主控板載入有配置文件，并接受動態(tài)的配置修改，通過CPCI總線對FPGA以及眾核處理器進行動態(tài)配置。
5.根據權利要求1或2或3所述的高速網絡數據包內容分析裝置與方法，其特征在于，所述主控板包含⑶I接口。
全文摘要
本發(fā)明公開了一種高速網絡數據包內容分析裝置，包括網卡，用于獲取高速網絡數據包；FPGA，用于過濾掉不屬于需要檢測的應用層協(xié)議類型的網絡數據包，然后將過濾得到的網絡數據包分流到各眾核處理器中；至少一個的眾核處理器，根據核分配策略對其包含的多核進行任務分工，用于對分流得到的網絡數據包并行執(zhí)行協(xié)議還原、數據包內容提取以及數據包內容分析融合任務；主控板，用于對FPGA和眾核處理器進行配置。本發(fā)明只需獲取原始的網絡數據包，就可利用眾核處理器的并行計算能力，直接進行協(xié)議還原和敏感信息的分析檢測，與傳統(tǒng)方法相比，計算能力大幅提升，實時性強，檢測效率高。
文檔編號H04L12/26GK103067218SQ20121054600
公開日2013年4月24日 申請日期2012年12月14日 優(yōu)先權日2012年12月14日
發(fā)明者徐晶, 王韓波, 劉威, 許煒, 尚彪, 望昕宇, 程凡, 孫鑫 申請人:華中科技大學