專利名稱：：高性能網(wǎng)絡內容分析平臺的制作方法
技術領域：
：本發(fā)明涉及網(wǎng)絡通信。更具體來講，本發(fā)明涉及提供網(wǎng)絡內容分析，以例如用來防止信息泄漏和/或檢測欺詐加密。
背景技術：
：內容掃描總體上講是一種相對發(fā)展良好的領域。在大多數(shù)應用中，內容掃描是基于關鍵字的；然而，更加高級的應用使用模式匹配/文檔分類的正則表達式或者統(tǒng)計方法。這些方法本身已經(jīng)被應用于許多文檔分類問題。統(tǒng)計分類器的成功應用的例子是兜售信息(Spam)過濾，其中貝葉斯(Bayesian)分類器顯示出98％的正確率。數(shù)字資產(chǎn)保護(例如，防止信息經(jīng)由網(wǎng)絡信道泄漏)領域是相當新的。迄今為止，一些商業(yè)系統(tǒng)借用現(xiàn)有領域的方法和工具，專注于針對存在關鍵字與否對數(shù)據(jù)進行離線分析。數(shù)字資產(chǎn)保護中最有進展的部分是電子郵件掃描器，其充當電子郵件遞送和交換軟件的附加軟件。此領域中的產(chǎn)品提供基于關鍵字的過濾和基于正則表達式(regexp)的過濾，并且關注于防止試圖把攻擊性的或者其它不合適的電子郵件傳遞至公司外部，以保護公司免受可能的訴訟。數(shù)字資產(chǎn)保護領域最近開始引起關注，而這特別是因為美國政府的保密倡議(initiative)，所述保密倡議例如是以金融機構為目標的“格拉姆-利奇-布利利法案”(Gramm-Leach-BlileyAct，“GLBA”)和用于保健供應商的健康保險便利和義務法案(HealthInsurancePortabilityandAccountabilityAct，“HIPAA”)。例如，信用卡號及病歷的泄漏會給公司造成數(shù)百萬美元的債務。因此，這些事件應被制止。
發(fā)明內容依照一個方面，本發(fā)明提供了一種方法，包括接收網(wǎng)絡數(shù)據(jù)；根據(jù)所述網(wǎng)絡數(shù)據(jù)重組客戶端-服務器通信會話；并且通過使用(i)基于統(tǒng)計的檢測和(ii)基于關鍵字的檢測中的至少一個來分析所述客戶端-服務器通信會話，以經(jīng)由所述網(wǎng)絡數(shù)據(jù)檢測信息泄漏。依照另一方面，本發(fā)明提供了一種方法，包括接收網(wǎng)絡通信；通過對所述網(wǎng)絡通信實時地提供至少內容重組、掃描和識別，以防止經(jīng)由網(wǎng)絡通信進行的數(shù)據(jù)的未授權和/或惡意地轉送。依照又一個方面，本發(fā)明提供了一種方法，包括接收網(wǎng)絡數(shù)據(jù)；并且通過至少應用多維內容概要分析(profiling)來經(jīng)由網(wǎng)絡數(shù)據(jù)防止信息泄漏。依照又一方面，本發(fā)明提供了一種具有編碼信息的機器可讀介質，當由機器讀取并且執(zhí)行時，其實現(xiàn)了一種方法，包括接收網(wǎng)絡數(shù)據(jù)；根據(jù)所述網(wǎng)絡數(shù)據(jù)來重組客戶端-服務器通信會話；并且通過使用(i)基于統(tǒng)計的檢測和(ii)基于關鍵字的檢測中的至少一個來分析所述客戶端-服務器通信會話，以經(jīng)由所述網(wǎng)絡數(shù)據(jù)檢測信息泄漏。依照再一方面，本發(fā)明提供了一種具有編碼信息的機器可讀介質，當由機器讀取并且執(zhí)行時，其實現(xiàn)了一種方法，包括接收網(wǎng)絡通信；通過向所述網(wǎng)絡通信實時地提供至少內容重組、掃描和識別，以防止經(jīng)由所述網(wǎng)絡通信進行的數(shù)據(jù)的未授權和/或惡意地轉送。依照又一方面，本發(fā)明提供了一種具有編碼信息的機器可讀介質，當機器讀取并且執(zhí)行時，其實現(xiàn)了一種方法，包括接收網(wǎng)絡數(shù)據(jù)；并且通過至少應用多維內容概要分析來經(jīng)由所述網(wǎng)絡數(shù)據(jù)防止信息泄漏。依照又一個方面，本發(fā)明提供了一種裝置，包括用于接收網(wǎng)絡數(shù)據(jù)的接收器；耦合至所述接收器的處理器，用于(i)根據(jù)所述網(wǎng)絡數(shù)據(jù)來重組客戶端-服務器通信會話，并且(ii)通過使用(i)基于統(tǒng)計的檢測和(ii)基于關鍵字的檢測中的至少一個來分析所述客戶端-服務器通信會話，以經(jīng)由所述網(wǎng)絡數(shù)據(jù)檢測信息泄漏。依照又一方面，本發(fā)明提供了一種裝置，包括用于接收網(wǎng)絡通信的接收器；以及耦合至所述接收器的處理器，用于向所述網(wǎng)絡通信實時地提供至少內容重組、掃描和識別，以防止經(jīng)由所述網(wǎng)絡通信進行的數(shù)據(jù)的未授權和/或惡意地轉送。依照又一方面，本發(fā)明提供了一種裝置，包括用于接收網(wǎng)絡數(shù)據(jù)的接收器；以及耦合至所述接收器的處理器，用于通過至少應用多維內容概要分析來經(jīng)由所述網(wǎng)絡數(shù)據(jù)防止信息泄漏。圖1描述了網(wǎng)絡內容分析平臺的一個實施例的框圖；圖2描述了圖1的分組捕獲的一個實施例的框圖；圖3描述了圖1的分組捕獲的一個實施例的流程圖；圖4描述了圖1的IP碎片整理程序(defragmenter)的一個實施例的框圖；圖5描述了IP碎片整理程序空閑描述符鏈的一個實施例；圖6描述了IP碎片整理程序描述符時期鏈的一個實施例；圖7描述了IP碎片整理程序會話描述符結構的一個實施例；圖8描述了圖1的IP碎片整理程序的一個實施例的流程圖；圖9描述了圖1的TCP重組器的一個實施例的框圖；圖10描述了TCP重組器空閑會話與有效負載鏈的一個實施例；圖11描述了流轉換圖的一個實施例；圖12描述了TCP會話轉換圖的一個實施例；圖13描述了TCP會話時期鏈的一個實施例；圖14描述了TCP會話環(huán)形緩沖區(qū)的一個實施例；圖15描述了TCP有效負載鏈的一個實施例；圖16描述了圖1的TCP重組器的一個實施例的流程圖；圖17描述了圖1的內容解碼器的一個實施例的流程圖；圖18描述了內容解碼樹的一個實施例；圖19描述了自動關鍵字發(fā)現(xiàn)工具的一個實施例的流程圖；圖20描述了圖1的關鍵字掃描器的一個實施例的流程圖；圖21描述了自動內容概要分析器工具的一個實施例的流程圖；圖22描述了超平面計算的一個實施例的流程圖；圖23描述了圖1的多維內容概要分析掃描器的一個實施例的流程圖；圖24描述了輸出得分計算的一個實施例的流程圖；圖25描述了內容掃描器有限狀態(tài)自動機的一個實施例；圖26描述了圖1的欺詐加密檢測器的一個實施例的流程圖；圖27描述了圖1的進程管理器的一個實施例的框圖；圖28描述了圖1的事件假脫機程序的一個實施例的框圖；圖29描述了圖1的事件假脫機程序的一個實施例的流程圖；圖30描述了圖1的TCP限制器(killer)的一個實施例的框圖；并且圖31描述了圖1的TCP限制器的一個實施例的流程圖?？s語列表GLBA格拉姆-利奇-布利利法案(GrammLeachBlaileyAct)HIPAA健康保險便利和義務法案(HealthInsurancePortabilityandAccountabilityAct)IP網(wǎng)際協(xié)議(InternetProtocol)TCP傳輸控制協(xié)議(TransportControlProtocol)DF數(shù)字指紋識別(DigitalFingerprinting)HTML超文本標記語言(HypertextMarkupLanguage)FSA有限狀態(tài)自動機(FiniteStateAutomata)PDF便攜式文檔格式(PortableDocumentFormat)HTTP超文本傳輸協(xié)議(HyperTextTransferProtocol)FTP文件傳輸協(xié)議(FileTransferProtocol)XML可擴展標記語言(extensiblemarkuplanguage)SSN社會安全號碼(SocialSecurityNumber)OS操作系統(tǒng)(OperatingSystem)API應用編程接口(ApplicationProgrammingInterface)NIC網(wǎng)絡接口卡(NetworkInterfaceCard)FD全雙工(FullDuplex)SPAN交換端口分析器(SwitchedPortAnalyzer)CPU中央處理單元(CentralProcessingUnit)SMP對稱多處理(SymmetricMulti-Processing)IPC進程間通信(Inter-ProcessCommunication)DoS拒絕服務(DenialofService)PCAP分組捕獲(PacketCapture)PLR分組丟失比率(PacketLossRatio)RAM隨機存取存儲器(RandomAccessMemory)FDC空閑描述符鏈(FreeDescriptorChain)SMTP簡單郵件傳送協(xié)議(SimpleMailTransferProtocol)MCP多維內容概要分析(Multi-dimensionalContentProfiling)MIME多用互聯(lián)網(wǎng)郵件擴展(Multi-purposeInternetMailExtension)TAR磁帶存檔(TapeArchive)AKD自動關鍵字發(fā)現(xiàn)(AutomaticKeywordDiscovery)AIR告警信息記錄(AlertInformationRecord)DRM數(shù)字權利管理(DigitalRightsManagement)ACP自動內容概要分析器(AutomaticContentProfiler)FIFO先進先出(FirstIn-FirstOut)VM虛擬機(VirtualMachine)ASCII美國標準信息交換碼(AmericanStandardCodeforInformationInterchange)CCN信用卡號碼(CreditCardNumber)VPN虛擬專用網(wǎng)絡(VirtualPrivateNetwork)RED欺詐加密檢測器(RogueEncryptionDetector)SSL/TLS安全套接字層/傳輸層安全(SecureSocketLayer/TransportLayerSecurity)NCAP網(wǎng)絡內容分析平臺(NetworkContentAnalysisPlatform)MUTEX互斥鎖(Mutually-ExclusiveLock)UDP用戶數(shù)據(jù)報協(xié)議(UserDatagramProtocol)ACL訪問控制列表(AccessControlList)SNMP簡單網(wǎng)絡管理協(xié)議(SimpleNetworkManagementProtocol)ROM只讀存儲器(Read-OnlyMemory)具體實施方式幾乎每個組織都在其網(wǎng)絡上維護有價值的信息，例如包括患者記錄、顧客信用卡號碼、化學配方和/或顧客列表。在近6年中，大約有百分之二十的被調查組織承認遭受過專有信息的網(wǎng)絡盜竊。那時，他們所報告的經(jīng)濟損失已經(jīng)增加了850個百分點，使得專有信息失竊成為因計算機濫用而造成經(jīng)濟損失的最大來源。各組織可以使用間接的方法——基本的網(wǎng)絡安全措施，諸如黑客防備、軟件補丁、用戶認證和物理安全措施之類——來保護他們的數(shù)據(jù)。更直接的方法是例如單獨和或與一種或多種間接方法結合來監(jiān)視數(shù)據(jù)自身流(例如，外發(fā)數(shù)據(jù)流)。本發(fā)明的一個實施例提供了一種用于監(jiān)控并且防止信息流(例如，外發(fā)數(shù)據(jù)流)的方法。所述信息可以包括敏感信息、私人信息和/或諸如知識產(chǎn)權的數(shù)字資產(chǎn)。所述方法可以捕獲網(wǎng)絡通信量，并且例如實時和/或離線地提供內容掃描和識別。所述方法可用來檢測和/或防止(i)數(shù)據(jù)的未授權移動、(ii)信息的泄漏和/或(iii)數(shù)字資產(chǎn)的批量轉送。所述數(shù)字資產(chǎn)可能包括顧客列表、客戶和患者記錄、金融信息、信用卡號碼和/或社會安全號碼。所述方法可以重組完整的客戶端-服務器對話流，應用解碼器和/或解壓器，和/或使用一個或多個內容掃描器來分析得到的數(shù)據(jù)流。所述一個或多個內容掃描器可包括多維內容概要分析、加權的上下文內的關鍵詞和/或數(shù)字指紋識別。所述方法還可以執(zhí)行處理單獨網(wǎng)絡分組的深層分組檢查。所述方法還可以提供一層或多層的內容解碼，其例如可以“剝離”通用壓縮、聚合、文件格式和/或編碼方案，并且可以以適于處理的形式來提取實際內容。另外，所述解碼器可以揭露出諸如電子郵件附件之類的隱藏的傳送機制。所述方法可以概要分析(例如，統(tǒng)計的和/或關鍵字概要分析)數(shù)據(jù)并可對數(shù)據(jù)的外流進行檢測，即使數(shù)據(jù)已經(jīng)從其原始形式和/或文檔類型進行了修改。所述方法還可以檢測未授權的(例如，欺詐)加密會話并且停止被認為是惡意的數(shù)據(jù)轉送。所述方法可以對實時網(wǎng)絡通信量(例如，包括1Gbps的網(wǎng)絡)進行操作，并且允許例如構建一個具有全雙工能力的(例如，一個或多個Gbps)機器來防止信息的未授權轉送。多維內容概要分析可以捕獲文檔(例如，文本、二進制數(shù)據(jù)、數(shù)據(jù)文件)的特性，并且可以容許文檔生命周期中常見的變化編輯、分支為若干獨立的版本、類似文檔的集合等。其可以被視為關鍵字掃描和指紋識別的后繼，并且可以結合兩種技術的能力。關鍵字掃描是文檔分類的相對有效并且用戶友好的方法。它基于一組非常特定的字，在文本中進行逐字匹配。用于掃描的詞典包括不適合用于通信的字、用于機密項目、產(chǎn)品和/或進程的碼字以及那些不依賴于它們的應用上下文就能引起懷疑的其它字。匹配可以由基于逐集合(setwise)字符串匹配算法的單次匹配器來實現(xiàn)。正如任何人都熟悉的Google所證實的那樣，關鍵詞搜索的信噪比可以從好變?yōu)闊o法接受，這取決于關鍵詞本身的獨特性以及關鍵詞和它們被期望表達的概念之間映射的正確性。數(shù)字指紋識別(“DF”)能夠以接近零的假陽性(falsepositive)率正確地指出某一文檔和/或數(shù)據(jù)文件的確切復制品。所述方法可以通過安全散列算法(例如，SHA-1和MD5)來計算消息摘要。DF可以檢測特殊數(shù)據(jù)文件的未授權復制和/或驗證文件沒有被篡改。由于DF對內容中較小改變的高靈敏度，幾乎沒有任何什么例如構成機密信息和知識產(chǎn)權的實際生活中的數(shù)據(jù)集被及時“凍結”并且只能夠依照原始形式來利用，所以很少將DF應用于外泄檢測問題。不完整的信息(例如，部分文檔)或者采用不同形式的相同信息(例如，作為HTML發(fā)送的Word文檔)或者具有額外標點字符的相同文檔可以通過基于DF的檢測器而完全不被察覺。盡管存在這些缺陷，作為用于析出內容中一些變化(例如，大小寫折疊、空白規(guī)范化、詞序規(guī)范化、單詞多形態(tài)、使用SOUNDEX代碼而不是字)的某些方法的上面的第二層，DF仍可能是十分有用的。內容概要分析可以包括用于識別屬于某一文檔類別的文檔的一種或多種技術。同一類別中的文檔共享類似的統(tǒng)計特征，這些統(tǒng)計特征是在諸如概要分析之類的制備過程中被確定的。概要分析可以利用屬于所述類別的有代表性的文檔集合(正面學習集合)，附帶類似于但不屬于所述類別的文檔(負面學習集合)。對于一個類別，該概要分析進程可以只執(zhí)行一次；統(tǒng)計特征的最終集合(例如，概要圖(profile))可用來測試該類別中的成員。概要圖的質量可能依賴于概要分析算法捕獲屬于該類別中所有文檔所公有的特性的能力；它可以使用不同本性的多個無關特性來進行改善。每一特性可以定義一個維度(例如，隨著文檔的不同而變化的定量測度)。安全設備的內容概要分析可使用多個不同的特性(例如，400個以上的不同特性)，這些特性可以實時地計算出以用于數(shù)據(jù)通過網(wǎng)絡。通過所述網(wǎng)絡的每個文檔可以被映射至多維空間中的單個點；其在此空間中的位置可用來計算類別成員(例如，一個以上類別中的成員可以被識別)并且觸發(fā)告警和/或反應措施。內容概要分析方法已經(jīng)由密碼分析學使用了幾個世紀了；古羅馬人就知道基于個體字母頻率變化的簡單分析方法。雖然所述簡單分析方法仍有價值，但是當補充了針對諸如詞和句的較大元素進行操作的高級統(tǒng)計法時，簡單的統(tǒng)計特性能夠更好地工作。多維概要分析器可以利用多個(例如，200左右)低級統(tǒng)計測度來進行操作，而剩下的測度都是高級統(tǒng)計測度。高級統(tǒng)計測度可以考慮到某些通用問題領域(例如，保護涉及個人健康記錄、銀行帳戶信息、顧客列表、信用卡信息、郵寄地址、電子郵件、個人歷史等的機密個人信息)來設計；可以通過添加新的領域特有的維度使所述高級統(tǒng)計測度把其它領域重新確定為目的。除了用于概括給定元素的總體用法的個體高級和低級特性以外，所述概要分析器可以具有專用于文檔的空間結構的多個(例如，100個以上)維度，包括元素之間的互相共現(xiàn)和布局。舉例來說，所述概要分析器可以在郵政編碼緊跟州名且彼此交錯的一些郵政地址中獲知州名和郵政編碼具有非常類似的頻率?？臻g分析可用于捕獲文檔的整體結構；具有和目標類別相似的使用模式的索引、詞典以及其它類型的文檔都不能輕易地欺騙它。概要分析一個學習文檔集合可以生成與所述集合中的文檔數(shù)目一樣多的位于多維屬性空間中的點。每一點可以表示個體文檔(或者文檔的片段)，并且可以被標記為“+”(在類別中)或者“-”(不在類別中)。最終的學習動作可以計算出所述屬性空間的最簡單劃分，而該劃分以最小的重疊程度將“+”和“-”點分開。該劃分可以基于有限狀態(tài)自動機(“FSA”)被自動地“數(shù)字化”為數(shù)據(jù)驅動算法，所述有限狀態(tài)自動機可以充當快速單次掃描引擎，該引擎能夠以高置信度和有線速度來識別出“位于人群中的臉”。所述方法可包括如下一些個體的或組合的特征·在分組級上監(jiān)控網(wǎng)絡通信量以便識別并防止數(shù)據(jù)外泄(例如，公司數(shù)據(jù))；·關注于諸如顧客列表、客戶端和患者記錄等的數(shù)字資產(chǎn)的‘大塊’轉送；·基于實時網(wǎng)絡的，例如具有最小配置要求；·TCP會話重組；·揭露出并分析通信的所有層面(例如，PDF、以太網(wǎng)、IP、TCP、HTTP)；·用于數(shù)據(jù)轉送的所有流行協(xié)議(例如，電子郵件、FTP、HTTP)的多級解碼；·對嵌套數(shù)據(jù)層(例如，附件、ZIP存檔)的深度檢查·對流行數(shù)據(jù)格式(例如，MSWord、MSExcel、HTML、XML、純文本)的檢查；·基于統(tǒng)計的和/或關鍵字的檢測；·用于自動概要分析和關鍵字發(fā)現(xiàn)的一個或多個工具，以便使所述方法的行為適合本地數(shù)據(jù)；·例如考慮文件結構的多維分析；·用于統(tǒng)計分析的域特有的高級特征(例如，SSN、信用卡號碼、郵政地址、電子郵件地址)；·實時關閉非法通信的及時反應；和/或·欺詐加密(例如，未授權的加密的通信信道)檢測?？梢园堰@些特征的一個或多個并入到網(wǎng)絡應用中。所述應用可以是自含的、關注任務的，和/或使得建立并加強涉及公司數(shù)字資產(chǎn)的一組網(wǎng)絡使用策略成為可能。所述方法例如可以被安裝在現(xiàn)成(off-theshelf)的Linux操作系統(tǒng)(“OS”)和基于Intel的硬件上，并且可以允許所述應用起到單機網(wǎng)絡應用的作用。所述方法可以使用Linux系統(tǒng)API來進行網(wǎng)絡分組捕獲。所述方法還可使用Linux特有的實時調度工具和標準的UNIX進程間通信(“IPC”)信道。所述方法還可使用UNIX聯(lián)網(wǎng)API來用于通用管理目的(例如，配置、向遠程控制臺發(fā)送告警信息)。所述方法還可以利用一個或多個網(wǎng)絡接口卡(“NIC”)來進行分組捕獲。所述NIC未必完全由OS(例如，沒有分配的IP地址)激活，并且可以用于“混雜”模式。所述方法例如可以在FD/SPAN模式中監(jiān)聽任意數(shù)量的NIC。所述方法的多個實例還可以運行于所述應用上。所述方法可以包括TCP會話限制器模塊，用于拆掉惡意的TCP會話，并且可以使用獨立的NIC來把分組注入到指定的網(wǎng)絡段中?？梢岳盟龇椒▉韺C器可讀介質(例如，CD)進行編程，所述機器可讀介質例如可被安裝在任何運行于配備奔騰IV和/或更高CPU的PC硬件上的Linux7.3+上?？梢允褂们д妆忍豂ntelNIC進行網(wǎng)絡探測。所述應用可以包括64位PCI/X總線以及相應的IntelPro64位1Gbps卡。應用安裝可以包括三個動作·安裝硬化的Linux內核以及必要的Linux公用程序集合；·依照所述方法安裝軟件；和/或·配置/調試軟件以便符合特定硬件配置。圖1舉例說明了包括若干模塊的系統(tǒng)(例如，平臺)的一個實施例。所述系統(tǒng)可以適用于各種應用，例如訪問包括TCP/IP網(wǎng)絡數(shù)據(jù)交換內容的所有網(wǎng)絡通信層。所述系統(tǒng)能夠例如使用日用硬件(例如，具有千兆比特NIC的多處理器Intel/Linux盒)來對完全飽和的千兆比特通信進行操作。所述系統(tǒng)可以是可擴展的，并且可以通過把網(wǎng)絡探測和分析應用分解為經(jīng)由IPC通信的多個模塊，以允許有效利用對稱多處理(“SMP”)配置中的一個或多個CPU。所述系統(tǒng)提供對網(wǎng)絡數(shù)據(jù)交換的有效并且準確的重構。所述系統(tǒng)可以(1)例如借助于依照混雜模式操作的網(wǎng)絡接口卡來獲取穿過所述網(wǎng)絡的個體分組，(2)解碼所述分組(例如，IP)以揭開底層傳輸層，(3)合并成為碎片(fragment)的分組，(4)跟蹤正在進行的雙向數(shù)據(jù)交換(例如，會話)，并且，對于TCP會話，(5)重組每一數(shù)據(jù)會話的兩側，使它們的整個內容可由內容分析層利用。這種重構因若干因素而變得復雜。所述因素之一是速度現(xiàn)代聯(lián)網(wǎng)設備支持最新的千兆比特以太網(wǎng)標準，因此許多網(wǎng)絡段在達到700-800兆位秒或者更高的有效速度上操作。為了跟上這種連接，探測組件需要足夠快，以便捕獲每個分組并有足夠的時間來分析其內容(例如，單獨地或者作為會話的一部分)。另一個因素是準確性作為一種被動應用，探測器未必具有重構所有情況下的所有通信所需的全部信息(而為了實現(xiàn)這這點，它應該有權訪問通信主機的內部狀態(tài))。如果探測器分析全雙工流或者不對稱地路由通信(若干相關的網(wǎng)絡流可能經(jīng)由獨立的NIC獲取并且被作為單個通信信道來進行分析)，那么情況會變得更加復雜。對于此問題而言，現(xiàn)有開放源和專用解決方案在許多方面存在不足。所述有效方案依賴于專用設備，諸如IBM的PowerNP網(wǎng)絡處理器；那些無效方案太慢且不精確而不能用于實際的高速網(wǎng)絡環(huán)境。解決此問題的系統(tǒng)甚至未必依賴任何專用設備。所述系統(tǒng)可以例如以千兆比特的速度提供分組探測、碎片整理、解碼、IP和TCP會話跟蹤、重組和/或分析層2-7。另外，所述系統(tǒng)可以包括具有臨時事件存儲設備和事件假脫機程序的統(tǒng)一事件處理后端。所述系統(tǒng)可以被設計成能利用多個CPU，以便為內容分析算法提供可擴展性。這種可擴展性可以通過將整個應用分解為多個模塊并且經(jīng)由靈活的IPC機制連接它們來實現(xiàn)，該機制適用于所述給定配置。所述平臺的API可以包括用于連接處理模塊的如下方法·內嵌?？梢园逊纸M分析器連同框架一起編譯為相同的可執(zhí)行狀態(tài)，并且在主要的分組處理周期中采取時間共享。此方法可以適用于單處理器硬件?！し纸M級并行。在例如通過IP和TCP重組器解碼并初始處理后，使得所述分組可用于使用循環(huán)隊列對獨立進程進行進一步的分析。例如，可以把一個或多個(例如，高達32個)外部分析器附屬于單個隊列。選項還可以包括建立若干獨立隊列，在它們之間具有輪轉(round-robin)分組分布。和/或·流級并行。TCP流重組器可以把重組的流數(shù)據(jù)置于循環(huán)流隊列中。此隊列可服務于被設計來分析整個客戶端-服務器會話內容的程序。例如，可以把一個或多個(例如，高達32個)外部分析器連接至單個隊列。同時，可以配置多重隊列，在它們之間具有輪轉分布。內嵌和外部內容分析組件都可以例如通過經(jīng)由基于消息的API調用中心事件處理組件來生成事件。所述事件處理組件可以依照正常的優(yōu)先級運行于獨立的進程；它可以從輸入隊列中獲得事件并且可以把它們寫入臨時文件存儲設備。永久性事件存儲設備可用來以最小的信息損失經(jīng)受住網(wǎng)絡故障。所述事件處理組件可以被設計成能最小化拒絕服務(“DoS”)攻擊探測器自身的可能影響。它可以通過把整個系列事件壓縮為一個“組合”事件來對一系列相同的或者相似事件作出反應，所述“組合”事件以壓縮形式來存儲全部信息；對于相同的事件而言，所述組合事件可以包含來自單個事件的信息以及事件計數(shù)。通過事件處理器收集的信息可以例如通過事件假脫機組件發(fā)送至其目的地(例如，諸如數(shù)據(jù)挖掘控制臺的獨立的事件分析組件)。當新事件被寫入假脫機目錄時，所述事件假脫機程序可以跟蹤新事件。每一新事件可以被加密并且發(fā)送至一個或多個目的地。所述事件假脫機程序可以作為獨立的低優(yōu)先級進程來運行。分組捕獲分組捕獲模塊的一個實施例(例如，參見圖1)可以被配置來用于快速并且可靠的分組捕獲和/或是千兆比特能力的網(wǎng)絡探測器。依照單NIC半雙工模式，所述分組捕獲模塊在常備硬件(例如，具有千兆比特IntelNIC的Linux/Intel盒上的libpcap)上可以提供2倍于常規(guī)分組捕獲方法的速度。此加速可以通過將耗時的活動保持在最少程度，而留有更多時間進行分組處理來實現(xiàn)，所述耗時活動諸如硬件中斷、系統(tǒng)調用和數(shù)據(jù)復制。實際生活中的網(wǎng)絡通信是變化多樣的。常見的分組大小分布趨向于最大約80字節(jié)和1500字節(jié)。一段時間內的分組速率分布可能會很不均勻。不同于合法的目的主機，網(wǎng)絡探測器可能沒有能力依其所需來協(xié)商分組速率。因此，可以將其設計成能夠為正被探測的通信提供足夠的緩沖，并且同樣，每一分組提供一個相當規(guī)模的處理窗口。每一硬件中斷都可能產(chǎn)生上下文切換，其是現(xiàn)代IntelCPU上的非常昂貴的操作。為了使中斷保持最小值，所述分組捕獲模塊可以利用定制的IntelNIC驅動器以充分利用IntelNIC的延遲中斷模式?？梢岳米钚翷inux內核所支持的分組套接字模式(例如，PACKET_RX_RING套接字選項)的所謂“渦輪”擴展來減少系統(tǒng)調用次數(shù)。當將其使用至最大潛能，修改的驅動器和渦輪模式可以提供對NIC數(shù)據(jù)緩沖區(qū)的盡可能快的訪問；100％能力的輪詢導致每一捕獲分組只產(chǎn)生約0.001次(被分攤的)中斷/系統(tǒng)調用。為了處理通信中的瞬間電涌，所述分組捕獲模塊可以為分組緩沖區(qū)分配若干兆字節(jié)。大型緩沖區(qū)還可以減少由IP碎片整理程序和TCP重組器引起的不規(guī)則延遲所導致的的分組丟失。所述分組捕獲模塊可以使用多個NIC依照FD/SPAN模式進行操作，為完全的會話重組提供支持。來自依照混雜模式操作的多個NIC的分組可以通過同時輪詢若干分組緩沖區(qū)而交錯。所述輪詢策略未必引入附加的上下文切換或者系統(tǒng)調用；每個緩沖區(qū)都可能獲得輪詢機會。所述分組捕獲模塊可以被實現(xiàn)為若干需要時加載的動態(tài)庫。所述“通用目的”庫可處理任意數(shù)目的NIC。還有具有被優(yōu)化來用于1(HD模式)和2(FD模式)NIC的硬編碼參數(shù)的版本。編程API類似于PCAP(由于功能上的差異，要做到完全兼容是不現(xiàn)實的)。所述通用目的庫可以接受具有多個接口的接口初始化字符串(例如，“eth1∶eth3∶eth5”)。對面向TCP模型的實際通信和模擬通信的分組到達時間分布的測量表明，對分組緩沖和拾取的改善使用于分組處理的時隙平均增加了20％。對于相同的通信量，這使得在0.5-1千兆位秒?yún)^(qū)域中的分組丟失率(“PLR”)下降了30％-50％，由此允許傳感器在相同的PLR截至(cut-off)和通信飽和水平的情況下能夠處理1.5倍或更多的負載。所述分組捕獲模塊(例如，參見圖2)可以被配置為利用Linux高速網(wǎng)絡捕獲接口。此接口可以在NIC驅動器空間內分配環(huán)形緩沖區(qū)，并且將它直接映射到接收方的進程，由此消除了用于把數(shù)據(jù)從內核復制到目的進程的系統(tǒng)調用開銷。環(huán)形緩沖區(qū)的附加優(yōu)勢是它有效地消除了網(wǎng)絡通信中的電涌以及分組處理中的延遲。所述分組捕獲模塊可以使用C語言以需要時加載的動態(tài)庫形式實現(xiàn)。可以有三個庫，并被優(yōu)化來與1個NIC、2個NIC以及任意數(shù)量的NIC一起使用。分組捕獲模塊API所述分組捕獲模塊可以使用標準UNIX動態(tài)庫接口來實現(xiàn)。該接口可作為需要時加載的動態(tài)庫在所述分組捕獲模塊中使用。存在有若干分組捕獲模塊庫，且針對不同數(shù)目的NIC(例如，1、2、用戶指定數(shù)目)進行優(yōu)化。例如除了期望包含特定數(shù)目NIC名稱的特定格式的字符串的初始化調用之外，所述分組捕獲模塊API在所有場合中可以是一樣的。所述分組捕獲模塊可以導出如下函數(shù)·void*init(char*iface，char*errbuf，char*nr_blocks)○ifaceNIC名稱字符串，類似“eth1”。在多個接口的情況下，iface字符串看起來像如下“eth1∶eth3∶eth2”○errbuf指向調用者提供的錯誤緩沖區(qū)的指針，例如不少于512字節(jié)○nr_blocks將由NIC驅動器分配的所請求的塊數(shù)量。如果nr_blocks是0，那么請求默認值?！oidfini(void*handler)○handler由相應init()函數(shù)返回的值·voidstat(void*handler，pc_st*stat)○handler由相應init()函數(shù)返回的值○stat統(tǒng)計數(shù)據(jù)結構·intlinktype(void*handler)○handler由相應init()函數(shù)返回的值·intloop(void*handler，pc_catcher_t*func，char*arg)○handler由相應init()函數(shù)返回的值○func用于接受分組數(shù)據(jù)的用戶特有的函數(shù)的地址○arg將向下傳至func()的可選參數(shù)分組捕獲模塊初始化方法可以加載分組捕獲動態(tài)庫并且調用其init()函數(shù)。此函數(shù)可以為NIC名稱解析輸入串，對于每個發(fā)現(xiàn)的NIC名稱，此函數(shù)可以執(zhí)行如下操作·創(chuàng)建分組套接字·請求NIC驅動器來分配具有指定大小的環(huán)形緩沖區(qū)；·把得到的緩沖區(qū)映射至其存儲空間；和/或·初始化內部緩沖區(qū)標識器，該內部緩沖區(qū)標識器用于指向緩沖區(qū)片段的開始。在初始化之后，所述方法(例如，參見圖3)可以調用loop()函數(shù)。loop()函數(shù)可以在所述方法的生命周期內工作，例如直到出現(xiàn)致命錯誤或者所述方法接收到終止信號為止。loop()可以依照輪轉的方式來輪詢NIC緩沖區(qū)。可以通過檢驗由驅動器(例如，參見圖2)初始化的控制字段來驗證每一緩沖區(qū)的當前片段是否已準備好數(shù)據(jù)。如果在所述片段中沒有可利用的數(shù)據(jù)，那么可以檢驗下一個NIC緩沖區(qū)。如果所有緩沖區(qū)是空的，那么loop()可以例如使用poll()系統(tǒng)調用來懸掛(suspend)所述方法。當新的數(shù)據(jù)變?yōu)榭捎没虺瑫r(例如，一秒的超時)之后，無論哪一個首先到來，所述方法都可以恢復。在超時的情況下，用戶指定的函數(shù)可以利用NULL參數(shù)來調用。這對于任務是監(jiān)視通信缺失的某些分組處理器來講是有用的。在用戶函數(shù)被調用之后，可以經(jīng)由poll()再次懸掛所述方法。在可用數(shù)據(jù)的情況下，所述方法可以檢驗由poll()返回的結果，以便查看目前哪個NIC緩沖區(qū)具有數(shù)據(jù)并且可以直接跳轉至該緩沖區(qū)的最近檢驗的片段，過后恢復正常的緩沖區(qū)輪詢過程。如果poll()被通知存在約一個以上就緒緩沖區(qū)，那么所述方法可以根據(jù)保存的緩沖區(qū)索引來恢復正常過程。當所述方法發(fā)現(xiàn)退出的理由時，分組捕獲模塊可以停止。來自分組捕獲API的所述fini()函數(shù)可以關閉控制套接字。UNIX標準進程退出過程可以關閉所有通信信道并且回收由所述方法使用的所有存儲器。因此，可以不必調用fini()。IP碎片整理程序IP碎片整理程序的一個實施例(例如參見圖1)可以被配置為滿足網(wǎng)絡探測器的特定要求。在通信合法且碎片稀少的假定下，已經(jīng)設計出多用途的IP碎片整理程序。充當分組檢查應用基礎的網(wǎng)絡探測器可能不得不在重負載下工作，并且在存在DoS攻擊的情況下保持穩(wěn)定。除提供快速的和/或魯棒的分組重組外，它還可以例如當非法碎片一到達時就檢測到并對非法碎片作出反應。因此所述分組檢查應用可包括低反應延遲且能對抗專門設計來降低‘標準’IP堆棧的攻擊。用于網(wǎng)絡探測器的IP碎片整理程序可以提供如下可配置的選項最小碎片大小、每一分組的碎片的最大數(shù)目、最大重組的分組大小、分組重組超時等。所述IP碎片整理程序可以被配置為在任何碎片順序下同樣好地執(zhí)行。所述碎片整理程序可以包括低每-碎片開銷，并且可以關注每-碎片(和/或每-分組開銷)以便處理DoS攻擊，所述DoS攻擊利用非法的和/或隨機重疊碎片來泛洪(flooding)網(wǎng)絡?？梢酝ㄟ^降低初始化/完成階段的成本和/或在碎片之間分布所述處理(例如，均勻地)來實現(xiàn)每-碎片開銷的最小化。因此，可以在處理中及早識別無效的碎片流，并且?guī)缀鯖]有時間會花費在第一無效碎片后的所有碎片上。最小化初始化/完成時間還可以積極地影響碎片合并程序對很短碎片的性能，所述很短碎片用在以安全裝置為目標的某些DoS攻擊中。這種改善可以歸因于更好地利用了由NIC和分組捕獲庫提供的緩沖能力。所述碎片整理程序可以提供例如1千兆位秒(Gbps)以上的吞吐量，并且例如對于大無效碎片可以達到19Gbps。針對無效的碎片，碎片整理程序的早先無效碎片檢測可以導致6折性能增益。IP碎片順序對IP碎片整理程序的性能沒有影響。對比來看，Snortv2.0的碎片整理程序平均比IP碎片整理程序的性能慢3倍。小碎片和/或無效碎片上的低吞吐量是瓶頸，它會影響整個分組檢查應用用于處理重負荷并且對抗千兆比特網(wǎng)絡上的DoS攻擊的能力。IP碎片整理程序的一個實施例(例如，參見圖4)可以被配置為準確的并且高速的IP分組碎片整理程序。對于每個來自分組捕獲模塊的網(wǎng)絡分組，IP碎片整理程序的子例程可以被調用一次。所述子例程可以為IP碎片屬性而檢驗分組。如果發(fā)現(xiàn)了該屬性，那么所述分組可以被視為碎片并且可以被發(fā)送至碎片處理/重組子例程。所述碎片還可以發(fā)送給下一處理器模塊——類似SNORTRAN的分組處理器需要掃描所有接收的分組，包括碎片。在成功重組之后，所述重組的IP分組可以被提交以便進一步處理。認為不良的和/或不滿足獨立配置要求的IP碎片例如可以使用告警機構被報告。IP碎片整理程序還可以使用統(tǒng)計存儲器池來計數(shù)接收到的碎片、整理碎片后的分組、生成的告警等。IP碎片整理程序配置參數(shù)所述IP碎片整理程序可以接受如下的配置參數(shù)·mempool設置存儲器池的大小和相應散列表大小。值可以是小、中、大、巨大?！axsize設置“合法”重組IP分組的最大長度。如果重組的長度大于指定的值，那么所述IP碎片整理程序可以生成告警并且解散所述分組。默認值可以是10KB?！insize設置“合法”重組IP分組的最小長度。如果重組的長度小于指定的值，那么所述IP碎片整理程序可以生成告警并且解散所述分組。默認值可以是1000字節(jié)。和/或·timeout設置IP分組重組的超時。如果用于此特殊分組的重組時間超出指定值，則所述IP碎片整理程序可以生成告警并且解散所述分組。默認值可以是30秒。IP碎片整理程序初始化過程IP碎片合并程序的初始化子例程ipdefrag_init()可以在啟動期間被調用。所述子例程可以讀取配置文件并分配碎片整理程序會話描述符池及相應的散列表(大小可以在配置文件中設置)。所述IP碎片整理程序在分組處理階段不必動態(tài)分配存儲器所有請求的資源可以在初始化階段被預先分配。為了改善性能，所分配的存儲器可以例如通過使用Linuxmlock()系統(tǒng)調用而被排除在調換之外。在調用mlock()之后，可以使用bzero()調用來初始化所分配的存儲器，以便確保所有必需的頁被載入存儲器并被鎖定在那里，因此在分組處理階段不會出現(xiàn)頁錯誤。可以以超級用戶的權限調用ipdefrag_init()，以確保mlock()調用成功。在分配后，來自所述池的所有會話描述符可以被順序地插入單向空閑描述符鏈中(例如，參見圖5)。此鏈可以在分組處理階段由分配和解除分配(de-allocation)子例程使用。IP碎片整理程序的分組處理的一個實施例(例如，參見圖8)可以包括入口點ip_defrag()，每當新的分組數(shù)據(jù)來自分組捕獲模塊時，它將被調用。ip_defrag()可以檢驗所述分組具有IP碎片屬性，例如，MF標志和/或碎片偏移量不為零。如果分組被認為是IP碎片，那么其長度可以被驗證除最后一個之外的所有IP碎片可以具有可由8除盡的有效負載長度?？梢詾殄e誤長度的碎片生成告警；此后，這種碎片可以被忽略。如果到來分組還沒有被識別為IP碎片，那么ip_defrag()可以在描述符時期鏈中最舊的元素(例如參見圖6)中檢驗超時的元素，如果找到，則解除分配它們。所述解除分配子例程可以重置碎片整理程序會話描述符，從散列表和描述符時期鏈(例如，參見圖6)中將其移除，并且將其置于空閑描述符鏈的開始(例如，參見圖5)，并調整空閑描述符鏈(“FDC”)變量。否則，碎片的IPid及其協(xié)議、源和目的地地址可被用來計算散列值以存取到來碎片的會話描述符。如果沒有發(fā)現(xiàn)針對該碎片的會話描述符，則分配一個新的。分配子例程可以從FDC變量所指向的空閑描述符鏈的首部獲取描述符(參見圖5)；然后把FDC切換至鏈上的下一描述符?？梢园炎钚路峙涞拿枋龇膮⒖疾迦雰蓚€位置中·使用計算出的散列值的散列表；和/或·雙向描述符時期鏈，作為“最新”項，調節(jié)變量TC_young(參見圖6)。如果所述空閑描述符鏈為空，那么來自統(tǒng)計共享池的分配失敗計數(shù)器可增加，并且來自描述符時期鏈的最舊的描述符可被重新使用。這可以確?！に龇椒梢蕴幚碣Y源短缺而不會崩潰；和/或·新IP分組可以具有比舊IP分組更高的優(yōu)先級。在現(xiàn)代網(wǎng)絡中，30秒IP重組超時是很少的，并且通常表明惡意活動。碎片整理程序會話描述符(例如，參見圖7)可以包括兩個部分控制數(shù)據(jù)和有效負載緩沖區(qū)。來自到來IP碎片的有效負載數(shù)據(jù)可以被復制到相應會話描述符的有效負載緩沖區(qū)中。所述描述符中的IP偏移位掩碼中的標志可以被設置來準確地識別重組IP分組中的哪些8字節(jié)塊被復制。攜帶已被標記的塊的任何新IP碎片可以產(chǎn)生告警。相應的碎片整理程序描述符可以被標記為不良的。屬于不良描述符的每個后續(xù)碎片可以被忽略。如先前描述的那樣，不良描述符最終可以被解除分配(例如，當其超時期滿時)。該法可允許·甚至在發(fā)送告警之后也可以識別惡意的IP碎片(淚滴(teardrop)攻擊等等)?！γ總€惡意會話只生成一個告警；和/或·惡意的IP碎片不會導致空閑描述符鏈中資源短缺。由碎片整理程序會話描述符所涉及的重組IP分組可以被認為是完整的，如果·所有碎片被復制(例如，在IP偏移位掩碼中沒有間隙)；·最后IP碎片被接收；和/或·重組有效負載的最終長度等于來自相應會話的所有有效負載碎片的總和。必要時，重組分組可以接收新的IP和層4校驗和。此后，將其發(fā)送至流水線的其余部分以用于進一步處理。當完成分組遞送時，相應的碎片整理程序會話描述符可以如上所述被解除分配。TCP重組器TCP重組器的一個實施例(例如，參見圖1)能夠進行幾千兆比特的數(shù)據(jù)處理。它例如可以向諸如內容掃描和加密檢測的模塊饋送重組的網(wǎng)絡數(shù)據(jù)。它還可以向已處理的每一網(wǎng)絡分組指派TCP流屬性，以使深度分組檢查模塊可以分析所述分組。所述TCP重組器可以跟蹤TCP會話，保存描述每一開放會話的信息列表和/或連接屬于會話的分組，以便使客戶端和服務器流的整個內容可以被傳遞至內容檢查的上級。TCP重組器可以提供多層重組和內容檢查。只處理全雙工連接的一側和/或重組數(shù)據(jù)流內的任意區(qū)域以便改善概率檢測器的概率的類似“深度”分組檢查的部分解決方案未必是足夠的。TCP重組器可成熟到足以處理現(xiàn)實分組流的復雜性。分組檢查員的重組器所面對的問題與TCP/IP棧的那些十分不同通過依照混雜模式的探測器NIC看到的分組不是依照所期望的順序到來的，因此傳統(tǒng)的狀態(tài)圖很少被使用；標準超時由于抽頭和路由器所引入的各種延遲而需要被調節(jié)；在分組流中未必有足夠的信息來計算客戶端和服務器等的內部狀態(tài)等。用于分組探測器的TCP流重組器可以在例如好于任何“標準”TCP/IP棧的現(xiàn)代網(wǎng)絡的苛刻環(huán)境下操作。所述TCP重組器可以包括TCPSYN防洪、存儲器過載保護等。用于分組探測器的所述TCP/IP流重組器可以是快速的。所述TCP重組器可以被耦合至分組捕獲層，以允許它同時監(jiān)控任意數(shù)目的NIC和/或交錯從不同網(wǎng)絡流中取出的數(shù)據(jù)。所述分組捕獲層可以允許可靠地重組諸如全雙工TCP流的客戶端和服務器數(shù)據(jù)和/或非對稱路由的分組，其中每個流可以取決于會話控制信息的其它流。所述TCP重組器可以依照一個或多個模式操作·只跟蹤會話。此模式適合于只須跟蹤TCP分組的方向(例如，客戶端至服務器或服務器至客戶端)和有效性的應用。在SMP設置中，使得方向信息可由接收方應用經(jīng)由分組級API得到?！捀櫤筒糠諸CP流重組?？蛻舳?服務器會話的初始部分可以被收集在緩沖區(qū)中，所述緩沖區(qū)通過可配置的截止值來限制。在SMP設置中，使得所述重組的流可由接收方應用經(jīng)由流級API得到?？梢詾橛糜谟浫氚瑦阂夥纸M的TCP會話的初始碎片的應用配置此模式。對于會話的服務器部分來說，默認截止值可以是8KB，對于客戶端部分來說，默認截止值是8KB。和/或·會話跟蹤和高級TCP流重組?？蛻舳?服務器會話可以被收集到預先分配的緩沖區(qū)鏈中。依照默認，每個會話可以收集最多1600KB(例如，每一方向800KB)。大小參數(shù)是可配置的并且可以根據(jù)需要增加。在SMP設置中，重組的流可以為接收方應用所獲得。長TCP會話中常見的“TCP序列跳躍”效應可以被監(jiān)視到并且與惡意的和/或窗口外的分組加以區(qū)別。此模式可以例如為這樣的應用遞送流重組，在所述應用中，重組的流被進一步逐層的分解/解碼并且對內容進行分析。TCP重組器可以基于令人想起馬爾可夫網(wǎng)絡的簡化的狀態(tài)轉換圖。每一套接字對可以被映射至獨立的有限狀態(tài)自動機，有限狀態(tài)自動機通過基于到來分組的類型、其序號、及其相對于最新“基點”的時序(例如，先前分組或者對應于密鑰變換的分組)從一個狀態(tài)切換至另一個狀態(tài)來跟蹤會話。由于重組器可能不得不處理不合適的分組(例如，應答分組之后到來的請求分組)，所以轉換未必僅僅依賴于分組類型。在每一狀態(tài)，自動機可以保存對會話的實際狀態(tài)可能處于的若干“猜測”，并且可以基于到來分組來選擇“最好”的一個。無論哪一個“猜測”可以更好地預測分組的出現(xiàn)，都可以將其作為觀察到的會話狀態(tài)的“最好”特征，并且可以為下一動作形成新的“猜測”。所述TCP重組器還可以包括硬編碼的規(guī)劃和轉換；允許編碼優(yōu)化的固定并且內嵌替代的參數(shù)。對于正常通信量，最終的重組器可以包括1.5-2Gbps(或更多或者較少)的平均吞吐量。當平均分組長度是80字節(jié)時，在特別制備的SYN泛洪/DoS攻擊上，它可以一直到250Mbps。所述TCP重組器足夠快以至于能夠處理完全飽和的1Gbps的通信量。與SMP配置中的第二CPU上運行的獨立的分組級檢驗進程或者一個或多個獨立的TCP流解碼器/分析器一起，所述平臺可以為各種各樣的千兆比特能力的網(wǎng)絡監(jiān)視方案提供基礎。比較起來，目前可得到的類似Snort的流4的開放源方案需要采用欺詐和詭計以跟上日常硬件上的千兆比特通信量。在Snort2中，這意味著受限的默認設置(只客戶端、若干眾所周知的端口)和諸如“HTTP流控制”處理器的人工過濾器，而所述人工過濾器忽略差不多80％的在默認模式下的通信量。利用Snort2設置進行試驗可清楚表明stream4的吞吐量是真實的瓶頸；僅僅通過將Snort丟棄分組的方式從‘可預測的’變?yōu)椤S機的’，就能處理更多的分組。對于來自IP碎片整理程序的每一網(wǎng)絡分組，TCP重組器模塊的子例程(例如，參見圖9)可以被調用一次。所述例程可以驗證所述分組是否是TCP分組。如果是，那么可以發(fā)送該分組以用于TCP處理/重組。所述分組可以通過它所屬的TCP會話的地址(如果有的話)來標注，并且可以被提交給流水線以便進一步處理(取決于配置)?？梢詫Ψ纸M和相應的會話檢查非法的TCP標志組合(可以獨立地配置對什么是合法的要求)?？梢越?jīng)由告警機構報告非法分組和會話和/或丟棄該非法分組和會話，這取決于配置。使用UNIXIPC共享的存儲器和信標池，TCP重組器可以重構TCP會話和客戶端-服務器會話數(shù)據(jù)，并且可以將它們發(fā)送至分析模塊以便進一步處理。所述分析模塊可以作為獨立的UNIX進程來運行。它們可以使用IPC信道來檢索TCP會話數(shù)據(jù)。TCP重組器還可以使用統(tǒng)計存儲池來計數(shù)重組的會話、生成的告警等。TCP重組器配置參數(shù)所述TCP重組器可以接受如下配置參數(shù)·alert生成關于非法分組和TCP會話的告警。·evasion_alert如果TCP分組不適合預測的TCP窗口，那么生成告警?！oclient不重組會話的客戶端部分(套接字對)?！oserver不重組會話的服務器部分?！limit設置用于重組特定客戶端-服務器會話的存儲緩沖區(qū)的最大數(shù)量?！ring設置用于向分析器發(fā)送重組數(shù)據(jù)的有效負載環(huán)的大小?！empool設置用于TCP會話描述符的存儲池的大小以及相應散列表的大小。值可以是小、中、大、巨大。和/或·payload設置用于重組客戶端服務器會話的存儲緩沖區(qū)的總數(shù)以及它們的總體大小。每-會話限制可由plimit參數(shù)設定。TCP重組器初始化TCP重組器的初始化子例程tcps_init()可以在啟動期間被調用。所述子例程可以讀取配置文件并且使用UNIX共享存儲器來分配如下存儲器池·TCP會話描述符；·用于訪問所述會話描述符池的散列表·有效負載緩沖區(qū)；和/或·TCP會話環(huán)形緩沖區(qū)。存儲器分配大小可以基于配置參數(shù)來計算。大小為32的UNIX信標集合也可以被分配。所述TCP重組器在分組處理階段不必動態(tài)地分配存儲器；所有請求的資源可以在初始化階段被預先分配。所分配的共享存儲器可以通過使用shmctl()系統(tǒng)調用中的LinuxSHM_LOCK選項被排除在調換之外。在請求鎖定之后，可以使用bzero()調用來初始化所分配的存儲器，以便確保所有必需的頁可以載入存儲器并且鎖定在那里，因此在分組處理階段不會出現(xiàn)頁錯誤。tcp_stream_init()可以基于超級用戶權限來調用以確保shmctl()調用成功。如果已經(jīng)分配了必要的片段，并且所有大小都是正確的，那么tcp_stream_init()可以附屬于現(xiàn)存的存儲器池而不用重置它們。另外，如果重啟，所述模塊可以不必解除分配存儲器?？梢酝瓿蛇@來支持‘軟重啟’特征重新加載的應用可以繼續(xù)使用現(xiàn)有的TCP會話數(shù)據(jù)，僅僅在重新加載的時刻丟失分組。所述TCP重組器需要存儲器(例如，大量RAM)。為了獲得所有所請求的存儲器，應用程序可以在標準啟動過程期間利用sysctl()來增加SHMMAX系統(tǒng)參數(shù)。在分配后，TCP會話描述符和有效負載緩沖區(qū)可以分別被順序地插入所述空閑會話鏈和空閑有效負載鏈中(例如，參見圖10)。這些鏈可以在分組處理階段由分配和解除分配子例程使用。TCP會話分配和狀態(tài)轉換為了鏡像TCP會話的全雙工特性，所述描述符可以包含兩個相同的子結構，該子結構用于描述客戶端和服務器流。為每個流識別的狀態(tài)可以包括LISTEN(傾聽)、SYNRCVD、SYNSENT、ESTABLISHED(建立)和CLOSED(關閉)。兩個流的生命周期可以始于CLOSED狀態(tài)。對于正常的TCP/IP通信量來說，依照流轉換圖(例如，參見圖11)，所述狀態(tài)可以升級到ESTABLISHED，然后最終回到CLOSED。當接收到SYN和SYNACK分組時，流的描述符字段ISN可用來保存SEQ數(shù)目。此字段稍后可用于TCP有效負載重組和附加TCP會話驗證。所述TCP會話描述符可以利用其自己的狀態(tài)標志來遵循其所描述的流的轉換，以反映所述會話的通用狀態(tài)UNESTABLISHED(未建立)、ESTABLISHED或者CLOSED。圖12舉例說明了會話狀態(tài)轉換圖的一個實施例。每一會話可以始于UNESTABLISHED狀態(tài)。當客戶端和服務器流都切換到ESTABLISHED狀態(tài)時，會話可以升級到到ESTABLISHED狀態(tài)。當兩個流都切換到CLOSED狀態(tài)時，會話便處于CLOSED狀態(tài)。每個會話狀態(tài)可以對應于會話時期鏈中的一個特定位置(例如，參見圖13)。所述會話分配子例程可以執(zhí)行如下動作·通過調用bzero()來初始化描述符；·把描述符置于散列表；·把描述符從空閑會話鏈中去除；·把描述符置于UNESTABLISHED時期鏈的首部；和/或·把唯一的會話id分配給描述符的sid字段。隨著每個會話升級，依照會話狀態(tài)轉換圖，可以把描述符從當前時期鏈上去除并且置于下一個的首部。TCP會話解除分配所述TCP會話描述符可以包括稱為etime的字段，其用于保存屬于此特定會話的最新分組的時間。對于TCP重組器接收到的每個分組，位于時期鏈結束時的會話例如可以通過ses_recycle()子例程來測試超時。所使用的超時取決于會話的狀態(tài)·UNESTABLISHED12秒·ESTABLISHED600秒·CLOSED30秒所述ses_recycle()程序還可以檢查模塊寬度RC_LVL變量，其用于確定失效會話的最大數(shù)目以便對每一所接收的分組解除分配。此數(shù)目可以從每一分組兩個失效會話開始，并且結束于每一分組高達30會話(存在一個表用于基于RC_LVL值來計算會話數(shù)目，其中RC_LVL本身可以在從1到7的范圍內)。所述ses_recycle()程序計算所述限制，必要時遞減RC_LVL(最小值可為1)，然后依照如下順序來從ASC_old側動手處理會話時期鏈(例如，參見圖13)UNESTABLISHED到CLOSED到ESTABLISHED。在每一鏈中，它可以從末尾開始解除分配失效會話，然后必要時它可以順序地移到下一鏈，直到不再有失效會話或者達到所述限制為止。在把新的會話插入到散列表中期間，每當存在沖突時，RC_LVL會增加。當重組器處于TCP重組器過載條件模式時，還可將其指派為最大值。解除分配子例程可以從散列表和會話時期鏈中去除會話描述符，并且例如使用FSC_tail變量把它轉送到空閑會話鏈的末尾。在解除分配過程期間，沒有會話數(shù)據(jù)被重置；按照這種方式，數(shù)據(jù)仍可以由異步模塊使用，直到在后續(xù)分配期間被重置為止。如果會話具有所收集的其有效負載數(shù)據(jù)，那么子例程可以把會話的地址和會話id插入到TCP會話環(huán)形緩沖區(qū)中，并重置信標陣列，以表明會話數(shù)據(jù)可以為異步處理所用。異步處理模塊可以把提供的會話id與指派給sid字段的會話id進行比較，以便驗證數(shù)據(jù)仍未被重寫并且開始處理。如果會話升級到CLOSED狀態(tài)，那么TCP會話信息還可以被插入TCP會話環(huán)形緩沖區(qū)中。提交之后，有效負載緩沖區(qū)從會話處分離。會話描述符中的空閑的字段可以防止TCP重組器兩次提交數(shù)據(jù)。處理TCP重組器過載條件當沒有空閑會話描述符可以利用以便滿足分配請求時，會出現(xiàn)TCP重組器過載條件的一個實施例。如果mempool配置參數(shù)對網(wǎng)絡通信量來說不適當，或者當網(wǎng)絡段受到TCPsyn-flood攻擊時，它可能發(fā)生。當切換到此模式時，所述TCP重組器可以把RC_LVL變量設置為其最大值，并且停止分配新的會話，直到空閑會話數(shù)量例如變得小于總會話池的10％為止。它可以連續(xù)跟蹤現(xiàn)有的會話并收集它們的有效負載數(shù)據(jù)。TCP會話隊列API可以在TCP重組器初始化階段期間例如使用UNIXIPC機構來分配TCP會話環(huán)形緩沖區(qū)和信標陣列。緩沖區(qū)可以由被許可的任何進程訪問。圖14舉例說明了包括TCP會話地址、會話id和被處理為位掩碼的整數(shù)值(例如，32位)的每一緩沖區(qū)扇區(qū)。所述信標陣列可以包含32個信標。每一異步處理模塊可以調用用于指定0和31之間的唯一id號的tcpplcl_init()子例程，以便附屬于環(huán)形緩沖區(qū)和信標陣列。所提供的id可以被其它API函數(shù)用來涉及信標陣列中的特定信標和位掩碼中的相應位。然后，所述進程可以調用tcpplcl_next()來獲得下一可用的TCP會話。TCP重組器可以通過執(zhí)行如下動作來提交用于處理的新會話·把會話地址和會話id置于環(huán)形緩沖區(qū)的下一扇區(qū)；·重置此扇區(qū)中的位掩碼；和/或·重置所述信標陣列?？蛻舳藗壬系乃鰐cppicl_next()子例程可以例如使用semwait()調用來等待id指定的信標。當緩沖區(qū)就緒時，它可以逐片段地遍歷緩沖區(qū)，設置位掩碼中的id指定位，直到它發(fā)現(xiàn)下一扇區(qū)中的位已被設置為止。該情形意味著不再有數(shù)據(jù)仍可用——到了再次調用semwait()的時候。所述API可以向應用程序提供關于TCP會話和重組的有效負載數(shù)據(jù)的全部信息。一旦變?yōu)榭捎茫鲂畔⒈惶幚?。TCP有效負載重組每次會話描述符切換到ESTABLISHED狀態(tài)時，可以把有效負載緩沖區(qū)從空閑有效負載鏈取出，并且如果noclient和noserver配置參數(shù)允許，那么將其初始化并且指派給客戶端和/或服務器流描述符。屬于特定會話的分組的每一非空有效負載可以被復制到有效負載緩沖區(qū)中的相應位置，直到所述會話升級到CLOSED狀態(tài)或者有效負載緩沖區(qū)的數(shù)目超過限制，例如由plimit參數(shù)所指定的限制(例如，參見圖15)。分組的有效負載在緩沖區(qū)內的位置可以通過分組的SEQ數(shù)目、流的ISN和流的基本字段值的組合來確定。后者可以通過子例程來計算對于長TCP會話而言，現(xiàn)代TCP堆棧傾向于隨機增加SEQ數(shù)目；基本字段補償那些改變。pl_alloc()子例程可用來把有效負載緩沖區(qū)加入所述鏈，例如最多達到plimit的值。如果空閑有效負載鏈為空，那么pl_alloc()可以執(zhí)行下列步驟·增加統(tǒng)計池中的有效負載失敗計數(shù)器；·把當前有效負載鏈標記為完整的，避免稍后越限有效負載復制；和/或·將錯誤返回至調用者。當會話達到CLOSED狀態(tài)時，或者如果有效負載緩沖區(qū)由于會話超時而從ESTABLISHED狀態(tài)解除分配，那么ses_free()子例程可以執(zhí)行下列步驟·向TCP會話環(huán)形緩沖區(qū)提交TCP會話；·向空閑有效負載鏈的末尾添加有效負載緩沖區(qū)；和/或·設置會話描述符的空閑字段，因此會話可以不被提交兩次。ses_free()子例程可以不必擦除有效負載和/或會話數(shù)據(jù)在異步應用程序經(jīng)由TCP會話隊列API對緩沖區(qū)進行處理時，它僅將緩沖區(qū)標記為可用。分組處理周期概述每當有新的分組數(shù)據(jù)來自IP碎片整理程序時，就調用TCP重組器的入口點子例程tcps()。首先，tcps()調用ses_recycle()，(參見，TCP會話解除分配章節(jié))，然后可以檢驗所述數(shù)據(jù)是否真的是TCP分組(例如，參見圖16)。如果所述到來分組沒有被識別為TCP分組，那么tcps()結束。然后可以為了大量非法的TCP標志組合(例如，SYN和FIN標志一同存在)而探測所述TCP分組。如果設置了告警配置標志，那么為無效的TCP分組生成告警；此后，這種分組將被忽略。否則，分組的源和目的地址以及端口(套接字對信息)可用來計算散列值，并且用來識別所述分組的相應的會話描述符?；谒龇纸M承載的標志以及會話描述符是否被發(fā)現(xiàn)，可以跟隨分組分析階段。此階段試圖識別非法分組；例如，如果分組包含SYN標志并且會話描述符已被分配，那么所述分析可以包括對流ISN與分組的SEQ數(shù)目進行比較，并且審查相應的超時。作為此特殊分析的結果，此分組可以被識別為·TCP重傳嘗試；·新TCP會話的開始；和/或·TCP會話欺詐/劫持嘗試。通過此分析確定的非法的TCP分組可以被忽略和/或報告。在這一點上，所有非法分組可以被濾出。所述會話/分組組合接下來可以被分析。根據(jù)會話狀態(tài)和分組標志/有效負載，可以進行一個或多個如下動作·把分組的有效負載存儲在有效負載緩沖區(qū)中；·分配新的會話；·升級流狀態(tài)；·升級會話狀態(tài)；·把會話提交給TCP會話環(huán)形緩沖區(qū)；和/或·增加流的基本值以便補償流SEQ值中的突然跳轉。在tcps()結束時，所述分組可以利用它所屬的TCP會話的地址來標注，并且可以被發(fā)送給流水線的其余部分以便進一步處理。TCP重組器卸載所述TCP重組器在正常退出期間使用atexit()機構來解除分配共享的資源。如果在重新配置周期期間應用程序例如已經(jīng)接收到來自進程管理器的重新配置請求，那么共享存儲器和信標陣列可以被原封不動地留下。所述模塊可以重讀其配置文件，同時所有其它模塊連續(xù)正常操作。重新加載操作可以是迅速的；重新加載的TCP重組器模塊可以再次附屬于共享的資源而不用重置它們，并且繼續(xù)行使其職責。有效負載解碼器所述平臺的一個實施例可以對實時網(wǎng)絡通信進行操作(例如，100Mbps和/或更高或更低)，并且可以由多層內容解碼支持，所述內容解碼例如可以“剝離”通用壓縮、聚合、文件格式和編碼方案并依照適用于處理的形式來提取實際內容。有效負載解碼器的一個實施例(例如，參見圖1)可以工作來遞歸地檢查已知數(shù)據(jù)格式的有效負載，借助于各個解碼器對其進行解碼并且對已解碼的內容重復相同的過程(例如，參見圖17)。有效負載解碼器可以包括例如可以用于各種MicrosoftOffice格式、電子郵件、HTML/XML、壓縮數(shù)據(jù)、HTTP、其它流行的基于TCP的協(xié)議等的多個解碼器(例如，14個解碼器或更多或者更少)。當有效負載解碼器無法更進一步解碼其輸入數(shù)據(jù)，或者它達到其存儲器限制時，有效負載解碼器將停止。在任何情況下，解碼的數(shù)據(jù)塊例如可以被發(fā)送至一個或多個內容掃描器(例如，關鍵字和/或MCP掃描器)以便檢查。所述有效負載解碼器可以包括一個或多個解碼器·SMTP郵件會話；·多部件的MIME包絡；·引用可打印的郵件附件；·Base64郵件附件；·8位二進制郵件附件；·ZIP存檔；·GZip存檔；·TAR存檔；·MicrosoftWord文檔；·MicrosoftExcel文檔；·MicrosoftPowerPoint文檔；·PostScript文檔；·XML文檔；和/或·HTML文檔。明文(plaintext)和/或二進制文檔可以被直接掃描并且不必進行任何專門的解碼。例如可以借助于解碼器API把附加解碼器插入系統(tǒng)。初始化內容解碼器模塊的初始化階段可以開始于調用TCP會話重組器API以便注冊為客戶端并且可以訪問重組會話。在那之后，可以分配存儲器來存儲統(tǒng)計信息，并且本地存儲器管理機制可以被初始化。個體解碼器可以通過調用initdecoders()程序來進行注冊，所述initdecoders()程序用于收集與可利用的解碼器有關的信息并且可以將其復制到共享存儲器中的全局統(tǒng)計信息區(qū)域。還可以通過調用其init()方法來初始化每一解碼器，從而允許解碼器初始化它們自身的數(shù)據(jù)。存儲器分配解碼器例如可以通過調用dq_alloc()程序來為每個解碼的組件數(shù)據(jù)塊分配新的數(shù)據(jù)緩沖區(qū)。某些解碼器(例如，MicrosoftWord的)可以為已解碼數(shù)據(jù)分配單個數(shù)據(jù)塊；其它(例如，ZIP)解碼器可以分配多個塊——每一組件一個塊。對dq_alloc()的每次調用可以傳遞所述請求的存儲器容量和位置信息，該位置信息可用于重組層次“路徑”，該路徑可以唯一地標識已解碼緩沖區(qū)在原始有效負載內的位置。解碼路徑不僅可用來報告成功的標識符，還可用來提供統(tǒng)計和解碼過程信息。通過dq_alloc()的調用者請求的存儲器因物理原因或作為人為限制的結果而無法獲得。每一模塊都具有其自有的存儲器帽，以使每個進程都位于其限制內，并且總體系統(tǒng)性能并不依賴于輸入數(shù)據(jù)始終正確的假定。類似ZIP的某些解碼器可以只提供已解碼存儲器塊的估計大小；一個或多個解碼器就緒來接收更小的塊，并且由此局限于局部解碼。所有解碼器可以被寫入來支持局部解碼。格式識別和解碼解碼器可以經(jīng)由通用解碼器API的decode()方法來調用。每一解碼器可以執(zhí)行其自有的格式識別，并且在失配或者內部解碼失敗的情況下，可以返回“格式?jīng)]有識別出”的結果。如果解碼器已經(jīng)經(jīng)由dq_alloc()分配了數(shù)據(jù)塊，則它可以在返回‘無法識別’的結果以前經(jīng)由dq_clear()來釋放它們。由于存儲器限制，解碼器可以產(chǎn)生局部結果；這可以不認為是失敗。一旦緩沖區(qū)被解碼，其存儲器就可以被釋放，并且被排除在循環(huán)之外(由一個或多個解碼的緩沖區(qū)來有效地替代)。除存儲器限制以外，內容解碼器可以為解碼隊列的長度設置獨立的限制，限制解碼“樹”的大小(例如，參見圖18)，并且因此限制了解碼其所有元素所需的時間。在高負載設置下，這可以允許在完成解碼給定有效負載的每個組件的需要和下一有效負載到來時要結束解碼的需要之間進行平衡。隊列長度參數(shù)(DQ_MAX_LEN)的默認值可以是100(或更多或者更少)。解碼隊列長度可被限制的事實會影響解碼樹遍歷策略。所述內容解碼器可以使用“深度優(yōu)先”策略，例如，優(yōu)選解碼至少一些塊“至結束”，而不是對較大數(shù)目的塊進行不完整地解碼。掃描沒有發(fā)現(xiàn)適當解碼器或者因為人為限制(例如，解碼樹的“葉子”)而不再解碼的數(shù)據(jù)緩沖區(qū)可以被發(fā)送，以便例如檢查關鍵字和MCP掃描器。每一有效負載可以“原始”和/或解碼后的形式被檢查。內容掃描內容掃描可以用于防止信息的未授權轉送(例如，機密信息和知識產(chǎn)權)。關鍵字掃描器關鍵字掃描是一種簡單、相對有效且用戶友好的文檔分類方法。它基于一組字，在文本中逐字地匹配。用于掃描的詞典可以包括不適用于通信中的字、用于機密項目、產(chǎn)品或者進程的碼字和/或那些不依賴于它們的使用上下文就能引起懷疑的其它字。通過使用多字短語可以考慮某些上下文信息，但是對于較大上下文而言，這樣做會導致組合爆炸。自動關鍵字發(fā)現(xiàn)(AKD)工具的一個實施例可以發(fā)現(xiàn)關鍵字和/或關鍵短語；關于關鍵短語長度的閾值可以作為參數(shù)被輸入。AKD工具可以接收一列文件，提取文本信息，并且為“正面”訓練集合(例如，屬于“受保護”類別的文檔)制備字和/或短語頻率詞典。這些詞典可與標準詞典和/或根據(jù)負面訓練集合制備的詞典(例如，表示“其它”文檔)相比擬?？梢允褂脴藴守惾~斯分類程序(例如參見Cheeseman，P.，Self，M.，Kelly，J.，Taylor，W.，F(xiàn)reeman，D.，&Stutz，J.(1988)。貝葉斯分類。SeventhNationalConferenceonArtificialIntelligence，SaintPaul，Minnesota，607-611頁)為正面集合上的頻率明顯不同于負面集合上的頻率的關鍵字和/或關鍵短語指派權重。最后，可以把規(guī)范化的權重指派給一個或多個關鍵字和/或關鍵短語，將其進行排序，并且所述工具例如返回例如頂部的100個(或更多或者更少)以用于手工檢查。加權的關鍵字和/或關鍵短語的列表可以被加載入關鍵字掃描器組件，該組件可以掃描來自有效負載解碼器的每一數(shù)據(jù)塊中是否存在關鍵字?？梢酝ㄟ^使用基于逐集合字符串匹配算法的單次匹配器(例如，逐集合Boyer-Moore-Horspool)(例如參見在UniversityCollegeofNorthWales由G.A.Stephen于1992年10月出版的StringSearch-TechnicalReportTR-92-gas-01)來執(zhí)行匹配。如果有，可以通過評分函數(shù)來評估匹配，并且如果達到預置評分閾值，則生成告警。AKD工具數(shù)據(jù)流所述AKD工具可以基于諸如專有文檔和/或數(shù)據(jù)庫的顧客特有的數(shù)據(jù)來發(fā)現(xiàn)關鍵字和關鍵短語。AKD可以是基于傳統(tǒng)的“自然(naive)”貝葉斯學習算法。雖然此算法相當簡單，并且其假定通常違反實際情況，但是最近的工作已經(jīng)表明自然貝葉斯學習實際上非常有效并且難以系統(tǒng)地加以改進。概率文檔分類可以是該算法的應用領域之一。所述算法可以使用正面數(shù)據(jù)和反面數(shù)據(jù)(例如，文檔)的代表性訓練集合(例如，參見圖19)。所述集合可用來匯集字/短語頻率詞典。然后可以比較正面集合和反面集合的詞典，并且為字/短語指派貝葉斯概率估計。具有高估計值的字/短語由于與正面或者與負面訓練樣品的緊密關聯(lián)而可用于猜測樣品文檔的類型。來自組合詞典的字/短語可以按照最終權重來排序，并且所述算法例如可以返回它們中的頂部的100個。負面集合可以較大，例如，可以把本地計算的負面集合的頻率詞典與用于商業(yè)通信的公共頻率詞典組合。在一些特定的應用領域中，領域特有的頻率詞典可用于表示負面訓練集合。正面訓練集可用于計算正面頻率詞典。由于兩個詞典的大小可能變化，所以兩個詞典中的頻率計數(shù)可以使用三個最常用的英文字(例如，‘the’、‘of’、‘a(chǎn)nd’)的相應計數(shù)值來規(guī)范化。非英語應用領域可以使用專門的規(guī)范化規(guī)則(例如，通過全體字計數(shù)來規(guī)范化)。除用于產(chǎn)生關鍵字的基于基本字頻率的通過以外，AKD可以允許人們推導出關鍵短語。由于關鍵短語的精確度更高，所以它比關鍵字更加有用，但是直接組合列舉會產(chǎn)生具有極低實用價值的各種巨大詞典。AKD可以使用非組合方式，該方式可以適合于混合的文本/二進制文件，諸如數(shù)據(jù)庫記錄。它可以是基于文本串提取算法的，該算法等效于由Unix字符串公用程序提供的算法。數(shù)據(jù)文件可以被標記以便確定數(shù)據(jù)流被中斷(例如，從二進制切換至文本或者從文本切換到二進制)的位置；可以把兩個中斷之間的短文本串作為“關鍵短語”。然后可以在負面訓練集中識別這些關鍵短語，并且可以創(chuàng)建相應的關鍵短語頻率詞典。這些詞典可以依照類似于如上所述的關鍵字詞典的方式來使用。當最有用的關鍵字/關鍵短語被識別出并且它們的權重被計算出時，最后的動作就是計算最大頻率。最大頻率可用來限制常常導致假陽性識別的較高數(shù)目關鍵字匹配的掃描器的靈敏度。可以使用相同的規(guī)范化的頻率詞典來計算最大頻率。為了降低掃描器的靈敏度，可以把每1000字節(jié)訓練數(shù)據(jù)的匹配平均數(shù)乘以2來作為“有用”關鍵字/關鍵字短語匹配的限制。超出這限制的所有匹配可以被忽略(例如，它們不會對最后評分作出貢獻)。關鍵字掃描器數(shù)據(jù)流關鍵字掃描器可以是基于逐集合字符串匹配算法的。例如，所述關鍵字掃描器可以使用Boyer-Moore-Horspool算法的逐集合擴展，其使用有限狀態(tài)自動機(FSA)?？梢允褂门cLex掃描器工具相同的技術將輸入串集合(例如，關鍵字和/或關鍵短語)轉換為FSA。另外，Boyer-Moore-Horspool跳躍表可以被添加來實現(xiàn)亞線性搜索時間。所述算法的性能未必隨著關鍵字/關鍵短語的數(shù)目而增加，但是存儲器需求會增加。同樣，算法的性能可能依賴于集合中最短串的長度(例如，真正的短串可以使性能變?yōu)榫€性并且使算法變慢)。所述匹配可以被“并行”執(zhí)行，這意味著所述算法只需要遍歷數(shù)據(jù)一次(例如，參見圖20)。所有匹配可以在獨立的匹配計數(shù)陣列中被標記。對于每個關鍵字/關鍵短語，所述陣列可以包含一個計數(shù)器。首先，所有計數(shù)器被設置為零。對于每次匹配，相應計數(shù)器增加。當掃描器到達數(shù)據(jù)塊的末尾時，計數(shù)器陣列可以依照由AKD工具進行的初步概要分析而被規(guī)范化以降低頻繁匹配的重要度。此工具可以基于諸如專有文檔和數(shù)據(jù)庫的顧客特有的數(shù)據(jù)來發(fā)現(xiàn)關鍵字和關鍵短語。每一發(fā)現(xiàn)的關鍵字/關鍵短語可以返回兩個相關數(shù)值每一匹配的得分和輸入數(shù)據(jù)中的每1000字節(jié)的最大匹配數(shù)目。兩個數(shù)值可以基于訓練數(shù)據(jù)來計算；它們可以反映出關鍵字及其期望頻率的相對重要性。規(guī)范化可以限制每一匹配計數(shù)器小于或等于給定關鍵字/關鍵短語的最大匹配計數(shù)(例如，調節(jié)到輸入緩沖區(qū)的大小)。此后，所述計數(shù)器可以乘以相應的匹配得分、求和并且規(guī)范化以得到每-1000字節(jié)的輸出得分。為了估計文檔匹配，關鍵字掃描器可以把輸出得分與可配置的閾值進行比較。初始化可以例如，通過loadkwv()例程，通過加載來自外部文件的、由外泄防止模塊的-k參數(shù)指定的關鍵字/關鍵短語數(shù)據(jù)來初始化所述模塊?？梢园衙钚写鎯υ谕ㄓ门渲梦募校豢梢酝ㄟ^AKD工具根據(jù)用戶樣本數(shù)據(jù)文件來生成關鍵字文件。每一關鍵字文件可以包含標識信息(例如，訓練集合名稱)、一個或多個告警信息記錄(例如，告警ID、描述以及得分閾值)以及關鍵字/相對得分/匹配限制三者的列表?？梢詾槊恳魂P鍵字文件分配新的存儲塊；加載的關鍵字文件可以被保存在鏈中并且用于計算相應的得分。在加載關鍵字文件之后，所述模塊可以注冊自身以便接收從內容解碼器輸出的數(shù)據(jù)。同時，為了能夠生成告警，它可以建立與平臺的告警機構的連接。最后的初始化動作可以是為關鍵字文件構建FSA。每一關鍵字集合可用來例如基于Aho-Corasick前綴樹匹配器來計算有限狀態(tài)自動機。自動機可以被構造為使得每個前綴只由1個狀態(tài)來表示，例如，即使前綴可以開始多個模式。Aho-Corasick-風格FSA可以伴隨有由同一字符串集合計算出的Boyer-Moore-Horspool跳躍表。FSA和相應的跳躍表一起可以通過在一次掃描內就找出所有關鍵字匹配。所用的算法可以是逐集合的Boyer-Moore-Horspool字符串搜索。對于每個到來數(shù)據(jù)塊而言，可以計算出一個匹配得分列表，每個加載的關鍵字文件計算出一個得分。為了計算關鍵字文件的得分，可以調用fsa_search()程序，其中以相應的FSA和跳躍表作為參數(shù)。所述fsa_search()程序可以通過增加計數(shù)器陣列中的匹配計數(shù)器來登記所有關鍵字匹配。所述陣列可以為每個關鍵字/關鍵短語包含一個計數(shù)器；所述計數(shù)器可以初始被設為零并且在每次匹配時都增加。當所述搜索結束時，計數(shù)器可用來針對給定關鍵字集合計算數(shù)據(jù)塊的得分。為了計算得分，可以相對于從關鍵字文件加載的各個匹配限制來檢驗每一計數(shù)器。如果計數(shù)器大于其匹配限制，那么可以把其值設置為匹配限制。當所有計數(shù)器都被按照這種方式剪切后，將其乘以從關鍵字文件加載的各個相對得分。將乘以相對得分的計數(shù)器相加，并且所得結果例如被規(guī)范化到1000字節(jié)塊大小，以產(chǎn)生給定關鍵字文件的最后得分?？梢园炎詈蟮梅峙c從關鍵字文件加載的存儲在相應告警信息記錄(AIR)列表中的閾值相比較。小于或等于給定得分的最大閾值定義了可以生成什么樣的告警；用于生成告警的所有必要的信息可以存儲在相應的AIR中。多維內容概要分析(MCP)掃描器類似關鍵字掃描，MCP可以獲取文檔和/或數(shù)據(jù)文件的特性(例如，基本特性)，同時容許文檔生命周期中的常見變化編輯、分支為若干獨立版本、類似文檔的集合等。MCP可以結合關鍵字掃描和/或數(shù)字指紋識別(TomasSander(編者)在2001年11月5日在美國PA費城舉行的“ACMCCS-8WorkshopDRM2001”上發(fā)表的SecurityandPrivacyinDigitalRightsManagement)的能力。內容概要分析可以是以識別屬于某一文檔類別的文檔為目標的技術組合。同一類別中的文檔共享相似的統(tǒng)計特征，這些統(tǒng)計特征例如是在稱為概要分析的制備進程中被確定的。自動內容概要分析器(ACP)工具可以接收屬于所述類別(正面訓練集合)的有代表性的文檔集合，如果必要，則伴隨有負面訓練集合(類似于但不屬于所述類別的文檔)。對于一個類別，概要分析進程可以只執(zhí)行一次；統(tǒng)計特征的最終集合(例如，概要圖)可用來測試該類別中的成員。概要圖的質量取決于概要分析算法用于獲取該類別中所有文檔所公有的特性的能力；它可以通過使用不同屬性的若干無關特性來進行改善。每一特性可以定義一個維度(例如，隨文檔的不同而變化的定量測度)。所述內容概要分析組件例如可以使用對通過網(wǎng)絡的所有數(shù)據(jù)進行實時計算而得到的多于(或少于)400個不同的特性值。每一文檔(例如，由有效負載解碼器返回的數(shù)據(jù)塊)可以被映射至多維空間中的單個點；其在此空間中的位置可用來計算其所屬類別(一個成員可以屬于一個以上的類別)并且可以觸發(fā)告警和/或反應措施。內容概要分析方法已經(jīng)由密碼分析學使用多年。雖然仍有價值，但是當補充了能夠對諸如詞和句的較大元素進行操作的高級統(tǒng)計方法時，簡單的統(tǒng)計特性能夠工作得更好。多維概要分析器可以利用200個左右的低級統(tǒng)計測度和100個左右的高級統(tǒng)計測度的組合來進行操作。高級統(tǒng)計測度可以考慮到某些通用問題領域(例如，保護涉及個人健康記錄、銀行帳戶信息、顧客列表、信用卡信息、郵寄地址、電子郵件、個人歷史、SSN等的機密個人信息)來設計；可以通過添加新的領域特有的維度使所述高級統(tǒng)計測度把其它領域重新確定為目的。除了用于概括給定元素的總體用法的單個高級和低級特性以外，所述概要處理器可以具有專用于文檔的空間結構的100個以上的維度，包括元素之間的互相共現(xiàn)和布局。舉例來說，所述概要分析器可以捕獲下述事實在郵政編碼緊跟州名且彼此交錯的一些郵政地址中，州名和郵政編碼具有非常類似的頻率?？臻g分析可用于捕獲文檔的整體結構；具有和目標類別相似的使用模式的索引、詞典以及其它類型的文檔都不能輕易地欺騙它。當ACP工具概要分析訓練文檔集合時，它可以生成與所述集合中的文檔一樣多的多維屬性空間中的點。每一點表示個體文檔(或者文檔的片段)，并且可以被標記為“+”(在類別中)或者“-”(不在類別中)。最終學習動作可以計算利用最小重疊來分離“+”和“-”點的屬性空間的最簡單劃分?；谟邢逘顟B(tài)自動機(FSA)，此劃分可以被自動地“數(shù)字化”為數(shù)據(jù)驅動算法，所述有限狀態(tài)自動機(FSA)可以充當快速單次掃描引擎。由概要分析器生成的FSA可以被加載入MCP掃描器組件，其用于檢查出自有效負載解碼器的每一數(shù)據(jù)塊?？梢詾槊恳粩?shù)據(jù)塊計算“受保護”文檔的類別中的成員的概率測度。如果達到預置閾值，那么可以生成告警。MCP生成的告警可以結合例如由關鍵字掃描器基于相對權重產(chǎn)生的告警，這取決于文檔類型。內容掃描方法的組合導致受保護數(shù)據(jù)的可靠識別。MCP模塊可以在先入-類別外泄防止系統(tǒng)中工作。防止模式可以在數(shù)據(jù)被完全轉送以前要求實時分析以及惡意的會話終止。API可以允許任意的(可配置的)數(shù)目的連接點，每一點可以向最多32個內容掃描模塊發(fā)送重組會話數(shù)據(jù)的參考，其中所述內容掃描模塊與主要分組捕獲周期并行運行?？梢曰谳嗈D來向每一連接點提供與重組會話數(shù)據(jù)的鏈接。連接點本身可以作為環(huán)形緩沖區(qū)來實現(xiàn)，所述環(huán)形緩沖區(qū)例如結合了具有自動溢出保護的FIFO能力。它可以保存最后的128個會話并且獨立地跟蹤每一模塊在緩沖區(qū)中的位置，有效地消除通信量方面的尖峰以及內容分析模塊處理速度方面的差異。實驗表明對于小型到中等公司常見的網(wǎng)絡通信量而言，使用基于Intel的2-處理器硬件和快速NIC就足夠了。大型公司或擁擠的網(wǎng)絡線路可以使用4-處理器的服務器中的更大處理能力。ACP工具數(shù)據(jù)流自動內容概要分析器(ACP)工具可以接受屬于所述類別的有代表性的文檔集合(正面訓練集合)，如果必要，則伴隨有負面訓練集合(類似于但不屬于所述類別的文檔)。對于一個類別，概要分析進程可以只執(zhí)行一次；統(tǒng)計特性的最終集合(例如，概要圖)可由MCP掃描器使用。ACP工具可以依照三個階段來操作(參見圖21)。第一，正面和負面訓練集合中的所有文檔可以由在MCP掃描器運行時間時使用的相同算法來測量。所述算法可以把每一文檔表示為多維空間中的點(每一統(tǒng)計屬性為一個維度，總共420個維度(更多或更少))。未必使用掃描算法的最后得分動作，因為得分可能需要現(xiàn)有的概要圖。在第一階段結束時，在420維空間中存在兩個點集合；所述集合可以對應于正面和負面訓練集合。最終集合可以沿不同維數(shù)重疊到各種程度。第二階段的工作是發(fā)現(xiàn)實際的超平面集合以便有效分離表示正面集合和負面集合的點(參見圖22)。由于所述算法本質是統(tǒng)計的，所以可以使用概率標準來確定分離質量。作為超平面位置函數(shù)的不合適分類的貝葉斯條件概率可以通過簡單的下降算法來最小化。為了改善掃描器的運行時的性能，人們可以僅僅使用正交于所述軸之一(一個可以利用對于單個維數(shù)的投影來工作)的超平面。此方法產(chǎn)生簡單易執(zhí)行的概要圖；由于考慮到維數(shù)(例如，較大數(shù))，所以在大多數(shù)情況下其質量是足夠的。如果沒有實現(xiàn)給定維度的最小有用的分離質量，那么可以忽略維度。分離超平面的組合集合的整體質量還可以通過貝葉斯概率準則來進行評估。在計算超平面集合時，最后的動作可以是將其轉換為可以加載入掃描器的格式(例如，概要圖)。MCP掃描器可以借助于機器(例如，能夠對規(guī)范化維數(shù)執(zhí)行約20次簡單算術運算的虛擬機(“VM”))來解釋概要圖。使用不是固定編碼的參數(shù)化的得分計算器的VM允許在分離表面的可執(zhí)行表示中的某些靈活性；它可以用作——非正交的超平面或者手工編碼概要圖(概要圖可以具有可由手動編輯的可讀ASCII表示)。最終概要圖可以在初始化時被加載入MCP掃描器。MCP掃描器可以支持多個概要圖；對于每個數(shù)據(jù)塊來說，測量算法可以運行一次；得分計算算法可以運行的次數(shù)與加載概要圖的數(shù)目一樣多?？梢允褂孟嗤囊?guī)范化頻率詞典來計算最大頻率。為了降低掃描器的靈敏度，可以把訓練數(shù)據(jù)的每1000字節(jié)的匹配平均數(shù)乘以2來作為“有用”關鍵字/關鍵字短語匹配的限制。超出此限制的所有匹配可以被忽略(它們對最后評分沒有貢獻)。MCP掃描器數(shù)據(jù)流MCP掃描器可以是基于有限狀態(tài)自動機(FSA)的。FSA可以被編碼為用于表示每一狀態(tài)的一組代碼碎片以及把控制從一狀態(tài)轉送至另一狀態(tài)的一組跳轉(例如，參見圖25，示出了級1狀態(tài)、跟蹤計算、涉及低級特征(例如，符號和數(shù)字計數(shù)器)?？梢园迅郊訝顟B(tài)存儲在額外的狀態(tài)變量中，以便允許計算高級特征)。FSA開始于初始狀態(tài)并且當輸入流為空時可以停止。表示狀態(tài)的每一碎片根據(jù)從輸入流中提取的下一數(shù)據(jù)字節(jié)/字符的值來編碼動作集合。MCP的FSA可以被硬編碼；它可以實現(xiàn)用于并行計算多個運行計數(shù)器的算法。MCP可以使用500個運行計數(shù)器(或更多或者更少)；每一狀態(tài)可以基于輸入字節(jié)來更新它們中的某些。存在具有不同意義的多個MCP計數(shù)器·字符計數(shù)器某一類別的字符數(shù)·字符位置計數(shù)器某一類別的字符的最后位置·字符距離計數(shù)器某一類別字符之間的距離和·數(shù)值計數(shù)器十進數(shù)(SSN/CCN/...)的運行值·串值計數(shù)器字符串(例如頂級域名)的運行值·特征計數(shù)器不同類型的高級“特征”的數(shù)目·特征位置計數(shù)器高級特征的最后位置·特征距離計數(shù)器某些特征之間的距離和MCP可以依照順序來更新計數(shù)器(參見圖23)；可以基于當前FSA狀態(tài)、字符計數(shù)器的值和數(shù)字/串值計數(shù)器的內容來計算特征。每一特征可以通過在預定特征的散列表中查找(這利用兩個字母的狀態(tài)縮寫、郵政編碼、頂級域名和電子郵件地址來工作)和/或通過專用確認器算法(SSN和CCN的校驗和或者范圍)來確認。當諸如SSN的特征被計算時，所述算法可以更新各個高級計數(shù)器。雙層結構可以允許對輸入數(shù)據(jù)的多重特征進行有效單次“并行”計算。當所有數(shù)據(jù)被處理時，可以使用計數(shù)器來計算輸出維度值輸入數(shù)據(jù)的相對獨立特性。每一維度可以是基于一個或多個計數(shù)器的值的。維度可以通過規(guī)范化計數(shù)器值來計算；規(guī)范化可以包括如下操作·將計數(shù)器除以字節(jié)總數(shù)·將計數(shù)器彼此相減以便獲得相對“delta”測量值·把計數(shù)器彼此相除以便獲得相對‘factor’測量值·減掉并且除以推導出的測量值可以使MCP的FSA適合于域-特有維度(例如，顧客/客戶端信息)，而不是專用于特殊顧客。MCP的FSA可以計算多個(例如，420個)輸出維度。最后的動作可以是計算輸出得分(參見圖24)。此動作可以使用通過獨立的MCP概要分析工具制備的數(shù)據(jù)，所述MCP概要分析工具用于基于用戶數(shù)據(jù)構建統(tǒng)計概要圖。概要圖可以是用于把多維(例如，420維)的空間劃分為兩個子空間的多維表面，其中一個對應于目標文檔的集合(需要識別的數(shù)據(jù))。MCP可以將分割表面表示為一組超平面，每個均把空間切分為兩個子空間，其中一個包含目標子空間。計算目標子空間成員可以使用用于每個超平面的一系列計算；如果考慮中的點位于所有超平面的“正確”側，那么它屬于目標子空間。輸出得分可以被計算為為給定點和所有超平面之間的距離(位于超平面“錯誤”側被當做負面距離)之和。所述得分可以通過由ACP工具“編程”的簡單虛擬機(MCPScoreVM，參見下面表1)來計算。正得分未必確保正確的子空間成員；負得分可以確保非成員。由于通過MCP概要分析工具計算的多維表面只可以是實際文檔成員的近似值，所以不必要求目標子空間中的正確的成員。為了估計文檔成員，MCP掃描器可以把輸出得分與可配置的閾值進行比較。實現(xiàn)方式詳細說明所述模塊可以通過從外部文件經(jīng)由loadfpv()例程加載例如通過外泄防止模塊的-f參數(shù)指定的概要圖數(shù)據(jù)來進行初始化。可以把命令行存儲在公共配置文件中；可以通過ACP工具根據(jù)用戶樣本數(shù)據(jù)文件來生成概要圖文件。每一概要圖文件可以包含標識信息(概要圖名稱)、一個或多個告警信息記錄(例如，告警ID、描述以及得分閾值)以及MCPScoreVM指令的列表?？梢詾槊恳桓乓獔D分配新的存儲塊；加載的概要圖可以被保存在鏈中并且用于計算相應的得分。在加載概要圖之后，所述模塊可以注冊自身以便接受出自內容解碼器的數(shù)據(jù)。同樣，為了能夠生成告警，它可以建立與平臺的告警機構的連接。對于每個到來數(shù)據(jù)塊，MCP掃描器可以計算輸出維度的集合。輸出維度可以根據(jù)運行計數(shù)器陣列來計算。此陣列可以包括多個(例如，8個)細分1.大寫字母計數(shù)器(UC細分)2.小寫字母計數(shù)器(LC細分)3.郵政編碼計數(shù)器(ZIP細分)4.州名縮寫計數(shù)器(STE細分)5.電子郵件地址計數(shù)器(AT細分)6.頂級域名計數(shù)器(TLD細分)7.信用卡號碼計數(shù)器(CCN細分)8.社會安全號碼計數(shù)器(SSN細分)每一細分可以包括約60個計數(shù)器(或更多或者更少)，用于跟蹤值、位置和/或距離。除了專用的計數(shù)器外，所有計數(shù)器可以是32位整數(shù)，用于跟蹤SSN和CCN(例如，64位整數(shù)可以用于較大數(shù)目)。可以通過專用確認算法來確認高級值對于除SSN和CCN之外的所有細分，所述確認部分可以包括經(jīng)由bsearch()例程在合法值的預先排序陣列中查找所收集的信息。對于SSN和CCN來說，專用確認代碼可以確信數(shù)目在允許的范圍內，不包含不可能的數(shù)字并且通過校驗和測試。低級和高級元素的相對位置的計算可以基于距離計數(shù)器。每一細分例如可以采用50個距離計數(shù)器(或更多或者更少)，以計數(shù)分別通過0-49個字符隔開的相同類型的兩個特征的出現(xiàn)次數(shù)。對于小寫字母來說，與最新大寫字母的距離被計數(shù)；對于高級特征來說，附加計數(shù)器跟蹤郵政編碼、頂級域名和電子郵件地址之間的距離。合起來，所述計數(shù)器可以捕獲以用戶記錄為典型的文檔結構，其依照正確順序包含名稱、郵政地址、電子郵件地址、社會安全和信用卡號碼(可能缺少某些元素)。MCP掃描器可以借助于能夠對規(guī)范化維度執(zhí)行約20次簡單算術運算的簡單虛擬機(MCPScoreVM)來解釋概要圖。使用不是固定編碼的參數(shù)化的得分計算器的VM允許分離表面的可執(zhí)行表示的某些靈活性；它可以用作——非正交的超平面或者手工編碼概要圖(概要圖具有可由手動編輯的可讀ASCII表示)。由于通過MCP概要分析工具計算的多維表面的簡單屬性，所以可以只使用5個操作(或更多或者更少)表1公共得分VM命令每一命令可以向運行得分計數(shù)器添加某一值，其最初被設置為零。最終得分可以被規(guī)范化為1000字節(jié)，并且與存儲在相應告警信息記錄(AIR)列表中的閾值進行比較。小于或等于得分的最大閾值定義可以生成什么樣的告警；用于生成告警的所有必要信息可以被存儲在相應的AIR中。欺詐加密檢測現(xiàn)代處理器所增加的計算能力以及電子商務技術的發(fā)展為臺式計算機市場帶來了許多高質量密碼算法，這些高質量密碼算法原先只用于專用的政府項目。很難過高估計用于互聯(lián)網(wǎng)購物者和增高科技商業(yè)的益處——在整體計算機化的時代增強的保密性和安全性成為必需。然而，類似許多技術進步那樣，強大的加密是一把雙刃劍通過確保所有通信的保密和安全，它隱藏諸如知識產(chǎn)權盜竊之類的非法行為?！捌墼p”加密被認為是對計算機網(wǎng)絡的一種新的威脅。無線局域網(wǎng)、ad-hoc設置和“半公共”以及未經(jīng)認可的VPN的增長使網(wǎng)絡更加容易從外部越權訪問。在商業(yè)領域還存在這樣的趨勢依賴現(xiàn)代計算機技術來加密每個事務和通信信道，這使得情況甚至更壞。IT人員不再能判斷哪些連接被授權與某人家用計算機的加密連接經(jīng)常無法與對電子商務服務器的授權連接相區(qū)分。建立未經(jīng)認可的VPN變得更容易。P2P軟件的不斷流行增加了公司網(wǎng)絡的脆弱性通過HTTP穿隧來冒充成合法電子商務通信的軟件即使沒有明確的用戶請求的情況下(例如，作為安裝其它軟件的副效應)也可能被安裝。未經(jīng)認可的VPN在外圍防御中會產(chǎn)生“漏洞”；一旦它變得能夠轉送專有的數(shù)據(jù)到內聯(lián)網(wǎng)計算機或者從未授權位置遠程操作內聯(lián)網(wǎng)計算機，那么外圍防御實際上就不存在?？紤]到此趨勢，某些計算機安全性專家的建議集中于內部防御，這通過使內聯(lián)網(wǎng)上的每一單個計算機變?yōu)榘踩珌韺崿F(xiàn)，就像所述計算機能夠被直接從公司防火墻外部的任一點訪問。此策略部分解決了這種問題，但是這種方案的總成本通常很高盡管構成“外圍設備”的計算機數(shù)目通常非常小并且慢慢增加，但是整個內聯(lián)網(wǎng)非常大，并且以更高的速度增長，并且往往需要不斷維護(例如，補丁和新服務包通常與安裝在同一主機上的安全軟件沖突)?？紤]到缺乏嚴格訓練的安全人員，針對每一內部計算機的安全在大多數(shù)組織內是不現(xiàn)實的。比較起來，更加簡單并且經(jīng)濟的解決方案在于監(jiān)視和控制所有外部連接，所述外部連接限制為只對認可會話加密(例如，部門間的VPN和有限數(shù)目的眾所周知的電子商務站點)。此方案保持維護外圍防御的低總成本；內部計算機需要依照常規(guī)的方式來保證安全，就像它們慣常那樣。控制欺詐通信信道只給“總體內部安全”策略增加了小部分潛在成本。解決此問題的方案可以包含欺詐加密檢測器(RED)組件，用于跟蹤所有安全連接，并且當未授權的類似VPN的信道被建立時，用于向安全人員告警。作為附加好處，它可以不斷地檢查加密的會話，其參數(shù)在已建立的加密強度、協(xié)議版本等的范圍之外。RED組件可以通過向穿過敏感信息區(qū)域的邊界的加密通信提供一組合法的參數(shù)(源、目的地、協(xié)議、密鑰長度等)來進行配置；它可以把公共電子商務活動(諸如在Amazon的安全服務器上買書)和試圖建立安全P2P信道區(qū)分開。授權的VPN可以在RED允許的源/目的地/端口列表中被指定，以便使正常的辦公室間通信不產(chǎn)生任何告警。RED可以作為專用進程來操作，所述進程用于獲得來自所饋送的重組TCP會話數(shù)據(jù)的信息。運行時TCP會話重組可以允許SSL會話及其屬性被正確地識別?？梢詸z查每一會話的加密(例如，可以識別SSL/TLS的所有公共變化)，并且如果它被加密，那么可以將其參數(shù)(客戶端IP、服務器IP、端口、持續(xù)時間、版本等)與授權VPN列表相比較。通過處理從內部獨立地發(fā)起的短會話，常規(guī)的電子商務通信可被默認允許。由RED組件收集的信息可以被發(fā)送到集中式事件處理器并且被轉發(fā)給控制臺，在控制臺中，它可以和出自多個傳感器的其它相關事件一起被存儲和處理。這樣做考慮到了“欺詐VPN”嘗試以及其它網(wǎng)絡策略侵害之間的相關性，并且提供集中式公開辯論的信息存儲和數(shù)據(jù)挖掘。RED數(shù)據(jù)流RED可以對例如由TCP會話重組模塊所提供的重組TCP會話進行操作。RED可以確定正在被分析的會話是否被加密，如果是，則確定加密參數(shù)是否與配置文件中指定的策略相匹配。RED可以被配置為檢測SSL和/或TLS會話(例如，SSL2.0版本及以上、TLS1.0版本及以上)。RED未必有權訪問密鑰資料，因此它未必解密會話的內容；然而，初始握手和密碼組協(xié)商消息可以被明文發(fā)送，因此會話可以被加密并且選擇的密碼組可以被檢測器利用。RED可以遵循協(xié)議的分層結構，并且解碼所述層以便可以訪問交換的信息。SSLv2.0和SSLv3.0/TLS1.0具有不同的記錄和消息格式，并且可以由獨立的解碼過程來處理，但是全體解碼器功能可以是相同的(參見圖26)。首先，RED可以解碼SSL/TLS記錄協(xié)議層以便審查其頂部承載的消息。接下來，RED可以識別ClientHello和/或ServerHello消息，其包含有關協(xié)商的密碼組的信息。如果在任何上述動作中解碼失敗，那么RED會認為會話未加密。安全協(xié)議是嚴格的，并且不會利用不正確的或者缺失數(shù)據(jù)來建立連接。如果解碼成功，那么RED可以獲得有關用于編碼會話的初始密碼組的信息(所述密碼組可以在會話過程中被改變，但是由于這不是明文執(zhí)行的，所以RED不必跟蹤后續(xù)改變)。假定已知會話被加密并且已知用于加密所述內容的密碼組，RED可以執(zhí)行如下檢驗·依照本地策略，給定通信的各方可以建立安全連接·按照現(xiàn)在的標準，密碼組可以很強大·通信的持續(xù)時間在允許的范圍內RED的配置文件可以允許人們指定哪些方(IP地址)可以建立安全信道(客戶端和服務器被區(qū)別，因此存在關于安全連接的啟動器的獨立限制)。對于每個這種記錄來說，可以有關于所允許的端口、對連接總體持續(xù)時間的限制以及密碼組的最小強度的信息?？梢允褂枚丝趤硐拗票患用艿姆?例如，HTTP)；對持續(xù)時間的限制可用來把用于基于SSL的電子商務的短會話與更長的可能是非法的會話加以區(qū)分。如果連接被允許，那么可以將其密碼組強度與為此連接所指定的最小可接受水平相比?？梢詸z測到創(chuàng)建沒有由所述配置明確允許的連接的所有企圖，并且依照告警的形式發(fā)送到系統(tǒng)的告警處理后端。根據(jù)其配置，可以把告警報告給操作者和/或可以立即采取行動(斷開正在進行的連接)。進程管理器建立在網(wǎng)絡內容分析平臺(“NCAP”)上的應用程序例如可以包括若干并行工作的UNIX進程。進程的數(shù)目及其功能可以變化。另一方面，可以提供如下功能啟動、停止以及重新配置。表示某些特定功能或者模塊的特殊進程組才需要重新配置，而其余的應用程序應該繼續(xù)，而不會丟失任何共享數(shù)據(jù)。所述“啟動”和“停止”請求可以由OS在正常的引導/關閉序列期間發(fā)布。所述‘重新配置’請求可以來自自動下載機構以便執(zhí)行特殊模塊的運行時重新加載(例如，規(guī)則組更新進程)?？偟闹匦屡渲脮r間可以被最小化在此程序期間，所述應用程序可以只部分操作。啟動過程可以開始若干NCAP模塊(參見圖27)。這些模塊可以分配和/或要求不同IPC資源以執(zhí)行它們的功能。雖然IPC死鎖依賴性可以在應用程序規(guī)劃階段被解決，但是啟動序列是自動的并且是可靠的，以便萬一無法獲得所需要的資源時，也允許進行穩(wěn)定的模塊恢復。有時使救援人員生活更加容易的附加特征人工地發(fā)布重新配置請求的能力；人工地啟動/停止整個應用程序的能力；以及利用無法經(jīng)由標志系統(tǒng)公用程序獲得的所有必要內部信息列出當前運行中的進程的能力。進程管理器的一個實施例可以被配置為提供一種用于充當基于整個NCAP的應用程序的啟動器/監(jiān)視器的可靠進程。其特征可以包括·靈活配置；支持任意數(shù)目的程序?！藴收`差報告機構。·自動模塊恢復。·恢復過載保護如果模塊在一行中開始若干次之后立即死掉，那么下次要等到底層問題被解決之后再重啟它?！藴手匦屡渲脵C構重啟保持應用程序共享數(shù)據(jù)的指定模塊組。還可以開發(fā)特殊控制工具，其用于在正確授權之后使用又一個IPC信道與主要的管理進程連接。它可以支持列表并且重新加載組命令，以便為自動上載機構提供通用接口。事件假脫機程序事件假脫機程序的一個實施例可以為事件處理提供通用API。它還可以收集統(tǒng)計量和進程、過濾器，并且使用加密信道在網(wǎng)絡上可靠地轉送數(shù)據(jù)。在實際生活的網(wǎng)絡的苛刻條件下，它還可以在“啟動和忘記”模式中工作。NCAP可以以事件的形式遞送信息。事件是適用于獨立處理并且稍后存儲和數(shù)據(jù)挖掘的最小基本信息單元。生成的事件可以例如依照實時或可靠的方式被轉送到事件處理/數(shù)據(jù)挖掘控制臺。事件處理模塊可以應用用于處理、在數(shù)據(jù)庫中存儲最終信息并且如果需要發(fā)送SNMP和/或電子郵件告警的附加層。由各種NCAP模塊生成的事件可以被存儲在假脫機文件中。模塊還可以使用IPC來存儲實時統(tǒng)計數(shù)據(jù)(例如，處理的分組數(shù)目、協(xié)議分布、模塊專用信息)。如果偶然停電，那么可以重置統(tǒng)計數(shù)據(jù)。事件數(shù)據(jù)可以具有文件系統(tǒng)級。作為附加好處，緩沖區(qū)事件流可以依照壓縮的形式被備份，以便允許向集中式事件數(shù)據(jù)庫存儲/重新加載存檔。事件假脫機程序可以被配置為監(jiān)控任意數(shù)目的事件假脫機目錄和統(tǒng)計數(shù)據(jù)塊。它可以獨立地監(jiān)控不同的數(shù)據(jù)源。每一事件假脫機文件可以依照FIFO順序由專用UNIX進程(假脫機監(jiān)視器)處理。每一統(tǒng)計塊可以依照可配置的間隔由狀態(tài)收集器進程定期地輪詢。假脫機監(jiān)視器可以生成獨立的二進制檢查點文件，其包含有關監(jiān)視器當前狀態(tài)的完整信息。在供電周期的情況下，事件假脫機程序將能從每一隊列上的最后不完整事務開始繼續(xù)。事件假脫機程序可以是模塊化應用程序。它可以依照邏輯流(例如，事件流、統(tǒng)計流等)的形式收集并且路由數(shù)據(jù)。它可以具有用于需要時加載的數(shù)據(jù)處理模塊(插件程序)的API。每一流可以與任意數(shù)目的插件相關聯(lián)。插件可以是唯一的模塊，其已經(jīng)知道特殊流的內部結構。事件假脫機程序可以提供通用目的的類似MUTEX的資源，其可以在幾個數(shù)據(jù)處理模塊之間共享，倘若如此配置的話。這種體系結構使可擴展性更加容易并且減少代碼維護工作。把新數(shù)據(jù)類型處理(例如，TCP會話數(shù)據(jù))添加到事件假脫機程序僅僅變換為改變配置文件并且寫入識別此數(shù)據(jù)類型的插件的工作。除在傳感器側工作的事件壓縮算法以外，事件處理模塊可以執(zhí)行事件處理(例如，后期處理)以及接收所述數(shù)據(jù)時的相關性處理?？梢允褂没赨DP的網(wǎng)絡協(xié)議利用如下內置特征來進行可靠的并且安全的網(wǎng)絡數(shù)據(jù)轉送，所述內置特征是校驗和驗證、利用重傳時間計算算法的分組或者會話級重傳、服務器側ACL驗證、運行時數(shù)據(jù)壓縮以及加密。事件處理模塊可以運行例如在端口80/UDP上偵聽的事件假脫機程序的服務器部分(“Netspool(網(wǎng)絡假脫機)”)。它可以接收來自每一授權傳感器的由傳感器名稱標記的數(shù)據(jù)流?；谶壿嬃黝愋?，網(wǎng)絡假脫機可以發(fā)送數(shù)據(jù)以便附加處理并且調用插件來存儲數(shù)據(jù)?；谒雠渲?，它還可以生成電子郵件/SMMP消息，并且發(fā)送原始數(shù)據(jù)以便進一步處理。如果出現(xiàn)網(wǎng)絡故障，假脫機監(jiān)視器和/或網(wǎng)絡假脫機可以試圖在高達30分鐘(依照逐漸增加的超時間隔)內發(fā)送數(shù)據(jù)然后退出。可以由主要的事件假脫機程序進程重啟所述完成的進程并且繼續(xù)不完整的事務。所述周期可以持續(xù)，直到數(shù)據(jù)被成功地發(fā)送為止。圖28示出了依照分布模式工作的事件假脫機程序的示圖的一個實施例。傳感器也具有運行的網(wǎng)絡假脫機進程；它可以只允許本地客戶端連接。雖然假脫機監(jiān)視器以及狀態(tài)收集器可以發(fā)送數(shù)據(jù)，但是對于每一應用而言，它只可以具有一個數(shù)據(jù)流源。所述配置可以為傳感器主機上的每個模塊提供自動MUTEX-風格鎖定。事件假脫機程序可以收集并且轉送例如由基于NCAP的應用程序內的所有模塊生成的事件。事件假脫機程序可以作為具有專用子進程的多進程分布式應用程序來實現(xiàn)，其可以使用UNIXIPC并且聯(lián)網(wǎng)以便相互通信并且和系統(tǒng)其余部分通信?？梢员粴w入事件假脫機程序應用程序的一列子進程如下·告警使用UNIX消息收集來自分析模塊的事件。濾出由用戶禁止的事件·evspool假脫機程序進程管理器·狀態(tài)收集器保存共享統(tǒng)計池·假脫機監(jiān)視器從特定假脫機目錄獲取事件數(shù)據(jù)所述進程管理器可以啟動告警進程(參見圖29)，其附屬于IPC消息池和/或從文件映射告警映射。然后它可以等待到來事件幀。接收幀，它可以解碼來自所述幀的告警id信息，并且相對于告警映射集合來檢驗它。如果允許發(fā)送告警id，那么告警進程可以把所述幀置于假脫機文件中。所述告警幀可以由假脫機監(jiān)視器從假脫機文件取出，其可以在evspool管理下運行。假脫機監(jiān)視器的任務可以是從假脫機文件逐個地拾取幀，利用流標簽和傳感器名稱來前插(prepend)每一幀，跟蹤檢驗點文件中的當前假脫機指針并且向網(wǎng)絡假脫機進程發(fā)送最終的幀。所述數(shù)據(jù)可以經(jīng)由專有的、可靠的并且安全的基于UDP的協(xié)議來發(fā)送。所述事件數(shù)據(jù)可以保存在假脫機文件中，直到它被發(fā)送為止。特別開發(fā)的網(wǎng)絡協(xié)議和檢驗點文件可以確保應用程序經(jīng)得起網(wǎng)絡故障和硬件重新引導。網(wǎng)絡假脫機進程可以接收所述幀，并且根據(jù)所述配置，可以將其發(fā)送到另一網(wǎng)絡假脫機或者將其發(fā)送到本地數(shù)據(jù)庫插件或者它們兩者。數(shù)據(jù)庫插件可以被實現(xiàn)為多個需要時加載的動態(tài)庫。后期處理的附加層可以包括事件相關性。網(wǎng)絡假脫機還可以收集來自狀態(tài)收集器的信息。狀態(tài)收集器可以復制分配給基于NCAP的應用程序的統(tǒng)計池的共享存儲器片段，并且將其反復地發(fā)送到數(shù)據(jù)庫(依照預先配置的時間間隔)。TCP限制器TCP限制器模塊的一個實施例例如通過實時停止TCP會話來提供了對惡意通信作出反應的能力。所述TCP限制器模塊可以利用Linux分組套接字API。此接口提供了用于直接與NIC驅動器連接并且將人工地生成的分組置于其輸出隊列的能力。所述驅動器接受來自用戶空間程序的完整的網(wǎng)絡分組(包括層2首部)，并且沒有修改地將它注入網(wǎng)絡。如果網(wǎng)絡分析器足夠快，則如果正在進行的TCP會話被認為是惡意的，那么它可以生成TCPRST分組來停止正在進行的TCP會話。它可以通過向客戶端和服務器計算機發(fā)送具有正確SEQ和套接字對屬性的TCPRST分組來執(zhí)行。在基于特殊套接字對接收了TCPRST分組之后，主機的TCP/IP?？梢躁P閉連接，清除數(shù)據(jù)緩沖區(qū)并且向用戶應用程序返回錯誤(“由對等方重置連接”可以是標準的錯誤消息)。由于裝備TCP限制器的應用程序主動地干擾了正常網(wǎng)絡活動，所以它可以對模塊的行為具有獨立的越權控制。所述TCP限制器模塊可以包括對來自NCAP應用程序的對話結束請求被允許還是被忽略的控制。所述控制機制可以包括用于指定目的地地址和端口范圍的獨立配置文件，以便歸入/排除可能的重置目標列表(IP過濾器)和“位圖”文件，其中所述“位圖”文件允許/禁止對每個告警ID的重置分組生成，其包括RST分組方向(告警映射)。所述TCP限制器模塊可以作為獨立的UNIX進程來實現(xiàn)，其用于使用UNIX消息IPC與其客戶端(例如，本地應用程序)通信。它可以在啟動期間從配置文件中讀取IP過濾器，并且依照共享模式把告警映射文件映射到存儲器，由此允許來自tcpkc的改變被接收。只有當IP過濾器信息需要改變時才要求重啟模塊。標準重啟過程可以由進程管理器提供。重啟不會影響基于NCAP的應用程序中的其它進程。TCP限制器模塊API所述TCP限制器API可以使用UNIX消息機構。TCP限制器可以附屬于在啟動過程期間由NCAP內核分配的消息隊列。隊列的ID可以被所有NCAP模塊獲知。TCP限制器進程可以預期依照tcpk_t結構描述的格式的消息緩沖區(qū)。所述tcpk_t結構可以包含創(chuàng)建TCPRST分組必需的告警id和層2/3/4信息。TCP限制器模塊初始化TCP限制器可以由進程管理器啟動。它可以從命令行獲得NIC名稱、告警映射名稱和IP過濾器配置文件的名稱。然后它可以讀取并且解釋IP過濾器信息并且把告警映射文件映射至存儲器。下一動作可以是例如通過利用指定的NIC名稱打開分組套接字來打開到NIC驅動器的控制連接。在初始化階段結束時，所述模塊可以把特定的NIC設置為NOARP模式。初始化之后，TCP限制器可以進入無限循環(huán)，其包括等待對話終止請求、接收它們、使用IP過濾器和告警映射來過濾所接收的請求，并且如果允許，使用請求中提供的信息來生成TCPRST分組。如上所述，告警映射還可以指定發(fā)送分組的方向客戶端側、服務器側或者它們兩者。如果兩側都被指定，那么TCP限制器模塊可以在一個序列中生成兩個分組并且發(fā)送該兩個分組為服務器側連接創(chuàng)建一個，為客戶端側創(chuàng)建另一個。TCP限制器模塊重新配置所述tcpkc命令行公用程序可以提供用于更新告警映射信息的方式。它可以修改指定的二進制映射文件；所述改變立即可以為運行的TCP限制器進程所利用，所述TCP限制器進程將保存映射到其存儲器的此文件。為了改變IP過濾器信息，所述TCP限制器模塊需要被重啟。這可以由進程管理器所提供的標準機構來執(zhí)行。重啟TCP限制器模塊不會影響其它基于NCAP的模塊。TCP限制器模塊卸載當基于NCAP的應用程序發(fā)現(xiàn)退出理由時，TCP限制器模塊可以停止。所述模塊不會采取任何特定動作，因為所述UNIX標準退出過程關閉所有通信信道并且回收由進程使用的所有存儲器。機器可讀介質可以包括編碼信息，當由機器讀取并且執(zhí)行時其實現(xiàn)例如所描述的實施例(例如，一個或多個描述方法)。所述機器可讀介質可以存儲可編程參數(shù)并且還可以存儲包括可執(zhí)行指令、不可編程參數(shù)和/或其它數(shù)據(jù)的信息。所述機器可讀介質可以包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、非易失性存儲器、光盤、磁帶和/或磁盤。所述機器可讀介質例如還可以包括調制或者其他方式操縱的載波，以便傳送可由機器(例如，計算機)讀取、解調/解碼的指令。所述機器可以包括一個或多個微處理器、微控制器和/或其它邏輯元件陣列。鑒于前文，本領域普通技術人員將顯而易見的是，所描述的實施例可以依照軟件、固件和/或硬件來實現(xiàn)。用于實現(xiàn)本發(fā)明的實際軟件代碼或專用控制硬件不是對本發(fā)明的限制。由此，所述實施例的操作和行為是在沒有特別參考實際軟件代碼或專用硬件組件的情況下描述的。缺少這種特定參考是可行的，這是因為可以清楚理解的是，基于此處的描述，本領域普通技術人員將能夠設計出軟件和/或控制硬件來實現(xiàn)本發(fā)明的實施例。提供所描述的實施例的先前呈現(xiàn)，以便允許本領域技術人員能夠作出或者使用本發(fā)明。對這些實施例的各種修改都是可能的，并且此處呈現(xiàn)的通用原理還可以應用于其他實施例。例如，本發(fā)明可以部分地或者完全作為硬連線電路、作為制造為專用集成電路的電路結構或者作為載入非易失性存儲器的固件程序或者作為機器可讀代碼載入數(shù)據(jù)存儲介質的軟件程序來實現(xiàn)，其中所述機器可讀代碼是可由諸如微處理器或者其它數(shù)字信號處理單元或者其它可編程機器或者系統(tǒng)的邏輯元件陣列執(zhí)行的指令。因而，本發(fā)明不意指局限于上文示出的實施例、任何特殊的指令序列和/或任何特殊的硬件配置，而是與此處以任何方式公開的原理和新穎特征相一致的最寬廣范圍一致。權利要求1.一種方法，包括接收網(wǎng)絡數(shù)據(jù)；根據(jù)所述網(wǎng)絡數(shù)據(jù)重組客戶端-服務器通信會話；并且通過使用(i)基于統(tǒng)計的檢測和(ii)基于關鍵字的檢測中的至少一個來分析所述客戶端-服務器通信會話，經(jīng)由所述網(wǎng)絡數(shù)據(jù)檢測信息的泄漏。2.如權利要求1所述的方法，還包括解碼所述客戶端-服務器通信會話以便檢測并且檢查一個或多個應用協(xié)議，并且其中所述客戶端-服務器通信會話包括所述一個或多個應用協(xié)議。3.如權利要求2所述的方法，其中，所述一個或多個應用協(xié)議包括(i)pdf、(ii)http、(iii)電子郵件、(iv)電子郵件附件、(v)ftp、(vi)zip、(vii)msword、(viii)msexcel、(ix)html、(x)xml、(xi)gzip、(xii)tar以及(xiii)明文中的至少一個。4.如權利要求1所述的方法，其中，所述客戶端-服務器通信會話包括(i)TCP、(ii)IP以及(iii)以太網(wǎng)中的至少一個。5.如權利要求1所述的方法，其中，所述基于統(tǒng)計的檢測包括多維內容概要分析。6.如權利要求1所述的方法，其中，所述基于統(tǒng)計的檢測包括域-特有的高級特征。7.如權利要求6所述的方法，其中，所述域-特有的高級特征包括(i)社會安全號碼、(ii)信用卡號碼、(iii)通迅地址以及(iv)電子郵件地址中的至少一個。8.如權利要求1所述的方法，其中，所述基于關鍵字的檢測包括一個或多個加權關鍵字。9.如權利要求1所述的方法，其中，所述信息包括數(shù)字資產(chǎn)。10.如權利要求1所述的方法，還包括分析所述網(wǎng)絡數(shù)據(jù)，以便檢測任何未授權的加密會話。11.一種方法，包括如下步驟接收網(wǎng)絡通信；以及通過實時地向所述網(wǎng)絡通信提供至少內容重組、掃描和識別來防止經(jīng)由所述網(wǎng)絡通信進行數(shù)據(jù)的未授權和/或惡意的轉送。12.如權利要求11所述的方法，其中，所述內容掃描和識別包括多維內容概要分析。13.如權利要求11所述的方法，其中，使所述內容掃描和識別適合于本地數(shù)據(jù)。14.如權利要求11所述的方法，其中，所述方法能夠防止經(jīng)由所述網(wǎng)絡通信以完全飽和的千兆比特速度進行數(shù)據(jù)的未授權和/或惡意的轉送。15.一種方法，包括接收網(wǎng)絡數(shù)據(jù)；并且通過至少應用多維內容概要分析來經(jīng)由所述網(wǎng)絡數(shù)據(jù)防止信息泄漏。16.如權利要求15所述的方法，其中，所述信息包括數(shù)字資產(chǎn)。17.如權利要求15所述的方法，其中，所述多維內容概要分析考慮了所述信息結構。18.一種具有編碼信息的機器可讀介質，當由機器讀取并且執(zhí)行時，其實現(xiàn)一種方法，所述方法包括接收網(wǎng)絡數(shù)據(jù)；根據(jù)所述網(wǎng)絡數(shù)據(jù)重組客戶端-服務器通信會話；并且通過使用(i)基于統(tǒng)計的檢測和(ii)基于關鍵字的檢測中的至少一個來分析所述客戶端-服務器通信會話，經(jīng)由所述網(wǎng)絡數(shù)據(jù)檢測信息泄漏。19.一種具有編碼信息的機器可讀介質，當由機器讀取并且執(zhí)行時，其實現(xiàn)一種方法，所述方法包括接收網(wǎng)絡通信；以及通過實時地向所述網(wǎng)絡通信至少提供內容重組、掃描和識別來防止經(jīng)由所述網(wǎng)絡通信進行數(shù)據(jù)的未授權和/或惡意的轉送。20.一種具有編碼信息的機器可讀介質，當由機器讀取并且執(zhí)行時，其實現(xiàn)一種方法，所述方法包括接收網(wǎng)絡數(shù)據(jù)；并且通過至少應用多維內容概要分析來經(jīng)由所述網(wǎng)絡數(shù)據(jù)防止信息泄漏。21.一種設備，包括接收器，用于接收網(wǎng)絡數(shù)據(jù)；耦合至所述接收器的處理器，用于(i)根據(jù)所述網(wǎng)絡數(shù)據(jù)來重組客戶端-服務器通信會話，并且(ii)通過使用(i)基于統(tǒng)計的檢測和(ii)基于關鍵字的檢測中的至少一個來分析客戶端-服務器通信會話，以便經(jīng)由所述網(wǎng)絡數(shù)據(jù)檢測信息泄漏。22.一種設備，包括接收器，用于接收網(wǎng)絡通信；以及耦合至所述接收器的處理器，用于通過向所述網(wǎng)絡通信實時地提供至少內容重組、掃描和識別來防止經(jīng)由所述網(wǎng)絡通信進行數(shù)據(jù)的未授權和/或惡意的轉送。23.一種設備，包括接收器，用于接收網(wǎng)絡數(shù)據(jù)；以及耦合至所述接收器的處理器，用于通過至少應用多維內容概要分析來通過所述網(wǎng)絡數(shù)據(jù)防止信息泄漏。全文摘要方法的一種實現(xiàn)重組完整的客戶端－服務器會話流，應用解碼器和/或解壓縮器，并且使用多維內容分析和/或加權的上下文中的關鍵字來分析所述得到的數(shù)據(jù)流。所述方法可以檢測所述數(shù)據(jù)的外泄，例如，即使所述數(shù)據(jù)已經(jīng)從其原始形式和/或文檔類型進行了修改。所述解碼器還可以揭示隱藏的傳輸機構，比如電子郵件附件。所述方法還可以檢測未授權(即，欺詐性的)的加密會話，并且停止被認為是惡意的數(shù)據(jù)傳送。例如，所述方法考慮構建2Gbps(全雙工)－能力的外泄防止機。文檔編號G06F21/00GK1965306SQ200480033060公開日2007年5月16日申請日期2004年9月9日優(yōu)先權日2003年9月10日發(fā)明者吉恩·薩夫丘克申請人:菲德利斯安全系統(tǒng)公司