技術領域

本發(fā)明涉及數(shù)據(jù)處理技術，尤其是涉及一種日志處理裝置。

背景技術：

對于業(yè)務支撐網(wǎng)運營管理系統(tǒng)來說，隨著支撐網(wǎng)絡和業(yè)務的復雜性和多元性逐漸加強，業(yè)務監(jiān)控的粒度也越來越細，由此產(chǎn)生的服務日志信息量越來越多，特別是業(yè)務服務日志的數(shù)據(jù)量更大。一個通信運營商一天的業(yè)務服務日志可能會超過200G，而且這些業(yè)務服務日志分布在幾十臺服務器上。同時，業(yè)務監(jiān)控中心對告警信息的實時性要求越來越高。如何快速完成日志的采集、提煉處理、存儲、高效查詢成為業(yè)務支撐網(wǎng)運營管理系統(tǒng)關注的重點。

目前，針對日志信息的采集方法主要有兩種方式來實現(xiàn)：

采集方法一：集中處理服務器（或稱為服務器）上的處理程序通過Telnet采集（即遠程控制命令采集）分布在各個日志服務器上的日志信息，或者通過日志服務器上的代理程序?qū)⑷罩拘畔⑹占郊刑幚矸掌魃?；集中處理服務器上的處理程序根?jù)日志提煉規(guī)則或者提煉邏輯進行日志的提煉處理。

采集方法二：各個日志服務器（或稱為客戶端）對自身的日志數(shù)據(jù)進行凈化處理，凈化處理包括對日志信息的抽取、合并和保存等操作過程，并將凈化處理后的日志數(shù)據(jù)上傳到集中處理服務器，集中處理服務器將收到的日志數(shù)據(jù)文件根據(jù)時間周期合并為一個文件，進行提煉處理。

現(xiàn)有技術針對日志信息的存儲和操作通過以下兩種方式來解決：

存儲和操作方法一：當日志信息提煉完成后，根據(jù)需要的要素保持到磁盤關系型數(shù)據(jù)庫，通過SQL語句進行統(tǒng)計分析、告警信息過濾采集，通過標準SQL提供對外的查詢；

存儲和操作方法二：當日志信息提煉后，保存到文件中，提供相關的通用接口，通過對文件全量的掃描，提供對外的統(tǒng)計處理服務。

從上述采集方法中可以看出，現(xiàn)有的日志信息采集方法存在以下缺陷：

采集方法一存在顯著日志處理性能瓶頸，集中處理服務器采集到的各個日志服務器上的日志信息中包括大量無效的日志信息，傳輸這些無效的日志信息占用了大量的網(wǎng)絡傳輸帶寬，極大地影響了日志信息的采集速度和采集周期；更重要的是，隨著業(yè)務日志達到一定規(guī)模，無效的日志信息對集中服務器處理壓力就變得更為顯著，這樣就造成集中處理服務器上的處理邏輯越來越復雜，處理日志信息、輸出日志信息中的告警信息的及時性得不到保證；

采集方法二雖然在日志服務器上先對日志進行凈化，凈化處理包括抽取、合并和保存等操作過程，這就使得凈化處理延長了日志信息采集的周期，同樣極大地影響了日志信息的采集速度；以及在后續(xù)集中服務器對日志信息的存儲查詢處理中，輸出日志信息中的告警信息的及時性得不到保證。

從上述存儲查詢方法中可以看出，現(xiàn)有的存儲操作方法存在以下缺陷：

存儲和操作方法一：將提煉處理后的日志信息保存在磁盤關系型數(shù)據(jù)庫（比如Oracle）中，通過SQL語句對其中的海量數(shù)據(jù)進行檢索和查詢，對于復雜的數(shù)據(jù)分析場景，往往需要對多張大表做笛卡爾集合后再關聯(lián)查詢，造成等待響應的時間過長，無法滿足對日志信息中的告警信息及時輸出的要求；

存儲和操作方法二：處理后的數(shù)據(jù)保存在文件中，通常文件根據(jù)時間段來組織的。故后續(xù)的分析處理，一般會對一個文件全量進行掃描處理，顯然查詢和分析處理的效率比較低，也無法滿足對日志信息中的告警信息及時輸出的要求。

可見，現(xiàn)有的針對日志采集處理和存儲查詢處理方法，存在采集周期過長、無效日志信息占用過多傳輸帶寬的問題，對日志查詢和統(tǒng)計處理的處理時間長、效率低，無法滿足對日志信息中的告警信息及時輸出的要求的問題。

技術實現(xiàn)要素：

本發(fā)明實施例提供一種日志處理裝置，包括：采集模塊，用于采集裝置所在日志客戶端上新增的日志信息；過濾模塊，用于按照預定的過濾規(guī)則對采集模塊采集到的日志信息中的數(shù)據(jù)進行過濾；實時性處理模塊，用于根據(jù)預定的日志信息和實時性等級的對應關系，在過濾模塊過濾后的日志信息中攜帶與日志信息相對應的實時性等級的實時性標識；發(fā)送模塊，用于根據(jù)日志信息中的實時性標識，將實時性處理模塊處理得到的、實時性標識所代表的高實時性的日志信息實時發(fā)送給日志服務器，將實時性標識所代表的低實時性的日志信息延后發(fā)送給日志服務器。

根據(jù)本發(fā)明實施例的技術方案，在本發(fā)明實施例提供的用于日志信息采集的日志處理方法中，日志客戶端對采集到的新增的日志信息進行過濾，能夠過濾掉采集到的日志信息中的無效日志信息，減少傳輸日志信息時無效日志信息所占用的傳輸帶寬，并根據(jù)預定的日志信息和實時性等級的對應關系，在過濾后的日志信息中攜帶實時性標識，在將過濾后的日志信息發(fā)送給服務器的過程中，將實時性高的日志信息實時發(fā)送給服務器，將實時性低的日志信息延后發(fā)送給服務器，能夠有效地縮短日志信息采集的周期；在本發(fā)明實施例提供的用于日志信息的存儲的日志處理方法中，日志服務器將告警日志信息及時發(fā)送給告警處理裝置，能夠快速地將告警信息發(fā)送給告警處理裝置，能夠滿足對日志信息中的告警信息及時輸出的要求，根據(jù)非告警日志信息的類別和接收日志信息的時間，將非告警日志信息分別存儲到關系型數(shù)據(jù)庫、所述服務器的內(nèi)存數(shù)據(jù)庫或者文件系統(tǒng)，并且，日志信息的類別與針對日志信息進行操作的操作類別相對應，使得日志操作平臺在對日志信息進行操作的過程中，能夠根據(jù)操作類別來判斷出日志信息的存儲位置，并且關系型數(shù)據(jù)庫和內(nèi)存數(shù)據(jù)庫中對數(shù)據(jù)的讀取速度較快，能夠快速有效地縮短對對日志數(shù)據(jù)操作的處理時間、提高處理效率，從而能夠解決現(xiàn)有技術中針對海量日志信息的采集處理和存儲查詢處理方法，存在采集周期過長、無效日志信息占用過多傳輸帶寬的問題，對日志操作處理時間長、效率低，無法滿足對日志信息中的告警信息及時輸出的要求的問題。

本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在所寫的說明書、權利要求書、以及附圖中所特別指出的結(jié)構來實現(xiàn)和獲得。

附圖說明

圖1是本發(fā)明實施例提供的日志處理裝置的結(jié)構框圖；

具體實施方式

以下結(jié)合附圖對本發(fā)明的實施例進行說明，應當理解，此處所描述的實施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。

圖1示出了本發(fā)明實施例提供的日志處理裝置的結(jié)構，該裝置包括：

采集模塊41，用于采集裝置所在日志客戶端上新增的日志信息；

具體地，采集模塊41通過爬蟲程序采集日志客戶端上新增的日志信息；

過濾模塊42，連接至采集模塊41，用于按照預定的過濾規(guī)則對采集模塊41采集到的日志信息中的數(shù)據(jù)進行過濾；

具體地，過濾模塊42按照過濾規(guī)則中包括的關鍵字或者關鍵字值，保留采集到的日志信息中包含有關鍵字或者關鍵字值的日志信息作為過濾得到的日志信息；其中，日志信息至少包括：日志標識、日志信息生成的開始時刻、結(jié)束時刻和日志信息的類別；

實時性處理模塊43，連接至過濾模塊42，用于根據(jù)預定的日志信息和實時性等級的對應關系，在過濾模塊42過濾后的日志信息中攜帶與日志信息相對應的實時性等級的實時性標識；

發(fā)送模塊44，連接至實時性處理模塊43，用于根據(jù)日志信息中的實時性標識，將實時性處理模塊43處理得到的、實時性標識所代表的高實時性的日志信息實時發(fā)送給日志服務器，將實時性標識所代表的低實時性的日志信息延后發(fā)送給日志服務器；

具體地，發(fā)送模塊44向日志服務器發(fā)送請求，在接收到來自日志服務器的等待響應后，等待預定的等待時間，在等待等待時間到時后，將實時性標識所代表的低實時性的日志信息發(fā)送給日志服務器；在接收到來自日志服務器的發(fā)送響應后，將實時性標識所代表的低實時性的日志信息發(fā)送給日志服務器。

圖1所示裝置的工作原理如圖1所示，這里不再贅述。

通過圖1所示的裝置，也能夠過濾掉采集到的日志信息中的無效日志信息，減少傳輸日志信息時無效日志信息所占用的傳輸帶寬，并根據(jù)預定的日志信息和實時性等級的對應關系，在過濾后的日志信息中攜帶實時性標識，在將過濾后的日志信息發(fā)送給服務器的過程中，將實時性高的日志信息實時發(fā)送給服務器，將實時性低的日志信息延后發(fā)送給服務器，能夠有效地縮短日志信息采集的周期，從而能夠解決現(xiàn)有技術中針對日志采集處理方法，存在采集周期過長、無效日志信息占用過多傳輸帶寬的問題。

本領域普通技術人員可以理解實現(xiàn)上述實施例方法攜帶的全部或部分步驟是可以通過程序來指令相關的硬件完成，所述的程序可以存儲于一種計算機可讀存儲介質(zhì)中，該程序在執(zhí)行時，包括方法實施例的步驟之一或其組合。

另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理模塊中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個模塊中。上述集成的模塊既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能模塊的形式實現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，也可以存儲在一個計算機可讀取存儲介質(zhì)中。

本領域內(nèi)的技術人員應明白，本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本發(fā)明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)（包括但不限于磁盤存儲器和光學存儲器等）上實施的計算機程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設備（系統(tǒng)）、和計算機程序產(chǎn)品的流程圖和／或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和／或方框圖中的每一流程和／或方框、以及流程圖和／或方框圖中的流程和／或方框的結(jié)合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和／或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和／或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上，使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和／或方框圖一個方框或多個方框中指定的功能的步驟。

在本說明書的描述中，參考術語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結(jié)構、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。

盡管已經(jīng)示出和描述了本發(fā)明的實施例，本領域的普通技術人員可以理解：在不脫離本發(fā)明的原理和宗旨的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發(fā)明的范圍由權利要求及其等同物限定。