專利名稱：日志采集系統(tǒng)、日志采集方法和日志回收服務(wù)器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及日志處理技術(shù)，尤其涉及日志采集系統(tǒng)、日志采集方法和日志回收服 務(wù)器。
背景技術(shù)：
用戶對互聯(lián)網(wǎng)的訪問，其實(shí)就是對某臺服務(wù)器的訪問。服務(wù)器一旦被訪問，不可避 免的會產(chǎn)生用戶訪問日志。為了便于日志得到處理，網(wǎng)絡(luò)側(cè)需要對日志進(jìn)行采集(也可以 稱為回收)。參與日志采集工作的服務(wù)器可以組成一個(gè)日志采集系統(tǒng)。目前的日志采集系統(tǒng)如圖1所示，多個(gè)日志產(chǎn)生服務(wù)器都將日志上傳到同一個(gè)中 心服務(wù)器，由中心服務(wù)器對采集到的日志進(jìn)行處理，其中，日志產(chǎn)生服務(wù)器是接受用戶訪問 并產(chǎn)生日志的服務(wù)器。本發(fā)明的發(fā)明人在仔細(xì)研究圖1所示的日志采集系統(tǒng)后發(fā)現(xiàn)，圖1所示的日志采 集系統(tǒng)雖然能夠完成日志的回收，但是，如果向中心服務(wù)器上傳日志的日志產(chǎn)生服務(wù)器的 數(shù)量較多，那么會給中心服務(wù)器造成很大的壓力，嚴(yán)重時(shí)，可能會導(dǎo)致中心服務(wù)器的崩潰， 進(jìn)而造成日志產(chǎn)生服務(wù)器無法將日志上傳到中心服務(wù)器或者上傳日志嚴(yán)重延時(shí)。

發(fā)明內(nèi)容
本發(fā)明提出一種日志采集系統(tǒng)、日志采集方法和日志回收服務(wù)器，用于解決現(xiàn)有 的日志采集系統(tǒng)中的中心服務(wù)器壓力大的問題。本發(fā)明技術(shù)方案的實(shí)現(xiàn)過程如下—種日志采集系統(tǒng)，包括加速服務(wù)器、日志回收服務(wù)器和中心服務(wù)器；加速服務(wù)器用于產(chǎn)生日志文件，并將日志文件上傳到日志回收服務(wù)器；日志回收服務(wù)器用于接收多個(gè)加速服務(wù)器上傳的日志文件，并將接收的日志文件 上傳到中心服務(wù)器；中心服務(wù)器用于接收多個(gè)日志回收服務(wù)器上傳的日志文件；其中，日志回收服務(wù)器的數(shù)量少于加速服務(wù)器的數(shù)量。一種基于前述日志采集系統(tǒng)的日志采集方法，包括日志回收服務(wù)器獲得加速服務(wù)器上傳的日志文件；日志回收服務(wù)器對加速服務(wù)器上傳的日志文件進(jìn)行處理；日志回收服務(wù)器將處理后的日志文件上傳到中心服務(wù)器。一種日志回收服務(wù)器，設(shè)置在前述日志采集系統(tǒng)中，包括獲得單元，用于獲得加速服務(wù)器上傳的日志文件；處理單元，用于對加速服務(wù)器上傳的日志文件進(jìn)行處理；上傳單元，用于將處理后的日志文件上傳到中心服務(wù)器。在本發(fā)明的日志采集系統(tǒng)中，設(shè)置有介于加速服務(wù)器和中心服務(wù)器之間的日志回 收服務(wù)器，加速服務(wù)器向日志回收服務(wù)器上傳日志文件，日志回收服務(wù)器向中心服務(wù)器上
4傳日志文件，而且日志回收服務(wù)器的數(shù)量少于加速服務(wù)器的數(shù)量，這樣，日志回收服務(wù)器向 中心服務(wù)器上傳日志文件對中心服務(wù)器造成的壓力要小于加速服務(wù)器直接向中心服務(wù)器 上傳日志文件對中心服務(wù)器造成的壓力，從而解決了現(xiàn)有的日志采集系統(tǒng)中的中心服務(wù)器 壓力大的問題。


為了更清楚地說明本發(fā)明或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù) 描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明中 記載的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。圖1為現(xiàn)有的日志采集系統(tǒng)的邏輯結(jié)構(gòu)圖；圖2為本發(fā)明的日志采集系統(tǒng)的邏輯結(jié)構(gòu)圖；圖3為本發(fā)明的日志采集方法的流程圖；圖4為本發(fā)明的日志回收服務(wù)器的邏輯結(jié)構(gòu)圖。
具體實(shí)施例方式為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明實(shí)施例中的技術(shù)方案，并使本發(fā)明的 上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖對本發(fā)明中技術(shù)方案作進(jìn)一步詳 細(xì)的說明。首先介紹本發(fā)明的日志采集系統(tǒng)。本發(fā)明的日志采集系統(tǒng)采用三層架構(gòu)形式。底層為加速服務(wù)器，即供用戶訪問、產(chǎn) 生日志的服務(wù)器，包括多種服務(wù)類型的web服務(wù)器。中間層為日志回收服務(wù)器，接收加速服 務(wù)器上傳的日志文件，在實(shí)際應(yīng)用中，可以根據(jù)運(yùn)營商的不同及運(yùn)營商所在的省份、城市， 將物理上位于一個(gè)區(qū)域的服務(wù)器歸為一個(gè)物理節(jié)點(diǎn)，而且根據(jù)加速服務(wù)器的數(shù)量，在每個(gè) 物理節(jié)點(diǎn)都部署至少一個(gè)日志回收服務(wù)器，例如部署1-3個(gè)日志回收服務(wù)器。中心層為中 心服務(wù)器，接收日志回收服務(wù)器上傳的日志文件。日志回收服務(wù)器的數(shù)量要少于加速服務(wù) 器的數(shù)量。例如，在某個(gè)城市(即一個(gè)物理節(jié)點(diǎn))部署某個(gè)運(yùn)營商的數(shù)百臺加速服務(wù)器，那 么在這個(gè)城市可以部署這個(gè)運(yùn)營商的數(shù)臺日志回收服務(wù)器?？紤]到單點(diǎn)故障可能引發(fā)部分加速服務(wù)器的日志上傳中斷，在實(shí)際應(yīng)用中，可以 根據(jù)物理位置將整個(gè)網(wǎng)絡(luò)(也可以稱為全網(wǎng))的物理節(jié)點(diǎn)劃分為幾大區(qū)域，具體可按照本 地、城市、省份、大區(qū)進(jìn)行劃分，一旦某個(gè)物理節(jié)點(diǎn)的日志回收服務(wù)器發(fā)生故障，那么這個(gè)物 理節(jié)點(diǎn)的加速服務(wù)器可以將日志文件上傳到本區(qū)域內(nèi)的其他物理節(jié)點(diǎn)的日志回收服務(wù)器。 當(dāng)然，如有必要，這個(gè)物理節(jié)點(diǎn)的加速服務(wù)器也可以將日志文件上傳到其他區(qū)域內(nèi)的日志 回收服務(wù)器，或者，這個(gè)物理節(jié)點(diǎn)的加速服務(wù)器可先將日志文件上傳到本區(qū)域內(nèi)的其他物 理節(jié)點(diǎn)的日志回收服務(wù)器，最后由其他區(qū)域內(nèi)的日志回收服務(wù)器將日志文件上傳到中心服 務(wù)器。下面結(jié)合圖2，對本發(fā)明的日志采集系統(tǒng)進(jìn)行詳細(xì)說明。如圖2所示，日志采集系 統(tǒng)包括加速服務(wù)器(也可以稱為Cache)、日志回收服務(wù)器(也可以稱為Sitelog)和中心 服務(wù)器(也可以稱為Logserver)；加速服務(wù)器用于產(chǎn)生日志文件，并將日志文件上傳到日志回收服務(wù)器；日志回收服務(wù)器用于接收多個(gè)加速服務(wù)器上傳的日志文件，并將接收的日 志文件上傳到中心服務(wù)器；中心服務(wù)器用于接收多個(gè)日志回收服務(wù)器上傳的日志文件；其 中，日志回收服務(wù)器的數(shù)量少于加速服務(wù)器的數(shù)量。優(yōu)選的，日志回收服務(wù)器與向其上傳日志文件的加速服務(wù)器位于同一個(gè)網(wǎng)絡(luò)內(nèi)， 或者說，一個(gè)物理節(jié)點(diǎn)可以認(rèn)為是一個(gè)網(wǎng)絡(luò)，這樣，日志回收服務(wù)器與向其上傳日志文件的 加速服務(wù)器之間的交互屬于內(nèi)網(wǎng)交互，可以有效的降低網(wǎng)絡(luò)開銷，提高傳輸效率。在實(shí)際應(yīng)用中，可以配置加速服務(wù)器的web服務(wù)，并通過shel 1腳本定時(shí)截取日志 文件。具體的，通過修改加速服務(wù)器的在線服務(wù)的源代碼和配置文件，使得各種web服務(wù) (包括apache服務(wù)、squid服務(wù)、nginx服務(wù)等)在正常對外提供服務(wù)的同時(shí)，利用shell 腳本，調(diào)用服務(wù)本身的命令將服務(wù)日志文件定時(shí)(例如為每五分鐘)移置到指定目錄下，并 以該加速服務(wù)器的唯一標(biāo)識、當(dāng)前時(shí)間(或時(shí)間戳的形式)及服務(wù)類型等信息拼裝日志文 件名。在實(shí)際應(yīng)用中，一個(gè)物理節(jié)點(diǎn)可能具有多個(gè)日志回收服務(wù)器，這種情況下，加速服 務(wù)器在上傳日志文件之前，可以從同一個(gè)網(wǎng)絡(luò)(同一個(gè)物理節(jié)點(diǎn))內(nèi)的所有日志回收服務(wù) 器中選擇一個(gè)日志回收服務(wù)器，并向選中的日志回收服務(wù)器上傳日志。如果加速服務(wù)器無 法選擇同一個(gè)網(wǎng)絡(luò)內(nèi)的日志回收服務(wù)器，則可以從全網(wǎng)的日志回收服務(wù)器中選擇一個(gè)日志 回收服務(wù)器，并向選中的日志回收服務(wù)器上傳日志。具體的，可以在每個(gè)加速服務(wù)器上運(yùn)行一個(gè)獲取日志回收服務(wù)器信息的腳本，腳 本需要具備選擇日志回收服務(wù)器的功能，這樣不會因?yàn)槟硞€(gè)日志回收服務(wù)器故障，而導(dǎo)致 本網(wǎng)絡(luò)(本物理節(jié)點(diǎn))內(nèi)的日志文件無法上傳。腳本定時(shí)運(yùn)行，具體功能如下判斷是否有日志回收服務(wù)器的配置列表和日志堆積，這里的日志堆積是指有需要 上傳的日志文件；如果沒有日志回收服務(wù)器的配置列表，則先獲取本網(wǎng)絡(luò)內(nèi)的日志回收服務(wù)器信 息，并判斷日志回收服務(wù)器的可用性，之后生成可用的日志回收服務(wù)器的配置列表，并從中 選擇一個(gè)日志回收服務(wù)器，將選中的日志回收服務(wù)器寫入上傳配置文件中。如果本網(wǎng)絡(luò)內(nèi) 沒有可用的日志回收服務(wù)器，則從中心服務(wù)器獲取其他網(wǎng)絡(luò)內(nèi)的日志回收服務(wù)器信息，并 判斷這些日志回收服務(wù)器的可用性，之后生成可用的日志回收服務(wù)器的配置列表，并從中 選擇一個(gè)日志回收服務(wù)器，將選中的日志回收服務(wù)器寫入上傳配置文件中；如果有日志回收服務(wù)器的配置列表，并且有日志堆積，則先判斷配置列表中的日 志回收服務(wù)器的可用性，從可用的日志回收服務(wù)器中選擇一個(gè)日志回收服務(wù)器，將選中的 日志回收服務(wù)器加入配置文件中；如果有日志回收服務(wù)器的配置列表，但沒有日志堆積，則結(jié)束腳本運(yùn)行。在實(shí)際應(yīng)用中，加速服務(wù)器可以周期性的不間斷的檢查是否有新的日志文件產(chǎn) 生，即會根據(jù)指定時(shí)間間隔不間斷的檢查是否有新的日志文件產(chǎn)生，如果有新的日志文件 產(chǎn)生，則將新的日志文件上傳到選中的日志回收服務(wù)器。另外，加速服務(wù)器可以將已上傳的 日志文件進(jìn)行備份。具體的，在加速服務(wù)器上運(yùn)行一個(gè)守護(hù)進(jìn)程，根據(jù)指定時(shí)間間隔不間斷的到指定 目錄檢查是否有新的日志文件產(chǎn)生，一旦有新的日志文件產(chǎn)生，就將新的日志文件傳送至 配置文件中記錄的日志回收服務(wù)器。為了確保日志文件的正常傳輸，在傳輸過程中，將傳輸中的日志文件名后添加“· tmp”后綴，一旦日志文件傳輸完畢，則對日志文件進(jìn)行重命名，去 掉“.tmp”后綴，并將已上傳的日志文件移至備份目錄。由于加速服務(wù)器的存儲空間有限， 所以，每個(gè)加速服務(wù)器可以根據(jù)實(shí)際情況，保存最近幾天的日志文件，例如保存最近1-3天 的日志文件，以便于后期日志重算或者排除加速服務(wù)器故障等使用。圖2所示的日志回收服務(wù)器接收到日志文件后，可以對日志文件進(jìn)行處理。例如， 由于網(wǎng)絡(luò)震蕩或者加速服務(wù)器異常等原因，可能會造成某些日志文件不完整，對此，日志回 收服務(wù)器可以將無法分析的日志文件進(jìn)行清理。再例如，對于不同web服務(wù)日志，為了保證 中心服務(wù)器處理邏輯的簡單、統(tǒng)一，日志回收服務(wù)器可以對日志文件中的信息進(jìn)行拆分和 提取，將提取后的信息生成中心服務(wù)器文件格式的日志文件。日志回收服務(wù)器處理完日志文件后，可以定時(shí)將處理后的日志文件上傳到中心服 務(wù)器。具體的上傳過程如下日志回收服務(wù)器獲得中心服務(wù)器的配置列表；日志回收服務(wù)器從配置列表中選擇一個(gè)中心服務(wù)器；日志回收服務(wù)器向選中的中心服務(wù)器發(fā)起連接請求；如果選中的中心服務(wù)器接受日志回收服務(wù)器的連接請求，則日志回收服務(wù)器 與選中的中心服務(wù)器建立連接，這里的建立連接可以是指建立文件傳輸協(xié)議(FTP，F(xiàn)ile Transfer Protocol)文件傳輸通道；日志回收服務(wù)器向選中的中心服務(wù)器上傳日志文件；上傳結(jié)束后，日志回收服務(wù)器斷開與選中的中心服務(wù)器的連接。為保證正在上傳的日志文件不被其他功能模塊取走，在上傳日志文件過程中，日 志文件名可以加上“.tmp”后綴。在日志文件上傳結(jié)束后，將日志文件重命名，去掉“.tmp”后綴。另外，日志回收服務(wù)器可以將已上傳的日志文件進(jìn)行備份，具體的，可以將已上傳 的日志文件備份到指定的目錄下。日志回收服務(wù)器可以保存多天的日志文件，例如保存7 天的日志文件。這樣，即使中心服務(wù)器出現(xiàn)故障，仍然能夠根據(jù)備份的日志文件進(jìn)行重算等 操作。圖2所示的中心服務(wù)器負(fù)責(zé)全網(wǎng)內(nèi)的日志備份，中心服務(wù)器可以將日志文件提供 給分析系統(tǒng)或者提供給客戶下載等。在實(shí)際應(yīng)用中，中心服務(wù)器的數(shù)量可以是多個(gè)，每個(gè)中 心服務(wù)器都接收一些日志回收服務(wù)器上傳的日志文件，每個(gè)中心服務(wù)器對應(yīng)的日志回收服 務(wù)器的數(shù)量都少于現(xiàn)有的日志采集系統(tǒng)的中心服務(wù)器對應(yīng)的日志產(chǎn)生服務(wù)器的數(shù)量，這樣 可以極大的減輕中心服務(wù)器的壓力?；谏鲜龅娜罩静杉到y(tǒng)，本發(fā)明還從日志回收服務(wù)器的角度，提供一種日志采 集方法。如圖3所示，這種方法包括S301 :日志回收服務(wù)器獲得加速服務(wù)器上傳的日志文件；S302 日志回收服務(wù)器對加速服務(wù)器上傳的日志文件進(jìn)行處理；S303 日志回收服務(wù)器將處理后的日志文件上傳到中心服務(wù)器。S302包括日志回收服務(wù)器將無法分析的日志文件進(jìn)行清理；和/或，日志回收服 務(wù)器對日志文件中的信息進(jìn)行拆分和提取，將提取后的信息生成中心服務(wù)器文件格式的日 志文件。
7
執(zhí)行S303之前，日志回收服務(wù)器可以獲得中心服務(wù)器的配置列表，從配置列表中 選擇一個(gè)中心服務(wù)器。這樣，日志回收服務(wù)器將處理后的日志文件上傳到中心服務(wù)器是指， 將處理后的日志文件上傳到選中的中心服務(wù)器。S303 包括日志回收服務(wù)器向選中的中心服務(wù)器發(fā)起連接請求；如果選中的中心服務(wù)器接受日志回收服務(wù)器的連接請求，則日志回收服務(wù)器與選 中的中心服務(wù)器建立連接；日志回收服務(wù)器向選中的中心服務(wù)器上傳日志文件；上傳結(jié)束后，日志回收服務(wù)器斷開與選中的中心服務(wù)器的連接。執(zhí)行S303后，日志回收服務(wù)器可以將已上傳的日志文件進(jìn)行備份。關(guān)于日志采集方法的詳細(xì)描述，可以參見上述的日志采集系統(tǒng)中的相關(guān)描述，這 里不再贅述。對應(yīng)于上述的日志采集方法，本發(fā)明還提供一種設(shè)置在上述的日志采集系統(tǒng)中的 日志回收服務(wù)器。如圖4所示，這種日志回收服務(wù)器包括獲得單元401，用于獲得加速服 務(wù)器上傳的日志文件；處理單元402，用于對加速服務(wù)器上傳的日志文件進(jìn)行處理；上傳單 元403，用于將處理后的日志文件上傳到中心服務(wù)器。處理單元402具體用于將無法分析的日志文件進(jìn)行清理，和/或，對日志文件中的 信息進(jìn)行拆分和提取，將提取后的信息生成中心服務(wù)器文件格式的日志文件。在上傳單元403將處理后的日志文件上傳到中心服務(wù)器之前，獲得單元401獲得 中心服務(wù)器的配置列表。日志回收服務(wù)器還可以包括選擇單元404，用于從配置列表中選擇 一個(gè)中心服務(wù)器。這樣，上傳單元403可以將處理后的日志文件上傳到選中的中心服務(wù)器。上傳單元403可以包括請求模塊，用于向選中的中心服務(wù)器發(fā)起連接請求；連接 模塊，用于如果選中的中心服務(wù)器接受連接單元的連接請求，則與選中的中心服務(wù)器建立 連接；上傳模塊，用于向選中的中心服務(wù)器上傳日志文件；斷開模塊，用于在上傳模塊上傳 完日志文件后，斷開與選中的中心服務(wù)器的連接。日志回收服務(wù)器還可以包括備份單元405，用于在上傳單元403將處理后的日志 文件上傳到中心服務(wù)器后，將已上傳的日志文件進(jìn)行備份。關(guān)于日志回收服務(wù)器的詳細(xì)描述，可以參見上述的日志采集系統(tǒng)中的相關(guān)描述， 這里不再贅述。綜上所述，本發(fā)明的日志采集系統(tǒng)采用三層結(jié)構(gòu)，處于中間層、并向中心服務(wù)器上 傳日志文件的日志回收服務(wù)器的數(shù)量少于處于底層、并向日志回收服務(wù)器上傳日志文件的 加速服務(wù)器的數(shù)量，這樣可有效降低中心服務(wù)器的壓力。正常情況下，加速服務(wù)器會將日志文件上傳到本網(wǎng)絡(luò)(本物理節(jié)點(diǎn))內(nèi)的日志回 收服務(wù)器，這樣的文件上傳過程屬于內(nèi)網(wǎng)傳輸過程，所以可以降低網(wǎng)絡(luò)開銷，并且傳輸效率較高。如果加速服務(wù)器不斷增多，那么可相應(yīng)的增加日志回收服務(wù)器及中心服務(wù)器，當(dāng) 然，增加的日志回收服務(wù)器和中心服務(wù)器的數(shù)量遠(yuǎn)低于增加的加速服務(wù)器的數(shù)量。所以，本 發(fā)明的日志采集系統(tǒng)的擴(kuò)展性較強(qiáng)，日志回收服務(wù)器可以對日志文件的格式進(jìn)行統(tǒng)一化處理，這樣便于中心服務(wù)器對日志文件的分析處理工作，降低了中心服務(wù)器分析處理的復(fù)雜度。通過以上的實(shí)施方式的描述可知，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可 借助軟件加必需的通用硬件平臺的方式來實(shí)現(xiàn)?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì) 上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品 可以存儲在存儲介質(zhì)中，如ROM/RAM、磁碟、光盤等，包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備 (可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例或者實(shí)施例的某些 部分所述的方法。本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，各個(gè)實(shí)施例之間相同相似的部 分互相參見即可，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。尤其，對于系統(tǒng)實(shí) 施例而言，由于其基本相似于方法實(shí)施例，所以描述的比較簡單，相關(guān)之處參見方法實(shí)施例 的部分說明即可。本發(fā)明可用于眾多通用或?qū)Ｓ玫挠?jì)算系統(tǒng)環(huán)境或配置中。例如個(gè)人計(jì)算機(jī)、服務(wù) 器計(jì)算機(jī)、手持設(shè)備或便攜式設(shè)備、平板型設(shè)備、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、置頂 盒、可編程的消費(fèi)電子設(shè)備、網(wǎng)絡(luò)PC、小型計(jì)算機(jī)、大型計(jì)算機(jī)、包括以上任何系統(tǒng)或設(shè)備的 分布式計(jì)算環(huán)境等等。本發(fā)明可以在由計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)可執(zhí)行指令的一般上下文中描述，例如程序 模塊。一般地，程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組 件、數(shù)據(jù)結(jié)構(gòu)等等。也可以在分布式計(jì)算環(huán)境中實(shí)踐本發(fā)明，在這些分布式計(jì)算環(huán)境中，由 通過通信網(wǎng)絡(luò)而被連接的遠(yuǎn)程處理設(shè)備來執(zhí)行任務(wù)。在分布式計(jì)算環(huán)境中，程序模塊可以 位于包括存儲設(shè)備在內(nèi)的本地和遠(yuǎn)程計(jì)算機(jī)存儲介質(zhì)中。雖然通過實(shí)施例描繪了本發(fā)明，本領(lǐng)域普通技術(shù)人員知道，本發(fā)明有許多變形和 變化而不脫離本發(fā)明的精神，希望所附的權(quán)利要求包括這些變形和變化而不脫離本發(fā)明的 精神。
權(quán)利要求
一種日志采集系統(tǒng)，其特征在于，包括加速服務(wù)器、日志回收服務(wù)器和中心服務(wù)器；加速服務(wù)器用于產(chǎn)生日志文件，并將日志文件上傳到日志回收服務(wù)器；日志回收服務(wù)器用于接收多個(gè)加速服務(wù)器上傳的日志文件，并將接收的日志文件上傳到中心服務(wù)器；中心服務(wù)器用于接收多個(gè)日志回收服務(wù)器上傳的日志文件；其中，日志回收服務(wù)器的數(shù)量少于加速服務(wù)器的數(shù)量。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，日志回收服務(wù)器與向其上傳日志文件的加 速服務(wù)器位于同一個(gè)網(wǎng)絡(luò)內(nèi)。
3.如權(quán)利要求2所述的系統(tǒng)，其特征在于，加速服務(wù)器具體用于從同一個(gè)網(wǎng)絡(luò)內(nèi)的所 有日志回收服務(wù)器中選擇一個(gè)日志回收服務(wù)器，并向選中的日志回收服務(wù)器上傳日志。
4.如權(quán)利要求3所述的系統(tǒng)，其特征在于，如果加速服務(wù)器無法選擇同一個(gè)網(wǎng)絡(luò)內(nèi)的 日志回收服務(wù)器，則從全網(wǎng)的日志回收服務(wù)器中選擇一個(gè)日志回收服務(wù)器，并向選中的日 志回收服務(wù)器上傳日志。
5.如權(quán)利要求3或4所述的系統(tǒng)，其特征在于，加速服務(wù)器周期性的檢查是否有新的日 志文件產(chǎn)生，如果有新的日志文件產(chǎn)生，則將新的日志文件上傳到選中的日志回收服務(wù)器。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，加速服務(wù)器將已上傳的日志文件進(jìn)行備份。
7.如權(quán)利要求1-4任意一項(xiàng)所述的系統(tǒng)，其特征在于，日志回收服務(wù)器將無法分析的 日志文件進(jìn)行清理；和/或，日志回收服務(wù)器對日志文件中的信息進(jìn)行拆分和提取，將提取后的信息生成中心服務(wù) 器文件格式的日志文件。
8.如權(quán)利要求1-4任意一項(xiàng)所述的系統(tǒng)，其特征在于，日志回收服務(wù)器獲得中心服務(wù) 器的配置列表，從配置列表中選擇一個(gè)中心服務(wù)器，向選中的中心服務(wù)器發(fā)起連接請求，如 果選中的中心服務(wù)器接受日志回收服務(wù)器的連接請求，則日志回收服務(wù)器與選中的中心服 務(wù)器建立連接，向選中的中心服務(wù)器上傳日志文件，上傳結(jié)束后，斷開與選中的中心服務(wù)器 的連接。
9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，日志回收服務(wù)器將已上傳的日志文件進(jìn)行 備份。
10.一種基于權(quán)利要求1-9任意一項(xiàng)所述日志采集系統(tǒng)的日志采集方法，其特征在于， 包括日志回收服務(wù)器獲得加速服務(wù)器上傳的日志文件；日志回收服務(wù)器對加速服務(wù)器上傳的日志文件進(jìn)行處理；日志回收服務(wù)器將處理后的日志文件上傳到中心服務(wù)器。
11.如權(quán)利要求10所述的方法，其特征在于，日志回收服務(wù)器對加速服務(wù)器上傳的日 志文件進(jìn)行處理包括日志回收服務(wù)器將無法分析的日志文件進(jìn)行清理；和/或，日志回收服務(wù)器對日志文件中的信息進(jìn)行拆分和提取，將提取后的信息生成中心服務(wù) 器文件格式的日志文件。
12.如權(quán)利要求10或11所述的方法，其特征在于，日志回收服務(wù)器將處理后的日志文 件上傳到中心服務(wù)器之前，獲得中心服務(wù)器的配置列表，從配置列表中選擇一個(gè)中心服務(wù)
13.如權(quán)利要求12所述的方法，其特征在于，日志回收服務(wù)器將處理后的日志文件上 傳到中心服務(wù)器具體為日志回收服務(wù)器將處理后的日志文件上傳到選中的中心服務(wù)器；日志回收服務(wù)器將處理后的日志文件上傳到選中的中心服務(wù)器包括日志回收服務(wù)器向選中的中心服務(wù)器發(fā)起連接請求；如果選中的中心服務(wù)器接受日志回收服務(wù)器的連接請求，則日志回收服務(wù)器與選中的 中心服務(wù)器建立連接；日志回收服務(wù)器向選中的中心服務(wù)器上傳日志文件；上傳結(jié)束后，日志回收服務(wù)器斷開與選中的中心服務(wù)器的連接。
14.如權(quán)利要求10所述的方法，其特征在于，日志回收服務(wù)器將處理后的日志文件上 傳到中心服務(wù)器后，將已上傳的日志文件進(jìn)行備份。
15.一種日志回收服務(wù)器，其特征在于，設(shè)置在權(quán)利要求1-9任意一項(xiàng)所述的日志采集 系統(tǒng)中，所述日志回收服務(wù)器包括獲得單元，用于獲得加速服務(wù)器上傳的日志文件；處理單元，用于對加速服務(wù)器上傳的日志文件進(jìn)行處理；上傳單元，用于將處理后的日志文件上傳到中心服務(wù)器。
16.如權(quán)利要求15所述的日志回收服務(wù)器，其特征在于，所述處理單元具體用于將無 法分析的日志文件進(jìn)行清理，和/或，對日志文件中的信息進(jìn)行拆分和提取，將提取后的信 息生成中心服務(wù)器文件格式的日志文件。
17.如權(quán)利要求15或16所述的日志回收服務(wù)器，其特征在于，在所述上傳單元將處理 后的日志文件上傳到中心服務(wù)器之前，所述獲得單元獲得中心服務(wù)器的配置列表；所述日志回收服務(wù)器還包括選擇單元，用于從配置列表中選擇一個(gè)中心服務(wù)器。
18.如權(quán)利要求17所述的日志回收服務(wù)器，其特征在于，所述上傳單元具體用于將處 理后的日志文件上傳到選中的中心服務(wù)器；所述上傳單元包括請求模塊，用于向選中的中心服務(wù)器發(fā)起連接請求；連接模塊，用于如果選中的中心服務(wù)器接受連接單元的連接請求，則與選中的中心服 務(wù)器建立連接；上傳模塊，用于向選中的中心服務(wù)器上傳日志文件；斷開模塊，用于在上傳模塊上傳完日志文件后，斷開與選中的中心服務(wù)器的連接。
19.如權(quán)利要求15所述的日志回收服務(wù)器，其特征在于，還包括備份單元，用于在所述 上傳單元將處理后的日志文件上傳到中心服務(wù)器后，將已上傳的日志文件進(jìn)行備份。
全文摘要
本發(fā)明涉及一種日志采集系統(tǒng)、日志采集方法和日志回收服務(wù)器；其中，所述日志采集系統(tǒng)包括加速服務(wù)器、日志回收服務(wù)器和中心服務(wù)器；加速服務(wù)器用于產(chǎn)生日志文件，并將日志文件上傳到日志回收服務(wù)器；日志回收服務(wù)器用于接收多個(gè)加速服務(wù)器上傳的日志文件，并將接收的日志文件上傳到中心服務(wù)器；中心服務(wù)器用于接收多個(gè)日志回收服務(wù)器上傳的日志文件；其中，日志回收服務(wù)器的數(shù)量少于加速服務(wù)器的數(shù)量。采用本發(fā)明的日志采集系統(tǒng)、日志采集方法和日志回收服務(wù)器，可有效降低中心服務(wù)器的壓力、降低網(wǎng)絡(luò)開銷，并且提高了傳輸效率。
文檔編號H04L12/24GK101964795SQ201010504198
公開日2011年2月2日 申請日期2010年9月30日 優(yōu)先權(quán)日2010年9月30日
發(fā)明者井衛(wèi)軍, 姚永壯, 楊利軍, 蔣建平, 郜時(shí)紅 申請人:北京世紀(jì)互聯(lián)工程技術(shù)服務(wù)有限公司;北京云快線軟件服務(wù)有限公司