數(shù)據(jù)監(jiān)控方法及裝置的制造方法【專利摘要】本發(fā)明公開了一種數(shù)據(jù)監(jiān)控方法，包括：獲取預設時間閾值內(nèi)服務器網(wǎng)卡的數(shù)據(jù)流量，所述數(shù)據(jù)流量包括數(shù)據(jù)流入量和數(shù)據(jù)流出量；根據(jù)所述數(shù)據(jù)流量、預設流量閾值、和/或預設流量比值閾值，判定所述數(shù)據(jù)流量是否平衡。本發(fā)明提出的數(shù)據(jù)監(jiān)控方法及裝置，能夠監(jiān)測到數(shù)據(jù)流量的異常情況。【專利說明】數(shù)據(jù)監(jiān)控方法及裝置
技術領域：
[0001]本發(fā)明設及數(shù)據(jù)處理
技術領域：
，特別是指一種數(shù)據(jù)監(jiān)控方法及裝置?！?br>背景技術：
】[0002]化doop和hive是目前業(yè)界廣泛使用的數(shù)據(jù)存儲W及查詢的分布式解決方案。HIVE,是基于化doop的一個數(shù)據(jù)倉庫工具，可W將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql(StructuredQueryLanguage,結(jié)構(gòu)化查詢語言）查詢功能，可W將sql語句轉(zhuǎn)換為MapReduce(映射化簡)任務進行運行。其優(yōu)點是學習成本低，可W通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)?？诘腗apReduce應用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。[0003]HDFS(Hadoop分布式文件系統(tǒng)）被設計成適合運行在通用硬件（commodityhardware)上的分布式文件系統(tǒng)。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點。但同時，它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的。HDFS是一個高度容錯性的系統(tǒng)，適合部署在廉價的機器上。皿FS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應用。皿FS放寬了一部分P0SIX(F*o;rtableOperatingSystemInte;rface，可移植操作系統(tǒng)接口）標準的約束，來實現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。現(xiàn)有技術中HDFS中的數(shù)據(jù)監(jiān)控包括對數(shù)據(jù)進行驗平（即，數(shù)據(jù)量的平衡性驗證，用于驗證數(shù)據(jù)量處于平衡狀態(tài)，屬于系統(tǒng)數(shù)據(jù)監(jiān)控方式的一種）。但在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術至少存在W下問題：[0004]現(xiàn)有技術中的數(shù)據(jù)驗平方式，僅能判斷數(shù)據(jù)量的平衡，不能判斷監(jiān)控到數(shù)據(jù)流量過高或過低時的異常情況。流量過高會導致數(shù)據(jù)接收延時、積壓，影響后續(xù)日志解析等操作，數(shù)據(jù)的及時性會受到影響，如果流量超過接收機的負載能力會導致數(shù)據(jù)丟失設置會巖機;而當流量過低對數(shù)據(jù)接收不會造成影響，但可W說明數(shù)據(jù)存在上報存在不準確的可能性?！?br/>發(fā)明內(nèi)容】[0005]有鑒于此，本發(fā)明的目的在于提出一種數(shù)據(jù)監(jiān)控方法及裝置，能夠監(jiān)測到數(shù)據(jù)流量的異常情況。[0006]基于上述目的本發(fā)明實施例提供的數(shù)據(jù)監(jiān)控方法，包括：[0007]獲取預設時間闊值內(nèi)服務器網(wǎng)卡的數(shù)據(jù)流量，所述數(shù)據(jù)流量包括數(shù)據(jù)流入量和數(shù)據(jù)流出量；[000引根據(jù)所述數(shù)據(jù)流量、預設流量闊值、和/或預設流量比值闊值，驗證所述數(shù)據(jù)流量是否平衡。[0009]在一些實施方式中，根據(jù)所述數(shù)據(jù)流量、預設流量闊值、和/或預設流量比值闊值，判定所述數(shù)據(jù)流量是否平衡包括：[0010]判斷所述預設時間闊值內(nèi)所述數(shù)據(jù)流入量、和/或所述數(shù)據(jù)流出量是否處于預設流量闊值范圍內(nèi)；[0011]若所述數(shù)據(jù)流入量、和/或所述數(shù)據(jù)流出量處于預設流量闊值范圍內(nèi)，說明所述數(shù)據(jù)流入量、和/或所述數(shù)據(jù)流出量平衡。[0012]在一些實施方式中，根據(jù)所述數(shù)據(jù)流量、預設流量闊值、和/或預設流量比值闊值，判定所述數(shù)據(jù)流量是否平衡包括：[0013]計算所述數(shù)據(jù)流出量和數(shù)據(jù)流入量的比值；[0014]判斷預設時間闊值內(nèi)所述比值是否處于預設流量比值闊值范圍內(nèi)；[0015]若所述比值處于預設流量比值闊值范圍內(nèi)，說明所述數(shù)據(jù)流入量和所述數(shù)據(jù)流出量的比平衡。[0016]在一些實施方式中，所述預設流量闊值包括預設流入量闊值和預設流出量闊值；所述預設流入量闊值對應于所述數(shù)據(jù)流入量，所述預設流出量闊值對應于所述數(shù)據(jù)流出量。[0017]在一些實施方式中，所述的方法還包括：[0018]若所述數(shù)據(jù)流入量高于所述預設流量闊值范圍中的最大值，判定所述數(shù)據(jù)流量不平衡；[0019]增加臨時接收機；[0020]若增加臨時接收機后仍不能平衡數(shù)據(jù)流量，判斷出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接P;[0021]修改接收機配置，停止接收數(shù)據(jù)流量不平衡的業(yè)務線接口的上報數(shù)據(jù)。[0022]在一些實施方式中，所述的方法還包括：[0023]若所述數(shù)據(jù)流入量低于所述預設流量闊值范圍中的最小值，判定所述數(shù)據(jù)流量不平衡；[0024]判斷出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口；[0025]發(fā)送數(shù)據(jù)流量不平衡的提示信息到與所述出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口相關的業(yè)務方。[00%]在一些實施方式中，所述的方法還包括：[0027]若所述數(shù)據(jù)流出量高于所述預設流量闊值范圍中的最大值或低于所述預設流量闊值范圍中的最小值，判定所述數(shù)據(jù)流量不平衡；[0028]將出現(xiàn)數(shù)據(jù)流量不平衡的時間段的日志文件重新寫入分布式文件系統(tǒng)。[0029]在一些實施方式中，所述的方法還包括：[0030]若所述數(shù)據(jù)流出量高于所述預設流量闊值范圍中的最大值、所述數(shù)據(jù)流入量高于所述預設流量闊值范圍中的最大值且所述數(shù)據(jù)流入量和所述數(shù)據(jù)流出量的比值處于預設流量比值闊值范圍內(nèi)，判定所述數(shù)據(jù)流量平衡。[0031]本發(fā)明實施例的另一方面，還提供了一種數(shù)據(jù)監(jiān)控裝置，包括：[0032]流量獲取模塊，用于獲取預設時間闊值內(nèi)服務器網(wǎng)卡的數(shù)據(jù)流量，所述數(shù)據(jù)流量包括數(shù)據(jù)流入量和數(shù)據(jù)流出量；[0033]平衡判定模塊，用于根據(jù)所述數(shù)據(jù)流量、預設流量闊值、和/或預設流量比值闊值，判定所述數(shù)據(jù)流量是否平衡。[0034]在一些實施方式中，所述平衡判定模塊，具體用于：[0035]判斷所述預設時間闊值內(nèi)所述數(shù)據(jù)流入量、和/或所述數(shù)據(jù)流出量是否處于預設流量闊值范圍內(nèi)；[0036]若所述數(shù)據(jù)流入量、和/或所述數(shù)據(jù)流出量處于預設流量闊值范圍內(nèi)，說明所述數(shù)據(jù)流入量、和/或所述數(shù)據(jù)流出量平衡。[0037]在一些實施方式中，所述平衡判定模塊，具體用于：[0038]計算所述數(shù)據(jù)流出量和數(shù)據(jù)流入量的比值；[0039]判斷預設時間闊值內(nèi)所述比值是否處于預設流量比值闊值范圍內(nèi)；[0040]若所述比值處于預設流量比值闊值范圍內(nèi)，說明所述數(shù)據(jù)流入量和所述數(shù)據(jù)流出量的比平衡。[0041]在一些實施方式中，所述預設流量闊值包括預設流入量闊值和預設流出量闊值；所述預設流入量闊值對應于所述數(shù)據(jù)流入量，所述預設流出量闊值對應于所述數(shù)據(jù)流出量。[0042]在一些實施方式中，所述平衡判定模塊，具體用于：[0043]若所述數(shù)據(jù)流入量高于所述預設流量闊值范圍中的最大值，判定所述數(shù)據(jù)流量不平衡；[0044]增加臨時接收機；[0045]若增加臨時接收機后仍不能平衡數(shù)據(jù)流量，判斷出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接P;[0046]修改接收機配置，停止接收數(shù)據(jù)流量不平衡的業(yè)務線接口的上報數(shù)據(jù)。[0047]在一些實施方式中，所述平衡判定模塊，具體用于：[0048]若所述數(shù)據(jù)流入量低于所述預設流量闊值范圍中的最小值，判定所述數(shù)據(jù)流量不平衡；[0049]判斷出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口；[0050]發(fā)送數(shù)據(jù)流量不平衡的提示信息到與所述出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口相關的業(yè)務方。[0051]在一些實施方式中，所述平衡判定模塊，具體用于：[0052]若所述數(shù)據(jù)流出量高于所述預設流量闊值范圍中的最大值或低于所述預設流量闊值范圍中的最小值，判定所述數(shù)據(jù)流量不平衡；[0053]將出現(xiàn)數(shù)據(jù)流量不平衡的時間段的日志文件重新寫入分布式文件系統(tǒng)。[0054]在一些實施方式中，所述平衡判定模塊，具體用于：[0055]若所述數(shù)據(jù)流出量高于所述預設流量闊值范圍中的最大值、所述數(shù)據(jù)流入量高于所述預設流量闊值范圍中的最大值且所述數(shù)據(jù)流入量和所述數(shù)據(jù)流出量的比值處于預設比值闊值范圍內(nèi)，判定所述數(shù)據(jù)流量平衡。[0056]從上面所述可W看出，本發(fā)明實施例提供的數(shù)據(jù)監(jiān)控方法，通過直接調(diào)用服務器網(wǎng)卡上報的數(shù)據(jù)流入量、數(shù)據(jù)流出量、和/或計算二者的數(shù)據(jù)量比值，判斷數(shù)據(jù)流入量、數(shù)據(jù)流出量和/或數(shù)據(jù)量比值是否處于相應的闊值范圍內(nèi)，從而根據(jù)判斷結(jié)果進行數(shù)據(jù)流量驗平，一方面，直接利用服務器網(wǎng)卡上報的數(shù)據(jù)，無需增加其他流量監(jiān)控設備，另一方面，能夠?qū)?shù)據(jù)流量的異常情況進行監(jiān)控?！靖綀D說明】[0057]圖I為本發(fā)明提供的數(shù)據(jù)監(jiān)控方法的第一個實施例的流程示意圖；[0058]圖2為本發(fā)明提供的數(shù)據(jù)監(jiān)控方法的第二個實施例的流程示意圖；[0059]圖3為本發(fā)明提供的數(shù)據(jù)監(jiān)控方法的第=個實施例的流程示意圖；[0060]圖4為本發(fā)明提供的數(shù)據(jù)監(jiān)控方法的第四個實施例的流程示意圖；[0061]圖5為本發(fā)明提供的數(shù)據(jù)監(jiān)控方法的第五個實施例的流程示意圖；[0062]圖6為本發(fā)明提供的數(shù)據(jù)監(jiān)控方法的第六個實施例的流程示意圖；[0063]圖7為本發(fā)明提供的數(shù)據(jù)監(jiān)控裝置的第一個實施例的模塊結(jié)構(gòu)示意圖。[0064]圖8為本發(fā)明提供的數(shù)據(jù)監(jiān)控裝置的第四個和/或第五個實施例的模塊結(jié)構(gòu)示意圖?！揪唧w實施方式】[0065]為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，W下結(jié)合具體實施例，并參照附圖，對本發(fā)明進一步詳細說明。[0066]需要說明的是，本發(fā)明實施例中所有使用"第一"和"第二"的表述均是為了區(qū)分兩個相同名稱非相同的實體或者非相同的參量，可見"第一""第二"僅為了表述的方便，不應理解為對本發(fā)明實施例的限定，后續(xù)實施例對此不再一一說明。[0067]本發(fā)明實施例的第一個方面，提出了一種數(shù)據(jù)監(jiān)控方法的第一個實施例，能夠監(jiān)測到數(shù)據(jù)流量的異常情況。如圖1所示，為本發(fā)明提供的數(shù)據(jù)監(jiān)控方法的第一個實施例的流程示意圖。[0068]所述數(shù)據(jù)監(jiān)控方法，包括W下步驟：[0069]步驟101:獲取預設時間闊值內(nèi)服務器網(wǎng)卡的數(shù)據(jù)流量，所述數(shù)據(jù)流量包括數(shù)據(jù)流入量和數(shù)據(jù)流出量；[0070]服務器網(wǎng)卡是服務器必備的設備，用于服務器與交換機等網(wǎng)絡設備之間的連接；網(wǎng)卡，又稱網(wǎng)絡適配器或網(wǎng)絡接口卡(NIC),英文名為化tworkInterface化rd;在網(wǎng)絡中，如果有一臺計算機沒有網(wǎng)卡，那么運臺計算機將不能和其他計算機通信，它將得不到服務器所提供的任何服務；當然如果服務器沒有網(wǎng)卡，就稱不上服務器了，所W服務器網(wǎng)卡是服務器必備的設備，就像普通PC(個人電腦）需要配置處理器一樣;常見的PC機上的網(wǎng)卡主要是將PC機和LAN(局域網(wǎng)）相連接，而服務器網(wǎng)卡，一般是用于服務器與交換機等網(wǎng)絡設備之間的連接；[0071]服務器網(wǎng)卡在平時工作時，其數(shù)據(jù)流量會被實時采集并上報，因此，步驟101中的服務器網(wǎng)卡的數(shù)據(jù)流量(包括數(shù)據(jù)流入量和數(shù)據(jù)流出量)直接從上報數(shù)據(jù)中提取即可；[0072]所述預設時間闊值，可W是指一個最佳的監(jiān)控時間段(例如每天的中午12點至下午2點），也可W是用于確定數(shù)據(jù)流量平均值的一小段時間（例如5分鐘）；[0073]步驟102:根據(jù)所述數(shù)據(jù)流量、預設流量闊值、和/或預設流量比值闊值，判定所述數(shù)據(jù)流量是否平衡；[0074]運里，在判定所述數(shù)據(jù)流量是否平衡時，可W采用數(shù)據(jù)流量與預設流量闊值進行對比，采用運種對比方式時，如果著重考量數(shù)據(jù)流入量的穩(wěn)定性，則可W是將數(shù)據(jù)流入量與預設流入量闊值進行對比，如果著重考量數(shù)據(jù)流出量的穩(wěn)定性，則也可W是將數(shù)據(jù)流出量與預設流出量闊值進行對比，如果需要綜合考量，則還可W是將數(shù)據(jù)流入量和數(shù)據(jù)流出量分別與預設流入量闊值和預設流出量闊值進行對比，然后綜合判定數(shù)據(jù)流量是否平衡;并且，根據(jù)實際情況，所述預設流入量闊值和預設流出量闊值可W是同一個闊值，也可W是不同的闊值。此外，所述判定所述數(shù)據(jù)流量是否平衡，還可W采用將所述數(shù)據(jù)流入量除W數(shù)據(jù)流出量得到比值后，將比值與預設流量比值闊值進行比對，來判定數(shù)據(jù)流量是否平衡，在比值低于預設流量比值闊值范圍的最小值或高于預設流量比值闊值范圍的最大值時，則可說明數(shù)據(jù)流入量和數(shù)據(jù)流出量之間不平衡。[0075]從上述實施例可W看出，本發(fā)明提供的數(shù)據(jù)監(jiān)控方法，通過直接調(diào)用服務器網(wǎng)卡上報的數(shù)據(jù)流量，判斷數(shù)據(jù)流量和/或數(shù)據(jù)量比值是否處于相應的闊值范圍內(nèi)，從而根據(jù)判斷結(jié)果進行數(shù)據(jù)流量驗平，一方面，直接利用服務器網(wǎng)卡上報的數(shù)據(jù)，無需增加其他流量監(jiān)控設備，另一方面，能夠?qū)?shù)據(jù)流量的異常情況進行監(jiān)控。[0076]本發(fā)明實施例的第二個方面，提出了一種數(shù)據(jù)監(jiān)控方法的第二個實施例，能夠監(jiān)測到數(shù)據(jù)流量的異常情況。如圖2所示，為本發(fā)明提供的數(shù)據(jù)監(jiān)控方法的第二個實施例的流程示意圖。[0077]所述數(shù)據(jù)監(jiān)控方法，包括W下步驟：[0078]步驟101:獲取服務器網(wǎng)卡的數(shù)據(jù)流入量和數(shù)據(jù)流出量；[0079]服務器網(wǎng)卡是服務器必備的設備，用于服務器與交換機等網(wǎng)絡設備之間的連接；網(wǎng)卡，又稱網(wǎng)絡適配器或網(wǎng)絡接口卡(NIC),英文名為化tworkInterface化rd;在網(wǎng)絡中，如果有一臺計算機沒有網(wǎng)卡，那么運臺計算機將不能和其他計算機通信，它將得不到服務器所提供的任何服務；當然如果服務器沒有網(wǎng)卡，就稱不上服務器了，所W服務器網(wǎng)卡是服務器必備的設備，就像普通PC(個人電腦）需要配置處理器一樣;常見的PC機上的網(wǎng)卡主要是將PC機和LAN(局域網(wǎng)）相連接，而服務器網(wǎng)卡，一般是用于服務器與交換機等網(wǎng)絡設備之間的連接；[0080]服務器網(wǎng)卡在平時工作時，其數(shù)據(jù)流入量和數(shù)據(jù)流出量會被實時采集并上報，因此，步驟101中的服務器網(wǎng)卡的數(shù)據(jù)流入量和數(shù)據(jù)流出量直接從上報數(shù)據(jù)中提取即可；[0081]步驟102:根據(jù)所述數(shù)據(jù)流量、預設流量闊值、和/或預設流量比值闊值，判定所述數(shù)據(jù)流量是否平衡；[0082]其中，在一些可選實施方式中，所述步驟102還可W具體包括W下步驟：[0083]步驟201:判斷所述數(shù)據(jù)流入量是否處于預設流入量闊值范圍內(nèi)；[0084]運里，判斷所述數(shù)據(jù)流入量是否處于預設流入量闊值范圍內(nèi)時，可W選擇第一預設時間段內(nèi)采集的數(shù)據(jù)流入量來判斷;所述第一預設時間段，可W是指需要進行數(shù)據(jù)流量異常監(jiān)控的時間段(例如一天中的某一個時段，運個時段采集的數(shù)據(jù)流量用于進行數(shù)據(jù)監(jiān)控的效果最好)或者能夠滿足數(shù)據(jù)流量異常監(jiān)控需要而應當采集數(shù)據(jù)的時間長度(例如每隔2小時進行一次日志量驗平的效果最好）；運里，根據(jù)實際需要，可W對第一預設時間段進行選擇，并可W根據(jù)實際情況的變化，對第一預設時間段進行調(diào)整;并且，可選的，在判斷第一預設時間段內(nèi)所述數(shù)據(jù)流入量是否處于預設流入量闊值范圍內(nèi)時，可W是采用第一預設時間段內(nèi)每個時間點的數(shù)據(jù)流入量是否都處于預設流入量闊值范圍內(nèi)的方式;但是，為了計算方便和節(jié)約資源的需要，所述判斷第一預設時間段內(nèi)所述數(shù)據(jù)流入量是否處于預設流入量闊值范圍內(nèi)的方式，可W是將第一預設時間段內(nèi)采集得到的所有數(shù)據(jù)流入量取平均值后，再判斷數(shù)據(jù)流入量平均值是否處于預設流入量闊值范圍內(nèi)；[0085]或者，還可W不設置第一預設時間段，而采用24小時隨時監(jiān)控的方式，例如任何時間出現(xiàn)流入量超出預設流入量闊值范圍的情況，均認為數(shù)據(jù)流量不平衡，或者，出現(xiàn)流入量超出預設流入量闊值范圍的情況超過一定時間（可假設為第一預設時間闊值，可選的，例如5分鐘)則認為數(shù)據(jù)流量不平衡的方式；[0086]所述預設流入量闊值范圍，是指可W認定所述數(shù)據(jù)流入量為正常狀態(tài)的范圍，其可根據(jù)實際需要進行選擇并根據(jù)情況變化而進行調(diào)整，例如，通常情況下，數(shù)據(jù)流入量是200M/S，那么所述預設流入量闊值范圍則需要在200M/S上下浮動才能認定為正常，此時預設流入量闊值范圍可W是，例如150~250M/S;[0087]和/或，[0088]步驟202:判斷所述數(shù)據(jù)流出量是否處于預設流出量闊值范圍內(nèi)；[0089]運里，判斷所述數(shù)據(jù)流出量是否處于預設流出量闊值范圍內(nèi)時，可W選擇第二預設時間段內(nèi)采集的數(shù)據(jù)流出量來判斷;運里的第二預設時間段可W與步驟201中的第一預設時間段相同，當然，在某些情況下，運里的第二預設時間段與步驟202中的第一預設時間段也可W不相同；同樣的，可選的，在判斷第二預設時間段內(nèi)所述數(shù)據(jù)流出量是否處于預設流出量闊值范圍內(nèi)時，可W是采用第二預設時間段內(nèi)每個時間點的數(shù)據(jù)流出量是否都處于預設流出量闊值范圍內(nèi)的方式;但是，為了計算方便和節(jié)約資源的需要，所述判斷第二預設時間段內(nèi)所述數(shù)據(jù)流出量是否處于預設流出量闊值范圍內(nèi)的方式，可W是將第二預設時間段內(nèi)采集得到的所有數(shù)據(jù)流出量取平均值后，再判斷數(shù)據(jù)流出量平均值是否處于預設流出量闊值范圍內(nèi)；[0090]或者，還可W不設置第二預設時間段，而采用24小時隨時監(jiān)控的方式，例如任何時間出現(xiàn)流入量超出預設流入量闊值范圍的情況，均認為數(shù)據(jù)流量不平衡，或者，出現(xiàn)流入量超出預設流入量闊值范圍的情況超過一定時間（可假設為第二預設時間闊值，可選的，例如5分鐘)則認為數(shù)據(jù)流量不平衡的方式；[0091]同理，所述預設流出量闊值范圍，是指可W認定所述數(shù)據(jù)流出量為正常狀態(tài)的范圍，其可根據(jù)實際需要進行選擇并根據(jù)情況變化而進行調(diào)整，例如，通常情況下，數(shù)據(jù)流出量是200M/S，那么所述預設流出量闊值范圍則需要在200M/S上下浮動才能認定為正常，此時預設流出量闊值范圍可W是，例如150~250M/S;并且，根據(jù)不同的情況，所述預設流出量闊值范圍可W等于或不等于所述預設流入量闊值范圍；[0092]和/或，[0093]步驟203:計算所述數(shù)據(jù)流出量和數(shù)據(jù)流入量的數(shù)據(jù)量比值；[0094]步驟204:判斷所述數(shù)據(jù)量比值是否處于第一預設比值闊值范圍內(nèi)；[0095]單獨對數(shù)據(jù)流入量或數(shù)據(jù)流出量進行判斷時，只能分別判斷二者的流量是否出現(xiàn)異常，但是不能判斷二者是否保持了平衡;正常情況下，流入量應當?shù)扔诨蚣s等于流出量，才能說明網(wǎng)絡正常，因此，步驟203中對數(shù)據(jù)量比值進行了計算，并在步驟204中對數(shù)據(jù)量比值進行了闊值判斷；[0096]運里，判斷所述數(shù)據(jù)量比值是否處于第一預設比值闊值范圍內(nèi)時，可W選擇第=預設時間段內(nèi)采集的數(shù)據(jù)流出量來判斷;所述第一預設比值闊值范圍，是指可W認定所述數(shù)據(jù)量比值為正常狀態(tài)的范圍，其可根據(jù)實際需要進行選擇并根據(jù)情況變化而進行調(diào)整，例如，通常情況下，數(shù)據(jù)流入量是200M/S、數(shù)據(jù)流出量是200M/S，那么數(shù)據(jù)量比值是1，所述預設流出量闊值范圍則需要在I上下浮動才能認定為正常，但是，通常情況下，數(shù)據(jù)流出量小于數(shù)據(jù)流入量，因此所述數(shù)據(jù)量比值是小于或等于1的值，此時預設流出量闊值范圍可W是，例如0.8~1;[0097]此外，運里的第=預設時間段可W與步驟201中的第一預設時間段相同，當然，在某些情況下，運里的第=預設時間段與步驟201中的第一預設時間段也可W不相同；同樣的，可選的，在判斷第=預設時間段內(nèi)所述數(shù)據(jù)量比值是否處于第一預設比值闊值范圍內(nèi)時，可W是采用第=預設時間段內(nèi)每個時間點的數(shù)據(jù)量比值是否處于第一預設比值闊值范圍內(nèi)的方式;但是，為了計算方便和節(jié)約資源的需要，所述判斷第=預設時間段內(nèi)所述數(shù)據(jù)量比值是否處于第一預設比值闊值范圍內(nèi)的方式，可W是將第=預設時間段內(nèi)采集得到的所有數(shù)據(jù)量比值取平均值后，再判斷數(shù)據(jù)量比值平均值是否處于第一預設比值闊值范圍內(nèi)；[0098]或者，還可W不設置第=預設時間段，而采用24小時隨時監(jiān)控的方式，例如任何時間出現(xiàn)數(shù)據(jù)量比值超出第一預設比值闊值范圍的情況，均認為數(shù)據(jù)流量不平衡，或者，出現(xiàn)數(shù)據(jù)量比值超出第一預設比值闊值范圍的情況超過一定時間（可假設為第一預設時間闊值或第二預設時間闊值，還可W根據(jù)需要選擇其他闊值，可選的，例如5分鐘）則認為數(shù)據(jù)流量不平衡的方式；[0099]步驟205:根據(jù)判斷結(jié)果，判定數(shù)據(jù)流量是否平衡；[0100]運里的判斷結(jié)果，包括步驟201、步驟202和/或步驟204的判斷結(jié)果；[0101]若單獨根據(jù)數(shù)據(jù)流入量進行判斷，判定數(shù)據(jù)流量是否平衡的步驟可包括：當數(shù)據(jù)流入量處于預設流入量闊值范圍內(nèi)時，數(shù)據(jù)流量平衡，當數(shù)據(jù)流入量不處于預設流入量闊值范圍內(nèi)時，數(shù)據(jù)流量不平衡;例如，預設流入量闊值范圍為150~250M/S，若數(shù)據(jù)流入量是200M/S，則數(shù)據(jù)流量平衡，若數(shù)據(jù)流入量是lOOM/s或400M/S，則說明數(shù)據(jù)流量出現(xiàn)了異常，即不平衡；[0102]同理，若單獨根據(jù)數(shù)據(jù)流出量進行判斷，判定數(shù)據(jù)流量是否平衡的步驟可包括:當數(shù)據(jù)流出量處于預設流出量闊值范圍內(nèi)時，數(shù)據(jù)流量平衡，當數(shù)據(jù)流出量不處于預設流出量闊值范圍內(nèi)時，數(shù)據(jù)流量不平衡;例如，預設流出量闊值范圍為150~250M/S，若數(shù)據(jù)流出量是200M/S，則數(shù)據(jù)流量平衡，若數(shù)據(jù)流出量是lOOM/s或400M/S，則說明數(shù)據(jù)流量出現(xiàn)了異常，即不平衡；[0103]若單獨根據(jù)數(shù)據(jù)量比值進行判斷，判定數(shù)據(jù)量比值是否平衡的步驟可包括：當數(shù)據(jù)量比值處于第一預設比值闊值范圍內(nèi)時，數(shù)據(jù)流量平衡，當數(shù)據(jù)量比值不處于第一預設比值闊值范圍內(nèi)時，數(shù)據(jù)流量不平衡;例如，第一預設比值闊值范圍為0.8~IM/s，若數(shù)據(jù)流入量是200M/S，數(shù)據(jù)流入量是180M/S，則數(shù)據(jù)量比值為0.9，因此數(shù)據(jù)流量平衡，若數(shù)據(jù)流入量是400M/S，數(shù)據(jù)流入量是180M/S，則數(shù)據(jù)量比值為0.45，因此說明數(shù)據(jù)流量出現(xiàn)了異常，即不平衡；[0104]除了單獨判斷外，步驟201、步驟202和步驟204還可W排列組合使用，例如，將步驟201和步驟202結(jié)合，或者將步驟201和步驟204結(jié)合，再或者將步驟202和步驟204結(jié)合，還能將步驟201、步驟202和步驟204=者進行結(jié)合;進行排列組合時，步驟201、步驟202和步驟204的順序還能進行任意顛倒，即可W把步驟204放在前面，步驟202隨后，步驟201最后，等等；[0105]可選的，在對步驟201、步驟202和步驟204排列組合使用時，若其中一個步驟中的判斷結(jié)果為不平衡，即認為是數(shù)據(jù)流量不平衡，當全部步驟的判斷結(jié)果都是平衡時，才能認為數(shù)據(jù)流量平衡。[0106]此外，在判斷數(shù)據(jù)流量不平衡時，還可W發(fā)出警告信息，提醒技術人員及時分析問題原因并快速進行補救。[0107]從上述實施例可W看出，本發(fā)明實施例提供的數(shù)據(jù)監(jiān)控方法，通過直接調(diào)用服務器網(wǎng)卡上報的數(shù)據(jù)流入量、數(shù)據(jù)流出量并計算二者的數(shù)據(jù)量比值，從而判斷數(shù)據(jù)流入量、數(shù)據(jù)流出量和/或數(shù)據(jù)量比值是否處于相應的闊值范圍內(nèi)，從而根據(jù)判斷結(jié)果進行數(shù)據(jù)流量驗平，一方面，直接利用服務器網(wǎng)卡上報的數(shù)據(jù)，無需增加其他流量監(jiān)控設備，另一方面，能夠?qū)?shù)據(jù)流量的異常情況進行監(jiān)控。[0108]本發(fā)明實施例的第=個方面，提出了一種數(shù)據(jù)監(jiān)控方法的第=個實施例，能夠監(jiān)測到數(shù)據(jù)流量的異常情況。如圖3所示，為本發(fā)明提供的數(shù)據(jù)監(jiān)控方法的第=個實施例的流程示意圖。[0109]所述數(shù)據(jù)監(jiān)控方法，包括W下步驟：[0110]步驟101:獲取服務器網(wǎng)卡的數(shù)據(jù)流入量和數(shù)據(jù)流出量；[0111]服務器網(wǎng)卡是服務器必備的設備，用于服務器與交換機等網(wǎng)絡設備之間的連接；網(wǎng)卡，又稱網(wǎng)絡適配器或網(wǎng)絡接口卡(NIC),英文名為化tworkInterface化rd;在網(wǎng)絡中，如果有一臺計算機沒有網(wǎng)卡，那么運臺計算機將不能和其他計算機通信，它將得不到服務器所提供的任何服務；當然如果服務器沒有網(wǎng)卡，就稱不上服務器了，所W服務器網(wǎng)卡是服務器必備的設備，就像普通PC(個人電腦）需要配置處理器一樣;常見的PC機上的網(wǎng)卡主要是將PC機和LAN(局域網(wǎng)）相連接，而服務器網(wǎng)卡，一般是用于服務器與交換機等網(wǎng)絡設備之間的連接；[0112]服務器網(wǎng)卡在平時工作時，其數(shù)據(jù)流入量和數(shù)據(jù)流出量會被實時采集并上報，因此，步驟101中的服務器網(wǎng)卡的數(shù)據(jù)流入量和數(shù)據(jù)流出量直接從上報數(shù)據(jù)中提取即可；[0113]步驟102:根據(jù)所述數(shù)據(jù)流量、預設流量闊值、和/或預設流量比值闊值，判定所述數(shù)據(jù)流量是否平衡；[0114]其中，在一些可選實施方式中，所述步驟102還可W具體包括W下步驟：[0115]步驟301:若所述數(shù)據(jù)流入量高于所述預設流量闊值范圍中的最大值，說明數(shù)據(jù)流入量過高，判定所述數(shù)據(jù)流量不平衡;運里的預設流量闊值可W是指預設流入量闊值；[0116]步驟302:增加臨時接收機，W保證數(shù)據(jù)正常接收;所述接收機，通常是指提供日志數(shù)據(jù)接收服務的服務器，數(shù)據(jù)流量則從服務器網(wǎng)卡中獲取，因此，增加臨時接收機，有助于緩解網(wǎng)卡數(shù)據(jù)流入量壓力;運里，臨時接收機可W采用備用服務器或具有數(shù)據(jù)接收功能的流量壓力不大的其他服務器;增加臨時接收機的方式，可W采用自動調(diào)用備用服務器或具有數(shù)據(jù)接收功能的流量壓力不大的其他服務器的方式，或者采用技術工程師手動修改服務器配置的方式；[0117]步驟303:若增加臨時接收機后仍不能平衡數(shù)據(jù)流量，判斷出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口；所述業(yè)務線接口可W是某一個或某幾個的業(yè)務線的某一個或某幾個服務器數(shù)據(jù)接口，一個業(yè)務線代表一個產(chǎn)品（例如移動端APP、網(wǎng)站，等等），一個業(yè)務線可W對應多個接口；接口是指服務器的日志數(shù)據(jù)接口，是對日志服務的一種分類，比如，樂視網(wǎng)移動端app的日志數(shù)據(jù)上報接口有:登錄、環(huán)境、播放、廣告等接口，登錄接口負責接收用戶登錄的日志數(shù)據(jù)，環(huán)境接口負責接收app安裝環(huán)境的日志數(shù)據(jù)，播放接口負責接收視頻播放上報的日志數(shù)據(jù)，等等；[0118]判斷出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口的方式可W是，將每個業(yè)務線的每個接口的所述數(shù)據(jù)流入量與該接口相應的歷史數(shù)據(jù)流入量進行對比，數(shù)據(jù)流量差異較大的業(yè)務線接口則為數(shù)據(jù)流量不平衡的業(yè)務線接口；[0119]步驟304:修改接收機配置，停止接收數(shù)據(jù)流量不平衡的業(yè)務線接口的上報數(shù)據(jù)，從而保證不影響其它業(yè)務線和接口的數(shù)據(jù)接收；[0120]和/或，[0121]步驟305:若所述數(shù)據(jù)流入量低于所述預設流量闊值范圍中的最小值，說明數(shù)據(jù)流入量過低，判定所述數(shù)據(jù)流量不平衡;運里的預設流量闊值可W是指預設流入量闊值；[0122]步驟306:判斷出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口；[0123]同樣的，所述業(yè)務線接口可W是某一個或某幾個的業(yè)務線的某一個或某幾個服務器數(shù)據(jù)接口，一個業(yè)務線代表一個產(chǎn)品（例如移動端APP、網(wǎng)站，等等），一個業(yè)務線可W對應多個接口；接口是指服務器的日志數(shù)據(jù)接口，是對日志服務的一種分類，比如，樂視網(wǎng)移動端app的日志數(shù)據(jù)上報接口有:登錄、環(huán)境、播放、廣告等接口，登錄接口負責接收用戶登錄的日志數(shù)據(jù)，環(huán)境接口負責接收app安裝環(huán)境的日志數(shù)據(jù)，播放接口負責接收視頻播放上報的日志數(shù)據(jù)，等等；[0124]判斷出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口的方式可W是，將每個業(yè)務線的每個接口的所述數(shù)據(jù)流入量與該接口相應的歷史數(shù)據(jù)流入量進行對比，數(shù)據(jù)流量差異較大的業(yè)務線接口則為數(shù)據(jù)流量不平衡的業(yè)務線接口；[0125]步驟307:發(fā)送數(shù)據(jù)流量不平衡的提示信息到與所述出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口相關的業(yè)務方;與業(yè)務線接口相關的業(yè)務方，是指該業(yè)務線接口接收到的日志數(shù)據(jù)是誰上報的，比如說樂視視頻移動端上報的數(shù)據(jù)量特別少，向移動端業(yè)務方發(fā)送所述提示信息，用于通知他們檢查上報數(shù)據(jù)是否有問題；從而督促相關的業(yè)務方查找原因，解決問題;所述提示信息可W是被發(fā)送到的業(yè)務方預先設定的信息接收模塊，或者是業(yè)務方的相關技術人員的測試設備或者智能終端(如技術人員的手機或個人電腦等等）；[0126]和/或，[0127]步驟308:若所述數(shù)據(jù)流出量高于所述預設流量闊值范圍中的最大值或低于所述預設流量闊值范圍中的最小值，判定所述數(shù)據(jù)流量不平衡;運里的預設流量闊值可W是指預設流出量闊值;并且，根據(jù)不同的情況，所述預設流出量闊值范圍可W等于或不等于所述預設流入量闊值范圍；[0128]步驟309:將出現(xiàn)數(shù)據(jù)流量不平衡的時間段的日志文件重新寫入分布式文件系統(tǒng)；可選的，在判定數(shù)據(jù)流量不平衡時，還可同時發(fā)出警告信息，所述警告信息的發(fā)送對象可W是皿FS的相關技術人員或維護人員的測試設備或者智能終端(如技術人員的手機或個人電腦等等），用于提醒他們查找相關問題并及時解決；[0129]其中，當數(shù)據(jù)流出量高于所述預設流量闊值范圍中的最大值時：[0130]可W通過查看HDFS接收的日志文件數(shù)量與入庫的日志文件數(shù)量是否一致來判斷皿FS輸出的日志文件數(shù)量是否正常，從而確定出現(xiàn)數(shù)據(jù)流出量高于所述預設流量闊值范圍中的最大值的原因；[0131]通常情況下，接收機接收到日志數(shù)據(jù)后，會將日志數(shù)據(jù)暫存到接收機的磁盤上的日志文件con.log中，每隔一段時間，日志文件con.log被重命名為另一個文件（即完整日志文件)并重新生成新的日志文件con.log用于暫存新的日志數(shù)據(jù)，被重命名后得到的完整日志文件可使用一個程序(例如glume(可譯為穎），一種類似于Flume(可譯為水槽)的程序)存儲到HDFS，得到seq(可譯為序列，一種預設的外部命令，一般用作一堆數(shù)字的簡化寫法)文件格式的落盤日志文件，所述seq文件格式的落盤日志文件經(jīng)過解析程序后得到RC(runcommand,運行命令)文件并掛載到化ve完成入庫，得到入庫日志文件;此時，若接收到的完整日志文件的數(shù)量與入庫的入庫日志文件數(shù)量不一致，則說明皿FS輸出的日志文件數(shù)量不正常，反之，則為正常;Flume是一種高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方(可定制）的能力；[0132]如果正常，則可能是有相關技術人員在接收機上提取數(shù)據(jù)導致網(wǎng)卡流量偏高，因此可W忽略警告信息；[0133]如果不正常，可能是網(wǎng)絡異?；騡lume異常導致數(shù)據(jù)重復發(fā)送，從而引起的數(shù)據(jù)輸出量超高；比如，需要傳輸?shù)奈募笮?00M，傳了80M的時候，因為網(wǎng)絡異?；騡lume異常，傳輸失敗了，glume會把運個已經(jīng)傳輸?shù)?0M文件刪了，并重新上傳文件，如果文件傳輸成功了，流出的流量就有180M，而正常情況下則應該是1OOM;[0134]可選的，可W通過檢查glume的運行日志來判斷異常原因，在glume的運行日志中可W查到是由于gl皿e處理異常還是網(wǎng)絡斷開而導致的重試，查到相應的報錯信息后，根據(jù)具體的報錯信息進行處理即可；[0135]處理結(jié)束后，將出現(xiàn)數(shù)據(jù)流量不平衡的時間段的日志文件重新寫入分布式文件系統(tǒng)皿FS;可選的，因為補數(shù)，會導致下一小時的數(shù)據(jù)流出量偏高，警告信息可W酌情忽略;所述補數(shù)，是指將接收機的數(shù)據(jù)重新發(fā)送到化doop集群的皿!^上，至于需要補哪些數(shù)據(jù)，就看哪些時間段的接收的日志文件數(shù)量與入庫的日志文件數(shù)量不相等；[0136]當數(shù)據(jù)流出量低于所述預設流量闊值范圍中的最小值時，可選的，首先檢查數(shù)據(jù)流出量過低的原因，可包括W下步驟：[0137]分析gl皿e的日志，確定gl皿e是否出現(xiàn)問題；[013引若gl皿e出現(xiàn)問題，針對問題進行相應處理；[0139]若glume未出現(xiàn)問題，檢查接收機到hadoop集群的網(wǎng)絡是否楊通;可選的，通過判斷延遲是否過大來確定集群網(wǎng)絡是否楊通；[0140]若網(wǎng)絡不楊通，則針對該問題進行相應處理；[0141]問題將出現(xiàn)數(shù)據(jù)流量不平衡的時間段的日志文件重新寫入分布式文件系統(tǒng)HDFS;可選的，因為補數(shù)，會導致下一小時的數(shù)據(jù)流出量偏高，警告信息可W酌情忽略;所述補數(shù)，是指將接收機的數(shù)據(jù)重新發(fā)送到化doop集群的HDFS上，至于需要補哪些數(shù)據(jù)，就看哪些時間段的接收的日志文件數(shù)量與入庫的日志文件數(shù)量不相等；[0142]和/或，[0143]正常情況下，數(shù)據(jù)流入量與數(shù)據(jù)流出量的比值會保持在一定的范圍內(nèi)；可選的，可W根據(jù)經(jīng)驗或者一些機器學習等方法得到一個比值，即預設流量比值闊值；[0144]由于數(shù)據(jù)流入量和數(shù)據(jù)流出量的波動相對比較大，如果不設比例監(jiān)控就有可能發(fā)生漏報，比如預設流入量闊值是100-150M/S，預設流出量闊值是70-100M/S，如果真實流入流量是145,真實流量是71，運樣不會報錯，但其實運個比例已經(jīng)低于50%，說明需要進行錯誤排查，如果預設流量比值闊值的最小值大于0.6，就可W防止此類漏報；[0145]此外，還可W采用W下步驟排除一些誤報：[0146]步驟310:若所述數(shù)據(jù)流出量高于所述預設流量闊值范圍中的最大值、所述數(shù)據(jù)流入量高于所述預設流量闊值范圍中的最大值且所述數(shù)據(jù)流入量和所述數(shù)據(jù)流出量的比值處于預設流量比值闊值范圍內(nèi)，判定所述數(shù)據(jù)流量平衡；[0147]例如，樂視網(wǎng)如果上線一部非?；鸬碾娪?，點擊量會增加很多，運時上報的日志數(shù)量也會增加，從而導致數(shù)據(jù)流入量和數(shù)據(jù)流出量均大幅增加，數(shù)據(jù)流入量和數(shù)據(jù)流出量有可能會分別超出各自的預設流入量闊值和預設流出量闊值，但是數(shù)據(jù)流入量和數(shù)據(jù)流出量的比值卻在正常的范圍內(nèi)，運樣就可W酌情忽略流入流出流量過高報警；[0148]可選的，當數(shù)據(jù)流入量和數(shù)據(jù)流出量的比值超出預設流量比值闊值范圍時：[0149]若比值過大，處理過程同流出量過高+流入量過低；若比值過小，處理過程同流出量過低+流入量過高;在此不再寶述。[0150]需要說明的是，上述步驟301-304、步驟305-307、步驟308-309、步驟310之間可W是并列關系，即擇一采用，也可W是順序關系，并且順序可W排列組合，即不按照步驟的數(shù)字順序依次進行，排在后面的步驟可W插入前面任意步驟之前先進行，只要能夠?qū)崿F(xiàn)本發(fā)明的部分發(fā)明目的并達到相應的技術效果，就能夠作為本發(fā)明的實施例來進行。[0151]從上述實施例可W看出，本發(fā)明實施例提供的數(shù)據(jù)監(jiān)控方法，除了能夠通過直接調(diào)用服務器網(wǎng)卡上報的數(shù)據(jù)流入量、數(shù)據(jù)流出量并計算二者的數(shù)據(jù)量比值，判斷數(shù)據(jù)流入量、數(shù)據(jù)流出量和/或數(shù)據(jù)量比值是否處于相應的闊值范圍內(nèi)，從而根據(jù)判斷結(jié)果進行數(shù)據(jù)流量驗平，實現(xiàn)直接利用服務器網(wǎng)卡上報的數(shù)據(jù)，無需增加其他流量監(jiān)控設備，W及，能夠?qū)?shù)據(jù)流量的異常情況進行監(jiān)控的效果外；在監(jiān)測到數(shù)據(jù)流量不平衡時，還可W分析不平衡的原因并采取相應的手段處理相應的問題。[0152]本發(fā)明實施例的第四個方面，提出了一種數(shù)據(jù)監(jiān)控方法的第四個實施例，能夠監(jiān)測到數(shù)據(jù)流量的異常情況。如圖4所示，為本發(fā)明提供的數(shù)據(jù)監(jiān)控方法的第四個實施例的流程示意圖。[0153]結(jié)合參照附圖1和附圖4,所述數(shù)據(jù)監(jiān)控方法，包括W下步驟：[0154]步驟101:獲取服務器網(wǎng)卡的數(shù)據(jù)流入量和數(shù)據(jù)流出量；[0155]服務器網(wǎng)卡是服務器必備的設備，用于服務器與交換機等網(wǎng)絡設備之間的連接；網(wǎng)卡，又稱網(wǎng)絡適配器或網(wǎng)絡接口卡(NIC),英文名為化tworkInterface化rd;在網(wǎng)絡中，如果有一臺計算機沒有網(wǎng)卡，那么運臺計算機將不能和其他計算機通信，它將得不到服務器所提供的任何服務；當然如果服務器沒有網(wǎng)卡，就稱不上服務器了，所W服務器網(wǎng)卡是服務器必備的設備，就像普通PC(個人電腦）需要配置處理器一樣;常見的PC機上的網(wǎng)卡主要是將PC機和LAN(局域網(wǎng)）相連接，而服務器網(wǎng)卡，一般是用于服務器與交換機等網(wǎng)絡設備之間的連接；[0156]服務器網(wǎng)卡在平時工作時，其數(shù)據(jù)流入量和數(shù)據(jù)流出量會被實時采集并上報，因此，步驟101中的服務器網(wǎng)卡的數(shù)據(jù)流入量和數(shù)據(jù)流出量直接從上報數(shù)據(jù)中提取即可；[0157]步驟102:根據(jù)所述數(shù)據(jù)流量、預設流量闊值、和/或預設流量比值闊值，判定所述數(shù)據(jù)流量是否平衡；[0158]其中，進一步的，在一些可選實施方式中，所述數(shù)據(jù)監(jiān)控方法，還可進一步包括W下步驟：[0159]步驟401:接收日志數(shù)據(jù)，并根據(jù)配置文件生成完整日志文件;所述完整日志文件中包含有所有后續(xù)處理與分析所需要的日志信息;所述日志數(shù)據(jù)為用戶方因為進行了相應操作而產(chǎn)生并上傳的操作記錄數(shù)據(jù)，所述完整日志文件可W是指正常情況下系統(tǒng)所記錄的日志文件，其中包含了一個常規(guī)日志文件所需要具有的所有日志信息；[0160]可選的，本實施例針對的是離線分析架構(gòu)，本實施例應用于Nginx,運里的配置文件可W直接利用Nginx中的配置文件;Nginx(也稱"engineX"，引擎X)是一個高性能的HTTP(^HyperTextTransferProtocol,超文本傳輸協(xié)議）和反向代理服務器，也是一個IMAP(InternetMailAccessProtocol,互聯(lián)網(wǎng)郵件訪問協(xié)議）/P0P3(PostOfficeProtocol-Version3,郵局協(xié)議版本3)/SMTP(SimpleMailTransferProtocol,簡單郵件傳輸協(xié)議）服務器;Nginx作為負載均衡服務器，既可W在內(nèi)部直接支持Rails(可譯為軌道，是一種用于開發(fā)數(shù)據(jù)庫驅(qū)動的網(wǎng)絡應用程序的完整框架）和PHP(HypedextPr邱rocessor，超文本預處理器)程序?qū)ν膺M行服務，也可W支持作為HTTP代理服務器對外進行服務；[0161]步驟402:根據(jù)所述完整日志文件，統(tǒng)計第二預設時間闊值內(nèi)接收得到的完整日志文件數(shù)量;所述第二預設時間闊值，可W是指需要進行日志量驗平的時間段(例如一天中的某一個時段，運個時段采集的數(shù)據(jù)用于驗平的效果最好)或者能夠滿足日志量驗平需要而應當采集數(shù)據(jù)的時間長度(例如每隔2小時進行一次日志量驗平的效果最好）；運里，根據(jù)實際需要，可W對第二預設時間闊值進行選擇，并可W根據(jù)實際情況的變化，對第二預設時間闊值進行調(diào)整；[0162]步驟403:將所述完整日志文件寫入分布式文件系統(tǒng)并解析得到入庫日志文件；[0163]運里，服務器接收到數(shù)據(jù)后，會存儲到服務器的磁盤上，然后完整日志文件在服務器落盤后存儲到分布式文件系統(tǒng)皿FS中，得到seq(可譯為序列，一種預設的外部命令，一般用作一堆數(shù)字的簡化寫法)文件格式的落盤日志文件，所述seq文件格式的落盤日志文件經(jīng)過解析程序后得到RC(runcommand,運行命令)文件并掛載到化ve完成入庫，得到入庫日志文件；[0164]具體的，完整日志文件的落盤過程（即完整日志文件寫入皿FS的過程)可包括W下步驟:服務器接收到日志數(shù)據(jù)后，暫存在日志文件con.log中，每十分鐘旋轉(zhuǎn)一次，旋轉(zhuǎn)后，完整日志文件被重命名為另一個文件(運個重命名的文件就是用于落盤的所述完整日志文件，例如cons.20160512-0110.log)，同時重新加載(reload)所述配置文件，生成一個新的日志文件con.log(雖然與前一日志文件con.log命名相同，但因為前一日志文件被重命名后形成為一個完整日志文件，運里的重新生成的日志文件con.log則為一個全新的空日志文件，其中接下來繼續(xù)暫存的內(nèi)容也就是新的日志內(nèi)容）；接著，被重命名后得到的完整日志文件可使用一個程序(例如glume(可譯為穎），一種類似于Flume(可譯為水槽)的程序)存儲到HDFS，運樣，就完成了從日志數(shù)據(jù)接收到本地落盤寫入HDFS的過程;Flume是一種高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方(可定制）的能力；[0165]步驟404:根據(jù)所述入庫日志文件，統(tǒng)計所述第二預設時間闊值內(nèi)的入庫日志文件數(shù)量;可選的，所述入庫日志文件數(shù)量是從化ve中統(tǒng)計得到的；[0166]步驟405:根據(jù)所述完整日志文件數(shù)量和入庫日志文件數(shù)量，判定所述第二預設時間闊值內(nèi)的日志量是否平衡；[0167]可選的，判定所述第二預設時間闊值內(nèi)的日志量是否平衡的方法可W是，判斷所述完整日志文件數(shù)量和入庫日志文件數(shù)量是否相等，若相等，則日志量平衡，若不相等，貝U日志量不平衡。[0168]可W看出，結(jié)合上述實施例，本發(fā)明所提供的數(shù)據(jù)監(jiān)控方法，除了能夠監(jiān)控網(wǎng)卡流量的異常情況外，還能針對日志量進行數(shù)據(jù)量驗平，從而起到了更好更完善的數(shù)據(jù)監(jiān)控效果。[0169]本發(fā)明實施例的第五個方面，提出了一種數(shù)據(jù)監(jiān)控方法的第四個實施例，能夠監(jiān)測到數(shù)據(jù)流量的異常情況。如圖5所示，為本發(fā)明提供的數(shù)據(jù)監(jiān)控方法的第五個實施例的流程示意圖。[0170]結(jié)合參照附圖1和附圖5,所述數(shù)據(jù)監(jiān)控方法，包括W下步驟：[0171]步驟101:獲取服務器網(wǎng)卡的數(shù)據(jù)流入量和數(shù)據(jù)流出量；[0172]服務器網(wǎng)卡是服務器必備的設備，用于服務器與交換機等網(wǎng)絡設備之間的連接；網(wǎng)卡，又稱網(wǎng)絡適配器或網(wǎng)絡接口卡(NIC),英文名為化tworkInterface化rd;在網(wǎng)絡中，如果有一臺計算機沒有網(wǎng)卡，那么運臺計算機將不能和其他計算機通信，它將得不到服務器所提供的任何服務；當然如果服務器沒有網(wǎng)卡，就稱不上服務器了，所W服務器網(wǎng)卡是服務器必備的設備，就像普通PC(個人電腦）需要配置處理器一樣;常見的PC機上的網(wǎng)卡主要是將PC機和LAN(局域網(wǎng)）相連接，而服務器網(wǎng)卡，一般是用于服務器與交換機等網(wǎng)絡設備之間的連接；[0173]服務器網(wǎng)卡在平時工作時，其數(shù)據(jù)流入量和數(shù)據(jù)流出量會被實時采集并上報，因此，步驟101中的服務器網(wǎng)卡的數(shù)據(jù)流入量和數(shù)據(jù)流出量直接從上報數(shù)據(jù)中提取即可；[0174]步驟102:根據(jù)所述數(shù)據(jù)流量、預設流量闊值、和/或預設流量比值闊值，判定所述數(shù)據(jù)流量是否平衡；[0175]其中，可選的，在另一些可選實施方式中，所述數(shù)據(jù)監(jiān)控方法，還可進一步包括W下步驟：[0176]步驟501:接收日志數(shù)據(jù)，并根據(jù)所述配置文件生成完整日志文件(其中包含有所有需要的日志信息)和短日志文件;所述配置文件中包括短日志文件生成信息;所述短日志文件中包含的日志信息少于所述完整日志文件中包含的日志信息;所述完整日志文件可W是指正常情況下系統(tǒng)所記錄的日志文件，其中包含了一個常規(guī)日志文件所需要具有的所有日志信息；[0177]可選的，本發(fā)明實施例針對的是離線分析架構(gòu)，本發(fā)明實施例應用于Nginx,運里的配置文件可W直接利用Nginx中的配置文件，在該配置文件中增加短日志文件生成信息；Nginx(也稱"engineX"，引擎X)是一種高性能的HTTP巧yperTextIYansferProtocol，超文本傳輸協(xié)議)和反向代理服務器，也是一個IMAPQnternetMailAccessProtocol,互聯(lián)網(wǎng)郵件訪問協(xié)議）/P〇P3(PostOfficeProtocol-Version3,郵局協(xié)議版本3)/SMTP(SimpleMailIYansferProtocol,簡單郵件傳輸協(xié)議）服務器;Nginx作為負載均衡服務器，既可W在內(nèi)部直接支持Rails(可譯為軌道，是一種用于開發(fā)數(shù)據(jù)庫驅(qū)動的網(wǎng)絡應用程序的完整框架）和PHP化ypertextPr邱rocessor，超文本預處理器)程序?qū)ν膺M行服務，也可W支持作為HTTP代理服務器對外進行服務；[0178]Nginx中的配置文件里有很多配置信息，設置日志文件(access_log)的日志格式的配置是其中一項，例如：[0179][0180][0181][0182]其中，PV運種日志格式包含的數(shù)據(jù)量較多，相反Sm包含的信息很少；[0183]可選的，按照前一模塊的配置，每隔一段時間會旋轉(zhuǎn)一次，旋轉(zhuǎn)后服務器會重新加載(reload)所述配置文件，服務器的/log/con目錄下生成兩個日志文件：完整日志文件con.log(對應于PV日志格式，完整日志文件的實際名稱為被重命名的名稱，例如con.20160512-0110.log)和短日志文件cons.log(對應于Sm日志格式，同樣的，短日志文件的實際名稱為被重命名的名稱，例如cons.20160512-0110.log),數(shù)據(jù)量較大時，每個日志文件中會存儲很多條日志數(shù)據(jù);其中，完整日志文件con.log中的每條數(shù)據(jù)都包含很多的數(shù)據(jù)信息，而短日志文件cons.log中的每條數(shù)據(jù)則只會存儲一些用于區(qū)分不同日志數(shù)據(jù)的數(shù)據(jù)信息，例如接收到對應日志數(shù)據(jù)的時間；當日志量很大時，統(tǒng)計完整日志文件和短日志文件分別所消耗的時間和資源的對比就比較明顯了；[0184]其中，所述旋轉(zhuǎn)是指日志旋轉(zhuǎn)，簡單來說，是指將現(xiàn)有的日志文件重命名，然后重新創(chuàng)建原始空日志文件；[0185]例如，配置文件中有如下配置信息：[0186][0187][0188]配置信息設定后，在一段時間內(nèi)是不會改變的，如果不進行日志旋轉(zhuǎn)，那么服務器接收的所有文件都會存儲在/1〇旨3八011八〇]1.1〇旨和/1〇旨3八〇]1八〇]13.1〇旨兩個文件中，隨著時間的增長，日志文件會越來越大；[0189]為了能及時處理日志文件，一般一段時間后(視具體情況，可能按小時、天或者周，可選的，設置為10分鐘）會將接收日志的那個文件重命名，Wcon.log為例，每隔10分鐘將con.log重命名(例如con.20160512-0110.log)，然后重新創(chuàng)建一個空的日志文件con.log;因為配置文件中設置的是接收到的數(shù)據(jù)存儲在con.log中，所W服務器新接收到的數(shù)據(jù)依然存入到con.log文件中，旋轉(zhuǎn)之后，con.20160512-0110.log中的數(shù)據(jù)就可W被用來做后續(xù)的操作了，即：寫入皿FS-〉文件解析-〉掛載到hive;[0190]步驟502:根據(jù)所述短日志文件，統(tǒng)計第=預設時間闊值內(nèi)接收得到的短日志文件數(shù)量;所述第=預設時間闊值，可W是指需要進行數(shù)據(jù)驗平的時間段(例如一天中的某一個時段，運個時段采集的數(shù)據(jù)用于驗平的效果最好)或者能夠滿足數(shù)據(jù)驗平需要而應當采集數(shù)據(jù)的時間長度(例如每隔2小時進行一次數(shù)據(jù)驗平的效果最好）；運里，根據(jù)實際需要，可W對第=預設時間闊值進行選擇，并可W根據(jù)實際情況的變化，對第=預設時間闊值進行調(diào)整;此外，所述第=預設時間闊值通常情況下，可W是與所述第二預設時間闊值相等的，但不排除出現(xiàn)不相等的情況，因此，二者的取值視實際情況而定；[0191]步驟503:將所述完整日志文件寫入分布式文件系統(tǒng)并解析得到入庫日志文件；[0192]運里，同樣的，服務器接收到數(shù)據(jù)后，會存儲到服務器的磁盤上，然后完整日志文件在服務器落盤后存儲到分布式文件系統(tǒng)HDFS中，得到seq(可譯為序列，一種預設的外部命令，一般用作一堆數(shù)字的簡化寫法)文件格式的落盤日志文件，所述seq文件格式的落盤日志文件經(jīng)過解析程序后得到RC(runcommand，運行命令)文件并掛載到化ve完成入庫，得到入庫日志文件；[0193]具體的，完整日志文件的落盤過程（即完整日志文件寫入皿FS的過程)可包括W下步驟:服務器接收到日志數(shù)據(jù)后，暫存在日志文件con.log中，每十分鐘旋轉(zhuǎn)一次，旋轉(zhuǎn)后，前述的日志文件被重命名為另一個文件(運個重命名的文件就是用于落盤的所述完整日志文件，例如cons.20160512-0110.log)，同時重新加載(reload)所述配置文件，生成一個新的日志文件con.log;被重命名后得到的完整日志文件可使用一個程序(例如glume(可譯為穎），一種類似于Flume(可譯為水槽)的程序)存儲到HDFS，運樣，就完成了從日志數(shù)據(jù)接收到本地落盤寫入皿FS的過程;Fl皿e是一種高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方(可定制）的能力；[0194]步驟504:根據(jù)所述入庫日志文件，統(tǒng)計所述第=預設時間闊值內(nèi)的入庫日志文件數(shù)量;可選的，所述入庫日志文件數(shù)量是從化ve中統(tǒng)計得到的；[01M]步驟505:根據(jù)所述短日志文件數(shù)量和入庫日志文件數(shù)量，判定所述第=預設時間闊值內(nèi)的日志量是否平衡；[0196]可選的，判定所述第=預設時間闊值內(nèi)的日志量是否平衡的方法可W是，判斷所述短日志文件數(shù)量和入庫日志文件數(shù)量是否相等，若相等，則日志量平衡，若不相等，則日志量不平衡。[0197]可W看出，結(jié)合上述實施例，本發(fā)明所提供的數(shù)據(jù)監(jiān)控方法，除了能夠監(jiān)控網(wǎng)卡流量的異常情況和針對日志量進行數(shù)據(jù)量驗平外，在對日志量驗平時，通過重新設計配置文件，并通過統(tǒng)計短日志文件來對接收到的日志數(shù)據(jù)進行統(tǒng)計，在完整日志文件落盤入庫后對入庫日志文件進行統(tǒng)計，從而根據(jù)兩個統(tǒng)計數(shù)據(jù)完成數(shù)據(jù)驗平;運樣，在對接收到的日志數(shù)據(jù)進行統(tǒng)計時，因為只需要對接收到的日志數(shù)據(jù)的數(shù)量進行統(tǒng)計，而不用對日志數(shù)據(jù)的實際內(nèi)容進行分析，因此可W僅對短日志文件的數(shù)量進行統(tǒng)計，而無需對完整日志文件的數(shù)量進行統(tǒng)計，從而對接收到的日志數(shù)據(jù)的數(shù)量統(tǒng)計是采用統(tǒng)計短日志文件的數(shù)量來完成，使得在數(shù)據(jù)驗平時能夠減少對系統(tǒng)資源的占用并縮短統(tǒng)計時間，在日志數(shù)據(jù)較為龐大時，能夠節(jié)約大量的時間和資源，同時還起到了更好更完善的數(shù)據(jù)監(jiān)控效果。[0198]可選的，在一些實施方式中，所述短日志文件包含的日志信息為日志數(shù)據(jù)產(chǎn)生時的本地時間（time_local)或日志狀態(tài)(S化化S)，運兩個數(shù)據(jù)，一方面占用的資源較少，另一方面能夠?qū)θ罩緮?shù)據(jù)進行初步區(qū)分，從而方便數(shù)量統(tǒng)計。[0199]寫入到所述分布式文件系統(tǒng)中落盤入庫的入庫日志文件，其中的某些入庫日志文件，因為其中的日志數(shù)據(jù)不符合規(guī)范或要求，會被清洗掉，清洗掉的數(shù)據(jù)會進行另外的處理，因此，落盤入庫的入庫日志文件的文件總數(shù)量則包括有效日志文件的數(shù)量和無效日志文件的數(shù)量，無效日志文件即被清洗掉的數(shù)據(jù);從而，進一步的，在一些可選實施方式中，所述入庫日志文件包括經(jīng)所述分布式文件系統(tǒng)分析得到的有效日志文件和無效日志文件;所述入庫日志文件數(shù)量為所述有效日志文件的數(shù)量和無效日志文件的數(shù)量之和;運樣，在數(shù)據(jù)驗平時，不會因為被清洗掉的無效日志文件沒有被統(tǒng)計而影響數(shù)據(jù)驗平結(jié)果。[0200]較佳的，在一些可選實施方式中，所述根據(jù)所述短日志文件數(shù)量和入庫日志文件數(shù)量，判定所述第=預設時間闊值內(nèi)的日志量是否平衡的步驟還可具體包括W下步驟：[0201]計算所述第=預設時間闊值內(nèi)的所述入庫日志文件數(shù)量與所述短日志文件數(shù)量的比值；[0202]通常情況下，所述預設比值闊值范圍是1，即，所述短日志文件數(shù)量與所述入庫日志文件數(shù)量相等;但是，在現(xiàn)代網(wǎng)絡技術中，每天會產(chǎn)生大量日志數(shù)據(jù)，運樣，正常情況下，經(jīng)過解析程序后入庫的入庫日志文件可能會存在一部分的數(shù)據(jù)丟失或者數(shù)據(jù)的讀取失敗等問題產(chǎn)生，因此，所述預設比值闊值范圍，是指預設的能夠判定數(shù)據(jù)平衡的比值范圍，例如0.97~1，運樣，允許一部分數(shù)據(jù)的正常丟失，而不會出現(xiàn)數(shù)據(jù)不平衡的問題；[0203]判斷所述比值是否處于第二預設比值闊值范圍內(nèi)；[0204]若所述比值處于第二預設比值闊值范圍內(nèi)，則判定所述第=預設時間闊值內(nèi)的日志量平衡；[0205]若所述比值不處于第二預設比值闊值范圍內(nèi)，則判定所述第=預設時間闊值內(nèi)的日志量不平衡。[0206]通過上述實施例，使得在日志量驗平的過程中，一方面保證了日志量驗平的正確性，另一方面又允許了數(shù)據(jù)的正常的少量丟失，從而使少量的數(shù)據(jù)丟失不影響日志量驗平的判斷結(jié)果。[0207]可選的，在一些實施方式中，所述配置文件中還包括第四預設時間闊值，所述根據(jù)所述配置文件生成完整日志文件和短日志文件的步驟還可具體包括：[0208]按照所述第四預設時間闊值，加載所述配置文件，并將所述日志數(shù)據(jù)生成為完整日志文件和短日志文件;運里，加載一次配置文件，生成一個完整日志文件con.log和一個短日志文件cons,log,分別用于存儲相應的日志數(shù)據(jù)，每隔所述第四預設時間闊值，所述完整日志文件con.log和短日志文件cons.log被重命名并另存，然后再次加載所述配置文件，并生成新的一個完整日志文件con.log和一個短日志文件cons,log,運樣周而復始，即可在第=預設時間闊值內(nèi)產(chǎn)生多個完整日志文件和短日志文件，用于進行日志文件的數(shù)量統(tǒng)計;所述第四預設時間闊值小于第=預設時間闊值，可W根據(jù)需要進行設置，例如5~10分鐘，在日志數(shù)據(jù)量較大時，可W適當縮短所述第四預設時間闊值。[0209]本發(fā)明實施例的第六個方面，提出了一種數(shù)據(jù)監(jiān)控方法的第六個實施例，能夠監(jiān)測到數(shù)據(jù)流量的異常情況。如圖6所示，為本發(fā)明提供的數(shù)據(jù)監(jiān)控方法的第六個實施例的流程示意圖。[0210]所述數(shù)據(jù)監(jiān)控方法，包括W下步驟：[0211]步驟601:獲取服務器網(wǎng)卡的數(shù)據(jù)流入量和數(shù)據(jù)流出量；[0212]步驟602:判斷第一預設時間闊值內(nèi)所述數(shù)據(jù)流入量是否處于預設流入量闊值范圍內(nèi)；[0213]步驟603:若第一預設時間闊值內(nèi)所述數(shù)據(jù)流入量不處于預設流入量闊值范圍內(nèi)，則判定數(shù)據(jù)流量不平衡；[0214]步驟604:若第一預設時間闊值內(nèi)所述數(shù)據(jù)流入量處于預設流入量闊值范圍內(nèi)，貝U判斷第一預設時間闊值內(nèi)所述數(shù)據(jù)流出量是否處于預設流出量闊值范圍內(nèi)；[0215]步驟605:若第一預設時間闊值內(nèi)所述數(shù)據(jù)流出量不處于預設流出量闊值范圍內(nèi)，則判定數(shù)據(jù)流量不平衡；[0216]步驟606:若第一預設時間闊值內(nèi)所述數(shù)據(jù)流出量處于預設流出量闊值范圍內(nèi)，貝U計算所述數(shù)據(jù)流出量和數(shù)據(jù)流入量的數(shù)據(jù)量比值；[0217]步驟607:判斷第一預設時間闊值內(nèi)所述數(shù)據(jù)量比值是否處于第一預設比值闊值范圍內(nèi)；[0218]步驟608:若第一預設時間闊值內(nèi)所述數(shù)據(jù)量比值不處于第一預設比值闊值范圍內(nèi)，則判定數(shù)據(jù)流量不平衡；[0219]步驟609:接收日志數(shù)據(jù)，并根據(jù)所述配置文件生成完整日志文件和短日志文件；[0220]步驟610:根據(jù)所述短日志文件，統(tǒng)計第=預設時間闊值內(nèi)接收得到的短日志文件數(shù)量；[0221]步驟611:將所述完整日志文件寫入分布式文件系統(tǒng)并解析得到入庫日志文件；[0222]步驟612:根據(jù)所述入庫日志文件，統(tǒng)計所述第=預設時間闊值內(nèi)的入庫日志文件數(shù)量；[0223]步驟613:計算所述第=預設時間闊值內(nèi)的所述入庫日志文件數(shù)量與所述短日志文件數(shù)量的比值；[0224]步驟614:判斷所述比值是否處于第二預設比值闊值范圍內(nèi)；[0225]步驟615:若所述比值不處于第二預設比值闊值范圍內(nèi)，則判定所述第=預設時間闊值內(nèi)的數(shù)據(jù)量不平衡；[0226]步驟616:若所述比值處于第二預設比值闊值范圍內(nèi)且步驟607的判斷結(jié)果為第一預設時間闊值內(nèi)所述數(shù)據(jù)量比值處于第一預設比值闊值范圍內(nèi)，則判定數(shù)據(jù)平衡。[0227]從上述實施例可W看出，本發(fā)明實施例提供的數(shù)據(jù)監(jiān)控方法，通過直接調(diào)用服務器網(wǎng)卡上報的數(shù)據(jù)流入量、數(shù)據(jù)流出量并計算二者的數(shù)據(jù)量比值，從而判斷數(shù)據(jù)流入量、數(shù)據(jù)流出量和/或數(shù)據(jù)量比值是否處于相應的闊值范圍內(nèi)，從而根據(jù)判斷結(jié)果進行數(shù)據(jù)流量驗平，一方面，直接利用服務器網(wǎng)卡上報的數(shù)據(jù)，無需增加其他流量監(jiān)控設備，另一方面，能夠?qū)?shù)據(jù)流量的異常情況進行監(jiān)控;此外，除了能夠監(jiān)控網(wǎng)卡流量的異常情況和針對日志量進行數(shù)據(jù)量驗平外，在對日志量驗平時，通過重新設計配置文件，并通過統(tǒng)計短日志文件來對接收到的日志數(shù)據(jù)進行統(tǒng)計，在完整日志文件落盤入庫后對入庫日志文件進行統(tǒng)計，從而根據(jù)兩個統(tǒng)計數(shù)據(jù)完成數(shù)據(jù)驗平;運樣，在對接收到的日志數(shù)據(jù)進行統(tǒng)計時，因為只需要對接收到的日志數(shù)據(jù)的數(shù)量進行統(tǒng)計，而不用對日志數(shù)據(jù)的實際內(nèi)容進行分析，因此可W僅對短日志文件的數(shù)量進行統(tǒng)計，而無需對完整日志文件的數(shù)量進行統(tǒng)計，從而對接收到的日志數(shù)據(jù)的數(shù)量統(tǒng)計是采用統(tǒng)計短日志文件的數(shù)量來完成，使得在數(shù)據(jù)驗平時能夠減少對系統(tǒng)資源的占用并縮短統(tǒng)計時間，在日志數(shù)據(jù)較為龐大時，能夠節(jié)約大量的時間和資源，同時還起到了更好更完善的數(shù)據(jù)監(jiān)控效果。[0228]本發(fā)明實施例的第屯個方面，提出了一種數(shù)據(jù)監(jiān)控裝置的第一個實施例，能夠監(jiān)測到數(shù)據(jù)流量的異常情況。如圖7所示，為本發(fā)明提供的數(shù)據(jù)監(jiān)控裝置實施例的模塊結(jié)構(gòu)示意圖。[0229]所述數(shù)據(jù)監(jiān)控裝置，包括：[0230]流量獲取模塊701，用于獲取預設時間闊值內(nèi)服務器網(wǎng)卡的數(shù)據(jù)流量，所述數(shù)據(jù)流量包括數(shù)據(jù)流入量和數(shù)據(jù)流出量；[0231]服務器網(wǎng)卡是服務器必備的設備，用于服務器與交換機等網(wǎng)絡設備之間的連接；網(wǎng)卡，又稱網(wǎng)絡適配器或網(wǎng)絡接口卡(NIC),英文名為化tworkInterface化rd;在網(wǎng)絡中，如果有一臺計算機沒有網(wǎng)卡，那么運臺計算機將不能和其他計算機通信，它將得不到服務器所提供的任何服務；當然如果服務器沒有網(wǎng)卡，就稱不上服務器了，所W服務器網(wǎng)卡是服務器必備的設備，就像普通PC(個人電腦）需要配置處理器一樣;常見的PC機上的網(wǎng)卡主要是將PC機和LAN(局域網(wǎng)）相連接，而服務器網(wǎng)卡，一般是用于服務器與交換機等網(wǎng)絡設備之間的連接；[0232]服務器網(wǎng)卡在平時工作時，其數(shù)據(jù)流量會被實時采集并上報，因此，步驟101中的服務器網(wǎng)卡的數(shù)據(jù)流量(包括數(shù)據(jù)流入量和數(shù)據(jù)流出量)直接從上報數(shù)據(jù)中提取即可；[0233]所述預設時間闊值，可W是指一個最佳的監(jiān)控時間段(例如每天的中午12點至下午2點），也可W是用于確定數(shù)據(jù)流量平均值的一小段時間（例如5分鐘）；[0234]平衡判定模塊702,用于根據(jù)所述數(shù)據(jù)流量、預設流量闊值、和/或預設流量比值闊值，判定所述數(shù)據(jù)流量是否平衡。運里，在判定所述數(shù)據(jù)流量是否平衡時，可W采用數(shù)據(jù)流量與預設流量闊值進行對比，采用運種對比方式時，如果著重考量數(shù)據(jù)流入量的穩(wěn)定性，貝U可W是將數(shù)據(jù)流入量與預設流入量闊值進行對比，如果著重考量數(shù)據(jù)流出量的穩(wěn)定性，貝U也可W是將數(shù)據(jù)流出量與預設流出量闊值進行對比，如果需要綜合考量，則還可W是將數(shù)據(jù)流入量和數(shù)據(jù)流出量分別與預設流入量闊值和預設流出量闊值進行對比，然后綜合判定數(shù)據(jù)流量是否平衡;并且，根據(jù)實際情況，所述預設流入量闊值和預設流出量闊值可W是同一個闊值，也可W是不同的闊值。此外，所述判定所述數(shù)據(jù)流量是否平衡，還可W采用將所述數(shù)據(jù)流入量除W數(shù)據(jù)流出量得到比值后，將比值與預設流量比值闊值進行比對，來判定數(shù)據(jù)流量是否平衡，在比值低于預設流量比值闊值范圍的最小值或高于預設流量比值闊值范圍的最大值時，則可說明數(shù)據(jù)流入量和數(shù)據(jù)流出量之間不平衡。[0235]從上述實施例可W看出，本發(fā)明提供的數(shù)據(jù)監(jiān)控裝置，通過直接調(diào)用服務器網(wǎng)卡上報的數(shù)據(jù)流量，判斷數(shù)據(jù)流量和/或數(shù)據(jù)量比值是否處于相應的闊值范圍內(nèi)，從而根據(jù)判斷結(jié)果進行數(shù)據(jù)流量驗平，一方面，直接利用服務器網(wǎng)卡上報的數(shù)據(jù)，無需增加其他流量監(jiān)控設備，另一方面，能夠?qū)?shù)據(jù)流量的異常情況進行監(jiān)控。[0236]本發(fā)明實施例的第八個方面，提出了一種數(shù)據(jù)監(jiān)控裝置的第二個實施例，能夠監(jiān)測到數(shù)據(jù)流量的異常情況。[0237]繼續(xù)參照附圖7,所述數(shù)據(jù)監(jiān)控裝置，包括：[0238]流量獲取模塊701，用于獲取預設時間闊值內(nèi)服務器網(wǎng)卡的數(shù)據(jù)流量，所述數(shù)據(jù)流量包括數(shù)據(jù)流入量和數(shù)據(jù)流出量；[0239]平衡判定模塊702,用于根據(jù)所述數(shù)據(jù)流量、預設流量闊值、和/或預設流量比值闊值，判定所述數(shù)據(jù)流量是否平衡；[0240]其中，所述平衡判定模塊702,還可具體用于：[0241]判斷所述數(shù)據(jù)流入量是否處于預設流入量闊值范圍內(nèi)；[0242]運里，判斷所述數(shù)據(jù)流入量是否處于預設流入量闊值范圍內(nèi)時，可W選擇第一預設時間段內(nèi)采集的數(shù)據(jù)流入量來判斷;所述第一預設時間段，可W是指需要進行數(shù)據(jù)流量異常監(jiān)控的時間段(例如一天中的某一個時段，運個時段采集的數(shù)據(jù)流量用于進行數(shù)據(jù)監(jiān)控的效果最好)或者能夠滿足數(shù)據(jù)流量異常監(jiān)控需要而應當采集數(shù)據(jù)的時間長度(例如每隔2小時進行一次日志量驗平的效果最好）；運里，根據(jù)實際需要，可W對第一預設時間段進行選擇，并可W根據(jù)實際情況的變化，對第一預設時間段進行調(diào)整;并且，可選的，在判斷第一預設時間段內(nèi)所述數(shù)據(jù)流入量是否處于預設流入量闊值范圍內(nèi)時，可W是采用第一預設時間段內(nèi)每個時間點的數(shù)據(jù)流入量是否都處于預設流入量闊值范圍內(nèi)的方式;但是，為了計算方便和節(jié)約資源的需要，所述判斷第一預設時間段內(nèi)所述數(shù)據(jù)流入量是否處于預設流入量闊值范圍內(nèi)的方式，可W是將第一預設時間段內(nèi)采集得到的所有數(shù)據(jù)流入量取平均值后，再判斷數(shù)據(jù)流入量平均值是否處于預設流入量闊值范圍內(nèi)；[0243]或者，還可W不設置第一預設時間段，而采用24小時隨時監(jiān)控的方式，例如任何時間出現(xiàn)流入量超出預設流入量闊值范圍的情況，均認為數(shù)據(jù)流量不平衡，或者，出現(xiàn)流入量超出預設流入量闊值范圍的情況超過一定時間（可假設為第一預設時間闊值，可選的，例如5分鐘)則認為數(shù)據(jù)流量不平衡的方式；[0244]所述預設流入量闊值范圍，是指可W認定所述數(shù)據(jù)流入量為正常狀態(tài)的范圍，其可根據(jù)實際需要進行選擇并根據(jù)情況變化而進行調(diào)整，例如，通常情況下，數(shù)據(jù)流入量是200M/S，那么所述預設流入量闊值范圍則需要在200M/S上下浮動才能認定為正常，此時預設流入量闊值范圍可W是，例如150~250M/S;[0245]和/或，[0246]所述平衡判定模塊702,還可具體用于：[0247]判斷所述數(shù)據(jù)流出量是否處于預設流出量闊值范圍內(nèi)；[0248]運里，判斷所述數(shù)據(jù)流出量是否處于預設流出量闊值范圍內(nèi)時，可W選擇第二預設時間段內(nèi)采集的數(shù)據(jù)流出量來判斷;運里的第二預設時間段可W與前述第一預設時間段相同，當然，在某些情況下，運里的第二預設時間段與第一預設時間段也可W不相同；同樣的，可選的，在判斷第二預設時間段內(nèi)所述數(shù)據(jù)流出量是否處于預設流出量闊值范圍內(nèi)時，可W是采用第二預設時間段內(nèi)每個時間點的數(shù)據(jù)流出量是否都處于預設流出量闊值范圍內(nèi)的方式;但是，為了計算方便和節(jié)約資源的需要，所述判斷第二預設時間段內(nèi)所述數(shù)據(jù)流出量是否處于預設流出量闊值范圍內(nèi)的方式，可W是將第二預設時間段內(nèi)采集得到的所有數(shù)據(jù)流出量取平均值后，再判斷數(shù)據(jù)流出量平均值是否處于預設流出量闊值范圍內(nèi)；[0249]或者，還可W不設置第二預設時間段，而采用24小時隨時監(jiān)控的方式，例如任何時間出現(xiàn)流入量超出預設流入量闊值范圍的情況，均認為數(shù)據(jù)流量不平衡，或者，出現(xiàn)流入量超出預設流入量闊值范圍的情況超過一定時間（可假設為第二預設時間闊值，可選的，例如5分鐘)則認為數(shù)據(jù)流量不平衡的方式；[0250]同理，所述預設流出量闊值范圍，是指可W認定所述數(shù)據(jù)流出量為正常狀態(tài)的范圍，其可根據(jù)實際需要進行選擇并根據(jù)情況變化而進行調(diào)整，例如，通常情況下，數(shù)據(jù)流出量是200M/S，那么所述預設流出量闊值范圍則需要在200M/S上下浮動才能認定為正常，此時預設流出量闊值范圍可W是，例如150~250M/S;并且，根據(jù)不同的情況，所述預設流出量闊值范圍可W等于或不等于所述預設流入量闊值范圍；[0巧1]和/或，[0252]所述平衡判定模塊702,還可具體用于：[0253]計算所述數(shù)據(jù)流出量和數(shù)據(jù)流入量的數(shù)據(jù)量比值；[0254]判斷所述數(shù)據(jù)量比值是否處于第一預設比值闊值范圍內(nèi)；[0255]單獨對數(shù)據(jù)流入量或數(shù)據(jù)流出量進行判斷時，只能分別判斷二者的流量是否出現(xiàn)異常，但是不能判斷二者是否保持了平衡;正常情況下，流入量應當?shù)扔诨蚣s等于流出量，才能說明網(wǎng)絡正常，因此，對數(shù)據(jù)量比值進行了計算，并對數(shù)據(jù)量比值進行了闊值判斷；[0256]運里，判斷所述數(shù)據(jù)量比值是否處于第一預設比值闊值范圍內(nèi)時，可W選擇第=預設時間段內(nèi)采集的數(shù)據(jù)流出量來判斷;所述第一預設比值闊值范圍，是指可W認定所述數(shù)據(jù)量比值為正常狀態(tài)的范圍，其可根據(jù)實際需要進行選擇并根據(jù)情況變化而進行調(diào)整，例如，通常情況下，數(shù)據(jù)流入量是200M/S、數(shù)據(jù)流出量是200M/S，那么數(shù)據(jù)量比值是1，所述預設流出量闊值范圍則需要在1上下浮動才能認定為正常，但是，通常情況下，數(shù)據(jù)流出量小于數(shù)據(jù)流入量，因此所述數(shù)據(jù)量比值是小于或等于1的值，此時預設流出量闊值范圍可W是，例如0.8~1;[0257]此外，運里的第=預設時間段可W與第一預設時間段相同，當然，在某些情況下，運里的第=預設時間段與第一預設時間段也可W不相同；同樣的，可選的，在判斷第=預設時間段內(nèi)所述數(shù)據(jù)量比值是否處于第一預設比值闊值范圍內(nèi)時，可W是采用第=預設時間段內(nèi)每個時間點的數(shù)據(jù)量比值是否處于第一預設比值闊值范圍內(nèi)的方式;但是，為了計算方便和節(jié)約資源的需要，所述判斷第=預設時間段內(nèi)所述數(shù)據(jù)量比值是否處于第一預設比值闊值范圍內(nèi)的方式，可W是將第=預設時間段內(nèi)采集得到的所有數(shù)據(jù)量比值取平均值后，再判斷數(shù)據(jù)量比值平均值是否處于第一預設比值闊值范圍內(nèi)；[0258]或者，還可W不設置第=預設時間段，而采用24小時隨時監(jiān)控的方式，例如任何時間出現(xiàn)數(shù)據(jù)量比值超出第一預設比值闊值范圍的情況，均認為數(shù)據(jù)流量不平衡，或者，出現(xiàn)數(shù)據(jù)量比值超出第一預設比值闊值范圍的情況超過一定時間（可假設為第一預設時間闊值或第二預設時間闊值，還可W根據(jù)需要選擇其他闊值，可選的，例如5分鐘）則認為數(shù)據(jù)流量不平衡的方式；[0259]所述平衡判定模塊702,還可具體用于根據(jù)判斷結(jié)果，判定數(shù)據(jù)流量是否平衡；[0260]運里的判斷結(jié)果，可包括前述每一個判斷步驟的判斷結(jié)果；[0261]若單獨根據(jù)數(shù)據(jù)流入量進行判斷，判定數(shù)據(jù)流量是否平衡的步驟可包括：當數(shù)據(jù)流入量處于預設流入量闊值范圍內(nèi)時，數(shù)據(jù)流量平衡，當數(shù)據(jù)流入量不處于預設流入量闊值范圍內(nèi)時，數(shù)據(jù)流量不平衡;例如，預設流入量闊值范圍為150~250M/S，若數(shù)據(jù)流入量是200M/S，則數(shù)據(jù)流量平衡，若數(shù)據(jù)流入量是lOOM/s或400M/S，則說明數(shù)據(jù)流量出現(xiàn)了異常，即不平衡；[0262]同理，若單獨根據(jù)數(shù)據(jù)流出量進行判斷，判定數(shù)據(jù)流量是否平衡的步驟可包括:當數(shù)據(jù)流出量處于預設流出量闊值范圍內(nèi)時，數(shù)據(jù)流量平衡，當數(shù)據(jù)流出量不處于預設流出量闊值范圍內(nèi)時，數(shù)據(jù)流量不平衡;例如，預設流出量闊值范圍為150~250M/S，若數(shù)據(jù)流出量是200M/S，則數(shù)據(jù)流量平衡，若數(shù)據(jù)流出量是lOOM/s或400M/S，則說明數(shù)據(jù)流量出現(xiàn)了異常，即不平衡；[0263]若單獨根據(jù)數(shù)據(jù)量比值進行判斷，判定數(shù)據(jù)量比值是否平衡的步驟可包括：當數(shù)據(jù)量比值處于第一預設比值闊值范圍內(nèi)時，數(shù)據(jù)流量平衡，當數(shù)據(jù)量比值不處于第一預設比值闊值范圍內(nèi)時，數(shù)據(jù)流量不平衡;例如，第一預設比值闊值范圍為0.8~IM/s，若數(shù)據(jù)流入量是200M/S，數(shù)據(jù)流入量是180M/S，則數(shù)據(jù)量比值為0.9，因此數(shù)據(jù)流量平衡，若數(shù)據(jù)流入量是400M/S，數(shù)據(jù)流入量是180M/S，則數(shù)據(jù)量比值為0.45，因此說明數(shù)據(jù)流量出現(xiàn)了異常，即不平衡；[0264]除了單獨判斷外，根據(jù)數(shù)據(jù)流入量進行判斷、根據(jù)數(shù)據(jù)流出量進行判斷和根據(jù)數(shù)據(jù)量比值進行判斷還可W排列組合使用，例如，將數(shù)據(jù)流入量判斷和數(shù)據(jù)流出量判斷結(jié)合，或者數(shù)據(jù)流入量判斷和數(shù)據(jù)量比值判斷結(jié)合，再或者將數(shù)據(jù)流出量判斷和數(shù)據(jù)量比值判斷結(jié)合，還能將數(shù)據(jù)流入量判斷、數(shù)據(jù)流出量判斷和數(shù)據(jù)量比值判斷=者進行結(jié)合;進行排列組合時，數(shù)據(jù)流入量判斷、數(shù)據(jù)流出量判斷和數(shù)據(jù)量比值判斷的順序還能進行任意顛倒，即可W把數(shù)據(jù)量比值判斷放在前面，數(shù)據(jù)流出量判斷隨后，數(shù)據(jù)流入量判斷最后，等等；[0265]可選的，在對數(shù)據(jù)流入量判斷、數(shù)據(jù)流出量判斷和數(shù)據(jù)量比值判斷排列組合使用時，若其中一個步驟中的判斷結(jié)果為不平衡，即認為是數(shù)據(jù)流量不平衡，當全部步驟的判斷結(jié)果都是平衡時，才能認為數(shù)據(jù)流量平衡。[0266]此外，在判斷數(shù)據(jù)流量不平衡時，還可W發(fā)出警告信息，提醒技術人員及時分析問題原因并快速進行補救。[0267]從上述實施例可W看出，本發(fā)明實施例提供的數(shù)據(jù)監(jiān)控方法，通過直接調(diào)用服務器網(wǎng)卡上報的數(shù)據(jù)流入量、數(shù)據(jù)流出量并計算二者的數(shù)據(jù)量比值，從而判斷數(shù)據(jù)流入量、數(shù)據(jù)流出量和/或數(shù)據(jù)量比值是否處于相應的闊值范圍內(nèi)，從而根據(jù)判斷結(jié)果進行數(shù)據(jù)流量驗平，一方面，直接利用服務器網(wǎng)卡上報的數(shù)據(jù)，無需增加其他流量監(jiān)控設備，另一方面，能夠?qū)?shù)據(jù)流量的異常情況進行監(jiān)控。[0268]本發(fā)明實施例的第九個方面，提出了一種數(shù)據(jù)監(jiān)控裝置的第=個實施例，能夠監(jiān)測到數(shù)據(jù)流量的異常情況。[0269]繼續(xù)參照附圖7，所述數(shù)據(jù)監(jiān)控裝置，包括：[0270]流量獲取模塊701，用于獲取預設時間闊值內(nèi)服務器網(wǎng)卡的數(shù)據(jù)流量，所述數(shù)據(jù)流量包括數(shù)據(jù)流入量和數(shù)據(jù)流出量；[0271]平衡判定模塊702,用于根據(jù)所述數(shù)據(jù)流量、預設流量闊值、和/或預設流量比值闊值，判定所述數(shù)據(jù)流量是否平衡；[0272]其中，所述平衡判定模塊702,還可具體用于：[0273]若所述數(shù)據(jù)流入量高于所述預設流量闊值范圍中的最大值，說明數(shù)據(jù)流入量過高，判定所述數(shù)據(jù)流量不平衡;運里的預設流量闊值可W是指預設流入量闊值；[0274]增加臨時接收機，W保證數(shù)據(jù)正常接收;所述接收機，通常是指提供日志數(shù)據(jù)接收服務的服務器，數(shù)據(jù)流量則從服務器網(wǎng)卡中獲取，因此，增加臨時接收機，有助于緩解網(wǎng)卡數(shù)據(jù)流入量壓力;運里，臨時接收機可W采用備用服務器或具有數(shù)據(jù)接收功能的流量壓力不大的其他服務器;增加臨時接收機的方式，可W采用自動調(diào)用備用服務器或具有數(shù)據(jù)接收功能的流量壓力不大的其他服務器的方式，或者采用技術工程師手動修改服務器配置的方式；[0275]若增加臨時接收機后仍不能平衡數(shù)據(jù)流量，判斷出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口；所述業(yè)務線接口可W是某一個或某幾個的業(yè)務線的某一個或某幾個服務器數(shù)據(jù)接口，一個業(yè)務線代表一個產(chǎn)品（例如移動端APP、網(wǎng)站，等等），一個業(yè)務線可W對應多個接口；接口是指服務器的日志數(shù)據(jù)接口，是對日志服務的一種分類，比如，樂視網(wǎng)移動端app的日志數(shù)據(jù)上報接口有:登錄、環(huán)境、播放、廣告等接口，登錄接口負責接收用戶登錄的日志數(shù)據(jù)，環(huán)境接口負責接收app安裝環(huán)境的日志數(shù)據(jù)，播放接口負責接收視頻播放上報的日志數(shù)據(jù)，AfrAfr寸寸；[0276]判斷出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口的方式可W是，將每個業(yè)務線的每個接口的所述數(shù)據(jù)流入量與該接口相應的歷史數(shù)據(jù)流入量進行對比，數(shù)據(jù)流量差異較大的業(yè)務線接口則為數(shù)據(jù)流量不平衡的業(yè)務線接口；[0277]修改接收機配置，停止接收數(shù)據(jù)流量不平衡的業(yè)務線接口的上報數(shù)據(jù)，從而保證不影響其它業(yè)務線和接口的數(shù)據(jù)接收；[027引和/或，[0279]所述平衡判定模塊702,還可具體用于：[0280]若所述數(shù)據(jù)流入量低于所述預設流量闊值范圍中的最小值，說明數(shù)據(jù)流入量過低，判定所述數(shù)據(jù)流量不平衡;運里的預設流量闊值可W是指預設流入量闊值；[0281]判斷出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口；[0282]同樣的，所述業(yè)務線接口可W是某一個或某幾個的業(yè)務線的某一個或某幾個服務器數(shù)據(jù)接口，一個業(yè)務線代表一個產(chǎn)品（例如移動端APP、網(wǎng)站，等等），一個業(yè)務線可W對應多個接口；接口是指服務器的日志數(shù)據(jù)接口，是對日志服務的一種分類，比如，樂視網(wǎng)移動端app的日志數(shù)據(jù)上報接口有:登錄、環(huán)境、播放、廣告等接口，登錄接口負責接收用戶登錄的日志數(shù)據(jù)，環(huán)境接口負責接收app安裝環(huán)境的日志數(shù)據(jù)，播放接口負責接收視頻播放上報的日志數(shù)據(jù)，等等；[0283]判斷出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口的方式可W是，將每個業(yè)務線的每個接口的所述數(shù)據(jù)流入量與該接口相應的歷史數(shù)據(jù)流入量進行對比，數(shù)據(jù)流量差異較大的業(yè)務線接口則為數(shù)據(jù)流量不平衡的業(yè)務線接口；[0284]發(fā)送數(shù)據(jù)流量不平衡的提示信息到與所述出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口相關的業(yè)務方;與業(yè)務線接口相關的業(yè)務方，是指該業(yè)務線接口接收到的日志數(shù)據(jù)是誰上報的，比如說樂視視頻移動端上報的數(shù)據(jù)量特別少，向移動端業(yè)務方發(fā)送所述提示信息，用于通知他們檢查上報數(shù)據(jù)是否有問題;從而督促相關的業(yè)務方查找原因，解決問題;所述提示信息可W是被發(fā)送到的業(yè)務方預先設定的信息接收模塊，或者是業(yè)務方的相關技術人員的測試設備或者智能終端(如技術人員的手機或個人電腦等等）；[0285]和/或，[0286]所述平衡判定模塊702,還可具體用于：[0287]若所述數(shù)據(jù)流出量高于所述預設流量闊值范圍中的最大值或低于所述預設流量闊值范圍中的最小值，判定所述數(shù)據(jù)流量不平衡;運里的預設流量闊值可W是指預設流出量闊值;并且，根據(jù)不同的情況，所述預設流出量闊值范圍可W等于或不等于所述預設流入量闊值范圍；[0288]將出現(xiàn)數(shù)據(jù)流量不平衡的時間段的日志文件重新寫入分布式文件系統(tǒng)；[0289]可選的，在判定數(shù)據(jù)流量不平衡時，還可同時發(fā)出警告信息，所述警告信息的發(fā)送對象可W是HDFS的相關技術人員或維護人員的測試設備或者智能終端(如技術人員的手機或個人電腦等等），用于提醒他們查找相關問題并及時解決；[0290]其中，當數(shù)據(jù)流出量高于所述預設流量闊值范圍中的最大值時：[0291]可W通過查看HDFS接收的日志文件數(shù)量與入庫的日志文件數(shù)量是否一致來判斷皿FS輸出的日志文件數(shù)量是否正常，從而確定出現(xiàn)數(shù)據(jù)流出量高于所述預設流量闊值范圍中的最大值的原因；[0292]通常情況下，接收機接收到日志數(shù)據(jù)后，會將日志數(shù)據(jù)暫存到接收機的磁盤上的日志文件con.log中，每隔一段時間，日志文件con.log被重命名為另一個文件（即完整日志文件)并重新生成新的日志文件con.log用于暫存新的日志數(shù)據(jù)，被重命名后得到的完整日志文件可使用一個程序(例如glume(可譯為穎），一種類似于Flume(可譯為水槽)的程序)存儲到HDFS，得到seq(可譯為序列，一種預設的外部命令，一般用作一堆數(shù)字的簡化寫法)文件格式的落盤日志文件，所述seq文件格式的落盤日志文件經(jīng)過解析程序后得到RC(runcommand,運行命令)文件并掛載到化ve完成入庫，得到入庫日志文件;此時，若接收到的完整日志文件的數(shù)量與入庫的入庫日志文件數(shù)量不一致，則說明皿FS輸出的日志文件數(shù)量不正常，反之，則為正常;Flume是一種高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方(可定制）的能力；[0293]如果正常，則可能是有相關技術人員在接收機上提取數(shù)據(jù)導致網(wǎng)卡流量偏高，因此可W忽略警告信息；[0294]如果不正常，可能是網(wǎng)絡異?；騡lume異常導致數(shù)據(jù)重復發(fā)送，從而引起的數(shù)據(jù)輸出量超高；比如，需要傳輸?shù)奈募笮?00M，傳了80M的時候，因為網(wǎng)絡異常或glume異常，傳輸失敗了，glume會把運個已經(jīng)傳輸?shù)?0M文件刪了，并重新上傳文件，如果文件傳輸成功了，流出的流量就有180M，而正常情況下則應該是1OOM;[0295]可選的，可W通過檢查glume的運行日志來判斷異常原因，在glume的運行日志中可W查到是由于gl皿e處理異常還是網(wǎng)絡斷開而導致的重試，查到相應的報錯信息后，根據(jù)具體的報錯信息進行處理即可；[0296]處理結(jié)束后，將出現(xiàn)數(shù)據(jù)流量不平衡的時間段的日志文件重新寫入分布式文件系統(tǒng)皿FS;可選的，因為補數(shù)，會導致下一小時的數(shù)據(jù)流出量偏高，警告信息可W酌情忽略;所述補數(shù)，是指將接收機的數(shù)據(jù)重新發(fā)送到化doop集群的皿!^上，至于需要補哪些數(shù)據(jù)，就看哪些時間段的接收的日志文件數(shù)量與入庫的日志文件數(shù)量不相等；[0297]當數(shù)據(jù)流出量低于所述預設流量闊值范圍中的最小值時，可選的，首先檢查數(shù)據(jù)流出量過低的原因，可包括W下步驟：[029引分析gl皿e的日志，確定gl皿e是否出現(xiàn)問題；[0299]若gl皿e出現(xiàn)問題，針對問題進行相應處理；[0300]若glume未出現(xiàn)問題，檢查接收機到hadoop集群的網(wǎng)絡是否楊通;可選的，通過判斷延遲是否過大來確定集群網(wǎng)絡是否楊通；[0301]若網(wǎng)絡不楊通，則針對該問題進行相應處理；[0302]問題將出現(xiàn)數(shù)據(jù)流量不平衡的時間段的日志文件重新寫入分布式文件系統(tǒng)HDFS;可選的，因為補數(shù)，會導致下一小時的數(shù)據(jù)流出量偏高，警告信息可W酌情忽略;所述補數(shù)，是指將接收機的數(shù)據(jù)重新發(fā)送到化doop集群的HDFS上，至于需要補哪些數(shù)據(jù)，就看哪些時間段的接收的日志文件數(shù)量與入庫的日志文件數(shù)量不相等；[0303]和/或，[0304]正常情況下，數(shù)據(jù)流入量與數(shù)據(jù)流出量的比值會保持在一定的范圍內(nèi)；可選的，可W根據(jù)經(jīng)驗或者一些機器學習等方法得到一個比值，即預設流量比值闊值；[0305]由于數(shù)據(jù)流入量和數(shù)據(jù)流出量的波動相對比較大，如果不設比例監(jiān)控就有可能發(fā)生漏報，比如預設流入量闊值是100-150M/S，預設流出量闊值是70-100M/S，如果真實流入流量是145,真實流量是71，運樣不會報錯，但其實運個比例已經(jīng)低于50%，說明需要進行錯誤排查，如果預設流量比值闊值的最小值大于0.6，就可W防止此類漏報；[0306]此外，還可W采用一些方法排除一些誤報，因此，所述平衡判定模塊702,還可具體用于：[0307]若所述數(shù)據(jù)流出量高于所述預設流量闊值范圍中的最大值、所述數(shù)據(jù)流入量高于所述預設流量闊值范圍中的最大值且所述數(shù)據(jù)流入量和所述數(shù)據(jù)流出量的比值處于預設比值闊值范圍內(nèi)，判定所述數(shù)據(jù)流量平衡；[0308]例如，樂視網(wǎng)如果上線一部非?；鸬碾娪?，點擊量會增加很多，運時上報的日志數(shù)量也會增加，從而導致數(shù)據(jù)流入量和數(shù)據(jù)流出量均大幅增加，數(shù)據(jù)流入量和數(shù)據(jù)流出量有可能會分別超出各自的預設流入量闊值和預設流出量闊值，但是數(shù)據(jù)流入量和數(shù)據(jù)流出量的比值卻在正常的范圍內(nèi)，運樣就可W酌情忽略流入流出流量過高報警；[0309]可選的，當數(shù)據(jù)流入量和數(shù)據(jù)流出量的比值超出預設流量比值闊值范圍時：[0310]若比值過大，處理過程同流出量過高+流入量過低；若比值過小，處理過程同流出量過低+流入量過高;在此不再寶述。[0311]需要說明的是，所述平衡判定模塊702的上述每個用途互相之間可W是并列關系，即擇一采用，也可W是順序關系，并且順序可W排列組合，即不按照上述順序依次進行，排在后面的用途可W插入前面任意用途之前先進行，只要能夠?qū)崿F(xiàn)本發(fā)明的部分發(fā)明目的并達到相應的技術效果，就能夠作為本發(fā)明的實施例來進行。[0312]從上述實施例可W看出，本發(fā)明實施例提供的數(shù)據(jù)監(jiān)控裝置，除了能夠通過直接調(diào)用服務器網(wǎng)卡上報的數(shù)據(jù)流入量、數(shù)據(jù)流出量并計算二者的數(shù)據(jù)量比值，判斷數(shù)據(jù)流入量、數(shù)據(jù)流出量和/或數(shù)據(jù)量比值是否處于相應的闊值范圍內(nèi)，從而根據(jù)判斷結(jié)果進行數(shù)據(jù)流量驗平，實現(xiàn)直接利用服務器網(wǎng)卡上報的數(shù)據(jù)，無需增加其他流量監(jiān)控設備，W及，能夠?qū)?shù)據(jù)流量的異常情況進行監(jiān)控的效果外；在監(jiān)測到數(shù)據(jù)流量不平衡時，還可W分析不平衡的原因并采取相應的手段處理相應的問題。[0313]本發(fā)明實施例的第十個方面，提出了一種數(shù)據(jù)監(jiān)控裝置的第四個實施例，能夠監(jiān)測到數(shù)據(jù)流量的異常情況。如圖8所示，為本發(fā)明實施例提供的所述數(shù)據(jù)監(jiān)控裝置的第四個實施例的模塊結(jié)構(gòu)示意圖。[0314]參照圖8所示，所述數(shù)據(jù)監(jiān)控裝置，包括：[0315]流量獲取模塊701，用于獲取預設時間闊值內(nèi)服務器網(wǎng)卡的數(shù)據(jù)流量，所述數(shù)據(jù)流量包括數(shù)據(jù)流入量和數(shù)據(jù)流出量；[0316]平衡判定模塊702,用于根據(jù)所述數(shù)據(jù)流量、預設流量闊值、和/或預設流量比值闊值，判定所述數(shù)據(jù)流量是否平衡；[0317]進一步的，在一些可選實施方式中，所述數(shù)據(jù)監(jiān)控裝置，還可包括W下模塊：[0318]日志文件生成模塊801，用于接收日志數(shù)據(jù)，并根據(jù)配置文件生成完整日志文件；所述完整日志文件中包含有所有后續(xù)處理與分析所需要的日志信息;所述日志數(shù)據(jù)為用戶方因為進行了相應操作而產(chǎn)生并上傳的操作記錄數(shù)據(jù)，所述完整日志文件可W是指正常情況下系統(tǒng)所記錄的日志文件，其中包含了一個常規(guī)日志文件所需要具有的所有日志信息；[0319]完整日志統(tǒng)計模塊802，用于根據(jù)所述完整日志文件，統(tǒng)計第二預設時間闊值內(nèi)接收得到的完整日志文件數(shù)量；[0320]可選的，本實施例針對的是離線分析架構(gòu)，本實施例應用于Nginx,運里的配置文件可W直接利用Nginx中的配置文件;Nginx(也稱"engineX"，引擎X)是一個高性能的HTTP(^HyperTextTransferProtocol,超文本傳輸協(xié)議）和反向代理服務器，也是一個IMAP(InternetMailAccessProtocol,互聯(lián)網(wǎng)郵件訪問協(xié)議）/P0P3(PostOfficeProtocol-Version3,郵局協(xié)議版本3)/SMTP(SimpleMailTransferProtocol,簡單郵件傳輸協(xié)議）服務器;Nginx作為負載均衡服務器，既可W在內(nèi)部直接支持Rails(可譯為軌道，是一種用于開發(fā)數(shù)據(jù)庫驅(qū)動的網(wǎng)絡應用程序的完整框架）和PHP(HypedextPr邱rocessor，超文本預處理器)程序?qū)ν膺M行服務，也可W支持作為HTTP代理服務器對外進行服務;根據(jù)所述完整日志文件，統(tǒng)計第二預設時間闊值內(nèi)接收得到的完整日志文件數(shù)量;所述第二預設時間闊值，可W是指需要進行日志量驗平的時間段(例如一天中的某一個時段，運個時段采集的數(shù)據(jù)用于驗平的效果最好)或者能夠滿足日志量驗平需要而應當采集數(shù)據(jù)的時間長度(例如每隔2小時進行一次日志量驗平的效果最好）；運里，根據(jù)實際需要，可W對第二預設時間闊值進行選擇，并可W根據(jù)實際情況的變化，對第二預設時間闊值進行調(diào)整；[0321]日志寫入模塊803，用于將所述完整日志文件寫入分布式文件系統(tǒng)并得到入庫日志文件；[0322]運里，服務器接收到數(shù)據(jù)后，會存儲到服務器的磁盤上，然后完整日志文件在服務器落盤后存儲到分布式文件系統(tǒng)皿FS中，得到seq(可譯為序列，一種預設的外部命令，一般用作一堆數(shù)字的簡化寫法)文件格式的落盤日志文件，所述seq文件格式的落盤日志文件經(jīng)過解析程序后得到RC(runcommand,運行命令)文件并掛載到化ve完成入庫，得到入庫日志文件；[0323]具體的，完整日志文件的落盤過程（即完整日志文件寫入皿FS的過程)可包括W下步驟:服務器接收到日志數(shù)據(jù)后，暫存在完整日志文件con.log中，每十分鐘旋轉(zhuǎn)一次，旋轉(zhuǎn)后，完整日志文件被重命名為另一個文件(運個重命名的文件就是用于落盤的所述完整日志文件，例如cons.20160512-0110.log),同時重新加載(reload)所述配置文件，生成一個新的日志文件con.log(雖然與前一日志文件con.log命名相同，但因為前一日志文件被重命名后形成為一個完整日志文件，運里的重新生成的日志文件con.log則為一個全新的空日志文件，其中接下來繼續(xù)暫存的內(nèi)容也就是新的日志內(nèi)容）；接著，被重命名后得到的完整日志文件可使用一個程序(例如glume(可譯為穎），一種類似于Flume(可譯為水槽）的程序)存儲到皿FS，運樣，就完成了從日志數(shù)據(jù)接收到本地落盤寫入皿FS的過程;Fl皿e是一種高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù);同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方(可定制）的能力；[0324]入庫日志統(tǒng)計模塊804，用于根據(jù)所述入庫日志文件，統(tǒng)計所述第二預設時間闊值內(nèi)的入庫日志文件數(shù)量;可選的，所述入庫日志文件數(shù)量是從化ve中統(tǒng)計得到的；[0325]所述平衡判定模塊702，還用于根據(jù)所述完整日志文件數(shù)量和入庫日志文件數(shù)量，判定所述第二預設時間闊值內(nèi)的日志量是否平衡；[0326]可選的，判定所述第二預設時間闊值內(nèi)的日志量是否平衡的方法可W是，判斷所述完整日志文件數(shù)量和入庫日志文件數(shù)量是否相等，若相等，則日志量平衡，若不相等，貝U日志量不平衡。[0327]可W看出，結(jié)合上述實施例，本發(fā)明所提供的數(shù)據(jù)監(jiān)控裝置，除了能夠監(jiān)控網(wǎng)卡流量的異常情況外，還能針對日志量進行數(shù)據(jù)量驗平，從而起到了更好更完善的數(shù)據(jù)監(jiān)控效果。[0328]本發(fā)明實施例的第十一個方面，提出了一種數(shù)據(jù)監(jiān)控裝置的第五個實施例，能夠監(jiān)測到數(shù)據(jù)流量的異常情況。如圖8所示，也是本發(fā)明實施例提供的所述數(shù)據(jù)監(jiān)控裝置的第五個實施例的模塊結(jié)構(gòu)示意圖。[0329]參照圖8所示，所述數(shù)據(jù)監(jiān)控裝置，包括：[0330]流量獲取模塊701，用于獲取預設時間闊值內(nèi)服務器網(wǎng)卡的數(shù)據(jù)流量，所述數(shù)據(jù)流量包括數(shù)據(jù)流入量和數(shù)據(jù)流出量；[0331]平衡判定模塊702,用于根據(jù)所述數(shù)據(jù)流量、預設流量闊值、和/或預設流量比值闊值，判定所述數(shù)據(jù)流量是否平衡；[0332]可選的，在另一些可選實施方式中，所述數(shù)據(jù)監(jiān)控裝置，還可包括短日志統(tǒng)計模塊805，[0333]所述日志文件生成模塊801，用于接收日志數(shù)據(jù)，并根據(jù)所述配置文件生成完整日志文件(其中包含有所有需要的日志信息)和短日志文件;所述配置文件中包括短日志文件生成信息;所述短日志文件中包含的日志信息少于所述完整日志文件中包含的日志信息；[0334]可選的，本發(fā)明實施例針對的是離線分析架構(gòu)，本發(fā)明實施例應用于Nginx,運里的配置文件可W直接利用Nginx中的配置文件，在該配置文件中增加短日志文件生成信息；Nginx(也稱"engineX"，引擎X)是一種高性能的HTTP巧yperTextIYansferProtocol，超文本傳輸協(xié)議)和反向代理服務器，也是一個IMAPQnternetMailAccessProtocol,互聯(lián)網(wǎng)郵件訪問協(xié)議）/P〇P3(PostOfficeProtocol-Version3,郵局協(xié)議版本3)/SMTP(SimpleMailIYansferProtocol,簡單郵件傳輸協(xié)議）服務器;Nginx作為負載均衡服務器，既可W在內(nèi)部直接支持Rails(可譯為軌道，是一種用于開發(fā)數(shù)據(jù)庫驅(qū)動的網(wǎng)絡應用程序的完整框架）和PHP化ypertextPr邱rocessor，超文本預處理器)程序?qū)ν膺M行服務，也可W支持作為HTTP代理服務器對外進行服務；[0335]Nginx中的配置文件里有很多配置信息，設置日志文件(access_log)的日志格式的配置是其中一巧，例化：[0336][0337][033引[0339]其中，PV運種日志格式包含的數(shù)據(jù)量較多，相反Sm包含的信息很少；[0340]可選的，按照前一模塊的配置，每隔一段時間會旋轉(zhuǎn)一次，旋轉(zhuǎn)后服務器會重新加載(reload)所述配置文件，服務器的/log/con目錄下生成兩個日志文件：完整日志文件con.log(對應于PV日志格式，完整日志文件的實際名稱為被重命名的名稱，例如con.20160512-0110.log)和短日志文件cons.log(對應于sm日志格式，同樣的，短日志文件的實際名稱為被重命名的名稱，例如cons.20160512-0110.log),數(shù)據(jù)量較大時，每個日志文件中會存儲很多條日志數(shù)據(jù);其中，完整日志文件con.log中的每條數(shù)據(jù)都包含很多的數(shù)據(jù)信息，而短日志文件cons.log中的每條數(shù)據(jù)則只會存儲一些用于區(qū)分不同日志數(shù)據(jù)的數(shù)據(jù)信息，例如接收到對應日志數(shù)據(jù)的時間；當日志量很大時，統(tǒng)計完整日志文件和短日志文件分別所消耗的時間和資源的對比就比較明顯了；[0341]其中，所述旋轉(zhuǎn)是指日志旋轉(zhuǎn)，簡單來說，是指將現(xiàn)有的日志文件重命名，然后重新創(chuàng)建原始空日志文件；[0342]例如，配置文件中有如下配置信息：[0；343][0344]配置信息設定后，在一段時間內(nèi)是不會改變的，如果不進行日志旋轉(zhuǎn)，那么服務器接收的所有文件都會存儲在/1〇旨3八011八〇]1.1〇旨和/1〇旨3八〇]1八〇]13.1〇旨兩個文件中，隨著時間的增長，日志文件會越來越大；[0345]為了能及時處理日志文件，一般一段時間后(視具體情況，可能按小時、天或者周，可選的，設置為10分鐘）會將接收日志的那個文件重命名，Wcon.log為例，每隔10分鐘將con.log重命名(例如con.20160512-0110.log)，然后重新創(chuàng)建一個空的日志文件con.log;因為配置文件中設置的是接收到的數(shù)據(jù)存儲在con.log中，所W服務器新接收到的數(shù)據(jù)依然存入到con.log文件中，旋轉(zhuǎn)之后，con.20160512-0110.log中的數(shù)據(jù)就可W被用來做后續(xù)的操作了，即：寫入皿FS-〉文件解析-〉掛載到hive;[0346]所述短日志統(tǒng)計模塊805，用于根據(jù)所述短日志文件，統(tǒng)計第=預設時間闊值內(nèi)接收得到的短日志文件數(shù)量;所述第=預設時間闊值，可W是指需要進行數(shù)據(jù)驗平的時間段(例如一天中的某一個時段，運個時段采集的數(shù)據(jù)用于驗平的效果最好)或者能夠滿足數(shù)據(jù)驗平需要而應當采集數(shù)據(jù)的時間長度(例如每隔2小時進行一次數(shù)據(jù)驗平的效果最好）；運里，根據(jù)實際需要，可W對第=預設時間闊值進行選擇，并可W根據(jù)實際情況的變化，對第=預設時間闊值進行調(diào)整;此外，所述第=預設時間闊值通常情況下，可W是與所述第二預設時間闊值相等的，但不排除出現(xiàn)不相等的情況，因此，二者的取值視實際情況而定；[0347]所述日志寫入模塊803，用于將所述完整日志文件寫入分布式文件系統(tǒng)并得到入庫日志文件；[0348]運里，同樣的，服務器接收到數(shù)據(jù)后，會存儲到服務器的磁盤上，然后完整日志文件在服務器落盤后存儲到分布式文件系統(tǒng)皿FS中，得到seq可譯為序列，一種預設的外部命令，一般用作一堆數(shù)字的簡化寫法)文件格式的落盤日志文件，所述seq文件格式的落盤日志文件經(jīng)過解析程序后得到RC(runcommand,運行命令)文件并掛載到化ve完成入庫，得到入庫日志文件；[0349]具體的，完整日志文件的落盤過程（即完整日志文件寫入皿FS的過程)可包括W下步驟:服務器接收到日志數(shù)據(jù)后，暫存在日志文件con.log中，每十分鐘旋轉(zhuǎn)一次，旋轉(zhuǎn)后，前述的日志文件被重命名為另一個文件(運個重命名的文件就是用于落盤的所述完整日志文件，例如cons.20160512-0110.log)，同時重新加載(reload)所述配置文件，生成一個新的日志文件con.log;被重命名后得到的完整日志文件可使用一個程序(例如glume(可譯為穎），一種類似于Flume(可譯為水槽)的程序)存儲到HDFS，運樣，就完成了從日志數(shù)據(jù)接收到本地落盤寫入皿FS的過程;Fl皿e是一種高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方(可定制）的能力；[0350]所述入庫日志統(tǒng)計模塊804，用于根據(jù)所述入庫日志文件，統(tǒng)計所述第=預設時間闊值內(nèi)的入庫日志文件數(shù)量;可選的，所述入庫日志文件數(shù)量是從化ve中統(tǒng)計得到的；[0351]所述平衡判定模塊702，還用于根據(jù)所述短日志文件數(shù)量和入庫日志文件數(shù)量，判定所述第=預設時間闊值內(nèi)的日志量是否平衡；[0352]可選的，判定所述第=預設時間闊值內(nèi)的日志量是否平衡的方法可W是，判斷所述短日志文件數(shù)量和入庫日志文件數(shù)量是否相等，若相等，則日志量平衡，若不相等，則日志量不平衡。[0353]可W看出，結(jié)合上述實施例，本發(fā)明所提供的數(shù)據(jù)監(jiān)控裝置，除了能夠監(jiān)控網(wǎng)卡流量的異常情況和針對日志量進行數(shù)據(jù)量驗平外，在對日志量驗平時，通過重新設計配置文件，并通過統(tǒng)計短日志文件來對接收到的日志數(shù)據(jù)進行統(tǒng)計，在完整日志文件落盤入庫后對入庫日志文件進行統(tǒng)計，從而根據(jù)兩個統(tǒng)計數(shù)據(jù)完成數(shù)據(jù)驗平;運樣，在對接收到的日志數(shù)據(jù)進行統(tǒng)計時，因為只需要對接收到的日志數(shù)據(jù)的數(shù)量進行統(tǒng)計，而不用對日志數(shù)據(jù)的實際內(nèi)容進行分析，因此可W僅對短日志文件的數(shù)量進行統(tǒng)計，而無需對完整日志文件的數(shù)量進行統(tǒng)計，從而對接收到的日志數(shù)據(jù)的數(shù)量統(tǒng)計是采用統(tǒng)計短日志文件的數(shù)量來完成，使得在數(shù)據(jù)驗平時能夠減少對系統(tǒng)資源的占用并縮短統(tǒng)計時間，在日志數(shù)據(jù)較為龐大時，能夠節(jié)約大量的時間和資源，同時還起到了更好更完善的數(shù)據(jù)監(jiān)控效果。[0354]可選的，在一些實施方式中，所述短日志文件包含的日志信息為日志數(shù)據(jù)產(chǎn)生時的本地時間（time_local)或日志狀態(tài)(S化化S)，運兩個數(shù)據(jù)，一方面占用的資源較少，另一方面能夠?qū)θ罩緮?shù)據(jù)進行初步區(qū)分，從而方便數(shù)量統(tǒng)計。[0355]寫入到所述分布式文件系統(tǒng)中落盤入庫的入庫日志文件，其中的某些入庫日志文件，因為其中的日志數(shù)據(jù)不符合規(guī)范或要求，會被清洗掉，清洗掉的數(shù)據(jù)會進行另外的處理，因此，落盤入庫的入庫日志文件的文件總數(shù)量則包括有效日志文件的數(shù)量和無效日志文件的數(shù)量，無效日志文件即被清洗掉的數(shù)據(jù);從而，進一步的，在一些可選實施方式中，所述入庫日志文件包括經(jīng)所述分布式文件系統(tǒng)分析得到的有效日志文件和無效日志文件;所述入庫日志文件數(shù)量為所述有效日志文件的數(shù)量和無效日志文件的數(shù)量之和;運樣，在數(shù)據(jù)驗平時，不會因為被清洗掉的無效日志文件沒有被統(tǒng)計而影響數(shù)據(jù)驗平結(jié)果。[0356]較佳的，在一些可選實施方式中，所述平衡判定模塊702,具體用于：[0357]計算所述第=預設時間闊值內(nèi)的所述短日志文件數(shù)量與所述入庫日志文件數(shù)量的比值；[0358]通常情況下，所述預設比值闊值范圍是1，即，所述短日志文件數(shù)量與所述入庫日志文件數(shù)量必須相等;但是，在現(xiàn)代網(wǎng)絡技術中，每天會產(chǎn)生大量日志數(shù)據(jù)，運樣，正常情況下，經(jīng)過解析程序后入庫的入庫日志文件可能會存在一部分的數(shù)據(jù)丟失或者數(shù)據(jù)的讀取失敗等問題產(chǎn)生，因此，所述預設比值闊值范圍，是指預設的能夠判定數(shù)據(jù)平衡的比值范圍，例如0.97~1，運樣，允許一部分數(shù)據(jù)的正常丟失，而不會出現(xiàn)數(shù)據(jù)不平衡的問題；[0359]判斷所述比值是否處于第二預設比值闊值范圍內(nèi)；[0360]若所述比值處于第二預設比值闊值范圍內(nèi)，則判定所述第=預設時間闊值內(nèi)的日志量平衡；[0361]若所述比值不處于第二預設比值闊值范圍內(nèi)，則判定所述第=預設時間闊值內(nèi)的日志量不平衡。[0362]通過上述實施例，使得在日志量驗平的過程中，一方面保證了日志量驗平的正確性，另一方面又允許了數(shù)據(jù)的正常的少量丟失，從而使少量的數(shù)據(jù)丟失不影響日志量驗平的判斷結(jié)果。[0363]可選的，在一些實施方式中，所述配置文件中還包括第四預設時間闊值，所述日志文件生成模塊801，還可具體用于：[0364]按照所述第四預設時間闊值，加載所述配置文件，并將所述日志數(shù)據(jù)生成為完整日志文件和短日志文件;運里，加載一次配置文件，生成一個完整日志文件con.log和一個短日志文件cons,log,分別用于存儲相應的日志數(shù)據(jù)，每隔所述第四預設時間闊值，所述完整日志文件con.log和短日志文件cons.log被重命名并另存，然后再次加載所述配置文件，并生成新的一個完整日志文件con.log和一個短日志文件cons,log,運樣周而復始，即可在第=預設時間闊值內(nèi)產(chǎn)生多個完整日志文件和短日志文件，用于進行日志文件的數(shù)量統(tǒng)計;所述第四預設時間闊值小于第=預設時間闊值，可W根據(jù)需要進行設置，例如5~10分鐘，在日志數(shù)據(jù)量較大時，可W適當縮短所述第四預設時間闊值。[0365]所屬領域的普通技術人員應當理解：W上任何實施例的討論僅為示例性的，并非旨在暗示本公開的范圍（包括權利要求)被限于運些例子;在本發(fā)明的思路下，W上實施例或者不同實施例中的技術特征之間也可W進行組合，步驟可WW任意順序?qū)崿F(xiàn)，并存在如上所述的本發(fā)明的不同方面的許多其它變化，為了簡明它們沒有在細節(jié)中提供。[0366]另外，為簡化說明和討論，并且為了不會使本發(fā)明難W理解，在所提供的附圖中可W示出或可W不示出與集成電路（IC)忍片和其它部件的公知的電源/接地連接。此外，可WW框圖的形式示出裝置，W便避免使本發(fā)明難W理解，并且運也考慮了W下事實，即關于運些框圖裝置的實施方式的細節(jié)是高度取決于將要實施本發(fā)明的平臺的（即，運些細節(jié)應當完全處于本領域技術人員的理解范圍內(nèi)）。在闡述了具體細節(jié)(例如，電路）W描述本發(fā)明的示例性實施例的情況下，對本領域技術人員來說顯而易見的是，可W在沒有運些具體細節(jié)的情況下或者運些具體細節(jié)有變化的情況下實施本發(fā)明。因此，運些描述應被認為是說明性的而不是限制性的。[0367]盡管已經(jīng)結(jié)合了本發(fā)明的具體實施例對本發(fā)明進行了描述，但是根據(jù)前面的描述，運些實施例的很多替換、修改和變型對本領域普通技術人員來說將是顯而易見的。例如，其它存儲器架構(gòu)(例如，動態(tài)RAM(DRAM))可W使用所討論的實施例。[0368]本發(fā)明的實施例旨在涵蓋落入所附權利要求的寬泛范圍之內(nèi)的所有運樣的替換、修改和變型。因此，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何省略、修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)?！局鳈囗棥?.一種數(shù)據(jù)監(jiān)控方法，其特征在于，包括：獲取預設時間閾值內(nèi)服務器網(wǎng)卡的數(shù)據(jù)流量，所述數(shù)據(jù)流量包括數(shù)據(jù)流入量和數(shù)據(jù)流出量；根據(jù)所述數(shù)據(jù)流量、預設流量閾值、和/或預設流量比值閾值，判定所述數(shù)據(jù)流量是否平衡。2.根據(jù)權利要求1所述的方法，其特征在于，根據(jù)所述數(shù)據(jù)流量、預設流量閾值、和/或預設流量比值閾值，判定所述數(shù)據(jù)流量是否平衡包括：判斷所述預設時間閾值內(nèi)所述數(shù)據(jù)流入量、和/或所述數(shù)據(jù)流出量是否處于預設流量閾值范圍內(nèi)；若所述數(shù)據(jù)流入量、和/或所述數(shù)據(jù)流出量處于預設流量閾值范圍內(nèi)，說明所述數(shù)據(jù)流入量、和/或所述數(shù)據(jù)流出量平衡。3.根據(jù)權利要求1或2所述的方法，其特征在于，根據(jù)所述數(shù)據(jù)流量、預設流量閾值、和/或預設流量比值閾值，判定所述數(shù)據(jù)流量是否平衡包括：計算所述數(shù)據(jù)流出量和數(shù)據(jù)流入量的比值；判斷預設時間閾值內(nèi)所述比值是否處于預設流量比值閾值范圍內(nèi)；若所述比值處于預設流量比值閾值范圍內(nèi)，說明所述數(shù)據(jù)流入量和所述數(shù)據(jù)流出量的比平衡。4.根據(jù)權利要求1所述的方法，其特征在于:所述預設流量閾值包括預設流入量閾值和預設流出量閾值;所述預設流入量閾值對應于所述數(shù)據(jù)流入量，所述預設流出量閾值對應于所述數(shù)據(jù)流出量。5.根據(jù)權利要求2所述的方法，其特征在于，還包括：若所述數(shù)據(jù)流入量高于所述預設流量閾值范圍中的最大值，判定所述數(shù)據(jù)流量不平衡，增加臨時接收機；若增加臨時接收機后所述數(shù)據(jù)流入量高于所述預設流量閾值范圍中的最大值，確定出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口；修改接收機配置，停止接收所述出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口的上報數(shù)據(jù)。6.根據(jù)權利要求2所述的方法，其特征在于，還包括：若所述數(shù)據(jù)流入量低于所述預設流量閾值范圍中的最小值，判定所述數(shù)據(jù)流量不平衡；確定出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口；發(fā)送數(shù)據(jù)流量不平衡的提示信息到與所述出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口相關的業(yè)務方。7.根據(jù)權利要求2所述的方法，其特征在于，還包括：若所述數(shù)據(jù)流出量高于所述預設流量閾值范圍中的最大值或低于所述預設流量閾值范圍中的最小值，判定所述數(shù)據(jù)流量不平衡；將出現(xiàn)數(shù)據(jù)流量不平衡的時間段的日志文件重新寫入分布式文件系統(tǒng)。8.根據(jù)權利要求2所述的方法，其特征在于，還包括：若所述數(shù)據(jù)流出量高于所述預設流量閾值范圍中的最大值、所述數(shù)據(jù)流入量高于所述預設流量閾值范圍中的最大值且所述數(shù)據(jù)流入量和所述數(shù)據(jù)流出量的比值處于預設流量比值閾值范圍內(nèi)，判定所述數(shù)據(jù)流量平衡。9.一種數(shù)據(jù)監(jiān)控裝置，其特征在于，包括：流量獲取模塊，用于獲取預設時間閾值內(nèi)服務器網(wǎng)卡的數(shù)據(jù)流量，所述數(shù)據(jù)流量包括數(shù)據(jù)流入量和數(shù)據(jù)流出量；平衡判定模塊，用于根據(jù)所述數(shù)據(jù)流量、預設流量閾值、和/或預設流量比值閾值，判定所述數(shù)據(jù)流量是否平衡。10.根據(jù)權利要求9所述的裝置，其特征在于，所述平衡判定模塊，具體用于：判斷所述預設時間閾值內(nèi)所述數(shù)據(jù)流入量、和/或所述數(shù)據(jù)流出量是否處于預設流量閾值范圍內(nèi)；若所述數(shù)據(jù)流入量、和/或所述數(shù)據(jù)流出量處于預設流量閾值范圍內(nèi)，說明所述數(shù)據(jù)流入量、和/或所述數(shù)據(jù)流出量平衡。11.根據(jù)權利要求9或10所述的裝置，其特征在于，所述平衡判定模塊，具體用于：計算所述數(shù)據(jù)流出量和數(shù)據(jù)流入量的比值；判斷預設時間閾值內(nèi)所述比值是否處于預設流量比值閾值范圍內(nèi)；若所述比值處于預設流量比值閾值范圍內(nèi)，說明所述數(shù)據(jù)流入量和所述數(shù)據(jù)流出量的比平衡。12.根據(jù)權利要求9所述的裝置，其特征在于:所述預設流量閾值包括預設流入量閾值和預設流出量閾值;所述預設流入量閾值對應于所述數(shù)據(jù)流入量，所述預設流出量閾值對應于所述數(shù)據(jù)流出量。13.根據(jù)權利要求10所述的裝置，其特征在于，所述平衡判定模塊，具體用于：若所述數(shù)據(jù)流入量高于所述預設流量閾值范圍中的最大值，判定所述數(shù)據(jù)流量不平衡；增加臨時接收機；若增加臨時接收機后仍不能平衡數(shù)據(jù)流量，判斷出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口；修改接收機配置，停止接收數(shù)據(jù)流量不平衡的業(yè)務線接口的上報數(shù)據(jù)。14.根據(jù)權利要求10所述的裝置，其特征在于，所述平衡判定模塊，具體用于：若所述數(shù)據(jù)流入量低于所述預設流量閾值范圍中的最小值，判定所述數(shù)據(jù)流量不平衡；判斷出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口；發(fā)送數(shù)據(jù)流量不平衡的提示信息到與所述出現(xiàn)數(shù)據(jù)流量不平衡的業(yè)務線接口相關的業(yè)務方。15.根據(jù)權利要求10所述的裝置，其特征在于，所述平衡判定模塊，具體用于：若所述數(shù)據(jù)流出量高于所述預設流量閾值范圍中的最大值或低于所述預設流量閾值范圍中的最小值，判定所述數(shù)據(jù)流量不平衡；將出現(xiàn)數(shù)據(jù)流量不平衡的時間段的日志文件重新寫入分布式文件系統(tǒng)。16.根據(jù)權利要求10所述的裝置，其特征在于，所述平衡判定模塊，具體用于：若所述數(shù)據(jù)流出量高于所述預設流量閾值范圍中的最大值、所述數(shù)據(jù)流入量高于所述預設流量閾值范圍中的最大值且所述數(shù)據(jù)流入量和所述數(shù)據(jù)流出量的比值處于預設比值閾值范圍內(nèi)，判定所述數(shù)據(jù)流量平衡?！疚臋n編號】H04L29/08GK105939234SQ201610425513【公開日】2016年9月14日【申請日】2016年6月15日【發(fā)明人】唐武兵【申請人】樂視控股（北京）有限公司,樂視網(wǎng)信息技術（北京）股份有限公司