一種大數(shù)據(jù)平臺(tái)的監(jiān)控系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及大數(shù)據(jù)平臺(tái)的資源和任務(wù)的監(jiān)控，屬于計(jì)算機(jī)與網(wǎng)絡(luò)技術(shù)應(yīng)用領(lǐng)域。
【背景技術(shù)】
[0002] 隨著社會(huì)信息化技術(shù)的不斷提高以及互聯(lián)網(wǎng)技術(shù)快速普及，需要處理的數(shù)據(jù)也越 來越大，各個(gè)領(lǐng)域?qū)Ａ繑?shù)據(jù)處理的需求也越來越多。在單機(jī)器存儲(chǔ)空間和運(yùn)算能力已經(jīng) 不能滿足人們對(duì)海量數(shù)據(jù)處理的需求的背景下，分布式計(jì)算和并行計(jì)算開始快速發(fā)展和應(yīng) 用，最終發(fā)展為網(wǎng)格計(jì)算。大規(guī)模下分布式系統(tǒng)的監(jiān)控信息是海量的，監(jiān)控資源是多層次多 來源的，大數(shù)據(jù)平臺(tái)的動(dòng)態(tài)性、復(fù)雜性給大數(shù)據(jù)平臺(tái)的監(jiān)控系統(tǒng)帶來眾多困難。如何有效的 監(jiān)測(cè)大數(shù)據(jù)平臺(tái)中的軟硬件資源，及時(shí)對(duì)資源的瓶頸進(jìn)行預(yù)測(cè)，在出現(xiàn)故障前采取相應(yīng)措 施，是提高大數(shù)據(jù)平臺(tái)服務(wù)質(zhì)量的關(guān)鍵，也是目前研宄的重點(diǎn)。
[0003] 監(jiān)控是大數(shù)據(jù)平臺(tái)的重要組成部分，現(xiàn)有的開源的大數(shù)據(jù)平臺(tái)中缺少易用的統(tǒng)一 的監(jiān)控功能，具體有：獲取大數(shù)據(jù)平臺(tái)運(yùn)行狀態(tài)困難，不能實(shí)時(shí)展示大數(shù)據(jù)平臺(tái)中作業(yè)運(yùn)行 狀態(tài)和對(duì)作業(yè)的統(tǒng)計(jì)和分析功能的缺乏的問題。數(shù)據(jù)平臺(tái)需監(jiān)控的資源種類繁多，層次多 樣。硬件資源有CPU、內(nèi)存、網(wǎng)絡(luò)和硬盤等；軟件資源包括平臺(tái)中運(yùn)行的Hadoop、Hbase和 zooke印er等；作業(yè)資源包括運(yùn)行在平臺(tái)上的各類作業(yè)的運(yùn)行進(jìn)度、占用資源和調(diào)度信息 等。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明要解決的技術(shù)問題：大數(shù)據(jù)平臺(tái)中多源多維度監(jiān)控?cái)?shù)據(jù)采集和整合，大數(shù) 據(jù)平臺(tái)中作業(yè)的監(jiān)控、統(tǒng)計(jì)和分析。提供直觀的、易用的、快速響應(yīng)的大數(shù)據(jù)監(jiān)控系統(tǒng)。
[0005] 本發(fā)明采用的技術(shù)方案：一種大數(shù)據(jù)平臺(tái)的監(jiān)控系統(tǒng)，包括大數(shù)據(jù)平臺(tái)運(yùn)行信息 統(tǒng)計(jì)子系統(tǒng)，大數(shù)據(jù)平臺(tái)作業(yè)監(jiān)控子系統(tǒng)和大數(shù)據(jù)平臺(tái)作業(yè)統(tǒng)計(jì)分析子系統(tǒng)。
[0006] >大數(shù)據(jù)平臺(tái)運(yùn)行信息統(tǒng)計(jì)子系統(tǒng)
[0007] 對(duì)大數(shù)據(jù)平臺(tái)整體運(yùn)行情況進(jìn)行實(shí)時(shí)監(jiān)控，將大數(shù)據(jù)平臺(tái)中所有組件的監(jiān)控信息 進(jìn)行集中展示，主要是將分布式文件系統(tǒng)HDFS運(yùn)行狀態(tài)展示、資源管理框架Yarn運(yùn)行狀態(tài) 展示、分布式一致性服務(wù)Zookeeper運(yùn)行狀態(tài)展示和NoSql數(shù)據(jù)庫HBase運(yùn)行狀態(tài)展示進(jìn) 行整合。
[0008] ?HDFS運(yùn)行信息監(jiān)控
[0009] 通過JMX獲取HDFS中的NameNode的性能指標(biāo)，DataNode的HDFS信息。JMX(Java ManagementExtensions，即Java管理擴(kuò)展）是一個(gè)為應(yīng)用程序、設(shè)備、系統(tǒng)等植入管理功 能的框架。Hadoop提供了JMX監(jiān)控接口，在HDFS中JMX監(jiān)控接口為〈Namenode>:50070/ jmx。對(duì)于HDFS的jmx接口來說，返回值是JS0N數(shù)據(jù)，使用python的json模塊中的json. loads對(duì)返回的JS0N數(shù)據(jù)進(jìn)行解析可獲得HDFS的監(jiān)控信息。
[0010] WebHDFS是hadoop提供的HDFSREST實(shí)現(xiàn)，可以通過RESTAPI用http的方式訪 問HDFS，通過RESTAPI可以實(shí)現(xiàn)對(duì)HDFS進(jìn)行GET、POST、PUT和DELETE操作。大數(shù)據(jù)平臺(tái) 上運(yùn)行的作業(yè)是對(duì)HDFS上的數(shù)據(jù)進(jìn)行操作，需要監(jiān)測(cè)HDFS上作業(yè)相關(guān)文件信息，通過這些 信息可以獲取作業(yè)數(shù)據(jù)的規(guī)模，數(shù)據(jù)操作總量，生成結(jié)果總量和導(dǎo)出結(jié)果數(shù)據(jù)，為了滿足用 戶作業(yè)對(duì)HDFS上數(shù)據(jù)的監(jiān)控需求，一種大數(shù)據(jù)平臺(tái)的監(jiān)控系統(tǒng)通過對(duì)WebHDFS的封裝，可 以獲取作業(yè)輸入輸出數(shù)據(jù)的文件統(tǒng)計(jì)信息，從而監(jiān)控作業(yè)中數(shù)據(jù)流狀態(tài)。
[0011] ?Yarn計(jì)算資源監(jiān)控
[0012] Yarn是hadoop的分布式資源管理框架，Yarn是由ResourceManager和 nodemanager組成，RM(ResourceManager)控制整個(gè)集群并管理Yarn上層應(yīng)用程序的基礎(chǔ) 計(jì)算資源的分配。使用RM提供的JMX接口可獲取RM當(dāng)前運(yùn)行狀態(tài)，主要有大數(shù)據(jù)平臺(tái)上 可以用于計(jì)算的CPU、內(nèi)存資源使用情況和RM服務(wù)運(yùn)行信息。使用RM提供的RestfulAPI 可以獲取RM運(yùn)行狀態(tài)信息、RM監(jiān)控度量信息、RM資源調(diào)度信息、RM上應(yīng)用信息和RM分布 式節(jié)點(diǎn)信息。
[0013] ?Zookeeper運(yùn)行監(jiān)控
[0014] 使用Zookeeper提供的四字命令"mntr"，可獲取每個(gè)Zookeeper運(yùn)行信息，使用網(wǎng) 絡(luò)將mntr命令發(fā)送至Zookeeper服務(wù)器，Zookeeper服務(wù)器返回本機(jī)中Zookeeper服務(wù)的 連接數(shù)、內(nèi)存數(shù)據(jù)庫大小、服務(wù)角色、watcher數(shù)和延遲數(shù)。
[0015] #Hbase運(yùn)行監(jiān)控
[0016]Hbase提供了JMX監(jiān)控接口，本系統(tǒng)通過請(qǐng)求JMX獲取HBase運(yùn)行狀態(tài)信息，Hbase 節(jié)點(diǎn)監(jiān)控信息和Hbase表監(jiān)控信息。
[0017] >大數(shù)據(jù)平臺(tái)作業(yè)監(jiān)控子系統(tǒng)
[0018] 進(jìn)行離線計(jì)算和數(shù)據(jù)分析是大數(shù)據(jù)平臺(tái)主要作業(yè)，現(xiàn)有的大數(shù)據(jù)平臺(tái)中的作業(yè)類 型為MapReduce作業(yè)，MapReduce作業(yè)監(jiān)控功能是針對(duì)hadoop上的MapReduce作業(yè)的數(shù)據(jù) 信息、運(yùn)行信息和統(tǒng)計(jì)信息進(jìn)行采集，由于hadoop對(duì)作業(yè)的管理方式?jīng)Q定了需要采取不同 方法監(jiān)控正在運(yùn)行的作業(yè)和已經(jīng)完成的作業(yè)。Hadoop中可以通過Restfu1API的形式獲取 正在運(yùn)行作業(yè)運(yùn)行信息，當(dāng)作業(yè)運(yùn)行完畢后，hadoop將已經(jīng)完成的作業(yè)的最終狀態(tài)信息和 統(tǒng)計(jì)信息存放在HDFS的目錄下，可以通過訪問HDFS的歷史作業(yè)信息文件獲取已經(jīng)完成的 作業(yè)的歷史信息。
[0019] ?實(shí)時(shí)作業(yè)監(jiān)控
[0020] 使用Yarn提供的Restful接口獲取正在運(yùn)行的作業(yè)運(yùn)行信息，可以獲取的運(yùn)行作 業(yè)監(jiān)控信息說明如下表所示：
[0021]
【主權(quán)項(xiàng)】
1. 一種大數(shù)據(jù)平臺(tái)的監(jiān)控系統(tǒng)，其特征在于：包括大數(shù)據(jù)平臺(tái)運(yùn)行信息統(tǒng)計(jì)子系統(tǒng)， 大數(shù)據(jù)平臺(tái)作業(yè)監(jiān)控子系統(tǒng)和大數(shù)據(jù)平臺(tái)作業(yè)統(tǒng)計(jì)分析子系統(tǒng)。
2. 根據(jù)權(quán)利要求1所述的大數(shù)據(jù)平臺(tái)監(jiān)控系統(tǒng)，其特征在于：運(yùn)行信息統(tǒng)計(jì)子系統(tǒng)，對(duì) 大數(shù)據(jù)平臺(tái)整體運(yùn)行情況進(jìn)行實(shí)時(shí)監(jiān)控，將大數(shù)據(jù)平臺(tái)中所有組件的監(jiān)控信息進(jìn)行集中展 不〇
3. 根據(jù)權(quán)利要求2所述的大數(shù)據(jù)平臺(tái)的監(jiān)控系統(tǒng)，其特征在于：大數(shù)據(jù)平臺(tái)作業(yè)監(jiān)控 子系統(tǒng)，實(shí)時(shí)獲取作業(yè)運(yùn)行信息，對(duì)作業(yè)從開始運(yùn)行到結(jié)束之間進(jìn)行不間斷監(jiān)控，從而將作 業(yè)運(yùn)行過程信息記錄下來。
4. 根據(jù)權(quán)利要求3所述的大數(shù)據(jù)平臺(tái)的監(jiān)控系統(tǒng)，其特征在于：周期性作業(yè)監(jiān)控，收集 每天平臺(tái)上完成的作業(yè)監(jiān)控?cái)?shù)據(jù)，對(duì)平臺(tái)上的作業(yè)進(jìn)行按天統(tǒng)計(jì)，并將周期性作業(yè)監(jiān)控?cái)?shù) 據(jù)進(jìn)行抽取和存儲(chǔ)。
5. 根據(jù)權(quán)利要求4所述的大數(shù)據(jù)平臺(tái)的監(jiān)控系統(tǒng)，其特征在于：對(duì)大數(shù)據(jù)平臺(tái)上的作 業(yè)運(yùn)行情況進(jìn)行統(tǒng)計(jì)和分析；分析作業(yè)運(yùn)行過程信息，獲取作業(yè)運(yùn)行過程中的資源使用統(tǒng) 計(jì)、數(shù)據(jù)周轉(zhuǎn)統(tǒng)計(jì)、執(zhí)行信息統(tǒng)計(jì)和趨勢(shì)；分析周期性作業(yè)信息，對(duì)同一作業(yè)在一定時(shí)間段 內(nèi)每次運(yùn)行情況進(jìn)行對(duì)比，發(fā)現(xiàn)此作業(yè)的運(yùn)行趨勢(shì)和異常。
6. 根據(jù)權(quán)利要求4所述的大數(shù)據(jù)平臺(tái)的監(jiān)控系統(tǒng)，其特征在于：對(duì)作業(yè)運(yùn)行過程中的 網(wǎng)絡(luò)流量、10讀寫、資源使用情況和運(yùn)行中的Map和Reduce運(yùn)行信息進(jìn)行分析，統(tǒng)計(jì)出作 業(yè)執(zhí)行過程中的計(jì)算偏重率、本地?cái)?shù)據(jù)操作優(yōu)化率和數(shù)據(jù)處理速率趨勢(shì)。
7. 根據(jù)權(quán)利要求4所述的大數(shù)據(jù)平臺(tái)的監(jiān)控系統(tǒng)，其特征在于：對(duì)同一作業(yè)在一段時(shí) 期內(nèi)每次運(yùn)行結(jié)束后的統(tǒng)計(jì)信息的分析，獲取該作業(yè)在此時(shí)間段內(nèi)的運(yùn)行趨勢(shì)，這些運(yùn)行 趨勢(shì)有：作業(yè)操作數(shù)據(jù)量變化、作業(yè)執(zhí)行時(shí)間信息的變化和作業(yè)資源使用量變化。
【專利摘要】本發(fā)明涉及一種大數(shù)據(jù)平臺(tái)的監(jiān)控系統(tǒng)，包括大數(shù)據(jù)平臺(tái)運(yùn)行信息統(tǒng)計(jì)模塊，大數(shù)據(jù)平臺(tái)作業(yè)監(jiān)控模塊和大數(shù)據(jù)平臺(tái)作業(yè)統(tǒng)計(jì)分析模塊。大數(shù)據(jù)平臺(tái)的監(jiān)控系統(tǒng)解決的問題如下：第一，大數(shù)據(jù)平臺(tái)使用Hadoop存儲(chǔ)管理數(shù)據(jù)。本系統(tǒng)實(shí)現(xiàn)對(duì)平臺(tái)中組件的監(jiān)控，并在界面上展示。第二，針對(duì)平臺(tái)上的作業(yè)，大數(shù)據(jù)平臺(tái)只存儲(chǔ)作業(yè)運(yùn)行最終狀態(tài)，對(duì)作業(yè)的中間狀態(tài)沒有記錄，不利于作業(yè)分析。本系統(tǒng)實(shí)現(xiàn)了作業(yè)中間過程監(jiān)控，并對(duì)作業(yè)的輸入輸出數(shù)據(jù)量和依賴信息進(jìn)行采集和存儲(chǔ)。第三，大數(shù)據(jù)平臺(tái)中缺乏對(duì)作業(yè)運(yùn)行狀態(tài)和趨勢(shì)的統(tǒng)計(jì)和分析，只能獲取作業(yè)當(dāng)前的運(yùn)行信息。本系統(tǒng)通過對(duì)作業(yè)運(yùn)行過程數(shù)據(jù)的統(tǒng)計(jì)和分析，實(shí)現(xiàn)了大數(shù)據(jù)平臺(tái)中作業(yè)的運(yùn)行趨勢(shì)的統(tǒng)計(jì)和分析。
【IPC分類】G06F11-30, G06F17-30
【公開號(hào)】CN104615526
【申請(qǐng)?zhí)枴緾N201410740935
【發(fā)明人】熊桂喜, 喬少卿, 姜驍, 趙明, 杜博文
【申請(qǐng)人】北京航空航天大學(xué)
【公開日】2015年5月13日
【申請(qǐng)日】2014年12月5日