一種基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法和裝置的制造方法
【專利摘要】本發(fā)明公開了一種基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法和系統(tǒng)，由于將監(jiān)控指標(biāo)分為三層體系分別進(jìn)行監(jiān)控，獲取所述監(jiān)控指標(biāo)的數(shù)據(jù)，并存入數(shù)據(jù)庫，從所述數(shù)據(jù)庫中獲取所述監(jiān)控指標(biāo)的數(shù)據(jù)，對所述監(jiān)控指標(biāo)的數(shù)據(jù)進(jìn)行分析和處理，生成報(bào)表并在前臺顯示，或者當(dāng)接收到用戶的獲取所述監(jiān)控指標(biāo)的數(shù)據(jù)的指令時(shí)，根據(jù)所述指令生成對應(yīng)鏈接，為用戶提供所述監(jiān)控指標(biāo)的數(shù)據(jù)，使開源監(jiān)控系統(tǒng)監(jiān)控指標(biāo)更全面，在一定程度上滿足大數(shù)據(jù)運(yùn)維以及其他復(fù)雜的監(jiān)控業(yè)務(wù)。同時(shí)，本發(fā)明的基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法和系統(tǒng)，支持用戶自定義接口，能對用戶編寫的程序進(jìn)行監(jiān)控，在獲取目標(biāo)監(jiān)控信息時(shí)，無需查找并調(diào)用對應(yīng)鏈接來獲取目標(biāo)監(jiān)控信息，給用戶帶來了很多方便。
【專利說明】
一種基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法和裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及大數(shù)據(jù)運(yùn)維監(jiān)控領(lǐng)域，特別是指一種基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法和裝置。
【背景技術(shù)】
[0002]在IT運(yùn)維監(jiān)控領(lǐng)域，一個有效的監(jiān)控系統(tǒng)能幫助運(yùn)維人員及時(shí)發(fā)現(xiàn)導(dǎo)致系統(tǒng)故障的隱患。監(jiān)控系統(tǒng)需要包括指標(biāo)數(shù)據(jù)的采集、展示，再到數(shù)據(jù)分析等，各個環(huán)節(jié)的設(shè)計(jì)要保障高效穩(wěn)定，這在大數(shù)據(jù)運(yùn)維系統(tǒng)中尤為重要?，F(xiàn)有開源監(jiān)控系統(tǒng)監(jiān)控指標(biāo)不全面，大多數(shù)只是監(jiān)控了服務(wù)器操作系統(tǒng)層面上的一些底層指標(biāo)，如基本的CPU，內(nèi)存利用率等，這種監(jiān)控指標(biāo)只能滿足一般的監(jiān)控需求，并不能完全滿足大數(shù)據(jù)運(yùn)維以及其他復(fù)雜的監(jiān)控業(yè)務(wù)。同時(shí)，現(xiàn)有技術(shù)中，大數(shù)據(jù)運(yùn)維的監(jiān)控系統(tǒng)不支持用戶自定義接口，不能對用戶編寫的程序進(jìn)行監(jiān)控，在獲取目標(biāo)監(jiān)控信息時(shí)，需要先查找并調(diào)用對應(yīng)鏈接來獲取目標(biāo)監(jiān)控信息，這給用戶帶來個很多不便。

【發(fā)明內(nèi)容】

[0003]有鑒于此，本發(fā)明的目的在于提出一種能完全滿足大數(shù)據(jù)運(yùn)維以及其他復(fù)雜的監(jiān)控業(yè)務(wù)的大數(shù)據(jù)運(yùn)維的監(jiān)控方法和裝置。
[0004]基于上述目的，本發(fā)明提出一種基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法，包括:
[0005]接收網(wǎng)絡(luò)中每個節(jié)點(diǎn)設(shè)備定時(shí)上報(bào)的監(jiān)控指標(biāo)數(shù)據(jù)，并存入數(shù)據(jù)庫，其中所述監(jiān)控指標(biāo)數(shù)據(jù)包括:最底層的通用指標(biāo)數(shù)據(jù)，以及中間層的特定服務(wù)器指標(biāo)數(shù)據(jù)和最外層的外部探測指標(biāo)數(shù)據(jù)；
[0006]定時(shí)從所述數(shù)據(jù)庫獲取更新的所述監(jiān)控指標(biāo)數(shù)據(jù)；
[0007]分析所述監(jiān)控指標(biāo)數(shù)據(jù)判斷是否存在異常，若有異常，則查找當(dāng)前異常監(jiān)控指標(biāo)數(shù)據(jù)對應(yīng)的節(jié)點(diǎn)設(shè)備，發(fā)送包含有該節(jié)點(diǎn)設(shè)備信息的報(bào)警消息。
[0008]進(jìn)一步的，所述中間層的特定服務(wù)器指標(biāo)包括大數(shù)據(jù)中分布式文件系統(tǒng)節(jié)點(diǎn)的狀況和運(yùn)行狀態(tài)以及集群的運(yùn)行狀態(tài);所述最外層的外部探測指標(biāo)包括用戶自定義的API接口，用戶通過所述API接口獲取系統(tǒng)中對應(yīng)的API服務(wù)是否正常。
[0009]進(jìn)一步的，還包括:
[0010]根據(jù)所述最底層的通用指標(biāo)，以及中間層的特定服務(wù)器指標(biāo)和最外層的外部探測指標(biāo)的數(shù)據(jù)生成報(bào)表；
[0011]將單一通用指標(biāo)數(shù)據(jù)生成報(bào)表并在前臺單獨(dú)顯示，或者，將多個通用指標(biāo)數(shù)據(jù)生成報(bào)表并在前臺同一報(bào)表中同時(shí)顯不。
[0012]進(jìn)一步的，所述接收網(wǎng)絡(luò)中每個節(jié)點(diǎn)設(shè)備定時(shí)上報(bào)的中間層的特定服務(wù)器指標(biāo)的過程包括:
[0013]在一段時(shí)間內(nèi)，多次運(yùn)行預(yù)先部署在每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備上的探測腳本，獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號，根據(jù)反饋信息判斷對應(yīng)的IP和端口號是否運(yùn)行正常，以及，訪問監(jiān)控信息界面，獲取每個節(jié)點(diǎn)的運(yùn)行狀態(tài)。
[0014]進(jìn)一步的，所述獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號和獲取每個節(jié)點(diǎn)的運(yùn)作狀態(tài)的過程包括:
[0015]獲取用戶向服務(wù)器發(fā)送監(jiān)控請求的操作，并根據(jù)所述請求為用戶分配一個鏈接，當(dāng)接收到用戶通過所述鏈接發(fā)送的請求時(shí)，對所述請求進(jìn)行解析和處理，將處理結(jié)果包裝成回應(yīng)，并將所述回應(yīng)反饋給用戶。
[0016]基于上述目的，本發(fā)明還提出一種基于大數(shù)據(jù)運(yùn)維的監(jiān)控裝置，包括:監(jiān)控指標(biāo)數(shù)據(jù)接收模塊、數(shù)據(jù)庫數(shù)據(jù)獲取模塊、數(shù)據(jù)庫數(shù)據(jù)處理模塊；
[0017]所述監(jiān)控指標(biāo)數(shù)據(jù)接收模塊，用于接收網(wǎng)絡(luò)中每個節(jié)點(diǎn)設(shè)備定時(shí)上報(bào)的監(jiān)控指標(biāo)數(shù)據(jù)，并存入數(shù)據(jù)庫；
[0018]所述數(shù)據(jù)庫數(shù)據(jù)獲取模塊，用于定時(shí)從所述數(shù)據(jù)庫中獲取更新的所述監(jiān)控指標(biāo)數(shù)據(jù)；
[0019]所述數(shù)據(jù)庫數(shù)據(jù)處理模塊，用于分析所述監(jiān)控指標(biāo)數(shù)據(jù)判斷是否存在異常，若有異常，則查找當(dāng)前異常監(jiān)控指標(biāo)數(shù)據(jù)對應(yīng)的節(jié)點(diǎn)設(shè)備，發(fā)送包含有該節(jié)點(diǎn)設(shè)備信息的報(bào)警消息。
[0020]進(jìn)一步的，所述中間層的特定服務(wù)器指標(biāo)包括大數(shù)據(jù)中分布式文件系統(tǒng)節(jié)點(diǎn)的狀況和運(yùn)行狀態(tài)以及集群的運(yùn)行狀態(tài);所述最外層的外部探測指標(biāo)包括用戶自定義的API接口，用戶通過所述API接口獲取系統(tǒng)中對應(yīng)的API服務(wù)是否正常。
[0021]進(jìn)一步的，所述數(shù)據(jù)庫數(shù)據(jù)處理模塊還用于，根據(jù)所述最底層的通用指標(biāo)，以及中間層的特定服務(wù)器指標(biāo)和最外層的外部探測指標(biāo)的數(shù)據(jù)生成報(bào)表；
[0022]將單一通用指標(biāo)數(shù)據(jù)生成報(bào)表并在前臺單獨(dú)顯示，或者，將多個通用指標(biāo)數(shù)據(jù)生成報(bào)表并在前臺同一報(bào)表中同時(shí)顯不。
[0023]進(jìn)一步的，所述接收網(wǎng)絡(luò)中每個節(jié)點(diǎn)設(shè)備定時(shí)上報(bào)的中間層的特定服務(wù)器指標(biāo)的過程包括:
[0024]在一段時(shí)間內(nèi)，多次運(yùn)行預(yù)先部署在每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備上的第二腳本，獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號，根據(jù)反饋信息判斷對應(yīng)的IP和端口號是否運(yùn)行正常，以及，訪問監(jiān)控信息界面，獲取每個節(jié)點(diǎn)的運(yùn)行狀態(tài)。
[0025]進(jìn)一步的，所述獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號和獲取每個節(jié)點(diǎn)的運(yùn)作狀態(tài)的過程包括:
[0026]獲取用戶向服務(wù)器發(fā)送監(jiān)控請求的操作，并根據(jù)所述請求為用戶分配一個鏈接，當(dāng)接收到用戶通過所述鏈接發(fā)送的請求時(shí)，對所述請求進(jìn)行解析和處理，將處理結(jié)果包裝成回應(yīng)，并將所述回應(yīng)反饋給用戶。
[0027]從上面所述可以看出，本發(fā)明提供的基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法和裝置，接收網(wǎng)絡(luò)中每個節(jié)點(diǎn)設(shè)備定時(shí)上報(bào)的監(jiān)控指標(biāo)數(shù)據(jù)，并存入數(shù)據(jù)庫，其中所述監(jiān)控指標(biāo)數(shù)據(jù)包括:最底層的通用指標(biāo)數(shù)據(jù)，以及中間層的特定服務(wù)器指標(biāo)數(shù)據(jù)和最外層的外部探測指標(biāo)數(shù)據(jù);定時(shí)從所述數(shù)據(jù)庫獲取更新的所述監(jiān)控指標(biāo)數(shù)據(jù);分析所述監(jiān)控指標(biāo)數(shù)據(jù)判斷是否存在異常，若有異常，則查找當(dāng)前異常監(jiān)控指標(biāo)數(shù)據(jù)對應(yīng)的節(jié)點(diǎn)設(shè)備，發(fā)送包含有該節(jié)點(diǎn)設(shè)備信息的報(bào)警消息。使開源監(jiān)控系統(tǒng)監(jiān)控指標(biāo)更全面，在一定程度上滿足大數(shù)據(jù)運(yùn)維以及其他復(fù)雜的監(jiān)控業(yè)務(wù)。同時(shí)，本發(fā)明的基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法和系統(tǒng)，支持用戶自定義接口，能對用戶編寫的程序進(jìn)行監(jiān)控，在獲取目標(biāo)監(jiān)控信息時(shí)，無需查找并調(diào)用對應(yīng)鏈接來獲取目標(biāo)監(jiān)控信息，給用戶帶來了很多方便。
【附圖說明】
[0028]圖1為本發(fā)明基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法的一個實(shí)施例示意圖；
[0029]圖2為本發(fā)明基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法的一個優(yōu)選實(shí)施例示意圖；
[0030]圖3為本發(fā)明基于大數(shù)據(jù)運(yùn)維的監(jiān)控裝置的實(shí)施例示意圖。
【具體實(shí)施方式】
[0031]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。
[0032]如圖1所示，為本發(fā)明基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法的一個實(shí)施例示意圖。在本實(shí)施例中，所示基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法包括以下步驟:
[0033]步驟101:將監(jiān)控指標(biāo)分為三層體系，接收網(wǎng)絡(luò)中每個節(jié)點(diǎn)設(shè)備定時(shí)上報(bào)的監(jiān)控指標(biāo)數(shù)據(jù)，并存入數(shù)據(jù)庫。
[0034]其中所述監(jiān)控指標(biāo)數(shù)據(jù)包括:最底層的通用指標(biāo)數(shù)據(jù)，以及中間層的特定服務(wù)器指標(biāo)數(shù)據(jù)和最外層的外部探測指標(biāo)數(shù)據(jù)。
[0035]步驟102:定時(shí)從所述數(shù)據(jù)庫獲取更新的所述監(jiān)控指標(biāo)數(shù)據(jù)。運(yùn)行數(shù)據(jù)獲取程序，從數(shù)據(jù)庫中獲取監(jiān)控指標(biāo)的數(shù)據(jù)。
[0036]步驟103:對監(jiān)控指標(biāo)的數(shù)據(jù)進(jìn)行分析和處理，并生成報(bào)表。
[0037]所述報(bào)表可以包括單一機(jī)器的各個監(jiān)控指標(biāo)的數(shù)據(jù)和節(jié)點(diǎn)的運(yùn)行狀態(tài)，或者，所述報(bào)表可以包括多個機(jī)器的一個或多個相同監(jiān)控指標(biāo)的數(shù)據(jù)，通過形成對比使可能出現(xiàn)故障或者已經(jīng)出現(xiàn)故障的機(jī)器更容易被發(fā)現(xiàn)。在顯示上述報(bào)表的過程中，可以在不同頁面顯示不同監(jiān)控指標(biāo)數(shù)據(jù)，或者在同一頁面顯示同一機(jī)器的不同監(jiān)控指標(biāo)數(shù)據(jù)。
[0038]步驟104:判斷監(jiān)控指標(biāo)數(shù)據(jù)是否異常。根據(jù)對監(jiān)控指標(biāo)的數(shù)據(jù)進(jìn)行分析和處理，判斷監(jiān)控指標(biāo)數(shù)據(jù)是否異常，若存在異常，則進(jìn)入步驟105。
[0039]步驟105:查找節(jié)點(diǎn)設(shè)備并報(bào)警。根據(jù)所述存在異常的監(jiān)控指標(biāo)數(shù)據(jù)查找存在異常的節(jié)點(diǎn)設(shè)備，并發(fā)出報(bào)警，通知用戶。
[0040]在本實(shí)施例中，所述并獲取三層體系中的監(jiān)控指標(biāo)的數(shù)據(jù)的頻率為每分鐘運(yùn)行一次探測腳本，獲取監(jiān)控指標(biāo)的數(shù)據(jù)，并將獲取到的監(jiān)控指標(biāo)的數(shù)據(jù)通過調(diào)用REST API接口存入數(shù)據(jù)庫，并從所述數(shù)據(jù)庫中獲取通過REST API接口存入數(shù)據(jù)庫的監(jiān)控指標(biāo)的數(shù)據(jù)，對所述監(jiān)控指標(biāo)的數(shù)據(jù)進(jìn)行分析和處理，生成報(bào)表并在前臺顯示，或者當(dāng)接收到用戶的獲取所述監(jiān)控指標(biāo)的數(shù)據(jù)的指令時(shí)，根據(jù)所述指令生成對應(yīng)鏈接，為用戶提供所述監(jiān)控指標(biāo)的數(shù)據(jù)。
[0041]作為本發(fā)明的一個實(shí)施例，對所述最底層的通用指標(biāo)的監(jiān)控過程為:
[0042]預(yù)先在系統(tǒng)的每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備上部署第一探測腳本，所述第一探測腳本只用于獲取通用指標(biāo)數(shù)據(jù)，并通過調(diào)用REST API的方式將通用指標(biāo)數(shù)據(jù)存入MongoDB數(shù)據(jù)庫，并將所述通用指標(biāo)數(shù)據(jù)生成報(bào)表，在前臺顯示。
[0043]作為本發(fā)明的一個實(shí)施例，將大數(shù)據(jù)集群中的機(jī)器進(jìn)行分組，按組別對每組中的機(jī)器進(jìn)行探測，并對每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的監(jiān)控指標(biāo)的數(shù)據(jù)進(jìn)行分組顯示。
[0044]作為本發(fā)明的另一個實(shí)施例，所述將通用指標(biāo)數(shù)據(jù)生成報(bào)表在前臺顯示的過程包括:將單一通用指標(biāo)數(shù)據(jù)生成報(bào)表并單獨(dú)顯示，或者，將多個通用指標(biāo)數(shù)據(jù)生成報(bào)表并在同一報(bào)表中同時(shí)顯示。例如，在同一顯示頁面中，只顯示每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的內(nèi)存占有量，若有分組顯示的需求，則只顯示同組機(jī)器的內(nèi)存占有量，或者，在同一顯示頁面中，只顯示單一機(jī)器的各個通用指標(biāo)，或者，在同一顯示頁面中，顯示每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的相近指標(biāo)，如顯示(PU的運(yùn)行狀態(tài)和機(jī)器的溫度。
[0045]作為本發(fā)明的又一實(shí)施例，對所述中間層的特定服務(wù)器指標(biāo)的監(jiān)控過程包括:在一段時(shí)間內(nèi)，多次運(yùn)行預(yù)先部署在每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備上的第二腳本，獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號，根據(jù)反饋信息判斷對應(yīng)的IP和端口號是否運(yùn)行正常，以及，訪問監(jiān)控信息界面，獲取每個節(jié)點(diǎn)的運(yùn)行狀態(tài)。所述獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號和獲取每個節(jié)點(diǎn)的運(yùn)作狀態(tài)的過程包括:獲取用戶向服務(wù)器發(fā)送監(jiān)控請求的操作，并根據(jù)所述請求為用戶分配一個鏈接，當(dāng)接收到用戶通過所述鏈接發(fā)送的請求時(shí)，對所述請求進(jìn)行解析和處理，將處理結(jié)果包裝成回應(yīng)，并將所述回應(yīng)反饋給用戶。
[0046]作為本發(fā)明的有一個實(shí)施例，當(dāng)所述最底層的通用指標(biāo)和/或中間層的特定服務(wù)器指標(biāo)和/或最外層的外部探測指標(biāo)發(fā)生故障時(shí)，所述監(jiān)控系統(tǒng)會發(fā)出報(bào)警。
[0047]如圖2所示，為圖2為本發(fā)明基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法的一個優(yōu)選實(shí)施例示意圖。在本實(shí)施例中，包括如下步驟:
[0048]步驟201:運(yùn)行預(yù)先設(shè)置在每個節(jié)點(diǎn)設(shè)備中的探測腳本，獲取最底層的通用指標(biāo)數(shù)據(jù)，所述最底層的通用指標(biāo)包括CPU、內(nèi)存、網(wǎng)卡流量、磁盤以及TCP連接數(shù)。
[0049]所述探測腳本只用于獲取最底層的通用指標(biāo)，并且所述探測腳本的運(yùn)行頻率通常為每分鐘一次，具體可根據(jù)實(shí)際需要進(jìn)行調(diào)整。
[0050]步驟202:通過調(diào)用RESTAPI接口將獲取到的最底層的通用指標(biāo)的數(shù)據(jù)存入數(shù)據(jù)庫。
[0051]步驟203:運(yùn)行預(yù)先設(shè)置在每個節(jié)點(diǎn)設(shè)備中探測腳本獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號，并判斷是否運(yùn)行正常。
[0052]所述探測腳本作為中間層特定服務(wù)器指標(biāo)的探測腳本，只用于獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號。具體過程為:探測腳本對監(jiān)控中間層特定服務(wù)器指標(biāo)的相關(guān)鏈接發(fā)出HTTP協(xié)議的請求，接收返回的參數(shù)值，并將所述返回的參數(shù)值通過鏈接存入數(shù)據(jù)庫。
[0053 ]步驟204:訪問監(jiān)控界面，獲取每個節(jié)點(diǎn)的運(yùn)行狀態(tài)，并存入數(shù)據(jù)庫。
[0054]同時(shí)中間層特定服務(wù)器指標(biāo)的探測腳本會每隔一段時(shí)間，訪問監(jiān)控界面，所述監(jiān)控界面中顯示有大數(shù)據(jù)集群中每個節(jié)點(diǎn)的運(yùn)行狀態(tài)，所述監(jiān)控界面中的節(jié)點(diǎn)的運(yùn)行狀態(tài)由探測腳本獲取每個節(jié)點(diǎn)的運(yùn)行參數(shù)并通過鏈接存入數(shù)據(jù)庫，再由其他腳本從數(shù)據(jù)庫中獲取所述每個節(jié)點(diǎn)的運(yùn)行參數(shù)，進(jìn)一步分析處理得到的。具體過程為:
[0055]客戶端向所述節(jié)點(diǎn)的服務(wù)器發(fā)出請求信號，所述節(jié)點(diǎn)服務(wù)器接收所述請求信號后，對所述請求信號進(jìn)行分析和處理，并向所述客戶端發(fā)送應(yīng)答信號，所述客戶端接收到所述應(yīng)答信號后，根據(jù)所述應(yīng)答信號內(nèi)容判斷所述節(jié)點(diǎn)是否運(yùn)行正常；
[0056]對所述集群的監(jiān)控過程包括:接收客戶端發(fā)送的信息獲取請求，集群服務(wù)器從所述集群的信息顯示界面捕獲所述集群的參數(shù)信息，并將所述參數(shù)信息包裝成參數(shù)鏈接反饋給客戶端，客戶端對所述參數(shù)鏈接進(jìn)行分析并判斷所述集群是否運(yùn)行正常。
[0057]步驟205:獲取用戶自定義程序的API接口的反應(yīng)時(shí)間，通過反應(yīng)時(shí)間判斷用戶自定義程序的API接口是否正常。
[0058]本實(shí)施例的大數(shù)據(jù)運(yùn)維的監(jiān)控方法支持用戶自定義鏈接，用戶通過所述連接能夠獲取監(jiān)控目標(biāo)的數(shù)據(jù)，同時(shí)，本實(shí)施例的大數(shù)據(jù)運(yùn)維的監(jiān)控方法能夠?qū)τ脩糇远x的監(jiān)控指標(biāo)進(jìn)行監(jiān)控。
[0059]步驟206:根據(jù)用戶指令通過HTTP協(xié)議為用戶提供監(jiān)控目標(biāo)的鏈接。
[0060]當(dāng)用戶需要獲取自定義監(jiān)控目標(biāo)的數(shù)據(jù)，并對服務(wù)器發(fā)送獲取指令，當(dāng)接收到用戶的指令時(shí)，向服務(wù)器發(fā)送HTTP請求，服務(wù)器對該請求進(jìn)行解析，返回用戶需要獲取自定義監(jiān)控目標(biāo)的數(shù)據(jù)的鏈接，用戶點(diǎn)擊該鏈接時(shí)，生成顯示有監(jiān)控目標(biāo)的數(shù)據(jù)頁面，用戶通過該頁面可直觀的獲取監(jiān)控目標(biāo)的運(yùn)行狀態(tài)。
[0061 ]步驟207:從數(shù)據(jù)庫中獲取監(jiān)控目標(biāo)數(shù)據(jù)。
[0062]步驟208:對監(jiān)控目標(biāo)數(shù)據(jù)進(jìn)行分析處理并生成報(bào)表。
[0063]步驟209:對根據(jù)監(jiān)控目標(biāo)數(shù)據(jù)生成的報(bào)表進(jìn)行顯示。
[0064]在顯示頁面中，可以將單一通用指標(biāo)數(shù)據(jù)生成報(bào)表并單獨(dú)顯示，或者，將多個通用指標(biāo)數(shù)據(jù)生成報(bào)表并在同一報(bào)表中同時(shí)顯示。例如，在同一顯示頁面中，只顯示每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的內(nèi)存占有量，若有分組顯示的需求，則只顯示同組機(jī)器的內(nèi)存占有量，或者，在同一顯示頁面中，只顯示單一機(jī)器的各個通用指標(biāo)，或者，在同一顯示頁面中，顯示每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的相近指標(biāo)，如顯示CPU的運(yùn)行狀態(tài)和機(jī)器的溫度。
[0065]步驟210:將報(bào)表中監(jiān)控目標(biāo)數(shù)據(jù)與標(biāo)注閾值對比。
[0066]步驟211:判斷報(bào)表中監(jiān)控目標(biāo)數(shù)據(jù)是否超出閾值。若超出閾值，則報(bào)警;若沒有超出閾值，則返回步驟207，并重復(fù)步驟207之后的操作。
[0067]如圖3所示，為本發(fā)明基于大數(shù)據(jù)運(yùn)維的監(jiān)控裝置的實(shí)施例示意圖。在本實(shí)施例的監(jiān)控裝置中，包括:監(jiān)控指標(biāo)數(shù)據(jù)接收模塊301、數(shù)據(jù)庫數(shù)據(jù)獲取模塊302和數(shù)據(jù)庫數(shù)據(jù)處理模塊303。
[0068]所述監(jiān)控指標(biāo)數(shù)據(jù)接收模塊301用于網(wǎng)絡(luò)中接收每個節(jié)點(diǎn)設(shè)備定時(shí)上報(bào)的監(jiān)控指標(biāo)數(shù)據(jù)，并存入數(shù)據(jù)庫，其中所述監(jiān)控指標(biāo)數(shù)據(jù)包括:CPU、內(nèi)存、網(wǎng)卡流量、磁盤以及TCP連接數(shù)在內(nèi)的最底層的通用指標(biāo)，大數(shù)據(jù)中分布式文件系統(tǒng)節(jié)點(diǎn)和集群的運(yùn)行狀態(tài)在內(nèi)的中間層特定服務(wù)器指標(biāo)，以及用戶自定義的API接口。
[0069]對所述最底層的通用指標(biāo)的監(jiān)控過程包括:在系統(tǒng)的每個節(jié)點(diǎn)上部署探測腳本，獲取所述監(jiān)控指標(biāo)數(shù)據(jù)，通過調(diào)用REST API的方式將通用指標(biāo)數(shù)據(jù)存入MongoDB數(shù)據(jù)庫，并將所述通用指標(biāo)數(shù)據(jù)生成報(bào)表，在前臺顯示。所述將通用指標(biāo)數(shù)據(jù)生成報(bào)表在前臺顯示的過程包括:將單一通用指標(biāo)數(shù)據(jù)生成報(bào)表并單獨(dú)顯示，或者，將多個通用指標(biāo)數(shù)據(jù)生成報(bào)表并在同一報(bào)表中同時(shí)顯示。
[0070]對所述中間層的特定服務(wù)器指標(biāo)的監(jiān)控過程包括:在一段時(shí)間內(nèi)，多次運(yùn)行預(yù)先部署在每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備上的探測腳本，獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號，根據(jù)反饋信息判斷對應(yīng)的IP和端口號是否運(yùn)行正常，以及，訪問監(jiān)控信息界面，獲取每個節(jié)點(diǎn)的運(yùn)行狀態(tài)。所述獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號和獲取每個節(jié)點(diǎn)的運(yùn)行狀態(tài)的過程包括:獲取用戶向服務(wù)器發(fā)送監(jiān)控請求的操作，并根據(jù)所述請求為用戶分配一個鏈接，當(dāng)接收到用戶通過所述鏈接發(fā)送的請求時(shí)，對所述請求進(jìn)行解析和處理，將處理結(jié)果包裝成回應(yīng)，并將所述回應(yīng)反饋給用戶。
[0071]具體過程包括:
[0072]對所述節(jié)點(diǎn)的監(jiān)控過程為:
[0073]客戶端向所述節(jié)點(diǎn)的服務(wù)器發(fā)出請求信號，所述節(jié)點(diǎn)服務(wù)器接收所述請求信號后，對所述請求信號進(jìn)行分析和處理，并向所述客戶端發(fā)送應(yīng)答信號，所述客戶端接收到所述應(yīng)答信號后，根據(jù)所述應(yīng)答信號內(nèi)容判斷所述節(jié)點(diǎn)是否運(yùn)行正常；
[0074]對所述集群的監(jiān)控過程為:接收客戶端發(fā)送的信息獲取請求，集群服務(wù)器從所述集群的信息顯示界面捕獲所述集群的參數(shù)信息，并將所述參數(shù)信息包裝成參數(shù)鏈接反饋給客戶端，客戶端對所述參數(shù)鏈接進(jìn)行分析并判斷所述集群是否運(yùn)行正常。
[0075]對用戶自定義的API接口監(jiān)控的過程為:向用戶自定義的API接口發(fā)送信號，并接收所述用戶自定義的API接口返回的信號，多次重復(fù)上述過程，判斷用戶自定義的API接口的反應(yīng)時(shí)常是否正常。所述用戶自定義的API接口可以跳轉(zhuǎn)到監(jiān)控頁面的鏈接，所述鏈接為用戶根據(jù)監(jiān)控需要創(chuàng)建的鏈接。
[0076]所述數(shù)據(jù)庫數(shù)據(jù)獲取模塊302用于定時(shí)從所述數(shù)據(jù)庫中獲取更新的所述監(jiān)控指標(biāo)數(shù)據(jù)。系統(tǒng)默認(rèn)每10秒從所述數(shù)據(jù)庫中獲取更新的所述監(jiān)控指標(biāo)數(shù)據(jù)，用戶也可以根據(jù)實(shí)際需要自己設(shè)定從所述數(shù)據(jù)庫中獲取更新的所述監(jiān)控指標(biāo)數(shù)據(jù)的時(shí)間間隔。
[0077]所述數(shù)據(jù)庫數(shù)據(jù)處理模塊303，用于分析所述監(jiān)控指標(biāo)數(shù)據(jù)判斷是否存在異常，若有異常，則查找當(dāng)前異常監(jiān)控指標(biāo)數(shù)據(jù)對應(yīng)的節(jié)點(diǎn)設(shè)備，發(fā)送包含有該節(jié)點(diǎn)設(shè)備信息的報(bào)警消息。
[0078]具體為:對所述從所述數(shù)據(jù)庫中獲取的更新監(jiān)控指標(biāo)數(shù)據(jù)進(jìn)行分析和處理，并生成報(bào)表;所述報(bào)表中可以包括單一監(jiān)控指標(biāo)數(shù)據(jù)，也可以包括單一節(jié)點(diǎn)的各個監(jiān)控指標(biāo)數(shù)據(jù)。所述報(bào)表可以為陳列式報(bào)表，將監(jiān)控指標(biāo)和響應(yīng)的數(shù)據(jù)陳列出來，或者，所述報(bào)表可以為圖表式，用于將單一監(jiān)控指標(biāo)數(shù)據(jù)顯示，方便用戶及時(shí)發(fā)現(xiàn)監(jiān)控指標(biāo)運(yùn)行異常。
[0079]作為本發(fā)明基于大數(shù)據(jù)運(yùn)維的監(jiān)控裝置的一個實(shí)施例，所述獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號和獲取每個節(jié)點(diǎn)的運(yùn)作狀態(tài)的過程包括:
[0080]獲取用戶向服務(wù)器發(fā)送監(jiān)控請求的操作，并根據(jù)所述請求為用戶分配一個鏈接，當(dāng)接收到用戶通過所述鏈接發(fā)送的請求時(shí)，對所述請求進(jìn)行解析和處理，將處理結(jié)果包裝成回應(yīng)，并將所述回應(yīng)反饋給用戶，對所述節(jié)點(diǎn)的監(jiān)控過程包括:客戶端向所述節(jié)點(diǎn)的服務(wù)器發(fā)出請求信號，所述節(jié)點(diǎn)服務(wù)器接收所述請求信號后，對所述請求信號進(jìn)行分析和處理，并向所述客戶端發(fā)送應(yīng)答信號，所述客戶端接收到所述應(yīng)答信號后，根據(jù)所述應(yīng)答信號內(nèi)容判斷所述節(jié)點(diǎn)是否運(yùn)行正常。
[0081]作為本發(fā)明基于大數(shù)據(jù)運(yùn)維的監(jiān)控裝置的另一個實(shí)施例，所述外部探測指標(biāo)監(jiān)控模塊支持用戶自定義API接口，所述用戶定義的API接口可以跳轉(zhuǎn)到監(jiān)控頁面的鏈接，所述鏈接為用戶根據(jù)監(jiān)控需要創(chuàng)建的鏈接，或者，所述用戶自定義的API接口為用戶自定義程序的接口，通過該接口可以獲取所述用戶自定義程序的運(yùn)行數(shù)據(jù)。
[0082]需要說明的是，本發(fā)明實(shí)施例中所有使用“第一”和“第二”的表述均是為了區(qū)分兩個相同名稱非相同的實(shí)體或者非相同的參量，可見“第一” “第二”僅為了表述的方便，不應(yīng)理解為對本發(fā)明實(shí)施例的限定，后續(xù)實(shí)施例對此不再一一說明。
[0083]所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:以上任何實(shí)施例的討論僅為示例性的，并非旨在暗示本公開的范圍(包括權(quán)利要求)被限于這些例子;在本發(fā)明的思路下，以上實(shí)施例或者不同實(shí)施例中的技術(shù)特征之間也可以進(jìn)行組合，步驟可以以任意順序?qū)崿F(xiàn)，并存在如上所述的本發(fā)明的不同方面的許多其它變化，為了簡明它們沒有在細(xì)節(jié)中提供。
[0084]另外，為簡化說明和討論，并且為了不會使本發(fā)明難以理解，在所提供的附圖中可以示出或可以不示出與集成電路(IC)芯片和其它部件的公知的電源/接地連接。此外，可以以框圖的形式示出裝置，以便避免使本發(fā)明難以理解，并且這也考慮了以下事實(shí)，即關(guān)于這些框圖裝置的實(shí)施方式的細(xì)節(jié)是高度取決于將要實(shí)施本發(fā)明的平臺的(即，這些細(xì)節(jié)應(yīng)當(dāng)完全處于本領(lǐng)域技術(shù)人員的理解范圍內(nèi))。在闡述了具體細(xì)節(jié)(例如，電路)以描述本發(fā)明的示例性實(shí)施例的情況下，對本領(lǐng)域技術(shù)人員來說顯而易見的是，可以在沒有這些具體細(xì)節(jié)的情況下或者這些具體細(xì)節(jié)有變化的情況下實(shí)施本發(fā)明。因此，這些描述應(yīng)被認(rèn)為是說明性的而不是限制性的。
[0085]盡管已經(jīng)結(jié)合了本發(fā)明的具體實(shí)施例對本發(fā)明進(jìn)行了描述，但是根據(jù)前面的描述，這些實(shí)施例的很多替換、修改和變型對本領(lǐng)域普通技術(shù)人員來說將是顯而易見的。例如，其它存儲器架構(gòu)(例如，動態(tài)RAM(DRAM))可以使用所討論的實(shí)施例。
[0086]本發(fā)明的實(shí)施例旨在涵蓋落入所附權(quán)利要求的寬泛范圍之內(nèi)的所有這樣的替換、修改和變型。因此，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何省略、修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法，其特征在于，包括: 接收網(wǎng)絡(luò)中每個節(jié)點(diǎn)設(shè)備定時(shí)上報(bào)的監(jiān)控指標(biāo)數(shù)據(jù)，并存入數(shù)據(jù)庫，其中所述監(jiān)控指標(biāo)數(shù)據(jù)包括:最底層的通用指標(biāo)數(shù)據(jù)，以及中間層的特定服務(wù)器指標(biāo)數(shù)據(jù)和最外層的外部探測指標(biāo)數(shù)據(jù)； 定時(shí)從所述數(shù)據(jù)庫獲取更新的所述監(jiān)控指標(biāo)數(shù)據(jù)； 分析所述監(jiān)控指標(biāo)數(shù)據(jù)判斷是否存在異常，若有異常，則查找當(dāng)前異常監(jiān)控指標(biāo)數(shù)據(jù)對應(yīng)的節(jié)點(diǎn)設(shè)備，發(fā)送包含有該節(jié)點(diǎn)設(shè)備信息的報(bào)警消息。2.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法，其特征在于， 所述中間層的特定服務(wù)器指標(biāo)包括大數(shù)據(jù)中分布式文件系統(tǒng)節(jié)點(diǎn)的狀況和運(yùn)行狀態(tài)以及集群的運(yùn)行狀態(tài);所述最外層的外部探測指標(biāo)包括用戶自定義的API接口，用戶通過所述API接口獲取系統(tǒng)中對應(yīng)的API服務(wù)是否正常。3.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法，其特征在于，還包括: 根據(jù)所述最底層的通用指標(biāo)，以及中間層的特定服務(wù)器指標(biāo)和最外層的外部探測指標(biāo)的數(shù)據(jù)生成報(bào)表； 將單一通用指標(biāo)數(shù)據(jù)生成報(bào)表并在前臺單獨(dú)顯示，或者，將多個通用指標(biāo)數(shù)據(jù)生成報(bào)表并在前臺同一報(bào)表中同時(shí)顯不。4.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法，其特征在于，接收網(wǎng)絡(luò)中每個節(jié)點(diǎn)設(shè)備定時(shí)上報(bào)的中間層的特定服務(wù)器指標(biāo)的過程包括: 在一段時(shí)間內(nèi)，多次運(yùn)行預(yù)先部署在每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備上的探測腳本，獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號，根據(jù)反饋信息判斷對應(yīng)的IP和端口號是否運(yùn)行正常，以及，訪問監(jiān)控信息界面，獲取每個節(jié)點(diǎn)的運(yùn)行狀態(tài)。5.根據(jù)權(quán)利要求4所述的基于大數(shù)據(jù)運(yùn)維的監(jiān)控方法，其特征在于，所述獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號和獲取每個節(jié)點(diǎn)的運(yùn)作狀態(tài)的過程包括: 獲取用戶向服務(wù)器發(fā)送監(jiān)控請求的操作，并根據(jù)所述請求為用戶分配一個鏈接，當(dāng)接收到用戶通過所述鏈接發(fā)送的請求時(shí)，對所述請求進(jìn)行解析和處理，將處理結(jié)果包裝成回應(yīng)，并將所述回應(yīng)反饋給用戶。6.一種基于大數(shù)據(jù)運(yùn)維的監(jiān)控裝置，其特征在于，包括:監(jiān)控指標(biāo)數(shù)據(jù)接收模塊、數(shù)據(jù)庫數(shù)據(jù)獲取模塊、數(shù)據(jù)庫數(shù)據(jù)處理模塊； 所述監(jiān)控指標(biāo)數(shù)據(jù)接收模塊，用于接收網(wǎng)絡(luò)中每個節(jié)點(diǎn)設(shè)備定時(shí)上報(bào)的監(jiān)控指標(biāo)數(shù)據(jù)，并存入數(shù)據(jù)庫； 所述數(shù)據(jù)庫數(shù)據(jù)獲取模塊，用于定時(shí)從所述數(shù)據(jù)庫中獲取更新的所述監(jiān)控指標(biāo)數(shù)據(jù)； 所述數(shù)據(jù)庫數(shù)據(jù)處理模塊，用于分析所述監(jiān)控指標(biāo)數(shù)據(jù)判斷是否存在異常，若有異常，則查找當(dāng)前異常監(jiān)控指標(biāo)數(shù)據(jù)對應(yīng)的節(jié)點(diǎn)設(shè)備，發(fā)送包含有該節(jié)點(diǎn)設(shè)備信息的報(bào)警消息。7.根據(jù)權(quán)利要求6所述的基于大數(shù)據(jù)運(yùn)維的監(jiān)控裝置，其特征在于， 所述中間層的特定服務(wù)器指標(biāo)包括大數(shù)據(jù)中分布式文件系統(tǒng)節(jié)點(diǎn)的狀況和運(yùn)行狀態(tài)以及集群的運(yùn)行狀態(tài);所述最外層的外部探測指標(biāo)包括用戶自定義的API接口，用戶通過所述API接口獲取系統(tǒng)中對應(yīng)的API服務(wù)是否正常。8.根據(jù)權(quán)利要求6所述的基于大數(shù)據(jù)運(yùn)維的監(jiān)控裝置，其特征在于，所述數(shù)據(jù)庫數(shù)據(jù)處理模塊還用于，根據(jù)所述最底層的通用指標(biāo)，以及中間層的特定服務(wù)器指標(biāo)和最外層的外部探測指標(biāo)的數(shù)據(jù)生成報(bào)表； 將單一通用指標(biāo)數(shù)據(jù)生成報(bào)表并在前臺單獨(dú)顯示，或者，將多個通用指標(biāo)數(shù)據(jù)生成報(bào)表并在前臺同一報(bào)表中同時(shí)顯不。9.根據(jù)權(quán)利要求6所述的基于大數(shù)據(jù)運(yùn)維的監(jiān)控裝置，其特征在于，所述所述監(jiān)控指標(biāo)數(shù)據(jù)接收模塊，具體用于: 在一段時(shí)間內(nèi)，多次運(yùn)行預(yù)先部署在每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備上的第二腳本，獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號，根據(jù)反饋信息判斷對應(yīng)的IP和端口號是否運(yùn)行正常，以及，訪問監(jiān)控信息界面，獲取每個節(jié)點(diǎn)的運(yùn)行狀態(tài)。10.根據(jù)權(quán)利要求109所述的基于大數(shù)據(jù)運(yùn)維的監(jiān)控裝置，其特征在于，所述獲取每臺作為節(jié)點(diǎn)的服務(wù)器或其他設(shè)備的IP和端口號和獲取每個節(jié)點(diǎn)的運(yùn)作狀態(tài)的過程包括: 獲取用戶向服務(wù)器發(fā)送監(jiān)控請求的操作，并根據(jù)所述請求為用戶分配一個鏈接，當(dāng)接收到用戶通過所述鏈接發(fā)送的請求時(shí)，對所述請求進(jìn)行解析和處理，將處理結(jié)果包裝成回應(yīng)，并將所述回應(yīng)反饋給用戶。
【文檔編號】H04L12/24GK105959130SQ201610229073
【公開日】2016年9月21日
【申請日】2016年4月13日
【發(fā)明人】陳抒, 檀會娟
【申請人】樂視控股（北京）有限公司, 樂視網(wǎng)信息技術(shù)（北京）股份有限公司