一種基于元數(shù)據(jù)的數(shù)據(jù)采集方法
【專利摘要】本發(fā)明涉及一種基于元數(shù)據(jù)的數(shù)據(jù)采集方法，該方法包括下述步驟：（1）分離數(shù)據(jù)采集流程和數(shù)據(jù)；（2）建立標(biāo)準(zhǔn)流程；（3）建立元數(shù)據(jù)模型；（4）實(shí)施數(shù)據(jù)采集。該方法通過(guò)對(duì)多種不同的具體采集方法進(jìn)行分析，將數(shù)據(jù)采集的主體流程定義為標(biāo)準(zhǔn)流程，標(biāo)準(zhǔn)流程外的數(shù)據(jù)和特殊方法抽象為標(biāo)準(zhǔn)流程所需的元數(shù)據(jù)，建立元數(shù)據(jù)模型，標(biāo)準(zhǔn)流程配合不同的元數(shù)據(jù)實(shí)現(xiàn)對(duì)不同采集對(duì)象的數(shù)據(jù)采集。
【專利說(shuō)明】一種基于元數(shù)據(jù)的數(shù)據(jù)采集方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)采集方法，具體涉及一種基于元數(shù)據(jù)的數(shù)據(jù)采集方法。
【背景技術(shù)】
[0002]在監(jiān)控系統(tǒng)領(lǐng)域，大型的監(jiān)控系統(tǒng)需要監(jiān)控多種不同類型的硬件設(shè)備、軟件運(yùn)行情況等，數(shù)據(jù)采集在監(jiān)控系統(tǒng)中是必備的基礎(chǔ)工作，不同類型的監(jiān)控對(duì)象往往會(huì)提供不同的數(shù)據(jù)接口和通信協(xié)議，如通用的SNMP協(xié)議和各種廠商私有的自定義協(xié)議，監(jiān)控系統(tǒng)中要對(duì)不同采集方法的監(jiān)控對(duì)象分別設(shè)計(jì)采集方法，系統(tǒng)擴(kuò)展成本較高。
[0003]現(xiàn)有技術(shù)往往對(duì)不同的監(jiān)控對(duì)象各自設(shè)計(jì)采集方法，復(fù)用性差、整體性能不易統(tǒng)一優(yōu)化，后期擴(kuò)展性差、升級(jí)成本高。
[0004]實(shí)際應(yīng)用中，早期的監(jiān)控對(duì)象類型往往比較少，針對(duì)少量的監(jiān)控對(duì)象分別設(shè)計(jì)采集方法即可，此時(shí)實(shí)現(xiàn)的監(jiān)控系統(tǒng)架構(gòu)往往擴(kuò)展性不好，到后期監(jiān)控對(duì)象類型不斷增加時(shí)，要修改系統(tǒng)架構(gòu)已經(jīng)很不容易。

【發(fā)明內(nèi)容】

[0005]針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于元數(shù)據(jù)的數(shù)據(jù)采集方法，該方法通過(guò)對(duì)多種不同的具體采集方法進(jìn)行分析，將數(shù)據(jù)采集的主體流程定義為標(biāo)準(zhǔn)流程，標(biāo)準(zhǔn)流程外的數(shù)據(jù)和特殊方法抽象為標(biāo)準(zhǔn)流程所需的元數(shù)據(jù)，建立元數(shù)據(jù)模型，標(biāo)準(zhǔn)流程配合不同的元數(shù)據(jù)實(shí)現(xiàn)對(duì)不同采集對(duì)象的數(shù)據(jù)采集。
[0006]本發(fā)明的目的是采用下述技術(shù)方案實(shí)現(xiàn)的:
[0007]—種基于元數(shù)據(jù)的數(shù)據(jù)采集方法，其改進(jìn)之處在于，所述方法包括下述步驟:
[0008]( I)分離數(shù)據(jù)采集流程和數(shù)據(jù)；
[0009](2)建立標(biāo)準(zhǔn)流程；
[0010](3)建立元數(shù)據(jù)模型；
[0011](4)實(shí)施數(shù)據(jù)采集。
[0012]其中，所述步驟(I)中，在歷史數(shù)據(jù)采集過(guò)程實(shí)例中獲取一組數(shù)據(jù)采集過(guò)程實(shí)例，對(duì)比分析不同數(shù)據(jù)采集過(guò)程中的異同，將數(shù)據(jù)采集過(guò)程和數(shù)據(jù)采集過(guò)程中涉及的數(shù)據(jù)分離；所述數(shù)據(jù)包括數(shù)值和字符。
[0013]其中，所述步驟(2)中，對(duì)數(shù)據(jù)采集主體流程進(jìn)行裁剪，保留讀寫(xiě)參數(shù)和調(diào)用方法的接口，將包含數(shù)據(jù)調(diào)用方法接口的主體流程定義為標(biāo)準(zhǔn)流程。
[0014]其中，所述主體流程是指不同數(shù)據(jù)采集過(guò)程中包含相同的數(shù)據(jù)和調(diào)用方法的流程。
[0015]其中，所述步驟(3)中，所述建立元數(shù)據(jù)模型包括下述步驟:
[0016]A、分析將步驟(I)分離出的數(shù)據(jù)，提取出數(shù)據(jù)本質(zhì)，在監(jiān)控系統(tǒng)中用于定義數(shù)據(jù)的元素為元數(shù)據(jù)；
[0017]B、匯總數(shù)據(jù)采集流程的元數(shù)據(jù)，分析其在標(biāo)準(zhǔn)流程中的作用和位置，裁剪掉與標(biāo)準(zhǔn)流程無(wú)關(guān)的元數(shù)據(jù)，保留標(biāo)準(zhǔn)流程必備的元數(shù)據(jù)，組成數(shù)據(jù)采集流程的元數(shù)據(jù)集；
[0018]與標(biāo)準(zhǔn)流程無(wú)關(guān)的元數(shù)據(jù)具體為:采集流程中涉及各種各樣的數(shù)據(jù)，其中有些是標(biāo)準(zhǔn)流程中的步驟必須用到的，在每個(gè)具體的采集流程實(shí)例中都會(huì)出現(xiàn)。有些只是某些特定流程需要的，不屬于標(biāo)準(zhǔn)流程需要的元數(shù)據(jù)。如標(biāo)準(zhǔn)流程中包含“連接采集對(duì)象”的步驟，那么“采集對(duì)象地址”就是屬于標(biāo)準(zhǔn)流程的元數(shù)據(jù)。又如某個(gè)采集流程實(shí)例包含“采集失敗后重試，最多重試3次”步驟，這一步驟大多數(shù)采集流程實(shí)例并不需要，不作為標(biāo)準(zhǔn)采集流程的一部分，相應(yīng)地“重試次數(shù)”就是僅與“重試”這一特殊流程關(guān)聯(lián)的元數(shù)據(jù)，與標(biāo)準(zhǔn)流程無(wú)關(guān)，在建立標(biāo)準(zhǔn)流程時(shí)可以裁減。
[0019]C、確定所述元數(shù)據(jù)集的每個(gè)元素在標(biāo)準(zhǔn)流程中的讀入位置，形成元數(shù)據(jù)模型。
[0020]其中，所述步驟(4)中，根據(jù)采集對(duì)象的特征，實(shí)例化元數(shù)據(jù)模型為數(shù)據(jù)實(shí)例的數(shù)據(jù)集，配合標(biāo)準(zhǔn)流程，實(shí)施數(shù)據(jù)采集，實(shí)現(xiàn)對(duì)不同采集對(duì)象的數(shù)據(jù)采集。
[0021]其中，新增采集對(duì)象時(shí)，實(shí)例化元數(shù)據(jù)，插入到監(jiān)控系統(tǒng)中，標(biāo)準(zhǔn)流程不改變。
[0022]采集對(duì)象指的是數(shù)據(jù)采集的對(duì)象，如一個(gè)被監(jiān)控的設(shè)備。
[0023]所述元數(shù)據(jù)是指描述數(shù)據(jù)及其環(huán)境的數(shù)據(jù)。
[0024]與現(xiàn)有技術(shù)比，本發(fā)明達(dá)到的有益效果是:
[0025]本發(fā)明提供的基于元數(shù)據(jù)的數(shù)據(jù)采集方法，通過(guò)對(duì)多種不同的具體采集方法進(jìn)行分析，將數(shù)據(jù)采集的主體流程定義為標(biāo)準(zhǔn)流程，標(biāo)準(zhǔn)流程外的數(shù)據(jù)和特殊方法抽象為標(biāo)準(zhǔn)流程所需的元數(shù)據(jù)，建立元數(shù)據(jù)模型，標(biāo)準(zhǔn)流程配合不同的元數(shù)據(jù)實(shí)現(xiàn)對(duì)不同采集對(duì)象的數(shù)據(jù)采集。通過(guò)應(yīng)用本發(fā)明提供的方法，監(jiān)控系統(tǒng)中每新增一種監(jiān)控對(duì)象(采集對(duì)象)類型，只需提取其相對(duì)標(biāo)準(zhǔn)流程所需的元數(shù)據(jù)，將元數(shù)據(jù)通過(guò)配置的方式加入監(jiān)控系統(tǒng)即可實(shí)施數(shù)據(jù)采集，對(duì)監(jiān)控系統(tǒng)整體改動(dòng)小，開(kāi)發(fā)工作量小，同時(shí)監(jiān)控系統(tǒng)結(jié)構(gòu)簡(jiǎn)單、整體可控性強(qiáng)，便于監(jiān)控系統(tǒng)優(yōu)化和規(guī)?？刂?。
【專利附圖】

【附圖說(shuō)明】
[0026]圖1是本發(fā)明提供的基于元數(shù)據(jù)的數(shù)據(jù)采集方法流程圖；
[0027]圖2是本發(fā)明提供的實(shí)施數(shù)據(jù)采集的示意圖。
【具體實(shí)施方式】
[0028]下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】作進(jìn)一步的詳細(xì)說(shuō)明。
[0029]本發(fā)明提供的基于元數(shù)據(jù)的數(shù)據(jù)采集方法流程如圖1所示，該方法包括下述步驟:
[0030]( I)分離數(shù)據(jù)采集流程和數(shù)據(jù):
[0031]在歷史數(shù)據(jù)采集過(guò)程實(shí)例中獲取一組數(shù)據(jù)采集過(guò)程實(shí)例，對(duì)比分析不同數(shù)據(jù)采集過(guò)程中的異同，將數(shù)據(jù)采集過(guò)程和數(shù)據(jù)采集過(guò)程中涉及的數(shù)據(jù)分離；所述數(shù)據(jù)包括數(shù)值和字符。
[0032](2)建立標(biāo)準(zhǔn)流程:
[0033]對(duì)數(shù)據(jù)采集主體流程進(jìn)行裁剪，剔除其中的具體數(shù)據(jù)和具體方法，保留讀寫(xiě)參數(shù)和調(diào)用方法的接口，將包含數(shù)據(jù)調(diào)用方法接口的主體流程定義為標(biāo)準(zhǔn)流程。
[0034]具體數(shù)據(jù):例如某個(gè)采集對(duì)象的地址是192.168.1.1，這是個(gè)具體數(shù)據(jù)，在標(biāo)準(zhǔn)流程中不會(huì)保留192.168.1.1，這一數(shù)據(jù)可以抽象為“地址”加入元數(shù)據(jù)模型，在標(biāo)準(zhǔn)流程中保留“獲取地址”方法即可。
[0035]具體方法:如一個(gè)實(shí)際數(shù)據(jù)采集中使用SNMP方法采集，有“建立SNMP連接”的具體方法，這個(gè)具體方法不會(huì)在標(biāo)準(zhǔn)流程中保留，而是抽象為“建立連接”，判斷這一抽象方法是否通用，如果通用就保留在標(biāo)準(zhǔn)流程中。如果不通用可以建立一個(gè)調(diào)用方法的接口加入標(biāo)準(zhǔn)流程中，實(shí)例化采集流程時(shí)調(diào)用實(shí)際的方法。
[0036](3)建立元數(shù)據(jù)模型:
[0037]建立元數(shù)據(jù)模型包括下述步驟:
[0038]A、分析將步驟(I)分離出的數(shù)據(jù)，提取出數(shù)據(jù)本質(zhì)(數(shù)據(jù)本質(zhì)包括作用、屬性、類別)，在監(jiān)控系統(tǒng)中用于定義數(shù)據(jù)的元素為元數(shù)據(jù)；不同的通信協(xié)議涉及不同的數(shù)據(jù)采集方法，可抽象為數(shù)據(jù)采集方法元數(shù)據(jù)。調(diào)用采集方法的位置不同，可抽象為調(diào)用位置元數(shù)據(jù)。
[0039]B、匯總數(shù)據(jù)采集流程的元數(shù)據(jù)，分析其在標(biāo)準(zhǔn)流程中的作用和位置，裁剪掉與標(biāo)準(zhǔn)流程無(wú)關(guān)的元數(shù)據(jù)，保留標(biāo)準(zhǔn)流程必備的元數(shù)據(jù)，組成數(shù)據(jù)采集流程的元數(shù)據(jù)集；
[0040]C、確定所述元數(shù)據(jù)集的每個(gè)元素在標(biāo)準(zhǔn)流程中的讀入位置，形成元數(shù)據(jù)模型。
[0041](4)實(shí)施數(shù)據(jù)采集:
[0042]本發(fā)明提供的實(shí)施數(shù)據(jù)采集的示意圖如圖2所示，根據(jù)采集對(duì)象的特征，實(shí)例化元數(shù)據(jù)模型為數(shù)據(jù)實(shí)例的數(shù)據(jù)集，配合標(biāo)準(zhǔn)流程，實(shí)施數(shù)據(jù)采集，實(shí)現(xiàn)對(duì)不同采集對(duì)象的數(shù)據(jù)米集。
[0043]新增采集對(duì)象時(shí)，實(shí)例化元數(shù)據(jù)，插入到監(jiān)控系統(tǒng)中，標(biāo)準(zhǔn)流程不改變。
[0044]在不同領(lǐng)域監(jiān)控系統(tǒng)監(jiān)控的對(duì)象不同，比如當(dāng)前的天氣、溫度、濕度就是一種對(duì)當(dāng)前氣象條件的監(jiān)控，監(jiān)控系統(tǒng)通常需要持續(xù)性地監(jiān)控設(shè)備或系統(tǒng)的某些指標(biāo)。在服務(wù)器應(yīng)用領(lǐng)域，普遍需要監(jiān)控服務(wù)器、交換機(jī)等硬件和操作系統(tǒng)、業(yè)務(wù)應(yīng)用等軟件，如服務(wù)器的電源狀態(tài)、溫度、電壓、風(fēng)扇轉(zhuǎn)速等，操作系統(tǒng)的CPU利用率、內(nèi)存利用率、當(dāng)前登錄人數(shù)等。數(shù)據(jù)采集是監(jiān)控系統(tǒng)的基礎(chǔ)，采集到數(shù)據(jù)才能做進(jìn)一步的數(shù)據(jù)展現(xiàn)、分析、控制。
[0045]本發(fā)明提供的基于元數(shù)據(jù)的數(shù)據(jù)采集方法，是對(duì)多種多樣的數(shù)據(jù)采集方法提取共同點(diǎn)，將不同點(diǎn)建立為元數(shù)據(jù)，通過(guò)運(yùn)行時(shí)插入的方式達(dá)到容易擴(kuò)展、對(duì)已有監(jiān)控系統(tǒng)改動(dòng)小、開(kāi)發(fā)工作量小的效果，實(shí)際應(yīng)用中也可采用其它方式對(duì)數(shù)據(jù)采集方法抽取共性，如將采集流程設(shè)計(jì)為統(tǒng)一接口、不同方法的架構(gòu)。
[0046]最后應(yīng)當(dāng)說(shuō)明的是:以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非對(duì)其限制，盡管參照上述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:依然可以對(duì)本發(fā)明的【具體實(shí)施方式】進(jìn)行修改或者等同替換，而未脫離本發(fā)明精神和范圍的任何修改或者等同替換，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
【權(quán)利要求】
1.一種基于元數(shù)據(jù)的數(shù)據(jù)采集方法，其特征在于，所述方法包括下述步驟: (1)分離數(shù)據(jù)采集流程和數(shù)據(jù)； (2)建立標(biāo)準(zhǔn)流程； (3)建立元數(shù)據(jù)模型； (4)實(shí)施數(shù)據(jù)采集。
2.如權(quán)利要求1所述的基于元數(shù)據(jù)的數(shù)據(jù)采集方法，其特征在于，所述步驟(I)中，在歷史數(shù)據(jù)采集過(guò)程實(shí)例中獲取一組數(shù)據(jù)采集過(guò)程實(shí)例，對(duì)比分析不同數(shù)據(jù)采集過(guò)程中的異同，將數(shù)據(jù)采集過(guò)程和數(shù)據(jù)采集過(guò)程中涉及的數(shù)據(jù)分離；所述數(shù)據(jù)包括數(shù)值和字符。
3.如權(quán)利要求1所述的基于元數(shù)據(jù)的數(shù)據(jù)采集方法，其特征在于，所述步驟(2)中，對(duì)數(shù)據(jù)采集主體流程進(jìn)行裁剪，保留讀寫(xiě)參數(shù)和調(diào)用方法的接口，將包含數(shù)據(jù)調(diào)用方法接口的主體流程定義為標(biāo)準(zhǔn)流程。
4.如權(quán)利要求3所述的基于元數(shù)據(jù)的數(shù)據(jù)采集方法，其特征在于，所述主體流程是指不同數(shù)據(jù)采集過(guò)程中包含相同的數(shù)據(jù)和調(diào)用方法的流程。
5.如權(quán)利要求1所述的基于元數(shù)據(jù)的數(shù)據(jù)采集方法，其特征在于，所述步驟(3)中，所述建立元數(shù)據(jù)模型包括下述步驟: A、分析將步驟(I)分離出的數(shù)據(jù)，提取出數(shù)據(jù)本質(zhì)，在監(jiān)控系統(tǒng)中用于定義數(shù)據(jù)的元素為元數(shù)據(jù)； B、匯總數(shù)據(jù)采集流程的元數(shù)據(jù)，分析其在標(biāo)準(zhǔn)流程中的作用和位置，裁剪掉與標(biāo)準(zhǔn)流程無(wú)關(guān)的元數(shù)據(jù)，保留標(biāo)準(zhǔn)流程必備的元數(shù)據(jù)，組成數(shù)據(jù)采集流程的元數(shù)據(jù)集； C、確定所述元數(shù)據(jù)集的每個(gè)元素在標(biāo)準(zhǔn)流程中的讀入位置，形成元數(shù)據(jù)模型。
6.如權(quán)利要求1所述的基于元數(shù)據(jù)的數(shù)據(jù)采集方法，其特征在于，所述步驟(4)中，根據(jù)采集對(duì)象的特征，實(shí)例化元數(shù)據(jù)模型為數(shù)據(jù)實(shí)例的數(shù)據(jù)集，配合標(biāo)準(zhǔn)流程，實(shí)施數(shù)據(jù)采集，實(shí)現(xiàn)對(duì)不同采集對(duì)象的數(shù)據(jù)采集。
7.如權(quán)利要求1所述的基于元數(shù)據(jù)的數(shù)據(jù)采集方法，其特征在于，新增采集對(duì)象時(shí)，實(shí)例化元數(shù)據(jù)，插入到監(jiān)控系統(tǒng)中，標(biāo)準(zhǔn)流程不改變。
【文檔編號(hào)】H04L12/24GK103634135SQ201210306060
【公開(kāi)日】2014年3月12日 申請(qǐng)日期:2012年8月24日 優(yōu)先權(quán)日:2012年8月24日
【發(fā)明者】劉瑞賢, 趙歡, 解文龍, 趙曉杰 申請(qǐng)人:曙光信息產(chǎn)業(yè)(北京)有限公司