專利名稱：一種通用數(shù)據(jù)采集的實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及網(wǎng)絡(luò)技術(shù)，特別涉及網(wǎng)絡(luò)設(shè)備的管理。
背景技術(shù)：
隨著網(wǎng)絡(luò)技術(shù)的發(fā)展涌現(xiàn)了各種各樣的設(shè)備，網(wǎng)絡(luò)中運(yùn)行的設(shè)備越多，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)也就越復(fù)雜，如何管理好網(wǎng)絡(luò)上運(yùn)行的設(shè)備，網(wǎng)絡(luò)運(yùn)營商就為網(wǎng)絡(luò)管理系統(tǒng)提出了許多新的要求，不僅要求能夠通過網(wǎng)管軟件對(duì)網(wǎng)上的單個(gè)設(shè)備進(jìn)行配置管理，而且還要求能夠?qū)φ麄€(gè)計(jì)算機(jī)網(wǎng)絡(luò)上運(yùn)行的設(shè)備進(jìn)行監(jiān)控管理。
在網(wǎng)絡(luò)管理方面，雖然目前大多數(shù)設(shè)備都支持簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議(Simple Network Management System，簡(jiǎn)稱SNMP)協(xié)議，但由于設(shè)備的多樣性，功能不一，各個(gè)設(shè)備商提供的管理信息庫(ManagementInformation簡(jiǎn)稱MIB)接口還是大不一樣，特別是針對(duì)設(shè)備的一些特性，許多設(shè)備大多提供的是私有MIB或私有接口，因此目前網(wǎng)絡(luò)管理系統(tǒng)大多都是設(shè)備廠商針對(duì)具體設(shè)備來開發(fā)軟件進(jìn)行設(shè)備管理的，每出現(xiàn)一種新的設(shè)備，都要重新開發(fā)一套，雖然有些網(wǎng)管系統(tǒng)有統(tǒng)一的面板管理模塊，但是數(shù)據(jù)采集等模塊，還是針對(duì)設(shè)備供應(yīng)商提供的MIB接口，需要重新開發(fā)數(shù)據(jù)采集部分。
現(xiàn)有的網(wǎng)絡(luò)管理軟件系統(tǒng)，大多都是設(shè)備廠商自己提供設(shè)備管理軟件，設(shè)備廠商根據(jù)自己的設(shè)備特點(diǎn)，定義相關(guān)的MIB或其它接口，然后再針對(duì)該接口開發(fā)專有的數(shù)據(jù)采集、處理、顯示功能。
由于設(shè)備特性比較專一，開發(fā)軟件時(shí)比較有針對(duì)性，當(dāng)出現(xiàn)新的產(chǎn)品特性時(shí)，就需要重新開發(fā)新特性的管理功能。
例如，在設(shè)備的形狀上，有的設(shè)備是由機(jī)架、機(jī)框、單板、扣板、端口等組成元素，而有的設(shè)備則只有其中的一部分。即便是兩個(gè)廠商的設(shè)備外表形態(tài)相同，都包含有這些元素，但由于供應(yīng)廠商不同，實(shí)現(xiàn)的接口也未必一致，他們對(duì)外提供的MIB接口也可能不一樣，所以在網(wǎng)管軟件實(shí)現(xiàn)上，也不可能一樣。
現(xiàn)有網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集方法，由于開發(fā)是針對(duì)設(shè)備的某一特性開發(fā)的，在開發(fā)接口時(shí)考慮的可能不夠開放，也由于設(shè)備的多樣性，造成原來開發(fā)的軟件不能支持新的特性，因此要支持新的特性，就必須重新開發(fā)，程序可重用性較少；也由于設(shè)備數(shù)據(jù)的采集和加工處理、顯示等都集成在一起，不能夠單獨(dú)分析運(yùn)行，所以想要進(jìn)行分布式處理數(shù)據(jù)采集有些困難。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種通用開放的網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集方法和系統(tǒng)，把采集到的數(shù)據(jù)進(jìn)行持久化保存，以方便用戶進(jìn)行查詢或其它方式(如拓?fù)鋱D、面板)的界面顯示，提高網(wǎng)絡(luò)管理系統(tǒng)或其它應(yīng)用軟件的通用性，便于進(jìn)行設(shè)備數(shù)據(jù)采集應(yīng)用軟件的模塊化和通用化，節(jié)省開發(fā)人力和成本；而在數(shù)據(jù)持久化保存時(shí)，記錄中增加了起始時(shí)間，采集數(shù)據(jù)后都與往次數(shù)據(jù)進(jìn)行比較，只有數(shù)據(jù)變化時(shí)才進(jìn)行變化數(shù)據(jù)和起始時(shí)間的保存，節(jié)省了存儲(chǔ)空間；本系統(tǒng)在采集到變化的數(shù)據(jù)后能夠通知需要進(jìn)行數(shù)據(jù)加工處理的模塊；由于本發(fā)明把數(shù)據(jù)采集和加工進(jìn)行了分離，使數(shù)據(jù)采集模塊可以單獨(dú)運(yùn)行，并可以同時(shí)多處部署，支持分布式采集方式，增大了網(wǎng)絡(luò)管理的容量。
本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的
本發(fā)明的網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集方法，是一種通過配置方法，把數(shù)據(jù)采集和數(shù)據(jù)加工處理分開，把要進(jìn)行采集的設(shè)備數(shù)據(jù)通過配置表項(xiàng)或配置文件進(jìn)行描述，而配置信息由一個(gè)應(yīng)用程序進(jìn)行解析后，再依據(jù)配置內(nèi)容和相應(yīng)協(xié)議到設(shè)備上采集數(shù)據(jù)，并把采集到的結(jié)果進(jìn)行持久化保存或轉(zhuǎn)交給需要的接口模塊進(jìn)行加工處理。同時(shí)采集數(shù)據(jù)模塊也可以依據(jù)配置信息，進(jìn)行設(shè)備數(shù)據(jù)的周期采集，把采集到的數(shù)據(jù)和上次進(jìn)行比較，只把數(shù)據(jù)變化的部分進(jìn)行更新或通知相應(yīng)需要的接口模塊；也可以對(duì)采集的數(shù)據(jù)進(jìn)行持久化保存，而在持久化保存時(shí)，只保存新增數(shù)據(jù)和變化數(shù)據(jù)以及該數(shù)據(jù)的起始時(shí)間，以此來節(jié)省數(shù)據(jù)存儲(chǔ)空間。
本發(fā)明提出的通用網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集方案是把原來的數(shù)據(jù)采集和數(shù)據(jù)加工進(jìn)行分離，只對(duì)數(shù)據(jù)采集進(jìn)行通過配置方法，進(jìn)行統(tǒng)一采集，把設(shè)備原始數(shù)據(jù)表項(xiàng)通過配置方法和數(shù)據(jù)表進(jìn)行一一對(duì)應(yīng)，通過采集模塊采集后進(jìn)行比較保存，提高代碼的可重用性，節(jié)省開發(fā)成本，并且可以分布在不同的網(wǎng)管上運(yùn)行，提高網(wǎng)管的管理設(shè)備容量。而數(shù)據(jù)加工處理部分，則可以利用數(shù)據(jù)庫強(qiáng)大的數(shù)據(jù)處理能力，進(jìn)行相應(yīng)的處理，由于數(shù)據(jù)庫接口比較開放，便于處理，也可以進(jìn)行相應(yīng)的編程處理。


圖1為網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集配置對(duì)應(yīng)關(guān)系示意圖；圖2為本發(fā)明中各個(gè)模塊的工作示意圖；圖3網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集配置對(duì)應(yīng)關(guān)系示意圖；具體實(shí)施方式
下面結(jié)合附圖和一個(gè)具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)闡述。
如圖1所示的網(wǎng)絡(luò)管理系統(tǒng)組網(wǎng)圖示意圖，如圖所示，網(wǎng)絡(luò)中多種設(shè)備需要管理，而各個(gè)設(shè)備的數(shù)據(jù)采集是可以單獨(dú)抽取出，統(tǒng)一開發(fā)。
圖2是本發(fā)明各個(gè)模塊工作示意圖，本發(fā)明可以抽象成如圖2所示的的功能模塊，其中，配置表項(xiàng)或配置文件主要是描述如下內(nèi)容(1)哪類網(wǎng)絡(luò)設(shè)備需要通過管理維護(hù)；(2)什么協(xié)議采集；(3)需要采集的設(shè)備數(shù)據(jù)項(xiàng)；(4)如何處理等信息；設(shè)備數(shù)據(jù)項(xiàng)的配置信息中包括數(shù)據(jù)類型和數(shù)據(jù)長度等信息，設(shè)備數(shù)據(jù)項(xiàng)可以是單獨(dú)的數(shù)據(jù)項(xiàng)，也可以是一個(gè)數(shù)據(jù)表。
數(shù)據(jù)采集模塊完成如下功能(A)解析配置信息；(B)完成協(xié)議的適配；(C)數(shù)據(jù)的采集或接收；(D)數(shù)據(jù)的比較；(E)數(shù)據(jù)的保存；(F)數(shù)據(jù)的通知；如圖2，其中配置信息解釋模塊完成解析配置信息、協(xié)議的適配；接口模塊完成數(shù)據(jù)的采集或接收；控制模塊完成數(shù)據(jù)的比較、數(shù)據(jù)的保存、通知加工模決處理數(shù)據(jù)等功能。
網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集模塊的主要功能為1.解析上面定義的配置表項(xiàng)內(nèi)容，主要分析需要對(duì)哪些設(shè)備，通過什么協(xié)議，進(jìn)行哪些數(shù)據(jù)項(xiàng)的采集或接收工作。
2.協(xié)議適配功能就是對(duì)進(jìn)行數(shù)據(jù)接收的端口、進(jìn)行相應(yīng)的UDP端口監(jiān)聽或TCP聯(lián)接，對(duì)要進(jìn)行數(shù)據(jù)采集的，依據(jù)協(xié)議和輪詢機(jī)制構(gòu)造相應(yīng)的輪詢接口。
3.數(shù)據(jù)采集或數(shù)據(jù)接收主要是到設(shè)備上進(jìn)行數(shù)據(jù)采集或是接收設(shè)備上報(bào)數(shù)據(jù)。對(duì)于數(shù)據(jù)接收功能，需要在接收到數(shù)據(jù)后，還要進(jìn)行相應(yīng)數(shù)據(jù)表項(xiàng)的匹配功能，通過對(duì)比知道應(yīng)該向哪個(gè)數(shù)據(jù)表中保存或加工處理。而采集模塊，則是在采集之前，就已經(jīng)知道采集結(jié)果應(yīng)該存向哪個(gè)數(shù)據(jù)表了。
4.進(jìn)行采集數(shù)據(jù)的歷史比較功能就是對(duì)C中獲取數(shù)據(jù)的和上次歷史數(shù)據(jù)進(jìn)行比較處理，由于數(shù)據(jù)采集的結(jié)果可能和上次結(jié)果相同，這樣的數(shù)據(jù)就可以不用保存，可以只進(jìn)行次數(shù)統(tǒng)計(jì)或是時(shí)間匹配即可。
5.對(duì)于采集到的數(shù)據(jù)，如果數(shù)據(jù)有變化，則先把歷史數(shù)據(jù)表中增加上次的數(shù)據(jù)時(shí)起始時(shí)間，然后數(shù)據(jù)表中更新新記錄。
6.數(shù)據(jù)變更通知向注冊(cè)的數(shù)據(jù)加工處理模塊通知變更數(shù)據(jù)和變更的時(shí)間。
如果設(shè)備采用的是一種數(shù)據(jù)采集模塊不支持的協(xié)議，則只需要增加該協(xié)議的API接口、補(bǔ)充數(shù)據(jù)的采集功能即可，對(duì)于數(shù)據(jù)的比較、通知或保存等功能，則可以重用。由于許多設(shè)備大多是支持的協(xié)議相同，而定義的數(shù)據(jù)接口不同，所以開發(fā)協(xié)議接口的工作量并不多，對(duì)于新設(shè)備而言，大多只需關(guān)心數(shù)據(jù)采集的配置項(xiàng)即可，需要開發(fā)新接口的設(shè)備比較少。
本發(fā)明的配置表項(xiàng)或配置文件的主要內(nèi)容有
7.設(shè)備功能配置表設(shè)備類型，協(xié)議類型，要采集的數(shù)據(jù)項(xiàng)對(duì)應(yīng)表，采集到數(shù)據(jù)后需要通知的加工進(jìn)程，是否進(jìn)行周期輪詢以及輪詢周期等。
8.采集數(shù)據(jù)配置表主要進(jìn)行采集數(shù)據(jù)表項(xiàng)的定義以及與當(dāng)前保存數(shù)據(jù)表的對(duì)應(yīng)關(guān)系，包括采集數(shù)據(jù)源中的數(shù)據(jù)項(xiàng)、識(shí)別標(biāo)志，類型、數(shù)據(jù)長度、是否保存歷史、對(duì)應(yīng)到數(shù)據(jù)表中的表名或列名等內(nèi)容。
9.數(shù)據(jù)持久保存的數(shù)據(jù)表、歷史數(shù)據(jù)表在2中定義的表項(xiàng)基礎(chǔ)上，增加設(shè)備編碼，起始時(shí)間等內(nèi)容。
10.協(xié)議類型的定義表包括協(xié)議類型(包括到設(shè)備上采集、設(shè)備主要上報(bào)接收兩大類)、設(shè)備編碼、訪問用戶等信息。
如圖3所示，配置表項(xiàng)或配置文件描述了需要采集的網(wǎng)絡(luò)設(shè)備數(shù)據(jù)項(xiàng)到持久化數(shù)據(jù)表項(xiàng)的對(duì)應(yīng)關(guān)系，該系統(tǒng)的配置解析模塊就是通過配置信息，對(duì)設(shè)備進(jìn)行數(shù)據(jù)采集并持久化數(shù)據(jù)保存。同時(shí)通用設(shè)備數(shù)據(jù)采集系統(tǒng)還根據(jù)配置信息進(jìn)行上面定義的各項(xiàng)功能。
權(quán)利要求
1.一種網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集的方法，通過配置表項(xiàng)或配置文件來描述設(shè)備數(shù)據(jù)采集的信息，然后通過應(yīng)用程序來解析配置信息，并自動(dòng)進(jìn)行數(shù)據(jù)采集或接收的方法，其特征在于為每種網(wǎng)絡(luò)設(shè)備定義一些配置記錄；通過應(yīng)用程序來處理解析這些配置記錄，然后依據(jù)配置內(nèi)容對(duì)相應(yīng)的設(shè)備進(jìn)行數(shù)據(jù)采集或數(shù)據(jù)接收，并按照配置信息把采集或接收到的數(shù)據(jù)進(jìn)行比較，對(duì)變化數(shù)據(jù)進(jìn)行持久化保存，同時(shí)通知相應(yīng)的數(shù)據(jù)加工處理模塊來獲取新數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集方法，其特征在于由配置表項(xiàng)或配置文件來描述要采集的網(wǎng)絡(luò)設(shè)備數(shù)據(jù)項(xiàng)。
3.根據(jù)權(quán)利要求1或2所述的網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集方法，其特征在于進(jìn)行網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集時(shí)，由系統(tǒng)讀取配置信息，通過解析模塊對(duì)配置信息進(jìn)行解析，獲取要進(jìn)行采集或接收的數(shù)據(jù)項(xiàng)信息和相關(guān)數(shù)據(jù)采集、通知處理等信息，并依據(jù)配置信息，進(jìn)行設(shè)備數(shù)據(jù)項(xiàng)的采集或接收動(dòng)作。
4.根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集方法，其特征在于依據(jù)配置信息，系統(tǒng)可以對(duì)要進(jìn)行周期性數(shù)據(jù)采集的設(shè)備進(jìn)行定期輪詢。
5.根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集方法，其特征在于依據(jù)配置信息，系統(tǒng)可以對(duì)接收到的數(shù)據(jù)進(jìn)行數(shù)據(jù)格式匹配，分析出是哪類設(shè)備上報(bào)的數(shù)據(jù)。
6.根據(jù)權(quán)利要求4或5所述的網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集方法，其特征在于依據(jù)配置信息，系統(tǒng)可以對(duì)采集或接收到的數(shù)據(jù)和以往的結(jié)果進(jìn)行比較，僅對(duì)發(fā)生變化或新增的數(shù)據(jù)項(xiàng)進(jìn)行保存，這樣可以減少持久化數(shù)據(jù)量。
7.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集方法，其特征在于把采集到的數(shù)據(jù)通知相應(yīng)的加工處理模塊；可以根據(jù)配置內(nèi)容來確定是否是僅在數(shù)據(jù)變化時(shí)通知數(shù)據(jù)加工處理模塊。
8.一種網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集系統(tǒng)，包括網(wǎng)絡(luò)連接起來的各種網(wǎng)絡(luò)設(shè)備，擔(dān)負(fù)網(wǎng)絡(luò)設(shè)備管理任務(wù)的計(jì)算機(jī)以及運(yùn)行在該計(jì)算機(jī)上的軟件系統(tǒng)，其特征在于網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集系統(tǒng)為每個(gè)網(wǎng)絡(luò)設(shè)備定義一組數(shù)據(jù)采集配置記錄項(xiàng)；系統(tǒng)讀取配置信息，通過配置解析模塊對(duì)配置記錄項(xiàng)進(jìn)行解析；再通過數(shù)據(jù)采集模塊對(duì)網(wǎng)絡(luò)設(shè)備進(jìn)行數(shù)據(jù)采集或數(shù)據(jù)接收；數(shù)據(jù)采集模塊可以根據(jù)配置內(nèi)容進(jìn)行周期性數(shù)據(jù)采集；數(shù)據(jù)接收模塊把接收到的數(shù)據(jù)進(jìn)行格式匹配，分辨出是哪類設(shè)備數(shù)據(jù)；數(shù)據(jù)采集模塊把采集或接收到的數(shù)據(jù)和以往的數(shù)據(jù)進(jìn)行比較，對(duì)數(shù)據(jù)變化項(xiàng)進(jìn)行持久化保存；對(duì)于需要進(jìn)行其它數(shù)據(jù)加工處理的設(shè)備數(shù)據(jù)，數(shù)據(jù)采集模塊會(huì)根據(jù)配置信息通知相應(yīng)的注冊(cè)模塊。
全文摘要
本發(fā)明公布了一種通用開放的網(wǎng)絡(luò)設(shè)備數(shù)據(jù)采集方法和系統(tǒng)，把采集到的數(shù)據(jù)進(jìn)行持久化保存，以方便用戶進(jìn)行查詢或其它方式(如拓?fù)鋱D、面板)的界面顯示，提高網(wǎng)絡(luò)管理系統(tǒng)或其它應(yīng)用軟件的通用性，便于進(jìn)行設(shè)備數(shù)據(jù)采集應(yīng)用軟件的模塊化和通用化，節(jié)省開發(fā)人力和成本；而在數(shù)據(jù)持久化保存時(shí)，記錄中增加了起始時(shí)間，采集數(shù)據(jù)后都與往次數(shù)據(jù)進(jìn)行比較，只有數(shù)據(jù)變化時(shí)才進(jìn)行變化數(shù)據(jù)和起始時(shí)間的保存，節(jié)省了存儲(chǔ)空間；本系統(tǒng)在采集到變化的數(shù)據(jù)后能夠通知需要進(jìn)行數(shù)據(jù)加工處理的模塊；由于本發(fā)明把數(shù)據(jù)采集和加工進(jìn)行了分離，使數(shù)據(jù)采集模塊可以單獨(dú)運(yùn)行，并可以同時(shí)多處部署，支持分布式采集方式，增大了網(wǎng)絡(luò)管理的容量。
文檔編號(hào)H04L12/24GK1713592SQ20041006299
公開日2005年12月28日 申請(qǐng)日期2004年6月27日 優(yōu)先權(quán)日2004年6月27日
發(fā)明者崔科茂 申請(qǐng)人:華為技術(shù)有限公司