一種圖庫一體的鐵路10kV配電網(wǎng)海量監(jiān)控信息HBase轉(zhuǎn)存方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及配電網(wǎng)監(jiān)控技術(shù)領(lǐng)域，具體是一種圖庫一體的鐵路10kV配電網(wǎng)海量監(jiān)控信息HBase轉(zhuǎn)存方法。
【背景技術(shù)】
[0002]隨著我國電氣化鐵路的快速發(fā)展和建設(shè)，提速鐵路的牽引供電監(jiān)控增加了大量AT所，擬將上網(wǎng)隔離開關(guān)全面納入監(jiān)控，同時(shí)鐵路電力監(jiān)控也將通信、信號、光纖直放站箱變、環(huán)網(wǎng)柜、所有10/0.4kV低壓變電所納入監(jiān)控，即將所有高、低壓回路納入鐵路配電網(wǎng)監(jiān)控中。又由于監(jiān)控線路不再為針對單一鐵路線路的監(jiān)控，而是多條線路統(tǒng)一調(diào)度監(jiān)控。因此，監(jiān)控容量較傳統(tǒng)普速鐵路監(jiān)控系統(tǒng)容量有數(shù)十倍劇增。面對這種大數(shù)據(jù)存儲(chǔ)，傳統(tǒng)存儲(chǔ)方式越來越不能適應(yīng)鐵路配電網(wǎng)監(jiān)控的需要。
[0003]圖庫一體化，是指把圖元與數(shù)據(jù)作為一個(gè)整體來進(jìn)行處理。目前，國內(nèi)開發(fā)的圖形繪制平臺(tái)都存在著提供繪圖工具定制設(shè)備圖元，大多數(shù)以位圖方式存放，在圖元繪制時(shí)載入相應(yīng)的位圖圖元，但在進(jìn)行縮放操作時(shí)圖元存在變形和失真的現(xiàn)象，而且用戶定制圖元操作復(fù)雜、工作量大。為此，利用圖庫一體化技術(shù)，不但可以降低開發(fā)難度，而且還可以保證圖元的質(zhì)量。
[0004]云計(jì)算是一種新興計(jì)算模式，為下一代網(wǎng)絡(luò)應(yīng)用平臺(tái)的核心技術(shù)，提供安全、可靠的信息存儲(chǔ)，方便快捷的網(wǎng)絡(luò)服務(wù)和強(qiáng)大數(shù)據(jù)處理能力。在鐵路配電監(jiān)控方面，云計(jì)算的可靠性高、數(shù)據(jù)處理量巨大、靈活可擴(kuò)展及設(shè)備利用率高等優(yōu)勢突顯，將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，按需獲取計(jì)算存儲(chǔ)空間和信息服務(wù)。使用HBase云計(jì)算技術(shù)處理數(shù)據(jù)，可實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)，且數(shù)據(jù)存儲(chǔ)量越大，讀取數(shù)據(jù)的平均速率相比傳統(tǒng)數(shù)據(jù)存儲(chǔ)方式越快。
[0005]利用組態(tài)軟件ForceControl開發(fā)具備圖庫一體功能的配電網(wǎng)監(jiān)控系統(tǒng)，采集的數(shù)據(jù)只能存儲(chǔ)在自帶數(shù)據(jù)庫或典型關(guān)系數(shù)據(jù)庫中，但最新高鐵動(dòng)車段供電自動(dòng)化采集的數(shù)據(jù)斷面已達(dá)到秒級，監(jiān)測數(shù)據(jù)量劇增，數(shù)據(jù)量的增長速度遠(yuǎn)大于關(guān)系數(shù)據(jù)庫存儲(chǔ)能力的增長速度。因此，傳統(tǒng)數(shù)據(jù)存儲(chǔ)方式在存儲(chǔ)容量和計(jì)算能力方面，已不能滿足這種海量數(shù)據(jù)存取處理的工程需求，為此提出了一種把海量的鐵路配電網(wǎng)次秒級監(jiān)測數(shù)據(jù)，通過HBase的云計(jì)算集群進(jìn)行NoSQL轉(zhuǎn)存的分布式數(shù)據(jù)存取新方法。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于提供一種圖庫一體的鐵路10kV配電網(wǎng)海量監(jiān)控信息HBase轉(zhuǎn)存方法，以解決上述【背景技術(shù)】中提出的問題。
[0007]為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案:
一種圖庫一體的鐵路10kV配電網(wǎng)海量監(jiān)控信息HBase轉(zhuǎn)存方法，包括以下步驟:
(1)配電網(wǎng)圖庫一體監(jiān)控系統(tǒng)開發(fā)使用ForceControl軟件開發(fā)鐵路lOkV配電網(wǎng)監(jiān)控系統(tǒng)，對電氣化鐵道配電網(wǎng)電氣設(shè)備的監(jiān)督和控制，在開發(fā)圖形系統(tǒng)時(shí)，采用圖庫一體化技術(shù)，把圖元通過編碼和序列化的方式存到實(shí)時(shí)數(shù)據(jù)庫中，使圖元與數(shù)據(jù)作為一個(gè)整體進(jìn)行存儲(chǔ)和管理；
(2)實(shí)時(shí)關(guān)系數(shù)據(jù)庫同步
在該Windows操作系統(tǒng)的計(jì)算機(jī)中安裝用于存儲(chǔ)鐵路供電監(jiān)控系統(tǒng)數(shù)據(jù)源的0DBCRouter3.0組件、用于實(shí)現(xiàn)從數(shù)據(jù)源轉(zhuǎn)存至MySQL數(shù)據(jù)庫的MySQL ODBC驅(qū)動(dòng)程序及用于轉(zhuǎn)存儲(chǔ)數(shù)據(jù)源的My SQL數(shù)據(jù)庫；在MySQL數(shù)據(jù)庫中建立相應(yīng)的存儲(chǔ)表，以存儲(chǔ)對應(yīng)設(shè)備采集的實(shí)時(shí)數(shù)據(jù)，便于轉(zhuǎn)存和歷史調(diào)閱；將監(jiān)控系統(tǒng)采集的實(shí)時(shí)數(shù)據(jù)通過SQLite交互的操作方式，經(jīng)一次轉(zhuǎn)存存儲(chǔ)到對應(yīng)的MySQL工作數(shù)據(jù)庫空間；
(3)關(guān)系數(shù)據(jù)庫轉(zhuǎn)存至NoSQL非關(guān)系數(shù)據(jù)庫
配置Linux系統(tǒng)的計(jì)算機(jī)集群，搭建Hadoop云計(jì)算的集群平臺(tái)，并在該集群平臺(tái)基礎(chǔ)上，架構(gòu)HBase分布式數(shù)據(jù)庫，在云計(jì)算集群平臺(tái)上安裝Sqoop數(shù)據(jù)處理工具，并于安裝Sqoop軟件的計(jì)算機(jī)載入MySQL的JDBC驅(qū)動(dòng)程序，通過網(wǎng)絡(luò)和Sqoop指令，將轉(zhuǎn)存后的MySQL數(shù)據(jù)庫進(jìn)行二次轉(zhuǎn)存，存儲(chǔ)至HBase的NoSQL數(shù)據(jù)庫中；
(4)分布式列族存儲(chǔ)
建立面向列族的可無限擴(kuò)張的HBase數(shù)據(jù)存儲(chǔ)表，在表的精簡結(jié)構(gòu)形式中，設(shè)計(jì)行鍵為Value屬性，再設(shè)計(jì)兩個(gè)列族，其中一個(gè)列族為Deviceld屬性，另一個(gè)列族為DeviceName屬性，其中Value為設(shè)備采集的實(shí)時(shí)值，Device Id為設(shè)備名稱號，DeviceName為設(shè)備名稱。通過把MySQL數(shù)據(jù)庫轉(zhuǎn)存至HBase數(shù)據(jù)庫中，利用多臺(tái)數(shù)據(jù)庫服務(wù)器進(jìn)行數(shù)據(jù)存儲(chǔ)，實(shí)現(xiàn)使用云計(jì)算進(jìn)行配電監(jiān)控系統(tǒng)大數(shù)據(jù)的分布式列族存儲(chǔ)。
[0008]作為本發(fā)明進(jìn)一步的方案:所述步驟(1)中，在Windows操作系統(tǒng)中安裝ForceControl力控軟件，并使用組態(tài)軟件開發(fā)鐵路10kV配電網(wǎng)監(jiān)控系統(tǒng)，實(shí)現(xiàn)對設(shè)備的監(jiān)控，在開發(fā)圖形系統(tǒng)時(shí)，采用圖庫一體化技術(shù)，把圖元通過編碼和序列化的方式存到實(shí)時(shí)數(shù)據(jù)庫中，使圖元與數(shù)據(jù)作為一個(gè)整體進(jìn)行存儲(chǔ)和管理。
[0009]作為本發(fā)明再進(jìn)一步的方案:所述步驟(2)中，為了加速實(shí)時(shí)數(shù)據(jù)的轉(zhuǎn)儲(chǔ)速度，對監(jiān)控實(shí)時(shí)數(shù)據(jù)的屬性進(jìn)行了劃分，提取得到了轉(zhuǎn)存儲(chǔ)所需的高實(shí)時(shí)性屬性域的一個(gè)真子集，所述建立的存儲(chǔ)表的結(jié)構(gòu)屬性精簡為(Id，Time，Deviceld，Device Name，Value)，其中Id設(shè)置為主鍵并自增，Time為采集的時(shí)間，DeviceId為采集的設(shè)備名稱號，Device Name為采集的設(shè)備名稱，Value為采集的設(shè)備實(shí)時(shí)值。
[0010]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:本發(fā)明方法采用HBase云計(jì)算技術(shù)處理數(shù)據(jù)，實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)。通過HBase的云計(jì)算集群和實(shí)時(shí)數(shù)據(jù)的精簡子集，對監(jiān)控?cái)?shù)據(jù)進(jìn)行NoSQL轉(zhuǎn)存，實(shí)現(xiàn)了配電網(wǎng)監(jiān)控系統(tǒng)海量數(shù)據(jù)的云計(jì)算存儲(chǔ)，且數(shù)據(jù)存儲(chǔ)量越大，數(shù)據(jù)存取效率越高。
【附圖說明】
[0011 ]圖1為本發(fā)明方法的轉(zhuǎn)存示意圖。
【具體實(shí)施方式】
[0012]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0013]請參閱圖1，本發(fā)明實(shí)施例中，對于本發(fā)明方法的轉(zhuǎn)存進(jìn)行詳細(xì)描述。
[0014](1)配電網(wǎng)圖庫一體監(jiān)控系統(tǒng)開發(fā)階段
在Windows系統(tǒng)中用ForceControl力控軟件開發(fā)鐵路10kV配電網(wǎng)監(jiān)控系統(tǒng)，實(shí)現(xiàn)對電氣化鐵道配電網(wǎng)高壓電氣設(shè)備的監(jiān)督和控制，在開發(fā)圖形系統(tǒng)時(shí)，采用圖庫一體化技術(shù)，把圖元通過編碼和序列化的方式存到實(shí)時(shí)數(shù)據(jù)庫中，使圖元與數(shù)據(jù)作為一個(gè)整體進(jìn)行存儲(chǔ)和管理。
[0015](2)實(shí)時(shí)關(guān)系數(shù)據(jù)庫同步階段
完成這一工作，需要在該Windows系統(tǒng)中安裝力控ForceC