電網(wǎng)時(shí)序大數(shù)據(jù)存儲(chǔ)方法
【專利摘要】本發(fā)明公開了一種電網(wǎng)時(shí)序大數(shù)據(jù)存儲(chǔ)方法，通過選擇開源分布式列式數(shù)據(jù)庫HBase作為存儲(chǔ)層，結(jié)合電網(wǎng)業(yè)務(wù)中SG-CIM模型對(duì)業(yè)務(wù)邏輯上具有位置相關(guān)性的一批測(cè)點(diǎn)信息重新進(jìn)行描述，通過設(shè)計(jì)一種合理的測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表的索引組織方式，利用HBase的分區(qū)和負(fù)載均衡功能，使得業(yè)務(wù)邏輯上具有位置相關(guān)性的一批測(cè)點(diǎn)的歷史數(shù)據(jù)在物理存儲(chǔ)上的位置是相鄰的，從而使得對(duì)該批測(cè)點(diǎn)的歷史數(shù)據(jù)進(jìn)行查詢時(shí)能夠減少磁盤尋道時(shí)間，提高查詢效率，為業(yè)務(wù)應(yīng)用提供即時(shí)查詢服務(wù)。
【專利說明】電網(wǎng)時(shí)序大數(shù)據(jù)存儲(chǔ)方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種電網(wǎng)業(yè)務(wù)中對(duì)位置信息敏感的時(shí)間序列大數(shù)據(jù)存儲(chǔ)、即時(shí)查詢方法，屬于大數(shù)據(jù)存儲(chǔ)、分布式實(shí)時(shí)數(shù)據(jù)庫領(lǐng)域。

【背景技術(shù)】
[0002]隨著智能化、信息化的不斷發(fā)展，時(shí)序大數(shù)據(jù)管理系統(tǒng)作為大型流程工業(yè)企業(yè)生產(chǎn)信息化的重要基礎(chǔ)數(shù)據(jù)平臺(tái)，面臨越來越多的挑戰(zhàn)。以電力系統(tǒng)為例，一方面是超大規(guī)模數(shù)據(jù)處理的巨大壓力。國家電網(wǎng)公司SG-ERP建設(shè)中海量歷史/實(shí)時(shí)數(shù)據(jù)管理平臺(tái)建設(shè)的不斷深化，其數(shù)據(jù)規(guī)模越來越大，其中測(cè)點(diǎn)(數(shù)據(jù)采集點(diǎn))規(guī)模預(yù)計(jì)將達(dá)到千萬甚至上億規(guī)模，數(shù)據(jù)存儲(chǔ)容量到達(dá)PB字節(jié)以上。另一方面是高速實(shí)時(shí)數(shù)據(jù)處理。以WAMS系統(tǒng)為例，每秒需要處理的事務(wù)數(shù)可達(dá)到一千萬，常規(guī)的關(guān)系數(shù)據(jù)庫根本無法應(yīng)對(duì)如此高速實(shí)時(shí)數(shù)據(jù)處理的挑戰(zhàn)，對(duì)實(shí)時(shí)數(shù)據(jù)庫的處理規(guī)模、處理速度提出了更高的要求。
[0003]傳統(tǒng)實(shí)時(shí)數(shù)據(jù)庫受制于其傳統(tǒng)的軟件體系架構(gòu)，在數(shù)據(jù)規(guī)模、處理能力、并行計(jì)算、負(fù)載均衡、動(dòng)態(tài)自治等方面已無法滿足實(shí)際應(yīng)用需求。在實(shí)時(shí)數(shù)據(jù)庫領(lǐng)域，引入大數(shù)據(jù)處理技術(shù)來解決上述問題是當(dāng)前研究時(shí)序大數(shù)據(jù)存儲(chǔ)的主要方法。然而，在譬如電網(wǎng)事故反演、電網(wǎng)業(yè)務(wù)告警分析及輸變電設(shè)備在線監(jiān)測(cè)等業(yè)務(wù)場(chǎng)景中，用戶關(guān)心的往往是一批測(cè)點(diǎn)的歷史數(shù)據(jù)，而該批測(cè)點(diǎn)在業(yè)務(wù)邏輯上具有位置相關(guān)性，理想情況下這些具有位置相關(guān)性的一批測(cè)點(diǎn)的歷史數(shù)據(jù)在物理存儲(chǔ)上也應(yīng)當(dāng)保持位置相鄰，這樣在上述業(yè)務(wù)場(chǎng)景應(yīng)用中進(jìn)行查詢時(shí)才能減少磁盤的尋道時(shí)間，提高查詢速度，為業(yè)務(wù)應(yīng)用提供即時(shí)查詢服務(wù)。傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫由于其架構(gòu)設(shè)計(jì)、實(shí)現(xiàn)原理等原因，做不到業(yè)務(wù)邏輯上具有位置相關(guān)性的一批測(cè)點(diǎn)的歷史數(shù)據(jù)在物理存儲(chǔ)上也是位置相鄰的。
[0004]經(jīng)初步檢索，暫未發(fā)現(xiàn)有與本
【發(fā)明內(nèi)容】
相關(guān)的專利條目。


【發(fā)明內(nèi)容】

[0005]為了解決上述問題，保證業(yè)務(wù)邏輯上具有位置相關(guān)性的一批測(cè)點(diǎn)的歷史數(shù)據(jù)在物理存儲(chǔ)上是位置相鄰的，為電網(wǎng)業(yè)務(wù)應(yīng)用中該批測(cè)點(diǎn)的查詢需求提供即時(shí)查詢服務(wù)，本發(fā)明提供了一種電網(wǎng)時(shí)序大數(shù)據(jù)存儲(chǔ)方法，其主要思想是:選擇開源分布式列式數(shù)據(jù)庫HBase作為存儲(chǔ)層，結(jié)合電網(wǎng)業(yè)務(wù)中SG-C頂模型對(duì)業(yè)務(wù)邏輯上具有位置相關(guān)性的一批測(cè)點(diǎn)信息重新進(jìn)行描述，通過設(shè)計(jì)一種測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表的索引組織方式，利用HBase的分區(qū)和負(fù)載均衡功能，使得業(yè)務(wù)邏輯上具有位置相關(guān)性的一批測(cè)點(diǎn)的歷史數(shù)據(jù)在物理存儲(chǔ)上的位置是相鄰的。本發(fā)明具體包括如下步驟:
[0006](I)基于SG-CM模型的業(yè)務(wù)邏輯層測(cè)點(diǎn)描述
[0007]以SG-CM模型為基礎(chǔ)對(duì)業(yè)務(wù)邏輯上具有位置相關(guān)性的一批測(cè)點(diǎn)重新進(jìn)行描述，通過測(cè)量對(duì)象和測(cè)點(diǎn)之間的關(guān)聯(lián)，形成測(cè)點(diǎn)的層次關(guān)系；在該描述中SG-CIM模型類似于一顆倒生長的樹型結(jié)構(gòu)，葉子節(jié)點(diǎn)為測(cè)點(diǎn)，非葉子節(jié)點(diǎn)之間的層次數(shù)由用戶根據(jù)實(shí)際需要增加或減少；從該樹的根節(jié)點(diǎn)到葉子節(jié)點(diǎn)的父節(jié)點(diǎn)所經(jīng)過的路徑用于描述測(cè)量對(duì)象；葉子節(jié)點(diǎn)用于表示該測(cè)量對(duì)象的測(cè)量項(xiàng)，測(cè)量對(duì)象和測(cè)量項(xiàng)的組合即相當(dāng)于傳統(tǒng)實(shí)時(shí)數(shù)據(jù)庫中的測(cè)點(diǎn)；一條數(shù)據(jù)記錄由測(cè)量對(duì)象標(biāo)識(shí)、時(shí)間戳、測(cè)量值、標(biāo)簽構(gòu)成，標(biāo)簽由一個(gè)或多個(gè)鍵值對(duì)描述。
[0008](2)建立測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表的索引組織
[0009]選擇開源分布式列式數(shù)據(jù)庫HBase作為存儲(chǔ)層，測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表的索引組織方式直接影響到查詢性能。
[0010]批量查詢測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表的索引模式設(shè)計(jì)為:測(cè)量對(duì)象標(biāo)識(shí)+基準(zhǔn)時(shí)間+標(biāo)簽，其中測(cè)量對(duì)象標(biāo)識(shí)采用基于SG-CIM模型對(duì)邏輯業(yè)務(wù)上具有位置相關(guān)性的一批測(cè)點(diǎn)的重新描述；基準(zhǔn)時(shí)間的選定，是根據(jù)待存儲(chǔ)測(cè)量對(duì)象的數(shù)據(jù)采集頻率來決定該基準(zhǔn)時(shí)間是整小時(shí)/整天；列是以采集數(shù)據(jù)記錄的時(shí)間戳相對(duì)于基準(zhǔn)時(shí)間的偏移量。
[0011]斷面查詢測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表的索引模式設(shè)計(jì)為:時(shí)間戳+測(cè)量對(duì)象標(biāo)識(shí)+標(biāo)簽，其中時(shí)間戳為采集到每條數(shù)據(jù)記錄的時(shí)間戳。
[0012]由于HBase表的索引是按字典順序排序，則采用本方案中的基于SG-CIM模型對(duì)業(yè)務(wù)邏輯上具有位置相關(guān)性的一批測(cè)點(diǎn)的描述，能夠使得該批測(cè)點(diǎn)的數(shù)據(jù)記錄在測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表中的索引的位置是相鄰的。
[0013]由于HBase是以行的范圍來對(duì)存儲(chǔ)表進(jìn)行切分為不同的reg1n來完成分區(qū)的，同時(shí)結(jié)合HBase自身以reg1n為單位的自動(dòng)負(fù)載均衡，能夠使得該批測(cè)點(diǎn)采集到的歷史數(shù)據(jù)記錄在實(shí)際物理存儲(chǔ)位置上也是相鄰的，這樣對(duì)于該批測(cè)點(diǎn)的批量查詢和斷面查詢時(shí)，能夠減少磁盤的尋道時(shí)間，為業(yè)務(wù)應(yīng)用提供即時(shí)查詢服務(wù)。
[0014]進(jìn)一步，步驟(I)中的標(biāo)簽僅能有一個(gè)描述該測(cè)量對(duì)象的測(cè)量項(xiàng)，但可以有多個(gè)非測(cè)量項(xiàng)的屬性描述信息。
[0015]通過采用上述技術(shù)方案，本發(fā)明方法在電網(wǎng)時(shí)序大數(shù)據(jù)存儲(chǔ)中可以保證業(yè)務(wù)邏輯上具有位置相關(guān)性的一批測(cè)點(diǎn)的歷史數(shù)據(jù)在物理存儲(chǔ)位置上也是相鄰的，這樣對(duì)該批測(cè)點(diǎn)的歷史數(shù)據(jù)進(jìn)行查詢時(shí)能夠減少磁盤尋道時(shí)間，提高查詢效率，為業(yè)務(wù)應(yīng)用提供即時(shí)查詢服務(wù)。

【專利附圖】

【附圖說明】
[0016]圖1是本發(fā)明實(shí)施例基于SG-CIM模型對(duì)小區(qū)為業(yè)務(wù)邏輯單兀內(nèi)的電表的描述不意圖。
[0017]圖2是本發(fā)明實(shí)施例測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表索引的排序方式及分區(qū)示意圖。

【具體實(shí)施方式】
[0018]下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
[0019]本實(shí)施例以對(duì)某小區(qū)的用電信息采集為例進(jìn)行說明。假設(shè)小區(qū)名稱為
Ivsejiayuan,該小區(qū)有A、B、C、......Y共25棟，每棟樓有1、2、3、4、5、6、7、8共8個(gè)單元，每單元有01、02、……、15個(gè)樓層，每個(gè)樓層有01、02、……、19、20個(gè)住戶。假設(shè)一個(gè)居民住戶有一塊電表(測(cè)量對(duì)象)由正向有功電能量(direct1n = fd)、反向有功電能量(direct1n = bd)、正向有功尖電能量(direct1n = fd type = shark)、正向有功峰電能量(direct1n = fd type = peak)、正向有功平電能量(direct1n = fd type=shoulder)、正向有功谷電能量(direct1n = fd type = offpeak)、反向有功尖電能(direct1n = bd type = shark)、反向有功峰電會(huì)泛量(direct1n = bd type = peak)、反向有功平電能量(direct1n = bd type = shoulder)、反向有功谷電能量(direct1n =bd type = offpeak)共 10 個(gè)測(cè)量項(xiàng)。
[0020](I)對(duì)測(cè)量對(duì)象名稱重新進(jìn)行描述
[0021]如圖1所示，根據(jù)以SG-C頂模型對(duì)業(yè)務(wù)邏輯上具有位置相關(guān)性的一批測(cè)點(diǎn)重新進(jìn)行描述，在該用電信息釆集例子中指的是該小區(qū)內(nèi)的所有的電表，在業(yè)務(wù)邏輯上同屬于該小區(qū)，結(jié)合業(yè)務(wù)邏輯對(duì)該小區(qū)內(nèi)的所有電表進(jìn)行重新描述，建立測(cè)量對(duì)象及測(cè)量項(xiàng)之間的層次關(guān)系，如某戶居民家的電表標(biāo)識(shí)為:小區(qū).樓宇.單元.電表編號(hào)，測(cè)量項(xiàng)是電表的正向有功電能量。根據(jù)本方案的描述，對(duì)小區(qū)內(nèi)的電表(測(cè)量對(duì)象)可以描述為如下形式:
[0022]lvsejiayuan.A.unitl.0101
[0023]lvsejiayuan.A.unitl.0102
[0024]lvsejiayuan.A.unitl.0103
[0025]......
[0026]lvsejiayuan.Y.unit8.1517
[0027]lvsejiayuan.Y.unit8.1518
[0028]lvsejiayuan.Y.unit8.1519
[0029]lvsejiayuan.Y.unit8.1520
[0030](2)建立歷史數(shù)據(jù)存儲(chǔ)表索引
[0031]測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表索引的排序方式及分區(qū)如圖2所示。假設(shè)某一時(shí)間點(diǎn)上釆集到部分?jǐn)?shù)據(jù)如下:
[0032]lvsejiayuan.A.unitl.0101140220180223303direct1n = fd type = shark
[0033]lvsejiayuan.A.unitl.010114022018021751direct1n = fd type = peak
[0034]lvsejiayuan.A.unitl.0101140220180220858direct1n = fd type = shoulder
[0035]lvsejiayuan.A.unitl.0101140220180228723direct1n = fd type = offpeak
[0036]lvsejiayuan.A.unitl.0101140220180214444direct1n = fd
[0037]lvsejiayuan.A.unitl.0101140220180212166direct1n = bd type = shark
[0038]lvsejiayuan.A.unitl.0101140220180230560direct1n = bd type = peak
[0039]lvsejiayuan.A.unitl.010114022018022254direct1n = bd type = shoulder
[0040]lvsejiayuan.A.unitl.0101140220180229230direct1n = bd type = offpeak
[0041]lvsejiayuan.A.unitl.0101140220180227249direct1n = bd
[0042]......
[0043]a.上述釆集到的數(shù)據(jù)在批量查詢測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表中具體的索引為分別為:
[0044]lvsejiayuan.A.unitl.01011402200000direct1n = bd
[0045]lvsejiayuan.A.unitl.01011402200000direct1n = bd type = offpeak
[0046]lvsejiayuan.A.unitl.01011402200000direct1n = bd type = peak
[0047]lvsejiayuan.A.unitl.01011402200000direct1n = bd type = shark
[0048]lvsejiayuan.A.unitl.01011402200000direct1n = bd type = shoulder
[0049]lvsejiayuan.A.unitl.01011402200000direct1n = fd
[0050]lvsejiayuan.A.unitl.01011402200000direct1n = fd type = offpeak
[0051]lvsejiayuan.A.unitl.01011402200000direct1n = fd type = peak
[0052]lvsejiayuan.A.unitl.01011402200000direct1n = fd type = shark
[0053]lvsejiayuan.A.unitl.01011402200000direct1n = fd type = shoulder
[0054]在批量查詢測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表中每條數(shù)據(jù)記錄存儲(chǔ)在該條記錄索引所在行的列下，該列為該條數(shù)據(jù)記錄相對(duì)于其索引基準(zhǔn)時(shí)間的偏移量。
[0055]b.上述釆集到的數(shù)據(jù)在斷面查詢測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表中具體的索引分別為:
[0056]1402201802lvsejiayuan.A.unitl.0lOldirect1n = bd
[0057]1402201802lvsejiayuan.A.unitl.0lOldirect1n = bdtype = offpeak
[0058]1402201802lvsejiayuan.A.unitl.0lOldirect1n = bdtype = peak
[0059]1402201802lvsejiayuan.A.unitl.0lOldirect1n = bdtype = shark
[0060]1402201802lvsejiayuan.A.unitl.0lOldirect1n = bdtype = shoulder
[0061]1402201802lvsejiayuan.A.unitl.0lOldirect1n = fd
[0062]1402201802lvsejiayuan.A.unitl.0lOldirect1n = fdtype = offpeak
[0063]1402201802lvsejiayuan.A.unitl.0lOldirect1n = fdtype = peak
[0064]1402201802lvsejiayuan.A.unitl.0lOldirect1n = fdtype = shark
[0065]1402201802lvsejiayuan.A.unitl.0lOldirect1n = fdtype = shoulder
[0066]在斷面查詢測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表中每條數(shù)據(jù)記錄存儲(chǔ)可以簡單的直接存儲(chǔ)在該條記錄索引所在的行的列下，也可以在該表的索引中增加一個(gè)字段來表明該行存放數(shù)據(jù)記錄的條數(shù)，首先對(duì)每條數(shù)據(jù)記錄中的測(cè)量對(duì)象進(jìn)行哈希(hash)，然后對(duì)每條記錄存儲(chǔ)在索引中新增字段表示的行數(shù)取模，最后將該條數(shù)據(jù)記錄值存儲(chǔ)于所得模數(shù)對(duì)應(yīng)的列下。
[0067]上述實(shí)施方式中所涉及到的技術(shù)特征，只要彼此間未構(gòu)成沖突就可以相互組合。本發(fā)明不限于上述實(shí)施例，一切釆用等同替換或等效替換形成的技術(shù)方案均屬于本發(fā)明要求保護(hù)的范圍。
【權(quán)利要求】
1.一種電網(wǎng)時(shí)序大數(shù)據(jù)存儲(chǔ)方法，其特征在于，包括如下步驟: (1)基于SG-CIM模型的業(yè)務(wù)邏輯層測(cè)點(diǎn)描述 以SG-CM模型為基礎(chǔ)對(duì)業(yè)務(wù)邏輯上具有位置相關(guān)性的一批測(cè)點(diǎn)重新進(jìn)行描述，通過測(cè)量對(duì)象和測(cè)點(diǎn)之間的關(guān)聯(lián)，形成測(cè)點(diǎn)的層次關(guān)系；在該描述中，SG-CIM模型為樹型結(jié)構(gòu)，其中葉子節(jié)點(diǎn)為測(cè)點(diǎn)，非葉子節(jié)點(diǎn)之間的層次數(shù)由用戶根據(jù)實(shí)際需要增加或減少；從該樹的根節(jié)點(diǎn)到葉子節(jié)點(diǎn)的父節(jié)點(diǎn)所經(jīng)過的路徑用于描述測(cè)量對(duì)象；葉子節(jié)點(diǎn)用于表示該測(cè)量對(duì)象的測(cè)量項(xiàng)；一條數(shù)據(jù)記錄由測(cè)量對(duì)象標(biāo)識(shí)、時(shí)間戳、測(cè)量值、標(biāo)簽構(gòu)成，其中標(biāo)簽由鍵值對(duì)描述； (2)建立測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表的索引組織 選擇開源分布式列式數(shù)據(jù)庫HBase作為存儲(chǔ)層； 批量查詢測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表的索引模式設(shè)計(jì)為:測(cè)量對(duì)象標(biāo)識(shí)+基準(zhǔn)時(shí)間+標(biāo)簽，其中測(cè)量對(duì)象標(biāo)識(shí)采用基于SG-CIM模型對(duì)邏輯業(yè)務(wù)上具有位置相關(guān)性的一批測(cè)點(diǎn)的重新描述；基準(zhǔn)時(shí)間的選定，是根據(jù)待存儲(chǔ)測(cè)量對(duì)象的數(shù)據(jù)采集頻率來決定該基準(zhǔn)時(shí)間是整小時(shí)/整天冽是以采集數(shù)據(jù)記錄的時(shí)間戳相對(duì)于基準(zhǔn)時(shí)間的偏移量； 斷面查詢測(cè)點(diǎn)數(shù)據(jù)存儲(chǔ)表的索引模式設(shè)計(jì)為:時(shí)間戳+測(cè)量對(duì)象標(biāo)識(shí)+標(biāo)簽，其中時(shí)間戳為采集到每條數(shù)據(jù)記錄的時(shí)間戳。
2.根據(jù)權(quán)利要求1所述的方法，其特征是所述步驟(I)中的標(biāo)簽由鍵值對(duì)描述，該標(biāo)簽僅有一個(gè)描述所述測(cè)量對(duì)象的測(cè)量項(xiàng)。
【文檔編號(hào)】G06F17/30GK104239447SQ201410441649
【公開日】2014年12月24日 申請(qǐng)日期:2014年9月1日 優(yōu)先權(quán)日:2014年9月1日
【發(fā)明者】王遠(yuǎn), 袁軍, 劉琛, 胡健, 張珂珩 申請(qǐng)人:江蘇瑞中數(shù)據(jù)股份有限公司