變電站非結(jié)構(gòu)化數(shù)據(jù)的處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種變電站非結(jié)構(gòu)化數(shù)據(jù)的處理的方法。
【背景技術(shù)】
[0002]為滿足社會(huì)日益增長(zhǎng)的用電需求，電網(wǎng)企業(yè)不斷壯大，變電設(shè)備成倍增長(zhǎng)，變電站設(shè)備運(yùn)維管理利用集中采集、智能分析、智能控制、智能展示等技術(shù)實(shí)現(xiàn)變電站內(nèi)運(yùn)行監(jiān)控、設(shè)備運(yùn)維管理、環(huán)境管理等功能，為變電站運(yùn)行人員、管理人員、檢修人員提供“一站式”的決策支持服務(wù)。變電站設(shè)備運(yùn)維管理是一個(gè)綜合的監(jiān)控管理系統(tǒng)，其采集的信息多而全，其中不但包含傳統(tǒng)結(jié)構(gòu)化的數(shù)據(jù)，如狀態(tài)監(jiān)測(cè)數(shù)據(jù)等，而且包含非結(jié)構(gòu)化數(shù)據(jù)，比如錄波、視頻等，這類數(shù)據(jù)的特點(diǎn)是無法用統(tǒng)一的結(jié)構(gòu)來表示，通常以文件的形式存放。為了對(duì)其進(jìn)行統(tǒng)一的管理，在傳統(tǒng)關(guān)系庫中對(duì)其的處理通常以壓縮塊的方式存放，所以對(duì)此類數(shù)據(jù)的存取需要進(jìn)行壓縮和解壓，進(jìn)而造成在傳統(tǒng)關(guān)系庫中對(duì)此類數(shù)據(jù)的處理和訪問的功能局限訪問效率低下。
[0003]由于非結(jié)構(gòu)化數(shù)據(jù)的容量相較前者來說更大，隨著時(shí)間推移，所占用的磁盤空間將會(huì)變得非常龐大，可擴(kuò)展性也是亟需解決的問題。采用商業(yè)庫有一些應(yīng)對(duì)此類問題的折衷方案，例如存儲(chǔ)近幾年的數(shù)據(jù)，更早的數(shù)據(jù)導(dǎo)出以文件形式存放等。此類方式，對(duì)于數(shù)據(jù)做長(zhǎng)周期的、復(fù)雜的統(tǒng)計(jì)分析來說，需要進(jìn)行備份數(shù)據(jù)的重新載入，數(shù)據(jù)迀移代價(jià)比較大。

【發(fā)明內(nèi)容】

[0004]基于此，本發(fā)明提供一種變電站非結(jié)構(gòu)化數(shù)據(jù)的處理方法，其數(shù)據(jù)訪問處理的速度快，并且便于數(shù)據(jù)迀移。
[0005]一種變電站非結(jié)構(gòu)化數(shù)據(jù)的處理方法，包括如下步驟:
[0006]獲取變電站設(shè)備的非結(jié)構(gòu)化數(shù)據(jù)、所述非結(jié)構(gòu)化數(shù)據(jù)的附加信息和加工數(shù)據(jù)；所述附加信息包括所述非結(jié)構(gòu)化數(shù)據(jù)的類型、產(chǎn)生時(shí)間、數(shù)據(jù)來源和數(shù)據(jù)質(zhì)量；
[0007]根據(jù)預(yù)設(shè)的表結(jié)構(gòu)將所述非結(jié)構(gòu)化數(shù)據(jù)、附加信息和加工數(shù)據(jù)入庫；其中，所述表結(jié)構(gòu)的行健包括與所述類型對(duì)應(yīng)的類型掩碼、產(chǎn)生時(shí)間、數(shù)據(jù)來源和與所述數(shù)據(jù)質(zhì)量對(duì)應(yīng)的質(zhì)量碼，所述表結(jié)構(gòu)的列族包括存儲(chǔ)所述非結(jié)構(gòu)化數(shù)據(jù)的原始數(shù)據(jù)族、存儲(chǔ)所述附加信息的數(shù)據(jù)描述族和存儲(chǔ)所述加工數(shù)據(jù)的加工數(shù)據(jù)族；
[0008]在接收到數(shù)據(jù)查詢請(qǐng)求時(shí)，根據(jù)所述數(shù)據(jù)查詢請(qǐng)求查詢所述表結(jié)構(gòu)并獲得查詢對(duì)象，根據(jù)所述查詢對(duì)象獲得查詢結(jié)果。
[0009]本發(fā)明的變電站非結(jié)構(gòu)化數(shù)據(jù)的處理方法，表結(jié)構(gòu)的行健包括類型掩碼、產(chǎn)生時(shí)間、數(shù)據(jù)來源和質(zhì)量碼，列族包括原始數(shù)據(jù)族、數(shù)據(jù)描述族和加工數(shù)據(jù)族，因此在數(shù)據(jù)格式定義階段有效的將原始數(shù)據(jù)、描述數(shù)據(jù)進(jìn)行了數(shù)據(jù)模式的設(shè)計(jì)，將非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一的管理并納入同一個(gè)處理框架，克服了傳統(tǒng)技術(shù)中采用文件系統(tǒng)存儲(chǔ)處理非結(jié)構(gòu)化數(shù)據(jù)在可擴(kuò)展性、統(tǒng)一管理性方面的不足。該方法具備可擴(kuò)展性，數(shù)據(jù)規(guī)模理論上無限制，可以存儲(chǔ)電網(wǎng)運(yùn)行產(chǎn)生的長(zhǎng)周期非結(jié)構(gòu)化數(shù)據(jù)，其數(shù)據(jù)訪問處理的速度快，并且便于數(shù)據(jù)迀移。
【附圖說明】
[0010]圖1為本發(fā)明變電站非結(jié)構(gòu)化數(shù)據(jù)的處理方法在一實(shí)施例中的流程示意圖。
[0011]圖2為行健的示意圖。
[0012]圖3為并行計(jì)算框架的示意圖。
【具體實(shí)施方式】
[0013]下面結(jié)合實(shí)施例及附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明，但本發(fā)明的實(shí)施方式不限于此。
[0014]如圖1所示，是本發(fā)明一種變電站非結(jié)構(gòu)化數(shù)據(jù)的處理方法的流程示意圖，包括如下步驟:
[0015]S11、獲取變電站設(shè)備的非結(jié)構(gòu)化數(shù)據(jù)、所述非結(jié)構(gòu)化數(shù)據(jù)的附加信息和加工數(shù)據(jù)；所述附加信息包括所述非結(jié)構(gòu)化數(shù)據(jù)的類型、產(chǎn)生時(shí)間、數(shù)據(jù)來源和數(shù)據(jù)質(zhì)量；
[0016]S12、根據(jù)預(yù)設(shè)的表結(jié)構(gòu)將所述非結(jié)構(gòu)化數(shù)據(jù)、附加信息和加工數(shù)據(jù)入庫；其中，所述表結(jié)構(gòu)的行健包括與所述類型對(duì)應(yīng)的類型掩碼、產(chǎn)生時(shí)間、數(shù)據(jù)來源和與所述數(shù)據(jù)質(zhì)量對(duì)應(yīng)的質(zhì)量碼，所述表結(jié)構(gòu)的列族包括存儲(chǔ)所述非結(jié)構(gòu)化數(shù)據(jù)的原始數(shù)據(jù)族、存儲(chǔ)所述附加信息的數(shù)據(jù)描述族和存儲(chǔ)所述加工數(shù)據(jù)的加工數(shù)據(jù)族；
[0017]S13、在接收到數(shù)據(jù)查詢請(qǐng)求時(shí)，根據(jù)所述數(shù)據(jù)查詢請(qǐng)求查詢所述表結(jié)構(gòu)并獲得查詢對(duì)象，根據(jù)所述查詢對(duì)象獲得查詢結(jié)果；
[0018]本實(shí)施例的變電站非結(jié)構(gòu)化數(shù)據(jù)的處理方法中設(shè)計(jì)的表結(jié)構(gòu)，其行健包括類型掩碼、產(chǎn)生時(shí)間、數(shù)據(jù)來源和質(zhì)量碼，其列族包括原始數(shù)據(jù)族、數(shù)據(jù)描述族和加工數(shù)據(jù)族，本實(shí)施例的方法在數(shù)據(jù)格式定義階段有效的將原始數(shù)據(jù)、描述數(shù)據(jù)進(jìn)行了數(shù)據(jù)模式的設(shè)計(jì)，將非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一的管理并納入同一個(gè)處理框架，克服了傳統(tǒng)技術(shù)中采用文件系統(tǒng)存儲(chǔ)處理非結(jié)構(gòu)化數(shù)據(jù)在可擴(kuò)展性、統(tǒng)一管理性方面的不足。該方法具備可擴(kuò)展性，數(shù)據(jù)規(guī)模理論上無限制，可以存儲(chǔ)電網(wǎng)運(yùn)行產(chǎn)生的長(zhǎng)周期非結(jié)構(gòu)化數(shù)據(jù)，其數(shù)據(jù)訪問處理的速度快，并且便于數(shù)據(jù)迀移。
[0019]對(duì)于步驟S11、獲取變電站設(shè)備的非結(jié)構(gòu)化數(shù)據(jù)、所述非結(jié)構(gòu)化數(shù)據(jù)的附加信息和加工數(shù)據(jù)；所述附加信息包括所述非結(jié)構(gòu)化數(shù)據(jù)的類型、產(chǎn)生時(shí)間、數(shù)據(jù)來源和數(shù)據(jù)質(zhì)量；
[0020]非結(jié)構(gòu)化數(shù)據(jù)是指變電站設(shè)備中產(chǎn)生的包括日志數(shù)據(jù)、告警數(shù)據(jù)、錄波數(shù)據(jù)、音頻數(shù)據(jù)、視頻數(shù)據(jù)等原始數(shù)據(jù)，附加信息是指該變電站設(shè)備在產(chǎn)生非結(jié)構(gòu)化數(shù)據(jù)時(shí)附加的數(shù)據(jù)，加工數(shù)據(jù)是指根據(jù)不同用戶設(shè)定的數(shù)據(jù)處理方法對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理后得到的二次加工數(shù)據(jù)；其中，非結(jié)構(gòu)化數(shù)據(jù)及其附加信息是由變電站設(shè)備產(chǎn)生，而加工數(shù)據(jù)是在對(duì)非結(jié)構(gòu)化數(shù)據(jù)及其附加信息進(jìn)行一定的處理上產(chǎn)生的，在數(shù)據(jù)初始階段不一定產(chǎn)生有加工數(shù)據(jù)。
[0021]對(duì)于步驟S12、根據(jù)預(yù)設(shè)的表結(jié)構(gòu)將所述非結(jié)構(gòu)化數(shù)據(jù)、附加信息和加工數(shù)據(jù)入庫；其中，所述表結(jié)構(gòu)的行健包括與所述類型對(duì)應(yīng)的類型掩碼、產(chǎn)生時(shí)間、數(shù)據(jù)來源和與所述數(shù)據(jù)質(zhì)量對(duì)應(yīng)的質(zhì)量碼，所述表結(jié)構(gòu)的列族包括存儲(chǔ)所述非結(jié)構(gòu)化數(shù)據(jù)的原始數(shù)據(jù)族、存儲(chǔ)所述附加信息的數(shù)據(jù)描述族和存儲(chǔ)所述加工數(shù)據(jù)的加工數(shù)據(jù)族；
[0022]為了對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行有效集中管理，需要將其進(jìn)行統(tǒng)一的存儲(chǔ)模式設(shè)計(jì)；HBase中對(duì)于數(shù)據(jù)形態(tài)沒有嚴(yán)格的定義，數(shù)據(jù)記錄可能包含不同的列、不確定的大小。存儲(chǔ)數(shù)據(jù)使用四維坐標(biāo)系統(tǒng):行健、列族、列限定符和時(shí)間版本。只有行鍵是一種從行的方向有效篩選數(shù)據(jù)集提高命中準(zhǔn)確率和查詢效率的元素，對(duì)其設(shè)計(jì)基于非結(jié)構(gòu)數(shù)據(jù)預(yù)期的訪問模式來建模，因此本實(shí)施例根據(jù)非結(jié)構(gòu)化數(shù)據(jù)的特點(diǎn)對(duì)行鍵進(jìn)行特殊設(shè)計(jì)。
[0023]非結(jié)構(gòu)化數(shù)據(jù)的類型，可以為巡維數(shù)據(jù)中的日志數(shù)據(jù)、告警數(shù)據(jù)、錄波數(shù)據(jù)、音頻數(shù)據(jù)、視頻數(shù)據(jù)等；在表結(jié)構(gòu)的行健中，可采用預(yù)設(shè)的標(biāo)識(shí)作為類型掩碼字段值；
[0024]非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生時(shí)間，可為電力系統(tǒng)產(chǎn)生此非結(jié)構(gòu)化數(shù)據(jù)的時(shí)間戳，該時(shí)間一般由產(chǎn)生該數(shù)據(jù)的設(shè)備附加在數(shù)據(jù)上；在表結(jié)構(gòu)的行健中，存儲(chǔ)到庫中這一字段時(shí)可采用UNIX時(shí)間戳；
[0025]非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)來源，可為標(biāo)識(shí)此數(shù)據(jù)的來源，最低到設(shè)備級(jí)別，其中可包含三個(gè)子字段:區(qū)域、廠站或設(shè)備；在表結(jié)構(gòu)的行健中，可采用預(yù)設(shè)的標(biāo)識(shí)作為數(shù)據(jù)來源字段值；
[0026]非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)質(zhì)量，可從數(shù)據(jù)的合法性(包括好、無效、未定義、可疑)、故障、舊數(shù)據(jù)、操作員閉鎖等方面來描述數(shù)據(jù)的質(zhì)量，在表結(jié)構(gòu)的行健中，可采用掩碼的數(shù)據(jù)結(jié)構(gòu)來定義質(zhì)量碼，用預(yù)設(shè)的標(biāo)識(shí)作為數(shù)據(jù)質(zhì)量字段值。
[0027]在列的設(shè)計(jì)上，采用三個(gè)列族:原始數(shù)據(jù)族、數(shù)據(jù)描述族和加工數(shù)據(jù)族；同一列族的數(shù)據(jù)在物理上存儲(chǔ)在同一個(gè)存儲(chǔ)區(qū)域下；此列族的設(shè)計(jì)考慮將來針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的預(yù)期處理場(chǎng)景。
[0028]原始數(shù)據(jù)族存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)的本體內(nèi)容，按照字節(jié)流的方式存儲(chǔ)。此列族為非結(jié)構(gòu)化數(shù)據(jù)原始內(nèi)容，作為數(shù)據(jù)的導(dǎo)出及自定義數(shù)據(jù)分析挖掘方法的應(yīng)用的輸入。該列被單獨(dú)劃分為一列族，是因?yàn)榉墙Y(jié)構(gòu)化數(shù)據(jù)一般數(shù)據(jù)容量較大，對(duì)于多數(shù)查詢場(chǎng)合用戶一般更關(guān)心加工出來的二次熟數(shù)據(jù)和其描述數(shù)據(jù)；而本體內(nèi)容則更多被數(shù)據(jù)分析挖掘用戶使用。如果原始數(shù)據(jù)列與其他列劃分為一個(gè)列族，由于列族內(nèi)的數(shù)據(jù)物理上在一起，對(duì)于只查詢描述數(shù)據(jù)和熟數(shù)據(jù)場(chǎng)合，效率將非常低下，將其獨(dú)立出來有助于提高查詢和分析的效率。
[0029]數(shù)據(jù)描述族中，則是對(duì)此非結(jié)構(gòu)化數(shù)據(jù)的附加信息進(jìn)行記錄，包括非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容的格式描述文件，數(shù)據(jù)的大小等。即使相同類型的非結(jié)構(gòu)化數(shù)據(jù)，其內(nèi)容的格式也是不同的，對(duì)應(yīng)的格式描述文件保證了在解析文件內(nèi)容時(shí)能生成解析器對(duì)象，從而保證在并行處理海量非結(jié)構(gòu)化數(shù)據(jù)的方法的普適性。
[0030]加工數(shù)據(jù)族:存儲(chǔ)對(duì)非結(jié)構(gòu)化數(shù)據(jù)的二次加工數(shù)據(jù)，由于各種定制的處理方法對(duì)非結(jié)構(gòu)化數(shù)據(jù)的處理流程不同，其輸出產(chǎn)生的結(jié)果也不同。而列族內(nèi)的列是稀疏和可定制的，所有處理結(jié)果的輸出可存儲(chǔ)于此列族，這點(diǎn)保證了方法的可擴(kuò)展性。
[0031]在一較佳實(shí)施例中，所述根據(jù)預(yù)設(shè)的表結(jié)構(gòu)將所述非結(jié)構(gòu)化數(shù)據(jù)、附加信息和加工數(shù)據(jù)入庫的步驟包括:
[0032]從所述附加信息中獲得數(shù)據(jù)類型、產(chǎn)生時(shí)間、數(shù)據(jù)來源和數(shù)據(jù)質(zhì)量，并根據(jù)預(yù)設(shè)的類型掩碼、產(chǎn)生時(shí)間、數(shù)據(jù)來源和質(zhì)量碼的排列順序、預(yù)設(shè)的字節(jié)長(zhǎng)度和預(yù)設(shè)的標(biāo)識(shí)組合生成行健值；
[0033]在本實(shí)施例中，行鍵設(shè)計(jì)采用組合各種固定長(zhǎng)度的字段形成總的鍵，使得主鍵具有多字段索引能力。采用固定長(zhǎng)度分割而不是分隔符對(duì)各個(gè)字段進(jìn)行分割，是因?yàn)椴捎萌魏蔚姆指舴伎赡軙?huì)跟索引字段中的值重復(fù)，很可能造成數(shù)據(jù)解析的錯(cuò)誤。而采用固定長(zhǎng)度的字段則語義明確，有利于后續(xù)的查詢與解析。
[0034]如圖2所示，是本實(shí)施例中行健的示意圖，該行健包括由數(shù)據(jù)類型、產(chǎn)生時(shí)間、數(shù)據(jù)來源和數(shù)據(jù)質(zhì)量按順序組合拼接構(gòu)成的主鍵，其中類型掩碼I字節(jié)、產(chǎn)生時(shí)間8字節(jié)、數(shù)據(jù)來源24字節(jié)、質(zhì)量碼I字節(jié)；各字段排列順序和字節(jié)大小可根據(jù)實(shí)際情況而設(shè)定。、接著，將所述行健值存儲(chǔ)在所述表結(jié)構(gòu)中的其中一行行健中，將與所述附加信息對(duì)應(yīng)的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在與該行行健對(duì)應(yīng)的所述原始數(shù)據(jù)族中、將所述附加信息存儲(chǔ)在與該行行健對(duì)應(yīng)的所述數(shù)據(jù)描述族中，并將與所述附加信息對(duì)應(yīng)的加工數(shù)據(jù)存儲(chǔ)在與該行行健對(duì)應(yīng)的所述加工數(shù)據(jù)族中。
[0035]在一較佳實(shí)施例中，所述根據(jù)預(yù)設(shè)的表結(jié)構(gòu)將所述非結(jié)構(gòu)化數(shù)據(jù)、附加信息和加工數(shù)據(jù)入庫的步驟包括:
[0036]根據(jù)預(yù)設(shè)的表結(jié)構(gòu)將所述非結(jié)構(gòu)化數(shù)據(jù)、附加信息和加工數(shù)據(jù)存儲(chǔ)在HBase數(shù)據(jù)庫中。
[0037]對(duì)于步驟S13、在接收到數(shù)據(jù)查詢請(qǐng)求時(shí)，根據(jù)所述數(shù)據(jù)查詢請(qǐng)求查詢所述表結(jié)構(gòu)并獲得查詢對(duì)象，根據(jù)所述查詢對(duì)象獲得查詢結(jié)果；
[0038]在獲得數(shù)據(jù)查詢請(qǐng)求時(shí)，查詢所述表結(jié)構(gòu)中與所述數(shù)據(jù)查詢請(qǐng)求對(duì)應(yīng)的行健，獲取與所述對(duì)應(yīng)的行健同一行的列族中存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)、附加信息和加工數(shù)據(jù)，得到查詢結(jié)果。
[0039]在一較佳實(shí)施例中，在預(yù)設(shè)的基于Hadoop的并行運(yùn)算框架中根據(jù)所述數(shù)據(jù)查詢請(qǐng)求查詢所述表結(jié)構(gòu)并獲得查詢對(duì)象，根據(jù)所述查詢對(duì)象獲得查詢結(jié)果；
[0040]所述在預(yù)設(shè)的基于Hadoop的并行運(yùn)算框架中根據(jù)所述數(shù)據(jù)查詢請(qǐng)求查詢所述表結(jié)構(gòu)并獲