一種基于分布式時序數(shù)據(jù)服務(wù)的大數(shù)據(jù)分析裝置及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及設(shè)備監(jiān)測分析應(yīng)用領(lǐng)域，具體涉及到一種基于分布式時序數(shù)據(jù)服務(wù)的 大數(shù)據(jù)分析裝置及方法。
【背景技術(shù)】
[0002] 隨著計算機技術(shù)的飛速發(fā)展，各行業(yè)的數(shù)據(jù)急速增長，數(shù)據(jù)量變的越來越大，類型 也越來越多，數(shù)據(jù)結(jié)構(gòu)也趨于復(fù)雜化，傳統(tǒng)的數(shù)據(jù)庫不但各設(shè)備獨立放置，并且需要較大的 部署空間，存在不易部署、成本較高等缺點，不能滿足用戶的一般要求。
[0003] 時序數(shù)據(jù)是帶時間標(biāo)簽的時間序列數(shù)據(jù)，其典型特點是產(chǎn)生頻率快、嚴(yán)重依賴于 采集時間、測點多信息量大。在電力行業(yè)中，為了保證設(shè)備安全、穩(wěn)定、高效地運行，通常會 對發(fā)電、變電等各類設(shè)備的運行狀態(tài)進行實時監(jiān)測，采集獲得大量的時序數(shù)據(jù)可作為設(shè)備 運行狀態(tài)評估、設(shè)備運行故障預(yù)警、設(shè)備可靠性分析等高級應(yīng)用的基礎(chǔ)，因而，如何快速、高 效、及時地處理海量實時數(shù)據(jù)，一直是電力、化工、石油、鋼鐵等重資產(chǎn)行業(yè)面臨的一項重大 課題。
[0004] 電力行業(yè)中歷史業(yè)務(wù)數(shù)據(jù)收集和分析、實時或準(zhǔn)實時數(shù)據(jù)的即時分析是電力行業(yè) 中信息化建設(shè)過程中比較重要的內(nèi)容，它需要一套完整、穩(wěn)定、契合實際業(yè)務(wù)場景的大數(shù)據(jù) 分析裝置的解決方案，對設(shè)備故障預(yù)警等實時分析類業(yè)務(wù)場景提供穩(wěn)定可靠的底層數(shù)據(jù)支 撐。
[0005] 近年來，隨著云計算、大數(shù)據(jù)、機器學(xué)習(xí)、數(shù)據(jù)挖掘等IT技術(shù)迅猛發(fā)展，分布式存 儲、高性能計算在理論研究和技術(shù)實踐層面均獲得了關(guān)鍵性突破，業(yè)界涌現(xiàn)出了一批以 Hadoop為代表的大數(shù)據(jù)處理和應(yīng)用解決方案。
[0006] Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，包括分布式文件系統(tǒng)HDFS(Hadoop DistributedFileSystem)、分布式存儲系統(tǒng)HBase、并行計算編程模型MapReduce等幾個 核心部分，它可以極大地簡化大規(guī)模數(shù)據(jù)的處理過程，但它在功能完整性、運行穩(wěn)定性方面 存在一定的局限性，而基于Hadoop衍生的一些商用大數(shù)據(jù)平臺又跟電力業(yè)務(wù)場景的實際 需求存在偏差，因而，深度分析研究電力行業(yè)的業(yè)務(wù)需求，構(gòu)建一種基于分布式時序數(shù)據(jù)服 務(wù)的大數(shù)據(jù)分析裝置，具有深遠的意義和較強的利用價值。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于分布式時序數(shù)據(jù)服務(wù)的大 數(shù)據(jù)分析裝置及方法，可以快速、高效、及時地處理海量實時數(shù)據(jù)，同時保證設(shè)備安全、穩(wěn) 定、高效地運行。
[0008] 本發(fā)明提供了一種基于分布式時序數(shù)據(jù)服務(wù)的大數(shù)據(jù)分析裝置，包括監(jiān)測傳感 器、監(jiān)測數(shù)據(jù)存儲器、設(shè)備數(shù)據(jù)存儲器、數(shù)據(jù)整合單元、時序數(shù)據(jù)存儲器、計算單元、無線終 端和數(shù)據(jù)服務(wù)終端，其中監(jiān)測數(shù)據(jù)存儲器分別與監(jiān)測傳感器和數(shù)據(jù)整合單元，數(shù)據(jù)整合單 元還分別連接設(shè)備數(shù)據(jù)存儲器和時序數(shù)據(jù)存儲器，數(shù)據(jù)整合單元、時序數(shù)據(jù)存儲器、計算單 元和數(shù)據(jù)服務(wù)終端依次連接，數(shù)據(jù)服務(wù)終端還分別與時序數(shù)據(jù)存儲器、監(jiān)測傳感器和無線 終端連接；
[0009] 監(jiān)測傳感器，用于實時或準(zhǔn)實時獲取設(shè)備監(jiān)測數(shù)據(jù)，并將采集到的設(shè)備監(jiān)測數(shù)據(jù) 傳輸給監(jiān)測數(shù)據(jù)存儲器；
[0010] 監(jiān)測數(shù)據(jù)存儲器，用于將設(shè)備監(jiān)測數(shù)據(jù)存儲，并且以流式輸出的方式，將設(shè)備監(jiān)測 數(shù)據(jù)輸出至數(shù)據(jù)整合單元；
[0011] 設(shè)備數(shù)據(jù)存儲器，用于存儲常規(guī)的設(shè)備數(shù)據(jù)，并且以批量輸出的方式，將常規(guī)的設(shè) 備數(shù)據(jù)輸出至數(shù)據(jù)整合單元；
[0012] 數(shù)據(jù)整合單元，用于以流式接入的方式接收來自監(jiān)測數(shù)據(jù)存儲器發(fā)送的設(shè)備監(jiān)測 數(shù)據(jù)和以批量接入的方式，通過預(yù)定義的調(diào)度計劃自動獲取設(shè)備數(shù)據(jù)存儲器中的常規(guī)的設(shè) 備數(shù)據(jù)，其中數(shù)據(jù)整合單元還包括預(yù)處理單元，用于將接收到的設(shè)備監(jiān)測數(shù)據(jù)和常規(guī)的設(shè) 備數(shù)據(jù)以預(yù)處理規(guī)則進行數(shù)據(jù)的清洗、過濾、轉(zhuǎn)換的預(yù)處理，并將預(yù)處理后的數(shù)據(jù)輸出至 時序數(shù)據(jù)存儲器；
[0013] 時序數(shù)據(jù)存儲器，用于存儲預(yù)處理后的數(shù)據(jù)和配置數(shù)據(jù)，并且將訪問頻度高、性能 要求高的數(shù)據(jù)集中緩存到時序數(shù)據(jù)存儲器中的內(nèi)存器；
[0014] 計算單元，用于驅(qū)動調(diào)度引擎來調(diào)用和接收時序數(shù)據(jù)存儲器存儲的數(shù)據(jù)，并且依 據(jù)預(yù)先編排好的處理邏輯對調(diào)用和接收的數(shù)據(jù)進行處理，訓(xùn)練形成數(shù)據(jù)挖掘模型，還用于 將經(jīng)過計算單元處理后的數(shù)據(jù)回傳到時序數(shù)據(jù)存儲器和/或數(shù)據(jù)服務(wù)端；
[0015] 數(shù)據(jù)服務(wù)端，包括數(shù)據(jù)服務(wù)端處理器、接口單元和顯示裝置，其中數(shù)據(jù)服務(wù)端處理 器用于從時序數(shù)據(jù)存儲器直接讀取數(shù)據(jù)和/或接收來自計算單元處理后的數(shù)據(jù)，并且進行 分析處理，將處理后的結(jié)果通過顯示裝置進行顯示，同時通過接口單元將處理后的結(jié)果發(fā) 送給無線終端；
[0016] 無線終端，用于接收來自數(shù)據(jù)服務(wù)端發(fā)送的處理后的結(jié)果，并且能夠無線發(fā)送控 制命令至數(shù)據(jù)服務(wù)端，數(shù)據(jù)服務(wù)端接收到控制命令后控制監(jiān)測傳感器，調(diào)整監(jiān)測傳感器的 數(shù)據(jù)采集頻率。
[0017] 進一步地，所述監(jiān)測傳感器為安裝于監(jiān)測設(shè)備上的信息采集傳感器。
[0018] 進一步地，所述監(jiān)測傳感器為監(jiān)測設(shè)備安裝區(qū)域的攝像頭和/或溫度檢測器。
[0019] 進一步地，還包括與數(shù)據(jù)整合單元連接的人工輸入裝置，用于在因安全要求實施 了隔離措施或不支撐數(shù)據(jù)接入的情形下輸入監(jiān)測設(shè)備數(shù)據(jù)。
[0020] 進一步地，配置數(shù)據(jù)為描述設(shè)備監(jiān)測數(shù)據(jù)和/或常規(guī)的設(shè)備數(shù)據(jù)的業(yè)務(wù)含義數(shù) 據(jù)、存儲結(jié)構(gòu)數(shù)據(jù)和/或處理邏輯數(shù)據(jù)。
[0021] 進一步地，所述訪問頻度高、性能要求高的數(shù)據(jù)是指近期的監(jiān)測數(shù)據(jù)、常規(guī)的設(shè)備 數(shù)據(jù)，以及關(guān)注率較高的歷史指標(biāo)數(shù)據(jù)、模型元數(shù)據(jù)和預(yù)處理規(guī)則數(shù)據(jù)。
[0022] 進一步地，所述計算單元還用于調(diào)用和接收時序數(shù)據(jù)存儲器中設(shè)備運行產(chǎn)生的新 的時序數(shù)據(jù)，并對新的時序數(shù)據(jù)重復(fù)執(zhí)行訓(xùn)練過程，對數(shù)據(jù)挖掘模型進行更新。
[0023] 進一步地，數(shù)據(jù)服務(wù)端處理后的結(jié)果為故障預(yù)警結(jié)果和/或負荷預(yù)測結(jié)果。
[0024] 進一步地，所述無線終端為筆記本電腦、平板電腦和/或手機。
[0025] 本發(fā)明還提供一種基于分布式時序數(shù)據(jù)服務(wù)的大數(shù)據(jù)分析裝置的大數(shù)據(jù)分析方 法，依次包括如下步驟：
[0026] (1)初始化，設(shè)置數(shù)據(jù)服務(wù)端的初始參數(shù)，根據(jù)設(shè)置好的初始參數(shù)控制監(jiān)測傳感器 的采樣周期為每秒6次，采樣時間為1分鐘，將1分鐘內(nèi)采樣的數(shù)據(jù)求平均值A(chǔ);
[0027] (2)在同樣的初始參數(shù)條件下，重復(fù)步驟（1)3次，分別求得3次的平均值B、C、D;
[0028] (3)將平均值A(chǔ)、B、C、D求和后再求平均值P:
[0029] A.如果^100% ￡： 0.2 ,則監(jiān)測傳感器性能穩(wěn)定，進入步驟⑷；
[0030] B.如果1()0% > 0.2 .則監(jiān)測傳感器性能不穩(wěn)定，則進入步驟⑴；
[0031] (4)實時或準(zhǔn)實時獲取設(shè)備監(jiān)測數(shù)據(jù)，并將采集到的設(shè)備監(jiān)測數(shù)據(jù)傳輸給監(jiān)測數(shù) 據(jù)存儲器后存儲，以流式輸出的方式，將設(shè)備監(jiān)測數(shù)據(jù)輸出至數(shù)據(jù)整合單元；
[0032] (5)以批量接入的方式，通過預(yù)定義的調(diào)度計劃自動獲取設(shè)備數(shù)據(jù)存儲器中的常 規(guī)的設(shè)備數(shù)據(jù)，將設(shè)備監(jiān)測數(shù)據(jù)和常規(guī)的設(shè)備數(shù)據(jù)以預(yù)處理規(guī)則進行數(shù)據(jù)的清洗、過濾、轉(zhuǎn) 換的預(yù)處理，并將預(yù)處理后的數(shù)據(jù)輸出至?xí)r序數(shù)據(jù)存儲器進行存儲；
[0033] (6)將近期的監(jiān)測數(shù)據(jù)、常規(guī)的設(shè)備數(shù)據(jù)，以及關(guān)注率較高的歷史指標(biāo)數(shù)據(jù)、模型 元數(shù)據(jù)和預(yù)處理規(guī)則數(shù)據(jù)集中緩存到時序數(shù)據(jù)存儲器中的內(nèi)存器；
[0034] (7)通過計算單元驅(qū)動調(diào)度引擎來調(diào)用和接收時序數(shù)據(jù)存儲器存儲的數(shù)據(jù)，并且 依據(jù)預(yù)先編排好的處理邏輯對調(diào)用和接收的數(shù)據(jù)進行處理，訓(xùn)練形成數(shù)據(jù)挖掘模型，將經(jīng) 過計算單元處理后的數(shù)據(jù)回傳到時序數(shù)據(jù)存儲器和/或數(shù)據(jù)服務(wù)端；
[0035] (8)從時序數(shù)據(jù)存儲器直接讀取數(shù)據(jù)和/或接收來自計算單元處理后的數(shù)據(jù)，并 且進行分析處理，將處理后的結(jié)果通過顯示裝置進行顯示，同時通過接口單元將處理后的 結(jié)果發(fā)送給無線終端；
[0036] (9)通過無線終端接收來自數(shù)據(jù)服務(wù)端發(fā)送的處理后的結(jié)果，根據(jù)處理后的結(jié)果 決定是否發(fā)送控制命令至數(shù)據(jù)服務(wù)端，數(shù)據(jù)服務(wù)端接收到控制命令后控制監(jiān)測傳感器，調(diào) 整監(jiān)測傳感器的數(shù)據(jù)采集頻率，其中處理后的結(jié)果為故障預(yù)警結(jié)果和/或負荷預(yù)測結(jié)果， 根據(jù)處理后的結(jié)果決定是否發(fā)送控制命令至數(shù)據(jù)服務(wù)端滿足：
[0037] A.當(dāng)故障預(yù)警結(jié)果和/或負荷預(yù)測結(jié)果為正常時，降低監(jiān)測傳感器的數(shù)據(jù)采集頻 率；
[0038] B.當(dāng)故障預(yù)警結(jié)果和/或負荷預(yù)測結(jié)果為不正常時，提高監(jiān)測傳感器的數(shù)據(jù)采集 頻率，并且重復(fù)步驟（1)-(9)，同時在數(shù)據(jù)服務(wù)端發(fā)出警報，在數(shù)據(jù)服務(wù)端的顯示裝置上實 時顯示故障預(yù)警結(jié)果和/或負荷預(yù)測結(jié)果，并且通知維修人員。
[0039]