電網(wǎng)數(shù)據(jù)處理方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種電網(wǎng)數(shù)據(jù)處理方法及裝置。其中，該方法包括：采集電網(wǎng)業(yè)務(wù)系統(tǒng)中的電網(wǎng)業(yè)務(wù)數(shù)據(jù)，其中，電網(wǎng)業(yè)務(wù)數(shù)據(jù)至少包括：用電信息數(shù)據(jù)、電網(wǎng)網(wǎng)架數(shù)據(jù)、系統(tǒng)運維數(shù)據(jù)和電網(wǎng)運行數(shù)據(jù)；對電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行預(yù)處理，得到預(yù)處理數(shù)據(jù)；根據(jù)預(yù)處理數(shù)據(jù)的類型，對預(yù)處理數(shù)據(jù)以不同的存儲方式進行存儲；對預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，得到與每個臺區(qū)對應(yīng)的全年各個時間段的臺區(qū)負載參數(shù)。本發(fā)明解決了現(xiàn)有技術(shù)僅對用電采集數(shù)據(jù)進行采集，導(dǎo)致的無法與其他子業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進行關(guān)聯(lián)從而無法對電網(wǎng)運行情況進行分析的問題。
【專利說明】
電網(wǎng)數(shù)據(jù)處理方法及裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及智能電網(wǎng)領(lǐng)域，具體而言，涉及一種電網(wǎng)數(shù)據(jù)處理方法及裝置。

【背景技術(shù)】
[0002]隨著國家電網(wǎng)公司智能電網(wǎng)建設(shè)進程不斷推進，用電信息采集系統(tǒng)的快速發(fā)展，采集數(shù)據(jù)爆炸的式增長，積累了海量的數(shù)據(jù)。
[0003]目前只有用電采集系統(tǒng)實現(xiàn)了用電采集數(shù)據(jù)的應(yīng)用，沒有實現(xiàn)對其他子業(yè)務(wù)系統(tǒng)中的電網(wǎng)業(yè)務(wù)數(shù)據(jù)的應(yīng)用。在業(yè)務(wù)方面，用電采集系統(tǒng)對采集數(shù)據(jù)的應(yīng)用重點集中在電量數(shù)據(jù)的使用上，對電流、電壓數(shù)據(jù)只提供了簡單的數(shù)據(jù)查詢功能。
[0004]在技術(shù)上，基于用電采集數(shù)據(jù)規(guī)模大，處理時效性要求高，數(shù)據(jù)價值的挖掘等要求，用電采集系統(tǒng)使用的傳統(tǒng)的Oracle數(shù)據(jù)庫已經(jīng)不能滿足需要，在海量的采集數(shù)據(jù)面前，oracle效率低。并且，在現(xiàn)有的功能中，只提供對數(shù)據(jù)的簡單查詢功能，對采集到的數(shù)據(jù)沒有進行進一步的分析和運算，沒有體現(xiàn)出采集數(shù)據(jù)的價值。更沒有與電網(wǎng)地理信息系統(tǒng)(GIS系統(tǒng))、生產(chǎn)管理等數(shù)據(jù)進行有效的關(guān)聯(lián)，無法為運維檢修工作提供支持。
[0005]因此，數(shù)據(jù)處理的性能提升、數(shù)據(jù)價值的挖掘、將數(shù)據(jù)轉(zhuǎn)變?yōu)橘Y產(chǎn)等工作亟待開展。
[0006]針對現(xiàn)有技術(shù)中僅對用電采集數(shù)據(jù)進行采集，導(dǎo)致的無法與其他子業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進行關(guān)聯(lián)從而無法對電網(wǎng)運行情況進行分析的問題，目前尚未提出有效的解決方案。


【發(fā)明內(nèi)容】

[0007]本發(fā)明的主要目的在于提供一種電網(wǎng)數(shù)據(jù)處理的方法及裝置，以解決現(xiàn)有技術(shù)中僅對用電采集數(shù)據(jù)進行采集，導(dǎo)致的無法與其他子業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進行關(guān)聯(lián)從而無法對電網(wǎng)運行情況進行分析的問題。
[0008]為了實現(xiàn)上述目的，根據(jù)本發(fā)明實施例的一個方面，提供了一種電網(wǎng)數(shù)據(jù)處理方法。該方法包括:采集電網(wǎng)業(yè)務(wù)系統(tǒng)中的電網(wǎng)業(yè)務(wù)數(shù)據(jù)，其中，電網(wǎng)業(yè)務(wù)數(shù)據(jù)至少包括:用電信息數(shù)據(jù)、電網(wǎng)網(wǎng)架數(shù)據(jù)、系統(tǒng)運維數(shù)據(jù)和電網(wǎng)運行數(shù)據(jù)；對電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行預(yù)處理，得到預(yù)處理數(shù)據(jù)；根據(jù)預(yù)處理數(shù)據(jù)的類型，對預(yù)處理數(shù)據(jù)以不同的存儲方式進行存儲；對預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，得到與每個臺區(qū)對應(yīng)的全年各個時間段的臺區(qū)負載參數(shù)。
[0009]為了實現(xiàn)上述目的，根據(jù)本發(fā)明實施例的另一方面，提供了一種電網(wǎng)數(shù)據(jù)處理裝置，該裝置包括采集模塊，用于采集電網(wǎng)業(yè)務(wù)系統(tǒng)中的電網(wǎng)業(yè)務(wù)數(shù)據(jù)，其中，電網(wǎng)業(yè)務(wù)數(shù)據(jù)至少包括:用電信息數(shù)據(jù)、電網(wǎng)網(wǎng)架數(shù)據(jù)、系統(tǒng)運維數(shù)據(jù)和電網(wǎng)運行數(shù)據(jù)；第一處理模塊，用于對電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行預(yù)處理，得到預(yù)處理數(shù)據(jù)；存儲模塊，用于根據(jù)預(yù)處理數(shù)據(jù)的類型，對預(yù)處理數(shù)據(jù)以不同的存儲方式進行存儲；分析模塊，用于對預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，得到與每個臺區(qū)對應(yīng)的全年各個時間段的臺區(qū)負載參數(shù)。
[0010]根據(jù)發(fā)明實施例，通過采集電網(wǎng)業(yè)務(wù)系統(tǒng)中的電網(wǎng)業(yè)務(wù)數(shù)據(jù)，其中，電網(wǎng)業(yè)務(wù)數(shù)據(jù)至少包括:用電信息數(shù)據(jù)、電網(wǎng)網(wǎng)架數(shù)據(jù)、系統(tǒng)運維數(shù)據(jù)和電網(wǎng)運行數(shù)據(jù)；對電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行預(yù)處理，得到預(yù)處理數(shù)據(jù)；根據(jù)預(yù)處理數(shù)據(jù)的類型，對預(yù)處理數(shù)據(jù)以不同的存儲方式進行存儲；對預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，得到與每個臺區(qū)對應(yīng)的全年各個時間段的臺區(qū)負載參數(shù)，解決了現(xiàn)有技術(shù)僅對用電采集數(shù)據(jù)進行采集，導(dǎo)致的無法與其他子業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進行關(guān)聯(lián)從而無法對電網(wǎng)運行情況進行分析的問題。實現(xiàn)了依據(jù)用電采集數(shù)據(jù)與其他子業(yè)務(wù)數(shù)據(jù)對電網(wǎng)運行情況進行分析的效果。

【專利附圖】

【附圖說明】
[0011]構(gòu)成本申請的一部分的附圖用來提供對本發(fā)明的進一步理解，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
[0012]圖1是根據(jù)本發(fā)明實施例一的電網(wǎng)數(shù)據(jù)處理方法的流程圖；
[0013]圖2是根據(jù)本發(fā)明實施例的配電網(wǎng)狀態(tài)監(jiān)測與分析系統(tǒng)架構(gòu)圖；
[0014]圖3是根據(jù)本發(fā)明實施例的預(yù)處理過程的流程圖；
[0015]圖4是根據(jù)本發(fā)明實施例一的優(yōu)選的電網(wǎng)數(shù)據(jù)處理方法的流程圖；
[0016]圖5是根據(jù)本發(fā)明實施例二的電網(wǎng)數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖；以及
[0017]圖6是根據(jù)本發(fā)明實施例二的優(yōu)選的電網(wǎng)數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖。

【具體實施方式】
[0018]需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結(jié)合實施例來詳細說明本發(fā)明。
[0019]為了使本【技術(shù)領(lǐng)域】的人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分的實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應(yīng)當(dāng)屬于本發(fā)明保護的范圍。
[0020]需要說明的是，本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本發(fā)明的實施例。此外，術(shù)語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
[0021]實施例1
[0022]本發(fā)明實施例提供了電網(wǎng)數(shù)據(jù)處理方法。
[0023]圖1是根據(jù)本發(fā)明實施例的電網(wǎng)數(shù)據(jù)處理方法的流程圖。如圖1所示，該方法包括步驟如下:
[0024]步驟S11，采集電網(wǎng)業(yè)務(wù)系統(tǒng)中的電網(wǎng)業(yè)務(wù)數(shù)據(jù)，其中，電網(wǎng)業(yè)務(wù)數(shù)據(jù)至少包括:用電信息數(shù)據(jù)、電網(wǎng)網(wǎng)架數(shù)據(jù)、系統(tǒng)運維數(shù)據(jù)和電網(wǎng)運行數(shù)據(jù)。
[0025]具體的，通過上述步驟S11，對電網(wǎng)業(yè)務(wù)系統(tǒng)中的電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行采集，這些電網(wǎng)業(yè)務(wù)數(shù)據(jù)包括很多類型的數(shù)據(jù)，并且，這些數(shù)據(jù)需要從不同子業(yè)務(wù)系統(tǒng)中進行采集。
[0026]步驟S13，對電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行預(yù)處理，得到預(yù)處理數(shù)據(jù)。
[0027]具體的，因為電網(wǎng)業(yè)務(wù)數(shù)據(jù)從各個子業(yè)務(wù)系統(tǒng)中采集而來，各個子系統(tǒng)的數(shù)據(jù)類型不同，并且有重疊的數(shù)據(jù)內(nèi)容。通過上述步驟S13對電網(wǎng)數(shù)據(jù)進行預(yù)處理，生成相同數(shù)據(jù)類型，去重之后的數(shù)據(jù)。
[0028]步驟S15，根據(jù)預(yù)處理數(shù)據(jù)的類型，對預(yù)處理數(shù)據(jù)以不同的存儲方式進行存儲。
[0029]具體的，上述步驟S15，根據(jù)預(yù)處理數(shù)據(jù)來源或者數(shù)據(jù)內(nèi)容，選擇不同的存儲方式對預(yù)處理數(shù)據(jù)進行存儲，以供數(shù)據(jù)挖掘時進行調(diào)用。
[0030]步驟S17，對預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，得到與每個臺區(qū)對應(yīng)的全年各個時間段的臺區(qū)負載參數(shù)。
[0031]具體的，通過上述步驟S17，讀取存儲以不同存儲方式的預(yù)處理數(shù)據(jù)，尋找經(jīng)過預(yù)處理之后的電網(wǎng)業(yè)務(wù)數(shù)據(jù)中的數(shù)據(jù)規(guī)律，并對這些有規(guī)律的數(shù)據(jù)進行展示，其中，包括找出與每個臺區(qū)對應(yīng)的全年各個時間的臺區(qū)負載參數(shù)。
[0032]具體的，上述步驟Sll至步驟S17，通過對不同子業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進行采集，將采集到的電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行預(yù)處理，并根據(jù)數(shù)據(jù)來源或數(shù)據(jù)內(nèi)容以不同的方式進行儲存。最后通過對以不同方式存儲的預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘，得到電網(wǎng)數(shù)據(jù)間的規(guī)律。
[0033]圖2是配電網(wǎng)狀態(tài)監(jiān)測與分析系統(tǒng)架構(gòu)圖，在實際應(yīng)用當(dāng)中，如圖2所示，系統(tǒng)從邏輯上分為數(shù)據(jù)源層、數(shù)據(jù)預(yù)處理層、數(shù)據(jù)存儲與計算層、數(shù)據(jù)分析挖掘?qū)右约皹I(yè)務(wù)應(yīng)用層。數(shù)據(jù)資源層融合了與配電網(wǎng)狀態(tài)相關(guān)的用電信息采集數(shù)據(jù)、電網(wǎng)網(wǎng)架數(shù)據(jù)、電網(wǎng)運行數(shù)據(jù)等。數(shù)據(jù)存儲計算層構(gòu)建于數(shù)據(jù)資源層基礎(chǔ)之上，針對本項目數(shù)據(jù)量大、數(shù)據(jù)維度多的特點選用分布式文件系統(tǒng)框架(Hadoop)作為基礎(chǔ)，與本業(yè)務(wù)相關(guān)的數(shù)據(jù)通過一系列預(yù)處理后存儲到分布式文件系統(tǒng)(HDFS)上，并使用大規(guī)模數(shù)據(jù)計算模型(MapReduce)提供分布式計算功能。數(shù)據(jù)計算層構(gòu)建于數(shù)據(jù)存儲層之上的是一系列針對海量數(shù)據(jù)的分布式計算框架，例如:分析組件(Mahout)、數(shù)據(jù)倉庫工具(Hive)等。數(shù)據(jù)預(yù)處理層在數(shù)據(jù)資源層與數(shù)據(jù)存儲計算層之間，主要負責(zé)在數(shù)據(jù)資源層中的數(shù)據(jù)在導(dǎo)入數(shù)據(jù)存儲層之前對數(shù)據(jù)進行必要的清洗工作。數(shù)據(jù)分析與挖掘構(gòu)建于數(shù)據(jù)存儲與計算之上，提供對本項目相關(guān)業(yè)務(wù)數(shù)據(jù)的深層次分析與挖掘。數(shù)據(jù)應(yīng)用層基于數(shù)據(jù)管理與數(shù)據(jù)分析挖掘功能，提供諸如臺區(qū)基本情況分析、臺區(qū)特性分析及預(yù)測、配電網(wǎng)特性分析等服務(wù)。
[0034]綜上可知，本發(fā)明解決了現(xiàn)有技術(shù)中僅對用電采集數(shù)據(jù)進行采集，導(dǎo)致的無法與其他子業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進行關(guān)聯(lián)從而無法對電網(wǎng)運行情況進行分析的問題，實現(xiàn)了依據(jù)用電采集數(shù)據(jù)與其他子業(yè)務(wù)系統(tǒng)的數(shù)據(jù)對電網(wǎng)運行情況進行分析的效果。
[0035]優(yōu)選的，本申請上述實施例中，步驟S13對電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行預(yù)處理，得到預(yù)處理數(shù)據(jù)中的預(yù)處理方式至少包括:空值處理、數(shù)據(jù)正確性驗證、字段完整性處理和規(guī)范化數(shù)據(jù)格式。其中，空值處理用于對電網(wǎng)業(yè)務(wù)數(shù)據(jù)中的空值進行捕獲，并且加載或者替換為其他含義數(shù)據(jù)；數(shù)據(jù)正確性驗證用于驗證電網(wǎng)業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)正確性；字段完整性處理用于查詢與丟失數(shù)據(jù)字段相關(guān)的字段信息，并以相關(guān)的字段信息為依據(jù)，計算得出丟失數(shù)據(jù)字段內(nèi)容，保證字段完整性；規(guī)范化數(shù)據(jù)格式至少用于對從各個電網(wǎng)業(yè)務(wù)數(shù)據(jù)中采集到的時間、數(shù)值、字符等數(shù)據(jù)進行轉(zhuǎn)換，分別轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)格式。
[0036]具體的，通過控制處理，數(shù)據(jù)正確性驗證、字段完整性和規(guī)范化數(shù)據(jù)格式的方法，對采集到的電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行處理，分別達到去除電網(wǎng)業(yè)務(wù)數(shù)據(jù)中數(shù)據(jù)異常的數(shù)據(jù)，統(tǒng)一數(shù)據(jù)格式的目的。
[0037]在實際應(yīng)用當(dāng)中，可以通過臺區(qū)的電網(wǎng)網(wǎng)架數(shù)據(jù)，對從各個子業(yè)務(wù)系統(tǒng)中采集到的電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行比對分析，將數(shù)值為空的、數(shù)據(jù)差異較大和重復(fù)的數(shù)據(jù)進行篩選、合并，得到完整、唯一的數(shù)據(jù)。
[0038]因為，各個子業(yè)務(wù)系統(tǒng)在開發(fā)時，并沒有考慮到數(shù)據(jù)合并的問題，所以采用的數(shù)據(jù)庫類型、數(shù)據(jù)表結(jié)構(gòu)以及數(shù)據(jù)類型都沒有統(tǒng)一規(guī)劃。所以，在預(yù)處理過程中，需要對各個子業(yè)務(wù)系統(tǒng)中的電網(wǎng)業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)類型進行轉(zhuǎn)換，轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)類型。
[0039]圖3是預(yù)處理過程的流程圖，電網(wǎng)業(yè)務(wù)數(shù)據(jù)的主要來源為:用電信息采集系統(tǒng)、電網(wǎng)網(wǎng)架系統(tǒng)、電網(wǎng)運行系統(tǒng)。上述電網(wǎng)業(yè)務(wù)數(shù)據(jù)多以關(guān)系型數(shù)據(jù)表的形式存儲在各自的關(guān)系型數(shù)據(jù)庫中，通過數(shù)據(jù)倉庫技術(shù)(ETL)從各個子業(yè)務(wù)系統(tǒng)中抽取電網(wǎng)業(yè)務(wù)數(shù)據(jù)，并對電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行預(yù)處理，預(yù)存儲到關(guān)系型數(shù)據(jù)庫中；而后，通過數(shù)據(jù)相轉(zhuǎn)移工具Sqoop從關(guān)系型數(shù)據(jù)庫中抽取數(shù)據(jù)，存儲到分布式文件系統(tǒng)HDFS中。
[0040]通過數(shù)據(jù)的抽取與預(yù)處理、數(shù)據(jù)的存儲與計算、數(shù)據(jù)的分析與挖掘以及數(shù)據(jù)的可視化展現(xiàn)，實現(xiàn)對數(shù)據(jù)量龐大、數(shù)據(jù)維度眾多數(shù)據(jù)進行預(yù)處理的過程。
[0041]優(yōu)選的，本申請上述實施例中，在存儲方式至少包括:關(guān)系型數(shù)據(jù)庫、分布式文件系統(tǒng)時，步驟S15根據(jù)預(yù)處理數(shù)據(jù)的類型，對預(yù)處理數(shù)據(jù)以不同的存儲方式進行存儲的方法包括:
[0042]步驟S151，將電網(wǎng)業(yè)務(wù)數(shù)據(jù)中的用電信息數(shù)據(jù)、電網(wǎng)網(wǎng)架數(shù)據(jù)、系統(tǒng)運維數(shù)據(jù)存儲于關(guān)系型數(shù)據(jù)庫中。
[0043]步驟S153，將電網(wǎng)業(yè)務(wù)數(shù)據(jù)中的電網(wǎng)運行數(shù)據(jù)存儲于分布式文件系統(tǒng)中。
[0044]具體的，通過上述步驟S151和步驟S153，將電網(wǎng)業(yè)務(wù)數(shù)據(jù)根據(jù)數(shù)據(jù)內(nèi)容、數(shù)據(jù)量大小，將電信息數(shù)據(jù)、電網(wǎng)網(wǎng)架數(shù)據(jù)、系統(tǒng)運維數(shù)據(jù)存儲于關(guān)系型數(shù)據(jù)庫中，將電網(wǎng)運行數(shù)據(jù)存儲于分布式文件系統(tǒng)當(dāng)中。因為電網(wǎng)運行數(shù)據(jù)記錄的是對各個臺區(qū)的用電數(shù)據(jù)，所以數(shù)據(jù)量龐大。傳統(tǒng)關(guān)系型數(shù)據(jù)庫處理如此龐大的數(shù)據(jù)量的運行效率無法滿足應(yīng)用的需求，所以將電網(wǎng)運行數(shù)據(jù)存儲于分布式文件系統(tǒng)當(dāng)中，加快調(diào)用速度，提高處理效率。
[0045]在實際應(yīng)用當(dāng)中，本項目的數(shù)據(jù)存儲主要分為兩大部分:傳統(tǒng)的關(guān)系型數(shù)據(jù)庫與運用分布式文件系統(tǒng)框架(Hadoop)的分布式文件系統(tǒng)(HDFS)。傳統(tǒng)數(shù)據(jù)庫主要存儲系統(tǒng)運維數(shù)據(jù)、數(shù)據(jù)分析挖掘的結(jié)果數(shù)據(jù)以及相關(guān)方案與治理措施；而分布式文件系統(tǒng)(HDFS)主要存儲海量用電數(shù)據(jù)及用戶報修數(shù)據(jù)。
[0046]對海量的用電數(shù)據(jù)的計算與分析主要依托于分析組件(Mahout)來完成。
[0047]海量數(shù)據(jù)經(jīng)分布式計算框架(Hadoop)計算后，得出結(jié)果，并將結(jié)果直接寫入關(guān)系型數(shù)據(jù)庫以供業(yè)務(wù)調(diào)用分析。
[0048]優(yōu)選的，本申請上述實施例中，在上述步驟S17對預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，得到與每個臺區(qū)對應(yīng)的全年各個時間段的臺區(qū)負載參數(shù)中，步驟包括:
[0049]步驟S171，讀取每個臺區(qū)的電網(wǎng)運行數(shù)據(jù)。
[0050]步驟S173，確定臺區(qū)出現(xiàn)重載的時間和次數(shù)。
[0051]步驟S175，根據(jù)臺區(qū)的時間和次數(shù)，對預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，其中，數(shù)據(jù)挖掘分析中至少包括:聚類分析和關(guān)聯(lián)分析。
[0052]步驟S177，根據(jù)所對預(yù)處理數(shù)據(jù)的分析結(jié)果，得到臺區(qū)的負載參數(shù)。
[0053]步驟S179，根據(jù)臺區(qū)的負載參數(shù)，確定臺區(qū)重載類型。
[0054]具體的，通過上述步驟S171和步驟S179，讀取每個臺區(qū)的電網(wǎng)運行數(shù)據(jù)，對電網(wǎng)運行數(shù)據(jù)和已經(jīng)經(jīng)過預(yù)處理的電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行聚類分析和關(guān)聯(lián)分析，找出電網(wǎng)業(yè)務(wù)數(shù)據(jù)和電網(wǎng)運行數(shù)據(jù)之間的關(guān)系，通過關(guān)系確定臺區(qū)的負載參數(shù)。進而，可以得到與每個臺區(qū)對應(yīng)的臺區(qū)重載類型。
[0055]在實際應(yīng)用當(dāng)中，根據(jù)臺區(qū)的重載情況出現(xiàn)的時間與頻率等特性對重載情況通過分析組件(Mahout)中的聚類算法(K-means)進行聚類分析。最終將臺區(qū)分組為長期性重載、季節(jié)性重載以及短期性重載三類。
[0056]優(yōu)選的，如圖4所示，本申請上述實施例中，在步驟步17對預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，得到與每個臺區(qū)對應(yīng)的全年各個時間段的臺區(qū)負載參數(shù)之后，方法還包括:
[0057]步驟S18，根據(jù)臺區(qū)的負載參數(shù)，劃分臺區(qū)的負載級別。
[0058]步驟S19，根據(jù)負載級別，對臺區(qū)進行可視化展現(xiàn)。
[0059]具體的，通過步驟S18和步驟S19，對數(shù)據(jù)挖掘得到的臺區(qū)負載參數(shù)進行再處理，根據(jù)臺區(qū)的負載參數(shù)對臺區(qū)劃分負載級別。系統(tǒng)可以根據(jù)所劃分的負載級別，對臺區(qū)進行可視化展示。
[0060]在實際應(yīng)用當(dāng)中，可以結(jié)合地理信息系統(tǒng)(GIS系統(tǒng))、圖形、傳統(tǒng)表格等豐富的展示形式，通過PC、大屏等載體對重載基本情況、特性分析結(jié)果、預(yù)測多方面進行直觀的、友好的展示。
[0061]優(yōu)選的，本申請上述實施例中，在上述步驟S19根據(jù)負載級別，對臺區(qū)進行可視化展現(xiàn)中，步驟包括:
[0062]S191，讀取臺區(qū)的負載級別和預(yù)先設(shè)置的與臺區(qū)負載級別對應(yīng)的展示顏色。
[0063]S193，獲取臺區(qū)的電網(wǎng)網(wǎng)架數(shù)據(jù)，其中，電網(wǎng)網(wǎng)架數(shù)據(jù)至少包括:臺區(qū)坐標(biāo)信息、臺區(qū)覆蓋面積息。
[0064]S195，根據(jù)臺區(qū)的負載級別和與負載級別對應(yīng)的展示顏色，確定與臺區(qū)的負載級別對應(yīng)的展示顏色。
[0065]S197，根據(jù)臺區(qū)的電網(wǎng)網(wǎng)架數(shù)據(jù)和臺區(qū)的負載級別對應(yīng)的展示顏色，在地圖上進行展示。
[0066]具體的，通過步驟S191至步驟S197，將臺區(qū)按照負載級別以顏色進行區(qū)分，并讀取各個臺區(qū)所在的坐標(biāo)信息和臺區(qū)覆蓋面積額，從而確定各個臺區(qū)在地理信息系統(tǒng)(GIS系統(tǒng))中所處的位置和覆蓋面積。根據(jù)讀取到的臺區(qū)坐標(biāo)、臺區(qū)覆蓋面積和與臺區(qū)負載級別對應(yīng)的展示顏色，在地理信息系統(tǒng)中進行展示。
[0067]在實際應(yīng)用當(dāng)中，可視化展示的方式有很多種，例如:
[0068](I)使用色斑圖展示臺區(qū)負載率分布:
[0069]將臺區(qū)按照負載率正常、重載、過載進行劃，使用色斑圖技術(shù)展示臺區(qū)負載率的分布情況，直觀、友好的展示。其中，在使用方面負載率分布圖還提供了很多種操作方式:在地理信息系統(tǒng)中選擇顯示部分臺區(qū)的分布；在繪制面，對展示繪制區(qū)域里的內(nèi)容進行篩選，顯示滿足條件的臺區(qū)。
[0070](2)臺區(qū)負載率分布圖和溫度分布圖對比展示:
[0071]溫度的變化可能會引起臺區(qū)負載率的變化，臺區(qū)負載率分布圖和溫度分布圖對比播放，直觀的展示溫度變化與負載率變化之間的關(guān)系。
[0072](3)臺區(qū)時段特性展示:
[0073]展示通過大數(shù)據(jù)平臺數(shù)據(jù)挖掘算法分析出臺區(qū)時段特性，對長期重載臺區(qū)，全年的負載率分布以散點圖展示。
[0074]基于大數(shù)據(jù)的臺區(qū)監(jiān)控與分析利用分布式文件系統(tǒng)框架(Hadoop)，對采集數(shù)據(jù)進行深入的數(shù)據(jù)挖掘。數(shù)據(jù)量越大，越能體現(xiàn)出本發(fā)明方法的優(yōu)勢，比傳統(tǒng)基于關(guān)系型數(shù)據(jù)庫計算，速度快，處理數(shù)量大。
[0075]本發(fā)明通過多種可視化技術(shù)的應(yīng)用，展示方式優(yōu)越，能夠直觀的、多維度的對電網(wǎng)運行情況表現(xiàn)。
[0076]實施例2
[0077]本發(fā)明實施例還提供了一種電網(wǎng)數(shù)據(jù)處理裝置，如圖5所示，該裝置可以包括:采集模塊20、第一處理模塊22、存儲模塊24和分析模塊26。
[0078]其中，采集模塊20，用于采集電網(wǎng)業(yè)務(wù)系統(tǒng)中的電網(wǎng)業(yè)務(wù)數(shù)據(jù)，其中，電網(wǎng)業(yè)務(wù)數(shù)據(jù)至少包括:用電信息數(shù)據(jù)、電網(wǎng)網(wǎng)架數(shù)據(jù)、系統(tǒng)運維數(shù)據(jù)和電網(wǎng)運行數(shù)據(jù)。
[0079]具體的，通過上述采集模塊20，對電網(wǎng)業(yè)務(wù)系統(tǒng)中的電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行采集，這些電網(wǎng)業(yè)務(wù)數(shù)據(jù)包括很多類型的數(shù)據(jù)，并且，這些數(shù)據(jù)需要從不同子業(yè)務(wù)系統(tǒng)中進行采集。
[0080]第一處理模塊22，用于對電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行預(yù)處理，得到預(yù)處理數(shù)據(jù)。
[0081]具體的，因為電網(wǎng)業(yè)務(wù)數(shù)據(jù)從各個子業(yè)務(wù)系統(tǒng)中采集而來，各個子系統(tǒng)的數(shù)據(jù)類型不同，并且有重疊的數(shù)據(jù)內(nèi)容。通過上述第一處理模塊22，對電網(wǎng)數(shù)據(jù)進行預(yù)處理，生成相同數(shù)據(jù)類型，去重之后的數(shù)據(jù)。
[0082]存儲模塊24，用于根據(jù)預(yù)處理數(shù)據(jù)的類型，對預(yù)處理數(shù)據(jù)以不同的存儲方式進行存儲。
[0083]具體的，上述存儲模塊24，根據(jù)預(yù)處理數(shù)據(jù)來源或者數(shù)據(jù)內(nèi)容，選擇不同的存儲方式對預(yù)處理數(shù)據(jù)進行存儲，以供數(shù)據(jù)挖掘時進行調(diào)用。
[0084]分析模塊26，用于對預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，得到與每個臺區(qū)對應(yīng)的全年各個時間段的臺區(qū)負載參數(shù)。
[0085]具體的，通過上述分析模塊26，讀取存儲以不同存儲方式的預(yù)處理數(shù)據(jù)，尋找經(jīng)過預(yù)處理之后的電網(wǎng)業(yè)務(wù)數(shù)據(jù)中的數(shù)據(jù)規(guī)律，并對這些有規(guī)律的數(shù)據(jù)進行展示，其中，包括找出與每個臺區(qū)對應(yīng)的全年各個時間的臺區(qū)負載參數(shù)。
[0086]具體的，上述采集模塊20、第一處理模塊22、存儲模塊24和分析模塊26，通過對不同子業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進行采集，將采集到的電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行預(yù)處理，并根據(jù)數(shù)據(jù)來源或數(shù)據(jù)內(nèi)容以不同的方式進行儲存。最后通過對以不同方式存儲的預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘，得到電網(wǎng)數(shù)據(jù)間的規(guī)律。
[0087]圖2是配電網(wǎng)狀態(tài)監(jiān)測與分析系統(tǒng)架構(gòu)圖，在實際應(yīng)用當(dāng)中，如圖2所示，系統(tǒng)從邏輯上分為數(shù)據(jù)源層、數(shù)據(jù)預(yù)處理層、數(shù)據(jù)存儲與計算層、數(shù)據(jù)分析挖掘?qū)右约皹I(yè)務(wù)應(yīng)用層。數(shù)據(jù)資源層融合了與配電網(wǎng)狀態(tài)相關(guān)的用電信息采集數(shù)據(jù)、電網(wǎng)網(wǎng)架數(shù)據(jù)、電網(wǎng)運行數(shù)據(jù)等。數(shù)據(jù)存儲計算層構(gòu)建于數(shù)據(jù)資源層基礎(chǔ)之上，針對本項目數(shù)據(jù)量大、數(shù)據(jù)維度多的特點選用分布式文件系統(tǒng)框架(Hadoop)作為基礎(chǔ)，與本業(yè)務(wù)相關(guān)的數(shù)據(jù)通過一系列預(yù)處理后存儲到分布式文件系統(tǒng)(HDFS)上，并使用大規(guī)模數(shù)據(jù)計算模型(MapReduce)提供分布式計算功能。數(shù)據(jù)計算層構(gòu)建于數(shù)據(jù)存儲層之上的是一系列針對海量數(shù)據(jù)的分布式計算框架，例如:分析組件(Mahout)、數(shù)據(jù)倉庫工具(Hive)等。數(shù)據(jù)預(yù)處理層在數(shù)據(jù)資源層與數(shù)據(jù)存儲計算層之間，主要負責(zé)在數(shù)據(jù)資源層中的數(shù)據(jù)在導(dǎo)入數(shù)據(jù)存儲層之前對數(shù)據(jù)進行必要的清洗工作。數(shù)據(jù)分析與挖掘構(gòu)建于數(shù)據(jù)存儲與計算之上，提供對本項目相關(guān)業(yè)務(wù)數(shù)據(jù)的深層次分析與挖掘。數(shù)據(jù)應(yīng)用層基于數(shù)據(jù)管理與數(shù)據(jù)分析挖掘功能，提供諸如臺區(qū)基本情況分析、臺區(qū)特性分析及預(yù)測、配電網(wǎng)特性分析等服務(wù)。
[0088]綜上可知，本發(fā)明解決了現(xiàn)有技術(shù)中僅對用電采集數(shù)據(jù)進行采集，導(dǎo)致的無法與其他子業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進行關(guān)聯(lián)從而無法對電網(wǎng)運行情況進行分析的問題，實現(xiàn)了依據(jù)用電采集數(shù)據(jù)與其他子業(yè)務(wù)系統(tǒng)的數(shù)據(jù)對電網(wǎng)運行情況進行分析的效果。
[0089]進一步的，第一處理模塊22對電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行預(yù)處理，得到預(yù)處理數(shù)據(jù)中的預(yù)處理方式至少包括:空值處理、數(shù)據(jù)正確性驗證、字段完整性處理和規(guī)范化數(shù)據(jù)格式。其中，空值處理用于對電網(wǎng)業(yè)務(wù)數(shù)據(jù)中的空值進行捕獲，并且加載或者替換為其他含義數(shù)據(jù)；數(shù)據(jù)正確性驗證用于驗證電網(wǎng)業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)正確性；字段完整性處理用于查詢與丟失數(shù)據(jù)字段相關(guān)的字段信息，并以相關(guān)的字段信息為依據(jù)，計算得出丟失數(shù)據(jù)字段內(nèi)容，保證字段完整性；規(guī)范化數(shù)據(jù)格式至少用于對從各個電網(wǎng)業(yè)務(wù)數(shù)據(jù)中采集到的時間、數(shù)值、字符等數(shù)據(jù)進行轉(zhuǎn)換，分別轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)格式。
[0090]具體的，通過控制處理，數(shù)據(jù)正確性驗證、字段完整性和規(guī)范化數(shù)據(jù)格式的方法，對采集到的電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行處理，分別達到去除電網(wǎng)業(yè)務(wù)數(shù)據(jù)中數(shù)據(jù)異常的數(shù)據(jù)，統(tǒng)一數(shù)據(jù)格式的目的。
[0091]在實際應(yīng)用當(dāng)中，可以通過臺區(qū)的電網(wǎng)網(wǎng)架數(shù)據(jù)，對從各個子業(yè)務(wù)系統(tǒng)中采集到的電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行比對分析，將數(shù)值為空的、數(shù)據(jù)差異較大和重復(fù)的數(shù)據(jù)進行篩選、合并，得到完整、唯一的數(shù)據(jù)。
[0092]因為，各個子業(yè)務(wù)系統(tǒng)在開發(fā)時，并沒有考慮到數(shù)據(jù)合并的問題，所以采用的數(shù)據(jù)庫類型、數(shù)據(jù)表結(jié)構(gòu)以及數(shù)據(jù)類型都沒有統(tǒng)一規(guī)劃。所以，在預(yù)處理過程中，需要對各個子業(yè)務(wù)系統(tǒng)中的電網(wǎng)業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)類型進行轉(zhuǎn)換，轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)類型。
[0093]圖3是預(yù)處理過程的流程圖，電網(wǎng)業(yè)務(wù)數(shù)據(jù)的主要來源為:用電信息采集系統(tǒng)、電網(wǎng)網(wǎng)架系統(tǒng)、電網(wǎng)運行系統(tǒng)。上述電網(wǎng)業(yè)務(wù)數(shù)據(jù)多以關(guān)系型數(shù)據(jù)表的形式存儲在各自的關(guān)系型數(shù)據(jù)庫中，通過數(shù)據(jù)倉庫技術(shù)(ETL)從各個子業(yè)務(wù)系統(tǒng)中抽取電網(wǎng)業(yè)務(wù)數(shù)據(jù)，并對電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行預(yù)處理，預(yù)存儲到關(guān)系型數(shù)據(jù)庫中；而后，通過數(shù)據(jù)相轉(zhuǎn)移工具Sqoop從關(guān)系型數(shù)據(jù)庫中抽取數(shù)據(jù)，存儲到分布式文件系統(tǒng)HDFS中。
[0094]通過數(shù)據(jù)的抽取與預(yù)處理、數(shù)據(jù)的存儲與計算、數(shù)據(jù)的分析與挖掘以及數(shù)據(jù)的可視化展現(xiàn)，實現(xiàn)對數(shù)據(jù)量龐大、數(shù)據(jù)維度眾多數(shù)據(jù)進行預(yù)處理的過程。
[0095]優(yōu)選的，本申請上述實施例中，存儲方式至少包括:關(guān)系型數(shù)據(jù)庫、分布式文件系統(tǒng)，存儲模塊24包括:第一子存儲模塊241和第二子存儲模塊243。
[0096]其中，第一子存儲模塊241，用于將電網(wǎng)業(yè)務(wù)數(shù)據(jù)中的用電信息數(shù)據(jù)、電網(wǎng)網(wǎng)架數(shù)據(jù)、系統(tǒng)運維數(shù)據(jù)存儲于關(guān)系型數(shù)據(jù)庫中。
[0097]第二子存儲模塊243，用于將電網(wǎng)業(yè)務(wù)數(shù)據(jù)中的電網(wǎng)運行數(shù)據(jù)存儲于分布式文件系統(tǒng)中。
[0098]具體的，通過上述第一子存儲模塊241和第二子存儲模塊243，將電網(wǎng)業(yè)務(wù)數(shù)據(jù)根據(jù)數(shù)據(jù)內(nèi)容、數(shù)據(jù)量大小，將電信息數(shù)據(jù)、電網(wǎng)網(wǎng)架數(shù)據(jù)、系統(tǒng)運維數(shù)據(jù)存儲于關(guān)系型數(shù)據(jù)庫中，將電網(wǎng)運行數(shù)據(jù)存儲于分布式文件系統(tǒng)當(dāng)中。因為電網(wǎng)運行數(shù)據(jù)記錄的是對各個臺區(qū)的用電數(shù)據(jù)，所以數(shù)據(jù)量龐大。傳統(tǒng)關(guān)系型數(shù)據(jù)庫處理如此龐大的數(shù)據(jù)量的運行效率無法滿足應(yīng)用的需求，所以將電網(wǎng)運行數(shù)據(jù)存儲于分布式文件系統(tǒng)當(dāng)中，加快調(diào)用速度，提高處理效率。
[0099]在實際應(yīng)用當(dāng)中，本項目的數(shù)據(jù)存儲主要分為兩大部分:傳統(tǒng)的關(guān)系型數(shù)據(jù)庫與運用分布式文件系統(tǒng)框架(Hadoop)的分布式文件系統(tǒng)(HDFS)。傳統(tǒng)數(shù)據(jù)庫主要存儲系統(tǒng)運維數(shù)據(jù)、數(shù)據(jù)分析挖掘的結(jié)果數(shù)據(jù)以及相關(guān)方案與治理措施；而分布式文件系統(tǒng)(HDFS)主要存儲海量用電數(shù)據(jù)及用戶報修數(shù)據(jù)。
[0100]對海量的用電數(shù)據(jù)的計算與分析主要依托于分析組件(Mahout)來完成。
[0101]海量數(shù)據(jù)經(jīng)分布式計算框架(Hadoop)計算后，得出結(jié)果，并將結(jié)果直接寫入關(guān)系型數(shù)據(jù)庫以供業(yè)務(wù)調(diào)用分析。
[0102]優(yōu)選的，本申請上述實施例中，分析模塊26包括:第一子讀取模塊261、第一子確定模塊263、子分析模塊265、子處理模塊267和第二子確定模塊269。
[0103]其中，第一子讀取模塊261，用于讀取每個臺區(qū)的電網(wǎng)運行數(shù)據(jù)；
[0104]第一子確定模塊263，用于確定臺區(qū)出現(xiàn)重載的時間和次數(shù)；
[0105]子分析模塊265，用于根據(jù)臺區(qū)的時間和次數(shù)，對預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，其中，數(shù)據(jù)挖掘分析中至少包括:聚類分析和關(guān)聯(lián)分析；
[0106]子處理模塊267，用于根據(jù)所對預(yù)處理數(shù)據(jù)的分析結(jié)果，得到臺區(qū)的負載參數(shù)；
[0107]第二子確定模塊269，用于根據(jù)臺區(qū)的負載參數(shù)，確定臺區(qū)重載類型。
[0108]具體的，通過上述第一子讀取模塊261、第一子確定模塊263、子分析模塊265、子處理模塊267和第二子確定模塊269，讀取每個臺區(qū)的電網(wǎng)運行數(shù)據(jù)，對電網(wǎng)運行數(shù)據(jù)和已經(jīng)經(jīng)過預(yù)處理的電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行聚類分析和關(guān)聯(lián)分析，找出電網(wǎng)業(yè)務(wù)數(shù)據(jù)和電網(wǎng)運行數(shù)據(jù)之間的關(guān)系，通過關(guān)系確定臺區(qū)的負載參數(shù)。進而，可以得到與每個臺區(qū)對應(yīng)的臺區(qū)重載類型。
[0109]在實際應(yīng)用當(dāng)中，根據(jù)臺區(qū)的重載情況出現(xiàn)的時間與頻率等特性對重載情況通過分析組件(Mahout)中的聚類算法(K-means)進行聚類分析。最終將臺區(qū)分組為長期性重載、季節(jié)性重載以及短期性重載三類。
[0110]優(yōu)選的，如圖6所示，本申請上述實施例中，上述裝置還包括:第二處理模塊28和展示模塊30。
[0111]其中，第二處理模塊28，用于根據(jù)臺區(qū)的負載參數(shù)，劃分臺區(qū)的負載級別。
[0112]展示模塊30，用于根據(jù)負載級別，對臺區(qū)進行可視化展現(xiàn)。
[0113]具體的，通過上述第二處理模塊28和展示模塊30，對數(shù)據(jù)挖掘得到的臺區(qū)負載參數(shù)進行再處理，根據(jù)臺區(qū)的負載參數(shù)對臺區(qū)劃分負載級別。系統(tǒng)可以根據(jù)所劃分的負載級另IJ，對臺區(qū)進行可視化展示。
[0114]在實際應(yīng)用當(dāng)中，可以結(jié)合地理信息系統(tǒng)(GIS系統(tǒng))、圖形、傳統(tǒng)表格等豐富的展示形式，通過PC、大屏等載體對重載基本情況、特性分析結(jié)果、預(yù)測多方面進行直觀的、友好的展示。
[0115]優(yōu)選的，本申請上述實施例中，上述展示模塊30包括:第二子讀取模塊301、子獲取模塊303、第三子確定模塊305和子展示模塊307。
[0116]其中，第二子讀取模塊301，用于讀取臺區(qū)的負載級別和預(yù)先設(shè)置的與臺區(qū)負載級別對應(yīng)的展示顏色；
[0117]子獲取模塊303，用于獲取臺區(qū)的電網(wǎng)網(wǎng)架數(shù)據(jù)，其中，，電網(wǎng)網(wǎng)架數(shù)據(jù)至少包括:臺區(qū)坐標(biāo)信息、臺區(qū)覆蓋面積信息；
[0118]第三子確定模塊305，用于根據(jù)臺區(qū)的負載級別和與負載級別對應(yīng)的展示顏色，確定與臺區(qū)的負載級別對應(yīng)的展示顏色；
[0119]子展示模塊307，用于根據(jù)臺區(qū)的電網(wǎng)網(wǎng)架數(shù)據(jù)和臺區(qū)的負載級別對應(yīng)的展示顏色，在地圖上進行展示。
[0120]具體的，通過第二子讀取模塊301、子獲取模塊303、第三子確定模塊305和子展示模塊307，將臺區(qū)按照負載級別以顏色進行區(qū)分，并讀取各個臺區(qū)所在的坐標(biāo)信息和臺區(qū)覆蓋面積額，從而確定各個臺區(qū)在地理信息系統(tǒng)(GIS系統(tǒng))中所處的位置和覆蓋面積。根據(jù)讀取到的臺區(qū)坐標(biāo)、臺區(qū)覆蓋面積和與臺區(qū)負載級別對應(yīng)的展示顏色，在地理信息系統(tǒng)中進行展示。
[0121]在實際應(yīng)用當(dāng)中，可視化展示的方式有很多種，例如:
[0122](I)使用色斑圖展示臺區(qū)負載率分布:
[0123]將臺區(qū)按照負載率正常、重載、過載進行劃，使用色斑圖技術(shù)展示臺區(qū)負載率的分布情況，直觀、友好的展示。其中，在使用方面負載率分布圖還提供了很多種操作方式:在地理信息系統(tǒng)中選擇顯示部分臺區(qū)的分布；在繪制面，對展示繪制區(qū)域里的內(nèi)容進行篩選，顯示滿足條件的臺區(qū)。
[0124](2)臺區(qū)負載率分布圖和溫度分布圖對比展示:
[0125]溫度的變化可能會引起臺區(qū)負載率的變化，臺區(qū)負載率分布圖和溫度分布圖對比播放，直觀的展示溫度變化與負載率變化之間的關(guān)系。
[0126](3)臺區(qū)時段特性展示:
[0127]展示通過大數(shù)據(jù)平臺數(shù)據(jù)挖掘算法分析出臺區(qū)時段特性，對長期重載臺區(qū)，全年的負載率分布以散點圖展示。
[0128]基于大數(shù)據(jù)的臺區(qū)監(jiān)控與分析利用分布式文件系統(tǒng)框架(Hadoop)，對采集數(shù)據(jù)進行深入的數(shù)據(jù)挖掘。數(shù)據(jù)量越大，越能體現(xiàn)出本發(fā)明方法的優(yōu)勢，比傳統(tǒng)基于關(guān)系型數(shù)據(jù)庫計算，速度快，處理數(shù)量大。
[0129]本發(fā)明通過多種可視化技術(shù)的應(yīng)用，展示方式優(yōu)越，能夠直觀的、多維度的對電網(wǎng)運行情況表現(xiàn)。
[0130]需要說明的是，對于前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明并不受所描述的動作順序的限制，因為依據(jù)本發(fā)明，某些步驟可以采用其他順序或者同時進行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說明書中所描述的實施例均屬于優(yōu)選實施例，所涉及的動作和模塊并不一定是本發(fā)明所必須的。
[0131]在上述實施例中，對各個實施例的描述都各有側(cè)重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關(guān)描述。
[0132]在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的裝置，可通過其它的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性或其它的形式。
[0133]所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。
[0134]另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。
[0135]所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可為個人計算機、移動終端、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括:U盤、只讀存儲器(ROM，Read-OnlyMemory)、隨機存取存儲器(RAM, Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
[0136]以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種電網(wǎng)數(shù)據(jù)處理方法，其特征在于，包括: 采集電網(wǎng)業(yè)務(wù)系統(tǒng)中的電網(wǎng)業(yè)務(wù)數(shù)據(jù)，其中，所述電網(wǎng)業(yè)務(wù)數(shù)據(jù)至少包括:用電信息數(shù)據(jù)、電網(wǎng)網(wǎng)架數(shù)據(jù)、系統(tǒng)運維數(shù)據(jù)和電網(wǎng)運行數(shù)據(jù)； 對所述電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行預(yù)處理，得到預(yù)處理數(shù)據(jù)； 根據(jù)所述預(yù)處理數(shù)據(jù)的類型，對所述預(yù)處理數(shù)據(jù)以不同的存儲方式進行存儲； 對所述預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，得到與每個臺區(qū)對應(yīng)的全年各個時間段的臺區(qū)負載參數(shù)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)處理方式至少包括:空值處理、數(shù)據(jù)正確性驗證、字段完整性處理和規(guī)范化數(shù)據(jù)格式， 其中，所述空值處理用于對所述電網(wǎng)業(yè)務(wù)數(shù)據(jù)中的空值進行捕獲，并且加載或者替換為其他含義數(shù)據(jù)； 所述數(shù)據(jù)正確性驗證用于驗證所述電網(wǎng)業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)正確性； 所述字段完整性處理用于查詢與丟失數(shù)據(jù)字段相關(guān)的字段信息，并以所述相關(guān)的字段信息為依據(jù)，計算得出所述丟失數(shù)據(jù)字段內(nèi)容，保證字段完整性； 所述規(guī)范化數(shù)據(jù)格式至少用于對從各個電網(wǎng)業(yè)務(wù)數(shù)據(jù)中采集到的時間、數(shù)值、字符數(shù)據(jù)進行轉(zhuǎn)換，分別轉(zhuǎn)換為統(tǒng)一的數(shù)據(jù)格式。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述存儲方式至少包括:關(guān)系型數(shù)據(jù)庫、分布式文件系統(tǒng)，根據(jù)所述預(yù)處理數(shù)據(jù)的類型，對所述預(yù)處理數(shù)據(jù)以不同的存儲方式進行存儲的步驟包括: 將所述電網(wǎng)業(yè)務(wù)數(shù)據(jù)中的所述用電信息數(shù)據(jù)、所述電網(wǎng)網(wǎng)架數(shù)據(jù)、系統(tǒng)運維數(shù)據(jù)存儲于所述關(guān)系型數(shù)據(jù)庫中； 將所述電網(wǎng)業(yè)務(wù)數(shù)據(jù)中的所述電網(wǎng)運行數(shù)據(jù)存儲于所述分布式文件系統(tǒng)中。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，對所述預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，得到與每個臺區(qū)對應(yīng)的全年各個時間段的臺區(qū)負載參數(shù)的步驟包括: 讀取所述每個臺區(qū)的所述電網(wǎng)運行數(shù)據(jù)； 確定所述臺區(qū)出現(xiàn)重載的時間和次數(shù)； 根據(jù)所述臺區(qū)的時間和次數(shù)，對所述預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，其中，所述數(shù)據(jù)挖掘分析中至少包括:聚類分析和關(guān)聯(lián)分析； 根據(jù)所對所述預(yù)處理數(shù)據(jù)的分析結(jié)果，得到所述臺區(qū)的負載參數(shù)； 根據(jù)所述臺區(qū)的負載參數(shù)，確定臺區(qū)重載類型。
5.根據(jù)權(quán)利要求1至4中任意一項所述的方法，其特征在于，在對所述預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，得到與每個臺區(qū)對應(yīng)的全年各個時間段的臺區(qū)負載參數(shù)之后，所述方法還包括: 根據(jù)所述臺區(qū)的負載參數(shù)，劃分所述臺區(qū)的負載級別； 根據(jù)所述負載級別，對所述臺區(qū)進行可視化展現(xiàn)。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述負載級別，對所述臺區(qū)進行可視化展現(xiàn)的步驟包括: 讀取所述臺區(qū)的負載級別和預(yù)先設(shè)置的與所述臺區(qū)負載級別對應(yīng)的展示顏色； 獲取所述臺區(qū)的電網(wǎng)網(wǎng)架數(shù)據(jù)，其中，所述，電網(wǎng)網(wǎng)架數(shù)據(jù)至少包括:臺區(qū)坐標(biāo)信息、臺區(qū)覆蓋面積息； 根據(jù)所述臺區(qū)的負載級別和與所述負載級別對應(yīng)的所述展示顏色，確定與所述臺區(qū)的負載級別對應(yīng)的展示顏色； 根據(jù)所述臺區(qū)的電網(wǎng)網(wǎng)架數(shù)據(jù)和所述臺區(qū)的負載級別對應(yīng)的展示顏色，在地圖上進行展示。
7.—種電網(wǎng)數(shù)據(jù)處理裝置，其特征在于，包括: 采集模塊，用于采集電網(wǎng)業(yè)務(wù)系統(tǒng)中的電網(wǎng)業(yè)務(wù)數(shù)據(jù)，其中，所述電網(wǎng)業(yè)務(wù)數(shù)據(jù)至少包括:用電信息數(shù)據(jù)、電網(wǎng)網(wǎng)架數(shù)據(jù)、系統(tǒng)運維數(shù)據(jù)和電網(wǎng)運行數(shù)據(jù)； 第一處理模塊，用于對所述電網(wǎng)業(yè)務(wù)數(shù)據(jù)進行預(yù)處理，得到預(yù)處理數(shù)據(jù)； 存儲模塊，用于根據(jù)所述預(yù)處理數(shù)據(jù)的類型，對所述預(yù)處理數(shù)據(jù)以不同的存儲方式進行存儲； 分析模塊，用于對所述預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，得到與每個臺區(qū)對應(yīng)的全年各個時間段的臺區(qū)負載參數(shù)。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述存儲方式至少包括:關(guān)系型數(shù)據(jù)庫、分布式文件系統(tǒng)，所述存儲模塊包括: 第一子存儲模塊，用于將所述電網(wǎng)業(yè)務(wù)數(shù)據(jù)中的所述用電信息數(shù)據(jù)、所述電網(wǎng)網(wǎng)架數(shù)據(jù)、系統(tǒng)運維數(shù)據(jù)存儲于所述關(guān)系型數(shù)據(jù)庫中； 第二子存儲模塊，用于將所述電網(wǎng)業(yè)務(wù)數(shù)據(jù)中的所述電網(wǎng)運行數(shù)據(jù)存儲于所述分布式文件系統(tǒng)中。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述分析模塊包括: 第一子讀取模塊，用于讀取所述每個臺區(qū)的所述電網(wǎng)運行數(shù)據(jù)； 第一子確定模塊，用于確定所述臺區(qū)出現(xiàn)重載的時間和次數(shù)； 子分析模塊，用于根據(jù)所述臺區(qū)的時間和次數(shù)，對所述預(yù)處理數(shù)據(jù)進行數(shù)據(jù)挖掘分析，其中，所述數(shù)據(jù)挖掘分析中至少包括:聚類分析和關(guān)聯(lián)分析； 子處理模塊，用于根據(jù)所對所述預(yù)處理數(shù)據(jù)的分析結(jié)果，得到所述臺區(qū)的負載參數(shù)； 第二子確定模塊，用于根據(jù)所述臺區(qū)的負載參數(shù)，確定臺區(qū)重載類型。
10.根據(jù)權(quán)利要求7至9中任意一項所述的裝置，其特征在于，所述裝置還包括: 第二處理模塊，用于根據(jù)所述臺區(qū)的負載參數(shù)，劃分所述臺區(qū)的負載級別； 展示模塊，用于根據(jù)所述負載級別，對所述臺區(qū)進行可視化展現(xiàn)。
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述展示模塊包括: 第二子讀取模塊，用于讀取所述臺區(qū)的負載級別和預(yù)先設(shè)置的與所述臺區(qū)負載級別對應(yīng)的展示顏色； 子獲取模塊，用于獲取所述臺區(qū)的電網(wǎng)網(wǎng)架數(shù)據(jù)，其中，所述，電網(wǎng)網(wǎng)架數(shù)據(jù)至少包括:臺區(qū)坐標(biāo)信息、臺區(qū)覆蓋面積信息； 第三子確定模塊，用于根據(jù)所述臺區(qū)的負載級別和與所述負載級別對應(yīng)的所述展示顏色，確定與所述臺區(qū)的負載級別對應(yīng)的展示顏色； 子展示模塊，用于根據(jù)所述臺區(qū)的電網(wǎng)網(wǎng)架數(shù)據(jù)和所述臺區(qū)的負載級別對應(yīng)的展示顏色，在地圖上進行展示。
【文檔編號】G06F17/30GK104462314SQ201410715269
【公開日】2015年3月25日 申請日期:2014年11月28日 優(yōu)先權(quán)日:2014年11月28日
【發(fā)明者】尹康, 周霖, 李鵬, 陳媛媛, 陳戈, 趙相傳, 鄭遠, 徐萬海, 孫曉剛 申請人:國家電網(wǎng)公司, 國網(wǎng)北京市電力公司, 北京華商電力科技中心