本發(fā)明涉及需求側(cè)負(fù)荷管理
技術(shù)領(lǐng)域：
，特別涉及一種用于電網(wǎng)負(fù)荷預(yù)測的多元異質(zhì)數(shù)據(jù)清洗方法。
背景技術(shù)：
：電力需求側(cè)管理對負(fù)荷預(yù)測的準(zhǔn)確性具有嚴(yán)格的要求。負(fù)荷預(yù)測的水平作為電力企業(yè)管理走向現(xiàn)代化的重要依據(jù)，對于電力企業(yè)的經(jīng)營管理工作的作用十分重要。通過負(fù)荷預(yù)測分析，有助于電力企業(yè)掌握電力系統(tǒng)負(fù)荷的發(fā)展趨勢，有效指導(dǎo)電力作業(yè)，提前做好應(yīng)對高負(fù)荷的準(zhǔn)備工作，進(jìn)而實(shí)現(xiàn)需求側(cè)管理，改善負(fù)荷特性與供需矛盾，提高電力系統(tǒng)的運(yùn)行效率，使用電管理逐步走向市場。負(fù)荷預(yù)測的準(zhǔn)確性與基礎(chǔ)數(shù)據(jù)的質(zhì)量有直接的關(guān)系，而目前的負(fù)荷預(yù)測方法中，由于收據(jù)采集中的問題，導(dǎo)致系統(tǒng)數(shù)據(jù)中存在一些“壞數(shù)據(jù)”，如數(shù)據(jù)重復(fù)、數(shù)據(jù)缺失等，導(dǎo)致數(shù)據(jù)質(zhì)量不高，進(jìn)而導(dǎo)致負(fù)荷預(yù)測的準(zhǔn)確性也不高。技術(shù)實(shí)現(xiàn)要素：本發(fā)明旨在至少解決上述技術(shù)問題之一。為此，本發(fā)明的目的在于提出一種用于電網(wǎng)負(fù)荷預(yù)測的多元異質(zhì)數(shù)據(jù)清洗方法，該方法能夠有效提高數(shù)據(jù)質(zhì)量，進(jìn)而提高電網(wǎng)負(fù)荷預(yù)測的準(zhǔn)確性。為了實(shí)現(xiàn)上述目的，本發(fā)明的實(shí)施例提出了一種用于電網(wǎng)負(fù)荷預(yù)測的多元異質(zhì)數(shù)據(jù)清洗方法，包括以下步驟：對多元異質(zhì)設(shè)備的運(yùn)行數(shù)據(jù)的分布特性進(jìn)行分析，以得到有效運(yùn)行數(shù)據(jù)；對所述有效運(yùn)行數(shù)據(jù)進(jìn)行數(shù)據(jù)識別處理，以得到完整的數(shù)據(jù)源；對所述完整的數(shù)據(jù)源進(jìn)行標(biāo)準(zhǔn)化處理，以得到干凈的數(shù)據(jù)源。另外，根據(jù)本發(fā)明上述實(shí)施例的用于電網(wǎng)負(fù)荷預(yù)測的多元異質(zhì)數(shù)據(jù)清洗方法還可以具有如下附加的技術(shù)特征：在一些示例中，還包括：用所述干凈的數(shù)據(jù)源替換所述運(yùn)行數(shù)據(jù)中的無效數(shù)據(jù)。在一些示例中，所述對所述多元異質(zhì)設(shè)備的運(yùn)行數(shù)據(jù)的分布特性進(jìn)行分析，進(jìn)一步包括：對所述多元異質(zhì)設(shè)備的運(yùn)行數(shù)據(jù)進(jìn)行異常檢測、缺失值或異常值處理、相似重復(fù)記錄處理，以剔除所述運(yùn)行數(shù)據(jù)中的無效數(shù)據(jù)。在一些示例中，所述無效數(shù)據(jù)包括：差異性過大數(shù)據(jù)、缺失數(shù)據(jù)和恒定不變數(shù)據(jù)。在一些示例中，其中，當(dāng)所述運(yùn)行數(shù)據(jù)的離散系數(shù)高于預(yù)設(shè)值時(shí)，判定所述運(yùn)行數(shù)據(jù)為差異性過大數(shù)據(jù)。在一些示例中，所述對所述有效運(yùn)行數(shù)據(jù)進(jìn)行數(shù)據(jù)識別處理，進(jìn)一步包括：通過最小二乘算法對所述有效運(yùn)行數(shù)據(jù)進(jìn)行平滑處理和缺失值補(bǔ)充，得到完整的數(shù)據(jù)源。在一些示例中，所述多元異質(zhì)設(shè)備為變壓器，所述變壓器的運(yùn)行數(shù)據(jù)包括：有功功率、無功功率、電流值和電壓值。在一些示例中，對所述變壓器的有效運(yùn)行數(shù)據(jù)進(jìn)行識別和處理，進(jìn)一步包括：設(shè)定測量量為z，狀態(tài)變量為x，誤差為v，則非線性估計(jì)方程為：z＝h(x)+v(1)如果給定測量量的矢量z，則狀態(tài)變量x是使式(2)的目標(biāo)函數(shù)達(dá)到最小的x值，其中，所述目標(biāo)函數(shù)為：J(x)＝[z-h(x)]TR-1[z-h(x)](2)對所述h(x)進(jìn)行線性化假設(shè)。令x0是x的近似值，在x0附近將h(x)進(jìn)行泰勒展開，忽略二次以上的非線性項(xiàng)之后，得到：h(x)＝h(x0)+H(x0)Δx(3)，其中，Δx＝x-x0；H(X0)是m*n階測量矢量的雅可比矩陣；將式(3)代入式(2)中，令Δz＝z-h(x0)，得到：J(x)＝[Δz-H(x0)Δx]TR-1[Δz-H(x0)Δx](4)將式(4)展開，并經(jīng)過配方后得到：J(x)=ΔzT[R-1-R-1H(x0)Σ(x0)HT(x0)R-1]ΔZ+[ΔX-Σ(x0)HT(x0)R-1Δz]TΣ-1(x0)[Δx-Σ(x0)HT(x0)R-1Δz]---(5)]]>其中，∑(x0)＝[HT(x0)R-1H(x0)]-1；如果使J(x)達(dá)到極小，則：Δx^=Σ(x0)HT(x0)R-1Δz---(6)]]>由式(6)得到：x^=x0+Δx^=x0+Σ(x0)HT(x0)R-1[z-h(x0)]---(7)]]>其中，x=x^(0),x^(1)...,x^(l),...x0,x^---(8)]]>式(8)中(l)為迭代序號，則式(6)和式(7)可以寫成以下的式(9)和式(10)：Δx^(l)=[HT(x^(l))R-1H(x^(l))]-1HT(x^(l))R-1[x-h(x^(l))]---(9)]]>x^(l+1)=x^(l)+[HT(x^(l))R-1H(x^(l))]-1HT(x^(l))R-1[z-h(x^(l))]---(10)]]>按照式(10)進(jìn)行迭代修正，直到目標(biāo)函數(shù)接近于最小值為止，采用的收斂判據(jù)是以下函數(shù)：max|Δx^i(l)|≤ϵx---(11)]]>式(11)中l(wèi)標(biāo)識矢量x中分量的序號，式(11)表示第l次迭代計(jì)算中狀態(tài)修正量絕對值最大者小于給定的閾值εx；經(jīng)過l次迭代滿足收斂標(biāo)準(zhǔn)時(shí)：Δx^(l)=x^(l+1)-x^(l)=[HT(x^(l))R-1H(x^(l))]-1HT(x^(l))R-1[z-h(x^(l))]≈0---(12)]]>此時(shí)，即是最優(yōu)狀態(tài)估計(jì)值而測量量的估計(jì)值是在一些示例中，所述對所述完整的數(shù)據(jù)源進(jìn)行標(biāo)準(zhǔn)化處理，進(jìn)一步包括：將所述完整的數(shù)據(jù)源的屬性值轉(zhuǎn)換為統(tǒng)一的格式。在一些示例中，所述預(yù)設(shè)值為30％。根據(jù)本發(fā)明實(shí)施例的用于電網(wǎng)負(fù)荷預(yù)測的多元異質(zhì)數(shù)據(jù)清洗方法，通過對差異性過大數(shù)據(jù)、缺失數(shù)據(jù)和恒定不變數(shù)據(jù)進(jìn)行分析，根據(jù)電網(wǎng)負(fù)荷預(yù)測精度需要剔除部分壞數(shù)據(jù)(無效數(shù)據(jù))，對已經(jīng)通過分析的數(shù)據(jù)可進(jìn)行數(shù)據(jù)識別處理，通過數(shù)據(jù)平滑算法和缺失值補(bǔ)充方法完成數(shù)據(jù)識別，得到完整的數(shù)據(jù)源，對得到的完整的數(shù)據(jù)源進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化處理得到干凈的數(shù)據(jù)源，最后實(shí)現(xiàn)干凈數(shù)據(jù)的回流。該方法對數(shù)據(jù)進(jìn)行清洗，利用清洗后的數(shù)據(jù)可進(jìn)行電網(wǎng)負(fù)荷預(yù)測，因此從數(shù)據(jù)源頭解決數(shù)據(jù)不準(zhǔn)、數(shù)據(jù)重復(fù)、數(shù)據(jù)缺失等問題，能夠有效提高數(shù)據(jù)質(zhì)量，進(jìn)而提高電網(wǎng)負(fù)荷預(yù)測的準(zhǔn)確性。本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。附圖說明本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對實(shí)施例的描述中將變得明顯和容易理解，其中：圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的用于電網(wǎng)負(fù)荷預(yù)測的多元異質(zhì)數(shù)據(jù)清洗方法的流程圖；圖2是根據(jù)本發(fā)明另一個(gè)實(shí)施例的用于電網(wǎng)負(fù)荷預(yù)測的多元異質(zhì)數(shù)據(jù)清洗方法的整體流程圖。具體實(shí)施方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。在本發(fā)明的描述中，需要理解的是，術(shù)語“中心”、“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。此外，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性。在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通。對于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語在本發(fā)明中的具體含義。以下結(jié)合附圖描述根據(jù)本發(fā)明實(shí)施例的用于電網(wǎng)負(fù)荷預(yù)測的多元異質(zhì)數(shù)據(jù)清洗方法。圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的用于電網(wǎng)負(fù)荷預(yù)測的多元異質(zhì)數(shù)據(jù)清洗方法的流程圖。圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的用于電網(wǎng)負(fù)荷預(yù)測的多元異質(zhì)數(shù)據(jù)清洗方法的整體流程圖。如圖1所示，并結(jié)合圖2，該方法包括以下步驟：步驟S1：對多元異質(zhì)設(shè)備的運(yùn)行數(shù)據(jù)的分布特性進(jìn)行分析，以得到有效運(yùn)行數(shù)據(jù)。具體地，對多元異質(zhì)設(shè)備的運(yùn)行數(shù)據(jù)的分布特性進(jìn)行分析，進(jìn)一步包括：對多元異質(zhì)設(shè)備的運(yùn)行數(shù)據(jù)進(jìn)行異常檢測、缺失值或異常值處理、相似重復(fù)記錄處理，以剔除運(yùn)行數(shù)據(jù)中的無效數(shù)據(jù)。其中，無效數(shù)據(jù)例如包括：差異性過大數(shù)據(jù)、缺失數(shù)據(jù)和恒定不變數(shù)據(jù)。其中，當(dāng)運(yùn)行數(shù)據(jù)的離散系數(shù)高于預(yù)設(shè)值時(shí)，判定運(yùn)行數(shù)據(jù)為差異性過大數(shù)據(jù)。更為具體地，預(yù)設(shè)值例如為30％。換言之，結(jié)合圖2所示，在步驟S1中，主要是對多元異質(zhì)設(shè)備的運(yùn)行數(shù)據(jù)進(jìn)行異常檢測、缺失值或異常值的處理、相似重復(fù)記錄的處理等。數(shù)據(jù)分析具體包括：差異性過大數(shù)據(jù)分析、缺失數(shù)據(jù)分析和恒定不變數(shù)據(jù)分析。具體地說，數(shù)據(jù)分析是提升數(shù)據(jù)質(zhì)量的第一步，即數(shù)據(jù)的分布特性分析，目的在于研究其是否具有統(tǒng)計(jì)價(jià)值。數(shù)據(jù)質(zhì)量的判別主要是依據(jù)其離散系數(shù)來進(jìn)行判斷。離散系數(shù)又稱“變異系數(shù)”，是衡量各測量值變異程度的另一個(gè)統(tǒng)計(jì)量。通常，將標(biāo)準(zhǔn)差與平均數(shù)的比值稱為離散系數(shù)或變異系數(shù)，例如記為C.V.(CoefficientofVariance)，用公式表示為：C.V＝σ/μ。標(biāo)準(zhǔn)變異系數(shù)是一組數(shù)據(jù)的變異指標(biāo)與其平均指標(biāo)之比，它是一個(gè)相對變異指標(biāo)，一般認(rèn)為當(dāng)C.V.>30％(預(yù)設(shè)值)時(shí)，數(shù)據(jù)差異性過大，即判定為差異性過大數(shù)據(jù)。進(jìn)一步地，對于差異性過大數(shù)據(jù)、數(shù)據(jù)全為零和基本不變化的數(shù)據(jù)，均判定為無效數(shù)據(jù)，需要進(jìn)行剔除。步驟S2：對有效運(yùn)行數(shù)據(jù)進(jìn)行數(shù)據(jù)識別處理，以得到完整的數(shù)據(jù)源。具體地，對有效運(yùn)行數(shù)據(jù)進(jìn)行數(shù)據(jù)識別處理，進(jìn)一步包括：通過最小二乘算法對有效運(yùn)行數(shù)據(jù)進(jìn)行平滑處理和缺失值補(bǔ)充，以進(jìn)一步提升數(shù)據(jù)的質(zhì)量，進(jìn)而得到完整的數(shù)據(jù)源。在一些示例中，多元異質(zhì)設(shè)備例如為變壓器，其運(yùn)行數(shù)據(jù)包括：有功功率、無功功率、電流值和電壓值。則在變壓器的負(fù)荷預(yù)測過程中，對于這些隨時(shí)間持續(xù)變化且具有一定的關(guān)聯(lián)性的數(shù)據(jù)，可以采用加權(quán)最小二乘法進(jìn)行估計(jì)。基于此，對變壓器的有效運(yùn)行數(shù)據(jù)進(jìn)行識別和處理，例如包括：以變壓器運(yùn)行數(shù)據(jù)中的電壓值為例，設(shè)定測量量為z，狀態(tài)變量為x，誤差為v，則非線性估計(jì)方程為：z＝h(x)+v(1)如果給定測量量的矢量z，則狀態(tài)變量x是使式(2)的目標(biāo)函數(shù)達(dá)到最小的x值，其中，目標(biāo)函數(shù)為：J(x)＝[z-h(x)]TR-1[z-h(x)](2)由于h(x)是x的非線性矢量函數(shù)，因此無法計(jì)算狀態(tài)量可以采用迭代算法來求解。為了求解首先對h(x)進(jìn)行線性化假設(shè)。令x0是x的某一近似值，在x0附近將h(x)進(jìn)行泰勒展開，忽略二次以上的非線性項(xiàng)之后，得到：h(x)＝h(x0)+H(x0)Δx(3)，其中，H(X0)是m*n階測量矢量的雅可比矩陣；將式(3)代入式(2)中，令Δz＝z-h(x0)，得到：J(x)＝[Δz-H(x0)Δx]TR-1[Δz-H(x0)Δx](4)將式(4)展開，并經(jīng)過配方后得到：J(x)=ΔzT[R-1-R-1H(x0)Σ(x0)HT(x0)R-1]ΔZ+[ΔX-Σ(x0)HT(x0)R-1Δz]TΣ-1(x0)[Δx-Σ(x0)HT(x0)R-1Δz]---(5)]]>其中，∑(x0)＝[HT(x0)R-1H(x0)]-1；式(5)中右邊第一項(xiàng)與Δx無關(guān)，因此，如果使J(x)極小，第二項(xiàng)因?yàn)?，從而有式(6)：Δx^=Σ(x0)HT(x0)R-1Δz---(6)]]>由式(6)得到：x^=x0+Δx^=x0+Σ(x0)HT(x0)R-1[z-h(x0)]---(7)]]>應(yīng)該指出的是，只有到x0充分接近時(shí)，忽略掉泰勒展開式中非線性項(xiàng)的式(2)才能保持足夠的近似程度，由式(6)計(jì)算出的狀態(tài)修正量才能得到足夠的準(zhǔn)確程度，用式(7)計(jì)算出的狀態(tài)估計(jì)值才能使目標(biāo)函數(shù)J(x)得到最小，事實(shí)上要自己給出這樣進(jìn)度的x0是不可能的，只要能給出距不太遠(yuǎn)的x作為初值，把式(7)作為一步迭代來處理，x是可以逐步達(dá)到的，這時(shí)x是一個(gè)序列，即x=x^(0),x^(1)...,x^(l),...x0,x^---(8)]]>式(8)中(l)為迭代序號，則式(6)和式(7)可以寫成以下的式(9)和式(10)：Δx^(l)=[HT(x^(l))R-1H(x^(l))]-1HT(x^(l))R-1[x-h(x^(l))]---(9)]]>x^(l+1)=x^(l)+[HT(x^(l))R-1H(x^(l))]-1HT(x^(l))R-1[z-h(x^(l))]---(10)]]>按照式(10)進(jìn)行迭代修正，直到目標(biāo)函數(shù)接近于最小值為止，采用的收斂判據(jù)例如為以下函數(shù)：max|Δx^i(l)|≤ϵx---(11)]]>式(11)中l(wèi)表示矢量x中分量的序號，式(11)表示第l次迭代計(jì)算中狀態(tài)修正量絕對值最大者小于給定的閾值εx；經(jīng)過l次迭代滿足收斂標(biāo)準(zhǔn)時(shí)：Δx^(l)=x^(l+1)-x^(l)=[HT(x^(l))R-1H(x^(l))]-1HT(x^(l))R-1[z-h(x^(l))]≈0---(12)]]>此時(shí)，即是最優(yōu)狀態(tài)估計(jì)值而測量量的估計(jì)值是同理，變壓器有功功率、無功功率、電流值等運(yùn)行數(shù)據(jù)均可采用上述方法對數(shù)據(jù)進(jìn)行估計(jì)，補(bǔ)充數(shù)據(jù)缺失值，修改差異性較大的數(shù)據(jù)，從而實(shí)現(xiàn)數(shù)據(jù)清洗。步驟S3：對完整的數(shù)據(jù)源進(jìn)行標(biāo)準(zhǔn)化處理，以得到干凈的數(shù)據(jù)源。具體地，對完整的數(shù)據(jù)源進(jìn)行標(biāo)準(zhǔn)化處理，進(jìn)一步包括：將完整的數(shù)據(jù)源的屬性值轉(zhuǎn)換為統(tǒng)一的格式。換言之，為了使記錄實(shí)例匹配和合并變得更方便，應(yīng)該把數(shù)據(jù)的屬性值轉(zhuǎn)換成一個(gè)一致或統(tǒng)一的格式。進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，該方法還包括：用干凈的數(shù)據(jù)源替換運(yùn)行數(shù)據(jù)中的無效數(shù)據(jù)。換言之，該步驟即干凈數(shù)據(jù)回流。當(dāng)數(shù)據(jù)被清洗后，干凈的數(shù)據(jù)應(yīng)該替換數(shù)據(jù)源中原來的“壞數(shù)據(jù)”。這樣可以提高系統(tǒng)的數(shù)據(jù)質(zhì)量，還可避免將來再次抽取數(shù)據(jù)后進(jìn)行重復(fù)的清洗工作。綜上，根據(jù)本發(fā)明實(shí)施例的用于電網(wǎng)負(fù)荷預(yù)測的多元異質(zhì)數(shù)據(jù)清洗方法，通過對差異性過大數(shù)據(jù)、缺失數(shù)據(jù)和恒定不變數(shù)據(jù)進(jìn)行分析，根據(jù)電網(wǎng)負(fù)荷預(yù)測精度需要剔除部分壞數(shù)據(jù)(無效數(shù)據(jù))，對已經(jīng)通過分析的數(shù)據(jù)可進(jìn)行數(shù)據(jù)識別處理，通過數(shù)據(jù)平滑算法和缺失值補(bǔ)充方法完成數(shù)據(jù)識別，得到完整的數(shù)據(jù)源，對得到的完整的數(shù)據(jù)源進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化處理得到干凈的數(shù)據(jù)源，最后實(shí)現(xiàn)干凈數(shù)據(jù)的回流。該方法對數(shù)據(jù)進(jìn)行清洗，利用清洗后的數(shù)據(jù)可進(jìn)行電網(wǎng)負(fù)荷預(yù)測，因此從數(shù)據(jù)源頭解決數(shù)據(jù)不準(zhǔn)、數(shù)據(jù)重復(fù)、數(shù)據(jù)缺失等問題，能夠有效提高數(shù)據(jù)質(zhì)量，進(jìn)而提高電網(wǎng)負(fù)荷預(yù)測的準(zhǔn)確性，對于指導(dǎo)用戶側(cè)用電、削峰填谷具有很大的意義。在本說明書的描述中，參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，本領(lǐng)域的普通技術(shù)人員可以理解：在不脫離本發(fā)明的原理和宗旨的情況下可以對這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同限定。當(dāng)前第1頁1 2 3