基于偏差控制機(jī)制的Mapreduce化兩步法短期負(fù)荷預(yù)測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及發(fā)一種基于大數(shù)據(jù)的電力負(fù)荷預(yù)測(cè)方法，特別是基于偏差控制機(jī)制的 負(fù)荷預(yù)測(cè)方法。
【背景技術(shù)】
[0002] 時(shí)間序列模型是被認(rèn)為最經(jīng)典、最系統(tǒng)、最被廣泛采用的一類短期負(fù)荷預(yù)測(cè)方法， 但其有以下缺點(diǎn)：①在電網(wǎng)正常運(yùn)行、氣候等因素變化不大時(shí)的預(yù)測(cè)比較準(zhǔn)確，但在隨機(jī)性 因素變化較大或存在壞數(shù)據(jù)時(shí)，預(yù)測(cè)結(jié)果則不太理想；②不能很好處理其他影響負(fù)荷預(yù)測(cè) 的因素；③在每日的負(fù)荷豐谷轉(zhuǎn)折點(diǎn)預(yù)測(cè)精度差。
[0003] 而一個(gè)好的負(fù)荷預(yù)測(cè)方法應(yīng)滿足：①能處理實(shí)時(shí)氣象因素；②根據(jù)預(yù)測(cè)的偏差不 斷調(diào)整模型的結(jié)構(gòu)與參數(shù)，構(gòu)成了一個(gè)閉環(huán)反饋。因此應(yīng)該充分利用時(shí)間序列模型預(yù)測(cè)得 到的相對(duì)誤差值進(jìn)行考慮實(shí)時(shí)氣象因素的二次負(fù)荷預(yù)測(cè)，實(shí)現(xiàn)對(duì)負(fù)荷預(yù)測(cè)偏差的控制。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提供一種實(shí)現(xiàn)偏差控制的兩步法短期負(fù)荷預(yù)測(cè)算法，以解決傳統(tǒng) 時(shí)間序列預(yù)測(cè)算法在每日的負(fù)荷豐谷轉(zhuǎn)折點(diǎn)預(yù)測(cè)精度差，無(wú)法實(shí)時(shí)處理氣象因素、有效利 用模型預(yù)測(cè)偏差，導(dǎo)致的負(fù)荷預(yù)測(cè)精度低的問題。
[0005] 本發(fā)明為解決上述技術(shù)問題而提供一種基于偏差控制機(jī)制的Mapreduce化兩步 法短期負(fù)荷預(yù)測(cè)方法，第一步采用自回歸滑動(dòng)平均模型Autoregressive Moving-Average Model (ARMA)法，不考慮負(fù)荷的影響因素，得到預(yù)測(cè)相對(duì)誤差；第二步采用支持向量機(jī) Support Vector Machine (SVM)法，考慮第一步的預(yù)測(cè)相對(duì)誤差、實(shí)時(shí)待預(yù)測(cè)點(diǎn)氣溫的影響 來(lái)進(jìn)行二次負(fù)荷預(yù)測(cè)，在第一步的預(yù)測(cè)基礎(chǔ)上修正預(yù)測(cè)值，實(shí)現(xiàn)對(duì)負(fù)荷的實(shí)時(shí)預(yù)測(cè)。具體步 驟如下：
[0006] 步驟1、配置Linux運(yùn)行環(huán)境，搭建分布式集群Hadoop平臺(tái)，配置分布式文件系統(tǒng) HDFS、并行運(yùn)算Mapreduce;
[0007] 步驟2、數(shù)據(jù)采集：從待預(yù)測(cè)地區(qū)供電公司的EMS系統(tǒng)中采集歷史負(fù)荷數(shù)據(jù)，從氣 象局的數(shù)據(jù)庫(kù)中采集歷史溫度數(shù)據(jù)，兩種數(shù)據(jù)的樣本總數(shù)均為M，每天的采樣頻率均為f， 且采樣時(shí)刻相同；
[0008] 步驟3、數(shù)據(jù)預(yù)處理：對(duì)歷史負(fù)荷數(shù)據(jù)、歷史溫度數(shù)據(jù)進(jìn)行歸一化處理，將歷史負(fù) 荷數(shù)據(jù)劃分為負(fù)荷訓(xùn)練集：W= {1J，r= 1，2,…Q，以及負(fù)荷測(cè)試集：Lu= {lu}，u= 1，2,… S，其中L與1u為歷史負(fù)荷數(shù)據(jù)樣本，Q+S=Μ;將歷史溫度數(shù)據(jù)劃分為溫度訓(xùn)練集：?\ = {tj，r= 1，2,…Q，以及溫度測(cè)試集：Tu={tu}，u= 1，2,…S，其中tr與tu為歷史溫度數(shù) 據(jù)樣本，Q+S=Μ;歷史負(fù)荷數(shù)據(jù)和歷史溫度數(shù)據(jù)的劃分方法相同。
[0009] 步驟4、將自回歸滑動(dòng)平均模型ARMA法Mapreduce化，進(jìn)行一次負(fù)荷預(yù)測(cè)，具體步 驟如下：
[0010] 4A.負(fù)荷訓(xùn)練集分割：確定并行ARMA的數(shù)目為N，修改HDFS的配置文件，使得負(fù)荷 訓(xùn)練集分割為N個(gè)歷史負(fù)荷數(shù)據(jù)子集，上傳至HDFS文件系統(tǒng)；
[0011] 4B.設(shè)計(jì)Map函數(shù)：采用ARMA法得到模型參數(shù)，并作為value值輸出；
[0012] 4C.設(shè)計(jì)Reduce函數(shù)：將N個(gè)Map任務(wù)得到的ARMA模型參數(shù)進(jìn)行平均，得到最終 ARMA模型，對(duì)所有的歷史負(fù)荷進(jìn)行預(yù)測(cè)，并按照下式計(jì)算相對(duì)誤差Ei，同時(shí)存入HDFS文件 系統(tǒng)：
[0013]
[0014] 其中屯為采用ARMA法得到的待預(yù)測(cè)負(fù)荷的預(yù)測(cè)相對(duì)誤差，1F1為采用ARMA法進(jìn) 行負(fù)荷預(yù)測(cè)得到的負(fù)荷預(yù)測(cè)結(jié)果，lRS負(fù)荷實(shí)際值；
[0015] 步驟5、數(shù)據(jù)整理：綜合訓(xùn)練集4=(Etp1上r= 1，2,…Q，綜合測(cè)試集：xu= (Elu，tu，lu)，u= 1，2,…S，其中l(wèi)r、1,代表步驟3中歷史負(fù)荷值，Elr、Elu代表由步驟4得到 的乜對(duì)應(yīng)的相對(duì)誤差值，t^tu代表U、lu點(diǎn)對(duì)應(yīng)的步驟3中歷史溫度值；
[0016] 步驟6、將SVM法Mapreduce化，進(jìn)行二次負(fù)荷預(yù)測(cè)，具體步驟如下：
[0017] 6A.綜合訓(xùn)練集分割：確定并行SVM的數(shù)目為N，修改HDFS的配置文件，使得綜合 訓(xùn)練集數(shù)據(jù)分割為N個(gè)綜合子訓(xùn)練集，上傳至HDFS文件系統(tǒng)；
[0018] 6B.設(shè)計(jì)Map函數(shù)：選擇徑向基作為核函數(shù)，選定核函數(shù)參數(shù)與懲罰因子，對(duì)綜合 子訓(xùn)練集進(jìn)行SVM模型訓(xùn)練，得到子支持向量，并將其作為Map函數(shù)的value輸出；
[0019] 6C.設(shè)計(jì)Reduce函數(shù)：匯集N個(gè)Map函數(shù)輸出的子支持向量得到總支持向量集， 再對(duì)總支持向量集進(jìn)行SVM訓(xùn)練，得到最優(yōu)拉格朗日乘子a*以及最優(yōu)閾值b%建立進(jìn)行 負(fù)荷預(yù)測(cè)的SVM回歸函數(shù)：
[0020]
[0021] 式中，χ^=(XXmy上r= 1, 2, 為訓(xùn)練樣本，xu為待預(yù)測(cè)點(diǎn)的特征值向量；
[0022] 利用SVM回歸函數(shù)進(jìn)行負(fù)荷預(yù)測(cè)得到預(yù)測(cè)結(jié)果LFl2，并按照下式計(jì)算相對(duì)誤差：
[0023]
[0024] 其中：E2為采用SVM法得到的待預(yù)測(cè)負(fù)荷的預(yù)測(cè)相對(duì)誤差，LF2采用SVM法得到的 為負(fù)荷預(yù)測(cè)值，1RS負(fù)荷實(shí)際值；將SVM法得到的二次負(fù)荷預(yù)測(cè)結(jié)果與相對(duì)誤差結(jié)果存入 HDFS文件系統(tǒng)。
[0025] 與傳統(tǒng)技術(shù)相比，本發(fā)明的有益效果是：
[0026] 傳統(tǒng)時(shí)間序列預(yù)測(cè)方法應(yīng)用于負(fù)荷預(yù)測(cè)時(shí)，無(wú)法有效考慮影響負(fù)荷預(yù)測(cè)精度的因 素，同時(shí)其在每日的負(fù)荷豐谷轉(zhuǎn)折點(diǎn)預(yù)測(cè)精度差，而且現(xiàn)有其他負(fù)荷預(yù)測(cè)方法都沒有考慮 充分利用預(yù)測(cè)誤差值，本發(fā)明以時(shí)間序列預(yù)測(cè)法的預(yù)測(cè)誤差值與以待預(yù)測(cè)點(diǎn)的預(yù)測(cè)溫度作 為二次負(fù)荷預(yù)測(cè)SVM法的輸入特征，消除了時(shí)間序列預(yù)測(cè)方法在每日的負(fù)荷豐谷轉(zhuǎn)折點(diǎn)預(yù) 測(cè)精度差的問題，同時(shí)利用實(shí)時(shí)溫度數(shù)據(jù)，在Hadoop平臺(tái)上并行化運(yùn)行預(yù)測(cè)方法，在保證 預(yù)測(cè)速度和預(yù)測(cè)精度的基礎(chǔ)上實(shí)現(xiàn)短期實(shí)時(shí)負(fù)荷預(yù)測(cè)。
【附圖說明】
[0027] 圖1是本發(fā)明基于偏差控制機(jī)制的Mapreduce化兩步法短期負(fù)荷預(yù)測(cè)方法的流程 圖。
[0028] 圖2是第一步Mapreduce化的ARMA負(fù)荷預(yù)測(cè)流程圖。
[0029] 圖3是第二步Mapreduce化的SVM負(fù)荷預(yù)測(cè)流程圖。
【具體實(shí)施方式】
[0030] 為使本發(fā)明更明顯易懂，配合附圖作詳細(xì)說明如下，
[0031] -種基于偏差控制機(jī)制的Mapreduce化兩步法短期負(fù)荷預(yù)測(cè)方法，具體步驟包 括：
[0032] 步驟1、配置Linux運(yùn)行環(huán)境，搭建分布式集群Hadoop平臺(tái)，配置分布式文件系統(tǒng) HDFS、并行運(yùn)算Mapreduce ;
[0033] 步驟2、數(shù)據(jù)采集：從待預(yù)測(cè)地區(qū)供電公司的EMS系統(tǒng)、氣象局的數(shù)據(jù)庫(kù)中采集歷 史負(fù)荷數(shù)據(jù)、歷史溫度數(shù)據(jù)，兩種數(shù)據(jù)的樣本總數(shù)均為M，每天的采樣頻率均為f，且采樣時(shí) 刻相同；
[0034] 步驟3、數(shù)據(jù)預(yù)處理：對(duì)歷史負(fù)荷數(shù)據(jù)、歷史溫度數(shù)據(jù)進(jìn)行歸一化處理，將歷史負(fù) 荷數(shù)據(jù)劃分為負(fù)荷訓(xùn)練集：W= {1J，r= 1，2,…Q，以及負(fù)荷測(cè)試集：Lu= {lu}，u= 1，2,… S，其中L與1u為歷史負(fù)荷數(shù)據(jù)樣本，Q+S=Μ;將歷史溫度數(shù)據(jù)劃分為溫度訓(xùn)練集：?\ = {tj，r= 1，2,…Q，以及溫度測(cè)試集：Tu={tu}，u= 1，2,…S，其中tr與tu為歷史溫度數(shù) 據(jù)樣本，Q+S=Μ;歷史負(fù)荷數(shù)據(jù)和歷史溫度數(shù)據(jù)的劃分方法相同。
[0035] 步驟4、采用自回歸滑動(dòng)平均模型ARMA法進(jìn)行負(fù)荷預(yù)測(cè)，具體步驟如下：
[0036] 4Α.負(fù)荷訓(xùn)練集分割：確定并行ARMA的數(shù)目為Ν，修改HDFS的配置文件，使得負(fù)荷 訓(xùn)練集分割為N個(gè)歷史負(fù)荷數(shù)據(jù)子集，上傳至HDFS文件系統(tǒng)；
[0037]4B.設(shè)計(jì)Map函數(shù)：采用傳統(tǒng)ARMA法得到模型參數(shù)，并作為value值輸出：
[0038]Stepl:對(duì)采集的歷史負(fù)荷數(shù)據(jù)進(jìn)行平穩(wěn)性檢驗(yàn)，采用非參數(shù)檢驗(yàn)法：將電力負(fù) 荷數(shù)據(jù)作散點(diǎn)圖，當(dāng)日該時(shí)刻的電力負(fù)荷數(shù)據(jù)大于這段時(shí)期該時(shí)刻平均電力負(fù)荷時(shí)用 +1表示，當(dāng)日該時(shí)刻的電力負(fù)荷數(shù)據(jù)小于這段時(shí)期該時(shí)刻平均電力負(fù)荷時(shí)用-1表示， γ表示游程數(shù)（正負(fù)交錯(cuò)數(shù)），N表示+1出現(xiàn)次數(shù)，Μ表示-1出現(xiàn)次數(shù)，則統(tǒng)計(jì)量為：
η=Ν+Μ。取顯著水平α= 〇· 05,當(dāng)|Ζ|彡L96 時(shí)歷史負(fù)荷數(shù)據(jù)為平穩(wěn)隨機(jī)序列，否則為非平穩(wěn)隨機(jī)序列。
[0039]Step2:若電力負(fù)荷序列為非平穩(wěn)序列，則對(duì)該負(fù)荷序列進(jìn)行預(yù)處理：平穩(wěn)化處 理、零化處理；
[0040] 平穩(wěn)化處理：對(duì)負(fù)荷數(shù)據(jù)進(jìn)行差分處理，一階差分：AXt=xt-xti，然后按照St印1 判斷經(jīng)處理后序列的平穩(wěn)性，若不是平穩(wěn)序列則繼續(xù)進(jìn)行差分，直到成為平穩(wěn)序列。
[0041] 零化處理：當(dāng)負(fù)荷數(shù)據(jù)序列{xt}，t= 1，2, "·Ν的均值非零時(shí)，構(gòu)造零均值序列：yt =xt_Ext，其中 =
[0042]St印3:模型結(jié)構(gòu)辨識(shí)：
[0043] ①計(jì)算由Step2得到的平穩(wěn)、零均值的隨機(jī)序列{yj，t= 1，2,…N的自相關(guān)函 數(shù)：
[0044]
[0045] L=K.T±
[0046] ②計(jì)算偏自相關(guān)函數(shù)：
[