本發(fā)明屬于供熱系統(tǒng)，具體涉及一種基于深度強(qiáng)化學(xué)習(xí)和提升供熱系統(tǒng)靈活性的優(yōu)化調(diào)度方法。

背景技術(shù)：

1、可再生能源的快速發(fā)展對(duì)緩解當(dāng)前供熱系統(tǒng)能源供應(yīng)的壓力以及促進(jìn)電力系統(tǒng)低碳化運(yùn)行具有重要意義。但是可再生能源尤其是風(fēng)光能源的出力具有不確定性，若想在引入可再生能源的同時(shí)保證供熱系統(tǒng)的安全可靠運(yùn)行，需要供熱系統(tǒng)有足夠的靈活性。

2、另外，供熱系統(tǒng)的靈活性可從源側(cè)、網(wǎng)側(cè)和荷側(cè)等多方面獲得，不同的靈活性資源具有不同的特點(diǎn)，需要進(jìn)行定性和定量分析。例如，源側(cè)供熱機(jī)組的出力和末端用戶負(fù)荷需求隨著時(shí)間變化，管網(wǎng)傳輸?shù)臒崃恳哺鶕?jù)熱量供需變化和管網(wǎng)的拓?fù)浣Y(jié)構(gòu)而變化，以及供熱系統(tǒng)規(guī)模的不斷增加，都給供熱系統(tǒng)帶來了極大的不確定性，同時(shí)也相應(yīng)造成供熱系統(tǒng)優(yōu)化調(diào)度模型的建模難度大大增加，對(duì)調(diào)度提出了更高的要求。如何具體分析供熱系統(tǒng)中存在的多重不確定性，降低供熱系統(tǒng)調(diào)度問題的不確定性和提升供熱系統(tǒng)的靈活性優(yōu)化調(diào)度是目前急需解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是，克服現(xiàn)有技術(shù)的不足，提供一種基于深度強(qiáng)化學(xué)習(xí)和提升供熱系統(tǒng)靈活性的優(yōu)化調(diào)度方法。

2、為了解決上述技術(shù)問題，本發(fā)明的技術(shù)方案是：

3、本發(fā)明提供了一種基于深度強(qiáng)化學(xué)習(xí)和提升供熱系統(tǒng)靈活性的優(yōu)化調(diào)度方法，包括：

4、s1、分析源側(cè)可再生能源接入供熱系統(tǒng)時(shí)，對(duì)系統(tǒng)運(yùn)行調(diào)度造成的第一靈活性影響，包括可再生能源出力隨機(jī)性對(duì)供需平衡的影響和可再生能源接入造成的運(yùn)行成本影響；

5、s2、分析荷側(cè)柔性熱負(fù)荷用戶接入供熱系統(tǒng)時(shí)，對(duì)系統(tǒng)運(yùn)行調(diào)度造成的第二靈活性影響，包括柔性熱負(fù)荷對(duì)供需平衡的影響、柔性熱負(fù)荷接入對(duì)熱負(fù)荷需求預(yù)測影響、以及源荷出力和荷側(cè)需求之間的不匹配性對(duì)可再生能源利用的影響；

6、s3、分析擾動(dòng)隨機(jī)因素對(duì)供熱系統(tǒng)運(yùn)行調(diào)度造成的第三靈活性影響，包括不可控外部極端天氣影響、熱網(wǎng)故障造成管網(wǎng)拓?fù)浣Y(jié)構(gòu)變化影響和設(shè)備運(yùn)行狀態(tài)影響；

7、s4、分析網(wǎng)側(cè)節(jié)點(diǎn)規(guī)模擴(kuò)大和源側(cè)熱源接入量增加、荷側(cè)熱用戶接入量增加對(duì)供熱系統(tǒng)運(yùn)行調(diào)度造成的第四靈活性影響；

8、s5、對(duì)供熱系統(tǒng)運(yùn)行調(diào)度造成的第一靈活性影響、第二靈活性影響、第三靈活性影響和第四靈活性影響所涉及的高維不確定性特征進(jìn)行收集和編碼提?。?/p>

9、s6、將提升供熱系統(tǒng)靈活性的優(yōu)化調(diào)度模型問題定義為：在考慮供熱系統(tǒng)熱負(fù)荷供需平衡約束、源側(cè)供熱機(jī)組出力約束、爬坡約束、柔性熱負(fù)荷調(diào)節(jié)能力約束，以及管網(wǎng)運(yùn)行約束條件下，以實(shí)現(xiàn)供熱系統(tǒng)總成本最小為目標(biāo)，控制調(diào)節(jié)多時(shí)間尺度下源側(cè)常規(guī)供熱機(jī)組和可再生能源出力、管網(wǎng)結(jié)構(gòu)布局和柔性熱負(fù)荷調(diào)節(jié)量，應(yīng)對(duì)源網(wǎng)荷側(cè)和擾動(dòng)隨機(jī)因素造成的影響；

10、s7、將提升供熱系統(tǒng)靈活性的優(yōu)化調(diào)度模型問題轉(zhuǎn)化為馬爾科夫決策過程，嵌入編碼提取的高維特征和設(shè)計(jì)智能體觀察到所在環(huán)境的狀態(tài)集合、對(duì)環(huán)境施加影響的動(dòng)作集合、對(duì)環(huán)境執(zhí)行動(dòng)作后獲得的收益集合，通過深度強(qiáng)化學(xué)習(xí)算法進(jìn)行調(diào)度模型的訓(xùn)練優(yōu)化，輸出最優(yōu)調(diào)度決策。

11、進(jìn)一步，所述s1具體包括：

12、分析源側(cè)包括太陽能供熱機(jī)組、風(fēng)能供熱機(jī)組的可再生能源供熱機(jī)組接入供熱系統(tǒng)時(shí)，在系統(tǒng)調(diào)度運(yùn)行過程中，源側(cè)調(diào)度對(duì)象由原有出力可控的非可再生能源供熱機(jī)組轉(zhuǎn)變?yōu)樵磦?cè)隨機(jī)性、不確定性增強(qiáng)的非可再生能源供熱機(jī)組和可再生能源供熱機(jī)組的混合供熱系統(tǒng)；

13、其中，受到天氣、季節(jié)和地理位置的影響，可再生能源供熱機(jī)組出力表現(xiàn)為不確定性，在出力不足的情況下，造成用戶供熱量不足，而在出力過剩的情況下，造成資源浪費(fèi)，導(dǎo)致供需不平衡；

14、可再生能源供熱機(jī)組接入供熱系統(tǒng)的成本高于非可再生能源的接入成本，以及由于可再生能源供熱機(jī)組的分布特征，增加了熱量傳輸成本、設(shè)備運(yùn)行維護(hù)成本；為彌補(bǔ)可再生能源出力的不確定性，在滿足安全運(yùn)行約束條件下，增加供需平衡成本和備用機(jī)組成本。

15、進(jìn)一步，所述s2具體包括：

16、分析荷側(cè)柔性熱負(fù)荷用戶接入供熱系統(tǒng)時(shí)，柔性熱負(fù)荷用戶根據(jù)自身需求和熱負(fù)荷調(diào)節(jié)能力，調(diào)整自身的熱負(fù)荷；在高峰時(shí)段，柔性熱負(fù)荷用戶通過減少自身熱負(fù)荷，降低供熱系統(tǒng)負(fù)荷峰值，避免或減少因負(fù)荷過大而導(dǎo)致的系統(tǒng)崩潰或性能下降；合理調(diào)度柔性熱負(fù)荷用戶，供熱系統(tǒng)靈活調(diào)整供需平衡；

17、獲取柔性熱負(fù)荷用戶的用熱數(shù)據(jù)和行為模型，以及隨著柔性熱負(fù)荷用戶數(shù)量的增加，對(duì)熱負(fù)荷需求預(yù)測模型進(jìn)行優(yōu)化調(diào)整；

18、調(diào)度柔性熱負(fù)荷用戶，減少源荷出力不匹配造成的可再生能源浪費(fèi)，以及柔性熱負(fù)荷作為緩沖器，在可再生能源出力波動(dòng)或荷側(cè)需求變化時(shí)，調(diào)整自身負(fù)荷平衡系統(tǒng)運(yùn)行，提高可再生能源的利用效率。

19、進(jìn)一步，所述s3具體包括：

20、分析出現(xiàn)外部氣溫急劇變化、惡劣天氣時(shí)，影響荷側(cè)用戶的熱需求和源側(cè)供熱機(jī)組的供熱設(shè)計(jì)能力，導(dǎo)致供需平衡，以及造成供熱管道損壞、破裂、泄漏；

21、分析熱網(wǎng)管道損壞、破裂、泄漏故障時(shí)，造成熱量損失、供熱中斷，改變熱網(wǎng)供熱路徑和管網(wǎng)拓?fù)浣Y(jié)構(gòu)，影響水泵、閥門、供熱機(jī)組、熱力站的設(shè)備運(yùn)行狀態(tài)和運(yùn)行參數(shù)。

22、進(jìn)一步，所述s4具體包括：

23、分析網(wǎng)側(cè)節(jié)點(diǎn)規(guī)模擴(kuò)大，造成供熱系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)和拓?fù)鋸?fù)雜性增加；

24、分析源側(cè)熱源接入量增加、荷側(cè)熱用戶接入量增加，造成系統(tǒng)運(yùn)行調(diào)度靈活性、復(fù)雜性增加，供需不匹配概率增加。

25、進(jìn)一步，所述分析源側(cè)可再生能源接入供熱系統(tǒng)時(shí)，對(duì)系統(tǒng)運(yùn)行調(diào)度造成的第一靈活性影響時(shí)，還包括建立可再生能源供熱機(jī)組的出力預(yù)測模型，具體過程為：

26、獲取真實(shí)的歷史可再生能源供熱機(jī)組出力數(shù)據(jù)，包括環(huán)境參數(shù)、機(jī)組運(yùn)行狀態(tài)、時(shí)間序列數(shù)據(jù)，并初始化生成對(duì)抗網(wǎng)絡(luò)中生成器和判別器的參數(shù)；

27、固定判別器，訓(xùn)練生成器：生成器將隨機(jī)噪聲作為輸入，生成接近真實(shí)數(shù)據(jù)的合成數(shù)據(jù)，判別器進(jìn)行數(shù)據(jù)真實(shí)性分值判斷；所述生成器的目標(biāo)是欺騙判別器，使其無法準(zhǔn)確判斷數(shù)據(jù)的真實(shí)性；所述生成器的參數(shù)通過反向傳播算法進(jìn)行更新；

28、固定生成器，訓(xùn)練判別器：在生成器訓(xùn)練完成后，固定生成器的參數(shù)，訓(xùn)練判別器；所述判別器的目標(biāo)是判斷輸入數(shù)據(jù)是真實(shí)的還是生成的；所述判別器的參數(shù)通過反向傳播算法進(jìn)行更新；

29、通過循環(huán)訓(xùn)練直到生成器能夠生成接近真實(shí)數(shù)據(jù)的合成數(shù)據(jù)，判別器無法判斷數(shù)據(jù)的真實(shí)性；

30、訓(xùn)練完成后通過生成器生成虛擬的新能源供熱機(jī)組出力數(shù)據(jù)，與真實(shí)的歷史可再生能源供熱機(jī)組出力數(shù)據(jù)進(jìn)行數(shù)據(jù)融合后來訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)rnn，建立可再生能源供熱機(jī)組的出力預(yù)測模型。

31、進(jìn)一步，所述分析荷側(cè)柔性熱負(fù)荷用戶接入供熱系統(tǒng)時(shí)，對(duì)系統(tǒng)運(yùn)行調(diào)度造成的第二靈活性影響時(shí)，還包括建立用戶熱負(fù)荷預(yù)測模型，具體過程為：

32、獲取包含柔性熱負(fù)荷用戶原始負(fù)荷信號(hào)后，采用eemd算法分解成高頻熱負(fù)荷分量、低頻熱負(fù)荷分量和殘差分量；

33、對(duì)于高頻熱負(fù)荷分量采用xgboost算法進(jìn)行特征提取和非線性擬合處理后獲得對(duì)應(yīng)的第一熱負(fù)荷預(yù)測序列，對(duì)于低頻熱負(fù)荷分量和殘差分量采用sarima模型擬合熱負(fù)荷趨勢曲線獲得對(duì)應(yīng)的第二熱負(fù)荷預(yù)測值；

34、定義第一熱負(fù)荷預(yù)測序列為a，第二熱負(fù)荷預(yù)測序列為b，相應(yīng)的實(shí)際熱負(fù)荷序列為h，并對(duì)第一熱負(fù)荷預(yù)測序列a和第二熱負(fù)荷預(yù)測序列b分別賦權(quán)w1和w2，w1+w2＝1，建立訓(xùn)練熱負(fù)荷重構(gòu)預(yù)測模型的誤差為：

35、ε＝h-w1a-w2b＝h-w1a-(1-w1)b；

36、以重構(gòu)預(yù)測模型的誤差最小化為優(yōu)化目標(biāo)求解權(quán)重，表示為：

37、

38、設(shè)置優(yōu)化目標(biāo)函數(shù)表示為：

39、

40、n為熱負(fù)荷采樣點(diǎn)數(shù)；

41、設(shè)置約束條件為：

42、0≤w1≤1；

43、采用智能優(yōu)化算法進(jìn)行權(quán)重尋優(yōu)，獲得最優(yōu)權(quán)重w1和w2，建立熱負(fù)荷重構(gòu)預(yù)測模型。

44、進(jìn)一步，所述s5具體包括：

45、采用機(jī)器學(xué)習(xí)算法對(duì)供熱系統(tǒng)運(yùn)行調(diào)度造成的第一靈活性影響、第二靈活性影響、第三靈活性影響和第四靈活性影響所涉及的高維不確定性特征進(jìn)行收集和編碼，獲得表征供熱系統(tǒng)的高不確定性特征的編碼結(jié)果；

46、其中，高維不確定性特征至少包括：源側(cè)熱源出力不確定性特征；熱用戶需求變化的不確定性特征；氣溫、風(fēng)速、降雨量和降雪量天氣變化的不確定性特征；熱網(wǎng)管道損壞、破裂、泄漏故障發(fā)生事件和位置不確定特征；網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)布局變化不確定特征。

47、進(jìn)一步，所述s7中，所述設(shè)計(jì)智能體觀察到所在環(huán)境的狀態(tài)集合包括：當(dāng)前的熱負(fù)荷需求、可再生能源供熱機(jī)組情況、常規(guī)供熱機(jī)組的狀態(tài)、管網(wǎng)運(yùn)行狀態(tài)、管網(wǎng)拓?fù)浣Y(jié)構(gòu)和接入量規(guī)模；

48、所述設(shè)計(jì)對(duì)環(huán)境施加影響的動(dòng)作集合包括：調(diào)整常規(guī)供熱機(jī)組和可再生能源機(jī)組的出力、改變管網(wǎng)結(jié)構(gòu)布局、調(diào)節(jié)柔性熱負(fù)荷和調(diào)節(jié)閥門、水泵、換熱機(jī)組相關(guān)設(shè)備運(yùn)行參數(shù)；

49、所述設(shè)計(jì)對(duì)環(huán)境執(zhí)行動(dòng)作后獲得的收益集合包括：原始總成本和后續(xù)優(yōu)化調(diào)度成本共同組成的供熱系統(tǒng)總成本、供需平衡度；所述原始總成本包括系統(tǒng)供熱成本、機(jī)組維修成本和啟停成本；所述后續(xù)優(yōu)化調(diào)度成本包括源側(cè)優(yōu)化調(diào)度增加的熱量成本、荷側(cè)柔性熱負(fù)荷優(yōu)化調(diào)度增加的補(bǔ)貼成本、管網(wǎng)結(jié)構(gòu)重新布局成本；所述供需平衡度為荷側(cè)熱負(fù)荷總需求和源側(cè)機(jī)組熱量總產(chǎn)出比值，若比值在預(yù)設(shè)閾值范圍內(nèi)表示供需平衡，給予收益；若比值在預(yù)設(shè)閾值范圍外表示供需不平衡，給予懲罰；

50、所述深度強(qiáng)化學(xué)習(xí)算法為基于雙重回放緩沖區(qū)機(jī)制和融合gru神經(jīng)網(wǎng)絡(luò)的td3算法；所述雙重回放緩沖區(qū)機(jī)制將不同重要性程度的經(jīng)驗(yàn)數(shù)據(jù)，依據(jù)獎(jiǎng)勵(lì)值對(duì)數(shù)據(jù)進(jìn)行分類別儲(chǔ)存，并在訓(xùn)練時(shí)依據(jù)概率從大到小的順序從每個(gè)回放緩沖區(qū)中提取部分高重要性程度經(jīng)驗(yàn)數(shù)據(jù)，以及依據(jù)概率從小到大的順序從每個(gè)回放緩沖區(qū)中提取部分低重要性程度經(jīng)驗(yàn)數(shù)據(jù)共同作為樣本；所述獎(jiǎng)勵(lì)值與數(shù)據(jù)的重要性程度具備正相關(guān)；所述td3算法中的actor-critic網(wǎng)絡(luò)均采用全連接網(wǎng)絡(luò)結(jié)構(gòu)，狀態(tài)數(shù)據(jù)處理過程融入gru網(wǎng)絡(luò)，通過gru網(wǎng)絡(luò)保留上一時(shí)刻有意義的歷史狀態(tài)信息與當(dāng)前輸入的狀態(tài)進(jìn)行計(jì)算，保留有需要記憶的狀態(tài)傳遞給actor-critic網(wǎng)絡(luò)最后一層進(jìn)行處理。

51、進(jìn)一步，所述源側(cè)可再生能源供熱機(jī)組和荷側(cè)熱負(fù)荷之間的供需靈活性表示為：

52、

53、分別為在t時(shí)段供需向上、向下靈活性需求量；qu、qd分別為因可再生能源供熱機(jī)組出力預(yù)測誤差引起的上下調(diào)節(jié)靈活性系數(shù)；eu、ed分別為因熱負(fù)荷預(yù)測誤差引起的上下調(diào)節(jié)靈活性系數(shù)；pre,t+1、ph,t+1分別為t+1時(shí)段可再生能源供熱機(jī)組出力預(yù)測值、熱負(fù)荷預(yù)測值；ph,t為t+1時(shí)段熱負(fù)荷預(yù)測值；pre,max為可再生能源供熱機(jī)組出力最大值；

54、所述優(yōu)化調(diào)度方法，還包括：

55、分析常規(guī)火電供熱機(jī)組靈活性，表示為：

56、

57、分別為常規(guī)火電供熱機(jī)組向上、向下靈活供給能力；分別為常規(guī)火電供熱機(jī)組m的出力上、下限；uth,m,t為t時(shí)刻常規(guī)火電供熱機(jī)組m的運(yùn)行狀態(tài)，其值為0時(shí)表示停運(yùn)，為1時(shí)表示運(yùn)行；pth,m,t為t時(shí)刻常規(guī)火電供熱機(jī)組m的出力；分別為常規(guī)火電供熱機(jī)組m的向上、向下爬坡能力；δt為調(diào)度時(shí)間間隔；

58、分析儲(chǔ)熱裝置靈活性，表示為：

59、

60、分別為儲(chǔ)熱裝置向上、向下靈活供給能力；為儲(chǔ)熱裝置o的最大儲(chǔ)熱功率；pst,o,c,t為t時(shí)刻儲(chǔ)熱裝置o的儲(chǔ)熱功率；為儲(chǔ)熱裝置o的最大放熱功率；pst,d為t時(shí)刻儲(chǔ)熱裝置o的放熱功率；

61、計(jì)算常規(guī)火電供熱機(jī)組參與調(diào)峰調(diào)度的運(yùn)行成本，表示為：

62、

63、ith,m,t分別為t時(shí)刻常規(guī)火電供熱機(jī)組m的調(diào)峰成本、啟停成本、熱量損失成本和調(diào)峰補(bǔ)償收益；t為調(diào)度總時(shí)間；nth為常規(guī)火電供熱機(jī)組數(shù)量；

64、計(jì)算儲(chǔ)熱裝置參與調(diào)峰調(diào)度的運(yùn)行成本，表示為：

65、

66、cst,o,t為儲(chǔ)熱裝置o參與調(diào)峰的成本，包括儲(chǔ)熱成本、放熱成本和損耗成本；ist,o,t為儲(chǔ)熱裝置調(diào)峰收益；

67、計(jì)算柔性熱負(fù)荷參與調(diào)峰調(diào)度的運(yùn)行成本，表示為：

68、

69、n為柔性熱負(fù)荷參與調(diào)峰的次數(shù)或時(shí)間段數(shù)量；ci,fh為第i次調(diào)峰事件中進(jìn)行負(fù)荷削減和轉(zhuǎn)移產(chǎn)生的成本；ci,re為第i次調(diào)峰事件中由于響應(yīng)柔性熱負(fù)荷行為改變產(chǎn)生的成本；ci,de為進(jìn)行柔性熱負(fù)荷調(diào)峰相關(guān)的調(diào)控設(shè)備成本；ci,ma為調(diào)峰設(shè)備維護(hù)成本；

70、以及，所述提升供熱系統(tǒng)靈活性的優(yōu)化調(diào)度模型中，以實(shí)現(xiàn)供熱系統(tǒng)總成本最小為目標(biāo)時(shí)，除了考慮源側(cè)可再生能源供熱機(jī)組和非可再生能源供熱機(jī)組的熱量供給成本、機(jī)組維修成本、機(jī)組啟停成本、外部影響成本、節(jié)點(diǎn)規(guī)模擴(kuò)大成本、管網(wǎng)結(jié)構(gòu)布局成本、設(shè)備故障恢復(fù)成本之外，還需要考慮常規(guī)火電供熱機(jī)組參與調(diào)峰調(diào)度的運(yùn)行成本、儲(chǔ)熱裝置參與調(diào)峰調(diào)度的運(yùn)行成本和柔性熱負(fù)荷參與調(diào)峰調(diào)度的運(yùn)行成本。

71、本發(fā)明的有益效果是：

72、本發(fā)明通過分析源側(cè)可再生能源、柔性熱負(fù)荷接入供熱系統(tǒng)時(shí)的源荷雙側(cè)靈活性影響，以及外部擾動(dòng)隨機(jī)因素和系統(tǒng)規(guī)模造成的靈活性影響，并制定具備靈活性影響的供熱系統(tǒng)高維特征編碼方法，考慮到靈活性因素將供熱系統(tǒng)優(yōu)化調(diào)度問題定義為強(qiáng)化學(xué)習(xí)模型，設(shè)計(jì)智能體的狀態(tài)動(dòng)作空間和收益函數(shù)，提升了具有靈活性的供熱系統(tǒng)調(diào)度的準(zhǔn)確度和智能體的訓(xùn)練效率，保證了供熱系統(tǒng)的安全可靠運(yùn)行。

73、其他特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)在說明書以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。

74、為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說明如下。