本發(fā)明涉及電力系統(tǒng)，特別是一種基于多智能體強化學習的電碳交易方法。

背景技術：

1、現(xiàn)有技術an?agent-based?approach?to?modeling?interactions?betweenemission?market?and?electricity?mar-ket提出了一種基于智能體方法，通過q-learning算法來模擬碳交易市場和電力市場之間的相互作用，其中碳排放是由發(fā)電側調(diào)節(jié)的。現(xiàn)有技術peer-to-peer?joint?electricity?and?carbon?trading?based?on?carbon-aware?distribution?locational?marginal?pricing提出了一種整合雙邊碳交易市場的p2p聯(lián)合碳交易模型?，F(xiàn)有技術nash?equilibrium?estimation?and?analysis?in?jointpeer-to-peer?electricity?and?carbon?emission?auction?market?with?microgridprosumers提出了聯(lián)合p2p電力市場和碳排放拍賣市場的市場設計，以識別可能導致潛在財務損失的不確定性?，F(xiàn)有技術distributed?energy?and?carbon?emission?right?tradingin?local?energy?systems?considering?the?emission?obligation?on?demand?side考慮到需求方的碳排放義務提出了雙重征稅機制和p2p能源權與碳排放權相結合的交易框架。盡管上述工作取得了成效，但有兩個問題需要引起更多的注意。首先，大多數(shù)研究著眼于運營成本最小化或社會福利最大化，很少有人關注交易公平性，而交易公平性是保證配電市場營銷效率的關鍵因素，特別是在大多數(shù)電力零售商可能因壟斷而倒閉的極端情況下。其次，交易電和碳權交易產(chǎn)品過簡單，這些工程中的碳交易曾經(jīng)是與電力交易分開的一個產(chǎn)品，這是一種短視的做法，可能會導致電力交易的低效和次優(yōu)結果，需要更多地開發(fā)針對電碳市場的交易產(chǎn)品。

2、現(xiàn)有技術cooperative?game?of?electricity?retailer?in?china’s?spotelectricity?market提出了現(xiàn)貨市場中電力零售商的跨區(qū)域電力交易模型，其中競爭力用形狀值進行評估。現(xiàn)有技術investigating?the?effect?of?competitiveness?power?inestimating?the?average?weighted?price?in?electricity?market將市場競爭力作為一個顯著變量，研究了電力市場中市場勢力對日電價的影響?，F(xiàn)有技術a?risk-basedcompetitive?bi-level?framework?for?operation?of?active?distribution?networkswith?networked?microgrids為分銷公司提出了一個基于風險的競爭框架，使其作為賣方能夠贏得與其他競爭對手的競爭。然而，研究主要集中在競爭力的評價上，從競爭力提升策略的角度來看，這對配電公司來說是遠遠不夠的。此外，現(xiàn)有技術中競爭力的表述過于重視經(jīng)營利潤或成本，而在一定程度上忽視了另一個重要指標—交易市場份額對營銷競爭力的影響。根據(jù)現(xiàn)有技術a?comprehensive?competitiveness?decision?method?forelectricity?retailers?considering?the?integration?of?device?opera-tion,investment?planning,and?marketing?strategy的研究，市場份額對盈利能力有拉動作用，利潤的增加可以在經(jīng)濟上賦予電商更多的營銷策略來擴大市場份額。在這種情況下，市場份額和盈利能力應該作為兩個協(xié)調(diào)的部分來制定競爭力。此外，從上述工作中可以看出，在p2p聯(lián)合共建中，對特定配電公司的競爭力提升不大，作為唯一擁有配電網(wǎng)資產(chǎn)的市場主體，配電公司當然應該充分利用這一不可缺少的作用，制定明確的定價策略，以進一步提高該領域的競爭力。

技術實現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術的缺點，提供一種基于多智能體強化學習的電碳交易方法。

2、本發(fā)明的目的通過以下技術方案來實現(xiàn)：一種基于多智能體強化學習的電碳交易方法，包括以下步驟：

3、步驟s1：構建一個包含電力和碳交易參與者的深度耦合p2p交易系統(tǒng)架構，該架構包括智能電表、本地服務器以及中央服務器；

4、所述智能電表用于實時測量電力消耗/發(fā)電量和碳排放，并將信息傳遞給本地服務器；

5、所述本地服務器通過交易控制器tcr制定電碳交易決策，并通過區(qū)塊鏈技術將交易編碼為智能合約；

6、所述中央服務器由dso管理，負責運行ecms系統(tǒng)，ecms系統(tǒng)包括pub/sub服務器、認證智能數(shù)據(jù)庫和分析工具；

7、步驟s2：確定碳電市場的交易品種；

8、交易品種包括單一碳配額、單一非綠電、單一綠電、碳配額與非綠電耦合、碳配額與綠電耦合、碳配額共享；

9、步驟s3：針對配電公司提出過網(wǎng)費策略，允許配電公司對應的買方的出清電價根據(jù)交易量自適應折現(xiàn)；

10、步驟s4：構建包含配售電電市場整體交易公平性和各市場參與者交易競爭力的可分解獎勵；并提出面向深度耦合交易的部分可觀馬爾可夫決策過程，將分布層面的交易看作是離散時域內(nèi)的部分觀察馬爾可夫決策過程；

11、步驟s5：采用多智能體深度確定性策略梯度算法，優(yōu)化分布層面的深度耦合物產(chǎn)交易。

12、具體的，所述所述單一碳配額的交易收入為：

13、

14、式中，表示母線b和母線m之間單一碳配額的交易價格；表示母線b和母線m之間單一碳配額的交易量；表示單一碳配額的交易收入，其為單一碳配額交易量的線性函數(shù)；

15、所述單一非綠電的交易收入為：

16、

17、式中，式中，表示碳排放機組的發(fā)電成本系數(shù)；表示非綠電交易量；表示母線b的碳配額交易價格；表示母線b與母線m之間的過網(wǎng)費價格；表示單一非綠電的交易收入；ωceu為配電網(wǎng)中配備碳排放機組的母線集合，ωl為用電負荷母線集合；

18、所述單一綠電的交易收入為：

19、

20、式中，表示綠電交易量；ρav表示平均碳排放密度；△t為單位碳電交易周期；ωgs為配電網(wǎng)綠電機組集合；式(3a)表示母線b配置綠電機組時的交易收入；式(3b)表示母線b為電力用戶時的交易收入；其中，和為過網(wǎng)費成本；和為為綠電價值，表示為可避免的基準火電機組同樣發(fā)電量產(chǎn)生的碳排放成本；

21、所述碳配額與非綠電力耦合的交易收入為：

22、

23、式中，為碳配額與非綠電耦合交易中的電力交易量，為碳配額與非綠電耦合交易中的碳配額交易價格，碳配額與非綠電耦合交易中碳配額的交易量，表示售電商的發(fā)電成本或購電商的負效用；表示nuc成本與ce成本之和；表示碳權交易金額；所述碳配額與非綠電耦合交易中碳配額的交易量表示為：

24、

25、式中為非綠色電力與碳許可的耦合系數(shù)；

26、所述碳配額與綠電耦合的交易收入為：

27、

28、式中，為碳配額與綠電耦合交易中的電力交易量；為碳配額與綠電耦合交易中的碳配額交易量；為碳配額與非綠電耦合交易中的碳配額交易價格，表示過網(wǎng)費成本；表示nuc成本；表示碳配額交易成本。

29、具體的，過網(wǎng)費策略為：

30、

31、式中，ωdisco表示由配電公司投資的分布式發(fā)電機組所在的母線集；表示母線b賣給母線m的原始節(jié)點電價；dbm為折現(xiàn)系數(shù)；為最終結算電價，為母線b的節(jié)點電價，為母線b與母線m之間的電力交易價格。

32、具體的，所述步驟s4中所述的部分觀測馬爾可夫決策過程包括元組<n,s,o,a,t,r,γ>，其中，n個智能體具有一組狀態(tài)s，一組私有觀測值o，一組動作集a，一組獎勵函數(shù)r，一個狀態(tài)轉移函數(shù)t和一個折現(xiàn)因子γ。

33、具體的，對于所述狀態(tài)s和觀測值o有：

34、環(huán)境狀態(tài)st＝{o1,t,o2,t,…,on,t}∈s

35、所述環(huán)境狀態(tài)的代理被分為兩種類型：

36、一、在時間t時，局部觀測值描述為：

37、

38、式中，pb,t、qb,t為有功/無功功率，為初始碳許可，為碳排放量，ρb,t為碳排放強度，為nuc價格，vb,t為節(jié)點電壓；

39、二、引用dso的指定代理，定義為：

40、

41、式中，為有功線路潮流；為無功線路潮流；表示配電公司從批發(fā)市場和輔助服務市場購買的有功和無功；表示配電公司從外部碳市場購買的碳配額總量；pt/qt表示節(jié)點的注入有功/無功功率；表示節(jié)點的初始碳配額；表示節(jié)點的實際碳排放；ρt表示節(jié)點的碳排放密度；表示節(jié)點電價；vt表示節(jié)點電壓。

42、具體的，所述動作集a為：系統(tǒng)動作at＝{a1,t,a2,t…,ai,t,…,an,t}，為所有智能體在時刻t的動作；

43、對于第一類智能體，在第t個時點的動作定義為一個6維向量：

44、

45、其中，包括6個擬建產(chǎn)品的交易數(shù)量，產(chǎn)品單碳許可產(chǎn)品單一非綠色電源產(chǎn)品單一綠色電源產(chǎn)品偶聯(lián)碳許可與非綠色電力產(chǎn)品偶聯(lián)碳許可&綠色電力和產(chǎn)品碳許可共享

46、對于第二類智能體，其動作定義為三維向量：

47、

48、式中，ptin為從批發(fā)市場購買的有功功率，為從輔助服務市場購買的無功功率，wtex為從外部碳市場購買的碳許可。

49、具體的，對于所述狀態(tài)轉移函數(shù)t；通過狀態(tài)轉移函數(shù)st+1＝t(st,a1:n,)推導出t時刻到t+1時刻的環(huán)境轉移，其中st表示t時刻的環(huán)境狀態(tài)；a1:n,t表示所有智能體在時刻t的行為。

50、具體的，對于獎勵函數(shù)r：系統(tǒng)獎勵函數(shù)rt＝{r1,t,r2,t,…,rn,t}，描述了時刻t所有智能體的獎勵，并根據(jù)兩種智能體類型將獎勵分為兩類；

51、第一類包括電購交易量、電力交易份額和碳交易份額三個項目，如下式：

52、

53、式中，ωi為第i個智能體持有的配備分布式發(fā)電機組的總線集合；和σ2分別表示第i個代理商的標準交易量和市場份額系數(shù)；pb,t表示有功功率，wb,t表示母線b的總碳許可量，和表示母線b的電力賣出交易量和碳配額賣出交易量，表示第i個主體的電力交易份額；表示第i個主體的碳配額交易份額；

54、第二類包括電力交易金額、電力交易公平性和碳交易公平性，獎勵公式為：

55、

56、式中，表示外部碳市場在t時刻的碳價；表示母線b從外部碳市場分到的碳配額；表示批發(fā)市場/輔助服務市場的有功/無功電價；pg,t表示發(fā)電機組g在t時刻的有功功率發(fā)電量；表示母線b的等效碳配額交易量；ng/nb表示配電網(wǎng)內(nèi)發(fā)電機組/母線的數(shù)量，和σ1分別表示dso的標準交易量和公平系數(shù)；ptin為從批發(fā)市場購買的有功功率，為從輔助服務市場購買的無功功率，和分別為采用jain教指數(shù)來調(diào)節(jié)電碳交易公平性；表示碳權交易后母線b的剩余碳權。

57、具體的，所述多智能體深度確定性策略梯度算法包括加權場近似模塊、嵌入層模塊和級聯(lián)代理模塊；

58、所述加權場近似模塊利用類型內(nèi)智能體的加權信息，將n個智能體的聯(lián)合動作近似為n個加權動作，基于代理i鄰域的加權作用為：

59、

60、式中，wi,j表示智能體j對智能體i的影響程度；aj表示智能體j的動作；j∈n(i)為智能體i的鄰居智能體；ζa_i,j表示一個小擾動；

61、成對q值函數(shù)qθ_i(s,ai,aj)通過泰勒定理展開，表示為：

62、

63、式中，∑jζa_i,j＝0，其中和δi,j∈[0,1]，進行變換得到最終的近似

64、嵌入層模塊，引入了一個動作表示空間并考慮一個因式策略πo，策略πo被兩個組件參數(shù)化，一個是嵌入到動作的映射函數(shù)f:γ→a，一個是內(nèi)部策略πs×γ→[0,1]，在給定的狀態(tài)點上，作用的分布特征為：

65、et～πi(·?|st)??at＝f(et)??(24)

66、式中，πi用于對et∈γ進行采樣，函數(shù)f確定性地將這個表示et映射到集合a中的一個動作；

67、所述級聯(lián)代理模塊為：

68、

69、其中和分別為電因子和碳因子。

70、本發(fā)明具有以下優(yōu)點：

71、本發(fā)明所提出的6種差異化電力交易產(chǎn)品和過網(wǎng)費交易策略可使配電公司競爭力提高，提出的wftd3算法可以實現(xiàn)更高的獎勵、更低的獎勵偏差和中等的計算效率。