本發(fā)明屬于無線通信，尤其涉及一種ipbft共識的多址邊緣計算系統(tǒng)中優(yōu)化方法及系統(tǒng)，具體涉及安全任務(wù)卸載和計算資源分配。

背景技術(shù)：

1、目前，物聯(lián)網(wǎng)(internet?ofthings,iot)的普及導(dǎo)致了影響我們?nèi)粘Ｉ畹挠脩粼O(shè)備(user?equipment,ue)的激增。然而，傳統(tǒng)的集中式架構(gòu)，特別是在云計算中，難以滿足這些終端的移動性和快速響應(yīng)需求。這一挑戰(zhàn)刺激了多接入邊緣計算(mobile?edgecomputing,mec)的出現(xiàn)。mec特別適合于實時應(yīng)用，可實現(xiàn)快速響應(yīng)和本地化決策。云服務(wù)的可擴展性與邊緣計算的低延遲相結(jié)合，創(chuàng)造了一個強大而高效的計算生態(tài)系統(tǒng)，提供了一個全面的解決方案，滿足了不同行業(yè)的不同需求。在邊緣計算系統(tǒng)中，任務(wù)通常在邊緣服務(wù)器或云服務(wù)器上處理，這些服務(wù)器統(tǒng)稱為計算能力提供商(compute?power?providers,cpp)。

2、在上述場景中，聯(lián)盟區(qū)塊鏈系統(tǒng)有望顯著提升協(xié)作的可靠性。任務(wù)處理、資源利用和支付信息等被記錄為事務(wù)，每個事務(wù)都由服務(wù)提供者進行數(shù)字簽名。每個區(qū)塊鏈節(jié)點保留所有交易的副本，作為提供服務(wù)和支付的不可變證據(jù)，以促進解決潛在爭議，從而為邊緣計算系統(tǒng)中的分散數(shù)據(jù)處理建立一個健壯和可信的環(huán)境。運營商聯(lián)盟部署智能合約，指定責(zé)任、獎懲標準和觸發(fā)因素等，確保自動執(zhí)行，以防止合同履行的爭議。將區(qū)塊鏈和mec網(wǎng)絡(luò)集成在一個統(tǒng)一的系統(tǒng)中，可以幫助創(chuàng)建一個具有可信、透明、安全、不變性和自動化特征的任務(wù)處理服務(wù)環(huán)境。然而，將深度強化學(xué)習(xí)(deep?reinforcement?learning,drl)應(yīng)用于ipbft共識的mec系統(tǒng)中時，仍面臨一些挑戰(zhàn)和問題：

3、1)網(wǎng)絡(luò)架構(gòu)融合問題

4、首先，需要設(shè)計多系統(tǒng)架構(gòu)，包括邊緣計算系統(tǒng)和區(qū)塊鏈系統(tǒng)，以確保各系統(tǒng)之間的數(shù)據(jù)和任務(wù)能夠高效傳輸和處理。其次，共識機制與計算資源的整合也是關(guān)鍵問題，拜占庭容錯(practical?byzantine?fault?tolerance,pbft)共識算法要求節(jié)點間頻繁通信和信息交換，這會消耗大量的網(wǎng)絡(luò)帶寬和計算資源，因此需要優(yōu)化共識算法以減少資源消耗并提高效率。

5、特別的，pbft面臨的挑戰(zhàn)：(1)共識節(jié)點數(shù)量固定，所有區(qū)塊鏈節(jié)點都參與共識過程，導(dǎo)致共識效率低；(2)由于單點全節(jié)點和兩個全節(jié)點廣播，pbft帶來了很高的帶寬開銷，限制了其在大規(guī)模網(wǎng)絡(luò)中的應(yīng)用；(3)任意選擇主節(jié)點存在選擇到惡意節(jié)點或故障節(jié)點的風(fēng)險，引發(fā)共識失敗。雖然更改協(xié)議解決了這個問題，但它的高通信復(fù)雜性會導(dǎo)致資源浪費、延長延遲和降低系統(tǒng)穩(wěn)定性；(4)pbft在動態(tài)場景下遇到困難，缺乏節(jié)點變化過程中無縫過渡的有效機制。重新啟動整個網(wǎng)絡(luò)的成本很高，而且頻繁的更換會嚴重影響系統(tǒng)的可用性。

6、2)實時性和延遲要求

7、在基于ipbft共識的mec系統(tǒng)中，實時性和延遲要求至關(guān)重要。mec系統(tǒng)旨在提供低延遲、高實時性的服務(wù)，因此對數(shù)據(jù)處理和任務(wù)響應(yīng)的速度有極高要求。然而，ipbft共識機制涉及復(fù)雜的節(jié)點間通信和多次消息傳遞，增加了網(wǎng)絡(luò)延遲。這對需要即時反饋和處理的應(yīng)用場景，如自動駕駛、實時監(jiān)控和增強現(xiàn)實等，提出了嚴峻挑戰(zhàn)。因此，優(yōu)化共識算法以減少通信開銷，提高共識達成效率，以及設(shè)計高效的數(shù)據(jù)傳輸和處理機制，是滿足實時性和降低延遲要求的關(guān)鍵。只有在確保系統(tǒng)實時響應(yīng)和最小延遲的前提下，才能充分發(fā)揮mec系統(tǒng)在各類應(yīng)用中的優(yōu)勢。

8、3)信任和安全問題

9、由于mec系統(tǒng)分布式和異構(gòu)的特性，節(jié)點間需要建立可靠的信任關(guān)系，以確保數(shù)據(jù)傳輸和處理的安全性。ipbft共識機制通過容錯設(shè)計提高了系統(tǒng)的可靠性，但也面臨著選擇惡意節(jié)點或故障節(jié)點的風(fēng)險，這可能導(dǎo)致共識失敗或系統(tǒng)被攻擊。為此，需要結(jié)合加密技術(shù)、訪問控制和節(jié)點信譽評估機制，確保只有可信節(jié)點能夠參與共識過程。同時，設(shè)計高效的安全協(xié)議，以防止數(shù)據(jù)篡改、未經(jīng)授權(quán)的訪問和網(wǎng)絡(luò)攻擊，保障系統(tǒng)的整體安全性和穩(wěn)定性。在信任和安全問題得到有效解決的前提下，mec系統(tǒng)才能提供可靠的計算和服務(wù)，滿足用戶和應(yīng)用的高安全需求。

10、4)環(huán)境的動態(tài)性問題

11、在基于ipbft共識的mec系統(tǒng)中，由于任務(wù)狀態(tài)和網(wǎng)絡(luò)狀態(tài)具有隨機性，同時各個變量受到不同約束的緊密耦合，系統(tǒng)必須具備高度的靈活性和適應(yīng)能力。節(jié)點可的信譽值也不斷變化，這需要系統(tǒng)能夠動態(tài)調(diào)整任務(wù)分配和資源調(diào)度策略，以確保服務(wù)的連續(xù)性和穩(wěn)定性。因此，設(shè)計能夠應(yīng)對這種高度動態(tài)性的算法和機制，如實時的負載均衡、動態(tài)資源管理和靈活的共識協(xié)議，是確保mec系統(tǒng)在動態(tài)環(huán)境中高效運行的關(guān)鍵。這些機制需要能夠快速響應(yīng)環(huán)境變化，保持系統(tǒng)的穩(wěn)定性和高效性，同時最大程度地利用可用資源，以滿足各類應(yīng)用的需求。

12、通過上述分析，現(xiàn)有技術(shù)存在的問題及缺陷為：

13、(1)網(wǎng)絡(luò)架構(gòu)融合不足：現(xiàn)有技術(shù)在設(shè)計多系統(tǒng)架構(gòu)方面仍然存在不足，難以高效地整合邊緣計算系統(tǒng)和區(qū)塊鏈系統(tǒng)，使數(shù)據(jù)和任務(wù)的傳輸和處理效率受到限制。

14、(2)時性和延遲要求難以滿足：現(xiàn)有的ipbft共識機制涉及復(fù)雜的節(jié)點間通信和多次消息傳遞，這在需要低延遲、高實時性的應(yīng)用場景中(如自動駕駛、實時監(jiān)控)引發(fā)了延遲問題，影響了mec系統(tǒng)的性能和應(yīng)用效果。

15、(3)信任和安全問題：ipbft共識機制面臨惡意節(jié)點或故障節(jié)點選擇的風(fēng)險，可能導(dǎo)致共識失敗或系統(tǒng)安全性受到威脅，現(xiàn)有技術(shù)在節(jié)點信譽評估和信任建立機制方面尚未形成有效的解決方案。

16、(4)環(huán)境的動態(tài)性應(yīng)對不足：現(xiàn)有技術(shù)難以有效應(yīng)對mec系統(tǒng)中的高度動態(tài)性，系統(tǒng)在處理任務(wù)狀態(tài)和網(wǎng)絡(luò)狀態(tài)的隨機變化時，缺乏足夠的靈活性和適應(yīng)能力。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)存在的問題，本發(fā)明提供了一種ipbft共識的多址邊緣計算系統(tǒng)中優(yōu)化方法及系統(tǒng)。

2、本發(fā)明是這樣實現(xiàn)的，一種ipbft共識的多址邊緣計算系統(tǒng)中優(yōu)化方法，所述方法應(yīng)用智能體的策略actor和critic網(wǎng)絡(luò)，采用深度強化學(xué)習(xí)drl方法進行決策，包括：

3、初始化策略actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)的參數(shù)，設(shè)置訓(xùn)練相關(guān)的超參數(shù)；智能體基于當前策略與環(huán)境互動，執(zhí)行動作并進行狀態(tài)轉(zhuǎn)移；用采樣策略actor網(wǎng)絡(luò)的參數(shù)對環(huán)境中整個片段進行采樣，將軌跡存儲到內(nèi)存中；計算折現(xiàn)獎勵、優(yōu)勢函數(shù)和目標函數(shù)；更新策略actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)的參數(shù)以及采樣策略actor和critic網(wǎng)絡(luò)參數(shù)；重復(fù)訓(xùn)練直至策略收斂，并使用訓(xùn)練好的策略進行計算卸載和資源分配。

4、進一步，包括如下步驟：

5、s101、初始化智能體的策略actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)的參數(shù)θ和ω，采樣策略actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)的參數(shù)θ′和ω′，回合數(shù)episode，初始化策略actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)對應(yīng)的學(xué)習(xí)率μ和σ，折扣因子γ，初始化經(jīng)驗池；初始化網(wǎng)絡(luò)布局參數(shù)，如輸入任務(wù)的數(shù)據(jù)大小di(t)、任務(wù)工作量ci(t)等參數(shù)；

6、s102、初始化智能體的狀態(tài)，智能體與環(huán)境互動，策略網(wǎng)絡(luò)基于當前策略生成動作；

7、s103、智能體執(zhí)行生成的動作，根據(jù)執(zhí)行的動作獲得即時獎勵，并將環(huán)境狀態(tài)轉(zhuǎn)移到下一個狀態(tài)；

8、s104、根據(jù)采樣策略actor網(wǎng)絡(luò)的參數(shù)對環(huán)境中整個片段進行采樣，并將軌跡存儲到內(nèi)存中；

9、s105、計算折現(xiàn)獎勵；

10、s106、計算優(yōu)勢函數(shù)，加入裁剪因子約束更新速率，同時計算目標函數(shù)；

11、s107、更新策略actor和critic網(wǎng)絡(luò)的參數(shù)；

12、s108、根據(jù)更新的策略actor和critic網(wǎng)絡(luò)參數(shù)更新采樣策略actor和critic網(wǎng)絡(luò)參數(shù)；

13、s109、重復(fù)迭代訓(xùn)練，根據(jù)各狀態(tài)選擇最優(yōu)動作，獲得最大收益，最終得到最優(yōu)的計算資源分配和計算卸載策略。

14、進一步，所述s102、智能體與環(huán)境互動；在每個回合開始時，初始化系統(tǒng)狀態(tài)s(t)；其中，狀態(tài)包含三部分，即任務(wù)的狀態(tài)stask(t)、網(wǎng)絡(luò)的狀態(tài)snet(t)和共識中的狀態(tài)信息scon(t)，具體如下：

15、s(t)＝{stask(t),snet(t),scon(t)}.

16、任務(wù)的狀態(tài)stask(t)由下面這個式子給出：

17、stask(t)＝{d(t),c(t)},

18、其中，任務(wù)的輸入數(shù)據(jù)量任務(wù)的工作量

19、網(wǎng)絡(luò)狀態(tài)snet(t)由下式給出：

20、snet(t)＝{a(t),r(t),u(t),rm(t),fm(t)},

21、其中，ue與sbss之間的鏈路可用性為ue與sbss之間的鏈路連接速率為sbss的計算資源塊數(shù)ue和mbs之間的鏈路連接速率為rm(t)；mbs分配給每個任務(wù)的計算資源為fm(t+1)；

22、共識過程中狀態(tài)信息scon(t)由以下公式給出：

23、

24、其中，w(t-1)＝{wk(t)}為時隙t-1時節(jié)點的信用值，惡意節(jié)點指標惡意節(jié)點的數(shù)量為主節(jié)點為惡意節(jié)點時，主系節(jié)點k是否達成共識的指標當非主節(jié)點為惡意節(jié)點時，非主節(jié)點k是否達成共識的指標主節(jié)點為普通節(jié)點時，主節(jié)點k在pre-prepare階段的惡意延遲為當非主節(jié)點為普通節(jié)點時，非主節(jié)點k在commit階段的惡意延遲為前一時刻失敗的次數(shù)為nfail(t-1)；平均共識的延遲為

25、在每個時隙t，智能體根據(jù)狀態(tài)s(t)決定其行動a(t)，該狀態(tài)s(t)由

26、

27、其中，是ue的任務(wù)卸載決策；為任務(wù)處理過程中crb分配決策；為共識節(jié)點選擇決策指標，其中為主節(jié)點選擇指標，yk(t)為非主要節(jié)點選擇決策指標。

28、進一步，所述s103：智能體執(zhí)行生成的動作，根據(jù)執(zhí)行的動作獲得即時獎勵，并將環(huán)境狀態(tài)轉(zhuǎn)移到下一個狀態(tài)中獎勵reward的計算共識如下：

29、

30、上式中object(t)代表的是我們的目標函數(shù)。

31、進一步，所述s106：計算優(yōu)勢函數(shù)：

32、

33、其中，此時有：

34、δt＝r(t)+γv(st+1；w)-v(st；w).

35、γ是折扣因子。ppo引入了基于jθ′(θ)的actor目標函數(shù)的進一步改進，通過加入裁剪因子來約束更新速率，通過最大化目標函數(shù)來更新ppo的actor，公式為：

36、

37、其中∈是一個超參數(shù)，clip函數(shù)將(π(at∣st；θ))/π(at∣st；θ′)的值限制在[1-,1+]的范圍內(nèi)；確保在最小化clip函數(shù)后，兩個分布保持相對接近。

38、進一步，所述s107：更新策略actor和critic網(wǎng)絡(luò)的參數(shù)；actor的參數(shù)由下式更新：

39、

40、考慮值估計的均方誤差函數(shù)，給出了critic網(wǎng)絡(luò)的損失函數(shù)：lcritic(w)＝[v(st+1；w)-v(st；w)]2,

41、通過此公式進行更新：

42、

43、其中，δt表示td誤差。

44、本發(fā)明的另一目的在于提供一種基于ipbft共識的多址邊緣計算系統(tǒng)，所述系統(tǒng)包括：

45、系統(tǒng)初始化模塊，初始化所有必要的參數(shù)，包括初始化經(jīng)驗記憶，策略actor網(wǎng)絡(luò)參數(shù)θ和critic網(wǎng)絡(luò)參數(shù)w，采樣策略actor參數(shù)θ'和critic網(wǎng)絡(luò)參數(shù)w'；

46、配置模塊，用于設(shè)置特定應(yīng)用的參數(shù)，包括輸入任務(wù)的數(shù)據(jù)大小等任務(wù)參數(shù)；

47、智能體模塊，用于每個周期開始時基于當前網(wǎng)絡(luò)狀態(tài)生成動作；用于收集數(shù)據(jù)樣本，計算優(yōu)勢函數(shù)，并在策略評估過程中更新策略和價值網(wǎng)絡(luò)；

48、動作執(zhí)行模塊，用于執(zhí)行任務(wù)卸載，任務(wù)處理中的計算資源分配，共識過程中主節(jié)點的選擇和非主節(jié)點的選擇；

49、獎勵獲取模塊，用于執(zhí)行動作并計算即時獎勵，該獎勵獲取模塊根據(jù)系統(tǒng)的約束條件是否滿足而設(shè)計，滿足所有約束條件，獲得獎勵，否則獲得懲罰；

50、狀態(tài)轉(zhuǎn)移模塊，用于將系統(tǒng)狀態(tài)從當前狀態(tài)轉(zhuǎn)移到下一狀態(tài)；

51、經(jīng)驗回放模塊，用于存儲每一次的系統(tǒng)狀態(tài)、動作、獎勵和下一狀態(tài)的經(jīng)驗元組；

52、數(shù)據(jù)抽樣模塊，用于從內(nèi)存儲的經(jīng)驗中抽取一定片段進行學(xué)習(xí)；

53、網(wǎng)絡(luò)更新模塊，用于根據(jù)經(jīng)驗回放模塊的數(shù)據(jù)更新策略actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)的網(wǎng)絡(luò)；

54、參數(shù)更新模塊，用于策略actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)的參數(shù)更新，以及采樣策略actor和critic網(wǎng)絡(luò)的參數(shù)更新。

55、本發(fā)明的另一目的在于提供一種計算機設(shè)備，所述計算機設(shè)備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述計算機程序被所述處理器執(zhí)行時，使得所述處理器執(zhí)行基于ipbft共識的多址邊緣計算系統(tǒng)中優(yōu)化方法的步驟。

56、本發(fā)明的另一目的在于提供一種計算機可讀存儲介質(zhì)，存儲有計算機程序，所述計算機程序被處理器執(zhí)行時，使得所述處理器執(zhí)行基于ipbft共識的多址邊緣計算系統(tǒng)中優(yōu)化方法的步驟。

57、結(jié)合上述的技術(shù)方案和解決的技術(shù)問題，請從以下幾方面分析本發(fā)明所要保護的技術(shù)方案所具備的優(yōu)點及積極效果為：

58、第一、針對上述現(xiàn)有技術(shù)存在的技術(shù)問題以及解決該問題的難度，緊密結(jié)合本發(fā)明的所要保護的技術(shù)方案以及研發(fā)過程中結(jié)果和數(shù)據(jù)等，詳細、深刻地分析本發(fā)明技術(shù)方案如何解決的技術(shù)問題，解決問題之后帶來的一些具備創(chuàng)造性的技術(shù)效果。具體描述如下：

59、首先是高效性和安全性。本發(fā)明考慮了一個支持區(qū)塊鏈的混合云和邊緣計算網(wǎng)絡(luò)，它包括兩個系統(tǒng)：mec系統(tǒng)和區(qū)塊鏈系統(tǒng)。mec系統(tǒng)是為任務(wù)執(zhí)行而設(shè)計的，而區(qū)塊鏈系統(tǒng)在為mec系統(tǒng)建立安全可信的交易平臺方面起著至關(guān)重要的作用。在mec系統(tǒng)中，宏基站(macro?base?station,mbs)定位在相當遠的距離上，提供廣泛的覆蓋范圍，保證所有ue都能獲得不間斷的無線通信服務(wù)。每個小基站(small?base?stations,sbss)都展示了覆蓋特定ue的熟練程度，從而建立了局部的覆蓋區(qū)域。sbss通過高速有線連接實現(xiàn)無縫連接。與云服務(wù)器集成，mbs增強了其處理能力，確保為終端提供強大的處理能力。

60、其次考慮到任的動態(tài)性、網(wǎng)絡(luò)條件的波動性和節(jié)點在共識中的隨機行為，我們采用ppo學(xué)習(xí)環(huán)境狀態(tài)，得到卸載、計算資源分配和共識委員會選擇的最優(yōu)聯(lián)合決策策略。

61、第二，把技術(shù)方案看做一個整體或者從產(chǎn)品的角度，本發(fā)明所要保護的技術(shù)方案具備的技術(shù)效果和優(yōu)點，具體描述如下：

62、本發(fā)明實現(xiàn)了基于聯(lián)盟區(qū)塊鏈支持的多址邊緣計算系統(tǒng)中的安全任務(wù)卸載和計算資源分配優(yōu)化方法，該方法在以下幾個關(guān)鍵方面取得了顯著的進步：

63、1)精確的任務(wù)卸載和計算資源分配

64、該方法通過引入精確的任務(wù)卸載和資源分配策略，顯著提升了邊緣計算的資源利用率和系統(tǒng)性能。mec系統(tǒng)為用戶設(shè)備提供計算能力以處理任務(wù)，而聯(lián)盟區(qū)塊鏈系統(tǒng)則為任務(wù)卸載過程中的用戶設(shè)備提供信任和安全保障。

65、2)高效的共識性能

66、該方法采用委托權(quán)益證明(delegated?proofofstake,dpos)并將其集成到pbft中進行塊共識，改進的方法為實用拜占庭容錯算法。這種集成的ipbft方法兼顧了可擴展性和復(fù)雜性，解決了pbft算法的局限性，顯著提高了共識性能。

67、3)ue的任務(wù)處理成本最小

68、任務(wù)處理會帶來經(jīng)濟成本，因此本方法精心設(shè)計獎勵機制，以最小化ue處理任務(wù)的成本。

69、4)最大限度地減少共識延遲和失敗率

70、共識延遲指完成共識所需的時間，而共識失敗可能由多種原因引起，如約束不滿足、主節(jié)點是惡意節(jié)點等。本方法通過優(yōu)化卸載策略等，最小化共識延遲和失敗率，以提高系統(tǒng)的穩(wěn)定性和效率。

71、5)深度強化學(xué)習(xí)的集成

72、將深度強化學(xué)習(xí)算法與邊緣計算系統(tǒng)結(jié)合，使系統(tǒng)能夠基于實時數(shù)據(jù)進行自我學(xué)習(xí)和調(diào)整。通過采用ppo算法，系統(tǒng)在缺乏明確指令的情況下依然能做出最佳決策。

73、6)系統(tǒng)穩(wěn)定性和可靠性的提升

74、通過精確計算和優(yōu)化動作執(zhí)行后的即時獎勵和狀態(tài)轉(zhuǎn)移，該方法顯著增強了系統(tǒng)的穩(wěn)定性和可靠性，尤其在處理大量數(shù)據(jù)和高并發(fā)請求時效果尤為突出。

75、7)網(wǎng)絡(luò)的自主學(xué)習(xí)和優(yōu)化能力

76、該方法通過持續(xù)的迭代訓(xùn)練和基于經(jīng)驗的網(wǎng)絡(luò)更新，使系統(tǒng)能夠不斷優(yōu)化其決策過程，從而提升整體性能。

77、8)聯(lián)合優(yōu)化問題

78、該方法聯(lián)合優(yōu)化任務(wù)卸載決策、計算資源分配以及主從節(jié)點的選擇，以提升系統(tǒng)的整體性能和效率。這種綜合優(yōu)化策略不僅提高了資源利用率，還增強了系統(tǒng)在復(fù)雜網(wǎng)絡(luò)環(huán)境中的適應(yīng)能力和穩(wěn)定性。

79、9)復(fù)雜性和動態(tài)性

80、網(wǎng)絡(luò)的復(fù)雜性和環(huán)境的動態(tài)性使得傳統(tǒng)的優(yōu)化方法難以有效應(yīng)對這些挑戰(zhàn)。為應(yīng)對這一問題，本方法采用ppo算法，以提高系統(tǒng)在面對復(fù)雜和動態(tài)環(huán)境時的適應(yīng)性和性能。

81、10)實時性和效率

82、該方法可以提升系統(tǒng)在處理任務(wù)時的實時響應(yīng)速度和資源利用效率。

83、第三、本發(fā)明提供的基于ipbft共識的mec系統(tǒng)中優(yōu)化方法，其核心在于使用數(shù)學(xué)模型來指導(dǎo)系統(tǒng)的行為和學(xué)習(xí)過程?？梢愿鶕?jù)這些數(shù)學(xué)模型的特點來探討它們帶來的技術(shù)效果：

84、1)即使獎勵的計算

85、即使獎勵的計算共識關(guān)注于整個網(wǎng)絡(luò)成本，共識延遲和長時間失敗率。

86、成本節(jié)約：通過將獎勵與成本直接關(guān)聯(lián)，這種方法鼓勵減少整個網(wǎng)絡(luò)的成本，并有效提高資源利用效率。

87、2)策略主actor和critic網(wǎng)絡(luò)的更新

88、通過隨機抽樣小批量經(jīng)驗數(shù)據(jù)更新，并利用梯度上升法更新當前策略網(wǎng)絡(luò)。

89、策略優(yōu)化：通過不斷調(diào)整策略網(wǎng)絡(luò)參數(shù)，系統(tǒng)能夠?qū)W習(xí)并采用更有效的決策策略。

90、響應(yīng)性提高：使用小批量數(shù)據(jù)使網(wǎng)絡(luò)能夠快速適應(yīng)環(huán)境變化，增強了系統(tǒng)的動態(tài)調(diào)整能力。

91、3)參數(shù)更新公式

92、描述了策略actor和critic網(wǎng)絡(luò)參數(shù)更新目標網(wǎng)絡(luò)的方法，涉及當前網(wǎng)絡(luò)和目標網(wǎng)絡(luò)參數(shù)。

93、策略逐漸逼近：通過引入裁剪函數(shù)，系統(tǒng)能夠平滑地過渡到新策略，防止由于急劇變化導(dǎo)致的性能波動。

94、持續(xù)學(xué)習(xí)和適應(yīng)：這種持續(xù)的參數(shù)更新機制確保系統(tǒng)能夠適應(yīng)長期的環(huán)境變化。

95、第四，作為本發(fā)明的權(quán)利要求的創(chuàng)造性輔助證據(jù)，還體現(xiàn)在以下幾個重要方面：

96、(1)本發(fā)明的技術(shù)方案轉(zhuǎn)化后的預(yù)期收益和商業(yè)價值為：

97、本發(fā)明通過引入ppo算法，實現(xiàn)了對基于ipbft共識的mec系統(tǒng)中優(yōu)化方法，顯著提升了網(wǎng)絡(luò)性能和服務(wù)質(zhì)量。這不僅能夠滿足日益增長的高性能計算需求，還能夠優(yōu)化資源利用，降低網(wǎng)絡(luò)成本。在商業(yè)化應(yīng)用方面，本發(fā)明可廣泛應(yīng)用于需要高效處理大量數(shù)據(jù)、保證數(shù)據(jù)安全和信任性的應(yīng)用場景中，為相關(guān)產(chǎn)業(yè)帶來顯著的經(jīng)濟效益和社會效益。因此，本發(fā)明具有廣闊的市場前景和巨大的商業(yè)價值。