本發(fā)明屬于無線通信，尤其涉及一種區(qū)塊鏈和數(shù)字孿生支持的d2d網(wǎng)絡中邊緣緩存優(yōu)化方法及系統(tǒng)。

背景技術：

1、目前，隨著無線通信的飛速發(fā)展，現(xiàn)有移動網(wǎng)絡面臨著移動數(shù)據(jù)流量的快速增長。由于對計算、存儲和通信資源的依賴，這種前所未有的流量增長給傳統(tǒng)蜂窩網(wǎng)絡帶來了巨大的挑戰(zhàn)。如果用戶設備(user?equipment,ue)直接訪問或從云服務器等遠程數(shù)據(jù)中心獲取內容，可能會出現(xiàn)較長的延遲。移動邊緣緩存已經(jīng)成為一種很有前途的技術，它不僅可以減少內容訪問延遲，還可以減輕網(wǎng)絡流量負載。在邊緣緩存系統(tǒng)中，內容可以存儲在基站(base?stations,bss)和邊緣服務器中。

2、設備到設備(device-to-device,d2d)通信技術使得ue之間可以通信，已被用于減少數(shù)據(jù)傳輸延遲和邊緣緩存技術。數(shù)字孿生是一種新興技術，它連接了物理和數(shù)字領域，可用于實時預測、優(yōu)化、監(jiān)測、控制和增強決策，并可用于實現(xiàn)實時通信和可持續(xù)計算。區(qū)塊鏈是一種分布式賬本技術，通過去中心化和不變性來記錄和驗證交易數(shù)據(jù)。將數(shù)字孿生和區(qū)塊鏈技術融合應用到d2d網(wǎng)絡中，需要解決一系列挑戰(zhàn)：

3、1)數(shù)據(jù)的實時性和準確性問題

4、確保從數(shù)字孿生系統(tǒng)中獲取的用戶數(shù)據(jù)和網(wǎng)絡狀態(tài)信息能夠實時更新并準確反映實際情況。這包括實時采集和傳輸數(shù)據(jù)、對數(shù)據(jù)進行及時處理和分析、更新數(shù)字孿生模型以反映最新的狀態(tài)變化，以及快速響應和適應網(wǎng)絡環(huán)境和用戶行為的動態(tài)變化。這樣能夠保證系統(tǒng)在任何時刻都能提供準確和最新的信息，為優(yōu)化網(wǎng)絡性能和資源分配提供可靠的基礎。

5、2)高維度和動態(tài)變化的數(shù)據(jù)處理問題

6、有效處理和分析復雜的高維度用戶數(shù)據(jù)，適應用戶位置、設備狀態(tài)等動態(tài)變化。并且目標通常被定義為長期目標。在這種情況下，本發(fā)明需要設計性能更高的算法，以實現(xiàn)目標優(yōu)化，同時具有低復雜度和良好的性能。同時，還需要設計靈活的系統(tǒng)架構和實時數(shù)據(jù)處理管道，能夠快速響應用戶位置變化、設備狀態(tài)更新等動態(tài)變化，以確保網(wǎng)絡性能和用戶體驗始終處于最佳狀態(tài)。通過這些手段，系統(tǒng)能夠在復雜和變化的環(huán)境中保持高效和穩(wěn)定的運行。

7、3)網(wǎng)絡資源的優(yōu)化分配問題

8、優(yōu)化邊緣緩存和網(wǎng)絡資源的分配策略，以提高網(wǎng)絡性能和用戶體驗。這包括聯(lián)合優(yōu)化內容放置策略和內容獲取策略，能夠根據(jù)用戶需求、網(wǎng)絡負載和設備狀態(tài)的變化，動態(tài)調整緩存內容。具體而言，可以通過預測用戶的內容訪問模式，預先在邊緣節(jié)點緩存高頻訪問內容，從而減少數(shù)據(jù)傳輸延遲和網(wǎng)絡擁堵。此外，還需要考慮不同設備的資源能力和能耗特性，合理調度計算任務和數(shù)據(jù)傳輸路徑，以最大化資源利用效率和用戶的服務質量。通過這些優(yōu)化措施，網(wǎng)絡系統(tǒng)可以在保障高性能和可靠性的同時，提供更加流暢和滿意的用戶體驗。

9、4)網(wǎng)絡壽命問題

10、用戶不斷從邊緣節(jié)點獲取內容，無論是從自身緩存還是通過d2d鏈接從其他用戶處獲取，這都會消耗用戶的能量。為了延長網(wǎng)絡壽命，需要設計高效的能量管理策略，平衡能耗和性能。具體措施包括優(yōu)化內容獲取策略，減少不必要的傳輸次數(shù)，優(yōu)先利用能量充足的節(jié)點進行數(shù)據(jù)交換。

技術實現(xiàn)思路

1、針對現(xiàn)有技術存在的問題，本發(fā)明提供了一種區(qū)塊鏈和數(shù)字孿生支持的d2d網(wǎng)絡中邊緣緩存優(yōu)化方法及系統(tǒng)。其中網(wǎng)絡系統(tǒng)包括兩個子系統(tǒng):邊緣緩存子系統(tǒng)和區(qū)塊鏈子系統(tǒng)。在邊緣緩存子系統(tǒng)中，終端可以作為緩存節(jié)點，在本地存儲內容。因此，每個ue都可以從自己的緩存緩沖區(qū)、通過d2d鏈接或從內容服務器從其他ue獲取內容。區(qū)塊鏈子系統(tǒng)管理區(qū)塊共識過程中的延遲，并不斷更新ue的信譽值，從而確保d2d數(shù)據(jù)共享的安全性和可靠性。

2、本發(fā)明是這樣實現(xiàn)的，一種區(qū)塊鏈和數(shù)字孿生支持的d2d網(wǎng)絡中邊緣緩存優(yōu)化方法，應用智能體的actor和critic網(wǎng)絡，采用深度強化學習方法進行決策；初始化策略actor網(wǎng)絡和critic網(wǎng)絡的參數(shù)，設置訓練相關的超參數(shù)；智能體基于當前策略與環(huán)境互動，執(zhí)行動作并進行狀態(tài)轉移；進行截斷，計算預估回報和優(yōu)勢函數(shù)；更新actor網(wǎng)絡和critic網(wǎng)絡；重復訓練，直至達到預定義的生命停止增長的條件，并使用訓練好的策略進行內容放置和內容獲取。

3、進一步，包括以下步驟：

4、s101、初始化智能體的策略actor網(wǎng)絡π(a|s；θ)及其參數(shù)θ，初始化critic網(wǎng)絡vω(s)及其參數(shù)ω，經(jīng)驗池m，最大回合數(shù)tmax；初始化actor網(wǎng)絡和critic網(wǎng)絡對應的學習率μ和σ；初始化網(wǎng)絡布局參數(shù)，如用戶數(shù)量i，內容數(shù)量f等；

5、s102、智能體與環(huán)境互動，收集有關當前狀態(tài)st的信息，如用戶位置，估計處理能力和剩余能量等；

6、s103、基于當前狀態(tài)st，利用舊策略網(wǎng)絡π(at|st；θold)獲得動作at，得到內容放置和獲取策略；

7、s104、智能體執(zhí)行動作at，觀察獎勵rt，并獲得下一時刻的狀態(tài)st+1；

8、s105、將交互的數(shù)據(jù)＜st,at,rt,st+1＞存儲到經(jīng)驗池中，形成軌跡序列；

9、s106、當軌跡到達截斷長度t時，利用critic網(wǎng)絡vω(s)對終止狀態(tài)進行評估，得到估計獎勵rt。然后，根據(jù)軌跡序列計算優(yōu)勢函數(shù)a(st,at)；

10、s107、從經(jīng)驗池中隨機選擇一組經(jīng)驗元組。每個元組包括狀態(tài)st，動作at以及相應的獎勵rt；

11、s108、選擇的經(jīng)驗元組用于訓練critic網(wǎng)絡。在訓練過程中更新critic網(wǎng)絡的參數(shù)ω，使損失函數(shù)lcritic(ω)最小；

12、s109、從經(jīng)驗池中隨機選擇一組元組，用于訓練actor網(wǎng)絡；

13、s110、構造策略目標函數(shù)lclip(ω)，使用梯度上升法更新actor網(wǎng)絡的參數(shù)θ，使策略目標函數(shù)lclip(ω)最大化；

14、s111、繼續(xù)迭代上述步驟，直到達到預定義的生命周期停止增長條件。在每次迭代中，智能體與環(huán)境接觸，收集軌跡數(shù)據(jù)，并利用這些數(shù)據(jù)來調整actor網(wǎng)絡的參數(shù)，從而不斷完善策略，提高智能體的性能。

15、進一步的，所述s102、智能體與環(huán)境互動，在每個周期開始時，初始化系統(tǒng)狀態(tài)st，具體表示為：

16、

17、其中，

18、u(t-1)＝{ui(t-1)},其中ui(t-1)＝{xi(t-1),yi(t-1)}是ue?i在時隙t-1技術時的坐標；

19、其中表示ue?i是否請求內容f，注意一個ue在時隙t時，只能請求一個內容；

20、其中為時隙t時，ue?i對內容f的偏好；

21、表示ue?i在時隙t的估計處理能力；

22、表示時隙t開始時每個ue的剩余能量，特別地，

23、表示時隙t時，ue?i和uej之間d2d通信鏈路快衰落系數(shù)；

24、表示時隙t時，ue?i和uej之間的距離；

25、表示時隙t時，ue?i和基站之間的瑞麗快衰落系數(shù)；表示時隙t時，ue?i和基站之間的距離；

26、表示時隙t時，ue?i和uej之間是否存在直接物理鏈路；

27、表示時隙t時，ue?i和uej之間是否存在直接物理鏈路和社會聯(lián)系；

28、表示時隙t時，ue?i的鄰居用戶集合；

29、表示時隙t時，ue?i鄰居用戶的個數(shù)；

30、表示時隙t時，ue?i和uej之間的tanimoto系數(shù)；表示時隙t時，ue?i和uej之間的d2d共享概率；

31、δtvali(t)表示塊驗證延遲偏差；

32、表示時隙t時，ue?i的交易大??；

33、表示時隙t時，從ue?i接受的簽名驗證失敗的次數(shù)；表示ue?i在時隙t-1的名譽值；

34、表示時隙t時，ue?i壽命的增長指標；

35、表示每個ue在時隙t的臨時壽命，其初始壽命為0；

36、在每個時隙t中，智能體確定其動作，記為其中：表示內容放置策略；a(t)＝{ai,j(t)},表示內容獲取策略。

37、進一步的，所述s103：智能體執(zhí)行生成的動作，根據(jù)執(zhí)行的動作獲得即時獎勵，并將環(huán)境狀態(tài)轉移到下一個狀態(tài)中獎勵reward的計算共識如下：

38、

39、進一步的，所述s106：計算優(yōu)勢函數(shù)：

40、a(st,at)＝δt+γδt+1+...+γt-t+1δt+1,

41、表示長度為t的截斷軌跡下的優(yōu)勢情況。優(yōu)勢函數(shù)是指智能體采取某一行動相對于其他可能的行動所獲得的優(yōu)勢或相對利益，其中

42、δt＝rt+γv(st+1)-v(st),

43、其中，v(st)為critic網(wǎng)絡的輸出。在此基礎上a(st,at)可以改寫為

44、a(st,at)＝r(t)-v(st),

45、其中r(t)用來估計時間步長為t的預估回報。

46、進一步的，所述s108：更新critic網(wǎng)絡的參數(shù)，更新公式如下：

47、

48、其中，

49、

50、其中，n表示mini-batch的數(shù)量，表示mini-batch中，第n個樣本的狀態(tài)。

51、進一步的，所述s110：更新actor網(wǎng)絡的參數(shù)，更新公式如下：

52、

53、其中，η是一個超參數(shù)，lclip(θ)表示為

54、

55、本發(fā)明的另一目的是提供一種用于區(qū)塊鏈和數(shù)字孿生支持的d2d網(wǎng)絡中邊緣緩存優(yōu)化的系統(tǒng)，包括：

56、一個智能體模塊，配置用于初始化策略actor網(wǎng)絡和critic網(wǎng)絡的參數(shù)，設置訓練相關的超參數(shù)；

57、一個交互模塊，配置用于使智能體與環(huán)境互動，執(zhí)行動作并進行狀態(tài)轉移；

58、一個評估模塊，配置用于截斷軌跡并計算預估回報和優(yōu)勢函數(shù)；

59、一個更新模塊，配置用于更新actor網(wǎng)絡和critic網(wǎng)絡，直到達到預定義的生命停止增長條件，并使用訓練好的策略進行內容放置和內容獲取。

60、進一步，所述智能體模塊還包括：

61、一個初始化單元，配置用于初始化智能體的策略actor網(wǎng)絡及其參數(shù)，初始化critic網(wǎng)絡及其參數(shù)、經(jīng)驗池和最大回合數(shù)；

62、一個網(wǎng)絡布局單元，配置用于初始化網(wǎng)絡布局參數(shù)，包括用戶數(shù)量和內容數(shù)量。

63、進一步，所述交互模塊還包括：

64、一個狀態(tài)收集單元，配置用于在每個周期開始時初始化系統(tǒng)狀態(tài)，并收集有關當前狀態(tài)的信息，包括用戶位置、估計處理能力、剩余能量等；

65、一個策略生成單元，配置用于基于當前狀態(tài)利用舊策略網(wǎng)絡獲得動作，生成內容放置和獲取策略；

66、一個獎勵觀察單元，配置用于智能體執(zhí)行動作并觀察獎勵，獲得下一時刻的狀態(tài)，并將交互的數(shù)據(jù)存儲到經(jīng)驗池中，形成軌跡序列。

67、進一步，所述評估模塊還包括：

68、一個評估單元，配置用于當軌跡到達截斷長度時，利用critic網(wǎng)絡對終止狀態(tài)進行評估，計算優(yōu)勢函數(shù)；

69、一個訓練單元，配置用于從經(jīng)驗池中隨機選擇經(jīng)驗元組，訓練critic網(wǎng)絡和actor網(wǎng)絡的參數(shù)，并根據(jù)策略目標函數(shù)使用梯度上升法更新actor網(wǎng)絡的參數(shù)，直至達到預定義的生命周期停止增長條件。

70、結合上述的技術方案和解決的技術問題，本發(fā)明所要保護的技術方案所具備的優(yōu)點及積極效果為：

71、第一，本發(fā)明在區(qū)塊鏈和數(shù)字孿生支持的d2d網(wǎng)絡整合方面具有重要的有益之處，具體分析如下：

72、首先是高效性和安全性。本發(fā)明考慮了一個支持區(qū)塊鏈和邊緣緩存的d2d輔助蜂窩網(wǎng)絡，它包括兩個子系統(tǒng)，即邊緣緩存子系統(tǒng)和區(qū)塊鏈子系統(tǒng)。邊緣緩存子系統(tǒng)用于內容文件緩存和共享，它由一個遠程內容服務器、一個bs和在bs覆蓋范圍內隨機分布的ue組成。區(qū)塊鏈子系統(tǒng)用于構建安全可信的數(shù)據(jù)信息共享交易平臺，ue也作為區(qū)塊鏈節(jié)點。主要對來自邊緣緩存子系統(tǒng)的內容獲取事務進行安全處理，從而保證了內容獲取的可追溯性。與緩存和ue聲譽更新相關的交易被打包成塊，通過共識機制過程驗證，然后記錄在區(qū)塊鏈中。數(shù)字孿生層集成在邊緣緩存子系統(tǒng)中，用于存儲終端位置、終端內容請求、估計處理能力、剩余能量等關鍵數(shù)據(jù)，實時監(jiān)控網(wǎng)絡運行狀態(tài)。

73、其次考慮到任務的動態(tài)性、網(wǎng)絡條件的波動性和內容請求的隨機行為，本發(fā)明采用近端策略優(yōu)化(proximal?policy?optimization,ppo)學習環(huán)境狀態(tài)，得到內容放置和內容獲取的聯(lián)合優(yōu)化決策。

74、第二，本發(fā)明具體取得的顯著技術進步，在于實現(xiàn)了區(qū)塊鏈和數(shù)字孿生支持的d2d網(wǎng)絡中邊緣緩存優(yōu)化方法，該方法在以下幾個關鍵方面取得了顯著的進步：

75、1)精確的內容放置和內容獲取策略

76、本方法通過引入內容放置和內容獲取策略，顯著提升了邊緣緩存的命中率和資源利用率。具體來說，該方法能夠選擇內容流行度高的內容放置在合適的ue上，從而減少傳輸時延。同時，通過優(yōu)化內容獲取策略，確保ue能夠高效地從最近且可通信的緩存節(jié)點獲取所需內容，進一步提高網(wǎng)絡性能和用戶體驗。

77、2)智能的接入控制策略

78、通過引入先進的學習機制，系統(tǒng)能夠智能地調整ue的內容控制策略，以適應動態(tài)變化的網(wǎng)絡條件。這不僅增強了網(wǎng)絡的穩(wěn)定性和用戶體驗，還能有效地平衡負載，避免單個節(jié)點過載。

79、3)強化學習的集成

80、將drl算法與邊緣計算系統(tǒng)結合，使得系統(tǒng)能夠基于實時數(shù)據(jù)自我學習和適應，從而在沒有明確指令的情況下做出最優(yōu)決策。這種自適應能力對于處理復雜和動態(tài)變化的邊緣計算環(huán)境至關重要，確保系統(tǒng)能夠快速響應并調整策略。

81、4)獲取增益最大化

82、本方法的獎勵機制關注ue的內容獲取增益，通過優(yōu)化策略使得用戶在獲取內容時的增益最大化。這不僅提高了用戶滿意度，還優(yōu)化了網(wǎng)絡資源的利用效率。

83、5)能量效率優(yōu)化

84、本方法考慮了設備的能量消耗，通過設計高效的能量管理策略，優(yōu)化內容傳輸路徑和緩存位置，減少不必要的能量消耗，延長網(wǎng)絡壽命并提升整體性能。

85、6)多用戶協(xié)作增強：

86、通過引入多用戶協(xié)作機制，系統(tǒng)允許用戶之間共享緩存資源和內容，進一步提高資源利用率和內容獲取效率。這種協(xié)作機制不僅能減少網(wǎng)絡傳輸延遲，還能降低整體能耗。

87、7)高效的數(shù)據(jù)分析和預測

88、系統(tǒng)利用歷史數(shù)據(jù)和用戶行為模式進行預測，從而優(yōu)化內容獲取和緩存策略。這有助于提前識別熱門內容，及時調整緩存位置，避免潛在的網(wǎng)絡擁堵。

89、8)系統(tǒng)穩(wěn)定性和可靠性的提升

90、通過對動作執(zhí)行后的即時獎勵以及狀態(tài)轉移進行精確計算和優(yōu)化，該方法顯著增強了系統(tǒng)的穩(wěn)定性和可靠性。特別是在處理大量數(shù)據(jù)和高并發(fā)請求的情況下，系統(tǒng)能夠保持高效運作，確保服務質量和用戶體驗的持續(xù)提升。

91、9)網(wǎng)絡的自主學習和優(yōu)化能力

92、該方法通過不斷的迭代訓練和基于經(jīng)驗的網(wǎng)絡更新，使系統(tǒng)能夠持續(xù)優(yōu)化其決策過程。這種自主學習和優(yōu)化能力不僅提高了整體性能，還使系統(tǒng)能夠動態(tài)適應環(huán)境變化，確保在各種使用場景下都能提供最優(yōu)的服務質量。

93、這些技術進步共同作用，使得區(qū)塊鏈和數(shù)字孿生支持的d2d網(wǎng)絡不僅在性能上有所提升，同時在能效、穩(wěn)定性和自適應能力上也有顯著的改進，這對于現(xiàn)代復雜的計算需求而言至關重要。

94、第三，本發(fā)明提供的區(qū)塊鏈和數(shù)字孿生支持的d2d網(wǎng)絡中邊緣緩存優(yōu)化方法，其核心在于使用數(shù)學模型來指導系統(tǒng)的行為和學習過程。可以根據(jù)這些數(shù)學模型的特點來探討它們帶來的技術效果：

95、1)即時獎勵的計算

96、即時獎勵的計算公式關注于系統(tǒng)的內容獲取增益、網(wǎng)絡壽命和切換成本。

97、內容獲取增益：ue可以從本地緩存、通過d2d鏈接從其他用戶，或者直接從內容服務器獲取內容。不同的內容獲取方式會帶來不同的內容獲取增益，具體增益取決于所選方式。

98、網(wǎng)絡壽命：每個ue初始時電量為滿格，在內容緩存和獲取過程中逐漸消耗電量。一旦某個ue的電量低于預設的電量閾值，其壽命將停止增長，即此時該ue的壽命即為網(wǎng)絡壽命。因此，即使獎勵機制的目標是最大化網(wǎng)絡壽命以確保網(wǎng)絡的整體性能和穩(wěn)定性。

99、切換成本：在動態(tài)移動的用戶環(huán)境中，由于ue的位置不固定，需要關注ue的重新關聯(lián)。當重新關聯(lián)發(fā)生時，ue可能會出現(xiàn)業(yè)務中斷和通信質量降低的情況。移動網(wǎng)絡運營商需要更新ue的服務配置文件以適應移動性，這會產生切換成本。

100、2)actor和critic網(wǎng)絡的更新

101、通過隨機抽樣小批量經(jīng)驗數(shù)據(jù)更新，并利用梯度上升法更新當前策略網(wǎng)絡。

102、策略優(yōu)化：通過不斷調整策略網(wǎng)絡的參數(shù)，系統(tǒng)能夠學習并采用更有效的決策策略。這個過程確保網(wǎng)絡在面對不同情境時，能夠選擇最佳行動，提高整體性能和效率。

103、響應性提高：使用小批量數(shù)據(jù)進行更新，使網(wǎng)絡能夠快速適應環(huán)境變化，增強系統(tǒng)的動態(tài)調整能力。這種方法不僅加快了學習速度，還使得系統(tǒng)在應對突發(fā)事件和環(huán)境變化時更加靈活和可靠。

104、穩(wěn)定性提升：通過小批量更新和梯度上升法，減小了訓練過程中的波動，保證了網(wǎng)絡的穩(wěn)定性和收斂性。這樣能夠有效防止因大批量數(shù)據(jù)更新帶來的不穩(wěn)定性，確保訓練過程更加平滑和高效。

105、3)參數(shù)更新公式

106、描述了策略actor和critic網(wǎng)絡參數(shù)更新的目標網(wǎng)絡方法，涉及當前網(wǎng)絡和目標網(wǎng)絡的參數(shù)。

107、策略平滑過渡：通過引入裁剪函數(shù)，系統(tǒng)能夠平穩(wěn)地向新策略過渡，避免因劇烈變化而導致的性能波動。此方法在更新過程中保持穩(wěn)定性，逐步提升決策質量。

108、持續(xù)學習和適應：這種持續(xù)的參數(shù)更新機制確保系統(tǒng)能夠應對長期的環(huán)境變化。通過不斷調整參數(shù)，系統(tǒng)在面對不同情境和動態(tài)環(huán)境時能夠持續(xù)高效運行，優(yōu)化自身策略。

109、第四，作為本發(fā)明的權利要求的創(chuàng)造性輔助證據(jù)，還體現(xiàn)在技術方案轉化后的預期收益和商業(yè)價值為：

110、本發(fā)明利用ppo算法優(yōu)化了區(qū)塊鏈和數(shù)字孿生支持的d2d網(wǎng)絡中的邊緣緩存，顯著提升了網(wǎng)絡性能和服務質量。這項不僅能夠有效應對不斷增長的用戶設備需求，還能優(yōu)化內容的緩存和獲取策略，從而降低了網(wǎng)絡運營成本。在商業(yè)應用方面，本發(fā)明適用于需要高效處理大數(shù)據(jù)、確保數(shù)據(jù)安全和可信性的廣泛應用場景，為相關行業(yè)帶來顯著的經(jīng)濟和社會效益。因此，本發(fā)明在市場上具備廣闊的前景和巨大的商業(yè)價值。

111、第五，本發(fā)明解決了現(xiàn)有技術在工業(yè)應用中邊緣緩存優(yōu)化方面存在的多個技術問題。傳統(tǒng)的d2d(device-to-device)網(wǎng)絡邊緣緩存方法通常面臨著資源管理效率低、響應速度慢以及數(shù)據(jù)傳輸過程中可靠性不足的問題。這些問題在區(qū)塊鏈和數(shù)字孿生支持的復雜工業(yè)環(huán)境中尤為突出，導致數(shù)據(jù)的實時性和準確性難以保證，從而影響整體系統(tǒng)的性能和穩(wěn)定性。此外，傳統(tǒng)方法通常缺乏智能化決策機制，無法有效應對動態(tài)變化的網(wǎng)絡環(huán)境和用戶需求，限制了其在工業(yè)應用中的廣泛應用。

112、通過引入深度強化學習(drl)方法，本發(fā)明在工業(yè)應用中取得了顯著的技術進步。首先，采用智能體的actor和critic網(wǎng)絡，可以動態(tài)適應復雜的網(wǎng)絡環(huán)境，智能決策優(yōu)化內容的放置和獲取策略。這種智能化的優(yōu)化過程不僅提高了系統(tǒng)的資源利用率，還大幅減少了內容傳輸?shù)难舆t，顯著增強了邊緣緩存的響應速度和整體性能。特別是在工業(yè)場景中，能夠實時響應和動態(tài)調整緩存策略，對確保生產線的連續(xù)性和工業(yè)數(shù)據(jù)的即時處理具有重要意義。

113、此外，本發(fā)明在工業(yè)應用中實現(xiàn)了高效的網(wǎng)絡資源管理。通過引入?yún)^(qū)塊鏈和數(shù)字孿生技術，系統(tǒng)可以在去中心化的框架下進行緩存優(yōu)化，確保數(shù)據(jù)傳輸?shù)陌踩院屯暾?。同時，通過智能體與環(huán)境的不斷互動和學習，系統(tǒng)能夠持續(xù)優(yōu)化其策略，適應工業(yè)環(huán)境中的多變需求。與傳統(tǒng)的靜態(tài)優(yōu)化方法相比，本發(fā)明的動態(tài)優(yōu)化機制更能滿足工業(yè)場景下的實時性要求，并降低了系統(tǒng)的維護成本。

114、最終，本發(fā)明的邊緣緩存優(yōu)化方法在工業(yè)應用中獲得了顯著的技術進步，不僅提升了d2d網(wǎng)絡的效率和穩(wěn)定性，還實現(xiàn)了數(shù)據(jù)傳輸?shù)母呖煽啃院偷脱舆t。這為工業(yè)生產過程中的數(shù)據(jù)管理和通信提供了更優(yōu)的解決方案，顯著提高了工業(yè)系統(tǒng)的智能化水平和自動化能力，為未來智能制造和工業(yè)物聯(lián)網(wǎng)的發(fā)展奠定了堅實的基礎。