本發(fā)明涉及圖像局部處理，尤其涉及一種基于深度強化學習的眼袋修復方法。

背景技術：

1、隨著數(shù)字圖像處理技術的發(fā)展，人像美顏已成為數(shù)字攝影領域的重要應用之一。然而，現(xiàn)有的眼袋祛除算法大多依賴于手工設計的規(guī)則或基于圖像處理技術(例如低頻濾波等)，缺乏對眼袋問題的全面理解和精準的處理方式，容易出現(xiàn)祛除不干凈、無法保留皮膚紋理細節(jié)等問題。因此，需要一種更智能化、更精準的算法來解決上述問題。

2、現(xiàn)有的祛眼袋方法往往依賴人臉關鍵點和眼袋蒙版提取眼袋后再用一些圖像處理技術進行祛除(例如低頻濾波等)，這會使得眼袋祛除不干凈，且往往無法恢復皮膚的紋理細節(jié)。近些年來，有一些基于強化學習的人臉圖像編輯方法，其目的是利用強化學習對需要重建的面部屬性進行選擇優(yōu)化，從而進一步引導生成器生成更高質量的人臉圖像。然而，上述方案依賴生成器得到美化后的圖像，生成的結果具有更多不確定性，且強化學習網(wǎng)絡僅用于選擇和優(yōu)化面部屬性，并沒有對生成的圖像結果起到直接的作用。

技術實現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提出一種基于深度強化學習的眼袋修復方法，能夠解決傳統(tǒng)眼袋修復算法無法保留皮膚紋理細節(jié)、與周圍皮膚顏色不一致等問題，實現(xiàn)更自然、更真實的眼袋修復效果，以滿足用戶對美顏技術的高要求。

2、根據(jù)本發(fā)明的一個方面，提供一種基于深度強化學習的眼袋修復方法，包括：

3、將待處理圖像輸入一預訓練的深度強化學習網(wǎng)絡中的特征提取子網(wǎng)絡提取眼袋區(qū)域特征；

4、基于該眼袋區(qū)域特征，該深度強化學習網(wǎng)絡中的策略子網(wǎng)絡匹配與該特征對應的修復動作；

5、基于該修復動作對眼袋區(qū)域進行修復。

6、在上述技術方案中，特征提取子網(wǎng)絡通過卷積神經(jīng)網(wǎng)絡對輸入圖像中的眼袋區(qū)域進行特征提取，確保修復操作具有針對性和有效性；策略子網(wǎng)絡根據(jù)提取到的特征匹配最適合的修復動作，修復動作可包括高斯濾波、局部紋理生成、亮度調(diào)整等不同操作，適用于不同類型的眼袋修復需求；通過應用這些修復動作，對眼袋區(qū)域進行逐步修復，提升整體修復效果的自然度和精確度。該過程通過深度強化學習機制實現(xiàn)網(wǎng)絡的自我優(yōu)化，進一步提高修復的效果和效率。

7、在一些實施例中，基于該修復動作對眼袋區(qū)域進行修復，之后還包括：

8、采用mse?loss和l1?loss對修復后的眼袋區(qū)域進行評估，若達到預定的修復目標，則輸出結果；否則，

9、更新策略網(wǎng)絡的參數(shù)和歷史經(jīng)驗，并基于眼袋區(qū)域特征，重新匹配與該特征對應的修復動作，基于該修復動作對眼袋區(qū)域進行修復；

10、重復上述步驟直至達到預定的修復目標。

11、在上述技術方案中，通過采用mse?loss和l1?loss對修復后的眼袋區(qū)域進行評估，能夠精確衡量修復效果與目標之間的差異，以保證修復效果的精度和自然度。如果評估結果未達到預定的修復目標，系統(tǒng)將通過強化學習機制更新策略網(wǎng)絡的參數(shù)，并結合歷史經(jīng)驗進行優(yōu)化調(diào)整，從而更好地匹配適合的修復動作。該過程在每次迭代中不斷優(yōu)化策略網(wǎng)絡的性能，確保修復動作更加符合眼袋區(qū)域的特征，最終實現(xiàn)高效且精確的眼袋修復，直至滿足預定目標。

12、在一些實施例中，所述修復動作包括高斯濾波、局部紋理生成、亮度調(diào)整。

13、在上述技術方案中，在上述技術方案中，所述修復動作中的高斯濾波用于平滑眼袋區(qū)域，減少局部紋理的不均勻性，達到柔化效果；局部紋理生成則通過生成自然紋理來恢復修復區(qū)域的細節(jié)，避免過度平滑導致的視覺不自然；亮度調(diào)整用于平衡眼袋區(qū)域與周圍皮膚的亮度差異，使修復后的區(qū)域與整體面部更加協(xié)調(diào)。通過這些多樣化的修復動作，系統(tǒng)能夠靈活應對不同類型的眼袋問題，確保修復效果更加自然逼真。

14、在一些實施例中，所述深度強化學習網(wǎng)絡的訓練集采用如下步驟構建：

15、采集沒有眼袋的第一目標圖和源數(shù)據(jù)對，該源數(shù)據(jù)對為一對已有的有眼袋的圖像和祛眼袋的圖像；

16、根據(jù)源數(shù)據(jù)對的圖像計算對齊矩陣，將目標圖和源數(shù)據(jù)對進行對齊，計算源數(shù)據(jù)對的差異得到眼袋圖，將眼袋圖與目標圖進行融合得到有眼袋的第二目標圖；

17、基于上述方式構建訓練集。

18、在上述技術方案中該種訓練集構建方式的優(yōu)點在于通過利用沒有眼袋的第一目標圖與源數(shù)據(jù)對的對齊及融合操作，生成多樣化的有眼袋圖像，從而豐富訓練數(shù)據(jù)集，增加模型的泛化能力。通過對源數(shù)據(jù)對進行精確對齊，并計算差異生成眼袋圖，確保眼袋特征的保真度，使得訓練數(shù)據(jù)更加真實。通過與目標圖的融合，生成不同眼袋類型的圖像，使策略網(wǎng)絡能夠學習到多種修復動作對應的特征，提高修復的靈活性和準確性。同時，對于本案中的策略網(wǎng)絡，這種訓練集構建方式幫助策略網(wǎng)絡識別和處理不同程度、不同類型的眼袋特征，從而能夠選擇出最合適的修復動作。策略網(wǎng)絡通過從多樣化的眼袋圖像中學習修復模式，更加高效地應對實際圖像中多種眼袋情況，使修復過程更自然和精確。

19、根據(jù)本發(fā)明的另一方面，提供一種深度強化學習模型的訓練方法，該深度強化學習模型包括特征提取子網(wǎng)絡、策略網(wǎng)絡、修復子網(wǎng)絡；所述方法包括如下步驟：

20、采集沒有眼袋的第一目標圖和源數(shù)據(jù)對，該源數(shù)據(jù)對為一對已有的有眼袋的圖像和祛眼袋的圖像；根據(jù)源數(shù)據(jù)對的圖像計算對齊矩陣，將目標圖和源數(shù)據(jù)對進行對齊，計算源數(shù)據(jù)對的差異得到眼袋圖，將眼袋圖與目標圖進行融合得到有眼袋的第二目標圖；基于上述方式構建訓練集；

21、將第二目標圖輸入特征提取子網(wǎng)絡提取眼袋區(qū)域特征；

22、基于該眼袋區(qū)域特征，該策略子網(wǎng)絡匹配與該特征對應的修復動作；

23、基于該修復動作對眼袋區(qū)域進行修復，并疊加至第二目標圖；

24、基于第一目標圖集第二目標圖計算損失值；

25、基于該損失值訓練該深度強化學習模型。

26、在上述技術方案中，為了更好的使用上述方法，本技術提出一種深度強化學習模型的訓練方法，各個模塊對應上述方法的各個步驟，其具體的原理已在上文中描述，此處不再贅述。

27、根據(jù)本發(fā)明的另一方面，提供一種基于深度強化學習的眼袋修復裝置，基于上述的方法；包括連接的：

28、特征提取模塊，用于將待處理圖像輸入一預訓練的深度強化學習網(wǎng)絡中的特征提取子網(wǎng)絡提取眼袋區(qū)域特征；

29、策略模塊，用于基于該眼袋區(qū)域特征，該深度強化學習網(wǎng)絡中的策略子網(wǎng)絡匹配與該特征對應的修復動作；

30、修復模塊，基于該修復動作對眼袋區(qū)域進行修復。。

31、在上述技術方案中，為了更好的使用上述方法，本技術提出一種基于深度強化學習的眼袋修復裝置，各個模塊對應上述方法的各個步驟，其具體的原理已在上文中描述，此處不再贅述。

32、根據(jù)本發(fā)明的另一方面，提供一種基于深度強化學習的眼袋修復設備，包括：

33、至少一個處理器以及與所述至少一個處理器通信連接的存儲器；

34、其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行上述的方法。

35、在上述技術方案中，為了更好的運行和處理該方法，將上述方法存儲至存儲器，并利用處理器來執(zhí)行存儲的方法。需要注意的是，每個步驟的原理和效果已在上文描述，此處不再展開說明。

36、根據(jù)本發(fā)明的另一方面，提供一種計算機可讀存儲介質，存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述的方法。

37、在上述技術方案中，為了更好的運行和使用該方法，將上述方法存儲至計算機可讀存儲介質，并利用處理器來實現(xiàn)上述方法。需要注意的是，每個步驟的原理和效果已在上文描述，此處不再展開說明。