本公開涉及圖像處理，具體涉及一種人臉圖像超分辨率重建方法、裝置。

背景技術(shù)：

1、人臉超分辨率(fsr，face?super-resolution)又稱人臉幻覺，旨在將低分辨率(lr，lowresolution)人臉圖像轉(zhuǎn)換為高分辨率(hr，highresolution)人臉圖像。

2、傳統(tǒng)的圖像超分辨率技術(shù)，如最近鄰插值、雙線性插值和雙三次插值等方法，雖然能夠在一定程度上提高圖像的分辨率，但這些方法減少了圖像像素的數(shù)量，可能出現(xiàn)面部特征重建所需的關(guān)鍵面部細(xì)節(jié)丟失的情況，從而導(dǎo)致重建后的面部輪廓失真的問題。

3、因此，亟需一種人臉圖像超分辨率重建方法，以解決上述技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本公開提出了一種人臉圖像超分辨率重建方法、裝置，以解決相關(guān)技術(shù)中由于丟失關(guān)鍵面部細(xì)節(jié)，導(dǎo)致重建后的面部輪廓失真的問題。

2、本公開第一方面實(shí)施例提出了一種人臉圖像超分辨率重建方法，包括：

3、對(duì)低分辨率人臉圖像的初始面部特征按照預(yù)設(shè)的采樣率逐次進(jìn)行n次下采樣，任意一次下采樣得到的面部特征是增強(qiáng)后的第一低頻特征以及增強(qiáng)后的多個(gè)第一高頻特征融合得到，所述第一低頻特征和所述多個(gè)第一高頻特征是在對(duì)輸入的面部特征小波變換得到，所述輸入的面部特征為所述初始面部特征或者上一次下采樣輸出的面部特征；

4、對(duì)第n次下采樣輸出的面部特征按照所述預(yù)設(shè)的采樣率逐次進(jìn)行n次上采樣輸出增強(qiáng)后的面部特征，任意一次上采樣得到的面部特征是低頻融合特征和增強(qiáng)后的多個(gè)第二高頻特征反小波變換得到，所述低頻融合特征是對(duì)第二低頻特征和第三低頻特征融合得到，所述第二低頻特征和所述多個(gè)第二高頻特征是在對(duì)與所述上采樣對(duì)應(yīng)的下采樣輸出的面部特征小波變換得到，所述第三低頻特征是指上一次上采樣或者最后一次下采樣輸出的面部特征中的低頻特征；

5、融合所述初始面部特征與所述增強(qiáng)后的面部特征，得到所述低分辨率人臉圖像重建后的人臉圖像。

6、本公開實(shí)施例通過對(duì)低分辨率人臉圖像的初始面部特征或者上一次下采樣輸出的面部特征小波變換，得到第一低頻特征和多個(gè)第一高頻特征，能夠模擬低通濾波后再下采樣的結(jié)果，有助于防止頻域混疊情況的出現(xiàn)；通過先分解為低頻特征和高頻特征，然后分別進(jìn)行特征增強(qiáng)，最后再將增強(qiáng)后的高頻特征和增強(qiáng)后的低頻特征進(jìn)行融合的步驟，能夠增強(qiáng)人臉邊緣信息，緩解下采樣帶來的人臉結(jié)構(gòu)損失問題，使得面部輪廓更加清晰。

7、本公開實(shí)施例通過對(duì)與上采樣對(duì)應(yīng)的下采樣輸出的第二面部特征小波變換，得到第二低頻特征和多個(gè)第二高頻特征，能夠通過小波分解獲得額外特征來增強(qiáng)和完善面部輪廓；并且通過將第二低頻特征和第三低頻特征融合得到低頻融合特征，以及通過對(duì)低頻融合特征和多個(gè)第二高頻特征反小波變換，得到目標(biāo)面部特征，能夠有效利用來自不同尺度的特征，通過分別融合高頻和低頻特征來增強(qiáng)面部細(xì)節(jié)。

8、在本公開實(shí)施例中，針對(duì)所述n次下采樣中的任一下采樣，所述下采樣的步驟包括：

9、對(duì)所述低分辨率人臉圖像的初始面部特征或者上一次下采樣輸出的面部特征小波變換，得到所述第一低頻特征和所述多個(gè)第一高頻特征；

10、對(duì)所述第一低頻特征以及所述多個(gè)第一高頻特征分別進(jìn)行特征增強(qiáng)，得到增強(qiáng)后的第一低頻特征以及增強(qiáng)后的多個(gè)第一高頻特征；

11、將所述增強(qiáng)后的第一低頻特征以及所述增強(qiáng)后的多個(gè)第一高頻特征融合，得到融合特征；所述融合特征作為所述下采樣輸出的面部特征。

12、在本公開實(shí)施例中，針對(duì)所述n次上采樣中的任一上采樣，所述上采樣的步驟包括：

13、獲取上一次上采樣或者最后一次下采樣輸出的第一面部特征中的第三低頻特征，以及獲取與所述上采樣對(duì)應(yīng)的下采樣輸出的第二面部特征；所述第二面部特征的分辨率大于所述第一面部特征的分辨率；

14、對(duì)所述第二面部特征小波變換，得到所述第二低頻特征和所述多個(gè)第二高頻特征；

15、將所述第二低頻特征和所述第三低頻特征融合得到所述低頻融合特征；

16、對(duì)所述低頻融合特征和所述多個(gè)第二高頻特征反小波變換，得到目標(biāo)面部特征；所述目標(biāo)面部特征作為所述上采樣輸出的面部特征。

17、在本公開實(shí)施例中，所述第一低頻特征為低頻子帶；所述多個(gè)第一高頻特征包括水平子帶、垂直子帶和對(duì)角子帶；對(duì)所述低分辨率人臉圖像的初始面部特征或者上一次下采樣輸出的面部特征小波變換，得到所述第一低頻特征和所述多個(gè)第一高頻特征，包括：

18、將所述初始面部特征或者所述上一次下采樣輸出的面部特征分解為水平子帶、垂直子帶、對(duì)角子帶和低頻子帶；所述水平子帶是指所述初始面部特征或者所述上一次下采樣輸出的面部特征中水平方向的高頻特征；所述垂直子帶是指所述初始面部特征或者所述上一次下采樣輸出的面部特征中垂直方向的高頻特征；所述對(duì)角子帶是指所述初始面部特征或者所述上一次下采樣輸出的面部特征中對(duì)角線方向的高頻特征；所述低頻子帶是指所述初始面部特征或者所述上一次下采樣輸出的面部特征中的低頻特征。

19、在本公開實(shí)施例中，所述n次下采樣一一對(duì)應(yīng)n個(gè)全域變換器，以及一一對(duì)應(yīng)n個(gè)殘差塊；對(duì)所述第一低頻特征以及所述多個(gè)第一高頻特征分別進(jìn)行特征增強(qiáng)，得到增強(qiáng)后的第一低頻特征以及增強(qiáng)后的多個(gè)第一高頻特征，包括：

20、通過與所述下采樣對(duì)應(yīng)的全域變換器對(duì)所述第一低頻特征進(jìn)行特征增強(qiáng)，得到所述增強(qiáng)后的第一低頻特征；

21、通過與所述下采樣對(duì)應(yīng)的殘差塊對(duì)所述多個(gè)第一高頻特征進(jìn)行特征增強(qiáng)，得到所述增強(qiáng)后的多個(gè)第一高頻特征。

22、本公開實(shí)施例通過對(duì)低頻特征更為敏感的全域變換器對(duì)下采樣輸出的第一低頻特征進(jìn)行特征增強(qiáng)，以及通過對(duì)高頻特征更為敏感的殘差塊對(duì)下采樣輸出的多個(gè)第一高頻特征進(jìn)行特征增強(qiáng)，能夠大大提高高頻面部特征和低頻面部特征的處理效率。

23、在本公開實(shí)施例中，在對(duì)低分辨率人臉圖像的初始面部特征按照預(yù)設(shè)的采樣率逐次進(jìn)行n次下采樣之前，所述方法還包括：

24、通過卷積層提取所述低分辨率人臉圖像的原始面部特征；

25、通過全域變換器對(duì)所述原始面部特征進(jìn)行特征提取，得到所述初始面部特征；所述初始面部特征包括局部面部特征、區(qū)域面部特征和全局面部特征；所述初始面部特征作為所述n次下采樣中的第一次下采樣的輸入。

26、在本公開實(shí)施例中，所述初始面部特征包括局部面部特征和區(qū)域面部特征；通過全域變換器對(duì)所述原始面部特征進(jìn)行特征提取，得到所述初始面部特征，包括：

27、對(duì)所述原始面部特征進(jìn)行特征分割，得到多個(gè)窗口特征；

28、從所述多個(gè)窗口特征中篩選出至少一個(gè)目標(biāo)窗口特征，所述目標(biāo)窗口特征是指所述多個(gè)窗口特征中用于增強(qiáng)局部面部細(xì)節(jié)的窗口特征；

29、針對(duì)所述至少一個(gè)目標(biāo)窗口特征中的任意一個(gè)目標(biāo)窗口特征，計(jì)算所述目標(biāo)窗口特征的自注意力權(quán)重；

30、使用所述自注意力權(quán)重對(duì)所述目標(biāo)窗口特征的值向量進(jìn)行加權(quán)求和，得到第一局部面部特征；

31、將與所述至少一個(gè)目標(biāo)窗口特征對(duì)應(yīng)的至少一個(gè)第一局部面部特征進(jìn)行拼接，得到所述原始面部特征的區(qū)域面部特征。

32、在本公開實(shí)施例中，在得到所述原始面部特征的區(qū)域面部特征之后，所述方法還包括：

33、對(duì)所述多個(gè)窗口特征進(jìn)行隨機(jī)窗口移動(dòng)，得到新的多個(gè)窗口特征；

34、根據(jù)所述新的多個(gè)窗口特征，多次執(zhí)行從所述多個(gè)窗口特征中篩選出至少一個(gè)目標(biāo)窗口特征的步驟，得到多個(gè)區(qū)域面部特征。

35、本公開實(shí)施例通過窗口移位機(jī)制，能夠促進(jìn)相鄰窗口特征之間的通信，進(jìn)而有效增強(qiáng)人臉圖像的區(qū)域面部特征和局部面部特征。

36、在本公開實(shí)施例中，所述面部特征還包括全局面部特征；所述方法還包括：

37、將所述區(qū)域面部特征和所述原始面部特征進(jìn)行融合，得到融合面部特征；

38、設(shè)定多個(gè)自注意頭，每個(gè)自注意力頭用于計(jì)算所述融合面部特征中的部分特征的自注意力權(quán)重；使用所述自注意力權(quán)重對(duì)所述部分特征的值向量進(jìn)行加權(quán)求和，得到第二局部面部特征；

39、將所述多個(gè)自注意頭輸出的多個(gè)第二局部面部特征進(jìn)行拼接，得到所述全局面部特征。

40、本公開實(shí)施例通過區(qū)域自注意力機(jī)制可以提取到局部面部特征和區(qū)域面部特征，以及通過全局自注意力機(jī)制可以提取到局部面部特征和區(qū)域面部特征，能夠探索不同的感受野，發(fā)現(xiàn)面部特征中更深層次的關(guān)聯(lián)，從而提取到更全面的信息來增強(qiáng)面部細(xì)節(jié)。

41、在本公開實(shí)施例中，所述方法還包括：

42、對(duì)所述多個(gè)自注意頭所負(fù)責(zé)的部分特征進(jìn)行混洗，以使每個(gè)自注意頭每次負(fù)責(zé)的部分特征不同，增強(qiáng)所述多個(gè)自注意頭之間的信息交換。

43、本公開實(shí)施例通過混洗多頭機(jī)制能夠增強(qiáng)多個(gè)自注意頭之間的信息交換，從而有效增強(qiáng)人臉圖像的局部面部特征和全局面部特征。

44、在本公開實(shí)施例中，計(jì)算所述目標(biāo)窗口特征的自注意力權(quán)重，包括：

45、對(duì)所述目標(biāo)窗口特征進(jìn)行線性變換，生成查詢向量、鍵向量和所述值向量；

46、基于所述查詢向量和所述鍵向量，計(jì)算所述目標(biāo)窗口特征的注意力分?jǐn)?shù)；

47、對(duì)所述注意力分?jǐn)?shù)進(jìn)行歸一化，得到所述自注意力權(quán)重。

48、本公開第二方面的實(shí)施例提供了一種人臉圖像超分辨率重建裝置，包括：

49、下采樣模塊，用于對(duì)低分辨率人臉圖像的初始面部特征按照預(yù)設(shè)的采樣率逐次進(jìn)行n次下采樣，任意一次下采樣得到的面部特征是增強(qiáng)后的第一低頻特征以及增強(qiáng)后的多個(gè)第一高頻特征融合得到，所述第一低頻特征和所述多個(gè)第一高頻特征是在對(duì)輸入的面部特征小波變換得到，所述輸入的面部特征為所述初始面部特征或者上一次下采樣輸出的面部特征；

50、上采樣模塊，用于對(duì)第n次下采樣輸出的面部特征按照所述預(yù)設(shè)的采樣率逐次進(jìn)行n次上采樣輸出增強(qiáng)后的面部特征，任意一次上采樣得到的面部特征是低頻融合特征和增強(qiáng)后的多個(gè)第二高頻特征反小波變換得到，所述低頻融合特征是對(duì)第二低頻特征和第三低頻特征融合得到，所述第二低頻特征和所述多個(gè)第二高頻特征是在對(duì)與所述上采樣對(duì)應(yīng)的下采樣輸出的面部特征小波變換得到，所述第三低頻特征是指上一次上采樣或者最后一次下采樣輸出的面部特征中的低頻特征；

51、圖像重建模塊，用于融合所述初始面部特征與所述增強(qiáng)后的面部特征，得到所述低分辨率人臉圖像重建后的人臉圖像。

52、本公開第三方面的實(shí)施例提供了一種電子設(shè)備，該電子設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器和所述處理器之間互相通信連接，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)指令，所述處理器通過執(zhí)行所述計(jì)算機(jī)指令，從而執(zhí)行上述第一方面所述的人臉圖像超分辨率重建方法。

53、本公開第四方面的實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述第一方面所述的人臉圖像超分辨率重建方法。

54、本公開附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變的明顯，或通過本公開的實(shí)踐了解到。