本發(fā)明涉及圖像處理，具體地講，涉及一種基于頻率限制的雙重人臉偽造主動(dòng)防御方法。

背景技術(shù)：

1、近年來，深度生成模型的迅猛發(fā)展極大地推動(dòng)了人臉深度偽造技術(shù)，尤其是deepfake等模型的廣泛應(yīng)用。這種技術(shù)能夠?qū)θ宋锏拿娌繄D像或視頻進(jìn)行精準(zhǔn)的修改和操控。從積極的一面來看，它在電影特效和娛樂產(chǎn)業(yè)中發(fā)揮了重要作用，為人們的娛樂生活增添了色彩，也推動(dòng)了網(wǎng)絡(luò)多媒體內(nèi)容的廣泛傳播。然而，這種技術(shù)也被用于一些可能產(chǎn)生負(fù)面影響的場(chǎng)合，對(duì)個(gè)人的名譽(yù)權(quán)和肖像權(quán)構(gòu)成了侵犯，并對(duì)社會(huì)秩序構(gòu)成了嚴(yán)重威脅。因此，研究如何防御深度偽造技術(shù)變得日益重要。

2、現(xiàn)有的防御技術(shù)主要分為被動(dòng)檢測(cè)和主動(dòng)防御，而被動(dòng)檢測(cè)的方式無法消除偽造人臉在廣泛傳播中造成的影響，難以做到“事前防御”，因此主動(dòng)防御的思想得到了研究人員的廣泛關(guān)注。從防御目標(biāo)的角度來說，深度偽造主動(dòng)防御可以分為基于主動(dòng)干擾的防御技術(shù)和基于主動(dòng)取證的防御技術(shù)。其中基于主動(dòng)干擾的防御技術(shù)通過注入的擾動(dòng)破壞深度偽造模型的偽造性能，基于主動(dòng)取證的防御技術(shù)不要求破壞深度偽造模型的性能，而是通過添加的水印信息實(shí)現(xiàn)對(duì)成功偽造圖像的溯源或認(rèn)證。

3、現(xiàn)有技術(shù)的不足：

4、???1.基于主動(dòng)取證的防御方法通過水印來追蹤篡改圖像的起源，但它無法阻止篡改行為。

5、2.利用主動(dòng)干擾來干擾偽造過程，雖然這種方法能夠擾亂偽造圖像的生成，但它并不提供圖像溯源的能力。

6、3.目前的主動(dòng)防御方法大多是在圖像的傳統(tǒng)空間進(jìn)行操作，篡改者很容易發(fā)現(xiàn)保護(hù)者操作的痕跡并進(jìn)行反向去除。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題是提供一種基于頻率限制的雙重人臉偽造主動(dòng)防御方法，通過結(jié)合信息隱藏技術(shù)與生成對(duì)抗網(wǎng)絡(luò)(gan)，將用于溯源的水印信息與用于干擾篡改模型的擾動(dòng)信息同時(shí)嵌入要保護(hù)的人臉圖像中，結(jié)合這兩種主動(dòng)防御方法的優(yōu)勢(shì)，以達(dá)到更完善的人臉防御效果。

2、本發(fā)明采用如下技術(shù)方案實(shí)現(xiàn)發(fā)明目的：

3、一種基于頻率限制的雙重人臉偽造主動(dòng)防御方法，其特征在于，包括以下步驟：

4、s1：構(gòu)造編碼器-解碼器結(jié)構(gòu)；

5、s2：圖像預(yù)處理與水印信息預(yù)處理；

6、s3：圖像域的轉(zhuǎn)換；

7、s4：頻率限制與掩碼機(jī)制；

8、s5：對(duì)抗性擾動(dòng)添加；

9、使用雙曲正切函數(shù)作為一種非線性擾動(dòng)方法進(jìn)行模擬噪聲干擾，在圖像中添加經(jīng)過雙曲正切函數(shù)處理的擾動(dòng)；

10、s6：轉(zhuǎn)為rgb域與圖像信息補(bǔ)償；

11、s7：水印信息融合；

12、將添加擾動(dòng)后的圖像轉(zhuǎn)換為rgb域后，將之前預(yù)處理的水印信息沿指定的維度通道相連接，從而得到一個(gè)同時(shí)添加對(duì)抗性擾動(dòng)信息與水印信息的對(duì)抗樣本；

13、s8：將真實(shí)圖像與編碼圖像分別傳遞給生成對(duì)抗網(wǎng)絡(luò)的鑒別器，得到鑒別器對(duì)這些圖像的標(biāo)簽預(yù)測(cè)，然后使用二元交叉熵?fù)p失函數(shù)計(jì)算判別器的損失；

14、s9：經(jīng)過鑒別器對(duì)抗訓(xùn)練后的對(duì)抗樣本圖像，輸入到解碼器中，經(jīng)過一個(gè)包括卷積層、一個(gè)批量歸一化層及一個(gè)relu激活函數(shù)的卷積層進(jìn)行放大，然后使用senet這一深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)進(jìn)一步提取水印信息，最后使用3×3卷積層將多通道張量轉(zhuǎn)換為1通道，并對(duì)其進(jìn)行重構(gòu)，得到解碼后的水印信息；

15、s10：總體訓(xùn)練的損失函數(shù)，包括編碼器損失、鑒別器損失及解碼器損失。

16、作為本技術(shù)方案的進(jìn)一步限定，所述s1的具體步驟為：

17、s11：定義一個(gè)名為encoder的編碼器模塊，該模塊接受?rgb載體圖像與原始水印信息w，載體圖像使用壓縮和激勵(lì)網(wǎng)絡(luò)經(jīng)過特征提取后形成特征圖，將提取的特征圖從rgb域轉(zhuǎn)為頻域，并使用離散余弦變換濾波器區(qū)分圖像的低頻區(qū)域與高頻區(qū)域，使用一個(gè)截至頻率cutoff，將高于此頻率的區(qū)域定義為高頻區(qū)域；

18、s12：將定義的高頻區(qū)域用于主動(dòng)干擾的添加域，并設(shè)計(jì)一個(gè)掩碼機(jī)制，將此區(qū)域的掩碼設(shè)置為1，并使用雙曲正切函數(shù)作為非線性擾動(dòng)與掩碼相乘，然后對(duì)添加擾動(dòng)后的圖像進(jìn)行逆dct變換；

19、s13：原始水印信息w經(jīng)過一系列的特征處理后，從通道維度上與此時(shí)處理后的圖像相連接，從而得到一個(gè)同時(shí)嵌入水印信息與擾動(dòng)信息的人臉圖像，圖像經(jīng)過一個(gè)對(duì)抗鑒別器a，使用解碼器decoder從含水印和的干擾圖像中解碼水印信息用于溯源。

20、作為本技術(shù)方案的進(jìn)一步限定，所述s2的具體步驟為：

21、s21：將輸入的圖像經(jīng)過一個(gè)卷積層、批量歸一化層及relu激活函數(shù)層初步提取圖像特征；

22、s22：將得到的特征圖使用senet深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)進(jìn)一步提取圖像特征，先對(duì)一維水印信息進(jìn)行重塑，將其重塑為二維圖像格式，之后使用一個(gè)3×3的卷積層放大；

23、s23：進(jìn)行批量歸一化和relu激活，再由幾個(gè)轉(zhuǎn)置卷積層擴(kuò)展為與載體圖像具有相同高度和寬度的特征圖；

24、s24：最后的特征圖被senet塊進(jìn)行特征提取。

25、作為本技術(shù)方案的進(jìn)一步限定，所述s3的具體步驟為：

26、完成特征預(yù)處理后的圖像使用離散余弦變換，將圖像從空間域轉(zhuǎn)換到頻率域，二維?dct?公式如下：

27、（1）

28、其中：是原始圖像的圖像像素值；

29、是?dct?變換后的系數(shù)；

30、m和n分別是圖像的寬度和高度；

31、u和v是頻率變量。

32、作為本技術(shù)方案的進(jìn)一步限定，所述s4的具體步驟為：

33、s41：設(shè)計(jì)頻率網(wǎng)格，對(duì)于頻率網(wǎng)格中的每個(gè)點(diǎn)，其頻率值可以通過以下公式計(jì)算：

34、（2）

35、其中，和分別是點(diǎn)在水平和垂直方向上的位置索引，而表示該點(diǎn)的頻率值；

36、s42：設(shè)計(jì)一個(gè)高通濾波器；

37、s43：使用掩碼機(jī)制，其中非零值表示保留的區(qū)域，而零值表示需要被隱藏或修改的區(qū)域，在這里，將高頻區(qū)域掩碼為1，低頻區(qū)域掩碼為0。高通濾波器可表示為：

38、（3）

39、其中：表示此坐標(biāo)的頻率值；

40、表示經(jīng)過高通濾波器后篩選出的特定頻率值并對(duì)其進(jìn)行掩碼；

41、?cuttof是給定的截止頻率。

42、作為本技術(shù)方案的進(jìn)一步限定，所述s6的具體步驟為：

43、s61：對(duì)添加擾動(dòng)后的頻率轉(zhuǎn)換（dct）圖像進(jìn)行逆頻率轉(zhuǎn)換（dct）變換，得到處理后的圖像，逆頻率轉(zhuǎn)換（dct）的數(shù)學(xué)公式為：

44、（4）

45、其中：表示恢復(fù)后的圖像像素值；

46、是?dct?變換后的系數(shù)；

47、m和n分別是圖像的寬度和高度；

48、u和v是頻率變量；

49、s62：引入頻域注意力機(jī)制在圖像域轉(zhuǎn)換的整個(gè)過程中進(jìn)行信息補(bǔ)償，頻域注意力機(jī)制通過結(jié)合頻域和通道注意力機(jī)制，提供了一種新的視角來增強(qiáng)神經(jīng)網(wǎng)絡(luò)的特征表示能力，這種方法利用了圖像的頻率信息，使得網(wǎng)絡(luò)能夠更加靈活地處理不同的視覺任務(wù)，其數(shù)學(xué)表達(dá)公式如下：

50、設(shè)為輸入特征圖的頻域表示，和分別為通道注意力和頻域注意力的權(quán)重，那么頻域注意力機(jī)制的輸出可表示為：

51、（5）

52、其中：表示頻率轉(zhuǎn)換(dct)；

53、表示頻率逆轉(zhuǎn)換；

54、表示逐元素乘積；

55、s63：對(duì)于頻域注意力機(jī)制中離散余弦變換濾波器的構(gòu)建，做相應(yīng)的修改，簡(jiǎn)單來說，設(shè)計(jì)一個(gè)與輸入特征圖的通道數(shù)相同具有相同大小，并且通道數(shù)可以調(diào)節(jié)的濾波器，該濾波器可根據(jù)指定的方法選擇性地強(qiáng)調(diào)或抑制圖像的特定頻率成分，提高模型對(duì)圖像中重要信息的敏感性，從而提高性能，該濾波器的計(jì)算公式如下：

56、（6）

57、其中：是頻率轉(zhuǎn)換濾波器通道數(shù)的大??；

58、和是頻率索引；由注意力網(wǎng)絡(luò)對(duì)輸入的特征圖進(jìn)行計(jì)算后決定；

59、和是空間索引，從?0到。

60、作為本技術(shù)方案的進(jìn)一步限定，所述s8中對(duì)抗鑒別器是由幾個(gè)3×3的卷積層和一個(gè)全局平均池化層組成，運(yùn)行機(jī)制如下：將真實(shí)圖像與編碼圖像分別傳遞給鑒別器，得到鑒別器對(duì)這些圖像的標(biāo)簽預(yù)測(cè)，然后使用二元交叉熵?fù)p失函數(shù)計(jì)算判別器的損失，二元交叉熵?fù)p失函數(shù)用于計(jì)算預(yù)測(cè)值和實(shí)際標(biāo)簽之間的差異，公式如下：

61、（7）

62、其中：是實(shí)際標(biāo)簽；

63、是預(yù)測(cè)值。

64、作為本技術(shù)方案的進(jìn)一步限定，所述s10的具體流程為：

65、s101：為了確保經(jīng)過高通濾波和擾動(dòng)后的圖像能夠盡可能地保留原始圖像的重要特征，使用均方誤差損失來衡量原始圖像和處理后圖像之間的差異；

66、（8）

67、其中：是原始圖像；

68、是經(jīng)過高通濾波和擾動(dòng)后的圖像；

69、是像素總數(shù)；

70、s102：鑒別器損失

71、鑒別器的損失主要是通過更新參數(shù)來衡量添加完與水印信息的圖像與原始圖像的差異：

72、（9）

73、其中：表示原始水印信息；表示嵌入了水印信息與對(duì)抗性擾動(dòng)后的人臉圖像樣本；

74、表示只添加了對(duì)抗性擾動(dòng)的人臉圖像樣本；

75、s103：解碼器損失

76、解碼器的目的是通過更新參數(shù)來使得和之間的l2距離最??；

77、（10）

78、其中： mse為均方誤差；損失函數(shù)是機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)中常用的一種損失函數(shù)，特別是在回歸問題中，它衡量的是模型預(yù)測(cè)值與實(shí)際值之間的差異的平均值，在這里，mse函數(shù)用來衡量原始水印信息與解碼后的水印信息之間的相似度；

79、是原始水印信息；

80、是解碼后的水印信息；

81、s104：損失函數(shù)為：

82、（11）

83、其中：、及分別是各項(xiàng)損失的權(quán)重。

84、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)和積極效果是：

85、本發(fā)明經(jīng)過編碼器-解碼器結(jié)構(gòu)的一系列操作后，得到了一個(gè)同時(shí)嵌入水印信息與擾動(dòng)信息的人臉圖像，水印信息可以用來作為版權(quán)溯源的工具，干擾信息使得圖像在經(jīng)過生成對(duì)抗網(wǎng)絡(luò)操作時(shí)會(huì)干擾模型輸出得到扭曲的人臉圖像，從而達(dá)到雙重防御的目的。本發(fā)明在本結(jié)構(gòu)中引入了頻域注意力機(jī)制，在圖像域轉(zhuǎn)換的過程中對(duì)損失的信息進(jìn)行補(bǔ)償。這樣做可以增強(qiáng)進(jìn)行相關(guān)操作后所生成的對(duì)抗樣本的視覺質(zhì)量。本發(fā)明將圖像從傳統(tǒng)的空間域轉(zhuǎn)為其他圖像區(qū)域進(jìn)行操作，以達(dá)到驗(yàn)證信息的良好隱蔽性。使得篡改者很難發(fā)現(xiàn)干擾的來源，增加了篡改者進(jìn)行反向防御的難度。