本技術(shù)涉及計(jì)算機(jī),特別是涉及一種檢測(cè)模型生成方法及系統(tǒng)。
背景技術(shù):
1、現(xiàn)有的偽造檢測(cè)技術(shù)往往缺乏豐富的樣本數(shù)據(jù),尤其是針對(duì)不同應(yīng)用場(chǎng)景的深度偽造數(shù)據(jù),這限制了模型的泛化能力和檢測(cè)效果?,F(xiàn)有的偽造檢測(cè)技術(shù)在不同應(yīng)用場(chǎng)景下的表現(xiàn)不一,缺乏針對(duì)特定場(chǎng)景的微調(diào)和優(yōu)化,導(dǎo)致在實(shí)際應(yīng)用中效果不佳?,F(xiàn)有的偽造檢測(cè)技術(shù)通常只依賴(lài)單一的特征分析方法,如圖像特征或深度學(xué)習(xí)特征,未能充分利用多種特征的組合優(yōu)勢(shì),影響了檢測(cè)的準(zhǔn)確性和魯棒性。
技術(shù)實(shí)現(xiàn)思路
1、基于上述問(wèn)題,本技術(shù)提供了一種檢測(cè)模型生成方法及系統(tǒng)。
2、本技術(shù)實(shí)施例公開(kāi)了如下技術(shù)方案:
3、第一方面,提供了一種檢測(cè)模型生成方法,所述方法包括:
4、獲取目標(biāo)數(shù)據(jù)集,所述目標(biāo)數(shù)據(jù)集包括視覺(jué)深度偽造數(shù)據(jù)和真實(shí)數(shù)據(jù),所述視覺(jué)深度偽造數(shù)據(jù)包括對(duì)應(yīng)標(biāo)注的數(shù)據(jù)屬性信息和偽造操作信息;
5、對(duì)所述目標(biāo)數(shù)據(jù)集進(jìn)行特征提取,得到第一特征集,所述第一特征集包括基于圖像特征、預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)、深偽視頻缺陷、深偽圖像缺陷、圖像數(shù)字特征和視頻數(shù)字特征中至少一項(xiàng),對(duì)目標(biāo)數(shù)據(jù)集進(jìn)行特征提取得到的結(jié)果;
6、對(duì)所述第一特征集進(jìn)行特征選擇,得到第二特征集;
7、基于第二特征集,使用預(yù)設(shè)損失函數(shù)、預(yù)設(shè)優(yōu)化器和預(yù)設(shè)模型參數(shù),結(jié)合預(yù)設(shè)策略訓(xùn)練得到用于檢測(cè)視覺(jué)深度偽造內(nèi)容的檢測(cè)模型,所述預(yù)設(shè)策略用于表征在預(yù)設(shè)數(shù)量個(gè)訓(xùn)練周期內(nèi),模型性能提升幅度小于預(yù)設(shè)閾值時(shí)停止訓(xùn)練。
8、在一種可能的實(shí)現(xiàn)方式中,所述獲取目標(biāo)數(shù)據(jù)集,包括:
9、從目標(biāo)數(shù)據(jù)渠道獲取真實(shí)數(shù)據(jù)和偽造數(shù)據(jù)樣本;
10、基于獲取到的偽造數(shù)據(jù)樣本,生成視覺(jué)深度偽造數(shù)據(jù);
11、結(jié)合獲取到的真實(shí)數(shù)據(jù)和生成的視覺(jué)深度偽造數(shù)據(jù),得到預(yù)備數(shù)據(jù)集;
12、對(duì)所述預(yù)備數(shù)據(jù)集依次執(zhí)行數(shù)據(jù)增強(qiáng)操作和數(shù)據(jù)過(guò)濾操作,得到目標(biāo)數(shù)據(jù)集,所述數(shù)據(jù)增強(qiáng)操作包括對(duì)所述預(yù)備數(shù)據(jù)集中的數(shù)據(jù)樣本執(zhí)行旋轉(zhuǎn)、縮放、翻轉(zhuǎn)、裁剪、顏色變換和添加噪聲中的至少一種;所述數(shù)據(jù)過(guò)濾操作包括基于統(tǒng)計(jì)分析、聚類(lèi)分析或機(jī)器學(xué)習(xí)算法中的至少一種對(duì)所述目標(biāo)數(shù)據(jù)集中的數(shù)據(jù)樣本進(jìn)行篩選,以識(shí)別并排除不符合預(yù)設(shè)質(zhì)量標(biāo)準(zhǔn)的數(shù)據(jù)樣本。
13、在一種可能的實(shí)現(xiàn)方式中,所述對(duì)所述第一特征集進(jìn)行特征選擇,得到第二特征集,包括:
14、基于方差篩選和相關(guān)性分析,對(duì)所述第一特征集中重要性不符合預(yù)設(shè)重要性標(biāo)準(zhǔn)的特征進(jìn)行剔除;對(duì)所述第一特征集中的特征進(jìn)行降維處理;基于遞歸特征消除,對(duì)所述第一特征集中的特征進(jìn)行剔除,得到第二特征集。
15、在一種可能的實(shí)現(xiàn)方式中,所述第一特征集包括基于圖像特征進(jìn)行特征提取得到的時(shí)域特征、空域特征和頻域特征,所述對(duì)所述目標(biāo)數(shù)據(jù)集進(jìn)行特征提取,得到第一特征集,包括:
16、通過(guò)分析連續(xù)幀之間的像素級(jí)差異信息、物體的運(yùn)動(dòng)模式和運(yùn)動(dòng)規(guī)律,確定所述目標(biāo)數(shù)據(jù)集的時(shí)域特征;通過(guò)分析圖像的紋理信息和邊緣信息,確定所述目標(biāo)數(shù)據(jù)集的空域特征;將所述目標(biāo)數(shù)據(jù)集中的圖像轉(zhuǎn)化為頻域,分析所述目標(biāo)數(shù)據(jù)集中的圖像的頻譜特征和多尺度特征,確定所述目標(biāo)數(shù)據(jù)集的頻域特征。
17、在一種可能的實(shí)現(xiàn)方式中,所述第一特征集包括深偽視頻缺陷的特征提取得到的人臉特征和物體運(yùn)行特征,所述對(duì)所述目標(biāo)數(shù)據(jù)集進(jìn)行特征提取,得到第一特征集,包括:
18、基于眨眼頻率、頭部運(yùn)動(dòng)信息、人臉表情與上下文信息的一致性,確定所述目標(biāo)數(shù)據(jù)集的人臉特征;基于物體運(yùn)行軌跡和物體遮擋過(guò)度信息,確定所述物體運(yùn)行特征。
19、在一種可能的實(shí)現(xiàn)方式中,所述第一特征集包括基于深偽圖像缺陷的特征提取得到的拼接痕跡特征和復(fù)制粘貼痕跡特征,所述對(duì)所述目標(biāo)數(shù)據(jù)集進(jìn)行特征提取,得到第一特征集,包括:
20、基于圖像不同區(qū)域的顏色顏色是否符合預(yù)設(shè)一致性條件、圖像不同區(qū)域的紋理是否符合預(yù)設(shè)一致性條件、圖像不同區(qū)域的光照是否符合預(yù)設(shè)一致性條件、圖像中的幾何變換痕跡信息,確定所述目標(biāo)數(shù)據(jù)集的拼接痕跡特征;檢測(cè)圖像中是否存在重復(fù)的紋理區(qū)域,確定所述目標(biāo)數(shù)據(jù)集的復(fù)制粘貼痕跡特征。
21、在一種可能的實(shí)現(xiàn)方式中,所述第一特征集包括基于圖像數(shù)字特征提取得到的相機(jī)特征、壓縮痕跡特征和元數(shù)據(jù)特征,所述對(duì)所述目標(biāo)數(shù)據(jù)集進(jìn)行特征提取,得到第一特征集,包括:
22、基于圖像中的傳感器噪聲信息和圖像是否存在鏡頭畸變,確定所述目標(biāo)數(shù)據(jù)集的相機(jī)特征;基于圖像中的量化誤差和塊效應(yīng),確定所述目標(biāo)數(shù)據(jù)集的壓縮痕跡特征;基于圖像或視頻的元數(shù)據(jù)信息,確定所述目標(biāo)數(shù)據(jù)集的元數(shù)據(jù)特征。
23、在一種可能的實(shí)現(xiàn)方式中,所述第一特征集包括基于視頻數(shù)字特征提取得到的幀率特征、編碼格式特征和時(shí)間戳特征,所述對(duì)所述目標(biāo)數(shù)據(jù)集進(jìn)行特征提取,得到第一特征集,包括:
24、判斷視頻幀率是否符合預(yù)設(shè)穩(wěn)定條件,確定所述目標(biāo)數(shù)據(jù)集的幀率特征;基于視頻的編碼格式,確定所述目標(biāo)數(shù)據(jù)集的編碼格式特征;判斷視頻的時(shí)間戳是否符合預(yù)設(shè)連續(xù)條件,確定所述目標(biāo)數(shù)據(jù)集的時(shí)間戳特征。
25、在一種可能的實(shí)現(xiàn)方式中,所述方法還包括:
26、獲取檢測(cè)場(chǎng)景需求信息,基于所述檢測(cè)場(chǎng)景需求信息對(duì)所述檢測(cè)模型的模型參數(shù)進(jìn)行調(diào)整,所述模型參數(shù)用于平衡所述檢測(cè)模型的誤報(bào)率和漏報(bào)率。
27、第二方面,提供了一種檢測(cè)模型生成系統(tǒng),包括:
28、獲取單元,用于獲取目標(biāo)數(shù)據(jù)集,所述目標(biāo)數(shù)據(jù)集包括視覺(jué)深度偽造數(shù)據(jù)和真實(shí)數(shù)據(jù),所述視覺(jué)深度偽造數(shù)據(jù)包括對(duì)應(yīng)標(biāo)注的數(shù)據(jù)屬性信息和偽造操作信息;
29、提取單元,用于對(duì)所述目標(biāo)數(shù)據(jù)集進(jìn)行特征提取,得到第一特征集,所述第一特征集包括基于圖像特征、預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)、深偽視頻缺陷、深偽圖像缺陷、圖像數(shù)字特征和視頻數(shù)字特征中至少一項(xiàng),對(duì)目標(biāo)數(shù)據(jù)集進(jìn)行特征提取得到的結(jié)果;
30、選擇單元,用于對(duì)所述第一特征集進(jìn)行特征選擇,得到第二特征集;
31、訓(xùn)練單元,用于基于第二特征集,使用預(yù)設(shè)損失函數(shù)、預(yù)設(shè)優(yōu)化器和預(yù)設(shè)模型參數(shù),結(jié)合預(yù)設(shè)策略訓(xùn)練得到用于檢測(cè)視覺(jué)深度偽造內(nèi)容的檢測(cè)模型,所述預(yù)設(shè)策略用于表征在預(yù)設(shè)數(shù)量個(gè)訓(xùn)練周期內(nèi),模型性能提升幅度小于預(yù)設(shè)閾值時(shí)停止訓(xùn)練。
32、相較于現(xiàn)有技術(shù),本技術(shù)具有以下有益效果:
33、獲取目標(biāo)數(shù)據(jù)集,所述目標(biāo)數(shù)據(jù)集包括視覺(jué)深度偽造數(shù)據(jù)和真實(shí)數(shù)據(jù),所述視覺(jué)深度偽造數(shù)據(jù)包括對(duì)應(yīng)標(biāo)注的數(shù)據(jù)屬性信息和偽造操作信息;對(duì)所述目標(biāo)數(shù)據(jù)集進(jìn)行特征提取,得到第一特征集,所述第一特征集包括基于圖像特征、預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)、深偽視頻缺陷、深偽圖像缺陷、圖像數(shù)字特征和視頻數(shù)字特征中至少一項(xiàng),對(duì)目標(biāo)數(shù)據(jù)集進(jìn)行特征提取得到的結(jié)果;對(duì)所述第一特征集進(jìn)行特征選擇,得到第二特征集;基于第二特征集,使用預(yù)設(shè)損失函數(shù)、預(yù)設(shè)優(yōu)化器和預(yù)設(shè)模型參數(shù),結(jié)合預(yù)設(shè)策略訓(xùn)練得到用于檢測(cè)視覺(jué)深度偽造內(nèi)容的檢測(cè)模型,所述預(yù)設(shè)策略用于表征在預(yù)設(shè)數(shù)量個(gè)訓(xùn)練周期內(nèi),模型性能提升幅度小于預(yù)設(shè)閾值時(shí)停止訓(xùn)練。通過(guò)對(duì)深度偽造數(shù)據(jù)的全方位特征提取與分析,并結(jié)合豐富的樣本訓(xùn)練和針對(duì)不同應(yīng)用場(chǎng)景的微調(diào),實(shí)現(xiàn)對(duì)偽造內(nèi)容的高精度檢測(cè)。