本發(fā)明屬于物聯(lián)網(wǎng)隱私安全,尤其涉及一種基于生成對(duì)抗網(wǎng)絡(luò)的物聯(lián)網(wǎng)安全方法。
背景技術(shù):
1、聯(lián)邦學(xué)習(xí)(federated?learning,fl)是一種保護(hù)隱私分布式機(jī)器學(xué)習(xí)方法,旨在保證數(shù)據(jù)隱私的前提下,充分利用分布在多個(gè)客戶(hù)端的數(shù)據(jù)進(jìn)行模型訓(xùn)練。但在聯(lián)邦學(xué)習(xí)中存在著一個(gè)重要挑戰(zhàn),即數(shù)據(jù)的非獨(dú)立同分布(non-iid)問(wèn)題。由于參與聯(lián)邦學(xué)習(xí)的每個(gè)客戶(hù)端的數(shù)據(jù)在現(xiàn)實(shí)分布通常存在顯著差異,這種數(shù)據(jù)異構(gòu)性會(huì)導(dǎo)致全局模型在某些客戶(hù)端上的性能不佳。非獨(dú)立同分布的數(shù)據(jù)會(huì)使得模型更新的效果大相徑庭,從而影響全局模型的收斂速度和最終精度。而且這種由于數(shù)據(jù)異構(gòu)導(dǎo)致的劣化現(xiàn)象在神經(jīng)網(wǎng)絡(luò)模型中的分類(lèi)器中尤為明顯。因此,如何在保持?jǐn)?shù)據(jù)隱私的同時(shí),優(yōu)化由于數(shù)據(jù)非獨(dú)立同分布引起的分類(lèi)器劣化現(xiàn)象,提升聯(lián)邦學(xué)習(xí)框架的整體性能,是當(dāng)前急需解決的問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、為解決上述技術(shù)問(wèn)題,本發(fā)明提出了一種基于生成對(duì)抗網(wǎng)絡(luò)的物聯(lián)網(wǎng)安全方法,旨在不上傳客戶(hù)端原始數(shù)據(jù)的前提下,訓(xùn)練輕量化gan(生成對(duì)抗網(wǎng)絡(luò))來(lái)生成分類(lèi)器校準(zhǔn)特征,并在服務(wù)器端進(jìn)行重新訓(xùn)練分類(lèi)器,在實(shí)現(xiàn)物聯(lián)網(wǎng)隱私保護(hù)的前提下,大幅提升模型準(zhǔn)確率。
2、本發(fā)明提供了一種基于生成對(duì)抗網(wǎng)絡(luò)的物聯(lián)網(wǎng)安全方法,包括:
3、構(gòu)建聯(lián)邦學(xué)習(xí)模型,所述聯(lián)邦學(xué)習(xí)模型包括服務(wù)器和客戶(hù)端,基于服務(wù)端和客戶(hù)端對(duì)生成對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練,獲取訓(xùn)練結(jié)果,其中,對(duì)所述基于服務(wù)端和客戶(hù)端對(duì)生成對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練包括:
4、s1、獲取服務(wù)器端初始參數(shù);
5、s2、對(duì)所述初始參數(shù)進(jìn)行選擇,獲取客戶(hù)端特征數(shù)據(jù);
6、s3、利用客戶(hù)端特征數(shù)據(jù)對(duì)客戶(hù)端本地模型進(jìn)行訓(xùn)練,獲取訓(xùn)練結(jié)果;
7、s4、對(duì)所述初始參數(shù)和所述訓(xùn)練結(jié)果進(jìn)行聯(lián)邦聚合,獲取合成特征;
8、s5、基于所述合成特征對(duì)服務(wù)器端分類(lèi)器進(jìn)行訓(xùn)練,獲取當(dāng)前全局模型參數(shù);
9、s6、對(duì)所述當(dāng)前全局模型參數(shù)進(jìn)行選擇,重復(fù)步驟s2-s5,直至全局模型參數(shù)滿足預(yù)設(shè)條件,則終止迭代。
10、可選的,獲取服務(wù)器端初始參數(shù)包括:
11、對(duì)每個(gè)類(lèi)別的數(shù)據(jù)分別采用輕量化模型初始化gan模型參數(shù),獲取第一參數(shù);
12、在服務(wù)器端初始化全局模型參數(shù),獲取第二參數(shù);
13、基于所述第一參數(shù)和第二參數(shù),獲取所述服務(wù)器端初始參數(shù)。
14、可選的,對(duì)所述初始參數(shù)進(jìn)行選擇,獲取客戶(hù)端特征數(shù)據(jù)包括:
15、統(tǒng)計(jì)客戶(hù)端數(shù)據(jù)集中的數(shù)據(jù)種類(lèi),并結(jié)合閾值來(lái)對(duì)所述初始參數(shù)進(jìn)行選擇,獲取所述客戶(hù)端特征數(shù)據(jù)。
16、可選的,結(jié)合閾值來(lái)對(duì)所述初始參數(shù)進(jìn)行選擇包括:
17、若所述初始參數(shù)中某類(lèi)別的數(shù)據(jù)數(shù)量大于所述閾值時(shí),則添加到所述客戶(hù)端中的數(shù)據(jù)集中;
18、否則,不進(jìn)行數(shù)據(jù)添加。
19、可選的,獲取所述閾值的方法為:
20、
21、其中,θ為閾值,w0是服務(wù)器端初始化全局模型參數(shù),fu是具有參數(shù)u的特征提取器,d是特征向量維數(shù),cv是具有參數(shù)v的分類(lèi)器,是生成器生成的相應(yīng)類(lèi)別的合成特征
22、可選的,利用客戶(hù)端特征數(shù)據(jù)對(duì)客戶(hù)端本地模型進(jìn)行訓(xùn)練,獲取訓(xùn)練結(jié)果的方法為:
23、
24、其中,gj是此客戶(hù)端中類(lèi)別j通過(guò)本地特征提取器得到的特征數(shù)據(jù)集;xj是此客戶(hù)端中類(lèi)別j的全部原始數(shù)據(jù),是本地特征提取器,wkt+1是利用客戶(hù)端k訓(xùn)練得到的客戶(hù)端k在第t+1輪的本地模型參數(shù),ukt+1是本地特征提取器參數(shù),θ是閾值,di是將客戶(hù)端k中的屬于客戶(hù)端分配得到的類(lèi)別j的數(shù)據(jù)。
25、可選的,獲取所述合成特征的方法為:
26、
27、其中,z是數(shù)量為num_samples服從正態(tài)分布的噪聲組成的集合,是相應(yīng)類(lèi)別的合成特征,ksum是客戶(hù)端數(shù),wkt+1是利用客戶(hù)端k訓(xùn)練得到的客戶(hù)端k在第t+1輪的本地模型參數(shù)。
28、可選的,基于所述合成特征對(duì)服務(wù)器端分類(lèi)器進(jìn)行訓(xùn)練,獲取當(dāng)前全局模型參數(shù)包括:
29、基于所述合成特征對(duì)服務(wù)器端分類(lèi)器進(jìn)行訓(xùn)練,獲取訓(xùn)練后的分類(lèi)器參數(shù);
30、將所述分類(lèi)器參數(shù)和全局模型初始參數(shù)進(jìn)行加權(quán)聚合,獲取當(dāng)前全局模型參數(shù)。
31、可選的,將所述分類(lèi)器參數(shù)和全局模型初始參數(shù)進(jìn)行加權(quán)聚合的方法為:
32、vserver′=w1vserver+w2v
33、其中,w1是再訓(xùn)練后分類(lèi)器的權(quán)重系數(shù);w2是聯(lián)邦聚合后原始分類(lèi)器的權(quán)重系數(shù),vserver是服務(wù)器端的全局模型參數(shù),vserver′是更新后的全局模型參數(shù),v為參數(shù)向量。
34、與現(xiàn)有技術(shù)相比,本發(fā)明具有如下優(yōu)點(diǎn)和技術(shù)效果:
35、本發(fā)明旨在不上傳客戶(hù)端原始數(shù)據(jù)的前提下,訓(xùn)練輕量化gan(生成對(duì)抗網(wǎng)絡(luò))來(lái)生成分類(lèi)器校準(zhǔn)特征,并在服務(wù)器端進(jìn)行重新訓(xùn)練分類(lèi)器,在實(shí)現(xiàn)物聯(lián)網(wǎng)隱私保護(hù)的前提下,大幅提升模型準(zhǔn)確率。
1.一種基于生成對(duì)抗網(wǎng)絡(luò)的物聯(lián)網(wǎng)安全方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的一種基于生成對(duì)抗網(wǎng)絡(luò)的物聯(lián)網(wǎng)安全方法,其特征在于,獲取服務(wù)器端初始參數(shù)包括:
3.根據(jù)權(quán)利要求1所述的一種基于生成對(duì)抗網(wǎng)絡(luò)的物聯(lián)網(wǎng)安全方法,其特征在于,對(duì)所述初始參數(shù)進(jìn)行選擇,獲取客戶(hù)端特征數(shù)據(jù)包括:
4.根據(jù)權(quán)利要求3所述的一種基于生成對(duì)抗網(wǎng)絡(luò)的物聯(lián)網(wǎng)安全方法,其特征在于,結(jié)合閾值來(lái)對(duì)所述初始參數(shù)進(jìn)行選擇包括:
5.根據(jù)權(quán)利要求3所述的一種基于生成對(duì)抗網(wǎng)絡(luò)的物聯(lián)網(wǎng)安全方法,其特征在于,獲取所述閾值的方法為:
6.根據(jù)權(quán)利要求1所述的一種基于生成對(duì)抗網(wǎng)絡(luò)的物聯(lián)網(wǎng)安全方法,其特征在于,利用客戶(hù)端特征數(shù)據(jù)對(duì)客戶(hù)端本地模型進(jìn)行訓(xùn)練,獲取訓(xùn)練結(jié)果的方法為:
7.根據(jù)權(quán)利要求1所述的一種基于生成對(duì)抗網(wǎng)絡(luò)的物聯(lián)網(wǎng)安全方法,其特征在于,獲取所述合成特征的方法為:
8.根據(jù)權(quán)利要求1所述的一種基于生成對(duì)抗網(wǎng)絡(luò)的物聯(lián)網(wǎng)安全方法,其特征在于,基于所述合成特征對(duì)服務(wù)器端分類(lèi)器進(jìn)行訓(xùn)練,獲取當(dāng)前全局模型參數(shù)包括:
9.根據(jù)權(quán)利要求8所述的一種基于生成對(duì)抗網(wǎng)絡(luò)的物聯(lián)網(wǎng)安全方法,其特征在于,將所述分類(lèi)器參數(shù)和全局模型初始參數(shù)進(jìn)行加權(quán)聚合的方法為: