本發(fā)明屬于聯(lián)邦學(xué)習(xí)，具體涉及一種利用數(shù)據(jù)增強實現(xiàn)聯(lián)邦域泛化方法及系統(tǒng)。
背景技術(shù)：
：：1、近年來，聯(lián)邦學(xué)習(xí)(federated?learning,fl)已成為一種廣受歡迎的分布式學(xué)習(xí)范式，具有數(shù)據(jù)隱私保護的優(yōu)點。在聯(lián)邦學(xué)習(xí)中，分布式客戶端本地保留數(shù)據(jù)，不在客戶端之間共享數(shù)據(jù)。客戶端協(xié)作訓(xùn)練全局模型，服務(wù)器不參與具體的數(shù)據(jù)傳輸。在每個通信輪次中，每個客戶端在本地數(shù)據(jù)上訓(xùn)練本地模型，并將其上傳到服務(wù)器。然后，服務(wù)器聚合信息以獲得全局模型，并將其分發(fā)到每個客戶端。通過這種方式，全局模型在參與訓(xùn)練的客戶端上表現(xiàn)良好。然而，在實際場景中，聯(lián)邦訓(xùn)練模型可能會被部署到未參與訓(xùn)練且存在域偏移的客戶端。這對訓(xùn)練模型的泛化能力提出了挑戰(zhàn)，這種挑戰(zhàn)被稱為聯(lián)邦域泛化問題(feddg)。2、聯(lián)邦域泛化問題已引起廣泛關(guān)注。大多數(shù)有前景的方法嘗試從不同角度對齊本地模型的行為，例如：fedadg對齊特征分布，fediir對齊梯度來學(xué)習(xí)域不變表示，stablefdg使不同客戶端之間的風(fēng)格共享。與這些方法不同的是，專注于從損失曲面平坦度的角度解決全局模型的優(yōu)化問題。文獻中有豐富的研究探討了損失曲面平坦度與模型泛化能力之間的聯(lián)系。此外，實證結(jié)果表明，在許多中心化任務(wù)中，尋求平坦極小值的有效性。雖然在聯(lián)邦學(xué)習(xí)中，由于數(shù)據(jù)隱私問題，直接獲取全局?jǐn)?shù)據(jù)的可行性較低，許多研究通過在局部數(shù)據(jù)上尋求平坦極小值來規(guī)避這一問題，但這不可避免地導(dǎo)致次優(yōu)解決方案。為了解決這一問題，目前急需一種新算法，旨在接近全局模型的全局平坦極小值(gfm)。技術(shù)實現(xiàn)思路1、本發(fā)明的目的是針對現(xiàn)有技術(shù)中的缺陷，提出一種利用數(shù)據(jù)增強實現(xiàn)聯(lián)邦域泛化方法及系統(tǒng)。2、本發(fā)明的一種利用數(shù)據(jù)增強實現(xiàn)聯(lián)邦域泛化方法，用于聯(lián)邦模型的訓(xùn)練階段，進行多輪服務(wù)端-客戶端通信，每輪通信包括如下步驟：3、s1、服務(wù)器端將全局模型下發(fā)到各客戶端；4、s2、客戶端基于本地數(shù)據(jù)上進行對抗增強訓(xùn)練，即迭代進行s2.1及s2.2；5、s2.1、客戶端結(jié)合全局模型進行全局模型約束的對抗數(shù)據(jù)增強；6、s2.2、客戶端在增強數(shù)據(jù)上訓(xùn)練局部模型；7、s3、客戶端將本地模型上傳到服務(wù)器端進行聚合。8、s1具體包括如下步驟：9、全局模型為淺層卷積神經(jīng)網(wǎng)絡(luò)、resnet18網(wǎng)絡(luò)或resnet50；如果是第一輪訓(xùn)練，將全局模型參數(shù)θ初始化為θ0：對于淺層卷積神經(jīng)網(wǎng)絡(luò)，其參數(shù)采用kaiming初始化方法；對于resnet18/resnet50網(wǎng)絡(luò)，可使用imagenet預(yù)訓(xùn)練參數(shù)進行初始化；否則，假設(shè)為第r輪訓(xùn)練，服務(wù)器根據(jù)通訊網(wǎng)絡(luò)下發(fā)全局模型參數(shù)θr-1到各客戶端上。10、s2具體包括如下步驟：11、假設(shè)有m個客戶端，此時為第r輪訓(xùn)練，對于任一客戶端i，初始化本地模型參數(shù)為步驟s1中下發(fā)的模型參數(shù)：如果是第一輪訓(xùn)練，采用kaiming方法初始化數(shù)據(jù)增廣網(wǎng)絡(luò)參數(shù)φi，否則采用上一輪結(jié)束時的參數(shù)φi作為該輪參數(shù)φi；12、迭代進行步驟s2.1及s2.2，優(yōu)化增廣網(wǎng)絡(luò)參數(shù)φi及本地模型參數(shù)其中每進行1次步驟s2.1，進行c次步驟s2.2；將進行步驟s2.1之后得到的參數(shù)φi作為步驟s2.2本地模型訓(xùn)練時的增廣網(wǎng)絡(luò)參數(shù)，將進行步驟s2.2之后的本地模型參數(shù)作為步驟s2.1的中計算損失的本地模型參數(shù)。13、s2.1具體包括如下步驟：14、使用以下優(yōu)化目標(biāo)對增廣網(wǎng)絡(luò)a(·,φi)進行優(yōu)化：15、16、其中，為客戶端i保留的局部數(shù)據(jù)集，(x,y)為其中具體的樣本和標(biāo)簽，為本地模型，f(·；θr-1)為全局模型，為交叉熵?fù)p失。17、s2.2具體包括如下步驟：18、通過利用步驟s2.1得到的增廣網(wǎng)絡(luò)a(·,φi)，增強本地數(shù)據(jù)集得到a(di；φi)作為全局?jǐn)?shù)據(jù)的替代；采用平坦感知優(yōu)化方法sam在全局?jǐn)?shù)據(jù)的替代a(di；φi)上優(yōu)化本地模型首先，計算梯度增長最快的方向，并相應(yīng)擾動網(wǎng)絡(luò)參數(shù)：19、20、其中，γ是擾動距離，隨后，在擾動過的模型上計算梯度，并在原參數(shù)上進行梯度下降優(yōu)化：21、22、s3具體包括如下步驟：23、在完成通訊輪次r之后，各客戶端o將本地模型參數(shù)通過通訊網(wǎng)絡(luò)上傳到服務(wù)器端，在服務(wù)器端進行聚合得到新的全局模型θr：24、25、其中，pi為模型聚合系數(shù)。26、本發(fā)明還涉及一種利用數(shù)據(jù)增強實現(xiàn)聯(lián)邦域泛化系統(tǒng)，包括一計算機模塊，該模塊應(yīng)用上述的利用數(shù)據(jù)增強實現(xiàn)聯(lián)邦域泛化方法。27、有益效果28、本發(fā)明的方法，用于在聯(lián)邦領(lǐng)域泛化設(shè)置中尋找全局平坦的極小值。通過將其視為最小化全局模型在全局?jǐn)?shù)據(jù)分布上的魯棒風(fēng)險的上界，可以解釋整個算法。具體來說，提出了全局模型約束的對抗性數(shù)據(jù)增強策略來尋找全局?jǐn)?shù)據(jù)的替代，并使用敏銳度感知最小化來追求更平坦的極小值。平坦度測量和損失曲面可視化實驗驗證了gfm所找到的全局模型比fedavg和尋求局部平坦性的方法具有更平坦的極小值。此外，在四個feddg基準(zhǔn)上的大量實驗證實了gfm在與先前工作比較或結(jié)合時性能的提高。技術(shù)特征：1.一種利用數(shù)據(jù)增強實現(xiàn)聯(lián)邦域泛化方法，所述方法用于聯(lián)邦模型的訓(xùn)練階段，進行多輪服務(wù)端-客戶端通信，每輪通信包括如下步驟：2.根據(jù)權(quán)利要求1所述的利用數(shù)據(jù)增強實現(xiàn)聯(lián)邦域泛化的方法，其特征在于，s1具體包括如下步驟：3.根據(jù)權(quán)利要求1所述的利用數(shù)據(jù)增強實現(xiàn)聯(lián)邦域泛化的方法，其特征在于，s2具體包括如下步驟：4.根據(jù)權(quán)利要求1所述的利用數(shù)據(jù)增強實現(xiàn)聯(lián)邦域泛化的方法，其特征在于，s2.1具體包括如下步驟：5.根據(jù)權(quán)利要求1所述的利用數(shù)據(jù)增強實現(xiàn)聯(lián)邦域泛化的方法，其特征在于，s2.2具體包括如下步驟：6.根據(jù)權(quán)利要求1所述的利用數(shù)據(jù)增強實現(xiàn)聯(lián)邦域泛化的方法，其特征在于，s3具體包括如下步驟：7.一種利用數(shù)據(jù)增強實現(xiàn)聯(lián)邦域泛化系統(tǒng)，包括一計算機模塊，該模塊應(yīng)用上述權(quán)利要求1至6的數(shù)據(jù)增強實現(xiàn)聯(lián)邦域泛化方法。技術(shù)總結(jié)本發(fā)明的一種利用數(shù)據(jù)增強實現(xiàn)聯(lián)邦域泛化方法，用于聯(lián)邦模型的訓(xùn)練階段，進行多輪服務(wù)端?客戶端通信，每輪通信包括如下步驟：S1、服務(wù)器端將全局模型下發(fā)到各客戶端；S2、客戶端基于本地數(shù)據(jù)上進行對抗增強訓(xùn)練，即迭代進行S2.1及S2.2；S3、客戶端將本地模型上傳到服務(wù)器端進行聚合。本發(fā)明的方法，用于在聯(lián)邦領(lǐng)域泛化設(shè)置中尋找全局平坦的極小值。通過將其視為最小化全局模型在全局?jǐn)?shù)據(jù)分布上的魯棒風(fēng)險的上界，可以解釋整個算法。技術(shù)研發(fā)人員：江俊君,王晨揚,胡星宇,劉賢明受保護的技術(shù)使用者：哈爾濱工業(yè)大學(xué)技術(shù)研發(fā)日：技術(shù)公布日：2025/1/9