本發(fā)明涉及聯(lián)邦學(xué)習(xí),具體涉及基于tee和聯(lián)邦學(xué)習(xí)的數(shù)據(jù)共享方法及系統(tǒng)。
背景技術(shù):
1、tee,即可信執(zhí)行環(huán)境(trusted?execution?environment),是一種通過(guò)硬件和軟件共同構(gòu)建的隔離、安全的執(zhí)行環(huán)境。它允許代碼在隔離的、受保護(hù)的區(qū)域內(nèi)執(zhí)行,不受操作系統(tǒng)或其他軟件組件的干擾,從而提供更高層次的數(shù)據(jù)保護(hù)和安全性。而聯(lián)邦學(xué)習(xí)則是一種帶有隱私保護(hù)的分布式機(jī)器學(xué)習(xí)框架。它允許多個(gè)設(shè)備或計(jì)算節(jié)點(diǎn)在不共享原始數(shù)據(jù)的情況下進(jìn)行模型訓(xùn)練。具體來(lái)說(shuō),各參與方在本地利用本地?cái)?shù)據(jù)進(jìn)行模型訓(xùn)練,并將模型的更新參數(shù)發(fā)送到中央服務(wù)器進(jìn)行聚合,從而構(gòu)建出更精準(zhǔn)的全局模型。
2、在當(dāng)前主流的聯(lián)邦學(xué)習(xí)算法中,通常會(huì)采用差分隱私、安全多方計(jì)算、同態(tài)加密等技術(shù)解決不同階段的安全計(jì)算問(wèn)題。其中,為了保障聯(lián)合建模過(guò)程中參數(shù)交互計(jì)算過(guò)程的安全性,通常會(huì)采用同態(tài)加密算法,實(shí)現(xiàn)預(yù)測(cè)模型的聯(lián)合確立。同態(tài)加密雖然在聯(lián)邦學(xué)習(xí)過(guò)程中凸顯出一定的優(yōu)勢(shì),如提供了顯著的隱私保護(hù)效果,但仍然存在以下問(wèn)題:
3、1.同態(tài)加密操作相比于明文操作要復(fù)雜得多,這導(dǎo)致在處理大規(guī)模數(shù)據(jù)或進(jìn)行復(fù)雜計(jì)算時(shí),同態(tài)加密會(huì)顯著增加計(jì)算資源的需求和處理時(shí)間,最終導(dǎo)致模型訓(xùn)練變得極為緩慢。
4、2.同態(tài)加密后的數(shù)據(jù)通常比原始數(shù)據(jù)大得多,這意味著在聯(lián)邦學(xué)習(xí)的過(guò)程中,需要在參與者之間傳輸更大的數(shù)據(jù)量,從而增加了通信開(kāi)銷。
5、3.在某些同態(tài)加密方案中,計(jì)算過(guò)程中會(huì)累計(jì)噪聲,如果噪聲管理不當(dāng),過(guò)度的噪聲積累可能導(dǎo)致最終的學(xué)習(xí)結(jié)果精度下降或解密失敗。
6、綜上,現(xiàn)有的聯(lián)邦學(xué)習(xí)場(chǎng)景下存在采用同態(tài)加密導(dǎo)致的計(jì)算效率低、通信開(kāi)銷大、噪聲積累導(dǎo)致學(xué)習(xí)結(jié)果精度下降的技術(shù)問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)?zhí)峁┝嘶趖ee和聯(lián)邦學(xué)習(xí)的數(shù)據(jù)共享方法及系統(tǒng),用于針對(duì)解決現(xiàn)有技術(shù)中聯(lián)邦學(xué)習(xí)場(chǎng)景下存在采用同態(tài)加密導(dǎo)致的計(jì)算效率低、通信開(kāi)銷大、噪聲積累導(dǎo)致學(xué)習(xí)結(jié)果精度下降的技術(shù)問(wèn)題。
2、鑒于上述問(wèn)題,本申請(qǐng)?zhí)峁┝嘶趖ee和聯(lián)邦學(xué)習(xí)的數(shù)據(jù)共享方法及系統(tǒng)。
3、第一方面,本申請(qǐng)?zhí)峁┝嘶趖ee和聯(lián)邦學(xué)習(xí)的數(shù)據(jù)共享方法,所述方法包括:
4、獲取多個(gè)數(shù)據(jù)參與方,對(duì)所述多個(gè)數(shù)據(jù)參與方建立多個(gè)可信執(zhí)行環(huán)境;
5、在所述多個(gè)可信執(zhí)行環(huán)境創(chuàng)立多個(gè)執(zhí)行節(jié)點(diǎn);
6、按照預(yù)定目標(biāo)智能模型特征,以所述多個(gè)執(zhí)行節(jié)點(diǎn)分別根據(jù)所述多個(gè)數(shù)據(jù)參與方的本地?cái)?shù)據(jù)樣本訓(xùn)練智能模型,得到多個(gè)本地智能模型;
7、基于所述多個(gè)數(shù)據(jù)參與方的數(shù)據(jù)共享請(qǐng)求進(jìn)行數(shù)據(jù)共享對(duì)象識(shí)別,得到共享識(shí)別參與組;
8、通過(guò)所述多個(gè)執(zhí)行節(jié)點(diǎn)將屬于所述共享識(shí)別參與組的多個(gè)本地智能模型的多個(gè)模型參數(shù)發(fā)送至中央聚合器進(jìn)行聚合,得到全局智能模型;
9、將所述全局智能模型返回至所述多個(gè)數(shù)據(jù)參與方。
10、第二方面,本申請(qǐng)?zhí)峁┝嘶趖ee和聯(lián)邦學(xué)習(xí)的數(shù)據(jù)共享系統(tǒng),所述系統(tǒng)包括:
11、可信執(zhí)行環(huán)境建立模塊,用于獲取多個(gè)數(shù)據(jù)參與方,對(duì)所述多個(gè)數(shù)據(jù)參與方建立多個(gè)可信執(zhí)行環(huán)境;
12、執(zhí)行節(jié)點(diǎn)創(chuàng)立模塊,用于在所述多個(gè)可信執(zhí)行環(huán)境創(chuàng)立多個(gè)執(zhí)行節(jié)點(diǎn);
13、模型訓(xùn)練模塊,用于按照預(yù)定目標(biāo)智能模型特征,以所述多個(gè)執(zhí)行節(jié)點(diǎn)分別根據(jù)所述多個(gè)數(shù)據(jù)參與方的本地?cái)?shù)據(jù)樣本訓(xùn)練智能模型,得到多個(gè)本地智能模型;
14、共享對(duì)象識(shí)別模塊,用于基于所述多個(gè)數(shù)據(jù)參與方的數(shù)據(jù)共享請(qǐng)求進(jìn)行數(shù)據(jù)共享對(duì)象識(shí)別,得到共享識(shí)別參與組;
15、全局智能模型獲得模塊,用于通過(guò)所述多個(gè)執(zhí)行節(jié)點(diǎn)將屬于所述共享識(shí)別參與組的多個(gè)本地智能模型的多個(gè)模型參數(shù)發(fā)送至中央聚合器進(jìn)行聚合,得到全局智能模型;
16、返回模塊,用于將所述全局智能模型返回至所述多個(gè)數(shù)據(jù)參與方。
17、本申請(qǐng)中提供的一個(gè)或多個(gè)技術(shù)方案,至少具有如下技術(shù)效果或優(yōu)點(diǎn):
18、本申請(qǐng)?zhí)峁┑幕趖ee和聯(lián)邦學(xué)習(xí)的數(shù)據(jù)共享方法,通過(guò)獲取多個(gè)數(shù)據(jù)參與方,對(duì)所述多個(gè)數(shù)據(jù)參與方建立多個(gè)可信執(zhí)行環(huán)境;在所述多個(gè)可信執(zhí)行環(huán)境創(chuàng)立多個(gè)執(zhí)行節(jié)點(diǎn);按照預(yù)定目標(biāo)智能模型特征,以所述多個(gè)執(zhí)行節(jié)點(diǎn)分別根據(jù)所述多個(gè)數(shù)據(jù)參與方的本地?cái)?shù)據(jù)樣本訓(xùn)練智能模型,得到多個(gè)本地智能模型;基于所述多個(gè)數(shù)據(jù)參與方的數(shù)據(jù)共享請(qǐng)求進(jìn)行數(shù)據(jù)共享對(duì)象識(shí)別,得到共享識(shí)別參與組;通過(guò)所述多個(gè)執(zhí)行節(jié)點(diǎn)將屬于所述共享識(shí)別參與組的多個(gè)本地智能模型的多個(gè)模型參數(shù)發(fā)送至中央聚合器進(jìn)行聚合,得到全局智能模型;將所述全局智能模型返回至所述多個(gè)數(shù)據(jù)參與方,解決了現(xiàn)有技術(shù)中聯(lián)邦學(xué)習(xí)場(chǎng)景下存在采用同態(tài)加密導(dǎo)致的計(jì)算效率低、通信開(kāi)銷大、噪聲積累導(dǎo)致學(xué)習(xí)結(jié)果精度下降的技術(shù)問(wèn)題,實(shí)現(xiàn)了一種高效且安全的數(shù)據(jù)共享方案,達(dá)到了在不犧牲安全性的前提下,確保了數(shù)據(jù)共享的高效率和可靠性的技術(shù)效果,并具有低通信開(kāi)銷、不犧牲精度等特點(diǎn)。
1.基于tee和聯(lián)邦學(xué)習(xí)的數(shù)據(jù)共享方法,其特征在于,包括:
2.如權(quán)利要求1所述的方法,其特征在于,基于所述多個(gè)數(shù)據(jù)參與方的數(shù)據(jù)共享請(qǐng)求進(jìn)行數(shù)據(jù)共享對(duì)象識(shí)別,得到共享識(shí)別參與組,包括:
3.如權(quán)利要求1所述的方法,其特征在于,所述多個(gè)執(zhí)行節(jié)點(diǎn)將屬于所述共享識(shí)別參與組的多個(gè)本地智能模型的多個(gè)模型參數(shù)發(fā)送至中央聚合器進(jìn)行聚合,得到全局智能模型,包括:
4.如權(quán)利要求3所述的方法,其特征在于,基于所述多個(gè)模型損失函數(shù)進(jìn)行迭代訓(xùn)練,得到所述全局智能模型,包括:
5.如權(quán)利要求3所述的方法,其特征在于,所述多個(gè)執(zhí)行節(jié)點(diǎn)將屬于所述共享識(shí)別參與組的多個(gè)本地智能模型的多個(gè)模型參數(shù)發(fā)送至中央聚合器進(jìn)行聯(lián)邦學(xué)習(xí),包括:
6.如權(quán)利要求3所述的方法,其特征在于,將所述第一聚合模型返回至所述多個(gè)執(zhí)行節(jié)點(diǎn),通過(guò)所述多個(gè)執(zhí)行節(jié)點(diǎn)利用本地?cái)?shù)據(jù)樣本對(duì)所述第一聚合模型進(jìn)行損失分析,得到多個(gè)模型損失函數(shù),包括:
7.如權(quán)利要求1所述的方法,其特征在于,所述預(yù)定目標(biāo)智能模型特征包括模型輸入特征、模型輸出特征和模型網(wǎng)絡(luò)特征。
8.基于tee和聯(lián)邦學(xué)習(xí)的數(shù)據(jù)共享系統(tǒng),其特征在于,用于實(shí)施權(quán)利要求1-7任一項(xiàng)所述的基于tee和聯(lián)邦學(xué)習(xí)的數(shù)據(jù)共享方法,所述系統(tǒng)包括: