本發(fā)明涉及深度學(xué)習(xí)領(lǐng)域，尤其涉及基于相似度蒸餾的個性化異構(gòu)聯(lián)邦學(xué)習(xí)方法。

背景技術(shù)：

1、聯(lián)邦學(xué)習(xí)的誕生，展現(xiàn)了一種在有效的保證用戶數(shù)據(jù)隱私的前提下，僅通過交換模型參數(shù)，實現(xiàn)隱式得利用海量邊緣設(shè)備用戶數(shù)據(jù)，進(jìn)行機(jī)器學(xué)習(xí)模型的分布式訓(xùn)練范式。因其在保障用戶隱私，網(wǎng)絡(luò)帶寬高效利用等特征，聯(lián)邦學(xué)習(xí)在邊緣網(wǎng)絡(luò)、推薦系統(tǒng)、人類活動識別等領(lǐng)域具有廣泛的應(yīng)用。傳統(tǒng)(vallian)的聯(lián)邦學(xué)習(xí)算法fedavg[1]及其相關(guān)改進(jìn)基于分布式協(xié)同訓(xùn)練得到一個良好的全局模型，近年來，all-for-one逐漸轉(zhuǎn)變?yōu)閛ne-for-all，考慮到參與聯(lián)邦訓(xùn)練的用戶數(shù)據(jù)通常呈現(xiàn)非獨立同分布特性，個性化聯(lián)邦的概念應(yīng)運(yùn)而生，all-for-one逐漸轉(zhuǎn)變?yōu)閛ne-for-all，另一方面，新型的神經(jīng)網(wǎng)絡(luò)模型層出不窮，傳統(tǒng)聯(lián)邦僅能訓(xùn)練單一架構(gòu)的特征導(dǎo)致，具有自定義模型架構(gòu)將無法參與聯(lián)邦訓(xùn)練，隨著大型語言和視覺模型的發(fā)展，模型架構(gòu)多樣性和參數(shù)知識產(chǎn)權(quán)化的發(fā)展意味著傳統(tǒng)聯(lián)邦難以發(fā)揮作用，同時，經(jīng)典方法中對統(tǒng)一模型的依賴性也帶來如聯(lián)邦反向攻擊的可能性，這將削弱聯(lián)邦學(xué)習(xí)隱私保護(hù)、知識合作(collaboration)這些優(yōu)勢特性。雖然現(xiàn)在有各種優(yōu)質(zhì)公開的數(shù)據(jù)集能訓(xùn)練良好的單一模型，但是同樣不能忽視海量用戶數(shù)據(jù)的多樣性以及個性化端側(cè)模型的需求；因此，發(fā)明出基于相似度蒸餾的個性化異構(gòu)聯(lián)邦學(xué)習(xí)方法變得尤為重要。

2、現(xiàn)有的個性化異構(gòu)聯(lián)邦學(xué)習(xí)方法無法自適應(yīng)地聚合客戶端模型的輸出，降低知識協(xié)作效率，同時不能適應(yīng)不同模型的承載能力，不適用于資源受限的邊緣設(shè)備；為此，我們提出基于相似度蒸餾的個性化異構(gòu)聯(lián)邦學(xué)習(xí)方法。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中存在的缺陷，而提出的基于相似度蒸餾的個性化異構(gòu)聯(lián)邦學(xué)習(xí)方法。

2、為了實現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：

3、基于相似度蒸餾的個性化異構(gòu)聯(lián)邦學(xué)習(xí)方法，該聯(lián)邦學(xué)習(xí)方法具體步驟如下：

4、q1、選擇多組客戶端進(jìn)行本地訓(xùn)練，并構(gòu)建本地表征；

5、q2、服務(wù)器端評估客戶端間的表征相似性，并為每個客戶端生成個性化原型；

6、q3、將個性化共識傳遞回本地客戶端，并通過最小化個性化集成損失來訓(xùn)練本地模型；

7、q4、聚合各客戶端上傳的分類頭參數(shù)，并對聚合后的全局分類頭進(jìn)行微調(diào)；

8、q5、將更新后的全局分類頭下發(fā)給各客戶端，并進(jìn)行下一輪本地訓(xùn)練。

9、作為本發(fā)明的進(jìn)一步方案，步驟q1中所述選擇多組客戶端進(jìn)行本地訓(xùn)練，并構(gòu)建本地表征的具體步驟如下：

10、s1.1：設(shè)置每輪訓(xùn)練時的客戶端數(shù)量k、本地私有數(shù)據(jù)集、全局輪數(shù)t以及本地輪數(shù)τ，各客戶端初始化異構(gòu)本地模型服務(wù)器端初始化全局分類頭參數(shù)φ(0)，其中，代表第k個客戶端異構(gòu)本地模型，且k∈k；

11、s1.2：客戶端從其私有數(shù)據(jù)集中加載小批量訓(xùn)練樣本訓(xùn)練本地模型，并在每次迭代時，使用小批量隨機(jī)梯度下降算法更新本地模型參數(shù)，重復(fù)進(jìn)行τ輪訓(xùn)練；

12、s1.3：當(dāng)每個客戶端完成其本地更新后，服務(wù)器向各客戶端發(fā)送本地數(shù)據(jù)集的隨機(jī)樣本，客戶端計算本地數(shù)據(jù)集樣本dk的本地表示向量s(θk,x)，并將其與分類頭的參數(shù)一起上傳到服務(wù)器。

13、作為本發(fā)明的進(jìn)一步方案，s1.2中訓(xùn)練本地模型具體計算公式如下：

14、

15、其中，代表第t輪訓(xùn)練的第k個客戶端的本地模型，其中，t∈τ；代表第t-1輪訓(xùn)練時的第k個客戶端的本地模型；dk代表第k個客戶端的私有數(shù)據(jù)集，在每次本地更新迭代中，從私有數(shù)據(jù)集隨機(jī)抽取大小為bk的小批量數(shù)據(jù)，其中，k∈k；η代表學(xué)習(xí)率。

16、作為本發(fā)明的進(jìn)一步方案，q2中所述服務(wù)器端評估客戶端間的表征相似性的詳細(xì)步驟如下：

17、s2.1：各客戶端從其私有樣本(x,y)∈dk中獲取特征表示向量s(θk,x)，依據(jù)收集到的各客戶端的本地表示向量s(θk,x)，并計算類別c的樣本的平均特征表示向量，即局部原型，之后將計算出的平均特征表示向量通過softmax轉(zhuǎn)換為聚合權(quán)重，以確保各權(quán)重之和為1；

18、s2.2：基于聚合權(quán)重計算每個客戶端關(guān)于公共表征x∈dk的個性化原型，隨后，服務(wù)器端將個性化原型以及全局頭參數(shù)φ(t-1)傳輸給每個客戶端，其中，φ(t-1)代表第t-1輪全局訓(xùn)練時的服務(wù)器端全局頭參數(shù)，t∈t，若為第一輪全局訓(xùn)練，則φ(t-1)＝φ(0)。

19、作為本發(fā)明的進(jìn)一步方案，s2.1中所述客戶端的平均特征表示向量的具體計算公式如下：

20、

21、式中，代表客戶端k計算的類別c的局部原型；代表客戶端k中類別c的本地私有數(shù)據(jù)集；s(θk,x)代表客戶端k的本地表示向量；

22、s2.2中所述個性化原型的具體計算公式如下：

23、

24、式中，代表客戶端i關(guān)于類別c的個性化原型；σ代表一個縮放超參數(shù)，用于控制不同客戶端之間協(xié)作知識的差異程度；代表客戶端i和客戶端j的本地模型在公共表征x上輸出的余弦相似度，其中，i∈k，j∈k；αi,j代表客戶端i引用權(quán)重的超參數(shù)，用于調(diào)節(jié)客戶端自身的聚合權(quán)重。

25、作為本發(fā)明的進(jìn)一步方案，q3中所述訓(xùn)練本地模型的具體步驟如下：

26、s3.1：服務(wù)器端將為每個客戶端計算的個性化原型分發(fā)到對應(yīng)的客戶端，各客戶端接收對應(yīng)個性化原型，同時依據(jù)服務(wù)器端下發(fā)的全局頭參數(shù)初始化分類頭參數(shù)；

27、s3.2：依據(jù)客戶端本地模型的預(yù)測輸出與實際標(biāo)簽之間的硬損失，以及本地表示向量與個性化原型之間的kullback-leibler散度構(gòu)建個性化集成損失函數(shù)，并以最小化個性化集成損失為目標(biāo)，對本地模型進(jìn)行訓(xùn)練更新，重復(fù)τ輪的訓(xùn)練更新的過程，更新完成后，將完成訓(xùn)練的本地模型參數(shù)保存在客戶端。

28、作為本發(fā)明的進(jìn)一步方案，s3.2中所述個性化集成損失函數(shù)的具體計算公式如下：

29、

30、式中，lce(w；x,y)代表客戶端本地模型的預(yù)測輸出與實際標(biāo)簽之間的硬損失，lce(w；x,y)＝-logp(y|x；w)；kl(·,·)代表本地特征表示與個性化原型之間的kullback-leibler散度；λ代表超參數(shù)，用于平衡兩個損失組件。

31、作為本發(fā)明的進(jìn)一步方案，q4中所述聚合各客戶端上傳的分類頭參數(shù)，并對聚合后的全局分類頭進(jìn)行微調(diào)的具體步驟如下：

32、s4.1：各客戶端本地訓(xùn)練結(jié)束后，將本地分類頭參數(shù)上傳至服務(wù)器端，服務(wù)器端將所有客戶端的分類頭參數(shù)按權(quán)重加權(quán)聚合，并使用客戶端上傳的本地表示向量對全局分類頭進(jìn)行后訓(xùn)練；

33、s4.2：后訓(xùn)練完成的聚合分類頭利用本地數(shù)據(jù)集樣本dk的個性化原型以及相應(yīng)的真實標(biāo)簽，進(jìn)行優(yōu)化更新，以獲取增強(qiáng)模型泛化性能的全局分類頭，并將更新后的全局頭部參數(shù)從服務(wù)器端分發(fā)給各客戶端，并在下一訓(xùn)練輪次中，各客戶端將用更新后的全局頭替換前一輪的分類頭。

34、作為本發(fā)明的進(jìn)一步方案，s4.1中所述加權(quán)聚合具體計算公式如下：

35、

36、s4.1中所述后訓(xùn)練具體計算公式如下：

37、

38、s4.2中所述優(yōu)化更新具體計算公式如下：

39、

40、s4.2中所述客戶端最終模型具體表示為：

41、

42、相比于現(xiàn)有技術(shù)，本發(fā)明的有益效果在于：

43、該基于相似度蒸餾的個性化異構(gòu)聯(lián)邦學(xué)習(xí)方法設(shè)置每輪訓(xùn)練時的客戶端數(shù)量、全局輪數(shù)以及本地輪數(shù)后，各客戶端初始化異構(gòu)本地模型，服務(wù)器端初始化全局分類頭參數(shù)，客戶端從其私有數(shù)據(jù)集中加載小批量訓(xùn)練樣本訓(xùn)練本地模型，并在每次迭代時，使用小批量隨機(jī)梯度下降算法更新本地模型參數(shù)，當(dāng)每個客戶端完成其本地更新后，服務(wù)器向各客戶端發(fā)送本地數(shù)據(jù)集的隨機(jī)樣本，客戶端計算本地數(shù)據(jù)集樣本的本地表示向量，并將其與分類頭的參數(shù)一起上傳到服務(wù)器端，服務(wù)器端計算客戶端之間的表征相似性，之后將計算出的表征相似性結(jié)果通過softmax轉(zhuǎn)換為聚合權(quán)重，基于聚合權(quán)重計算每個客戶端關(guān)于公共表征的個性化原型，隨后，服務(wù)器端將個性化原型以及全局頭參數(shù)傳輸給每個客戶端，各客戶端接收對應(yīng)個性化原型，同時依據(jù)服務(wù)器端下發(fā)的全局頭參數(shù)初始化分類頭參數(shù)，構(gòu)建個性化集成損失函數(shù)，并以最小化個性化集成損失為目標(biāo)，對本地模型進(jìn)行訓(xùn)練更新，各客戶端本地訓(xùn)練結(jié)束后，將本地分類頭參數(shù)上傳至服務(wù)器端，服務(wù)器端將所有客戶端的分類頭參數(shù)按權(quán)重加權(quán)聚合，并使用客戶端上傳的本地表示向量對全局分類頭進(jìn)行后訓(xùn)練，后訓(xùn)練完成的聚合分類頭利用本地數(shù)據(jù)集樣本的個性化原型以及相應(yīng)的真實標(biāo)簽，進(jìn)行優(yōu)化更新，以獲取增強(qiáng)模型泛化性能的全局分類頭，并將更新后的全局頭部參數(shù)從服務(wù)器端分發(fā)給各客戶端，并在下一訓(xùn)練輪次中，各客戶端將用更新后的全局頭替換前一輪的分類頭，能夠自適應(yīng)地聚合客戶端模型的輸出，生成多個不同的知識傳遞給相應(yīng)的模型，提高知識協(xié)作效率，相較于傳統(tǒng)的全局共識，能夠自適應(yīng)地調(diào)整知識構(gòu)成，以適應(yīng)不同模型的承載能力，并且能夠獨立訓(xùn)練并以個性化的方式聚合，適用于資源受限的邊緣設(shè)備。