本發(fā)明涉及聯(lián)邦學習，具體涉及一種基于統(tǒng)計特征匹配的一次通信聯(lián)邦學習方法和裝置，應用于解決聯(lián)邦學習中由于客戶端數(shù)據(jù)異構性引發(fā)的全局模型性能降低以及傳統(tǒng)多輪通信方式帶來的高通信成本。

背景技術：

1、隨著物聯(lián)網(wǎng)技術的快速發(fā)展，數(shù)據(jù)在各類終端設備上呈現(xiàn)出大規(guī)模、分布式的存儲與使用模式。然而，由于隱私保護的需求，將原始數(shù)據(jù)集中上傳至云端進行統(tǒng)一訓練已不再可行，聯(lián)邦學習技術應運而生。聯(lián)邦學習通過在客戶端本地進行模型訓練并僅將模型參數(shù)或梯度上傳至服務器的方式，實現(xiàn)了在不直接共享原始數(shù)據(jù)的前提下完成全局模型的構建，從而有效保護了用戶隱私并降低了數(shù)據(jù)泄露的風險。

2、然而，傳統(tǒng)聯(lián)邦學習框架通常需要在服務端和各客戶端之間進行多輪次的通信與參數(shù)交換，以迭代方式不斷優(yōu)化全局模型。當客戶端數(shù)量龐大或網(wǎng)絡帶寬有限時，多輪交互會顯著增加系統(tǒng)負擔和實際部署的難度。此外，在實際應用中，各個客戶端的數(shù)據(jù)分布往往存在顯著的差異，包括特征分布不均衡、樣本類別比例差異等。這種數(shù)據(jù)異構性會導致全局模型在聚合時面臨較大挑戰(zhàn)，進而影響模型的收斂速度和精度表現(xiàn)。

3、在此背景下，為了降低通信成本和緩解多輪聯(lián)邦訓練帶來的延遲，同時減少數(shù)據(jù)異構性導致的全局模型性能下降問題，一次通信的聯(lián)邦學習方法逐漸受到關注。這類方法指在聯(lián)邦訓練過程中僅進行一次從客戶端到服務端的模型參數(shù)或特征信息傳輸，從而大幅降低通信輪次和成本。研究人員主要提出了兩類方法，一種是利用輔助數(shù)據(jù)集在服務器端通過知識蒸餾將多個模型集成為單個模型。但此類方法對公開可用且與本地數(shù)據(jù)分布相似的數(shù)據(jù)集依賴較高，這在實際中往往難以滿足。二是嘗試直接集成模型以合成數(shù)據(jù)，從而避免對公共數(shù)據(jù)的依賴。當前相關研究多借助批歸一化層的統(tǒng)計信息來輔助數(shù)據(jù)合成，對其他統(tǒng)計特征的挖掘與利用仍然不足。

技術實現(xiàn)思路

1、本發(fā)明旨在克服現(xiàn)有技術中的缺陷，通過在數(shù)據(jù)合成匹配過程中利用預訓練模型獲取卷積層的全局統(tǒng)計信息，從而引入更多統(tǒng)計特征，以提高合成數(shù)據(jù)的質(zhì)量與多樣性。為此，本發(fā)明提出了一種基于統(tǒng)計特征匹配的一次通信聯(lián)邦學習方法和裝置。

2、本發(fā)明提供的基于統(tǒng)計特征匹配的一次通信聯(lián)邦學習方法，包括：

3、步驟1：假設有n個參與方協(xié)作訓練一個全局模型。每個參與方都擁有一個本地數(shù)據(jù)集，表示為i＝1，…，n，其中和分別表示輸入數(shù)據(jù)點和它們對應的標簽。

4、步驟2：對每個客戶端使用其本地數(shù)據(jù)集進行多輪迭代訓練，更新本地模型參數(shù)，使模型逐步適應該客戶端的特定數(shù)據(jù)分布。

5、步驟3：初始化全局模型參數(shù)θs和生成器g參數(shù)θg，并將所有客戶端預訓練完成的本地模型上傳至服務器,其中θk為第k個客戶端的預訓練后的模型參數(shù)。

6、步驟4：在全局模型訓練過程中，服務器循環(huán)執(zhí)行數(shù)據(jù)生成和模型訓練兩個階段。在數(shù)據(jù)生成階段，服務器從噪聲和標簽分布中采樣生成初始數(shù)據(jù)輸入利用生成器g和當前參數(shù)θg生成合成數(shù)據(jù)然后，基于目標函數(shù)更新優(yōu)化生成器參數(shù)。在模型訓練階段，服務器利用優(yōu)化后的生成器再次生成合成數(shù)據(jù)并基于全局模型損失函數(shù)對全局模型參數(shù)θs進行梯度下降更新。該過程重復t個訓練周期，直至全局模型逐漸收斂。

7、進一步地，所述步驟(4)中，對于生成器和全局模型優(yōu)化的方法步驟如下：

8、步驟4.1:從標準高斯分布中采樣噪聲向量z，并從均勻分布中采樣隨機獨熱標簽y，生成初始數(shù)據(jù)輸入其中b為批量大小。

9、步驟4.2：利用生成器g和當前參數(shù)θg，將采樣的噪聲轉(zhuǎn)換為合成數(shù)據(jù)

10、步驟4.3：對于生成的合成數(shù)據(jù)每個客戶端模型fk使用其上傳的模型參數(shù)θk對數(shù)據(jù)進行預測，輸出對應的其中k＝1，2，...，n。然后，將所有客戶端模型的預測結果進行平均，得到合成數(shù)據(jù)在集成模型上的平均logits輸出作為集成模型對該數(shù)據(jù)的最終預測結果。

11、步驟4.4：使用集成模型的平均與標簽計算交叉熵損失

12、步驟4.5：計算合成數(shù)據(jù)的批歸一化統(tǒng)計量(均值和方差)與客戶端訓練數(shù)據(jù)對應統(tǒng)計量之間的差異，得到批歸一化損失確保合成數(shù)據(jù)的特征分布盡可能接近客戶端訓練數(shù)據(jù)的特征分布，提升生成器的訓練穩(wěn)定性。

13、步驟4.6：計算合成數(shù)據(jù)的卷積層統(tǒng)計量(包括通道均值、通道方差、patch均值和patch方差)與客戶端訓練數(shù)據(jù)對應的全局統(tǒng)計量之間的差異，得到卷積層匹配損失確保合成數(shù)據(jù)的卷積特征分布與客戶端訓練數(shù)據(jù)的卷積特征分布保持一致，進一步提升生成器的訓練穩(wěn)定性和合成數(shù)據(jù)的質(zhì)量。

14、步驟4.7：綜合以上損失函數(shù)，計算生成器的總損失函數(shù)優(yōu)化生成器參數(shù)θg，提升生成器的性能和合成數(shù)據(jù)的質(zhì)量。

15、步驟4.8：使用優(yōu)化后的生成器生成合成數(shù)據(jù)，通過知識蒸餾進一步優(yōu)化全局模型，從而逐步提升全局模型的性能和泛化能力。

16、本發(fā)明的第二個方面涉及基于統(tǒng)計特征匹配的一次通信聯(lián)邦學習裝置，包括存儲器和一個或多個處理器，所述存儲器中存儲有可執(zhí)行代碼，所述一個或多個處理器執(zhí)行所述可執(zhí)行代碼時，用于實現(xiàn)本發(fā)明的基于統(tǒng)計特征匹配的一次通信聯(lián)邦學習方法。

17、本發(fā)明的第三個方面涉及一種計算機可讀存儲介質(zhì)，其上存儲有程序，該程序被處理器執(zhí)行時，實現(xiàn)本發(fā)明的基于統(tǒng)計特征匹配的一次通信聯(lián)邦學習方法。

18、本發(fā)明的一種基于統(tǒng)計特征匹配的一次通信聯(lián)邦學習方法，旨在解決聯(lián)邦學習中通信成本高以及客戶端數(shù)據(jù)不平衡導致全局模型精度下降的問題。首先，客戶端利用各自的本地數(shù)據(jù)獨立完成模型預訓練，并將預訓練后的模型參數(shù)上傳至服務器。服務器接收所有客戶端上傳的模型后，通過模型集成方法計算平均logits，構建統(tǒng)一的集成模型。在數(shù)據(jù)生成階段，服務器使用生成器生成合成數(shù)據(jù)，并結合多種損失函數(shù)對生成器進行優(yōu)化。這些損失函數(shù)確保合成數(shù)據(jù)的標簽一致性和特征分布匹配，從而提升合成數(shù)據(jù)的真實性與多樣性，同時增強知識蒸餾效果，助力全局模型性能的提升。此方法僅需一次將模型參數(shù)從客戶端傳輸至服務器，顯著降低通信成本。通過引入更多統(tǒng)計特征，有效提升了合成數(shù)據(jù)的質(zhì)量和全局模型的精度，適合大規(guī)模應用。

19、本發(fā)明提出了一種基于統(tǒng)計特征匹配的一次通信聯(lián)邦學習方法。首先，通過客戶端本地模型預訓練，在服務器端構建統(tǒng)一的集成模型。隨后，在優(yōu)化生成器的過程中，通過匹配模型的批歸一化層和卷積層的統(tǒng)計特征，確保生成的合成數(shù)據(jù)與客戶端訓練數(shù)據(jù)的特征一致，從而提升數(shù)據(jù)質(zhì)量和全局模型的性能。相比現(xiàn)有技術，本發(fā)明具有以下優(yōu)點：

20、1.現(xiàn)有技術在數(shù)據(jù)生成階段僅利用批歸一化層的統(tǒng)計特征，而對于其他層尚無明確的解決方案。本發(fā)明通過引入卷積層的統(tǒng)計特征匹配，在合成數(shù)據(jù)與客戶端原始數(shù)據(jù)特征的匹配過程中進一步強化了特征一致性。該方法顯著提升了合成數(shù)據(jù)的質(zhì)量，從而有效優(yōu)化了基于知識蒸餾的訓練效果。

21、2.現(xiàn)有技術通常依賴公共數(shù)據(jù)上的知識蒸餾來提升服務器端模型的性能，但其效果往往受到公共數(shù)據(jù)質(zhì)量和集成模型性能的限制。本發(fā)明突破了這一局限，無需依賴任何公共數(shù)據(jù)集，也無需在客戶端與服務器之間傳輸除模型參數(shù)外的其他額外信息，從而進一步降低了通信成本，提升了系統(tǒng)的實用性和安全性。

22、3.現(xiàn)有技術通常假設客戶端模型結構統(tǒng)一，難以應對模型架構異構性的問題。本發(fā)明支持客戶端模型的異構性，允許不同客戶端使用不同的模型架構。服務器通過集成模型有效整合來自異構模型的信息，從而更好地適應多樣化的實際應用場景。