本發(fā)明屬于聯(lián)邦學(xué)習(xí)領(lǐng)域，具體涉及一種基于數(shù)據(jù)異構(gòu)的縱向聯(lián)邦學(xué)習(xí)數(shù)據(jù)增強方法。

背景技術(shù)：

1、聯(lián)邦學(xué)習(xí)作為一種分布式機器學(xué)習(xí)框架，能夠支持多個參與方在無需直接共享數(shù)據(jù)的情況下協(xié)同訓(xùn)練模型，有效保障了數(shù)據(jù)隱私，促進(jìn)了跨組織和跨設(shè)備的學(xué)習(xí)合作。特別是縱向聯(lián)邦學(xué)習(xí)模式，它擅長整合來自不同參與方的數(shù)據(jù)特征，為跨領(lǐng)域的數(shù)據(jù)合作提供了可能。然而，這一模式也面臨著數(shù)據(jù)量不均衡以及數(shù)據(jù)分布差異性的挑戰(zhàn)，這些挑戰(zhàn)使得構(gòu)建一個能普遍適用于所有參與方的全局模型變得異常困難。

2、目前，針對聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)增強研究大致可分為三種，第一種主要關(guān)注不同參與者之間應(yīng)用和協(xié)調(diào)數(shù)據(jù)增強策略；第二種的研究方向為確保數(shù)據(jù)增強過程不會泄露敏感信息；第三種是根據(jù)模型訓(xùn)練進(jìn)展動態(tài)調(diào)整數(shù)據(jù)增強策略。結(jié)合當(dāng)前的聯(lián)邦學(xué)習(xí)數(shù)據(jù)增強的研究情況，發(fā)現(xiàn)諸多學(xué)者已在數(shù)據(jù)增強方面取得一些成果，但是仍然存在一些技術(shù)問題：

3、1)客戶端數(shù)據(jù)不平衡的問題：在多數(shù)據(jù)源和異構(gòu)環(huán)境中，局部數(shù)據(jù)不平衡可能會導(dǎo)致一些參與者在模型訓(xùn)練中貢獻(xiàn)較少，使用傳統(tǒng)的生成對抗網(wǎng)絡(luò)進(jìn)行處理無法達(dá)到真正的數(shù)據(jù)增強，在訓(xùn)練過程中還可能導(dǎo)致模型崩潰，訓(xùn)練不穩(wěn)定以及生成的數(shù)據(jù)質(zhì)量下降等問題，從而影響全局模型的性能。

4、2)數(shù)據(jù)異構(gòu)導(dǎo)致局部數(shù)據(jù)分布差異的問題：在異構(gòu)環(huán)境中，局部數(shù)據(jù)分布可能差異較大，現(xiàn)有方案只通過數(shù)據(jù)分布差異進(jìn)行參數(shù)聚合，沒有衡量各數(shù)據(jù)源分布的差異性；同時參與聯(lián)邦學(xué)習(xí)的客戶端規(guī)模巨大，采用如fedavg等傳統(tǒng)聚合算法會出現(xiàn)訓(xùn)練偏移現(xiàn)象，導(dǎo)致全局模型的性能下降；

5、3)數(shù)據(jù)異構(gòu)導(dǎo)致模型參數(shù)不穩(wěn)定的問題：由于數(shù)據(jù)異構(gòu)的影響，不同參與者的數(shù)據(jù)分布和特征不同，傳統(tǒng)的隨機梯度下降方法在更新模型參數(shù)時可能出現(xiàn)較大的波動，導(dǎo)致模型參數(shù)在聚合過程中的波動和不一致，進(jìn)而影響全局模型的性能。

技術(shù)實現(xiàn)思路

1、為解決上述問題，本發(fā)明提供了一種基于數(shù)據(jù)異構(gòu)的縱向聯(lián)邦學(xué)習(xí)數(shù)據(jù)增強方法，包括以下步驟：

2、s1.各客戶端在本地訓(xùn)練局部條件生成對抗網(wǎng)絡(luò)，用于產(chǎn)生新的訓(xùn)練數(shù)據(jù)；各客戶端將其生成的訓(xùn)練數(shù)據(jù)上傳至中心服務(wù)器；

3、s2.中心服務(wù)器根據(jù)各客戶端上傳的訓(xùn)練數(shù)據(jù)進(jìn)行處理，得到一個全局模型，并將全局模型下發(fā)至各客戶端；

4、s3.各客戶端將全局模型作為本地模型，通過具有雙重平滑機制的指數(shù)移動平均sgd方法訓(xùn)練得到更新后的本地模型，并上傳模型參數(shù)給中心服務(wù)器；

5、s4.中心服務(wù)器根據(jù)樣本占比和數(shù)據(jù)分布計算每一客戶端的聚合權(quán)重；

6、s5.中心服務(wù)器根據(jù)聚合權(quán)重對各客戶端上傳的本地模型參數(shù)進(jìn)行聚合得到新的全局模型；

7、s6.判斷全局模型是否收斂，若是，則結(jié)束聯(lián)邦學(xué)習(xí)，否則新的全局模型下發(fā)至各客戶端，執(zhí)行步驟s3。

8、本發(fā)明的有益效果：

9、本發(fā)明通過局部生成對抗網(wǎng)絡(luò)cwgan-gp技術(shù)解決了各客戶端數(shù)據(jù)不平衡引起的模型性能下降的問題，并提供更穩(wěn)定的梯度、減少模式崩潰和更好的收斂性，進(jìn)一步提高了模型的性能和泛化能力；通過利用參與方的樣本量占比和模型參數(shù)與全局模型參數(shù)之間的分布差異計算權(quán)重，進(jìn)行模型參數(shù)聚合，從而優(yōu)化全局模型；通過利用隨機梯度方法，并結(jié)合使用指數(shù)移動平均來先后處理梯度和參數(shù)，使梯度更新更加平滑和參數(shù)更新更加平穩(wěn)，保證了本地模型的穩(wěn)定性。

技術(shù)特征：

1.一種基于數(shù)據(jù)異構(gòu)的縱向聯(lián)邦學(xué)習(xí)數(shù)據(jù)增強方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)異構(gòu)的縱向聯(lián)邦學(xué)習(xí)數(shù)據(jù)增強方法，其特征在于，步驟s1每一個客戶端在本地訓(xùn)練一個局部條件生成對抗網(wǎng)絡(luò)，包括：

3.根據(jù)權(quán)利要求2所述的一種基于數(shù)據(jù)異構(gòu)的縱向聯(lián)邦學(xué)習(xí)數(shù)據(jù)增強方法，其特征在于，

4.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)異構(gòu)的縱向聯(lián)邦學(xué)習(xí)數(shù)據(jù)增強方法，其特征在于，步驟s2具體包括：

5.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)異構(gòu)的縱向聯(lián)邦學(xué)習(xí)數(shù)據(jù)增強方法，其特征在于，任一客戶端通過具有雙重平滑機制的指數(shù)移動平均sgd方法訓(xùn)練得到更新后的本地模型參數(shù)，包括：

6.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)異構(gòu)的縱向聯(lián)邦學(xué)習(xí)數(shù)據(jù)增強方法，其特征在于，步驟s4包括：

7.根據(jù)權(quán)利要求1所述的一種基于數(shù)據(jù)異構(gòu)的縱向聯(lián)邦學(xué)習(xí)數(shù)據(jù)增強方法，其特征在于，步驟s5中心服務(wù)器根據(jù)聚合權(quán)重對各客戶端上傳的本地模型參數(shù)進(jìn)行聚合得到新的全局模型，表示為

技術(shù)總結(jié)
本發(fā)明屬于聯(lián)邦學(xué)習(xí)領(lǐng)域，具體涉及一種基于數(shù)據(jù)異構(gòu)的縱向聯(lián)邦學(xué)習(xí)數(shù)據(jù)增強方法，包括各客戶端在本地訓(xùn)練局部條件生成對抗網(wǎng)絡(luò)，用于產(chǎn)生新的訓(xùn)練數(shù)據(jù)上傳至中心服務(wù)器；中心服務(wù)器根據(jù)各客戶端上傳的訓(xùn)練數(shù)據(jù)處理得到全局模型，并將其下發(fā)至各客戶端；各客戶端將全局模型作為本地模型，通過具有雙重平滑機制的指數(shù)移動平均SGD方法訓(xùn)練得到更新后的本地模型參數(shù)，并上傳給中心服務(wù)器；中心服務(wù)器根據(jù)樣本占比和數(shù)據(jù)分布計算每一客戶端的聚合權(quán)重；中心服務(wù)器根據(jù)聚合權(quán)重對各客戶端上傳的本地模型參數(shù)進(jìn)行聚合得到新的全局模型下發(fā)至各客戶端；重復(fù)上述內(nèi)容直至全局模型收斂；本發(fā)明能夠有效解決異構(gòu)數(shù)據(jù)環(huán)境下聯(lián)邦學(xué)習(xí)的數(shù)據(jù)增強問題。

技術(shù)研發(fā)人員：肖云鵬,趙登科,金勇,唐飛,王蓉,韋世紅,王國胤
受保護(hù)的技術(shù)使用者：重慶郵電大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/7