本公開(kāi)整體涉及無(wú)線(xiàn)通信，并且更具體地涉及用于基于區(qū)的聯(lián)邦學(xué)習(xí)的區(qū)梯度擴(kuò)散(zgd)技術(shù)的方法。

背景技術(shù)：

1、聯(lián)邦學(xué)習(xí)是跨保持本地?cái)?shù)據(jù)樣本的多個(gè)分散式邊緣設(shè)備或服務(wù)器訓(xùn)練聯(lián)邦學(xué)習(xí)模型而不與中央服務(wù)器共享數(shù)據(jù)樣本的機(jī)器學(xué)習(xí)技術(shù)。聯(lián)邦學(xué)習(xí)提供了隱私保護(hù)機(jī)器學(xué)習(xí)和邊緣上的連續(xù)學(xué)習(xí)的益處。然而，當(dāng)設(shè)備處的數(shù)據(jù)是非獨(dú)立同分布(非iid)時(shí)，聯(lián)邦學(xué)習(xí)的性能受到損害。數(shù)據(jù)增強(qiáng)是解決非iid數(shù)據(jù)的方法。另一種方法是基于區(qū)的聯(lián)邦學(xué)習(xí)。

2、基于區(qū)的聯(lián)邦學(xué)習(xí)將參與設(shè)備分組到有助于邊緣處的非iid數(shù)據(jù)分布的區(qū)中。然而，來(lái)自感興趣區(qū)之外的設(shè)備的數(shù)據(jù)可能是相關(guān)的。如果區(qū)邊界不是靈活的，則那些相關(guān)模型更新將被忽略。用于捕獲相關(guān)相鄰設(shè)備信息的技術(shù)將是期望的。

技術(shù)實(shí)現(xiàn)思路

1、在本公開(kāi)的各方面，處理器實(shí)現(xiàn)的方法包括從聯(lián)邦學(xué)習(xí)系統(tǒng)中的多個(gè)客戶(hù)端接收機(jī)器學(xué)習(xí)模型更新。該方法還包括確定與客戶(hù)端中的每個(gè)客戶(hù)端相關(guān)聯(lián)的固定本地區(qū)，該固定本地區(qū)具有第一固定邊界。該方法還包括基于用于客戶(hù)端的本地子集的本地機(jī)器學(xué)習(xí)更新來(lái)更新中央機(jī)器學(xué)習(xí)模型的模型權(quán)重。本地子集與固定本地區(qū)相對(duì)應(yīng)。該方法還包括基于用于客戶(hù)端的相鄰子集的相鄰機(jī)器學(xué)習(xí)更新來(lái)更新中央機(jī)器學(xué)習(xí)模型的模型權(quán)重。相鄰子集與和固定本地區(qū)相鄰的固定相鄰區(qū)相對(duì)應(yīng)。在更新模型權(quán)重時(shí)相鄰機(jī)器學(xué)習(xí)更新具有與本地機(jī)器學(xué)習(xí)更新不同的權(quán)重。不同的權(quán)重的值與相似性參數(shù)相對(duì)應(yīng)，固定相鄰區(qū)具有第二固定邊界。

2、本公開(kāi)的其他方面涉及一種裝置。該裝置具有至少一個(gè)存儲(chǔ)器和耦合到該至少一個(gè)存儲(chǔ)器的一個(gè)或多個(gè)處理器。該處理器被配置為從聯(lián)邦學(xué)習(xí)系統(tǒng)中的多個(gè)客戶(hù)端接收機(jī)器學(xué)習(xí)模型更新。該處理器還被配置為確定與客戶(hù)端中的每個(gè)客戶(hù)端相關(guān)聯(lián)的固定本地區(qū)，該固定本地區(qū)具有第一固定邊界。該處理器被進(jìn)一步配置為基于用于客戶(hù)端的本地子集的本地機(jī)器學(xué)習(xí)更新來(lái)更新中央機(jī)器學(xué)習(xí)模型的模型權(quán)重。本地子集與固定本地區(qū)相對(duì)應(yīng)。該處理器還被配置為基于用于客戶(hù)端的相鄰子集的相鄰機(jī)器學(xué)習(xí)更新來(lái)更新中央機(jī)器學(xué)習(xí)模型的模型權(quán)重。相鄰子集與和固定本地區(qū)相鄰的固定相鄰區(qū)相對(duì)應(yīng)。在更新模型權(quán)重時(shí)相鄰機(jī)器學(xué)習(xí)更新具有與本地機(jī)器學(xué)習(xí)更新不同的權(quán)重。不同的權(quán)重的值與相似性參數(shù)相對(duì)應(yīng)，固定相鄰區(qū)具有第二固定邊界。

3、本公開(kāi)的其他方面涉及一種裝置。該裝置包括用于從聯(lián)邦學(xué)習(xí)系統(tǒng)中的多個(gè)客戶(hù)端接收機(jī)器學(xué)習(xí)模型更新的部件。該裝置還包括用于確定與客戶(hù)端中的每個(gè)客戶(hù)端相關(guān)聯(lián)的固定本地區(qū)的部件，該固定本地區(qū)具有第一固定邊界。該裝置還包括用于基于用于客戶(hù)端的本地子集的本地機(jī)器學(xué)習(xí)更新來(lái)更新中央機(jī)器學(xué)習(xí)模型的模型權(quán)重的部件。本地子集與固定本地區(qū)相對(duì)應(yīng)。該裝置還包括用于基于用于客戶(hù)端的相鄰子集的相鄰機(jī)器學(xué)習(xí)更新來(lái)更新中央機(jī)器學(xué)習(xí)模型的模型權(quán)重的部件。相鄰子集與和固定本地區(qū)相鄰的固定相鄰區(qū)相對(duì)應(yīng)。在更新模型權(quán)重時(shí)相鄰機(jī)器學(xué)習(xí)更新具有與本地機(jī)器學(xué)習(xí)更新不同的權(quán)重。不同的權(quán)重的值與相似性參數(shù)相對(duì)應(yīng)，固定相鄰區(qū)具有第二固定邊界。

4、在本公開(kāi)的其他方面，公開(kāi)了一種其上記錄有程序代碼的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)。該程序代碼由處理器執(zhí)行并且包括用于從聯(lián)邦學(xué)習(xí)系統(tǒng)中的客戶(hù)端接收機(jī)器學(xué)習(xí)模型更新的程序代碼。該程序代碼還包括用于確定與客戶(hù)端中的每個(gè)客戶(hù)端相關(guān)聯(lián)的固定區(qū)，固定本地區(qū)具有第一固定邊界。該程序代碼還包括用于基于用于客戶(hù)端的本地子集的本地機(jī)器學(xué)習(xí)更新來(lái)更新中央機(jī)器學(xué)習(xí)模型的模型權(quán)重的程序代碼。本地子集與固定本地區(qū)相對(duì)應(yīng)。該程序代碼還包括用于基于用于客戶(hù)端的相鄰子集的相鄰機(jī)器學(xué)習(xí)更新來(lái)更新中央機(jī)器學(xué)習(xí)模型的模型權(quán)重的程序代碼。相鄰子集與和固定本地區(qū)相鄰的固定相鄰區(qū)相對(duì)應(yīng)。在更新模型權(quán)重時(shí)相鄰機(jī)器學(xué)習(xí)更新具有與本地機(jī)器學(xué)習(xí)更新不同的權(quán)重。不同的權(quán)重的值與相似性參數(shù)相對(duì)應(yīng)，固定相鄰區(qū)具有第二固定邊界。

5、各方面整體上包括如基本上參照附圖和說(shuō)明書(shū)描述的和如附圖和說(shuō)明書(shū)所例示的方法、裝置、系統(tǒng)、計(jì)算機(jī)程序產(chǎn)品、非暫態(tài)計(jì)算機(jī)可讀介質(zhì)、用戶(hù)裝備、基站、無(wú)線(xiàn)通信設(shè)備和處理系統(tǒng)。

6、上文已經(jīng)相當(dāng)廣泛地概述了根據(jù)本公開(kāi)的示例的特征和技術(shù)優(yōu)點(diǎn)，以便可更好地理解下面的具體實(shí)施方式。將描述附加特征和優(yōu)點(diǎn)。所公開(kāi)的概念和特定示例可容易地被利用用于修改或設(shè)計(jì)用于實(shí)現(xiàn)本公開(kāi)的相同目的的其他結(jié)構(gòu)的基礎(chǔ)。此類(lèi)等效構(gòu)造不脫離所附權(quán)利要求書(shū)的范圍。所公開(kāi)的概念的特性在其組織和操作方法兩方面以及相關(guān)聯(lián)的優(yōu)勢(shì)將通過(guò)結(jié)合附圖來(lái)考慮以下描述而被更好地理解。提供附圖中的每個(gè)附圖是出于例示和描述的目的，而不是作為權(quán)利要求的限制的定義。

技術(shù)特征：

1.一種處理器實(shí)現(xiàn)的方法，包括：

2.根據(jù)權(quán)利要求1所述的處理器實(shí)現(xiàn)的方法，還包括利用機(jī)器學(xué)習(xí)訓(xùn)練來(lái)學(xué)習(xí)所述相似性參數(shù)。

3.根據(jù)權(quán)利要求1所述的處理器實(shí)現(xiàn)的方法，其中所述相似性參數(shù)包括自注意力系數(shù)。

4.根據(jù)權(quán)利要求3所述的處理器實(shí)現(xiàn)的方法，其中所述自注意力系數(shù)將所述本地子集的所述本地機(jī)器學(xué)習(xí)更新與所述相鄰子集的所述相鄰機(jī)器學(xué)習(xí)更新之間的關(guān)系進(jìn)行歸一化。

5.根據(jù)權(quán)利要求4所述的處理器實(shí)現(xiàn)的方法，其中所述關(guān)系包括內(nèi)積。

6.一種裝置，包括：

7.根據(jù)權(quán)利要求6所述的裝置，其中所述至少一個(gè)處理器被進(jìn)一步配置為：利用機(jī)器學(xué)習(xí)訓(xùn)練來(lái)學(xué)習(xí)所述相似性參數(shù)。

8.根據(jù)權(quán)利要求6所述的裝置，其中所述相似性參數(shù)包括自注意力系數(shù)。

9.根據(jù)權(quán)利要求8所述的裝置，其中所述自注意力系數(shù)將所述本地子集的所述本地機(jī)器學(xué)習(xí)更新與所述相鄰子集的所述相鄰機(jī)器學(xué)習(xí)更新之間的關(guān)系進(jìn)行歸一化。

10.根據(jù)權(quán)利要求9所述的裝置，其中所述關(guān)系包括內(nèi)積。

11.一種裝置，包括：

12.根據(jù)權(quán)利要求11所述的裝置，還包括用于利用機(jī)器學(xué)習(xí)訓(xùn)練來(lái)學(xué)習(xí)所述相似性參數(shù)的部件。

13.根據(jù)權(quán)利要求11所述的裝置，其中所述相似性參數(shù)包括自注意力系數(shù)。

14.根據(jù)權(quán)利要求13所述的裝置，其中所述自注意力系數(shù)將所述本地子集的所述本地機(jī)器學(xué)習(xí)更新與所述相鄰子集的所述相鄰機(jī)器學(xué)習(xí)更新之間的關(guān)系進(jìn)行歸一化。

15.根據(jù)權(quán)利要求14所述的裝置，其中所述關(guān)系包括內(nèi)積。

16.一種非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，所述非暫態(tài)計(jì)算機(jī)可讀介質(zhì)上記錄有程序代碼，所述程序代碼由處理器執(zhí)行并且包括：

17.根據(jù)權(quán)利要求16所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中所述程序代碼還包括用于利用機(jī)器學(xué)習(xí)訓(xùn)練來(lái)學(xué)習(xí)所述相似性參數(shù)的程序代碼。

18.根據(jù)權(quán)利要求16所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中所述相似性參數(shù)包括自注意力系數(shù)。

19.根據(jù)權(quán)利要求18所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中所述自注意力系數(shù)將所述本地子集的所述本地機(jī)器學(xué)習(xí)更新與所述相鄰子集的所述相鄰機(jī)器學(xué)習(xí)更新之間的關(guān)系進(jìn)行歸一化。

20.根據(jù)權(quán)利要求19所述的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其中所述關(guān)系包括內(nèi)積。

技術(shù)總結(jié)
一種處理器實(shí)現(xiàn)的方法包括：從聯(lián)邦學(xué)習(xí)系統(tǒng)中的客戶(hù)端接收機(jī)器學(xué)習(xí)模型更新。該方法還包括確定與該客戶(hù)端中的每個(gè)客戶(hù)端相關(guān)聯(lián)的固定本地區(qū)，該固定本地區(qū)具有第一固定邊界。該方法包括：基于用于與該固定本地區(qū)相對(duì)應(yīng)的該客戶(hù)端的本地子集的本地機(jī)器學(xué)習(xí)更新來(lái)更新中央機(jī)器學(xué)習(xí)模型的模型權(quán)重。該方法包括：基于用于客戶(hù)端的相鄰子集的相鄰機(jī)器學(xué)習(xí)更新來(lái)更新該中央機(jī)器學(xué)習(xí)模型的模型權(quán)重。該相鄰子集與和該固定本地區(qū)相鄰并且具有第二固定邊界的固定相鄰區(qū)相對(duì)應(yīng)。在更新模型權(quán)重時(shí)相鄰機(jī)器學(xué)習(xí)更新具有與本地機(jī)器學(xué)習(xí)更新不同的權(quán)重。該不同的權(quán)重的值與相似性參數(shù)相對(duì)應(yīng)。

技術(shù)研發(fā)人員：V·D·梅尤里,陳安
受保護(hù)的技術(shù)使用者：高通股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/22