本發(fā)明涉及隱私保護，尤其涉及一種面向個性化推薦系統(tǒng)的隱私保護聯(lián)邦學習方法。

背景技術(shù)：

1、推薦系統(tǒng)可以被定義為一種應用，其核心是推薦算法。推薦系統(tǒng)的主要目的是在特定的場景下，探索用戶的偏好，并從海量的數(shù)據(jù)中找到用戶可能感興趣的信息，為用戶生成推薦列表。作為應對“信息過載”問題的有效技術(shù)，推薦系統(tǒng)被廣泛應用于電子商務、廣告、音樂、視頻、新聞、求職、社交、旅游、外賣、金融、教育、醫(yī)療、工業(yè)生產(chǎn)等領(lǐng)域。根據(jù)麥肯錫的報告，35％的客戶在亞馬遜上購買的內(nèi)容和75％的用戶在netflix上觀看的內(nèi)容來自于推薦系統(tǒng)。

2、推薦系統(tǒng)技術(shù)給我們生活帶來便利的同時，也帶來了新的挑戰(zhàn)。推薦系統(tǒng)利用用戶與物品的歷史交互數(shù)據(jù)以及各自固有的內(nèi)容屬性特征，并且整合多種附加信息(比如社交信息、文本信息、圖像信息等)進行個性化建模以此實現(xiàn)對于用戶未來可能感興趣的物品進行精準預測的功能。由于海量信息中不可避免的存在用戶個人數(shù)據(jù)以及敏感信息，因此平臺需要收集更多的訓練數(shù)據(jù)以提升推薦性能與用戶為保護隱私而盡可能少的共享個人數(shù)據(jù)間的矛盾逐漸凸顯。不管是個人、企業(yè)，還是組織，都不希望自己的隱私數(shù)據(jù)被泄漏，但是現(xiàn)有的技術(shù)卻無法提供良好的數(shù)據(jù)保護能力。為了加強對數(shù)據(jù)隱私安全的保護，各國開始紛紛出臺各類法律法規(guī)，從法律層面規(guī)范和保護數(shù)據(jù)安全。

3、傳統(tǒng)的中心化式學習，服務器需要收集用戶原始評分數(shù)據(jù)并完成模型訓練，然后把推薦結(jié)果反饋給用戶。這種訓練方式容易導致用戶行為信息泄露給不可信服務器。聯(lián)邦學習是一種分布式機器學習技術(shù)，其特點是：用戶行為數(shù)據(jù)存儲在本地，服務器與用戶通過模型中間參數(shù)進行協(xié)同優(yōu)化的方式進行模型訓練。因此將聯(lián)邦學習框架應用于推薦系統(tǒng)上可以從根源上解決用戶行為信息的隱私保護問題。然而，最新的研究(wang?z,song?m,zhang?z,songy,wang?q,qi?h.beyond?inferring?class?representatives:user-levelprivacy?leakage?from?federated?learning.in:proceedings?of?the?ieee?conferenceon?computer?communications,2019,16:2512-2520)表明傳輸模型的梯度信息仍然可能遭受逆向攻擊進而泄露用戶隱私以及模型的結(jié)構(gòu)信息。

4、當前針對聯(lián)邦推薦系統(tǒng)的隱私保護方法主要有同態(tài)加密和差分隱私，前者需要較高的通信和計算成本，不適用于計算資源有限的終端設備，后者由于嚴格的數(shù)學假設不可避免的對模型的準確性有所影響。因此，一種面向個性化推薦系統(tǒng)的輕量級、高精度和隱私保護能力強的聯(lián)邦學習方法仍然亟待研究。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種面向個性化推薦系統(tǒng)的隱私保護聯(lián)邦學習方法，旨在解決現(xiàn)有的本地差分隱私聯(lián)邦推薦算法無法兼顧隱私保護程度和模型精度的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供了一種面向個性化推薦系統(tǒng)的隱私保護聯(lián)邦學習方法，包括以下步驟：

3、基于個性化商品信息初始化用戶向量和項目矩陣；

4、將所述用戶向量更新和計算局部梯度，并請求降噪矩陣；

5、對所述局部梯度進行加噪，聚合，得到全局噪聲梯度；

6、基于所述降噪矩陣除去所述全局噪聲梯度中的噪聲，并更新項目矩陣，迭代終止并輸出推薦列表。

7、其中，所述基于個性化商品信息初始化用戶向量和項目矩陣的具體方式：

8、基于個性化商品信息在本地隨機初始化用戶特征向量；

9、可信第三方隨機初始化項目特征矩陣，并將其發(fā)送給參與本輪訓練的用戶。

10、其中，所述將所述用戶向量更新和計算局部梯度，并請求降噪矩陣的具體方式：

11、參與本輪訓練的用戶分別在本地更新所述用戶特征向量和計算局部梯度；

12、向可信第三方請求噪聲矩陣，隨機生成拉普拉斯噪聲矩陣和權(quán)重參數(shù)。

13、其中，所述對所述局部梯度進行加噪，聚合，得到全局噪聲梯度的具體方式：

14、參與本輪訓練的用戶分別在本地對所述局部梯度添加噪聲，并將所述局部噪聲梯度發(fā)送給聯(lián)邦服務器；

15、聯(lián)邦服務器聚合參所述局部噪聲梯度得到全局噪聲梯度，并將其發(fā)送給參與本輪訓練的用戶。

16、其中，所述基于所述降噪矩陣除去所述全局噪聲梯度中的噪聲，并更新項目矩陣，迭代終止并輸出推薦列表的具體方式：

17、基于所述降噪矩陣除去所述全局噪聲梯度中的噪聲，并更新項目矩陣；

18、當訓練達到模型精度或迭代上限閾值時終止迭代，用戶分別在本地計算評分向量，得到推薦列表。

19、其中，所述用戶向量的更新公式：

20、

21、所述局部梯度計算：

22、

23、其中，i是用戶的索引，j是項目的索引，ui是第i個用戶的用戶特征向量，vj是第j個項目的項目特征向量，v是項目矩陣，gi是第i個用戶計算的局部梯度，γ和λ1是超參數(shù)。

24、其中，所述用戶具有相同項目列表，以及用戶對項目評分構(gòu)成的評分向量，所述評分向量是含大量缺失值的稀疏向量，所有的用戶的所述評分向量構(gòu)成評分矩陣。

25、本發(fā)明的一種面向個性化推薦系統(tǒng)的隱私保護聯(lián)邦學習方法，基于個性化商品信息初始化用戶向量和項目矩陣；將所述用戶向量更新和計算局部梯度，并請求降噪矩陣；對所述局部梯度進行加噪，聚合，得到全局噪聲梯度；基于所述降噪矩陣除去所述全局噪聲梯度中的噪聲，并更新項目矩陣，迭代終止并輸出推薦列表，該可防止用戶評分、局部梯度和推薦結(jié)果泄露給服務器的同時，能夠達到與明文場景下相同的模型精度。用戶和服務器通信的局部梯度滿足本地差分隱私，全局梯度滿足聯(lián)合差分隱私，本地數(shù)據(jù)和梯度隱私均得到了保護，并且最終生成的個性化推薦列表在本地生成，只有用戶自己能夠訪問，保護了用戶的個性化推薦結(jié)果隱私；通過引入可信第三方設計了用戶在本地可以去除全局梯度噪聲的機制，克服了本地差分隱私聯(lián)邦學習中噪聲累加帶來的模型精度不高的影響，使得所提出的方法具備強隱私保護能力的同時，模型精度不受損失；該方法不需要所有用戶參與每輪的訓練，通過服務器選擇每輪參與訓練的用戶集，能有效的應對聯(lián)邦學習的“掉隊者效應”，使得聯(lián)邦學習高效且穩(wěn)健，解決了現(xiàn)有的本地差分隱私聯(lián)邦推薦算法無法兼顧隱私保護程度和模型精度的問題。

技術(shù)特征：

1.一種面向個性化推薦系統(tǒng)的隱私保護聯(lián)邦學習方法，其特征在于，包括以下步驟：

2.如權(quán)利要求1所述的面向個性化推薦系統(tǒng)的隱私保護聯(lián)邦學習方法，其特征在于；

3.如權(quán)利要求1所述的面向個性化推薦系統(tǒng)的隱私保護聯(lián)邦學習方法，其特征在于；

4.如權(quán)利要求1所述的面向個性化推薦系統(tǒng)的隱私保護聯(lián)邦學習方法，其特征在于；

5.如權(quán)利要求1所述的面向個性化推薦系統(tǒng)的隱私保護聯(lián)邦學習方法，其特征在于；

6.如權(quán)利要求1所述的面向個性化推薦系統(tǒng)的隱私保護聯(lián)邦學習方法，其特征在于；

7.如權(quán)利要求2所述的面向個性化推薦系統(tǒng)的隱私保護聯(lián)邦學習方法，其特征在于；

技術(shù)總結(jié)
本發(fā)明涉及隱私保護技術(shù)領(lǐng)域，具體涉及一種面向個性化推薦系統(tǒng)的隱私保護聯(lián)邦學習方法，包括基于個性化商品信息初始化用戶向量和項目矩陣；將用戶向量更新和計算局部梯度，并請求降噪矩陣；對局部梯度進行加噪，聚合，得到全局噪聲梯度；基于降噪矩陣除去全局噪聲梯度中的噪聲，并更新項目矩陣，迭代終止并輸出推薦列表，該方法使得基于本地差分隱私的聯(lián)邦推薦算法可以實現(xiàn)安全無損的訓練模式，且能夠解決聯(lián)邦學習“掉隊者效應”導致的模型訓練效率低問題，可防止用戶評分、局部梯度和推薦結(jié)果泄露給服務器的同時，能夠達到與明文場景下相同的模型精度。解決了現(xiàn)有的本地差分隱私聯(lián)邦推薦算法無法兼顧隱私保護程度和模型精度的問題。

技術(shù)研發(fā)人員：段雪峰,盧榮偉,韋宇星,丁勇
受保護的技術(shù)使用者：桂林電子科技大學
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15