本發(fā)明涉及5g和數(shù)字信息傳輸領(lǐng)域，具體涉及一種5g云邊協(xié)同內(nèi)容緩存方法。

背景技術(shù)：

1、隨著5g、云計算、邊緣計算技術(shù)的迅速發(fā)展，云邊協(xié)同的技術(shù)架構(gòu)已經(jīng)逐漸成為新一代信息系統(tǒng)技術(shù)的主流架構(gòu)。云計算依靠其強大的計算能力與彈性伸縮能力，為用戶提供更加快速高效的計算與存儲服務，邊緣計算將部分節(jié)點下放至距離用戶較近的區(qū)域，從而進一步減少了網(wǎng)絡(luò)傳輸時延。而云邊協(xié)作技術(shù)，即將云計算技術(shù)與邊緣計算技術(shù)相結(jié)合，可以同時結(jié)合兩者的優(yōu)點：一方面，可以使得整個網(wǎng)絡(luò)服務具備高效的計算能力、存儲能力，另一方面，由于邊緣節(jié)點與用戶距離較近，可以提供高效的網(wǎng)絡(luò)服務，這兩方面的特點使得云邊協(xié)作技術(shù)被廣泛應用于各種場景，以提高服務質(zhì)量、改善用戶體驗。

2、用戶對網(wǎng)絡(luò)質(zhì)量的綜合主觀感知直接體現(xiàn)出網(wǎng)絡(luò)服務的好壞，這也被稱為體驗質(zhì)量，該指標與流量負載、網(wǎng)絡(luò)延遲息息相關(guān)。而云邊協(xié)作技術(shù)可以將一些存儲或計算任務下放至邊緣節(jié)點，這些邊緣節(jié)點距離用戶比較近，可以智能地、定期地、主動地緩存和更新緩存的內(nèi)容，從而減少網(wǎng)絡(luò)負載與網(wǎng)絡(luò)時延，達到提高用戶體驗質(zhì)量的目的?，F(xiàn)有使用云邊協(xié)作技術(shù)提高用戶體驗質(zhì)量的方法聚焦于內(nèi)容預測，即通過精準預測用戶即將訪問的內(nèi)容，提前將內(nèi)容緩存至邊緣節(jié)點，從而達到減少負載與時延的目的?，F(xiàn)有基于內(nèi)容預測的用戶體驗質(zhì)量提高方案可分為兩類，分別是基于統(tǒng)計學的內(nèi)容預測方案、基于人工智能的內(nèi)容預測方案。

3、其中，基于統(tǒng)計學的內(nèi)容預測方案，這類方案的主要思想是利用統(tǒng)計學總結(jié)用戶對于內(nèi)容的偏好，從而對內(nèi)容做出預測。例如，最不頻繁使用策略（least?frequentlyused,?lfu），根據(jù)特定單個用戶的訪問頻率做出緩存替換決策，訪問的數(shù)據(jù)項會保留在緩存中，而不常訪問的數(shù)據(jù)項目可能會被刪除；k-最不頻繁使用策略（k-th?access,lru-k）根據(jù)k個用戶的數(shù)據(jù)決定緩存策略，以提高預測準確率。這類方案較為簡單，且計算開銷與存儲開銷較小。

4、而基于人工智能的內(nèi)容預測方案，這類方案的主要思想是利用人工智能算法強大的數(shù)據(jù)挖掘能力，基于用戶歷史數(shù)據(jù)，挖掘相關(guān)的特征，預測下一時刻該區(qū)域內(nèi)用戶的訪問內(nèi)容，以此提高用戶體驗質(zhì)量。這類方案可以分為兩種，第一種是基于時序序列預測方案，利用長短期記憶（long?short-term?memory，lstm）、transformer等時序預測算法，基于歷史瀏覽內(nèi)容等信息，預測用戶群體中的熱門信息，提高緩存內(nèi)容的精確度；另一種是基于強化學習的方案，強化學習方法通過智能體與環(huán)境交互過程中得到獎勵反饋，進行參數(shù)優(yōu)化，從而得到最優(yōu)的緩存策略。

5、盡管現(xiàn)有方案可以通過預測緩存內(nèi)容的方式提高用戶體驗質(zhì)量，但是現(xiàn)有方案仍存在以下問題：

6、1、現(xiàn)有方案在預測緩存內(nèi)容時，預測依據(jù)較為粗粒度，僅僅考慮了用戶的歷史數(shù)據(jù)，而忽略了熱門信息、用戶偏好等因素，此外現(xiàn)有方案并沒有根據(jù)數(shù)據(jù)特點，設(shè)計差異化的特征提取方法，導致預測結(jié)果準確率較低，進而導致用戶體驗感不佳的后果。

7、2、現(xiàn)有方案基于強化學習進行決策時，僅考慮單個智能體的決策，此外，經(jīng)驗回放區(qū)域的存儲容量限制，使得其數(shù)據(jù)質(zhì)量相對隨機，這回導致訓練過程中的性能下降，決策誤差較大的問題。

8、因此，需要設(shè)計一種5g云邊協(xié)同內(nèi)容緩存方法以解決目前存在的不足。

技術(shù)實現(xiàn)思路

1、本發(fā)明針對現(xiàn)有技術(shù)存在的問題，提供了一種5g云邊協(xié)同內(nèi)容緩存方法。該方法綜合考慮多項因素，比如用戶偏好信息、歷史瀏覽記錄、區(qū)域熱門信息、網(wǎng)絡(luò)負載、網(wǎng)絡(luò)延遲等提高緩存命中率，以最小化流量負載和網(wǎng)絡(luò)延遲，從而提高用戶體驗。

2、為實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

3、基于余弦相似度理論構(gòu)建預測準確率和緩存命中率的表述方式；

4、根據(jù)用戶在時刻請求的內(nèi)容的獲取方式，構(gòu)建總體傳輸時延的表述方式；

5、根據(jù)總體傳輸時延的表述方式構(gòu)建總的流量代價的表述方式；

6、綜合考慮命中率、傳輸時延與流量負載，構(gòu)建用戶體驗的表述方式，并進一步構(gòu)建緩存模型；

7、將緩存模型拆分為和兩部分；

8、通過基于transformer、深度神經(jīng)網(wǎng)絡(luò)與超維計算的緩存預測方案求解；

9、通過采用深度強化學習的方法求解。

10、在一個具體的可實施方案中，預測準確率的表述方式為：；

11、緩存命中率的表述方式為：；

12、上式中，針對第個邊緣節(jié)點，

13、在時刻其預測用戶在下一時刻訪問的內(nèi)容為，

14、用戶在時刻實際訪問的內(nèi)容為，

15、緩存決策結(jié)束后所緩存的內(nèi)容表示為，

16、表示邊緣節(jié)點在時刻緩存的第個內(nèi)容。

17、在一個具體的可實施方案中，用戶在時刻請求的內(nèi)容的獲取方式包括：

18、本地通信：如果邊緣節(jié)點本地已經(jīng)緩存了該內(nèi)容，則直接將從傳輸給用戶；

19、近鄰通信：如果用戶請求的內(nèi)容在邊緣節(jié)點本地沒有緩存，則嘗試從其相鄰的邊緣節(jié)點獲取該內(nèi)容；

20、云端通信：如果用戶請求的內(nèi)容在邊緣節(jié)點以及其相鄰節(jié)點都沒有緩存，則通過回傳鏈路從云計算中心獲取該緩存。

21、在一個具體的可實施方案中，總體的傳輸時延表示為：；

22、其中，表示傳輸時延，

23、代表的一個鄰近邊緣節(jié)點和云計算中心；

24、表示針對該內(nèi)容從處獲取該內(nèi)容的延時；表示邊緣服務器在時刻收到的針對內(nèi)容的請求次數(shù)；

25、表示在時刻在中針對的請求是否被滿足，若是，則，否則；

26、總的流量代價表示為：；

27、其中，表示和之間的流量代價。

28、在一個具體的可實施方案中，用戶體驗表示為：

29、式中，表示從處獲取內(nèi)容所需的時間；

30、表示內(nèi)容的利用函數(shù)；

31、代表通過直接通信方式獲得的代價；

32、代表設(shè)備在時間里的移動速度；

33、代表設(shè)備在時間里的傳輸半徑；

34、和均為通訊權(quán)重參數(shù)；

35、滿足約束條件：

36、

37、

38、

39、

40、

41、

42、上式中，與為預測準確率的期望值，，，為權(quán)重參數(shù)。

43、在一個具體的可實施方案中，表示為：；

44、表示為：。

45、在一個具體的可實施方案中，對的求解過程為：對數(shù)據(jù)進行預處理，利用高維計算方法，將矢量化緩存內(nèi)容進一步映射到超維空間；

46、將預處理后的數(shù)據(jù)作為輸入，分別通過用戶偏好提取網(wǎng)絡(luò)、歷史信息提取網(wǎng)絡(luò)與熱門信息提取網(wǎng)絡(luò)，從而提取用戶偏好、歷史信息與熱門信息，用戶偏好提取網(wǎng)絡(luò)由僅包含一層的全連接神經(jīng)網(wǎng)絡(luò)組成；

47、采用時序序列神經(jīng)網(wǎng)絡(luò)transformer預測下一時刻的歷史信息與熱門信息，transformer中的編碼器-解碼器結(jié)構(gòu)來預測序列，并將編碼器和解碼器的嵌入層與高維向量相結(jié)合，其中用向量間運算取代原始浮點運算；

48、對預測結(jié)果進行綜合，得到最終的內(nèi)容矩陣。

49、在一個具體的可實施方案中，采用時序序列神經(jīng)網(wǎng)絡(luò)transformer預測下一時刻的歷史信息與熱門信息，transformer中的編碼器-解碼器結(jié)構(gòu)來預測序列，并將編碼器和解碼器的嵌入層與高維向量相結(jié)合包括如下步驟：

50、熱門信息預測網(wǎng)絡(luò)與歷史信息提取網(wǎng)絡(luò)采用transformer的編碼器-解碼器結(jié)構(gòu)；

51、對于已知的時間序列數(shù)據(jù)，將預測樣本拆分為：和，其中，是輸入數(shù)據(jù)，是輸出目標；

52、編碼器的嵌入層用于生成超維向量，矢量化矩陣表示為：，transformer根據(jù)奇偶位置分別采用不同的三角函數(shù)進行編碼，分別為

53、

54、

55、其中表示位置編碼，表示令牌的位置，表示該向量中每個元素的索引，是位置編碼向量的維數(shù)；

56、建立三個不同的矩陣，分別稱為查詢、關(guān)鍵字和值，每個矩陣都是通過線性變換獲得，即，其中可訓練權(quán)重矩陣表示為；

57、transformer中的自注意模塊計算每個查詢和所有鍵之間的成對相似性，捕獲內(nèi)各種向量之間的相互關(guān)系，來捕捉輸入的關(guān)鍵信息，記作，，其中包括總共個向量；

58、的輸出是所有值的加權(quán)和：，softmax()為激活函數(shù)，其中是、和的維度；

59、重復行執(zhí)行次，提取相同位置元素與多個位置元素的關(guān)系，多頭注意力模塊包括個頭部，每個頭部都配備了一個不同的可訓練權(quán)重矩陣；

60、在為每個頭輸入后，將頭的輸出組合成一個統(tǒng)一的矩陣，將多個注意力頭的輸出組合在一起，組成總的輸出，多頭注意力模塊的輸出為，其中，為神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)；

61、對于熱門信息的預測，在更新過程中，在下一時刻使用完整的歷史瀏覽數(shù)據(jù)來計算損失并進行梯度更新；對于歷史信息的預測，歷史信息提取網(wǎng)絡(luò)的更新是其輸出數(shù)據(jù)和通過線性層的結(jié)果：。

62、在一個具體的可實施方案中，定義狀態(tài)空間、動作空間和獎勵；

63、表示為的actor網(wǎng)絡(luò)，表示為的critic網(wǎng)絡(luò)，表示為由的目標actor網(wǎng)絡(luò)，以及表示為的目標critic網(wǎng)絡(luò)在訓練過程中的參數(shù)更新分為兩次，更新critic網(wǎng)絡(luò)與更新actor網(wǎng)絡(luò)；

64、當更新critic網(wǎng)絡(luò)時，先選擇一組樣本和，并利用目標actor網(wǎng)絡(luò)計算狀態(tài)狀態(tài)下采取的動作，即；

65、利用目標critic網(wǎng)絡(luò)，計算狀態(tài)-動作組合，的目標值，即，其中，done參數(shù)代表訓練是否完成，如果訓練完成，則為1，否則為0；

66、利用critic網(wǎng)絡(luò)計算狀態(tài)-動作組合的評估值：，并采用梯度下降算法來減小評估值和預期值之間的差異，從而更新critic網(wǎng)絡(luò)的參數(shù)；

67、當更新actor網(wǎng)絡(luò)，先利用actor網(wǎng)絡(luò)來計算狀態(tài)中的動作，即計算；

68、利用critic網(wǎng)絡(luò)計算狀態(tài)-動作組合的評估值，即累積預期回報；

69、使用梯度上升算法來最大化累積預期回報。

70、在一個具體的可實施方案中，求解的過程中，建立了一個優(yōu)先級值，該值由當前和目標分布之間的方差來評估，表示為；目標是減少，將優(yōu)先級值映射到0-1之間，并將其視為經(jīng)驗重放的概率。

71、相對于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：

72、（1）本發(fā)明針對由主動緩存不準確導致的用戶體驗質(zhì)量下降的問題，提供從緩存內(nèi)容預測到?jīng)Q策的智能化解決方案，該方案綜合考慮了多項指標，包括用戶偏好信息、歷史瀏覽記錄、區(qū)域熱門信息、網(wǎng)絡(luò)負載、網(wǎng)絡(luò)延遲等因素，以提高用戶體驗質(zhì)量。具體是，在預測緩存內(nèi)容時，本發(fā)明設(shè)計了細粒度的特征提取方案。一方面，綜合考慮了用戶的偏好信息、熱門信息與歷史瀏覽數(shù)據(jù)，同時，根據(jù)不同數(shù)據(jù)的特點，設(shè)計了差異化的特征提取方案，從而高效全面的提取用戶數(shù)據(jù)特征，達到較高的結(jié)果預測準確率。

73、（2）本發(fā)明使用了高效且準確率高的決策方案，、綜合考慮多個智能體的決策，并且利用優(yōu)先經(jīng)驗回放策略，提高訓練過程中的性能，使得決策更加準確，提高用戶體驗質(zhì)量。