本發(fā)明屬于任務卸載，具體涉及一種鐵路邊緣計算服務緩存和任務卸載方法及系統(tǒng)。

背景技術：

1、移動邊緣計算（mec）通過將計算資源延伸至靠近鐵路車輛的位置（如沿途部署的邊緣服務器），顯著減少數(shù)據(jù)傳輸中的時延。mec允許鐵路系統(tǒng)中的實時交互和任務處理，從而最大限度的降低網絡延遲，提高任務的執(zhí)行效率，特別是在時間和能耗方面的表現(xiàn)尤為突出。通常情況下，鐵路車輛的計算任務會被卸載到邊緣服務器上處理。由于列車監(jiān)控、乘客信息服務等任務不僅需要處理用戶特定的數(shù)據(jù)，還需依賴大型數(shù)據(jù)庫（如乘客信息庫或車輛狀態(tài)數(shù)據(jù)庫），這些大規(guī)模數(shù)據(jù)的傳輸可能會顯著增加通信延遲，進而影響mec的整體性能。并且，邊緣服務器的資源相較于云中心是有限的，在鐵路場景中，高速運行的列車與多列車并發(fā)任務處理進一步加劇了對帶寬和計算資源的競爭，任務之間在數(shù)據(jù)大小、計算資源需求和延遲限制方面表現(xiàn)出高度異構性，這對資源的優(yōu)化利用提出了更高的要求。

2、現(xiàn)有技術往往側重于任務卸載、服務緩存，沒有綜合考慮整個系統(tǒng)的多維優(yōu)化。任務卸載雖然能夠減少單一任務的處理延遲，但由于忽略了帶寬和計算資源的協(xié)調分配，可能導致邊緣服務器資源負載過大，影響整體系統(tǒng)的性能。再者，現(xiàn)有技術通常集中于降低任務延遲或提升資源利用率，往往忽視了車輛之間的公平性，尤其是在需要處理多個鐵路車輛任務時。這可能導致某些車輛的計算任務優(yōu)先處理，而其他車輛的任務則被延遲執(zhí)行，無法滿足鐵路運輸系統(tǒng)對實時性和公平性的要求。邊緣服務器的資源有限，如何在保證系統(tǒng)性能的同時公平分配這些資源是一個難點。綜上所述，現(xiàn)有技術往往只適用于負載較輕的場景，由于鐵路車輛具有高移動性、任務異構性、實時性需求和資源競爭性的特點，現(xiàn)有技術在面對鐵路系統(tǒng)中的高密度任務請求時，性能會出現(xiàn)急劇下降。

技術實現(xiàn)思路

1、本發(fā)明的目的是針對現(xiàn)有技術存在的上述問題，提供一種自適應調整服務緩存和任務卸載，公平分配計算資源和網絡帶寬，從而提高了邊緣服務器和鐵路車輛本地的資源利用率，減少處理延遲并提高任務完成率，能夠滿足鐵路場景中不同類型和復雜度的任務需求的鐵路邊緣計算服務緩存和任務卸載方法及系統(tǒng)。

2、為實現(xiàn)以上目的，本發(fā)明的技術方案如下：

3、第一方面，本發(fā)明提供了一種鐵路邊緣計算服務緩存和任務卸載方法，所述方法包括：

4、步驟一、以平均滿意度最大化為目標構建鐵路系統(tǒng)優(yōu)化模型；

5、步驟二、構建acscto網絡模型，所述acscto網絡模型包括服務緩存和任務卸載網絡、帶寬資源分配網絡、計算資源分配網絡，用于先生成服務緩存決策，然后基于生成的服務緩存決策生成任務卸載決策，所述帶寬資源分配網絡是基于鐵路系統(tǒng)優(yōu)化模型解構出的帶寬資源分配模型構建得到，用于基于服務緩存決策、任務卸載決策生成帶寬資源分配決策，所述計算資源分配網絡是基于鐵路系統(tǒng)優(yōu)化模型解構出的計算資源分配模型構建得到，用于基于服務緩存決策、任務卸載決策、帶寬資源分配決策生成計算資源分配決策；

6、步驟三、對acscto網絡模型進行訓練；

7、步驟四、利用訓練好的acscto網絡模型生成鐵路系統(tǒng)的服務緩存決策、任務卸載決策、資源分配決策，所述資源分配決策包括帶寬資源分配和計算資源分配。

8、所述acscto網絡模型的訓練過程包括：

9、s1、所述服務緩存和任務卸載網絡包括服務緩存網絡、任務卸載網絡，所述服務緩存網絡包括actor網絡、critic網絡，所述actor網絡與critic網絡的結構相同且共享同一個輸入數(shù)據(jù)，設時隙的輸入數(shù)據(jù)為，包括在時隙的任務信息、服務信息和前一個時隙的緩存狀態(tài)，所述任務信息包括任務所需的服務數(shù)量、任務輸入數(shù)據(jù)大小、任務所需的計算資源、任務與邊緣服務器之間的通道增益，所述服務信息包括服務在邊緣服務器的緩存狀態(tài)、存儲需求；所述actor網絡的輸出經過softmax層變換得到概率分布向量，所述概率分布向量中的單個元素表示邊緣服務器在時隙緩存服務的概率，對概率分布向量進行非重復采樣獲得緩存決策；然后將輸入數(shù)據(jù)、緩存決策組合形成輸入數(shù)據(jù)，將輸入數(shù)據(jù)輸入至任務卸載網絡，由任務卸載網絡輸出多個卸載決策；

10、s2、將緩存決策、卸載決策一起輸入帶寬資源分配網絡，由帶寬資源分配模塊輸出帶寬資源分配決策，將緩存決策、卸載決策、帶寬資源分配決策輸入計算資源分配網絡，由計算資源分配網絡輸出計算資源分配決策；基于得到的緩存決策、卸載決策、帶寬資源分配決策、計算資源分配決策計算平均滿意度；

11、選出具有最高平均滿意度的卸載決策并將其命名為卸載決策，根據(jù)以下公式更新任務卸載網絡的網絡參數(shù)：

12、；

13、上式中，表示任務卸載網絡的學習率；表示相對于任務卸載網絡參數(shù)的梯度；

14、s3、計算卸載決策中單個任務的滿意度并將其命名為獎勵，計算所有任務都在本地執(zhí)行時單個任務的滿意度并將其命名為獎勵，根據(jù)以下公式計算得到卸載決策中單個任務的卸載獎勵：；

15、s4、組合得到四元組，其中為時隙的輸入數(shù)據(jù)；將四元組輸入到critic網絡，由critic網絡輸出大小為的向量，表示邊緣服務器緩存服務的數(shù)量，所述向量?中的元素為，表示對輸入數(shù)據(jù)選擇服務的價值預測值；

16、s5、利用對critic網絡的網絡參數(shù)以及actor網絡的網絡參數(shù)進行更新；更新公式為：

17、；

18、；

19、；

20、上式中，表示critic網絡的學習率；表示相對于critic網絡參數(shù)的梯度；表示在給定下，根據(jù)actor網絡參數(shù)選擇動作的概率分布；表示輸入數(shù)據(jù)的目標價值；表示折扣因子。

21、所述鐵路系統(tǒng)優(yōu)化模型的目標函數(shù)為：

22、；

23、；

24、；

25、；

26、；；

27、；；

28、上式中，表示平均滿意度；表示計算資源向量；表示服務緩存向量；表示帶寬分配向量，表示任務卸載向量；表示任務的滿意度；表示調度周期；表示用戶設備數(shù)量；表示任務的最大可容忍延遲；表示任務的卸載決策，表示任務在本地執(zhí)行，表示任務被卸載到邊緣服務器執(zhí)行；表示分配給任務的計算資源；表示在單個時隙中分配給任務的帶寬資源；表示滿意度矯正參數(shù)；表示卸載任務的總體完成時間；表示任務在本地執(zhí)行的總處理時間；表示服務的緩存決策，當表示服務緩存在邊緣，當表示服務未被緩存；表示任務從本地設備到邊緣服務器的無線通訊傳輸延遲；表示服務從云端下載到邊緣服務器所需的時間；表示任務的執(zhí)行延遲；、分別表示任務在時隙、時隙所需服務的緩存狀態(tài)；?表示邊緣服務器與云端之間的傳輸速率；表示上行數(shù)據(jù)速率；表示在時隙任務在本地設備到邊緣服務器之間的無線信道增益；表示本地設備的發(fā)射功率；表示噪聲功率譜密度；表示任務的輸入數(shù)據(jù)大?。槐硎痉盏拇鎯π枨?；表示任務所需的計算資源；表示任務在時隙請求服務的指示變量；表示用戶設備的平均處理頻率；

29、所述鐵路系統(tǒng)優(yōu)化模型的約束條件包括：

30、；

31、；；

32、；；

33、；；

34、；

35、；；

36、；；

37、上式中，表示在時隙邊緣服務器的總能量消耗；表示在時隙任務在邊緣服務器上執(zhí)行所消耗的能量；表示邊緣服務器允許的最大能量消耗；表示在時隙任務在邊緣服務器上傳輸所消耗的能量；表示邊緣服務器的總計算能力；表示邊緣服務器的最大緩存容量；表示在邊緣服務器緩存的服務數(shù)量；表示邊緣服務器的總帶寬；表示服務的平均靜態(tài)功耗；表示與邊緣服務器相關的有效開關電容系數(shù)。

38、所述帶寬資源分配模型的目標函數(shù)為：；

39、；

40、上式中，表示任務在解構后的滿意度；

41、所述帶寬資源分配模型的約束條件為：；

42、；

43、；

44、；；

45、；

46、；

47、上式中，表示朗伯w函數(shù)；表示計算任務在滿足其最大容忍延遲條件下所需的最小帶寬資源；表示計算在服務未緩存且需要從云端下載時任務所需的最大帶寬資源；、分別表示在單個時隙中分配給任務的最大、最小帶寬資源。

48、所述計算資源分配模型的目標函數(shù)包括：；

49、；

50、所述計算資源分配模型的約束條件包括：

51、最小資源約束：

52、；

53、上式中，表示任務在時隙所需的最小計算資源；

54、能量閾值約束：；

55、計算資源上限約束：；

56、向計算資源分配模型中引入拉格朗日函數(shù)，將計算資源分配模型轉換為凸問題以便求解：

57、；

58、上式中，為拉格朗日函數(shù)；、?、?分別表示與最小資源約束、能量閾值約束、計算資源上限約束相關的拉格朗日乘子。

59、第二方面，本發(fā)明提供了一種鐵路邊緣計算服務緩存和任務卸載系統(tǒng)，所述系統(tǒng)包括：

60、鐵路系統(tǒng)優(yōu)化模型構建模塊，用于以平均滿意度最大化為目標構建鐵路系統(tǒng)優(yōu)化模型；

61、acscto網絡模型構建模塊，用于構建acscto網絡模型，所述acscto網絡模型包括服務緩存和任務卸載網絡、帶寬資源分配網絡、計算資源分配網絡，所述帶寬資源分配網絡是基于鐵路系統(tǒng)優(yōu)化模型解構出的帶寬資源分配模型構建得到，用于先生成服務緩存決策，然后基于生成的服務緩存決策生成任務卸載決策，用于基于服務緩存決策、任務卸載決策生成帶寬資源分配決策；所述計算資源分配網絡是基于鐵路系統(tǒng)優(yōu)化模型解構出的計算資源分配模型構建得到，基于服務緩存決策、任務卸載決策、帶寬資源分配決策生成計算資源分配決策；

62、acscto網絡模型訓練模塊，用于對acscto網絡模型進行訓練；

63、實際運行模塊，用于利用訓練好的acscto網絡模型得到鐵路系統(tǒng)的服務緩存決策、任務卸載決策、資源分配決策，所述資源分配決策包括帶寬資源分配和計算資源分配。

64、所述acscto網絡模型訓練模塊按照以下步驟對acscto?模型進行訓練：

65、s1、所述服務緩存和任務卸載網絡包括服務緩存網絡、任務卸載網絡，所述服務緩存網絡包括actor網絡、critic網絡，所述actor網絡與critic網絡的結構相同且共享同一個輸入數(shù)據(jù)，設時隙的輸入數(shù)據(jù)為，包括在時隙的任務信息、服務信息和前一個時隙的緩存狀態(tài)，所述任務信息包括任務所需的服務數(shù)量、任務輸入數(shù)據(jù)大小、任務所需的計算資源、任務與邊緣服務器之間的通道增益，所述服務信息包括服務在邊緣服務器的緩存狀態(tài)、存儲需求；所述actor網絡的輸出經過softmax層變換得到概率分布向量，所述概率分布向量中的單個元素表示邊緣服務器在時隙緩存服務的概率，對概率分布向量進行非重復采樣獲得緩存決策；然后將輸入數(shù)據(jù)、緩存決策組合形成輸入數(shù)據(jù)，將輸入數(shù)據(jù)輸入至任務卸載網絡，由任務卸載網絡輸出多個卸載決策；

66、s2、將緩存決策、卸載決策一起輸入帶寬資源分配網絡，由帶寬資源分配模塊輸出帶寬資源分配決策，將緩存決策、卸載決策、帶寬資源分配決策輸入計算資源分配網絡，由計算資源分配網絡輸出計算資源分配決策；基于得到的緩存決策、卸載決策、帶寬資源分配決策、計算資源分配決策計算平均滿意度；

67、選出具有最高平均滿意度的卸載決策并將其命名為卸載決策，根據(jù)以下公式更新任務卸載網絡的網絡參數(shù)：

68、；

69、上式中，表示任務卸載網絡的學習率；表示相對于任務卸載網絡參數(shù)的梯度；

70、s3、計算卸載決策中單個任務的滿意度并將其命名為獎勵，計算所有任務都在本地執(zhí)行時單個任務的滿意度并將其命名為獎勵，根據(jù)以下公式計算得到卸載決策中單個任務的卸載獎勵：；

71、s4、組合得到四元組，其中為時隙的輸入數(shù)據(jù)；將四元組輸入到critic網絡，由critic網絡輸出大小為的向量，表示邊緣服務器緩存服務的數(shù)量，所述向量?中的元素為，表示對輸入數(shù)據(jù)選擇服務的價值預測值；

72、s5、利用對critic網絡的網絡參數(shù)以及actor網絡的網絡參數(shù)進行更新；更新公式為：

73、；

74、；

75、；

76、上式中，表示critic網絡的學習率；表示相對于critic網絡參數(shù)的梯度；表示在給定下，根據(jù)actor網絡參數(shù)選擇動作的概率分布；表示輸入數(shù)據(jù)的目標價值；表示折扣因子。

77、所述鐵路系統(tǒng)優(yōu)化模型的目標函數(shù)為：

78、；

79、；

80、；

81、；

82、；；

83、；；

84、上式中，表示平均滿意度；表示計算資源向量；表示服務緩存向量；表示帶寬分配向量，表示任務卸載向量；表示任務的滿意度；表示調度周期；?表示用戶設備數(shù)量；表示任務的最大可容忍延遲；表示任務的卸載決策，表示任務在本地執(zhí)行，表示任務被卸載到邊緣服務器執(zhí)行；表示分配給任務的計算資源；表示在單個時隙中分配給任務的帶寬資源；表示滿意度矯正參數(shù)；表示卸載任務的總體完成時間；表示任務在本地執(zhí)行的總處理時間；表示服務的緩存決策，當表示服務緩存在邊緣，當表示服務未被緩存；表示任務從本地設備到邊緣服務器的無線通訊傳輸延遲；表示服務從云端下載到邊緣服務器所需的時間；表示任務的執(zhí)行延遲；、分別表示任務在時隙、時隙所需服務的緩存狀態(tài)；表示邊緣服務器與云端之間的傳輸速率；表示上行數(shù)據(jù)速率；表示在時隙任務在本地設備到邊緣服務器之間的無線信道增益；表示本地設備的發(fā)射功率；表示噪聲功率譜密度；表示任務的輸入數(shù)據(jù)大小；表示服務的存儲需求；表示任務所需的計算資源；表示任務在時隙請求服務的指示變量；表示用戶設備的平均處理頻率；

85、所述鐵路系統(tǒng)優(yōu)化模型的約束條件包括：

86、；

87、；；

88、；；

89、；；

90、；

91、；；

92、；；

93、上式中，表示在時隙邊緣服務器的總能量消耗；表示在時隙任務在邊緣服務器上執(zhí)行所消耗的能量；表示邊緣服務器允許的最大能量消耗；表示在時隙任務在邊緣服務器上傳輸所消耗的能量；表示邊緣服務器的總計算能力；表示邊緣服務器的最大緩存容量；表示在邊緣服務器緩存的服務數(shù)量；表示邊緣服務器的總帶寬；表示服務的平均靜態(tài)功耗；表示與邊緣服務器相關的有效開關電容系數(shù)。

94、所述帶寬資源分配模型的目標函數(shù)為：

95、；

96、；

97、上式中，表示任務在解構后的滿意度；

98、所述帶寬資源分配模型的約束條件為：

99、；

100、；

101、；

102、；

103、；

104、；

105、；

106、上式中，表示朗伯w函數(shù)；表示計算任務在滿足其最大容忍延遲條件下所需的最小帶寬資源；表示計算在服務未緩存且需要從云端下載時任務所需的最大帶寬資源；、分別表示在單個時隙中分配給任務的最大、最小帶寬資源。

107、所述計算資源分配模型的目標函數(shù)包括：；

108、；

109、所述計算資源分配模型的約束條件包括：

110、最小資源約束：；

111、上式中，表示任務在時隙所需的最小計算資源；

112、能量閾值約束：；

113、計算資源上限約束：；

114、向計算資源分配模型中引入拉格朗日函數(shù)，將計算資源分配模型轉換為凸問題以便求解：

115、；

116、上式中，為拉格朗日函數(shù)；、?、?分別表示與最小資源約束、能量閾值約束、計算資源上限約束相關的拉格朗日乘子。

117、與現(xiàn)有技術相比，本發(fā)明的有益效果為：

118、1、本發(fā)明所述鐵路邊緣計算服務緩存和任務卸載方法，基于actor-critic的強化學習算法構建acscto模型，acscto模型可以根據(jù)不同任務的需求，自適應動態(tài)調整服務緩存和任務卸載，分配計算資源和網絡帶寬，提高了邊緣服務器和鐵路車輛本地的資源利用率，最大化了任務處理效率，減少處理延遲并提高任務完成率，尤其是在應對鐵路場景中不同類型和復雜度的任務需求，例如實時乘客信息更新、列車狀態(tài)監(jiān)控和智能調度，能夠確保有效處理各類任務，減少延遲和提高整體運行效率。

119、2、本發(fā)明所述鐵路邊緣計算服務緩存和任務卸載方法中，設計滿意度函數(shù)時通過對數(shù)函數(shù)的凹性特性，確保列車間資源分配的公平性，防止部分列車長期占用大量計算或通信資源的情況，有助于維持鐵路系統(tǒng)整體的穩(wěn)定性。