本發(fā)明涉及一種大模型輔助的配網(wǎng)傳算資源可信調(diào)度方法、裝置及系統(tǒng)，屬于電通信。

背景技術(shù)：

1、目前，隨著電力系統(tǒng)的快速發(fā)展和智能化水平的提高，配電網(wǎng)運(yùn)行管理正面臨著前所未有的挑戰(zhàn)。為了提高配電網(wǎng)管控的準(zhǔn)確性和效率，必須實(shí)現(xiàn)運(yùn)行管理的數(shù)字化和智能化。這一過(guò)程中，生成式人工智能技術(shù)，尤其是大模型的應(yīng)用，成為了關(guān)鍵的技術(shù)支撐。大模型是經(jīng)過(guò)大規(guī)模數(shù)據(jù)訓(xùn)練的深度學(xué)習(xí)模型，通過(guò)對(duì)預(yù)訓(xùn)練好的大模型進(jìn)行微調(diào)，可以使其適應(yīng)在配電網(wǎng)領(lǐng)域中的運(yùn)行環(huán)境和任務(wù)需求。微調(diào)過(guò)程首先涉及部署電力物聯(lián)網(wǎng)終端，這些終端負(fù)責(zé)收集電網(wǎng)運(yùn)行數(shù)據(jù)。隨后，利用這些數(shù)據(jù)在本地對(duì)大模型進(jìn)行微調(diào)，以適應(yīng)本地電網(wǎng)的特性。最后，將本地微調(diào)的結(jié)果上傳至中心進(jìn)行全局微調(diào)，以實(shí)現(xiàn)模型參數(shù)的全局優(yōu)化。大模型微調(diào)對(duì)收斂性和時(shí)延具有嚴(yán)格要求，首先，配電網(wǎng)的動(dòng)態(tài)性要求模型能夠快速響應(yīng)電網(wǎng)狀態(tài)的變化，這意味著微調(diào)過(guò)程必須在短時(shí)間內(nèi)完成，以保持模型與實(shí)時(shí)電網(wǎng)運(yùn)行狀態(tài)的一致性。其次，模型的收斂性能直接關(guān)系到電網(wǎng)運(yùn)行的安全性和經(jīng)濟(jì)性，一個(gè)快速且準(zhǔn)確的收斂過(guò)程可以減少電網(wǎng)運(yùn)行的風(fēng)險(xiǎn)和成本。因此，大模型微調(diào)不僅要保證模型參數(shù)能夠迅速適應(yīng)電網(wǎng)變化，還要確保這一過(guò)程的穩(wěn)定性和可靠性，以滿足配電網(wǎng)高效、安全運(yùn)行的需求。

2、為了進(jìn)一步提高配電網(wǎng)的運(yùn)行效率和響應(yīng)速度，需要對(duì)網(wǎng)絡(luò)中的傳輸、計(jì)算等資源進(jìn)行靈活且智能的調(diào)度。然而，這一過(guò)程往往在非可信環(huán)境下進(jìn)行，面臨著嚴(yán)峻的安全挑戰(zhàn)。攻擊者可能利用各種手段對(duì)配電網(wǎng)進(jìn)行攻擊，其中一種典型的攻擊是虛假數(shù)據(jù)注入(false?data?injection，fdi)攻擊。fdi攻擊通過(guò)向電網(wǎng)注入虛假數(shù)據(jù)，影響大模型的微調(diào)過(guò)程，導(dǎo)致模型決策失誤，進(jìn)而對(duì)配電網(wǎng)的安全穩(wěn)定運(yùn)行造成嚴(yán)重影響。fdi攻擊的機(jī)理在于攻擊者通過(guò)截獲或篡改傳輸過(guò)程中的數(shù)據(jù)，注入精心設(shè)計(jì)的虛假信息，以誤導(dǎo)大模型的學(xué)習(xí)和決策過(guò)程。這種攻擊不僅可能導(dǎo)致大模型無(wú)法正確收斂，還可能引發(fā)電網(wǎng)運(yùn)行的不穩(wěn)定性，造成電網(wǎng)故障。因此，非可信環(huán)境下的配電網(wǎng)大模型微調(diào)和傳算資源調(diào)度優(yōu)化面臨著以下挑戰(zhàn)：

3、一方面，為了提高配電網(wǎng)管控的準(zhǔn)確性，必須提高大模型的收斂性能，即最小化反映大模型輸出值與實(shí)際值偏差的損失函數(shù)。同時(shí)，大模型微調(diào)需要在低時(shí)延的情況下進(jìn)行，以保持其與不斷增長(zhǎng)的配電網(wǎng)運(yùn)行知識(shí)之間的實(shí)時(shí)一致性。此外，受到fdi攻擊的影響，大模型微調(diào)在非可信環(huán)境下進(jìn)行，導(dǎo)致模型難以收斂甚至出現(xiàn)災(zāi)難性遺忘的問(wèn)題。另一方面，傳統(tǒng)基于機(jī)器學(xué)習(xí)的資源調(diào)度優(yōu)化方法，例如深度q網(wǎng)絡(luò)(dqn)，雖然能夠在優(yōu)化建模、網(wǎng)絡(luò)環(huán)境等信息未知的情況下學(xué)習(xí)資源調(diào)度策略，但在處理多維資源分配優(yōu)化問(wèn)題時(shí)具有較大的局限性。具體來(lái)說(shuō)，信道(傳輸)與數(shù)據(jù)集(計(jì)算)的多維資源調(diào)度問(wèn)題具有較高的復(fù)雜度。dqn網(wǎng)絡(luò)需要在較大的優(yōu)化空間內(nèi)進(jìn)行學(xué)習(xí)，導(dǎo)致算法出現(xiàn)學(xué)習(xí)方向不確定性大的問(wèn)題。因此，亟需提出一種大模型輔助的配網(wǎng)傳算資源可信調(diào)度方法、裝置及系統(tǒng)，來(lái)實(shí)現(xiàn)配網(wǎng)傳算資源可信調(diào)度。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問(wèn)題，本發(fā)明的目的是提供一種大模型輔助的配網(wǎng)傳算資源可信調(diào)度方法、裝置及系統(tǒng)。

2、本發(fā)明的一種大模型輔助的配網(wǎng)傳算資源可信調(diào)度方法，具體調(diào)度步驟為：

3、構(gòu)建本地大模型微調(diào)模型與全局大模型微調(diào)模型、參數(shù)傳輸模型、fdi攻擊模型、隱私熵模型和總大模型微調(diào)時(shí)延模型，并構(gòu)建傳算資源可信調(diào)度優(yōu)化問(wèn)題；

4、對(duì)上述優(yōu)化問(wèn)題進(jìn)行轉(zhuǎn)化并將其建模為馬爾可夫決策過(guò)程；

5、通過(guò)dqn學(xué)習(xí)資源調(diào)度策略，并引入大模型啟發(fā)函數(shù)輔助dqn的q函數(shù)重構(gòu)，解決上述馬爾可夫決策過(guò)程；

6、對(duì)上述解決結(jié)果進(jìn)行面向傳算資源可信調(diào)度的fdi攻擊檢測(cè)，通過(guò)舍棄受到攻擊的大模型參數(shù)，減少虛假數(shù)據(jù)對(duì)全局微調(diào)的不利影響，實(shí)現(xiàn)傳算資源可信調(diào)度。

7、進(jìn)一步的，所述本地大模型微調(diào)模型為：

8、定義i個(gè)終端，集合表示為d＝{d1,…,di,…,di}；定義第t次迭代終端di的本地大模型為llmi,t，其由參數(shù)wi,t、上下文ci,t、以及提示詞qi,t組成，表示為

9、llmi,t＝γ(wi,t,ci,t,qi,t)???(1)

10、di接收邊緣控制器下發(fā)的全局大模型參數(shù)wg,t-1以同步其本地大模型參數(shù)wi,t-1；然后，di采用數(shù)據(jù)集微調(diào)wi,t-1；定義數(shù)據(jù)集規(guī)模集合表示為ai＝{αmin,…,|ci|}，其中|ci|表示di的數(shù)據(jù)集大小，αmin代表可選的最小數(shù)據(jù)集規(guī)模；

11、定義xk和yk分別為數(shù)據(jù)集第k個(gè)采樣的輸入標(biāo)簽序列和目標(biāo)輸出；xk包含上下文和問(wèn)題，yk為輸出標(biāo)簽的目標(biāo)概率分布；

12、di的交叉熵函數(shù)為

13、

14、式中，lce(wi,t-1,xk,yk)表示每個(gè)采樣的交叉熵函數(shù)；基于交叉熵函數(shù)，采用梯度下降法更新第t次迭代的本地大模型參數(shù)wi,t；

15、di的本地微調(diào)時(shí)延以及微調(diào)能耗與其參數(shù)中所有標(biāo)簽的浮點(diǎn)操作數(shù)γi、參數(shù)大小|wi,t|、以及微調(diào)周期ei有關(guān)；本地微調(diào)時(shí)延以及微調(diào)能耗分別表示為：

16、

17、式中，μi,t表示di的可用gpu資源，λi表示可用gpu計(jì)算速度，κi表示可用gpu計(jì)算效率。

18、進(jìn)一步的，所述全局大模型微調(diào)模型為：

19、全局微調(diào)表示為

20、

21、式中，為第t次迭代接入信道的終端集合；ρi表示di的大模型支持的業(yè)務(wù)優(yōu)先級(jí)；定義lg,t(wg,t)為全局損失函數(shù)，用以衡量全局大模型的收斂性能，表示為：

22、

23、進(jìn)一步的，所述參數(shù)傳輸模型為：

24、定義j個(gè)信道，集合表示為n＝{n1,…,nj,…,nj}，定義信道選擇變量為βi,j,t∈{0,1}，βi,j,t＝1表示在第t次迭代di選擇信道nj傳輸參數(shù)；di通過(guò)nj傳輸參數(shù)的速率表示為

25、

26、式中，bi,j為di中信道nj的傳輸帶寬，pi,t為di的傳輸功率，gi,j,t為信道增益，δ0為高斯白噪聲功率，ii,j,t為電磁干擾功率；di通過(guò)nj傳輸參數(shù)的時(shí)延和能耗分別表示為：

27、

28、進(jìn)一步的，所述fdi攻擊模型為：

29、定義為注入的虛假數(shù)據(jù)，fdi攻擊建模為

30、

31、式中，θi,t∈{0,1}為攻擊指示變量，θi,t＝1表示di的參數(shù)受到fdi攻擊。

32、進(jìn)一步的，截至第t次迭代的隱私熵表示為：

33、

34、式中，表示截至第t次迭代di通過(guò)nj傳輸參數(shù)的概率；當(dāng)di通過(guò)所有信道傳輸參數(shù)的概率相等時(shí)，隱私熵最大。

35、進(jìn)一步的，所述總大模型微調(diào)時(shí)延模型為：

36、總大模型微調(diào)時(shí)延由所有終端的總本地微調(diào)時(shí)延與傳輸時(shí)延、以及邊緣控制器的全局微調(diào)時(shí)延組成，表示為

37、

38、式中，τg為全局微調(diào)時(shí)延。

39、進(jìn)一步的，所述構(gòu)建的傳算資源可信調(diào)度優(yōu)化問(wèn)題為：

40、通過(guò)配電網(wǎng)傳輸-計(jì)算資源協(xié)同調(diào)度，最小化全局損失函數(shù)以及總大模型微調(diào)時(shí)延的加權(quán)和，具體表示為：

41、

42、式中，vτ表示總大模型微調(diào)時(shí)延的權(quán)重，用于統(tǒng)一數(shù)量級(jí)并權(quán)衡優(yōu)化目標(biāo)之間的關(guān)系；以及分別表示數(shù)據(jù)集調(diào)度以及信道調(diào)度決策變量；fi,min為di可容忍的隱私熵下限，ei,max為di的電池容量；c1表示數(shù)據(jù)集調(diào)度約束，c2、c3、c4表示信道調(diào)度約束，即每個(gè)終端只能選擇一個(gè)信道進(jìn)行參數(shù)傳輸；c5和c6分別表示長(zhǎng)期能耗與隱私熵約束。

43、進(jìn)一步的，所述對(duì)優(yōu)化問(wèn)題進(jìn)行轉(zhuǎn)化并將其建模為馬爾可夫決策過(guò)程具體為：

44、構(gòu)建對(duì)應(yīng)于約束c5和c6的隱私熵虛擬隊(duì)列和能耗虛擬隊(duì)列；表示為：

45、

46、當(dāng)和處于隊(duì)列穩(wěn)定狀態(tài)，c5和c6視為滿足；p1轉(zhuǎn)化為：

47、

48、為解決p2，將其建模為馬爾可夫決策過(guò)程，其關(guān)鍵元素包括狀態(tài)空間、動(dòng)作空間與獎(jiǎng)勵(lì)函數(shù)，具體如下：

49、1)狀態(tài)空間：大模型能夠根據(jù)歷史信息對(duì)信道增益、電磁干擾等信息進(jìn)行估計(jì)；第t次迭代估計(jì)的信道增益和電磁干擾表示為和di的狀態(tài)空間由第t次迭代隱私熵虛擬隊(duì)列積壓第t次迭代能耗虛擬隊(duì)列積壓大模型估計(jì)的信道增益以及大模型估計(jì)的電磁干擾功率組成表示為

50、2)動(dòng)作空間：di的動(dòng)作空間由信道調(diào)度和數(shù)據(jù)集調(diào)度動(dòng)作組成，表示為其中為笛卡爾積；

51、3)獎(jiǎng)勵(lì)函數(shù)：由于p2為最小化問(wèn)題，獎(jiǎng)勵(lì)函數(shù)ωi,t定義為p2優(yōu)化目標(biāo)的負(fù)值。

52、進(jìn)一步的，所述通過(guò)dqn學(xué)習(xí)資源調(diào)度策略，并引入大模型啟發(fā)函數(shù)輔助dqn的q函數(shù)重構(gòu)，解決馬爾可夫決策過(guò)程的具體方法為：

53、邊緣控制器為每個(gè)終端維護(hù)一組dqn神經(jīng)網(wǎng)絡(luò)，即一個(gè)參數(shù)為的主網(wǎng)絡(luò)和參數(shù)為的目標(biāo)網(wǎng)絡(luò)；每次迭代開(kāi)始時(shí)，邊緣控制器基于每個(gè)終端主網(wǎng)絡(luò)估計(jì)的q值優(yōu)化信道以及數(shù)據(jù)集調(diào)度決策；每個(gè)迭代末，計(jì)算dqn的損失函數(shù)，并在目標(biāo)網(wǎng)絡(luò)的輔助下更新主網(wǎng)絡(luò)參數(shù)；在大模型輔助下對(duì)q函數(shù)進(jìn)行重構(gòu)；重構(gòu)后的q函數(shù)包含價(jià)值函數(shù)和大模型啟發(fā)函數(shù)兩個(gè)部分；價(jià)值函數(shù)反映在某一狀態(tài)下采取某一動(dòng)作后獲得的期望累計(jì)獎(jiǎng)勵(lì)；大模型啟發(fā)函數(shù)結(jié)合歷史狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)等上下文信息，以當(dāng)前迭代狀態(tài)空間以及控制器做出的動(dòng)作作為問(wèn)題，對(duì)當(dāng)前迭代的信道以及數(shù)據(jù)集調(diào)度決策進(jìn)行評(píng)估，從而啟發(fā)算法的學(xué)習(xí)方向；q函數(shù)重構(gòu)表示為：

54、

55、式中，表示價(jià)值函數(shù)；表示大模型啟發(fā)函數(shù)，表示為

56、

57、式中，表示輸入的啟發(fā)上下文信息，表示啟發(fā)問(wèn)題，表示第t次迭代控制器做出的信道與數(shù)據(jù)集調(diào)度決策；表示大模型輸出的啟發(fā)答案，parse{.}表示parse函數(shù)，即將大模型的json形式答案解析為數(shù)字評(píng)分；基于大模型輔助學(xué)習(xí)的信道-數(shù)據(jù)集協(xié)同調(diào)度步驟介紹如下：

58、步驟1：初始化每個(gè)終端的dqn網(wǎng)絡(luò)參數(shù)和設(shè)置獎(jiǎng)勵(lì)函數(shù)ωi,0＝0；

59、步驟2：每次迭代開(kāi)始時(shí)，邊緣控制器為每個(gè)終端選擇q值最大的動(dòng)作；當(dāng)多個(gè)終端被分配到相同的信道時(shí)，控制器將信道分配給其中q值大的終端；未分配到信道的終端在剩余動(dòng)作中選擇q值最大的動(dòng)作；重復(fù)此過(guò)程，直到所有終端均分配到信道；各終端執(zhí)行所選擇的動(dòng)作

60、步驟3：每個(gè)迭代末，控制器觀察全局損失函數(shù)、總大模型微調(diào)時(shí)延、隱私熵虛擬隊(duì)列積壓、能耗虛擬隊(duì)列積壓等性能，計(jì)算獎(jiǎng)勵(lì)；然后，控制器更新第t+1次迭代的狀態(tài)空間si,t+1；控制器生成經(jīng)驗(yàn)數(shù)據(jù)并將其存入經(jīng)驗(yàn)回放池；

61、步驟4：控制器隨機(jī)從經(jīng)驗(yàn)池中采樣一個(gè)經(jīng)驗(yàn)數(shù)據(jù)集，基于重構(gòu)的q函數(shù)計(jì)算dqn網(wǎng)絡(luò)的損失函數(shù)，表示為：

62、

63、其中為采樣的經(jīng)驗(yàn)數(shù)據(jù)集，為折扣因子；基于損失函數(shù)，根據(jù)梯度下降法更新每隔若干次迭代更新

64、進(jìn)一步的，所述對(duì)解決結(jié)果進(jìn)行面向傳算資源可信調(diào)度的fdi攻擊檢測(cè)的具體步驟為：

65、設(shè)定測(cè)試數(shù)據(jù)集ctes，基于ctes比較終端的本地大模型損失函數(shù)與全局大模型損失函數(shù)以驗(yàn)證參數(shù)是否受到fdi攻擊；基于ctes的本地大模型測(cè)試損失函數(shù)以及全局測(cè)試損失函數(shù)分別計(jì)算為：

66、

67、當(dāng)?shù)膿p失函數(shù)與wg,t-1的損失函數(shù)之間的偏差超過(guò)一個(gè)閾值ξ時(shí)，即表示di傳輸?shù)膮?shù)受到了fdi攻擊，即此處，表示攻擊檢測(cè)變量；通過(guò)舍棄受到攻擊的大模型參數(shù)，減少虛假數(shù)據(jù)對(duì)全局微調(diào)的不利影響，實(shí)現(xiàn)傳算資源可信調(diào)度；公式(7)重寫(xiě)為：

68、

69、式中，為第t次迭代中di用于本地訓(xùn)練的數(shù)據(jù)集規(guī)模；邊緣控制器基于公式(19)執(zhí)行全局微調(diào)。

70、一種大模型輔助的配網(wǎng)傳算資源可信調(diào)度裝置，部署在邊緣控制器內(nèi)，包括：

71、電源模塊：用于為大模型輔助的配網(wǎng)傳算資源可信調(diào)度裝置供電；

72、通信模塊：用于與終端進(jìn)行通信，下發(fā)終端的信道和數(shù)據(jù)集調(diào)度策略以及最新的全局大模型參數(shù)，接收終端上傳的本地大模型參數(shù)；

73、配網(wǎng)傳算資源可信調(diào)度模型構(gòu)建模塊：用于配網(wǎng)傳算資源可信調(diào)度模型構(gòu)建模塊負(fù)責(zé)構(gòu)建本地與全局大模型微調(diào)模型、參數(shù)傳輸模型、fdi攻擊模型、隱私熵模型和總大模型微調(diào)時(shí)延模型，并構(gòu)建傳算資源可信調(diào)度優(yōu)化問(wèn)題；

74、dqn網(wǎng)絡(luò)模塊：用于為每個(gè)終端維護(hù)一組dqn神經(jīng)網(wǎng)絡(luò)以及經(jīng)驗(yàn)回放池；

75、q函數(shù)重構(gòu)模塊：用于在大模型輔助下對(duì)q函數(shù)進(jìn)行重構(gòu)，重構(gòu)后的q函數(shù)包含價(jià)值函數(shù)和大模型啟發(fā)函數(shù)兩個(gè)部分；

76、傳算資源可信調(diào)度模塊：用于根據(jù)每個(gè)終端主網(wǎng)絡(luò)估計(jì)的q值優(yōu)化信道以及數(shù)據(jù)集調(diào)度決策；

77、fdi攻擊檢測(cè)模塊：用于基于測(cè)試數(shù)據(jù)集比較終端的本地大模型損失函數(shù)與全局大模型損失函數(shù)以驗(yàn)證參數(shù)是否受到fdi攻擊；

78、全局微調(diào)模塊：用于基于fdi攻擊檢測(cè)模塊的結(jié)果對(duì)全局大模型進(jìn)行微調(diào)；

79、全局大模型模塊：能夠根據(jù)歷史信息對(duì)信道增益、電磁干擾等信息進(jìn)行估計(jì)，并對(duì)q函數(shù)完成重構(gòu)，從而對(duì)傳算資源可信調(diào)度提供輔助。

80、一種大模型輔助的配網(wǎng)傳算資源可信調(diào)度系統(tǒng)，

81、包含本地設(shè)備層、邊緣層、全局大模型層；

82、所述本地設(shè)備層中，電力物聯(lián)網(wǎng)終端被部署在配電設(shè)備上，根據(jù)邊緣層下發(fā)的最新全局大模型參數(shù)以及信道和數(shù)據(jù)集調(diào)度策略微調(diào)本地大模型，并執(zhí)行相應(yīng)調(diào)度策略；

83、所述邊緣層包含一個(gè)基站和一個(gè)邊緣控制器，邊緣服務(wù)器中部署著大模型輔助的配網(wǎng)傳算資源可信調(diào)度裝置；電力物聯(lián)網(wǎng)終端通過(guò)4g/5g/6g信道將本地大模型參數(shù)傳輸給邊緣服務(wù)器；此外，邊緣層還能夠?yàn)樯蟼鞯膮?shù)提供攻擊檢測(cè)；

84、所述全局大模型層還能夠估計(jì)信道增益、電磁干擾信息，并對(duì)q函數(shù)完成重構(gòu)，從而輔助資源分配優(yōu)化；全局大模型層由邊緣控制器維護(hù)，負(fù)責(zé)執(zhí)行全局大模型微調(diào)。

85、借由上述方案，本發(fā)明至少具有以下優(yōu)點(diǎn)：

86、1.本發(fā)明聯(lián)合優(yōu)化了大模型的全局損失函數(shù)以及總微調(diào)時(shí)延。通過(guò)動(dòng)態(tài)調(diào)整時(shí)延的優(yōu)化權(quán)重并學(xué)習(xí)相匹配的資源調(diào)度策略，實(shí)現(xiàn)時(shí)延與收斂性能之間的權(quán)衡。此外，本發(fā)明通過(guò)fdi攻擊檢測(cè)防止受攻擊的大模型參數(shù)參與全局微調(diào)，提高了大模型的安全性與資源調(diào)度可信度。

87、2.本發(fā)明提出大模型輔助的配網(wǎng)傳算資源可信調(diào)度算法。通過(guò)dqn學(xué)習(xí)資源調(diào)度策略，并引入大模型啟發(fā)函數(shù)輔助dqn的q函數(shù)重構(gòu)。大模型啟發(fā)函數(shù)能夠結(jié)合歷史狀態(tài)信息、動(dòng)作、獎(jiǎng)勵(lì)等上下文信息，對(duì)新生成的資源調(diào)度動(dòng)作進(jìn)行評(píng)分，從而啟發(fā)dqn網(wǎng)絡(luò)的學(xué)習(xí)方向，支持更準(zhǔn)確的策略優(yōu)化。同時(shí)，本發(fā)明采用大模型為資源調(diào)度優(yōu)化預(yù)測(cè)未知的狀態(tài)信息，例如信道增益和電磁干擾功率，提高算法的學(xué)習(xí)能力。

88、上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，并可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，以下以本發(fā)明的較佳實(shí)施例并配合附圖詳細(xì)說(shuō)明如后。