本發(fā)明屬于電能配置領(lǐng)域，具體涉及基于多智能體策略梯度的配電網(wǎng)電壓調(diào)控方法及系統(tǒng)。

背景技術(shù)：

1、隨著以新能源為主體的電力系統(tǒng)快速發(fā)展，在分布式能源高度滲透的主動(dòng)配電網(wǎng)中，電壓越限及網(wǎng)絡(luò)損耗問題日益突出。針對(duì)高比例分布式光伏接入所帶來的電壓調(diào)控問題，傳統(tǒng)方法主要依賴于配電變壓器的有載調(diào)壓、光伏逆變器的無功調(diào)節(jié)以及儲(chǔ)能設(shè)備的參與。

2、然而，這些方法大多依賴于配電網(wǎng)的精確物理模型，但在實(shí)際應(yīng)用中，配電網(wǎng)的運(yùn)行環(huán)境復(fù)雜多變，參數(shù)動(dòng)態(tài)變化頻繁，傳統(tǒng)模型難以準(zhǔn)確描述實(shí)際情況，制約了其實(shí)際應(yīng)用效果。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種基于多智能體策略梯度的配電網(wǎng)電壓調(diào)控方法及系統(tǒng)，采用分布式多智能體協(xié)同優(yōu)化，實(shí)現(xiàn)光伏逆變器與儲(chǔ)能設(shè)備的智能控制，降低電壓越限率和網(wǎng)絡(luò)損耗，提高算法在復(fù)雜環(huán)境下的魯棒性和適應(yīng)性。

2、為達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案是：

3、本發(fā)明第一方面提供了一種基于多智能體策略梯度的配電網(wǎng)電壓調(diào)控方法，包括：

4、采用distflow潮流方程描述配電網(wǎng)絡(luò)中節(jié)點(diǎn)間的有功功率和無功功率關(guān)系，建立配電網(wǎng)電壓控制模型；所述配電網(wǎng)絡(luò)中節(jié)點(diǎn)配置有光伏逆變器和/或儲(chǔ)能設(shè)備；

5、對(duì)光伏逆變器和儲(chǔ)能設(shè)備建模獲得智能體，智能體內(nèi)配置有在線actor網(wǎng)絡(luò)（又稱為在線策略網(wǎng)絡(luò)）和在線critic網(wǎng)絡(luò)（又稱為在線評(píng)估網(wǎng)絡(luò)）；

6、獲得各個(gè)智能體的本地觀測(cè)特征，將本地觀測(cè)特征輸入至對(duì)應(yīng)智能體內(nèi)的在線actor網(wǎng)絡(luò)獲得當(dāng)前執(zhí)行動(dòng)作；通過critic網(wǎng)絡(luò)對(duì)當(dāng)前執(zhí)行動(dòng)作進(jìn)行評(píng)價(jià)獲得當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)；根據(jù)當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)實(shí)時(shí)更新在線actor網(wǎng)絡(luò)的權(quán)重；

7、將各個(gè)智能體的當(dāng)前執(zhí)行動(dòng)作輸入至配電網(wǎng)電壓控制模型獲得系統(tǒng)獎(jiǎng)勵(lì)和配電網(wǎng)系統(tǒng)狀態(tài)；根據(jù)系統(tǒng)獎(jiǎng)勵(lì)和配電網(wǎng)系統(tǒng)狀態(tài)更新在線critic網(wǎng)絡(luò)的權(quán)重。

8、進(jìn)一步的，采用distflow潮流方程描述配電網(wǎng)絡(luò)中節(jié)點(diǎn)間的有功功率和無功功率關(guān)系，建立配電網(wǎng)電壓控制模型，具體包括：

9、采用distflow潮流方程描述配電網(wǎng)絡(luò)中節(jié)點(diǎn)間的有功功率和無功功率關(guān)系，建立配電網(wǎng)電壓控制模型，表達(dá)公式為：

10、

11、

12、

13、公式中，節(jié)點(diǎn)和節(jié)點(diǎn)為相鄰節(jié)點(diǎn)，節(jié)點(diǎn)和節(jié)點(diǎn)為相鄰節(jié)點(diǎn)，和分別為從節(jié)點(diǎn)傳輸?shù)焦?jié)點(diǎn)的有功功率和無功功率；和分別為從節(jié)點(diǎn)傳輸?shù)焦?jié)點(diǎn)的有功功率和無功功率；和分別為節(jié)點(diǎn)的注入有功功率和無功功率；和分別為從節(jié)點(diǎn)到節(jié)點(diǎn)電路上的電阻和電抗；和分別為節(jié)點(diǎn)和節(jié)點(diǎn)的電壓幅值；表示為與節(jié)點(diǎn)連接的相鄰節(jié)點(diǎn)集合；

14、為配電網(wǎng)電壓控制模型添加節(jié)點(diǎn)電壓約束，表達(dá)公式為：

15、

16、式中：和分別表示電壓安全范圍的下界與上界；為配電網(wǎng)絡(luò)所有節(jié)點(diǎn)的集合；為在時(shí)刻節(jié)點(diǎn)的電壓幅值；

17、為配電網(wǎng)電壓控制模型添加光伏逆變器功率約束，表達(dá)公式為：

18、

19、式中：表示在時(shí)刻節(jié)點(diǎn)內(nèi)光伏逆變器的有功功率，表示在時(shí)刻節(jié)點(diǎn)內(nèi)光伏逆變器的無功功率，代表節(jié)點(diǎn)的視在功率，為配電網(wǎng)絡(luò)內(nèi)包含光伏的節(jié)點(diǎn)集合；為節(jié)點(diǎn)內(nèi)光伏逆變器的有功功率最大值；

20、為配電網(wǎng)電壓控制模型添加儲(chǔ)能荷電狀態(tài)約束，表達(dá)公式為：

21、

22、

23、

24、公式中，為儲(chǔ)能設(shè)備的最小充放電功率，為在時(shí)刻節(jié)點(diǎn)i內(nèi)儲(chǔ)能設(shè)備的輸出功率，為儲(chǔ)能設(shè)備的最大充放電功率；為包含儲(chǔ)能節(jié)點(diǎn)的集合；和分別為在時(shí)刻和時(shí)刻節(jié)點(diǎn)內(nèi)儲(chǔ)能設(shè)備的容量；為節(jié)點(diǎn)內(nèi)儲(chǔ)能設(shè)備的充放電效率；為節(jié)點(diǎn)內(nèi)儲(chǔ)能設(shè)備的額定容量；和分別為儲(chǔ)能設(shè)備的最小容量和最大容量；為相鄰兩時(shí)刻的單位時(shí)間差。

25、進(jìn)一步的，所述智能體內(nèi)還配置有目標(biāo)actor網(wǎng)絡(luò)（又稱為目標(biāo)策略網(wǎng)絡(luò)）和目標(biāo)critic網(wǎng)絡(luò)（又稱為目標(biāo)評(píng)估網(wǎng)絡(luò)）；所述目標(biāo)actor網(wǎng)絡(luò)和在線actor網(wǎng)絡(luò)的初始權(quán)重參數(shù)相同，所述目標(biāo)critic網(wǎng)絡(luò)和在線critic網(wǎng)絡(luò)的初始權(quán)重參數(shù)相同；

26、根據(jù)系統(tǒng)獎(jiǎng)勵(lì)和配電網(wǎng)系統(tǒng)狀態(tài)更新所述critic網(wǎng)絡(luò)的權(quán)重，具體包括：

27、由配電網(wǎng)系統(tǒng)狀態(tài)中獲取各個(gè)智能體的下一時(shí)刻本地觀測(cè)特征，將下一時(shí)刻本地觀測(cè)特征輸入中所述目標(biāo)actor網(wǎng)絡(luò)獲得智能體下一時(shí)刻執(zhí)行動(dòng)作，將下一時(shí)刻的執(zhí)行動(dòng)作與下一時(shí)刻本地觀測(cè)特征輸入至目標(biāo)critic網(wǎng)絡(luò)獲得未來預(yù)測(cè)獎(jiǎng)勵(lì)；

28、根據(jù)配電網(wǎng)絡(luò)電壓調(diào)控累計(jì)h次的未來預(yù)測(cè)獎(jiǎng)勵(lì)、當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)和系統(tǒng)獎(jiǎng)勵(lì)更新在線critic網(wǎng)絡(luò)；每間隔設(shè)定時(shí)間將在線actor網(wǎng)絡(luò)的權(quán)重參數(shù)賦予所述目標(biāo)actor網(wǎng)絡(luò)，將在線critic網(wǎng)絡(luò)的權(quán)重參數(shù)賦予所述目標(biāo)critic網(wǎng)絡(luò)。

29、進(jìn)一步的，將各個(gè)智能體的當(dāng)執(zhí)行動(dòng)作輸入至配電網(wǎng)電壓控制模型獲得系統(tǒng)獎(jiǎng)勵(lì)，表達(dá)公式為：

30、

31、

32、

33、公式中，為在時(shí)刻節(jié)點(diǎn)的系統(tǒng)獎(jiǎng)勵(lì)；為配電網(wǎng)絡(luò)的功率損耗；和為在時(shí)刻節(jié)點(diǎn)和節(jié)點(diǎn)的電壓越限程度；表示節(jié)點(diǎn)的合作指數(shù)；為在時(shí)刻節(jié)點(diǎn)的負(fù)載有功功率；為在時(shí)刻節(jié)點(diǎn)內(nèi)光伏逆變器輸出的有功功率，為在時(shí)刻節(jié)點(diǎn)內(nèi)儲(chǔ)能設(shè)備輸出的有功功率；為配電網(wǎng)絡(luò)內(nèi)的節(jié)點(diǎn)數(shù)量；為在時(shí)刻節(jié)點(diǎn)的電壓幅值；為與0取最大值的函數(shù)；和為電壓幅值的上限值和下限值。

34、進(jìn)一步地，根據(jù)當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)實(shí)時(shí)更新在線actor網(wǎng)絡(luò)的權(quán)重，具體包括：

35、根據(jù)當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)構(gòu)建在線actor網(wǎng)絡(luò)的訓(xùn)練損失函數(shù)，表達(dá)公式為：

36、

37、

38、公式中，為在線actor網(wǎng)絡(luò)的訓(xùn)練損失值；為配電網(wǎng)絡(luò)內(nèi)的節(jié)點(diǎn)數(shù)量;為critic網(wǎng)絡(luò)根據(jù)節(jié)點(diǎn)的本地觀測(cè)特征和行動(dòng)輸出的預(yù)期獎(jiǎng)勵(lì)；為在線actor網(wǎng)絡(luò)輸出節(jié)點(diǎn)的行動(dòng)；為節(jié)點(diǎn)i內(nèi)在線actor網(wǎng)絡(luò)的權(quán)重參數(shù)；為表示在線actor網(wǎng)絡(luò)的映射函數(shù)；

39、根據(jù)所述在線actor網(wǎng)絡(luò)的訓(xùn)練損失值計(jì)算在線actor網(wǎng)絡(luò)的參數(shù)迭代梯度，并更新在線actor網(wǎng)絡(luò)的權(quán)重參數(shù)，表達(dá)公式為：

40、

41、公式中，為在線actor網(wǎng)絡(luò)的參數(shù)迭代梯度；為在線actor網(wǎng)絡(luò)的學(xué)習(xí)率。

42、進(jìn)一步地，根據(jù)配電網(wǎng)絡(luò)電壓調(diào)控累計(jì)h次的未來預(yù)測(cè)獎(jiǎng)勵(lì)、當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)和系統(tǒng)獎(jiǎng)勵(lì)更新在線critic網(wǎng)絡(luò)，具體包括：

43、根據(jù)未來預(yù)測(cè)獎(jiǎng)勵(lì)和系統(tǒng)獎(jiǎng)勵(lì)計(jì)算目標(biāo)獎(jiǎng)勵(lì)，由目標(biāo)獎(jiǎng)勵(lì)和當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)計(jì)算預(yù)測(cè)誤差，根據(jù)預(yù)測(cè)誤差按照預(yù)設(shè)的噪聲分布進(jìn)行采樣獲得獎(jiǎng)勵(lì)噪聲，將獎(jiǎng)勵(lì)噪聲添加至系統(tǒng)獎(jiǎng)勵(lì)獲得系統(tǒng)實(shí)際獎(jiǎng)勵(lì)；

44、將未來預(yù)測(cè)獎(jiǎng)勵(lì)、當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)進(jìn)行離散概率分布轉(zhuǎn)換獲得未來預(yù)測(cè)獎(jiǎng)勵(lì)概率分布以及當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)概率分布；

45、根據(jù)配電網(wǎng)絡(luò)電壓調(diào)控累計(jì)h次的系統(tǒng)實(shí)際獎(jiǎng)勵(lì)、未來預(yù)測(cè)獎(jiǎng)勵(lì)概率分布以及當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)概率分布計(jì)算在線critic網(wǎng)絡(luò)的訓(xùn)練損失值；根據(jù)在線critic網(wǎng)絡(luò)的訓(xùn)練損失值更新在線critic網(wǎng)絡(luò)的權(quán)重參數(shù)。

46、進(jìn)一步的，確定所述獎(jiǎng)勵(lì)噪聲的噪聲分布，具體包括：

47、由經(jīng)驗(yàn)池獲取歷史系統(tǒng)獎(jiǎng)勵(lì)、歷史工作獎(jiǎng)勵(lì)和歷史預(yù)測(cè)獎(jiǎng)勵(lì)；根據(jù)歷史系統(tǒng)獎(jiǎng)勵(lì)和歷史工作獎(jiǎng)勵(lì)計(jì)算歷史目標(biāo)獎(jiǎng)勵(lì)，利用歷史目標(biāo)獎(jiǎng)勵(lì)和歷史預(yù)測(cè)獎(jiǎng)勵(lì)計(jì)算歷史預(yù)測(cè)誤差，表達(dá)公式：

48、

49、公式中，為歷史預(yù)測(cè)獎(jiǎng)勵(lì)；為歷史工作獎(jiǎng)勵(lì)；為在時(shí)刻節(jié)點(diǎn)的歷史系統(tǒng)獎(jiǎng)勵(lì)；為在時(shí)刻節(jié)點(diǎn)的歷史預(yù)測(cè)誤差；為折扣因；

50、根據(jù)歷史預(yù)測(cè)誤差對(duì)歷史系統(tǒng)獎(jiǎng)勵(lì)進(jìn)行排序并劃分為m組，計(jì)算每組對(duì)歷史系統(tǒng)獎(jiǎng)勵(lì)的方差和幅值；

51、

52、

53、公式中，為第m組歷史系統(tǒng)獎(jiǎng)勵(lì)的方差、為節(jié)點(diǎn)的歷史系統(tǒng)獎(jiǎng)勵(lì)，為各節(jié)點(diǎn)歷史系統(tǒng)獎(jiǎng)勵(lì)的均值；n為經(jīng)驗(yàn)池的采樣數(shù)量；為m組歷史系統(tǒng)獎(jiǎng)勵(lì)的最大方差；為第m組歷史系統(tǒng)獎(jiǎng)勵(lì)的幅值；

54、根據(jù)每組對(duì)歷史系統(tǒng)獎(jiǎng)勵(lì)的方差和幅值設(shè)定獎(jiǎng)勵(lì)噪聲的噪聲分布。

55、進(jìn)一步的，根據(jù)配電網(wǎng)絡(luò)電壓調(diào)控累計(jì)h次的系統(tǒng)實(shí)際獎(jiǎng)勵(lì)、未來預(yù)測(cè)獎(jiǎng)勵(lì)概率分布以及當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)概率分布計(jì)算在線critic網(wǎng)絡(luò)的訓(xùn)練損失值，具體包括：

56、根據(jù)系統(tǒng)實(shí)際獎(jiǎng)勵(lì)、未來預(yù)測(cè)獎(jiǎng)勵(lì)概率分布計(jì)算目標(biāo)獎(jiǎng)勵(lì)概率分布，表達(dá)公式為：

57、

58、公式中，為目標(biāo)獎(jiǎng)勵(lì)概率分布，為配電網(wǎng)絡(luò)電壓調(diào)控中系統(tǒng)實(shí)際獎(jiǎng)勵(lì)；為期望函數(shù)；為折扣因子；為未來預(yù)測(cè)獎(jiǎng)勵(lì)概率分布；

59、根據(jù)累計(jì)h次的目標(biāo)獎(jiǎng)勵(lì)概率分布以及當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)概率分布計(jì)算在線critic網(wǎng)絡(luò)的訓(xùn)練損失值，表達(dá)公式為：

60、

61、公式中，為第h次配電網(wǎng)絡(luò)電壓調(diào)控過程中目標(biāo)獎(jiǎng)勵(lì)概率分布；為第h次配電網(wǎng)絡(luò)電壓調(diào)控過程中當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)概率分布；為交叉熵函數(shù)，為在線critic網(wǎng)絡(luò)的訓(xùn)練損失值，h為配電網(wǎng)絡(luò)的電壓調(diào)控序號(hào)。

62、本發(fā)明第二方面提供了一種基于多智能體策略梯度的配電網(wǎng)電壓調(diào)控系統(tǒng)，包括：

63、模型構(gòu)建模塊，采用distflow潮流方程描述配電網(wǎng)絡(luò)中節(jié)點(diǎn)間的有功功率和無功功率關(guān)系，建立配電網(wǎng)電壓控制模型；所述配電網(wǎng)絡(luò)中節(jié)點(diǎn)配置有光伏逆變器和/或儲(chǔ)能設(shè)備；對(duì)光伏逆變器和儲(chǔ)能設(shè)備建模獲得智能體，智能體內(nèi)配置有在線actor網(wǎng)絡(luò)和在線critic網(wǎng)絡(luò)；

64、執(zhí)行模塊，用于獲得各個(gè)智能體的本地觀測(cè)特征，將本地觀測(cè)特征輸入至對(duì)應(yīng)智能體內(nèi)的在線actor網(wǎng)絡(luò)獲得當(dāng)前執(zhí)行動(dòng)作；

65、優(yōu)化模塊，用于通過critic網(wǎng)絡(luò)對(duì)當(dāng)前執(zhí)行動(dòng)作進(jìn)行評(píng)價(jià)獲得當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)；根據(jù)當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)實(shí)時(shí)更新在線actor網(wǎng)絡(luò)的權(quán)重；將各個(gè)智能體的當(dāng)前執(zhí)行動(dòng)作輸入至配電網(wǎng)電壓控制模型獲得系統(tǒng)獎(jiǎng)勵(lì)和配電網(wǎng)系統(tǒng)狀態(tài)；根據(jù)系統(tǒng)獎(jiǎng)勵(lì)和配電網(wǎng)系統(tǒng)狀態(tài)更新在線critic網(wǎng)絡(luò)的權(quán)重。

66、本發(fā)明第三方面提供了電子設(shè)備包括存儲(chǔ)介質(zhì)和處理器；所述存儲(chǔ)介質(zhì)用于存儲(chǔ)指令；所述處理器用于根據(jù)所述指令進(jìn)行操作以執(zhí)行本發(fā)明第一方面所述的配電網(wǎng)電壓調(diào)控方法。

67、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：

68、本發(fā)明獲得各個(gè)智能體的本地觀測(cè)特征，將本地觀測(cè)特征輸入至對(duì)應(yīng)智能體內(nèi)的在線actor網(wǎng)絡(luò)獲得當(dāng)前執(zhí)行動(dòng)作，實(shí)現(xiàn)光伏逆變器與儲(chǔ)能設(shè)備的智能控制，通過多智能體協(xié)同調(diào)控配電網(wǎng)絡(luò)電壓，降低電壓越限率和網(wǎng)絡(luò)損耗。

69、本發(fā)明通過critic網(wǎng)絡(luò)對(duì)當(dāng)前執(zhí)行動(dòng)作進(jìn)行評(píng)價(jià)獲得當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)；根據(jù)當(dāng)前預(yù)測(cè)獎(jiǎng)勵(lì)實(shí)時(shí)更新在線actor網(wǎng)絡(luò)的權(quán)重；實(shí)時(shí)更新在線actor網(wǎng)絡(luò)的權(quán)重，從而確保智能體能夠迅速調(diào)整策略，以適應(yīng)環(huán)境變化并優(yōu)化電壓調(diào)控。

70、本發(fā)明將各個(gè)智能體的當(dāng)前執(zhí)行動(dòng)作輸入至配電網(wǎng)電壓控制模型獲得系統(tǒng)獎(jiǎng)勵(lì)和配電網(wǎng)系統(tǒng)狀態(tài)；根據(jù)系統(tǒng)獎(jiǎng)勵(lì)和配電網(wǎng)系統(tǒng)狀態(tài)更新在線critic網(wǎng)絡(luò)的權(quán)重，使critic網(wǎng)絡(luò)的評(píng)價(jià)能夠更準(zhǔn)確地估計(jì)動(dòng)作的價(jià)值，能夠保持配電網(wǎng)絡(luò)電壓調(diào)整的性能穩(wěn)定性，避免陷入局部最優(yōu)解，從而指導(dǎo)actor網(wǎng)絡(luò)生成更優(yōu)的動(dòng)作。