本發(fā)明屬于自動發(fā)電控制領(lǐng)域，具體涉及一種多區(qū)域能源互聯(lián)分布式自動發(fā)電控制方法、系統(tǒng)及設(shè)備。

背景技術(shù)：

1、隨著全球能源轉(zhuǎn)型，多區(qū)域能源互聯(lián)系統(tǒng)中的新能源發(fā)電比例也在不斷提升。大規(guī)模高滲透率間隙性分布式電源及柔性負(fù)荷接入電網(wǎng)，導(dǎo)致多區(qū)域能源互聯(lián)電網(wǎng)的頻率與發(fā)電功率出現(xiàn)極強(qiáng)的擾動性、隨機(jī)性與間歇性，嚴(yán)重影響電網(wǎng)的安全與經(jīng)濟(jì)運(yùn)行。自動發(fā)電控制(agc)作為電力系統(tǒng)自動化過程的重要組成部分，是監(jiān)測與調(diào)整發(fā)電出力、維持系統(tǒng)頻率和聯(lián)絡(luò)線交換功率在預(yù)定范圍的關(guān)鍵。然而，傳統(tǒng)的自動發(fā)電控制策略難以解決大規(guī)模分布式電源與柔性負(fù)荷接入電網(wǎng)所帶來的隨機(jī)擾動問題。因此，從agc策略的角度，尋找一種在多區(qū)域能源互聯(lián)背景下有效提高系統(tǒng)安全穩(wěn)定運(yùn)行的控制策略具有重要意義。

2、現(xiàn)有技術(shù)提出了一種基于預(yù)測優(yōu)化的pid控制方法，以有效應(yīng)對風(fēng)電接入后帶來的不確定性，從而獲得agc最優(yōu)控制性能。然而，pid控制法常需要手動調(diào)整參數(shù)，適應(yīng)性差，且在系統(tǒng)動態(tài)快速變化時，響應(yīng)速度較慢。王豪威等提出了基于模型預(yù)測控制的多源自動發(fā)電控制系統(tǒng)及運(yùn)行優(yōu)化方法，其搭建了基于模型預(yù)測控制的多源自動發(fā)電控制系統(tǒng)模型，并利用粒子群優(yōu)化算法優(yōu)化區(qū)域內(nèi)系統(tǒng)的動態(tài)響應(yīng)調(diào)節(jié)性能。然而，該方法的計(jì)算復(fù)雜性高，對不確定性和突發(fā)事件的響應(yīng)可能不夠迅速。

技術(shù)實(shí)現(xiàn)思路

1、為了克服上述現(xiàn)有發(fā)電控制方法控制效率低的不足，本發(fā)明提供了一種多區(qū)域能源互聯(lián)分布式發(fā)電控制方法，包括如下步驟：

2、構(gòu)建多區(qū)域能源互聯(lián)的分布式發(fā)電控制系統(tǒng)架構(gòu)；

3、使用馬爾科夫決策過程獲取分布式發(fā)電控制系統(tǒng)架構(gòu)的狀態(tài)量及決策獎勵函數(shù)；

4、在雙深度q網(wǎng)絡(luò)ddqn中增加雙經(jīng)驗(yàn)池及好奇心網(wǎng)絡(luò)；將所述狀態(tài)量存儲至雙經(jīng)驗(yàn)池，使用雙經(jīng)驗(yàn)池調(diào)整過渡的狀態(tài)量的權(quán)重，獲得狀態(tài)量中的當(dāng)前有價值經(jīng)驗(yàn)信息，同時選擇性地忘記過時的經(jīng)驗(yàn)信息，并更新狀態(tài)量的權(quán)重；使用好奇心網(wǎng)絡(luò)確定決策獎勵函數(shù)的內(nèi)在獎勵，并更新好奇心網(wǎng)絡(luò)；通過更新后的狀態(tài)量權(quán)重和更新后的好奇心網(wǎng)絡(luò)得到改進(jìn)的ddqn算法；

5、將分布式發(fā)電控制系統(tǒng)架構(gòu)各區(qū)域的控制器作為智能體，使用改進(jìn)的ddqn算法對所述智能體進(jìn)行訓(xùn)練，得到優(yōu)化后的控制器，使用優(yōu)化后的控制器對發(fā)電參數(shù)進(jìn)行控制。

6、優(yōu)選的，所述狀態(tài)量包括表征環(huán)境的狀態(tài)集合、表征智能體動作的動作集合、表征環(huán)境狀態(tài)轉(zhuǎn)移概率的集合、表征對智能體獎勵的獎勵函數(shù)和折扣因子。

7、優(yōu)選的，所述表征環(huán)境狀態(tài)轉(zhuǎn)移概率的集合包括多個狀態(tài)轉(zhuǎn)移函數(shù)，具體為：

8、對于同時參加一次調(diào)頻與二次調(diào)頻的發(fā)電機(jī)組，其狀態(tài)轉(zhuǎn)移函數(shù)如下：

9、

10、對于只參加一次調(diào)頻的發(fā)電機(jī)組，其狀態(tài)轉(zhuǎn)移函數(shù)如下：

11、pgi,t+1＝pgi,t-kgi(δft+1-δft)，

12、對于只參加二次調(diào)頻的發(fā)電機(jī)組，其狀態(tài)轉(zhuǎn)移函數(shù)如下：

13、

14、對于可控負(fù)荷，其狀態(tài)轉(zhuǎn)移函數(shù)如下：

15、

16、式中，為機(jī)組出力變化，為可控負(fù)荷功率調(diào)整，pgi,t+1表示機(jī)組i在t+1時刻的發(fā)電功率，pgi,t表示機(jī)組i在t時刻的發(fā)電功率，kgi表示機(jī)組i的調(diào)頻系數(shù)，δft+1表示在t+1時刻的系統(tǒng)頻率偏差，δft表示在t時刻的系統(tǒng)頻率偏差，表示第i個可控負(fù)荷在t+1時刻的功率需求，表示第i個可控負(fù)荷在t時刻的功率需求。

17、優(yōu)選的，所述決策獎勵函數(shù)外獎勵函數(shù)和內(nèi)獎勵函數(shù)構(gòu)成。

18、優(yōu)選的，所述雙經(jīng)驗(yàn)池包括源經(jīng)驗(yàn)池與目標(biāo)經(jīng)驗(yàn)池，所述源經(jīng)驗(yàn)池表示分布式發(fā)電控制系統(tǒng)架構(gòu)的狀態(tài)量以前時刻的數(shù)據(jù)集合；目標(biāo)經(jīng)驗(yàn)池表示分布式發(fā)電控制系統(tǒng)架構(gòu)的狀態(tài)量當(dāng)前時刻的數(shù)據(jù)集合。

19、本發(fā)明還提供有一種多區(qū)域能源互聯(lián)分布式發(fā)電控制系統(tǒng)，包括：

20、系統(tǒng)構(gòu)建模塊，用于構(gòu)建多區(qū)域能源互聯(lián)分布式發(fā)電控制系統(tǒng)架構(gòu)；

21、狀態(tài)量獲取模塊，用于使用馬爾科夫決策過程獲取分布式發(fā)電控制系統(tǒng)架構(gòu)的狀態(tài)量及決策獎勵函數(shù)；

22、算法改進(jìn)模塊，用于在雙深度q網(wǎng)絡(luò)ddqn中增加雙經(jīng)驗(yàn)池及好奇心網(wǎng)絡(luò)；將所述狀態(tài)量存儲至雙經(jīng)驗(yàn)池，使用雙經(jīng)驗(yàn)池調(diào)整過渡的狀態(tài)量的權(quán)重，獲得狀態(tài)量中的當(dāng)前有價值經(jīng)驗(yàn)信息，同時選擇性地忘記過時的經(jīng)驗(yàn)信息，并更新狀態(tài)量的權(quán)重；使用好奇心網(wǎng)絡(luò)確定決策獎勵函數(shù)的內(nèi)在獎勵，并更新好奇心網(wǎng)絡(luò)；通過更新后的狀態(tài)量權(quán)重和更新后的好奇心網(wǎng)絡(luò)得到改進(jìn)的ddqn算法；

23、發(fā)電控制模塊，用于將分布式發(fā)電控制系統(tǒng)架構(gòu)各區(qū)域的控制器作為智能體，使用改進(jìn)的ddqn算法對所述智能體進(jìn)行訓(xùn)練，得到優(yōu)化后的控制器，使用優(yōu)化后的控制器對發(fā)電參數(shù)進(jìn)行控制。

24、本發(fā)明還提供有一種計(jì)算機(jī)設(shè)備，包括存儲器和處理器；所述存儲器存儲有計(jì)算機(jī)程序，所述處理器用于運(yùn)行所述存儲器內(nèi)的計(jì)算機(jī)程序，以執(zhí)行所述多區(qū)域能源互聯(lián)分布式發(fā)電控制方法。

25、本發(fā)明提供的多區(qū)域能源互聯(lián)分布式自動發(fā)電控制方法具有以下有益效果：

26、本發(fā)明通過在雙深度q網(wǎng)絡(luò)ddqn中增加雙經(jīng)驗(yàn)池，雙經(jīng)驗(yàn)池能夠調(diào)整過渡的狀態(tài)量的權(quán)重，獲得狀態(tài)量中的當(dāng)前有價值經(jīng)驗(yàn)信息，同時選擇性地忘記過時的經(jīng)驗(yàn)信息，并更新狀態(tài)量的權(quán)重，從而提高ddqn的收斂速度，通過在雙深度q網(wǎng)絡(luò)ddqn中增加好奇心網(wǎng)絡(luò)，能夠改進(jìn)決策獎勵機(jī)制的決策獎勵函數(shù)的內(nèi)在獎勵，能夠使得到的改進(jìn)的ddqn算法的收斂速度大大提高；通過將分布式發(fā)電控制系統(tǒng)架構(gòu)各區(qū)域的控制器作為智能體，使用改進(jìn)的ddqn算法對智能體進(jìn)行訓(xùn)練，能夠快速得到更優(yōu)的動態(tài)優(yōu)化控制方案。

技術(shù)特征：

1.一種多區(qū)域能源互聯(lián)分布式發(fā)電控制方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的多區(qū)域能源互聯(lián)分布式發(fā)電控制方法，其特征在于，所述狀態(tài)量包括表征環(huán)境的狀態(tài)集合、表征智能體動作的動作集合、表征環(huán)境狀態(tài)轉(zhuǎn)移概率的集合、表征對智能體獎勵的獎勵函數(shù)和折扣因子。

3.根據(jù)權(quán)利要求2所述的多區(qū)域能源互聯(lián)分布式發(fā)電控制方法，其特征在于，所述表征環(huán)境狀態(tài)轉(zhuǎn)移概率的集合包括多個狀態(tài)轉(zhuǎn)移函數(shù)，具體為：

4.根據(jù)權(quán)利要求1所述的多區(qū)域能源互聯(lián)分布式發(fā)電控制方法，其特征在于，所述決策獎勵函數(shù)外獎勵函數(shù)和內(nèi)獎勵函數(shù)構(gòu)成。

5.根據(jù)權(quán)利要求1所述的多區(qū)域能源互聯(lián)分布式發(fā)電控制方法，其特征在于，所述雙經(jīng)驗(yàn)池包括源經(jīng)驗(yàn)池與目標(biāo)經(jīng)驗(yàn)池，所述源經(jīng)驗(yàn)池表示分布式發(fā)電控制系統(tǒng)架構(gòu)的狀態(tài)量以前時刻的數(shù)據(jù)集合；目標(biāo)經(jīng)驗(yàn)池表示分布式發(fā)電控制系統(tǒng)架構(gòu)的狀態(tài)量當(dāng)前時刻的數(shù)據(jù)集合。

6.一種多區(qū)域能源互聯(lián)分布式發(fā)電控制系統(tǒng)，其特征在于，包括：

7.一種計(jì)算機(jī)設(shè)備，其特征在于，包括存儲器和處理器；所述存儲器存儲有計(jì)算機(jī)程序，所述處理器用于運(yùn)行所述存儲器內(nèi)的計(jì)算機(jī)程序，以執(zhí)行權(quán)利要求1-5任一項(xiàng)所述的多區(qū)域能源互聯(lián)分布式發(fā)電控制方法。

技術(shù)總結(jié)
本發(fā)明提供了一種多區(qū)域能源互聯(lián)分布式自動發(fā)電控制方法、系統(tǒng)及設(shè)備，屬于自動發(fā)電控制領(lǐng)域，其方法包括如下步驟：構(gòu)建多區(qū)域能源互聯(lián)分布式發(fā)電控制系統(tǒng)架構(gòu)；使用馬爾科夫決策過程獲取分布式發(fā)電控制系統(tǒng)架構(gòu)的狀態(tài)量及決策獎勵函數(shù)；本發(fā)明通過在雙深度Q網(wǎng)絡(luò)DDQN中增加雙經(jīng)驗(yàn)池，能夠獲得狀態(tài)量中的當(dāng)前有價值經(jīng)驗(yàn)信息，并忘記過時的經(jīng)驗(yàn)信息，從而提高DDQN的收斂速度，通過在雙深度Q網(wǎng)絡(luò)DDQN中增加好奇心網(wǎng)絡(luò)，能夠改進(jìn)決策獎勵函數(shù)的內(nèi)在獎勵，使改進(jìn)的DDQN算法的收斂速度大大提高；通過將發(fā)電控制系統(tǒng)架構(gòu)各區(qū)域的控制器作為智能體，使用改進(jìn)的DDQN算法對智能體進(jìn)行訓(xùn)練，能夠快速得到更優(yōu)的動態(tài)優(yōu)化控制方案。

技術(shù)研發(fā)人員：劉天慈,金巧,舒心,張端宇,曹威,潘俊文,鄭東
受保護(hù)的技術(shù)使用者：國網(wǎng)湖北省電力有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15