本技術(shù)涉及電力負荷預(yù)測，尤其是涉及一種電力負荷長時序預(yù)測方法及相關(guān)裝置。

背景技術(shù)：

1、電力負荷預(yù)測技術(shù)的發(fā)展與應(yīng)用是保障電力系統(tǒng)穩(wěn)定運行的關(guān)鍵環(huán)節(jié)，更是優(yōu)化資源配置、支持可再生能源高效利用的重要手段。它能夠幫助電力公司及政府提前規(guī)劃電網(wǎng)建設(shè)和設(shè)備維護，減少因負荷波動導(dǎo)致的電網(wǎng)頻率異常和緊急停機事件，從而提高電力系統(tǒng)的運行效率和可靠性，以滿足未來電力系統(tǒng)發(fā)展的需求。

2、近年來，transformer模型由于其在處理序列數(shù)據(jù)方面的強大性能而備受矚目?；谧宰⒁饬C制組件，transformer能夠有效捕捉序列中的長期依賴關(guān)系，提升了對序列內(nèi)部復(fù)雜關(guān)系的理解能力，還顯著改善了預(yù)測任務(wù)的性能表現(xiàn)。目前基于transformer的電力負荷預(yù)測技術(shù)的應(yīng)用仍具有一些局限性：（1）自注意力機制主要關(guān)注的是序列元素之間的相互關(guān)系而非嚴格的順序信息，難以捕捉數(shù)據(jù)的時間上變化；（2）傳統(tǒng)的位置編碼是間接地向模型提供順序信息，并不能完全替代直接建模序列順序的能力，導(dǎo)致對時間方向性的理解不夠精確（3）電力負荷等時間序列數(shù)據(jù)往往受到天氣條件、節(jié)假日等多種外部因素的影響，傳統(tǒng)的transformer電力負荷預(yù)測模型對復(fù)雜外部因素響應(yīng)能力不足。

3、因此，如何充分考慮電力負荷數(shù)據(jù)的變化趨勢，提高對電力負荷長序列的預(yù)測精度成為了亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的核心在于提供一種電力負荷長時序預(yù)測方法及相關(guān)裝置，解決現(xiàn)有技術(shù)中傳統(tǒng)深度學(xué)習(xí)模型在電力負荷長時序預(yù)測任務(wù)中存在一定的局限性的問題。

2、第一方面，本技術(shù)提供的一種電力負荷長時序預(yù)測方法采用如下的技術(shù)方案：

3、一種電力負荷長時序預(yù)測方法，包括：

4、采集電力負荷時序數(shù)據(jù)；

5、對所述電力負荷時序數(shù)據(jù)進行預(yù)處理，包括缺失值填補、異常檢測、數(shù)據(jù)清洗及歸一化處理；

6、通過移動分解方法將預(yù)處理后的電力負荷時序數(shù)據(jù)分解為季節(jié)性分量和趨勢性分量；

7、將所述趨勢性分量輸入趨勢聚類增強網(wǎng)絡(luò)，通過k-means聚類算法對趨勢性分量進行通道聚類，并對每個聚類組應(yīng)用獨立的線性變換，提取長期趨勢特征；

8、將所述季節(jié)性分量輸入季節(jié)因果注意力網(wǎng)絡(luò)，通過因果掩碼機制和多頭注意力機制提取短期季節(jié)特征；

9、融合所述長期趨勢特征與短期季節(jié)特征，生成融合特征；

10、將所述融合特征輸入解碼器，通過全連接層輸出電力負荷預(yù)測結(jié)果。

11、可選地，所述通過移動分解方法將預(yù)處理后的電力負荷時序數(shù)據(jù)分解為季節(jié)性分量和趨勢性分量的步驟，包括：

12、通過移動平均序列分解方法將預(yù)處理后的電力負荷時序數(shù)據(jù)分解為季節(jié)項和趨勢項：

13、；

14、其中，表示時間點處的滑動平均值，為滑動窗口的大小，表示第個時間步的原始序列。

15、可選地，所述將所述趨勢性分量輸入趨勢聚類增強網(wǎng)絡(luò)，通過k-means聚類算法對趨勢性分量進行通道聚類，并對每個聚類組應(yīng)用獨立的線性變換，提取長期趨勢特征的步驟，包括：

16、將所述趨勢性分量輸入趨勢聚類增強網(wǎng)絡(luò)以對趨勢項進行聚類分析，得到每個通道對應(yīng)的聚類簇id?clusters；

17、將趨勢項展平成二維矩陣；

18、使用k-means算法對展平后的趨勢成分進行聚類，獲取到每個數(shù)據(jù)點所屬的簇id；

19、其中，k-means算法通過最小化所有點到其所屬簇中心的距離平方和進行優(yōu)化聚類過程，其損失函數(shù)如下：

20、；

21、其中，為第個數(shù)據(jù)點，為第個簇的中心，是所有簇的集合；

22、將聚類結(jié)果映射回原始形狀；

23、對于每個通道?c，根據(jù)其趨勢成分選擇對應(yīng)的線性層進行線性變換：

24、；

25、其中，和分別是線性變換的權(quán)重矩陣和偏置項；

26、將變換后的趨勢部分按照通道維度進行拼接得到，再進行反歸一化處理恢復(fù)到原始的尺度以提取長期趨勢特征。

27、可選地，所述將所述季節(jié)性分量輸入季節(jié)因果注意力網(wǎng)絡(luò)，通過因果掩碼機制和多頭注意力機制提取短期季節(jié)特征的步驟之前，還包括：

28、創(chuàng)建一個初始值全部為零，大小為的矩陣，其中?l?是時間序列的長度；

29、對于矩陣中的每個元素，如果，則保持的值為0，此時允許每個查詢可以與所有過去時間步的鍵進行交互；

30、對于未來時間步的掩碼值，矩陣中的每個元素，如果，則將設(shè)置為，表示對于每個查詢不能與任何未來時間步的鍵進行交互；

31、掩碼機制的計算公式為：

32、；

33、對輸入數(shù)據(jù)進行線性變換，計算查詢、鍵和值矩陣：

34、；

35、其中，、和是可學(xué)習(xí)矩陣；

36、利用掩碼機制構(gòu)建因果注意力分數(shù)矩陣：

37、；

38、其中，是鍵的維度，為softmax函數(shù)，將注意力分數(shù)歸一化為概率分布；

39、借助多頭注意力機制特點，構(gòu)建多頭因果注意力機制，多頭因果注意力機制計算公式為：

40、；

41、每個頭部定義為：

42、；

43、其中，，和是注意力頭的權(quán)重矩陣，是將所有注意力頭輸出組合的權(quán)重矩陣，表示第個頭中鍵的維度。

44、可選地，所述將所述季節(jié)性分量輸入季節(jié)因果注意力網(wǎng)絡(luò)，通過因果掩碼機制和多頭注意力機制提取短期季節(jié)特征的步驟，包括：

45、將所述季節(jié)性分量劃分為非重疊的patch，在序列的開頭刪除前元素以確保剩余部分可以被整除為整數(shù)個patch，剩余的序列長度，每個patch表示為；

46、將每個patch投影到transformer的潛在空間中，并添加位置編碼以保留時間順序信息，其投影操作為：

47、；

48、其中，是可訓(xùn)練的線性投影矩陣，是transformer的潛在空間維度，是可學(xué)習(xí)的位置編碼矩陣；

49、構(gòu)建基于多頭因果注意力設(shè)計的transformer編碼器，對于每個注意力頭變換輸入得到查詢矩陣變換、鍵矩陣和值矩陣；

50、；

51、其中，，和是第個注意力頭的權(quán)重矩陣，表示第個頭中鍵的維度；

52、應(yīng)用因果注意力機制計算注意力頭；

53、；

54、將多個頭部的結(jié)果拼接起來并通過線性層組合輸出；

55、；

56、將多頭因果方向注意力的輸出與輸入相加進行殘差連接并進行層歸一化；

57、；

58、進入前饋神經(jīng)網(wǎng)絡(luò)；

59、；

60、其中，和第一層的權(quán)重和偏置，和是第二層的權(quán)重和偏置；

61、計算殘差連接、進行層歸一化；

62、；

63、將輸出展平并通過線性層輸出，并執(zhí)行反歸一化步驟，得到季節(jié)項預(yù)測頭。

64、可選地，所述預(yù)處理的步驟還包括：

65、將電力負荷時序數(shù)據(jù)按7:1:2的比例劃分為訓(xùn)練集、驗證集和測試集，并通過滑動窗口生成連續(xù)時間片段。

66、可選地，所述方法進一步包括：

67、在季節(jié)因果注意力網(wǎng)絡(luò)中引入位置編碼，通過可學(xué)習(xí)的位置編碼矩陣保留時間序列的順序信息。

68、第二方面，本技術(shù)提供一種電力負荷長時序預(yù)測裝置，執(zhí)行如上文所述的方法，包括：

69、數(shù)據(jù)采集模塊，用于采集電力負荷時序數(shù)據(jù)；

70、預(yù)處理模塊，用于對所述電力負荷時序數(shù)據(jù)進行預(yù)處理，包括缺失值填補、異常檢測、數(shù)據(jù)清洗及歸一化處理；

71、分解模塊，用于通過移動分解方法將預(yù)處理后的電力負荷時序數(shù)據(jù)分解為季節(jié)性分量和趨勢性分量；

72、長期趨勢特征提取模塊，用于將所述趨勢性分量輸入趨勢聚類增強網(wǎng)絡(luò)，通過k-means聚類算法對趨勢性分量進行通道聚類，并對每個聚類組應(yīng)用獨立的線性變換，提取長期趨勢特征；

73、短期季節(jié)特征提取模塊，用于將所述季節(jié)性分量輸入季節(jié)因果注意力網(wǎng)絡(luò)，通過因果掩?碼機制和多頭注意力機制提取短期季節(jié)特征；

74、融合模塊，用于融合所述長期趨勢特征與短期季節(jié)特征，生成融合特征；

75、輸出模塊，用于將所述融合特征輸入解碼器，通過全連接層輸出電力負荷預(yù)測結(jié)果。

76、第三方面，本技術(shù)提供一種計算機設(shè)備，所述設(shè)備包括：存儲器、處理器，所述處理器在運行所述存儲器存儲的計算機指令時，執(zhí)行如上文所述的方法。

77、第四方面，本技術(shù)提供一種計算機可讀存儲介質(zhì)，包括指令，當(dāng)所述指令在計算機上運行時，使得計算機執(zhí)行如上文所述的方法。

78、綜上描述，本技術(shù)包括以下有益技術(shù)效果：

79、本技術(shù)通過采集電力負荷時序數(shù)據(jù)；對電力負荷時序數(shù)據(jù)進行預(yù)處理；通過移動分解方法將預(yù)處理后的電力負荷時序數(shù)據(jù)分解為季節(jié)性分量和趨勢性分量；將趨勢性分量輸入趨勢聚類增強網(wǎng)絡(luò)，通過k-means聚類算法對趨勢性分量進行通道聚類，并對每個聚類組應(yīng)用獨立的線性變換，提取長期趨勢特征；將季節(jié)性分量輸入季節(jié)因果注意力網(wǎng)絡(luò)，通過因果掩碼機制和多頭注意力機制提取短期季節(jié)特征；融合長期趨勢特征與短期季節(jié)特征，生成融合特征；將融合特征輸入解碼器，通過全連接層輸出電力負荷預(yù)測結(jié)果。充分考慮電力負荷數(shù)據(jù)的變化趨勢，提高了對電力負荷長序列的預(yù)測精度。