本技術(shù)涉及水文預(yù)報，更具體地，涉及一種基于大數(shù)據(jù)的流域水文預(yù)報方法及系統(tǒng)。

背景技術(shù)：

1、傳統(tǒng)的流域水文預(yù)報方法多依賴于簡單的統(tǒng)計模型或物理概念模型。統(tǒng)計模型往往基于歷史數(shù)據(jù)的統(tǒng)計關(guān)系建立預(yù)測模型，但難以充分考慮水文過程中的復(fù)雜非線性關(guān)系和時空變化特性。物理概念模型雖然能夠從物理機制上對水文過程進行描述，但在面對數(shù)據(jù)量大、變化復(fù)雜的現(xiàn)代流域水文情況時，模型參數(shù)的確定和計算效率成為難題。隨著流域周邊環(huán)境的變化以及人類活動對水文系統(tǒng)的干擾日益增加，傳統(tǒng)方法難以實時準確地捕捉這些變化，導(dǎo)致預(yù)報精度受限。同時，單一模型的應(yīng)用無法綜合利用多源數(shù)據(jù)的信息，在復(fù)雜流域環(huán)境下難以全面反映水文變化規(guī)律，迫切需要新的方法來提高流域水文預(yù)報的準確性和實時性。

2、現(xiàn)有技術(shù)如公開號為“cn116643331a”的中國專利申請公開了一種基于區(qū)域流域的水文信息大數(shù)據(jù)進行水文預(yù)報的方法，該方法包括s1收集數(shù)據(jù)，包括流域內(nèi)歷史水文氣象數(shù)據(jù)和降水集合預(yù)報數(shù)據(jù)，對原始數(shù)據(jù)進行篩選和分類，將降雨量、水庫入水量、流量水文特征作為長短期記憶循環(huán)預(yù)測模型的輸入特征；s2數(shù)據(jù)分析，基于大數(shù)據(jù)算法，根據(jù)dem數(shù)據(jù)生成精細化的目標流域的水系圖，分析目標流域的水文參數(shù)；通過模擬降雨過程訓(xùn)練和確定lstmc模型的結(jié)構(gòu)；s3基于深度學(xué)習(xí)算法，建立目標區(qū)間水文預(yù)報模型；s4模型實驗結(jié)果與分析。

3、上述現(xiàn)有技術(shù)存在的問題是，該方法在數(shù)據(jù)處理實時性、模型融合多樣性上存在不足；若面臨突發(fā)水文變化，由于無法及時獲取和處理最新數(shù)據(jù)，模型無法快速調(diào)整預(yù)測，可能導(dǎo)致預(yù)報結(jié)果滯后，錯過應(yīng)對災(zāi)害的最佳時機；該方法主要基于長短期記憶循環(huán)預(yù)測模型，雖結(jié)合隨機森林算法進行特征提取和模型優(yōu)化，但沒有形成多模型相互協(xié)作、共同提升預(yù)測效果的復(fù)雜結(jié)構(gòu)，無法充分利用不同模型從不同角度對數(shù)據(jù)進行分析的能力，限制了模型整體性能的提升。

技術(shù)實現(xiàn)思路

1、為解決上述技術(shù)問題，本發(fā)明提出了一種基于大數(shù)據(jù)的流域水文預(yù)報方法及系統(tǒng)。

2、本發(fā)明技術(shù)方案如下：

3、本發(fā)明提出一種基于大數(shù)據(jù)的流域水文預(yù)報方法，包括以下步驟：

4、步驟s1，通過大數(shù)據(jù)平臺采集流域水文相關(guān)數(shù)據(jù)，并實時傳輸至部署在數(shù)據(jù)采集端的邊緣計算節(jié)點，對采集到的數(shù)據(jù)進行預(yù)處理和特征提取；

5、步驟s2，將經(jīng)過特征提取的流域水文相關(guān)數(shù)據(jù)構(gòu)成數(shù)據(jù)集，通過時空交叉驗證將數(shù)據(jù)集劃分為測試集和驗證集；

6、步驟s3，利用劃分的訓(xùn)練集分別構(gòu)建并訓(xùn)練隨機森林模型和長短期記憶網(wǎng)絡(luò)模型lstm，得到訓(xùn)練好的隨機森林模型和長短期記憶網(wǎng)絡(luò)模型lstm；

7、步驟s4，使用堆疊stacking方法對訓(xùn)練好的隨機森林模型和長短期記憶網(wǎng)絡(luò)模型lstm進行融合，得到流域水文預(yù)測模型，并利用測試集數(shù)據(jù)對流域水文預(yù)測模型進行評估和優(yōu)化；

8、步驟s5，將大數(shù)據(jù)平臺采集流域水文相關(guān)數(shù)據(jù)實時傳輸至部署在數(shù)據(jù)采集端的邊緣計算節(jié)點進行預(yù)處理和特征提取，并將新的特征數(shù)據(jù)融入到原有的數(shù)據(jù)集中，通過流域水文預(yù)測模型實時預(yù)測流域的水文數(shù)據(jù)。

9、作為優(yōu)選實施方式，所述流域水文相關(guān)數(shù)據(jù)包括：氣象數(shù)據(jù)、水文數(shù)據(jù)、地形地貌數(shù)據(jù)和土壤數(shù)據(jù)；其中，氣象數(shù)據(jù)包括：降水、氣溫、風(fēng)速、風(fēng)向、濕度；水文數(shù)據(jù)包括：水位、流量、蒸發(fā)量；地形地貌數(shù)據(jù)包括：涵蓋流域的地形高程、坡度、坡向、土地利用類型；土壤數(shù)據(jù)包括：土壤類型、質(zhì)地、孔隙度。

10、作為優(yōu)選實施方式，所述通過時空交叉驗證將數(shù)據(jù)集劃分為測試集和驗證集，具體包含以下步驟：

11、時間劃分：根據(jù)流域水文數(shù)據(jù)的時間特征，將時間序列劃分為k個互不重疊的時間段t1,t2,…,tk；

12、空間劃分：依據(jù)流域的空間特性，將流域空間劃分為m個互不重疊的子區(qū)域r1,r2,…,rm；

13、驗證過程：在每次驗證中，選擇一個時間段ti,i∈k和一個子區(qū)域rj,j∈m作為驗證集，其余的時間和空間數(shù)據(jù)作為訓(xùn)練集，通過遍歷所有的時間和空間組合，使數(shù)據(jù)在時間和空間維度上都能得到充分的利用和驗證。

14、作為優(yōu)選實施方式，所述隨機森林模型輸出結(jié)果如下：

15、

16、其中：

17、

18、式中：為隨機森林模型輸出結(jié)果；n為隨機森林模型決策樹數(shù)量；為第n個決策樹對樣本x的預(yù)測值；wn為第個決策樹的投票權(quán)重；accn為第n個決策樹在訓(xùn)練集上的預(yù)測準確率；acco為第o個決策樹在訓(xùn)練集上的預(yù)測準確率。

19、作為優(yōu)選實施方式，所述長短期記憶網(wǎng)絡(luò)模型lstm采用雙向注意力lstm、分層lstm與跳躍連接的多模態(tài)融合的lstm模型，其中：

20、雙向注意力lstm包括：

21、前向lstm計算：

22、遺忘門

23、

24、輸入門

25、

26、候選記憶單元

27、

28、記憶單元

29、

30、輸出門

31、

32、隱藏狀態(tài)

33、

34、式中：和分別為前向計算中遺忘門、輸入門、候選記憶單元和輸出門的權(quán)重矩陣；和分別為前向計算中遺忘門、輸入門、候選記憶單元和輸出門的偏置向量；σ為sigmoid函數(shù)；xt為在時間步時的輸入數(shù)據(jù)；⊙為元素相乘；tanh()為是雙曲正切函數(shù)；

35、后向lstm計算：

36、遺忘門

37、

38、輸入門

39、

40、候選記憶單元

41、

42、記憶單元

43、

44、輸出門

45、

46、隱藏狀態(tài)

47、

48、式中：和分別為后向計算中遺忘門、輸入門、候選記憶單元和輸出門的權(quán)重矩陣；和分別為后向計算中遺忘門、輸入門、候選記憶單元和輸出門的偏置向量；

49、注意力權(quán)重計算公式如下：

50、

51、式中：分別為前向和后向注意力機制權(quán)重；分別為前向和后向注意力機制的權(quán)重矩陣；

52、將前向lstm的隱藏狀態(tài)和后向lstm的隱藏狀態(tài)進行融合，具體公式如下：

53、

54、式中：ht為融合后的隱藏狀態(tài)；

55、分層lstm與跳躍連接包括：

56、分層lstm中的底層lstm和高層lstm與前向lstm和后向lstm基于相同的lstm基本結(jié)構(gòu)，將ht作為底層lstm輸入，輸出得到底層lstm的隱藏狀態(tài)ht1；將ht1作為高層lstm輸入，輸出得到高層lstm的隱藏狀態(tài)ht2；將ht1和ht2進行跳躍連接，得到最終融合的隱藏狀態(tài)，具體公式如下：

57、

58、將最終融合的隱藏狀態(tài)通過輸出層轉(zhuǎn)化為預(yù)測值，具體公式如下：

59、

60、式中：為lstm模型輸出預(yù)測值；wy為維度適配的權(quán)重矩陣；by為輸出層的偏置向量。

61、作為優(yōu)選實施方式，所述使用堆疊stacking方法對訓(xùn)練好的隨機森林模型和長短期記憶網(wǎng)絡(luò)模型lstm進行融合，得到流域水文預(yù)測模型，流域水文預(yù)測模型包括：

62、第一層模型預(yù)測：

63、使用訓(xùn)練好的隨機森林和lstm模型對訓(xùn)練集和測試集進行預(yù)測；隨機森林模型對訓(xùn)練集和測試集的預(yù)測結(jié)果分別為和lstm模型對訓(xùn)練集和測試集的預(yù)測結(jié)果分別為和

64、第二層融合模型訓(xùn)練：

65、將和作為新的特征，構(gòu)成新的訓(xùn)練數(shù)據(jù)集將和作為新的特征，構(gòu)成新的測試數(shù)據(jù)集

66、第二層模型訓(xùn)練與預(yù)測：

67、使用和流域水文相關(guān)數(shù)據(jù)中的實際觀測值對第二層模型進行訓(xùn)練；并通過新的測試數(shù)據(jù)集得到最終的融合預(yù)測結(jié)果，具體公式如下：

68、

69、式中：為融合預(yù)測結(jié)果；θ0為截距項；θ1為隨機森林模型預(yù)測結(jié)果對最終預(yù)測值的影響程度，θ2為lstm模型預(yù)測結(jié)果對最終預(yù)測值的影響程度。

70、作為優(yōu)選實施方式，所述使用和流域水文相關(guān)數(shù)據(jù)中的實際觀測值對第二層模型進行訓(xùn)練過程中；通過損失函數(shù)求解得到最優(yōu)的參數(shù)，損失函數(shù)表達式如下：

71、

72、式中：為第a個訓(xùn)練樣本的實際觀測值；為第二層模型對第a個訓(xùn)練樣本的預(yù)測值。

73、另一方面，本發(fā)明還提供一種基于大數(shù)據(jù)的流域水文預(yù)報系統(tǒng)，包括：

74、數(shù)據(jù)采集與預(yù)處理模塊，通過大數(shù)據(jù)平臺采集流域水文相關(guān)數(shù)據(jù)，并實時傳輸至部署在數(shù)據(jù)采集端的邊緣計算節(jié)點，對采集到的數(shù)據(jù)進行預(yù)處理和特征提??；

75、數(shù)據(jù)集劃分模塊，將經(jīng)過特征提取的流域水文相關(guān)數(shù)據(jù)構(gòu)成數(shù)據(jù)集，通過時空交叉驗證將數(shù)據(jù)集劃分為測試集和驗證集；

76、模型訓(xùn)練模塊，利用劃分的訓(xùn)練集分別構(gòu)建并訓(xùn)練隨機森林模型和長短期記憶網(wǎng)絡(luò)模型lstm，得到訓(xùn)練好的隨機森林模型和長短期記憶網(wǎng)絡(luò)模型lstm；

77、模型融合與優(yōu)化模塊，使用堆疊stacking方法對訓(xùn)練好的隨機森林模型和長短期記憶網(wǎng)絡(luò)模型lstm進行融合，得到流域水文預(yù)測模型，并利用測試集數(shù)據(jù)對流域水文預(yù)測模型進行評估和優(yōu)化；

78、實時預(yù)測模塊，將大數(shù)據(jù)平臺采集流域水文相關(guān)數(shù)據(jù)實時傳輸至部署在數(shù)據(jù)采集端的邊緣計算節(jié)點進行預(yù)處理和特征提取，并將新的特征數(shù)據(jù)融入到原有的數(shù)據(jù)集中，通過流域水文預(yù)測模型實時預(yù)測流域的水文數(shù)據(jù)。

79、再一方面，本發(fā)明還提供一種電子設(shè)備，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如本發(fā)明任一實施例所述的一種基于大數(shù)據(jù)的流域水文預(yù)報方法。

80、再一方面，本發(fā)明還提供一種計算機可讀介質(zhì)，用于存儲一個或者多個程序，當所述一個或多個程序被所述一個或多個處理器執(zhí)行時，使得所述一個或多個處理器實現(xiàn)如本發(fā)明任一實施例所述的一種基于大數(shù)據(jù)的流域水文預(yù)報方法。

81、本發(fā)明具有如下有益效果：

82、1.通過大數(shù)據(jù)平臺采集多源數(shù)據(jù)，涵蓋氣象、水文、地形地貌和土壤等多個方面，并在邊緣計算節(jié)點實時預(yù)處理和特征提取，能快速處理大量數(shù)據(jù)，為模型提供豐富準確的信息。

83、2.采用stacking方法融合隨機森林模型和長短期記憶網(wǎng)絡(luò)模型lstm，結(jié)合了兩者優(yōu)點，隨機森林能處理非線性關(guān)系和篩選重要特征，lstm擅長處理時間序列數(shù)據(jù)，提高了模型預(yù)測的準確性和穩(wěn)定性。

84、3.新采集數(shù)據(jù)實時處理并融入原數(shù)據(jù)集，通過優(yōu)化后的流域水文預(yù)測模型實時預(yù)測，能及時反映流域水文狀態(tài)變化，為防洪、水資源調(diào)度等決策提供實時信息。