本發(fā)明涉及大數(shù)據(jù)分析，尤其涉及基于大數(shù)據(jù)分析的水文站水文數(shù)據(jù)清洗方法及系統(tǒng)。

背景技術(shù)：

1、在水文站進(jìn)行水文流量監(jiān)測時(shí)會(huì)產(chǎn)生大量水文數(shù)據(jù)，但是這些水文數(shù)據(jù)中由于水文設(shè)備的誤差或者設(shè)備的故障含有大量的不符實(shí)際的波動(dòng)或者突變等錯(cuò)誤數(shù)據(jù)，這時(shí)就需要對水文站水文數(shù)據(jù)進(jìn)行清洗，而現(xiàn)有的根據(jù)相鄰兩次水位數(shù)據(jù)和時(shí)間，計(jì)算出水位斜率和差值，算法進(jìn)行內(nèi)外兩層的判斷，外層初步過濾，內(nèi)層進(jìn)階過濾，外層嚴(yán)差值松斜率，內(nèi)層嚴(yán)斜率松差值，目的是過濾突變量較大和斜率較高的異常數(shù)據(jù)，使用斜率為主、差值為輔的過濾方法，以保證異常數(shù)據(jù)處理的準(zhǔn)確性同時(shí)避免對正常數(shù)據(jù)的誤處理，但是無法基于水文數(shù)據(jù)誤差以及水文數(shù)據(jù)終端的異常評估的綜合分析，對獲取得到的水文流量數(shù)據(jù)真實(shí)性進(jìn)行判斷準(zhǔn)確性不高；現(xiàn)有技術(shù)例如在授權(quán)公告號為cn113377750b的中國專利中公開了水文數(shù)據(jù)清洗方法及系統(tǒng)，獲取待處理的水文數(shù)據(jù)；對待處理的水文數(shù)據(jù)進(jìn)行第一次清洗；所述第一次清洗包括：缺失數(shù)據(jù)監(jiān)測和不合理數(shù)據(jù)剔除與填補(bǔ)；對第一次清洗后的水文數(shù)據(jù)進(jìn)行第二次清洗；所述第二次清洗包括：對因果關(guān)系不一致的數(shù)據(jù)剔除與填補(bǔ)；對清洗結(jié)果進(jìn)行檢驗(yàn)水文數(shù)據(jù)的多元二次清洗能為進(jìn)一步水文研究提供合理且一致的數(shù)據(jù)，現(xiàn)有技術(shù)存在本技術(shù)提出的技術(shù)問題。

2、為了解決本技術(shù)提出的技術(shù)問題，本技術(shù)設(shè)計(jì)了基于大數(shù)據(jù)分析的水文站水文數(shù)據(jù)清洗方法及系統(tǒng)。

技術(shù)實(shí)現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)存在的缺陷與不足，本發(fā)明提供基于大數(shù)據(jù)分析的水文站水文數(shù)據(jù)清洗方法及系統(tǒng)。

2、為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

3、第一方面，本發(fā)明提供基于大數(shù)據(jù)分析的水文站水文數(shù)據(jù)清洗方法，包括下述步驟：

4、s1、獲取水文站采集的流域位置各時(shí)間的水文流量數(shù)據(jù)，同時(shí)獲取采集點(diǎn)的環(huán)境以及采集設(shè)備運(yùn)行數(shù)據(jù)；

5、s2、基于對應(yīng)時(shí)間的流域位置的水文流量數(shù)據(jù)的變化以及上下游水位數(shù)據(jù)變化情況進(jìn)行水文流量數(shù)據(jù)的誤差判斷；

6、s3、通過獲取的采集點(diǎn)的環(huán)境以及采集設(shè)備運(yùn)行數(shù)據(jù)進(jìn)行水文數(shù)據(jù)終端的異常評估；

7、s4、獲取水文流量數(shù)據(jù)的誤差判斷結(jié)果以及水文數(shù)據(jù)終端的異常評估結(jié)果進(jìn)行水文流量數(shù)據(jù)真實(shí)性判斷；

8、s5、根據(jù)水文流量數(shù)據(jù)真實(shí)性判斷結(jié)果進(jìn)行水文流量數(shù)據(jù)的清洗，得到清洗后的水文流量數(shù)據(jù)。

9、在本發(fā)明的一種實(shí)現(xiàn)方式中，所述獲取水文站采集的流域位置各時(shí)間的水文數(shù)據(jù)，同時(shí)獲取采集點(diǎn)的環(huán)境以及采集設(shè)備運(yùn)行數(shù)據(jù)包括以下具體步驟：

10、s101、安裝在流域各監(jiān)測點(diǎn)的水文數(shù)據(jù)終端采集各監(jiān)測點(diǎn)的水文數(shù)據(jù)，構(gòu)建各監(jiān)測點(diǎn)的水文流量數(shù)據(jù)隨時(shí)間變化的變化曲線，降獲取的各監(jiān)測點(diǎn)的變化曲線儲(chǔ)存在對應(yīng)的儲(chǔ)存模組中；

11、s102、獲取對應(yīng)各監(jiān)測點(diǎn)的監(jiān)測位置的天氣環(huán)境數(shù)據(jù)以及電磁場環(huán)境數(shù)據(jù)，儲(chǔ)存在對應(yīng)的儲(chǔ)存組件中，由于監(jiān)測位置的天氣環(huán)境和電磁場環(huán)境會(huì)對采集終端的精度造成負(fù)面影響；

12、s103、通過運(yùn)行數(shù)據(jù)采集終端采集水文數(shù)據(jù)終端的運(yùn)行數(shù)據(jù)，其中，運(yùn)行數(shù)據(jù)包括運(yùn)行時(shí)間、采集數(shù)據(jù)的頻率以及采集數(shù)據(jù)的波動(dòng)情況，儲(chǔ)存在對應(yīng)的儲(chǔ)存組件中，這樣綜合分析水文數(shù)據(jù)終端的老化幾率。

13、在本發(fā)明的一種實(shí)現(xiàn)方式中，步驟s2中基于對應(yīng)時(shí)間的流域位置的水文流量數(shù)據(jù)的變化以及上下游水位數(shù)據(jù)變化情況進(jìn)行水文流量數(shù)據(jù)的誤差判斷，包括以下具體步驟：

14、s201、獲取對應(yīng)周期內(nèi)各監(jiān)測時(shí)間點(diǎn)的監(jiān)測位置的水文流量數(shù)據(jù)，同時(shí)獲取對應(yīng)監(jiān)測位置的上游以及下游監(jiān)測位置的水文流量數(shù)據(jù)，同時(shí)獲取監(jiān)測時(shí)間間隔內(nèi)的天氣環(huán)境數(shù)據(jù)；

15、s202、基于歷史周期的對應(yīng)監(jiān)測位置的上游以及下游監(jiān)測位置的水文流量數(shù)據(jù)、歷史對應(yīng)監(jiān)測位置的上游以及下游監(jiān)測位置時(shí)間間隔內(nèi)的天氣環(huán)境和歷史數(shù)據(jù)周期的對應(yīng)監(jiān)測位置的水文流量數(shù)據(jù)構(gòu)建神經(jīng)網(wǎng)絡(luò)模型預(yù)估對應(yīng)周期內(nèi)各監(jiān)測時(shí)間點(diǎn)的監(jiān)測位置的水文流量數(shù)據(jù)的預(yù)估值；

16、s203、獲取對應(yīng)周期內(nèi)各監(jiān)測時(shí)間點(diǎn)的監(jiān)測位置的水文流量數(shù)據(jù)的預(yù)估值與對應(yīng)周期內(nèi)各監(jiān)測時(shí)間點(diǎn)的監(jiān)測位置的水文流量數(shù)據(jù)的實(shí)際值，將對應(yīng)時(shí)間點(diǎn)的監(jiān)測位置的水文流量數(shù)據(jù)的實(shí)際值與預(yù)估值導(dǎo)入誤差判斷值計(jì)算公式中計(jì)算誤差判斷值，在很短的時(shí)間內(nèi)流量波動(dòng)是很小的，若存在較大的波動(dòng)說明設(shè)備測量的不準(zhǔn)確性較大；

17、s204、將計(jì)算得到的對應(yīng)時(shí)間點(diǎn)的監(jiān)測位置誤差判斷值與設(shè)定的誤差判斷閾值進(jìn)行對比，若監(jiān)測位置誤差判斷值大于等于設(shè)定的誤差判斷閾值，則將對應(yīng)監(jiān)測位置設(shè)為誤差位置，并進(jìn)行s3，若監(jiān)測位置誤差判斷值小于設(shè)定的誤差判斷閾值，則判斷數(shù)據(jù)正常，不需要清洗。

18、在本發(fā)明的一種實(shí)現(xiàn)方式中，步驟s3中通過獲取的采集點(diǎn)的環(huán)境以及采集設(shè)備運(yùn)行數(shù)據(jù)進(jìn)行水文流量數(shù)據(jù)的異常評估，包括以下具體步驟：

19、s301、獲取誤差位置采集點(diǎn)的環(huán)境以及水文數(shù)據(jù)終端的運(yùn)行數(shù)據(jù)；

20、s302、基于誤差位置采集點(diǎn)的采集時(shí)刻的環(huán)境影響以及水文數(shù)據(jù)終端的運(yùn)行數(shù)據(jù)影響進(jìn)行采集時(shí)刻的水文數(shù)據(jù)終端異常影響評估；

21、其中，水文數(shù)據(jù)終端異常影響評估包括以下具體步驟：

22、s3021、基于誤差位置采集點(diǎn)的采集時(shí)刻的環(huán)境數(shù)據(jù)與水文數(shù)據(jù)終端的正常運(yùn)行數(shù)據(jù)進(jìn)行對比分析得到環(huán)境異常影響結(jié)果；

23、s3022、基于水文數(shù)據(jù)終端的歷史運(yùn)行數(shù)據(jù)進(jìn)行水文數(shù)據(jù)終端的運(yùn)行數(shù)據(jù)影響分析，由于采集數(shù)據(jù)的波動(dòng)會(huì)影響設(shè)備的穩(wěn)定性，頻繁的數(shù)據(jù)采集波動(dòng)會(huì)導(dǎo)致設(shè)備磨損；

24、s3023、獲取環(huán)境異常影響結(jié)果和水文數(shù)據(jù)終端的運(yùn)行數(shù)據(jù)影響分析結(jié)果進(jìn)行加權(quán)求和后得到水文數(shù)據(jù)終端異常影響評估結(jié)果。

25、在本發(fā)明的一種實(shí)現(xiàn)方式中，步驟s4中獲取水文流量數(shù)據(jù)的誤差判斷結(jié)果以及水文數(shù)據(jù)終端的異常評估結(jié)果進(jìn)行水文流量數(shù)據(jù)真實(shí)性判斷包括以下具體步驟：

26、s401、獲取對應(yīng)水文流量數(shù)據(jù)的誤差判斷值以及對應(yīng)水文流量數(shù)據(jù)時(shí)刻的水文數(shù)據(jù)終端異常影響評估結(jié)果；

27、s402、通過對應(yīng)水文流量數(shù)據(jù)的誤差判斷值和水文數(shù)據(jù)終端異常影響評估結(jié)果分別標(biāo)準(zhǔn)化后加權(quán)求和后得到水文流量數(shù)據(jù)的異常值，將水文流量數(shù)據(jù)的異常值進(jìn)行求倒數(shù)后得到水文流量數(shù)據(jù)真實(shí)性結(jié)果。

28、在本發(fā)明的一種實(shí)現(xiàn)方式中，步驟s5中根據(jù)水文流量數(shù)據(jù)真實(shí)性判斷結(jié)果進(jìn)行水文流量數(shù)據(jù)的清洗，得到清洗后的水文流量數(shù)據(jù)，包括以下具體內(nèi)容：

29、將獲取的對應(yīng)水文流量數(shù)據(jù)真實(shí)性結(jié)果與設(shè)定的水文流量數(shù)據(jù)真實(shí)性閾值進(jìn)行對比，若獲取的對應(yīng)水文流量數(shù)據(jù)真實(shí)性結(jié)果大于等于設(shè)定的水文流量數(shù)據(jù)真實(shí)性閾值，則說明對應(yīng)水文流量數(shù)據(jù)真實(shí)，不需要清洗；若獲取的對應(yīng)水文流量數(shù)據(jù)真實(shí)性結(jié)果小于設(shè)定的水文流量數(shù)據(jù)真實(shí)性閾值，則說明對應(yīng)水文流量數(shù)據(jù)不真實(shí)，需要清洗；進(jìn)行水文流量數(shù)據(jù)的清洗，得到清洗后的水文流量數(shù)據(jù)。

30、第二方面，本發(fā)明還提供基于大數(shù)據(jù)分析的水文站水文數(shù)據(jù)清洗系統(tǒng)，具體包括：

31、數(shù)據(jù)獲取模塊，用于獲取水文站采集的流域位置各時(shí)間的水文流量數(shù)據(jù)，同時(shí)獲取采集點(diǎn)的環(huán)境以及采集設(shè)備運(yùn)行數(shù)據(jù)；誤差判斷模塊，基于對應(yīng)時(shí)間的流域位置的水文流量數(shù)據(jù)的變化以及上下游水位數(shù)據(jù)變化情況進(jìn)行水文流量數(shù)據(jù)的誤差判斷；異常評估模塊，用于通過獲取的采集點(diǎn)的環(huán)境以及采集設(shè)備運(yùn)行數(shù)據(jù)進(jìn)行水文數(shù)據(jù)終端的異常評估；數(shù)據(jù)真實(shí)性判斷模塊，基于皮膚易損分析結(jié)果與護(hù)理過程損傷評估結(jié)果進(jìn)行護(hù)理過程異常分析；清洗模塊，根據(jù)水文流量數(shù)據(jù)真實(shí)性判斷結(jié)果進(jìn)行水文流量數(shù)據(jù)的清洗，得到清洗后的水文流量數(shù)據(jù)。

32、第三方面，本發(fā)明提供的一種電子設(shè)備，包括：處理器和存儲(chǔ)器，其中，所述存儲(chǔ)器中存儲(chǔ)有可供處理器調(diào)用的計(jì)算機(jī)程序，所述處理器通過調(diào)用所述存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序，執(zhí)行基于大數(shù)據(jù)分析的水文站水文數(shù)據(jù)清洗方法。

33、第四方面，本發(fā)明提供的一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，儲(chǔ)存有指令，當(dāng)所述指令在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行基于大數(shù)據(jù)分析的水文站水文數(shù)據(jù)清洗方法。

34、本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)和有益效果：

35、本發(fā)明基于對應(yīng)時(shí)間的流域位置的水文流量數(shù)據(jù)的變化以及上下游水位數(shù)據(jù)變化情況進(jìn)行水文流量數(shù)據(jù)的誤差判斷，通過獲取的采集點(diǎn)的環(huán)境以及采集設(shè)備運(yùn)行數(shù)據(jù)進(jìn)行水文數(shù)據(jù)終端的異常評估，獲取水文流量數(shù)據(jù)的誤差判斷結(jié)果以及水文數(shù)據(jù)終端的異常評估結(jié)果進(jìn)行水文流量數(shù)據(jù)真實(shí)性判斷，根據(jù)水文流量數(shù)據(jù)真實(shí)性判斷結(jié)果進(jìn)行水文流量數(shù)據(jù)的清洗，得到清洗后的水文流量數(shù)據(jù)，基于水文數(shù)據(jù)誤差以及水文數(shù)據(jù)終端的異常評估的綜合分析，對獲取得到的水文流量數(shù)據(jù)真實(shí)性進(jìn)行準(zhǔn)確判斷，提高了數(shù)據(jù)清洗的準(zhǔn)確性和安全性。