本發(fā)明涉及數(shù)據(jù)處理,特別涉及一種用于鹽堿地改良設(shè)備的監(jiān)測(cè)數(shù)據(jù)優(yōu)化方法。
背景技術(shù):
1、鹽堿地的土壤鹽分狀況是評(píng)估改良措施效果的重要指標(biāo)之一,因此鹽堿地改良設(shè)備在進(jìn)行土地改良作業(yè)時(shí),需要實(shí)時(shí)監(jiān)測(cè)和采集土壤的鹽分濃度數(shù)據(jù)。通常,鹽堿地改良設(shè)備會(huì)沿著預(yù)設(shè)的行進(jìn)路徑,以固定的時(shí)間或距離間隔進(jìn)行數(shù)據(jù)采集,以形成具有時(shí)序與空間關(guān)聯(lián)的數(shù)據(jù)序列。
2、針對(duì)實(shí)時(shí)采集的鹽堿地監(jiān)測(cè)數(shù)據(jù),常采用cof(connectivity-based?outlierfactor,基于連通性的離群因子)異常檢測(cè)算法進(jìn)行數(shù)據(jù)異常識(shí)別。cof算法通過(guò)對(duì)每個(gè)數(shù)據(jù)點(diǎn)在局部時(shí)序窗口中的連通距離進(jìn)行評(píng)估,以判斷數(shù)據(jù)點(diǎn)是否為異常。然而,鹽堿地的鹽分具有區(qū)域性的空間異質(zhì)性,即不同區(qū)域鹽分含量可能存在明顯差異,尤其是在區(qū)域交界處,鹽分濃度變化較為劇烈。
3、現(xiàn)有cof異常檢測(cè)方法主要通過(guò)評(píng)估每個(gè)數(shù)據(jù)點(diǎn)與其局部鄰域點(diǎn)的連通距離,若數(shù)據(jù)點(diǎn)與鄰域數(shù)據(jù)點(diǎn)的鹽分濃度差異顯著,則cof得分較高,該數(shù)據(jù)點(diǎn)易被判定為異常點(diǎn)。然而,在鹽堿地實(shí)際改良過(guò)程中,不同鹽堿區(qū)域之間鹽分含量本就存在合理的顯著差異,當(dāng)鹽堿地改良設(shè)備在不同鹽分濃度區(qū)域交界處采集數(shù)據(jù)時(shí),正常的鹽分變化容易導(dǎo)致cof算法出現(xiàn)異常誤判。這種誤判導(dǎo)致正常的數(shù)據(jù)點(diǎn)被錯(cuò)誤識(shí)別為異常點(diǎn),降低了數(shù)據(jù)采集的有效性和后續(xù)數(shù)據(jù)分析的可靠性。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此,本發(fā)明旨在提出一種用于鹽堿地改良設(shè)備的監(jiān)測(cè)數(shù)據(jù)優(yōu)化方法,能夠有效識(shí)別鹽堿地改良設(shè)備在不同鹽分區(qū)域交界處所采集的數(shù)據(jù)點(diǎn)以提高鹽堿地改良設(shè)備異常數(shù)據(jù)識(shí)別的空間適應(yīng)性。
2、為達(dá)到上述目的,本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:
3、一種用于鹽堿地改良設(shè)備的監(jiān)測(cè)數(shù)據(jù)優(yōu)化方法,包括以下步驟:
4、s1:通過(guò)鹽堿地改良設(shè)備采集鹽分濃度數(shù)據(jù),設(shè)定鹽堿地改良設(shè)備的行進(jìn)路徑及數(shù)據(jù)采集頻率,每行進(jìn)預(yù)設(shè)距離進(jìn)行一次鹽堿地鹽分?jǐn)?shù)據(jù)采集,并記錄數(shù)據(jù)的位置信息、時(shí)間信息及鹽分濃度傳感器的監(jiān)測(cè)數(shù)據(jù);
5、s2:對(duì)采集的鹽分濃度數(shù)據(jù)進(jìn)行異常檢測(cè)優(yōu)化;
6、所述步驟s2包括:
7、s2.1:基于空間鄰域歷史數(shù)據(jù)的鹽分濃度均值和標(biāo)準(zhǔn)差,通過(guò)非線(xiàn)性映射函數(shù)計(jì)算數(shù)據(jù)點(diǎn)的交界程度因子,識(shí)別處于不同鹽分區(qū)域交界處的數(shù)據(jù)點(diǎn);
8、s2.2:對(duì)歷史數(shù)據(jù)建立趨勢(shì)擬合模型,基于歷史數(shù)據(jù)的趨勢(shì)擬合模型,結(jié)合當(dāng)前數(shù)據(jù)點(diǎn)與歷史趨勢(shì)的殘差及時(shí)間間隔敏感性,計(jì)算異常程度優(yōu)化因子;
9、s2.3:通過(guò)綜合所述交界程度因子和異常程度優(yōu)化因子,調(diào)整局部平均鏈接距離,得到優(yōu)化后的局部平均鏈接距離,優(yōu)化cof異常檢測(cè)算法,篩選出異常數(shù)據(jù);
10、s3:存儲(chǔ)并上傳篩選后的有效數(shù)據(jù)。
11、進(jìn)一步的,所述步驟s2.1中,交界程度因子的計(jì)算公式為:
12、;
13、其中,λ為敏感性調(diào)整系數(shù),為第個(gè)檢測(cè)數(shù)據(jù)點(diǎn)的鹽分濃度數(shù)值,為以第個(gè)檢測(cè)數(shù)據(jù)點(diǎn)為中心,在空間鄰域半徑內(nèi)的歷史檢測(cè)數(shù)據(jù)的鹽分濃度平均值,空間鄰域內(nèi)歷史數(shù)據(jù)鹽分濃度的標(biāo)準(zhǔn)差,:為函數(shù),為表示整個(gè)監(jiān)測(cè)區(qū)域的鹽分濃度歷史標(biāo)準(zhǔn)差,為極小正數(shù)。
14、進(jìn)一步的,所述步驟s2.2中,異常程度優(yōu)化因子的計(jì)算公式為:
15、;
16、其中,為第個(gè)檢測(cè)數(shù)據(jù)點(diǎn)的鹽分濃度數(shù)值,為極小正數(shù),為擬合趨勢(shì)模型的預(yù)測(cè)值,為歷史數(shù)據(jù)擬合殘差的標(biāo)準(zhǔn)差,為當(dāng)前數(shù)據(jù)點(diǎn)與最近歷史數(shù)據(jù)的時(shí)間間隔,△t為歷史數(shù)據(jù)的平均采樣間隔。
17、進(jìn)一步的,所述步驟s2.3中,優(yōu)化后的局部平均鏈接距離通過(guò)以下公式調(diào)整:
18、;
19、其中,為原始局部平均鏈接距離。
20、進(jìn)一步的,通過(guò)優(yōu)化后的平均鏈接距離進(jìn)行數(shù)據(jù)點(diǎn)cof離群因子的評(píng)估,獲取到優(yōu)化后的第個(gè)數(shù)據(jù)點(diǎn)的離群因子,通過(guò)線(xiàn)性歸一化處理優(yōu)化后離群因子,得到異常程度值,并根據(jù)預(yù)設(shè)閾值篩選異常數(shù)據(jù)。
21、進(jìn)一步的,所述趨勢(shì)擬合模型為:
22、;
23、其中,、、通過(guò)最小二乘法擬合確定。
24、相對(duì)于現(xiàn)有技術(shù),本發(fā)明具有以下優(yōu)勢(shì):
25、本發(fā)明所述的用于鹽堿地改良設(shè)備的監(jiān)測(cè)數(shù)據(jù)優(yōu)化方法,通過(guò)對(duì)檢測(cè)數(shù)據(jù)點(diǎn)交界程度的評(píng)估,能夠有效識(shí)別鹽堿地改良設(shè)備在不同鹽分區(qū)域交界處所采集的數(shù)據(jù)點(diǎn),避免了傳統(tǒng)cof算法因空間交界處的鹽分濃度正常劇烈變化而造成的誤判異常情況,從而顯著提高了鹽堿地改良設(shè)備異常數(shù)據(jù)識(shí)別的空間適應(yīng)性。
26、通過(guò)分析采樣位置歷史數(shù)據(jù)鹽分濃度的變化趨勢(shì),將當(dāng)前數(shù)據(jù)點(diǎn)與歷史趨勢(shì)進(jìn)行匹配性評(píng)估,從而有效避免將符合鹽堿地正常改良趨勢(shì)的數(shù)據(jù)誤判為異常,進(jìn)一步提高異常檢測(cè)的準(zhǔn)確性與可靠性,確保數(shù)據(jù)采集結(jié)果更加貼合實(shí)際鹽堿地改良進(jìn)程。
1.一種用于鹽堿地改良設(shè)備的監(jiān)測(cè)數(shù)據(jù)優(yōu)化方法,其特征在于:包括以下步驟:
2.根據(jù)權(quán)利要求1所述的用于鹽堿地改良設(shè)備的監(jiān)測(cè)數(shù)據(jù)優(yōu)化方法,其特征在于:
3.根據(jù)權(quán)利要求2所述的用于鹽堿地改良設(shè)備的監(jiān)測(cè)數(shù)據(jù)優(yōu)化方法,其特征在于:
4.根據(jù)權(quán)利要求3所述的用于鹽堿地改良設(shè)備的監(jiān)測(cè)數(shù)據(jù)優(yōu)化方法,其特征在于:
5.根據(jù)權(quán)利要求4所述的用于鹽堿地改良設(shè)備的監(jiān)測(cè)數(shù)據(jù)優(yōu)化方法,其特征在于:
6.根據(jù)權(quán)利要求1所述的用于鹽堿地改良設(shè)備的監(jiān)測(cè)數(shù)據(jù)優(yōu)化方法,其特征在于: