環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法及系統(tǒng)，方法包括：根據(jù)基站系統(tǒng)自動識別、基站人工審核和實時數(shù)據(jù)平臺的專家識別、平臺人工審核這四個數(shù)據(jù)來源對環(huán)境監(jiān)測網(wǎng)絡的數(shù)據(jù)標識體系進行統(tǒng)一定義，得到來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)；根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)，對基站層和平臺層的異常值進行識別，并采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層異常值和平臺層異常值的同步。本發(fā)明增設了模式跟蹤數(shù)據(jù)和標識演繹標識，并提出了實時數(shù)據(jù)平臺的異常值識別算法，溯源效率高、精確度高、全面、可靠、科學和準確，可廣泛應用于環(huán)境監(jiān)測領(lǐng)域。
【專利說明】環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及環(huán)境監(jiān)測領(lǐng)域，尤其是環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法及系統(tǒng)。

【背景技術(shù)】
[0002]環(huán)境自動監(jiān)測網(wǎng)絡是環(huán)境質(zhì)量科學表征的重要數(shù)據(jù)來源，其目的是獲得高質(zhì)量的環(huán)境監(jiān)測數(shù)據(jù)，并由此推斷整個環(huán)境現(xiàn)有的質(zhì)量特征。環(huán)境自動監(jiān)測網(wǎng)絡除了擁有一般環(huán)境監(jiān)測的要素外，自身還具備基站長期實時不間斷監(jiān)測、基站與實時數(shù)據(jù)平臺數(shù)據(jù)同步對接、實時數(shù)據(jù)平臺對海量數(shù)據(jù)自動分析統(tǒng)計等特點。針對環(huán)境自動監(jiān)測網(wǎng)絡獨有的技術(shù)特點，研發(fā)異常值標識技術(shù)，將提升環(huán)境自動監(jiān)測網(wǎng)絡數(shù)據(jù)審核工作的科學性和邏輯性，極大提高了環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)質(zhì)量，保證數(shù)據(jù)審核質(zhì)量和效率。
[0003]目前，監(jiān)測網(wǎng)絡數(shù)據(jù)的異常值標識技術(shù)存在以下問題:
(一)數(shù)據(jù)標識的不完善
目前對網(wǎng)絡數(shù)據(jù)的異常值采取在其后嵌入數(shù)據(jù)標識的技術(shù)方法。這種方法可有效地避免異常值納入數(shù)據(jù)統(tǒng)計，但因其對質(zhì)控工作溯源時沒有對異常值的原因(如儀器質(zhì)控和外界環(huán)境因素等)進行垂直的追蹤，平臺數(shù)據(jù)管理人員無法追蹤判斷數(shù)據(jù)質(zhì)量的真實情況。為解決此問題，數(shù)據(jù)管理人員需查詢基站的工作日志和詢問基站維護人員，質(zhì)控工作的溯源工作效率低下且導致容易因詢問導致出錯。
[0004](二)識別來源的缺失或不統(tǒng)一
環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值的來源包括基站系統(tǒng)自動識別、基站人工審核和實時數(shù)據(jù)平臺的專家識別和平臺人工審核等，這四種來源在網(wǎng)絡的數(shù)據(jù)審核體系里是互相聯(lián)系、互相制約和不可割裂的，應作為一個系統(tǒng)整體的有機結(jié)合。
[0005]但目前仍沒有相關(guān)的技術(shù)把四類數(shù)據(jù)標識歸納統(tǒng)一，導致不同階層的數(shù)據(jù)審核者往往只能考慮一個來源的數(shù)據(jù)標識，不夠全面和可靠。
[0006](三)環(huán)境自動監(jiān)測實時數(shù)據(jù)平臺統(tǒng)計算法的缺失
實時數(shù)據(jù)平臺識別異常值的技術(shù)源自統(tǒng)計學、軟件工程和計算機科學。統(tǒng)計學對統(tǒng)計數(shù)據(jù)異常值的識別雖有很多研究成果，但大多是從數(shù)學的角度并針對一些特殊分布例如多維正態(tài)分布、r分布等來實現(xiàn)的。然而，環(huán)境自動監(jiān)測數(shù)據(jù)大多不符合這些分布，難以直接采用這些研究成果來進行檢驗和識別。因此環(huán)境自動監(jiān)測實時數(shù)據(jù)平臺缺乏能檢查和審核統(tǒng)計數(shù)據(jù)可靠性和準確性的統(tǒng)計算法。
[0007]此外，目前的異常值識別技術(shù)將監(jiān)測數(shù)據(jù)的異常值直接刪除，很難容納統(tǒng)計學理論識別異常值的方法。因為統(tǒng)計學理論能推算監(jiān)測數(shù)據(jù)里的異常值，但不代表該異常值在真實環(huán)境是絕對錯誤的，如果直接刪除被推算為異常的數(shù)據(jù)則不尊重客觀現(xiàn)實，不夠科學和準確。


【發(fā)明內(nèi)容】

[0008]為了解決上述技術(shù)問題，本發(fā)明的目的是:提供一種溯源效率高、精確度高、全面、可靠、科學和準確的環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法及系統(tǒng)。
[0009]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:
環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法，包括:
A、根據(jù)基站系統(tǒng)自動識別、基站人工審核和實時數(shù)據(jù)平臺的專家識別、平臺人工審核這四個數(shù)據(jù)來源對環(huán)境監(jiān)測網(wǎng)絡的數(shù)據(jù)標識體系進行統(tǒng)一定義，從而得到來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)；
B、根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)，對基站層和平臺層的異常值進行識別，并采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層異常值和平臺層異常值的同步。
[0010]進一步，所述來源類型標識根據(jù)數(shù)據(jù)的來源進行定義，包括網(wǎng)絡命令標識、基站系統(tǒng)標識、基站儀器自動執(zhí)行命令標識、基站人工審核標識、實時數(shù)據(jù)平臺標識；所述模式標識用于對基站自動監(jiān)測網(wǎng)絡各種形式的信息進行表征、描述和分類，由信息名稱的英文或漢語拼音的第一個字母的縮寫組成，包括監(jiān)測數(shù)據(jù)狀態(tài)標識、質(zhì)控質(zhì)保任務標識和基站監(jiān)測系統(tǒng)及儀器故障標識；所述刪除標識，用于表示不能參與統(tǒng)計的監(jiān)測數(shù)據(jù)，具體數(shù)據(jù)格式為:刪除標識/來源類型標識。
[0011 ] 進一步，所述模式跟蹤數(shù)據(jù)標識包括結(jié)果導向標識和過程導向標識，
所述結(jié)果導向標識的數(shù)據(jù)結(jié)構(gòu)為:模式標識(特征標識1，特征標識2，……，特征標識η) /來源類型標識；所述結(jié)果導向標識的生成過程為:選擇結(jié)果導向標識的數(shù)據(jù)結(jié)構(gòu)，然后把代表結(jié)果的模式標識、以及與該模式標識相關(guān)聯(lián)的特征標識I到特征標識η導入到選擇的數(shù)據(jù)結(jié)構(gòu)中；其中，特征標識是指基站監(jiān)測系統(tǒng)開發(fā)者定義的關(guān)于系統(tǒng)、儀器的狀況標識或基站采集系統(tǒng)的環(huán)境狀況標識，特征標識1，特征標識2，……，特征標識η是指與代表結(jié)果的模式標識相關(guān)聯(lián)的特征標識；
所述過程導向標識的數(shù)據(jù)結(jié)構(gòu)為:模式標識(數(shù)值基準標識I，數(shù)值過程標識1，……，數(shù)值基準標識I，數(shù)值過程標識m) /來源類型標識；所述過程導向標識的生成過程為:選擇過程導向標識的數(shù)據(jù)結(jié)構(gòu)；然后把代表過程的模式標識、以及與該模式標識產(chǎn)生過程相關(guān)聯(lián)的基準標識I，數(shù)值過程標識I……數(shù)值基準標識1，數(shù)值過程標識m導入到選擇的數(shù)據(jù)結(jié)構(gòu)中；
其中，基準標識是指執(zhí)行質(zhì)控任務時所采用標準樣品的濃度值，數(shù)值過程標識是執(zhí)行質(zhì)控任務時監(jiān)測儀器測標準樣品所得的結(jié)果濃度值，數(shù)值過程標識1，數(shù)值過程標識2，……，數(shù)值過程標識m是指與代表過程的模式標識相關(guān)聯(lián)的數(shù)值過程標識，且數(shù)值過程標識m按數(shù)據(jù)標識產(chǎn)生過程的時間先后順序排列。
[0012]進一步，所述演繹標識是指容納統(tǒng)計學理論識別異常值的標識，具體數(shù)據(jù)格式為:演繹標識/來源類型標識；所述演繹標識并不參與數(shù)據(jù)統(tǒng)計，只用于反映和記錄計算機智能診斷出來的異常值，若人工診斷確認該異常值為真實的異常值，演繹標識會自動轉(zhuǎn)為刪除標識。
[0013]進一步，所述步驟B中根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)，對基站層異常值進行識別這一步驟，其包括:
Biu對基站層數(shù)據(jù)進行監(jiān)測，從而獲得異常數(shù)據(jù)信號； B12、將異常數(shù)據(jù)信號轉(zhuǎn)換成計算機可識別的數(shù)據(jù)信號；
B13、將轉(zhuǎn)換后的異常數(shù)據(jù)信號與數(shù)據(jù)標識知識庫的數(shù)據(jù)進行匹配，判斷數(shù)據(jù)標識知識庫是否存在與異常數(shù)據(jù)信號相匹配的數(shù)據(jù)，若是，則執(zhí)行步驟B14，反之，則結(jié)束基站層異常值識別流程；
B14、判斷異常數(shù)據(jù)信號所屬的數(shù)據(jù)標識類型，并根據(jù)判斷結(jié)果執(zhí)行相應的數(shù)據(jù)標識賦予流程；
B15、將新賦予的數(shù)據(jù)標識記錄存入基站數(shù)據(jù)庫和同步數(shù)據(jù)庫。
[0014]進一步，所述步驟B中根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)，對平臺層異常值進行識別這一步驟，其包括:
B21、從平臺數(shù)據(jù)庫中提取監(jiān)測數(shù)據(jù)，判斷提取的數(shù)據(jù)是否包含不合理的值，若是，則為提取的數(shù)據(jù)賦予刪除標識，反之，則執(zhí)行步驟B22，所述不合理的值是指負值、超出儀器量程范圍的值、連續(xù)不變的值或基于箱線圖統(tǒng)計方法判別為離群值的數(shù)據(jù)；
B22、判斷提取的數(shù)據(jù)是否包含連續(xù)4次以上的不變值，若是，則為提取的數(shù)據(jù)賦予演繹標識，反之，則執(zhí)行步驟B23 ；
B23、自當前時刻開始往前追溯，從監(jiān)測數(shù)據(jù)中獲取連續(xù)的X個監(jiān)測值，其中，X為預設的數(shù)值，且滿足7 < X ( 3y，y為維修人員在基站儀器發(fā)生故障時趕到現(xiàn)場進行維護的最長允許時間；
B24、對獲取的X個監(jiān)測值進行計算，從而得到這X個監(jiān)測值的下四分位數(shù)Q1、中位數(shù)Q2、上四分位數(shù)Q3和四分位距IQR,所述X個監(jiān)測倌的四分位距IQR的計算公式為:IQR=Q3 — Ql ；
B25、根據(jù)計算的結(jié)果自動對X個監(jiān)測值的異常值進行識別，并為識別出的異常值賦予相應的演繹標識；
B26、對含有演繹標識的監(jiān)測數(shù)據(jù)進行人工審核，若確認監(jiān)測數(shù)據(jù)為真實異常值，則將監(jiān)測數(shù)據(jù)的演繹標識取消，并重新為監(jiān)測數(shù)據(jù)賦予刪除標識。
[0015]進一步，所述步驟B中采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層和平臺層異常值的同步這一步驟，其包括:
51、基站與平臺建立socket連接；
52、判斷是否需要同步數(shù)據(jù)標識數(shù)據(jù)庫，若是，則執(zhí)行步驟S3，反之，則執(zhí)行步驟S4；
53、基站向平臺發(fā)送修改數(shù)據(jù)標識數(shù)據(jù)庫的請求，并在平臺同意修改和同步標識匹配檢查完成后向平臺發(fā)送數(shù)據(jù)標識記錄數(shù)據(jù)包，從而使平臺進行應答修改；
54、平臺向基站發(fā)送修改數(shù)據(jù)標識知識庫的請求，并在基站同意修改后向基站發(fā)送數(shù)據(jù)標識知識庫修改數(shù)據(jù)包，從而使基站進行應答修改。
[0016]進一步,所述步驟S3,其包括:
531、基站向平臺發(fā)送修改數(shù)據(jù)標識數(shù)據(jù)庫的請求；
532、平臺發(fā)出同意修改請求的響應；
533、基站接收到同意響應后向平臺發(fā)送同步標識為last的數(shù)據(jù)標識數(shù)據(jù)包M;
534、平臺檢查數(shù)據(jù)包M是否與平臺同步數(shù)據(jù)庫中的同步標識為last的數(shù)據(jù)匹配，若是則執(zhí)行步驟S35，反之，則順序執(zhí)行步驟S36?S38 ；
535、基站向平臺傳輸同步標識為next的數(shù)據(jù)包及其后的數(shù)據(jù)，然后結(jié)束同步過程； 536、服務器向基站發(fā)送平臺同步標識為last的數(shù)據(jù)包L；
537、基站在基站同步數(shù)據(jù)庫中搜索與數(shù)據(jù)包L匹配的數(shù)據(jù)記錄，并把搜索到的匹配數(shù)據(jù)的同步標識修改為last,同時基站把下一時刻數(shù)據(jù)記錄的同步標識修改為next ；
538、基站向平臺傳輸同步標識為next的數(shù)據(jù)標識記錄數(shù)據(jù)包R及其后的數(shù)據(jù)，然后結(jié)束同步過程。
[0017]進一步，所述步驟S4，其包括:
541、平臺向基站發(fā)送修改數(shù)據(jù)標識知識庫的請求；
542、基站發(fā)出同意修改的響應；
543、平臺在接收到同意的響應后向基站發(fā)送數(shù)據(jù)標識知識庫修改數(shù)據(jù)包；
544、平臺通知基站數(shù)據(jù)包發(fā)送完畢，基站應答；
545、基站根據(jù)修改數(shù)據(jù)包修改基站的數(shù)據(jù)標識知識庫。
[0018]本發(fā)明解決其技術(shù)問題所采用的另一技術(shù)方案是:
環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識系統(tǒng)，包括:
統(tǒng)一定義模塊，用于對環(huán)境監(jiān)測網(wǎng)絡的數(shù)據(jù)標識體系進行統(tǒng)一定義，從而得到來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)；
識別和同步模塊，用于根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)，對基站層和平臺層的異常值進行識別，并采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層和平臺層異常值的同步；
所述統(tǒng)一定義模塊的輸出端與識別和同步模塊的輸入端連接。
[0019]本發(fā)明的有益效果是:采用了一種全新結(jié)構(gòu)的數(shù)據(jù)標識類型一模式跟蹤數(shù)據(jù)標識，能有效地記錄監(jiān)測網(wǎng)絡質(zhì)控的歷史過程，為質(zhì)控工作的溯源提供技術(shù)依據(jù)，提高了溯源的工作效率，降低了出錯率；根據(jù)基站系統(tǒng)自動識別、基站人工審核和實時數(shù)據(jù)平臺的專家識別、平臺人工審核這四個數(shù)據(jù)來源對環(huán)境監(jiān)測網(wǎng)絡的數(shù)據(jù)標識體系進行統(tǒng)一定義，使不同級別的數(shù)據(jù)審核者在進行審核時能整體考慮四個來源的數(shù)據(jù)標識，更加全面和可靠；增設了演繹標識，不直接刪除監(jiān)測數(shù)據(jù)的異常值，而是為監(jiān)測數(shù)據(jù)的異常值賦予演繹標識，以輔助數(shù)據(jù)實時平臺數(shù)據(jù)管理人員準確識別監(jiān)測數(shù)據(jù)的異常值是否為真實的異常值，能容納統(tǒng)計學理論識別異常值的方法，更加科學和準確；采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層異常值和平臺層異常值的同步，能保證平臺層和基站層的數(shù)據(jù)標識能同步更新以及對基站層的數(shù)據(jù)標識知識庫進行修改。進一步，采用經(jīng)改進帶有同步標識的同步算法實現(xiàn)基站層異常值和平臺層異常值的同步，能防止平臺服務器因停電等因素而導致的數(shù)據(jù)丟失故障，而且可以對基站人工修改的數(shù)據(jù)標識進行更新，更加安全和方便。進一步，提出了環(huán)境自動監(jiān)測實時數(shù)據(jù)異常值數(shù)據(jù)識別的完整算法，能很好地對負值、超出儀器量程范圍的值、連續(xù)不變的值、基于箱線圖統(tǒng)計方法判別為離群值的數(shù)據(jù)進行識別，同時能很好地容納統(tǒng)計學理論在平臺異常值自動識別中的運用，更加可靠和科學。

【專利附圖】

【附圖說明】
[0020]下面結(jié)合附圖和實施例對本發(fā)明作進一步說明。
[0021]圖1為本發(fā)明一種環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法的整體流程圖；
圖2為本發(fā)明步驟B中對基站層異常值進行識別這一步驟的流程圖； 圖3為本發(fā)明步驟B中對平臺層異常值進行識別這一步驟的流程圖；
圖4為本發(fā)明步驟B中采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層和平臺層異常值的同步這一步驟的流程圖；
圖5為本發(fā)明步驟S3的流程圖；
圖6為本發(fā)明步驟S4的流程圖；
圖7為本發(fā)明一種環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識系統(tǒng)的結(jié)構(gòu)框圖；
圖8為本發(fā)明實施例二環(huán)境自動監(jiān)測網(wǎng)絡數(shù)據(jù)標識體系的結(jié)構(gòu)框圖。

【具體實施方式】
[0022]參照圖1，環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法，包括:
A、根據(jù)基站系統(tǒng)自動識別、基站人工審核和實時數(shù)據(jù)平臺的專家識別、平臺人工審核這四個數(shù)據(jù)來源對環(huán)境監(jiān)測網(wǎng)絡的數(shù)據(jù)標識體系進行統(tǒng)一定義，從而得到來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)；
B、根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)，對基站層和平臺層的異常值進行識別，并采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層異常值和平臺層異常值的同步。
[0023]進一步作為優(yōu)選的實施方式，所述來源類型標識根據(jù)數(shù)據(jù)的來源進行定義，包括網(wǎng)絡命令標識、基站系統(tǒng)標識、基站儀器自動執(zhí)行命令標識、基站人工審核標識、實時數(shù)據(jù)平臺標識；所述模式標識用于對基站自動監(jiān)測網(wǎng)絡各種形式的信息進行表征、描述和分類，由信息名稱的英文或漢語拼音的第一個字母的縮寫組成，包括監(jiān)測數(shù)據(jù)狀態(tài)標識、質(zhì)控質(zhì)保任務標識和基站監(jiān)測系統(tǒng)及儀器故障標識；所述刪除標識，用于表示不能參與統(tǒng)計的監(jiān)測數(shù)據(jù)，具體數(shù)據(jù)格式為:刪除標識/來源類型標識。
[0024]進一步作為優(yōu)選的實施方式，所述模式跟蹤數(shù)據(jù)標識包括結(jié)果導向標識和過程導向標識，
所述結(jié)果導向標識的數(shù)據(jù)結(jié)構(gòu)為:模式標識(特征標識1，特征標識2，……，特征標識η)/來源類型標識；所述結(jié)果導向標識的生成過程為:選擇結(jié)果導向標識的數(shù)據(jù)結(jié)構(gòu)，然后把代表結(jié)果的模式標識、以及與該模式標識相關(guān)聯(lián)的特征標識I到特征標識η導入到選擇的數(shù)據(jù)結(jié)構(gòu)中；其中，特征標識是指基站監(jiān)測系統(tǒng)開發(fā)者定義的關(guān)于系統(tǒng)、儀器的狀況標識或基站采集系統(tǒng)的環(huán)境狀況標識，特征標識1，特征標識2，……，特征標識η是指與代表結(jié)果的模式標識相關(guān)聯(lián)的特征標識；
所述過程導向標識的數(shù)據(jù)結(jié)構(gòu)為:模式標識(數(shù)值基準標識1，數(shù)值過程標識1，……，數(shù)值基準標識I，數(shù)值過程標識m)/來源類型標識；所述過程導向標識的生成過程為:選擇過程導向標識的數(shù)據(jù)結(jié)構(gòu)；然后把代表過程的模式標識、以及與該模式標識產(chǎn)生過程相關(guān)聯(lián)的基準標識I，數(shù)值過程標識I……數(shù)值基準標識1，數(shù)值過程標識m導入到選擇的數(shù)據(jù)結(jié)構(gòu)中；
其中，基準標識是指執(zhí)行質(zhì)控任務時所采用標準樣品的濃度值，數(shù)值過程標識是執(zhí)行質(zhì)控任務時監(jiān)測儀器測標準樣品所得的結(jié)果濃度值，數(shù)值過程標識1，數(shù)值過程標識2，……，數(shù)值過程標識m是指與代表過程的模式標識相關(guān)聯(lián)的數(shù)值過程標識，且數(shù)值過程標識m按數(shù)據(jù)標識產(chǎn)生過程的時間先后順序排列。
[0025]進一步作為優(yōu)選的實施方式，所述演繹標識是指容納統(tǒng)計學理論識別異常值的標識，具體數(shù)據(jù)格式為:演繹標識/來源類型標識；所述演繹標識并不參與數(shù)據(jù)統(tǒng)計，只用于提示數(shù)據(jù)審核人員計算機智能診斷出來的異常值，若人工診斷確認為該異常值為真實的異常值，則該演繹標識會自動轉(zhuǎn)為刪除標識。
[0026]其中，演繹標識能容納計算機通過統(tǒng)計學理論、人工智能算法等方法自動識別的異常值。
[0027]參照圖2，進一步作為優(yōu)選的實施方式，所述步驟B中根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)，對基站層異常值進行識別這一步驟，其包括:
B11、對基站層數(shù)據(jù)進行監(jiān)測，從而獲得異常數(shù)據(jù)信號；
B12、將異常數(shù)據(jù)信號轉(zhuǎn)換成計算機可識別的數(shù)據(jù)信號；
B13、將轉(zhuǎn)換后的異常數(shù)據(jù)信號與數(shù)據(jù)標識知識庫的數(shù)據(jù)進行匹配，判斷數(shù)據(jù)標識知識庫是否存在與異常數(shù)據(jù)信號相匹配的數(shù)據(jù)，若是，則執(zhí)行步驟B14，反之，則結(jié)束基站層異常值識別流程；
B14、判斷異常數(shù)據(jù)信號所屬的數(shù)據(jù)標識類型，并根據(jù)判斷結(jié)果執(zhí)行相應的數(shù)據(jù)標識賦予流程；
B15、將新賦予的數(shù)據(jù)標識記錄存入基站數(shù)據(jù)庫和同步數(shù)據(jù)庫。
[0028]參照圖3，進一步作為優(yōu)選的實施方式，所述步驟B中根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)，對平臺層異常值進行識別這一步驟，其包括:
B21、從平臺數(shù)據(jù)庫中提取監(jiān)測數(shù)據(jù)，判斷提取的數(shù)據(jù)是否包含不合理的值，若是，則為提取的數(shù)據(jù)賦予刪除標識，反之，則執(zhí)行步驟B22，所述不合理的值是指負值、超出儀器量程范圍的值、連續(xù)不變的值或基于箱線圖統(tǒng)計方法判別為離群值的數(shù)據(jù)；
B22、判斷提取的數(shù)據(jù)是否包含連續(xù)4次以上的不變值，若是，則為提取的數(shù)據(jù)賦予演繹標識，反之，則執(zhí)行步驟B23 ；
B23、自當前時刻開始往前追溯，從監(jiān)測數(shù)據(jù)中獲取連續(xù)的X個監(jiān)測值，其中，X為預設的數(shù)值，且滿足7 < X ( 3y，y為維修人員在基站儀器發(fā)生故障時趕到現(xiàn)場進行維護的最長允許時間；
B24、對獲取的X個監(jiān)測值進行計算，從而得到這X個監(jiān)測值的下四分位數(shù)Q1、中位數(shù)Q2、上四分位數(shù)Q3和四分位距IQR,所述X個監(jiān)測倌的四分位距IQR的計算公式為:IQR=Q3 — Ql ；
B25、根據(jù)計算的結(jié)果自動對X個監(jiān)測值的異常值進行識別，并為識別出的異常值賦予相應的演繹標識；
B26、對含有演繹標識的監(jiān)測數(shù)據(jù)進行人工審核，若確認監(jiān)測數(shù)據(jù)為異常值，則將監(jiān)測數(shù)據(jù)的演繹標識取消，并重新為監(jiān)測數(shù)據(jù)賦予刪除標識。
[0029]其中，所述步驟B25，其具體為:設這X個監(jiān)測值中任一值為Tx，若(Q3 + 3IQR)>Tx>(Q3 + 1.51QR)或(Ql — 3IQR) <Tx〈(Q1-1.51QR)時，則認定Tx為溫和的異常值，此時賦予 Tx 演繹標識 mild outliers (溫和演繹標識);若 Tx> (Q3 + 3IQR)或 Tx< (Q3 — 31QR)，則認定Tx為極端的異常值,此時賦予Tx演繹標識extreme outliers (極端演繹標識)。
[0030]對含有演繹標識的監(jiān)測數(shù)據(jù)進行人工審核時，若確認監(jiān)測數(shù)據(jù)實際上并不是異常值，則結(jié)束對基站層異常值進行識別的流程。
[0031]參照圖4，進一步作為優(yōu)選的實施方式，所述步驟B中采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層和平臺層異常值的同步這一步驟，其包括:
51、基站與平臺建立socket連接；
52、判斷是否需要同步數(shù)據(jù)標識數(shù)據(jù)庫，若是，則執(zhí)行步驟S3，反之，則執(zhí)行步驟S4;
53、基站向平臺發(fā)送修改數(shù)據(jù)標識數(shù)據(jù)庫的請求，并在平臺同意修改和同步標識匹配檢查完成后向平臺發(fā)送數(shù)據(jù)標識記錄數(shù)據(jù)包，從而使平臺進行應答修改；
54、平臺向基站發(fā)送修改數(shù)據(jù)標識知識庫的請求，并在基站同意修改后向基站發(fā)送數(shù)據(jù)標識知識庫修改數(shù)據(jù)包，從而使基站進行應答修改。
[0032]參照圖5，進一步作為優(yōu)選的實施方式，所述步驟S3，其包括:
531、基站向平臺發(fā)送修改數(shù)據(jù)標識數(shù)據(jù)庫的請求；
532、平臺發(fā)出同意修改請求的響應；
533、基站接收到同意響應后向平臺發(fā)送同步標識為last的數(shù)據(jù)標識數(shù)據(jù)包M;
534、平臺檢查數(shù)據(jù)包M是否與平臺同步數(shù)據(jù)庫中的同步標識為last的數(shù)據(jù)匹配，若是則執(zhí)行步驟S35，反之，則順序執(zhí)行步驟S36?S38 ；
535、基站向平臺傳輸同步標識為next的數(shù)據(jù)包及其后的數(shù)據(jù)，然后結(jié)束同步過程；
536、服務器向基站發(fā)送平臺同步標識為last的數(shù)據(jù)包L；
537、基站在基站同步數(shù)據(jù)庫中搜索與數(shù)據(jù)包L匹配的數(shù)據(jù)記錄，并把搜索到的匹配數(shù)據(jù)的同步標識修改為last,同時基站把下一時刻數(shù)據(jù)記錄的同步標識修改為next ；
538、基站向平臺傳輸同步標識為next的數(shù)據(jù)標識記錄數(shù)據(jù)包R及其后的數(shù)據(jù)，然后結(jié)束同步過程。
[0033]其中，服務器設置在平臺上。
[0034]參照圖6，進一步作為優(yōu)選的實施方式，所述步驟S4，其包括:
541、平臺向基站發(fā)送修改數(shù)據(jù)標識知識庫的請求；
542、基站發(fā)出同意修改的響應；
543、平臺在接收到同意的響應后向基站發(fā)送數(shù)據(jù)標識知識庫修改數(shù)據(jù)包；
544、平臺通知基站數(shù)據(jù)包發(fā)送完畢，基站應答；
545、基站根據(jù)修改數(shù)據(jù)包修改基站的數(shù)據(jù)標識知識庫。
[0035]參照圖7，環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識系統(tǒng)，包括:
統(tǒng)一定義模塊，用于對環(huán)境監(jiān)測網(wǎng)絡的數(shù)據(jù)標識體系進行統(tǒng)一定義，從而得到來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)；
識別和同步模塊，用于根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)，對基站層和平臺層的異常值進行識別，并采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層和平臺層異常值的同步；
所述統(tǒng)一定義模塊的輸出端與識別和同步模塊的輸入端連接。
[0036]下面結(jié)合說明書附圖和具體實施例對本發(fā)明作進一步詳細說明。
[0037]實施例一
本實施例對本發(fā)明數(shù)據(jù)標識的數(shù)據(jù)結(jié)構(gòu)進行介紹。
[0038]出于對環(huán)境監(jiān)測網(wǎng)絡的數(shù)據(jù)審核工作整體性和相對性的考量，本發(fā)明通過基站系統(tǒng)自動識別、基站人工審核和實時數(shù)據(jù)平臺的專家識別、平臺人工審核這四個來源重新統(tǒng)一定義環(huán)境監(jiān)測網(wǎng)絡的數(shù)據(jù)標識體系，以提高數(shù)據(jù)審核效率和降低出錯率。
[0039]本發(fā)明的數(shù)據(jù)標識包括:
(一)來源類型標識
為了克服傳統(tǒng)數(shù)據(jù)標識體系沒有對數(shù)據(jù)標識的來源進行區(qū)分的缺陷，本發(fā)明定義了來源類型標識，能很好地區(qū)分每種數(shù)據(jù)標識的來源，方便數(shù)據(jù)審核工作溯源，并能根據(jù)數(shù)據(jù)來源來對審核工作進行評估。
[0040]來源類型標識表示環(huán)境自動監(jiān)測網(wǎng)絡數(shù)據(jù)標識的來源和產(chǎn)生方式，具體格式及定義如下表I所示:
表I來源類型標識的格式與定義
序號標識名稱具體格式定義—

網(wǎng)絡命令標識表示數(shù)據(jù)標識的來源是實時
網(wǎng)絡np Y標
1^nt 數(shù)據(jù)平臺遠程發(fā)送到基站監(jiān)鍘系統(tǒng)自動執(zhí)
* 行的命令

基站系統(tǒng)標識表不數(shù)據(jù)標識的來源是基站
基站殺或標
2^bs 監(jiān)測系統(tǒng)自動運行的過程參數(shù)及由傳感器識 探測到的站房環(huán)境參數(shù)。
基站儀器自基站系統(tǒng)自動執(zhí)行命令標識表示數(shù)據(jù)標識
3動執(zhí)行命令 ad 的來源是基站監(jiān)鍘系統(tǒng)與儀器通訊而獲得
標識的，儀器自動完成的操作。
基站人工數(shù)基站人工數(shù)據(jù)審核標識表示數(shù)據(jù)標識的來
4mo
據(jù)審核標識源是基站的現(xiàn)場人工數(shù)據(jù)審核工作。
實時數(shù)據(jù)平實時數(shù)據(jù)平臺標識表示數(shù)據(jù)標識的來源是
5dp
____實時數(shù)據(jù)平臺層的數(shù)據(jù)管理工作。
(二)模式標識
模式標識是指對基站自動監(jiān)測網(wǎng)絡各種形式的信息進行表征、描述和分類的數(shù)據(jù)標識，由信息名稱的英文或漢語拼音的第一個字母的縮寫組成。模式標識可分為:
(I)監(jiān)測數(shù)據(jù)狀態(tài)標識監(jiān)測數(shù)據(jù)狀態(tài)標識的具體格式為:
污染物監(jiān)測濃度數(shù)據(jù)超儀器上限一+ ;濃度數(shù)據(jù)超下限--;
有效統(tǒng)計數(shù)據(jù)不足——H ;數(shù)據(jù)前向標識一一Q (2)質(zhì)控質(zhì)保任務標識質(zhì)控質(zhì)保任務標識反映了技術(shù)人員對基站監(jiān)測系統(tǒng)進行質(zhì)控質(zhì)保任務時對監(jiān)測數(shù)據(jù)的影響，實際應用時需根據(jù)具體的監(jiān)測對象作相應的調(diào)整，下面以地表水自動監(jiān)測為例，其質(zhì)控質(zhì)保任務標識的格式為:
標樣值-SV ;空白試驗-bt ;空白試驗不及格-btf ；
標樣核查——sc ;標樣核查不及格——scf ;加標回收——ra ；
加標回收不及格-raf ;校零-cz ;校標-Cs ；
線性檢查——Ii ;線性檢查不及格——Iif0
[0041](3)基站監(jiān)測系統(tǒng)及儀器故障標識
基站監(jiān)測系統(tǒng)及儀器故障標識反映了基站監(jiān)測系統(tǒng)運行過程中系統(tǒng)本身及周圍環(huán)境的故障問題，應根據(jù)具體的監(jiān)測對象作相應的調(diào)整，下面以地表水自動監(jiān)測為例，其基站監(jiān)測系統(tǒng)及儀器故障標識的格式為:電源故障——p(國標)；維護——M(國標)；儀器故障——D(國標)；通訊故障(或數(shù)據(jù)采集失敗)——C ;儀器離線——S；
缺試劑-1r (lack reagent);缺純水-1p (字母I)；
缺水樣一Iw (字母I);缺標樣一Is (字母I);取水點無水樣一Z
(三)模式跟蹤數(shù)據(jù)標識
模式跟蹤數(shù)據(jù)標識是一種全新的數(shù)據(jù)標識結(jié)構(gòu)，僅在基站自動監(jiān)測系統(tǒng)產(chǎn)生。它不僅記錄了基站自動監(jiān)測系統(tǒng)的監(jiān)測數(shù)據(jù)所面臨的監(jiān)測環(huán)境情況或所進行的質(zhì)控質(zhì)保的具體任務，還對監(jiān)測環(huán)境情況的特征或質(zhì)控質(zhì)保任務的數(shù)值進行深層挖掘。
[0042]本發(fā)明根據(jù)數(shù)據(jù)的管理理念和核心思想將模式跟蹤數(shù)據(jù)標識分為結(jié)果導向和過程導向這兩種。對于基站系統(tǒng)自動運行和一些不可預測的環(huán)境因素留下的數(shù)據(jù)標識記錄，應以結(jié)果為導向(結(jié)果一原因)進行管理，分析其產(chǎn)生的根本原因；而對于基站由人工組織執(zhí)行的質(zhì)控質(zhì)保工作，有一套標準具體化的工作流程，對該類操作產(chǎn)生的數(shù)據(jù)標識，應以流程為導向(過程一結(jié)果)進行管理。故本發(fā)明提出了模式跟蹤數(shù)據(jù)標識兩種數(shù)據(jù)結(jié)構(gòu)及相應的產(chǎn)生流程。
[0043]1、結(jié)果導向標識
(I)數(shù)據(jù)結(jié)構(gòu)
結(jié)果導向標識的格式為:模式標識(特征標識I，特征標識2……特征標識η) /來源類型標識。
[0044]其中，特征標識1，特征標識2……特征標識η等的默認值為空。
[0045]特征標識是基站監(jiān)測系統(tǒng)開發(fā)者定義的關(guān)于系統(tǒng)、儀器的狀況標識(故障等)或基站采集系統(tǒng)的環(huán)境狀況(天氣因素、水文等)，不同基站監(jiān)測系統(tǒng)開發(fā)者可有不同的定義。
[0046](2)結(jié)果導向模式跟蹤數(shù)據(jù)標識的具體產(chǎn)生過程結(jié)果導向模式跟蹤數(shù)據(jù)標識的具體產(chǎn)生過程為:
a.選擇結(jié)果導向標識的數(shù)據(jù)結(jié)構(gòu)。
[0047]b.把代表結(jié)果(或結(jié)論)的模式標識、以及與該模式標識關(guān)聯(lián)的特征標識I至特征標識η導入到選擇的數(shù)據(jù)結(jié)構(gòu)中。
[0048]2、過程導向標識
(I)數(shù)據(jù)結(jié)構(gòu)
過程導向標識的數(shù)據(jù)結(jié)構(gòu)為:模式標識(數(shù)值基準標識1，數(shù)值過程標識I……數(shù)值基準標識1，數(shù)值過程標識m)/來源類型標識。
[0049]其中，數(shù)值基準標識I，數(shù)值過程標識I……數(shù)值基準標識I，數(shù)值過程標識m等的默認值為空。
[0050]數(shù)值基準標識是執(zhí)行質(zhì)控任務時所采用標準樣品的濃度值，空白試驗時為O。
[0051]數(shù)值過程標識是執(zhí)行質(zhì)控任務時監(jiān)測儀器測標準樣品時所得的結(jié)果濃度值。
[0052](2)過程導向模式跟蹤數(shù)據(jù)標識的具體產(chǎn)生過程過程導向模式跟蹤數(shù)據(jù)標識的具體產(chǎn)生過程為:
a.選擇過程導向標識的數(shù)據(jù)結(jié)構(gòu)。
[0053]b.把代表過程的模式標識、以及該模式標識產(chǎn)生過程的基準標識1，數(shù)值過程標識I……數(shù)值基準標識1，數(shù)值過程標識m導入到這個數(shù)據(jù)結(jié)構(gòu)中。
[0054]c.將數(shù)值過程標識m按數(shù)據(jù)標識產(chǎn)生過程的時間先后順序排列。
[0055](四)演繹標識
演繹標識，顧名思義，它不是由具體監(jiān)測的環(huán)境變量結(jié)果或由設定的監(jiān)測閥值一步推斷得到的結(jié)果，而是通過統(tǒng)計學、數(shù)據(jù)挖掘等理論，對海量監(jiān)測數(shù)據(jù)中的異常值進行識別而得到的，其數(shù)據(jù)格式為:演繹標識/來源類型標識。
[0056](五)刪除標識——del
刪除標識表示監(jiān)測數(shù)據(jù)不能參與統(tǒng)計?？捎糜谝韵虑闆r:
擁有刪除權(quán)限的數(shù)據(jù)管理人員經(jīng)各種途徑判定該數(shù)據(jù)無效，或數(shù)據(jù)實時平臺對超出設定監(jiān)測閥值的異常值直接刪除。
[0057]刪除標識的具體數(shù)據(jù)格式為:刪除標識/來源類型標識。
[0058]實施例二
參照圖8，本發(fā)明的第二實施例:
本發(fā)明環(huán)境自動監(jiān)測網(wǎng)絡數(shù)據(jù)標識系統(tǒng)按數(shù)據(jù)標識產(chǎn)生的流程分為基站層、基站一平臺數(shù)據(jù)標識同步傳輸層、平臺層。
[0059]基站層包括基站數(shù)據(jù)標識知識庫、基站數(shù)據(jù)庫、數(shù)據(jù)標識更新模塊、基站同步數(shù)據(jù)庫。基站數(shù)據(jù)庫保存了基站監(jiān)測系統(tǒng)所有原始數(shù)據(jù)和數(shù)據(jù)標識的記錄?；緮?shù)據(jù)標識知識庫提供了環(huán)境自動監(jiān)測網(wǎng)絡數(shù)據(jù)標識的知識存儲、提取、檢索及應用服務；數(shù)據(jù)標識更新模塊可調(diào)用數(shù)據(jù)標識知識庫的知識，診斷基站監(jiān)測系統(tǒng)的數(shù)據(jù)并賦予數(shù)據(jù)標識，同時把更新后的數(shù)據(jù)標識存入基站數(shù)據(jù)庫和基站同步數(shù)據(jù)庫?；就綌?shù)據(jù)庫保存了尚未上傳到平臺，需要同步的環(huán)境自動監(jiān)測網(wǎng)絡數(shù)據(jù)標識。
[0060]基站一平臺數(shù)據(jù)標識同步傳輸層包括基站同步傳輸模塊和平臺同步傳輸模塊?；就絺鬏斈K和平臺同步傳輸模塊遵循約定的數(shù)據(jù)包格式及同步方法，保證基站的數(shù)據(jù)標識的變化能同步更新到平臺的數(shù)據(jù)庫中。
[0061]平臺層包括平臺同步數(shù)據(jù)庫、平臺異常值識別模塊、平臺數(shù)據(jù)標識知識庫和平臺數(shù)據(jù)庫。平臺同步數(shù)據(jù)庫保存最近從基站獲取的更新數(shù)據(jù)標識，并存入到平臺數(shù)據(jù)庫中。平臺數(shù)據(jù)標識知識庫保存環(huán)境監(jiān)測網(wǎng)絡的數(shù)據(jù)標識方案最新修改的版本，并及時對基站數(shù)據(jù)標識知識庫進行更新。平臺異常值識別模塊包括服務器軟件自動識別和人工審核兩部分，負責對網(wǎng)絡內(nèi)的監(jiān)測數(shù)據(jù)進行最終的審核。
[0062]實施例三
本實施例對基站層異常值標識技術(shù)進行說明。
[0063]基站環(huán)境監(jiān)測系統(tǒng)是監(jiān)測網(wǎng)絡所有數(shù)據(jù)的發(fā)源地，也是數(shù)據(jù)審核的第一道防線，整合基站層異常值標識技術(shù)內(nèi)容，包括基站系統(tǒng)異常值自動識別和基站人工識別，是數(shù)據(jù)審核最重要的環(huán)節(jié)，本發(fā)明基站層異常值標識的實現(xiàn)過程為:
1、基站監(jiān)測系統(tǒng)識別到異常數(shù)據(jù)信號，該信號可來自系統(tǒng)自動感知或基站值守人員的人工輸入。
[0064]2、基站監(jiān)測系統(tǒng)把監(jiān)測數(shù)據(jù)轉(zhuǎn)換成計算機可識別的數(shù)據(jù)信號。
[0065]3、數(shù)據(jù)標識更新模塊提取數(shù)據(jù)標識知識庫的數(shù)據(jù)，看是否和異常信號相匹配，如不匹配結(jié)束流程。
[0066]4、數(shù)據(jù)標識更新模塊判斷屬于哪類型的數(shù)據(jù)標識，并執(zhí)行相應的數(shù)據(jù)標識賦予流程。
[0067]5、把新賦予的數(shù)據(jù)標識記錄存入基站數(shù)據(jù)庫和同步數(shù)據(jù)庫。
[0068]實施例四
本實施例對本發(fā)明的數(shù)據(jù)標識同步方法實現(xiàn)過程進行介紹。
[0069]本發(fā)明對現(xiàn)有的數(shù)據(jù)標識同步算法進行了改進，提出了數(shù)據(jù)標識通訊包、同步標識、沖突策略及同步方法等技術(shù)，來保證平臺層能同步更新和對基站層數(shù)據(jù)標識的修改。
[0070](一)通訊模式
基站自動監(jiān)測系統(tǒng)與實時數(shù)據(jù)平臺通信基于TCP/IP協(xié)議以及Socket進程通信機制。Socket通信的主要模式是客戶端/服務器端(Client / Server),這里基站自動監(jiān)測系統(tǒng)相當于客戶端，實時數(shù)據(jù)平臺的服務器進程屬于服務器端。實時數(shù)據(jù)平臺的服務器進程初始化Socket,然后與端口綁定(bind),監(jiān)聽端口(listen),調(diào)用accept阻塞,等待基站自動監(jiān)測系統(tǒng)連接?；咀詣颖O(jiān)測系統(tǒng)如需通信，發(fā)起一個Socket，然后連接到服務器(connect)，如果連接成功，基站自動監(jiān)測系統(tǒng)與實時數(shù)據(jù)平臺通信的連接可成功建立?；咀詣颖O(jiān)測系統(tǒng)與實時數(shù)據(jù)平臺建立連接后，就可以發(fā)送和接收數(shù)據(jù)了。
[0071]客戶端向服務器傳達發(fā)送數(shù)據(jù)請求，服務器接收請求并確認準備接收，并在處理該請求的響應數(shù)據(jù)后將其發(fā)送到客戶端，客戶端讀取數(shù)據(jù)，最后關(guān)閉連接即可完成一次交互。
[0072](二)數(shù)據(jù)通訊包結(jié)構(gòu)
本發(fā)明的數(shù)據(jù)通訊包包括數(shù)據(jù)標識記錄數(shù)據(jù)包和數(shù)據(jù)標識知識庫修改數(shù)據(jù)包。其具體格式為:
1、數(shù)據(jù)標識記錄數(shù)據(jù)包格式為:
包頭標識數(shù)據(jù)時間基站編號污染物類別環(huán)境自動監(jiān)測網(wǎng)絡數(shù)據(jù)標識污染物監(jiān)測值數(shù)據(jù)包長度校驗碼域包尾標識
2、數(shù)據(jù)標識知識庫修改數(shù)據(jù)包格式為:
包頭標識舊環(huán)境自動監(jiān)測網(wǎng)絡數(shù)據(jù)標識格式新環(huán)境自動監(jiān)測網(wǎng)絡數(shù)據(jù)標識格式數(shù)據(jù)包長度校驗碼域包尾標識
其中，包頭標識和包尾標識是為了方便封包、拆包和后期對數(shù)據(jù)包進行解析處理。在設計包頭和包尾標識時需避免和真實數(shù)據(jù)重合，本發(fā)明設計的包頭標識為###，包尾標識為
&&&G
[0073]而數(shù)據(jù)時間需具體到秒，如2014年06月08日01時00分00秒，表示為20140608010000。
[0074]校驗碼目的是為了驗證接收到的數(shù)據(jù)與發(fā)送方發(fā)出的數(shù)據(jù)是否相同，這里采用循環(huán)冗余校驗(CRC)算法。
[0075](三)沖突處理策略
在服務器和客戶端的數(shù)據(jù)庫中修改相同的數(shù)據(jù)項，可能會產(chǎn)生沖突。為避免數(shù)據(jù)源和目的數(shù)據(jù)同步時發(fā)生數(shù)據(jù)沖突，本發(fā)明制定了如下沖突處理策略:
若數(shù)據(jù)標識知識庫以服務器端為主，當發(fā)生同步數(shù)據(jù)沖突時，則根據(jù)服務器端數(shù)據(jù)來更新基站數(shù)據(jù)庫數(shù)據(jù)。
[0076]若數(shù)據(jù)標識數(shù)據(jù)庫以客戶端為主，當發(fā)生同步數(shù)據(jù)沖突時，則根據(jù)基站數(shù)據(jù)來更新服務器端數(shù)據(jù)庫數(shù)據(jù)。
[0077](四)同步標識
基站和平臺的實時數(shù)據(jù)庫有兩種同步標志Last和Next,總是在同步發(fā)起時被傳送。Last同步標志從發(fā)送設備的角度描述了上一個數(shù)據(jù)庫同步中的數(shù)據(jù)記錄，Next同步標志從發(fā)送設備的角度描述了當前的同步事件。正常情況下，基站和平臺同步數(shù)據(jù)庫里同步標識為last的數(shù)據(jù)記錄是一致的。
[0078](五)基站一平臺實現(xiàn)數(shù)據(jù)標識一致性的同步算法本發(fā)明基站一平臺實現(xiàn)數(shù)據(jù)標識一致性的同步算法包括:
1、基站一平臺兩端數(shù)據(jù)標識數(shù)據(jù)庫同步算法
基站一平臺兩端數(shù)據(jù)標識數(shù)據(jù)庫同步算法包括:
(O基站同步傳輸模塊與平臺同步傳輸模塊建立socket連接,兩端準備傳輸和接收數(shù)據(jù)。
[0079](2)基站向平臺發(fā)送修改數(shù)據(jù)標識數(shù)據(jù)庫的請求。
[0080](3)平臺發(fā)出同意修改的響應。
[0081](2)基站向平臺發(fā)送同步標識為last的數(shù)據(jù)標識數(shù)據(jù)包A。
[0082](3)平臺檢查數(shù)據(jù)包A是否與平臺同步數(shù)據(jù)庫的同步標識為last的數(shù)據(jù)匹配。
[0083](4)如果基站和平臺同步標識為last的數(shù)據(jù)記錄匹配，則平臺應答允許傳輸，此時基站向平臺傳輸同步標識為next的數(shù)據(jù)包及其后的數(shù)據(jù)。
[0084](5)如果基站和平臺同步標識為last的數(shù)據(jù)記錄不匹配，則服務器向基站發(fā)送平臺同步標識為last的數(shù)據(jù)包B。
[0085](6)基站在基站同步數(shù)據(jù)庫搜索與數(shù)據(jù)包B匹配的數(shù)據(jù)記錄，并把其同步標識改為last,同時把下一時刻的數(shù)據(jù)記錄的同步標識改為next。
[0086](7)基站向平臺傳輸同步標識為next的數(shù)據(jù)包C及其后的數(shù)據(jù)。
[0087]2、基站一平臺兩端數(shù)據(jù)標識知識庫同步算法
基站一平臺兩端數(shù)據(jù)標識知識庫同步算法的實現(xiàn)過程為:
(O平臺同步傳輸模塊與基站同步傳輸模塊建立socket連接,兩端準備傳輸和接收數(shù)據(jù)。
[0088](2)平臺向基站發(fā)送修改數(shù)據(jù)標識知識庫的請求。
[0089](3)基站發(fā)出同意修改的響應。
[0090](4)平臺向基站發(fā)送數(shù)據(jù)標識知識庫修改數(shù)據(jù)包。
[0091](5)平臺通知基站數(shù)據(jù)包發(fā)送完畢，基站應答。
[0092](6)基站根據(jù)修改數(shù)據(jù)包修改基站的數(shù)據(jù)標識知識庫。
[0093]實施例五本實施例對平臺層異常值數(shù)據(jù)標識技術(shù)的實現(xiàn)過程進行說明。
[0094]本發(fā)明提出了平臺異常值數(shù)據(jù)識別的完整算法，能很好地對負值、超出儀器量程范圍的值、連續(xù)不變的值、基于箱線圖統(tǒng)計方法判別為離群值的數(shù)據(jù)進行識別，同時能很好地容納統(tǒng)計學理論在平臺異常值自動識別的運用。
[0095]當所有基站的數(shù)據(jù)上傳到數(shù)據(jù)平臺后，為確保網(wǎng)絡內(nèi)監(jiān)測數(shù)據(jù)的真實性，避免基站層數(shù)據(jù)審核工作失誤帶來的影響，應對平臺層匯總的監(jiān)測數(shù)據(jù)作最后的數(shù)據(jù)審核，對其中的異常數(shù)據(jù)進行識別和剔除，以提高數(shù)據(jù)質(zhì)量。
[0096]本發(fā)明的平臺異常值數(shù)據(jù)標識技術(shù)主要針對的異常值包括:負值、超出儀器量程范圍的值、連續(xù)不變的值、基于箱線圖統(tǒng)計方法判別為離群值的數(shù)據(jù)。
[0097]本發(fā)明的平臺層異常值數(shù)據(jù)標識流程為:
1、平臺自動掃描監(jiān)測數(shù)據(jù)中包含的不合理值，并賦予刪除標識。
[0098]2、平臺自動掃描監(jiān)測數(shù)據(jù)中包含的連續(xù)4次以上不變的數(shù)據(jù)，并賦予演繹標識outlier。
[0099]3、平臺自動從當前時間往前追溯，取監(jiān)測連續(xù)的X個監(jiān)測值(根據(jù)當?shù)刭|(zhì)控工作要求規(guī)范，以當基站儀器出現(xiàn)故障時，維修人員I小時內(nèi)必須趕到現(xiàn)場維護的條例為依據(jù)，y〈X〈3y，例如X取24的倍數(shù))。
[0100]4、平臺自動算出這X個監(jiān)測值的下四分位數(shù)Q1，中位數(shù)Q2,上四分位數(shù)。
[0101]5、平臺自動計算四分位距IQR=Q3 — Ql。
[0102]6、平臺自動判斷:設在這X個監(jiān)測值中任一值為Tx，若(Q3 + 3IQR)>Tx>( Q3 +1.5IQR)或(Ql — 3IQR)<Tx<(Ql-1.5IQR)時，則認定為溫和的異常值，賦予Tx演繹標識mild outliers ;當Tx> (Q3 + 3IQR)或Tx〈(Q3 — 3IQR)時，則認定為極端的異常值，賦予Tx 演擇標識 extreme outliers。
[0103]7、平臺數(shù)據(jù)管理人員對含有演繹標識的數(shù)據(jù)進行人工審核，如確認為真實的異常值，則為該數(shù)據(jù)賦予刪除標識，同時取消該數(shù)據(jù)的演繹標識。
[0104]實施例六
本發(fā)明環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)標識法則為:
(一)為保障環(huán)境自動監(jiān)測網(wǎng)絡數(shù)據(jù)的真實性，避免人為篡改、偽造監(jiān)測數(shù)據(jù)，基站監(jiān)測系統(tǒng)和實時數(shù)據(jù)平臺均只允許數(shù)據(jù)管理人員進行添加數(shù)據(jù)標識和刪除數(shù)據(jù)等兩種數(shù)據(jù)審核操作，不允許手工修改數(shù)據(jù)。
[0105](二)演繹標識僅代表了理論推導結(jié)果，以輔助數(shù)據(jù)實時平臺數(shù)據(jù)管理人員識別異常數(shù)據(jù)，被賦予演繹標識的數(shù)據(jù)，如在平臺人工審核的過程中沒有予以確認是真實的異常值，仍能參與平臺的數(shù)據(jù)統(tǒng)計及其它數(shù)據(jù)應用。。
[0106](三)刪除標識僅表示監(jiān)測數(shù)據(jù)被數(shù)據(jù)實時平臺宣告數(shù)據(jù)無效，不參與數(shù)據(jù)統(tǒng)計，但監(jiān)測數(shù)據(jù)實質(zhì)沒有被刪除，仍存在基站自動監(jiān)測系統(tǒng)和數(shù)據(jù)實時平臺的數(shù)據(jù)庫里。
[0107](四)數(shù)據(jù)標識全部采用英文字母和數(shù)字。
[0108]以上是對本發(fā)明的較佳實施進行了具體說明，但本發(fā)明創(chuàng)造并不限于所述實施例，熟悉本領(lǐng)域的技術(shù)人員在不違背本發(fā)明精神的前提下還可做作出種種的等同變形或替換，這些等同的變形或替換均包含在本申請權(quán)利要求所限定的范圍內(nèi)。
【權(quán)利要求】
1.環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法，其特征在于:包括: A、根據(jù)基站系統(tǒng)自動識別、基站人工審核和實時數(shù)據(jù)平臺的專家識別、平臺人工審核這四個數(shù)據(jù)來源對環(huán)境監(jiān)測網(wǎng)絡的數(shù)據(jù)標識體系進行統(tǒng)一定義，從而得到來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)； B、根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)，對基站層和平臺層的異常值進行識別，并采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層異常值和平臺層異常值的同步。
2.根據(jù)權(quán)利要求1所述的環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法，其特征在于:所述來源類型標識根據(jù)數(shù)據(jù)的來源進行定義，包括網(wǎng)絡命令標識、基站系統(tǒng)標識、基站儀器自動執(zhí)行命令標識、基站人工審核標識、實時數(shù)據(jù)平臺標識；所述模式標識用于對基站自動監(jiān)測網(wǎng)絡各種形式的信息進行表征、描述和分類，由信息名稱的英文或漢語拼音的第一個字母的縮寫組成，包括監(jiān)測數(shù)據(jù)狀態(tài)標識、質(zhì)控質(zhì)保任務標識和基站監(jiān)測系統(tǒng)及儀器故障標識；所述刪除標識，用于表示不能參與統(tǒng)計的監(jiān)測數(shù)據(jù)，具體數(shù)據(jù)格式為:刪除標識/來源類型標識。
3.根據(jù)權(quán)利要求2所述的環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法，其特征在于:所述模式跟蹤數(shù)據(jù)標識包括結(jié)果導向標識和過程導向標識， 所述結(jié)果導向標識的數(shù)據(jù)結(jié)構(gòu)為:模式標識(特征標識1，特征標識2，……，特征標識η) /來源類型標識；所述結(jié)果導向標識的生成過程為:選擇結(jié)果導向標識的數(shù)據(jù)結(jié)構(gòu)，然后把代表結(jié)果的模式標識、以及與該模式標識相關(guān)聯(lián)的特征標識I到特征標識η導入到選擇的數(shù)據(jù)結(jié)構(gòu)中；其中，特征標識是指基站監(jiān)測系統(tǒng)開發(fā)者定義的關(guān)于系統(tǒng)、儀器的狀況標識或基站采集系統(tǒng)的環(huán)境狀況標識，特征標識1，特征標識2，……，特征標識η是指與代表結(jié)果的模式標識相關(guān)聯(lián)的特征標識； 所述過程導向標識的數(shù)據(jù)結(jié)構(gòu)為:模式標識(數(shù)值基準標識I，數(shù)值過程標識1，……，數(shù)值基準標識I，數(shù)值過程標識m)/來源類型標識；所述過程導向標識的生成過程為:選擇過程導向標識的數(shù)據(jù)結(jié)構(gòu)；然后把代表過程的模式標識、以及與該模式標識產(chǎn)生過程相關(guān)聯(lián)的基準標識I，數(shù)值過程標識I……數(shù)值基準標識1，數(shù)值過程標識m導入到選擇的數(shù)據(jù)結(jié)構(gòu)中； 其中，基準標識是指執(zhí)行質(zhì)控任務時所采用標準樣品的濃度值，數(shù)值過程標識是執(zhí)行質(zhì)控任務時監(jiān)測儀器測標準樣品所得的結(jié)果濃度值，數(shù)值過程標識1，數(shù)值過程標識2，……，數(shù)值過程標識m是指與代表過程的模式標識相關(guān)聯(lián)的數(shù)值過程標識，且數(shù)值過程標識m按數(shù)據(jù)標識產(chǎn)生過程的時間先后順序排列。
4.根據(jù)權(quán)利要求2所述的環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法，其特征在于:所述演繹標識是指容納統(tǒng)計學理論異常值識別方法的標識，具體數(shù)據(jù)格式為:演繹標識/來源類型標識；所述演繹標識并不參與數(shù)據(jù)統(tǒng)計，只用于反映和記錄計算機智能診斷出來的異常值，若人工診斷確認該異常值為真實的異常值，演繹標識會自動轉(zhuǎn)為刪除標識。
5.根據(jù)權(quán)利要求1所述的環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法，其特征在于:所述步驟B中根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)，對基站層異常值進行識別這一步驟，其包括: B11、對基站層數(shù)據(jù)進行監(jiān)測，從而獲得異常數(shù)據(jù)信號； B12、將異常數(shù)據(jù)信號轉(zhuǎn)換成計算機可識別的數(shù)據(jù)信號； B13、將轉(zhuǎn)換后的異常數(shù)據(jù)信號與數(shù)據(jù)標識知識庫的數(shù)據(jù)進行匹配，判斷數(shù)據(jù)標識知識庫是否存在與異常數(shù)據(jù)信號相匹配的數(shù)據(jù)，若是，則執(zhí)行步驟B14，反之，則結(jié)束基站層異常值識別流程； B14、判斷異常數(shù)據(jù)信號所屬的數(shù)據(jù)標識類型，并根據(jù)判斷結(jié)果執(zhí)行相應的數(shù)據(jù)標識賦予流程； B15、將新賦予的數(shù)據(jù)標識記錄存入基站數(shù)據(jù)庫和同步數(shù)據(jù)庫。
6.根據(jù)權(quán)利要求5所述的環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法，其特征在于:所述步驟B中根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)，對平臺層異常值進行識別這一步驟，其包括: B21、從平臺數(shù)據(jù)庫中提取監(jiān)測數(shù)據(jù)，判斷提取的數(shù)據(jù)是否包含不合理的值，若是，則為提取的數(shù)據(jù)賦予刪除標識，反之，則執(zhí)行步驟B22，所述不合理的值是指負值、超出儀器量程范圍的值、連續(xù)不變的值或基于箱線圖統(tǒng)計方法判別為離群值的數(shù)據(jù)； B22、判斷提取的數(shù)據(jù)是否包含連續(xù)4次以上的不變值，若是，則為提取的數(shù)據(jù)賦予演繹標識，反之，則執(zhí)行步驟B23 ； B23、自當前時刻開始往前追溯，從監(jiān)測數(shù)據(jù)中獲取連續(xù)的X個監(jiān)測值，其中，X為預設的數(shù)值，且滿足y < X < 3y，y為維修人員在基站儀器發(fā)生故障時趕到現(xiàn)場進行維護的最長允許時間； B24、對獲取的X個監(jiān)測值進行計算，從而得到這X個監(jiān)測值的下四分位數(shù)Q1、中位數(shù)Q2、上四分位數(shù)Q3和四分位距IQR，所述X個監(jiān)測值的四分位距IQR的計算公式為:IQR=Q3 — Ql ； B25、根據(jù)計算的結(jié)果自動對X個監(jiān)測值的異常值進行識別，并為識別出的異常值賦予相應的演繹標識； B26、對含有演繹標識的監(jiān)測數(shù)據(jù)進行人工審核，若確認監(jiān)測數(shù)據(jù)為異常值，則將監(jiān)測數(shù)據(jù)的演繹標識取消，并重新為監(jiān)測數(shù)據(jù)賦予刪除標識。
7.根據(jù)權(quán)利要求5所述的環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法，其特征在于:所述步驟B中采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層和平臺層異常值的同步這一步驟，其包括: 51、基站與平臺建立socket連接； 52、判斷是否需要同步數(shù)據(jù)標識數(shù)據(jù)庫，若是，則執(zhí)行步驟S3，反之，則執(zhí)行步驟S4; 53、基站向平臺發(fā)送修改數(shù)據(jù)標識數(shù)據(jù)庫的請求，并在平臺同意修改和同步標識匹配檢查完成后向平臺發(fā)送數(shù)據(jù)標識記錄數(shù)據(jù)包，從而使平臺進行應答修改； 54、平臺向基站發(fā)送修改數(shù)據(jù)標識知識庫的請求，并在基站同意修改后向基站發(fā)送數(shù)據(jù)標識知識庫修改數(shù)據(jù)包，從而使基站進行應答修改。
8.根據(jù)權(quán)利要求7所述的環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法，其特征在于:所述步驟S3，其包括: 531、基站向平臺發(fā)送修改數(shù)據(jù)標識數(shù)據(jù)庫的請求； 532、平臺發(fā)出同意修改請求的響應； 533、基站接收到同意響應后向平臺發(fā)送同步標識為last的數(shù)據(jù)標識數(shù)據(jù)包Μ; 534、平臺檢查數(shù)據(jù)包M是否與平臺同步數(shù)據(jù)庫中的同步標識為last的數(shù)據(jù)匹配，若是則執(zhí)行步驟S35，反之，則順序執(zhí)行步驟S36?S38 ； 535、基站向平臺傳輸同步標識為next的數(shù)據(jù)包及其后的數(shù)據(jù)，然后結(jié)束同步過程； 536、服務器向基站發(fā)送平臺同步標識為last的數(shù)據(jù)包L； 537、基站在基站同步數(shù)據(jù)庫中搜索與數(shù)據(jù)包L匹配的數(shù)據(jù)記錄，并把搜索到的匹配數(shù)據(jù)的同步標識修改為last,同時基站把下一時刻數(shù)據(jù)記錄的同步標識修改為next ； 538、基站向平臺傳輸同步標識為next的數(shù)據(jù)標識記錄數(shù)據(jù)包R及其后的數(shù)據(jù)，然后結(jié)束同步過程。
9.根據(jù)權(quán)利要求7所述的環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識方法，其特征在于:所述步驟S4，其包括: 541、平臺向基站發(fā)送修改數(shù)據(jù)標識知識庫的請求； 542、基站發(fā)出同意修改的響應； 543、平臺在接收到同意的響應后向基站發(fā)送數(shù)據(jù)標識知識庫修改數(shù)據(jù)包； 544、平臺通知基站數(shù)據(jù)包發(fā)送完畢，基站應答； 545、基站根據(jù)修改數(shù)據(jù)包修改基站的數(shù)據(jù)標識知識庫。
10.環(huán)境自動監(jiān)測網(wǎng)絡的數(shù)據(jù)異常值標識系統(tǒng)，其特征在于:包括: 統(tǒng)一定義模塊，用于對環(huán)境監(jiān)測網(wǎng)絡的數(shù)據(jù)標識體系進行統(tǒng)一定義，從而得到來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)； 識別和同步模塊，用于根據(jù)來源類型標識、模式標識、模式跟蹤數(shù)據(jù)標識、演繹標識和刪除標識的數(shù)據(jù)結(jié)構(gòu)，對基站層和平臺層的異常值進行識別，并采用改進的數(shù)據(jù)標識同步算法實現(xiàn)基站層和平臺層異常值的同步； 所述統(tǒng)一定義模塊的輸出端與識別和同步模塊的輸入端連接。
【文檔編號】G06F17/30GK104135521SQ201410367544
【公開日】2014年11月5日 申請日期:2014年7月29日 優(yōu)先權(quán)日:2014年7月29日
【發(fā)明者】黎如昊, 肖文, 向運榮, 張苒 申請人:廣東省環(huán)境監(jiān)測中心