本發(fā)明屬于環(huán)境大數(shù)據(jù)處理，具體而言涉及污染源普查數(shù)據(jù)匯總分析系統(tǒng)。

背景技術(shù)：

1、在污染源普查工作領(lǐng)域，例如第二次全國污染源普查，簡稱“二污普”相應(yīng)的數(shù)據(jù)分析匯總工具的發(fā)明與開發(fā)非常有限，數(shù)量極少，無法滿足工作需求。

2、現(xiàn)有的污染源數(shù)據(jù)管理系統(tǒng)存在以下問題：污染源管理系統(tǒng)僅支持基礎(chǔ)數(shù)據(jù)采集，缺乏復(fù)雜匯總與智能審核功能；效率瓶頸，傳統(tǒng)單線程處理模式導(dǎo)致省級數(shù)據(jù)匯總耗時超過8小時；數(shù)據(jù)質(zhì)量問題，人工審核方式漏檢率高達(dá)42%，無法發(fā)現(xiàn)深層次數(shù)據(jù)邏輯錯誤。

3、實際面臨的情況存在以下問題：一是普查業(yè)務(wù)已經(jīng)停止，相應(yīng)業(yè)務(wù)系統(tǒng)功能已經(jīng)無法正常運(yùn)維和使用，但數(shù)據(jù)價值仍需要進(jìn)一步挖掘，需要繼續(xù)開展使用數(shù)據(jù)審核與匯總功能，目前沒有可以實現(xiàn)該功能的工具；二是普查工作期間的業(yè)務(wù)系統(tǒng)軟件發(fā)明是以采集和過程審核為主，不具備統(tǒng)計數(shù)據(jù)的復(fù)雜匯總功能，且無法實時導(dǎo)出數(shù)據(jù)；三是缺乏基于大數(shù)據(jù)的手段的數(shù)據(jù)審核模塊。

4、綜上，對于現(xiàn)有技術(shù)缺乏對于大規(guī)模污染源數(shù)據(jù)的有效分析工具。

技術(shù)實現(xiàn)思路

1、鑒于上述的分析，為了解決上述問題，本發(fā)明實施例提供一種污染源普查數(shù)據(jù)匯總分析系統(tǒng)，包括：

2、異構(gòu)數(shù)據(jù)標(biāo)準(zhǔn)化模塊，用于對工業(yè)源、農(nóng)業(yè)源、集中式污染治理設(shè)施、移動源、生活源及面源數(shù)據(jù)進(jìn)行結(jié)構(gòu)化轉(zhuǎn)換與統(tǒng)一格式處理；

3、多級多維匯總引擎，支持按行政區(qū)劃層級、行業(yè)分類、污染源類型的動態(tài)組合匯總；

4、智能審核集群模塊，包括k-means聚類模型、孤立森林異常檢測模型及決策樹分類模型；

5、分布式計算框架，基于多線程分片處理機(jī)制實現(xiàn)海量數(shù)據(jù)并行計算；

6、數(shù)據(jù)推送模塊，實現(xiàn)異常數(shù)據(jù)分省壓縮與郵件自動推送。

7、在一些實施例中，所述異構(gòu)數(shù)據(jù)標(biāo)準(zhǔn)化模塊包括：

8、工業(yè)源專表解析單元，通過主索引表與副索引表的關(guān)聯(lián)機(jī)制解析g101-g104系列表格；

9、能源折算單元，內(nèi)置36種能源的標(biāo)準(zhǔn)煤轉(zhuǎn)換系數(shù)矩陣，支持能源消耗可比性分析；

10、文本規(guī)范化單元，采用simplified?chinese_china.utf8編碼處理少數(shù)民族字符。

11、在一些實施例中，所述多級多維匯總引擎包括：

12、動態(tài)行政區(qū)劃核證子模塊，基于luhn算法驗證行政區(qū)劃代碼有效性；

13、分行業(yè)聚類單元，采用輪廓系數(shù)法確定最優(yōu)行業(yè)分類方案；

14、層級繼承單元，通過python類繼承機(jī)制定義區(qū)縣、地市、省級、國家級匯總函數(shù)。

15、在一些實施例中，所述智能審核集群模塊包含：

16、異常值檢測矩陣，通過z-score、min-max標(biāo)準(zhǔn)化及k-means算法構(gòu)建多維度異常判定規(guī)則；

17、漏填篩查單元，基于決策樹模型生成必填字段關(guān)聯(lián)性規(guī)則庫；

18、問題數(shù)據(jù)溯源模塊，通過索引碼反向追蹤原始填報數(shù)據(jù)表。

19、在一些實施例中，所述分布式計算框架包括：

20、彈性線程池管理單元，基于threadpoolexecutor動態(tài)分配計算資源；

21、分時轉(zhuǎn)存模塊，當(dāng)單次處理數(shù)據(jù)量超過10000條時自動啟動分批次寫入；

22、負(fù)載均衡單元，對工業(yè)源g101表采用多線程處理，對g104專表采用單線程處理。

23、在一些實施例中，所述工業(yè)源專表解析單元包括：

24、主副索引關(guān)聯(lián)工具，通過企業(yè)統(tǒng)一社會信用代碼關(guān)聯(lián)廢水、廢氣、固廢等子表數(shù)據(jù)；

25、污染物核算單元，內(nèi)置產(chǎn)排污系數(shù)與監(jiān)測法雙模型交叉驗證功能；

26、生產(chǎn)工藝分析模塊，基于工藝代碼庫識別最優(yōu)處理技術(shù)等級。

27、在一些實施例中，所述數(shù)據(jù)推送模塊包括：

28、分省篩分單元，基于行政區(qū)劃代碼自動拆分全國異常數(shù)據(jù)；

29、壓縮打包工具，采用zipfile庫按問題類別生成加密壓縮包；

30、郵件集群管理單元，支持smtp協(xié)議自動重試及發(fā)送狀態(tài)日志記錄。

31、在一些實施例中，還包括：標(biāo)準(zhǔn)煤折算功能模塊，通過以下公式實現(xiàn)多能源統(tǒng)一核算：

32、；以及

33、索引碼生成模塊，為每個計算結(jié)果分配15位唯一標(biāo)識碼，編碼規(guī)則為：

34、前6位行政區(qū)劃代碼?+?3位行業(yè)代碼?+?3位污染源類型代碼?+?3位序號。

35、在一些實施例中，所述系統(tǒng)與oracle數(shù)據(jù)庫的交互包括：

36、通過cx_oracle模塊實現(xiàn)sql語句動態(tài)拼接；

37、采用sqlalchemy?orm框架定義數(shù)據(jù)庫表映射關(guān)系；

38、開發(fā)批量寫入工具，設(shè)置單次寫入數(shù)據(jù)量閾值為1000-10000條。

39、在一些實施例中，所述系統(tǒng)的多線程處理性能滿足：

40、省級行政區(qū)（≥10萬家調(diào)查單位）匯總時間≤1分鐘；

41、全國范圍（300萬家調(diào)查單位）異常審核時間≤30分鐘。

42、本發(fā)明可以對超過300萬家企業(yè)進(jìn)行了標(biāo)準(zhǔn)化計算，實現(xiàn)不同調(diào)查單位結(jié)構(gòu)化的數(shù)據(jù)庫構(gòu)建；二是在普查過程中基于大數(shù)據(jù)模型開展了數(shù)據(jù)審核，反饋數(shù)萬條問題并開展了整改，且發(fā)明中還單獨(dú)開發(fā)了數(shù)據(jù)審核問題的分省篩分、歸檔和推送功能；三是在普查業(yè)務(wù)系統(tǒng)初步開發(fā)過程中，最先具備了普查匯總功能，數(shù)據(jù)處理結(jié)果校正了正式的普查數(shù)據(jù)采集系統(tǒng)；四是針對第二次全國污染源普查數(shù)據(jù)現(xiàn)存數(shù)據(jù)分析功能最健全，具備全國數(shù)據(jù)統(tǒng)計分析開發(fā)能力的唯一工具，能夠正常運(yùn)行的第二次全國污染源普查數(shù)據(jù)審核、匯總和分析工具發(fā)明。

技術(shù)特征：

1.一種污染源普查數(shù)據(jù)匯總分析系統(tǒng)，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的污染源普查數(shù)據(jù)匯總分析系統(tǒng)，其特征在于：所述異構(gòu)數(shù)據(jù)標(biāo)準(zhǔn)化模塊包括：

3.根據(jù)權(quán)利要求1所述的污染源普查數(shù)據(jù)匯總分析系統(tǒng)，其特征在于：所述多級多維匯總引擎包括：

4.根據(jù)權(quán)利要求1所述的污染源普查數(shù)據(jù)匯總分析系統(tǒng)，其特征在于：所述智能審核集群模塊包含：

5.根據(jù)權(quán)利要求1所述的污染源普查數(shù)據(jù)匯總分析系統(tǒng)，其特征在于：所述分布式計算框架包括：

6.根據(jù)權(quán)利要求2所述的污染源普查數(shù)據(jù)匯總分析系統(tǒng)，其特征在于：所述工業(yè)源專表解析單元包括：

7.根據(jù)權(quán)利要求1所述的污染源普查數(shù)據(jù)匯總分析系統(tǒng)，其特征在于：所述數(shù)據(jù)推送模塊包括：

8.根據(jù)權(quán)利要求7所述的污染源普查數(shù)據(jù)匯總分析系統(tǒng)，其特征在于，還包括：標(biāo)準(zhǔn)煤折算功能模塊，通過以下公式實現(xiàn)多能源統(tǒng)一核算：

9.根據(jù)權(quán)利要求1所述的污染源普查數(shù)據(jù)匯總分析系統(tǒng)，其特征在于：所述系統(tǒng)與oracle數(shù)據(jù)庫的交互包括：

10.根據(jù)權(quán)利要求1所述的污染源普查數(shù)據(jù)匯總分析系統(tǒng)，其特征在于：

技術(shù)總結(jié)
本發(fā)明涉及一種污染源普查數(shù)據(jù)匯總分析系統(tǒng)，屬于環(huán)境大數(shù)據(jù)處理技術(shù)領(lǐng)域。方案主要包括：異構(gòu)數(shù)據(jù)標(biāo)準(zhǔn)化模塊，用于對工業(yè)源、農(nóng)業(yè)源、集中式污染治理設(shè)施、移動源、生活源及面源數(shù)據(jù)進(jìn)行結(jié)構(gòu)化轉(zhuǎn)換與統(tǒng)一格式處理；多級多維匯總引擎，支持按行政區(qū)劃層級、行業(yè)分類、污染源類型的動態(tài)組合匯總；智能審核集群模塊，包括K?means聚類模型、孤立森林異常檢測模型及決策樹分類模型；分布式計算框架，基于多線程分片處理機(jī)制實現(xiàn)海量數(shù)據(jù)并行計算；數(shù)據(jù)推送模塊，實現(xiàn)異常數(shù)據(jù)分省壓縮與郵件自動推送。

技術(shù)研發(fā)人員：張震
受保護(hù)的技術(shù)使用者：中國環(huán)境監(jiān)測總站
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15