1.一種數(shù)字孿生模型的孿生體多數(shù)據(jù)處理系統(tǒng),其特征在于:包括多協(xié)議支持模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)處理核心模塊、數(shù)據(jù)存儲與管理模塊四大子系統(tǒng),多協(xié)議支持模塊負(fù)責(zé)與各種數(shù)據(jù)源和外部系統(tǒng)進(jìn)行通信連接,確保能夠接收和發(fā)送符合不同協(xié)議的數(shù)據(jù);數(shù)據(jù)預(yù)處理模塊負(fù)責(zé)將不同格式的數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式;數(shù)據(jù)處理核心模塊負(fù)責(zé)將數(shù)據(jù)預(yù)處理模塊傳送的數(shù)據(jù)融合在一起;數(shù)據(jù)存儲與管理模塊負(fù)責(zé)存儲數(shù)字孿生模型的狀態(tài)數(shù)據(jù)和歷史數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的一種數(shù)字孿生模型的孿生體多數(shù)據(jù)處理系統(tǒng),其特征在于,所述多協(xié)議支持模塊對傳入的數(shù)據(jù)連接請求進(jìn)行掃描,掃描過程通過檢查數(shù)據(jù)包頭中的特定字段,掃描到的協(xié)議特征信息會與模塊內(nèi)部的協(xié)議注冊庫進(jìn)行匹配,多協(xié)議支持模塊會啟動對應(yīng)的協(xié)議適配層,且適配層在轉(zhuǎn)換數(shù)據(jù)格式的同時(shí),會根據(jù)協(xié)議的要求建立與數(shù)據(jù)源的連接,連接建立成功后,多協(xié)議支持模塊開始接收來自數(shù)據(jù)源的數(shù)據(jù),接收到的數(shù)據(jù)會被轉(zhuǎn)換為系統(tǒng)內(nèi)部統(tǒng)一的數(shù)據(jù)格式傳遞至下一模塊或數(shù)據(jù)緩沖單元。
3.根據(jù)權(quán)利要求2所述的一種數(shù)字孿生模型的孿生體多數(shù)據(jù)處理系統(tǒng),其特征在于,所述多協(xié)議支持模塊包括數(shù)據(jù)緩沖單元,用于暫時(shí)存儲大量涌入的數(shù)據(jù),當(dāng)數(shù)據(jù)量急劇增加時(shí),數(shù)據(jù)緩沖單元先存儲數(shù)據(jù),再按照系統(tǒng)的處理能力逐步將數(shù)據(jù)傳遞給后續(xù)的數(shù)據(jù)預(yù)處理模塊。
4.根據(jù)權(quán)利要求1所述的一種數(shù)字孿生模型的孿生體多數(shù)據(jù)處理系統(tǒng),其特征在于,所述數(shù)據(jù)預(yù)處理模塊包括數(shù)據(jù)清洗單元、數(shù)據(jù)標(biāo)準(zhǔn)化與歸一化單元和數(shù)據(jù)集成與轉(zhuǎn)換單元,所述數(shù)據(jù)清洗單元通過檢查數(shù)據(jù)集中每列的值來確定是否存在缺失數(shù)據(jù),根據(jù)數(shù)據(jù)的分布情況,使用均值和中位數(shù)來填充缺失值。
5.根據(jù)權(quán)利要求4所述的一種數(shù)字孿生模型的孿生體多數(shù)據(jù)處理系統(tǒng),其特征在于,所述數(shù)據(jù)標(biāo)準(zhǔn)化與歸一化單元對于每個(gè)需要標(biāo)準(zhǔn)化的列,計(jì)算其均值μ和標(biāo)準(zhǔn)差σ,使用公式:
6.根據(jù)權(quán)利要求5所述的一種數(shù)字孿生模型的孿生體多數(shù)據(jù)處理系統(tǒng),其特征在于,所述數(shù)據(jù)處理核心模塊包括分布式計(jì)算框架單元、并行處理算法單元和數(shù)據(jù)融合算法單元,所述分布式計(jì)算框架單元采用分布式計(jì)算框架,將數(shù)據(jù)處理任務(wù)分解并分配到多個(gè)計(jì)算節(jié)點(diǎn)集群上,每個(gè)集群負(fù)責(zé)處理一部分區(qū)域的數(shù)據(jù)再匯總結(jié)果;
7.根據(jù)權(quán)利要求6所述的一種數(shù)字孿生模型的孿生體多數(shù)據(jù)處理系統(tǒng),其特征在于,所述數(shù)據(jù)融合算法單元通過皮爾遜相關(guān)系數(shù)計(jì)算不同數(shù)據(jù)源數(shù)據(jù)之間的相關(guān)性,通過公式:
8.根據(jù)權(quán)利要求1所述的一種數(shù)字孿生模型的孿生體多數(shù)據(jù)處理系統(tǒng),其特征在于,所述數(shù)據(jù)存儲與管理模塊包括分布式存儲單元和數(shù)據(jù)索引與元數(shù)據(jù)管理單元,所述分布式存儲單元將數(shù)據(jù)分散存儲在多個(gè)存儲節(jié)點(diǎn)上;
9.根據(jù)權(quán)利要求1-8中任意一項(xiàng)所述的一種數(shù)字孿生模型的孿生體多數(shù)據(jù)處理的方法,其特征在于,包括下述具體步驟: