本發(fā)明涉及數(shù)據(jù)轉(zhuǎn)儲(chǔ)，尤其涉及一種適用于磁浮交通中央運(yùn)控系統(tǒng)的海量數(shù)據(jù)轉(zhuǎn)儲(chǔ)方法及系統(tǒng)。

背景技術(shù)：

1、高速磁浮交通系統(tǒng)，主要由中央運(yùn)控系統(tǒng)、分區(qū)運(yùn)控系統(tǒng)等構(gòu)成，中央運(yùn)控系統(tǒng)是下發(fā)調(diào)度控制指令的核心中樞系統(tǒng)，其也會(huì)匯總和記錄存儲(chǔ)所有下游系統(tǒng)反饋的運(yùn)行狀態(tài)、指令執(zhí)行狀態(tài)、故障告警數(shù)據(jù)等信息。隨著時(shí)間不斷推移，中央運(yùn)控系統(tǒng)存儲(chǔ)的這些歷史數(shù)據(jù)，在一個(gè)月內(nèi)即可達(dá)到上億條數(shù)據(jù)。

2、中央運(yùn)控系統(tǒng)存儲(chǔ)的數(shù)據(jù)，需要在只允許單向傳輸?shù)囊笙?，發(fā)送給運(yùn)維系統(tǒng)，用于數(shù)據(jù)分析。但是對(duì)于如此大的數(shù)據(jù)量，查詢并發(fā)送給運(yùn)維系統(tǒng)，現(xiàn)在所有的數(shù)據(jù)庫(kù)系統(tǒng)都不具有自動(dòng)轉(zhuǎn)儲(chǔ)舊數(shù)據(jù)的處理，這就需要應(yīng)用本身來(lái)實(shí)現(xiàn)對(duì)舊數(shù)據(jù)的轉(zhuǎn)儲(chǔ)，甚至需要由用戶來(lái)轉(zhuǎn)儲(chǔ)這些舊數(shù)據(jù)。

3、現(xiàn)有技術(shù)中雖然存在通用的數(shù)據(jù)轉(zhuǎn)儲(chǔ)工具，但是由于其采用了暴力查詢所有數(shù)據(jù)，然后比對(duì)差異，再進(jìn)行傳輸、存儲(chǔ)，無(wú)法適應(yīng)上億數(shù)據(jù)量的數(shù)據(jù)庫(kù)，單查詢過(guò)程，就要耗費(fèi)數(shù)小時(shí)的時(shí)間。因此亟需提供一種用于磁浮交通中央運(yùn)控系統(tǒng)的海量數(shù)據(jù)轉(zhuǎn)儲(chǔ)方法、系統(tǒng)，以實(shí)現(xiàn)高效的數(shù)據(jù)轉(zhuǎn)儲(chǔ)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種適用于磁浮交通中央運(yùn)控系統(tǒng)的海量數(shù)據(jù)轉(zhuǎn)儲(chǔ)方法及系統(tǒng)，能夠解決現(xiàn)有技術(shù)中的問(wèn)題。

2、本發(fā)明提供了一種適用于磁浮交通中央運(yùn)控系統(tǒng)的海量數(shù)據(jù)轉(zhuǎn)儲(chǔ)方法，其中，該方法包括：

3、在系統(tǒng)啟動(dòng)后，以當(dāng)前時(shí)間點(diǎn)為開(kāi)始點(diǎn)，按照預(yù)定時(shí)間間隔實(shí)時(shí)查詢并獲取實(shí)時(shí)數(shù)據(jù)；

4、查詢預(yù)定時(shí)段內(nèi)歷史數(shù)據(jù)的起始id和截至id，根據(jù)起始id和截至id按照預(yù)定數(shù)據(jù)條數(shù)分批查詢歷史數(shù)據(jù)；

5、對(duì)查詢的實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行封裝得到封裝數(shù)據(jù)包，并輸出封裝數(shù)據(jù)包；

6、對(duì)輸出的封裝數(shù)據(jù)包進(jìn)行單向傳輸；

7、接收單向傳輸?shù)姆庋b數(shù)據(jù)包，并對(duì)單向傳輸?shù)姆庋b數(shù)據(jù)包進(jìn)行解析得到解析后的數(shù)據(jù)；

8、對(duì)解析后的數(shù)據(jù)進(jìn)行存儲(chǔ)。

9、優(yōu)選地，對(duì)查詢的實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行封裝得到封裝數(shù)據(jù)包包括：

10、對(duì)查詢的實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行壓縮處理；

11、將壓縮后的數(shù)據(jù)封裝到基于udp的自定義格式協(xié)議包中，得到封裝數(shù)據(jù)。

12、優(yōu)選地，通過(guò)以太網(wǎng)輸出封裝數(shù)據(jù)包。

13、優(yōu)選地，對(duì)解析后的數(shù)據(jù)進(jìn)行存儲(chǔ)包括：

14、將解析后的數(shù)據(jù)放入待存儲(chǔ)隊(duì)列；

15、對(duì)待存儲(chǔ)隊(duì)列中的數(shù)據(jù)進(jìn)行讀取并存儲(chǔ)。

16、優(yōu)選地，該方法還包括：

17、對(duì)待存儲(chǔ)隊(duì)列中的數(shù)據(jù)的數(shù)量進(jìn)行監(jiān)測(cè)，并在監(jiān)測(cè)的數(shù)量大于閾值的情況下，輸出存儲(chǔ)異常報(bào)警信號(hào)。

18、本發(fā)明還提供了一種適用于磁浮交通中央運(yùn)控系統(tǒng)的海量數(shù)據(jù)轉(zhuǎn)儲(chǔ)系統(tǒng)，其中，該系統(tǒng)包括：

19、數(shù)據(jù)篩選和查詢單元，在系統(tǒng)啟動(dòng)后，以當(dāng)前時(shí)間點(diǎn)為開(kāi)始點(diǎn)，用于按照預(yù)定時(shí)間間隔實(shí)時(shí)查詢并獲取實(shí)時(shí)數(shù)據(jù)；

20、數(shù)據(jù)篩選和查詢單元還用于查詢預(yù)定時(shí)段內(nèi)歷史數(shù)據(jù)的起始id和截至id，根據(jù)起始id和截至id按照預(yù)定數(shù)據(jù)條數(shù)分批查詢歷史數(shù)據(jù)；

21、數(shù)據(jù)封裝和傳輸單元，用于對(duì)查詢的實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行封裝得到封裝數(shù)據(jù)包，并輸出封裝數(shù)據(jù)包；

22、單向數(shù)據(jù)傳輸單元，用于對(duì)輸出的封裝數(shù)據(jù)包進(jìn)行單向傳輸；

23、數(shù)據(jù)接收和解析單元，用于接收單向傳輸?shù)姆庋b數(shù)據(jù)包，并對(duì)單向傳輸?shù)姆庋b數(shù)據(jù)包進(jìn)行解析得到解析后的數(shù)據(jù)；

24、數(shù)據(jù)存儲(chǔ)單元，用于對(duì)解析后的數(shù)據(jù)進(jìn)行存儲(chǔ)。

25、優(yōu)選地，對(duì)查詢的實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行封裝得到封裝數(shù)據(jù)包包括：

26、對(duì)查詢的實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行壓縮處理；

27、將壓縮后的數(shù)據(jù)封裝到基于udp的自定義格式協(xié)議包中，得到封裝數(shù)據(jù)。

28、優(yōu)選地，通過(guò)以太網(wǎng)輸出封裝數(shù)據(jù)包。

29、優(yōu)選地，對(duì)解析后的數(shù)據(jù)進(jìn)行存儲(chǔ)包括：

30、將解析后的數(shù)據(jù)放入待存儲(chǔ)隊(duì)列；

31、對(duì)待存儲(chǔ)隊(duì)列中的數(shù)據(jù)進(jìn)行讀取并存儲(chǔ)。

32、優(yōu)選地，該系統(tǒng)還包括監(jiān)測(cè)報(bào)警單元，用于對(duì)待存儲(chǔ)隊(duì)列中的數(shù)據(jù)的數(shù)量進(jìn)行監(jiān)測(cè)，并在監(jiān)測(cè)的數(shù)量大于閾值的情況下，輸出存儲(chǔ)異常報(bào)警信號(hào)。

33、通過(guò)上述技術(shù)方案，可以支持高效地從海量(上億)數(shù)據(jù)中取出實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)，并在滿足只允許單向傳輸?shù)沫h(huán)境下發(fā)送到有數(shù)據(jù)分析需求的另一端(例如，傳輸至運(yùn)維系統(tǒng))，實(shí)現(xiàn)海量數(shù)據(jù)轉(zhuǎn)儲(chǔ)。

技術(shù)特征：

1.一種適用于磁浮交通中央運(yùn)控系統(tǒng)的海量數(shù)據(jù)轉(zhuǎn)儲(chǔ)方法，其特征在于，該方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)查詢的實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行封裝得到封裝數(shù)據(jù)包包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，通過(guò)以太網(wǎng)輸出封裝數(shù)據(jù)包。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，對(duì)解析后的數(shù)據(jù)進(jìn)行存儲(chǔ)包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，該方法還包括：

6.一種適用于磁浮交通中央運(yùn)控系統(tǒng)的海量數(shù)據(jù)轉(zhuǎn)儲(chǔ)系統(tǒng)，其特征在于，該系統(tǒng)包括：

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，對(duì)查詢的實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行封裝得到封裝數(shù)據(jù)包包括：

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，通過(guò)以太網(wǎng)輸出封裝數(shù)據(jù)包。

9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，對(duì)解析后的數(shù)據(jù)進(jìn)行存儲(chǔ)包括：將解析后的數(shù)據(jù)放入待存儲(chǔ)隊(duì)列；

10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，該系統(tǒng)還包括監(jiān)測(cè)報(bào)警單元，用于對(duì)待存儲(chǔ)隊(duì)列中的數(shù)據(jù)的數(shù)量進(jìn)行監(jiān)測(cè)，并在監(jiān)測(cè)的數(shù)量大于閾值的情況下，輸出存儲(chǔ)異常報(bào)警信號(hào)。

技術(shù)總結(jié)
本發(fā)明涉及數(shù)據(jù)轉(zhuǎn)儲(chǔ)技術(shù)領(lǐng)域，公開(kāi)了一種適用于磁浮交通中央運(yùn)控系統(tǒng)的海量數(shù)據(jù)轉(zhuǎn)儲(chǔ)方法及系統(tǒng)。其中，該方法包括：在系統(tǒng)啟動(dòng)后，以當(dāng)前時(shí)間點(diǎn)為開(kāi)始點(diǎn)，按照預(yù)定時(shí)間間隔實(shí)時(shí)查詢并獲取實(shí)時(shí)數(shù)據(jù)；查詢預(yù)定時(shí)段內(nèi)歷史數(shù)據(jù)的起始ID和截至ID，根據(jù)起始ID和截至ID按照預(yù)定數(shù)據(jù)條數(shù)分批查詢歷史數(shù)據(jù)；對(duì)查詢的實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行封裝得到封裝數(shù)據(jù)包，并輸出封裝數(shù)據(jù)包；對(duì)輸出的封裝數(shù)據(jù)包進(jìn)行單向傳輸；接收單向傳輸?shù)姆庋b數(shù)據(jù)包，并對(duì)單向傳輸?shù)姆庋b數(shù)據(jù)包進(jìn)行解析得到解析后的數(shù)據(jù)；對(duì)解析后的數(shù)據(jù)進(jìn)行存儲(chǔ)。由此，可以支持高效地從海量數(shù)據(jù)中取出實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)，并在滿足只允許單向傳輸?shù)沫h(huán)境下發(fā)送到有數(shù)據(jù)分析需求的另一端。

技術(shù)研發(fā)人員：張艷清,李少偉,劉通,王松林,李萍
受保護(hù)的技術(shù)使用者：中國(guó)航天科工飛航技術(shù)研究院（中國(guó)航天海鷹機(jī)電技術(shù)研究院）
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/19