本發(fā)明屬于數(shù)據(jù)存儲與管理，具體涉及一種關(guān)停系統(tǒng)重要數(shù)據(jù)搶救性歸檔處置方法。

背景技術(shù)：

1、隨著信息技術(shù)的快速發(fā)展，企業(yè)、政府及科研機構(gòu)的信息系統(tǒng)不斷升級迭代，部分老舊系統(tǒng)因軟硬件老化、技術(shù)架構(gòu)落后、運維成本高等原因面臨關(guān)停。然而，這些系統(tǒng)中往往存儲著重要的業(yè)務(wù)數(shù)據(jù)、用戶信息、財務(wù)記錄、歷史日志等關(guān)鍵數(shù)據(jù)，直接刪除或未妥善遷移將導致數(shù)據(jù)丟失、合規(guī)風險及業(yè)務(wù)連續(xù)性問題。

2、現(xiàn)有的關(guān)停系統(tǒng)數(shù)據(jù)歸檔方式主要依賴數(shù)據(jù)庫備份、日志存儲、手動數(shù)據(jù)遷移等傳統(tǒng)方法，但存在以下技術(shù)局限：數(shù)據(jù)格式不兼容、存儲安全性不足、查詢訪問效率低、歸檔自動化程度低。首先，不同系統(tǒng)的數(shù)據(jù)格式、數(shù)據(jù)庫結(jié)構(gòu)及存儲方式各異，簡單的數(shù)據(jù)導出難以滿足跨系統(tǒng)兼容性需求。其次，傳統(tǒng)數(shù)據(jù)存儲方式缺乏動態(tài)加密與密鑰管理，數(shù)據(jù)在歸檔存儲過程中易受篡改或泄露。再者，現(xiàn)有歸檔方案多采用全量恢復查詢，導致數(shù)據(jù)訪問延遲，無法滿足高效查詢需求。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種關(guān)停系統(tǒng)重要數(shù)據(jù)搶救性歸檔處置方法，解決相關(guān)技術(shù)中數(shù)據(jù)格式不兼容、安全性不足、查詢效率低、歸檔自動化水平低的技術(shù)問題。

2、本發(fā)明提供了一種關(guān)停系統(tǒng)重要數(shù)據(jù)搶救性歸檔處置方法，包括以下步驟：

3、s101,在關(guān)停系統(tǒng)數(shù)據(jù)歸檔前，對存儲數(shù)據(jù)采用機器學習模型自動解析數(shù)據(jù)結(jié)構(gòu)并進行掃描提取；

4、s102，采用邊存儲邊轉(zhuǎn)換機制對掃描提取的數(shù)據(jù)進行存儲和格式轉(zhuǎn)換，并基于內(nèi)容特征分析，自動匹配對應(yīng)的歸檔格式進行歸檔；

5、s103，采用基于零信任架構(gòu)的加密存儲機制對歸檔后的數(shù)據(jù)進行安全保護，并采用動態(tài)密鑰管理策略，根據(jù)訪問場景動態(tài)分配、回收和銷毀密鑰，結(jié)合分布式密鑰存儲技術(shù)對數(shù)據(jù)進行保護；

6、s104，采用流式檢索機制對歸檔數(shù)據(jù)提供查詢與訪問，并基于虛擬數(shù)據(jù)庫接口，對歸檔數(shù)據(jù)進行遠程調(diào)用與虛擬化訪問。

7、進一步地，對存儲數(shù)據(jù)采用機器學習模型自動解析數(shù)據(jù)結(jié)構(gòu)并進行掃描提取，具體步驟包括：

8、s201，使用自動存儲類型識別算法識別關(guān)停系統(tǒng)的數(shù)據(jù)存儲類型；

9、s202，采用機器學習模型解析關(guān)停系統(tǒng)存儲數(shù)據(jù)的內(nèi)部結(jié)構(gòu)；

10、s203，從解析后的數(shù)據(jù)結(jié)構(gòu)中提取時間序列特征、文本模式特征和數(shù)值分布特征；

11、s204，根據(jù)提取的特征對存儲數(shù)據(jù)掃描提取。

12、進一步地，s102的具體步驟包括：

13、s301，對掃描提取的數(shù)據(jù)進行歸檔存儲格式的轉(zhuǎn)換；

14、s302，根據(jù)格式轉(zhuǎn)換后的數(shù)據(jù)生成元數(shù)據(jù)，并對數(shù)據(jù)間的關(guān)聯(lián)關(guān)系進行存儲；

15、s303，調(diào)整格式轉(zhuǎn)換后的數(shù)據(jù)的存儲方式；

16、s304，對格式轉(zhuǎn)換后的數(shù)據(jù)的存儲結(jié)構(gòu)進行管理。

17、進一步地，使用對稱加密算法對歸檔后的數(shù)據(jù)進行加密；在數(shù)據(jù)存儲和訪問過程中，采用按需分配策略，每次訪問均動態(tài)分配唯一的臨時密鑰，并對訪問行為進行實時審計；

18、采用密鑰自動過期策略，密鑰僅在預設(shè)時間窗口內(nèi)有效，超時自動回收；

19、采用不可恢復銷毀策略，在數(shù)據(jù)生命周期結(jié)束后，使用多重擦除算法銷毀密鑰，并通過區(qū)塊鏈存證機制記錄密鑰銷毀日志。

20、進一步地，采用分布式密鑰存儲的方式存儲密鑰，分布式密鑰存儲具體包括：多節(jié)點密鑰分片存儲和地理分布式存儲。

21、進一步地，使用第一安全策略訪問歸檔數(shù)據(jù)，其中第一安全策略包括：細粒度訪問控制和零知識訪問。

22、進一步地，所述流式檢索機制采用分布式流處理框架對歸檔數(shù)據(jù)進行實時解析，流式檢索機制的具體步驟包括：

23、s401,基于流式處理技術(shù)，按需提取數(shù)據(jù)，并采用分塊加載限制數(shù)據(jù)讀取量；

24、s402，采用向量索引技術(shù)對歸檔數(shù)據(jù)的查詢進行優(yōu)化；

25、s403，通過流式sql引擎解析查詢請求。

26、進一步地，在檢測到系統(tǒng)達到預設(shè)觸發(fā)條件時，自動執(zhí)行數(shù)據(jù)歸檔操作，預設(shè)觸發(fā)條件包括：

27、磁盤空間低于第一預設(shè)閾值；

28、cpu負載高于第二預設(shè)閾值且持續(xù)時間超過第一預設(shè)時間間隔；

29、系統(tǒng)檢測到數(shù)據(jù)庫連接異常。

30、進一步地，采用向量索引技術(shù)對歸檔數(shù)據(jù)的查詢進行優(yōu)化，具體步驟包括：

31、s501，對每個數(shù)據(jù)項提取文本內(nèi)容、元數(shù)據(jù)和統(tǒng)計信息，并轉(zhuǎn)換為特征向量；

32、s502，設(shè)定多個層級，每一層采用不同的哈希函數(shù)族，將數(shù)據(jù)項按哈希值分配至哈希桶，并遞歸構(gòu)成樹狀索引結(jié)構(gòu)，所述結(jié)構(gòu)中每個節(jié)點代表一個哈希桶，葉子節(jié)點包含指向原始數(shù)據(jù)項的指針；

33、s503，對查詢數(shù)據(jù)進行標準化后，采用與索引構(gòu)建時相同的哈希函數(shù)依次遍歷各層哈希桶，并利用存儲的代表向量初步篩選候選數(shù)據(jù)，最終在葉子節(jié)點對候選數(shù)據(jù)項進行余弦相似度計算，按相似度排序返回查詢結(jié)果；

34、s504，新數(shù)據(jù)加入時，自動更新哈希索引。

35、本發(fā)明的有益效果在于：本發(fā)明采用機器學習模型自動解析數(shù)據(jù)結(jié)構(gòu)，結(jié)合自動存儲類型識別算法，能夠精準識別關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫、日志文件和影像文件等不同數(shù)據(jù)存儲類型，并基于邊存儲邊轉(zhuǎn)換機制，在歸檔存儲過程中同步完成格式轉(zhuǎn)換，該方法能夠自動適配多種歸檔存儲格式，確保不同系統(tǒng)間的數(shù)據(jù)兼容性，減少數(shù)據(jù)格式轉(zhuǎn)換的人工干預，提高歸檔效率和存儲標準化程度；

36、本發(fā)明采用零信任架構(gòu)的加密存儲機制，確保數(shù)據(jù)在存儲、傳輸和訪問全過程中均處于加密保護狀態(tài)。結(jié)合動態(tài)密鑰管理策略，可根據(jù)訪問場景動態(tài)分配、回收和銷毀密鑰，防止密鑰長期暴露。同時，采用分布式密鑰存儲技術(shù)，確保密鑰的抗攻擊能力和可恢復性，防止單點密鑰泄露，提高數(shù)據(jù)歸檔后的長期安全性；

37、本發(fā)明采用流式檢索機制，結(jié)合分布式流處理框架，支持按需提取歸檔數(shù)據(jù)，提高查詢效率；基于虛擬數(shù)據(jù)庫接口，可在無需物理恢復數(shù)據(jù)的情況下，直接跨數(shù)據(jù)源聯(lián)合查詢歸檔數(shù)據(jù)，提高數(shù)據(jù)檢索的靈活性和實時性。

技術(shù)特征：

1.一種關(guān)停系統(tǒng)重要數(shù)據(jù)搶救性歸檔處置方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種關(guān)停系統(tǒng)重要數(shù)據(jù)搶救性歸檔處置方法，其特征在于，對存儲數(shù)據(jù)采用機器學習模型自動解析數(shù)據(jù)結(jié)構(gòu)并進行掃描提取，具體步驟包括：

3.根據(jù)權(quán)利要求1所述的一種關(guān)停系統(tǒng)重要數(shù)據(jù)搶救性歸檔處置方法，其特征在于，s102的具體步驟包括：

4.根據(jù)權(quán)利要求1所述的一種關(guān)停系統(tǒng)重要數(shù)據(jù)搶救性歸檔處置方法，其特征在于，使用對稱加密算法對歸檔后的數(shù)據(jù)進行加密；在數(shù)據(jù)存儲和訪問過程中，采用按需分配策略，每次訪問均動態(tài)分配唯一的臨時密鑰，并對訪問行為進行實時審計；

5.根據(jù)權(quán)利要求1所述的一種關(guān)停系統(tǒng)重要數(shù)據(jù)搶救性歸檔處置方法，其特征在于，采用分布式密鑰存儲的方式存儲密鑰，分布式密鑰存儲具體包括：多節(jié)點密鑰分片存儲和地理分布式存儲。

6.根據(jù)權(quán)利要求1所述的一種關(guān)停系統(tǒng)重要數(shù)據(jù)搶救性歸檔處置方法，其特征在于，使用第一安全策略訪問歸檔數(shù)據(jù)，其中第一安全策略包括：細粒度訪問控制和零知識訪問。

7.根據(jù)權(quán)利要求1所述的一種關(guān)停系統(tǒng)重要數(shù)據(jù)搶救性歸檔處置方法，其特征在于，所述流式檢索機制采用分布式流處理框架對歸檔數(shù)據(jù)進行實時解析，流式檢索機制的具體步驟包括：

8.根據(jù)權(quán)利要求1所述的一種關(guān)停系統(tǒng)重要數(shù)據(jù)搶救性歸檔處置方法，其特征在于，在檢測到系統(tǒng)達到預設(shè)觸發(fā)條件時，自動執(zhí)行數(shù)據(jù)歸檔操作，預設(shè)觸發(fā)條件包括：

9.根據(jù)權(quán)利要求7所述的一種關(guān)停系統(tǒng)重要數(shù)據(jù)搶救性歸檔處置方法，其特征在于，采用向量索引技術(shù)對歸檔數(shù)據(jù)的查詢進行優(yōu)化，具體步驟包括：

技術(shù)總結(jié)
本發(fā)明涉及數(shù)據(jù)存儲與管理技術(shù)領(lǐng)域，公開了一種關(guān)停系統(tǒng)重要數(shù)據(jù)搶救性歸檔處置方法，包括以下步驟：S101,對存儲數(shù)據(jù)采用機器學習模型自動解析數(shù)據(jù)結(jié)構(gòu)并進行掃描提取；S102，采用邊存儲邊轉(zhuǎn)換機制對掃描提取的數(shù)據(jù)進行存儲和格式轉(zhuǎn)換；S103，采用基于零信任架構(gòu)的加密存儲機制對歸檔后的數(shù)據(jù)進行安全保護，并采用動態(tài)密鑰管理策略，根據(jù)訪問場景動態(tài)分配、回收和銷毀密鑰，結(jié)合分布式密鑰存儲技術(shù)對數(shù)據(jù)進行保護；S104，采用流式檢索機制對歸檔數(shù)據(jù)提供查詢與訪問，并基于虛擬數(shù)據(jù)庫接口，對歸檔數(shù)據(jù)進行遠程調(diào)用與虛擬化訪問。本發(fā)明提高了歸檔數(shù)據(jù)的格式兼容性，提升了歸檔數(shù)據(jù)的查詢效率和跨數(shù)據(jù)源訪問能力。

技術(shù)研發(fā)人員：闕兢兢,張雷,劉兆攀,賴家先,潘菲
受保護的技術(shù)使用者：杭州易康信科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15