本發(fā)明屬于小文件處理，尤其涉及一種智能小文件吞吐優(yōu)化方法及系統(tǒng)。

背景技術(shù)：

1、在當(dāng)今數(shù)字化進(jìn)程高歌猛進(jìn)的時(shí)代，數(shù)據(jù)存儲(chǔ)的需求如火山噴發(fā)般急劇增長(zhǎng)，集群存儲(chǔ)產(chǎn)品在數(shù)據(jù)中心、云計(jì)算等眾多關(guān)鍵領(lǐng)域得到了廣泛且深入的應(yīng)用。隨著各類業(yè)務(wù)的蓬勃發(fā)展，小文件的高效處理逐漸成為存儲(chǔ)系統(tǒng)面臨的一項(xiàng)重大挑戰(zhàn)。小文件通常指大小處于幾kb到幾百kb區(qū)間的文件，例如網(wǎng)頁文件、圖片文件、日志文件等。在大規(guī)模的存儲(chǔ)環(huán)境中，小文件的數(shù)量浩如煙海，其管理和訪問的效率對(duì)整個(gè)存儲(chǔ)系統(tǒng)的性能產(chǎn)生著舉足輕重的影響。

2、分布式存儲(chǔ)架構(gòu)通過將數(shù)據(jù)分散存儲(chǔ)在多個(gè)節(jié)點(diǎn)上，提高了系統(tǒng)的可靠性和擴(kuò)展性；數(shù)據(jù)冗余策略確保數(shù)據(jù)的安全性和可用性，即使部分節(jié)點(diǎn)出現(xiàn)故障，數(shù)據(jù)也不會(huì)丟失；數(shù)據(jù)索引機(jī)制則用于快速定位和檢索數(shù)據(jù)，提高數(shù)據(jù)訪問的效率。

3、現(xiàn)有技術(shù)中，集群存儲(chǔ)產(chǎn)品在應(yīng)對(duì)小文件處理時(shí)，普遍采用傳統(tǒng)的文件系統(tǒng)和存儲(chǔ)架構(gòu)，例如：基于傳統(tǒng)的分布式文件系統(tǒng)(如hdfs)，將小文件直接存儲(chǔ)在文件系統(tǒng)之中，并借助集中式的元數(shù)據(jù)管理方式來進(jìn)行文件的查找和訪問。因此，現(xiàn)有技術(shù)具有以下缺陷：(1)元數(shù)據(jù)管理壓力大：大量小文件的元數(shù)據(jù)被集中管理，這使得元數(shù)據(jù)服務(wù)器不堪重負(fù)，負(fù)載過高，進(jìn)而嚴(yán)重制約了系統(tǒng)的擴(kuò)展性和性能表現(xiàn)；(2)存儲(chǔ)效率低下：小文件單獨(dú)存儲(chǔ)的方式，不可避免地造成了存儲(chǔ)空間的極大浪費(fèi)，并且頻繁的磁盤i/o操作猶如雪上加霜，大幅降低了存儲(chǔ)效率；(3)訪問延遲高：由于小文件的分散存儲(chǔ)特性以及元數(shù)據(jù)的查詢開銷巨大，致使小文件的訪問延遲居高不下，嚴(yán)重影響了用戶的使用體驗(yàn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例的目的在于提供一種智能小文件吞吐優(yōu)化方法及系統(tǒng)，旨在解決背景技術(shù)中所提及的現(xiàn)有技術(shù)所存在的技術(shù)問題。

2、本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的：

3、一種智能小文件吞吐優(yōu)化方法，所述方法具體包括以下步驟：

4、將多個(gè)小文件聚合成邏輯文件；

5、采用分布式的元數(shù)據(jù)存儲(chǔ)和索引機(jī)制，對(duì)多個(gè)小文件進(jìn)行存儲(chǔ)和索引；

6、獲取多個(gè)所述小文件的訪問頻率和重要性，將多個(gè)所述小文件存儲(chǔ)在不同的存儲(chǔ)介質(zhì)上；

7、進(jìn)行實(shí)時(shí)的負(fù)載與訪問監(jiān)測(cè)，動(dòng)態(tài)調(diào)整多個(gè)所述小文件的存儲(chǔ)位置，并對(duì)多個(gè)所述小文件的聚合進(jìn)行優(yōu)化調(diào)整。

8、作為本發(fā)明實(shí)施例技術(shù)方案進(jìn)一步的限定，所述將多個(gè)小文件聚合成邏輯文件具體包括以下步驟：

9、接收用戶的文件聚合設(shè)置；

10、按照所述文件聚合設(shè)置，確定小文件聚合數(shù)量；

11、根據(jù)所述小文件聚合數(shù)量，將小文件聚合成邏輯文件。

12、作為本發(fā)明實(shí)施例技術(shù)方案進(jìn)一步的限定，所述將多個(gè)小文件聚合成邏輯文件具體包括以下步驟：

13、接收用戶的文件聚合設(shè)置；

14、按照所述文件聚合設(shè)置，確定多個(gè)相似聚合特性；

15、根據(jù)多個(gè)所述相似聚合特性，將多個(gè)小文件進(jìn)行分類聚合，聚合得到多個(gè)邏輯文件。

16、作為本發(fā)明實(shí)施例技術(shù)方案進(jìn)一步的限定，所述采用分布式的元數(shù)據(jù)存儲(chǔ)和索引機(jī)制，對(duì)多個(gè)小文件進(jìn)行存儲(chǔ)和索引具體包括以下步驟：

17、采用分布式的元數(shù)據(jù)存儲(chǔ)和索引機(jī)制，對(duì)多個(gè)所述小文件進(jìn)行存儲(chǔ)和索引規(guī)劃，記錄規(guī)劃結(jié)果；

18、按照所述規(guī)劃結(jié)果，對(duì)多個(gè)小文件進(jìn)行存儲(chǔ)和索引。

19、作為本發(fā)明實(shí)施例技術(shù)方案進(jìn)一步的限定，所述采用分布式的元數(shù)據(jù)存儲(chǔ)和索引機(jī)制，對(duì)多個(gè)小文件進(jìn)行存儲(chǔ)和索引具體包括以下步驟：

20、采用分布式的元數(shù)據(jù)存儲(chǔ)和索引機(jī)制，對(duì)多個(gè)所述小文件進(jìn)行區(qū)塊鏈存儲(chǔ)規(guī)劃，記錄規(guī)劃結(jié)果；

21、按照所述規(guī)劃結(jié)果，對(duì)多個(gè)小文件進(jìn)行存儲(chǔ)和索引。

22、作為本發(fā)明實(shí)施例技術(shù)方案進(jìn)一步的限定，所述獲取多個(gè)所述小文件的訪問頻率和重要性，將多個(gè)所述小文件存儲(chǔ)在不同的存儲(chǔ)介質(zhì)上具體包括以下步驟：

23、獲取多個(gè)所述小文件的訪問頻率和重要性；

24、基于預(yù)設(shè)的頻率閾值和重要權(quán)重，對(duì)多個(gè)所述小文件的訪問頻率和重要性進(jìn)行存儲(chǔ)分析，匹配對(duì)應(yīng)的存儲(chǔ)介質(zhì)；

25、將多個(gè)所述小文件存儲(chǔ)在對(duì)應(yīng)的存儲(chǔ)介質(zhì)中。

26、作為本發(fā)明實(shí)施例技術(shù)方案進(jìn)一步的限定，所述進(jìn)行實(shí)時(shí)的負(fù)載與訪問監(jiān)測(cè)，動(dòng)態(tài)調(diào)整多個(gè)所述小文件的存儲(chǔ)位置，并對(duì)多個(gè)所述小文件的聚合進(jìn)行優(yōu)化調(diào)整具體包括以下步驟：

27、進(jìn)行實(shí)時(shí)的負(fù)載與訪問監(jiān)測(cè)，判斷是否需要?jiǎng)討B(tài)調(diào)整；

28、在需要?jiǎng)討B(tài)調(diào)整時(shí)，動(dòng)態(tài)調(diào)整多個(gè)所述小文件的存儲(chǔ)位置，并對(duì)多個(gè)所述小文件的聚合進(jìn)行優(yōu)化調(diào)整。

29、一種智能小文件吞吐優(yōu)化系統(tǒng)，所述系統(tǒng)包括小文件聚合模塊、元數(shù)據(jù)管理模塊、分層存儲(chǔ)模塊和智能調(diào)度模塊，其中：

30、小文件聚合模塊，用于將多個(gè)小文件聚合成邏輯文件；

31、元數(shù)據(jù)管理模塊，用于采用分布式的元數(shù)據(jù)存儲(chǔ)和索引機(jī)制，對(duì)多個(gè)小文件進(jìn)行存儲(chǔ)和索引；

32、分層存儲(chǔ)模塊，用于獲取多個(gè)所述小文件的訪問頻率和重要性，將多個(gè)所述小文件存儲(chǔ)在不同的存儲(chǔ)介質(zhì)上；

33、智能調(diào)度模塊，用于進(jìn)行實(shí)時(shí)的負(fù)載與訪問監(jiān)測(cè)，動(dòng)態(tài)調(diào)整多個(gè)所述小文件的存儲(chǔ)位置，并對(duì)多個(gè)所述小文件的聚合進(jìn)行優(yōu)化調(diào)整。

34、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

35、本發(fā)明實(shí)施例通過將多個(gè)小文件聚合成邏輯文件；采用分布式的元數(shù)據(jù)存儲(chǔ)和索引機(jī)制，對(duì)多個(gè)小文件進(jìn)行存儲(chǔ)和索引；獲取多個(gè)小文件的訪問頻率和重要性，將多個(gè)小文件存儲(chǔ)在不同的存儲(chǔ)介質(zhì)上；進(jìn)行實(shí)時(shí)的負(fù)載與訪問監(jiān)測(cè)，動(dòng)態(tài)調(diào)整多個(gè)小文件的存儲(chǔ)位置，并對(duì)多個(gè)小文件的聚合進(jìn)行優(yōu)化調(diào)整。顯著降低元數(shù)據(jù)管理的復(fù)雜程度和壓力，全力提升小文件的存儲(chǔ)效率和訪問性能，從而打破現(xiàn)有技術(shù)的瓶頸，能夠有效減少元數(shù)據(jù)量，對(duì)存儲(chǔ)空間的利用進(jìn)行精妙優(yōu)化，大幅降低小文件的訪問延遲，讓整個(gè)集群存儲(chǔ)系統(tǒng)對(duì)小文件的處理能力得以提升。

技術(shù)特征：

1.一種智能小文件吞吐優(yōu)化方法，其特征在于，所述方法具體包括以下步驟：

2.根據(jù)權(quán)利要求1所述的智能小文件吞吐優(yōu)化方法，其特征在于，所述將多個(gè)小文件聚合成邏輯文件具體包括以下步驟：

3.根據(jù)權(quán)利要求1所述的智能小文件吞吐優(yōu)化方法，其特征在于，所述將多個(gè)小文件聚合成邏輯文件具體包括以下步驟：

4.根據(jù)權(quán)利要求1所述的智能小文件吞吐優(yōu)化方法，其特征在于，所述采用分布式的元數(shù)據(jù)存儲(chǔ)和索引機(jī)制，對(duì)多個(gè)小文件進(jìn)行存儲(chǔ)和索引具體包括以下步驟：

5.根據(jù)權(quán)利要求1所述的智能小文件吞吐優(yōu)化方法，其特征在于，所述采用分布式的元數(shù)據(jù)存儲(chǔ)和索引機(jī)制，對(duì)多個(gè)小文件進(jìn)行存儲(chǔ)和索引具體包括以下步驟：

6.根據(jù)權(quán)利要求1所述的智能小文件吞吐優(yōu)化方法，其特征在于，所述獲取多個(gè)所述小文件的訪問頻率和重要性，將多個(gè)所述小文件存儲(chǔ)在不同的存儲(chǔ)介質(zhì)上具體包括以下步驟：

7.根據(jù)權(quán)利要求1所述的智能小文件吞吐優(yōu)化方法，其特征在于，所述進(jìn)行實(shí)時(shí)的負(fù)載與訪問監(jiān)測(cè)，動(dòng)態(tài)調(diào)整多個(gè)所述小文件的存儲(chǔ)位置，并對(duì)多個(gè)所述小文件的聚合進(jìn)行優(yōu)化調(diào)整具體包括以下步驟：

8.一種智能小文件吞吐優(yōu)化系統(tǒng)，其特征在于，所述系統(tǒng)包括小文件聚合模塊、元數(shù)據(jù)管理模塊、分層存儲(chǔ)模塊和智能調(diào)度模塊，其中：

技術(shù)總結(jié)
本發(fā)明適用于小文件處理技術(shù)領(lǐng)域，提供了一種智能小文件吞吐優(yōu)化方法及系統(tǒng)。本發(fā)明通過將多個(gè)小文件聚合成邏輯文件；采用分布式的元數(shù)據(jù)存儲(chǔ)和索引機(jī)制，對(duì)多個(gè)小文件進(jìn)行存儲(chǔ)和索引；獲取多個(gè)小文件的訪問頻率和重要性，將多個(gè)小文件存儲(chǔ)在不同的存儲(chǔ)介質(zhì)上；進(jìn)行實(shí)時(shí)的負(fù)載與訪問監(jiān)測(cè)，動(dòng)態(tài)調(diào)整多個(gè)小文件的存儲(chǔ)位置，并對(duì)多個(gè)小文件的聚合進(jìn)行優(yōu)化調(diào)整。顯著降低元數(shù)據(jù)管理的復(fù)雜程度和壓力，全力提升小文件的存儲(chǔ)效率和訪問性能，從而打破現(xiàn)有技術(shù)的瓶頸，能夠有效減少元數(shù)據(jù)量，對(duì)存儲(chǔ)空間的利用進(jìn)行精妙優(yōu)化，大幅降低小文件的訪問延遲，讓整個(gè)集群存儲(chǔ)系統(tǒng)對(duì)小文件的處理能力得以提升。

技術(shù)研發(fā)人員：王以強(qiáng),李忠誠,代建軍,張濤,李雙雙,徐偉
受保護(hù)的技術(shù)使用者：北京融訊光通科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15