本發(fā)明涉及計算機(jī)，具體涉及文件存儲方法、讀取方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、當(dāng)前的分布式存儲系統(tǒng)，存在簡單存儲服務(wù)(simple?storage?service，簡稱s3)協(xié)議、分布式文件系統(tǒng)(hadoop?distributed?filesystem?hadoop，簡稱hdfs)、網(wǎng)絡(luò)附屬存儲(networkattached?storage，簡稱nas)協(xié)議，通過上述協(xié)議互訪互通的需求，即通過任一協(xié)議寫入的數(shù)據(jù)，后續(xù)可以通過其他協(xié)議訪問或操作。也即是s3、hdfs和nas三種協(xié)議融合互通，支持多協(xié)議(nas/s3/hdfs)同時共享一份數(shù)據(jù)并互訪互通。

2、在融合互通場景下，開啟多版本時，不可避免的會通過文件協(xié)議進(jìn)行寫入文件，受文件協(xié)議語義限制，僅能上傳單個版本文件，重復(fù)上傳時會覆蓋，因此在通過文件協(xié)議上傳文件時，會存在大量的單版本文件，現(xiàn)有方案中單版本文件也會對應(yīng)一個邏輯頭文件，因此，以文件協(xié)議寫入的多版本文件會占用兩套元數(shù)據(jù)存儲空間，導(dǎo)致整集群的可支持文件量級大比例下降。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種文件存儲方法、讀取方法、裝置、設(shè)備及介質(zhì)，以解決融合互通場景下的多版本存儲文件占用兩套元數(shù)據(jù)存儲空間，導(dǎo)致整個集群的可支持文件量級大比例下降的問題。

2、第一方面，本發(fā)明提供了一種文件存儲方法，該方法包括：

3、獲取第一待存儲文件以及與第一待存儲文件所屬的文件對應(yīng)的第一標(biāo)識信息；

4、生成與第一待存儲文件對應(yīng)的第一元數(shù)據(jù)信息；

5、確定傳輸?shù)谝淮鎯ξ募膫鬏攨f(xié)議；

6、當(dāng)確定傳輸協(xié)議為目標(biāo)協(xié)議時，確定分布式存儲系統(tǒng)中是否存在與第一標(biāo)識信息對應(yīng)的文件；

7、當(dāng)確定分布式存儲系統(tǒng)中未存在與第一標(biāo)識信息對應(yīng)的文件時，在分布式存儲系統(tǒng)中創(chuàng)建邏輯頭文件；

8、識別多版本功能是否開啟，當(dāng)確定多版本功能處于開啟狀態(tài)時，生成與第一待存儲文件對應(yīng)的版本信息后，將該版本信息配置為首個版本信息；

9、將第一元數(shù)據(jù)信息、第一標(biāo)識信息，以及首個版本信息加入到邏輯頭文件中；

10、以及將第一待存儲文件在分布式存儲系統(tǒng)中完成存儲操作。

11、本發(fā)明提供的一種文件存儲方法，具有如下優(yōu)點：

12、該方法通過獲取第一待存儲文件以及與第一待存儲文件所屬的文件對應(yīng)的第一標(biāo)識信息，確定分布式存儲系統(tǒng)中是否存在與第一標(biāo)識信息對應(yīng)的文件，當(dāng)確定分布式存儲系統(tǒng)中未存在與第一標(biāo)識信息對應(yīng)的文件時，在分布式存儲系統(tǒng)中創(chuàng)建邏輯頭文件作為多個版本存儲文件的整體對外表現(xiàn)，直接通過邏輯頭文件根據(jù)使用場景選擇和切換多版本狀態(tài)，提升存儲系統(tǒng)的易用性。當(dāng)確定多版本功能處于開啟狀態(tài)時，將該版本信息配置為首個版本信息，將第一元數(shù)據(jù)信息、第一標(biāo)識信息，以及首個版本信息加入到邏輯頭文件中，通過將第一待存儲文件的元數(shù)據(jù)信息加入到邏輯頭文件中，使邏輯頭文件和元數(shù)據(jù)信息文件合并為一個文件，減少了一個元數(shù)據(jù)信息文件，增加了整個集群的可支持文件量級。

13、在一種可選的實施方式中，該方法還包括：

14、當(dāng)獲取到第二待存儲文件以及與第二待存儲文件對應(yīng)的第二標(biāo)識信息時，生成與第二待存儲文件對應(yīng)的第二元數(shù)據(jù)信息；

15、從分布式存儲系統(tǒng)中創(chuàng)建的邏輯頭文件中查找與第二標(biāo)識信息匹配的標(biāo)識信息；

16、當(dāng)確定第一邏輯頭文件中存儲與第二標(biāo)識信息匹配的標(biāo)識信息時，根據(jù)第一邏輯頭文件中已存儲的版本信息，生成與第二待存儲文件對應(yīng)的新的版本信息，其中，第一邏輯頭文件為分布式存儲系統(tǒng)中創(chuàng)建的邏輯頭文件中的任一個邏輯頭文件；

17、將新的版本信息和第二元數(shù)據(jù)信息存儲至第一邏輯頭文件中；

18、將第二待存儲文件在分布式存儲系統(tǒng)中完成存儲操作。

19、具體的，獲取到第二待存儲文件以及與第二待存儲文件對應(yīng)的第二標(biāo)識信息時，根據(jù)第一邏輯頭文件中已存儲的版本信息，生成與第二待存儲文件對應(yīng)的新的版本信息，可以有效地管理和追蹤文件的歷史版本，對于需要頻繁更新和回溯的文件系統(tǒng)，確保數(shù)據(jù)的完整性和一致性。將新的版本信息和第二元數(shù)據(jù)信息存儲至第一邏輯頭文件中，通過在第一邏輯頭文件中存儲待存儲文件的版本信息和元數(shù)據(jù)信息，減少了在分布式存儲系統(tǒng)中查找文件對應(yīng)的元數(shù)據(jù)信息所需的時間和資源消耗，快速定位和檢索存儲文件。

20、在一種可選的實施方式中，將新的版本信息和第二元數(shù)據(jù)信息存儲至邏輯頭文件中之后，該方法還包括：

21、創(chuàng)建索引文件以及與索引文件對應(yīng)的聲明信息；

22、將第一邏輯頭文件中在存儲第二元數(shù)據(jù)信息之前已經(jīng)存儲的歷史元數(shù)據(jù)信息，以及與歷史元數(shù)據(jù)信息對應(yīng)的存儲文件的版本信息存儲至索引文件中；

23、將索引文件對應(yīng)的聲明信息存儲至第一邏輯頭文件中，聲明信息用于指示索引文件對應(yīng)的存儲位置。

24、具體的，創(chuàng)建索引文件，突破邏輯頭文件的xattr擴(kuò)展屬性存放歷史版本的元數(shù)據(jù)信息以及版本信息的大小限制，并且索引文件可以適應(yīng)不斷增長的數(shù)據(jù)存儲需求，極大的提升了單個邏輯頭文件的可支持歷史版本對應(yīng)的元數(shù)據(jù)信息數(shù)量，提升整系統(tǒng)的可擴(kuò)展性。創(chuàng)建索引文件對應(yīng)的聲明信息，聲明信息明確指示索引文件的存儲位置，索引文件可能分布在不同的存儲設(shè)備或位置。當(dāng)需要訪問或查詢索引文件時，系統(tǒng)可以從邏輯頭文件中直接根據(jù)聲明信息快速定位到索引文件所在的存儲路徑，無需進(jìn)行復(fù)雜的搜索或遍歷操作，從而顯著提高數(shù)據(jù)檢索的速度和效率。

25、在一種可選的實施方式中，該方法還包括：

26、獲取第三待存儲文件以及與第三待存儲文件對應(yīng)的第三標(biāo)識信息；

27、生成與第三待存儲文件對應(yīng)的第三元數(shù)據(jù)信息；

28、從分布式存儲系統(tǒng)中創(chuàng)建的邏輯頭文件中查找與第三標(biāo)識信息匹配的標(biāo)識信息；

29、當(dāng)確定第二邏輯頭文件中存儲與第三標(biāo)識信息匹配的標(biāo)識信息，且確定第三待存儲文件的獲取時刻屬于預(yù)設(shè)時間范圍內(nèi)時，識別第二邏輯頭文件中存儲的版本信息是否為目標(biāo)版本信息，其中，第二邏輯頭文件為分布式存儲系統(tǒng)中創(chuàng)建的邏輯頭文件中的任一個邏輯頭文件，預(yù)設(shè)時間范圍用于指示多版本功能處于停止?fàn)顟B(tài)；

30、當(dāng)確定第二邏輯頭文件中存儲的版本信息為目標(biāo)版本信息時，在分布式存儲系統(tǒng)中將第三待存儲文件覆蓋掉與目標(biāo)版本信息對應(yīng)的待存儲文件，并將第三待存儲文件的版本信息更新為目標(biāo)版本信息；

31、將第三元數(shù)據(jù)信息和目標(biāo)版本信息更新至第二邏輯頭文件中。

32、具體的，多版本功能的不同狀態(tài)對應(yīng)存儲文件的不同的存儲方式，可以滿足不同場景下的需求。在開啟狀態(tài)下，允許多版本并存，有助于版本控制和歷史追溯，方便用戶訪問和比較不同版本的存儲文件；在關(guān)閉狀態(tài)下，通過覆蓋舊版本保留最新版本，減少冗余數(shù)據(jù)；在停止?fàn)顟B(tài)下，在分布式存儲系統(tǒng)中將第三待存儲文件覆蓋掉與目標(biāo)版本對應(yīng)的待存儲文件，并將第三待存儲文件的版本信息更新為目標(biāo)版本信息，只覆蓋多版本功能處于停止?fàn)顟B(tài)的預(yù)設(shè)時間范圍內(nèi)上傳的存儲文件，靈活覆蓋不必要的存儲文件。通過合理配置多版本功能狀態(tài)，可以優(yōu)化存儲系統(tǒng)的性能，比如在多版本并存時提高數(shù)據(jù)訪問速度，在覆蓋舊版本時減少存儲負(fù)擔(dān)。

33、在一種可選的實施方式中，該方法還包括：

34、當(dāng)確定第二邏輯頭文件中存儲的版本信息并非為目標(biāo)版本時，對第三待存儲文件在分布式存儲系統(tǒng)中進(jìn)行分布式存儲后，將第三待存儲文件的版本信息確定為目標(biāo)版本信息；

35、將第三元數(shù)據(jù)信息和目標(biāo)版本信息更新至第二邏輯頭文件中。

36、具體的，多版本功能處于停止?fàn)顟B(tài)時，只覆蓋預(yù)設(shè)時間范圍內(nèi)為目標(biāo)版本信息的存儲文件。預(yù)設(shè)時間范圍內(nèi)沒有目標(biāo)版本的存儲文件時，將第三待存儲文件的版本信息確定為目標(biāo)版本信息。預(yù)設(shè)時間范圍用于指示多版本功能處于停止?fàn)顟B(tài)。通過多版本功能處于停止?fàn)顟B(tài)來限定版本覆蓋的條件，系統(tǒng)可以精確控制哪些文件版本會被覆蓋，提高存儲資源的利用效率，降低存儲成本，減少需要維護(hù)的版本數(shù)量。

37、在一種可選的實施方式中，該方法還包括：

38、當(dāng)確定分布式存儲系統(tǒng)中存在與第一標(biāo)識信息對應(yīng)的文件時，反饋文件已存在的指示信息至第一待存儲文件的傳輸端，用以提示傳輸端確定第一待存儲文件是否為重復(fù)上傳。

39、具體的，通過在文件上傳前進(jìn)行重復(fù)性檢查，可以有效避免將相同的文件多次存儲在系統(tǒng)中。不僅節(jié)省存儲空間，還減少存儲系統(tǒng)的負(fù)載，可以提高系統(tǒng)的整體效率。

40、一種文件讀取方法，該方法包括：

41、獲取文件讀取請求，文件讀取請求中包括待讀取文件的標(biāo)識信息；

42、根據(jù)標(biāo)識信息，從分布式存儲系統(tǒng)創(chuàng)建的邏輯頭文件中查找存儲標(biāo)識信息的目標(biāo)邏輯頭文件；

43、從目標(biāo)邏輯頭文件中提取與待讀取文件對應(yīng)的地址指示信息；

44、當(dāng)?shù)刂分甘拘畔榕c待讀取文件對應(yīng)的元數(shù)據(jù)信息時，根據(jù)元數(shù)據(jù)信息獲取待讀取文件；

45、將待讀取文件反饋至發(fā)送文件讀取請求的請求方。

46、具體的，獲取文件讀取請求中包括的標(biāo)識信息，從分布式存儲系統(tǒng)創(chuàng)建的邏輯頭文件中查找存儲同樣標(biāo)識信息的目標(biāo)邏輯頭文件，從目標(biāo)邏輯頭文件中提取與待讀取文件對應(yīng)的地址指示信息，當(dāng)文件讀取請求中未指定存儲文件版本信息時，地址指示信息為邏輯頭文件中存儲的與待讀取文件對應(yīng)的元數(shù)據(jù)信息，直接根據(jù)邏輯頭文件中存儲的元數(shù)據(jù)信息快速定位待讀取文件的存儲位置，減少了額外的查找步驟，從而提升文件檢索和訪問的效率，簡化了文件檢索流程，因為元數(shù)據(jù)信息直接包含了定位文件所需的關(guān)鍵信息，無需額外的解析或轉(zhuǎn)換步驟。

47、從存儲位置獲取待讀取文件后，將待讀取文件反饋至發(fā)送文件讀取請求的請求方，維護(hù)數(shù)據(jù)的一致性和準(zhǔn)確性，減少在文件檢索和提供過程中可能出現(xiàn)的錯誤。

48、在一種可選的實施方式中，文件讀取請求中還包括目標(biāo)版本信息，該方法還包括：

49、當(dāng)目標(biāo)版本信息并非為目標(biāo)邏輯頭文件中存儲的版本信息時，從目標(biāo)邏輯頭文件中提取聲明信息，其中，聲明信息即為地址指示信息；

50、根據(jù)聲明信息，獲取與聲明信息對應(yīng)的索引文件；

51、從索引文件中提取與目標(biāo)版本信息對應(yīng)的待讀取文件的元數(shù)據(jù)信息；

52、根據(jù)元數(shù)據(jù)信息獲取待讀取文件；

53、將待讀取文件反饋至發(fā)送文件讀取請求的請求方。

54、具體的，當(dāng)文件讀取請求中還包括目標(biāo)版本信息時，該方法通過將聲明信息作為地址指示信息確定存儲文件的存儲位置，即通過聲明信息，獲取與聲明信息對應(yīng)的索引文件，從索引文件中提取與目標(biāo)版本信息對應(yīng)的待讀取文件的元數(shù)據(jù)信息，從而確定待讀取文件的存儲地址，確保在多版本并存的環(huán)境中，始終能夠訪問到正確的存儲文件版本，增強(qiáng)了數(shù)據(jù)的一致性，并且精確的地址指示信息有助于提高系統(tǒng)的可靠性。

55、第二方面，本發(fā)明提供了一種文件存儲裝置，該裝置包括：

56、獲取模塊，用于獲取第一待存儲文件以及與第一待存儲文件所屬的文件對應(yīng)的第一標(biāo)識信息；

57、生成模塊，用于生成與第一待存儲文件對應(yīng)的第一元數(shù)據(jù)信息；

58、處理模塊，用于確定傳輸?shù)谝淮鎯ξ募膫鬏攨f(xié)議；

59、當(dāng)確定傳輸協(xié)議為目標(biāo)協(xié)議時，確定分布式存儲系統(tǒng)中是否存在與第一標(biāo)識信息對應(yīng)的文件；當(dāng)確定分布式存儲系統(tǒng)中未存在與第一標(biāo)識信息對應(yīng)的文件時，在分布式存儲系統(tǒng)中創(chuàng)建邏輯頭文件；

60、識別模塊，用于識別多版本功能是否開啟；

61、生成模塊，還用于當(dāng)確定多版本功能處于開啟狀態(tài)時，生成與第一待存儲文件對應(yīng)的版本信息后，將該版本信息配置為首個版本信息；

62、處理模塊，還用于將第一元數(shù)據(jù)信息、第一標(biāo)識信息，以及首個版本信息加入到邏輯頭文件中；

63、以及將第一待存儲文件在分布式存儲系統(tǒng)中完成存儲操作。

64、本發(fā)明提供的一種文件存儲裝置，具有如下優(yōu)點：

65、該裝置通過獲取第一待存儲文件以及與第一待存儲文件所屬的文件對應(yīng)的第一標(biāo)識信息，確定分布式存儲系統(tǒng)中是否存在與第一標(biāo)識信息對應(yīng)的文件，當(dāng)確定分布式存儲系統(tǒng)中未存在與第一標(biāo)識信息對應(yīng)的文件時，在分布式存儲系統(tǒng)中創(chuàng)建邏輯頭文件作為多個版本存儲文件的整體對外表現(xiàn)，直接通過邏輯頭文件根據(jù)使用場景選擇和切換多版本狀態(tài)，提升存儲系統(tǒng)的易用性。當(dāng)確定多版本功能處于開啟狀態(tài)時，將該版本信息配置為首個版本信息，將第一元數(shù)據(jù)信息、第一標(biāo)識信息，以及首個版本信息加入到邏輯頭文件中，通過將第一待存儲文件的元數(shù)據(jù)信息加入到邏輯頭文件中，使邏輯頭文件和元數(shù)據(jù)信息文件合并為一個文件，減少了一個元數(shù)據(jù)信息文件，增加了整個集群的可支持文件量級。

66、本發(fā)明提供了一種文件讀取裝置，該裝置包括：

67、獲取模塊，用于獲取文件讀取請求，文件讀取請求中包括待讀取文件的標(biāo)識信息；

68、查找模塊，用于根據(jù)標(biāo)識信息，從分布式存儲系統(tǒng)創(chuàng)建的邏輯頭文件中查找存儲標(biāo)識信息的目標(biāo)邏輯頭文件；

69、提取模塊，用于從目標(biāo)邏輯頭文件中提取與待讀取文件對應(yīng)的地址指示信息；

70、處理模塊，用于當(dāng)?shù)刂分甘拘畔榕c待讀取文件對應(yīng)的元數(shù)據(jù)信息時，根據(jù)元數(shù)據(jù)信息獲取待讀取文件；

71、發(fā)送模塊，用于將待讀取文件反饋至發(fā)送文件讀取請求的請求方。

72、本發(fā)明提供的一種文件讀取裝置，具有如下優(yōu)點：

73、該裝置通過根據(jù)標(biāo)識信息，從分布式存儲系統(tǒng)創(chuàng)建的邏輯頭文件中查找存儲標(biāo)識信息的目標(biāo)邏輯頭文件，從目標(biāo)邏輯頭文件中提取與待讀取文件對應(yīng)的地址指示信息，當(dāng)文件讀取請求中未指定存儲文件版本信息時，地址指示信息為邏輯頭文件中存儲的與待讀取文件對應(yīng)的元數(shù)據(jù)信息，直接根據(jù)邏輯頭文件中存儲的元數(shù)據(jù)信息快速定位待讀取文件的存儲位置，減少了額外的查找步驟，從而提升文件檢索和訪問的效率，簡化了文件檢索流程。

74、第三方面，本發(fā)明提供了一種計算機(jī)設(shè)備，包括：存儲器和處理器，存儲器和處理器之間互相通信連接，存儲器中存儲有計算機(jī)指令，處理器通過執(zhí)行計算機(jī)指令，從而執(zhí)行上述第一方面或其對應(yīng)的任一實施方式的文件存儲方法。

75、第四方面，本發(fā)明提供了一種計算機(jī)可讀存儲介質(zhì)，該計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)指令，計算機(jī)指令用于使計算機(jī)執(zhí)行上述第一方面或其對應(yīng)的任一實施方式的文件存儲方法。

76、第五方面，本發(fā)明提供了一種計算機(jī)程序產(chǎn)品，包括計算機(jī)指令，計算機(jī)指令用于使計算機(jī)執(zhí)行上述第一方面或其對應(yīng)的任一實施方式的文件存儲方法。