分布式存儲系統(tǒng)數(shù)據(jù)修復(fù)的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機技術(shù)領(lǐng)域，特別是一種分布式存儲系統(tǒng)數(shù)據(jù)修復(fù)的方法和裝置。
【背景技術(shù)】
[0002]分布式存儲系統(tǒng)，一般采用多副本的分布存儲策略，通過多副本冗余存儲來保證數(shù)據(jù)的可靠性。例如，可以采用3副本存儲，利用hash(哈希)算法確定節(jié)點后，將數(shù)據(jù)的一個副本存儲在該節(jié)點(或機器)上，而將另外2份副本存儲在其他節(jié)點上。當(dāng)某個節(jié)點出現(xiàn)故障時，仍然保證另外兩個副本可以訪問，并在合適的條件下完成故障副本的修復(fù)。
[0003]為了提高分布式存儲系統(tǒng)中各個節(jié)點對外提供業(yè)務(wù)服務(wù)的性能，可以對各個節(jié)點進行數(shù)據(jù)分片，各個數(shù)據(jù)分片具有接收并響應(yīng)數(shù)據(jù)請求的主副本以及同步該主副本的數(shù)據(jù)操作的從副本，且主副本與其對應(yīng)的一個或多個從副本位于不同的節(jié)點。并且，考慮到分布式存儲系統(tǒng)的負(fù)載均衡，應(yīng)盡可能保證各個節(jié)點上面的主副本是一樣多的。
[0004]當(dāng)分布式存儲系統(tǒng)中的節(jié)點出現(xiàn)故障時，如何對故障節(jié)點上數(shù)據(jù)分片的主副本或從副本的數(shù)據(jù)進行及時修復(fù)成為亟待解決的技術(shù)問題。

【發(fā)明內(nèi)容】

[0005]鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的分布式存儲系統(tǒng)數(shù)據(jù)修復(fù)的方法和相應(yīng)的裝置。
[0006]依據(jù)本發(fā)明的一方面，提供了一種分布式存儲系統(tǒng)數(shù)據(jù)修復(fù)的方法，包括:
[0007]監(jiān)測目標(biāo)分片的副本所在節(jié)點是否出現(xiàn)故障，其中，所述目標(biāo)分片具有用于接收并響應(yīng)數(shù)據(jù)請求的主副本和用于同步該主副本的數(shù)據(jù)操作的從副本，所述主副本和所述從副本位于分布式存儲系統(tǒng)的不同節(jié)點；
[0008]若監(jiān)測到所述目標(biāo)分片的副本所在節(jié)點出現(xiàn)故障，重新啟動與所述目標(biāo)分片的副本對應(yīng)的進程;以及
[0009]修復(fù)所述故障節(jié)點上所述目標(biāo)分片的副本的數(shù)據(jù)。
[0010]可選地，所述監(jiān)測目標(biāo)分片的副本所在節(jié)點是否出現(xiàn)故障的步驟包括:
[0011 ]監(jiān)測目標(biāo)分片的副本的在線數(shù)量;以及
[0012]當(dāng)監(jiān)測到所述目標(biāo)分片的副本的在線數(shù)量與預(yù)設(shè)數(shù)量不一致時，確定所述目標(biāo)分片的副本所在節(jié)點出現(xiàn)故障。
[0013]可選地，所述監(jiān)測目標(biāo)分片的副本的在線數(shù)量的步驟包括:
[0014I獲取所述分布式存儲系統(tǒng)的meta信息，其中，所述meta信息中記錄了所述分布式存儲系統(tǒng)中各分片的副本的在線狀態(tài)；
[0015]在所述meta信息中查找所述目標(biāo)分片的副本的在線狀態(tài)；以及
[0016]根據(jù)所述目標(biāo)分片的副本的在線狀態(tài)，確定所述目標(biāo)分片的副本的在線數(shù)量。
[0017]可選地，若所述meta信息存儲在所述分布式存儲系統(tǒng)的一個或多個節(jié)點，當(dāng)所述一個或多個節(jié)點中的任意一個節(jié)點上的分片的副本的在線狀態(tài)發(fā)生變化時，對應(yīng)修改該任意一個節(jié)點的meta信息，并廣播給所述一個或多個節(jié)點中的其它節(jié)點，同步修改該其它節(jié)點上的meta信息；
[0018]所述獲取所述分布式存儲系統(tǒng)的meta信息的步驟包括:
[0019]從所述一個或多個節(jié)點處獲取所述meta信息。
[0020]可選地，所述meta信息中還記錄了所述分布式存儲系統(tǒng)中各分片的副本存儲在哪個節(jié)點；
[0021]在確定所述目標(biāo)分片的副本所在節(jié)點出現(xiàn)故障之后，所述方法還包括通過以下步驟確定所述故障節(jié)點:
[0022]在所述meta信息中查找所述目標(biāo)分片的副本所在節(jié)點；以及
[0023]根據(jù)所述目標(biāo)分片的副本所在節(jié)點以及副本的在線狀態(tài)，確定所述故障節(jié)點。
[0024]可選地，若確定所述目標(biāo)分片的原主副本所在節(jié)點為所述故障節(jié)點，則修復(fù)所述故障節(jié)點上所述目標(biāo)分片的副本的數(shù)據(jù)的步驟包括:
[0025]在所述目標(biāo)分片的當(dāng)前主副本與所述目標(biāo)分片的原主副本之間進行數(shù)據(jù)同步;或者
[0026]在所述目標(biāo)分片的當(dāng)前從副本與所述目標(biāo)分片的原主副本之間進行數(shù)據(jù)同步。
[0027]可選地，所述在所述目標(biāo)分片的當(dāng)前主副本與所述目標(biāo)分片的原主副本之間進行數(shù)據(jù)同步的步驟包括:
[0028]獲取所述目標(biāo)分片的當(dāng)前主副本的第一日志記錄以及所述目標(biāo)分片的原主副本的第二日志記錄；
[0029]比較所述第一日志記錄和所述第二日志記錄，判斷是否能夠確定出兩者的數(shù)據(jù)同步點；以及
[0030]若確定出所述數(shù)據(jù)同步點，則根據(jù)所述數(shù)據(jù)同步點，在所述目標(biāo)分片的當(dāng)前主副本與所述目標(biāo)分片的原主副本間進行數(shù)據(jù)同步。
[0031 ]可選地，所述根據(jù)所述數(shù)據(jù)同步點，在所述目標(biāo)分片的當(dāng)前主副本與所述目標(biāo)分片的原主副本間進行數(shù)據(jù)同步的步驟包括:
[0032]根據(jù)所述數(shù)據(jù)同步點，確定存在于所述第一日志記錄、且未存在于所述第二日志記錄的第一日志記錄增量，以及未存在于所述第一日志記錄、且存在于所述第二日志記錄的第二日志記錄增量；以及
[0033]在所述目標(biāo)分片的原主副本中執(zhí)行所述第一日志記錄增量對應(yīng)的操作，以及在所述目標(biāo)分片的當(dāng)前主副本中執(zhí)行所述第二日志記錄增量對應(yīng)的操作。
[0034]可選地，在比較所述第一日志記錄和所述第二日志記錄，判斷是否能夠確定出兩者的數(shù)據(jù)同步點之后，所述方法還包括:
[0035]若未確定出所述數(shù)據(jù)同步點，則獲取所述目標(biāo)分片的當(dāng)前主副本上的所有數(shù)據(jù)；以及
[0036]將所述目標(biāo)分片的原主副本上的數(shù)據(jù)替換為獲取的所述所有數(shù)據(jù)，以及將所述目標(biāo)分片的原主副本的所述第二日志記錄替換為所述第一日志記錄，并在所述目標(biāo)分片的原主副本中執(zhí)行所述第一日志記錄對應(yīng)的操作。
[0037]可選地，在比較所述第一日志記錄和所述第二日志記錄，判斷是否能夠確定出兩者的數(shù)據(jù)同步點之后，所述方法還包括:
[0038]若未確定出所述數(shù)據(jù)同步點，則將所述目標(biāo)分片的原主副本的所述第二日志記錄替換為所述第一日志記錄，并在所述目標(biāo)分片的原主副本中執(zhí)行所述第一日志記錄對應(yīng)的操作。
[0039]可選地，在修復(fù)所述目標(biāo)分片的原主副本的數(shù)據(jù)之后，所述方法還包括:
[0040]將所述目標(biāo)分片的原主副本，以所述目標(biāo)分片的當(dāng)前主副本的從副本的身份加入所述分布式存儲系統(tǒng)。
[0041 ]可選地，若確定所述目標(biāo)分片的原從副本所在節(jié)點為所述故障節(jié)點，則修復(fù)所述故障節(jié)點上所述目標(biāo)分片的副本的數(shù)據(jù)的步驟包括:
[0042]將所述目標(biāo)分片的當(dāng)前主副本的數(shù)據(jù)同步至所述目標(biāo)分片的原從副本。
[0043]可選地，所述監(jiān)測目標(biāo)分片的副本的在線數(shù)量的步驟包括:
[0044]以廣播的方式向所述分布式存儲系統(tǒng)的各節(jié)點發(fā)送查找所述目標(biāo)分片的副本的請求，所述請求中攜帶有所述目標(biāo)分片的副本的標(biāo)識；
[0045]接收所述各節(jié)點返回的響應(yīng)信息；以及
[0046]根據(jù)所述響應(yīng)信息確定所述目標(biāo)分片的副本的在線數(shù)量。
[0047]可選地，當(dāng)所述目標(biāo)分片包括多個時，所述監(jiān)測目標(biāo)分片的副本的在線數(shù)量的步驟包括:
[0048]按照指定的順序，依次對多個目標(biāo)分片的副本的在線數(shù)量進行監(jiān)測。
[0049]依據(jù)本發(fā)明的另一方面，還提供了一種分布式存儲系統(tǒng)數(shù)據(jù)修復(fù)的裝置，包括:
[0050]監(jiān)測模塊，適于監(jiān)測目標(biāo)分片的副本所在節(jié)點是否出現(xiàn)故障，其中，所述目標(biāo)分片具有用于接收并響應(yīng)數(shù)據(jù)請求的主副本和用于同步該主副本的數(shù)據(jù)操作的從副本，所述主副本和所述從副本位于分布式存儲系統(tǒng)的不同節(jié)點；
[0051]進程重啟模塊，適于若監(jiān)測到所述目標(biāo)分片的副本所在節(jié)點出現(xiàn)故障，重新啟動與所述目標(biāo)分片的副本對應(yīng)的進程;以及
[0052]數(shù)據(jù)修復(fù)模塊，適于修復(fù)所述故障節(jié)點上所述目標(biāo)分片的副本的數(shù)據(jù)。
[0053]可選地，所述監(jiān)測模塊還適于:
[0054]監(jiān)測目標(biāo)分片的副本的在線數(shù)量;以及
[0055]當(dāng)監(jiān)測到所述目標(biāo)分片的副本的在線數(shù)量與預(yù)設(shè)數(shù)量不一致時，確定所述目標(biāo)分片的副本所在節(jié)點出現(xiàn)故障。
[0056]可選地，所述監(jiān)測模塊還適于:
[0057]獲取所述分布式存儲系統(tǒng)的meta信息，其中，所述meta信息中記錄了所述分布式存儲系統(tǒng)中各分片的副本的在線狀態(tài)；
[0058]在所述meta信息中查找所述目標(biāo)分片的副本的在線狀態(tài)；以及
[0059]根據(jù)所述目標(biāo)分片的副本的在線狀態(tài)，確定所述目標(biāo)分片的副本的在線數(shù)量。
[0060]可選地，若所述meta信息存儲在所述分布式存儲系統(tǒng)的一個或多個節(jié)點，當(dāng)所述一個或多個節(jié)點中的任意一個節(jié)點上的分片的副本的在線狀態(tài)發(fā)生變化時，對應(yīng)修改該任意一個節(jié)點的meta信息，并廣播給所述一個或多個節(jié)點中的其它節(jié)點，同步修改該其它節(jié)點上的meta信息；
[0061 ] 所述監(jiān)測模塊還適于:
[0062]從所述一個或多個節(jié)點處獲取所述meta信息。
[0063]可選地，所述meta信息中還記錄了所述分布式存儲系統(tǒng)中各分片的副本存儲在哪個節(jié)點；
[0064]所述裝置還包括故障節(jié)點確定模塊，適于:
[0065]在所述meta信息中查找所述目標(biāo)分片的副本所在節(jié)點；以及
[0066]根據(jù)所述目標(biāo)分片的副本所在節(jié)點以及副本的在線狀態(tài)，確定所述故障節(jié)點。
[0067]可選地，若所述故障節(jié)點確定模塊確定所述目標(biāo)分片的原主副本所在節(jié)點為所述故障節(jié)點，所述數(shù)據(jù)修復(fù)模塊還適于:
[0068]在所述目標(biāo)分片的當(dāng)前主副本與所述目標(biāo)分片的原主副本之間進行數(shù)據(jù)同步;或者
[0069]在所述目標(biāo)分片的當(dāng)前從副本與所述目標(biāo)分片的原主副本之間進行數(shù)據(jù)同步。
[0070]可選地，所述數(shù)據(jù)修復(fù)模塊還適于:
[0071]獲取所述目標(biāo)分片的當(dāng)前主副本的第一日志記錄以及所述目標(biāo)分片的原主副本的第二日志記錄；
[0072]比較所述第一日志記錄和所述第二日志記錄，判斷是否能夠確定出兩者的數(shù)據(jù)同步點；以及
[0073]若確定出所述數(shù)據(jù)同步點，則根據(jù)所述數(shù)據(jù)同步點，在所述目標(biāo)分片的當(dāng)前主副本與所述目標(biāo)分片的原主副本間進行數(shù)據(jù)同步。
[0074]可選地，所述數(shù)據(jù)修復(fù)模塊還適于:
[0075]根據(jù)所述數(shù)據(jù)同步點，確定存在于所述第一日志記錄、且未存在于所述第二日志記錄的第一日志記錄增量，以及未存在于所述第一日志記錄、且存在于所述第二日志記錄的第二日志記錄增量；以及
[0076]在所述目標(biāo)分片的原主副本中執(zhí)行所述第一日志記錄增量對應(yīng)的操作，以及在所述目標(biāo)分片的當(dāng)前主副本中執(zhí)行所述第二日志記錄增量對應(yīng)的操作。
[0077]可選地，所述數(shù)據(jù)修復(fù)模塊還適于:
[0078]若未確定出所述數(shù)