一種基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群設(shè)計(jì)方法
【專利摘要】本發(fā)明提供一種基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群設(shè)計(jì)方法，其具體設(shè)計(jì)過(guò)程為：初始部署：首先進(jìn)行元數(shù)據(jù)集群的初始配置，由若干元數(shù)據(jù)節(jié)點(diǎn)組成元數(shù)據(jù)集群，生成配置文件并同步至各個(gè)元數(shù)據(jù)節(jié)點(diǎn)，分別在各元數(shù)據(jù)節(jié)點(diǎn)上完成元數(shù)據(jù)存儲(chǔ)的初始化；啟動(dòng)集群時(shí)順序啟動(dòng)各個(gè)元數(shù)據(jù)節(jié)點(diǎn)，配置文件中編號(hào)最小的元數(shù)據(jù)節(jié)點(diǎn)自動(dòng)取得領(lǐng)導(dǎo)權(quán)，并引導(dǎo)整個(gè)元數(shù)據(jù)集群建立全局一致性緩存和共享鎖；故障恢復(fù)；增加新的元數(shù)據(jù)節(jié)點(diǎn)。該一種基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群設(shè)計(jì)方法和現(xiàn)有技術(shù)相比，實(shí)現(xiàn)集群文件系統(tǒng)中元數(shù)據(jù)集群的橫向擴(kuò)展，有效的解決了大規(guī)模集群文件系統(tǒng)中的元數(shù)據(jù)性能瓶頸，實(shí)用性強(qiáng)，易于推廣。
【專利說(shuō)明】一種基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群設(shè)計(jì)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)集群【技術(shù)領(lǐng)域】，更具體地說(shuō)是基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群設(shè)計(jì)方法。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)應(yīng)用的迅速發(fā)展，網(wǎng)絡(luò)信息數(shù)據(jù)量越來(lái)越大，PB級(jí)別的海量數(shù)據(jù)存儲(chǔ)變得越來(lái)越重要。傳統(tǒng)意義的文件系統(tǒng)已不能滿足現(xiàn)有應(yīng)用的大容量、高可靠性、高性能等要求，為滿足這些新要求，新的集群存儲(chǔ)系統(tǒng)應(yīng)用得到了廣泛重視。
[0003]在傳統(tǒng)的集群文件系統(tǒng)中，元數(shù)據(jù)性能往往會(huì)成為系統(tǒng)的性能瓶頸。早期的集群文件系統(tǒng)有且僅有一個(gè)元數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)元數(shù)據(jù)的存儲(chǔ)、訪問(wèn)和處理。在技術(shù)更先進(jìn)的集群文件系統(tǒng)中，存在多個(gè)元數(shù)據(jù)節(jié)點(diǎn)同時(shí)提供服務(wù)，實(shí)現(xiàn)了元數(shù)據(jù)訪問(wèn)性能的橫向擴(kuò)展。然而一般的元數(shù)據(jù)集群普遍基于子樹(shù)分區(qū)技術(shù)對(duì)元數(shù)據(jù)進(jìn)行邏輯分割，不同的元數(shù)據(jù)訪問(wèn)由不同的元數(shù)據(jù)節(jié)點(diǎn)提供服務(wù)?；谧訕?shù)分區(qū)技術(shù)的元數(shù)據(jù)分割機(jī)制帶來(lái)的問(wèn)題是產(chǎn)生了元數(shù)據(jù)的數(shù)據(jù)隔離，進(jìn)而導(dǎo)致了跨越子樹(shù)分區(qū)的元數(shù)據(jù)操作需要進(jìn)行二段式提交，每個(gè)元數(shù)據(jù)節(jié)點(diǎn)的高可用機(jī)制設(shè)計(jì)也較為復(fù)雜，在實(shí)際工程化的過(guò)程中困難重重，同時(shí)對(duì)于元數(shù)據(jù)總量并不高而元數(shù)據(jù)訪問(wèn)熱度超高的業(yè)務(wù)無(wú)法取得良好的效果。子樹(shù)分區(qū)技術(shù)按照分區(qū)的時(shí)機(jī)又可以細(xì)分為靜態(tài)子樹(shù)分區(qū)與動(dòng)態(tài)子樹(shù)分區(qū)兩種。
[0004]基于靜態(tài)子樹(shù)分區(qū)的元數(shù)據(jù)集群技術(shù)較為成熟，其元數(shù)據(jù)分割是靜態(tài)分割的，一般由系統(tǒng)管理員制定好元數(shù)據(jù)靜態(tài)分割的規(guī)則，系統(tǒng)配置后可實(shí)現(xiàn)靜態(tài)的元數(shù)據(jù)分割。靜態(tài)子樹(shù)分區(qū)的主要缺點(diǎn)是無(wú)法應(yīng)對(duì)的數(shù)據(jù)訪問(wèn)熱點(diǎn)經(jīng)常發(fā)生變化的應(yīng)用場(chǎng)景，由于元數(shù)據(jù)的分割服務(wù)，導(dǎo)致系統(tǒng)只能對(duì)于數(shù)據(jù)熱點(diǎn)分割較為明顯的應(yīng)用產(chǎn)生良好的效果。在高可用性方面，元數(shù)據(jù)集群的節(jié)點(diǎn)之間不是相互備份的關(guān)系，需要各自保證自身的可用性，任一節(jié)點(diǎn)宕機(jī)均會(huì)導(dǎo)致系統(tǒng)的部分或全部不可用。
[0005]基于動(dòng)態(tài)子樹(shù)分區(qū)的元數(shù)據(jù)集群技術(shù)較少見(jiàn)到企業(yè)級(jí)的工程實(shí)現(xiàn)，其算法能夠?qū)崿F(xiàn)根據(jù)元數(shù)據(jù)訪問(wèn)的熱點(diǎn)動(dòng)態(tài)的進(jìn)行元數(shù)據(jù)的分割。其對(duì)元數(shù)據(jù)訪問(wèn)熱點(diǎn)的響應(yīng)往往存在滯后，無(wú)法適應(yīng)于元數(shù)據(jù)訪問(wèn)熱點(diǎn)經(jīng)常變化的場(chǎng)景，且目前未有可行的工程實(shí)現(xiàn)。
[0006]對(duì)于元數(shù)據(jù)絕對(duì)數(shù)量不是特別巨大，元數(shù)據(jù)訪問(wèn)熱度經(jīng)常變化的場(chǎng)景，以上方案均無(wú)法取得良好的效果，且在高可用層面均存在導(dǎo)致系統(tǒng)可用性降低的問(wèn)題。
[0007]針對(duì)這一情況，本專利設(shè)計(jì)并實(shí)現(xiàn)了一種基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群機(jī)制。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的技術(shù)任務(wù)是解決現(xiàn)有技術(shù)的不足，提供一種基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群設(shè)計(jì)方法。
[0009]本發(fā)明的技術(shù)方案是按以下方式實(shí)現(xiàn)的，該一種基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群設(shè)計(jì)方法，其具體設(shè)計(jì)過(guò)程為:
一、初始部署:首先進(jìn)行元數(shù)據(jù)集群的初始配置，由若干元數(shù)據(jù)節(jié)點(diǎn)組成元數(shù)據(jù)集群，生成配置文件并同步至各個(gè)元數(shù)據(jù)節(jié)點(diǎn)，分別在各元數(shù)據(jù)節(jié)點(diǎn)上完成元數(shù)據(jù)存儲(chǔ)的初始化；啟動(dòng)集群時(shí)順序啟動(dòng)各個(gè)元數(shù)據(jù)節(jié)點(diǎn)，配置文件中編號(hào)最小的元數(shù)據(jù)節(jié)點(diǎn)自動(dòng)取得領(lǐng)導(dǎo)權(quán)，并引導(dǎo)整個(gè)元數(shù)據(jù)集群建立全局一致性緩存和共享鎖。
[0010]二、故障恢復(fù):元數(shù)據(jù)集群在正常運(yùn)行時(shí)，當(dāng)有一個(gè)元數(shù)據(jù)節(jié)點(diǎn)發(fā)生宕機(jī)，則該元數(shù)據(jù)節(jié)點(diǎn)自動(dòng)從集群中下線，剩余的元數(shù)據(jù)節(jié)點(diǎn)繼續(xù)提供服務(wù)；該節(jié)點(diǎn)修復(fù)后啟動(dòng)的過(guò)程中，節(jié)點(diǎn)加入集群后，取得集群最新的日志序號(hào)，自動(dòng)從其他節(jié)點(diǎn)中請(qǐng)求數(shù)據(jù)變更日志，待所有未完成的日志處理完成后，該節(jié)點(diǎn)加入到集群中，繼續(xù)提供元數(shù)據(jù)服務(wù)。
[0011]三、增加新的元數(shù)據(jù)節(jié)點(diǎn):在元數(shù)據(jù)集群正常運(yùn)行時(shí)，可增加新的元數(shù)據(jù)處理節(jié)點(diǎn)，即新的元數(shù)據(jù)節(jié)點(diǎn)啟動(dòng)后主動(dòng)申請(qǐng)加入集群，同時(shí)該節(jié)點(diǎn)進(jìn)入數(shù)據(jù)初始填充流程，直接從集群其他節(jié)點(diǎn)并行的請(qǐng)求系統(tǒng)全部日志和數(shù)據(jù)，并進(jìn)行日志回放，日志回放完成后，元數(shù)據(jù)節(jié)點(diǎn)加入集群，并提供元數(shù)據(jù)服務(wù)。
[0012]所述元數(shù)據(jù)集群是指由若干元數(shù)據(jù)節(jié)點(diǎn)通過(guò)高速網(wǎng)絡(luò)建立全局一致性緩存和共享鎖構(gòu)建的實(shí)時(shí)應(yīng)用集群，其中所有元數(shù)據(jù)節(jié)點(diǎn)均提供全局命名空間的元數(shù)據(jù)服務(wù)，整個(gè)集群元數(shù)據(jù)性能橫向擴(kuò)展，所有元數(shù)據(jù)節(jié)點(diǎn)均處于Active狀態(tài)。
[0013]所述全局一致性緩存實(shí)現(xiàn)元數(shù)據(jù)節(jié)點(diǎn)間的緩存同步:系統(tǒng)元數(shù)據(jù)存儲(chǔ)于每個(gè)節(jié)點(diǎn)的存儲(chǔ)設(shè)備上，當(dāng)某個(gè)元數(shù)據(jù)被訪問(wèn)時(shí)，接收這個(gè)元數(shù)據(jù)請(qǐng)求的元數(shù)據(jù)節(jié)點(diǎn)會(huì)將此元數(shù)據(jù)的信息加載到全局一致性緩存中，后續(xù)的訪問(wèn)均可從此全局一致性緩存中獲得加速。
[0014]所述步驟一中的共享鎖機(jī)制實(shí)現(xiàn)用戶訪問(wèn)元數(shù)據(jù)時(shí)在整個(gè)元數(shù)據(jù)集群中進(jìn)行全局加鎖，其使用租約機(jī)制，每個(gè)鎖由某一個(gè)元數(shù)據(jù)節(jié)點(diǎn)持有，該元數(shù)據(jù)節(jié)點(diǎn)在整個(gè)集群中定期廣播該租約的續(xù)期消息，當(dāng)該節(jié)點(diǎn)發(fā)生故障時(shí)，則無(wú)法在廣播租約續(xù)期消息，集群中其余節(jié)點(diǎn)在需要獲取該鎖時(shí)根據(jù)租約過(guò)期情況選擇重新加鎖。
[0015]本發(fā)明與現(xiàn)有技術(shù)相比所產(chǎn)生的有益效果是:
本發(fā)明的一種基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群設(shè)計(jì)方法使用實(shí)時(shí)應(yīng)用集群技術(shù)構(gòu)建元數(shù)據(jù)集群，實(shí)現(xiàn)集群文件系統(tǒng)中元數(shù)據(jù)集群的橫向擴(kuò)展，在低延遲高速互聯(lián)網(wǎng)絡(luò)的支持下，本發(fā)明在元數(shù)據(jù)集群的節(jié)點(diǎn)數(shù)小于或等于8個(gè)時(shí)，具有相對(duì)于單節(jié)點(diǎn)近似線性的性能提升，有效的解決了大規(guī)模集群文件系統(tǒng)中的元數(shù)據(jù)性能瓶頸，實(shí)用性強(qiáng)，易于推廣。
【專利附圖】

【附圖說(shuō)明】
[0016]附圖1為本發(fā)明中元數(shù)據(jù)集群的示意圖。
【具體實(shí)施方式】
[0017]下面結(jié)合附圖對(duì)本發(fā)明的一種基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群設(shè)計(jì)方法作以下詳細(xì)說(shuō)明。
[0018]如附圖1所示，本發(fā)明提出了一種基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群設(shè)計(jì)方法，其具體設(shè)計(jì)過(guò)程為:
一、初始部署:首先進(jìn)行元數(shù)據(jù)集群的初始配置，由若干元數(shù)據(jù)節(jié)點(diǎn)組成元數(shù)據(jù)集群，生成配置文件并同步至各個(gè)元數(shù)據(jù)節(jié)點(diǎn)，分別在各元數(shù)據(jù)節(jié)點(diǎn)上完成元數(shù)據(jù)存儲(chǔ)的初始化；啟動(dòng)集群時(shí)順序啟動(dòng)各個(gè)元數(shù)據(jù)節(jié)點(diǎn)，配置文件中編號(hào)最小的元數(shù)據(jù)節(jié)點(diǎn)自動(dòng)取得領(lǐng)導(dǎo)權(quán)，并引導(dǎo)整個(gè)元數(shù)據(jù)集群建立全局一致性緩存和共享鎖。[0019]二、故障恢復(fù):元數(shù)據(jù)集群在正常運(yùn)行時(shí)，當(dāng)有一個(gè)元數(shù)據(jù)節(jié)點(diǎn)發(fā)生宕機(jī)，則該元數(shù)據(jù)節(jié)點(diǎn)自動(dòng)從集群中下線，剩余的元數(shù)據(jù)節(jié)點(diǎn)繼續(xù)提供服務(wù)；該節(jié)點(diǎn)修復(fù)后啟動(dòng)的過(guò)程中，節(jié)點(diǎn)加入集群后，取得集群最新的日志序號(hào)，自動(dòng)從其他節(jié)點(diǎn)中請(qǐng)求數(shù)據(jù)變更日志，待所有未完成的日志處理完成后，該節(jié)點(diǎn)加入到集群中，繼續(xù)提供元數(shù)據(jù)服務(wù).三、增加新的元數(shù)據(jù)節(jié)點(diǎn):在一個(gè)運(yùn)行正常的元數(shù)據(jù)集群中，可以隨時(shí)增加新的元數(shù)據(jù)處理節(jié)點(diǎn)。新的元數(shù)據(jù)節(jié)點(diǎn)啟動(dòng)后會(huì)主動(dòng)申請(qǐng)加入集群，由于此節(jié)點(diǎn)并未存儲(chǔ)任何元數(shù)據(jù)，因此該節(jié)點(diǎn)會(huì)進(jìn)入數(shù)據(jù)初始填充流程，直接從集群其他節(jié)點(diǎn)并行的請(qǐng)求系統(tǒng)全部日志和數(shù)據(jù)，并進(jìn)行日志回放。日志回放完成后，元數(shù)據(jù)節(jié)點(diǎn)加入集群，并提供元數(shù)據(jù)服務(wù)。
[0020]本專利設(shè)計(jì)了基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群機(jī)制。元數(shù)據(jù)集群中的所有元數(shù)據(jù)節(jié)點(diǎn)均提供全局命名空間的元數(shù)據(jù)服務(wù)，元數(shù)據(jù)節(jié)點(diǎn)之間通過(guò)高速網(wǎng)絡(luò)建立全局一致性緩存和共享鎖構(gòu)建實(shí)時(shí)應(yīng)用集群，整個(gè)集群元數(shù)據(jù)性能橫向擴(kuò)展，所有元數(shù)據(jù)節(jié)點(diǎn)均處于Active狀態(tài),任意一個(gè)節(jié)點(diǎn)巖機(jī)均不影響整個(gè)集群的元數(shù)據(jù)服務(wù)。
[0021]本專利使用了基于高速互聯(lián)網(wǎng)絡(luò)的全局一致性緩存實(shí)現(xiàn)元數(shù)據(jù)節(jié)點(diǎn)間的緩存同步。系統(tǒng)元數(shù)據(jù)存儲(chǔ)于每個(gè)節(jié)點(diǎn)的存儲(chǔ)設(shè)備上，當(dāng)某個(gè)元數(shù)據(jù)被訪問(wèn)時(shí)，接收這個(gè)元數(shù)據(jù)請(qǐng)求的元數(shù)據(jù)節(jié)點(diǎn)會(huì)將此元數(shù)據(jù)的信息加載到全局一致性緩存中，后續(xù)的訪問(wèn)均可從此全局一致性緩存中獲得加速。
[0022]本專利建立了一套基于共享鎖控制的全局一致性緩存，元數(shù)據(jù)節(jié)點(diǎn)之間的通信依靠該全局一致性緩存的緩存管理實(shí)現(xiàn)。所有的元數(shù)據(jù)操作均在全局一致性緩存中執(zhí)行，并根據(jù)緩存刷新策略寫入到磁盤中。在良好的硬件環(huán)境中，本專利使用帶有額外電池供電的專有內(nèi)存實(shí)現(xiàn)此全局一致性緩存，在此環(huán)境下全部節(jié)點(diǎn)掉電均不會(huì)造成數(shù)據(jù)丟失，系統(tǒng)可以安全的使用Write-Back的緩存刷新策略。在一般的硬件環(huán)境下，不存在帶有額外電池供電的專有內(nèi)存，本專利設(shè)計(jì)的機(jī)制可以使用普通的內(nèi)存實(shí)現(xiàn)全局一致性緩存，同時(shí)支持Write-Through和Write-Back緩存策略。使用Write-Through策略時(shí)，全部節(jié)點(diǎn)巖機(jī)仍不會(huì)丟失數(shù)據(jù)。在使用Write-Back策略時(shí)，只要系統(tǒng)中可用的元數(shù)據(jù)節(jié)點(diǎn)數(shù)大于等于1，就可以保證元數(shù)據(jù)的數(shù)據(jù)安全。在這種環(huán)境下，對(duì)于數(shù)據(jù)安全性要求不是特別苛刻的話，也可以使用Write-Back策略。在本專利設(shè)計(jì)的基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群機(jī)制中，使用Write-Back緩存策略的性能高于使用Write-Back緩存策略。
[0023]本專利設(shè)計(jì)了一個(gè)基于高速互聯(lián)網(wǎng)絡(luò)的共享鎖機(jī)制，用于實(shí)現(xiàn)用戶訪問(wèn)元數(shù)據(jù)時(shí)在整個(gè)元數(shù)據(jù)集群中進(jìn)行全局加鎖。該共享鎖機(jī)制的存在保證了事務(wù)性的元數(shù)據(jù)操作在整個(gè)元數(shù)據(jù)集群的數(shù)據(jù)同步和一致。共享鎖機(jī)制的設(shè)計(jì)使用了租約機(jī)制，每個(gè)鎖由某一個(gè)元數(shù)據(jù)節(jié)點(diǎn)持有，該元數(shù)據(jù)節(jié)點(diǎn)在整個(gè)集群中定期廣播該租約的續(xù)期消息，當(dāng)該節(jié)點(diǎn)發(fā)生故障時(shí)，則無(wú)法在廣播租約續(xù)期消息，集群中其余節(jié)點(diǎn)在需要獲取該鎖時(shí)根據(jù)租約過(guò)期情況選擇重新加鎖，以此保證了故障狀態(tài)下的共享鎖的自動(dòng)釋放。
[0024]本發(fā)明通過(guò)在多個(gè)元數(shù)據(jù)節(jié)點(diǎn)同時(shí)提供完整的元數(shù)據(jù)服務(wù)，實(shí)現(xiàn)系統(tǒng)元數(shù)據(jù)性能的橫向擴(kuò)展和多個(gè)元數(shù)據(jù)節(jié)點(diǎn)同時(shí)服務(wù)的高可用機(jī)制。每個(gè)元數(shù)據(jù)節(jié)點(diǎn)擁有獨(dú)立的存儲(chǔ)，并保存全部的元數(shù)據(jù)。元數(shù)據(jù)節(jié)點(diǎn)之間通過(guò)低延遲高速網(wǎng)絡(luò)互連，共享全局一致性緩存和全局元數(shù)據(jù)鎖信息，通過(guò)該共享實(shí)現(xiàn)了多個(gè)元數(shù)據(jù)節(jié)點(diǎn)間的協(xié)商一致，同時(shí)提供服務(wù)。
[0025]本發(fā)明能夠降低故障恢復(fù)過(guò)程中，元數(shù)據(jù)重新定位的運(yùn)算量。在基于子樹(shù)分區(qū)的元數(shù)據(jù)集群中的元數(shù)據(jù)節(jié)點(diǎn)發(fā)生故障、進(jìn)行冗余數(shù)據(jù)的重新構(gòu)建過(guò)程中，需要更新元數(shù)據(jù)集群內(nèi)元數(shù)據(jù)節(jié)點(diǎn)管理的元數(shù)據(jù)的映射關(guān)系。而采用本專利提出的基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群機(jī)制，則不需要進(jìn)行元數(shù)據(jù)的數(shù)據(jù)恢復(fù)和重新構(gòu)建，剩余可用的元數(shù)據(jù)節(jié)點(diǎn)依然可以提供完整的元數(shù)據(jù)服務(wù)。
[0026]當(dāng)然，本發(fā)明還可有其他多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明的權(quán)利要求的保護(hù)范圍。
【權(quán)利要求】
1.一種基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群設(shè)計(jì)方法，其特征在于其具體設(shè)計(jì)過(guò)程為: 一、初始部署:首先進(jìn)行元數(shù)據(jù)集群的初始配置，由若干元數(shù)據(jù)節(jié)點(diǎn)組成元數(shù)據(jù)集群，生成配置文件并同步至各個(gè)元數(shù)據(jù)節(jié)點(diǎn)，分別在各元數(shù)據(jù)節(jié)點(diǎn)上完成元數(shù)據(jù)存儲(chǔ)的初始化；啟動(dòng)集群時(shí)順序啟動(dòng)各個(gè)元數(shù)據(jù)節(jié)點(diǎn)，配置文件中編號(hào)最小的元數(shù)據(jù)節(jié)點(diǎn)自動(dòng)取得領(lǐng)導(dǎo)權(quán)，并引導(dǎo)整個(gè)元數(shù)據(jù)集群建立全局一致性緩存和共享鎖； 二、故障恢復(fù):元數(shù)據(jù)集群在正常運(yùn)行時(shí)，當(dāng)有一個(gè)元數(shù)據(jù)節(jié)點(diǎn)發(fā)生宕機(jī)，則該元數(shù)據(jù)節(jié)點(diǎn)自動(dòng)從集群中下線，剩余的元數(shù)據(jù)節(jié)點(diǎn)繼續(xù)提供服務(wù)；該節(jié)點(diǎn)修復(fù)后啟動(dòng)的過(guò)程中，節(jié)點(diǎn)加入集群后，取得集群最新的日志序號(hào)，自動(dòng)從其他節(jié)點(diǎn)中請(qǐng)求數(shù)據(jù)變更日志，待所有未完成的日志處理完成后，該節(jié)點(diǎn)加入到集群中，繼續(xù)提供元數(shù)據(jù)服務(wù)； 三、增加新的元數(shù)據(jù)節(jié)點(diǎn):在元數(shù)據(jù)集群正常運(yùn)行時(shí)，可增加新的元數(shù)據(jù)處理節(jié)點(diǎn)，即新的元數(shù)據(jù)節(jié)點(diǎn)啟動(dòng)后主動(dòng)申請(qǐng)加入集群，同時(shí)該節(jié)點(diǎn)進(jìn)入數(shù)據(jù)初始填充流程，直接從集群其他節(jié)點(diǎn)并行的請(qǐng)求系統(tǒng)全部日志和數(shù)據(jù)，并進(jìn)行日志回放，日志回放完成后，元數(shù)據(jù)節(jié)點(diǎn)加入集群，并提供元數(shù)據(jù)服務(wù)。
2.根據(jù)權(quán)利要求1所述的一種基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群設(shè)計(jì)方法，其特征在于:所述元數(shù)據(jù)集群是指由若干元數(shù)據(jù)節(jié)點(diǎn)通過(guò)高速網(wǎng)絡(luò)建立全局一致性緩存和共享鎖構(gòu)建的實(shí)時(shí)應(yīng)用集群，其中所有元數(shù)據(jù)節(jié)點(diǎn)均提供全局命名空間的元數(shù)據(jù)服務(wù)，整個(gè)集群元數(shù)據(jù)性能橫向擴(kuò)展，所有元數(shù)據(jù)節(jié)點(diǎn)均處于Active狀態(tài)。
3.根據(jù)權(quán)利要求2所述的一種基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群設(shè)計(jì)方法，其特征在于:所述全局一致性緩存實(shí)現(xiàn)元數(shù)據(jù)節(jié)點(diǎn)間的緩存同步:系統(tǒng)元數(shù)據(jù)存儲(chǔ)于每個(gè)節(jié)點(diǎn)的存儲(chǔ)設(shè)備上，當(dāng)某個(gè)元數(shù)據(jù)被訪問(wèn)時(shí)，接收這個(gè)元數(shù)據(jù)請(qǐng)求的元數(shù)據(jù)節(jié)點(diǎn)會(huì)將此元數(shù)據(jù)的信息加載到全局一致性緩存中，后續(xù)的訪問(wèn)均可從此全局一致性緩存中獲得加速。
4.根據(jù)權(quán)利要求3所述的一種基于實(shí)時(shí)應(yīng)用集群的元數(shù)據(jù)集群設(shè)計(jì)方法，其特征在于:所述步驟一中的共享鎖機(jī)制實(shí)現(xiàn)用戶訪問(wèn)元數(shù)據(jù)時(shí)在整個(gè)元數(shù)據(jù)集群中進(jìn)行全局加鎖，其使用租約機(jī)制，每個(gè)鎖由某一個(gè)元數(shù)據(jù)節(jié)點(diǎn)持有，該元數(shù)據(jù)節(jié)點(diǎn)在整個(gè)集群中定期廣播該租約的續(xù)期消息，當(dāng)該節(jié)點(diǎn)發(fā)生故障時(shí)，則無(wú)法在廣播租約續(xù)期消息，集群中其余節(jié)點(diǎn)在需要獲取該鎖時(shí)根據(jù)租約過(guò)期情況選擇重新加鎖。
【文檔編號(hào)】H04L29/08GK103795801SQ201410048696
【公開(kāi)日】2014年5月14日 申請(qǐng)日期:2014年2月12日 優(yōu)先權(quán)日:2014年2月12日
【發(fā)明者】王恩東, 文中領(lǐng), 張立強(qiáng), 孟圣智 申請(qǐng)人:浪潮電子信息產(chǎn)業(yè)股份有限公司