專利名稱：網(wǎng)格數(shù)據(jù)副本管理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種電信技術(shù)領(lǐng)域的系統(tǒng)，具體地說(shuō)是一種網(wǎng)格數(shù)據(jù)副本管理系統(tǒng)。
背景技術(shù)：
網(wǎng)格計(jì)算環(huán)境中存儲(chǔ)著大規(guī)模的數(shù)據(jù)，通過(guò)對(duì)這些大規(guī)模數(shù)據(jù)進(jìn)行有效地組織和管理，網(wǎng)格為數(shù)據(jù)密集型應(yīng)用程序提供了高質(zhì)量的服務(wù)。如何有效地管理網(wǎng)格中的大規(guī)模數(shù)據(jù)成為研究的熱點(diǎn)。當(dāng)前，對(duì)網(wǎng)格中的數(shù)據(jù)管理的研究主要集中在兩方面一方面是通過(guò)改進(jìn)數(shù)據(jù)傳輸協(xié)議等方式來(lái)提高大規(guī)模數(shù)據(jù)傳輸?shù)男阅?，另一方面是通過(guò)對(duì)大規(guī)模數(shù)據(jù)集的復(fù)制來(lái)提高數(shù)據(jù)的可用性。其中，數(shù)據(jù)復(fù)制技術(shù)被廣泛應(yīng)用。為了提高數(shù)據(jù)的可用性和訪問(wèn)數(shù)據(jù)的性能，通常需要對(duì)一個(gè)大規(guī)模數(shù)據(jù)集創(chuàng)建多個(gè)數(shù)據(jù)副本，并存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)。這便誕生了對(duì)數(shù)據(jù)副本管理系統(tǒng)的需求。在現(xiàn)行的部分網(wǎng)格數(shù)據(jù)管理系統(tǒng)中，考慮了數(shù)據(jù)副本管理系統(tǒng)的實(shí)現(xiàn)，然而，這些系統(tǒng)中普遍存在著一些問(wèn)題如對(duì)數(shù)據(jù)副本管理系統(tǒng)的設(shè)計(jì)更多地停留在中間件的層次而沒(méi)有考慮應(yīng)用的需求，從而導(dǎo)致其難以適應(yīng)動(dòng)態(tài)變化的應(yīng)用需求；對(duì)數(shù)據(jù)副本管理系統(tǒng)的設(shè)計(jì)更多地關(guān)注于一致性模型等的研究而較少考慮副本放置策略以及數(shù)據(jù)復(fù)制和數(shù)據(jù)傳輸?shù)慕Y(jié)合。基于優(yōu)化放置的副本能提高應(yīng)用程序訪問(wèn)數(shù)據(jù)的效率，因此設(shè)計(jì)一種按需組織的數(shù)據(jù)副本管理系統(tǒng)，有效地組織和管理數(shù)據(jù)副本，為基于網(wǎng)格的數(shù)據(jù)密集型應(yīng)用程序提供高質(zhì)量的服務(wù)為現(xiàn)有技術(shù)需要解決的問(wèn)題。
經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，Bill Allcock等在《Parallel ComputingJournal》(并行計(jì)算期刊)2002年第28期第749至771頁(yè)上發(fā)表的“DataManagement and Transfer in High-Performance Computational GridEnvironments”(高性能計(jì)算網(wǎng)格環(huán)境下的數(shù)據(jù)管理和傳輸)中論述了一種副本管理系統(tǒng)的實(shí)現(xiàn)，該系統(tǒng)包含應(yīng)用程序、元數(shù)據(jù)服務(wù)、副本管理服務(wù)、副本選擇服務(wù)、信息服務(wù)等五個(gè)組件，其功能是使應(yīng)用程序能夠識(shí)別所需數(shù)據(jù)集的最優(yōu)存儲(chǔ)位置。該系統(tǒng)的不足(1)不具備用戶手工管理數(shù)據(jù)副本的能力，使得用戶無(wú)法瀏覽數(shù)據(jù)副本存放位置、手工創(chuàng)建副本、手工刪除副本、手工遷移副本；(2)不具備按需自動(dòng)管理數(shù)據(jù)副本的能力，不能根據(jù)應(yīng)用程序?qū)?shù)據(jù)副本的實(shí)時(shí)訪問(wèn)性能自動(dòng)地創(chuàng)建、刪除和遷移數(shù)據(jù)副本；(3)不具備在異構(gòu)的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)上存儲(chǔ)數(shù)據(jù)副本的能力；(4)不具有友好的圖形界面客戶端。

發(fā)明內(nèi)容
本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足與缺陷，提供一種管理大規(guī)模數(shù)據(jù)副本的網(wǎng)格副本管理系統(tǒng)，使其將當(dāng)前的商業(yè)智能技術(shù)應(yīng)用到網(wǎng)格計(jì)算領(lǐng)域，通過(guò)分析應(yīng)用程序?qū)?shù)據(jù)副本的訪問(wèn)日志，智能預(yù)測(cè)應(yīng)用程序?qū)?shù)據(jù)副本的訪問(wèn)總體需求，并據(jù)此實(shí)現(xiàn)數(shù)據(jù)副本的按需優(yōu)化放置，從而提高了應(yīng)用程序?qū)?shù)據(jù)副本的訪問(wèn)性能，促進(jìn)了網(wǎng)格計(jì)算和數(shù)據(jù)副本管理的應(yīng)用和發(fā)展。
本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明包括處理服務(wù)器、日志庫(kù)服務(wù)器、應(yīng)用分析服務(wù)器、元數(shù)據(jù)服務(wù)器、副本定位服務(wù)器、副本選擇服務(wù)器、副本維護(hù)服務(wù)器、數(shù)據(jù)存儲(chǔ)器、顯示終端。顯示終端和處理服務(wù)器相連，處理服務(wù)器同時(shí)和日志庫(kù)服務(wù)器、應(yīng)用分析服務(wù)器、元數(shù)據(jù)服務(wù)器、副本定位服務(wù)器及副本選擇服務(wù)器相連，日志庫(kù)服務(wù)器和應(yīng)用分析服務(wù)器相連，應(yīng)用分析服務(wù)器、元數(shù)據(jù)服務(wù)器、副本定位服務(wù)器、副本選擇服務(wù)器均和副本維護(hù)服務(wù)器相連，副本維護(hù)服務(wù)器和一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)器連接。處理服務(wù)器接受來(lái)自于顯示終端或外部應(yīng)用程序的數(shù)據(jù)副本管理和數(shù)據(jù)訪問(wèn)需求，并根據(jù)不同的需求同元數(shù)據(jù)服務(wù)器、副本定位服務(wù)器及副本選擇服務(wù)器交互以處理需求；處理服務(wù)器同時(shí)生成數(shù)據(jù)訪問(wèn)日志記錄處理歷史記錄，將生成的日志傳輸給日志庫(kù)服務(wù)器并發(fā)出日志存儲(chǔ)命令，日志庫(kù)服務(wù)器接受到命令后存儲(chǔ)日志；當(dāng)日志分析啟動(dòng)條件滿足時(shí)，應(yīng)用分析服務(wù)器啟動(dòng)日志分析進(jìn)程，通過(guò)分析日志信息，處理產(chǎn)生優(yōu)化的副本放置策略；副本維護(hù)服務(wù)器實(shí)施上述策略并重組數(shù)據(jù)副本；更新后的副本的位置信息、衍生過(guò)程等，均通過(guò)顯示終端呈現(xiàn)給用戶。當(dāng)用戶請(qǐng)求數(shù)據(jù)時(shí)或副本維護(hù)服務(wù)器實(shí)施副本放置策略時(shí)，數(shù)據(jù)存儲(chǔ)器接受副本維護(hù)服務(wù)器發(fā)出的數(shù)據(jù)傳輸控制命令，開(kāi)啟數(shù)據(jù)存儲(chǔ)器與用戶之間的或者數(shù)據(jù)存儲(chǔ)器與數(shù)據(jù)存儲(chǔ)器之間的數(shù)據(jù)傳輸。
所述處理服務(wù)器包括任務(wù)單元和日志生成單元。任務(wù)單元和顯示終端、元數(shù)據(jù)服務(wù)器、副本定位服務(wù)器、副本選擇服務(wù)器、日志生成單元連接，日志生成單元和日志庫(kù)服務(wù)器、應(yīng)用分析服務(wù)器連接。由用戶的輸入觸發(fā)或應(yīng)用程序的數(shù)據(jù)訪問(wèn)請(qǐng)求觸發(fā)任務(wù)單元啟動(dòng)任務(wù)處理線程，并完成該任務(wù)；然后任務(wù)處理線程觸發(fā)日志生成單元根據(jù)任務(wù)和任務(wù)完成情況，生成日志并發(fā)送日志存儲(chǔ)請(qǐng)求到日志庫(kù)服務(wù)器；最后任務(wù)單元將任務(wù)完成情況輸出到顯示終端。
所述日志庫(kù)服務(wù)器包括日志操作單元和日志存儲(chǔ)單元。日志操作單元的輸入端連接到處理服務(wù)器、應(yīng)用分析服務(wù)器，輸出端連接到日志存儲(chǔ)單元。日志存儲(chǔ)單元僅和日志操作單元連接。日志操作單元首先接受來(lái)自輸入端的日志操作請(qǐng)求，然后分析操作請(qǐng)求，最后操作日志存儲(chǔ)單元執(zhí)行操作請(qǐng)求。日志庫(kù)服務(wù)器的功能是接受、識(shí)別和完成來(lái)自輸入端的日志操作命令，以及物理位置上日志的存儲(chǔ)。
所述應(yīng)用分析服務(wù)器包括日志讀取單元和邏輯推理單元。日志讀取單元的輸入端連接到日志庫(kù)服務(wù)器，輸出端連接到邏輯推理單元，邏輯推理單元的輸入端連接到日志讀取單元，輸出端連接到副本維護(hù)服務(wù)器。日志讀取單元從日志庫(kù)服務(wù)器讀取并預(yù)處理日志信息。邏輯推理單元應(yīng)用數(shù)據(jù)分析、數(shù)據(jù)挖掘等技術(shù)來(lái)分析日志讀取單元處理后的日志信息，預(yù)測(cè)應(yīng)用程序?qū)?shù)據(jù)副本的訪問(wèn)需求，推理產(chǎn)生優(yōu)化的數(shù)據(jù)副本放置方案。應(yīng)用分析服務(wù)器的工作流程為日志讀取單元從日志庫(kù)服務(wù)器讀取日志，對(duì)日志預(yù)處理，輸出到邏輯推理單元；邏輯推理單元分析日志，生成優(yōu)化的副本放置方案，輸出副本放置方案到副本維護(hù)服務(wù)器由其實(shí)施該方案。
所述元數(shù)據(jù)服務(wù)器包括元數(shù)據(jù)查詢單元、元數(shù)據(jù)更新單元和元數(shù)據(jù)存儲(chǔ)單元。元數(shù)據(jù)查詢單元和處理服務(wù)器、元數(shù)據(jù)存儲(chǔ)單元連接，元數(shù)據(jù)更新單元和處理服務(wù)器、副本維護(hù)服務(wù)器、元數(shù)據(jù)存儲(chǔ)單元連接，元數(shù)據(jù)存儲(chǔ)單元和元數(shù)據(jù)查詢單元、元數(shù)據(jù)更新單元連接。元數(shù)據(jù)服務(wù)器的功能是維護(hù)數(shù)據(jù)副本系統(tǒng)內(nèi)的元數(shù)據(jù)信息即查詢、更新各個(gè)數(shù)據(jù)副本的邏輯名稱和物理名稱間的映射。當(dāng)查詢?cè)獢?shù)據(jù)信息時(shí)，處理服務(wù)器發(fā)送請(qǐng)求到元數(shù)據(jù)查詢單元，元數(shù)據(jù)查詢單元操作元數(shù)據(jù)存儲(chǔ)單元，最后元數(shù)據(jù)查詢單元返回查詢結(jié)果到處理服務(wù)器。當(dāng)更新元數(shù)據(jù)信息時(shí)，首先處理服務(wù)器發(fā)送請(qǐng)求到元數(shù)據(jù)更新單元，其次元數(shù)據(jù)更新單元發(fā)送請(qǐng)求到元數(shù)據(jù)存儲(chǔ)單元，再次根據(jù)實(shí)際操作需要可能由元數(shù)據(jù)更新單元發(fā)送請(qǐng)求到副本維護(hù)服務(wù)器，最后元數(shù)據(jù)更新單元返回操作結(jié)果到處理服務(wù)器。
所述副本定位服務(wù)器包括副本物理位置查詢單元、副本物理位置更新單元和副本物理位置存儲(chǔ)單元。副本物理位置查詢單元連接到處理服務(wù)器、副本物理位置存儲(chǔ)單元，副本物理位置更新單元連接到處理服務(wù)器、副本維護(hù)服務(wù)器、副本物理位置存儲(chǔ)單元，副本物理位置存儲(chǔ)單元連接到副本物理位置查詢單元、副本物理位置更新單元。副本定位服務(wù)器用于查詢和更新數(shù)據(jù)副本的物理名稱和其存儲(chǔ)的物理位置間的映射。當(dāng)查詢副本物理位置時(shí)，處理服務(wù)器發(fā)送請(qǐng)求到副本物理位置查詢單元，副本物理位置查詢單元操作和副本物理位置存儲(chǔ)單元，最后返回查詢結(jié)果到處理服務(wù)器。當(dāng)更新副本物理位置時(shí)，首先處理服務(wù)器發(fā)送請(qǐng)求到副本物理位置更新單元，其次副本物理位置更新單元發(fā)送請(qǐng)求到副本物理位置存儲(chǔ)單元，再次根據(jù)實(shí)際操作需要可能由副本物理位置更新單元發(fā)送請(qǐng)求到副本維護(hù)服務(wù)器，最后副本物理位置更新單元返回操作結(jié)果到處理服務(wù)器。
所述副本選擇服務(wù)器連接到處理服務(wù)器、副本維護(hù)服務(wù)器，用于分析應(yīng)用程序?qū)ξ挥诓煌锢砦恢玫亩鄠€(gè)數(shù)據(jù)副本的訪問(wèn)性能，并針對(duì)各個(gè)副本根據(jù)其訪問(wèn)性能進(jìn)行排序。處理服務(wù)器將同一個(gè)數(shù)據(jù)副本的多個(gè)物理位置發(fā)送給副本選擇服務(wù)器，副本選擇服務(wù)器連接到副本維護(hù)服務(wù)器，預(yù)測(cè)應(yīng)用程序訪問(wèn)各個(gè)數(shù)據(jù)副本的性能，按照性能好壞對(duì)各個(gè)副本排序，最后將排序結(jié)果返回。
所述副本維護(hù)服務(wù)器包括數(shù)據(jù)傳輸單元和數(shù)據(jù)融合單元。數(shù)據(jù)傳輸單元和處理服務(wù)器、副本維護(hù)服務(wù)器連接，用于從物理上進(jìn)行數(shù)據(jù)傳輸和數(shù)據(jù)刪除。數(shù)據(jù)融合單元和處理服務(wù)器、副本維護(hù)服務(wù)器連接，用于融合各種異構(gòu)存儲(chǔ)介質(zhì)上的數(shù)據(jù)。這兩個(gè)單元協(xié)作完成了數(shù)據(jù)副本維護(hù)的功能，即創(chuàng)建數(shù)據(jù)副本、刪除數(shù)據(jù)副本、遷移數(shù)據(jù)副本等。
所述數(shù)據(jù)存儲(chǔ)器，是指數(shù)據(jù)的物理存儲(chǔ)對(duì)象即GridFTP服務(wù)器、FTP服務(wù)器和數(shù)據(jù)庫(kù)。在系統(tǒng)中存在著一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)器，每個(gè)數(shù)據(jù)存儲(chǔ)器都和副本維護(hù)服務(wù)器連接，在執(zhí)行副本維護(hù)任務(wù)時(shí)，參與副本維護(hù)的多個(gè)數(shù)據(jù)存儲(chǔ)器之間相互連接。
所述顯示終端，其中包括管理單元和顯示單元。管理單元和顯示單元均和處理服務(wù)器連接。顯示終端以圖形用戶界面的方式呈現(xiàn)。用戶在圖形界面下，通過(guò)顯示終端訪問(wèn)副本管理系統(tǒng)，執(zhí)行創(chuàng)建副本，刪除副本，查詢副本，瀏覽副本位置等操作。
與現(xiàn)有技術(shù)相比，本發(fā)明的特點(diǎn)在于既能實(shí)現(xiàn)網(wǎng)格環(huán)境中數(shù)據(jù)副本的管理，并提供網(wǎng)格環(huán)境下的手動(dòng)管理副本和按需自動(dòng)管理副本，又具有用戶界面直觀可視化的特點(diǎn)，用戶可以在圖形界面下查看副本的物理位置和衍生過(guò)程，且具有兼容性好，可擴(kuò)展性強(qiáng)，維護(hù)開(kāi)銷小的特點(diǎn)。本系統(tǒng)實(shí)現(xiàn)了網(wǎng)格環(huán)境中數(shù)據(jù)副本的按需管理，通過(guò)實(shí)時(shí)推理出的優(yōu)化的副本放置策略，支持了數(shù)據(jù)的高性能傳輸和高可用性，提供了應(yīng)用程序訪問(wèn)數(shù)據(jù)的性能。
另外本發(fā)明提出了一個(gè)面向網(wǎng)格環(huán)境的數(shù)據(jù)副本管理系統(tǒng)，其采用分布式架構(gòu)及面向?qū)ο蠛兔嫦蚍?wù)模式構(gòu)建，并基于簡(jiǎn)單對(duì)象訪問(wèn)協(xié)議和擴(kuò)展標(biāo)記語(yǔ)言等國(guó)際標(biāo)準(zhǔn)。本發(fā)明系統(tǒng)具有遠(yuǎn)程管理和處理功能，處理服務(wù)器，日志庫(kù)服務(wù)器，應(yīng)用分析服務(wù)器，元數(shù)據(jù)服務(wù)器，副本定位服務(wù)器，副本選擇服務(wù)器，副本維護(hù)服務(wù)器，數(shù)據(jù)存儲(chǔ)器，顯示終端可以位于一臺(tái)計(jì)算機(jī)中，也可以是分布在網(wǎng)格環(huán)境中的多個(gè)節(jié)點(diǎn)和多臺(tái)設(shè)備中，易于以即插即用的方式集成和融合至其它網(wǎng)格應(yīng)用中，能夠集成現(xiàn)有基礎(chǔ)設(shè)施，減少了搭建網(wǎng)格計(jì)算應(yīng)用環(huán)境的開(kāi)銷，并適應(yīng)未來(lái)增長(zhǎng)需要。
本發(fā)明的有益效果如下1)智能性本發(fā)明通過(guò)分析已有數(shù)據(jù)訪問(wèn)日志，智能預(yù)測(cè)應(yīng)用程序?qū)?shù)據(jù)副本的訪問(wèn)需求，從而推導(dǎo)生成優(yōu)化的副本放置方案；2)高效性本發(fā)明采用了實(shí)時(shí)的優(yōu)化的副本放置方案，以一種良好的方式組織副本，從而提高了應(yīng)用程序訪問(wèn)數(shù)據(jù)的效率；3)靈活性及可定制性既提供了手動(dòng)管理數(shù)據(jù)副本的功能，由提供了智能自動(dòng)管理副本的功能，便于用戶靈活選擇，且副本管理策略可由用戶自行訂制，具有較強(qiáng)的靈活性和可定制性；4)可擴(kuò)展性本發(fā)明基于分布式系統(tǒng)，很容易擴(kuò)展并添加新的數(shù)據(jù)存儲(chǔ)器、元數(shù)據(jù)服務(wù)器、副本定位服務(wù)器等至系統(tǒng)中，這使得本系統(tǒng)有著較好的可擴(kuò)展性；
5)使用及管理方便用戶通過(guò)顯示終端使用和管理系統(tǒng)，且顯示終端基于圖形用戶界面，界面友好，操作簡(jiǎn)單，這使得本系統(tǒng)易于使用和管理方便。


圖1為本發(fā)明系統(tǒng)結(jié)構(gòu)框圖；圖2為本發(fā)明中各個(gè)子系統(tǒng)的連接圖；圖3為本發(fā)明中用戶查詢數(shù)據(jù)副本的流程圖；圖4為本發(fā)明中用戶手動(dòng)管理數(shù)據(jù)副本的流程圖。
圖5為本發(fā)明中應(yīng)用程序訪問(wèn)數(shù)據(jù)副本的流程圖。
圖6為本發(fā)明中按需自動(dòng)管理數(shù)據(jù)副本的流程圖。
具體實(shí)施例方式
以下結(jié)合附圖對(duì)本發(fā)明的實(shí)施例作詳細(xì)說(shuō)明本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和過(guò)程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。
如圖1所示，本實(shí)施例具體包括處理服務(wù)器1、日志庫(kù)服務(wù)器2、應(yīng)用分析服務(wù)器3、元數(shù)據(jù)服務(wù)器4、副本定位服務(wù)器5、副本選擇服務(wù)器6、副本維護(hù)服務(wù)器7、數(shù)據(jù)存儲(chǔ)器8、顯示終端9。
如圖2所示，本發(fā)明中各個(gè)子系統(tǒng)間的連接關(guān)系，其中用戶通過(guò)顯示終端9連接到處理服務(wù)器1，應(yīng)用程序通過(guò)接口連接到處理服務(wù)器1；處理服務(wù)器1連接到日志庫(kù)服務(wù)器2、應(yīng)用分析服務(wù)器3、元數(shù)據(jù)服務(wù)器4、副本定位服務(wù)器5、副本選擇服務(wù)器6；日志庫(kù)服務(wù)器2連接到應(yīng)用分析服務(wù)器3；應(yīng)用分析服務(wù)器3、元數(shù)據(jù)服務(wù)器4、副本定位服務(wù)器5、副本選擇服務(wù)器6都連接到副本維護(hù)服務(wù)器7；副本維護(hù)服務(wù)器7連接到一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)器8。
所述的處理服務(wù)器1由任務(wù)單元、日志生成單元組成，任務(wù)單元和顯示終端9、元數(shù)據(jù)服務(wù)器4、副本定位服務(wù)器5、副本選擇服務(wù)器6、日志生成單元連接，日志生成單元和日志庫(kù)服務(wù)器2、應(yīng)用分析服務(wù)器3連接，其中任務(wù)單元根據(jù)顯示終端9傳輸來(lái)的用戶輸入或應(yīng)用程序訪問(wèn)請(qǐng)求，創(chuàng)建一個(gè)任務(wù)處理線程，并完成該任務(wù)；然后任務(wù)處理線程觸發(fā)日志生成單元根據(jù)任務(wù)和任務(wù)完成情況，生成日志并發(fā)送日志存儲(chǔ)請(qǐng)求到日志庫(kù)服務(wù)器2；最后任務(wù)單元將任務(wù)完成情況輸出到顯示終端9。
所述的日志庫(kù)服務(wù)器2由日志操作單元、日志存儲(chǔ)單元組成，日志操作單元的輸入端連接到處理服務(wù)器1、應(yīng)用分析服務(wù)器3，輸出端連接到日志存儲(chǔ)單元，日志存儲(chǔ)單元僅和日志操作單元連接，其中日志操作單元接受來(lái)自處理服務(wù)器1和應(yīng)用分析服務(wù)器3的日志操作請(qǐng)求，分析操作請(qǐng)求，最后操作日志存儲(chǔ)單元執(zhí)行請(qǐng)求。
所述的應(yīng)用分析服務(wù)器3由日志讀取單元、邏輯推理單元組成，日志讀取單元的輸入端連接到日志庫(kù)服務(wù)器2，輸出端連接到邏輯推理單元，邏輯推理單元的輸入端連接到日志讀取單元，輸出端連接到副本維護(hù)服務(wù)器7，其中日志讀取單元從日志庫(kù)服務(wù)器2讀取日志并預(yù)處理日志，邏輯推理單元分析日志，生成優(yōu)化的副本放置方案，并將生成的副本放置方案交由副本維護(hù)服務(wù)器7實(shí)施。
所述的元數(shù)據(jù)服務(wù)器4由元數(shù)據(jù)查詢單元、元數(shù)據(jù)更新單元、元數(shù)據(jù)存儲(chǔ)單元組成，元數(shù)據(jù)查詢單元和處理服務(wù)器1、元數(shù)據(jù)存儲(chǔ)單元連接，元數(shù)據(jù)更新單元和處理服務(wù)器1、副本維護(hù)服務(wù)器7、元數(shù)據(jù)存儲(chǔ)單元連接，元數(shù)據(jù)存儲(chǔ)單元和元數(shù)據(jù)查詢單元、元數(shù)據(jù)更新單元連接，其中元數(shù)據(jù)查詢單元接受來(lái)自處理服務(wù)器1的元數(shù)據(jù)查詢請(qǐng)求，查詢?cè)獢?shù)據(jù)存儲(chǔ)單元獲取元數(shù)據(jù)信息并返回給處理服務(wù)器1。元數(shù)據(jù)更新單元接受來(lái)自處理服務(wù)器1的元數(shù)據(jù)更新請(qǐng)求，更新元數(shù)據(jù)存儲(chǔ)單元，發(fā)送消息到副本維護(hù)服務(wù)器7，最后返回操作結(jié)果給處理服務(wù)器1。
所述的副本定位服務(wù)器5由副本物理位置查詢單元、副本物理位置更新單元、副本物理位置存儲(chǔ)單元組成，副本物理位置查詢單元連接到處理服務(wù)器1、副本物理位置存儲(chǔ)單元，副本物理位置更新單元連接到處理服務(wù)器1、副本維護(hù)服務(wù)器7、副本物理位置存儲(chǔ)單元，副本物理位置存儲(chǔ)單元連接到副本物理位置查詢單元、副本物理位置更新單元，其中副本物理位置查詢單元接受來(lái)自處理服務(wù)器1的副本定位請(qǐng)求，查詢副本物理位置存儲(chǔ)單元獲取數(shù)據(jù)副本的物理存放位置，返回查詢結(jié)果到處理服務(wù)器1。副本物理位置更新單元接受來(lái)自處理服務(wù)器1的副本物理位置更新請(qǐng)求，更新副本物理位置存儲(chǔ)單元，發(fā)送消息到副本維護(hù)服務(wù)器7，最后返回操作結(jié)果給處理服務(wù)器1。
所述的副本維護(hù)服務(wù)器7由數(shù)據(jù)傳輸單元、數(shù)據(jù)融合單元組成，數(shù)據(jù)傳輸單元和處理服務(wù)器1、副本維護(hù)服務(wù)器7連接，用于從物理上進(jìn)行數(shù)據(jù)傳輸和數(shù)據(jù)刪除，其中數(shù)據(jù)傳輸單元和數(shù)據(jù)存儲(chǔ)器8相連，將數(shù)據(jù)從一些存儲(chǔ)器傳輸?shù)搅硪恍┐鎯?chǔ)器中。數(shù)據(jù)融合單元和數(shù)據(jù)存儲(chǔ)器相連，實(shí)現(xiàn)了同一數(shù)據(jù)副本在多個(gè)異構(gòu)數(shù)據(jù)存儲(chǔ)器中的轉(zhuǎn)換和融合。
所述顯示終端9，其中包括管理單元和顯示單元。管理單元和顯示單元均和處理服務(wù)器連接。顯示終端以圖形用戶界面的方式呈現(xiàn)。用戶在圖形界面下，通過(guò)顯示終端訪問(wèn)副本管理系統(tǒng)，執(zhí)行創(chuàng)建副本，刪除副本，查詢副本，瀏覽副本位置等操作。
如圖3所示，用戶瀏覽和查詢副本的實(shí)施方式用戶通過(guò)顯示終端9的顯示單元輸入副本查詢條件時(shí)，顯示單元發(fā)送請(qǐng)求到處理服務(wù)器1中的任務(wù)單元，任務(wù)單元接受到請(qǐng)求后判斷請(qǐng)求類型并向元數(shù)據(jù)服務(wù)器4的元數(shù)據(jù)查詢單元發(fā)出查詢副本命令并由元數(shù)據(jù)查詢單元返回滿足條件的副本。之后處理服務(wù)器1的任務(wù)單元向副本定位服務(wù)器5的副本物理位置查詢單元發(fā)出命令，以查詢副本的位置信息，在副本定位服務(wù)器5的副本物理位置查詢單元返回副本位置信息后，處理服務(wù)器1的任務(wù)單元觸發(fā)處理服務(wù)器1的日志生成單元，日志生成單元生成該次查詢的日志，發(fā)送日志存儲(chǔ)命令到日志庫(kù)服務(wù)器2的日志操作單元，日志操作單元將日志存儲(chǔ)入日志存儲(chǔ)單元，之后處理服務(wù)器1的任務(wù)單元返回副本及其位置信息到顯示終端9的顯示單元，顯示終端在圖形界面上顯示副本信息，供用戶瀏覽。
如圖4所示，用戶手工管理副本的實(shí)施方式用戶通過(guò)顯示終端9的管理單元發(fā)出副本管理指令即創(chuàng)建或者刪除一個(gè)數(shù)據(jù)副本，處理服務(wù)器1的任務(wù)單元接受請(qǐng)求，并通過(guò)副本定位服務(wù)器5的副本物理位置查詢單元獲取該數(shù)據(jù)副本所在的物理位置，進(jìn)而通過(guò)副本維護(hù)服務(wù)器7的數(shù)據(jù)傳輸單元更新數(shù)據(jù)存儲(chǔ)器8上的物理位置上的數(shù)據(jù)。在上述操作完成后，處理服務(wù)器1的任務(wù)單元觸發(fā)處理服務(wù)器1的日志生成單元，日志生成單元生成該次操作的日志，發(fā)送日志存儲(chǔ)命令到日志庫(kù)服務(wù)器2的日志操作單元，日志操作單元將日志存儲(chǔ)入日志存儲(chǔ)單元，之后處理服務(wù)器1的任務(wù)單元返回操作結(jié)果至顯示終端9，由顯示終端9的顯示單元在圖形界面上通知用戶該次操作結(jié)果。
如圖5所示，應(yīng)用程序訪問(wèn)數(shù)據(jù)副本的實(shí)施方式應(yīng)用程序向處理服務(wù)器1的任務(wù)單元發(fā)送數(shù)據(jù)請(qǐng)求，處理服務(wù)器1的任務(wù)單元查詢?cè)獢?shù)據(jù)服務(wù)器4的元數(shù)據(jù)查詢單元獲取副本的物理文件名，處理服務(wù)器1的任務(wù)單元再根據(jù)物理文件名通過(guò)副本定位服務(wù)器5的副本物理位置查詢單元查詢副本的物理位置，當(dāng)副本存在多個(gè)物理位置時(shí)，處理服務(wù)器1的任務(wù)單元通過(guò)副本選擇服務(wù)器7來(lái)獲取訪問(wèn)效率最高的物理位置，之后記錄此次操作的日志，并返回副本數(shù)據(jù)至應(yīng)用程序。
如圖6所示，按需自動(dòng)副本管理的實(shí)施方式首先處理服務(wù)器1的任務(wù)單元預(yù)設(shè)應(yīng)用分析服務(wù)器3分析啟動(dòng)條件如每隔固定時(shí)間啟動(dòng)一次或日志記錄增加一定數(shù)量時(shí)啟動(dòng)一次。當(dāng)啟動(dòng)條件滿足時(shí)，應(yīng)用分析服務(wù)器3的日志讀取單元讀取日志服務(wù)器2中日志記錄，并對(duì)日志預(yù)處理，處理后的日志傳遞給邏輯推理單元，邏輯推理單元啟動(dòng)數(shù)據(jù)分析實(shí)例并推理生成副本優(yōu)化放置策略，之后將放置策略交給副本維護(hù)服務(wù)器7予以實(shí)施，副本維護(hù)服務(wù)器7的數(shù)據(jù)傳輸單元向數(shù)據(jù)存儲(chǔ)器8發(fā)出數(shù)據(jù)傳輸命令，多個(gè)數(shù)據(jù)存儲(chǔ)器8之間開(kāi)始實(shí)際的數(shù)據(jù)傳輸，待傳輸完成后，副本維護(hù)服務(wù)器7通知處理服務(wù)器1，由處理服務(wù)器1的任務(wù)單元通知副本定位服務(wù)器5的副本物理位置更新單元更新副本物理位置映射，并記錄操作日志。
權(quán)利要求
1.一種網(wǎng)格數(shù)據(jù)副本管理系統(tǒng)，包括處理服務(wù)器(1)、日志庫(kù)服務(wù)器(2)、應(yīng)用分析服務(wù)器(3)、元數(shù)據(jù)服務(wù)器(4)、副本定位服務(wù)器(5)、副本選擇服務(wù)器(6)、副本維護(hù)服務(wù)器(7)、數(shù)據(jù)存儲(chǔ)器(8)、顯示終端(9)，其特征在于，顯示終端(9)和處理服務(wù)器(1)相連，處理服務(wù)器(1)同時(shí)和日志庫(kù)服務(wù)器(2)、應(yīng)用分析服務(wù)器(3)、元數(shù)據(jù)服務(wù)器(4)、副本定位服務(wù)器(5)及副本選擇服務(wù)器(6)相連，日志庫(kù)服務(wù)器(2)和應(yīng)用分析服務(wù)器(3)相連，應(yīng)用分析服務(wù)器(3)、元數(shù)據(jù)服務(wù)器(4)、副本定位服務(wù)器(5)、副本選擇服務(wù)器(6)均和副本維護(hù)服務(wù)器(7)相連，副本維護(hù)服務(wù)器(7)和一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)器連接，其中處理服務(wù)器(1)接受來(lái)自于顯示終端(9)或外部應(yīng)用程序的數(shù)據(jù)副本管理和數(shù)據(jù)訪問(wèn)需求，并根據(jù)不同的需求同元數(shù)據(jù)服務(wù)器(4)、副本定位服務(wù)器(7)及副本選擇服務(wù)器(6)交互以處理需求；處理服務(wù)器(1)同時(shí)生成數(shù)據(jù)訪問(wèn)日志記錄處理歷史記錄，將生成的日志傳輸給日志庫(kù)服務(wù)器(2)并發(fā)出日志存儲(chǔ)命令，日志庫(kù)服務(wù)器(2)接受到命令后存儲(chǔ)日志，當(dāng)日志分析啟動(dòng)條件滿足時(shí)，應(yīng)用分析服務(wù)器(3)啟動(dòng)日志分析進(jìn)程，通過(guò)分析日志信息，處理產(chǎn)生優(yōu)化的副本放置策略，副本維護(hù)服務(wù)器(7)實(shí)施上述策略并重組數(shù)據(jù)副本，更新后的副本的位置信息、衍生過(guò)程均通過(guò)顯示終端(9)呈現(xiàn)給用戶；當(dāng)用戶請(qǐng)求數(shù)據(jù)時(shí)或副本維護(hù)服務(wù)器(7)實(shí)施副本放置策略時(shí)，數(shù)據(jù)存儲(chǔ)器(8)接受副本維護(hù)服務(wù)器(7)發(fā)出的數(shù)據(jù)傳輸控制命令，開(kāi)啟數(shù)據(jù)存儲(chǔ)器(8)與用戶之間的或者數(shù)據(jù)存儲(chǔ)器(8)與數(shù)據(jù)存儲(chǔ)器(8)之間的數(shù)據(jù)傳輸。
2.根據(jù)權(quán)利要求1所述的網(wǎng)格數(shù)據(jù)副本管理系統(tǒng)，其特征是，所述的處理服務(wù)器(1)包括任務(wù)單元、日志生成單元，任務(wù)單元和顯示終端(9)、元數(shù)據(jù)服務(wù)器(4)、副本定位服務(wù)器(5)、副本選擇服務(wù)器(6)、日志生成單元連接，日志生成單元和日志庫(kù)服務(wù)器(2)、應(yīng)用分析服務(wù)器(3)連接，其中任務(wù)單元根據(jù)顯示終端(9)傳輸來(lái)的用戶輸入或應(yīng)用程序訪問(wèn)請(qǐng)求，創(chuàng)建一個(gè)任務(wù)處理線程，并完成該任務(wù)，然后任務(wù)處理線程觸發(fā)日志生成單元根據(jù)任務(wù)和任務(wù)完成情況，生成日志并發(fā)送日志存儲(chǔ)請(qǐng)求到日志庫(kù)服務(wù)器(2)，最后任務(wù)單元將任務(wù)完成情況輸出到顯示終端(9)。
3.根據(jù)權(quán)利要求1所述的網(wǎng)格數(shù)據(jù)副本管理系統(tǒng)，其特征是，所述的日志庫(kù)服務(wù)器(2)包括日志操作單元、日志存儲(chǔ)單元，日志操作單元的輸入端連接到處理服務(wù)器(1)、應(yīng)用分析服務(wù)器(3)，輸出端連接到日志存儲(chǔ)單元，日志存儲(chǔ)單元僅和日志操作單元連接，其中日志操作單元接受來(lái)自處理服務(wù)器(1)和應(yīng)用分析服務(wù)器(3)的日志操作請(qǐng)求，分析操作請(qǐng)求，最后操作日志存儲(chǔ)單元執(zhí)行請(qǐng)求。
4.根據(jù)權(quán)利要求1所述的網(wǎng)格數(shù)據(jù)副本管理系統(tǒng)，其特征是，所述的應(yīng)用分析服務(wù)器(3)包括日志讀取單元、邏輯推理單元，日志讀取單元的輸入端連接到日志庫(kù)服務(wù)器(2)，輸出端連接到邏輯推理單元，邏輯推理單元的輸入端連接到日志讀取單元，輸出端連接到副本維護(hù)服務(wù)器(7)，其中日志讀取單元從日志庫(kù)服務(wù)器(2)讀取日志并預(yù)處理日志，邏輯推理單元分析日志，生成優(yōu)化的副本放置方案，并將生成的副本放置方案交由副本維護(hù)服務(wù)器(7)實(shí)施。
5.根據(jù)權(quán)利要求1所述的網(wǎng)格數(shù)據(jù)副本管理系統(tǒng)，其特征是，所述的元數(shù)據(jù)服務(wù)器(4)包括數(shù)據(jù)查詢單元、元數(shù)據(jù)更新單元、元數(shù)據(jù)存儲(chǔ)單元，元數(shù)據(jù)查詢單元和處理服務(wù)器(1)、元數(shù)據(jù)存儲(chǔ)單元連接，元數(shù)據(jù)更新單元和處理服務(wù)器(1)、副本維護(hù)服務(wù)器(7)、元數(shù)據(jù)存儲(chǔ)單元連接，元數(shù)據(jù)存儲(chǔ)單元和元數(shù)據(jù)查詢單元、元數(shù)據(jù)更新單元連接，其中元數(shù)據(jù)查詢單元接受來(lái)自處理服務(wù)器(1)的元數(shù)據(jù)查詢請(qǐng)求，查詢?cè)獢?shù)據(jù)存儲(chǔ)單元獲取元數(shù)據(jù)信息并返回給處理服務(wù)器(1)，元數(shù)據(jù)更新單元接受來(lái)自處理服務(wù)器(1)的元數(shù)據(jù)更新請(qǐng)求，更新元數(shù)據(jù)存儲(chǔ)單元，發(fā)送消息到副本維護(hù)服務(wù)器(7)，最后返回操作結(jié)果給處理服務(wù)器(1)。
6.根據(jù)權(quán)利要求1所述的網(wǎng)格數(shù)據(jù)副本管理系統(tǒng)，其特征是，所述的副本定位服務(wù)器(5)包括副本物理位置查詢單元、副本物理位置更新單元、副本物理位置存儲(chǔ)單元，副本物理位置查詢單元連接到處理服務(wù)器(1)、副本物理位置存儲(chǔ)單元，副本物理位置更新單元連接到處理服務(wù)器(1)、副本維護(hù)服務(wù)器(7)、副本物理位置存儲(chǔ)單元，副本物理位置存儲(chǔ)單元連接到副本物理位置查詢單元、副本物理位置更新單元，其中副本物理位置查詢單元接受來(lái)自處理服務(wù)器(1)的副本定位請(qǐng)求，查詢副本物理位置存儲(chǔ)單元獲取數(shù)據(jù)副本的物理存放位置，返回查詢結(jié)果到處理服務(wù)器(1)，副本物理位置更新單元接受來(lái)自處理服務(wù)器(1)的副本物理位置更新請(qǐng)求，更新副本物理位置存儲(chǔ)單元，發(fā)送消息到副本維護(hù)服務(wù)器(7)，最后返回操作結(jié)果給處理服務(wù)器(1)。
7.根據(jù)權(quán)利要求1所述的網(wǎng)格數(shù)據(jù)副本管理系統(tǒng)，其特征是，所述的副本維護(hù)服務(wù)器(7)包括數(shù)據(jù)傳輸單元、數(shù)據(jù)融合單元，數(shù)據(jù)傳輸單元和處理服務(wù)器(1)、副本維護(hù)服務(wù)器(7)連接，用于從物理上進(jìn)行數(shù)據(jù)傳輸和數(shù)據(jù)刪除，其中數(shù)據(jù)傳輸單元和數(shù)據(jù)存儲(chǔ)器(8)相連，將數(shù)據(jù)從一些存儲(chǔ)器傳輸?shù)搅硪恍┐鎯?chǔ)器中，數(shù)據(jù)融合單元和數(shù)據(jù)存儲(chǔ)器(8)相連，實(shí)現(xiàn)了同一數(shù)據(jù)副本在多個(gè)異構(gòu)數(shù)據(jù)存儲(chǔ)器中的轉(zhuǎn)換和融合。
8.根據(jù)權(quán)利要求1所述的網(wǎng)格數(shù)據(jù)副本管理系統(tǒng)，其特征是，所述副本選擇服務(wù)器(6)，用于分析應(yīng)用程序?qū)ξ挥诓煌锢砦恢玫亩鄠€(gè)數(shù)據(jù)副本的訪問(wèn)性能，并針對(duì)各個(gè)副本根據(jù)其訪問(wèn)性能進(jìn)行排序，處理服務(wù)器(1)將同一個(gè)數(shù)據(jù)副本的多個(gè)物理位置發(fā)送給副本選擇服務(wù)器(6)，副本選擇服務(wù)器(6)連接到副本維護(hù)服務(wù)器(7)，預(yù)測(cè)應(yīng)用程序訪問(wèn)各個(gè)數(shù)據(jù)副本的性能，按照性能好壞對(duì)各個(gè)副本排序，最后將排序結(jié)果返回。
9.根據(jù)權(quán)利要求1所述的網(wǎng)格數(shù)據(jù)副本管理系統(tǒng)，其特征是，所述數(shù)據(jù)存儲(chǔ)器(8)，是指數(shù)據(jù)的物理存儲(chǔ)對(duì)象即GridFTP服務(wù)器、FTP服務(wù)器和數(shù)據(jù)庫(kù)，在系統(tǒng)中存在著一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)器，每個(gè)數(shù)據(jù)存儲(chǔ)器都和副本維護(hù)服務(wù)器(7)連接，在執(zhí)行副本維護(hù)任務(wù)時(shí)，參與副本維護(hù)的多個(gè)數(shù)據(jù)存儲(chǔ)器之間相互連接。
10.根據(jù)權(quán)利要求1所述的網(wǎng)格數(shù)據(jù)副本管理系統(tǒng)，其特征是，所述顯示終端(9)，其中包括管理單元和顯示單元，管理單元和顯示單元均和處理服務(wù)器(1)連接，顯示終端(9)以圖形用戶界面的方式呈現(xiàn)，用戶在圖形界面下，通過(guò)顯示終端(9)訪問(wèn)副本管理系統(tǒng)，執(zhí)行創(chuàng)建副本、刪除副本、查詢副本、瀏覽副本位置操作。
全文摘要
一種電信技術(shù)領(lǐng)域的網(wǎng)格數(shù)據(jù)副本管理系統(tǒng)，包括處理服務(wù)器、日志庫(kù)服務(wù)器、應(yīng)用分析服務(wù)器、元數(shù)據(jù)服務(wù)器、副本定位服務(wù)器、副本選擇服務(wù)器、副本維護(hù)服務(wù)器、數(shù)據(jù)存儲(chǔ)器、顯示終端。處理服務(wù)器接受來(lái)自于顯示終端或外部應(yīng)用程序的數(shù)據(jù)副本管理和數(shù)據(jù)訪問(wèn)需求，并根據(jù)不同的需求同元數(shù)據(jù)服務(wù)器、副本定位服務(wù)器及副本選擇服務(wù)器交互以處理需求；處理服務(wù)器同時(shí)生成數(shù)據(jù)訪問(wèn)日志記錄處理歷史記錄，儲(chǔ)存于日志庫(kù)服務(wù)器；當(dāng)日志分析啟動(dòng)條件滿足時(shí)，應(yīng)用分析服務(wù)器啟動(dòng)日志分析進(jìn)程，通過(guò)分析日志信息，處理產(chǎn)生優(yōu)化的副本放置策略；副本維護(hù)服務(wù)器實(shí)施上述策略并重組數(shù)據(jù)副本，更新后的副本的位置信息、衍生過(guò)程均通過(guò)顯示終端呈現(xiàn)給用戶。
文檔編號(hào)G06F17/30GK101022396SQ20071003807
公開(kāi)日2007年8月22日 申請(qǐng)日期2007年3月15日 優(yōu)先權(quán)日2007年3月15日
發(fā)明者黃林鵬, 楊歡 申請(qǐng)人:上海交通大學(xué)