本發(fā)明涉及資源調(diào)度，尤其涉及一種云計(jì)算資源管理系統(tǒng)。

背景技術(shù)：

1、資源調(diào)度技術(shù)領(lǐng)域包含對(duì)計(jì)算資源的分配、調(diào)度和優(yōu)化，以確保計(jì)算任務(wù)的高效執(zhí)行。該技術(shù)領(lǐng)域的核心內(nèi)容包括計(jì)算資源的動(dòng)態(tài)分配、負(fù)載均衡、任務(wù)調(diào)度以及虛擬化管理等。資源調(diào)度技術(shù)主要應(yīng)用于數(shù)據(jù)中心、云計(jì)算平臺(tái)和分布式計(jì)算環(huán)境，通過(guò)算法和策略對(duì)計(jì)算資源進(jìn)行合理調(diào)控，提高資源利用率并降低計(jì)算成本。

2、其中，云計(jì)算資源管理系統(tǒng)是指在云計(jì)算環(huán)境下，對(duì)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源進(jìn)行統(tǒng)一調(diào)度和分配的系統(tǒng)。包括計(jì)算節(jié)點(diǎn)的任務(wù)分配、存儲(chǔ)資源的動(dòng)態(tài)管理以及網(wǎng)絡(luò)資源的帶寬分配等，確保云平臺(tái)能夠滿足多用戶并發(fā)計(jì)算需求并優(yōu)化整體運(yùn)行效率。

3、在云計(jì)算環(huán)境下，對(duì)計(jì)算任務(wù)的分配方式仍以靜態(tài)策略為主，難以根據(jù)計(jì)算任務(wù)的實(shí)際需求進(jìn)行動(dòng)態(tài)調(diào)整，導(dǎo)致計(jì)算資源的利用率較低。任務(wù)調(diào)度過(guò)程中未充分考慮任務(wù)之間的依賴關(guān)系，使任務(wù)分配的合理性受到限制，影響任務(wù)的執(zhí)行效率。計(jì)算資源的調(diào)度方式缺乏精準(zhǔn)的適配機(jī)制，計(jì)算任務(wù)的需求無(wú)法與算力池的計(jì)算資源精準(zhǔn)匹配，部分任務(wù)執(zhí)行過(guò)程中因資源供給不足而受到阻礙，而部分算力池資源處于低負(fù)載狀態(tài)，計(jì)算資源的整體利用率未能達(dá)到最優(yōu)。計(jì)算節(jié)點(diǎn)的負(fù)載監(jiān)測(cè)方式較為粗略，未能實(shí)時(shí)捕捉cpu、內(nèi)存、i/o等多項(xiàng)指標(biāo)的數(shù)據(jù)變化，導(dǎo)致任務(wù)執(zhí)行過(guò)程中可能出現(xiàn)部分節(jié)點(diǎn)負(fù)載過(guò)重，影響計(jì)算任務(wù)的穩(wěn)定性。算力池調(diào)整方式缺乏靈活性，無(wú)法在任務(wù)負(fù)載壓力較高時(shí)迅速進(jìn)行算力池的擴(kuò)展調(diào)整，導(dǎo)致任務(wù)在高負(fù)載狀態(tài)下執(zhí)行效率下降。任務(wù)調(diào)度方式較為單一，未能充分結(jié)合任務(wù)的執(zhí)行順序和依賴關(guān)系進(jìn)行優(yōu)化，任務(wù)的并行度設(shè)置較為局限，影響整體計(jì)算效率。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是解決現(xiàn)有技術(shù)中存在的缺點(diǎn)，而提出的一種云計(jì)算資源管理系統(tǒng)。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：一種云計(jì)算資源管理系統(tǒng)包括：

3、任務(wù)路徑分析模塊獲取云環(huán)境中計(jì)算任務(wù)的執(zhí)行數(shù)據(jù)，根據(jù)執(zhí)行數(shù)據(jù)篩選相互關(guān)聯(lián)的任務(wù)組合，建立計(jì)算路徑任務(wù)集合；

4、算力池映射模塊獲取所述計(jì)算路徑任務(wù)集合中每個(gè)任務(wù)對(duì)應(yīng)算力池的計(jì)算資源配置數(shù)據(jù)，將當(dāng)前任務(wù)的計(jì)算需求與算力池的計(jì)算資源配置數(shù)據(jù)匹配，計(jì)算算力池任務(wù)適配度，根據(jù)適配度進(jìn)行算力池分配，得到算力池任務(wù)映射結(jié)果；

5、節(jié)點(diǎn)負(fù)載監(jiān)測(cè)模塊基于所述算力池任務(wù)映射結(jié)果，監(jiān)測(cè)任務(wù)節(jié)點(diǎn)的cpu使用率、內(nèi)存占用率、i/o負(fù)載、任務(wù)執(zhí)行進(jìn)度，計(jì)算算力池的負(fù)載壓力系數(shù)，分析算力池的整體負(fù)載狀態(tài)分布，得到節(jié)點(diǎn)負(fù)載監(jiān)測(cè)數(shù)據(jù)；

6、算力池調(diào)整模塊將所述節(jié)點(diǎn)負(fù)載監(jiān)測(cè)數(shù)據(jù)中每種節(jié)點(diǎn)的負(fù)載情況與預(yù)設(shè)的負(fù)載閾值比較篩選負(fù)載節(jié)點(diǎn)，根據(jù)負(fù)載節(jié)點(diǎn)的負(fù)載情況調(diào)整算力池，得到算力池調(diào)整結(jié)果；

7、任務(wù)調(diào)度優(yōu)化模塊根據(jù)所述算力池調(diào)整結(jié)果，篩選受算力池調(diào)整影響的計(jì)算任務(wù)組，執(zhí)行任務(wù)調(diào)度調(diào)整，得到任務(wù)資源調(diào)度結(jié)果。

8、作為本發(fā)明的進(jìn)一步方案，所述計(jì)算路徑任務(wù)集合具體為任務(wù)交互關(guān)系網(wǎng)絡(luò)、任務(wù)執(zhí)行順序鏈、任務(wù)依賴關(guān)系強(qiáng)度，所述算力池任務(wù)映射結(jié)果包括任務(wù)計(jì)算需求匹配度、算力池計(jì)算資源利用率、算力池任務(wù)分配比例，所述節(jié)點(diǎn)負(fù)載監(jiān)測(cè)數(shù)據(jù)包括計(jì)算節(jié)點(diǎn)cpu負(fù)載指數(shù)、計(jì)算節(jié)點(diǎn)內(nèi)存使用率、計(jì)算節(jié)點(diǎn)i/o吞吐量、任務(wù)執(zhí)行進(jìn)度監(jiān)測(cè)值，所述算力池調(diào)整結(jié)果具體為調(diào)整后的負(fù)載均衡度、計(jì)算資源擴(kuò)展量、任務(wù)遷移數(shù)量，所述任務(wù)資源調(diào)度結(jié)果包括計(jì)算任務(wù)執(zhí)行優(yōu)先級(jí)、任務(wù)并行度窗口、優(yōu)化后任務(wù)分配量。

9、作為本發(fā)明的進(jìn)一步方案，所述任務(wù)路徑分析模塊包括：

10、任務(wù)執(zhí)行數(shù)據(jù)提取子模塊獲取云環(huán)境中計(jì)算任務(wù)的執(zhí)行數(shù)據(jù)，提取計(jì)算任務(wù)的任務(wù)標(biāo)識(shí)、數(shù)據(jù)輸入輸出關(guān)系、執(zhí)行時(shí)序信息，解析任務(wù)間的數(shù)據(jù)交互行為，計(jì)算任務(wù)執(zhí)行數(shù)據(jù)的交互頻率，獲取任務(wù)交互頻率數(shù)據(jù)；

11、任務(wù)路徑關(guān)聯(lián)度計(jì)算子模塊基于所述任務(wù)交互頻率數(shù)據(jù)，采用公式：

12、；

13、計(jì)算任務(wù)路徑關(guān)聯(lián)度；

14、其中，代表任務(wù)與任務(wù)之間的數(shù)據(jù)交換量，代表任務(wù)與任務(wù)之間的時(shí)間間隔，代表任務(wù)交互的總數(shù)量；

15、任務(wù)路徑優(yōu)化篩選子模塊對(duì)全部任務(wù)按照所述任務(wù)路徑關(guān)聯(lián)度進(jìn)行排序，依據(jù)預(yù)設(shè)的關(guān)聯(lián)閾值，篩選存在依賴關(guān)系的任務(wù)，根據(jù)任務(wù)關(guān)聯(lián)篩選結(jié)果建立計(jì)算路徑任務(wù)集合。

16、作為本發(fā)明的進(jìn)一步方案，所述算力池映射模塊包括：

17、算力資源獲取子模塊獲取所述計(jì)算路徑任務(wù)集合中的任務(wù)數(shù)據(jù)，解析任務(wù)的計(jì)算需求參數(shù)，包括cpu和gpu計(jì)算能力需求、內(nèi)存帶寬需求、網(wǎng)絡(luò)傳輸速率需求，獲取算力池的計(jì)算資源配置數(shù)據(jù)，提取算力池中的計(jì)算節(jié)點(diǎn)配置，包括cpu核心數(shù)、gpu計(jì)算能力、內(nèi)存容量、i/o帶寬、網(wǎng)絡(luò)延遲，計(jì)算每個(gè)算力池的資源可用量，獲取算力池資源數(shù)據(jù)；

18、任務(wù)適配度計(jì)算子模塊基于所述算力池資源數(shù)據(jù)，采用公式：

19、；

20、計(jì)算算力池任務(wù)適配度；

21、其中，代表任務(wù)在第資源項(xiàng)上的需求量，代表算力池中對(duì)應(yīng)資源項(xiàng)的可用量，代表資源項(xiàng)總數(shù)；

22、算力池任務(wù)分配子模塊根據(jù)所述算力池任務(wù)適配度，篩選適配度最高的算力池，依據(jù)適配度排名，進(jìn)行任務(wù)算力池映射，獲取分配后的任務(wù)計(jì)算資源映射關(guān)系，形成算力池任務(wù)映射結(jié)果。

23、作為本發(fā)明的進(jìn)一步方案，所述節(jié)點(diǎn)負(fù)載監(jiān)測(cè)模塊包括：

24、任務(wù)節(jié)點(diǎn)資源監(jiān)測(cè)子模塊基于所述算力池任務(wù)映射結(jié)果，監(jiān)測(cè)任務(wù)節(jié)點(diǎn)的cpu使用率、內(nèi)存占用率、i/o負(fù)載、任務(wù)執(zhí)行進(jìn)度，采用公式：

25、；

26、計(jì)算第個(gè)任務(wù)節(jié)點(diǎn)的負(fù)載壓力貢獻(xiàn)值；

27、其中，代表第個(gè)任務(wù)節(jié)點(diǎn)的cpu使用率，代表算力池內(nèi)全部任務(wù)節(jié)點(diǎn)的最大cpu使用率，代表第個(gè)任務(wù)節(jié)點(diǎn)的內(nèi)存占用率，代表算力池內(nèi)全部任務(wù)節(jié)點(diǎn)的最大內(nèi)存占用率，代表第個(gè)任務(wù)節(jié)點(diǎn)的i/o負(fù)載，代表算力池內(nèi)全部任務(wù)節(jié)點(diǎn)的最大i/o負(fù)載，代表第個(gè)任務(wù)節(jié)點(diǎn)的任務(wù)執(zhí)行進(jìn)度，代表算力池內(nèi)所有任務(wù)節(jié)點(diǎn)中任務(wù)執(zhí)行進(jìn)度最高的值；

28、負(fù)載狀態(tài)分析子模塊基于所述算力池的負(fù)載壓力系數(shù)，分析每個(gè)任務(wù)節(jié)點(diǎn)的壓力占比，篩選負(fù)載節(jié)點(diǎn)，統(tǒng)計(jì)負(fù)載節(jié)點(diǎn)在算力池中的比例，獲取節(jié)點(diǎn)負(fù)載監(jiān)測(cè)數(shù)據(jù)。

29、作為本發(fā)明的進(jìn)一步方案，所述算力池調(diào)整模塊包括：

30、節(jié)點(diǎn)負(fù)載篩選子模塊獲取所述節(jié)點(diǎn)負(fù)載監(jiān)測(cè)數(shù)據(jù)，將每個(gè)節(jié)點(diǎn)的負(fù)載值與預(yù)設(shè)的負(fù)載閾值進(jìn)行比較，篩選符合條件的負(fù)載節(jié)點(diǎn)，基于負(fù)載節(jié)點(diǎn)類型，執(zhí)行對(duì)應(yīng)的任務(wù)分配速率調(diào)整，得到任務(wù)調(diào)整后的節(jié)點(diǎn)負(fù)載情況；

31、算力池負(fù)載均衡計(jì)算子模塊基于所述任務(wù)調(diào)整后的節(jié)點(diǎn)負(fù)載情況，采用公式：

32、；

33、計(jì)算調(diào)整后的負(fù)載均衡度；

34、其中，代表第個(gè)節(jié)點(diǎn)的負(fù)載值，代表算力池內(nèi)全部節(jié)點(diǎn)的平均負(fù)載值，代表第個(gè)節(jié)點(diǎn)的任務(wù)分配速率，代表算力池內(nèi)全部節(jié)點(diǎn)的平均任務(wù)分配速率，代表算力池內(nèi)的總節(jié)點(diǎn)數(shù)；

35、算力池?cái)U(kuò)展調(diào)整子模塊基于所述調(diào)整后的負(fù)載均衡度分析算力池?cái)U(kuò)展需求，確定所需的資源拓展量，調(diào)用資源拓展量調(diào)整算力池的計(jì)算資源，得到算力池調(diào)整結(jié)果。

36、作為本發(fā)明的進(jìn)一步方案，所述任務(wù)調(diào)度優(yōu)化模塊包括：

37、任務(wù)篩選子模塊根據(jù)所述算力池調(diào)整結(jié)果中的資源拓展量，篩選受算力池調(diào)整影響的計(jì)算任務(wù)組，獲取任務(wù)執(zhí)行過(guò)程中新增或調(diào)整的資源分配情況，判斷受影響任務(wù)的計(jì)算需求變化，篩選符合資源調(diào)整范圍的計(jì)算任務(wù)，獲取受影響任務(wù)組；

38、任務(wù)并行度設(shè)定子模塊基于所述受影響任務(wù)組，根據(jù)任務(wù)執(zhí)行順序設(shè)定任務(wù)并行度窗口，分析任務(wù)的前后依賴關(guān)系，并計(jì)算最大可并行執(zhí)行的任務(wù)數(shù)量，獲取任務(wù)并行度配置；

39、任務(wù)調(diào)度調(diào)整子模塊基于所述任務(wù)并行度配置，依據(jù)任務(wù)執(zhí)行需求和資源可用性調(diào)整任務(wù)優(yōu)先級(jí)，優(yōu)化任務(wù)分配順序，獲取任務(wù)資源調(diào)度結(jié)果。

40、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)和積極效果在于：

41、本發(fā)明中，在云計(jì)算資源管理過(guò)程中，通過(guò)分析計(jì)算任務(wù)的執(zhí)行數(shù)據(jù)，篩選具有關(guān)聯(lián)性的任務(wù)組合，建立計(jì)算路徑任務(wù)集合，使計(jì)算任務(wù)的調(diào)度更加智能化，提高資源利用率。依據(jù)計(jì)算需求與算力池的匹配度進(jìn)行資源分配，動(dòng)態(tài)調(diào)整計(jì)算資源的適配性，實(shí)現(xiàn)計(jì)算任務(wù)的精準(zhǔn)調(diào)度。結(jié)合計(jì)算節(jié)點(diǎn)的負(fù)載狀態(tài)，實(shí)時(shí)監(jiān)測(cè)cpu使用率、內(nèi)存占用率、i/o負(fù)載等關(guān)鍵指標(biāo)，使資源分配更具彈性，降低高負(fù)載節(jié)點(diǎn)的計(jì)算壓力，確保整體系統(tǒng)的穩(wěn)定性。對(duì)算力池的負(fù)載情況進(jìn)行評(píng)估，調(diào)整任務(wù)分配策略，使計(jì)算任務(wù)在多個(gè)算力池之間合理分布，優(yōu)化任務(wù)遷移和資源擴(kuò)展策略，提高計(jì)算資源的均衡利用率。通過(guò)計(jì)算任務(wù)執(zhí)行順序分析，調(diào)整任務(wù)并行度窗口，使任務(wù)調(diào)度更加高效，減少因資源瓶頸導(dǎo)致的計(jì)算延遲。結(jié)合任務(wù)執(zhí)行需求和計(jì)算資源的可用性優(yōu)化任務(wù)執(zhí)行優(yōu)先級(jí)，實(shí)現(xiàn)更高效的計(jì)算任務(wù)分配策略，提高計(jì)算任務(wù)的整體執(zhí)行效率。