本發(fā)明涉及一種任務(wù)優(yōu)化調(diào)度方法,特別是一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度方法。該方法屬于人工智能領(lǐng)域。
背景技術(shù):
1、隨著5g、物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等產(chǎn)業(yè)規(guī)模化落地,集中式云計(jì)算已無法滿足在網(wǎng)絡(luò)時(shí)延、帶寬成本、數(shù)據(jù)安全、業(yè)務(wù)敏捷等方面需求。作為行業(yè)數(shù)字轉(zhuǎn)型的核心能力底座,邊緣計(jì)算獲得業(yè)界的廣泛關(guān)注。邊緣計(jì)算已由技術(shù)概念期進(jìn)入到期望峰值期,成為未來計(jì)算的重要趨勢之一。于此同時(shí),隨著數(shù)字轉(zhuǎn)型的深入,邊緣計(jì)算在行業(yè)應(yīng)用深度和廣度上將得到進(jìn)一步加強(qiáng),廣泛應(yīng)用于工業(yè)、醫(yī)療、交通、教育、能源等眾多領(lǐng)域,充分利用近用戶側(cè)的先天優(yōu)勢,為行業(yè)用戶提供低成本、高質(zhì)量的服務(wù)。
2、邊緣計(jì)算技術(shù)融合正成為邊緣計(jì)算產(chǎn)業(yè)落地的“助推器”。行業(yè)數(shù)字轉(zhuǎn)型要求邊緣計(jì)算應(yīng)面向特定行業(yè)具備差異化與定制化的能力,以滿足行業(yè)應(yīng)用在高效算力、海量接入、智能分析、安全防護(hù)等方面的需求。邊緣計(jì)算作為基礎(chǔ)能力底座,與人工智能、大數(shù)據(jù)、區(qū)塊鏈、5g等各類新興技術(shù)具有天然的親和性,通過將各類技術(shù)“邊緣計(jì)算化”,并逐漸程序云邊端一體化架構(gòu),屏蔽底層分布式異構(gòu)資源,向上提供應(yīng)用統(tǒng)一運(yùn)行環(huán)境,實(shí)現(xiàn)應(yīng)用統(tǒng)一管理、業(yè)務(wù)敏捷部署、時(shí)延帶寬成本降低、數(shù)據(jù)安全存儲。
3、由于云、邊、端三者資源規(guī)模不同、位置分散,業(yè)務(wù)應(yīng)用對時(shí)延、性能、服務(wù)質(zhì)量、成本等方面需求各異,如何實(shí)現(xiàn)統(tǒng)一云邊端算力資源調(diào)度、應(yīng)用優(yōu)化編排和任務(wù)動(dòng)態(tài)調(diào)度,在保障用戶體驗(yàn)的同時(shí)最大化提升資源利用率、系統(tǒng)運(yùn)行穩(wěn)定性,成為主要挑戰(zhàn)。雖然目前業(yè)界從資源、流量、數(shù)據(jù)、應(yīng)用、算法等不同緯度探索云邊端資源優(yōu)化調(diào)度和任務(wù)優(yōu)化調(diào)度,但在實(shí)際業(yè)務(wù)場景下,由于業(yè)務(wù)多樣性和復(fù)雜性,接入延時(shí)、流量遷移、實(shí)時(shí)監(jiān)控等方面仍具備優(yōu)化提升空間。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明提出一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度方法,其目的是:構(gòu)建云邊端一體化機(jī)制,實(shí)現(xiàn)分布式應(yīng)用統(tǒng)一開發(fā)、部署、調(diào)度、管理,以及資源、流量、業(yè)務(wù)的統(tǒng)一全局調(diào)度管理;進(jìn)一步,融合知識圖譜、深度強(qiáng)化學(xué)習(xí)等技術(shù),實(shí)現(xiàn)跨云、邊、端的應(yīng)用優(yōu)化編排、服務(wù)請求智能指派和任務(wù)動(dòng)態(tài)優(yōu)化調(diào)度,最大化應(yīng)用運(yùn)行效率、云邊節(jié)點(diǎn)資源利用率、系統(tǒng)運(yùn)行穩(wěn)定性,提升云邊端環(huán)境下系統(tǒng)的工程實(shí)用性。
2、本發(fā)明為實(shí)現(xiàn)上述目的所采用的技術(shù)方案是:
3、一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度方法,包括以下步驟:
4、1)構(gòu)建云邊端協(xié)同機(jī)制;
5、2)構(gòu)建知識圖譜,并基于云邊端協(xié)同機(jī)制中的特征信息對知識圖譜的應(yīng)用進(jìn)行優(yōu)化編排;
6、3)對服務(wù)請求進(jìn)行智能指派;
7、4)基于深度強(qiáng)化學(xué)習(xí)算法對任務(wù)進(jìn)行動(dòng)態(tài)優(yōu)化調(diào)度。
8、所述步驟1)包括以下步驟:
9、1.1)基于kubernetes構(gòu)建云側(cè)云原生集群;
10、1.2)在云邊鏈路上,基于云側(cè)控制器與邊側(cè)控制器構(gòu)建用于實(shí)現(xiàn)跨云、邊的分布式應(yīng)用統(tǒng)一開發(fā)、部署、調(diào)度、管理,以及資源、流量、業(yè)務(wù)的統(tǒng)一全局調(diào)度管理的邊云協(xié)同引擎;
11、1.3)基于k3s構(gòu)建邊側(cè)云原生集群;
12、1.4)端側(cè)以邊緣網(wǎng)關(guān)、邊緣一體機(jī)為載體,并分布式部署在工業(yè)現(xiàn)場近設(shè)備側(cè),進(jìn)行數(shù)據(jù)采集、預(yù)處理、控制指令執(zhí)行。
13、所述步驟2)包括以下步驟:
14、2.1)建立面向應(yīng)用編排調(diào)度的知識圖譜;
15、2.2)基于當(dāng)前云邊端協(xié)同機(jī)制的特征信息,進(jìn)行知識圖譜搜索決策,以實(shí)現(xiàn)面向不同負(fù)載類型的節(jié)點(diǎn)調(diào)度和副本伸縮;
16、2.3)基于機(jī)器學(xué)習(xí)端到端的實(shí)體識別、關(guān)系抽取和關(guān)系補(bǔ)全對知識圖譜進(jìn)行自動(dòng)補(bǔ)全和修正。
17、所述步驟2.1)具體為:
18、基于邊緣節(jié)點(diǎn)多資源異構(gòu)特征信息和發(fā)布應(yīng)用特征信息,以最大化系統(tǒng)吞吐率、最大化應(yīng)用穩(wěn)定性為優(yōu)化目標(biāo),結(jié)合人工知識經(jīng)驗(yàn)抽取的方式構(gòu)建知識圖譜。
19、所述步驟3)包括以下步驟:
20、3.1)實(shí)時(shí)計(jì)算云邊端協(xié)同機(jī)制的網(wǎng)絡(luò)系統(tǒng)狀態(tài)、負(fù)載變化特性和資源使用情況;
21、3.2)根據(jù)服務(wù)請求的請求資源類型,從資源限制、應(yīng)用匹配度和負(fù)載狀態(tài),對服務(wù)節(jié)點(diǎn)進(jìn)行初篩選;
22、3.3)以最大化請求服務(wù)質(zhì)量為目標(biāo)函數(shù),在通過初篩選的服務(wù)節(jié)點(diǎn)中,尋找目標(biāo)函數(shù)最大的服務(wù)節(jié)點(diǎn),并進(jìn)行服務(wù)請求指派。
23、所述步驟4)包括以下步驟:
24、4.1)實(shí)時(shí)計(jì)算并收集云邊端節(jié)點(diǎn)的網(wǎng)絡(luò)狀態(tài)和負(fù)載狀態(tài)指標(biāo),采用arima時(shí)序預(yù)測模型對節(jié)點(diǎn)指標(biāo)進(jìn)行預(yù)測;
25、4.2)結(jié)合云邊端節(jié)點(diǎn)的網(wǎng)絡(luò)狀態(tài)和負(fù)載狀態(tài)的實(shí)時(shí)計(jì)算和預(yù)測指標(biāo),采用深度強(qiáng)化學(xué)習(xí)算法進(jìn)行任務(wù)優(yōu)化調(diào)度分析;
26、4.3)結(jié)合任務(wù)優(yōu)化調(diào)度分析結(jié)果,執(zhí)行面向應(yīng)用遷移、資源伸縮任務(wù)的動(dòng)態(tài)調(diào)度決策。
27、所述步驟4.2)包括以下步驟:
28、4.2.1)構(gòu)建樣本池:
29、以節(jié)點(diǎn)資源異構(gòu)特征、網(wǎng)絡(luò)狀態(tài)、任務(wù)特征、應(yīng)用資源需求為狀態(tài)空間,應(yīng)用運(yùn)行效率、節(jié)點(diǎn)資源利用率為目標(biāo)價(jià)值,應(yīng)用遷移、資源伸縮為動(dòng)作空間,構(gòu)建樣本池;
30、4.2.2)構(gòu)建策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò):
31、采用基于注意力機(jī)制的深度強(qiáng)化學(xué)習(xí)算法,將樣本池的狀態(tài)空間作為輸入,動(dòng)作空間作為輸出,實(shí)現(xiàn)云邊端任務(wù)動(dòng)態(tài)優(yōu)化決策,并且不斷結(jié)合包括節(jié)點(diǎn)遷移調(diào)度、資源伸縮調(diào)度的歷史決策結(jié)果,對算法進(jìn)行優(yōu)化;
32、4.2.3)自適應(yīng)學(xué)習(xí):
33、基于歷史任務(wù)優(yōu)化數(shù)據(jù),進(jìn)行深度強(qiáng)化學(xué)習(xí)算法自適應(yīng)訓(xùn)練學(xué)習(xí)。
34、一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度系統(tǒng),包括存儲器和處理器;所述存儲器,用于存儲計(jì)算機(jī)程序;所述處理器,用于當(dāng)執(zhí)行所述計(jì)算機(jī)程序時(shí),實(shí)現(xiàn)所述的一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度方法。
35、一種計(jì)算機(jī)可讀存儲介質(zhì),所述存儲介質(zhì)上存儲有計(jì)算機(jī)程序,當(dāng)所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí),實(shí)現(xiàn)所述的一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度方法。
36、本發(fā)明具有以下有益效果及優(yōu)點(diǎn):
37、1.本發(fā)明解決了云邊端協(xié)同中的應(yīng)用優(yōu)化編排問題,通過應(yīng)用負(fù)載的節(jié)點(diǎn)調(diào)度、副本伸縮,來提升系統(tǒng)吞吐率以及應(yīng)用穩(wěn)定性。
38、2.本發(fā)明結(jié)合網(wǎng)絡(luò)系統(tǒng)狀態(tài)、負(fù)載變化特性、請求資源類型等因素,進(jìn)行服務(wù)請求智能指派策略,提升服務(wù)請求質(zhì)量。
39、3.本發(fā)明通過基于深度強(qiáng)化學(xué)習(xí)的任務(wù)動(dòng)態(tài)優(yōu)化調(diào)度,提升應(yīng)用運(yùn)行效率、節(jié)點(diǎn)資源利用率。
1.一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度方法,其特征在于,所述步驟1)包括以下步驟:
3.根據(jù)權(quán)利要求1所述的一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度方法,其特征在于,所述步驟2)包括以下步驟:
4.根據(jù)權(quán)利要求3所述的一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度方法,其特征在于,所述步驟2.1)具體為:
5.根據(jù)權(quán)利要求1所述的一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度方法,其特征在于,所述步驟3)包括以下步驟:
6.根據(jù)權(quán)利要求1所述的一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度方法,其特征在于,所述步驟4)包括以下步驟:
7.根據(jù)權(quán)利要求6所述的一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度方法,其特征在于,所述步驟4.2)包括以下步驟:
8.一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度系統(tǒng),其特征在于,包括存儲器和處理器;所述存儲器,用于存儲計(jì)算機(jī)程序;所述處理器,用于當(dāng)執(zhí)行所述計(jì)算機(jī)程序時(shí),實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度方法。
9.一種計(jì)算機(jī)可讀存儲介質(zhì),其特征在于,所述存儲介質(zhì)上存儲有計(jì)算機(jī)程序,當(dāng)所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí),實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的一種基于云邊端協(xié)同機(jī)制的任務(wù)優(yōu)化調(diào)度方法。