本發(fā)明屬于云計(jì)算、資源管理領(lǐng)域,具體涉及一種基于樹表示的地理分布式數(shù)據(jù)中心資源調(diào)度方法。
背景技術(shù):
1、目前,應(yīng)用需求越發(fā)復(fù)雜化和規(guī)模化,應(yīng)用中的任務(wù)往往需要被跨地域分布式調(diào)度到不同的國家和區(qū)域,同時(shí)也需要確保其所被調(diào)度的多個(gè)區(qū)域之間的網(wǎng)絡(luò)情況滿足要求。與此對(duì)應(yīng),為應(yīng)對(duì)跨地域分布式需求,公有云供應(yīng)商在全球多個(gè)國家和區(qū)域建造了大量地理分布式云數(shù)據(jù)中心,這既能夠更好滿足應(yīng)用的復(fù)雜需求,又能夠利用不同地域下成本系數(shù)異構(gòu)的云資源以實(shí)現(xiàn)總成本的降低。租戶的云應(yīng)用程序由多個(gè)任務(wù)組成,云供應(yīng)商需要為租戶提供分布式資源,在此過程中云供應(yīng)商需要進(jìn)行資源調(diào)度,在有限時(shí)間內(nèi)高效率完成決策,以在滿足租戶需求的前提下優(yōu)化資源成本。資源調(diào)度決策需要綜合考慮地理分布式數(shù)據(jù)中心的資源特點(diǎn),在滿足租戶所申請(qǐng)的多個(gè)任務(wù)的資源量需求、多個(gè)任務(wù)間網(wǎng)絡(luò)帶寬與時(shí)延需求、每個(gè)任務(wù)與最終用戶間的接入時(shí)延需求的基礎(chǔ)上,實(shí)現(xiàn)總資源成本最低。當(dāng)前存在以下三大挑戰(zhàn):
2、1)復(fù)雜拓?fù)洌簭?fù)雜請(qǐng)求與跨域資源的精準(zhǔn)匹配難。請(qǐng)求分布與資源分布呈非對(duì)稱特征。具體來說,成本系數(shù)低的資源往往距離租戶較遠(yuǎn),但部分租戶卻傾向于要求使用就近資源以保證服務(wù)質(zhì)量。同時(shí),僅當(dāng)應(yīng)用程序?qū)θ蝿?wù)間通信提出嚴(yán)格要求時(shí),應(yīng)當(dāng)將任務(wù)放在同一區(qū)域;否則可以更靈活地調(diào)度任務(wù)以降低資源成本。因此,想找到高質(zhì)量的解,需要花費(fèi)大量時(shí)間分析拓?fù)?,從而很難保證效率。現(xiàn)有研究往往在決策效率上不足,面對(duì)如此復(fù)雜的拓?fù)?,僅面向數(shù)千個(gè)任務(wù),即使使用最先進(jìn)的lp求解器也需要數(shù)個(gè)小時(shí)的求解時(shí)間。
3、2)海量規(guī)模:海量任務(wù)與實(shí)時(shí)要求的高效決策難?,F(xiàn)有公有云廠商提出,僅僅在單集群場(chǎng)景中平均任務(wù)規(guī)模就已達(dá)到40k/s。而在地理分布式云場(chǎng)景,面向更加復(fù)雜的請(qǐng)求與資源拓?fù)?,公有云廠商更提出在100k請(qǐng)求下實(shí)現(xiàn)1s以內(nèi)完成調(diào)度的要求。在此規(guī)模下,效率不足會(huì)引起請(qǐng)求堆積,并引發(fā)嚴(yán)重的連鎖反應(yīng),導(dǎo)致決策質(zhì)量受到巨大影響。
4、3)滯后信息:繁冗信息與有限網(wǎng)絡(luò)的簡(jiǎn)明篩選難。大規(guī)??绲赜蚍植际皆频馁Y源狀態(tài)信息繁雜。然而,即使在大規(guī)模集群內(nèi)部,現(xiàn)有研究也已發(fā)現(xiàn)資源狀態(tài)同步時(shí)延無法忽略,在范圍更廣的跨地域分布式云基礎(chǔ)設(shè)施之間的資源狀態(tài)同步會(huì)受限于有限公共網(wǎng)絡(luò)而存在更大的同步時(shí)延。若每次決策前都等待最新狀態(tài)信息完整傳輸,則影響決策效率;若決策不使用最新狀態(tài)信息,則會(huì)使所作出的調(diào)度決策容易發(fā)生沖突,并影響決策質(zhì)量。
5、面向復(fù)雜化和規(guī)?;淖鈶粽?qǐng)求、云基礎(chǔ)設(shè)施,云供應(yīng)商越來越難以兼顧資源調(diào)度決策的效率和質(zhì)量,使資源調(diào)度決策成為一項(xiàng)艱巨的難題。此外,大規(guī)??绲赜蚍植际皆频馁Y源狀態(tài)信息繁雜,資源狀態(tài)同步時(shí)延無法忽略,產(chǎn)生信息滯后問題,會(huì)進(jìn)一步加劇多個(gè)調(diào)度器間視野盲區(qū)導(dǎo)致的調(diào)度沖突,更嚴(yán)重地影響決策效率與決策質(zhì)量。
6、傳統(tǒng)方案下,云供應(yīng)商僅依靠租戶自行人工選擇資源所在區(qū)域。但租戶通常僅選擇最靠近其最終用戶但昂貴的云區(qū)域資源,而忽略地理位置接近以能確保達(dá)到所需的服務(wù)級(jí)別協(xié)議(sla)但更廉價(jià)的云區(qū)域資源。由于缺乏網(wǎng)絡(luò)信息、資源成本信息、其他租戶需求信息,租戶也很難做出全局較優(yōu)解。
7、已有部分避免人工選擇的自動(dòng)化調(diào)度技術(shù),但它們?nèi)匀淮嬖诓蛔?。主流資源調(diào)度方法重點(diǎn)關(guān)注單區(qū)域內(nèi)資源調(diào)度優(yōu)化,盡管其中少數(shù)先進(jìn)方法關(guān)注到了大規(guī)模場(chǎng)景下的效率優(yōu)化,但它們都忽略了云資源的區(qū)域差異與任務(wù)的復(fù)雜需求,且效率較低。少數(shù)方法關(guān)注到跨區(qū)域調(diào)度,但是,它們都忽略了任務(wù)的復(fù)雜性,難以在有限時(shí)間內(nèi)做出高質(zhì)量調(diào)度決策。并且,現(xiàn)有方法都忽略了信息滯后帶來的影響。
8、由此可知,現(xiàn)有技術(shù)中的方法存在忽略地理分布式資源、調(diào)度效率低下、調(diào)度效果不佳的技術(shù)問題。
技術(shù)實(shí)現(xiàn)思路
1、基于上述問題,本發(fā)明目的是提供一種地理分布式數(shù)據(jù)中心資源調(diào)度方法,面向復(fù)雜化和大規(guī)?;淖鈶粽?qǐng)求、云基礎(chǔ)設(shè)施,幫助云供應(yīng)商實(shí)現(xiàn)資源調(diào)度決策,在有限的時(shí)間內(nèi)做出滿足租戶需求且資源成本較低的決策,實(shí)現(xiàn)兼顧決策效率和決策質(zhì)量。
2、本發(fā)明的技術(shù)方案:
3、一種地理分布式數(shù)據(jù)中心資源調(diào)度方法,包括以下步驟:
4、步驟1:針對(duì)調(diào)度場(chǎng)景進(jìn)行要素定義;
5、步驟2:離線表征過程:提前獲取云基礎(chǔ)設(shè)施資源和拓?fù)湫畔?,?duì)這些信息進(jìn)行預(yù)先離線表征處理,得到離線表征信息數(shù)據(jù),并周期性更新;
6、步驟3:在線調(diào)度:實(shí)時(shí)獲取請(qǐng)求拓?fù)?,基于?qǐng)求拓?fù)湫畔⒁约安襟E2構(gòu)建的離線表征信息數(shù)據(jù)進(jìn)行在線調(diào)度,得到可執(zhí)行的資源調(diào)度決策。
7、與現(xiàn)有技術(shù)相比,本發(fā)明具有以下優(yōu)點(diǎn)和有益效果:
8、本發(fā)明通過離線表征和在線調(diào)度相結(jié)合的方式,解決了現(xiàn)有方法在復(fù)雜拓?fù)淦ヅ?,海量?guī)模調(diào)度,和信息滯后處理方面的不足,兼顧了決策效率和決策質(zhì)量,能夠在有限時(shí)間內(nèi),做出滿足租戶需求且資源成本較低的決策。具體如下:
9、(1)高效處理復(fù)雜拓?fù)洌和ㄟ^模式構(gòu)建和區(qū)間聚合信息樹,大幅度提高了復(fù)雜拓?fù)湫畔⒌奶幚硭俣?,從而?shí)現(xiàn)快速、精確的資源匹配。
10、(2)滿足海量規(guī)模調(diào)度需求:?基于模式匹配和區(qū)間搜索策略,在1秒內(nèi),能夠面向100k租戶請(qǐng)求完成調(diào)度決策。
11、(3)緩解信息滯后問題:通過競(jìng)爭(zhēng)感知的狀態(tài)信息獲取和流水線機(jī)制,減少了信息滯后帶來的影響,提高了調(diào)度決策的質(zhì)量。
12、(4)優(yōu)化資源成本:綜合考慮資源成本和供需情況,在滿足租戶需求的前提下,實(shí)現(xiàn)總資源成本的最小化。
13、綜上所述,本發(fā)明實(shí)現(xiàn)快速、高效、且優(yōu)化的資源調(diào)度決策。
1.一種地理分布式數(shù)據(jù)中心資源調(diào)度方法,其特征在于,包括以下步驟:
2.如權(quán)利要求1所述的一種地理分布式數(shù)據(jù)中心資源調(diào)度方法,其特征在于,所述步驟1:
3.如權(quán)利要求1所述的一種地理分布式數(shù)據(jù)中心資源調(diào)度方法,其特征在于,所述步驟2包括:
4.如權(quán)利要求3所述的一種地理分布式數(shù)據(jù)中心資源調(diào)度方法,其特征在于,所述步驟2.2:
5.如權(quán)利要求3所述的一種地理分布式數(shù)據(jù)中心資源調(diào)度方法,其特征在于,所述步驟2.4,具體包括:
6.如權(quán)利要求1所述的一種地理分布式數(shù)據(jù)中心資源調(diào)度方法,其特征在于,所述步驟3,包括:
7.如權(quán)利要求6所述的一種地理分布式數(shù)據(jù)中心資源調(diào)度方法,其特征在于,所述步驟3.1:
8.如權(quán)利要求6所述的一種地理分布式數(shù)據(jù)中心資源調(diào)度方法,其特征在于,所述步驟3.2包括:
9.如權(quán)利要求6所述的一種地理分布式數(shù)據(jù)中心資源調(diào)度方法,其特征在于,所述步驟3.4:
10.如權(quán)利要求9所述的一種地理分布式數(shù)據(jù)中心資源調(diào)度方法,其特征在于,為候選區(qū)域打分的算法如下算法3: