技術(shù)特征：

1.一種輕量級(jí)的數(shù)據(jù)批處理方法，其特征在于，包括：

2.如權(quán)利要求1所述的一種輕量級(jí)的數(shù)據(jù)批處理方法，其特征在于，所述配置參數(shù)包括：數(shù)據(jù)源信息、處理邏輯信息、定時(shí)信息；

3.如權(quán)利要求2所述的一種輕量級(jí)的數(shù)據(jù)批處理方法，其特征在于，所述基于所述配置參數(shù)構(gòu)建所述配置文件，包括：

4.如權(quán)利要求2所述的一種輕量級(jí)的數(shù)據(jù)批處理方法，其特征在于，所述通過(guò)所述執(zhí)行器獲取所述當(dāng)前批處理任務(wù)對(duì)應(yīng)的當(dāng)前配置文件，包括：

5.如權(quán)利要求3所述的一種輕量級(jí)的數(shù)據(jù)批處理方法，其特征在于，所述通過(guò)所述批處理組件執(zhí)行所述當(dāng)前批處理任務(wù)，包括：

6.如權(quán)利要求5所述的一種輕量級(jí)的數(shù)據(jù)批處理方法，其特征在于，所述基于所述目標(biāo)數(shù)據(jù)的寫(xiě)入類(lèi)型，將其寫(xiě)入所述輸出數(shù)據(jù)源，包括：

7.如權(quán)利要求1所述的一種輕量級(jí)的數(shù)據(jù)批處理方法，其特征在于，還包括：

8.一種輕量級(jí)的數(shù)據(jù)批處理系統(tǒng)，其特征在于，包括：

9.一種電子設(shè)備，其中，該電子設(shè)備包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)一個(gè)或多個(gè)程序，所述一個(gè)或多個(gè)程序當(dāng)被處理器執(zhí)行時(shí)，實(shí)現(xiàn)權(quán)利要求1-7中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┝艘环N輕量級(jí)的數(shù)據(jù)批處理方法、系統(tǒng)、設(shè)備及介質(zhì)，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，包括接收批處理任務(wù)對(duì)應(yīng)的配置參數(shù)；通過(guò)批處理配置服務(wù)，生成與所述配置參數(shù)對(duì)應(yīng)的配置文件；實(shí)現(xiàn)了批處理任務(wù)的靈活配置與快速部署；基于所述配置參數(shù)構(gòu)建所述批處理任務(wù)對(duì)應(yīng)的定時(shí)調(diào)度任務(wù)；基于所述定時(shí)調(diào)度任務(wù)，啟動(dòng)執(zhí)行器和批處理組件對(duì)當(dāng)前批處理任務(wù)進(jìn)行處理；其中，基于所述定時(shí)調(diào)度任務(wù)進(jìn)行任務(wù)觸發(fā)，向所述執(zhí)行器發(fā)送當(dāng)前批處理任務(wù)；通過(guò)所述執(zhí)行器獲取所述當(dāng)前批處理任務(wù)對(duì)應(yīng)的當(dāng)前配置文件；讀取所述當(dāng)前配置文件，對(duì)所述當(dāng)前批處理任務(wù)進(jìn)行任務(wù)初始化；通過(guò)所述批處理組件執(zhí)行所述當(dāng)前批處理任務(wù)，顯著降低數(shù)據(jù)批處理的復(fù)雜度和成本。

技術(shù)研發(fā)人員：繆鈞軸,趙彥,金永輝,申小明,沈欣,萬(wàn)步云
受保護(hù)的技術(shù)使用者：上海億通國(guó)際股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/22