本技術(shù)涉及一種計(jì)算機(jī)數(shù)據(jù)處理，尤其涉及一種分布式批量數(shù)據(jù)處理方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著數(shù)字產(chǎn)業(yè)規(guī)模穩(wěn)步增長(zhǎng)，企業(yè)所需處理的業(yè)務(wù)數(shù)據(jù)也會(huì)越來(lái)龐大，在此情況下，數(shù)據(jù)處理的效率及穩(wěn)定性，會(huì)形成業(yè)務(wù)發(fā)展瓶頸，跟不上業(yè)務(wù)發(fā)展的速度，限制了業(yè)務(wù)發(fā)展。比如，當(dāng)數(shù)據(jù)處理的效率和穩(wěn)定性較低時(shí)，易造成單機(jī)硬件資源溢出的故障，浪費(fèi)資源。

2、基于此，如何提升數(shù)據(jù)處理的效率以及保證數(shù)據(jù)處理的穩(wěn)定性，對(duì)業(yè)務(wù)發(fā)展具有較大的意義。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種分布式批量數(shù)據(jù)處理方法、裝置及存儲(chǔ)介質(zhì)，以解決相關(guān)技術(shù)存在的問題，技術(shù)方案如下：

2、第一方面，本技術(shù)實(shí)施例提供了一種分布式批量數(shù)據(jù)處理方法，包括：

3、根據(jù)目標(biāo)業(yè)務(wù)場(chǎng)景的業(yè)務(wù)數(shù)據(jù)處理需求，配置所述目標(biāo)業(yè)務(wù)場(chǎng)景待處理的大批量數(shù)據(jù)的定時(shí)任務(wù)清單，其中，所述定時(shí)任務(wù)清單包括若干個(gè)定時(shí)任務(wù)及其對(duì)應(yīng)的定時(shí)任務(wù)標(biāo)簽；

4、根據(jù)所述目標(biāo)業(yè)務(wù)場(chǎng)景的業(yè)務(wù)處理邏輯和所述定時(shí)任務(wù)清單，生成任一所述定時(shí)任務(wù)的定時(shí)任務(wù)實(shí)例清單，其中，所述定時(shí)任務(wù)實(shí)例清單包括若干個(gè)定時(shí)任務(wù)實(shí)例及其對(duì)應(yīng)的定時(shí)任務(wù)標(biāo)簽、定時(shí)任務(wù)實(shí)例參數(shù)；

5、根據(jù)所述定時(shí)任務(wù)實(shí)例清單部署任務(wù)執(zhí)行集群，其中，所述任務(wù)執(zhí)行集群包括若干個(gè)執(zhí)行器；

6、根據(jù)所述定時(shí)任務(wù)清單和所述任務(wù)執(zhí)行集群，生成定時(shí)任務(wù)配置信息，其中，所述定時(shí)任務(wù)配置信息包括執(zhí)行器與定時(shí)任務(wù)標(biāo)簽之間的關(guān)聯(lián)關(guān)系；

7、根據(jù)所述定時(shí)任務(wù)配置信息，按照定時(shí)任務(wù)標(biāo)簽，將任一所述定時(shí)任務(wù)實(shí)例分配給所述任務(wù)執(zhí)行集群中的相應(yīng)執(zhí)行器；

8、根據(jù)所述定時(shí)任務(wù)實(shí)例參數(shù)，利用所述任務(wù)執(zhí)行集群采取取模運(yùn)算規(guī)則分批處理所述大批量數(shù)據(jù)，并匯總各個(gè)處理結(jié)果再存入數(shù)據(jù)庫(kù)中。

9、在一種實(shí)施方式中，根據(jù)目標(biāo)業(yè)務(wù)場(chǎng)景的業(yè)務(wù)數(shù)據(jù)處理需求，配置所述目標(biāo)業(yè)務(wù)場(chǎng)景待處理的大批量數(shù)據(jù)的定時(shí)任務(wù)清單包括：

10、根據(jù)所述業(yè)務(wù)數(shù)據(jù)處理需求，確定所述大批量數(shù)據(jù)的若干個(gè)處理維度；

11、根據(jù)若干個(gè)所述處理維度，配置所述定時(shí)任務(wù)清單。

12、在一種實(shí)施方式中，根據(jù)所述目標(biāo)業(yè)務(wù)場(chǎng)景的業(yè)務(wù)處理邏輯和所述定時(shí)任務(wù)清單，生成任一所述定時(shí)任務(wù)的定時(shí)任務(wù)實(shí)例清單包括：

13、根據(jù)所述業(yè)務(wù)處理邏輯，確定所述大批量數(shù)據(jù)的數(shù)據(jù)量分割單位；

14、根據(jù)所述數(shù)據(jù)量分割單位，確定所述大批量數(shù)據(jù)分割后可得到的數(shù)據(jù)集數(shù)量；

15、根據(jù)所述數(shù)據(jù)集數(shù)量和所述定時(shí)任務(wù)清單，生成任一所述定時(shí)任務(wù)的定時(shí)任務(wù)實(shí)例清單。

16、在一種實(shí)施方式中，根據(jù)所述定時(shí)任務(wù)實(shí)例清單部署任務(wù)執(zhí)行集群包括：

17、根據(jù)所述定時(shí)任務(wù)實(shí)例清單，利用容器化部署工具實(shí)例化若干個(gè)應(yīng)用實(shí)例，得到所述任務(wù)執(zhí)行集群，其中，一個(gè)所述應(yīng)用實(shí)例為一個(gè)所述執(zhí)行器。

18、在一種實(shí)施方式中，根據(jù)所述定時(shí)任務(wù)清單和所述任務(wù)執(zhí)行集群，生成定時(shí)任務(wù)配置信息包括：

19、根據(jù)所述定時(shí)任務(wù)清單，為任一所述定時(shí)任務(wù)配置執(zhí)行周期、編號(hào)和任務(wù)名稱，再?gòu)乃鋈蝿?wù)執(zhí)行集群中選擇用于執(zhí)行任一所述定時(shí)任務(wù)的執(zhí)行器，生成所述定時(shí)任務(wù)配置信息。

20、在一種實(shí)施方式中，根據(jù)所述定時(shí)任務(wù)實(shí)例參數(shù)，利用所述任務(wù)執(zhí)行集群采取取模運(yùn)算規(guī)則分批處理所述大批量數(shù)據(jù)包括：

21、根據(jù)所述定時(shí)任務(wù)實(shí)例參數(shù)，獲取任一所述定時(shí)任務(wù)實(shí)例對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)，其中，所有所述定時(shí)任務(wù)實(shí)例對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)組成所述大批量數(shù)據(jù)；

22、利用任一所述定時(shí)任務(wù)實(shí)例對(duì)應(yīng)的執(zhí)行器，根據(jù)取模運(yùn)算規(guī)則初始化若干條子線程；

23、通過若干條所述子線程分批次處理所述業(yè)務(wù)數(shù)據(jù)。

24、在一種實(shí)施方式中，匯總各個(gè)處理結(jié)果再存入數(shù)據(jù)庫(kù)中包括：

25、監(jiān)控到若干條所述子線程均完成數(shù)據(jù)處理時(shí)，收集若干條所述線程的處理結(jié)果；

26、匯總?cè)舾蓷l所述子線程的處理結(jié)果，再將匯總結(jié)果存入所述數(shù)據(jù)庫(kù)中。

27、第二方面，本技術(shù)實(shí)施例還提供了一種分布式批量數(shù)據(jù)處理裝置，包括：

28、配置單元，用于根據(jù)目標(biāo)業(yè)務(wù)場(chǎng)景的業(yè)務(wù)數(shù)據(jù)處理需求，配置所述目標(biāo)業(yè)務(wù)場(chǎng)景待處理的大批量數(shù)據(jù)的定時(shí)任務(wù)清單，其中，所述定時(shí)任務(wù)清單包括若干個(gè)定時(shí)任務(wù)及其對(duì)應(yīng)的定時(shí)任務(wù)標(biāo)簽；

29、部署單元，用于根據(jù)所述目標(biāo)業(yè)務(wù)場(chǎng)景的業(yè)務(wù)處理邏輯和所述定時(shí)任務(wù)清單，生成任一所述定時(shí)任務(wù)的定時(shí)任務(wù)實(shí)例清單，其中，所述定時(shí)任務(wù)實(shí)例清單包括若干個(gè)定時(shí)任務(wù)實(shí)例及其對(duì)應(yīng)的定時(shí)任務(wù)標(biāo)簽、定時(shí)任務(wù)實(shí)例參數(shù)；根據(jù)所述定時(shí)任務(wù)實(shí)例清單部署任務(wù)執(zhí)行集群，其中，所述任務(wù)執(zhí)行集群包括若干個(gè)執(zhí)行器；

30、處理單元，用于根據(jù)所述定時(shí)任務(wù)清單和所述任務(wù)執(zhí)行集群，生成定時(shí)任務(wù)配置信息，其中，所述定時(shí)任務(wù)配置信息包括執(zhí)行器與定時(shí)任務(wù)標(biāo)簽之間的關(guān)聯(lián)關(guān)系；根據(jù)所述定時(shí)任務(wù)配置信息，按照定時(shí)任務(wù)標(biāo)簽，將任一所述定時(shí)任務(wù)實(shí)例分配給所述任務(wù)執(zhí)行集群中的相應(yīng)執(zhí)行器；根據(jù)所述定時(shí)任務(wù)實(shí)例參數(shù)，利用所述任務(wù)執(zhí)行集群采取取模運(yùn)算規(guī)則分批處理所述大批量數(shù)據(jù)，并匯總各個(gè)處理結(jié)果再存入數(shù)據(jù)庫(kù)中。

31、在一種實(shí)施方式中，所述配置單元具體用于：

32、根據(jù)所述業(yè)務(wù)數(shù)據(jù)處理需求，確定所述大批量數(shù)據(jù)的若干個(gè)處理維度；

33、根據(jù)若干個(gè)所述處理維度，配置所述定時(shí)任務(wù)清單。

34、在一種實(shí)施方式中，所述部署單元具體用于：

35、根據(jù)所述業(yè)務(wù)處理邏輯，確定所述大批量數(shù)據(jù)的數(shù)據(jù)量分割單位；

36、根據(jù)所述數(shù)據(jù)量分割單位，確定所述大批量數(shù)據(jù)分割后可得到的數(shù)據(jù)集數(shù)量；

37、根據(jù)所述數(shù)據(jù)集數(shù)量和所述定時(shí)任務(wù)清單，生成任一所述定時(shí)任務(wù)的定時(shí)任務(wù)實(shí)例清單。

38、在一種實(shí)施方式中，所述部署單元具體用于：

39、根據(jù)所述定時(shí)任務(wù)實(shí)例清單，利用容器化部署工具實(shí)例化若干個(gè)應(yīng)用實(shí)例，得到所述任務(wù)執(zhí)行集群，其中，一個(gè)所述應(yīng)用實(shí)例為一個(gè)所述執(zhí)行器。

40、在一種實(shí)施方式中，所述處理單元具體用于：

41、根據(jù)所述定時(shí)任務(wù)清單，為任一所述定時(shí)任務(wù)配置執(zhí)行周期、編號(hào)和任務(wù)名稱，再?gòu)乃鋈蝿?wù)執(zhí)行集群中選擇用于執(zhí)行任一所述定時(shí)任務(wù)的執(zhí)行器，生成所述定時(shí)任務(wù)配置信息。

42、在一種實(shí)施方式中，所述處理單元具體用于：

43、根據(jù)所述定時(shí)任務(wù)實(shí)例參數(shù)，獲取任一所述定時(shí)任務(wù)實(shí)例對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)，其中，所有所述定時(shí)任務(wù)實(shí)例對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)組成所述大批量數(shù)據(jù)；

44、利用任一所述定時(shí)任務(wù)實(shí)例對(duì)應(yīng)的執(zhí)行器，根據(jù)取模運(yùn)算規(guī)則初始化若干條子線程；

45、通過若干條所述子線程分批次處理所述業(yè)務(wù)數(shù)據(jù)。

46、在一種實(shí)施方式中，所述處理單元具體用于：

47、監(jiān)控到若干條所述子線程均完成數(shù)據(jù)處理時(shí)，收集若干條所述線程的處理結(jié)果；

48、匯總?cè)舾蓷l所述子線程的處理結(jié)果，再將匯總結(jié)果存入所述數(shù)據(jù)庫(kù)中。

49、第三方面，本技術(shù)實(shí)施例還提供了一種計(jì)算機(jī)裝置，該計(jì)算機(jī)裝置包括：存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)指令，所述指令由所述處理器加載并執(zhí)行，以實(shí)現(xiàn)上述各方面任一種實(shí)施方式中的方法，其中，所述存儲(chǔ)器和所述處理器通過內(nèi)部連接通路互相通信。

50、第四方面，本技術(shù)實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)，實(shí)現(xiàn)上述各方面任一種實(shí)施方式中的方法。

51、上述技術(shù)方案中的優(yōu)點(diǎn)或有益效果至少包括：

52、本技術(shù)可以以業(yè)務(wù)數(shù)據(jù)處理需求為驅(qū)動(dòng)，自定義數(shù)據(jù)處理的定時(shí)任務(wù)，以及支持給定時(shí)任務(wù)指定定時(shí)任務(wù)標(biāo)簽，便于滿足目標(biāo)業(yè)務(wù)場(chǎng)景相應(yīng)的業(yè)務(wù)需求；還可以支持根據(jù)業(yè)務(wù)場(chǎng)景是否處于數(shù)據(jù)高峰期，通過定時(shí)任務(wù)標(biāo)簽橫向擴(kuò)容、收縮任務(wù)執(zhí)行集群中的執(zhí)行器，最大化了提升主機(jī)使用效率，避免資源浪費(fèi)，還可以通過任務(wù)執(zhí)行集群來(lái)并行處理業(yè)務(wù)數(shù)據(jù)，把大批量數(shù)據(jù)分割成若干個(gè)小數(shù)據(jù)集合，再把小數(shù)據(jù)集合分配給多個(gè)定時(shí)任務(wù)并行處理，最后匯總數(shù)據(jù)處理結(jié)果，從而可以有效提升數(shù)據(jù)處理的效率以及保證數(shù)據(jù)處理的穩(wěn)定性，避免了出現(xiàn)單機(jī)硬件資源溢出的故障。

53、上述概述僅僅是為了說明書的目的，并不意圖以任何方式進(jìn)行限制。除上述描述的示意性的方面、實(shí)施方式和特征之外，通過參考附圖和以下的詳細(xì)描述，本技術(shù)進(jìn)一步的方面、實(shí)施方式和特征將會(huì)是容易明白的。