本申請(qǐng)涉及數(shù)據(jù)調(diào)度，具體地涉及一種數(shù)據(jù)調(diào)度方法、裝置、系統(tǒng)及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著經(jīng)濟(jì)全球化，工程機(jī)械行業(yè)存在頻繁的跨國貿(mào)易，為實(shí)現(xiàn)對(duì)跨國貿(mào)易中業(yè)務(wù)流程的精細(xì)化管理，商機(jī)搜尋、合同簽訂、物流發(fā)貨等各業(yè)務(wù)流程環(huán)節(jié)形成了多套業(yè)務(wù)管理系統(tǒng)。業(yè)務(wù)系統(tǒng)無時(shí)無刻不在產(chǎn)生大量數(shù)據(jù)，因數(shù)據(jù)產(chǎn)生時(shí)間是跨時(shí)區(qū)的，使用統(tǒng)一的分區(qū)管理不同時(shí)區(qū)的數(shù)據(jù)為數(shù)據(jù)倉庫建設(shè)帶來挑戰(zhàn)。盡管可以通過提高調(diào)度頻率來滿足多時(shí)區(qū)數(shù)據(jù)任務(wù)，比如在每個(gè)時(shí)區(qū)的當(dāng)?shù)貢r(shí)間為0點(diǎn)時(shí)啟動(dòng)調(diào)度跑批程序，但是增加調(diào)度頻次不僅會(huì)引發(fā)數(shù)據(jù)間的一致性問題，同時(shí)也可能產(chǎn)生引發(fā)調(diào)度堆積問題，帶來了更多的資源和性能消耗。因此，如何保證跨時(shí)區(qū)數(shù)據(jù)倉庫建設(shè)中的數(shù)據(jù)一致性，滿足不同時(shí)區(qū)業(yè)務(wù)人員的數(shù)據(jù)使用要求成為數(shù)據(jù)倉庫建設(shè)面臨的問題之一。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例的目的是提供一種數(shù)據(jù)調(diào)度方法、裝置、系統(tǒng)及存儲(chǔ)介質(zhì)，用以解決現(xiàn)有技術(shù)中跨時(shí)區(qū)數(shù)據(jù)調(diào)度的調(diào)度堆積、資源和性能消耗以及數(shù)據(jù)間不一致的技術(shù)問題。

2、為了實(shí)現(xiàn)上述目的，本申請(qǐng)第一方面提供一種數(shù)據(jù)調(diào)度方法，方法包括：

3、獲取業(yè)務(wù)系統(tǒng)中待調(diào)度數(shù)據(jù)在數(shù)據(jù)倉庫的數(shù)據(jù)鏈路所需的調(diào)度時(shí)長，其中，待調(diào)度數(shù)據(jù)包括多個(gè)地區(qū)的數(shù)據(jù)，每個(gè)地區(qū)有對(duì)應(yīng)的時(shí)區(qū)；

4、根據(jù)調(diào)度時(shí)長將多個(gè)時(shí)區(qū)劃分成多個(gè)時(shí)區(qū)分段；

5、根據(jù)每個(gè)時(shí)區(qū)分段的最小時(shí)區(qū)確定在預(yù)設(shè)基準(zhǔn)時(shí)區(qū)下與每個(gè)時(shí)區(qū)分段的調(diào)度開始時(shí)間；

6、根據(jù)每個(gè)時(shí)區(qū)分段的調(diào)度開始時(shí)間確定在預(yù)設(shè)基準(zhǔn)時(shí)區(qū)下對(duì)待調(diào)度數(shù)據(jù)進(jìn)行劃分的目標(biāo)時(shí)間段；

7、針對(duì)每個(gè)時(shí)區(qū)分段，確定每個(gè)時(shí)區(qū)分段的待調(diào)度數(shù)據(jù)中產(chǎn)生時(shí)間處于目標(biāo)時(shí)間段內(nèi)的數(shù)據(jù)確定為目標(biāo)數(shù)據(jù)；

8、針對(duì)每個(gè)時(shí)區(qū)分段，根據(jù)時(shí)區(qū)分段的調(diào)度開始時(shí)間將對(duì)應(yīng)的目標(biāo)數(shù)據(jù)調(diào)度至數(shù)據(jù)倉庫，以將目標(biāo)數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)倉庫與目標(biāo)時(shí)間段對(duì)應(yīng)的數(shù)據(jù)分區(qū)。

9、在本申請(qǐng)的實(shí)施例中，根據(jù)每個(gè)時(shí)區(qū)分段的最小時(shí)區(qū)確定在預(yù)設(shè)基準(zhǔn)時(shí)區(qū)下與每個(gè)時(shí)區(qū)分段的調(diào)度開始時(shí)間包括：確定每個(gè)時(shí)區(qū)分段包括的第一目標(biāo)時(shí)區(qū)；根據(jù)所有第一目標(biāo)時(shí)區(qū)對(duì)多個(gè)時(shí)區(qū)分段進(jìn)行排序，得到排序結(jié)果；針對(duì)每個(gè)時(shí)區(qū)分段，根據(jù)時(shí)區(qū)分段包括的最小時(shí)區(qū)數(shù)和排序結(jié)果確定在預(yù)設(shè)基準(zhǔn)時(shí)區(qū)下與時(shí)區(qū)分段對(duì)應(yīng)的調(diào)度開始時(shí)間，其中，時(shí)區(qū)分段的排序越靠前，時(shí)區(qū)分段對(duì)應(yīng)的調(diào)度開始時(shí)間越早。

10、在本申請(qǐng)的實(shí)施例中，對(duì)多個(gè)時(shí)區(qū)分段進(jìn)行排序的排序規(guī)則為按照時(shí)區(qū)數(shù)由大到小，且先正后負(fù)的原則進(jìn)行排序。

11、在本申請(qǐng)的實(shí)施例中，方法還包括：確定每個(gè)時(shí)區(qū)分段中未產(chǎn)生數(shù)據(jù)的第二目標(biāo)時(shí)區(qū)；每個(gè)時(shí)區(qū)分段，將第二目標(biāo)時(shí)區(qū)從時(shí)區(qū)分段中去除。

12、在本申請(qǐng)的實(shí)施例中，根據(jù)調(diào)度時(shí)長將多個(gè)時(shí)區(qū)劃分成多個(gè)時(shí)區(qū)分段包括：獲取多個(gè)預(yù)設(shè)調(diào)度執(zhí)行時(shí)長，預(yù)設(shè)調(diào)度執(zhí)行時(shí)長的取值為第一預(yù)設(shè)數(shù)值的公約數(shù)；在預(yù)設(shè)調(diào)度執(zhí)行時(shí)長中篩選與調(diào)度時(shí)長對(duì)應(yīng)的目標(biāo)調(diào)度執(zhí)行時(shí)長；根據(jù)目標(biāo)調(diào)度執(zhí)行時(shí)長將多個(gè)時(shí)區(qū)劃分成多個(gè)時(shí)區(qū)分段。

13、在本申請(qǐng)的實(shí)施例中，針對(duì)每個(gè)時(shí)區(qū)分段包括的最小時(shí)區(qū)與調(diào)度開始時(shí)間之和除第二預(yù)設(shè)數(shù)值的余數(shù)為第三預(yù)設(shè)數(shù)值。

14、在本申請(qǐng)的實(shí)施例中，調(diào)度時(shí)長是指待調(diào)度數(shù)據(jù)從數(shù)據(jù)鏈路的貼源層調(diào)度至應(yīng)用層的時(shí)長。

15、本申請(qǐng)第二方面提供一種數(shù)據(jù)調(diào)度裝置，包括：

16、存儲(chǔ)器，被配置成存儲(chǔ)指令；

17、處理器，被配置成從存儲(chǔ)器調(diào)用指令以及在執(zhí)行指令時(shí)能夠?qū)崿F(xiàn)根據(jù)上述的數(shù)據(jù)調(diào)度方法。

18、本申請(qǐng)第三方面提供一種數(shù)據(jù)調(diào)度系統(tǒng)，包括：

19、業(yè)務(wù)系統(tǒng)，用于產(chǎn)生待調(diào)度數(shù)據(jù)；

20、數(shù)據(jù)倉庫，用于存儲(chǔ)待調(diào)度數(shù)據(jù)；

21、如上述的數(shù)據(jù)調(diào)度裝置。

22、本申請(qǐng)第四方面提供一種機(jī)器可讀存儲(chǔ)介質(zhì)，該機(jī)器可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有指令，該指令用于使得機(jī)器執(zhí)行根據(jù)上述的數(shù)據(jù)調(diào)度方法。

23、通過上述技術(shù)方案，跨時(shí)區(qū)的數(shù)據(jù)調(diào)度方法通過調(diào)度鏈路的調(diào)度時(shí)長將全球時(shí)區(qū)劃分成多個(gè)時(shí)區(qū)分段，根據(jù)時(shí)區(qū)分段的最小時(shí)區(qū)確定每個(gè)時(shí)區(qū)分段在預(yù)設(shè)基準(zhǔn)時(shí)區(qū)下的調(diào)度開始時(shí)間。并且，根據(jù)調(diào)度開始時(shí)間確定預(yù)設(shè)基準(zhǔn)時(shí)區(qū)下處于目標(biāo)時(shí)間段需進(jìn)行調(diào)度的數(shù)據(jù)，通過目標(biāo)時(shí)間段來對(duì)調(diào)度后的數(shù)據(jù)進(jìn)行分區(qū)。將每個(gè)時(shí)區(qū)分段的待調(diào)度數(shù)據(jù)中產(chǎn)生時(shí)間處于目標(biāo)時(shí)間段內(nèi)的數(shù)據(jù)在調(diào)度開始時(shí)間開始調(diào)度，那么有n個(gè)時(shí)區(qū)分段，一個(gè)自然日內(nèi)則進(jìn)行n次的調(diào)度，每個(gè)時(shí)區(qū)分段的數(shù)據(jù)都在一天之內(nèi)完成了調(diào)度。并且，在每個(gè)調(diào)度的周期，只影響特定時(shí)區(qū)的數(shù)據(jù)。如此，有效地解決了跨時(shí)區(qū)的數(shù)據(jù)調(diào)度問題，保證了數(shù)據(jù)間的一致性。并且，在保證數(shù)據(jù)更新的及時(shí)性的情況下，同時(shí)減少了調(diào)度時(shí)的性能開銷。

24、本申請(qǐng)實(shí)施例的其它特征和優(yōu)點(diǎn)將在隨后的具體實(shí)施方式部分予以詳細(xì)說明。

技術(shù)特征：

1.一種數(shù)據(jù)調(diào)度方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)調(diào)度方法，其特征在于，所述根據(jù)每個(gè)時(shí)區(qū)分段的最小時(shí)區(qū)確定在預(yù)設(shè)基準(zhǔn)時(shí)區(qū)下與每個(gè)時(shí)區(qū)分段的調(diào)度開始時(shí)間包括：

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)調(diào)度方法，其特征在于，對(duì)所述多個(gè)時(shí)區(qū)分段進(jìn)行排序的排序規(guī)則為按照時(shí)區(qū)數(shù)由大到小，且先正后負(fù)的原則進(jìn)行排序。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)調(diào)度方法，其特征在于，所述方法還包括：

5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)調(diào)度方法，其特征在于，所述根據(jù)所述調(diào)度時(shí)長將多個(gè)時(shí)區(qū)劃分成多個(gè)時(shí)區(qū)分段包括：

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)調(diào)度方法，其特征在于，針對(duì)每個(gè)時(shí)區(qū)分段包括的最小時(shí)區(qū)與所述調(diào)度開始時(shí)間之和除第二預(yù)設(shè)數(shù)值的余數(shù)為第三預(yù)設(shè)數(shù)值。

7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)調(diào)度方法，其特征在于，所述調(diào)度時(shí)長是指所述待調(diào)度數(shù)據(jù)從所述數(shù)據(jù)鏈路的貼源層調(diào)度至應(yīng)用層的時(shí)長。

8.一種數(shù)據(jù)調(diào)度裝置，其特征在于，包括：

9.一種數(shù)據(jù)調(diào)度系統(tǒng)，其特征在于，包括：

10.一種機(jī)器可讀存儲(chǔ)介質(zhì)，其特征在于，該機(jī)器可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有指令，該指令用于使得機(jī)器執(zhí)行根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的數(shù)據(jù)調(diào)度方法。

技術(shù)總結(jié)
本申請(qǐng)公開了一種數(shù)據(jù)調(diào)度方法、裝置、系統(tǒng)及存儲(chǔ)介質(zhì)，方法包括：獲取業(yè)務(wù)系統(tǒng)中待調(diào)度數(shù)據(jù)在數(shù)據(jù)倉庫的數(shù)據(jù)鏈路所需的調(diào)度時(shí)長；根據(jù)調(diào)度時(shí)長將多個(gè)時(shí)區(qū)劃分成多個(gè)時(shí)區(qū)分段；根據(jù)每個(gè)時(shí)區(qū)分段的最小時(shí)區(qū)確定在預(yù)設(shè)基準(zhǔn)時(shí)區(qū)下的調(diào)度開始時(shí)間；根據(jù)調(diào)度開始時(shí)間確定在預(yù)設(shè)基準(zhǔn)時(shí)區(qū)下對(duì)待調(diào)度數(shù)據(jù)進(jìn)行劃分的目標(biāo)時(shí)間段；針對(duì)每個(gè)時(shí)區(qū)分段，確定每個(gè)時(shí)區(qū)分段的待調(diào)度數(shù)據(jù)中產(chǎn)生時(shí)間處于目標(biāo)時(shí)間段內(nèi)的數(shù)據(jù)確定為目標(biāo)數(shù)據(jù)；根據(jù)時(shí)區(qū)分段的調(diào)度開始時(shí)間將對(duì)應(yīng)的目標(biāo)數(shù)據(jù)調(diào)度至數(shù)據(jù)倉庫，以將目標(biāo)數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)倉庫與目標(biāo)時(shí)間段對(duì)應(yīng)的數(shù)據(jù)分區(qū)。上述方案，在保證跨時(shí)區(qū)數(shù)據(jù)調(diào)度及時(shí)性的情況下，同時(shí)減少了調(diào)度時(shí)的性能開銷，保證了數(shù)據(jù)間的一致性。

技術(shù)研發(fā)人員：王曉軍,謝冰彬,彭斌,左躍飛,鄧立民
受保護(hù)的技術(shù)使用者：中科云谷科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15