本公開(kāi)涉及大數(shù)據(jù)，更具體地涉及一種基于流處理框架的數(shù)據(jù)分發(fā)方法、裝置及電子設(shè)備。

背景技術(shù)：

1、隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，可以利用分布式數(shù)據(jù)處理框架處理多種業(yè)務(wù)場(chǎng)景產(chǎn)生大量數(shù)據(jù)。例如，流處理框架flink可以將多種業(yè)務(wù)場(chǎng)景產(chǎn)生的數(shù)據(jù)分發(fā)至對(duì)應(yīng)的數(shù)據(jù)庫(kù)。

2、在實(shí)現(xiàn)本公開(kāi)發(fā)明構(gòu)思的過(guò)程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在以下技術(shù)問(wèn)題：流處理框架flink自身不支持將數(shù)據(jù)分發(fā)至多個(gè)數(shù)據(jù)庫(kù)，導(dǎo)致數(shù)據(jù)分發(fā)效率低，性能差。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問(wèn)題，本公開(kāi)提供了一種基于流處理框架的數(shù)據(jù)分發(fā)方法、裝置及電子設(shè)備。

2、根據(jù)本公開(kāi)的第一個(gè)方面，提供了一種基于流處理框架的數(shù)據(jù)分發(fā)方法，包括：響應(yīng)于接收到針對(duì)流處理框架的啟動(dòng)請(qǐng)求，生成流處理框架中至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間的映射關(guān)系，其中，資源槽用于執(zhí)行流處理框架的至少一個(gè)數(shù)據(jù)分發(fā)任務(wù)；基于映射關(guān)系，在至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間建立連接；以及響應(yīng)于接收到用于分發(fā)目標(biāo)數(shù)據(jù)的請(qǐng)求，基于連接，將目標(biāo)數(shù)據(jù)分發(fā)到至少一個(gè)數(shù)據(jù)庫(kù)地址中的目標(biāo)數(shù)據(jù)庫(kù)地址。

3、根據(jù)本公開(kāi)的實(shí)施例，其中，響應(yīng)于接收到針對(duì)流處理框架的啟動(dòng)請(qǐng)求，生成流處理框架中至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間的映射關(guān)系，包括：響應(yīng)于接收到針對(duì)流處理框架的啟動(dòng)請(qǐng)求，從流處理框架的數(shù)據(jù)交互類中獲取目標(biāo)配置參數(shù)，其中，目標(biāo)配置參數(shù)為用戶自定義的新增參數(shù)；根據(jù)目標(biāo)配置參數(shù)，確定與流處理框架相關(guān)的數(shù)據(jù)庫(kù)數(shù)量和數(shù)據(jù)庫(kù)地址，得到至少一個(gè)數(shù)據(jù)庫(kù)地址；以及生成流處理框架的至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間的映射關(guān)系。

4、根據(jù)本公開(kāi)的實(shí)施例，該方法還包括：在數(shù)據(jù)庫(kù)數(shù)量和/或數(shù)據(jù)庫(kù)地址發(fā)生變化的情況下，通過(guò)重新啟動(dòng)流處理框架更新目標(biāo)配置參數(shù)。

5、根據(jù)本公開(kāi)的實(shí)施例，其中，生成流處理框架的至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間的映射關(guān)系，包括：基于映射策略，根據(jù)至少一個(gè)資源槽各自的第一編號(hào)，計(jì)算至少一個(gè)資源槽各自的計(jì)算結(jié)果；根據(jù)至少一個(gè)資源槽各自的計(jì)算結(jié)果、和至少一個(gè)數(shù)據(jù)庫(kù)地址的第二編號(hào)，生成流處理框架的至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間的映射關(guān)系。

6、根據(jù)本公開(kāi)的實(shí)施例，其中，基于映射關(guān)系，在至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間建立連接，包括：在存在映射關(guān)系的資源槽和數(shù)據(jù)庫(kù)地址之間，建立m個(gè)連接，其中，m個(gè)連接之間包括一個(gè)主連接和(m-1)個(gè)從連接，m為大于1的正整數(shù)。

7、根據(jù)本公開(kāi)的實(shí)施例，該方法還包括：通過(guò)連接池管理m個(gè)連接。通過(guò)連接池管理m個(gè)連接還包括：在流處理框架處于運(yùn)行狀態(tài)的情況下，檢測(cè)主連接的連接狀態(tài)；以及響應(yīng)于檢測(cè)到主連接的連接狀態(tài)為異常，將(m-1)個(gè)從連接中連接狀態(tài)為正常的任意一個(gè)從連接作為新的主連接。

8、根據(jù)本公開(kāi)的實(shí)施例，其中，響應(yīng)于接收到用于分發(fā)目標(biāo)數(shù)據(jù)的請(qǐng)求，基于連接，將目標(biāo)數(shù)據(jù)分發(fā)至少一個(gè)數(shù)據(jù)庫(kù)地址中的目標(biāo)數(shù)據(jù)庫(kù)地址，包括：響應(yīng)于接收到用于分發(fā)目標(biāo)數(shù)據(jù)的請(qǐng)求，確定執(zhí)行與目標(biāo)數(shù)據(jù)相關(guān)的分發(fā)任務(wù)的目標(biāo)資源槽；根據(jù)映射關(guān)系，確定與目標(biāo)資源槽相對(duì)應(yīng)的目標(biāo)數(shù)據(jù)庫(kù)地址；以及調(diào)用流處理框架的分發(fā)函數(shù)，基于目標(biāo)資源槽與目標(biāo)數(shù)據(jù)庫(kù)地址之間的主連接，將目標(biāo)數(shù)據(jù)分發(fā)目標(biāo)數(shù)據(jù)庫(kù)地址。

9、本公開(kāi)的第二方面提供了一種基于流處理框架的數(shù)據(jù)分發(fā)裝置，包括：生成模塊，用于響應(yīng)于接收到針對(duì)流處理框架的啟動(dòng)請(qǐng)求，生成流處理框架中至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間的映射關(guān)系，其中，資源槽用于執(zhí)行流處理框架的至少一個(gè)數(shù)據(jù)分發(fā)任務(wù)；連接模塊，用于基于映射關(guān)系，在至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間建立連接；以及分發(fā)模塊，用于響應(yīng)于接收到用于分發(fā)目標(biāo)數(shù)據(jù)的請(qǐng)求，基于連接，將目標(biāo)數(shù)據(jù)分發(fā)到至少一個(gè)數(shù)據(jù)庫(kù)地址中的目標(biāo)數(shù)據(jù)庫(kù)地址。

10、本公開(kāi)的第三方面提供了一種電子設(shè)備，包括：一個(gè)或多個(gè)處理器；存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序，其中，當(dāng)一個(gè)或多個(gè)程序被一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得一個(gè)或多個(gè)處理器執(zhí)行上述基于流處理框架的數(shù)據(jù)分發(fā)方法。

11、本公開(kāi)的第四方面還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有可執(zhí)行指令，該指令被處理器執(zhí)行時(shí)使處理器執(zhí)行上述基于流處理框架的數(shù)據(jù)分發(fā)方法。

12、本公開(kāi)的第五方面還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述基于流處理框架的數(shù)據(jù)分發(fā)方法。

13、本公開(kāi)的實(shí)施例，通過(guò)在啟動(dòng)流處理框架時(shí)，自動(dòng)生成流處理框架中至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間的映射關(guān)系；基于映射關(guān)系，在至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間建立連接，無(wú)需通過(guò)編碼的方式預(yù)先設(shè)置映射關(guān)系和連接，實(shí)現(xiàn)了資源槽與數(shù)據(jù)庫(kù)地址之間的靈活映射，有助于根據(jù)映射關(guān)系建立的連接，靈活地向多個(gè)數(shù)據(jù)庫(kù)地址分發(fā)數(shù)據(jù)，提高了流處理框架的處理性能和數(shù)據(jù)分發(fā)效率。

技術(shù)特征：

1.一種基于流處理框架的數(shù)據(jù)分發(fā)方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述響應(yīng)于接收到針對(duì)流處理框架的啟動(dòng)請(qǐng)求，生成所述流處理框架中至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間的映射關(guān)系，包括：

3.根據(jù)權(quán)利要求2所述的方法，還包括：

4.根據(jù)權(quán)利要求1或2所述的方法，其中，所述生成所述流處理框架的至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間的映射關(guān)系，包括：

5.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述映射關(guān)系，在至少一個(gè)所述資源槽與至少一個(gè)所述數(shù)據(jù)庫(kù)地址之間建立連接，包括：

6.根據(jù)權(quán)利要求5所述的方法，還包括：

7.根據(jù)權(quán)利要求5或6所述的方法，其中，所述響應(yīng)于接收到用于分發(fā)目標(biāo)數(shù)據(jù)的請(qǐng)求，基于所述連接，將所述目標(biāo)數(shù)據(jù)分發(fā)至少一個(gè)所述數(shù)據(jù)庫(kù)地址中的目標(biāo)數(shù)據(jù)庫(kù)地址，包括：

8.一種基于流處理框架的數(shù)據(jù)分發(fā)裝置，包括：

9.一種電子設(shè)備，包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有可執(zhí)行指令，該指令被處理器執(zhí)行時(shí)使處理器執(zhí)行根據(jù)權(quán)利要求1～7中任一項(xiàng)所述的方法。

11.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1～7中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開(kāi)提供了一種基于流處理框架的數(shù)據(jù)分發(fā)方法、裝置及電子設(shè)備，可以應(yīng)用于大數(shù)據(jù)技術(shù)領(lǐng)域。該基于流處理框架的數(shù)據(jù)分發(fā)方法包括：響應(yīng)于接收到針對(duì)流處理框架的啟動(dòng)請(qǐng)求，生成流處理框架中至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間的映射關(guān)系，其中，資源槽用于執(zhí)行流處理框架的至少一個(gè)數(shù)據(jù)分發(fā)任務(wù)；基于映射關(guān)系，在至少一個(gè)資源槽與至少一個(gè)數(shù)據(jù)庫(kù)地址之間建立連接；以及響應(yīng)于接收到用于分發(fā)目標(biāo)數(shù)據(jù)的請(qǐng)求，基于連接，將目標(biāo)數(shù)據(jù)分發(fā)到至少一個(gè)數(shù)據(jù)庫(kù)地址中的目標(biāo)數(shù)據(jù)庫(kù)地址。

技術(shù)研發(fā)人員：李立召
受保護(hù)的技術(shù)使用者：北京沃東天駿信息技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/22