本公開(kāi)涉及數(shù)據(jù)流處理，具體涉及并行度的確定方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、timely數(shù)據(jù)流處理系統(tǒng)是一個(gè)基于分布式數(shù)據(jù)并行的數(shù)據(jù)流處理系統(tǒng)，其基本處理單元稱為worker，在一個(gè)物理機(jī)上，可以調(diào)度多個(gè)worker運(yùn)行。在timely中，計(jì)算任務(wù)被抽象為數(shù)據(jù)流圖，其中圖的頂點(diǎn)(也稱為操作符或算子)定義了具體的計(jì)算邏輯，而頂點(diǎn)間的邊則表示數(shù)據(jù)流。每個(gè)節(jié)點(diǎn)能夠獨(dú)立執(zhí)行任務(wù)，不受其他節(jié)點(diǎn)的干擾。但是，timely數(shù)據(jù)流處理系統(tǒng)并未提供任務(wù)相關(guān)運(yùn)行指標(biāo)，從而難以了解數(shù)據(jù)流的流向和每個(gè)算子的運(yùn)行狀態(tài)，且算子的并行度默認(rèn)與worker的數(shù)量相同，這就可能會(huì)導(dǎo)致算子資源的浪費(fèi)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本公開(kāi)提供了一種并行度的確定方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品，以解決運(yùn)行指標(biāo)不透明、算子資源浪費(fèi)的問(wèn)題。

2、第一方面，本公開(kāi)提供了一種任務(wù)并行度的確定方法，包括：獲取流處理任務(wù)對(duì)應(yīng)的任務(wù)算子；監(jiān)聽(tīng)針對(duì)任務(wù)算子產(chǎn)生的運(yùn)行事件，確定任務(wù)算子的運(yùn)行指標(biāo)；基于運(yùn)行指標(biāo)，確定任務(wù)算子的運(yùn)行性能數(shù)據(jù)；若運(yùn)行性能數(shù)據(jù)觸發(fā)任務(wù)瓶頸，則按照運(yùn)行性能數(shù)據(jù)調(diào)整任務(wù)算子的并行度，得到目標(biāo)并行度。

3、第二方面，本公開(kāi)提供了一種任務(wù)并行度的確定裝置，包括：獲取模塊，用于獲取流處理任務(wù)對(duì)應(yīng)的任務(wù)算子；監(jiān)聽(tīng)模塊，用于監(jiān)聽(tīng)針對(duì)任務(wù)算子產(chǎn)生的運(yùn)行事件，確定任務(wù)算子的運(yùn)行指標(biāo)；性能確定模塊，用于基于運(yùn)行指標(biāo)，確定任務(wù)算子的運(yùn)行性能數(shù)據(jù)；并行度調(diào)整模塊，用于若運(yùn)行性能數(shù)據(jù)觸發(fā)任務(wù)瓶頸，則按照運(yùn)行性能數(shù)據(jù)調(diào)整任務(wù)算子的并行度。

4、第三方面，本公開(kāi)提供了一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器和處理器，存儲(chǔ)器和處理器之間互相通信連接，存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)指令，處理器通過(guò)執(zhí)行計(jì)算機(jī)指令，從而執(zhí)行上述第一方面或其對(duì)應(yīng)的任一實(shí)施方式的任務(wù)并行度的確定方法。

5、第四方面，本公開(kāi)提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述第一方面或其對(duì)應(yīng)的任一實(shí)施方式的任務(wù)并行度的確定方法。

6、第五方面，本公開(kāi)提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述第一方面或其對(duì)應(yīng)的任一實(shí)施方式的任務(wù)并行度的確定方法。

7、本公開(kāi)提供的并行度的確定方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品，通過(guò)監(jiān)聽(tīng)流處理任務(wù)所對(duì)應(yīng)任務(wù)算子產(chǎn)生的運(yùn)行事件，確定任務(wù)算子的運(yùn)行指標(biāo)，由此能夠填補(bǔ)timely數(shù)據(jù)流處理系統(tǒng)在運(yùn)行指標(biāo)監(jiān)控方面的空白，增強(qiáng)了運(yùn)行指標(biāo)的透明度，為性能分析和優(yōu)化提供了數(shù)據(jù)支持。從而，能夠按照運(yùn)行指標(biāo)確定任務(wù)算子的運(yùn)行性能數(shù)據(jù)，在監(jiān)測(cè)到運(yùn)行性能數(shù)據(jù)觸發(fā)任務(wù)瓶頸時(shí)，則可以按照運(yùn)行性能數(shù)據(jù)調(diào)整任務(wù)算子的并行度，得到目標(biāo)并行度。由此，實(shí)現(xiàn)了根據(jù)實(shí)時(shí)運(yùn)行性能數(shù)據(jù)動(dòng)態(tài)調(diào)整任務(wù)算子的并行度，優(yōu)化了任務(wù)算子的資源分配，提升了算子資源利用率和流處理任務(wù)的處理性能，減少了算子資源浪費(fèi)。

技術(shù)特征：

1.一種并行度的確定方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取流處理任務(wù)對(duì)應(yīng)的任務(wù)算子，包括：

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述監(jiān)聽(tīng)針對(duì)所述任務(wù)算子產(chǎn)生的運(yùn)行事件，確定所述任務(wù)算子的運(yùn)行指標(biāo)，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述數(shù)據(jù)調(diào)度屬性包括消息事件屬性和調(diào)度事件屬性，所述按照所述任務(wù)算子的數(shù)據(jù)調(diào)度屬性，確定所述任務(wù)算子的運(yùn)行指標(biāo)，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，確定所述運(yùn)行性能數(shù)據(jù)是否觸發(fā)任務(wù)瓶頸，包括：

6.根據(jù)權(quán)利要求1或5所述的方法，其特征在于，所述按照所述運(yùn)行性能數(shù)據(jù)調(diào)整所述任務(wù)算子的并行度，得到目標(biāo)并行度，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，還包括：

8.一種并行度的確定裝置，其特征在于，所述裝置包括：

9.一種電子設(shè)備，其特征在于，包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行權(quán)利要求1至7中任一項(xiàng)所述的并行度的確定方法。

11.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行權(quán)利要求1至7中任一項(xiàng)所述的并行度的確定方法。

技術(shù)總結(jié)
本公開(kāi)涉及數(shù)據(jù)流處理技術(shù)領(lǐng)域，公開(kāi)了一種并行度的確定方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品，其中，該方法包括：獲取流處理任務(wù)對(duì)應(yīng)的任務(wù)算子；監(jiān)聽(tīng)針對(duì)任務(wù)算子產(chǎn)生的運(yùn)行事件，確定任務(wù)算子的運(yùn)行指標(biāo)；基于運(yùn)行指標(biāo)，確定任務(wù)算子的運(yùn)行性能數(shù)據(jù)；若運(yùn)行性能數(shù)據(jù)觸發(fā)任務(wù)瓶頸，則按照運(yùn)行性能數(shù)據(jù)調(diào)整任務(wù)算子的并行度，得到目標(biāo)并行度。通過(guò)實(shí)施本公開(kāi)技術(shù)方案，填補(bǔ)了Timely數(shù)據(jù)流處理系統(tǒng)在運(yùn)行指標(biāo)監(jiān)控方面的空白，增強(qiáng)了運(yùn)行指標(biāo)的透明度，優(yōu)化了任務(wù)算子的資源分配，提升了算子資源利用率和流處理任務(wù)的處理性能，減少了算子資源浪費(fèi)。

技術(shù)研發(fā)人員：韓煜星,王浩宇,陳煜
受保護(hù)的技術(shù)使用者：北京火山引擎科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15