本發(fā)明涉及計算機(jī)，尤其涉及一種模板化的流水線組件設(shè)計方法及系統(tǒng)。

背景技術(shù)：

1、隨著數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，流水線管理在處理復(fù)雜的任務(wù)和工作流中扮演著至關(guān)重要的角色，流水線任務(wù)通常涉及到數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型評估和模型部署等環(huán)節(jié)，每一個環(huán)節(jié)都需要依賴不同的任務(wù)和工具，這使得任務(wù)的編排和管理變得復(fù)雜。為了解決這一問題，許多系統(tǒng)和框架運應(yīng)而生，當(dāng)前主流的流水線管理工具有：kubeflowpipelines、mlflow、airflow和argo?workflows，雖然通過這些流水線管理工具在一定程度上提高了任務(wù)的編排和管理效率，但都存在以下缺陷：

2、(1)配置復(fù)雜：需要用戶通過配置文件定義任務(wù)，技術(shù)門檻高；

3、(2)協(xié)作困難：缺乏統(tǒng)一的參數(shù)規(guī)范和數(shù)據(jù)傳遞標(biāo)準(zhǔn)，導(dǎo)致組件間的數(shù)據(jù)流轉(zhuǎn)和依賴關(guān)系管理復(fù)雜，存在不穩(wěn)定性和易錯性；

4、(3)操作不便：以命令行或配置文件進(jìn)行任務(wù)管理和設(shè)計，無法直觀查看任務(wù)的依賴關(guān)系和狀態(tài)，影響任務(wù)的編排和管理效率。

技術(shù)實現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是：本發(fā)明提供一種模板化的流水線組件設(shè)計方法及系統(tǒng)，簡化任務(wù)編排配置的復(fù)雜性，降低技術(shù)門檻，提高操作便捷性的同時提高協(xié)作效率，提高流水線執(zhí)行效率。

2、為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：

3、第一方面，本發(fā)明提供一種模板化的流水線組件設(shè)計方法，包括：

4、接收用戶在可視化界面中針對每一個任務(wù)所配置的組件模板信息，根據(jù)模板規(guī)范對所述組件模板信息進(jìn)行解析，得到對應(yīng)的組件參數(shù)信息，根據(jù)所述組件參數(shù)信息在流水線編排界面實現(xiàn)對組件的渲染，得到對應(yīng)的組件，同時生成所述組件的配置文件；

5、接收用戶在所述流水線編排界面中對所述組件進(jìn)行的行為操作，根據(jù)所述行為操作生成流水線，通過任務(wù)調(diào)度器運行所述流水線中組件的配置文件，實現(xiàn)對所述流水線的執(zhí)行。

6、本發(fā)明的有益效果在于：以模板化的方式支持用戶在可視化界面進(jìn)行任務(wù)配置，無需編寫復(fù)雜的配置文件，降低技術(shù)門檻，提高操作便捷性，并且以統(tǒng)一的模板規(guī)范對組件模板信息進(jìn)行解析以生成對應(yīng)的組件和組件的配置文件，統(tǒng)一的規(guī)范體系，使得任務(wù)之間的協(xié)作更加順暢，數(shù)據(jù)傳遞更加可靠，提高運行的穩(wěn)定性，降低易錯率，且在進(jìn)行任務(wù)編排時也是提供了可視化的流水線編排界面供用戶進(jìn)行行為操作，簡化了任務(wù)編排的復(fù)雜性，提高任務(wù)編排效率和流水線的執(zhí)行效率。

7、可選地，所述接收用戶在可視化界面中針對每一個任務(wù)配置的組件模板信息之前包括：

8、接收用戶在可視化界面中針對每一個任務(wù)選擇的組件類型，判斷所述組件類型是否存在原始組件庫中，若不存在，則發(fā)送待創(chuàng)建組件模板信息至用戶，所述待創(chuàng)建組件模板信息用于用戶進(jìn)行新組件的創(chuàng)建；

9、接收用戶進(jìn)行新組件的創(chuàng)建所配置的待創(chuàng)建組件模板信息，并以預(yù)覽形式生成待確認(rèn)配置信息，當(dāng)所述待確認(rèn)配置信息正確時，將所述待確認(rèn)配置信息發(fā)送至所述原始組件庫以實現(xiàn)對所述新組件的創(chuàng)建。

10、根據(jù)上述描述可知，支持用戶自定義擴(kuò)展組件，且用戶只需要配置待創(chuàng)建組件模板信息，無需進(jìn)行核心代碼的修改，即可完成新組件創(chuàng)建，提高流水線設(shè)計的擴(kuò)展性和靈活性，并且在將待確認(rèn)配置信息發(fā)送至原始組件庫實現(xiàn)對新組件的創(chuàng)建之前會以預(yù)覽形式生成待確認(rèn)配置信息，即，提供可視化的預(yù)覽確認(rèn)機(jī)制，提高新組件創(chuàng)建的準(zhǔn)確性，優(yōu)化用戶體驗。

11、可選地，所述模板規(guī)范包括第一規(guī)范、第二規(guī)范和第三規(guī)范，所述根據(jù)模板規(guī)范對所述組件模板信息進(jìn)行解析包括：

12、從所述組件模板信息中獲取輸入?yún)?shù)、輸出參數(shù)、控制參數(shù)、任務(wù)基本信息和任務(wù)參數(shù)；

13、根據(jù)所述第一規(guī)范對所述輸入?yún)?shù)進(jìn)行解析，得到所述輸入?yún)?shù)的輸入類型，根據(jù)所述輸入類型得到組件動態(tài)行為；

14、根據(jù)所述第二規(guī)范對所述輸出參數(shù)進(jìn)行解析，得到輸出類型，根據(jù)所述輸出類型得到組件輸出產(chǎn)物；

15、根據(jù)所述第三規(guī)范對所述控制參數(shù)進(jìn)行解析，得到所述控制參數(shù)的參數(shù)信息，根據(jù)所述參數(shù)信息得到組件執(zhí)行行為；

16、將所述組件動態(tài)行為、所述組件輸出產(chǎn)物、所述組件執(zhí)行行為、所述任務(wù)基本信息和所述任務(wù)參數(shù)作為組件參數(shù)信息。

17、根據(jù)上述描述可知，以統(tǒng)一的規(guī)范體系對輸入?yún)?shù)、輸出參數(shù)以及控制參數(shù)進(jìn)行解析，對組件規(guī)范行為、組件輸出產(chǎn)物和組件執(zhí)行行為進(jìn)行規(guī)范，使得所有組件都能夠按照統(tǒng)一規(guī)則進(jìn)行交互，減少由于參數(shù)不兼容導(dǎo)致的錯誤和調(diào)試難度，確保流水線執(zhí)行的穩(wěn)定性。

18、可選地，所述組件類型包括：數(shù)據(jù)預(yù)處理組件、模型訓(xùn)練組件、模型評估組件、模型部署組件、數(shù)據(jù)可視化組件和通知組件。

19、根據(jù)上述描述可知，組件類型的多樣化，提高了流水線的靈活性和復(fù)用性。

20、可選地，所述行為操作包括拖拽組件和連接組件。

21、根據(jù)上述描述可知，用戶在流水線編排界面可以通過拖拽組件和連接組件實現(xiàn)對流水線的編排，簡化流水線編排的復(fù)雜性，實現(xiàn)快速部署。

22、第二方面，本發(fā)明提供一種模板化的流水線組件設(shè)計系統(tǒng)，包括：

23、任務(wù)配置模塊，用于接收用戶在可視化界面中針對每一個任務(wù)所配置的組件模板信息，根據(jù)模板規(guī)范對所述組件模板信息進(jìn)行解析，得到對應(yīng)的組件參數(shù)信息，根據(jù)所述組件參數(shù)信息在流水線編排界面實現(xiàn)對組件的渲染，得到對應(yīng)的組件，同時生成所述組件的配置文件；

24、任務(wù)編排模塊，用于接收用戶在所述流水線編排界面中對所述組件進(jìn)行的行為操作，根據(jù)所述行為操作生成流水線，通過任務(wù)調(diào)度器運行所述流水線中組件的配置文件，實現(xiàn)對所述流水線的執(zhí)行。

25、本發(fā)明的有益效果在于：以模板化的方式支持用戶在可視化界面進(jìn)行任務(wù)配置，無需編寫復(fù)雜的配置文件，降低技術(shù)門檻，提高操作便捷性，并且以統(tǒng)一的模板規(guī)范對組件模板信息進(jìn)行解析以生成對應(yīng)的組件和組件的配置文件，統(tǒng)一的規(guī)范體系，使得任務(wù)之間的協(xié)作更加順暢，數(shù)據(jù)傳遞更加可靠，提高運行的穩(wěn)定性，降低易錯率，且在進(jìn)行任務(wù)編排時也是提供了可視化的流水線編排界面供用戶進(jìn)行行為操作，簡化了任務(wù)編排的復(fù)雜性，提高任務(wù)編排效率和流水線的執(zhí)行效率。

26、可選地，所述任務(wù)配置模塊包括：

27、組件創(chuàng)建模塊，用于接收用戶在可視化界面中針對每一個任務(wù)選擇的組件類型，判斷所述組件類型是否存在原始組件庫中，若不存在，則發(fā)送待創(chuàng)建組件模板信息至用戶，所述待創(chuàng)建組件模板信息用于用戶進(jìn)行新組件的創(chuàng)建；

28、接收用戶進(jìn)行新組件的創(chuàng)建所配置的待創(chuàng)建組件模板信息，并以預(yù)覽形式生成待確認(rèn)配置信息，當(dāng)所述待確認(rèn)配置信息正確時，將所述待確認(rèn)配置信息發(fā)送至所述原始組件庫以實現(xiàn)對所述新組件的創(chuàng)建。

29、根據(jù)上述描述可知，支持用戶自定義擴(kuò)展組件，且用戶只需要配置待創(chuàng)建組件模板信息，無需進(jìn)行核心代碼的修改，即可完成新組件創(chuàng)建，提高流水線設(shè)計的擴(kuò)展性和靈活性，并且在將待確認(rèn)配置信息發(fā)送至原始組件庫實現(xiàn)對新組件的創(chuàng)建之前會以預(yù)覽形式生成待確認(rèn)配置信息，即，提供可視化的預(yù)覽確認(rèn)機(jī)制，提高新組件創(chuàng)建的準(zhǔn)確性，優(yōu)化用戶體驗。

30、可選地，所述任務(wù)配置模塊具體為：

31、所述模板規(guī)范包括第一規(guī)范、第二規(guī)范和第三規(guī)范，所述根據(jù)模板規(guī)范對所述組件模板信息進(jìn)行解析包括：

32、從所述組件模板信息中獲取輸入?yún)?shù)、輸出參數(shù)、控制參數(shù)、任務(wù)基本信息和任務(wù)參數(shù)；

33、根據(jù)所述第一規(guī)范對所述輸入?yún)?shù)進(jìn)行解析，得到所述輸入?yún)?shù)的輸入類型，根據(jù)所述輸入類型得到組件動態(tài)行為；

34、根據(jù)所述第二規(guī)范對所述輸出參數(shù)進(jìn)行解析，得到輸出類型，根據(jù)所述輸出類型得到組件輸出產(chǎn)物；

35、根據(jù)所述第三規(guī)范對所述控制參數(shù)進(jìn)行解析，得到所述控制參數(shù)的參數(shù)信息，根據(jù)所述參數(shù)信息得到組件執(zhí)行行為；

36、將所述組件動態(tài)行為、所述組件輸出產(chǎn)物、所述組件執(zhí)行行為、所述任務(wù)基本信息和所述任務(wù)參數(shù)作為組件參數(shù)信息。

37、根據(jù)上述描述可知，以統(tǒng)一的規(guī)范體系對輸入?yún)?shù)、輸出參數(shù)以及控制參數(shù)進(jìn)行解析，對組件規(guī)范行為、組件輸出產(chǎn)物和組件執(zhí)行行為進(jìn)行規(guī)范，使得所有組件都能夠按照統(tǒng)一規(guī)則進(jìn)行交互，減少由于參數(shù)不兼容導(dǎo)致的錯誤和調(diào)試難度，確保流水線執(zhí)行的穩(wěn)定性。

38、可選地，所述組件類型包括：數(shù)據(jù)預(yù)處理組件、模型訓(xùn)練組件、模型評估組件、模型部署組件、數(shù)據(jù)可視化組件和通知組件。

39、根據(jù)上述描述可知，組件類型的多樣化，提高了流水線的靈活性和復(fù)用性。

40、可選地，所述行為操作包括拖拽組件和連接組件。

41、根據(jù)上述描述可知，用戶在流水線編排界面可以通過拖拽組件和連接組件實現(xiàn)對流水線的編排，簡化流水線編排的復(fù)雜性，實現(xiàn)快速部署。