本申請涉及云，具體涉及一種大數(shù)據(jù)集群任務(wù)改造驗證方法、裝置、系統(tǒng)和電子設(shè)備。

背景技術(shù)：

1、大數(shù)據(jù)計算集群在遷移過程中，通常需要在新、舊兩個大數(shù)據(jù)計算集群之間進(jìn)行計算任務(wù)代碼的重構(gòu)改造。改造完成后需要在新集群驗證任務(wù)邏輯的準(zhǔn)確性，即新、舊兩個大數(shù)據(jù)計算集群同一任務(wù)的輸入和輸出數(shù)據(jù)要保持一致。

2、相關(guān)技術(shù)中通過人工比對遷移前后新、舊集群的任務(wù)計算結(jié)果來驗證計算任務(wù)改造的正確性，但該方式受限于人工技術(shù)經(jīng)驗和成本，很難保持新、舊集群任務(wù)計算時的數(shù)據(jù)輸入內(nèi)容一致性，因此大數(shù)據(jù)計算集群在遷移后數(shù)據(jù)驗證的效率較低，難以提升計算任務(wù)改造的準(zhǔn)確性。

技術(shù)實現(xiàn)思路

1、鑒于上述問題，本申請?zhí)峁┮环N大數(shù)據(jù)集群任務(wù)改造驗證方法、裝置、系統(tǒng)和電子設(shè)備，以至少解決相關(guān)技術(shù)中大數(shù)據(jù)計算集群在遷移后數(shù)據(jù)驗證的效率較低，難以提升計算任務(wù)改造的準(zhǔn)確性的技術(shù)問題。

2、根據(jù)本申請實施例的第一方面，提供了一種大數(shù)據(jù)集群任務(wù)改造驗證方法，包括：存儲在第一計算集群中運行各任務(wù)的過程中所述各任務(wù)的數(shù)據(jù)源地址；其中，所述數(shù)據(jù)源地址包括任務(wù)的輸入數(shù)據(jù)的數(shù)據(jù)源地址，以及與所述輸入數(shù)據(jù)對應(yīng)的第一輸出數(shù)據(jù)的數(shù)據(jù)源地址；基于所述各任務(wù)的輸入數(shù)據(jù)，獲取在第二計算集群中運行所述各任務(wù)得到的所述各任務(wù)的第二輸出數(shù)據(jù)；基于所述各任務(wù)的第一輸出數(shù)據(jù)和第二輸出數(shù)據(jù)，驗證將所述各任務(wù)從所述第一計算集群遷移到所述第二計算集群的任務(wù)改造是否成功。

3、根據(jù)本申請實施例的第二方面，提供了一種大數(shù)據(jù)集群任務(wù)改造驗證裝置，上述信息檢索優(yōu)化裝置包括：存儲單元，用于在存儲在第一計算集群中運行各任務(wù)的過程中所述各任務(wù)的數(shù)據(jù)源地址；其中，所述數(shù)據(jù)源地址包括任務(wù)的輸入數(shù)據(jù)和與所述輸入數(shù)據(jù)對應(yīng)的第一輸出數(shù)據(jù)；獲取單元，用于基于所述各任務(wù)的輸入數(shù)據(jù)，獲取在所述第二計算集群中運行所述各任務(wù)得到的所述各任務(wù)的第二輸出數(shù)據(jù)；驗證單元，用于基于所述各任務(wù)的第一輸出數(shù)據(jù)和第二輸出數(shù)據(jù)，驗證將所述各任務(wù)從所述第一計算集群遷移到所述第二計算集群的任務(wù)改造是否成功。

4、根據(jù)本申請實施例的第三方面，提供了一種大數(shù)據(jù)集群任務(wù)改造驗證系統(tǒng)，包括第一計算集群、第二計算集群，以及大數(shù)據(jù)集群任務(wù)改造驗證設(shè)備；所述第一計算集群，用于在運行各任務(wù)的過程中所述各任務(wù)的數(shù)據(jù)源地址發(fā)送至所述大數(shù)據(jù)集群任務(wù)改造驗證設(shè)備；所述第二計算集群，用于基于所述各任務(wù)的輸入數(shù)據(jù)的數(shù)據(jù)源地址，運行所述各任務(wù)得到所述各任務(wù)的第二輸出數(shù)據(jù)；所述大數(shù)據(jù)集群任務(wù)改造驗證設(shè)備，用于存儲在所述第一計算集群中運行各任務(wù)的過程中所述各任務(wù)的數(shù)據(jù)源地址；其中，所述數(shù)據(jù)源地址包括任務(wù)的輸入數(shù)據(jù)的數(shù)據(jù)源地址，以及與所述輸入數(shù)據(jù)對應(yīng)的第一輸出數(shù)據(jù)的數(shù)據(jù)源地址；基于所述各任務(wù)的輸入數(shù)據(jù)的數(shù)據(jù)源地址，獲取在所述第二計算集群中運行所述各任務(wù)得到的所述各任務(wù)的第二輸出數(shù)據(jù)；基于所述各任務(wù)的第一輸出數(shù)據(jù)的數(shù)據(jù)源地址和所述第二輸出數(shù)據(jù)，驗證將所述各任務(wù)從所述第一計算集群遷移到所述第二計算集群的任務(wù)改造是否成功。

5、根據(jù)本申請實施例的第四方面，還提供了一種電子設(shè)備，包括存儲器和處理器，上述存儲器中存儲有計算機程序，上述處理器被設(shè)置為通過上述計算機程序執(zhí)行上述第一方面的大數(shù)據(jù)集群任務(wù)改造驗證方法。

6、根據(jù)本申請實施例的第五方面，還提供了一種計算機可讀的存儲介質(zhì)，該計算機可讀的存儲介質(zhì)中存儲有計算機程序，其中，該計算機程序被設(shè)置為運行時執(zhí)行上述第一方面的大數(shù)據(jù)集群任務(wù)改造驗證方法。

7、在本申請實施例中，采用存儲在第一計算集群中運行各任務(wù)的過程中所述各任務(wù)的數(shù)據(jù)源地址；其中，所述數(shù)據(jù)源地址包括任務(wù)的輸入數(shù)據(jù)和與所述輸入數(shù)據(jù)對應(yīng)的第一輸出數(shù)據(jù)；基于所述各任務(wù)的輸入數(shù)據(jù)，獲取在第二計算集群中運行所述各任務(wù)得到的所述各任務(wù)的第二輸出數(shù)據(jù)；基于所述各任務(wù)的第一輸出數(shù)據(jù)和第二輸出數(shù)據(jù)，驗證將所述各任務(wù)從所述第一計算集群遷移到所述第二計算集群的任務(wù)改造是否成功的方法；由于本申請在集群的遷移過程中，獲取原計算集群中運行各任務(wù)的過程中所述各任務(wù)的數(shù)據(jù)源地址，即能夠精確的獲取到原計算集群各任務(wù)運行時的數(shù)據(jù)環(huán)境，通過該數(shù)據(jù)環(huán)境能夠精準(zhǔn)的驗證各任務(wù)從原計算集群遷移到目標(biāo)計算集群的任務(wù)改造是否成功；因此，本申請不僅能提高大數(shù)據(jù)計算集群在遷移后數(shù)據(jù)驗證的效率，且能提升計算任務(wù)改造的準(zhǔn)確性，從而能夠解決解決相關(guān)技術(shù)中大數(shù)據(jù)計算集群在遷移后數(shù)據(jù)驗證的效率較低，難以提升計算任務(wù)改造的準(zhǔn)確性的技術(shù)問題。

技術(shù)特征：

1.一種大數(shù)據(jù)集群任務(wù)改造驗證方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述存儲在第一計算集群中運行各任務(wù)的過程中所述各任務(wù)的數(shù)據(jù)源地址，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于解析結(jié)果獲取所述第一任務(wù)的數(shù)據(jù)源地址，包括：

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述基于解析結(jié)果獲取所述第一任務(wù)發(fā)生數(shù)據(jù)更新前的數(shù)據(jù)源地址，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述在所述預(yù)設(shè)存儲空間中生成所述第一任務(wù)對應(yīng)的物理表之前，還包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述各任務(wù)的輸入數(shù)據(jù)，獲取在所述第二計算集群中運行所述各任務(wù)得到的所述各任務(wù)的第二輸出數(shù)據(jù)，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述從預(yù)設(shè)存儲空間中獲取所述第一任務(wù)的輸入數(shù)據(jù)的數(shù)據(jù)源地址，包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述各任務(wù)的第一輸出數(shù)據(jù)和第二輸出數(shù)據(jù)，驗證將所述各任務(wù)從所述第一計算集群遷移到所述第二計算集群的任務(wù)改造是否成功，包括：

9.一種大數(shù)據(jù)集群任務(wù)改造驗證裝置，其特征在于，所述裝置包括：

10.一種大數(shù)據(jù)集群任務(wù)改造驗證系統(tǒng)，其特征在于，所述系統(tǒng)包括第一計算集群、第二計算集群，以及大數(shù)據(jù)集群任務(wù)改造驗證設(shè)備；

11.一種電子設(shè)備，其特征在于，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器運行所述計算機程序以實現(xiàn)如權(quán)利要求1至8任一項所述的方法。

12.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述程序被處理器執(zhí)行實現(xiàn)如權(quán)利要求1至8任一項所述的方法。

技術(shù)總結(jié)
本申請公開了一種大數(shù)據(jù)集群任務(wù)改造驗證方法、裝置、系統(tǒng)和電子設(shè)備。其中，該方法包括：存儲在第一計算集群中運行各任務(wù)的過程中所述各任務(wù)的數(shù)據(jù)源地址；其中，所述數(shù)據(jù)源地址包括任務(wù)的輸入數(shù)據(jù)和與所述輸入數(shù)據(jù)對應(yīng)的第一輸出數(shù)據(jù)的數(shù)據(jù)源地址；基于所述各任務(wù)的輸入數(shù)據(jù)的數(shù)據(jù)源地址，獲取在第二計算集群中運行所述各任務(wù)得到的所述各任務(wù)的第二輸出數(shù)據(jù)；基于所述各任務(wù)的第一輸出數(shù)據(jù)的數(shù)據(jù)源地址和所述第二輸出數(shù)據(jù)，驗證將所述各任務(wù)從所述第一計算集群遷移到所述第二計算集群的任務(wù)改造是否成功。本申請實施例可以解決相關(guān)技術(shù)中大數(shù)據(jù)計算集群在遷移后數(shù)據(jù)驗證的效率較低的技術(shù)問題。

技術(shù)研發(fā)人員：許燦沖,王磊
受保護(hù)的技術(shù)使用者：杭州阿里云飛天信息技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/10