本技術(shù)涉及車(chē)輛，尤其涉及一種算法模型的測(cè)試方法、裝置及系統(tǒng)。

背景技術(shù)：

1、隨著人工智能、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)和傳感器技術(shù)的不斷發(fā)展，車(chē)輛上的智能駕駛算法模型在提升駕駛安全性、提高交通效率以及提供更舒適的駕乘體驗(yàn)方面發(fā)揮著越來(lái)越重要的作用。

2、在現(xiàn)有技術(shù)中，將車(chē)輛預(yù)先采集好的傳感器數(shù)據(jù)輸入至仿真測(cè)試平臺(tái)上進(jìn)行算法模型調(diào)試測(cè)試，但這種方法往往無(wú)法實(shí)時(shí)獲取車(chē)輛周?chē)煌ōh(huán)境信息并在第一時(shí)間判斷出各種算法模型的不同問(wèn)題和優(yōu)化點(diǎn)，測(cè)試效率低下。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種算法模型的測(cè)試方法、裝置及系統(tǒng)，以解決現(xiàn)有技術(shù)對(duì)于算法模型的測(cè)試效率低下的問(wèn)題。

2、第一方面，本技術(shù)實(shí)施例提供了一種算法模型的測(cè)試方法，應(yīng)用于測(cè)試設(shè)備，所述測(cè)試設(shè)備中部署有第一模型流水線，所述第一模型流水線為車(chē)輛中第二模型流水線的備份，模型流水線包括：按運(yùn)行順序排布的至少一個(gè)待測(cè)試算法模型；所述方法包括：

3、實(shí)時(shí)獲取所述車(chē)輛中的至少一個(gè)傳感器采集到的待測(cè)試數(shù)據(jù)；

4、將所述待測(cè)試數(shù)據(jù)輸入至所述第一模型流水線中，得到第一輸出結(jié)果；所述第一模型流水線部署在虛擬測(cè)試環(huán)境中，所述虛擬測(cè)試環(huán)境是基于所述車(chē)輛中的標(biāo)定數(shù)據(jù)確定的，所述標(biāo)定數(shù)據(jù)為所述車(chē)輛基于歷史測(cè)試數(shù)據(jù)在所述第二模型流水線中運(yùn)行時(shí)的指標(biāo)數(shù)據(jù)；

5、根據(jù)所述第一輸出結(jié)果和第二輸出結(jié)果，確定所述第一模型流水線和所述第二模型流水線分別在所述虛擬測(cè)試環(huán)境和實(shí)車(chē)測(cè)試環(huán)境中的性能信息，所述第二輸出結(jié)果是將所述待測(cè)試數(shù)據(jù)輸入至所述第二模型流水線得到的。

6、在一種可能的實(shí)施方式中，所述將所述待測(cè)試數(shù)據(jù)輸入至所述第一模型流水線中，得到第一輸出結(jié)果，包括：

7、根據(jù)所述車(chē)輛的第一網(wǎng)絡(luò)信息和所述測(cè)試設(shè)備的第二網(wǎng)絡(luò)信息，確定時(shí)間同步信息；

8、根據(jù)所述時(shí)間同步信息，對(duì)所述待測(cè)試數(shù)據(jù)進(jìn)行同步處理，得到同步后的待測(cè)試數(shù)據(jù)；

9、將所述同步后的待測(cè)試數(shù)據(jù)輸入至所述第一模型流水線中，得到所述第一輸出結(jié)果。

10、在一種可能的實(shí)施方式中，所述方法還包括：

11、在性能信息中確定出準(zhǔn)確程度更高的輸出結(jié)果；

12、若更高的輸出結(jié)果為所述第一輸出結(jié)果，將所述第一模型流水線中當(dāng)前的待測(cè)試算法模型或所述當(dāng)前的待測(cè)試算法模型的參數(shù)同步至所述車(chē)輛中；

13、若更高的輸出結(jié)果為所述第一輸出結(jié)果，接收所述第二模型流水線中當(dāng)前的待測(cè)試算法模型或所述當(dāng)前的待測(cè)試算法模型的參數(shù)，以同步至所述測(cè)試設(shè)備中。

14、第二方面，本技術(shù)實(shí)施例提供了一種算法模型的測(cè)試方法，應(yīng)用于車(chē)輛，所述車(chē)輛中部署有第二模型流水線，模型流水線包括：按運(yùn)行順序排布的至少一個(gè)待測(cè)試算法模型；所述方法包括：

15、實(shí)時(shí)獲取至少一個(gè)傳感器采集到的待測(cè)試數(shù)據(jù)；

16、將所述待測(cè)試數(shù)據(jù)發(fā)送至測(cè)試設(shè)備中，以使所述測(cè)試設(shè)備根據(jù)部署在虛擬測(cè)試環(huán)境中的第一模型流水線得到第一輸出結(jié)果，所述第一模型流水線為所述第二模型流水線的備份，所述虛擬測(cè)試環(huán)境是基于所述車(chē)輛中的標(biāo)定數(shù)據(jù)確定的，所述標(biāo)定數(shù)據(jù)為所述車(chē)輛基于歷史測(cè)試數(shù)據(jù)在所述第二模型流水線中運(yùn)行時(shí)的指標(biāo)數(shù)據(jù)；

17、將所述待測(cè)試數(shù)據(jù)輸入至所述第二模型流水線，得到第二輸出結(jié)果；

18、將所述第二輸出結(jié)果發(fā)送至所述測(cè)試設(shè)備。

19、在一種可能的實(shí)施方式中，所述將所述待測(cè)試數(shù)據(jù)發(fā)送至測(cè)試設(shè)備，包括：

20、通過(guò)所述車(chē)輛中的分流器將所述待測(cè)試數(shù)據(jù)發(fā)送至所述測(cè)試設(shè)備；

21、在所述將所述待測(cè)試數(shù)據(jù)輸入至所述第一模型流水線中，得到第一輸出結(jié)果之前，所述方法還包括：

22、通過(guò)所述車(chē)輛中的分流器將所述待測(cè)試數(shù)據(jù)發(fā)送至實(shí)車(chē)測(cè)試環(huán)境中。

23、在一種可能的實(shí)施方式中，在所述將所述待測(cè)試數(shù)據(jù)輸入至所述第二模型流水線，得到第二輸出結(jié)果之前，所述方法還包括：

24、根據(jù)所述車(chē)輛的第一網(wǎng)絡(luò)信息和所述測(cè)試設(shè)備的第二網(wǎng)絡(luò)信息，確定時(shí)間同步信息；

25、根據(jù)所述時(shí)間同步信息，對(duì)所述待測(cè)試數(shù)據(jù)進(jìn)行同步處理，得到同步后的待測(cè)試數(shù)據(jù)。

26、在一種可能的實(shí)施方式中，在所述實(shí)時(shí)獲取至少一個(gè)傳感器采集到的待測(cè)試數(shù)據(jù)之前，所述方法還包括：

27、獲取所述歷史測(cè)試數(shù)據(jù)；

28、將所述歷史測(cè)試數(shù)據(jù)輸入至所述第二模型流水線中進(jìn)行運(yùn)算，檢測(cè)所述第二模型流水線中各個(gè)待測(cè)試算法模型的資源使用情況和運(yùn)行時(shí)間信息；

29、將所述資源使用情況和所述運(yùn)行時(shí)間信息作為所述標(biāo)定數(shù)據(jù)。

30、第三方面，本技術(shù)實(shí)施例提供了一種算法模型的測(cè)試裝置，應(yīng)用于測(cè)試設(shè)備，所述測(cè)試設(shè)備中部署有第一模型流水線，所述第一模型流水線為車(chē)輛中第二模型流水線的備份，模型流水線包括：按運(yùn)行順序排布的至少一個(gè)待測(cè)試算法模型；所述裝置包括：

31、第一獲取模塊，用于實(shí)時(shí)獲取所述車(chē)輛中的至少一個(gè)傳感器采集到的待測(cè)試數(shù)據(jù)；

32、第一處理模塊，用于將所述待測(cè)試數(shù)據(jù)輸入至所述第一模型流水線中，得到第一輸出結(jié)果；所述第一模型流水線部署在虛擬測(cè)試環(huán)境中，所述虛擬測(cè)試環(huán)境是基于所述車(chē)輛中的標(biāo)定數(shù)據(jù)確定的，所述標(biāo)定數(shù)據(jù)為所述車(chē)輛基于歷史測(cè)試數(shù)據(jù)在所述第二模型流水線中運(yùn)行時(shí)的指標(biāo)數(shù)據(jù)；

33、第一確定模塊，用于根據(jù)所述第一輸出結(jié)果和第二輸出結(jié)果，確定所述第一模型流水線和所述第二模型流水線分別在所述虛擬測(cè)試環(huán)境和實(shí)車(chē)測(cè)試環(huán)境中的性能信息，所述第二輸出結(jié)果是將所述待測(cè)試數(shù)據(jù)輸入至所述第二模型流水線得到的。

34、在一種可能的實(shí)施方式中，所述第一處理模塊，具體用于：

35、根據(jù)所述車(chē)輛的第一網(wǎng)絡(luò)信息和所述測(cè)試設(shè)備的第二網(wǎng)絡(luò)信息，確定時(shí)間同步信息；

36、根據(jù)所述時(shí)間同步信息，對(duì)所述待測(cè)試數(shù)據(jù)進(jìn)行同步處理，得到同步后的待測(cè)試數(shù)據(jù)；

37、將所述同步后的待測(cè)試數(shù)據(jù)輸入至所述第一模型流水線中，得到所述第一輸出結(jié)果。

38、在一種可能的實(shí)施方式中，所述第一確定模塊，還用于：

39、在性能信息中確定出準(zhǔn)確程度更高的輸出結(jié)果；

40、若更高的輸出結(jié)果為所述第一輸出結(jié)果，將所述第一模型流水線中當(dāng)前的待測(cè)試算法模型或所述當(dāng)前的待測(cè)試算法模型的參數(shù)同步至所述車(chē)輛中；

41、若更高的輸出結(jié)果為所述第一輸出結(jié)果，接收所述第二模型流水線中當(dāng)前的待測(cè)試算法模型或所述當(dāng)前的待測(cè)試算法模型的參數(shù)，以同步至所述測(cè)試設(shè)備中。

42、第四方面，本技術(shù)實(shí)施例提供了一種算法模型的測(cè)試裝置，應(yīng)用于車(chē)輛，所述車(chē)輛中部署有第二模型流水線，模型流水線包括：按運(yùn)行順序排布的至少一個(gè)待測(cè)試算法模型；所述裝置包括：

43、第二獲取模塊，用于實(shí)時(shí)獲取至少一個(gè)傳感器采集到的待測(cè)試數(shù)據(jù)；

44、第二處理模塊，用于將所述待測(cè)試數(shù)據(jù)發(fā)送至測(cè)試設(shè)備中，以使所述測(cè)試設(shè)備根據(jù)部署在虛擬測(cè)試環(huán)境中的第一模型流水線得到第一輸出結(jié)果，所述第一模型流水線為所述第二模型流水線的備份，所述虛擬測(cè)試環(huán)境是基于所述車(chē)輛中的標(biāo)定數(shù)據(jù)確定的，所述標(biāo)定數(shù)據(jù)為所述車(chē)輛基于歷史測(cè)試數(shù)據(jù)在所述第二模型流水線中運(yùn)行時(shí)的指標(biāo)數(shù)據(jù)；

45、第二確定模塊，用于將所述待測(cè)試數(shù)據(jù)輸入至所述第二模型流水線，得到第二輸出結(jié)果；

46、發(fā)送模塊，用于將所述第二輸出結(jié)果發(fā)送至所述測(cè)試設(shè)備。

47、在一種可能的實(shí)施方式中，所述第二處理模塊，具體用于：

48、通過(guò)所述車(chē)輛中的分流器將所述待測(cè)試數(shù)據(jù)發(fā)送至所述測(cè)試設(shè)備；

49、在所述將所述待測(cè)試數(shù)據(jù)輸入至所述第一模型流水線中，得到第一輸出結(jié)果之前，所述第二確定模塊還包括：

50、通過(guò)所述車(chē)輛中的分流器將所述待測(cè)試數(shù)據(jù)發(fā)送至實(shí)車(chē)測(cè)試環(huán)境中。

51、在一種可能的實(shí)施方式中，在所述將所述待測(cè)試數(shù)據(jù)輸入至所述第二模型流水線，得到第二輸出結(jié)果之前，所述第二確定模塊還用于：

52、根據(jù)所述車(chē)輛的第一網(wǎng)絡(luò)信息和所述測(cè)試設(shè)備的第二網(wǎng)絡(luò)信息，確定時(shí)間同步信息；

53、根據(jù)所述時(shí)間同步信息，對(duì)所述待測(cè)試數(shù)據(jù)進(jìn)行同步處理，得到同步后的待測(cè)試數(shù)據(jù)。

54、在一種可能的實(shí)施方式中，所述第二獲取模塊，還用于：

55、獲取所述歷史測(cè)試數(shù)據(jù)；

56、將所述歷史測(cè)試數(shù)據(jù)輸入至所述第二模型流水線中進(jìn)行運(yùn)算，檢測(cè)所述第二模型流水線中各個(gè)待測(cè)試算法模型的資源使用情況和運(yùn)行時(shí)間信息；

57、將所述資源使用情況和所述運(yùn)行時(shí)間信息作為所述標(biāo)定數(shù)據(jù)。

58、第五方面，本技術(shù)實(shí)施例提供一種測(cè)試設(shè)備，包括：處理器，以及與所述處理器通信連接的存儲(chǔ)器；

59、所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)執(zhí)行指令；

60、所述處理器執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)執(zhí)行指令，以實(shí)現(xiàn)如上述第一方面或任一種方式所述的方法。

61、第六方面，本技術(shù)實(shí)施例提供一種車(chē)輛，包括：處理器，以及與所述處理器通信連接的存儲(chǔ)器；

62、所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)執(zhí)行指令；

63、所述處理器執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)執(zhí)行指令，以實(shí)現(xiàn)如上述第二方面或任一種方式所述的方法。

64、第七方面，本技術(shù)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)執(zhí)行指令，所述計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)上述第一方面、第二方面或任一種方式所述的方法。

65、第八方面，本技術(shù)實(shí)施例提供一種計(jì)算機(jī)程序，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，至少一個(gè)處理器可以從該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中讀取該計(jì)算機(jī)程序，所述至少一個(gè)處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)可實(shí)現(xiàn)上述第一方面、第二方面或任一種方式所述的方法。

66、本技術(shù)實(shí)施例提供的算法模型的測(cè)試方法、裝置及系統(tǒng)，應(yīng)用于測(cè)試設(shè)備，該方法通過(guò)實(shí)時(shí)獲取車(chē)輛中的至少一個(gè)傳感器采集到的待測(cè)試數(shù)據(jù)，然后將待測(cè)試數(shù)據(jù)輸入至第一模型流水線中，得到第一輸出結(jié)果，最后根據(jù)第一輸出結(jié)果和第二輸出結(jié)果，確定第一模型流水線和第二模型流水線分別在虛擬測(cè)試環(huán)境和實(shí)車(chē)測(cè)試環(huán)境中的性能信息。該方案實(shí)時(shí)采集待測(cè)試數(shù)據(jù)并分別輸入至測(cè)試設(shè)備算法模型流水線和第二模型流水線中進(jìn)行運(yùn)算，并根據(jù)運(yùn)算輸出結(jié)果判斷算法模型的實(shí)時(shí)性能信息。實(shí)現(xiàn)了實(shí)時(shí)評(píng)估車(chē)輛算法模型性能，提升算法模型測(cè)試效率，使得車(chē)輛算法模型在測(cè)試過(guò)程中能夠得到及時(shí)的優(yōu)化和調(diào)整的技術(shù)效果。