本申請(qǐng)涉及智能駕駛數(shù)據(jù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)管理方法、系統(tǒng)及電子設(shè)備。

背景技術(shù)：

1、隨著科技的發(fā)展，智能駕駛車輛應(yīng)用而生。在智能駕駛車輛的駕駛過程中，會(huì)產(chǎn)生很多數(shù)據(jù)，例如多種類型的傳感器產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)以及計(jì)算中心產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)可以實(shí)現(xiàn)智能駕駛功能以及智能駕駛系統(tǒng)迭代更新。智能駕駛車輛每天產(chǎn)生tb量級(jí)的數(shù)據(jù)，這些數(shù)據(jù)中包含場(chǎng)景數(shù)據(jù)、計(jì)算數(shù)據(jù)、控制數(shù)據(jù)、車輛表現(xiàn)數(shù)據(jù)、駕駛員操作數(shù)據(jù)、故障數(shù)據(jù)等，通過對(duì)數(shù)據(jù)處理可以客觀評(píng)價(jià)智能駕駛系統(tǒng)的功性能表現(xiàn)、優(yōu)勢(shì)、缺陷，從而迭代更新智能駕駛系統(tǒng)。

2、現(xiàn)階段，當(dāng)車輛行程結(jié)束后，車輛上安裝的大容量硬盤數(shù)據(jù)需要首先拷貝到移動(dòng)硬盤，然后將移動(dòng)硬盤中的數(shù)據(jù)上傳到本地工作站，在本地工作站對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和篩選。但目前，篩選出目標(biāo)數(shù)據(jù)的篩選速度較低，且數(shù)據(jù)流轉(zhuǎn)的效率不高。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)管理方法、系統(tǒng)及電子設(shè)備，用于提高篩選出目標(biāo)數(shù)據(jù)的篩選速度和數(shù)據(jù)流轉(zhuǎn)效率。

2、第一方面，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)管理方法，所述方法包括：

3、獲取目標(biāo)車輛在智能駕駛過程中采集的多個(gè)數(shù)據(jù)，并將所述多個(gè)數(shù)據(jù)依據(jù)數(shù)據(jù)類型存儲(chǔ)至對(duì)象存儲(chǔ)模塊的不同區(qū)域，所述數(shù)據(jù)類型包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；

4、利用預(yù)先配置的目標(biāo)數(shù)據(jù)入庫工作流任務(wù)處理所述多個(gè)數(shù)據(jù)；

5、將處理后的多個(gè)數(shù)據(jù)記錄在結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫和搜索引擎中，并基于數(shù)據(jù)批次號(hào)關(guān)聯(lián)所述搜索引擎中的數(shù)據(jù)和所述結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫中的數(shù)據(jù)；

6、當(dāng)在所述搜索引擎中輸入所述數(shù)據(jù)批次號(hào)時(shí)，得到所述數(shù)據(jù)批次號(hào)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)。

7、可選地，所述目標(biāo)數(shù)據(jù)入庫工作流任務(wù)的配置方法，包括：

8、將自定義數(shù)據(jù)處理模型存儲(chǔ)在所述對(duì)象存儲(chǔ)模塊的算子倉庫中，將所述自定義數(shù)據(jù)處理模型的基本信息記錄在結(jié)構(gòu)化存儲(chǔ)庫中的算子表中；

9、響應(yīng)于從所述算子倉庫中獲取目標(biāo)算子，利用所述目標(biāo)算子配置所述目標(biāo)數(shù)據(jù)入庫工作流任務(wù)，所述配置所述目標(biāo)數(shù)據(jù)入庫工作流任務(wù)包括將工作流項(xiàng)目信息記錄在所述結(jié)構(gòu)化存儲(chǔ)庫中的工作流項(xiàng)目表，以及將工作流任務(wù)信息記錄在所述結(jié)構(gòu)化存儲(chǔ)中的工作流任務(wù)表；所述工作流項(xiàng)目信息包括工作流歸屬項(xiàng)目和項(xiàng)目分配資源信息，所述工作流任務(wù)信息包括工作流節(jié)點(diǎn)信息，動(dòng)態(tài)參數(shù)信息和系統(tǒng)配置參數(shù)信息。

10、可選地，所述利用預(yù)先配置的目標(biāo)數(shù)據(jù)入庫工作流任務(wù)處理所述多個(gè)數(shù)據(jù)，包括：

11、從所述工作流項(xiàng)目表和所述工作流任務(wù)表中篩選出所述目標(biāo)數(shù)據(jù)入庫工作流任務(wù)；響應(yīng)于獲取預(yù)先設(shè)置的輸入?yún)?shù)，觸發(fā)所述目標(biāo)數(shù)據(jù)入庫工作流任務(wù)，以處理所述多個(gè)數(shù)據(jù)，并將所述目標(biāo)數(shù)據(jù)入庫工作流任務(wù)的時(shí)間信息、調(diào)整參數(shù)的參數(shù)值和作業(yè)鏈接記錄在工作流作業(yè)表中。

12、可選地，響應(yīng)于獲取預(yù)先設(shè)置的輸入?yún)?shù)，觸發(fā)所述目標(biāo)數(shù)據(jù)入庫工作流任務(wù)，以處理所述多個(gè)數(shù)據(jù)，包括：

13、響應(yīng)于獲取預(yù)先設(shè)置的輸入?yún)?shù)，基于自動(dòng)化容器操作開源平臺(tái)和開源容器本地工作流引起的分布式任務(wù)處理框架，觸發(fā)數(shù)據(jù)入庫工作流任務(wù)以處理所述多個(gè)數(shù)據(jù)。

14、可選地，所述將處理后的多個(gè)數(shù)據(jù)記錄在結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫和搜索引擎中，并基于數(shù)據(jù)批次號(hào)關(guān)聯(lián)所述搜索引擎中的數(shù)據(jù)和所述結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫中的數(shù)據(jù)，包括：

15、將處理后非結(jié)構(gòu)化數(shù)據(jù)的相對(duì)位置信息，文件下載鏈接和屬性信息，存儲(chǔ)在預(yù)先設(shè)定的數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)集中；所述數(shù)據(jù)結(jié)構(gòu)預(yù)先在所述搜索引擎中創(chuàng)建索引，所述索引的索引名依照預(yù)先設(shè)定的格式生成；

16、將數(shù)據(jù)集中的元數(shù)據(jù)插入所述搜索引擎，并將所述數(shù)據(jù)集的結(jié)構(gòu)信息記錄在所述結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫中，以使所述數(shù)據(jù)集中數(shù)據(jù)與所述搜索引擎的索引信息具有映射關(guān)系；所述索引信息包括所述索引名和所述元數(shù)據(jù)。

17、可選地，所述方法還包括：

18、響應(yīng)于接收到數(shù)據(jù)集的身份標(biāo)識(shí)，獲取所述數(shù)據(jù)集以及所述搜索引擎的索引信息；

19、根據(jù)所述索引信息，定位數(shù)據(jù)的相對(duì)位置信息；

20、根據(jù)所述相對(duì)位置信息，獲取目標(biāo)數(shù)據(jù)。

21、可選地，所述方法還包括：

22、遍歷所述搜索引擎中的所述元數(shù)據(jù)以及所述元數(shù)據(jù)對(duì)應(yīng)的文件下載鏈接；

23、從所述文件下載鏈接對(duì)應(yīng)的存儲(chǔ)位置中獲取待下載數(shù)據(jù)，下載所述待下載數(shù)據(jù)。

24、可選地，所述非結(jié)構(gòu)化數(shù)據(jù)包括車輛信號(hào)數(shù)據(jù)，硬件參數(shù)，圖片數(shù)據(jù)，視頻數(shù)據(jù)，以及點(diǎn)云數(shù)據(jù)。

25、第二方面，本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)管理系統(tǒng)，所述系統(tǒng)包括：

26、數(shù)據(jù)上傳模塊，用于獲取目標(biāo)車輛在智能駕駛過程中采集的多個(gè)數(shù)據(jù)，并將所述多個(gè)數(shù)據(jù)依據(jù)數(shù)據(jù)類型存儲(chǔ)至對(duì)象存儲(chǔ)模塊的不同區(qū)域，所述數(shù)據(jù)類型包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；

27、工作流管理模塊，用于利用預(yù)先配置的目標(biāo)數(shù)據(jù)入庫工作流任務(wù)處理所述多個(gè)數(shù)據(jù)；

28、數(shù)據(jù)集管理模塊，用于將處理后的多個(gè)數(shù)據(jù)記錄在結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫和搜索引擎中，并基于數(shù)據(jù)批次號(hào)關(guān)聯(lián)所述搜索引擎中的數(shù)據(jù)和所述結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫中的數(shù)據(jù)；當(dāng)在所述搜索引擎中輸入所述數(shù)據(jù)批次號(hào)時(shí)，得到所述數(shù)據(jù)批次號(hào)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)。

29、第三方面，本申請(qǐng)?zhí)峁┝艘环N電子設(shè)備，所述電子設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器與所述處理器耦合；

30、所述存儲(chǔ)器存儲(chǔ)有程序，當(dāng)所述程序由所述處理器執(zhí)行時(shí)，使得所述電子設(shè)備執(zhí)行如第一方面任一項(xiàng)所述的方法。

31、有益效果：

32、本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)管理方法、系統(tǒng)及電子設(shè)備。在執(zhí)行所述方法時(shí)，首先將目標(biāo)車輛在智能駕駛過程中采集的多個(gè)數(shù)據(jù)依照數(shù)據(jù)類型存儲(chǔ)在對(duì)象存儲(chǔ)模塊的不同區(qū)域。利用預(yù)先配置的目標(biāo)數(shù)據(jù)入庫工作流任務(wù)對(duì)多個(gè)數(shù)據(jù)進(jìn)行處理。將處理后的多個(gè)數(shù)據(jù)記錄在結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫和搜索引擎中，并基于數(shù)據(jù)批次號(hào)關(guān)聯(lián)搜索引擎中的數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫中的數(shù)據(jù)。如此，用戶在客戶端，可以基于搜索引擎，輸入數(shù)據(jù)批次號(hào)，就可以篩選出目標(biāo)數(shù)據(jù)。由此可知，本申請(qǐng)實(shí)施例通過對(duì)數(shù)據(jù)進(jìn)行分類存儲(chǔ)，利用數(shù)據(jù)批次號(hào)在搜索引擎上輸入，即可篩選出目標(biāo)數(shù)據(jù)。通過云存儲(chǔ)和云計(jì)算，提供從數(shù)據(jù)存儲(chǔ)到篩選的一站式數(shù)據(jù)服務(wù)，加速了數(shù)據(jù)提取速度，精簡(jiǎn)了數(shù)據(jù)流轉(zhuǎn)的過程，此種方式可以規(guī)避用戶需要去到本地工作站進(jìn)行操作帶來的時(shí)間消耗，也避免了本地工作站對(duì)數(shù)據(jù)進(jìn)行人工篩選造成的篩選速度慢的問題，且支持多人同時(shí)對(duì)數(shù)據(jù)進(jìn)行處理，提高了篩選速度和處理效率。

技術(shù)特征：

1.一種數(shù)據(jù)管理方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述目標(biāo)數(shù)據(jù)入庫工作流任務(wù)的配置方法，包括：

3.根據(jù)權(quán)利要求2所述方法，其特征在于，所述利用預(yù)先配置的目標(biāo)數(shù)據(jù)入庫工作流任務(wù)處理所述多個(gè)數(shù)據(jù)，包括：

4.根據(jù)權(quán)利要求3所述方法，其特征在于，響應(yīng)于獲取預(yù)先設(shè)置的輸入?yún)?shù)，觸發(fā)所述目標(biāo)數(shù)據(jù)入庫工作流任務(wù)，以處理所述多個(gè)數(shù)據(jù)，包括：

5.根據(jù)權(quán)利要求1所述方法，其特征在于，所述將處理后的多個(gè)數(shù)據(jù)記錄在結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫和搜索引擎中，并基于數(shù)據(jù)批次號(hào)關(guān)聯(lián)所述搜索引擎中的數(shù)據(jù)和所述結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫中的數(shù)據(jù)，包括：

6.根據(jù)權(quán)利要求5所述方法，其特征在于，所述方法還包括：

7.根據(jù)權(quán)利要求5所述方法，其特征在于，所述方法還包括：

8.根據(jù)權(quán)利要求1-7任一項(xiàng)所述方法，其特征在于，所述非結(jié)構(gòu)化數(shù)據(jù)包括車輛信號(hào)數(shù)據(jù)，硬件參數(shù)，圖片數(shù)據(jù)，視頻數(shù)據(jù)，以及點(diǎn)云數(shù)據(jù)。

9.一種數(shù)據(jù)管理系統(tǒng)，其特征在于，所述系統(tǒng)包括：

10.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器與所述處理器耦合；

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)管理方法、系統(tǒng)及電子設(shè)備。首先將目標(biāo)車輛在智能駕駛過程中采集的多個(gè)數(shù)據(jù)依照數(shù)據(jù)類型存儲(chǔ)在對(duì)象存儲(chǔ)模塊的不同區(qū)域。利用預(yù)先配置的目標(biāo)數(shù)據(jù)入庫工作流任務(wù)對(duì)多個(gè)數(shù)據(jù)進(jìn)行處理。將處理后的多個(gè)數(shù)據(jù)記錄在結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫和搜索引擎中，并基于數(shù)據(jù)批次號(hào)關(guān)聯(lián)搜索引擎中的數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)庫中的數(shù)據(jù)。通過云存儲(chǔ)和云計(jì)算，提供從數(shù)據(jù)存儲(chǔ)到篩選的一站式數(shù)據(jù)服務(wù)，加速了數(shù)據(jù)提取速度，精簡(jiǎn)了數(shù)據(jù)流轉(zhuǎn)的過程，此種方式可以規(guī)避用戶需要去到本地工作站進(jìn)行操作帶來的時(shí)間消耗，也避免了本地工作站對(duì)數(shù)據(jù)進(jìn)行人工篩選造成的篩選速度慢的問題，且支持多人同時(shí)對(duì)數(shù)據(jù)進(jìn)行處理，提高了篩選速度和處理效率。

技術(shù)研發(fā)人員：繆亮,顧正,李曉俊,陳翼飛,張俊杰
受保護(hù)的技術(shù)使用者：上海汽車集團(tuán)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/19