本發(fā)明涉及激光雷達(dá)與相機(jī)標(biāo)定，尤其是涉及一種基于高精地圖的雷達(dá)與相機(jī)深度融合標(biāo)定方法及系統(tǒng)。

背景技術(shù)：

1、隨著自動(dòng)駕駛技術(shù)的快速發(fā)展，高速、城市noa等智駕量產(chǎn)車已經(jīng)逐步進(jìn)入市場(chǎng)，為人們的出行帶來了極大的便利。然而，自動(dòng)駕駛車輛在實(shí)際應(yīng)用中面臨著諸多挑戰(zhàn)，其中傳感器標(biāo)定是確保自動(dòng)駕駛系統(tǒng)感知精度和可靠性的關(guān)鍵環(huán)節(jié)。激光雷達(dá)與相機(jī)作為自動(dòng)駕駛車輛的主要感知傳感器，其數(shù)據(jù)的準(zhǔn)確對(duì)齊與融合對(duì)于自動(dòng)駕駛系統(tǒng)的決策至關(guān)重要。

2、傳統(tǒng)的傳感器標(biāo)定方法多依賴于人工設(shè)置的標(biāo)定板或靜態(tài)場(chǎng)景，操作復(fù)雜且難以適應(yīng)自動(dòng)駕駛車輛在實(shí)際行駛中復(fù)雜多變的道路環(huán)境。此外，標(biāo)定過程往往需要專業(yè)技術(shù)人員參與，增加了成本和時(shí)間。同時(shí)，標(biāo)定數(shù)據(jù)的存儲(chǔ)、分析和優(yōu)化也面臨著諸多挑戰(zhàn)，特別是在數(shù)據(jù)量龐大且需要實(shí)時(shí)處理的場(chǎng)景中。

技術(shù)實(shí)現(xiàn)思路

1、鑒于以上問題，本發(fā)明提供了一種基于高精地圖的雷達(dá)與相機(jī)深度融合標(biāo)定方法及系統(tǒng)，不僅利用高精地圖車道線真值作為標(biāo)定參考，提高了標(biāo)定的精度和可靠性，而且實(shí)現(xiàn)了激光雷達(dá)與相機(jī)的深度融合自動(dòng)在線標(biāo)定，提高了自動(dòng)駕駛系統(tǒng)的感知精度和安全性。

2、為了實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供的技術(shù)方案如下：

3、一種基于高精地圖的雷達(dá)與相機(jī)深度融合標(biāo)定方法，所述方法包括：

4、m1.車輛行駛在道路上，基于高精地圖實(shí)時(shí)獲取車道線的數(shù)據(jù)信息，基于車載激光雷達(dá)實(shí)時(shí)獲取道路的點(diǎn)云數(shù)據(jù)信息，基于車載相機(jī)實(shí)時(shí)獲取道路的圖像數(shù)據(jù)信息；

5、m2.基于所述道路的圖像數(shù)據(jù)信息，采用基于sobel算子和rober?ts算子的車道線圖像特征提取算法對(duì)車道線的圖像特征進(jìn)行提取，得到車道線的圖像特征數(shù)據(jù)信息，并與所述車道線的數(shù)據(jù)信息進(jìn)行匹配，得到匹配后的車道線的圖像特征數(shù)據(jù)信息；

6、m3.基于所述道路的點(diǎn)云數(shù)據(jù)信息，采用改進(jìn)的基于深度學(xué)習(xí)的點(diǎn)云特征提取算法對(duì)車道線的點(diǎn)云特征進(jìn)行提取，得到車道線的點(diǎn)云特征的數(shù)據(jù)信息；

7、m4.基于所述車道線的點(diǎn)云特征數(shù)據(jù)信息和所述匹配后的車道線的圖像特征數(shù)據(jù)信息，采用基于梯度神經(jīng)網(wǎng)絡(luò)優(yōu)化的點(diǎn)云與圖像的深度融合標(biāo)定算法對(duì)激光雷達(dá)與相機(jī)進(jìn)行聯(lián)合標(biāo)定，得到激光雷達(dá)與相機(jī)的聯(lián)合標(biāo)定參數(shù)的數(shù)據(jù)信息。

8、進(jìn)一步的，在步驟m2中，所述采用基于sobel算子和roberts算子的車道線圖像特征提取算法對(duì)車道線的圖像特征進(jìn)行提取包括：

9、m21.基于所述道路的圖像數(shù)據(jù)信息，建立圖像中像素點(diǎn)的梯度函數(shù)q，

10、

11、其中，r為道路的圖像數(shù)據(jù)信息，α1、α2和α3為圖像中像素點(diǎn)的權(quán)重系數(shù)，對(duì)圖像中每個(gè)像素點(diǎn)的梯度值進(jìn)行推算，得到道路圖像的像素點(diǎn)的梯度值的數(shù)據(jù)信息；

12、m22.基于所述道路圖像的像素點(diǎn)的梯度值的數(shù)據(jù)信息，建立車道線的圖像特征提取函數(shù)w，

13、

14、其中，x為道路圖像的像素點(diǎn)的梯度值的數(shù)據(jù)信息，f為sobel算子邊緣特征提取函數(shù)，g為roberts算子邊緣特征提取函數(shù)，β1、β2和β3為車道線的圖像特征提取因子；

15、m23.基于所述車道線的圖像特征提取函數(shù)w，對(duì)車道線的圖像特征進(jìn)行提取，得到車道線的圖像特征數(shù)據(jù)信息。

16、進(jìn)一步的，所述sobel算子邊緣特征提取函數(shù)f為，

17、

18、所述roberts算子邊緣特征提取函數(shù)g為，

19、

20、其中，x為道路圖像的像素點(diǎn)的梯度值的數(shù)據(jù)信息。

21、進(jìn)一步的，所述車道線的圖像特征提取因子β1、β2和β3為，

22、

23、

24、其中，x為道路圖像的像素點(diǎn)的梯度值的數(shù)據(jù)信息。

25、進(jìn)一步的，在步驟m3中，所述采用改進(jìn)的基于深度學(xué)習(xí)的點(diǎn)云特征提取算法對(duì)車道線的點(diǎn)云特征進(jìn)行提取包括：

26、m31.基于所述道路的點(diǎn)云數(shù)據(jù)信息，構(gòu)建道路的點(diǎn)云數(shù)據(jù)集；

27、m32.將所述道路的點(diǎn)云數(shù)據(jù)集輸入深度學(xué)習(xí)的點(diǎn)云特征提取模型進(jìn)行訓(xùn)練和學(xué)習(xí)，確定模型的特征提取函數(shù)r，

28、

29、其中，y為道路的點(diǎn)云數(shù)據(jù)集，δ1、δ2和δ3為道路的點(diǎn)云的特征獎(jiǎng)勵(lì)因子，得到訓(xùn)練好的深度學(xué)習(xí)的點(diǎn)云特征提取模型；

30、m33.基于所述訓(xùn)練好的深度學(xué)習(xí)的點(diǎn)云特征提取模型，輸入道路的點(diǎn)云數(shù)據(jù)集，對(duì)車道線的點(diǎn)云特征進(jìn)行提取，得到車道線的點(diǎn)云特征的數(shù)據(jù)信息。

31、進(jìn)一步的，所述道路的點(diǎn)云的特征獎(jiǎng)勵(lì)因子δ1、δ2和δ3的約束條件為，

32、

33、進(jìn)一步的，在步驟m4中，所述采用基于梯度神經(jīng)網(wǎng)絡(luò)優(yōu)化的點(diǎn)云與圖像的深度融合標(biāo)定算法對(duì)激光雷達(dá)與相機(jī)進(jìn)行聯(lián)合標(biāo)定包括：

34、m41.基于所述車道線的點(diǎn)云特征數(shù)據(jù)信息和所述匹配后的車道線的圖像特征數(shù)據(jù)信息，建立車道線的多模態(tài)融合函數(shù)p，

35、

36、其中，z1為車道線的點(diǎn)云特征數(shù)據(jù)信息，z2為匹配后的車道線的圖像特征數(shù)據(jù)信息，γ1、γ2和γ3為車道線的多模態(tài)的融合因子，對(duì)車道線的點(diǎn)云和圖像的特征進(jìn)行融合，得到融合后的車道線的特征數(shù)據(jù)信息；

37、m42.基于所述融合后的車道線的特征數(shù)據(jù)信息，建立激光雷達(dá)與相機(jī)的聯(lián)合標(biāo)定函數(shù)s，

38、

39、其中，h為融合后的車道線的特征數(shù)據(jù)信息，η1、η2和η3為激光雷達(dá)與相機(jī)的聯(lián)合標(biāo)定因子，并將所述激光雷達(dá)與相機(jī)的聯(lián)合標(biāo)定因子輸入梯度神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化；

40、m43.基于所述激光雷達(dá)與相機(jī)的聯(lián)合標(biāo)定函數(shù)s，對(duì)激光雷達(dá)與相機(jī)進(jìn)行聯(lián)合標(biāo)定，得到激光雷達(dá)與相機(jī)的聯(lián)合標(biāo)定參數(shù)的數(shù)據(jù)信息。

41、進(jìn)一步的，所述將所述激光雷達(dá)與相機(jī)的聯(lián)合標(biāo)定因子輸入梯度神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化為將激光雷達(dá)與相機(jī)的聯(lián)合標(biāo)定因子輸入梯度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和學(xué)習(xí)，構(gòu)建網(wǎng)絡(luò)的優(yōu)化函數(shù)g，

42、

43、其中，q為激光雷達(dá)與相機(jī)的聯(lián)合標(biāo)定因子，λ1、λ2和λ3為優(yōu)化因子，對(duì)激光雷達(dá)與相機(jī)的聯(lián)合標(biāo)定因子進(jìn)行優(yōu)化，得到優(yōu)化后的激光雷達(dá)與相機(jī)的聯(lián)合標(biāo)定因子。

44、為了實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明還提供了一種基于高精地圖的雷達(dá)與相機(jī)深度融合標(biāo)定系統(tǒng)，包括計(jì)算機(jī)設(shè)備，該計(jì)算機(jī)設(shè)備被編程或配置以執(zhí)行任意一項(xiàng)所述的基于高精地圖的雷達(dá)與相機(jī)深度融合標(biāo)定方法的步驟。

45、為了實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有被編程或配置以執(zhí)行任意一項(xiàng)所述的基于高精地圖的雷達(dá)與相機(jī)深度融合標(biāo)定方法的計(jì)算機(jī)程序。

46、本發(fā)明具有以下積極效果：

47、1.本發(fā)明通過采用基于sobel算子和roberts算子的車道線圖像特征提取算法對(duì)車道線的圖像特征進(jìn)行提取，并結(jié)合采用改進(jìn)的基于深度學(xué)習(xí)的點(diǎn)云特征提取算法對(duì)車道線的點(diǎn)云特征進(jìn)行提取，不僅利用高精地圖車道線真值作為標(biāo)定參考，提高了標(biāo)定的精度和可靠性，而且實(shí)現(xiàn)了激光雷達(dá)與相機(jī)的深度融合自動(dòng)在線標(biāo)定，提高了自動(dòng)駕駛系統(tǒng)的感知精度和安全性。

48、2.本發(fā)明通過采用基于梯度神經(jīng)網(wǎng)絡(luò)優(yōu)化的點(diǎn)云與圖像的深度融合標(biāo)定算法對(duì)激光雷達(dá)與相機(jī)進(jìn)行聯(lián)合標(biāo)定，不僅實(shí)現(xiàn)了標(biāo)定數(shù)據(jù)的存儲(chǔ)、分析和優(yōu)化，為自動(dòng)駕駛系統(tǒng)的進(jìn)一步優(yōu)化提供了數(shù)據(jù)支持，而且降低了標(biāo)定過程的復(fù)雜性和成本。