本發(fā)明涉及自動(dòng)駕駛，具體涉及一種車道線檢測(cè)方法、裝置、設(shè)備、車輛、介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、隨著汽車自動(dòng)駕駛的快速發(fā)展，車道線檢測(cè)在自動(dòng)駕駛中的應(yīng)用至關(guān)重要。而基于深度學(xué)習(xí)的網(wǎng)絡(luò)模型則是實(shí)現(xiàn)車道線檢測(cè)的核心工具，以使車輛能夠在復(fù)雜環(huán)境中保持正常行駛并進(jìn)行路徑?jīng)Q策，所以確保網(wǎng)絡(luò)模型輸出車道線信息的準(zhǔn)確性是十分重要的。

2、現(xiàn)有技術(shù)中，用于車道線檢測(cè)的基于深度學(xué)習(xí)的網(wǎng)絡(luò)模型輸出的車道線三維(3dimension，3d)信息通常是首先通過(guò)網(wǎng)絡(luò)模型輸出預(yù)測(cè)的車道線二維(2dimension，2d)信息，然后根據(jù)建立世界坐標(biāo)系與相機(jī)坐標(biāo)系的映射關(guān)系，從而將2d車道線映射到3d坐標(biāo)系中以獲取車道線3d信息。

3、然而，現(xiàn)有技術(shù)中利用網(wǎng)絡(luò)模型輸出的車道線3d信息準(zhǔn)確度較低，計(jì)算較復(fù)雜，難以滿足自動(dòng)駕駛中精確性及實(shí)時(shí)性的需求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的之一在于提供一種車道線檢測(cè)方法、裝置、設(shè)備、車輛、介質(zhì)及產(chǎn)品，以解決現(xiàn)有技術(shù)中利用網(wǎng)絡(luò)模型輸出的車道線3d信息準(zhǔn)確度較低，計(jì)算較復(fù)雜，難以滿足自動(dòng)駕駛中精確性及實(shí)時(shí)性需求的問(wèn)題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

3、一種車道線檢測(cè)方法，其特征在于，所述方法包括：

4、通過(guò)安裝在車輛上的多個(gè)圖像采集設(shè)備，采集多個(gè)車道線圖像，每個(gè)圖像采集設(shè)備的焦距不同；

5、將所述多個(gè)車道線圖像輸入車道線檢測(cè)模型，獲取所述車道線檢測(cè)模型輸出的車道線的3d坐標(biāo)，所述車道線檢測(cè)模型包括查詢向量生成模塊、3d位置編碼生成模塊、變換器模塊以及3d車道線檢測(cè)模塊；

6、所述車道線檢測(cè)模型在生成所述車道線的3d坐標(biāo)時(shí)，所述查詢向量生成模塊根據(jù)每個(gè)車道線圖像的圖像特征，生成針對(duì)所述車道線的第一查詢向量；所述3d位置編碼生成模塊生成每個(gè)車道線圖像對(duì)應(yīng)的3d位置編碼；所述變換器模塊將每個(gè)車道線圖像的圖像特征以及3d位置編碼融入所述第一查詢向量，得到第二查詢向量，所述3d車道線檢測(cè)模塊根據(jù)所述第二查詢向量，生成所述車道線的3d坐標(biāo)。

7、通過(guò)上述技術(shù)手段，在車輛行駛過(guò)程中，通過(guò)安裝在車輛的多個(gè)圖像采集設(shè)備采集焦距不同的多個(gè)車道線圖像，以保證車道線圖像表示的車道線的準(zhǔn)確性和完整性。車道線檢測(cè)模型在對(duì)多個(gè)車道線圖像進(jìn)行處理，獲取車道線的3d坐標(biāo)的過(guò)程中，無(wú)需進(jìn)行2d坐標(biāo)和3d坐標(biāo)之間的轉(zhuǎn)換，提高了處理效率，減少了因?yàn)檫^(guò)多轉(zhuǎn)換操作帶來(lái)的誤差，進(jìn)而保證了生成的3d坐標(biāo)的準(zhǔn)確度，滿足自動(dòng)駕駛對(duì)精確性及實(shí)時(shí)性的需求。

8、進(jìn)一步的，所述變換器模塊包括自注意力子模塊、可變形交叉注意力子模塊以及ffn子模塊；

9、所述車道線檢測(cè)模型在生成所述車道線的3d坐標(biāo)時(shí)，所述自注意力子模塊計(jì)算所述第一查詢向量中每個(gè)元素與其他元素之間的注意力分?jǐn)?shù)，并根據(jù)所述注意力分?jǐn)?shù)對(duì)所述元素進(jìn)行更新，得到第三查詢向量；

10、所述可變形交叉注意力子模塊將每個(gè)車道線圖像的圖像特征以及3d位置編碼融入所述第三查詢向量，得到第四查詢向量；

11、所述ffn子模塊利用非線性激活函數(shù)對(duì)所述第四查詢向量進(jìn)行更新，得到所述第二查詢向量。

12、根據(jù)上述技術(shù)手段，通過(guò)將自注意力子模塊、可變形交叉注意力子模塊以及fnn子模塊進(jìn)行結(jié)合的網(wǎng)絡(luò)連接方式，增強(qiáng)了對(duì)全局特征依賴關(guān)系的學(xué)習(xí)能力，進(jìn)一步使車道線檢測(cè)模型能夠從不同尺度的特征中提取有效信息。

13、進(jìn)一步的，所述查詢向量生成模塊還包括卷積子模塊以及mlp子模塊；

14、所述車道線檢測(cè)模型在生成所述車道線的3d坐標(biāo)時(shí)，所述卷積子模塊對(duì)所述每個(gè)車道線圖像的圖像特征進(jìn)行拼接和融合，生成第一拼接特征；

15、所述mlp子模塊根據(jù)所述第一拼接特征，生成第一查詢向量。

16、根據(jù)上述技術(shù)手段，由卷積子模塊和mlp子模塊組成查詢向量生成模塊，結(jié)合了卷積操作的空間捕捉能力和mlp子模塊的非線性映射優(yōu)勢(shì)，使得生成的第一查詢向量帶有豐富的語(yǔ)義信息，減少了計(jì)算復(fù)雜度，提高響應(yīng)速度。

17、進(jìn)一步的，所述車道線檢測(cè)模型還包括特征提取模塊，所述特征提取模塊提取每個(gè)車道線圖像的圖像特征，并將對(duì)每個(gè)車道線圖像的圖像特征進(jìn)行展平和拼接，生成第二拼接特征；

18、所述3d位置編碼生成模塊對(duì)每個(gè)樣本車道線圖像的圖像特征進(jìn)行處理，生成每個(gè)樣本車道線圖像的3d位置編碼，并對(duì)每個(gè)樣本車道線圖像的3d位置編碼進(jìn)行展平和拼接，生成拼接3d位置特征，所述第二拼接特征的格式與所述拼接3d位置特征的格式相同。

19、根據(jù)上述技術(shù)手段，將第二拼接特征的格式調(diào)整至所述拼接3d位置特征的格式一致，以便后續(xù)進(jìn)行特征疊加操作。

20、進(jìn)一步的，所述可變形交叉注意力子模塊將每個(gè)車道線圖像的圖像特征以及3d位置編碼融入所述第三查詢向量，得到第四查詢向量，包括：

21、所述可變形交叉注意力子模塊將所述第二拼接特征和所述拼接3d位置特征融入所述第三查詢向量，得到所述第四查詢向量。

22、根據(jù)上述技術(shù)手段，由于拼接3d位置特征包含車道線在三維空間的位置信息，將第二拼接特征與拼接3d位置特征進(jìn)行疊加，可以將車道線在三維空間的位置信息融入到車道線的特征中，這使得車道線檢測(cè)模型能夠更好地理解車道線圖像中各像素點(diǎn)在三維場(chǎng)景中的位置關(guān)系，有助于更準(zhǔn)確地檢測(cè)和識(shí)別車道線的3d坐標(biāo)。

23、進(jìn)一步的，所述方法還包括：

24、獲取所述車道線檢測(cè)模型輸出的車道線類別以及障礙物信息。

25、根據(jù)上述技術(shù)手段，車道線檢測(cè)模型除了具有識(shí)別車道線的3d坐標(biāo)的功能外，還可以具有識(shí)別車道線類別以及障礙物信息的功能，進(jìn)而提高獲取的車道線信息的全面性。

26、進(jìn)一步的，在所述通過(guò)安裝在車輛上的多個(gè)圖像采集設(shè)備，采集多個(gè)車道線圖像之前，所述方法還包括：

27、獲取處于樣本車輛前方的多個(gè)樣本車道線圖像，以及每個(gè)樣本車道線圖像的樣本標(biāo)簽，所述樣本標(biāo)簽包括樣本車道線的樣本2d坐標(biāo)和樣本3d坐標(biāo)，所述多個(gè)樣本車道線圖像是通過(guò)安裝在所述樣本車輛中的不同焦距的樣本圖像采集設(shè)備采集到的；

28、根據(jù)所述多個(gè)樣本車道線圖像以及每個(gè)樣本車道線圖像的標(biāo)簽，對(duì)初始模型進(jìn)行訓(xùn)練，獲取所述車道線檢測(cè)模型。

29、根據(jù)上述技術(shù)手段，通過(guò)根據(jù)不同焦距的樣本圖像采集設(shè)備采集到的多個(gè)樣本車道線圖像，以及每個(gè)樣本車道線圖像的樣本標(biāo)簽進(jìn)行模型訓(xùn)練，以使獲取車道線檢測(cè)模型，為后續(xù)基于車道線檢測(cè)模型獲取車道線的3d坐標(biāo)奠定基礎(chǔ)。

30、進(jìn)一步的，所述根據(jù)所述多個(gè)樣本車道線圖像以及每個(gè)樣本車道線圖像的標(biāo)簽，對(duì)初始模型進(jìn)行訓(xùn)練，獲取所述車道線檢測(cè)模型包括：

31、通過(guò)所述初始模型對(duì)所述多個(gè)樣本車道線圖像進(jìn)行處理，獲取所述初始模型生成的樣本車道線的預(yù)測(cè)3d坐標(biāo)；

32、根據(jù)樣本車道線的預(yù)測(cè)3d坐標(biāo)以及對(duì)應(yīng)的樣本3d坐標(biāo)，對(duì)所述初始模型中的模型參數(shù)進(jìn)行訓(xùn)練；

33、將樣本車道線的預(yù)測(cè)3d坐標(biāo)投影至對(duì)應(yīng)的樣本車道線圖像中，獲取每個(gè)樣本車道線的預(yù)測(cè)2d坐標(biāo)；

34、根據(jù)每個(gè)樣本車道線的預(yù)測(cè)2d坐標(biāo)以及對(duì)應(yīng)的樣本2d坐標(biāo)，對(duì)所述初始模型中的模型參數(shù)進(jìn)行訓(xùn)練，直到滿足訓(xùn)練截止條件，獲取所述車道線檢測(cè)模型。

35、根據(jù)上述技術(shù)手段，通過(guò)將預(yù)測(cè)2d坐標(biāo)與樣本2d坐標(biāo)進(jìn)行誤差反饋，并將預(yù)測(cè)3d坐標(biāo)與樣本3d坐標(biāo)進(jìn)行再次誤差反饋，實(shí)現(xiàn)了模型參數(shù)的優(yōu)化，進(jìn)一步提高了該車道線檢測(cè)模型對(duì)車道線位置預(yù)測(cè)的精確度和魯棒性。

36、進(jìn)一步的，所述樣本標(biāo)簽包括車道線類別以及障礙物信息。

37、根據(jù)上述技術(shù)手段，通過(guò)獲取詳細(xì)的樣本標(biāo)簽，可以在模型訓(xùn)練時(shí)提供更豐富的車道線場(chǎng)景，更好地理解車道線的形狀、位置和特征，使車道線檢測(cè)模型具有識(shí)別車道線

38、一種車道線檢測(cè)裝置，包括：

39、采集模塊，用于通過(guò)安裝在車輛上的多個(gè)圖像采集設(shè)備，采集多個(gè)車道線圖像，每個(gè)圖像采集設(shè)備的焦距不同；

40、輸入模塊，用于將所述多個(gè)車道線圖像輸入車道線檢測(cè)模型，獲取所述車道線檢測(cè)模型輸出的車道線的3d坐標(biāo)，所述車道線檢測(cè)模型包括查詢向量生成模塊、3d位置編碼生成模塊、變換器模塊以及3d車道線檢測(cè)模塊；

41、所述車道線檢測(cè)模型在生成所述車道線的3d坐標(biāo)時(shí)，所述查詢向量生成模塊根據(jù)每個(gè)車道線圖像的圖像特征，生成針對(duì)所述車道線的第一查詢向量；所述3d位置編碼生成模塊生成每個(gè)車道線圖像對(duì)應(yīng)的3d位置編碼；所述變換器模塊將每個(gè)車道線圖像的圖像特征以及3d位置編碼融入所述第一查詢向量，得到第二查詢向量，所述3d車道線檢測(cè)模塊根據(jù)所述第二查詢向量，生成所述車道線的3d坐標(biāo)。

42、進(jìn)一步的，所述變換器模塊包括自注意力子模塊、可變形交叉注意力子模塊以及ffn子模塊；

43、所述車道線檢測(cè)模型在生成所述車道線的3d坐標(biāo)時(shí)，所述自注意力子模塊計(jì)算所述第一查詢向量中每個(gè)元素與其他元素之間的注意力分?jǐn)?shù)，并根據(jù)所述注意力分?jǐn)?shù)對(duì)所述元素進(jìn)行更新，得到第三查詢向量；

44、所述可變形交叉注意力子模塊將每個(gè)車道線圖像的圖像特征以及3d位置編碼融入所述第三查詢向量，得到第四查詢向量；

45、所述ffn子模塊利用非線性激活函數(shù)對(duì)所述第四查詢向量進(jìn)行更新，得到所述第二查詢向量。

46、進(jìn)一步的，所述查詢向量生成模塊還包括卷積子模塊以及mlp子模塊；

47、所述車道線檢測(cè)模型在生成所述車道線的3d坐標(biāo)時(shí)，所述卷積子模塊對(duì)所述每個(gè)車道線圖像的圖像特征進(jìn)行拼接和融合，生成第一拼接特征；

48、所述mlp子模塊根據(jù)所述第一拼接特征，生成第一查詢向量。

49、進(jìn)一步的，所述車道線檢測(cè)模型還包括特征提取模塊，所述特征提取模塊提取每個(gè)車道線圖像的圖像特征，并將對(duì)每個(gè)車道線圖像的圖像特征進(jìn)行展平和拼接，生成第二拼接特征；

50、所述3d位置編碼生成模塊對(duì)每個(gè)樣本車道線圖像的圖像特征進(jìn)行處理，生成每個(gè)樣本車道線圖像的3d位置編碼，并對(duì)每個(gè)樣本車道線圖像的3d位置編碼進(jìn)行展平和拼接，生成拼接3d位置特征，所述第二拼接特征的格式與所述拼接3d位置特征的格式相同。

51、進(jìn)一步的，所述可變形交叉注意力子模塊根據(jù)每個(gè)車道線圖像的圖像特征以及3d位置編碼，對(duì)所述第三查詢向量進(jìn)行更新，得到第四查詢向量，包括：

52、所述可變形交叉注意力子模塊將所述第二拼接特征和所述拼接3d位置特征融入所述第三查詢向量，得到所述第四查詢向量。

53、進(jìn)一步的，所述車道線檢測(cè)裝置還包括獲取模塊，用于：

54、獲取所述車道線檢測(cè)模型輸出的車道線類別以及障礙物信息。

55、進(jìn)一步的，在所述通過(guò)安裝在車輛上的多個(gè)圖像采集設(shè)備，采集多個(gè)車道線圖像之前，所述車道線檢測(cè)裝置還包括訓(xùn)練模塊，用于：

56、獲取處于樣本車輛前方的多個(gè)樣本車道線圖像，以及每個(gè)樣本車道線圖像的樣本標(biāo)簽，所述樣本標(biāo)簽包括樣本車道線的樣本2d坐標(biāo)和樣本3d坐標(biāo)，所述多個(gè)樣本車道線圖像是通過(guò)安裝在所述樣本車輛中的不同焦距的樣本圖像采集設(shè)備采集到的；

57、根據(jù)所述多個(gè)樣本車道線圖像以及每個(gè)樣本車道線圖像的標(biāo)簽，對(duì)初始模型進(jìn)行訓(xùn)練，獲取所述車道線檢測(cè)模型。

58、進(jìn)一步的，所述車道線檢測(cè)裝置還包括訓(xùn)練模塊，具體用于：

59、通過(guò)所述初始模型對(duì)所述多個(gè)樣本車道線圖像進(jìn)行處理，獲取所述初始模型生成的樣本車道線的預(yù)測(cè)3d坐標(biāo)；

60、根據(jù)樣本車道線的預(yù)測(cè)3d坐標(biāo)以及對(duì)應(yīng)的樣本3d坐標(biāo)，對(duì)所述初始模型中的模型參數(shù)進(jìn)行訓(xùn)練；

61、將樣本車道線的預(yù)測(cè)3d坐標(biāo)投影至對(duì)應(yīng)的樣本車道線圖像中，獲取每個(gè)樣本車道線的預(yù)測(cè)2d坐標(biāo)；

62、根據(jù)每個(gè)樣本車道線的預(yù)測(cè)2d坐標(biāo)以及對(duì)應(yīng)的樣本2d坐標(biāo)，對(duì)所述初始模型中的模型參數(shù)進(jìn)行訓(xùn)練，直到滿足訓(xùn)練截止條件，獲取所述車道線檢測(cè)模型。

63、進(jìn)一步的，所述樣本標(biāo)簽包括樣本車道線類別以及樣本障礙物信息。

64、一種電子設(shè)備，包括：處理器、存儲(chǔ)器及存儲(chǔ)在所述存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)執(zhí)行指令，所述處理器執(zhí)行所述計(jì)算機(jī)執(zhí)行指令時(shí)用于實(shí)現(xiàn)上述的模型訓(xùn)練方法以及車道線檢測(cè)方法。

65、一種車輛，包括：車輛主體、處理器、存儲(chǔ)器及存儲(chǔ)在所述存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)執(zhí)行指令，所述處理器執(zhí)行所述計(jì)算機(jī)執(zhí)行指令時(shí)用于實(shí)現(xiàn)上述的模型訓(xùn)練方法以及車道線檢測(cè)方法。

66、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)執(zhí)行指令，所述計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)上述的模型訓(xùn)練方法以及車道線檢測(cè)方法。

67、一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)上述的模型訓(xùn)練方法以及車道線檢測(cè)方法。

68、本發(fā)明的有益效果：

69、(1)在車輛行駛過(guò)程中，通過(guò)安裝在車輛的多個(gè)圖像采集設(shè)備采集焦距不同的多個(gè)車道線圖像，以保證車道線圖像表示的車道線的準(zhǔn)確性和完整性。

70、(2)車道線檢測(cè)模型在對(duì)多個(gè)車道線圖像進(jìn)行處理，獲取車道線的3d坐標(biāo)的過(guò)程中，無(wú)需進(jìn)行2d坐標(biāo)和3d坐標(biāo)之間的轉(zhuǎn)換，提高了處理效率，減少了因?yàn)檫^(guò)多轉(zhuǎn)換操作帶來(lái)的誤差，進(jìn)而保證了生成的3d坐標(biāo)的準(zhǔn)確度，滿足自動(dòng)駕駛對(duì)精確性及實(shí)時(shí)性的需求。

71、(3)在模型訓(xùn)練過(guò)程中，將預(yù)測(cè)3d坐標(biāo)與樣本3d坐標(biāo)進(jìn)行誤差反饋，實(shí)現(xiàn)模型參數(shù)優(yōu)化的基礎(chǔ)上，將預(yù)測(cè)2d坐標(biāo)與樣本2d坐標(biāo)進(jìn)行再次誤差反饋，對(duì)模型參數(shù)進(jìn)行進(jìn)一步優(yōu)化，進(jìn)一步提高了該車道線檢測(cè)模型對(duì)車道線位置預(yù)測(cè)的精確度和魯棒性。