本申請(qǐng)涉及高精地圖實(shí)時(shí)地圖生成,尤其涉及一種在線地圖生成模型訓(xùn)練方法、在線地圖生成方法、裝置及電子設(shè)備、存儲(chǔ)介質(zhì)。
背景技術(shù):
1、在高精地圖處理中通常需要做實(shí)時(shí)地圖生成的任務(wù)。
2、但是,在實(shí)時(shí)地圖生成時(shí)常會(huì)遇到生成元素不完整,生成元素不匹配等問(wèn)題,從而影響生成地圖的整體效果。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例提供了一種在線地圖生成模型訓(xùn)練方法、在線地圖生成方法、裝置及電子設(shè)備、存儲(chǔ)介質(zhì),以實(shí)現(xiàn)生成元素的完整性和生成元素的準(zhǔn)確性,從而提升生成地圖的整體效果。
2、本申請(qǐng)實(shí)施例采用下述技術(shù)方案:
3、第一方面,本申請(qǐng)實(shí)施例提供一種在線地圖生成模型訓(xùn)練方法,其中,所述模型訓(xùn)練方法包括:
4、輸入待訓(xùn)練數(shù)據(jù);
5、將所述待訓(xùn)練數(shù)據(jù)分別經(jīng)過(guò)至少包括在線地圖編碼器mapencoder和在線地圖解碼器mapdecoder的網(wǎng)絡(luò),得到第一特征和第二特征;
6、確定所述在線地圖編碼器與所述在線地圖解碼器兩者輸出的所述第一特征和所述第二特征之間的初始損失值loss;
7、根據(jù)所述初始損失值loss確定最終的損失值loss,將所述網(wǎng)絡(luò)訓(xùn)練至收斂得到在線地圖生成模型。
8、在一些實(shí)施例中,所述待訓(xùn)練數(shù)據(jù),包括:
9、通過(guò)圖像傳感器采集得到前左,前右,后左,后右四張圖像信息;
10、將所述圖像傳感器的內(nèi)參參數(shù)、外參參數(shù)以及所述前左,前右,后左,后右四張圖像信息,作為所述待訓(xùn)練數(shù)據(jù)。
11、在一些實(shí)施例中,所述將所述待訓(xùn)練數(shù)據(jù)分別經(jīng)過(guò)至少包括在線地圖編碼器mapencoder和在線地圖解碼器mapdecoder的網(wǎng)絡(luò),得到第一特征和第二特征,包括:
12、根據(jù)所述在線地圖編碼器將所述前左,前右,后左,后右四張圖像信息轉(zhuǎn)換為bev數(shù)據(jù);
13、采用預(yù)設(shè)注意力機(jī)制,根據(jù)所述在線地圖解碼器的網(wǎng)絡(luò)提取所述bev數(shù)據(jù)中的公共有用信息后輸出bev特征并作為所述第一特征;
14、將所述bev特征進(jìn)行多層卷積操作后,采用所述預(yù)設(shè)注意力機(jī)制提取得到所述前左,前右,后左,后右四張圖像信息的特征信息并作為所述第二特征。
15、在一些實(shí)施例中,確定所述在線地圖編碼器與所述在線地圖解碼器兩者輸出的所述第一特征和所述第二特征之間的初始損失值loss,包括:
16、采用損失函數(shù)計(jì)算所述在線地圖編碼器mapencoder和在線地圖解碼器mapdecoder輸出的所述第一特征和所述第二特征之間的初始損失值loss。
17、在一些實(shí)施例中,根據(jù)所述初始損失值loss確定最終的損失值loss,將所述網(wǎng)絡(luò)訓(xùn)練至收斂得到在線地圖生成模型,包括:
18、根據(jù)所述初始損失值loss,通過(guò)反向傳播計(jì)算最終的損失值loss并優(yōu)化后得到在線地圖生成模型。
19、第二方面,本申請(qǐng)實(shí)施例還提供一種在線地圖生成方法,其中,所述在線地圖生成方法包括:
20、采用第一方面中所述的在線地圖生成模型訓(xùn)練方法,得到在線地圖生成模型;
21、輸入至少包括前左,前右,后左,后右四個(gè)方向的圖像信息;
22、根據(jù)所述在線地圖生成模型,輸出在線地圖數(shù)據(jù)。
23、在一些實(shí)施例中,所述輸出在線地圖數(shù)據(jù)包括:
24、至少包括車道線、車道邊界線、車道指示標(biāo)識(shí)的在線地圖數(shù)據(jù)。
25、第三方面,本申請(qǐng)實(shí)施例還提供一種在線地圖生成模型訓(xùn)練裝置,其中,所述裝置包括:
26、輸入模塊,用于輸入待訓(xùn)練數(shù)據(jù);
27、處理模塊,用于將所述待訓(xùn)練數(shù)據(jù)分別經(jīng)過(guò)至少包括在線地圖編碼器mapencoder和在線地圖解碼器mapdecoder的網(wǎng)絡(luò),得到第一特征和第二特征,
28、損失確定模塊,用于確定所述在線地圖編碼器與所述在線地圖解碼器兩者輸出的所述第一特征和所述第二特征之間的初始損失值loss;
29、損失迭代模塊,用于根據(jù)所述初始損失值loss確定最終的損失值loss,將所述網(wǎng)絡(luò)訓(xùn)練至收斂得到在線地圖生成模型。
30、第四方面,本申請(qǐng)實(shí)施例還提供一種電子設(shè)備,包括:處理器;以及被安排成存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的存儲(chǔ)器,所述可執(zhí)行指令在被執(zhí)行時(shí)使所述處理器執(zhí)行上述方法。
31、第五方面,本申請(qǐng)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)一個(gè)或多個(gè)程序,所述一個(gè)或多個(gè)程序當(dāng)被包括多個(gè)應(yīng)用程序的電子設(shè)備執(zhí)行時(shí),使得所述電子設(shè)備執(zhí)行上述方法。
32、本申請(qǐng)實(shí)施例采用的上述至少一個(gè)技術(shù)方案能夠達(dá)到以下有益效果:輸入待訓(xùn)練數(shù)據(jù),將所述待訓(xùn)練數(shù)據(jù)分別經(jīng)過(guò)至少包括在線地圖編碼器mapencoder和在線地圖解碼器mapdecoder的網(wǎng)絡(luò),得到第一特征和第二特征。進(jìn)一步,確定所述在線地圖編碼器與所述在線地圖解碼器兩者輸出的所述第一特征和所述第二特征之間的初始損失值loss,最后,根據(jù)所述初始損失值loss確定最終的損失值loss,將所述網(wǎng)絡(luò)訓(xùn)練至收斂得到在線地圖生成模型。通過(guò)上述方法,提升了生成地圖元素的完整性和地圖生成元素的匹配準(zhǔn)確性,從而提升了生成地圖的整體效果。
1.一種在線地圖生成模型訓(xùn)練方法,其中,所述模型訓(xùn)練方法包括:
2.如權(quán)利要求1所述方法,其中,所述待訓(xùn)練數(shù)據(jù),包括:
3.如權(quán)利要求1所述方法,其中,所述將所述待訓(xùn)練數(shù)據(jù)分別經(jīng)過(guò)至少包括在線地圖編碼器mapencoder和在線地圖解碼器mapdecoder的網(wǎng)絡(luò),得到第一特征和第二特征,包括:
4.如權(quán)利要求1所述方法,其中,確定所述在線地圖編碼器與所述在線地圖解碼器兩者輸出的所述第一特征和所述第二特征之間的初始損失值loss,包括:
5.如權(quán)利要求4所述方法,其中,根據(jù)所述初始損失值loss確定最終的損失值loss,將所述網(wǎng)絡(luò)訓(xùn)練至收斂得到在線地圖生成模型,包括:
6.一種在線地圖生成方法,其中,所述在線地圖生成方法包括:
7.如權(quán)利要求1至5任一項(xiàng)所述方法,其中,所述輸出在線地圖數(shù)據(jù)包括:
8.一種在線地圖生成模型訓(xùn)練裝置,其中,所述裝置包括:
9.一種電子設(shè)備,包括:
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)一個(gè)或多個(gè)程序,所述一個(gè)或多個(gè)程序當(dāng)被包括多個(gè)應(yīng)用程序的電子設(shè)備執(zhí)行時(shí),使得所述電子設(shè)備執(zhí)行所述權(quán)利要求1~7之任一所述方法,和/或所述權(quán)利要求6~7之任一所述方法。