本技術(shù)實(shí)施例涉及智能駕駛領(lǐng)域,特別涉及一種軌跡生成模型的訓(xùn)練、軌跡生成的方法及裝置。
背景技術(shù):
1、隨著智能交通領(lǐng)域的不斷發(fā)展,基于自動(dòng)駕駛車輛獲取周圍的障礙物信息,并基于障礙物信息對(duì)障礙物的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè),為自動(dòng)駕駛車輛提供障礙物的運(yùn)動(dòng)預(yù)測(cè)軌跡,自動(dòng)駕駛車輛可以提前規(guī)劃行駛路線,保障車輛安全行駛。
2、目前,一般利用重復(fù)擴(kuò)展的軌跡生成模型對(duì)不同類型的障礙物進(jìn)行運(yùn)動(dòng)軌跡的預(yù)測(cè),其中,障礙物包括車輛障礙物以及行人障礙物。軌跡生成模型的重復(fù)擴(kuò)展導(dǎo)致模型的擴(kuò)展維護(hù)成本較高,并且不同類型的障礙物對(duì)于運(yùn)動(dòng)軌跡的預(yù)測(cè)要求存在一定的差異,通過重復(fù)擴(kuò)展的軌跡生成模型對(duì)不同類型的障礙物進(jìn)行運(yùn)動(dòng)軌跡預(yù)測(cè),導(dǎo)致障礙物的運(yùn)動(dòng)預(yù)測(cè)軌跡與實(shí)際運(yùn)動(dòng)軌跡之間存在較大的差異。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例提供了一種軌跡生成模型的訓(xùn)練、軌跡生成的方法及裝置,可用于解決相關(guān)技術(shù)中的問題。所述技術(shù)方案如下:
2、一方面,本技術(shù)實(shí)施例提供了一種軌跡生成模型的訓(xùn)練方法,所述方法可包括:獲取自動(dòng)駕駛車輛的歷史數(shù)據(jù),所述歷史數(shù)據(jù)包括所述自動(dòng)駕駛車輛周圍的障礙物信息;基于初始軌跡生成模型對(duì)所述歷史數(shù)據(jù)進(jìn)行處理,得到統(tǒng)一提示詞向量、類別提示詞向量、模態(tài)提示詞向量中的至少一種和交通環(huán)境向量,所述統(tǒng)一提示詞向量用于表征場(chǎng)景信息,所述類別提示詞向量用于表征所述障礙物的類別信息,所述模態(tài)提示詞向量用于表征所述障礙物的模態(tài)信息;基于語義提示詞向量的設(shè)置模板,在所述統(tǒng)一提示詞向量、所述類別提示詞向量、所述模態(tài)提示詞向量中選擇至少一種進(jìn)行處理,得到語義提示詞向量;利用所述交通環(huán)境向量和所述語義提示詞向量對(duì)所述初始軌跡生成模型進(jìn)行訓(xùn)練,得到目標(biāo)軌跡生成模型,所述目標(biāo)軌跡生成模型用于生成所述障礙物的運(yùn)動(dòng)預(yù)測(cè)軌跡。
3、在一種可能的實(shí)現(xiàn)方式中,所述基于初始軌跡生成模型對(duì)所述歷史數(shù)據(jù)進(jìn)行處理,得到統(tǒng)一提示詞向量、類別提示詞向量、模態(tài)提示詞向量中的至少一種和交通環(huán)境向量,可包括:利用所述初始軌跡生成模型對(duì)所述歷史數(shù)據(jù)進(jìn)行特征提取,得到初始特征;在所述初始特征中確定語義特征,基于所述初始軌跡生成模型的第一編碼單元對(duì)所述語義特征進(jìn)行編碼,得到所述統(tǒng)一提示詞向量、所述類別提示詞向量、所述模態(tài)提示詞向量中的至少一種;在所述初始特征中確定交通環(huán)境特征,基于所述初始軌跡生成模型的第二編碼單元對(duì)所述交通環(huán)境特征進(jìn)行編碼,得到所述交通環(huán)境向量。
4、在一種可能的實(shí)現(xiàn)方式中,所述利用所述初始軌跡生成模型對(duì)所述歷史數(shù)據(jù)進(jìn)行特征提取,得到初始特征之后,所述方法還可包括:基于所述歷史數(shù)據(jù)確定待學(xué)習(xí)的所述統(tǒng)一提示詞向量、所述類別提示詞向量以及所述模態(tài)提示詞向量,基于待學(xué)習(xí)的所述統(tǒng)一提示詞向量、所述類別提示詞向量以及所述模態(tài)提示詞向量生成學(xué)習(xí)向量集合;所述基于所述初始軌跡生成模型的第一編碼單元對(duì)所述語義特征進(jìn)行編碼,包括:基于所述初始軌跡生成模型的第一編碼單元和所述學(xué)習(xí)向量集合對(duì)所述語義特征進(jìn)行編碼。
5、在一種可能的實(shí)現(xiàn)方式中,所述語義提示詞向量包括所述統(tǒng)一提示詞向量、所述類別提示詞向量以及所述模態(tài)提示詞向量,當(dāng)所述障礙物的所述語義提示詞向量為多個(gè)時(shí),多個(gè)所述語義提示詞向量中的所述統(tǒng)一提示詞向量相同。
6、在一種可能的實(shí)現(xiàn)方式中,所述利用所述交通環(huán)境向量和所述語義提示詞向量對(duì)所述初始軌跡生成模型進(jìn)行訓(xùn)練,得到目標(biāo)軌跡生成模型,可包括:利用所述初始軌跡生成模型的解碼單元對(duì)所述交通環(huán)境向量和所述語義提示詞向量進(jìn)行解碼處理,得到障礙物預(yù)測(cè)軌跡;計(jì)算所述障礙物預(yù)測(cè)軌跡與實(shí)際軌跡的損失值,基于所述損失值對(duì)所述初始軌跡生成模型的參數(shù)進(jìn)行調(diào)整,得到所述目標(biāo)軌跡生成模型,所述目標(biāo)軌跡生成模型的所述損失值小于或者等于參考損失值,所述損失值用于表征所述障礙物預(yù)測(cè)軌跡與所述實(shí)際軌跡的差異程度。
7、在一種可能的實(shí)現(xiàn)方式中,所述利用所述初始軌跡生成模型的解碼單元對(duì)所述交通環(huán)境向量和所述語義提示詞向量進(jìn)行解碼處理,得到障礙物預(yù)測(cè)軌跡,可包括:利用所述解碼單元對(duì)所述交通環(huán)境向量和所述語義提示詞向量進(jìn)行解碼處理,得到初始障礙物預(yù)測(cè)軌跡和置信度,所述置信度為所述障礙物未來運(yùn)動(dòng)到對(duì)應(yīng)的模態(tài)的概率;基于所述置信度對(duì)所述初始障礙物預(yù)測(cè)軌跡進(jìn)行篩選,得到所述障礙物預(yù)測(cè)軌跡,所述障礙物預(yù)測(cè)軌跡的置信度大于或者等于參考置信度。
8、在一種可能的實(shí)現(xiàn)方式中,所述基于初始軌跡生成模型對(duì)所述歷史數(shù)據(jù)進(jìn)行處理之前,所述方法還可包括:對(duì)所述歷史數(shù)據(jù)進(jìn)行預(yù)處理,得到預(yù)處理數(shù)據(jù),所述預(yù)處理包括對(duì)所述歷史數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理、去除異常數(shù)據(jù)以及確定自動(dòng)駕駛車輛的預(yù)設(shè)范圍中至少之一。
9、另一方面,本技術(shù)實(shí)施例提供了一種軌跡生成的方法,所述方法可包括:獲取自動(dòng)駕駛車輛的行駛信息,所述行駛信息包括所述自動(dòng)駕駛車輛周圍的障礙物信息;基于目標(biāo)軌跡生成模型和所述行駛信息對(duì)所述障礙物的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè),得到所述障礙物的運(yùn)動(dòng)預(yù)測(cè)軌跡,所述目標(biāo)軌跡生成模型基于上述的方法訓(xùn)練得到。
10、在一種可能的實(shí)現(xiàn)方式中,所述基于目標(biāo)軌跡生成模型和所述行駛信息對(duì)所述障礙物的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè),得到所述障礙物的運(yùn)動(dòng)預(yù)測(cè)軌跡之后,所述方法還可包括:基于所述障礙物的運(yùn)動(dòng)預(yù)測(cè)軌跡生成輔助駕駛信息,所述輔助駕駛信息用于輔助規(guī)劃自動(dòng)駕駛車輛的行駛路徑。
11、另一方面,本技術(shù)實(shí)施例提供了一種軌跡生成模型的訓(xùn)練裝置,所述裝置可包括:獲取模塊,用于獲取自動(dòng)駕駛車輛的歷史數(shù)據(jù),所述歷史數(shù)據(jù)包括所述自動(dòng)駕駛車輛周圍的障礙物信息;編碼模塊,用于基于初始軌跡生成模型對(duì)所述歷史數(shù)據(jù)進(jìn)行處理,得到統(tǒng)一提示詞向量、類別提示詞向量、模態(tài)提示詞向量中的至少一種和交通環(huán)境向量,所述統(tǒng)一提示詞向量用于表征場(chǎng)景信息,所述類別提示詞向量用于表征所述障礙物的類別信息,所述模態(tài)提示詞向量用于表征所述障礙物的模態(tài)信息;設(shè)置模塊,用于基于語義提示詞向量的設(shè)置模板,在所述統(tǒng)一提示詞向量、所述類別提示詞向量、所述模態(tài)提示詞向量中選擇至少一種進(jìn)行處理,得到語義提示詞向量;訓(xùn)練模塊,用于利用所述交通環(huán)境向量和所述語義提示詞向量對(duì)所述初始軌跡生成模型進(jìn)行訓(xùn)練,得到目標(biāo)軌跡生成模型,所述目標(biāo)軌跡生成模型用于生成所述障礙物的運(yùn)動(dòng)預(yù)測(cè)軌跡。
12、在一種可能的實(shí)現(xiàn)方式中,所述編碼模塊,用于利用所述初始軌跡生成模型對(duì)所述歷史數(shù)據(jù)進(jìn)行特征提取,得到初始特征;在所述初始特征中確定語義特征,基于所述初始軌跡生成模型的第一編碼單元對(duì)所述語義特征進(jìn)行編碼,得到所述統(tǒng)一提示詞向量、所述類別提示詞向量、所述模態(tài)提示詞向量中的至少一種;在所述初始特征中確定交通環(huán)境特征,基于所述初始軌跡生成模型的第二編碼單元對(duì)所述交通環(huán)境特征進(jìn)行編碼,得到所述交通環(huán)境向量。
13、在一種可能的實(shí)現(xiàn)方式中,所述編碼模塊,用于基于所述歷史數(shù)據(jù)確定待學(xué)習(xí)的所述統(tǒng)一提示詞向量、所述類別提示詞向量以及所述模態(tài)提示詞向量,基于待學(xué)習(xí)的所述統(tǒng)一提示詞向量、所述類別提示詞向量以及所述模態(tài)提示詞向量生成學(xué)習(xí)向量集合;所述編碼模塊,還用于基于所述初始軌跡生成模型的第一編碼單元和所述學(xué)習(xí)向量集合對(duì)所述語義特征進(jìn)行編碼。
14、在一種可能的實(shí)現(xiàn)方式中,所述語義提示詞向量包括所述統(tǒng)一提示詞向量、所述類別提示詞向量以及所述模態(tài)提示詞向量,當(dāng)所述障礙物的所述語義提示詞向量為多個(gè)時(shí),多個(gè)所述語義提示詞向量中的所述統(tǒng)一提示詞向量相同。
15、在一種可能的實(shí)現(xiàn)方式中,所述訓(xùn)練模塊,用于利用所述初始軌跡生成模型的解碼單元對(duì)所述交通環(huán)境向量和所述語義提示詞向量進(jìn)行解碼處理,得到障礙物預(yù)測(cè)軌跡;計(jì)算所述障礙物預(yù)測(cè)軌跡與實(shí)際軌跡的損失值,基于所述損失值對(duì)所述初始軌跡生成模型的參數(shù)進(jìn)行調(diào)整,得到所述目標(biāo)軌跡生成模型,所述目標(biāo)軌跡生成模型的所述損失值小于或者等于參考損失值,所述損失值用于表征所述障礙物預(yù)測(cè)軌跡與所述實(shí)際軌跡的差異程度。
16、在一種可能的實(shí)現(xiàn)方式中,所述訓(xùn)練模塊,用于利用所述解碼單元對(duì)所述交通環(huán)境向量和所述語義提示詞向量進(jìn)行解碼處理,得到初始障礙物預(yù)測(cè)軌跡和置信度,所述置信度為所述障礙物未來運(yùn)動(dòng)到對(duì)應(yīng)的模態(tài)的概率;基于所述置信度對(duì)所述初始障礙物預(yù)測(cè)軌跡進(jìn)行篩選,得到所述障礙物預(yù)測(cè)軌跡,所述障礙物預(yù)測(cè)軌跡的置信度大于或者等于參考置信度。
17、在一種可能的實(shí)現(xiàn)方式中,所述獲取模塊,還用于對(duì)所述歷史數(shù)據(jù)進(jìn)行預(yù)處理,得到預(yù)處理數(shù)據(jù),所述預(yù)處理包括對(duì)所述歷史數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理、去除異常數(shù)據(jù)以及確定自動(dòng)駕駛車輛的預(yù)設(shè)范圍中至少之一。
18、另一方面,本技術(shù)實(shí)施例提供了一種軌跡生成的裝置,所述裝置可包括:采集模塊,用于獲取自動(dòng)駕駛車輛的行駛信息,所述行駛信息包括所述自動(dòng)駕駛車輛周圍的障礙物信息;生成模塊,用于基于目標(biāo)軌跡生成模型和所述行駛信息對(duì)所述障礙物的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè),得到所述障礙物的運(yùn)動(dòng)預(yù)測(cè)軌跡,所述目標(biāo)軌跡生成模型基于上述的方法訓(xùn)練得到。
19、在一種可能的實(shí)現(xiàn)方式中,所述生成模塊,還用于基于所述障礙物的運(yùn)動(dòng)預(yù)測(cè)軌跡生成輔助駕駛信息,所述輔助駕駛信息用于輔助規(guī)劃自動(dòng)駕駛車輛的行駛路徑。
20、另一方面,本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)設(shè)備,所述計(jì)算機(jī)設(shè)備包括處理器和存儲(chǔ)器,所述存儲(chǔ)器中存儲(chǔ)有至少一條程序代碼,所述至少一條程序代碼由所述處理器加載并執(zhí)行,以使計(jì)算機(jī)設(shè)備實(shí)現(xiàn)上述任一所述的軌跡生成模型的訓(xùn)練方法或者軌跡生成的方法。
21、另一方面,還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有至少一條程序代碼,所述至少一條程序代碼由處理器加載并執(zhí)行,以使計(jì)算機(jī)實(shí)現(xiàn)上述任一所述的軌跡生成模型的訓(xùn)練方法或者軌跡生成的方法。
22、另一方面,還提供了一種計(jì)算機(jī)程序或計(jì)算機(jī)程序產(chǎn)品,所述計(jì)算機(jī)程序或計(jì)算機(jī)程序產(chǎn)品中存儲(chǔ)有至少一條計(jì)算機(jī)指令,所述至少一條計(jì)算機(jī)指令由處理器加載并執(zhí)行,以使計(jì)算機(jī)實(shí)現(xiàn)上述任一種軌跡生成模型的訓(xùn)練方法或者軌跡生成的方法。
23、本技術(shù)實(shí)施例提供的技術(shù)方案至少帶來如下有益效果:
24、本技術(shù)實(shí)施例提供的技術(shù)方案,利用障礙物的語義提示詞向量和交通環(huán)境向量對(duì)初始軌跡生成模型進(jìn)行訓(xùn)練,得到目標(biāo)軌跡生成模型。通過設(shè)置模板構(gòu)建障礙物的語義提示詞向量,可以滿足各個(gè)障礙物的需求,實(shí)現(xiàn)初始生成模型中部分單元的復(fù)用,增強(qiáng)了模型的可擴(kuò)展性,在一定程度上可以降低模型設(shè)計(jì)以及模型維護(hù)的難度和成本。基于語義提示詞向量對(duì)初始軌跡生成模型進(jìn)行訓(xùn)練,目標(biāo)軌跡生成模型的學(xué)習(xí)能力強(qiáng),泛化性更好。并且目標(biāo)軌跡生成模型利用語義提示詞向量和交通環(huán)境向量生成障礙物的運(yùn)動(dòng)預(yù)測(cè)軌跡,可以在一定程度上提高運(yùn)動(dòng)預(yù)測(cè)軌跡的準(zhǔn)確性。