本申請(qǐng)涉及自動(dòng)駕駛，具體涉及端到端和多模態(tài)大模型等，特別涉及一種基于單token大模型的自動(dòng)駕駛軌跡解碼方法及相關(guān)裝置。

背景技術(shù)：

1、隨著自動(dòng)駕駛技術(shù)的快速發(fā)展，駕駛決策至關(guān)重要，而駕駛決策的關(guān)鍵是對(duì)軌跡的準(zhǔn)確預(yù)測(cè)。由于大語(yǔ)言模型的輸出一般會(huì)用語(yǔ)言token表示，研究者偏好將規(guī)劃軌跡的輸出映射到語(yǔ)言上。例如，如果未來(lái)5秒鐘的軌跡是由<x_t1,y_t1,x_t2,y_t2,...,x_t5,y_t5>這個(gè)10維向量表達(dá)，則輸出會(huì)被解碼成這10個(gè)向量所對(duì)應(yīng)的token。這些token也會(huì)再經(jīng)過(guò)一個(gè)軌跡解碼器做進(jìn)一步優(yōu)化，得到最終的軌跡輸出。

2、由于大語(yǔ)言模型的輸出是自回歸方式，即每個(gè)token都要等待上一個(gè)token輸出完畢后再經(jīng)過(guò)整個(gè)網(wǎng)絡(luò)的推理得出，而token輸出數(shù)量越多則推理時(shí)間越長(zhǎng)，影響自動(dòng)駕駛的實(shí)時(shí)性，尤其對(duì)時(shí)間敏感任務(wù)非常不友好。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)?zhí)峁┝艘环N基于單token大模型的自動(dòng)駕駛軌跡解碼方法及相關(guān)裝置，以解決現(xiàn)有技術(shù)中解碼時(shí)間過(guò)久而影響自動(dòng)駕駛實(shí)時(shí)性需求以及安全性的問(wèn)題。

2、所述技術(shù)方案如下：

3、第一方面，提供了一種基于單token大模型的自動(dòng)駕駛軌跡解碼方法，包括：

4、獲取經(jīng)由多個(gè)不同編碼器進(jìn)行編碼處理得到的多個(gè)編碼token；

5、將所述多個(gè)編碼token輸入訓(xùn)練得到的大語(yǔ)言模型，輸出一個(gè)解碼token；其中，所述大語(yǔ)言模型是基于輸出端對(duì)單個(gè)解碼token的反復(fù)訓(xùn)練得到；

6、將所述一個(gè)解碼token輸入軌跡解碼器進(jìn)行解碼，輸出得到規(guī)劃軌跡；其中，所述軌跡解碼器是訓(xùn)練好的多層感知模型，且所述軌跡解碼器與所述大語(yǔ)言模型是聯(lián)合訓(xùn)練得到。

7、在一種可能的實(shí)現(xiàn)方式中，所述大語(yǔ)言模型通過(guò)以下方式訓(xùn)練得到：

8、獲取作為訓(xùn)練樣本的歷史車輛數(shù)據(jù)集，其中，所述歷史車輛數(shù)據(jù)集中包含多個(gè)模態(tài)的車輛數(shù)據(jù)；

9、基于不同模態(tài)的編碼器對(duì)相應(yīng)車輛數(shù)據(jù)進(jìn)行編碼，得到多個(gè)編碼token；

10、將所述多個(gè)編碼token輸入預(yù)設(shè)大語(yǔ)言模型進(jìn)行自回歸訓(xùn)練，并在輸出端基于分類損失函數(shù)學(xué)習(xí)所需的單個(gè)解碼token，得到訓(xùn)練好的大語(yǔ)言模型。

11、在一種可能的實(shí)現(xiàn)方式中，在訓(xùn)練大語(yǔ)言模型的過(guò)程中，所述方法還包括：

12、接收訓(xùn)練大語(yǔ)言模型時(shí)學(xué)習(xí)輸出的所需單個(gè)解碼token；

13、將所述單個(gè)解碼token作為訓(xùn)練樣本，輸入解碼器模型并基于回歸的損失函數(shù)進(jìn)行訓(xùn)練學(xué)習(xí)，得到訓(xùn)練好的軌跡解碼器。

14、在一種可能的實(shí)現(xiàn)方式中，所述一個(gè)解碼token，是結(jié)束文字的輸出標(biāo)識(shí)，用于使用自身的特征表達(dá)輔助所述大語(yǔ)言模型理解當(dāng)前所處的語(yǔ)義環(huán)境。

15、在一種可能的實(shí)現(xiàn)方式中，所述軌跡解碼器為多層感知器mlp模型。

16、第二方面，提供了一種基于單token大模型的自動(dòng)駕駛軌跡解碼裝置，包括：

17、獲取模塊，用于獲取經(jīng)由多個(gè)不同編碼器進(jìn)行編碼處理得到的多個(gè)編碼token；

18、預(yù)測(cè)模塊，用于將所述多個(gè)編碼token輸入訓(xùn)練得到的大語(yǔ)言模型，輸出一個(gè)解碼token；其中，所述大語(yǔ)言模型是基于輸出端對(duì)單個(gè)解碼token的反復(fù)訓(xùn)練得到；

19、解碼模塊，用于將所述一個(gè)解碼token輸入軌跡解碼器進(jìn)行解碼，輸出得到規(guī)劃軌跡；其中，所述軌跡解碼器是訓(xùn)練好的多層感知模型，且所述軌跡解碼器與所述大語(yǔ)言模型是聯(lián)合訓(xùn)練得到。

20、第三方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有至少一條指令，所述至少一條指令由處理器加載并執(zhí)行以實(shí)現(xiàn)如上所述的方面和任一可能的實(shí)現(xiàn)方式的方法。

21、第四方面，提供了一種電子設(shè)備，包括：

22、至少一個(gè)處理器；以及

23、與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

24、所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如上所述的方面和任一可能的實(shí)現(xiàn)方式的方法。

25、第五方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的方面和任一可能的實(shí)現(xiàn)方式的方法。

26、第六方面，提供了一種自動(dòng)駕駛車輛，包括如上所述的電子設(shè)備。

27、本申請(qǐng)?zhí)峁┑募夹g(shù)方案的有益效果至少包括：

28、由上述技術(shù)方案可知，本申請(qǐng)實(shí)施例可以通過(guò)獲取經(jīng)由多個(gè)不同編碼器進(jìn)行編碼處理得到的多個(gè)編碼token；將所述多個(gè)編碼token輸入訓(xùn)練得到的大語(yǔ)言模型，輸出一個(gè)解碼token；其中，所述大語(yǔ)言模型是基于輸出端對(duì)單個(gè)解碼token的反復(fù)訓(xùn)練得到；將所述一個(gè)解碼token輸入軌跡解碼器進(jìn)行解碼，輸出得到規(guī)劃軌跡；其中，所述軌跡解碼器是訓(xùn)練好的多層感知模型，且所述軌跡解碼器與所述大語(yǔ)言模型是聯(lián)合訓(xùn)練得到。這樣，在訓(xùn)練中監(jiān)督大語(yǔ)言模型只輸出一個(gè)解碼token，并使用mlp網(wǎng)絡(luò)解碼還原軌跡，從而，簡(jiǎn)化模型結(jié)構(gòu)，縮短解碼時(shí)間，保證自動(dòng)駕駛實(shí)時(shí)性需求以及安全性。

29、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本申請(qǐng)的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本申請(qǐng)的范圍。本申請(qǐng)的其它特征將通過(guò)以下的說(shuō)明書(shū)而變得容易理解。

技術(shù)特征：

1.一種基于單token大模型的自動(dòng)駕駛軌跡解碼方法，其特征在于，包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述大語(yǔ)言模型通過(guò)以下方式訓(xùn)練得到：

3.如權(quán)利要求2所述的方法，其特征在于，在訓(xùn)練大語(yǔ)言模型的過(guò)程中，所述方法還包括：

4.如權(quán)利要求2或3所述的方法，其特征在于，所述一個(gè)解碼token，是結(jié)束文字的輸出標(biāo)識(shí)，用于使用自身的特征表達(dá)輔助所述大語(yǔ)言模型理解當(dāng)前所處的語(yǔ)義環(huán)境。

5.如權(quán)利要求2或3所述的方法，其特征在于，所述軌跡解碼器為多層感知器mlp模型。

6.一種基于單token大模型的自動(dòng)駕駛軌跡解碼裝置，其特征在于，包括：

7.一種電子設(shè)備，包括：

8.一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法。

9.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法。

10.一種自動(dòng)駕駛車輛，包括如權(quán)利要求7所述的電子設(shè)備。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種基于單token大模型的自動(dòng)駕駛軌跡解碼方法及相關(guān)裝置。所述方法包括：獲取經(jīng)由多個(gè)不同編碼器進(jìn)行編碼處理得到的多個(gè)編碼token；將所述多個(gè)編碼token輸入訓(xùn)練得到的大語(yǔ)言模型，輸出一個(gè)解碼token；其中，所述大語(yǔ)言模型是基于輸出端對(duì)單個(gè)解碼token的反復(fù)訓(xùn)練得到；將所述一個(gè)解碼token輸入軌跡解碼器進(jìn)行解碼，輸出得到規(guī)劃軌跡；其中，所述軌跡解碼器是訓(xùn)練好的多層感知模型，且所述軌跡解碼器與所述大語(yǔ)言模型是聯(lián)合訓(xùn)練得到。這樣，在訓(xùn)練中監(jiān)督大語(yǔ)言模型只輸出一個(gè)解碼token，并使用MLP網(wǎng)絡(luò)解碼還原軌跡，從而，簡(jiǎn)化模型結(jié)構(gòu)，縮短解碼時(shí)間，保證自動(dòng)駕駛實(shí)時(shí)性需求以及安全性。

技術(shù)研發(fā)人員：請(qǐng)求不公布姓名,請(qǐng)求不公布姓名,請(qǐng)求不公布姓名
受保護(hù)的技術(shù)使用者：江蘇零一汽車科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15