本發(fā)明屬于圖像識(shí)別，尤其涉及一種車(chē)載圖像識(shí)別方法。

背景技術(shù)：

1、車(chē)載圖像識(shí)別技術(shù)作為自動(dòng)駕駛汽車(chē)發(fā)展的核心組成部分，依賴(lài)于先進(jìn)的人工智能技術(shù)，尤其是深度學(xué)習(xí)算法在圖像識(shí)別方面的應(yīng)用。通過(guò)安裝在車(chē)輛上的攝像頭獲取周?chē)h(huán)境的詳細(xì)圖像數(shù)據(jù)，這些數(shù)據(jù)與來(lái)自雷達(dá)和激光雷達(dá)的三維空間信息相結(jié)合，為汽車(chē)提供了準(zhǔn)確的環(huán)境感知能力。這種綜合感知系統(tǒng)使得自動(dòng)駕駛汽車(chē)能夠識(shí)別和理解道路狀況、行人、其他車(chē)輛以及交通標(biāo)識(shí)等重要信息。在深度學(xué)習(xí)模型方面，卷積神經(jīng)網(wǎng)絡(luò)(cnns)被廣泛用于圖像的特征提取和分類(lèi)，而循環(huán)神經(jīng)網(wǎng)絡(luò)(rnns)則在處理序列數(shù)據(jù)如視頻流中的目標(biāo)跟蹤方面顯示出其優(yōu)勢(shì)。此外，自動(dòng)駕駛汽車(chē)不僅需要識(shí)別和理解靜態(tài)圖像，還需分析視頻流數(shù)據(jù)預(yù)測(cè)物體的運(yùn)動(dòng)軌跡。例如，車(chē)道線(xiàn)檢測(cè)和偏離預(yù)警功能依賴(lài)于前視攝像頭來(lái)監(jiān)測(cè)車(chē)輛是否偏離車(chē)道，同時(shí)行人和其他車(chē)輛的識(shí)別功能則有助于預(yù)防可能的碰撞。這些技術(shù)的應(yīng)用不僅提高了駕駛安全性，也增強(qiáng)了自動(dòng)駕駛系統(tǒng)對(duì)復(fù)雜交通場(chǎng)景的應(yīng)對(duì)能力。隨著技術(shù)的不斷進(jìn)步，車(chē)載圖像識(shí)別還面臨著對(duì)抗性攻擊、數(shù)據(jù)隱私和倫理問(wèn)題等挑戰(zhàn)。研究人員正在通過(guò)聯(lián)邦學(xué)習(xí)、模擬學(xué)習(xí)和可解釋ai等新興技術(shù)來(lái)解決這些問(wèn)題，以提升系統(tǒng)的魯棒性和安全性。未來(lái)，自動(dòng)駕駛汽車(chē)將在更加復(fù)雜多變的環(huán)境中提供安全、高效的駕駛體驗(yàn)，同時(shí)需要在保障個(gè)人隱私和數(shù)據(jù)利用之間找到合理的平衡點(diǎn)。

2、整合上述技術(shù)，車(chē)載圖像識(shí)別系統(tǒng)能夠在實(shí)時(shí)動(dòng)態(tài)環(huán)境中進(jìn)行快速精確的目標(biāo)檢測(cè)與識(shí)別，包括車(chē)道線(xiàn)、行人、車(chē)輛和交通標(biāo)識(shí)等。這些功能的實(shí)現(xiàn)，依賴(lài)于對(duì)大量動(dòng)態(tài)數(shù)據(jù)的即時(shí)處理和分析，涉及到行為預(yù)測(cè)和目標(biāo)跟蹤等高級(jí)任務(wù)。例如，通過(guò)分析行人的姿態(tài)和運(yùn)動(dòng)軌跡，系統(tǒng)能夠預(yù)測(cè)他們的行走路線(xiàn)，及時(shí)調(diào)整駕駛策略以避免潛在碰撞。同樣，通過(guò)跟蹤多個(gè)目標(biāo)的運(yùn)動(dòng)狀態(tài)，自動(dòng)駕駛汽車(chē)能夠做出更為合理的行駛決策，從而提高行駛的安全性和效率。與此同時(shí)，實(shí)時(shí)定位與地圖更新技術(shù)的結(jié)合為自動(dòng)駕駛汽車(chē)在未知環(huán)境中的定位和路徑規(guī)劃提供了可能。利用激光雷達(dá)數(shù)據(jù)和圖像處理結(jié)果，自動(dòng)駕駛系統(tǒng)能夠在保持高精度的同時(shí)，適應(yīng)不斷變化的路況和環(huán)境。這一技術(shù)的發(fā)展不僅促進(jìn)了自動(dòng)駕駛汽車(chē)的實(shí)際應(yīng)用，也推動(dòng)了交通系統(tǒng)向更加智能化、自動(dòng)化的方向演進(jìn)，預(yù)示著未來(lái)交通將更加安全、高效和環(huán)保。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的不足，本發(fā)明提供了一種車(chē)載圖像識(shí)別方法，包括：

2、基于車(chē)載攝像頭影像，進(jìn)行逐幀分離，生成三維圖片數(shù)據(jù)集；

3、基于三維圖片數(shù)據(jù)集，構(gòu)建cnn-transformer模型；

4、基于cnn-transformer模型，采用優(yōu)化算法，生成圖像識(shí)別結(jié)果。

5、進(jìn)一步地，所述基于三維圖片數(shù)據(jù)集，構(gòu)建cnn-transformer模型，包括：

6、基于三維圖片數(shù)據(jù)集，采用cnn進(jìn)行特征編碼、引入class?token與位置編碼及dropout層，生成處理后的特征數(shù)據(jù)；

7、基于處理后的特征數(shù)據(jù)，采用transformer的自注意力與多頭自注意力機(jī)制及多層神經(jīng)感知器，生成適合分類(lèi)的特征表示。

8、進(jìn)一步地，所述基于三維圖片數(shù)據(jù)集，采用cnn進(jìn)行特征編碼、引入class?token與位置編碼及dropout層，生成處理后的特征數(shù)據(jù)，包括：

9、基于三維圖片數(shù)據(jù)集，采用cnn進(jìn)行特征編碼，生成二維特征數(shù)據(jù)；

10、基于二維特征數(shù)據(jù)，引入class?token，生成特征聚合結(jié)構(gòu)；

11、基于特征聚合結(jié)構(gòu)，計(jì)算位置編碼并添加dropout層，生成具有位置感知與防過(guò)擬合機(jī)制的特征數(shù)據(jù)。

12、進(jìn)一步地，所述基于處理后的特征數(shù)據(jù)，采用transformer的自注意力與多頭自注意力機(jī)制及多層神經(jīng)感知器，生成適合分類(lèi)的特征表示，包括：

13、基于自注意力機(jī)制，計(jì)算位置注意力權(quán)重，捕捉長(zhǎng)距離依賴(lài)關(guān)系；

14、基于多頭自注意力機(jī)制，計(jì)算自注意力分?jǐn)?shù)，生成多子空間特征和位置信息學(xué)習(xí)機(jī)制；

15、基于多子空間特征，采用多層神經(jīng)感知器轉(zhuǎn)換映射，生成適合分類(lèi)的特征表示。

16、進(jìn)一步地，所述基于車(chē)載攝像頭影像，進(jìn)行逐幀分離，生成三維圖片數(shù)據(jù)集，包括：

17、利用車(chē)載攝像頭，在matlab環(huán)境中通過(guò)編程按照時(shí)間順序?qū)⒂跋裰饚蛛x出來(lái)，得到一系列三維結(jié)構(gòu)的rgb圖片數(shù)據(jù)集。

18、進(jìn)一步地，所述特征編碼，包括：

19、利用輸出通道數(shù)為3，卷積核大小為4×4，步長(zhǎng)為4的卷積操作對(duì)輸入的逐幀圖片進(jìn)行處理，最終輸出大小維度為841×496的二維特征數(shù)據(jù)。

20、進(jìn)一步地，所述class?token是一個(gè)維度為1×u的可學(xué)習(xí)張量，u為輸出通道數(shù)，class?token是隨機(jī)設(shè)定的，隨后在訓(xùn)練過(guò)程中不斷更新。

21、進(jìn)一步地，所述transformer由多層多頭自注意力模塊和多層神經(jīng)感知器模塊組成，并且在每個(gè)模塊之間使用layernorm層進(jìn)行連接，layernorm層對(duì)每層的輸入進(jìn)行歸一化處理。

22、進(jìn)一步地，所述基于多頭自注意力機(jī)制，計(jì)算自注意力分?jǐn)?shù)，生成多子空間特征和位置信息學(xué)習(xí)機(jī)制包括：

23、多頭自注意力機(jī)制將輸入劃分為8個(gè)部分，然后并行地在每個(gè)部分上計(jì)算自注意力分?jǐn)?shù)，最后將這8個(gè)部分的注意力輸出拼接起來(lái)，并通過(guò)與另一個(gè)可訓(xùn)練的參數(shù)矩陣相乘得到最終的結(jié)果。

24、進(jìn)一步地，所述采用優(yōu)化算法，包括：

25、選擇adam優(yōu)化算法調(diào)整cnn-transformer模型的參數(shù)，設(shè)定學(xué)習(xí)率使cnn-transformer模型在訓(xùn)練過(guò)程中穩(wěn)定地收斂，使用最小化交叉熵?fù)p失衡量cnn-transformer模型預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽之間的差異。

26、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)：

27、1.cnn-transformer模型分類(lèi)準(zhǔn)確率達(dá)到98.35％，與現(xiàn)有先進(jìn)方法相比分類(lèi)性能有較大提高，能更精準(zhǔn)地對(duì)車(chē)載圖像進(jìn)行分類(lèi)識(shí)別。

28、2.結(jié)合cnn在提取局部特征方面的優(yōu)勢(shì)和transformer依靠注意力機(jī)制探索全局特征的敏感性，有效挖掘和提取了車(chē)載圖像的局部-全局特征。

29、本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書(shū)中闡述，并且，部分地從說(shuō)明書(shū)中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在說(shuō)明書(shū)、權(quán)利要求書(shū)以及附圖中所指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。

技術(shù)特征：

1.一種車(chē)載圖像識(shí)別方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的車(chē)載圖像識(shí)別方法，其特征在于，所述基于三維圖片數(shù)據(jù)集，構(gòu)建cnn-transformer模型，包括：

3.根據(jù)權(quán)利要求2所述的車(chē)載圖像識(shí)別方法，其特征在于，所述基于三維圖片數(shù)據(jù)集，采用cnn進(jìn)行特征編碼、引入class?token與位置編碼及dropout層，生成處理后的特征數(shù)據(jù)，包括：

4.根據(jù)權(quán)利要求2所述的車(chē)載圖像識(shí)別方法，其特征在于，所述基于處理后的特征數(shù)據(jù)，采用transformer的自注意力與多頭自注意力機(jī)制及多層神經(jīng)感知器，生成適合分類(lèi)的特征表示，包括：

5.根據(jù)權(quán)利要求1所述的車(chē)載圖像識(shí)別方法，其特征在于，所述基于車(chē)載攝像頭影像，進(jìn)行逐幀分離，生成三維圖片數(shù)據(jù)集，包括：

6.根據(jù)權(quán)利要求3所述的車(chē)載圖像識(shí)別方法，其特征在于，所述特征編碼，包括：

7.根據(jù)權(quán)利要求3所述的車(chē)載圖像識(shí)別方法，其特征在于，所述class?token是一個(gè)維度為1×u的可學(xué)習(xí)張量，u為輸出通道數(shù)，class?token是隨機(jī)設(shè)定的，隨后在訓(xùn)練過(guò)程中不斷更新。

8.根據(jù)權(quán)利要求2所述的車(chē)載圖像識(shí)別方法，其特征在于，所述transformer由多層多頭自注意力模塊和多層神經(jīng)感知器模塊組成，并且在每個(gè)模塊之間使用layernorm層進(jìn)行連接，layernorm層對(duì)每層的輸入進(jìn)行歸一化處理。

9.根據(jù)權(quán)利要求4所述的車(chē)載圖像識(shí)別方法，其特征在于，所述基于多頭自注意力機(jī)制，計(jì)算自注意力分?jǐn)?shù)，生成多子空間特征和位置信息學(xué)習(xí)機(jī)制包括：

10.根據(jù)權(quán)利要求1所述的車(chē)載圖像識(shí)別方法，其特征在于，所述采用優(yōu)化算法，包括：

技術(shù)總結(jié)
本發(fā)明屬于圖像識(shí)別技術(shù)領(lǐng)域，尤其涉及一種車(chē)載圖像識(shí)別方法，包括：基于車(chē)載攝像頭影像，進(jìn)行逐幀分離，生成三維圖片數(shù)據(jù)集；基于三維圖片數(shù)據(jù)集，構(gòu)建CNN?Transformer模型；基于CNN?Transformer模型，采用優(yōu)化算法，生成圖像識(shí)別結(jié)果。本發(fā)明能更精準(zhǔn)地對(duì)車(chē)載圖像進(jìn)行分類(lèi)識(shí)別。

技術(shù)研發(fā)人員：王許健,祝子凱
受保護(hù)的技術(shù)使用者：奇瑞汽車(chē)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15