本技術涉及車輛，特別涉及一種360度點云稠密化方法、裝置、車輛及存儲介質(zhì)。

背景技術：

1、cbdes(computingbraindevelopmentsystem，計算平臺及開發(fā)系統(tǒng))由cbb(computing?base?brain，計算基礎平臺)與gaasd(graphical?adas-ad?softwaredeveloper，圖形化軟件開發(fā)器)兩部分組成，旨在提供各類智能駕駛系統(tǒng)的基本算法組件及框架，是未來自動駕駛技術的關鍵核心。cbdes為自動駕駛系統(tǒng)提供了強大的計算能力，通過先進的算法、深度學習技術構建了一體化的端到端自動駕駛大模型，實現(xiàn)對復雜駕駛場景的高效感知和準確識別。同時，cbdes讓渡應用算法開發(fā)能力給主機廠商,支持主機廠工程師快速構建自己定義的智能駕駛系統(tǒng),并進行功能適配和參數(shù)調(diào)校，與現(xiàn)有產(chǎn)品及開發(fā)模式相比，具有“高效率/高質(zhì)量/生成式”三大優(yōu)勢。

2、數(shù)據(jù)閉環(huán)功能：目前業(yè)界比較經(jīng)典的模型(如bev+transformer等)和大多數(shù)神經(jīng)網(wǎng)絡算法的訓練仍需要大量數(shù)據(jù)，并且車輛運行場景可能和模型訓練場景有一些差異。因此，用戶需要采用cbdes的預訓練加微調(diào)的訓練策略，通過數(shù)據(jù)驅(qū)動更新功能模塊權重。此時，cbdes構建數(shù)據(jù)閉環(huán)系統(tǒng)來實現(xiàn)數(shù)據(jù)采集、標注、仿真和功能模塊更新。通過數(shù)據(jù)閉環(huán)系統(tǒng)，用戶可以不斷從原始數(shù)據(jù)迭代優(yōu)化模塊功能，以滿足當前環(huán)境的行駛需求。

3、目前，激光雷達仍是自動駕駛車輛中最為關鍵的感知器之一，能夠以高頻率和高精度地掃描周圍環(huán)境，產(chǎn)生海量的激光點云數(shù)據(jù)。但目前激光雷達廠商制造的激光雷達掃描的單幀點云在遠處仍比較稀疏，無法很好地完成等檢測等下游任務要求。因此，對采集的激光點云數(shù)據(jù)進行360度稠密化成為保證cbdes工作性能的核心技術之一。激光點云的360度稠密化為車輛全方位的環(huán)境感知提供了基本保障，因為車輛想要實時了解周圍的道路、障礙物、行人等信息，就要獲得目標反射的足夠多的點云，以做出準確的感知和判斷。同時，激光點云不僅提供實時感知，還可用于構建高精度的地圖。通過對激光點云進行處理，可以生成詳細的三維地圖，為自動駕駛車輛提供更精準的定位和導航支持。

4、綜上所述，360度點云稠密化技術是cbdes和自動駕駛系統(tǒng)的重要組成部分，而現(xiàn)有的深度補全和點云稠密化技術均是多個相機之間視角交疊區(qū)域的一致性問題沒有得到有效解決，且存在場景泛化性等瓶頸問題。

技術實現(xiàn)思路

1、本技術提供一種360度點云稠密化方法、裝置、車輛及存儲介質(zhì)，以解決相關技術難以解決多個相機之間視角交疊區(qū)域的一致性問題，且存在場景泛化性等問題。

2、本技術第一方面實施例提供一種360度點云稠密化方法，包括以下步驟：將多個相機的單視視圖拼接為360度環(huán)視視圖；將雷達點云投影到多個相機的圖像坐標系得到360度環(huán)視視圖對應的稠密深度圖，對稠密深度圖稀疏化得到稀疏深度圖；基于360度環(huán)視視圖和稀疏深度圖提取交叉引導特征，根據(jù)交叉引導特征和自引導特征迭代更新稠密深度圖，其中，自引導特征為從每次迭代更新后的稠密深度圖提取的特征圖；在迭代更新完成稠密深度圖后得到360度環(huán)視深度圖，將360度環(huán)視深度圖反投影至雷達坐標系得到稠密化后的360度點云。

3、可選地，根據(jù)交叉引導特征和自引導特征迭代更新稠密深度圖，包括：將交叉引導特征和自引導特征輸入transformer的目標依賴更新單元，標依賴更新單元輸出迭代更新完成稠密深度圖后得到360度環(huán)視深度圖。

4、可選地，目標依賴更新單元包括通道維度網(wǎng)絡、第一全局注意力網(wǎng)絡、第二全局注意力網(wǎng)絡和殘差結構網(wǎng)絡，其中，通道維度網(wǎng)絡融合交叉引導特征和自引導特征得到融合特征，第一全局注意力網(wǎng)絡基于融合特征預測卷積核的權重，第二全局注意力網(wǎng)絡基于融合特征預測空間可變形的卷積核，殘差結構網(wǎng)絡基于卷積核的權重和空間可變形的卷積核出迭代更新稠密深度圖。

5、可選地，在將交叉引導特征和自引導特征輸入transformer的目標依賴更新單元之前，還包括：獲取訓練數(shù)據(jù)集，其中，訓練數(shù)據(jù)集包括稠密深度圖的真值；利用訓練數(shù)據(jù)集訓練transformer的目標依賴更新單元，并在訓練過程中，利用稠密深度圖的真值監(jiān)督訓練過程，利用損失函數(shù)反向傳播更新網(wǎng)絡參數(shù)。

6、可選地，基于360度環(huán)視視圖和稀疏深度圖提取交叉引導特征，包括：將360度環(huán)視視圖和稀疏深度圖輸入rgb編碼器，rgb編碼器從360度環(huán)視視圖和稀疏深度圖提取多尺度rgb特征；將多尺度rgb特征上采樣后輸入深度編碼器，深度編碼器融合多尺度rgb特征得到交叉引導特征，其中，上采樣后的多尺度rgb特征的分辨率與稠密深度圖的分辨率相同。

7、可選地，對稠密深度圖稀疏化得到稀疏深度圖，包括：將稠密深度圖輸入aff網(wǎng)絡結構，aff網(wǎng)絡結構通過多次自適應下采樣得到稀疏深度圖。

8、可選地，將多個相機的單視視圖拼接為360度環(huán)視視圖，包括：對多個相機的單視視圖進行圖像特征匹配；根據(jù)匹配后的圖像特征計算圖像之間的圖像變換結構；利用圖像變換結構對多個相機的單視視圖進行圖像映射，疊加映射后的多個視角圖像，并對疊加后的圖像進行特征點對齊，并選取拼接縫；根據(jù)拼接縫拼接對齊后的多個視角圖像得到360度環(huán)視視圖。

9、本技術第二方面實施例提供一種360度點云稠密化裝置，包括：拼接模塊，用于將多個相機的單視視圖拼接為360度環(huán)視視圖；投影稀疏模塊，用于將雷達點云投影到多個相機的圖像坐標系得到360度環(huán)視視圖對應的稠密深度圖，對稠密深度圖稀疏化得到稀疏深度圖；提取更新模塊，基于360度環(huán)視視圖和稀疏深度圖提取交叉引導特征，根據(jù)交叉引導特征和自引導特征迭代更新稠密深度圖，其中，自引導特征為從每次迭代更新后的稠密深度圖提取的特征圖；反投影模塊，用于在迭代更新完成稠密深度圖后得到360度環(huán)視深度圖，將360度環(huán)視深度圖反投影至雷達坐標系得到稠密化后的360度點云。

10、本技術第三方面實施例提供一種車輛，包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，處理器執(zhí)行程序，以實現(xiàn)第一方面的360度點云稠密化方法。

11、本技術第四方面實施例提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序或指令，計算機程序或指令被執(zhí)行時，以實現(xiàn)第一方面的360度點云稠密化方法。

12、由此，本技術包括如下有益效果：

13、本技術實施例通過將多個相機的單視視圖拼接為360度環(huán)視視圖，將雷達點云投影到多個相機的圖像坐標系得到360度環(huán)視視圖對應的稠密深度圖，稀疏化得到稀疏深度圖，基于360度環(huán)視視圖和稀疏深度圖提取交叉引導特征，根據(jù)交叉引導特征和自引導特征迭代更新稠密深度圖，在迭代更新完成稠密深度圖后得到360度環(huán)視深度圖，投影至雷達坐標系得到稠密化后的360度點云，實現(xiàn)了點云稠密化的同時解決相機視角交叉部分一致性問題，采用自監(jiān)督方式訓練，節(jié)約人工標準成本、提高經(jīng)濟效益的同時對場景具有很好的泛化能力，在不同數(shù)據(jù)集下均實現(xiàn)較好的性能。由此，解決了相關技術難以解決多個相機之間視角交疊區(qū)域的一致性，且存在場景泛化性等問題。

14、本技術附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本技術的實踐了解到。