本發(fā)明涉及激光雷達與相機的在線外參標定，具體涉及一種跨模態(tài)自適應匹配的激光雷達與相機的在線外參標定方法及系統(tǒng)。

背景技術：

1、激光雷達與相機的外參標定是實現(xiàn)多模態(tài)感知的關鍵一環(huán)，尤其在自動駕駛、機器人導航及軌道交通領域中，準確的外參標定能夠有效提升傳感器數(shù)據(jù)的融合精度和環(huán)境感知能力。在軌道交通領域，隨著智能化技術的不斷發(fā)展，軌道交通系統(tǒng)對傳感器的依賴日益增加，尤其是激光雷達和相機的組合使用。激光雷達能夠提供高精度的深度信息，而相機則可以提供豐富的圖像數(shù)據(jù)，通過融合這兩類信息可以有效實現(xiàn)對列車周圍環(huán)境的感知和監(jiān)控，尤其在復雜的軌道環(huán)境中，如隧道、橋梁和鐵路交叉口等場景。

2、然而，軌道交通系統(tǒng)在實際應用中面臨許多挑戰(zhàn)，尤其是在動態(tài)和復雜環(huán)境下，激光雷達與相機的外參(即兩者之間的相對位置和姿態(tài))可能會發(fā)生變化?，F(xiàn)有的外參標定方法通常是依賴于離線標定，這種方法的精度和可靠性受限于靜態(tài)環(huán)境和人工設置的標定目標。對于軌道交通這樣的高動態(tài)系統(tǒng)，離線標定存在顯著不足。

3、首先，傳統(tǒng)的離線標定方法依賴于特定的標定目標(如棋盤格、激光標定板等)和靜態(tài)環(huán)境。這種方法雖然在靜態(tài)情況下能提供較為準確的標定結(jié)果，但無法應對軌道交通系統(tǒng)中激光雷達與相機發(fā)生的相對位移或姿態(tài)變化。例如，由于軌道交通設備可能受到震動、軌道傾斜、以及車輛運行時的晃動等因素的影響，激光雷達與相機的相對位置和姿態(tài)可能會發(fā)生微小或較大的變化，現(xiàn)有的離線標定方法無法實時調(diào)整這些變化，導致標定結(jié)果的準確性下降。

4、其次，傳統(tǒng)標定方法無法充分利用實時采集的數(shù)據(jù)進行動態(tài)優(yōu)化。在軌道交通的高速運行環(huán)境中，外參變化可能是頻繁且不可預測的，而離線標定方法只能在特定的時間節(jié)點進行修正，無法實時反饋數(shù)據(jù)變化，這使得標定結(jié)果無法有效適應環(huán)境和系統(tǒng)動態(tài)的變化，影響系統(tǒng)的長期穩(wěn)定性和精度。

5、綜上，現(xiàn)有技術在軌道交通領域存在以下問題：離線標定依賴特定的標定目標，無法應對軌道交通系統(tǒng)中激光雷達與相機因振動、車輛晃動、軌道不平等因素引起的動態(tài)變化；無法實時調(diào)整外參，導致外參在實際應用中的精度逐漸下降，尤其在高速運行環(huán)境下；無法充分利用軌道交通系統(tǒng)中的實時數(shù)據(jù)進行在線優(yōu)化，難以適應快速變化的工作環(huán)境。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提供一種跨模態(tài)自適應匹配的激光雷達與相機的在線外參標定方法及系統(tǒng)，以解決上述背景技術中存在的至少一項技術問題，實現(xiàn)了高精度、實時性的在線外參標定，克服了離線標定依賴特定標定目標、無法應對動態(tài)環(huán)境變化的不足，尤其適應高速運動和復雜環(huán)境中的應用需求。

2、為了實現(xiàn)上述目的，本發(fā)明采取了如下技術方案：

3、第一方面，本發(fā)明提供一種跨模態(tài)自適應匹配的激光雷達與相機的在線外參標定方法，包括：

4、采集激光雷達點云和rgb圖像數(shù)據(jù)，根據(jù)靜態(tài)標定的結(jié)果，獲得初始外參，作為后續(xù)在線優(yōu)化的初始值；

5、根據(jù)初始外參，將點云投影到虛擬相機的視角，生成激光雷達強度投影l(fā)ip圖像，形成與相機圖像對齊的跨模態(tài)投影數(shù)據(jù)；

6、對lip圖像和rgb圖像進行跨模態(tài)分割，提取語義掩碼，重點提取顯著目標區(qū)域并過濾低置信度區(qū)域；

7、通過計算lip圖像和rgb圖像中的特征描述符進行實例匹配，在實例匹配鎖定的實例目標區(qū)域內(nèi)，進行角點匹配，利用仿射變換動態(tài)調(diào)整lip圖像的掩碼，生成跨模態(tài)特征匹配點對；

8、將匹配點對基于pnp算法計算外參，引入幀間平滑和增量優(yōu)化策略，并結(jié)合重投影誤差、語義一致性和幾何一致性的多模態(tài)損失函數(shù)進行全局優(yōu)化，得到優(yōu)化后的外參矩陣。

9、作為本發(fā)明第一方面的進一步限定，根據(jù)初始外參，將點云投影到虛擬相機的視角，生成激光雷達強度投影l(fā)ip圖像，形成與相機圖像對齊的跨模態(tài)投影數(shù)據(jù)，包括：利用初始外參矩陣，將激光雷達點云轉(zhuǎn)換到相機坐標系下，只保留深度值大于零的點，以確保點云投影再相機視野范圍內(nèi)；使用相機內(nèi)參矩陣將相機坐標系下的點云投影到圖像平面；對于每個像素點，根據(jù)點云投影結(jié)果，將對應的激光雷達強度值映射到圖像矩陣，如果多個點云投影到同一像素點，則采用深度最近點策略，僅保留深度值最小的點；對生成的lip圖像進行插值和濾波，填補稀疏點云導致的空洞區(qū)域，使得圖像更具連續(xù)性和可用性，生成的lip圖像與相機視角一致。

10、作為本發(fā)明第一方面的進一步限定，對投影圖像和rgb圖像進行跨模態(tài)分割，提取語義掩碼，重點提取顯著目標區(qū)域并過濾低置信度區(qū)域，包括：對lip圖像和rgb圖像進行歸一化處理，以統(tǒng)一跨模態(tài)數(shù)據(jù)的特性；使用一個跨模態(tài)語義分割網(wǎng)絡對兩種圖像進行分割，分別提取語義掩碼；對生成的語義掩碼提取顯著區(qū)域，若目標類別的置信度小于閾值，則移除該像素點，對生成的語義掩碼進行邏輯與操作，僅保留兩種模態(tài)分割結(jié)果一致的像素點；對保留的像素點應用形態(tài)學操作平滑邊界，去除孤立小區(qū)域，最終得到的語義掩碼包含顯著目標區(qū)域的跨模態(tài)一致分割結(jié)果，過濾了低置信度區(qū)域，并增強了匹配點提取的可靠性和魯棒性。

11、作為本發(fā)明第一方面的進一步限定，通過計算lip圖像和rgb圖像中的特征描述符進行實例匹配，包括：在跨模態(tài)分割后，通過計算lip圖像和rgb圖像中的特征描述符進行粗匹配；其中，計算每對描述符之間的相似度度量來鎖定大致的實例目標區(qū)域；在匹配過程中，根據(jù)距離度量選擇匹配得分最低的特征點對作為候選匹配。

12、作為本發(fā)明第一方面的進一步限定，在實例匹配鎖定的實例目標區(qū)域內(nèi)，進行角點匹配，利用仿射變換動態(tài)調(diào)整lip圖像的掩碼，生成跨模態(tài)特征匹配點對，包括：在粗匹配鎖定的實例目標區(qū)域內(nèi)，進行更加精確的角點匹配；其中，使用圖像金字塔或特征優(yōu)化方法，對匹配點進行細化；通過最小化匹配誤差或基于最小二乘法來進行角點位置精化；定義匹配點對的優(yōu)化目標函數(shù)來精確對齊匹配點；去除錯誤匹配點；基于粗匹配和細匹配得到的特征點對，計算一個仿射變換矩陣，用于從一個圖像坐標系映射到另一個圖像坐標系；基于仿射變換矩陣a，對lip圖像中的特征掩碼進行動態(tài)調(diào)整，以確保lip圖像和rgb圖像之間的對齊；通過將仿射變換應用于lip掩碼中的每個點位置，更新掩碼區(qū)域，使其更加準確地對齊到目標圖像中的對應區(qū)域；經(jīng)過粗匹配、細匹配和仿射變換后，生成了一組高質(zhì)量的跨模態(tài)匹配點對。

13、作為本發(fā)明第一方面的進一步限定，將匹配點對基于pnp算法計算外參，引入幀間平滑和增量優(yōu)化策略，并結(jié)合重投影誤差、語義一致性和幾何一致性的多模態(tài)損失函數(shù)進行全局優(yōu)化，得到優(yōu)化后的外參矩陣，包括：將匹配點對利用pnp算法計算初步的相機外參，通過pnp算法求解一個旋轉(zhuǎn)矩陣和一個位移向量，使投影誤差最小化；定義重投影誤差為相機坐標系下的3d點投影與圖像中的對應點之間的差異，最小化所有匹配點的總重投影誤差；通過比較lip圖像和rgb圖像的語義掩碼，定義語義一致性損失，確保匹配點的語義相符；通過在lip圖像和rgb圖像中匹配幾何形狀，定義幾何一致性損失，用于增強外參估計的空間一致性；通過考慮前一幀和當前幀的外參關系，優(yōu)化外參估計的連續(xù)性，引入幀間平滑策略，保證外參估計在時間上的平滑性；基于當前幀的匹配點對，在局部區(qū)域內(nèi)對外參進行增量更新，逐漸收斂到精確的外參估計；經(jīng)過pnp求解、全局優(yōu)化和增量優(yōu)化，最終獲得了精確的相機外參，即旋轉(zhuǎn)矩陣和位移向量。

14、第二方面，本發(fā)明提供一種跨模態(tài)自適應匹配的激光雷達與相機的在線外參標定系統(tǒng)，包括：

15、獲取模塊，用于采集激光雷達點云和rgb圖像數(shù)據(jù)，根據(jù)靜態(tài)標定的結(jié)果，獲得初始外參，作為后續(xù)在線優(yōu)化的初始值；

16、投影模塊，用于根據(jù)初始外參，將點云投影到虛擬相機的視角，生成激光雷達強度投影l(fā)ip圖像，形成與相機圖像對齊的跨模態(tài)投影數(shù)據(jù)；

17、分割模塊，用于對lip圖像和rgb圖像進行跨模態(tài)分割，提取語義掩碼，重點提取顯著目標區(qū)域并過濾低置信度區(qū)域；

18、匹配模塊，用于通過計算lip圖像和rgb圖像中的特征描述符進行實例匹配，在實例匹配鎖定的實例目標區(qū)域內(nèi)，進行角點匹配，利用仿射變換動態(tài)調(diào)整lip圖像的掩碼，生成跨模態(tài)特征匹配點對；

19、優(yōu)化模塊，用于將匹配點對基于pnp算法計算外參，引入幀間平滑和增量優(yōu)化策略，并結(jié)合重投影誤差、語義一致性和幾何一致性的多模態(tài)損失函數(shù)進行全局優(yōu)化，得到優(yōu)化后的外參矩陣。

20、第三方面，本發(fā)明提供一種非暫態(tài)計算機可讀存儲介質(zhì)，所述非暫態(tài)計算機可讀存儲介質(zhì)用于存儲計算機指令，所述計算機指令被處理器執(zhí)行時，實現(xiàn)如第一方面所述的跨模態(tài)自適應匹配的激光雷達與相機的在線外參標定方法。

21、第四方面，本發(fā)明提供一種計算機設備，包括存儲器和處理器，所述處理器和所述存儲器相互通信，所述存儲器存儲有可被所述處理器執(zhí)行的程序指令，所述處理器調(diào)用所述程序指令執(zhí)行如第一方面所述的跨模態(tài)自適應匹配的激光雷達與相機的在線外參標定方法。

22、第五方面，本發(fā)明提供一種電子設備，包括：處理器、存儲器以及計算機程序；其中，處理器與存儲器連接，計算機程序被存儲在存儲器中，當電子設備運行時，所述處理器執(zhí)行所述存儲器存儲的計算機程序，以使電子設備執(zhí)行實現(xiàn)如第一方面所述的跨模態(tài)自適應匹配的激光雷達與相機的在線外參標定方法的指令。

23、本發(fā)明有益效果：通過利用激光雷達與相機的實時數(shù)據(jù)，在不依賴傳統(tǒng)標定板的情況下，采用跨模態(tài)分割與動態(tài)匹配算法，結(jié)合外參優(yōu)化策略，實現(xiàn)激光雷達與相機之間外參的在線標定；能夠?qū)崟r修正外參的變化，適應環(huán)境的動態(tài)變化，提高標定精度與系統(tǒng)的魯棒性，特別適用于軌道交通領域，能夠顯著提升智能軌道交通系統(tǒng)的傳感器融合精度和系統(tǒng)的應用性能，確保在高速運行和復雜軌道環(huán)境中的穩(wěn)定性與可靠性。

24、本發(fā)明附加方面的優(yōu)點，將在下述的描述部分中更加明顯的給出，或通過本發(fā)明的實踐了解到。