本發(fā)明涉及自動駕駛，具體涉及外參標定方法、系統(tǒng)、計算機設備、存儲介質(zhì)及程序產(chǎn)品。

背景技術：

1、激光雷達是一種利用激光測距技術來獲取目標物體或地形信息的遙感技術，環(huán)視相機是一種能夠捕捉全景影像的相機，通常配備多個鏡頭，以實現(xiàn)對周圍環(huán)境的全方位拍攝。激光雷達和環(huán)視相機是在自動駕駛中常用的兩種傳感器，為了更好地融合兩者的信息，需要進行外參標定以確定兩者之間的相對變換關系，外參標定是指確定不同傳感器之間的相對位置和方向關系，以便將它們獲取的數(shù)據(jù)映射到同一坐標系中。

2、相關技術中，采用標定板等參照物進行線下外參標定，然而這種方法依賴于對標定板的專業(yè)使用，不夠便捷且準確性低；或者通過匹配相機深度圖和激光雷達深度圖上提取的線特征來實現(xiàn)在線標定，然而這種方法不適用于紋理復雜或者紋理稀少的場景；或者采用神經(jīng)網(wǎng)絡來端對端的輸出外參，然而這種方法依賴于大量的標注數(shù)據(jù)進行訓練。

3、因此，亟需一種便捷且準確的外參標定方法。

技術實現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供一種外參標定方法、系統(tǒng)、計算機設備、存儲介質(zhì)及程序產(chǎn)品，以解決進行外參標定時不夠便捷、準確的問題。

2、第一方面，本發(fā)明提供了一種外參標定方法，應用于外參標定系統(tǒng)中的數(shù)據(jù)處理設備；所述外參標定系統(tǒng)中還包括安裝于目標車輛上的激光雷達和多相機系統(tǒng)；所述方法包括：

3、獲取所述多相機系統(tǒng)中每個相機采集到的各幀圖像數(shù)據(jù)以及所述激光雷達采集到的各幀激光點云；

4、分別對每個相機采集到的各幀圖像數(shù)據(jù)進行深度估計，得到與各幀圖像數(shù)據(jù)對應的各幀深度圖；

5、將各幀激光點云與各個相機的各幀深度圖按照幀數(shù)匹配，得到各幀相匹配的激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組；

6、基于各幀相匹配的激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組之間的互信息，建立外參標定函數(shù)；

7、求取使得外參標定函數(shù)最大化的外參最優(yōu)解，作為激光雷達與多相機系統(tǒng)之間的外參標定結(jié)果。

8、在一種可選的實施方式中，所述分別對每個相機采集到的各幀圖像數(shù)據(jù)進行深度估計，得到與各幀圖像數(shù)據(jù)對應的各幀深度圖，包括：

9、確定目標相機坐標系；

10、分別對多相機系統(tǒng)中的每個相機的坐標系與所述目標相機坐標系進行外參標定；

11、分別對每個相機采集到的各幀圖像數(shù)據(jù)進行深度估計，得到每個相機采集到的各幀圖像數(shù)據(jù)對應的各幀待轉(zhuǎn)換深度圖；

12、將每個相機對應的各幀待轉(zhuǎn)換深度圖轉(zhuǎn)換到所述目標相機坐標系，得到與每個相機采集到的各幀圖像數(shù)據(jù)對應的各幀深度圖。

13、在一種可選的實施方式中，所述將各幀激光點云與各個相機的各幀深度圖按照幀數(shù)匹配，得到各幀相匹配的激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組，包括：

14、按照幀數(shù)將激光點云與各個相機的深度圖分組；

15、針對每個組，將激光點云轉(zhuǎn)換到目標相機坐標系，得到坐標轉(zhuǎn)換后的激光點云；

16、基于各個相機的內(nèi)參，將坐標轉(zhuǎn)換后的激光點云投影到各個相機的像素平面，得到坐標轉(zhuǎn)換后的激光點云對應的像素點；

17、將坐標轉(zhuǎn)換后的激光點云對應的像素點與深度圖中的像素點進行匹配，得到相匹配的激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組。

18、在一種可選的實施方式中，所述基于各幀相匹配的激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組之間的互信息，建立外參標定函數(shù)，包括：

19、分別求取各幀相匹配的激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組之間的互信息；

20、對各幀相匹配的激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組之間的互信息求和，以建立外參標定函數(shù)。

21、在一種可選的實施方式中，所述分別求取各幀相匹配的激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組之間的互信息，包括：

22、針對每一幀，分別求取相匹配的激光點云數(shù)據(jù)組的激光點云歸一化直方圖和深度圖數(shù)據(jù)組的深度圖歸一化直方圖；

23、分別求取激光點云歸一化直方圖的激光點云邊際概率、深度圖歸一化直方圖的深度圖邊際概率以及激光點云歸一化直方圖和深度圖歸一化直方圖之間的聯(lián)合概率；

24、基于所述激光點云邊際概率、所述深度圖邊際概率以及所述聯(lián)合概率，得到相匹配的激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組之間的互信息。

25、在一種可選的實施方式中，通過如下公式求取各幀相匹配的激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組之間的互信息：

26、

27、其中，表示第i幀互信息，表示第i幀深度圖數(shù)據(jù)組，表示第i幀激光點云數(shù)據(jù)組，表示第i幀深度圖數(shù)據(jù)組的熵，表示第i幀激光點云數(shù)據(jù)組的熵，表示第i幀深度圖數(shù)據(jù)組和第i幀激光點云數(shù)據(jù)組的聯(lián)合熵。

28、第二方面，本發(fā)明提供了一種外參標定系統(tǒng)，所述系統(tǒng)包括：

29、激光雷達，安裝于目標車輛上，用于采集各幀激光點云；

30、多相機系統(tǒng)，安裝于目標車輛上，用于采集各幀圖像數(shù)據(jù)；

31、數(shù)據(jù)處理設備，包括：

32、數(shù)據(jù)獲取模塊，用于獲取所述多相機系統(tǒng)中每個相機采集到的各幀圖像數(shù)據(jù)以及所述激光雷達采集到的各幀激光點云；

33、深度估計模塊，用于分別對每個相機采集到的各幀圖像數(shù)據(jù)進行深度估計，得到與各幀圖像數(shù)據(jù)對應的各幀深度圖；

34、匹配模塊，用于將各幀激光點云與各個相機的各幀深度圖按照幀數(shù)匹配，得到各幀相匹配的激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組；

35、函數(shù)建立模塊，用于基于各幀相匹配的激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組之間的互信息，建立外參標定函數(shù)；

36、函數(shù)求解模塊，用于求取使得外參標定函數(shù)最大化的外參最優(yōu)解，作為激光雷達與多相機系統(tǒng)之間的外參標定結(jié)果。

37、第三方面，本發(fā)明提供了一種計算機設備，包括：存儲器和處理器，存儲器和處理器之間互相通信連接，存儲器中存儲有計算機指令，處理器通過執(zhí)行計算機指令，從而執(zhí)行上述第一方面或其對應的任一實施方式的外參標定方法。

38、第四方面，本發(fā)明提供了一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)上存儲有計算機指令，計算機指令用于使計算機執(zhí)行上述第一方面或其對應的任一實施方式的外參標定方法。

39、第五方面，本發(fā)明提供了一種計算機程序產(chǎn)品，包括計算機指令，計算機指令用于使計算機執(zhí)行上述第一方面或其對應的任一實施方式的外參標定方法。

40、本發(fā)明提供的技術方案可以包括以下有益效果：

41、本發(fā)明提供的外參標定方法，首先獲取多相機系統(tǒng)中每個相機采集到的各幀圖像數(shù)據(jù)以及激光雷達采集到的各幀激光點云，接著分別對每個相機采集到的各幀圖像數(shù)據(jù)進行深度估計，得到與各幀圖像數(shù)據(jù)對應的各幀深度圖，然后將各幀激光點云與各個相機的各幀深度圖按照幀數(shù)匹配，得到各幀相匹配的激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組，進而基于各幀相匹配的激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組之間的互信息，建立外參標定函數(shù)，最后求取使得外參標定函數(shù)最大化的外參最優(yōu)解，作為激光雷達與多相機系統(tǒng)之間的外參標定結(jié)果。通過將圖像數(shù)據(jù)對應的深度圖與激光點云匹配，并基于激光點云數(shù)據(jù)組和深度圖數(shù)據(jù)組之間的互信息確定兩者之間最準確的依賴關系，得到最優(yōu)的外參，在無需標定板、無需紋理合適的場景、無需大量訓練數(shù)據(jù)的前提下，實現(xiàn)便捷且準確性高的外參標定功能。