本發(fā)明實(shí)施例涉及機(jī)動(dòng)車障礙物檢測，尤其涉及一種機(jī)動(dòng)車障礙物檢測方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、機(jī)動(dòng)車輔助駕駛系統(tǒng)通常配置有基于圖像視覺的機(jī)動(dòng)車障礙物檢測裝置，以便于在機(jī)動(dòng)車行駛過程中實(shí)時(shí)監(jiān)測機(jī)動(dòng)車周圍出現(xiàn)的障礙物，并能提前預(yù)警及/或采取避障措施。

2、現(xiàn)有的一種基于圖像視覺的機(jī)動(dòng)車障礙物檢測方法主要包括以下步驟：先采用預(yù)定障礙物識(shí)別算法從車載攝像頭拍攝的圖像幀中篩選出包含機(jī)動(dòng)車周圍障礙物的候選框，然后采用預(yù)定特征提取網(wǎng)絡(luò)模型從所述候選框中提取圖像特征，最終采用基于深度學(xué)習(xí)的網(wǎng)絡(luò)模型對(duì)所述圖像特征進(jìn)行分類識(shí)別確定障礙物的類型。

3、然而，發(fā)明人在具體實(shí)施時(shí)發(fā)現(xiàn)，上述方法僅依賴單張圖像幀中的圖像特征進(jìn)行障礙物識(shí)別，障礙物識(shí)別準(zhǔn)確度較差，而且對(duì)障礙物的空間感知精度較低。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例要解決的技術(shù)問題在于，提供一種機(jī)動(dòng)車障礙物檢測方法，能有效提升障礙物檢測和識(shí)別精度。

2、本發(fā)明實(shí)施例進(jìn)一步要解決的技術(shù)問題在于，提供一種機(jī)動(dòng)車障礙物檢測裝置，能有效提升障礙物檢測和識(shí)別精度。

3、本發(fā)明實(shí)施例進(jìn)一步要解決的技術(shù)問題在于，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，能存儲(chǔ)能有效提升障礙物檢測和識(shí)別精度的計(jì)算機(jī)程序。

4、為了解決上述技術(shù)問題，本發(fā)明實(shí)施例首先提供以下技術(shù)方案：一種機(jī)動(dòng)車障礙物檢測方法，包括以下步驟：

5、從車載攝像頭采集并傳來的機(jī)動(dòng)車周圍環(huán)境的視頻影像中逐幀提取圖像幀，并在每一圖像幀中篩選出包含障礙物的候選區(qū)域；

6、基于相機(jī)成像模型的射線投影機(jī)理獲取每一圖像幀的所述候選區(qū)域的射線投影圖像；

7、將所有射線投影圖像輸入特征提取網(wǎng)絡(luò)以提取出射線投影圖像特征，其中，從時(shí)序上的第二幀圖像幀開始，先對(duì)當(dāng)前處理的圖像幀所對(duì)應(yīng)的所述射線投影圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償對(duì)齊后再輸入所述特征提取網(wǎng)絡(luò)；

8、依時(shí)序并基于運(yùn)動(dòng)補(bǔ)償融合各射線投影圖像特征獲得融合特征；以及

9、將融合特征輸入障礙物邊界與近地點(diǎn)檢測模型以識(shí)別出所述障礙物。

10、進(jìn)一步的，所述基于相機(jī)成像模型的射線投影機(jī)理獲取每一圖像幀的所述候選區(qū)域的射線投影圖像具體包括：

11、基于車載攝像頭的相機(jī)外參在所述圖像幀中確定所述車載攝像頭的相機(jī)中心點(diǎn)投影在機(jī)動(dòng)車的行駛路面上的像素坐標(biāo)點(diǎn)；

12、將所述候選區(qū)域等分為若干子區(qū)域；

13、構(gòu)建所述像素坐標(biāo)點(diǎn)分別與每個(gè)所述子區(qū)域的像素中心點(diǎn)連接的目標(biāo)射線；以及

14、基于所述圖像幀中的各條目標(biāo)射線構(gòu)建射線投影圖像，所述射線投影圖像的每行像素點(diǎn)的rgb值按照各條目標(biāo)射線排列順序?qū)?yīng)一條目標(biāo)射線上各個(gè)像素點(diǎn)的rgb值。

15、進(jìn)一步的，所述對(duì)當(dāng)前處理的圖像幀所對(duì)應(yīng)的所述射線投影圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償對(duì)齊再輸入所述特征提取網(wǎng)絡(luò)具體包括：

16、基于車載攝像頭的幀間運(yùn)動(dòng)矢量將當(dāng)前處理的圖像幀中的各條目標(biāo)射線投影至歷史圖像幀以在所述歷史圖像幀中對(duì)應(yīng)生成歷史目標(biāo)射線；

17、基于所述歷史圖像幀中的各條歷史目標(biāo)射線構(gòu)建歷史投影圖像；以及

18、將所述歷史投影圖像和所述當(dāng)前處理的圖像幀所對(duì)應(yīng)的所述射線投影圖像輸入至所述特征提取網(wǎng)絡(luò)。

19、進(jìn)一步的，所述依時(shí)序并基于運(yùn)動(dòng)補(bǔ)償融合各射線投影圖像特征獲得融合特征具體是指：將所述特征提取網(wǎng)絡(luò)分別從所述歷史投影圖像和所述當(dāng)前處理的圖像幀所對(duì)應(yīng)的所述射線投影圖像提取出的歷史圖像特征和當(dāng)前圖像特征融合獲得融合特征。

20、進(jìn)一步的，將所述歷史圖像特征和當(dāng)前圖像特征相加融合形成所述融合特征。

21、進(jìn)一步的，構(gòu)建出所述射線投影圖像和所述歷史投影圖像后，先基于同一行像素點(diǎn)的就近原則補(bǔ)全每張投影圖像中空缺像素點(diǎn)的rgb值，再將投影圖像輸入至所述特征提取網(wǎng)絡(luò)進(jìn)行特征提取。

22、進(jìn)一步的，所述障礙物邊界與近地點(diǎn)檢測模型為三層mlp網(wǎng)絡(luò)結(jié)構(gòu)模型，將所述融合特征輸入所述三層mlp網(wǎng)絡(luò)結(jié)構(gòu)模型以識(shí)別獲得所述障礙物在行駛路面的投影點(diǎn)以及所述障礙物的類型。

23、進(jìn)一步的，采用廣義障礙物檢測算法模型從所述圖像幀中篩選出包含機(jī)動(dòng)車周圍障礙物的候選區(qū)域。

24、另一方面，為了解決上述進(jìn)一步的技術(shù)問題，本發(fā)明實(shí)施例再提供以下技術(shù)方案：一種機(jī)動(dòng)車障礙物檢測裝置，與車載攝像頭相連，所述裝置包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器中且被配置為由所述處理器執(zhí)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述任一項(xiàng)所述的機(jī)動(dòng)車障礙物檢測方法。

25、再一方面，為了解決上述進(jìn)一步的技術(shù)問題，本發(fā)明實(shí)施例再提供以下技術(shù)方案：一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的計(jì)算機(jī)程序，其中，在所述計(jì)算機(jī)程序運(yùn)行時(shí)控制所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行如上述任一項(xiàng)所述的機(jī)動(dòng)車障礙物檢測方法。

26、采用上述技術(shù)方案后，本發(fā)明實(shí)施例至少具有如下有益效果：本發(fā)明實(shí)施例通過在圖像幀中篩選出包含障礙物的候選區(qū)域后，先基于相機(jī)成像模型的射線投影機(jī)理獲取每一圖像幀的所述候選區(qū)域的射線投影圖像，然后將所有射線投影圖像輸入特征提取網(wǎng)絡(luò)以提取出射線投影圖像特征，且從時(shí)序上的第二幀圖像幀開始，對(duì)于當(dāng)前處理的圖像幀，都會(huì)先對(duì)其所對(duì)應(yīng)的所述射線投影圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償對(duì)齊后再輸入所述特征提取網(wǎng)絡(luò)，能提升當(dāng)前處理的圖像幀的圖像特征的準(zhǔn)確度；進(jìn)一步依時(shí)序并基于運(yùn)動(dòng)補(bǔ)償融合各射線投影圖像特征獲得融合特征后，將所述融合特征輸入預(yù)設(shè)的相應(yīng)的障礙物邊界與近地點(diǎn)檢測模型以識(shí)別所述障礙物，能有效提升障礙物的檢測和識(shí)別精度，有利于提高障礙物探測的效率和成功率。

技術(shù)特征：

1.一種機(jī)動(dòng)車障礙物檢測方法，其特征在于，所述方法包括以下步驟：

2.如權(quán)利要求1所述的機(jī)動(dòng)車障礙物檢測方法，其特征在于，所述基于相機(jī)成像模型的射線投影機(jī)理獲取每一圖像幀的所述候選區(qū)域的射線投影圖像具體包括：

3.如權(quán)利要求1或2所述的機(jī)動(dòng)車障礙物檢測方法，其特征在于，所述對(duì)當(dāng)前處理的圖像幀所對(duì)應(yīng)的所述射線投影圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償對(duì)齊后再輸入所述特征提取網(wǎng)絡(luò)具體包括：

4.如權(quán)利要求3所述的機(jī)動(dòng)車障礙物檢測方法，其特征在于，所述依時(shí)序并基于運(yùn)動(dòng)補(bǔ)償融合各射線投影圖像特征獲得融合特征具體是指：將所述特征提取網(wǎng)絡(luò)分別從所述歷史投影圖像和所述當(dāng)前處理的圖像幀所對(duì)應(yīng)的所述射線投影圖像提取出的歷史圖像特征和當(dāng)前圖像特征融合獲得融合特征。

5.如權(quán)利要求4所述的機(jī)動(dòng)車障礙物檢測方法，其特征在于，將所述歷史圖像特征和當(dāng)前圖像特征相加融合形成所述融合特征。

6.如權(quán)利要求3所述的機(jī)動(dòng)車障礙物檢測方法，其特征在于，構(gòu)建出所述射線投影圖像和所述歷史投影圖像后，先基于同一行像素點(diǎn)的就近原則補(bǔ)全每張投影圖像中空缺像素點(diǎn)的rgb值，再將投影圖像輸入至所述特征提取網(wǎng)絡(luò)進(jìn)行特征提取。

7.如權(quán)利要求1所述的機(jī)動(dòng)車障礙物檢測方法，其特征在于，所述障礙物邊界與近地點(diǎn)檢測模型為三層mlp網(wǎng)絡(luò)結(jié)構(gòu)模型，將所述融合特征輸入所述三層mlp網(wǎng)絡(luò)結(jié)構(gòu)模型以識(shí)別獲得所述障礙物在行駛路面的投影點(diǎn)以及所述障礙物的類型。

8.如權(quán)利要求1所述的機(jī)動(dòng)車障礙物檢測方法，其特征在于，采用廣義障礙物檢測算法模型在所述圖像幀中篩選出包含障礙物的候選區(qū)域。

9.一種機(jī)動(dòng)車障礙物檢測裝置，與車載攝像頭相連，其特征在于，所述裝置包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器中且被配置為由所述處理器執(zhí)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至8中任一項(xiàng)所述的機(jī)動(dòng)車障礙物檢測方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的計(jì)算機(jī)程序，其中，在所述計(jì)算機(jī)程序運(yùn)行時(shí)控制所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行如權(quán)利要求1至8中任一項(xiàng)所述的機(jī)動(dòng)車障礙物檢測方法。

技術(shù)總結(jié)
本發(fā)明實(shí)施例提供一種機(jī)動(dòng)車障礙物檢測方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述方法包括：從車載攝像頭采集并傳來的機(jī)動(dòng)車周圍的視頻影像中逐幀提取圖像幀，在每一圖像幀中篩選出包含障礙物的候選區(qū)域；基于相機(jī)成像模型的射線投影機(jī)理獲取每一圖像幀的所述候選區(qū)域的射線投影圖像；將所有射線投影圖像輸入特征提取網(wǎng)絡(luò)以提取出射線投影圖像特征，其中，從時(shí)序上的第二幀圖像幀開始，先對(duì)當(dāng)前處理的圖像幀所對(duì)應(yīng)的所述射線投影圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償對(duì)齊后再輸入特征提取網(wǎng)絡(luò)；依時(shí)序并基于運(yùn)動(dòng)補(bǔ)償融合各射線投影圖像特征獲得融合特征；以及將融合特征輸入障礙物邊界與近地點(diǎn)檢測模型以識(shí)別出所述障礙物。本實(shí)施例能有效提升障礙物檢測和識(shí)別精度。

技術(shù)研發(fā)人員：童文超,羅小平,田磊
受保護(hù)的技術(shù)使用者：深圳市豪恩汽車電子裝備股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15