本發(fā)明涉及一種障礙物檢測系統(tǒng)，特別涉及一種基于CCD彩色攝像機、激光雷達及毫米波雷達多傳感器融合的非結(jié)構(gòu)化道路凹凸障礙物檢測裝置。

背景技術(shù)：

無人化裝備要在陌生復(fù)雜的非結(jié)構(gòu)化道路環(huán)境下移動和作業(yè)，就必須能夠?qū)崟r檢測到各種地表障礙物的幾何特征和空間三維信息，明確判斷出可通行區(qū)域與障礙區(qū)域，障礙物檢測的性能是影響判斷的關(guān)鍵因素。由于非結(jié)構(gòu)化道路種類繁多、復(fù)雜多變且隨機出現(xiàn)的特點，使廣泛用于結(jié)構(gòu)化道路條件下的地平面假設(shè)和檢測方法已不適用。應(yīng)用于無人化裝備障礙物檢測的傳感器信息獲取，除滿足實時性的要求外，更要滿足可靠性。迄今為止，沒有任何一種傳感器能夠獨立保證在任何時刻提供完全可靠的信息，如激光雷達或毫米波雷達的線掃特性及其精度因素，導(dǎo)致無法完整準確地檢測出障礙物的外形特征；又如單一的通過CCD攝像機進行檢測無法準確獲取障礙物的深度信息，同時易受環(huán)境因素的影響等。采用多傳感器信息融合技術(shù)，可以有效地克服單一傳感器可靠性低、有效探測范圍小的缺點。對多傳感器的信息進行融合，可以降低系統(tǒng)的誤差和不確定性，同時擴展了空間和時間的覆蓋度，增加了測量維數(shù)及置信度。

技術(shù)實現(xiàn)要素：

本發(fā)明的主要目的是提供一種多傳感器融合的非結(jié)構(gòu)化道路凹凸障礙物檢測系統(tǒng)，構(gòu)建滿足無人化裝備在非結(jié)構(gòu)化道路下進行移動和作業(yè)要求的凹凸障礙物檢測裝置，解決因單一傳感器探測精度低、范圍小而無法完整準確地檢測出障礙物外形特征的問題。

本發(fā)明的一種非結(jié)構(gòu)化道路凹凸障礙物檢測裝置，其特點是，所述的裝置設(shè)備包括環(huán)境感知傳感器、工業(yè)交換機、計算機處理終端及顯示傳輸裝置；環(huán)境感知傳感器包括用于環(huán)境感知的激光雷達、毫米波雷達、CCD彩色攝像機；環(huán)境感知傳感器的數(shù)據(jù)通過工業(yè)交換機傳輸至計算機處理終端；計算機處理終端通過處理功能模塊對獲取的數(shù)據(jù)進行處理，處理功能模塊包括雷達點云數(shù)據(jù)采集模塊、障礙物導(dǎo)引信息生成模塊、CCD攝像機圖像采集模塊、多傳感器融合模塊、處理結(jié)果顯示輸出模塊。用于本發(fā)明裝置的計算機處理終端對數(shù)據(jù)的處理主要執(zhí)行步驟如下：

（a）雷達點云數(shù)據(jù)采集模塊采集激光雷達和毫米波雷達的數(shù)據(jù)，障礙物導(dǎo)引信息生成模塊將接收的數(shù)據(jù)處理得到導(dǎo)引信息，其中，導(dǎo)引信息包括障礙物位置、凹凸性和大小范圍，并將其傳輸至多傳感器融合模塊；

（b）CCD攝像機圖像采集模塊對CCD彩色攝像機的圖像數(shù)據(jù)進行編碼采集，并將數(shù)據(jù)傳輸至多傳感器融合模塊；

（c）多傳感器融合模塊對接收到的雷達數(shù)據(jù)和圖像數(shù)據(jù)進行融合處理，處理得到的障礙物精確的位置和大小信息，并在視頻圖像上疊加目標(biāo)大小、輪廓、外接矩形信息，最后將視頻和數(shù)據(jù)傳輸至處理結(jié)果顯示輸出模塊分別進行顯示和輸出。

用于本發(fā)明裝置的計算機處理終端處理功能模塊的多傳感器融合模塊對接收的雷達數(shù)據(jù)和圖像數(shù)據(jù)進行融合和處理，主要執(zhí)行步驟如下：

（1）對CCD彩色攝像機的參數(shù)進行初始化，進而獲取視頻幀圖像；

（2）對圖像處理相關(guān)參數(shù)及變量進行初始化；

（3）接收并處理激光雷達導(dǎo)引數(shù)據(jù)并得到障礙物信息，信息主要包括目標(biāo)總數(shù)、目標(biāo)序號、目標(biāo)寬度、目標(biāo)高度、目標(biāo)方位、目標(biāo)距離，由于接收到的數(shù)據(jù)單位是米，因此必須將其轉(zhuǎn)換為像素單位，才能用來表示目標(biāo)在實際視場中的位置和尺寸；

（4）當(dāng)存在目標(biāo)時，對激光雷達導(dǎo)引的區(qū)域逐一進行障礙物檢測，直到所有目標(biāo)區(qū)域處理完成；

（5）對導(dǎo)引區(qū)域進行圖像處理，主要濾除噪聲、平滑圖像，在此采用高斯低通濾波方法；（6）根據(jù)對激光雷達數(shù)據(jù)的處理結(jié)果分析障礙物是“凸障礙”還是“凹障礙”，凸障礙，則跳轉(zhuǎn)至（7），如果為凹障礙，則跳轉(zhuǎn)至（8）；

（7）以接收到的激光雷達目標(biāo)方位值為種子點進行區(qū)域生長，同時對每一個凸障礙區(qū)域分別進行輪廓提取，并對所提取的輪廓做篩選和剔除，最后結(jié)合生長的區(qū)域和邊緣確定目標(biāo)，處理完成跳轉(zhuǎn)至（9）；

（8）對每一個凹障礙區(qū)域計算OSTU閾值，再結(jié)合分水嶺算法進行凹障礙提取，處理完成跳轉(zhuǎn)至（9）；

（9）對每一個已檢測的目標(biāo)做連通域標(biāo)記，分別得到每個障礙物的中心點及在視場中的尺寸大??；

（10）在視頻幀圖像中疊加當(dāng)前所有目標(biāo)信息及位置；

（11）判斷是否檢測完所有導(dǎo)引區(qū)域，若“是”則轉(zhuǎn)（12），若“否”則轉(zhuǎn)（5）繼續(xù)循環(huán)；

（12）輸出結(jié)果和顯示圖像。

本發(fā)明所述的基于多傳感器融合的非結(jié)構(gòu)化道路凹凸障礙物檢測裝置在以上述的方式運行時，將提高非結(jié)構(gòu)化道路凹凸障礙物實時檢測的精度和可靠性，降低系統(tǒng)的誤差和不確定性。

附圖說明

下面結(jié)合附圖對本發(fā)明作進一步說明：

圖1 是本發(fā)明裝置系統(tǒng)結(jié)構(gòu)框圖；

圖2 是本發(fā)明中計算機處理終端功能模塊的結(jié)構(gòu)框圖；

圖3 本發(fā)明中計算處理終端的多傳感器融合模塊的算法流程圖。

具體實施方式

圖1 是本發(fā)明裝置系統(tǒng)結(jié)構(gòu)框圖，圖1中本發(fā)明所述的裝置包括環(huán)境感知傳感器100、工業(yè)交換機120、計算機處理終端130及顯示傳輸裝置140，其中：環(huán)境感知傳感器100采集激光雷達101、毫米波雷達102、CCD彩色攝像機103的數(shù)據(jù)，采集的數(shù)據(jù)通過工業(yè)交換機120傳輸至計算機處理終端130，計算機處理終端130對獲取的數(shù)據(jù)進行處理，處理的結(jié)果傳輸至處理結(jié)果顯示輸出裝置140進行顯示或輸出。

所述計算機處理終端130選用自主研制的加固型計算機ITA-5730，采用Intel? Core^TM i7-3555LE 2.5GHz處理器，4G內(nèi)存，集成視頻、千兆以太網(wǎng)、USB、串口、CAN、A/D等接口；激光雷達101選用HDL-32E 32，具有32個激光器，可達到+10°到-30°的垂直視場角，旋轉(zhuǎn)頭在水平360°視場角內(nèi)持續(xù)旋轉(zhuǎn)，每秒可輸出高達700,000個測量點，測量范圍可達100m，在10Hz的更新率下測量精度為±2cm；CCD彩色攝像機（103）選用德國AVT公司生產(chǎn)的120萬像素千兆網(wǎng)接口數(shù)字攝像機GT1290C，采用高品質(zhì)的Sony ICX445 Exview CCD傳感器，鏡頭選擇H0514-MP。

圖2 是本發(fā)明中計算機處理終端功能模塊的結(jié)構(gòu)框圖；如圖2所示，它包括雷達點云數(shù)據(jù)采集模塊205、障礙物導(dǎo)引信息生成模塊207、CCD攝像機圖像采集模塊206、多傳感器融合模塊208、處理結(jié)果顯示輸出模塊209。雷達點云數(shù)據(jù)采集模塊205獲取激光雷達數(shù)據(jù)201和毫米波雷達點云數(shù)據(jù)202，并將數(shù)據(jù)傳輸至障礙物導(dǎo)引信息生成模塊207；CCD攝像機圖像采集模塊206采集CCD彩色攝像機圖像；障礙物導(dǎo)引信息生成模塊207與CCD攝像機圖像采集模塊206分別將得到的障礙物導(dǎo)引信息和采集的視頻圖像發(fā)送至多傳感器融合模塊208；多傳感器融合模塊208對各傳感器的數(shù)據(jù)進行融合處理，從而得到了精細化以后的凹凸障礙物尺寸，最后，將計算得到的障礙物信息發(fā)送至處理結(jié)果顯示輸出模塊209進行顯示和傳輸。

圖3 本發(fā)明中計算處理終端的多傳感器融合模塊的算法流程圖。如圖3所示，步驟300為初始流程，實現(xiàn)參數(shù)和接口的初始化。步驟301進行CCD彩色攝像機的參數(shù)初始化，并經(jīng)過步驟302獲取圖像幀圖像，由步驟303完成圖像處理參數(shù)的初始化。步驟304接收激光雷達導(dǎo)引數(shù)據(jù)，并采用步驟305標(biāo)定后的參數(shù)將導(dǎo)引數(shù)據(jù)的距離信息轉(zhuǎn)換為圖像坐標(biāo)下的像素信息。從步驟306開始進入基于圖像處理的凹凸障礙物檢測流程，步驟307判斷雷達導(dǎo)引的障礙物數(shù)目總數(shù)是否大于當(dāng)前所處理目標(biāo)的序號，若是，則首先進入步驟308對圖像進行預(yù)處理，然后以激光雷達提供的目標(biāo)位置為種子點，執(zhí)行步驟309進行區(qū)域生長；然后，步驟310對生長出的區(qū)域分別依次進行連通域標(biāo)記，步驟311獲取導(dǎo)引數(shù)據(jù)中的輪廓信息，步驟312目標(biāo)剔除與合并。最后，執(zhí)行步驟313進行幀圖像信息疊加，再分別執(zhí)行步驟315和步驟316進行視頻輸出顯示和結(jié)果輸出。