本發(fā)明屬于汽車自動(dòng)駕駛技術(shù)領(lǐng)域，涉及一種自動(dòng)駕駛汽車的自車定位的系統(tǒng)及方法，具體是指一種基于可變網(wǎng)格的圖像特征檢測(cè)在自動(dòng)駕駛中的車輛縱向定位的系統(tǒng)及方法。

背景技術(shù)：

智能車輛的自動(dòng)駕駛系統(tǒng)需要依賴高精度地圖數(shù)據(jù)，按照指定的目的地信息，動(dòng)態(tài)、經(jīng)濟(jì)的完成全局與局部路徑規(guī)劃形成自身導(dǎo)航軌跡，安全、便捷的完成無(wú)人車輛的各項(xiàng)控制動(dòng)作。在這一系統(tǒng)的執(zhí)行過程中，需要實(shí)時(shí)、準(zhǔn)確的了解車輛自身的高精度定位信息，才能對(duì)當(dāng)前行駛狀態(tài)控制做出決策層面上的判斷。

自動(dòng)駕駛中常規(guī)的定位方式一般為gnss(globalnavigationsatellitesystem)結(jié)合imu(inertialmeasurementunit)組成。gnss在郊外平原地帶能夠獲取到較好的定位精度，但在復(fù)雜的城區(qū)環(huán)境中，信號(hào)傳播的多路徑反射效應(yīng)極易造成數(shù)米范圍的定位精度誤差；imu一般采用陀螺儀、多軸加速度傳感器等計(jì)量?jī)x器構(gòu)成，實(shí)時(shí)檢測(cè)當(dāng)前自身的姿態(tài)與加速度，根據(jù)imu能夠準(zhǔn)確遞推一定距離內(nèi)的車輛運(yùn)動(dòng)信息，但使用imu進(jìn)行航跡推算的過程中會(huì)產(chǎn)生誤差積累，隨時(shí)間增長(zhǎng)定位精度的退化越嚴(yán)重。通過融合與插值gnss與imu數(shù)據(jù)，可以達(dá)到較好的高精度定位效果。

然而，在自動(dòng)駕駛系統(tǒng)中如果僅采用gnss+imu方式完成高精度定位是無(wú)法保證在自動(dòng)決策的執(zhí)行過程中安全、精確的完成控制動(dòng)作，需要依賴額外的定位方法與傳感器進(jìn)行輔助。一般的，使用lidar(lightdetectionandranging)獲取的激光點(diǎn)云進(jìn)行匹配以完成車輛在局部環(huán)境中的定位，以及使用多攝像機(jī)進(jìn)行目標(biāo)檢測(cè)與識(shí)別、深度計(jì)算、運(yùn)動(dòng)估計(jì)等來完成定位。這兩種分別使用中高成本lidar和低成本多攝像機(jī)的方案，與常規(guī)基于高成本gnss+imu方案相互輔助校正誤差，在自動(dòng)駕駛中能提供高精度定位信息。

現(xiàn)階段基于攝像機(jī)的自動(dòng)駕駛輔助定位方式，通常是計(jì)算相機(jī)姿態(tài)變換來構(gòu)成視覺里程計(jì)，這一方法能夠較準(zhǔn)確的確定出車輛在一定時(shí)間范圍內(nèi)的位姿狀態(tài)。但基于雙目攝像機(jī)的視覺里程計(jì)需要實(shí)時(shí)進(jìn)行左右目圖像的矯正、配準(zhǔn)和視差圖的計(jì)算，并不能以較高頻率輸出，對(duì)于1600×1200像素尺寸的圖像進(jìn)行雙目圖像的深度計(jì)算幀率小于10fps(framespersecond)。圖像處理幀率較低，依賴攝像機(jī)所計(jì)算得到的定位信息輸出頻率也較低，與gnss+imu等其他定位信息進(jìn)行融合時(shí)，則需要考慮更多的時(shí)間同步、線性/非線性插值等問題，影響高精度定位信息的可靠性、實(shí)時(shí)性、準(zhǔn)確性。能夠達(dá)到實(shí)時(shí)、適用、魯棒的車道級(jí)定位精度的多攝像機(jī)圖像處理技術(shù)方案，在智能交通檢測(cè)系統(tǒng)與自動(dòng)駕駛領(lǐng)域中占據(jù)核心的地位。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明要解決的技術(shù)問題是提供一種基于可變網(wǎng)格的圖像特征檢測(cè)在自動(dòng)駕駛中的車輛縱向定位的系統(tǒng)及方法，應(yīng)用基于可變網(wǎng)格區(qū)域(攜帶尺度信息)的orb特征提取算法，在車載雙目視覺系統(tǒng)中檢索到特定的前方目標(biāo)，并輸出視覺系統(tǒng)到前方目標(biāo)的距離，根據(jù)這一距離以及雙目系統(tǒng)在車輛中的安裝位置，即可與高精度導(dǎo)航中的車輛軌跡進(jìn)行校正，提高自動(dòng)駕駛中的車輛縱向定位精度。

本發(fā)明所采用的技術(shù)方案如下：

一種基于可變網(wǎng)格的圖像特征檢測(cè)在自動(dòng)駕駛中的車輛縱向定位系統(tǒng)，該系統(tǒng)按照功能模塊劃分包括高精度導(dǎo)航系統(tǒng)、雙目攝像機(jī)、圖像預(yù)處理器、目標(biāo)檢測(cè)器、目標(biāo)跟蹤器和目標(biāo)距離計(jì)算器；

所述高精度導(dǎo)航系統(tǒng)，用于實(shí)時(shí)進(jìn)行地圖檢索并根據(jù)車體當(dāng)前位置向目標(biāo)檢測(cè)器發(fā)送車體行進(jìn)前方的出現(xiàn)或?qū)⒁霈F(xiàn)的目標(biāo)物的名稱id，并根據(jù)特定目標(biāo)距離對(duì)高精度導(dǎo)航進(jìn)行縱向距離矯正；

所述雙目攝像機(jī)，包括左目攝像機(jī)和右目攝像機(jī)，用于實(shí)時(shí)采集車輛行進(jìn)前方視頻圖像，并輸出給圖像處理器進(jìn)行預(yù)處理；

所述圖像預(yù)處理器，用于根據(jù)雙目攝像機(jī)標(biāo)定的內(nèi)外參數(shù)進(jìn)行雙目攝像機(jī)采集圖像的畸變矯正、極線約束校正、圖像的灰度化，以及圖像的分發(fā)工作；

所述目標(biāo)檢測(cè)器，用于接收到高精度導(dǎo)航系統(tǒng)發(fā)送來的特定目標(biāo)物名稱id，對(duì)圖像預(yù)處理器分發(fā)的灰度圖像中左目圖像進(jìn)行基于可變網(wǎng)格的圖像特征匹配工作，并離線生成的目標(biāo)物可變網(wǎng)格特征文件；

所述目標(biāo)跟蹤器，用于根據(jù)圖像預(yù)處理器輸入的圖像以及目標(biāo)檢測(cè)器檢測(cè)到的特定目標(biāo)物的檢測(cè)矩形框，完成基于圖像區(qū)域的跟蹤操作，將特定目標(biāo)區(qū)域圖像及其鄰域部分圖像作為卷積模板，在隨后的圖像幀中判斷整幅輸入的新場(chǎng)景圖像中卷積響應(yīng)最高的區(qū)域，再用最高響應(yīng)區(qū)域更新當(dāng)前卷積模板；并持續(xù)輸出每一幀最高響應(yīng)區(qū)域作為目標(biāo)的跟蹤位置；

所述目標(biāo)距離計(jì)算器，用于通過極線幾何約束計(jì)算雙目攝像機(jī)距離目標(biāo)物的垂直方向上的距離，進(jìn)而得到車體當(dāng)前幀采集時(shí)與特定目標(biāo)物的距離。

基于上述系統(tǒng)實(shí)現(xiàn)的一種基于可變網(wǎng)格的圖像特征檢測(cè)在自動(dòng)駕駛中的車輛縱向定位方法，包括以下步驟：

s1，在部署過高精度地圖與gnss+imu系統(tǒng)的自動(dòng)駕駛車輛上，安裝前向雙目攝像機(jī)，并對(duì)雙目攝像機(jī)進(jìn)行內(nèi)外參數(shù)的標(biāo)定；

s2，根據(jù)高精度地圖數(shù)據(jù)庫(kù)中的場(chǎng)景中特定目標(biāo)物，結(jié)合在實(shí)際道路中運(yùn)行時(shí)攝像機(jī)采集的視頻幀，提取包含特定目標(biāo)區(qū)域的多幀圖像，構(gòu)成目標(biāo)物提取圖像幀序列，進(jìn)行目標(biāo)物特征提取，制作基于可變網(wǎng)格的特征描述文件；

s3，在自動(dòng)駕駛車輛啟動(dòng)準(zhǔn)備階段，依次完成高精度導(dǎo)航系統(tǒng)、雙目攝像機(jī)、圖像預(yù)處理器、目標(biāo)檢測(cè)器、目標(biāo)跟蹤器、目標(biāo)距離計(jì)算器各個(gè)模塊的初始化工作；

s4，在自動(dòng)駕駛線上運(yùn)行階段，整套系統(tǒng)需要高精度導(dǎo)航進(jìn)行檢測(cè)過程的觸發(fā)，需要輸入系統(tǒng)的數(shù)據(jù)源是高精度地圖中目標(biāo)物的名稱id、導(dǎo)航中計(jì)算出的大概距離，以及雙目攝像機(jī)經(jīng)過預(yù)處理操作輸入的圖像幀序列，按照“檢測(cè)”-“跟蹤”-“距離輸出”的流程進(jìn)行場(chǎng)景中特定目標(biāo)物的距離輸出；

s5，通過攝像機(jī)計(jì)算輸出的距離，輸入至高精度導(dǎo)航模塊，輔助執(zhí)行縱向校正過程。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

1.對(duì)于自動(dòng)駕駛面臨的動(dòng)態(tài)復(fù)雜道路條件，利用低成本視覺傳感器，可以有效地校正gnss+imu定位系統(tǒng)縱向誤差，提高自車定位精度；

2.降低了傳統(tǒng)雙目視覺系統(tǒng)中運(yùn)算復(fù)雜度，使視覺傳感器部分的定位達(dá)到系統(tǒng)實(shí)時(shí)性的輸出頻率要求；

3.在實(shí)際目標(biāo)檢測(cè)與跟蹤過程中，較多計(jì)算使用圖像卷積操作，便于本發(fā)明方法工程應(yīng)用中在嵌入式+gpu系統(tǒng)中的移植與硬件加速。

附圖說明

圖1是根據(jù)本發(fā)明內(nèi)容實(shí)施的自動(dòng)駕駛中一種基于可變網(wǎng)格的圖像特征檢測(cè)的縱向定位系統(tǒng)結(jié)構(gòu)圖及方法流程示意圖；

圖2是對(duì)應(yīng)本發(fā)明內(nèi)容步驟2的人工標(biāo)記特定目標(biāo)物所在區(qū)域的結(jié)果示意圖；

圖3是本發(fā)明所述的可變網(wǎng)格劃分結(jié)果示意圖，該網(wǎng)格劃分方法采用的是步驟42所述的二分劃分方法；

圖4是特征匹配用于目標(biāo)物檢測(cè)與定位的示意圖，其中左側(cè)為待檢測(cè)的目標(biāo)物，右側(cè)為測(cè)試場(chǎng)景，通過特征點(diǎn)檢測(cè)與匹配過程，能夠得到兩幅圖中的特征點(diǎn)對(duì)應(yīng)關(guān)系，計(jì)算其對(duì)應(yīng)關(guān)系的單應(yīng)性映射，即可在測(cè)試場(chǎng)景中得到目標(biāo)物的檢測(cè)結(jié)果與目標(biāo)可能所在的檢測(cè)區(qū)域；

圖5描述的是左右目攝像機(jī)的圖像輸入目標(biāo)檢測(cè)器并成功完成目標(biāo)物的檢測(cè)與提取的運(yùn)行結(jié)果示意圖；

圖6描繪了漸進(jìn)度的判斷方式：外包矩形abcd(圖像外邊緣)以及內(nèi)部對(duì)特定目標(biāo)物檢測(cè)框矩形mnop，內(nèi)部矩形框mnop四邊分別距離外包矩形的垂直距離為dis_t、dis_r、dis_b以及dis_l；

圖7描述的是按照基于可變網(wǎng)格的圖像特征匹配算法的0,1,2序列號(hào)進(jìn)行匹配的結(jié)果圖；左側(cè)為不同序列號(hào)檢測(cè)模板的重繪圖，右側(cè)為實(shí)際攝像機(jī)采集的場(chǎng)景圖像幀，從左側(cè)至右側(cè)連接的線段為繪制的對(duì)應(yīng)特征匹配點(diǎn)連線；

圖8為連續(xù)的20幀圖像跟蹤序列；左上角圖像為輸入的第一幀圖像以及待跟蹤的目標(biāo)矩形框，其余圖像為連續(xù)幀的跟蹤結(jié)果。

具體實(shí)施方式

為了使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式做詳細(xì)的說明。

本發(fā)明提供了一種基于可變網(wǎng)格的圖像特征檢測(cè)算法，通過在自動(dòng)駕駛系統(tǒng)中安裝攝像機(jī)所采集到的車輛周邊影像，通過輸入高精度導(dǎo)航系統(tǒng)中給出的關(guān)于特定場(chǎng)景目標(biāo)信息與高精度導(dǎo)航中道路計(jì)算的目標(biāo)距離，通過應(yīng)用一種基于可變網(wǎng)格區(qū)域大小(攜帶尺度信息)的特征提取算法，可以在車載雙目視覺系統(tǒng)中檢索到特定的前方目標(biāo)，并輸出視覺系統(tǒng)到前方目標(biāo)的距離。根據(jù)這一距離信息以及雙目系統(tǒng)在車輛中的安裝的物理位置，即可與高精度導(dǎo)航中的車輛軌跡進(jìn)行校正，提高自動(dòng)駕駛中的車輛縱向定位精度。

上述高精度地圖中的特定場(chǎng)景目標(biāo)，指的是各種交通信息指示牌等固定的場(chǎng)景物體，這些特定目標(biāo)一般存在于高精度地圖數(shù)據(jù)庫(kù)內(nèi)，因此能夠在自動(dòng)駕駛的導(dǎo)航系統(tǒng)中被提前約定數(shù)據(jù)關(guān)系，即一系列屬于某一特定目標(biāo)的可變網(wǎng)格特征描述，與高精度地圖數(shù)據(jù)中對(duì)應(yīng)目標(biāo)的名稱。在自動(dòng)駕駛車輛運(yùn)動(dòng)過程中，高精度導(dǎo)航系統(tǒng)預(yù)判前方可能出現(xiàn)到車載攝像機(jī)視場(chǎng)內(nèi)的目標(biāo)物名稱，將這一信息發(fā)送至目標(biāo)檢測(cè)模塊調(diào)用數(shù)據(jù)庫(kù)中預(yù)制的可變網(wǎng)格特征文件，用以完成特定目標(biāo)的檢測(cè)與匹配。

本發(fā)明在自動(dòng)駕駛的縱向輔助定位上提供一種基于可變網(wǎng)格的圖像特征檢測(cè)與提取方法，具體步驟如下：

s1，在部署過高精度地圖與gnss+imu系統(tǒng)的自動(dòng)駕駛車輛上，安裝前向雙目攝像機(jī)，并對(duì)雙目攝像機(jī)進(jìn)行內(nèi)外參數(shù)的標(biāo)定；

這一步驟中，需要詳細(xì)記錄的設(shè)備屬性與參數(shù)有：左目攝像機(jī)相對(duì)于車身坐標(biāo)系的安裝位置信息，左目攝像機(jī)內(nèi)參m1、d1，右目攝像機(jī)內(nèi)參m2、d2，和左右目攝像機(jī)的外參r、t，其中m1與m2分別表示兩個(gè)攝像機(jī)的焦距fx、fy和主點(diǎn)位置cx、cy，形式為3*3矩陣形式：d1、d2分別表示左右目攝像機(jī)的成像畸變系數(shù)；外部參數(shù)r、t用于描述右目攝像機(jī)的位置相對(duì)于左目攝像機(jī)的旋轉(zhuǎn)角度和平移距離。

通過雙目攝像機(jī)的內(nèi)參數(shù)可以校正攝像機(jī)成像畸變，以及在進(jìn)行視差計(jì)算、深度計(jì)算中應(yīng)用左右目攝像機(jī)外參。一方面可以通過內(nèi)參數(shù)校正由于鏡頭透鏡安裝引入的切向與徑向畸變，使成像結(jié)果中類似平整直線邊緣退化成弧線邊緣的畸變誤差被盡可能消除；另一方面，右目相機(jī)像平面中一點(diǎn)(x′,y′)與場(chǎng)景中的3d點(diǎn)(x,y,z)之間的投影關(guān)系可以通過相機(jī)內(nèi)、外參數(shù)給出：其中s僅代表在尺度上的變化量。

s2，根據(jù)高精度地圖數(shù)據(jù)庫(kù)中的場(chǎng)景中特定目標(biāo)物，結(jié)合在實(shí)際道路中運(yùn)行時(shí)攝像機(jī)采集的視頻幀，提取包含特定目標(biāo)區(qū)域的多幀圖像，構(gòu)成目標(biāo)物提取圖像幀序列，進(jìn)行目標(biāo)物特征提取，制作基于可變網(wǎng)格的特征描述文件；

其中，進(jìn)行目標(biāo)物特征提取的圖像，源于左目攝像機(jī)采集的視頻幀。對(duì)于特定目標(biāo)物進(jìn)行特征提取的視頻幀，可按照粗略估算的近、中、遠(yuǎn)采集3幀圖像構(gòu)成目標(biāo)物提取序列。特別的，本發(fā)明支持更多幀目標(biāo)物圖像進(jìn)行特征提取，但實(shí)際應(yīng)用中出于對(duì)特征匹配效率的考慮，不大于3幀視頻幀進(jìn)行特征提取為優(yōu)。

這一步驟中，可根據(jù)特定目標(biāo)檢測(cè)算法和/或手動(dòng)標(biāo)記的方法，在圖像幀中檢測(cè)和/或框選出場(chǎng)景中的特定目標(biāo)物，特征描述文件中需要記錄此時(shí)框選的網(wǎng)格尺寸。距離目標(biāo)物不同距離時(shí)所采集的圖像序列，網(wǎng)格尺寸能夠反饋采集時(shí)攝像機(jī)(自動(dòng)駕駛車輛)距離目標(biāo)物的距離信息，以及網(wǎng)格內(nèi)的目標(biāo)物在圖像中所呈現(xiàn)的細(xì)節(jié)、特征點(diǎn)數(shù)列，即含有豐富的尺度信息。

特別的，本發(fā)明在進(jìn)行基于可變網(wǎng)格的圖像特征提取的計(jì)算過程中，使用的特征描述算法為經(jīng)典orb(orientedbrief)特征描述算法。進(jìn)一步，經(jīng)序列化后存儲(chǔ)的目標(biāo)物可變網(wǎng)格特征文件的存儲(chǔ)內(nèi)容定義如下：

a)高精度地圖數(shù)據(jù)庫(kù)中，可檢索的目標(biāo)物的名稱id；一般的，為一串?dāng)?shù)字編號(hào)；

b)根據(jù)圖像采集時(shí)距離目標(biāo)物的遠(yuǎn)近程度，為采集到的圖像幀序列分配的序列號(hào)；從0開始分配序列號(hào)。當(dāng)前目標(biāo)物采集3幀，則對(duì)應(yīng)0，1，2的圖像序列編號(hào)。

c)在對(duì)應(yīng)不同序列號(hào)的圖像幀中，特定目標(biāo)物網(wǎng)格中的關(guān)鍵特征點(diǎn)序列，所述的關(guān)鍵特征點(diǎn)序列指的是多幀之間可以被匹配的特征點(diǎn)子集，即在圖像幀序列中表示同一點(diǎn)的特征點(diǎn)所組成的序列；

d)與特征點(diǎn)序列相對(duì)應(yīng)的特征點(diǎn)的orb特征描述；

e)存儲(chǔ)圖像中特定目標(biāo)物的檢索網(wǎng)格相關(guān)信息，一般的，包括該網(wǎng)格的左上角圖像坐標(biāo)與網(wǎng)格在圖像中的寬與高；對(duì)于人工標(biāo)記的方法，網(wǎng)格即對(duì)應(yīng)該幀圖像中目標(biāo)物的最大外包矩形；對(duì)于特定的目標(biāo)檢測(cè)算法而言，網(wǎng)格對(duì)應(yīng)了當(dāng)前幀運(yùn)行目標(biāo)檢測(cè)算法時(shí)獲取的目標(biāo)物檢測(cè)定位輸出的矩形窗口；

f)根據(jù)當(dāng)前傳統(tǒng)的gnss+imu導(dǎo)航系統(tǒng)所得到的采集時(shí)與目標(biāo)物之間的距離信息。

進(jìn)一步，可以離線的完成基于可變網(wǎng)格的圖像特征的提取，即制作了與高精度地圖數(shù)據(jù)中特定目標(biāo)物相關(guān)的特征模板庫(kù)文件。

s3，在自動(dòng)駕駛車輛啟動(dòng)準(zhǔn)備階段，依次完成各個(gè)模塊的初始化工作；

按照本系統(tǒng)的功能模塊劃分，需要依次完成高精度導(dǎo)航系統(tǒng)、雙目攝像機(jī)、圖像預(yù)處理器、目標(biāo)檢測(cè)器、目標(biāo)跟蹤器、目標(biāo)距離計(jì)算器的各個(gè)模塊初始化任務(wù)。

圖像預(yù)處理器需要完成雙目攝像機(jī)采集圖像的畸變矯正、極線約束校正、圖像的灰度化，以及圖像的分發(fā)工作，因此在初始化時(shí)需要依賴步驟1中攝像機(jī)標(biāo)定的內(nèi)、外參數(shù)。進(jìn)一步，彩色圖像的灰度化需要通過0.299*b+0.587*g+0.114*r完成，b、g、r分別代表每一像素點(diǎn)的藍(lán)色、綠色、紅色三通道的像素強(qiáng)度。

目標(biāo)檢測(cè)器需要完成的任務(wù)是，在接收到高精度導(dǎo)航系統(tǒng)發(fā)送來的特定目標(biāo)物名稱，對(duì)圖像預(yù)處理器分發(fā)的灰度圖像中左目圖像進(jìn)行基于可變網(wǎng)格的圖像特征匹配工作。因此，目標(biāo)檢測(cè)器需要初始化步驟2中離線生成的特征文件。

目標(biāo)跟蹤器會(huì)完成基于圖像區(qū)域的跟蹤操作，由于該模塊使用了通用離散傅里葉變換的運(yùn)算庫(kù)fftw(fastestfouriertransforminthewest)，需要在初始化階段完成fftw的預(yù)設(shè)參數(shù)讀入。

目標(biāo)距離計(jì)算器是執(zhí)行基于雙目攝像機(jī)的深度運(yùn)算的核心模塊，初始化依賴于雙目攝像機(jī)的內(nèi)外參數(shù)。

s4、在自動(dòng)駕駛線上運(yùn)行階段，整套系統(tǒng)需要高精度導(dǎo)航進(jìn)行檢測(cè)過程的觸發(fā)，需要輸入系統(tǒng)的數(shù)據(jù)源是高精度地圖中目標(biāo)物的名稱、導(dǎo)航中計(jì)算出的大概距離，以及雙目攝像機(jī)經(jīng)過預(yù)處理操作輸入的圖像幀序列，按照‘檢測(cè)’——‘跟蹤’——‘距離輸出’的流程進(jìn)行場(chǎng)景中特定目標(biāo)物的距離輸出。

進(jìn)一步，所述步驟4包括以下子步驟：

s41，利用高精度導(dǎo)航系統(tǒng)發(fā)送進(jìn)入地圖檢索范圍的目標(biāo)物名稱id，將在步驟s3中初始化好的目標(biāo)物對(duì)應(yīng)的特征描述文件預(yù)讀取至目標(biāo)檢測(cè)器；特別的，需要預(yù)讀取出對(duì)應(yīng)的網(wǎng)格相關(guān)信息與采集時(shí)距離信息，即步驟2中存儲(chǔ)內(nèi)容定義e與定義f。

s42，利用高精度導(dǎo)航系統(tǒng)觸發(fā)時(shí)估計(jì)的目標(biāo)物距離值，與步驟s41中預(yù)讀取的目標(biāo)物特征描述文件內(nèi)容，判斷出此時(shí)可變網(wǎng)格使用的網(wǎng)格尺寸信息，并采用基于二分查找的劃分方法，使用該網(wǎng)格尺寸對(duì)圖像預(yù)處理器輸出的左目攝像機(jī)采集的圖像進(jìn)行劃分，得到當(dāng)前可變網(wǎng)格；計(jì)算過程如下：

(1/2)⁽ⁿ⁺¹⁾*lenglobal＜＝lenblock＜＝(1/2)ⁿ*lenglobal

式中，n是需要根據(jù)迭代計(jì)算出的二分查找次數(shù)，即均分次數(shù)；lenglobal為經(jīng)過預(yù)處理的攝像機(jī)圖像的長(zhǎng)或?qū)挘籰enblock為當(dāng)前的可變網(wǎng)格使用的尺度信息中，網(wǎng)格尺寸的長(zhǎng)或?qū)?；通過從n＝1開始迭代運(yùn)算直到計(jì)算出滿足上式的n值；需要注意的是，這里分別按照?qǐng)D像的y、x方向計(jì)算基于圖像的長(zhǎng)、寬所對(duì)應(yīng)的ny和nx；分別在左目攝像機(jī)經(jīng)預(yù)處理后的輸入圖像上，平均劃分長(zhǎng)為ny份、劃分寬為nx份，所劃分的圖像網(wǎng)格即為當(dāng)前可變網(wǎng)格。

s43，依次遍歷上一步驟得到的基于可變網(wǎng)格劃分后的圖像區(qū)域，對(duì)每一區(qū)域進(jìn)行orb特征提取，并完成與目標(biāo)物特征描述文件中的關(guān)鍵特征點(diǎn)序列及特征點(diǎn)的orb特征描述(即步驟41中載入的存儲(chǔ)內(nèi)容定義c、定義d)的檢測(cè)與匹配；若匹配成功，則對(duì)圖像預(yù)處理器輸出的右目攝像機(jī)采集的圖像進(jìn)行相同的檢測(cè)與匹配并跳轉(zhuǎn)至步驟s44；否則圖像預(yù)處理器讀入下一幀的左目圖像，重新執(zhí)行該步驟；

進(jìn)一步的，匹配過程具體包括以下內(nèi)容：首先，通過orb特征點(diǎn)描述的差異距離來判斷是否兩個(gè)orb特征點(diǎn)為相似，對(duì)每一區(qū)域的特征點(diǎn)與步驟s41載入的模板特征點(diǎn)之間首先完成一次特征點(diǎn)匹配，得到一個(gè)從“檢測(cè)區(qū)域”到“模板區(qū)域”的特征點(diǎn)匹配對(duì)的序列，再反向的從“模板區(qū)域”到“檢測(cè)區(qū)域”完成同樣的操作得到交叉驗(yàn)證的特征點(diǎn)匹配對(duì)的序列；所述檢測(cè)區(qū)域指左目相機(jī)采集到的特定目標(biāo)物所在區(qū)域，所述模板區(qū)域指從高精度地圖數(shù)據(jù)庫(kù)中的特征目標(biāo)物所在區(qū)域；其次從兩組匹配對(duì)序列中得到“檢測(cè)區(qū)域”與“模板區(qū)域”之間存在的特征點(diǎn)的映射關(guān)系，并將正向映射與反向映射之間存在的可逆變換，定義為重映射關(guān)系；然后檢測(cè)當(dāng)前匹配過程中，是否特征點(diǎn)對(duì)的數(shù)量達(dá)到可求取映射矩陣的閾值，一旦超過4個(gè)特征點(diǎn)對(duì)那么即可計(jì)算映射矩陣，再進(jìn)行重映射關(guān)系檢測(cè)，如果滿足，則本次匹配過程成功，否則失敗。

進(jìn)一步的，若匹配過程一直失敗，直到高精度導(dǎo)航組件從地圖數(shù)據(jù)中檢索到當(dāng)前車輛已離開了特定目標(biāo)物的可視區(qū)域，則宣告當(dāng)前一次檢測(cè)任務(wù)失敗，本次計(jì)算流程不再繼續(xù)進(jìn)行下去。

s44，分別將成功完成目標(biāo)物檢測(cè)的左、右目圖像幀與左右目圖像檢測(cè)矩形框作為參數(shù)，完成對(duì)左目圖像、右目圖像的特定區(qū)域的跟蹤器，跟蹤器初始化過程需要傳入的參數(shù)是上一步驟成功獲取到的左、右目檢測(cè)矩形框以及對(duì)應(yīng)的左右目圖像，一旦跟蹤器初始化成功，后續(xù)過程中持續(xù)的將圖像預(yù)處理器輸出的左右目圖像幀分別輸入至對(duì)應(yīng)的目標(biāo)跟蹤器，目標(biāo)跟蹤器將特定目標(biāo)區(qū)域圖像及其鄰域部分圖像作為卷積模板，在隨后的圖像幀中判斷整幅輸入的新場(chǎng)景圖像中卷積響應(yīng)最高的區(qū)域，再用最高響應(yīng)區(qū)域更新當(dāng)前卷積模板；所述特定目標(biāo)區(qū)域圖像即為特定目標(biāo)物的檢測(cè)矩形框區(qū)域；

目標(biāo)跟蹤器持續(xù)輸出每一幀最高響應(yīng)區(qū)域作為目標(biāo)的跟蹤位置；

進(jìn)一步的，判斷跟蹤位置與攝像機(jī)采集的圖像中邊緣的接近程度，使用[0,1]區(qū)間的漸進(jìn)度量化。漸進(jìn)度的計(jì)算方法是分別計(jì)算當(dāng)先的特定目標(biāo)跟蹤位置的外包矩形4頂點(diǎn)分別到圖像外部4個(gè)邊緣的距離最小值dbmindis，根據(jù)場(chǎng)景圖像的高h(yuǎn)scn與寬wscn，可以計(jì)算漸進(jìn)度矩形(當(dāng)前幀圖像中目標(biāo)跟蹤的外包矩形框距離場(chǎng)景圖像邊緣的最短距離，作為一個(gè)虛擬的、名為漸進(jìn)度矩形的每一條邊與場(chǎng)景圖像邊緣的距離)與場(chǎng)景圖像矩形面積的比值((hscn-2*dbmindis)*(wscn-2*dbmindis))/(hscn*wscn)。當(dāng)比值越趨近于1則跟蹤位置越接近于圖像邊緣。從成像意義上描述，當(dāng)車輛即將從目標(biāo)物旁行駛經(jīng)過時(shí)，從攝像機(jī)所采集的圖像上看，目標(biāo)物的圖像也是即將從圖像中心附近移動(dòng)到圖像邊緣，然后越過圖像邊緣(超出攝像機(jī)視場(chǎng)角)直到從圖像邊緣消失。

從漸進(jìn)度的計(jì)算輸出上看，可以很好的反映出此時(shí)攝像機(jī)是否與目標(biāo)在合適的距離，以及是否需要根據(jù)漸進(jìn)度作為步驟45以及后續(xù)步驟的截止條件。一般的，將設(shè)置漸進(jìn)度閾值為0.8～0.9，大于這個(gè)閾值就認(rèn)為目標(biāo)過于接近圖像的邊緣處，可能有部分區(qū)域已經(jīng)超出圖像邊緣無(wú)法完成左、右目直接的圖像匹配過程。

s45，判斷跟蹤位置與攝像機(jī)采集的圖像中邊緣的接近程度，即漸進(jìn)度，并設(shè)置漸進(jìn)度閾值為0.9，若左、右目所跟蹤到的目標(biāo)外包矩形的圖像邊緣漸進(jìn)度都不大于0.9，則進(jìn)入目標(biāo)距離計(jì)算器，通過極線幾何約束來計(jì)算雙目攝像機(jī)距離目標(biāo)物的垂直方向上的距離，進(jìn)而得到車體當(dāng)前幀采集時(shí)與特定目標(biāo)物的距離；否則，認(rèn)為此時(shí)左、右目攝像機(jī)已經(jīng)無(wú)法完整的采集到特定跟蹤目標(biāo)物。

進(jìn)一步，進(jìn)入目標(biāo)距離計(jì)算器的左右目圖像，以及相應(yīng)的跟蹤矩形框區(qū)域，能夠通過計(jì)算極線幾何計(jì)算出對(duì)應(yīng)目標(biāo)物的景深，也就是得到了在當(dāng)前圖像幀采集時(shí)，雙目攝像機(jī)距離目標(biāo)物的垂直方向上的距離，這一距離可以根據(jù)左目攝像機(jī)在車輛坐標(biāo)系下的位置得到車體當(dāng)前圖像幀采集時(shí)對(duì)特定目標(biāo)物的距離。

步驟5、通過攝像機(jī)端計(jì)算輸出的距離，輸入至高精度導(dǎo)航模塊，輔助執(zhí)行縱向校正過程。

結(jié)合附圖1，對(duì)本發(fā)明做進(jìn)一步說明：

首先，在部署了本發(fā)明的軟硬件系統(tǒng)的自動(dòng)駕駛車輛上，啟動(dòng)了雙目攝像機(jī)系統(tǒng)，初始化了圖像預(yù)處理器，經(jīng)過預(yù)處理的左、右目圖像會(huì)被相機(jī)畸變校正、雙目極線校正、裁剪以及縮放。處理后的左、右目圖像會(huì)按需求被分發(fā)至目標(biāo)檢測(cè)器、目標(biāo)跟蹤器、目標(biāo)距離計(jì)算器。

其次，使用預(yù)制的可變網(wǎng)格離線特征文件初始化目標(biāo)檢測(cè)器，使用fftw配置文件初始化目標(biāo)跟蹤器，使用雙目攝像機(jī)內(nèi)外參數(shù)初始化目標(biāo)距離計(jì)算器。待初始化成功后，整套系統(tǒng)可上線運(yùn)行。

第三，在自動(dòng)駕駛車輛行駛過程中，由高精度導(dǎo)航系統(tǒng)發(fā)送“需要前方特定目標(biāo)檢測(cè)”指令至目標(biāo)檢測(cè)器。目標(biāo)檢測(cè)器會(huì)按照此時(shí)通過導(dǎo)航系統(tǒng)計(jì)算出目標(biāo)物距離來調(diào)用不同的目標(biāo)物序列號(hào)(對(duì)應(yīng)特征文件存儲(chǔ)格式b項(xiàng))，如說明書附圖7所示，從上至下反映了按照基于可變網(wǎng)格的圖像特征匹配算法的0,1,2序列號(hào)進(jìn)行匹配的結(jié)果圖，左側(cè)為不同序列號(hào)檢測(cè)模板的重繪圖，右側(cè)為實(shí)際攝像機(jī)采集的場(chǎng)景圖像幀，從左側(cè)至右側(cè)連接的線段為繪制的對(duì)應(yīng)特征匹配點(diǎn)連線。

第四，待左目檢測(cè)成功后，對(duì)右目圖像進(jìn)行相同的操作步驟。如果右目依舊檢測(cè)成功，則將進(jìn)入目標(biāo)跟蹤器的操作環(huán)境。在圖8的連續(xù)20幀圖像跟蹤序列中描述了這一過程的實(shí)例，圖8左上角圖像為輸入的第一幀圖像以及待跟蹤的目標(biāo)矩形框，其余圖像為連續(xù)幀的跟蹤結(jié)果。左、右目圖像同時(shí)輸入目標(biāo)跟蹤器，并得到跟蹤的結(jié)果。

第五，將當(dāng)前左、右目圖像幀的跟蹤結(jié)果與經(jīng)過圖像預(yù)處理器分發(fā)的左、右目圖像輸入目標(biāo)距離計(jì)算器，得到輸出的距離值。一般的，如果此步驟返回了失敗標(biāo)示，則需要檢測(cè)當(dāng)前左右目圖像中是否包含特定檢測(cè)目標(biāo)物，即再次調(diào)用目標(biāo)檢測(cè)器查看返回值，用以判斷是否當(dāng)前目標(biāo)物脫離了攝像機(jī)的可視范圍、是否本次特定目標(biāo)檢測(cè)、跟蹤、距離輸出的處理流程完結(jié)。

第六，上一步驟中輸出的距離計(jì)算結(jié)果，以及對(duì)應(yīng)的采集攝像機(jī)左、右目圖像的系統(tǒng)時(shí)間戳，一并返回至高精度導(dǎo)航模塊，直接或間接校正高精度導(dǎo)航對(duì)應(yīng)系統(tǒng)時(shí)間戳的縱向車輛位置。

至此，本發(fā)明的實(shí)施例結(jié)束，即完成了一次自動(dòng)駕駛中基于可變網(wǎng)格的圖像特征檢測(cè)在車輛縱向定位上的應(yīng)用實(shí)例。

在本說明書的描述中，術(shù)語(yǔ)“一個(gè)實(shí)施例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對(duì)上述術(shù)語(yǔ)的示意性表述不一定指的是相同的實(shí)施例或?qū)嵗?。而且，描述的具體特征、結(jié)構(gòu)、材料或特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。

說明書中未闡述的部分均為現(xiàn)有技術(shù)或公知常識(shí)。本實(shí)施例僅用于說明該發(fā)明，而不用于限制本發(fā)明的范圍，本領(lǐng)域技術(shù)人員對(duì)于本發(fā)明所做的等價(jià)置換等修改均認(rèn)為是落入該發(fā)明權(quán)利要求書所保護(hù)范圍內(nèi)。