本發(fā)明屬于智能交通和圖像識(shí)別領(lǐng)域，特別涉及一種基于多傳感數(shù)據(jù)實(shí)現(xiàn)對(duì)道路交通場(chǎng)景和司機(jī)駕駛行為的還原方法。

背景技術(shù)：

汽車(chē)要實(shí)現(xiàn)真正的無(wú)人駕駛，它必須能夠感知和識(shí)別周?chē)奈矬w，并且要知道自己的確切位置。這兩方面都是無(wú)人駕駛技術(shù)的核心。司機(jī)一系列駕駛行為的做出，都是依據(jù)當(dāng)時(shí)所處的交通環(huán)境，無(wú)論是自動(dòng)駕駛算法的研究，還是輔助司機(jī)駕駛，在汽車(chē)行駛過(guò)程中隨時(shí)感應(yīng)周?chē)沫h(huán)境，收集數(shù)據(jù)，進(jìn)行靜態(tài)、動(dòng)態(tài)物體的辨識(shí)、偵測(cè)與追蹤，并結(jié)合導(dǎo)航儀地圖數(shù)據(jù)，進(jìn)行系統(tǒng)的運(yùn)算與分析，都是十分重要的。

現(xiàn)階段主流無(wú)人駕駛研發(fā)技術(shù)中，都選擇了激光雷達(dá)作為感知設(shè)備。激光雷達(dá)的優(yōu)勢(shì)在于其探測(cè)范圍更廣，探測(cè)精度更高。但是，激光雷達(dá)的缺點(diǎn)也很明顯，在雨雪霧等極端天氣下性能較差，采集的數(shù)據(jù)量十分龐大也十分昂貴。作為adas不可或缺的核心傳感器類(lèi)型，毫米波雷達(dá)技術(shù)相對(duì)成熟。但毫米波雷達(dá)的缺點(diǎn)也十分直觀，探測(cè)距離受到頻段損耗的直接制約，也無(wú)法感知行人，并且對(duì)周邊所有障礙物無(wú)法進(jìn)行精準(zhǔn)的建模。

視覺(jué)是人類(lèi)認(rèn)知世界最重要的功能手段，生物學(xué)研究表明，人類(lèi)獲取外界信息75％依靠視覺(jué)系統(tǒng)，而在駕駛環(huán)境中這一比例甚至高達(dá)90％，如果能夠?qū)⑷祟?lèi)視覺(jué)系統(tǒng)應(yīng)用到自動(dòng)駕駛領(lǐng)域，無(wú)疑將會(huì)大幅度提高自動(dòng)駕駛的準(zhǔn)確性。

針對(duì)這種情況，本發(fā)明提出的方法中，結(jié)合了單目視覺(jué)和雷達(dá)兩種數(shù)據(jù)實(shí)現(xiàn)車(chē)外場(chǎng)景精確感知。單目視覺(jué)利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的目標(biāo)檢測(cè)可擴(kuò)展性更高，不僅可以通過(guò)修改召回率獲得更多的目標(biāo)檢測(cè)結(jié)果從而避免雷達(dá)對(duì)部分障礙物無(wú)法識(shí)別的問(wèn)題，也可以通過(guò)不斷訓(xùn)練新模型，適應(yīng)不同交通場(chǎng)景，不斷增加可以識(shí)別的障礙物；借助毫米波雷達(dá)的精確數(shù)據(jù)，可以實(shí)現(xiàn)對(duì)單目視覺(jué)中攝像機(jī)參數(shù)的反向校正，提高測(cè)距測(cè)速算法精度，同時(shí)輔助單目視覺(jué)的目標(biāo)檢測(cè)。現(xiàn)有的車(chē)輛軌跡還原算法，其精度依賴(lài)于高質(zhì)量的數(shù)據(jù)，針對(duì)這種情況，本發(fā)明實(shí)現(xiàn)了二維和三維還原算法的融合，同時(shí)借助單目視覺(jué)數(shù)據(jù)和gps數(shù)據(jù)構(gòu)建的卡爾曼濾波器，實(shí)現(xiàn)對(duì)數(shù)據(jù)去噪和還原的結(jié)果的校正，軌跡還原結(jié)果的精度更高。

在還原得到的數(shù)據(jù)對(duì)基礎(chǔ)上可以研究實(shí)現(xiàn)面向復(fù)雜環(huán)境的自動(dòng)駕駛決策控制系統(tǒng)深度學(xué)習(xí)技術(shù)，從而使自動(dòng)駕駛系統(tǒng)通過(guò)數(shù)據(jù)驅(qū)動(dòng)的自學(xué)逐步形成良好的駕駛習(xí)慣，同時(shí)可以幫助改善司機(jī)駕駛習(xí)慣，也可以作為研發(fā)廠商制定發(fā)展戰(zhàn)略和有關(guān)部門(mén)政策制定和實(shí)施的重要借鑒依據(jù)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明解決的主要問(wèn)題是通過(guò)在車(chē)輛上布設(shè)的各類(lèi)傳感設(shè)備，采集存儲(chǔ)車(chē)輛在實(shí)際道路行駛過(guò)程中各種行車(chē)場(chǎng)景數(shù)據(jù)，利用統(tǒng)計(jì)分析、數(shù)據(jù)挖掘等大數(shù)據(jù)知識(shí)，從數(shù)據(jù)維度、車(chē)型維度、時(shí)間維度、地域維度等多角度，深入分析、比較用戶(hù)駕駛行為，發(fā)現(xiàn)駕駛行為共性和個(gè)性。利用基于深度學(xué)習(xí)的圖像場(chǎng)景理解，借助雷達(dá)數(shù)據(jù)進(jìn)一步對(duì)數(shù)據(jù)進(jìn)行標(biāo)注，還原車(chē)外交通場(chǎng)景，最終形成<交通場(chǎng)景，駕駛行為>的數(shù)據(jù)對(duì)?？朔F(xiàn)有還原技術(shù)數(shù)據(jù)源單一，較為依賴(lài)昂貴設(shè)備獲得高質(zhì)量數(shù)據(jù)，且還原精度較低的缺陷，提供一種基于多傳感數(shù)據(jù)實(shí)現(xiàn)對(duì)道路交通場(chǎng)景和司機(jī)駕駛行為的還原方法。

本發(fā)明技術(shù)解決方案：一種基于多傳感數(shù)據(jù)實(shí)現(xiàn)對(duì)道路交通場(chǎng)景和司機(jī)駕駛行為的還原方法，通過(guò)多傳感數(shù)據(jù)，多還原算法融合實(shí)現(xiàn)了道路交通場(chǎng)景和司機(jī)駕駛行為的精確還原，具體包括：多源數(shù)據(jù)相互校正實(shí)現(xiàn)車(chē)輛行駛軌跡精確還原；基于單目視覺(jué)和毫米波雷達(dá)實(shí)現(xiàn)對(duì)障礙物速度和距離的精確測(cè)量；多源數(shù)據(jù)融合生成<道路交通場(chǎng)景，駕駛行為>數(shù)據(jù)對(duì)。

具體實(shí)現(xiàn)如下：

(1)以陀螺儀、加速度計(jì)、gps數(shù)據(jù)為基礎(chǔ)，單目攝像頭數(shù)據(jù)作為輔助，將二維和三維還原算法相結(jié)合，進(jìn)行g(shù)ps數(shù)據(jù)和陀螺儀加速度計(jì)數(shù)據(jù)之間的相互校正，做到車(chē)輛行駛軌跡的精確還原，得到車(chē)輛的行駛軌跡；

(2)在can總線數(shù)據(jù)和obd數(shù)據(jù)的基礎(chǔ)上，還原司機(jī)在各種場(chǎng)景下的具體操作，包括打燈、方向盤(pán)控制、油門(mén)和剎車(chē)控制；

(3)借助單目攝像頭和雷達(dá)，利用卷積神經(jīng)網(wǎng)絡(luò)，完成對(duì)車(chē)外交通參與物的目標(biāo)檢測(cè)，得到車(chē)輛周邊障礙物的種類(lèi)；

(4)借助單目攝像頭數(shù)據(jù)，利用幾何關(guān)系法，實(shí)現(xiàn)對(duì)障礙物距離的粗測(cè)量，借助毫米波雷達(dá)數(shù)據(jù)，獲取障礙物與本車(chē)的精確距離，并在此距離的基礎(chǔ)上反向?qū)z像機(jī)參數(shù)的標(biāo)定，同時(shí)借助車(chē)道線平行的關(guān)系也可標(biāo)定攝像機(jī)俯仰角，兩種標(biāo)定結(jié)果相互驗(yàn)證，得到準(zhǔn)確的攝像機(jī)俯仰角，用于其他障礙物距離測(cè)量，最終得到車(chē)輛周邊障礙物與本車(chē)的精確距離；

(5)以單目攝像頭數(shù)據(jù)為基礎(chǔ)實(shí)現(xiàn)對(duì)車(chē)輛前方單向車(chē)道內(nèi)障礙物速度的測(cè)量，以毫米波雷達(dá)為基礎(chǔ)，對(duì)前方單向車(chē)道之外的交通參與物的速度測(cè)量，得到車(chē)輛周邊障礙物與本車(chē)的相對(duì)速度；

(6)將步驟(1)得到的車(chē)輛行駛軌跡，步驟(2)得到的司機(jī)具體操作行為，步驟(3)得到的障礙物的種類(lèi)，步驟(4)得到的障礙物與本車(chē)的距離，步驟(5)得到的障礙物與本車(chē)的相對(duì)速度進(jìn)行多還原結(jié)果的融合，生成<交通場(chǎng)景，駕駛行為>數(shù)據(jù)對(duì)，所述交通場(chǎng)景指：車(chē)輛周邊各種交通參與物的種類(lèi)，包括行人、車(chē)輛、騎自行車(chē)的人、交通標(biāo)志；交通參與物的狀態(tài)，包括運(yùn)動(dòng)物體的距離和相對(duì)速度，道路的拓?fù)湫畔ⅲ煌?biāo)志；所述駕駛行為指司機(jī)在車(chē)內(nèi)的具體操作，包括打燈，方向盤(pán)控制，油門(mén)和剎車(chē)控制及車(chē)輛行駛軌跡。

所述步驟(1)具體實(shí)現(xiàn)下：

(11)在三維尺度上，解析車(chē)輛坐標(biāo)系相對(duì)參考坐標(biāo)系之間的方位關(guān)系，解析車(chē)輛坐標(biāo)系相對(duì)參考坐標(biāo)系之間的方位關(guān)系采用四元數(shù)法，將四元數(shù)法與kalman濾波算法相結(jié)合，提高sins的姿態(tài)解算精度和實(shí)時(shí)性；

(12)借助單目視覺(jué)數(shù)據(jù)和gps數(shù)據(jù)構(gòu)建的卡爾曼濾波器，實(shí)現(xiàn)對(duì)數(shù)據(jù)去噪和還原的結(jié)果的校正，得到更加精確的車(chē)輛行駛軌跡。

所述步驟(2)具體實(shí)現(xiàn)下：

基于can總線和obd接口可以獲取到的各種行車(chē)信息，包括速度、油耗、方向盤(pán)、轉(zhuǎn)向燈、油門(mén)、剎車(chē)踏板，這些數(shù)據(jù)被終端上傳到服務(wù)器，利用統(tǒng)計(jì)分析、數(shù)據(jù)挖掘的大數(shù)據(jù)知識(shí)，還原司機(jī)如何通過(guò)對(duì)方向盤(pán)、剎車(chē)踏板、油門(mén)踏板、轉(zhuǎn)向燈、其他燈光的操作來(lái)控制車(chē)輛行駛，將每一個(gè)具體操作都標(biāo)記上對(duì)應(yīng)時(shí)間，方便與后續(xù)與其他數(shù)據(jù)進(jìn)行融合。

所述步驟(3)具體實(shí)現(xiàn)下：

(31)借助faster-rcnn卷積神經(jīng)網(wǎng)絡(luò)，把目標(biāo)檢測(cè)的四個(gè)步驟，即候選區(qū)域生成，特征提取，分類(lèi)和boundingbox回歸，統(tǒng)一到一個(gè)深度網(wǎng)絡(luò)框架之內(nèi)，實(shí)現(xiàn)對(duì)視野內(nèi)交通參與物的目標(biāo)檢測(cè)，用對(duì)應(yīng)矩形框標(biāo)出，并得到置信度；

(32)毫米波雷達(dá)識(shí)別得到車(chē)輛周邊障礙物，并記錄下對(duì)應(yīng)時(shí)間。

所述步驟(4)具體實(shí)現(xiàn)下：

(41)根據(jù)攝像機(jī)投影模型，通過(guò)幾何推導(dǎo)來(lái)得到路面坐標(biāo)系和圖像坐標(biāo)系之間的關(guān)系，攝像機(jī)拍攝得到的路平面是梯形區(qū)域，對(duì)應(yīng)平面坐標(biāo)系中的平面區(qū)域，路面坐標(biāo)系與平面坐標(biāo)系之間的點(diǎn)一一對(duì)應(yīng)；

(42)分別求取障礙物矩形框底邊的圖像平面坐標(biāo)和圖像平面底邊中點(diǎn)的圖像平面坐標(biāo)，并通過(guò)幾何關(guān)系推導(dǎo)為路面平面坐標(biāo)；

(43)將步驟(42)中得到的兩個(gè)路面坐標(biāo)套用兩點(diǎn)距離公式，得到兩點(diǎn)之間的距離；

(44)利用毫米波雷達(dá)實(shí)現(xiàn)對(duì)某一障礙物距離的精確測(cè)量，通過(guò)幾何關(guān)系推導(dǎo)法反向求解，對(duì)攝像機(jī)參數(shù)重新進(jìn)行標(biāo)定，攝像機(jī)參數(shù)是指攝像機(jī)俯仰角，求得準(zhǔn)確的攝像機(jī)俯仰角；

(45)同時(shí)，利用機(jī)器視覺(jué)算法來(lái)獲得圖像平面中車(chē)道標(biāo)志線，再利用兩點(diǎn)確定一條直線的方法，確定圖像中車(chē)道標(biāo)志線所對(duì)應(yīng)道路平面上的直線，由兩條直線平行的關(guān)系求解攝像機(jī)俯仰角；

(46)將步驟(44)、(45)得到的攝像機(jī)參數(shù)相互驗(yàn)證，實(shí)時(shí)求解得到精確地?cái)z像機(jī)俯仰角，用于其他障礙物距離的測(cè)量中，得到障礙物與本車(chē)的精確距離。

所述步驟(5)具體實(shí)現(xiàn)下：

(51)采用權(quán)利要求1步驟(4)的方不，得到前方車(chē)輛在第n幀圖像與第n+k幀圖像時(shí)，與本車(chē)的兩個(gè)距離s1，s2；

(52)根據(jù)本車(chē)車(chē)速，第n幀圖像與第n+k幀圖像之間的時(shí)間差t，計(jì)算出本車(chē)行駛的距離s3；

(53)計(jì)算前車(chē)行駛距離s＝s2+s3-s1；

(54)計(jì)算車(chē)速v＝s/t；對(duì)于不在車(chē)輛前向車(chē)道內(nèi)的交通參與物，速度的測(cè)量依靠毫米波雷達(dá)，最終得到車(chē)輛周邊障礙物與本車(chē)的相對(duì)速度。

所述步驟(6)具體實(shí)現(xiàn)下：

(61)將得到的車(chē)輛行駛軌跡，司機(jī)具體操作行為，周邊障礙物的種類(lèi)，障礙物的與本車(chē)的距離，障礙物與本車(chē)的相對(duì)速度分別進(jìn)行時(shí)間標(biāo)記；

(62)將上述還原結(jié)果，以時(shí)間作為唯一主鍵進(jìn)行連接，時(shí)間相同的數(shù)據(jù)融合在一起，形成<交通場(chǎng)景，駕駛行為>數(shù)據(jù)對(duì)。

本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于：

本發(fā)明提出的基于多傳感數(shù)據(jù)的交通場(chǎng)景還原方法，可以最終形成<交通場(chǎng)景，駕駛行為>的數(shù)據(jù)對(duì)，且還原精度較高。

在車(chē)輛軌跡還原中，實(shí)現(xiàn)了二維和三維還原算法的融合，同時(shí)借助單目視覺(jué)數(shù)據(jù)和gps數(shù)據(jù)構(gòu)建的卡爾曼濾波器，實(shí)現(xiàn)對(duì)數(shù)據(jù)去噪和還原的結(jié)果的校正，軌跡還原結(jié)果的精度更高。在目標(biāo)檢測(cè)和障礙物距離速度的測(cè)量中，同時(shí)利用了單目視覺(jué)和毫米波雷達(dá)，一方面，單目視覺(jué)利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的目標(biāo)檢測(cè)可擴(kuò)展性更高，不僅可以通過(guò)修改召回率獲得更多的目標(biāo)檢測(cè)結(jié)果從而避免雷達(dá)對(duì)部分障礙物無(wú)法識(shí)別的問(wèn)題，也可以通過(guò)不斷訓(xùn)練新模型，適應(yīng)不同交通場(chǎng)景，不斷增加可以識(shí)別的障礙物；另一方面，借助毫米波雷達(dá)的精確數(shù)據(jù)，可以實(shí)現(xiàn)對(duì)單目視覺(jué)中攝像機(jī)參數(shù)的反向校正，提高測(cè)距測(cè)速算法精度。

同時(shí)，在還原得到的數(shù)據(jù)對(duì)基礎(chǔ)上可以研究實(shí)現(xiàn)面向復(fù)雜環(huán)境的自動(dòng)駕駛決策控制系統(tǒng)深度學(xué)習(xí)技術(shù)，從而使自動(dòng)駕駛系統(tǒng)通過(guò)數(shù)據(jù)驅(qū)動(dòng)的自學(xué)逐步形成良好的駕駛習(xí)慣，生成符合中國(guó)交通特點(diǎn)和駕駛習(xí)慣的動(dòng)態(tài)響應(yīng)與自主決策能力，提升自動(dòng)駕駛的安全性與有效性；可以幫助改善司機(jī)駕駛習(xí)慣；也可以作為研發(fā)廠商制定發(fā)展戰(zhàn)略和有關(guān)部門(mén)政策制定和實(shí)施的重要借鑒依據(jù)。

附圖說(shuō)明

圖1為本發(fā)明方法的原理圖；

圖2為本發(fā)明中的軌跡還原流程圖；

圖3為本發(fā)明中攝像機(jī)投影模型，其中上圖為投影關(guān)系，下圖為投影平面。

具體實(shí)施方式

如圖1所示，在駕駛過(guò)程中，司機(jī)一系列操作的做出，是依據(jù)當(dāng)時(shí)周邊的交通情況，如周邊主要交通參與物的運(yùn)動(dòng)狀態(tài)，交通標(biāo)志，交通信號(hào)燈，天氣情況，道路情況等。本發(fā)明的功能主要在于：基于can總線、obd、陀螺儀、加速度計(jì)、gps/bd、毫米波雷達(dá)和單目攝像頭等多傳感器數(shù)據(jù)，實(shí)現(xiàn)對(duì)車(chē)外道路交通場(chǎng)景的還原和司機(jī)駕駛行為的還原，形成<交通場(chǎng)景，駕駛行為>數(shù)據(jù)對(duì)。交通場(chǎng)景主要包括：車(chē)輛周邊各種交通參與物的種類(lèi)，如行人、車(chē)輛、騎自行車(chē)的人、交通標(biāo)志；交通參與物的狀態(tài)，如運(yùn)動(dòng)物體的距離和相對(duì)速度，道路的拓?fù)湫畔?，交通?biāo)志。司機(jī)駕駛行為主要包括：司機(jī)在車(chē)內(nèi)的具體操作，如打燈，方向盤(pán)控制，油門(mén)和剎車(chē)控制，以及車(chē)輛行駛軌跡。

1.車(chē)輛行駛軌跡還原

(1)在三維尺度上，解析車(chē)輛坐標(biāo)系相對(duì)參考坐標(biāo)系之間的方位關(guān)系。目前，sins中描述載體運(yùn)動(dòng)坐標(biāo)系相對(duì)參考坐標(biāo)系之間方位關(guān)系的方法主要有歐拉角法、方向余弦法、三角函數(shù)法、rodrigues參數(shù)法、四元數(shù)法和等效旋轉(zhuǎn)矢量法，將重點(diǎn)放在四元數(shù)法上面，并將四元數(shù)法與kalman濾波算法相結(jié)合，提高sins的姿態(tài)解算精度和實(shí)時(shí)性；

(2)借助單目視覺(jué)數(shù)據(jù)和gps數(shù)據(jù)構(gòu)建的卡爾曼濾波器，實(shí)現(xiàn)對(duì)數(shù)據(jù)去噪和還原的結(jié)果的校正，得到更加精確的車(chē)輛行駛軌跡。

2.基于can總線和obd數(shù)據(jù)分析司機(jī)駕駛行為

基于can總線和obd接口可以獲取到的各種行車(chē)信息，如速度、油耗、方向盤(pán)、轉(zhuǎn)向燈、油門(mén)、剎車(chē)踏板等，這些數(shù)據(jù)可以被終端上傳到服務(wù)器，利用統(tǒng)計(jì)分析、數(shù)據(jù)挖掘等大數(shù)據(jù)知識(shí)，還原司機(jī)如何通過(guò)對(duì)方向盤(pán)、剎車(chē)踏板、油門(mén)踏板、轉(zhuǎn)向燈、其他燈光等的操作來(lái)控制車(chē)輛行駛。將每一個(gè)具體操作都標(biāo)記上對(duì)應(yīng)時(shí)間，方便與后續(xù)與其他數(shù)據(jù)進(jìn)行融合。

3.基于單目機(jī)器視覺(jué)和毫米波雷達(dá)實(shí)現(xiàn)對(duì)距離的精確測(cè)量

(1)借助faster-rcnn卷積神經(jīng)網(wǎng)絡(luò)，把目標(biāo)檢測(cè)的四個(gè)步驟(候選區(qū)域生成，特征提取，分類(lèi)和boundingbox回歸)統(tǒng)一到一個(gè)深度網(wǎng)絡(luò)框架之內(nèi)，實(shí)現(xiàn)對(duì)視野內(nèi)交通參與物的目標(biāo)檢測(cè)，用對(duì)應(yīng)矩形框標(biāo)出；

(2)根據(jù)攝像機(jī)投影模型，通過(guò)幾何推導(dǎo)來(lái)得到路面坐標(biāo)系和圖像坐標(biāo)系之間的關(guān)系。如圖3所示。在圖3上圖中，平面abu代表路平面，abcd為攝像機(jī)拍攝到的路平面上的梯形區(qū)域，o點(diǎn)為攝像機(jī)鏡頭中心點(diǎn)，og為攝像機(jī)光軸，g點(diǎn)為攝像機(jī)光軸和路平面的交點(diǎn)，i點(diǎn)為o點(diǎn)在路平面上的垂直投影。在路面坐標(biāo)系中，將g點(diǎn)定義為坐標(biāo)原點(diǎn)，車(chē)輛前進(jìn)方向定義為y軸方向。gabcd各點(diǎn)在圖像平面內(nèi)的對(duì)應(yīng)點(diǎn)如圖3下圖所示，abcd為像平面矩形的四個(gè)端點(diǎn)，h和w分別為像平面的高和寬。定義圖像矩形的中點(diǎn)g為像平面坐標(biāo)系的坐標(biāo)原點(diǎn)，y軸代表車(chē)輛前進(jìn)方向；

(3)分別求取障礙物矩形框底邊的圖像平面坐標(biāo)和圖像平面底邊中點(diǎn)的圖像平面坐標(biāo)，并通過(guò)幾何關(guān)系推導(dǎo)為路面平面坐標(biāo)；

(4)將(3)中得到的兩個(gè)路面坐標(biāo)套用兩點(diǎn)距離公式，得到兩點(diǎn)之間的距離；

(5)利用毫米波雷達(dá)實(shí)現(xiàn)對(duì)某一障礙物距離的精確測(cè)量，通過(guò)幾何關(guān)系推導(dǎo)法反向求解，對(duì)攝像機(jī)參數(shù)重新進(jìn)行標(biāo)定，攝像機(jī)參數(shù)是指攝像機(jī)俯仰角，求得準(zhǔn)確的攝像機(jī)俯仰角；

(6)同時(shí)，在實(shí)際道路環(huán)境中，由于標(biāo)志線是平行線，故可以先利用機(jī)器視覺(jué)算法來(lái)獲得圖像平面中車(chē)道標(biāo)志線，再利用兩點(diǎn)確定一條直線的方法，確定圖像中車(chē)道標(biāo)志線所對(duì)應(yīng)道路平面上的直線，由兩條直線平行的關(guān)系求解攝像機(jī)俯仰角，而一直不是采用初始化時(shí)標(biāo)定好的攝像機(jī)俯仰角；

(7)將步驟(5)、(6)得到的攝像機(jī)參數(shù)相互驗(yàn)證，實(shí)時(shí)求解得到精確地?cái)z像機(jī)俯仰角，用于其他障礙物距離的測(cè)量中，得到障礙物與本車(chē)的精確距離。

4.基于單目機(jī)器視覺(jué)和毫米波雷達(dá)實(shí)現(xiàn)對(duì)速度的精確測(cè)量

通過(guò)拍攝前方運(yùn)動(dòng)物體運(yùn)動(dòng)圖像序列，然后對(duì)這些圖像序列使用圖像處理以及視覺(jué)測(cè)量技術(shù)進(jìn)行分析，計(jì)算測(cè)量得到前方物體在兩幀圖像之間的實(shí)時(shí)位移，進(jìn)而計(jì)算得到物體實(shí)時(shí)運(yùn)動(dòng)速度。

(1)通過(guò)步驟3中的測(cè)距方法，得到前方車(chē)輛在第n幀圖像與第n+k幀圖像時(shí)，與本車(chē)的兩個(gè)距離s1，s2；

(2)根據(jù)本車(chē)車(chē)速，第n幀圖像與第n+k幀圖像之間的時(shí)間差t，計(jì)算出本車(chē)行駛的距離s3；

(3)計(jì)算前車(chē)行駛距離s＝s2+s3-s1；

(4)計(jì)算車(chē)速v＝s/t。

(5)借助毫米波雷達(dá)，獲取準(zhǔn)確速度值，用來(lái)修正單目視覺(jué)速度測(cè)量算法中的時(shí)間偏差和距離偏差，同時(shí)實(shí)現(xiàn)對(duì)不在車(chē)輛前向車(chē)道內(nèi)的交通參與物的速度的測(cè)量，最終得到車(chē)輛周邊障礙物與本車(chē)的相對(duì)速度。

5.數(shù)據(jù)融合，生成<交通場(chǎng)景，駕駛行為數(shù)據(jù)>數(shù)據(jù)對(duì)。

(1)將得到的車(chē)輛行駛軌跡，司機(jī)具體操作行為，周邊障礙物的種類(lèi)，障礙物的與本車(chē)的距離，障礙物與本車(chē)的相對(duì)速度分別進(jìn)行時(shí)間標(biāo)記；

(2)將上述還原結(jié)果，以時(shí)間作為唯一主鍵進(jìn)行連接，時(shí)間相同的數(shù)據(jù)融合在一起，形成<交通場(chǎng)景，駕駛行為>數(shù)據(jù)對(duì)。

提供以上實(shí)施例僅僅是為了描述本發(fā)明的目的，而并非要限制本發(fā)明的范圍。本發(fā)明的范圍由所附權(quán)利要求限定。不脫離本發(fā)明的精神和原理而做出的各種等同替換和修改，均應(yīng)涵蓋在本發(fā)明的范圍之內(nèi)。