本專利屬于交通工程領(lǐng)域，涉及一種基于視頻處理技術(shù)的公路交通狀態(tài)監(jiān)測(cè)系統(tǒng)。

背景技術(shù)：

道路網(wǎng)實(shí)時(shí)交通狀態(tài)監(jiān)測(cè)是交通管理中必不可少的一部分。隨著道路網(wǎng)不斷的增加視頻監(jiān)控設(shè)備，單純靠人工去觀察監(jiān)控已經(jīng)遠(yuǎn)遠(yuǎn)無法滿足視頻圖像的海量增長(zhǎng)。目前，多數(shù)大城市的交通監(jiān)控中心已經(jīng)接入了超過上千路甚至萬路的視頻圖像，而監(jiān)控人員數(shù)量有限，難以對(duì)這些視頻圖像進(jìn)行人工實(shí)時(shí)監(jiān)控。

目前，交通視頻監(jiān)控系統(tǒng)多采用將視頻攝像機(jī)拍攝的實(shí)時(shí)圖像直接顯示在監(jiān)視器(墻)上，為了讓監(jiān)控人員能夠明白監(jiān)控圖像所在的地理位置和方向，僅在圖像上增加地理位置和方向的文字表達(dá)，而不對(duì)實(shí)時(shí)視頻圖像做任何的處理。這樣的顯示方式并不能直觀地表達(dá)出監(jiān)控道路的地理位置和方向，監(jiān)控人員很難以常用的“上北下南左西右東”地圖顯示規(guī)則進(jìn)行監(jiān)視。另外，當(dāng)接入監(jiān)控視頻路數(shù)大于監(jiān)視器墻上監(jiān)視器的數(shù)量時(shí)，無法將全部的監(jiān)控視頻同時(shí)在監(jiān)視器墻上進(jìn)行集中顯示，監(jiān)控人員難以有效監(jiān)視路網(wǎng)的交通狀態(tài)。

另外，現(xiàn)有的交通狀態(tài)監(jiān)測(cè)系統(tǒng)，多采用固定檢測(cè)器(磁感應(yīng)線圈、微波檢測(cè)器)采集時(shí)間平均速度和流量，再將交通狀態(tài)以紅黃綠的方式顯示在地圖上。這里需要強(qiáng)調(diào)的是，在地圖上以顏色顯示的速 度是空間平均速度，無法由固定檢測(cè)器直接采集。然而，通過視頻圖像處理技術(shù)能夠自動(dòng)分析視頻數(shù)據(jù)，從中自動(dòng)提取出車輛的空間平均速度、流量等重要信息，進(jìn)而提取出交通狀況信息。

因此，利用視頻處理技術(shù)，能夠在交通視頻監(jiān)測(cè)系統(tǒng)中提供一套直觀、完整的路網(wǎng)交通狀態(tài)實(shí)時(shí)視頻監(jiān)控系統(tǒng)，有效地及時(shí)發(fā)現(xiàn)路網(wǎng)中發(fā)生的各種異常交通現(xiàn)象。

專利內(nèi)容

本專利目的在于提供一套路網(wǎng)交通狀態(tài)視頻監(jiān)測(cè)系統(tǒng)，以完整、全面、實(shí)時(shí)、直觀地顯示出路網(wǎng)交通的狀態(tài)，方便監(jiān)控人員觀察和監(jiān)控。此外，也可以實(shí)時(shí)從視頻中提取交通狀態(tài)信息給公眾出行者，從而優(yōu)化他們的路徑選擇，有利于緩解整個(gè)交通系統(tǒng)壓力，也有利于交通資源的有效使用。

為了解決上述問題，本專利采用如下技術(shù)方案：

一種基于視頻處理技術(shù)的公路交通狀態(tài)監(jiān)測(cè)系統(tǒng)，包括攝像機(jī)視頻信息獲取模塊，從道路監(jiān)控?cái)z像機(jī)中獲得視頻信息，并對(duì)獲取的信息進(jìn)行傳輸與存儲(chǔ)；其特征在于，還包括：

交通狀態(tài)提取模塊，提取攝像機(jī)視頻信息獲取模塊中車輛與車流信息，并對(duì)交通狀態(tài)進(jìn)行判斷，識(shí)別出監(jiān)測(cè)道路的實(shí)時(shí)交通狀況；

視角轉(zhuǎn)換模塊，將攝像機(jī)視頻信息獲取模塊中視頻信息的視角統(tǒng)一轉(zhuǎn)換為垂直視角；

視頻拼接模塊，將攝像機(jī)視頻信息獲取模塊中的視頻信息拼接為全景拼接圖；

三維重建模塊，將攝像機(jī)視頻信息獲取模塊中獲取的兩個(gè)或多個(gè)攝像機(jī)的二維信號(hào)進(jìn)行三維重建；

以及，多層次顯示模塊，包括路段交通視頻實(shí)時(shí)顯示模式、路網(wǎng)交通狀態(tài)全景顯示模式、路網(wǎng)交通狀態(tài)三維動(dòng)畫顯示模式。

攝像機(jī)視頻信息獲取模塊中的道路監(jiān)控?cái)z像機(jī)采用現(xiàn)有的道路監(jiān)控?cái)z像機(jī)，或在需要重點(diǎn)監(jiān)控地點(diǎn)的不同位置增設(shè)監(jiān)控?cái)z像機(jī)。

交通狀態(tài)提取模塊中，將攝像機(jī)視頻信息獲取模塊中車輛與車流的流量、密度、速度進(jìn)行提取，并利用模糊識(shí)別算法結(jié)合交通流理論進(jìn)行交通狀態(tài)判斷，識(shí)別出監(jiān)測(cè)道路的實(shí)時(shí)交通狀態(tài)。

交通狀態(tài)提取模塊中，首先對(duì)攝像機(jī)視頻信息獲取模塊中采集的每一幀視頻流數(shù)據(jù)進(jìn)行預(yù)處理，再初步判斷出道路交通狀況的稀疏程度；對(duì)于車流較稀疏的情況，對(duì)車輛進(jìn)行檢測(cè)與跟蹤，若路面背景簡(jiǎn)單，利用背景提取模塊進(jìn)行計(jì)算，若路面背景復(fù)雜，利用動(dòng)態(tài)背景提取模塊進(jìn)行計(jì)算；對(duì)于車流較密集的情況，采用運(yùn)動(dòng)場(chǎng)估計(jì)模塊，得到運(yùn)動(dòng)流場(chǎng)；并最終得到交通狀況數(shù)據(jù)。

路段交通視頻實(shí)時(shí)顯示模式包括路段單路視頻顯示、路段多路視頻拼接顯示和路口多路視頻拼接顯示模式。

路段交通視頻顯示模式顯示的圖像在圖像顯示裝置中均為“上北、下南、左西、右東”的顯示方式，并且視角為垂直俯視角度。

路網(wǎng)交通狀態(tài)全景顯示采用不同顏色表征不同交通狀態(tài)，并將其疊加在全路網(wǎng)電子地圖上。

一種采用路網(wǎng)交通狀態(tài)監(jiān)測(cè)系統(tǒng)進(jìn)行路網(wǎng)交通狀態(tài)監(jiān)測(cè)的方法， 其特征在于，采用攝像機(jī)視頻信息獲取模塊，從道路監(jiān)控?cái)z像機(jī)中獲得視頻信息，并對(duì)獲取的信息進(jìn)行傳輸與存儲(chǔ)；

采用交通狀態(tài)提取模塊，提取攝像機(jī)視頻信息獲取模塊中車輛與車流信息，并對(duì)交通狀態(tài)進(jìn)行判斷，識(shí)別出監(jiān)測(cè)道路的實(shí)時(shí)交通狀況；

采用視角轉(zhuǎn)換模塊，將攝像機(jī)視頻信息獲取模塊中視頻信息的視角統(tǒng)一轉(zhuǎn)換為垂直視角；

采用視頻拼接模塊，將攝像機(jī)視頻信息獲取模塊中的視頻信息拼接為全景拼接圖；

采用三維重建模塊，將攝像機(jī)視頻信息獲取模塊中獲取的兩個(gè)或多個(gè)攝像機(jī)的二維信號(hào)進(jìn)行三維重建；

以及，在多層次顯示模塊中，根據(jù)不同需求選擇路段交通視頻實(shí)時(shí)顯示模式、路網(wǎng)交通狀態(tài)全景顯示模式或路網(wǎng)交通狀態(tài)三維動(dòng)畫顯示模式對(duì)路網(wǎng)交通狀態(tài)進(jìn)行監(jiān)測(cè)。

本專利采用上述技術(shù)方案，能夠有效解決接入監(jiān)控后中心的視頻路數(shù)大于監(jiān)視器數(shù)量，從而導(dǎo)致無法同時(shí)顯示全部監(jiān)控視頻圖像的問題；有效解決直接顯示視頻監(jiān)控圖像，監(jiān)控人員難以對(duì)全部監(jiān)控圖像所在的地理位置和方向有直觀的理解的問題；有效地從視頻圖像直接獲得多級(jí)交通狀態(tài)信息，進(jìn)行路網(wǎng)交通狀態(tài)的展示，便于監(jiān)控人員對(duì)路網(wǎng)的交通狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)視。通過信息發(fā)布協(xié)助交通出行者了解交通狀況和優(yōu)化選擇路徑。

附圖說明

圖1為本專利基于視頻圖像處理技術(shù)的路網(wǎng)交通狀態(tài)監(jiān)測(cè)系統(tǒng) 結(jié)構(gòu)示意圖；

圖2為視頻交通信息提取算法模塊；

圖3為基于背景模板的前景檢測(cè)系統(tǒng)示意圖；

圖4為車輛角點(diǎn)及運(yùn)動(dòng)場(chǎng)估計(jì)效果示意圖；

圖5為多視頻拼接流程圖；

圖6為多(雙)攝像頭三維重建示意圖；

圖7為單攝像機(jī)架設(shè)方式及新型視頻顯示方式和傳統(tǒng)視頻顯示方式比較圖；

圖8為雙攝像頭架設(shè)方式及新型視頻顯示方式和傳統(tǒng)視頻顯示方式比較圖；

圖9為多攝像頭架設(shè)方式及新型視頻顯示方式和傳統(tǒng)視頻顯示方式比較圖；

圖10為攝像機(jī)架設(shè)方式和新型視頻顯示及總體交通狀態(tài)示意圖。

具體實(shí)施方式

視頻監(jiān)測(cè)系統(tǒng)包括兩部分，一為監(jiān)測(cè)前端，二為管理后臺(tái)。在需要監(jiān)視的地方安裝視頻攝像機(jī)，一般稱作為監(jiān)測(cè)前端。監(jiān)測(cè)前端功能包括采集以及對(duì)視頻進(jìn)行編碼處理。然后通過視頻電纜線或者網(wǎng)絡(luò)將視頻數(shù)據(jù)發(fā)送到監(jiān)控中心，該端一般稱作為視頻監(jiān)測(cè)管理后臺(tái)。管理后臺(tái)負(fù)責(zé)將接收到的視頻數(shù)據(jù)解碼并顯示，從而達(dá)到實(shí)時(shí)監(jiān)測(cè)的效果。

本專利側(cè)重在管理后臺(tái)，其整體系統(tǒng)結(jié)構(gòu)模塊見圖1，該系統(tǒng)主要由攝像機(jī)視頻信息獲取模塊、交通狀態(tài)提取模塊、視頻拼接模塊、視角轉(zhuǎn)換模塊、3D重建模塊和多層次顯示模塊組成。

1.攝像機(jī)視頻信息獲取模塊

攝像機(jī)視頻信息獲取模塊從道路監(jiān)控?cái)z像機(jī)中獲得視頻信息，并對(duì)獲取的信息進(jìn)行存儲(chǔ)。其中，道路監(jiān)控?cái)z像機(jī)可以采用城市道路、高速公路、國(guó)省干線公路、縣鄉(xiāng)道路等現(xiàn)有的監(jiān)控?cái)z像機(jī)。需要重點(diǎn)監(jiān)控的地點(diǎn)、路段，可以在不同位置增加安裝多個(gè)攝像機(jī)，以更為全面、準(zhǔn)確地提供該地點(diǎn)、路段的交通狀況。監(jiān)控?cái)z像機(jī)通過視頻電纜線或者網(wǎng)絡(luò)接入到監(jiān)控中心后，為便于集中管理，將全部監(jiān)控?cái)z像機(jī)的屬性進(jìn)行標(biāo)記，如位置、俯仰角、方位角、視頻格式、分辨率等。

交通狀態(tài)提取模塊

交通狀態(tài)提取模塊能夠自動(dòng)將視頻數(shù)據(jù)中車輛與車流(車隊(duì))的流量、密度、速度進(jìn)行提取，并利用模糊識(shí)別算法結(jié)合交通流理論進(jìn)行交通狀態(tài)判斷，識(shí)別出監(jiān)測(cè)道路的實(shí)時(shí)交通狀態(tài)，采用不同的顏色代表交通狀態(tài)，并在顯示器上展示路網(wǎng)交通狀態(tài)。

交通狀態(tài)提取模塊的處理流程如圖2所示。為了增強(qiáng)交通狀態(tài)提取的魯棒性和適應(yīng)性,對(duì)不同的交通狀況采取不同的視頻圖像處理技術(shù)。當(dāng)實(shí)時(shí)采集的視頻流數(shù)據(jù)輸入交通狀態(tài)提取模塊時(shí)，首先通過預(yù)處理模塊對(duì)每一幀數(shù)據(jù)進(jìn)行預(yù)處理，對(duì)圖像進(jìn)行增強(qiáng)，補(bǔ)償視頻圖像在采集、編碼、傳輸中受到的背景噪聲等原因干擾而造成的失真；通過提取基本的視頻運(yùn)動(dòng)信息，如運(yùn)動(dòng)物體檢測(cè)和車輛特征點(diǎn)檢測(cè)，初步判斷出交通流的稀疏程度，并且依據(jù)稀疏程度進(jìn)行進(jìn)一步處理。

如果車流較稀疏，則對(duì)經(jīng)過該路段的單個(gè)車輛進(jìn)行識(shí)別跟蹤，獲得路段的車輛總數(shù)、密度，每輛車的速度、位置。對(duì)每一個(gè)攝像機(jī)的 視頻畫面，可以對(duì)路面進(jìn)行標(biāo)記，通過背景計(jì)算得到背景信息變化不大的路面，可以采用簡(jiǎn)單的路面背景建模，利用背景提取方法進(jìn)行計(jì)算；如果路面狀況變化比較大的地方(如果光線因素影響等)，采用動(dòng)態(tài)背景建模方式對(duì)路面背景進(jìn)行建模，利用動(dòng)態(tài)背景提取模塊進(jìn)行計(jì)算。通過建立的路面模型，對(duì)路面上的前景目標(biāo)進(jìn)行檢測(cè)，檢測(cè)出路段的車輛總數(shù)、密度、每輛車的速度、位置等。

如果車流較密集，車輛之間遮擋情況比較嚴(yán)重，則通過獲取車輛的特征點(diǎn)信息并且進(jìn)行運(yùn)動(dòng)估計(jì)，得到道路上車隊(duì)的總體運(yùn)動(dòng)場(chǎng)信息，從而獲得車流的密度、速度信息。通過適當(dāng)?shù)膱D像學(xué)操作，如將圖像對(duì)象的邊界添加像素的操作(膨脹操作)，將圖像對(duì)象的邊緣的某些像素刪除的操作(腐蝕操作)可以得到路面運(yùn)動(dòng)物體團(tuán)塊。

背景提取方法

對(duì)于簡(jiǎn)單的背景，采用背景差分法提取背景，算法流程如圖3所示。先將當(dāng)前的視頻幀圖像從三通道的彩色圖像轉(zhuǎn)換為灰度單通道圖像，然后與前背景圖像相減，在得到的差值圖像中做以下判斷：如果差值圖像中的點(diǎn)大于設(shè)定的閾值T，則認(rèn)為該點(diǎn)為前景點(diǎn)，反之，則為背景點(diǎn)，并且利用當(dāng)前圖像信息更新背景圖中相應(yīng)點(diǎn)的信息。在以上分析中，背景圖像是動(dòng)態(tài)變化的，也可以采用當(dāng)前幀圖像的α倍加上以前背景圖像的β倍由實(shí)際路面情況確定，每處理一幀則將背景更新一次。

對(duì)于復(fù)雜的背景，采用自適應(yīng)混合高斯背景提取模型，根據(jù)視頻中的每個(gè)像素在時(shí)間域上的分布情況來構(gòu)建各個(gè)像素的灰度分布模 型，采用K個(gè)高斯函數(shù)的加權(quán)和來描述像素灰度值的多峰分布。而每個(gè)像素的相應(yīng)的高斯分布的均值和方差參數(shù)，可以通過期望最大化算法來求取算法。相應(yīng)模型獲得后可以按照?qǐng)D3流程來進(jìn)行前景目標(biāo)檢測(cè)和背景更新。

(2)運(yùn)動(dòng)場(chǎng)計(jì)算

運(yùn)動(dòng)場(chǎng)的計(jì)算采用光流估計(jì)方法。光流是空間運(yùn)動(dòng)物體在觀測(cè)成像面上的像素運(yùn)動(dòng)的瞬時(shí)速度。光流利用圖像序列中的像素強(qiáng)度數(shù)據(jù)的時(shí)域變化和相關(guān)性來確定各自像素位置的“運(yùn)動(dòng)”。傳統(tǒng)的光流檢測(cè)法具有很好的魯棒性，但是對(duì)硬件的計(jì)算性能要求較高，本專利采用改進(jìn)型類光流方法來計(jì)算車輛的運(yùn)動(dòng)場(chǎng)，在性能、實(shí)現(xiàn)復(fù)雜性和成本方面可以取得很好的平衡，可用于復(fù)雜環(huán)境下的路面物體運(yùn)動(dòng)場(chǎng)檢測(cè)。本專利采用的改進(jìn)型光流方法也稱為稀疏光流估計(jì)方法，是指跟蹤圖像中指定的一組特征點(diǎn)，這些特征點(diǎn)可以是圖像中某個(gè)區(qū)間的圖像子集，也可以是經(jīng)過變換后的特性信息。選擇特征點(diǎn)的時(shí)候，需要注意選擇具有運(yùn)動(dòng)不變特性的特征點(diǎn)，這樣的圖像識(shí)別跟蹤將會(huì)是穩(wěn)定和可靠的，由此而進(jìn)行運(yùn)動(dòng)場(chǎng)計(jì)算是精確的。

本專利采用兩類特征點(diǎn)來實(shí)現(xiàn)圖像中的運(yùn)動(dòng)場(chǎng)的計(jì)算，第一類信息是圖像中的子圖像，第二類是圖像的角點(diǎn)信息。通過在某個(gè)固定點(diǎn)附近提取出一個(gè)子圖像，如車頂、車前擋風(fēng)窗、車后視鏡等，在隨后的視頻幀中按照道路的前進(jìn)方向搜索最匹配這個(gè)子圖的圖像區(qū)域位置，從而可以找出該目標(biāo)在后續(xù)幀中的位置，進(jìn)而估算出運(yùn)動(dòng)場(chǎng)信息。這個(gè)方法實(shí)現(xiàn)簡(jiǎn)單，計(jì)算量小，在車流擁擠的時(shí)候應(yīng)用能取得較好的 效果。

另外，使用Harris定義的角點(diǎn)來描述這些特征點(diǎn)。定義的基礎(chǔ)是圖像灰度強(qiáng)度的二階導(dǎo)數(shù)矩陣?？紤]圖像所有的像素點(diǎn)，圖像的二階導(dǎo)數(shù)即形成一副新的“二階導(dǎo)數(shù)圖像”，可用二維Hession矩陣表示：

Harris定義的角點(diǎn)位于圖像二階導(dǎo)數(shù)的自相關(guān)矩陣有兩個(gè)最大特征值的地方，這在本質(zhì)上表示以此點(diǎn)為中心周圍存在至少兩個(gè)不同地方的紋理(或者邊緣)，實(shí)際的角點(diǎn)是有至少兩個(gè)邊緣相交與一點(diǎn)產(chǎn)生的。之所以采用二階導(dǎo)數(shù)是由于它對(duì)于均勻梯度不產(chǎn)生響應(yīng)。

圖4中顯示了角點(diǎn)以及對(duì)這些角點(diǎn)的跟蹤得到的運(yùn)動(dòng)場(chǎng)矢量。圖中白色的線表示車沿路面運(yùn)動(dòng)產(chǎn)生的運(yùn)動(dòng)場(chǎng)矢量，白色的圓圈表示當(dāng)前車輛的角點(diǎn)。在感興趣區(qū)域的車輛被連續(xù)跟蹤，角點(diǎn)的運(yùn)動(dòng)被轉(zhuǎn)換成速度矢量，這些信息可以很好為視頻信息處理所利用。

在實(shí)際運(yùn)動(dòng)場(chǎng)計(jì)算中，夜間車輛的細(xì)節(jié)無法觀察，實(shí)際觀察圖像為車輛的前后大燈，我們將子圖像匹配技術(shù)用于晚間車輛流分析，利用整體子圖像的匹配來確定速度場(chǎng)。而將角點(diǎn)跟蹤技術(shù)用于白天的車輛分析。

(3)交通狀態(tài)計(jì)算

通過交通狀態(tài)計(jì)算模塊，將視頻分析獲取到的車輛總數(shù)、密度、單車速度、車隊(duì)速度、位置等交通流信息，轉(zhuǎn)換為交通狀態(tài)結(jié)果。將車輛交通流信息表示為一個(gè)交通流信息矢量It＝[i1,i2,...,iN]T， 其中iK，K＝1，…，N表示為N個(gè)可用的交通流信息，交通流狀態(tài)計(jì)算模型為f(It，I0，W)其中I。為其他必要的信息，如時(shí)間，地點(diǎn)，和已知的信息(交通事件等)，W為交通流狀態(tài)計(jì)算模塊參數(shù)，交通流狀態(tài)計(jì)算模型f(It，I0，W)的輸出為K個(gè)預(yù)先設(shè)定的交通狀態(tài)SK,K＝1,...,K。

交通流狀態(tài)計(jì)算模型的關(guān)鍵是確定參數(shù)W，可以通過訓(xùn)練得到。計(jì)算模型的訓(xùn)練主要目的是采用合適的數(shù)學(xué)模型，通過將一些采集的交通信息數(shù)據(jù)和交通狀態(tài)數(shù)據(jù)輸入到訓(xùn)練中，通過優(yōu)化計(jì)算確定模型該采用的最優(yōu)化參數(shù)W。雖然這里有很多數(shù)學(xué)模型可供選擇，為了簡(jiǎn)單和保證系統(tǒng)輸出穩(wěn)定，本專利采用LS-SVM算法作為訓(xùn)練算法，優(yōu)選采用高斯核函數(shù)，當(dāng)然根據(jù)交通流狀態(tài)矢量的變化可以適當(dāng)改變SVM核函數(shù)的選擇。

通過優(yōu)化獲得了最優(yōu)參數(shù)Wopt以后，交通流狀態(tài)的計(jì)算就是直接計(jì)算s＝f(It，I0，Wopt)。通常情況下，只要攝像機(jī)在提取交通流參數(shù)的時(shí)候已經(jīng)過必要的校準(zhǔn)，那么通過優(yōu)化計(jì)算得到的最優(yōu)參數(shù)Wopt可以用在所有視頻交通監(jiān)測(cè)點(diǎn)交通狀態(tài)計(jì)算系統(tǒng)上。如果某些監(jiān)測(cè)點(diǎn)無法提供確切的攝像機(jī)架設(shè)參數(shù)，例如高度、垂直角度、水平角度等，可以針對(duì)具體的攝像機(jī)提供的交通流信息結(jié)合人工標(biāo)定進(jìn)行狀態(tài)計(jì)算系統(tǒng)的重新訓(xùn)練，保證給出最優(yōu)的結(jié)果。

3.視角轉(zhuǎn)換模塊

現(xiàn)實(shí)生活中的景物，由于觀察距離及方位的不同在視覺上會(huì)引起不同的效果，也就是透視現(xiàn)象。通過透視變換，可以使畫面正確地表 現(xiàn)出物體遠(yuǎn)近之間的層次關(guān)系，使觀察者獲得立體、有深度的空間感覺。本專利將充分利用透視變換的這一優(yōu)點(diǎn)，通過透視變換將視頻的視角做一定變換，從而達(dá)到更好的監(jiān)測(cè)效果。

透視變換實(shí)現(xiàn)的關(guān)鍵也是特征點(diǎn)配準(zhǔn)。通過配準(zhǔn)的特征點(diǎn)對(duì)計(jì)算Homegraphy變換矩陣，然后對(duì)整個(gè)圖像進(jìn)行坐標(biāo)變換和像素插值運(yùn)算。其關(guān)系如下：

其中X，Y為圖像的原始坐標(biāo)，u，v，w為變換后的坐標(biāo)，hij為變換矩陣系數(shù)。在特征點(diǎn)配準(zhǔn)算法中，優(yōu)選采用RANSAC(隨機(jī)抽樣一致性算法)算法。然后通過透視變換，實(shí)現(xiàn)視角的變換，轉(zhuǎn)換到更為理想的垂直視角。

4.圖像拼接模塊

圖像拼接是一項(xiàng)基于圖像配準(zhǔn)的數(shù)字圖像處理技術(shù)。圖像拼接技術(shù)的基本流程如圖5所示。在本專利中，首先獲取待拼接的圖像，然后經(jīng)過預(yù)處理(濾波等)，再進(jìn)行統(tǒng)一坐標(biāo)變換，即將所有圖像序列變換到統(tǒng)一的坐標(biāo)系中，不同的變換方式對(duì)應(yīng)不同的拼接形式，接著進(jìn)行圖像配準(zhǔn)和圖像融合，最終得到全景拼接圖。并將得到的全景圖顯示在屏幕中，從而可以從一張圖像中顯示多個(gè)攝像機(jī)所拍攝的多張圖像，這樣可以大大減輕監(jiān)視畫面顯示數(shù)量的繁重任務(wù)。

圖像配準(zhǔn)即是尋找部分重疊的序列圖像的重疊位置以及范圍(也稱圖像對(duì)齊)在本專利中采用兩類的圖像配準(zhǔn)方法：

⑴局部對(duì)齊技術(shù)：即兩幅圖像對(duì)齊；

(2)全局對(duì)齊技術(shù)：即多幅圖像的整體對(duì)齊，用以形成一幅大的無失真圖像。

通過圖5中流程圖的各個(gè)步驟，可以將兩幅或多幅圖像拼接成一張全景圖。在選擇統(tǒng)一坐標(biāo)時(shí)，具體選擇最理想的一個(gè)視角作為統(tǒng)一坐標(biāo)，然后拼接出全景圖像。將視頻中的每一幀圖像都這樣處理，便完成視頻的拼接。

5.三維重建模塊

由于采用普通攝像機(jī)拍攝到的圖像是二維信號(hào)，相比我們?nèi)庋劭吹降膱D像，缺乏了一個(gè)重要的信息--距離。三維重建就是用兩個(gè)或多個(gè)攝像機(jī)來獲取圖像，根據(jù)攝像機(jī)之間的位置關(guān)系獲得距離信息，測(cè)距是三維重建技術(shù)的關(guān)鍵核心，可以從圖像中恢復(fù)出空間點(diǎn)三維坐標(biāo)。采用三維重建技術(shù)，使用多個(gè)攝像機(jī)從不同視角拍攝的二維圖像信息融合到一起，這樣既有利于監(jiān)控人員的觀察，又避免了多個(gè)監(jiān)控畫面顯示的繁雜。

在本專利中，首先對(duì)攝像機(jī)進(jìn)行標(biāo)定，校準(zhǔn)和匹配，然后根據(jù)圖6所示的空間關(guān)系，采用如下數(shù)學(xué)模型：

其中，TX；表示攝像機(jī)成像平面中心的距離，CX和CY表示立體坐標(biāo)系中原點(diǎn)的偏移。利用攝像機(jī)的標(biāo)定信息，可求出上述模型的參數(shù)TX,f,CX,CY,C’X和C’Y，然后通過圖像匹配可以獲取參數(shù)d從而獲得目標(biāo)的空間位置(X/W,Y/W,Z/W)。

本專利中三維重建所使用到了兩個(gè)關(guān)鍵技術(shù)：攝像機(jī)的標(biāo)定和校準(zhǔn)，以及物體特征點(diǎn)的提取和匹配。攝像機(jī)標(biāo)定和校準(zhǔn)的任務(wù)就是要精確地獲得攝像機(jī)的內(nèi)外參數(shù)。攝像機(jī)定標(biāo)一般需要一個(gè)特制的標(biāo)定參照物(如棋盤圖)，攝像機(jī)獲取該物體的圖像，通過圖像分析來估計(jì)攝像機(jī)的內(nèi)外參數(shù)。標(biāo)定參照物上的每一個(gè)特征點(diǎn)相對(duì)于世界坐標(biāo)系的位置在制作時(shí)應(yīng)精確測(cè)定(具體參見特征點(diǎn)的提取和匹配)，世界坐標(biāo)系可選為參照物的物體坐標(biāo)系。在得到這些已知點(diǎn)在圖像上的投影位置后，便可計(jì)算出攝像機(jī)的內(nèi)外參數(shù)。其參數(shù)模型如下：

其中，s為縮放參數(shù)；Iex,Iin分別為攝像機(jī)配準(zhǔn)過程中的內(nèi)部 參數(shù)矩陣和外部參數(shù)矩陣；fx,fy分別表示像點(diǎn)到原點(diǎn)的斜率；u0,v0表示成像平面的中心；ri,ti分別表示旋轉(zhuǎn)變換和平移變換的相關(guān)參數(shù)。完成攝像機(jī)的標(biāo)定和校準(zhǔn)之后，可以將現(xiàn)實(shí)情況中攝像機(jī)的各種干擾和偏差所帶來的誤差抑制到可行的范圍內(nèi)。使測(cè)距模型的條件接近理想條件，這樣有助于提聞測(cè)距的精度。

在該部分過程中，可以采用常用棋盤格標(biāo)定方法。棋盤格是有規(guī)則的，特征點(diǎn)容易提取的平面圖形。使用攝像機(jī)獲取棋盤圖的多張圖像(大約20張左右這些圖像要從各個(gè)不同的視角拍攝獲得，從而有效地反映出攝像機(jī)成像的誤差。通過這些圖像，便可以完成對(duì)攝像機(jī)內(nèi)外參數(shù)的精確計(jì)算。完成對(duì)攝像機(jī)的標(biāo)定和校準(zhǔn)之后，利用雙目測(cè)距的原理，找到同一個(gè)點(diǎn)在不同圖像中的對(duì)應(yīng)位置。這可以利用特征點(diǎn)匹配的方法來實(shí)現(xiàn)，其中常用的特征有Harris,FAST,SIFT,SURF,MSER等等。

本專利采用特征點(diǎn)，它具有魯棒性強(qiáng)，精度高的優(yōu)點(diǎn)，可用做自動(dòng)配準(zhǔn)。SIFT特征匹配算法主要包括兩個(gè)階段，一個(gè)是SIFT特征的生成，即從多幅圖像中提取對(duì)尺度縮放、旋轉(zhuǎn)、亮度變化無關(guān)的特征向量；第二階段是SIFT特征向量的匹配。特征的生成包括以下幾個(gè)步驟：

1、構(gòu)建尺度空間，檢測(cè)極值點(diǎn)，獲得尺度不變性；

2、特征點(diǎn)過濾并進(jìn)行精確定位；

3、為特征點(diǎn)分配方向值；

4、生成特征描述子。

當(dāng)兩幅圖像的特征向量生成以后，下一步就采用特征點(diǎn)特征向量的距離來作為兩幅圖像中特征點(diǎn)的相似性判定度量。取第一幅圖的某個(gè)特征點(diǎn)，通過遍歷找到第二幅圖中的距離最近的兩個(gè)特征點(diǎn)。在這兩個(gè)特征點(diǎn)中，如果次近距離除以最近距離小于某個(gè)閾值，則判定為一對(duì)匹配點(diǎn)。當(dāng)然，在具體的匹配實(shí)現(xiàn)中，這樣還是遠(yuǎn)遠(yuǎn)不夠的。本專利通過一些算法用來排除誤匹配的點(diǎn)，如區(qū)域限制算法，RANSAC(隨機(jī)抽樣一致性算法)。通過這些算法，可以有效地濾除無匹配點(diǎn)，從而使三維模型更加精準(zhǔn)。

完成了三維重建后，用戶可以在一定范圍內(nèi)，以任意視角觀察監(jiān)視區(qū)域。當(dāng)然，監(jiān)視的精度和角度的范圍具體還跟攝像機(jī)的數(shù)量和安裝分布有關(guān)?？梢愿鶕?jù)具體情況和用戶的具體要求選擇最佳地點(diǎn)安裝攝像機(jī)，從而獲取最佳效果。

6.多層次顯示模塊

本專利中，針對(duì)路網(wǎng)交通監(jiān)控中心的不同需求，多層次顯示模塊可提供不同的顯示模式，主要包括：⑴路段交通視頻實(shí)時(shí)顯示；⑵路網(wǎng)交通狀態(tài)全景顯示；⑶路網(wǎng)交通狀態(tài)動(dòng)畫顯示。

(1)路段交通視頻實(shí)時(shí)顯示

通常情況下的交通監(jiān)控中心，將視頻攝像機(jī)拍攝的實(shí)時(shí)圖像直接顯示在監(jiān)視器(墻)上，僅在圖像上增加地理位置和方向的文字表達(dá)，這樣的顯示方式并不能直觀地表達(dá)出監(jiān)控道路的地理位置和方向，監(jiān)控人員很難以常用的“上北下南左西右東”地圖顯示規(guī)則進(jìn)行監(jiān)視和認(rèn)識(shí)。本專利將監(jiān)控?cái)z像機(jī)的原始數(shù)據(jù)通過數(shù)據(jù)存儲(chǔ)及處理裝置進(jìn)行 視角轉(zhuǎn)換，轉(zhuǎn)換為“上北、下南、左西、右東”的顯示方式，并且，視角均轉(zhuǎn)換為垂直俯視角度。

其中，實(shí)時(shí)顯示主要包括以下幾種顯示方式：

a、路段單路視頻顯示

監(jiān)控?cái)z像機(jī)架設(shè)在道路的路側(cè)或者道路上方龍門架上，沿著道路方向進(jìn)行拍攝，并實(shí)時(shí)的將監(jiān)控圖像傳送回監(jiān)控中心，在監(jiān)視墻上進(jìn)行顯示。如圖7a所示的道路狀況及監(jiān)控?cái)z像機(jī)1的布置情況，傳統(tǒng)的顯示方式不對(duì)監(jiān)控圖像進(jìn)行處理，效果如圖7b所示，南北及東西方向架設(shè)的攝像頭的顯示效果沒有差別，監(jiān)控人員很難分辨。為了能夠直觀地顯示出道路的方向，本專利對(duì)視頻圖像進(jìn)行處理，并按照上北下南左西右東的方式進(jìn)行顯示。同時(shí)，可以將視頻圖像拍攝的透視角度進(jìn)行處理，以垂直俯視角度進(jìn)行顯示，效果如圖7c。

b、路段多路視頻拼接顯示

當(dāng)一條路上有多個(gè)監(jiān)控?cái)z像機(jī)的時(shí)候，如圖8a所示，傳統(tǒng)的顯示方式效果如圖8b所示，無法清晰地顯示路段的車流實(shí)際情況。本專利中，按照單路視頻顯示處理方式，將多路視頻圖像進(jìn)行處理，以統(tǒng)一的方式進(jìn)行拼接、連貫起來，再按照上北下南左西右東的方式進(jìn)行顯示，形成一個(gè)全路段的監(jiān)視畫面進(jìn)行顯示，效果如圖8c。

c、路口多路視頻拼接顯示

當(dāng)交叉路口有多個(gè)監(jiān)控?cái)z像機(jī)的時(shí)候，如圖9a所示，傳統(tǒng)的顯示方式效果如圖9b所示，難以有效地監(jiān)控路口交通流情況。本專利中，按照單路視頻顯示處理方式，將多路視頻圖像進(jìn)行處理，以統(tǒng)一 的方式進(jìn)行拼接、連貫起來，再按照上北下南左西右東的方式進(jìn)行顯示，形成一個(gè)全路段的監(jiān)視畫面進(jìn)行顯示，效果如圖9c。

(2)路網(wǎng)交通狀態(tài)全景顯示

上述路段交通視頻實(shí)時(shí)顯示的方式，通常覆蓋路段范圍比較小，便于微觀的交通流監(jiān)測(cè)。為了能夠進(jìn)行宏觀路網(wǎng)范圍的交通流監(jiān)測(cè)，如果將一個(gè)完整的路網(wǎng)用電子地圖顯示在監(jiān)視器墻上，地圖比例尺小導(dǎo)致難以展示道路交通狀態(tài)的細(xì)節(jié)。因此，交通狀態(tài)提取模塊從攝像機(jī)視頻信息獲取模塊中提取的交通狀態(tài)信息，分為通暢、緩慢、擁堵等多種狀態(tài)，并最終在監(jiān)視器墻上顯示。路網(wǎng)交通狀態(tài)全景顯示方式只將識(shí)別出的交通狀態(tài)用“紅、黃、綠”等多種顏色疊加在路段上(具體等級(jí)可以按照要求進(jìn)行擴(kuò)充一個(gè)簡(jiǎn)單的示例如圖10所示，圖10a中，路網(wǎng)上有多個(gè)監(jiān)控?cái)z像機(jī)，按照攝像機(jī)提取的交通狀態(tài)，將不同的顏色代表交通狀態(tài)，疊加在地圖上，用以顯示路網(wǎng)交通狀態(tài)的全景，如圖10b

(3)路網(wǎng)交通狀態(tài)動(dòng)畫顯示

通過對(duì)視頻圖像中的每個(gè)車輛目標(biāo)進(jìn)行三維重建，分割和車型識(shí)別，可以用三維動(dòng)畫的形式來重現(xiàn)某個(gè)監(jiān)控路段的車流情況。通過建立一個(gè)包含各類車型三維模型的數(shù)據(jù)庫(kù)，將攝像機(jī)視頻信息獲取模塊和三維重建模塊得到的車輛的位置，速度信息輸入到三維動(dòng)畫顯示模塊，可以重現(xiàn)路段交通流，并可以從各個(gè)不同角度進(jìn)行展示。這可以用于某些重要的監(jiān)測(cè)路段和地點(diǎn)，以逼真的方式進(jìn)行交通狀態(tài)顯示。

以上為本專利的基于視頻處理技術(shù)的公路交通狀態(tài)監(jiān)測(cè)系統(tǒng)的主要組成部分、工作原理及流程。在使用本系統(tǒng)時(shí)，一般情況下，監(jiān)控人員可以先選擇路網(wǎng)交通狀態(tài)全景顯示，在監(jiān)視器墻上對(duì)路網(wǎng)交通的全景狀態(tài)進(jìn)行監(jiān)控，若想對(duì)紅色的區(qū)域，即擁堵的區(qū)域進(jìn)行細(xì)致的查看，可對(duì)該區(qū)域選擇路段交通視頻實(shí)時(shí)顯示模式；此時(shí)，也可以進(jìn)一步選擇動(dòng)畫顯示的模式，對(duì)感興趣的路段的三維重建、全景拼接或者垂直視圖進(jìn)行觀察，并對(duì)交通緊急情況做出及時(shí)的應(yīng)對(duì)。