本發(fā)明屬于計算機(jī)視覺與圖像處理領(lǐng)域，涉及一種適用于拖車的動態(tài)全景拼接方法。

背景技術(shù)：

隨著科技的進(jìn)步與發(fā)展，人們對于信息的需求越來越多，其中絕大部分信息來自于視覺；但由于人眼的視角有限，人們開始利用計算機(jī)研究全景圖像拼接技術(shù)，即采用圖像拼接的方式將從同一場景利用多個攝像頭采集得到的多幅具有重疊區(qū)域的圖像拼接成一幅大尺寸圖像；而全景視頻拼接則是全景圖像拼接的一個延伸，它能夠?qū)D像拼接的結(jié)果實時顯示出來，在視頻監(jiān)控、軌道交通、視頻會議、虛擬現(xiàn)實、車載環(huán)視等諸多領(lǐng)域擁有廣泛的應(yīng)用前景。

目前車載環(huán)視拼接系統(tǒng)主要是針對一體車，即車頭車身相對固定。系統(tǒng)同時采集車輛周圍的圖像信息，經(jīng)過一次標(biāo)定后，拼接成一幅全景圖，直觀地呈現(xiàn)出車輛所處的位置和周邊情況。大大地拓展了駕駛員對周圍和環(huán)境的感知能力，可以有效減少交通事故的發(fā)生。而針對具有鏈?zhǔn)浇Y(jié)構(gòu)的拖車裝置，由于攝像頭一般分布在車頭與車身上，而當(dāng)拖車裝置車頭與車身相對運動時，攝像頭之間的位置關(guān)系也隨之改變，需要實時更新拼接參數(shù)，傳統(tǒng)的車載環(huán)視拼接系統(tǒng)則不能適用。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明的目的是提供一種適用于鏈?zhǔn)酵宪嚨膭討B(tài)全景拼接方法,旨在利用現(xiàn)有的圖像處理技術(shù)實現(xiàn)在攝像頭相對位置發(fā)生動態(tài)變化情況下的全景視頻拼接。

一種適用于拖車的動態(tài)全景拼接方法，所述拖車的車頭和車身周圍布置攝像頭，實時獲取攝像頭采集的圖像序列，其中，對圖像的拼接方法包括如下步驟：

步驟一、采集多攝像頭拍攝得到的原始圖像序列，并初始化單應(yīng)矩陣；

步驟二、對原始圖像序列進(jìn)行畸變校正和降分辨率的預(yù)處理，最后對圖像序列進(jìn)行柱面投影處理，得到適用于全景圖的投影模型圖像；

步驟三、根據(jù)單應(yīng)矩陣將相鄰兩幅投影模型圖像對齊到同一坐標(biāo)系中并對齊圖像進(jìn)行圖像融合，得到拼接圖像；然后對拼接效果進(jìn)行量化，具體為：

s31、對于步驟一得到的圖像進(jìn)行輪廓提取，得到原始圖像io，對步驟三得到的拼接圖像進(jìn)行輪廓提取，并在其中找到原始圖像io的對應(yīng)部分ip；

s32、針對原始圖像io中的每個像素點o，在對應(yīng)部分ip找到對應(yīng)位置像素點x，判斷像素點x的設(shè)定鄰域內(nèi)是否存在與像素點o的像素值相同的點，如果存在，則認(rèn)為找到與像素點o匹配的點；如果不存在，則認(rèn)為未找到與像素點o匹配的點；輪廓重疊率為：

其中sum(id)表示原始圖像io像素個數(shù)與對應(yīng)部分ip中像素個數(shù)的較小值，numel(id)表示在圖像ip中找到與原始圖像io中像素點匹配的個數(shù)；

s33、對步驟一得到的圖像提取h通道的信息，得到的圖像定義為原始圖像ho；對所述拼接圖像提取h通道的信息后，并在拼接圖像中找到與原始圖像ho對應(yīng)的部分，定義為hp；計算原始圖像ho與對應(yīng)部分hp的相似度：

其中ho(i,j)表示原始圖像ho中坐標(biāo)為(i,j)處的像素值，hp(i,j)表示對應(yīng)部分hp中坐標(biāo)為(i,j)處的像素值，m和n是ho的高度與寬度上的像素個數(shù)；

s34、將s32的輪廓重疊率與s33的相似度相乘，得到圖像拼接質(zhì)量評價指標(biāo)h'＝αβ；然后對拼接質(zhì)量評價指標(biāo)h'做卡爾曼濾波，最終得到拼接質(zhì)量評價指標(biāo)h；

步驟四、將步驟三得到的質(zhì)量評價指標(biāo)h與設(shè)定的閾值進(jìn)行比較，如果比較顯示拼接質(zhì)量達(dá)到預(yù)期，輸出拼接后圖像，并返回步驟一；否則進(jìn)行下一步驟；

步驟五、對步驟二得到的投影模型圖像進(jìn)行特征點檢測，并對相鄰的圖像進(jìn)行特征點匹配，重新計算單應(yīng)矩陣，返回步驟三，根據(jù)更新的單應(yīng)矩陣執(zhí)行步驟三至步驟四。

較佳的，所述步驟一中的投影模型為柱面模型、球面模型或者立方體模型。

較佳的，s31中采用卷積的方式進(jìn)行輪廓提取，其中，采用的卷積核為：

較佳的，步驟二中圖像特征點匹配的過程為：拼接區(qū)域特征點檢測、特征點匹配以及匹配點篩選。

較佳的，所述特征點檢測方法為sift、surf或orb。

較佳的，所述特征點篩選方法為ransac、一致對稱性篩選、最近鄰或次近鄰比率篩選。

較佳的，所述設(shè)定鄰域的大小為3×3。

本發(fā)明具有如下有益效果：

1.本發(fā)明充分考慮拼接圖像的輪廓與色彩信息，提出了一種新的圖像拼接質(zhì)量評價方法，更符合人眼實際評價標(biāo)準(zhǔn)；同時考慮到震動對于圖像拼接的干擾，對質(zhì)量評價結(jié)果的量化值進(jìn)行卡爾曼濾波，提升了該方法的魯棒性。

2.本發(fā)明將拼接質(zhì)量評價結(jié)果的量化值作為反饋，在攝像頭相對位置發(fā)生變化時能夠?qū)崟r優(yōu)化拼接參數(shù)，最終實現(xiàn)了基于多攝像頭的適用于拖車的車載動態(tài)全景拼接。

3.該系統(tǒng)是基于軟件的圖像拼接系統(tǒng)，可以與傳統(tǒng)車載環(huán)視拼接系統(tǒng)融合，進(jìn)而彌補(bǔ)其對硬件依賴性過強(qiáng)的缺點，能夠在線標(biāo)定拼接系統(tǒng)并提高拼接質(zhì)量。

附圖說明

圖1、動態(tài)攝像頭拼接系統(tǒng)流程圖；

圖2、拼接質(zhì)量評價模塊流程圖；

圖3、卡爾曼濾波流程圖；

圖4、具有鏈?zhǔn)浇Y(jié)構(gòu)的拖車示意圖；

圖5、攝像頭組安裝位置及觀測區(qū)域示意圖；

圖6、不同錯位程度下評價結(jié)果；

圖7、攝像頭震動情況下的圖像拼接質(zhì)量評價結(jié)果對比。

其中，1-攝像頭，2-車頭，3-車身。

具體實施方式

下面結(jié)合附圖并舉實施例，對本發(fā)明進(jìn)行詳細(xì)描述。

如圖4所示，本發(fā)明基于的鏈?zhǔn)酵宪?，拖車中配置有電源、工控機(jī)、攝像頭1以及動態(tài)視頻拼接上位機(jī)等。(1)為整個裝置的輸入設(shè)備即usb攝像頭1，通過將攝像頭1固定在車身3與車頭2的不同部位，使其能夠?qū)崟r大范圍的觀測車體周圍的環(huán)境信息；(2)為車頭2，控制著車的運動方向，車頭2上搭載有4個攝像頭1，能夠?qū)崟r獲取車輛前方的環(huán)境信息，安裝位置如圖5中abcd所示，其中灰色區(qū)域為攝像頭1的觀測區(qū)域；工控機(jī)安裝在車內(nèi)，與usb攝像頭1連接，電源供電后，可以實時讀取攝像頭1采集的圖像序列。上位機(jī)可以實時顯示采集得到的圖像序列與拼接后的全景圖像，同時可以完成參數(shù)的設(shè)置、視頻存儲等工作。(3)為車身3，由于拖車車身3大都比較長，而每個攝像頭1的觀測范圍都有限，為了減少觀測的死角，需要根據(jù)車身3的長度決定搭載攝像頭1的數(shù)量，圖中車身3搭載有6個攝像頭1，安裝位置如圖5中efghij所示；拖車的車頭2與車身3是通過鉸鏈連接在一起，圖3中的d攝像頭與e攝像頭在拖車轉(zhuǎn)向的過程中相對位置關(guān)系會發(fā)生動態(tài)變化，因此，本發(fā)明提供了一種適用于拖車的動態(tài)全景拼接方法，可實時獲取全景圖。

本發(fā)明的方法過程主要包括多攝像頭1圖像采集、圖像預(yù)處理、圖像特征點匹配、單應(yīng)矩陣計算、圖像融合與拼接質(zhì)量評價，如圖1所示，具體包括如下步驟：

第一步：系統(tǒng)初始化，包括工控機(jī)的啟動與初始化、攝像頭1與工控機(jī)的連接、動態(tài)視頻拼接參數(shù)的初始化。

第二步：上位機(jī)讀取攝像頭1采集的圖像。如果讀取成功，則進(jìn)入下一步驟，否則繼續(xù)進(jìn)行該步驟。

第三步：圖像預(yù)處理。由于攝像頭1存在畸變，不利于拼接，首先對圖像進(jìn)行畸變校正；同時為了加快處理速度，將彩色圖像轉(zhuǎn)化為灰度圖像，對圖像進(jìn)行降分辨率處理；最后對圖像序列進(jìn)行處理，得到適用于全景圖的投影模型；其中投影模型可以是但不限于柱面模型、球面模型、立方體模型，該步驟的目的在于提高拼接質(zhì)量的同時減少拼接時間，提高拼接算法實時性；

第四步：檢測待拼接圖像的特征點，并對相鄰的圖像進(jìn)行特征點匹配，計算兩幅圖像的匹配外參，即單應(yīng)矩陣，根據(jù)單應(yīng)矩陣將相鄰兩幅圖像對齊到同一坐標(biāo)系中。其中，圖像特征點匹配包括拼接區(qū)域特征點檢測、特征點匹配、匹配點篩選等，其中特征點檢測方法可以是但不限于sift，surf，orb，篩選方法有ransac，一致對稱性篩選，最近鄰與次近鄰比率篩選；

第五步：將第四步得到的對齊圖像按照特定的融合算法進(jìn)行圖像融合，得到拼接圖像，然后對拼接效果進(jìn)行量化，具體為：

對于第三步得到的原始圖像與第五步得到的拼接之后的圖像，首先提取輪廓信息并檢測其重疊率，如果原始圖像和拼接后圖像的輪廓信息重疊率較高，則說明圖像拼接質(zhì)量較高。本發(fā)明通過設(shè)計5×5大小的卷積核進(jìn)行邊緣提取，卷積核可以但不限于

針對第三步得到的各幅原始圖像io，在拼接后圖像中找到原始圖像io的對應(yīng)部分，將原始圖像io與對應(yīng)部分的輪廓信息圖像ip求取差分信息，得到差分圖像id，具體為：針對原始圖像io各個像素點o，在拼接圖像的對應(yīng)部分找到對應(yīng)位置像素點x，判斷像素點x的n*n區(qū)域內(nèi)是否存在與像素點o的像素值相同的點，如果存在，則認(rèn)為找到與像素點o匹配的點，記為1；如果不存在，則認(rèn)為未找到與像素點o匹配的點，記為0，具體公式表示如下：

則重疊率計算方法為

其中sum(id)表示原始圖像io與對應(yīng)部分的輪廓信息圖像ip中像素個數(shù)較小值，表示在圖像ip中找到與原始圖像io中像素點匹配的個數(shù)。

對于圖像來說，hsv空間比rgb空間能夠更加直觀地表達(dá)色彩的明暗、色調(diào)以及鮮艷程度，面對光照的變化更穩(wěn)定；其中h通道表示圖像的色相信息，因此能很好地反應(yīng)顏色的本質(zhì)。將圖像轉(zhuǎn)化到hsv空間，對第三步得到的原始圖像和第五步得到的拼接圖像分別提取h通道的信息，得到原始圖像ho和拼接圖像中與原始圖像對應(yīng)的部分hp，計算原始圖像ho與對應(yīng)部分hp的相似度，相似度越高，則說明圖像拼接質(zhì)量越高。相似度的計算方法為：

其中ho(i,j)表示原始圖像ho中坐標(biāo)為(i,j)處的像素值，hp(i,j)表示對應(yīng)部分hp中坐標(biāo)為(i,j)處的像素值，m和n是ho的高度與寬度。

為了更準(zhǔn)確地評價圖像拼接質(zhì)量，本方法充分考慮了圖像的輪廓以及色相信息對結(jié)果的影響，將輪廓重疊率和相似度相乘，得到圖像拼接質(zhì)量評價指標(biāo)h'＝αβ。在實際應(yīng)用過程中，拖車裝置在顛簸路段會發(fā)生劇烈抖動，導(dǎo)致攝像頭1相對位置發(fā)生連續(xù)不規(guī)則改變，但這種由于路面顛簸導(dǎo)致的攝像頭1位置劇烈變化的情況對全景系統(tǒng)來說相當(dāng)于一個外部擾動，它會造成圖像質(zhì)量評價指標(biāo)劇烈不規(guī)則大幅度變化，進(jìn)而導(dǎo)致拼接參數(shù)的重復(fù)計算，即增加了計算成本，又不能改善拼接效果。為避免顛簸路段對圖像拼接質(zhì)量評價的影響，本發(fā)明針對這種情況，對拼接質(zhì)量評價指標(biāo)做卡爾曼濾波，降低其抖動程度?？柭鼮V波的原理圖如圖3所示，加入卡爾曼濾波前后的效果圖如圖7所示。最終得到拼接質(zhì)量評價指標(biāo)h。

第六步：將步驟五得到的質(zhì)量評價指標(biāo)h與設(shè)定的閾值進(jìn)行比較，如果比較顯示拼接質(zhì)量達(dá)到預(yù)期，輸出拼接后圖像，并返回第三步；否則進(jìn)行下一步驟；

第七步：重新計算單應(yīng)矩陣。由于拼接圖像的質(zhì)量低于預(yù)期，即拼接質(zhì)量不符合要求，說明卡車攝像頭1的相對位置發(fā)生了變化，因此需要重新計算單應(yīng)矩陣。首先對圖像進(jìn)行特征檢測與提取，然后進(jìn)行特征匹配，計算單應(yīng)矩陣，并返回第五步，重新進(jìn)行圖像的融合。

本發(fā)明采用了融合拼接圖像輪廓與色彩信息的圖像拼接質(zhì)量評價方法對拼接圖像效果實時進(jìn)行量化評價，其評價效果如圖6所示，當(dāng)拼接質(zhì)量小于設(shè)定的閾值時需要重新優(yōu)化拼接參數(shù)，該方法對圖像震動時的拼接具有一定的魯棒性；拼接參數(shù)主要是相機(jī)的外參，與攝像頭1的相對位置有關(guān)，外參可以利用圖像特征點匹配計算出的單應(yīng)矩陣獲取。

綜上所述，以上僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。