本發(fā)明涉及一種圖像拼接方法，尤其涉及一種基于sift特征點(diǎn)匹配的圖像拼接方法，屬于圖像處理技術(shù)領(lǐng)域。

背景技術(shù)：

圖像拼接就是將多幅具有一定重疊部分的圖像進(jìn)行融合，合成一張寬視野、沒(méi)有明顯拼接縫隙的高分辨率圖像。目前圖像拼接技術(shù)逐漸成為研究的熱點(diǎn)，它廣泛應(yīng)用于計(jì)算機(jī)圖像處理、海底勘探、醫(yī)學(xué)圖像、虛擬現(xiàn)實(shí)、遙感影像處理等領(lǐng)域。

圖像拼接的方法基本可以分為以下兩種：基于灰度信息的方法和基于特征的方法。基于灰度信息的方法是通過(guò)使用待拼接圖像的像素值來(lái)計(jì)算兩幅圖像的相似程度，從而確定拼接的重疊區(qū)域，實(shí)現(xiàn)圖像的拼接，這種方法計(jì)算量大，并且魯棒性較差。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的問(wèn)題在于針對(duì)目前圖像拼接技術(shù)效率低、融合圖像不清晰的問(wèn)題提出了一種基于sift特征點(diǎn)匹配的圖像拼接方法，本發(fā)明是一種高精度、高效率且拼接效果良好的無(wú)縫拼接方法。

本發(fā)明具體采用以下技術(shù)方案：

一種基于sift特征點(diǎn)匹配的圖像拼接方法，首先提取兩幅待拼接圖像的sift特征點(diǎn)，并生成每一個(gè)特征點(diǎn)的特征描述符，針對(duì)生成的描述符對(duì)兩幅圖像進(jìn)行匹配，根據(jù)匹配提純后的特征點(diǎn)對(duì)確定融合區(qū)域，對(duì)兩幅待拼接的圖像進(jìn)行圖像融合。

傳統(tǒng)的sift方法采用的是128維的特征描述符，在圖像配準(zhǔn)階段需要耗費(fèi)大量的時(shí)間。為了降低特征點(diǎn)的匹配時(shí)間，本文采用雙向2dpca方法對(duì)128 維的特征描述符進(jìn)行了改進(jìn)，提高方法的魯棒性和計(jì)算效率，具體改進(jìn)方法如下：

2dpca-sift提取特征點(diǎn)周圍41×41的鄰域，計(jì)算鄰域內(nèi)每個(gè)像素點(diǎn)水平方向和垂直方向的梯度。每一個(gè)像素點(diǎn)水平方向和垂直方向的梯度交替排列。這樣就將特征描述符轉(zhuǎn)化為一個(gè)39×78維的矩陣。假設(shè)提取出有m個(gè)特征點(diǎn)，則：

(1)將提取出的39×78維的m個(gè)特征點(diǎn)x1，x2,…,xm訓(xùn)練得到它們的均值矩陣：

(2)計(jì)算協(xié)方差矩陣g1：

(3)計(jì)算協(xié)方差矩陣g2：

(4)獲得矩陣g1的特征值λ1,λ2,…,λn和對(duì)應(yīng)的特征向量v1,v2,…vn。選取前n1大的

特征值所對(duì)應(yīng)的特征向量構(gòu)成投影矩陣w1。

(5)獲得矩陣g2的特征值λ1,λ2,…,λn和對(duì)應(yīng)的特征向量v1,v2,…vn。選取前n2大的特征值所對(duì)應(yīng)的特征向量構(gòu)成投影矩陣w2。

(6)將xi先在水平方向進(jìn)行投影，然后在垂直方向進(jìn)行第二次投影，最終得到特征矩陣y＝w2xiw1(i＝1,2,…,m)

采用歐式距離進(jìn)行匹配往往會(huì)有很多的誤匹配點(diǎn)，通常采用隨機(jī)采樣一致性方法來(lái)剔除誤匹配點(diǎn)。本文針對(duì)隨機(jī)采樣一致性方法內(nèi)點(diǎn)概率小，導(dǎo)致方法計(jì)算效率低的問(wèn)題，提出了一種約束條件的方法來(lái)對(duì)匹配點(diǎn)對(duì)進(jìn)行篩選，提高了方法的運(yùn)算效率。對(duì)匹配特征點(diǎn)進(jìn)行粗提純，本文采用采用匹配特征點(diǎn)對(duì)之間的幾何一致性來(lái)對(duì)特征點(diǎn)進(jìn)行粗提純。具體方法如下：

(1)假設(shè)圖像a和b表示待匹配的圖像，特征點(diǎn)集分別取圖像a和圖像b粗匹配點(diǎn)的集合a＝(a1,a2,…,an)和b＝(b1,b2,…,bn)。并設(shè)粗匹配點(diǎn)集的尺度 比值集合和角度差值集合為m、n則：

(2)并規(guī)定mσ為計(jì)算出的圖像尺度縮放的比例，nθ為計(jì)算出的圖像旋轉(zhuǎn)的角度。

(3)從i＝1開(kāi)始，依次求出和的值，如果這兩個(gè)值均少于閾值t，保留此匹配點(diǎn)。否則，剔除此點(diǎn)。

經(jīng)過(guò)配準(zhǔn)之后，就可以通過(guò)這些匹配點(diǎn)來(lái)確定兩幅圖像的重疊部分。本發(fā)明通過(guò)計(jì)算單應(yīng)性矩陣來(lái)確定兩幅圖像的重疊區(qū)域。單應(yīng)性矩陣是一個(gè)三階矩陣，它有8個(gè)未知的參數(shù)，它可以反映兩幅圖像的變換關(guān)系。假設(shè)匹配特征點(diǎn)有n個(gè)，確定兩幅圖像重疊區(qū)域的流程是：

(1)從n個(gè)匹配點(diǎn)中隨機(jī)選取4對(duì)(8個(gè))匹配點(diǎn)。假設(shè)(x,y)是第一幅圖像匹配點(diǎn)的坐標(biāo)，(x',y')是第二幅圖像匹配點(diǎn)的坐標(biāo)，利用這4組匹配點(diǎn)，我們可以求出單應(yīng)性矩陣中m0-m7的值。

(2)求出單應(yīng)性矩陣后，我們可以用單應(yīng)性矩陣求出匹配圖像1在圖像2對(duì)應(yīng)的匹配特征點(diǎn)。假設(shè)此時(shí)在圖像2中求出的匹配點(diǎn)坐標(biāo)為(x”,y”)，然后我們計(jì)算真實(shí)的匹配特征點(diǎn)(x',y')和(x”,y”)的歐式距離。

(3)設(shè)定一個(gè)閾值，如果在第二步中計(jì)算出來(lái)的歐式距離少于設(shè)定的閾值，我們定義這樣的點(diǎn)為一個(gè)內(nèi)點(diǎn)。否則定義這樣的點(diǎn)為一個(gè)外點(diǎn)，記錄內(nèi)點(diǎn)的總 數(shù)。

(4)利用單應(yīng)性矩陣，我們可以計(jì)算出第二幅圖像的匹配點(diǎn)在第一幅圖像中對(duì)應(yīng)的位置。我們可以計(jì)算出第二幅圖像的4個(gè)頂點(diǎn)相應(yīng)的位置。

兩幅圖像的重疊區(qū)域通常會(huì)有顏色的差異，為了使兩幅圖像能夠無(wú)縫拼接，通常采用的方法是重疊區(qū)域線性過(guò)渡融合法。但是，這種方法會(huì)使拼接之后的圖像變得模糊。本發(fā)明針對(duì)現(xiàn)有方法融合區(qū)域有縫隙，融合區(qū)域不清晰的問(wèn)題，在融合階段采用contourlet變換來(lái)對(duì)重疊區(qū)域采用不同的融合策略來(lái)消除了融合重疊區(qū)域中的模糊現(xiàn)象，增強(qiáng)圖像融合的效果。

假設(shè)需要運(yùn)用contourlet變換的重疊區(qū)域是ab。圖像a是重疊區(qū)域在圖像a中的部分，圖像b是重疊區(qū)域在圖像b中的部分。對(duì)圖像a和b分別進(jìn)行contourlet變換分解，可以求得各自的contourlet變換系數(shù)ya和yb。定義融合系數(shù)為yf。

對(duì)于低頻信息，使用平均值融合法：

而對(duì)于高頻信息，如果dfb分解參數(shù)lj≠0，則讓yf(i)＝max{|ya(i)|,|yb(i)|}。

如果dfb分解參數(shù)lj＝0，應(yīng)該考慮這一層采用小波變換。然后利用小波變換技術(shù)對(duì)系數(shù)進(jìn)行處理。小波變換的低頻信息：高頻信息：yf(i)＝max{|ya(i)|,|yb(i)|}

計(jì)算出融合系數(shù)之后，進(jìn)行contourlet逆變換求出融合圖像。

本發(fā)明針對(duì)現(xiàn)有圖像拼接方法計(jì)算復(fù)雜，匹配精度不高、效率低、融合圖像不清晰的問(wèn)題，提出一種基于sift特征點(diǎn)匹配的圖像拼接方法，通過(guò)采用雙向2dpca方法對(duì)特征描述符進(jìn)行降維，提高了匹配的效率和精度；借助匹配特征點(diǎn)對(duì)之間的幾何一致性來(lái)對(duì)特征點(diǎn)進(jìn)行粗提純，提高隨機(jī)采樣一致性方法的運(yùn)行效率；采用contourlet變換進(jìn)行圖像融合，消除了融合圖像的色差，達(dá)到了兩幅圖像高質(zhì)量的拼接效果。

附圖說(shuō)明

圖1是本發(fā)明的圖像拼接方法流程圖；

圖2是極值點(diǎn)檢測(cè)示意圖；

圖3是確定兩幅圖像重疊區(qū)域示意圖。

具體實(shí)施方式

本發(fā)明的思路是針對(duì)現(xiàn)有的sift圖像拼接方法計(jì)算復(fù)雜，匹配正確率低，融合效果不理想的問(wèn)題，提出一種基于sift特征點(diǎn)匹配的圖像拼接方法，通過(guò)采用雙向2dpca方法對(duì)特征描述符進(jìn)行降維，提高了匹配的效率和精度；借助匹配特征點(diǎn)對(duì)之間的幾何一致性來(lái)對(duì)特征點(diǎn)進(jìn)行粗提純，提高隨機(jī)采樣一致性方法的運(yùn)行效率；采用contourlet變換進(jìn)行圖像融合，消除了融合圖像的色差，達(dá)到了兩幅圖像高質(zhì)量的拼接效果。

本發(fā)明的圖像拼接方法，其流程圖如圖1所示：具體按照以下步驟:

步驟1、建立尺度空間

二維高斯函數(shù)的定義為：σ為高斯正太分布的方差值，也稱為尺度因子。圖像的尺度空間可以表示為一個(gè)函數(shù)l(x,y,σ)，它是由原圖像i(x,y)與一個(gè)可變尺度的二維高斯核g(x,y,σ)卷積運(yùn)算獲得：表示x和y兩個(gè)方向上進(jìn)行卷積操作，(x,y)表示圖像像素的位置。σ尺度因子的大小決定圖像平滑的程度，σ的值越大，就說(shuō)明圖像邊緣越清晰，而細(xì)節(jié)越模糊，平滑程度就越大。相反，如果σ的值越小，就說(shuō)明圖像的細(xì)節(jié)信息保留的越好，平滑程度也越小。對(duì)圖像做不同尺度的高斯模糊，并對(duì)高斯模糊后的圖像做降采樣處理。為了能夠更好地檢測(cè)到相對(duì)穩(wěn)定的極值點(diǎn)，需要構(gòu)建高斯差分金字塔。dog是高斯金字塔中上下相鄰兩層圖像的差值相鄰尺度空間的差值dog用d(x,y,σ)表示：

步驟2、檢測(cè)極值點(diǎn)

得到圖像中的高斯差分金字塔之后，就可以計(jì)算尺度空間中的極值點(diǎn)了。如圖2所示，我們需要將尺度空間中每一個(gè)像素點(diǎn)與它同尺度的3×3鄰域內(nèi)的8個(gè)相鄰點(diǎn)進(jìn)行比較，同時(shí)，還要和相鄰尺度中對(duì)應(yīng)的18個(gè)像素點(diǎn)進(jìn)行比較，即總共與26個(gè)點(diǎn)進(jìn)行比較。如果該點(diǎn)的灰度值是26點(diǎn)中的最大或最小值，那么該點(diǎn)就被定義為候選極值點(diǎn)。

步驟3、精確定位特征點(diǎn)

對(duì)于檢測(cè)到的候選極值點(diǎn)，通常還需要進(jìn)一步進(jìn)行篩選，因?yàn)榇蟛糠值臉O值點(diǎn)還存在噪聲和邊緣響應(yīng)。首先利用尺度空間函數(shù)d(x,y,σ)的taylor二次展開(kāi)式對(duì)曲線擬合，然后采用極值點(diǎn)尺度位置的2×2hessian矩陣計(jì)算其主曲率。2×2hessian矩陣如下式所示：

記tr(h)＝dxx+dyy，det(h)＝dxxdyy-(dxy)²

如果滿足其中r＝10，則將該點(diǎn)保存下來(lái)，如果不滿足條件，則去除改點(diǎn)。這樣不穩(wěn)定的邊緣響應(yīng)點(diǎn)也被剔除。經(jīng)過(guò)一系列的計(jì)算，對(duì)比度較低的極值點(diǎn)以及不穩(wěn)定的邊緣點(diǎn)都被剔除，被保留下來(lái)的點(diǎn)就是所需要的圖像特征點(diǎn)。

步驟4、確定主方向

為了使最終生成的描述子在圖像旋轉(zhuǎn)的情況下依然保持很好的不變性，利用統(tǒng)計(jì)直方圖信息的方式來(lái)為每一個(gè)特征點(diǎn)指定主方向。點(diǎn)(x,y)處的梯度幅值以及方向角度可以利用下面公式來(lái)計(jì)算：

其中，m(x,y)表示梯度幅值，θ(x,y)表示梯度方向角度。

將梯度直方圖從0°～360°的方向范圍劃分成36個(gè)柱，其中每一柱為，規(guī)定將梯度直方圖中的峰值確定為特征點(diǎn)的主方向。為了增強(qiáng)方法的魯棒性，sift方法還給每一個(gè)特征點(diǎn)定義了輔方向，即如果在直方圖中有一個(gè)或多個(gè)大于主 方向峰值80％能量的方向，就把這些方向定義為此特征點(diǎn)的輔助方向。因此，一個(gè)特征點(diǎn)可以有兩個(gè)以上的方向。

步驟5、生成sift特征描述符

傳統(tǒng)的sift方法特征點(diǎn)采用的是128維的特征描述符，在圖像配準(zhǔn)階段需要耗費(fèi)的時(shí)間。為了降低特征點(diǎn)的匹配時(shí)間，本文采用雙向2dpca方法對(duì)128維的特征描述符進(jìn)行了改進(jìn)，提高方法的魯棒性和計(jì)算效率，具體改進(jìn)方法如下：

2dpca-sift提取特征點(diǎn)周圍41×41的鄰域，計(jì)算鄰域內(nèi)每個(gè)像素點(diǎn)水平方向和垂直方向的梯度。每一個(gè)像素點(diǎn)水平方向和垂直方向的梯度交替排列。這樣就將特征描述符轉(zhuǎn)化為一個(gè)39×78維的矩陣。假設(shè)提取出有m個(gè)特征點(diǎn)，則：

(1)將提取出的39×78維的m個(gè)特征點(diǎn)x1，x2,…,xm訓(xùn)練得到它們的均值矩陣：

(2)計(jì)算協(xié)方差矩陣g1：

(3)計(jì)算協(xié)方差矩陣g2：

(4)獲得矩陣g1的特征值λ1,λ2,…,λn和對(duì)應(yīng)的特征向量v1,v2,…vn。選取前n1大的特征值所對(duì)應(yīng)的特征向量構(gòu)成投影矩陣w1。

(5)獲得矩陣g2的特征值λ1,λ2,…,λn和對(duì)應(yīng)的特征向量v1,v2,…vn。選取前n2大的特征值所對(duì)應(yīng)的特征向量構(gòu)成投影矩陣w2。

(6)將xi先在水平方向進(jìn)行投影，然后在垂直方向進(jìn)行第二次投影，最終得到特征矩陣y＝w2xiw1(i＝1,2,…,m)為了進(jìn)行特征匹配，本文將最終得到的特征矩陣y轉(zhuǎn)化成了向量的形式。

經(jīng)過(guò)雙向2dpca變換后，每一個(gè)特征點(diǎn)都有一個(gè)n2×n1維的特征描述子。本文選取n1＝8，n2＝4，最后組成32維的特征向量。

步驟6、特征點(diǎn)匹配

特征向量的匹配一般采用歐式距離對(duì)32維的特征描述子進(jìn)行相似性度量。從待匹配圖像中選擇一個(gè)特征點(diǎn)，從原始圖像中找出與該點(diǎn)最近距離的特征點(diǎn)和次近距離的特征點(diǎn)，從而得到最近鄰與次近鄰的比值，若比值小于規(guī)定的閾值，則認(rèn)為最近距離的點(diǎn)為匹配點(diǎn)。采用歐式距離進(jìn)行匹配往往會(huì)有很多的誤匹配點(diǎn)，通常采用隨機(jī)抽樣一致性方法來(lái)剔除誤匹配點(diǎn)。本文針對(duì)隨機(jī)抽樣一致性方法內(nèi)點(diǎn)概率小，導(dǎo)致方法計(jì)算效率低的問(wèn)題，提出了一種約束條件的方法來(lái)對(duì)匹配點(diǎn)對(duì)進(jìn)行篩選，提高了方法的運(yùn)算效率。

(1)假設(shè)圖像a和b表示待匹配的圖像，特征點(diǎn)集分別取圖像a和圖像b粗匹配點(diǎn)的集合a＝(a1,a2,...,an)和b＝(b1,b2,…,bn)。并設(shè)粗匹配點(diǎn)集的尺度比值集合和角度差值集合為m、n則：

(2)并規(guī)定mσ為計(jì)算出的圖像尺度縮放的比例，nθ為計(jì)算出的圖像旋轉(zhuǎn)的角度。

(3)從i＝1開(kāi)始，依次求出和的值，如果這兩個(gè)值均少于閾值t，保留此匹配點(diǎn)。否則，剔除此點(diǎn)。

步驟7、確定融合區(qū)域

經(jīng)過(guò)配準(zhǔn)之后，我們可以通過(guò)這些匹配點(diǎn)來(lái)確定兩幅圖像的重疊部分。

本文通過(guò)計(jì)算單應(yīng)性矩陣來(lái)確定兩幅圖像的重疊區(qū)域。單應(yīng)性矩陣是一個(gè)三階矩陣，它有8個(gè)未知的參數(shù)，它可以反映兩幅圖像的變換關(guān)系。假設(shè)匹配特征點(diǎn)有n個(gè)，確定兩幅圖像重疊區(qū)域的流程是：

(1)從n個(gè)匹配點(diǎn)中隨機(jī)選取4對(duì)(8個(gè))匹配點(diǎn)。假設(shè)(x,y)是第一幅圖像匹配點(diǎn)的坐標(biāo)，(x',y')是第二幅圖像匹配點(diǎn)的坐標(biāo)，

利用這4組匹配點(diǎn)，我們可以求出單應(yīng)性矩陣中m0-m7的值。

(2)求出單應(yīng)性矩陣后，我們可以用單應(yīng)性矩陣求出匹配圖像1在圖像2對(duì)應(yīng)的匹配特征點(diǎn)。假設(shè)此時(shí)在圖像2中求出的匹配點(diǎn)坐標(biāo)為(x”,y”)，然后我們計(jì)算真實(shí)的匹配特征點(diǎn)(x',y')和(x”,y”)的歐式距離。

(3)設(shè)定一個(gè)閾值，如果在第二步中計(jì)算出來(lái)的歐式距離少于設(shè)定的閾值，我們定義這樣的點(diǎn)為一個(gè)內(nèi)點(diǎn)。否則定義這樣的點(diǎn)為一個(gè)外點(diǎn)，記錄內(nèi)點(diǎn)的總數(shù)。

(4)重復(fù)步驟1和步驟3，找到內(nèi)點(diǎn)最多的單應(yīng)性矩陣。規(guī)定這個(gè)單應(yīng)性矩陣為最后的單應(yīng)性矩陣。

(5)利用單應(yīng)性矩陣，我們可以計(jì)算出第二幅圖像的匹配點(diǎn)在第一幅圖像中對(duì)應(yīng)的位置。我們可以計(jì)算出第二幅圖像的4個(gè)頂點(diǎn)相應(yīng)的位置。如圖3所示，然后我們就可以用它們的坐標(biāo)來(lái)確定兩幅圖像的重疊區(qū)域。

步驟8、圖像融合

兩幅圖像的重疊區(qū)域通常會(huì)有顏色的差異，為了使兩幅圖像能夠無(wú)縫拼接，通常采用的方法是重疊區(qū)域線性過(guò)渡融合法。但是，這種方法會(huì)使拼接之后的圖像變得模糊。本發(fā)明針對(duì)現(xiàn)有方法融合區(qū)域有縫隙，融合區(qū)域不清晰的問(wèn)題，在融合階段采用contourlet變換來(lái)對(duì)重疊區(qū)域采用不同的融合策略來(lái)消除了融合重疊區(qū)域中的模糊現(xiàn)象，增強(qiáng)圖像融合的效果。

假設(shè)需要運(yùn)用contourlet變換的重疊區(qū)域是ab。圖像a是重疊區(qū)域在圖像a中的部分，圖像b是重疊區(qū)域在圖像b中的部分。對(duì)圖像a和b分別進(jìn)行contourlet變換分解，可以求得各自的contourlet變換系數(shù)ya和yb。定義融合系數(shù)為yf。

對(duì)于低頻信息，使用平均值融合法：

而對(duì)于高頻信息，如果dfb分解參數(shù)lj≠0，則讓yf(i)＝max{|ya(i)|,|yb(i)|}。

如果dfb分解參數(shù)lj＝0，應(yīng)該考慮這一層采用小波變換。然后利用小波變換技術(shù)對(duì)系數(shù)進(jìn)行處理。小波變換的低頻信息：高頻信息：yf(i)＝max{|ya(i)|,|yb(i)|}

計(jì)算出融合系數(shù)之后，進(jìn)行contourlet逆變換求出融合圖像。