專(zhuān)利名稱(chēng)：基于視覺(jué)方差定位的圖像鑲嵌方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理與計(jì)算機(jī)視覺(jué)領(lǐng)域，主要涉及一種無(wú)人機(jī)空中視頻情報(bào)偵察用視頻圖像處理方法，尤其涉及一種基于視覺(jué)方差定位的圖像鑲嵌方法。
背景技術(shù)：
隨著各種成像傳感器的廣泛應(yīng)用，人們對(duì)獲取圖像的質(zhì)量和視野空間范圍要求越來(lái)越高。然而由于成像傳感器本身的固有性能和外在條件的限制，使得獲取的圖像常常不能滿(mǎn)足實(shí)際的需要。提高圖像分辨率和視場(chǎng)范圍的途徑無(wú)外乎采取改善原有成像系統(tǒng)的精度或借助后續(xù)的圖像處理技術(shù)兩種方式進(jìn)行。對(duì)CCD相機(jī)來(lái)說(shuō)，改變成像傳感器意味著增加CCD陣列中單元的個(gè)數(shù)，減少單元的尺寸。這樣的做法將帶來(lái)工藝、散熱和傳輸?shù)纫幌盗袉?wèn)題，在一些應(yīng)用中甚至是不可實(shí)現(xiàn)的。這樣就會(huì)使得光學(xué)相機(jī)在成像過(guò)程中空間采樣率不能滿(mǎn)足奈奎斯特采樣定理而導(dǎo)致欠采樣。從硬件方面著手以改善圖像的分辨率拓展視野范圍不可避免地面臨著高昂的經(jīng)濟(jì)代價(jià)或者是無(wú)法解決的技術(shù)困難等問(wèn)題。在無(wú)人偵察機(jī)、車(chē)載分布式孔徑系統(tǒng)、艦載分布式傳感器搜索跟蹤系統(tǒng)等項(xiàng)目中， 通過(guò)圖像鑲嵌技術(shù)可以滿(mǎn)足軍用光電系統(tǒng)的多項(xiàng)需求，解決對(duì)外部場(chǎng)景的大范圍、寬視場(chǎng)、 高分辨率觀察、瞄準(zhǔn)和偵察感知能力，同時(shí)圖像鑲嵌技術(shù)在民用領(lǐng)域的航測(cè)、工程測(cè)量方面也有廣泛的用途，因此能為我國(guó)軍事和偵察領(lǐng)域帶來(lái)巨大的社會(huì)效益和經(jīng)濟(jì)效益。近年來(lái)有許多學(xué)者開(kāi)展了圖像鑲嵌方法的研究，但目前主要采用基于Harris角點(diǎn)檢測(cè)算子、基于SIFT (Scale Invariant Feature Transform)特征點(diǎn)的方法進(jìn)行圖像配準(zhǔn)和拼接。中國(guó)期刊《西北工業(yè)大學(xué)學(xué)報(bào)》2010，Vol. 28，No. 1，pp. 51-56刊登了一篇題為 “基于SIFT聯(lián)合描述子的航拍視頻圖像鑲嵌”的論文，作者程詠梅等人在該論文中公開(kāi)了其基于SIFT聯(lián)合描述子進(jìn)行航拍視頻圖像鑲嵌的研究成果。該成果在具有較好邊緣特征檢測(cè)條件和豐富信息的山地背景圖像中，能夠提取出較多的SIFT特征點(diǎn)。圖I給出了基于 SIFT算法的建筑物圖像序列特征點(diǎn)匹配實(shí)驗(yàn)結(jié)果，圖I (a)為建筑物圖像序列1，圖I (b)為建筑物圖像序列2，圖I (c)為建筑物圖像序列I和圖像序列2的特征點(diǎn)對(duì)應(yīng)圖，共103對(duì)特征點(diǎn)，從圖中可以看出特征點(diǎn)多，計(jì)算量大，而且有很多對(duì)誤匹配點(diǎn)。申請(qǐng)人用基于SIFT特征點(diǎn)的方法對(duì)無(wú)人機(jī)拍攝的兩個(gè)實(shí)際圖像序列進(jìn)行特征點(diǎn)匹配時(shí)，只找到I對(duì)特征點(diǎn)，不能夠滿(mǎn)足該方法要求的3對(duì)以上特征點(diǎn)的參數(shù)計(jì)算要求?？梢?jiàn)，SIFT算法不能夠在低信噪比條件下的圖像提取出有效的特征點(diǎn)，或者是能夠提取的特征點(diǎn)個(gè)數(shù)少于圖像變換計(jì)算所需要的個(gè)數(shù)。因此，要實(shí)現(xiàn)有效的圖像鑲嵌必須研究和尋找更為有效、準(zhǔn)確、實(shí)時(shí)的技術(shù)途徑。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是，為滿(mǎn)足低成本同時(shí)又能顯著提高圖像分辨率和拓展視野空間的需求，為無(wú)人機(jī)空中視頻情報(bào)偵察提供一種基于視覺(jué)方差定位的圖像鑲嵌方法，即該方法對(duì)單一傳感器運(yùn)動(dòng)掃描出的一組相互間存在重疊區(qū)域的圖像序列實(shí)施配準(zhǔn)和合成，從而無(wú)縫鑲嵌成一幅寬視野高分辨的完整新圖像。為解決上述技術(shù)問(wèn)題，本發(fā)明提供的圖像鑲嵌方法包括以下操作步驟第一步，當(dāng)接到無(wú)人機(jī)空中視頻情報(bào)偵察裝置發(fā)出的鑲嵌命令后，通過(guò)傳感器采集分辨率為W*H的第K幀基準(zhǔn)圖像gB，I彡K彡F-I且K = I時(shí)的基準(zhǔn)圖像gB定義為絕對(duì)基準(zhǔn)圖像gA，將第K幀基準(zhǔn)圖像gB與絕對(duì)基準(zhǔn)圖像gA之間的參數(shù)變換矩陣PB —A初始化為 3X3單位陣；第二步，將當(dāng)前基準(zhǔn)圖像gB的中心區(qū)域劃分成寬度為wb、高度為hb的nw*nh個(gè)窗口，中心區(qū)域是指基準(zhǔn)圖像gB在水平和垂直方向各去除邊緣Ew和Eh后的剩余部分；第三步，根據(jù)下式依次計(jì)算所述當(dāng)前基準(zhǔn)圖像gB中nw*nh個(gè)窗口的圖像方差D :
權(quán)利要求
1.一種基于視覺(jué)方差定位的圖像鑲嵌方法，其特征在于該方法包括以下操作步驟 第一步，當(dāng)接到無(wú)人機(jī)空中視頻情報(bào)偵察裝置發(fā)出的鑲嵌命令后，通過(guò)傳感器采集分辨率為W*H的第K幀基準(zhǔn)圖像gB，I彡K彡F-I且K = I時(shí)的基準(zhǔn)圖像gB定義為絕對(duì)基準(zhǔn)圖像gA，將第K幀基準(zhǔn)圖像gB與絕對(duì)基準(zhǔn)圖像gA之間的參數(shù)變換矩陣PB —A初始化為3X3 單位陣；第二步，將當(dāng)前基準(zhǔn)圖像gB的中心區(qū)域劃分成寬度為wb、高度為hb的nw*nh個(gè)窗口，中心區(qū)域是指基準(zhǔn)圖像gB在水平和垂直方向各去除邊緣Ew和Eh后的剩余部分；第三步，根據(jù)下式依次計(jì)算所述當(dāng)前基準(zhǔn)圖像gB中nw*nh個(gè)窗口的圖像方差D Hills (hJ)-g]2式中，g(i，j)為窗口圖像區(qū)域中第i行第j列像素的灰度值，忌為窗口圖像區(qū)域的平均灰度值g ；第四步，將各所述窗口的方差與方差閾值Dthd進(jìn)行比較，得到M個(gè)方差大于方差閾值 Dthd的基準(zhǔn)窗口并保存基準(zhǔn)窗口的中心位置Bk(xk, yk)，其中，0彡M彡nw*nh，k = I，…，M ;第五步，采集一幀分辨率為W*H的第K+1幀圖像作為候選圖像gc ；第六步，在候選圖像gc中分別以對(duì)應(yīng)的基準(zhǔn)窗口中心位置Bk為中心，創(chuàng)建一個(gè)寬度和高度分別為W。和h。的搜索窗口，其中I. 4*wb ^ wc ^ I. 6*wb, I. 4*hb ^hc ^ I. 6*hb ;在搜索窗口中移動(dòng)基準(zhǔn)窗口而獲得不同的匹配窗口，計(jì)算搜索窗口中各匹配窗口和對(duì)應(yīng)基準(zhǔn)窗口之間的歸一化互相關(guān)系數(shù)Cor(Ax，Ay)并找出具有最大歸一化互相關(guān)系數(shù)的匹配窗口， 將候選圖像g。中具有最大歸一化互相關(guān)系數(shù)的各匹配窗口的歸一化互相關(guān)系數(shù)與相關(guān)閾值Cothd進(jìn)行比較，若歸一化互相關(guān)系數(shù)大于相關(guān)閾值Corthd的匹配窗口被認(rèn)為是有效匹配窗口，統(tǒng)計(jì)候選圖像中有效匹配窗口的中心位置即有效匹配點(diǎn)的集合
2.根據(jù)權(quán)利要求I所述的基于視覺(jué)方差定位的圖像鑲嵌方法，其特征在于所述方差閾值Dthd的取值范圍為20 50之間。
3.根據(jù)權(quán)利要求I所述的基于視覺(jué)方差定位的圖像鑲嵌方法，其特征在于所述相關(guān)閾值Corthd的取值范圍在0. 8 0. 9之間。
4.根據(jù)權(quán)利要求I或2或3所述的基于視覺(jué)方差定位的圖像鑲嵌方法，其特征在于每幀圖像的分辨率為寬度W = 320 (像素)，高度H = 240 (像素)；取水平方向除去邊緣部分 Ew = 40 (像素)，垂直方向除去邊緣部分Eh = 30(像素)，窗口的分辨率為wh*hb = 40*30 (像素)，窗口的個(gè)數(shù)為nw*nh = 6*6個(gè)；搜索窗口的分辨率為we*h。= 60*45 (像素)；方差閾值 Dthd = 30，相關(guān)閾值 Corthd = 0. 85。
全文摘要
本發(fā)明公開(kāi)了一種基于視覺(jué)方差定位的圖像鑲嵌方法，適用于無(wú)人機(jī)空中視頻情報(bào)偵察裝置。本發(fā)明基于視覺(jué)信息的高效注意機(jī)制，首先將基準(zhǔn)圖像分成若干個(gè)窗口，通過(guò)采用視覺(jué)方差定位技術(shù)，獲得能夠用于匹配的圖像窗口中心位置的統(tǒng)計(jì)集合，在候選圖像中采用互相關(guān)匹配算法搜索最佳對(duì)應(yīng)匹配窗口中心的位置；然后根據(jù)基準(zhǔn)圖像和候選圖像中窗口中心的對(duì)應(yīng)位置采用最小二乘法求解圖像變換參數(shù)；最后，根據(jù)圖像變換參數(shù)將候選圖像變換逆向映射到基準(zhǔn)圖像坐標(biāo)系中，并對(duì)基準(zhǔn)圖像和變換圖像進(jìn)行合成顯示，最終得到全景鑲嵌圖像。本發(fā)明解決了在復(fù)雜戰(zhàn)場(chǎng)環(huán)境中低信噪比條件下有效、精確、實(shí)時(shí)的圖像鑲嵌問(wèn)題，并具有抗光照變化能力強(qiáng)、計(jì)算效率高的特點(diǎn)。
文檔編號(hào)G06T5/50GK102609928SQ201210009419
公開(kāi)日2012年7月25日 申請(qǐng)日期2012年1月12日 優(yōu)先權(quán)日2012年1月12日
發(fā)明者李良福, 鄭寶忠, 錢(qián)鈞, 陳衛(wèi)東 申請(qǐng)人:中國(guó)兵器工業(yè)第二0五研究所