一種低空無人機(jī)影像無地理編碼快速拼接方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻影像處理和圖像處理領(lǐng)域，涉及一種視頻幀圖像提取技術(shù)與圖像 自動(dòng)拼接技術(shù)，特別涉及一種無地理編碼的低空無人航攝遙感系統(tǒng)視頻監(jiān)控與影像快速拼 接糾正技術(shù)。
【背景技術(shù)】
[0002] 隨著科學(xué)技術(shù)的進(jìn)步和社會(huì)可持續(xù)發(fā)展，國民經(jīng)濟(jì)建設(shè)對國土資源的需求與日俱 增，準(zhǔn)確、快速、經(jīng)濟(jì)地獲取地理信息是實(shí)現(xiàn)國土資源科學(xué)開發(fā)與管理的前提，同時(shí)也是實(shí) 現(xiàn)數(shù)字地球、數(shù)字中國戰(zhàn)略的首要環(huán)節(jié)。我國各種地質(zhì)災(zāi)害和其它突發(fā)性事件較多，如何快 速準(zhǔn)確地獲取現(xiàn)場信息，為決策者提供決策依據(jù)，是長久以來不斷完善和發(fā)展的問題。
[0003] 近年來隨著科學(xué)技術(shù)的進(jìn)步，輕型無人機(jī)測繪遙感系統(tǒng)的研制和工程化應(yīng)用取得 技術(shù)突破，尤其是輕小型監(jiān)測型無人機(jī)的發(fā)展和完善，使其能夠獲取更加穩(wěn)定的視頻與圖 像，有效補(bǔ)充了傳統(tǒng)航攝手段在高分辨率遙感影像獲取方面的薄弱環(huán)節(jié)，完善了我國遙感 數(shù)據(jù)獲取技術(shù)體系，成為靈活機(jī)動(dòng)、低成本、高效獲取高分辨率遙感數(shù)據(jù)的重要組成部分， 為應(yīng)急方面提供了快速及時(shí)可靠的決策依據(jù)。
[0004] 低空無人航攝遙感系統(tǒng)視頻監(jiān)控與影像快速拼接糾正系統(tǒng)利用低空無人機(jī)飛行 平臺(tái)實(shí)時(shí)視頻影像數(shù)據(jù)，實(shí)現(xiàn)空地視頻數(shù)據(jù)的實(shí)時(shí)傳輸、監(jiān)測與視頻數(shù)據(jù)保存；通過非量測 型攝像機(jī)的標(biāo)定，提取關(guān)鍵幀影像，實(shí)現(xiàn)無地理編碼關(guān)鍵幀影像的快速拼接，并可結(jié)合控制 數(shù)據(jù)對拼接后的成果影像進(jìn)行幾何糾正?？煞?wù)于應(yīng)急測繪、防災(zāi)減災(zāi)、國土監(jiān)測、突發(fā)事 件監(jiān)控、石油部門管線布設(shè)及巡查和電力部門線路布設(shè)及電力線巡查等領(lǐng)域。
[0005] 國外具有代表性的研宄人員有微軟研宄院的Richard Szeliski教授和匹茲堡大 學(xué)的Sevket Gumustekin博士等人。Sevket Gumustekin博士主要對消除在固定點(diǎn)旋轉(zhuǎn)攝 像機(jī)拍攝自然景物時(shí)形成的透視變形，和將捕獲的圖像拼接為全景圖進(jìn)行了研宄。起主要 的研宄成果是通過標(biāo)定攝像機(jī)來建立成像模型，再利用成像模型將捕獲到的圖像投影到統(tǒng) 一的高斯球面上，從而獲得拼接圖像。用這種基于投影模型的方法來完成圖像拼接，拼接的 效果好、可靠性高。但是該方法要求對攝像機(jī)進(jìn)行精確的標(biāo)定，同時(shí)要求攝像機(jī)透鏡本身的 畸變參數(shù)引起的圖像變形可以忽略不計(jì)，這在實(shí)際應(yīng)用中比較難以實(shí)現(xiàn)。Szeliski教授又 提出通過迭代求精每幅圖像對應(yīng)的旋轉(zhuǎn)矩陣和攝像機(jī)焦距，來實(shí)現(xiàn)拼接的方法。這種方法 在一定程度上減少了拍攝圖像時(shí)對攝像機(jī)運(yùn)動(dòng)的限制，但計(jì)算量卻大量增加。

【發(fā)明內(nèi)容】

[0006] 為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種低空無人機(jī)影像無地理編碼快速拼 接技術(shù)。
[0007] 本發(fā)明技術(shù)方案提供一種低空無人機(jī)影像無地理編碼快速拼接方法，其特征在 于：從視頻中提取關(guān)鍵幀影像進(jìn)行無地理編碼的快速拼接生成全景圖像，包括以下步驟，
[0008] 步驟1，從視頻流中提取關(guān)鍵幀影像，得到所有待拼接的影像；
[0009] 步驟2,對各待拼接的影像分別進(jìn)行特征點(diǎn)提取，包括建立多尺度空間，構(gòu)建金字 塔影像，確定關(guān)鍵點(diǎn)位置，剔除不穩(wěn)定點(diǎn)，確定關(guān)鍵點(diǎn)梯度大小和方向，提取特征描述符；然 后用SUSAN算法對關(guān)鍵點(diǎn)進(jìn)行篩選，得到最終的特征點(diǎn)；
[0010] 步驟3,將待拼接的影像作為待配準(zhǔn)圖像，根據(jù)相應(yīng)參考圖像和待配準(zhǔn)圖像分別的 特征點(diǎn)進(jìn)行特征匹配，包括先用K-D樹搜索待配準(zhǔn)圖像上每個(gè)特征點(diǎn)在相應(yīng)參考圖像上的 兩個(gè)最近鄰域特征點(diǎn)，然后通過計(jì)算比較最近鄰域與次近鄰域的比值，基于RANSAC算法篩 選得到最終的匹配點(diǎn)；
[0011] 步驟4,對待拼接的影像采取增益補(bǔ)償法進(jìn)行平滑，然后對拼接的重疊區(qū)域進(jìn)行加 權(quán)平均值融合消除接縫及鋸齒，拼接生成全景圖像，
[0012] 采取增益補(bǔ)償法進(jìn)行平滑時(shí)，利用以下誤差方程求取誤差e，
[0013]
【主權(quán)項(xiàng)】
1. 一種低空無人機(jī)影像無地理編碼快速拼接方法，其特征在于：從視頻中提取關(guān)鍵幀 影像進(jìn)行無地理編碼的快速拼接生成全景圖像，包括以下步驟， 步驟1，從視頻流中提取關(guān)鍵幀影像，得到所有待拼接的影像； 步驟2,對各待拼接的影像分別進(jìn)行特征點(diǎn)提取，包括建立多尺度空間，構(gòu)建金字塔影 像，確定關(guān)鍵點(diǎn)位置，剔除不穩(wěn)定點(diǎn)，確定關(guān)鍵點(diǎn)梯度大小和方向，提取特征描述符；然后用 SUSAN算法對關(guān)鍵點(diǎn)進(jìn)行篩選，得到最終的特征點(diǎn)； 步驟3,將待拼接的影像作為待配準(zhǔn)圖像，根據(jù)相應(yīng)參考圖像和待配準(zhǔn)圖像分別的特征 點(diǎn)進(jìn)行特征匹配，包括先用K-D樹搜索待配準(zhǔn)圖像上每個(gè)特征點(diǎn)在相應(yīng)參考圖像上的兩個(gè) 最近鄰域特征點(diǎn)，然后通過計(jì)算比較最近鄰域與次近鄰域的比值，基于RANSAC算法篩選得 到最終的匹配點(diǎn)； 步驟4,對待拼接的影像采取增益補(bǔ)償法進(jìn)行平滑，然后對拼接的重疊區(qū)域進(jìn)行加權(quán)平 均值融合消除接縫及鋸齒，拼接生成全景圖像， 采取增益補(bǔ)償法進(jìn)行平滑時(shí)，利用以下誤差方程求取誤差e，
其中，Nu為重疊部分中的像元數(shù)，S S 8為常數(shù)，gJPh分別為兩張影像重疊區(qū)域 各像素的增益補(bǔ)償，^為重疊區(qū)域的平均灰度； 進(jìn)行加權(quán)平均值融合時(shí)，采用以下公式，
其中，4和匕分別表示兩幅待拼接的影像，f表示重合后的影像，x，y為全景圖像素坐 標(biāo)值，Wl(x，y) *?2(x，y)分別表示第一幅影像和第二幅影像中重疊區(qū)域?qū)?yīng)像素（x，y)的 權(quán)值，滿足 W1(XJ)+w2 (x，y) = 1，(Kw1(Xj)〈1，0〈w2 (x，y)〈l。
2. 根據(jù)權(quán)利要求1所述低空無人機(jī)影像無地理編碼快速拼接方法，其特征在于：權(quán)值 采用帽函數(shù)確定如下，
其中，widthJP heighti分別表示第i幅影像的寬和高。
3. 根據(jù)權(quán)利要求2所述低空無人機(jī)影像無地理編碼快速拼接方法，其特征在于：進(jìn)行 加權(quán)平均值融合時(shí)，在進(jìn)行多幅影像拼接的情況下，設(shè)需要對num幅影像進(jìn)行拼接，采用以 下公式，
其中，fi表示待拼接的影像，k i (X，y)表示第i幅影像中重疊區(qū)域?qū)?yīng)像素（X，y)歸一 化后的的權(quán)值，i = 1，2,…，num。
4. 根據(jù)權(quán)利要求1或2或3所述低空無人機(jī)影像無地理編碼快速拼接方法，其特征在 于：步驟2中所述確定關(guān)鍵點(diǎn)位置，包括利用尺度空間函數(shù)的二次泰勒展開式用最小二乘 法進(jìn)行擬合，通過擬合計(jì)算極值進(jìn)一步確定關(guān)鍵點(diǎn)的精確位置和尺度，使關(guān)鍵點(diǎn)的最終坐 標(biāo)和尺度精確到子像素級。
5. 根據(jù)權(quán)利要求1或2或3所述低空無人機(jī)影像無地理編碼快速拼接方法，其特征在 于：步驟2中所述剔除不穩(wěn)定點(diǎn)，包括根據(jù)預(yù)設(shè)閾值進(jìn)行低對比度點(diǎn)的剔除，以及邊緣響應(yīng) 的去除。
【專利摘要】一種低空無人機(jī)影像無地理編碼快速拼接方法，從視頻中提取關(guān)鍵幀影像進(jìn)行無地理編碼的快速拼接生成全景圖像，包括從提取關(guān)鍵幀影像，得到所有待拼接的影像；對各待拼接的影像分別進(jìn)行特征點(diǎn)提取，包括建立多尺度空間，構(gòu)建金字塔影像，確定關(guān)鍵點(diǎn)位置，剔除不穩(wěn)定點(diǎn)，然后用SUSAN算法對關(guān)鍵點(diǎn)進(jìn)行篩選，得到最終的特征點(diǎn)；根據(jù)相應(yīng)參考圖像和待配準(zhǔn)圖像分別的特征點(diǎn)進(jìn)行特征匹配，對待拼接的影像采取增益補(bǔ)償法進(jìn)行平滑，然后對拼接的重疊區(qū)域進(jìn)行加權(quán)平均值融合消除接縫及鋸齒，拼接生成全景圖像。本發(fā)明技術(shù)方案可服務(wù)于應(yīng)急測繪、防災(zāi)減災(zāi)、國土監(jiān)測、突發(fā)事件監(jiān)控、石油部門管線布設(shè)及巡查和電力部門線路布設(shè)及電力線巡查等領(lǐng)域。
【IPC分類】G06T3-40
【公開號】CN104820965
【申請?zhí)枴緾N201510219314
【發(fā)明人】潘勵(lì), 談家英, 張羽飛
【申請人】武漢大學(xué)
【公開日】2015年8月5日
【申請日】2015年4月30日