一種無人機(jī)影像數(shù)據(jù)實時處理方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及無人機(jī)技術(shù)領(lǐng)域，更具體地說，涉及一種無人機(jī)影像數(shù)據(jù)實時處理方 法及系統(tǒng)。
【背景技術(shù)】
[0002] 針對當(dāng)前我國目前無人機(jī)行業(yè)的應(yīng)用日益擴(kuò)展和深入發(fā)展，無人機(jī)作為一種遙感 應(yīng)用的延伸平臺，在各行各業(yè)中均扮演著越來越重要的作用。從當(dāng)前的無人機(jī)集成使用方 式進(jìn)行分析，無人機(jī)的研發(fā)和無人機(jī)載荷的研發(fā)是各自分開的且兩者之間具有相當(dāng)強(qiáng)的獨(dú) 立性。由此，造成了無人機(jī)本身和無人機(jī)有效載荷彼此之間在除了機(jī)械結(jié)構(gòu)上的其他方 面耦合性的降低，尤其是某些飛機(jī)遙測信息的不開放性和有效載荷數(shù)據(jù)的信息時空非同步 性。
[0003] 目前無人機(jī)掛載的載荷主要集成的是光學(xué)成像傳感器，其數(shù)據(jù)類型主要包括連續(xù) 的航拍相片和視頻數(shù)據(jù)。由于，無人機(jī)載荷數(shù)據(jù)的處理與無人機(jī)載荷類型相關(guān)，在無人機(jī)實 際應(yīng)用過程中，針對連續(xù)的航拍相片，其數(shù)據(jù)處理的方式為：匹配必要的飛機(jī)POS(Position andOrientationSystem，低精度穩(wěn)定平臺和高精度姿態(tài)測量系統(tǒng)，由慣性測量裝置MU和 全球定位系統(tǒng)GPS組合而成）信息或者在精度和可靠性要求較高的情況下保證飛機(jī)遙測信 息和載荷數(shù)據(jù)的時空同步性以及使用模式的一致性，實時執(zhí)行對單幅影像數(shù)據(jù)處理和信息 提取；針對連續(xù)的視頻數(shù)據(jù)，其數(shù)據(jù)處理的方式為：在后處理模式下，可以對圖像和遙測進(jìn) 行分別保存，后期匹配后進(jìn)行拼接即可，此時只需要保證空間同步性，降低了對P0S系統(tǒng)的 要求。
[0004] 當(dāng)前的無人機(jī)在需要大范圍航拍的領(lǐng)域，若采用上述針對大范圍飛行后獲取的航 拍數(shù)據(jù)，以后處理的模式對航拍數(shù)據(jù)進(jìn)行批量處理的方式，在一定程度上滿足不了數(shù)據(jù)處 理結(jié)果及時性的要求；若依賴于要求遙測信息和載荷數(shù)據(jù)時空同步性下實時對連續(xù)的航拍 相片的處理，則對于數(shù)據(jù)鏈路和無人機(jī)載荷集成而言需要滿足較高的專業(yè)性要求，這與當(dāng) 前發(fā)展越來越迅速的無人機(jī)，尤其是無法開放遙測數(shù)據(jù)接口的多旋翼無人機(jī)的應(yīng)用沖突。
[0005] 因此，如何解決在遙測數(shù)據(jù)無法獲取或者時空匹配性較差，即無P0S系統(tǒng)要求的 情況下，實時對無人機(jī)的影像數(shù)據(jù)進(jìn)行處理成為目前亟待解決的問題。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的是提供一種無人機(jī)影像數(shù)據(jù)實時處理方法及系統(tǒng)，以解決在遙測數(shù) 據(jù)無法獲取或者時空匹配性較差的情況下，實時對無人機(jī)的影像數(shù)據(jù)進(jìn)行處理的問題。
[0007] 為實現(xiàn)上述目的，本發(fā)明提供了如下技術(shù)方案：
[0008] -種無人機(jī)影像數(shù)據(jù)實時處理方法，包括：
[0009] 獲取連續(xù)影像數(shù)據(jù)，提取所述連續(xù)影像數(shù)據(jù)的聯(lián)合特征信息，將所述聯(lián)合特征信 息與閾值進(jìn)行匹配，獲取成功匹配的特征匹配結(jié)果，其中，所述聯(lián)合特征信息中包括，F(xiàn)REAK 特征和SIFT特征；
[0010] 判斷是否有P0S信息輔助，若無P0S信息輔助，則利用所述特征匹配結(jié)果，基于運(yùn) 動估計結(jié)構(gòu)SFM對所述連續(xù)影像數(shù)據(jù)的姿態(tài)數(shù)據(jù)估計，并獲取多幀估計姿態(tài)數(shù)據(jù)；
[0011] 基于所述多幀估計姿態(tài)數(shù)據(jù)對所述連續(xù)影像數(shù)據(jù)中的每一幀圖像數(shù)據(jù)所屬航段 進(jìn)行分析，當(dāng)從某一幀圖像數(shù)據(jù)開始，連續(xù)預(yù)設(shè)幀數(shù)的幀圖像數(shù)據(jù)對應(yīng)的幀估計姿態(tài)數(shù)據(jù) 處于平移變化中，確定從所述某一幀圖像數(shù)據(jù)開始新航段，并進(jìn)行航段標(biāo)記；
[0012] 對后續(xù)的幀圖像數(shù)據(jù)基于所述SFM進(jìn)行所屬航段進(jìn)行分析，將屬于所述新航段的 幀圖像進(jìn)行航段標(biāo)記；
[0013] 依據(jù)標(biāo)記有航段標(biāo)記的幀圖像數(shù)據(jù)，利用所述特征匹配結(jié)果進(jìn)行圖像拼接，生成 對應(yīng)的拼接圖。
[0014] 優(yōu)選的，對后續(xù)的幀圖像數(shù)據(jù)基于所述SFM進(jìn)行所屬航段進(jìn)行分析之后，還包括：
[0015] 當(dāng)后續(xù)的幀圖像數(shù)據(jù)中連續(xù)預(yù)設(shè)幀數(shù)對應(yīng)的幀估計姿態(tài)數(shù)據(jù)偏離所述新航段，停 止對所述新航段的圖像拼接，并啟動所述新航段的校正信息對所述新航段對應(yīng)的拼接圖進(jìn) 行航段圖像的防射變換校正，獲取符合GIS要求的地理地圖；
[0016] 所述校正信息包括航跡信息，或者人工輸入的地理參數(shù)信息。
[0017] 優(yōu)選的，還包括：若判斷有P0S信息輔助，則獲取附帶有P0S屬性的圖像數(shù)據(jù)，基于 所述特征結(jié)果進(jìn)行圖像拼接，生成對應(yīng)的拼接圖。
[0018] 優(yōu)選的，獲取并提取連續(xù)影像數(shù)據(jù)的聯(lián)合特征信息，將所述聯(lián)合特征信息與預(yù)設(shè) 特征信息進(jìn)行匹配，獲取成功匹配的特征匹配結(jié)果，包括：
[0019] 通過實時鏈路或網(wǎng)絡(luò)轉(zhuǎn)發(fā)獲取所述無人機(jī)拍攝的連續(xù)影像數(shù)據(jù)，或者，直接獲取 預(yù)先存儲于地面站的連續(xù)影像數(shù)據(jù)；
[0020] 按照圖像幀格式導(dǎo)入所述連續(xù)影像數(shù)據(jù)，提取每一幀導(dǎo)入的幀圖像數(shù)據(jù)的聯(lián)合特 征信息并與閾值進(jìn)行匹配；
[0021] 獲取基于匹配成功的每一幀圖像數(shù)據(jù)的匹配結(jié)果生成成功匹配的特征匹配結(jié) 果；
[0022] 提取每一幀導(dǎo)入的幀圖像數(shù)據(jù)的聯(lián)合特征信息并與閾值進(jìn)行匹配的過程包括：
[0023] 提取當(dāng)前導(dǎo)入的一幀圖像數(shù)據(jù)中的FREAK特征進(jìn)行特征標(biāo)記，并基于特征匹配函 數(shù)將所述標(biāo)記后的FREAK特征與第一閾值進(jìn)行匹配；
[0024] 若匹配點(diǎn)數(shù)目不少于所述第一閾值，則確定當(dāng)前導(dǎo)入的一幀圖像數(shù)據(jù)成功匹配；
[0025] 若匹配點(diǎn)數(shù)目小于所述第一閾值，則切換至對所述當(dāng)前導(dǎo)入的一幀圖像數(shù)據(jù)中的 SIFT特征進(jìn)行提取并進(jìn)行標(biāo)記；
[0026] 基于所述特征函數(shù)對將所述標(biāo)記后的SIFT特征與第二閾值進(jìn)行匹配；
[0027] 若匹配點(diǎn)數(shù)目小于所述第二閾值，則依據(jù)前一次的特征匹配結(jié)果構(gòu)造所述特征函 數(shù)的匹配關(guān)系參數(shù)；
[0028] 若匹配點(diǎn)數(shù)目不少于所述第二閾值，則確定當(dāng)前導(dǎo)入的一幀圖像數(shù)據(jù)成功匹配；
[0029] 其中，在導(dǎo)入當(dāng)前的幀圖像數(shù)據(jù)的同時，對前一次的幀圖像數(shù)據(jù)進(jìn)行緩存。
[0030] 優(yōu)選的，所述FREAK特征中的特征描述子的構(gòu)成是由粗信息至精信息，在將所述 標(biāo)記后的FREAK特征與第一閾值進(jìn)行匹配，包括：
[0031] 將代表所述描述子的粗信息與第一閾值進(jìn)行匹配，若匹配中距離小于所述第一閾 值，則繼續(xù)將所述第一閾值與所述描述子的精信息進(jìn)行匹配。
[0032] -種無人機(jī)影像數(shù)據(jù)實時處理系統(tǒng)，包括：
[0033] 提取匹配裝置，用于獲取連續(xù)影像數(shù)據(jù)，提取所述連續(xù)影像數(shù)據(jù)的聯(lián)合特征信息， 將所述聯(lián)合特征信息與閾值進(jìn)行匹配，獲取成功匹配的特征匹配結(jié)果，其中，所述聯(lián)合特征 信息中包括，F(xiàn)REAK特征和SIFT特征；
[0034] 判斷估計裝置，用于判斷是否有P0S信息輔助，若無P0S信息輔助，則利用所述特 征匹配結(jié)果，基于運(yùn)動估計結(jié)構(gòu)SFM對所述連續(xù)影像數(shù)據(jù)的姿態(tài)數(shù)據(jù)估計，并獲取多幀估 計姿態(tài)數(shù)據(jù)；
[0035] 航段分析裝置，用于基于所述多幀估計姿態(tài)數(shù)據(jù)對所述連續(xù)影像數(shù)據(jù)中的每一幀 圖像數(shù)據(jù)所屬航段進(jìn)行分析，當(dāng)從某一幀圖像數(shù)據(jù)開始，連續(xù)預(yù)設(shè)幀數(shù)的幀圖像數(shù)據(jù)對應(yīng) 的幀估計姿態(tài)數(shù)據(jù)處于平移變化中，確定從所述某一幀圖像數(shù)據(jù)開始新航段，并進(jìn)行航段 標(biāo)記；
[0036] 航段判斷裝置，用于對后續(xù)的幀圖像數(shù)據(jù)基于所述SFM進(jìn)行所屬航段進(jìn)行分析， 將屬于所述新航段的幀圖像進(jìn)行航段標(biāo)記；
[0037] 拼接圖裝置，用于依據(jù)標(biāo)記有航段標(biāo)記的幀圖像數(shù)據(jù)，利用所述特征匹配結(jié)果進(jìn) 行圖像拼接，生成對應(yīng)的拼接圖。
[0038] 優(yōu)選的，還包括：
[0039] 校正裝置，用于當(dāng)后續(xù)的幀圖像數(shù)據(jù)中連續(xù)預(yù)設(shè)幀數(shù)對應(yīng)的幀估計姿態(tài)數(shù)據(jù)偏離 所述新航段，停止對所述新航段的圖像拼接，并啟動所述新航段的校正信息對所述新航段 對應(yīng)的拼接圖進(jìn)行航段圖像的防射變換校正，獲取符合GIS要求的地理地圖；
[0040] 所述校正信息包括航跡信息，或者人工輸入的地理參數(shù)信息。
[0041] 優(yōu)選的，所述判斷估計裝置，還包括：
[0042] 跳轉(zhuǎn)單元，用于若判斷有P0S信息輔助，則獲取附帶有P0S屬性的圖像數(shù)據(jù)和所述 特征結(jié)果跳轉(zhuǎn)至所述拼接圖裝置進(jìn)行圖像拼接，生成對應(yīng)的拼接圖。
[0043] 優(yōu)選的，所述提取匹配裝置，包括：
[0044] 特征提取單元，用于通過實時鏈路或網(wǎng)絡(luò)轉(zhuǎn)發(fā)獲取所述無人機(jī)拍攝的連續(xù)影像數(shù) 據(jù)，或者，直接獲取預(yù)先存儲于地面站的連續(xù)影像數(shù)據(jù)；
[0045] 特征匹配單元，用于按照圖像幀格式導(dǎo)入所述連續(xù)影像數(shù)據(jù)，提取每一幀導(dǎo)入的 幀圖像數(shù)據(jù)的聯(lián)合特征信息并與閾值進(jìn)行匹配；
[0046] 獲取單元，用于獲取基于匹配成功的每一幀圖像數(shù)據(jù)的匹配結(jié)果生成成功匹配的 特征匹配結(jié)果；
[0047] 所述特征匹配單元，包括：
[0048] 第一匹配模塊，用于提取當(dāng)前導(dǎo)入的一幀圖像數(shù)據(jù)中的FREAK特征進(jìn)行特征標(biāo) 記，并基于特征匹配函數(shù)將所述標(biāo)記后的FREAK特征與第一閾值進(jìn)行匹配；
[0049] 第一確定模塊，用于若匹配點(diǎn)數(shù)目不少于所述閾值，則確定當(dāng)前導(dǎo)入的一幀圖像 數(shù)據(jù)成功匹配；
[0050] 切換模塊，用于若匹配點(diǎn)數(shù)目小于所述閾值，則切換至對所述當(dāng)前導(dǎo)入的一幀圖 像數(shù)據(jù)中的SIFT特征進(jìn)行提取并進(jìn)行標(biāo)記；
[0051] 第二匹配模塊，用于基于所述特征函數(shù)對將所述標(biāo)記后的SIFT特征與第二閾值 進(jìn)行匹配；
[0052] 構(gòu)造模塊，用于若匹配點(diǎn)數(shù)目小于所述閾值，則依據(jù)前一次的特征匹配結(jié)果構(gòu)造 所述特征