本發(fā)明屬于圖像處理，尤其涉及一種基于遷移學(xué)習(xí)的多波段高光譜圖像融合方法。

背景技術(shù)：

1、快照式微透鏡陣列顯微高光譜成像系統(tǒng)(圖1)基于共光路設(shè)計(jì)原理，能夠在不進(jìn)行掃描的情況下同時(shí)獲取低空間分辨率的高光譜圖像（lr-hsi）和高空間分辨率的灰度圖像（hr-pan）。然而，由于該系統(tǒng)無(wú)法直接獲得相應(yīng)的高空間分辨率的高光譜圖像（hr-hsi），因此一種可行的方法是利用掃描式顯微高光譜成像系統(tǒng)采集同一目標(biāo)樣本的hr-his，并將其作為參考圖像。通過(guò)對(duì)參考圖像執(zhí)行空間維度與光譜維度上的下采樣處理，可以模擬出類似于快照式微透鏡陣列顯微高光譜成像系統(tǒng)所采集的數(shù)據(jù)特征。采用此合成數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練以得到一個(gè)初始模型，隨后通過(guò)少量實(shí)際采集的數(shù)據(jù)，并運(yùn)用無(wú)監(jiān)督學(xué)習(xí)方法對(duì)該模型進(jìn)行微調(diào)優(yōu)化，以實(shí)現(xiàn)針對(duì)于快照式微透鏡陣列顯微高光譜成像系統(tǒng)的高效且精確的圖像融合。

2、當(dāng)前，高光譜圖像融合的研究主要集中在公開且可獲取的遙感數(shù)據(jù)集上，而針對(duì)顯微高光譜圖像融合的研究則相對(duì)較少?？煺帐轿⑼哥R陣列顯微高光譜成像系統(tǒng)與掃描式顯微高光譜成像系統(tǒng)之間存在光譜波段的數(shù)目差異，要求對(duì)使用掃描式顯微高光譜成像系統(tǒng)采集的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練時(shí)，必須調(diào)整光譜維度以匹配掃描式顯微高光譜成像系統(tǒng)的特性。然而，這種調(diào)整可能引入光譜失真或信息損失等問(wèn)題，從而影響最終的圖像融合精度，同時(shí)如果后續(xù)完善的快照式微透鏡陣列顯微高光譜成像系統(tǒng)具備不同的光譜波段時(shí)，還需重新訓(xùn)練，耗費(fèi)計(jì)算資源。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明創(chuàng)造旨在提供一種基于遷移學(xué)習(xí)的多波段高光譜圖像融合方法，以解決由于上述問(wèn)題導(dǎo)致的快照式微透鏡陣列顯微高光譜成像系統(tǒng)在圖像融合過(guò)程中的模型性能不佳的難題，本發(fā)明在保證圖像融合性能的前提下，可以適應(yīng)不同多波段數(shù)目的數(shù)據(jù)集，且可以利用現(xiàn)有的訓(xùn)練模型以節(jié)省計(jì)算資源。

2、為達(dá)到上述目的，本發(fā)明創(chuàng)造的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、一種基于遷移學(xué)習(xí)的多波段高光譜圖像融合方法，具體包括如下步驟：

4、s1：基于掃描式顯微高光譜成像系統(tǒng)采集目標(biāo)的高分辨率高光譜圖像集；

5、s2：對(duì)高分辨率高光譜圖像集分別進(jìn)行光譜降維運(yùn)算和空間降維運(yùn)算，獲得預(yù)處理圖像組；預(yù)處理圖像組包括一一對(duì)應(yīng)的第一透過(guò)率數(shù)據(jù)和第二透過(guò)率數(shù)據(jù)；

6、s3：將預(yù)處理圖像組按比例劃分，獲得第一數(shù)據(jù)集和第二數(shù)據(jù)集；

7、s4：基于第一數(shù)據(jù)集中的第一透過(guò)率數(shù)據(jù)和第二透過(guò)率數(shù)據(jù)，獲得待處理數(shù)據(jù)集；

8、s5：對(duì)待處理數(shù)據(jù)集所包含的各待處理數(shù)據(jù)進(jìn)行分割，獲得第一子數(shù)據(jù)集；

9、s6：利用第一子數(shù)據(jù)集對(duì)預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，獲得最佳模型；

10、s7：用第二數(shù)據(jù)集替換第一數(shù)據(jù)集，重復(fù)步驟s4-s5，獲得第二子數(shù)據(jù)集；

11、s8：將第二子數(shù)據(jù)集按比例劃分為訓(xùn)練子數(shù)據(jù)集和待預(yù)測(cè)子數(shù)據(jù)集，基于無(wú)監(jiān)督學(xué)習(xí)方法，利用訓(xùn)練子數(shù)據(jù)集對(duì)最佳模型進(jìn)行優(yōu)化，獲得最佳預(yù)測(cè)模型；

12、s9：將待預(yù)測(cè)子數(shù)據(jù)集輸入至最佳預(yù)測(cè)模型進(jìn)行預(yù)測(cè)，獲得預(yù)測(cè)子數(shù)據(jù)集；

13、s10：將預(yù)測(cè)子數(shù)據(jù)集所包含的各預(yù)測(cè)子數(shù)據(jù)沿光譜維度進(jìn)行連接，獲得最終的高分辨率高光譜圖像。

14、進(jìn)一步的，在步驟s1中，掃描式顯微高光譜成像系統(tǒng)以鎢燈作為光源，在相同的物鏡倍率下對(duì)目標(biāo)進(jìn)行采集。

15、進(jìn)一步的，在步驟s2中，對(duì)高分辨率高光譜圖像進(jìn)行光譜降維運(yùn)算，獲得灰度圖像，對(duì)灰度圖像進(jìn)行透過(guò)率轉(zhuǎn)換，獲得第一透過(guò)率數(shù)據(jù)；對(duì)高分辨率高光譜圖像進(jìn)行空間降維運(yùn)算，獲得低分辨率高光譜圖像，對(duì)低分辨率高光譜圖像進(jìn)行透過(guò)率轉(zhuǎn)換，獲得第二透過(guò)率數(shù)據(jù)。

16、進(jìn)一步的，在步驟s5中，對(duì)待處理數(shù)據(jù)進(jìn)行分割的具體步驟為：設(shè)待處理數(shù)據(jù)包含的波段數(shù)目為n，通過(guò)下式將待處理數(shù)據(jù)劃分為多個(gè)m波段的顯微高光譜圖像數(shù)據(jù)，n>m，獲得第一子數(shù)據(jù)集，并分別計(jì)算其灰度圖像；

17、；

18、其中，為向上取整運(yùn)算，為第一子數(shù)據(jù)集所包含的子數(shù)據(jù)的個(gè)數(shù)。

19、進(jìn)一步的，相鄰兩個(gè)子數(shù)據(jù)至少包含的重合波段數(shù)：

20、；

21、其中，為向下取整運(yùn)算。

22、進(jìn)一步的，在步驟s10的連接過(guò)程中，通過(guò)最小二乘法依次對(duì)相鄰的預(yù)測(cè)子數(shù)據(jù)的重疊區(qū)域的波段值擬合，獲取各重疊區(qū)域的最佳波段值，并利用各重疊區(qū)域的最佳波段值對(duì)各重疊區(qū)域的當(dāng)前波段值進(jìn)行替換，獲得最終的高分辨率高光譜圖像。

23、與現(xiàn)有技術(shù)相比，本發(fā)明創(chuàng)造能夠取得如下有益效果：

24、（1）本發(fā)明創(chuàng)造所述的基于遷移學(xué)習(xí)的多波段高光譜圖像融合方法，提高了快照式微透鏡陣列顯微高光譜成像系統(tǒng)的顯微高光譜圖像融合的高效性和準(zhǔn)確性，并適應(yīng)不同波段數(shù)目的數(shù)據(jù)集，具有廣泛的適用性，無(wú)需每次都重新調(diào)整預(yù)訓(xùn)練數(shù)據(jù)集，顯著節(jié)省了計(jì)算資源。

25、（2）本發(fā)明創(chuàng)造所述的基于遷移學(xué)習(xí)的多波段高光譜圖像融合方法，結(jié)合多種技術(shù)手段，形成綜合性的解決方案，可以更好地應(yīng)對(duì)復(fù)雜的數(shù)據(jù)融合任務(wù)，具備更高的泛化能力。

技術(shù)特征：

1.一種基于遷移學(xué)習(xí)的多波段高光譜圖像融合方法，其特征在于：具體包括如下步驟：

2.根據(jù)權(quán)利要求1所述的基于遷移學(xué)習(xí)的多波段高光譜圖像融合方法，其特征在于：在步驟s1中，掃描式顯微高光譜成像系統(tǒng)以鎢燈作為光源，在相同的物鏡倍率下對(duì)目標(biāo)進(jìn)行采集。

3.根據(jù)權(quán)利要求1所述的基于遷移學(xué)習(xí)的多波段高光譜圖像融合方法，其特征在于：在步驟s2中，對(duì)高分辨率高光譜圖像進(jìn)行光譜降維運(yùn)算，獲得灰度圖像，對(duì)灰度圖像進(jìn)行透過(guò)率轉(zhuǎn)換，獲得第一透過(guò)率數(shù)據(jù)；對(duì)高分辨率高光譜圖像進(jìn)行空間降維運(yùn)算，獲得低分辨率高光譜圖像，對(duì)低分辨率高光譜圖像進(jìn)行透過(guò)率轉(zhuǎn)換，獲得第二透過(guò)率數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的基于遷移學(xué)習(xí)的多波段高光譜圖像融合方法，其特征在于：在步驟s5中，對(duì)待處理數(shù)據(jù)進(jìn)行分割的具體步驟為：設(shè)待處理數(shù)據(jù)包含的波段數(shù)目為n，通過(guò)下式將待處理數(shù)據(jù)劃分為多個(gè)m波段的顯微高光譜圖像數(shù)據(jù)，n>m，獲得第一子數(shù)據(jù)集；

5.根據(jù)權(quán)利要求4所述的基于遷移學(xué)習(xí)的多波段高光譜圖像融合方法，其特征在于：相鄰兩個(gè)子數(shù)據(jù)至少包含的重合波段數(shù)：

6.根據(jù)權(quán)利要求1所述的基于遷移學(xué)習(xí)的多波段高光譜圖像融合方法，其特征在于：在步驟s10的連接過(guò)程中，通過(guò)最小二乘法依次對(duì)相鄰的預(yù)測(cè)子數(shù)據(jù)的重疊區(qū)域的波段值擬合，獲取各重疊區(qū)域的最佳波段值，并利用各重疊區(qū)域的最佳波段值對(duì)各重疊區(qū)域的當(dāng)前波段值進(jìn)行替換，獲得最終的高分辨率高光譜圖像。

技術(shù)總結(jié)
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于遷移學(xué)習(xí)的多波段高光譜圖像融合方法。包括：S1：采集目標(biāo)的高分辨率高光譜圖像集；S2：對(duì)高分辨率高光譜圖像集進(jìn)行處理；S3：劃分預(yù)處理圖像組，獲得第一和第二數(shù)據(jù)集；S4：獲得待處理數(shù)據(jù)集；S5：對(duì)各待處理數(shù)據(jù)進(jìn)行分割；S6：對(duì)預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練；S7：重復(fù)步驟S4?S5，獲得第二子數(shù)據(jù)集；S8：基于無(wú)監(jiān)督學(xué)習(xí)方法，利用訓(xùn)練子數(shù)據(jù)集對(duì)最佳模型進(jìn)行微調(diào)，獲得最佳預(yù)測(cè)模型；S9：將待預(yù)測(cè)子數(shù)據(jù)集輸入至最佳預(yù)測(cè)模型進(jìn)行預(yù)測(cè)；S10：將各預(yù)測(cè)子數(shù)據(jù)沿光譜維度進(jìn)行連接，獲得最終的高分辨率高光譜圖像。本發(fā)明在保證圖像融合性能的前提下，適應(yīng)不同多波段數(shù)目的數(shù)據(jù)集。

技術(shù)研發(fā)人員：馮樹龍,王金雨,王明佳,孫慈,宋楠,楊晉,易子平,姜曉彤,王添一
受保護(hù)的技術(shù)使用者：中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15