本發(fā)明涉及圖像數(shù)據(jù)處理或產(chǎn)生，尤其涉及光譜與空間聚合引導(dǎo)的遙感高光譜銳化保真方法及系統(tǒng)。

背景技術(shù)：

1、遙感高光譜成像是通過許多連續(xù)的光譜波段來獲取地球表面的特征。它廣泛地應(yīng)用于國(guó)土監(jiān)測(cè)、農(nóng)林調(diào)查、災(zāi)害預(yù)警、軍事國(guó)防等領(lǐng)域。然而，高光譜成像過程有著天然的困難，難以平衡空間分辨率和光譜分辨率。通常為實(shí)現(xiàn)較高的光譜分辨率，勢(shì)必會(huì)導(dǎo)致過低的空間分辨率，而有限的空間分辨率會(huì)導(dǎo)致端元的光譜混合，影響基于高光譜圖像技術(shù)的檢測(cè)性能。為獲得高空間分辨率高光譜的圖像，融合低空間分辨率的高光譜圖像與全色圖像的全色銳化的技術(shù)應(yīng)運(yùn)而生。

2、傳統(tǒng)的高光譜圖像銳化融合超分辨率算法多依賴于基于矩陣分解、稀疏表示和深度學(xué)習(xí)的技術(shù)框架。然而，這些方法在建模高光譜數(shù)據(jù)復(fù)雜的光譜與空間特性時(shí)存在顯著局限性：一方面，現(xiàn)有的方法難以充分捕捉多光譜通道間的相似相關(guān)性，容易忽略豐富的光譜信息，導(dǎo)致光譜信息的失真；另一方面，現(xiàn)有深度學(xué)習(xí)方法往往未考慮兩種數(shù)據(jù)來源圖像的信息，對(duì)信息的挖掘、交互能力有限，導(dǎo)致融合結(jié)果難以同時(shí)保證光譜和空間信息的充分利用。此外，傳統(tǒng)方法在多傳感器、多場(chǎng)景數(shù)據(jù)適應(yīng)性方面表現(xiàn)不佳，難以滿足實(shí)際應(yīng)用需求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是提供光譜與空間聚合引導(dǎo)的遙感高光譜銳化保真方法及系統(tǒng)，設(shè)計(jì)空間與光譜特征聚合、交互機(jī)制，致力于實(shí)現(xiàn)在保證光譜維度完整性的前提下達(dá)成空間分辨率提升，構(gòu)建具有噪聲免疫特性的融合模塊，有效應(yīng)對(duì)多源數(shù)據(jù)差異帶來的干擾，為遙感高光譜圖像的分析和實(shí)際應(yīng)用提供強(qiáng)有力技術(shù)支撐。

2、本發(fā)明是通過以下技術(shù)方案予以實(shí)現(xiàn)：

3、一種光譜與空間聚合引導(dǎo)的遙感高光譜銳化保真方法，其包括如下步驟：

4、s1：將訓(xùn)練集中的遙感高光譜圖像的原始空間劃分為多個(gè)超空間像素網(wǎng)格，并通過聚類迭代的方式獲得相應(yīng)的超空間像素、空間像素親和力矩陣，將訓(xùn)練集中的遙感高光譜圖像的光譜通道劃分為多個(gè)超光譜通道網(wǎng)格，并通過聚類迭代的方式獲得相應(yīng)的超光譜通道及光譜親和力矩陣；

5、s2：將遙感高光譜圖像的原始空間像素與超空間像素、超光譜通道進(jìn)行信息交互，得到超空間像素的交互特征，將遙感高光譜圖像的原始光譜通道與超光譜通道、超空間像素進(jìn)行信息交互，得到超光譜通道的交互特征；

6、s3：基于超空間像素的交互特征依據(jù)空間像素親和力矩陣選取與每個(gè)超空間像素最為相似的多個(gè)像素，依據(jù)自注意力機(jī)制得到每個(gè)超空間像素更新后的超空間特征，基于超光譜通道的交互特征依據(jù)光譜親和力矩陣選取與每個(gè)超光譜通道最為相似的多個(gè)光譜通道，依據(jù)自注意力機(jī)制得到每個(gè)超光譜通道更新后的超光譜特征；

7、s4：將所有超空間像素更新后的超空間特征相聚合，得到更新后的超空間特征，將所有超光譜通道更新后的超光譜特征聚合，得到更新后的超光譜特征；

8、s5：將更新后的超空間特征與更新后的超光譜特征進(jìn)行融合，得到遙感高光譜銳化保真圖像。

9、優(yōu)化的，步驟s1中采用如下方法獲得超空間像素、空間像素親和力矩陣：

10、s11：將訓(xùn)練集中的遙感高光譜圖像的原始空間規(guī)則的劃分網(wǎng)格，通過采樣得到原始的單個(gè)像素值及原始空間像素親和力矩陣；

11、s12：經(jīng)過設(shè)定次數(shù)的聚類迭代后得到空間像素親和力矩陣，將空間像素親和力矩陣中的所有空間像素加權(quán)得到超空間像素。

12、優(yōu)化的，步驟s1中采用如下方法獲得超光譜通道及光譜親和力矩陣：

13、s13：將訓(xùn)練集中的遙感高光譜圖像的光譜通道規(guī)則的劃分網(wǎng)格，得到原始光譜親和力矩陣；

14、s14：經(jīng)過設(shè)定次數(shù)的聚類迭代后得到光譜親和力矩陣，將光譜親和力矩陣中的所有光譜通道加權(quán)得到超光譜通道。

15、進(jìn)一步，步驟s2中采用如下方法將遙感高光譜圖像的原始空間像素與超空間像素、超光譜通道進(jìn)行信息交互，得到超空間像素的交互特征：

16、s21：根據(jù)線性投影計(jì)算超空間像素的查詢、超空間像素的鍵及超空間像素的值，然后利用交互注意力機(jī)制根據(jù)式（1）計(jì)算得到原始空間像素與超空間像素進(jìn)行信息交互后的初步超空間像素交互特征：

17、（1）；

18、其中：表示初步超空間像素交互特征，表示歸一化指數(shù)函數(shù)，表示超空間像素的查詢，表示超空間像素的鍵，表示超空間像素的值，表示縮放因子，表示矩陣轉(zhuǎn)置；

19、s22：從原始空間像素特征中重新獲取超空間像素的查詢，并將超光譜通道的鍵作為鍵，將初步超空間像素交互特征作為值，利用交互注意力機(jī)制將初步信息交互后的超空間像素特征與原始空間進(jìn)一步進(jìn)行信息交互，得到原始空間像素與超空間像素、超光譜通道進(jìn)行信息交互后的超空間像素的交互特征。

20、進(jìn)一步，步驟s2中采用如下方法將遙感高光譜圖像的原始光譜通道與超光譜通道、超空間像素進(jìn)行信息交互，得到超光譜通道的交互特征：

21、s23：根據(jù)線性投影計(jì)算超光譜通道的查詢、超光譜通道的鍵及光譜通道的值，然后利用交互注意力機(jī)制根據(jù)式（2）計(jì)算得到原始光譜通道與超光譜通道進(jìn)行信息交互后的初步超光譜通道交互特征：

22、（2）；

23、其中：表示初步超光譜通道交互特征，表示歸一化指數(shù)函數(shù)，表示超光譜通道的查詢，表示超光譜通道的鍵，表示超光譜通道的值，表示縮放因子，表示矩陣轉(zhuǎn)置；

24、s24：從原始光譜通道中重新獲取超光譜通道的查詢，并將超空間像素的鍵作為鍵，將初步超光譜通道交互特征作為值，利用交互注意力機(jī)制將初步信息交互后的超光譜通道特征與原始光譜通道進(jìn)一步進(jìn)行信息交互，得到原始光譜通道與超光譜通道、超空間像素進(jìn)行信息交互的超光譜通道的交互特征。

25、進(jìn)一步，步驟s3中采用如下方法得到每個(gè)超空間像素更新后的超空間特征：

26、s31：將空間像素親和力矩陣中的像素按照由大到小的順序進(jìn)行排序，選擇前個(gè)像素依照自注意力機(jī)制通過線性變換得到自注意空間像素的查詢、自注意空間像素的鍵、自注意空間像素的值，然后再根據(jù)式（3）對(duì)超像素內(nèi)部進(jìn)行注意力計(jì)算，得到超空間像素內(nèi)部注意力計(jì)算后的特征：

27、（3）；

28、其中：表示超空間像素內(nèi)部注意力計(jì)算后的特征，表示自注意空間像素的查詢，表示自注意空間像素的鍵，表示自注意空間像素的值；

29、s32：基于超空間像素內(nèi)部注意力計(jì)算后的特征重新進(jìn)行投影計(jì)算，得到每個(gè)超空間像素更新后的超空間特征。

30、進(jìn)一步，步驟s3中采用如下方法得到每個(gè)超光譜通道更新后的超光譜特征：

31、s33：將光譜親和力矩陣中的光譜通道按照由大到小的順序進(jìn)行排序，選擇前個(gè)光譜通道依照自注意力機(jī)制通過線性變換得到自注意光譜通道的查詢、自注意光譜通道的鍵、自注意光譜通道的值，然后再根據(jù)式（4）對(duì)光譜通道內(nèi)部進(jìn)行注意力計(jì)算，得到超光譜通道內(nèi)部注意力計(jì)算后的特征：

32、（4）；

33、其中：表示超光譜通道內(nèi)部注意力計(jì)算后的特征，表示自注意光譜通道的查詢，表示自注意光譜通道的鍵，表示自注意光譜通道的值；

34、s34：基于超光譜通道內(nèi)部注意力計(jì)算后的特征重新進(jìn)行投影計(jì)算，得到每個(gè)超光譜通道更新后的超光譜特征。

35、進(jìn)一步，步驟s32中將基于超空間像素內(nèi)部注意力計(jì)算后的特征根據(jù)式（5）重新進(jìn)行投影計(jì)算，得到每個(gè)超空間像素更新后的超空間特征：

36、（5）；

37、其中：表示每個(gè)超空間像素更新后的超空間特征，表示超空間像素內(nèi)進(jìn)行自注意信息交互前的特征所對(duì)應(yīng)的權(quán)重矩陣。

38、進(jìn)一步，步驟s34中將基于超光譜通道內(nèi)部注意力計(jì)算后的特征根據(jù)式（6）重新進(jìn)行投影計(jì)算，得到每個(gè)超光譜通道更新后的超光譜特征：

39、（6）；

40、其中：表示每個(gè)超光譜通道更新后的超光譜特征，表示超光譜通道內(nèi)進(jìn)行自注意信息交互前的特征所對(duì)應(yīng)的權(quán)重矩陣。

41、一種光譜與空間聚合引導(dǎo)的遙感高光譜銳化保真系統(tǒng)，用于執(zhí)行如上述任意一項(xiàng)光譜與空間聚合引導(dǎo)的遙感高光譜銳化保真方法，其包括超空間聚類模塊、超光譜聚類模塊、超空間交互注意力模塊、超光譜交互注意力模塊、超空間自注意力模塊、超光譜自注意力模塊、超空間特征聚合模塊、超光譜特征聚合模塊及遙感高光譜銳化保真圖像融合模塊；

42、超空間聚類模塊用于將訓(xùn)練集中的遙感高光譜圖像的原始空間劃分為多個(gè)超空間像素網(wǎng)格，并通過聚類迭代獲得相應(yīng)的超空間像素、空間像素親和力矩陣；

43、超光譜聚類模塊用于將訓(xùn)練集中的遙感高光譜圖像的光譜通道劃分為多個(gè)超光譜通道網(wǎng)格，并通過聚類迭代獲得相應(yīng)的超光譜通道及光譜親和力矩陣；

44、超空間交互注意力模塊用于將遙感高光譜圖像的原始空間像素與超空間像素、超光譜通道進(jìn)行信息交互，得到超空間像素的交互特征；

45、超光譜自注意力模塊用于將遙感高光譜圖像的原始光譜通道與超光譜通道、超空間像素進(jìn)行信息交互，得到超光譜通道的交互特征；

46、超空間特征聚合模塊用于將所有超空間像素更新后的超空間特征相聚合，得到更新后的超空間特征；

47、超光譜特征聚合模塊用于將所有超光譜通道更新后的超光譜特征聚合，得到更新后的超光譜特征；

48、遙感高光譜銳化保真圖像融合模塊用于將更新后的超空間特征與更新后的超光譜特征進(jìn)行融合，得到遙感高光譜銳化保真圖像。

49、發(fā)明的有益效果：

50、本發(fā)明提供的光譜與空間聚合引導(dǎo)的遙感高光譜銳化保真方法及系統(tǒng)，具有如下優(yōu)點(diǎn)：

51、（1）、采用光譜聚類迭代與空間聚類迭代的方式，有效地獲取到光譜內(nèi)部相似區(qū)域的特征信息以及空間像素內(nèi)部相似區(qū)域的特征信息，充分地利用到了光譜與空間相似區(qū)域的信息。

52、（2）、在采用相似光譜與空間區(qū)域聚類的基礎(chǔ)上，采用交互注意力機(jī)制構(gòu)成超光譜通道與超空間像素，促進(jìn)遠(yuǎn)距離相似區(qū)域信息的交互，增強(qiáng)了信息的利用效率。

53、（3）、在自注意力機(jī)制的基礎(chǔ)上，選擇最具有相關(guān)性的特征信息，確保了信息交互的高效集中，消除了干擾及多余的計(jì)算。

54、（4）、進(jìn)行雙分支交互引導(dǎo)，能夠更加有效地利用好全色圖像和高光譜圖像數(shù)據(jù)的空間信息及光譜信息，更能夠?qū)崿F(xiàn)更好的光譜與空間的保真效果。