本發(fā)明涉及三源遙感影像處理領域，尤其是一種能有效挖掘和提取不同模態(tài)間的優(yōu)勢特征，并探索多模態(tài)特征之間的深層交互關聯，從而實現高分類精度的基于混合mamba網絡的三源遙感影像融合分類方法。

背景技術：

1、近年來，隨著遙感技術的飛速進步和傳感器技術的日新月異，獲取多類型、多時相的遙感數據已成為可能。多源遙感數據具有不同的空間分辨率、光譜特性以及對地表特征的敏感性，使得它們能夠提供多角度、多層次的信息，為地表覆蓋分類提供了更加精準和全面的信息支持。高光譜圖像提供了每個像元在多個波段上的光譜曲線，其光譜分辨率通常能達到納米級別，使得高光譜數據能夠識別和分類具有細微光譜差異的地物。多光譜圖像則提供了少數幾個寬波段的光譜信息，對細微差異的地物區(qū)分能力較弱，但它具有較高的空間分辨率，能夠提供更清晰的地物空間細節(jié)。雷達遙感，作為一種主動遙感技術，能夠穿透云層和其他大氣干擾，具有全天時、全天候工作的特性。因此，通過多源數據融合，可以充分發(fā)揮不同數據源的互補優(yōu)勢，從而顯著提升地表覆蓋分類的精度和可靠性。多源遙感數據融合不僅能夠克服單一數據源的不足，還能為復雜環(huán)境下的地物識別和動態(tài)監(jiān)測提供更全面的解決方案，已成為土地利用/土地覆蓋分類研究領域的一個突出研究重點。

2、在早期研究階段，多源遙感數據融合分類主要依靠傳統(tǒng)算法。gu等人提出了一種基于多核學習模型的lidar與光學圖像融合分類的方法，將設計的多核學習模型整合進特征融合中，尋求最佳組合核，然后指導分類器的優(yōu)化，實現更好的分類效能。xia等人采用隨機子空間將提取到的高光譜和lidar特征分為若干個不相交的子集，然后獨立的對這些子集進行數據變換，從而為最后的分類提供更可靠的特征支持。rasti等人采用稀疏低秩技術從獲取到的高光譜與lidar的空間、高程特征中生成低秩融合特征，并送入分類器中獲得分類結果。然而，這些傳統(tǒng)方法的性能往往受限于手工設計特征的能力，在面對復雜的非線性數據時表現不佳，難以充分挖掘多源數據之間的復雜關系。

3、近年來，深度學習技術的快速發(fā)展為多源遙感圖像融合分類帶來了嶄新的思路。roy等人提出了一種基于cnn與形態(tài)特征的聯合學習機制用于hs與lidar圖像的融合分類，采用3d?cnn和形態(tài)膨脹和腐蝕分別提取高光譜的空譜聯合特征和lidar數據的高程特征。xu等人開發(fā)了一種三源融合分類框架(稱為fusion-cnn)，該網絡具有三個分支分別對應于hs、lidar以及極高分辨率圖像，最終將提取的三源特征相加以生成融合特征。然而，cnn固有的卷積核大小使其在建模長程依賴關系上存在著一定的局限性，因此，引入transformer可以通過它的自注意力機制捕捉遠距離像素之間的上下文信息。gao等人開發(fā)了一種基于跨尺度混合注意力的transformer用于hs和ms的融合分類，該方法采用光譜空間混合器提取hs和ms的特征，并在此過程中集成了尺度特征校準。yang等人在模態(tài)融合視覺transformer集成了跨模態(tài)注意力機制和光譜自注意力機制，降低了hs和lidar異質特征的對齊要求。song等人在多源transformer互補器中設計了一種多頭互補注意力機制用以提取圖像的局部紋理特征以及全局特征，實現特征的全面融合。然而，transformer的計算復雜度與輸入序列長度的平方成正比，這種高計算復雜度使其在處理大規(guī)模圖像數據時面臨顯著的效率瓶頸。最近，一種全新的深度學習模型mamba開始受到廣泛關注，它通過引入狀態(tài)空間模型和選擇性掃描機制，顯著降低了計算復雜度，同時保持了強大的序列建模能力。liao等人提出了一種基于mamba的網絡用于hs和lidar的融合分類，通過構建多模態(tài)mamba融合模塊探索兩個模態(tài)之間的相互關系。zhang等人在空間mamba和光譜mamba模塊中設計了cross-ssm并結合反向瓶頸結構來融合雙模態(tài)hs和lidar特征。ma等人開發(fā)了一種跨模態(tài)空間光譜相互作用mamba網絡用于ms和全色圖像的融合分類，通過設計多路徑選擇性掃描機制從不同的維度捕獲全局空間光譜特征。然而，mamba模型剛剛興起，其在多源遙感影像融合分類任務中的潛力還有待進一步挖掘。

4、總體來看，盡管近些年來多源遙感圖像融合分類技術得到一定程度的發(fā)展，但現有方法仍存在以下兩個問題：

5、(1)面向多種類型的可用遙感數據，目前大多數融合分類研究都聚焦于其中的某兩源遙感數據，對更多遙感數據的融合分類研究少之又少，這極大程度限制了多源遙感數據之間潛在互補信息的充分挖掘與利用。特別是在面對具有高異質性和復雜環(huán)境特征的地表場景時，單一或兩源數據的融合方法往往難以滿足應用需求。

6、(2)目前存在的雙源以及極少的三源遙感數據融合分類方法在提取聯合特征過程中往往面臨著信息冗余和關鍵特征丟失的問題，尤其當涉及到三源數據時，特征的維度進一步擴展，信息豐富度增加的同時也帶來了額外的冗余，導致特征之間的互補性未能得到充分利用，這在一定程度上削弱了分類性能。

技術實現思路

1、本發(fā)明是為了解決現有技術所存在的上述技術問題，提供一種能有效挖掘和提取不同模態(tài)間的優(yōu)勢特征，并探索多模態(tài)特征之間的深層交互關聯，從而實現高分類精度的三源遙感影像融合分類方法。

2、本發(fā)明的技術解決方案是：一種基于混合mamba網絡的三源遙感影像融合分類方法，按如下步驟進行：

3、步驟1.建立并初始化混合mamba網絡nhmf，所述nhmf包含4個用于特征提取的子網絡nhspa、nhspe、nmspa和nrspa，1個用于特征融合的子網絡ntf和1個用于分類的子網絡ncls；

4、步驟2.輸入高光譜影像的訓練集h、多光譜影像的訓練集m、雷達影像的訓練集r、人工已標注的像元點坐標集和標簽集，對nhmf進行訓練；

5、步驟3輸入待測高光譜影像h′、多光譜影像m′和雷達影像r￠，并采用已完成訓練的網絡nhmf完成像元分類。

6、所述步驟1具體如下：

7、步驟1.1建立并初始化子網絡nhspa，所述子網絡nhspa由3組2d卷積模塊構成，分別為conv1_0、conv1_1、conv1_2；

8、所述conv1_0包含1層2d卷積操作、1層batchnorm歸一化操作和1層激活操作，其中，卷積層中卷積核的大小為3×3，每個卷積核以1個像素為步長進行卷積運算，并選用參數為0.01的非線性激活函數leakyrelu作為激活函數進行運算；

9、所述conv1_1包含1層2d卷積操作、1層batchnorm歸一化操作和1層激活操作，其中，卷積層中卷積核的大小為3×3，每個卷積核以1個像素為步長進行卷積運算，并選用參數為0.01的非線性激活函數leakyrelu作為激活函數進行運算；

10、所述conv1_2包含1層2d卷積操作、1層batchnorm歸一化操作、1層激活操作和1層dropout操作，其中，卷積層中卷積核的大小為3×3，每個卷積核以1個像素為步長進行卷積運算，并選用參數為0.01的非線性激活函數leakyrelu作為激活函數以及參數為0.5的dropout進行運算；

11、步驟1.2建立并初始化子網絡nhspe，所述子網絡nhspe由1個雙向光譜mamba模塊bsm構成；

12、所述bsm進行下述7個步驟：

13、(a)將原始高光譜圖像輸入全局平均池化層gap中處理，得到特征其中，b為輸入網絡的批次大小，c1為高光譜圖像的通道數；

14、(b)采用reshape操作改變特征fgap的形狀，得到特征

15、(c)對特征fg′ap進行投影變換操作，投影變換采用2d卷積層conv2_0進行特征映射得到特征fpro，其中，卷積層中卷積核的大小為1×1，每個卷積核以1個像素為步長進行卷積運算；

16、(d)對特征fpro進行位置編碼，然后翻轉得到特征fp′ro；

17、(e)分別將特征fpro和fp′ro輸入參數共享的光譜mamba模塊中處理得到特征fs和fs′，其中，光譜mamba模塊由1個linear2_0層、1個1d卷積層conv2_1、1個采用非線性激活函數silu的激活函數層、1個s6_2_0層、1個linear2_1層、1個采用非線性激活函數silu的激活函數層、1個逐元素相乘操作和1個linear2_2層構成；

18、(f)將特征fs和fs′進行逐元素相加，并沿第二個維度進行求均值操作得到特征fm；

19、(g)將特征fm輸入2d卷積層conv2_2中處理得到bsm模塊的輸出特征fbsm，其中，卷積層中卷積核的大小為1×1，每個卷積核以1個像素為步長進行卷積運算；

20、步驟1.3建立并初始化子網絡nmspa，所述子網絡nmspa由2個中心感知mamba模塊、1個殘差連接、3組2d卷積模塊以及1個跨網絡殘差連接構成，2個中心感知mamba模塊分別為cam_1和cam_2，3組2d卷積模塊分別為conv3_0、conv3_1、conv3_2；

21、所述cam_1進行下述5個步驟：

22、(a1)將原始多光譜圖像ms輸入投影變換層處理得到特征fl，其中，投影變換層包含1個2d卷積層conv3_3和1個歸一化層layernorm3_0，conv3_3的卷積核大小為1×1，每個卷積核以1個像素為步長進行卷積運算；

23、(b1)對特征fl進行雙位置編碼，再進行1個參數為0.01的dropout操作，然后輸入歸一化層layernorm3_1中獲得特征fn；

24、(c1)將特征fn輸入線性層linear3_0中，并采用非線性激活函數silu處理得到門控分支特征fgate；

25、(d1)將特征fn輸入線性層linear3_1中，再由深度可分離卷積層dwconv3_0和非線性激活函數silu處理得到特征fdw，其中dwconv3_0卷積核的大小為3×3，每個卷積核以1個像素為步長進行卷積運算，特征fdw被送入四向中心螺旋掃描fdcss_0中進行特征提取，其中fdcss_0從當前patch的左上、左下、右下和右上四個像素出發(fā)，按照順時針螺旋的順序從外到內掃描整個圖像patch，并形成4條不同排列順序的token序列s1、s2、s3和s4，然后將4種不同的token序列分別輸入s6_3_0、s6_3_1、s6_3_2和s6_3_3模型中處理，并按照原始排列順序將序列重組為圖像特征fs1、fs2、fs3和fs4，按照公式(1)計算得到fdcss_0模塊的輸出特征ffdc，其中和為網絡自動學習的參數，然后將特征ffdc輸入歸一化層layernorm3_2中處理得到主分支特征fmain；

26、

27、(e1)根據公式(2)融合門控分支特征fgate和主分支特征fmain得到特征ffu，然后將特征ffu輸入線性層linear3_2中，并通過1個2d卷積層conv3_4處理后得到cam_1模塊的輸出特征fc1，其中，conv3_4的卷積核大小為1×1，每個卷積核以1個像素為步長進行卷積運算；

28、ffu＝fgate×fmain?(2)

29、所述cam_2進行下述5個步驟：

30、(a2)將cam_1模塊的輸出特征fc1輸入投影變換層處理得到特征fl′，其中，投影變換層包含1個2d卷積層conv3_5和1個歸一化層layernorm3_3，conv3_5的卷積核大小為1×1，每個卷積核以1個像素為步長進行卷積運算；

31、(b2)對特征fl′進行雙位置編碼，再進行1個參數為0.01的dropout操作，然后輸入歸一化層layernorm3_4中獲得特征fn′；

32、(c2)將特征fn′輸入線性層linear3_3中，并采用非線性激活函數silu處理得到門控分支特征fg′ate；

33、(d2)將特征fn′輸入線性層linear3_4中，再由深度可分離卷積層dwconv3_1和非線性激活函數silu處理得到特征fd′w，其中dwconv3_1卷積核的大小為3×3，每個卷積核以1個像素為步長進行卷積運算，特征fd′w被送入四向中心螺旋掃描fdcss_1中進行特征提取，其中fdcss_1從當前patch的左上、左下、右下和右上四個像素出發(fā)，按照順時針螺旋的順序從外到內掃描整個圖像patch，并形成4條不同排列順序的token序列s1′、s2′、s3′和s4′，然后將4種不同的token序列分別輸入s6_3_4、s6_3_5、s6_3_6和s6_3_7模型中處理，并按照原始排列順序將序列重組為圖像特征fs′1、fs′2、fs′3和fs′4，按照公式(3)計算得到fdcss_1模塊的輸出特征ff′dc，其中和為網絡自動學習的參數，然后將特征ff′dc輸入歸一化層layernorm3_5中處理得到主分支特征fm′ain；

34、

35、(e2)根據公式(4)融合門控分支特征fg′ate和主分支特征fm′ain得到特征ff′u，然后將特征ff′u輸入線性層linear3_5中，并通過1個2d卷積層conv3_6處理后得到cam_2模塊的輸出特征fc2，其中，conv3_6的卷積核大小為1×1，每個卷積核以1個像素為步長進行卷積運算；

36、ff′u＝fg′ate×fm′ain?(4)

37、所述殘差連接按照公式(5)進行計算，其中，θ1和θ2為網絡自動學習的參數；

38、fcam＝θ1×ms+θ2×fc2?(5)

39、所述conv3_0包含1層2d卷積操作、1層batchnorm歸一化操作和1層激活操作，其中，卷積層中卷積核的大小為3×3，每個卷積核以1個像素為步長進行卷積運算，并選用參數為0.01的非線性激活函數leakyrelu作為激活函數進行運算；

40、所述conv3_1包含1層2d卷積操作、1層batchnorm歸一化操作和1層激活操作，其中，卷積層中卷積核的大小為3×3，每個卷積核以1個像素為步長進行卷積運算，并選用參數為0.01的非線性激活函數leakyrelu作為激活函數進行運算；

41、所述conv3_2包含1層2d卷積操作、1層batchnorm歸一化操作、1層激活操作和1層dropout操作，其中，卷積層中卷積核的大小為3×3，每個卷積核以1個像素為步長進行卷積運算，并選用參數為0.01的非線性激活函數leakyrelu作為激活函數以及參數為0.5的dropout進行運算；

42、所述跨網絡殘差連接按照公式(6)進行計算，其中，θ3和θ4為網絡自動學習的參數，fconv3_2為卷積模塊conv3_2的輸出特征；

43、fcres＝θ3×fbsm+θ4×fconv3_2?(6)

44、步驟1.4建立并初始化子網絡nrspa，所述子網絡nrspa由3組2d卷積模塊構成，分別為conv4_0、conv4_1、conv4_2；

45、所述conv4_0包含1層2d卷積操作、1層batchnorm歸一化操作和1層激活操作，其中，卷積層中卷積核的大小為3×3，每個卷積核以1個像素為步長進行卷積運算，并選用參數為0.01的非線性激活函數leakyrelu作為激活函數進行運算；

46、所述conv4_1包含1層2d卷積操作、1層batchnorm歸一化操作和1層激活操作，其中，卷積層中卷積核的大小為3×3，每個卷積核以1個像素為步長進行卷積運算，并選用參數為0.01的非線性激活函數leakyrelu作為激活函數進行運算；

47、所述conv4_2包含1層2d卷積操作、1層batchnorm歸一化操作、1層激活操作和1層dropout操作，其中，卷積層中卷積核的大小為3×3，每個卷積核以1個像素為步長進行卷積運算，并選用參數為0.01的非線性激活函數leakyrelu作為激活函數以及參數為0.5的dropout進行運算；

48、步驟1.5建立并初始化用于特征融合的子網絡ntf，所述子網絡ntf包含1個三模態(tài)融合mamba模塊tfm，tfm由1個投影變換層、3個視覺mamba模塊、1個逐元素求和操作和1個2d卷積層conv5_0構成，其中，投影變換層包含1個2d卷積層conv5_1和1個歸一化層layernorm5_0，conv5_0和conv5_的卷積核大小都為1×1，每個卷積核以1個像素為步長進行卷積運算，3個視覺mamba模塊分別為vim_1、vim_2和vim_3；

49、所述子網絡ntf進行如下3個步驟：

50、(a)將高光譜特征fhspa、多光譜特征fmspa和雷達特征frspa輸入投影變換層中處理得到特征fh′spa、fm′spa和fr′spa；

51、(b)將特征fh′spa、fm′spa和fr′spa輸入3個視覺mamba模塊vim_1、vim_2和vim_3中處理；

52、所述vim_1、vim_2和vim_3同時進行下述8個步驟：

53、(b1)將特征fh′spa、fm′spa和fr′spa分別輸入歸一化層layernorm5_1、layernorm5_2和layernorm5_3中處理，然后分別添加位置編碼，得到特征fh、fm和fr；

54、(b2)將特征fh、fm和fr分別輸入歸一化層layernorm5_4、layernorm5_5和layernorm5_6中處理得到特征fhl、fml和frl；

55、(b3)將特征fhl輸入線性層linear5_0中，并采用非線性激活函數silu處理得到vim_1的門控分支特征fh_gate，將特征fml輸入線性層linear5_1中，并采用非線性激活函數silu處理得到vim_2的門控分支特征fm_gate，將特征frl輸入線性層linear5_2中，并采用非線性激活函數silu處理得到vim_3的門控分支特征fr_gate；

56、(b4)將特征fhl輸入線性層linear5_3中，再由深度可分離卷積層dwconv5_0和非線性激活函數silu處理得到特征fhdw，將特征fml輸入線性層linear5_4中，再由深度可分離卷積層dwconv5_1和非線性激活函數silu處理得到特征fmdw，將特征frl輸入線性層linear5_5中，再由深度可分離卷積層dwconv5_2和非線性激活函數silu處理得到特征frdw，其中dwconv5_0、dwconv5_1和dwconv5_2的卷積核大小都為3×3，每個卷積核以1個像素為步長進行卷積運算；

57、(b5)將特征fhdw、fmdw和frdw輸入跨模態(tài)選擇性掃描模塊cmss中進行深層建模，cmss將特征fhdw、fmdw和frdw每個位置{(i,j)|i＝(0,1,···,h-1),j＝(0,1,···,w-1)}的三個模態(tài)像素都視為一條掃描路徑，當圖像大小為h×w時，則有h×w條掃描路徑，按照公式(7)生成h×w個token序列，每個序列中只包含三個像素和分別來自不同像素的同一位置，其中d為投影變換后的特征維度；接著將h×w條token序列分別輸入對應的s6k＝0,1,...,h×w中進行特征建模，最終對輸出序列進行圖像重組操作，將所有輸出序列中位于相同順序的像素組合成圖像，得到cmss的輸出特征fhc、fmc和frc；

58、

59、(b6)將特征fhc輸入歸一化層layernorm5_7處理得到vim_1的主要分支特征fh_main，將特征fmc輸入歸一化層layernorm5_8處理得到vim_2的主要分支特征fm_main，將特征frc輸入歸一化層layernorm5_9處理得到vim_3的主要分支特征fr_main；

60、(b7)分別按照公式(8)(9)(10)計算得到vim_1、vim_2和vim_3的融合特征fv1、fv2和fv3；

61、fv1＝fh_gate×fh_main?(8)

62、fv2＝fm_gate×fm_main?(9)

63、fv3＝fr_gate×fr_main?(10)

64、(b8)將特征fv1、fv2和fv3分別輸入線性層linear5_6、linear5_7和linear5_8中處理得到特征fv′1、fv′2和fv′3，最終按照公式(11)(12)(13)計算得到vim_1、vim_2和vim_3的輸出特征fv1_out、fv2_out和fv3_out；

65、fv1_out＝fv′1+fh?(11)

66、fv2_out＝fv′2+fm?(12)

67、fv3_out＝fv′3+fr?(13)

68、(c)根據公式(14)融合特征fv1_out、fv2_out和fv3_out并得到子網絡ntf的輸出；

69、

70、步驟1.6建立并初始化子網絡ncls，所述子網絡ncls由2組卷積模塊構成，分別為conv6_0、conv6_1；

71、所述conv6_0包含1層2d卷積操作、1層batchnorm歸一化操作和1層激活操作，其中，卷積層中卷積核的大小為1×1，每個卷積核以1個像素為步長進行卷積運算，并選用參數為0.01的非線性激活函數leakyrelu作為激活函數進行運算；

72、所述conv6_1包含1個adaptiveavgpool池化操作、1層2d卷積操作和1層激活操作，其中，卷積層中卷積核的大小為1×1，每個卷積核以1個像素為步長進行卷積運算，并選用softmax作為激活函數進行運算。

73、所述步驟2具體如下：

74、步驟2.1.根據人工已標注的像元點坐標集，在高光譜影像的訓練集h中提取全部具有標簽的像元點集合在多光譜影像的訓練集m中提取全部具有標簽的像元點集合在雷達影像的訓練集r中提取全部具有標簽的像元點集合其中，表示xh中的第i1個像元點，表示xm中的第i1個像元點，表示xr中的第i1個像元點，n表示具有標簽的像元點總數；

75、步驟2.2.以xh的每個像元點為中心將h分割成一系列大小為p′p的高光譜像元塊集合以xm的每個像元點為中心將m分割成一系列大小為p′p的多光譜像元塊集合以xr的每個像元點為中心將r分割成一系列大小為p′p的雷達像元塊集合

76、將和作為融合分類神經網絡的訓練集，并將訓練集中的樣本整合為元組的形式作為網絡輸入，其中，表示訓練集中高光譜影像、多光譜影像和雷達影像所組成的像元對，它們具有相同的空間坐標，表示和對應的真實類別標簽，令迭代次數iter←1，執(zhí)行步驟2.3至步驟2.7；

77、步驟2.3.采用子網絡nhspa、nhspe、nmspa和nrspa提取訓練集的特征；

78、步驟2.3.1采用子網絡nhspa對高光譜影像的訓練集進行特征提取，得到高光譜影像的空間特征fhspa；

79、步驟2.3.2采用子網絡nhspe對高光譜影像的訓練集進行特征提取，得到高光譜影像的光譜特征fhspe；

80、步驟2.3.3采用子網絡nmspa對多光譜影像的訓練集進行特征提取，得到多光譜影像的空間特征fmspa；

81、步驟2.3.4采用子網絡nrspa對雷達影像的訓練集進行特征提取，得到雷達影像的空間特征frspa；

82、步驟2.4.采用子網絡ntf融合特征fhspa、fmspa和frspa得到聯合特征

83、步驟2.5.采用子網絡ncls對聯合特征進行分類，計算得出分類預測結果trpred；

84、步驟2.6.根據公式(14)的定義，計算交叉熵損失函數；

85、

86、其中，c代表類別數目，pn,c為預測概率，yn,c為標簽對應的概率向量；

87、步驟2.7若訓練集中的所有像元塊均已處理完畢，則轉入步驟2.8，否則，從訓練集中取出一組未處理的像元塊，返回步驟2.3；

88、步驟2.8令iter←iter+1，若迭代次數iter＞total_iter，則得到了已訓練好的混合mamba網絡nhmf，轉入步驟3，否則，利用基于隨機梯度下降法的反向誤差傳播算法和預測損失lce更新nhmf的參數，轉入步驟2.3重新處理訓練集中的所有像元塊，所述total_iter表示預設的迭代次數。

89、所述步驟3具體如下：

90、步驟3.1.在h′中提取全部像元點組成集合在m′中提取全部像元點組成集合在r￠中提取全部像元點組成集合其中，表示th的第i2個像元，表示tm的第i2個像元，表示tr的第i2個像元，u表示全部像元的總數；

91、步驟3.2.以th的每個像元點為中心將h′分割成一系列大小為p′p的高光譜像元塊集合，組成待測高光譜影像集合以tm的每個像元點為中心將m′分割成一系列大小為p′p的多光譜像元塊集合，組成待測多光譜影像集合以tr的每個像元點為中心將r￠分割成一系列大小為p′p的雷達像元塊集合，組成待測雷達影像集合

92、步驟3.3.采用訓練完備的子網絡nhspa、nhspe、nmspa和nrspa提取待測影像的特征；

93、步驟3.3.1采用訓練完備的子網絡nhspa對待測高光譜影像集合進行特征提取，得到高光譜影像的空間特征fh′spa；

94、步驟3.3.2采用訓練完備的子網絡nhspe對待測高光譜影像集合進行特征提取，得到高光譜影像的光譜特征fh′spe；

95、步驟3.3.3采用訓練完備的子網絡nmspa對待測多光譜影像集合進行特征提取，得到多光譜影像的空間特征fm′spa；

96、步驟3.3.4采用訓練完備的子網絡nrspa對待測雷達影像集合進行特征提取，得到雷達影像的空間特征fr′spa；

97、步驟3.4.采用訓練完備的子網絡ntf融合特征fh′spa、fm′spa和fr′spa得到聯合特征

98、步驟3.5.采用訓練完備的子網絡ncls對聯合特征進行分類，計算得出分類預測結果tepred。

99、與現有技術相比，本發(fā)明在特征提取和特征融合兩個層面上提高了多源遙感數據融合分類的準確性，體現在如下三個方面：第一，針對高光譜的優(yōu)勢光譜特征，提出了一種雙向光譜mamba模塊，通過從正反向同步建模高光譜的光譜序列信息，確保光譜信息的完整性和雙向特征的互補性，充分捕捉高光譜數據中的長程依賴關系和光譜變化規(guī)律；第二，提出一種中心感知mamba模塊提取多光譜圖像的優(yōu)勢空間特征，通過設計的四向中心螺旋掃描機制重點突出了中心像素在遙感分類任務中的核心地位，使模型能夠更有效地捕捉中心像素與其周圍上下文之間的相關性并強化中心像素的特征表達能力；第三，提出了一種三模態(tài)融合mamba模塊，通過設計的跨模態(tài)選擇性掃描機制將掃描路徑從單一模態(tài)擴展到多模態(tài)間，從而將多模態(tài)信息在生成階段就納入聯合建模的框架中，實現多模態(tài)信息的高效互補與增強。因此，本發(fā)明能有效提取不同數據源的優(yōu)勢特征、優(yōu)化特征融合策略、降低融合過程的冗余信息、聚焦關鍵變量，具有特征提取和融合質量好、檢測精度高的特點。實驗結果表明，本發(fā)明在houston2013和augsburg?city兩個數據集上的總體精度分別達到了92.13％和63.02％，有效提高了融合分類的精度。