本發(fā)明屬于圖像標(biāo)簽分類，具體涉及一種基于狀態(tài)空間模型的多標(biāo)簽遙感場景分類方法及系統(tǒng)。

背景技術(shù)：

1、遙感圖像具有豐富的空間和光譜信息，能夠提供關(guān)于地球表面物體、土地利用及環(huán)境變化等方面的寶貴數(shù)據(jù)。由于遙感圖像中的場景通常包含多種地物類別，傳統(tǒng)的單標(biāo)簽分類方法往往難以準(zhǔn)確描述遙感圖像的多樣性和復(fù)雜性。因此，多標(biāo)簽分類方法在遙感圖像分析中得到了廣泛關(guān)注，其目標(biāo)是從遙感影像中自動識別和分類多種地物覆蓋目標(biāo)。在多標(biāo)簽遙感場景分類中，每幅遙感圖像包含多個標(biāo)簽，表示圖像中存在的不同地物類別。與單標(biāo)簽分類任務(wù)相比，多標(biāo)簽分類需要同時預(yù)測圖像中多個標(biāo)簽的存在與否，這對模型的學(xué)習(xí)能力和泛化能力提出了更高的要求。

2、目前多標(biāo)簽遙感場景分類的方法目前可以分為兩種類型：特征增強型方法和語義關(guān)聯(lián)型方法。特征增強型方法通過整合諸如注意力機制、卷積神經(jīng)網(wǎng)絡(luò)和多尺度特征提取等先進技術(shù)，來提升模型對遙感圖像特征的學(xué)習(xí)能力。借助這些技術(shù)，模型能夠更加精準(zhǔn)地提取圖像中的細節(jié)信息，從而有效地區(qū)分不同的地物目標(biāo)。而語義關(guān)聯(lián)型方法則重點關(guān)注標(biāo)簽間的相互關(guān)系，利用地物類別之間的內(nèi)在聯(lián)系來優(yōu)化分類效果。例如，在遙感圖像中，碼頭通常與水域同時出現(xiàn)，而沙漠區(qū)域則幾乎不包含水體，這些空間和語義上的聯(lián)系為模型提供了有益的上下文信息，使得模型能夠更合理地預(yù)測圖像中的多標(biāo)簽內(nèi)容。

3、現(xiàn)有的特征增強型方法(多尺度特征信息融合方法)通常通過簡單的拼接或加權(quán)平均等方式將不同尺度的信息直接合并，忽視了各尺度特征之間的深層次關(guān)系和上下文信息的動態(tài)變化。針對這一問題，本發(fā)明提出了一種線性多尺度交互增強模型，旨在基于局部特征圖的基礎(chǔ)上，不僅在同一尺度內(nèi)建立全局性聯(lián)系，還能有效捕捉不同尺度之間的上下文關(guān)系。從而解決多標(biāo)簽遙感圖像中不同地物覆蓋尺度大小不一的問題。

4、現(xiàn)有的語義關(guān)聯(lián)型方法在建立語義聯(lián)系之前通常依賴于卷積分類器。然而，這種方法的局限性在于，它難以確保提取的特征向量與實際地物類別之間的精確對應(yīng)關(guān)系。為了解決這一問題，本發(fā)明引入了預(yù)訓(xùn)練的大規(guī)模語言模型，利用其強大的語言理解能力，從文本數(shù)據(jù)中捕捉與遙感圖像中不同地物覆蓋目標(biāo)相關(guān)的文本信息。通過將這些文本信息與遙感圖像的特征進行有效融合，模型能夠從語義層面建立圖像與標(biāo)簽之間的緊密關(guān)聯(lián)。

5、現(xiàn)有的方法在特征增強和語義關(guān)系建模方面通常依賴于transformer及其變體，盡管這些方法在建模全局依賴關(guān)系和捕捉語義信息方面表現(xiàn)出色，但其計算和訓(xùn)練代價較高。為了解決這些問題，本發(fā)明引入了狀態(tài)空間模型，以更低的計算成本實現(xiàn)對序列數(shù)據(jù)的建模，從而在捕捉全局信息和建立語義關(guān)聯(lián)的同時，顯著減少計算復(fù)雜度和硬件成本，為多標(biāo)簽遙感圖像分類等任務(wù)提供了更加有實踐意義的解決方案。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有遙感場景分類方法難以確保提取的特征向量與實際地物類別之間的精確對應(yīng)關(guān)系，導(dǎo)致遙感場景分類不準(zhǔn)確的問題，提供一種基于狀態(tài)空間模型的多標(biāo)簽遙感場景分類方法及系統(tǒng)。

2、為了達到上述目的，本發(fā)明采用如下技術(shù)方案：

3、一種基于狀態(tài)空間模型的多標(biāo)簽遙感場景分類方法，包括如下步驟：

4、獲取多標(biāo)簽遙感圖像；

5、提取多標(biāo)簽遙感圖像中的語義嵌入特征；

6、提取多標(biāo)簽遙感圖像中的視覺特征；

7、構(gòu)建線性多尺度交互增強模型，基于線性多尺度交互增強模型對提取的視覺特征進行多尺度掃描，提取并輸出視覺特征表示的長距離依賴關(guān)系；

8、構(gòu)建線性語義關(guān)系建立模型，基于線性語義關(guān)系建立模型，在視覺特征表示的長距離依賴關(guān)系指導(dǎo)下，結(jié)合提取的語義嵌入特征建立多標(biāo)簽遙感圖像中不同地表覆蓋物之間的聯(lián)系；

9、基于不同地表覆蓋物之間的聯(lián)系，通過二元分類器對多標(biāo)簽遙感圖像中各種地表覆蓋進行分類。

10、所述提取多標(biāo)簽遙感圖像中的語義嵌入信息的步驟中，通過預(yù)訓(xùn)練語言模型bert提取多標(biāo)簽遙感圖像中的語義嵌入信息，生成語義向量，該過程定義為：

11、se＝[se1,se2,...,sec]＝[φbert(l1),φbert(l2),...,φbert(lc)],

12、其中φbert(·)表示bert的文本編碼過程，表示維度為dl的lj語義特征向量。

13、所述提取多標(biāo)簽遙感圖像中的視覺特征的步驟中，通過卷積神經(jīng)網(wǎng)絡(luò)提取，輸出作為提取的視覺特征，其中h、w和c分別表示高度、寬度和通道數(shù)。

14、所述構(gòu)建線性多尺度交互增強模型，基于線性多尺度交互增強模型對提取的視覺特征進行多尺度掃描，提取并輸出視覺特征表示的長距離依賴關(guān)系的步驟中，構(gòu)建的線性多尺度交互增強模型的具體工作過程為：

15、接收提取的視覺特征作為輸入特征；

16、對輸入特征進行正則化處理；

17、對正則化處理后的輸入特征進行線性變換，得到降低維度的輸入特征；

18、對降低維度的輸入特征進行卷積操作，提取圖像中的局部空間信息，生成特征圖；

19、基于多尺度狀態(tài)空間模型，對生成的特征圖進行下采樣操作，提取不同尺度的特征嵌入，采用雙向結(jié)構(gòu)對不同尺度的特征嵌入進行信息傳遞及更新，得到不同尺度的增強特征嵌入，將不同尺度的增強特征嵌入進行相加，得到視覺特征表示的長距離依賴關(guān)系；

20、將得到的視覺特征表示的長距離依賴關(guān)系輸出。

21、所述對生成的特征圖進行下采樣操作，提取不同尺度的特征嵌入的表示如下：

22、pi＝downsample(pi-1),1＜i≤ns,

23、其中downsample(·)是下采樣操作，ns表示尺度的總數(shù)，表示尺度1＜i≤ns處的特征嵌入，其中ni＝(h×w)/2(i-1)。

24、所述采用雙向結(jié)構(gòu)對不同尺度的特征嵌入進行信息傳遞及更新，得到不同尺度的增強特征嵌入，對于第i個尺度的特征嵌入進行信息傳遞及更新的過程的表示如下：

25、

26、其中pi+1和pi-1可視為高尺度和低尺度信息，和表示前向和后向過程的初始隱藏狀態(tài)空間，avgpool(·)表示平均池化操作，它將三維特征圖壓縮為適合狀態(tài)空間模型的二維特征向量，wms-s6-f、表示前向過程中可學(xué)習(xí)的參數(shù)，

27、wms-s6-b、對應(yīng)表示后向過程中可學(xué)習(xí)的參數(shù)，表示增強的特征嵌入；

28、第i個尺度上的增強特征嵌入為：

29、所述構(gòu)建線性語義關(guān)系建立模型，基于線性語義關(guān)系建立模型，在視覺特征表示的長距離依賴關(guān)系指導(dǎo)下，結(jié)合提取的語義嵌入特征建立多標(biāo)簽遙感圖像中不同地表覆蓋物之間的聯(lián)系的步驟中，構(gòu)建的線性語義關(guān)系建立模型的具體工作過程為：

30、接收提取的語義嵌入特征作為輸入特征；

31、對輸入的語義嵌入特征進行正則化處理；

32、對正則化處理后的語義嵌入特征進行線性變換，得到降低維度的語義嵌入特征；

33、對降低維度的語義嵌入特征進行1維卷積操作，得到格式化的語義嵌入特征；

34、基于特征指導(dǎo)的語義關(guān)系狀態(tài)空間模型，在視覺特征表示的長距離依賴關(guān)系指導(dǎo)下，采用雙向結(jié)構(gòu)對格式化的語義嵌入特征進行傳遞更新，將前向語義嵌入特征與后向語義嵌入特征相加，得到增強后的語義嵌入特征；

35、基于增強后的語義嵌入特征的局部特征建立多標(biāo)簽遙感圖像中不同地表覆蓋物之間的聯(lián)系。

36、所述基于特征指導(dǎo)的語義關(guān)系狀態(tài)空間模型，在視覺特征表示的長距離依賴關(guān)系指導(dǎo)下，采用雙向結(jié)構(gòu)對格式化的語義嵌入特征進行傳遞更新，將前向語義嵌入特征與后向語義嵌入特征相加，得到增強后的語義嵌入特征步驟中，具體工作過程表示如下：

37、

38、其中φlinear(·)表示線性嵌入，和分別表示特征指導(dǎo)的語義關(guān)系狀態(tài)空間模型的正向和反向過程的初始隱藏狀態(tài)空間，wfgs-s6-f，和表示正向過程中可學(xué)習(xí)的參數(shù)，wfgs-s6-b，和表示后向過程中可學(xué)習(xí)的參數(shù)，se`k表示sek在經(jīng)過正則化層、線性嵌入層和1維卷積層之后得到的語義嵌入，esek指增強后的語義嵌入；

39、特征指導(dǎo)的語義關(guān)系狀態(tài)空間模型的輸出表示為

40、所述基于不同地表覆蓋物之間的聯(lián)系，通過二元分類器對多標(biāo)簽遙感圖像中各種地表覆蓋進行分類的步驟中，二元分類器的具體表示如下：

41、

42、其中csj是第j個類的類別得分，sigmoid(·)表示sigmoid激活函數(shù)，φlinear(·)表示線性可學(xué)習(xí)層。

43、一種基于狀態(tài)空間模型的多標(biāo)簽遙感場景分類系統(tǒng)，包括：

44、獲取模塊，用于獲取多標(biāo)簽遙感圖像；

45、語義嵌入提取模塊，用于提取多標(biāo)簽遙感圖像中的語義嵌入特征；

46、視覺特征提取模塊，用于提取多標(biāo)簽遙感圖像中的視覺特征；

47、線性多尺度交互增強模型構(gòu)建模塊，用于構(gòu)建線性多尺度交互增強模型，基于線性多尺度交互增強模型對提取的視覺特征進行多尺度掃描，提取并輸出視覺特征表示的長距離依賴關(guān)系；

48、線性語義關(guān)系建立模型構(gòu)建模塊，用于構(gòu)建線性語義關(guān)系建立模型，基于線性語義關(guān)系建立模型，在視覺特征表示的長距離依賴關(guān)系指導(dǎo)下，結(jié)合提取的語義嵌入特征建立多標(biāo)簽遙感圖像中不同地表覆蓋物之間的聯(lián)系；

49、分類模塊，用于基于不同地表覆蓋物之間的聯(lián)系，通過二元分類器對多標(biāo)簽遙感圖像中各種地表覆蓋進行分類。

50、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：

51、本發(fā)明提供一種基于狀態(tài)空間模型的多標(biāo)簽遙感場景分類方法及系統(tǒng)。包括如下步驟：獲取多標(biāo)簽遙感圖像；提取多標(biāo)簽遙感圖像中的語義嵌入特征；提取多標(biāo)簽遙感圖像中的視覺特征；構(gòu)建線性多尺度交互增強模型，基于線性多尺度交互增強模型對提取的視覺特征進行多尺度掃描，提取并輸出視覺特征表示的長距離依賴關(guān)系；構(gòu)建線性語義關(guān)系建立模型，基于線性語義關(guān)系建立模型，在視覺特征表示的長距離依賴關(guān)系指導(dǎo)下，結(jié)合提取的語義嵌入特征建立多標(biāo)簽遙感圖像中不同地表覆蓋物之間的聯(lián)系；基于不同地表覆蓋物之間的聯(lián)系，通過二元分類器對多標(biāo)簽遙感圖像中各種地表覆蓋進行分類。本發(fā)明開發(fā)的線性多尺度交互增強模型和線性語義關(guān)系建立模型都充分考慮到了遙感影像特點，線性多尺度交互增強模型通過挖掘不同尺度的長距離上下文信息來增強視覺特征的表示。這樣，模型可以從遙感影像中充分探索各種尺度的土地覆蓋目標(biāo)。線性語義關(guān)系建立模型旨在通過視覺信息的引導(dǎo)建立不同標(biāo)簽之間的語義關(guān)聯(lián)，它可以通過揭示不同類型土地覆蓋之間的語義關(guān)系來提高基于狀態(tài)空間模型的高效網(wǎng)絡(luò)理解遙感影像復(fù)雜內(nèi)容的能力，提高了語義特征向量與實際地物類別的精確對應(yīng)關(guān)系。通過兩個模塊之間的協(xié)作，本發(fā)明可以從遙感影像中學(xué)習(xí)局部信息、全局上下文、多尺度線索和語義關(guān)聯(lián)，提高了模型分類的準(zhǔn)確性，這對多標(biāo)簽遙感場景分類任務(wù)非常有用。

52、進一步的，基于多尺度狀態(tài)空間模型，通過深度挖掘局部特征、多尺度信息、長距離依賴關(guān)系以及不同地物之間的語義關(guān)系，基于狀態(tài)空間模型的高效網(wǎng)絡(luò)可以充分探索遙感圖像中的復(fù)雜內(nèi)容，準(zhǔn)確判斷各類類別的存在與否。

53、進一步的，由于線性多尺度交互增強模塊和線性語義關(guān)系建立模塊都是基于狀態(tài)空間模型感場景分類任務(wù)非常有用開發(fā)的，因此他們的計算復(fù)雜度都是線性的，使得本發(fā)明在輕量化方面更有優(yōu)勢。