本發(fā)明涉及遙感圖像場景分類，尤其涉及一種半監(jiān)督多光譜遙感圖像場景分類方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、現(xiàn)有的半監(jiān)督學(xué)習(xí)技術(shù)旨在通過結(jié)合少量標(biāo)注數(shù)據(jù)和大量未標(biāo)注數(shù)據(jù)，提高模型的訓(xùn)練效率和性能。在圖像分類任務(wù)中，半監(jiān)督方法主要分為兩類：一類是基于置信度的偽標(biāo)簽生成，通過篩選高置信度的偽標(biāo)簽來指導(dǎo)模型訓(xùn)練；另一類是基于一致性正則化，通過對輸入數(shù)據(jù)施加不同的擾動（如增強操作），約束模型對同一數(shù)據(jù)樣本的預(yù)測保持一致。

2、近年來，半監(jiān)督學(xué)習(xí)在遙感領(lǐng)域也得到了廣泛應(yīng)用，特別是在多光譜遙感圖像的場景分類任務(wù)中，這類技術(shù)被用于緩解標(biāo)注數(shù)據(jù)稀缺的問題。一方面，多光譜遙感圖像的數(shù)據(jù)繁雜且不統(tǒng)一，基于一致性正則化方法不適用于多光譜遙感圖像的場景分類任務(wù)。另一方面，現(xiàn)有大多是場景分類模型主要針對rgb圖像設(shè)計，缺乏多光譜遙感圖像的光譜信息，生成的偽標(biāo)簽準(zhǔn)確性不足，從而在一定程度上限制了模型的性能表現(xiàn)。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種半監(jiān)督多光譜遙感圖像場景分類方法、裝置、設(shè)備及介質(zhì)，可充分挖掘多光譜遙感圖像的光譜信息，提高偽標(biāo)簽的準(zhǔn)確性，提升模型的分類性能。

2、本發(fā)明提供一種半監(jiān)督多光譜遙感圖像場景分類方法，包括：

3、獲取無標(biāo)注多光譜遙感圖像，分別對所述無標(biāo)注多光譜遙感圖像進行弱增強處理和強增強處理，得到弱增強遙感圖像和強增強遙感圖像；

4、分別將所述弱增強遙感圖像和所述強增強遙感圖像輸入至由空間特征分支網(wǎng)絡(luò)和光譜特征分支網(wǎng)絡(luò)預(yù)先構(gòu)建的雙分支網(wǎng)絡(luò)結(jié)構(gòu)，所述空間特征分支網(wǎng)絡(luò)用于分別提取所述弱增強遙感圖像和所述強增強遙感圖像各自的空間特征，并根據(jù)所述空間特征，得到與所述空間特征對應(yīng)的強增強預(yù)測結(jié)果和弱增強預(yù)測結(jié)果；所述光譜特征分支網(wǎng)絡(luò)用于基于光譜注意力分別提取所述弱增強遙感圖像和所述強增強遙感圖像各自的光譜特征，并根據(jù)所述光譜特征，得到與所述光譜特征對應(yīng)的強增強預(yù)測結(jié)果和弱增強預(yù)測結(jié)果；

5、對所述空間特征對應(yīng)的弱增強預(yù)測結(jié)果以及所述光譜特征對應(yīng)的弱增強預(yù)測結(jié)果進行融合，得到所述無標(biāo)注多光譜遙感圖像的偽標(biāo)簽，并根據(jù)所述偽標(biāo)簽以及所述空間特征和所述光譜特征各自對應(yīng)的強增強預(yù)測結(jié)果，得到無監(jiān)督損失函數(shù)，所述無監(jiān)督損失函數(shù)用于確定總損失函數(shù)；

6、根據(jù)所述總損失函數(shù)，判斷所述雙分支網(wǎng)絡(luò)結(jié)構(gòu)是否完成訓(xùn)練，若是，將所述雙分支網(wǎng)絡(luò)結(jié)構(gòu)作為場景分類模型，若否，對所述雙分支網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)進行調(diào)整，返回執(zhí)行獲取無標(biāo)注多光譜遙感圖像的步驟，直至完成訓(xùn)練；

7、基于所述場景分類模型對目標(biāo)多光譜遙感圖像進行場景分類，得到目標(biāo)場景分類結(jié)果。

8、作為一個實施例，所述空間特征分支網(wǎng)絡(luò)基于深度殘差網(wǎng)絡(luò)得到，所述光譜特征分支網(wǎng)絡(luò)通過在所述深度殘差網(wǎng)絡(luò)的各網(wǎng)絡(luò)層中增加光譜注意力模塊得到；

9、所述光譜注意力模塊用于基于線性層確定輸入圖像特征圖的查詢參數(shù)、鍵參數(shù)和值參數(shù)，對所述查詢參數(shù)、所述鍵參數(shù)和所述值參數(shù)進行維度變換，將維度變換后的所述查詢參數(shù)和所述鍵參數(shù)傳輸至歸一化層，基于所述歸一化層確定所述圖像特征圖的不同光譜波段之間的注意力分?jǐn)?shù)，對所述注意力分?jǐn)?shù)和維度變換后的所述值參數(shù)進行運算后傳輸至輸出線性層，基于所述輸出線性層得到輸出圖像特征圖，對所述輸出圖像特征圖進行維度變換后輸出至下一所述網(wǎng)絡(luò)層。

10、作為一個實施例，所述查詢參數(shù)、所述鍵參數(shù)和所述值參數(shù)的計算公式如下所示：

11、

12、其中，表示所述查詢參數(shù)，表示所述鍵參數(shù)，表示所述值參數(shù)，、、分別代表三個線性層的參數(shù)矩陣，表示輸入圖像特征圖，，r表示實數(shù)域，、、分別表示輸入圖像特征圖的通道數(shù)、寬和高；

13、對應(yīng)的，對所述查詢參數(shù)、所述鍵參數(shù)和所述值參數(shù)進行維度變換，包括：

14、分別將所述查詢參數(shù)、所述鍵參數(shù)和所述值參數(shù)從維度轉(zhuǎn)換為維度。

15、作為一個實施例，所述對所述空間特征對應(yīng)的弱增強預(yù)測結(jié)果以及所述光譜特征對應(yīng)的弱增強預(yù)測結(jié)果進行融合，得到所述無標(biāo)注多光譜遙感圖像的偽標(biāo)簽，包括：

16、基于熵加權(quán)算法對所述空間特征對應(yīng)的弱增強預(yù)測結(jié)果以及所述光譜特征對應(yīng)的弱增強預(yù)測結(jié)果進行融合，得到所述無標(biāo)注多光譜遙感圖像的偽標(biāo)簽。

17、作為一個實施例，所述基于熵加權(quán)算法對所述空間特征對應(yīng)的弱增強預(yù)測結(jié)果以及所述光譜特征對應(yīng)的弱增強預(yù)測結(jié)果進行融合，得到所述無標(biāo)注多光譜遙感圖像的偽標(biāo)簽，包括：

18、確定所述空間特征對應(yīng)的弱增強預(yù)測結(jié)果以及所述光譜特征對應(yīng)的弱增強預(yù)測結(jié)果各自的熵，并根據(jù)熵確定所述空間特征分支網(wǎng)絡(luò)和所述光譜特征分支網(wǎng)絡(luò)各自的置信度；

19、根據(jù)所述空間特征分支網(wǎng)絡(luò)和所述光譜特征分支網(wǎng)絡(luò)各自的置信度，確定所述空間特征對應(yīng)的弱增強預(yù)測結(jié)果以及所述光譜特征對應(yīng)的弱增強預(yù)測結(jié)果各自的權(quán)重；

20、根據(jù)權(quán)重，對所述空間特征對應(yīng)的弱增強預(yù)測結(jié)果以及所述光譜特征對應(yīng)的弱增強預(yù)測結(jié)果進行加權(quán)融合，得到所述無標(biāo)注多光譜遙感圖像的偽標(biāo)簽。

21、作為一個實施例，所述根據(jù)所述偽標(biāo)簽以及所述空間特征和所述光譜特征各自對應(yīng)的強增強預(yù)測結(jié)果，得到無監(jiān)督損失函數(shù)，包括：

22、將所述偽標(biāo)簽以及所述空間特征和所述光譜特征各自對應(yīng)的強增強預(yù)測結(jié)果代入交叉熵?fù)p失函數(shù)，得到無監(jiān)督損失函數(shù)。

23、作為一個實施例，還包括：

24、獲取標(biāo)注多光譜遙感圖像；

25、將所述標(biāo)注多光譜遙感圖像輸入至所述雙分支網(wǎng)絡(luò)結(jié)構(gòu)，得到與所述標(biāo)注多光譜遙感圖像對應(yīng)的預(yù)測結(jié)果；

26、根據(jù)所述標(biāo)注多光譜遙感圖像對應(yīng)的標(biāo)簽以及預(yù)測結(jié)果，得到有監(jiān)督損失函數(shù)；

27、將所述無監(jiān)督損失函數(shù)和所述有監(jiān)督損失函數(shù)之和，作為所述總損失函數(shù)。

28、本發(fā)明還提供一種半監(jiān)督多光譜遙感圖像場景分類裝置，包括：

29、獲取模塊，用于獲取無標(biāo)注多光譜遙感圖像，分別對所述無標(biāo)注多光譜遙感圖像進行弱增強處理和強增強處理，得到弱增強遙感圖像和強增強遙感圖像；

30、預(yù)測模塊，用于分別將所述弱增強遙感圖像和所述強增強遙感圖像輸入至由空間特征分支網(wǎng)絡(luò)和光譜特征分支網(wǎng)絡(luò)預(yù)先構(gòu)建的雙分支網(wǎng)絡(luò)結(jié)構(gòu)，所述空間特征分支網(wǎng)絡(luò)用于分別提取所述弱增強遙感圖像和所述強增強遙感圖像各自的空間特征，并根據(jù)所述空間特征，得到與所述空間特征對應(yīng)的強增強預(yù)測結(jié)果和弱增強預(yù)測結(jié)果；所述光譜特征分支網(wǎng)絡(luò)用于基于光譜注意力分別提取所述弱增強遙感圖像和所述強增強遙感圖像各自的光譜特征，并根據(jù)所述光譜特征，得到與所述光譜特征對應(yīng)的強增強預(yù)測結(jié)果和弱增強預(yù)測結(jié)果；

31、確定模塊，用于對所述空間特征對應(yīng)的弱增強預(yù)測結(jié)果以及所述光譜特征對應(yīng)的弱增強預(yù)測結(jié)果進行融合，得到所述無標(biāo)注多光譜遙感圖像的偽標(biāo)簽，并根據(jù)所述偽標(biāo)簽以及所述空間特征和所述光譜特征各自對應(yīng)的強增強預(yù)測結(jié)果，得到無監(jiān)督損失函數(shù)，所述無監(jiān)督損失函數(shù)用于確定總損失函數(shù)；

32、訓(xùn)練模塊，用于根據(jù)所述總損失函數(shù)，判斷所述雙分支網(wǎng)絡(luò)結(jié)構(gòu)是否完成訓(xùn)練，若是，將所述雙分支網(wǎng)絡(luò)結(jié)構(gòu)作為場景分類模型，若否，對所述雙分支網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)進行調(diào)整，返回執(zhí)行獲取無標(biāo)注多光譜遙感圖像的步驟，直至完成訓(xùn)練；

33、分類模塊，用于基于所述場景分類模型對目標(biāo)多光譜遙感圖像進行場景分類，得到目標(biāo)場景分類結(jié)果。

34、本發(fā)明還提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上述任一種所述半監(jiān)督多光譜遙感圖像場景分類方法。

35、本發(fā)明還提供一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述半監(jiān)督多光譜遙感圖像場景分類方法。

36、本發(fā)明提供的半監(jiān)督多光譜遙感圖像場景分類方法、裝置、設(shè)備及介質(zhì)，雙分支網(wǎng)絡(luò)結(jié)構(gòu)充分利用多光譜遙感圖像的空間、光譜信息以及不同波段之間的互補信息，光譜特征分支網(wǎng)絡(luò)引入光譜注意力能夠進一步增強光譜信息提取能力，得到準(zhǔn)確性更高的偽標(biāo)簽，進而提升模型的分類性能。