本發(fā)明涉及遙感圖像處理，尤其涉及一種基于模態(tài)平衡知識(shí)蒸餾框架的遙感圖像分割方法及系統(tǒng)。

背景技術(shù)：

1、土地覆蓋/土地利用（lulc）是基礎(chǔ)的地理信息，對(duì)氣候變化研究、生態(tài)環(huán)境監(jiān)測(cè)和土地資源管理等做出重要的貢獻(xiàn)。遙感影像是地球表面信息的主要載體。近年來(lái)，隨著遙感成像技術(shù)的不斷進(jìn)步，除了大量的光學(xué)衛(wèi)星外，合成孔徑雷達(dá)（sar）衛(wèi)星也蓬勃發(fā)展，例如，德國(guó)的terrasar-x、日本的alos-2、歐空局的sentinel-1以及中國(guó)的高分三號(hào)（gaofen-3）衛(wèi)星等。sar屬于主動(dòng)式遙感，具有不受云霧干擾的優(yōu)點(diǎn)。在光學(xué)傳感器失效時(shí)，sar仍能持續(xù)記錄地表信息。綜合利用光學(xué)、sar衛(wèi)星影像進(jìn)行語(yǔ)義分割成為實(shí)現(xiàn)全天時(shí)、全天候lulc制圖重要途徑。

2、目前領(lǐng)域內(nèi)包含大量的光學(xué)影像lulc分類數(shù)據(jù)集，比如：isprs、aid、gid等。受成像原理不同的限制，sar影像地物表現(xiàn)形式與光學(xué)差異較大，對(duì)sar影像的地物標(biāo)注需要較強(qiáng)的專業(yè)性。因此目前針對(duì)sar影像的lulc分類數(shù)據(jù)集遠(yuǎn)遠(yuǎn)少于光學(xué)影像lulc分類數(shù)據(jù)集，比如whu-opt-sar、sen12ms，難以支撐日益增長(zhǎng)的sar影像lulc分類研究和應(yīng)用。光學(xué)、sar影像成像機(jī)理完全不同導(dǎo)致它們的地物特征差異巨大。當(dāng)使用已有標(biāo)簽的光學(xué)影像（源域）訓(xùn)練的基于cnn的分類模型在未標(biāo)記sar影像（目標(biāo)域）上的性能會(huì)顯著下降，如圖1所示。為了應(yīng)對(duì)這種問(wèn)題，期望通過(guò)設(shè)計(jì)某種遷移學(xué)習(xí)方法打破模態(tài)壁壘，在僅利用光學(xué)影像訓(xùn)練模型的前提下獲取對(duì)光學(xué)和sar影像相近分割能力的通用語(yǔ)義分割模型。這種通用性是指模型對(duì)不同模態(tài)的影像都取得相近的、均衡的性能。

3、光學(xué)、sar影像特征差異較大，目前主要通過(guò)遷移學(xué)習(xí)實(shí)現(xiàn)語(yǔ)義分割模型跨模態(tài)的分割能力。遷移學(xué)習(xí)語(yǔ)義分割方法主要通過(guò)減小源域和目標(biāo)域的分布差異達(dá)到模型遷移效果。其中，較為經(jīng)典的方法有域適應(yīng)、知識(shí)蒸餾等方法。但上述方法獲取的模型可能偏向于源域或目標(biāo)域，模型往往不具備對(duì)源域和目標(biāo)域通用的分割能力。整體來(lái)看，利用遷移學(xué)習(xí)技術(shù)獲得對(duì)光學(xué)、sar兩種影像具有通用的語(yǔ)義分割能力仍然存在以下難點(diǎn)和挑戰(zhàn)：

4、（1）控制遷移方向：同種地物在光學(xué)和sar影像表現(xiàn)形式差異巨大，如何驅(qū)動(dòng)光學(xué)影像訓(xùn)練的語(yǔ)義分割模型向著對(duì)sar影像有效的方向進(jìn)行遷移是需要克服的問(wèn)題；

5、（2）控制遷移平衡：為了獲取對(duì)光學(xué)、sar影像的通用分割能力，需要精確地控制模型的遷移方向以實(shí)現(xiàn)平衡。如何確保模型不偏向源域或目標(biāo)域中任何一方是需要克服的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于模態(tài)平衡知識(shí)蒸餾框架的遙感圖像分割方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)中針對(duì)光學(xué)影像和sar影像之間的遷移學(xué)習(xí)存在的缺陷。

2、第一方面，本發(fā)明提供一種基于模態(tài)平衡知識(shí)蒸餾框架的遙感圖像分割方法，包括：

3、獲取源域光學(xué)影像和目標(biāo)域sar影像；

4、對(duì)所述源域光學(xué)影像和所述目標(biāo)域sar影像進(jìn)行圖像級(jí)虛擬模態(tài)生成，得到虛擬sar影像和虛擬光學(xué)影像；

5、將所述源域光學(xué)影像和所述虛擬sar影像輸入雙模態(tài)監(jiān)督學(xué)習(xí)，獲得源域光學(xué)影像偽標(biāo)簽和虛擬sar影像偽標(biāo)簽；

6、將所述目標(biāo)域sar影像和所述虛擬光學(xué)影像輸入雙模態(tài)知識(shí)推理，得到目標(biāo)域sar影像偽標(biāo)簽和虛擬光學(xué)影像偽標(biāo)簽；

7、基于源域真實(shí)標(biāo)簽、所述目標(biāo)域sar影像偽標(biāo)簽、所述源域光學(xué)影像和所述目標(biāo)域sar影像進(jìn)行顧及地物類別占比的像素級(jí)虛擬模態(tài)生成，獲得混合后影像和混合后偽標(biāo)簽；

8、基于所述虛擬sar影像偽標(biāo)簽、所述虛擬光學(xué)影像偽標(biāo)簽、所述虛擬sar影像和所述虛擬光學(xué)影像進(jìn)行顧及地物類別占比的像素級(jí)虛擬模態(tài)生成，獲得混合后虛擬影像和混合后虛擬偽標(biāo)簽；

9、將所述混合后影像和所述混合后虛擬影像輸入混合模態(tài)監(jiān)督學(xué)習(xí)，得到遙感圖像分割結(jié)果。

10、根據(jù)本發(fā)明提供的一種基于模態(tài)平衡知識(shí)蒸餾框架的遙感圖像分割方法，對(duì)所述源域光學(xué)影像和所述目標(biāo)域sar影像進(jìn)行圖像級(jí)虛擬模態(tài)生成，得到虛擬sar影像和虛擬光學(xué)影像，包括：

11、采用基于pix2pixhd的風(fēng)格遷移方法分別對(duì)所述源域光學(xué)影像和所述目標(biāo)域sar影像進(jìn)行處理，生成所述虛擬sar影像和所述虛擬光學(xué)影像。

12、根據(jù)本發(fā)明提供的一種基于模態(tài)平衡知識(shí)蒸餾框架的遙感圖像分割方法，將所述源域光學(xué)影像和所述虛擬sar影像輸入雙模態(tài)監(jiān)督學(xué)習(xí)，獲得源域光學(xué)影像偽標(biāo)簽和虛擬sar影像偽標(biāo)簽，包括：

13、確定所述雙模態(tài)監(jiān)督學(xué)習(xí)的監(jiān)督編碼器和監(jiān)督解碼器；

14、將所述源域光學(xué)影像依次經(jīng)過(guò)所述監(jiān)督編碼器和所述監(jiān)督解碼器進(jìn)行多尺度融合，得到所述源域光學(xué)影像偽標(biāo)簽；

15、將所述虛擬sar影像依次經(jīng)過(guò)所述編碼器和所述解碼器進(jìn)行多尺度融合，得到所述虛擬sar影像偽標(biāo)簽；

16、確定所述源域光學(xué)影像偽標(biāo)簽的損失為第一損失函數(shù)，所述虛擬sar影像偽標(biāo)簽的損失為第二損失函數(shù)，所述第一損失函數(shù)與所述第二損失函數(shù)構(gòu)成雙模態(tài)監(jiān)督學(xué)習(xí)損失函數(shù)；

17、其中，所述第一損失函數(shù)包括所述源域真實(shí)標(biāo)簽和所述虛擬sar影像偽標(biāo)簽之間的交叉熵?fù)p失，以及所述源域真實(shí)標(biāo)簽和所述虛擬sar影像偽標(biāo)簽之間的軟化dice損失，所述第二損失函數(shù)包括所述源域真實(shí)標(biāo)簽和所述虛擬sar影像偽標(biāo)簽之間的交叉熵?fù)p失，以及所述源域真實(shí)標(biāo)簽和所述虛擬sar影像偽標(biāo)簽之間的軟化dice損失。

18、根據(jù)本發(fā)明提供的一種基于模態(tài)平衡知識(shí)蒸餾框架的遙感圖像分割方法，將所述目標(biāo)域sar影像和所述虛擬光學(xué)影像輸入雙模態(tài)知識(shí)推理，得到目標(biāo)域sar影像偽標(biāo)簽和虛擬光學(xué)影像偽標(biāo)簽，包括：

19、確定所述雙模態(tài)知識(shí)推理的推理編碼器和推理解碼器；

20、利用指數(shù)移動(dòng)平均權(quán)重將雙模態(tài)監(jiān)督學(xué)習(xí)階段獲取的知識(shí)進(jìn)行轉(zhuǎn)移；

21、將所述目標(biāo)域sar影像依次經(jīng)過(guò)所述推理編碼器和所述推理解碼器進(jìn)行多尺度融合，得到所述目標(biāo)域sar影像偽標(biāo)簽；

22、將所述虛擬光學(xué)影像依次經(jīng)過(guò)所述推理編碼器和所述推理解碼器進(jìn)行多尺度融合，得到所述虛擬光學(xué)影像偽標(biāo)簽。

23、根據(jù)本發(fā)明提供的一種基于模態(tài)平衡知識(shí)蒸餾框架的遙感圖像分割方法，基于源域真實(shí)標(biāo)簽、所述目標(biāo)域sar影像偽標(biāo)簽、所述源域光學(xué)影像和所述目標(biāo)域sar影像進(jìn)行顧及地物類別占比的像素級(jí)虛擬模態(tài)生成，獲得混合后影像和混合后偽標(biāo)簽，包括：

24、基于所述源域真實(shí)標(biāo)簽和預(yù)設(shè)地物類別占比，確定圖像中的背景和前景；

25、將所述源域真實(shí)標(biāo)簽中背景像素值映射為0，前景像素值映射為1，生成第一掩膜；

26、將所述目標(biāo)域sar影像偽標(biāo)簽中背景像素值映射為1，前景像素值映射為0，生成第二掩膜；

27、由所述第一掩膜和所述第二掩膜進(jìn)行點(diǎn)乘，得到最終掩膜；

28、基于所述最終掩膜、所述源域光學(xué)影像和所述目標(biāo)域sar影像，計(jì)算得到所述混合后影像；

29、基于所述最終掩膜、所述源域真實(shí)標(biāo)簽和所述目標(biāo)域sar影像偽標(biāo)簽，計(jì)算得到所述混合后偽標(biāo)簽。

30、根據(jù)本發(fā)明提供的一種基于模態(tài)平衡知識(shí)蒸餾框架的遙感圖像分割方法，基于所述虛擬sar影像偽標(biāo)簽、所述虛擬光學(xué)影像偽標(biāo)簽、所述虛擬sar影像和所述虛擬光學(xué)影像進(jìn)行顧及地物類別占比的像素級(jí)虛擬模態(tài)生成，獲得混合后虛擬影像和混合后虛擬偽標(biāo)簽，包括：

31、基于所述最終掩膜、所述虛擬sar影像和所述虛擬光學(xué)影像，計(jì)算得到所述混合后虛擬影像；

32、基于所述最終掩膜、所述虛擬sar影像偽標(biāo)簽和所述虛擬光學(xué)影像偽標(biāo)簽，計(jì)算得到所述混合后虛擬偽標(biāo)簽。

33、根據(jù)本發(fā)明提供的一種基于模態(tài)平衡知識(shí)蒸餾框架的遙感圖像分割方法，將所述混合后影像和所述混合后虛擬影像輸入混合模態(tài)監(jiān)督學(xué)習(xí)，得到遙感圖像分割結(jié)果，包括：

34、確定所述混合模態(tài)監(jiān)督學(xué)習(xí)采用所述雙模態(tài)監(jiān)督學(xué)習(xí)中的監(jiān)督編碼器和監(jiān)督解碼器；

35、將所述混合后影像依次經(jīng)過(guò)所述監(jiān)督編碼器和所述監(jiān)督解碼器進(jìn)行多尺度融合，得到混合后偽標(biāo)簽分割結(jié)果；

36、將所述混合后虛擬影像依次經(jīng)過(guò)所述監(jiān)督編碼器和所述監(jiān)督解碼器進(jìn)行多尺度融合，得到混合后虛擬偽標(biāo)簽分割結(jié)果；

37、由所述混合后偽標(biāo)簽對(duì)所述混合后偽標(biāo)簽分割結(jié)果進(jìn)行監(jiān)督，構(gòu)建第三損失函數(shù)，所述第三損失函數(shù)包括所述混合后偽標(biāo)簽與所述混合后偽標(biāo)簽分割結(jié)果的交叉熵?fù)p失，以及所述混合后偽標(biāo)簽與所述混合后偽標(biāo)簽分割結(jié)果的軟化dice損失；

38、由所述混合后虛擬偽標(biāo)簽對(duì)所述混合后虛擬偽標(biāo)簽分割結(jié)果進(jìn)行監(jiān)督，構(gòu)建第四損失函數(shù)，所述第四損失函數(shù)包括所述混合后虛擬偽標(biāo)簽與所述混合后虛擬偽標(biāo)簽分割結(jié)果的交叉熵?fù)p失，以及所述混合后虛擬偽標(biāo)簽與所述混合后虛擬偽標(biāo)簽分割結(jié)果的軟化dice損失。

39、第二方面，本發(fā)明還提供一種基于模態(tài)平衡知識(shí)蒸餾框架的遙感圖像分割系統(tǒng)，包括：

40、獲取模塊，用于獲取源域光學(xué)影像和目標(biāo)域sar影像；

41、圖像級(jí)生成模塊，用于對(duì)所述源域光學(xué)影像和所述目標(biāo)域sar影像進(jìn)行圖像級(jí)虛擬模態(tài)生成，得到虛擬sar影像和虛擬光學(xué)影像；

42、雙模態(tài)監(jiān)督學(xué)習(xí)模塊，用于將所述源域光學(xué)影像和所述虛擬sar影像輸入雙模態(tài)監(jiān)督學(xué)習(xí)，獲得源域光學(xué)影像偽標(biāo)簽和虛擬sar影像偽標(biāo)簽；

43、雙模態(tài)知識(shí)推理模塊，用于將所述目標(biāo)域sar影像和所述虛擬光學(xué)影像輸入雙模態(tài)知識(shí)推理，得到目標(biāo)域sar影像偽標(biāo)簽和虛擬光學(xué)影像偽標(biāo)簽；

44、第一像素級(jí)生成模塊，用于基于源域真實(shí)標(biāo)簽、所述目標(biāo)域sar影像偽標(biāo)簽、所述源域光學(xué)影像和所述目標(biāo)域sar影像進(jìn)行顧及地物類別占比的像素級(jí)虛擬模態(tài)生成，獲得混合后影像和混合后偽標(biāo)簽；

45、第二像素級(jí)生成模塊，用于基于所述虛擬sar影像偽標(biāo)簽、所述虛擬光學(xué)影像偽標(biāo)簽、所述虛擬sar影像和所述虛擬光學(xué)影像進(jìn)行顧及地物類別占比的像素級(jí)虛擬模態(tài)生成，獲得混合后虛擬影像和混合后虛擬偽標(biāo)簽；

46、混合模態(tài)監(jiān)督學(xué)習(xí)模塊，用于將所述混合后影像和所述混合后虛擬影像輸入混合模態(tài)監(jiān)督學(xué)習(xí)，得到遙感圖像分割結(jié)果。

47、第三方面，本發(fā)明還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任一種所述基于模態(tài)平衡知識(shí)蒸餾框架的遙感圖像分割方法。

48、第四方面，本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述基于模態(tài)平衡知識(shí)蒸餾框架的遙感圖像分割方法。

49、本發(fā)明提供的基于模態(tài)平衡知識(shí)蒸餾框架的遙感圖像分割方法及系統(tǒng)，通過(guò)采用圖像級(jí)虛擬模態(tài)生成策略以及像素級(jí)虛擬模態(tài)生成策略，獲取光學(xué)影像和sar影像模態(tài)對(duì)稱的虛擬樣本，為模態(tài)無(wú)偏的知識(shí)蒸餾提供支撐，通過(guò)模態(tài)平衡光學(xué)、sar影像知識(shí)蒸餾框架，通過(guò)雙模態(tài)監(jiān)督學(xué)習(xí)、混合模態(tài)監(jiān)督學(xué)習(xí)和雙模態(tài)知識(shí)推理將一個(gè)跨模態(tài)遷移學(xué)習(xí)任務(wù)轉(zhuǎn)換為兩個(gè)同模態(tài)遷移學(xué)習(xí)任務(wù)，實(shí)現(xiàn)光學(xué)和sar影像模態(tài)無(wú)偏的知識(shí)蒸餾。