本技術(shù)涉及圖像處理，主要涉及基于多網(wǎng)絡(luò)的雙時(shí)相遙感影像語(yǔ)義變化檢測(cè)方法與系統(tǒng)。

背景技術(shù)：

1、探測(cè)不同高分辨率遙感影像之間的地表變化類型信息是對(duì)地觀測(cè)應(yīng)用的重點(diǎn)任務(wù)，如識(shí)別災(zāi)害損失的地表變化、土地利用或耕地非農(nóng)業(yè)信息等。作為二元變化檢測(cè)(binary?change?detection，bcd)的延伸，語(yǔ)義變化檢測(cè)(semantic?change?detection，scd)本質(zhì)上是一項(xiàng)多元素語(yǔ)義分割任務(wù)，即根據(jù)變化區(qū)域確定哪些內(nèi)容發(fā)生了變化。

2、然而，在應(yīng)對(duì)復(fù)雜多變的圖像數(shù)據(jù)時(shí)，傳統(tǒng)方法暴露出了諸多難以克服的短板。一直以來(lái)，傳統(tǒng)方法受限于其自身相對(duì)固化的算法邏輯與處理框架，難以精準(zhǔn)捕捉那些隱匿于高維空間中的抽象特征。與此同時(shí)，隨著時(shí)間的持續(xù)推移，圖像還會(huì)受到光線季節(jié)性變化、物體動(dòng)態(tài)演變等時(shí)間因素的干擾，進(jìn)一步增加了數(shù)據(jù)的復(fù)雜性。傳統(tǒng)方法在這樣錯(cuò)綜復(fù)雜的情況下，常常無(wú)法有效梳理出高維空間里關(guān)鍵的抽象特征線索，導(dǎo)致其在實(shí)際應(yīng)用場(chǎng)景中表現(xiàn)得極不穩(wěn)定，面對(duì)源自各異傳感器的圖像，它難以適配不同的成像風(fēng)格與數(shù)據(jù)偏差，難以滿足高精度需求。

3、如公開號(hào)為“cn118212534a”的中國(guó)發(fā)明專利公開了一種《一種雙時(shí)相遙感影像的變化檢測(cè)方法及系統(tǒng)》，具體公開了“獲取待檢測(cè)區(qū)域的雙時(shí)相遙感影像；所述雙時(shí)相遙感影像包括兩幅不同時(shí)相的遙感影像；對(duì)雙時(shí)相遙感影像進(jìn)行影像校正，生成雙時(shí)相遙感校正影像；計(jì)算兩幅不同時(shí)相的遙感校正影像的相似特征，以及兩幅不同時(shí)相的遙感校正影像的深度特征的差分特征，并對(duì)相似特征和差分特征進(jìn)行特征拼接形成融合特征；對(duì)融合特征對(duì)應(yīng)的每一個(gè)像素點(diǎn)進(jìn)行二分類，獲取待檢測(cè)區(qū)域的變化檢測(cè)結(jié)果”，但該方法僅依靠計(jì)算相似特征與差分特征來(lái)拼接融合特征，難以得到高維復(fù)雜的抽象特征，會(huì)遺漏關(guān)鍵信息，限制變化檢測(cè)結(jié)果的精準(zhǔn)度；此外，該方法處理復(fù)雜任務(wù)的能力有限，難以應(yīng)對(duì)多樣化的待檢測(cè)區(qū)域情況。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)所存在的上述問題，本技術(shù)提供了基于多網(wǎng)絡(luò)的雙時(shí)相遙感影像語(yǔ)義變化檢測(cè)方法與系統(tǒng)。

2、本技術(shù)的技術(shù)方案如下：

3、一方面，本發(fā)明提出基于多網(wǎng)絡(luò)的雙時(shí)相遙感影像語(yǔ)義變化檢測(cè)方法，所述方法包括：

4、獲取雙時(shí)相遙感影像，并對(duì)所述雙時(shí)相遙感影像進(jìn)行預(yù)處理；利用滑動(dòng)窗口將預(yù)處理后的雙時(shí)相遙感影像裁剪成預(yù)設(shè)的像素規(guī)格，并對(duì)裁剪后的雙時(shí)相遙感影像進(jìn)行隨機(jī)旋轉(zhuǎn)，獲得雙時(shí)相遙感影像數(shù)據(jù)集；

5、利用多網(wǎng)絡(luò)聯(lián)合學(xué)習(xí)策略，以聯(lián)合語(yǔ)義變化檢測(cè)網(wǎng)絡(luò)為主網(wǎng)絡(luò)，雙分支語(yǔ)義分割網(wǎng)絡(luò)為輔助網(wǎng)絡(luò)，構(gòu)建雙時(shí)相變化增強(qiáng)網(wǎng)絡(luò)；其中，利用跨注意力融合模塊對(duì)主網(wǎng)絡(luò)和輔助網(wǎng)絡(luò)中提取的特征影像進(jìn)行融合，利用兩階段決策融合策略，以像素級(jí)掩膜的形式約束主網(wǎng)絡(luò)的輸出，生成最終的雙時(shí)相遙感影像變化檢測(cè)結(jié)果；利用輔助損失函數(shù)對(duì)所述雙時(shí)相變化增強(qiáng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，將所述雙時(shí)相遙感影像數(shù)據(jù)集輸入所述雙時(shí)相變化增強(qiáng)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，獲得訓(xùn)練完成的雙時(shí)相變化增強(qiáng)網(wǎng)絡(luò)；

6、獲取待檢測(cè)的雙時(shí)相遙感影像，將所述待檢測(cè)的雙時(shí)相遙感影像輸入訓(xùn)練完成的雙時(shí)相變化增強(qiáng)網(wǎng)絡(luò)，獲得待檢測(cè)的雙時(shí)相遙感影像的對(duì)應(yīng)檢測(cè)結(jié)果。

7、優(yōu)選的，所述預(yù)處理包括輻射定標(biāo)、大氣校正、正射校正、影像融合、影像矢量化和影像格式轉(zhuǎn)化，其中：

8、所述影像融合具體為利用融合算法將多光譜和全色影像進(jìn)行融合；

9、所述影像矢量化具體為對(duì)遙感影像中的地類邊界進(jìn)行矢量化，勾勒出影像中的不同地類，包括水體、林地、耕地和建筑物，并對(duì)不同地類像素賦值；

10、所述影像格式轉(zhuǎn)化具體為利用矢量轉(zhuǎn)柵格算法進(jìn)行格式轉(zhuǎn)化。

11、優(yōu)選的，所述聯(lián)合語(yǔ)義變化檢測(cè)網(wǎng)絡(luò)包括語(yǔ)義變化檢測(cè)編碼器、語(yǔ)義變化注意力模塊和語(yǔ)義變化檢測(cè)解碼器，將所述雙時(shí)相遙感影像數(shù)據(jù)集輸入聯(lián)合語(yǔ)義變化檢測(cè)網(wǎng)絡(luò)，以公式表示為：

12、

13、式中，表示前時(shí)相的語(yǔ)義變化特征影像；表示后時(shí)相的語(yǔ)義變化特征影像；it1表示前時(shí)相影像；it2表示后時(shí)相影像；siamscd()表示具有孿生特征提取的語(yǔ)義變化檢測(cè)編碼器；表示雙時(shí)相特征在通道維度上的拼接結(jié)果；concat表示雙時(shí)相特征在通道級(jí)聯(lián)上的拼接函數(shù)；classifier1表示第一語(yǔ)義變化分類解碼層；classifier2表示第二語(yǔ)義變化分類解碼層；classifier3表示第三語(yǔ)義變化分類解碼層；表示前時(shí)相影像語(yǔ)義變化輸出特征圖；表示后時(shí)相影像語(yǔ)義變化輸出特征圖；表示聯(lián)合語(yǔ)義變化檢測(cè)的輸出特征圖。

14、優(yōu)選的，所述雙分支語(yǔ)義分割網(wǎng)絡(luò)包括語(yǔ)義分割編碼器、語(yǔ)義分割注意力模塊和語(yǔ)義分割解碼器，將所述雙時(shí)相遙感影像數(shù)據(jù)集輸入雙分支語(yǔ)義分割網(wǎng)絡(luò)，以公式表示為：

15、

16、式中，表示前時(shí)相的語(yǔ)義分割特征影像；表示后時(shí)相的語(yǔ)義分割特征影像；siamss()表示具有孿生特征提取的雙分支語(yǔ)義分割編碼器；表示前時(shí)相影像語(yǔ)義輸出特征圖；表示后時(shí)相影像語(yǔ)義輸出特征圖；classifier4表示第一語(yǔ)義分割分類解碼層。

17、優(yōu)選的，利用跨注意力融合模塊對(duì)主網(wǎng)絡(luò)和輔助網(wǎng)絡(luò)中提取的特征影像進(jìn)行融合，以公式表示為：

18、

19、af＝a1×a2；

20、o＝v1×v2+af×(v1×v2)；

21、式中，a1表示提取的語(yǔ)義分割編碼器的特征圖；softmax表示激活函數(shù)；q1表示預(yù)設(shè)的語(yǔ)義分割編碼器的空間域向量；k1表示預(yù)設(shè)的語(yǔ)義分割編碼器的空間域向量；t表示轉(zhuǎn)置操作；a2表示提取的語(yǔ)義變化檢測(cè)編碼器的特征圖；q2表示預(yù)設(shè)的語(yǔ)義變化檢測(cè)編碼器的空間域向量；k2表示預(yù)設(shè)的語(yǔ)義變化檢測(cè)編碼器的空間域向量；af表示融合的特征圖；×表示交錯(cuò)點(diǎn)積；o表示跨注意力融合模塊輸出圖；v1表示預(yù)設(shè)的跨注意力融合模塊的空間域向量；v2表示預(yù)設(shè)的跨注意力融合模塊的空間域向量。

22、優(yōu)選的，利用兩階段決策融合策略，以像素級(jí)掩膜的形式約束主網(wǎng)絡(luò)的輸出，生成最終的雙時(shí)相遙感影像變化檢測(cè)結(jié)果，具體為：

23、在第一階段，通過前時(shí)相影像語(yǔ)義輸出特征圖與后時(shí)相影像語(yǔ)義輸出特征圖在空間矢量層面進(jìn)行二值疊加，得到雙分支語(yǔ)義分割的二值變化檢測(cè)圖；將所述二值變化檢測(cè)圖與跨注意力融合模塊輸出圖進(jìn)行像素級(jí)掩膜的點(diǎn)積運(yùn)算，計(jì)算交集圖；

24、在第二階段，將所述交集圖與聯(lián)合語(yǔ)義變化檢測(cè)的輸出特征圖進(jìn)行點(diǎn)積運(yùn)算，生成最終的雙時(shí)相遙感影像變化檢測(cè)結(jié)果。

25、優(yōu)選的，利用輔助損失函數(shù)對(duì)所述雙時(shí)相變化增強(qiáng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，以公式表示為：

26、

27、

28、ljoint＝lbcd+lscd+lss+laux；

29、式中，表示聯(lián)合語(yǔ)義變化檢測(cè)的前時(shí)相損失；表示第i個(gè)類別的聯(lián)合語(yǔ)義變化檢測(cè)預(yù)設(shè)的參考標(biāo)簽的前時(shí)相概率分布；表示第i個(gè)類別的聯(lián)合語(yǔ)義變化檢測(cè)預(yù)測(cè)結(jié)果的前時(shí)相概率分布；表示聯(lián)合語(yǔ)義變化檢測(cè)的后時(shí)相損失；表示第i個(gè)類別的聯(lián)合語(yǔ)義變化檢測(cè)預(yù)設(shè)的參考標(biāo)簽的后時(shí)相概率分布；表示第i個(gè)類別的聯(lián)合語(yǔ)義變化檢測(cè)預(yù)測(cè)結(jié)果的后時(shí)相概率分布；lbcd表示二值變化檢測(cè)圖的損失；表示聯(lián)合語(yǔ)義變化檢測(cè)的預(yù)測(cè)結(jié)果的預(yù)設(shè)的參考標(biāo)簽的概率分布；表示聯(lián)合語(yǔ)義變化檢測(cè)的預(yù)測(cè)結(jié)果的概率分布；lscd表示聯(lián)合語(yǔ)義變化檢測(cè)的總損失；表示雙分支語(yǔ)義分割網(wǎng)絡(luò)的前時(shí)相損失；表示第i個(gè)類別的雙分支語(yǔ)義分割網(wǎng)絡(luò)預(yù)設(shè)的參考標(biāo)簽的前時(shí)相概率分布；表示第i個(gè)類別的雙分支語(yǔ)義分割網(wǎng)絡(luò)預(yù)測(cè)結(jié)果的前時(shí)相概率分布；表示雙分支語(yǔ)義分割網(wǎng)絡(luò)的后時(shí)相損失；表示第i個(gè)類別的雙分支語(yǔ)義分割網(wǎng)絡(luò)預(yù)設(shè)的參考標(biāo)簽的后時(shí)相概率分布；表示第i個(gè)類別的雙分支語(yǔ)義分割網(wǎng)絡(luò)預(yù)測(cè)結(jié)果的后時(shí)相概率分布；lss表示雙分支語(yǔ)義分割網(wǎng)絡(luò)的總損失；表示聯(lián)合語(yǔ)義變化檢測(cè)的余弦相似度；表示雙分支語(yǔ)義分割網(wǎng)絡(luò)的余弦相似度；表示二值變化檢測(cè)圖的余弦相似度；laux表示余弦相似度的總和；ljoint表示最終的輔助損失函數(shù)；n表示雙時(shí)相遙感影像數(shù)據(jù)集的類別總數(shù)；i表示第i個(gè)類別的索引值。

30、另一方面，本發(fā)明還提出基于多網(wǎng)絡(luò)的雙時(shí)相遙感影像語(yǔ)義變化檢測(cè)系統(tǒng)，所述系統(tǒng)包括數(shù)據(jù)獲取模塊、網(wǎng)絡(luò)構(gòu)建模塊、影像檢測(cè)模塊和結(jié)果輸出模塊，其中：

31、所述數(shù)據(jù)獲取模塊用于獲取雙時(shí)相遙感影像，并對(duì)所述雙時(shí)相遙感影像進(jìn)行預(yù)處理；利用滑動(dòng)窗口將預(yù)處理后的雙時(shí)相遙感影像裁剪成預(yù)設(shè)的像素規(guī)格，并對(duì)裁剪后的雙時(shí)相遙感影像進(jìn)行隨機(jī)旋轉(zhuǎn)，獲得雙時(shí)相遙感影像數(shù)據(jù)集；將所述雙時(shí)相遙感影像數(shù)據(jù)集傳輸至網(wǎng)絡(luò)構(gòu)建模塊；

32、所述網(wǎng)絡(luò)構(gòu)建模塊用于利用多網(wǎng)絡(luò)聯(lián)合學(xué)習(xí)策略，以聯(lián)合語(yǔ)義變化檢測(cè)網(wǎng)絡(luò)為主網(wǎng)絡(luò)，雙分支語(yǔ)義分割網(wǎng)絡(luò)為輔助網(wǎng)絡(luò)，構(gòu)建雙時(shí)相變化增強(qiáng)網(wǎng)絡(luò)；其中，利用跨注意力融合模塊對(duì)主網(wǎng)絡(luò)和輔助網(wǎng)絡(luò)中提取的特征影像進(jìn)行融合，利用兩階段決策融合策略，以像素級(jí)掩膜的形式約束主網(wǎng)絡(luò)的輸出，生成最終的雙時(shí)相遙感影像變化檢測(cè)結(jié)果；利用輔助損失函數(shù)對(duì)所述雙時(shí)相變化增強(qiáng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，將所述雙時(shí)相遙感影像數(shù)據(jù)集輸入所述雙時(shí)相變化增強(qiáng)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，獲得訓(xùn)練完成的雙時(shí)相變化增強(qiáng)網(wǎng)絡(luò)；

33、所述影像檢測(cè)模塊用于獲取待檢測(cè)的雙時(shí)相遙感影像，將所述待檢測(cè)的雙時(shí)相遙感影像輸入訓(xùn)練完成的雙時(shí)相變化增強(qiáng)網(wǎng)絡(luò)，獲得待檢測(cè)的雙時(shí)相遙感影像的對(duì)應(yīng)檢測(cè)結(jié)果；

34、所述結(jié)果輸出模塊用于展示待檢測(cè)的雙時(shí)相遙感影像的對(duì)應(yīng)檢測(cè)結(jié)果。

35、再一方面，本發(fā)明還提出一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如本發(fā)明任一實(shí)施例所述的基于多網(wǎng)絡(luò)的雙時(shí)相遙感影像語(yǔ)義變化檢測(cè)方法。

36、再一方面，本發(fā)明還提出一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明任一實(shí)施例所述的基于多網(wǎng)絡(luò)的雙時(shí)相遙感影像語(yǔ)義變化檢測(cè)方法。

37、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

38、1)本發(fā)明提供了基于多網(wǎng)絡(luò)的雙時(shí)相遙感影像語(yǔ)義變化檢測(cè)方法與系統(tǒng)，利用滑動(dòng)窗口將預(yù)處理后的雙時(shí)相遙感影像裁剪成預(yù)設(shè)的像素規(guī)格，并對(duì)裁剪后的影像進(jìn)行隨機(jī)旋轉(zhuǎn)，獲得雙時(shí)相遙感影像數(shù)據(jù)集，增強(qiáng)了數(shù)據(jù)樣本的多樣性，極大提升了數(shù)據(jù)豐富度，提高了模型的泛化能力；

39、2)本發(fā)明提供了基于多網(wǎng)絡(luò)的雙時(shí)相遙感影像語(yǔ)義變化檢測(cè)方法與系統(tǒng)，利用多網(wǎng)絡(luò)聯(lián)合學(xué)習(xí)策略，以聯(lián)合語(yǔ)義變化檢測(cè)網(wǎng)絡(luò)為主網(wǎng)絡(luò)，雙分支語(yǔ)義分割網(wǎng)絡(luò)為輔助網(wǎng)絡(luò)，構(gòu)建雙時(shí)相變化增強(qiáng)網(wǎng)絡(luò)，增強(qiáng)了特征提取與融合的全面性，與單一網(wǎng)絡(luò)架構(gòu)相比，提升了從影像中挖掘深層次語(yǔ)義信息的能力；同時(shí)，借助跨注意力融合模塊對(duì)主網(wǎng)絡(luò)和輔助網(wǎng)絡(luò)中提取的特征影像進(jìn)行融合，進(jìn)一步提升了特征融合的質(zhì)量與效率，提高了最終的檢測(cè)結(jié)果的可靠性；

40、3)本發(fā)明提供了基于多網(wǎng)絡(luò)的雙時(shí)相遙感影像語(yǔ)義變化檢測(cè)方法與系統(tǒng)，利用輔助損失函數(shù)對(duì)所述雙時(shí)相變化增強(qiáng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，并采用兩階段決策融合策略，以及輔助損失函數(shù)的引入，提升了網(wǎng)絡(luò)訓(xùn)練的科學(xué)性與精細(xì)度，增強(qiáng)了模型在迭代訓(xùn)練時(shí)參數(shù)調(diào)整的合理性，顯著提高了網(wǎng)絡(luò)的整體性能，保障了檢測(cè)結(jié)果的穩(wěn)定性與準(zhǔn)確性。