本發(fā)明屬于遙感影像處理領(lǐng)域，涉及一種基于多任務(wù)學(xué)習(xí)和多源數(shù)據(jù)特征融合的滑坡提取方法。

背景技術(shù)：

1、滑坡是較高頻的自然災(zāi)害，具有強(qiáng)大的爆發(fā)力和破壞性，給人們的生命財(cái)產(chǎn)造成了嚴(yán)重的損害?；滦畔⒌目焖偬崛εc災(zāi)害的應(yīng)急響應(yīng)以及土地利用規(guī)劃有重要意義。傳統(tǒng)的以現(xiàn)場調(diào)查和測量為主的滑坡提取方法盡管測繪精度高、地質(zhì)信息獲取詳細(xì)，但耗時耗力，且還存在一定的危險性。

2、隨著遙感技術(shù)的發(fā)展，遙感數(shù)據(jù)在滑坡提取中得到了廣泛應(yīng)用。目視解譯是一種基礎(chǔ)的基于遙感圖像的滑坡提取方法，該方法依靠解譯人員的專業(yè)知識和經(jīng)驗(yàn)識別出滑坡區(qū)域，精度高但主觀性強(qiáng)且難以處理大規(guī)模數(shù)據(jù)。此外，基于遙感的滑坡自動提取方法可按技術(shù)原理大致分為基于特征閾值、基于淺層機(jī)器學(xué)習(xí)和基于深度學(xué)習(xí)的方法。其中，基于特征閾值的方法通過確定合適的閾值來構(gòu)建特征規(guī)則集，實(shí)現(xiàn)滑坡提取，然而合適的閾值難以尋找且普適性不強(qiáng)?；跈C(jī)器學(xué)習(xí)的方法則使用機(jī)器學(xué)習(xí)算法進(jìn)行分類以實(shí)現(xiàn)滑坡提取，該類方法對數(shù)據(jù)和計(jì)算資源的需求小，且計(jì)算效率高，但比較依賴特征的選擇，其性能也受限于機(jī)器學(xué)習(xí)模型的表達(dá)能力。相較之下，基于深度學(xué)習(xí)的方法展現(xiàn)了巨大的潛力和優(yōu)勢。unet因其簡單靈活且易擴(kuò)展的架構(gòu)設(shè)計(jì)和廣泛的適用性，在基于遙感影像的滑坡提取方面有較為廣泛的應(yīng)用，且在遙感影像滑坡提取的應(yīng)用場景下，通常會對unet進(jìn)行針對性的修改優(yōu)化。深度學(xué)習(xí)方法能夠自動從原始數(shù)據(jù)中提取特征，實(shí)現(xiàn)了端到端的滑坡提取，在進(jìn)行大規(guī)模的滑坡檢測時更加高效。

3、深度學(xué)習(xí)的方法在滑坡提取上展現(xiàn)了巨大的潛力與優(yōu)勢，但滑坡的特殊性，滑坡識別的難度通常更大，現(xiàn)有方法仍面臨一些挑戰(zhàn)。深度學(xué)習(xí)模型因其復(fù)雜結(jié)構(gòu)和龐大參數(shù)量，好的性能依賴大量高質(zhì)量數(shù)據(jù)樣本，然而，高質(zhì)量的滑坡數(shù)據(jù)樣本稀缺，從而使模型面臨小樣本學(xué)習(xí)問題，限制了性能。并且，此前的研究往往只關(guān)注滑坡本身的特征，簡單地將非滑坡區(qū)域視為背景，從而忽略了背景區(qū)域可能包含的、對滑坡識別有幫助的信息。此外，由于坡區(qū)域與周圍裸土、巖石等在紋理和顏色上相似、形態(tài)不規(guī)則以及光照、陰影、云霧和植被等干擾圖像質(zhì)量，僅使用光學(xué)遙感影像進(jìn)行滑坡提取，效果并不理想；盡管現(xiàn)有部分研究已考慮將多源數(shù)據(jù)結(jié)合用于滑坡提取，但僅僅將數(shù)據(jù)簡單地拼接或相加融合，往往不能充分利用每種數(shù)據(jù)類型的獨(dú)特信息，也無法深入挖掘數(shù)據(jù)之間的潛在關(guān)聯(lián)。

4、針對以上問題，從結(jié)合多任務(wù)學(xué)習(xí)和充分利用多源數(shù)據(jù)兩個方面出發(fā)優(yōu)化方法。一方面，增加目標(biāo)區(qū)域內(nèi)廣泛存在且相對滑坡更易識別的非滑坡地物的識別任務(wù)來輔助滑坡提取，讓模型在進(jìn)行滑坡提取時能夠更有效地利用背景(非滑坡區(qū)域)中的特征信息，同時利用多任務(wù)學(xué)習(xí)增強(qiáng)網(wǎng)絡(luò)的特征挖掘能力，減少對數(shù)據(jù)的依賴。另一方面，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，有效地提取與融合多源數(shù)據(jù)中的特征信息，確保模型在進(jìn)行滑坡提取時能夠充分地利用多源數(shù)據(jù)中蘊(yùn)含的信息，進(jìn)一步增強(qiáng)模型表現(xiàn)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供一種基于多任務(wù)學(xué)習(xí)和多源數(shù)據(jù)特征融合的滑坡提取方法。

2、為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

3、一種基于多任務(wù)學(xué)習(xí)和多源數(shù)據(jù)特征融合的滑坡提取方法，包括以下步驟：

4、s1：數(shù)據(jù)獲取，包括相關(guān)多源數(shù)據(jù)和矢量標(biāo)簽數(shù)據(jù)，其中矢量標(biāo)簽數(shù)據(jù)包括滑坡標(biāo)簽及輔助任務(wù)相關(guān)的標(biāo)簽；

5、s2：對獲取的數(shù)據(jù)進(jìn)行預(yù)處理，其中相關(guān)多源數(shù)據(jù)主要需盡量消除噪聲和干擾，相關(guān)標(biāo)簽數(shù)據(jù)從矢量轉(zhuǎn)為柵格，最后需確保所有數(shù)據(jù)分辨率統(tǒng)一以及在空間上對齊；

6、s3：構(gòu)建利用多源數(shù)據(jù)進(jìn)行滑坡提取的多任務(wù)深度學(xué)習(xí)模型bfm-unet(branch-fusion?multi-task?unet)，該模型包含分支融合編碼器和多任務(wù)解碼器；

7、s4：訓(xùn)練模型，包括損失函數(shù)的計(jì)算和相關(guān)超參的設(shè)置，訓(xùn)練過程中，對于每個任務(wù)，都采用聯(lián)合損失函數(shù)，結(jié)合了加權(quán)交叉熵?fù)p失和dice損失，并在多任務(wù)學(xué)習(xí)時采用可學(xué)習(xí)的動態(tài)變化的任務(wù)損失權(quán)重；此外，設(shè)置合適的批處理大小和訓(xùn)練輪次，選擇sgd(stochastic?gradient?descent)作為優(yōu)化算法并使用動態(tài)變化的學(xué)習(xí)率；

8、s5：基于目標(biāo)區(qū)域的經(jīng)過所述s2預(yù)處理后的光學(xué)遙感影像和地形數(shù)據(jù)，利用訓(xùn)練好的bfm-unet模型對滑坡進(jìn)行提取，得到滑坡分布圖。

9、進(jìn)一步，所述s1中，需獲取的多源數(shù)據(jù)主要包括光學(xué)遙感影像和數(shù)字高程模型，同時視情況加入其他蘊(yùn)含滑坡特征信息的遙感數(shù)據(jù)，如sar影像；此外，還需獲取滑坡矢量標(biāo)簽和輔助任務(wù)矢量標(biāo)簽，其中輔助任務(wù)選取區(qū)域內(nèi)廣泛存在且相較滑坡容易識別的地物作為目標(biāo)。

10、進(jìn)一步，所述s2中，多源數(shù)據(jù)的預(yù)處理主要包括：對光學(xué)遙感影像進(jìn)行大氣校正，按需求選擇導(dǎo)出全部或僅導(dǎo)出部分通道的數(shù)據(jù)，如rgb三通道；基于dem數(shù)據(jù)進(jìn)行地形分析獲得坡度和坡向數(shù)據(jù)；若有其他數(shù)據(jù)，如sar影像，則需進(jìn)行輻射校正、去噪處理和地形校正；為保證多源數(shù)據(jù)的分辨率統(tǒng)一，其中部分?jǐn)?shù)據(jù)需要進(jìn)行重采樣，一般以其中分辨率最高的為參考標(biāo)準(zhǔn)，分辨率越高，越有利于滑坡提取；此外，滑坡矢量標(biāo)簽和輔助任務(wù)矢量標(biāo)簽從矢量轉(zhuǎn)為分辨率與其他數(shù)據(jù)一致的柵格圖像；最后，進(jìn)行圖像配準(zhǔn)，確保多源數(shù)據(jù)及相應(yīng)標(biāo)簽數(shù)據(jù)在空間上對齊。

11、進(jìn)一步，所述s3中，多任務(wù)深度學(xué)習(xí)模型bfm-unet包括：

12、分支融合編碼器，通過多個分支分別提取不同源數(shù)據(jù)的特征，通常包括光學(xué)遙感影像和地形數(shù)據(jù)的分支，根據(jù)需要增加更多分支，處理其他蘊(yùn)含滑坡特征的數(shù)據(jù)，如sar影像，更豐富的多源數(shù)據(jù)有助于擴(kuò)展特征表達(dá)，使模型更有效地應(yīng)對復(fù)雜環(huán)境和多變地理特征，各分支提取的特征通過十字繡單元進(jìn)行融合，隨后傳遞至解碼器進(jìn)行進(jìn)一步處理；

13、多任務(wù)解碼器，通過引入滑坡提取之外的其他地物識別任務(wù)，輔助滑坡提取，使模型更有效地利用背景中的特征信息，同時借助多任務(wù)學(xué)習(xí)增強(qiáng)模型的特征挖掘能力，減少對數(shù)據(jù)的依賴，并且利用十字繡單元學(xué)習(xí)任務(wù)之間的最佳共享，從而更好地發(fā)揮多任務(wù)學(xué)習(xí)的優(yōu)勢。

14、進(jìn)一步，所述s3中，分支融合編碼器和多任務(wù)解碼器中都包含十字繡單元，原十字繡單元主要應(yīng)用于不同任務(wù)之間自適應(yīng)共享，此處擴(kuò)展了其功能應(yīng)用，將其用于多源數(shù)據(jù)特征融合，且為滿足多源數(shù)據(jù)特征融合時所需的靈活性，對十字繡單元進(jìn)行了擴(kuò)展，不再限制輸入和輸出的特征數(shù)，允許其為任意值且不必相同；此外，考慮到特征圖不同通道的差異性，對十字繡單元還進(jìn)行了改進(jìn)，將原權(quán)重矩陣中的權(quán)重元素從標(biāo)量擴(kuò)展為維度與特征圖通道數(shù)相同的向量其對特征圖的處理按公式(1)計(jì)算：

15、

16、其中，表示第i個輸出特征圖，fj，j＝1,2,...,m表示第j個輸入特征圖；wij表示在計(jì)算第i個輸出特征圖時，第j個輸入特征圖對應(yīng)權(quán)重，該權(quán)重是一個向量，其維度與輸入特征圖的通道數(shù)相同，即特征圖中的每個通道對應(yīng)相應(yīng)權(quán)重向量中的一個元素；第i個輸出特征圖的計(jì)算如公式(2)所示：

17、

18、其中，運(yùn)算*是按通道進(jìn)行的，即fj中第k個通道特征圖中每個元素都與向量wij中對應(yīng)的第k個元素相乘。

19、進(jìn)一步，所述s3中，分支融合編碼器采用多分支結(jié)構(gòu)，分別對不同源數(shù)據(jù)進(jìn)行特征提取，分支主干都由1個輸入塊和4個下采樣塊構(gòu)成，相比原unet，用殘差塊替換了下采樣塊中的卷積層；輸入塊的輸入和輸出分別定義為和輸出特征圖的高寬與輸入圖像相同，皆為hin和win，通道數(shù)有cdata轉(zhuǎn)換為cin，cdata為輸入數(shù)據(jù)的通道數(shù)，cin為可調(diào)整的參數(shù)，通常設(shè)置為32或64，輸入塊的處理過程表示為公式(3)：

20、yin＝relu(bn(conv3×3(relu(bn(conv3×3(xin))))))??????????????(3)

21、其中，relu為激活函數(shù)，bn表示批量歸一化，conv3×3表示3×3卷積操作；下采樣塊對特征圖的處理過程表達(dá)為公式(4)：

22、yd＝res(res(maxpool(xd)))?????????????????????(4)

23、其中，和分別表示下采樣塊的輸入特征圖和輸出特征圖，hd×wd×cd為輸入特征圖的形狀，res是殘差塊，maxpool是窗口大小為2×2，步長為2的最大池化操作，經(jīng)下采樣塊處理后，特征圖的高和寬減少一半，而通道數(shù)增加一倍；殘差塊對特征圖的處理通過公式(5)表示：

24、yres＝relu(bn(conv3×3(relu(bn(conv3×3(xres)))))+xres)??????????(5)

25、其中，xres和yres分別表示輸入和輸出的特征圖；

26、在跳躍連接處以及編解碼器最底部的連接處應(yīng)用十字繡單元，用于學(xué)習(xí)多源數(shù)據(jù)之間的關(guān)聯(lián)，以更有效地融合特征，并將融合結(jié)果傳遞至解碼器；在這些位置，十字繡單元的輸入特征數(shù)和輸出特征數(shù)分別對應(yīng)編碼器中的特征提取分支數(shù)和解碼器中的任務(wù)分支數(shù)，權(quán)重矩陣中權(quán)重向量的初始化方式如公式(6)：

27、

28、其中，n表示編碼器中的分支數(shù)，c為權(quán)重向量的維度，通過這樣的設(shè)置來讓各分支提取的特征在初始時具有相同權(quán)重，平等地融合。

29、進(jìn)一步，所述s3中，多任務(wù)解碼器在原unet的解碼器的基礎(chǔ)上擴(kuò)展額外分支識別合適的非滑坡地物，利用多任務(wù)學(xué)習(xí)使模型更充分地利用背景中的信息，每條分支主干由4個上采樣塊和一個輸出塊構(gòu)成，相比原unet，用殘差塊替換了上采樣塊中的卷積層，輔助任務(wù)分支的輸出塊僅在模型訓(xùn)練時啟用；每個上采樣塊有兩個輸入，分別為來自編碼器中最后一個下采樣塊或上一層上采樣塊的特征圖和通過跳躍連接來自編碼器對應(yīng)層的特征圖上采樣塊處理后得到的輸出為其中hu×wu×cu表示來自最底部的下采樣塊或上一層上采樣塊的特征圖的形狀，上采樣塊的處理過程如公式(7)：

30、yu＝res(res(cat(xu2,convt(xu1))))??????????????????(7)

31、其中，res表示殘差塊，按公式(5)計(jì)算，cat表示按通道維度特征圖，convt表示轉(zhuǎn)置卷積；輸出塊由一個1×1卷積構(gòu)成，其輸入特征圖的形狀為hout×wout×cin，輸出結(jié)果的高寬保持不變，與模型輸入圖像的高寬一致，通道數(shù)為2，對應(yīng)每個分支的分類類別數(shù)；

32、各分支的每層上采樣塊后面加入十字繡單元進(jìn)行特征共享，該單元會學(xué)習(xí)任務(wù)間的最佳共享，進(jìn)一步發(fā)揮多任務(wù)結(jié)構(gòu)的優(yōu)勢，其輸入和輸出特征數(shù)量均對應(yīng)任務(wù)分支數(shù)；在初始化該單元的參數(shù)時，權(quán)重矩陣的對角線上權(quán)重向量的元素值全為1，非對角線上權(quán)重向量的元素值設(shè)為全0，以使初始時各任務(wù)分支彼此獨(dú)立，即如公式(8)所示：

33、

34、其中，1c表示維度為c且所有元素均為1的向量，0c表示維度為c且所有元素均為0的向量。

35、進(jìn)一步，所述s4中，每個任務(wù)對應(yīng)一個聯(lián)合損失函數(shù)l，其結(jié)合了加權(quán)交叉熵?fù)p失lce和dice損失ldice，l按公式(9)計(jì)算：

36、l＝lce+ldice?(9)

37、加權(quán)交叉熵?fù)p失是交叉熵?fù)p失的擴(kuò)展，引入權(quán)重來處理類別不平衡問題，其計(jì)算公式為：

38、

39、其中，b表示一個批次的樣本總數(shù)，c表示類別總數(shù)，wj是類別j的權(quán)重，yij是是樣本i的真實(shí)標(biāo)簽在類別j上的one-hot編碼值，若樣本i是類別j，則yij為1，否則為0，是模型預(yù)測樣本i為類別j的概率；類別權(quán)重根據(jù)類別的不平衡程度進(jìn)行設(shè)置，采用基于反向頻率的常用方法，計(jì)算公式為：

40、

41、其中，nj是類別j的樣本總數(shù)；dice損失是基于dice系數(shù)定義的，dice損失通過最大化dice系數(shù)來優(yōu)化模型性能，其計(jì)算公式為：

42、

43、其中，pij和gij分別表示樣本i在預(yù)測結(jié)果和真實(shí)標(biāo)簽中是否屬于類別j，如果屬于，則值為1，否則為0；

44、上述損失計(jì)算針對單一任務(wù)，最終按多任務(wù)學(xué)習(xí)進(jìn)行訓(xùn)練時，使用可學(xué)習(xí)的動態(tài)變化的任務(wù)損失權(quán)重，從數(shù)據(jù)中學(xué)習(xí)不同任務(wù)的相對重要性，多任務(wù)學(xué)習(xí)的總損失lmt的計(jì)算公式為：

45、

46、其中，t表示任務(wù)總數(shù)量，li為任務(wù)i的損失，由公式(9)計(jì)算得到，si是一個可學(xué)習(xí)的參數(shù)，基于該參數(shù)實(shí)現(xiàn)可學(xué)習(xí)的動態(tài)損失權(quán)重。

47、進(jìn)一步，所述s4中，基于所述s1獲取并按所述s2處理得到的數(shù)據(jù)構(gòu)建數(shù)據(jù)集，劃分訓(xùn)練集和測試集，并采用旋轉(zhuǎn)、垂直翻轉(zhuǎn)和水平翻轉(zhuǎn)對訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)，訓(xùn)練集用于bfm-unet模型訓(xùn)練，測試集用于評估訓(xùn)練好的模型的性能；模型訓(xùn)練時，設(shè)置合適的批處理大小和訓(xùn)練輪次，選擇sgd作為優(yōu)化算法并使用動態(tài)變化的學(xué)習(xí)率，學(xué)習(xí)率的變化分兩階段：

48、第一階段，在訓(xùn)練初期逐步從極低值線性增加到設(shè)定的學(xué)習(xí)率，減少模型對初始權(quán)重敏感帶來的影響，具體按公式(14)計(jì)算：

49、

50、其中，α為可調(diào)整的參數(shù)，i是第一階段中當(dāng)前的迭代次數(shù)，numphase1是該階段的總迭代次數(shù)，lrinit為初始設(shè)定的學(xué)習(xí)率；

51、第二階段，學(xué)習(xí)率逐漸以非線性方式衰減至接近0，有助于模型穩(wěn)定收斂，具體學(xué)習(xí)率按公式(15)計(jì)算：

52、

53、其中，β為可調(diào)整的參數(shù)，j是第二階段中當(dāng)前的迭代次數(shù)，numphase2是該階段的總迭代次數(shù)。

54、進(jìn)一步，所述s5中，將通過所述s1獲取并按所述s2處理得到的目標(biāo)區(qū)域的多源數(shù)據(jù)輸入訓(xùn)練好的多任務(wù)深度學(xué)習(xí)模型bfm-unet中進(jìn)行滑坡提取，從而得到相應(yīng)的滑坡分布圖，分布圖中滑坡區(qū)域顯示為白色，非滑坡區(qū)域顯示為黑色。

55、本發(fā)明的有益效果在于：

56、(1)本發(fā)明的多任務(wù)解碼器通過多任務(wù)學(xué)習(xí)，增加目標(biāo)區(qū)域內(nèi)廣泛存在且相對滑坡更易識別的非滑坡地物的識別任務(wù)來輔助滑坡提取，使模型能夠更有效地利用背景信息，從而提升滑坡提取的精度。

57、(2)本發(fā)明的多任務(wù)解碼器利用多任務(wù)學(xué)習(xí)增強(qiáng)網(wǎng)絡(luò)的特征挖掘能力，使模型在有限的樣本下能夠挖掘更多有價值的特征，提高數(shù)據(jù)利用率，有效應(yīng)對小樣本學(xué)習(xí)問題。

58、(3)本發(fā)明的分支融合編碼器通過不同分支提取多源數(shù)據(jù)的特征并利用十字繡單元學(xué)習(xí)數(shù)據(jù)間的關(guān)聯(lián)，有效地提取與融合多源數(shù)據(jù)中的特征信息，確保模型在進(jìn)行滑坡提取時能夠充分地利用多源數(shù)據(jù)中蘊(yùn)含的信息。

59、(4)本發(fā)明通過分支融合編碼器與多任務(wù)解碼器的協(xié)同工作，進(jìn)一步提升滑坡提取精度，能夠更好地區(qū)分滑坡與其他地物，從而降低誤檢率，提高滑坡提取結(jié)果的可靠性。

60、(5)本發(fā)明提出的滑坡提取方法，其框架可根據(jù)具體任務(wù)需求進(jìn)行調(diào)整，具備良好的適應(yīng)性和可擴(kuò)展性，能為復(fù)雜地質(zhì)環(huán)境下的滑坡監(jiān)測、災(zāi)害預(yù)警以及防災(zāi)減災(zāi)提供了有效的技術(shù)支持。

61、本發(fā)明的其他優(yōu)點(diǎn)、目標(biāo)和特征在某種程度上將在隨后的說明書中進(jìn)行闡述，并且在某種程度上，基于對下文的考察研究對本領(lǐng)域技術(shù)人員而言將是顯而易見的，或者可以從本發(fā)明的實(shí)踐中得到教導(dǎo)。本發(fā)明的目標(biāo)和其他優(yōu)點(diǎn)可以通過下面的說明書來實(shí)現(xiàn)和獲得。