本發(fā)明涉及遙感圖像處理技術(shù),具體是一種基于補丁通道交換和特征雙流交互的遙感圖像檢測方法。
背景技術(shù):
1、遙感圖像變化檢測技術(shù)主要致力于分析同一地理區(qū)域在不同時期獲取的圖像,以識別特定物體隨時間的變化的信息。作為一種關(guān)鍵的遙感分析工具,該技術(shù)在城市建設(shè)規(guī)劃、植被覆蓋監(jiān)測和災(zāi)害評估等領(lǐng)域得到廣泛應(yīng)用,有效促進(jìn)了區(qū)域資源的合理規(guī)劃和利用。近幾十年來,變化檢測技術(shù)經(jīng)歷了從傳統(tǒng)方法到深度學(xué)習(xí)方法的快速演變?,F(xiàn)代高分辨率遙感圖像變化檢測借助卷積神經(jīng)網(wǎng)絡(luò)cnn(convolutional?neural?network,簡稱cnn)顯著提高了檢測精度和效率,同時大幅降低了人工識別成本。因此,變化檢測技術(shù)在地球觀測和資源管理中發(fā)揮著至關(guān)重要的作用。
2、隨著深度學(xué)習(xí)的快速發(fā)展,基于cnn的方法,特別是編碼器和解碼器架構(gòu)以及暹羅孿生網(wǎng)絡(luò),為變化檢測帶來了新的機遇。編碼器和解碼器的架構(gòu)中廣泛采用兩種結(jié)構(gòu):多編碼器搭配單解碼器結(jié)構(gòu)、以及雙編碼器搭配雙解碼器結(jié)構(gòu)。其中,單解碼器結(jié)構(gòu)可能受到雙時相數(shù)據(jù)間無關(guān)差異的影響,如植被的季節(jié)性變化,從而影響網(wǎng)絡(luò)性能。而雙解碼器通過采用兩個解碼器分別解析雙時相圖像的編碼特征,有效解決了混合編碼特征導(dǎo)致的信息丟失問題。這些基于暹羅孿生網(wǎng)絡(luò)的方法不僅能夠同時處理雙時相圖像,還能自動提取多層次特征,實現(xiàn)對變化區(qū)域的高效分析。
3、特征交互和差異建模技術(shù)為變化檢測提供了重要技術(shù)支撐。特征交互的核心在于充分利用雙時相圖像間的關(guān)聯(lián)信息,增強特征提取的有效性;而差異建模則著重于準(zhǔn)確捕捉變化信息,通過顯式的差異特征表達(dá)提升檢測準(zhǔn)確性。傳統(tǒng)的編碼器和解碼器結(jié)構(gòu)往往缺乏對差異信息的充分利用,而注意力機制雖能提升性能但計算開銷較大。
4、基于特征交互的差異建模方法在遙感變化檢測領(lǐng)域展現(xiàn)出顯著潛力。與傳統(tǒng)方法相比,這種方法能夠更好地捕捉雙時相圖像的關(guān)聯(lián)特征,同時通過精確的差異建模提升檢測精度。然而,隨著對變化檢測精度需求的提高,現(xiàn)有方法在特征表達(dá)方面仍面臨挑戰(zhàn):一方面,需要更高質(zhì)量的編碼特征來捕捉雙時相圖像之間的細(xì)微差異;另一方面,如何有效建模和利用差異特征仍是一個關(guān)鍵挑戰(zhàn)。當(dāng)前研究仍面臨特征交互精細(xì)度不足、差異特征表達(dá)不充分等問題。未來研究需要著重解決特征交互的質(zhì)量問題和差異建模的效率問題,進(jìn)一步提升變化檢測技術(shù)的實用性。
技術(shù)實現(xiàn)思路
1、本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足,而提供一種基于補丁通道交換和特征雙流交互的遙感圖像檢測方法。這種方法在建筑物邊界細(xì)節(jié)的保持和復(fù)雜場景的變化識別方面有更強的魯棒性和準(zhǔn)確性,能提升變化檢測的有效性和普適性。
2、實現(xiàn)本發(fā)明目的的技術(shù)方案是:
3、一種基于補丁通道交換和特征雙流交互的遙感圖像檢測方法,包括如下步驟:
4、1)構(gòu)建數(shù)據(jù)集:采用sysu、levir-cd和whu三個具有代表性的公開數(shù)據(jù)集驗證方法的有效性,其中,sysu數(shù)據(jù)集由中山大學(xué)發(fā)布,包含對廣州市區(qū)進(jìn)行航空遙感拍攝的雙時相圖像對,主要記錄了城市建設(shè)過程中的變化信息,圖像分辨率為0.5米/像素,包含包括建筑物、道路和植被多種地物類型的變化;levir-cd數(shù)據(jù)集是一個大規(guī)模的遙感建筑物變化檢測數(shù)據(jù)集,由武漢大學(xué)發(fā)布,包含來自德克薩斯州多個城市的衛(wèi)星圖像,時間跨度從2002年到2018年,空間分辨率為0.5米/像素,主要關(guān)注建筑物的變化情況;whu數(shù)據(jù)集由武漢大學(xué)發(fā)布,是一個高分辨率的建筑物變化檢測數(shù)據(jù)集,包含從google?earth獲取的正射影像,空間分辨率為0.2米/像素,覆蓋了城市區(qū)域的建筑物變化,具有精確的像素級標(biāo)注,這三個數(shù)據(jù)集具有不同的地理特征和變化類型,能夠全面評估變化檢測算法的性能;
5、2)構(gòu)建補丁通道交換pce(patch?channel?exchange,簡稱pce)模塊:pce模塊以補丁形式在通道維度上進(jìn)行特征交換和融合,既防止了特征過度分離的冗余,又提高了雙時相間特征交互的效率,首先,將雙時相圖像特征在通道維度上劃分為若干補丁,從時相t1和t2獲得的特征分別表示為f1和f2,在通道掩碼處理中,采用全局平均池化avgpool獲取每個通道的響應(yīng)值、并與特征按通道計算差值得到掩碼矩陣,如公式(1)所示,這個掩碼表明了當(dāng)前時相中哪些通道包含更重要的特征信息:
6、cfm=cfi-avgpool(cfi),i∈(1,2)?????????????????(1),
7、其中,cfm表示通道特征的掩碼矩陣,cfi表示時相i的通道特征,avgpool表示平均池化操作,通過補丁級別的通道交換操作促進(jìn)雙時相特征交互,包括通道掩碼生成和特征交換的具體實現(xiàn);
8、獲得通道掩碼后,將t1特征中掩碼值大的通道交換到t2特征的對應(yīng)通道位置,反之亦然,這樣可以在雙時相圖像特征的通道之間進(jìn)行信息交換,得到包含更多時相間互補信息的特征表達(dá),如公式(2)所示,將f1的通道按掩碼大小降序排序,并用其中一部分替換f2中的對應(yīng)通道完成交換,交換后的特征表示為fpce:
9、fpce=exchange(f1,f2,cf1,cf2),???????????????????(2),
10、其中,fpce表示補丁通道交換后的特征,exchange(·)表示基于掩碼大小的通道交換操作;
11、3)構(gòu)建雙分支差異特征dbfd(dual?branches?feature?difference,簡稱dbfd)模塊:dbfd模塊通過對雙分支的編碼特征進(jìn)行解碼并生成差異特征,實現(xiàn)更有針對性和魯棒性的變化區(qū)域判定,在進(jìn)入dbfd模塊之前,先將pce編碼器輸出的特征輸入到兩個并行的解碼分支中,每個分支包含若干個d-block用于特征上采樣和多尺度融合,這樣既保持了分辨率的一致性,又為后續(xù)的差異特征建模做好準(zhǔn)備,為了進(jìn)一步突出特征層面的雙時相差異,需要對雙分支輸出特征顯式計算差異,如公式(3)所示:
12、fs=∣t1-t2∣,??????????????????????????????(3),
13、其中,fs表示構(gòu)建的顯式差異特征,這些差異特征隨后輸入到差異掩碼子模塊,差異掩碼子模塊通過與全局平均池化值進(jìn)行比較生成掩碼矩陣,指示具有重要差異信息的通道,從而過濾背景或偽變化區(qū)域的干擾,這個過程如公式(4)所示:
14、fm=fli-avgpool(fli),i∈(1,2),m∈(1,5),????????????????????(4),
15、其中,fm表示特征掩碼矩陣,fli表示時相i的第l層特征,通過對非差異信息進(jìn)行掩碼處理,生成包含對變化區(qū)域更敏感的差異表達(dá)的差異特征fd。如公式(5)所示,融合每個解碼器層的差異特征得到最終的變化特征fc:
16、
17、其中,l表示解碼器層數(shù),fdk表示第k個解碼器層的差異特征;
18、4)驗證評價:采用精確率、召回率、f1分?jǐn)?shù)和交并比四個標(biāo)準(zhǔn)指標(biāo)對變化檢測性能進(jìn)行全面評估:精確率p(precision,簡稱p)衡量檢測結(jié)果的準(zhǔn)確性,表示在所有被模型預(yù)測為變化區(qū)域的像素中,真實發(fā)生變化的像素所占比例,精確率越高表明模型產(chǎn)生的誤檢即將未變化區(qū)域錯誤識別為變化區(qū)域越少;召回率r(recall,簡稱r)衡量檢測結(jié)果的完整性,表示在所有真實發(fā)生變化的像素中,被模型正確檢測出的像素所占比例,召回率越高表明模型的漏檢即未能識別出實際發(fā)生變化的區(qū)域越少;f1分?jǐn)?shù)即f1-score是綜合考慮精確率和召回率的調(diào)和平均值,提供模型整體性能的平衡評估,f1分?jǐn)?shù)越高說明模型在保持高精確率的同時也維持了高召回率,表現(xiàn)出更好的綜合檢測能力;交并比即iou通過計算預(yù)測變化區(qū)域與真實變化區(qū)域的重疊程度來評估檢測的準(zhǔn)確性,是預(yù)測區(qū)域與真實區(qū)域的交集除以它們的并集,iou值越高表明模型預(yù)測的變化區(qū)域與真實變化區(qū)域的重合度越高,檢測結(jié)果越準(zhǔn)確,這四個指標(biāo)相互補充、互為佐證,共同提供了對模型檢測性能的全面評估。
19、本技術(shù)方案中補丁通道交換pce模塊通過在補丁級別實現(xiàn)特征交換,確保雙時相特征能夠進(jìn)行更細(xì)粒度的交互,不僅提高了特征提取的精確度,還能有效保持雙時相圖像各自的獨特信息,從而增強模型對變化區(qū)域的識別能力;
20、本技術(shù)方案中雙分支特征差異dbfd模塊采用雙分支解碼架構(gòu),通過顯式的差異建模策略增強變化信息的提取能力,dbfd模塊通過多層次特征融合實現(xiàn)了高效的差異特征表達(dá),同時避免了傳統(tǒng)注意力機制帶來的計算負(fù)擔(dān),提高了變化檢測的準(zhǔn)確性和效率;
21、于補丁通道交換pce模塊和雙分支特征差異dbfd模塊的聯(lián)合與協(xié)同優(yōu)化中,pce提供了高質(zhì)量的雙時相特征交互,而dbfd在此基礎(chǔ)上進(jìn)一步增強變化信息的提取能力,兩者的結(jié)合顯著提升了復(fù)雜場景和細(xì)微變化的檢測能力,通過特征交互和差異建模的有機結(jié)合,構(gòu)建出更高效、更魯棒的變化檢測模型。
22、這種方法在建筑物邊界細(xì)節(jié)的保持和復(fù)雜場景的變化識別方面有更強的魯棒性和準(zhǔn)確性,能提升變化檢測的有效性和普適性。