本發(fā)明涉及遙感圖像中云層處理，尤其涉及一種水域遙感圖像中云層遮擋處理方法。

背景技術(shù)：

1、無人機拍攝的水域遙感圖像是進行水域巡檢的重要手段。然而，很多水域遙感圖像中都會有云層存在，云層遮擋水域遙感圖像的空間結(jié)構(gòu)、紋理和上下文，遮蓋了水域遙感圖像中的有效信息，并且顯著影響了水域遙感圖像場景的像素分布。

2、目前處理云層遮擋解決方案是：?將訓練好的無云光學圖像模型遷移到經(jīng)過云去除方法處理過的云覆蓋光學圖像上。例如，通過傳播無云背景的紋理結(jié)構(gòu)來重建云覆蓋區(qū)域，并通過豐富背景信息的特征空間和搜索范圍來進一步優(yōu)化結(jié)果。這種方法容易受到邊緣效應的影響，且在厚云覆蓋時，生成效果很差。針對厚云覆蓋造成的嚴重信息缺失，現(xiàn)有技術(shù)中，構(gòu)建統(tǒng)一的空間-時間-光譜模型來去除厚云，該模型可以充分利用來自多源和多時間數(shù)據(jù)的信息，準確重建云損壞區(qū)域，但是需要采用歷史的無遮擋的圖像，重建并非基于實時場景。

技術(shù)實現(xiàn)思路

1、為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題，本發(fā)明提供一種水域遙感圖像中云層遮擋處理方法。

2、本發(fā)明提供一種水域遙感圖像中云層遮擋處理方法，包括：

3、利用遙感成像設(shè)備和合成孔徑雷達同步采集目標水域的水域遙感圖像和水域合成孔徑雷達圖像，將兩者關(guān)聯(lián)；

4、利用支持云層識別的云層分割模型識別需要進行云層遮擋處理的目標水域遙感圖像；

5、將目標水域遙感圖像和與其關(guān)聯(lián)的水域合成孔徑雷達圖像進行對齊處理；

6、對齊后，利用云層掩碼從水域合成孔徑雷達圖像中獲取云層覆蓋區(qū)域，利用合成孔徑雷達圖像識別模型提取水域合成孔徑雷達圖像域中云層覆蓋區(qū)域目標物語義；

7、將對齊的目標水域遙感圖像、與其關(guān)聯(lián)的水域合成孔徑雷達圖像、目標物語義輸入到預訓練的云層處理擴散模型，所述云層處理擴散模型根據(jù)水域合成孔徑雷達圖像、目標物語義的引導對目標水域遙感圖像的云層覆蓋區(qū)域進行處理，生成無云目標水域遙感圖像。

8、更進一步的，所述將目標水域遙感圖像和與其關(guān)聯(lián)的水域合成孔徑雷達圖像進行對齊處理的過程包括：通過所述云層分割模型分割出目標水域遙感圖像中的非云層區(qū)域，從目標水域遙感圖像的非云層區(qū)域中提取遙感圖像域?qū)R參考目標；

9、從與目標水域遙感圖像關(guān)聯(lián)的水域合成孔徑雷達圖像中提取合成孔徑雷達圖像域?qū)R參考目標；

10、在合成孔徑雷達圖像域的對齊參考目標范圍內(nèi)匹配遙感圖像域?qū)R參考目標；

11、按照兩個域中相匹配的對齊參考目標之間的旋轉(zhuǎn)平移關(guān)系對齊水域遙感圖像和水域合成孔徑雷達圖像。

12、更進一步的，所述云層處理擴散模型包括：vqvae編碼器、vqvae解碼器、unet模型、云下目標物雷達特征編碼器、共享的時間編碼器、共享的云下目標物文本編碼器；

13、其中，預訓練的所述vqvae編碼器將輸入的目標水域遙感圖像和與其關(guān)聯(lián)的水域合成孔徑雷達圖像轉(zhuǎn)換到潛空間；

14、利用擴散過程對目標水域遙感圖像的潛空間表示迭代的添加高斯噪聲；

15、目標水域遙感圖像的潛空間表示的擴散結(jié)果被輸入到unet模型進行迭代的降噪處理；

16、云下目標物雷達特征編碼器和unet模型并行設(shè)置，用于在每次迭代的降噪過程中給unet模型的中間模塊和解碼模塊提供從水域合成孔徑雷達圖像提取到云下目標物雷達特征，所述云下目標物雷達特征引導unet模型在相應的云下區(qū)域生成基于云下目標物的水域遙感圖像域表示；

17、共享的云下目標物文本編碼器對利用合成孔徑雷達圖像識別模型從水域合成孔徑雷達圖像域中云層覆蓋區(qū)域提取目標物語義進行編碼，并在每次迭代的降噪過程中給unet模型的中間模塊和解碼模塊提供目標物語義編碼，目標物語義編碼引導unet模型在相應的云下區(qū)域生成基于云下目標物的水域遙感圖像域表示；

18、共享的時間編碼器在每次迭代的降噪過程中為云下目標物雷達特征編碼器和unet模型提供迭代時間步編碼；

19、預訓練的所述vqvae解碼器基于unet模型生成的降噪結(jié)果解碼出處理后的目標水域遙感圖像。

20、更進一步的，所述unet模型包括：級聯(lián)的若干編碼模塊、中間模塊和對應編碼模塊數(shù)量的解碼模塊，其中，相應的編碼模塊和解碼模塊之間設(shè)置跳鏈；對于任意層級的解碼模塊而言，上一層級的解碼模塊的輸出和同一層級的編碼器的輸出相結(jié)合輸入到該解碼模塊。

21、更進一步的，云下目標物雷達特征編碼器包含：復制于unet模型的級聯(lián)的若干編碼模塊和中間模塊，每個編碼模塊和中間模塊連接一個1×1卷積層，連接于中間模塊的1×1卷積層連接到所述unet模型的中間模塊，連接于編碼模塊的1×1卷積層連接到所述unet模型中相應的解碼模塊。

22、更進一步的，所述云層處理擴散模型的訓練過程包括：

23、訓練unet模型的參數(shù)使得unet模型能夠泛化的還原被擴散的水域遙感圖像，訓練方式包括：將訓練集內(nèi)的水域遙感圖像輸入到所述云層處理擴散模型，預訓練的所述vqvae編碼器將水域遙感圖像轉(zhuǎn)換到潛空間；而后利用擴散過程對水域遙感圖像的潛空間表示迭代的添加高斯噪聲；從擴散過程中進行多次任意采樣，得到全部采樣的迭代時間步、噪聲和加噪前后的潛空間表征；共享的時間編碼器對采樣的迭代時間步編碼，加噪后的潛空間表征和時間步編碼結(jié)合后被輸入到unet模型，期待加噪后的潛空間表征根據(jù)unet預測噪聲去噪后還原加噪前的潛空間表征；最終預訓練的所述vqvae編碼器會基于最終的降噪結(jié)果還原出水域遙感圖像。

24、更進一步的，所述云層處理擴散模型的訓練過程包括：訓練完unet模型后，復制于unet模型的級聯(lián)的若干編碼模塊和中間模塊并構(gòu)建云下目標物雷達特征編碼器；訓練云下目標物雷達特征編碼器和共享的云下目標物文本編碼器為unet提供的優(yōu)化條件，使用優(yōu)化條件控制unet模型預測的噪聲去噪后，能夠生成無云水域圖像的潛空間表征。

25、更進一步的，訓練云下目標物雷達特征編碼器和共享的云下目標物文本編碼器的方式包括：

26、對于訓練集內(nèi)的任意水域合成孔徑雷達圖像，利用對應的云層掩碼提取出云層覆蓋區(qū)域；利用合成孔徑雷達圖像識別模型提取水域合成孔徑雷達圖像域中云層覆蓋區(qū)域目標物語義；

27、將水域遙感圖像和水域合成孔徑雷達圖像輸入到所述云層處理擴散模型的預訓練的所述vqvae編碼器；預訓練的所述vqvae編碼器將水域遙感圖像和水域合成孔徑雷達圖像轉(zhuǎn)換到潛空間；

28、而后利用擴散過程對水域遙感圖像和無云水域遙感圖像的潛空間表示同步的添加一致的高斯噪聲；

29、共享的云下目標物文本編碼器對水域合成孔徑雷達圖像域中云層覆蓋區(qū)域目標物語義進行編碼得到目標物語義編碼并提供給unet模型，目標物語義編碼為unet模型提供云下目標物語義信息，強化語義表征；

30、從水域遙感圖像和無云水域遙感圖像的擴散過程中進行多次任意采樣，得到兩種采樣的迭代時間步、噪聲、加噪前后的潛空間表征；

31、共享的時間編碼器對采樣的迭代時間步編碼；

32、將采樣的水域合成孔徑雷達圖像的潛空間表征經(jīng)1×1卷積層處理后與云水域遙感圖像加噪后的潛空間表征結(jié)合輸入到云下目標物雷達特征編碼器，同時采樣的時間步編碼、目標物語義編碼結(jié)合后被輸入到云下目標物雷達特征編碼器，云下目標物雷達特征編碼器為unet模型提供云下目標物空間信息；

33、采樣的云水域遙感圖像加噪后的潛空間表征被輸入到unet模型，同時，采樣的時間步編碼、目標物語義編碼被輸入到unet模型；

34、unet模型在云下目標物雷達特征編碼器和目標物語義編碼提供的額外條件下預測出擴散的噪聲，使得云水域遙感圖像加噪后的潛空間表征按預測噪聲去噪后與同采樣階段無云水域遙感圖像加噪前的潛空間表征距離最??；最終預訓練的所述vqvae編碼器會基于最終的降噪結(jié)果生成無云水域遙感圖像。

35、更進一步的，所述訓練集包括：關(guān)聯(lián)的水域遙感圖像、水域遙感圖像的云層掩碼、水域合成孔徑雷達圖像、無云水域遙感圖像，其中，關(guān)聯(lián)的無云水域遙感圖像與水域遙感圖像的場景一致，但無云層遮擋。

36、更進一步的，所述云層處理擴散模型生成過程中，所述云層處理擴散模型生成過程中，提供目標水域遙感圖像和目標水域合成孔徑雷達圖像；

37、將目標水域遙感圖像和目標水域合成孔徑雷達圖像輸入到所述云層處理擴散模型的預訓練的所述vqvae編碼器；預訓練的所述vqvae編碼器將目標水域遙感圖像和目標水域合成孔徑雷達圖像轉(zhuǎn)換到潛空間；

38、而后利用擴散過程對目標水域遙感圖像的潛空間表示添加高斯噪聲；

39、共享的云下目標物文本編碼器對目標水域合成孔徑雷達圖像域中云層覆蓋區(qū)域目標物語義進行編碼得到目標物語義編碼并提供給unet模型；

40、對目標水域遙感圖的擴散結(jié)果進行去噪，得到擴散的迭代時間步、噪聲、加噪前后的潛空間表征；

41、共享的時間編碼器對去噪過程對應的迭代時間步編碼；

42、將去噪過程的目標水域合成孔徑雷達圖像的潛空間表征經(jīng)1×1卷積層處理后與目標云水域遙感圖像加噪后的潛空間表征結(jié)合輸入到云下目標物雷達特征編碼器，同時時間步編碼、目標物語義編碼結(jié)合后被輸入到云下目標物雷達特征編碼器；

43、目標云水域遙感圖像每個擴散步加噪后的潛空間表征被輸入到unet模型，同時，時間步編碼、目標物語義編碼被輸入到unet模型；

44、unet模型在云下目標物雷達特征編碼器和目標物語義編碼提供的額外條件下預測出噪聲，使得目標云水域遙感圖像加噪后的潛空間表征按預測噪聲去噪；最終預訓練的所述vqvae編碼器會基于最終的降噪結(jié)果生成無云目標水域遙感圖像。

45、本發(fā)明實施例提供的上述技術(shù)方案與現(xiàn)有技術(shù)相比具有如下優(yōu)點：

46、本發(fā)明同步采集目標水域的水域遙感圖像和水域合成孔徑雷達圖像；篩選需進行云層遮擋處理的目標水域遙感圖像；將目標水域遙感圖像和與其關(guān)聯(lián)的水域合成孔徑雷達圖像對齊；對齊后，利用合成孔徑雷達圖像識別模型提取水域合成孔徑雷達圖像域中云層覆蓋區(qū)域目標物語義；將對齊的目標水域遙感圖像、與其關(guān)聯(lián)的水域合成孔徑雷達圖像、目標物語義輸入到預訓練的云層處理擴散模型，云層處理擴散模型根據(jù)水域合成孔徑雷達圖像、目標物語義的引導對目標水域遙感圖像的云層覆蓋區(qū)域進行處理，生成無云目標水域遙感圖像。本技術(shù)以同步的水域合成孔徑雷達圖像為引導生成水域遙感圖像域內(nèi)云層覆蓋區(qū)域圖像。本技術(shù)利用云層處理擴散模型學習對象分布信息的能力來生成式的生成水域遙感圖像中被云層遮蓋區(qū)域。由于利用同步采集的水域合成孔徑雷達圖像作為引導，能夠很好的將云下目標物的語義空間信息從水域合成孔徑雷達圖像轉(zhuǎn)到水域遙感圖像域，形成的云層遮蓋區(qū)域的圖像符合當前真實情況。通過目標物語義增強云層遮蓋區(qū)域中目標物語義，補充水域合成孔徑雷達圖像中目標物空間信息，保證生成正確目標物，利用光學和合成孔徑雷達的協(xié)同和互補效應，云層處理擴散模型能自然的銜接云下區(qū)域目標和非云下區(qū)域，生成的無云水域圖像的質(zhì)量更高。