本發(fā)明屬于圖像處理，涉及水體提取方法及系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)：

1、水體是自然資源監(jiān)測的重要內(nèi)容，水體數(shù)據(jù)是保障社會經(jīng)濟生活正常運行的資源信息，也是工程建設(shè)運維等項目中需要關(guān)注的重要對象，比如在電網(wǎng)工程的運營與維護中，及時獲取準(zhǔn)確有效的水體數(shù)據(jù)有利于采取措施預(yù)防水體災(zāi)害和保障電網(wǎng)財產(chǎn)安全。

2、目前的水體提取方法中，基于水體指數(shù)的提取方式在單波段和多波段影像中得到普遍應(yīng)用，但是無法徹底抑制與水體無關(guān)的背景信息，且提取結(jié)果準(zhǔn)確性依賴于專家知識，限制其應(yīng)用場景；決策樹、隨機森林、支持向量機等機器學(xué)習(xí)的方法經(jīng)過發(fā)展，在一些場景中水體提取效果得到改善，但水體提取受限于專家知識以及提取結(jié)果后處理等因素，工作效率難以滿足因影像數(shù)據(jù)更新速度提升帶來的及時獲取水體數(shù)據(jù)的需求。近年來，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)開始被應(yīng)用在遙感影像水體提取任務(wù)中，從海量標(biāo)注數(shù)據(jù)中進行特征抽取，取得了不錯的效果。然而，一方面深度學(xué)習(xí)需要輸入大量的樣本數(shù)據(jù)，用戶手動采集代價十分高昂，另一方面無論是基于人工設(shè)計特征的傳統(tǒng)模型還是基于強大特征抽取能力的深度學(xué)習(xí)模型，都無法從復(fù)雜的高分辨率遙感影像中一次性和高質(zhì)量地自動提取地物目標(biāo)，仍然需要對預(yù)測結(jié)果進行人工核檢和修正，水體提取效率低，使得生產(chǎn)應(yīng)用十分低效。

技術(shù)實現(xiàn)思路

1、為了解決背景技術(shù)中所述的水體提取方法無法一次性和高質(zhì)量地自動提取地物目標(biāo)、需要對預(yù)測結(jié)果進行人工核檢和修正、效率低以及生產(chǎn)應(yīng)用十分低效的問題，本發(fā)明提出了基于深度學(xué)習(xí)的交互式水體提取方法、系統(tǒng)、設(shè)備及介質(zhì)。

2、本發(fā)明的方法，包括：

3、獲取水體樣本數(shù)據(jù)集；

4、對水體樣本數(shù)據(jù)集中的影像數(shù)據(jù)進行中值濾波預(yù)處理，得到預(yù)處理后的水體樣本數(shù)據(jù)集；

5、對所述預(yù)處理后的水體樣本數(shù)據(jù)集中的語義標(biāo)簽數(shù)據(jù)集，基于骨架線提取算法分別生成前景樣本線圖和背景樣本線圖；

6、依據(jù)所述前景樣本線圖和背景樣本線圖，分別作為正、負樣本點或線，將點或線看作獨立像素或一組像素集并標(biāo)記為前景或背景，對用戶交互情況進行模擬，生成顧及多種特征的交互數(shù)據(jù)編碼圖；

7、依據(jù)預(yù)處理后的水體樣本數(shù)據(jù)集，通過深度學(xué)習(xí)網(wǎng)絡(luò)獲取水體圖像特征圖；

8、將所述預(yù)處理后的水體樣本數(shù)據(jù)集中的影像數(shù)據(jù)、所述交互數(shù)據(jù)編碼圖以及所述水體圖像特征圖作為分割網(wǎng)絡(luò)模型輸入，對分割網(wǎng)絡(luò)模型進行訓(xùn)練更新得到水體交互分割模型；

9、依據(jù)水體交互分割模型對高分辨率的水體遙感影像數(shù)據(jù)進行水體結(jié)果數(shù)據(jù)提取，得到水體數(shù)據(jù)概率圖；

10、依據(jù)所述水體數(shù)據(jù)概率圖，利用全連接條件隨機場進行水體邊界優(yōu)化，并輸出矢量格式的水體矢量結(jié)果，實現(xiàn)水體提取。

11、進一步地，所述水體樣本數(shù)據(jù)集中影像數(shù)據(jù)的預(yù)處理方法為：

12、采用中值濾波圖像平衡化方法，用窗口內(nèi)的所有像素的中值代替中心像素的值來濾除孤立噪聲，計算公式如下：

13、yi,j＝median(xi,j),xi,j∈α??(1)，

14、其中，xi,j和yi,j分別表示輸入和輸出圖像像素，α表示中值濾波的處理窗口，median函數(shù)為返回窗口內(nèi)像素的中值。

15、更進一步地，所述前景樣本線圖和背景樣本線圖的生成方法包括：

16、首先，依據(jù)所述預(yù)處理后的水體樣本數(shù)據(jù)集中的語義標(biāo)簽數(shù)據(jù)集得到的圖像真值，對所要提取的目標(biāo)地物進行二值化，再根據(jù)四連通區(qū)域進行判斷獲得當(dāng)前目標(biāo)的獨立二值區(qū)域；

17、接著，采用骨架線提取算法，依據(jù)當(dāng)前目標(biāo)的獨立二值區(qū)域，使用形態(tài)學(xué)細化操作，侵蝕邊界處的像素，直到不可能再細化，使骨架線里的所有像素都屬于目標(biāo)內(nèi)部，且不包含任何歧義，獲得目標(biāo)單個像素寬的骨架曲線，

18、最后，按照像素二值標(biāo)簽擴張這些單個像素寬的骨架線以覆蓋更多的像素，生成前景種子線，作為前景樣本線圖；

19、在反轉(zhuǎn)了語義標(biāo)簽數(shù)據(jù)集得到的圖像真值后，按照以上生成前景種子線的方式，生成背景骨架線，作為背景樣本線圖。

20、更進一步地，所述交互數(shù)據(jù)編碼圖包括：相關(guān)圖e(vi,j)，二值編碼圖bs(vi,j)和正、負測地線圖gdp(vi,j)和gdn(vi,j)；

21、所述相關(guān)圖e(vi,j)的計算方法包括：

22、對預(yù)處理后的水體樣本數(shù)據(jù)集的語義數(shù)據(jù)集，模擬用戶交互得到的正、負樣本點或線，根據(jù)歐式距離變換生成一個正歐式距離圖edp，其中p表示正通道圖，以同樣的方式可以獲取負歐式距離圖edn，其中n表示負通道圖；將正歐式距離圖edp、負歐式距離圖edn進行結(jié)合，將像素的位置融入到一個通道圖中，重新計算圖像中每個像素的空間位置編碼值；將每個像素的空間位置編碼值歸一化到[0,1]，得到相關(guān)圖e(vi,j)，e(vi,j)的計算公式如下：

23、

24、

25、

26、其中，vi,j代表圖像中任意位置(i,j)像素的值，s是標(biāo)記像素的集合，sp和sn分別代表前景標(biāo)記像素集合和背景標(biāo)記像素集合；

27、所述二值編碼圖bs(vi,j)的計算方法為：

28、遵循用戶標(biāo)記像素，保留采樣像素的原始二值編碼圖，并將正、負樣本點、線融合到一個二值編碼圖bs(vi,j)中，將用戶標(biāo)記像素的值設(shè)置為255，其余像素值設(shè)置為0；

29、所述正、負測地線圖gdp(vi,j)和gdn(vi,j)的計算方法為：

30、采用測地線距離變換，利用圖像本身具有的豐富信息對用戶交互進行編碼，得到測地線距離圖gdt(vi,j)，gdt(vi,j)計算公式如下：

31、

32、

33、其中，i表示整個輸入圖像，pathv,u和r(s)分別表示在像素v和像素u之間所有的路徑及其方向向量，表示兩個像素之間方向向量的梯度微分；通過計算，可以分別針對前、背景標(biāo)記像素計算得到正、負測地線圖gdp(vi,j)和gdn(vi,j)。

34、更進一步地，所述水體圖像特征圖的獲取方法為：

35、以預(yù)處理后的水體樣本數(shù)據(jù)集為輸入，通過深度學(xué)習(xí)網(wǎng)絡(luò)，固定從imagenet數(shù)據(jù)集上預(yù)訓(xùn)練的vgg網(wǎng)絡(luò)模型參數(shù)，抽取圖像特征，將其中的“conv1_2”、“conv2_2”、“conv3_2”、“conv4_2”、“conv5_2”的特征張量通過雙線性采樣的方式，得到與原始圖像尺寸一樣的特征圖，作為水體圖像特征圖。

36、更進一步地，所述分割網(wǎng)絡(luò)模型的卷積層方面，使用1×1空洞卷積，輸出通道為64，在下采樣部分，使用在圖像四分之一尺寸下的級聯(lián)空洞卷積，在保證輸出通道數(shù)一直為64的同時，擴大空洞率為1，2，4，8，16，每個空洞卷積后都緊接一個relu層；同樣，利用邊緣填充保持張量的尺寸前后連貫；

37、所述分割網(wǎng)絡(luò)模型的注意力模塊方面，假設(shè)輸入特征圖為f＝[f1，...，fc]∈rc，h，w，其中c表示的是通道的數(shù)量，h，w分別表示特征圖的高度和寬度；首先分別由兩條路徑對輸入特征做一個全局平均池化和一個全局最大池化操作，壓縮全局空間信息的同時獲得兩個結(jié)果squeezegap∈rc,1,1和squeezegmp∈rc,1,1；然后使用多層感知機分別激勵上述結(jié)果，并逐元素相加結(jié)果，在應(yīng)用一個sigmoid函數(shù)和尺度變換函數(shù)在激勵后的結(jié)果上獲得權(quán)重圖eweig?ht；最后，以逐像素相乘的方式用權(quán)重圖eweig?ht為輸入特征圖賦權(quán)，得到注意力模塊的結(jié)果outputagc，計算公式如下：

38、

39、其中，表示逐像素相乘操作，σ表示sigmoid函數(shù)和尺度函數(shù)，mlp表示由一個隱含層的多層感知器組成的共享網(wǎng)絡(luò)；

40、所述分割網(wǎng)絡(luò)模型的訓(xùn)練更新過程中，將所述交互數(shù)據(jù)編碼圖、所述預(yù)處理后的水體樣本數(shù)據(jù)集中的影像數(shù)據(jù)以及所述水體圖像特征圖作為輸入，預(yù)測出地物目標(biāo)的二值掩碼，利用語義標(biāo)簽數(shù)據(jù)集中的目標(biāo)真值更新網(wǎng)絡(luò)參數(shù)，得到水體交互分割模型；

41、訓(xùn)練更新過程中采用的損失函數(shù)定義如下：

42、loss＝min?lossδ(y,pδ)?(9)，

43、

44、其中，y和pδ分別表示標(biāo)簽真值和帶有參數(shù)δ的預(yù)測結(jié)果，v表示的是圖像中每一個像素。

45、更進一步地，所述邊界優(yōu)化過程包括：

46、利用全連接條件隨機場建立后處理隨機場模型，根據(jù)水體預(yù)測模型獲得表示每個像素被分配為前、背景的概率值的概率圖，將水體遙感影像數(shù)據(jù)送入后處理隨機場模型中，后處理隨機場模型包含大量的節(jié)點和邊，水體遙感影像數(shù)據(jù)中的每個像素都是圖模型中的一個節(jié)點，鄰接像素的連線即為一條邊，后處理隨機場模型在給定一組輸入隨機變量的情況下，輸出另一組隨機變量的條件概率分布模型，公式定義如下：

47、

48、其中，x，y分別表示輸入圖像和對應(yīng)的二值圖，n表示的是所有像素的集合，每一個位置像素的閾值pi為{0,1}，第一部分?jǐn)?shù)據(jù)項函數(shù)φi描述的是分配一個像素的代價，第二部分平滑項函數(shù)φii描述的是計算保持相似像素連通性的代價，兩個函數(shù)的定義如下所示：

49、

50、

51、其中，和分別表示由網(wǎng)絡(luò)預(yù)測像素點i屬于前、背景的概率，δ和k分別表示懲罰函數(shù)和核函數(shù)，fi和fj分別表示像素點i和j在某個空間中的特征向量；懲罰函數(shù)δ限制能量的傳導(dǎo)，if?pi≠pj，δ(pi,pj)＝0；k表示一個高斯核函數(shù)，由兩個權(quán)重參數(shù)約束，采用的高斯核函數(shù)定義如下：

52、

53、其中，w1和w2分別表示約束高斯核函數(shù)的兩個權(quán)重參數(shù)；函數(shù)第一部分依賴像素點的坐標(biāo)差和和光譜強度差，函數(shù)第二部分僅依賴像素點的坐標(biāo)差，ci和cj分別表示為第i、第j個像素點的坐標(biāo)；ii和ij分別表示第i、第j個像素點的光譜強度；參數(shù)θα、θβ、θγ約束這些核函數(shù)信息之間的權(quán)重關(guān)系。

54、本發(fā)明還提出了基于深度學(xué)習(xí)的交互式水體提取系統(tǒng)，包括數(shù)據(jù)獲取模塊、數(shù)據(jù)預(yù)處理模塊、樣本線圖生成模塊、交互數(shù)據(jù)編碼圖生成模塊、圖像特征圖獲取模塊、水體交互分割模型建立模塊、水體數(shù)據(jù)概率圖獲取模塊和水體邊界優(yōu)化模塊。

55、所述數(shù)據(jù)獲取模塊，用于獲取水體樣本數(shù)據(jù)集。

56、所述數(shù)據(jù)預(yù)處理模塊，用于對水體樣本數(shù)據(jù)集中的影像數(shù)據(jù)進行中值濾波預(yù)處理，得到預(yù)處理后的水體樣本數(shù)據(jù)集。

57、所述樣本線圖生成模塊，用于對所述預(yù)處理后的水體樣本數(shù)據(jù)集中的語義標(biāo)簽數(shù)據(jù)集，基于骨架線提取算法分別生成前景樣本線圖和背景樣本線圖。

58、所述交互數(shù)據(jù)編碼圖生成模塊，用于依據(jù)所述前景樣本線圖和背景樣本線圖，分別作為正、負樣本點或線，將點或線看作獨立像素或一組像素集并標(biāo)記為前景或背景，對用戶交互情況進行模擬，生成顧及多種特征的交互數(shù)據(jù)編碼圖。

59、所述水體圖像特征圖獲取模塊，用于依據(jù)預(yù)處理后的水體樣本數(shù)據(jù)集，通過深度學(xué)習(xí)網(wǎng)絡(luò)獲取水體圖像特征圖。

60、所述水體交互分割模型建立模塊，用于將所述預(yù)處理后的水體樣本數(shù)據(jù)集中的影像數(shù)據(jù)、所述交互數(shù)據(jù)編碼圖、以及所述水體圖像特征圖作為分割網(wǎng)絡(luò)模型輸入，對分割網(wǎng)絡(luò)模型進行訓(xùn)練更新得到水體交互分割模型。

61、所述水體數(shù)據(jù)概率圖獲取模塊，用于依據(jù)水體交互分割模型對高分辨率的水體遙感影像數(shù)據(jù)進行水體結(jié)果數(shù)據(jù)提取，得到水體數(shù)據(jù)概率圖。

62、所述水體邊界優(yōu)化模塊，用于依據(jù)所述水體數(shù)據(jù)概率圖，利用全連接條件隨機場進行水體邊界優(yōu)化，并輸出矢量格式的水體矢量結(jié)果，實現(xiàn)水體提取。

63、本發(fā)明還提出了一種電子設(shè)備，包括：存儲器和處理器，所述存儲器和所述處理器之間互相通信連接，所述存儲器存儲有計算機指令，所述處理器通過執(zhí)行所述計算機指令，從而實現(xiàn)如上述所述的基于深度學(xué)習(xí)的交互式水體提取方法。

64、本發(fā)明還提出了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述所述的基于深度學(xué)習(xí)的交互式水體提取方法。

65、本發(fā)明與現(xiàn)有技術(shù)相比，首先對水體樣本數(shù)據(jù)集進行預(yù)處理，生成前景樣本線圖和背景樣本線圖，并通過對用戶交互情況進行模擬，生成顧及多種特征的交互數(shù)據(jù)編碼圖，同時通過深度學(xué)習(xí)網(wǎng)絡(luò)獲取水體圖像特征圖，并將預(yù)處理后的水體樣本數(shù)據(jù)集中的影像數(shù)據(jù)、交互數(shù)據(jù)編碼圖、水體圖像特征圖作為輸入對分割網(wǎng)絡(luò)模型進行訓(xùn)練更新得到水體交互分割模型，依據(jù)水體交互分割模型即可得到水體數(shù)據(jù)概率圖，并利用全連接條件隨機場進行水體邊界優(yōu)化。本發(fā)明借助用戶先驗識別能力引導(dǎo)水體交互分割模型分割提取水體，降低模型預(yù)測結(jié)果中的非水體數(shù)據(jù)，利用全連接條件隨機場對水體邊界進行優(yōu)化，盡量獲得準(zhǔn)確且平滑的水體邊界，減少人工修改邊界的工作量，本發(fā)明可以一次性和高質(zhì)量地自動提取地物目標(biāo)，不需要對預(yù)測結(jié)果進行人工核檢和修正，大大提升了水體提取的效率，生產(chǎn)應(yīng)用中準(zhǔn)確高效，具有很強的實用性。