本發(fā)明屬于水下圖像復原,尤其涉及一種基于神經(jīng)網(wǎng)絡(luò)的水下降質(zhì)圖像偏振恢復方法。
背景技術(shù):
1、水下圖像復原技術(shù)在眾多關(guān)鍵領(lǐng)域扮演著至關(guān)重要的角色,尤其適用于水下救援、海洋資源勘探和水下勘測等復雜水下作業(yè)。然而,水體中懸浮的微粒對光線的散射和吸收作用會削弱成像設(shè)備接收到的光信號,進而造成水下圖像質(zhì)量的嚴重退化,表現(xiàn)為對比度不足、邊緣不清晰以及視距縮短。面對水體渾濁和散射導致的“視線不清、視距不遠”的挑戰(zhàn),我們迫切需要采用創(chuàng)新的光學信息捕獲技術(shù)和先進的圖像處理手段,以解決渾濁水體環(huán)境下的圖像退化問題。這包括從水下場景中恢復目標圖像,消除后向散射光的影響,并提高水下圖像的對比度和清晰度。
2、近年來,人們已經(jīng)提出了多種方法以提升水下成像質(zhì)量。如直方圖拉伸法、圖像濾波法、retinex成像法、基于暗通道先驗法、水下偏振成像法。相較于其他方法在多種退化因素共同存在時,成像效果極其有限的問題,水下偏振成像法因其具備準確估算目標信息光和后向散射光之間區(qū)別與聯(lián)系的優(yōu)勢,可實現(xiàn)散射光抑制、提升成像清晰度的目的,從一眾水下成像方法中脫穎而出。
3、目前,各種基于偏振的水下圖像恢復方法已經(jīng)被提出,其中最經(jīng)典的模型為schechner等人提出的偏振成像模型,該方法從多張偏振圖像中提取偏振參數(shù)恢復清晰的水下圖像,提高了水下圖像的質(zhì)量,同時也證明了在水下使用偏振技術(shù)的優(yōu)越性。然而傳統(tǒng)的水下偏振成像物理模型是某種程度上的簡化或者理想化,如treibitz等人將后向散射光偏振度考慮為單一值,利用局部區(qū)域的背景估計后向散射光偏振度。然而,后向散射光偏振度在整個像面是變化的,將其視作固定單一值可能與實際情況具有較大偏差。hu等人基于參數(shù)擬合法估計圖像后向散射光偏振度,利用背景區(qū)域?qū)笙蛏⑸涔馄穸冗M行多項式擬合以估計目標區(qū)域的偏振度。然而,用后向散射光偏振度擬合的平面估計的目標區(qū)域偏振度仍存在較大誤差,目標信息光解譯仍不準確,目標信息光提取仍不準確,圖像清晰度仍需進一步提高。
技術(shù)實現(xiàn)思路
1、為解決上述技術(shù)問題,本發(fā)明提出一種基于神經(jīng)網(wǎng)絡(luò)的水下降質(zhì)圖像偏振恢復方法和系統(tǒng)。
2、本發(fā)明第一方面公開了一種基于神經(jīng)網(wǎng)絡(luò)的水下降質(zhì)圖像偏振恢復方法;所述方法包括:
3、步驟s1、采集真實水環(huán)境中的偏振圖像,并經(jīng)預處理后形成訓練數(shù)據(jù)集;訓練數(shù)據(jù)集中各數(shù)據(jù)樣本的樣本標簽包括強度圖像、偏振度圖像和偏振角圖像;
4、步驟s2、基于偏振圖像退化模型構(gòu)建去散射網(wǎng)絡(luò);其中,去散射網(wǎng)絡(luò)包括依次連接的淺層特征提取模塊、通道注意力機制模塊、密集殘差模塊、全局特征融合模塊以及重建模塊;
5、步驟s3、將訓練數(shù)據(jù)集中的樣本依次輸入去散射網(wǎng)絡(luò),以得到增強結(jié)果;
6、步驟s4、基于增強結(jié)果和樣本標簽,計算偏振和強度的聯(lián)合損失函數(shù)值,進而根據(jù)聯(lián)合損失函數(shù)進行反向傳播計算去散射網(wǎng)絡(luò)的梯度,進而得到優(yōu)化后的去散射網(wǎng)絡(luò);
7、步驟s5、將目標圖像輸入優(yōu)化后的去散射網(wǎng)絡(luò),以得到恢復后圖像。
8、在所述步驟s1中,對所有偏振圖像都進行橫向和縱向剪裁,以得到一個包含水下偏振圖像對的訓練數(shù)據(jù)集。
9、在所述步驟s2中,淺層特征提取模塊包含兩個卷積層,卷積核的大小為3×3,用于提取偏振圖像的淺層特征信息,得到特征圖。
10、在所述步驟s2中,通道注意力機制模塊利用全局平均池化層將特征圖縮減至1×1×c的維度,其中c表示特征圖的通道數(shù)目;之后,對各通道特征進行權(quán)重學習,以實現(xiàn)對特征圖中各特征的權(quán)重調(diào)整。
11、在所述步驟s2中,密集殘差模塊包括多個殘差模塊,每個殘差模塊通過一系列卷積層和激活層來提取特征,其中每個卷積層的輸出都會與后續(xù)層的輸入進行拼接,實現(xiàn)特征的密集連接;同時每個殘差模塊內(nèi)部包含殘差連接,將輸入直接添加到輸出從而促進了特征的重用和信息的累積。
12、全局特征融合模塊首先通過一個連接層將所有殘差塊的輸出在通道維度上進行拼接,以實現(xiàn)將不同層次的特征圖合并在一起,拼接后的特征圖隨后通過兩個連續(xù)的卷積層,以進一步提取和融合特征;
13、重建模塊使用上采樣重建目標樣本大小的高分辨率圖像。
14、步驟s4中,聯(lián)合損失函數(shù)l為:
15、l=lcont+λ×lpolar
16、其中,λ表示經(jīng)驗值;lcont表示強度損失,lcont=||ihr-ihr-gt||2,ihr表示經(jīng)去散射網(wǎng)絡(luò)增強的水下強度圖像,ihr-gt表示清水環(huán)境下的強度圖像,||.||2表示l2范數(shù);lpolar表示偏振損失,由偏振度損失和偏振角損失組成,即lpolar=||dolp-dolpgt||2+α||aop-aopgt||2,dolp和dolpgt分別表示經(jīng)去散射網(wǎng)絡(luò)增強的偏振度圖像以及清水中的偏振度圖像,aop和aopgt分別表示經(jīng)去散射網(wǎng)絡(luò)增強的偏振角圖像以及清水中的偏振角圖像,α為權(quán)重因子。
17、本發(fā)明第二方面公開了一種基于神經(jīng)網(wǎng)絡(luò)的水下降質(zhì)圖像偏振恢復系統(tǒng);所述系統(tǒng)包括:
18、第一處理模塊,被配置為,采集真實水環(huán)境中的偏振圖像,并經(jīng)預處理后形成訓練數(shù)據(jù)集;強度圖像、偏振度圖像和偏振角圖像;
19、第二處理模塊,被配置為,基于偏振圖像退化模型構(gòu)建去散射網(wǎng)絡(luò);其中,去散射網(wǎng)絡(luò)包括依次連接的淺層特征提取模塊、通道注意力機制模塊、密集殘差模塊、全局特征融合模塊以及重建模塊;
20、第三處理模塊,被配置為,將訓練數(shù)據(jù)集中的樣本依次輸入去散射網(wǎng)絡(luò),以得到增強結(jié)果;
21、第四處理模塊,被配置為,基于增強結(jié)果和樣本標簽,計算偏振和強度的聯(lián)合損失函數(shù)值,進而根據(jù)聯(lián)合損失函數(shù)進行反向傳播計算去散射網(wǎng)絡(luò)的梯度,進而得到優(yōu)化后的去散射網(wǎng)絡(luò);
22、第五處理模塊,被配置為,將目標圖像輸入優(yōu)化后的去散射網(wǎng)絡(luò),以得到恢復后圖像。
23、本發(fā)明第三方面公開了一種電子設(shè)備。電子設(shè)備包括存儲器和處理器,存儲器存儲有計算機程序,處理器執(zhí)行計算機程序時,實現(xiàn)本公開第一方面中任一項的一種基于神經(jīng)網(wǎng)絡(luò)的水下降質(zhì)圖像偏振恢復方法中的步驟。
24、本發(fā)明第四方面公開了一種計算機可讀存儲介質(zhì)。計算機可讀存儲介質(zhì)上存儲有計算機程序,計算機程序被處理器執(zhí)行時,實現(xiàn)本公開第一方面中任一項的一種基于神經(jīng)網(wǎng)絡(luò)的水下降質(zhì)圖像偏振恢復方法中的步驟。
25、綜上,本發(fā)明提出的方案具備如下技術(shù)效果:
26、(1)本技術(shù)通過引入基于偏振圖像的退化模型以及密集殘差網(wǎng)絡(luò),由于該技術(shù)手段結(jié)合了物理成像模型的深入理解和深度學習的特征提取能力,因此解決了傳統(tǒng)水下偏振成像方法在處理復雜水下環(huán)境時容易出現(xiàn)的圖像復原不準確和清晰度不足的問題,實現(xiàn)了在渾濁水體環(huán)境下對水下目標的有效恢復和圖像質(zhì)量的顯著提升。
27、(2)本技術(shù)通過在網(wǎng)絡(luò)中引入通道注意力機制模塊,由于該技術(shù)手段能夠使網(wǎng)絡(luò)識別并強調(diào)圖像中的關(guān)鍵區(qū)域,賦予不同區(qū)域不同的注意力權(quán)重,因此解決了傳統(tǒng)網(wǎng)絡(luò)在處理偏振圖像時可能無法有效區(qū)分目標和背景的問題,實現(xiàn)了對水下目標的更準確定位和圖像細節(jié)的增強,從而提升了整體的水下圖像恢復質(zhì)量。
28、(3)本技術(shù)通過構(gòu)建一個偏振和強度的聯(lián)合損失函數(shù),由于該技術(shù)手段不僅關(guān)注于像素級別的圖像重建質(zhì)量,還額外考慮了偏振信息在特征層面的重建效果,因此解決了現(xiàn)有方法在水下圖像恢復過程中可能出現(xiàn)的偏振信息丟失或重建不準確的問題,實現(xiàn)了強度信息和偏振信息的有效平衡,提升了水下降質(zhì)圖像的偏振恢復質(zhì)量。