本發(fā)明屬于神經(jīng)網(wǎng)絡(luò)，特別涉及一種低光增強(qiáng)網(wǎng)絡(luò)引入ppm結(jié)構(gòu)優(yōu)化光暈問題的方法。

背景技術(shù)：

1、隨著科技發(fā)展，智能設(shè)備消費(fèi)需求日益增長，智能設(shè)備引入視覺技術(shù)已是各大市場競爭必備之劍。視覺技術(shù)與圖像的成像質(zhì)量密不可分，而極端場景下的成像質(zhì)量尤為關(guān)鍵，低光場景圖像增強(qiáng)技術(shù)就是其中的一個(gè)環(huán)節(jié)。低光環(huán)境下，圖像的信噪比低；短曝光圖像噪聲多，細(xì)節(jié)損失大，長曝光圖像易過曝，比較模糊，不真實(shí)；如何獲取優(yōu)質(zhì)的低光圖像或者低光增強(qiáng)圖像是目前面臨的技術(shù)難題。在傳統(tǒng)的圖像增強(qiáng)方法無法有效提升低光圖像質(zhì)量時(shí)，學(xué)者們提出了不同的基于深度學(xué)習(xí)的增強(qiáng)低光圖像方法，為該領(lǐng)域開辟了一個(gè)新思路。然而，基于深度學(xué)習(xí)的低光增強(qiáng)圖像方法依然面臨著一些難題，例如對(duì)比度提升、細(xì)節(jié)恢復(fù)及色彩恢復(fù)等問題。

2、低光圖像增強(qiáng)(low-light?image?enhancement,llie)旨在提升低光環(huán)境下所采集圖像的感知質(zhì)量。該領(lǐng)域的近期進(jìn)展主要由深度學(xué)習(xí)方法(包含不同學(xué)習(xí)策略、網(wǎng)絡(luò)架構(gòu)、損失函數(shù)、訓(xùn)練數(shù)據(jù)等)主導(dǎo)。學(xué)習(xí)策略有無監(jiān)督、自監(jiān)督等；網(wǎng)絡(luò)架構(gòu)也是各有創(chuàng)新，有基于cnn、gan的，還有將cnn與retinex理論相結(jié)合的；損失函數(shù)有l(wèi)1、l2、ssim、ms_ssim，感知損失、平滑損失等；也有不少學(xué)者發(fā)布了一些低光數(shù)據(jù)集，例如lol，scie，sid等。

3、然而，傳統(tǒng)圖像增強(qiáng)方法，像全局直方圖均衡化，伽馬變換等對(duì)低光圖像增強(qiáng)效果差。而現(xiàn)有的一些深度學(xué)習(xí)方法可能在對(duì)比度、色彩、細(xì)節(jié)恢復(fù)、模型結(jié)構(gòu)復(fù)雜度、數(shù)據(jù)集等方面存在各自的問題。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問題，本技術(shù)的目的在于：為低光增強(qiáng)領(lǐng)域提供一種基于raw域的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)在結(jié)構(gòu)上便于終端部署，算力少；并在該網(wǎng)絡(luò)基礎(chǔ)上增加金字塔池化模塊，進(jìn)一步優(yōu)化低光增強(qiáng)過程中產(chǎn)生的光暈問題。

2、具體地，本發(fā)明提供一種低光增強(qiáng)網(wǎng)絡(luò)引入ppm結(jié)構(gòu)優(yōu)化光暈問題的方法，所述方法包括：

3、s1，構(gòu)建引入ppm結(jié)構(gòu)的低光增強(qiáng)網(wǎng)絡(luò)：

4、s1.1，整體上使用帶跳躍連接的unet結(jié)構(gòu)，實(shí)現(xiàn)上下文信息交互；

5、s1.2，前4層使用簡化resnet模塊，減少網(wǎng)絡(luò)層數(shù)及網(wǎng)絡(luò)計(jì)算量；

6、s1.3，后3層使用帶注意力機(jī)制的resnet模塊，使網(wǎng)絡(luò)在訓(xùn)練過程中能夠更好地關(guān)注圖像的全局和局部亮度信息；

7、s1.4，使用pixelshuffle及其逆操作實(shí)現(xiàn)網(wǎng)絡(luò)的上采樣、下采樣功能；

8、s1.5，引入金字塔池化模塊ppm結(jié)構(gòu)實(shí)現(xiàn)全局多尺度上下文信息交互；其中第一、二個(gè)ppm模塊輸出通道數(shù)為256，內(nèi)部卷積通道數(shù)為32，多尺度參數(shù)分別為[1，2，3，6]；第三個(gè)ppm模塊輸出通道數(shù)為24，內(nèi)部卷積通道數(shù)為8，多尺度參數(shù)分別為[1，6]；對(duì)原始特征圖進(jìn)行4個(gè)不同尺度的池化操作，進(jìn)而得到4個(gè)不同尺寸的特征圖；然后對(duì)這4個(gè)不同尺寸的特征圖進(jìn)行上采樣操作，恢復(fù)至原始特征圖大小，最后在通道維度上進(jìn)行拼接，得到最終的復(fù)合特征圖；

9、s1.6，網(wǎng)絡(luò)輸出為迭次n次的曲線圖，對(duì)輸入圖經(jīng)過n次的曲線增強(qiáng)迭代得到最終預(yù)測圖，可對(duì)曲線圖設(shè)置權(quán)重系數(shù)，控制最終亮度效果；

10、s2.訓(xùn)練網(wǎng)絡(luò)，網(wǎng)絡(luò)訓(xùn)練使用的損失函數(shù)如下公式(1)所示：

11、loss＝w1*mae_loss+w2*tv_loss???公式(1)

12、其中，mae_loss表示平均絕對(duì)誤差損失函數(shù)，如公式(2)所示；

13、tv_loss表示梯度平滑損失函數(shù)，如公式(3)所示；

14、w1、w2分別為對(duì)應(yīng)損失函數(shù)的權(quán)重，可分別設(shè)置為w1＝20，w2＝5；

15、

16、其中，ω表示圖像所有像素點(diǎn)的位置域，(i，j)為圖像上第i行j列的一個(gè)位置，x為輸入圖像經(jīng)網(wǎng)絡(luò)訓(xùn)練得到預(yù)測結(jié)果圖，y為輸入圖對(duì)應(yīng)的groundtruth圖像；m表示圖像的像素點(diǎn)總數(shù)；

17、

18、其中，n為迭代次數(shù)，和分別為橫向和縱向梯度算子；

19、s3.使用配對(duì)好的低光訓(xùn)練集，其中每對(duì)數(shù)據(jù)包含兩張圖像，一張?jiān)嫉凸鈘aw格式圖像，一張經(jīng)過人工合成、篩選操作處理的提亮后的圖像，對(duì)提出的網(wǎng)絡(luò)進(jìn)行訓(xùn)練迭代，其中訓(xùn)練集為raw格式圖像，網(wǎng)絡(luò)訓(xùn)練初始學(xué)習(xí)率設(shè)置為le-4，每個(gè)epoch的衰減系數(shù)0.95。

20、所述步驟s1.1中，所述帶跳躍連接的unet結(jié)構(gòu)，所述unet整體網(wǎng)絡(luò)結(jié)構(gòu)呈u形，能夠融合淺層特征與深層特征，其中包括：

21、conv_first為單層卷積；卷積核3x3，輸出通道數(shù)8，激活函數(shù)relu；

22、conv_last為帶注意力機(jī)制的卷積模塊：

23、第一個(gè)卷積輸出通道數(shù)16，激活函數(shù)采用relu，卷積核1x1；

24、第一個(gè)卷積結(jié)果依次經(jīng)過通道注意力模塊和空間注意力模塊，得到conv_last模塊的輸出結(jié)果，其中通道注意力模塊第一個(gè)卷積輸出通道4，第二個(gè)卷積輸出通道16；其中空間注意力模塊第一個(gè)卷積輸出通道16，第二個(gè)卷積輸出通道1。

25、所述步驟s1.2中，所述簡化resnet模塊包括：

26、第1個(gè)卷積輸出通道數(shù)32，激活函數(shù)采用relu，卷積核1x1；

27、第2個(gè)卷積輸出通道數(shù)8，激活函數(shù)采用relu，卷積核3x3；

28、第3個(gè)卷積輸出通道數(shù)32，激活函數(shù)采用relu，卷積核1x1；

29、殘差部分為第一個(gè)卷積輸出與第三個(gè)卷積輸出相加。

30、所述步驟s1.3，進(jìn)一步包括：

31、s1.3.1，layer5、6層使用帶注意力機(jī)制的resnet模塊，所述resnet模塊就是殘差網(wǎng)絡(luò)模塊，其結(jié)構(gòu)如步驟s1.2所述，由3個(gè)卷積組成，殘差部分為第一個(gè)卷積輸出與第三個(gè)卷積輸出相加來輸出模塊最終結(jié)果；具體設(shè)置為：第1個(gè)卷積輸出通道數(shù)128，激活函數(shù)采用relu，卷積核1x1；第2個(gè)卷積輸出通道數(shù)32，激活函數(shù)采用relu，卷積核3x3；第3個(gè)卷積輸出通道數(shù)128，激活函數(shù)采用relu，卷積核1x1；殘差部分為第一個(gè)卷積輸出與第三個(gè)卷積輸出相加；

32、resnet結(jié)構(gòu)之前的注意力機(jī)制，就是特征圖依次輸入channel_attention及spatial_attention模塊，其中通道注意力模塊channel_attention結(jié)構(gòu)為：輸入經(jīng)全局平均池化，進(jìn)入第一個(gè)卷積，輸出通道數(shù)16，卷積核1x1，激活函數(shù)relu；第二個(gè)卷積輸出通道數(shù)64，卷積核1x1，激活函數(shù)sigmoid，輸出為輸入與第二個(gè)卷積的乘積；其中空間注意力模塊spatial_attention結(jié)構(gòu)為：輸入進(jìn)入第一個(gè)卷積，輸出通道數(shù)位64，卷積核為1x1，激活函數(shù)relu；再進(jìn)第二個(gè)卷積，輸出通道數(shù)1，卷積核1x1，激活函數(shù)sigmoid，輸出為輸入與第二個(gè)卷積的乘積；

33、s1.3.2，layer7層與上述內(nèi)容s1.3.1結(jié)構(gòu)一致，具體的resnet模塊中卷積通道全部為32，其他設(shè)置與上述內(nèi)容s.1.3.1設(shè)置一致。

34、所述步驟s1.6中，

35、每次迭代的二次函數(shù)參考zero-dce網(wǎng)絡(luò)，具體如公式(0)所示；

36、len(x)＝len-1(x)+anlen-i(x)(1-len-1(x))???公式(0)

37、其中，an即為網(wǎng)絡(luò)輸出的第n通道曲線圖；len為最終的低光增強(qiáng)預(yù)測圖。

38、所述方法設(shè)置為n＝8。

39、由此，本技術(shù)的優(yōu)勢在于：

40、1.整體上使用帶跳躍連接的unet結(jié)構(gòu)(如附圖2)，實(shí)現(xiàn)上下文信息交互；

41、2.前4層使用簡化resnet模塊(如附圖3所示)，減少網(wǎng)絡(luò)層數(shù)及網(wǎng)絡(luò)計(jì)算量；

42、3.后3層使用帶注意力機(jī)制的resnet模塊(如附圖4(a)所示)，使網(wǎng)絡(luò)在訓(xùn)練過程中可以更好的關(guān)注更重要的信息；

43、4.使用pixelshuffle及其逆操作實(shí)現(xiàn)網(wǎng)絡(luò)的上采樣、下采樣功能，不會(huì)存在信息損失或非原始信息的引入；

44、5.引入ppm(金字塔池化模塊)結(jié)構(gòu)，其結(jié)構(gòu)如附圖5所示，實(shí)現(xiàn)全局多尺度上下文信息交互；

45、6.網(wǎng)絡(luò)輸出為迭次n次的曲線圖，對(duì)輸入圖經(jīng)過多次的曲線增強(qiáng)迭代得到最終預(yù)測圖，可對(duì)曲線圖設(shè)置權(quán)重系數(shù)，控制最終亮度效果。

46、7.選擇raw格式數(shù)據(jù)進(jìn)行圖像增強(qiáng)，raw域數(shù)據(jù)包含更多的色域以及更高的動(dòng)態(tài)范圍。因此，基于raw數(shù)據(jù)的深度模型可以重建更清晰的細(xì)節(jié)、高對(duì)比度，具有更好的色彩信息。