本發(fā)明屬于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)視覺(jué)任務(wù)中低光增強(qiáng)，涉及一種基于改進(jìn)ppm結(jié)構(gòu)的低光增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)及其訓(xùn)練方法。

背景技術(shù)：

1、隨著科技發(fā)展，智能設(shè)備消費(fèi)需求日益增長(zhǎng)，智能設(shè)備引入視覺(jué)技術(shù)已是各大市場(chǎng)競(jìng)爭(zhēng)必備之劍。視覺(jué)技術(shù)與圖像的成像質(zhì)量密不可分，而極端場(chǎng)景下的成像質(zhì)量尤為關(guān)鍵，低光場(chǎng)景圖像增強(qiáng)技術(shù)就是其中的一個(gè)環(huán)節(jié)。低光環(huán)境下，圖像的信噪比低；短曝光圖像噪聲多，細(xì)節(jié)損失大，長(zhǎng)曝光圖像易過(guò)曝，比較模糊，不真實(shí)；如何獲取優(yōu)質(zhì)的低光圖像或者低光增強(qiáng)圖像是目前面臨的技術(shù)難題。在傳統(tǒng)的圖像增強(qiáng)方法無(wú)法有效提升低光圖像質(zhì)量時(shí)，學(xué)者們提出了不同的基于深度學(xué)習(xí)的增強(qiáng)低光圖像方法，為該領(lǐng)域開(kāi)辟了一個(gè)新思路。然而，基于深度學(xué)習(xí)的低光增強(qiáng)圖像方法依然面臨著一些難題，例如對(duì)比度提升、細(xì)節(jié)恢復(fù)及色彩恢復(fù)等問(wèn)題。

2、低光圖像增強(qiáng)(low-light?image?enhancement,llie)旨在提升低光環(huán)境下所采集圖像的感知質(zhì)量。該領(lǐng)域的近期進(jìn)展主要由深度學(xué)習(xí)方法(包含不同學(xué)習(xí)策略、網(wǎng)絡(luò)架構(gòu)、損失函數(shù)、訓(xùn)練數(shù)據(jù)等)主導(dǎo)。學(xué)習(xí)策略有無(wú)監(jiān)督、自監(jiān)督等；網(wǎng)絡(luò)架構(gòu)也是各有創(chuàng)新，有基于cnn、gan的，還有將cnn與retinex理論相結(jié)合的；損失函數(shù)有l(wèi)1、l2、ssim、ms_ssim，感知損失、平滑損失等；也有不少學(xué)者發(fā)布了一些低光數(shù)據(jù)集，例如lol，scie，sid等。

3、然而，傳統(tǒng)圖像增強(qiáng)方法，像全局直方圖均衡化，伽馬變換等對(duì)低光圖像增強(qiáng)效果差。而現(xiàn)有的一些深度學(xué)習(xí)方法可能在對(duì)比度、色彩、細(xì)節(jié)恢復(fù)、模型結(jié)構(gòu)復(fù)雜度、數(shù)據(jù)集等方面存在各自的問(wèn)題；且現(xiàn)有的基于深度學(xué)習(xí)的低光增強(qiáng)網(wǎng)絡(luò)大都存在結(jié)構(gòu)復(fù)雜，算力高，部署難度大等問(wèn)題，因此亟待在保證低光增強(qiáng)效果基礎(chǔ)上，提出一種算力低，結(jié)構(gòu)簡(jiǎn)單，易在終端芯片部署的低光增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問(wèn)題，本申請(qǐng)的目的在于：為低光增強(qiáng)領(lǐng)域提供一種基于raw域的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)引入改進(jìn)的金字塔池化模塊，結(jié)構(gòu)簡(jiǎn)單，便于終端部署且具有極低算力。以1080p圖像輸入為例，該網(wǎng)絡(luò)參數(shù)量為12192，flops約5.32gflops。在君正t41系列芯片上可完成1080p圖像實(shí)時(shí)低光增強(qiáng)，提升暗光場(chǎng)景的畫(huà)面視覺(jué)效果。

2、具體地，本發(fā)明提供一種基于改進(jìn)ppm結(jié)構(gòu)的低光增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)，所述網(wǎng)絡(luò)結(jié)構(gòu)包括：

3、所述網(wǎng)絡(luò)僅使用一層unet結(jié)構(gòu)，用于網(wǎng)絡(luò)上下文信息交互，所述unet整體網(wǎng)絡(luò)結(jié)構(gòu)呈u形，能夠融合淺層特征與深層特征；

4、所述網(wǎng)絡(luò)輸入將bayer格式圖像轉(zhuǎn)為rggb，相較于bayer格式直接輸入，網(wǎng)絡(luò)全部特征大小減小1/4；網(wǎng)絡(luò)輸出特征大小(w/2,h/2,32)，通過(guò)pixelshuffle上采樣方法將網(wǎng)絡(luò)輸出由(w/2,h/2,32)轉(zhuǎn)為(w,h,8)，即結(jié)果為8個(gè)增強(qiáng)權(quán)重圖；

5、改進(jìn)傳統(tǒng)的金字塔池化模塊ppm結(jié)構(gòu)，通過(guò)對(duì)原結(jié)構(gòu)的多個(gè)卷積及上采樣的縮減及重組來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)計(jì)算量的精減；改進(jìn)后的ppm結(jié)構(gòu)僅包含一層卷積，處理1080p圖像算力為6.3mflops；且在算力降低的同時(shí)保證了全局與局部信息的交互融合；

6、所述網(wǎng)絡(luò)輸出為迭次n次的曲線圖，每次迭代的二次函數(shù)參考zero-dce網(wǎng)絡(luò)，具體如公式(0)所示；

7、len(x)＝len-1(x)+anlen-1(x)(1-len-1(x))?公式(0)

8、其中，an即為網(wǎng)絡(luò)輸出經(jīng)pixelshuffle上采樣后的第n通道權(quán)重圖，其中n≤8；len為最終的低光增強(qiáng)預(yù)測(cè)圖。

9、所述網(wǎng)絡(luò)的具體實(shí)現(xiàn)如表1所示：

10、表1

11、

12、表格中w、h分別表示輸入bayer格式圖像的寬、高。

13、所述ppm結(jié)構(gòu)的具體實(shí)現(xiàn)如表2所示：

14、表2

15、

16、

17、表格中h,w為小于h，w的一組值。

18、所述表2中，根據(jù)輸入的h，w大小，可設(shè)置h＝h/16、w＝w/16，即網(wǎng)絡(luò)輸入為1080p圖像時(shí)，h＝67、w＝120。

19、本申請(qǐng)還包括一種基于改進(jìn)ppm結(jié)構(gòu)的低光增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練方法，所述方法包括：

20、s1.構(gòu)建上述任一的改進(jìn)的ppm結(jié)構(gòu)的低光增強(qiáng)網(wǎng)絡(luò)；

21、s2.網(wǎng)絡(luò)訓(xùn)練，網(wǎng)絡(luò)訓(xùn)練使用的損失函數(shù)如下公式(1)所示：

22、loss＝w1*mae_loss+w2*tv_loss?公式(1)

23、其中，mae_loss表示平均絕對(duì)誤差損失函數(shù)，如公式(2)所示；tv_loss表示梯度平滑損失函數(shù)，如公式(3)所示；w1、w2分別為對(duì)應(yīng)損失函數(shù)的權(quán)重，可以分別設(shè)置為w1＝20，w2＝5；

24、

25、其中，ω表示圖像所有像素點(diǎn)的位置域，(i，j)為圖像上第u行j列的一個(gè)位置，x為輸入圖像經(jīng)網(wǎng)絡(luò)訓(xùn)練得到預(yù)測(cè)結(jié)果圖，y為輸入圖對(duì)應(yīng)的groundtruth圖像；m表示圖像的像素點(diǎn)總數(shù)，

26、

27、其中，n為迭代次數(shù)，和分別為橫向和縱向梯度算子；

28、s3.使用配對(duì)好的低光訓(xùn)練集對(duì)以上網(wǎng)絡(luò)進(jìn)行訓(xùn)練迭代，初始學(xué)習(xí)率設(shè)置為le-4，每個(gè)epoch的衰減系數(shù)0.95。

29、所述方法設(shè)置為n＝8。

30、由此，本申請(qǐng)的優(yōu)勢(shì)在于：

31、1.網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，更容易部署于芯片端，模型推理速度快，可實(shí)時(shí)實(shí)現(xiàn)低光增強(qiáng)。卷積總層數(shù)少且卷積通道小(channel＝16或32或48)，極大的降低了網(wǎng)絡(luò)計(jì)算量；引入的改進(jìn)版本ppm結(jié)構(gòu)，能夠融合圖像全局與局部信息，相比較原始的ppm結(jié)構(gòu)，減少了卷積個(gè)數(shù)及upsample的個(gè)數(shù)，能在很大程度上消除冗余計(jì)算；

32、2.網(wǎng)絡(luò)輸出為迭次n次的曲線圖，對(duì)輸入圖經(jīng)過(guò)多次的曲線增強(qiáng)迭代得到最終預(yù)測(cè)圖，可對(duì)曲線圖設(shè)置權(quán)重系數(shù)，控制最終亮度效果；

33、3.選擇raw格式數(shù)據(jù)進(jìn)行圖像增強(qiáng)，raw域數(shù)據(jù)包含更多的色域以及更高的動(dòng)態(tài)范圍。因此，基于raw數(shù)據(jù)的深度模型可以重建更清晰的細(xì)節(jié)、高對(duì)比度，具有更好的色彩信息。同時(shí)，將單通道的bayer格式數(shù)據(jù)轉(zhuǎn)為rggb四通道數(shù)據(jù)，將網(wǎng)絡(luò)需要處理的圖像分辨率由(h，w，1)轉(zhuǎn)為(h/2，w/2，4)，整個(gè)網(wǎng)絡(luò)的特征尺寸全部減少1/4，加快了網(wǎng)絡(luò)推理速度。

技術(shù)特征：

1.一種基于改進(jìn)ppm結(jié)構(gòu)的低光增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)，其特征在于，所述網(wǎng)絡(luò)結(jié)構(gòu)包括：

2.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)ppm結(jié)構(gòu)的低光增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)，其特征在于，所述網(wǎng)絡(luò)的具體實(shí)現(xiàn)如表1所示：

3.根據(jù)權(quán)利要求2所述的一種基于改進(jìn)ppm結(jié)構(gòu)的低光增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)，其特征在于，所述ppm結(jié)構(gòu)的具體實(shí)現(xiàn)如表2所示：

4.根據(jù)權(quán)利要求3所述的一種基于改進(jìn)ppm結(jié)構(gòu)的低光增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)，其特征在于，所述表2中，根據(jù)輸入的h，w大小，可設(shè)置h＝h/16、w＝w/16，即網(wǎng)絡(luò)輸入為1080p圖像時(shí)，h＝67、w＝120。

5.一種基于改進(jìn)ppm結(jié)構(gòu)的低光增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練方法，其特征在于，所述方法包括：

6.根據(jù)權(quán)利要求5所述的一種基于改進(jìn)ppm結(jié)構(gòu)的低光增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練方法，其特征在于，所述方法設(shè)置為n＝8。

技術(shù)總結(jié)
本發(fā)明提供一種基于改進(jìn)PPM結(jié)構(gòu)的低光增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)及其訓(xùn)練方法，包括：網(wǎng)絡(luò)僅使用一層Unet結(jié)構(gòu)，用于網(wǎng)絡(luò)上下文信息交互；網(wǎng)絡(luò)輸入將Bayer格式圖像轉(zhuǎn)為RGGB，相較于Bayer格式直接輸入，網(wǎng)絡(luò)全部特征大小減小1/4；網(wǎng)絡(luò)輸出特征大小(W/2,H/2，32)，通過(guò)PixelShuffle上采樣方法將網(wǎng)絡(luò)輸出由(W/2,H/2，32)轉(zhuǎn)為(W，H，8)；改進(jìn)傳統(tǒng)的PPM結(jié)構(gòu)，提取全局和局部信息的同時(shí)，通過(guò)對(duì)原結(jié)構(gòu)的多個(gè)卷積及上采樣的縮減及重組來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)計(jì)算量的精減；網(wǎng)絡(luò)輸出為迭次N次的曲線圖，每次迭代的二次函數(shù)參考Zero?DCE網(wǎng)絡(luò)，如公式(0)所示；LE<subgt;n</subgt;(x)＝LE<subgt;n?1</subgt;(x)+A<subgt;n</subgt;LE<subgt;n?1</subgt;(x)(1?LE<subgt;n?1</subgt;(x))公式(0)，其中，A<subgt;n</subgt;即為網(wǎng)絡(luò)輸出經(jīng)PixelShuffle上采樣后的第n通道權(quán)重圖其中n≤8；LE<subgt;n</subgt;為最終的低光增強(qiáng)預(yù)測(cè)圖。

技術(shù)研發(fā)人員：馬艷
受保護(hù)的技術(shù)使用者：合肥君正科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/19