本發(fā)明屬于視頻去噪處理，特別涉及一種合成3d去噪任務(wù)訓(xùn)練數(shù)據(jù)集的方法。

背景技術(shù)：

1、近些年來(lái)隨著圖像任務(wù)的迅速發(fā)展，人們對(duì)高質(zhì)量圖像和視頻的需求日益突出。然而現(xiàn)有技術(shù)中，噪聲會(huì)對(duì)圖像的視覺(jué)質(zhì)量產(chǎn)生負(fù)面影響，通過(guò)降噪、去噪可以減少或消除圖像中的噪聲，使其更清晰、更易于觀(guān)察和理解，這對(duì)于攝影、醫(yī)學(xué)成像、監(jiān)控視頻等眾多應(yīng)用領(lǐng)域都非常重要。在許多圖像分析和識(shí)別任務(wù)中，噪聲可能干擾關(guān)鍵信息的提取和準(zhǔn)確性。通過(guò)降噪、去噪處理，可以提高圖像的信號(hào)質(zhì)量，減少噪聲的干擾，從而改善圖像分析、目標(biāo)檢測(cè)、圖像識(shí)別等任務(wù)的性能。

2、在很多較極端條件下很難保證獲得高質(zhì)量的成像，目前各種方案在低光照條件下往往會(huì)設(shè)置很高的iso，目的是為了提高圖像亮度，但這樣會(huì)直接導(dǎo)致生成的圖像視頻具有很大的噪聲，成像的質(zhì)量將會(huì)變差，遠(yuǎn)遠(yuǎn)不能滿(mǎn)足各種任務(wù)的使用需求，所以去噪任務(wù)很重要。在攝像頭直接采集的raw域視頻上，噪聲一般近似遵循接近簡(jiǎn)單的泊松高斯分布，但在經(jīng)過(guò)設(shè)備isp進(jìn)行處理后產(chǎn)生的rgb圖像上，噪聲分布變得非常復(fù)雜因?yàn)榻?jīng)過(guò)轉(zhuǎn)換其分布已經(jīng)改變，這樣對(duì)于去噪任務(wù)產(chǎn)生了很大難度，因此raw域去噪比rgb域去噪更有優(yōu)勢(shì)。所以去除raw域噪聲對(duì)于生成更高質(zhì)量的圖像，具有重要意義。

3、基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法已經(jīng)廣泛應(yīng)用于各種isp任務(wù)中，但這類(lèi)方法往往需要大量的成對(duì)數(shù)據(jù)，目前常見(jiàn)的公共數(shù)據(jù)集基本是基于srgb域的圖片數(shù)據(jù)對(duì)，少量raw域數(shù)據(jù)集通常是采用類(lèi)似定格動(dòng)畫(huà)的方式采集獲得。

4、因此，目前的數(shù)據(jù)集構(gòu)建方式，遠(yuǎn)遠(yuǎn)無(wú)法滿(mǎn)足較高的去噪任務(wù)需求，raw域數(shù)據(jù)集采集的方式比較困難，會(huì)增加獲得數(shù)據(jù)集的難度，采用定格動(dòng)畫(huà)的方式采集的干凈groundtruth在訓(xùn)練過(guò)程中也很難使模型完成運(yùn)動(dòng)區(qū)域的對(duì)齊，且動(dòng)態(tài)區(qū)域的噪聲很難去除，無(wú)法針對(duì)性的對(duì)時(shí)域、空域分別做不同的監(jiān)督，導(dǎo)致模型不能很好的收斂。

5、此外，現(xiàn)有技術(shù)常用的術(shù)語(yǔ)包括：

6、ground?truth:指數(shù)據(jù)集中的標(biāo)簽數(shù)據(jù)，也是模型訓(xùn)練中模型的期望結(jié)果。aegain:指數(shù)字圖像處理自動(dòng)曝光算法中對(duì)于電信號(hào)與數(shù)字信號(hào)的增益，光通過(guò)鏡頭轉(zhuǎn)變?yōu)殡娏餍盘?hào)后的增益稱(chēng)為模擬增益，電流信號(hào)轉(zhuǎn)變?yōu)閿?shù)字信號(hào)后的增益稱(chēng)為數(shù)字增益。

7、awb：自動(dòng)白平衡，攝像頭采集的原始raw圖像經(jīng)過(guò)插值算法后的色彩總會(huì)出現(xiàn)偏差，需要對(duì)攝像頭的r、g、b通道乘以不同的增益值才能恢復(fù)正常的色調(diào)。

8、bayer格式：bayer格式圖片源自拜耳陣列，拜耳陣列是ccd或cmos傳感器拍攝彩色圖像的主要技術(shù)之一。拜耳陣列是由伊士曼·柯達(dá)公司科學(xué)家bryce?bayer發(fā)明的，被廣泛運(yùn)用數(shù)字圖像。對(duì)于彩色圖像，每個(gè)像素點(diǎn)可用rgb三種顏色來(lái)表示，最簡(jiǎn)單的采樣方法就是在每個(gè)像素點(diǎn)上用三個(gè)濾鏡，紅色的濾鏡透過(guò)紅色的波長(zhǎng)，綠色的濾鏡透過(guò)綠色的波長(zhǎng)，藍(lán)色的濾鏡透過(guò)藍(lán)色的波長(zhǎng)。這樣一來(lái)為了采集rgb三個(gè)基本色，每個(gè)點(diǎn)都需要三塊濾鏡，這種方式價(jià)格昂貴，而且因?yàn)槿龎K濾鏡都必須保證對(duì)齊到同一點(diǎn)，也不好制造。而用bayer格式，就可以很好的解決了這個(gè)問(wèn)題。每個(gè)像素點(diǎn)只是用一種顏色的濾鏡，另外通過(guò)分析人眼對(duì)顏色的感知發(fā)現(xiàn)，人眼對(duì)綠色比較敏感，所以在bayer格式的圖片中綠色較多，綠色的像素是是r和b像素的和。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問(wèn)題，本技術(shù)的目的在于：通過(guò)本方法，采集并合成的數(shù)據(jù)集在3d去噪任務(wù)中，可以很好地?cái)M合時(shí)域與空域去噪任務(wù)的不同，通過(guò)本方法，可以使模型在靜態(tài)區(qū)域有很強(qiáng)的3d去噪效果，在動(dòng)態(tài)區(qū)域也有一定3d效果，解決在低光場(chǎng)景下空域去噪不能很好的對(duì)運(yùn)動(dòng)區(qū)域完成去噪任務(wù)的現(xiàn)象，以及由此產(chǎn)生的運(yùn)動(dòng)區(qū)域噪聲閃爍的現(xiàn)象，與現(xiàn)有技術(shù)相比，本發(fā)明的一種合成3d去噪任務(wù)訓(xùn)練數(shù)據(jù)集的方法可用于構(gòu)建大量的“干凈-噪聲”成對(duì)raw域視頻序列圖像數(shù)據(jù)，支持raw域視頻去噪工作。

2、具體地，本發(fā)明提供一種合成3d去噪任務(wù)訓(xùn)練數(shù)據(jù)集的方法，所述方法包括以下步驟：

3、s1.背景圖像收集，采集多個(gè)不同亮度場(chǎng)景下的數(shù)據(jù)；

4、s2.背景圖像去噪處理，多張加權(quán)平均，模擬3d去噪；

5、s3.背景圖像進(jìn)一步去噪，使用bm3d進(jìn)一步去除噪聲；

6、s4.前景數(shù)據(jù)獲?。?/p>

7、s5.合成圖像，前景背景合成，生成模擬真實(shí)位移的圖像；

8、s6.合成數(shù)據(jù)集，在圖像上合成噪聲，根據(jù)位移區(qū)域的判斷合成時(shí)域與最終的ground?truth。

9、所述方法進(jìn)一步包括：

10、s1.背景圖像收集：

11、數(shù)據(jù)集覆蓋到合適的區(qū)間，采集不同亮度的低光場(chǎng)景的數(shù)據(jù)，包含0.1lux-2lux之間，通過(guò)增大模擬增益的增益值來(lái)完成對(duì)于圖像的提亮，將當(dāng)前傳感器sensor的模擬增益的最大值設(shè)為增益的最大值，不使用數(shù)字增益為標(biāo)準(zhǔn)；不同場(chǎng)景包含不同的場(chǎng)景亮度，同一個(gè)背景，拍攝參數(shù)相同的條件下采集n張，對(duì)于亮度場(chǎng)景不同，n值也不同，場(chǎng)景越暗，n越大；根據(jù)需要采集m個(gè)場(chǎng)景，而m越大越好；

12、s2.背景圖像去噪處理：

13、上一步驟s1對(duì)于每一個(gè)場(chǎng)景都有n張相同相機(jī)參數(shù)拍攝的圖像，假設(shè)為t1，t2，...tn，使用相加再取平均的方式合成，如下公式

14、

15、這樣可模擬3d去噪的作用，從何獲得噪聲較低的圖像；其中n代表相同相機(jī)參數(shù)拍攝的圖像的數(shù)量，公式的分子為求和公式，代表n張圖像相加，t代表加權(quán)平均后的結(jié)果；

16、s3.背景圖像進(jìn)一步去噪：

17、對(duì)于經(jīng)過(guò)步驟s2處理后的m張圖像，雖然噪聲得到一定的控制，但是仍然會(huì)有一定噪聲殘余，合成后無(wú)法直接作為標(biāo)簽圖像ground?truth；所以進(jìn)一步去噪處理，去噪程度控制在不損失細(xì)節(jié)的前提下，去除絕大部分殘留噪聲，使得平坦區(qū)域足夠光滑，采用人工篩選，表現(xiàn)為平坦區(qū)域光滑無(wú)噪聲，以此作為最終的標(biāo)簽圖像ground?truth；

18、s4.前景獲?。?/p>

19、前景可直接從干凈的raw圖像上使用現(xiàn)有的摳圖算法獲得大量不同的前景數(shù)據(jù)，對(duì)于扣下來(lái)的素材圖像數(shù)據(jù)為雙通道，第一個(gè)通道為前景raw圖像，第二個(gè)通道為對(duì)于該圖像位置的mask信息，圖像大小為1080p，mask在前景區(qū)域的值為1，在非前景區(qū)域?yàn)?；

20、s5.圖像合成：

21、隨機(jī)取一張經(jīng)過(guò)步驟s3后的背景圖，統(tǒng)計(jì)背景圖的awb信息與亮度均值lb，得到r,g,b三個(gè)通道上的偏差；隨機(jī)取前景圖像，并統(tǒng)計(jì)亮度均值li，根據(jù)lb與li調(diào)整前景亮度，使之與背景亮度接近，根據(jù)awb的信息，調(diào)整前景與背景色彩偏差，使得前景與背景在色彩上一致；

22、隨機(jī)將前景合成在背景上，再生成一系列位移、仿射、縮放、旋轉(zhuǎn)操作，模擬前景在背景上的移動(dòng)，從而獲得一系列連續(xù)幀；

23、同時(shí)根據(jù)圖像位置mask圖可獲得前景在幀間的位移信息，這里設(shè)合成的一個(gè)干凈無(wú)噪聲的連續(xù)幀圖像為f1，f2，...，fk，共k張；

24、s6.數(shù)據(jù)集合成：

25、在合成的不同場(chǎng)景的f1，f2，...，fk上分布合成泊松噪聲、高斯噪聲獲得i1，i2，...ik，作為數(shù)據(jù)集的輸入；將i1，i2，...ik上非運(yùn)動(dòng)區(qū)域通過(guò)mask提取出來(lái)使用f1，f2，...，fk上的非運(yùn)動(dòng)部分替換，即達(dá)成靜態(tài)區(qū)域的ground?truth完全無(wú)噪聲，從而獲得只有運(yùn)動(dòng)區(qū)域有噪聲的序列稱(chēng)為fugt1′，fugt2′，...fugtk′；將連續(xù)幀動(dòng)態(tài)區(qū)域重合的部分也做3d去噪處理，在合成數(shù)據(jù)集時(shí)即表現(xiàn)為：

26、序列fugt1′，fugt2′，...fugtk′動(dòng)態(tài)區(qū)域重合部分的噪聲降低，實(shí)現(xiàn)方式為該區(qū)域上的加性噪聲noise改為noise/x，其中，x在實(shí)施過(guò)程中為序列數(shù)，即fugt1′，fugt2′，...fugtk′的下標(biāo)；

27、從而獲得的序列稱(chēng)為fugt1，fugt2，...fugtk，作為時(shí)域去噪的ground?truth，而f1，f2，...，fk可直接作為經(jīng)過(guò)時(shí)域、空域去噪后的最終ground?truth。

28、所述步驟s1中，在實(shí)際應(yīng)用中，2lux下n為200，0.1lux下n為1000。

29、所述步驟s3中，在實(shí)際運(yùn)用中，使用現(xiàn)有技術(shù)中傳統(tǒng)去噪算法bm3d對(duì)預(yù)處理標(biāo)簽圖像進(jìn)行進(jìn)一步去噪，所述bm3d算法包括：a.基礎(chǔ)估計(jì)：

30、1)對(duì)于每個(gè)目標(biāo)圖塊，在附近尋找最多超參數(shù)maxn1個(gè)相似的圖塊，為了避免噪點(diǎn)的影響，將圖塊經(jīng)過(guò)2d變換后再用歐氏距離衡量相似程度；按距離從小到大排序后取最多前maxn1個(gè)，疊成一個(gè)三維數(shù)組：

31、

32、2)對(duì)3d數(shù)組的第三維，即圖塊疊起來(lái)后，每個(gè)圖塊同一個(gè)位置的像素點(diǎn)構(gòu)成的數(shù)組，進(jìn)行dct變換后，采用硬閾值的方式將小于超參數(shù)λ3d的成分置為0；同時(shí)統(tǒng)計(jì)非零成分的數(shù)量作為后續(xù)權(quán)重的參考；后將第三維進(jìn)行逆變換；

33、

34、3)將這些圖塊逆變換后放回原位，利用非零成分?jǐn)?shù)量統(tǒng)計(jì)疊加權(quán)重，最后將疊放后的圖除以每個(gè)點(diǎn)的權(quán)重就得到基礎(chǔ)估計(jì)的圖像，此時(shí)圖像的噪點(diǎn)得到了大的去除；

35、

36、b.最終估計(jì)：

37、1)對(duì)于含噪原圖的每個(gè)目標(biāo)圖塊，可直接用對(duì)應(yīng)基礎(chǔ)估計(jì)圖塊的歐氏距離衡量相似程度；按距離從小到大排序后取最多前maxn1個(gè)；將基礎(chǔ)估計(jì)圖塊、含噪原圖圖塊分別疊成兩個(gè)三維數(shù)組；

38、

39、2)對(duì)含基礎(chǔ)估計(jì)3d數(shù)組的第三維，即圖塊疊起來(lái)后，每個(gè)圖塊同一個(gè)位置的像素點(diǎn)構(gòu)成的數(shù)組，進(jìn)行dct變換，利用如下公式得到系數(shù)；

40、

41、3)將系數(shù)與含噪3d圖塊相乘放回原處，最后做加權(quán)平均調(diào)整即可得到最終估計(jì)圖；

42、

43、所述步驟s5中，實(shí)際應(yīng)用中取k為25。

44、所述步驟s6中，設(shè)x為3。

45、由此，本技術(shù)的優(yōu)勢(shì)在于：

46、1、3d去噪數(shù)據(jù)集一直以來(lái)都面臨難以收集的問(wèn)題，一些合成的數(shù)據(jù)集面臨無(wú)法很好擬合真實(shí)場(chǎng)景時(shí)域、空域去噪的不同問(wèn)題，真實(shí)數(shù)據(jù)集則面臨標(biāo)簽數(shù)據(jù)難以獲得，噪聲分布過(guò)于單一的問(wèn)題，本方法使用一系列固定的步驟，可以獲取大批量符合訓(xùn)練要求的數(shù)據(jù)，減少成本，且可以在線(xiàn)合成，從而大大擴(kuò)增數(shù)據(jù)量，增強(qiáng)模型的魯棒性，在訓(xùn)練過(guò)程中可使得模型自適應(yīng)在靜態(tài)區(qū)域進(jìn)行3d去噪，動(dòng)態(tài)區(qū)域也進(jìn)行輕度3d去噪，再進(jìn)行2d去噪，從何達(dá)到在低光場(chǎng)景下動(dòng)態(tài)區(qū)域噪聲不閃爍，且噪聲更加干凈的效果；

47、2、多對(duì)一的數(shù)據(jù)，不同亮度場(chǎng)景，不同iso等級(jí)可以使模型訓(xùn)練能夠更好的適應(yīng)不同條件下的3d去噪任務(wù)，使得模型泛化能力得到提升。