本發(fā)明屬于智能監(jiān)控視頻處理，特別涉及一種極暗光下raw域光流預(yù)測方法。

背景技術(shù)：

1、現(xiàn)有智能監(jiān)控視頻處理技術(shù)中，極暗光場景下由于光子數(shù)量有限，圖像傳感器面臨嚴(yán)重的噪聲問題，raw域降噪對圖像信號處理有重要意義，極暗光下動態(tài)場景降噪面臨許多難題如拖影、穿透、運動細(xì)節(jié)丟失等，運動對齊很有必要，光流可以完成運動檢測和對齊，其中稠密光流可以完成像素級別的對齊，有利于運動場景降噪。目前傳統(tǒng)稠密光流的代表方法的有farneback方法和dis(dense?inverse?search-basedmethod)方法；目前基于神經(jīng)網(wǎng)絡(luò)稠密光流的代表方法主要有flownet、pwcnet、fastflownet、raft等。

2、然而，現(xiàn)有傳統(tǒng)光流方法精度較低，且很容易受噪聲影響導(dǎo)致運動檢測對齊不準(zhǔn)確，同時raw域圖像較暗更不利于光流計算；而現(xiàn)有基于神經(jīng)網(wǎng)絡(luò)方法精度相對較高，但通常計算量較大，難以實時使用，而且現(xiàn)有數(shù)據(jù)主要是干凈的較亮的rgb數(shù)據(jù)，難以直接使用。

3、此外，現(xiàn)有技術(shù)常用的術(shù)語包括：

4、raw域：圖像傳感器輸出原始的數(shù)據(jù)稱為raw數(shù)據(jù)，image?signal?processing(isp)對圖像傳感器輸出的原始raw圖數(shù)據(jù)進(jìn)行信號處理，經(jīng)過demosaic插值算法會轉(zhuǎn)到rgb域，在轉(zhuǎn)為rgb域之前的域稱為raw域。

5、光流：光流是指空運動物體在圖像上的像素運動瞬時速度，是一種計算物體在相鄰幀間運動信息的方法，光流的任務(wù)是找出第一幀圖像上的像素點在第二幀圖像的對應(yīng)點。

6、稀疏光流：稀疏光流是指在圖像中選擇少量的關(guān)鍵點，然后計算這些關(guān)鍵點的運動速度。

7、稠密光流：稠密光流是指在圖像中的每個像素點上都計算出其對應(yīng)的運動速度。

技術(shù)實現(xiàn)思路

1、為了解決上述問題，本技術(shù)的目的在于：本技術(shù)根據(jù)已有噪聲建模方法，模擬極暗光下raw數(shù)據(jù)，同時利用運動前景制作極暗光下的運動數(shù)據(jù)，同時生成光流數(shù)據(jù)，并對fastflownet網(wǎng)絡(luò)進(jìn)行改進(jìn)，提升計算效率

2、具體地，本發(fā)明提供一種極暗光下raw域光流預(yù)測方法，所述方法包括以下步驟：

3、s1，準(zhǔn)備干凈raw數(shù)據(jù)和噪聲建模所需數(shù)據(jù)，所述所需數(shù)據(jù)包括使用黑膠帶完全遮住鏡頭的黑幀和平坦白紙的平坦幀，標(biāo)定噪聲生成相關(guān)參數(shù)p，可根據(jù)相關(guān)參數(shù)隨機(jī)生成噪聲，如式(1)所示，其中in0為噪聲數(shù)據(jù)，ic為干凈數(shù)據(jù)，gn為噪聲生成函數(shù)，p為標(biāo)定的噪聲生成參數(shù)，s為噪聲采樣相關(guān)參數(shù)：

4、in0＝ic+gn(ic,p,s)?????????????????????????式(1)；

5、s2，設(shè)計運動數(shù)據(jù)：

6、s2.1，準(zhǔn)備運動前景數(shù)據(jù)，使用開源的rgb域人體解析數(shù)據(jù)atr獲取人形分割mask，截取人形分割mask最小矩形作為前景源數(shù)據(jù)；

7、s2.2，在干凈raw數(shù)據(jù)中隨機(jī)選取背景數(shù)據(jù)，在前景源數(shù)據(jù)隨機(jī)選取步驟s2.1中準(zhǔn)備的前景數(shù)據(jù)進(jìn)行逆白平衡，如式(2)所示，其中u表示均勻分布，rgain、bgain分別為r通道和b通道的增益系數(shù)，ifr為ifb前景圖像if的r通道數(shù)據(jù)和b通道數(shù)據(jù)：

8、

9、s2.3，對步驟s2.2逆白平衡后數(shù)據(jù)每個像素坐標(biāo)上的rgb值進(jìn)行bayer格式抽取，目標(biāo)bayer格式為rggb，目標(biāo)bayer?r位置上僅取rgb域的r數(shù)據(jù)，目標(biāo)bayer?g位置上僅取rgb域的g數(shù)據(jù)，目標(biāo)bayer?b位置上僅取rgb域的b數(shù)據(jù)，最終獲取前景raw數(shù)據(jù)；

10、s2.4，隨機(jī)生成第一幀運動矩形左上角坐標(biāo)(x1，y1)，根據(jù)前景數(shù)據(jù)寬高確定運動矩形右下角坐標(biāo)(x2，y2)，使用前景mask將前景數(shù)據(jù)覆蓋到所確定的矩形位置上，第一幀矩形位置數(shù)據(jù)如下式(3)，其中ir1為第一幀運動矩形區(qū)域數(shù)據(jù)，irb1為第一幀背景矩形區(qū)域數(shù)據(jù)，if1為第一幀前景矩形區(qū)域數(shù)據(jù)，

11、ir1＝irb1·(1-mask)+if1·mask??????式(3)；

12、s2.5，第一幀運動矩形區(qū)域數(shù)據(jù)替換對應(yīng)背景位置數(shù)據(jù)，獲取第一幀數(shù)據(jù)i1；

13、s3，生成光流訓(xùn)練數(shù)據(jù)：

14、s3.1，對步驟s2.3前景raw數(shù)據(jù)進(jìn)行隨機(jī)平移，上下左右平移像素由下式(4)采樣控制，其中m表示平移像素大小，uint表示整數(shù)均勻采樣；

15、m～2·uint(0,10)????????式(4)；

16、s3.2，根據(jù)步驟s3.1生成的平移大小確定第二幀運動矩形左上角坐標(biāo)和右下角坐標(biāo)，同步驟s2.4方法確定第二幀運動矩形區(qū)域數(shù)據(jù)ir2；

17、s3.3，同步驟s2.5方法，第二幀運動矩形區(qū)域數(shù)據(jù)替換對應(yīng)背景位置數(shù)據(jù)，獲取第二幀數(shù)據(jù)i2；

18、s3.4，生成寬高維度為第二幀數(shù)據(jù)寬高，通道數(shù)為2的全0數(shù)據(jù)作為初始光流，取第二幀前景mask對應(yīng)在第二幀運動矩形位置，對初始光流的第一通道和第二通道的mask區(qū)域分別置為步驟s3.1左右平移像素大小和上下平移像素大小，生成光流數(shù)據(jù)flow；

19、s3.5，根據(jù)步驟s1中式(1)對第一幀數(shù)據(jù)和第二幀數(shù)據(jù)添加噪聲，其中噪聲采樣相關(guān)參數(shù)s相同保證生成噪聲大小差距不大，生成第一幀噪聲數(shù)據(jù)in1和第二幀噪聲數(shù)據(jù)in2，和步驟s3.4生成的光流數(shù)據(jù)flow組成配對數(shù)據(jù)；

20、s4，設(shè)計光流神經(jīng)網(wǎng)絡(luò)：

21、s4.1，設(shè)計基礎(chǔ)特征提取模塊，使用連續(xù)3個卷積核為3x3，stride為2，pad為1的卷積串聯(lián)，每個卷積后接relu激活函數(shù)，再連續(xù)使用2個平均池化操作串聯(lián)，保存每個激活函數(shù)后和平均池化后共5個不同大小的基礎(chǔ)特征圖，第一幀和第二幀分別經(jīng)過基礎(chǔ)特征提取模塊共獲取10個基礎(chǔ)特征圖，第一幀和第二幀的基礎(chǔ)特征提取模塊共享權(quán)重；

22、s4.2，使用成本量模塊，設(shè)置匹配窗口為5x5大小，第一幀的特征和第二幀的特征在匹配窗口每個點在通道維度做點積，表示匹配程度；

23、s4.3，設(shè)計5個光流預(yù)測模塊，每個光流預(yù)測模塊使用連續(xù)5個卷積核為3x3，stride為2，pad為1的卷積串聯(lián)，前4個卷積后接relu激活函數(shù)；s4.4，光流細(xì)化模塊設(shè)計，步驟5.1第一幀和第二幀最小基礎(chǔ)特征圖經(jīng)過成本量模塊獲取最小匹配特征，第二幀最小基礎(chǔ)特征圖經(jīng)過卷積核為3x3，stride為2，pad為1的卷積后特征與最小匹配特征concat，輸入光流預(yù)測模塊獲取最小尺度的光流；對第一幀次小尺度基礎(chǔ)特征使用最小尺度光流最近鄰上采樣結(jié)果進(jìn)行前向扭曲，扭曲結(jié)果經(jīng)過成本量模塊獲取次小匹配特征，第二幀次小基礎(chǔ)特征圖經(jīng)過卷積核為3x3，stride為2，pad為1的卷積后特征與最次匹配特征concat，輸入光流預(yù)測模塊獲取次小尺度的光流細(xì)化結(jié)果，再加上最小尺度光流最近鄰上采樣結(jié)果獲取次小尺度的光流最終結(jié)果；其他尺度光流細(xì)化同理；

24、s4.5，最終最大尺度光流經(jīng)過一次最近鄰上采樣獲取最終光流預(yù)測結(jié)果；s5.使用步驟s2和s3在線生成訓(xùn)練所需配對數(shù)據(jù)，使用步驟s4設(shè)計的光流神經(jīng)網(wǎng)絡(luò)訓(xùn)練，優(yōu)化器使用adam，初始學(xué)習(xí)率為0.0001，訓(xùn)練周期60，每10個訓(xùn)練周期學(xué)習(xí)率降低0.5倍，loss為l1loss。

25、所述方法所使用圖像傳感器為sc2210。

26、由此，本技術(shù)的優(yōu)勢在于：本方法可以在線生成光流數(shù)據(jù)，模擬了極暗光場景下的運動數(shù)據(jù)，解決了傳統(tǒng)光流極暗光場景下光流不準(zhǔn)確的問題，同時本專利設(shè)計了輕量的光流神經(jīng)網(wǎng)絡(luò)，計算量相對較小，保證精度的情況下滿足實時性要求。本方法適用于例如北京君正集成電路股份有限公司(簡稱：君正)的芯片t41?aiisp上，領(lǐng)域是圖像信號處理，改善極暗光場景下噪聲水平，提高圖像質(zhì)量。