本發(fā)明屬于視頻圖像處理，特別涉及一種提升光流估計的網(wǎng)絡(luò)模型方法。

背景技術(shù)：

1、現(xiàn)有技術(shù)中，在視頻去噪任務(wù)中，特別在環(huán)境光在0.01lux下，由于運動物體的位置變化導(dǎo)致時域去噪模型去噪后，運動物體上的噪聲仍殘留很多，并且運動物體隨著時間運動而變得模糊，與遮擋的背景發(fā)生穿透，導(dǎo)致圖像畫面的質(zhì)量很差。而通過光流估計的方法，可以使前后幀對齊，再通過融合的方法融合圖像，保證圖像的清晰度。目前光流估計在rgb域研究比較多而raw域的光流估計相關(guān)研究較少。

2、目前，光流估計方法均針對rgb圖像研究，主要分為兩類：

3、1.傳統(tǒng)光流估計，例如，將參考幀和需要對齊的幀通過下采樣分解成不同尺度的特征圖，然后在不同尺度特征上使用8x8或者其他大小的塊計算偏移量。

4、2.深度學(xué)習(xí)估計光流方法，隨著深度學(xué)習(xí)的發(fā)展，使用光流數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型，能夠擬合小位移和大位移的運動。特別是flownet網(wǎng)絡(luò)，通過用卷積模塊提取不同圖像的不同尺度的特征，然后在每個尺度上通過計算特征間的相關(guān)性并預(yù)測粗略的光流，最后對預(yù)測的光流進行上采樣，在上一層尺度上繼續(xù)計算特征間的相關(guān)性和預(yù)測更加精確的光流。最近方法raft網(wǎng)絡(luò)估計光流優(yōu)于flownet網(wǎng)絡(luò)，即通過循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)(gru)不斷迭代光流和更新光流。

5、然而，現(xiàn)有技術(shù)中，視頻去噪后，運動物體與背景出現(xiàn)穿透，另外，運動物體的邊緣因經(jīng)過去噪之后會出現(xiàn)跳動以及模糊的問題。

6、此外，現(xiàn)有技術(shù)常用的術(shù)語包括：

7、光流估計：光流是指圖像中每個像素在時間上的運動。光流估計的目標(biāo)是根據(jù)連續(xù)幀之間的圖像信息，計算出每個像素在兩幀之間的運動向量。lux:光照單位，用于衡量當(dāng)前光照的強弱。

8、尺度：特征圖的大小不一樣。

技術(shù)實現(xiàn)思路

1、為了解決上述問題，本技術(shù)的目的在于：本方法通過網(wǎng)絡(luò)模型估計幀間運動物體的運動位移，可以將上一幀圖像映射到當(dāng)前圖像上，即前后幀的運動物體重合繼而再進行融合，從而解決運動物體跳動和穿透問題。為了改善視頻去噪后運動物體的跳動和背景穿透問題，本方法采用網(wǎng)絡(luò)估計光流的方法對隨時間變化的運動物體進行幀間對齊。該光流估計可用于raw域時域去噪部分，運動物體在前后幀位置不同，時域去噪后，會導(dǎo)致運動物體出現(xiàn)嚴(yán)重的穿透問題，而本估計方法可以估計前后幀運動物體的位移從而將運動物體對齊融合，既減少了運動物體的噪聲也解決了穿透問題。

2、具體地，本發(fā)明提供一種提升光流估計的網(wǎng)絡(luò)模型方法，所述方法包括以下步驟：

3、s1.網(wǎng)絡(luò)的輸入為2幀raw圖像,分別記為raw1、raw2，首先將單通道的raw圖按照rggb顏色分解為4通道的圖像且4個通道分別是r顏色通道，兩個g顏色通道和一個b顏色通道，分別使用卷積編碼器提取兩幀不同尺度的特征，分別記為f1、f2，如公式(1)、(2)；

4、f1＝encoder(raw1)??(1)

5、f2＝encoder(raw2)??(2)

6、式中的encoder為卷積構(gòu)成的特征編碼器，通過卷積和下采樣可得到不同尺度上的特征圖f1、f2，f1、f2分別為第1個、第2個尺度上的特征圖，模型的輸入只能是兩幀，所以模型中的編碼器encoder只能編碼兩幀圖像；

7、s2.為了將兩幀圖像相關(guān)聯(lián)起來并提取相關(guān)性信息corr，corr用于表示相關(guān)性信息，而該相關(guān)性信息通過兩幀圖像像素間的計算得到，在不同尺度上通過計算f1和f2附近像素得到結(jié)果，公式如(3)所示，

8、corr(x1，x2)＝∑(f1(x1+o)，f2(x2+o))??(3)

9、式中，o為像素x1周邊像素范圍，可表示為o∈[-k，k]×[-k，k]范圍內(nèi)的像素；

10、s3.在每個尺度上得到相關(guān)性信息corr后，通過卷積構(gòu)建的解碼器解碼該信息可得到相應(yīng)的粗略光流；而為了得到更精確的光流，將解碼器模塊得到的光流與使用空洞卷積編碼模塊微調(diào)得到的光流進行結(jié)合以得到更精細的光流，具體如式(4)描述，

11、flown＝up(decodern(corr)+contextblock(corr))+up(flown-1)??(4)

12、式中n表示第n層特征尺度上計算得到的光流；decoder和contextblock分別表示解碼器和空洞卷積構(gòu)建的網(wǎng)絡(luò)模塊；而up則表示像素的上采樣以保證上采樣后的流尺寸和上一層卷積尺度相同。

13、所述步驟s1中，所述特征編碼器encoder的編碼器結(jié)構(gòu)，進一步包括：

14、raw圖輸入；

15、卷積，卷積核大小為3，步長2；

16、輸出第1個特征尺度的特征圖f1，作為下一層輸入；

17、卷積，卷積核大小為3，步長1；

18、輸出第2個特征尺度的特征圖f2，作為下一層輸入；

19、卷積，卷積核大小為3，步長2；

20、輸出第3個特征尺度的特征圖f3，作為下一層輸入；

21、卷積，卷積核大小為3，步長2；

22、輸出第4個特征尺度的特征圖f4，作為下一層輸入；

23、卷積，卷積核大小為3，步長2；

24、輸出第5個特征尺度的特征圖f5，作為下一層輸入；

25、卷積，卷積核大小為3，步長2；

26、以此類推……

27、輸出第n個特征尺度的特征圖fn。

28、所述步驟s1中，設(shè)n＝5即只輸出5個特征尺度的特征圖。

29、所述步驟s3中，所述解碼器結(jié)構(gòu)decoder和空洞卷積構(gòu)建的網(wǎng)絡(luò)模塊，進一步包括：

30、s3.1，經(jīng)過解碼器，編碼得到的光流；

31、特征輸入；

32、卷積，通道數(shù)為64，卷積核大小3，步長1；

33、卷積，通道數(shù)為64，卷積核大小3，步長1；

34、卷積，通道數(shù)為64，卷積核大小3，步長1；

35、輸出分別進行步驟a以及步驟s3.2：

36、a,卷積，通道數(shù)為2，卷積核大小3，步長1；輸出得到粗略光流1；

37、s3.2，經(jīng)過上下文模塊，使用空洞卷積編碼微調(diào)得到的光流；

38、卷積，通道數(shù)為64，卷積核大小3，步長1；

39、卷積，通道數(shù)為64，卷積核大小3，步長2；

40、卷積，通道數(shù)為64，卷積核大小3，步長4；

41、卷積，通道數(shù)為2，卷積核大小3，步長1；

42、輸出得到粗略光流2；

43、s3.3，根據(jù)步驟s3.1和步驟s3.2的結(jié)果相加操作，得到微調(diào)后的結(jié)果光流flow。

44、所述方法還包括步驟s4.通過步驟s3，本技術(shù)n設(shè)為5，則最終估計的光流為公式(5)表示，

45、flowfinal＝decoder(corr)??(5)。

46、所述方法適用于raw域估計光流的網(wǎng)絡(luò)結(jié)構(gòu)。

47、由此，本技術(shù)的優(yōu)勢在于：為了改善視頻去噪后運動物體的跳動和背景穿透問題，本方法采用網(wǎng)絡(luò)估計光流,該網(wǎng)絡(luò)是由大量光流數(shù)據(jù)訓(xùn)練的卷積構(gòu)建的模型，適用于君正t41?aiisp及其他型號芯片，改善極暗光條件下，時域與空域去噪后，運動物體因噪聲太大而跳動以及穿透的問題，從而提高去噪后的圖像質(zhì)量，本方法對隨時間變化的運動物體進行幀間對齊。