本發(fā)明涉及圖像處理，具體為去除紅外行人偽影特征卷積深度的紅外與可見光融合方法。

背景技術(shù)：

1、圖像融合是指將來自不同傳感器或不同模態(tài)的圖像合并成一個單一圖像的技術(shù)，通過圖像融合，可以獲得更全面和豐富的信息，使得合成圖像具有更好的可視化效果和更多的細(xì)節(jié)，同時，圖像融合還可以幫助減少數(shù)據(jù)冗余，提高圖像分析和識別的準(zhǔn)確性，以及增強(qiáng)圖像的質(zhì)量和可解釋性。

2、可見光圖像具有豐富的彩色信息，能夠呈現(xiàn)豐富的顏色信息，包括紅、綠、藍(lán)三原色的組合，可以提供真實世界中物體的自然顏色；擁有良好的視覺感知性，可見光易于被人眼感知、理解；具有高分辨率，具有清晰的細(xì)節(jié)紋理信息，含有豐富的細(xì)節(jié)信息。但是它的成像效果受外界因素如光照、雨霧霾煙的影響，對外界環(huán)境的依賴大。

3、紅外光圖像借助物體熱輻射成像，對環(huán)境的依賴不強(qiáng)，具有較強(qiáng)的穿透能力，即使是在低照度環(huán)境抑或霧霾天氣下，仍有較好的成像效果，但是紅外圖像幾乎只能提供目標(biāo)的大體位置，缺少細(xì)節(jié)紋理信息，并且紅外熱輻射往往會產(chǎn)生嚴(yán)重的反射現(xiàn)象，導(dǎo)致熱輻射偽影的出現(xiàn)，偽影可能包含虛假的信息并且攜帶大量的冗余信息，將這些信息融合到其他圖像中可能導(dǎo)致與真實情況不一致的結(jié)果，極可能導(dǎo)致融合后的圖像質(zhì)量下降，因為偽影會干擾融合算法的準(zhǔn)確性，導(dǎo)致最終融合結(jié)果存在瑕疵或失真。

4、基于對上述資料的檢索，特提出去除紅外行人偽影特征卷積深度的紅外與可見光融合方法，通過將加強(qiáng)對圖像邊緣特征的提取來提高融合圖像的分辨率，在進(jìn)行紅外和可見光圖像融合時，對紅外圖像中的偽影進(jìn)行處理，以減少對最終融合結(jié)果的不利影響。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了去除紅外行人偽影特征卷積深度的紅外與可見光融合方法，解決了上述背景技術(shù)中提出的問題。

2、為實現(xiàn)以上目的，本發(fā)明通過以下技術(shù)方案予以實現(xiàn)：去除紅外行人偽影特征卷積深度的紅外與可見光融合方法，具體包括以下步驟：

3、步驟一、將可見光源圖像和紅外源圖像輸入圖像增強(qiáng)模塊中，獲取增強(qiáng)可見光圖像和增強(qiáng)紅外圖像；

4、步驟二、對可見光圖像、增強(qiáng)可見光圖像、紅外源圖像和增強(qiáng)紅外圖像輸入特征提取模塊，獲取特征圖；

5、步驟三、對增強(qiáng)紅外圖像進(jìn)行語義分割與偽影檢測，獲取人物與偽影的聯(lián)合區(qū)域，并生成人物掩碼mask1和偽影的掩碼mask2；

6、步驟四、結(jié)合特征圖、人物掩碼mask1和偽影的掩碼mask2獲取融合圖像。

7、本發(fā)明進(jìn)一步設(shè)置為：所述步驟一中的增強(qiáng)可見光圖像的獲取方式包括：

8、采用反射引導(dǎo)直方圖均衡加比較參數(shù)近似的方法對可見光源圖像進(jìn)行處理，獲取增強(qiáng)可見光圖像。

9、本發(fā)明進(jìn)一步設(shè)置為：所述步驟一中的增強(qiáng)紅外圖像的獲取方式包括：

10、采用斜坡直方圖的紅外方法對紅外源圖像進(jìn)行處理，獲取增強(qiáng)紅外圖像。

11、本發(fā)明進(jìn)一步設(shè)置為：所述步驟二中的特征圖包括可見光細(xì)節(jié)特征圖、可見光背景特征圖、紅外光細(xì)節(jié)特征圖和紅外光背景特征圖。

12、本發(fā)明進(jìn)一步設(shè)置為：所述步驟二中的特征提取模塊包括五個面向方向的深度展開殘差模塊與一個卷積層一；

13、五個所述面向方向的深度展開殘差模塊輸入通道數(shù)為1，輸出的通道數(shù)為1；

14、所述卷積層一的卷積核格式為3×3，步長、輸入與輸出通道數(shù)均為1。

15、本發(fā)明進(jìn)一步設(shè)置為：所述五個所述面向方向的深度展開殘差模塊均包括四個方向?qū)虻木矸e模塊和一個卷積層二；

16、四個所述方向?qū)虻木矸e模塊的激活函數(shù)均為relu，并且每兩個分為一組，每組的兩個所述方向?qū)虻木矸e模塊的輸入輸出通道數(shù)相反設(shè)置，具體是[1，64][64，1]與[2，64][64，2]；

17、所述卷積層二的卷積核格式為3×3，輸入通道數(shù)為4，步長與輸出通道數(shù)均為1。

18、本發(fā)明進(jìn)一步設(shè)置為：所述步驟四中獲取融合圖像的方式包括：

19、采用差分算法分解圖像中的互補(bǔ)特征：

20、

21、式中，fi是紅外圖像特征，fv為可見光圖像特征，fi和fv的格式均為(h×w×4)；

22、借助全局平均池化gap將互補(bǔ)特征壓縮為向量，使用sigmoid函數(shù)將其歸一化為[0，1]，生成信道權(quán)重，將互補(bǔ)特征乘以信道權(quán)重，作為模態(tài)補(bǔ)充信息添加到原始互補(bǔ)特征，生成特征和計算公式包括：

23、

24、式中，和的格式均為(h×w×4)，gap為全局平均池化，conv為3×3卷積層，bn為正則化層，sig為sigmoid損失函數(shù)；

25、將所有特征輸入到融合網(wǎng)絡(luò)中，獲取融合圖像：

26、if＝sig(bn(conv(fs+fc)))

27、式中，fs是fc經(jīng)語義篩選后通過三層卷積得到的特征，fs和fc的格式均為(h×w)，if為輸出的融合圖像，格式為(h×w)。

28、本發(fā)明提供了去除紅外行人偽影特征卷積深度的紅外與可見光融合方法。具備以下有益效果：

29、本發(fā)明通過在進(jìn)行紅外和可見光圖像融合時，對紅外圖像中的偽影進(jìn)行處理，以減少對最終融合結(jié)果的不利影響，采用基于迭代的邊緣展開特征提取網(wǎng)絡(luò)加強(qiáng)對圖像邊緣特征的提取，來提高融合圖像的分辨率。

技術(shù)特征：

1.去除紅外行人偽影特征卷積深度的紅外與可見光融合方法，其特征在于：具體包括以下步驟：

2.根據(jù)權(quán)利要求1所述的去除紅外行人偽影特征卷積深度的紅外與可見光融合方法，其特征在于：所述步驟一中的增強(qiáng)可見光圖像的獲取方式包括：

3.根據(jù)權(quán)利要求1所述的去除紅外行人偽影特征卷積深度的紅外與可見光融合方法，其特征在于：所述步驟一中的增強(qiáng)紅外圖像的獲取方式包括：

4.根據(jù)權(quán)利要求1所述的去除紅外行人偽影特征卷積深度的紅外與可見光融合方法，其特征在于：所述步驟二中的特征圖包括可見光細(xì)節(jié)特征圖、可見光背景特征圖、紅外光細(xì)節(jié)特征圖和紅外光背景特征圖。

5.根據(jù)權(quán)利要求1所述的去除紅外行人偽影特征卷積深度的紅外與可見光融合方法，其特征在于：所述步驟二中的特征提取模塊包括五個面向方向的深度展開殘差模塊與一個卷積層一；

6.根據(jù)權(quán)利要求5所述的去除紅外行人偽影特征卷積深度的紅外與可見光融合方法，其特征在于：五個所述面向方向的深度展開殘差模塊均包括四個方向?qū)虻木矸e模塊和一個卷積層二；

7.根據(jù)權(quán)利要求1所述的去除紅外行人偽影特征卷積深度的紅外與可見光融合方法，其特征在于：所述步驟四中獲取融合圖像的方式包括：

技術(shù)總結(jié)
本發(fā)明公開了去除紅外行人偽影特征卷積深度的紅外與可見光融合方法，具體包括以下步驟：步驟一、將可見光源圖像和紅外源圖像輸入圖像增強(qiáng)模塊中，獲取增強(qiáng)可見光圖像和增強(qiáng)紅外圖像；步驟二、獲取特征圖；步驟三、對增強(qiáng)紅外圖像進(jìn)行語義分割與偽影檢測，獲取人物與偽影的聯(lián)合區(qū)域，并生成人物掩碼和偽影的掩碼；步驟四、結(jié)合特征圖、人物掩碼和偽影的掩碼獲取融合圖像；本發(fā)明涉及圖像處理技術(shù)領(lǐng)域。該去除紅外行人偽影特征卷積深度的紅外與可見光融合方法，在進(jìn)行紅外和可見光圖像融合時，對紅外圖像中的偽影進(jìn)行處理，減少對最終融合結(jié)果的不利影響，采用基于迭代的邊緣展開特征提取網(wǎng)絡(luò)加強(qiáng)對圖像邊緣特征的提取，提高融合圖像的分辨率。

技術(shù)研發(fā)人員：干宗良,杜家旺,袁天慧
受保護(hù)的技術(shù)使用者：南京郵電大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15