本發(fā)明屬于圖像處理，具體涉及一種結(jié)合非對稱增強與交互融合的rgbt目標(biāo)跟蹤方法。

背景技術(shù)：

1、在低照明、霧霾、黑暗等復(fù)雜環(huán)境下，可見光圖像常常無法提供足夠的細(xì)節(jié)，而熱紅外圖像則能在黑暗或低光條件下突出目標(biāo)，但通常缺乏顏色信息和細(xì)節(jié)。為了解決這一問題，rgbt(可見光與熱紅外)跟蹤器應(yīng)運而生。通過將可見光和熱紅外圖像結(jié)合，可以在全天候和全天條件下實現(xiàn)更為魯棒的目標(biāo)跟蹤。這種融合能夠彌補各自模態(tài)的不足，使得目標(biāo)在復(fù)雜環(huán)境中的跟蹤更加準(zhǔn)確。

2、然而，現(xiàn)有的rgbt跟蹤器在模態(tài)融合方面往往存在一定的局限性。很多跟蹤器未能有效地融合兩種模態(tài)的信息，或者在融合過程中忽略了模態(tài)間的交互。例如，模態(tài)融合的處理通常依賴于簡單的加權(quán)平均或早期融合策略，這可能未能充分挖掘可見光和熱紅外模態(tài)的互補優(yōu)勢，導(dǎo)致跟蹤精度和魯棒性不足。因此，現(xiàn)有技術(shù)存在著復(fù)雜環(huán)境下目標(biāo)跟蹤不準(zhǔn)確的問題。

3、enlightengan針對圖像增強問題提出了全局-局部判別結(jié)構(gòu)、自正則化感知損失融合和注意力機制。但該方法未能充分考慮通道維度與空間維度的綜合增強。單獨對某一維度進行優(yōu)化，則可能導(dǎo)致在某些情況下細(xì)節(jié)或結(jié)構(gòu)信息的失真，影響圖像質(zhì)量。stanet引入了引導(dǎo)濾波器，將圖像分解為結(jié)構(gòu)部分和紋理部分來增強全局特征和局部特征。pstlfusion通過紋理學(xué)習(xí)提取粗粒度和細(xì)粒度信，并對細(xì)節(jié)上的圖像內(nèi)部結(jié)構(gòu)進行建模。但過度依賴細(xì)粒度信息時可能會損失圖像的全局結(jié)構(gòu)或?qū)е录?xì)節(jié)與整體結(jié)構(gòu)不一致。edfnet設(shè)計了細(xì)節(jié)信息引導(dǎo)(dig)和結(jié)構(gòu)信息增強(sie)，dig通過軸向細(xì)節(jié)來優(yōu)化rgb特征的細(xì)節(jié)和紋理特征。sie利用累積添加特征來增強結(jié)構(gòu)特征。但是這些方法存在的共同問題是：可能會放大噪聲或?qū)е逻^度增強，且常常忽視通道維度和空間維度的綜合增強，導(dǎo)致局部細(xì)節(jié)增強不顯著或全局結(jié)構(gòu)不完整。

4、venkatachalam提出通過衰減色道校正和細(xì)節(jié)保留對比度增強來解決對比度低和細(xì)節(jié)模糊問題，但該方案需要較為復(fù)雜的參數(shù)調(diào)節(jié)和計算過程，尤其在極端低照度或噪聲較大的情況下，難以保證增強效果的穩(wěn)定性。eemefn通過邊緣增強多重曝光融合網(wǎng)絡(luò)的兩階段方法來增強極低照度圖像。該方法需要進行多階段處理，并且涉及多重曝光和邊緣增強，因此計算復(fù)雜度較高，不適合實時應(yīng)用。ec-cnn提出一種邊緣條件卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計了特征變換層，以自適應(yīng)地增強邊緣信息。特征變換層增加了計算量，尤其是在邊緣信息需要增強的復(fù)雜場景中，可能導(dǎo)致計算效率下降。srinivasu提出了銳化算法技術(shù)克服了融合圖像的低對比度問題。r2rnet提出了利用圖像的空間信息來提高對比度，還利用頻率信息來保留細(xì)節(jié)。雖然上述方法取得了一定的成果，但對于復(fù)雜場景或背景變化較大的情況下，仍無法保持較高的圖像質(zhì)量。

5、ritfusion為了整合兩種模態(tài)的不同特征，由模態(tài)內(nèi)自注意(imsa)塊、模態(tài)強化(mr)塊和模態(tài)間交互注意(imia)塊組成，用于實現(xiàn)模態(tài)間的信息關(guān)聯(lián)和交互，但未能充分考慮動態(tài)場景變化對模態(tài)信息的不同需求，可能在某些場景中無法自動調(diào)整。aitfuse通過cnn和transformer的協(xié)作學(xué)習(xí)交替地結(jié)合局部和全局關(guān)系，提出了具有不同注意機制的級聯(lián)token和通道transformer架構(gòu)來建模遠(yuǎn)程上下文，并以交互方式跨不同令牌和通道進行特征通信。但對于局部細(xì)節(jié)可能處理不夠精細(xì)，尤其是在圖像目標(biāo)較小或局部變化較大的情況下，可能會影響跟蹤精度。apfnet提出基于屬性的漸進式融合網(wǎng)絡(luò)，采用特定的融合策略，并在每個融合分支中集成三個獨立的編碼器(基于自注意機制)和解碼器(基于交叉注意機制)。上述跟蹤器依靠復(fù)雜的設(shè)計在跟蹤的精確度上雖然已經(jīng)能夠有不錯的表現(xiàn)，但是它們?nèi)源嬖隰敯粜圆?、適應(yīng)性差的方面進行優(yōu)化和提升。

6、綜上，現(xiàn)有技術(shù)無法在平衡性能與表現(xiàn)的同時有效應(yīng)對復(fù)雜環(huán)境下的動態(tài)變化，模態(tài)融合精度不足，難以滿足復(fù)雜環(huán)境中的跟蹤目標(biāo)的現(xiàn)實需求。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種結(jié)合非對稱增強與交互融合的rgbt目標(biāo)跟蹤方法，以解決現(xiàn)有技術(shù)中存在的跟蹤器無法在平衡性能與表現(xiàn)的同時有效應(yīng)對復(fù)雜環(huán)境下的動態(tài)變化，模態(tài)融合精度不足的問題。

2、為了達(dá)到上述目的，本發(fā)明提供的技術(shù)方案如下：一種結(jié)合非對稱增強與交互融合的rgbt目標(biāo)跟蹤方法，包括以下四個步驟：

3、步驟一、特征提?。菏褂霉歉删W(wǎng)絡(luò)分別從可見光模態(tài)和熱紅外模態(tài)中提取特征信息；

4、步驟二、特征增強：特征信息進入特征增強步驟，該步驟中特征信息并行分別送入一個可見光圖像增強模塊和一個熱紅外圖像增強模塊進行處理，輸出兩個模態(tài)；增強后的可見光圖像和熱紅外圖像；

5、步驟三、交互融合：將經(jīng)過自增強后的兩個模態(tài)相加，并將相加后的模態(tài)作為多頭交叉注意的鍵k'和值v'，同時另外一個模態(tài)作為查詢q'進行融合；

6、步驟四、預(yù)測：使用預(yù)測頭進行分類與回歸。

7、進一步的，上述步驟二中的可見光圖像增強模塊包括通道維度上的細(xì)節(jié)-語義增強和空間維度的細(xì)節(jié)-語義增強兩部分，其中空間維度的細(xì)節(jié)-語義增強，是通過多尺度特征提取捕獲不同尺度的信息，然后經(jīng)過空間自注意機制建模圖像上下文關(guān)系，與空間自注意機制建模的同時進行空間加權(quán)機制設(shè)計空間加權(quán)來增強圖像的空間信息。

8、進一步的，上述多尺度特征提取包括1個1×1卷積，3個不同膨脹率的3×3的空洞卷積和全局平均池化，從不同尺度提取的特征圖在通道維度上連接得到增強后的細(xì)節(jié)特征圖f，計算如下：

9、f＝cat(f3(x),f4(x),f5(x),f6(x),u(gap(x))?????????????(4)

10、其中cat代表連接操作，f3代表1×1卷積，f4，f5，f6分別代表膨脹率為6，12，18的空洞卷積，u代表上采樣操作，f代表增強后的細(xì)節(jié)特征。

11、進一步的，上述基于空間自注意機制建模的具體計算公式為：

12、q＝wqf?????????????????????????????(5)

13、k＝wkf?????????????????????????????(6)

14、r＝qtk?????????????????????????????(7)

15、r'＝s(maxpool(qtk)?????????????????????(8)

16、通過特征f與對應(yīng)的權(quán)重矩陣wv進行線性變換得到v∈rc×h×w：

17、v＝wvf?????????????????????????????(9)

18、將特征圖v和r'點積，得到空間自注意建模模塊輸出vr的數(shù)學(xué)表達(dá)式為：

19、vr＝r'⊙v???????????????????????????(10)

20、進一步的，上述空間加權(quán)機制設(shè)計空間加權(quán)的具體計算公式為：

21、α＝lrn(relu(conv))??????????????????????(11)

22、f1＝α(max(f))??????????????????????????(12)

23、w＝s(conv(f1))????????????????????????(13)

24、最終增強后特征v的數(shù)學(xué)表達(dá)式為：

25、

26、進一步的，上述步驟二中的熱紅外圖像增強模塊包括邊緣信息增強模塊、自適應(yīng)對比度增強模塊和紋理信息增強模塊，所述邊緣信息增強模塊基于拉普拉斯算子和sobel的算子設(shè)計，熱紅外特征先送入邊緣信息增強模塊，再通過自適應(yīng)對比度增強模塊，增強后的信息再通過紋理信息增強模塊在水平方向和垂直方向分別進行紋理增強。

27、進一步的，上述邊緣信息增強模塊采用雙分支結(jié)構(gòu)，上分支對熱紅外特征th進行拉普拉斯算子操作，拉普拉斯算子通過計算圖像的二階導(dǎo)數(shù)突出圖像的邊緣特征，隨后經(jīng)過一個卷積塊(conv-bn-relu)，最終將兩個分支得到的邊緣特征圖逐元素相加得到最終的邊緣特征圖te：

28、

29、其中β＝relu(bn(conv))，la表示拉普拉斯算子，so表示sobel算子，bn表示局部響應(yīng)歸一化。

30、進一步的，上述自適應(yīng)對比度增強模塊的具體流程如下：

31、首先，輸入邊緣增強后的熱紅外圖像特征te，計算特征中每個位置(i，j)的標(biāo)準(zhǔn)差，計算公式為：

32、

33、其中，w，h分別表示熱紅外圖像的寬和高，μij，σij分別表示圖像的平均值和標(biāo)準(zhǔn)差，p(i,j)表示第i行，第j列的像素值；

34、然后是兩個3×3卷積層，relu和sigmoid激活函數(shù)，得到特征圖的對比度權(quán)值；

35、最后將邊緣特征te與對比度權(quán)值相乘得到增強后的特征ts：

36、ts＝te×s(a(σij(te))??????????????????(17)

37、其中a＝conv(relu(conv))。

38、進一步的，上述紋理增強模塊的具體步驟是：

39、特征ts先在熱紅外圖像的水平方向進行紋理增強，采用空洞卷積，逐元素卷積和普通卷積，將經(jīng)過不同卷積后得到的圖像進行連接，再進行降維得到增強后的紋理特征tr

40、

41、其中表示1×1卷積，表示膨脹率為2的3×3的空洞卷積，表示3×3的逐元素卷積，表示5×5卷積；

42、隨后對熱紅外圖像的垂直方向進行紋理增強，采用上下兩個相似的分支，上分支將3×3卷積拆分成一個3×1卷積和1×3卷積，下分支將3×1卷積和1×3卷積變換順序，并添加1×1卷積進行降維，最終將上下分支在通道維度上連接得到熱紅外圖像tv：

43、tv＝cat(conv(f1×3(f3×1(tr))),conv(f3×1(f1×3(tr))))?(19)

44、其中f1×3，f3×1表示1×3卷積，3×1卷積。

45、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點是：

46、1、提升圖像質(zhì)量：由于步驟二中采用了基于拉普拉斯算子和sobel算子的雙分支邊緣增強方法，能同時突出圖像中的細(xì)節(jié)和輪廓。傳統(tǒng)的邊緣檢測方法通常只能在特定類型的圖像中表現(xiàn)良好，而在面對低對比度或復(fù)雜背景的熱紅外圖像時，往往會丟失一些細(xì)節(jié)或引入噪聲；步驟四通過自適應(yīng)對比度增強模塊，本發(fā)明通過計算每個位置的標(biāo)準(zhǔn)差來動態(tài)調(diào)整對比度，提升高對比度區(qū)域的表現(xiàn)，同時抑制低對比度區(qū)域的影響；步驟五的水平方向和垂直方向的紋理增強方法結(jié)合了空洞卷積、逐元素卷積和普通卷積，本發(fā)明能夠在水平方向和垂直方向上對熱紅外圖像進行更加全面的紋理增強，使用了多個卷積操作來從不同層次、不同尺度提取紋理特征。

47、2、模態(tài)融合好，精度高：由于本發(fā)明采用了加和后模態(tài)作為交叉注意的鍵和值，而另一模態(tài)作為查詢進行融合的策略，這種設(shè)計避免了傳統(tǒng)方法中模態(tài)間直接交互可能導(dǎo)致的信息丟失，確保了每個模態(tài)的特定信息得以更好地保留。通過這種交互方式，本發(fā)明能夠更充分地利用不同模態(tài)之間的相互關(guān)系，促進增強模態(tài)之間的信息交互與協(xié)同作用,充分發(fā)揮兩種模態(tài)的優(yōu)勢，提高信息融合質(zhì)量，從而提升整體性能。

48、3、能夠平衡性能與精度：由于本發(fā)明方法中，步驟二在可見光圖像增強模塊和熱紅外圖像增強模塊采用非對稱結(jié)構(gòu)進行增強，因此可以充分利用模態(tài)的特性，模態(tài)的交互融合模塊更好的利用兩個模態(tài)的互補信息，使該跟蹤器能夠很好地適應(yīng)復(fù)雜的跟蹤場景。

49、4、本發(fā)明可以實現(xiàn)可見光圖像和熱紅外圖像的高效增強與融合，從而充分利用兩種模態(tài)的互補信息。由于采用了非對稱結(jié)構(gòu)進行針對性增強，確保了每種模態(tài)的特性得到最優(yōu)處理，進而提升了跟蹤精度和魯棒性，兩個模態(tài)的信息通過交互融合模塊進行有效整合，實現(xiàn)了更精準(zhǔn)的目標(biāo)識別和定位，本發(fā)明在應(yīng)對各種復(fù)雜跟蹤情況時具有較強的魯棒性和適應(yīng)性。