本發(fā)明涉及計(jì)算機(jī)視覺圖像，具體地涉及一種基于transformer的圖像恢復(fù)方法。

背景技術(shù)：

1、由于圖像采集設(shè)備的硬件限制與極端惡劣天氣(如雨滴、雨線、霧霾、雪花)影響，戶外圖像采集系統(tǒng)會(huì)收集到低質(zhì)量圖像。低質(zhì)量的圖像不僅影響人眼的主觀視覺體驗(yàn)，容易導(dǎo)致操作失誤，還會(huì)干擾后續(xù)的智能化處理，增加誤判和事故風(fēng)險(xiǎn)。不同天氣條件下的成像機(jī)制有所差異，其對(duì)圖像的影響也因天氣的惡劣程度而變化，從局部影響擴(kuò)展至全局。例如，雪粒子主要造成局部的遮擋效應(yīng)；雨天則既有全局性的雨線影響，也可能因鏡頭上的雨滴形成局部遮擋；霧霾天氣則通常會(huì)在全局范圍內(nèi)導(dǎo)致圖像模糊。

2、為提高模型在多種惡劣天氣條件下處理退化圖像的泛化性，需要綜合考慮不同天氣對(duì)圖像的多樣化影響?，F(xiàn)有結(jié)合網(wǎng)絡(luò)架構(gòu)和基礎(chǔ)模塊設(shè)計(jì)的圖像恢復(fù)方法(如基于cnn的airnet、mprnet以及基于transformer的ipt等)難以解耦架構(gòu)與基礎(chǔ)模塊各自對(duì)性能提升的獨(dú)立貢獻(xiàn)，從而難以對(duì)二者進(jìn)行單獨(dú)評(píng)估和優(yōu)化。由于模型是通過多個(gè)基礎(chǔ)模塊堆疊搭建而成，基礎(chǔ)模塊的設(shè)計(jì)對(duì)整體性能有著決定性影響。為此，需要針對(duì)基礎(chǔ)模塊進(jìn)行優(yōu)化，以提升模型的特征提取能力、表達(dá)能力和魯棒性，從而提高圖像恢復(fù)的效果。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例的目的是提供一種方法，該方法用于應(yīng)對(duì)多種惡劣天氣導(dǎo)致的圖像退化問題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供一種基于transformer的圖像恢復(fù)方法，所述方法包括：對(duì)輸入圖像進(jìn)行初步處理后獲得圖像特征；將所述圖像特征輸入至不同網(wǎng)絡(luò)深度的局部-區(qū)域-全局感知注意基礎(chǔ)模塊lrg中進(jìn)行特征提取與融合，以獲取融合后的圖像特征；對(duì)所述融合后的圖像特征執(zhí)行下采樣操作，以獲取不同維度的圖像特征；將所述不同維度的圖像特征按照對(duì)應(yīng)的特征大小逐層融合后，將融合后的所述不同維度的圖像特征上采樣至所述圖像特征的特征大小；以及將所述上采樣后的特征與所述融合后的圖像特征進(jìn)行concatenate操作，并融入所述輸入圖像進(jìn)行初步處理后獲得的圖像特征，以得到輸出圖像特征，將所述輸出圖像特征轉(zhuǎn)換為輸出圖像。

3、可選的，所述局部-區(qū)域-全局感知注意基礎(chǔ)模塊lrg包括多頭多尺度融合注意力以及通道空間雙注意前饋網(wǎng)絡(luò)；其中，所述多頭多尺度融合注意力包括局部信息提取模塊以及全局信息提取模塊。

4、可選的，所述局部信息提取模塊包括旋轉(zhuǎn)等變性卷積和交替局部自注意機(jī)制；所述全局信息提取模塊包括頻域自適應(yīng)注意機(jī)制和查詢感知全局稀疏自適應(yīng)注意機(jī)制。

5、可選的，所述將所述圖像特征輸入至不同網(wǎng)絡(luò)深度的局部-區(qū)域-全局感知注意基礎(chǔ)模塊lrg中進(jìn)行特征提取與融合，包括：將所述圖像特征層歸一化后進(jìn)行線性投影，使得所述圖像特征映射至所述多頭多尺度融合注意力的多個(gè)注意力頭中；利用所述局部信息提取模塊獲取所述圖像特征的局部特征信息，并將部分所述圖像特征與部分所述局部特征信息加和后輸入至所述全局信息提取模塊中，以獲取所述圖像特征的全局特征信息；將所述局部特征信息與所述全局特征信息進(jìn)行concatenate操作，以獲得組合特征，并將所述組合特征歸一化后輸入至所述通道空間雙注意前饋網(wǎng)絡(luò)；以及利用所述通道空間雙注意前饋網(wǎng)絡(luò)獲取所述組合特征的不同大小感受野的特征，并將該不同大小感受野的特征進(jìn)行空間維度和通道維度的融合。

6、可選的，所述利用所述局部信息提取模塊獲取所述圖像特征的局部特征信息，包括：利用所述旋轉(zhuǎn)等變性卷積的濾波器對(duì)輸入的所述圖像特征按照預(yù)設(shè)的角度進(jìn)行卷積操作，獲取不同角度的旋轉(zhuǎn)參數(shù)以更新所述濾波器，并利用所述濾波器對(duì)所述圖像特征進(jìn)行卷積操作，以生成輸出特征圖；利用所述交替局部自注意機(jī)制對(duì)輸入的所述圖像特征進(jìn)行劃塊操作，將所述圖像特征劃分為正方形、橫條形以及豎條形的區(qū)域，在所述正方形、橫條形以及豎條形的區(qū)域內(nèi)分別對(duì)應(yīng)進(jìn)行區(qū)域塊自注意力、橫向自注意力以及縱向自注意力，并將所述自注意力后的輸出通過concatenate操作組合后輸出；以及將所述旋轉(zhuǎn)等變性卷積所輸出的特征圖以及所述交替局部自注意機(jī)制的輸出加和后輸出，作為所述局部信息提取模塊獲取的所述圖像特征的局部特征信息。

7、可選的，所述獲取所述圖像特征的全局特征信息，包括：利用所述頻域自適應(yīng)注意機(jī)制將輸入的所述圖像特征轉(zhuǎn)換為頻域特征，對(duì)該頻域特征進(jìn)行運(yùn)算，以得到注意力特征，并通過將所述注意力特征與所述局部信息提取模塊的輸出加和后輸入至所述查詢感知全局稀疏自適應(yīng)注意機(jī)制；所述查詢感知全局稀疏自適應(yīng)注意機(jī)制利用查詢圖像塊將所述輸入的圖像特征中的鍵值對(duì)區(qū)域進(jìn)行過濾，以獲得最相關(guān)的所述鍵值對(duì)區(qū)域，通過聚合所述最相關(guān)的所述鍵值對(duì)區(qū)域并計(jì)算，以得到稀疏全局特征。

8、可選的，所述利用所述通道空間雙注意前饋網(wǎng)絡(luò)獲取所述組合特征的不同大小感受野的特征，包括：將所述組合特征輸入至線性映射層與激活函數(shù)層進(jìn)行處理，并將處理后的所述組合特征按通道劃分為兩部分特征，并對(duì)該兩部分特征分別進(jìn)行深度卷積操作與膨脹卷積操作，以獲取不同大小感受野的特征。

9、第二方面，本發(fā)明提供一種基于transformer的圖像恢復(fù)系統(tǒng)，所述系統(tǒng)包括：預(yù)處理模塊，用于對(duì)輸入圖像進(jìn)行初步處理后獲得圖像特征；多頭多尺度融合注意力模塊，用于提取所述圖像特征的局部特征信息與全局特征信息，并將二者進(jìn)行融合以得到多尺度特征信息；通道空間雙注意前饋網(wǎng)絡(luò)，用于獲取所述多尺度特征信息的空間維度以及通道維度的特征信息，并進(jìn)行融合，以獲取融合后的圖像特征；下采樣模塊，用于對(duì)所述融合后的圖像特征執(zhí)行下采樣操作，以獲取不同維度的圖像特征；加和模塊，用于將所述不同維度的圖像特征按照對(duì)應(yīng)的特征大小逐層融合；上采樣模塊，用于將融合后的所述不同維度的圖像特征逐層融合后上采樣至所述圖像特征的特征大?。惶卣餍畔⑷诤夏K，用于將所述上采樣后的特征與所述融合后的圖像特征進(jìn)行concatenate操作，并融入所述輸入圖像進(jìn)行初步處理后獲得的圖像特征，以得到輸出圖像特征；以及特征轉(zhuǎn)換模塊，用于將輸出圖像特征轉(zhuǎn)換為輸出圖像。

10、可選的，所述多頭多尺度融合注意力模塊包括局部信息提取模塊與全局信息提取模塊；其中，所述局部信息提取模塊包括旋轉(zhuǎn)等變性卷積與交替局部自注意機(jī)制，所述全局信息提取模塊包括頻域自適應(yīng)注意機(jī)制與查詢感知全局稀疏自適應(yīng)注意機(jī)制。

11、第三方面，本發(fā)明提供一種處理器，用于運(yùn)行程序，所述程序被運(yùn)行時(shí)用于執(zhí)行本申請(qǐng)任意一項(xiàng)所述的基于transformer的圖像恢復(fù)方法。

12、通過上述技術(shù)方案，本發(fā)明首先將輸入圖像進(jìn)行初步處理后轉(zhuǎn)換為圖像特征，利用局部-區(qū)域-全局感知注意基礎(chǔ)模塊lrg獲取圖像特征中的局部、區(qū)域和全局范圍內(nèi)的關(guān)鍵特征，并將其進(jìn)行結(jié)合，以實(shí)現(xiàn)融合多尺度特征信息的目的。并通過將結(jié)合后的多尺度特征信息進(jìn)行通道維度和空間維度的融合，增強(qiáng)通道間的信息交互和空間建模能力。

13、本發(fā)明實(shí)施例的其它特征和優(yōu)點(diǎn)將在隨后的具體實(shí)施方式部分予以詳細(xì)說明。

技術(shù)特征：

1.一種基于transformer的圖像恢復(fù)方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的圖像恢復(fù)方法，其特征在于，所述局部-區(qū)域-全局感知注意基礎(chǔ)模塊lrg包括多頭多尺度融合注意力以及通道空間雙注意前饋網(wǎng)絡(luò)；

3.根據(jù)權(quán)利要求2所述的圖像恢復(fù)方法，其特征在于，所述局部信息提取模塊包括旋轉(zhuǎn)等變性卷積和交替局部自注意機(jī)制；

4.根據(jù)權(quán)利要求3所述的圖像恢復(fù)方法，其特征在于，所述將所述圖像特征輸入至不同網(wǎng)絡(luò)深度的局部-區(qū)域-全局感知注意基礎(chǔ)模塊lrg中進(jìn)行特征提取與融合，包括：

5.根據(jù)權(quán)利要求4所述的圖像恢復(fù)方法，其特征在于，所述利用所述局部信息提取模塊獲取所述圖像特征的局部特征信息，包括：

6.根據(jù)權(quán)利要求4所述的圖像恢復(fù)方法，其特征在于，所述獲取所述圖像特征的全局特征信息，包括：

7.根據(jù)權(quán)利要求4所述的圖像恢復(fù)方法，其特征在于，所述利用所述通道空間雙注意前饋網(wǎng)絡(luò)獲取所述組合特征的不同大小感受野的特征，包括：

8.一種基于transformer的圖像恢復(fù)系統(tǒng)，其特征在于，所述系統(tǒng)包括：

9.根據(jù)權(quán)利要求8所述的圖像恢復(fù)系統(tǒng)，其特征在于，所述多頭多尺度融合注意力模塊包括局部信息提取模塊與全局信息提取模塊；

10.一種處理器，其特征在于，用于運(yùn)行程序，其中，所述程序被運(yùn)行時(shí)用于執(zhí)行：如權(quán)利要求1-7任意一項(xiàng)所述的基于transformer的圖像恢復(fù)方法。

技術(shù)總結(jié)
本發(fā)明實(shí)施例提供一種基于Transformer的圖像恢復(fù)方法，該方法包括：對(duì)輸入圖像進(jìn)行初步處理后獲得圖像特征；將圖像特征輸入至不同網(wǎng)絡(luò)深度的局部?區(qū)域?全局感知注意基礎(chǔ)模塊LRG中以獲取融合后的圖像特征；對(duì)融合后的圖像特征執(zhí)行下采樣操作，以獲取不同維度的圖像特征；將不同維度的圖像特征逐層融合，將融合后的不同維度的圖像特征上采樣至圖像特征的特征大小；將上采樣后的特征與融合后的圖像特征進(jìn)行concatenate操作，并融入輸入圖像的圖像特征以得到輸出圖像特征，將輸出圖像特征轉(zhuǎn)換為輸出圖像。本公開能夠?qū)⒕植亢腿值亩喑叨忍卣鬟M(jìn)行融合，并將融合后的多尺度特征信息進(jìn)行通道維度和空間維度的融合，增強(qiáng)通道間的信息交互和空間建模能力。

技術(shù)研發(fā)人員：李嘉鋒,金嘉奇,李天碩,張菁,卓力
受保護(hù)的技術(shù)使用者：北京工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15