本發(fā)明涉及圖像超分辨率，特別是涉及一種圖像超分辨率方法、系統(tǒng)、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)和移動(dòng)設(shè)備的廣泛普及，圖像的傳輸和存儲(chǔ)需求急劇增加。為了節(jié)省帶寬和存儲(chǔ)空間，圖像通常需要經(jīng)過(guò)深度壓縮處理。然而，深度壓縮往往導(dǎo)致圖像細(xì)節(jié)喪失，出現(xiàn)模糊不清的現(xiàn)象，嚴(yán)重影響視覺(jué)體驗(yàn)和應(yīng)用效果。為了彌補(bǔ)壓縮帶來(lái)的質(zhì)量損失，圖像超分辨率技術(shù)應(yīng)運(yùn)而生。圖像超分辨率旨在從低分辨率、模糊的圖像中恢復(fù)出高分辨率、清晰的圖像，從而提升圖像的視覺(jué)質(zhì)量，使其在各種應(yīng)用場(chǎng)景中顯得更加細(xì)膩和自然。

2、目前常用的圖像超分辨率方法包括基于插值的處理方法、基于數(shù)學(xué)模型的處理方法以及基于深度學(xué)習(xí)模型的處理方法等，盡管現(xiàn)有的圖像處理技術(shù)在多個(gè)方面取得了一定進(jìn)展，但它們?nèi)源嬖谝韵嘛@著的局限性，制約了其在實(shí)際應(yīng)用中的效果和效率，一方面是修復(fù)效果不穩(wěn)定，現(xiàn)有的方法在處理不同類型圖像和不同程度的損傷時(shí)，修復(fù)效果往往不穩(wěn)定，難以保證一致的高質(zhì)量輸出，比如基于數(shù)學(xué)模型的方法對(duì)圖像的先驗(yàn)知識(shí)依賴性強(qiáng)，在面對(duì)復(fù)雜場(chǎng)景時(shí)效果不佳，而經(jīng)典深度學(xué)習(xí)模型雖然能夠?qū)W習(xí)到圖像的特征，但仍存在泛化能力不足的問(wèn)題，容易受到訓(xùn)練數(shù)據(jù)的影響。另一方面則現(xiàn)有的方法在重建圖像的高頻細(xì)節(jié)和紋理方面仍存在不足，比如，基于插值的方法難以有效恢復(fù)圖像的邊緣和紋理信息；基于數(shù)學(xué)模型的方法往往過(guò)于依賴預(yù)設(shè)模型，難以捕捉圖像的復(fù)雜細(xì)節(jié)；經(jīng)典深度學(xué)習(xí)模型雖然能夠?qū)W習(xí)到一些高頻信息，但難以完全恢復(fù)圖像的精細(xì)細(xì)節(jié)。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種圖像超分辨率方法、系統(tǒng)、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，以能夠解決現(xiàn)有方法修復(fù)效果不穩(wěn)定和細(xì)節(jié)重建能力不足的問(wèn)題，達(dá)到有效提升圖像的細(xì)節(jié)清晰度和圖像分辨率的技術(shù)效果。

2、第一方面，本發(fā)明提供了一種圖像超分辨率方法，所述方法包括：

3、根據(jù)基于區(qū)域復(fù)雜度的采樣策略，對(duì)低分辨率圖像進(jìn)行采樣，得到淺層特征；

4、將所述淺層特征輸入到預(yù)先建立的深層特征提取模型，得到深層特征，所述深層特征提取模型采用基于自注意力的視覺(jué)狀態(tài)空間模型構(gòu)建得到；

5、將所述淺層特征和所述深層特征進(jìn)行融合，得到圖像特征；

6、將所述圖像特征輸入預(yù)先建立的圖像增強(qiáng)模型進(jìn)行上采樣和殘差連接，得到所述低分辨率圖像對(duì)應(yīng)的高分辨率圖像，所述圖像增強(qiáng)模型采用基于卷積的像素重組方法構(gòu)建得到。

7、進(jìn)一步地，所述根據(jù)基于區(qū)域復(fù)雜度的采樣策略，對(duì)低分辨率圖像進(jìn)行采樣，得到淺層特征的步驟包括：

8、按照預(yù)設(shè)尺寸將低分辨率圖像劃分成若干個(gè)圖像區(qū)域，并根據(jù)邊緣檢測(cè)算法計(jì)算各個(gè)圖像區(qū)域中的每個(gè)像素點(diǎn)的梯度；

9、基于梯度閾值對(duì)計(jì)算得到的每個(gè)像素點(diǎn)的梯度進(jìn)行二值化，得到二值化梯度；

10、計(jì)算各個(gè)圖像區(qū)域中二值化梯度為預(yù)設(shè)梯度的像素點(diǎn)的占比值，并根據(jù)所述占比值與占比閾值的比較結(jié)果，確定各個(gè)圖像區(qū)域的復(fù)雜度類型，所述復(fù)雜度類型包括低復(fù)雜度和高復(fù)雜度；

11、根據(jù)各個(gè)圖像區(qū)域的復(fù)雜度類型，選取對(duì)應(yīng)尺寸的卷積核進(jìn)行采樣，并將得到的采樣結(jié)果進(jìn)行拼接融合，得到所述低分辨率圖像的淺層特征。

12、進(jìn)一步地，所述深層特征提取模型由若干個(gè)特征處理模塊和一個(gè)卷積層串聯(lián)組成，所述特征處理模塊采用基于自注意力的視覺(jué)狀態(tài)空間模型構(gòu)建得到；

13、所述特征處理模塊包括串聯(lián)的卷積分割模塊、特征提取模塊和拼接融合模塊，所述特征提取模塊包括并聯(lián)的卷積殘差模塊和自注意力視覺(jué)狀態(tài)空間模塊；

14、所述卷積殘差模塊由若干個(gè)串聯(lián)的卷積殘差子模塊組成，所述卷積殘差子模塊包括三個(gè)預(yù)設(shè)尺寸的卷積核和激活函數(shù)；

15、所述自注意力視覺(jué)狀態(tài)空間模塊由串聯(lián)的第一殘差子模塊和第二殘差子模塊組成，所述第一殘差子模塊包括窗口多頭自注意力子模塊和第一歸一化層，所述第二殘差子模塊包括視覺(jué)狀態(tài)空間子模塊和第二歸一化層。

16、進(jìn)一步地，所述將所述淺層特征輸入到預(yù)先建立的深層特征提取模型，得到深層特征的步驟包括：

17、將所述淺層特征輸入到所述特征處理模塊進(jìn)行特征提取，并將提取到的淺層提取特征輸入到下一個(gè)所述特征處理模塊，直至得到最后一個(gè)所述特征處理模塊輸出的所述淺層提取特征；

18、將所述淺層提取特征輸入到所述卷積層進(jìn)行卷積操作，得到深層特征；

19、其中，所述將所述淺層特征輸入到所述特征處理模塊進(jìn)行特征提取的步驟包括：

20、將所述淺層特征輸入到所述卷積分割模塊進(jìn)行平均分割，得到第一淺層特征和第二淺層特征；

21、將所述第一淺層特征輸入所述卷積殘差模塊，得到局部特征；

22、將所述第二淺層特征輸入所述自注意力視覺(jué)狀態(tài)空間模塊，得到全局特征；

23、將所述局部特征和所述全局特征輸入所述拼接融合模塊，得到淺層提取特征。

24、進(jìn)一步地，所述圖像增強(qiáng)模型包括第一卷積層、若干個(gè)像素增強(qiáng)模塊和一個(gè)卷積模塊，所述像素增強(qiáng)模塊和所述卷積模塊串聯(lián)連接，所述像素增強(qiáng)模塊與所述第一卷積層并聯(lián)連接；

25、所述像素增強(qiáng)模塊包括第二卷積層，以及與所述第二卷積層并聯(lián)的第三卷積層、像素重組模塊和第四卷積層，所述第三卷積層、所述像素重組模塊和所述第四卷積層串聯(lián)連接。

26、進(jìn)一步地，所述將所述圖像特征輸入預(yù)先建立的圖像增強(qiáng)模型進(jìn)行上采樣和殘差連接，得到所述低分辨率圖像對(duì)應(yīng)的高分辨率圖像的步驟包括：

27、將所述圖像特征輸入所述像素增強(qiáng)模塊進(jìn)行上采樣處理，并將得到的上采樣特征輸入到下一個(gè)所述像素增強(qiáng)模塊，直至得到最后一個(gè)所述像素增強(qiáng)模塊輸出的所述上采樣特征；

28、將所述圖像特征輸入所述第一卷積層進(jìn)行卷積操作后，與所述上采樣特征進(jìn)行殘差連接，并將連接后的特征輸入所述卷積模塊進(jìn)行卷積操作，得到所述低分辨率圖像對(duì)應(yīng)的高分辨率圖像。

29、進(jìn)一步地，所述將所述圖像特征輸入所述像素增強(qiáng)模塊進(jìn)行上采樣處理的步驟包括：

30、通過(guò)所述第三卷積層、所述像素重組模塊和所述第四卷積層對(duì)所述圖像特征進(jìn)行上采樣處理，得到第一上采樣特征；

31、通過(guò)所述第二卷積層對(duì)所述圖像特征進(jìn)行卷積操作，得到第一卷積特征；

32、將所述第一上采樣特征和所述第一卷積特征進(jìn)行殘差連接，得到上采樣特征。

33、第二方面，本發(fā)明提供了一種圖像超分辨率系統(tǒng)，所述系統(tǒng)包括：

34、淺層特征提取模塊，用于根據(jù)基于區(qū)域復(fù)雜度的采樣策略，對(duì)低分辨率圖像進(jìn)行采樣，得到淺層特征；

35、深層特征提取模塊，用于將所述淺層特征輸入到預(yù)先建立的深層特征提取模型，得到深層特征，所述深層特征提取模型采用基于自注意力的視覺(jué)狀態(tài)空間模型構(gòu)建得到；

36、特征融合模塊，用于將所述淺層特征和所述深層特征進(jìn)行融合，得到圖像特征；

37、圖像重構(gòu)模塊，用于將所述圖像特征輸入預(yù)先建立的圖像增強(qiáng)模型進(jìn)行上采樣和殘差連接，得到所述低分辨率圖像對(duì)應(yīng)的高分辨率圖像，所述圖像增強(qiáng)模型采用基于卷積的像素重組方法構(gòu)建得到。

38、第三方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述方法的步驟。

39、第四方面，本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法的步驟。

40、本發(fā)明提供了一種圖像超分辨率方法、系統(tǒng)、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。通過(guò)基于動(dòng)態(tài)卷積的多尺度自適應(yīng)的淺層特征提取方法，能夠?qū)\層特征進(jìn)行多尺度提取，通過(guò)基于窗口多頭自注意力的視覺(jué)狀態(tài)空間的深層特征提取模型，將全局特征和局部特征相結(jié)合，能夠顯著提升特征提取的精度和深度，同時(shí)通過(guò)結(jié)合局部特征提取與全局上下文建模，并利用圖像增強(qiáng)模型進(jìn)行高質(zhì)量重構(gòu)，使得重構(gòu)圖像能夠呈現(xiàn)更佳的細(xì)節(jié)和整體效果。本發(fā)明能夠有效提升重構(gòu)圖像的細(xì)節(jié)清晰度和圖像分辨率，并且適用于多種復(fù)雜場(chǎng)景，具有良好的實(shí)用性。