本發(fā)明涉及圖像處理，具體涉及一種圖像處理方法、計算機可讀介質、電子設備、圖像處理設備及其構建方法。

背景技術：

1、數字式x射線輻射成像(digital?radiography,dr)技術通過平板探測器接收x射線能量，并將其直接轉換成電信號，再利用計算機轉換為數字圖像，dr技術成像具有空間分辨率高、信息量大、動態(tài)范圍大等優(yōu)點。更為重要的是其攝影速度快，能夠快速有效地檢測出鑄件表面及內部缺陷，實現實時成像檢測。

2、傳統(tǒng)圖圖像增強方法常常是在增強圖像對比度、視覺效果及圖像信息熵等各項指標上達到一個平衡，無法同時提高以上所有指標，研究人員常常根據不同的增強需求用特定的算法來進行增強，因此應用傳統(tǒng)圖像增強方法需要進行手動多參數調整，并且傳統(tǒng)增強方法面對大尺寸的dr圖像會有較大的耗時。而現今的深度學習網絡也極少有針對dr圖像增強任務，并且如今很多的深度學習網絡對dr大尺寸圖像束手無策。而x射線成像系統(tǒng)中的散射、電噪聲以及鑄件自身厚度不均等原因，會導致dr圖像邊緣信息模糊、灰度分布不均及細節(jié)不清等，并且生成的都是高動態(tài)范圍大尺寸的dr圖像。

3、專利文獻cn118115373a公開了一種大尺寸圖像增強模型的構建方法、圖像處理方法、計算機可讀介質、電子設備。大尺寸圖像增強模型的構建方法包括制作訓練集和測試集的步驟、建立大尺寸圖像增強模型的步驟、訓練所述大尺寸圖像增強模型的參數的步驟和測試大尺寸圖像增強模型的參數的步驟，大尺寸圖像增強模型包括編碼器、解碼器、多尺度融合模塊和亮度調整模塊。該方案雖然可以處理大尺寸的高動態(tài)范圍的待增強圖像，使其對比度、視覺效果和圖像信息熵同時得以增強，但其針對大尺寸零部件細微處的局部對比度的增強存在不足，不利于識別出大尺寸零部件缺陷。

技術實現思路

1、本發(fā)明的目的是提供一種圖像處理方法、計算機可讀介質、電子設備、圖像處理設備及其構建方法，以提高圖像的質量。

2、本發(fā)明是這樣實現的：

3、一種圖像處理方法，令指針i＝1，包括以下步驟：

4、步驟1、處理待增強圖像m0，得到特征圖和特征圖

5、步驟2、編碼特征圖為特征圖編碼特征圖為特征圖所述特征圖對應的圖像尺寸為所述特征圖對應的圖像尺寸的2倍，所述特征圖對應的圖像尺寸為所述特征圖對應的圖像尺寸的2倍，編碼特征圖為特征圖的方法不同于編碼特征圖為特征圖的方法；

6、步驟3、混合編碼特征圖和特征圖為特征圖

7、步驟4、如果i<m，則令i＝i+1，返回步驟2執(zhí)行步驟2到步驟4的循環(huán)；如果i＝m，則令特征圖為特征圖特征圖為特征圖進行下一步；

8、步驟5、解碼特征圖為特征圖解碼特征圖為特征圖所述特征圖對應的圖像尺寸為所述特征圖對應的圖像尺寸的2倍，所述特征圖對應的圖像尺寸為所述特征圖對應的圖像尺寸的2倍；

9、步驟6、混合編碼特征圖和特征圖為特征圖

10、步驟7、如果i>1，則令i＝i-1，返回步驟5執(zhí)行步驟5到步驟7的循環(huán)；如果i＝1，則處理特征圖為增強后圖像m0′。

11、優(yōu)選的，混合編碼特征圖和特征圖為特征圖的方法是：1×1卷積處理特征圖得到矩陣mi1；1×1卷積處理特征圖得到矩陣mi2；mi1與mi2相乘后使用sigmoid激活函數處理，得到特征圖σei；fei＝σei×mi2+(1-σei)mi1；將特征圖設置為q，將特征圖設置為k，將fei設置為v，按注意力機制進行處理后得到特征圖混合編碼特征圖和特征圖為特征圖的方法是：1×1卷積處理特征圖得到矩陣mi3；1×1卷積處理特征圖得到矩陣mi4；mi3與mi4相乘后使用sigmoid激活函數處理，得到特征圖σdi；fdi＝σdi×mi4+(1-σdi)mi3；將特征圖設置為q，將特征圖設置為k，將fdi設置為v，按注意力機制進行處理后得到特征圖

12、優(yōu)選的，編碼特征圖為特征圖的方法是：收縮處理特征圖以降低圖像特征維度，得到特征圖多尺度融合處理特征圖得到特征圖編碼特征圖為特征圖的方法是：收縮處理特征圖以降低圖像特征維度，得到特征圖殘差組卷積處理特征圖得到特征圖解碼特征圖為特征圖的方法是：擴展處理特征圖以升高圖像特征維度，得到特征圖多尺度融合處理特征圖得到特征圖解碼特征圖為特征圖的方法是：擴展處理特征圖以升高圖像特征維度，得到特征圖殘差組卷積處理特征圖得到特征圖

13、進一步優(yōu)選的，設所述多尺度融合處理特征圖的深度為n，處理待增強圖像m0以得到特征圖和特征圖的方法是：

14、查詢待增強圖像m0的長度和寬度方向的像素數；

15、如果待增強圖像m0的長度方向的像素數和寬度方向的像素數中任一個不為2m+n-1整數倍，則在對應方向的尾部使用補充塊將像素數補充為2m+n-1整數倍，令圖像為尺寸調整后的圖像；如果待增強圖像m0的長度方向的像素數和寬度方向的像素數中均為2m+n-1整數倍，則令圖像為待增強圖像m0；

16、設計子圖像的長度方向的像素數和寬度方向的像素數中均為2m+n-1整數倍，按固定比例固定步長滑動剪裁圖像得到一組子圖像對每張子圖像進行卷積處理，得到特征圖按對所有子圖像的特征圖按照子圖像的剪裁獲取順序在通道層面上合并，得到特征圖

17、對圖像進行3×3卷積處理，通過設置卷積的步長使得到的特征圖的尺寸與特征圖的尺寸相同，得到特征圖

18、進一步優(yōu)選的，設所述多尺度融合處理特征圖的深度為n，處理待增強圖像m0以得到特征圖和特征圖的方法是：

19、查詢待增強圖像m0的長度和寬度方向的像素數；

20、如果待增強圖像m0的長度方向的像素數和寬度方向的像素數中任一個不為2m+n-1整數倍，則在對應方向的尾部使用補充塊將像素數補充為2m+n-1整數倍，令圖像為尺寸調整后的圖像；如果待增強圖像m0的長度方向的像素數和寬度方向的像素數中均為2m+n-1整數倍，則令圖像為待增強圖像m0；

21、設計子圖像的長度方向的像素數和寬度方向的像素數中均為2m+n-1整數倍，按固定比例固定步長滑動剪裁圖像得到一組子圖像每張子圖像進行卷積處理，得到特征圖按對所有子圖像的特征圖按照子圖像的剪裁獲取順序在通道層面上合并，得到特征圖

22、對圖像進行卷積處理，通過設置卷積的步長使得到的特征圖的尺寸與特征圖的尺寸相同，再對得到的特征圖進行多尺度融合處理后得到特征圖

23、混合編碼特征圖和特征圖為特征圖

24、再進一步優(yōu)選的，在步驟1中，如果在處理待增強圖像m0的過程中使用了補充塊，則在步驟7中，處理特征圖為增強后圖像m0′包括以下步驟：

25、s711、降通道處理特征圖得到圖像md；

26、s712、裁掉圖像md中補充塊，得到增強后圖像m0′。

27、在步驟1中，如果在處理待增強圖像m0的過程中未使用補充塊，則在步驟7中，處理特征圖為增強后圖像m0′包括以下步驟：

28、s711、降通道處理特征圖得到增強后圖像m0′。

29、一種存儲有圖像處理程序的計算機可讀介質，所述圖像處理程序被處理器加載后用于執(zhí)行前述的圖像處理方法。

30、一種電子設備，包括存儲有圖像處理程序的計算機可讀介質和處理器，所述圖像處理程序被處理器加載后用于執(zhí)行前述的圖像處理方法。

31、一種圖像處理設備，用于處理待增強圖像m0為增強后圖像m0′，包括：

32、主路編碼器，用于編碼特征圖為特征圖所述特征圖對應的圖像尺寸為所述特征圖對應的圖像尺寸的2倍；

33、輔路編碼器，用于編碼特征圖為特征圖所述特征圖對應的圖像尺寸為所述特征圖對應的圖像尺寸的2倍，編碼特征圖為特征圖的方法不同于編碼特征圖為特征圖的方法；

34、主路解碼器，用于解碼特征圖為特征圖所述特征圖對應的圖像尺寸為所述特征圖對應的圖像尺寸的2倍；

35、輔路解碼器，用于解碼特征圖為特征圖所述特征圖對應的圖像尺寸為所述特征圖對應的圖像尺寸的2倍；

36、雙路混編器，用于混合編碼特征圖和特征圖為特征圖以及用于混合編碼特征圖和特征圖為特征圖

37、初階處理器，用于處理待增強圖像m0以得到特征圖和特征圖以及處理特征圖為增強后圖像m0′；

38、其中，a＝1,2,…,m-1；b＝1,2,…,m-1；c＝1,2,…,m；d＝2,3,…,m；e＝2,3,…,m；f＝1,2,…,m；m≥3；特征圖為特征圖特征圖為特征圖

39、優(yōu)選的，混合編碼特征圖和特征圖為特征圖的方法是：1×1卷積處理特征圖得到矩陣mc1；1×1卷積處理特征圖得到矩陣mc2；mc1與mc2相乘后使用sigmoid激活函數處理，得到特征圖σec；fec＝σec×mc2+(1-σec)mc1；將特征圖設置為q，將特征圖設置為k，將fec設置為v，按注意力機制進行處理后得到特征圖

40、混合編碼特征圖和特征圖為特征圖的方法是：1×1卷積處理特征圖得到矩陣mf3；1×1卷積處理特征圖得到矩陣mf4；mf3與mf4相乘后使用sigmoid激活函數處理，得到特征圖σdf；fdf＝σdf×mf4+(1-σdf)mf3；將特征圖設置為q，將特征圖設置為k，將fdf設置為v，按注意力機制進行處理后得到特征圖

41、優(yōu)選的，編碼特征圖為特征圖的方法是：收縮處理特征圖以降低圖像特征維度，得到特征圖多尺度融合處理特征圖得到特征圖編碼特征圖為特征圖的方法是：收縮處理特征圖以降低圖像特征維度，得到特征圖殘差組卷積處理特征圖得到特征圖解碼特征圖為特征圖的方法是：擴展處理特征圖以升高圖像特征維度，得到特征圖多尺度融合處理特征圖得到特征圖解碼特征圖為特征圖的方法是：擴展處理特征圖以升高圖像特征維度，得到特征圖殘差組卷積處理特征圖得到特征圖

42、進一步優(yōu)選的，設所述多尺度融合處理特征圖的深度為n，在所述初階處理器中，處理待增強圖像m0以得到特征圖和特征圖的方法是：

43、查詢待增強圖像m0的長度和寬度方向的像素數；

44、如果待增強圖像m0的長度方向的像素數和寬度方向的像素數中任一個不為2m+n-1整數倍，則在對應方向的尾部使用補充塊將像素數補充為2m+n-1整數倍，令圖像為尺寸調整后的圖像；如果待增強圖像m0的長度方向的像素數和寬度方向的像素數中均為2m+n-1整數倍，則令圖像為待增強圖像m0；

45、設計子圖像的長度方向的像素數和寬度方向的像素數中均為2m+n-1整數倍，按固定比例固定步長滑動剪裁圖像得到一組子圖像對每張子圖像進行卷積處理，得到特征圖按對所有子圖像的特征圖按照子圖像的剪裁獲取順序在通道層面上合并，得到特征圖

46、對圖像進行3×3卷積處理，通過設置卷積的步長使得到的特征圖的尺寸與特征圖的尺寸相同，得到特征圖

47、進一步優(yōu)選的，設所述多尺度融合處理特征圖的深度為n，處理待增強圖像m0以得到特征圖和特征圖的方法是：

48、查詢待增強圖像m0的長度和寬度方向的像素數；

49、如果待增強圖像m0的長度方向的像素數和寬度方向的像素數中任一個不為2m+n-1整數倍，則在對應方向的尾部使用補充塊將像素數補充為2m+n-1整數倍，令圖像為尺寸調整后的圖像；如果待增強圖像m0的長度方向的像素數和寬度方向的像素數中均為2m+n-1整數倍，則令圖像為待增強圖像m0；

50、設計子圖像的長度方向的像素數和寬度方向的像素數中均為2m+n-1整數倍，按固定比例固定步長滑動剪裁圖像得到一組子圖像每張子圖像進行卷積處理，得到特征圖按對所有子圖像的特征圖按照子圖像的剪裁獲取順序在通道層面上合并，得到特征圖

51、對圖像進行卷積處理，通過設置卷積的步長使得到的特征圖的尺寸與特征圖的尺寸相同，再對得到的特征圖進行多尺度融合處理后得到特征圖

52、混合編碼特征圖和特征圖為特征圖

53、再進一步優(yōu)選的，如果在處理待增強圖像m0的過程中使用了補充塊，則在所述初階處理器中，處理特征圖為增強后圖像m0′包括以下步驟：

54、s711、降通道處理特征圖得到圖像md；

55、s712、裁掉圖像md中補充塊，得到增強后圖像m0′。

56、在步驟1中，如果在處理待增強圖像m0的過程中未使用補充塊，則在所述初階處理器中，處理特征圖為增強后圖像m0′包括以下步驟：

57、s711、降通道處理特征圖得到增強后圖像m0′。

58、前述的圖像處理設備的構建方法，包括以下步驟：

59、制作訓練集和測試集的步驟，所述訓練集和測試集的每一樣本均包括待增強圖像m0和標簽圖像m0″；

60、建立圖像處理仿真設備的步驟；

61、訓練所述圖像處理仿真設備的參數的步驟，使用所述訓練集訓練所述圖像處理仿真設備，得到所述圖像處理仿真設備的應用參數；

62、測試所述圖像處理仿真設備的參數的步驟，將所述圖像處理仿真設備的參數設置為所述應用參數，使用所述測試集測試所述圖像處理仿真設備，若所述圖像處理仿真設備輸出的增強后圖像與對應的所述標簽圖像對比后誤差滿足要求，則按所述圖像處理仿真設備及所述應用參數建造圖像處理設備。

63、優(yōu)選的，建立所述圖像處理仿真設備的步驟中，還建立有損失函數，所述損失函數為：

64、

65、

66、其中，ii(i＝1,2,…,m)為為對標簽圖像進行尺寸的下采樣得到的特征圖；為ii和的l1范數損失，對于為的圖像值，y(h,w)為ii的圖像值；為ii和的感知損失，具體為將ii輸入vgg網絡提取的特征圖和將輸入vgg網絡提取的特征圖間的l2范數損失，對于為將輸入vgg網絡提取的特征圖，φj(y)為將ii輸入vgg網絡提取的特征圖；y為為匹配的標簽圖像；為y與的l1范數損失，對于為的圖像值，y(h,w)為y的圖像值；為y與的感知損失，具體為將y輸入vgg網絡提取的特征圖和將輸入vgg網絡提取的特征圖間的l2范數損失，對于為將輸入vgg網絡提取的特征圖，φj(y)為將y輸入vgg網絡提取的特征圖；λa、λp、λm均為損失的權重系數；為總損失。

67、本發(fā)明的有益效果包括：

68、1.本發(fā)明的圖像處理方法，可以處理大尺寸的高動態(tài)范圍的待增強圖像，使其對比度、視覺效果和圖像信息熵同時得以增強，可以更好的增強細微特征的局部對比度，提高對圖像細節(jié)紋理的捕捉，加強圖像高頻細節(jié)區(qū)域的對比度，使圖像重要部分得以凸顯。以鐵路鑄件的搖枕與側架dr圖像識別為例，可以局部增強側架上的細微紋裂的對比度，有利于識別出大尺寸零部件缺陷。主路和輔路均采用u-net架構，將輔路的每一層得到的特征圖與主路的每一層得到的特征圖混合編碼，作為主路的下一層的輸入特征圖，這樣，主路能夠專注于從輔助學習主要的特征圖，從而提高圖像的質量，比如提高低光圖像的顯示效果。這種架構處理超高清圖像時，能夠兼顧硬件耗用和處理時間，在圖像處理速度和得到圖像質量方面都有顯著提高，可以應用在處理大尺寸超高清圖像上。

69、2.本發(fā)明的圖像處理方法，采用注意力機制將輔路的每一層得到的特征圖與主路的每一層得到的特征圖混合編碼，作為主路的下一層的輸入特征圖，主路能夠專注于從輔路學習圖像的主要特征，并丟棄一些無關和不重要的信息，擴大了圖像處理方法的適用范圍。

70、3.本發(fā)明的圖像處理方法，輔路中采用殘差組卷積處理圖像，可以減少計算量和參數數量，同時通過增加組數來增強圖像的表示能力。主路中采用多尺度融合處理圖像，使得網絡即便面臨不同尺寸的圖像輸入，依然可以高效的進行推理，不至于丟失細節(jié)特征，更好的提取圖像的特征部分，增強特征的顯示效果。

71、4.本發(fā)明的存儲有圖像處理程序的計算機可讀介質、電子設備、圖像處理設備，在可以處理如dr圖像類的高動態(tài)范圍的待增強圖像，使其對比度、視覺效果和圖像信息熵同時得以增強的基礎上，還便于與自動化設備配合實現高動態(tài)范圍的待增強圖像的自動化增強處理，降低對使用人的經驗的要求。

72、5.本發(fā)明的圖像處理設備的構建方法，能夠便利圖像處理設備的設計驗證過程，降低獲取圖像處理設備所需的時間。