本發(fā)明屬于計算機視覺，具體地，涉及一種基于mamba模型的pcb板缺陷檢測方法。

背景技術(shù)：

1、人工智能旨在創(chuàng)建能夠執(zhí)行通常需要人類智能的任務的機器或軟件，涵蓋學習、推理、問題解決、語言理解和創(chuàng)造等多方面，主要研究方向包括機器學習、深度學習、自然語言處理等。其中計算機視覺作為使機器能夠理解并解釋圖像的關(guān)鍵技術(shù)，涉及圖像識別、物體檢測、場景分割、視頻分析等任務。隨著硬件技術(shù)的進步及市場需求的增長，計算機視覺已在工業(yè)檢測、自動駕駛、醫(yī)學影像診斷等多個領(lǐng)域得到廣泛應用。

2、計算機視覺技術(shù)從早期的三維特征識別方法，發(fā)展到目前以深度學習為核心的算法。從最初的lenet網(wǎng)絡，到unet網(wǎng)絡、resnet網(wǎng)絡，卷積神經(jīng)網(wǎng)絡(cnn)在計算機視覺領(lǐng)域發(fā)揮了重要作用。近年來，transformer模型及其視覺衍生模型vision?transformer，通過自注意力機制處理序列數(shù)據(jù)和圖像塊序列，取代了傳統(tǒng)的cnn，展現(xiàn)出卓越的性能。

3、mamba模型作為一種新的序列模型，基于transformer架構(gòu)，引入狀態(tài)空間模型ssm，并簡化模型結(jié)構(gòu)，有效解決了transformer在處理超長序列和顯存消耗方面的不足。其在計算機視覺方面的應用模型vision?mamba，通過將輸入圖像分割成扁平化的二維圖像塊(patch)，并將其投影成向量(token)后輸入編碼器，以序列方式處理圖像，在編碼器中使用雙向ssm模型簡化視覺表示。該模型在分類任務上表現(xiàn)出色，并且當處理高分辨率圖像時，在gpu內(nèi)存和推理時間上具有高效率和高準確度。

4、在工業(yè)領(lǐng)域，傳統(tǒng)的缺陷檢測方法依賴于人工視覺檢查，這種方法效率低下且準確性有限。相關(guān)模型可通過自動化檢測，顯著提高檢測效率和準確性，降低人為錯誤。此外，模型能通過持續(xù)學習不斷優(yōu)化性能，適應生產(chǎn)過程中可能出現(xiàn)的新類型缺陷或變化的生產(chǎn)條件。

5、vision?mamba模型中，需要將圖像轉(zhuǎn)換為由patch構(gòu)成的token序列，通過mamba模型對token的時序處理，從而使得模型能夠捕捉token序列的時序關(guān)聯(lián)，以提高模型對pcb圖像細節(jié)的上下文關(guān)系理解。但由于缺陷檢測需實現(xiàn)特征尺度不變性，即在pcb圖像尺度發(fā)生改變時，缺陷點的特征描述和檢測仍能保持穩(wěn)定一致。此外還需突出缺陷點的特征特異性，提高模型對缺陷點的敏感度。因此需要mamba模型增加多尺度特征融合的策略以及特征特異性訓練，使得模型能夠捕捉不同尺度大小的特征。

技術(shù)實現(xiàn)思路

1、針對上述問題，本發(fā)明提出了一種基于mamba模型pcb板缺陷檢測方法(mamba-based?pcb?defect?detection)，該方法能夠自適應地處理不同尺寸和比例的圖像特征，實現(xiàn)免對齊、免配準缺陷檢測方法，提高檢測缺陷的準確率，解決工業(yè)器件的缺陷檢測問題。

2、本發(fā)明通過以下技術(shù)方案實現(xiàn)：

3、一種基于mamba模型的pcb板缺陷檢測方法：

4、所述方法具體包括以下步驟：

5、步驟1、對現(xiàn)有的pcb圖像數(shù)據(jù)及劃痕數(shù)據(jù)集進行預處理，在工業(yè)器件上隨機生成數(shù)量、大小、種類不等的劃痕，以模擬實際工業(yè)生產(chǎn)中可能出現(xiàn)的劃痕類型，并將數(shù)據(jù)集內(nèi)的圖像轉(zhuǎn)換為灰度圖；

6、步驟2、進行多尺度鄰域特征融合，通過特征提取、特征映射和線性投影，得到token序列t0，以實現(xiàn)在不同鄰域范圍內(nèi)，對像素點進行特征表示；

7、步驟3、通過由多層vim?block構(gòu)成的編碼器vision?mamba?encoder對步驟2得到的token序列t0進行編碼，以時序的方式對像素點鄰域變化趨勢進行特征提取，得到輸出token序列tl，作為像素點特征；

8、步驟4、將步驟3的token序列tl轉(zhuǎn)換為圖像，通過雙線性插值及卷積操作，得到去除劃痕后的輸出圖像imgout；

9、步驟5、構(gòu)造正負樣本訓練模型，采用三元組訓練的方式；突出缺陷點的特征特異性；

10、步驟6、將原始輸入圖像imgin與模型輸出圖像imgout計算像素級差異，得到缺陷檢測結(jié)果imgscratch。

11、進一步地，在步驟1中，

12、首先對pcb板圖像imgp進行統(tǒng)一尺寸調(diào)整；對于pcb板圖像imgs，根據(jù)隨機生成尺寸進行縮放，并執(zhí)行旋轉(zhuǎn)、平移和填充；

13、隨后，根據(jù)公式1，將劃痕在pcb板圖像imgs中的位置映射到調(diào)整后的pcb板圖像imgp中，作為感興趣區(qū)域(roi)，記為roi；

14、roi＝imgp[ystart:yend,xstart:xend]????(1)

15、其中ystart、yend分別表示roi在imgs中的起始和結(jié)束行坐標，xstart、xend分別表示roi在imgs中的起始和結(jié)束列坐標；

16、在將劃痕圖像imgs轉(zhuǎn)為灰度圖并二值化后，生成掩模mask和反向掩模maskinv；其中反向掩模maskinv通過mask按位取反得到；利用這兩個掩模，分別對roi和imgs根據(jù)公式2、3進行按位與操作，得到背景部分imgbg和前景部分imgfg；

17、imgbg＝roi∧maskinv????(2)

18、imgfg＝imgp∧mask????(3)

19、將背景部分imgbg和前景部imgfg相加，得到最終的合成圖像dst；最后根據(jù)公式4將dst替換到imgp的相應位置，并轉(zhuǎn)為灰度圖像，以滿足后續(xù)模型訓練需求；

20、imgp[0:rows,0:cols]＝dst????(4)

21、其中rows、cols分別為dst的行數(shù)和列數(shù)。

22、進一步地，在步驟2中，包括：

23、步驟2.1，特征提?。狠斎雸D像經(jīng)過多級卷積、下采樣的操作，以實現(xiàn)特征的多層次提??；圖像通過以上操作后，被下采樣成四級不同尺度的特征圖，記為f1、f2、f3、f4；其中，f1為最低層特征圖，強調(diào)小尺度下pcb板的局部細節(jié)特征；而f4為最高層特征圖，包含大尺度下pcb板圖像的全局上下文信息；

24、步驟2.2，特征映射：對于不同尺度的四級特征圖f1、f2、f3、f4，通過卷積和上采樣操作，將四級特征圖映射到相同的空間維度，并通過非線性激活函數(shù)，得到f1′、f2′、f3′、f4′；

25、步驟2.3，線性投影：將f′1、f′2、f′3、f′4分別通過可學習的投影矩陣w進行投影，并組成token序列t0，并添加尺度嵌入esize，以實現(xiàn)跨尺度特征的融合，如公式5所示：

26、t0＝[f′1w；f′2w；f′3w；f′4w]+esize????(5)。

27、

28、進一步地，在步驟3中，

29、對于第l層vim?block(其中l(wèi)∈[0,l-1])，首先接受前一層的token序列tl-1通過歸一化層進行標準化；

30、t′l-1＝norm(tl-1)????(6)

31、接著將標準化后的序列t′l-1線性映射到主分支向量x和門控分支向量z，以實現(xiàn)信息過濾和對長期依賴關(guān)系的捕捉；

32、x＝linearx(t′l-1)????(7)

33、z＝linearz(t′l-1)????(8)

34、從前向和后向兩個方向處理主分支向量x；對于每個方向，首先對x進行一維卷積并激活得到主分支編碼向量x′0

35、x′0＝silu(conv1d0(x))????(9)

36、將x′0分別線性投影成輸入影響矩陣b0、狀態(tài)影響矩陣c0、步長δ0，其中使用預設參數(shù)和log函數(shù)確保δ0為正，

37、

38、再通過步長δ0分別將a0、b0離散化，轉(zhuǎn)換為離散矩陣

39、

40、將離散矩陣與狀態(tài)影響矩陣c0、x′0作為狀態(tài)空間模型(ssm)的輸入，得到輸出向量y0；

41、

42、分別從前向和反向進行以上操作，得到前向輸出向量yforward、反向輸出向量ybackward，再分別與通過激活函數(shù)后的門控分支向量z做哈達瑪積，得到前向編碼向量y′forward和反向編碼向量y′backward，從而允許模型選擇性記憶信息，以更好處理序列的長期依賴關(guān)系；

43、y′forward＝y(tǒng)forward⊙silu(z)????(16)

44、y′backward＝y(tǒng)backward⊙silu(z)????(17)

45、將y′forward和y′backward相加并進行線性變換后，再與token序列tl-1殘差連接相加，得到當前層的token序列tl；

46、tl＝lineart(y′forward+y′backward)+tl-1????(18)

47、將當前層的token序列tl輸入至下一層vim?block，重復以上步驟，得到最終的輸出toke序列tl。

48、進一步地，在步驟4中，

49、首先獲取步驟3得到的token序列tl和對應的維度信息，將形狀為(b,n,c)的tl重塑成形狀為(b,c,h,w)的特征圖feature，其中b為批次大小，n為序列長度，c為特征維度，h為圖像高度，w為圖像寬度；

50、之后使用雙線性插值方法對特征圖feature進行上采樣，以匹配目標圖像尺寸；最后經(jīng)過卷積細化圖像細節(jié)并調(diào)整圖像通道數(shù)，得到最后的輸出圖像imgout。

51、進一步地，在步驟5中，

52、將包含缺陷點的圖像區(qū)域作為正樣本，將不包含缺陷點的圖像區(qū)域作為負樣本；將一個錨點樣本、一個正樣本和一個負樣本構(gòu)成一個三元組，其中錨點是包含缺陷的圖像，正樣本是同樣保安缺陷的圖像，負樣本是不包含缺陷的圖像；

53、通過三元組訓練，確保錨點與正樣本之間的距離小于錨點與負樣本之間的距離，從而強化模型對缺陷點特征的特異性識別。

54、進一步地，在步驟6中，

55、將原始輸入圖像imgin與模型輸出圖像imgout根據(jù)公式19計算像素級差異，得到缺陷檢測結(jié)果imgscratch；

56、imgscratch(x,y)＝|imgin(x,y)-imgout(x,y)|????(19)

57、其中，x、y分別表示圖像中的像素點橫縱坐標。

58、一種基于mamba模型的pcb板缺陷檢測系統(tǒng)：

59、所述檢測系統(tǒng)包括預處理模塊、多尺度鄰域特征融合模塊、像素特征編碼模塊、圖像修復與生成模塊和模型訓練及輸出模塊：

60、所述預處理模塊對現(xiàn)有的pcb圖像數(shù)據(jù)及劃痕數(shù)據(jù)集進行預處理，在工業(yè)器件上隨機生成數(shù)量、大小、種類不等的劃痕，以模擬實際工業(yè)生產(chǎn)中可能出現(xiàn)的劃痕類型，并將數(shù)據(jù)集內(nèi)的圖像轉(zhuǎn)換為灰度圖；

61、所述多尺度鄰域特征融合模塊通過特征提取、特征映射和線性投影，得到token序列t0，以實現(xiàn)在不同鄰域范圍內(nèi)，對像素點進行特征表示；

62、所述像素特征編碼模塊通過由多層vim?block構(gòu)成的編碼器vision?mambaencoder對多尺度鄰域特征融合模塊得到的token序列t0進行編碼，以時序的方式對像素點鄰域變化趨勢進行特征提取，得到輸出token序列tl，作為像素點特征；

63、所述圖像修復與生成模塊將像素特征編碼模塊的token序列tl轉(zhuǎn)換為圖像，通過雙線性插值及卷積操作，得到去除劃痕后的輸出圖像imgout；

64、所述模型訓練及輸出模塊構(gòu)造正負樣本訓練模型，采用三元組訓練的方式；突出缺陷點的特征特異性；將原始輸入圖像imgin與模型輸出圖像imgout計算像素級差異，得到缺陷檢測結(jié)果imgscratch。

65、一種電子設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述方法的步驟。

66、一種計算機可讀存儲介質(zhì)，用于存儲計算機指令，所述計算機指令被處理器執(zhí)行時實現(xiàn)上述方法的步驟。

67、本發(fā)明有益效果

68、(1)本發(fā)明所采用的mamba模型，將圖像轉(zhuǎn)換為由patch構(gòu)成的token序列，以時序的方式對token序列進行處理，從而使得模型能夠捕捉token序列的時序關(guān)聯(lián)，以提高模型對pcb圖像細節(jié)的上下文關(guān)系理解。

69、(2)本發(fā)明所采用的多尺度鄰域特征融合模塊，將輸入pcb圖像經(jīng)過多級特征提取操作后，生成包含從低層到高層的四多尺度信息，表示從小到大的尺度變化過程中，pcb板的局部細節(jié)特征和全局上下文信息。從而使得模型能在不同鄰域范圍內(nèi)，對像素點進行特征表示，實現(xiàn)缺陷點特征尺度不變性。

70、(3)本發(fā)明采用的正負樣本、三元組訓練策略，通過構(gòu)建包含缺陷的錨點樣本、同樣包含缺陷的正樣本和無缺陷的負樣本的三元組，確保模型在特征空間中拉近錨點與正樣本的距離，同時推遠錨點與負樣本的距離。該策略不僅增強了模型對缺陷點特征的特異性識別，提高了缺陷檢測的準確性，而且優(yōu)化了特征空間，增強了模型的魯棒性。