本發(fā)明涉及印刷電路板表面缺陷識(shí)別，具體涉及一種基于yolov8網(wǎng)絡(luò)與transformer結(jié)合的pcb缺陷分類方法。

背景技術(shù)：

1、作為電子設(shè)備的基礎(chǔ)平臺(tái)，pcb(印刷電路板)在現(xiàn)代電子產(chǎn)品中扮演著至關(guān)重要的角色，其質(zhì)量直接決定了電子產(chǎn)品的可靠性與性能。然而，在pcb的制造過程中，短路、開路及缺孔等多種缺陷可能出現(xiàn)，這些缺陷會(huì)顯著降低電氣性能，甚至導(dǎo)致整機(jī)失效。因此，為了確保產(chǎn)品質(zhì)量，及時(shí)檢測(cè)并修復(fù)pcb缺陷成為了關(guān)鍵。傳統(tǒng)上，自動(dòng)光學(xué)檢測(cè)(aoi)設(shè)備被廣泛應(yīng)用于pcb缺陷檢測(cè)領(lǐng)域，通過高速高精度的視覺處理技術(shù)，aoi能夠高效檢測(cè)出貼裝錯(cuò)誤與焊接缺陷，從而提升檢測(cè)效率并降低人工成本。然而，aoi設(shè)備價(jià)格高昂且對(duì)檢測(cè)環(huán)境要求較高，成為其局限性所在。

2、近年來，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的缺陷分類方法成為解決pcb缺陷識(shí)別問題的重要工具。深度學(xué)習(xí)方法通過卷積神經(jīng)網(wǎng)絡(luò)(cnn)對(duì)圖像進(jìn)行高效、準(zhǔn)確地分析，能夠識(shí)別出包括小目標(biāo)缺陷在內(nèi)的各種pcb缺陷。最初的目標(biāo)檢測(cè)模型如vgg和resnet通過引入更深的網(wǎng)絡(luò)結(jié)構(gòu)和殘差連接，解決了深層網(wǎng)絡(luò)中的梯度消失問題，進(jìn)一步提升了分類精度。隨后，inception系列模型通過多尺度卷積結(jié)構(gòu)增強(qiáng)了模型對(duì)多樣化特征的表達(dá)能力，適應(yīng)了pcb缺陷的多樣性需求。

3、隨著研究的深入，針對(duì)pcb缺陷分類的深度學(xué)習(xí)模型逐漸融合多種先進(jìn)技術(shù)，例如mobilenet和efficientnet，通過減少參數(shù)量和計(jì)算復(fù)雜度，提升了實(shí)時(shí)分類的能力。引入注意力機(jī)制se模塊或cbam模塊，有效聚焦于關(guān)鍵特征區(qū)域，增強(qiáng)了對(duì)微小缺陷的分類能力。以及利用預(yù)訓(xùn)練模型(如imagenet模型)進(jìn)行遷移學(xué)習(xí)，在小樣本場(chǎng)景下實(shí)現(xiàn)了良好分類效果。但以上方法都或多或少的存在模型尺寸大、識(shí)別準(zhǔn)確率低、檢測(cè)速度慢等缺點(diǎn)。

4、因此，在pcb缺陷分類方法的研究中，如何提高準(zhǔn)確率的同時(shí)優(yōu)化參數(shù)量和計(jì)算效率，已成為當(dāng)前技術(shù)發(fā)展的核心難點(diǎn)。這一背景為進(jìn)一步探索新型高效的pcb缺陷分類算法提供了重要的研究方向，為此，提出一種基于yolov8網(wǎng)絡(luò)與transformer結(jié)合的pcb缺陷分類方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題在于：如何讓缺陷分類模型能夠以更少的參數(shù)量以及更低的計(jì)算復(fù)雜度獲得更高的識(shí)別性能，同時(shí)能夠有效地檢測(cè)出各種類型的缺陷，提供了一種基于yolov8網(wǎng)絡(luò)與transformer結(jié)合的pcb缺陷分類方法。

2、本發(fā)明是通過以下技術(shù)方案解決上述技術(shù)問題的，本發(fā)明包括以下步驟：

3、s1：樣本預(yù)處理

4、對(duì)pcb缺陷樣本數(shù)據(jù)樣本進(jìn)行預(yù)處理；

5、s2：網(wǎng)絡(luò)構(gòu)建

6、將yolov8分類網(wǎng)絡(luò)與兩個(gè)transformer模塊結(jié)合，并對(duì)輸入通道進(jìn)行分配，得到初步的pcb缺陷分類網(wǎng)絡(luò)；

7、s3：網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

8、在初步的pcb缺陷分類網(wǎng)絡(luò)的基礎(chǔ)上，引入自適應(yīng)細(xì)粒度通道注意力機(jī)制模塊，并在transformer模塊中引入卷積門控線性單元，進(jìn)而得到最終的pcb缺陷分類網(wǎng)絡(luò)；

9、s4：模型訓(xùn)練

10、利用訓(xùn)練集對(duì)最終的pcb缺陷分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到滿足性能指標(biāo)的pcb缺陷分類模型；

11、s5：檢測(cè)結(jié)果輸出

12、在獨(dú)立測(cè)試集上利用pcb缺陷分類模型對(duì)pcb缺陷進(jìn)行檢測(cè)，得出pcb缺陷分類檢測(cè)結(jié)果。

13、更進(jìn)一步地，在所述步驟s1中，具體處理過程如下：

14、s11：對(duì)pcb原始數(shù)據(jù)集所有圖像中的缺陷進(jìn)行隨機(jī)裁剪，使其符合分類任務(wù)的數(shù)據(jù)要求；

15、s12：按照設(shè)定比例劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集，并將訓(xùn)練集中的圖像尺寸調(diào)整為設(shè)定尺寸。

16、更進(jìn)一步地，在所述步驟s11中，缺陷類別包括缺孔、鼠咬、開路、短路、毛刺與雜銅。

17、更進(jìn)一步地，在所述步驟s2中，在yolov8分類網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)cspdarknet-53中，在第四個(gè)cbs模塊和第五個(gè)cbs模塊之間引入第一個(gè)transformer模塊，在第五個(gè)cbs模塊與sppf層之間引入第二個(gè)transformer模塊。

18、更進(jìn)一步地，在第四個(gè)cbs模塊后，特征圖劃分為兩部分，分別進(jìn)入卷積分支與transformer分支，卷積分支與transformer分支的特征通道比例為3：1，一部分特征圖進(jìn)入transformer分支經(jīng)過第一個(gè)transformer模塊處理，利用多頭自注意力機(jī)制捕捉全局特征，另一部分特征圖進(jìn)入卷積分支經(jīng)過瓶頸層處理，進(jìn)行局部特征提??；

19、在第五個(gè)cbs模塊后，特征圖劃分為兩部分，分別進(jìn)入卷積分支與transformer分支，卷積分支與transformer分支的特征通道比例為1：1，一部分特征圖進(jìn)入transformer分支經(jīng)過第二個(gè)transformer模塊處理，利用多頭自注意力機(jī)制捕捉全局特征，另一部分特征圖進(jìn)入卷積分支經(jīng)過瓶頸層處理，進(jìn)行局部特征提取。

20、更進(jìn)一步地，在所述步驟s3中，在yolov8分類網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)cspdarknet-53中，在第二個(gè)c2f模塊后添加自適應(yīng)細(xì)粒度通道注意力機(jī)制模塊，其處理過程如下：

21、s301：輸入特征圖f∈rc×h×w，通過全局平均池化操作生成通道描述符u∈rc：

22、

23、其中，c、h和w分別表示特征圖的通道數(shù)、長度和寬度，fn(i,j)表示第n個(gè)通道特征圖在位置(i,j)的值，gap(x)表示全局平均池化函數(shù)；

24、s302：引入帶狀矩陣b進(jìn)行局部通道交互，通過鄰近通道的加權(quán)操作提取局部特征ulc：

25、

26、其中，鄰近通道的數(shù)量為k，bi為帶狀矩陣b中的各元素；

27、s303：通過采用對(duì)角矩陣d來捕獲所有通道之間的依賴關(guān)系，進(jìn)而獲取全局特征ugc：

28、

29、其中，c表示通道數(shù)量，di為對(duì)角矩陣d中的各元素；

30、s304：引入相關(guān)矩陣m表征通道間的關(guān)系：

31、

32、s305：計(jì)算融合后的全局通道權(quán)重和局部通道權(quán)重和

33、

34、s306：計(jì)算最終的權(quán)重w：

35、

36、其中，θ為可學(xué)習(xí)參數(shù)，σ表示sigmoid激活函數(shù)；

37、s307：最后得到的權(quán)重w與輸入特征圖f相乘，生成最終的輸出特征圖f*。

38、更進(jìn)一步地，在所述步驟s3中，卷積門控線性單元的具體處理過程如下：

39、s311：通過在傳統(tǒng)glu的門控分支中引入卷積核大小為3×3的深度可分離卷積；

40、s312：利用1×1的卷積核對(duì)深度卷積的輸出進(jìn)行通道間的線性組合，即逐點(diǎn)卷積操作。

41、本發(fā)明相比現(xiàn)有技術(shù)具有以下優(yōu)點(diǎn)：該基于yolov8網(wǎng)絡(luò)與transformer結(jié)合的pcb缺陷分類方法，建立了基于yolov8分類網(wǎng)絡(luò)和transformer的pcb缺陷分類模型，結(jié)合了兩者的優(yōu)勢(shì)；通過對(duì)輸入通道的合理分配來加強(qiáng)特征提取的能力以及提高計(jì)算效率，并通過添加自適應(yīng)細(xì)粒度通道注意力機(jī)制增強(qiáng)模型全局與局部信息融合的能力；利用卷積門控線性單元降低計(jì)算復(fù)雜度的同時(shí)增強(qiáng)transformer非線性特征表達(dá)的能力，顯著提升了模型的準(zhǔn)確率。