本發(fā)明涉及電子元器件測(cè)試，尤其涉及電子元器件破壞性物理分析x射線檢查技術(shù)的一種基于卷積神經(jīng)網(wǎng)絡(luò)的電子元器件x射線檢測(cè)方法。

背景技術(shù)：

1、電子元器件是各種電子系統(tǒng)組成的基本單元，電子元器件可靠性是保證電子系統(tǒng)可靠性的基礎(chǔ)所在。在電子元器件制造領(lǐng)域中，對(duì)電子元器件的質(zhì)量監(jiān)控是一項(xiàng)必不可少的流程。在電子系統(tǒng)對(duì)元器件質(zhì)量需求不斷提升的要求下，破壞性物理分析(dpa)技術(shù)是一種保證電子元器件質(zhì)量的重要方法，破壞性物理分析是在電子元器件的生產(chǎn)加工過(guò)程中用于對(duì)生產(chǎn)過(guò)程中的監(jiān)控，特別是關(guān)鍵工藝質(zhì)量分析與監(jiān)控，對(duì)提升元器件的可靠性水平具有其他試驗(yàn)和檢驗(yàn)手段無(wú)法替代的作用。其中x射線檢查是dpa中為了檢測(cè)密封管殼內(nèi)的缺陷，特別是管蓋到管殼密封工藝的缺陷和內(nèi)部缺陷，如多余物、錯(cuò)誤的內(nèi)引線連接、芯片粘結(jié)材料中或采用玻璃密封時(shí)玻璃中的空洞等缺陷，需使用x射線檢查待測(cè)器件在開(kāi)封前內(nèi)部有無(wú)可動(dòng)多余物和結(jié)構(gòu)缺陷，證實(shí)開(kāi)封或剖切待測(cè)器件過(guò)程中有無(wú)引入粒子或產(chǎn)生不應(yīng)有的結(jié)構(gòu)損傷，并確定空腔容積、腔體高度、開(kāi)封和剖面定位。傳統(tǒng)的x射線檢查方法效率低下，而且很容易受到檢測(cè)環(huán)境和檢測(cè)人員的主觀影響，導(dǎo)致準(zhǔn)確性和效率不高。因此，利用卷積神經(jīng)網(wǎng)絡(luò)的人工智能輔助方法可以對(duì)電子元器件的內(nèi)部結(jié)構(gòu)缺陷做出有效檢測(cè)，通過(guò)處理獲得的x成像，利用深度學(xué)習(xí)模型可快速準(zhǔn)確檢測(cè)出產(chǎn)品的缺陷，從而極大地提升檢測(cè)效率，進(jìn)一步保證元器件質(zhì)量可控。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)不足，提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的電子元器件x射線檢測(cè)方法，該方法考慮電子元器件在破壞性物理分析(dpa)試驗(yàn)中x射線檢查試驗(yàn)的人工判別合格程度難度較大的問(wèn)題，采用了人工智能的手段，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度目標(biāo)檢測(cè)模型，該模型采用坐標(biāo)注意力機(jī)制和特征金字塔網(wǎng)絡(luò)，以提升模型對(duì)電子元器件x射線成像的特征提取的尺度范圍，同時(shí)使用特征批量消除模塊以避免過(guò)擬合的出現(xiàn)，最后對(duì)損失函數(shù)進(jìn)行改進(jìn)，通過(guò)調(diào)整超參數(shù)保證正負(fù)樣本在訓(xùn)練過(guò)程中損失值的平衡，為電子元器件破壞性物理分析(dpa)試驗(yàn)的智能化識(shí)別提供了算法支撐。

2、本發(fā)明解決其技術(shù)問(wèn)題是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

3、一種基于卷積神經(jīng)網(wǎng)絡(luò)的電子元器件x射線檢測(cè)方法，檢測(cè)方法的步驟為：

4、步驟1)、對(duì)電子元器件的x射線圖像進(jìn)行預(yù)處理，得到清晰的檢測(cè)圖像，將檢測(cè)圖像轉(zhuǎn)換為向量格式，用于輸入至損失函數(shù)訓(xùn)練網(wǎng)絡(luò)模型；

5、步驟2)、構(gòu)建改進(jìn)的基于坐標(biāo)注意力的多尺度目標(biāo)檢測(cè)網(wǎng)絡(luò)模型并設(shè)計(jì)損失函數(shù)訓(xùn)練網(wǎng)絡(luò)模型；

6、2.1、構(gòu)建改進(jìn)的基于坐標(biāo)注意力的多尺度目標(biāo)檢測(cè)網(wǎng)絡(luò)模型；

7、2.2、改進(jìn)損失函數(shù)分類權(quán)重并訓(xùn)練模型，得到改進(jìn)的損失函數(shù)訓(xùn)練網(wǎng)絡(luò)模型；

8、步驟3)、測(cè)試所述改進(jìn)的損失函數(shù)訓(xùn)練網(wǎng)絡(luò)模型性能，并保存最佳網(wǎng)絡(luò)模型參數(shù)。

9、而且，所述步驟1)對(duì)電子元器件的x射線圖像進(jìn)行預(yù)處理，得到清晰的檢測(cè)圖像的具體過(guò)程為：

10、對(duì)電子元器件進(jìn)行x射線圖像采集，獲得檢測(cè)圖像；

11、對(duì)數(shù)據(jù)集中的檢測(cè)圖像的受損變形、鍵合絲斷裂、存在多余物三類缺陷標(biāo)記類別和位置；

12、對(duì)標(biāo)記后的檢測(cè)圖像進(jìn)行數(shù)據(jù)擴(kuò)充；

13、對(duì)擴(kuò)充后檢測(cè)圖像數(shù)據(jù)進(jìn)行降噪及清晰化處理，增強(qiáng)檢測(cè)圖像對(duì)比度，突出細(xì)節(jié)，最后將其轉(zhuǎn)換為rgb3通道的向量格式，用于輸入至損失函數(shù)訓(xùn)練網(wǎng)絡(luò)模型。

14、而且，所述步驟2.1中構(gòu)建改進(jìn)的基于坐標(biāo)注意力的多尺度目標(biāo)檢測(cè)網(wǎng)絡(luò)模型的具體過(guò)程為：

15、a、將faster-rcnn作為基本網(wǎng)絡(luò)，引入多個(gè)級(jí)聯(lián)rcnn結(jié)構(gòu)，實(shí)現(xiàn)目標(biāo)識(shí)別結(jié)果的不斷優(yōu)化；

16、b、采用resnet101殘差結(jié)構(gòu)作為特征提取網(wǎng)絡(luò)，將不同大小卷積核提取的缺陷特征信息進(jìn)行融合，實(shí)現(xiàn)多尺度特征提取，更適用于提取元器件的檢測(cè)圖像中不同形狀的細(xì)微缺陷特征，如圓形的氣泡、長(zhǎng)條形的多余物等，從而提高網(wǎng)絡(luò)結(jié)構(gòu)模型對(duì)目標(biāo)的識(shí)別效果；

17、c、將坐標(biāo)注意力機(jī)制融入到resnet101特征提取網(wǎng)絡(luò)中，實(shí)現(xiàn)同時(shí)提取位置和空間維度的特征，對(duì)每個(gè)語(yǔ)義組生成注意因子，實(shí)現(xiàn)自適應(yīng)校準(zhǔn)特征圖，增強(qiáng)模型的語(yǔ)義表示。

18、而且，步驟c中將坐標(biāo)注意力機(jī)制融入到resnet101特征提取網(wǎng)絡(luò)中的具體過(guò)程為：

19、檢測(cè)圖像為x，ca模塊先在全局池化層中分別生成具有水平和垂直坐標(biāo)信息的注意力特征圖，如公式(1)(2)所示；

20、

21、將生成的水平注意力特征圖fh和垂直注意力特征圖fv拼接(concatenation)，然后卷積并經(jīng)過(guò)激活函數(shù)后得到特征f，將f拆分(split)后得到兩個(gè)注意力特征向量和然后對(duì)zh和zv進(jìn)行變換激活，分別得到mh＝σ(fh(zh))和mv＝σ(fw(zv))，最后，將mh和mv分別于輸入特征x在相應(yīng)位置相乘，最終得到輸出的注意力特征y，如公式(3)所示

22、y＝x×mh×mv?(3)。

23、而且，所述步驟2.2的改進(jìn)損失函數(shù)分類權(quán)重并訓(xùn)練模型，得到改進(jìn)的損失函數(shù)訓(xùn)練網(wǎng)絡(luò)模型的具體過(guò)程為：

24、損失函數(shù)是用于評(píng)價(jià)模型預(yù)測(cè)值和真實(shí)值之間的差距的函數(shù)，由問(wèn)題分類損失函數(shù)和缺陷定位損失函數(shù)組成，如公式(4)所示。

25、

26、其中，lloss為模型總體損失函數(shù)，lloc為定位損失函數(shù)，lcls為分類損失函數(shù)；

27、在訓(xùn)練時(shí)改進(jìn)損失函數(shù)的計(jì)算方式，并設(shè)置超參數(shù)平衡正負(fù)樣本的權(quán)重，如公式(6)所示，

28、

29、式中α為超參數(shù)，以達(dá)到平衡不同樣本權(quán)重的目的，

30、目標(biāo)定位損失函數(shù)如公式(7)所示

31、

32、其中，t為實(shí)際目標(biāo)的坐標(biāo)值，為預(yù)測(cè)坐標(biāo)值。

33、而且，步驟3)中測(cè)試所述改進(jìn)損失函數(shù)訓(xùn)練網(wǎng)絡(luò)模型性能并保存最佳網(wǎng)絡(luò)模型參數(shù)的具體過(guò)程為：

34、3.1設(shè)置批訓(xùn)練數(shù)量batch為32，訓(xùn)練次數(shù)epoch為500輪，學(xué)習(xí)率為0.0001，權(quán)重衰減為0.00001，采用改進(jìn)的損失函數(shù)訓(xùn)練網(wǎng)絡(luò)模型；

35、3.2通過(guò)計(jì)算性能評(píng)價(jià)指標(biāo)驗(yàn)證測(cè)試所述改進(jìn)的損失函數(shù)訓(xùn)練網(wǎng)絡(luò)模型性能并保存最佳網(wǎng)絡(luò)模型參數(shù)的檢測(cè)能力，選取iou＝0.5的召回率，精確率、受損變形、鍵合絲斷裂、存在多余物三種類別的平均召回率、平均精確率評(píng)估模型檢測(cè)能力。

36、本發(fā)明的有益效果為：

37、1、本發(fā)明的基于卷積神經(jīng)網(wǎng)絡(luò)的電子元器件x射線檢測(cè)方法，針對(duì)x射線檢查中人工檢測(cè)效率低下，判別難度較大的問(wèn)題，提出了一種基于r-cnn(regio?n-basedconvolution?neural?networks)改進(jìn)的基于坐標(biāo)注意力的多尺度目標(biāo)檢測(cè)網(wǎng)絡(luò)cabfe-rcnn(coordinate?attention?rcnn?with?batch?feature?eras?ing)。cabfe-rcnn模型包含基于resnet101的ca坐標(biāo)注意力特征提取結(jié)構(gòu)，fp?n特征金字塔網(wǎng)絡(luò)及bfe特征批量消除網(wǎng)絡(luò)，采用坐標(biāo)注意力機(jī)制為網(wǎng)絡(luò)后續(xù)特征融合提供更豐富的特征信息；采用bfe特征批量消除網(wǎng)絡(luò)，通過(guò)隨機(jī)消除圖像提取特征圖區(qū)域解決過(guò)擬合問(wèn)題；采用改進(jìn)的損失函數(shù)以解決模型訓(xùn)練中正負(fù)樣本均衡性，提高模型的學(xué)習(xí)能力。