本發(fā)明涉及圖像處理的，具體為一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)的金絲鍵合異常點(diǎn)自動識別系統(tǒng)和方法。

背景技術(shù)：

1、金絲鍵合工序是微組裝生產(chǎn)過程中的關(guān)鍵工序，對產(chǎn)品功能性能的實(shí)現(xiàn)至關(guān)重要。相控陣系統(tǒng)tr（收發(fā)）組件等復(fù)雜射頻mcm（多芯片模塊）中，通常包含數(shù)量眾多的裸芯片。為了實(shí)現(xiàn)信號傳輸，這些裸芯片之間以及裸芯片與微波pcb基板之間需要通過金絲互聯(lián)進(jìn)行信號連接。由于射頻mcm模塊內(nèi)部芯片數(shù)量多、互聯(lián)點(diǎn)復(fù)雜，金絲鍵合的質(zhì)量對于確保電信號的穩(wěn)定傳輸和模塊的整體性能至關(guān)重要。在批量生產(chǎn)中，為了提高生產(chǎn)效率，企業(yè)通常采用全自動金絲鍵合機(jī)執(zhí)行金絲鍵合工序。然而，在實(shí)際生產(chǎn)過程中，金絲鍵合工序頻繁出現(xiàn)金絲跳絲問題，導(dǎo)致部分鍵合盤未能完成金絲連接。這一問題會直接影響產(chǎn)品的電性能和一致性，甚至可能引發(fā)后續(xù)工序中的功能失效。

2、面對跳絲問題，中小企業(yè)往往依靠人工識別跳絲位置，再使用手動鍵合機(jī)補(bǔ)打金絲。然而，這種人工識別方式存在顯著局限性。在復(fù)雜射頻mcm模塊中，由于鍵合點(diǎn)數(shù)量多且分布密集，操作人員往往難以準(zhǔn)確識別所有跳絲位置，容易出現(xiàn)遺漏或誤判。此外，長時間盯視金絲鍵合點(diǎn)會導(dǎo)致眼睛疲勞、專注力下降，進(jìn)而影響識別準(zhǔn)確性和補(bǔ)打效率。由于跳絲檢測和修復(fù)效率低下，整個工序的滯留時間增加，生產(chǎn)效率隨之下降，最終影響微組裝產(chǎn)線的整體效能。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于解決上述背景技術(shù)中提到的生產(chǎn)效率低的問題，而提出一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)的金絲鍵合異常點(diǎn)自動識別系統(tǒng)和方法。

2、本發(fā)明實(shí)施的第一方面，提供了一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)的金絲鍵合異常點(diǎn)自動識別方法，所述方法包括：

3、步驟s101，獲取目標(biāo)產(chǎn)品的檢測圖像；

4、步驟s102，對所述檢測圖像進(jìn)行特征提取，得到多尺度的特征圖；

5、步驟s103，將所述多尺度的特征圖進(jìn)行跨尺度通道融合，得到融合后的特征圖；

6、步驟s104，根據(jù)融合后的特征圖進(jìn)行目標(biāo)檢測，得到金絲的檢測結(jié)果；所述檢測結(jié)果包括金絲位置信息；

7、步驟s105，根據(jù)所述檢測結(jié)果和預(yù)設(shè)的標(biāo)準(zhǔn)位置，進(jìn)行匹配，在所述檢測圖像上標(biāo)注金絲鍵合異常位置；

8、其中，所述步驟s102、步驟s103和步驟s104由預(yù)訓(xùn)練的金絲識別模型實(shí)現(xiàn)；所述金絲識別模型是一種基于rt-detr神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行改進(jìn)得到的模型。

9、優(yōu)選的，所述rt-detr神經(jīng)網(wǎng)絡(luò)架構(gòu)包括主干網(wǎng)絡(luò)、混合編碼器和解碼器；

10、所述金絲識別模型相較于原始的rt-detr模型，具體的改進(jìn)包括：

11、將預(yù)設(shè)的bottleneck_dysnake模塊嵌入在主干網(wǎng)絡(luò)的末端，得到改進(jìn)的特征提取網(wǎng)絡(luò)；所述bottleneck_dysnake模塊的計(jì)算過程包括：

12、首先通過一個1×1卷積層對輸入數(shù)據(jù)進(jìn)行特征提取，然后傳遞到動態(tài)蛇形卷積層進(jìn)行細(xì)長物體的針對性特征提取，接著通過一個1×1卷積層減少通道數(shù)量并整合信息得到目標(biāo)特征；

13、若啟用殘差連接，將原始輸入與所述目標(biāo)特征相加后輸出；否則直接輸出所述目標(biāo)特征。

14、優(yōu)選的，所述金絲識別模型相較于原始的rt-detr模型，具體的改進(jìn)還包括：

15、將預(yù)設(shè)的門控注意力上采樣模塊gmau應(yīng)用于混合編碼器的上采樣過程；所述gmau包括第一上采樣分支、第二上采樣分支和第一注意力計(jì)算分支；

16、所述gmau的計(jì)算過程包括：

17、所述第一注意力計(jì)算分支，首先對輸入的特征圖x1進(jìn)行全局平均池化，得到第一全局上下文信息；接著第一全局上下文信息通過一個卷積層和hardsigmoid激活函數(shù)轉(zhuǎn)化為通道注意力權(quán)重t1；

18、所述第一上采樣分支，采用轉(zhuǎn)置卷積提升特征圖x1的分辨率，得到特征圖u1；

19、所述第二上采樣分支，采用插值提升特征圖x1的分辨率，接著通過1×1卷積進(jìn)行特征映射，得到特征圖u2；

20、將特征圖u1和特征圖u2進(jìn)行拼接后，與所述通道注意力權(quán)重t1逐通道乘積，得到特征圖u3；最終通過一個1×1卷積層對所述特征圖u3進(jìn)行跨通道信息重整，輸出上采樣特征圖。

21、優(yōu)選的，所述金絲識別模型相較于原始的rt-detr模型，具體的改進(jìn)還包括：

22、將預(yù)設(shè)的門控注意力下采樣模塊gmad應(yīng)用于混合編碼器的下采樣過程；所述gmad包括第一下采樣分支、第二下采樣分支和第二注意力計(jì)算分支；

23、所述gmad的計(jì)算過程包括：

24、所述第二注意力計(jì)算分支，首先對輸入的特征圖x2進(jìn)行全局平均池化，得到第二全局上下文信息；接著第二全局上下文信息通過一個卷積層和hardsigmoid激活函數(shù)轉(zhuǎn)化為通道注意力權(quán)重t2；

25、所述第一下采樣分支，采用步長為2的3×3卷積對特征圖x2進(jìn)行特征降維和空間壓縮，得到特征圖d1；

26、所述第二下采樣分支，采用最大池化配合1×1卷積縮減特征圖x2的分辨率，得到特征圖d2；

27、將特征圖d1和特征圖d2進(jìn)行拼接后，與所述通道注意力權(quán)重t2逐通道乘積，得到特征圖d3；最終通過一個1×1卷積層對所述特征圖d3進(jìn)行跨通道信息重整，輸出下采樣特征圖。

28、優(yōu)選的，所述金絲識別模型相較于原始的rt-detr模型，具體的改進(jìn)還包括：

29、將一種預(yù)設(shè)的跨階段并行膨脹旋轉(zhuǎn)等變卷積模塊csp_rpdc應(yīng)用于混合編碼器的跨尺度融合過程，具體的，將混合編碼器中的repc3模塊替換為所述csp_rpdc；所述csp_rpdc包括并行膨脹卷積層和旋轉(zhuǎn)等變卷積層；

30、所述csp_rpdc的計(jì)算過程包括：

31、所述并行膨脹卷積層，采用不同膨脹率的卷積核對輸入的特征圖x3進(jìn)行并行處理，捕獲不同感受野的特征，并通過通道拼接和1×1卷積層進(jìn)行跨尺度特征交互，得到特征圖f1；

32、所述旋轉(zhuǎn)等變卷積層，通過對輸入的特征圖x3在多個方向上進(jìn)行卷積運(yùn)算，增強(qiáng)特征的表達(dá)能力，得到特征圖f2；

33、將特征圖f1和特征圖f2進(jìn)行拼接后，通過一個1×1卷積層進(jìn)行特征融合，輸出融合特征圖。

34、本發(fā)明實(shí)施的第二方面，提供了一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)的金絲鍵合異常點(diǎn)自動識別系統(tǒng)，所述系統(tǒng)包括：

35、圖像獲取模塊，用于獲取目標(biāo)產(chǎn)品的檢測圖像；

36、目標(biāo)檢測模塊，用于調(diào)用預(yù)訓(xùn)練的金絲識別模型，對所述檢測圖像進(jìn)行特征提取，得到多尺度的特征圖；將所述多尺度的特征圖進(jìn)行跨尺度通道融合，得到融合后的特征圖；根據(jù)融合后的特征圖，進(jìn)行目標(biāo)檢測，得到金絲的檢測結(jié)果；所述金絲識別模型是一種基于rt-detr神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行改進(jìn)得到的模型；所述檢測結(jié)果包括金絲位置信息；

37、缺陷標(biāo)注模塊，用于根據(jù)所述檢測結(jié)果和預(yù)設(shè)的標(biāo)準(zhǔn)位置，進(jìn)行匹配，在所述檢測圖像上標(biāo)注金絲鍵合異常位置。

38、優(yōu)選的，所述rt-detr神經(jīng)網(wǎng)絡(luò)架構(gòu)包括主干網(wǎng)絡(luò)、混合編碼器和解碼器；

39、所述金絲識別模型相較于原始的rt-detr模型，具體的改進(jìn)包括：

40、將預(yù)設(shè)的動態(tài)蛇形瓶頸模塊bottleneck_dysnake嵌入在主干網(wǎng)絡(luò)的末端，得到改進(jìn)的特征提取網(wǎng)絡(luò)；所述bottleneck_dysnake的計(jì)算過程包括：

41、首先通過一個1×1卷積層對輸入數(shù)據(jù)進(jìn)行特征提取，然后傳遞到動態(tài)蛇形卷積層進(jìn)行細(xì)長物體的針對性特征提取，接著通過一個1×1卷積層減少通道數(shù)量并整合信息得到目標(biāo)特征；

42、若啟用殘差連接，將原始輸入與所述目標(biāo)特征相加后輸出；否則直接輸出所述目標(biāo)特征。

43、優(yōu)選的，所述金絲識別模型相較于原始的rt-detr模型，具體的改進(jìn)還包括：

44、根據(jù)門控機(jī)制和注意力機(jī)制構(gòu)建門控注意力上采樣模塊gmau，并將其應(yīng)用于混合編碼器的上采樣過程；所述gmau包括第一上采樣分支、第二上采樣分支和第一注意力計(jì)算分支；

45、所述門控注意力上采樣模塊的計(jì)算過程包括：

46、所述第一注意力計(jì)算分支，首先對輸入的特征圖x1進(jìn)行全局平均池化，得到第一全局上下文信息；接著第一全局上下文信息通過一個卷積層和hardsigmoid激活函數(shù)轉(zhuǎn)化為通道注意力權(quán)重t1；

47、所述第一上采樣分支，采用轉(zhuǎn)置卷積提升特征圖x1的分辨率，得到特征圖u1；

48、所述第二上采樣分支，采用插值提升特征圖x1的分辨率，接著通過1×1卷積進(jìn)行特征映射，得到特征圖u2；

49、將特征圖u1和特征圖u2進(jìn)行拼接后，與所述通道注意力權(quán)重t1逐通道乘積，得到特征圖u3；最終通過一個1×1卷積層對所述特征圖u3進(jìn)行跨通道信息重整，輸出上采樣特征圖。

50、優(yōu)選的，所述金絲識別模型相較于原始的rt-detr模型，具體的改進(jìn)還包括：

51、根據(jù)門控機(jī)制和注意力機(jī)制構(gòu)建門控注意力下采樣模塊gmad，并將其應(yīng)用于混合編碼器的下采樣過程；所述gmad包括第一下采樣分支、第二下采樣分支和第二注意力計(jì)算分支；

52、所述gmad的計(jì)算過程包括：

53、所述第二注意力計(jì)算分支，首先對輸入的特征圖x2進(jìn)行全局平均池化，得到第二全局上下文信息；接著第二全局上下文信息通過一個卷積層和hardsigmoid激活函數(shù)轉(zhuǎn)化為通道注意力權(quán)重t2；

54、所述第一下采樣分支，采用步長為2的3×3卷積對特征圖x2進(jìn)行特征降維和空間壓縮，得到特征圖d1；

55、所述第二下采樣分支，采用最大池化配合1×1卷積縮減特征圖x2的分辨率，得到特征圖d2；

56、將特征圖d1和特征圖d2進(jìn)行拼接后，與所述通道注意力權(quán)重t2逐通道乘積，得到特征圖d3；最終通過一個1×1卷積層對所述特征圖d3進(jìn)行跨通道信息重整，輸出下采樣特征圖。

57、優(yōu)選的，所述金絲識別模型相較于原始的rt-detr模型，具體的改進(jìn)還包括：

58、根據(jù)膨脹卷積和旋轉(zhuǎn)等變卷積，構(gòu)建跨階段并行膨脹旋轉(zhuǎn)等變卷積模塊csp_rpdc，并將混合編碼器中的repc3模塊替換為所述csp_rpdc；所述csp_rpdc包括并行膨脹卷積層和旋轉(zhuǎn)等變卷積層；

59、所述csp_rpdc的計(jì)算過程包括：

60、所述并行膨脹卷積層，采用不同膨脹率的卷積核對輸入的特征圖x3進(jìn)行并行處理，捕獲不同感受野的特征，并通過通道拼接和1×1卷積層進(jìn)行跨尺度特征交互，得到特征圖f1；

61、所述旋轉(zhuǎn)等變卷積層，通過對輸入的特征圖x3在多個方向上進(jìn)行卷積運(yùn)算，增強(qiáng)特征的表達(dá)能力，得到特征圖f2；

62、將特征圖f1和特征圖f2進(jìn)行拼接后，通過一個1×1卷積層進(jìn)行特征融合，輸出融合特征圖。

63、本發(fā)明的有益效果：

64、本發(fā)明提出了一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)的金絲鍵合異常點(diǎn)自動識別方法，該方法包括：獲取目標(biāo)產(chǎn)品的檢測圖像；調(diào)用預(yù)訓(xùn)練的金絲識別模型，對檢測圖像進(jìn)行特征提取，得到多尺度的特征圖；將多尺度的特征圖進(jìn)行跨尺度通道融合，得到融合后的特征圖；根據(jù)融合后的特征圖，進(jìn)行目標(biāo)檢測，得到金絲的檢測結(jié)果；金絲識別模型是一種基于rt-detr神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行改進(jìn)得到的模型；檢測結(jié)果包括金絲位置信息；根據(jù)檢測結(jié)果和預(yù)設(shè)的標(biāo)準(zhǔn)位置，進(jìn)行匹配，在檢測圖像上標(biāo)注金絲鍵合異常位置。

65、通過改進(jìn)的rt-detr模型對產(chǎn)品圖像進(jìn)行處理，實(shí)現(xiàn)自動化的金絲識別和缺陷標(biāo)注，從而使得操作人員可以根據(jù)缺陷標(biāo)注快速定位，并指導(dǎo)完成補(bǔ)打金絲操作，減少了缺陷識別、修復(fù)的時間，提高了生產(chǎn)效率。