本發(fā)明涉及人工智能交互，尤其涉及一種基于數(shù)據(jù)融合的激光粉末床熔融缺陷監(jiān)測方法及系統(tǒng)。

背景技術(shù)：

1、激光粉末床熔融是增材制造技術(shù)的一種，它將金屬粉末以傾斜或滾動的方式精確地鋪到基板上，然后使用脈沖激光有選擇地一層一層地熔化這種粉末，直到產(chǎn)品滿足規(guī)定的要求。在制造過程中，由于周期性激光加熱產(chǎn)生的熱應(yīng)力積累，零件表面容易出現(xiàn)超高缺陷。超高缺陷是指零件因翹曲或向上卷曲而超出粉末層，導(dǎo)致鋪粉時粉末無法完全覆蓋這些超出的部分。然而，這些暴露在粉末外的金屬部分可能會與鋪粉條發(fā)生碰撞，在嚴(yán)重情況下甚至?xí)c鋪粉車相撞。同時，這些暴露部分在下一個激光掃描周期中會被重新熔化和固化，從而引發(fā)更嚴(yán)重的結(jié)構(gòu)變形。隨著打印的逐層進(jìn)行，超高的積累可能會加劇變形和力學(xué)性能退化等質(zhì)量問題，最終會導(dǎo)致生產(chǎn)故障、機(jī)器停機(jī)、材料浪費(fèi)和生產(chǎn)風(fēng)險(xiǎn)增加。

2、隨著智能制造的快速發(fā)展，深度學(xué)習(xí)算法已被用于激光粉末床熔融過程監(jiān)測，利用光學(xué)、聲學(xué)等傳感器和信號來檢測零件缺陷。工業(yè)相機(jī)在超高監(jiān)測中普遍使用，它可以捕捉整個建筑平臺，重點(diǎn)關(guān)注粉末床和部分表面異常，包括超高缺陷。研究人員還探索了其他傳感器技術(shù)，如加速度計(jì)和低相干干涉測量技術(shù)。目前，對超高監(jiān)測的研究仍局限于單信號監(jiān)測，主要依賴相機(jī)系統(tǒng)進(jìn)行直觀觀察。而相機(jī)自上而下識別超高高度條件的能力有限，限制了對超高嚴(yán)重程度的精確監(jiān)測和增強(qiáng)控制的研究，因此現(xiàn)有方法難以滿足在超高高度條件下的檢測精度要求。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問題，本發(fā)明的目的是提供一種基于數(shù)據(jù)融合的激光粉末床熔融缺陷監(jiān)測方法及系統(tǒng)，能夠通過圖像與聲信號之間的跨模態(tài)融合，提高激光粉末床熔融過程的智能化超高監(jiān)測的精度。

2、本發(fā)明所采用的第一技術(shù)方案是：一種基于數(shù)據(jù)融合的激光粉末床熔融缺陷監(jiān)測方法，包括以下步驟：

3、獲取激光粉末融合圖像與激光粉末融合聲信號并進(jìn)行數(shù)據(jù)預(yù)處理，得到預(yù)處理后的激光粉末融合圖像與預(yù)處理后的激光粉末融合聲信號；

4、基于交叉注意力融合機(jī)制，構(gòu)建雙支路跨模態(tài)融合模型；

5、基于雙支路跨模態(tài)融合模型對預(yù)處理后的激光粉末融合圖像與預(yù)處理后的激光粉末融合聲信號進(jìn)行激光粉末床熔融缺陷監(jiān)測，得到激光粉末床熔融缺陷監(jiān)測結(jié)果。

6、進(jìn)一步，所述獲取激光粉末融合圖像與激光粉末融合聲信號并進(jìn)行數(shù)據(jù)預(yù)處理，得到預(yù)處理后的激光粉末融合圖像與預(yù)處理后的激光粉末融合聲信號這一步驟，其具體包括：

7、獲取激光粉末融合圖像與激光粉末融合聲信號，所述激光粉末融合圖像包括第一類激光粉末融合圖像與第二類激光粉末融合圖像，所述激光粉末融合聲信號包括第一類激光粉末融合聲信號與第二類激光粉末融合聲信號；

8、對激光粉末融合圖像與激光粉末融合聲信號分別進(jìn)行信號分窗與對齊處理，得到分窗對齊后的激光粉末融合圖像與分窗對齊后的激光粉末融合聲信號；

9、對分窗對齊后的激光粉末融合聲信號進(jìn)行降噪和二維時頻圖轉(zhuǎn)換處理，得到激光粉末融合聲信號的二維時頻圖；

10、對分窗對齊后的激光粉末融合圖像與激光粉末融合聲信號的二維時頻圖進(jìn)行灰度圖轉(zhuǎn)換與尺寸標(biāo)準(zhǔn)化處理，得到預(yù)處理后的激光粉末融合圖像與預(yù)處理后的激光粉末融合聲信號。

11、進(jìn)一步，所述雙支路跨模態(tài)融合模型包括第一分支特征提取模塊、第二分支特征提取模塊、基于殘差的線性融合模塊與全連接層，所述第一分支特征提取模塊的輸出端與所述基于殘差的線性融合模塊的第一輸入端連接，所述第二分支特征提取模塊的輸出端與所述基于殘差的線性融合模塊的第二輸入端連接，所述基于殘差的線性融合模塊的輸出端與所述全連接層的輸入端連接，其中：

12、所述第一分支特征提取模塊包括第一特征提取器、第二特征提取器與第一交叉注意力網(wǎng)絡(luò)模塊；

13、所述第二分支特征提取模塊包括第三特征提取器、第四特征提取器與第二交叉注意力網(wǎng)絡(luò)模塊。

14、進(jìn)一步，所述基于雙支路跨模態(tài)融合模型對預(yù)處理后的激光粉末融合圖像與預(yù)處理后的激光粉末融合聲信號進(jìn)行激光粉末床熔融缺陷監(jiān)測，得到激光粉末床熔融缺陷監(jiān)測結(jié)果這一步驟，其具體包括：

15、將預(yù)處理后的激光粉末融合圖像與預(yù)處理后的激光粉末融合聲信號分別輸入至雙支路跨模態(tài)融合模型；

16、基于雙支路跨模態(tài)融合模型的第一分支特征提取模塊，對預(yù)處理后的激光粉末融合圖像進(jìn)行特征提取處理，得到激光粉末融合圖像特征；

17、基于雙支路跨模態(tài)融合模型的第二分支特征提取模塊，對預(yù)處理后的激光粉末融合聲信號進(jìn)行特征提取處理，得到激光粉末融合聲信號特征；

18、基于雙支路跨模態(tài)融合模型的基于殘差的線性融合模塊，對激光粉末融合圖像特征與激光粉末融合聲信號特征進(jìn)行特征線性融合處理，得到激光粉末融合特征；

19、基于雙支路跨模態(tài)融合模型的全連接層，對激光粉末融合特征進(jìn)行映射與分類處理，得到激光粉末床熔融缺陷監(jiān)測結(jié)果。

20、進(jìn)一步，所述基于雙支路跨模態(tài)融合模型的第一分支特征提取模塊，對預(yù)處理后的激光粉末融合圖像進(jìn)行特征提取處理，得到激光粉末融合圖像特征這一步驟，其具體包括：

21、將預(yù)處理后的激光粉末融合圖像輸入至雙支路跨模態(tài)融合模型的第一分支特征提取模塊；

22、基于第一分支特征提取模塊的第一特征提取器，對第一類激光粉末融合圖像進(jìn)行特征提取處理，得到第一類激光粉末融合圖像特征；

23、基于第一分支特征提取模塊的第二特征提取器，對第二類激光粉末融合圖像進(jìn)行特征提取處理，得到第二類激光粉末融合圖像特征；

24、基于第一分支特征提取模塊的第一交叉注意力網(wǎng)絡(luò)模塊，對第一類激光粉末融合圖像特征與第二類激光粉末融合圖像特征進(jìn)行交叉注意力融合處理，得到激光粉末融合圖像特征。

25、進(jìn)一步，所述基于雙支路跨模態(tài)融合模型的第二分支特征提取模塊，對預(yù)處理后的激光粉末融合聲信號進(jìn)行特征提取處理，得到激光粉末融合聲信號特征這一步驟，其具體包括：

26、將預(yù)處理后的激光粉末融合聲信號輸入至雙支路跨模態(tài)融合模型的第二分支特征提取模塊；

27、基于第二分支特征提取模塊的第三特征提取器，對第一類激光粉末融合聲信號進(jìn)行特征提取處理，得到第一類激光粉末融合聲信號特征；

28、基于第二分支特征提取模塊的第四特征提取器，對第一類激光粉末融合聲信號進(jìn)行特征提取處理，得到第二類激光粉末融合聲信號特征；

29、基于第二分支特征提取模塊的第二交叉注意力網(wǎng)絡(luò)模塊，對第一類激光粉末融合聲信號特征與第二類激光粉末融合聲信號特征進(jìn)行交叉注意力融合處理，得到激光粉末融合聲信號特征。

30、進(jìn)一步，所述雙支路跨模態(tài)融合模型的損失函數(shù)為：

31、

32、上式中，loss表示雙支路跨模態(tài)融合模型的損失函數(shù)，yi表示基本真值標(biāo)簽的概率分布，yl為第i類的概率，為第i類的模型預(yù)測概率，α表示學(xué)習(xí)率，n表示預(yù)測樣本數(shù)量。

33、本發(fā)明所采用的第二技術(shù)方案是：一種基于數(shù)據(jù)融合的激光粉末床熔融缺陷監(jiān)測系統(tǒng)，包括：

34、第一模塊，用于獲取激光粉末融合圖像與激光粉末融合聲信號并進(jìn)行數(shù)據(jù)預(yù)處理，得到預(yù)處理后的激光粉末融合圖像與預(yù)處理后的激光粉末融合聲信號；

35、第二模塊，用于基于交叉注意力融合機(jī)制，構(gòu)建雙支路跨模態(tài)融合模型；

36、第三模塊，用于基于雙支路跨模態(tài)融合模型對預(yù)處理后的激光粉末融合圖像與預(yù)處理后的激光粉末融合聲信號進(jìn)行激光粉末床熔融缺陷監(jiān)測，得到激光粉末床熔融缺陷監(jiān)測結(jié)果。

37、本發(fā)明方法及系統(tǒng)的有益效果是：本發(fā)明通過獲取激光粉末融合圖像與激光粉末融合聲信號并進(jìn)行數(shù)據(jù)預(yù)處理，能夠精確提取與零件超高缺陷緊密相關(guān)的圖像及聲學(xué)特征并進(jìn)行結(jié)合，進(jìn)而基于交叉注意力融合機(jī)制，構(gòu)建雙支路跨模態(tài)融合模型，進(jìn)而基于雙支路跨模態(tài)融合模型對預(yù)處理后的激光粉末融合圖像與預(yù)處理后的激光粉末融合聲信號進(jìn)行激光粉末床熔融缺陷監(jiān)測，解決了傳統(tǒng)監(jiān)測方法的分類局限性，能夠通過圖像與聲信號之間的跨模態(tài)融合，提高激光粉末床熔融過程的智能化超高監(jiān)測的精度。