本發(fā)明涉及工業(yè)產(chǎn)品缺陷檢測，特別涉及一種工業(yè)產(chǎn)品缺陷檢測方法及系統(tǒng)。

背景技術(shù)：

1、工業(yè)帶鋼是一種具有高強(qiáng)度和耐腐蝕性能的鋼材，廣泛應(yīng)用于建筑結(jié)構(gòu)、汽車制造、船舶制造、軌道交通等眾多領(lǐng)域。工業(yè)帶鋼的質(zhì)量直接關(guān)系到這些領(lǐng)域產(chǎn)品的性能和安全，因此，確保工業(yè)帶鋼的質(zhì)量至關(guān)重要。工業(yè)帶鋼在生產(chǎn)過程中常常出現(xiàn)各種缺陷，如裂紋、麻點、斑塊、夾雜、壓入氧化皮和劃痕等。這些缺陷會導(dǎo)致產(chǎn)品的質(zhì)量下降，甚至可能引發(fā)生產(chǎn)事故。此外，檢測和分類這些缺陷通常需要大量的人力和時間，增加了生產(chǎn)成本和周期。

2、隨著工業(yè)自動化水平不斷提升，業(yè)內(nèi)通常使用工業(yè)產(chǎn)品表面缺陷檢測算法來對產(chǎn)過程中常常出現(xiàn)各種缺陷進(jìn)行檢測，然而，目前的工業(yè)檢測缺略算法主要依賴于基于圖像處理的方法。傳統(tǒng)的圖像處理方法如閾值分割法，邊緣檢測法和區(qū)域生長法等是利用圖像處理技術(shù)將圖像中的缺略部分與非缺陷部分進(jìn)行區(qū)分，將缺陷部分從圖像中講行分制，再對它進(jìn)行處理分析，雖然這些傳統(tǒng)方法在工業(yè)檢測中已經(jīng)取得了一定的應(yīng)用效果，但是，這些方法通常受限于特征的選擇、光照和噪聲等因素的影響，并且往往需要人工定義規(guī)則和特征，導(dǎo)致算法的魯棒性和泛化能力相對較低，而深度學(xué)習(xí)的出現(xiàn)，通過使用深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和端到端的學(xué)習(xí)方法，能夠自動學(xué)習(xí)特征，并且在工業(yè)檢測中取得了更好的性能和魯棒性。

3、目前，基于深度學(xué)習(xí)的工業(yè)產(chǎn)品表面缺略檢測主流算法大致分為單階段和雙階段兩大類，雙階段方法通過候選框生成器產(chǎn)生侯選區(qū)域，然后對候選區(qū)域進(jìn)行分類，代表算法有rcnn系列，單階段方法是使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行端到端的檢測，直接在圖像上生成多個邊界框，并進(jìn)行定位和分類，代表算法有yolo系列和ssd等。單階段相比于雙階段有著更快的檢測效率，更加適合應(yīng)用于工業(yè)缺陷檢測場景，所以已經(jīng)有許多研究人員對單階段算法進(jìn)行研究，如li等人提出了一種基于多尺度特征提取模塊的深度學(xué)習(xí)模型，雖然能夠有效增強(qiáng)特征提取能力，但由于參數(shù)量較大，不適合部署在算力較低的硬件設(shè)備上。yu等人為解決網(wǎng)絡(luò)特征未對齊問題，提出密集特征金字塔網(wǎng)絡(luò)(ad-fpn)細(xì)化尺度差異并執(zhí)行有效對齊，從而緩解基于fpn的方法中的特征未對齊的問題，但參數(shù)量大量增加限制了實際應(yīng)用。ma等人提出styolo模型，通過自適應(yīng)采樣和動態(tài)標(biāo)簽分配，更充分利用高質(zhì)量樣本來調(diào)整數(shù)據(jù)分布，優(yōu)化訓(xùn)練過程，但影響了檢測速率，xie等人提出針對高效和高精度難以兼得的問題的解決方案，首先，通過深度可分離卷陽和率集連接來簡化yolo模型，其次，改進(jìn)特征金字塔網(wǎng)絡(luò)以增強(qiáng)多尺度檢測目的位置相關(guān)性，然而，這些改進(jìn)引入了額外參數(shù)和計算量，對檢測速度造成一定影響，zhao等人設(shè)計了dfpn網(wǎng)絡(luò)來提高頸部檢測效果，通過雙特征金字塔結(jié)構(gòu)增強(qiáng)特征表示，實現(xiàn)豐富信息提取并充分利用低層次特征，然而，在處理密集缺略時容易出現(xiàn)漏檢問題，盡管以上方法在提升缺陷檢測精度方面取得了一定效果，但仍存在無法同時兼顧模型輕量化和高檢測精度的問題，在工業(yè)設(shè)備中的移動部署方面并不適用。

4、因此，如何提供一種新型的工業(yè)缺陷檢測技術(shù)，以提高工業(yè)帶鋼生產(chǎn)的自動化水平和產(chǎn)品質(zhì)量，實現(xiàn)無人值守智能化高質(zhì)量生產(chǎn)，是目前亟待解決的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例提供了一種工業(yè)產(chǎn)品缺陷檢測方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中的上述技術(shù)問題。

2、為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實施例的保護(hù)范圍。其唯一目的是用簡單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說明的序言。

3、根據(jù)本發(fā)明實施例的第一方面，提供了一種工業(yè)產(chǎn)品缺陷檢測方法。

4、在一個實施例中，所述工業(yè)產(chǎn)品缺陷檢測方法，包括：

5、實時采集待檢測工業(yè)產(chǎn)品的圖像數(shù)據(jù)；

6、對所述圖像數(shù)據(jù)進(jìn)行圖像預(yù)處理，并將圖像預(yù)處理后的圖像數(shù)據(jù)輸入至預(yù)先配置的缺陷目標(biāo)檢測模型；

7、利用所述缺陷目標(biāo)檢測模型對圖像預(yù)處理后的圖像數(shù)據(jù)進(jìn)行缺陷目標(biāo)檢測，輸出工業(yè)產(chǎn)品的缺陷檢測結(jié)果；

8、其中，所述缺陷目標(biāo)檢測模型為基于加速深度學(xué)習(xí)訓(xùn)練的yolo目標(biāo)檢測模型。

9、在一個實施例中，對所述圖像數(shù)據(jù)進(jìn)行圖像預(yù)處理包括：

10、基于opencv計算機(jī)視覺庫讀取攝像頭實時采集的彩色圖像數(shù)據(jù)；

11、將彩色圖像數(shù)據(jù)轉(zhuǎn)換為灰度圖像數(shù)據(jù)，并利用ostu算法對所述灰度圖像數(shù)據(jù)進(jìn)行二值化處理，將灰度圖像數(shù)據(jù)分割為前景圖像數(shù)據(jù)和背景圖像數(shù)據(jù)；

12、基于所述前景圖像數(shù)據(jù)和背景圖像數(shù)據(jù)，使用canny邊緣檢測算法提取缺陷邊緣信息；

13、對提取的缺陷邊緣信息進(jìn)行連通域分析，得到連通域輪廓，并將得到的連通域輪廓繪制在原圖上并標(biāo)注缺陷信息。

14、在一個實施例中，預(yù)先配置缺陷目標(biāo)檢測模型包括：

15、獲取歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集，并對所述歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理，得到缺陷樣本數(shù)據(jù)集；

16、將所述缺陷樣本數(shù)據(jù)集劃分為訓(xùn)練集、驗證集以及測試集；

17、基于訓(xùn)練集、驗證集以及測試集，利用自動混合精度算法對yolo目標(biāo)檢測模型進(jìn)行加速深度學(xué)習(xí)訓(xùn)練，得到缺陷目標(biāo)檢測模型。

18、在一個實施例中，對所述歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理，得到缺陷樣本數(shù)據(jù)集包括：

19、對所述歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗處理，并利用標(biāo)注工具對數(shù)據(jù)清洗處理后的歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集的每個缺陷區(qū)域的邊界框和類別標(biāo)簽進(jìn)行標(biāo)注和/或校正；

20、基于標(biāo)注和/或校正后的歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集，根據(jù)缺陷元素進(jìn)行篩選歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集，確保各個缺陷類別的歷史工業(yè)產(chǎn)品缺陷圖片樣本分布均衡；

21、對篩選出的歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理以及格式轉(zhuǎn)化處理，得到缺陷樣本數(shù)據(jù)集。

22、在一個實施例中，所述缺陷元素包括：缺陷類型、缺陷位置以及缺陷區(qū)域大??；所述數(shù)據(jù)增強(qiáng)處理包括數(shù)據(jù)旋轉(zhuǎn)處理、數(shù)據(jù)翻轉(zhuǎn)處理、數(shù)據(jù)縮放處理。

23、根據(jù)本發(fā)明實施例的第二方面，提供了一種工業(yè)產(chǎn)品缺陷檢測系統(tǒng)。

24、在一個實施例中，所述工業(yè)產(chǎn)品缺陷檢測系統(tǒng)，包括：

25、數(shù)據(jù)采集模塊，用于實時采集待檢測工業(yè)產(chǎn)品的圖像數(shù)據(jù)；

26、數(shù)據(jù)處理模塊，用于對所述圖像數(shù)據(jù)進(jìn)行圖像預(yù)處理，并將圖像預(yù)處理后的圖像數(shù)據(jù)輸入至預(yù)先配置的缺陷目標(biāo)檢測模型；

27、缺陷檢測模塊，用于利用所述缺陷目標(biāo)檢測模型對圖像預(yù)處理后的圖像數(shù)據(jù)進(jìn)行缺陷目標(biāo)檢測，輸出工業(yè)產(chǎn)品的缺陷檢測結(jié)果；

28、其中，所述缺陷目標(biāo)檢測模型為基于加速深度學(xué)習(xí)訓(xùn)練的yolo目標(biāo)檢測模型。

29、在一個實施例中，所述數(shù)據(jù)處理模塊在對所述圖像數(shù)據(jù)進(jìn)行圖像預(yù)處理時，基于opencv計算機(jī)視覺庫讀取攝像頭實時采集的彩色圖像數(shù)據(jù)；將彩色圖像數(shù)據(jù)轉(zhuǎn)換為灰度圖像數(shù)據(jù)，并利用ostu算法對所述灰度圖像數(shù)據(jù)進(jìn)行二值化處理，將灰度圖像數(shù)據(jù)分割為前景圖像數(shù)據(jù)和背景圖像數(shù)據(jù)；基于所述前景圖像數(shù)據(jù)和背景圖像數(shù)據(jù)，使用canny邊緣檢測算法提取缺陷邊緣信息；對提取的缺陷邊緣信息進(jìn)行連通域分析，得到連通域輪廓，并將得到的連通域輪廓繪制在原圖上并標(biāo)注缺陷信息。

30、在一個實施例中，所述工業(yè)產(chǎn)品缺陷檢測系統(tǒng)，還包括：模型配置模塊，用于預(yù)先配置缺陷目標(biāo)檢測模型，且所述模型配置模塊在于預(yù)先配置缺陷目標(biāo)檢測模型時，獲取歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集，并對所述歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理，得到缺陷樣本數(shù)據(jù)集；將所述缺陷樣本數(shù)據(jù)集劃分為訓(xùn)練集、驗證集以及測試集；基于訓(xùn)練集、驗證集以及測試集，利用自動混合精度算法對yolo目標(biāo)檢測模型進(jìn)行加速深度學(xué)習(xí)訓(xùn)練，得到缺陷目標(biāo)檢測模型。

31、在一個實施例中，所述模型配置模塊在對所述歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理，得到缺陷樣本數(shù)據(jù)集時，對所述歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗處理，并利用標(biāo)注工具對數(shù)據(jù)清洗處理后的歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集的每個缺陷區(qū)域的邊界框和類別標(biāo)簽進(jìn)行標(biāo)注和/或校正；基于標(biāo)注和/或校正后的歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集，根據(jù)缺陷元素進(jìn)行篩選歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集，確保各個缺陷類別的歷史工業(yè)產(chǎn)品缺陷圖片樣本分布均衡；對篩選出的歷史工業(yè)產(chǎn)品缺陷圖片數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)處理以及格式轉(zhuǎn)化處理，得到缺陷樣本數(shù)據(jù)集。

32、在一個實施例中，所述缺陷元素包括：缺陷類型、缺陷位置以及缺陷區(qū)域大?。凰鰯?shù)據(jù)增強(qiáng)處理包括數(shù)據(jù)旋轉(zhuǎn)處理、數(shù)據(jù)翻轉(zhuǎn)處理、數(shù)據(jù)縮放處理。

33、本發(fā)明實施例提供的技術(shù)方案可以包括以下有益效果：

34、本發(fā)明基于opencv2的圖像學(xué)處理算法與yolo深度學(xué)習(xí)目標(biāo)檢測算法，結(jié)合工業(yè)產(chǎn)品缺陷數(shù)據(jù)集，充分考慮生產(chǎn)環(huán)境中可能的高溫環(huán)境、檢測區(qū)域不完整、光線干擾等實際因素影響，設(shè)計圖像預(yù)處理流程，并使用高魯棒性的缺陷模型，提升了結(jié)果的準(zhǔn)確度，提高了工業(yè)帶鋼生產(chǎn)的自動化水平和產(chǎn)品質(zhì)量，為無人值守智能化高質(zhì)量生產(chǎn)奠定了基礎(chǔ)。

35、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。