本發(fā)明涉及高反光物體表面缺陷檢測(cè)，特別是涉及一種基于語(yǔ)義標(biāo)簽引導(dǎo)和多源圖像融合的高反光物體表面缺陷檢測(cè)方法。

背景技術(shù)：

1、高反光物體的表面在生產(chǎn)和加工過(guò)程中，往往會(huì)受到環(huán)境和工藝的影響，可能出現(xiàn)一些細(xì)微的缺陷，例如劃痕、污漬、顆粒物、凹坑等。而傳統(tǒng)人工檢測(cè)效率低且容易受到主觀因素的干擾，隨著新一代人工智能技術(shù)的發(fā)展，以深度學(xué)習(xí)為代表的檢測(cè)技術(shù)被廣泛應(yīng)用于高反光物體表面的缺陷檢測(cè)任務(wù)中，如鏡面、玻璃、不銹鋼、電子屏幕等高反光物體表面的質(zhì)量檢測(cè)中。

2、由于物體表面具有高反光的特點(diǎn)，當(dāng)前的檢測(cè)方案是通過(guò)lcd屏幕向高反光物體表面投射一系列光柵圖像，利用相機(jī)采集表面反射的光柵圖像，再對(duì)采集的圖像進(jìn)行分析，檢測(cè)潛在的缺陷。按照投射圖像種類(lèi)的不同，檢測(cè)方法可以分成兩類(lèi)，一類(lèi)是“條紋檢測(cè)法”，通過(guò)向高反光物體表面投射一系列黑白條紋光圖像，利用條紋光對(duì)表面缺陷的“放大”，檢測(cè)潛在的缺陷，結(jié)合過(guò)采樣的方法來(lái)保證檢測(cè)精度；另一類(lèi)是“相位檢測(cè)法”，向待測(cè)物表面投射一組結(jié)構(gòu)光圖像，通過(guò)投射的結(jié)構(gòu)光圖像恢復(fù)出表面的相位信息，最后對(duì)相位圖像進(jìn)行檢測(cè)。這兩種方法均存在一些不足，條紋檢測(cè)法對(duì)硬件的要求較高，相機(jī)、屏幕的幀率都需要在200hz以上才能滿(mǎn)足產(chǎn)線的生產(chǎn)節(jié)拍要求，且單個(gè)點(diǎn)位需要檢測(cè)幾十張圖像，數(shù)據(jù)傳輸壓力較大；相位檢測(cè)法本質(zhì)是對(duì)待測(cè)物表面曲率的變化情況進(jìn)行檢測(cè)，對(duì)于一些形變類(lèi)缺陷，如表面微小的凹坑、包含物，由于曲率變化相對(duì)平緩，缺陷在相位圖中往往不夠顯著，檢測(cè)效果相對(duì)較差。

3、相位檢測(cè)法可以分為兩步：第一步是向高反光物體表面投射結(jié)構(gòu)光，并用相機(jī)采集表面反射的結(jié)構(gòu)光得到結(jié)構(gòu)光反射圖像；第二步是利用采集到的結(jié)構(gòu)光反射圖像恢復(fù)待測(cè)物表面的相位信息，將相位信息轉(zhuǎn)化為“相位圖像”，再對(duì)相位圖像進(jìn)行檢測(cè)。在第一步中，投射的結(jié)構(gòu)光包括帶正弦信息的條紋光(以下稱(chēng)為“正弦條紋光”)，待測(cè)物表面經(jīng)正弦條紋光反射得到的圖像(以下稱(chēng)為“正弦條紋反射圖像”)對(duì)形變類(lèi)缺陷具有較高的敏感性，并包含大量與形變類(lèi)缺陷相關(guān)的特征信息，這一特性恰好能夠彌補(bǔ)相位檢測(cè)法的不足。從這個(gè)角度出發(fā)，本發(fā)明提出了一種基于語(yǔ)義標(biāo)簽引導(dǎo)和多源圖像融合的高反光物體表面缺陷檢測(cè)方法。利用圖像融合模塊，將相位圖像和正弦條紋反射圖像進(jìn)行融合。同時(shí)設(shè)計(jì)了一種語(yǔ)義融合標(biāo)簽，用于在圖像融合過(guò)程中，引導(dǎo)相位圖像融入正弦條紋反射圖像中更多的形變類(lèi)缺陷的特征，融合后的圖像同時(shí)具備二者的優(yōu)點(diǎn)。與現(xiàn)有方法比，本發(fā)明所述方法對(duì)硬件的要求較小，同時(shí)能大大減少圖像處理的數(shù)量，另外克服了相位檢測(cè)在形變類(lèi)缺陷檢測(cè)中效果不佳的問(wèn)題，能夠提高檢測(cè)精度。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明目的是為了解決條紋檢測(cè)法和相位檢測(cè)法在高反光物體檢測(cè)任務(wù)中表現(xiàn)效果不佳的問(wèn)題，提出了一種基于語(yǔ)義標(biāo)簽引導(dǎo)和多源圖像融合的高反光物體表面缺陷檢測(cè)方法。該方法使得待測(cè)物表面的缺陷在相位圖像中更加突出，且不需要增加硬件成本，有利于提高檢測(cè)速度以及高反光物體表面缺陷檢測(cè)，特別是形變類(lèi)缺陷檢測(cè)的準(zhǔn)確率。

2、本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明提出一種基于語(yǔ)義標(biāo)簽引導(dǎo)和多源圖像融合的高反光物體表面缺陷檢測(cè)方法，所述方法包括以下步驟：

3、s1：對(duì)采集的結(jié)構(gòu)光圖像進(jìn)行預(yù)處理，生成待測(cè)物體表面的相位圖φ(x，y)；

4、s2：將相位圖φ和n張正弦條紋反射圖sn分別送入特征編碼模塊encoder，經(jīng)特征融合后得到融合特征ff；

5、s3：將融合后的特征ff送入解碼模塊decoder，得到融合后的圖像if；

6、s4：構(gòu)建語(yǔ)義融合標(biāo)簽，提高融合后圖像在形變類(lèi)缺陷上的特征表現(xiàn)能力；

7、s5：利用構(gòu)建的語(yǔ)義融合標(biāo)簽，計(jì)算圖像融合的損失函數(shù)，更新訓(xùn)練圖像融合模型；

8、s6：推理階段，利用訓(xùn)練好的圖像融合模型，輸入相位圖和正弦條紋反射圖得到融合圖像，將融合圖像送入下游檢測(cè)器得到高反光物體表面的缺陷檢測(cè)結(jié)果。

9、進(jìn)一步地，所述采集的結(jié)構(gòu)光圖像包括兩部分，一部分是投射的正弦條紋結(jié)構(gòu)光經(jīng)待測(cè)物體表面反射被相機(jī)采集得到的圖像，稱(chēng)為正弦條紋反射圖像，用sn表示，另一部分是投射的格雷碼結(jié)構(gòu)光經(jīng)待測(cè)物體表面反射被相機(jī)采集得到的圖像，稱(chēng)為格雷碼反射圖像，用gn表示。

10、進(jìn)一步地，所述步驟s1具體步驟為：

11、s101：首先對(duì)正弦條紋反射圖像利用最小二乘法計(jì)算待測(cè)物體表面的包裹相位：

12、

13、式中，代表包裹相位圖中像素點(diǎn)(x，y)的包裹相位，sn(x，y)代表正弦條紋反射圖像中像素點(diǎn)(x，y)的光強(qiáng)度，等于該點(diǎn)的灰度級(jí)，n代表第n張正弦條紋反射圖像，n代表正弦條紋反射圖像的總數(shù)；δφn代表所投射正弦結(jié)構(gòu)光的相位值；

14、s102：對(duì)采集的格雷碼反射圖像進(jìn)行二值化，得到二值化后的格雷碼反射圖像bi(x，y)，二值化的公式為：

15、

16、式中g(shù)i代表采集的第i張格雷碼反射圖像，thi代表第i張閾值圖像，計(jì)算公式為：

17、

18、式中wi和bi為經(jīng)驗(yàn)系數(shù)，用于適應(yīng)外界光照條件，offset為一常量；

19、s103：根據(jù)二值化后的格雷碼反射圖像bi，獲得條紋級(jí)數(shù)k：

20、

21、式中i表示第i張二值化后的格雷碼反射圖像，m代表格雷碼反射圖像的總數(shù)量，代表異或運(yùn)算；

22、s104：將包裹相位與條紋級(jí)數(shù)k(x，y)相加，得到待測(cè)物體表面最終的相位圖φ(x，y)；

23、

24、進(jìn)一步地，所述步驟s2具體步驟為：

25、s201：所述特征編碼模塊由一個(gè)可變形卷積模塊和兩個(gè)梯度殘差密集塊串聯(lián)構(gòu)成；

26、s202：可變形卷積模塊包括一個(gè)核大小為3×3的卷積層、一個(gè)批量歸一化層以及一個(gè)leaky?relu激活函數(shù)；梯度殘差模塊外層為殘差結(jié)構(gòu)，主流利用密集連接的思想連接兩個(gè)可變形卷積模塊，殘差流采用sobel算子從特征圖中提取梯度信息，在逐元素添加前，分別采用兩個(gè)1×1普通卷積層應(yīng)用于每個(gè)流，以此保持維度一致；

27、s203：原始圖像分別通過(guò)特征編碼得到編碼特征fφ和將編碼特征fφ和沿通道方向進(jìn)行拼接，得到相位圖和正弦條紋反射圖的融合特征ff。

28、進(jìn)一步地，在步驟s3中，所述解碼模塊包括四個(gè)3*3可變形卷積塊，均采用leakyrelu模塊作為激活函數(shù)，依次串行連接，最后通過(guò)一個(gè)1*1卷積和一個(gè)tanh激活函數(shù)，將圖像調(diào)整到和原始輸入相同的通道數(shù)，得到最終的融合圖像if。

29、進(jìn)一步地，所述步驟s4的具體步驟為：

30、s401：為每個(gè)正弦條紋反射圖像生成掩膜mn(x，y)；首先根據(jù)標(biāo)注信息從n幅正弦條紋反射圖像中提取含有形變類(lèi)缺陷的區(qū)域，記為dn(x，y)；然后，dn(x，y)沿其中心線被分成j個(gè)相等的部分；這些部分按順序分為兩組相等的塊，從而產(chǎn)生j/2種不同的分組方式；第n個(gè)正弦條紋反射圖像的第j(j＝1，2，…，j/2)組中的兩個(gè)圖像塊被定義為和

31、對(duì)于第n個(gè)正弦條紋反射圖像，使用以下公式計(jì)算度量ρn

32、

33、式中，·表示取絕對(duì)值；對(duì)于每個(gè)形變類(lèi)缺陷，選擇具有最大ρn值的正弦條紋反射圖像，然后將相應(yīng)掩模mn(x，y)中形變類(lèi)缺陷邊界框內(nèi)的區(qū)域設(shè)置為1；

34、s402：根據(jù)掩膜圖像mn(x，y)，定義如下融合標(biāo)簽：

35、

36、式中φ(x，y)代表相位圖像，sn(x，y)代表正弦條紋反射圖像，n代表正弦條紋反射圖像的總數(shù)，代表對(duì)應(yīng)元素乘積。

37、進(jìn)一步地，在步驟s5中，指導(dǎo)融合網(wǎng)絡(luò)訓(xùn)練的聯(lián)合損失函數(shù)定義如下：

38、

39、式中，代表語(yǔ)義損失，代表內(nèi)容損失，λ1用于平衡兩部分損失。

40、進(jìn)一步地，所述步驟s5具體步驟為：

41、s501：語(yǔ)義損失用融合圖像if和融合標(biāo)簽il之間的結(jié)構(gòu)相似性指數(shù)ssim衡量，定義如下：

42、ssim(if，il)＝[l(if，il)]α·[c(if，il)]β·[s(if，il)]γ

43、其中l(wèi)(if，il)、c(if，il)、s(if，il)分別為亮度、對(duì)比度、結(jié)構(gòu)比較函數(shù)；參數(shù)α、β、γ用于調(diào)整每個(gè)比較函數(shù)的重要性；三個(gè)比較函數(shù)的定義如下：

44、

45、

46、

47、其中和和是融合圖像與融合標(biāo)簽的平均強(qiáng)度和標(biāo)準(zhǔn)偏差，表示兩個(gè)圖像對(duì)應(yīng)區(qū)域之間的協(xié)方差，c1、c2和c3是常數(shù)；

48、s502：內(nèi)容損失包括強(qiáng)度損失和紋理?yè)p失兩部分，定義如下：

49、

50、式中λ2用于平衡紋理?yè)p失和強(qiáng)度損失，強(qiáng)度損失和紋理?yè)p失定義為：

51、

52、

53、其中h和w代表圖像的高度和寬度，max(·)表示元素的最大值，表示用于測(cè)量紋理信息的sobel梯度算子，|·|代表取元素絕對(duì)值操作，||·||1代表計(jì)算內(nèi)部向量或矩陣的一階范數(shù)。

54、本發(fā)明還提出一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)所述一種基于語(yǔ)義標(biāo)簽引導(dǎo)和多源圖像融合的高反光物體表面缺陷檢測(cè)方法的步驟。

55、本發(fā)明還提出一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述一種基于語(yǔ)義標(biāo)簽引導(dǎo)和多源圖像融合的高反光物體表面缺陷檢測(cè)方法的步驟。

56、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

57、現(xiàn)有的高反光物體表面缺陷檢測(cè)方法主要包括“條紋檢測(cè)法”和“相位檢測(cè)法”，前者對(duì)硬件成本要求較高，后者對(duì)于微小形變類(lèi)缺陷的檢測(cè)效果較差。本發(fā)明提出了一種基于語(yǔ)義標(biāo)簽引導(dǎo)和多源圖像融合的高反光物體表面缺陷檢測(cè)方法。利用圖像融合模塊，將相位圖像和正弦條紋反射圖像進(jìn)行融合。同時(shí)設(shè)計(jì)了一種語(yǔ)義融合標(biāo)簽，用于在圖像融合過(guò)程中，引導(dǎo)相位圖像融入投射正弦條紋反射圖像中更多的形變類(lèi)缺陷的特征，融合后的圖像同時(shí)具備二者的優(yōu)點(diǎn)。與現(xiàn)有方法比，本發(fā)明所述方法對(duì)硬件的要求較小，同時(shí)能大大減少圖像處理的數(shù)量，另外克服了相位檢測(cè)在形變類(lèi)缺陷檢測(cè)中效果不佳的問(wèn)題。

58、綜合以上優(yōu)點(diǎn)，本發(fā)明為高反光物體表面缺陷檢測(cè)任務(wù)提供了一種新的檢測(cè)方案，有助于提升高反光物體表面缺陷檢測(cè)的準(zhǔn)確率，在不提升硬件成本的同時(shí)提升檢測(cè)速度。本發(fā)明可以遷移用在各類(lèi)高亮高反光物體表面檢測(cè)任務(wù)上，包括但不限于鏡面、玻璃、金屬表面、汽車(chē)漆面、汽車(chē)內(nèi)飾等。