本發(fā)明屬于電腦視覺與圖片處理，尤其涉及一種基于深度學(xué)習(xí)的刺繡針法識別方法。

背景技術(shù)：

1、刺繡針法自動識別技術(shù)是刺繡工藝數(shù)字化與智能化的核心環(huán)節(jié)，其在文化遺產(chǎn)保護(hù)、智能刺繡設(shè)備控制、產(chǎn)品質(zhì)量檢測等領(lǐng)域具有重要應(yīng)用價值。傳統(tǒng)方法主要依賴手工特征提?。ㄈ缁叶裙采仃?、傅里葉變換等），通過紋理分析實(shí)現(xiàn)針法分類。然而，刺繡紋理具有復(fù)雜的立體結(jié)構(gòu)、微小細(xì)節(jié)及不規(guī)則針腳分布，基于手工特征提取的方法（如灰度共生矩陣glcm、傅里葉變換等）通過設(shè)計(jì)特定的紋理特征（如能量、慣性矩）來實(shí)現(xiàn)針法分類。這類方法雖然計(jì)算速度較快，但由于特征設(shè)計(jì)依賴人工經(jīng)驗(yàn)，難以全面捕捉刺繡紋理的細(xì)微差異，尤其在光照變化、針線顏色差異或繡制角度偏移時，識別準(zhǔn)確率顯著下降。

2、灰度共生矩陣(glcm)雖然在提取肌理特性中被廣泛使用，但其局限性是存在的。例如，haralick?等人（參考文獻(xiàn)：haralick，?r.?m.，?et?al.?"textural?features?forimage?classification."?ieee?transactions?on?systems，?man，?and?cybernetics?3.6(1973):?610-621.）在?1973?年首次提出了?glcm?的概念，用于提取圖片的紋理特征。然而，glcm?的計(jì)算復(fù)雜度較高，尤其是在處理高分辨率圖片時，計(jì)算耗時較長。此外，glcm?對噪聲較為敏感，噪聲會顯著影響其紋理特征的提取效果。glcm?提取的特征可能存在冗余，且對局部紋理變化的捕捉能力較弱，在處理復(fù)雜紋理時，glcm?可能無法充分描述其紋理特性，尤其是在紋理具有多尺度和多方向特征時。而在刺繡針法識別中，針腳方向多樣（如回針與滾針），單一角度參數(shù)難以覆蓋所有情況，導(dǎo)致特征表達(dá)能力受限，并且glcm基于灰度圖片計(jì)算，若刺繡線色與背景對比度低（如淺色線繡于白布），分割誤差會直接影響特征提取，這就導(dǎo)致在處理刺繡針法圖片時對數(shù)據(jù)集的建立有很高的要求以及低容錯，并且極可能導(dǎo)致誤差產(chǎn)生。

3、而傅里葉變換(furiertransformation，fft)旨在通過頻譜能量分布(低頻對應(yīng)平滑區(qū)域，高頻對應(yīng)細(xì)節(jié))，將圖片從空間域轉(zhuǎn)換為頻率域，提取全局紋理特征。盡管它能夠抑制高頻雜訊，通過低通濾波，適用于光線不均或稍有污損的圖片。然而，傅里葉變換將影像整體轉(zhuǎn)換為反映整體頻譜分布的頻域，因此，紋繡針法(如鎖鏈針法的鏈狀線跡、籽針的顆粒感等)的關(guān)鍵差異往往會在局部的針腳結(jié)構(gòu)中得到體現(xiàn)，而紋路的紋路則與紋路的紋路差異很大。fft難以定位這些局部特征，導(dǎo)致相似針法混淆。同時刺繡針法的圖片在繡制過程中常因繡制角度的變化（如斜針的45°方向）導(dǎo)致圖片旋轉(zhuǎn)。并且傅里葉變換的頻譜對旋轉(zhuǎn)非常敏感，即使稍微轉(zhuǎn)動，相位信息也會明顯改變。這需要額外的配準(zhǔn)步驟（如極坐標(biāo)變換）來恢復(fù)方向一致性，從而增加了計(jì)算負(fù)擔(dān)。與之相比，卷積神經(jīng)網(wǎng)絡(luò)能夠保持較高的堅(jiān)固性，這得益于卷積核的平移不變性。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足，提供一種基于深度學(xué)習(xí)的刺繡針法識別方法，包括以下步驟：

2、步驟1，確定針法并收集相關(guān)圖片，一般根據(jù)需要識別的針法確定針法，然后根據(jù)需要的針法在網(wǎng)上收集或是在書本資料中找到對應(yīng)的針法圖片；

3、步驟2，對圖片進(jìn)行預(yù)處理和標(biāo)注，得到刺繡數(shù)據(jù)集；

4、步驟3，將刺繡數(shù)據(jù)集劃分為訓(xùn)練集，驗(yàn)證集和測試集，并進(jìn)行配置撰寫；

5、步驟4，對yolo模型進(jìn)行改進(jìn)，得到改進(jìn)的yolo模型；

6、步驟5，使用訓(xùn)練集訓(xùn)練改進(jìn)的yolo模型；

7、步驟6，使用驗(yàn)證集對改進(jìn)的yolo模型進(jìn)行評估，如果不滿足條件，比如精確率（precision）、召回率（recall）或map值過低，比如低于0.3，則不滿足條件，調(diào)整模型結(jié)構(gòu)和模型訓(xùn)練參數(shù)，返回步驟5；如果滿足條件，將測試集輸入改進(jìn)的yolo模型，得到預(yù)測結(jié)果。

8、步驟2中，所述刺繡數(shù)據(jù)集中包含緞面繡、滾針繡、平針、搶針、套針、魚骨繡、打籽繡、法國結(jié)、回、亂針、繡鎖、長短針、直針的刺繡針法類別，每個針法類別中含有對應(yīng)的刺繡圖片。

9、步驟2中，所述預(yù)處理包括：對刺繡圖片采用旋轉(zhuǎn)鏡像方法進(jìn)行數(shù)據(jù)增強(qiáng)處理，并在刺繡圖片上疊加高斯雜訊：

10、，

11、其中、是加入高斯雜訊后的刺繡圖片，為原始刺繡圖片，表示均值為0，方差為的高斯雜訊。

12、步驟3中，所述配置撰寫包括：

13、進(jìn)行數(shù)據(jù)集的配置撰寫：配置訓(xùn)練集、驗(yàn)證集和測試集所在的位置，以及針法的類別標(biāo)簽mydata.yaml；比如類別0是打籽繡，2是直針；

14、建立模型結(jié)構(gòu)的配置文件，在所述配置文件中確定針法類別的總數(shù)，并定義模型的網(wǎng)絡(luò)結(jié)構(gòu)（比如在backbone模塊中圖片要經(jīng)過哪些模塊），模型名為model.yaml。

15、步驟4包括：yolo模型的網(wǎng)絡(luò)結(jié)構(gòu)包括主干網(wǎng)絡(luò)backbone、頸部網(wǎng)絡(luò)neck和檢測頭head。

16、步驟4中，所述主干網(wǎng)絡(luò)用于從輸入圖片中提取特征i，所述頸部網(wǎng)絡(luò)用于聚合和增強(qiáng)不同尺度的特征，所述檢測頭根據(jù)提取的特征進(jìn)行目標(biāo)的分類和定位。

17、步驟4中，在主干網(wǎng)絡(luò)backbone的最前端插入多尺度紋理預(yù)處理模塊，優(yōu)化輸入特征，所述多尺度紋理預(yù)處理模塊通過光照歸一化將刺繡圖片轉(zhuǎn)換到hsv（hue，?saturation，value，即色相、飽和度、明度）顏色空間進(jìn)行處理，處理完后再轉(zhuǎn)為紅綠藍(lán)rgb圖片，在hsv空間中，對亮度v通道進(jìn)行局部對比度標(biāo)準(zhǔn)化，使用滑動窗口計(jì)算局部均值和標(biāo)準(zhǔn)差，并動態(tài)調(diào)整α和β以保留反光區(qū)域細(xì)節(jié)：

18、，

19、其中，是刺繡圖片在位置（x，y）處的像素值，是以位置(x，y)為中心的局部窗口ω內(nèi)所有像素的均值，是以位置(x，y)?為中心的局部窗口ω內(nèi)像素值的標(biāo)準(zhǔn)差；是常數(shù)；是縮放系數(shù)，調(diào)整歸一化后特征的動態(tài)范圍，初始設(shè)為1；是偏移系數(shù)，控制歸一化后特征的整體亮度，初始設(shè)為0；

20、然后，多尺度紋理預(yù)處理模塊進(jìn)行非真實(shí)渲染（non-photorealistic?rendering，npr）操作，用多方向gabor（gabor?filter）?濾波器提取刺繡圖片中的紋理方向信息，并對邊緣、紋理進(jìn)行強(qiáng)化或弱化，公式為：

21、，

22、，

23、，

24、其中，是方向?yàn)榈膅abor濾波器；是平滑強(qiáng)度系數(shù)，通常取0.5~1.0；是邊緣增強(qiáng)系數(shù)，通常取0.5~1.0；t是自適應(yīng)邊緣閾值，一般取100~150；是逐位置乘法；；是對輸入圖像i中的位置（x，y）的方向應(yīng)用多方向gabor濾波器得到的響應(yīng)圖；表示對圖像中位置（x，y）的所有方向的gabor濾波器響應(yīng)的絕對值求和結(jié)果，表示所有參與計(jì)算的方向集合，表示最終經(jīng)過非真實(shí)感渲染（non-photorealistic?rendering）后得到的圖像。

25、步驟4還包括：將主干網(wǎng)絡(luò)backbone的淺層的?c2f?模塊替換為紋理感知跨階段部分模塊textureawarecsp，將經(jīng)過多尺度紋理預(yù)處理模塊和卷積操作得到的刺繡特征圖x通過雙分支并行處理優(yōu)化數(shù)據(jù)流：輸入的刺繡特征圖首先被拆分為高頻紋理分支和低頻語義分支，高頻紋理分支通過3×3卷積、hard-swish激活函數(shù)和多方向gabor濾波提取針腳邊緣細(xì)節(jié)，保留原始分辨率，最終得到刺繡的高頻特征圖h；低頻語義分支通過步長2的3×3卷積下采樣卷積壓縮分辨率，利用ghost卷積捕獲全局語義信息，最終輸出刺繡的低頻特征圖l；

26、高頻紋理分支表示為：

27、，

28、其中刺繡特征圖x尺寸為，c是通道數(shù)，h是特征圖的高度，w是特征圖的寬度；是的卷積，的輸出通道為c/2；是hard-swish激活函數(shù)，是多方向gabor卷積組；

29、低頻語義分支表示為：

30、，

31、其中s是步長，表示步長為2的下采樣卷積，是ghost卷積；

32、高頻紋理分支和低頻語義分支得到的刺繡特征經(jīng)上采樣對齊后拼接，通過通道注意力機(jī)制動態(tài)加權(quán)融合高頻紋理與低頻語義信息，最后輸出處理后的刺繡特征圖：

33、，

34、其中，將刺繡的低頻特征圖l雙線性插值上采樣至維度，concat表示連接，是通道注意力機(jī)制，計(jì)算公式為：

35、；

36、其中是逐通道相乘，gap是全局平均池化；f是輸入通道注意力機(jī)制的特征圖，在這里表示刺繡的高頻特征h和低頻特征l拼接后的特征圖；mlp（multi-layer?perceptron）是多層感知機(jī)；

37、在頸部網(wǎng)絡(luò)neck加入方向感知注意力orientationattention模塊，用于增強(qiáng)對刺繡針腳排列方向的敏感性；

38、所述方向感知注意力orientationattention模塊執(zhí)行如下操作：輸入的刺繡特征圖x首先通過?1×1卷積，輸出通道數(shù)k，將輸入刺繡特征映射到方向權(quán)重空間，生成多方向權(quán)重圖，經(jīng)softmax歸一化得到每個空間位置不同方向的注意力權(quán)重；

39、，

40、其中，x∈rc×h×w，r表示實(shí)數(shù)空間，是的卷積層；是得到的多方向注意力權(quán)重圖；

41、表示沿方向維度k歸一化，確保；表示在位置（x，y）處對第k個方向的關(guān)注強(qiáng)度；

42、對輸入的刺繡特征圖x進(jìn)行多方向卷積，生成方向敏感特征：

43、，

44、其中是第k個方向的特征圖，k=1，2，…，k；是第k個方向的可學(xué)習(xí)卷積核；?是標(biāo)準(zhǔn)卷積操作；

45、按方向權(quán)重融合多方向特征，增強(qiáng)主導(dǎo)方向響應(yīng)：

46、，

47、其中表示第k個方向的注意力權(quán)重，

48、最終通過殘差連接將增強(qiáng)后的方向特征與原始特征疊加：

49、，

50、其中，是可學(xué)習(xí)縮放系數(shù)；是最終輸出的刺繡的方向增強(qiáng)特征圖。

51、本發(fā)明還提供了一種電子設(shè)備，包括處理器和存儲器，所述存儲器存儲有程序代碼，當(dāng)所述程序代碼被所述處理器執(zhí)行時，使得所述處理器執(zhí)行所述的方法的步驟。

52、本發(fā)明還提供了一種存儲介質(zhì)，存儲有計(jì)算機(jī)程序或指令，當(dāng)所述計(jì)算機(jī)程序或指令在計(jì)算機(jī)上運(yùn)行時，執(zhí)行所述的方法的步驟。

53、本發(fā)明方法主要應(yīng)用于刺繡工藝數(shù)字化和智能紡織領(lǐng)域，尤其是在文化遺產(chǎn)保護(hù)和智能刺繡設(shè)備中的應(yīng)用尤為廣泛。該技術(shù)將高分辨率掃描儀或攝像機(jī)通過深度學(xué)習(xí)模型(如卷積神經(jīng)網(wǎng)絡(luò)?cnn?和注意力機(jī)制)獲取的刺繡圖片進(jìn)行端到端的特征提取和分類，可以對不同針法類別(如平針，搶針，打籽針等)進(jìn)行精準(zhǔn)識別。與傳統(tǒng)手工特征提取方法相比，深度學(xué)習(xí)方法能夠自動學(xué)習(xí)刺繡紋理的多層次特征，顯著提升識別準(zhǔn)確率和魯棒性，尤其是在復(fù)雜紋理、光照變化和繡制角度多樣性的情況下表現(xiàn)優(yōu)異。這對于刺繡工藝的數(shù)字化存檔、刺繡圖案的智能生成、刺繡產(chǎn)品質(zhì)量檢測以及傳統(tǒng)刺繡技藝的傳承與創(chuàng)新具有重要意義。

54、本技術(shù)可以運(yùn)用于以下領(lǐng)域：

55、文化遺產(chǎn)數(shù)字化保護(hù)：通過深度學(xué)習(xí)模型（如卷積神經(jīng)網(wǎng)絡(luò)）對刺繡文物進(jìn)行高精度針法識別，能夠?qū)崿F(xiàn)瀕危刺繡針法技藝的數(shù)字化存檔與復(fù)原，為博物館、研究機(jī)構(gòu)提供自動化分析工具，助力傳統(tǒng)工藝的非遺保護(hù)與傳承。

56、智能刺繡設(shè)備控制：在自動化刺繡設(shè)備中，基于深度學(xué)習(xí)的針法識別技術(shù)可實(shí)時解析識別設(shè)計(jì)圖案中的針法類型，從而自動生成機(jī)器繡制指令，顯著提升復(fù)雜圖案的繡制效率與繡制精度，降低人工編程成本。

57、紡織產(chǎn)品質(zhì)量檢測：利用深度學(xué)習(xí)模型對刺繡產(chǎn)品圖片進(jìn)行端到端分析，可快速檢測針法錯誤、線跡偏移等瑕疵，實(shí)現(xiàn)生產(chǎn)線的智能化質(zhì)檢，減少人工抽檢誤差，保障刺繡產(chǎn)品的高標(biāo)準(zhǔn)高精度輸出。

58、教育領(lǐng)域應(yīng)用：在刺繡技藝教學(xué)中，通過深度學(xué)習(xí)驅(qū)動的交互式系統(tǒng)，可實(shí)時分析刺繡學(xué)員（刺繡愛好者）繡品的針法執(zhí)行情況，提供可視化反饋與糾錯建議，提升教學(xué)效率與學(xué)習(xí)體驗(yàn)。

59、有益效果：對比傳統(tǒng)刺繡針法識別中常用的灰度共生矩陣(glcm)和傅里葉變換(fft)兩種方法，本發(fā)明方法在刺繡圖片中可以更精確地識別針法類別。傳統(tǒng)方法在處理復(fù)雜紋理、光照變化和繡制角度多樣性時，往往存在識別準(zhǔn)確率低、對噪聲敏感、特征冗余等問題。本發(fā)明方法可以通過深度學(xué)習(xí)模型自動學(xué)習(xí)刺繡紋理的多層次特性，在辨識度和堅(jiān)韌度方面有了顯著的提升。本方案的適用性更廣，能夠在復(fù)雜紋理、光照變化和繡制角度多樣性的情況下保持較高的識別準(zhǔn)確率和魯棒性，適用于多種刺繡針法（如平針、搶針、打籽針等），并且對不同顏色、背景和光照條件下的刺繡圖片都能準(zhǔn)確有效識別。