本發(fā)明涉及害蟲圖像識別，具體來說是一種基于多核注意力網(wǎng)絡(luò)的密集微小害蟲圖像檢測方法。

背景技術(shù)：

1、在現(xiàn)代農(nóng)業(yè)中，蚜蟲等害蟲對農(nóng)作物危害嚴重，其通過吸食植物汁液、傳播病毒及分泌蜜露等方式，致使農(nóng)作物葉片發(fā)黃甚至整株死亡，嚴重影響農(nóng)作物的產(chǎn)量與質(zhì)量。卷積神經(jīng)網(wǎng)絡(luò)的興起推動了目標檢測技術(shù)的進步，產(chǎn)生了兩階段和一階段檢測方法，但在農(nóng)業(yè)害蟲檢測應用中仍面臨諸多挑戰(zhàn)。

2、尤其在密集微小圖像識別方面，現(xiàn)有的方法更是存在諸多弊端。首先，從圖像自身特性來看，農(nóng)業(yè)害蟲這類密集微小圖像分辨率通常較低，像素點少使得關(guān)鍵細節(jié)大量丟失，例如蚜蟲的肢體紋理、形態(tài)特征等難以清晰呈現(xiàn)，這就導致模型難以獲取足夠有效的特征用于準確識別。同時，在田間拍攝的圖像中，害蟲的尺度變化范圍大，且由于密集分布，不同害蟲之間比例失調(diào)，模型既要處理極小尺度的個體，又要兼顧大尺度目標，這對特征捕捉能力提出了極高要求，稍有不慎就會顧此失彼。此外，害蟲在植株上密集排列，相互遮擋情況頻繁發(fā)生，被遮擋部分的信息無法被模型獲取，進一步增加了識別難度?，F(xiàn)有的一些經(jīng)典深度學習模型的感受野難以適配農(nóng)業(yè)害蟲這類密集微小圖像。感受野過小，無法捕捉到足夠的上下文信息，導致對微小害蟲個體識別不準；感受野過大，則會引入過多無關(guān)背景信息，干擾模型判斷。此外，為了有效提取密集微小害蟲圖像的特征，可能需要較大規(guī)模的模型，但這無疑會大幅增加計算資源的消耗，降低計算速度，在需要實時檢測害蟲的農(nóng)業(yè)場景中，很難滿足實際應用需求。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中難以針對密集微小害蟲圖像進行檢測的缺陷，提供一種基于多核注意力網(wǎng)絡(luò)的密集微小害蟲圖像檢測方法來解決上述問題。

2、為了實現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下：

3、一種基于多核注意力網(wǎng)絡(luò)的密集微小害蟲圖像檢測方法，包括以下步驟：

4、密集微小害蟲圖像數(shù)據(jù)集的生成：利用密集害蟲區(qū)域聚焦提取模塊，對密集害蟲區(qū)域進行聚焦提取，生成密集微小害蟲圖像數(shù)據(jù)集；

5、害蟲圖像多尺度特征的提取：由跨階段局部網(wǎng)絡(luò)提取多尺度特征；

6、構(gòu)建小尺度害蟲雙通道多核特征提取模型；

7、小尺度害蟲雙通道多核特征提取模型的訓練：將密集微小害蟲圖像數(shù)據(jù)集輸入小尺度害蟲雙通道多核特征提取模型進行訓練；

8、密集微小害蟲圖像檢測結(jié)果的獲得：獲取待檢測害蟲圖像并輸入跨階段局部網(wǎng)絡(luò)獲得害蟲圖像多尺度特征圖，將害蟲圖像多尺度特征圖輸入訓練后的小尺度害蟲雙通道多核特征提取模型，得到害蟲圖像檢測結(jié)果。

9、所述密集微小害蟲圖像數(shù)據(jù)集的生成包括以下步驟：

10、獲取受害蟲侵害的小麥圖像，并對圖像進行標注和預處理，構(gòu)建害蟲數(shù)據(jù)集；

11、構(gòu)建密集害蟲區(qū)域聚焦提取模塊；

12、構(gòu)建密集微小害蟲圖像數(shù)據(jù)集：將害蟲數(shù)據(jù)集輸入密集害蟲區(qū)域聚焦提取模塊提取密集害蟲區(qū)域圖像，將密集害蟲區(qū)域圖像與害蟲數(shù)據(jù)集混合構(gòu)成密集微小害蟲圖像數(shù)據(jù)集。

13、所述害蟲圖像多尺度特征的提取包括以下步驟：

14、構(gòu)建跨階段局部網(wǎng)絡(luò)，跨階段局部網(wǎng)絡(luò)包含聚焦結(jié)構(gòu)、卷積歸一激活結(jié)構(gòu)和跨階段局部層結(jié)構(gòu)，跨階段局部層結(jié)構(gòu)對殘差塊堆疊進行分解并在最后一個跨階段局部層結(jié)構(gòu)前引入空間金字塔池化結(jié)構(gòu)提取特征；

15、從密集微小害蟲圖像數(shù)據(jù)集獲取的輸入圖像先進入聚焦結(jié)構(gòu)進行切片操作生成多個低分辨率特征圖并堆疊使輸入通道數(shù)變?yōu)樗谋叮蠖嗤ǖ捞卣鲌D又拼接組合堆疊在一起，經(jīng)過卷積歸一激活結(jié)構(gòu)和跨階段局部層結(jié)構(gòu)的交叉處理以增強小尺度害蟲特征，得到害蟲小尺度特征圖；

16、聚焦結(jié)構(gòu)從輸入圖像里隔一個像素就提取一次像素的值，通過這樣的方式來生成四個相互獨立的特征層，然后將這四個特征層堆疊在一起，將圖像的寬度和高度信息集成到通道維度中，從而使輸入通道的數(shù)量增加四倍；

17、卷積歸一激活結(jié)構(gòu)在卷積層后添加批歸一層和silu激活函數(shù)，silu激活函數(shù)f(x)的公式為：

18、f(x)＝x·sigmoid(x)

19、其中，sigmoid函數(shù)的公式表示為：

20、

21、其中，x表示輸入值，e表示自然常數(shù)；

22、跨階段局部層結(jié)構(gòu)分為兩部分：一部分直接進行前向傳播，保留相對原始的特征信息，包含不同尺度下的基礎(chǔ)特征；另一部分經(jīng)過多個重復的1×1的基礎(chǔ)卷積和3×3的深度可分離卷積操作，進一步提取和細化特征，挖掘不同尺度下更具代表性的特征，這兩部分信息在網(wǎng)絡(luò)末端合并，使得不同層次、不同尺度的特征得以融合，用于豐富特征的多樣性，形成包含多尺度信息的特征圖，得到害蟲圖像多尺度特征圖。

23、所述構(gòu)建小尺度害蟲雙通道多核特征提取模型包括以下步驟：

24、設(shè)定小尺度害蟲雙通道多核特征提取模型包括雙通道特征金字塔模塊和多核注意力網(wǎng)絡(luò)模塊；

25、設(shè)定雙通道特征金字塔模塊，雙通道特征金字塔模塊由自上而下的信息流和自下而上的信息流組成；

26、其中，自上而下的信息流：從網(wǎng)絡(luò)的較高層開始，并逐步將信息傳輸?shù)捷^低層，首先對較高級別的特征圖進行上采樣，然后將其與中間層或底層的特征圖融合，以增強較低級別特征圖中的語義信息，公式表示為：

27、p5＝conv(f3)

28、

29、其中，fi(i＝3,2,1)分別表示自上而下的信息流輸入的三個特征圖，pi(i＝5，4，3)分別表示自上而下的信息流輸出的三個特征圖，表示融合操作，conv表示卷積操作，csplayer表示跨階段局部層結(jié)構(gòu)，upsample表示上采樣操作；

30、自下而上的信息流：從較低級別的特征圖開始，逐步將信息傳遞給較高級別的特征圖，在自下而上的信息流中，對較低級別的特征圖進行下采樣操作，并與較高級別的特征圖融合，公式表示為：

31、

32、其中，pi(i＝5，4，3)分別表示自上而下的信息流輸出的三個特征圖，分別表示自下而上的信息流獲得的最終輸出特征圖，表示融合操作，csplayer表示跨階段局部層結(jié)構(gòu)，downsample表示下采樣操作；

33、構(gòu)建多核注意力網(wǎng)絡(luò)模塊，多核注意力網(wǎng)絡(luò)模塊包括聚集模塊、提取模塊和重建模塊，

34、設(shè)定聚集模塊，聚集模塊采用核大小為k×k的標準深度可分離卷積，其中，k是設(shè)定的核大小；

35、設(shè)定提取模塊，提取模塊采用多分支深度條帶卷積層，在每個分支中，使用一個1×j的深度可分離條形卷積和一個j×1的深度可分離條形卷積，模擬一個j×j的標準深度可分離卷積，其中，不同分支中的核大小j不同；

36、設(shè)定重建模塊，重建模塊采用1×1的標準卷積，用于重建不同通道的關(guān)系；

37、首先，來自雙通道特征金字塔網(wǎng)絡(luò)的特征信息通過聚集模塊輸出局部信息特征圖，其次，通過提取模塊提取局部信息特征圖的多尺度特征，得到不同通道的多尺度特征圖，最后，多尺度特征圖通過重建模塊重建不同通道的關(guān)系，輸出最后的特征圖；

38、多核注意力網(wǎng)絡(luò)模塊公式表示為：

39、

40、其中，p是指輸入特征，att和out分別表示注意力圖和輸出結(jié)果，conv1×1表示1×1的卷積操作，dw-conv是深度可分離卷積的縮寫，scalei中i取0、1、2、3的值，scalei取1、2、3時表示分支選項，scale0表示身份映射。

41、所述小尺度害蟲雙通道多核特征提取模型的訓練包括以下步驟：

42、設(shè)定邊界框回歸損失函數(shù)：

43、定義小尺度害蟲雙通道多核特征提取模型的邊界框回歸損失函數(shù)l為：

44、

45、其中，iou表示預測邊界框和真實邊界框面積大小的交并比，b和bgt分別表示預測邊界框和真實邊界框的中心點，ρ2(b，bgt)是預測邊界框和真實邊界框的中心點之間的平方歐幾里得距離，c是預測邊界框和真實邊界框的最小封閉矩形的對角線長度，α是用于平衡縱橫比影響的權(quán)重系數(shù)，v是預測邊界框和真實邊界框之間縱橫比一致性的度量，計算公式為：

46、

47、w和h是預測邊界框的寬度和高度，wgt和hgt是真實邊界框的寬度和高度，權(quán)重系數(shù)α的公式為：

48、

49、交并比iou的公式為：

50、

51、bbox是預測邊界框的面積大小，bboxgt是真實邊界框的面積大小，∩表示交操作，∪表示并操作；

52、從跨階段局部層結(jié)構(gòu)出來的害蟲圖像多尺度特征圖輸入到雙通道特征金字塔模塊中訓練，

53、根據(jù)自上而下的信息流，首先最上層的害蟲圖像多尺度特征圖經(jīng)過一個二維卷積處理，得到特征圖p5，p5再上采樣擴展特征圖圖像大小，隨后與中層的害蟲圖像多尺度特征圖拼接通過跨階段局部層結(jié)構(gòu)進行二維卷積操作得到特征圖p4，p4再上采樣擴展特征圖圖像大小，隨后與下層的害蟲圖像多尺度特征圖拼接通過跨階段局部層結(jié)構(gòu)得到特征圖p3，根據(jù)自下而上的信息流，首先最底層的特征圖p3直接輸出得到特征圖同時將特征圖p3通過下采樣與特征圖p4拼接過跨階段局部層結(jié)構(gòu)得到輸出特征圖再重復通過下采樣與特征圖p5拼接過跨階段局部層結(jié)構(gòu)得到輸出特征圖

54、每一個輸出特征圖再經(jīng)過多核注意力網(wǎng)絡(luò)模塊訓練，先通過一個標準深度可分離卷積，再通過三個卷積內(nèi)核大小不同的深度可分離卷積分支與原特征圖進行多尺度融合，得到注意力圖att，注意力圖att再與特征圖p相乘便得到最后的訓練輸出out；

55、輸出out通過分類訓練計算得到害蟲圖像中害蟲目標中心點，通過回歸訓練計算得到害蟲圖像中害蟲目標長短軸，根據(jù)害蟲目標中心點、長短軸確定害蟲目標檢測框；

56、通過不斷的訓練，根據(jù)邊界框回歸損失函數(shù)l不斷地使預測邊界框接近真實邊界框，利用梯度反向傳播算法來調(diào)整模型的權(quán)重，最后訓練出的模型學習檢測出害蟲圖像中的害蟲。

57、所述構(gòu)建密集害蟲區(qū)域聚焦提取模塊包括以下步驟：

58、設(shè)定聚焦因子focusfactor，以決定提取的指定像素大?。?/p>

59、根據(jù)輸入害蟲圖像的寬w、高h，獲取切割行塊數(shù)與列塊數(shù)：

60、

61、其中，numrows表示行塊數(shù)，numcols表示列塊數(shù)，

62、設(shè)定密集害蟲區(qū)域聚焦提取模塊的聚焦提取算法，其表達式如下：

63、x_starti＝i×focusfactor(i＝1，2，3…focusfactor)，

64、x_endi＝min((i+1)×focusfactor，h)(i＝1，2，3…focusfactor)，

65、y_startj＝j(luò)×focusfactor(j＝1，2，3…focusfactor)，

66、y_endj＝min((j+1)×focusfactor，w)(j＝1，2，3…focusfactor)

67、image_patch＝cropimage(x_starti，y_startj，x_endi，y_endj)(

68、＝1，2，3…focusfactor，j＝1，2，3…focusfactor)

69、其中，x_starti、x_endi、y_startj、y_endj分別表示x軸起點坐標、x軸終點坐標、y軸起點坐標、y軸終點坐標，min表示取最小數(shù)，cropimage表示根據(jù)圖像四個坐標的聚焦裁剪操作；

70、判斷聚焦區(qū)域是否存在害蟲實例，存在則保存圖像和標注信息，不存在則丟棄。

71、所述構(gòu)建密集微小害蟲圖像數(shù)據(jù)集包括以下步驟：

72、從害蟲數(shù)據(jù)集中獲取害蟲圖像；

73、將害蟲圖像輸入密集害蟲區(qū)域聚焦提取模塊，得到若干依據(jù)設(shè)定的聚焦因子大小的密集害蟲圖像；

74、按照害蟲密集程度分級，設(shè)定密度級別ki的公式如下：

75、

76、m表示圖像數(shù)量，ni表示第i張圖像中的害蟲數(shù)量，max(n1，n2…ni)(i＝1，2，3…m)表示取所有圖像中害蟲數(shù)量最多的那張圖片的害蟲數(shù)量，

77、設(shè)定多個區(qū)間，為每個區(qū)間設(shè)定一個密度等級，若ki落在某一區(qū)間內(nèi)，則害蟲密集程度為該區(qū)間的密度等級，直到害蟲密集程度影響聚焦因子focusfactor的設(shè)定；

78、將獲得的密集害蟲圖像與原害蟲數(shù)據(jù)集混合，構(gòu)成密集微小害蟲圖像數(shù)據(jù)集。

79、一種計算機可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計算機程序，當所述計算機程序被處理器執(zhí)行時，即可實現(xiàn)一種基于多核注意力網(wǎng)絡(luò)的密集微小害蟲圖像檢測方法。

80、一種計算機設(shè)備，其特征在于，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，當所述處理器執(zhí)行時，即可實現(xiàn)一種基于多核注意力網(wǎng)絡(luò)的密集微小害蟲圖像檢測方法。

81、有益效果

82、本發(fā)明的一種基于多核注意力網(wǎng)絡(luò)的密集微小害蟲圖像檢測方法，與現(xiàn)有技術(shù)相比顯著提高了密集微小害蟲圖像的檢測精度，使用密集害蟲區(qū)域聚焦提取模塊提取密集害蟲區(qū)域，通過跨階段局部網(wǎng)絡(luò)有效提取害蟲的多尺度特征，結(jié)合提出的小尺度害蟲雙通道多核特征提取模型更精準地識別微小害蟲，加快蟲害的檢測速度與準確度。

83、本發(fā)明通過構(gòu)建密集害蟲區(qū)域聚焦提取模塊，能夠從復雜背景的害蟲圖像中精準提取密集害蟲區(qū)域圖像，生成更具針對性和適應性的數(shù)據(jù)集，通過對害蟲密集程度進行分級的方式，使得模型可以根據(jù)不同的害蟲密度場景進行優(yōu)化，有效增強了在實際農(nóng)業(yè)生產(chǎn)中復雜環(huán)境下的檢測能力。

84、本發(fā)明通過構(gòu)建小尺度害蟲雙通道多核特征提取模型，提高了檢測害蟲的效率和準確性，通過雙通道特征金字塔模塊自上而下和自下而上的雙向信息流設(shè)計，實現(xiàn)了多尺度特征的高效融合，減少了信息損失，使模型對不同大小害蟲的檢測性能得到全面提升，通過多核注意力網(wǎng)絡(luò)模塊，能精確捕捉更為豐富和細致的害蟲多尺度特征，同時又能將提取的多尺度特征進行優(yōu)化整合，輸出更具代表性的特征圖，從而更精準地識別微小害蟲。