本發(fā)明涉及作物病蟲害防護(hù)，尤其是涉及一種自適應(yīng)采樣和超空間注意力杏樹病害檢測(cè)模型。

背景技術(shù)：

1、在現(xiàn)代農(nóng)業(yè)生產(chǎn)中，及時(shí)準(zhǔn)確地檢測(cè)病害對(duì)于確保作物健康生長和提高產(chǎn)量至關(guān)重要。這對(duì)于杏樹等具有重要經(jīng)濟(jì)價(jià)值的果樹尤為重要。為了有效應(yīng)對(duì)杏樹病害，研究人員一直在積極探索高效、精準(zhǔn)的識(shí)別技術(shù)。近年來，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，特別是圖像識(shí)別領(lǐng)域的突破，為杏樹病害監(jiān)測(cè)提供了新的解決方案。

2、然而，現(xiàn)有的杏樹病害檢測(cè)技術(shù)在實(shí)際應(yīng)用中仍面臨諸多挑戰(zhàn)。首先，在復(fù)雜的農(nóng)田環(huán)境中，許多杏樹病害在早期階段或輕微感染時(shí)表現(xiàn)出相似的癥狀，例如葉片黃化、斑點(diǎn)、枯萎等。真菌性病害、細(xì)菌性病害和病毒性病害可能都會(huì)引起類似的葉片斑點(diǎn)或變色，這使得通過肉眼難以區(qū)分具體是哪種病害。其次，一種杏樹可能同時(shí)受到多種病害的侵襲，這些病害的癥狀可能在同一株植物上重疊出現(xiàn)，進(jìn)一步增加了識(shí)別難度。此外，病害在杏樹的不同生長階段可能表現(xiàn)出不同的癥狀。例如，某些病害在葉片上出現(xiàn)斑點(diǎn)后，可能會(huì)逐漸擴(kuò)展到果實(shí)或樹干，這要求檢測(cè)人員在不同階段進(jìn)行多次監(jiān)測(cè)和診斷。在實(shí)際應(yīng)用中，早期病害癥狀通常不明顯，可能只是輕微的顏色變化或小斑點(diǎn)，容易被忽視。等到病害發(fā)展到晚期時(shí)，癥狀變得明顯但已經(jīng)對(duì)植物造成較大傷害，防治難度也大大增加。

3、為了克服這些挑戰(zhàn)，研究人員開始關(guān)注空間狀態(tài)注意力機(jī)制和潛變量網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域的應(yīng)用。空間狀態(tài)注意力機(jī)制通過其獨(dú)特的自注意力機(jī)制，能夠全面捕捉圖像中的全局上下文信息，對(duì)于處理復(fù)雜背景和小物體檢測(cè)任務(wù)具有顯著優(yōu)勢(shì)。然而，將潛變量網(wǎng)絡(luò)和空間狀態(tài)注意力機(jī)制直接應(yīng)用于杏樹病害任務(wù)時(shí)，仍需針對(duì)杏樹病害的具體特點(diǎn)進(jìn)行相應(yīng)的優(yōu)化和改進(jìn)，以充分發(fā)揮其性能優(yōu)勢(shì)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種自適應(yīng)采樣和超空間注意力杏樹病害檢測(cè)模型，以解決上述背景技術(shù)中存在的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種自適應(yīng)采樣和超空間注意力杏樹病害檢測(cè)模型，包括以下步驟：

3、s1、獲取大量杏樹病害圖像；

4、s2、對(duì)獲取的杏樹病害圖像進(jìn)行數(shù)據(jù)標(biāo)注；

5、s3、對(duì)標(biāo)注后的數(shù)據(jù)進(jìn)行預(yù)處理，旨在提高模型的泛化能力和訓(xùn)練效率；然后采用cutout、cutmix、mosaic、復(fù)制增強(qiáng)四種數(shù)據(jù)增強(qiáng)方法對(duì)數(shù)據(jù)進(jìn)行處理；

6、s4、通過多模態(tài)大模型架構(gòu)對(duì)圖像進(jìn)行特征提取，然后利用空間狀態(tài)注意力機(jī)制和動(dòng)態(tài)潛變量網(wǎng)絡(luò)模型進(jìn)行處理，最后利用focal?loss函數(shù)對(duì)模型進(jìn)行訓(xùn)練；

7、s5、通過網(wǎng)絡(luò)修剪和知識(shí)蒸餾技術(shù)進(jìn)行模型輕量化設(shè)計(jì)。

8、優(yōu)選的，s2中的數(shù)據(jù)標(biāo)注是杏樹病害檢測(cè)模型訓(xùn)練的重要步驟，通過對(duì)圖像中的杏樹進(jìn)行精確標(biāo)注，為模型提供學(xué)習(xí)所需的監(jiān)督信息，采用最新版的開源標(biāo)注工具labelimg進(jìn)行標(biāo)注，其作為一種圖像化的圖像標(biāo)注工具，具有良好的用戶界面和簡單的操作，能夠很方便地在圖像上繪制邊界框并提供相應(yīng)的標(biāo)簽，從而實(shí)現(xiàn)對(duì)圖像中目標(biāo)物體的精確標(biāo)注。且最新版的labelme在功能、性能和穩(wěn)定性方面均有所優(yōu)化，能夠更好地滿足圖像標(biāo)注需求，具體包括：

9、s21、初步標(biāo)注，由若干位植物病理學(xué)專家進(jìn)行數(shù)據(jù)標(biāo)注，這些專家對(duì)杏葉的視覺特征、斑點(diǎn)形態(tài)和發(fā)育階段進(jìn)行了詳細(xì)分析，以確定每幅圖像中的特定疾病階段；

10、s22、標(biāo)注審查，為確保標(biāo)注的準(zhǔn)確性和一致性，所有結(jié)果都經(jīng)過多次審查和交叉驗(yàn)證，對(duì)于存在問題的標(biāo)注，進(jìn)行修正或重新標(biāo)注。

11、優(yōu)選的，s3中的cutout為一種簡單而有效的數(shù)據(jù)增強(qiáng)方法，旨在鼓勵(lì)模型更多地關(guān)注圖像的局部特征，而不是依賴于整個(gè)圖像，在一定程度上防止過擬合，增強(qiáng)模型的泛化能力。其核心為在圖像中隨機(jī)選擇一個(gè)區(qū)域，并將其所有像素值設(shè)置為0，即切除該區(qū)域，對(duì)于圖像i和選定區(qū)域r，cutout表示為：

12、

13、cutmix為一種圖像處理技術(shù)，將來自四個(gè)不同圖像的區(qū)域組合成一個(gè)新圖像。

14、優(yōu)選的，s3中的mosaic具體為：

15、在一張圖像中隨機(jī)選擇一個(gè)區(qū)域后，將該區(qū)域替換成另外一種圖像中的相應(yīng)區(qū)域，假設(shè)四張圖像分別為ia,ib,ic和id，所選區(qū)域分別為ia,top-left,ib,top-right,ic,bottom-left,id,bottom-right，表示ia的左上角，ib的右上角，ic的左下角，id的右下角。則新圖像inew表示為：

16、

17、復(fù)制增強(qiáng)操作具體為：首先在圖像中選擇一個(gè)關(guān)鍵區(qū)域，然后將關(guān)鍵區(qū)域重復(fù)復(fù)制粘貼到同一圖像的其他位置，表示為：

18、

19、其中，n為選擇并增強(qiáng)關(guān)鍵區(qū)域的數(shù)量，即關(guān)鍵區(qū)域在圖像中被重復(fù)的次數(shù)；m為一個(gè)變換矩陣，用于將關(guān)鍵區(qū)域i進(jìn)行變換操作，包括縮放、旋轉(zhuǎn)、平移等幾何操作，使得復(fù)制的區(qū)域在圖像中的位置、方向或大小發(fā)生變化；ti為第i次關(guān)鍵區(qū)域增強(qiáng)的具體操作，包括對(duì)m·i結(jié)果的進(jìn)一步修改、融合以及疊加方式。

20、優(yōu)選的，s3中的多模態(tài)大模型架構(gòu)具體包括：

21、yolo模型將輸入圖像劃分為s×s網(wǎng)格，其中每個(gè)網(wǎng)格預(yù)測(cè)多個(gè)邊界框及其相應(yīng)的類概率，以有效檢測(cè)對(duì)象。每個(gè)網(wǎng)格預(yù)測(cè)b個(gè)邊界框，每個(gè)邊界框由五個(gè)參數(shù)定義：中心坐標(biāo)(x,y)、寬度w、高度h和包含對(duì)象的邊界框的置信度分?jǐn)?shù)c，此外，每個(gè)網(wǎng)格預(yù)測(cè)c類的概率分布，從而導(dǎo)致b×5+c為每個(gè)網(wǎng)格的參數(shù)，藐視潛在對(duì)及其類別，yolo模型的損失函數(shù)由坐標(biāo)損失、置信損失和分類損失組成，其總損失為：

22、ltotal＝lcoord+lconf+lclass；

23、其中，lcoord為坐標(biāo)損失，lconf為置信損失，lclass為分類損失；這種設(shè)計(jì)使yolo能夠在一次前向傳遞中檢測(cè)圖像中的所有物體，從而實(shí)現(xiàn)快速檢測(cè)。

24、ssd模型利用不同尺度的卷積特征圖來預(yù)測(cè)不同大小的邊界框，從而解決了多吃度目標(biāo)檢測(cè)的挑戰(zhàn)；ssd預(yù)測(cè)每個(gè)特征圖的固定數(shù)量的邊界框，每個(gè)邊界框都包含位置坐標(biāo)、維度、置信度和類概率，ssd模型的損失函數(shù)包括位置損失和置信損失，位置損失的計(jì)算公式為：

25、

26、其中，smoothl1為一個(gè)平滑函數(shù)，可減少異常值的影響，x,y,w,h分別表示邊界框的中心點(diǎn)坐標(biāo)(x,y)，邊界框的寬度(w)，邊界框的高度(h)；mi是匹配掩碼，表示第i個(gè)預(yù)測(cè)邊界框是否與真實(shí)框匹配，若匹配，則mi＝1，否則為0。用來確保損失只在匹配的預(yù)測(cè)框上計(jì)算。表示預(yù)測(cè)的邊界框參數(shù)(第i個(gè)預(yù)測(cè)值)，對(duì)應(yīng)于x,y,w,h，表示實(shí)際的邊界框參數(shù)(第i個(gè)標(biāo)注值)，對(duì)應(yīng)于y,y,w,h；

27、置信損失用于評(píng)估預(yù)測(cè)的類概率與實(shí)際類之間的差異，為：

28、

29、其中，和分別表示實(shí)際類和不存在對(duì)象的概率；結(jié)合這些損失，ssd實(shí)現(xiàn)了快速準(zhǔn)確的目標(biāo)檢測(cè)，有效地應(yīng)對(duì)了多尺度挑戰(zhàn)。

30、faster?r-cnn為一種兩階段目標(biāo)檢測(cè)模型，實(shí)現(xiàn)目標(biāo)定位和分類。

31、優(yōu)選的，faster?r-cnn模型具體包括：

32、faster?r-cnn通過卷積層從輸入圖像中提取特征，創(chuàng)建特征圖；

33、faster?r-cnn的第一階段的區(qū)域提議網(wǎng)絡(luò)(prn)在特征圖上生成一系列區(qū)域提案，區(qū)域提議網(wǎng)絡(luò)的損失函數(shù)由分類損失和定位損失組成，為：

34、

35、其中，lcls為衡量建議的邊界框內(nèi)是否存在目標(biāo)，lreg用于量化建議的邊界框尺寸與實(shí)際邊界框尺寸之間的差異，pi、分別表示物體存在的預(yù)測(cè)概率和實(shí)際概率，ti、分別表示預(yù)測(cè)的和實(shí)際的邊界框的參數(shù)，ncls與nreg分別作為分類損失和定位損失的歸一化因子；

36、在區(qū)域提議網(wǎng)絡(luò)生成區(qū)域提案之后，faster?r-cnn的第二階段通過執(zhí)行分類和回歸來調(diào)節(jié)提案；特征圖與區(qū)域提案一起被轉(zhuǎn)發(fā)到一個(gè)完全連接的層，在該層中，每個(gè)區(qū)域提案都被分類并調(diào)整其位置以產(chǎn)生最終的檢測(cè)結(jié)果，第二階段的損失函數(shù)還包括分類損失和定位損失，總體損失函數(shù)是兩個(gè)階段的損失的加權(quán)和：

37、ltotal＝lrpn+ldet；

38、其中，lrpn為第一階段的損失，ldet為第二階段的損失。通過其兩級(jí)設(shè)計(jì)，faster?r-cnn有助于高效和精確地檢測(cè)物體。

39、優(yōu)選的，一個(gè)目標(biāo)被分割成多個(gè)序列后，模型通過自注意力機(jī)制和通道注意力機(jī)制從圖像中提取關(guān)鍵特征，分別表示為：

40、

41、其中，q,k,v分別表示查詢、鍵和值，d表示維度，attention表示注意函數(shù)；

42、通道注意力機(jī)制在特征提取階段為圖像的各種通道分配不同的權(quán)重，從而使模型能夠優(yōu)先考慮重要的通道。通道注意力機(jī)制通常結(jié)合全局平均池化(gap)和全局最大池化(gmp)等操作，以聚合不同通道的特征。通道關(guān)注度的核心公式由下式給出：

43、αc＝σ(w1(gap(x))+w2(gmp(x)))；

44、其中，αc表示通道c的注意力權(quán)重，σ表示激活函數(shù)，w1、w2表示全連接層，分別處理gap和gmp的輸出；通過結(jié)合這些注意力機(jī)制，模型能夠更好地從圖像中提取關(guān)鍵特征。例如，自注意力允許模型關(guān)注圖像中存在疾病的區(qū)域，而通道注意力則專注于與疾病相關(guān)的特征，例如顏色和紋理，這些特征特定于某些通道。

45、注意力機(jī)制的損失函數(shù)可以針對(duì)特定應(yīng)用進(jìn)行定制，在杏樹病害檢測(cè)中，可以通過以下?lián)p失函數(shù)來評(píng)估模型的性能：

46、ltotal＝ldet+λattlatt；

47、其中，ldet為衡量模型對(duì)目標(biāo)進(jìn)行分類和定位能力的檢測(cè)損失，latt為評(píng)估注意力機(jī)制對(duì)模型性能的貢獻(xiàn)的注意力損失，λatt為一個(gè)加權(quán)因子，用于調(diào)整注意力損失在整體損失中的影響。這種精心的設(shè)計(jì)確保了注意力機(jī)制在提高模型性能的同時(shí)，不會(huì)使模型過度復(fù)雜化，從而保持了檢測(cè)杏樹病害的準(zhǔn)確性和效率。

48、優(yōu)選的，空間狀態(tài)注意力機(jī)制采用多層圖卷積網(wǎng)絡(luò)，利用節(jié)點(diǎn)(像素)之間的空間關(guān)系來計(jì)算注意力權(quán)重，圖卷積網(wǎng)絡(luò)的基本思想是對(duì)圖結(jié)構(gòu)數(shù)據(jù)進(jìn)行卷積運(yùn)算，使網(wǎng)絡(luò)能夠捕獲節(jié)點(diǎn)的局部連接模式，并利用節(jié)點(diǎn)之間的關(guān)系來增強(qiáng)特征表示能力。具體來說，空間狀態(tài)注意力機(jī)制由三層圖卷積組成，每層卷積都旨在處理不同尺度的空間關(guān)系，以便捕獲從局部到全局的圖像特征。圖卷積的第一層處理較小的鄰域，捕獲細(xì)粒度特征；第二層擴(kuò)大了感受野，整合了中尺度的空間信息；第三層進(jìn)一步擴(kuò)展以捕獲更廣泛的上下文信息，數(shù)學(xué)表達(dá)式為：

49、attention(x)＝softmax(gcn3(gcn2(gcn1(x)))·w)；

50、其中，x表示輸入要素，gcn1、gcn2、gcn3分別表示圖卷積網(wǎng)絡(luò)的三層。

51、優(yōu)選的，動(dòng)態(tài)潛變量網(wǎng)絡(luò)模型采用自適應(yīng)采樣，其依賴對(duì)隱藏狀態(tài)的估計(jì)，這些隱藏狀態(tài)是通過動(dòng)態(tài)潛變量網(wǎng)絡(luò)模型的輸出推斷出，隱藏狀態(tài)的轉(zhuǎn)移概率表示為：

52、p(st+1|st)＝softmax(w·h(st)+b)；

53、其中，w和b為網(wǎng)絡(luò)參數(shù)，st+1和st分別表示下一隱藏狀態(tài)和當(dāng)前隱藏狀態(tài)，h(st)表示當(dāng)前隱藏狀態(tài)st的表示向量，自適應(yīng)采樣的核心為根據(jù)轉(zhuǎn)移概率動(dòng)態(tài)調(diào)整采樣策略，采樣間隔t定義為：

54、

55、其中，λ為用于控制采樣頻率靈敏度的調(diào)諧參數(shù)。

56、優(yōu)選的，網(wǎng)絡(luò)修剪為通過刪除神經(jīng)網(wǎng)絡(luò)中的權(quán)重小的連接或冗余神經(jīng)元來降低模型的大小和復(fù)雜性，具體通過分析每一層對(duì)最終檢測(cè)任務(wù)的貢獻(xiàn)，修剪貢獻(xiàn)低的卷積層或通道，表達(dá)式為：

57、lprune＝loriginal+λ∑l∈s||wl||p；

58、其中，loriginal為原始認(rèn)識(shí)的損失函數(shù)，λ為正則化參數(shù)，s表示選擇進(jìn)行修剪的圖層集，wl為圖層l的權(quán)重，||wl||p是權(quán)重的p范數(shù)；

59、知識(shí)蒸餾的損失函數(shù)包括基本損失和蒸餾損失：

60、ldistill＝lbase+λdistill∑ikl(pi,qi)；

61、其中，kl為kullback-leibler散度，λdistill為蒸餾損失的加權(quán)因子，lbase表示學(xué)生模型在任務(wù)目標(biāo)上的標(biāo)準(zhǔn)損失，用于衡量學(xué)生模型在真實(shí)標(biāo)注上的性能，pi、qi分別表示學(xué)生模型和教師模型在第i個(gè)樣本上的預(yù)測(cè)概率分布。

62、因此，本發(fā)明采用上述一種自適應(yīng)采樣和超空間注意力杏樹病害檢測(cè)模型，具有以下有益效果：

63、(1)不僅考慮了圖像數(shù)據(jù)的視覺特征，還綜合利用了傳感器數(shù)據(jù)中的環(huán)境信息，通過深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)了數(shù)據(jù)的有效融合，顯著提高了模型的識(shí)別準(zhǔn)確率和泛化能力；

64、(2)通過建立一個(gè)動(dòng)態(tài)潛變量網(wǎng)絡(luò)模型，一個(gè)參數(shù)調(diào)整隱藏變量的變化率，另一個(gè)參數(shù)調(diào)整節(jié)點(diǎn)對(duì)在給定隱藏變量當(dāng)前值的情況下重新評(píng)估其連接的速率，解決了樣本不平衡的問題；

65、(3)通過引入空間狀態(tài)注意力機(jī)制，特別是在模型中設(shè)計(jì)了注意力凝聚模塊，能夠有效地聚焦于與病害檢測(cè)密切相關(guān)的特征區(qū)域，提高了模型對(duì)病害特征的敏感性和識(shí)別能力，實(shí)現(xiàn)了數(shù)據(jù)的有效融合。

66、下面通過附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。