本發(fā)明涉及桑蠶養(yǎng)殖領(lǐng)域,具體地,涉及一種桑蠶分割方法。
背景技術(shù):
1、u-net是一種基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)的架構(gòu),用于生物醫(yī)學(xué)圖像分割任務(wù)。u-net的設(shè)計(jì)靈感來源于經(jīng)典的全卷積網(wǎng)絡(luò)(fcn),通過引入跳過連接(skip?connections)和對(duì)稱的編碼器-解碼器結(jié)構(gòu),可以顯著提升模型在小樣本數(shù)據(jù)集上的性能。目前,u-net已經(jīng)成為許多計(jì)算機(jī)視覺任務(wù)中圖像分割的首選方法之一。
2、在桑蠶養(yǎng)殖領(lǐng)域中,實(shí)現(xiàn)智能化的前提在于桑蠶的精準(zhǔn)定位和識(shí)別技術(shù)。基于桑蠶的精準(zhǔn)定位和識(shí)別,以獲得桑蠶的位置、形態(tài)等信息,進(jìn)而可以更好地監(jiān)測桑蠶的生長狀況。因此,對(duì)桑蠶定位識(shí)別技術(shù)進(jìn)行深入研究,對(duì)于推動(dòng)桑蠶養(yǎng)殖智能化進(jìn)程具有重大意義。目前通常采用u-net對(duì)桑蠶進(jìn)行分割,以獲取相關(guān)信息,其中的跳過連接雖能有效的融合特征,但其簡單的特征拼接方式無法有效的促進(jìn)低級(jí)特征和高級(jí)特征之間的融合,從而降低模型的性能,影響桑蠶分割的精確度。
技術(shù)實(shí)現(xiàn)思路
1、為了解決現(xiàn)有u-net架構(gòu)的跳過連接無法有效的促進(jìn)低級(jí)特征和高級(jí)特征之間的融合,從而降低桑蠶分割模型的性能,降低桑蠶分割精確度的問題,本發(fā)明提供了一種桑蠶分割方法,所述方法包括:
2、獲取原始桑蠶圖像,基于所述原始桑蠶圖像獲得訓(xùn)練集,基于所述訓(xùn)練集獲得桑蠶分割模型,所述桑蠶分割模型包括編碼器、深度殘差跳躍連接模塊和解碼器,所述深度殘差跳躍連接模塊均與所述編碼器和所述解碼器連接;
3、基于所述桑蠶分割模型對(duì)待分割圖像進(jìn)行分割,獲得分割結(jié)果;所述分割結(jié)果的獲得方式為:所述編碼器對(duì)所述待分割圖像進(jìn)行下采樣,獲得第一特征圖,所述解碼器對(duì)所述第一特征圖進(jìn)行上采樣,獲得第二特征圖,所述深度殘差跳躍連接模塊將所述第一特征圖和所述第二特征圖進(jìn)行融合,獲得輸出圖,基于所述輸出圖獲得所述分割結(jié)果;
4、所述深度殘差跳躍連接模塊包括深度可分離卷積層、第一歸一化層、點(diǎn)卷積層和第二歸一化層,所述第一歸一化層和所述第二歸一化層均包括第一激活函數(shù);所述深度可分離卷積層用于提取所述第一特征圖的特征,所述第一歸一化層和所述第二歸一化層均用于歸一化處理輸入數(shù)據(jù),所述點(diǎn)卷積層用于改變通道數(shù),所述第一激活函數(shù)用于處理非線性信息。
5、multiresunet是一種基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割方法,主要采用python編程語言,以tensorflow為后端框架,通過keras進(jìn)行實(shí)現(xiàn)。該分割方法旨在改進(jìn)傳統(tǒng)的u-net架構(gòu),以解決傳統(tǒng)的u-net架構(gòu)無法適應(yīng)多模態(tài)生物醫(yī)學(xué)圖像的分割需求。
6、本發(fā)明將u-net架構(gòu)的跳過連接更改為深度殘差跳躍連接,與簡單的特征相加方法相比,深度可分離卷積層可以提取解碼器中較淺層的信息,如桑蠶的位置信息,深度殘差跳躍連接處理低級(jí)特征,使其能與高級(jí)特征對(duì)齊,并直接參與高級(jí)特征的重建過程,促進(jìn)圖像中桑蠶的位置特征與語義特征之間的交互,有效促進(jìn)和加強(qiáng)局部特征與全局特征之間、低級(jí)特征和高級(jí)特征之間的融合,增強(qiáng)了網(wǎng)絡(luò)對(duì)桑蠶的定位能力和形態(tài)特征的識(shí)別能力,提升了模型的性能,提高桑蠶分割精確度,同時(shí)還降低了參數(shù)量。此外,深度殘差跳躍連接在模型訓(xùn)練過程中提供了額外的梯度支持,減少了梯度消失或爆炸的風(fēng)險(xiǎn),提高了模型的穩(wěn)定性。
7、本發(fā)明的深度殘差跳躍連接由multiresunet中的跳躍連接改進(jìn)而來,通過在網(wǎng)絡(luò)架構(gòu)中構(gòu)建直接路徑,將multiresunet中的1×1卷積替換為恒等映射,減少參數(shù)量的同時(shí)實(shí)現(xiàn)了編碼器層輸出與解碼器對(duì)應(yīng)層級(jí)的直接關(guān)聯(lián),繞過了部分中間層級(jí),促進(jìn)了編碼器中提取的桑蠶語義信息與解碼器中較淺層信息(桑蠶位置信息)的有效融合。這種融合策略不僅豐富了特征表示,而且增強(qiáng)了模型對(duì)局部細(xì)節(jié)和全局上下文信息的捕捉能力。通過深度殘差跳躍連接,桑蠶位置信息得以直接參與高級(jí)特征的重建過程,有效減少了深層網(wǎng)絡(luò)中信息傳遞的損失,也有助于梯度的反向傳播,從而提高了模型的訓(xùn)練效率和穩(wěn)定性。這種直接的信息流優(yōu)化了特征傳遞路徑,使模型能夠更有效地且充分地利用輸入數(shù)據(jù)中的信息。
8、進(jìn)一步地,所述桑蠶分割模型還包括kan模塊,所述kan模塊對(duì)所述第一特征圖進(jìn)行整合和轉(zhuǎn)換,獲得第三特征圖,所述解碼器對(duì)所述第三特征圖進(jìn)行上采樣,獲得所述第二特征圖;
9、所述kan模塊包括若干kan?layer層,相鄰所述kan?layer層通過第二激活函數(shù)連接,每一層所述kan層均包括若干kan?linear層;所述kan?layer層用于轉(zhuǎn)換輸入數(shù)據(jù)的維度,所述第二激活函數(shù)用于減少參數(shù)數(shù)量,所述kan?linear層用于整合和轉(zhuǎn)換不同層級(jí)的特征。
10、kan模塊在邊緣(權(quán)重)上放置可學(xué)習(xí)的激活函數(shù),而不是在節(jié)點(diǎn)(神經(jīng)元)上使用固定的激活函數(shù),因此,引入kan模塊可以減少模型中的冗余連接,使模型能夠更好地抵抗輸入數(shù)據(jù)的微小變化,提高其在面對(duì)噪聲或不完整數(shù)據(jù)時(shí)的魯棒性,增強(qiáng)桑蠶分割模型的穩(wěn)定性,進(jìn)一步增強(qiáng)模型對(duì)桑蠶的定位能力和形態(tài)特征的識(shí)別能力。
11、進(jìn)一步地,所述kan模塊位于所述編碼器至所述解碼器的路徑的瓶頸層。在編碼器和解碼器之間整合提取出的特征,增強(qiáng)模型對(duì)復(fù)雜數(shù)據(jù)結(jié)構(gòu)的捕捉能力,進(jìn)而增強(qiáng)編碼器所提取的特征的表征能力。
12、進(jìn)一步地,所述編碼器和所述解碼器均包括若干不同層級(jí)的倒置卷積注意力模塊,所述編碼器的所述倒置卷積注意力模塊提取所述待分割圖像的不同尺度的第一特征,獲得所述第一特征圖,所述編碼器的所述倒置卷積注意力模塊特征基于所述第一特征,增大所述第三特征圖的空間分辨率,獲得所述第二特征圖;
13、所述倒置卷積注意力模塊包括所述深度可分離卷積層、通道注意力層、空間注意力層和倒置塊;所述深度可分離卷積層用于提取特征,所述通道注意力層用于識(shí)別關(guān)鍵特征,所述空間注意力層用于識(shí)別關(guān)鍵區(qū)域,所述倒置塊用于增強(qiáng)特征。
14、為了提高模型提取的特征的表征能力和在編碼階段提取出更加豐富的桑蠶形態(tài)信息,以及針對(duì)桑蠶形態(tài)輪廓與桑葉的葉脈紋理的相似性問題,本發(fā)明使用多個(gè)連續(xù)的層級(jí)構(gòu)成編碼器部分,每個(gè)層級(jí)均配備了倒置卷積注意力模塊,這種模塊化設(shè)計(jì)允許模型在不同層級(jí)上捕捉到不同尺度的特征,獲取更加豐富的底層信息,實(shí)現(xiàn)在復(fù)雜桑葉環(huán)境中對(duì)桑蠶形態(tài)特征和位置信息的精確提取,更精確區(qū)分桑蠶形態(tài)輪廓與桑葉的葉脈紋理,提高模型提取的特征的表征能力,從而為后續(xù)的解碼過程提供豐富的信息。解碼器部分包含與編碼器相同的層級(jí),與編碼器的層級(jí)結(jié)構(gòu)相呼應(yīng),確保了特征信息的逐層精細(xì)重建。
15、深度可分離卷積層,用于提取桑蠶圖像中桑蠶的形態(tài)信息和位置信息,同時(shí)降低了模型參數(shù)量和計(jì)算量;空間注意力層專注于識(shí)別特征中信息豐富的位置,即在特征圖上確定桑蠶的具體區(qū)域,并增強(qiáng)這些區(qū)域的特征;通道注意力層專注于篩選出特征中的關(guān)鍵元素,即識(shí)別出需要關(guān)注或突出顯示的特征;倒置塊首先通過深度可分離卷積來提取局部特征,然后通過點(diǎn)卷積來整合每個(gè)通道的特征,再通過歸一化和激活函數(shù)進(jìn)一步增強(qiáng)特征,最后通過點(diǎn)卷積將通道數(shù)調(diào)整回與輸入通道數(shù)相同,用于進(jìn)一步增強(qiáng)和細(xì)化特征。
16、進(jìn)一步地,所述空間注意力層包括最大池化層、平均池化層、第一卷積層和第三激活函數(shù),所述第一卷積層與所述最大池化層、所述平均池化層和所述第三激活函數(shù)均連接;所述最大池化層用于對(duì)特征圖進(jìn)行最大池化,所述平均池化層用于對(duì)特征圖進(jìn)行平均池化,所述第一卷積層用于提取特征,所述第三激活函數(shù)用于增強(qiáng)特征。
17、進(jìn)一步地,所述通道注意力層包括自適應(yīng)最大池化層、自適應(yīng)平均池化層、第一模塊、第二模塊和所述第三激活函數(shù),所述第一模塊與所述自適應(yīng)最大池化層和所述第三激活函數(shù)均連接,所述第二模塊與所述自適應(yīng)平均池化層和所述第三激活函數(shù)均連接;
18、所述第一模塊和所述第二模塊均包括第一點(diǎn)卷積層、第四激活函數(shù)層和第二點(diǎn)卷積層,所述第四激活函數(shù)與所述第一點(diǎn)卷積層和所述第二點(diǎn)卷積層均連接;
19、所述自適應(yīng)最大池化層用于對(duì)特征圖進(jìn)行最大池化,所述自適應(yīng)平均池化層對(duì)特征圖進(jìn)行平均池化,所述第一點(diǎn)卷積層用于提取特征,所述第三激活函數(shù)和所述第四激活函數(shù)層均用于增強(qiáng)特征,所述第二點(diǎn)卷積層用于整合特征。
20、進(jìn)一步地,按照所述倒置塊的執(zhí)行順序,所述倒置塊依次包括所述深度可分離卷積層、層歸一化層、第三點(diǎn)卷積層、第五激活函數(shù)和第四點(diǎn)卷積層;
21、所述深度可分離卷積層用于提取局部特征,所述層歸一化層用于增強(qiáng)特征,所述第三點(diǎn)卷積層用于整合特征,所述第五激活函數(shù)用于增強(qiáng)特征,所述第四點(diǎn)卷積層用于增強(qiáng)特征。
22、進(jìn)一步地,所述編碼器和所述解碼器的相同層級(jí)的所述倒置卷積注意力模塊一一對(duì)應(yīng),所述編碼器和所述解碼器的相同層級(jí)的所述倒置卷積注意力模塊之間設(shè)有所述深度殘差跳躍連接模塊。
23、進(jìn)一步地,所述kan模塊位于第一位置,所述第一位置的獲得方式為:獲取所述編碼器的最后層級(jí)的所述倒置卷積注意力模塊,獲得第三模塊,獲取所述解碼器的最后層級(jí)的所述倒置卷積注意力模塊,獲得第四模塊,獲取所述第三模塊至所述第四模塊的路徑的瓶頸層,獲得所述第一位置。
24、進(jìn)一步地,基于所述原始桑蠶圖像獲得訓(xùn)練集的具體步驟包括:對(duì)所述原始桑蠶圖像進(jìn)行增強(qiáng),獲得所述訓(xùn)練集。
25、為了提升模型的泛化能力和適應(yīng)性,本發(fā)明實(shí)施了數(shù)據(jù)增強(qiáng)策略,以此來豐富數(shù)據(jù)集并提高其多樣性。這些增強(qiáng)手段不僅增加了模型訓(xùn)練時(shí)的樣本數(shù)量,還模擬了實(shí)際養(yǎng)殖環(huán)境中可能出現(xiàn)的各種情況,從而使模型能夠更好地應(yīng)對(duì)不同的圖像變化。通過增強(qiáng)技術(shù),本數(shù)據(jù)集能夠有效地模擬了桑蠶在自然環(huán)境中的多樣性,為模型提供了更全面的學(xué)習(xí)材料。
26、本發(fā)明提供的一個(gè)或多個(gè)技術(shù)方案,至少具有如下技術(shù)效果或優(yōu)點(diǎn):
27、1.將u-net架構(gòu)的跳過連接更改為深度殘差跳躍連接,與簡單的特征相加方法相比,深度可分離卷積層可以提取解碼器中較淺層的信息,深度殘差跳躍連接處理低級(jí)特征,使其能與高級(jí)特征對(duì)齊,并直接參與高級(jí)特征的重建過程,促進(jìn)圖像中桑蠶的位置特征與語義特征之間的交互,有效促進(jìn)和加強(qiáng)局部特征與全局特征之間、低級(jí)特征和高級(jí)特征之間的融合,增強(qiáng)了網(wǎng)絡(luò)對(duì)桑蠶的定位能力和形態(tài)特征的識(shí)別能力,提升了模型的性能,提高桑蠶分割精確度,同時(shí)還降低了參數(shù)量。此外,深度殘差跳躍連接在模型訓(xùn)練過程中提供了額外的梯度支持,減少了梯度消失或爆炸的風(fēng)險(xiǎn),提高了模型的穩(wěn)定性。
28、2.引入kan模塊可以減少模型中的冗余連接,使模型能夠更好地抵抗輸入數(shù)據(jù)的微小變化,提高其在面對(duì)噪聲或不完整數(shù)據(jù)時(shí)的魯棒性,增強(qiáng)桑蠶分割模型的穩(wěn)定性,進(jìn)一步增強(qiáng)模型對(duì)桑蠶的定位能力和形態(tài)特征的識(shí)別能力。
29、3.kan模塊位于編碼器至解碼器的路徑的瓶頸層。在編碼器和解碼器之間整合提取出的特征,增強(qiáng)模型對(duì)復(fù)雜數(shù)據(jù)結(jié)構(gòu)的捕捉能力,進(jìn)而增強(qiáng)編碼器所提取的特征的表征能力。
30、4.使用多個(gè)連續(xù)的層級(jí)構(gòu)成編碼器部分,每個(gè)層級(jí)均配備了倒置卷積注意力模塊,這種模塊化設(shè)計(jì)允許模型在不同層級(jí)上捕捉到不同尺度的特征,獲取更加豐富的底層信息,實(shí)現(xiàn)在復(fù)雜桑葉環(huán)境中對(duì)桑蠶形態(tài)特征和位置信息的精確提取,更精確區(qū)分桑蠶形態(tài)輪廓與桑葉的葉脈紋理,提高模型提取的特征的表征能力,從而為后續(xù)的解碼過程提供豐富的信息。解碼器部分包含與編碼器相同的層級(jí),與編碼器的層級(jí)結(jié)構(gòu)相呼應(yīng),確保了特征信息的逐層精細(xì)重建。可以在編碼階段提取出更加豐富的桑蠶形態(tài)信息,以及解決桑蠶形態(tài)輪廓與桑葉的葉脈紋理的相似性問題。