本發(fā)明涉及圖像處理，更具體地，涉及一種西瓜成熟度識別方法、裝置及介質(zhì)。

背景技術(shù)：

1、在西瓜的采摘過程中，通常依賴工人經(jīng)驗對西瓜成熟度進行分類判斷，不僅消耗了大量的人力與物力資源，而且由于相近成熟度難以精確區(qū)分，分類過程往往受到強烈的主觀因素影響，導(dǎo)致分類顆粒度過粗。因此，如何便捷、高效、客觀且準確地識別西瓜的成熟度，成為當(dāng)前亟待解決的關(guān)鍵技術(shù)問題。

2、現(xiàn)有技術(shù)中，如公開號cn117007552a公開一種西瓜成熟度檢測方法、裝置、系統(tǒng)、電子設(shè)備及存儲介質(zhì)，涉及農(nóng)業(yè)技術(shù)領(lǐng)域，該方法包括：基于目標數(shù)據(jù)預(yù)處理方法對待檢測西瓜的果肉的光譜數(shù)據(jù)進行數(shù)據(jù)預(yù)處理，獲得原始光譜數(shù)據(jù)；基于目標算法對原始光譜數(shù)據(jù)進行特征篩選，確定目標特征波段；將原始光譜數(shù)據(jù)中波段為目標特征波段的光譜數(shù)據(jù)確定為目標光譜數(shù)據(jù)之后，將目標光譜數(shù)據(jù)輸入西瓜成熟度檢測模型，獲取西瓜成熟度檢測模型輸出的待檢測西瓜的成熟度檢測結(jié)果。該技術(shù)提供的西瓜成熟度檢測方法、裝置、系統(tǒng)、電子設(shè)備及存儲介質(zhì)，能更準確、更高效地對西瓜進行成熟度檢測，能實現(xiàn)西瓜成熟度的批量無損檢測，進而能更好地滿足大型西瓜種植基地分選西瓜的需求。

3、上述公開技術(shù)中，通過光譜來實現(xiàn)西瓜成熟度識別，但是其無法基于圖像來識別西瓜成熟度，而圖像的獲取方式普遍要比光譜的獲取更為便捷、成本低、易于操作，例如瓜農(nóng)可直接通過手機拍照來獲取西瓜圖像，因此，開發(fā)出一種基于西瓜圖像以準確識別成熟度的技術(shù)就顯得尤為必要。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提供一種西瓜成熟度識別方法、裝置及介質(zhì)，能夠從圖像中快速、準確地判斷西瓜的成熟度，通過判斷西瓜是否已經(jīng)成熟，從而為農(nóng)民和采摘工人提供幫助。

2、根據(jù)本發(fā)明的第一方面，提供了一種西瓜成熟度識別方法，所述方法包括：

3、對所述圖像數(shù)據(jù)進行大小調(diào)整、裁剪、去噪的操作，得到預(yù)處理圖像，具體包括：

4、將輸入圖像統(tǒng)一調(diào)整至設(shè)定像素大小，保持寬高比例，并填充不足部分；

5、對調(diào)整后的圖像進行歸一化處理，將像素值縮放到[0,1]區(qū)間；

6、對歸一化處理后的圖像進行色彩空間轉(zhuǎn)換，從rgb轉(zhuǎn)換為hsv空間以更好地提取顏色特征。

7、對色彩空間轉(zhuǎn)換后的圖像進行數(shù)據(jù)增強處理；其中，所述數(shù)據(jù)增強處理包括隨機水平翻轉(zhuǎn)、隨機旋轉(zhuǎn)、隨機調(diào)整亮度、對比度和飽和度和/或mosaic數(shù)據(jù)增強；所述隨機旋轉(zhuǎn)的角度范圍為[-15°,?+15°]，所述隨機調(diào)整亮度、對比度和飽和度的變化范圍為[0.8,1.2]，所述mosaic數(shù)據(jù)增強為將多張圖片拼接成一張；

8、對數(shù)據(jù)增強處理后的圖像進行去噪及增強；其中，所述去噪及增強包括采用雙邊濾波進行噪聲抑制，保持邊緣信息、使用自適應(yīng)直方圖均衡化增強圖像對比度以及應(yīng)用中值濾波去除椒鹽噪聲；

9、對去噪及增強后的圖像進行區(qū)域提取以得到預(yù)處理圖像；其中，所述區(qū)域提取包括使用選擇性搜索算法生成候選區(qū)域、對候選區(qū)域進行非極大值抑制以及保留置信度高于設(shè)定閾值的目標區(qū)域。

10、進一步地，所述識別模型包括：

11、主干網(wǎng)絡(luò)，所述主干網(wǎng)絡(luò)使用sppf模塊增強特征提取能力以及應(yīng)用c3模塊進行特征融合；

12、特征金字塔網(wǎng)絡(luò)，所述特征金字塔網(wǎng)絡(luò)采用自適應(yīng)特征融合模塊以實現(xiàn)特征融合；

13、檢測頭，所述檢測頭連接分類分支、回歸分支以及成熟度分支；其中，所述分類分支用于輸出西瓜品種類別概率，所述回歸分支用于預(yù)測目標邊界框坐標，所述成熟度分支用于預(yù)測西瓜成熟度等級；

14、損失函數(shù)模塊，所述損失函數(shù)模塊用于所述識別模型的訓(xùn)練。

15、進一步地，所述自適應(yīng)特征融合模塊的融合過程表示為：

16、

17、其中，表示融合特征，表示不同層級特征，為學(xué)習(xí)得到的注意力權(quán)重，為特征層級序號，為特征層級數(shù)量；

18、進一步地，所述損失函數(shù)模塊中配置有總體損失函數(shù)；所述總體損失函數(shù)由品種分類損失、位置回歸損失和成熟度損失加權(quán)組成，表示為：

19、

20、其中，為總體損失，、和分別為分類損失、回歸損失和成熟度損失的權(quán)重系數(shù)；、和分別為分類損失、回歸損失和成熟度損失；

21、所述分類損失表示為：

22、

23、其中，為樣本數(shù)量，為樣本序號，為第個樣本的真實標簽，為第個樣本的預(yù)測概率。

24、所述回歸損失表示為：

25、

26、其中，為歐氏距離，和分別為預(yù)測框和真實框，為最小外接框?qū)蔷€長度，為長寬比一致性參數(shù)，為正交易參數(shù)；

27、所述成熟度損失表示為：

28、

29、其中，為成熟度等級數(shù)量。

30、進一步地，提取預(yù)處理圖像中包含的西瓜的特征，包括：

31、提取視覺特征；其中，所述視覺特征包括顏色特征、紋理特征和形狀特征，所述顏色特征通過提取hsv空間的色調(diào)、飽和度、明度特征得到，所述紋理特征通過使用lbp(局部二值模式)算子提取紋理信息得到；所述形狀特征通過提取目標的周長、面積、圓度的幾何特征得到；

32、提取深度特征；

33、提取語義特征：利用預(yù)訓(xùn)練模型提取高級語義特征；構(gòu)建特征向量；應(yīng)用特征選擇算法篩選最具判別性的特征作為語義特征。

34、進一步地，提取深度特征，包括：

35、通過cspdarknet提取多層級卷積特征；

36、并使用注意力機制突出重要特征區(qū)域以得到深度特征，計算過程為：

37、

38、其中，為查詢矩陣；為鍵矩陣；為值矩陣；為鍵向量維度；

39、進一步地，基于所述西瓜的特征輸出預(yù)處理圖像中的西瓜的識別標簽，包括：

40、特征融合處理：將視覺特征、深度特征和語義特征進行加權(quán)融合；采用注意力機制對不同特征進行自適應(yīng)權(quán)重分配；使用特征聚合模塊整合多模態(tài)信息，得到融合特征；

41、分類預(yù)測：基于融合特征進行品種分類；使用softmax函數(shù)計算各類別概率；輸出置信度最高的品種類別；

42、成熟度評估：建立成熟度等級評估指標體系；

43、

44、其中，為顏色特征得分；為紋理特征得分；為形狀特征得分；、和分別為顏色特征、紋理特征和形狀特征的權(quán)重；

45、根據(jù)顏色、紋理特征綜合評定成熟度；

46、輸出成熟度等級；其中，所述成熟度等級包括未熟、適熟和/或過熟。

47、根據(jù)本發(fā)明的第二方面，提供一種西瓜成熟度識別裝置，所述裝置包括：

48、數(shù)據(jù)采集模塊，被配置為獲取圖像數(shù)據(jù)，所述圖像數(shù)據(jù)包括不同品種、不同成熟度、不同角度的西瓜圖像；

49、圖像預(yù)處理模塊，被配置為對所述圖像數(shù)據(jù)進行大小調(diào)整、裁剪、去噪的操作，得到預(yù)處理圖像；

50、模型訓(xùn)練模塊，被配置為對預(yù)處理圖像進行訓(xùn)練，提取西瓜的特征，建立識別模型，所述識別模型響應(yīng)于輸入的預(yù)處理圖像并提取預(yù)處理圖像中包含的西瓜的特征，基于所述西瓜的特征輸出預(yù)處理圖像中的西瓜的識別標簽，所述識別標簽包括西瓜品種標簽和西瓜成熟度標簽；

51、識別與分類模塊，被配置為根據(jù)所述識別模型，響應(yīng)于輸入的西瓜圖像進行識別和分類，輸出西瓜的品種和/或成熟度。

52、根據(jù)本發(fā)明的第三方面，提供一種可讀存儲介質(zhì)，所述可讀存儲介質(zhì)存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執(zhí)行，以實現(xiàn)如上所述的方法。

53、本發(fā)明至少具有以下有益效果：

54、本發(fā)明基于西瓜圖像，首先經(jīng)過一系列的預(yù)處理操作，以得到置信度高的目標區(qū)域作為預(yù)處理圖像，以利于后續(xù)的特征提??；接著在特征提取時，融合注意力機制并將不同層級的特征，如視覺特征、深度特征以及語義特征進行融合，以得到融合特征，并設(shè)計總體損失來衡量預(yù)測的損失，以進一步保證識別的準確性。因此，本發(fā)明可以基于西瓜圖像準確識別西瓜成熟度，具有廣泛的應(yīng)用場景，如輔助瓜農(nóng)對西瓜進行采摘以及幫助消費者進行西瓜的選取等。