本發(fā)明涉及水產(chǎn)養(yǎng)殖領(lǐng)域，尤其是涉及一種雙模態(tài)孔雀魚性別檢測方法及系統(tǒng)。

背景技術(shù)：

1、在水產(chǎn)養(yǎng)殖領(lǐng)域，通過魚類性別檢測可以進行合理的性別配比和養(yǎng)殖密度控制，提高飼料利用率和養(yǎng)殖產(chǎn)量。傳統(tǒng)的魚類性別鑒定方法主要依賴人工觀察，這種方式不僅耗費大量的人力和時間，而且高度依賴鑒定人員的經(jīng)驗與專業(yè)知識水平，存在著主觀判斷誤差較大以及效率低下等諸多難以克服的弊端。

2、孔雀魚因其較短的繁殖周期和令人矚目的繁殖能力，經(jīng)常用來實驗室的研究對象，但由于人工觀察帶有主觀色彩，容易產(chǎn)生誤差，且區(qū)分太過耗時。近年來部分科學(xué)家注意到生物視覺系統(tǒng)在質(zhì)量、功耗和響應(yīng)速度等方面都大大優(yōu)于傳統(tǒng)的數(shù)字視覺系統(tǒng)。事件相機是一種受生物啟發(fā)的硅視網(wǎng)膜視覺傳感器，利用事件相機可以更好捕捉到的活動的孔雀魚的輪廓信息，但利用事件相機得到的灰度疊加圖像沒有明顯的顏色信息。而利用rgb相機只能捕獲得到不同性別孔雀魚的色彩特征，無法捕獲孔雀魚的行為和輪廓特征。公魚通常比母魚更活躍，游動速度更快，行為更加敏捷，母魚通常比公魚更溫和、更冷靜，行為相對節(jié)制。單獨利用事件相機或rgb相機對孔雀魚性別進行檢測的準(zhǔn)確度無法達到實驗需要。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種雙模態(tài)孔雀魚性別檢測方法及系統(tǒng)，提高了孔雀魚性別檢測的準(zhǔn)確率，節(jié)省了大量的人力和時間。

2、本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)：

3、一種雙模態(tài)孔雀魚性別檢測方法，包括以下步驟：

4、通過rgb相機獲取孔雀魚的rgb視頻，并通過事件相機將所述rgb視頻轉(zhuǎn)換為灰度疊加視頻；

5、對所述rgb視頻和灰度疊加視頻進行抽幀，得到相同時間幀的rgb圖像和灰度疊加圖像，并對所述灰度疊加圖像進行透視變換，得到對齊后的rgb圖像和灰度疊加圖像；

6、將所述對齊后的rgb圖像和灰度疊加圖像作為特征張量輸入到性別檢測模型中進行信息融合，得到融合后重點突出的特征張量，根據(jù)所述融合后重點突出的特征張量檢測得到孔雀魚性別；

7、其中，所述信息融合的步驟包括：將輸入的所述特征張量按照通道維度拆分為兩部分左原始特征和右原始特征，對所述左原始特征和右原始特征進行數(shù)值縮放和掩碼加權(quán)，得到左掩碼加權(quán)特征和右掩碼加權(quán)特征，將所述左掩碼加權(quán)特征和左原始特征相加，將右掩碼加權(quán)特征和右原始特征相加，分別通過對應(yīng)的瓶頸卷積層進一步提取特征，得到灰度疊加圖像處理后特征和rgb圖像處理后特征，將所述灰度疊加圖像處理后特征和rgb圖像處理后特征在通道維度上拼接起來，并進行權(quán)重調(diào)整，得到融合后重點突出的特征張量。

8、進一步地，通過事件相機將所述rgb視頻轉(zhuǎn)換為灰度疊加視頻的具體步驟包括：根據(jù)所述rgb視頻得到二進制文件，通過事件相機將所述二進制文件轉(zhuǎn)換為灰度疊加視頻。

9、進一步地，根據(jù)所述rgb視頻得到二進制文件的具體步驟包括：通過事件相機采集所述rgb視頻中的fpn，生成事件流的二進制文件。

10、進一步地，若所述fpn的像素亮度超過設(shè)定的閾值，則記錄為事件，生成事件流的二進制文件。

11、進一步地，所述事件包括on事件和off事件，當(dāng)所述像素亮度增加記錄為on事件，當(dāng)所述像素亮度減少記錄為off事件。

12、進一步地，所述融合后重點突出的特征張量包括所述rgb圖像的顏色信息和灰度疊加圖像的輪廓信息。

13、進一步地，所述性別檢測模型為改進的yolov8模型，其訓(xùn)練步驟具體包括：將對齊后的rgb圖像使用labelimg進行數(shù)據(jù)標(biāo)注，將完成數(shù)據(jù)標(biāo)注的rgb圖像和灰度疊加圖像分為訓(xùn)練集和測試集，所述訓(xùn)練集用來放入所述性別檢測模型中進行訓(xùn)練，測試集用來測試所述性別檢測模型能否檢測出孔雀魚性別，通過map50評估所述性別檢測模型的準(zhǔn)確度。

14、進一步地，使用所述labelimg進行數(shù)據(jù)標(biāo)注的具體步驟包括：根據(jù)所述對齊后的rgb圖像，將孔雀魚分為公魚和母魚兩類標(biāo)簽進行標(biāo)注，所述公魚的顏色鮮艷，所述母魚的顏色單一。

15、進一步地，所述掩碼通過對1×1卷積核以步長為1且無填充的方式進行卷積操作，并結(jié)合可學(xué)習(xí)的偏置項得到。

16、按照本發(fā)明的另一方面，提供一種雙模態(tài)孔雀魚性別檢測系統(tǒng)，包括：

17、視頻獲取模塊，用于通過rgb相機獲取孔雀魚的rgb視頻，并通過事件相機將所述rgb視頻轉(zhuǎn)換為灰度疊加視頻；

18、圖像對齊模塊，用于對所述rgb視頻和灰度疊加視頻進行抽幀，得到相同時間幀的rgb圖像和灰度疊加圖像，并對所述灰度疊加圖像進行透視變換，得到對齊后的rgb圖像和灰度疊加圖像；

19、性別檢測模塊，用于將所述對齊后的rgb圖像和灰度疊加圖像作為特征張量輸入到性別檢測模型中進行信息融合，得到融合后重點突出的特征張量，根據(jù)所述融合后重點突出的特征張量檢測得到孔雀魚性別；

20、其中，所述信息融合的步驟包括：將輸入的所述特征張量按照通道維度拆分為兩部分左原始特征和右原始特征，對所述左原始特征和右原始特征進行數(shù)值縮放和掩碼加權(quán)，得到左掩碼加權(quán)特征和右掩碼加權(quán)特征，將所述左掩碼加權(quán)特征和左原始特征相加，將右掩碼加權(quán)特征和右原始特征相加，分別通過對應(yīng)的瓶頸卷積層進一步提取特征，得到灰度疊加圖像處理后特征和rgb圖像處理后特征，將所述灰度疊加圖像處理后特征和rgb圖像處理后特征在通道維度上拼接起來，并進行權(quán)重調(diào)整，得到融合后重點突出的特征張量。

21、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

22、1.本發(fā)明通過采用前端融合的方法，將事件相機和rgb相機兩種模態(tài)的信息融合為一個輸入，將輸入的特征張量按照通道維度拆分為兩部分，并進行數(shù)值縮放和掩碼加權(quán)，將經(jīng)過掩碼加權(quán)后的特征張量和原始拆分的特征張量相加，分別通過對應(yīng)的瓶頸卷積層進一步提取特征，得到兩個不同分支處理后的特征張量，把這兩個特征張量在通道維度上拼接起來，并進行權(quán)重調(diào)整，得到融合后重點突出的特征張量，根據(jù)融合后重點突出的特征張量檢測得到孔雀魚性別，提高了孔雀魚性別檢測的準(zhǔn)確度。

23、2.本發(fā)明通過采用事件相機和rgb相機雙模態(tài)融合的方法，結(jié)合了事件相機的優(yōu)勢，可以更好捕捉到的活動的孔雀魚的輪廓信息，結(jié)合了rgb相機的優(yōu)勢，可以更好的捕捉到孔雀魚不同性別的顏色信息，母魚顏色相對比較單一，公魚顏色鮮艷，能夠綜合獲取孔雀魚的信息，節(jié)省了大量的人力和時間。

技術(shù)特征：

1.一種雙模態(tài)孔雀魚性別檢測方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的雙模態(tài)孔雀魚性別檢測方法，其特征在于，通過事件相機將所述rgb視頻轉(zhuǎn)換為灰度疊加視頻的具體步驟包括：根據(jù)所述rgb視頻得到二進制文件，通過事件相機將所述二進制文件轉(zhuǎn)換為灰度疊加視頻。

3.根據(jù)權(quán)利要求2所述的雙模態(tài)孔雀魚性別檢測方法，其特征在于，根據(jù)所述rgb視頻得到二進制文件的具體步驟包括：通過事件相機采集所述rgb視頻中的fpn，生成事件流的二進制文件。

4.根據(jù)權(quán)利要求3所述的雙模態(tài)孔雀魚性別檢測方法，其特征在于，若所述fpn的像素亮度超過設(shè)定的閾值，則記錄為事件，生成事件流的二進制文件。

5.根據(jù)權(quán)利要求4所述的雙模態(tài)孔雀魚性別檢測方法，其特征在于，所述事件包括on事件和off事件，當(dāng)所述像素亮度增加記錄為on事件，當(dāng)所述像素亮度減少記錄為off事件。

6.根據(jù)權(quán)利要求1所述的雙模態(tài)孔雀魚性別檢測方法，其特征在于，所述融合后重點突出的特征張量包括所述rgb圖像的顏色信息和灰度疊加圖像的輪廓信息。

7.根據(jù)權(quán)利要求1所述的雙模態(tài)孔雀魚性別檢測方法，其特征在于，所述性別檢測模型為改進的yolov8模型，其訓(xùn)練步驟具體包括：將對齊后的rgb圖像使用labelimg進行數(shù)據(jù)標(biāo)注，將完成數(shù)據(jù)標(biāo)注的rgb圖像和灰度疊加圖像分為訓(xùn)練集和測試集，所述訓(xùn)練集用來放入所述性別檢測模型中進行訓(xùn)練，測試集用來測試所述性別檢測模型能否檢測出孔雀魚性別，通過map50評估所述性別檢測模型的準(zhǔn)確度。

8.根據(jù)權(quán)利要求7所述的雙模態(tài)孔雀魚性別檢測方法，其特征在于，使用所述labelimg進行數(shù)據(jù)標(biāo)注的具體步驟包括：根據(jù)所述對齊后的rgb圖像，將孔雀魚分為公魚和母魚兩類標(biāo)簽進行標(biāo)注，所述公魚的顏色鮮艷，所述母魚的顏色單一。

9.根據(jù)權(quán)利要求1所述的雙模態(tài)孔雀魚性別檢測方法，其特征在于，所述掩碼通過對1×1卷積核以步長為1且無填充的方式進行卷積操作，并結(jié)合可學(xué)習(xí)的偏置項得到。

10.一種雙模態(tài)孔雀魚性別檢測系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明涉及一種雙模態(tài)孔雀魚性別檢測方法及系統(tǒng)，所述方法包括以下步驟：通過RGB相機獲取孔雀魚的RGB視頻，并通過事件相機將RGB視頻轉(zhuǎn)換為灰度疊加視頻；對RGB視頻和灰度疊加視頻進行抽幀，得到相同時間幀的RGB圖像和灰度疊加圖像，并對灰度疊加圖像進行透視變換，得到對齊后的RGB圖像和灰度疊加圖像；將對齊后的RGB圖像和灰度疊加圖像作為特征張量輸入到性別檢測模型中進行信息融合，得到融合后重點突出的特征張量，根據(jù)融合后重點突出的特征張量檢測得到孔雀魚性別。與現(xiàn)有技術(shù)相比，本發(fā)明提高了孔雀魚性別檢測的準(zhǔn)確率，節(jié)省了大量的人力和時間。

技術(shù)研發(fā)人員：徐立文,趙瑩,黎明,谷鑫平
受保護的技術(shù)使用者：上海電機學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15