本技術涉及目標跟蹤,尤其涉及一種基于視覺孿生編碼的船舶目標跟蹤方法、系統(tǒng)及介質。
背景技術:
1、隨著港口及內河航道運輸需求的不斷增長,船舶監(jiān)控技術在交通管理和航行安全保障中發(fā)揮著日益重要的作用。然而,這些區(qū)域通常具有航道狹窄、交通繁忙、環(huán)境復雜的特點,船舶在航行過程中容易受到其他船舶、港口設施以及地形遮擋的影響。遮擋問題不僅對船舶目標的持續(xù)跟蹤和有效檢測構成挑戰(zhàn),還增加了目標誤判與丟失的風險,對航行安全帶來潛在威脅。
2、傳統(tǒng)的目標跟蹤算法如sort和deepsort主要基于卡爾曼濾波和數據關聯技術,在目標遮擋的復雜環(huán)境下存在明顯不足。當目標被部分遮擋時,難以捕獲完整的特征信息,導致目標匹配精度顯著下降;而在目標完全遮擋后重新出現時,缺乏有效的重識別機制,容易將原目標誤判為新目標。這些方法對動態(tài)環(huán)境的適應性也較差,在面對港口和內河航道中的多目標遮擋、光照變化等復雜場景時,魯棒性和穩(wěn)定性無法得到保障。
技術實現思路
1、為解決上述技術問題,本發(fā)明的目的在于:提供一種基于視覺孿生編碼的船舶目標跟蹤方法、系統(tǒng)及介質,能夠提高船舶目標跟蹤和重識別的精準度。
2、為實現上述目的,本技術實施例的一方面提出了一種基于視覺孿生編碼的船舶目標跟蹤方法,包括以下步驟:
3、獲取待識別的船舶視頻序列,對所述船舶視頻序列中的各幀圖像進行目標檢測,得到各幀所述圖像對應的檢測框;
4、對所述檢測框進行更新預測,得到當前幀所述圖像中的各船舶目標對應的目標預測框和下一幀所述圖像中的各船舶目標對應的目標檢測框;
5、通過預先訓練好的視覺孿生編碼模型和交并比計算式根據各所述目標預測框和各所述目標檢測框,構建代價矩陣,進而通過匈牙利算法根據所述代價矩陣進行目標關聯,得到船舶目標初次跟蹤結果;
6、對所述檢測框進行分類,得到船舶目標類型,將所述船舶目標類型中的消逝目標與新生目標進行相似度比對,進而根據相似度比對結果進行目標重識別,得到船舶目標二次跟蹤結果。
7、在一些實施例中,所述通過預先訓練好的視覺孿生編碼模型和交并比計算式根據各所述目標預測框和各所述目標檢測框,構建代價矩陣,具體包括:
8、通過所述視覺孿生編碼模型將各所述目標預測框與各所述目標檢測框進行相似度計算,得到第一相似度;
9、通過所述交并比計算式將各所述目標預測框與各所述目標檢測框進行匹配計算,得到交并比值;
10、以當前幀所述圖像中的各船舶目標作為行,以下一幀所述圖像中的各船舶目標作為列,根據所述第一相似度和所述交并比值,構建所述代價矩陣。
11、在一些實施例中,所述通過所述視覺孿生編碼模型將各所述目標預測框與各所述目標檢測框進行相似度計算,得到第一相似度,具體包括:
12、基于深度卷積神經網絡訓練得到所述視覺孿生編碼模型;
13、將各所述目標預測框和各所述目標檢測框輸入所述視覺孿生編碼模型;
14、對所述目標預測框進行特征提取,得到第一深度特征,并對所述目標檢測框進行特征提取,得到第二深度特征;
15、通過馬氏距離計算式將所述第一深度特征與所述第二深度特征進行相似度計算,得到所述第一相似度。
16、在一些實施例中,所述通過匈牙利算法根據所述代價矩陣進行目標關聯,得到船舶目標初次跟蹤結果,具體包括:
17、確定所述代價矩陣中各行的行最小值和各列的列最小值;
18、將所述代價矩陣的各行與各行中的所述行最小值進行減法運算,并將所述代價矩陣中的各列與各列中的所述列最小值進行減法運算,得到第一代價矩陣;
19、確定所述第一代價矩陣的獨立零元素數量和矩陣維度;
20、當所述獨立零元素數量等于所述矩陣維度,得到所述船舶目標初次跟蹤結果;
21、當所述獨立零元素數量大于或小于所述矩陣維度,對所述第一代價矩陣進行調整,直至所述獨立零元素數量等于所述矩陣維度,得到所述船舶目標初次跟蹤結果。
22、在一些實施例中,所述船舶目標類型包括關聯目標、所述消逝目標以及所述新生目標,所述對所述檢測框進行分類,得到船舶目標類型,具體包括:
23、將在當前幀所述圖像和前一幀所述圖像中均檢測到且成功關聯的所述檢測框劃分為所述關聯目標;
24、將在當前幀所述圖像中檢測到且在下一幀所述圖像中未檢測到的所述檢測框劃分為所述消逝目標;
25、將在當前幀所述圖像中檢測到且在上一幀所述圖像中未檢測到的所述檢測框劃分為所述新生目標。
26、在一些實施例中,所述將所述船舶目標類型中的消逝目標與新生目標進行相似度比對,進而根據相似度比對結果進行目標重識別,得到船舶目標二次跟蹤結果,具體包括:
27、將各所述消逝目標的最后一幀所述圖像對應的所述檢測框進行存儲,得到消逝目標集合;
28、通過所述視覺孿生編碼模型將所述新生目標與所述消逝目標集合中的各所述檢測框進行相似度計算,得到第二相似度;
29、確定相似度閾值,將所述第二相似度與所述相似度閾值進行相似度比對,進而根據相似度比對結果進行目標重識別,得到所述船舶目標二次跟蹤結果。
30、在一些實施例中,所述將所述第二相似度與所述相似度閾值進行相似度比對,進而根據相似度比對結果進行目標重識別,得到所述船舶目標二次跟蹤結果,具體包括:
31、當所述第二相似度大于或等于所述相似度閾值,將該所述新生目標與對應的所述檢測框進行目標關聯,得到所述船舶目標二次跟蹤結果;
32、當所述第二相似度小于所述相似度閾值,對該所述新生目標進行標識號配置和軌跡生成,得到所述船舶目標二次跟蹤結果。
33、為實現上述目的,本技術實施例的另一方面提出了一種基于視覺孿生編碼的船舶目標跟蹤系統(tǒng),包括:
34、目標檢測模塊,用于獲取待識別的船舶視頻序列,對所述船舶視頻序列中的各幀圖像進行目標檢測,得到各幀所述圖像對應的檢測框;
35、更新預測模塊,用于對所述檢測框進行更新預測,得到當前幀所述圖像中的各船舶目標對應的目標預測框和下一幀所述圖像中的各船舶目標對應的目標檢測框;
36、目標關聯模塊,用于通過預先訓練好的視覺孿生編碼模型和交并比計算式根據各所述目標預測框和各所述目標檢測框,構建代價矩陣,進而通過匈牙利算法根據所述代價矩陣進行目標關聯,得到船舶目標初次跟蹤結果;
37、目標重識別模塊,用于對所述檢測框進行分類,得到船舶目標類型,將所述船舶目標類型中的消逝目標與新生目標進行相似度比對,進而根據相似度比對結果進行目標重識別,得到船舶目標二次跟蹤結果。
38、為實現上述目的,本技術實施例的另一方面提出了一種電子設備,所述電子設備包括存儲器、處理器、存儲在所述存儲器上并可在所述處理器上運行的程序以及用于實現所述處理器和所述存儲器之間的連接通信的數據總線,所述程序被所述處理器執(zhí)行時實現如前面所述的基于視覺孿生編碼的船舶目標跟蹤方法。
39、為實現上述目的,本技術實施例的另一方面提出了一種存儲介質,所述存儲介質為計算機可讀存儲介質,用于計算機可讀存儲,所述存儲介質存儲有一個或者多個程序,所述一個或者多個程序可被一個或者多個處理器執(zhí)行,以實現如前面所述的基于視覺孿生編碼的船舶目標跟蹤方法。
40、本發(fā)明的有益效果是:本發(fā)明的基于視覺孿生編碼的船舶目標跟蹤方法、系統(tǒng)及介質,通過將交并比與視覺孿生編碼模型計算的相似度結合構建代價矩陣,進而使用匈牙利算法根據代價矩陣實現多目標關聯,能夠有效提高目標匹配的準確性,解決傳統(tǒng)方法在船舶目標部分遮擋情況下無法持續(xù)跟蹤的技術難題,實現對船舶目標的精準跟蹤。且在船舶目標被完全遮擋或消失后,對船舶目標進行分類,對重新出現的目標進行高精度重識別,能夠顯著提升目標跟蹤的魯棒性和準確性,解決多船交匯、遮擋以及光線變化等復雜場景中的目標跟蹤問題,增強系統(tǒng)對動態(tài)環(huán)境的適應性。