本發(fā)明屬于多目標(biāo)跟蹤領(lǐng)域，涉及一種基于多相似度矩陣融合的多目標(biāo)跟蹤方法和裝置。

背景技術(shù)：

1、計(jì)算機(jī)視覺是通過計(jì)算機(jī)及相關(guān)設(shè)備模擬生物視覺的過程，研究如何使機(jī)器具備“看”的能力。多目標(biāo)跟蹤作為計(jì)算機(jī)視覺領(lǐng)域的重要分支，不僅對于提升視頻內(nèi)容的理解和分析能力具有重要意義，而且在保障公共安全、優(yōu)化交通管理、提升人機(jī)交互體驗(yàn)等方面也發(fā)揮著重要作用。多目標(biāo)跟蹤的目標(biāo)是從復(fù)雜的視頻流中準(zhǔn)確識(shí)別、定位和追蹤多個(gè)感興趣的目標(biāo)，例如行人、車輛等。通過持續(xù)跟蹤這些目標(biāo)的運(yùn)動(dòng)軌跡，能夠獲取豐富的動(dòng)態(tài)信息，例如目標(biāo)的位置、速度、加速度等，從而實(shí)現(xiàn)對目標(biāo)行為的準(zhǔn)確分析和預(yù)測。

2、隨著深度學(xué)習(xí)在各種計(jì)算機(jī)視覺任務(wù)中的廣泛應(yīng)用，基于深度學(xué)習(xí)和檢測的多目標(biāo)跟蹤算法可劃分為基于檢測的跟蹤和聯(lián)合檢測跟蹤。基于檢測的跟蹤模式具有模塊化設(shè)計(jì)和靈活性的主要優(yōu)點(diǎn)，將目標(biāo)檢測和目標(biāo)跟蹤任務(wù)分離，使得每個(gè)任務(wù)可以獨(dú)立優(yōu)化。特別是在利用深度學(xué)習(xí)技術(shù)時(shí)，基于檢測的跟蹤范式可以有效利用先進(jìn)的檢測算法實(shí)現(xiàn)精確的目標(biāo)定位，并在處理涉及物體遮擋、變形或尺度變化的復(fù)雜場景時(shí)表現(xiàn)出色。相反，聯(lián)合檢測和跟蹤范式強(qiáng)調(diào)全局優(yōu)化和計(jì)算效率，將檢測和跟蹤任務(wù)結(jié)合在一起，共享特征提取網(wǎng)絡(luò)，形成統(tǒng)一的優(yōu)化框架。其目標(biāo)是在全局環(huán)境中找到最佳解決方案，從而減少與獨(dú)立的檢測和跟蹤過程相關(guān)的計(jì)算負(fù)擔(dān)。共享的特征計(jì)算不僅減少了冗余計(jì)算，還提高了算法速度，提升了整體跟蹤效率。

3、盡管上述研究采用不同方式提高了多目標(biāo)跟蹤的精度，但在目標(biāo)跟蹤過程中，由于目標(biāo)的模糊、小體積和遮擋等因素，目標(biāo)的外觀特征會(huì)變得不穩(wěn)定，導(dǎo)致跟蹤任務(wù)中的id切換問題，所以提取到更精確的目標(biāo)外觀特征對于計(jì)算目標(biāo)之間的相似度度量至關(guān)重要。然而，現(xiàn)有算法采用簡單的卷積特征提取目標(biāo)外觀特征信息，對目標(biāo)的外觀特征描述不夠充分，無法滿足實(shí)際應(yīng)用場景的需求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決現(xiàn)有技術(shù)的上述問題，提出一種基于多相似度矩陣融合的多目標(biāo)跟蹤方法和裝置。

2、為實(shí)現(xiàn)上述目的，本發(fā)明所采取的技術(shù)方案為：

3、本發(fā)明的第一個(gè)方面提出的一種基于多相似度矩陣融合的多目標(biāo)跟蹤方法，包括：

4、s1、將輸入圖像輸入目標(biāo)檢測模型，得到圖像中每個(gè)目標(biāo)的檢測框，通過卡爾曼濾波器對上一幀目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測，得到預(yù)測框。

5、s2、將檢測框和預(yù)測框輸入到外觀模型wrn和sift特征提取器，得到對應(yīng)的sift特征和wrn特征。

6、s3、計(jì)算檢測框和預(yù)測框目標(biāo)之間的馬氏距離和余弦距離，構(gòu)建出對應(yīng)的wrn特征相似度矩陣和sift特征相似度矩陣，按照一定權(quán)重進(jìn)行融合得到最終的代價(jià)矩陣。

7、s4、通過匈牙利算法對目標(biāo)進(jìn)行匹配，得到第一次匹配結(jié)果，將第一次匹配結(jié)果中未匹配的目標(biāo)和未匹配的檢測再進(jìn)行一次iou匹配，得到目標(biāo)的軌跡。

8、s5、通過與外觀無關(guān)的連接模型和高斯平滑插值法，得到目標(biāo)最終的軌跡。

9、本發(fā)明的第二個(gè)方面涉及一種基于多相似度矩陣融合的多目標(biāo)跟蹤裝置，包括存儲(chǔ)器和一個(gè)或多個(gè)處理器，所述存儲(chǔ)器中存儲(chǔ)有可執(zhí)行代碼，所述一個(gè)或多個(gè)處理器執(zhí)行所述可執(zhí)行代碼時(shí)，用于實(shí)現(xiàn)本發(fā)明的基于多相似度矩陣融合的多目標(biāo)跟蹤方法。

10、本發(fā)明的第三個(gè)方面涉及一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序，該程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)本發(fā)明的基于多相似度矩陣融合的多目標(biāo)跟蹤方法。

11、針對目標(biāo)模糊、目標(biāo)尺寸小、遮擋造成目標(biāo)外觀特征不穩(wěn)定，容易造成跟蹤任務(wù)出現(xiàn)id切換問題，本發(fā)明引入sift和wrn的相似度矩陣融合，豐富目標(biāo)的外觀信息描述。此外，本發(fā)明還采用與外觀無關(guān)的連接模型將短的軌跡關(guān)聯(lián)成完整的軌跡，并通過高斯平滑插值法填補(bǔ)因缺失檢測而造成的軌跡空白，在目標(biāo)尺寸小、遮擋、模糊等復(fù)雜場景下展現(xiàn)了良好的性能，具有更好的魯棒性和跟蹤精度，能夠更好地應(yīng)用在目標(biāo)跟蹤領(lǐng)域。

12、本發(fā)明的優(yōu)點(diǎn)是：在目標(biāo)尺寸小、遮擋、模糊等復(fù)雜場景下展現(xiàn)了良好的性能，具有更好的魯棒性和跟蹤精度，能夠更好地應(yīng)用在目標(biāo)跟蹤領(lǐng)域。

技術(shù)特征：

1.一種基于多相似度矩陣融合的多目標(biāo)跟蹤方法，包括下列步驟：

2.如權(quán)利要求1所述的一種基于多相似度矩陣融合的多目標(biāo)跟蹤方法，其特征在于，步驟s2所述的外觀模型wrn具有2個(gè)卷積層、6個(gè)殘差塊和1個(gè)dense層；每個(gè)卷積層都使用3×3的卷積核；在卷積層之后，網(wǎng)絡(luò)執(zhí)行一次池化操作；接下來是六個(gè)殘差塊結(jié)構(gòu)，每個(gè)殘差塊都包含多個(gè)卷積層，并且通過殘差連接將輸入與輸出相加；在提取出128維特征向量后，使用l2歸一化對特征進(jìn)行映射；sift特征提取器通過尺度空間極值檢測、關(guān)鍵點(diǎn)定位、關(guān)鍵點(diǎn)方向確定、關(guān)鍵點(diǎn)描述的過程來提取檢測框和預(yù)測框中目標(biāo)的sift特征向量，然后將其展平為一維向量，并對sift特征向量進(jìn)行batchnorm歸一化。

3.如權(quán)利要求1所述的一種基于多相似度矩陣融合的多目標(biāo)跟蹤方法，其特征在于，步驟s3具體包括：

4.如權(quán)利要求1所述的一種基于多相似度矩陣融合的多目標(biāo)跟蹤方法，其特征在于，步驟s4具體包括：當(dāng)?shù)玫酱鷥r(jià)矩陣后，使用匈牙利算法按照未成功匹配的幀數(shù)從0開始遞增到amax對軌跡進(jìn)行循環(huán)匹配，未成功匹配的幀數(shù)小的優(yōu)先進(jìn)行最優(yōu)匹配；其中匹配成功的軌跡和檢測需要在門控矩陣的閾值內(nèi)，循環(huán)次數(shù)大于amax時(shí)，結(jié)束循環(huán)匹配，返回未匹配成功的軌跡和檢測，得到匹配結(jié)果；將匹配結(jié)果中未匹配的軌跡和未匹配的檢測再進(jìn)行一次iou匹配；將不能確定的軌跡和大于設(shè)定最大壽命的軌跡刪除；將兩次匹配成功的軌跡通過卡爾曼濾波，未匹配的檢測新建為新軌跡，更新到下一幀的軌跡；匹配完成后，最終每個(gè)目標(biāo)的軌跡。

5.如權(quán)利要求1所述的一種基于多相似度矩陣融合的多目標(biāo)跟蹤方法，其特征在于，步驟s5具體包括：

6.一種基于多相似度矩陣融合的多目標(biāo)跟蹤裝置，其特征在于，包括存儲(chǔ)器和一個(gè)或多個(gè)處理器，所述存儲(chǔ)器中存儲(chǔ)有可執(zhí)行代碼，所述一個(gè)或多個(gè)處理器執(zhí)行所述可執(zhí)行代碼時(shí)，用于實(shí)現(xiàn)權(quán)利要求1-5中任一項(xiàng)所述的基于多相似度矩陣融合的多目標(biāo)跟蹤方法。

7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有程序，該程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)權(quán)利要求1-5中任一項(xiàng)所述的基于多相似度矩陣融合的多目標(biāo)跟蹤方法。

技術(shù)總結(jié)
一種基于多相似度矩陣融合的多目標(biāo)跟蹤方法和裝置，其方法包括：將輸入圖像輸入目標(biāo)檢測模型，得到圖像中每個(gè)目標(biāo)的檢測框，通過卡爾曼濾波器對上一幀目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測，得到預(yù)測框；將檢測框和預(yù)測框輸入到外觀模型WRN和SIFT特征提取器，得到對應(yīng)的SIFT特征和WRN特征；計(jì)算檢測框和預(yù)測框目標(biāo)之間的馬氏距離和余弦距離，構(gòu)建出對應(yīng)的WRN特征相似度矩陣和SIFT特征相似度矩陣，按照一定權(quán)重進(jìn)行融合得到最終的代價(jià)矩陣；通過匈牙利算法對目標(biāo)進(jìn)行匹配，得到第一次匹配結(jié)果，將第一次匹配結(jié)果中未匹配的目標(biāo)和未匹配的檢測再進(jìn)行一次IOU匹配，得到目標(biāo)的軌跡；通過與外觀無關(guān)的連接模型和高斯平滑插值法，得到目標(biāo)最終的軌跡。本發(fā)明在目標(biāo)尺寸小、遮擋、模糊等復(fù)雜場景下展現(xiàn)了良好的性能。

技術(shù)研發(fā)人員：周德龍,陳濤,張雨飛
受保護(hù)的技術(shù)使用者：浙江工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15