本發(fā)明涉及視頻異常探測和地鐵運營保障領(lǐng)域，具體涉及一種基于隧道監(jiān)控視頻的列車通過探測方法。

背景技術(shù)：

1、通過隧道監(jiān)控視頻判斷列車是否通過可以幫助監(jiān)控列車的運行情況，并且能夠及時發(fā)現(xiàn)可能發(fā)生的危險情況，從而有效地提高列車的安全性。此外，通過監(jiān)控視頻可以更好地了解列車的通過時間段，一方面可以對列車通過時間進(jìn)行分析，從而提高列車的運行效率，另一方面可以將信息處理后提供給用戶，便捷居民生活。

2、目前，監(jiān)測隧道中列車通過的技術(shù)有接觸式監(jiān)測技術(shù)和非接觸式檢測技術(shù)。其中，接觸式監(jiān)測技術(shù)包括安裝軌道電路，或給列車安裝電子標(biāo)簽并通過地面探測設(shè)備識別。這兩種方法都需要對軌道或列車進(jìn)行直接接觸式改造，施工較為困難，成本較高，并且需要反復(fù)確認(rèn)安全性。

3、非接觸式監(jiān)測技術(shù)，目前有視頻圖像處理的探測技術(shù)，如中國專利cn105303575b中，使用視頻圖像處理的方式進(jìn)行列車通過探測，對采集到的圖像進(jìn)行軌道分析和光流分析，識別出有運動物體通過軌道處，這種方法僅通過隧道監(jiān)控視頻的圖像處理得到是否有列車通過，從灰度值入手，進(jìn)行了列車通過的探測。但是這種方法依賴于高精度的圖像識別技術(shù)，如果圖像質(zhì)量不高或者受到干擾，例如光線、陰影、塵土等，可能會影響識別結(jié)果的準(zhǔn)確性。如果列車通過時的情況比較復(fù)雜，例如多列車同時通過、列車在軌道上?？康?，可能會增加識別的難度和誤差率。中國專利cn114253842a中，通過模擬軌道交通的各種障礙物和同行情況獲得模擬數(shù)據(jù)，再通過真實列車行車視頻和記錄獲得現(xiàn)實數(shù)據(jù)，最終通過深度學(xué)習(xí)圖像識別的方法得到列車智能探測系統(tǒng)的性能參數(shù)。但是這種方法不僅需要列車視頻記錄，還需要進(jìn)行模擬實驗，所需成本較高。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于，根據(jù)上面提到的不足，提出一種更便捷、節(jié)約成本、且精度更高的列車通過探測方法。本發(fā)明將列車通過探測方法轉(zhuǎn)化為每一幀視頻是否有列車的二分類問題。

2、為了實現(xiàn)上述目的，本發(fā)明提供了一種基于隧道監(jiān)控視頻的列車通過探測方法，包括：

3、構(gòu)造訓(xùn)練集：收集歷史視頻，對收集到的歷史視頻中的每一幀進(jìn)行人工標(biāo)注，通過代碼對歷史視頻進(jìn)行抽幀提取，每一幀視頻表示有或無列車，得到多個訓(xùn)練視頻幀并形成訓(xùn)練集；

4、選擇超參數(shù)并訓(xùn)練深度學(xué)習(xí)模型：將構(gòu)造好的訓(xùn)練集中所有的視頻幀輸入到多個深度學(xué)習(xí)模型中，選擇超參數(shù)并對所述多個深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，獲取并保存精度最高的深度學(xué)習(xí)模型，所述精度為準(zhǔn)確率和召回率的綜合評估f-score；

5、進(jìn)行目標(biāo)視頻分類與狀態(tài)估計：獲取目標(biāo)視頻，將目標(biāo)視頻每秒抽取的第一幀陸續(xù)放入保存的深度學(xué)習(xí)模型中進(jìn)行分類，得到分類結(jié)果及分類概率，并利用卡爾曼濾波算法進(jìn)行狀態(tài)估計；

6、輸出結(jié)果：根據(jù)卡爾曼濾波算法的內(nèi)容，得到包含列車的視頻段即為列車通過的視頻段，所述視頻段為多個連續(xù)的視頻幀。

7、在一個實施例中，所述對收集到的歷史視頻中的每一幀進(jìn)行人工標(biāo)注，通過代碼對歷史視頻進(jìn)行抽幀提取，以得到多個訓(xùn)練視頻幀并形成訓(xùn)練集，包括：

8、判斷歷史視頻中的每一幀中是否有列車通過，若無列車通過，則為該幀分配0的標(biāo)簽，若有列車通過，則為該幀分配1的標(biāo)簽；

9、通過代碼對歷史視頻進(jìn)行抽幀提取，以形成帶有0和1的標(biāo)簽的二分類數(shù)據(jù)集。

10、在一個實施例中，所述人工標(biāo)注過程通過csv文件來存儲和管理，所述csv文件用于進(jìn)行抽幀、讀取和寫入。

11、在一個實施例中，所述將構(gòu)造好的訓(xùn)練集中所有的視頻幀輸入到多個深度學(xué)習(xí)模型中進(jìn)行訓(xùn)練，并保存精度最高的深度學(xué)習(xí)模型，包括：

12、將構(gòu)造好的訓(xùn)練集中所有的視頻幀輸入到每個深度學(xué)習(xí)模型，分別判斷每個視頻幀是否包含列車，得到分類結(jié)果及分類概率；

13、根據(jù)得到的分類結(jié)果及分類概率，計算每個深度學(xué)習(xí)模型的精度，保存精度最高的深度學(xué)習(xí)模型。

14、在一個實施例中，精確度和召回率是基于混淆矩陣中的值計算得出，準(zhǔn)確率和召回率的計算方法如下：

15、精確度＝tp/(tp+fp)，召回率＝tp/(tp+fn)；

16、其中，所述精確度為被正確分類的正樣本tp占所有被分類為正的樣本的比例，fp為被預(yù)測為正的負(fù)樣本；

17、所述召回率為被正確分類的正樣本tp占所有實際為正的樣本的比例，fn為被預(yù)測為負(fù)的正樣本。

18、在一個實施例中，綜合評估f-score根據(jù)精確度和召回率計算得出，綜合評估f-score的計算方法如下：

19、f-score＝(2*精確度*召回率)/(精確度+召回率)。

20、在一個實施例中，所述精度最高的深度學(xué)習(xí)模型為殘差神經(jīng)網(wǎng)絡(luò)resnet34模型，殘差神經(jīng)網(wǎng)絡(luò)resnet34模型的精度為0.942，殘差神經(jīng)網(wǎng)絡(luò)resnet34模型的結(jié)構(gòu)包括：

21、第一部分，第一部分對輸入的視頻幀進(jìn)行一次卷積核為7×7且步長為2×2的卷積操作，并進(jìn)行一次最大池化操作，輸出所得數(shù)據(jù)；

22、第二部分，與第一部分連接，包括：

23、第一子部分，第一子部分接收第一部分輸出的數(shù)據(jù)，第一子部分包括3個殘差塊，第一子部分的卷積核個數(shù)為64，對接收到的數(shù)據(jù)進(jìn)行卷積核為3×3的卷積操作，輸出所得數(shù)據(jù)；

24、第二子部分，第二子部分接收第一子部分輸出的數(shù)據(jù)，第二子部分包括4個殘差塊，第二子部分的卷積核個數(shù)為128，對接收到的數(shù)據(jù)進(jìn)行卷積核為3×3的卷積操作，輸出所得數(shù)據(jù)；

25、第三子部分，第三子部分接收第二子部分輸出的數(shù)據(jù)，第三子部分包括6個殘差塊，第三子部分的卷積核個數(shù)為256，對接收到的數(shù)據(jù)進(jìn)行卷積核為3×3的卷積操作，輸出所得數(shù)據(jù)；

26、第四子部分，第四子部分接收第三子部分輸出的數(shù)據(jù)，第四子部分包括3個殘差塊，第四子部分的卷積核個數(shù)為512，對接收到的數(shù)據(jù)進(jìn)行卷積核為3×3的卷積操作，輸出所得數(shù)據(jù)；

27、第三部分，與第二部分連接，第三部分接收第四子部分輸出的數(shù)據(jù)，對接收到的數(shù)據(jù)進(jìn)行平均池化，經(jīng)過拉直層，最后進(jìn)行一個全連接，輸出分類概率。

28、在一個實施例中，通過卷積核為1×1卷積操作分別對第二子部分、第三子部分和第四子部分的第一個殘差塊進(jìn)行降采樣操作，以使第二子部分、第三子部分和第四子部分的通道數(shù)分別與其上一個子部分的通道數(shù)一致。

29、在一個實施例中，利用卡爾曼濾波算法進(jìn)行狀態(tài)估計為：將每秒得到的分類結(jié)果及分類概率輸入卡爾曼濾波算法中，對目標(biāo)視頻進(jìn)行狀態(tài)估計；

30、其中，卡爾曼濾波算法的建立包括如下步驟：

31、步驟1：建立卡爾曼濾波的狀態(tài)變量方程：

32、

33、其中，xk+1為視頻第k+1秒時預(yù)測是否通過列車的后驗狀態(tài)估計值，a為狀態(tài)轉(zhuǎn)移系數(shù)，b是將輸入轉(zhuǎn)化為狀態(tài)的系數(shù)；

34、步驟2：預(yù)測估計協(xié)方差方程，計算先驗概率：

35、pk+1＝pk+q

36、其中，pk+1為不確定度，q為系統(tǒng)過程的協(xié)方差；

37、步驟3：根據(jù)觀測值，更新系統(tǒng)的狀態(tài)：

38、xk＝xk+kk(zk-hxk)

39、其中，zk為k秒時第一幀的分類概率，h為從狀態(tài)變量到觀測量的轉(zhuǎn)換系數(shù)，設(shè)為1，kk為k秒時的卡爾曼增益，具體為：

40、

41、其中r為測量噪聲；

42、步驟4：根據(jù)更新后的狀態(tài)，估計系統(tǒng)的未來狀態(tài)，其中，更新估計協(xié)方差方程公式為：

43、pk＝(1-kk)pk。

44、在一個實施例中，a設(shè)為1，b設(shè)為0，q設(shè)為0.1，h設(shè)為1，r設(shè)為0.5。

45、本發(fā)明的基于隧道監(jiān)控視頻的列車通過探測方法具有如下有益效果：

46、本發(fā)明相較于傳統(tǒng)圖像處理方式的探測手段，準(zhǔn)確率更高，相較于單純的視頻深度學(xué)習(xí)的優(yōu)點在于，既通過深度學(xué)習(xí)技術(shù)對視頻幀圖像進(jìn)行分類，可以提高分類的準(zhǔn)確率，減少誤判率，又采用卡爾曼濾波算法對視頻段進(jìn)行處理，能夠更加準(zhǔn)確地提取包含列車的時間段。此外，本發(fā)明可以應(yīng)用于各種類型的隧道監(jiān)控視頻中，節(jié)約成本，且具有廣泛的適用性。