本申請涉及視頻分析，特別地，涉及一種基于固定場景的視頻抖動序列提取方法、設(shè)備及介質(zhì)。

背景技術(shù)：

1、視頻拍攝場景分為固定場景與運(yùn)動場景，固定場景的視頻，即拍攝視頻的場景沒有大幅移動，監(jiān)控固定區(qū)域。視頻監(jiān)控領(lǐng)域大部分視頻就是固定場景的視頻。近年來，視頻監(jiān)控受到安保項(xiàng)目以及各行業(yè)視頻監(jiān)控需求快速增長等因素的刺激和拉動，取得了快速發(fā)展，整個(gè)市場規(guī)模迅速擴(kuò)大。而監(jiān)控系統(tǒng)想要發(fā)揮應(yīng)有的作用，必須要保證傳輸視頻的質(zhì)量，需要對監(jiān)控系統(tǒng)進(jìn)行運(yùn)維和維護(hù)。

2、視頻抖動是監(jiān)控系統(tǒng)中常出現(xiàn)的一種故障，通常由于攝像頭固定不夠牢固或外力、人力作用下而導(dǎo)致的視頻畫面產(chǎn)生的周期性或無規(guī)律晃動。隨著監(jiān)控市場的不斷發(fā)展和擴(kuò)充，前端的監(jiān)控?cái)z像頭數(shù)量不斷增大，人工運(yùn)維的工作量越來越大，成本越來越高。因此，一種自動檢測視頻是否抖動的方法顯得尤為重要。

3、在檢測出視頻出現(xiàn)抖動后，需要對視頻進(jìn)行去抖動操作。然而，一段視頻中，很少出現(xiàn)視頻全程都在抖動的情況。若直接對整段視頻進(jìn)行一個(gè)視頻去抖動操作，平白無故增加了計(jì)算量，影響了運(yùn)算效率，甚至對不抖動的視頻片段進(jìn)行去抖動處理會影響本來的視頻質(zhì)量。因此，一種快速定位、提取視頻中不穩(wěn)定片段的方法顯得尤為重要。

技術(shù)實(shí)現(xiàn)思路

1、本申請?zhí)峁┝艘环N基于固定場景的視頻抖動序列提取方法、設(shè)備及介質(zhì)，以解決現(xiàn)有技術(shù)中所存在的一個(gè)或多個(gè)技術(shù)問題，至少提供一種有益的選擇或創(chuàng)造條件。

2、本申請的其他特性和優(yōu)點(diǎn)將通過下面的詳細(xì)描述變得顯然，或部分地通過本申請的實(shí)踐而習(xí)得。

3、根據(jù)本申請實(shí)施例的一個(gè)方面，提供了一種基于固定場景的視頻抖動序列提取方法，所述方法包括：

4、獲取針對目標(biāo)區(qū)域的目標(biāo)視頻數(shù)據(jù)，所述目標(biāo)視頻數(shù)據(jù)由多幀圖像組成；

5、提取所述目標(biāo)視頻數(shù)據(jù)中的各個(gè)目標(biāo)圖像，每一所述目標(biāo)圖像由相鄰的兩幀圖像組成；

6、針對每一目標(biāo)圖像，獲取所述目標(biāo)圖像的圖像光流數(shù)據(jù)，并根據(jù)所述圖像光流數(shù)據(jù)確定所述目標(biāo)圖像的運(yùn)動強(qiáng)度信息；

7、根據(jù)各個(gè)所述運(yùn)動強(qiáng)度信息生成所述目標(biāo)視頻數(shù)據(jù)的抖動序列分析圖；

8、對所述抖動序列分析圖進(jìn)行峰值檢測，得到滿足預(yù)設(shè)峰值要求的多個(gè)目標(biāo)峰值；

9、根據(jù)各個(gè)所述目標(biāo)峰值確定所述目標(biāo)視頻數(shù)據(jù)中存在抖動的目標(biāo)抖動幀序列。

10、在本申請的一個(gè)實(shí)施例中，基于前述方案，每幀所述圖像的各個(gè)像素點(diǎn)對應(yīng)于所述目標(biāo)區(qū)域內(nèi)的各個(gè)位置點(diǎn)，所述獲取所述目標(biāo)圖像的圖像光流數(shù)據(jù)，包括：

11、獲取所述目標(biāo)圖像中相鄰兩幀圖像之間的多個(gè)光流矢量，每一所述像素點(diǎn)對應(yīng)一個(gè)所述光流矢量；

12、根據(jù)預(yù)設(shè)的隨機(jī)參數(shù)估計(jì)算法，在各個(gè)所述光流矢量中去除處于異常狀態(tài)的異常光流矢量，得到處于正常狀態(tài)的各個(gè)目標(biāo)光流矢量；

13、根據(jù)各個(gè)所述目標(biāo)光流矢量生成所述圖像光流數(shù)據(jù)；

14、其中，所述異常光流矢量用于表征與所述異常光流矢量對應(yīng)的位置點(diǎn)存在運(yùn)動物體。

15、在本申請的一個(gè)實(shí)施例中，基于前述方案，所述根據(jù)所述圖像光流數(shù)據(jù)確定所述目標(biāo)圖像的運(yùn)動強(qiáng)度信息，包括：

16、針對所述圖像光流數(shù)據(jù)中的每一目標(biāo)光流矢量，對所述目標(biāo)光流矢量進(jìn)行位移矢量分解，得到第一預(yù)設(shè)方向的第一位移矢量和第二預(yù)設(shè)方向的第二位移矢量，并根據(jù)所述第一位移矢量和所述第二位移矢量確定與所述目標(biāo)光流矢量對應(yīng)的像素點(diǎn)的像素光流矢量；

17、根據(jù)各個(gè)所述像素光流矢量確定所述目標(biāo)圖像的運(yùn)動強(qiáng)度信息。

18、在本申請的一個(gè)實(shí)施例中，基于前述方案，所述根據(jù)各個(gè)所述像素光流矢量確定所述目標(biāo)圖像的運(yùn)動強(qiáng)度信息，包括：

19、對各個(gè)所述像素光流矢量之和求平均值，得到所述運(yùn)動強(qiáng)度信息。

20、在本申請的一個(gè)實(shí)施例中，基于前述方案，所述目標(biāo)視頻數(shù)據(jù)包括幀序列信息，所述幀序列信息用于表征各幀所述圖像在所述目標(biāo)視頻數(shù)據(jù)中的次序，所述根據(jù)各個(gè)所述運(yùn)動強(qiáng)度信息生成所述目標(biāo)視頻數(shù)據(jù)的抖動序列分析圖，包括：

21、根據(jù)各個(gè)所述運(yùn)動強(qiáng)度信息以及所述幀序列信息生成所述抖動序列分析圖。

22、在本申請的一個(gè)實(shí)施例中，基于前述方案，所述預(yù)設(shè)峰值要求包括預(yù)設(shè)高度閾值和預(yù)設(shè)突出度閾值，所述預(yù)設(shè)高度閾值為第一預(yù)設(shè)閾值與第二預(yù)設(shè)閾值之和，所述預(yù)設(shè)突出度閾值為第三預(yù)設(shè)閾值的十分之一；所述第一預(yù)設(shè)閾值為各個(gè)所述運(yùn)動強(qiáng)度信息的平均值，所述第二預(yù)設(shè)閾值為各個(gè)所述運(yùn)動強(qiáng)度信息的標(biāo)準(zhǔn)差的二分之一，所述第三預(yù)設(shè)閾值為各個(gè)所述運(yùn)動強(qiáng)度信息中的最大值；所述預(yù)設(shè)峰值要求為所述運(yùn)動強(qiáng)度信息大于所述預(yù)設(shè)高度閾值且大于所述預(yù)設(shè)突出度閾值。

23、在本申請的一個(gè)實(shí)施例中，基于前述方案，所述目標(biāo)峰值包括索引位置和寬度，所述根據(jù)各個(gè)所述目標(biāo)峰值確定所述目標(biāo)視頻數(shù)據(jù)中存在抖動的目標(biāo)抖動幀序列，包括：

24、根據(jù)各個(gè)所述目標(biāo)峰值在所述抖動序列分析圖中查找存在抖動的抖動幀序列；

25、根據(jù)各個(gè)所述抖動幀序列確定所述目標(biāo)視頻數(shù)據(jù)中存在抖動的目標(biāo)抖動幀序列。

26、根據(jù)本申請實(shí)施例的一個(gè)方面，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括可執(zhí)行指令，當(dāng)該可執(zhí)行指令被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如上述實(shí)施例中所述的方法。

27、根據(jù)本申請實(shí)施例的一個(gè)方面，提供了一種電子設(shè)備，包括：一個(gè)或多個(gè)處理器；存儲器，用于存儲所述處理器的可執(zhí)行指令，當(dāng)所述可執(zhí)行指令被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)如上述實(shí)施例中所述的方法。

28、本申請的有益效果：本申請通過獲取相鄰兩幀圖像，也即目標(biāo)圖像的圖像光流數(shù)據(jù)，進(jìn)而通過圖像光流數(shù)據(jù)確定目標(biāo)圖像的運(yùn)動強(qiáng)度信息，也即相鄰兩幀圖像的運(yùn)動強(qiáng)度信息。以此來獲取目標(biāo)視頻數(shù)據(jù)中每相鄰兩幀圖像之間的運(yùn)動強(qiáng)度信息，進(jìn)而生成對應(yīng)的抖動序列分析圖，那么對抖動序列分析圖進(jìn)行峰值檢測，得到滿足預(yù)設(shè)峰值要求的多個(gè)目標(biāo)峰值，進(jìn)而可以根據(jù)目標(biāo)峰值的位置來確定目標(biāo)視頻數(shù)據(jù)中存在抖動的目標(biāo)抖動幀序列，以此來對存在抖動的目標(biāo)抖動幀序列進(jìn)行提取，后續(xù)在進(jìn)行消抖算法時(shí)無需對目標(biāo)視頻數(shù)據(jù)進(jìn)行整段消抖，只需對提取得到的目標(biāo)抖動幀序列進(jìn)行消抖，降低了消抖算法的計(jì)算量的同時(shí)，可以快速定位以及提取目標(biāo)視頻數(shù)據(jù)中存在抖動的片段。

29、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本申請。

技術(shù)特征：

1.一種基于固定場景的視頻抖動序列提取方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的基于固定場景的視頻抖動序列提取方法，其特征在于，每幀所述圖像的各個(gè)像素點(diǎn)對應(yīng)于所述目標(biāo)區(qū)域內(nèi)的各個(gè)位置點(diǎn)，所述獲取所述目標(biāo)圖像的圖像光流數(shù)據(jù)，包括：

3.根據(jù)權(quán)利要求2所述的基于固定場景的視頻抖動序列提取方法，其特征在于，所述根據(jù)所述圖像光流數(shù)據(jù)確定所述目標(biāo)圖像的運(yùn)動強(qiáng)度信息，包括：

4.根據(jù)權(quán)利要求3所述的基于固定場景的視頻抖動序列提取方法，其特征在于，所述根據(jù)各個(gè)所述像素光流矢量確定所述目標(biāo)圖像的運(yùn)動強(qiáng)度信息，包括：

5.根據(jù)權(quán)利要求4所述的基于固定場景的視頻抖動序列提取方法，其特征在于，所述目標(biāo)視頻數(shù)據(jù)包括幀序列信息，所述幀序列信息用于表征各幀所述圖像在所述目標(biāo)視頻數(shù)據(jù)中的次序，所述根據(jù)各個(gè)所述運(yùn)動強(qiáng)度信息生成所述目標(biāo)視頻數(shù)據(jù)的抖動序列分析圖，包括：

6.根據(jù)權(quán)利要求5所述的基于固定場景的視頻抖動序列提取方法，其特征在于，所述預(yù)設(shè)峰值要求包括預(yù)設(shè)高度閾值和預(yù)設(shè)突出度閾值，所述預(yù)設(shè)高度閾值為第一預(yù)設(shè)閾值與第二預(yù)設(shè)閾值之和，所述預(yù)設(shè)突出度閾值為第三預(yù)設(shè)閾值的十分之一；所述第一預(yù)設(shè)閾值為各個(gè)所述運(yùn)動強(qiáng)度信息的平均值，所述第二預(yù)設(shè)閾值為各個(gè)所述運(yùn)動強(qiáng)度信息的標(biāo)準(zhǔn)差的二分之一，所述第三預(yù)設(shè)閾值為各個(gè)所述運(yùn)動強(qiáng)度信息中的最大值；所述預(yù)設(shè)峰值要求為所述運(yùn)動強(qiáng)度信息大于所述預(yù)設(shè)高度閾值且大于所述預(yù)設(shè)突出度閾值。

7.根據(jù)權(quán)利要求6所述的基于固定場景的視頻抖動序列提取方法，其特征在于，所述目標(biāo)峰值包括索引位置和寬度，所述根據(jù)各個(gè)所述目標(biāo)峰值確定所述目標(biāo)視頻數(shù)據(jù)中存在抖動的目標(biāo)抖動幀序列，包括：

8.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括存儲器和處理器，所述存儲器存儲有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述的基于固定場景的視頻抖動序列提取方法。

9.一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7任一項(xiàng)所述的基于固定場景的視頻抖動序列提取方法。

技術(shù)總結(jié)
本申請涉及視頻分析技術(shù)領(lǐng)域，涉及一種基于固定場景的視頻抖動序列提取方法、設(shè)備及介質(zhì)。所述方法包括：獲取針對目標(biāo)區(qū)域的目標(biāo)視頻數(shù)據(jù)；提取目標(biāo)視頻數(shù)據(jù)中的各個(gè)目標(biāo)圖像；針對每一目標(biāo)圖像，獲取目標(biāo)圖像的圖像光流數(shù)據(jù)，并根據(jù)圖像光流數(shù)據(jù)確定目標(biāo)圖像的運(yùn)動強(qiáng)度信息；根據(jù)各個(gè)運(yùn)動強(qiáng)度信息生成抖動序列分析圖；對抖動序列分析圖進(jìn)行峰值檢測，得到滿足預(yù)設(shè)峰值要求的目標(biāo)峰值；根據(jù)各個(gè)目標(biāo)峰值確定目標(biāo)視頻數(shù)據(jù)中存在抖動的目標(biāo)抖動幀序列。本申請可以對存在抖動的目標(biāo)抖動幀序列進(jìn)行提取，后續(xù)在進(jìn)行消抖算法時(shí)無需對目標(biāo)視頻數(shù)據(jù)進(jìn)行整段消抖，在降低了消抖算法的計(jì)算量的同時(shí)，可以快速定位以及提取目標(biāo)視頻數(shù)據(jù)中存在抖動的片段。

技術(shù)研發(fā)人員：吳立軍,劉一鳴,董正,閆滿,萬運(yùn)康,馮兵,蔣永豪,李洲,李強(qiáng)
受保護(hù)的技術(shù)使用者：華南師范大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15