專利名稱：一種基于視頻中物體運(yùn)動(dòng)特征的視覺顯著性算法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種基于視頻中物體運(yùn)動(dòng)特征的視覺顯著性算法，屬于計(jì)算機(jī)視覺、圖像處理技術(shù)領(lǐng)域。
背景技術(shù)：
隨著信息技術(shù)的發(fā)展，生活中人們接觸到的視頻信息量越來越龐大，如何高效提取視頻中顯著物體引起了越來越多研究者的關(guān)注，視覺顯著性在視頻信號(hào)處理方面有著廣泛的應(yīng)用，比如視頻檢索、視頻壓縮、視頻監(jiān)控、視頻跟蹤等領(lǐng)域。視頻檢索方面，由于視頻數(shù)據(jù)量非常大，因此提取出視頻中的顯著性物體，并將其作為視頻的特征可以有效的提高檢索的準(zhǔn)確性。視頻壓縮方面，由于現(xiàn)在視頻分辨率越來越高，因此高效的視頻壓縮算法也是研究的熱點(diǎn)之一。同時(shí)結(jié)合人眼視覺模型的視頻壓縮算法是下一代視頻編解碼的關(guān)鍵技術(shù)之一，因此視覺顯著性作為人眼視覺模型的一個(gè)重要方面也就顯得尤為重要。視頻監(jiān)控方面，視覺顯著性可以有效的提高視頻監(jiān)控的智能程度，因此視覺顯著性研究就有非常重要的意義。視頻跟蹤方面，通常人們主要跟蹤顯著性物體的運(yùn)動(dòng)，通過視覺顯著性算法可以有效的提高視頻跟蹤的準(zhǔn)確率。視覺顯著性在視頻信號(hào)處理方面有著廣泛的應(yīng)用，因此對(duì)視覺顯著性研究有非常重要的意義，視覺顯著性主要根據(jù)視覺特性，提取出圖像視頻中的顯著區(qū)域。目前視覺顯著性的研究主要針對(duì)圖像顯著性進(jìn)行研究，圖像顯著性算法主要利用圖像的顏色、亮度等特征計(jì)算圖像的顯著性，但是圖像的顯著性算法沒有利用視頻的運(yùn)動(dòng)特征，因此將圖像顯著性算法直接應(yīng)用視頻顯著性檢測(cè)時(shí)效果不好。然而對(duì)視頻顯著性算法研究較少，并且存在算法復(fù)雜度較高的缺點(diǎn)。通常視頻中物體的運(yùn)動(dòng)主要由兩個(gè)方面構(gòu)成的一個(gè)方面是由于攝像機(jī)的運(yùn)動(dòng)造成的全局運(yùn)動(dòng)，另一方面是由于視頻中物體的相對(duì)運(yùn)動(dòng)造成的局部運(yùn)動(dòng)。 視頻中物體的局部運(yùn)動(dòng)與全局運(yùn)動(dòng)相比，視頻中物體的局部運(yùn)動(dòng)顯著性更高，而視頻中物體的全局運(yùn)動(dòng)顯著性更低，若不預(yù)先降低視頻中物體的全局運(yùn)動(dòng)的對(duì)視覺顯著性的影響， 將降低顯著性算法的準(zhǔn)確度。上述視頻中物體相對(duì)運(yùn)動(dòng)和全局運(yùn)動(dòng)可以通過塊匹配的運(yùn)動(dòng)估計(jì)算法獲取。例如，題為“一種新鉆石搜索快速快匹配運(yùn)動(dòng)估計(jì)算法”(該文作者是shan zhu，發(fā)表于2000 年出版的“電子電器工程師協(xié)會(huì)圖像處理會(huì)刊”，2000，9 O):觀7-四0)的出版物報(bào)道，該文介紹了塊匹配的運(yùn)動(dòng)估計(jì)算法，其算法是將當(dāng)前塊與前一幀中對(duì)應(yīng)的塊相比較，計(jì)算兩塊的誤差，將誤差最小的塊作為最佳匹配塊，兩塊間的運(yùn)動(dòng)的位移為運(yùn)動(dòng)矢量。為了得到與當(dāng)前幀大小一致的運(yùn)動(dòng)矢量可以采用雙線性插值算法(K. R. Castleman著，朱志剛譯，數(shù)字圖像處理，電子工業(yè)出版社，2006:96-97)，該插值算法是將所需求解的像素值由其周圍四個(gè)最近點(diǎn)的像素值加權(quán)平均得到。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)存在的問題，提出一種基于視頻中物體運(yùn)動(dòng)特征的視覺顯著性算法。該算法通過檢測(cè)出視頻中物體的運(yùn)動(dòng)，降低視頻中物體的全局運(yùn)動(dòng)對(duì)視覺顯著性的影響，能有效提高視覺顯著性算法的準(zhǔn)確度。為達(dá)到上述目的，本發(fā)明采用了以下方案
一種基于視頻中物體運(yùn)動(dòng)特征的視覺顯著性算法，其具體步驟如下
(1)、采用基于塊匹配的運(yùn)動(dòng)估計(jì)算法計(jì)算出當(dāng)前幀亮度分量的運(yùn)動(dòng)矢量；
(2)、獲取去除均值后的運(yùn)動(dòng)矢量；
(3)、對(duì)去除均值后的運(yùn)動(dòng)矢量進(jìn)行高斯濾波；
G)、分別計(jì)算運(yùn)動(dòng)矢量的水平方向分量和垂直方向分量的平方，得到水平方向和垂直方向的視覺顯著(5)、獲取最終的視覺顯著圖。上述步驟(1)中所述的采用基于塊匹配的運(yùn)動(dòng)估計(jì)算法計(jì)算當(dāng)前幀亮度分量的運(yùn)動(dòng)矢量，具體步驟如下
(11)、提取需要進(jìn)行視覺顯著性檢測(cè)的視頻流的當(dāng)前幀原圖像和及其前一幀原圖像；
(12)、分別提取上述相鄰兩幀的亮度分量；
(13)、將視頻流的當(dāng)前幀亮度分量按照16X16像素塊大小進(jìn)行分塊；
(14)、采用基于塊匹配的運(yùn)動(dòng)估計(jì)算法計(jì)算出當(dāng)前幀亮度分量中的每個(gè)像素塊的運(yùn)動(dòng)
矢量；
(15)、采用雙線性插值算法將運(yùn)動(dòng)矢量放大，得到與當(dāng)前幀大小一致的運(yùn)動(dòng)矢量廠⑴。上述步驟O)中所述的獲取去除均值后的運(yùn)動(dòng)矢量，具體步驟如下
(21)、對(duì)當(dāng)前幀亮度分量中的每個(gè)像素塊的運(yùn)動(dòng)矢量求均值，得到運(yùn)動(dòng)矢量的均值
W ；
(22)、將步驟(15)計(jì)算出的運(yùn)動(dòng)矢量減去運(yùn)動(dòng)矢量的均值Km( )得到去除均值后的運(yùn)動(dòng)矢量；
上述步驟(3)中所述的對(duì)去除均值后的運(yùn)動(dòng)矢量進(jìn)行高斯濾波，其具體步驟如下
(31)、采用高斯濾波器對(duì)去除均值后的運(yùn)動(dòng)矢量濾波，得到濾波后的運(yùn)動(dòng)矢量；
(32)、將濾波后的運(yùn)動(dòng)矢量的邊界置為0，得到最終的濾波后的運(yùn)動(dòng)矢量VfU)。上述步驟中所述的分別計(jì)算運(yùn)動(dòng)矢量的水平方向分量和垂直方向分量的平方，得到水平方向和垂直方向的視覺顯著圖，具體步驟如下
(41)、將濾波后的運(yùn)動(dòng)矢量的水平分量Kfx⑴平方，得到水平方向的視覺顯著圖 ⑴；
(42)、將濾波后的運(yùn)動(dòng)矢量的垂直分量Kfy⑴平方，得到垂直方向的視覺顯著圖 ⑴。上述步驟(5)中所述的獲取最終的視覺顯著圖，其具體是
將水平方向和垂直方向的視覺顯著圖相加并將其映射到(Γ255，得到最終的視覺顯著圖S(i)，視覺顯著圖的計(jì)算表達(dá)式為
權(quán)利要求
1.一種基于視頻中物體運(yùn)動(dòng)特征的視覺顯著性算法，其具體步驟如下(1)、采用基于塊匹配的運(yùn)動(dòng)估計(jì)算法計(jì)算出當(dāng)前幀亮度分量的運(yùn)動(dòng)矢量；(2)、獲取去除均值后的運(yùn)動(dòng)矢量；(3)、對(duì)去除均值后的運(yùn)動(dòng)矢量進(jìn)行高斯濾波；G)、分別計(jì)算運(yùn)動(dòng)矢量的水平方向分量和垂直方向分量的平方，得到水平方向和垂直方向的視覺顯著圖；(5)、獲取最終的視覺顯著圖。
2.根據(jù)權(quán)利要求1所述的一種基于視頻中物體運(yùn)動(dòng)特征的視覺顯著性算法，其特征在于，上述步驟(1)中所述的采用基于塊匹配的運(yùn)動(dòng)估計(jì)算法計(jì)算當(dāng)前幀亮度分量的運(yùn)動(dòng)矢量，具體步驟如下(11)、提取需要進(jìn)行視覺顯著性檢測(cè)的視頻流的當(dāng)前幀原圖像和及其前一幀原圖像；(12)、分別提取上述相鄰兩幀的亮度分量；(13)、將視頻流的當(dāng)前幀亮度分量按照16X16像素塊大小進(jìn)行分塊；(14)、采用基于塊匹配的運(yùn)動(dòng)估計(jì)算法計(jì)算出當(dāng)前幀亮度分量中的每個(gè)像素塊的運(yùn)動(dòng)矢量；(15)、采用雙線性插值算法將運(yùn)動(dòng)矢量放大，得到與當(dāng)前幀大小一致的運(yùn)動(dòng)矢量廠⑴。
3.根據(jù)權(quán)利要求1所述的一種基于視頻中物體運(yùn)動(dòng)特征的視覺顯著性算法，其特征在于，上述步驟O)中所述的獲取去除均值后的運(yùn)動(dòng)矢量，具體步驟如下(21)、對(duì)當(dāng)前幀亮度分量中的每個(gè)像素塊的運(yùn)動(dòng)矢量求均值，得到運(yùn)動(dòng)矢量均值W ；(22)、將步驟(15)計(jì)算出的運(yùn)動(dòng)矢量減去運(yùn)動(dòng)矢量的均值Km( )得到去除均值后的運(yùn)動(dòng)矢量。
4.根據(jù)權(quán)利要求1所述的一種基于視頻中物體運(yùn)動(dòng)特征的視覺顯著性算法，其特征在于，上述步驟(3)中所述的對(duì)去除均值后的運(yùn)動(dòng)矢量進(jìn)行高斯濾波，其具體步驟如下(31)、采用高斯濾波器對(duì)去除均值后的運(yùn)動(dòng)矢量濾波，得到濾波后的運(yùn)動(dòng)矢量；(32)、將濾波后的運(yùn)動(dòng)矢量的邊界置為0，得到最終的濾波后的運(yùn)動(dòng)矢量VfU)。
5.根據(jù)權(quán)利要求1所述的一種基于視頻中物體運(yùn)動(dòng)特征的視覺顯著性算法，其特征在于，上述步驟中所述的分別計(jì)算運(yùn)動(dòng)矢量的水平方向分量和垂直方向分量的平方，得到水平方向和垂直方向的視覺顯著圖，具體步驟如下(41)、將濾波后的運(yùn)動(dòng)矢量的水平分量Kfx⑴平方，得到水平方向的視覺顯著圖 ⑴；(42)、將濾波后的運(yùn)動(dòng)矢量的垂直分量Kfy⑴平方，得到垂直方向的視覺顯著圖 ⑴。
6.根據(jù)權(quán)利要求1所述的一種基于視頻中物體運(yùn)動(dòng)特征的視覺顯著性算法，其特征在于，上述步驟(5)中所述的獲取最終的視覺顯著圖，其具體是將水平方向和垂直方向的視覺顯著圖相加并將其映射到(Γ255，得到最終的視覺顯著圖S(i)，視覺顯著圖的計(jì)算表達(dá)式為
全文摘要
本發(fā)明公開了一種基于視頻中物體運(yùn)動(dòng)特征的視覺顯著性算法，其具體步驟如下(1)采用基于塊匹配的運(yùn)動(dòng)估計(jì)算法計(jì)算出當(dāng)前幀亮度分量的運(yùn)動(dòng)矢量；(2)獲取去除均值后的運(yùn)動(dòng)矢量；(3)對(duì)去除均值后的運(yùn)動(dòng)矢量進(jìn)行高斯濾波；(4)分別計(jì)算運(yùn)動(dòng)矢量的水平方向分量和垂直方向分量的平方，得到水平方向和垂直方向的視覺顯著圖；(5)獲取最終的視覺顯著圖。該方法在考慮視頻中物體運(yùn)動(dòng)因素時(shí)，通過降低視頻中物體的全局運(yùn)動(dòng)的對(duì)視覺顯著性的影響，依據(jù)視頻中顯著性物體的局部運(yùn)動(dòng)矢量特征提取出運(yùn)動(dòng)顯著性，能有效提高視覺顯著性算法的準(zhǔn)確度，而且本發(fā)明的算法復(fù)雜度低。
文檔編號(hào)G06T7/20GK102568006SQ201210006930
公開日2012年7月11日 申請(qǐng)日期2012年1月11日 優(yōu)先權(quán)日2011年3月2日
發(fā)明者沈慧, 王杜瑤, 王鐸成, 譚剛, 黃素娟 申請(qǐng)人:上海大學(xué)