專利名稱：基于運(yùn)動周期性分析的視頻修復(fù)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理領(lǐng)域，具體涉及一種基于運(yùn)動周期性分析的視頻修復(fù)方法。
背景技術(shù)：
視頻修復(fù)是對視頻上信息缺損區(qū)域進(jìn)行填充的過程，其目的是填充缺損的圖像， 并使觀察者無法察覺視頻曾經(jīng)缺損并且已被修復(fù)。隨著數(shù)字圖像處理技術(shù)的發(fā)展，越來越多的領(lǐng)域期望能夠?qū)σ曨l進(jìn)行一定的修補(bǔ)，并且達(dá)到人眼覺察不出來的效果。因此，數(shù)字視頻修復(fù)技術(shù)成為當(dāng)前計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺中的一個研究熱點(diǎn)，在文物保護(hù)、影視特技制作、多余目標(biāo)物體剔除(如視頻圖像中刪除字幕、臺標(biāo)等)、視頻通信的錯誤隱匿等方面有著廣泛的應(yīng)用前景。目前，數(shù)字圖像修復(fù)技術(shù)主要分為兩類第一類逐幀修復(fù)，Kokaram等人通過對這些區(qū)域進(jìn)行插值計(jì)算修復(fù)視頻中的斑點(diǎn)和劃痕，Bertalmio等人提出基于Navier-Stokes 流體模型視頻修復(fù)方法，該方法逐幀的圖像單獨(dú)進(jìn)行修復(fù)，沒有考慮前后幀之間的連續(xù)性， 導(dǎo)致了修復(fù)大塊區(qū)域時的閃爍失真的情況。Yan等人使用BSCB方法對視頻進(jìn)行修復(fù)，將視頻拆分為單幅圖像分別進(jìn)行處理，這類方法也沒有充分利用視頻的時間冗余信息，而只是簡單的應(yīng)用圖像修復(fù)技術(shù)來處理視頻數(shù)據(jù)，相鄰各幀之間的連續(xù)性很難得到保持。為了克服上述逐幀修復(fù)方法的不足I^twardhan等人先后利用對視頻中物體的運(yùn)動估計(jì)對鏡頭固定和鏡頭移動的視頻進(jìn)行了修復(fù)。Kokaram采用了基于光流估計(jì)的時空信息來糾正在修復(fù)視頻序列上的噪聲，他的方法僅適用于小的缺損區(qū)域。Tourapis等人提出了一種基于區(qū)域分析的方法，通過計(jì)算各區(qū)域的運(yùn)動矢量，分割區(qū)域，然后結(jié)合運(yùn)動補(bǔ)償以及時空間濾波對視頻進(jìn)行修復(fù)。但是，上述視頻修復(fù)方法采用的是分塊進(jìn)行的方式，因此它們的修復(fù)結(jié)果在播放易出現(xiàn)虛影。

發(fā)明內(nèi)容
為了解決現(xiàn)有視頻修復(fù)技術(shù)中存在的上述技術(shù)問題，本發(fā)明提供一種基于運(yùn)動周期性分析的視頻修復(fù)方法，本發(fā)明可以明顯提高修復(fù)結(jié)果視頻的質(zhì)量，達(dá)到理想的實(shí)用效^ ο本發(fā)明解決上述技術(shù)問題的技術(shù)方案包括以下步驟1)使用幀間差的方法將視頻每一幀中的運(yùn)動物體與視頻的背景分離；2)提取步驟1中每一幀中的運(yùn)動前景的骨骼；3)對步驟2、中得到的每一幀的運(yùn)動前景的骨骼進(jìn)行相似性匹配，找出視頻前景運(yùn)動目標(biāo)的運(yùn)動周期性；4)利用運(yùn)動周期性對整個視頻的前景運(yùn)動目標(biāo)的運(yùn)動情況進(jìn)行預(yù)測，根據(jù)預(yù)測來修復(fù)視頻。上述的基于運(yùn)動周期性分析的視頻修復(fù)方法中，所述步驟；3)包括以下步驟a)使用第一幀前景目標(biāo)的骨骼作為參照；
b)將其后每一幀的骨骼與其進(jìn)行相似度匹配，第一幀到最相似幀之間的所有運(yùn)動前景目標(biāo)被定義為前景運(yùn)動周期。上述的基于運(yùn)動周期性分析的視頻修復(fù)方法中，所述步驟4)包括以下步驟a)找到與受損視頻幀向鄰的前后兩個完好幀作為參照；b)在運(yùn)動周期中分別尋找與視頻前后兩幀向?qū)?yīng)的幀；c)將步驟b)中找到的兩幀之間的所有幀整體的替換到受損視頻幀中。本發(fā)明的效果在于與現(xiàn)有方法相比，本發(fā)明采用的運(yùn)動周期性分析技術(shù)能夠極大地減少復(fù)雜圖像背景的干擾，更加準(zhǔn)確的提取視頻中的運(yùn)動信息。本發(fā)明充分考慮了視頻運(yùn)動目標(biāo)的連貫性，注重修復(fù)結(jié)果的視覺完整性，從而取得更好的視頻修復(fù)效果。本發(fā)明的基于前景運(yùn)動目標(biāo)周期性分析的視頻修復(fù)方法能夠充分提高圖像修復(fù)的性能，對于視頻的后續(xù)制作有重要的意義和實(shí)用價值。下面結(jié)合附圖和具體實(shí)施例對本發(fā)明作進(jìn)一步的說明。


圖1為本發(fā)明的流程圖。圖2為本發(fā)明的修復(fù)示例。
具體實(shí)施例方式參見圖1，圖1為本發(fā)明采用基于前景運(yùn)動目標(biāo)周期性分析的視頻修復(fù)的流程圖。 其具體修復(fù)步驟如下(1)對輸入視頻進(jìn)行前景背景分離輸入的待修復(fù)視頻由兩部分組成靜止的背景和運(yùn)動的前景。Ft為視頻的第t幀 t e 1,2,…，K，計(jì)算所有幀的平均值得到視頻背景Fb。計(jì)算方式如下
K然后將每一幀視頻對視頻背景相減，得到視頻的運(yùn)動目標(biāo)Ot t e 1,2,…，K。(2)使用骨骼提取算法對Ot中的每個運(yùn)動目標(biāo)提取骨骼，(骨骼提取算法的實(shí)現(xiàn)細(xì)節(jié)參考 Bai Xiang 在 IEEE Transatcion on Pattern Analysis and Machine Intelligence 2007 上發(fā)表的"Skeleton pruning by contour partitioning with discrete curve evolution”)每個前景運(yùn)動目標(biāo)對應(yīng)的骨骼為Skeletons S = 1,2,…， k0(3)使用骨骼匹配方法取得視頻的運(yùn)動周期。a)選擇運(yùn)動周期性分析的對象中第一幀的骨骼Skeleton^以Skeleton1作為參照，比較它與Skeletoni i = 2,3,…，k的骨骼相似度。在骨骼的相似度比較上我們選用了 Bai的骨骼路徑比較相似度的算法。在此算法中，兩個骨骼的相似度〔(Skeleton， Skeleton')可以用公式(2)-(3)來進(jìn)行描述
權(quán)利要求
1.一種基于運(yùn)動周期性分析的視頻修復(fù)方法，包括以下步驟1)使用幀間差的方法將視頻每一幀中的運(yùn)動物體與視頻的背景分離；2)提取步驟1中每一幀中的運(yùn)動前景的骨骼；3)對步驟2)中得到的每一幀的運(yùn)動前景的骨骼進(jìn)行相似性匹配，找出視頻前景運(yùn)動目標(biāo)的運(yùn)動周期性；4)利用運(yùn)動周期性對整個視頻的前景運(yùn)動目標(biāo)的運(yùn)動情況進(jìn)行預(yù)測，根據(jù)預(yù)測來修復(fù)視頻。
2.根據(jù)權(quán)利要求1所述的基于運(yùn)動周期性分析的視頻修復(fù)方法，所述步驟3)包括以下步驟a)使用第一幀前景目標(biāo)的骨骼作為參照；b)將其后每一幀的骨骼與其進(jìn)行相似度匹配，第一幀到最相似幀之間的所有運(yùn)動前景目標(biāo)被定義為前景運(yùn)動周期。
3.根據(jù)權(quán)利要求1所述的基于運(yùn)動周期性分析的視頻修復(fù)方法，所述步驟4)包括以下步驟a)找到與受損視頻幀向鄰的前后兩個完好幀作為參照；b)在運(yùn)動周期中分別尋找與視頻前后兩幀向?qū)?yīng)的幀；c)將步驟b)中找到的兩幀之間的所有幀整體的替換到受損視頻幀中。
全文摘要
本發(fā)明提供了一種基于運(yùn)動周期性分析的視頻修復(fù)方法。它包括以下步驟(1)將視頻分解為前景和背景兩個部分；(2)提取前景運(yùn)動目標(biāo)的骨骼；(3)使用骨骼匹配方提取斷前景運(yùn)動物體的運(yùn)動性。(4)根據(jù)前景運(yùn)動目標(biāo)的運(yùn)動周期對視頻前景進(jìn)行修復(fù)。本發(fā)明采用的運(yùn)動周期性分析技術(shù)能夠極大地減少復(fù)雜圖像背景的干擾，更加準(zhǔn)確的提取視頻中的運(yùn)動信息，達(dá)到較為理想的修復(fù)效果。
文檔編號G06T5/00GK102496145SQ201110363830
公開日2012年6月13日 申請日期2011年11月16日 優(yōu)先權(quán)日2011年11月16日
發(fā)明者李樹濤, 趙明 申請人:湖南大學(xué)