降低復(fù)雜度的運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間處理的制作方法
【專利摘要】一種用于預(yù)分析目的的用于降低的復(fù)雜度的運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間處理的方法和系統(tǒng)。通過減少用于分析而處理的圖片的數(shù)目、減少用于分析的參考的數(shù)目、和/或在空間上二次采樣輸入圖片來降低處理復(fù)雜度。
【專利說明】降低復(fù)雜度的運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間處理
[0001]對(duì)相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求2011年9月29日提交的美國(guó)臨時(shí)專利申請(qǐng)N0.61/541，028的優(yōu)先權(quán)，其全部?jī)?nèi)容通過引用合并于此。

【技術(shù)領(lǐng)域】
[0003]本申請(qǐng)涉及視頻數(shù)據(jù)處理的領(lǐng)域。更具體地，本申請(qǐng)描述利用以前過去或?qū)淼膱D片作為參考來產(chǎn)生當(dāng)前圖片的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的處理。

【背景技術(shù)】
[0004]運(yùn)動(dòng)補(bǔ)償時(shí)域分析(MCTA)是對(duì)包括壓縮性能/效率的優(yōu)化、濾波、和視頻內(nèi)容分析和分類的各種應(yīng)用有用的工具。MCTA后的前提是表征視頻信號(hào)的時(shí)間相關(guān)性的采用。通常，視頻中的圖片將與先前圖片共享相似的內(nèi)容。這對(duì)壓縮和濾波具有深遠(yuǎn)的影響。壓縮是有益的，因?yàn)楫?dāng)前圖片中的塊可以被預(yù)測(cè)為一些先前圖片中的移位的、扭曲的、或加權(quán)的塊。位移參數(shù)被稱為運(yùn)動(dòng)矢量并被需要以創(chuàng)建當(dāng)前塊的運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)。如果用于預(yù)測(cè)當(dāng)前塊的運(yùn)動(dòng)模型是足夠高效的，則當(dāng)前塊與它的運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)之間的差距將是低的，并且因此易于壓縮。但是，濾波也可以是有益的。如果預(yù)測(cè)足夠接近圖片中的當(dāng)前塊，則可以推測(cè)預(yù)測(cè)塊正是具有不同噪聲特性的當(dāng)前初始?jí)K。但是，當(dāng)前塊也被假定是原始源塊的變形版本，同樣具有不同的噪聲特性集合。如果每個(gè)塊中的噪聲被認(rèn)為具有零平均值并且不相關(guān)，則簡(jiǎn)單地平均當(dāng)前塊與來自于一些其它的參考圖片中的它的預(yù)測(cè)塊將產(chǎn)生具有一半的誤差/噪聲能量的新的塊，其更接近于原始源塊。這可以被擴(kuò)展到來源于多個(gè)參考圖片的任意數(shù)目的預(yù)測(cè)塊的加權(quán)組合。
[0005]運(yùn)動(dòng)補(bǔ)償時(shí)域分析也已經(jīng)用在時(shí)間小波的背景之內(nèi)以用于視頻壓縮。例如，參見 Y.Andreopoulos、A.Munteanu> J.Barbarien、M.van der Schaar> J.Cornells、和P.Schelkens, “ In-band mot1n compensated temporal filtering，，，Signal Processing:Image Communicat1n, vol.19, pp.653-673, 和 D.S.Turaga、M.van der Schaar>Y.Andreopoulos、A.Munteanu、 和 P.Schelkens、“Unconstrained mot1n compensatedtemporal filtering (UMCTF) for efficient and fie X ible interframe wavelet videocoding”，Signal Processing:Image Communicat1n, Volume20, Issuel, pp.1-19。 運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波已被應(yīng)用在原始像素值(參見以上引用的“Unconstrained mot1ncompensated temporal filtering (UMCTF) for efficient and fieX ible interframewavelet video coding”)以及已被轉(zhuǎn)換到頻域的值(參見以上引用的“In-band mot1ncompensated temporal filtering”。)。視頻序列被分割成圖片組,每個(gè)組被獨(dú)立編碼。在那些組之內(nèi)，運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)域分析用于提供對(duì)圖片的子集的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。然后運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)誤差用于完善其余圖片，其再次被利用運(yùn)動(dòng)補(bǔ)償來預(yù)測(cè)。最終的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)誤差被編碼。即使在視頻編碼器之內(nèi)的MCTA不由本公開解決，但是呈現(xiàn)在本公開中的一些方法也可以在使用運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波的視頻編碼器上適用。
[0006]濾波是受益于運(yùn)動(dòng)補(bǔ)償時(shí)域分析的使用的應(yīng)用之一?；谶\(yùn)動(dòng)補(bǔ)償時(shí)間濾波的去噪聲的早期算法在 Dubois 和 S.Sabri, “Noise reduct1n in image sequences usingmot1n-compensated temporal filtering，，IEEE Transact1ns on Communicat1ns, Vol.C0M-C0M-32, n0.7，pp.826-831中得到。本領(lǐng)域中首次貢獻(xiàn)的綜述出現(xiàn)于J.C.Brailean、R.P.Kleihorst、S.Efstratiadis、A.K.Katsaggelos、 和 R.L.Lagendi jk 的 “Noisereduct1n filters for dynamic image sequences:A review，，,Proceedings of the IEEE,vol.83,pp.1272-1292,95年9月。用于基于MCTA的預(yù)濾波的更接近的方法出現(xiàn)于J.Llach和 J.M.Boyce 的 “H.264encoder with low complexity noise pre-filtering，，，Proc.SPIE, Applicat1ns of Digital Image ProcessingX XVI, vol.5203, p.478-489,8 月03 ；A.Mclnnis 和 S.Zhong 的“Method and system for noise reduct1n with a mot1ncompensated temporal filter，，，美國(guó)專利申請(qǐng)公開 N0.20070014368 ;以及 Η._Υ.Cheong、Α.Μ.Tourapis、J.Llach、和 J.Boyce 的“Advanced Spat1-Temporal Filtering for VideoDe-Noising”，Proc.1EEE Int.Conf.0n Image Processing, vol.2, pp.965-968。“H.264encoder with low complexity noise pre-filtering”(以上引用的)描述了在 H.264/AVC視頻編碼器之內(nèi)的運(yùn)動(dòng)補(bǔ)償模塊的使用以執(zhí)行時(shí)間濾波。由過去圖片的多個(gè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)被生成并且被平均并與當(dāng)前圖片混合以執(zhí)行時(shí)間濾波。也利用基于閾值的3X3像素平均濾波器在空間上對(duì)圖片濾波。在“Advanced Spat1-Temporal Filtering for VideoDe-Noising”(以上引用的)中提出更先進(jìn)和一般的方法，其考慮過去和將來的圖片。利用被適配到源信號(hào)的特性的加權(quán)平均值進(jìn)行來源于不同圖片的多個(gè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的組合。此夕卜，空間濾波采用小波濾波和維納濾波的組合。下面更詳細(xì)地描述運(yùn)動(dòng)補(bǔ)償時(shí)域分析法模塊，其遵循呈現(xiàn)在“Advanced Spat1-Temporal Filtering for Video De-Noising”(以上引用的)中的架構(gòu)。
[0007]圖1示出實(shí)施運(yùn)動(dòng)補(bǔ)償時(shí)域分析的運(yùn)動(dòng)補(bǔ)償時(shí)空濾波器的方框圖。輸入到圖1所示的MCTA模塊的是圖像像素，并且可選地，在分析模塊中初始化運(yùn)動(dòng)模型和空間濾波的運(yùn)動(dòng)和空間濾波參數(shù)。處理布置由下列主要組件構(gòu)成:
[0008]1.空間濾波器(小波、維納濾波器，其它)。
[0009]2.利用任意運(yùn)動(dòng)模型的運(yùn)動(dòng)估計(jì)和補(bǔ)償。
[0010]3.時(shí)空去塊化濾波器(可選的)。
[0011]4.紋理分析(例如經(jīng)由空間頻率分析)。
[0012]5.亮度和色度信息模塊。
[0013]圖1中的雙預(yù)測(cè)運(yùn)動(dòng)估計(jì)(BME)模塊110執(zhí)行雙預(yù)測(cè)的運(yùn)動(dòng)估計(jì)，而運(yùn)動(dòng)估計(jì)(ME)模塊120執(zhí)行單預(yù)測(cè)的運(yùn)動(dòng)估計(jì)。下標(biāo)表示相對(duì)于當(dāng)前圖片的參考圖片的時(shí)間距離。雙預(yù)測(cè)運(yùn)動(dòng)補(bǔ)償(BMC)模塊130利用在相應(yīng)的BME模塊110導(dǎo)出的那些作為運(yùn)動(dòng)矢量來執(zhí)行雙預(yù)測(cè)運(yùn)動(dòng)補(bǔ)償。類似地，運(yùn)動(dòng)補(bǔ)償(MC)模塊140利用來自于相應(yīng)的ME模塊120的運(yùn)動(dòng)矢量執(zhí)行單預(yù)測(cè)的運(yùn)動(dòng)補(bǔ)償?？臻g(SP)濾波器151、153、155、157執(zhí)行包括高通和低通濾波一集去塊化等的各種功能。緩沖器Buffl 161和Buff2 163包含先前和將來的空間上和時(shí)間上濾波的圖片。權(quán)重w被調(diào)整以最小化預(yù)測(cè)誤差。輸入圖片可以由三個(gè)可用的空間濾波器151、153、155中的一個(gè)在空間上濾波，其參數(shù)可根據(jù)已經(jīng)由MEMC組件處理的圖片的統(tǒng)計(jì)量來調(diào)諧。注意可以使用除了圖1中具體描述的之外的時(shí)空濾波拓?fù)洹＠?，BME模塊110可以對(duì)諸如-M、+N之類的不同時(shí)間距離的幀進(jìn)行操作。
[0014]每個(gè)輸入圖片利用一些參考圖片經(jīng)歷運(yùn)動(dòng)估計(jì)，以輸出該圖片的運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)。輸入圖像被分割成可以具有任意大小(例如8X8像素)的像素塊或區(qū)域。對(duì)于本公開，術(shù)語圖片的塊、區(qū)或區(qū)域可互換地使用。利用運(yùn)動(dòng)估計(jì)將當(dāng)前圖片中的塊η與從參考圖片n-k的一些部分生成的預(yù)測(cè)塊進(jìn)行匹配。ME組件確定指向預(yù)測(cè)塊的運(yùn)動(dòng)參數(shù)。為了生成此預(yù)測(cè)塊，MC模塊140需要由ME模塊120傳遞的運(yùn)動(dòng)參數(shù)。選擇的運(yùn)動(dòng)參數(shù)最小化原始當(dāng)前塊與導(dǎo)出的預(yù)測(cè)塊之間的一些代價(jià)。在許多可能的代價(jià)當(dāng)中，可以使用的一個(gè)是原始?jí)K與預(yù)測(cè)塊之間的平均絕對(duì)差(MAD)?？商鎿Q代價(jià)可以包含MAD加上表示運(yùn)動(dòng)場(chǎng)相似性的值的總和。運(yùn)動(dòng)場(chǎng)平滑性或相似性要求屬于相鄰塊的運(yùn)動(dòng)參數(shù)相似或相關(guān)。運(yùn)動(dòng)場(chǎng)相似性降低編碼運(yùn)動(dòng)參數(shù)需要的比特?cái)?shù)目，并且可以減少在應(yīng)用于產(chǎn)生當(dāng)前圖片的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)時(shí)的塊化假象。
[0015]—般，來自于圖片n-k中的圖片η的運(yùn)動(dòng)補(bǔ)償(MC)預(yù)測(cè)創(chuàng)建從圖片n_k中汲取的預(yù)測(cè)塊。然后MC組件采取來自于參考圖片n-k中的預(yù)測(cè)塊并且將它們組合以形成最佳逼近圖片η的運(yùn)動(dòng)補(bǔ)償?shù)膱D片。注意用在ME和MC模塊120、140中的運(yùn)動(dòng)模型可以利用任何已知的全局和本地運(yùn)動(dòng)模型，諸如仿射和平移運(yùn)動(dòng)模型。
[0016]運(yùn)動(dòng)估計(jì)和補(bǔ)償不被限制到僅僅如圖1所示的先前圖片。事實(shí)上，k可以采取正負(fù)值并且運(yùn)動(dòng)補(bǔ)償使用多個(gè)參考圖片，如圖2所示。圖2示出利用來源于過去和將來圖片的塊的加權(quán)線性組合對(duì)當(dāng)前圖片的預(yù)測(cè)。一個(gè)假設(shè)使用圖片η-1作為參考，而另一個(gè)將使用圖片n-N。也使用圖片n+1至n+N。注意利用來自于將來的參考圖片導(dǎo)致延遲，因?yàn)樵谕瓿蓤D片η的運(yùn)動(dòng)估計(jì)之前高達(dá)N個(gè)將來圖片將必須被緩沖。為了低遲延的應(yīng)用，可以限制運(yùn)動(dòng)補(bǔ)償以采用過去的圖片作為參考。
[0017]圖片η中的塊的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)也可以是來源于不同的參考圖片的多于一個(gè)預(yù)測(cè)塊的線性加權(quán)組合。在一個(gè)可能的布置中，圖片η中的當(dāng)前塊可以被預(yù)測(cè)為從圖片η-2導(dǎo)出的預(yù)測(cè)塊和從圖片n+1導(dǎo)出的預(yù)測(cè)塊的線性加權(quán)組合。此特定預(yù)測(cè)結(jié)構(gòu)也稱為雙向預(yù)測(cè)。在另一個(gè)可能的配置中，預(yù)測(cè)塊可以是從圖片η-1導(dǎo)出的預(yù)測(cè)塊和從η-2導(dǎo)出的另一個(gè)預(yù)測(cè)塊的線性加權(quán)組合。整體的預(yù)測(cè)(利用平移運(yùn)動(dòng)模型的加權(quán)預(yù)測(cè))在下面等式I中表示為:
[0018]p?(i,i) = XP* XΛ-*(i + Vjrif ’ J + VyJ))+ο 等式 ι
[0019]不考慮部分像素運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，圖片η中的塊的像素pn(i，j)可以被預(yù)測(cè)為圖片n-m至圖片n+m中的移位塊的線性加權(quán)組合。注意m是正數(shù)。在其它可能的實(shí)現(xiàn)中，組合不需要是線性的。
[0020]注意如等式I所述的多個(gè)假設(shè)下的運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)奶乩撬^的重疊塊運(yùn)動(dòng)估計(jì)和補(bǔ)償。在圖18中描述重疊塊運(yùn)動(dòng)補(bǔ)償和估計(jì)的示例。在圖18中，塊的中心部分被利用單個(gè)運(yùn)動(dòng)矢量(MV)預(yù)測(cè)為單個(gè)預(yù)測(cè)塊，但是，塊邊界是通過利用當(dāng)前塊MV產(chǎn)生的預(yù)測(cè)樣本以及通過利用相鄰塊的MV產(chǎn)生的樣本二者的完全加權(quán)線性平均。例如，頂部重疊區(qū)是當(dāng)前MV和在當(dāng)前塊的頂部的塊的MV 二者的加權(quán)平均。在左上方的重疊區(qū)類似地是利用當(dāng)前、左、左上方、和頂部塊的四個(gè)MV預(yù)測(cè)的樣本的加權(quán)平均。此類技術(shù)可以減少在塊邊緣處的塊化假象，以及其它益處。
[0021]運(yùn)動(dòng)估計(jì)方案也可以采用分級(jí)策略。分級(jí)策略可以既通過避免局部極小值改善估計(jì)性能但是也可以甚至幫助估計(jì)速度。一般，這些方案執(zhí)行某種空間二次采樣，導(dǎo)致圖像金字塔，其中在每個(gè)級(jí)別輸入圖像可以通過例如2的恒定比例被二次采樣。首先在最高(最低分辯率級(jí)別)分層結(jié)構(gòu)級(jí)別處執(zhí)行運(yùn)動(dòng)估計(jì)。然后在此級(jí)別導(dǎo)出的MV被歸一化到下一個(gè)較低級(jí)別(例如乘以2)并且被用作預(yù)測(cè)器或?qū)ο乱粋€(gè)級(jí)別的約束。在下一個(gè)級(jí)別再次執(zhí)行ME，利用等比例的MV作為預(yù)測(cè)器和約束。此處理重復(fù)直到在原始的最高分辨率處導(dǎo)出W。利用先前級(jí)別作為預(yù)測(cè)器，可以限制用于下一個(gè)級(jí)別的搜索范圍。
[0022]MEMC框架可以生成如圖3和圖4所示的多個(gè)MAD預(yù)測(cè)誤差度量。圖3示出利用MEMC框架和來自于過去的一個(gè)參考的MAD計(jì)算。圖4示出利用MEMC框架和來自于將來的兩個(gè)參考的MAD計(jì)算。在運(yùn)動(dòng)估計(jì)期間生成一組預(yù)測(cè)誤差度量并且其對(duì)應(yīng)于每個(gè)參考?jí)K或參考?jí)K的組合，其又可以來源于不同的圖片?？梢栽谝呀?jīng)對(duì)于當(dāng)前圖片中的所有塊完成運(yùn)動(dòng)補(bǔ)償之后計(jì)算第二個(gè)。運(yùn)動(dòng)補(bǔ)償可以創(chuàng)建不需要的塊化假象?？梢酝ㄟ^對(duì)最終運(yùn)動(dòng)補(bǔ)償圖片應(yīng)用去塊化濾波器減小這些假象。此外，構(gòu)成最終預(yù)測(cè)圖片的塊不一定來源于相同的幀(塊可以是從若干參考幀中選擇出來的)。例如，一個(gè)塊可以是圖片η-1和η-2中的塊的加權(quán)組合，而另一個(gè)塊可以從圖片η+2中預(yù)測(cè)。因此，此最終預(yù)測(cè)圖片與原始圖片之間的MAD預(yù)測(cè)誤差可以不與ME預(yù)測(cè)誤差的總和相同。例如，對(duì)最終運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)參數(shù)應(yīng)用去塊化可以導(dǎo)致MAD預(yù)測(cè)誤差與ME預(yù)測(cè)誤差的總和之間的差異。
[0023]運(yùn)動(dòng)補(bǔ)償時(shí)域分析模塊可以用于改善壓縮性能和濾波質(zhì)量。模塊可以改善圖片和場(chǎng)景復(fù)雜度分類(預(yù)分析)。預(yù)分析可以顯著地影響壓縮性能和視覺質(zhì)量。它可以用于分類場(chǎng)景和拍攝、檢測(cè)場(chǎng)景改變和諸如衰落之類的逐漸場(chǎng)景轉(zhuǎn)變。它也可用于預(yù)測(cè)場(chǎng)景復(fù)雜度，其然后可以用于優(yōu)化比特率分配和在視頻編碼器處使用的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)結(jié)構(gòu)(例如是否、以及多少、以及何處放置雙預(yù)測(cè)編碼的圖片)。
[0024]時(shí)域分析系統(tǒng)的復(fù)雜度可以是相當(dāng)大的。考慮使用利用兩個(gè)過去圖片和兩個(gè)將來圖片的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)每個(gè)輸入圖片的示例。最初，每個(gè)圖片塊可以從來自于四個(gè)可能的參考圖片中的一個(gè)中的單個(gè)塊預(yù)測(cè)。這將需要代價(jià)大地進(jìn)行四次運(yùn)動(dòng)估計(jì)。但是，如等式I所示，預(yù)測(cè)塊可以通過線性地組合來源于不同的(乃至相同的)參考圖片的任意數(shù)目的預(yù)測(cè)塊形成。對(duì)于多個(gè)假設(shè)，例如預(yù)測(cè)塊作為與不同的MV并且甚至不同的參考圖片對(duì)應(yīng)的多個(gè)預(yù)測(cè)塊的線性組合，必須聯(lián)合估計(jì)多個(gè)運(yùn)動(dòng)矢量。這里注意，在用于單預(yù)測(cè)時(shí)最優(yōu)的運(yùn)動(dòng)矢量可以不與在它是多個(gè)平均的參考中的一個(gè)時(shí)用于同一參考圖片的最優(yōu)運(yùn)動(dòng)矢量相同?？梢赃@樣做以簡(jiǎn)化估計(jì)但是結(jié)果將次優(yōu)的。僅僅所有MV的聯(lián)合估計(jì)將提供最優(yōu)性能。但是，這在計(jì)算上通常是不可實(shí)行的。即使這被限制到雙預(yù)測(cè)運(yùn)動(dòng)估計(jì)，這也將需要用于兩個(gè)塊O和I的運(yùn)動(dòng)估計(jì)的聯(lián)合優(yōu)化(其將基本上導(dǎo)致測(cè)試參考幀的所有成對(duì)組合)。為了實(shí)現(xiàn)這一點(diǎn)，已經(jīng)建議應(yīng)用迭代運(yùn)動(dòng)估計(jì)，其中預(yù)測(cè)塊O被固定并且應(yīng)用運(yùn)動(dòng)估計(jì)以得到最佳的預(yù)測(cè)塊I。在下一步驟中，塊I被固定，并且應(yīng)用運(yùn)動(dòng)估計(jì)以得到新的并且更佳的塊O。再一次，塊O被固定并且應(yīng)用運(yùn)動(dòng)估計(jì)以完善塊1，等等。因此，即使時(shí)間濾波可以改善壓縮性能和視覺質(zhì)量，它也很復(fù)雜并且通常保留給諸如其中計(jì)算復(fù)雜度不是大的問題的DVD和廣播編碼之類的高端應(yīng)用。
[0025]運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)分析的復(fù)雜度成本變得對(duì)功率和存儲(chǔ)器受限的應(yīng)用是禁止的。由于對(duì)于輸入圖片和它的可能參考圖片的每個(gè)組合不得不執(zhí)行大量運(yùn)動(dòng)估計(jì)計(jì)算，功率使用率受到損失。此外，存儲(chǔ)器復(fù)雜度是高的，由于在運(yùn)動(dòng)估計(jì)和補(bǔ)償處理期間不得不在存儲(chǔ)器中維護(hù)大量過去和將來參考圖片。存儲(chǔ)器復(fù)雜度受到損失，因?yàn)檫\(yùn)動(dòng)補(bǔ)償參考的大小可以是大于原始輸入大小的數(shù)量級(jí)。例如，如果四分之一像素運(yùn)動(dòng)補(bǔ)償用于預(yù)測(cè)塊，則存儲(chǔ)四分之一像素的準(zhǔn)確圖片參考需要的存儲(chǔ)器將是4X4=16倍存儲(chǔ)原始輸入圖片需要的存儲(chǔ)器。
[0026]因此，期望降低運(yùn)動(dòng)補(bǔ)償時(shí)間預(yù)分析的計(jì)算和存儲(chǔ)器復(fù)雜度同時(shí)考慮實(shí)現(xiàn)高性能預(yù)分析、濾波、和運(yùn)動(dòng)參數(shù)生成的方法和系統(tǒng)。

【專利附圖】

【附圖說明】
[0027]圖1是運(yùn)動(dòng)補(bǔ)償時(shí)空濾波器的方框圖。
[0028]圖2示出了利用來源于過去和將來的圖片中的塊的加權(quán)線性組合對(duì)當(dāng)前圖片的預(yù)測(cè)。
[0029]圖3示出利用MEMC框架和來自于過去的一個(gè)參考的MAD計(jì)算。
[0030]圖4示出利用MEMC框架和來自于將來的兩個(gè)參考的MAD計(jì)算。
[0031]圖5示出利用用作參考的兩個(gè)過去圖片和兩個(gè)將來圖片的運(yùn)動(dòng)補(bǔ)償處理。
[0032]圖6是運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間預(yù)分析的方框圖。
[0033]圖7示出了用于預(yù)分析的緩沖的圖片。
[0034]圖8示出利用對(duì)奇數(shù)幀的四個(gè)運(yùn)動(dòng)分析和對(duì)偶數(shù)幀和1:2 二次采樣的I個(gè)運(yùn)動(dòng)分析的低復(fù)雜度的時(shí)間運(yùn)動(dòng)補(bǔ)償預(yù)分析。
[0035]圖9示出通過因子3對(duì)運(yùn)動(dòng)分析的時(shí)間二次采樣(1:3 二次采樣)。
[0036]圖10示出了通過采樣所有圖片的時(shí)間預(yù)分析。
[0037]圖11示出利用對(duì)圖片的自適應(yīng)采樣的時(shí)間預(yù)分析。
[0038]圖12示出受平行化作用的預(yù)分析的可替換結(jié)構(gòu)。
[0039]圖13示出一般時(shí)間預(yù)分析二次采樣結(jié)構(gòu)。
[0040]圖14示出分析的圖片和以一半幀速率分析視頻序列的參考圖片的時(shí)間二次采樣。
[0041]圖15示出了對(duì)場(chǎng)景改變的檢測(cè)的二元搜索。
[0042]圖16示出以一半幀速率分析視頻序列并且可以使用任何參考圖片時(shí)分析的圖片的時(shí)間二次采樣。
[0043]圖17是用于二次采樣的時(shí)間預(yù)分析完善的二元搜索的方框圖。
[0044]圖18描述重疊塊運(yùn)動(dòng)補(bǔ)償和估計(jì)的示例。
[0045]圖19示出用于分級(jí)預(yù)分析的方框圖。

【具體實(shí)施方式】
[0046]在下面描述中，為了說明目的，闡述許多細(xì)節(jié)以便提供對(duì)本發(fā)明的各個(gè)實(shí)施例的徹底的理解。但是，本領(lǐng)域技術(shù)人員將清晰，在沒有一些細(xì)節(jié)的情況下也可以實(shí)踐本發(fā)明的實(shí)施例。在其它實(shí)例中，公知的結(jié)構(gòu)和設(shè)備以方框圖形式示出以便避免不必要地模糊本發(fā)明。
[0047]以下的公開描述用于利用運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償對(duì)視頻序列的降低復(fù)雜度的時(shí)間預(yù)分析的方法?？梢栽趫D6中得到此類系統(tǒng)的一般圖。此類系統(tǒng)由下列主要組件構(gòu)成:(a)空間向下采樣模塊610，(b)運(yùn)動(dòng)補(bǔ)償預(yù)分析組件620，(c)預(yù)濾波器630，和(d)視頻編碼器640。預(yù)分析組件620接收輸入幀601和由向下采樣模塊610生成的二次采樣幀603。運(yùn)動(dòng)補(bǔ)償時(shí)間分析器由于對(duì)運(yùn)動(dòng)估計(jì)的處理而具有高的計(jì)算和存儲(chǔ)復(fù)雜度，其與用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的可用參考圖片的可能組合成比例。利用以下馬上列出的各種方式可以降低復(fù)雜度:
[0048](a)可以經(jīng)由二次采樣減少處理的圖片的數(shù)目。此方法采用時(shí)間二次采樣。
[0049](b)也可以減少用于運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)膮⒖嫉臄?shù)目。
[0050](c)可以利用一些向下采樣空間濾波器或可選地某種比特深度二次采樣/減少技術(shù)對(duì)輸入圖片在空間上進(jìn)行二次采樣。在以下的補(bǔ)充細(xì)節(jié)中描述用于復(fù)雜度降低的方法。
[0051]一般，本公開將參考兩種類型的樣本，從其它參考圖片預(yù)測(cè)的采樣的輸入圖片，和表示被用于采樣的輸入圖片的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的參考圖片的參考圖片樣本。
[0052]給定目標(biāo)應(yīng)用實(shí)際布置不同并且影響整個(gè)預(yù)處理系統(tǒng)的效率。給定這里討論的方法預(yù)期用于的應(yīng)用，這里討論的方法可以被特征化。目標(biāo)應(yīng)用列舉如下:
[0053](a)圖片和場(chǎng)景復(fù)雜度分類。
[0054](b)比特率分配。這密切地取決于(a)。
[0055](C)視頻編碼器預(yù)測(cè)結(jié)構(gòu)確定。這也密切地取決于(a)。
[0056](d)預(yù)濾波。
[0057]以下馬上概括本發(fā)明的六個(gè)實(shí)施例。將在本公開后面部分中的進(jìn)一步細(xì)節(jié)描述這些實(shí)施例。本領(lǐng)域技術(shù)人員將理解這六個(gè)實(shí)施例是示例實(shí)施例并且附加的實(shí)施例在本公開的范圍之內(nèi)。
[0058]在第一不范性實(shí)施例中，對(duì)于某些米樣的輸入圖片減少參考圖片樣本，而所有輸入圖片被采樣以處理?？梢詫?duì)所有或某些采樣的輸入圖片減少參考圖片樣本的數(shù)目。減少的模式可以是任意的，但是優(yōu)選地它用這樣方法被組織以使得可以從產(chǎn)生的參數(shù)推斷缺失的統(tǒng)計(jì)和參數(shù)。模式也可以是周期性的并且它也可以適應(yīng)于底層視頻序列的統(tǒng)計(jì)。例如，低運(yùn)動(dòng)視頻序列可以需要低的采樣率而高運(yùn)動(dòng)視頻序列可以需要高的采樣率。如以下的補(bǔ)充細(xì)節(jié)所述，根據(jù)此第一實(shí)施例的處理可以適應(yīng)于內(nèi)容。
[0059]上述采樣率指代參考圖片樣本。此復(fù)雜度減小技術(shù)與所有以上列出的四個(gè)應(yīng)用兼容。
[0060]在第二示范性實(shí)施例中，利用相同數(shù)目的參考圖片處理所有圖片，并且與第一實(shí)施例相反，采樣的輸入圖片的數(shù)目小于輸入圖片的總數(shù)(時(shí)間向下采樣)。這是輸入圖片的時(shí)間向下采樣的情況。在預(yù)分析模塊中僅僅處理子集。向下采樣模式可以是任意的或可以是周期性的。最佳地，它適應(yīng)于視頻信號(hào)的底層統(tǒng)計(jì)。例如，具有許多活動(dòng)的場(chǎng)景可以不得不非常頻繁地被采樣，而具有低運(yùn)動(dòng)的場(chǎng)景可以利用較低頻率被采樣。關(guān)于如何適應(yīng)采樣頻率的決定可以通過處理包括運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)誤差(諸如SAD或MSE值)和運(yùn)動(dòng)模型參數(shù)(運(yùn)動(dòng)矢量和加權(quán)預(yù)測(cè)/照度補(bǔ)償參數(shù))的過去的統(tǒng)計(jì)來導(dǎo)出。類似先前的實(shí)施例，根據(jù)此第二實(shí)施例的處理可以適應(yīng)于內(nèi)容。由一到二的因子對(duì)采樣的輸入圖片進(jìn)行二次采樣可以將預(yù)分析系統(tǒng)的復(fù)雜度減小一半。此復(fù)雜度減小技術(shù)與應(yīng)用(a)、(b)、和(C)兼容。時(shí)間濾波將是次優(yōu)的。
[0061]在第三示范性實(shí)施例中，在第一示范性實(shí)施例和第二示范性實(shí)施例二者中描述的算法被合并以實(shí)現(xiàn)采樣的輸入圖片和參考圖片樣本的二次采樣。采樣模式或者是隨機(jī)的、或者是周期性的、或者任意的、或者適應(yīng)于參考目標(biāo)應(yīng)用用于增加的性能的視頻序列的底層統(tǒng)計(jì)。類似上面描述的實(shí)施例，根據(jù)此實(shí)施例的處理也可以適應(yīng)于內(nèi)容。潛在地，上面列出的所有應(yīng)用與此示范性實(shí)施例兼容。
[0062]在可以與上面描述的上述實(shí)施例中的任何一個(gè)組合的第四示范性實(shí)施例中，輸入圖片此外被在空間域中二次采樣(向下采樣)。此實(shí)施例不直接與預(yù)濾波應(yīng)用(d)兼容。但是，它可以幫助大大地降低復(fù)雜度(例如對(duì)于在每個(gè)空間維度中2的向下采樣因子，以因子4降低復(fù)雜度)，并且對(duì)于應(yīng)用(a)、(b)、和(C)仍然保持足夠良好的性能。類似上面描述的實(shí)施例，根據(jù)此實(shí)施例的處理也可以適應(yīng)于內(nèi)容。
[0063]在第五示范性實(shí)施例中，使用在采樣的輸入圖片和參考圖片樣本向下采樣的情況下(參見上面描述的第三示范性實(shí)施例)可以保證可靠的場(chǎng)景表征的算法。此實(shí)施例維持預(yù)測(cè)誤差統(tǒng)計(jì)并且如果這些超過某些閾值則啟動(dòng)二元搜索，其目標(biāo)是檢測(cè)場(chǎng)景轉(zhuǎn)變，諸如場(chǎng)景改變和衰落，其出現(xiàn)在沒有被采樣為采樣的輸入圖片或者參考圖片樣本的圖片中。
[0064]第五示范性實(shí)施例的內(nèi)容適應(yīng)可能如下。驅(qū)動(dòng)自適應(yīng)二次采樣的信息可以來自于先前的預(yù)分析過程(下面在第六示范性實(shí)施例中描述的)或者通過處理過去的預(yù)分析統(tǒng)計(jì)而來。運(yùn)動(dòng)的模型可以被創(chuàng)建并且對(duì)于給定的過去行為試圖預(yù)測(cè)在場(chǎng)景中的運(yùn)動(dòng)。如果過去圖像具有高運(yùn)動(dòng)，則頻繁地采樣，如果不，則較不頻繁地采樣。也可以包括回退(如果執(zhí)行較不頻繁的采樣，但是清楚運(yùn)動(dòng)是高的，則進(jìn)一步的中間采樣可以被獲得以避免誤差)。
[0065]在第六示范性實(shí)施例中，先前的實(shí)施例可以被修改以創(chuàng)建分級(jí)預(yù)分析系統(tǒng)，其中執(zhí)行在某一時(shí)空分辨率處的第一分析，并且然后給出那個(gè)分析的結(jié)果，空間分辨率或者時(shí)間分辨率或者兩個(gè)分辨率被增加并且進(jìn)一步完善分析。此預(yù)分析可以提供在以上實(shí)施例中描述的處理然后適應(yīng)于提供的信息的內(nèi)容。執(zhí)行在較低時(shí)間或者空間分辨率處的分析的優(yōu)點(diǎn)是整個(gè)運(yùn)動(dòng)分析是較低復(fù)雜的，因?yàn)槔缢阉鞲俚臉颖?。但是，低分辯率搜索可能較不準(zhǔn)確，因此本發(fā)明的實(shí)施例可以合并上面描述的分級(jí)分析系統(tǒng)，以改善運(yùn)動(dòng)估計(jì)的整體準(zhǔn)確度同時(shí)允許估計(jì)的復(fù)雜度的降低。
[0066]根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)包括:(a)時(shí)間預(yù)分析運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊；(b)空間向下采樣模塊；(C)引入延遲并且使能利用將來參考圖片用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的緩沖存儲(chǔ)器模塊；以及(d)使它的編碼參數(shù)、比特分配、和預(yù)測(cè)結(jié)構(gòu)適應(yīng)從預(yù)分析模塊接收到的信息的可選的視頻編碼器。系統(tǒng)另外可以包括從預(yù)分析模塊中接收運(yùn)動(dòng)參數(shù)和其它控制信息的預(yù)濾波器。
[0067]本發(fā)明的實(shí)施例通過使用時(shí)空二次采樣降低運(yùn)動(dòng)補(bǔ)償時(shí)間預(yù)分析和預(yù)濾波系統(tǒng)的復(fù)雜度。在圖7中示出了用于一般預(yù)分析系統(tǒng)的圖片緩沖。緩沖所有或者一些輸入圖片并且對(duì)于所謂的當(dāng)前圖片(具有最暗光影的一個(gè))利用來自于過去和將來二者的參考圖片作為預(yù)測(cè)參考圖片執(zhí)行運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)域分析。在如圖10所示的傳統(tǒng)的運(yùn)動(dòng)補(bǔ)償時(shí)域分析中，利用MCTA采樣并且處理所有輸入圖片。考慮例如圖5的情況，其中來自于將來的兩個(gè)運(yùn)動(dòng)補(bǔ)償?shù)膮⒖己蛠碜杂谶^去的兩個(gè)運(yùn)動(dòng)補(bǔ)償?shù)膮⒖加糜陬A(yù)測(cè)當(dāng)前圖片。讓MVu，v表示利用運(yùn)動(dòng)估計(jì)導(dǎo)出的從圖片u預(yù)測(cè)圖片V的運(yùn)動(dòng)參數(shù)。在時(shí)刻T=n處，利用運(yùn)動(dòng)參數(shù)MVn_2，n從圖片η-2預(yù)測(cè)圖片η，并且也利用運(yùn)動(dòng)參數(shù)MV1^n從圖片η_1預(yù)測(cè)。也利用運(yùn)動(dòng)參數(shù)MVn+2，n從圖片η+2并且利用運(yùn)動(dòng)參數(shù)MVn+i，n從圖片n+1預(yù)測(cè)圖片η。然后，繼續(xù)前進(jìn)到下一個(gè)圖片，利用運(yùn)動(dòng)參數(shù)從圖片η-1并且也利用運(yùn)動(dòng)參數(shù)MVn，n+1從圖片η預(yù)測(cè)圖片n+1。再次，預(yù)測(cè)從將來圖片發(fā)生:利用運(yùn)動(dòng)參數(shù)MVn+2，n+1從圖片η+2并且也利用運(yùn)動(dòng)參數(shù)MVn+3，n+1從圖片n+3預(yù)測(cè)預(yù)測(cè)圖片n+1。對(duì)于所有采樣的輸入圖片:n+2、n+3、等等，繼續(xù)相同的處理。為了簡(jiǎn)化這里討論的示例，假定每個(gè)預(yù)測(cè)(這里的四個(gè))從單個(gè)圖片導(dǎo)出。下面描述的實(shí)施例也可應(yīng)用于其中每個(gè)預(yù)測(cè)由來源于不同參考圖片的塊組成的情況。
[0068]在第一示范性實(shí)施例中，參考圖片樣本數(shù)目隨每個(gè)采樣的輸入圖片而變。在處理輸入圖片方面不執(zhí)行時(shí)間向下采樣:所有輸入圖片被采樣并且處理。在一個(gè)示例中，對(duì)于每個(gè)采樣的輸入圖片假設(shè)最大數(shù)目的參考圖片樣本，對(duì)于特定采樣的輸入圖片減少用于運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)膮⒖紙D片的數(shù)目。在此方法的一個(gè)可能布置中，用于參考圖片樣本的采樣模式是周期性的，周期為二，并且在圖8中示出。運(yùn)動(dòng)估計(jì)和補(bǔ)償保持對(duì)偶數(shù)編號(hào)的輸入圖片保持不變。但是，對(duì)于奇數(shù)圖片，限制運(yùn)動(dòng)估計(jì)和補(bǔ)償操作。從最遠(yuǎn)的將來圖片到當(dāng)前圖片僅僅執(zhí)行四個(gè)操作當(dāng)中的一個(gè)操作。例如，對(duì)于時(shí)刻n+1，利用輸出運(yùn)動(dòng)模型參數(shù)MVn+3，n+1的參考圖片n+3預(yù)測(cè)圖片n+1。對(duì)于利用輸出運(yùn)動(dòng)模型參數(shù)MVn+5，n+3的參考圖片n+5預(yù)測(cè)的圖片n+3同樣如此。如果運(yùn)動(dòng)預(yù)測(cè)是不可用的，則將運(yùn)動(dòng)預(yù)測(cè)限制到最遠(yuǎn)的圖片的動(dòng)機(jī)必須處理不能重構(gòu)這些運(yùn)動(dòng)參數(shù)。但是，對(duì)于圖片η+2的三個(gè)缺失的運(yùn)動(dòng)參數(shù)可以從先前采樣的輸入圖片的運(yùn)動(dòng)參數(shù)推斷?？紤]例如圖片n+3。缺失的運(yùn)動(dòng)參數(shù)是MVn+1，n+3、MVn+2，n+3、和
MVn+4，n+3 °
[0069]在一個(gè)實(shí)施例中，可以如下估計(jì)缺失的參數(shù):
[0070](a)MVn+1,n+3被估計(jì)為通過處理圖片n+1可用的_MVn+1，n+3或者為在處理圖片η+2之后可用的(MVn+1，n+2-MVn+3，n+2)。負(fù)號(hào)表示平移運(yùn)動(dòng)參數(shù)的符號(hào)是相反的。在加權(quán)的預(yù)測(cè)參數(shù)情況下，權(quán)重被相乘(對(duì)于加號(hào))或者相除(對(duì)于負(fù)號(hào))。對(duì)于較高階運(yùn)動(dòng)模型，一些類型的投影或者運(yùn)動(dòng)線程用于跟隨從一個(gè)圖片到其它的運(yùn)動(dòng)。
[0071 ] (b) MVn+2，n+3被估計(jì)為通過處理圖片η+2可用的_MVn+3，n+2。
[0072](c)最后，MVn+4；n+3被估計(jì)為可以從處理圖片η+2中獲得的0.5XMVn+4；n+2或者為在處理圖片之后可用的(MVn+4，n+2_MVn+3i，n+2)。
[0073]類似方法可以使用于估計(jì)采樣的輸入圖片n+1的運(yùn)動(dòng)參數(shù)。這些重構(gòu)的參數(shù)然后可以用于圖片和場(chǎng)景分類、濾波和視頻編碼優(yōu)化，如同將使用原始的參數(shù)。在視頻編碼器操作者不確信它們的可靠性的情況中，一些功能可以被限制，即，在產(chǎn)生預(yù)測(cè)塊的加權(quán)的線性組合期間，與用于更可靠的預(yù)測(cè)的那些相比較，用于平均不可靠的預(yù)測(cè)的權(quán)重可以被降低。
[0074]可以為所有或者某些采樣的輸入圖片降低用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的參考圖片的數(shù)目。向下采樣模式可以是任意的，但是優(yōu)選地它用這樣方法被組織以使得可以從如上所述產(chǎn)生的參數(shù)中推斷缺失的統(tǒng)計(jì)和參數(shù)。在上面描述的示范性實(shí)施例中，向下采樣率大約是I比
2。一般，用可以從被完全地處理的圖片的運(yùn)動(dòng)參數(shù)容易地估計(jì)缺失運(yùn)動(dòng)參數(shù)的方法(周期性的或者看起來任意的)禁止運(yùn)動(dòng)預(yù)測(cè)。這可以從單個(gè)方向(過去)或者兩個(gè)方向(過去和將來)進(jìn)行。二次采樣模式也可以是周期性的并且它也可以適應(yīng)于底層視頻序列的統(tǒng)計(jì)。例如,低運(yùn)動(dòng)視頻序列將需要低的采樣率而高運(yùn)動(dòng)視頻序列將需要高的采樣率。上述采樣率是指參考圖片樣本。參考圖片的數(shù)目的減少可以被按上面描述的分級(jí)預(yù)分析系統(tǒng)的方式組織。
[0075]在第二示范性實(shí)施例中，參考圖片樣本的數(shù)目被保持相同，并且與第一示范性實(shí)施例相反，采樣的輸入圖片的數(shù)目可以小于輸入圖片的總數(shù)。此外，用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的參考圖片僅僅從采樣的輸入圖片中提取。此方法的特例將每第二視頻序列每原始30幀的每個(gè)第二版本分析15幀。圖14示出此情況。代替在圖10中采樣所有輸入圖片，采樣模式可以如圖13所示的一個(gè)一般。向下采樣模式可以是任意的或者可以是周期性的。通過一到二的因子對(duì)采樣的輸入圖片進(jìn)行二次采樣可以將預(yù)分析系統(tǒng)的復(fù)雜度減少一半。示范性采樣模式包括圖11和圖12所示的模式。
[0076]圖11所示的采樣模式將輸入圖片的采樣頻率適應(yīng)輸入視頻的統(tǒng)計(jì)。輸入圖片最初以一半輸入速率被米樣，然后以輸入速率的三分之一，繼之以一半輸入速率米樣，然后以輸入速率的相等速率，等等。圖11中的插入圖示出對(duì)于圖片n+28到圖片n+37的一些細(xì)節(jié):從那些10個(gè)圖片當(dāng)中，五個(gè)正在利用運(yùn)動(dòng)補(bǔ)償時(shí)域分析被采樣并處理。舉例來說，描述圖片n+31的分析。從已被采樣的時(shí)間上最接近的兩個(gè)過去圖片:圖片n+28和圖片n+29，預(yù)測(cè)圖片n+31。它也被從兩個(gè)將來圖片:n+33和n+37預(yù)測(cè)。
[0077]具有許多活動(dòng)的場(chǎng)景可以不得不非常頻繁地被采樣，而具有低運(yùn)動(dòng)的場(chǎng)景可以利用較低頻率被采樣。關(guān)于如何適應(yīng)采樣頻率的決定可以通過處理包括運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)誤差和運(yùn)動(dòng)模型參數(shù)(運(yùn)動(dòng)矢量)的過去的統(tǒng)計(jì)導(dǎo)出。適應(yīng)采樣頻率的另一個(gè)方式是通過一些預(yù)先準(zhǔn)備:每幾個(gè)幀一次，當(dāng)前幀，即幀n，利用幀n+N (N是正的)預(yù)測(cè)，其中N足夠大。根據(jù)參考一些預(yù)先定義的或者固定的閾值的預(yù)測(cè)誤差的值，然后可以適應(yīng)用于區(qū)間[n+1, n+N-1]中的巾貞的采樣頻率。壓縮采樣的原理(參見例如，E.J.Candes, “CompressiveSampling，，Proceedings of the Internat1nal Congress of Mathematicians, Madrid,Spain，2006)可以用來最優(yōu)地改變用于輸入視頻信號(hào)的采樣頻率，導(dǎo)致相當(dāng)大的計(jì)算和存儲(chǔ)復(fù)雜度增益。另外，第一快速預(yù)分析過程可以基于輸入圖片的空間上二次采樣的版本執(zhí)行并且此信息被處理以最優(yōu)地適應(yīng)用于完全分辨率原始采樣的輸入圖片的采樣模式。
[0078]在圖9中示出了具有I比3的向下采樣率的低復(fù)雜度的運(yùn)動(dòng)補(bǔ)償時(shí)域分析模塊的示例。在圖8中的結(jié)構(gòu)使用過去圖片運(yùn)動(dòng)參數(shù)估計(jì)缺失的那些，在圖9中的結(jié)構(gòu)被設(shè)計(jì)為利用雙向缺失運(yùn)動(dòng)參數(shù)估計(jì)。這引入三個(gè)圖片的延遲，但是允許在運(yùn)動(dòng)參數(shù)準(zhǔn)確度中對(duì)于較小損失的較大的復(fù)雜度減小。圖9示出利用來自于過去和將來二者中所有可用的預(yù)測(cè)參考充分地處理圖片η和n+3。對(duì)圖片n+1和η+2不進(jìn)行運(yùn)動(dòng)估計(jì)和補(bǔ)償。但是，缺失的運(yùn)動(dòng)模型參數(shù)可以從用于預(yù)測(cè)圖片η和n+3的運(yùn)動(dòng)參數(shù)估計(jì)。
[0079]對(duì)于圖片n+1，缺失參數(shù)可以被估計(jì)如下:
[0080](a) MVn_1;n+1被估計(jì)為在處理圖片η之后可用的(MVn_1;n-MVn+1，n)。
[0081](b)MVn；n+1被估計(jì)為在處理圖片η之后可用的_MVn+1，n。
[0082](c) MVn+2，n+1被估計(jì)為0.5XMVn+2，n或者為在處理圖片η之后
[0083]可用的(MVn+2，n_MVn+1，n)。
[0084](d) MVn+3，n+1被估計(jì)為在處理圖片η之后可用的_MVn+1，n+3。
[0085]對(duì)于圖片n+3，缺失參數(shù)可以被估計(jì)如下:
[0086](a) MVn，n+2被估計(jì)為在處理圖片η之后可用的_MVn+2，n。
[0087](b)MVn+1；n+2被估計(jì)為在處理圖片n+3之后可用的0.5XMVn+1，n+3或者為在處理圖片η之后可用的-0.5XMVn+2，n。
[0088](c) MVn+3，n+2被估計(jì)為在處理圖片n+3之后可用的MVn+2，n+3。
[0089](d) MVn+4，n+2 被估計(jì)為在處理圖片 n+3 之后可用的(MVn+4，n+3_MVn+2，n+3)。
[0090]在第三示范性實(shí)施例中，如上對(duì)于第一示范性實(shí)施例和第二示范性實(shí)施例描述的算法被組合以實(shí)現(xiàn)采樣的輸入圖片和參考圖片樣本的二次采樣。采樣模式或者是隨機(jī)的、或者是周期性的、或者任意的、或者適應(yīng)于視頻序列的底層統(tǒng)計(jì)以便針對(duì)目標(biāo)應(yīng)用提高性能。二次采樣可以用于輸入圖片，但是任何圖片可以被用作預(yù)測(cè)參考，包括沒有被采樣的輸入圖片。圖16示出了此類二次采樣，其中任何圖片可以被用作預(yù)測(cè)參考。此采樣模式與在圖14中示出的一個(gè)相比較的優(yōu)點(diǎn)是改善的時(shí)間分析。雖然在圖14中的結(jié)構(gòu)僅僅分析偶數(shù)的或者奇數(shù)的圖片，但是諸如在圖16中的在參考圖片方面不受約束的采樣結(jié)構(gòu)可以收集關(guān)于序列中所有圖片的信息。例如，考慮以下情況，其中具有指數(shù)n+4Xk (其中k是整數(shù))的圖片從最接近的偶數(shù)指數(shù)的圖片預(yù)測(cè)，并且具有指數(shù)n+4Xk+2 (其中k是整數(shù))的圖片從最接近的奇數(shù)指數(shù)的圖片預(yù)測(cè)。即使一半圖片被采樣和處理，參考圖片也可以被設(shè)置為包括沒有被采樣的圖片并且因此計(jì)算諸如MAD預(yù)測(cè)誤差之類的關(guān)鍵統(tǒng)計(jì)。這些統(tǒng)計(jì)可以便于非?？煽康膱?chǎng)景和以大約一半的計(jì)算復(fù)雜度的圖片復(fù)雜度分類。與圖14相比較唯一的缺點(diǎn)是存儲(chǔ)器復(fù)雜度保持大約相同。
[0091]在可以與上面描述的示范性實(shí)施例中的任何一個(gè)組合的第四示范性實(shí)施例中，輸入圖片另外被在空間域中、并且可選地在比特深度域中二次采樣(向下采樣)。此方法可以幫助大大地降低復(fù)雜度(例如對(duì)于每個(gè)空間維度中2的向下采樣因子，以因子4降低復(fù)雜度)，并且對(duì)于如下應(yīng)用仍然維持足夠良好的性能，這些應(yīng)用諸如(a)圖片和場(chǎng)景復(fù)雜度分類；(b)比特率分配；以及(c)視頻編碼器預(yù)測(cè)結(jié)構(gòu)確定；如上指示的。這可以對(duì)于部分或者整個(gè)圖像序列進(jìn)行。
[0092]參考圖片的空間二次采樣可以使用不引入混疊的技術(shù)，因?yàn)榛殳B可以反面地影響運(yùn)動(dòng)估計(jì)處理，考慮到它可以導(dǎo)致的“假象”和新的“頻率”信息。因此最好是首先應(yīng)用抗混疊濾波器以試圖盡可能避免混疊的引入。當(dāng)然仍然容許一些混疊。也可以期望不濾波太多，因此可以仍然保持諸如邊緣(強(qiáng)濾波可以影響此類信息)之類的信號(hào)的最重要的特性。
[0093]濾波也可以是將信號(hào)從一種形式轉(zhuǎn)換到另一種形式的類型。具體地，特別是對(duì)于硬件應(yīng)用，可以采取N比特信號(hào)并且將它轉(zhuǎn)換成M比特，M〈N。M甚至可以等于I (即轉(zhuǎn)換成為二元圖像)。然后可以對(duì)此類邊緣圖像信息計(jì)算運(yùn)動(dòng)信息?？梢员豢醋鞅忍厣疃榷尾蓸拥拇朔椒梢员蝗菀椎嘏c空間和時(shí)間二次采樣方法結(jié)合。通常推薦首先應(yīng)用時(shí)間的、然后空間的(抗混疊濾波器的應(yīng)用，繼之以向下采樣)、并且然后比特深度的減少。
[0094]運(yùn)動(dòng)估計(jì)顯然應(yīng)用在此較低分辯率中(并且如果使用的話，在較低比特深度中)。因?yàn)樗阉鬏^少樣本，所以這降低了搜索的復(fù)雜度，但是當(dāng)然也降低了準(zhǔn)確度。這涉及分級(jí)搜索，其中在低于完全分辨率的級(jí)別處停止搜索。甚至在空間二次采樣處的運(yùn)動(dòng)估計(jì)，并且可選地比特深度二次采樣級(jí)別處的運(yùn)動(dòng)估計(jì)可以仍然受益于分級(jí)運(yùn)動(dòng)估計(jì)技術(shù)。
[0095]圖12的采樣模式服從并行化，因?yàn)椴煌腃PU或者GPU可以被分配給每組圖片。一般，此采樣模式包括M個(gè)連續(xù)的采樣的圖片的周期，繼之以不被處理的N個(gè)連續(xù)圖片。再一次，用于運(yùn)動(dòng)預(yù)測(cè)的參考圖片僅僅從正被采樣的圖片中提取。在圖12的插入圖中示出了用于圖片n+24的運(yùn)動(dòng)預(yù)測(cè)。圖片n+24被從圖片n+23和n+22 (過去)、圖片n+30和n+31(將來)預(yù)測(cè)。雖然此采樣模式在并行化和復(fù)雜度降低方面是高效的，但是它可以在檢測(cè)場(chǎng)景改變或者諸如衰落、交叉衰落、閃爍、照相機(jī)遙攝和變焦之類的其它重要的場(chǎng)景轉(zhuǎn)變中具有問題。場(chǎng)景表征對(duì)壓縮效率和隨機(jī)訪問目的是非常重要的并且是對(duì)時(shí)間預(yù)分析系統(tǒng)的最關(guān)鍵功能中的一個(gè)。不失一般性，下面描述場(chǎng)景改變檢測(cè)的處理。場(chǎng)景改變檢測(cè)可以利用或者空間或者時(shí)間處理進(jìn)行:如果一個(gè)圖片具有與另一個(gè)非常不同的亮度統(tǒng)計(jì)，則場(chǎng)景改變可以發(fā)生。相當(dāng)于，如果在從參考圖片預(yù)測(cè)當(dāng)前圖片時(shí)運(yùn)動(dòng)預(yù)測(cè)誤差大于某一閾值，則場(chǎng)景改變可以發(fā)生。但是，在N是大的時(shí)，存在高的在場(chǎng)景改變已經(jīng)發(fā)生很久以后才檢測(cè)到場(chǎng)景改變的概率。這也對(duì)其它類型場(chǎng)景轉(zhuǎn)變也是成立的。在圖12中，場(chǎng)景改變可能已經(jīng)在圖片n+25處發(fā)生。但是，運(yùn)動(dòng)預(yù)測(cè)利用參考圖片n+30發(fā)生，其將導(dǎo)致大的預(yù)測(cè)誤差并且可以因此被誤分類為場(chǎng)景改變。
[0096]在圖15中描述的第五示范性實(shí)施例借助于快速的搜索算法(在這種情況下是二元搜索)解決上述問題(即，包括二次采樣的任何采樣模式可以丟失場(chǎng)景轉(zhuǎn)變)。現(xiàn)在在補(bǔ)充細(xì)節(jié)中描述所述方法。假設(shè)N是沒有被采樣或者用作η和n+N+1的兩個(gè)采樣的圖片之間的參考圖片的圖片數(shù)目。如果圖片η和它的從圖片n+N+1運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)之間的預(yù)測(cè)誤差(例如，MAD)超過閾值，則不得不執(zhí)行更多的分析以檢測(cè)諸如場(chǎng)景改變之類的潛在場(chǎng)景轉(zhuǎn)變。如果圖片n+N+1和它的從圖片η運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)之間的預(yù)測(cè)誤差超過閾值，則這同樣也是有效的。在那種情況下，處理的圖片η或者n+N+1從圖片η+Ν/2預(yù)測(cè)。如果預(yù)測(cè)誤差仍然超過閾值，則它從圖片η+Ν/4預(yù)測(cè)。否則，它從圖片η+3ΧΝ/4預(yù)測(cè)。此迭代被重復(fù)直到搜索空間已被減小到一個(gè)圖片并且不再能被二等分。迭代的數(shù)目大約1g2 (N)。假設(shè)麻0￥表示在圖片u用于預(yù)測(cè)圖片V時(shí)的預(yù)測(cè)誤差。在圖17中提供用于場(chǎng)景改變檢測(cè)和復(fù)雜度分類的二元搜索的信息圖。
[0097]如在圖15中描述的示例所示，此處理如下:
[0098](a)利用運(yùn)動(dòng)補(bǔ)償從圖片n+8預(yù)測(cè)圖片n，并且
[0099]得到預(yù)測(cè)誤差大于閾值I；。
[0100](b)圖片 η 然后從圖片 n+1+ ((n+7) - (n+1))/2=n+4 預(yù)測(cè)，并且
[0101]得到預(yù)測(cè)誤差小于閾值?\。
[0102](c)圖片 η 然后從圖片 n+4+ ((n+7) - (n+4))/2=n+6 預(yù)測(cè)，并且
[0103]得到預(yù)測(cè)誤差大于閾值T2。
[0104](d)圖片 η 然后從圖片 n+4+ ((n+6) - (n+4))/2=n+5 預(yù)測(cè)，并且
[0105]得到預(yù)測(cè)誤差大于閾值T3。
[0106]在二元搜索算法的三次迭代之后，圖片n+5已被檢測(cè)為場(chǎng)景改變。
[0107]如上述簡(jiǎn)要地討論的，第六示范性實(shí)施例合并先前實(shí)施例的各方面以創(chuàng)建分級(jí)預(yù)分析系統(tǒng)，其中執(zhí)行在某些時(shí)空分辨率處的第一分析，并且然后給定那個(gè)分析的結(jié)果，可以增加空間分辨率或者時(shí)間分辨率或者兩個(gè)分辨率以進(jìn)一步完善分析。圖19不出用于分級(jí)預(yù)分析系統(tǒng)的方框圖。第一預(yù)分析過程920確定用于執(zhí)行第二預(yù)分析過程922的參數(shù)。第一過程920被設(shè)計(jì)為具有比最終過程更低的復(fù)雜度并且估計(jì)用于第二過程922的設(shè)置(哪種二次采樣、多少參考，等等)以使得最大化此類預(yù)分析性能(運(yùn)動(dòng)矢量、分類、表征的質(zhì)量，等等)。在一個(gè)示例中，即使它在低分辯率(時(shí)間的和空間的)處操作，第一過程920也確定用于特定片段的高運(yùn)動(dòng)。然后它指示第二或者后續(xù)過程922使用較高的時(shí)間分辨率。對(duì)于兩個(gè)分析過程，可以在分析之前使用向下采樣910、912或者可以對(duì)輸入視頻的二次采樣版本執(zhí)行分析。
[0108]第六實(shí)施例也可以合并附加或者后續(xù)的預(yù)分析過程。如果例如，第一或者較早的預(yù)分析模塊確定它導(dǎo)出的統(tǒng)計(jì)不是足夠可靠，則可以需要這些過程?？煽啃钥梢员还烙?jì)為預(yù)分析結(jié)果的一些統(tǒng)計(jì)分析、一些理智校驗(yàn)、或者與過去預(yù)分析統(tǒng)計(jì)的比較的函數(shù)。然后，可以執(zhí)行具有增加的時(shí)間或者空間或者時(shí)空分辨率的附加過程。這可以不包括整個(gè)輸入序列，而僅僅是其結(jié)果被認(rèn)為是不可靠的子集。
[0109]如上所述的方法和系統(tǒng)可應(yīng)用于使用任意類型運(yùn)動(dòng)模型、以及用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的任意數(shù)目的參考圖片的運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間分析。預(yù)測(cè)誤差可以或者是平均絕對(duì)差、或者均方誤差、或者表示由于誤預(yù)測(cè)引起的失真的一些其它度量。運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紙D片可以在圖片之間變化并且可以具有與當(dāng)前圖片的任意位置和時(shí)間距離。它們不需要是連續(xù)的。也注意，如上所述的方法和系統(tǒng)適用部分像素運(yùn)動(dòng)補(bǔ)償以及用于較高階運(yùn)動(dòng)模型的情況，諸如仿射運(yùn)動(dòng)模型。
[0110]以上一般描述的實(shí)施例的描述對(duì)單個(gè)視圖視頻圖像操作，即典型的二維視頻圖像。但是，這些操作可以被應(yīng)用于多視圖視頻圖像，諸如例如三維立體視頻圖像。在一些多視圖應(yīng)用中，實(shí)施例可以獨(dú)立地對(duì)視圖操作，其中運(yùn)動(dòng)估計(jì)從與視圖中的一個(gè)相關(guān)聯(lián)的幀集合導(dǎo)出。在其它多視圖應(yīng)用中，實(shí)施例可以對(duì)從多個(gè)視圖集合導(dǎo)出的數(shù)據(jù)操作，其中從一個(gè)視圖的運(yùn)動(dòng)估計(jì)可以被用于另一個(gè)視圖的運(yùn)動(dòng)估計(jì)。在其它多視圖應(yīng)用中，實(shí)施例可以使用分析數(shù)據(jù)以確定運(yùn)動(dòng)估計(jì)是否應(yīng)當(dāng)僅僅基于單個(gè)視圖還是多個(gè)視圖。具體地，當(dāng)輸入視頻包括三維立體幀兼容的信號(hào)時(shí)，如上所述的分析可以主要在一個(gè)視圖中進(jìn)行，但是對(duì)于一些幀，也可以對(duì)兩個(gè)視圖執(zhí)行。
[0111]呈現(xiàn)示范性和優(yōu)選實(shí)施例的上面詳細(xì)描述以便根據(jù)法律的需要而例示和公開。它不意指是窮舉的也不將本發(fā)明限制到精確形式或者描述的形式，而是僅僅使得本領(lǐng)域的其他技術(shù)人員理解本發(fā)明如何可以適合于特定使用或者實(shí)施方式。許多修改和變化的可能性對(duì)本領(lǐng)域的實(shí)踐者是明顯的。
[0112]對(duì)可以已經(jīng)包括公差、特征維度、特定工作條件、工程條件等的示范性實(shí)施例的描述不預(yù)期是限制性的，并且其可以在實(shí)施方式之間變化或者隨目前技術(shù)水平而改變，并且不應(yīng)當(dāng)從其中暗示局限性。具體地，應(yīng)當(dāng)理解公開不局限于特定組成物或者生物系統(tǒng)，其當(dāng)然可以變化。本公開已經(jīng)參考當(dāng)前技術(shù)水平做出，而且預(yù)期進(jìn)步并且將來的適應(yīng)可以考慮那些進(jìn)步，即根據(jù)那時(shí)的當(dāng)前技術(shù)水平。預(yù)期本發(fā)明的范圍由以下撰寫的權(quán)利要求書和適用的等效物定義。也要理解，這里使用的術(shù)語僅僅用于描述特定實(shí)施例的目的，并且不是意指限制。除非明確說明，對(duì)單數(shù)的權(quán)利元素的參考不是預(yù)期意味著“唯一的一個(gè)”。用在本說明書和附加權(quán)利要求書中的單數(shù)形式“一個(gè)”、“一”、和“這”包括多個(gè)指示物，除非內(nèi)容清楚地指示。術(shù)語“若干”包括兩個(gè)或更多個(gè)指示物，除非內(nèi)容清楚地指示。這里使用的所有技術(shù)和科學(xué)名詞具有公開所屬的領(lǐng)域的普通技術(shù)人員通常理解的同樣的意思，除非另有限定。
[0113]此外，在本公開中的元件、組件、方法或處理步驟不預(yù)期專用于公共的，不管元件、組件或者步驟是否在權(quán)利要求書中明確地?cái)⑹?。這里沒有權(quán)利要求元素是依據(jù)35U.S.C.See.112第六段條款解釋的，除非利用短語〃用于...的裝置〃明確地?cái)⑹鲈?，并且這里沒有方法或者處理步驟被依據(jù)那些條款解釋，除非明確地利用短語“包括步驟以用于”敘述。
[0114]在本公開中描述的方法和系統(tǒng)可以在硬件、軟件、固件、或者其組合中執(zhí)行。描述為塊、模塊、或組件的特征可以被一起(例如，在諸如集成邏輯裝置之類的邏輯裝置中)或者分開(例如，如分開連接的邏輯裝置)執(zhí)行。本公開的方法的軟件部分可以包括計(jì)算機(jī)可讀媒介，所述媒介包括在運(yùn)行時(shí)至少部分地執(zhí)行描述的方法的指令。計(jì)算機(jī)可讀媒介可以包括例如，隨機(jī)存取存儲(chǔ)器(RAM)和/或只讀存儲(chǔ)器(ROM)。指零可以由處理器(例如，數(shù)字信號(hào)處理器(DSP)、特定用途集成電路(ASIC)、或者電算(FPGA))運(yùn)行
[0115]已經(jīng)描述了本公開的許多實(shí)施例。然而，應(yīng)當(dāng)理解，在不脫離本公開的精神和范圍的情況下可以做出各種修改。因此，其它的實(shí)施例也在以下權(quán)利要求書的范圍之內(nèi)。
【權(quán)利要求】
1.一種用于視頻信號(hào)的運(yùn)動(dòng)分析的方法，包括步驟: 接收視頻信號(hào)，其中所述視頻信號(hào)包括在選擇的時(shí)間處的以下圖片中的至少一個(gè):當(dāng)前圖片、一個(gè)或多個(gè)過去圖片、以及一個(gè)或多個(gè)將來圖片； 生成一個(gè)或多個(gè)參考圖片，其中所述一個(gè)或多個(gè)參考圖片中的至少一個(gè)基于采樣視頻信號(hào)以產(chǎn)生所述一個(gè)或多個(gè)參考圖片中的至少一個(gè)，其中以選擇的時(shí)間和空間分辨率執(zhí)行采樣； 基于多個(gè)參考圖片計(jì)算運(yùn)動(dòng)參數(shù)； 確定計(jì)算的運(yùn)動(dòng)參數(shù)是否具有期望的準(zhǔn)確度； 如果計(jì)算的運(yùn)動(dòng)參數(shù)不具有期望的準(zhǔn)確度，則重復(fù)采樣視頻信號(hào)、生成一個(gè)或多個(gè)參考圖片、計(jì)算運(yùn)動(dòng)參數(shù)、并且確定計(jì)算的運(yùn)動(dòng)參數(shù)是否具有期望的準(zhǔn)確度的步驟，其中重復(fù)的采樣視頻信號(hào)的步驟包括以增加的時(shí)間分辨率或者增加的空間分辨率或者增加的空間和時(shí)間分辨率采樣視頻信號(hào)，并且其中重復(fù)所述步驟直到達(dá)到期望的準(zhǔn)確度； 指定具有期望的準(zhǔn)確度的計(jì)算的運(yùn)動(dòng)參數(shù)作為最終計(jì)算的運(yùn)動(dòng)參數(shù)；以及 基于最終計(jì)算的運(yùn)動(dòng)參數(shù)預(yù)測(cè)一個(gè)或多個(gè)選擇的采樣的輸入圖片， 其中運(yùn)動(dòng)分析包括所述一個(gè)或多個(gè)選擇的采樣的輸入圖片的預(yù)測(cè)。
2.根據(jù)權(quán)利要求1所述的方法，其中視頻信號(hào)包括以下圖像中的一個(gè):單視圖視頻圖像、多視圖視頻圖像、或者單視圖和多視圖視頻圖像的組合。
3.根據(jù)權(quán)利要求1所述的方法，其中采樣視頻信號(hào)包括采樣視頻信號(hào)中的每個(gè)圖片，并且參考圖片的數(shù)目對(duì)于所述一個(gè)或多個(gè)選擇的采樣的輸入圖片中的每一個(gè)而變化。
4.根據(jù)權(quán)利要求1所述的方法，其中所述一個(gè)或多個(gè)參考圖片對(duì)應(yīng)于少于視頻信號(hào)中的每個(gè)圖片，并且參考圖片的數(shù)目對(duì)于所述一個(gè)或多個(gè)選擇的采樣的輸入圖片中的每一個(gè)而變化。
5.根據(jù)權(quán)利要求3所述的方法，其中計(jì)算運(yùn)動(dòng)參數(shù)包括對(duì)于視頻信號(hào)中的選擇的圖片約束運(yùn)動(dòng)參數(shù)。
6.根據(jù)權(quán)利要求4所述的方法，其中計(jì)算運(yùn)動(dòng)參數(shù)包括對(duì)于視頻信號(hào)中的選擇的圖片約束運(yùn)動(dòng)參數(shù)。
7.根據(jù)權(quán)利要求1所述的方法，其中采樣視頻信號(hào)包括選擇性地采樣少于視頻信號(hào)中的每個(gè)圖片，由此所述一個(gè)或多個(gè)選擇的采樣的輸入圖片的每一個(gè)對(duì)應(yīng)于視頻信號(hào)中的一個(gè)或多個(gè)圖片。
8.根據(jù)權(quán)利要求7所述的方法，其中選擇性地采樣包括選擇視頻信號(hào)中的圖片以用于以下列模式中的至少一個(gè)進(jìn)行采樣:周期性模式；非周期性模式；或者周期性和非周期性模式的組合。
9.根據(jù)權(quán)利要求1所述的方法，其中采樣視頻信號(hào)包括采樣視頻信號(hào)中的每個(gè)圖片或者選擇性地采樣少于視頻信號(hào)中的每個(gè)圖片，并且其中至少一個(gè)預(yù)測(cè)的采樣的輸入圖片對(duì)應(yīng)于多于一個(gè)當(dāng)前圖片，并且其中預(yù)測(cè)選擇的采樣的輸入圖片包括基于對(duì)于先前選擇的采樣的輸入圖片計(jì)算的運(yùn)動(dòng)參數(shù)來預(yù)測(cè)至少一個(gè)選擇的采樣的輸入圖片。
10.根據(jù)權(quán)利要求9所述的方法，其中采樣視頻信號(hào)包括采樣視頻信號(hào)中的每個(gè)圖片，并且參考圖片的數(shù)目對(duì)于每個(gè)選擇的采樣的輸入圖片而變化。
11.根據(jù)權(quán)利要求9所述的方法，其中所述一個(gè)或多個(gè)參考圖片對(duì)應(yīng)于少于視頻信號(hào)中的每個(gè)圖片，并且參考圖片的數(shù)目對(duì)于每個(gè)選擇的采樣的輸入圖片而變化。
12.根據(jù)權(quán)利要求9所述的方法，其中選擇性地采樣包括選擇視頻信號(hào)中的圖片以用于以下列模式中的至少一個(gè)進(jìn)行采樣:周期性模式；非周期性模式；或者周期性和非周期性模式的組合。
13.根據(jù)權(quán)利要求1所述的方法，其中采樣包括在空間上二次采樣一個(gè)或多個(gè)過去圖片或者一個(gè)或多個(gè)將來圖片或者一個(gè)或多個(gè)過去圖片和一個(gè)或多個(gè)將來圖片以產(chǎn)生一個(gè)或多個(gè)在空間上二次采樣的參考圖片，并且計(jì)算運(yùn)動(dòng)參數(shù)包括對(duì)于所述一個(gè)或多個(gè)在空間上二次采樣的參考圖片中的每一個(gè)計(jì)算運(yùn)動(dòng)參數(shù)。
14.根據(jù)權(quán)利要求13所述的方法，其中在空間上二次采樣還包括于在空間上二次采樣之前進(jìn)行濾波。
15.根據(jù)權(quán)利要求14所述的方法，其中濾波包括抗混疊濾波或者比特深度二次采樣或者它們的一些組合。
16.根據(jù)權(quán)利要求9所述的方法，還包括迭代地比較選擇的預(yù)測(cè)的采樣的輸入圖片與對(duì)應(yīng)的當(dāng)前圖片并且基于迭代的比較確定視頻信號(hào)中的場(chǎng)景轉(zhuǎn)變發(fā)生。
17.根據(jù)權(quán)利要求16所述的方法，其中選擇用于采樣的時(shí)間和/或空間分辨率以增加確定場(chǎng)景轉(zhuǎn)變發(fā)生的能力。
18.一種用于視頻信號(hào)的運(yùn)動(dòng)分析的系統(tǒng)，其中所述視頻信號(hào)包括輸入視頻幀的流并且該系統(tǒng)包括: 空間向下采樣模塊，其中所述空間向下采樣模塊接收視頻信號(hào)；以及 預(yù)分析模塊，其中預(yù)分析模塊被配置為從空間向下采樣模塊中接收輸入視頻幀和向下采樣的視頻幀，并且其中預(yù)分析模塊生成與輸入視頻幀和處理的視頻幀相關(guān)聯(lián)的運(yùn)動(dòng)參數(shù)。
19.根據(jù)如權(quán)利要求18所述的系統(tǒng)，其中該系統(tǒng)包括預(yù)濾波器模塊，其中該預(yù)濾波器模塊被配置為接收運(yùn)動(dòng)參數(shù)和處理的視頻幀并且生成濾波的視頻幀。
20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中該系統(tǒng)包括視頻編碼器模塊，其中該視頻編碼器被配置為接收濾波的視頻幀和運(yùn)動(dòng)參數(shù)并且生成運(yùn)動(dòng)補(bǔ)償?shù)囊曨l幀。
21.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中該預(yù)分析模塊包括: 第一預(yù)分析模塊，其中該第一預(yù)分析模塊從以第一時(shí)空分辨率采樣的視頻信號(hào)中接收采樣的視頻幀，并且該第一預(yù)分析模塊生成第一運(yùn)動(dòng)參數(shù)集合和第一過程處理的視頻幀集合；以及 至少一個(gè)后續(xù)預(yù)分析模塊，其中該后續(xù)預(yù)分析模塊從以高于第一時(shí)空分辨率的空間分辨率或者以高于第一時(shí)空分辨率的時(shí)間分辨率或者以高于第一時(shí)空的分辨率的空間和時(shí)間分辨率采樣的視頻信號(hào)中接收所述第一運(yùn)動(dòng)參數(shù)集合、所述第一過程處理的視頻幀集合和采樣的視頻幀，并且該后續(xù)預(yù)分析模塊產(chǎn)生后續(xù)運(yùn)動(dòng)參數(shù)集合和處理的視頻幀。
22.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述視頻信號(hào)包括下列圖像中的一個(gè):單視圖視頻圖像、多視圖視頻圖像、或者單視圖和多視圖視頻圖像的組合。
23.根據(jù)權(quán)利要求書18所述的系統(tǒng)，其中所述預(yù)分析模塊基于來自于以選擇的空間和時(shí)間分辨率采樣的輸入視頻幀中的多個(gè)參考圖片計(jì)算運(yùn)動(dòng)參數(shù)，并且其中如果運(yùn)動(dòng)參數(shù)沒有達(dá)到期望的運(yùn)動(dòng)準(zhǔn)確度，則以增加的時(shí)間分辨率或者增加空間分辨率或者增加的空間和時(shí)間分辨率再采樣輸入視頻幀以產(chǎn)生更高分辨率參考幀，并且從所述更高分辨率參考幀計(jì)算運(yùn)動(dòng)參數(shù)。
24.根據(jù)權(quán)利要求書23所述的系統(tǒng)，其中每個(gè)輸入視頻幀被采樣并且參考圖片的數(shù)目對(duì)于每個(gè)采樣的視頻幀而變化。
25.根據(jù)權(quán)利要求書23所述的系統(tǒng)，其中視頻信號(hào)被選擇性地采樣，由此少于每個(gè)輸入視頻幀被采樣。
26.根據(jù)權(quán)利要求23所述的系統(tǒng)，其中視頻信號(hào)被選擇性地采樣，由此每個(gè)輸入視頻幀或者少于每個(gè)輸入視頻幀被采樣，并且每個(gè)運(yùn)動(dòng)補(bǔ)償?shù)囊曨l幀對(duì)應(yīng)于多于一個(gè)輸入視頻幀。
27.根據(jù)權(quán)利要求23所述的系統(tǒng)，其中所述預(yù)分析模塊還包括二次采樣模塊，其中至少一個(gè)輸入視頻幀被在空間上二次采樣以產(chǎn)生一個(gè)或多個(gè)在空間上二次采樣的參考圖片，并且運(yùn)動(dòng)參數(shù)包括基于所述一個(gè)或多個(gè)在空間上二次采樣的參考圖片的運(yùn)動(dòng)參數(shù)。
28.根據(jù)權(quán)利要求27所述的系統(tǒng)，其中所述二次采樣模塊于在空間上二次采樣至少一個(gè)視頻幀之前對(duì)至少一個(gè)輸入視頻幀濾波，并且其中濾波包括抗混疊濾波或者比特深度二次采樣或者它們的一些組合。
29.根據(jù)權(quán)利要求23所述的系統(tǒng)，其中運(yùn)動(dòng)補(bǔ)償?shù)囊曨l幀被迭代地與對(duì)應(yīng)的輸入視頻幀相比較以確定場(chǎng)景改變發(fā)生。
【文檔編號(hào)】H04N19/61GK104205844SQ201280047492
【公開日】2014年12月10日 申請(qǐng)日期:2012年9月27日 優(yōu)先權(quán)日:2011年9月29日
【發(fā)明者】A·多拉佩斯, A·萊昂塔瑞斯 申請(qǐng)人:杜比實(shí)驗(yàn)室特許公司