
本發(fā)明涉及一種那個視頻處理方法、視頻碼流及視頻處理裝置。
背景技術(shù):視頻信號中存在著大量的冗余信息,這些冗余信息可以分成空間冗余信息、時間冗余信息、數(shù)據(jù)冗余信息和視覺冗余信息。視頻壓縮技術(shù)一般基于塊的、集預(yù)測編碼、變換編碼和熵編碼于一體的混合編碼(HybridCoding)框架。目前,由聯(lián)合視頻組(JVT,JointVideoTeam)制定的H.264/AVC視頻壓縮標(biāo)準(zhǔn)代表了最先進(jìn)的視頻圖像壓縮技術(shù)。該編碼標(biāo)準(zhǔn)便是構(gòu)建在混合編碼框架上的。視頻混合編碼框架中的預(yù)測編碼將編碼圖像區(qū)域分成編碼單元,對編碼單元進(jìn)行預(yù)測編碼,得到參考圖像區(qū)域,并求得預(yù)測值和待編碼值的差即殘差數(shù)據(jù),對殘差數(shù)據(jù)進(jìn)行二維變換編碼;然后在變換域中對變換系數(shù)進(jìn)行量化、掃描轉(zhuǎn)換成一維信號;最后進(jìn)行熵編碼。在混合編碼框架中,預(yù)測編碼是非常重要的部分,尤其是圖像區(qū)域間預(yù)測,是提高編碼效率的有效技術(shù)手段。因此,在圖像區(qū)域間預(yù)測技術(shù)中,生成參考圖像區(qū)域是非常重要的環(huán)節(jié),高效的圖像區(qū)域生成算法,能夠使得殘差值減小,最終使得編碼的碼率降低。因此,開發(fā)高效的參考圖像區(qū)域生成算法對提高編碼效率具有重要意義。在多視點(diǎn)視頻編碼中,參考圖像區(qū)域的獲得,除了通過時域上相鄰圖像區(qū)域的提取之外,還可通過相鄰視點(diǎn)的同時刻圖像區(qū)域獲得。提高從相鄰圖像區(qū)域提取參考圖像區(qū)域質(zhì)量的方法,可提高多視點(diǎn)視頻預(yù)測效果,從而提高編碼效率。從20世紀(jì)40年代電視發(fā)明以來,經(jīng)歷了黑白電視、彩色電視和正在發(fā)展的數(shù)字高清晰度電視三個階段,電視技術(shù)正逐漸向大屏幕、彩色化、高清晰度、多媒體方向發(fā)展。三維電視(3DTV)具有深度感和臨場感,將會使觀眾獲得最大限度的立體感受,因而必將成為又一個新的發(fā)展方向。對應(yīng)用于三維電視的三維視頻的壓縮編碼技術(shù)的研究具有重要意義。紋理序列即是當(dāng)前使用攝像機(jī)獲得的二維圖像序列。獲得紋理序列是一個將三維真實(shí)世界投影到攝像機(jī)圖像平面的過程。這一過程中第三維的信息被丟棄,使得僅依靠紋理序列不能得到相應(yīng)的三維場景的所有信息。為完善地表達(dá)三維場景,就需要引入與紋理序列相對應(yīng)的補(bǔ)充信息,以表示出第三維的信息。一般說來,補(bǔ)充信息每一圖像區(qū)域的分辨率與紋理序列一致或比后者更低,并采用灰度圖的格式,每一個像素點(diǎn)的灰度值表征了相應(yīng)紋理序列上該點(diǎn)的深度等信息。利用紋理序列和相應(yīng)的補(bǔ)充信息以及必須的攝像機(jī)參數(shù),即可完整表示三維場景。目前最為常見的補(bǔ)充信息格式為將紋理序列上對應(yīng)點(diǎn)的深度信息灰度值表達(dá)的深度序列。除此之外,還有將在三維投影中投影單位距離時像素移動的像素距離直接或經(jīng)變換后以灰度值表達(dá)的補(bǔ)充信息等。人眼產(chǎn)生立體感主要基于雙目補(bǔ)充信息(binocularparallax)和運(yùn)動補(bǔ)充信息(motionparallax)兩個方面。如果采用一個裝置使左右眼分別看到不同的補(bǔ)充信息圖像,則大腦中就會產(chǎn)生精確的三維物體,以及該物體在場景中的定位,這就是具有深度的立體感。為了達(dá)到這一效果,需要利用一對或多對紋理和補(bǔ)充信息分別生成相應(yīng)的單眼圖像。在三維電視應(yīng)用環(huán)境下,除了經(jīng)由信道傳輸?shù)募y理序列,用戶端往往還需利用補(bǔ)充信息結(jié)合紋理序列合成更多的虛擬視點(diǎn)圖像作為供觀眾觀看的單眼圖像,以得到較佳的三維感受。在三維電視領(lǐng)域,將不同攝像機(jī)角度下獲得的三維場景的投影圖像稱為不同的視點(diǎn)圖像;在這里,攝像機(jī)可以是現(xiàn)實(shí)存在的,也可以是虛擬的,虛擬攝像機(jī)角度下的視點(diǎn)圖像被稱為虛擬視點(diǎn)圖像。為完成合成虛擬視點(diǎn)圖像的功能,除了補(bǔ)充信息之外,還需要表達(dá)待投影和投影目標(biāo)攝像機(jī)之間的位置關(guān)系的攝像機(jī)參數(shù)信息。結(jié)合運(yùn)用攝像機(jī)參數(shù)信息和補(bǔ)充信息,可將相應(yīng)的紋理序列投影到需要的視點(diǎn)位置上。若不使用紋理序列而僅使用補(bǔ)充信息,也可將補(bǔ)充信息本身投影到需要的視點(diǎn)位置上。前向投影步驟(ForwardWarping)是指利用攝像機(jī)參數(shù)將已有視角的圖像投影到虛擬視角位置的過程。該步驟是虛擬視生成中最基本、最重要的步驟,其基本原理是利用機(jī)器視覺的相關(guān)知識,將原始紋理圖和深度圖重建為三維世界中的圖像點(diǎn),再按照所需角度將其重新投影為所需角度的二維圖像。圖1為不同攝像機(jī)坐標(biāo)之間的轉(zhuǎn)換關(guān)系示意圖,圖中所示的(x,y,z)是原始圖像攝像機(jī)坐標(biāo)系,(u,v,m)則是虛擬攝像機(jī)中的坐標(biāo)系。對于三維空間中一點(diǎn),既可以用(x,y,z)坐標(biāo)表示,也可以用(u,v,m)坐標(biāo)來表示。對原始圖像而言,圖像上的每一個像素的(x,y,z)坐標(biāo)均為已知,其中x和y由該像素在二維紋理圖像中的坐標(biāo)位置確定,z則由深度圖像提供。要得到虛擬視圖像,需要計(jì)算出原始圖像各個點(diǎn)在虛擬視角坐標(biāo)上的位置(u,v)。在得到(u,v)之后,只需將原始圖像中(x,y)點(diǎn)的顏色信息復(fù)制到虛擬視圖像的(u,v)位置即可。由機(jī)器視覺相關(guān)知識得到通過(x,y,z)計(jì)算(u,v)的公式如下:式中:[u,v,1]T——(u,v)的齊次坐標(biāo);[X,Y,Z,1]T——(x,y,z)的齊次坐標(biāo);s——縮放系數(shù),代表了兩個坐標(biāo)系坐標(biāo)單位間的比例;fx與fy——攝像機(jī)焦距;cx與cv——基準(zhǔn)點(diǎn)的位置,它們與fx、fy共同組成的矩陣被稱為攝像機(jī)矩陣或內(nèi)參數(shù)矩陣,內(nèi)參數(shù)矩陣不依賴場景的視圖,一旦計(jì)算出,可以被重復(fù)使用(只要焦距固定);rij以及tk——它們組成的矩陣被稱為旋轉(zhuǎn)-平移矩陣或外矩陣,其中rij表征了場景的旋轉(zhuǎn),而tk表征了場景的平移(也可以理解為場景不動,攝像機(jī)在平移和轉(zhuǎn)動)。通過上述方法,可以將已有視角的圖像投影到虛擬視角位置。在投影過程中,既可以利用深度等補(bǔ)充信息完成紋理圖的投影,也可利用深度等補(bǔ)充信息將其自身投影到需要的位置。在前向投影中,有一類基于邊界檢測的潑濺算法,該算法的主要內(nèi)容為,對于處在深度等補(bǔ)充序列圖像內(nèi)容邊界附近的像素點(diǎn),在投影中將該點(diǎn)投影到目標(biāo)視點(diǎn)中距離三維投影位置小于一定閾值的像素點(diǎn)上。在三維電視應(yīng)用環(huán)境下,常有多路紋理與多路補(bǔ)充信息需要進(jìn)行傳輸。在多路視頻的編碼中,以H.264/AVC的增強(qiáng)集MVC編碼標(biāo)準(zhǔn)為代表的編碼技術(shù)采用了視點(diǎn)間預(yù)測的技術(shù)手段,進(jìn)一步提高了編碼效率。視點(diǎn)間預(yù)測技術(shù)的主要思想為,利用其他視點(diǎn)的同一時刻圖像區(qū)域信息作為當(dāng)前待編碼的視頻區(qū)域的參考圖像區(qū)域。由于兩者之間具有較強(qiáng)的相關(guān)性,因此能夠得到較優(yōu)的預(yù)測效果,最終得到優(yōu)秀的編碼效率?,F(xiàn)有技術(shù)的問題如下:在補(bǔ)充信息的視點(diǎn)間預(yù)測沒有專門針對補(bǔ)充信息的特點(diǎn)進(jìn)行優(yōu)化,沒有結(jié)合利用補(bǔ)充信息信息和視點(diǎn)位置信息來生成視點(diǎn)間參考圖像區(qū)域,而只是將補(bǔ)充信息圖像內(nèi)容進(jìn)行整體平移(平移量可以為零)而得到視點(diǎn)間參考圖像區(qū)域,因此對于補(bǔ)充信息中不同視點(diǎn)間圖像內(nèi)容的角度變化及圖像內(nèi)容不同物體間不同程度的位置變化不能精確的模擬,造成視點(diǎn)間預(yù)測效率不高,效果不佳,最終使得視點(diǎn)間視頻編碼效率不高。在多路補(bǔ)充信息的編碼中,若能充分利用多路補(bǔ)充信息的特點(diǎn)設(shè)計(jì)高效的參考圖像區(qū)域生成方法,則能夠獲得更優(yōu)秀的預(yù)測效果和編碼效率。
技術(shù)實(shí)現(xiàn)要素:本發(fā)明的第一目的在于提供一種用于三維視頻的視頻處理方法。一種視頻處理方法,包括:(1)使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域;(2)使用所述的參考圖像區(qū)域?qū)σ乙朁c(diǎn)的補(bǔ)充信息進(jìn)行預(yù)測;(3)所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。作為優(yōu)選,所述的預(yù)測包含一種預(yù)測模式,當(dāng)該預(yù)測模式使用所述的參考圖像區(qū)域時,該預(yù)測模式的運(yùn)動矢量為零。作為優(yōu)選,所述使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域時包括如下兩種方法或兩種方法中的一種:(1)按照投影精度X對所述的重建圖像區(qū)域進(jìn)行上采樣;(2)按照投影精度Y進(jìn)行下采樣得到乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域;所述的投影精度X大于等于所述的投影精度Y。作為優(yōu)選,按以下兩種方法之一對所述投影精度進(jìn)行操作:(1)將投影精度X和投影精度Y或兩者之一編入碼流;(2)由碼流提取得到投影精度X和投影精度Y或兩者之一。作為優(yōu)選,在所述使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域的過程包括正向投影、空洞填充,所述正向投影按照攝像機(jī)參數(shù)對圖像進(jìn)行相應(yīng)的三維投影,空洞填充對正向投影不能獲得的像素位置進(jìn)行填充處理,所述正向投影中運(yùn)用了基于邊界檢測的潑濺算法。本發(fā)明第二目的在于提供一種視頻碼流,通過對該視頻碼流進(jìn)行解碼,可獲得乙視點(diǎn)補(bǔ)充信息,所述解碼獲得乙視點(diǎn)補(bǔ)充信息的過程包含如下的方法:(1)使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域;(2)利用獲得的所述的參考圖像區(qū)域,結(jié)合相關(guān)信息對乙視點(diǎn)的補(bǔ)充信息進(jìn)行預(yù)測,預(yù)測結(jié)果用于解碼獲得乙視點(diǎn)補(bǔ)充信息;(3)所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與所述的乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。作為優(yōu)選,所述的預(yù)測包含一種預(yù)測模式,當(dāng)該預(yù)測模式使用所述的參考圖像區(qū)域時,該預(yù)測模式的運(yùn)動矢量為零。作為優(yōu)選,所述視頻碼流中包括投影精度X與投影精度Y,投影精度X大于等于投影精度Y,所述投影精度X在使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域過程中用于對所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域進(jìn)行上采樣,所述投影精度Y在使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域過程中用于下采樣得到乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域。本發(fā)明第三目的在于提供一種視頻處理裝置,該裝置包括:參考圖像生成模塊、緩存模塊;所述的參考圖像生成模塊以甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)作為輸入,并與緩存模塊相連,使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域并通過所述的緩存模塊輸出乙視點(diǎn)時刻T的補(bǔ)充信息參考圖像區(qū)域,該圖像區(qū)域用于乙視點(diǎn)補(bǔ)充信息的預(yù)測;所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。作為優(yōu)選,所述的參考圖像生成模塊包括如下兩種特點(diǎn)或兩種特點(diǎn)中的一種:(1)參考圖像生成模塊還以投影精度X作為輸入,所述的參考圖像生成模塊包含以下子模塊:上采樣模塊,所述的上采樣模塊用于按照投影精度X進(jìn)行上采樣;(2)參考圖像生成模塊還以投影精度Y作為輸入,所述的參考圖像生成模塊包含以下子模塊:下采樣模塊,所述的下采樣模塊用于按照投影精度Y對圖像進(jìn)行下采樣。作為優(yōu)選,所述的參考圖像生成模塊按以下兩種方法之一對所述投影精度進(jìn)行操作:(1)將投影精度X和投影精度Y或兩者之一編入碼流;(2)由碼流提取得到投影精度X和投影精度Y或兩者之一。作為優(yōu)選,所述的參考圖像生成模塊還以投影精度X和投影精度Y作為輸入;所述的參考圖像生成模塊包含以下子模塊:上采樣模塊、正向投影模塊、空洞填充模塊和下采樣模塊;所述的上采樣模塊以甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域和投影精度X作為輸入,并與正向投影模塊相連;所述的正像投影模塊以攝像機(jī)參數(shù)作為輸入,并與空洞填充模塊相連;所述的空洞填充模塊與下采樣模塊相連;所述的下采樣模塊需要投影精度Y作為輸入,并與緩存相連;所述的上采樣模塊用于按照投影精度X進(jìn)行上采樣,所述的正像投影模塊用于按照攝像機(jī)參數(shù)對圖像進(jìn)行相應(yīng)的三維投影,所述的空洞填充模塊用于對正向投影不能獲得的像素位置進(jìn)行填充處理,所述的下采樣模塊用于按照投影精度Y對圖像進(jìn)行下采樣。本發(fā)明與現(xiàn)有技術(shù)相比的有益效果:1、充分利用了補(bǔ)充信息的特性,生成了更有效的視點(diǎn)間補(bǔ)充序列參考圖像區(qū)域,提高了補(bǔ)充信息視點(diǎn)間預(yù)測的效率。2、充分利用了三維視頻信息中的視點(diǎn)信息,并結(jié)合補(bǔ)充信息內(nèi)容對補(bǔ)充序列圖像進(jìn)行了三維投影,從而獲得了內(nèi)容位置更為精確、預(yù)測效果更佳的預(yù)測圖像區(qū)域。3、生成預(yù)測圖像區(qū)域的過程中綜合考慮了性能與算法復(fù)雜度,得到了性能與速度的良好均衡。附圖說明圖1為現(xiàn)有技術(shù)中不同攝像機(jī)坐標(biāo)之間的轉(zhuǎn)換關(guān)系示意圖;圖2為本發(fā)明所述的一種視頻處理裝置實(shí)施例示意圖;圖3為本發(fā)明所述的一種視頻處理裝置實(shí)施例示意圖;圖4為本發(fā)明所述的一種視頻處理裝置實(shí)施例示意圖;圖5為本發(fā)明所述的一種視頻處理裝置實(shí)施例示意圖;圖6為本發(fā)明所述的一種視頻處理裝置實(shí)施例示意圖;圖7為本發(fā)明所述的一種視頻處理裝置實(shí)施例示意圖;具體實(shí)施方式本發(fā)明是針對現(xiàn)有三維視頻壓縮編碼中視點(diǎn)間預(yù)測技術(shù)所存在的問題而提出的解決方案。一種典型的運(yùn)用本發(fā)明的視頻處理裝置如圖2所示,該視頻處理裝置包括參考圖像生成模塊、緩存模塊。所述的參考圖像生成模塊需要甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)作為輸入,并與緩存相連,所述的緩存輸出乙視點(diǎn)時刻T的補(bǔ)充信息參考圖像區(qū)域,該圖像區(qū)域用于乙視點(diǎn)補(bǔ)充信息預(yù)測;參考圖像生成模塊作用為使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域。下面具體介紹幾種本發(fā)明視頻處理方法的實(shí)施實(shí)例:實(shí)例中的圖像區(qū)域可以是多種不同的區(qū)域,例如一圖像區(qū)域圖像、二分之一圖像區(qū)域圖像、四分之一圖像區(qū)域圖像、mxn的圖像塊、一個條帶、圖像中的某梯形區(qū)域、圖像中的某三角形區(qū)域、由圖像中不相鄰的像素組成的區(qū)域等。實(shí)例中的補(bǔ)充信息可以為各類不同的補(bǔ)充信息,例如深度信息、視差信息等。實(shí)例一:本實(shí)施例所述的一種視頻處理方法,該方法利用甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域,方法為按照甲視點(diǎn)重建圖像區(qū)域的補(bǔ)充信息值,依照三維投影關(guān)系,利用甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù)將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的像素位置,乙視點(diǎn)中經(jīng)過投影不能獲得的像素點(diǎn),利用其周圍像素點(diǎn)由線性插值獲得。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例二:本實(shí)施例所述的一種視頻處理方法,該方法利用甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域,方法為按照甲視點(diǎn)重建圖像區(qū)域的補(bǔ)充信息值,依照三維投影關(guān)系,利用甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù)將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近和次接近的像素位置,出現(xiàn)重疊的像素點(diǎn),則保留在三維投影關(guān)系中距離攝像機(jī)較近的點(diǎn)的值,乙視點(diǎn)中經(jīng)過投影不能獲得的像素點(diǎn),利用其周圍像素點(diǎn)由雙線性插值獲得。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例三:本實(shí)施例所述的一種視頻處理方法,該方法利用甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域,方法為按照甲視點(diǎn)重建圖像區(qū)域的深度值,依照三維投影關(guān)系,利用甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù)將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的像素位置,乙視點(diǎn)中經(jīng)過甲視點(diǎn)重建圖像區(qū)域像素投影不能獲得的像素點(diǎn),使用默認(rèn)像素值,例如0、255等,進(jìn)行填充;用同上述的利用甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域的方法,利用丙視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域;利用甲視點(diǎn)重建圖像區(qū)域生成的乙視點(diǎn)參考圖像區(qū)域和丙視點(diǎn)重建圖像區(qū)域生成的乙視點(diǎn)參考圖像區(qū)域插值得到用于預(yù)測的乙視點(diǎn)參考圖像區(qū)域,插值的方法可以是平均插值或加權(quán)插值等。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例四:本實(shí)施例所述的一種視頻處理方法,該方法利用甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域,方法為按照甲視點(diǎn)重建圖像區(qū)域的補(bǔ)充信息值,依照三維投影關(guān)系,利用甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù)將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的像素位置,乙視點(diǎn)中經(jīng)過投影不能獲得的像素點(diǎn),使用默認(rèn)像素值,例如0、255等,進(jìn)行填充;在乙視點(diǎn)編解碼中,當(dāng)參考圖像區(qū)域?yàn)槔眉滓朁c(diǎn)重建圖像生成的視點(diǎn)間參考圖像區(qū)域時編解碼中SKIP模式的運(yùn)動矢量恒為0,當(dāng)參考圖像區(qū)域不為利用甲視點(diǎn)重建圖像生成的視點(diǎn)間參考圖像區(qū)域時,使用現(xiàn)有技術(shù)中的SKIP模式的運(yùn)動矢量導(dǎo)出方法獲得運(yùn)動矢量。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例五:本實(shí)施例所述的一種視頻處理方法,該方法利用甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域,方法為按照甲視點(diǎn)重建圖像區(qū)域的補(bǔ)充信息值,依照三維投影關(guān)系,利用甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù)將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近和次接近的像素位置,出現(xiàn)重疊的像素點(diǎn),則保留在三維投影關(guān)系中距離攝像機(jī)較近的點(diǎn)的值,乙視點(diǎn)中經(jīng)過投影不能獲得的像素點(diǎn),利用其周圍像素點(diǎn)由雙線性插值獲得;乙視點(diǎn)補(bǔ)充信息的編解碼中,有一種特殊的模式,該模式的特點(diǎn)為:僅在參考圖像區(qū)域?yàn)橛眉滓朁c(diǎn)重建圖像生成的參考圖像區(qū)域時可用;該模式中運(yùn)動矢量恒為0。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例六:本實(shí)施例所述的一種視頻處理方法,該方法利用甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域,方法為按照甲視點(diǎn)重建圖像區(qū)域的深度值,依照三維投影關(guān)系,利用甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù)將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的像素位置,乙視點(diǎn)中經(jīng)過甲視點(diǎn)重建圖像區(qū)域像素投影不能獲得的像素點(diǎn),利用其周圍像素點(diǎn)由線性插值獲得;用同上述的利用甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域的方法,利用丙視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域;利用甲視點(diǎn)重建圖像區(qū)域生成的乙視點(diǎn)參考圖像區(qū)域和丙視點(diǎn)重建圖像區(qū)域生成的乙視點(diǎn)參考圖像區(qū)域插值得到用于預(yù)測的乙視點(diǎn)參考圖像區(qū)域,插值的方法可以是平均插值或加權(quán)插值等;在乙視點(diǎn)編解碼中,當(dāng)參考圖像區(qū)域?yàn)樯鲜龅挠糜陬A(yù)測的乙視點(diǎn)參考圖像區(qū)域時編解碼中SKIP模式的運(yùn)動矢量恒為0,當(dāng)參考圖像區(qū)域不為利用甲視點(diǎn)重建圖像生成的視點(diǎn)間參考圖像區(qū)域時,使用現(xiàn)有技術(shù)中的SKIP模式的運(yùn)動矢量導(dǎo)出方法獲得運(yùn)動矢量。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例七:本實(shí)施例所述的一種視頻處理方法,該方法根據(jù)默認(rèn)的投影精度X對甲視點(diǎn)重建圖像區(qū)域進(jìn)行上采樣,投影精度X為整像素精度時,則上采樣倍率為1,即像素值不發(fā)生變化,投影精度X不為整像素精度時,則上采樣倍率為能使得圖像上采樣后達(dá)到設(shè)定精度X的倍率;利用上采樣后的甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域的方法為按照甲視點(diǎn)重建圖像區(qū)域的深度值,依照三維投影關(guān)系,將上采樣后甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的亞像素位置,亞像素的精度由前述的投影精度X決定,若投影精度X為整像素精度,則此處之亞像素位置等同于整像素位置,若投影精度X不為整像素精度,則此處的亞像素精度等同于投影精度X所規(guī)定的精度,乙視點(diǎn)中經(jīng)過投影不能獲得的亞像素點(diǎn),利用其周圍亞像素點(diǎn)由線性插值獲得;根據(jù)默認(rèn)的設(shè)定投影精度Y對經(jīng)過上述投影步驟乙視點(diǎn)的參考圖像區(qū)域進(jìn)行下采樣,獲得整像素精度的乙視點(diǎn)參考圖像區(qū)域。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例八:本實(shí)施例所述的一種視頻處理方法,該方法根據(jù)默認(rèn)的投影精度X對甲視點(diǎn)重建圖像區(qū)域進(jìn)行上采樣,投影精度X為整像素精度時,則上采樣倍率為1,即像素值不發(fā)生變化,投影精度X不為整像素精度時,則上采樣倍率為能使得圖像上采樣后達(dá)到設(shè)定精度X的倍率;利用上采樣后的甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域的方法為按照甲視點(diǎn)重建圖像區(qū)域的深度值,依照三維投影關(guān)系,將上采樣后甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的亞像素位置,亞像素的精度由前述的投影精度X決定,若投影精度X為整像素精度,則此處之亞像素位置等同于整像素位置,若投影精度X不為整像素精度,則此處的亞像素精度等同于投影精度X所規(guī)定的精度,乙視點(diǎn)中經(jīng)過投影不能獲得的亞像素點(diǎn),利用其周圍亞像素點(diǎn)由線性插值獲得;用于下采樣的投影精度Y與所述的投影精度X相等。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例九:本實(shí)施例所述的一種視頻處理方法,該方法根據(jù)默認(rèn)的投影精度X對甲視點(diǎn)重建圖像區(qū)域進(jìn)行上采樣,投影精度X為整像素精度時,則上采樣倍率為1,即像素值不發(fā)生變化,投影精度X不為整像素精度時,則上采樣倍率為能使得圖像上采樣后達(dá)到設(shè)定精度X的倍率;利用上采樣后的甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域的方法為按照甲視點(diǎn)重建圖像區(qū)域的深度值,依照三維投影關(guān)系,將上采樣后甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的亞像素位置,亞像素的精度由前述的投影精度X決定,若投影精度X為整像素精度,則此處之亞像素位置等同于整像素位置,若投影精度X不為整像素精度,則此處的亞像素精度等同于投影精度X所規(guī)定的精度,乙視點(diǎn)中經(jīng)過投影不能獲得的亞像素點(diǎn),利用其周圍亞像素點(diǎn)由線性插值獲得;根據(jù)默認(rèn)的設(shè)定投影精度Y對經(jīng)過上述投影步驟乙視點(diǎn)的參考圖像區(qū)域進(jìn)行下采樣,獲得整像素精度的乙視點(diǎn)參考圖像區(qū)域;在編碼中,將投影精度X和投影精度Y寫入碼流。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例十:本實(shí)施例所述的一種視頻處理方法,該方法根據(jù)默認(rèn)的投影精度X對甲視點(diǎn)重建圖像區(qū)域進(jìn)行上采樣,投影精度X為整像素精度時,則上采樣倍率為1,即像素值不發(fā)生變化,投影精度X不為整像素精度時,則上采樣倍率為能使得圖像上采樣后達(dá)到設(shè)定精度X的倍率;利用上采樣后的甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域的方法為按照甲視點(diǎn)重建圖像區(qū)域的深度值,依照三維投影關(guān)系,將上采樣后甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的亞像素位置,亞像素的精度由前述的投影精度X決定,若投影精度X為整像素精度,則此處之亞像素位置等同于整像素位置,若投影精度X不為整像素精度,則此處的亞像素精度等同于投影精度X所規(guī)定的精度,乙視點(diǎn)中經(jīng)過投影不能獲得的亞像素點(diǎn),使用默認(rèn)像素值,例如0、255等,進(jìn)行填充;用于下采樣的投影精度Y與所述的投影精度X相等,因此省略下采樣步驟;在編碼中,將投影精度X寫入碼流。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例十一:本實(shí)施例所述的一種視頻處理方法,該方法由碼流中提取得到投影精度X和投影精度Y;根據(jù)默認(rèn)的投影精度X對甲視點(diǎn)重建圖像區(qū)域進(jìn)行上采樣,投影精度X為整像素精度時,則上采樣倍率為1,即像素值不發(fā)生變化,投影精度X不為整像素精度時,則上采樣倍率為能使得圖像上采樣后達(dá)到設(shè)定精度X的倍率;利用上采樣后的甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域的方法為按照甲視點(diǎn)重建圖像區(qū)域的深度值,依照三維投影關(guān)系,將上采樣后甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的亞像素位置,亞像素的精度由前述的投影精度X決定,若投影精度X為整像素精度,則此處之亞像素位置等同于整像素位置,若投影精度X不為整像素精度,則此處的亞像素精度等同于投影精度X所規(guī)定的精度,乙視點(diǎn)中經(jīng)過投影不能獲得的亞像素點(diǎn),利用其周圍亞像素點(diǎn)由線性插值獲得;根據(jù)默認(rèn)的設(shè)定投影精度Y對經(jīng)過上述投影步驟乙視點(diǎn)的參考圖像區(qū)域進(jìn)行下采樣,獲得整像素精度的乙視點(diǎn)參考圖像區(qū)域。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例十二:本實(shí)施例所述的一種視頻處理方法,該方法由碼流中提取得到投影精度X;投影精度Y與投影精度X相等;根據(jù)默認(rèn)的投影精度X對甲視點(diǎn)重建圖像區(qū)域進(jìn)行上采樣,投影精度X為整像素精度時,則上采樣倍率為1,即像素值不發(fā)生變化,投影精度X不為整像素精度時,則上采樣倍率為能使得圖像上采樣后達(dá)到設(shè)定精度X的倍率;利用上采樣后的甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域的方法為按照甲視點(diǎn)重建圖像區(qū)域的深度值,依照三維投影關(guān)系,將上采樣后甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的亞像素位置,亞像素的精度由前述的投影精度X決定,若投影精度X為整像素精度,則此處之亞像素位置等同于整像素位置,若投影精度X不為整像素精度,則此處的亞像素精度等同于投影精度X所規(guī)定的精度,乙視點(diǎn)中經(jīng)過投影不能獲得的亞像素點(diǎn),利用其周圍亞像素點(diǎn)由線性插值獲得;用于下采樣的投影精度Y與所述的投影精度X相等,因此省略下采樣步驟。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例十三:本實(shí)施例所述的一種視頻處理方法,該方法在利用甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域中使用了甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù);利用甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域的方法為按照甲視點(diǎn)重建圖像區(qū)域的補(bǔ)充信息值,依照三維投影關(guān)系,對于不處在深度圖像邊界附近的像素,將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的像素位置,對于處在深度圖像邊界附近的像素,將甲視點(diǎn)重建圖像區(qū)域像素投影到與三維投影位置一定距離之內(nèi)的像素點(diǎn)上,即運(yùn)用了基于邊界的潑濺算法,所述的一定距離可以是一像素距離、二分之一像素距離、水平方向上一像素距離、水平方向上二分之一像素距離等;乙視點(diǎn)中經(jīng)過投影不能獲得的像素點(diǎn),利用其周圍像素點(diǎn)由線性插值獲得。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例十四:本實(shí)施例所述的一種視頻碼流,通過對該視頻碼流進(jìn)行解碼,可獲得乙視點(diǎn)補(bǔ)充信息,所述解碼獲得乙視點(diǎn)補(bǔ)充信息的過程包含如下的方法:使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域,具體方法為按照甲視點(diǎn)重建圖像區(qū)域的補(bǔ)充信息值,依照三維投影關(guān)系,利用甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù)將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的像素位置,乙視點(diǎn)中經(jīng)過投影不能獲得的像素點(diǎn),利用其周圍像素點(diǎn)由線性插值獲得。利用獲得的所述的參考圖像區(qū)域,結(jié)合相關(guān)信息對乙視點(diǎn)的補(bǔ)充信息進(jìn)行預(yù)測,預(yù)測結(jié)果用于解碼獲得乙視點(diǎn)補(bǔ)充信息。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例十五:本實(shí)施例所述的一種視頻碼流,通過對該視頻碼流進(jìn)行解碼,可獲得乙視點(diǎn)補(bǔ)充信息,所述解碼獲得乙視點(diǎn)補(bǔ)充信息的過程包含如下的方法:使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域,具體方法為按照甲視點(diǎn)重建圖像區(qū)域的補(bǔ)充信息值,依照三維投影關(guān)系,利用甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù)將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近和次接近的像素位置,出現(xiàn)重疊的像素點(diǎn),則保留在三維投影關(guān)系中距離攝像機(jī)較近的點(diǎn)的值,乙視點(diǎn)中經(jīng)過投影不能獲得的像素點(diǎn),利用其周圍像素點(diǎn)由雙線性插值獲得。利用獲得的所述的參考圖像區(qū)域,結(jié)合碼流中提取得到相關(guān)信息,例如編碼殘差等,對乙視點(diǎn)的補(bǔ)充信息進(jìn)行預(yù)測,預(yù)測結(jié)果用于解碼獲得乙視點(diǎn)補(bǔ)充信息。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例十六:本實(shí)施例所述的一種視頻碼流,通過對該視頻碼流進(jìn)行解碼,可獲得乙視點(diǎn)補(bǔ)充信息,所述解碼獲得乙視點(diǎn)補(bǔ)充信息的過程包含如下的方法:使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域,具體方法為按照甲視點(diǎn)重建圖像區(qū)域的深度值,依照三維投影關(guān)系,利用甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù)將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的像素位置,乙視點(diǎn)中經(jīng)過甲視點(diǎn)重建圖像區(qū)域像素投影不能獲得的像素點(diǎn),利用其周圍像素點(diǎn)由線性插值獲得;用同上述的利用甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域的方法,利用丙視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域;利用甲視點(diǎn)重建圖像區(qū)域生成的乙視點(diǎn)參考圖像區(qū)域和丙視點(diǎn)重建圖像區(qū)域生成的乙視點(diǎn)參考圖像區(qū)域插值得到用于預(yù)測的乙視點(diǎn)參考圖像區(qū)域,插值的方法可以是平均插值或加權(quán)插值等。利用獲得的所述的參考圖像區(qū)域,結(jié)合相關(guān)信息對乙視點(diǎn)的補(bǔ)充信息進(jìn)行預(yù)測,預(yù)測結(jié)果用于解碼獲得乙視點(diǎn)補(bǔ)充信息。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例十七:本實(shí)施例所述的一種視頻碼流,通過對該視頻碼流進(jìn)行解碼,可獲得乙視點(diǎn)補(bǔ)充信息,所述解碼獲得乙視點(diǎn)補(bǔ)充信息的過程包含如下的方法:使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域,具體方法為按照甲視點(diǎn)重建圖像區(qū)域的補(bǔ)充信息值,依照三維投影關(guān)系,利用甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù)將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的像素位置,乙視點(diǎn)中經(jīng)過投影不能獲得的像素點(diǎn),使用默認(rèn)像素值,例如0、255等,進(jìn)行填充;在乙視點(diǎn)解碼中,當(dāng)參考圖像區(qū)域?yàn)槔眉滓朁c(diǎn)重建圖像生成的視點(diǎn)間參考圖像區(qū)域時解碼中SKIP模式的運(yùn)動矢量恒為0,當(dāng)參考圖像區(qū)域不為利用甲視點(diǎn)重建圖像生成的視點(diǎn)間參考圖像區(qū)域時,使用現(xiàn)有技術(shù)中的SKIP模式的運(yùn)動矢量導(dǎo)出方法獲得運(yùn)動矢量。利用獲得的所述的參考圖像區(qū)域,結(jié)合相關(guān)信息對乙視點(diǎn)的補(bǔ)充信息進(jìn)行預(yù)測,預(yù)測結(jié)果用于解碼獲得乙視點(diǎn)補(bǔ)充信息。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例十八:本實(shí)施例所述的一種視頻碼流,通過對該視頻碼流進(jìn)行解碼,可獲得乙視點(diǎn)補(bǔ)充信息,所述解碼獲得乙視點(diǎn)補(bǔ)充信息的過程包含如下的方法:使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域,具體方法為按照甲視點(diǎn)重建圖像區(qū)域的補(bǔ)充信息值,依照三維投影關(guān)系,利用甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù)將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近和次接近的像素位置,出現(xiàn)重疊的像素點(diǎn),則保留在三維投影關(guān)系中距離攝像機(jī)較近的點(diǎn)的值,乙視點(diǎn)中經(jīng)過投影不能獲得的像素點(diǎn),利用其周圍像素點(diǎn)由雙線性插值獲得;乙視點(diǎn)補(bǔ)充信息的解碼中,有一種特殊的模式,該模式的特點(diǎn)為:僅在參考圖像區(qū)域?yàn)橛眉滓朁c(diǎn)重建圖像生成的參考圖像區(qū)域時可用;該模式中運(yùn)動矢量恒為0。利用獲得的所述的參考圖像區(qū)域,結(jié)合相關(guān)信息對乙視點(diǎn)的補(bǔ)充信息進(jìn)行預(yù)測,預(yù)測結(jié)果用于解碼獲得乙視點(diǎn)補(bǔ)充信息。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例十九:本實(shí)施例所述的一種視頻碼流,通過對該視頻碼流進(jìn)行解碼,可獲得乙視點(diǎn)補(bǔ)充信息,所述解碼獲得乙視點(diǎn)補(bǔ)充信息的過程包含如下的方法:使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域,具體方法為按照甲視點(diǎn)重建圖像區(qū)域的深度值,依照三維投影關(guān)系,利用甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù)將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的像素位置,乙視點(diǎn)中經(jīng)過甲視點(diǎn)重建圖像區(qū)域像素投影不能獲得的像素點(diǎn),利用其周圍像素點(diǎn)由線性插值獲得;用同上述的利用甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域的方法,利用丙視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域;利用甲視點(diǎn)重建圖像區(qū)域生成的乙視點(diǎn)參考圖像區(qū)域和丙視點(diǎn)重建圖像區(qū)域生成的乙視點(diǎn)參考圖像區(qū)域插值得到用于預(yù)測的乙視點(diǎn)參考圖像區(qū)域,插值的方法可以是平均插值或加權(quán)插值等;在乙視點(diǎn)解碼中,當(dāng)參考圖像區(qū)域?yàn)樯鲜龅挠糜陬A(yù)測的乙視點(diǎn)參考圖像區(qū)域時解碼中SKIP模式的運(yùn)動矢量恒為0,當(dāng)參考圖像區(qū)域不為利用甲視點(diǎn)重建圖像生成的視點(diǎn)間參考圖像區(qū)域時,使用現(xiàn)有技術(shù)中的SKIP模式的運(yùn)動矢量導(dǎo)出方法獲得運(yùn)動矢量。利用獲得的所述的參考圖像區(qū)域,結(jié)合相關(guān)信息對乙視點(diǎn)的補(bǔ)充信息進(jìn)行預(yù)測,預(yù)測結(jié)果用于解碼獲得乙視點(diǎn)補(bǔ)充信息。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例二十:本實(shí)施例所述的一種視頻碼流,通過對該視頻碼流進(jìn)行解碼,可獲得乙視點(diǎn)補(bǔ)充信息,所述解碼獲得乙視點(diǎn)補(bǔ)充信息的過程包含如下的方法:使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域,具體方法包括,由碼流中提取得到投影精度X和投影精度Y;根據(jù)默認(rèn)的投影精度X對甲視點(diǎn)重建圖像區(qū)域進(jìn)行上采樣,投影精度X為整像素精度時,則上采樣倍率為1,即像素值不發(fā)生變化,投影精度X不為整像素精度時,則上采樣倍率為能使得圖像上采樣后達(dá)到設(shè)定精度X的倍率;利用上采樣后的甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域的方法為按照甲視點(diǎn)重建圖像區(qū)域的深度值,依照三維投影關(guān)系,利用甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù)將上采樣后甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的亞像素位置,亞像素的精度由前述的投影精度X決定,若投影精度X為整像素精度,則此處之亞像素位置等同于整像素位置,若投影精度X不為整像素精度,則此處的亞像素精度等同于投影精度X所規(guī)定的精度,乙視點(diǎn)中經(jīng)過投影不能獲得的亞像素點(diǎn),利用其周圍亞像素點(diǎn)由線性插值獲得;根據(jù)默認(rèn)的設(shè)定投影精度Y對經(jīng)過上述投影步驟乙視點(diǎn)的參考圖像區(qū)域進(jìn)行下采樣,獲得整像素精度的乙視點(diǎn)參考圖像區(qū)域。利用獲得的所述的參考圖像區(qū)域,結(jié)合相關(guān)信息對乙視點(diǎn)的補(bǔ)充信息進(jìn)行預(yù)測,預(yù)測結(jié)果用于解碼獲得乙視點(diǎn)補(bǔ)充信息。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例二十一:本實(shí)施例所述的一種視頻碼流,通過對該視頻碼流進(jìn)行解碼,可獲得乙視點(diǎn)補(bǔ)充信息,所述解碼獲得乙視點(diǎn)補(bǔ)充信息的過程包含如下的方法:使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域,具體方法包括,由碼流中提取得到投影精度X;投影精度Y與投影精度X相等;根據(jù)默認(rèn)的投影精度X對甲視點(diǎn)重建圖像區(qū)域進(jìn)行上采樣,投影精度X為整像素精度時,則上采樣倍率為1,即像素值不發(fā)生變化,投影精度X不為整像素精度時,則上采樣倍率為能使得圖像上采樣后達(dá)到設(shè)定精度X的倍率;利用上采樣后的甲視點(diǎn)重建圖像區(qū)域生成乙視點(diǎn)參考圖像區(qū)域的方法為按照甲視點(diǎn)重建圖像區(qū)域的深度值,依照三維投影關(guān)系,依照三維投影關(guān)系,利用甲視點(diǎn)和乙視點(diǎn)的攝像機(jī)參數(shù)將上采樣后甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的亞像素位置,亞像素的精度由前述的投影精度X決定,若投影精度X為整像素精度,則此處之亞像素位置等同于整像素位置,若投影精度X不為整像素精度,則此處的亞像素精度等同于投影精度X所規(guī)定的精度,乙視點(diǎn)中經(jīng)過投影不能獲得的亞像素點(diǎn),利用其周圍亞像素點(diǎn)由線性插值獲得;用于下采樣的投影精度Y與所述的投影精度X相等,因此省略下采樣步驟。利用獲得的所述的參考圖像區(qū)域,結(jié)合相關(guān)信息對乙視點(diǎn)的補(bǔ)充信息進(jìn)行預(yù)測,預(yù)測結(jié)果用于解碼獲得乙視點(diǎn)補(bǔ)充信息。所述的甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域與乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域?yàn)橥粫r刻的圖像區(qū)域。實(shí)例二十二:本實(shí)施例所述的一種視頻處理裝置,如圖2所示,由參考圖像生成模塊、緩存模塊組成;所述的參考圖像生成模塊需要甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)作為輸入,并與緩存相連,所述的緩存輸出乙視點(diǎn)時刻T的補(bǔ)充信息參考圖像區(qū)域,該圖像區(qū)域用于乙視點(diǎn)補(bǔ)充信息預(yù)測;參考圖像生成模塊作用為使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域,參考圖像生成模塊中使用的算法為基于補(bǔ)充信息的虛擬視投影算法,該算法利用補(bǔ)充信息內(nèi)容,按照攝像機(jī)參數(shù),將補(bǔ)充信息投影至乙視點(diǎn)的位置。實(shí)例二十三:本實(shí)施例所述的一種視頻處理裝置,如圖3所示,由參考圖像生成模塊、緩存模塊組成;所述的參考圖像生成模塊需要甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域,攝像機(jī)參數(shù),投影精度X和投影精度Y作為輸入,并與緩存相連,所述的緩存輸出乙視點(diǎn)時刻T的補(bǔ)充信息參考圖像區(qū)域,該圖像區(qū)域用于乙視點(diǎn)補(bǔ)充信息預(yù)測;所述的參考圖像生成模塊包含以下子模塊:上采樣模塊,正向投影模塊、空洞填充模塊和下采樣模塊;所述的上采樣模塊需要甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域和投影精度X作為輸入,并與正向投影模塊相連,所述的正像投影模塊需要攝像機(jī)參數(shù)作為輸入,并與空洞填充模塊相連,所述的空洞填充模塊與下采樣模塊相連,所述的下采樣模塊需要投影精度Y作為輸入,并與緩存相連;所述的上采樣模塊用于按照投影精度X進(jìn)行上采樣,所述的正像投影模塊用于按照攝像機(jī)參數(shù)對圖像進(jìn)行相應(yīng)的三維投影,所述的空洞填充模塊用于將正向投影后的圖像進(jìn)行空洞填充處理,下采樣模塊用于按照投影精度Y對圖像進(jìn)行下采樣。所述的參考圖像生成模塊中使用的算法為基于補(bǔ)充信息的虛擬視投影算法,該算法利用補(bǔ)充信息內(nèi)容,按照攝像機(jī)參數(shù),將補(bǔ)充信息投影至乙視點(diǎn)的位置;所述的正向投影模塊按照甲視點(diǎn)重建圖像區(qū)域的補(bǔ)充信息值,依照三維投影關(guān)系,將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的像素位置;所述的空洞填充模塊將乙視點(diǎn)中經(jīng)過投影不能獲得的像素點(diǎn),利用其周圍像素點(diǎn)由線性插值獲得。實(shí)例二十四:本實(shí)施例所述的一種視頻處理裝置,如圖4所示,由參考圖像生成模塊、緩存模塊組成;所述的參考圖像生成模塊需要甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)作為輸入,并與緩存相連,所述的緩存輸出乙視點(diǎn)時刻T的補(bǔ)充信息參考圖像區(qū)域,該圖像區(qū)域用于乙視點(diǎn)補(bǔ)充信息預(yù)測;參考圖像生成模塊作用為使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域,參考圖像生成模塊中使用的算法為基于補(bǔ)充信息的虛擬視投影算法,該算法利用補(bǔ)充信息內(nèi)容,按照攝像機(jī)參數(shù),將補(bǔ)充信息投影至乙視點(diǎn)的位置;所述的攝像機(jī)參數(shù)被寫入碼流。實(shí)例二十五:本實(shí)施例所述的一種視頻處理裝置,如圖5所示,由參考圖像生成模塊、緩存模塊組成;所述的參考圖像生成模塊需要甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)作為輸入,并與緩存相連,所述的緩存輸出乙視點(diǎn)時刻T的補(bǔ)充信息參考圖像區(qū)域,該圖像區(qū)域用于乙視點(diǎn)補(bǔ)充信息預(yù)測;參考圖像生成模塊作用為使用甲視點(diǎn)的補(bǔ)充信息重建圖像區(qū)域和攝像機(jī)參數(shù)生成乙視點(diǎn)補(bǔ)充信息參考圖像區(qū)域,參考圖像生成模塊中使用的算法為基于補(bǔ)充信息的虛擬視投影算法,該算法利用補(bǔ)充信息內(nèi)容,按照攝像機(jī)參數(shù),將補(bǔ)充信息投影至乙視點(diǎn)的位置;所述的攝像機(jī)參數(shù)由碼流中獲得。實(shí)例二十六:本實(shí)施例所述的一種視頻處理裝置,如圖6所示,由參考圖像生成模塊、緩存模塊組成;所述的參考圖像生成模塊需要甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域,攝像機(jī)參數(shù),投影精度X和投影精度Y作為輸入,并與緩存相連,所述的緩存輸出乙視點(diǎn)時刻T的補(bǔ)充信息參考圖像區(qū)域,該圖像區(qū)域用于乙視點(diǎn)補(bǔ)充信息預(yù)測;所述的參考圖像生成模塊包含以下子模塊:上采樣模塊,正向投影模塊、空洞填充模塊和下采樣模塊;所述的上采樣模塊需要甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域和投影精度X作為輸入,并與正向投影模塊相連,所述的正像投影模塊需要攝像機(jī)參數(shù)作為輸入,并與空洞填充模塊相連,所述的空洞填充模塊與下采樣模塊相連,所述的下采樣模塊需要投影精度Y作為輸入,并與緩存相連;所述的上采樣模塊用于按照投影精度X進(jìn)行上采樣,所述的正像投影模塊用于按照攝像機(jī)參數(shù)對圖像進(jìn)行相應(yīng)的三維投影,所述的空洞填充模塊用于將正向投影后的圖像進(jìn)行空洞填充處理,下采樣模塊用于按照投影精度Y對圖像進(jìn)行下采樣。所述的參考圖像生成模塊中使用的算法為基于補(bǔ)充信息的虛擬視投影算法,該算法利用補(bǔ)充信息內(nèi)容,按照攝像機(jī)參數(shù),將補(bǔ)充信息投影至乙視點(diǎn)的位置;所述的正向投影模塊按照甲視點(diǎn)重建圖像區(qū)域的補(bǔ)充信息值,依照三維投影關(guān)系,將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的像素位置;所述的空洞填充模塊將乙視點(diǎn)中經(jīng)過投影不能獲得的像素點(diǎn),利用其周圍像素點(diǎn)由線性插值獲得;所述的攝像機(jī)參數(shù)、投影精度X、投影精度Y被寫入碼流。實(shí)例二十七:本實(shí)施例所述的一種視頻處理裝置,如圖7所示,由參考圖像生成模塊、緩存模塊組成;所述的參考圖像生成模塊需要甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域,攝像機(jī)參數(shù),投影精度X和投影精度Y作為輸入,并與緩存相連,所述的緩存輸出乙視點(diǎn)時刻T的補(bǔ)充信息參考圖像區(qū)域,該圖像區(qū)域用于乙視點(diǎn)補(bǔ)充信息預(yù)測;所述的參考圖像生成模塊包含以下子模塊:上采樣模塊,正向投影模塊、空洞填充模塊和下采樣模塊;所述的上采樣模塊需要甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域和投影精度X作為輸入,并與正向投影模塊相連,所述的正像投影模塊需要攝像機(jī)參數(shù)作為輸入,并與空洞填充模塊相連,所述的空洞填充模塊與下采樣模塊相連,所述的下采樣模塊需要投影精度Y作為輸入,并與緩存相連;所述的上采樣模塊用于按照投影精度X進(jìn)行上采樣,所述的正像投影模塊用于按照攝像機(jī)參數(shù)對圖像進(jìn)行相應(yīng)的三維投影,所述的空洞填充模塊用于將正向投影后的圖像進(jìn)行空洞填充處理,下采樣模塊用于按照投影精度Y對圖像進(jìn)行下采樣。所述的參考圖像生成模塊中使用的算法為基于補(bǔ)充信息的虛擬視投影算法,該算法利用補(bǔ)充信息內(nèi)容,按照攝像機(jī)參數(shù),將補(bǔ)充信息投影至乙視點(diǎn)的位置;所述的正向投影模塊按照甲視點(diǎn)重建圖像區(qū)域的補(bǔ)充信息值,依照三維投影關(guān)系,將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的像素位置;所述的空洞填充模塊將乙視點(diǎn)中經(jīng)過投影不能獲得的像素點(diǎn),使用默認(rèn)像素值,例如0、255等,進(jìn)行填充;所述的攝像機(jī)參數(shù)、投影精度X、投影精度Y由碼流中獲得。實(shí)例二十八:本實(shí)施例所述的一種視頻處理裝置,如圖6所示,由參考圖像生成模塊、緩存模塊組成;所述的參考圖像生成模塊需要甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域,攝像機(jī)參數(shù),投影精度X和投影精度Y作為輸入,并與緩存相連,所述的緩存輸出乙視點(diǎn)時刻T的補(bǔ)充信息參考圖像區(qū)域,該圖像區(qū)域用于乙視點(diǎn)補(bǔ)充信息預(yù)測,所述的預(yù)測包含一種預(yù)測模式,當(dāng)該預(yù)測模式使用所述的參考圖像區(qū)域時,該預(yù)測模式的運(yùn)動矢量為零;所述的參考圖像生成模塊包含以下子模塊:上采樣模塊,正向投影模塊、空洞填充模塊和下采樣模塊;所述的上采樣模塊需要甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域和投影精度X作為輸入,并與正向投影模塊相連,所述的正像投影模塊需要攝像機(jī)參數(shù)作為輸入,并與空洞填充模塊相連,所述的空洞填充模塊與下采樣模塊相連,所述的下采樣模塊需要投影精度Y作為輸入,并與緩存相連;所述的上采樣模塊用于按照投影精度X進(jìn)行上采樣,所述的正像投影模塊用于按照攝像機(jī)參數(shù)對圖像進(jìn)行相應(yīng)的三維投影,所述的空洞填充模塊用于將正向投影后的圖像進(jìn)行空洞填充處理,下采樣模塊用于按照投影精度Y對圖像進(jìn)行下采樣。所述的參考圖像生成模塊中使用的算法為基于補(bǔ)充信息的虛擬視投影算法,該算法利用補(bǔ)充信息內(nèi)容,按照攝像機(jī)參數(shù),將補(bǔ)充信息投影至乙視點(diǎn)的位置;所述的正向投影模塊按照甲視點(diǎn)重建圖像區(qū)域的補(bǔ)充信息值,依照三維投影關(guān)系,將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的像素位置;所述的空洞填充模塊將乙視點(diǎn)中經(jīng)過投影不能獲得的像素點(diǎn),利用其周圍像素點(diǎn)由線性插值獲得;所述的攝像機(jī)參數(shù)、投影精度X、投影精度Y被寫入碼流。實(shí)例二十九:本實(shí)施例所述的一種視頻處理裝置,如圖7所示,由參考圖像生成模塊、緩存模塊組成;所述的參考圖像生成模塊需要甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域,攝像機(jī)參數(shù),投影精度X和投影精度Y作為輸入,并與緩存相連,所述的緩存輸出乙視點(diǎn)時刻T的補(bǔ)充信息參考圖像區(qū)域,該圖像區(qū)域用于乙視點(diǎn)補(bǔ)充信息預(yù)測,所述的預(yù)測包含一種預(yù)測模式,當(dāng)該預(yù)測模式使用所述的參考圖像區(qū)域時,該預(yù)測模式的運(yùn)動矢量為零;所述的參考圖像生成模塊包含以下子模塊:上采樣模塊,正向投影模塊、空洞填充模塊和下采樣模塊;所述的上采樣模塊需要甲視點(diǎn)時刻T的補(bǔ)充信息重建圖像區(qū)域和投影精度X作為輸入,并與正向投影模塊相連,所述的正像投影模塊需要攝像機(jī)參數(shù)作為輸入,并與空洞填充模塊相連,所述的空洞填充模塊與下采樣模塊相連,所述的下采樣模塊需要投影精度Y作為輸入,并與緩存相連;所述的上采樣模塊用于按照投影精度X進(jìn)行上采樣,所述的正像投影模塊用于按照攝像機(jī)參數(shù)對圖像進(jìn)行相應(yīng)的三維投影,所述的空洞填充模塊用于將正向投影后的圖像進(jìn)行空洞填充處理,下采樣模塊用于按照投影精度Y對圖像進(jìn)行下采樣。所述的參考圖像生成模塊中使用的算法為基于補(bǔ)充信息的虛擬視投影算法,該算法利用補(bǔ)充信息內(nèi)容,按照攝像機(jī)參數(shù),將補(bǔ)充信息投影至乙視點(diǎn)的位置;所述的正向投影模塊按照甲視點(diǎn)重建圖像區(qū)域的補(bǔ)充信息值,依照三維投影關(guān)系,將甲視點(diǎn)重建圖像區(qū)域像素投影到乙視點(diǎn)中與該像素三維投影位置最接近的像素位置;所述的空洞填充模塊將乙視點(diǎn)中經(jīng)過投影不能獲得的像素點(diǎn),利用其周圍像素點(diǎn)由線性插值獲得;所述的攝像機(jī)參數(shù)、投影精度X、投影精度Y由碼流中獲得。