專利名稱：一種圖像深度圖生成方法
一種圖像深度圖生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺(jué)立體視頻領(lǐng)域，具體涉及一種圖像深度圖生成方法。
背景技術(shù)：
立體視頻利用人的立體視覺(jué)機(jī)理，能給人提供如同身臨其境般的三維立體觀感，極大地豐富了人們的生活。近年來(lái)3D電影和3D電視飛速發(fā)展，技術(shù)水平不斷提高，市場(chǎng)逐步擴(kuò)大。平面轉(zhuǎn)立體視頻的研究具有巨大市場(chǎng)潛力，而且這項(xiàng)技術(shù)本身也將大力推動(dòng)立體顯示產(chǎn)業(yè)的發(fā)展。目前立體顯示產(chǎn)業(yè)面臨的最大問(wèn)題就是片源、素材的問(wèn)題。一方面片源、素材的數(shù)量比傳統(tǒng)的平面媒體要少很多，立體視頻面 臨的一個(gè)重大問(wèn)題就是片源稀缺，而現(xiàn)有的平面視頻片源又十分龐大可以充分利用，另一方面制作新的立體顯示素材成本過(guò)于昂貴，直接由3D攝像機(jī)拍攝操作復(fù)雜且成本高居不下。因此將部分平面視頻轉(zhuǎn)換為立體視頻是一種經(jīng)濟(jì)有效的途徑。研究方便快速的方法使原有的大量平面片源素材轉(zhuǎn)換成可以立體顯示的素材，可以大大推動(dòng)立體顯示技術(shù)的普及。對(duì)于基于深度圖的平面視頻轉(zhuǎn)立體視頻技術(shù)，獲取視頻所有幀的深度圖是關(guān)鍵所在。一幀彩色圖像的深度圖可以由人工進(jìn)行摳圖并賦值得到，也可利用計(jì)算機(jī)根據(jù)一定的算法自動(dòng)生成，前者生成的深度圖質(zhì)量較高但需要大量的時(shí)間和人力，而相對(duì)來(lái)說(shuō)后者雖然更為快速但不能保證生成的深度圖質(zhì)量。一種半自動(dòng)的轉(zhuǎn)換技術(shù)結(jié)合了上述兩種方式的優(yōu)點(diǎn)，深度圖的獲取包括了人工繪制和計(jì)算機(jī)自動(dòng)生成兩種方式。即先由人工繪制視頻中少數(shù)關(guān)鍵幀的精細(xì)深度圖，然后利用計(jì)算機(jī)根據(jù)深度傳播算法生成其他幀的深度圖。深度傳播技術(shù)在保證較好的深度圖質(zhì)量的同時(shí)，大大減少了了人工逐幀繪制深度圖的轉(zhuǎn)換時(shí)間和經(jīng)濟(jì)成本。深度傳播實(shí)際上是一個(gè)深度插值的過(guò)程，即通過(guò)關(guān)鍵幀的精細(xì)深度信息去插值其余幀的深度圖。深度傳播算法需要保證生成的深度圖有較好的質(zhì)量，深度圖序列要保持連續(xù)性，且誤差要控制在一定范圍內(nèi)。由于深度信息是由關(guān)鍵幀向其余非關(guān)鍵幀傳播，沿著傳播方向誤差的逐漸累積造成深度圖質(zhì)量下降是一個(gè)急需解決的問(wèn)題。

發(fā)明內(nèi)容為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種圖像深度圖生成方法，以提高待插值的當(dāng)前幀圖像的深度圖的精度。一種圖像深度圖生成方法，包括如下步驟I)對(duì)當(dāng)前幀圖像的當(dāng)前塊，在參考幀圖像中相應(yīng)的區(qū)域選取若干個(gè)參考?jí)K；2)計(jì)算當(dāng)前塊與每個(gè)參考?jí)K之間的深度塊匹配誤差和彩色塊匹配誤差，其中，深度塊匹配誤差是指，當(dāng)前塊與參考?jí)K之間所有相對(duì)應(yīng)的像素點(diǎn)之間的深度值差的絕對(duì)值之和；彩色塊匹配誤差是指，當(dāng)前塊與參考?jí)K之間所有相對(duì)應(yīng)的像素點(diǎn)之間的彩色像素值差的絕對(duì)值之和；3)對(duì)當(dāng)前塊與某個(gè)參考?jí)K，將相應(yīng)的深度塊匹配誤差與彩色塊匹配誤差進(jìn)行加權(quán)，得到綜合匹配誤差；4)選取綜合匹配誤差最小時(shí)對(duì)應(yīng)的某個(gè)參考?jí)K，將該參考?jí)K的深度圖作為當(dāng)前塊的深度圖。優(yōu)選地，所述步驟3)中，深度塊匹配誤差的加權(quán)系數(shù)與彩色塊匹配誤差的加權(quán)系數(shù)之和為I。優(yōu)選地，深度塊匹配誤差的加權(quán)系數(shù)的取值為O. 90至O. 85，彩色塊匹配誤差的加權(quán)系數(shù)的取值為O. 10至O. 15。優(yōu)選地，在對(duì)視頻圖像幀進(jìn)行處理過(guò)程中，還包括如下步驟5)在當(dāng)前幀圖像的前后分別選取第一參考幀圖像和第二參考幀圖像，分別按照步驟I)至步驟4)，計(jì)算得到當(dāng)前塊的依據(jù)第一參考幀圖像獲得的第一深度圖、以及依據(jù)第二參考幀圖像獲得的第二深度圖；6)將第一深度圖與第二深度圖進(jìn)行加權(quán)的結(jié)果作為當(dāng)前塊的最終深度圖。優(yōu)選地，通過(guò)如下步驟獲取步驟2)中當(dāng)前塊的當(dāng)前像素點(diǎn)的深度值
權(quán)利要求
1.一種圖像深度圖生成方法，其特征是，包括如下步驟 1)對(duì)當(dāng)前幀圖像的當(dāng)前塊，在參考幀圖像中相應(yīng)的區(qū)域選取若干個(gè)參考?jí)K； 2)計(jì)算當(dāng)前塊與每個(gè)參考?jí)K之間的深度塊匹配誤差和彩色塊匹配誤差，其中，深度塊匹配誤差是指，當(dāng)前塊與參考?jí)K之間所有相對(duì)應(yīng)的像素點(diǎn)之間的深度值差的絕對(duì)值之和；彩色塊匹配誤差是指，當(dāng)前塊與參考?jí)K之間所有相對(duì)應(yīng)的像素點(diǎn)之間的彩色像素值差的絕對(duì)值之和； 3)對(duì)當(dāng)前塊與某個(gè)參考?jí)K，將相應(yīng)的深度塊匹配誤差與彩色塊匹配誤差進(jìn)行加權(quán)，得到綜合匹配誤差； 4)選取綜合匹配誤差最小時(shí)對(duì)應(yīng)的某個(gè)參考?jí)K，將該參考?jí)K的深度圖作為當(dāng)前塊的深度圖。
2.如權(quán)利要求I所述的圖像深度圖生成方法，其特征是所述步驟3)中，深度塊匹配誤差的加權(quán)系數(shù)與彩色塊匹配誤差的加權(quán)系數(shù)之和為I。
3.如權(quán)利要求2所述的圖像深度圖生成方法，其特征是深度塊匹配誤差的加權(quán)系數(shù)的取值為O. 90至O. 85，彩色塊匹配誤差的加權(quán)系數(shù)的取值為O. 10至O. 15。
4.如權(quán)利要求I所述的圖像深度圖生成方法，其特征是，在對(duì)視頻幀圖像進(jìn)行處理過(guò)程中，還包括如下步驟 5)在當(dāng)前幀圖像的前后分別選取第一參考幀圖像和第二參考幀圖像，分別按照步驟I)至步驟4)，計(jì)算得到當(dāng)前塊的依據(jù)第一參考幀圖像獲得的第一深度圖、以及依據(jù)第二參考幀圖像獲得的第二深度圖； 6)將第一深度圖與第二深度圖進(jìn)行加權(quán)的結(jié)果作為當(dāng)前塊的最終深度圖。
5.如權(quán)利要求I所述的圖像深度圖生成方法，其特征是，通過(guò)如下步驟獲取步驟2)中當(dāng)前塊的當(dāng)前像素點(diǎn)的深度值 Σ /(V 7)Ai(Z)=-^v ~77—； Dn(i)是作為當(dāng)前幀圖像的第η幀圖像的當(dāng)前塊的當(dāng)前像素點(diǎn)i處的深度值，N(i)是作為參考幀圖像的第k幀圖像內(nèi)的與當(dāng)前像素點(diǎn)i相對(duì)應(yīng)的像素點(diǎn)的鄰域，Dk(j)為鄰域N(i)中的像素點(diǎn)j處的深度值(i，j)為像素點(diǎn)j與當(dāng)前像素點(diǎn)i之間的空間距離的權(quán)值，像素點(diǎn)j距當(dāng)前像素點(diǎn)i越遠(yuǎn)，權(quán)值f (i，j)越?。粀n，k(i, j)為像素點(diǎn)j和當(dāng)前像素點(diǎn)i的彩色像素值差異的權(quán)值，像素點(diǎn)j和當(dāng)前像素點(diǎn)i的彩色像素值差異越大，權(quán)值'k(i，j)越小。
6.如權(quán)利要求5所述的圖像深度圖生成方法，其特征是在對(duì)視頻幀圖像進(jìn)行處理過(guò)程中，還包括如下步驟 5)在當(dāng)前幀圖像的前后分別選取第一參考幀圖像和第二參考幀圖像，分別按照步驟7)，計(jì)算得到當(dāng)前像素點(diǎn)的依據(jù)第一參考幀圖像獲得的第一深度值、以及依據(jù)第二參考幀圖像獲得的第二深度值； 6)將第一深度值與第二深度值進(jìn)行加權(quán)的結(jié)果作為當(dāng)前像素點(diǎn)的深度值。
7.如權(quán)利要求5所述的圖像深度圖生成方法，其特征是
8.如權(quán)利要求5所述的圖像深度圖生成方法，其特征是
全文摘要
本發(fā)明公開(kāi)了一種圖像深度圖生成方法，包括1)對(duì)當(dāng)前幀圖像的當(dāng)前塊，在參考幀圖像中相應(yīng)的區(qū)域選取若干個(gè)參考?jí)K；2)計(jì)算當(dāng)前塊與每個(gè)參考?jí)K之間的深度塊匹配誤差和彩色塊匹配誤差；彩色塊匹配誤差是指，當(dāng)前塊與參考?jí)K之間所有相對(duì)應(yīng)的像素點(diǎn)之間的彩色像素值差的絕對(duì)值之和；3)對(duì)當(dāng)前塊與某個(gè)參考?jí)K，將相應(yīng)的深度塊匹配誤差與彩色塊匹配誤差進(jìn)行加權(quán)，得到綜合匹配誤差；4)選取綜合匹配誤差最小時(shí)對(duì)應(yīng)的某個(gè)參考?jí)K，將該參考?jí)K的深度圖作為當(dāng)前塊的深度圖。本發(fā)明的有益效果是本發(fā)明提高了當(dāng)前幀圖像被插值得到的深度圖的質(zhì)量；并有效減小了單向深度插值傳播造成的累計(jì)誤差。
文檔編號(hào)H04N13/02GK102881018SQ20121036578
公開(kāi)日2013年1月16日 申請(qǐng)日期2012年9月27日 優(yōu)先權(quán)日2012年9月27日
發(fā)明者王好謙, 田雨時(shí), 張永兵, 戴瓊海 申請(qǐng)人:清華大學(xué)深圳研究生院