本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及深度圖像增強(qiáng)方法，特指一種融合高分辨率彩色圖像的深度圖增強(qiáng)方法。

背景技術(shù)：

深度圖像是一種用來描述三維場景幾何信息的圖像，圖像中的每一個(gè)像素點(diǎn)都表示三維場景中某點(diǎn)到成像平面的距離。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，深度信息估計(jì)技術(shù)也逐漸發(fā)展成為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一，被廣泛地應(yīng)用于導(dǎo)航系統(tǒng)分析、立體視頻生成、虛擬現(xiàn)實(shí)等系統(tǒng)中。

目前對(duì)深度信息估計(jì)的方法主要分為兩類：主動(dòng)光方法和被動(dòng)光方法。

主動(dòng)光方法是一種利用特殊測距設(shè)備如TOF攝像頭、微軟的Kinect、三維激光掃描儀等設(shè)備直接獲取三維場景深度信息的方法，該方法具有較高的精確性和實(shí)時(shí)性，但主動(dòng)光方法存在設(shè)備價(jià)格昂貴、易受噪聲影響、分辨率低的缺陷。

被動(dòng)光方法則無需添置額外設(shè)備，而是利用現(xiàn)有的圖像采集設(shè)備直接獲取彩色圖像或視頻，并從這些圖像或視頻幀中恢復(fù)出深度圖，這種方法對(duì)視差估計(jì)精度要求較高，需要計(jì)算各坐標(biāo)系的變換矩陣和攝像機(jī)內(nèi)外參數(shù)，如雙目立體匹配，存在較多的約束條件和高時(shí)間復(fù)雜度問題。

主動(dòng)光方法因其獲取深度圖像具有實(shí)時(shí)性，因此越來越受人們的關(guān)注，逐步發(fā)展成為深度圖獲取的主流方式之一，并針對(duì)主動(dòng)光設(shè)備獲取的深度圖提出了許多后處理方法來提高原深度圖質(zhì)量，達(dá)到降低噪聲影響、提高深度圖分辨率的目的。

深度圖分辨率的提升是根據(jù)已知采樣點(diǎn)的低分辨率深度值估計(jì)未知采樣點(diǎn)的深度值，從有限離散采樣點(diǎn)的深度圖中恢復(fù)出更加連續(xù)的深度圖像。經(jīng)典插值方法是根據(jù)低分辨率圖像本身的信息采用加權(quán)方法來確定待插值像素的深度值，這類經(jīng)典的方法僅僅依靠深度圖像本身的冗余信息，插值效果受到限制。

目前對(duì)于深度圖像增強(qiáng)方法已有不少的研究，主要分為兩類：基于全局優(yōu)化的插值方法和基于雙邊的插值方法?；谌謨?yōu)化的插值方法不僅從整體上考慮了深度圖像的全局代價(jià)，而且考慮了局部平滑因素，能獲得高質(zhì)量的深度圖像，主要代表方法有基于最小二乘優(yōu)化的插值方法、基于馬爾科夫隨機(jī)場的深度圖像插值方法、自回歸優(yōu)化方法等，但此類方法計(jì)算量大，時(shí)間復(fù)雜度高，耗時(shí)較長?；陔p邊濾波的插值方法具有低復(fù)雜度的性質(zhì)，更適用于實(shí)時(shí)性較強(qiáng)的深度圖像增強(qiáng)方法，但直接基于雙邊濾波插值方法可以有效地實(shí)現(xiàn)空洞填補(bǔ)，對(duì)深度圖的分辨率增強(qiáng)并無明顯改善，因此研究人員提出了許多改進(jìn)方法，主要有針對(duì)邊緣擴(kuò)散問題的自適應(yīng)融合顏色相似項(xiàng)與原始深度相似項(xiàng)的插值方法，基于梯度域的彩色圖像濾波方法對(duì)邊緣進(jìn)行平滑約束等。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)主動(dòng)光設(shè)備獲取的深度圖像存在分辨率低、易受噪聲影響等缺陷，本發(fā)明其目的在于提出一種融合高分辨率彩色圖像的深度圖增強(qiáng)方法。

本發(fā)明的技術(shù)方案是：

一種融合高分辨率彩色圖像的深度圖增強(qiáng)方法，包括以下步驟：

S1對(duì)低分辨率的深度圖像利用鄰域差分法求取鄰域內(nèi)像素點(diǎn)的最大深度差值，設(shè)定閾值對(duì)深度圖像進(jìn)行區(qū)域劃分，將深度圖像劃分為邊緣區(qū)域和非邊緣區(qū)域。

首先選定一個(gè)5*5的鄰域窗口Ω，以待判定的像素點(diǎn)P_ij為鄰域窗口中心像素點(diǎn)，通過取最大值函數(shù)max和取最小值函數(shù)min求得深度圖像鄰域窗口Ω內(nèi)所有像素點(diǎn)的最大深度差值(max(Ω)-min(Ω))，設(shè)定閾值T，比較該鄰域的最大深度差值與閾值的大小，若最大深度差值大于閾值T，則判斷該鄰域區(qū)域?yàn)檫吘墔^(qū)域；否則，該鄰域區(qū)域?yàn)榉沁吘墔^(qū)域。

S2對(duì)S1中低分辨率深度圖像的非邊緣區(qū)域基于局部鄰域方差進(jìn)行二次劃分，初始化一個(gè)4*4的鄰域窗口，以待插值點(diǎn)為中心，計(jì)算待插值點(diǎn)的直接相鄰像素點(diǎn)深度值的期望和方差，根據(jù)深度方差將非邊緣區(qū)域再次劃分為深度值變化平坦區(qū)和紋理復(fù)雜區(qū)；

將S1中所有判定為低分辨率深度圖像的非邊緣區(qū)域的像素點(diǎn)標(biāo)記為S1區(qū)域，判定為低分辨率深度圖像的邊緣區(qū)域的像素點(diǎn)標(biāo)記為S2區(qū)域；基于局部鄰域方差的立體卷積插值方法對(duì)S1區(qū)域的像素點(diǎn)進(jìn)行插值，先在S1區(qū)域初始化一個(gè)像素點(diǎn)為待插值點(diǎn)，由(1)式計(jì)算待插值點(diǎn)在原圖像(即低分辨率深度圖像)中對(duì)應(yīng)的四個(gè)直接與之相鄰像素點(diǎn)的平均值E，由(2)式計(jì)算待插值點(diǎn)的直接相鄰像素點(diǎn)深度值方差Var。

Var＝(E-D(i-1,j))²+(E-D(i+1,j))²+(E-D(i,j-1))²+(E-D(i,j+1))² (2)

設(shè)定閾值，當(dāng)待插值點(diǎn)的直接相鄰像素點(diǎn)深度值方差小于設(shè)定閾值時(shí)，表明該點(diǎn)所處的四鄰域區(qū)域比較平坦，深度值變化不大，為深度值變化平坦區(qū)；當(dāng)待插值點(diǎn)的直接相鄰像素點(diǎn)深度值方差大于設(shè)定閾值時(shí)，表明該點(diǎn)的四鄰域區(qū)域紋理細(xì)節(jié)較豐富，為紋理復(fù)雜區(qū)。

S3對(duì)S2得到的深度值變化平坦區(qū)進(jìn)行插值增強(qiáng)，以四個(gè)直接相鄰像素點(diǎn)的深度平均值作為待插值點(diǎn)對(duì)應(yīng)映射點(diǎn)的深度值即D(i+μ,j+υ)＝E，對(duì)紋理復(fù)雜區(qū)利用4*4鄰域的立體卷積插值法求得待插值點(diǎn)對(duì)應(yīng)映射點(diǎn)的深度值；

利用立體卷積插值法既考慮四個(gè)直接相鄰像素點(diǎn)的深度值影響，也考慮到4*4鄰域內(nèi)其他像素點(diǎn)間深度值變化率的影響，通過待插值點(diǎn)鄰域內(nèi)的16個(gè)已知像素點(diǎn)深度值估計(jì)映射點(diǎn)深度值。設(shè)待插值點(diǎn)(i,j)的深度值為D(i,j)，對(duì)應(yīng)的映射點(diǎn)為(i+μ,j+υ)，映射點(diǎn)的深度值表示為D(i+μ,j+υ)，其中插值基函數(shù)S(x)的表達(dá)式如式(3)所示，x為自變量。

則利用立體卷積插值法計(jì)算映射點(diǎn)的深度值D(i+μ,j+υ)的公式如下：

S4對(duì)低分辨率深度圖像的邊緣區(qū)域基于聯(lián)合雙邊濾波方法進(jìn)行插值處理，以同一場景下的高分辨率彩色圖像作為參考圖，基于雙邊濾波原理將低分辨率深度圖上采樣到高分辨率圖像，計(jì)算邊緣區(qū)域內(nèi)各像素點(diǎn)對(duì)應(yīng)映射點(diǎn)的深度值，并將插值處理完成的深度增強(qiáng)圖像輸出。

設(shè)點(diǎn)m、n為同一場景下的高分辨率圖像上的兩個(gè)像素點(diǎn)，m'、n'是低分辨率深度圖像上與高分辨率圖像上m、n對(duì)應(yīng)位置的像素點(diǎn)，I_m、I_n表示高分辨率圖像在m、n點(diǎn)處的灰度值，權(quán)重函數(shù)通常以高斯函數(shù)作為核函數(shù)，其中δ_s、δ_r分別為空域距離核函數(shù)和顏色相似核函數(shù)的標(biāo)準(zhǔn)差，則空域距離核函數(shù)H_s(m',n')和灰度相似核函數(shù)H_r(I_m,I_n)的表達(dá)式如(5)式所示：

上采樣高分辨圖像與高分辨率彩色圖像具有邊緣一致性，以w為雙邊濾波窗口，將低分辨率深度圖像邊緣區(qū)域即S2區(qū)域上的所有像素點(diǎn)上采樣到高分辨率計(jì)算公式如下：

其中D_n'表示低分辨率深度圖上的像素點(diǎn)n'對(duì)應(yīng)的深度值，D_m表示上采樣高分辨率圖像上各像素點(diǎn)對(duì)應(yīng)的深度值。根據(jù)(6)式計(jì)算得到原低分辨率深度圖像邊緣區(qū)域內(nèi)各像素點(diǎn)對(duì)應(yīng)映射點(diǎn)的深度值，最后將低分辨率深度圖像插值處理完成之后的深度增強(qiáng)圖像輸出。

本發(fā)明提出了一種融合高分辨率彩色圖像的深度圖增強(qiáng)方法，不僅能有效地去除噪聲干擾，縮短深度增強(qiáng)算法的復(fù)雜度，而且可以保持圖像邊緣信息的完整性。通過鄰域差分法求取鄰域內(nèi)像素點(diǎn)的最大深度差值，將低分辨率深度圖像劃分為邊緣區(qū)域和非邊緣區(qū)域，并利用局部鄰域方差將非邊緣區(qū)域進(jìn)行二次劃分，分別采用均值插值法和立體卷積插值法獲取待插值點(diǎn)對(duì)應(yīng)映射點(diǎn)的深度值，然后以高分辨率彩色圖像為參考圖，基于雙邊濾波原理將低分辨率深度圖上采樣到高分辨率圖像，獲取各像素點(diǎn)對(duì)應(yīng)映射點(diǎn)的深度值，最后將插值處理完成的深度增強(qiáng)圖像輸出。

附圖說明

圖1是本發(fā)明一種融合高分辨率彩色圖像的深度圖增強(qiáng)方法的流程圖；

圖2是基于局部方差的插值法流程框圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明實(shí)施方式作進(jìn)一步地詳細(xì)描述。

通過主動(dòng)光設(shè)備獲取的深度圖像分辨率較低且存在大量的噪聲干擾，深度圖像相對(duì)于彩色圖像而言，其邊緣結(jié)構(gòu)更加簡單，可以利用插值方法來增加深度圖像的分辨率，實(shí)現(xiàn)深度圖像增強(qiáng)。若直接采用經(jīng)典插值算法對(duì)整幅深度圖進(jìn)行處理，容易造成深度圖像的非邊緣區(qū)域出現(xiàn)紋理拷貝和邊緣模糊的現(xiàn)象，同時(shí)為了避免深度圖像出現(xiàn)邊緣過平滑的問題。因此，本發(fā)明利用鄰域差分法求取鄰域內(nèi)最大深度差值，設(shè)定閾值對(duì)深度圖像進(jìn)行區(qū)域劃分，將深度圖像的邊緣區(qū)域和非邊緣區(qū)域分離。

參照?qǐng)D1，本發(fā)明一種融合高分辨率彩色圖像的深度圖增強(qiáng)方法的流程圖。

首先選定一個(gè)5*5的鄰域窗口Ω，以待判定的像素點(diǎn)P_ij為鄰域窗口中心像素點(diǎn)，通過取最大值函數(shù)max和取最小值函數(shù)min求得深度圖像鄰域窗口Ω內(nèi)所有像素點(diǎn)的最大深度差值(max(Ω)-min(Ω))，設(shè)定閾值T，比較該鄰域的最大深度差值與閾值的大小，若最大深度差值大于閾值T，則判斷該鄰域區(qū)域?yàn)檫吘墔^(qū)域；否則，該鄰域區(qū)域?yàn)榉沁吘墔^(qū)域。

將所有判定為非邊緣區(qū)域的像素點(diǎn)標(biāo)記為S1區(qū)域，判定為邊緣區(qū)域的像素點(diǎn)標(biāo)記為S2區(qū)域，然后分別對(duì)圖像的兩個(gè)區(qū)域像素點(diǎn)處理，基于局部鄰域方差的立體卷積插值方法對(duì)S1區(qū)域的像素點(diǎn)進(jìn)行插值，基于聯(lián)合雙邊濾波方法對(duì)S2區(qū)域的像素點(diǎn)進(jìn)行插值，達(dá)到較少噪聲干擾，增加深度圖像分辨率的目的。

考慮到鄰域點(diǎn)深度值和鄰域內(nèi)像素點(diǎn)之間深度值變化率的影響，對(duì)非邊緣區(qū)域S1中的像素點(diǎn)基于局部鄰域方差的立體卷積插值方法進(jìn)行插值處理。為了避免S1區(qū)域內(nèi)所有像素點(diǎn)進(jìn)行立體卷積插值處理，減少計(jì)算量，將待插值點(diǎn)的四鄰域像素點(diǎn)深度值方差(即由公式(2)計(jì)算得到的待插值點(diǎn)的直接相鄰像素點(diǎn)深度值方差Var)與設(shè)定閾值進(jìn)行比較，當(dāng)方差值小于閾值時(shí)，表明該點(diǎn)所處的四鄰域區(qū)域比較平坦，深度值變化不大，則取相鄰像素點(diǎn)的深度平均值作為待插值點(diǎn)對(duì)應(yīng)映射點(diǎn)的深度值；當(dāng)方差值大于閾值Var時(shí)，表明該點(diǎn)的四鄰域區(qū)域紋理細(xì)節(jié)較豐富，則利用立體卷積插值法計(jì)算待插值點(diǎn)的深度值，提高算法精度，直到S1區(qū)域內(nèi)的所有像素點(diǎn)計(jì)算完成。具體過程如圖2所示：先在S1區(qū)域初始化一個(gè)像素點(diǎn)為待插值點(diǎn)，由(1)式計(jì)算待插值點(diǎn)在原圖像中對(duì)應(yīng)的四個(gè)直接相鄰像素點(diǎn)的平均值E，由(2)式計(jì)算待插值點(diǎn)的直接相鄰像素點(diǎn)深度值方差Var。

Var＝(E-D(i-1,j))²+(E-D(i+1,j))²+(E-D(i,j-1))²+(E-D(i,j+1))² (2)

根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)值取閾值為20時(shí)，既能保證圖像質(zhì)量又能有效地降低運(yùn)算量。當(dāng)Var＜20時(shí)，取相鄰像素點(diǎn)的深度平均值作為待插值點(diǎn)對(duì)應(yīng)映射點(diǎn)的深度值，即D(i+μ,j+υ)＝E；當(dāng)Var≥20時(shí)，利用立體卷積插值法既考慮四個(gè)直接相鄰點(diǎn)的深度值影響，也考慮到4*4鄰域內(nèi)其他像素點(diǎn)間深度值變化率的影響，通過待插值點(diǎn)鄰域內(nèi)的16個(gè)已知像素點(diǎn)深度值估計(jì)映射點(diǎn)深度值，設(shè)待插值點(diǎn)(i,j)的深度值為D(i,j)，對(duì)應(yīng)的映射點(diǎn)為(i+μ,j+υ)，映射點(diǎn)的深度值表示為D(i+μ,j+υ)，其中插值基函數(shù)S(x)的表達(dá)式如式(3)所示，x為自變量。

則利用立體卷積插值法計(jì)算映射點(diǎn)的深度值D(i+μ,j+υ)的公式如下：

至此，基于局部鄰域方差的立體卷積插值方法完成對(duì)S1區(qū)域的所有像素點(diǎn)進(jìn)行插值處理，降低計(jì)算量的同時(shí)保證非邊緣區(qū)域的紋理細(xì)節(jié)信息被增強(qiáng)。由于彩色圖像與深度圖像之間存在著很強(qiáng)的結(jié)構(gòu)相似性，因此通過高分辨率的彩色圖像與低分辨率深度圖像融合，基于聯(lián)合雙邊濾波方法對(duì)深度圖像的邊緣S2區(qū)域進(jìn)行插值來濾出噪聲干擾，并提高深度圖像的分辨率，實(shí)現(xiàn)深度圖增強(qiáng)。

將同一場景下的高分辨率彩色圖像作為參考圖，基于雙邊濾波原理將低分辨率深度圖像上采樣到高分辨率圖像，雙邊濾波結(jié)合了空域距離核函數(shù)和灰度相似核函數(shù)，雙邊濾波系數(shù)由空域鄰近系數(shù)和灰度相似系數(shù)的非線性組合，空域鄰近系數(shù)隨著像素點(diǎn)坐標(biāo)距離的增大而減小，灰度相似系數(shù)隨著像素灰度之差的增大而減小。在圖像變化平滑的區(qū)域，雙邊濾波轉(zhuǎn)化為高斯低通濾波；在圖像變化劇烈的區(qū)域，雙邊濾波轉(zhuǎn)化為高斯高通濾波。因此，基于雙邊濾波的插值方法可以去噪的同時(shí)保留圖像邊緣細(xì)節(jié)信息。

設(shè)點(diǎn)m、n為高分辨率圖像上的兩個(gè)像素點(diǎn)，m'、n'是低分辨率深度圖像上與高分辨率圖像上m、n對(duì)應(yīng)位置的像素點(diǎn)，I_m、I_n表示高分辨率圖像在m、n點(diǎn)處的灰度值，權(quán)重函數(shù)通常以高斯函數(shù)作為核函數(shù)，其中δ_s、δ_r分別為空域距離核函數(shù)和顏色相似核函數(shù)的標(biāo)準(zhǔn)差，則空域距離核函數(shù)H_s(m',n')和灰度相似核函數(shù)H_r(I_m,I_n)的表達(dá)式如(5)式所示：

上采樣高分辨圖像與高分辨率彩色圖像具有邊緣一致性，以w為雙邊濾波窗口，將低分辨率深度圖像邊緣區(qū)域S2上的所有像素點(diǎn)上采樣到高分辨率計(jì)算公式如下：

其中D_n'表示低分辨率深度圖上的像素點(diǎn)n'對(duì)應(yīng)的深度值，D_m表示上采樣高分辨率圖像上各像素點(diǎn)對(duì)應(yīng)的深度值。根據(jù)(6)式計(jì)算得到原低分辨率深度圖像邊緣區(qū)域S2內(nèi)各像素點(diǎn)對(duì)應(yīng)映射點(diǎn)的深度值，最后將低分辨率深度圖像插值處理完成之后的深度增強(qiáng)圖像輸出。

以上包含了本發(fā)明優(yōu)選實(shí)施例的說明，這是為了詳細(xì)說明本發(fā)明的技術(shù)特征，并不是想要將發(fā)明內(nèi)容限制在實(shí)施例所描述的具體形式中，依據(jù)本發(fā)明內(nèi)容主旨進(jìn)行的其他修改和變型也受本專利保護(hù)。本發(fā)明內(nèi)容的主旨是由權(quán)利要求書所界定，而非由實(shí)施例的具體描述所界定。