本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，涉及一種針對(duì)由深度感知相機(jī)獲取的多視點(diǎn)低分辨率深度圖進(jìn)行基于可信度融合的深度圖超分辨率重建方法。

背景技術(shù)：

深度圖的超分辨率重建是在不改變現(xiàn)有深度獲取硬件系統(tǒng)的前提下，通過(guò)軟件算法解決深度圖空間分辨率低和高頻細(xì)節(jié)信息丟失問(wèn)題，重建出高分辨率深度圖。深度圖超分辨率重建技術(shù)的核心是恢復(fù)低分辨率深度圖細(xì)節(jié)、銳化邊緣和增加空間分辨率。

近年來(lái)，隨著3D圖像領(lǐng)域飛速迅猛的發(fā)展，3D內(nèi)容也變得越來(lái)越普遍。在制造業(yè)、物體重建和3D媒體娛樂(lè)等領(lǐng)域，越來(lái)越多的要求精確的和高分辨率的場(chǎng)景深度信息。目前，主動(dòng)深度距離感知傳感器以其低消費(fèi)、實(shí)時(shí)性和便捷性應(yīng)用于深度圖的獲取。此類深度感知傳感器主要采用結(jié)構(gòu)光法，如Microsoft Kinect和Time-of-Flight camera(ToF)，具有高魯棒性和應(yīng)用場(chǎng)景廣泛等優(yōu)點(diǎn)。然而，該方法的一個(gè)重要缺點(diǎn)是受深度相機(jī)芯片大小和相機(jī)活躍光能量等硬件條件的限制，空間分辨率低，易受到噪聲的影響。因此，盡管該方法在光學(xué)技術(shù)領(lǐng)域較活躍，但是其獲取的深度圖需要有效的深度圖超分辨率重建技術(shù)，使得深度圖的分辨率滿足3D圖像處理中同彩色圖像分辨率一致的要求。

深度圖超分辨率重建算法主要包括基于單個(gè)深度圖的重建技術(shù)和基于多深度圖的超分辨率技術(shù)?；趩蝹€(gè)深度圖的超分辨率重建技術(shù)主要考慮深度信息與同場(chǎng)景彩色紋理圖像信息的結(jié)合，假設(shè)深度不連續(xù)區(qū)域與彩色圖像邊界高度一致，通過(guò)探索彩色信息來(lái)獲取具有尖銳的物體邊緣的超分辨率深度圖。其核心思想是通過(guò)構(gòu)建RGB與Depth系統(tǒng)，尋找同場(chǎng)景的高分辨率彩色紋理圖與低分辨率深度圖之間的約束關(guān)系，采用彩色紋理圖像信息引導(dǎo)深度圖上采樣，重建出超分辨率深度圖?；诙嗌疃葓D超分辨率重建的方法的核心思想是通過(guò)融合多個(gè)低分辨率深度圖，重建出高空間分辨率的深度圖。Hahne和Alex提出利用深度圖相機(jī)的不同曝光時(shí)間，設(shè)計(jì)能量函數(shù)來(lái)增強(qiáng)單個(gè)深度圖的質(zhì)量。Schuo等人將該方法發(fā)展到3D型形狀模型，提出一種3D深度圖上采樣的算法，該種算法的主要思想是通過(guò)融合同一個(gè)靜態(tài)場(chǎng)景的多個(gè)含噪深度圖信息，優(yōu)化當(dāng)前視點(diǎn)深度像素值，重建出高質(zhì)量的超分辨率深度圖。但是，這些算法沒(méi)有考慮多視點(diǎn)間的互補(bǔ)信息和深度像素值不精確等問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

為克服現(xiàn)有技術(shù)的不足，針對(duì)當(dāng)前深度圖超分辨率重建算法主要考慮單個(gè)深度圖像信息，缺少對(duì)視點(diǎn)間的互補(bǔ)信息和深度像素值不精確等問(wèn)題研究的現(xiàn)狀，本發(fā)明旨在提出融合多視點(diǎn)深度信息的超分辨率重建方法，為虛擬視點(diǎn)繪制等3D圖像處理技術(shù)奠定基礎(chǔ)。本發(fā)明采用的技術(shù)方案是，深度圖超分辨率重建方法，步驟如下：

1)可信深度值判斷：兩個(gè)限制判斷條件，第一個(gè)限制判斷條件是從不同視角拍攝同一3D點(diǎn)，其深度值應(yīng)該相同或接近；第二個(gè)限制條件是由相鄰視點(diǎn)彩色圖和深度圖分別進(jìn)行單視點(diǎn)虛擬視圖繪制，其繪制的彩色圖像像素值應(yīng)該非常相近；

滿足上述兩個(gè)深度值可信的限制條件的公式如下所示：

并且其中，和分別表示當(dāng)前i視點(diǎn)深度圖和第m個(gè)視點(diǎn)深度圖在像素點(diǎn)p處的深度值，δ表示深度值可信閾值，表示由當(dāng)前i視點(diǎn)深度圖單視點(diǎn)繪制到第k個(gè)視點(diǎn)的虛擬視圖，表示由第m個(gè)視點(diǎn)深度圖單視點(diǎn)繪制到第k個(gè)視點(diǎn)的虛擬視圖，T表示虛擬視點(diǎn)質(zhì)量閾值，J表示滿足兩個(gè)限制條件的視點(diǎn)的集合，由此判斷出用于下一步融合的視點(diǎn)深度值；

2)確定可信權(quán)重表達(dá)式R_i,j(p)之后，根據(jù)立體匹配關(guān)系，找到當(dāng)前視點(diǎn)的所有像素點(diǎn)的匹配點(diǎn)，結(jié)合深度值可信度與虛擬視圖質(zhì)量可信度，提出多視點(diǎn)深度圖融合機(jī)制，如下公式所示：

其中，表示第j個(gè)視點(diǎn)像素點(diǎn)p處的初始深度值，可信權(quán)重表達(dá)式R_i,j(p)也即表示視點(diǎn)i和視點(diǎn)j之間的可信度函數(shù),表示第i個(gè)視點(diǎn)像素點(diǎn)p處改善后的深度值，表示第k個(gè)視點(diǎn)彩色圖像在像素點(diǎn)p處的真值，表示由第j視點(diǎn)繪制到第k個(gè)視點(diǎn)的虛擬視圖像素值；

根據(jù)上述多視點(diǎn)融合判斷機(jī)制，獲得當(dāng)前視點(diǎn)改善后的低分辨率深度圖；

3)深度圖重建

對(duì)上述的初始低分辨率深度圖采用傳統(tǒng)的雙線性插值算法進(jìn)行上采樣，得到初始的高分辨率深度圖。采用聯(lián)合自適應(yīng)雙邊濾波上采樣方式，對(duì)初始高分辨率深度圖進(jìn)行改善。

采用聯(lián)合自適應(yīng)雙邊濾波上采樣方式，對(duì)初始高分辨率深度圖進(jìn)行改善，具體步驟是，首先，對(duì)初始高分辨率深度圖用sobel算子進(jìn)行梯度計(jì)算，檢測(cè)出深度圖的邊緣區(qū)域；然后保留平坦區(qū)域的深度像素值，對(duì)于邊緣像素值采用聯(lián)合自適應(yīng)濾波方式處理；

聯(lián)合自適應(yīng)濾波的權(quán)重由深度高斯核和彩色高斯核構(gòu)成，具體的權(quán)重函數(shù)公式如下所示：

其中，p表示當(dāng)前像素點(diǎn)，q表示p的Ω鄰域像素點(diǎn)集合，表示當(dāng)前視點(diǎn)的初始高分辨率深度值，ε_p是控制因子，I表示彩色紋理值，σ_c,p表示彩色圖像的平滑因子；

根據(jù)上述的權(quán)重和當(dāng)前鄰域的深度值計(jì)算當(dāng)前視點(diǎn)最終的深度值，如下公式所示：

其中，表示由基于多視點(diǎn)深度圖融合的超分辨率重建方法得到的高分辨率深度圖，表示初始高分辨率深度圖，Ω表示當(dāng)前像素點(diǎn)的鄰域，k_s是歸一化參數(shù)。

本發(fā)明的特點(diǎn)及有益效果是：

本發(fā)明在低分辨率深度圖上采樣之前，先對(duì)多視點(diǎn)的匹配像素點(diǎn)進(jìn)行深度值可信度判斷，滿足兩個(gè)判斷限制條件的像素點(diǎn)被用于下一步的深度優(yōu)化。本發(fā)明還對(duì)優(yōu)化后的低分辨率深度圖采用聯(lián)合自適應(yīng)濾波算法進(jìn)行深度圖超分辨率重建，對(duì)于深度圖邊緣區(qū)域具有較好的效果。

附圖說(shuō)明：

圖1為技術(shù)方案的流程圖。

圖2為用于測(cè)試的兩視點(diǎn)低分辨率深度圖和彩色圖。

圖3為不受噪聲影響情況下，采用基于多視點(diǎn)深度圖融合的超分辨率算法重建的高分辨率深度圖。

圖4為受高斯噪聲影響的情況下，采用基于多視點(diǎn)深度圖融合的超分辨率算法重建的高分辨率深度圖。

具體實(shí)施方式

為克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種深度圖超分辨率重建方法，具體的技術(shù)方案分為下列步驟：

1.可信深度值判斷

通過(guò)主流深度圖相機(jī)拍攝的深度圖常常會(huì)包含不精確的像素值。這種現(xiàn)象主要是由于光子散粒噪聲和熱噪聲等內(nèi)部因素以及場(chǎng)景高反射、弱光亮性等外部因素所產(chǎn)生。為了解決這一問(wèn)題，考慮多個(gè)視點(diǎn)間的互補(bǔ)信息，改善當(dāng)前視點(diǎn)不精確的深度值。這里考慮兩個(gè)限制判斷條件，第一個(gè)限制判斷條件是從不同視角拍攝同一3D點(diǎn)，其深度值應(yīng)該相同或接近。因此，設(shè)定一個(gè)閾值，當(dāng)視點(diǎn)間視差值在這個(gè)閾值范圍內(nèi)，則可接受該視點(diǎn)深度值，將其用于多視點(diǎn)融合。假設(shè)P₁(x_l,y_l)和P₂(x_r,y_r)分別是對(duì)應(yīng)同一3D點(diǎn)的兩個(gè)視點(diǎn)的坐標(biāo)，那么在判斷視點(diǎn)深度值可信前，需要先計(jì)算視點(diǎn)間的坐標(biāo)匹配關(guān)系式，然后根據(jù)下面的深度范圍計(jì)算公式，判斷視點(diǎn)間深度可信的像素點(diǎn)。

其中，和分別表示當(dāng)前i視點(diǎn)深度圖和第m個(gè)視點(diǎn)深度圖在像素點(diǎn)p處的深度值，δ表示深度值可信閾值。

第二個(gè)限制條件是由相鄰視點(diǎn)彩色圖和深度圖分別進(jìn)行單視點(diǎn)虛擬視圖繪制，其繪制的彩色圖像像素值應(yīng)該非常相近。同樣設(shè)定一個(gè)虛擬視圖質(zhì)量可接受的誤差閾值，那么滿足條件的數(shù)學(xué)表達(dá)式如下所示：

其中，表示由當(dāng)前i視點(diǎn)深度圖單視點(diǎn)繪制到第k個(gè)視點(diǎn)的虛擬視圖，表示由第m個(gè)視點(diǎn)深度圖單視點(diǎn)繪制到第k個(gè)視點(diǎn)的虛擬視圖，T表示虛擬視點(diǎn)質(zhì)量閾值。

滿足上述深度值可信的限制條件的公式如下所示：

其中，J表示滿足兩個(gè)限制條件的視點(diǎn)的集合。由上述限制條件，可以判斷出可用于下一步融合的視點(diǎn)深度值。

2.多視點(diǎn)深度圖融合

當(dāng)兩個(gè)視點(diǎn)間的距離越遠(yuǎn)，坐標(biāo)匹配時(shí)越容易發(fā)生錯(cuò)誤。因此，考慮基線距離，提出可信權(quán)重R_i,j(p)。確定可信權(quán)重表達(dá)式之后，根據(jù)立體匹配關(guān)系，找到當(dāng)前視點(diǎn)的所有像素點(diǎn)的匹配點(diǎn)。

結(jié)合深度值可信度與虛擬視圖質(zhì)量可信度，提出多視點(diǎn)深度圖融合機(jī)制，如下公式所示：

其中，表示第j個(gè)視點(diǎn)像素點(diǎn)p處的初始深度值，R_i,j(p)表示視點(diǎn)i和視點(diǎn)j之間的可信度函數(shù),表示第i個(gè)視點(diǎn)像素點(diǎn)p處改善后的深度值，表示第k個(gè)視點(diǎn)彩色圖像在像素點(diǎn)p處的真值，表示由第j視點(diǎn)繪制到第k個(gè)視點(diǎn)的虛擬視圖像素值。

根據(jù)上述多視點(diǎn)融合判斷機(jī)制，獲得當(dāng)前視點(diǎn)改善后的低分辨率深度圖。

3.深度圖重建

對(duì)上述的初始低分辨率深度圖采用傳統(tǒng)的雙線性插值算法進(jìn)行上采樣，得到初始的高分辨率深度圖。采用聯(lián)合自適應(yīng)雙邊濾波上采樣方式，對(duì)初始高分辨率深度圖進(jìn)行改善。首先，對(duì)初始高分辨率深度圖用sobel算子進(jìn)行梯度計(jì)算，檢測(cè)出深度圖的邊緣區(qū)域；然后保留平坦區(qū)域的深度像素值，對(duì)于邊緣像素值采用聯(lián)合自適應(yīng)濾波方式處理。

聯(lián)合自適應(yīng)濾波的權(quán)重由深度高斯核和彩色高斯核構(gòu)成，具體的權(quán)重函數(shù)公式如下所示：

其中，p表示當(dāng)前像素點(diǎn)，q表示p的Ω鄰域像素點(diǎn)集合，表示當(dāng)前視點(diǎn)的初始高分辨率深度值，ε_p是控制因子，I表示彩色紋理值，σ_c,p表示彩色圖像的平滑因子。

根據(jù)上述的權(quán)重和當(dāng)前鄰域的深度值計(jì)算當(dāng)前視點(diǎn)最終的深度值，如下公式所示：

其中，表示由基于多視點(diǎn)深度圖融合的超分辨率重建方法得到的高分辨率深度圖，表示初始高分辨率深度圖，Ω表示當(dāng)前像素點(diǎn)的鄰域，k_s是歸一化參數(shù)。

下面通過(guò)基于兩個(gè)視點(diǎn)深度圖融合的深度圖超分辨率重建來(lái)說(shuō)明本發(fā)明的最佳實(shí)施方式：1.可信深度值判斷

通過(guò)主流深度圖相機(jī)拍攝的深度圖常常會(huì)包含不精確的像素值。這種現(xiàn)象主要是由于光子散粒噪聲和熱噪聲等內(nèi)部因素以及場(chǎng)景高反射、弱光亮性等外部因素所產(chǎn)生。為了解決這一問(wèn)題，考慮多個(gè)視點(diǎn)間的互補(bǔ)信息，改善當(dāng)前視點(diǎn)不精確的深度值。一方面，因?yàn)閺牟煌暯桥臄z同一3D場(chǎng)景，其深度值是相同或接近。因此，設(shè)定一個(gè)閾值，當(dāng)視點(diǎn)間視差值在這個(gè)誤差范圍內(nèi)，表示該視點(diǎn)深度值被接受，用于多視點(diǎn)融合。假設(shè)P₁(x_l,y_l)和P₂(x_r,y_r)分別是左視點(diǎn)和右視點(diǎn)的像素點(diǎn)。那么焦距、視差值和像素點(diǎn)坐標(biāo)三者之間的關(guān)系式如下所示：

y_r＝y(tǒng)_l

其中，D_lr表示左右視點(diǎn)間的視差值，參數(shù)B,f和Z分別表示兩個(gè)相機(jī)中心點(diǎn)間的基線距離、拍攝相機(jī)的焦距和場(chǎng)景的實(shí)際深度值。

那么在判斷可信的視點(diǎn)深度值之前，需要先計(jì)算視點(diǎn)間的坐標(biāo)匹配關(guān)系式，由上述關(guān)系式可以推導(dǎo)出兩個(gè)視點(diǎn)間匹配像素點(diǎn)的坐標(biāo)變換關(guān)系式如下所示：

x_r＝x_l-D_lr,y_r＝y(tǒng)_l

然后根據(jù)下面的深度范圍計(jì)算公式，判斷視點(diǎn)間深度可信的像素點(diǎn)。

其中，和分別表示當(dāng)前i視點(diǎn)深度圖和第m個(gè)視點(diǎn)深度圖在像素點(diǎn)p處的深度值，δ表示深度值可信閾值。

另一方面，由相鄰視點(diǎn)彩色圖和深度圖分別進(jìn)行單視點(diǎn)虛擬視圖繪制，其繪制的彩色圖像像素值應(yīng)該很相近。同樣設(shè)定一個(gè)虛擬視圖質(zhì)量可接受的誤差閾值，那么滿足條件的數(shù)學(xué)表達(dá)式如下所示：

其中，表示由當(dāng)前i視點(diǎn)深度圖單視點(diǎn)繪制到第k個(gè)視點(diǎn)的虛擬視圖，表示由第m個(gè)視點(diǎn)深度圖單視點(diǎn)繪制到第k個(gè)視點(diǎn)的虛擬視圖，T表示虛擬視點(diǎn)質(zhì)量閾值。

滿足上述深度值可信的限制條件的公式如下所示：

其中，J表示滿足兩個(gè)限制條件的視點(diǎn)的集合，和分別表示當(dāng)前i視點(diǎn)深度圖和第m個(gè)視點(diǎn)深度圖在像素點(diǎn)p處的深度值，δ表示深度值可信閾值。由上述限制條件，可以判斷出用于下一步融合的視點(diǎn)深度值。

2.多視點(diǎn)深度圖融合

當(dāng)兩個(gè)視點(diǎn)間的距離越遠(yuǎn)，坐標(biāo)匹配越容易發(fā)生錯(cuò)誤。因此，考慮基線距離，提出可信權(quán)重R_i,j(p)，其表達(dá)式定義如下：

其中，B_i,j表示分別表示當(dāng)前i視點(diǎn)圖像中心與第j個(gè)視點(diǎn)深度圖中心間的基線距離，σ_b表示基線距離控制參數(shù)。

確定可信權(quán)重表達(dá)式之后，根據(jù)坐標(biāo)匹配變換關(guān)系，找到當(dāng)前視點(diǎn)的所有像素點(diǎn)的匹配點(diǎn)。

結(jié)合深度值可信度與虛擬視圖質(zhì)量可信度，提出多視點(diǎn)深度圖融合機(jī)制，如下公式所示：

其中，表示第j個(gè)視點(diǎn)像素點(diǎn)p處的初始深度值，R_i,j(p)表示視點(diǎn)i和視點(diǎn)j之間的集合可信度函數(shù),表示第i個(gè)視點(diǎn)像素點(diǎn)p處改善后的深度值，表示第k個(gè)視點(diǎn)彩色圖像在像素點(diǎn)p處的真值，表示由第j視點(diǎn)繪制到第k個(gè)視點(diǎn)的虛擬視圖像素值。

當(dāng)所有視點(diǎn)中至少存在一個(gè)視點(diǎn)的深度滿足第一個(gè)判斷條件時(shí)，先計(jì)算視點(diǎn)間可信權(quán)重與該視點(diǎn)的深度值的乘積。再將所有滿足條件的視點(diǎn)像素值按和權(quán)結(jié)合，求得當(dāng)前視點(diǎn)p像素點(diǎn)的優(yōu)化值；如果沒(méi)有一個(gè)視點(diǎn)滿足判斷條件，采用合成的虛擬合成視圖質(zhì)量最接近真值的深度值作為當(dāng)前視點(diǎn)像素值。那么根據(jù)上述多視點(diǎn)融合判斷機(jī)制過(guò)程，即可獲得當(dāng)前視點(diǎn)改善后的低分辨率深度圖。

3.深度圖重建

對(duì)上述的初始低分辨率深度圖采用雙線性插值算法進(jìn)行上采樣，得到初始的高分辨率深度圖。采用聯(lián)合自適應(yīng)雙邊濾波上采樣方式，對(duì)初始高分辨率深度圖進(jìn)行改善。首先，對(duì)初始高分辨率深度圖用sobel算子進(jìn)行梯度計(jì)算，檢測(cè)出深度圖的邊緣區(qū)域；然后保留平坦區(qū)域的深度像素值，對(duì)于邊緣像素值采用聯(lián)合自適應(yīng)濾波方式處理。

聯(lián)合自適應(yīng)濾波的權(quán)重由深度高斯核和彩色高斯核構(gòu)成，具體的權(quán)重函數(shù)公式如下所示：

其中，p表示當(dāng)前像素點(diǎn)，q表示p的Ω鄰域像素點(diǎn)集合，表示當(dāng)前視點(diǎn)的初始高分辨率深度值，σ_D表示深度值的控制因子，ε_p是控制因子,I表示彩色紋理像素值，σ_c,p表示彩色圖像的平滑因子。計(jì)算平滑因子σ_c,p和控制因子ε_p的具體步驟如下：

1)根據(jù)檢測(cè)的邊緣圖像，對(duì)深度邊緣圖和彩色邊緣圖進(jìn)行分割，獲得當(dāng)前像素窗口的深度邊緣分割圖和彩色邊緣分割圖。為了生成兩個(gè)分割圖，首先計(jì)算深度邊緣圖和彩色邊緣圖的當(dāng)前像素窗口內(nèi)均值，然后用下面的公式將他們分成兩個(gè)區(qū)域：

其中，S_c和S_d分別表示彩色和深度邊緣分割圖，I_q表示當(dāng)前像素點(diǎn)的鄰域像素彩色值，μ_c,p和μ_d,p分別表示深度邊緣圖和彩色邊緣圖的當(dāng)前像素窗口內(nèi)均值。

2)根據(jù)上述計(jì)算的深度邊緣分割圖和彩色邊緣分割圖，計(jì)算匹配比率，其公式如下：

SAD(S_c,S_d)＝|S_c-S_d|

其中，SAD表示S_c和S_d之間的絕對(duì)平均值，N表示窗口區(qū)域像素的個(gè)數(shù)。

3)根據(jù)匹配比率和深度值的控制參數(shù)計(jì)算平滑因子，其定義如下：

當(dāng)匹配比率很小時(shí)，表示深度圖和彩色圖像匹配度很高，那么給彩色值高權(quán)重值越大。

4)計(jì)算深度圖邊緣像素點(diǎn)所在整個(gè)窗口內(nèi)的平均值和當(dāng)前像素點(diǎn)在窗口內(nèi)所屬的分割區(qū)域內(nèi)的平均值，然后根據(jù)匹配比率和兩個(gè)平均值計(jì)算控制參數(shù)，其公式如下：

其中，μ_L表示當(dāng)前像素點(diǎn)在窗口內(nèi)所屬的分割區(qū)域內(nèi)的平均值，μ_w表示深度圖邊緣像素點(diǎn)所在整個(gè)窗口內(nèi)的平均值。

根據(jù)上述的權(quán)重和當(dāng)前鄰域的深度值計(jì)算當(dāng)前視點(diǎn)最終的深度值，如下公式所示：

其中，表示由基于多視點(diǎn)深度圖融合的超分辨率重建方法得到的高分辨率深度圖，表示初始高分辨率深度圖，Ω表示當(dāng)前像素點(diǎn)的鄰域，k_s是歸一化參數(shù)。