本發(fā)明涉及沉浸式媒體編碼中領(lǐng)域，特別涉及多視點(diǎn)圖像塊的處理方法及裝置。

背景技術(shù)：

1、“沉浸感”作為一種主觀評(píng)價(jià)，是指觀看者對(duì)多媒體系統(tǒng)建立、顯示出來的虛擬場景的感知代入感。隨著采集設(shè)備和顯示設(shè)備的能力逐年增強(qiáng)，沉浸式媒體作為一種能夠帶給觀看者強(qiáng)沉浸感的視覺多媒體，其編碼、傳輸和渲染已經(jīng)成為了工業(yè)界和科學(xué)界的研究熱點(diǎn)。多視點(diǎn)圖像加深度信息是一種有效的沉浸式媒體表達(dá)方式，它由多個(gè)視點(diǎn)的紋理圖像以及各紋理圖像對(duì)應(yīng)的深度圖像組成。利用基于深度圖像的視點(diǎn)合成技術(shù)，該表達(dá)方式可以根據(jù)目標(biāo)圖像的相機(jī)參數(shù)以及目標(biāo)視點(diǎn)和已有視點(diǎn)的位置關(guān)系渲染得到目標(biāo)視點(diǎn)的圖像。

2、由于多個(gè)視點(diǎn)之間一般存在較大的信息冗余，編碼傳輸多視點(diǎn)子塊拼接圖像能夠顯著節(jié)省像素率，在編解碼之前，通過分析多個(gè)視點(diǎn)之間的幾何紋理關(guān)系，利用主視點(diǎn)(多視點(diǎn)圖像中的某些包含完整視點(diǎn)信息的圖像)圖像盡可能剔除其他視點(diǎn)的冗余像素，因此除了主視點(diǎn)外的其他視點(diǎn)圖像只保留特有的有效信息?？紤]到編碼效率，被保留的有效像素會(huì)聚合成矩形子塊，最后將多個(gè)圖像塊組裝成拼接圖像進(jìn)行編碼傳輸。解碼端，利用解碼得到的圖像塊信息，從解碼得到的多視點(diǎn)塊拼接圖像中提取所有塊圖像，最終以圖像塊為單位進(jìn)行目標(biāo)圖像合成。

3、然而，隨著視頻內(nèi)容的視場變大，源視點(diǎn)數(shù)量的增多，暴露了基于拼接圖像的編碼傳輸方案在大數(shù)據(jù)量輸入時(shí)處理能力上的不足，在很多工業(yè)場景下，拼接圖像的像素率有限，而目前經(jīng)視點(diǎn)間去冗余后留下的必要子塊圖像無法悉數(shù)放進(jìn)有限大小的地圖集中，子塊圖像的丟失導(dǎo)致解碼時(shí)信息丟失，從而無法合成出高質(zhì)量視頻。因此為了度量圖像塊的重要性進(jìn)行決策，引入了像素的有效信息量的概念，其衡量當(dāng)前像素與其他視點(diǎn)中像素的不重疊度。有效信息量越高，被其他視點(diǎn)中像素的表征程度越低，獨(dú)有的信息越大，越應(yīng)該被保留在拼接圖像中。

4、更具體的，有效信息通常包括兩個(gè)通道：幾何信息和紋理信息，每個(gè)通道的取值相互獨(dú)立，分別由當(dāng)前像素與來自其他視點(diǎn)的參考像素在當(dāng)前像素位置合成像素的視差的差值和亮度的差值的對(duì)數(shù)計(jì)算得出。若當(dāng)前像素沒有參考像素，則信息量為最大值，由視差和亮度的比特位寬確定。具體計(jì)算方式如下：設(shè)當(dāng)前像素與參考像素的視差差值為dg，亮度差值為dt，則有效信息ρ為：

5、ρ＝logdg+logdt

6、視頻的幾何位寬bg和亮度位寬bt，則有效信息的最大值ρmax為：

7、

8、由于被保留的像素會(huì)被聚合成為圖像子塊，因此一個(gè)圖像子塊的有效信息由其中所有有效像素的有效信息值累加計(jì)算得出。

9、ρblock＝∑pixel∈blockρpixel

10、進(jìn)一步提出有效信息密度μ的概念，用子塊有效信息的除以像有效像素素?cái)?shù)

11、

12、在子塊圖像拼接的過程中，以子塊的有效信息密度μ為依據(jù)，在優(yōu)先像素率的限制下優(yōu)先保留有效信息密度大的圖像子塊，提高信息利用率，提升解碼端的渲染質(zhì)量。

13、然而，在一個(gè)圖像子塊內(nèi)有效信息的分布可能不均，根據(jù)有效信息密度μ選擇優(yōu)先保留的圖像子塊可能將一些子塊中的高有效信息密度的局部區(qū)域一并丟棄，或者在保留的圖像子塊中存在有效信息密度低的局部區(qū)域一并保留的情況，浪費(fèi)像素率。因此，需要一種基于有效信息分布的圖像子塊切割方法，使得切割后同一子塊內(nèi)有效信息分布盡量均勻，在組織拼接圖時(shí)能夠提升信息率，進(jìn)而提升編碼效率。但切割過程中如何使切割更加充分，以及如何減少無效切割，及在兩個(gè)子塊的有效信息密度都大于保留閾值時(shí)不進(jìn)行切割，防止圖像區(qū)域的連續(xù)性被破壞從而影響編碼效率，都是難題與挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問題，本發(fā)明提出了一種沉浸式媒體編碼中處理圖像塊的方法與裝置。

2、對(duì)于多視點(diǎn)圖像中的至少一個(gè)圖像塊，對(duì)于所述圖像塊中至少一條貫穿且垂直于所述圖像塊邊界的分割線，分別計(jì)算所述分割線兩側(cè)圖像子塊的有效信息密度，所述有效信息為所述圖像子塊在多視點(diǎn)中相對(duì)于其他視點(diǎn)的額外信息。

3、當(dāng)所述分割線兩側(cè)圖像子塊滿足切割條件時(shí)，所述切割條件為一側(cè)圖像子塊的有效信息密度大于閾值且另一側(cè)圖像子塊的有效信息密度小于閾值，沿所述分割線進(jìn)行切割，將所述圖像塊切割為兩個(gè)圖像塊，對(duì)于包含有效信息密度小于閾值的圖像子塊的圖像塊，若不存在滿足所述切割條件的分割線，則將所述圖像塊丟棄，不組裝進(jìn)入拼接圖中；否則不進(jìn)行切割。

4、進(jìn)一步的，對(duì)于切割后包含有效信息密度小于閾值的圖像子塊的圖像塊，若存在滿足所述切割條件的分割線，則對(duì)其進(jìn)行再次切割。

5、進(jìn)一步的，對(duì)于有多條兩側(cè)圖像子塊滿足所述切割條件的分割線的圖像塊，選擇分割線兩側(cè)圖像子塊有效信息密度差值最大的分割線作為實(shí)際分割線。

6、進(jìn)一步的，當(dāng)所述分割線兩側(cè)圖像子塊滿足所述切割條件時(shí)，根據(jù)拼接圖像素率限制和未丟棄的圖像塊的有效信息密度，更新閾值。

7、進(jìn)一步的，本發(fā)明提出了一種處理圖像塊的裝置，包括以下模塊：

8、計(jì)算有效信息密度模塊：用于在多視點(diǎn)圖像塊中沿貫穿且垂直于所述圖像塊邊界的分割線，分別計(jì)算所述分割線兩側(cè)圖像子塊的有效信息密度，所述有效信息為所述圖像子塊在多視點(diǎn)中相對(duì)于其他視點(diǎn)的額外信息

9、閾值判斷模塊：用于判斷所述分割線兩側(cè)的圖像子塊的有效信息密度是否一個(gè)大于閾值，一個(gè)小于閾值，滿足條件則切割，不滿足條件則不切割

10、分割線決策模塊：對(duì)于有多條兩側(cè)圖像子塊滿足所述切割條件的分割線時(shí)的圖像塊，選擇分割線兩側(cè)圖像子塊有效信息密度差值最大的分割線作為實(shí)際分割線

11、切割模塊：在滿足切割條件的情況下，沿著所述分割線進(jìn)行切割

12、組裝拼接決策模塊：用于丟棄包含有效信息密度小于閾值的圖像子塊、且不存在滿足所述切割條件的分割線的圖像塊，不組裝進(jìn)入拼接圖中

13、閾值更新模塊：當(dāng)所述分割線兩側(cè)圖像子塊滿足所述切割條件時(shí)，根據(jù)拼接圖像素率限制和未丟棄的圖像塊的有效信息密度，更新閾值。

14、進(jìn)一步的，所述圖像塊切割裝置，對(duì)于包含有效信息密度小于閾值的圖像子塊的圖像塊，若存在滿足所述切割條件的分割線，則對(duì)其進(jìn)行再次切割。

15、本發(fā)明的優(yōu)勢在于，通過圖像子塊粒度的判斷，能夠?qū)崿F(xiàn)圖像塊的充分切割，更精準(zhǔn)的丟棄圖像塊，在多視點(diǎn)圖像拼接過程中能夠在有限像素率的限制下組織有效信息密度更高的圖像塊，提升拼接圖的信息利用率，在解碼端提升渲染質(zhì)量；同時(shí)，通過閾值控制切割的發(fā)生，在無需丟棄的場景下減少無效切割，節(jié)省編碼碼率；每次切割后根據(jù)像素率的限制和未丟棄的圖像子塊的有效信息密度更新閾值，使閾值更加準(zhǔn)確，總體編碼效率增加。

技術(shù)特征：

1.一種沉浸式媒體編碼中處理圖像塊的方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)于包含有效信息密度小于閾值的圖像子塊的圖像塊，若存在滿足所述切割條件的分割線，則對(duì)其進(jìn)行再次切割。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)于有多條兩側(cè)圖像子塊滿足所述切割條件的分割線的圖像塊，選擇分割線兩側(cè)圖像子塊有效信息密度差值最大的分割線作為實(shí)際分割線。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，當(dāng)所述分割線兩側(cè)圖像子塊滿足所述切割條件時(shí)，根據(jù)拼接圖像素率限制和未丟棄的圖像塊的有效信息密度，更新閾值。

5.一種處理圖像塊的裝置，其特征在于，包括以下模塊：

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，對(duì)于包含有效信息密度小于閾值的圖像子塊的圖像塊，若存在滿足所述切割條件的分割線，則對(duì)其進(jìn)行再次切割。

7.根據(jù)權(quán)利要求5所述的裝置，其特征在于，還包括以下模塊：

8.根據(jù)權(quán)利要求5所述的裝置，其特征在于，還包括以下模塊：

技術(shù)總結(jié)
本發(fā)明提供了一種沉浸式媒體編碼中處理圖像塊的方法，包括：對(duì)于多視點(diǎn)圖像中的至少一個(gè)圖像塊，對(duì)于所述圖像塊中至少一條貫穿且垂直于所述圖像塊邊界的分割線，分別計(jì)算所述分割線兩側(cè)圖像子塊的有效信息密度，所述有效信息為所述圖像子塊在多視點(diǎn)中相對(duì)于其他視點(diǎn)的額外信息；當(dāng)所述分割線兩側(cè)圖像子塊滿足切割條件時(shí)，所述切割條件為一側(cè)圖像子塊的有效信息密度大于閾值且另一側(cè)圖像子塊的有效信息密度小于閾值：沿所述分割線進(jìn)行切割，將所述圖像塊切割為兩個(gè)圖像塊，對(duì)于包含有效信息密度小于閾值的圖像子塊的圖像塊，若不存在滿足所述切割條件的分割線，則將所述圖像塊丟棄，不組裝進(jìn)入拼接圖中；否則：不進(jìn)行切割。

技術(shù)研發(fā)人員：白雨簫,虞露
受保護(hù)的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/10