本文檔整體上涉及圖像。更為具體地，本發(fā)明的實(shí)施例涉及利用雙層方法的可擴(kuò)展三維場(chǎng)景表示，其中利用神經(jīng)場(chǎng)建模增強(qiáng)層信息。

背景技術(shù)：

1、近年來，人們對(duì)三維場(chǎng)景的高效建模和表示越來越感興趣。三維場(chǎng)景可用于各種應(yīng)用，包括體積成像、虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)。深度學(xué)習(xí)技術(shù)已經(jīng)在三維場(chǎng)景表示和重構(gòu)方面展現(xiàn)出了不錯(cuò)的成果；然而，并非所有設(shè)備都能處理與此類方法相關(guān)聯(lián)的計(jì)算負(fù)荷。正如本發(fā)明的發(fā)明人所認(rèn)識(shí)到的，在各種可擴(kuò)展性標(biāo)準(zhǔn)下提供可擴(kuò)展的三維場(chǎng)景表示是合乎期望的，因此本文描述了用于三維場(chǎng)景表示的改進(jìn)技術(shù)。

2、本文中的術(shù)語“元數(shù)據(jù)”是指作為編碼比特流的一部分傳輸?shù)娜魏屋o助信息，并且這些信息可以幫助解碼器渲染解碼的圖像或三維場(chǎng)景。這類元數(shù)據(jù)可以包括但不限于色彩空間或色域信息、參考顯示參數(shù)、相機(jī)參數(shù)、神經(jīng)網(wǎng)絡(luò)參數(shù)等。

3、本章節(jié)所描述的方法是可以采用的方法，但不一定是以前設(shè)想或采用過的方法。因此，除非另有指示，否則不應(yīng)認(rèn)為本章節(jié)所述的任何方法僅僅因?yàn)楸涣腥氡菊鹿?jié)而被視為現(xiàn)有技術(shù)。類似地，在本章節(jié)的基礎(chǔ)上所標(biāo)識(shí)的與一種或多種方法相關(guān)聯(lián)的問題，除非另有指示，否則也不應(yīng)假設(shè)這些問題已經(jīng)在任何現(xiàn)有技術(shù)中得到承認(rèn)。

技術(shù)實(shí)現(xiàn)思路

技術(shù)特征：

1.一種用以在編碼器中生成可擴(kuò)展三維場(chǎng)景表示的方法，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，所述方法還包括在生成所述圖像殘差之前對(duì)所述第一三維場(chǎng)景表示或所述第二三維場(chǎng)景表示的輸出進(jìn)行重新格式化。

3.根據(jù)權(quán)利要求2所述的方法，其中重新格式化包括圖像放大、圖像縮小、幀丟棄、幀插值、或動(dòng)態(tài)范圍/色域擴(kuò)展。

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其中所述一個(gè)或多個(gè)質(zhì)量標(biāo)準(zhǔn)包括psnr可擴(kuò)展性、動(dòng)態(tài)范圍可擴(kuò)展性、色域可擴(kuò)展性、空間分辨率可擴(kuò)展性和時(shí)間幀率可擴(kuò)展性。

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，其中所述第一組圖像與所述第二組圖像相同。

6.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，其中所述第一組圖像在動(dòng)態(tài)范圍或位深度、色域、空間分辨率或幀率方面區(qū)別于所述第二組圖像。

7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的方法，其中三維場(chǎng)景表示可以是多視圖加深度(mvd)表示、多平面成像(mpi)表示或神經(jīng)輻射場(chǎng)(nerf)神經(jīng)網(wǎng)絡(luò)表示中的其中一個(gè)。

8.根據(jù)權(quán)利要求5所述的方法，其中所述第一三維場(chǎng)景表示包括第一nerf模型，并且所述第二三維場(chǎng)景表示包括第二nerf模型，其中所述第二nerf模型相較于所述第一nerf模型渲染更高質(zhì)量的圖像，并且生成所述輸出圖像殘差包括：

9.根據(jù)權(quán)利要求8所述的方法，其中在訓(xùn)練期間，所述殘差神經(jīng)場(chǎng)網(wǎng)絡(luò)的參數(shù)是通過優(yōu)化生成的，

10.一種用以在解碼器中生成輸出三維場(chǎng)景的方法，所述方法包括：

11.根據(jù)權(quán)利要求10所述的方法，所述方法還包括在組合所述場(chǎng)景的所述第一三維輸出或所述圖像殘差之前對(duì)其進(jìn)行重新格式化。

12.根據(jù)權(quán)利要求11所述的方法，其中所述重新格式化包括圖像放大、圖像縮小、幀丟棄或幀插值。

13.根據(jù)權(quán)利要求1所述的方法，其中關(guān)于所訓(xùn)練的殘差神經(jīng)場(chǎng)網(wǎng)絡(luò)的信息包括以下項(xiàng)中的一者或多者：

14.根據(jù)權(quán)利要求13所述的方法，其中所述信息是作為補(bǔ)充增強(qiáng)信息消息的一部分傳輸?shù)摹?/p>

15.根據(jù)權(quán)利要求1所述的方法，其中利用所述輸出圖像殘差在第一空間分辨率中訓(xùn)練所述殘差神經(jīng)場(chǎng)網(wǎng)絡(luò)(125)，并且所述方法進(jìn)一步包括：

16.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)具有存儲(chǔ)在其上的計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令用于利用一個(gè)或多個(gè)處理器執(zhí)行根據(jù)權(quán)利要求1至15中任一項(xiàng)所述的方法。

17.一種裝置，所述裝置包括處理器，并且所述處理器被配置為執(zhí)行根據(jù)權(quán)利要求1至15中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
描述了針對(duì)可擴(kuò)展三維場(chǎng)景表示的方法、系統(tǒng)和比特流語法。通用框架提出了一種雙層架構(gòu)，其中基礎(chǔ)層提供基線場(chǎng)景表示，并且增強(qiáng)層提供各種可擴(kuò)展性標(biāo)準(zhǔn)下的增強(qiáng)信息。增強(qiáng)信息利用已訓(xùn)練的神經(jīng)場(chǎng)進(jìn)行編碼。提供了利用PSNR標(biāo)準(zhǔn)和基線多平面圖像(MPI)表示的示例系統(tǒng)。還提供了針對(duì)元數(shù)據(jù)信息的比特流語法示例。

技術(shù)研發(fā)人員：蘇冠銘,尹鵬,A·K·A·喬杜里,呂陶然
受保護(hù)的技術(shù)使用者：杜比實(shí)驗(yàn)室特許公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15