背景技術(shù)：

1、在各種應(yīng)用中(例如游戲、動畫或虛擬現(xiàn)實內(nèi)容生成)以對人類觀看者來說看起來基本逼真或至少一致的方式渲染復(fù)雜的三維(3d)對象可能是有益的(如果不是必要的)。機器學(xué)習(xí)提高了生成復(fù)雜3d場景的新視圖的能力，例如通過使用基于神經(jīng)輻射場(nerf)的方法，該方法可以使用從對象的二維(2d)圖像生成的3d對象的模型來渲染3d對象或環(huán)境的新視圖。此外，由于這些對象的生成方法，理論上這些對象不受分辨率限制。然而，在實踐中，優(yōu)化過程和內(nèi)容生成的源材料在分辨率方面有所限制，因此，嘗試重建更精細的細節(jié)可能會導(dǎo)致圖像模糊或不切實際。

技術(shù)實現(xiàn)思路

技術(shù)特征：

1.一種計算機實現(xiàn)的方法，包括：

2.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中所述3d體積由神經(jīng)輻射場nerf表示。

3.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中所述圖像生成網(wǎng)絡(luò)是以文本和圖像為條件的擴散模型。

4.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，還包括：

5.根據(jù)權(quán)利要求4所述的計算機實現(xiàn)的方法，其中所述語言模型是大型語言模型llm，其被配置為至少基于所述提示來生成信息層次結(jié)構(gòu)。

6.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中所述圖像生成網(wǎng)絡(luò)是以圖像具有小于閾值的分辨率為條件的超分辨率模型。

7.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，還包括：

8.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中所述目標(biāo)細節(jié)級別與來自交互式環(huán)境的用戶的輸入命令相關(guān)聯(lián)。

9.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中所述3d體積由神經(jīng)輻射場nerf表示，該方法還包括：

10.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，還包括：

11.根據(jù)權(quán)利要求10所述的計算機實現(xiàn)的方法，還包括：

12.一種處理器，包括：

13.根據(jù)權(quán)利要求12所述的處理器，其中所述提示是文本提示，并且其中所述一個或更多個處理單元還用于：

14.根據(jù)權(quán)利要求12所述的處理器，其中所述一個或更多個擴散模型以文本和圖像為條件。

15.根據(jù)權(quán)利要求12所述的處理器，其中所述一個或更多個擴散模型中的至少一個擴散模型包括以圖像具有小于閾值的分辨率為條件的超分辨率模型。

16.根據(jù)權(quán)利要求12所述的處理器，其中所述處理器被包括在以下中的至少一項中：

17.一種系統(tǒng)，包括：

18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述輸出圖像由一個或更多個擴散模型響應(yīng)于請求而生成。

19.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述輸出圖像是幻化圖像或相對于所述輸入圖像更高分辨率的圖像中的至少一者。

20.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述系統(tǒng)包括以下中的至少一項：

技術(shù)總結(jié)
本發(fā)明公開了使用擴散模型增加神經(jīng)場的細節(jié)級別。本公開的系統(tǒng)和方法包括為生成的三維(3D)模型提供更高級別的細節(jié)(LOD)，例如由神經(jīng)輻射場(NeRF)表示的模型?？梢韵蛴脩舫尸F(xiàn)3D模型，其中用戶可以請求額外的LOD，例如放大圖像或接收有關(guān)圖像內(nèi)特征的信息。生成更精細級別的細節(jié)的請求可以包括使用一個或更多個擴散模型以更高分辨率生成圖像和/或基于從原始圖像或文本提示中提取的信息幻化更精細的細節(jié)。然后可以將新生成的圖像添加到與3D模型相關(guān)聯(lián)的圖像集中，以使以后的模型生成具有更精細的細節(jié)。

技術(shù)研發(fā)人員：O·佩雷爾,M·舒格里納,Y·卡斯滕,O·利塔尼,G·切奇克,S·菲德勒
受保護的技術(shù)使用者：輝達公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/19