本發(fā)明涉及三維圖形渲染，具體為一種基于深度學(xué)習(xí)的圖形渲染加速方法。

背景技術(shù)：

1、圖形渲染是計(jì)算機(jī)圖形學(xué)中的關(guān)鍵任務(wù)，指的是將數(shù)字模型或場(chǎng)景數(shù)據(jù)轉(zhuǎn)換為可視化圖像的過(guò)程。它將三維圖形信息轉(zhuǎn)化為二維圖像，并涉及對(duì)光照、陰影、紋理等多個(gè)視覺(jué)效果的計(jì)算，以提高圖像的真實(shí)感與細(xì)節(jié)表現(xiàn)。圖形渲染技術(shù)在游戲、電影特效、建筑設(shè)計(jì)、虛擬現(xiàn)實(shí)等多個(gè)領(lǐng)域具有廣泛應(yīng)用，是生成逼真圖像和動(dòng)畫的核心技術(shù)。

2、傳統(tǒng)的圖形渲染技術(shù)通常基于經(jīng)典的計(jì)算機(jī)圖形學(xué)理論和方法，依賴于固定的渲染管線和算法來(lái)生成圖像，如光柵化、光照模型以及紋理映射等。然而，這些方法在處理復(fù)雜場(chǎng)景時(shí)存在一定局限性：渲染效果難以達(dá)到理想的真實(shí)感，或者渲染過(guò)程中的計(jì)算量龐大、時(shí)間消耗過(guò)長(zhǎng)，無(wú)法滿足實(shí)時(shí)渲染的需求。

3、隨著計(jì)算機(jī)硬件，特別是gpu性能的不斷提升，三維圖形渲染技術(shù)正經(jīng)歷著顯著的進(jìn)步，突破了傳統(tǒng)渲染方法的限制。新型渲染加速技術(shù)的出現(xiàn)，在提升圖像真實(shí)感和渲染效率方面取得了顯著成果，這為高質(zhì)量三維圖像的生成提供了更大的可能性。尤其在游戲、電影特效、動(dòng)畫以及虛擬現(xiàn)實(shí)等領(lǐng)域，渲染加速技術(shù)的應(yīng)用展現(xiàn)了巨大的潛力和前景。

4、基于深度學(xué)習(xí)的三維圖形渲染加速技術(shù)通過(guò)模擬真實(shí)世界的光照、材質(zhì)特性及物體之間的交互，利用神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)高效的圖像生成和渲染。這些技術(shù)不僅能夠自動(dòng)優(yōu)化渲染細(xì)節(jié)，提高渲染質(zhì)量和實(shí)時(shí)性，還有效減少傳統(tǒng)方法中復(fù)雜計(jì)算的負(fù)擔(dān)，從而為用戶提供更為沉浸和流暢的虛擬體驗(yàn)。通過(guò)這種方式，圖像渲染質(zhì)量的提升不僅表現(xiàn)為視覺(jué)效果的改善，還能更好地適應(yīng)不同設(shè)備和環(huán)境的需求，進(jìn)而為虛擬現(xiàn)實(shí)的廣泛應(yīng)用奠定了基礎(chǔ)。

5、然而，深度學(xué)習(xí)模型的訓(xùn)練過(guò)程通常需要大量的計(jì)算資源，尤其在三維圖形渲染中，大規(guī)模的數(shù)據(jù)集和高維特征使得訓(xùn)練過(guò)程變得非常耗時(shí)。即便借助強(qiáng)大的gpu加速，訓(xùn)練復(fù)雜的渲染網(wǎng)絡(luò)仍需耗費(fèi)較長(zhǎng)時(shí)間。雖然通過(guò)減少訓(xùn)練量或降低特征維度可以在一定程度上提高訓(xùn)練速度，但這也可能影響渲染效果，導(dǎo)致三維圖形渲染質(zhì)量無(wú)法達(dá)到預(yù)期的標(biāo)準(zhǔn)。因此，如何平衡訓(xùn)練速度與渲染質(zhì)量，依然是渲染加速技術(shù)中的一個(gè)重要挑戰(zhàn)。

6、為此，本發(fā)明提出一種基于深度學(xué)習(xí)的圖形渲染加速方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于深度學(xué)習(xí)的圖形渲染加速方法，通過(guò)收集和處理不同場(chǎng)景類型的幾何信息、材質(zhì)特性、光照環(huán)境數(shù)據(jù)和相機(jī)參數(shù)，構(gòu)建標(biāo)準(zhǔn)三維場(chǎng)景數(shù)據(jù)集。該數(shù)據(jù)集經(jīng)過(guò)清洗、歸一化、異常值檢測(cè)等步驟，并通過(guò)特征關(guān)聯(lián)學(xué)習(xí)模型生成同類和異類場(chǎng)景特征關(guān)聯(lián)矩陣。接著，將這些數(shù)據(jù)輸入至三維圖形渲染加速模型，通過(guò)自適應(yīng)調(diào)整機(jī)制優(yōu)化渲染參數(shù)，以實(shí)現(xiàn)高效渲染。在渲染過(guò)程中，利用時(shí)序和空間關(guān)系計(jì)算節(jié)點(diǎn)連接度，采用圖卷積神經(jīng)網(wǎng)絡(luò)提取特征并進(jìn)行渲染優(yōu)化，最終生成符合預(yù)期的渲染圖形，并通過(guò)實(shí)時(shí)反饋調(diào)整渲染策略以提升渲染效果和效率。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、獲取不同場(chǎng)景類型的三維場(chǎng)景的幾何信息、材質(zhì)特性、光照環(huán)境數(shù)據(jù)及相機(jī)參數(shù)；其中，所述幾何信息包括：三維物體的頂點(diǎn)坐標(biāo)、法向量和紋理坐標(biāo)；所述材質(zhì)特性包括：表面反光率、光澤度和折射率；所述光照環(huán)境數(shù)據(jù)包括：光源類型、光源位置、光照環(huán)境以及陰影信息。

4、進(jìn)一步地，對(duì)所述場(chǎng)景類型、所述幾何信息、所述材質(zhì)特性、所述光照環(huán)境數(shù)據(jù)和所述相機(jī)參數(shù)進(jìn)行處理，并構(gòu)建標(biāo)準(zhǔn)三維場(chǎng)景數(shù)據(jù)集。其中，所述標(biāo)準(zhǔn)三維場(chǎng)景數(shù)據(jù)集的構(gòu)建過(guò)程包括：

5、將所述場(chǎng)景類型轉(zhuǎn)化為文本特征表示，得到場(chǎng)景文本特征向量；

6、進(jìn)一步地，對(duì)所述幾何信息、所述材質(zhì)特性、所述光照環(huán)境數(shù)據(jù)和所述相機(jī)參數(shù)進(jìn)行數(shù)據(jù)清洗，得到第一三維場(chǎng)景數(shù)據(jù)集；

7、進(jìn)一步地，對(duì)所述第一三維場(chǎng)景數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行歸一化處理，得到第二三維場(chǎng)景數(shù)據(jù)集；

8、進(jìn)一步地，對(duì)所述第二三維場(chǎng)景數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行異常值檢測(cè)，得到第三三維場(chǎng)景數(shù)據(jù)集；

9、進(jìn)一步地，將所述場(chǎng)景文本特征向量合并至所述第三三維場(chǎng)景數(shù)據(jù)集，得到第四三維場(chǎng)景數(shù)據(jù)集；

10、進(jìn)一步地，對(duì)所述第四三維場(chǎng)景數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行壓縮，得到第五三維場(chǎng)景數(shù)據(jù)集；

11、進(jìn)一步地，對(duì)所述第五三維場(chǎng)景數(shù)據(jù)集中數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)化，得到所述標(biāo)準(zhǔn)三維場(chǎng)景數(shù)據(jù)集；

12、進(jìn)一步地，將所述標(biāo)準(zhǔn)三維場(chǎng)景數(shù)據(jù)集輸入至三維場(chǎng)景特征關(guān)聯(lián)學(xué)習(xí)模型，得到同類場(chǎng)景特征關(guān)聯(lián)矩陣和異類場(chǎng)景特征關(guān)聯(lián)矩陣；

13、其中，所述場(chǎng)景特征關(guān)聯(lián)矩陣包括：

14、輸入層，用于接收所述標(biāo)準(zhǔn)三維場(chǎng)景數(shù)據(jù)集中的數(shù)據(jù)；

15、分類層，用于按照所述場(chǎng)景類型將所述輸入層接收的數(shù)據(jù)進(jìn)行分類，得到多個(gè)標(biāo)準(zhǔn)三維場(chǎng)景數(shù)據(jù)子集；

16、特征提取層，用于對(duì)所述標(biāo)準(zhǔn)三維場(chǎng)景數(shù)據(jù)子集中的數(shù)據(jù)進(jìn)行特征提??；

17、特征關(guān)聯(lián)學(xué)習(xí)層，用于對(duì)提取后特征進(jìn)行關(guān)聯(lián)學(xué)習(xí)，包括：同類三維場(chǎng)景特征關(guān)聯(lián)學(xué)習(xí)模塊和異類三維場(chǎng)景特征關(guān)聯(lián)學(xué)習(xí)模塊；

18、其中，所述同類三維場(chǎng)景特征關(guān)聯(lián)學(xué)習(xí)模塊包括：

19、獲取相同類型三維場(chǎng)景的特征數(shù)據(jù)，記為同類三維場(chǎng)景特征集；

20、根據(jù)所述同類三維場(chǎng)景特征集中特征屬性建立多層次圖結(jié)構(gòu)；

21、將所述特征數(shù)據(jù)嵌入至所述多層次圖結(jié)構(gòu)的節(jié)點(diǎn)中；

22、根據(jù)時(shí)序關(guān)系和空間幾何關(guān)系計(jì)算所述節(jié)點(diǎn)之間的節(jié)點(diǎn)連接度；其中，所述節(jié)點(diǎn)連接度的計(jì)算公式為：

23、r(i，j)＝λ1·dfeatures(i，j)+λ2·ts(i，j)+λ3·geo(，j)；

24、其中，r(i，j)為節(jié)點(diǎn)i與節(jié)點(diǎn)j的節(jié)點(diǎn)連接度；dfeatures()為節(jié)點(diǎn)之間的特征距離計(jì)算函數(shù)；ts()為節(jié)點(diǎn)之間的時(shí)序關(guān)系計(jì)算函數(shù)；geo()為節(jié)點(diǎn)之間的空間關(guān)系計(jì)算函數(shù)；λ1、λ2和λ3分別為特征距離、時(shí)序關(guān)系和空間關(guān)系的權(quán)重系數(shù)；

25、將所述節(jié)點(diǎn)連接度賦予所述多層次圖結(jié)構(gòu)的連接邊值，并將所述節(jié)點(diǎn)進(jìn)行連接；

26、將所述多層次圖結(jié)構(gòu)的連接關(guān)系和所述連接邊值輸入至圖卷積神經(jīng)網(wǎng)絡(luò)中，得到所述同類場(chǎng)景特征關(guān)聯(lián)矩陣；

27、其中，所述異類三維場(chǎng)景特征關(guān)聯(lián)學(xué)習(xí)模塊包括：

28、獲取不同類型三維場(chǎng)景的特征數(shù)據(jù)，記為異類三維場(chǎng)景特征集；

29、將所述異類三維場(chǎng)景特征集中的特征進(jìn)行降維至相同維度，得到異類三維場(chǎng)景降維特征集；

30、對(duì)所述異類三維場(chǎng)景降維特征集中的特征進(jìn)行聚類，得到多個(gè)三維場(chǎng)景特征子集；

31、根據(jù)空間關(guān)系對(duì)所述三維場(chǎng)景特征子集中的特征進(jìn)行局部增強(qiáng)，得到三維場(chǎng)景增強(qiáng)特征子集；

32、計(jì)算所述三維場(chǎng)景增強(qiáng)特征子集中特征的關(guān)聯(lián)度，得到多個(gè)異類三維場(chǎng)景特征關(guān)聯(lián)向量；

33、將多個(gè)所述異類三維場(chǎng)景特征關(guān)聯(lián)向量進(jìn)行整合，得到所述異類場(chǎng)景特征關(guān)聯(lián)矩陣。

34、輸出層，用于輸出所述特征關(guān)聯(lián)學(xué)習(xí)層得到的同類場(chǎng)景特征關(guān)聯(lián)矩陣和異類場(chǎng)景特征關(guān)聯(lián)矩陣；

35、進(jìn)一步地，獲取待渲染三維場(chǎng)景的描述信息；

36、進(jìn)一步地，將所述描述信息轉(zhuǎn)化為文本描述向量；

37、進(jìn)一步地，將所述文本描述向量、所述同類場(chǎng)景特征關(guān)聯(lián)矩陣和所述異類場(chǎng)景特征關(guān)聯(lián)矩陣輸入至三維圖形渲染加速模型，得到渲染圖形；其中，所述三維圖形渲染加速模型包括：

38、接收層，用于接收所述文本描述向量、所述同類場(chǎng)景特征關(guān)聯(lián)矩陣和所述異類場(chǎng)景特征關(guān)聯(lián)矩陣；

39、嵌入層，用于將所述文本描述向量轉(zhuǎn)化為低維度的描述特征向量；

40、場(chǎng)景匹配層，用于根據(jù)所述描述特征向量匹配渲染場(chǎng)景；

41、自注意力層，用于根據(jù)所述渲染場(chǎng)景對(duì)所述描述特征向量中的特征進(jìn)行關(guān)注；

42、渲染加速層，用于根據(jù)所述同類場(chǎng)景特征關(guān)聯(lián)矩陣和所述異類場(chǎng)景特征關(guān)聯(lián)矩陣對(duì)關(guān)注的描述特征進(jìn)行優(yōu)化；

43、多級(jí)渲染層，用于根據(jù)所述渲染加速層的輸出進(jìn)行分層渲染；

44、圖形輸出層，用于輸出所述渲染圖形。

45、除此之外，在所述三維圖形渲染加速模型對(duì)所述待渲染三維場(chǎng)景進(jìn)行渲染時(shí)，還包括通過(guò)自適應(yīng)調(diào)整機(jī)制進(jìn)行渲染參數(shù)調(diào)整；

46、其中，所述自適應(yīng)調(diào)整機(jī)制包括：

47、獲取所述待渲染三維場(chǎng)景的預(yù)期渲染目標(biāo)；

48、進(jìn)一步地，初始化渲染參數(shù)；

49、進(jìn)一步地，監(jiān)測(cè)多級(jí)渲染層在渲染時(shí)的系統(tǒng)性能，并計(jì)算實(shí)時(shí)負(fù)載指標(biāo)；

50、進(jìn)一步地，根據(jù)所述同類場(chǎng)景特征關(guān)聯(lián)矩陣和所述異類場(chǎng)景特征關(guān)聯(lián)矩陣，得到渲染調(diào)整策略；

51、進(jìn)一步地，根據(jù)所述渲染調(diào)整策略對(duì)初始化渲染參數(shù)進(jìn)行渲染參數(shù)調(diào)整；

52、進(jìn)一步地，計(jì)算渲染參數(shù)調(diào)整后所述渲染圖形與預(yù)期渲染目標(biāo)的渲染誤差；

53、進(jìn)一步地，根據(jù)所述實(shí)時(shí)負(fù)載指標(biāo)和所述渲染誤差進(jìn)行渲染反饋。

54、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

55、1、通過(guò)將標(biāo)準(zhǔn)三維場(chǎng)景數(shù)據(jù)集輸入到三維場(chǎng)景特征關(guān)聯(lián)學(xué)習(xí)模型，生成同類和異類場(chǎng)景特征關(guān)聯(lián)矩陣。系統(tǒng)首先將場(chǎng)景數(shù)據(jù)分類，并提取特征，通過(guò)同類和異類場(chǎng)景的特征關(guān)聯(lián)學(xué)習(xí)模塊分別進(jìn)行處理，同類模塊基于多層次圖結(jié)構(gòu)建立節(jié)點(diǎn)連接度并利用圖卷積神經(jīng)網(wǎng)絡(luò)生成同類關(guān)聯(lián)矩陣；異類模塊則通過(guò)降維、聚類和局部增強(qiáng)等方式，整合特征關(guān)聯(lián)向量生成異類關(guān)聯(lián)矩陣。最終，輸出層將這兩個(gè)關(guān)聯(lián)矩陣提供給后續(xù)的圖形渲染加速過(guò)程。通過(guò)同類和異類場(chǎng)景特征的深入關(guān)聯(lián)學(xué)習(xí)，渲染過(guò)程能夠更加精確地處理場(chǎng)景中的細(xì)節(jié)和變化，從而減少計(jì)算負(fù)擔(dān)，快速生成高質(zhì)量的三維圖形，提高了渲染效率和圖像質(zhì)量。

56、2、本發(fā)明提出一種三維圖形加速渲染模型，該模型首先通過(guò)獲取并轉(zhuǎn)化三維場(chǎng)景的文本描述信息為向量形式，結(jié)合同類和異類場(chǎng)景特征關(guān)聯(lián)矩陣，將這些信息輸入到一個(gè)三維圖形渲染加速模型中。模型經(jīng)過(guò)多個(gè)層次的處理，包括嵌入層、場(chǎng)景匹配層、自注意力層、渲染加速層、多級(jí)渲染層和渲染反饋層，最終輸出渲染圖形。該渲染加速模型的設(shè)計(jì)能夠通過(guò)優(yōu)化特征向量的關(guān)注機(jī)制和場(chǎng)景匹配，有效提升渲染過(guò)程的效率。具體而言，自注意力層增強(qiáng)了對(duì)重要特征的關(guān)注，渲染加速層借助特征關(guān)聯(lián)矩陣優(yōu)化渲染效果，分層渲染和反饋機(jī)制進(jìn)一步優(yōu)化了渲染質(zhì)量。多級(jí)渲染和渲染反饋層的自適應(yīng)調(diào)整確保了更高質(zhì)量的三維圖形輸出，同時(shí)加速了渲染過(guò)程，從而提升了渲染速率和質(zhì)量。

57、3、本發(fā)明提出一種自適應(yīng)調(diào)整機(jī)制用于在三維場(chǎng)景在渲染時(shí)的調(diào)整，通過(guò)獲取待渲染三維場(chǎng)景的預(yù)期渲染目標(biāo)并初始化渲染參數(shù)。接著，監(jiān)測(cè)渲染過(guò)程中多級(jí)渲染層的系統(tǒng)性能并計(jì)算實(shí)時(shí)負(fù)載指標(biāo)。在此基礎(chǔ)上，通過(guò)同類和異類場(chǎng)景特征關(guān)聯(lián)矩陣，生成渲染調(diào)整策略，并對(duì)初始化渲染參數(shù)進(jìn)行優(yōu)化。渲染參數(shù)調(diào)整后，計(jì)算渲染誤差，并根據(jù)實(shí)時(shí)負(fù)載和誤差反饋進(jìn)行進(jìn)一步調(diào)整，從而優(yōu)化渲染效果。這種自適應(yīng)調(diào)整機(jī)制帶來(lái)了三維圖形渲染速率和質(zhì)量的好處。通過(guò)動(dòng)態(tài)調(diào)整渲染參數(shù)，能夠在不犧牲渲染質(zhì)量的前提下優(yōu)化系統(tǒng)性能，提高渲染速度。