本申請(qǐng)涉及數(shù)據(jù)處理，尤其涉及一種基于可微分渲染的傾斜攝影l(fā)od模型優(yōu)化方法。

背景技術(shù)：

1、傾斜攝影建模通過(guò)無(wú)人機(jī)搭載的傳感器，分別從垂直和四個(gè)傾斜角度，采集影像與記錄空中的測(cè)量信息，并結(jié)合圖像分割、特征提取等方法進(jìn)行自動(dòng)建模。在相關(guān)技術(shù)中，傾斜攝影建模通過(guò)細(xì)節(jié)層次（lod，level?of?detail）技術(shù)，基于觀察者不同的視角和觀察距離，動(dòng)態(tài)調(diào)整模型的渲染精細(xì)度，以減少渲染的三角面數(shù)，提高渲染效率。

2、然而，由于傾斜攝影建模過(guò)程中，模型噪聲較大，在相同精度下，傾斜攝影模型所需的三角面、頂點(diǎn)數(shù)量、材質(zhì)分辨率遠(yuǎn)大于表達(dá)相同建筑的手工模型。而傾斜攝影細(xì)節(jié)層次的模型在三角面數(shù)仍大于手工模型時(shí)，渲染結(jié)果卻相較手工模型更加模糊。這導(dǎo)致傾斜攝影l(fā)od模型的渲染精度不足。

3、上述內(nèi)容僅用于輔助理解本申請(qǐng)的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的主要目的在于提供一種基于可微分渲染的傾斜攝影l(fā)od模型優(yōu)化方法，旨在解決傾斜攝影l(fā)od模型的渲染精度不足的技術(shù)問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┮环N基于可微分渲染的傾斜攝影l(fā)od模型優(yōu)化方法，所述的方法包括以下步驟：

3、在傾斜攝影的細(xì)節(jié)層次lod模型中，獲取待優(yōu)化模型和參考模型；

4、將所述待優(yōu)化模型加載至目標(biāo)場(chǎng)景中，以及將所述參考模型加載至參考場(chǎng)景中；

5、基于所述傾斜攝影的攝影參數(shù)，通過(guò)虛擬相機(jī)對(duì)所述目標(biāo)場(chǎng)景和所述參考場(chǎng)景進(jìn)行渲染，得到目標(biāo)圖像和參考圖像；

6、計(jì)算所述目標(biāo)圖像和所述參考圖像之間的空間誤差，并通過(guò)逆渲染計(jì)算所述空間誤差對(duì)應(yīng)的模型優(yōu)化梯度；

7、基于所述模型優(yōu)化梯度，對(duì)所述待優(yōu)化模型進(jìn)行優(yōu)化，得到優(yōu)化模型。

8、在一實(shí)施例中，所述基于所述模型優(yōu)化梯度，對(duì)所述待優(yōu)化模型進(jìn)行優(yōu)化的步驟之后，還包括：

9、計(jì)算所述優(yōu)化模型與參考模型之間的目標(biāo)空間誤差；

10、在所述目標(biāo)空間誤差等于或者大于空間誤差閾值時(shí)，將所述優(yōu)化模型作為所述待優(yōu)化模型；

11、跳轉(zhuǎn)執(zhí)行所述將所述待優(yōu)化模型加載至目標(biāo)場(chǎng)景中，以及將所述參考模型加載至參考場(chǎng)景中的步驟；

12、或者，在所述目標(biāo)空間誤差小于所述空間誤差閾值時(shí)，將所述優(yōu)化模型更新至所述傾斜攝影的所述lod模型中。

13、在一實(shí)施例中，所述計(jì)算所述目標(biāo)圖像和所述參考圖像之間的空間誤差，并通過(guò)逆渲染計(jì)算所述空間誤差對(duì)應(yīng)的模型優(yōu)化梯度的步驟包括：

14、識(shí)別所述目標(biāo)圖像的目標(biāo)像素點(diǎn)，映射于所述參考圖像中的參考像素點(diǎn)；

15、根據(jù)所述目標(biāo)像素點(diǎn)位置和所述參考像素點(diǎn)位置，計(jì)算所述目標(biāo)圖像和所述參考圖像的空間誤差；

16、基于可微分渲染的所述逆渲染，計(jì)算所述空間誤差相對(duì)于所述待優(yōu)化模型的目標(biāo)模型參數(shù)的所述模型優(yōu)化梯度；

17、通過(guò)梯度下降算法，根據(jù)所述模型優(yōu)化梯度，迭代優(yōu)化所述目標(biāo)模型參數(shù)。

18、在一實(shí)施例中，所述在傾斜攝影的細(xì)節(jié)層次lod模型中，獲取待優(yōu)化模型和參考模型的步驟包括：

19、在所述傾斜攝影的所述lod模型中，確定最高精度層級(jí)下一層級(jí)的目標(biāo)層級(jí)；

20、將所述目標(biāo)層級(jí)為起點(diǎn)，以逐級(jí)降低模型精度的方式，遍歷所述lod模型，并將遍歷過(guò)程中的當(dāng)前訪問(wèn)層級(jí)作為待優(yōu)化層級(jí)；

21、根據(jù)參考層級(jí)間隔，確定所述待優(yōu)化層級(jí)的參考層級(jí)；

22、獲取所述參考層級(jí)的所述參考模型，以及所述待優(yōu)化層級(jí)的所述待優(yōu)化模型。

23、在一實(shí)施例中，所述將所述目標(biāo)層級(jí)為起點(diǎn)，以逐級(jí)降低模型精度的方式，遍歷所述lod模型，并將遍歷過(guò)程中的當(dāng)前訪問(wèn)層級(jí)作為待優(yōu)化層級(jí)的步驟之后，還包括：

24、在完成所述lod模型的遍歷之后，執(zhí)行所述參考層級(jí)間隔的自增動(dòng)作；

25、在所述參考層級(jí)間隔小于層級(jí)間隔閾值時(shí)，跳轉(zhuǎn)執(zhí)行所述將所述目標(biāo)層級(jí)為起點(diǎn)，以逐級(jí)降低模型精度的方式，遍歷所述lod模型，并將遍歷過(guò)程中的當(dāng)前訪問(wèn)層級(jí)作為待優(yōu)化層級(jí)的步驟及后續(xù)步驟；

26、或者，在所述參考層級(jí)間隔等于或者大于所述層級(jí)間隔閾值時(shí)，對(duì)所述lod模型進(jìn)行層級(jí)重組，得到所述傾斜攝影的模型優(yōu)化結(jié)果。

27、在一實(shí)施例中，所述獲取所述參考層級(jí)的所述參考模型，以及所述待優(yōu)化層級(jí)的所述待優(yōu)化模型的步驟包括：

28、根據(jù)待優(yōu)化節(jié)點(diǎn)的預(yù)設(shè)選取規(guī)則，于所述待優(yōu)化模型的未優(yōu)化節(jié)點(diǎn)中，選取對(duì)應(yīng)的所述待優(yōu)化節(jié)點(diǎn)；

29、基于所述lod模型的樹(shù)狀數(shù)據(jù)結(jié)構(gòu)，在所述參考層級(jí)中，確定所述待優(yōu)化節(jié)點(diǎn)的子節(jié)點(diǎn)對(duì)應(yīng)的參考節(jié)點(diǎn)；

30、獲取所述待優(yōu)化節(jié)點(diǎn)的所述待優(yōu)化模型，以及所述參考節(jié)點(diǎn)的所述參考模型。

31、在一實(shí)施例中，所述基于傾斜攝影的攝影參數(shù)，通過(guò)虛擬相機(jī)對(duì)所述目標(biāo)場(chǎng)景和所述參考場(chǎng)景進(jìn)行渲染，得到目標(biāo)圖像和參考圖像的步驟包括：

32、獲取所述傾斜攝影的拍攝角度；

33、基于所述拍攝角度，構(gòu)建所述目標(biāo)場(chǎng)景中的目標(biāo)虛擬相機(jī)陣列，以及所述參考場(chǎng)景中的參考虛擬相機(jī)陣列；

34、通過(guò)所述目標(biāo)虛擬相機(jī)陣列，渲染所述目標(biāo)模型的正面圖像和側(cè)面圖像，并將所述正面圖像和所述側(cè)面圖像作為所述目標(biāo)圖像；

35、以及，通過(guò)所述參考虛擬相機(jī)陣列，渲染所述參考模型的正面參考圖像和側(cè)面參考圖像，并將所述正面參考圖像和所述側(cè)面參考圖像作為所述參考圖像。

36、在一實(shí)施例中，所述在傾斜攝影的細(xì)節(jié)層次lod模型中，獲取待優(yōu)化模型和參考模型的步驟之前，還包括：

37、獲取所述傾斜攝影過(guò)程中采集的圖像數(shù)據(jù)，并識(shí)別所述圖像數(shù)據(jù)中的特征點(diǎn)，確定所述圖像數(shù)據(jù)的特征點(diǎn)位置；

38、基于所述特征點(diǎn)位置，通過(guò)三角測(cè)量計(jì)算所述圖像數(shù)據(jù)中，像素點(diǎn)對(duì)應(yīng)的空間位置，生成點(diǎn)云數(shù)據(jù)；

39、將所述點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為三角網(wǎng)格模型，并將所述圖像數(shù)據(jù)映射至所述三角網(wǎng)格模型中，生成傾斜攝影模型；

40、通過(guò)減面算法，基于不同的視距，構(gòu)建所述傾斜攝影模型對(duì)應(yīng)層級(jí)的所述lod模型，并將所述lod模型與所述視距關(guān)聯(lián)。

41、本申請(qǐng)?zhí)岢龅囊粋€(gè)或多個(gè)技術(shù)方案，至少具有以下技術(shù)效果：

42、本申請(qǐng)通過(guò)在傾斜攝影的細(xì)節(jié)層次lod模型中，選取較低精度的待優(yōu)化模型，和較高精度的參考模型，分別加載至目標(biāo)場(chǎng)景和參考場(chǎng)景中，并通過(guò)逆渲染計(jì)算目標(biāo)場(chǎng)景渲染得到的目標(biāo)圖像，與參考場(chǎng)景渲染的參考圖像之間的空間誤差，并計(jì)算模型優(yōu)化梯度，從而基于該空間誤差對(duì)待優(yōu)化模型進(jìn)行優(yōu)化和迭代，減小lod模型低層級(jí)模型與高層級(jí)模型的空間誤差，提高低層級(jí)模型中三角網(wǎng)格與建模材質(zhì)的利用率，使得低層級(jí)模型的模型精度得到提升。

技術(shù)特征：

1.一種基于可微分渲染的傾斜攝影l(fā)od模型優(yōu)化方法，其特征在于，所述的方法包括以下步驟：

2.如權(quán)利要求1所述的方法，其特征在于，所述基于所述模型優(yōu)化梯度，對(duì)所述待優(yōu)化模型進(jìn)行優(yōu)化的步驟之后，還包括：

3.如權(quán)利要求1所述的方法，其特征在于，所述計(jì)算所述目標(biāo)圖像和所述參考圖像之間的空間誤差，并通過(guò)逆渲染計(jì)算所述空間誤差對(duì)應(yīng)的模型優(yōu)化梯度的步驟包括：

4.如權(quán)利要求1所述的方法，其特征在于，所述在傾斜攝影l(fā)od模型中，獲取待優(yōu)化模型和參考模型的步驟包括：

5.如權(quán)利要求4所述的方法，其特征在于，所述將所述目標(biāo)層級(jí)為起點(diǎn)，以逐級(jí)降低模型精度的方式，遍歷所述lod模型，并將遍歷過(guò)程中的當(dāng)前訪問(wèn)層級(jí)作為待優(yōu)化層級(jí)的步驟之后，還包括：

6.如權(quán)利要求4所述的方法，其特征在于，所述獲取所述參考層級(jí)的所述參考模型，以及所述待優(yōu)化層級(jí)的所述待優(yōu)化模型的步驟包括：

7.如權(quán)利要求1所述的方法，其特征在于，所述基于傾斜攝影的攝影參數(shù)，通過(guò)虛擬相機(jī)對(duì)所述目標(biāo)場(chǎng)景和所述參考場(chǎng)景進(jìn)行渲染，得到目標(biāo)圖像和參考圖像的步驟包括：

8.如權(quán)利要求1所述的方法，其特征在于，所述在傾斜攝影l(fā)od模型中，獲取待優(yōu)化模型和參考模型的步驟之前，還包括：

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種基于可微分渲染的傾斜攝影LoD模型優(yōu)化方法，屬于數(shù)據(jù)處理技術(shù)領(lǐng)域。該方法包括：在傾斜攝影LoD模型中的待優(yōu)化模型加載至目標(biāo)場(chǎng)景中，并將參考模型加載至參考場(chǎng)景中，基于傾斜攝影的攝影參數(shù)，通過(guò)虛擬相機(jī)對(duì)目標(biāo)場(chǎng)景和參考場(chǎng)景進(jìn)行渲染，得到目標(biāo)圖像和參考圖像，計(jì)算目標(biāo)圖像和參考圖像之間的空間誤差，通過(guò)逆渲染計(jì)算空間誤差對(duì)應(yīng)的模型優(yōu)化梯度，基于模型優(yōu)化梯度對(duì)待優(yōu)化模型進(jìn)行優(yōu)化，得到優(yōu)化模型。本申請(qǐng)通過(guò)在傾斜攝影建模后LoD模型中，基于高層級(jí)的高精度模型為參考，對(duì)低層級(jí)的較低精度模型進(jìn)行優(yōu)化迭代，減少低層級(jí)模型與高層級(jí)模型的空間誤差，從而提高低層級(jí)模型的模型精度。

技術(shù)研發(fā)人員：張曉春,王剛,賴中政,張和平,鄭鶴翔,張斌
受保護(hù)的技術(shù)使用者：深圳市智慧城市科技發(fā)展集團(tuán)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15