本發(fā)明涉及圖像處理，特別涉及一種基于無人機航拍的無界場景三維重建方法。

背景技術：

1、隨著科技的飛速發(fā)展，三維重建技術已經成為多個領域的核心技術之一。尤其是在城市規(guī)劃、地形測繪、災害評估、環(huán)境監(jiān)測等應用場景中，場景的三維重建技術具有極其重要的價值。通過對場景進行精準的三維建模，能夠為決策者提供更加準確的地理空間信息，提升各類工作效率，減少人工干預，節(jié)省時間成本。

2、然而，傳統(tǒng)的無人機三維建模方法通常依賴于圖像匹配和點云數據處理，建模精度較差，特別是在場景細節(jié)復雜或存在遮擋的情況下，無法保證三維模型的高精度，還需要大量的人工干預來進行數據優(yōu)化和修正。同時，傳統(tǒng)三維重建方法需要大量的計算時間，尤其是在大規(guī)模場景中，重建過程往往需要耗費長時間的計算，這對于實際應用而言是不現實的。

3、為了克服上述問題，基于圖像的三維重建方法逐漸成為無人機建模領域的研究熱點。通過無人機高效便捷的圖像采集，結合深度學習和計算機視覺技術，可以實現更加精確的三維重建。深度學習方法能夠通過大規(guī)模數據集的訓練，自動提取圖像中的特征信息，優(yōu)化模型的精度，減少人工干預，提高了建模的自動化程度。與此同時，基于圖像的三維重建方法在處理某些場景時，能夠大幅降低對傳統(tǒng)建模方法中點云數據的依賴，從而減少計算時間和內存消耗，提升了建模效率。然而，隨著場景的規(guī)模不斷增大，三維重建的計算代價和內存空間需求也隨之增高。

4、因此，大規(guī)模場景下如何避免三維建模資源消耗高、幾何精度不足，仍然是一個亟待解決的技術難題。

技術實現思路

1、本發(fā)明的主要目的是提供一種基于無人機航拍的無界場景三維重建方法，旨在解決在大規(guī)模場景下避免三維建模資源消耗高、幾何精度不足的問題。

2、為了實現上述目的，本發(fā)明提出一種基于無人機航拍的無界場景三維重建方法，包括以下步驟：

3、獲取目標區(qū)域多視角圖像集，構建空間拓撲關聯網絡；

4、基于hessian矩陣與sift算子提取影像特征，通過歐氏距離匹配生成場景分區(qū)；

5、對每個分區(qū)執(zhí)行3d高斯濺射優(yōu)化，同步生成可復用的3d基礎資產，所述基礎資產包含結構組件及紋理特征；

6、基于程序化代碼定義的空間變換規(guī)則，對基礎資產進行動態(tài)組合，生成層級化三維模型；

7、通過擴散模型與可微分渲染器聯合優(yōu)化，在潛在空間執(zhí)行幾何一致性驗證；

8、將優(yōu)化后的層級模型按空間布局參數組裝為無界三維場景。

9、在本技術的一實施例中，所述3d高斯濺射優(yōu)化包括：

10、為每個分區(qū)初始化程序化代碼，定義基礎資產的布局約束條件，所述布局約束條件包括空間邊界、旋轉參數及縮放比例；

11、在3d高斯濺射優(yōu)化時，通過邊界框自適應約束限制高斯分布范圍，具體包括：

12、（a）若高斯中心超出軟性邊界框，將其位置強制對齊至邊界；

13、（b）若高斯中心超出邊界，則按邊界擴展閾值更新其位置；

14、公式化表達如下：

15、

16、同步更新重復基礎資產的高斯參數，通過梯度反向傳播實現參數共享；其中，表示調整后的高斯中心位置，表示分區(qū)i的原始x軸下界；表示分區(qū)i的原始x軸上界；表示邊界擴展對齊閾值；軟性邊界松弛量；表示高斯中心原始位置；表示第k個高斯分布在x軸上的中心坐標。

17、在本技術的一實施例中，所述程序化代碼生成包括：

18、從多視角圖像中分割重復結構組件，通過3d高斯濺射優(yōu)化重建其幾何與紋理特征；

19、將組件的變換規(guī)則編碼為程序化指令集，包括層數擴展、軸向排列、尺寸自適應調整；

20、基于空間布局參數自動生成資產分布規(guī)則；

21、在無界場景擴展時，通過分塊加載與實時拼接實現場景連續(xù)性。

22、在本技術的一實施例中，通過擴散模型與可微分渲染器聯合優(yōu)化，包括：

23、在擴散模型的潛在空間中，對基礎資產紋理進行多尺度去噪增強；

24、通過可微分渲染器將優(yōu)化資產投影至多視角，計算幾何一致性損失：

25、

26、其中，表示幾何一致性損失；為分區(qū)數量，為分區(qū)重建深度真值，為渲染深度圖；支持用戶實時修改程序化代碼參數，動態(tài)觸發(fā)局部高斯參數重優(yōu)化。

27、在本技術的一實施例中，在潛在空間執(zhí)行幾何一致性驗證，包括以下步驟：

28、將分區(qū)三維重建后的結果作為輸入，渲染擴散模型在低分辨率潛在空間執(zhí)行擴散過程，給定一個由球面線性插值方法得到的相機姿態(tài)，可微分渲染器根據相機姿態(tài)生成初始圖像作為擴散過程的條件，所述低分辨率潛在空間為低分辨率的部分區(qū)域或子區(qū)域，所述可微分渲染器為一種輸出可以對輸入參數進行微分的渲染器；

29、使用變分自編碼器在低分辨率潛在空間對初始圖像進行編碼，并在潛在空間進行特征反向采樣提取，所述編碼為給初始圖像迭代添加高斯噪聲的過程，所述特征反向采樣提取為通過去噪操作，在混亂無序的圖像中提取到和原來有序圖像相似的特征，生成去噪圖像；

30、使用變分自編碼器中的解碼器在像素空間對去噪圖像進行解碼，將解碼后的去噪圖像轉化為像素空間圖像，所述像素空間為圖像的原始表示空間其中每個像素都有其特定的顏色值和灰度值；

31、使用像素損失保持生成像素空間圖像與輸入分區(qū)三維重建結果的三維一致性，輸出三維網絡重建優(yōu)化結果。

32、在本技術的一實施例中，所述將優(yōu)化后的層級模型按空間布局參數組裝，包括：

33、將相鄰分區(qū)的邊界點云輸入圖卷積網絡，計算重疊區(qū)域的特征相似度；

34、當重疊度超過閾值時，通過程序化規(guī)則自動合并分區(qū)，包括：

35、（a）對齊分區(qū)坐標系，消除拼接縫隙；

36、（b）對合并區(qū)域的高斯參數進行平滑插值；

37、生成無縫連接的全局點云地圖，支持動態(tài)加載與內存壓縮。

38、在本技術的一實施例中，計算重疊區(qū)域的特征相似度采用圖注意力機制：

39、；

40、其中，，e為重疊區(qū)域邊集，為點和的特征向量，表示待計算相似度的兩個點云；表示邊集中的一對相鄰點（節(jié)點）；表示特征向量的余弦相似度；注意力權重；和表示可學習的查詢和鍵變換矩陣；特征向量的維度；

41、合并后的高斯插值公式為：

42、

43、其中和待合并高斯參數，權重w是基于距離重疊中心的衰減計算；合并后的高斯參數；和表示權重系數；表示高斯分布的中心坐標；表示重疊區(qū)域的中心坐標。

44、在本技術的一實施例中，sift算子提取影像特征，具體包括以下步驟：

45、采用sift算子對輸入圖像進行多尺度高斯差分濾波，檢測圖像中的極值點作為關鍵點；在尺度空間與局部鄰域內對關鍵點進行定位，并依據梯度方向為其分配主方向；通過圖卷積神經網絡對關鍵點鄰域進行采樣，聚合關鍵點鄰域局部特征，完成特征提取；

46、對于每個目標圖像中的像素點，通過計算兩個分區(qū)內相鄰圖像中影像特征的像素坐標進行相減計算，得到視差值，從而構建兩個圖像之間對應的視差圖；

47、通過相機參數和視差圖中的視差值，計算出目標圖像中每個像素點對應的深度值，從而構建目標圖像的深度圖，其中，像素點的像素值對應像素點的深度值；

48、通過深度圖中的深度值，將每個像素點轉換為真實世界中的三維坐標，得到一個點云；

49、循環(huán)上述步驟，獲取每個分區(qū)內包含紋理特征信息的點云數據。

50、在本技術的一實施例中，采用sift算子進行計算的計算公式為：

51、

52、

53、其中，表示梯度向量的精度，表示梯度向量的方向，表示每個采樣點的坐標，，表示坐標點的橫坐標和縱坐標。

54、在本技術的一實施例中，對所述圖像集中的各個圖像進行hessian矩陣計算的計算公式如下：

55、；

56、其中=,表示hessian矩陣，表示各個采樣點，表示、表示、表示、均表示二階導數的數值，，表示坐標點的橫坐標和縱坐標。

57、采用上述技術方案，通過無人機航拍獲取多視角圖像，并結合先進的圖像處理和三維重建技術，能夠精確還原無界場景的三維結構。通過高效的圖像特征匹配和分區(qū)生成，能夠減少計算量，提高建模效率。同步生成的可復用的3d基礎資產進一步提高了模型的靈活性和擴展性，使得最終生成的三維場景可以在不同的應用場景中進行靈活調整。解決在大規(guī)模場景下避免三維建模資源消耗高、幾何精度不足的問題。