(一)技術領域
本發(fā)明涉及一種基于無人機圖像的三維空間建筑物窗戶檢測重建方法，屬于計算機視覺和數字圖像處理領域。在目標識別、三維重建等領域中有廣闊的應用前景。
(二)
背景技術：
對于建筑物進行基于幾何結構語義的精細重建是智慧城市監(jiān)控的關鍵技術之一。相關的技術應用包括高真實感城市場景仿真、漫游導航以及自動熱輻射檢測(如熱點檢測、能量泄漏定位，熱圖像生成)。這些應用都需要獲得建筑物墻面的詳細結構信息，其中最關鍵的要素就是墻面上窗戶的位置和尺寸。但是，不同種類的窗戶在內部特征上具有多種變化，例如大小尺寸、幾何結構、視角變形、玻璃反射、光照陰影等，相對于其他具有顯著特征的物體類別(車輛、人等)，窗戶的準確檢測識別更加難以實現。
近年來，國內外對于建筑墻面的分割和語義分析開展了大量研究，進一步拓展了城市場景建模的相關應用。teboul在2010年使用局部分類器對校正后的墻面圖片進行多層次的分割。riemenschneider在2012年提出了一種通用的形狀規(guī)則，使用不規(guī)則的長方形網格對墻面進行結構語義解析。同年，martinovic提出了一種三層架構的建筑墻面的檢測方法，首先通過遞歸神經網絡對墻面進行過分割，再結合馬爾科夫隨機場和簡單的建筑結構先驗條件進行全局優(yōu)化標記，最后獲得建筑物圖片的解析標記結果。cohen在2014年提出了一種順序優(yōu)化方法，使用動態(tài)編程對于校正后的圖片進行墻面語義結構解析。優(yōu)化的過程引入了多種標記并利用標記間的關聯(lián)規(guī)則，通過最大化標記的全局可能性獲得最后的標記結果。
目前窗戶檢測的方法大多針對單張圖片，通過優(yōu)化檢測的算子來克服內部特征的可變性。recky、chun等人在豎直和水平方向提取分割線來確定窗戶的候選位置，ali等人使用haar-like的特征來描述和檢測窗戶候選位置。但是僅僅依靠對特征的精細訓練不能較好的解決連續(xù)空間中窗戶特征變化問題(如部分遮擋的窗戶，視角變化造成的變形)。相對于基于傳統(tǒng)特征的二維圖像窗戶檢測方法，本發(fā)明利用無人機獲取目標建筑的多視圖圖像，結合三維重建的空間信息分析和對墻面紋理的深度學習識別算法，在三維空間中實現對窗戶的準確定位并生成對應的三維模型，有效的提高了識別精度和空間視覺效果。
(三)
技術實現要素：
(1)本發(fā)明的目的
在城市三維場景的生成過程中，窗戶的檢測和重建對于提升建筑的細節(jié)層次和可視化效果有著重要作用。通過窗戶的檢測結果可以判別建筑的類型以及估計建筑的層數和高度，進行幾何結構分析和材質處理，為進一步的仿真計算和場景應用提供有效支撐。常用的窗戶檢測方法主要基于校正后的二維圖像，通過提取特征進行判別標記。這種方法對連續(xù)空間中窗戶的遮擋、光照和映射變形帶來的變化以及不同種類窗戶結構特征的變化缺乏魯棒性，不適應于大規(guī)模城市場景中建筑表面窗戶的檢測和重建。本發(fā)明利用無人機圍繞目標建筑拍攝獲得多視圖圖像，重建得到建筑的三維模型，通過網格分割獲取各個墻面的三維網格；利用多種類窗戶圖像的數據集深度學習訓練，對映射生成的墻面紋理圖像進行窗戶檢測，結合三維空間中的墻面深度信息的統(tǒng)計分割，建立馬爾科夫隨機場模型，對窗戶候選區(qū)域進行全局優(yōu)化求解；在三維空間中識別窗戶位置和尺寸，生成對應的三維模型。該方法在三維空間中實現了建筑物窗戶的準確檢測和重建，有效提高了建筑三維模型的細節(jié)層次和可視化效果。
(2)技術方案
本發(fā)明的一種基于無人機圖像的三維空間建筑物窗戶檢測重建方法，其具體方法步驟如下：
步驟一：場景圖像預處理；首先，基于無人機拍攝的目標建筑圖像序列，使用cmp-mvs、pix4dmapper等三維重建工具獲得場景三維模型；分割提取場景中建筑物墻面的三維網格，計算獲得最小二乘法擬合的三維支撐平面；計算三維網格與支撐平面的歐式距離，歸一化生成墻面的深度圖；根據標定的相機參數，通過三維空間紋理映射生成墻面的的紋理圖像；墻面的深度圖和紋理圖的長寬尺寸保持一致；
其中，在步驟一中所述的“分割提取場景中建筑物墻面的三維網格，計算獲得最小二乘法擬合的三維支撐平面”，其作法如下：在三維空間中平面方程的一般表達式為
ax+by+cz+d＝0，(c≠0)
將三維網格中各個面片的頂點三維坐標(x,y,z)作為輸入數據，通過最小二乘法，進行平面方程中參數(a,b,c,d)的擬合，從而得到墻面三維網格對應的空間支撐平面；
其中，在步驟一中所述的“計算三維網格與支撐平面的歐式距離，歸一化生成墻面的深度圖”，其作法如下：求取網格表面各點和在墻面的三維平面上沿法向量投影的距離，選取所有距離值中最小值和最大值對應圖像灰度0到255，量化生成墻面的深度圖。
步驟二：對紋理圖像進行canny邊緣檢測，在豎直和水平方向上進行邊緣像素點統(tǒng)計，在邊緣像素點數量的局部極大值位置分別提取豎直和水平的分割線，將墻面劃分為若干規(guī)則塊狀的網格區(qū)域；對于每個網格區(qū)域，根據其在紋理圖和深度圖中的相關信息，分別計算該網格的圖像置信測度udetect和深度置信測度udepth；
其中，在步驟二中所述的“圖像置信測度udetect”，其主要計算流程如下：利用窗戶圖像的數據集進行深度學習訓練，對墻面的紋理圖進行窗戶檢測，記錄識別出的窗戶位置區(qū)域和可能性測度；對于墻面的各個網格和與其相交的檢測窗戶區(qū)域，計算兩者的面積重疊比例以及平均深度值的比例，選擇較大值同檢測的可能性測度加權，獲得該網格的udetect；
其中，在步驟二中所述的“深度置信測度udepth”，其主要計算流程如下：對于墻面的每個網格，根據該網格中深度最大值和閾值比例，提取深度大于閾值的像素作為有效區(qū)域，計算該有效區(qū)域的面積和其包圍盒面積的比值作為有效面積比值；對每個網格，計算其區(qū)域中的深度最大值與8鄰域網格區(qū)域中的深度最大值的比值，作為網格的相對深度值；將相對深度值與有效面積比值的乘積作為udepth；
其中，在步驟二中所述的“canny邊緣檢測”，其作法如下：將圖像與高斯平滑濾波器進行卷積去噪；然后計算圖像水平和垂直方向梯度，根據梯度計算圖像邊緣幅值與角度大?。粚⑦吘壗嵌戎惦x散為四個扇區(qū)，比較中心像素點梯度角度上相鄰兩個像素，如果中心像素小于其中任意一個，則舍棄邊緣像素點，否則保留；對邊緣像素進行雙閾值邊緣連接，從而獲得圖像的canny邊緣檢測結果。
步驟三：對墻面的網格分布建立馬爾科夫隨機場和對應的能量函數，對能量函數進行全局優(yōu)化求取最小值，標記墻面網格中的窗戶區(qū)域；能量函數包含數據項ud和關聯(lián)平滑項us；
其中，在步驟三中所述的“數據項ud”，其計算方法如下：對于標記為窗戶的，ud選取網格udetect和udepth中的較大值；對于標記為墻面的，ud為1減去網格對應的窗戶標記數據項數值。
其中，在步驟三中所述的“關聯(lián)平滑項us”，其計算方法如下：對于每個網格，在水平和垂直方向的限定距離內搜索相似網格作為關聯(lián)網格；相似度的判定方法主要包括網格尺寸比值、平均顏色差值和哈希感知距離；對于小于相似度閾值的兩個網格建立關聯(lián)，并由尺寸差值比例和平均顏色差值的歸一化數值計算得到平滑項數值；
其中，在步驟三中所述的“對墻面的網格分布建立馬爾科夫隨機場和對應的能量函數，對能量函數進行全局優(yōu)化求取最小值，標記墻面網格中的窗戶區(qū)域”，其作法如下：
對墻面所有網格，標記l包括窗戶或者非窗戶，建立的馬爾科夫隨機場對應的能量函數為
u(l)＝∑i∈sud(li)+γ∑{i,j}∈eus(li,lj)
首先，對墻面每個網格計算ud；然后在其水平和垂直方向上的限定距離內搜索滿足相似度要求的網格建立關聯(lián)，計算us；對于墻面整體網格建立的能量函數，進行全局最優(yōu)化求解，獲得最小能量值對應的墻面各個網格標記，最后將相鄰且都標記為窗戶的網格進行合并。
步驟四：將檢測得到的墻面窗戶區(qū)域的二維坐標和墻面的三維平面進行三維空間映射；對每個窗戶，在三維空間中建立立方體模型，立方體的長度、高度和寬度分別對應檢測結果中窗戶包圍盒的寬度、高度以及該窗戶區(qū)域內深度圖中的最大深度值；最后生成的所有窗戶的三維空間模型和墻面的三維平面一起構成了建筑物墻面整體結構的三維模型；
通過以上步驟，本檢測方法結合建筑的三維空間信息和圖像信息，能夠克服窗戶在二維圖像中的遮擋、變形和其他結構差異變化帶來的影響，在三維空間中實現窗戶結構的準確定位和重建，對于其他圖像處理領域如目標跟蹤、三維重建、場景仿真等都有實際應用價值。
(3)與現有技術相比，本發(fā)明的優(yōu)點：
首先，本發(fā)明利用無人機多視圖圖像重建的三維模型獲得建筑的三維空間信息，對墻面三維網格的分割和支撐平面計算，獲取了墻面的深度信息。通過對候選區(qū)域深度統(tǒng)計分布的計算，建立深度置信測度，為窗戶的檢測提供了空間信息的支撐。
其次，本發(fā)明利用深度神經網絡對于多種類的窗戶圖像進行學習訓練，提高復雜環(huán)境中不同類型的窗戶初始識別精度，在其基礎上建立更為可靠的圖像置信測度。同時，結合平均顏色值和哈希感知距離能夠有效計算網格區(qū)域之間的相似度。
最后，本發(fā)明結合了建筑的空間三維的幾何結構特征和二維的圖像信息特征進行窗戶的檢測和重建，相對于傳統(tǒng)二維圖像窗戶檢測算法，體現了對于復雜環(huán)境中窗戶遮擋、光照、變形等特征變化的魯棒性，重建獲得的窗戶三維模型在位置尺寸精度和可視化效果上得到了有效提升。
(四)附圖說明
圖1為本發(fā)明所述的一種基于無人機圖像的三維空間建筑物窗戶檢測重建方法流程圖。
(五)具體實施方式
為了更好地理解本發(fā)明的技術方案，以下結合附圖對本發(fā)明的實施方式作進一步描述。
本發(fā)明的流程框圖如圖1所示，本發(fā)明一種基于無人機圖像的三維空間建筑物窗戶檢測重建方法，其具體實施步驟如下：
步驟一：場景圖像預處理
首先，基于無人機拍攝的目標建筑多視圖圖像，使用cmp-mvs、pix4dmapper等三維重建工具獲得場景三維模型。根據網格的法向和曲率，分割提取場景中建筑物墻面的三維網格，計算獲得最小二乘法擬合的三維支撐平面p。計算三維網格f表面點和在p沿法向量投影點的歐式距離d⊥(f,p)，所有距離值中最小值和最大值對應圖像灰度0到255，歸一量化生成墻面的深度圖。根據標定的相機參數，通過三維空間紋理映射生成墻面的的紋理圖像，墻面的深度圖和紋理圖的長寬尺寸保持一致。
步驟二：對紋理圖像進行canny邊緣檢測，在豎直和水平方向上進行邊緣像素點統(tǒng)計，在邊緣像素點數量的局部極大值位置提取豎直和水平的分割線，將墻面劃分為若干規(guī)則塊狀網格區(qū)域，在紋理圖和深度圖中分別計算各區(qū)域的udetect和udepth。
首先，利用窗戶圖像的數據集利用fasterr-cnn深度神經網絡進行學習訓練，對墻面的紋理圖進行窗戶檢測，記錄識別出的窗戶位置區(qū)域cd和可能性測度sj。對于墻面的各個網格和與其相交的檢測窗戶區(qū)域，計算兩者面積重疊比例τij∈[0,1]以及平均深度值的比例ηij∈[0,1]，選擇其中較大值乘以檢測到的sj中的最大值，獲得該網格的udetect：
其中，
然后，對于墻面的每個網格，根據網格i中深度最大值di和閾值比例ti，提取深度大于閾值dt＝tidi的像素作為有效區(qū)域，計算該有效區(qū)域的面積ad和其包圍盒
步驟三：對墻面的網格分布建立馬爾科夫隨機場和對應的能量函數ul，對能量函數進行全局優(yōu)化求取最小值，將墻面網格標記為窗戶或者非窗戶區(qū)域。根據網格的udetect和udepth計算ud。對于每個網格，在水平和垂直方向上搜索滿足相似度要求的網格建立關聯(lián)，計算us。
u(l)＝∑i∈sud(li)+γ∑{i,j}∈eus(li,lj)(4)
ud的計算方法如下：對于標記為窗戶的，ud選取網格udetect和udepth中的較大值；對于標記為墻面的，ud為1減去網格udetect和udepth中的較大值。
us的計算方法如下：對于網格i，在水平和垂直方向的限定距離內搜索相似網格作為關聯(lián)網格。搜索距離水平設置為10倍網格寬度，垂直設定為10倍網格高度。對于搜索的網格j，網格對(i,j)相似度的判定方法主要包括網格尺寸比值gij、平均顏色差值cij、和哈希感知距離hij。
gij＝||bi|-|bj||/max(|bi|,|bj|)(6)
cij＝|ci-cj|/255(7)
hij＝|hi-hj|(8)
對于網格i和網格j，gij為兩者包圍盒面積的差值與面積較大值的比例，cij為顏色差值對于灰度級的歸一化數值。哈希感知測度的計算方法為，將網格對應的圖像降采樣到8×8的圖像計算其灰度均值，將灰度值大于均值像素的標記為1，否則為0，統(tǒng)計其中標記為1的數量。hij為兩個網格圖像哈希測度差值的絕對值。
對于三個相似測度設置最大閾值tg、tc和th。對小于相似度閾值的兩個網格建立關聯(lián)，并由尺寸差值比例和平均顏色差值的歸一化數值計算得到平滑項數值。
us＝(1-gij)·(1-cij)(9)
步驟四：提取墻面網格中標記得到的窗戶區(qū)域，根據步驟一中墻面在三維空間中的位置建立窗戶區(qū)域的二維坐標和三維空間映射；對每個窗戶，在三維空間中使用立方體模型擬合，立方體的長度、高度和寬度分別對應檢測結果中窗戶包圍盒的寬度、高度以及該窗戶區(qū)域內深度圖中的最大深度值；最后對合成窗戶后的墻面重新進行紋理映射，得到高真實感的建筑墻面三維模型。