本發(fā)明涉及公路資產(chǎn)智能盤點圖像處理，具體來說，涉及一種基于顏色特征與深度圖像特征的交通標志牌定位方法。

背景技術：

1、標志牌是公路上確保行車安全和指導交通流的基礎設施，隨著路網(wǎng)規(guī)模的不斷增加與智能交通系統(tǒng)的快速發(fā)展，標志牌數(shù)量急劇增加，作為公路資產(chǎn)管理運營單位，面臨龐大數(shù)量標志標牌，其管理水平不僅影響道路安全性與通行效率，還關系著其運維成本。

2、交通標志牌自動識別技術在道路安全管理、自動駕駛和低空經(jīng)濟建設中發(fā)揮著重要作用。在公路資產(chǎn)全壽命周期管理的理念下，標志標牌的檢測、養(yǎng)護與更新愈發(fā)頻繁，在現(xiàn)有的公路資產(chǎn)管理體系中，標志牌的維護主要依賴于人工周期性檢查和記錄，這種傳統(tǒng)方法存在效率低下、無法實時響應等缺陷，難以滿足日益增長的交通安全管理需求；因此，采用智能化技術對標志標牌進行識別與定位，可以大大提升管理效率與運維水平。

3、近年來，隨著計算機視覺技術和深度學習算法的發(fā)展，基于圖像處理的交通標志識別方法取得了顯著進展，可以智能提供標志牌的位置和狀態(tài)信息，但在復雜環(huán)境下的識別準確率和定位精度仍面臨諸多挑戰(zhàn)。

4、目前，交通標志牌識別主要采用基于圖像處理的單一特征提取方法。其中，基于顏色特征的方法通過rgb顏色空間分析來提取標志牌區(qū)域，但容易受到光照變化和天氣條件的影響；基于邊緣特征的方法通過檢測圖像中的幾何邊緣來識別標準形狀，但在復雜背景下容易受到干擾；基于紋理特征的方法則通過分析圖像的局部紋理模式來識別標志牌，但對于模糊或部分遮擋的標志牌識別效果較差；此外，一些研究開始嘗試使用深度學習方法直接從圖像中提取特征，但這類方法往往需要大量標注數(shù)據(jù)進行訓練，且計算復雜度較高，難以滿足實時處理的需求。

5、然而，現(xiàn)有的交通標志牌識別方法仍存在一些明顯不足。首先，大多數(shù)方法僅依賴于單一的特征信息進行識別，未能有效融合多種特征的優(yōu)勢，導致在復雜環(huán)境下的識別性能不穩(wěn)定；其次，現(xiàn)有方法普遍缺乏對三維空間信息的利用，僅依靠二維圖像特征進行識別，無法準確獲取標志牌的實際空間位置和幾何特征；此外，在全景道路影像中，由于拍攝視角多變、場景復雜度高，現(xiàn)有基于機器學習的交通標志識別算法往往需要對大量候選區(qū)域進行特征提取和分類判斷，不僅計算效率低下，而且容易受到背景干擾導致誤識別，難以滿足實際應用中對識別準確率和處理效率的要求。

6、針對相關技術中的問題，目前尚未提出有效的解決方案。

技術實現(xiàn)思路

1、針對相關技術中的問題，本發(fā)明提出一種基于顏色特征與深度圖像特征的交通標志牌定位方法，具備利用點云數(shù)據(jù)的高精度三維空間信息特性，對全景影像中的交通標志進行特征匹配和空間定位分析，為影像中精準提取對應目標位置提供完備的數(shù)據(jù)支撐優(yōu)點，進而解決現(xiàn)有技術中道路影像中基于機器學習算法提取交通標志不夠高效準確的問題。

2、為此，本發(fā)明采用的具體技術方案如下：

3、一種基于顏色特征與深度圖像特征的交通標志牌定位方法，該基于顏色特征與深度圖像特征的交通標志牌定位方法包括以下步驟：

4、s1、根據(jù)全景影像的rgb顏色空間數(shù)據(jù)，構(gòu)建包含色相分量、飽和度分量與亮度分量的hsv顏色空間數(shù)據(jù)，并確定各分量閾值范圍，通過對hsv顏色空間數(shù)據(jù)的各分量進行顏色分割處理，得到交通標志牌感興趣區(qū)域；

5、s2、基于激光雷達坐標系下的點云數(shù)據(jù)，利用初始轉(zhuǎn)換參數(shù)進行坐標轉(zhuǎn)換，結(jié)合各全景影像的外方位元素，生成對應的全景深度圖像，并提取交通標志牌感興趣區(qū)域內(nèi)的目標點云合集，利用量化特征評估規(guī)則，確定交通標志牌在全景影像中的坐標位置；

6、s3、根據(jù)采集的全景影像數(shù)據(jù)，建立交通標志樣本庫，并通過局部二值模式算法和方向梯度直方圖算法提取融合特征向量，構(gòu)建交通標志分類模型；利用交通標志樣本庫訓練交通標志分類模型，輸入交通標志牌在全景影像中的坐標位置，輸出交通標志牌的類別信息。

7、進一步的，根據(jù)全景影像的rgb顏色空間數(shù)據(jù)，構(gòu)建包含色相分量、飽和度分量與亮度分量的hsv顏色空間數(shù)據(jù)，并確定各分量閾值范圍，通過對hsv顏色空間數(shù)據(jù)的各分量進行顏色分割處理，得到交通標志牌感興趣區(qū)域包括以下步驟：

8、s11、基于全景影像的rgb顏色空間數(shù)據(jù)，計算顏色空間差值，并根據(jù)顏色空間差值生成hsv顏色空間數(shù)據(jù)，其中，hsv顏色空間數(shù)據(jù)包括色相分量、飽和度分量與亮度分量；

9、s12、根據(jù)色相分量、飽和度分量與亮度分量，提取全景圖像中的交通標志牌顏色像素，并利用閾值調(diào)整函數(shù)確定各分量的閾值范圍，通過與運算對hsv顏色空間數(shù)據(jù)的各分量進行顏色分割處理，得到色彩分割圖像；

10、s13、利用中值濾波技術，去除色彩分割圖像中的噪聲，得到交通標志牌感興趣區(qū)域。

11、進一步的，基于全景影像的rgb顏色空間數(shù)據(jù)，計算顏色空間差值，并根據(jù)顏色空間差值生成hsv顏色空間數(shù)據(jù)包括以下步驟：

12、s111、標準化全景影像的rgb顏色空間數(shù)據(jù)，得到標準顏色分量；

13、s112、計算標準顏色分量中的最大值與最小值，并求解顏色空間差值；

14、s113、基于顏色空間差值，生成色相分量、飽和度分量與亮度分量，得到hsv顏色空間數(shù)據(jù)。

15、進一步的，標準顏色分量的表達式為：

16、

17、式中，r、g、b分別為全景影像的紅色顏色分量、綠色顏色分量及藍色顏色分量；r′、g′、b′分別為標準顏色分量的紅色分量、綠色分量及藍色分量；

18、顏色空間差值的表達式為：

19、

20、

21、式中，imax為標準顏色分量中的最大值，imin為標準顏色分量中的最小值，δ為顏色空間差值；

22、hsv顏色空間數(shù)據(jù)的表達式為：

23、

24、

25、

26、式中，h為hsv顏色空間數(shù)據(jù)的色相分量，s為hsv顏色空間數(shù)據(jù)的飽和度分量，v為hsv顏色空間數(shù)據(jù)的亮度分量。

27、進一步的，基于激光雷達坐標系下的點云數(shù)據(jù)，利用初始轉(zhuǎn)換參數(shù)進行坐標轉(zhuǎn)換，結(jié)合各全景影像的外方位元素，生成對應的全景深度圖像，并提取交通標志牌感興趣區(qū)域內(nèi)的目標點云合集，利用量化特征評估規(guī)則，確定交通標志牌在全景影像中的坐標位置包括以下步驟：

28、s21、根據(jù)激光雷達坐標系下的點云數(shù)據(jù)，利用初始轉(zhuǎn)換參數(shù)進行坐標轉(zhuǎn)換，得到全景相機坐標系下的點云數(shù)據(jù)，并求解空間點與相機中心連線的第一特征角與第二特征角，結(jié)合各全景影像的外方位元素，生成對應的全景深度圖像；

29、s22、基于各全景影像對應的全景深度圖像，提取落入交通標志牌感興趣區(qū)域中的點云數(shù)據(jù)，建立目標點云合集；

30、s23、利用量化特征評估規(guī)則，評估目標點云合集中數(shù)據(jù)點的匹配度，并基于數(shù)據(jù)點的匹配度評估結(jié)果，確定交通標志牌在全景影像中的坐標位置，其中，量化特征評估規(guī)則包括高度特征評估、形狀特征評估及連續(xù)性特征評估。

31、進一步的，根據(jù)激光雷達坐標系下的點云數(shù)據(jù)，利用初始轉(zhuǎn)換參數(shù)進行坐標轉(zhuǎn)換，得到全景相機坐標系下的點云數(shù)據(jù)，并求解空間點與相機中心連線的第一特征角與第二特征角，結(jié)合各全景影像的外方位元素，生成對應的全景深度圖像包括以下步驟：

32、s211、根據(jù)激光雷達坐標系下的點云數(shù)據(jù)，求解初始轉(zhuǎn)換參數(shù)，并利用初始轉(zhuǎn)換參數(shù)進行坐標轉(zhuǎn)換，得到全景相機坐標系下的點云數(shù)據(jù)，其中，初始轉(zhuǎn)換參數(shù)包括旋轉(zhuǎn)矩陣與平移向量；

33、s212、基于全景相機坐標系下的點云數(shù)據(jù)，通過計算空間點與相機中心連線的第一特征角與第二特征角，得到球坐標系下的點云數(shù)據(jù)；

34、s213、根據(jù)球坐標系下的點云數(shù)據(jù)，結(jié)合各全景影像的外方位元素，確定像素坐標系下的點云數(shù)據(jù)，并生成對應的全景深度圖像，其中，各全景影像的外方位元素包括每張全景影像的寬度與高度。

35、進一步的，全景相機坐標系下的點云數(shù)據(jù)的表達式為：

36、

37、式中，xc、yc、zc分別為全景相機坐標系下x軸、y軸、z軸的點云數(shù)據(jù)，r為激光雷達坐標系與全景相機坐標系之間的旋轉(zhuǎn)矩陣，xw、yw、zw分別為激光雷達坐標系下x軸、y軸、z軸的點云數(shù)據(jù)，t為激光雷達坐標系到全景相機坐標系之間的平移向量；

38、球坐標系下的點云數(shù)據(jù)包括第一特征角與第二特征角，第一特征角與第二特征角的表達式為：

39、

40、式中，為空間點與相機中心的連線與z軸的夾角，θ為空間點與相機中心的連線在xy平面上的投影與x軸的夾角；

41、像素坐標系下的點云數(shù)據(jù)的表達式為：

42、

43、式中，u與v分別為全景深度圖像中的水平方向像素坐標與豎直方向像素坐標，h與w分別為全景影像的高度與寬度。

44、進一步的，高度特征評估包括基于全景圖像，計算目標區(qū)域高度，并排除y軸最大值大于目標區(qū)域高度的交通標志牌感興趣區(qū)域；

45、形狀特征評估包括基于目標點云合集，計算交通標志牌感興趣區(qū)域內(nèi)所有點的中心點坐標、角點之間的連線長度及中心點到任意邊界點的距離，評估目標區(qū)域是否符合圓形、矩形及等邊三角形的標志牌形狀特征；

46、連續(xù)性特征評估包括根據(jù)目標點云合集，通過ransac算法進行平面擬合，并計算點到平面的距離及平面方程系數(shù)，評估目標區(qū)域的平面連續(xù)性和突變性。

47、進一步的，目標區(qū)域高度的表達式為：

48、

49、式中，x與y分別為目標區(qū)域的左上角x軸坐標與左上角y軸坐標，w與h分別為目標區(qū)域的寬度與高度，win與hin分別為全景圖像的寬和高；

50、交通標志牌感興趣區(qū)域內(nèi)所有點的中心點坐標的表達式為：

51、

52、式中，xc、yc、zc分別為中心點的x軸坐標、y軸坐標及z軸坐標，n為交通標志牌感興趣區(qū)域內(nèi)所有點的個數(shù)，xi、yi、zi分別為目標點云合集中第i個點的x軸坐標、y軸坐標及z軸坐標。

53、進一步的，根據(jù)采集的全景影像數(shù)據(jù)，建立交通標志樣本庫，并通過局部二值模式算法和方向梯度直方圖算法提取融合特征向量，構(gòu)建交通標志分類模型；利用交通標志樣本庫訓練交通標志分類模型，輸入交通標志牌在全景影像中的坐標位置，輸出交通標志牌的類別信息包括以下步驟：

54、s31、基于采集的全景影像數(shù)據(jù)，選取標志牌區(qū)域作為正樣本，選取非標志區(qū)域作為負樣本，得到交通標志樣本庫；

55、s32、采用局部二值模式算法提取紋理特征向量，通過方向梯度直方圖算法提取形狀特征向量，并利用主成分分析方法對形狀特征向量進行降維，得到融合的特征向量，建立特征提取網(wǎng)絡；基于特征提取網(wǎng)絡，結(jié)合一對多分類策略，構(gòu)建交通標志分類模型；

56、s33、利用交通標志樣本庫訓練交通標志分類模型，并基于訓練后的交通標志分類模型，輸入交通標志牌在全景影像中的坐標位置，輸出交通標志牌的類別信息。

57、本發(fā)明的有益效果為：

58、（1）本發(fā)明將定位和類別判斷分解為兩個獨立的步驟，利用顏色特征和深度信息特征對交通標志進行精準定位，在精準定位的基礎上，利用分類模型對定位區(qū)域的標志牌類別進行判別，實現(xiàn)了在復雜交通場景中交通標志的高精度識別。

59、（2）本發(fā)明利用全景影像中交通標志牌鮮明的顏色特性，采用hsv色彩分割實現(xiàn)標志牌區(qū)域初步定位，方法原理簡單、計算量小，易于實施。

60、（3）本發(fā)明提出一種融合紋理信息和形狀信息的特征提取方法，hog特征難以呈現(xiàn)交通標志整體紋理且在輕微遮擋時易出錯，lbp特征則擅于描述紋理、不懼輕微變形與遮擋；本發(fā)明將二者結(jié)合，優(yōu)勢互補，顯著提升識別正確率，增強系統(tǒng)在復雜交通場景中的性能與穩(wěn)定性。

61、（4）本發(fā)明針對道路影像中基于機器學習算法提取交通標志不夠高效準確的問題，利用點云數(shù)據(jù)的高精度三維空間信息特性，對全景影像中的交通標志進行特征匹配和空間定位分析，為影像中精準提取對應目標位置提供完備的數(shù)據(jù)支撐。