本發(fā)明涉及圖像處理、目標(biāo)檢測、視覺大模型以及多終端聯(lián)合檢測分析，特別是涉及一種檢測和分析道路設(shè)施損壞的系統(tǒng)及方法。

背景技術(shù)：

1、道路設(shè)施是指為保證交通安全、提高交通效率而設(shè)立的一系列構(gòu)造和設(shè)備。這些設(shè)施在公路、城市道路和高速公路等交通系統(tǒng)中起著至關(guān)重要的作用。常見的道路設(shè)施包括：道路標(biāo)志（包含警告標(biāo)志、指示標(biāo)志、指路標(biāo)志等）、道路標(biāo)線、交通信號燈、護欄、截流帶、交通監(jiān)控設(shè)施、橋梁、隧道等。道路設(shè)施在確保交通安全、提高通行效率、改善城市交通環(huán)境等方面起著重要作用。合理規(guī)劃與設(shè)置道路設(shè)施，能夠顯著提升道路的使用效率和安全性。

2、隨著城市化進程的加快和交通流量的增加，道路設(shè)施的數(shù)量和復(fù)雜性不斷提升。這些設(shè)施，由于受到自然環(huán)境、交通流、重載運輸?shù)纫蛩氐挠绊?，過度使用、磨損和外部沖擊導(dǎo)致的損壞和故障層出不窮，道路設(shè)施的管養(yǎng)問題日益突出?，F(xiàn)有技術(shù)尚未能有效、及時地監(jiān)測和評估道路設(shè)施的狀態(tài)。例如，傳統(tǒng)檢查方法需要專業(yè)人員定期對設(shè)施進行人工檢測，這不僅耗時且昂貴，且容易遺漏潛在的問題。最近有使用車載相機配合檢測算法對道路設(shè)施進行實時損壞檢測。但受限于其他車輛遮擋、車輛振動、車速過快、天氣干擾（雨天、強光等）等因素，會對車載相機采集的圖像造成干擾，從而顯著降低檢測的精度，出現(xiàn)大量的誤識別，需要人工進行仔細判別。

3、因此，有必要開發(fā)一種有效的技術(shù)解決方案，及時準(zhǔn)確監(jiān)控和評估道路設(shè)施的損壞狀態(tài)，并提供智能化的維護建議。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種檢測和分析道路設(shè)施損壞的系統(tǒng)及方法，結(jié)合路側(cè)相機和大模型技術(shù)進行聯(lián)合分析，能夠?qū)崟r識別出道路設(shè)施損壞以及損壞的空間信息，及時維修更新，確保道路行車安全。

2、為實現(xiàn)上述目的，一方面，本發(fā)明提供了一種檢測和分析道路設(shè)施損壞的系統(tǒng)，包括：

3、道路設(shè)施異常識別模塊，用于對道路設(shè)施進行初步異常識別，獲取疑似異常位置；

4、道路設(shè)施圖像采集模塊，用于獲取疑似異常位置對應(yīng)道路設(shè)施的目標(biāo)角度圖像；

5、云端異常識別模塊，用于將所述目標(biāo)角度圖像輸入視覺大模型agent中進行再次異常識別，輸出異常識別結(jié)果和異常所處的空間信息。

6、可選地，所述道路設(shè)施異常識別模塊包括：

7、異常識別單元，用于實時采集道路設(shè)施圖像，采用目標(biāo)檢測算法對道路設(shè)施圖像進行設(shè)施損壞識別，獲取疑似異常；

8、位置確定單元，用于使用所述道路設(shè)施圖像對應(yīng)的第一圖像采集設(shè)備的gps匹配樁號，獲取疑似異常的位置信息。

9、可選地，所述道路設(shè)施圖像采集模塊包括：

10、第二圖像采集設(shè)備匹配單元，用于基于疑似異常對應(yīng)的gps以及匹配的樁號，計算并匹配距離最近的第二圖像采集設(shè)備；

11、第二圖像采集設(shè)備設(shè)置單元，用于基于樁號和匹配的第二圖像采集設(shè)備的相對位置，設(shè)置第二圖像采集設(shè)備參數(shù)；

12、第二圖像采集設(shè)備采集單元，用于在所述第二圖像采集設(shè)備參數(shù)下進行異常道路設(shè)施的拍攝，獲取所述目標(biāo)角度圖像。

13、可選地，所述第二圖像采集設(shè)備采集單元包括：

14、第一目標(biāo)角度圖像采集子單元，用于在所述第二圖像采集設(shè)備參數(shù)下進行異常道路設(shè)施的拍攝，獲取第一目標(biāo)角度圖像；

15、第二圖像采集設(shè)備調(diào)整子單元，用于檢測第一目標(biāo)角度圖像中異常道路設(shè)施的像素點起止位置，計算初始預(yù)置框，并基于初始預(yù)置框調(diào)整第二圖像采集設(shè)備參數(shù)；

16、第二目標(biāo)角度圖像采集子單元，用于基于調(diào)整后的第二圖像采集設(shè)備再次進行拍攝，輸出第二目標(biāo)角度圖像。

17、可選地，所述云端異常識別模塊包括云端異常識別單元，所述云端異常識別單元用于將第二目標(biāo)角度圖像輸入視覺大模型agent中，調(diào)用vlm進行自動識別，若存在道路設(shè)施異常，則輸出異常識別結(jié)果、異常所處的空間信息和維修建議；若不存在道路設(shè)施異常，則識別道路設(shè)施起止點，計算預(yù)置框，返回第二圖像采集設(shè)備調(diào)整子單元再次進行第二圖像采集設(shè)備參數(shù)調(diào)整，獲取新的圖像進行再次識別，若直至達到預(yù)設(shè)的終止識別條件仍未識別出道路設(shè)施異常，則輸出無異常。

18、可選地，所述預(yù)設(shè)的終止識別條件包括：所述預(yù)置框的縱向坐標(biāo)相差小于ht，所述第二圖像采集設(shè)備的俯仰角達到最大。

19、另一方面，本發(fā)明提供了一種檢測和分析道路設(shè)施損壞的方法，包括：

20、對道路設(shè)施進行初步異常識別，獲取疑似異常位置；

21、獲取疑似異常位置對應(yīng)道路設(shè)施的目標(biāo)角度圖像；

22、將所述目標(biāo)角度圖像輸入視覺大模型agent中進行再次異常識別，輸出異常識別結(jié)果和異常所處的空間信息。

23、可選地，對道路設(shè)施進行初步異常識別，獲取疑似異常位置包括：

24、實時采集道路設(shè)施圖像，采用目標(biāo)檢測算法對道路設(shè)施圖像進行設(shè)施損壞識別，獲取疑似異常；

25、使用所述道路設(shè)施圖像對應(yīng)的第一圖像采集設(shè)備的gps進行樁號匹配，獲取疑似異常的位置信息。

26、可選地，獲取疑似異常位置對應(yīng)道路設(shè)施的目標(biāo)角度圖像包括：

27、基于疑似異常對應(yīng)的gps以及匹配的樁號，計算并匹配距離最近的第二圖像采集設(shè)備；

28、基于樁號和匹配的第二圖像采集設(shè)備的相對位置，設(shè)置相機參數(shù)；

29、在所述第二圖像采集設(shè)備參數(shù)下進行異常道路設(shè)施的拍攝，獲取第一目標(biāo)角度圖像；

30、檢測第一目標(biāo)角度圖像中異常道路設(shè)施的像素點起止位置，計算初始預(yù)置框，并基于初始預(yù)置框調(diào)整第二圖像采集設(shè)備參數(shù)；

31、基于調(diào)整后的第二圖像采集設(shè)備再次進行拍攝，輸出第二目標(biāo)角度圖像。

32、可選地，將所述目標(biāo)角度圖像輸入視覺大模型agent中進行再次異常識別，輸出異常識別結(jié)果和異常所處的空間信息包括：

33、將第二目標(biāo)角度圖像輸入視覺大模型agent中，調(diào)用vlm進行自動識別，若存在道路設(shè)施異常，則輸出異常識別結(jié)果、異常所處的空間信息和維修建議；若不存在道路設(shè)施異常，則識別道路設(shè)施起止點，計算預(yù)置框，返回第二圖像采集設(shè)備調(diào)整子單元再次進行第二圖像采集設(shè)備參數(shù)調(diào)整，獲取新的圖像進行再次識別，若直至達到預(yù)設(shè)的終止識別條件仍未識別出道路設(shè)施異常，則輸出無異常，其中，所述預(yù)設(shè)的終止識別條件包括所述預(yù)置框的縱向坐標(biāo)相差小于ht、所述第二圖像采集設(shè)備的俯仰角達到最大。

34、本發(fā)明的有益效果為：

35、（1）高精度：采用車載相機目標(biāo)檢測，結(jié)合路側(cè)監(jiān)控相機多終端級聯(lián)自動分析，可以有效提升識別精度，降低誤報。

36、（2）高度自動化：車載相機檢測識別設(shè)施損壞后，系統(tǒng)自動調(diào)取附近路側(cè)相機對目標(biāo)位置進行捕捉，結(jié)合視覺大模型agent和識別技術(shù)，自動調(diào)用相機sdk調(diào)整云臺，再識別圖像中的設(shè)施損壞，并給出具體的損壞類型、損壞位置和維修建議等。

37、（3）實時監(jiān)控：通過多終端聯(lián)合檢測和視覺大模型的分析，能夠?qū)崿F(xiàn)實時監(jiān)控，及時發(fā)現(xiàn)設(shè)施損壞，減少安全隱患和交通事故的發(fā)生。

38、（4）降低維護成本：通過自動化檢測和智能分析，減少人工檢查的頻率和成本，提高維護效率，延長設(shè)施使用壽命。