本發(fā)明涉及計(jì)算機(jī)視覺，特別是指一種地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法。

背景技術(shù)：

1、多模態(tài)融合感知是一種集成多種不同類型的信息和數(shù)據(jù)源的技術(shù)，旨在提高對(duì)環(huán)境或?qū)ο蟮睦斫夂妥R(shí)別能力，而語義生成指的是基于感知結(jié)果和上下文信息，自動(dòng)創(chuàng)建描述信息或知識(shí)的過程，生成的語義信息通常包括目標(biāo)的類別、狀態(tài)以及與環(huán)境的關(guān)系等。

2、在地下空間動(dòng)態(tài)退化環(huán)境中，傳統(tǒng)的感知技術(shù)遭遇了多重挑戰(zhàn)，而準(zhǔn)確的定位可以實(shí)時(shí)監(jiān)測(cè)地下空間的變化，及時(shí)發(fā)現(xiàn)潛在的安全隱患(如塌方、滲水等)，并發(fā)出預(yù)警，保障工作人員的安全，因此對(duì)地下空間進(jìn)行精準(zhǔn)定位，對(duì)于確保安全、實(shí)現(xiàn)有效導(dǎo)航、增強(qiáng)環(huán)境理解、提升系統(tǒng)魯棒性以及推動(dòng)技術(shù)進(jìn)步具有重要意義。

3、然而當(dāng)前的多模態(tài)感知研究在地下空間動(dòng)態(tài)退化環(huán)境中的應(yīng)用受到限制，主要因?yàn)榇蟛糠侄嗄B(tài)感知算法對(duì)計(jì)算能力的要求過高，超出了無人設(shè)備在邊緣計(jì)算場(chǎng)景下的處理能力，以及環(huán)境的復(fù)雜性導(dǎo)致單一模態(tài)的感知算法無法完成感知任務(wù)。同時(shí)，這些算法在數(shù)據(jù)共享方面的帶寬需求較大，當(dāng)通信鏈路受阻時(shí)，難以實(shí)現(xiàn)實(shí)時(shí)的檢測(cè)和可視化，導(dǎo)致傳感器數(shù)據(jù)特征的缺失，進(jìn)而增加了定位和導(dǎo)航的難度，并且在動(dòng)態(tài)粉塵的影響下，可見光、夜視以及激光lidar傳感器都會(huì)生成大量噪聲，導(dǎo)致激光雷達(dá)提供的點(diǎn)云信息不足以提供精確的位姿約束，從而影響定位的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)存在的多模態(tài)感知研究在地下空間動(dòng)態(tài)退化環(huán)境中的應(yīng)用受到限制，導(dǎo)致單一模態(tài)的感知算法無法完成感知任務(wù)，難以實(shí)現(xiàn)實(shí)時(shí)的檢測(cè)和可視化，導(dǎo)致傳感器數(shù)據(jù)特征的缺失，進(jìn)而增加了定位和導(dǎo)航的難度，并且在動(dòng)態(tài)粉塵的影響下，可見光、夜視以及激光lidar傳感器都會(huì)生成大量噪聲，導(dǎo)致激光雷達(dá)提供的點(diǎn)云信息不足以提供精確的位姿約束，從而影響定位的準(zhǔn)確性的技術(shù)問題，本發(fā)明提供了一種地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法。

2、本發(fā)明實(shí)施例提供的技術(shù)方案如下：

3、第一方面

4、本發(fā)明實(shí)施例提供的一種地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法，包括：

5、s1：構(gòu)建多模態(tài)感知平臺(tái)；

6、s2：對(duì)多模態(tài)感知平臺(tái)進(jìn)行聯(lián)合標(biāo)定；

7、s3：通過聯(lián)合標(biāo)定后的多模態(tài)感知平臺(tái)，對(duì)待檢測(cè)目標(biāo)進(jìn)行多模態(tài)數(shù)據(jù)的采集；

8、s4：通過基于深度學(xué)習(xí)算法的多模態(tài)目標(biāo)感知模型，提取多模態(tài)數(shù)據(jù)的數(shù)據(jù)特征；

9、s5：根據(jù)多模態(tài)數(shù)據(jù)的數(shù)據(jù)特征，確定待檢測(cè)目標(biāo)的感知結(jié)果；

10、s6：對(duì)待檢測(cè)目標(biāo)的感知結(jié)果與時(shí)間戳信息進(jìn)行結(jié)合，生成語義信息；

11、s7：通過ros通信機(jī)制，實(shí)時(shí)發(fā)布語義信息，實(shí)現(xiàn)感知結(jié)果的即時(shí)可視化。

12、第二方面

13、本發(fā)明實(shí)施例提供的一種地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成系統(tǒng)，包括：

14、處理器；

15、存儲(chǔ)器，存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)可讀指令，計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如第一方面的地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法。

16、第三方面

17、本發(fā)明實(shí)施例提供的一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面的地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法。

18、本發(fā)明實(shí)施例提供的技術(shù)方案帶來的有益效果至少包括：

19、在本發(fā)明中，通過結(jié)合多種傳感器構(gòu)建多模態(tài)感知平臺(tái)，打造了一個(gè)綜合性的多模態(tài)感知平臺(tái)，接著對(duì)多模態(tài)感知平臺(tái)進(jìn)行聯(lián)合標(biāo)定，使得多模態(tài)數(shù)據(jù)采集更為可靠，通過基于深度學(xué)習(xí)的多模態(tài)目標(biāo)感知模型提取多模態(tài)數(shù)據(jù)的數(shù)據(jù)，從而減少噪聲干擾，最后結(jié)合感知結(jié)果與時(shí)間戳信息，生成豐富的語義信息，并通過ros通信機(jī)制實(shí)時(shí)發(fā)布語義信息，進(jìn)一步提升了環(huán)境監(jiān)測(cè)的及時(shí)性與有效性。該方法利用多模態(tài)傳感器的優(yōu)勢(shì)，通過熱紅外、夜視、可見光與激光lidar傳感器的融合，構(gòu)建了一個(gè)全面的感知系統(tǒng)。該系統(tǒng)能夠提供不受動(dòng)態(tài)光照的精確感知，并通過深度學(xué)習(xí)算法構(gòu)建的多模態(tài)目標(biāo)感知模型，減少粉塵對(duì)感知任務(wù)的限制，實(shí)現(xiàn)了對(duì)目標(biāo)的三維定位、類別信息的獲取，并且抑制粉塵對(duì)激光lidar傳感器的影響，同時(shí)根據(jù)時(shí)間戳信息生成語義信息。此外，系統(tǒng)還通過ros通信機(jī)制進(jìn)行實(shí)時(shí)發(fā)布感知結(jié)果，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)傳輸與處理、提高定位和導(dǎo)航的準(zhǔn)確性、提供可靠的感知能力和實(shí)現(xiàn)實(shí)時(shí)的檢測(cè)和可視化。

技術(shù)特征：

1.一種地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法，其特征在于，所述s1具體包括：

3.根據(jù)權(quán)利要求2所述的地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法，其特征在于，所述自適應(yīng)光照切換傳感器具體包括：可見光相機(jī)、紅外發(fā)射器和光敏感知器；

4.根據(jù)權(quán)利要求1所述的地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法，其特征在于，所述多模態(tài)數(shù)據(jù)包括：熱紅外圖像、可見光或夜視圖像以及激光lidar提供的點(diǎn)云數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法，其特征在于，所述s4具體包括：

6.根據(jù)權(quán)利要求1所述地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法，其特征在于，所述s4具體包括：

7.根據(jù)權(quán)利要求1所述的地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法，其特征在于，所述s6具體包括：

8.根據(jù)權(quán)利要求1所述的地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法，其特征在于，s7具體包括：

9.一種地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成系統(tǒng)，其特征在于，包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至8中任一項(xiàng)所述的地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法。

技術(shù)總結(jié)
本發(fā)明提供一種地下動(dòng)態(tài)退化環(huán)境的多模態(tài)融合感知與語義生成方法，涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，方法包括：構(gòu)建多模態(tài)感知平臺(tái)；對(duì)多模態(tài)感知平臺(tái)進(jìn)行聯(lián)合標(biāo)定；通過聯(lián)合標(biāo)定后的多模態(tài)感知平臺(tái)，對(duì)待檢測(cè)目標(biāo)進(jìn)行多模態(tài)數(shù)據(jù)的采集；通過基于深度學(xué)習(xí)算法的多模態(tài)目標(biāo)感知模型，提取多模態(tài)數(shù)據(jù)的數(shù)據(jù)特征；根據(jù)多模態(tài)數(shù)據(jù)的數(shù)據(jù)特征，確定待檢測(cè)目標(biāo)的感知結(jié)果；對(duì)待檢測(cè)目標(biāo)的感知結(jié)果與時(shí)間戳信息進(jìn)行結(jié)合，生成語義信息；通過ROS通信機(jī)制，實(shí)時(shí)發(fā)布語義信息，實(shí)現(xiàn)感知結(jié)果的即時(shí)可視化。本發(fā)明可以確保在資源受限和通信受限的環(huán)境中仍能提供可靠的感知能力，從而提高地下空間環(huán)境中的感知精度和語義理解能力。

技術(shù)研發(fā)人員：李剛,王永歸,馮愷睿,何斌,沈潤(rùn)杰,劉曉芹
受保護(hù)的技術(shù)使用者：同濟(jì)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15