本發(fā)明涉及多模態(tài)電變量分析的，公開(kāi)了一種基于環(huán)境感知驅(qū)動(dòng)的多模態(tài)數(shù)據(jù)融合分析判斷方法。

背景技術(shù)：

1、數(shù)據(jù)異構(gòu)性與融合效率不足，不同傳感器（如攝像頭、lidar、聲吶）產(chǎn)生的數(shù)據(jù)類(lèi)型（圖像、點(diǎn)云、時(shí)序信號(hào)）和采樣率差異顯著，導(dǎo)致數(shù)據(jù)對(duì)齊和特征提取困難，系統(tǒng)在復(fù)雜場(chǎng)景中誤判率升高，例如自動(dòng)駕駛車(chē)輛在暴雨中可能誤識(shí)別障礙物，極端天氣（雨雪霧）或傳感器故障（遮擋、噪聲）下，部分模態(tài)數(shù)據(jù)質(zhì)量驟降，導(dǎo)致融合結(jié)果不可靠。

技術(shù)實(shí)現(xiàn)思路

1、本部分的目的在于概述本發(fā)明的實(shí)施例的一些方面以及簡(jiǎn)要介紹一些較佳實(shí)施例。在本部分以及本技術(shù)的說(shuō)明書(shū)摘要和發(fā)明名稱(chēng)中可能會(huì)做些簡(jiǎn)化或省略以避免使本部分、說(shuō)明書(shū)摘要和發(fā)明名稱(chēng)的目的模糊，而這種簡(jiǎn)化或省略不能用于限制本發(fā)明的范圍。

2、為解決上述技術(shù)問(wèn)題，本發(fā)明的主要目的在于提供基于環(huán)境感知驅(qū)動(dòng)的多模態(tài)數(shù)據(jù)融合分析判斷方法，其中，基于環(huán)境感知驅(qū)動(dòng)的多模態(tài)數(shù)據(jù)融合分析判斷方法，包括：

3、獲取環(huán)境參數(shù)數(shù)據(jù)的傳感器單元，通過(guò)建立多數(shù)據(jù)輻射場(chǎng)對(duì)齊不同數(shù)據(jù)維度，并對(duì)環(huán)境數(shù)據(jù)初步判斷數(shù)據(jù)異常；

4、對(duì)環(huán)境數(shù)據(jù)進(jìn)行特征提取，將提取的環(huán)境數(shù)據(jù)特征賦予帶有時(shí)間戳的標(biāo)簽，并輸入推移單元中，所述推移單元設(shè)置多級(jí)分析推移對(duì)多環(huán)境數(shù)據(jù)進(jìn)行分析判斷，輸出環(huán)境分析結(jié)果；

5、實(shí)時(shí)調(diào)整推移單元的推移步長(zhǎng)的動(dòng)態(tài)調(diào)優(yōu)單元，接收所述環(huán)境分析結(jié)果，判斷封閉空間與動(dòng)力空間是否需要分離。

6、作為本發(fā)明基于環(huán)境感知驅(qū)動(dòng)的多模態(tài)數(shù)據(jù)融合分析判斷方法的一種優(yōu)選方案，其中：

7、建立多數(shù)據(jù)輻射場(chǎng)，所述多數(shù)據(jù)輻射場(chǎng)包括壓力場(chǎng)和聲紋場(chǎng)，并通過(guò)對(duì)齊編碼確定壓力與聲紋信號(hào)時(shí)變關(guān)聯(lián)，所述壓力場(chǎng)構(gòu)建基于非結(jié)構(gòu)網(wǎng)格離散化方法，將水壓力數(shù)據(jù)映射為三維輻射場(chǎng)；

8、若所述壓力場(chǎng)內(nèi)映射的壓力出現(xiàn)突變和所述聲紋場(chǎng)內(nèi)映射的聲紋高頻區(qū)異常，則通過(guò)劃分多數(shù)據(jù)輻射場(chǎng)高分辨網(wǎng)格，通過(guò)提取局部鄰域特征，動(dòng)態(tài)優(yōu)化網(wǎng)格密度。

9、作為本發(fā)明基于環(huán)境感知驅(qū)動(dòng)的多模態(tài)數(shù)據(jù)融合分析判斷方法的一種優(yōu)選方案，其中：

10、所述環(huán)境數(shù)據(jù)基準(zhǔn)線用于對(duì)比獲取的扭矩?cái)?shù)據(jù)、水位壓力數(shù)據(jù)和水聲紋數(shù)據(jù)是否位于環(huán)境數(shù)據(jù)正常閾值范圍，若扭矩?cái)?shù)據(jù)、水位壓力數(shù)據(jù)和水聲紋數(shù)據(jù)未處于環(huán)境數(shù)據(jù)正常閾值范圍，則觸發(fā)判斷數(shù)據(jù)異常，所述判斷數(shù)據(jù)異常包括環(huán)境數(shù)據(jù)基準(zhǔn)線、單模態(tài)異常和二級(jí)驗(yàn)證；

11、所述單模態(tài)異常用于映射扭矩?cái)?shù)據(jù)、水位壓力數(shù)據(jù)和水聲紋數(shù)據(jù)是否存在突變、失衡和解耦，若扭矩?cái)?shù)據(jù)、水位壓力數(shù)據(jù)和水聲紋數(shù)據(jù)任一項(xiàng)存在單數(shù)據(jù)異常，則輸出單一環(huán)境數(shù)據(jù)異常數(shù)據(jù)報(bào)告，并檢測(cè)所述傳感器單元是否異常；

12、所述二級(jí)驗(yàn)證包括時(shí)序關(guān)聯(lián)驗(yàn)證和空間傳播驗(yàn)證，所述時(shí)序關(guān)聯(lián)驗(yàn)證用于建立連續(xù)時(shí)間戳扭矩?cái)?shù)據(jù)突變、失衡和解耦，所述空間傳播驗(yàn)證用于獲取水位壓力數(shù)據(jù)和水聲紋數(shù)據(jù)突變、失衡和解耦。

13、作為本發(fā)明基于環(huán)境感知驅(qū)動(dòng)的多模態(tài)數(shù)據(jù)融合分析判斷方法的一種優(yōu)選方案，其中：

14、所述推移單元包括扭矩推移單元、水位壓力推移單元和水聲紋推移單元；

15、所述扭矩推移單元以帶有時(shí)間戳標(biāo)簽的扭矩特征為輸入，通過(guò)實(shí)時(shí)監(jiān)測(cè)連續(xù)時(shí)間戳內(nèi)的扭矩特征，獲取上一時(shí)刻扭矩特征與當(dāng)前時(shí)刻扭矩特征差異和獲取下一時(shí)刻扭矩特征與當(dāng)前時(shí)刻扭矩特征差異，觸發(fā)連續(xù)時(shí)間內(nèi)異常標(biāo)記。

16、作為本發(fā)明基于環(huán)境感知驅(qū)動(dòng)的多模態(tài)數(shù)據(jù)融合分析判斷方法的一種優(yōu)選方案，其中：

17、所述水位壓力推移單元設(shè)置水位壓力預(yù)測(cè)模型，通過(guò)所述水位壓力預(yù)測(cè)模型預(yù)測(cè)下一時(shí)刻水位壓力數(shù)據(jù)，并通過(guò)突變檢測(cè)，標(biāo)記浸水風(fēng)險(xiǎn)；

18、所述突變檢測(cè)包括預(yù)測(cè)壓力與實(shí)際值的梯度變化是否出現(xiàn)突變，通過(guò)短時(shí)傅里葉變換對(duì)壓力信號(hào)進(jìn)行處理，識(shí)別高頻信號(hào)分量突增部分；

19、所述水聲紋推移單元設(shè)置聲紋分類(lèi)模型和水聲紋識(shí)別單元。

20、作為本發(fā)明基于環(huán)境感知驅(qū)動(dòng)的多模態(tài)數(shù)據(jù)融合分析判斷方法的一種優(yōu)選方案，其中：

21、所述聲紋分類(lèi)模型用于對(duì)水聲紋識(shí)別單元獲取的水聲紋進(jìn)行處理，通過(guò)聲紋分類(lèi)模型獲取聲紋的頻譜特征，并對(duì)所述頻譜特征進(jìn)行分類(lèi)，包括暴雨沖擊、機(jī)械振動(dòng)和人為操作；

22、所述水聲紋識(shí)別單元用于獲取多環(huán)境水聲數(shù)據(jù)和水聲紋優(yōu)化，所述多環(huán)境水聲包括天氣影響水聲紋特征和人為操作影響水聲紋特征，所述水聲紋優(yōu)化用于對(duì)獲取的水聲紋進(jìn)行優(yōu)化。

23、作為本發(fā)明基于環(huán)境感知驅(qū)動(dòng)的多模態(tài)數(shù)據(jù)融合分析判斷方法的一種優(yōu)選方案，其中：

24、獲取連續(xù)時(shí)間內(nèi)的扭矩變化率、水壓梯度變化率和水聲紋頻譜特征；

25、通過(guò)連續(xù)時(shí)間戳內(nèi)扭矩變化率，驅(qū)動(dòng)扭矩推移單元接收連續(xù)時(shí)間戳內(nèi)的扭矩變化率，調(diào)整扭矩參數(shù)推移步長(zhǎng)，若單位時(shí)間扭矩?cái)?shù)據(jù)變化率大于最高權(quán)重，則縮短扭矩參數(shù)推移步長(zhǎng)，若單位時(shí)間內(nèi)扭矩?cái)?shù)據(jù)變化率未超過(guò)最高權(quán)重，則進(jìn)入待調(diào)整狀態(tài)；

26、通過(guò)連續(xù)時(shí)間戳水壓力變化加速度調(diào)整步長(zhǎng)推移長(zhǎng)度，若t-1至t時(shí)刻的時(shí)間戳水壓力變化加速度上升大于t-2至t-1時(shí)刻的連續(xù)時(shí)間戳水壓力變化加速度，且加速度上升大于最小閾值，則壓縮步長(zhǎng)比例；

27、通過(guò)所述水聲紋識(shí)別單元獲取水聲學(xué)信號(hào)，并通過(guò)聲學(xué)特征庫(kù)比對(duì)，激活步長(zhǎng)調(diào)整，若通過(guò)水聲紋頻譜捕捉頻段聲學(xué)信號(hào)為氣泡破裂和渦流，則判斷為浸水，調(diào)整水聲紋推移單元聲紋推移步長(zhǎng)。

28、作為本發(fā)明基于環(huán)境感知驅(qū)動(dòng)的多模態(tài)數(shù)據(jù)融合分析判斷方法的一種優(yōu)選方案，其中：

29、通過(guò)設(shè)置步長(zhǎng)邊界限制用于接收調(diào)整的聲紋推移步長(zhǎng)、水壓力壓縮步長(zhǎng)比例和調(diào)整后的扭矩推移步長(zhǎng)，并設(shè)置強(qiáng)度等級(jí)，所述強(qiáng)度等級(jí)包括低擾動(dòng)和中高擾動(dòng)；

30、通過(guò)調(diào)整步長(zhǎng)邊界，觸發(fā)冗余邊界緩沖層對(duì)步長(zhǎng)調(diào)整做臨時(shí)容忍，若步長(zhǎng)短暫超出額定邊界，實(shí)際調(diào)整后的總步長(zhǎng)數(shù)量不大于冗余邊界緩沖層最大步長(zhǎng)數(shù)量，若緩沖層停留時(shí)間超過(guò)閾值，則立即切換至最小安全步長(zhǎng)。

31、作為本發(fā)明基于環(huán)境感知驅(qū)動(dòng)的多模態(tài)數(shù)據(jù)融合分析判斷方法的一種優(yōu)選方案，其中：

32、若所述推移單元調(diào)整后扭矩變化率、水壓梯度變化率和水聲紋頻譜特征處于冗余邊界緩沖層穩(wěn)定域，則根據(jù)實(shí)時(shí)數(shù)據(jù)繼續(xù)調(diào)整所述推移單元推移的步長(zhǎng)；

33、若所述推移單元調(diào)整步長(zhǎng)的總補(bǔ)償數(shù)量不大于冗余邊界緩沖層最大步長(zhǎng)數(shù)量，并且緩沖層停留時(shí)間大于閾值，則觸發(fā)步長(zhǎng)凍結(jié)。

34、作為本發(fā)明基于環(huán)境感知驅(qū)動(dòng)的多模態(tài)數(shù)據(jù)融合分析判斷方法的一種優(yōu)選方案，其中：

35、若判斷封閉空間需要分離，所述封閉空間艙門(mén)設(shè)置密封膠條，艙門(mén)關(guān)閉時(shí)處于封閉狀態(tài)，封閉空間連接外界處設(shè)置位置密封圈，線控控制全部設(shè)置傳感器將物理控制轉(zhuǎn)換成數(shù)字信號(hào)，并傳輸主控制器，由主控制器控制封閉空間機(jī)構(gòu)連接件和電氣連接件分離；

36、封閉空間接收多模態(tài)數(shù)據(jù)分析輸出的分離信號(hào)，則觸發(fā)封閉空間與動(dòng)力空間分離，觸發(fā)空調(diào)通風(fēng)管道關(guān)閉，觸發(fā)封閉空間外可充氣氣囊充氣，并觸發(fā)分離平衡器，所述平衡器將重量向傾斜的縱向及橫向的上方移動(dòng)以維持趨近水平狀態(tài)，最終完成封閉空間與動(dòng)力空間的分離。

37、作為本發(fā)明基于環(huán)境感知驅(qū)動(dòng)的多模態(tài)數(shù)據(jù)融合分析判斷方法的一種優(yōu)選方案，其中：

38、若封閉空間不需要分離，無(wú)分離機(jī)構(gòu)的封閉空間接收多模態(tài)數(shù)據(jù)分析輸出的相應(yīng)信號(hào)后，觸發(fā)空調(diào)通風(fēng)管道關(guān)閉，觸發(fā)封閉空間外可充氣氣囊充氣，并觸發(fā)平衡器，所述平衡器將重量向傾斜的縱向及橫向的上方移動(dòng)以維持趨近水平狀態(tài)，觸發(fā)封閉空間與動(dòng)力空間的電氣隔斷，最終完成整體漂浮。

39、本發(fā)明的有益效果：

40、本技術(shù)通過(guò)時(shí)序關(guān)聯(lián)（扭矩連續(xù)突變）與空間傳播（壓力波與聲紋時(shí)差匹配）的雙重驗(yàn)證，提升了浸水判斷置信度，冗余邊界緩沖層允許步長(zhǎng)臨時(shí)越界（如超理論值10%），在保障安全性的前提下減少過(guò)度約束導(dǎo)致的動(dòng)作滯后，通過(guò)設(shè)置多個(gè)推移單元，實(shí)現(xiàn)多環(huán)境參數(shù)并行高效單獨(dú)處理，提高了多模態(tài)融合分析對(duì)封閉空間和動(dòng)力空間的分析效率和精確度，通過(guò)設(shè)置邊界冗余和步長(zhǎng)調(diào)節(jié)凍結(jié)機(jī)制，實(shí)現(xiàn)了多環(huán)境感知最大限度調(diào)整步長(zhǎng)，提高多模態(tài)響應(yīng)速度。