本發(fā)明屬于數(shù)據(jù)處理，尤其涉及一種基于神經(jīng)網(wǎng)絡(luò)道路高頻數(shù)據(jù)頻率重采樣處理的方法及系統(tǒng)。

背景技術(shù)：

1、道路高頻數(shù)據(jù)通常具備極高的采樣頻率，但各類(lèi)傳感器的數(shù)據(jù)采樣頻率往往存在較大差異，導(dǎo)致數(shù)據(jù)融合和分析工作復(fù)雜且耗時(shí)。當(dāng)完成這些海量高頻數(shù)據(jù)的采集后，隨之而來(lái)的數(shù)據(jù)時(shí)間戳對(duì)齊、多傳感器數(shù)據(jù)融合、以及后續(xù)數(shù)據(jù)分析工作往往面臨巨大的技術(shù)挑戰(zhàn)。這些困難不僅源于傳感器數(shù)據(jù)的復(fù)雜性和多樣性，還因不同應(yīng)用場(chǎng)景對(duì)采樣頻率的特定需求而進(jìn)一步加劇。

2、為了有效應(yīng)對(duì)這些挑戰(zhàn)，本技術(shù)提出了一種基于神經(jīng)網(wǎng)絡(luò)的道路高頻數(shù)據(jù)自適應(yīng)采樣頻率處理方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明目的在于一種針對(duì)不同采樣頻率的高頻數(shù)據(jù)進(jìn)行自適應(yīng)降采樣或升采樣的機(jī)制，從而實(shí)現(xiàn)對(duì)多種傳感器數(shù)據(jù)的高效處理，最終輸出具有最佳采樣頻率的融合數(shù)據(jù)。

2、為解決上述技術(shù)問(wèn)題，本發(fā)明的具體技術(shù)方案如下：

3、本技術(shù)的一些實(shí)施例中，提供了一種基于神經(jīng)網(wǎng)絡(luò)道路高頻數(shù)據(jù)頻率重采樣處理的方法及系統(tǒng)，包括以下步驟：

4、步驟1)傳感器數(shù)據(jù)預(yù)處理；

5、步驟2)對(duì)傳感器數(shù)據(jù)進(jìn)行采樣頻率標(biāo)注，通過(guò)采樣頻率標(biāo)注針對(duì)不同傳感器數(shù)據(jù)特征和應(yīng)用需求為數(shù)據(jù)確定合理的采樣頻率；

6、步驟3)對(duì)所有傳感器數(shù)據(jù)采樣頻率對(duì)齊，將所有傳感器的數(shù)據(jù)會(huì)被處理為相同的采樣頻率；

7、步驟4)使用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)數(shù)據(jù)的最優(yōu)降采樣或升采樣頻率，通過(guò)使用卷積神經(jīng)網(wǎng)絡(luò)(cnn)，自動(dòng)學(xué)習(xí)多傳感器數(shù)據(jù)中與采樣頻率選擇相關(guān)的深層特征；

8、步驟5)使用transformer模型對(duì)數(shù)據(jù)根據(jù)預(yù)測(cè)的采樣頻率進(jìn)行處理，通過(guò)使用transformer模型對(duì)傳感器數(shù)據(jù)進(jìn)行采樣頻率的優(yōu)化處理。

9、本技術(shù)的一些實(shí)施例中，步驟1中傳感器數(shù)據(jù)預(yù)處理包括：

10、步驟1.1)采樣頻率確認(rèn)；

11、步驟1.2)數(shù)據(jù)格式轉(zhuǎn)換：其中，數(shù)據(jù)轉(zhuǎn)換公式如下：

12、

13、其中，scale_factor根據(jù)傳感器的量程進(jìn)行設(shè)置；

14、步驟1.3)數(shù)據(jù)清洗，并進(jìn)行缺失值填補(bǔ)；

15、步驟1.3.1)線性插值：使用相鄰數(shù)據(jù)點(diǎn)的平均值對(duì)缺失值進(jìn)行填補(bǔ)，如下式：

16、

17、步驟1.3.2)均值填補(bǔ)：對(duì)于非時(shí)序影響較小的數(shù)據(jù)，可使用該傳感器所有數(shù)據(jù)的均值進(jìn)行填補(bǔ)：

18、xfilled＝mean(xnon-missing)；

19、步驟1.3.3)基于統(tǒng)計(jì)模型的填補(bǔ)：對(duì)于缺失數(shù)據(jù)，使用貝葉斯推斷或馬爾可夫鏈蒙特卡洛(mcmc)等方法進(jìn)行填補(bǔ)；其中，均值填補(bǔ)為對(duì)于非時(shí)序影響較小的數(shù)據(jù)，使用該傳感器所有數(shù)據(jù)的均值進(jìn)行填補(bǔ)：

20、xfilled＝mean(xnon-missing)；

21、步驟1.3.4)基于統(tǒng)計(jì)模型的填補(bǔ)：對(duì)于缺失數(shù)據(jù)，使用貝葉斯推斷或馬爾可夫鏈蒙特卡洛方法進(jìn)行填補(bǔ)，以提高填補(bǔ)值的準(zhǔn)確性；

22、步驟1.4)異常值檢測(cè)和處理；

23、步驟1.4.1)3倍標(biāo)準(zhǔn)差法：當(dāng)數(shù)據(jù)點(diǎn)與均值差異超過(guò)3倍標(biāo)準(zhǔn)差，則判定為異常值：

24、xoutlier>μ+3σ或xoutlier<μ-3σ；

25、步驟1.4.2)箱線圖法：通過(guò)箱線圖識(shí)別數(shù)據(jù)的上下四分位范圍，超過(guò)四分位間距1.5倍的點(diǎn)視為異常值；

26、步驟1.4.3)處理方式：對(duì)于檢測(cè)到的異常值，選擇用前后均值替代、插值法替代，或直接剔除；

27、步驟1.5)數(shù)據(jù)歸一化處理；

28、步驟1.5.1)最小-最大歸一化：將數(shù)據(jù)縮放至[0,1]范圍，采用下式：

29、

30、步驟1.5.2)z-score歸一化：對(duì)于呈正態(tài)分布的數(shù)據(jù)，將數(shù)據(jù)按標(biāo)準(zhǔn)差縮放，以均值為中心：

31、

32、其中，μ為均值，σ為標(biāo)準(zhǔn)差；

33、步驟1.5.3)對(duì)數(shù)歸一化：針對(duì)值域跨度大的數(shù)據(jù)，使用對(duì)數(shù)歸一化：

34、xnorm＝log(x+1)。

35、本技術(shù)的一些實(shí)施例中，步驟2中對(duì)傳感器數(shù)據(jù)進(jìn)行采樣頻率標(biāo)注包括：

36、步驟2.1)確定各傳感器的原始采樣頻率和數(shù)據(jù)特征，在標(biāo)注之前，對(duì)每種傳感器的原始采樣頻率fi及其數(shù)據(jù)特征進(jìn)行分析；

37、步驟2.2)人工經(jīng)驗(yàn)標(biāo)注最優(yōu)頻率；

38、步驟2.3)數(shù)據(jù)分析輔助確定標(biāo)注，采用數(shù)據(jù)分析方法對(duì)不同采樣頻率的數(shù)據(jù)進(jìn)行對(duì)比分析，確定最優(yōu)降采樣或升采樣的頻率；

39、步驟2.4)建立采樣頻率標(biāo)注表，在完成數(shù)據(jù)特征分析和人工標(biāo)注后，需要將最優(yōu)的采樣頻率標(biāo)注結(jié)果以結(jié)構(gòu)化表格的形式記錄下來(lái)，形成采樣頻率標(biāo)注表；

40、步驟2.5)標(biāo)注的優(yōu)化與驗(yàn)證。

41、本技術(shù)的一些實(shí)施例中，步驟3：所有傳感器數(shù)據(jù)采樣頻率對(duì)齊中包括：

42、步驟3.1)確定統(tǒng)一的采樣頻率基準(zhǔn)，在對(duì)齊過(guò)程中，將所有傳感器的數(shù)據(jù)采樣頻率對(duì)齊到數(shù)據(jù)集中最高的實(shí)際采樣頻率，選擇最高頻率作為基準(zhǔn)保留原始數(shù)據(jù)的最大細(xì)節(jié)信息；

43、步驟3.2)數(shù)據(jù)插值法對(duì)低頻數(shù)據(jù)進(jìn)行升頻，在多傳感器對(duì)齊過(guò)程中，低采樣頻率的傳感器數(shù)據(jù)需要進(jìn)行升頻操作，將其采樣點(diǎn)對(duì)齊到目標(biāo)頻率；

44、步驟3.3)重復(fù)采樣法對(duì)高頻數(shù)據(jù)進(jìn)行降頻，對(duì)于部分傳感器的數(shù)據(jù)采樣頻率高于對(duì)齊頻率，可以通過(guò)降頻來(lái)減少數(shù)據(jù)量；

45、步驟3.4)時(shí)間戳同步，在完成升頻和降頻后，需要確保每個(gè)傳感器的數(shù)據(jù)與目標(biāo)采樣頻率上的時(shí)間戳完全一致；

46、步驟3.5)采樣頻率對(duì)齊結(jié)果驗(yàn)證，在完成采樣頻率對(duì)齊之后，通過(guò)數(shù)據(jù)驗(yàn)證方法來(lái)評(píng)估對(duì)齊結(jié)果的準(zhǔn)確性；

47、步驟3.6)輸出對(duì)齊后的多傳感器數(shù)據(jù)，在完成采樣頻率對(duì)齊、插值、標(biāo)準(zhǔn)化等處理后，將多傳感器數(shù)據(jù)輸出為統(tǒng)一的時(shí)間序列數(shù)據(jù)。

48、本技術(shù)的一些實(shí)施例中，步驟4：使用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)數(shù)據(jù)的最優(yōu)降采樣或升采樣頻率中包括：

49、步驟4.1)輸入數(shù)據(jù)矩陣的構(gòu)建，將所有傳感器數(shù)據(jù)被整合為一個(gè)矩陣，該矩陣的每一行表示來(lái)自不同傳感器的時(shí)間對(duì)齊數(shù)據(jù)；

50、步驟4.2)模型的輸出；

51、步驟4.3)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)；

52、步驟4.4)使用模型進(jìn)行預(yù)測(cè)。

53、本技術(shù)的一些實(shí)施例中，步驟5：使用transformer模型對(duì)數(shù)據(jù)根據(jù)預(yù)測(cè)的采樣頻率進(jìn)行處理中包括：

54、步驟5.1)transformer模型的輸入和結(jié)構(gòu)，transformer模型的輸入由某個(gè)預(yù)處理后的傳感器數(shù)據(jù)和最優(yōu)采樣頻率構(gòu)成；

55、步驟5.2)transformer的編碼和解碼模塊，包括編碼器和解碼器兩個(gè)模塊；

56、步驟5.3)使用transformer進(jìn)行預(yù)測(cè)；

57、步驟5.4)保存預(yù)測(cè)結(jié)果與應(yīng)用；

58、步驟5.5)預(yù)測(cè)結(jié)果的驗(yàn)證與反饋。

59、在本技術(shù)的一些實(shí)施例中，公開(kāi)了一種基于神經(jīng)網(wǎng)絡(luò)道路高頻數(shù)據(jù)頻率重采樣處理系統(tǒng)，采用上述技術(shù)方案，其中，包括：

60、數(shù)據(jù)處理模塊，所述數(shù)據(jù)處理模塊用于將采集的數(shù)據(jù)進(jìn)行格式統(tǒng)一、清理數(shù)據(jù)缺失值和調(diào)整數(shù)值尺度；

61、數(shù)據(jù)標(biāo)注模塊，所述數(shù)據(jù)標(biāo)注模塊通過(guò)接收數(shù)據(jù)處理模塊所處理后的數(shù)據(jù)信息，并根據(jù)不同的特征進(jìn)行分類(lèi)標(biāo)注；

62、數(shù)據(jù)對(duì)齊模塊，所述數(shù)據(jù)對(duì)齊模塊通過(guò)對(duì)分類(lèi)標(biāo)注后的數(shù)據(jù)信息進(jìn)行對(duì)齊處理；

63、數(shù)據(jù)識(shí)別模塊，所述數(shù)據(jù)識(shí)別模塊通過(guò)接收對(duì)齊處理后的數(shù)據(jù)信息，使用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)數(shù)據(jù)的最優(yōu)降采樣或升采樣頻率，從而識(shí)別和區(qū)分?jǐn)?shù)據(jù)的頻率信息及其在時(shí)間序列中的局部模式，并且識(shí)別到不同傳感器數(shù)據(jù)之間的關(guān)系和聯(lián)系。

64、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于，通過(guò)基于神經(jīng)網(wǎng)絡(luò)和transformer大模型的自適應(yīng)采樣頻率處理，系統(tǒng)能夠?qū)崿F(xiàn)對(duì)多傳感器數(shù)據(jù)的最優(yōu)降采樣或升采樣處理。處理后的數(shù)據(jù)既能保持傳感器原始數(shù)據(jù)的特性和與其他傳感器數(shù)據(jù)的相關(guān)性，同時(shí)也能在不影響數(shù)據(jù)分析和存儲(chǔ)效率的情況下顯著節(jié)省存儲(chǔ)空間。這一方法適用于智能交通、自動(dòng)駕駛等高頻數(shù)據(jù)分析場(chǎng)景，并具有良好的擴(kuò)展性和應(yīng)用潛力。