本發(fā)明屬于車(chē)聯(lián)網(wǎng)大數(shù)據(jù)領(lǐng)域，尤其為一種車(chē)聯(lián)網(wǎng)異常信號(hào)檢測(cè)與數(shù)據(jù)處理方法、系統(tǒng)及裝置。

背景技術(shù)：

1、智能汽車(chē)越來(lái)越普及，車(chē)輛行駛安全是人們關(guān)注的焦點(diǎn)。車(chē)聯(lián)網(wǎng)通過(guò)車(chē)身各類(lèi)傳感器采集的數(shù)據(jù)，進(jìn)行實(shí)時(shí)解析、實(shí)時(shí)計(jì)算，發(fā)現(xiàn)不良駕駛習(xí)慣或預(yù)測(cè)潛在故障，再向用戶端發(fā)出告警。但是在實(shí)際運(yùn)行中，車(chē)輛進(jìn)入隧道、地下車(chē)庫(kù)或出現(xiàn)其它網(wǎng)絡(luò)異常，經(jīng)常會(huì)出現(xiàn)數(shù)據(jù)采集中斷、采集延遲、采集順序混亂等情形，導(dǎo)致車(chē)輛異常檢測(cè)的相關(guān)算法、模型漏算或錯(cuò)算等問(wèn)題。此外，車(chē)輛與車(chē)輛(v2v)、車(chē)輛與基礎(chǔ)設(shè)施(v2i)、車(chē)輛與云端(v2c)之間的通信變得越來(lái)越頻繁和復(fù)雜。車(chē)聯(lián)網(wǎng)系統(tǒng)通過(guò)傳感器、通信模塊和計(jì)算平臺(tái)，實(shí)時(shí)采集和傳輸大量的車(chē)輛運(yùn)行數(shù)據(jù)、環(huán)境數(shù)據(jù)以及用戶行為數(shù)據(jù)。這些數(shù)據(jù)不僅包括車(chē)輛的速度、加速度、位置等基本信息，還可能涉及發(fā)動(dòng)機(jī)狀態(tài)、電池狀態(tài)、駕駛行為等復(fù)雜信息。這些數(shù)據(jù)的實(shí)時(shí)處理和異常檢測(cè)對(duì)于保障車(chē)輛安全、提高交通效率、優(yōu)化用戶體驗(yàn)具有重要意義。

2、然而，車(chē)聯(lián)網(wǎng)數(shù)據(jù)的處理面臨以下幾個(gè)主要挑戰(zhàn)：

3、數(shù)據(jù)量大且實(shí)時(shí)性要求高：車(chē)聯(lián)網(wǎng)終端設(shè)備(如車(chē)載傳感器、gps模塊等)每秒都會(huì)產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)需要實(shí)時(shí)傳輸?shù)皆贫诉M(jìn)行處理。傳統(tǒng)的批量數(shù)據(jù)處理方法無(wú)法滿足實(shí)時(shí)性要求，而單純的流式處理又可能因?yàn)閿?shù)據(jù)延遲或丟失而導(dǎo)致檢測(cè)不準(zhǔn)確。

4、數(shù)據(jù)延遲與亂序問(wèn)題：由于網(wǎng)絡(luò)傳輸?shù)牟环€(wěn)定性，車(chē)聯(lián)網(wǎng)數(shù)據(jù)在傳輸過(guò)程中可能會(huì)出現(xiàn)延遲或亂序到達(dá)的情況。如何在流式處理中正確處理延遲和亂序數(shù)據(jù)，確保異常檢測(cè)的準(zhǔn)確性，是一個(gè)重要的技術(shù)難題。

5、異常信號(hào)的復(fù)雜性：車(chē)聯(lián)網(wǎng)中的異常信號(hào)可能表現(xiàn)為瞬時(shí)異常(如傳感器突然失效)或持續(xù)異常(如某個(gè)部件的長(zhǎng)期故障)。瞬時(shí)異?？梢酝ㄟ^(guò)流式處理實(shí)時(shí)檢測(cè)，而持續(xù)異常則需要結(jié)合歷史數(shù)據(jù)進(jìn)行批量分析。如何有效結(jié)合流式處理和批量處理，實(shí)現(xiàn)對(duì)不同類(lèi)型異常信號(hào)的準(zhǔn)確檢測(cè)，是車(chē)聯(lián)網(wǎng)數(shù)據(jù)處理中的一個(gè)關(guān)鍵問(wèn)題。

6、計(jì)算資源的優(yōu)化利用：車(chē)聯(lián)網(wǎng)數(shù)據(jù)的處理需要在云端進(jìn)行，如何合理分配計(jì)算資源，確保流式處理和批量處理的高效運(yùn)行，同時(shí)降低計(jì)算成本，是車(chē)聯(lián)網(wǎng)系統(tǒng)設(shè)計(jì)中的一個(gè)重要考慮因素。

7、現(xiàn)有技術(shù)的不足

8、現(xiàn)有的車(chē)聯(lián)網(wǎng)數(shù)據(jù)處理方法通常采用單一的流式處理或批量處理方式，難以同時(shí)滿足實(shí)時(shí)性和準(zhǔn)確性的要求。具體來(lái)說(shuō)：

9、單一的流式處理：雖然能夠?qū)崟r(shí)處理數(shù)據(jù)，但對(duì)于延遲或亂序到達(dá)的數(shù)據(jù)處理能力有限，容易導(dǎo)致異常信號(hào)的漏檢或誤檢。

10、單一的批量處理：雖然能夠處理大量歷史數(shù)據(jù)，但無(wú)法滿足實(shí)時(shí)性要求，無(wú)法及時(shí)響應(yīng)瞬時(shí)異常信號(hào)。

11、此外，現(xiàn)有的異常檢測(cè)模型通常只針對(duì)特定類(lèi)型的異常信號(hào)，缺乏對(duì)不同類(lèi)型異常信號(hào)的綜合處理能力。因此，如何設(shè)計(jì)一種能夠有效結(jié)合流式處理和批量處理的車(chē)聯(lián)網(wǎng)異常信號(hào)檢測(cè)方法，成為當(dāng)前技術(shù)領(lǐng)域的一個(gè)重要研究方向。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的，提供一種車(chē)聯(lián)網(wǎng)異常信號(hào)檢測(cè)與數(shù)據(jù)處理方法、系統(tǒng)及裝置，以解決在車(chē)聯(lián)網(wǎng)發(fā)生數(shù)據(jù)采集中斷、采集延遲、采集順序混亂等情形，導(dǎo)致車(chē)輛的異常檢測(cè)或相關(guān)數(shù)據(jù)分析模型不能準(zhǔn)確計(jì)算等問(wèn)題。

2、技術(shù)方案，一種車(chē)聯(lián)網(wǎng)異常信號(hào)檢測(cè)與數(shù)據(jù)處理方法、系統(tǒng)及裝置，基于車(chē)聯(lián)網(wǎng)云端的大數(shù)據(jù)計(jì)算能力，實(shí)現(xiàn)流式數(shù)據(jù)實(shí)時(shí)計(jì)算與批量數(shù)據(jù)離線計(jì)算的有效結(jié)合，包括以下步驟：

3、步驟s1、車(chē)聯(lián)網(wǎng)終端設(shè)備采集信號(hào)數(shù)據(jù)并發(fā)送至大數(shù)據(jù)中心；

4、步驟s2、流式數(shù)據(jù)處理：步驟s1的數(shù)據(jù)實(shí)時(shí)生成并連續(xù)到達(dá)后，按一定的規(guī)則劃分時(shí)間窗口連續(xù)地處理，流式數(shù)據(jù)進(jìn)入預(yù)配置的流式信號(hào)處理模塊進(jìn)行處理；其具體步驟如下：

5、步驟s21、首先定義兩個(gè)時(shí)間，一是數(shù)據(jù)產(chǎn)生的時(shí)間，稱為事件時(shí)間，它的值在數(shù)據(jù)采集時(shí)自動(dòng)產(chǎn)生，和采集設(shè)備測(cè)量的信號(hào)值同時(shí)發(fā)出；一是數(shù)據(jù)到達(dá)大數(shù)據(jù)云端信號(hào)處理模塊的時(shí)間，稱為接收時(shí)間；

6、步驟s21、先按接收時(shí)間進(jìn)行排序，再對(duì)數(shù)據(jù)按接收時(shí)間切分時(shí)間窗口，數(shù)據(jù)按此時(shí)間窗口被連續(xù)地處理；

7、步驟s22、在步驟s21的時(shí)間窗口內(nèi)對(duì)數(shù)據(jù)按事件時(shí)間重新排序，比較數(shù)據(jù)接收時(shí)間和事件時(shí)間，判斷延遲到達(dá)的數(shù)據(jù)；如果延遲時(shí)間不超過(guò)一定的等待時(shí)間，該等待時(shí)間不超過(guò)上述時(shí)間窗口的十分之一，則數(shù)據(jù)在當(dāng)前時(shí)間窗口處理，否則舍棄延遲的數(shù)據(jù)；

8、步驟s23、根據(jù)預(yù)配置的檢測(cè)模型，在上述劃分的時(shí)間窗口內(nèi)計(jì)算數(shù)據(jù)指標(biāo)，判斷是否屬于異常信號(hào)；

9、步驟s24、如果發(fā)現(xiàn)異常信號(hào)，則觸發(fā)下游預(yù)配置的異常消息構(gòu)造模塊生成異常消息，并通過(guò)預(yù)配置的異常消息發(fā)送模塊發(fā)送異常消息，同時(shí)將該異常消息保存至數(shù)據(jù)倉(cāng)庫(kù)；

10、步驟s25、流式信號(hào)處理過(guò)程在采集數(shù)據(jù)發(fā)送至大數(shù)據(jù)中心的過(guò)程中，持續(xù)不間斷的進(jìn)行；

11、步驟s3、批量數(shù)據(jù)處理：數(shù)據(jù)積累到一定量后統(tǒng)一處理，一般為一小時(shí)或一天；批量數(shù)據(jù)進(jìn)入預(yù)配置的批量信號(hào)處理模塊進(jìn)行處理；其具體步驟如下：

12、步驟s31、首先定義兩個(gè)時(shí)間，一是數(shù)據(jù)產(chǎn)生的時(shí)間，稱為事件時(shí)間，它的值在數(shù)據(jù)采集時(shí)自動(dòng)產(chǎn)生，和采集設(shè)備測(cè)量的信號(hào)值同時(shí)發(fā)出；一是數(shù)據(jù)到達(dá)大數(shù)據(jù)云端信號(hào)處理模塊的時(shí)間，稱為接收時(shí)間；

13、步驟s32、批量數(shù)據(jù)積累至一定量后在數(shù)據(jù)倉(cāng)庫(kù)按接收時(shí)間進(jìn)行分區(qū)存儲(chǔ)，以小時(shí)或天為單位分區(qū)存儲(chǔ)；

14、步驟s33、對(duì)批量數(shù)據(jù)按事件時(shí)間重新分區(qū)存儲(chǔ)，讀取多天的按接收時(shí)間分區(qū)的數(shù)據(jù)，用以得到一個(gè)完整的按事件時(shí)間分區(qū)的數(shù)據(jù)；

15、步驟s34、基于重新分區(qū)的數(shù)據(jù)計(jì)算指標(biāo)，采用預(yù)配置的檢測(cè)模型檢測(cè)異常信號(hào)，對(duì)于跨分區(qū)的持續(xù)異常信號(hào)需要綜合多個(gè)分區(qū)的數(shù)據(jù)進(jìn)行計(jì)算；

16、步驟s35、將批量計(jì)算檢測(cè)到的異常信號(hào)與數(shù)據(jù)倉(cāng)庫(kù)保存的流式計(jì)算檢測(cè)到的異常信號(hào)進(jìn)行比較，以批量計(jì)算為準(zhǔn)，篩選出流式計(jì)算未發(fā)現(xiàn)或未準(zhǔn)確計(jì)算的異常信號(hào)；

17、步驟s36、以篩選出的異常信號(hào)，觸發(fā)下游預(yù)配置的異常消息構(gòu)造模塊生成異常消息，并通過(guò)預(yù)配置的異常消息發(fā)送模塊發(fā)送異常消息，同時(shí)將這些異常消息保存至數(shù)據(jù)倉(cāng)庫(kù)；

18、步驟s37、批量信號(hào)處理過(guò)程在采集數(shù)據(jù)發(fā)送至大數(shù)據(jù)中心并保存至數(shù)據(jù)倉(cāng)庫(kù)后，每小時(shí)或每天進(jìn)行一次。

19、根據(jù)本發(fā)明進(jìn)一步改進(jìn)，所述預(yù)配置的檢測(cè)模型可以根據(jù)業(yè)務(wù)需要，在數(shù)千個(gè)車(chē)聯(lián)網(wǎng)信號(hào)中選擇輸入變量，設(shè)定檢測(cè)模型，設(shè)定輸出指標(biāo)；該模型被編譯為pickle文件，用以定義與執(zhí)行判斷規(guī)則外，還可支持編譯復(fù)雜的機(jī)器學(xué)習(xí)模型，同時(shí)支持跨平臺(tái)運(yùn)行，保證流式信號(hào)處理模塊和批量信號(hào)處理模塊都易于解析和進(jìn)行計(jì)算。

20、根據(jù)本發(fā)明進(jìn)一步改進(jìn)，所述預(yù)配置的異常消息構(gòu)造模塊主要進(jìn)行如下操作：

21、從數(shù)據(jù)倉(cāng)庫(kù)讀取車(chē)聯(lián)網(wǎng)信號(hào)釋義表，將一般用戶不易識(shí)別的車(chē)聯(lián)網(wǎng)信號(hào)編碼轉(zhuǎn)化為中文內(nèi)容；

22、異常消息內(nèi)容使用markdown語(yǔ)言編寫(xiě)，保證輸出消息的結(jié)構(gòu)有較好的可讀性。

23、根據(jù)本發(fā)明進(jìn)一步改進(jìn)，所述異常消息發(fā)送模塊為標(biāo)準(zhǔn)化的api數(shù)據(jù)接口，通過(guò)觸發(fā)該接口，可根據(jù)需要將異常消息發(fā)送至app終端、web監(jiān)控頁(yè)面、釘釘消息或微信服務(wù)號(hào)。

24、有益效果：本發(fā)明充分利用了車(chē)聯(lián)網(wǎng)云端的大數(shù)據(jù)計(jì)算能力，實(shí)現(xiàn)流式計(jì)算與批量計(jì)算的有效結(jié)合，解決了在車(chē)聯(lián)網(wǎng)發(fā)生數(shù)據(jù)采集中斷、采集延遲、采集順序混亂等情形時(shí)，導(dǎo)致車(chē)輛異常檢測(cè)的漏算、錯(cuò)算等問(wèn)題。該方案及系統(tǒng)既保證了異常檢測(cè)模型計(jì)算的實(shí)時(shí)性，也保證了準(zhǔn)確性和完整性。

25、在實(shí)踐中，該方案及系統(tǒng)在提升行車(chē)安全、降低交通事故風(fēng)險(xiǎn)、提前發(fā)現(xiàn)潛在故障、延長(zhǎng)車(chē)輛使用壽命等方面發(fā)揮了積極作用。