本發(fā)明涉及網(wǎng)路安全，特別是一種基于transformer的物聯(lián)網(wǎng)入侵檢測方法。

背景技術(shù)：

1、隨著物聯(lián)網(wǎng)技術(shù)的快速發(fā)展，越來越多的設(shè)備被連接到網(wǎng)絡(luò)中，這不僅帶來了便利，也帶來了前所未有的安全挑戰(zhàn)。物聯(lián)網(wǎng)設(shè)備由于其計(jì)算能力和存儲(chǔ)資源的限制，往往缺乏完善的安全防護(hù)機(jī)制，成為網(wǎng)絡(luò)攻擊的易受害目標(biāo)。因此，高效、準(zhǔn)確的物聯(lián)網(wǎng)入侵檢測系統(tǒng)變得尤為重要。

2、傳統(tǒng)的入侵檢測方法主要分為基于簽名的檢測和基于異常的檢測?；诤灻臋z測方法雖然在識(shí)別已知攻擊方面表現(xiàn)出色，但對(duì)于新型或變種攻擊卻無能為力?；诋惓５臋z測方法雖然具有發(fā)現(xiàn)未知攻擊的潛力，但往往面臨著高誤報(bào)率的問題。

3、近年來，隨著機(jī)器學(xué)習(xí)技術(shù)的進(jìn)步，基于機(jī)器學(xué)習(xí)的入侵檢測方法逐漸成為研究熱點(diǎn)。其中，深度學(xué)習(xí)方法因其強(qiáng)大的特征提取能力而受到廣泛關(guān)注。然而，現(xiàn)有的深度學(xué)習(xí)方法在應(yīng)用于物聯(lián)網(wǎng)入侵檢測時(shí)仍然面臨諸多挑戰(zhàn)：

4、首先，物聯(lián)網(wǎng)環(huán)境中的網(wǎng)絡(luò)流量數(shù)據(jù)具有高維度、非線性和時(shí)序依賴性的特點(diǎn)，這使得傳統(tǒng)的深度學(xué)習(xí)模型難以有效捕捉其中的復(fù)雜模式。例如，卷積神經(jīng)網(wǎng)絡(luò)(cnn)雖然在空間特征提取方面表現(xiàn)出色，但難以處理長距離依賴；而循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)雖然能夠處理序列數(shù)據(jù)，但在處理長序列時(shí)容易出現(xiàn)梯度消失或梯度爆炸的問題。

5、其次，物聯(lián)網(wǎng)環(huán)境中的攻擊類型多樣且不斷演化，這要求入侵檢測系統(tǒng)具有強(qiáng)大的泛化能力和適應(yīng)性。然而，現(xiàn)有的深度學(xué)習(xí)方法往往在面對(duì)未知攻擊或攻擊變種時(shí)表現(xiàn)不佳，難以滿足實(shí)際應(yīng)用的需求。

6、再者，物聯(lián)網(wǎng)設(shè)備的資源限制要求入侵檢測系統(tǒng)具有較低的計(jì)算復(fù)雜度和內(nèi)存占用。然而，許多先進(jìn)的深度學(xué)習(xí)模型往往參數(shù)量龐大，難以在資源受限的物聯(lián)網(wǎng)設(shè)備上部署和運(yùn)行。

7、此外，現(xiàn)有的入侵檢測方法普遍存在可解釋性差的問題。在安全關(guān)鍵的物聯(lián)網(wǎng)應(yīng)用中，理解模型做出決策的依據(jù)至關(guān)重要，但大多數(shù)深度學(xué)習(xí)模型都是"黑盒"性質(zhì)的，難以提供清晰的決策解釋。

8、最后，物聯(lián)網(wǎng)環(huán)境中的數(shù)據(jù)往往存在嚴(yán)重的類別不平衡問題，即正常流量遠(yuǎn)多于異常流量。這種不平衡會(huì)導(dǎo)致模型傾向于將少數(shù)類別錯(cuò)誤分類，從而影響檢測性能。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問題，亟需一種新的物聯(lián)網(wǎng)入侵檢測方法，能夠有效處理高維非線性數(shù)據(jù)，具備強(qiáng)大的特征提取能力和泛化能力，同時(shí)計(jì)算效率高、可解釋性強(qiáng)，并能夠有效應(yīng)對(duì)數(shù)據(jù)不平衡問題。

2、本發(fā)明提出了一種基于transformer的物聯(lián)網(wǎng)入侵檢測方法，包括：

3、獲取步驟，包括：

4、獲取物聯(lián)網(wǎng)設(shè)備的網(wǎng)絡(luò)流量數(shù)據(jù)；

5、處理步驟，包括：

6、基于所述網(wǎng)絡(luò)流量數(shù)據(jù)，執(zhí)行數(shù)據(jù)預(yù)處理操作；

7、根據(jù)預(yù)處理后的數(shù)據(jù)，通過transformer模型進(jìn)行特征提取和入侵檢測；

8、輸出步驟，包括：

9、生成入侵檢測結(jié)果，并輸出檢測報(bào)告。

10、作為優(yōu)選，所述數(shù)據(jù)預(yù)處理操作具體包括：

11、刪除異常值；

12、將數(shù)據(jù)集劃分為訓(xùn)練集、測試集和驗(yàn)證集；

13、對(duì)數(shù)據(jù)進(jìn)行歸一化處理。

14、作為優(yōu)選，所述歸一化處理采用最大最小值歸一化方法，其計(jì)算公式為：

15、

16、其中，xj為原始特征值，x′j為歸一化后的值，xj,min表示第j個(gè)特征的最小值，xj,max表示第j個(gè)特征的最大值。

17、作為優(yōu)選，所述transformer模型包括：

18、一個(gè)編碼器和一個(gè)解碼器；

19、多頭注意力機(jī)制；

20、位置編碼；

21、殘差連接和層歸一化。

22、作為優(yōu)選，所述多頭注意力機(jī)制的計(jì)算過程包括：

23、將輸入序列分別轉(zhuǎn)換為查詢(q)、鍵(k)和值(v)；

24、計(jì)算注意力權(quán)重；

25、對(duì)多個(gè)注意力頭的結(jié)果進(jìn)行拼接和線性變換。

26、作為優(yōu)選，還包括模型訓(xùn)練步驟：

27、使用交叉熵作為損失函數(shù)；

28、采用adam優(yōu)化器進(jìn)行參數(shù)更新；

29、應(yīng)用labelsmoothing技術(shù)緩解數(shù)據(jù)不平衡問題。

30、作為優(yōu)選，所述模型訓(xùn)練步驟還包括：

31、使用早停策略防止過擬合；

32、采用l2正則化技術(shù)；

33、使用殘差連接加速模型收斂。

34、作為優(yōu)選，還包括模型評(píng)估步驟：

35、計(jì)算準(zhǔn)確率、誤報(bào)率和漏報(bào)率；

36、使用grad-cam方法生成顯著性圖，提高模型可解釋性。

37、作為優(yōu)選，所述transformer模型的輸入包括：

38、將樣本標(biāo)簽作為查詢(q)；

39、將樣本的多維度特征作為鍵值對(duì)(kv)。

40、作為優(yōu)選，還包括序列長度處理步驟：

41、對(duì)于短于預(yù)定長度的序列，進(jìn)行填充操作；

42、對(duì)于長于預(yù)定長度的序列，進(jìn)行截?cái)嗖僮鳎?/p>

43、其中，所述預(yù)定長度基于訓(xùn)練數(shù)據(jù)集中的序列長度分布確定。

44、本發(fā)明提出的基于transformer的物聯(lián)網(wǎng)入侵檢測方法正是為解決這些技術(shù)問題而設(shè)計(jì)的。該方法通過創(chuàng)新性地將transformer模型應(yīng)用于物聯(lián)網(wǎng)入侵檢測任務(wù)，并結(jié)合一系列優(yōu)化策略，有效克服了現(xiàn)有技術(shù)的局限性。

45、具體而言，本發(fā)明的方法首先通過精心設(shè)計(jì)的數(shù)據(jù)預(yù)處理步驟，提高了輸入數(shù)據(jù)的質(zhì)量和代表性。然后，利用transformer模型強(qiáng)大的自注意力機(jī)制，有效捕捉網(wǎng)絡(luò)流量數(shù)據(jù)中的長距離依賴關(guān)系和復(fù)雜模式。這不僅提高了檢測的準(zhǔn)確性，還增強(qiáng)了模型對(duì)未知攻擊的泛化能力。

46、此外，本發(fā)明采用了一系列創(chuàng)新性的訓(xùn)練策略，如labelsmoothing和早停策略，有效解決了數(shù)據(jù)不平衡和過擬合等問題。同時(shí)，通過引入grad-cam可視化技術(shù)，大大提高了模型的可解釋性，使安全分析師能夠理解模型的決策依據(jù)。

47、本發(fā)明的方法還特別考慮了物聯(lián)網(wǎng)環(huán)境的特點(diǎn)，通過巧妙的序列長度處理策略，使得模型能夠適應(yīng)不同長度的網(wǎng)絡(luò)流量數(shù)據(jù)，增強(qiáng)了其在實(shí)際應(yīng)用中的適用性。

48、總的來說，本發(fā)明提出的基于transformer的物聯(lián)網(wǎng)入侵檢測方法在準(zhǔn)確性、泛化能力、計(jì)算效率、可解釋性和實(shí)用性等方面都取得了顯著提升。它不僅能夠有效檢測已知和未知的網(wǎng)絡(luò)攻擊，還能為安全分析提供有價(jià)值的洞察，為提高物聯(lián)網(wǎng)安全性提供了一個(gè)強(qiáng)有力的工具。這種全面而創(chuàng)新的方法有望在物聯(lián)網(wǎng)安全領(lǐng)域帶來突破性的進(jìn)展，為構(gòu)建更安全、更可靠的物聯(lián)網(wǎng)生態(tài)系統(tǒng)做出重要貢獻(xiàn)。

技術(shù)特征：

1.一種基于transformer的物聯(lián)網(wǎng)入侵檢測方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)預(yù)處理操作具體包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述歸一化處理采用最大最小值歸一化方法，其計(jì)算公式為：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述transformer模型包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述多頭注意力機(jī)制的計(jì)算過程包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括模型訓(xùn)練步驟：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述模型訓(xùn)練步驟還包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括模型評(píng)估步驟：

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述transformer模型的輸入包括：

10.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括序列長度處理步驟：

技術(shù)總結(jié)
本發(fā)明涉及環(huán)境科學(xué)技術(shù)領(lǐng)域，特別是一種基于Transformer的物聯(lián)網(wǎng)入侵檢測方法，包括：獲取步驟，獲取物聯(lián)網(wǎng)設(shè)備的網(wǎng)絡(luò)流量數(shù)據(jù)；處理步驟，基于所述網(wǎng)絡(luò)流量數(shù)據(jù)，執(zhí)行數(shù)據(jù)預(yù)處理操作；根據(jù)預(yù)處理后的數(shù)據(jù)，通過Transformer模型進(jìn)行特征提取和入侵檢測；輸出步驟，生成入侵檢測結(jié)果，并輸出檢測報(bào)告。它不僅能夠有效檢測已知和未知的網(wǎng)絡(luò)攻擊，還能為安全分析提供有價(jià)值的洞察，為提高物聯(lián)網(wǎng)安全性提供了一個(gè)強(qiáng)有力的工具。這種全面而創(chuàng)新的方法有望在物聯(lián)網(wǎng)安全領(lǐng)域帶來突破性的進(jìn)展，為構(gòu)建更安全、更可靠的物聯(lián)網(wǎng)生態(tài)系統(tǒng)做出重要貢獻(xiàn)。

技術(shù)研發(fā)人員：吳暄,郭相科,王曉丹,宋亞飛,王鵬,郭新鵬,李松
受保護(hù)的技術(shù)使用者：中國人民解放軍空軍工程大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15