本申請(qǐng)涉及互聯(lián)網(wǎng)，尤其涉及一種網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法、裝置及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在信息化迅猛發(fā)展的時(shí)代背景下，每日都有海量的網(wǎng)絡(luò)信息涌現(xiàn)，這些信息既蘊(yùn)含了人們正常且合理的需求，也摻雜了不少垃圾信息。這些垃圾信息在網(wǎng)絡(luò)負(fù)載中占據(jù)了不小的比例，不僅給網(wǎng)絡(luò)運(yùn)行造成了沉重壓力，還可能威脅到個(gè)人隱私安全，通常將這類網(wǎng)絡(luò)流量視作異常流量。引發(fā)網(wǎng)絡(luò)流量異常的因素紛繁復(fù)雜，主要包括惡意攻擊，例如病毒、dos及ddos攻擊等，以及非法訪問(wèn)行為，如持續(xù)的端口掃描、遠(yuǎn)程未授權(quán)訪問(wèn)等。

2、隨著互聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大和業(yè)務(wù)量的迅猛增長(zhǎng)，網(wǎng)絡(luò)所面臨的安全挑戰(zhàn)愈發(fā)復(fù)雜多變。無(wú)論是網(wǎng)絡(luò)故障還是惡意攻擊，都可能導(dǎo)致網(wǎng)絡(luò)流量的異常波動(dòng)。

3、因此，實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)流量的實(shí)時(shí)、精確監(jiān)測(cè)，及時(shí)發(fā)現(xiàn)并報(bào)告異常流量，對(duì)于網(wǎng)絡(luò)管理人員迅速采取行動(dòng)、確保網(wǎng)絡(luò)的穩(wěn)定運(yùn)行具有至關(guān)重要的作用。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的上述不足，提供一種網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法、裝置及可讀存儲(chǔ)介質(zhì)，用以解決現(xiàn)有技術(shù)存在的問(wèn)題。

2、第一方面，本申請(qǐng)?zhí)峁┮环N網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法，所述方法包括：

3、s1、獲取實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)；

4、s2、提取所述實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)的實(shí)時(shí)特征向量；

5、s3、將所述實(shí)時(shí)特征向量輸入預(yù)訓(xùn)練的網(wǎng)絡(luò)流量預(yù)測(cè)模型，得到網(wǎng)絡(luò)流量預(yù)測(cè)結(jié)果；

6、s4、根據(jù)所述實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)、所述網(wǎng)絡(luò)流量預(yù)測(cè)結(jié)果以及預(yù)設(shè)的數(shù)據(jù)異常閾值進(jìn)行異常檢測(cè)，得到異常檢測(cè)結(jié)果。

7、在一些實(shí)施例中，s1中，所述實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)包括傳輸層特征數(shù)據(jù)以及應(yīng)用層特征數(shù)據(jù)；

8、其中，所述傳輸層特征數(shù)據(jù)包括源ip地址、目的ip地址、傳輸協(xié)議、流量大小及數(shù)據(jù)包計(jì)數(shù)中的至少一項(xiàng)；

9、所述應(yīng)用層特征數(shù)據(jù)包括應(yīng)用層協(xié)議、域名及url中的至少一項(xiàng)。

10、在一些實(shí)施例中，s1之后，s2之前，還包括：

11、對(duì)所述實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行預(yù)處理；

12、其中，所述預(yù)處理包括數(shù)據(jù)格式轉(zhuǎn)換以及去噪處理。

13、在一些實(shí)施例中，s2中，所述實(shí)時(shí)特征向量包括流量特征、時(shí)間特征、網(wǎng)絡(luò)特征及統(tǒng)計(jì)特征中的至少一項(xiàng)；

14、其中，所述流量特征包括流量大小、數(shù)據(jù)包數(shù)量、傳輸時(shí)間中的至少一項(xiàng)；

15、所述時(shí)間特征包括小時(shí)、天、周中的至少一項(xiàng)；

16、所述網(wǎng)絡(luò)特征包括源ip、目的ip、協(xié)議類型中的至少一項(xiàng)；

17、所述統(tǒng)計(jì)特征包括流量的均值、方差、最大值及最小值中的至少一項(xiàng)。

18、在一些實(shí)施例中，s3中，所述網(wǎng)絡(luò)流量預(yù)測(cè)模型的訓(xùn)練過(guò)程包括：

19、獲取歷史網(wǎng)絡(luò)流量數(shù)據(jù)；

20、提取所述歷史網(wǎng)絡(luò)流量數(shù)據(jù)的特征向量，并根據(jù)特征向量將所述歷史網(wǎng)絡(luò)流量數(shù)據(jù)劃分為訓(xùn)練數(shù)據(jù)集與測(cè)試數(shù)據(jù)集；

21、通過(guò)邏輯斯蒂回歸算法構(gòu)建初始模型，通過(guò)訓(xùn)練數(shù)據(jù)集對(duì)初始模型進(jìn)行訓(xùn)練，并通過(guò)測(cè)試數(shù)據(jù)集對(duì)訓(xùn)練后的模型進(jìn)行評(píng)估以及參數(shù)優(yōu)化，得到所述網(wǎng)絡(luò)流量預(yù)測(cè)模型。

22、在一些實(shí)施例中，所述網(wǎng)絡(luò)流量預(yù)測(cè)模型的表達(dá)式為：

23、p(y＝1|x)＝1/(1+exp(-(wx+b)))

24、其中，p(y＝1|x)表示在特征向量x的條件下網(wǎng)絡(luò)流量數(shù)據(jù)為異常的概率，w表示權(quán)重向量，x表示網(wǎng)絡(luò)流量數(shù)據(jù)中提取的特征向量，b表示偏置項(xiàng)，exp表示指數(shù)函數(shù)。

25、在一些實(shí)施例中，s4，包括：

26、若所述實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)與所述網(wǎng)絡(luò)流量預(yù)測(cè)結(jié)果的差異超出預(yù)設(shè)的數(shù)據(jù)異常閾值，則確定存在異常流量；

27、若所述實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)與所述網(wǎng)絡(luò)流量預(yù)測(cè)結(jié)果的差異未超出預(yù)設(shè)的數(shù)據(jù)異常閾值，則確定不存在異常流量。

28、第二方面，本申請(qǐng)?zhí)峁┮环N網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)裝置，所述裝置包括：

29、流量獲取模塊，其設(shè)置為獲取實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)；

30、特征提取模塊，其設(shè)置為提取所述實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)的實(shí)時(shí)特征向量；

31、流量預(yù)測(cè)模塊，其設(shè)置為將所述實(shí)時(shí)特征向量輸入預(yù)訓(xùn)練的網(wǎng)絡(luò)流量預(yù)測(cè)模型，得到網(wǎng)絡(luò)流量預(yù)測(cè)結(jié)果；

32、異常檢測(cè)模塊，其設(shè)置為根據(jù)所述實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)、所述網(wǎng)絡(luò)流量預(yù)測(cè)結(jié)果以及預(yù)設(shè)的數(shù)據(jù)異常閾值進(jìn)行異常檢測(cè)，得到異常檢測(cè)結(jié)果。

33、第三方面，本申請(qǐng)?zhí)峁┮环N網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)裝置，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述處理器被設(shè)置為運(yùn)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)上述第一方面所述的網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法。

34、第四方面，本申請(qǐng)?zhí)峁┮环N計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面所述的網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法。

35、本申請(qǐng)?zhí)峁┑木W(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法、裝置及可讀存儲(chǔ)介質(zhì)，所述方法包括：獲取實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)；提取所述實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)的實(shí)時(shí)特征向量；將所述實(shí)時(shí)特征向量輸入預(yù)訓(xùn)練的網(wǎng)絡(luò)流量預(yù)測(cè)模型，得到網(wǎng)絡(luò)流量預(yù)測(cè)結(jié)果；根據(jù)所述實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)、所述網(wǎng)絡(luò)流量預(yù)測(cè)結(jié)果以及預(yù)設(shè)的數(shù)據(jù)異常閾值進(jìn)行異常檢測(cè)，得到異常檢測(cè)結(jié)果。本申請(qǐng)通過(guò)引入邏輯斯蒂回歸算法構(gòu)建網(wǎng)絡(luò)流量預(yù)測(cè)模型，并結(jié)合訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練，能夠精確捕捉網(wǎng)絡(luò)流量的變化趨勢(shì)，實(shí)現(xiàn)對(duì)未來(lái)網(wǎng)絡(luò)流量的高精度預(yù)測(cè)，這有助于網(wǎng)絡(luò)管理人員提前了解網(wǎng)絡(luò)流量狀況，為網(wǎng)絡(luò)資源的合理分配和優(yōu)化提供有力支持，基于機(jī)器學(xué)習(xí)技術(shù)構(gòu)建，無(wú)需復(fù)雜的網(wǎng)絡(luò)配置和額外的硬件設(shè)備，易于被網(wǎng)絡(luò)管理人員理解和實(shí)施，便于在實(shí)際網(wǎng)絡(luò)環(huán)境中進(jìn)行部署和維護(hù)。本申請(qǐng)基于預(yù)測(cè)的網(wǎng)絡(luò)流量結(jié)果和網(wǎng)絡(luò)流量數(shù)據(jù)，設(shè)置數(shù)據(jù)異常閾值，并利用該閾值對(duì)實(shí)時(shí)的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行異常檢測(cè)，能夠及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)流量中的異常波動(dòng)，有效識(shí)別潛在的網(wǎng)絡(luò)攻擊或故障，提高網(wǎng)絡(luò)的安全性和穩(wěn)定性。本申請(qǐng)通過(guò)對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行預(yù)處理和特征提取，能夠去除噪聲和冗余信息，提取出對(duì)網(wǎng)絡(luò)流量預(yù)測(cè)和異常檢測(cè)具有關(guān)鍵作用的特征向量，這有助于減少數(shù)據(jù)處理的復(fù)雜度和計(jì)算量，提高數(shù)據(jù)處理的效率和準(zhǔn)確性；能夠處理包含傳輸層特征數(shù)據(jù)和應(yīng)用層特征數(shù)據(jù)的多種網(wǎng)絡(luò)流量數(shù)據(jù)，具有廣泛的適用性；同時(shí)，通過(guò)不斷優(yōu)化網(wǎng)絡(luò)流量預(yù)測(cè)模型，能夠適應(yīng)網(wǎng)絡(luò)環(huán)境的不斷變化，保持較高的預(yù)測(cè)和檢測(cè)性能。

技術(shù)特征：

1.一種網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法，其特征在于，s1中，所述實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)包括傳輸層特征數(shù)據(jù)以及應(yīng)用層特征數(shù)據(jù)；

3.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法，其特征在于，s1之后，s2之前，還包括：

4.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法，其特征在于，s2中，所述實(shí)時(shí)特征向量包括流量特征、時(shí)間特征、網(wǎng)絡(luò)特征及統(tǒng)計(jì)特征中的至少一項(xiàng)；

5.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法，其特征在于，s3中，所述網(wǎng)絡(luò)流量預(yù)測(cè)模型的訓(xùn)練過(guò)程包括：

6.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法，其特征在于，所述網(wǎng)絡(luò)流量預(yù)測(cè)模型的表達(dá)式為：

7.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法，其特征在于，s4，包括：

8.一種網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)裝置，其特征在于，所述裝置包括：

9.一種網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)裝置，其特征在于，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述處理器被設(shè)置為運(yùn)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┮环N網(wǎng)絡(luò)流量預(yù)測(cè)與異常檢測(cè)方法、裝置及可讀存儲(chǔ)介質(zhì)，所述方法包括：獲取實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)；提取所述實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)的實(shí)時(shí)特征向量；將所述實(shí)時(shí)特征向量輸入預(yù)訓(xùn)練的網(wǎng)絡(luò)流量預(yù)測(cè)模型，得到網(wǎng)絡(luò)流量預(yù)測(cè)結(jié)果；根據(jù)所述實(shí)時(shí)網(wǎng)絡(luò)流量數(shù)據(jù)、所述網(wǎng)絡(luò)流量預(yù)測(cè)結(jié)果以及預(yù)設(shè)的數(shù)據(jù)異常閾值進(jìn)行異常檢測(cè)，得到異常檢測(cè)結(jié)果。本申請(qǐng)無(wú)需復(fù)雜的網(wǎng)絡(luò)配置和額外的硬件設(shè)備，易于被網(wǎng)絡(luò)管理人員理解和實(shí)施，便于在實(shí)際網(wǎng)絡(luò)環(huán)境中進(jìn)行部署和維護(hù)。能夠及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)流量中的異常波動(dòng)，有效識(shí)別潛在的網(wǎng)絡(luò)攻擊或故障，提高網(wǎng)絡(luò)的安全性和穩(wěn)定性。

技術(shù)研發(fā)人員：彭家立,馬爽,楊浪成,徐毅,蘇毅,陳爽,馮杰
受保護(hù)的技術(shù)使用者：中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15