一種基于日志和snmp信息融合的網(wǎng)絡(luò)安全態(tài)勢感知分析方法
【專利摘要】本發(fā)明屬于網(wǎng)絡(luò)安全態(tài)勢感知領(lǐng)域，具體涉及一種基于日志和SNMP信息融合的網(wǎng)絡(luò)安全態(tài)勢感知分析方法。本發(fā)明包括：基于日志和SNMP數(shù)據(jù)融合的數(shù)據(jù)采集；基于日志和SNMP數(shù)據(jù)融合的預(yù)處理；進行日志數(shù)據(jù)分析和SNMP數(shù)據(jù)分析；進行日志和SNMP數(shù)據(jù)的數(shù)據(jù)融合；進行日志和SNMP數(shù)據(jù)融合的可視化。本發(fā)明與單一分析日志數(shù)據(jù)或者SNMP數(shù)據(jù)源相比，這兩種數(shù)據(jù)的結(jié)合，能較好的分析網(wǎng)絡(luò)狀態(tài)整體的運行趨勢，兩種數(shù)據(jù)結(jié)合分析更全面、精確；本系統(tǒng)的數(shù)據(jù)處理根據(jù)用戶需求選擇重要度高的進行處理，減輕了對大量數(shù)據(jù)處理的負(fù)擔(dān)；本系統(tǒng)的采用閾值自動修正的方法，使用戶自定義的閾值參數(shù)更加的精確，提高數(shù)據(jù)融合的準(zhǔn)確性。
【專利說明】—種基于日志和SNMP信息融合的網(wǎng)絡(luò)安全態(tài)勢感知分析方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于網(wǎng)絡(luò)安全態(tài)勢感知領(lǐng)域，具體涉及一種基于日志和SNMP信息融合的網(wǎng)絡(luò)安全態(tài)勢感知分析方法。
技術(shù)背景
[0002]隨著計算機及網(wǎng)絡(luò)技術(shù)的發(fā)展，攻擊手段日趨專業(yè)化，網(wǎng)絡(luò)安全事件層出不窮，單一的防火墻和入侵檢測系統(tǒng)等被動防御技術(shù)已經(jīng)不能確保網(wǎng)絡(luò)的安全，因此提高網(wǎng)絡(luò)的主動防御能力是當(dāng)今網(wǎng)絡(luò)安全研究領(lǐng)域的主要方向，而對網(wǎng)絡(luò)安全態(tài)勢感知領(lǐng)域的研究尤為突出。
[0003]網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)的數(shù)據(jù)源非常豐富，其中日志和SNMP數(shù)據(jù)占據(jù)重要位置。但是單獨的SNMP分析或日志分析都存在著一定的缺陷。(I) SNMP代理無法為管理站提供某一目標(biāo)集的歷史數(shù)據(jù)，只能提供設(shè)備的當(dāng)前狀態(tài)或一個很短時間段內(nèi)的數(shù)據(jù)，對分析網(wǎng)絡(luò)的整體運行趨勢造成了障礙。(2) SNMP協(xié)議檢測粒度粗糙、數(shù)據(jù)資料簡單且無法提供網(wǎng)絡(luò)層以上的信息。(3)日志分析的正確性很大程度上取決于計算機系統(tǒng)時間的準(zhǔn)確性。如果攻擊者提前對計算機時鐘進行了調(diào)整，那么在運行日志分析系統(tǒng)時就會產(chǎn)生誤判斷，從而影響分析結(jié)果。
[0004]而將兩種數(shù)據(jù)源相結(jié)合，可以增加數(shù)據(jù)源的完整性和安全性:
[0005](I)SNMP存在不能為分析提供歷史數(shù)據(jù)這一缺點，而日志則保存較長一段時間的信息，二者結(jié)合可以彌補SNMP不能提供歷史數(shù)據(jù)的缺點。
[0006](2) SNMP檢測粒度粗糙、數(shù)據(jù)資料簡單且無法提供網(wǎng)絡(luò)層以上的信息。而日志信息記錄著網(wǎng)絡(luò)系統(tǒng)發(fā)生的各種事件，同時可以提供網(wǎng)絡(luò)層以上的信息。
[0007](3)引入SNMP數(shù)據(jù)對日志進行補充，并且SNMPv2和SNMPv3中還增加了相應(yīng)的安全機制，這樣通過驗證和訪問控制等方式解決了安全隱患的問題，彌補了日志信息容易被篡改或者刪除的問題。
[0008]因此，本發(fā)明提出了一種將日志信息和SNMP數(shù)據(jù)信息進行融合分析的方法，彌補了單獨日志和SNMP分析的不足之處。
[0009]目前國內(nèi)一些專家和學(xué)者已經(jīng)對該領(lǐng)域進行了初步研究，如紀(jì)乃丹等人提出了一種基于改進的事件場景關(guān)聯(lián)融合模型F-ECS，引入模糊集理論，將SNMP數(shù)據(jù)與多源日志信息進行融合分析。弱化了集合邊界，降低被誤報率。但其知識庫的建立對專家知識的依賴性比較強，漏報率較高；且閾值固定，檢測精度降低。

【發(fā)明內(nèi)容】

[0010]本發(fā)明的目的是提出一種面向大規(guī)模網(wǎng)絡(luò)，對網(wǎng)絡(luò)狀態(tài)進行實時監(jiān)控，并對網(wǎng)絡(luò)中異?；蚬羰录M行自動檢測的基于日志和SNMP信息融合的網(wǎng)絡(luò)安全態(tài)勢感知分析方法。[0011]本發(fā)明的目的是這樣實現(xiàn)的:
[0012](I)基于日志和SNMP數(shù)據(jù)融合的數(shù)據(jù)采集:
[0013](1.1)進行日志數(shù)據(jù)采集:
[0014](1.1.1)從網(wǎng)絡(luò)設(shè)備中獲取日志數(shù)據(jù)信息；
[0015](1.1.2)設(shè)置日志采集代理的采集日志格式:日志記錄時間，源主機地址，目的地址，源端口號，目的端口號，SYN標(biāo)志，服務(wù)類型；
[0016](1.1.3)啟動采集代理，將采集到的日志數(shù)據(jù)存入源日志數(shù)據(jù)庫；
[0017](1.2)進行SNMP數(shù)據(jù)采集:
[0018](1.2.1)使用時間片輪詢的方式定時采集數(shù)據(jù)，輪詢時間設(shè)為固定值；
[0019](1.2.2)讀取采集配置文件，設(shè)置傳感器ID、時間粒度、存儲路徑、服務(wù)器IP ；
[0020](1.2.3)設(shè)置SNMP采集代理的采集SNMP格式:標(biāo)識符id、信息產(chǎn)生時間time、源主機地址IP、CPU使用率UsedCPU、內(nèi)存使用率UsedMem、接口利用率UsedPort、流量Flux、丟包率PacketLoss、接口信息錯誤率PortErrorRate、響應(yīng)時間ResponseTime ；
[0021](1.2.4)啟動SNMP采集代理，將采集到的SNMP數(shù)據(jù)存入源SNMP數(shù)據(jù)庫；
[0022](2)基于日志和SNMP數(shù)據(jù)融合的預(yù)處理:
[0023](2.1)日志數(shù)據(jù)預(yù)處理:
[0024](2.1.1)從源日志數(shù)據(jù)庫中獲取數(shù)據(jù)。
[0025](2.1.2)歸一化處理，轉(zhuǎn)化為統(tǒng)一的格式，時間time、源主機地址IP，目標(biāo)主機與當(dāng)前連接相同的連接次數(shù)countl、出現(xiàn)SYN錯誤的連接百分比serl、目標(biāo)端口與當(dāng)前連接相同的連接次數(shù)count2、出現(xiàn)SYN錯誤的連接百分比(針對服務(wù))ser2 ；
[0026](2.1.3)將預(yù)處理后的日志數(shù)據(jù)存入日志數(shù)據(jù)庫；
[0027](2.2) SNMP數(shù)據(jù)融合預(yù)處理:
[0028](2.2.1)從源SNMP數(shù)據(jù)庫中獲取數(shù)據(jù)；
[0029](2.2.2)歸一化處理:將獲得的源數(shù)據(jù)轉(zhuǎn)換成[0，I]之間的數(shù)據(jù)，即除了標(biāo)識符、信息產(chǎn)生時間、源主機地址外的每個屬性除以各屬性的最大允許值，獲得相應(yīng)的百分比；
[0030](2.2.3)將預(yù)處理后的SNMP數(shù)據(jù)存入SNMP數(shù)據(jù)庫；
[0031](3)進行日志數(shù)據(jù)分析和SNMP數(shù)據(jù)分析:
[0032](3.1)進行SNMP數(shù)據(jù)分析:
[0033](3.1.1)從數(shù)據(jù)預(yù)處理中的SNMP數(shù)據(jù)庫中獲取數(shù)據(jù)；
[0034](3.1.2)計算事件基于SNMP的重要度，并與閾值進行比較；
[0035](3.1.3)將重要度高的事件存入安全事件數(shù)據(jù)庫；
[0036](3.1.4)根據(jù)融合結(jié)果進行閾值修正；
[0037](4)進行日志和SNMP數(shù)據(jù)的數(shù)據(jù)融合:
[0038](4.1)采用五層模糊神經(jīng)網(wǎng)絡(luò)對日志信息和SNMP信息進行融合分析；
[0039](4.2)對五層模糊神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí)訓(xùn)練獲得每層之間的權(quán)值；
[0040](4.3)將日志的每個字段和SNMP事件的重要度作為模糊神經(jīng)網(wǎng)絡(luò)輸入層的輸入；
[0041](4.4)將實際輸出與期望輸出值進行比較，如果輸出層的實際輸出不等于期望輸出，則進入后向傳播過程；
[0042](4.5)后向傳播時，把誤差信號按原來前向傳播的通路反向傳回，逐層遞歸的計算實際輸出與期望輸出的差值，根據(jù)誤差的均方差調(diào)節(jié)權(quán)值，對隱含層的每個神經(jīng)元的權(quán)系數(shù)進行修改，使誤差趨于最??；
[0043](5)進行日志和SNMP數(shù)據(jù)融合的可視化:顯示檢測對象的網(wǎng)絡(luò)安全態(tài)勢和檢測結(jié)
果O
[0044]模糊神經(jīng)網(wǎng)絡(luò)輸入層的輸入包括目標(biāo)主機與當(dāng)前連接相同的連接次數(shù)count 1、出現(xiàn)SYN錯誤的連接百分比serl、目標(biāo)端口與當(dāng)前連接相同的連接次數(shù)count2、出現(xiàn)SYN錯誤的連接百分比ser2、基于SNMP的重要度。
[0045]基于SNMP重要度的計算方法包括:
[0046](I)利用SNMP采集代理獲得SNMP數(shù)據(jù)信息，進行歸一化處理；
[0047](2)確定除了標(biāo)識符、信息產(chǎn)生時間、源主機地址外每個屬性的最大允許值，用?,_(1=1，2，…7)表示；
[0048](3)根據(jù)SNMP數(shù)據(jù)庫中的信息求除了標(biāo)識符、信息產(chǎn)生時間、源主機地址外每個
屬性的平均值，用Λ (i=l,2,...?)表示；
[0049](4)計算事件基于SNMP的重要度P
【權(quán)利要求】
1.一種基于日志和SNMP信息融合的網(wǎng)絡(luò)安全態(tài)勢感知分析方法,其特征在于: (1)基于日志和SNMP數(shù)據(jù)融合的數(shù)據(jù)采集: (1.1)進行日志數(shù)據(jù)采集: (1.1.1)從網(wǎng)絡(luò)設(shè)備中獲取日志數(shù)據(jù)信息； (1.1.2)設(shè)置日志采集代理的采集日志格式:日志記錄時間，源主機地址，目的地址，源端口號，目的端口號，SYN標(biāo)志，服務(wù)類型； (1.1.3)啟動采集代理，將采集到的日志數(shù)據(jù)存入源日志數(shù)據(jù)庫； (1.2)進行SNMP數(shù)據(jù)采集: (1.2.1)使用時間片輪詢的方式定時采集數(shù)據(jù)，輪詢時間設(shè)為固定值； (1.2.2)讀取采集配置文件，設(shè)置傳感器ID、時間粒度、存儲路徑、服務(wù)器IP ； (1.2.3)設(shè)置SNMP采集代理的采集SNMP格式:標(biāo)識符id、信息產(chǎn)生時間time、源主機地址IP、CPU使用率UsedCPU、內(nèi)存使用率UsedMem、接口利用率UsedPort、流量Flux、丟包率 PacketLoss、接口信息錯誤率 PortErrorRate、響應(yīng)時間 ResponseTime ； (1.2.4)啟動SNMP采集代理，將采集到的SNMP數(shù)據(jù)存入源SNMP數(shù)據(jù)庫； (2)基于日志和SNMP數(shù)據(jù)融合的預(yù)處理: (2.1)日志數(shù)據(jù)預(yù)處理: (2.1.1)從源日志數(shù)據(jù)庫中獲取數(shù)據(jù)。 (2.1.2)歸一化處理，轉(zhuǎn)化為統(tǒng)一的格式，時間time、源主機地址IP，目標(biāo)主機與當(dāng)前連接相同的連接次數(shù)countl、出現(xiàn)SYN錯誤的連接百分比serl、目標(biāo)端口與當(dāng)前連接相同的連接次數(shù)count2、出現(xiàn)SYN錯誤的連接百分比(針對服務(wù))ser2 ； (2.1.3)將預(yù)處理后的日志數(shù)據(jù)存入日志數(shù)據(jù)庫； (2.2) SNMP數(shù)據(jù)融合預(yù)處理: (2.2.1)從源SNMP數(shù)據(jù)庫中獲取數(shù)據(jù)； (2.2.2)歸一化處理:將獲得的源數(shù)據(jù)轉(zhuǎn)換成[0，I]之間的數(shù)據(jù)，即除了標(biāo)識符、信息產(chǎn)生時間、源主機地址外的每個屬性除以各屬性的最大允許值，獲得相應(yīng)的百分比； (2.2.3)將預(yù)處理后的SNMP數(shù)據(jù)存入SNMP數(shù)據(jù)庫； (3)進行日志數(shù)據(jù)分析和SNMP數(shù)據(jù)分析: (3.1)進行SNMP數(shù)據(jù)分析: (3.1.1)從數(shù)據(jù)預(yù)處理中的SNMP數(shù)據(jù)庫中獲取數(shù)據(jù)； (3.1.2)計算事件基于SNMP的重要度，并與閾值進行比較； (3.1.3)將重要度高的事件存入安全事件數(shù)據(jù)庫； (3.1.4)根據(jù)融合結(jié)果進行閾值修正； (4)進行日志和SNMP數(shù)據(jù)的數(shù)據(jù)融合: (4.1)采用五層模糊神經(jīng)網(wǎng)絡(luò)對日志信息和SNMP信息進行融合分析； (4.2)對五層模糊神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí)訓(xùn)練獲得每層之間的權(quán)值； (4.3)將日志的每個字段和SNMP事件的重要度作為模糊神經(jīng)網(wǎng)絡(luò)輸入層的輸入； (4.4)將實際輸出與期望 輸出值進行比較，如果輸出層的實際輸出不等于期望輸出，則進入后向傳播過程； (4.5)后向傳播時，把誤差信號按原來前向傳播的通路反向傳回，逐層遞歸的計算實際輸出與期望輸出的差值，根據(jù)誤差的均方差調(diào)節(jié)權(quán)值，對隱含層的每個神經(jīng)元的權(quán)系數(shù)進行修改，使誤差趨于最?。? (5)進行日志和SNMP數(shù)據(jù)融合的可視化:顯示檢測對象的網(wǎng)絡(luò)安全態(tài)勢和檢測結(jié)果。
2.根據(jù)權(quán)利要求1所述的一種基于日志和SNMP信息融合的網(wǎng)絡(luò)安全態(tài)勢感知分析方法，其特征在于:所述模糊神經(jīng)網(wǎng)絡(luò)輸入層的輸入包括目標(biāo)主機與當(dāng)前連接相同的連接次數(shù)count 1、出現(xiàn)SYN錯誤的連接百分比serl、目標(biāo)端口與當(dāng)前連接相同的連接次數(shù)count 2、出現(xiàn)SYN錯誤的連接百分比ser2、基于SNMP的重要度。
3.根據(jù)權(quán)利要求1或2所述的一種基于日志和SNMP信息融合的網(wǎng)絡(luò)安全態(tài)勢感知分析方法，其特征在于:所述基于SNMP重要度的計算方法包括: (1)利用SNMP采集代理獲得SNMP數(shù)據(jù)信息，進行歸一化處理； (2)確定除了標(biāo)識符、信息產(chǎn)生時間、源主機地址外每個屬性的最大允許值，用《廣(i=l, 2，…7)表示； (3)根據(jù)SNMP數(shù)據(jù)庫中的信息求除了標(biāo)識符、信息產(chǎn)生時間、源主機地址外每個屬性的平均值，用Λ (i=l,2/**7)表不； (4)計算事件基于SNMP的重要度P
4.根據(jù)權(quán)利要求3所述的一種基于日志和SNMP信息融合的網(wǎng)絡(luò)安全態(tài)勢感知分析方法，其特征在于: 所述的五層模糊神經(jīng)網(wǎng)絡(luò)為: 第一層:輸入層，從前述數(shù)據(jù)分析階段中獲得日志和SNMP數(shù)據(jù)，包含5個節(jié)點，分別記為Xi, i=l, 2...5,用Cf表不第一層第i個節(jié)點的輸出結(jié)果,把輸入值直接傳送給下一層O) - XiJ </<5 ； 第二層:隸屬度函數(shù)層，實現(xiàn)輸入變量的模糊化，輸入的特征被分別映射到模糊集，每個特征的模糊集數(shù)為3，節(jié)點個數(shù)為輸入變量的模糊集合數(shù)之和，用、μ ,j表示第二層每個節(jié)點的輸出結(jié)果，用單一節(jié)點計算簡單的隸屬函數(shù):
【文檔編號】H04L29/06GK103905440SQ201410120989
【公開日】2014年7月2日 申請日期:2014年3月28日 優(yōu)先權(quán)日:2014年3月28日
【發(fā)明者】王慧強, 梁曉, 郭方方, 呂宏武 申請人:哈爾濱工程大學(xué)