本發(fā)明屬于數(shù)據(jù)分析,具體涉及一種異常日志分析方法、裝置、電子設備及產(chǎn)品。
背景技術(shù):
1、在復雜的軟件和系統(tǒng)環(huán)境中,日志是記錄和追蹤系統(tǒng)運行狀態(tài)、事件和錯誤的重要工具。通過分析日志,開發(fā)人員和系統(tǒng)管理員可以了解系統(tǒng)的健康狀態(tài),診斷并解決問題,以及優(yōu)化系統(tǒng)性能。
2、目前,傳統(tǒng)的系統(tǒng)日志分析,大多是由運維人員查看系統(tǒng)任務出錯日志,并返給開發(fā)人員人工分析,隨著軟件規(guī)模的增大和復雜性的增加,傳統(tǒng)的異常日志分析方式已經(jīng)無法滿足海量的異常日志分析和處理需求。
3、因此,如何提供一種有效的方案以方便異常日志的分析和處理,已成為現(xiàn)有技術(shù)中一亟待解決的難題。
技術(shù)實現(xiàn)思路
1、本發(fā)明的目的是提供一種異常日志分析方法、裝置、電子設備及產(chǎn)品,用以解決現(xiàn)有技術(shù)中存在的上述問題。
2、為了實現(xiàn)上述目的,本發(fā)明采用以下技術(shù)方案:
3、第一方面,本發(fā)明提供了一種異常日志分析方法,包括:
4、基于業(yè)務系統(tǒng)中的業(yè)務模塊類型和待分析異常類型建立異常日志查詢請求;
5、基于所述異常日志查詢請求從數(shù)據(jù)庫中查找出與所述異常日志查詢請求對應的多條異常日志;
6、識別出所述多條異常日志中各異常日志的異常類型;
7、基于所述多條異常日志中各異常日志的異常類型和預先建立的異常處理規(guī)則庫,確定出所述多條異常日志中各異常日志的處理策略。
8、基于上述公開的內(nèi)容,本發(fā)明基于業(yè)務系統(tǒng)中的業(yè)務模塊類型和待分析異常類型建立異常日志查詢請求;基于異常日志查詢請求從數(shù)據(jù)庫中查找出與異常日志查詢請求對應的多條異常日志;識別出多條異常日志中各異常日志的異常類型;基于多條異常日志中各異常日志的異常類型和預先建立的異常處理規(guī)則庫,確定出多條異常日志中各異常日志的處理策略。如此,能夠自動識別并分類異常類型,解決了開發(fā)人員需要手動捕獲和判斷異常類型的繁瑣工作,提高了異常日常處理的效率和準確性,滿足海量的異常日志分析和處理需求,同時開發(fā)人員還可以自定義異常處理規(guī)則庫,以滿足特定需求,這樣開發(fā)人員無需每次都從零開始處理異常日志,而是基于預定義的規(guī)則進行處理,提高了開發(fā)效率,此外對于識別的異常日志,能夠提供相應的處理策略,幫助開發(fā)人員快速定位和解決問題,這減少了調(diào)試和排查問題的時間,有助于及時發(fā)現(xiàn)和解決潛在的問題,提高系統(tǒng)的穩(wěn)定性和可靠性。
9、在一個可能的設計中,所述識別出所述多條異常日志中各異常日志的異常類型,包括:
10、通過自然語音處理提取所述多條異常日志中各異常日志的關(guān)鍵實體和語義關(guān)系;
11、將所述多條異常日志中各異常日志的關(guān)鍵實體和語義關(guān)系,作為預先訓練的分類模型的輸入進行運算,得到所述多條異常日志中各異常日志的異常類型。
12、在一個可能的設計中,所述識別出所述多條異常日志中各異常日志的異常類型,包括:
13、解析所述多條異常日志中各異常日志的異常消息和堆棧信息;
14、基于所述多條異常日志中各異常日志的異常消息和堆棧信息,確定出所述多條異常日志中各異常日志的異常類型。
15、在一個可能的設計中,在基于業(yè)務系統(tǒng)中的業(yè)務模塊類型和待分析異常類型建立異常日志查詢請求之后,所述方法還包括:
16、結(jié)合語義和上下文對異常日志查詢請求中的查詢條件進行擴展,得到擴展后的異常日志查詢請求;
17、所述基于所述異常日志查詢請求從數(shù)據(jù)庫中查找出與所述異常日志查詢請求對應的多條異常日志,包括:
18、基于擴展后的異常日志查詢請求,通過模糊查詢、通配符查詢和/或短語匹配查詢從數(shù)據(jù)庫中查找出與擴展后的異常日志查詢請求對應的多條異常日志。
19、在一個可能的設計中,在基于業(yè)務系統(tǒng)中的業(yè)務模塊類型和待分析異常類型建立異常日志查詢請求之前,所述方法還包括:
20、基于分布式系統(tǒng)中各節(jié)點的負載、網(wǎng)絡延遲和/或節(jié)點健康狀況,通過負載均衡從分布式集群選擇出用于異常日志分析的目標節(jié)點;
21、所述基于所述異常日志查詢請求從數(shù)據(jù)庫中查找出與所述異常日志查詢請求對應的多條異常日志,包括:
22、基于所述異常日志查詢請求從所述目標節(jié)點的數(shù)據(jù)庫中查找出與所述異常日志查詢請求對應的多條異常日志。
23、在一個可能的設計中,在基于業(yè)務系統(tǒng)中的業(yè)務模塊類型和待分析異常類型建立異常日志查詢請求之前,所述方法還包括:
24、通過日志管理子系統(tǒng)采集業(yè)務系統(tǒng)運行過程中的異常日志,所述異常日志包括級別屬性為error的系統(tǒng)日志和按照預設比例進行采樣的且級別屬性為warning的系統(tǒng)日志。
25、在一個可能的設計中,在基于所述異常日志查詢請求從數(shù)據(jù)庫中查找出與所述異常日志查詢請求對應的多條異常日志之后,所述方法還包括:
26、將查找出的所述多條異常日志存入緩存。
27、第二方面,本發(fā)明提供了一種異常日志分析裝置,包括:
28、建立單元,用于基于業(yè)務系統(tǒng)中的業(yè)務模塊類型和待分析異常類型建立異常日志查詢請求;
29、查找單元,用于基于所述異常日志查詢請求從數(shù)據(jù)庫中查找出與所述異常日志查詢請求對應的多條異常日志;
30、識別單元,用于識別出所述多條異常日志中各異常日志的異常類型;
31、確定單元,用于基于所述多條異常日志中各異常日志的異常類型和預先建立的異常處理規(guī)則庫,確定出所述多條異常日志中各異常日志的處理策略。
32、第三方面,本發(fā)明提供了一種電子設備,包括依次通信相連的存儲器、處理器和收發(fā)器,其中,所述存儲器用于存儲計算機程序,所述收發(fā)器用于收發(fā)消息,所述處理器用于讀取所述計算機程序,執(zhí)行如上述第一方面或第一方面任一可能設計所述的異常日志分析方法。
33、第四方面,本發(fā)明提供了一種計算機可讀存儲介質(zhì),所述計算機可讀存儲介質(zhì)上存儲有指令,當所述指令在計算機上運行時,執(zhí)行第一方面或第一方面任一可能設計所述的異常日志分析方法。
34、第五方面,本發(fā)明提供了一種包含指令的計算機程序產(chǎn)品,當所述指令在計算機上運行時,使所述計算機執(zhí)行如第一方面或第一方面任一可能設計所述的異常日志分析方法。
35、有益效果:
36、本發(fā)明提供的異常日志分析方法、裝置、電子設備及產(chǎn)品,能夠自動識別并分類異常類型,解決了開發(fā)人員需要手動捕獲和判斷異常類型的繁瑣工作,提高了異常日常處理的效率和準確性,滿足海量的異常日志分析和處理需求,同時開發(fā)人員還可以自定義異常處理規(guī)則庫,以滿足特定需求,這樣開發(fā)人員無需每次都從零開始處理異常日志,而是基于預定義的規(guī)則進行處理,提高了開發(fā)效率,此外對于識別的異常日志,能夠提供相應的處理策略,幫助開發(fā)人員快速定位和解決問題,這減少了調(diào)試和排查問題的時間,有助于及時發(fā)現(xiàn)和解決潛在的問題,提高系統(tǒng)的穩(wěn)定性和可靠性,便于實際應用和推廣。
1.一種異常日志分析方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的異常日志分析方法,其特征在于,所述識別出所述多條異常日志中各異常日志的異常類型,包括:
3.根據(jù)權(quán)利要求1所述的異常日志分析方法,其特征在于,所述識別出所述多條異常日志中各異常日志的異常類型,包括:
4.根據(jù)權(quán)利要求1所述的異常日志分析方法,其特征在于,在基于業(yè)務系統(tǒng)中的業(yè)務模塊類型和待分析異常類型建立異常日志查詢請求之后,所述方法還包括:
5.根據(jù)權(quán)利要求1所述的異常日志分析方法,其特征在于,在基于業(yè)務系統(tǒng)中的業(yè)務模塊類型和待分析異常類型建立異常日志查詢請求之前,所述方法還包括:
6.根據(jù)權(quán)利要求1所述的異常日志分析方法,其特征在于,在基于業(yè)務系統(tǒng)中的業(yè)務模塊類型和待分析異常類型建立異常日志查詢請求之前,所述方法還包括:
7.根據(jù)權(quán)利要求1所述的異常日志分析方法,其特征在于,在基于所述異常日志查詢請求從數(shù)據(jù)庫中查找出與所述異常日志查詢請求對應的多條異常日志之后,所述方法還包括:
8.一種異常日志分析裝置,其特征在于,包括:
9.一種電子設備,其特征在于,包括依次通信相連的存儲器、處理器和收發(fā)器,其中,所述存儲器用于存儲計算機程序,所述收發(fā)器用于收發(fā)消息,所述處理器用于讀取所述計算機程序,執(zhí)行如權(quán)利要求1~7任意一項所述的異常日志分析方法。
10.一種計算機程序產(chǎn)品,包括計算機程序或指令,其特征在于,所述計算機程序或所述指令在被計算機執(zhí)行時實現(xiàn)如權(quán)利要求1~7任意一項所述的異常日志分析方法。