最新的毛片基地免费,国产国语一级毛片,免费国产成人高清在线电影,中天堂国产日韩欧美,中国国产aa一级毛片,国产va欧美va在线观看,成人不卡在线

一種基于ME-RAG的數(shù)據(jù)中心大模型智能運維方法及系統(tǒng)

文檔序號:41954050發(fā)布日期:2025-05-16 14:18閱讀:28來源:國知局
一種基于ME-RAG的數(shù)據(jù)中心大模型智能運維方法及系統(tǒng)

本發(fā)明屬于數(shù)據(jù)中心智能運維領域,具體涉及一種基于多專家rag(multi-experts?rag,me-rag)的數(shù)據(jù)中心大模型智能運維體系方法及系統(tǒng)。


背景技術:

1、近年來,計算能力需求急劇增長,數(shù)據(jù)中心(datacenter,dc)一躍成為全球矚目的焦點。數(shù)據(jù)中心的穩(wěn)定性與安全性,直接關系到眾多行業(yè)的運轉,其重要性不言而喻。正因如此,對數(shù)據(jù)中心設施展開行之有效的運維管理,顯得極為關鍵?,F(xiàn)階段,數(shù)據(jù)中心設施的運維工作,主要依靠專業(yè)技術人員提供7×24小時的不間斷服務。這不僅對運維人員的專業(yè)素養(yǎng)和精力提出了極高要求,在人才培養(yǎng)和運維資源投入方面,也需要耗費大量成本。

2、近年來,像gpt、llama、mistral、chatglm這類可對話的大語言模型,為解決上述難題帶來了希望。它們具備強大的涌現(xiàn)能力和泛化能力,在數(shù)據(jù)中心運維領域有極大潛力。不過,數(shù)據(jù)中心領域高度專業(yè)且發(fā)展迅速,現(xiàn)有的大語言模型僅憑借其自身的知識儲備,很難直觀地為數(shù)據(jù)中心提供切實有效的解決方案。檢索增強生成(retrieval-augmentedgeneration,rag)可以低成本部署dc領域專業(yè)化大模型。目前的rag方法,通常把所有文本數(shù)據(jù)都當作一個知識庫,這就造成數(shù)據(jù)庫規(guī)模過于龐大,檢索模塊的計算成本大幅增加,可擴展性也不盡如人意。且由于缺乏圖像類信息輔助理解,這些方法在數(shù)據(jù)中心設備維護過程中,難以提供直觀清晰的指導。數(shù)據(jù)中心環(huán)境復雜且規(guī)模龐大,這類環(huán)境更需要多個領域專家攜手合作,高效解決問題。然而,受大語言模型上下文長度限制,當用戶提出一個涉及多個知識領域的問題時,那些與問題關聯(lián)緊密的領域片段,會被優(yōu)先考量,而關聯(lián)度較低領域的片段,可能因排名靠后被忽略。如此一來,給用戶提供的答案,往往既不完整,也不夠準確。

3、因此,當下急切需要一種更為高效、智能的運維解決方案,讓人工智能技術更易于理解和應用,以此提升運維效率,保障運維安全,最終實現(xiàn)數(shù)據(jù)中心的自動化運維。


技術實現(xiàn)思路

1、發(fā)明目的:本發(fā)明的目的是提供一種基于me-rag的數(shù)據(jù)中心大模型智能運維方法及系統(tǒng),通過多專家運維機制,有效提高針對用戶問題回答的正確性和全面性,并通過多模態(tài)數(shù)據(jù)庫檢索機制,為用戶提供更加直觀的多模態(tài)信息。

2、技術方案:為實現(xiàn)上述發(fā)明目的,本發(fā)明采用如下技術方案:

3、第一方面,本發(fā)明提供一種基于me-rag的數(shù)據(jù)中心大模型智能運維方法,包括以下步驟:

4、將數(shù)據(jù)中心資料分為多個領域,每個領域創(chuàng)建一個專家代理;

5、對于每個領域,通過非結構化文檔,構建包括文本數(shù)據(jù)庫、圖片數(shù)據(jù)庫和表格數(shù)據(jù)庫的多模態(tài)數(shù)據(jù)庫,作為專家代理的外嵌知識庫;

6、基于me-rag框架,經(jīng)理代理結合專家技能列表與用戶問題動態(tài)選擇涉及到的專家領域,并分派給相關專家代理進行回答;

7、收到回答指令的各專家代理,根據(jù)問題檢索自身知識庫,用文字對問題進行回答,若有相關的圖片及表格則一并返回,最后由匯報專員將所有專家代理的答案進行總結。

8、優(yōu)選地,文本數(shù)據(jù)庫采用multi-vector的方式構建,包括:將非結構化文檔的文本部分提取出來,并根據(jù)小節(jié)進行分塊,每塊投入大語言模型中進行總結得到總結塊,將總結塊進行嵌入,并通過multi-vector鏈接到源文本塊。

9、優(yōu)選地,圖片數(shù)據(jù)庫采用multi-vector的方式構建,包括:將非結構化文檔的圖片提取出來,并將圖片的名稱以及圖片周圍上下文投入大語言模型中,對圖片的作用進行總結得到總結塊,將總結塊進行嵌入,并通過multi-vector將總結塊與圖片保存路徑進行鏈接。

10、優(yōu)選地,表格數(shù)據(jù)庫采用multi-vector的方式構建,包括:將非結構化文檔的表格部分提取出來形成csv文檔,再將表格上下文、表格名稱以及表格內容投入大語言模型中進行總結,得到總結塊,并通過multi-vector將總結塊與csv文件進行鏈接。

11、優(yōu)選地,經(jīng)理代理由大語言模型和單分類器組成,通過提示詞的方式,向大語言模型投入專家技能列表,讓大語言模型知曉各個專家所擁有的技能,大語言模型結合專家技能列表與用戶問題,動態(tài)選擇適合回答用戶問題的專家代理;單分類器使用各個領域的業(yè)務文本作為輸入訓練得到,單分類器與大語言模型共同選擇專家代理,取兩者并集作為經(jīng)理代理選擇的專家代理。

12、優(yōu)選地,專家代理由文本數(shù)據(jù)庫、圖片數(shù)據(jù)庫、表格數(shù)據(jù)庫這三種模態(tài)數(shù)據(jù)庫對應的檢索模塊和大語言模型構成;檢索模塊通過在語義空間上進行計算,得到與用戶問題語義相似度最高的總結塊,并將總結塊鏈接的源返回給大語言模型;大語言模型結合檢索模塊返回的信息,回答用戶的問題,并呈現(xiàn)相關的圖片和/或表格信息。

13、優(yōu)選地,根據(jù)實際數(shù)據(jù)中心運維流程將數(shù)據(jù)中心資料根據(jù)不同設備將數(shù)據(jù)中心資料分為多個領域,每個領域的專家技能列表以目錄的形式,通過提示詞的方式提供給大語言模型。

14、第二方面,本發(fā)明提供一種基于me-rag的數(shù)據(jù)中心大模型智能運維系統(tǒng),基于me-rag框架搭建,包括經(jīng)理代理、多個專家代理,以及匯報專員;每個專家代理對應數(shù)據(jù)中心資料的一個領域,通過非結構化文檔,構建包括文本數(shù)據(jù)庫、圖片數(shù)據(jù)庫和表格數(shù)據(jù)庫的多模態(tài)數(shù)據(jù)庫,作為專家代理的外嵌知識庫;經(jīng)理代理,用于結合專家技能列表與用戶問題動態(tài)選擇涉及到的專家領域,并分派給相關專家代理進行回答;收到回答指令的各專家代理,根據(jù)問題檢索自身知識庫,用文字對問題進行回答,若有相關的圖片及表格則一并返回;所述匯報專員,用于將所有專家代理的答案進行總結。

15、優(yōu)選地,系統(tǒng)采用autogen開源框架進行搭建,由一個經(jīng)理代理、多個專家代理和一個匯報專員構成。

16、第三方面,本發(fā)明提供一種計算機系統(tǒng),包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述計算機程序被加載至處理器時實現(xiàn)所述的基于me-rag的數(shù)據(jù)中心大模型智能運維方法的步驟。

17、有益效果:與現(xiàn)有技術相比,本發(fā)明具有以下有益效果:1、本發(fā)明將多模態(tài)數(shù)據(jù)庫融入到多專家檢索中,使普通的非多模態(tài)大模型能夠處理多模態(tài)信息,包括文本、表格和圖像,得到更加直觀易懂的答案。2、本發(fā)明充分利用大語言模型的思考能力,由分類器輔助的大語言模型充當管理者,它能夠協(xié)調領域專家,同時處理模糊的查詢,有效降低了產生幻覺的風險;一系列專家模型將數(shù)據(jù)庫劃分為多個領域,提高了數(shù)據(jù)庫的可擴展性,這避免了遍歷大規(guī)模數(shù)據(jù)庫所導致的資源消耗,以及大語言模型因上下文限制而可能忽略關聯(lián)性較弱但相關領域的情況,有效提高了答案的準確性和全面性。



技術特征:

1.一種基于me-rag的數(shù)據(jù)中心大模型智能運維方法,其特征在于,包括以下步驟:

2.根據(jù)權利要求1所述的一種基于me-rag的數(shù)據(jù)中心大模型智能運維方法,其特征在于:所述文本數(shù)據(jù)庫采用multi-vector的方式構建,包括:將非結構化文檔的文本部分提取出來,并根據(jù)小節(jié)進行分塊,每塊投入大語言模型中進行總結得到總結塊,將總結塊進行嵌入,并通過multi-vector鏈接到源文本塊。

3.根據(jù)權利要求1所述的一種基于me-rag的數(shù)據(jù)中心大模型智能運維方法,其特征在于:所述圖片數(shù)據(jù)庫采用multi-vector的方式構建,包括:將非結構化文檔的圖片提取出來,并將圖片的名稱以及圖片周圍上下文投入大語言模型中,對圖片的作用進行總結得到總結塊,將總結塊進行嵌入,并通過multi-vector將總結塊與圖片保存路徑進行鏈接。

4.根據(jù)權利要求1所述的一種基于me-rag的數(shù)據(jù)中心大模型智能運維方法,其特征在于:所述表格數(shù)據(jù)庫采用multi-vector的方式構建,包括:將非結構化文檔的表格提取出來形成csv文檔,再將表格上下文、表格名稱以及表格內容投入大語言模型中進行總結,得到總結塊,并通過multi-vector將總結塊與csv文件進行鏈接。

5.根據(jù)權利要求1所述的一種基于me-rag的數(shù)據(jù)中心大模型智能運維方法,其特征在于:所述經(jīng)理代理,由大語言模型和單分類器組成,通過提示詞的方式,向大語言模型投入專家技能列表,讓大語言模型知曉各個專家所擁有的技能,大語言模型結合專家技能列表與用戶問題,動態(tài)選擇適合回答用戶問題的專家代理;單分類器使用各個領域的業(yè)務文本作為輸入訓練得到,單分類器與大語言模型共同選擇專家代理,取兩者并集作為經(jīng)理代理選擇的專家代理。

6.根據(jù)權利要求1所述的一種基于me-rag的數(shù)據(jù)中心大模型智能運維方法,其特征在于:所述專家代理,由文本數(shù)據(jù)庫、圖片數(shù)據(jù)庫、表格數(shù)據(jù)庫這三種模態(tài)數(shù)據(jù)庫對應的檢索模塊和大語言模型構成;檢索模塊通過在語義空間上進行計算,得到與用戶問題語義相似度最高的總結塊,并將總結塊鏈接的源返回給大語言模型;大語言模型結合檢索模塊返回的信息,回答用戶的問題,并呈現(xiàn)相關的圖片和/或表格信息。

7.根據(jù)權利要求1所述的一種基于me-rag的數(shù)據(jù)中心大模型智能運維方法,其特征在于:根據(jù)實際數(shù)據(jù)中心運維流程將數(shù)據(jù)中心資料根據(jù)不同設備將數(shù)據(jù)中心資料分為多個領域,每個領域的專家技能列表以目錄的形式,通過提示詞的方式提供給大語言模型。

8.一種基于me-rag的數(shù)據(jù)中心大模型智能運維系統(tǒng),其特征在于:基于me-rag框架搭建,包括經(jīng)理代理、多個專家代理,以及匯報專員;每個專家代理對應數(shù)據(jù)中心資料的一個領域,通過非結構化文檔,構建包括文本數(shù)據(jù)庫、圖片數(shù)據(jù)庫和表格數(shù)據(jù)庫的多模態(tài)數(shù)據(jù)庫,作為專家代理的外嵌知識庫;經(jīng)理代理,用于結合專家技能列表與用戶問題動態(tài)選擇涉及到的專家領域,并分派給相關專家代理進行回答;收到回答指令的各專家代理,根據(jù)問題檢索自身知識庫,用文字對問題進行回答,若有相關的圖片及表格則一并返回;所述匯報專員,用于將所有專家代理的答案進行總結。

9.根據(jù)權利要求8所述的一種基于me-rag的數(shù)據(jù)中心大模型智能運維系統(tǒng),其特征在于:系統(tǒng)采用autogen開源框架進行搭建,由一個經(jīng)理代理、多個專家代理和一個匯報專員構成。

10.一種計算機系統(tǒng),包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,其特征在于:所述計算機程序被加載至處理器時實現(xiàn)根據(jù)權利要求1-7任一項所述的基于me-rag的數(shù)據(jù)中心大模型智能運維方法的步驟。


技術總結
本發(fā)明公開了一種基于ME?RAG的數(shù)據(jù)中心大模型智能運維方法及系統(tǒng),本發(fā)明將數(shù)據(jù)中心資料分為多個領域,每個領域創(chuàng)建一個專家代理,通過非結構化文檔,構建包括文本、圖片和表格的多模態(tài)數(shù)據(jù)庫,作為專家代理的外嵌知識庫;基于ME?RAG框架,經(jīng)理代理結合專家技能列表與用戶問題動態(tài)選擇涉及到的專家領域,并分派給相關專家代理進行回答;收到回答指令的各專家代理,根據(jù)問題檢索自身知識庫,用文字對問題進行回答,若有相關的圖片及表格則一并返回,最后由匯報專員將所有專家代理的答案進行總結。本發(fā)明通過多專家運維機制,有效提高針對用戶問題回答的正確性和全面性,并通過多模態(tài)數(shù)據(jù)庫檢索機制,為用戶提供更加直觀的多模態(tài)信息。

技術研發(fā)人員:周海波,黃瑾,孫宇,程博
受保護的技術使用者:南京大學
技術研發(fā)日:
技術公布日:2025/5/15
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1