本發(fā)明涉及自然語言處理，特別是涉及一種基于教育咨詢大數(shù)據(jù)的ai大模型訓練方法及系統(tǒng)。

背景技術(shù)：

1、在當今全球化的背景下，留學已成為許多學生和家庭的重要選擇。然而，留學咨詢領(lǐng)域的專業(yè)性要求極高，普通群眾往往難以通過自身的能力解決相關(guān)留學問題，因此需要尋求專業(yè)留學人員的幫助。然而，尋求專業(yè)人員的咨詢服務通常伴隨著高昂的費用，增加了用戶的經(jīng)濟負擔。

2、現(xiàn)有技術(shù)中，利用知識圖譜構(gòu)建技術(shù)實現(xiàn)留學線上咨詢的方案逐漸興起。這些方案通?；诜l及用戶與律師的問答對構(gòu)建留學知識庫，并利用語義理解、意圖識別和文本匹配等深度學習技術(shù)構(gòu)建留學語言理解模塊。通過知識運營模塊篩選出有效問題并匹配到知識庫中獲取答案。然而，這些現(xiàn)有技術(shù)的留學咨詢回復方法存在以下缺陷：

3、(1)專業(yè)性要求高：留學咨詢問題的復雜性和專業(yè)性使得普通用戶難以理解和處理，導致咨詢需求增加。

4、(2)知識圖譜構(gòu)建復雜：現(xiàn)有技術(shù)中的知識圖譜構(gòu)建方法復雜且成本高，限制了其在實際應用中的推廣。

5、(3)回復生硬：基于知識圖譜和文本匹配的回復方式往往顯得生硬，缺乏人性化的表達，用戶體驗不佳。

6、(4)幻覺問題：生成式大模型在輸出回答時可能與真實法條不一致，產(chǎn)生幻覺問題，給用戶帶來困擾。

7、因此，現(xiàn)有技術(shù)中的留學咨詢回復方法亟需改進，以降低用戶的咨詢成本，提高回復的流暢性和準確性，滿足用戶對留學咨詢的實際需求。

技術(shù)實現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提供一種基于教育咨詢大數(shù)據(jù)的ai大模型訓練方法及系統(tǒng)，通過高質(zhì)量的數(shù)據(jù)清洗、情感分析、敏感詞檢測、相似度計算、微調(diào)和迭代訓練，能夠顯著提高ai模型在教育咨詢和留學咨詢領(lǐng)域的表現(xiàn)，提升用戶體驗，促進模型的持續(xù)優(yōu)化和擴展應用，具有重要的實際意義和應用價值。

2、為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

3、一種基于教育咨詢大數(shù)據(jù)的ai大模型訓練方法，包括：

4、收集教育咨詢和留學咨詢領(lǐng)域的大規(guī)模問答數(shù)據(jù)集，并對所述大規(guī)模問答數(shù)據(jù)集進行清洗，以去除無效信息和噪聲數(shù)據(jù)，得到清洗數(shù)據(jù)；

5、利用自然語言處理技術(shù)對所述清洗數(shù)據(jù)進行情感分析和敏感詞檢測，以識別并標記出負面情感詞語和敏感詞，得到標記有負面情感詞語和敏感詞的問答數(shù)據(jù)集；

6、提取所述問答數(shù)據(jù)集中的問答對，并且根據(jù)預設的用戶提問進行相似度計算，以篩選出與用戶提問相似度最高的問答對；所述預設的用戶提問是通過預訓練的ai人工智能大模型進行輸出得到的；

7、基于所述與用戶提問相似度最高的問答對，利用深度學習算法對所述預訓練的ai人工智能大模型進行微調(diào)，得到訓練好的ai人工智能大模型；

8、獲取所述訓練好的ai人工智能大模型生成的回復結(jié)果；

9、根據(jù)所述回復結(jié)果進行生成效果評估，并根據(jù)評估結(jié)果對所述訓練好的ai人工智能大模型進行迭代訓練。

10、優(yōu)選地，所述大規(guī)模問答數(shù)據(jù)集包括：用戶提問、專家回復及相關(guān)評分數(shù)據(jù)。

11、優(yōu)選地，對所述大規(guī)模問答數(shù)據(jù)集進行清洗，以去除無效信息和噪聲數(shù)據(jù)，得到清洗數(shù)據(jù)，包括：

12、遍歷所述大規(guī)模問答數(shù)據(jù)集其中qi表示第i個用戶提問，ai表示對應的回答，n為大規(guī)模問答數(shù)據(jù)集中問答對的總數(shù)；

13、構(gòu)建清洗函數(shù)；所述清洗函數(shù)的公式為：所述有效性條件包括：內(nèi)容完整性、情感分析、敏感詞檢測和重復性檢查；所述內(nèi)容完整性的表達式為：len(qi)>tq且len(ai)>ta；其中tq和ta是預設的閾值，表示提問和回答的最小長度；所述情感分析的表達式為：s(qi)≥0且s(ai)≥0；其中s(x)表示對文本x的情感評分，確保提問和回答均為正面情感；所述敏感詞檢測的表達式為：sensitive(qi)＝0且sensitive(ai)＝0；其中sensitive(x)表示文本x中是否包含敏感詞，返回0表示不包含；所述重復性檢查的表達式為：其中dup(qi,aj)表示提問qi是否與其他提問qj重復，返回0表示不重復；

14、根據(jù)所述清洗函數(shù)對所述大規(guī)模問答數(shù)據(jù)集進行清洗，得到所述清洗數(shù)據(jù)；所述清洗數(shù)據(jù)的表達式為：d′＝{(qi,ai)∣i∈{1,2,…,n}，且c(qi,ai)＝1}。

15、優(yōu)選地，利用自然語言處理技術(shù)對所述清洗數(shù)據(jù)進行情感分析和敏感詞檢測，以識別并標記出負面情感詞語和敏感詞，得到標記有負面情感詞語和敏感詞的問答數(shù)據(jù)集，包括：

16、使用情感分析模型對每個提問和回答進行情感評分。

17、設定情感評分閾值，將評分低于該閾值的文本標記為負面情感；

18、使用敏感詞庫對每個提問和回答進行檢測，識別出其中的敏感詞；

19、將檢測到的敏感詞進行標記；

20、根據(jù)情感評分和敏感詞的標記結(jié)果，生成標記有負面情感詞語和敏感詞的問答數(shù)據(jù)集。

21、優(yōu)選地，提取所述問答數(shù)據(jù)集中的問答對，并且根據(jù)預設的用戶提問進行相似度計算，以篩選出與用戶提問相似度最高的問答對，包括：

22、sim(qu,qi)＝α·cosine(v(qu),v(qi))+β·semantic(qu,qi)+γ·length(qu,qi)

23、其中，qu為預設的用戶提問；v(q)表示提問q的向量表示，cosine(v(qu),v(qi))為余弦相似度，計算qu和qi向量之間的相似度，值范圍在[-1,1]之間，越接近1表示越相似，semantic(qu,qi)為語義相似度，使用預訓練的語言模型計算qu和qi的語義相似度，值范圍在[0,1]之間，越接近1表示語義越相似，length(qu,qi)為長度相似度，計算qu和qi的長度差異，定義為：值范圍在[0,1]之間，越接近1表示長度越相似，α、β和γ分別分別表示余弦相似度，語義相似度和長度相似度在最終相似度計算中的重要性。

24、優(yōu)選地，基于所述與用戶提問相似度最高的問答對，利用深度學習算法對所述預訓練的ai人工智能大模型進行微調(diào)，得到訓練好的ai人工智能大模型，包括：

25、將相似度最高的問答對轉(zhuǎn)換為模型輸入格式，得到編碼后的輸入數(shù)據(jù)；

26、使用深度學習框架加載預訓練的ai模型；

27、將所述編碼后的輸入數(shù)據(jù)輸入到所述預訓練的ai人工智能大模型中，進行微調(diào)訓練，得到訓練好的ai人工智能大模型；微調(diào)訓練過程中，使用相似度最高的問答對的回答作為目標輸出。

28、優(yōu)選地，所述生成效果評估的指標包括：bleu、rouge和meteor。

29、一種基于教育咨詢大數(shù)據(jù)的ai大模型訓練系統(tǒng)，包括：

30、數(shù)據(jù)收集及清洗單元，用于收集教育咨詢和留學咨詢領(lǐng)域的大規(guī)模問答數(shù)據(jù)集，并對所述大規(guī)模問答數(shù)據(jù)集進行清洗，以去除無效信息和噪聲數(shù)據(jù)，得到清洗數(shù)據(jù)；

31、分析檢測單元，用于利用自然語言處理技術(shù)對所述清洗數(shù)據(jù)進行情感分析和敏感詞檢測，以識別并標記出負面情感詞語和敏感詞，得到標記有負面情感詞語和敏感詞的問答數(shù)據(jù)集；

32、相似度計算單元，用于提取所述問答數(shù)據(jù)集中的問答對，并且根據(jù)預設的用戶提問進行相似度計算，以篩選出與用戶提問相似度最高的問答對；所述預設的用戶提問是通過預訓練的ai人工智能大模型進行輸出得到的；

33、模型微調(diào)單元，用于基于所述與用戶提問相似度最高的問答對，利用深度學習算法對所述預訓練的ai人工智能大模型進行微調(diào)，得到訓練好的ai人工智能大模型；

34、結(jié)果獲取單元，用于獲取所述訓練好的ai人工智能大模型生成的回復結(jié)果；

35、評估單元，用于根據(jù)所述回復結(jié)果進行生成效果評估，并根據(jù)評估結(jié)果對所述訓練好的ai人工智能大模型進行迭代訓練。

36、根據(jù)本發(fā)明提供的具體實施例，本發(fā)明公開了以下技術(shù)效果：

37、本發(fā)明提供了一種基于教育咨詢大數(shù)據(jù)的ai大模型訓練方法及系統(tǒng)，方法包括：收集教育咨詢和留學咨詢領(lǐng)域的大規(guī)模問答數(shù)據(jù)集，并對所述大規(guī)模問答數(shù)據(jù)集進行清洗，以去除無效信息和噪聲數(shù)據(jù)，得到清洗數(shù)據(jù)；利用自然語言處理技術(shù)對所述清洗數(shù)據(jù)進行情感分析和敏感詞檢測，以識別并標記出負面情感詞語和敏感詞，得到標記有負面情感詞語和敏感詞的問答數(shù)據(jù)集；提取所述問答數(shù)據(jù)集中的問答對，并且根據(jù)預設的用戶提問進行相似度計算，以篩選出與用戶提問相似度最高的問答對；所述預設的用戶提問是通過預訓練的ai人工智能大模型進行輸出得到的；基于所述與用戶提問相似度最高的問答對，利用深度學習算法對所述預訓練的ai人工智能大模型進行微調(diào)，得到訓練好的ai人工智能大模型；獲取所述訓練好的ai人工智能大模型生成的回復結(jié)果；根據(jù)所述回復結(jié)果進行生成效果評估，并根據(jù)評估結(jié)果對所述訓練好的ai人工智能大模型進行迭代訓練。本發(fā)明通過高質(zhì)量的數(shù)據(jù)清洗、情感分析、敏感詞檢測、相似度計算、微調(diào)和迭代訓練，能夠顯著提高ai模型在教育咨詢和留學咨詢領(lǐng)域的表現(xiàn)，提升用戶體驗，促進模型的持續(xù)優(yōu)化和擴展應用，具有重要的實際意義和應用價值。