本發(fā)明屬于人工智能，具體是涉及生成式人工智能技術和自然語言處理技術的子領域，提供了一種基于生成式模型的領域語料數(shù)據(jù)審核及自動修正方法。

背景技術：

1、目前，生成式人工智能技術已經(jīng)在教育、醫(yī)療、金融以及法律等各個領域逐步普及，大語言模型（large?language?model,?llm）對高質量領域專用語料數(shù)據(jù)需求變得越來越迫切。然而，當前語料數(shù)據(jù)的生成和審核過度依賴專家，效率低下且易受主觀影響。但專業(yè)領域對術語和數(shù)據(jù)準確性要求非常高，并且對數(shù)據(jù)規(guī)模要求較大，專家亦難以完全滿足，審核結果可能存在疏漏。領域數(shù)據(jù)的生成會限制行業(yè)的進一步發(fā)展。當前迫切需要更高效的領域數(shù)據(jù)審核方法提升語料質量，滿足大模型在不同行業(yè)領域應用的需求。

2、現(xiàn)有技術的缺點:

3、隨著信息化技術與人工智能技術的發(fā)展與推廣，當前已經(jīng)存在多個基于llm的語料整理、信息審核等方法，具體如下：

4、專利cn118797536a《一種基于大模型的網(wǎng)絡信息數(shù)據(jù)綜合審核處理方法》描述了一種基于大模型的網(wǎng)絡信息數(shù)據(jù)綜合審核處理方法，旨在提高內(nèi)容審核的效率和準確性。該方法結合了大模型技術和歷史數(shù)據(jù)，提高了模型的準確性和適應性，適用于處理大規(guī)模網(wǎng)絡信息數(shù)據(jù)。但是并沒有明確審核內(nèi)容的格式、類型等，同時亦未提出對審核內(nèi)容的修正方法。

5、專利cn118551045a《一種基于大模型的檢測報告審核方法及裝置》本發(fā)明通過自動化審核流程減少人工工作量和主觀誤判，提高審核效率和準確性；利用大模型和自然語言處理技術處理大規(guī)模專業(yè)數(shù)據(jù)，優(yōu)化異常檢測；通過與數(shù)據(jù)庫比對確保項目信息的準確性；并提供數(shù)據(jù)驅動的見解以幫助管理和理解基礎設施狀況。但該專利缺乏自我審查和更新機制，完全依賴于預訓練的語言模型，這限制了其在其他領域的可遷移性。此外，該技術主要針對檢測報告的審核，并未涉及情況更加復雜的語料生成審核與自動修正。

6、專利cn118551046a?《一種基于大語言模型增強文檔處理流程的方法》該專利提出了一種基于大型語言模型和transformer架構的文檔處理流程增強方法，旨在通過構建智能化、自動化的文檔處理系統(tǒng)，提高處理大量文檔的效率和準確性。該方法涵蓋了文檔捕獲、分類、提取、審核、豐富及數(shù)據(jù)集成等多個階段，并集成了大型語言模型以實現(xiàn)文檔內(nèi)容理解、關鍵數(shù)據(jù)自動提取、上下文豐富和數(shù)據(jù)合成。但是該專利需要人工實時監(jiān)督模塊，對人力成本要求較高，未能充分減輕人工負擔。

7、目前基于大型語言模型（llm）的語料審核技術雖然在提高審核效率和準確性方面取得了進展，但仍存在對人工審核的依賴問題，特別是在多領域語料審核中，需要人工反饋以提高準確性。此外，現(xiàn)有技術缺乏自我審查和更新機制，過度依賴預訓練模型，限制了模型的適應性和靈活性。同時，缺少對審核內(nèi)容的自動修正措施，導致即使識別出問題，也需人工干預進行修正，這增加了工作量并可能影響審核效率。因此，未來的研究需要關注減少人工審核依賴、增強模型自我學習和更新能力，以及開發(fā)自動化修正機制，以實現(xiàn)更高效、準確的語料審核。

技術實現(xiàn)思路

1、本發(fā)明目的在于逐步減少領域數(shù)據(jù)審核對人工的依賴，增強大語言模型的自我審查和更新能力，以及實現(xiàn)審核內(nèi)容的自動化修正。將提高多領域語料審核的準確性，提升模型的適應性和靈活性，并通過自動化修正措施逐步降低人工干預，從而實現(xiàn)更高效和準確的語料智能化審核與自動修正流程，為大模型在各種不同領域應用提供一種領域數(shù)據(jù)快速審核和自動修正的方法。

2、為了實現(xiàn)上述目的本發(fā)明采用以下技術方案：

3、本發(fā)明提給了一種基于生成式模型的領域語料數(shù)據(jù)審核及自動修正方法，包括以下步驟：

4、步驟1、對原始語料進行預處理，得到標準化語料；

5、步驟1.1、對來自互聯(lián)網(wǎng)、人工收集或大語言模型生成的原始語料進行格式標準化，轉換為json格式對象；

6、步驟1.2、對步驟1.1得到的json格式對象進行分類統(tǒng)計，根據(jù)語料類型進行分類，包括單輪對話、多輪對話和陳述；

7、步驟1.3、利用基于llm的模糊識別技術，對步驟1.2得到的分類語料進行語序和標點修正；步驟1.4、對步驟1.3得到的修正語料進行句法分析、詞性標注、語義分析以及重組語句，得到重組后的文本；

8、步驟1.5、將重組后的文本再次映射成json格式，輸出為標準化語料。

9、步驟2、對標準化語料進行l(wèi)lm審核，得到評分結果；

10、步驟2.1、多個llm根據(jù)提示工程生成對當前語料的觀點，每個llm生成k個觀點，總共得到k×m個觀點；

11、步驟2.1.1、選擇多個經(jīng)過指令微調(diào)的llm，確保它們在領域語料上具有較好的表現(xiàn)；

12、步驟2.1.2、將標準化語料分割成適合llm處理的段落或句子；

13、步驟2.1.3、為每個llm設計特定的提示工程，以引導模型生成關于語料事實正確性的觀點；

14、步驟2.1.4、將分割后的語料輸入到每個llm中，生成多個不同的觀點；

15、步驟2.1.5、重復步驟2.1.4，確保每個llm生成k次不同的觀點，以增加結果的多樣性；

16、步驟2.1.6、收集所有l(wèi)lm生成的觀點，共計k×m個；

17、步驟2.2、對步驟2.1得到的觀點進行聚類分析，計算每個語義等價類的生成概率；

18、步驟2.2.1、使用預訓練的bert模型將每個觀點編碼為固定維度的語義向量；

19、步驟2.2.2、計算所有語義向量之間的余弦相似度，作為聚類分析的相似度度量；

20、步驟2.2.3、應用k-means聚類算法，根據(jù)余弦相似度將語義向量劃分為多個聚類，即語義等價類；

21、步驟2.2.4、統(tǒng)計每個聚類中觀點的數(shù)量，計算每個語義等價類的生成概率：

22、

23、其中為語義等價類，為該語義等價類中的觀點，為人為設置的提示工程標準，依據(jù)審核內(nèi)容的不同由審核人員手動設置，為審核語料的標準或語料需滿足的關鍵詞。

24、步驟2.3、根據(jù)步驟2.2得到的生成概率，計算語義熵，判斷語料的事實正確性；

25、步驟2.3.1、根據(jù)生成概率，應用語義熵的計算公式：

26、；

27、步驟2.3.2、對每個語義等價類計算其語義熵值；

28、步驟2.3.3、匯總所有語義等價類的語義熵值，得到整個語料的語義熵度量；

29、步驟2.3.4、分析語義熵值，判斷語料的事實正確性，較低的語義熵值表示較高的事實正確性；

30、步驟2.3.5、輸出每個語料的語義熵值。

31、步驟2.4、根據(jù)預設的合格標準k1和不合格標準k2，將語料分為高分、中分和低分三類，輸出評分結果

32、步驟2.4.1、設定初始的合格標準k1和不合格標準k2，這些標準根據(jù)領域知識和經(jīng)驗進行調(diào)整；

33、步驟2.4.2、比較每個語料的語義熵值與合格標準k1和不合格標準k2；

34、步驟2.4.3、將語義熵值低于k1的語料分類為高分語料；

35、步驟2.4.4、將語義熵值高于k2的語料分類為低分語料，低分語料為不合格語料；

36、步驟2.4.5、將語義熵值介于k1與k2之間的語料分類為中分語料；

37、步驟2.4.6、整理分類結果，為每個語料生成包含原始語料段落、語義熵值和評分類別的json對象；

38、步驟2.4.7、輸出所有語料的評分結果。

39、步驟3、對llm審核結果為中分的語料進行人工審核，得到最終評分反饋；

40、步驟3.1、將llm審核輸出的中分語料輸入到大眾審核模塊，由多位評審員進行評分；

41、步驟3.2、對評審員評分進行統(tǒng)計分析，剔除顯著離群評分，計算均值；

42、步驟3.3、識別爭議條目，將其輸入到專家審核模塊進行再審；

43、步驟3.4、專家審核模塊對爭議條目進行評審，判斷合格與否；

44、步驟3.5、整合原語料以及最終評分，輸出為評分反饋的json對象。

45、步驟4、對不合格語料進行自動修正，得到修正后語料；

46、步驟4.1、根據(jù)預設比例將不合格語料分配至人工改寫和llm改寫模塊處理；

47、不合格語料根據(jù)p和1-p的比例分別進入人工改寫模塊和llm改寫模塊，p服從下列公式：

48、

49、其中m為累計進行審核的語料條數(shù)，參數(shù)用于根據(jù)語料數(shù)總量調(diào)整p的改變速率，根據(jù)sigmoid函數(shù)的特性，隨著m逐漸增加，p將服從一個平滑的減少趨勢，并在m大于某一閾值的情況下基本不變，即隨著語料累計，人工改寫模塊中人工的工作量將會逐步減少，流程最后人工改寫模塊和llm改寫模塊共同輸出修改后語料；

50、步驟4.2、對進入人工改寫模塊的語料進行多人同時改寫，形成修改語料對，錄入修改語料對倉庫；

51、步驟4.3、當修改語料對倉庫達到一定數(shù)量時，輸入到llm更新模塊，對llm進行微調(diào)訓練；

52、步驟4.4、對進入llm改寫模塊的語料進行自動改寫，輸出修正后語料。

53、步驟5、對修正后語料進行再次審核，直至通過審核得到合格語料；

54、步驟5.1、將修正后語料重新輸入到llm審核模塊，進行新一輪的審核；

55、步驟5.2、對步驟5.1得到的審核結果進行判斷，若合格則輸出合格語料，若不合格則返回步驟4進行再次修正；

56、步驟5.3、循環(huán)執(zhí)行步驟5.1和步驟5.2，直至所有語料通過審核得到合格語料。

57、步驟6、收集評分反饋，對llm審核模型進行更新；

58、步驟6.1、收集一定數(shù)量的評分反饋，統(tǒng)計語義熵與最終評分的關系；

59、步驟6.2、根據(jù)統(tǒng)計結果，重新計算合格標準k1和不合格標準k2；

60、步驟6.3、在更換目標語料審核任務或數(shù)次更新不理想時，修改指定上下文x；

61、步驟6.4、使用更新后的k1、k2和x，對llm審核大模型進行更新，提高后續(xù)審核的準確性。

62、因為本發(fā)明采用上述技術手段，因此具備以下有益效果：

63、1.語料審核模塊：本模塊通過llm審核和人工審核相結合的方式，提高了語料審核的效率和準確性。llm審核部分通過預處理的語料輸入到核心審核模塊，利用大型語言模型的深度分析能力進行評分。人工審核則通過大眾評審和專家評審，對llm審核的結果進行二次驗證，確保審核的準確性。

64、2.語料修正模塊：該模塊針對不合格的語料進行自動修正。通過預訓練模型和語義分析，找到與不合格語料語義最接近的合格語料作為參考，進行改寫。這種方法保留了原語料的核心語義，同時生成了語義上更準確的文本。

65、3.llm審核大模型更新流程：通過收集評分反饋，對llm進行微調(diào)，不斷增強其審核能力。這種方法使得llm的評分更加極化，減少了需要人工二審的中間評分語料，從而降低了人力成本，提升了審核效率和準確性。

66、綜上所述，本發(fā)明通過結合llm和人工審核，以及開發(fā)自動化修正機制，有效提高了多領域語料審核的準確性，增強了模型的適應性和靈活性，并通過自動化修正措施逐步降低人工干預，實現(xiàn)了更高效和準確的語料智能化審核與自動修正流程。