本發(fā)明涉及大語言模型領域，具體為一種基于大語言模型的政務熱線工單智能分撥方法。

背景技術：

1、大語言模型是一種基于人工智能的自然語言處理技術，能夠理解和生成自然語言。通過對海量文本數(shù)據(jù)的學習，大語言模型可以掌握語言的語法、語義和上下文關系，并在此基礎上完成各種語言任務。其在文本分類、情感分析、問答系統(tǒng)等多個領域取得了顯著的成果，能夠提供智能化、自動化的服務。在政務熱線工單智能分類分撥中，大語言模型能夠有效地分析用戶的投訴內容，根據(jù)自定義的分撥規(guī)則，自動推薦處理部門，提高工作效率。

2、現(xiàn)有技術如中國專利文件cn115935245a提供的一種政務熱線案件自動分類分撥方法，其基于bert預訓練模型，案件分類模型通過重點訓練相似類別的區(qū)別，提高了模型對相似案件類別的分類準確率；部門分撥模型通過融合行政區(qū)劃信息和重點訓練相似案件主管部門的區(qū)別，提升模型對案件分撥的準確率。但是上述技術僅使用基于bert的案件分類與分撥模型來完成案件的智能分類分撥，只能提供案件分類與案件辦理部門，無法給出派發(fā)理由或依據(jù)等。

3、現(xiàn)有的方法大多都是基于bert的分類模型，這種方法可在輸入案件文本內容后，直接給出案件的分類與辦理部門。但是，受限于訓練數(shù)據(jù)，此方法在上線初期，基本具有較好的效果，但隨著時間的流逝，效果會呈現(xiàn)下降趨勢，需要較頻繁的更新訓練數(shù)據(jù)，訓練模型。且當分撥規(guī)則存在變更時，如以前相同情景下派發(fā)a部門，但是a部門現(xiàn)在不受理這部分案件了，轉而派發(fā)給b部門，針對這種情況，這些數(shù)據(jù)加入訓練會對模型造成很大的干擾，數(shù)據(jù)內就存在沖突，但是，篩選去除這些數(shù)據(jù)的工作又是耗時、耗力的，甚至發(fā)現(xiàn)這些數(shù)據(jù)沖突都較為困難。

技術實現(xiàn)思路

1、在針對現(xiàn)有技術存在的不足，本發(fā)明目的是提供一種基于大語言模型的政務熱線工單智能分撥方法，以解決上述背景技術中提出的問題，本發(fā)明生成的結果具有可解釋性，可推導，靈活與適應性強等優(yōu)點。

2、為了實現(xiàn)上述目的，本發(fā)明是通過如下的技術方案來實現(xiàn)：一種基于大語言模型的政務熱線工單智能分撥方法，所述分撥方法包括大語言模型的微調和微調模型的政務案件派發(fā)，其中大語言模型的微調包括以下步驟：

3、s1.1、整理案件派發(fā)記錄信息與構建案件派發(fā)知識庫；

4、s1.2、批量構造微調數(shù)據(jù)集；

5、s1.3、微調數(shù)據(jù)集清洗；

6、s1.4、使用微調數(shù)據(jù)集微調大語言模型；

7、所述微調模型的政務案件派發(fā)包括以下步驟：

8、s2.1、定時讀取未分撥的政務熱線案件；

9、s2.2、利用bert分類模型將案件分類；

10、s2.3、通過分類模型得到的案件分類，從知識庫檢索得到分類的工單派發(fā)規(guī)則；

11、s2.4、構建大模型輸入，通過將提示詞模板+案件信息+工單派發(fā)規(guī)則文檔結合，得到最終的模型輸入；

12、s2.5、從模型輸出的json格式提取信息，按對應信息分撥案件。

13、進一步的，在步驟s1.1中，收集案件派發(fā)記錄中的案件內容、案件分類、案件地址、辦理部門信息均通過人工整理所有分類的派發(fā)規(guī)則。

14、進一步的，每個分類使用《xxx工單派發(fā)規(guī)則.docx》為名，將派發(fā)規(guī)則寫入文檔形成知識庫。

15、進一步的，在步驟s1.1中具體包括以下過程：

16、s1.2.1、構造一個簡單的程序，輸入為案件內容，案件分類，案件地址；

17、s1.2.2、根據(jù)案件分類，檢索到當前輸入使用的工單派發(fā)規(guī)則文檔；

18、s1.2.3、根據(jù)文檔與案件內容，案件地址構造大模型輸入；

19、s1.2.4、輸入qwen2.5-72b大模型，保存模型輸出；

20、s1.2.5、批量執(zhí)行s1.2.1~s1.2.4，得到初步數(shù)據(jù)集。

21、進一步的，所述大模型輸入包括提示詞模板和樣本。

22、進一步的，在步驟s1.3中，根據(jù)案件派發(fā)記錄中的辦理部門，結合工單派發(fā)規(guī)則與保存的模型輸出進行數(shù)據(jù)過濾，得到清洗后的微調數(shù)據(jù)集。

23、進一步的，微調數(shù)據(jù)集由模型輸入和標注組成，模型輸入即是提示詞模板+工單派發(fā)規(guī)則文檔+工單數(shù)據(jù)組成，標注則是派發(fā)理由和辦理部門的json數(shù)據(jù)。

24、進一步的，在步驟s1.4中，將模型輸入數(shù)據(jù)輸入大語言模型，根據(jù)大模型輸出內容與標注，通過損失函數(shù)計算損失，并基于大語言模型自帶的優(yōu)化器減少損失函數(shù)，使得大語言模型的輸出逐漸接近預期的輸出內容。

25、進一步的，步驟s1.4的具體流程如下：

26、s1.4.1、大語言模型經過大量的文本預訓練，用于生成文本，歸納內容，以及進行翻譯、重寫、歸類、分類和分析；

27、s1.4.2、微調大語言模型的方式為qlora微調方式；

28、s1.4.3、對訓練步數(shù)進行設置。

29、進一步的，所述大語言模型為開源的大語言模型，包括chatglm3-6b,?qwen2.5系列；所述訓練步數(shù)設置為5000。

30、本發(fā)明的有益效果：

31、1.該基于大語言模型的政務熱線工單智能分撥方法根據(jù)案件信息與業(yè)務信息（工單派發(fā)規(guī)則、部門權責清單等等額外積累的文檔信息）來自動分撥案件，并可為分撥行為提供一定的可解釋性。提高了智能分撥的靈活性。在業(yè)務信息變更情況下，也能0成本的完成適配。

32、2.該基于大語言模型的政務熱線工單智能分撥方法充分利用大語言模型的邏輯推理能力，仿照人工派單的邏輯，整理出業(yè)務上，派單員實際派發(fā)過程中遵循的工單派發(fā)規(guī)則，完成智能派發(fā)。

33、3.該基于大語言模型的政務熱線工單智能分撥方法通過利用外部文檔（工單派發(fā)規(guī)則）來完成智能派發(fā)，具有較高的靈活性，在工單派發(fā)規(guī)則有細微變動情況下，不用重新訓練模型，只需要更新工單派發(fā)規(guī)則文檔即可完成智能派發(fā)模塊的更新；同時也具備可解釋性，可提供原有分波模型（基于bert的分類模型）無法提供的解釋性，可在提供分撥部門的基礎上，提供是因為什么原因派發(fā)至某部門的，更易于理解與優(yōu)化整體模塊的效果。

技術特征：

1.在一種基于大語言模型的政務熱線工單智能分撥方法，其特征在于：所述分撥方法包括大語言模型的微調和微調模型的政務案件派發(fā)，其中大語言模型的微調包括以下步驟：

2.根據(jù)權利要求1所述的一種基于大語言模型的政務熱線工單智能分撥方法，其特征在于：在步驟s1.1中，收集案件派發(fā)記錄中的案件內容、案件分類、案件地址、辦理部門信息均通過人工整理所有分類的派發(fā)規(guī)則。

3.根據(jù)權利要求2所述的一種基于大語言模型的政務熱線工單智能分撥方法，其特征在于：每個分類使用《xxx工單派發(fā)規(guī)則.docx》為名，將派發(fā)規(guī)則寫入文檔形成知識庫。

4.根據(jù)權利要求1所述的一種基于大語言模型的政務熱線工單智能分撥方法，其特征在于，在步驟s1.1中具體包括以下過程：

5.根據(jù)權利要求4所述的一種基于大語言模型的政務熱線工單智能分撥方法，其特征在于：所述大模型輸入包括提示詞模板和樣本。

6.根據(jù)權利要求1所述的一種基于大語言模型的政務熱線工單智能分撥方法，其特征在于，在步驟s1.3中，根據(jù)案件派發(fā)記錄中的辦理部門，結合工單派發(fā)規(guī)則與保存的模型輸出進行數(shù)據(jù)過濾，得到清洗后的微調數(shù)據(jù)集。

7.根據(jù)權利要求6所述的一種基于大語言模型的政務熱線工單智能分撥方法，其特征在于：微調數(shù)據(jù)集由模型輸入和標注組成，模型輸入即是提示詞模板+工單派發(fā)規(guī)則文檔+工單數(shù)據(jù)組成，標注則是派發(fā)理由和辦理部門的json數(shù)據(jù)。

8.根據(jù)權利要求1所述的一種基于大語言模型的政務熱線工單智能分撥方法，其特征在于，在步驟s1.4中，將模型輸入數(shù)據(jù)輸入大語言模型，根據(jù)大模型輸出內容與標注，通過損失函數(shù)計算損失，并基于大語言模型自帶的優(yōu)化器減少損失函數(shù)，使得大語言模型的輸出逐漸接近預期的輸出內容。

9.根據(jù)權利要求1所述的一種基于大語言模型的政務熱線工單智能分撥方法，其特征在于，步驟s1.4的具體流程如下：

10.根據(jù)權利要求9所述的一種基于大語言模型的政務熱線工單智能分撥方法，其特征在于：所述大語言模型為開源的大語言模型，包括chatglm3-6b,?qwen2.5系列；所述訓練步數(shù)設置為5000。

技術總結
本發(fā)明提供一種基于大語言模型的政務熱線工單智能分撥方法，該分撥方包括大語言模型的微調和微調模型的政務案件派發(fā)，其中大語言模型的微調包括以下步驟：整理案件派發(fā)記錄信息與構建案件派發(fā)知識庫；批量構造微調數(shù)據(jù)集；微調數(shù)據(jù)集清洗；使用微調數(shù)據(jù)集微調大語言模型。本發(fā)明利用大語言模型的邏輯推理能力，仿照人工派單的邏輯，整理出業(yè)務上，派單員實際派發(fā)過程中遵循的工單派發(fā)規(guī)則，完成智能派發(fā)，具有較高的靈活性，在工單派發(fā)規(guī)則有細微變動情況下，不用重新訓練模型，只需要更新工單派發(fā)規(guī)則文檔即可完成智能派發(fā)模塊的更新；同時也具備可解釋性，可提供原有分波模型，更易于理解與優(yōu)化整體模塊的效果。

技術研發(fā)人員：謝迪,龔維銘,彭博駿,雷新海,朱偉奇,袁以鵬,姚琦,魯琪
受保護的技術使用者：吉奧時空信息技術股份有限公司
技術研發(fā)日：
技術公布日：2025/5/15