本發(fā)明涉及自然語(yǔ)言處理中的信息抽取，具體而言，涉及一種基于知識(shí)蒸餾與思維鏈的輕量化信息抽取方法及系統(tǒng)。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)及社交媒體的發(fā)展，大量非結(jié)構(gòu)化的文本數(shù)據(jù)不斷涌現(xiàn)，如新聞、社交媒體帖子、企業(yè)內(nèi)部報(bào)告等。在這些文本數(shù)據(jù)中，提取出有用的結(jié)構(gòu)化信息(如實(shí)體、關(guān)系、事件等)，已成為信息處理中的一個(gè)重要任務(wù)。尤其是在特定領(lǐng)域(如法律、醫(yī)學(xué)等)中，如何快速、準(zhǔn)確地從大量文本中抽取關(guān)鍵信息，對(duì)于決策支持、情報(bào)分析等具有重要意義。

2、現(xiàn)有的信息抽取技術(shù)多基于特定規(guī)則或特定領(lǐng)域的模型來(lái)進(jìn)行提取，但這些方法的局限性在于：1.特定領(lǐng)域數(shù)據(jù)稀缺：傳統(tǒng)信息抽取技術(shù)通常依賴于大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，而在一些特定領(lǐng)域，尤其是新興領(lǐng)域或小眾領(lǐng)域，獲取高質(zhì)量的標(biāo)注數(shù)據(jù)往往非常困難，導(dǎo)致模型的訓(xùn)練效果和實(shí)際應(yīng)用受到限制。2.計(jì)算資源需求高，部署要求苛刻：現(xiàn)有方法的復(fù)雜性通常要求較高的計(jì)算資源和存儲(chǔ)能力，尤其是在處理大規(guī)模數(shù)據(jù)集時(shí)，這使得其在資源受限的環(huán)境中部署和應(yīng)用面臨挑戰(zhàn)。3.缺乏領(lǐng)域知識(shí)和時(shí)效性知識(shí)：當(dāng)前的方法往往未能充分利用領(lǐng)域特定的知識(shí)和實(shí)時(shí)更新的信息。這種知識(shí)的缺失可能導(dǎo)致模型在信息提取中的準(zhǔn)確性和可靠性下降，尤其是在快速變化的領(lǐng)域中。

3、近年來(lái)，隨著大語(yǔ)言模型(llm，如gpt、bert等)的廣泛應(yīng)用，基于llm的信息提取技術(shù)逐漸展現(xiàn)出其優(yōu)勢(shì)。llm不僅在理解上下文方面表現(xiàn)優(yōu)異，且通過少量示例(few-shotlearning)可以快速適應(yīng)新領(lǐng)域的數(shù)據(jù)，提升泛化能力。同時(shí)，結(jié)合知識(shí)蒸餾、rag(retrieval-augmented?generation)和cot(chain-of-thought)等技術(shù)，還可以生成高效的小模型，在保證模型效果的同時(shí)，降低部署成本。然而，目前仍缺乏一種集成了大語(yǔ)言模型與高效部署能力的信息提取方法，能夠在不同領(lǐng)域?qū)崿F(xiàn)靈活的結(jié)構(gòu)化信息抽取。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問題，本發(fā)明的目的是提供一種基于知識(shí)蒸餾與思維鏈的輕量化信息抽取技術(shù)，針對(duì)現(xiàn)有信息抽取方法在泛化能力差、數(shù)據(jù)依賴強(qiáng)、難以處理復(fù)雜上下文等問題，本發(fā)明通過引入少樣本學(xué)習(xí)(few-shot?learning)技術(shù)，利用少量標(biāo)注示例生成偽數(shù)據(jù)，增強(qiáng)模型在不同領(lǐng)域的泛化能力和適應(yīng)性，特別是在數(shù)據(jù)量有限或場(chǎng)景復(fù)雜的情況下。此外，本發(fā)明采用了知識(shí)蒸餾技術(shù)，將大語(yǔ)言模型壓縮為輕量化的小參數(shù)模型，以降低部署成本并提高模型在實(shí)際終端環(huán)境中的可操作性。

2、為了實(shí)現(xiàn)上述技術(shù)目的，本技術(shù)提供了一種基于知識(shí)蒸餾與思維鏈的輕量化信息抽取方法，包括以下過程：

3、數(shù)據(jù)預(yù)處理過程：對(duì)給定的文本數(shù)據(jù)進(jìn)行預(yù)處理，包括利用通用領(lǐng)域數(shù)據(jù)集進(jìn)行模型微調(diào)，采用少樣本學(xué)習(xí)進(jìn)行數(shù)據(jù)增強(qiáng)，并將文本數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)可理解的數(shù)字形式；

4、知識(shí)蒸餾過程：選擇預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行知識(shí)蒸餾，通過推理生成高置信度的偽標(biāo)簽，并定義蒸餾損失函數(shù)，構(gòu)建教師模型和學(xué)生模型；

5、部署與推理過程：將經(jīng)過知識(shí)蒸餾后的模型部署到終端設(shè)備中，采用外部知識(shí)增強(qiáng)技術(shù)提高信息抽取的準(zhǔn)確性，同時(shí)利用思維鏈逐步處理復(fù)雜信息提取任務(wù)。

6、優(yōu)選地，在進(jìn)行數(shù)據(jù)預(yù)處理過程中，收集多樣化的通用領(lǐng)域文本數(shù)據(jù)，通過確定數(shù)據(jù)集的大小后，去除噪聲和無(wú)關(guān)信息，完成通用領(lǐng)域數(shù)據(jù)集處理。

7、優(yōu)選地，在進(jìn)行數(shù)據(jù)預(yù)處理過程中，采用少樣本學(xué)習(xí)進(jìn)行數(shù)據(jù)增強(qiáng)，選擇幾個(gè)具有代表性的樣本進(jìn)行訓(xùn)練，同時(shí)利用教師模型生成與目標(biāo)任務(wù)相關(guān)的偽數(shù)據(jù)，并將偽數(shù)據(jù)作為額外的訓(xùn)練樣本，完成特定領(lǐng)域數(shù)據(jù)集處理。

8、優(yōu)選地，在進(jìn)行數(shù)據(jù)預(yù)處理過程中，通過字符分割、大小寫轉(zhuǎn)化、文本數(shù)字化、統(tǒng)一句子長(zhǎng)度和統(tǒng)一文本長(zhǎng)度，將文本數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)可理解的數(shù)字形式。

9、優(yōu)選地，在知識(shí)蒸餾過程中，選擇大型預(yù)訓(xùn)練語(yǔ)言模型作為教師模型，選擇輕量化模型作為學(xué)生模型；

10、基于預(yù)先經(jīng)過微調(diào)的所述教師模型，通過推理生成高置信度的偽標(biāo)簽，以及思維鏈過程中的中間步驟信息，形成一個(gè)層次化的知識(shí)遷移路徑，以供學(xué)生模型進(jìn)行知識(shí)蒸餾，其中，通過計(jì)算學(xué)生模型輸出與教師模型輸出之間的差異，以及學(xué)生模型cot推理思路與教師推理cot之間的交叉熵?fù)p失，定義所述蒸餾損失函數(shù)。

11、優(yōu)選地，在部署與推理過程中，將經(jīng)過知識(shí)蒸餾后的輕量化模型部署到終端設(shè)備中，以支持實(shí)時(shí)或離線的信息抽取任務(wù)；

12、通過查詢外部知識(shí)庫(kù)，在執(zhí)行信息提取任務(wù)時(shí)提升模型的準(zhǔn)確性；

13、利用多步推理逐步處理復(fù)雜信息提取任務(wù)，確保推理鏈的連貫性和邏輯性；

14、通過結(jié)合外部知識(shí)和逐步推導(dǎo)消除信息中的歧義，從而生成準(zhǔn)確的信息提取結(jié)果。

15、優(yōu)選地，在提升模型的準(zhǔn)確性的過程中，通過分析輸入文本的內(nèi)容，識(shí)別特定信息需求，并生成相應(yīng)的查詢請(qǐng)求；

16、將生成的查詢請(qǐng)求發(fā)送至相關(guān)的外部知識(shí)庫(kù)，以獲取相關(guān)的數(shù)據(jù)；

17、將從外部知識(shí)庫(kù)檢索到的信息與模型自身的預(yù)測(cè)結(jié)果進(jìn)行融合，形成最終的輸出。

18、優(yōu)選地，在確保推理鏈的連貫性和邏輯性的過程中，結(jié)合外部知識(shí)，通過構(gòu)造明確的prompt來(lái)引導(dǎo)模型進(jìn)行逐步推理，其中，通過prompt明確推理的方向，將任務(wù)拆分為更小的步驟；

19、將輸入上下文與外部知識(shí)結(jié)合，逐步進(jìn)行邏輯推導(dǎo)，其中，識(shí)別輸入文本中的關(guān)鍵實(shí)體和關(guān)系，并確定待抽取的信息類型，利用rag模塊提取與當(dāng)前任務(wù)相關(guān)的外部知識(shí)，以確保處理最新的事實(shí)；

20、在每個(gè)推理步驟中，通過驗(yàn)證之前的推導(dǎo)結(jié)果，確保其準(zhǔn)確性和一致性，其中，通過對(duì)識(shí)別出的關(guān)系進(jìn)行結(jié)構(gòu)化整理，消除信息中的歧義，使得輸出結(jié)果符合語(yǔ)境；

21、在推理鏈的最后一步，通過綜合所有推導(dǎo)結(jié)果，形成最終的答案。

22、本發(fā)明還公開了一種基于知識(shí)蒸餾與思維鏈的輕量化信息抽取系統(tǒng)，用于實(shí)現(xiàn)上述提到的一種基于知識(shí)蒸餾與思維鏈的輕量化信息抽取方法，包括：

23、數(shù)據(jù)預(yù)處理模塊，用于對(duì)給定的文本數(shù)據(jù)進(jìn)行預(yù)處理，包括利用通用領(lǐng)域數(shù)據(jù)集進(jìn)行模型微調(diào)，采用少樣本學(xué)習(xí)進(jìn)行數(shù)據(jù)增強(qiáng)，并將文本數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)可理解的數(shù)字形式；

24、知識(shí)蒸餾模塊，用于選擇預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行知識(shí)蒸餾，通過推理生成高置信度的偽標(biāo)簽，并定義蒸餾損失函數(shù)，構(gòu)建教師模型和學(xué)生模型；

25、部署與推理模塊，用于將經(jīng)過知識(shí)蒸餾后的模型部署到終端設(shè)備中，采用外部知識(shí)增強(qiáng)技術(shù)提高信息抽取的準(zhǔn)確性，同時(shí)利用思維鏈逐步處理復(fù)雜信息提取任務(wù)。

26、本發(fā)明公開了以下技術(shù)效果：

27、(1)本發(fā)明有效解決了基于大模型的復(fù)雜推理任務(wù)中常見的模型龐大、推理速度慢、以及資源需求高的問題。通過知識(shí)蒸餾與輕量化模型部署技術(shù)，本發(fā)明能夠在資源受限的終端設(shè)備上高效運(yùn)行，同時(shí)保證推理精度。相比傳統(tǒng)的模型壓縮方法，本發(fā)明采用的哈希編碼和模型剪枝技術(shù)顯著降低了模型的內(nèi)存占用，提升了推理效率。

28、(2)本發(fā)明結(jié)合了外部知識(shí)增強(qiáng)(rag)與思維鏈(cot)機(jī)制，不僅能夠應(yīng)對(duì)領(lǐng)域特定或新興信息的準(zhǔn)確獲取，還能夠通過多步推理過程逐步處理復(fù)雜的信息抽取任務(wù)。相比傳統(tǒng)的靜態(tài)知識(shí)庫(kù)查詢方法，本發(fā)明通過動(dòng)態(tài)外部知識(shí)融合和逐步的推理鏈構(gòu)建，使得模型能夠有效消除文本中的歧義，提升了信息的時(shí)效性、準(zhǔn)確性及魯棒性。

29、(3)本發(fā)明設(shè)計(jì)了一套從數(shù)據(jù)預(yù)處理、模型訓(xùn)練到部署推理的完整流程，特別是在數(shù)據(jù)稀缺的領(lǐng)域中，采用few-shot?learning進(jìn)行數(shù)據(jù)增強(qiáng)，大幅提高了模型在小樣本情況下的表現(xiàn)能力。相比于傳統(tǒng)數(shù)據(jù)擴(kuò)充方法，基于教師模型生成的偽數(shù)據(jù)有助于提升模型的泛化能力，進(jìn)一步增強(qiáng)了系統(tǒng)的整體效能。