本發(fā)明涉及人工智能，尤其涉及一種基于范式演化的語(yǔ)料處理方法、裝置、設(shè)備、介質(zhì)與產(chǎn)品。

背景技術(shù)：

1、在人工智能的發(fā)展歷程中，模型因其強(qiáng)大的學(xué)習(xí)能力和廣泛的應(yīng)用場(chǎng)景而成為研究的熱點(diǎn)。然而，模型在執(zhí)行領(lǐng)域任務(wù)時(shí)缺乏足夠的適應(yīng)性和泛化能力方面，這些問題限制了模型在多變和復(fù)雜的行業(yè)領(lǐng)域中的應(yīng)用。

2、現(xiàn)有的模型能力提升方法主要是以模型為中心對(duì)模型的能力進(jìn)行提升，如直接擬合、引導(dǎo)和蒸餾等方式獲得。但是，對(duì)語(yǔ)料的管理不精細(xì)導(dǎo)致對(duì)于專業(yè)性、聚焦性強(qiáng)的領(lǐng)域任務(wù)往往理解精細(xì)度和深度不足，并且需要大量的領(lǐng)域標(biāo)注數(shù)據(jù)，導(dǎo)致模型訓(xùn)練成本高。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種基于范式演化的語(yǔ)料處理方法、裝置、設(shè)備、介質(zhì)與產(chǎn)品，以解決現(xiàn)有的模型能力提升方法主要以模型為中心，對(duì)語(yǔ)料的管理不精細(xì)，導(dǎo)致對(duì)于專業(yè)性、聚焦性強(qiáng)的領(lǐng)域任務(wù)往往理解精細(xì)度和深度不足，且需要大量的領(lǐng)域標(biāo)注數(shù)據(jù)，導(dǎo)致模型訓(xùn)練成本高的問題。

2、第一方面，本發(fā)明實(shí)施例提供了一種基于范式演化的語(yǔ)料處理方法，包括：

3、獲取目標(biāo)領(lǐng)域的指令樣本集的知識(shí)圖譜；所述知識(shí)圖譜包括所述指令樣本集中各指令樣本的任務(wù)網(wǎng)絡(luò)；

4、從所述知識(shí)圖譜中抽取任務(wù)范式網(wǎng)絡(luò)，所述任務(wù)范式網(wǎng)絡(luò)為同一任務(wù)類型的任務(wù)網(wǎng)絡(luò)中的共有網(wǎng)絡(luò)；

5、對(duì)所述任務(wù)范式網(wǎng)絡(luò)進(jìn)行演化，得到任務(wù)范式演化網(wǎng)絡(luò)；

6、基于所述任務(wù)范式演化網(wǎng)絡(luò)生成學(xué)習(xí)語(yǔ)料，所述學(xué)習(xí)語(yǔ)料用于目標(biāo)領(lǐng)域模型的學(xué)習(xí)。

7、第二方面，本發(fā)明實(shí)施例提供了一種基于范式演化的語(yǔ)料處理方法，包括：

8、知識(shí)圖譜獲取模塊，用于獲取目標(biāo)領(lǐng)域的指令樣本集的知識(shí)圖譜；所述知識(shí)圖譜包括所述指令樣本集中各指令樣本的任務(wù)網(wǎng)絡(luò)；

9、網(wǎng)絡(luò)抽取模塊，用于從所述知識(shí)圖譜中抽取任務(wù)范式網(wǎng)絡(luò)，所述任務(wù)范式網(wǎng)絡(luò)為同一任務(wù)類型的任務(wù)網(wǎng)絡(luò)中的共有網(wǎng)絡(luò)；

10、網(wǎng)絡(luò)演化模塊，用于對(duì)所述任務(wù)范式網(wǎng)絡(luò)進(jìn)行演化，得到任務(wù)范式演化網(wǎng)絡(luò)；

11、語(yǔ)料生成模塊，用于基于所述任務(wù)范式演化網(wǎng)絡(luò)生成學(xué)習(xí)語(yǔ)料，所述學(xué)習(xí)語(yǔ)料用于目標(biāo)領(lǐng)域模型的學(xué)習(xí)。

12、第三方面，本發(fā)明實(shí)施例提供了一種電子設(shè)備，所述電子設(shè)備包括：

13、至少一個(gè)處理器；以及

14、與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

15、所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行本發(fā)明任一實(shí)施例所述的基于范式演化的語(yǔ)料處理方法。

16、第四方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使處理器執(zhí)行時(shí)實(shí)現(xiàn)本發(fā)明任一實(shí)施例所述的基于范式演化的語(yǔ)料處理方法。

17、第五方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)本發(fā)明任一實(shí)施例所述的基于范式演化的語(yǔ)料處理方法。

18、本發(fā)明實(shí)施例的技術(shù)方案，通過獲取目標(biāo)領(lǐng)域的指令樣本集的知識(shí)圖譜；知識(shí)圖譜包括指令樣本集中各指令樣本的任務(wù)網(wǎng)絡(luò)；從知識(shí)圖譜中抽取任務(wù)范式網(wǎng)絡(luò)，任務(wù)范式網(wǎng)絡(luò)為同一任務(wù)類型的任務(wù)網(wǎng)絡(luò)中的共有網(wǎng)絡(luò)；對(duì)任務(wù)范式網(wǎng)絡(luò)進(jìn)行演化，得到任務(wù)范式演化網(wǎng)絡(luò)；基于任務(wù)范式演化網(wǎng)絡(luò)生成學(xué)習(xí)語(yǔ)料，學(xué)習(xí)語(yǔ)料用于目標(biāo)領(lǐng)域模型的學(xué)習(xí)。通過基于任務(wù)范式網(wǎng)絡(luò)的演化機(jī)制對(duì)指令樣本進(jìn)行處理獲得學(xué)習(xí)語(yǔ)料，提高了學(xué)習(xí)語(yǔ)料的精細(xì)度，現(xiàn)有的模型能力提升方法主要以模型為中心，對(duì)語(yǔ)料的管理不精細(xì)，導(dǎo)致對(duì)于專業(yè)性、聚焦性強(qiáng)的領(lǐng)域任務(wù)往往理解精細(xì)度和深度不足，且需要大量的領(lǐng)域標(biāo)注數(shù)據(jù)，導(dǎo)致模型訓(xùn)練成本高的問題，具有減少對(duì)大量標(biāo)注數(shù)據(jù)的依賴，降低模型學(xué)習(xí)的數(shù)據(jù)準(zhǔn)備成本和難度的效果，并且將學(xué)習(xí)語(yǔ)料用于目標(biāo)領(lǐng)域模型的學(xué)習(xí)，具有提升模型對(duì)專業(yè)性、聚焦性強(qiáng)的領(lǐng)域任務(wù)的理解能力，提高模型的泛化能力的有益效果。

19、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本發(fā)明的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本發(fā)明的范圍。本發(fā)明的其它特征將通過以下的說明書而變得容易理解。

技術(shù)特征：

1.一種基于范式演化的語(yǔ)料處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述任務(wù)范式網(wǎng)絡(luò)進(jìn)行演化，得到任務(wù)范式演化網(wǎng)絡(luò)，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，對(duì)所述任務(wù)范式網(wǎng)絡(luò)中的節(jié)點(diǎn)操作進(jìn)行演化，包括：

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，對(duì)所述任務(wù)范式網(wǎng)絡(luò)中的節(jié)點(diǎn)鏈接進(jìn)行演化，包括：

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，對(duì)所述任務(wù)范式網(wǎng)絡(luò)中的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行演化，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，對(duì)所述任務(wù)范式網(wǎng)絡(luò)中的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行演化，還包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取目標(biāo)領(lǐng)域的指令樣本集的知識(shí)圖譜包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，在從指令樣本集中的每個(gè)樣本的思維鏈中抽取任務(wù)事件信息之前，還包括：

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，在將思維鏈生成提示信息輸入思維鏈模型中，獲得所述不包含思維鏈的指令樣本的思維鏈之后，以及在從指令樣本集中的每個(gè)指令樣本的思維鏈中抽取任務(wù)事件信息之前，還包括：

10.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述任務(wù)范式演化網(wǎng)絡(luò)生成學(xué)習(xí)語(yǔ)料，包括：

11.一種基于范式演化的語(yǔ)料處理裝置，包括：

12.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

13.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-10中任一項(xiàng)所述的基于范式演化的語(yǔ)料處理方法。

14.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-10中任一項(xiàng)所述的基于范式演化的語(yǔ)料處理方法。

技術(shù)總結(jié)
本發(fā)明公開了一種基于范式演化的語(yǔ)料處理方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)與程序產(chǎn)品，涉及人工智能技術(shù)。該方法包括：獲取目標(biāo)領(lǐng)域的指令樣本集的知識(shí)圖譜；知識(shí)圖譜包括指令樣本集中各指令樣本的任務(wù)網(wǎng)絡(luò)；從知識(shí)圖譜中抽取任務(wù)范式網(wǎng)絡(luò)，任務(wù)范式網(wǎng)絡(luò)為同一任務(wù)類型的任務(wù)網(wǎng)絡(luò)中的共有網(wǎng)絡(luò)；對(duì)任務(wù)范式網(wǎng)絡(luò)進(jìn)行演化，得到任務(wù)范式演化網(wǎng)絡(luò)；基于任務(wù)范式演化網(wǎng)絡(luò)生成學(xué)習(xí)語(yǔ)料，學(xué)習(xí)語(yǔ)料用于目標(biāo)領(lǐng)域模型的學(xué)習(xí)。通過基于任務(wù)范式網(wǎng)絡(luò)的演化機(jī)制處理學(xué)習(xí)語(yǔ)料，提高了學(xué)習(xí)語(yǔ)料的精細(xì)度，減少對(duì)大量標(biāo)注數(shù)據(jù)的依賴，降低模型學(xué)習(xí)的數(shù)據(jù)準(zhǔn)備成本和難度，并且將學(xué)習(xí)語(yǔ)料用于目標(biāo)領(lǐng)域模型的學(xué)習(xí)，提升模型對(duì)專業(yè)性、聚焦性強(qiáng)的領(lǐng)域任務(wù)的理解能力。

技術(shù)研發(fā)人員：楊婷,田宇璠,歐陽(yáng)慧婷
受保護(hù)的技術(shù)使用者：星環(huán)信息科技（上海）股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15