本說明書涉及計(jì)算機(jī)，尤其涉及一種大模型微調(diào)方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備。

背景技術(shù)：

1、如今，大語(yǔ)言模型(large?language?model，llm)是神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域中最為重要的技術(shù)之一。得益于其強(qiáng)大的語(yǔ)言理解和生成能力，llm在多種應(yīng)用場(chǎng)景中都有著出色的表現(xiàn)，包括但不限于機(jī)器翻譯、文本摘要、問答系統(tǒng)、對(duì)話生成和自動(dòng)編碼助手等。

2、除去傳統(tǒng)的訓(xùn)練外，指令微調(diào)(instruction?tuning)技術(shù)是一種新興的大語(yǔ)言模型調(diào)優(yōu)方法，通過在輸入中插入特定的“提示”或“指令”，使得不需要對(duì)模型結(jié)構(gòu)做改變就能適應(yīng)特定的任務(wù)。然而目前，對(duì)于需要綜合推理的復(fù)雜指令，例如涉及專業(yè)領(lǐng)域知識(shí)、具有多重條件、多個(gè)步驟的指令來說，現(xiàn)有的llm無法做到準(zhǔn)確理解指令的意圖，因此在采用復(fù)雜指令進(jìn)行指令微調(diào)時(shí)，往往難以達(dá)到令人滿意的微調(diào)效果。

3、因此，如何實(shí)現(xiàn)采用復(fù)雜指令對(duì)llm的微調(diào)是一個(gè)亟待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本說明書提供一種大模型微調(diào)方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備，以至少部分地解決現(xiàn)有技術(shù)存在的上述問題。

2、本說明書采用下述技術(shù)方案：

3、本說明書提供了一種大模型微調(diào)方法，包括：

4、獲取用于微調(diào)目標(biāo)大模型的樣本微調(diào)指令；

5、根據(jù)所述樣本微調(diào)指令實(shí)現(xiàn)的功能對(duì)所述樣本微調(diào)指令進(jìn)行分解，得到分解指令序列；

6、確定與所述分解指令序列中包含的每個(gè)分解指令對(duì)應(yīng)的步驟回答，構(gòu)成步驟回答序列；

7、根據(jù)所述分解指令的數(shù)量，確定微調(diào)輪數(shù)；

8、針對(duì)每一輪微調(diào)，確定該輪微調(diào)中所需的目標(biāo)分解指令，將該目標(biāo)分解指令和所述分解指令序列中該目標(biāo)分解指令前的所有分解指令確定為微調(diào)分解指令；

9、采用所述微調(diào)分解指令以及與各微調(diào)分解指令對(duì)應(yīng)的各步驟回答對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)，直到進(jìn)行微調(diào)的次數(shù)達(dá)到所述微調(diào)輪數(shù)。

10、可選地，根據(jù)所述微調(diào)指令實(shí)現(xiàn)的功能對(duì)所述微調(diào)指令進(jìn)行分解，得到分解指令序列，具體包括：

11、確定所述微調(diào)指令所涉及的專業(yè)領(lǐng)域知識(shí)；

12、根據(jù)所述專業(yè)領(lǐng)域知識(shí)與通用領(lǐng)域知識(shí)，對(duì)所述微調(diào)指令進(jìn)行分解，得到分解指令序列，所述分解指令序列包含的各分解指令能夠僅依靠所述通用領(lǐng)域知識(shí)執(zhí)行。

13、可選地，確定與所述分解指令序列中包含的每個(gè)分解指令對(duì)應(yīng)的步驟回答，具體包括：

14、針對(duì)所述分解指令序列中包含的每個(gè)分解指令，將所述分解指令序列中在該分解指令之前的各分解指令作為該分解指令的前置分解指令；

15、將該分解指令與所述前置分解指令，以及與所述前置分解指令對(duì)應(yīng)的各步驟回答輸入所述目標(biāo)大模型，得到所述目標(biāo)大模型輸出的與該分解指令對(duì)應(yīng)的步驟回答。

16、可選地，確定該輪微調(diào)中所需的目標(biāo)分解指令，具體包括：

17、根據(jù)進(jìn)行該輪微調(diào)時(shí)總共進(jìn)行過的微調(diào)的次數(shù)，確定該論微調(diào)中所需的目標(biāo)分解指令。

18、可選地，采用所述微調(diào)分解指令以及與各微調(diào)分解指令對(duì)應(yīng)的各步驟回答對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)，對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)，具體包括：

19、將所述微調(diào)分解指令輸入所述目標(biāo)大模型，得到所述目標(biāo)大模型得到的待優(yōu)化回答；

20、根據(jù)所述待優(yōu)化回答和與所述微調(diào)分解指令對(duì)應(yīng)的步驟回答之間的差異，對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)。

21、可選地，采用所述微調(diào)分解指令以及與各微調(diào)分解指令對(duì)應(yīng)的各步驟回答對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)，對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)，具體包括：

22、將所述微調(diào)分解指令輸入未進(jìn)行任何微調(diào)的目標(biāo)大模型，得到所述目標(biāo)大模型的輸出，作為低質(zhì)量回答；

23、將所述微調(diào)分解指令作為樣本提問，將與所述微調(diào)分解指令對(duì)應(yīng)的步驟回答作為高質(zhì)量回答；

24、采用所述樣本提問、所述高質(zhì)量回答與所述低質(zhì)量回答共同對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)。

25、可選地，采用所述樣本輸入、所述高質(zhì)量回答與所述低質(zhì)量回答共同對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)，具體包括：

26、將所述樣本提問輸入所述目標(biāo)大模型，得到所述目標(biāo)大模型輸出的待優(yōu)化回答；

27、以所述待優(yōu)化回答與所述高質(zhì)量回答之間的差異最小，且所述待優(yōu)化回答與所述低質(zhì)量回答之間的差異最大為優(yōu)化目標(biāo)，對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)。

28、本說明書提供了一種大模型微調(diào)裝置，包括：

29、獲取模塊，用于獲取用于微調(diào)目標(biāo)大模型的樣本微調(diào)指令；

30、分解模塊，用于根據(jù)所述樣本微調(diào)指令實(shí)現(xiàn)的功能對(duì)所述樣本微調(diào)指令進(jìn)行分解，得到分解指令序列；

31、構(gòu)建模塊，用于確定與所述分解指令序列中包含的每個(gè)分解指令對(duì)應(yīng)的步驟回答，構(gòu)成步驟回答序列；

32、確定模塊，用于根據(jù)所述分解指令的數(shù)量，確定微調(diào)輪數(shù)；

33、第一微調(diào)模塊，用于針對(duì)每一輪微調(diào)，確定該輪微調(diào)中所需的目標(biāo)分解指令，將該目標(biāo)分解指令和所述分解指令序列中該目標(biāo)分解指令前的所有分解指令確定為微調(diào)分解指令；

34、第二微調(diào)模塊，用于采用所述微調(diào)分解指令以及與各微調(diào)分解指令對(duì)應(yīng)的各步驟回答對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)，直到進(jìn)行微調(diào)的次數(shù)達(dá)到所述微調(diào)輪數(shù)。

35、可選地，所述分解模塊，具體用于確定所述微調(diào)指令所涉及的專業(yè)領(lǐng)域知識(shí)；根據(jù)所述專業(yè)領(lǐng)域知識(shí)與通用領(lǐng)域知識(shí)，對(duì)所述微調(diào)指令進(jìn)行分解，得到分解指令序列，所述分解指令序列包含的各分解指令能夠僅依靠所述通用領(lǐng)域知識(shí)執(zhí)行。

36、可選地，所述構(gòu)建模塊，具體用于針對(duì)所述分解指令序列中包含的每個(gè)分解指令，將所述分解指令序列中在該分解指令之前的各分解指令作為該分解指令的前置分解指令；將該分解指令與所述前置分解指令，以及與所述前置分解指令對(duì)應(yīng)的各步驟回答輸入所述目標(biāo)大模型，得到所述目標(biāo)大模型輸出的與該分解指令對(duì)應(yīng)的步驟回答。

37、可選地，所述第一微調(diào)模塊，具體用于根據(jù)進(jìn)行該輪微調(diào)時(shí)總共進(jìn)行過的微調(diào)的次數(shù)，確定該論微調(diào)中所需的目標(biāo)分解指令。

38、可選地，所述第二微調(diào)模塊，具體用于將所述微調(diào)分解指令輸入所述目標(biāo)大模型，得到所述目標(biāo)大模型得到的待優(yōu)化回答；根據(jù)所述待優(yōu)化回答和與所述微調(diào)分解指令對(duì)應(yīng)的步驟回答之間的差異，對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)。

39、可選地，所述第二微調(diào)模塊，具體用于將所述微調(diào)分解指令輸入未進(jìn)行任何微調(diào)的目標(biāo)大模型，得到所述目標(biāo)大模型的輸出，作為低質(zhì)量回答；將所述微調(diào)分解指令作為樣本提問，將與所述微調(diào)分解指令對(duì)應(yīng)的步驟回答作為高質(zhì)量回答；采用所述樣本提問、所述高質(zhì)量回答與所述低質(zhì)量回答共同對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)。

40、可選地，所述第二微調(diào)模塊，具體用于將所述樣本提問輸入所述目標(biāo)大模型，得到所述目標(biāo)大模型輸出的待優(yōu)化回答；以所述待優(yōu)化回答與所述高質(zhì)量回答之間的差異最小，且所述待優(yōu)化回答與所述低質(zhì)量回答之間的差異最大為優(yōu)化目標(biāo)，對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)。

41、本說明書提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述大模型微調(diào)方法。

42、本說明書提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述大模型微調(diào)方法。

43、本說明書采用的上述至少一個(gè)技術(shù)方案能夠達(dá)到以下有益效果：

44、在本說明書提供的大模型微調(diào)方法中，獲取用于微調(diào)目標(biāo)大模型的樣本微調(diào)指令；根據(jù)所述樣本微調(diào)指令實(shí)現(xiàn)的功能對(duì)所述樣本微調(diào)指令進(jìn)行分解，得到分解指令序列；確定與所述分解指令序列中包含的每個(gè)分解指令對(duì)應(yīng)的步驟回答，構(gòu)成步驟回答序列；根據(jù)所述分解指令的數(shù)量，確定微調(diào)輪數(shù)；針對(duì)每一輪微調(diào)，確定該輪微調(diào)中所需的目標(biāo)分解指令，將該目標(biāo)分解指令和所述分解指令序列中該目標(biāo)分解指令前的所有分解指令確定為微調(diào)分解指令；采用所述微調(diào)分解指令以及與各微調(diào)分解指令對(duì)應(yīng)的各步驟回答對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)，直到進(jìn)行微調(diào)的次數(shù)達(dá)到所述微調(diào)輪數(shù)。

45、在采用本方法利用復(fù)雜指令對(duì)目標(biāo)大模型進(jìn)行指令微調(diào)時(shí)，可通過將復(fù)雜的樣本微調(diào)指令分解為簡(jiǎn)單的分解指令的方式，通過漸進(jìn)式優(yōu)化以多步推理的方式完成對(duì)目標(biāo)大模型的微調(diào)。通過本方法可使目標(biāo)大模型能夠被復(fù)雜指令微調(diào)，為大模型的指令微調(diào)提供了一種新的思路的同時(shí)，有效強(qiáng)化了大模型接收與理解復(fù)雜指令的能力。