1.一種大模型微調(diào)方法,包括:
2.如權(quán)利要求1所述的方法,根據(jù)所述微調(diào)指令實(shí)現(xiàn)的功能對(duì)所述微調(diào)指令進(jìn)行分解,得到分解指令序列,具體包括:
3.如權(quán)利要求1所述的方法,確定與所述分解指令序列中包含的每個(gè)分解指令對(duì)應(yīng)的步驟回答,具體包括:
4.如權(quán)利要求1所述的方法,確定該輪微調(diào)中所需的目標(biāo)分解指令,具體包括:
5.如權(quán)利要求1所述的方法,采用所述微調(diào)分解指令以及與各微調(diào)分解指令對(duì)應(yīng)的各步驟回答對(duì)所述目標(biāo)大模型進(jìn)行微調(diào),對(duì)所述目標(biāo)大模型進(jìn)行微調(diào),具體包括:
6.如權(quán)利要求1所述的方法,采用所述微調(diào)分解指令以及與各微調(diào)分解指令對(duì)應(yīng)的各步驟回答對(duì)所述目標(biāo)大模型進(jìn)行微調(diào),對(duì)所述目標(biāo)大模型進(jìn)行微調(diào),具體包括:
7.如權(quán)利要求6所述的方法,采用所述樣本輸入、所述高質(zhì)量回答與所述低質(zhì)量回答共同對(duì)所述目標(biāo)大模型進(jìn)行微調(diào),具體包括:
8.一種大模型微調(diào)裝置,包括:
9.如權(quán)利要求8所述的裝置,所述分解模塊,具體用于確定所述微調(diào)指令所涉及的專業(yè)領(lǐng)域知識(shí);根據(jù)所述專業(yè)領(lǐng)域知識(shí)與通用領(lǐng)域知識(shí),對(duì)所述微調(diào)指令進(jìn)行分解,得到分解指令序列,所述分解指令序列包含的各分解指令能夠僅依靠所述通用領(lǐng)域知識(shí)執(zhí)行。
10.如權(quán)利要求8所述的裝置,所述構(gòu)建模塊,具體用于針對(duì)所述分解指令序列中包含的每個(gè)分解指令,將所述分解指令序列中在該分解指令之前的各分解指令作為該分解指令的前置分解指令;將該分解指令與所述前置分解指令,以及與所述前置分解指令對(duì)應(yīng)的各步驟回答輸入所述目標(biāo)大模型,得到所述目標(biāo)大模型輸出的與該分解指令對(duì)應(yīng)的步驟回答。
11.如權(quán)利要求8所述的裝置,所述第一微調(diào)模塊,具體用于根據(jù)進(jìn)行該輪微調(diào)時(shí)總共進(jìn)行過(guò)的微調(diào)的次數(shù),確定該論微調(diào)中所需的目標(biāo)分解指令。
12.如權(quán)利要求8所述的裝置,所述第二微調(diào)模塊,具體用于將所述微調(diào)分解指令輸入所述目標(biāo)大模型,得到所述目標(biāo)大模型得到的待優(yōu)化回答;根據(jù)所述待優(yōu)化回答和與所述微調(diào)分解指令對(duì)應(yīng)的步驟回答之間的差異,對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)。
13.如權(quán)利要求8所述的裝置,所述第二微調(diào)模塊,具體用于將所述微調(diào)分解指令輸入未進(jìn)行任何微調(diào)的目標(biāo)大模型,得到所述目標(biāo)大模型的輸出,作為低質(zhì)量回答;將所述微調(diào)分解指令作為樣本提問(wèn),將與所述微調(diào)分解指令對(duì)應(yīng)的步驟回答作為高質(zhì)量回答;采用所述樣本提問(wèn)、所述高質(zhì)量回答與所述低質(zhì)量回答共同對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)。
14.如權(quán)利要求13所述的裝置,所述第二微調(diào)模塊,具體用于將所述樣本提問(wèn)輸入所述目標(biāo)大模型,得到所述目標(biāo)大模型輸出的待優(yōu)化回答;以所述待優(yōu)化回答與所述高質(zhì)量回答之間的差異最小,且所述待優(yōu)化回答與所述低質(zhì)量回答之間的差異最大為優(yōu)化目標(biāo),對(duì)所述目標(biāo)大模型進(jìn)行微調(diào)。
15.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述權(quán)利要求1~7任一項(xiàng)所述的方法。
16.一種電子設(shè)備,包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述權(quán)利要求1~7任一項(xiàng)所述的方法。