本公開涉及人工智能，特別是涉及一種大模型持續(xù)學(xué)習(xí)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、近年來，大規(guī)模預(yù)訓(xùn)練語言模型在自然語言處理領(lǐng)域取得了顯著成果。這些模型通過無監(jiān)督學(xué)習(xí)的方式在大量文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，隨后可以通過微調(diào)來適應(yīng)特定的下游任務(wù)。然而，從零開始訓(xùn)練一個(gè)大規(guī)模的語言模型是非常耗時(shí)且資源密集型的，通常需要大量的計(jì)算資源和長時(shí)間的訓(xùn)練周期。

2、為了減少時(shí)間和資源的成本，往往會(huì)采用現(xiàn)有的開源或商用預(yù)訓(xùn)練模型，然而這些開源或者商用預(yù)訓(xùn)練模型一般為通用模型。為了適應(yīng)于特定業(yè)務(wù)場景，可以通過增量預(yù)訓(xùn)練(incremental?pre-training)，即在已有的預(yù)訓(xùn)練模型基礎(chǔ)上，使用額外的數(shù)據(jù)進(jìn)行進(jìn)一步的訓(xùn)練。然而，在增量預(yù)訓(xùn)練過程中，由于新的訓(xùn)練數(shù)據(jù)與模型原來的訓(xùn)練數(shù)據(jù)不同，容易產(chǎn)生過擬合問題和災(zāi)難性遺忘問題，使得模型在處理的能力增強(qiáng)，處理的能力減弱。

技術(shù)實(shí)現(xiàn)思路

1、本公開實(shí)施例提供了一種大模型持續(xù)學(xué)習(xí)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，它可以有效緩解因參數(shù)更新而導(dǎo)致的映射關(guān)系發(fā)生劇烈變化問題，同時(shí)有效減少模型的過擬合和災(zāi)難性遺忘問題。

2、根據(jù)本公開的一方面，提供了一種大模型持續(xù)學(xué)習(xí)方法，所述方法包括：獲取新任務(wù)對應(yīng)的待訓(xùn)練數(shù)據(jù)和待訓(xùn)練模型，其中，所述待訓(xùn)練模型的部分參數(shù)凍結(jié)，所述待訓(xùn)練數(shù)據(jù)包括輸入數(shù)據(jù)和期望輸出數(shù)據(jù)；基于新任務(wù)對應(yīng)的訓(xùn)練數(shù)據(jù)對待訓(xùn)練模型進(jìn)行訓(xùn)練，以得到第一損失數(shù)據(jù)；根據(jù)預(yù)設(shè)損失數(shù)據(jù)對所述第一損失數(shù)據(jù)進(jìn)行加權(quán)處理以得到待訓(xùn)練模型的目標(biāo)損失數(shù)據(jù)，其中，所述預(yù)設(shè)損失數(shù)據(jù)為待訓(xùn)練模型中凍結(jié)參數(shù)產(chǎn)生的損失數(shù)據(jù)；基于所述目標(biāo)損失數(shù)據(jù)對待訓(xùn)練模型中未凍結(jié)的參數(shù)進(jìn)行調(diào)參操作，重復(fù)基于所述待訓(xùn)練數(shù)據(jù)對待訓(xùn)練模型進(jìn)行訓(xùn)練的步驟，直至滿足訓(xùn)練終止條件，得到新任務(wù)對應(yīng)的目標(biāo)任務(wù)訓(xùn)練模型。

3、可選地，根據(jù)所述預(yù)設(shè)損失數(shù)據(jù)對所述第一損失數(shù)據(jù)進(jìn)行加權(quán)處理以得到待訓(xùn)練模型的目標(biāo)損失數(shù)據(jù)包括：獲取加權(quán)系數(shù)并將所述加權(quán)系數(shù)和預(yù)設(shè)損失數(shù)據(jù)的乘積確定為第二損失數(shù)據(jù)，其中，所述加權(quán)系數(shù)隨著訓(xùn)練步數(shù)的增加而線性衰減或非線性衰減；將第一損失數(shù)據(jù)和第二損失數(shù)據(jù)的差值確定為損失差值；將自然數(shù)的所述損失差值次方確定為目標(biāo)損失數(shù)據(jù)。

4、可選地，所述待訓(xùn)練模型中的凍結(jié)參數(shù)為預(yù)設(shè)訓(xùn)練模型中的全部參數(shù)，所述待訓(xùn)練模型中的未凍結(jié)參數(shù)為新增的微調(diào)參數(shù)。

5、可選地，獲取預(yù)設(shè)損失數(shù)據(jù)包括：將所述預(yù)設(shè)訓(xùn)練模型中的全部參數(shù)凍結(jié)；基于新任務(wù)對應(yīng)的待訓(xùn)練數(shù)據(jù)對預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，以得到所述預(yù)設(shè)損失數(shù)據(jù)。

6、可選地，基于新任務(wù)對應(yīng)的待訓(xùn)練數(shù)據(jù)對預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，以得到所述預(yù)設(shè)損失數(shù)據(jù)包括：將輸入數(shù)據(jù)分別輸入到預(yù)設(shè)訓(xùn)練模型中進(jìn)行前向推理以得到預(yù)設(shè)輸出數(shù)據(jù)；根據(jù)所述預(yù)設(shè)輸出數(shù)據(jù)和所述期望輸出數(shù)據(jù)確定預(yù)設(shè)損失數(shù)據(jù)。

7、可選地，所述大模型持續(xù)學(xué)習(xí)方法還包括：每隔預(yù)設(shè)訓(xùn)練步數(shù)后，將當(dāng)前的預(yù)設(shè)損失數(shù)據(jù)的負(fù)值作為待訓(xùn)練模型的目標(biāo)損失數(shù)據(jù)。

8、根據(jù)本公開的一方面，提供一種大模型持續(xù)學(xué)習(xí)裝置，包括：獲取模塊，用于獲取新任務(wù)對應(yīng)的待訓(xùn)練數(shù)據(jù)和待訓(xùn)練模型，其中，所述待訓(xùn)練模型的部分參數(shù)凍結(jié)，所述待訓(xùn)練數(shù)據(jù)包括輸入數(shù)據(jù)和期望輸出數(shù)據(jù)；訓(xùn)練模塊，用于基于新任務(wù)對應(yīng)的訓(xùn)練數(shù)據(jù)對待訓(xùn)練模型進(jìn)行訓(xùn)練，以得到第一損失數(shù)據(jù)；數(shù)據(jù)處理模塊，用于根據(jù)預(yù)設(shè)損失數(shù)據(jù)對所述第一損失數(shù)據(jù)進(jìn)行加權(quán)處理以得到待訓(xùn)練模型的目標(biāo)損失數(shù)據(jù)，其中，所述預(yù)設(shè)損失數(shù)據(jù)為待訓(xùn)練模型中凍結(jié)參數(shù)產(chǎn)生的損失數(shù)據(jù)；訓(xùn)練模塊還用于基于所述目標(biāo)損失數(shù)據(jù)對待訓(xùn)練模型中未凍結(jié)的參數(shù)進(jìn)行調(diào)參操作，重復(fù)基于所述待訓(xùn)練數(shù)據(jù)對待訓(xùn)練模型進(jìn)行訓(xùn)練的步驟，直至滿足訓(xùn)練終止條件，得到新任務(wù)對應(yīng)的目標(biāo)任務(wù)訓(xùn)練模型。

9、根據(jù)本公開的一方面，提出一種電子設(shè)備，所述電子設(shè)備包括存儲(chǔ)器、處理器、存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的程序以及用于實(shí)現(xiàn)所述處理器和所述存儲(chǔ)器之間的連接通信的數(shù)據(jù)總線，所述程序被所述處理器運(yùn)行時(shí)實(shí)現(xiàn)如上所述的大模型持續(xù)學(xué)習(xí)方法。

10、根據(jù)本公開的一方面，提出一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有一個(gè)或者多個(gè)程序，所述一個(gè)或者多個(gè)程序可被一個(gè)或者多個(gè)處理器運(yùn)行，以實(shí)現(xiàn)如上所述的大模型持續(xù)學(xué)習(xí)方法。

11、本公開提出一種大模型持續(xù)學(xué)習(xí)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，利用新任務(wù)對應(yīng)的待訓(xùn)練數(shù)據(jù)對待訓(xùn)練模型進(jìn)行訓(xùn)練以得到第一損失數(shù)據(jù)，并根據(jù)待訓(xùn)練模型中凍結(jié)參數(shù)對應(yīng)的預(yù)設(shè)損失數(shù)據(jù)對第一損失數(shù)據(jù)進(jìn)行加權(quán)處理得到目標(biāo)損失數(shù)據(jù)，根據(jù)目標(biāo)損失數(shù)據(jù)對待訓(xùn)練模型中未凍結(jié)的參數(shù)進(jìn)行調(diào)參操作，在訓(xùn)練過程中平衡新任務(wù)的學(xué)習(xí)和舊知識(shí)的保持，可以有效緩解因參數(shù)更新而導(dǎo)致的映射關(guān)系發(fā)生劇烈變化問題，同時(shí)有效減少模型的過擬合和災(zāi)難性遺忘問題。

12、進(jìn)一步地，所述加權(quán)系數(shù)隨著訓(xùn)練步數(shù)的增加而線性衰減或非線性衰減，可以通過調(diào)整預(yù)設(shè)損失數(shù)據(jù)的加權(quán)系數(shù)，控制模型對新數(shù)據(jù)的適應(yīng)速度，避免因參數(shù)更新過快而導(dǎo)致的模型性能下降。同時(shí)，通過保持部分參數(shù)不變（凍結(jié)參數(shù)），模型能夠保留預(yù)訓(xùn)練階段學(xué)到的關(guān)鍵知識(shí)，減少災(zāi)難性遺忘的發(fā)生。

13、進(jìn)一步地，每隔預(yù)設(shè)訓(xùn)練步數(shù)后，將當(dāng)前的預(yù)設(shè)損失數(shù)據(jù)的負(fù)值作為待訓(xùn)練模型的目標(biāo)損失數(shù)據(jù)，可以在訓(xùn)練過程中使未凍結(jié)的參數(shù)沿著梯度的負(fù)方向更新，即有意識(shí)地?cái)U(kuò)大損失函數(shù)的值，能夠有效降低模型陷入局部極小值的風(fēng)險(xiǎn)，從而提高模型全局優(yōu)化的能力，有助于尋找到更優(yōu)的解，提升模型的整體性能和泛化能力。

14、本公開的其他特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本公開而了解。本公開的目的和其他優(yōu)點(diǎn)可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。

技術(shù)特征：

1.一種大模型持續(xù)學(xué)習(xí)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的大模型持續(xù)學(xué)習(xí)方法，其特征在于，根據(jù)預(yù)設(shè)損失數(shù)據(jù)對所述第一損失數(shù)據(jù)進(jìn)行加權(quán)處理以得到待訓(xùn)練模型的目標(biāo)損失數(shù)據(jù)包括：

3.根據(jù)權(quán)利要求1所述的大模型持續(xù)學(xué)習(xí)方法，其特征在于，基于新任務(wù)對應(yīng)的訓(xùn)練數(shù)據(jù)對待訓(xùn)練模型進(jìn)行訓(xùn)練，以得到第一損失數(shù)據(jù)包括：

4.根據(jù)權(quán)利要求1所述的大模型持續(xù)學(xué)習(xí)方法，其特征在于，所述待訓(xùn)練模型中的凍結(jié)參數(shù)為預(yù)設(shè)訓(xùn)練模型中的全部參數(shù)，所述待訓(xùn)練模型中的未凍結(jié)參數(shù)為新增的微調(diào)參數(shù)。

5.根據(jù)權(quán)利要求4所述的大模型持續(xù)學(xué)習(xí)方法，其特征在于，獲取預(yù)設(shè)損失數(shù)據(jù)包括：

6.根據(jù)權(quán)利要求5所述的大模型持續(xù)學(xué)習(xí)方法，其特征在于，基于新任務(wù)對應(yīng)的待訓(xùn)練數(shù)據(jù)對預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練，以得到所述預(yù)設(shè)損失數(shù)據(jù)包括：

7.根據(jù)權(quán)利要求1所述的大模型持續(xù)學(xué)習(xí)方法，其特征在于，還包括：

8.一種大模型持續(xù)學(xué)習(xí)裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括存儲(chǔ)器、處理器、存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的程序以及用于實(shí)現(xiàn)所述處理器和所述存儲(chǔ)器之間的連接通信的數(shù)據(jù)總線，所述程序被所述處理器運(yùn)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的大模型持續(xù)學(xué)習(xí)方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有一個(gè)或者多個(gè)程序，所述一個(gè)或者多個(gè)程序可被一個(gè)或者多個(gè)處理器運(yùn)行，以實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的大模型持續(xù)學(xué)習(xí)方法。

技術(shù)總結(jié)
本公開提出一種大模型持續(xù)學(xué)習(xí)方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，方法包括：獲取新任務(wù)對應(yīng)的待訓(xùn)練數(shù)據(jù)和待訓(xùn)練模型，其中，待訓(xùn)練模型的部分參數(shù)凍結(jié)，待訓(xùn)練數(shù)據(jù)包括輸入數(shù)據(jù)和期望輸出數(shù)據(jù)；基于新任務(wù)對應(yīng)的待訓(xùn)練數(shù)據(jù)對待訓(xùn)練模型進(jìn)行訓(xùn)練，以得到第一損失數(shù)據(jù)；根據(jù)預(yù)設(shè)損失數(shù)據(jù)對第一損失數(shù)據(jù)進(jìn)行加權(quán)處理以得到待訓(xùn)練模型的目標(biāo)損失數(shù)據(jù)，其中，預(yù)設(shè)損失數(shù)據(jù)為待訓(xùn)練模型中凍結(jié)參數(shù)對應(yīng)的損失數(shù)據(jù)；基于目標(biāo)損失數(shù)據(jù)對待訓(xùn)練模型中未凍結(jié)的參數(shù)進(jìn)行調(diào)參操作，重復(fù)基于待訓(xùn)練數(shù)據(jù)對待訓(xùn)練模型進(jìn)行訓(xùn)練的步驟，直至滿足訓(xùn)練終止條件，得到新任務(wù)對應(yīng)的目標(biāo)任務(wù)訓(xùn)練模型。本公開可以有效減少模型的過擬合和災(zāi)難性遺忘問題。

技術(shù)研發(fā)人員：米良
受保護(hù)的技術(shù)使用者：蘇州億鑄智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15