本發(fā)明涉及大語言模型，具體而言涉及一種針對端側(cè)的大語言模型快速生成令牌的方法。

背景技術(shù)：

1、最新的大語言模型發(fā)展顯示，模型規(guī)模的擴大顯著提升了語言生成的質(zhì)量，但隨之而來的是推理延遲的增加，這在實際應(yīng)用中帶來了不小的挑戰(zhàn)，特別是在端側(cè)應(yīng)用場景中，受限于端側(cè)芯片的計算能力，難以匹配gpu卡的推理速度，為了確保用戶在使用大模型時能夠享受到快速響應(yīng)，避免體驗下降，提升大語言模型生成令牌的速度顯得尤為關(guān)鍵。

2、傳統(tǒng)的針對端側(cè)的大語言模型快速生成令牌的方法，通常使用一個參數(shù)量較小的草稿模型生成一系列令牌，再通過大語言模型對一系列令牌進(jìn)行驗證；然而，不恰當(dāng)?shù)牟莞迥Ｐ屯鶗?dǎo)致投機命中率下降，存在無法快速生成高質(zhì)量令牌的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、鑒于上述的分析，本發(fā)明實施例旨在提供一種針對端側(cè)的大語言模型快速生成令牌的方法，用以解決現(xiàn)有技術(shù)中存在的上述問題中的一者或多者。

2、本發(fā)明的目的是這樣實現(xiàn)的：

3、本發(fā)明第一方面實施例提供一種針對端側(cè)的大語言模型快速生成令牌的方法，包括：

4、s1、獲取輸入文本；

5、s2、將所述輸入文本輸入預(yù)訓(xùn)練的快速生成令牌模型中，所述快速生成令牌模型包括大語言模型和自投機解碼模塊；

6、s3、所述大語言模型根據(jù)所述輸入文本生成隱藏狀態(tài)向量，根據(jù)所述隱藏狀態(tài)向量生成初始令牌，所述自投機解碼模塊根據(jù)所述隱藏狀態(tài)向量生成多個候選令牌，根據(jù)所述初始令牌和候選令牌構(gòu)建樹結(jié)構(gòu)；

7、s4、通過所述大語言模型對所述樹結(jié)構(gòu)中的每條路徑進(jìn)行驗證；

8、s5、大語言模型根據(jù)驗證結(jié)果更新隱藏狀態(tài)向量，并根據(jù)新的隱藏狀態(tài)向量生成新的初始令牌，自投機解碼模塊根據(jù)新的隱藏狀態(tài)向量生成新的候選令牌，以循環(huán)迭代s3-s4，直至達(dá)到終止條件后，將驗證結(jié)果合格的路徑中的令牌作為最終輸出。

9、進(jìn)一步地，所述大語言模型根據(jù)所述輸入文本生成隱藏狀態(tài)向量，根據(jù)所述隱藏狀態(tài)向量生成初始令牌，包括：對所述輸入文本進(jìn)行分詞和向量化處理，得到詞嵌入；通過transformer層處理所述詞嵌入，得到隱藏狀態(tài)向量；通過詞表層將所述隱藏狀態(tài)向量映射為令牌，并計算各個令牌的概率，將概率最高的令牌輸出為所述初始令牌。

10、進(jìn)一步地，所述自投機解碼模塊根據(jù)所述隱藏狀態(tài)向量生成多個候選令牌，包括：將所述隱藏狀態(tài)向量輸入自投機解碼模塊中，所述自投機解碼模塊包括n個不同的并行連接的感知機和詞表層，通過使用top?k算法生成n層候選令牌。

11、進(jìn)一步地，根據(jù)所述初始令牌和候選令牌構(gòu)建樹結(jié)構(gòu)，包括：以所述初始令牌為根節(jié)點，以自投機解碼模塊中的詞表層生成的候選令牌為葉節(jié)點構(gòu)建樹結(jié)構(gòu)。

12、進(jìn)一步地，所述通過所述大語言模型對所述樹結(jié)構(gòu)中的每條路徑進(jìn)行驗證，包括：將所述樹結(jié)構(gòu)中的每條路徑輸入大語言模型中進(jìn)行前向傳播；判斷各條路徑中的令牌是否為當(dāng)前傳播過程中概率最高的令牌，剔除不符合判斷條件的路徑，并從符合判斷條件的路徑中篩選出最優(yōu)路徑。

13、進(jìn)一步地，所述終止條件包括最優(yōu)路徑達(dá)到指定令牌長度或所有路徑均不符合判斷條件。

14、進(jìn)一步地，所述快速生成令牌模型的預(yù)訓(xùn)練步驟包括：

15、收集訓(xùn)練數(shù)據(jù)集，通過奇異值分解方法對自投機解碼模塊中的權(quán)重矩陣進(jìn)行處理，將訓(xùn)練數(shù)據(jù)集輸入快速生成令牌模型中，通過自蒸餾方法，以kl散度為損失函數(shù)，并通過反向傳播更新自投機解碼模塊的權(quán)重矩陣，以迭代訓(xùn)練所述快速生成令牌模型。

16、本發(fā)明第二方面實施例提供一種快速生成令牌的裝置，包括：

17、獲取模塊，用于獲取輸入文本；

18、輸入模塊，用于將所述輸入文本輸入預(yù)訓(xùn)練的快速生成令牌模型中，所述快速生成令牌模型包括大語言模型和自投機解碼模塊；

19、處理模塊，用于所述大語言模型根據(jù)所述輸入文本生成隱藏狀態(tài)向量，根據(jù)所述隱藏狀態(tài)向量生成初始令牌，所述自投機解碼模塊根據(jù)所述隱藏狀態(tài)向量生成多個候選令牌，根據(jù)所述初始令牌和候選令牌構(gòu)建樹結(jié)構(gòu)；

20、驗證模塊，用于通過所述大語言模型對所述樹結(jié)構(gòu)中的每條路徑進(jìn)行驗證；

21、迭代輸出模塊，用于大語言模型根據(jù)驗證結(jié)果更新隱藏狀態(tài)向量，并根據(jù)新的隱藏狀態(tài)向量生成新的初始令牌，自投機解碼模塊根據(jù)新的隱藏狀態(tài)向量生成新的候選令牌，以循環(huán)迭代s3-s4，直至達(dá)到終止條件后，將驗證結(jié)果合格的路徑中的令牌作為最終輸出。

22、本發(fā)明第三方面實施例提供一種電子設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述計算機程序被所述處理器執(zhí)行時實現(xiàn)任一實施例所述的針對端側(cè)的大語言模型快速生成令牌的方法。

23、本發(fā)明第四方面實施例提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)任一實施例所述的針對端側(cè)的大語言模型快速生成令牌的方法。

24、與現(xiàn)有技術(shù)相比，本發(fā)明至少可實現(xiàn)如下有益效果之一：

25、本發(fā)明提供的針對端側(cè)的大語言模型快速生成令牌的方法，通過在大語言模型中串聯(lián)適配端側(cè)輕量化的自投機解碼模塊，通過大語言模型根據(jù)輸入生成初始令牌，再由自投機解碼模塊根據(jù)大語言模型的隱藏狀態(tài)向量生成候選令牌，根據(jù)初始令牌和候選令牌構(gòu)建樹結(jié)構(gòu)，由大語言模型對樹結(jié)構(gòu)進(jìn)行驗證，并進(jìn)行迭代循環(huán)，即可快速生成高質(zhì)量的一系列令牌。

技術(shù)特征：

1.一種針對端側(cè)的大語言模型快速生成令牌的方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的針對端側(cè)的大語言模型快速生成令牌的方法，其特征在于，所述大語言模型根據(jù)所述輸入文本生成隱藏狀態(tài)向量，根據(jù)所述隱藏狀態(tài)向量生成初始令牌，包括：

3.根據(jù)權(quán)利要求2所述的針對端側(cè)的大語言模型快速生成令牌的方法，所述自投機解碼模塊根據(jù)所述隱藏狀態(tài)向量生成多個候選令牌，包括：

4.根據(jù)權(quán)利要求3所述的針對端側(cè)的大語言模型快速生成令牌的方法，其特征在于，根據(jù)所述初始令牌和候選令牌構(gòu)建樹結(jié)構(gòu)，包括：

5.根據(jù)權(quán)利要求1所述的針對端側(cè)的大語言模型快速生成令牌的方法，其特征在于，所述通過所述大語言模型對所述樹結(jié)構(gòu)中的每條路徑進(jìn)行驗證，包括：

6.根據(jù)權(quán)利要求5所述的針對端側(cè)的大語言模型快速生成令牌的方法，其特征在于，所述終止條件包括最優(yōu)路徑達(dá)到指定令牌長度或所有路徑均不符合判斷條件。

7.根據(jù)權(quán)利要求1任一項所述的針對端側(cè)的大語言模型快速生成令牌的方法，其特征在于，所述快速生成令牌模型的預(yù)訓(xùn)練步驟包括：

8.一種快速生成令牌的裝置，其特征在于，所述裝置包括：

9.一種電子設(shè)備，其特征在于，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述計算機程序被所述處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7任一項所述的針對端側(cè)的大語言模型快速生成令牌的方法。

10.一種存儲介質(zhì)，其特征在于，其上存儲有計算機程序，所述程序被處理器執(zhí)行時，實現(xiàn)權(quán)利要求1-7任一項所述的針對端側(cè)的大語言模型快速生成令牌的方法。

技術(shù)總結(jié)
本發(fā)明涉及一種針對端側(cè)的大語言模型快速生成令牌的方法，屬于大語言模型技術(shù)領(lǐng)域，包括：獲取輸入文本；將輸入文本輸入預(yù)訓(xùn)練的快速生成令牌模型中，快速生成令牌模型包括大語言模型和自投機解碼模塊；大語言模型根據(jù)輸入文本生成隱藏狀態(tài)向量，根據(jù)隱藏狀態(tài)向量生成初始令牌，自投機解碼模塊根據(jù)隱藏狀態(tài)向量生成多個候選令牌，根據(jù)初始令牌和候選令牌構(gòu)建樹結(jié)構(gòu)；通過大語言模型對樹結(jié)構(gòu)中的每條路徑進(jìn)行驗證；大語言模型根據(jù)驗證結(jié)果更新隱藏狀態(tài)向量，并根據(jù)新的隱藏狀態(tài)向量生成新的初始令牌，自投機解碼模塊根據(jù)新的隱藏狀態(tài)向量生成新的候選令牌，以循環(huán)迭代，直至達(dá)到終止條件后，將驗證結(jié)果合格的路徑中的令牌作為最終輸出。

技術(shù)研發(fā)人員：謝雨洋,張洵愷,張正羽,戚悅,宋德潤
受保護(hù)的技術(shù)使用者：北京智譜華章科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15