本公開總體上涉及計(jì)算機(jī)領(lǐng)域，并且更具體地涉及數(shù)據(jù)處理方法及電子設(shè)備。

背景技術(shù)：

1、生成式大語言模型是能夠生成自然語言文本的深度學(xué)習(xí)模型。這類模型基于復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)，例如變換器（transformer），并經(jīng)過大量文本數(shù)據(jù)的預(yù)訓(xùn)練，以學(xué)習(xí)語言的統(tǒng)計(jì)特性和模式。

2、用戶可以通過提示信息，如提示詞，來調(diào)用大語言模型。用戶可以通過客戶端的應(yīng)用接口（application?interface，api）輸入包括提示詞的請求，以引導(dǎo)大語言模型回復(fù)。在不同請求中的提示詞可能會(huì)存在重復(fù)出現(xiàn)的序列，大語言模型每次對提示詞的處理會(huì)導(dǎo)致計(jì)算成本過高。

技術(shù)實(shí)現(xiàn)思路

1、根據(jù)本公開的示例實(shí)施例，提供了一種數(shù)據(jù)處理方案，在該方案中，可以預(yù)先存儲(chǔ)前綴信息的嵌入向量，這樣大語言模型在對提示信息處理時(shí)，可以避免對前綴信息的重復(fù)處理，從而降低成本。

2、在本公開的第一方面，提供了一種數(shù)據(jù)處理方法。該方法包括：接收來自客戶端的緩存請求，緩存請求包括前綴信息；向客戶端提供第一響應(yīng)，第一響應(yīng)指示前綴信息的嵌入向量已經(jīng)被存儲(chǔ)在向量數(shù)據(jù)庫中；接收來自客戶端的處理請求，處理請求包括提示信息并且提示信息具有該前綴信息；獲取預(yù)先存儲(chǔ)在向量數(shù)據(jù)庫中的前綴信息的嵌入向量；以及基于前綴信息的嵌入向量以及提示信息中除前綴信息之外的其他信息，利用大模型，得到模型輸出。

3、在本公開的第二方面，提供了一種電子設(shè)備。該電子設(shè)備包括：至少一個(gè)處理單元；至少一個(gè)存儲(chǔ)器，至少一個(gè)存儲(chǔ)器被耦合到至少一個(gè)處理單元并且存儲(chǔ)用于由至少一個(gè)處理單元執(zhí)行的指令，該指令當(dāng)由至少一個(gè)處理單元執(zhí)行時(shí)使得電子設(shè)備執(zhí)行根據(jù)本公開的第一方面所描述的方法。

4、在本公開的第三方面，提供了一種數(shù)據(jù)處理裝置。該裝置包括：接收單元，被配置為接收來自客戶端的緩存請求，緩存請求包括前綴信息；提供單元，被配置為向客戶端提供第一響應(yīng)，第一響應(yīng)指示前綴信息的嵌入向量已經(jīng)被存儲(chǔ)在向量數(shù)據(jù)庫中；接收單元還被配置為接收來自客戶端的處理請求，該處理請求包括提示信息，并且提示信息具有前綴信息；向量獲取單元，被配置為獲取預(yù)先存儲(chǔ)在向量數(shù)據(jù)庫中的前綴信息的嵌入向量；以及輸出單元，被配置為基于前綴信息的嵌入向量以及提示信息中除前綴信息之外的其他信息，利用大模型，得到模型輸出。

5、在本公開的第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)具有在其上存儲(chǔ)的機(jī)器可執(zhí)行指令，該機(jī)器可執(zhí)行指令在由設(shè)備執(zhí)行時(shí)使該設(shè)備執(zhí)行根據(jù)本公開的第一方面所描述的方法。

6、在本公開的第五方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)可執(zhí)行指令，其中計(jì)算機(jī)可執(zhí)行指令在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)本公開的第一方面所描述的方法。

7、在本公開的第六方面，提供了一種電子設(shè)備，包括：處理電路，被配置為執(zhí)行根據(jù)本公開的第一方面所描述的方法。

8、提供
技術(shù)實(shí)現(xiàn)要素：
部分是為了以簡化的形式來介紹一系列概念，它們在下文的具體實(shí)施方式中將被進(jìn)一步描述。發(fā)明內(nèi)容部分不旨在標(biāo)識(shí)本公開的關(guān)鍵特征或必要特征，也不旨在限制本公開的范圍。本公開的其它特征將通過以下的描述變得容易理解。

技術(shù)特征：

1.一種數(shù)據(jù)處理方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，還包括：

3.根據(jù)權(quán)利要求1所述的方法，還包括：

4.根據(jù)權(quán)利要求1所述的方法，其中所述緩存請求還包括所述前綴信息對應(yīng)的緩存優(yōu)先級(jí)信息。

5.根據(jù)權(quán)利要求4所述的方法，還包括：

6.根據(jù)權(quán)利要求1所述的方法，其中所述向量數(shù)據(jù)庫的大小與所述客戶端的用戶權(quán)限關(guān)聯(lián)。

7.根據(jù)權(quán)利要求1所述的方法，其中所述緩存請求包括第一執(zhí)行碼，用于指示所述緩存請求的類型。

8.根據(jù)權(quán)利要求1所述的方法，其中所述處理請求包括第二執(zhí)行碼，用于指示所述處理請求的類型。

9.根據(jù)權(quán)利要求1所述的方法，還包括：

10.一種電子設(shè)備，包括：

11.一種數(shù)據(jù)處理裝置，包括：

12.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開涉及數(shù)據(jù)處理方法及電子設(shè)備。該方法包括：接收來自客戶端的緩存請求，緩存請求包括前綴信息；向客戶端提供第一響應(yīng)，第一響應(yīng)指示前綴信息的嵌入向量已經(jīng)被存儲(chǔ)在向量數(shù)據(jù)庫中；接收來自客戶端的處理請求，處理請求包括提示信息并且提示信息具有該前綴信息；獲取預(yù)先存儲(chǔ)在向量數(shù)據(jù)庫中的前綴信息的嵌入向量；以及基于前綴信息的嵌入向量以及提示信息中除前綴信息之外的其他信息，利用大模型，得到模型輸出。通過該方案，大模型在對提示信息處理時(shí)，可以避免對前綴信息的重復(fù)處理，從而降低成本。

技術(shù)研發(fā)人員：王倪劍橋
受保護(hù)的技術(shù)使用者：北京飛書科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15