本公開涉及人工智能，尤其涉及大語言模型、生成式搜索、搜索引擎、知識(shí)問答、任務(wù)托管、文檔智能編輯、智能助手、虛擬人等應(yīng)用領(lǐng)域，具體涉及一種請(qǐng)求處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著大語言模型的持續(xù)演進(jìn)，其功能日益完善，能夠處理的用戶請(qǐng)求類型也愈發(fā)多樣。在處理這些紛繁復(fù)雜的用戶請(qǐng)求時(shí)，不可避免地需要消耗大語言模型的計(jì)算資源。

技術(shù)實(shí)現(xiàn)思路

1、本公開提供了一種請(qǐng)求處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

2、根據(jù)本公開的第一方面，提供了一種請(qǐng)求處理方法，包括：

3、獲取針對(duì)目標(biāo)時(shí)段的可用計(jì)算資源；

4、利用可用計(jì)算資源，對(duì)高優(yōu)隊(duì)列中存儲(chǔ)的實(shí)時(shí)請(qǐng)求進(jìn)行處理；

5、在可用計(jì)算資源存在剩余的情況下，利用剩余的可用計(jì)算資源，對(duì)低優(yōu)隊(duì)列中存儲(chǔ)的異步請(qǐng)求進(jìn)行處理。

6、根據(jù)本公開的第二方面，提供了一種請(qǐng)求處理裝置，包括：

7、資源獲取單元，用于獲取針對(duì)目標(biāo)時(shí)段的可用計(jì)算資源；

8、第一請(qǐng)求處理單元，用于利用可用計(jì)算資源，對(duì)高優(yōu)隊(duì)列中存儲(chǔ)的實(shí)時(shí)請(qǐng)求進(jìn)行處理；

9、第二請(qǐng)求處理單元，用于在可用計(jì)算資源存在剩余的情況下，利用剩余的可用計(jì)算資源，對(duì)低優(yōu)隊(duì)列中存儲(chǔ)的異步請(qǐng)求進(jìn)行處理。

10、根據(jù)本公開的第三方面，提供了一種電子設(shè)備，包括：

11、至少一個(gè)處理器；

12、與該至少一個(gè)處理器通信連接的存儲(chǔ)器；

13、該存儲(chǔ)器存儲(chǔ)有可被該至少一個(gè)處理器執(zhí)行的指令，該指令被該至少一個(gè)處理器執(zhí)行，以使該至少一個(gè)處理器能夠執(zhí)行本公開第一方面提供的方法。

14、根據(jù)本公開的第四方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，該計(jì)算機(jī)指令用于使該計(jì)算機(jī)執(zhí)行根據(jù)本公開第一方面提供的方法。

15、根據(jù)本公開的第五方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)本公開第一方面提供的方法。

16、采用本公開可以僅購買適量的計(jì)算資源作為針對(duì)目標(biāo)時(shí)段的可用計(jì)算資源，并能夠盡可能地確?？捎糜?jì)算資源被充分利用，從而避免資源浪費(fèi)。

17、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本公開的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

技術(shù)特征：

1.一種請(qǐng)求處理方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述可用計(jì)算資源包括分詞處理資源，以及與所述分詞處理資源具有動(dòng)態(tài)比例關(guān)系的請(qǐng)求調(diào)度資源；所述利用所述可用計(jì)算資源，對(duì)高優(yōu)隊(duì)列中存儲(chǔ)的實(shí)時(shí)請(qǐng)求進(jìn)行處理，包括：

3.根據(jù)權(quán)利要求2所述的方法，其中，所述利用所述請(qǐng)求調(diào)度資源，從所述高優(yōu)隊(duì)列中調(diào)度實(shí)時(shí)請(qǐng)求，包括：

4.根據(jù)權(quán)利要求2或3所述的方法，其中，所述利用所述分詞處理資源，對(duì)所述第一目標(biāo)請(qǐng)求進(jìn)行處理，包括：

5.根據(jù)權(quán)利要求4所述的方法，其中，所述直接利用所述分詞處理資源，對(duì)所述第一目標(biāo)請(qǐng)求進(jìn)行處理，包括：

6.根據(jù)權(quán)利要求5所述的方法，其中，所述在所述目標(biāo)子時(shí)段內(nèi)，利用目標(biāo)處理資源，對(duì)所述第一目標(biāo)請(qǐng)求進(jìn)行處理，包括：

7.根據(jù)權(quán)利要求4所述的方法，其中，所述獲取增量處理資源，包括：

8.一種請(qǐng)求處理裝置，包括：

9.根據(jù)權(quán)利要求8所述的裝置，其中，所述可用計(jì)算資源包括分詞處理資源，以及與所述分詞處理資源具有動(dòng)態(tài)比例關(guān)系的請(qǐng)求調(diào)度資源；所述第一請(qǐng)求處理單元用于：

10.根據(jù)權(quán)利要求9所述的裝置，其中，所述第一請(qǐng)求處理單元用于：

11.根據(jù)權(quán)利要求9或10所述的裝置，其中，所述第一請(qǐng)求處理單元用于：

12.根據(jù)權(quán)利要求11所述的裝置，其中，所述第一請(qǐng)求處理單元用于：

13.根據(jù)權(quán)利要求12所述的裝置，其中，所述第一請(qǐng)求處理單元用于：

14.根據(jù)權(quán)利要求11所述的裝置，其中，所述資源增量單元用于：

15.一種電子設(shè)備，包括：

16.一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1～7中任一項(xiàng)所述的方法。

17.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1～7中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開提供了一種請(qǐng)求處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，涉及人工智能技術(shù)領(lǐng)域，尤其涉及大語言模型、生成式搜索、搜索引擎、知識(shí)問答、任務(wù)托管、文檔智能編輯、智能助手、虛擬人等應(yīng)用領(lǐng)域。具體實(shí)現(xiàn)方案為：獲取針對(duì)目標(biāo)時(shí)段的可用計(jì)算資源；利用可用計(jì)算資源，對(duì)高優(yōu)隊(duì)列中存儲(chǔ)的實(shí)時(shí)請(qǐng)求進(jìn)行處理；在可用計(jì)算資源存在剩余的情況下，利用剩余的可用計(jì)算資源，對(duì)低優(yōu)隊(duì)列中存儲(chǔ)的異步請(qǐng)求進(jìn)行處理。

技術(shù)研發(fā)人員：聞銘,韓基超,雷宇,鄒猛,焦學(xué)武
受保護(hù)的技術(shù)使用者：百度時(shí)代網(wǎng)絡(luò)技術(shù)（北京）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15