本申請(qǐng)涉及網(wǎng)絡(luò)安全，尤其涉及一種提示詞檢測(cè)資源優(yōu)化方法、系統(tǒng)、優(yōu)化終端及介質(zhì)。

背景技術(shù)：

1、大語言模型（large?language?model，llm）被廣泛應(yīng)用，研究者通過提示詞工程，構(gòu)造提示詞，確保llm生成的輸出更能滿足用戶的要求，提高響應(yīng)質(zhì)量。然而，攻擊者同樣利用提示詞工程，構(gòu)造惡意的提示詞，發(fā)起提示詞攻擊，包括注入攻擊和越獄攻擊等，導(dǎo)致llm輸出不安全的內(nèi)容。同時(shí)，它們還可以允許未經(jīng)授權(quán)訪問私人數(shù)據(jù)。例如，llm集成的工具可能會(huì)受到提示注入攻擊的危害，從而暴露敏感信息。為了保護(hù)提llm輸出安全，研究者提出了一些方法對(duì)提示詞過濾，但是這些方法沒有聯(lián)合考慮資源消耗和系統(tǒng)性能優(yōu)化。

2、在現(xiàn)有技術(shù)方案中，一是對(duì)提示詞進(jìn)行同義替換，這種方式會(huì)無意改變?cè)崾驹~的含義，導(dǎo)致內(nèi)容修改和llm響應(yīng)質(zhì)量下降；二是使用llm對(duì)提示詞進(jìn)行過濾，然而，llm可能無法識(shí)別惡意攻擊，并且使用llm檢測(cè)消耗大量的資源；三是使用小模型分類器進(jìn)行提示詞檢測(cè)過濾，這種方法能過夠有較高的準(zhǔn)確率，然而在現(xiàn)實(shí)中，惡意提示詞的比率較小，對(duì)所有的提示詞進(jìn)行過濾將浪費(fèi)大量資源。

3、現(xiàn)有模型對(duì)所有提示詞進(jìn)行過濾會(huì)浪費(fèi)大量資源。

4、因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的主要目的在于提供一種提示詞檢測(cè)資源優(yōu)化方法、系統(tǒng)、優(yōu)化終端及介質(zhì)，旨在解決現(xiàn)有技術(shù)中采用對(duì)大語言模型中提示詞進(jìn)行同義替換或過濾，導(dǎo)致大語言模型的輸出安全性較低和能源消耗較高的問題。

2、本申請(qǐng)實(shí)施例第一方面提供一種提示詞檢測(cè)資源優(yōu)化方法，所述提示詞檢測(cè)資源優(yōu)化方法包括如下步驟：接收用戶發(fā)送的提示詞，并識(shí)別所述提示詞的提示參數(shù)；構(gòu)建多階段動(dòng)態(tài)貝葉斯博弈模型，并將所述提示參數(shù)輸入至所述多階段動(dòng)態(tài)貝葉斯博弈模型，得到檢測(cè)概率；根據(jù)所述檢測(cè)概率，對(duì)所述提示詞進(jìn)行檢測(cè)，得到安全提示詞；將所述安全提示詞輸入至大語言模型進(jìn)行處理，得到響應(yīng)信息。

3、可選地，在本申請(qǐng)的一個(gè)實(shí)施例中，所述構(gòu)建多階段動(dòng)態(tài)貝葉斯博弈模型，具體包括：構(gòu)建良性用戶、惡性用戶和防御者各自對(duì)應(yīng)的一致性函數(shù)；將所述良性用戶、所述惡性用戶和所述防御者各自對(duì)應(yīng)的一致性函數(shù)進(jìn)行最小化，得到多階段動(dòng)態(tài)貝葉斯博弈模型。

4、可選地，在本申請(qǐng)的一個(gè)實(shí)施例中，所述良性用戶的一致性函數(shù)表示為：

5、；

6、所述惡性用戶的一致性函數(shù)表示為：

7、；

8、所述防御者的一致性函數(shù)表示為：；

9、其中，為良性用戶的一致性函數(shù)， m表示邊緣節(jié)點(diǎn)，表示邊緣節(jié)點(diǎn)的集合，表示良性用戶 x的策略，是良性用戶 x的提示詞發(fā)送給邊緣節(jié)點(diǎn) m所采取是否檢測(cè)的策略和是否發(fā)送給大語言模型后提示詞處理的總延遲，表示博弈的輪數(shù)，是博弈總輪數(shù)；為惡性用戶的一致性函數(shù)，表示惡性用戶 y的策略，是檢測(cè)模型的f1分?jǐn)?shù)，表示提示詞，表示提示詞的token數(shù)量，表示每個(gè)token的浮點(diǎn)運(yùn)算次數(shù)；為防御者的一致性函數(shù)，、表示兩個(gè)大于零的權(quán)重參數(shù)，表示提示詞，表示第 t輪防御者接收到的提示詞序列，表示防御者對(duì)第 t輪的每個(gè)提示詞是否檢測(cè)的策略，表示每個(gè)提示詞被處理的總延遲，表示防御者對(duì)每個(gè)提示詞的信念。

10、可選地，在本申請(qǐng)的一個(gè)實(shí)施例中，所述多階段動(dòng)態(tài)貝葉斯博弈模型表示為：

11、；

12、；

13、；

14、；

15、其中，表示在第 t輪中除了防御者之外的良性用戶 x和惡性用戶 y對(duì)于提示詞是否檢測(cè)的策略，表示防御者的集合，是第 t輪中惡意提示詞的數(shù)量。

16、可選地，在本申請(qǐng)的一個(gè)實(shí)施例中，所述將所述提示參數(shù)輸入至所述多階段動(dòng)態(tài)貝葉斯博弈模型，得到檢測(cè)概率，之后還包括：根據(jù)所述檢測(cè)概率，更新所述良性用戶、所述惡性用戶和所述防御者對(duì)提示詞安全性的信念，得到更新信念；根據(jù)所述更新信念進(jìn)行模型更新后得到更新后的多階段動(dòng)態(tài)貝葉斯博弈模型，并將下一輪提示參數(shù)輸入至所述更新后的多階段動(dòng)態(tài)貝葉斯博弈模型，得到下一輪檢測(cè)概率。

17、可選地，在本申請(qǐng)的一個(gè)實(shí)施例中，所述根據(jù)所述檢測(cè)概率，對(duì)所述提示詞進(jìn)行檢測(cè)，得到安全提示詞，具體包括：當(dāng)所述檢測(cè)概率滿足預(yù)設(shè)要求時(shí)，則對(duì)所述提示詞進(jìn)行檢測(cè)，得到檢測(cè)結(jié)果；若所述檢測(cè)結(jié)果為安全，則確定所述提示詞為安全提示詞。

18、可選地，在本申請(qǐng)的一個(gè)實(shí)施例中，所述當(dāng)所述檢測(cè)概率滿足預(yù)設(shè)要求時(shí)，則對(duì)所述提示詞進(jìn)行檢測(cè)，得到檢測(cè)結(jié)果，之后還包括：若所述檢測(cè)結(jié)果為不安全，則將所述提示詞返回進(jìn)行下一輪提示詞的檢測(cè)。

19、本申請(qǐng)實(shí)施例第二方面還提供一種提示詞檢測(cè)資源優(yōu)化系統(tǒng)，其中，所述提示詞檢測(cè)資源優(yōu)化系統(tǒng)包括：

20、提示詞接收模塊，用于接收用戶發(fā)送的提示詞，并識(shí)別所述提示詞的提示參數(shù)；

21、模型構(gòu)建與優(yōu)化模塊，用于構(gòu)建多階段動(dòng)態(tài)貝葉斯博弈模型，并將所述提示參數(shù)輸入至所述多階段動(dòng)態(tài)貝葉斯博弈模型，得到檢測(cè)概率；

22、檢測(cè)策略確定模塊，用于根據(jù)所述檢測(cè)概率，對(duì)所述提示詞進(jìn)行檢測(cè)，得到安全提示詞；

23、大模型輸出模塊，用于將所述安全提示詞輸入至大語言模型進(jìn)行處理，得到響應(yīng)信息。

24、本申請(qǐng)實(shí)施例第三方面還提供一種提示詞檢測(cè)資源優(yōu)化終端，其中，所述提示詞檢測(cè)資源優(yōu)化終端包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的提示詞檢測(cè)資源優(yōu)化程序，所述提示詞檢測(cè)資源優(yōu)化程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的提示詞檢測(cè)資源優(yōu)化方法的步驟。

25、本申請(qǐng)實(shí)施例第四方面還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有提示詞檢測(cè)資源優(yōu)化程序，所述提示詞檢測(cè)資源優(yōu)化程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的提示詞檢測(cè)資源優(yōu)化方法的步驟。

26、有益效果：本申請(qǐng)?zhí)峁┮环N提示詞檢測(cè)資源優(yōu)化方法、系統(tǒng)、優(yōu)化終端及介質(zhì)，本申請(qǐng)的多階段動(dòng)態(tài)貝葉斯博弈模型對(duì)每個(gè)到來的提示詞進(jìn)行是否檢測(cè)的決策，按照根據(jù)模型輸出僅對(duì)需要檢測(cè)的提示詞進(jìn)行檢測(cè)的策略，從而減少系統(tǒng)資源消耗和減少良性用戶的服務(wù)延遲。本申請(qǐng)通過識(shí)別用戶的提示詞，并基于多階段動(dòng)態(tài)貝葉斯博弈模型求得檢測(cè)策略，優(yōu)化提示詞安全的同時(shí)優(yōu)化系統(tǒng)性能，從而能夠有效識(shí)別并阻止惡意提示詞檢測(cè)，提高llm輸出的安全性，并能夠智能選擇需要檢測(cè)的提示詞以避免不必要的資源消耗，進(jìn)而減少良性用戶的服務(wù)延遲以提升用戶體驗(yàn)。

技術(shù)特征：

1.一種提示詞檢測(cè)資源優(yōu)化方法，其特征在于，所述提示詞檢測(cè)資源優(yōu)化方法包括：

2.根據(jù)權(quán)利要求1所述的提示詞檢測(cè)資源優(yōu)化方法，其特征在于，所述構(gòu)建多階段動(dòng)態(tài)貝葉斯博弈模型，具體包括：

3.根據(jù)權(quán)利要求2所述的提示詞檢測(cè)資源優(yōu)化方法，其特征在于，所述良性用戶的一致性函數(shù)表示為：

4.根據(jù)權(quán)利要求2所述的提示詞檢測(cè)資源優(yōu)化方法，其特征在于，所述將所述提示參數(shù)輸入至所述多階段動(dòng)態(tài)貝葉斯博弈模型，得到檢測(cè)概率，之后還包括：

5.根據(jù)權(quán)利要求1所述的提示詞檢測(cè)資源優(yōu)化方法，其特征在于，所述當(dāng)所述檢測(cè)概率滿足預(yù)設(shè)要求時(shí)，則對(duì)所述提示詞進(jìn)行檢測(cè)，得到檢測(cè)結(jié)果，之后還包括：

6.一種提示詞檢測(cè)資源優(yōu)化系統(tǒng)，其特征在于，所述提示詞檢測(cè)資源優(yōu)化系統(tǒng)應(yīng)用于權(quán)利要求1-5任一項(xiàng)所述的提示詞檢測(cè)資源優(yōu)化方法；所述提示詞檢測(cè)資源優(yōu)化系統(tǒng)包括：

7.一種提示詞檢測(cè)資源優(yōu)化終端，其特征在于，所述提示詞檢測(cè)資源優(yōu)化終端包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的提示詞檢測(cè)資源優(yōu)化程序，所述提示詞檢測(cè)資源優(yōu)化程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-5任一項(xiàng)所述的提示詞檢測(cè)資源優(yōu)化方法的步驟。

8.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有提示詞檢測(cè)資源優(yōu)化程序，所述提示詞檢測(cè)資源優(yōu)化程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-5任一項(xiàng)所述的提示詞檢測(cè)資源優(yōu)化方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)公開了一種提示詞檢測(cè)資源優(yōu)化方法、系統(tǒng)、優(yōu)化終端及介質(zhì)，所述提示詞檢測(cè)資源優(yōu)化方法包括：接收用戶發(fā)送的提示詞，并識(shí)別所述提示詞的提示參數(shù)；構(gòu)建多階段動(dòng)態(tài)貝葉斯博弈模型，并將所述提示參數(shù)輸入至所述多階段動(dòng)態(tài)貝葉斯博弈模型，得到檢測(cè)概率；根據(jù)所述檢測(cè)概率，對(duì)所述提示詞進(jìn)行檢測(cè)，得到安全提示詞；將所述安全提示詞輸入至大語言模型進(jìn)行處理，得到響應(yīng)信息。本申請(qǐng)能夠有效識(shí)別并阻止惡意提示詞檢測(cè)，提高LLM輸出的安全性，并能夠智能選擇需要檢測(cè)的提示詞以避免不必要的資源消耗，進(jìn)而減少良性用戶的服務(wù)延遲以提升用戶體驗(yàn)。

技術(shù)研發(fā)人員：賈維嘉,孟天暉,沈平,黃海陽
受保護(hù)的技術(shù)使用者：北京師范大學(xué)珠海校區(qū)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15