本申請(qǐng)涉及深度學(xué)習(xí)，尤其是一種基于模型編譯與npu協(xié)同的神經(jīng)網(wǎng)絡(luò)模型推理方法。

背景技術(shù)：

1、隨著深度學(xué)習(xí)技術(shù)的廣泛應(yīng)用，深度學(xué)習(xí)加速器npu在加速神經(jīng)網(wǎng)絡(luò)算法模型運(yùn)行方面發(fā)揮著重要作用，現(xiàn)有主流架構(gòu)是利用深度學(xué)習(xí)框架進(jìn)行模型訓(xùn)練，訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)算法模型再部署到端側(cè)soc(system?on?chip，系統(tǒng)級(jí)芯片)，常見的深度學(xué)習(xí)框架有pytorch、tensorflow、onnx等，由于深度學(xué)習(xí)框架與端側(cè)soc存在模型格式兼容的問題，因此端側(cè)soc通常無法直接運(yùn)行深度學(xué)習(xí)框架訓(xùn)練得到的模型格式，而是需要首先利用模型編譯工具完成深度學(xué)習(xí)框架模型格式到端側(cè)soc模型格式的編譯工作，編譯得到的模型文件存儲(chǔ)在端側(cè)soc的內(nèi)存中，供端側(cè)soc集成的npu推理使用。

2、然而，在這一過程中，神經(jīng)網(wǎng)絡(luò)算法模型的權(quán)重參數(shù)保護(hù)卻面臨諸多困境，惡意攻擊者可利用現(xiàn)有保護(hù)機(jī)制的漏洞，通過逆向分析存儲(chǔ)在端側(cè)soc的內(nèi)存中的模型文件來獲取神經(jīng)網(wǎng)絡(luò)算法模型的權(quán)重參數(shù)從而輕易獲取客戶的關(guān)鍵算法模型，致使神經(jīng)網(wǎng)絡(luò)算法模型面臨著諸多安全風(fēng)險(xiǎn)。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)針對(duì)上述問題及技術(shù)需求，提出了一種基于模型編譯與npu協(xié)同的神經(jīng)網(wǎng)絡(luò)模型推理方法，本申請(qǐng)的技術(shù)方案如下：

2、一種基于模型編譯與npu協(xié)同的神經(jīng)網(wǎng)絡(luò)模型推理方法，該神經(jīng)網(wǎng)絡(luò)模型推理方法包括：

3、利用模型編譯器對(duì)深度學(xué)習(xí)框架訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行編譯得到模型權(quán)重明文后，對(duì)模型權(quán)重明文進(jìn)行加密處理得到模型權(quán)重密文，并生成加密模型文件寫入內(nèi)存；生成的加密模型文件包括算子信息數(shù)據(jù)塊和權(quán)重參數(shù)數(shù)據(jù)塊，算子信息數(shù)據(jù)塊攜帶算子信息，算子信息指示權(quán)重參數(shù)數(shù)據(jù)塊攜帶的模型權(quán)重密文在內(nèi)存中的權(quán)重存儲(chǔ)信息；

4、在進(jìn)行神經(jīng)網(wǎng)絡(luò)模型推理時(shí)，利用npu將加密模型文件中的算子信息數(shù)據(jù)塊加載到npu內(nèi)部并解析得到算子信息，按照算子信息從內(nèi)存中讀取模型權(quán)重密文加載到npu內(nèi)部解密得到模型權(quán)重明文后進(jìn)行模型推理。

5、本申請(qǐng)的有益技術(shù)效果是：

6、本申請(qǐng)公開了一種基于模型編譯與npu協(xié)同的神經(jīng)網(wǎng)絡(luò)模型推理方法，該方法在神經(jīng)網(wǎng)絡(luò)模型部署到端側(cè)soc后，從模型編譯階段就開始介入，模型編譯器不僅完成模型格式的轉(zhuǎn)換還對(duì)模型權(quán)重明文進(jìn)行加密得到模型權(quán)重密文，從而生成加密模型文件存儲(chǔ)在內(nèi)存中，加密模型文件即便意外泄露也不會(huì)導(dǎo)致模型權(quán)重明文外漏。而在運(yùn)行階段由npu依據(jù)配置進(jìn)行實(shí)時(shí)解密后完成模型推理，通過從編譯到推理全流程對(duì)模型權(quán)重明文的加密和解密管控，為模型數(shù)據(jù)構(gòu)建了一道堅(jiān)固的安全防線，能夠切實(shí)避免因各種潛在攻擊手段導(dǎo)致的模型數(shù)據(jù)泄露風(fēng)險(xiǎn)，全方位保護(hù)神經(jīng)網(wǎng)絡(luò)模型的安全性。

7、該方法中npu解密使用的密鑰寫入密鑰安全存儲(chǔ)區(qū)域且僅允許npu按需讀取，npu解密得到的模型權(quán)重密文也不寫入內(nèi)存而是緩存在npu片內(nèi)緩存當(dāng)中，通過限制cpu訪問能夠抵抗內(nèi)存分析方面的安全攻擊，從而具有較高的安全性，大大降低了安全風(fēng)險(xiǎn)，即使在復(fù)雜多變的安全威脅環(huán)境下，依然能保證模型運(yùn)行時(shí)權(quán)重?cái)?shù)據(jù)的高度安全性，為模型穩(wěn)定、安全地發(fā)揮作用提供了有力保障。

8、該方法精心設(shè)計(jì)了cpu與npu的協(xié)同操作流程，cpu負(fù)責(zé)解析頭文件數(shù)據(jù)塊提取解密配置信息并配置npu的加解密控制寄存器，npu則依據(jù)這些配置準(zhǔn)確加載、解析加密模型文件中的相關(guān)信息最終實(shí)現(xiàn)模型推理。整個(gè)過程環(huán)環(huán)相扣，形成了一個(gè)嚴(yán)密的防護(hù)體系，使得權(quán)重?cái)?shù)據(jù)在各個(gè)環(huán)節(jié)都處于安全可控狀態(tài)，有效避免了外部攻擊獲取權(quán)重?cái)?shù)據(jù)的可能性，從而切實(shí)保護(hù)了用戶的模型數(shù)據(jù)免遭泄漏，有力地維護(hù)了用戶的模型知識(shí)產(chǎn)權(quán)。

技術(shù)特征：

1.一種基于模型編譯與npu協(xié)同的神經(jīng)網(wǎng)絡(luò)模型推理方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)模型推理方法包括：

2.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型推理方法，其特征在于，生成的所述加密模型文件還包括頭文件數(shù)據(jù)塊，頭文件數(shù)據(jù)塊攜帶加解密配置信息，所述加解密配置信息對(duì)應(yīng)于模型編譯器對(duì)模型權(quán)重明文執(zhí)行的加密處理操作；

3.根據(jù)權(quán)利要求2所述的神經(jīng)網(wǎng)絡(luò)模型推理方法，其特征在于，npu按照加解密控制寄存器中的加解密配置信息對(duì)模型權(quán)重密文進(jìn)行解密包括：

4.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型推理方法，其特征在于，所述加密模型文件中的權(quán)重參數(shù)數(shù)據(jù)塊包括n個(gè)字段，每個(gè)字段攜帶神經(jīng)網(wǎng)絡(luò)模型中一個(gè)算子的模型權(quán)重密文；所述加密模型文件中的算子信息數(shù)據(jù)塊包括n個(gè)算子信息單元，每個(gè)算子信息單元攜帶一個(gè)算子的算子信息，每個(gè)算子的算子信息包括所述算子的模型權(quán)重密文在內(nèi)存中的權(quán)重存儲(chǔ)信息；其中，整數(shù)參數(shù)n≥2；

5.根據(jù)權(quán)利要求4所述的神經(jīng)網(wǎng)絡(luò)模型推理方法，其特征在于，每個(gè)算子的算子信息還包括所述算子的算子類型以及給所述算子的輸入數(shù)據(jù)分配的輸入存儲(chǔ)信息，利用npu進(jìn)行模型推理還包括：

6.根據(jù)權(quán)利要求5所述的神經(jīng)網(wǎng)絡(luò)模型推理方法，其特征在于，npu包括數(shù)據(jù)加載單元、解析單元、解密單元和神經(jīng)網(wǎng)絡(luò)加速單元，npu執(zhí)行的方法包括：

7.根據(jù)權(quán)利要求6所述的神經(jīng)網(wǎng)絡(luò)模型推理方法，其特征在于，npu還包括參數(shù)緩存單元，npu執(zhí)行的方法還包括：

8.根據(jù)權(quán)利要求2所述的神經(jīng)網(wǎng)絡(luò)模型推理方法，其特征在于，所述加密模型文件中的頭文件數(shù)據(jù)塊攜帶的解密配置信息包括加解密算法類型和加解密模式；按照加解密控制寄存器中的加解密配置信息對(duì)模型權(quán)重密文進(jìn)行解密包括：按照加解密配置信息中的加解密算法類型采用加解密配置信息中的加解密模式對(duì)模型權(quán)重密文進(jìn)行解密。

9.根據(jù)權(quán)利要求8所述的神經(jīng)網(wǎng)絡(luò)模型推理方法，其特征在于，所述加密模型文件中的頭文件數(shù)據(jù)塊攜帶的解密配置信息還包括解密使能信號(hào)，所述神經(jīng)網(wǎng)絡(luò)模型推理方法還包括：

10.根據(jù)權(quán)利要求8所述的神經(jīng)網(wǎng)絡(luò)模型推理方法，其特征在于，加解密算法類型為sm4對(duì)稱算法和aes對(duì)稱算法中的任意一種，加解密模式是ecb模式、cbc模式、cfb模式和ofb模式中的任意一種。

技術(shù)總結(jié)
本申請(qǐng)公開了一種基于模型編譯與NPU協(xié)同的神經(jīng)網(wǎng)絡(luò)模型推理方法，涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，該方法從模型編譯階段就開始介入，模型編譯器不僅完成模型格式的轉(zhuǎn)換還對(duì)模型權(quán)重明文進(jìn)行加密得到模型權(quán)重密文，從而生成加密模型文件存儲(chǔ)在內(nèi)存中，加密模型文件即便意外泄露也不會(huì)導(dǎo)致模型權(quán)重明文外漏。而在運(yùn)行階段由NPU將加密模型文件中的算子信息數(shù)據(jù)塊加載到NPU內(nèi)部并解析得到算子信息，按照算子信息從內(nèi)存中讀取模型權(quán)重密文加載到NPU內(nèi)部解密得到模型權(quán)重明文后，從而進(jìn)行實(shí)時(shí)解密后完成模型推理，通過從編譯到推理全流程的加密和解密管控，能夠降低泄露風(fēng)險(xiǎn)，全方位保護(hù)神經(jīng)網(wǎng)絡(luò)模型的安全性。

技術(shù)研發(fā)人員：郭繼龍,陳萬瑤,王廷平,鄭茳,肖佐楠,匡啟和
受保護(hù)的技術(shù)使用者：蘇州國(guó)芯科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15