本發(fā)明涉及端側(cè)神經(jīng)網(wǎng)絡(luò)微調(diào)，特別是涉及一種面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法及系統(tǒng)。

背景技術(shù)：

1、本部分的陳述僅僅是提到了與本發(fā)明相關(guān)的背景技術(shù)，并不必然構(gòu)成現(xiàn)有技術(shù)。

2、隨著硬件技術(shù)的快速發(fā)展，邊緣設(shè)備擁有的計算資源逐漸增加，邊緣計算的應(yīng)用需求日益增長。邊緣設(shè)備在生活和生產(chǎn)中產(chǎn)生大量具有巨大利用價值的數(shù)據(jù)，這些數(shù)據(jù)為智能控制模型的訓(xùn)練提供了豐富的資源。一般的人工智能技術(shù)以集中式利用遠(yuǎn)程計算資源訓(xùn)練為主，然而，對于特定的簡單的下游任務(wù)，例如圖像識別，將數(shù)據(jù)上傳到云端不僅會浪費(fèi)大量的網(wǎng)絡(luò)帶寬，也面臨著數(shù)據(jù)泄露的隱私風(fēng)險。為了解決這一問題，端側(cè)訓(xùn)練技術(shù)應(yīng)運(yùn)而生，旨在在本地設(shè)備上進(jìn)行模型的訓(xùn)練和更新，實(shí)現(xiàn)充分利用本地計算資源和保護(hù)數(shù)據(jù)隱私安全的目標(biāo)。

3、盡管硬件技術(shù)不斷發(fā)展，端側(cè)訓(xùn)練仍面臨挑戰(zhàn)。嵌入式設(shè)備性能較差，資源十分有限，使得主流的訓(xùn)練框架不能完全在端側(cè)執(zhí)行訓(xùn)練過程，大部分僅僅完成了推理，導(dǎo)致端側(cè)圖像識別的推理速度和推理性能無法得到有效平衡。

4、目前，端側(cè)訓(xùn)練方法主要包括三種：部分更新、層凍結(jié)或通道凍結(jié)以及量化。部分更新允許模型在每次訓(xùn)練中僅更新部分參數(shù)，減少計算負(fù)擔(dān)和內(nèi)存使用，適合資源受限環(huán)境；然而，這可能導(dǎo)致模型學(xué)習(xí)能力下降，未更新參數(shù)無法適應(yīng)新數(shù)據(jù)分布，影響整體性能，導(dǎo)致圖像識別的魯棒性差；此外，選擇更新參數(shù)需要額外策略，增加實(shí)現(xiàn)復(fù)雜性。凍結(jié)方法中，模型某些層或通道在訓(xùn)練過程中保持不變，僅更新其他層參數(shù)；此方法雖然減少計算量，但限制了模型學(xué)習(xí)能力，導(dǎo)致在動態(tài)變化環(huán)境中，模型適應(yīng)性和靈活性受到影響，無法適應(yīng)于不同類型圖像的處理。量化技術(shù)通過將模型參數(shù)從高精度轉(zhuǎn)換為低精度，減少存儲需求和計算復(fù)雜度；此方法可提高推理速度并降低內(nèi)存占用，但可能導(dǎo)致模型精度損失，影響圖像識別的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法、系統(tǒng)、電子設(shè)備、計算機(jī)可讀存儲介質(zhì)及計算機(jī)程序產(chǎn)品，設(shè)計了靈巧的參數(shù)在線選擇方法和高效的梯度壓縮計算方法報保證較高精度的同時減少模型占用的資源，保障圖像識別的準(zhǔn)確性和實(shí)時性。

2、第一方面，本發(fā)明提供了一種面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法；

3、一種面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法，包括：

4、獲取圖像；

5、通過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對所述圖像進(jìn)行處理，生成圖像識別結(jié)果；

6、其中，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)時，以部署于端側(cè)設(shè)備的預(yù)訓(xùn)練模型為基礎(chǔ)，利用參數(shù)迭代的穩(wěn)定度，確定參數(shù)在訓(xùn)練周期中的相對變化，結(jié)合動量因子，生成參數(shù)的重要性并對更新參數(shù)進(jìn)行動態(tài)選擇；同時，通過梯度壓縮方法優(yōu)化反向傳播流程。

7、在一些實(shí)施方式中，所述利用參數(shù)迭代的穩(wěn)定度，確定參數(shù)在訓(xùn)練周期中的相對變化，結(jié)合動量因子，生成參數(shù)的重要性包括：

8、利用訓(xùn)練周期中連續(xù)迭代生成的輸出特征圖，計算迭代之間參數(shù)的相似度；根據(jù)連續(xù)訓(xùn)練周期之間參數(shù)的相似度，確定參數(shù)的相對變化信息；

9、將參數(shù)的相對變化信息與動量因子和歷史變化信息結(jié)合，生成參數(shù)的重要性。

10、在一些實(shí)施方式中，所述參數(shù)的重要性表示為：

11、

12、式中，表示參數(shù)的相對變化信息，γ表示動量因子，表示歷史變化信息。

13、在一些實(shí)施方式中，根據(jù)參數(shù)的重要性對更新參數(shù)進(jìn)行動態(tài)選擇具體為：將參數(shù)的重要性與預(yù)設(shè)的參數(shù)凍結(jié)閾值比較，基于比較結(jié)果，篩選更新參數(shù)。

14、在一些實(shí)施方式中，所述通過梯度壓縮方法優(yōu)化反向傳播流程具體為：在訓(xùn)練的前向與反向階段對中間值對應(yīng)區(qū)域進(jìn)行平均求和壓縮，利用輕量化后的激活值與中間梯度更新參數(shù)梯度和輸入梯度。

15、在一些實(shí)施方式中，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)時，在前向傳播過程中通過計算卷積過程中對應(yīng)區(qū)域之和確定激活值變化。

16、第二方面，本發(fā)明提供了一種面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)系統(tǒng)；

17、一種面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)系統(tǒng)，包括：

18、獲取模塊，被配置為：獲取圖像；

19、圖像識別模塊，被配置為：通過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對所述圖像進(jìn)行處理，生成圖像識別結(jié)果；

20、其中，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)時，以部署于端側(cè)設(shè)備的預(yù)訓(xùn)練模型為基礎(chǔ)，利用參數(shù)迭代的穩(wěn)定度，確定參數(shù)在訓(xùn)練周期中的相對變化，結(jié)合動量因子，生成參數(shù)的重要性并對更新參數(shù)進(jìn)行動態(tài)選擇；同時，通過梯度壓縮方法優(yōu)化反向傳播流程。

21、第三方面，本發(fā)明提供了一種電子設(shè)備；

22、一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序以實(shí)現(xiàn)上述面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法的步驟。

23、第四方面，本發(fā)明提供了一種計算機(jī)可讀存儲介質(zhì)；

24、一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序/指令，該計算機(jī)程序/指令被處理器執(zhí)行時實(shí)現(xiàn)上述面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法的步驟。

25、第五方面，本發(fā)明提供了一種計算機(jī)程序產(chǎn)品；

26、一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序/指令，該計算機(jī)程序/指令被處理器執(zhí)行時實(shí)現(xiàn)上述面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法的步驟。

27、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

28、1、本發(fā)明提供的技術(shù)方案，通過敏感的參數(shù)交替部分更新在線選擇策略和高效的反向傳播梯度壓縮計算方法在端側(cè)設(shè)備上進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，保證較高精度的同時減少模型占用的資源，為微型計算機(jī)端側(cè)高效微調(diào)提供了一種嶄新的設(shè)計模式和應(yīng)用范例，有助于在資源受限的邊緣設(shè)備上實(shí)現(xiàn)高效的模型訓(xùn)練，同時確保數(shù)據(jù)隱私的保護(hù)，保障圖像識別任務(wù)精確度和效率的平衡。

29、2、本發(fā)明提供的技術(shù)方案，參數(shù)交替部分更新在線選擇技術(shù)能夠根據(jù)當(dāng)前的訓(xùn)練狀態(tài)動態(tài)選擇需要更新的參數(shù)，從而減少不必要的計算開銷，提高訓(xùn)練效率。

30、3、本發(fā)明提供的技術(shù)方案，高效的梯度壓縮計算方法則通過優(yōu)化梯度反向傳播計算流程，降低了對計算資源和存儲資源的需求，進(jìn)而提高圖像識別效率。

技術(shù)特征：

1.面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法，其特征在于，包括：

2.如權(quán)利要求1所述的面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法，其特征在于，所述利用參數(shù)迭代的穩(wěn)定度，確定參數(shù)在訓(xùn)練周期中的相對變化，結(jié)合動量因子，生成參數(shù)的重要性包括：

3.如權(quán)利要求2所述的面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法，其特征在于，所述參數(shù)的重要性表示為：

4.如權(quán)利要求1所述的面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法，其特征在于，根據(jù)參數(shù)的重要性對更新參數(shù)進(jìn)行動態(tài)選擇具體為：將參數(shù)的重要性與預(yù)設(shè)的參數(shù)凍結(jié)閾值比較，基于比較結(jié)果，篩選更新參數(shù)。

5.如權(quán)利要求1所述的面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法，其特征在于，所述通過梯度壓縮方法優(yōu)化反向傳播流程具體為：通過對卷積過程中對應(yīng)區(qū)域進(jìn)行平均求和更新參數(shù)梯度和輸入梯度。

6.如權(quán)利要求1所述的面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法，其特征在于，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)時，在前向傳播過程中通過計算卷積過程中對應(yīng)區(qū)域之和確定激活值變化。

7.面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)系統(tǒng)，其特征在于，包括：

8.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序以實(shí)現(xiàn)權(quán)利要求1-6任一項(xiàng)所述面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法的步驟。

9.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序/指令，其特征在于，該計算機(jī)程序/指令被處理器執(zhí)行時實(shí)現(xiàn)權(quán)利要求1-6任一項(xiàng)所述面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法的步驟。

10.一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序/指令，其特征在于，該計算機(jī)程序/指令被處理器執(zhí)行時實(shí)現(xiàn)權(quán)利要求1-6任一項(xiàng)所述面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開了一種面向微型計算機(jī)的端側(cè)神經(jīng)網(wǎng)絡(luò)高效微調(diào)方法及系統(tǒng)，屬于端側(cè)神經(jīng)網(wǎng)絡(luò)微調(diào)技術(shù)領(lǐng)域。包括：獲取圖像；通過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對所述圖像進(jìn)行處理，生成圖像識別結(jié)果；其中，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)時，以部署于端側(cè)設(shè)備的預(yù)訓(xùn)練模型為基礎(chǔ)，利用參數(shù)迭代的穩(wěn)定度，確定參數(shù)在訓(xùn)練周期中的相對變化，結(jié)合動量因子，生成參數(shù)的重要性并對更新參數(shù)進(jìn)行動態(tài)選擇；同時，通過梯度壓縮方法優(yōu)化反向傳播流程。能夠減少不必要的計算開銷，提高訓(xùn)練效率，降低了對計算資源和存儲資源的需求，同時確保數(shù)據(jù)隱私的保護(hù)；解決了現(xiàn)有端側(cè)模型訓(xùn)練精度和速度難以平衡的問題。

技術(shù)研發(fā)人員：賈振格,段昱,劉俊喆,石奕揚(yáng),李易洋,申兆巖,趙夢瑩
受保護(hù)的技術(shù)使用者：山東大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15