本發(fā)明涉及計(jì)算機(jī)和深度學(xué)習(xí)，更具體地，涉及一種基于網(wǎng)絡(luò)剪枝敏感度的低精度神經(jīng)網(wǎng)絡(luò)自定義加寬方法。

背景技術(shù)：

1、通常，近年來，深度學(xué)習(xí)和人工智能技術(shù)的發(fā)展為人們的生活提供了巨大的便利，創(chuàng)造了巨大的生產(chǎn)力。深度學(xué)習(xí)模型已經(jīng)被應(yīng)用到了各個(gè)行業(yè)的各個(gè)領(lǐng)域中，相比較于傳統(tǒng)的非人工智能方法創(chuàng)造了更大的科學(xué)和經(jīng)濟(jì)價(jià)值。

2、模型壓縮是深度學(xué)習(xí)中一項(xiàng)重要但具有挑戰(zhàn)性的任務(wù)。模型壓縮包括剪枝，量化，知識蒸餾等典型方法，目前這些方法已被廣泛應(yīng)用于深度學(xué)習(xí)模型應(yīng)用的落地部署中?，F(xiàn)有的解決方案，例如，在2018年由asit?mishra等提出的寬幅低精度網(wǎng)絡(luò)(mishra?a,nurvitadhi?e,cook?j?j,marr?d.wrpn:wide?reduced-precision?networks[c].international?conference?on?learning?representations,2018.)，通過使用寬度擴(kuò)展和降低精度的方式來減少深度神經(jīng)網(wǎng)絡(luò)的計(jì)算和存儲需求，同時(shí)保持較高的準(zhǔn)確性。

3、但是，上述方法在進(jìn)行寬度擴(kuò)展時(shí)對深度神經(jīng)網(wǎng)絡(luò)的每一層進(jìn)行了均勻擴(kuò)展。均勻擴(kuò)展等比例擴(kuò)展了網(wǎng)絡(luò)的每一層。神經(jīng)網(wǎng)絡(luò)的每一層對最終結(jié)果的貢獻(xiàn)是有差異性的，這就導(dǎo)致上述方法并不能給神經(jīng)網(wǎng)絡(luò)帶來峰值性能。

4、綜上，考慮到上述方法的局限性，本發(fā)明為了解決上述問題提供了一種基于神經(jīng)網(wǎng)絡(luò)剪枝敏感度分析的低精度神經(jīng)網(wǎng)絡(luò)自定義加寬方法，該方法基于神經(jīng)網(wǎng)絡(luò)剪枝敏感度分析獲取每一層在增加稀疏度的情況下對最終性能的影響，并將每一層在稀疏時(shí)對最終結(jié)果的影響量化來得到每一層對最終結(jié)果的貢獻(xiàn)，通過在寬度擴(kuò)展時(shí)有選擇性地對突出貢獻(xiàn)的層加大擴(kuò)展程度來提升網(wǎng)絡(luò)在降低精度時(shí)的峰值性能。本發(fā)明核心算法可擴(kuò)展性好，可以完全應(yīng)用于當(dāng)前所有類型的卷積神經(jīng)網(wǎng)絡(luò)；使用本發(fā)明所述方法可以很大程度地在保持較低量化位寬的情況下提高模型的推理準(zhǔn)確率；本方法可以方便地應(yīng)用于幾乎所有深度學(xué)習(xí)領(lǐng)域的部署和落地工作中，具有工業(yè)化的應(yīng)用前景。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種低精度神經(jīng)網(wǎng)絡(luò)自定義加寬方法，該方法能夠克服現(xiàn)有低精度神經(jīng)網(wǎng)絡(luò)加寬方法峰值性能不高的問題，可有效應(yīng)用于大規(guī)模深度學(xué)習(xí)應(yīng)用的落地部署。

2、為了達(dá)到上述發(fā)明目的，根據(jù)本發(fā)明的一方面，提供一種低精度神經(jīng)網(wǎng)絡(luò)自定義加寬方法，所述方法包括：對目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行剪枝敏感度分析，獲取目標(biāo)神經(jīng)網(wǎng)絡(luò)的每一層在不同稀疏度時(shí)網(wǎng)絡(luò)整體的性能；根據(jù)目標(biāo)神經(jīng)網(wǎng)絡(luò)的每一層在不同稀疏度時(shí)網(wǎng)絡(luò)整體的性能計(jì)算每一層對目標(biāo)神經(jīng)網(wǎng)絡(luò)性能的貢獻(xiàn)；根據(jù)每一層對目標(biāo)神經(jīng)網(wǎng)絡(luò)性能的貢獻(xiàn)計(jì)算該層的加寬比例，并對該層神經(jīng)網(wǎng)絡(luò)進(jìn)行寬度擴(kuò)展；對寬度擴(kuò)展后的目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行量化感知訓(xùn)練，得到最終模型。

3、所述方法的步驟包括：

4、對目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行剪枝敏感度分析，獲取目標(biāo)神經(jīng)網(wǎng)絡(luò)的每一層在不同稀疏度時(shí)網(wǎng)絡(luò)整體的性能。以top1作為性能度量指標(biāo)；

5、根據(jù)目標(biāo)神經(jīng)網(wǎng)絡(luò)的每一層在不同稀疏度時(shí)網(wǎng)絡(luò)整體的性能計(jì)算每一層對目標(biāo)神經(jīng)網(wǎng)絡(luò)性能的貢獻(xiàn)。具體地，計(jì)算目標(biāo)神經(jīng)網(wǎng)絡(luò)的每一層在所有稀疏度下top1指標(biāo)的算術(shù)平均值laverage_top1；

6、根據(jù)每一層對目標(biāo)神經(jīng)網(wǎng)絡(luò)性能的貢獻(xiàn)計(jì)算該層的加寬比例，并對該層神經(jīng)網(wǎng)絡(luò)進(jìn)行寬度擴(kuò)展。首先根據(jù)目標(biāo)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的連接拓?fù)?，將目?biāo)網(wǎng)絡(luò)結(jié)構(gòu)的所有層劃分為若干組，將目標(biāo)網(wǎng)絡(luò)結(jié)構(gòu)中輸入通道數(shù)需要保持一致的層歸為同一組，輸入通道數(shù)不受約束的層獨(dú)立成組，為每一組分配組號，每一層所被分配到的組號記作lgroup_constraints。其次將每一層的卷積核數(shù)loriginal_filter_num和該層所被分配的組號lgroup_constraints按照該層在所有稀疏度下top1指標(biāo)的算術(shù)平均值laverage_top1進(jìn)行升序排序。然后給定基礎(chǔ)加寬比例α，對于排序后的每一層分配下標(biāo)l，計(jì)算該層所在組的加寬比例b[lgroup_constraints[l]]＝max(b[lgroup_constraints[l]],α-0.5l/laverage_top1[l])。最后計(jì)算每一層按所在組的加寬比例加寬之后的卷積核數(shù)量lresize_filter_num，lresize_filter_num[l]＝round(b[lgroup_constraints[l]]*loriginal_filter_num[l],0)。使用每一層按比例加寬之后的卷積核數(shù)量lresize_filter_num修改目標(biāo)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)每一層的寬度以進(jìn)行寬度擴(kuò)展；

7、對寬度擴(kuò)展后的目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行量化感知訓(xùn)練，得到最終模型。使用修改后的目標(biāo)神經(jīng)網(wǎng)絡(luò)在保持權(quán)重1bit和激活1bit的量化位寬的情況下進(jìn)行神經(jīng)網(wǎng)絡(luò)量化感知訓(xùn)練，訓(xùn)練結(jié)束后得到一個(gè)低精度自定義加寬神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有比非自定義加寬的低精度神經(jīng)網(wǎng)絡(luò)更優(yōu)異的性能和更小的參數(shù)量。

8、根據(jù)本發(fā)明的另一方面，提供一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)可讀指令，其特征在于，所述計(jì)算機(jī)可讀指令在處理器被執(zhí)行時(shí)實(shí)現(xiàn)上述的低精度神經(jīng)網(wǎng)絡(luò)自定義加寬方法。

9、本發(fā)明核心算法可擴(kuò)展性好，可以完全應(yīng)用于當(dāng)前所有類型的卷積神經(jīng)網(wǎng)絡(luò)；使用本發(fā)明所述方法可以很大程度地在保持較低量化位寬的情況下提高模型的推理準(zhǔn)確率；本方法可以方便地應(yīng)用于幾乎所有深度學(xué)習(xí)領(lǐng)域的部署和落地工作中，具有工業(yè)化的應(yīng)用前景。

技術(shù)特征：

1.一種低精度神經(jīng)網(wǎng)絡(luò)自定義加寬方法，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，以top1作為性能度量指標(biāo)。

3.根據(jù)權(quán)利要求2所述的方法，其中，根據(jù)目標(biāo)神經(jīng)網(wǎng)絡(luò)的每一層在不同稀疏度時(shí)網(wǎng)絡(luò)整體的性能計(jì)算每一層對目標(biāo)神經(jīng)網(wǎng)絡(luò)性能的貢獻(xiàn)包括：

4.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)每一層對目標(biāo)神經(jīng)網(wǎng)絡(luò)性能的貢獻(xiàn)計(jì)算該層的加寬比例，并對該層神經(jīng)網(wǎng)絡(luò)進(jìn)行寬度擴(kuò)展包括：

5.根據(jù)權(quán)利要求1所述的方法，其中，對寬度擴(kuò)展后的目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行量化感知訓(xùn)練，得到最終模型包括：使用修改后的目標(biāo)神經(jīng)網(wǎng)絡(luò)在保持權(quán)重1bit和激活1bit的量化位寬的情況下進(jìn)行神經(jīng)網(wǎng)絡(luò)量化感知訓(xùn)練，訓(xùn)練結(jié)束后得到一個(gè)低精度自定義加寬神經(jīng)網(wǎng)絡(luò)。

6.一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)可讀指令，其特征在于，所述計(jì)算機(jī)可讀指令在處理器被執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1所述的低精度神經(jīng)網(wǎng)絡(luò)自定義加寬方法。

技術(shù)總結(jié)
本發(fā)明公開了一種低精度神經(jīng)網(wǎng)絡(luò)自定義加寬方法，所述方法包括：對目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行剪枝敏感度分析，獲取目標(biāo)神經(jīng)網(wǎng)絡(luò)的每一層在不同稀疏度時(shí)網(wǎng)絡(luò)整體的性能；根據(jù)目標(biāo)神經(jīng)網(wǎng)絡(luò)的每一層在不同稀疏度時(shí)網(wǎng)絡(luò)整體的性能計(jì)算每一層對目標(biāo)神經(jīng)網(wǎng)絡(luò)性能的貢獻(xiàn)；根據(jù)每一層對目標(biāo)神經(jīng)網(wǎng)絡(luò)性能的貢獻(xiàn)計(jì)算該層的加寬比例，并對該層神經(jīng)網(wǎng)絡(luò)進(jìn)行寬度擴(kuò)展；對寬度擴(kuò)展后的目標(biāo)神經(jīng)網(wǎng)絡(luò)進(jìn)行量化感知訓(xùn)練，得到最終模型。

技術(shù)研發(fā)人員：劉瑩,龔昊,陳曉瑩,崔紅元
受保護(hù)的技術(shù)使用者：中國科學(xué)院大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/22