本實施例中的至少一個總體涉及一種用于編碼(分別解碼)神經(jīng)網(wǎng)絡的權重的方法和設備,所述權重代表圖像。
背景技術:
1、圖像和視頻壓縮是圖像處理中的基本任務,其在視頻流大規(guī)模流行和增加的時代變得至關重要。得益于社會數(shù)十年來的巨大努力,傳統(tǒng)方法已達到目前最先進的率失真性能,并且主導了當前的工業(yè)編解碼器解決方案。端到端可訓練深度模型最近作為替代方案出現(xiàn)并取得了有前途的結果?,F(xiàn)在,即使在單幅圖像壓縮的峰值信噪比方面,它們也擊敗了最好的傳統(tǒng)壓縮方法(vvc、通用視頻編碼)。
技術實現(xiàn)思路
1、在一個實施例中,公開了一種編碼方法,包括:
2、獲取神經(jīng)網(wǎng)絡的權重,所述權重代表輸入圖像;
3、獲取代表所述神經(jīng)網(wǎng)絡的層中的權重的最大絕對值的至少一個值;
4、響應于所述至少一個值來量化所述層的權重;以及
5、將所述至少一個值和所量化的權重編碼到比特流中。
6、公開了一種編碼設備,所述編碼設備包括一個或多個處理器和耦合到所述一個或多個處理器的至少一個存儲器,其中所述一個或多個處理器被配置為執(zhí)行剛才上文公開的所述方法。
7、在另一個實施例中,公開了一種解碼方法,包括:
8、獲取比特流,所述比特流包括代表神經(jīng)網(wǎng)絡的層中的權重的最大絕對值的至少一個值和所述層的量化的權重;
9、從所述比特流解碼所述至少一個值和神經(jīng)網(wǎng)絡的所述量化的權重;
10、響應于所述至少一個值來對所述層的所量化的權重進行逆量化以獲取反量化的權重;以及
11、使用由所反量化的權重參數(shù)化的神經(jīng)網(wǎng)絡來重建圖像。
12、公開了一種解碼設備,所述解碼設備包括一個或多個處理器和耦合到所述一個或多個處理器的至少一個存儲器,其中所述一個或多個處理器被配置為執(zhí)行上文公開的所述方法。
13、本文描述了可以單獨使用或組合使用的另外的實施例。
14、一個或多個實施例還提供了一種計算機程序,所述計算機程序包括指令,所述指令當由一個或多個處理器執(zhí)行時使得所述一個或多個處理器執(zhí)行根據(jù)本文描述的任何實施例的用于編碼/解碼圖像或視頻數(shù)據(jù)的所述方法。本實施例中的一個或多個實施例還提供了一種非暫態(tài)計算機可讀介質和/或計算機可讀存儲介質,其上存儲有用于根據(jù)本文描述的方法來編碼/解碼圖像或視頻數(shù)據(jù)的指令。
15、一個或多個實施例還提供了一種計算機可讀存儲介質,所述計算機可讀存儲介質具有存儲在其上的根據(jù)本文描述的方法生成的編碼數(shù)據(jù),例如比特流。一個或多個實施例還提供了一種用于發(fā)射或接收根據(jù)本文描述的方法生成的編碼數(shù)據(jù)(例如比特流)的方法和設備。
1.一種編碼方法,包括:
2.如權利要求1所述的方法,其中響應于所述至少一個值來量化所述層的權重包括:
3.如權利要求1或2所述的方法,其中對所量化的權重進行編碼包括使用由邊界符號值的固定概率和剩余符號的高斯分布定義的概率模型對所量化的權重進行熵編碼。
4.如權利要求3所述的方法,其中將所述高斯分布的均值和標準差編碼到所述比特流中。
5.如權利要求1至4中任一項所述的方法,其中獲取神經(jīng)網(wǎng)絡的權重包括最小化所述輸入圖像與從由反量化權重參數(shù)化的神經(jīng)網(wǎng)絡所重建的圖像之間的失真。
6.如權利要求1至4中任一項所述的方法,其中獲取神經(jīng)網(wǎng)絡的權重包括最小化損失函數(shù),所述損失函數(shù)是第一失真與第二失真之間的加權和,其中所述第一失真是所述輸入圖像與從由反量化權重參數(shù)化的所述神經(jīng)網(wǎng)絡所重建的圖像之間的失真,并且所述第二失真是從由具有全精度的固定權重參數(shù)化的所述神經(jīng)網(wǎng)絡所重建的圖像與從由反量化權重參數(shù)化的所述神經(jīng)網(wǎng)絡所重建的圖像之間的失真。
7.如權利要求1至4中任一項所述的方法,其中獲取神經(jīng)網(wǎng)絡的權重包括最小化損失函數(shù),所述損失函數(shù)是第一失真與第二失真之間的加權和,其中所述第一失真是所述輸入圖像與從由反量化權重參數(shù)化的所述神經(jīng)網(wǎng)絡所重建的圖像之間的失真,并且所述第二失真是從由非量化的權重參數(shù)化的所述神經(jīng)網(wǎng)絡所重建的圖像與從由反量化權重參數(shù)化的所述神經(jīng)網(wǎng)絡所重建的圖像之間的失真。
8.如權利要求1至7中任一項所述的方法,其中所述權重屬于權重集合,所述權重集合包括偏差和張量值。
9.一種解碼方法,包括:
10.如權利要求9所述的方法,其中響應于所述至少一個值來逆量化所述層的權重包括:
11.如權利要求9或10所述的方法,其中對所量化的權重進行解碼包括使用由邊界符號值的固定概率和剩余符號的高斯分布定義的概率模型對所量化的權重進行熵解碼。
12.如權利要求11所述的方法,其中從所述比特流解碼所述高斯分布的均值和標準差。
13.如權利要求8至12中任一項所述的方法,其中所述權重屬于權重集合,所述權重集合包括偏差和張量值。
14.一種編碼設備,包括一個或多個處理器和耦合到所述一個或多個處理器的至少一個存儲器,其中所述一個或多個處理器被配置為執(zhí)行如權利要求1至8中任一項所述的方法。
15.一種解碼設備,包括一個或多個處理器和耦合到所述一個或多個處理器的至少一個存儲器,其中所述一個或多個處理器被配置為執(zhí)行如權利要求9至13中任一項所述的方法。
16.一種計算機程序,包括程序代碼指令,所述程序代碼指令當由處理器執(zhí)行時用于實現(xiàn)根據(jù)權利要求1至13中任一項所述的方法。
17.一種計算機可讀存儲介質,其上存儲有指令,所述指令用于在由處理器執(zhí)行時實現(xiàn)根據(jù)權利要求1至13中任一項所述的方法。