本公開的實施例總體上涉及視頻處理技術(shù)，并且更具體地，涉及神經(jīng)網(wǎng)絡(luò)后處理濾波器激活和神經(jīng)網(wǎng)絡(luò)后處理濾波器特性的擴展。

背景技術(shù)：

1、如今，數(shù)字視頻能力正被應(yīng)用于人們生活的各個方面。針對視頻編碼/解碼，已經(jīng)提出了多種類型的視頻壓縮技術(shù)，諸如mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4第10部分高級視頻編解碼(avc)、itu-th.265高效視頻編解碼(hevc)標準、多功能視頻編解碼(vvc)標準。然而，總體上期望進一步提高視頻編解碼技術(shù)的編解碼質(zhì)量。

技術(shù)實現(xiàn)思路

1、本公開的實施例提供一種用于視頻處理的解決方案。

2、在第一方面，提出了一種用于視頻處理的方法。該方法包括：執(zhí)行視頻的當前視頻單元與視頻的比特流之間的轉(zhuǎn)換，其中比特流包括用于激活針對當前視頻單元的至少一個神經(jīng)網(wǎng)絡(luò)后處理濾波器(nnpf)的至少一組語法元素，并且當前視頻單元是視頻的當前圖片的一部分。

3、根據(jù)本公開的第一方面的方法，可以利用至少一組語法元素來控制針對視頻的圖片的一部分的一個或多個nnpf的激活。換句話說，一個或多個nnpf的激活可以在比圖片級別低的級別(諸如條帶級別、片級別等)被控制。與其中一個或多個nnpf的激活在圖片級別被控制的常規(guī)解決方案相比，所提出的方法可以有利地以經(jīng)細化的方式啟用nnpf的應(yīng)用，并且因此可以提高編解碼質(zhì)量。

4、在第二方面，提出了一種用于視頻處理的裝置。該裝置包括處理器和在其上具有指令的非暫態(tài)存儲器。該指令在由處理器執(zhí)行時使處理器執(zhí)行根據(jù)本公開的第一方面的方法。

5、在第三方面，提出了一種非暫態(tài)計算機可讀存儲介質(zhì)。該非暫態(tài)計算機可讀存儲介質(zhì)存儲有指令，該指令使處理器執(zhí)行根據(jù)本公開的第一方面的方法。

6、在第四方面，提出了另一種非暫態(tài)計算機可讀記錄介質(zhì)。該非暫態(tài)計算機可讀記錄介質(zhì)存儲視頻的由用于視頻處理的裝置執(zhí)行的方法生成的比特流。該方法包括：執(zhí)行視頻的當前視頻單元與比特流之間的轉(zhuǎn)換，其中比特流包括用于激活針對當前視頻單元的至少一個神經(jīng)網(wǎng)絡(luò)后處理濾波器(nnpf)的至少一組語法元素，并且當前視頻單元是視頻的當前圖片的一部分。

7、在第五方面，提出一種用于存儲視頻的比特流的方法。該方法包括：執(zhí)行視頻的當前視頻單元與比特流之間的轉(zhuǎn)換，其中比特流包括用于激活針對當前視頻單元的至少一個神經(jīng)網(wǎng)絡(luò)后處理濾波器(nnpf)的至少一組語法元素，并且當前視頻單元是視頻的當前圖片的一部分；以及將比特流存儲在非暫態(tài)計算機可讀記錄介質(zhì)中。

8、提供本
技術(shù)實現(xiàn)要素：
是為了以簡化的形式介紹以下在具體實施方式中進一步描述的概念的選擇。本發(fā)明內(nèi)容不旨在標識所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護的主題的范圍。

技術(shù)特征：

1.一種用于視頻處理的方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中所述至少一組語法元素中的第一組語法元素包括多個語法元素。

3.根據(jù)權(quán)利要求2所述的方法，其中所述第一組語法元素包括第一語法元素，所述第一語法元素指示由與所述圖片有關(guān)的一個或多個神經(jīng)網(wǎng)絡(luò)后處理濾波器特性(nnpfc)補充增強信息(sei)消息指定的nnpf，并且所述第一語法元素由nnpfa_id表示。

4.根據(jù)權(quán)利要求3所述的方法，其中所述至少一個nnpf由nnpfa_id[i]指示，并且i是所述至少一個nnpf中的一個nnpf的索引。

5.根據(jù)權(quán)利要求2至4中任一項所述的方法，其中所述第一組語法元素中的語法元素指示所述至少一個nnpf的數(shù)目，并且所述語法元素由nnpfa_num_minus1表示。

6.根據(jù)權(quán)利要求1至5中任一項所述的方法，其中關(guān)于是否通過信號傳輸所述至少一組語法元素和/或如何通過信號傳輸所述至少一組語法元素的信息取決于所述至少一個nnpf的數(shù)目，所述比特流中的神經(jīng)網(wǎng)絡(luò)后處理濾波器激活(nnpfa)sei消息包括指示所述至少一個nnpf的所述數(shù)目的第二語法元素，并且所述第二語法元素由nnpfa_num_minus1表示。

7.根據(jù)權(quán)利要求6所述的方法，其中所述第二語法元素的值在從0到255的范圍內(nèi)。

8.根據(jù)權(quán)利要求1至5中任一項所述的方法，其中如果指示所述至少一個nnpf的數(shù)目的第二語法元素不被包括在所述比特流中，則所述第二語法元素的值被推定為等于第一值。

9.根據(jù)權(quán)利要求8所述的方法，其中所述第一值為0。

10.根據(jù)權(quán)利要求1至8中任一項所述的方法，其中所述第二語法元素取決于所述至少一個nnpf的區(qū)域類型。

11.根據(jù)權(quán)利要求10所述的方法，其中所述區(qū)域類型由第三語法元素指示。

12.根據(jù)權(quán)利要求11所述的方法，其中所述第三語法元素由nnpfa_region_type表示。

13.根據(jù)權(quán)利要求11至12中任一項所述的方法，其中如果所述第三語法元素的值等于第二值，則所述第二語法元素不被包括在所述比特流中。

14.根據(jù)權(quán)利要求13所述的方法，其中所述第二值為0。

15.根據(jù)權(quán)利要求1至14中任一項所述的方法，其中所述比特流中的nnpfa?sei消息包括指示所述至少一個nnpf中的第i個nnpf的語法元素nnpfa_id[i]，并且i是整數(shù)。

16.根據(jù)權(quán)利要求15所述的方法，其中所述語法元素nnpfa_id[i]指定由一個或多個nnpfc?sei消息指定的第i個nnpf被用于所述當前圖片的后處理濾波，所述一個或多個nnpfc?sei消息與所述當前圖片有關(guān)并且具有等于所述語法元素nnfpa_id[i]的語法元素nnpfc_id。

17.根據(jù)權(quán)利要求1至16中任一項所述的方法，其中所述比特流中的nnpfa?sei消息包括指示所述至少一個nnpf的數(shù)目的語法元素nnpfa_num_minus1。

18.根據(jù)權(quán)利要求17所述的方法，其中所述至少一個nnpf的標識的數(shù)目等于所述至少一個nnpf的所述數(shù)目。

19.根據(jù)權(quán)利要求1至18中任一項所述的方法，其中所述至少一個nnpf的區(qū)域類型由第四語法元素指示。

20.根據(jù)權(quán)利要求19所述的方法，其中所述第四語法元素由nnpfa_region_type表示。

21.根據(jù)權(quán)利要求19至20中任一項所述的方法，其中等于第三值的所述第四語法元素指示包括所述第四語法元素的sei消息激活被應(yīng)用于所述當前圖片的一個nnpf。

22.根據(jù)權(quán)利要求21所述的方法，其中如果所述第四語法元素等于所述第三值，則指示所述至少一個nnpf的數(shù)目的語法元素不被包括在所述比特流中。

23.根據(jù)權(quán)利要求21至22中任一項所述的方法，其中大于所述第三值的所述第四語法元素指示所述sei消息激活一個或多個nnpf。

24.根據(jù)權(quán)利要求23所述的方法，其中如果所述第四語法元素等于比所述第三值大的第四值，則nnpf不被應(yīng)用于所述當前圖片的每個條帶，或者應(yīng)用于所述當前圖片的每個條帶的nnpf被指示，或者

25.根據(jù)權(quán)利要求24所述的方法，其中所述第三值為0，所述第四值為1，或者所述第五值為2。

26.根據(jù)權(quán)利要求19至20中任一項所述的方法，其中所述第四語法元素的值在第一預(yù)定范圍中，并且大于第六值的所述第四語法元素的值被保留且在所述比特流中不存在。

27.根據(jù)權(quán)利要求26所述的方法，其中具有大于所述第六值的所述第四語法元素的nnpfa?sei消息被忽略。

28.根據(jù)權(quán)利要求26至27中任一項所述的方法，其中所述第一預(yù)定范圍是從0到31，或者所述第六值為2。

29.根據(jù)權(quán)利要求19至28中任一項所述的方法，其中所述第四語法元素是左位在先的無符號整數(shù)0階指數(shù)哥倫布編解碼的語法元素。

30.根據(jù)權(quán)利要求1至29中任一項所述的方法，其中所述比特流中的nnpfa?sei消息中的語法元素nnpfa_slice_enabling_flag[i]指示nnpf在條帶級別處的使用。

31.根據(jù)權(quán)利要求30所述的方法，其中僅一個nnpf由所述nnpfa?sei消息中的語法元素nnpfa_ia指示。

32.根據(jù)權(quán)利要求1至29中任一項所述的方法，其中所述比特流中的nnpfa?sei消息中的語法元素nnpfa_slice_index[i]指示nnpf在條帶級別處的使用。

33.根據(jù)權(quán)利要求32所述的方法，其中一個或多個nnpf由所述nnpfa?sei消息中的語法元素nnpfa_ia[i]指示。

34.根據(jù)權(quán)利要求1至33中任一項所述的方法，其中所述比特流中的nnpfa?sei消息中的語法元素nnpfa_ctu_enabling_flag[i]指示nnpf在編解碼樹單元(ctu)級別處的使用。

35.根據(jù)權(quán)利要求34所述的方法，其中僅一個nnpf由所述nnpfa?sei消息中的語法元素nnpfa_ia指示。

36.根據(jù)權(quán)利要求1至33中任一項所述的方法，其中所述比特流中的nnpfa?sei消息中的語法元素nnpfa_ctu_index[i]指示nnpf在ctu級別處的使用。

37.根據(jù)權(quán)利要求36所述的方法，其中一個或多個nnpf由所述nnpfa?sei消息中的語法元素nnpfa_ia[i]指示。

38.根據(jù)權(quán)利要求1至27中任一項所述的方法，其中如果指示所述至少一個nnpf的區(qū)域類型的第三語法元素等于第七值，則與對應(yīng)于所述第七值的區(qū)域類型相關(guān)聯(lián)的至少一個語法元素被通過信號傳輸。

39.根據(jù)權(quán)利要求38所述的方法，其中所述第七值為1，且所述至少一個語法元素包括語法元素nnpfa_slice_index[i]或語法元素nnpfa_slice_enabling_flag[i]中的至少一項。

40.根據(jù)權(quán)利要求38所述的方法，其中所述第七值為2，且所述至少一個語法元素包括語法元素nnpfa_ctu_index[i]或語法元素nnpfa_ctu_enabling_flag[i]中的至少一項。

41.根據(jù)權(quán)利要求1至40中任一項所述的方法，其中語法元素nnpfa_slice_enabling_flag[i]或語法元素nnpfa_slice_index[i]中的至少一項等于第八值指示所述至少一個nnpf不在包括所述當前視頻單元的當前條帶中被使用，或者

42.根據(jù)權(quán)利要求41所述的方法，其中所述第八值為0或所述第九值為1。

43.根據(jù)權(quán)利要求1至42中任一項所述的方法，其中大于第十值的語法元素nnpfa_slice_index[i]指示具有與所述語法元素nnpfa_slice_index[i]的值減1相等的索引的nnpf被用于包括所述當前視頻單元的當前條帶中，或者

44.根據(jù)權(quán)利要求43所述的方法，其中所述第十值為0。

45.根據(jù)權(quán)利要求1至44中任一項所述的方法，其中所述比特流中的nnpfa?sei消息中的語法元素nnpfa_slice_enabling_flag[i]指示nnpf在條帶級別處的使用。

46.根據(jù)權(quán)利要求45所述的方法，其中等于第十一值的所述語法元素nnpfa_slice_enabling_flag[i]指示nnpf被用于所述當前圖片的第i個條帶，或者

47.根據(jù)權(quán)利要求46所述的方法，其中所述第十一值為1或所述第十二值為0。

48.根據(jù)權(quán)利要求1至47中任一項所述的方法，其中所述比特流中的nnpfa?sei消息中的語法元素nnpfa_slice_index[i]指示nnpf在條帶級別處的使用。

49.根據(jù)權(quán)利要求48所述的方法，其中等于第十三值的所述語法元素nnpfa_slice_index[i]指示nnpf不被用于所述當前圖片的第i個條帶，或者

50.根據(jù)權(quán)利要求49所述的方法，其中所述第十三值為0。

51.根據(jù)權(quán)利要求49至50中任一項所述的方法，其中所述語法元素nnpfa_slice_index[i]的值在第二預(yù)定范圍內(nèi)。

52.根據(jù)權(quán)利要求51所述的方法，其中所述第二預(yù)定范圍是從0到所述至少一個nnpf的數(shù)目。

53.根據(jù)權(quán)利要求1至52中任一項所述的方法，其中所述比特流中的nnpfa?sei消息中的語法元素nnpfa_ctu_enabling_flag[i]指示nnpf在ctu級別處的使用。

54.根據(jù)權(quán)利要求53所述的方法，其中等于第十四值的所述語法元素nnpfa_ctu_enabling_flag[i]指示nnpf被用于所述當前圖片的第i個ctu，或者

55.根據(jù)權(quán)利要求54所述的方法，其中所述第十四值為1或所述第十五值為0。

56.根據(jù)權(quán)利要求1至55中任一項所述的方法，其中所述比特流中的nnpfa?sei消息中的語法元素nnpfa_ctu_index[i]指示nnpf在ctu級別處的使用。

57.根據(jù)權(quán)利要求56所述的方法，其中等于第十六值的所述語法元素nnpfa_ctu_index[i]指示nnpf不被用于所述當前圖片的第i個ctu，或者

58.根據(jù)權(quán)利要求57所述的方法，其中所述第十六值為0。

59.根據(jù)權(quán)利要求57至58中任一項所述的方法，其中所述語法元素nnpfa_ctu_index[i]的值在第三預(yù)定范圍內(nèi)。

60.根據(jù)權(quán)利要求59所述的方法，其中所述第三預(yù)定范圍是從0到所述至少一個nnpf的數(shù)目。

61.根據(jù)權(quán)利要求1至60中任一項所述的方法，其中所述轉(zhuǎn)換包括將所述當前視頻單元編碼到所述比特流中。

62.根據(jù)權(quán)利要求1至60中任一項所述的方法，其中所述轉(zhuǎn)換包括從所述比特流解碼所述當前視頻單元。

63.一種用于視頻處理的裝置，包括處理器和其上具有指令的非暫態(tài)存儲器，其中所述指令在由所述處理器執(zhí)行時使所述處理器執(zhí)行根據(jù)權(quán)利要求1至62中任一項所述的方法。

64.一種非暫態(tài)計算機可讀存儲介質(zhì)，存儲有指令，所述指令使處理器執(zhí)行根據(jù)權(quán)利要求1至62中任一項所述的方法。

65.一種非暫態(tài)計算機可讀記錄介質(zhì)，存儲視頻的由用于視頻處理的裝置執(zhí)行的方法生成的比特流，其中所述方法包括：

66.一種用于存儲視頻的比特流的方法，包括：

技術(shù)總結(jié)
本公開的實施例提供一種用于視頻處理的解決方案。提出了一種用于視頻處理的方法。該方法包括：執(zhí)行視頻的當前視頻單元與視頻的比特流之間的轉(zhuǎn)換，其中比特流包括用于激活針對當前視頻單元的至少一個神經(jīng)網(wǎng)絡(luò)后處理濾波器(NNPF)的至少一組語法元素，并且當前視頻單元是視頻的當前圖片的一部分。

技術(shù)研發(fā)人員：李俊儒,王業(yè)奎,張凱,張莉,李躍,林超逸
受保護的技術(shù)使用者：抖音視界有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15