本公開的實施例總體上涉及視頻處理技術(shù)，并且更具體地，涉及預(yù)測融合。

背景技術(shù)：

1、如今，數(shù)字視頻能力正被應(yīng)用于人們生活的各個方面。針對視頻編碼/解碼，已經(jīng)提出了多種類型的視頻壓縮技術(shù)，諸如mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4第10部分高級視頻編解碼(avc)、itu-th.265高效視頻編解碼(hevc)標準、多功能視頻編解碼(vvc)標準。然而，總體上期望進一步提高視頻編解碼技術(shù)的編解碼質(zhì)量和編解碼效率。

技術(shù)實現(xiàn)思路

1、本公開的實施例提供一種用于視頻處理的解決方案。

2、在第一方面，提出了一種用于視頻處理的方法。該方法包括：針對視頻的當前視頻塊與視頻的比特流之間的轉(zhuǎn)換，獲取針對當前視頻塊的多個預(yù)測，該多個預(yù)測是基于多個不同預(yù)測方案被確定的；通過融合多個預(yù)測，生成針對當前視頻塊的目標預(yù)測；以及基于目標預(yù)測執(zhí)行轉(zhuǎn)換。

3、根據(jù)本公開的第一方面的方法，基于多個不同預(yù)測方案所確定的針對當前視頻塊的多個預(yù)測被融合以生成經(jīng)融合的預(yù)測。與僅使用基于特定預(yù)測方案所確定的預(yù)測的常規(guī)解決方案相比，所提出的方法能夠有利地改進編解碼質(zhì)量和編解碼效率。

4、在第二方面，提出了一種用于視頻處理的裝置。該裝置包括處理器和其上具有指令的非暫態(tài)存儲器。該指令在由處理器執(zhí)行時，使處理器執(zhí)行根據(jù)本公開的第一方面的方法。

5、在第三方面，提出了一種非暫態(tài)計算機可讀存儲介質(zhì)。該非暫態(tài)計算機可讀存儲介質(zhì)存儲指令，該指令使處理器執(zhí)行根據(jù)本公開的第一方面的方法。

6、在第四方面，提出了另一種非暫態(tài)計算機可讀記錄介質(zhì)。該非暫態(tài)計算機可讀記錄介質(zhì)存儲視頻的由用于視頻處理的裝置執(zhí)行的方法生成的比特流。該方法包括：獲取針對視頻的當前視頻塊的多個預(yù)測，該多個預(yù)測是基于多個不同預(yù)測方案被確定的；通過融合多個預(yù)測，生成針對當前視頻塊的目標預(yù)測；以及基于目標預(yù)測生成比特流。

7、在第五方面，提出一種用于存儲視頻的比特流的方法。該方法包括：獲取針對視頻的當前視頻塊的多個預(yù)測，該多個預(yù)測是基于多個不同預(yù)測方案被確定的；通過融合多個預(yù)測，生成針對當前視頻塊的目標預(yù)測；基于目標預(yù)測來生成比特流；以及將比特流存儲在非暫態(tài)計算機可讀記錄介質(zhì)中。

8、提供本
技術(shù)實現(xiàn)要素：
是為了以簡化的形式介紹以下在具體實施方式中進一步描述的概念的選擇。本發(fā)明內(nèi)容不旨在標識所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護的主題的范圍。

技術(shù)特征：

1.一種用于視頻處理的方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中所述目標預(yù)測是基于所述多個預(yù)測的加權(quán)和而被生成的。

3.根據(jù)權(quán)利要求2所述的方法，其中所述目標預(yù)測被如下生成：

4.根據(jù)權(quán)利要求2所述的方法，其中所述目標預(yù)測被如下生成：

5.根據(jù)權(quán)利要求3至4中任一項所述的方法，其中所述權(quán)重wi的值是預(yù)定義的。

6.根據(jù)權(quán)利要求3至4中任一項所述的方法，其中所述權(quán)重wi的值取決于用于對所述當前視頻塊進行編解碼的編解碼器的上下文。

7.根據(jù)權(quán)利要求1所述的方法，其中所述多個預(yù)測是基于非線性融合方案被融合的。

8.根據(jù)權(quán)利要求7所述的方法，其中卷積神經(jīng)網(wǎng)絡(luò)被用于所述非線性融合方案中。

9.根據(jù)權(quán)利要求8所述的方法，其中所述目標預(yù)測被如下生成：

10.根據(jù)權(quán)利要求9所述的方法，其中修正線性單元(relu)被用作針對所述卷積神經(jīng)網(wǎng)絡(luò)的激活函數(shù)。

11.根據(jù)權(quán)利要求10所述的方法，其中所述修正線性單元如下：

12.根據(jù)權(quán)利要求1至11中任一項所述的方法，其中所述多個預(yù)測中的預(yù)測的數(shù)目是2。

13.根據(jù)權(quán)利要求12所述的方法，其中所述多個預(yù)測中的預(yù)測是基于角度預(yù)測方案來確定的，并且所述多個預(yù)測中的另一預(yù)測是基于矩陣加權(quán)幀內(nèi)預(yù)測(mip)來確定的。

14.根據(jù)權(quán)利要求12所述的方法，其中所述多個預(yù)測中的第一預(yù)測是從基于所述多個不同預(yù)測方案中的第一預(yù)測方案生成的第一組預(yù)測中確定的，并且所述多個預(yù)測中的第二預(yù)測是從基于所述多個不同預(yù)測方案中的第二預(yù)測方案生成的第二組預(yù)測中確定的。

15.根據(jù)權(quán)利要求14所述的方法，其中預(yù)測的多個組合是基于所述第一組預(yù)測和所述第二組預(yù)測生成的，所述多個組合中的每個組合包括來自所述第一組預(yù)測的預(yù)測和來自所述第二組預(yù)測的預(yù)測，率失真(rd)成本針對所述多個組合中的每個組合被確定，并且所述多個組合中具有最低rd成本的一個組合中的預(yù)測被確定為所述第一預(yù)測和所述第二預(yù)測。

16.根據(jù)權(quán)利要求14所述的方法，其中rd成本針對所述第一組預(yù)測中的每個預(yù)測被確定，所述第一組預(yù)測中具有最低rd成本的一個預(yù)測被確定為所述第一預(yù)測，并且rd成本針對所述第二組預(yù)測中的每個預(yù)測被確定，所述第二組預(yù)測中具有最低rd成本的一個預(yù)測被確定為所述第二預(yù)測。

17.根據(jù)權(quán)利要求14所述的方法，其中預(yù)測的多個組合是基于所述第一組預(yù)測和所述第二組預(yù)測生成的，所述多個組合中的每個組合包括來自所述第一組預(yù)測的預(yù)測和來自所述第二組預(yù)測的預(yù)測，絕對變換差總和(satd)成本針對所述多個組合中的每個組合被確定，并且所述第一預(yù)測和所述第二預(yù)測基于所述satd成本從所述多個組合中被確定。

18.根據(jù)權(quán)利要求17所述的方法，其中所述多個組合中具有最低satd成本的一個組合中的預(yù)測被確定為所述第一預(yù)測和所述第二預(yù)測。

19.根據(jù)權(quán)利要求17所述的方法，其中預(yù)測的一組組合基于所述satd成本從預(yù)測的所述多個組合中被選擇，rd成本針對所述一組組合的每個組合被確定，并且所述一組組合中具有最低rd成本的一個組合中的預(yù)測被確定為所述第一預(yù)測和所述第二預(yù)測。

20.根據(jù)權(quán)利要求14至19中任一項所述的方法，其中所述第一預(yù)測方案包括矩陣加權(quán)幀內(nèi)預(yù)測(mip)，并且所述第二預(yù)測方案包括以下一項：

21.根據(jù)權(quán)利要求12所述的方法，其中所述多個預(yù)測中的第一預(yù)測是基于具有固定角度模式的幀內(nèi)角度預(yù)測方案來確定的，并且所述多個預(yù)測中的第二預(yù)測是基于固定mip模式來確定的。

22.根據(jù)權(quán)利要求14至21中任一項所述的方法，其中所述目標預(yù)測是基于所述第一預(yù)測和所述第二預(yù)測的加權(quán)和生成的，并且針對所述第一預(yù)測的權(quán)重與針對所述第二預(yù)測的權(quán)重相同。

23.根據(jù)權(quán)利要求14至22中任一項所述的方法，其中第一指示被包括在所述比特流中，所述第一指示指示是否所述目標預(yù)測是通過融合所述多個預(yù)測而生成的。

24.根據(jù)權(quán)利要求23所述的方法，其中所述第一指示在與模板匹配預(yù)測相關(guān)聯(lián)的指示之后被通過信號傳輸。

25.根據(jù)權(quán)利要求23至24中任一項所述的方法，其中所述第一指示包括標志。

26.根據(jù)權(quán)利要求23至25中任一項所述的方法，其中第二指示被包括在所述比特流中，所述第二指示指示如何融合所述多個預(yù)測。

27.根據(jù)權(quán)利要求26所述的方法，其中所述第二指示在所述第一指示之后被通過信號傳輸。

28.根據(jù)權(quán)利要求26至27中任一項所述的方法，其中所述第二指示包括索引。

29.根據(jù)權(quán)利要求1至28中任一項所述的方法，其中所述多個不同預(yù)測方案包括至少一個幀內(nèi)預(yù)測模式。

30.根據(jù)權(quán)利要求29所述的方法，其中所述至少一個幀內(nèi)預(yù)測模式包括以下至少一項：

31.根據(jù)權(quán)利要求29至30中任一項所述的方法，其中所述至少一個幀內(nèi)預(yù)測模式在所述比特流中被指示。

32.根據(jù)權(quán)利要求29至30中任一項所述的方法，其中所述至少一個幀內(nèi)預(yù)測模式在解碼器處被確定。

33.根據(jù)權(quán)利要求1至32中任一項所述的方法，其中所述多個預(yù)測中的至少一個預(yù)測是基于mip確定的，并且所述多個預(yù)測中的至少一個預(yù)測是基于與所述mip不同的幀內(nèi)預(yù)測方案確定的。

34.根據(jù)權(quán)利要求33所述的方法，其中所述幀內(nèi)預(yù)測方案包括以下一項：

35.根據(jù)權(quán)利要求33至34中任一項所述的方法，其中基于所述mip對所述至少一個預(yù)測的所述確定是預(yù)定義的，或者

36.根據(jù)權(quán)利要求33至35中任一項所述的方法，其中mip模式或mip轉(zhuǎn)置標志中的至少一項是預(yù)定義的，或者

37.根據(jù)權(quán)利要求33至36中任一項所述的方法，其中所述幀內(nèi)預(yù)測方案在所述比特流中被指示或是預(yù)定義的。

38.根據(jù)權(quán)利要求33至37中任一項所述的方法，其中關(guān)于如何使用所述幀內(nèi)預(yù)測方案的信息在所述比特流中被指示。

39.根據(jù)權(quán)利要求33至37中任一項所述的方法，其中至少一個幀內(nèi)預(yù)測模式不被允許用于確定所述多個預(yù)測。

40.根據(jù)權(quán)利要求39所述的方法，其中所述至少一個幀內(nèi)預(yù)測模式包括平面模式或dc模式中的至少一項。

41.根據(jù)權(quán)利要求1至40中任一項所述的方法，其中所述多個預(yù)測是基于至少一個預(yù)定義的mrl參考行來確定的。

42.根據(jù)權(quán)利要求1至41中任一項所述的方法，其中一個或多個mrl參考行不被允許用于確定所述多個預(yù)測。

43.根據(jù)權(quán)利要求42所述的方法，其中所述一個或多個mrl參考行是預(yù)定義的。

44.根據(jù)權(quán)利要求1至43中任一項所述的方法，其中所述多個預(yù)測基于針對所述當前視頻塊中的樣點的權(quán)重值而被融合，并且針對樣點的權(quán)重值取決于所述樣點的位置。

45.根據(jù)權(quán)利要求1至44中任一項所述的方法，其中以下至少一項取決于所述當前視頻塊的編解碼信息或者所述當前視頻塊的鄰近視頻塊的編解碼信息：

46.根據(jù)權(quán)利要求45所述的方法，其中所述編解碼信息包括以下至少一項：

47.根據(jù)權(quán)利要求1至46中任一項所述的方法，其中包括所述當前視頻塊的條帶是經(jīng)幀內(nèi)編解碼的條帶(i條帶)。

48.根據(jù)權(quán)利要求1至44中任一項所述的方法，其中以下至少一項通過所述比特流中的至少一個語法元素指示：

49.根據(jù)權(quán)利要求48所述的方法，其中所述至少一個語法元素被包括在以下一項中：

50.根據(jù)權(quán)利要求48至49中任一項所述的方法，其中所述至少一個語法元素包括指示是否通過融合所述多個預(yù)測來生成所述目標預(yù)測的第一語法元素。

51.根據(jù)權(quán)利要求48至50中任一項所述的方法，其中所述至少一個語法元素包括指示如何融合所述多個預(yù)測的第二語法元素。

52.根據(jù)權(quán)利要求50所述的方法，其中如果所述第一語法元素指示所述目標預(yù)測是通過融合所述多個預(yù)測而生成的，則所述至少一個語法元素還包括指示如何融合所述多個預(yù)測的第二語法元素。

53.根據(jù)權(quán)利要求48至49中任一項所述的方法，其中所述至少一個語法元素包括指示是否通過融合所述多個預(yù)測來生成所述目標預(yù)測以及如何融合所述多個預(yù)測的單個語法元素。

54.根據(jù)權(quán)利要求48至53中任一項所述的方法，其中所述比特流包括指示用于融合所述多個預(yù)測的權(quán)重值的語法元素或用于確定所述權(quán)重值的語法元素。

55.根據(jù)權(quán)利要求48至54中任一項所述的方法，其中所述至少一個語法元素利用以下一項而被編解碼：

56.根據(jù)權(quán)利要求48至55中任一項所述的方法，其中所述至少一個語法元素在算術(shù)編解碼中利用至少一個上下文而被編解碼。

57.根據(jù)權(quán)利要求48至55中任一項所述的方法，其中所述至少一個語法元素被旁路編解碼。

58.根據(jù)權(quán)利要求1至47中任一項所述的方法，其中如果所述多個預(yù)測被允許融合以生成所述目標預(yù)測，則以下至少一項通過所述比特流中的至少一個語法元素被指示：

59.根據(jù)權(quán)利要求48至58中任一項所述的方法，其中所述至少一個語法元素被包括在補充增強信息(sei)消息或視頻可用性信息(vui)消息中。

60.根據(jù)權(quán)利要求1至59中任一項所述的方法，其中在確定關(guān)于是否通過融合所述多個預(yù)測來生成所述目標預(yù)測的信息期間，有條件地使用至少一個編解碼工具。

61.根據(jù)權(quán)利要求60所述的方法，其中所述至少一個編解碼工具包括分割方案。

62.根據(jù)權(quán)利要求61所述的方法，其中以下至少一項不被使用：

63.根據(jù)權(quán)利要求60至62中任一項所述的方法，其中具有預(yù)定尺寸的四叉樹分割方案被使用。

64.根據(jù)權(quán)利要求63所述的方法，其中所述預(yù)定尺寸包括以下一項：

65.根據(jù)權(quán)利要求60至64中任一項所述的方法，其中所述至少一個編解碼工具包括色彩分量。

66.根據(jù)權(quán)利要求65所述的方法，其中所述當前視頻塊的色度分量不被使用。

67.根據(jù)權(quán)利要求60至66中任一項所述的方法，其中所述至少一個編解碼工具包括變換方案。

68.根據(jù)權(quán)利要求67所述的方法，其中以下至少一項不被使用：

69.根據(jù)權(quán)利要求60至68中任一項所述的方法，其中所述至少一個編解碼工具包括以下至少一項：

70.根據(jù)權(quán)利要求69所述的方法，其中以下至少一項不被使用：

71.根據(jù)權(quán)利要求60至70中任一項所述的方法，其中僅至少一個預(yù)定幀內(nèi)預(yù)測方案被允許使用。

72.根據(jù)權(quán)利要求1至71中任一項所述的方法，其中是否和/或如何應(yīng)用所述方法在以下一項處被指示：

73.根據(jù)權(quán)利要求1至71中任一項所述的方法，其中是否和/或如何應(yīng)用所述方法在以下一項中被指示：

74.根據(jù)權(quán)利要求1至73中任一項所述的方法，其中是否和/或如何應(yīng)用所述方法取決于所述當前視頻塊的經(jīng)編解碼信息。

75.根據(jù)權(quán)利要求74所述的方法，其中所述經(jīng)編解碼信息包括以下至少一項：

76.根據(jù)權(quán)利要求1至75中任一項所述的方法，其中所述方法適用于需要預(yù)測融合的編解碼工具。

77.根據(jù)權(quán)利要求1至76中任一項所述的方法，其中所述轉(zhuǎn)換包括將所述當前視頻塊編碼到所述比特流中。

78.根據(jù)權(quán)利要求1至76中任一項所述的方法，其中所述轉(zhuǎn)換包括從所述比特流解碼所述當前視頻塊。

79.一種用于視頻處理的裝置，包括處理器和其上具有指令的非暫態(tài)存儲器，其中所述指令在由所述處理器執(zhí)行時使所述處理器執(zhí)行根據(jù)權(quán)利要求1至78中任一項所述的方法。

80.一種非暫態(tài)計算機可讀存儲介質(zhì)，存儲有指令，所述指令使處理器執(zhí)行根據(jù)權(quán)利要求1至78中任一項所述的方法。

81.一種非暫態(tài)計算機可讀記錄介質(zhì)，存儲視頻的由用于視頻處理的裝置執(zhí)行的方法生成的比特流，其中所述方法包括：

82.一種用于存儲視頻的比特流的方法，包括：

技術(shù)總結(jié)
本公開的實施例提供一種用于視頻處理的解決方案。提出了一種用于視頻處理的方法。該方法包括：針對視頻的當前視頻塊與視頻的比特流之間的轉(zhuǎn)換，獲取針對當前視頻塊的多個預(yù)測，該多個預(yù)測是基于多個不同預(yù)測方案被確定的；通過融合多個預(yù)測，生成針對當前視頻塊的目標預(yù)測；以及基于目標預(yù)測執(zhí)行轉(zhuǎn)換。

技術(shù)研發(fā)人員：賈偉,王洋,張凱,張莉
受保護的技術(shù)使用者：抖音視界有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/22