背景技術(shù):
1、本公開實施例涉及視頻編碼。
2、數(shù)字視頻已成為主流并且廣泛應(yīng)用于數(shù)字電視、視頻電話和電話會議等各種應(yīng)用中。由于計算和通信技術(shù)的進(jìn)步以及高效的視頻編碼技術(shù),這些數(shù)字視頻應(yīng)用是可行的。可以使用各種視頻編碼技術(shù)壓縮視頻數(shù)據(jù),從而可以使用一個或多個視頻編碼標(biāo)準(zhǔn)對視頻數(shù)據(jù)進(jìn)行編碼。示例性視頻編碼標(biāo)準(zhǔn)可包括但不限于多功能視頻編碼(versatile?videocoding,h.266/vvc)、高效視頻編碼(high-efficiency?video?coding,h.265/hevc)、高級視頻編碼(advanced?video?coding,h.264/avc)、運(yùn)動圖像專家組(moving?pictureexpert?group,mpeg)編碼等。
技術(shù)實現(xiàn)思路
1、根據(jù)本公開的一方面,提供了一種視頻編碼方法。該方法可以包括輕量級多層級混合尺度和深度信息與注意力機(jī)制(lightweight?multi-level?mixed?scale?and?depthinformation?with?attention?mechanism,lmsda)網(wǎng)絡(luò)的頭部接收輸入圖像。該方法可以包括lmsda網(wǎng)絡(luò)的頭部從輸入圖像提取第一組特征。該方法可以包括lmsda網(wǎng)絡(luò)的主干部分通過多個lmsda塊(lmsdablock,lmsdab)輸入第一組特征。該方法可以包括lmsda網(wǎng)絡(luò)的主干部分基于lmsdab的輸出生成第二組特征。該方法可以包括lmsda網(wǎng)絡(luò)的重建部分對第二組特征進(jìn)行上采樣以生成增強(qiáng)輸出圖像。
2、根據(jù)本公開的另一方面,提供了一種視頻編碼系統(tǒng)。該系統(tǒng)可以包括用于存儲指令的存儲器。該系統(tǒng)可以包括耦合到存儲器的處理器,該處理器在執(zhí)行指令時用于通過lmsda網(wǎng)絡(luò)的頭部接收輸入圖像。該系統(tǒng)可以包括耦合到存儲器的處理器,該處理器在執(zhí)行指令時用于通過lmsda網(wǎng)絡(luò)的頭部從輸入圖像提取第一組特征。該系統(tǒng)可以包括耦合到存儲器的處理器,該處理器在執(zhí)行指令時用于通過lmsda網(wǎng)絡(luò)的主干部分通過多個lmsdab輸入第一組特征。該系統(tǒng)可以包括耦合到存儲器的處理器,該處理器在執(zhí)行指令時用于通過lmsda網(wǎng)絡(luò)的主干部分基于lmsdab的輸出生成第二組特征。該系統(tǒng)可以包括耦合到存儲器的處理器,該處理器在執(zhí)行指令時用于通過lmsda網(wǎng)絡(luò)的重建部分對第二組特征進(jìn)行上采樣以生成增強(qiáng)輸出圖像。
3、根據(jù)本公開的另一方面,提供了一種視頻編碼方法。該方法可以包括lmsdab的特征提取部分對第一組特征應(yīng)用第一核大小的第一卷積層和第二核大小的第二卷積層以生成第二組特征。該方法可以包括lmsdab的特征提取部分在通道維度上組合第二組特征。該方法可以包括lmsdab的特征提取部分通過使用第一核大小的第三卷積層融合在通道維度上組合的第二組特征,生成融合特征圖。
4、根據(jù)本公開的又一方面,提供了一種視頻編碼系統(tǒng)。該系統(tǒng)可以包括用于存儲指令的存儲器。該系統(tǒng)可以包括耦合到存儲器的處理器,該處理器在執(zhí)行指令時用于通過lmsdab的特征提取部分對第一組特征應(yīng)用第一核大小的第一卷積層和第二核大小的第二卷積層以生成第二組特征。該系統(tǒng)可以包括耦合到存儲器的處理器,該處理器在執(zhí)行指令時用于通過lmsdab的特征提取部分在通道維度上組合第二組特征。該系統(tǒng)可以包括耦合到存儲器的處理器,該處理器在執(zhí)行指令時用于通過lmsdab的特征提取部分通過使用第一核大小的第三卷積層融合在通道維度上組合的第二組特征,生成融合特征圖。
5、提及這些說明性實施例不是為了限制或定義本公開,而是為了提供示例以幫助理解本公開。在具體實施方式中描述了其他實施例并且提供了進(jìn)一步描述。
1.一種視頻編碼方法,包括:
2.根據(jù)權(quán)利要求1所述的方法,其中,所述lmsda網(wǎng)絡(luò)與亮度通道或色度通道關(guān)聯(lián)。
3.根據(jù)權(quán)利要求1所述的方法,其中,所述lmsda網(wǎng)絡(luò)的所述主干部分基于所述lmsdab的所述輸出生成所述第二組特征包括:
4.根據(jù)權(quán)利要求3所述的方法,其中,所述lmsda網(wǎng)絡(luò)的所述主干部分基于所述lmsdab的所述輸出生成所述第二組特征包括:
5.根據(jù)權(quán)利要求4所述的方法,其中,所述lmsda網(wǎng)絡(luò)的所述主干部分基于所述lmsdab的所述輸出生成所述第二組特征包括:
6.根據(jù)權(quán)利要求4所述的方法,其中,所述lmsda網(wǎng)絡(luò)的所述主干部分基于所述lmsdab的所述輸出生成所述第二組特征包括:
7.根據(jù)權(quán)利要求6所述的方法,其中,所述增強(qiáng)輸出圖像至少部分基于所述多尺度空間注意力圖和所述通道注意力圖生成。
8.一種視頻編碼系統(tǒng),包括:
9.根據(jù)權(quán)利要求8所述的系統(tǒng),其中,所述lmsda網(wǎng)絡(luò)與亮度通道或色度通道關(guān)聯(lián)。
10.根據(jù)權(quán)利要求8所述的系統(tǒng),其中,所述處理器耦合到所述存儲器并且在執(zhí)行所述指令時用于如下通過所述lmsda網(wǎng)絡(luò)的所述主干部分基于所述lmsdab的所述輸出生成所述第二組特征:
11.根據(jù)權(quán)利要求10所述的系統(tǒng),其中,所述處理器耦合到所述存儲器并且在執(zhí)行所述指令時用于如下通過所述lmsda網(wǎng)絡(luò)的所述主干部分基于所述lmsdab的所述輸出生成所述第二組特征:
12.根據(jù)權(quán)利要求11所述的系統(tǒng),其中,所述處理器耦合到所述存儲器并且在執(zhí)行所述指令時用于如下通過所述lmsda網(wǎng)絡(luò)的所述主干部分基于所述lmsdab的所述輸出生成所述第二組特征:
13.根據(jù)權(quán)利要求11所述的系統(tǒng),其中,所述處理器耦合到所述存儲器并且在執(zhí)行所述指令時用于如下通過所述lmsda網(wǎng)絡(luò)的所述主干部分基于所述lmsdab的所述輸出生成所述第二組特征:
14.根據(jù)權(quán)利要求13所述的系統(tǒng),其中,所述增強(qiáng)輸出圖像至少部分基于所述多尺度空間注意力圖和所述通道注意力圖生成。
15.一種視頻編碼方法,包括:
16.根據(jù)權(quán)利要求15所述的方法,還包括:
17.根據(jù)權(quán)利要求16所述的方法,還包括:
18.一種視頻編碼系統(tǒng),包括:
19.根據(jù)權(quán)利要求18所述的系統(tǒng),其中,耦合到所述存儲器的所述處理器在執(zhí)行所述指令時還用于:
20.根據(jù)權(quán)利要求19所述的系統(tǒng),其中,耦合到所述存儲器的所述處理器在執(zhí)行所述指令時還用于: