本申請(qǐng)涉及視頻圖像后處理，尤其涉及一種編碼視頻圖像壓縮失真修復(fù)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、為了達(dá)到節(jié)約空間的目的，視頻圖像都是經(jīng)過編碼后才傳輸?shù)?，完整的視頻編碼可以包括預(yù)測(cè)、變換、量化、熵編碼、濾波等過程。

2、現(xiàn)有主流視頻圖像編碼器都是基于塊（如編碼單元、預(yù)測(cè)單元、變換單元、濾波單元等）進(jìn)行操作的，上述過程中會(huì)存在編碼失真。

3、例如，在幀內(nèi)預(yù)測(cè)階段會(huì)存在預(yù)測(cè)不準(zhǔn)出現(xiàn)偽影噪聲現(xiàn)象，幀間預(yù)測(cè)階段會(huì)存在運(yùn)動(dòng)估計(jì)不準(zhǔn)出現(xiàn)拖尾現(xiàn)象，變換量化階段會(huì)存在殘差系數(shù)量化損失出現(xiàn)細(xì)節(jié)丟失（模糊）、顏色失真和棋盤格等現(xiàn)象，濾波階段會(huì)存在破壞原有像素的相似性出現(xiàn)馬賽克、色階等現(xiàn)象，不同幀間編碼質(zhì)量差異較大出現(xiàn)呼吸效應(yīng)現(xiàn)象。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本申請(qǐng)?zhí)峁┮环N編碼視頻圖像壓縮失真修復(fù)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

2、具體地，本申請(qǐng)是通過如下技術(shù)方案實(shí)現(xiàn)的：

3、根據(jù)本申請(qǐng)實(shí)施例的第一方面，提供一種編碼視頻圖像壓縮失真修復(fù)方法，包括：

4、獲取當(dāng)前幀視頻圖像的編碼碼流；

5、對(duì)所述當(dāng)前幀視頻圖像的編碼碼流進(jìn)行解碼，得到解碼圖像；以及，

6、對(duì)所述編碼碼流中的碼流參數(shù)集進(jìn)行解析，得到參數(shù)類結(jié)構(gòu)化數(shù)據(jù)，以所述參數(shù)類結(jié)構(gòu)化數(shù)據(jù)作為碼流先驗(yàn)信息，并對(duì)所述碼流先驗(yàn)信息進(jìn)行數(shù)據(jù)預(yù)處理，得到先驗(yàn)信息數(shù)據(jù)；

7、對(duì)所述先驗(yàn)信息數(shù)據(jù)與所述解碼圖像進(jìn)行融合，并將融合信息輸入到預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，利用所述預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)所述解碼圖像進(jìn)行失真修復(fù)。

8、根據(jù)本申請(qǐng)實(shí)施例的第二方面，提供一種編碼視頻圖像壓縮失真修復(fù)裝置，包括：

9、獲取單元，用于獲取當(dāng)前幀視頻圖像的編碼碼流；

10、解碼單元，用于對(duì)所述當(dāng)前幀視頻圖像的編碼碼流進(jìn)行解碼，得到解碼圖像；以及，

11、預(yù)處理單元，用于對(duì)所述編碼碼流中的碼流參數(shù)集進(jìn)行解析，得到參數(shù)類結(jié)構(gòu)化數(shù)據(jù)，以所述參數(shù)類結(jié)構(gòu)化數(shù)據(jù)作為碼流先驗(yàn)信息，并對(duì)所述碼流先驗(yàn)信息進(jìn)行數(shù)據(jù)預(yù)處理，得到先驗(yàn)信息數(shù)據(jù)；

12、修復(fù)單元，用于對(duì)所述先驗(yàn)信息數(shù)據(jù)與所述解碼圖像進(jìn)行融合，并將融合信息輸入到預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，利用所述預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)所述解碼圖像進(jìn)行失真修復(fù)。

13、根據(jù)本申請(qǐng)實(shí)施例的第三方面，提供一種電子設(shè)備，所述電子設(shè)備包括：處理器和機(jī)器可讀存儲(chǔ)介質(zhì)，所述機(jī)器可讀存儲(chǔ)介質(zhì)存儲(chǔ)有能夠被所述處理器執(zhí)行的機(jī)器可執(zhí)行指令；

14、所述處理器用于執(zhí)行機(jī)器可執(zhí)行指令，以實(shí)現(xiàn)第一方面提供的方法。

15、根據(jù)本申請(qǐng)實(shí)施例的第四方面，提供一種機(jī)器可讀存儲(chǔ)介質(zhì)，所述機(jī)器可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有若干計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)，實(shí)現(xiàn)第一方面提供的方法。

16、由以上技術(shù)方案可見，本申請(qǐng)實(shí)施例中，通過獲取當(dāng)前幀視頻圖像的編碼碼流，一方面，對(duì)當(dāng)前幀視頻圖像的編碼碼流進(jìn)行解碼，得到解碼圖像；另一方面，對(duì)編碼碼流中的碼流參數(shù)集進(jìn)行解析，得到參數(shù)類結(jié)構(gòu)化數(shù)據(jù)，以參數(shù)類結(jié)構(gòu)化數(shù)據(jù)作為碼流先驗(yàn)信息，并對(duì)碼流先驗(yàn)信息進(jìn)行數(shù)據(jù)預(yù)處理，得到先驗(yàn)信息數(shù)據(jù)，進(jìn)而，可以對(duì)先驗(yàn)信息數(shù)據(jù)與解碼圖像進(jìn)行融合，并將融合信息輸入到預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，利用預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)解碼圖像進(jìn)行失真修復(fù)，通過在利用神經(jīng)網(wǎng)絡(luò)進(jìn)行失真修復(fù)的過程中，引入先驗(yàn)信息數(shù)據(jù)，利用先驗(yàn)信息數(shù)據(jù)輔助神經(jīng)網(wǎng)絡(luò)進(jìn)行失真修復(fù)，提升了神經(jīng)網(wǎng)絡(luò)對(duì)編碼失真的修復(fù)能力以及神經(jīng)網(wǎng)絡(luò)的泛化能力，優(yōu)化了失真修復(fù)效果。

技術(shù)特征：

1.一種編碼視頻圖像壓縮失真修復(fù)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述先驗(yàn)信息數(shù)據(jù)的寬及高及通道數(shù)分別與所述解碼圖像的寬及高一致；

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將融合信息輸入到預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，利用所述預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)所述解碼圖像進(jìn)行失真修復(fù)，包括：

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述先驗(yàn)信息數(shù)據(jù)包括至少一種目標(biāo)先驗(yàn)信息數(shù)據(jù)，所述目標(biāo)先驗(yàn)信息數(shù)據(jù)用于指示失真修復(fù)過程中需重點(diǎn)關(guān)注的區(qū)域；

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述先驗(yàn)信息數(shù)據(jù)包括掩膜類先驗(yàn)信息數(shù)據(jù)以及非掩膜類先驗(yàn)信息數(shù)據(jù)；所述先驗(yàn)信息數(shù)據(jù)的寬及高分別與所述解碼圖像的寬及高一致；

6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，所述參數(shù)類結(jié)構(gòu)化數(shù)據(jù)包括以下參數(shù)中的部分或全部：

7.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，所述先驗(yàn)信息數(shù)據(jù)包括以下先驗(yàn)信息中的部分或全部：

8.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，所述先驗(yàn)信息數(shù)據(jù)包括以下先驗(yàn)信息中的部分或全部：

9.一種編碼視頻圖像壓縮失真修復(fù)裝置，其特征在于，包括：

10.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：處理器和機(jī)器可讀存儲(chǔ)介質(zhì)，所述機(jī)器可讀存儲(chǔ)介質(zhì)存儲(chǔ)有能夠被所述處理器執(zhí)行的機(jī)器可執(zhí)行指令；

11.一種機(jī)器可讀存儲(chǔ)介質(zhì)，其特征在于，所述機(jī)器可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有若干計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)，實(shí)現(xiàn)權(quán)利要求1-8任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┮环N編碼視頻圖像壓縮失真修復(fù)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：獲取當(dāng)前幀視頻圖像的編碼碼流；對(duì)所述當(dāng)前幀視頻圖像的編碼碼流進(jìn)行解碼，得到解碼圖像；以及，對(duì)所述編碼碼流中的碼流參數(shù)集進(jìn)行解析，得到參數(shù)類結(jié)構(gòu)化數(shù)據(jù)，以所述參數(shù)類結(jié)構(gòu)化數(shù)據(jù)作為碼流先驗(yàn)信息，并對(duì)所述碼流先驗(yàn)信息進(jìn)行數(shù)據(jù)預(yù)處理，得到先驗(yàn)信息數(shù)據(jù)；對(duì)所述先驗(yàn)信息數(shù)據(jù)與所述解碼圖像進(jìn)行融合，并將融合信息輸入到預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，利用所述預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)所述解碼圖像進(jìn)行失真修復(fù)。通過本申請(qǐng)方案，可以優(yōu)化編碼視頻圖像壓縮失真修復(fù)的性能。

技術(shù)研發(fā)人員：葉濤,劉祥凱,陳方棟,武曉陽,俞海
受保護(hù)的技術(shù)使用者：杭州?？低晹?shù)字技術(shù)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15