本申請涉及多視點(diǎn)視頻，尤其涉及一種多視點(diǎn)視頻的壓縮方法、電子設(shè)備、存儲介質(zhì)及計算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、隨著多視點(diǎn)視頻被越來越多的應(yīng)用在用戶的日常生活中，其在很大程度上提升了用戶的視覺體驗(yàn)。而隨著多視點(diǎn)視頻技術(shù)的不斷發(fā)展，多視點(diǎn)視頻的數(shù)據(jù)量也在急劇增長。

2、在相關(guān)技術(shù)中，技術(shù)人員通常采用基于深度學(xué)習(xí)的三維數(shù)據(jù)壓縮方法對多視點(diǎn)視頻數(shù)據(jù)進(jìn)行壓縮，以消除不同視點(diǎn)間的空間冗余，進(jìn)而減小壓縮后的多視點(diǎn)視頻數(shù)據(jù)的數(shù)據(jù)量。

3、然而，上述多視點(diǎn)視頻數(shù)據(jù)的壓縮方法，通常只能使用在視點(diǎn)間視差較小的雙目視頻數(shù)據(jù)或光場視頻數(shù)據(jù)上，一旦視頻數(shù)據(jù)為涉及到六自由度的多視點(diǎn)視頻數(shù)據(jù)時，就容易出現(xiàn)視頻壓縮效率較低的問題。

技術(shù)實(shí)現(xiàn)思路

1、本申請的主要目的在于提供一種多視點(diǎn)視頻的壓縮方法、電子設(shè)備、存儲介質(zhì)及計算機(jī)程序產(chǎn)品，旨在解決相關(guān)技術(shù)中視頻壓縮效率較低的技術(shù)問題。

2、為實(shí)現(xiàn)上述目的，本申請?zhí)岢鲆环N多視點(diǎn)視頻的壓縮方法，包括：

3、獲取待壓縮多視點(diǎn)視頻數(shù)據(jù)，并提取所述待壓縮多視點(diǎn)視頻數(shù)據(jù)中的目標(biāo)圖片組；

4、提取所述目標(biāo)圖片組中包含的初始關(guān)鍵視圖和各初始序列視圖，其中，所述初始關(guān)鍵視圖為所述目標(biāo)圖片組內(nèi)第一視點(diǎn)對應(yīng)的第一幀視圖；

5、通過主編碼器對所述初始關(guān)鍵視圖進(jìn)行處理得到重建關(guān)鍵視圖，并基于所述重建關(guān)鍵視圖確定各所述初始序列視圖各自對應(yīng)匹配的殘差信息。

6、在一實(shí)施例中，所述初始序列視圖包含初始時域序列視圖、初始空域序列視圖和初始時空域序列視圖；

7、所述基于所述重建關(guān)鍵視圖確定各所述初始序列視圖各自對應(yīng)匹配的殘差信息的步驟，包括：

8、根據(jù)所述重建關(guān)鍵視圖確定所述初始時域序列視圖匹配的第一殘差信息，其中，所述時域序列視圖為所述第一視點(diǎn)對應(yīng)的除所述第一幀視圖外的其他幀視圖；

9、根據(jù)所述重建關(guān)鍵視圖確定所述初始空域序列視圖匹配的參照空域序列視圖，并根據(jù)所述參照空域序列視圖確定第二殘差信息，其中，所述空域序列視圖為和所述初始關(guān)鍵視圖處于相同時間點(diǎn)的其他視點(diǎn)對應(yīng)的視圖；

10、確定所述初始時空域序列視圖匹配的目標(biāo)編碼器，并通過所述目標(biāo)編碼器對所述初始時空域序列視圖進(jìn)行處理以確定第三殘差信息。

11、在一實(shí)施例中，所述根據(jù)所述重建關(guān)鍵視圖確定所述初始時域序列視圖匹配的第一殘差信息的步驟，包括：

12、通過時域編碼器對所述重建關(guān)鍵視圖和所述初始時域序列視圖進(jìn)行光流預(yù)測處理，以確定所述初始時域序列視圖匹配的第一預(yù)測幀；

13、將所述初始時域序列視圖和所述第一預(yù)測幀進(jìn)行比對，以確定所述初始時域序列視圖匹配的第一殘差信息。

14、在一實(shí)施例中，所述根據(jù)所述參照空域序列視圖確定第二殘差信息的步驟，還包括：

15、確定所述參照空域序列視圖對應(yīng)的參照空域深度視圖；

16、通過空域編碼器對所述參照空域序列視圖和所述參照空域深度視圖進(jìn)行融合預(yù)測處理，以確定所述初始空域序列視圖匹配的第二預(yù)測幀；

17、對所述第二預(yù)測幀進(jìn)行光流預(yù)測補(bǔ)償處理得到第三預(yù)測幀，并將所述初始空域序列視圖和所述第三預(yù)測幀比對，以確定所述初始空域序列視圖匹配的第二殘差信息。

18、在一實(shí)施例中，在所述對所述第二預(yù)測幀進(jìn)行光流預(yù)測補(bǔ)償處理得到第三預(yù)測幀的步驟之后，所述方法還包括：

19、將所述第三預(yù)測幀輸入至所述空域編碼器內(nèi)的濾波網(wǎng)絡(luò)，以通過所述濾波網(wǎng)絡(luò)對所述第三預(yù)測幀進(jìn)行平滑處理得到第四預(yù)測幀；

20、根據(jù)所述第四預(yù)測幀確定所述初始空域序列視圖匹配的第二殘差信息。

21、在一實(shí)施例中，所述確定所述初始時空域序列視圖匹配的目標(biāo)編碼器的步驟，還包括：

22、通過時域編碼器和所述重建關(guān)鍵視圖進(jìn)行光流預(yù)測處理，以確定所述初始時空域序列視圖匹配的第四預(yù)測幀；

23、通過空域編碼器對所述初始時空域序列視圖進(jìn)行混合預(yù)測處理，以確定所述初始時空域序列視圖匹配的第五預(yù)測幀；

24、根據(jù)所述第四預(yù)測幀和所述第五預(yù)測幀確定最小失真預(yù)測幀；

25、在確定所述最小失真預(yù)測幀為所述第四預(yù)測幀的情況下，將所述時域編碼器確定為所述初始時空域序列視圖匹配的目標(biāo)編碼器；

26、在確定所述最小失真預(yù)測幀為所述第五預(yù)測幀的情況下，將所述空域編碼器確定為所述目標(biāo)編碼器。

27、在一實(shí)施例中，在所述基于所述重建關(guān)鍵視圖確定各所述初始序列視圖各自對應(yīng)匹配的殘差信息的步驟之后，所述方法還包括：

28、接收各所述殘差信息；

29、根據(jù)各所述殘差信息還原得到各所述初始序列視圖各自匹配的重建序列視圖；

30、基于所述待壓縮多視點(diǎn)視頻數(shù)據(jù)對應(yīng)的時空結(jié)構(gòu)，對各所述重建序列視圖進(jìn)行整合以還原得到所述待壓縮多視點(diǎn)視頻數(shù)據(jù)。

31、此外，為實(shí)現(xiàn)上述目的，本申請還提出一種電子設(shè)備，所述設(shè)備包括：主編碼器、空域編碼器、時域編碼器、存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計算機(jī)程序，所述計算機(jī)程序配置為實(shí)現(xiàn)如上文所述的多視點(diǎn)視頻的壓縮方法的步驟。

32、此外，為實(shí)現(xiàn)上述目的，本申請還提出一種存儲介質(zhì)，所述存儲介質(zhì)為計算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如上文所述的多視點(diǎn)視頻的壓縮方法的步驟。

33、此外，為實(shí)現(xiàn)上述目的，本申請還提供一種計算機(jī)程序產(chǎn)品，所述計算機(jī)程序產(chǎn)品包括計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如上文所述的多視點(diǎn)視頻的壓縮方法的步驟。

34、本申請實(shí)施例提供的多視點(diǎn)視頻的壓縮方法，通過獲取待壓縮多視點(diǎn)視頻數(shù)據(jù)，并提取所述待壓縮多視點(diǎn)視頻數(shù)據(jù)中的目標(biāo)圖片組；提取所述目標(biāo)圖片組中包含的初始關(guān)鍵視圖和各初始序列視圖，其中，所述初始關(guān)鍵視圖為所述目標(biāo)圖片組內(nèi)第一視點(diǎn)對應(yīng)的第一幀視圖；通過主編碼器對所述初始關(guān)鍵視圖進(jìn)行處理得到重建關(guān)鍵視圖，并基于所述重建關(guān)鍵視圖確定各所述初始序列視圖各自對應(yīng)匹配的殘差信息。

35、如此，本申請解決相關(guān)技術(shù)中視頻壓縮效率較低的技術(shù)問題，即，本申請通過將多視點(diǎn)視頻數(shù)據(jù)拆分成多個目標(biāo)圖片組，從而提取目標(biāo)圖片組內(nèi)包含的初始關(guān)鍵視圖，和除了初始關(guān)鍵視圖之外的其他初始序列視圖，進(jìn)而對初始關(guān)鍵視圖進(jìn)行處理得到作為參照基準(zhǔn)的重建關(guān)鍵視圖，并以重建關(guān)鍵視圖為基準(zhǔn)，提取各初始序列視圖各自對應(yīng)的殘差信息，使得電子設(shè)備能夠在多視點(diǎn)視頻數(shù)據(jù)中提取數(shù)據(jù)量較小的殘差信息，從而令電子設(shè)備僅需要對數(shù)據(jù)量較小的殘差信息進(jìn)行存儲、傳輸，即可完成對多視點(diǎn)視頻數(shù)據(jù)的存儲、傳輸操作，達(dá)到了提升視頻壓縮效率的技術(shù)效果。

技術(shù)特征：

1.一種多視點(diǎn)視頻的壓縮方法，其特征在于，所述多視點(diǎn)視頻的壓縮方法包括：

2.如權(quán)利要求1所述的多視點(diǎn)視頻的壓縮方法，其特征在于，所述初始序列視圖包含初始時域序列視圖、初始空域序列視圖和初始時空域序列視圖；

3.如權(quán)利要求2所述的多視點(diǎn)視頻的壓縮方法，其特征在于，所述根據(jù)所述重建關(guān)鍵視圖確定所述初始時域序列視圖匹配的第一殘差信息的步驟，包括：

4.如權(quán)利要求2所述的多視點(diǎn)視頻的壓縮方法，其特征在于，所述根據(jù)所述參照空域序列視圖確定第二殘差信息的步驟，還包括：

5.如權(quán)利要求4所述多視點(diǎn)視頻的壓縮方法，其特征在于，在所述對所述第二預(yù)測幀進(jìn)行光流預(yù)測補(bǔ)償處理得到第三預(yù)測幀的步驟之后，所述方法還包括：

6.如權(quán)利要求2所述的多視點(diǎn)視頻的壓縮方法，其特征在于，所述確定所述初始時空域序列視圖匹配的目標(biāo)編碼器的步驟，還包括：

7.如權(quán)利要求1所述的多視點(diǎn)視頻的壓縮方法，其特征在于，在所述基于所述重建關(guān)鍵視圖確定各所述初始序列視圖各自對應(yīng)匹配的殘差信息的步驟之后，所述方法還包括：

8.一種電子設(shè)備，其特征在于，所述設(shè)備包括：主編碼器、空域編碼器、時域編碼器、存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計算機(jī)程序，所述計算機(jī)程序配置為實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的多視點(diǎn)視頻的壓縮方法的步驟。

9.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)為計算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的多視點(diǎn)視頻的壓縮方法的步驟。

10.一種計算機(jī)程序產(chǎn)品，其特征在于，所述計算機(jī)程序產(chǎn)品包括計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的多視點(diǎn)視頻的壓縮方法的步驟。

技術(shù)總結(jié)
本申請公開了一種多視點(diǎn)視頻的壓縮方法、電子設(shè)備、存儲介質(zhì)及產(chǎn)品，涉及多視點(diǎn)視頻技術(shù)領(lǐng)域，本申請多視點(diǎn)視頻的壓縮方法包括：獲取待壓縮多視點(diǎn)視頻數(shù)據(jù)，并提取待壓縮多視點(diǎn)視頻數(shù)據(jù)中的目標(biāo)圖片組；提取目標(biāo)圖片組中包含的初始關(guān)鍵視圖和各初始序列視圖，其中，初始關(guān)鍵視圖為目標(biāo)圖片組內(nèi)第一視點(diǎn)對應(yīng)的第一幀視圖；通過主編碼器對初始關(guān)鍵視圖進(jìn)行處理得到重建關(guān)鍵視圖，并基于重建關(guān)鍵視圖確定各初始序列視圖各自對應(yīng)匹配的殘差信息。采用本申請達(dá)到了提升視頻壓縮效率的技術(shù)效果。

技術(shù)研發(fā)人員：王榮剛,楊春暉,高文
受保護(hù)的技術(shù)使用者：北京大學(xué)深圳研究生院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15