本公開涉及多層視頻編碼方法和多層視頻解碼方法。

背景技術(shù)：

隨著開發(fā)和供應(yīng)用于播放和存儲(chǔ)高分辨率或高質(zhì)量視頻內(nèi)容的硬件，針對(duì)用于將高分辨率或高質(zhì)量視頻內(nèi)容高效編碼或解碼的視頻編解碼器的需求逐漸增長。根據(jù)傳統(tǒng)的視頻編解碼器，基于具有預(yù)定尺寸的宏塊來根據(jù)有限編碼方法對(duì)視頻進(jìn)行編碼。

經(jīng)由頻率轉(zhuǎn)換將空間域的圖像數(shù)據(jù)轉(zhuǎn)換成頻域的系數(shù)。根據(jù)視頻編解碼器，將圖像分割成具有預(yù)定尺寸的塊，在每個(gè)塊上執(zhí)行離散余弦變換(DCT)，并且以塊為單位對(duì)頻率系數(shù)進(jìn)行編碼，從而快速計(jì)算頻率轉(zhuǎn)換。與空間域的圖像數(shù)據(jù)相比，頻域的系數(shù)容易壓縮。具體而言，由于根據(jù)視頻編解碼器的幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)的預(yù)測(cè)誤差來表達(dá)空間域的圖像像素值，因此，當(dāng)在預(yù)測(cè)誤差上執(zhí)行頻率轉(zhuǎn)換時(shí)，可將大量的數(shù)據(jù)轉(zhuǎn)換成0。根據(jù)視頻編解碼器，可通過用小尺寸的數(shù)據(jù)替換連續(xù)重復(fù)生成的數(shù)據(jù)來減少數(shù)據(jù)量。

多層視頻編解碼器對(duì)第一層視頻和至少一個(gè)第二層視頻進(jìn)行編碼和解碼。通過去除第一層視頻和第二層視頻的時(shí)間/空間冗余和層冗余，可減少第一層視頻和第二層視頻的數(shù)據(jù)量。

技術(shù)實(shí)現(xiàn)要素：

技術(shù)問題

本公開提供使用層的類型信息的高效多層視頻編碼和解碼方法。

技術(shù)方案

根據(jù)本公開的一方面，提供多層視頻解碼方法，該方法包括：獲取當(dāng)前塊的視差(disparity)矢量；以及在當(dāng)前塊的尺寸大于預(yù)定塊尺寸時(shí)，基于由視差矢量表示的深度塊的區(qū)域分割形狀來將當(dāng)前塊分割成多個(gè)區(qū)域。

預(yù)定塊尺寸可以是4×4、8×8、16×16、32×32和64×64中的一種。

有益效果

根據(jù)本公開，可通過使用層的類型信息對(duì)多層視頻進(jìn)行高效編碼和解碼。

附圖說明

圖1A是根據(jù)實(shí)施方式的多層視頻編碼設(shè)備的框圖。

圖1B是根據(jù)實(shí)施方式的多層視頻編碼方法的流程圖。

圖1C是根據(jù)另一實(shí)施方式的多層視頻編碼方法的流程圖。

圖1D是根據(jù)另一實(shí)施方式的多層視頻編碼方法的流程圖。

圖2A是根據(jù)實(shí)施方式的多層視頻解碼設(shè)備的框圖。

圖2B是根據(jù)實(shí)施方式的多層視頻解碼方法的流程圖。

圖2C是根據(jù)另一實(shí)施方式的多層視頻解碼方法的流程圖。

圖2D是根據(jù)另一實(shí)施方式的多層視頻解碼方法的流程圖。

圖3A是根據(jù)實(shí)施方式的層間預(yù)測(cè)結(jié)構(gòu)的示意圖。

圖3B示出根據(jù)實(shí)施方式的多層視頻。

圖4A是用于描述根據(jù)實(shí)施方式的當(dāng)前塊的視差矢量的示意圖。

圖4B示出根據(jù)實(shí)施方式的通過使用當(dāng)前塊的空間上相鄰的候選塊來獲取視差矢量的示例。

圖4C示出根據(jù)實(shí)施方式的通過使用當(dāng)前塊的時(shí)間上相鄰的候選塊來獲取視差矢量的示例。

圖4D示出根據(jù)實(shí)施方式的通過使用深度圖片來獲取當(dāng)前塊的視差矢量的示例。

圖5示出根據(jù)實(shí)施方式的通過使用與當(dāng)前塊對(duì)應(yīng)的深度塊來分割當(dāng)前塊的示例。

圖6是根據(jù)實(shí)施方式的通過考慮當(dāng)前塊的尺寸來確定是否執(zhí)行基于深度的塊分區(qū)(DBBP)功能的方法的流程圖。

圖7A示出根據(jù)實(shí)施方式的用于通過考慮當(dāng)前塊的尺寸來確定是否執(zhí)行DBBP的句構(gòu)的示例。

圖7B示出根據(jù)另一實(shí)施方式的用于通過考慮當(dāng)前塊的尺寸來確定是否執(zhí)行DBBP的句構(gòu)的示例。

圖8A示出根據(jù)實(shí)施方式的執(zhí)行殘余預(yù)測(cè)的示例。

圖8B示出根據(jù)另一實(shí)施方式的執(zhí)行殘余預(yù)測(cè)的示例。

圖9是根據(jù)實(shí)施方式的通過考慮當(dāng)前塊的尺寸來確定是否執(zhí)行殘余預(yù)測(cè)的方法的流程圖。

圖10是根據(jù)實(shí)施方式的基于根據(jù)樹形結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備的框圖。

圖11是根據(jù)實(shí)施方式的基于根據(jù)樹形結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備的框圖。

圖12是用于描述根據(jù)實(shí)施方式的編碼單元的概念的示意圖。

圖13是根據(jù)實(shí)施方式的基于編碼單元的圖像編碼器的框圖。

圖14是根據(jù)實(shí)施方式的基于編碼單元的圖像解碼器的框圖。

圖15是示出根據(jù)實(shí)施方式的編碼單元和分區(qū)的示意圖。

圖16是用于描述根據(jù)實(shí)施方式的編碼單元與變換單元之間的關(guān)系的示意圖。

圖17示出根據(jù)實(shí)施方式的多項(xiàng)編碼信息。

圖18是根據(jù)實(shí)施方式的根據(jù)深度的較深編碼單元的示意圖。

圖19、圖20和圖21是用于描述根據(jù)實(shí)施方式的編碼單元、預(yù)測(cè)單元與變換單元之間的關(guān)系的示意圖。

圖22是用于描述根據(jù)表1的編碼模式信息的編碼單元、預(yù)測(cè)單元與變換單元之間的關(guān)系的示意圖。

圖23是根據(jù)實(shí)施方式的存儲(chǔ)有程序的盤片的物理結(jié)構(gòu)的示意圖。

圖24是用于通過使用盤片來記錄和讀取程序的盤片驅(qū)動(dòng)器的示意圖。

圖25是用于提供內(nèi)容分發(fā)服務(wù)的內(nèi)容供應(yīng)系統(tǒng)的整體結(jié)構(gòu)的示意圖。

圖26和圖27示出根據(jù)實(shí)施方式的應(yīng)用本公開的視頻編碼方法和視頻解碼方法的移動(dòng)電話的外部結(jié)構(gòu)和內(nèi)部結(jié)構(gòu)。

圖28示出根據(jù)實(shí)施方式的采用通信系統(tǒng)的數(shù)字廣播系統(tǒng)。

圖29是示出根據(jù)實(shí)施方式的使用視頻編碼設(shè)備和視頻解碼設(shè)備的云計(jì)算系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)的示意圖。

實(shí)施本發(fā)明的最佳方式

根據(jù)本公開的第一方面，提供多層視頻解碼方法，其包括：獲取當(dāng)前塊的視差矢量；以及在當(dāng)前塊的尺寸大于預(yù)定塊尺寸時(shí)，基于由視差矢量表示的深度塊的區(qū)域分割形狀來將當(dāng)前塊分割成多個(gè)區(qū)域。

預(yù)定塊尺寸可以是4×4、8×8、16×16、32×32和64×64中的一個(gè)。

將當(dāng)前塊分割成多個(gè)區(qū)域可包括根據(jù)深度塊被分割成多個(gè)子塊所依據(jù)的形狀來將當(dāng)前塊分割成當(dāng)前塊的子塊。

根據(jù)本公開的第二方面，提供多層視頻解碼方法，其包括：確定當(dāng)前塊的一個(gè)或多個(gè)相鄰候選塊；獲取所確定的一個(gè)或多個(gè)相鄰候選塊之中的至少一個(gè)塊的視差矢量；將所獲取的視差矢量確定為當(dāng)前塊的視差矢量；通過使用所確定的視差矢量來確定與當(dāng)前塊對(duì)應(yīng)的深度塊；以及基于深度塊的區(qū)域分割形狀來將當(dāng)前塊分割成多個(gè)區(qū)域。

根據(jù)本公開的第三方面，提供多層視頻解碼方法，其包括：獲取當(dāng)前塊的視差矢量；獲取由當(dāng)前塊的視差矢量表示的參考?jí)K的殘余分量；以及在當(dāng)前塊的尺寸大于預(yù)定尺寸時(shí)，通過使用所獲取的參考?jí)K的殘余分量來預(yù)測(cè)當(dāng)前塊的殘余分量。

預(yù)定尺寸可以是4×4、8×8、16×16、32×32和64×64中的一個(gè)。

根據(jù)本公開的第四方面，提供多層視頻編碼方法，其包括：獲取當(dāng)前塊的視差矢量；以及在當(dāng)前塊的尺寸大于預(yù)定塊尺寸時(shí)，基于由視差矢量表示的深度塊的區(qū)域分割形狀來將當(dāng)前塊分割成多個(gè)區(qū)域。

預(yù)定塊尺寸可以是4×4、8×8、16×16、32×32和64×64中的一個(gè)。

將當(dāng)前塊分割成多個(gè)區(qū)域可包括根據(jù)深度塊被分割成多個(gè)子塊所依據(jù)的形狀來將當(dāng)前塊分割成當(dāng)前塊的子塊。

根據(jù)本公開的第五方面，提供多層視頻編碼方法，其包括：確定當(dāng)前塊的相鄰候選塊；獲取所確定的相鄰候選塊的視差矢量；將獲取的視差矢量確定為當(dāng)前塊的視差矢量；通過使用所確定的視差矢量來確定與當(dāng)前塊對(duì)應(yīng)的深度塊；以及基于深度塊的區(qū)域分割形狀來將當(dāng)前塊分割成多個(gè)區(qū)域。

根據(jù)本公開的第六方面，提供多層視頻編碼方法，其包括：獲取當(dāng)前塊的視差矢量；獲取由當(dāng)前塊的視差矢量表示的參考?jí)K的殘余分量；以及在當(dāng)前塊的尺寸大于預(yù)定尺寸時(shí)，通過使用所獲取的參考?jí)K的殘余分量來預(yù)測(cè)當(dāng)前塊的殘余分量。

預(yù)定尺寸可以是4×4、8×8、16×16、32×32和64×64中的一個(gè)。

根據(jù)本公開的第七方面，提供多層視頻解碼設(shè)備，其包括：解碼器，所述解碼器被配置成獲取當(dāng)前塊的視差矢量，以及在當(dāng)前塊的尺寸大于預(yù)定塊尺寸時(shí)，基于由視差矢量表示的深度塊的區(qū)域分割形狀來將當(dāng)前塊分割成多個(gè)區(qū)域。

預(yù)定塊尺寸可以是4×4、8×8、16×16、32×32和64×64中的一個(gè)。

解碼器可還被配置成在解碼器將當(dāng)前塊分成多個(gè)區(qū)域時(shí)，根據(jù)深度塊被分割成多個(gè)子塊所依據(jù)的形狀來將當(dāng)前塊分割成當(dāng)前塊的子塊。

根據(jù)本公開的第八方面，提供多層視頻編碼設(shè)備，其包括：編碼器，所述編碼器被配置成獲取當(dāng)前塊的視差矢量，以及在當(dāng)前塊的尺寸大于預(yù)定塊尺寸時(shí)，基于由視差矢量表示的深度塊的區(qū)域分割形狀來將當(dāng)前塊分割成多個(gè)區(qū)域。

預(yù)定塊尺寸可以是4×4、8×8、16×16、32×32和64×64中的一個(gè)。

編碼器可還被配置成在編碼器將當(dāng)前塊分成多個(gè)區(qū)域時(shí)，根據(jù)深度塊被分割成多個(gè)子塊所依據(jù)的形狀來將當(dāng)前塊分割成當(dāng)前塊的子塊。

具體實(shí)施方式

在下文中，將參考圖1A到圖9提供根據(jù)實(shí)施方式的使用深度塊的多層視頻編碼技術(shù)和多層視頻解碼技術(shù)。

此外，將參考圖10到圖22描述基于適用于多層視頻編碼和解碼技術(shù)的、具有樹形結(jié)構(gòu)的編碼單元的視頻編碼技術(shù)和視頻解碼技術(shù)。

此外，將參考圖23到圖29描述適合使用視頻編碼方法和視頻解碼方法的實(shí)施方式。

在下文中，“圖像”可指的是靜態(tài)圖像或視頻的移動(dòng)圖像，或者視頻本身。

在下文中，“樣本”指的是分配到圖像的采樣位置并且將進(jìn)行處理的數(shù)據(jù)。例如，空間域的圖像中的像素可以是樣本。

在下文中，“當(dāng)前塊”可指的是將被編碼或解碼的圖像的塊。

在下文中，“相鄰候選塊”指的是與當(dāng)前塊相鄰的至少一個(gè)編碼塊或解碼塊。例如，相鄰候選塊可位于當(dāng)前塊的頂部、右上角、左側(cè)或者左上角。此外，相鄰候選塊可包括空間上相鄰的塊或時(shí)間上相鄰的塊。例如，時(shí)間上相鄰的候選塊可包括與當(dāng)前塊共位的參考圖片的塊，或者共位的塊的相鄰塊。

在下文中，“層圖像”指的是與特定視點(diǎn)或相同類型對(duì)應(yīng)的圖像。在多視點(diǎn)視頻中，一層圖像指的是以特定視點(diǎn)輸入的紋理圖像或深度圖像。例如，在三維(3D)視頻中，左視點(diǎn)紋理圖像、右視點(diǎn)紋理圖像和深度圖像可分別配置層圖像。左視點(diǎn)紋理圖像可配置第一層圖像，右視點(diǎn)紋理圖像可配置第二層圖像，以及深度圖像可配置第三層圖像。

圖1A是根據(jù)實(shí)施方式的多層視頻編碼設(shè)備的框圖。

參考圖1A，多層視頻編碼設(shè)備10可包括編碼器12和比特流生成器14。

根據(jù)實(shí)施方式的多層視頻編碼設(shè)備10可根據(jù)層而將多個(gè)圖像序列分類并且根據(jù)可伸縮視頻編碼方案對(duì)該多個(gè)圖像序列進(jìn)行編碼，而且可輸出包括根據(jù)層進(jìn)行編碼的數(shù)據(jù)的單獨(dú)流。多層視頻編碼設(shè)備10可將第一層圖像序列和第二層圖像序列編碼到不同層。

例如，編碼器12可對(duì)第一層圖像進(jìn)行編碼，并且可輸出包括第一層圖像的編碼數(shù)據(jù)的第一層流。此外，編碼器12可對(duì)第二層圖像進(jìn)行編碼，并且可輸出包括第二層圖像的編碼數(shù)據(jù)的第二層流。

此外，例如，根據(jù)基于空間可伸縮性的可伸縮視頻編碼方案，低分辨率圖像可被編碼為第一層圖像，而高分辨率圖像可被編碼為第二層圖像。第一層圖像的編碼結(jié)果可輸出為第一層流，而第二層圖像的編碼結(jié)果可輸出為第二層流。

根據(jù)實(shí)施方式的多層視頻編碼設(shè)備10可通過多路復(fù)用器將第一層流和第二層流表達(dá)并編碼成一個(gè)比特流。

作為另一示例，多視點(diǎn)視頻可根據(jù)可伸縮視頻編碼方案進(jìn)行編碼。左視點(diǎn)圖像可被編碼為第一層圖像，而右視點(diǎn)圖像可被編碼為第二層圖像?；蛘?，中部視點(diǎn)圖像、左視點(diǎn)圖像和右視點(diǎn)圖像可均被編碼，其中中部視點(diǎn)圖像被編碼為第一層圖像、左視點(diǎn)圖像被編碼為第二層圖像，并且右視點(diǎn)圖像被編碼為第三層圖像。或者，中部視點(diǎn)紋理圖像、中部視點(diǎn)深度圖像、左視點(diǎn)紋理圖像、左視點(diǎn)深度圖像、右視點(diǎn)紋理圖像和右視點(diǎn)深度圖像可分別被編碼為第一層圖像、第二層圖像、第三層圖像、第四層圖像、第五層圖像和第六層圖像。

作為另一示例，中部視點(diǎn)紋理圖像、中部視點(diǎn)深度圖像、左視點(diǎn)深度圖像、左視點(diǎn)紋理圖像、右視點(diǎn)深度圖像和右視點(diǎn)紋理圖像可分別被編碼為第一層圖像、第二層圖像、第三層圖像、第四層圖像、第五層圖像和第六層圖像。

作為另一示例，可根據(jù)基于時(shí)間可伸縮性的時(shí)間分層預(yù)測(cè)來執(zhí)行可伸縮視頻編碼方法。可輸出第一層流，所述第一層流包括通過對(duì)基本幀率圖像進(jìn)行編碼而生成的編碼信息。時(shí)間層次可根據(jù)幀率進(jìn)行分類，并且每個(gè)時(shí)間層次可根據(jù)層進(jìn)行編碼。通過參考基本幀率圖像來對(duì)較高幀率圖像進(jìn)一步編碼，可輸出第二層流，所述第二層流包括高幀率的編碼信息。

此外，可在第一層和多個(gè)延伸層(第二層、第三層、……、第K層)上執(zhí)行可伸縮視頻編碼。當(dāng)存在至少三個(gè)延伸層時(shí)，第一層圖像和第K層圖像可進(jìn)行編碼。因此，第一層圖像的編碼結(jié)果可輸出為第一層流，并且第一層圖像、第二層圖像、……、第K層圖像的編碼結(jié)果可分別輸出為第一層流、第二層流、……、第K層流。

根據(jù)實(shí)施方式的多層視頻編碼設(shè)備10可執(zhí)行幀間預(yù)測(cè)，其中參考單個(gè)層的圖像來預(yù)測(cè)當(dāng)前圖像。通過執(zhí)行幀間預(yù)測(cè)，可推導(dǎo)出當(dāng)前圖像與參考圖像之間的運(yùn)動(dòng)矢量，并且可生成殘余分量，所述殘余分量是當(dāng)前圖像與通過參考參考圖像而生成的預(yù)測(cè)圖像之間的視差分量。

此外，當(dāng)根據(jù)實(shí)施方式的多層視頻編碼設(shè)備10允許至少三個(gè)層，即，第一層到第三層時(shí)，可根據(jù)多層預(yù)測(cè)結(jié)構(gòu)來執(zhí)行第一層圖像與第三層圖像之間的層間預(yù)測(cè)，以及第二層圖像與第三層圖像之間的層間預(yù)測(cè)。

在層間預(yù)測(cè)中，在當(dāng)前圖像的層的視點(diǎn)不同于參考圖像的層的視點(diǎn)時(shí)，可推導(dǎo)出當(dāng)前圖像與不同于當(dāng)前圖像的層的參考圖像之間的視差矢量，并且可生成殘余分量，所述殘余分量是當(dāng)前圖像與通過使用不同層的參考圖像而生成的預(yù)測(cè)圖像之間的視差分量。此處，視差矢量(disparity vector)可被稱為視覺差矢量(parallax vector)。

下文將參考圖3A描述層間預(yù)測(cè)結(jié)構(gòu)。

根據(jù)實(shí)施方式的多層視頻編碼設(shè)備10可根據(jù)層來執(zhí)行根據(jù)視頻的每個(gè)圖像的塊的編碼。塊可具有正方形形狀、矩形形狀或任意幾何形狀，并且不限于具有預(yù)定尺寸的數(shù)據(jù)單元。在根據(jù)樹形結(jié)構(gòu)的編碼單元之中，所述塊可以是最大編碼單元、編碼單元、預(yù)測(cè)單元或變換單元。包括樹形結(jié)構(gòu)的編碼單元的最大編碼單元可有不同的稱謂，諸如，編碼樹單元、編碼塊樹、塊樹、根塊樹、編碼樹、編碼根或樹干。下文將參考圖8到圖20描述基于根據(jù)樹形結(jié)構(gòu)的編碼單元的視頻編碼和解碼方案。

幀間預(yù)測(cè)和層間預(yù)測(cè)可基于數(shù)據(jù)單元(諸如，編碼單元、預(yù)測(cè)單元或變換單元)執(zhí)行。

根據(jù)實(shí)施方式的編碼器12可通過在第一層圖像上執(zhí)行包括幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)的源編碼操作來生成符號(hào)數(shù)據(jù)。符號(hào)數(shù)據(jù)可包括每個(gè)編碼參數(shù)的值和殘余的樣本值。

例如，編碼器12可通過在第一層圖像的數(shù)據(jù)單元的樣本上執(zhí)行幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)、變換和量化來生成符號(hào)數(shù)據(jù)，并且可通過在符號(hào)數(shù)據(jù)上執(zhí)行熵編碼來生成第一層流。

編碼器12可基于樹形結(jié)構(gòu)的編碼單元對(duì)第二層圖像進(jìn)行編碼。編碼器12可通過在第二層圖像的編碼單元的樣本上執(zhí)行幀間/幀內(nèi)預(yù)測(cè)、變換和量化來生成符號(hào)數(shù)據(jù)，并且可通過在符號(hào)數(shù)據(jù)上執(zhí)行熵編碼來生成第二層流。

根據(jù)實(shí)施方式的編碼器12可執(zhí)行層間預(yù)測(cè)，其中通過第一層圖像的預(yù)測(cè)信息來預(yù)測(cè)第二層圖像。為了通過層間預(yù)測(cè)結(jié)構(gòu)對(duì)來自第二層圖像序列的第二層原始圖像進(jìn)行編碼，編碼器12可通過使用重建的第一層圖像的運(yùn)動(dòng)信息來確定第二層當(dāng)前圖像的運(yùn)動(dòng)信息，并且可通過基于確定的運(yùn)動(dòng)信息生成第二層預(yù)測(cè)圖像來對(duì)第二層原始圖像與第二層預(yù)測(cè)圖像之間的預(yù)測(cè)誤差進(jìn)行編碼。

編碼器12可通過根據(jù)編碼單元或預(yù)測(cè)單元在第二層圖像上執(zhí)行層間預(yù)測(cè)來確定將由第二層圖像的塊參考的第一層圖像的塊。例如，可確定位于與第二層圖像中的當(dāng)前塊的位置對(duì)應(yīng)的位置的第一層圖像的重建塊。編碼器12可將與第二層塊對(duì)應(yīng)的重建第一層塊用作第二層預(yù)測(cè)塊。此處，編碼器12可通過使用與第二層塊共位的重建的第一層塊來確定第二層預(yù)測(cè)塊。

編碼器12可使用根據(jù)層間預(yù)測(cè)結(jié)構(gòu)通過使用重建的第一層塊而確定的第二層預(yù)測(cè)塊作為參考圖像，以對(duì)第二層原始?jí)K進(jìn)行層間預(yù)測(cè)。編碼器12可通過使用重建的第一層塊在第二層預(yù)測(cè)塊的樣本值與第二層原始?jí)K的樣本值之間的誤差(即，根據(jù)層間預(yù)測(cè)的殘余分量)上執(zhí)行變換和量化，并且可在量化的變換系數(shù)上執(zhí)行熵編碼。

編碼器12可確定當(dāng)前塊的視差矢量。

當(dāng)前塊的視差矢量可根據(jù)相鄰候選塊或深度值進(jìn)行確定。視差矢量可包括相鄰塊視差矢量(NBDV)和面向深度的NBDV(DoNBDV)。就這點(diǎn)而言，NBDV可指的是通過使用從當(dāng)前塊的相鄰候選塊中獲取的視差矢量來預(yù)測(cè)的當(dāng)前塊的視差矢量。

此外，當(dāng)不同層圖像中存在解碼的深度圖像時(shí)，可通過使用NBDV來確定與當(dāng)前塊對(duì)應(yīng)的深度塊。就這點(diǎn)而言，將相機(jī)參數(shù)(例如，考慮到相機(jī)位置的縮放值或偏移值)應(yīng)用于所確定的深度塊中包括的深度值之中的代表性深度值，從而可將代表性深度值轉(zhuǎn)換成視差矢量。在這種情況下，DoNBDV可指的是通過使用轉(zhuǎn)換的視差矢量來預(yù)測(cè)的當(dāng)前塊的視差矢量。

編碼器12可確定當(dāng)前塊的視差矢量等于NBDV，即，當(dāng)前塊的相鄰候選塊的視差矢量。

或者，編碼器12可通過使用相鄰候選塊的視差矢量來推導(dǎo)出當(dāng)前塊的視差矢量。例如，編碼器12可將相機(jī)參數(shù)應(yīng)用于NBDV(即，相鄰候選塊的視差矢量)，因而可推導(dǎo)出DoNBDV(即，當(dāng)前塊的視差矢量)。

當(dāng)編碼器12確定當(dāng)前塊的視差矢量時(shí)，編碼器12可通過使用所確定的視差矢量來確定與當(dāng)前塊對(duì)應(yīng)的深度塊，并且可執(zhí)行基于深度的塊分區(qū)(DBBP)功能，以基于所確定的深度塊將當(dāng)前塊分區(qū)。根據(jù)DBBP，可基于與當(dāng)前塊對(duì)應(yīng)的深度塊將當(dāng)前塊分區(qū)成背景區(qū)段和前景區(qū)段，并且可在每個(gè)區(qū)段上執(zhí)行預(yù)測(cè)。

編碼器12可獲取當(dāng)前塊的尺寸，并且在當(dāng)前塊的尺寸大于預(yù)定尺寸時(shí)，編碼器12可應(yīng)用DBBP功能。換言之，在當(dāng)前塊的尺寸等于或小于預(yù)定尺寸時(shí)，編碼器12可不執(zhí)行DBBP功能。例如，在當(dāng)前塊的尺寸大于8×8時(shí)，編碼器12可執(zhí)行DBBP功能。

或者，在當(dāng)前塊的尺寸大于4×4、16×16、32×32和64×64中的一個(gè)時(shí)，編碼器12可執(zhí)行DBBP功能。

為了執(zhí)行DBBP功能，編碼器12可將由當(dāng)前塊的視差矢量表示的深度塊確定為與當(dāng)前塊對(duì)應(yīng)的深度塊。

編碼器12可將所確定的深度塊分割成多個(gè)區(qū)域。例如，編碼器12可將深度塊分割成第一區(qū)域和第二區(qū)域，其中第一區(qū)域是樣本值均大于閾值的樣本的區(qū)域，并且第二區(qū)域是樣本值均等于或小于閾值的樣本的區(qū)域。

編碼器12可基于與當(dāng)前塊對(duì)應(yīng)的深度塊的分割形狀來將當(dāng)前塊分割成多個(gè)區(qū)域。例如，如果與當(dāng)前塊對(duì)應(yīng)的深度塊被分割成第一區(qū)域和第二區(qū)域，那么編碼器12可通過將第一區(qū)域和第二區(qū)域與當(dāng)前塊進(jìn)行匹配來將當(dāng)前塊分割成兩個(gè)區(qū)域。

編碼器12可通過使用多個(gè)分割區(qū)域而在當(dāng)前塊上執(zhí)行運(yùn)動(dòng)預(yù)測(cè)(或視差預(yù)測(cè))。

例如，編碼器12可確定當(dāng)前塊的所分割的兩個(gè)區(qū)域中的每個(gè)區(qū)域的運(yùn)動(dòng)矢量(或視差矢量)。編碼器12可確定分別表示兩個(gè)區(qū)域的參考?jí)K的運(yùn)動(dòng)矢量(或視差矢量)，并且可通過使用參考?jí)K而在當(dāng)前塊的兩個(gè)區(qū)域中的每個(gè)區(qū)域上執(zhí)行運(yùn)動(dòng)補(bǔ)償(或視差補(bǔ)償)。

此外，在當(dāng)前塊的視差矢量被確定后，編碼器12可通過使用所確定的視差矢量來在當(dāng)前塊上執(zhí)行殘余預(yù)測(cè)。

殘余預(yù)測(cè)是根據(jù)參考?jí)K的殘余分量來預(yù)測(cè)當(dāng)前塊的殘余分量的技術(shù)，所述參考?jí)K與當(dāng)前塊對(duì)應(yīng)并且存在于以不同于當(dāng)前塊的視點(diǎn)或時(shí)間輸入的圖像中。

例如，當(dāng)編碼器12執(zhí)行時(shí)間方向預(yù)測(cè)時(shí)，編碼器12可通過使用由與當(dāng)前塊的不同視點(diǎn)對(duì)應(yīng)的參考?jí)K表示的塊的殘余分量來在當(dāng)前塊上執(zhí)行殘余預(yù)測(cè)?；蛘?，當(dāng)編碼器12執(zhí)行視點(diǎn)間預(yù)測(cè)時(shí)，編碼器12可通過使用由與當(dāng)前塊的相同視點(diǎn)相同的視點(diǎn)對(duì)應(yīng)的參考?jí)K表示的塊的殘余分量來預(yù)測(cè)當(dāng)前塊的殘余分量。

就這點(diǎn)而言，在當(dāng)前塊的尺寸大于塊的預(yù)定尺寸時(shí)，編碼器12可執(zhí)行殘余預(yù)測(cè)。換言之，在當(dāng)前塊的尺寸等于或小于預(yù)定尺寸時(shí)，編碼器12可不執(zhí)行殘余預(yù)測(cè)。例如，在當(dāng)前塊的尺寸大于8×8時(shí)，編碼器12可執(zhí)行殘余預(yù)測(cè)。

或者，在當(dāng)前塊的尺寸大于4×4、16×16、32×32和64×64中的一個(gè)時(shí)，編碼器12可執(zhí)行殘余預(yù)測(cè)。

比特流生成器14可生成比特流，所述比特流包括作為執(zhí)行運(yùn)動(dòng)預(yù)測(cè)和殘余預(yù)測(cè)中的至少一個(gè)預(yù)測(cè)的結(jié)果而生成的多項(xiàng)數(shù)據(jù)。

在下文中，現(xiàn)在將參考圖1A到圖1D詳細(xì)描述多層視頻編碼設(shè)備10的操作。

圖1B是根據(jù)實(shí)施方式的多層視頻編碼方法的流程圖。

在操作S11中，多層視頻編碼設(shè)備10可以確定可從當(dāng)前塊的相鄰塊中引用的相鄰候選塊。可從一個(gè)或多個(gè)相鄰候選塊中確定一個(gè)將用于預(yù)測(cè)的相鄰候選塊。

在操作S12中，多層視頻編碼設(shè)備10可獲取所確定的相鄰塊的視差矢量。

多層視頻編碼設(shè)備10可使用當(dāng)前塊的空間相鄰候選塊或時(shí)間相鄰候選塊作為當(dāng)前塊的相鄰候選塊。視差矢量可從將用于預(yù)測(cè)的相鄰候選塊中獲取，該相鄰候選塊來自多個(gè)相鄰候選塊。下文將在圖4A到圖4D中參照多層視頻解碼設(shè)備20詳細(xì)描述獲取視差矢量的方法，該方法由多層視頻編碼設(shè)備10執(zhí)行。

在操作S13中，多層視頻編碼設(shè)備10可將所獲取的相鄰候選塊的視差矢量確定為當(dāng)前塊的視差矢量。換言之，多層視頻編碼設(shè)備10可將當(dāng)前塊的視差矢量確定為等于NBDV，即，相鄰候選塊的視差矢量。

在操作S14中，多層視頻編碼設(shè)備10可通過使用所確定的視差矢量來確定與當(dāng)前塊對(duì)應(yīng)的深度塊。例如，多層視頻編碼設(shè)備10可將由視差矢量表示的深度圖片的參考?jí)K確定為與當(dāng)前塊對(duì)應(yīng)的深度塊。

在操作S14中，可根據(jù)所確定的深度塊的區(qū)域分割形狀來將當(dāng)前塊分割成多個(gè)區(qū)域。圖1C是根據(jù)另一實(shí)施方式的多層視頻編碼方法的流程圖。

在操作S21中，多層視頻編碼設(shè)備10可獲取當(dāng)前塊的視差矢量。

在操作S22中，在當(dāng)前塊的尺寸大于預(yù)定尺寸時(shí)，多層視頻編碼設(shè)備10可基于由視差矢量表示的深度塊來將當(dāng)前塊分割成多個(gè)區(qū)域。例如，在當(dāng)前塊的尺寸大于預(yù)定尺寸時(shí)，多層視頻編碼設(shè)備10可應(yīng)用DBBP功能。換言之，在當(dāng)前塊的尺寸等于或小于預(yù)定尺寸時(shí)，多層視頻編碼設(shè)備10可不執(zhí)行DBBP功能。就這點(diǎn)而言，塊的預(yù)定尺寸可以是8×8。

或者，塊的預(yù)定尺寸可以是4×4、16×16、32×32和64×64中的一個(gè)。

下文將在圖5到圖7B中參照多層視頻解碼設(shè)備20詳細(xì)描述基于由視差矢量表示的深度塊來將當(dāng)前塊分割成多個(gè)區(qū)域的方法，該方法由多層視頻編碼設(shè)備10執(zhí)行。

圖1D是根據(jù)另一實(shí)施方式的多層視頻編碼方法的流程圖。

在操作S31中，多層視頻編碼設(shè)備10可獲取當(dāng)前塊的視差矢量。

在操作S32中，多層視頻編碼設(shè)備10可獲取由當(dāng)前塊的視差矢量表示的參考?jí)K的殘余分量。在操作S33中，在當(dāng)前塊的尺寸大于預(yù)定尺寸時(shí)，多層視頻編碼設(shè)備10可通過使用參考?jí)K的殘余分量來預(yù)測(cè)當(dāng)前塊的殘余分量。換言之，在當(dāng)前塊的尺寸等于或小于預(yù)定尺寸時(shí)，多層視頻編碼設(shè)備10可不執(zhí)行殘余預(yù)測(cè)。例如，在當(dāng)前塊的尺寸大于8×8時(shí)，多層視頻編碼設(shè)備10可執(zhí)行殘余預(yù)測(cè)。

或者，在當(dāng)前塊的尺寸大于4×4、16×16、32×32和64×64中的一個(gè)時(shí)，多層視頻編碼設(shè)備10可執(zhí)行殘余預(yù)測(cè)。

下文將在圖8A到圖9中參照多層視頻解碼設(shè)備20詳細(xì)描述通過使用參考?jí)K的殘余分量來預(yù)測(cè)當(dāng)前塊的殘余分量的方法，該方法由多層視頻編碼設(shè)備10執(zhí)行。

多層視頻編碼設(shè)備10可通過使用參考?jí)K的殘余分量來預(yù)測(cè)當(dāng)前塊的殘余分量，并且可對(duì)當(dāng)前塊的殘余分量與參考?jí)K的殘余分量之間的差異進(jìn)行編碼。

圖2A是根據(jù)實(shí)施方式的多層視頻解碼設(shè)備的框圖。

參考圖2A，多層視頻解碼設(shè)備20可包括獲取器22和解碼器24。

根據(jù)實(shí)施方式的多層視頻解碼設(shè)備20可根據(jù)層來從比特流中解析出符號(hào)。

基于空間可伸縮性的多層視頻解碼設(shè)備20可接收流，其中具有不同分辨率的圖像序列被編碼在不同層中。第一層流可經(jīng)過解碼以重建具有低分辨率的圖像序列，并且第二層流可經(jīng)過解碼以重建具有高分辨率的圖像序列。

作為另一示例，多視點(diǎn)視頻可根據(jù)可伸縮視頻編碼方案進(jìn)行解碼。當(dāng)將立體視覺視頻流解碼到多個(gè)層時(shí)，可對(duì)第一層流進(jìn)行解碼以重建左視點(diǎn)圖像。除了第一層流之外還有第二層流可進(jìn)一步進(jìn)行解碼，以重建右視點(diǎn)圖像。

或者，當(dāng)將多視點(diǎn)視頻流解碼到多個(gè)層時(shí)，可對(duì)第一層流進(jìn)行解碼以重建中部視點(diǎn)圖像。除了第一層流之外還有第二層流可進(jìn)一步進(jìn)行解碼，以重建左視點(diǎn)圖像。除了第一層流之外還有第三層流可進(jìn)一步進(jìn)行解碼，以重建右視點(diǎn)圖像。

作為另一示例，可執(zhí)行基于時(shí)間可伸縮性的可伸縮視頻編碼方法。第一層流可經(jīng)過解碼以重建基本幀率圖像。第二層流可進(jìn)一步進(jìn)行解碼以重建高幀率圖像。

此外，當(dāng)存在至少三個(gè)第二層時(shí)，可由第一層流重建第一層圖像，并且當(dāng)通過參考重建的第一層圖像對(duì)第二層流進(jìn)一步解碼時(shí)，可進(jìn)一步重建第二層圖像。當(dāng)通過參考重建的第二層圖像對(duì)第K層流進(jìn)一步解碼時(shí)，可進(jìn)一步重建第K層圖像。

多層視頻解碼設(shè)備20可從第一層流和第二層流中獲取第一層圖像和第二層圖像的編碼數(shù)據(jù)，此外，可進(jìn)一步獲取通過幀間預(yù)測(cè)生成的運(yùn)動(dòng)矢量和通過層間預(yù)測(cè)生成的預(yù)測(cè)信息。

例如，多層視頻解碼設(shè)備20可對(duì)每層的幀間預(yù)測(cè)數(shù)據(jù)進(jìn)行解碼，并且可對(duì)多個(gè)層之間的層間預(yù)測(cè)數(shù)據(jù)進(jìn)行解碼。重建可基于編碼單元或預(yù)測(cè)單元通過運(yùn)動(dòng)補(bǔ)償和層間視頻解碼來執(zhí)行。

圖像可通過相對(duì)于每個(gè)層流參考經(jīng)由相同層的幀間預(yù)測(cè)所預(yù)測(cè)出的重建圖像針對(duì)當(dāng)前圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償來重建。運(yùn)動(dòng)補(bǔ)償是這樣一種操作，其中通過合成使用當(dāng)前圖像的運(yùn)動(dòng)矢量和當(dāng)前圖像的殘余分量而確定的參考圖像來重新配置當(dāng)前圖像的重建圖像。

此外，多層視頻解碼設(shè)備20可通過參考第一層圖像的預(yù)測(cè)信息來執(zhí)行層間視頻解碼，從而對(duì)通過層間預(yù)測(cè)預(yù)測(cè)到的第二層圖像進(jìn)行解碼。層間視頻解碼是這樣一種操作，其中通過使用不同層的參考?jí)K的預(yù)測(cè)信息來重建當(dāng)前圖像的運(yùn)動(dòng)信息，從而確定當(dāng)前圖像的運(yùn)動(dòng)信息。

根據(jù)實(shí)施方式的多層視頻解碼設(shè)備20可執(zhí)行層間視頻解碼，從而重建通過使用第二層圖像而預(yù)測(cè)出的第三層圖像。下文將參考圖3A描述層間預(yù)測(cè)結(jié)構(gòu)。

然而，根據(jù)實(shí)施方式的解碼器24可在不參考第一層圖像序列的情況下對(duì)第二層流進(jìn)行解碼。因此，不應(yīng)被限制性地解釋為：解碼器24執(zhí)行層間預(yù)測(cè)以對(duì)第二層圖像序列進(jìn)行解碼。

多層視頻解碼設(shè)備20根據(jù)視頻的每個(gè)圖像的塊來執(zhí)行解碼。在根據(jù)樹形結(jié)構(gòu)的編碼單元之中，塊可以是最大編碼單元、編碼單元、預(yù)測(cè)單元或變換單元。

獲取器22可接收比特流，并且可從所接收的比特流中獲取與編碼的圖像有關(guān)的信息。

解碼器24可通過使用第一層圖像的經(jīng)解析編碼的符號(hào)來對(duì)第一層圖像進(jìn)行解碼。當(dāng)多層視頻解碼設(shè)備20接收到基于樹形結(jié)構(gòu)的編碼單元進(jìn)行編碼的流時(shí)，解碼器24可根據(jù)第一層流的最大編碼單元基于樹形結(jié)構(gòu)的編碼單元來執(zhí)行解碼。

解碼器24可通過對(duì)每個(gè)最大編碼單元執(zhí)行熵解碼來獲取編碼信息和編碼數(shù)據(jù)。解碼器24可通過在從流中獲取的編碼數(shù)據(jù)上執(zhí)行反量化和逆變換來重建殘余分量。根據(jù)另一實(shí)施方式的解碼器24可直接接收經(jīng)量化的變換系數(shù)的比特流?？赏ㄟ^在經(jīng)量化的變換系數(shù)上執(zhí)行反量化和逆變換來重建圖像的殘余分量。

解碼器24可通過相同層圖像之間的運(yùn)動(dòng)補(bǔ)償來確定預(yù)測(cè)圖像，并且可通過將預(yù)測(cè)圖像和殘余分量相結(jié)合來重建第一層圖像。

根據(jù)層間預(yù)測(cè)結(jié)構(gòu)，解碼器24可通過使用重建的第一層圖像的樣本來生成第二層預(yù)測(cè)圖像。解碼器24可通過對(duì)第二層流進(jìn)行解碼來獲取根據(jù)層間預(yù)測(cè)的預(yù)測(cè)誤差。解碼器24可通過將第二層預(yù)測(cè)圖像和預(yù)測(cè)誤差相結(jié)合來生成重建的第二層圖像。

解碼器24可通過使用由解碼器24解碼的重建第一層圖像來確定第二層預(yù)測(cè)圖像。根據(jù)層間預(yù)測(cè)結(jié)構(gòu)，解碼器24可確定將由第二層圖像的編碼單元或預(yù)測(cè)單元參考的第一層圖像的塊。例如，與第二層圖像的當(dāng)前塊共位的第一層圖像的重建塊。解碼器24可通過使用與第二層塊對(duì)應(yīng)的重建第一層塊來確定第二層預(yù)測(cè)塊。解碼器24可通過使用與第二層塊共位的重建第一層塊來確定第二層預(yù)測(cè)塊。

解碼器24可使用根據(jù)層間預(yù)測(cè)結(jié)構(gòu)通過使用重建第一層塊而確定的第二層預(yù)測(cè)塊作為第二層原始?jí)K的層間預(yù)測(cè)的參考圖像。在這種情況下，解碼器24可通過合成根據(jù)層間預(yù)測(cè)使用重建的第一層圖像和殘余分量而確定的第二層預(yù)測(cè)塊的樣本值來重建第二層塊。

上述解碼器24可確定當(dāng)前塊的視差矢量。

解碼器24可通過使用NBDV(即，當(dāng)前塊的相鄰候選塊的視差矢量)來確定當(dāng)前塊的視差矢量。

或者，解碼器24可通過使用相鄰候選塊的視差矢量來推導(dǎo)出當(dāng)前塊的視差矢量。例如，解碼器24可將相機(jī)參數(shù)應(yīng)用于NBDV(即，相鄰候選塊的視差矢量)，因而可推導(dǎo)出DoNBDV(即，當(dāng)前塊的視差矢量)。

在當(dāng)前塊的視差矢量被確定后，編碼器24可通過使用所確定的視差矢量來執(zhí)行DBBP功能，以分割當(dāng)前塊。

就這點(diǎn)而言，在當(dāng)前塊的尺寸大于預(yù)定尺寸時(shí)，解碼器24可應(yīng)用DBBP功能。換言之，在當(dāng)前塊的尺寸等于或小于預(yù)定尺寸時(shí)，解碼器24可不執(zhí)行DBBP功能。例如，在當(dāng)前塊的尺寸大于8×8時(shí)，解碼器24可執(zhí)行DBBP功能。

或者，在當(dāng)前塊的尺寸大于4×4、16×16、32×32和64×64中的一個(gè)時(shí)，解碼器24可執(zhí)行DBBP功能。

根據(jù)DBBP功能，解碼器24可將由當(dāng)前塊的視差矢量表示的深度塊確定為與當(dāng)前塊對(duì)應(yīng)的深度塊。

解碼器24可將所確定的深度塊分割成多個(gè)區(qū)域，并且可基于深度塊的分割形狀將當(dāng)前塊分割成多個(gè)區(qū)域。

解碼器24可通過使用多個(gè)分割區(qū)域而在當(dāng)前塊上執(zhí)行運(yùn)動(dòng)預(yù)測(cè)。例如，解碼器24可確定當(dāng)前塊的所分割的兩個(gè)區(qū)域中的每個(gè)區(qū)域的運(yùn)動(dòng)矢量(或視差矢量)。解碼器24可通過使用所確定的運(yùn)動(dòng)矢量來確定兩個(gè)區(qū)域的參考?jí)K，并且可通過使用所確定的參考?jí)K而在當(dāng)前塊的兩個(gè)區(qū)域中的每個(gè)區(qū)域上執(zhí)行運(yùn)動(dòng)補(bǔ)償(或視差補(bǔ)償)。

此外，在當(dāng)前塊的視差矢量被確定后，解碼器24可通過使用所確定的視差矢量來在當(dāng)前塊上執(zhí)行殘余預(yù)測(cè)。

根據(jù)殘余預(yù)測(cè)，可從參考?jí)K的殘余分量中預(yù)測(cè)當(dāng)前塊的殘余分量，所述參考?jí)K與當(dāng)前塊對(duì)應(yīng)并且存在于以不同于當(dāng)前塊的視點(diǎn)或時(shí)間輸入的圖像中。

例如，當(dāng)解碼器24執(zhí)行時(shí)間方向預(yù)測(cè)時(shí)，解碼器24可通過使用由與當(dāng)前塊的相同視點(diǎn)對(duì)應(yīng)的參考?jí)K表示的塊的殘余分量來在當(dāng)前塊上執(zhí)行殘余預(yù)測(cè)。例如，當(dāng)解碼器24執(zhí)行視點(diǎn)間預(yù)測(cè)時(shí)，解碼器24可通過使用由與當(dāng)前塊的不同視點(diǎn)對(duì)應(yīng)的參考?jí)K表示的塊的殘余分量來在當(dāng)前塊上執(zhí)行殘余預(yù)測(cè)。

就這點(diǎn)而言，在當(dāng)前塊的尺寸大于預(yù)定尺寸時(shí)，解碼器24可執(zhí)行殘余預(yù)測(cè)。換言之，在當(dāng)前塊的尺寸等于或小于預(yù)定尺寸時(shí)，解碼器24可不執(zhí)行殘余預(yù)測(cè)。例如，在當(dāng)前塊的尺寸大于8×8時(shí)，解碼器24可執(zhí)行殘余預(yù)測(cè)。

或者，在當(dāng)前塊的尺寸大于4×4、16×16、32×32和64×64中的一個(gè)時(shí)，解碼器24可執(zhí)行殘余預(yù)測(cè)。

解碼器24可通過執(zhí)行運(yùn)動(dòng)預(yù)測(cè)和殘余預(yù)測(cè)中的至少一個(gè)預(yù)測(cè)來對(duì)當(dāng)前塊進(jìn)行解碼。

在下文中，現(xiàn)在下文將參考圖2B到圖2D詳細(xì)描述多層視頻解碼設(shè)備20的操作。

圖2B是根據(jù)實(shí)施方式的多層視頻解碼方法的流程圖。

在操作S41中，多層視頻解碼設(shè)備20可以確定可從當(dāng)前塊的相鄰塊中引用的相鄰候選塊?？蓮囊粋€(gè)或多個(gè)相鄰候選塊中確定一個(gè)將用于預(yù)測(cè)的相鄰候選塊。

在操作S42中，多層視頻解碼設(shè)備20可獲取所確定的相鄰塊的視差矢量。

多層視頻解碼設(shè)備20可使用當(dāng)前塊的空間相鄰候選塊或時(shí)間相鄰候選塊作為當(dāng)前塊的相鄰候選塊。視差矢量可從將用于預(yù)測(cè)的相鄰候選塊中獲取，該相鄰候選塊來自多個(gè)相鄰候選塊。下文將參考圖4A到圖4D詳細(xì)描述獲取視差矢量的方法，該方法由多層視頻解碼設(shè)備20執(zhí)行。

在操作S43中，多層視頻解碼設(shè)備20可將所獲取的相鄰候選塊的視差矢量確定為當(dāng)前塊的視差矢量。換言之，多層視頻解碼設(shè)備20可將當(dāng)前塊的視差矢量確定為等于NBDV，即，相鄰候選塊的視差矢量。

在操作S44中，多層視頻解碼設(shè)備20可通過使用所確定的視差矢量來確定與當(dāng)前塊對(duì)應(yīng)的深度塊。例如，多層視頻解碼設(shè)備20可將由視差矢量表示的深度圖片的參考?jí)K確定為與當(dāng)前塊對(duì)應(yīng)的深度塊。

圖2C是根據(jù)另一實(shí)施方式的多層視頻解碼方法的流程圖。

在操作S51中，多層視頻解碼設(shè)備20可獲取當(dāng)前塊的視差矢量。

在操作S52中，在當(dāng)前塊的尺寸大于預(yù)定尺寸時(shí)，多層視頻解碼設(shè)備20可基于由視差矢量表示的深度塊來將當(dāng)前塊分割成多個(gè)區(qū)域。例如，在當(dāng)前塊的尺寸大于預(yù)定尺寸時(shí)，多層視頻解碼設(shè)備20可應(yīng)用DBBP功能。換言之，在當(dāng)前塊的尺寸等于或小于預(yù)定尺寸時(shí)，多層視頻解碼設(shè)備20可不執(zhí)行DBBP功能。就這點(diǎn)而言，塊的預(yù)定尺寸可以是8×8。

或者，塊的預(yù)定尺寸可以是4×4、16×16、32×32和64×64中的一個(gè)。

下文將參考圖5到圖7B詳細(xì)描述基于由視差矢量表示的深度塊來將當(dāng)前塊分割成多個(gè)區(qū)域的方法，該方法由多層視頻解碼設(shè)備20執(zhí)行。

圖2D是根據(jù)另一實(shí)施方式的多層視頻解碼方法的流程圖。

在操作S61中，多層視頻解碼設(shè)備20可獲取當(dāng)前塊的視差矢量。

在操作S62中，多層視頻解碼設(shè)備20可獲取與當(dāng)前塊對(duì)應(yīng)的參考?jí)K的殘余分量。在操作S63中，在當(dāng)前塊的尺寸大于預(yù)定尺寸時(shí)，多層視頻解碼設(shè)備20可通過使用參考?jí)K的殘余分量來預(yù)測(cè)當(dāng)前塊的殘余分量。換言之，在當(dāng)前塊的尺寸等于或小于預(yù)定尺寸時(shí)，多層視頻解碼設(shè)備20可不執(zhí)行殘余預(yù)測(cè)。例如，在當(dāng)前塊的尺寸大于8×8時(shí)，多層視頻解碼設(shè)備20可執(zhí)行殘余預(yù)測(cè)。

或者，在當(dāng)前塊的尺寸大于4×4、16×16、32×32和64×64中的一個(gè)時(shí)，多層視頻解碼設(shè)備20可執(zhí)行殘余預(yù)測(cè)。

下文將參考圖8A到圖9詳細(xì)描述通過使用參考?jí)K的殘余分量來預(yù)測(cè)當(dāng)前塊的殘余分量的方法，該方法由多層視頻解碼設(shè)備20執(zhí)行。

圖3A是根據(jù)實(shí)施方式的層間預(yù)測(cè)結(jié)構(gòu)的示意圖。

根據(jù)實(shí)施方式的多層視頻編碼設(shè)備10可根據(jù)圖3A的多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的播放順序50對(duì)基本視點(diǎn)圖像、左視點(diǎn)圖像和右視點(diǎn)圖像進(jìn)行預(yù)測(cè)編碼。

根據(jù)實(shí)施方式，基本視點(diǎn)圖像、左視點(diǎn)圖像和右視點(diǎn)圖像可分別與不同層的圖像對(duì)應(yīng)。例如，基本視點(diǎn)可與第一層對(duì)應(yīng)，左視點(diǎn)可與第二層對(duì)應(yīng)，并且右視點(diǎn)可與第三層對(duì)應(yīng)。

根據(jù)依據(jù)相關(guān)技術(shù)的多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的播放順序50，與相同視點(diǎn)對(duì)應(yīng)的圖像布置在水平方向上。因此，由“左”表示的左視點(diǎn)圖像在水平方向上布置成行，由“中部”表示的基本視點(diǎn)圖像在水平方向上布置成行，并且由“右”表示的右視點(diǎn)圖像在水平方向上布置成行。與左/右視點(diǎn)圖像相比，基本視點(diǎn)圖像可以是中部視點(diǎn)圖像。

此外，具有相同圖片序列號(hào)(POC)順序的圖像布置在豎直方向上。圖像的POC順序表示形成視頻的圖像的播放順序。多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的播放順序50中表示的“POC X”表明對(duì)應(yīng)列中的圖像的相對(duì)播放順序，其中在X的值較低時(shí)，播放順序在前面，而當(dāng)X的值較高時(shí)，播放順序在后面。

因此，根據(jù)依據(jù)相關(guān)技術(shù)的多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的播放順序50，由“左”表示的左視點(diǎn)圖像根據(jù)POC順序(播放順序)布置在水平方向上，由“中部”表示的基本視點(diǎn)圖像根據(jù)POC順序(播放順序)布置在水平方向上，并且由“右”表示的右視點(diǎn)圖像根據(jù)POC順序(播放順序)布置在水平方向上。此外，與基本視點(diǎn)圖像位于相同列上的左視點(diǎn)圖像和右視點(diǎn)圖像具有不同視點(diǎn)，但具有相同POC順序(播放順序)。

四個(gè)連續(xù)圖像根據(jù)視點(diǎn)形成一個(gè)圖片組(GOP)。每個(gè)GOP包括連續(xù)的錨圖片(anchor picture)之間的圖像，和一個(gè)錨圖片(關(guān)鍵圖片)。

錨圖片是隨機(jī)訪問點(diǎn)，并且當(dāng)播放視頻的同時(shí)從根據(jù)播放順序(即，POC順序)布置的圖像中任意選擇播放位置時(shí)，播放根據(jù)POC順序最靠近播放位置的錨圖片?；A(chǔ)層圖像包括基礎(chǔ)層錨圖片51、52、53、54和55，左視點(diǎn)圖像包括左視點(diǎn)錨圖片131、132、133、134和135，并且右視點(diǎn)圖像包括右視點(diǎn)錨圖片231、232、233、234和235。

多視點(diǎn)圖像可根據(jù)GOP順序進(jìn)行播放和預(yù)測(cè)(重建)。首先，根據(jù)多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的播放順序50，可播放GOP 0中包括的圖像，隨后根據(jù)視點(diǎn)，可播放GOP 1中包括的圖像。換言之，可按GOP 0、GOP 1、GOP 2和GOP 3的順序播放每個(gè)GOP中包括的圖像。此外，根據(jù)多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的編碼順序，可預(yù)測(cè)GOP 0中包括的圖像，隨后根據(jù)視點(diǎn)，可預(yù)測(cè)GOP 1中包括的圖像。換言之，可按GOP 0、GOP 1、GOP 2和GOP 3的順序來預(yù)測(cè)每個(gè)GOP中包括的圖像。

根據(jù)多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的播放順序50，在圖像上執(zhí)行視點(diǎn)間預(yù)測(cè)(層間預(yù)測(cè))和幀間預(yù)測(cè)的全部。在多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)中，箭頭開始的圖像是參考圖像，并且箭頭終止的圖像是使用參考圖像預(yù)測(cè)的圖像。

基本視點(diǎn)圖像的預(yù)測(cè)結(jié)果可進(jìn)行編碼，隨后以基本視點(diǎn)圖像流的形式輸出，并且附加視點(diǎn)圖像的預(yù)測(cè)結(jié)果可進(jìn)行編碼，隨后以層比特流的形式輸出。此外，左視點(diǎn)圖像的預(yù)測(cè)編碼結(jié)果可輸出為第一層比特流，并且右視點(diǎn)圖像的預(yù)測(cè)編碼結(jié)果可輸出為第二層比特流。

只在基本視點(diǎn)圖像上執(zhí)行幀間預(yù)測(cè)。換言之，I圖片類型的基本層錨圖片51、52、53、54和55沒有參考其他圖像，而B圖片類型和b圖片類型的其余圖像是通過參考其他基本視點(diǎn)圖像來預(yù)測(cè)的。B圖片類型的圖像是通過參考根據(jù)POC順序在B圖片類型的圖像前面的I圖片類型的錨圖片和下一I圖片類型的錨圖片來預(yù)測(cè)的。b圖片類型的圖像是通過參考根據(jù)POC順序在b圖片類型的圖像前面的I類型的錨圖片和B圖片類型的下一圖像來預(yù)測(cè)的，或者通過參考根據(jù)POC順序在b圖片類型的圖像前面的B圖片類型的圖像和下一I圖片類型的錨圖片來預(yù)測(cè)的。

在左視點(diǎn)圖像和右視點(diǎn)圖像中的每個(gè)圖像上執(zhí)行參考不同視點(diǎn)圖像的視點(diǎn)間預(yù)測(cè)(層間預(yù)測(cè))和參考相同視點(diǎn)圖像的幀間預(yù)測(cè)。

通過分別參考具有相同POC順序的基本視點(diǎn)錨圖片51、52、53、54和55，可在左視點(diǎn)錨圖片131、132、133、134和135上執(zhí)行視點(diǎn)間預(yù)測(cè)(層間預(yù)測(cè))。通過分別參考具有相同POC順序的基本視點(diǎn)錨圖片51、52、53、54和55或者左視點(diǎn)錨圖片131、132、133、134和135，可在右視點(diǎn)錨圖片231、232、233、234和235上執(zhí)行視點(diǎn)間預(yù)測(cè)。此外，通過參考具有相同POC的其他視點(diǎn)圖像，可在除了左視點(diǎn)圖像131、132、133、134和135及右視點(diǎn)錨圖片231、232、233、234和235外的其余圖像上執(zhí)行視點(diǎn)間預(yù)測(cè)(層間預(yù)測(cè))。

左視點(diǎn)圖像和右視點(diǎn)圖像之中的、除了錨圖片131、132、133、134、135、231、232、233、234和235外的其余圖像通過參考相同視點(diǎn)圖像來預(yù)測(cè)。

然而，可不通過參考在相同視點(diǎn)的附加視點(diǎn)圖像之中具有前一播放順序的錨圖片來預(yù)測(cè)左視點(diǎn)圖像和右視點(diǎn)圖像中的每個(gè)圖像。換言之，為了在當(dāng)前左視點(diǎn)圖像上執(zhí)行幀間預(yù)測(cè)，可參考左視點(diǎn)圖像中的除了按播放順序在當(dāng)前左視點(diǎn)圖像前面的左視點(diǎn)錨圖片之外的圖像。同樣地，為了在當(dāng)前右視點(diǎn)圖像上執(zhí)行幀間預(yù)測(cè)，可參考右視點(diǎn)圖像中的除了按播放順序在當(dāng)前右視點(diǎn)圖像前面的右視點(diǎn)錨圖片之外的圖像。

此外，為了在當(dāng)前左視點(diǎn)圖像上執(zhí)行幀間預(yù)測(cè)，可通過參考屬于當(dāng)前GOP但在當(dāng)前左視點(diǎn)圖像之前重建的左視點(diǎn)圖像來執(zhí)行預(yù)測(cè)，而不是參考屬于當(dāng)前左視點(diǎn)圖像的當(dāng)前GOP之前的GOP的左視點(diǎn)圖像。這同樣適用于右視點(diǎn)圖像。

根據(jù)實(shí)施方式的多層視頻解碼設(shè)備20可根據(jù)圖3A的多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)的播放順序50來重建基本視點(diǎn)圖像、左視點(diǎn)圖像和右視點(diǎn)圖像。

左視點(diǎn)圖像可經(jīng)由參考基本視點(diǎn)圖像的視點(diǎn)間視差補(bǔ)償和參考左視點(diǎn)圖像的幀間運(yùn)動(dòng)補(bǔ)償來重建。右視點(diǎn)圖像可經(jīng)由參考基本視點(diǎn)圖像和左視點(diǎn)圖像的視點(diǎn)間視差補(bǔ)償和參考右視點(diǎn)圖像的幀間運(yùn)動(dòng)補(bǔ)償來重建?？墒紫柔槍?duì)左視點(diǎn)圖像和右視點(diǎn)圖像的視差補(bǔ)償和運(yùn)動(dòng)補(bǔ)償來重建參考圖像。

針對(duì)左視點(diǎn)圖像的幀間運(yùn)動(dòng)補(bǔ)償，可通過幀間運(yùn)動(dòng)補(bǔ)償來重建左視點(diǎn)圖像，該幀間運(yùn)動(dòng)補(bǔ)償參考所重建的左視點(diǎn)參考圖像。針對(duì)右視點(diǎn)圖像的幀間運(yùn)動(dòng)補(bǔ)償，可通過幀間運(yùn)動(dòng)補(bǔ)償來重建右視點(diǎn)圖像，該幀間運(yùn)動(dòng)補(bǔ)償參考所重建的右視點(diǎn)參考圖像。

此外，針對(duì)當(dāng)前左視點(diǎn)圖像的幀間運(yùn)動(dòng)補(bǔ)償，可只參考屬于當(dāng)前左視點(diǎn)圖像的當(dāng)前GOP但在當(dāng)前左視點(diǎn)圖像之前重建的左視點(diǎn)圖像，而不參考屬于當(dāng)前GOP之前的GOP的左視點(diǎn)圖像。這同樣適用于右視點(diǎn)圖像。

此外，根據(jù)實(shí)施方式的多層視頻解碼設(shè)備20不僅可執(zhí)行視差補(bǔ)償(或?qū)娱g預(yù)測(cè)補(bǔ)償)以對(duì)多視點(diǎn)圖像進(jìn)行編碼或解碼，而且可通過視點(diǎn)間運(yùn)動(dòng)矢量預(yù)測(cè)來執(zhí)行圖像之間的運(yùn)動(dòng)補(bǔ)償(或?qū)娱g運(yùn)動(dòng)預(yù)測(cè))。

圖3B示出根據(jù)實(shí)施方式的多層視頻。

為了在各種網(wǎng)絡(luò)環(huán)境和各種終端中提供最佳服務(wù)，多層視頻編碼設(shè)備10可通過對(duì)具有各種空間分辨率、各種質(zhì)量、各種幀率和不同視點(diǎn)的多層圖像序列進(jìn)行編碼來輸出可伸縮比特流。換言之，多層視頻編碼設(shè)備10可通過根據(jù)各種可伸縮性類型對(duì)輸入圖像進(jìn)行編碼來生成并輸出可伸縮視頻比特流?？缮炜s性包括時(shí)間、空間、質(zhì)量和多視點(diǎn)可伸縮性，以及它們的組合。此類可伸縮性可根據(jù)類型進(jìn)行分類。此外，可伸縮性可被分類為每個(gè)類型的維度標(biāo)識(shí)符。

例如，該可伸縮性具有與時(shí)間、空間、質(zhì)量和多視點(diǎn)可伸縮性相同的可伸縮性類型。此外，可根據(jù)類型將可伸縮性分類成可伸縮性維度標(biāo)識(shí)符。例如，當(dāng)可伸縮性不同時(shí)，可伸縮性可具有不同的維度標(biāo)識(shí)符。例如，可相對(duì)于可伸縮性類型將高可伸縮性維度分配到高維可伸縮性。

當(dāng)比特流可分成有效的子流時(shí)，該比特流是可伸縮的?？臻g上可伸縮的比特流包括各種分辨率的子流。為了將同一可伸縮性類型的不同可伸縮性區(qū)分開，使用可伸縮性維度。可伸縮性維度可由可伸縮性維度標(biāo)識(shí)符表示。

例如，空間上可伸縮的比特流可被分成具有不同分辨率的子流，諸如，四分之一視頻圖形陣列(QVGA)、視頻圖形陣列(VGA)、寬幅視頻圖形陣列(WVGA)等。例如，通過使用維度標(biāo)識(shí)符可區(qū)別具有不同分辨率的層。例如，QVGA子流可將0作為空間可伸縮性維度標(biāo)識(shí)符值，VGA子流可將1作為空間可伸縮性維度標(biāo)識(shí)符值，并且WVGA子流可將2作為空間可伸縮性維度標(biāo)識(shí)符值。

時(shí)間上可伸縮的比特流包括具有各種幀率的子流。例如，時(shí)間上可伸縮的比特流可被分成具有下列幀率的子流：7.5Hz的幀率、15Hz的幀率、30Hz的幀率和60Hz的幀率。質(zhì)量可伸縮比特流可根據(jù)粗粒度可伸縮性(CGS)方法、中粒度可伸縮性(MGS)方法和細(xì)粒度可伸縮性(FGS)方法而被分成具有不同質(zhì)量的子流。時(shí)間可伸縮性也可依據(jù)不同幀率根據(jù)不同維度進(jìn)行區(qū)別，并且質(zhì)量可伸縮性也可依據(jù)不同方法根據(jù)不同維度進(jìn)行區(qū)別。

多視點(diǎn)可伸縮比特流包括一個(gè)比特流中的不同視點(diǎn)的子流。例如，在立體視覺圖像中，比特流包括左側(cè)圖像和右側(cè)圖像。此外，可伸縮比特流可包括與深度圖的多視點(diǎn)圖像和編碼數(shù)據(jù)有關(guān)的子流。視角可伸縮性也可依據(jù)不同視點(diǎn)根據(jù)不同維度進(jìn)行區(qū)別。

不同的可伸縮擴(kuò)展類型可彼此結(jié)合。換言之，可伸縮視頻比特流可包括包括圖像的多層的圖像序列被編碼的子流，其中時(shí)間、空間、質(zhì)量和多視點(diǎn)可伸縮性中的至少一個(gè)彼此不同。

圖3B示出具有不同可伸縮擴(kuò)展類型的圖像序列3010、3020和3030。第一層的圖像序列3010、第二層的圖像序列3020和第n層(n是整數(shù))的圖像序列3030可以是這樣的圖像序列，其中分辨率、質(zhì)量和視點(diǎn)中的至少一個(gè)彼此不同。此外，第一層的圖像序列3010、第二層的圖像序列3020和第n層的圖像序列3030可以是基礎(chǔ)層的圖像序列，并且其他圖像序列可以是增強(qiáng)層的圖像序列。

例如，第一層的圖像序列3010可包括第一視點(diǎn)圖像，第二層的圖像序列3020可包括第二視點(diǎn)圖像，并且第n層的圖像序列3030可包括第n視點(diǎn)圖像。作為另一示例，第一層的圖像序列3010可以是基礎(chǔ)層的左視點(diǎn)圖像，第二層的圖像序列3020可以是基礎(chǔ)層的右視點(diǎn)圖像，并且第n層的圖像序列3030可以是增強(qiáng)層的右視點(diǎn)圖像。然而，本公開不限于上述實(shí)施方式，并且具有不同可伸縮擴(kuò)展類型的圖像序列3010、3020和3030可以是具有不同圖像屬性的圖像序列。

圖4A是用于描述根據(jù)實(shí)施方式的當(dāng)前塊的視差矢量的示意圖。

參考圖4A，多層視頻解碼設(shè)備20可通過使用視差矢量43來確定與不同視點(diǎn)和當(dāng)前塊41對(duì)應(yīng)的參考?jí)K42。多層視頻解碼設(shè)備20可通過使用所確定的參考?jí)K42來預(yù)測(cè)當(dāng)前塊41。

視差矢量可作為單獨(dú)信息經(jīng)由比特流從多層視頻編碼設(shè)備10傳輸?shù)蕉鄬右曨l解碼設(shè)備20，并且可基于相鄰候選塊或深度值進(jìn)行確定。如上文所述，視差矢量可包括NBDV和DoNBDV。

圖4B示出根據(jù)實(shí)施方式的通過使用當(dāng)前塊的空間上相鄰的候選塊來獲取視差矢量的示例。

參考圖4B，多層視頻解碼設(shè)備20可根據(jù)預(yù)定搜索順序來搜索空間上相鄰的候選塊，從而獲取當(dāng)前塊51的視差矢量。就這點(diǎn)而言，所搜索的相鄰候選塊可以是與當(dāng)前塊51在時(shí)間或空間上相鄰的預(yù)測(cè)單元。

用于獲取視差矢量的空間上相鄰的候選塊的候選可包括位于當(dāng)前塊51的左下方的相鄰候選塊A0 51-1、位于當(dāng)前塊51的左方的相鄰候選塊A1 51-2、位于當(dāng)前塊51的右上方的相鄰候選塊B0 51-3、位于當(dāng)前塊51的頂部的相鄰候選塊B1 51-4以及位于當(dāng)前塊51的左上方的相鄰候選塊B 51-5?？砂聪噜徍蜻x塊A1 51-2、B1 51-4、B0 51-3、A0 51-1和B2 51-5的順序來搜索相鄰候選塊。

可在相鄰候選塊中確定一個(gè)將用于預(yù)測(cè)的相鄰候選塊，并且可通過使用所確定的相鄰候選塊的視差矢量來確定當(dāng)前塊51的視差矢量。

例如，多層視頻解碼設(shè)備20可將視差矢量確定為當(dāng)前塊51的基礎(chǔ)視差矢量DispVec，其中該視差矢量是從相鄰候選塊之中的空間上相鄰的候選塊中獲取的。如果無法從空間上相鄰的候選塊中獲取視差矢量，那么多層視頻解碼設(shè)備20可將當(dāng)前塊的基礎(chǔ)視差矢量設(shè)置為(0，0)矢量。

用于預(yù)測(cè)視差矢量的相鄰候選塊的位置和數(shù)量不限于該實(shí)施方式，并且可改變。

圖4C示出根據(jù)實(shí)施方式的通過使用當(dāng)前塊的時(shí)間上相鄰的候選塊來獲取視差矢量的示例。

參考圖4C，多層視頻解碼設(shè)備20可確定與當(dāng)前塊61共位的塊62和與共位塊62相鄰的另一塊中的至少一個(gè)塊，其中該至少一個(gè)塊將是時(shí)間上相鄰的候選塊。就這點(diǎn)而言，共位塊62可以是共位圖片的共位塊。作為另一示例，共位塊62可以是隨機(jī)訪問圖片的共位塊。例如，位于共位塊62的右下方的塊62-1可被確定為時(shí)間上相鄰的候選塊。當(dāng)從相鄰候選塊之中的時(shí)間上相鄰的候選塊中獲取視差矢量時(shí)，多層視頻解碼設(shè)備20可確定當(dāng)前塊61的基礎(chǔ)視差矢量MvDisp等于所獲取的視差矢量。

通過使用當(dāng)前塊的空間上相鄰的候選塊和時(shí)間上相鄰的候選塊來獲取視差矢量的示例如下文所述。作為另一示例，用于獲取視差矢量的空間上相鄰的候選塊可包括位于當(dāng)前塊51的左方的相鄰候選塊A1 51-2和位于當(dāng)前塊51的頂部的相鄰候選塊B1 51-4，并且時(shí)間上相鄰的候選塊可包括共位圖片的共位塊和隨機(jī)訪問圖片的共位塊。

可按共位圖片的共位塊、隨機(jī)訪問圖片的共位塊、相鄰候選塊A1 51-2和相鄰候選塊B1 51-4的順序搜索相鄰候選塊。

在圖4B和圖4C中，從相鄰候選塊中確定出視差矢量的相鄰候選塊可以是參考?jí)K，以預(yù)測(cè)當(dāng)前塊的視差矢量。圖4D示出根據(jù)實(shí)施方式的通過使用深度圖片來獲取當(dāng)前塊的視差矢量的示例。

多層視頻解碼設(shè)備20可根據(jù)從比特流中獲取的深度細(xì)化信息depth_refinement_flag來確定第一層深度圖片73是否可用。當(dāng)深度細(xì)化信息depth_refinement_flag表明第一層深度圖片73可用時(shí)，多層視頻解碼設(shè)備20可通過使用從相鄰候選塊中獲取的NBDV 75和第一層深度圖片73來推導(dǎo)出當(dāng)前塊72的視差矢量。

更具體地，多層視頻解碼設(shè)備20可確定由從第二層的當(dāng)前塊72的相鄰候選塊中獲取的NBDV 75表示的第一層深度圖像73的參考?jí)K74。接下來，多層視頻解碼設(shè)備20可將相機(jī)參數(shù)應(yīng)用于所確定的參考?jí)K74的角74-1、74-2、74-3和74-4的深度值中的至少一個(gè)深度值，并且可將該深度值轉(zhuǎn)換成DoNBDV 76。多層視頻解碼設(shè)備20可將DoNBDV 76確定為當(dāng)前塊72的視差矢量。

參考圖4A到圖4D描述的方法是參照多層視頻解碼設(shè)備20描述的，并且也可適用于多層視頻編碼設(shè)備10。

為了讓多層視頻解碼設(shè)備20獲取DoNBDV，多層視頻解碼設(shè)備20可從存儲(chǔ)器中取得由NBDV表示的深度圖片的參考?jí)K，并且可另外從存儲(chǔ)器中取得由DoNBDV表示的深度圖片的參考?jí)K，從而在當(dāng)前塊上執(zhí)行預(yù)測(cè)補(bǔ)償。具體而言，由于深度圖片一般位于外部存儲(chǔ)器中，因此，可進(jìn)一步增加存儲(chǔ)器的帶寬復(fù)雜性。

因此，在另一實(shí)施方式中，多層視頻解碼設(shè)備20可將當(dāng)前塊的視差矢量確定為NBDV，即，當(dāng)前塊的相鄰候選塊的視差矢量。換言之，多層視頻解碼設(shè)備20可將與用于解碼的當(dāng)前塊對(duì)應(yīng)的深度塊確定為由NBDV表示的深度塊。因此，可降低存儲(chǔ)器的帶寬復(fù)雜性，并且可提高存儲(chǔ)器的使用效率。

為此，通過使用句構(gòu)MvDisp[xTb][yTb]，可將用于確定當(dāng)前塊的視差矢量的變量mvDisp的值確定為等于NBDV的值(MvDisp[xTb][yTb])?；蛘撸ㄟ^使用句構(gòu)DispVec[xCb][xCb]，可將用于確定當(dāng)前塊的視差矢量的變量dispVec的值確定為等于NBDV的值(DispVec[xCb][xCb])。

在確定了當(dāng)前塊的視差矢量后，可通過使用所確定的視差矢量來確定與當(dāng)前塊對(duì)應(yīng)的深度塊，并且可執(zhí)行DBBP功能，以基于所確定的深度塊來分割當(dāng)前塊。

圖5示出根據(jù)實(shí)施方式的通過使用與當(dāng)前塊對(duì)應(yīng)的深度塊來分割當(dāng)前塊的示例。

多層視頻解碼設(shè)備20可將與當(dāng)前塊81對(duì)應(yīng)的深度塊82分割成多個(gè)區(qū)域，從而分割當(dāng)前塊81，并且可基于深度塊82的多個(gè)分割區(qū)域來將當(dāng)前塊81分割成多個(gè)區(qū)域。

為了將深度塊82分割成多個(gè)區(qū)域，多層視頻解碼設(shè)備20可確定閾值。閾值指的是在深度塊82被分割成多個(gè)區(qū)域時(shí)與分割有關(guān)的參考值。多層視頻解碼設(shè)備20通過使用深度塊82的樣本值來確定閾值。例如，多層視頻解碼設(shè)備20可將閾值確定為深度塊82中包括的樣本值的平均值。更具體地，多層視頻解碼設(shè)備20可將閾值確定為深度塊82的角樣本的樣本值的平均值，該角樣本包括左上角樣本82-1、右上角樣本82-2、左下角樣本82-3和右下角樣本82-4。

接下來，多層視頻解碼設(shè)備20可將深度塊82分割成第一區(qū)域82-1和第二區(qū)域82-2，其中第一區(qū)域82-1是樣本值大于閾值的樣本的區(qū)域，并且第二區(qū)域82-2是樣本值等于或小于閾值的樣本的區(qū)域。多層視頻解碼設(shè)備20可基于深度塊82的分割形狀來將當(dāng)前塊81分割成多個(gè)區(qū)域。例如，在深度塊82被分割成第一區(qū)域82-1和第二區(qū)域82-2時(shí)，多層視頻解碼設(shè)備20可通過將第一區(qū)域82-1和第二區(qū)域82-2與當(dāng)前塊81進(jìn)行匹配來將當(dāng)前塊81分割成多個(gè)區(qū)域。換言之，多層視頻解碼設(shè)備20可通過使用第一區(qū)域82-1和第二區(qū)域82-2來生成分割圖，并且可通過將所生成的分割圖與當(dāng)前塊81進(jìn)行匹配來將當(dāng)前塊81分割成第一區(qū)域82-1和第二區(qū)域82-2。

當(dāng)多層視頻解碼設(shè)備20訪問與當(dāng)前塊對(duì)應(yīng)的參考圖像的區(qū)域時(shí)，多層視頻解碼設(shè)備20在當(dāng)前塊的尺寸減小時(shí)從參考圖像中取得比當(dāng)前塊的尺寸大的區(qū)域，從而可增加存儲(chǔ)器的帶寬。因此，為了降低存儲(chǔ)器的帶寬，如果當(dāng)前塊的尺寸等于或小于預(yù)定尺寸，那么可跳過參考紋理圖像或深度圖像的上述DBBP。

圖6是根據(jù)實(shí)施方式的通過考慮當(dāng)前塊的尺寸來確定是否執(zhí)行DBBP功能的方法的流程圖，該方法由多層視頻解碼設(shè)備20執(zhí)行。

在操作S71中，多層視頻解碼設(shè)備20可確定當(dāng)前塊的尺寸是否大于8×8。換言之，在通過計(jì)算當(dāng)前塊的尺寸CbSize的log2值而將當(dāng)前塊的尺寸表達(dá)為log2CbSize時(shí)，多層視頻解碼設(shè)備20可確定當(dāng)前塊的尺寸的對(duì)數(shù)值是否大于3。

在操作S72中，在當(dāng)前塊的尺寸的對(duì)數(shù)值大于3時(shí)(S71-是)，多層視頻解碼設(shè)備20可執(zhí)行DBBP功能。另一方面，在當(dāng)前塊的尺寸的對(duì)數(shù)值等于或小于3時(shí)(S71-否)，多層視頻解碼設(shè)備20可不執(zhí)行DBBP功能。

圖7A示出根據(jù)實(shí)施方式的用于通過考慮當(dāng)前塊的尺寸來確定是否執(zhí)行DBBP的句構(gòu)的示例，該方法由多層視頻解碼設(shè)備20執(zhí)行。

在圖7A中，用于對(duì)當(dāng)前塊進(jìn)行編碼的句構(gòu)coding unit()可包括用于確定是否在當(dāng)前塊上執(zhí)行DBBP的條件91。

在條件91中，當(dāng)表明是否在包括當(dāng)前塊的層(即，編碼單元(CU))上執(zhí)行DBBP的標(biāo)記depth_based_blk_part_flag的值不為0，當(dāng)前塊的預(yù)測(cè)模式CuPredMode的值不是幀內(nèi)模式MODE_INTRA的值，并且通過對(duì)當(dāng)前塊的尺寸CbSize執(zhí)行l(wèi)og2計(jì)算而獲取的值大于3時(shí)，多層視頻解碼設(shè)備20可從比特流中獲取表明是否在當(dāng)前塊上執(zhí)行DBBP的標(biāo)記dbbp_flag。當(dāng)標(biāo)記dbbp_flag的值為1時(shí)，多層視頻解碼設(shè)備20可在當(dāng)前塊上執(zhí)行DBBP。

然而，當(dāng)標(biāo)記dbbp_flag的值為0時(shí)，多層視頻解碼設(shè)備20可不執(zhí)行DBBP。

在當(dāng)前塊的尺寸大于8×8時(shí)，多層視頻解碼設(shè)備20可解析來自比特流的標(biāo)記dbbp_flag，并且可確定是否執(zhí)行DBBP。然而，在當(dāng)前塊的尺寸等于或小于8×8時(shí)，多層視頻解碼設(shè)備20不解析標(biāo)記dbbp_flag，并且不執(zhí)行DBBP。

圖7B示出根據(jù)另一實(shí)施方式的用于通過考慮當(dāng)前塊的尺寸來確定是否執(zhí)行DBBP的句構(gòu)的示例，該方法由多層視頻解碼設(shè)備20執(zhí)行。

在圖7B中，用于對(duì)當(dāng)前塊進(jìn)行編碼的句構(gòu)cu_extension()可包括用于確定是否在當(dāng)前塊上執(zhí)行DBBP的條件92。

在條件92中，當(dāng)表明是否在包括當(dāng)前塊的層上執(zhí)行DBBP的標(biāo)記DbbpEnabledFlag的值不為0，表明是否存在當(dāng)前塊的視點(diǎn)間參考圖片的標(biāo)記DispAvailFlag的值不為0，當(dāng)前塊的分區(qū)模式是PART_2NxN或PART_Nx2N，并且通過對(duì)當(dāng)前塊的尺寸CbSize執(zhí)行l(wèi)og2計(jì)算而獲取的值大于3時(shí)，多層視頻解碼設(shè)備20可從比特流中獲取表明是否在當(dāng)前塊上執(zhí)行DBBP的標(biāo)記dbbp_flag。換言之，可根據(jù)標(biāo)記dbbp_flag的值來確定是否執(zhí)行DBBP。

然而，在當(dāng)前塊的分區(qū)模式不是PART_2NxN也不是PART_Nx2N時(shí)，沒有獲取標(biāo)記dbbp_flag并且無法執(zhí)行DBBP。

因此，根據(jù)圖7B的實(shí)施方式，可不僅根據(jù)當(dāng)前塊的尺寸，還根據(jù)當(dāng)前塊的分區(qū)模式來確定是否執(zhí)行DBBP。在當(dāng)前塊的尺寸大于8×8并且當(dāng)前塊的分區(qū)模式是PART_2NxN或PART_Nx2N時(shí)，可對(duì)與執(zhí)行DBBP相關(guān)的標(biāo)記dbbp_flag進(jìn)行解析。

參考圖5到圖7B描述的方法是參照多層視頻解碼設(shè)備20描述的，并且也可適用于多層視頻編碼設(shè)備10。

例如，在因當(dāng)前塊的尺寸大于預(yù)定尺寸而可執(zhí)行DBBP功能時(shí)，多層視頻編碼設(shè)備10可設(shè)置表明是否執(zhí)行DBBP功能的標(biāo)記“dbbp_flag”。針對(duì)執(zhí)行DBBP功能的情況，“dbbp_flag”的值可設(shè)置為1，而針對(duì)不執(zhí)行DBBP功能的情況，“dbbp_flag”的值可設(shè)置為0。

多層視頻編碼設(shè)備10可對(duì)與是否執(zhí)行DBBP功能有關(guān)的信息進(jìn)行編碼。例如，多層視頻編碼設(shè)備10可對(duì)“dbbp_flag”進(jìn)行編碼，并且可將它加入比特流中。

在因當(dāng)前塊的尺寸等于或小于預(yù)定尺寸而不執(zhí)行DBBP功能時(shí)，多層視頻編碼設(shè)備10不需要對(duì)表明是否執(zhí)行DBBP功能的標(biāo)記“dbbp_flag”進(jìn)行編碼。

在當(dāng)前塊的視差矢量被確定后，多層視頻解碼設(shè)備20可通過使用所確定的視差矢量來在當(dāng)前塊上執(zhí)行殘余預(yù)測(cè)。

圖8A示出根據(jù)實(shí)施方式的多層視頻解碼設(shè)備20執(zhí)行殘余預(yù)測(cè)的示例。

在圖8A中，當(dāng)多層視頻解碼設(shè)備20執(zhí)行時(shí)間方向預(yù)測(cè)時(shí)，多層視頻解碼設(shè)備20可獲取第二層的先前圖片103中包括的參考?jí)K104的樣本值，參考?jí)K104由第二層的當(dāng)前圖片101中包括的當(dāng)前塊102的運(yùn)動(dòng)矢量107表示。隨后，多層視頻解碼設(shè)備20可獲取第一層的當(dāng)前圖片105中包括的參考?jí)K106的殘余分量，參考?jí)K106由第二層的當(dāng)前塊102的視差矢量108表示。隨后，多層視頻解碼設(shè)備20可通過合成第二層的先前圖片103中包括的參考?jí)K104的樣本值和第一層的當(dāng)前圖片105中包括的參考?jí)K106的殘余分量來預(yù)測(cè)當(dāng)前塊102。

接下來，多層視頻解碼設(shè)備20可通過合成當(dāng)前塊102的預(yù)測(cè)樣本值和從比特流中獲取的殘余分量之間的差異值來重建當(dāng)前塊102。

圖8B示出根據(jù)另一實(shí)施方式的多層視頻解碼設(shè)備20執(zhí)行殘余預(yù)測(cè)的示例。

在圖8B中，當(dāng)多層視頻解碼設(shè)備20執(zhí)行時(shí)間方向預(yù)測(cè)時(shí)，多層視頻解碼設(shè)備20可獲取第二層的先前圖片113中包括的參考?jí)K114的樣本值，參考?jí)K114由第二層的當(dāng)前圖片111中包括的當(dāng)前塊112的運(yùn)動(dòng)矢量119表示。此外，多層視頻解碼設(shè)備20可將運(yùn)動(dòng)矢量119應(yīng)用(119-1)到第一層的當(dāng)前圖片115中包括的參考?jí)K116，參考?jí)K116由第二層的當(dāng)前塊112的視差矢量121表示，因而可獲取第一層的先前圖片117中包括的參考?jí)K118的殘余分量，參考?jí)K118由運(yùn)動(dòng)矢量119表示。隨后，多層視頻解碼設(shè)備20可通過合成第二層的先前圖片113中包括的參考?jí)K114的樣本值和第一層的先前圖片117中包括的參考?jí)K118的殘余分量來預(yù)測(cè)當(dāng)前塊112。

接下來，多層視頻解碼設(shè)備20可通過合成當(dāng)前塊112的預(yù)測(cè)樣本值和從比特流中獲取的殘余分量之間的差異值來重建當(dāng)前塊112。

在圖8B中，為了在當(dāng)前塊上執(zhí)行殘余預(yù)測(cè)，多層視頻解碼設(shè)備20需要訪問當(dāng)前塊的每個(gè)參考列表中的三個(gè)參考?jí)K。具體而言，當(dāng)雙向執(zhí)行殘余預(yù)測(cè)時(shí)，多層視頻解碼設(shè)備20需要相對(duì)于當(dāng)前塊來訪問五到六個(gè)參考?jí)K。

因此，需要存儲(chǔ)器具有較大帶寬，并且為了降低帶寬，可考慮只在塊尺寸大于預(yù)定尺寸時(shí)執(zhí)行殘余預(yù)測(cè)的方法。

例如，在當(dāng)前塊的尺寸大于8×8時(shí)，多層視頻解碼設(shè)備20可執(zhí)行殘余預(yù)測(cè)。換言之，在當(dāng)前塊的尺寸等于或小于8×8時(shí)，多層視頻解碼設(shè)備20可不執(zhí)行殘余預(yù)測(cè)。

或者，在當(dāng)前塊的尺寸等于或小于8×8時(shí)，多層視頻解碼設(shè)備20可不在色度分量上執(zhí)行殘余預(yù)測(cè)，而是可在亮度分量上執(zhí)行殘余預(yù)測(cè)。

或者，當(dāng)多層視頻解碼設(shè)備20執(zhí)行時(shí)間方向預(yù)測(cè)時(shí)，如果當(dāng)前塊的尺寸等于或小于8×8，那么多層視頻解碼設(shè)備20可不在色度分量上執(zhí)行殘余預(yù)測(cè)，而是可在亮度分量上執(zhí)行殘余預(yù)測(cè)。

此外，當(dāng)多層視頻解碼設(shè)備20在視點(diǎn)方向上執(zhí)行預(yù)測(cè)時(shí)，如果當(dāng)前塊的尺寸等于或小于8×8，那么多層視頻解碼設(shè)備20可既不在色度分量上也不在亮度分量上執(zhí)行殘余預(yù)測(cè)。

圖9是根據(jù)實(shí)施方式的通過考慮當(dāng)前塊的尺寸來確定是否執(zhí)行殘余預(yù)測(cè)的方法的流程圖，該方法由多層視頻解碼設(shè)備20執(zhí)行。

在操作S81中，多層視頻解碼設(shè)備20可確定當(dāng)前塊的尺寸是否大于8×8。換言之，在通過計(jì)算當(dāng)前塊的尺寸CbSize的log2而將當(dāng)前塊的尺寸表達(dá)為以二為底的對(duì)數(shù)log2CbSize時(shí)，多層視頻解碼設(shè)備20可確定當(dāng)前塊的尺寸的對(duì)數(shù)值是否大于3。

在操作S82中，在當(dāng)前塊的尺寸的對(duì)數(shù)值大于3時(shí)(S81-是)，多層視頻解碼設(shè)備20可執(zhí)行殘余預(yù)測(cè)。另一方面，在當(dāng)前塊的尺寸的對(duì)數(shù)值等于或小于3時(shí)(S81-否)，多層視頻解碼設(shè)備20可不執(zhí)行殘余預(yù)測(cè)。

參考圖8A到圖9描述的方法是參照多層視頻解碼設(shè)備20描述的，并且也可適用于多層視頻編碼設(shè)備10。

如上文所述，根據(jù)實(shí)施方式的多層視頻編碼設(shè)備10和根據(jù)實(shí)施方式的多層視頻解碼設(shè)備20可將視頻數(shù)據(jù)的塊分割成具有樹形結(jié)構(gòu)的編碼單元，并且編碼單元、預(yù)測(cè)單元和變換單元可用于編碼單元的層間預(yù)測(cè)或幀間預(yù)測(cè)。在下文中，將參考圖10到圖22描述根據(jù)各種實(shí)施方式的基于具有樹形結(jié)構(gòu)的編碼單元和變換單元的視頻編碼方法、視頻編碼設(shè)備、視頻解碼方法和視頻解碼設(shè)備。

原則上，在針對(duì)多層視頻的編碼和解碼過程期間，分別執(zhí)行針對(duì)第一層圖像的編碼和解碼過程以及針對(duì)第二層圖像的編碼和解碼過程。換言之，當(dāng)在多層視頻上執(zhí)行層間預(yù)測(cè)時(shí)，可手動(dòng)參考單層視頻的編碼和解碼結(jié)果，但在單層視頻上執(zhí)行單獨(dú)的編碼和解碼過程。

因此，由于為便于描述，下文參考圖10到圖22描述的基于具有樹形結(jié)構(gòu)的編碼單元的視頻編碼和解碼過程是用于處理單層視頻的視頻編碼和解碼過程，所以只執(zhí)行幀間預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償。然而，如上文參考圖1A到圖9所述，為了對(duì)視頻流進(jìn)行編碼和解碼，在基本視點(diǎn)圖像和第二層圖像上執(zhí)行層間預(yù)測(cè)和補(bǔ)償。

因此，為了讓根據(jù)各種實(shí)施方式的多層視頻編碼設(shè)備10的編碼器12基于具有樹形結(jié)構(gòu)的編碼單元對(duì)多層視頻進(jìn)行編碼，多層視頻編碼設(shè)備10可包括與多層視頻的層的數(shù)量一樣多的圖10的視頻編碼設(shè)備100，從而根據(jù)每個(gè)單層視頻來執(zhí)行視頻編碼，從而控制每個(gè)視頻編碼設(shè)備100對(duì)分配的單層視頻進(jìn)行編碼。此外，多層視頻編碼設(shè)備10可通過使用每個(gè)視頻編碼設(shè)備100的各個(gè)單一視角的編碼結(jié)果來執(zhí)行視點(diǎn)間預(yù)測(cè)。因此，多層視頻編碼設(shè)備10的編碼器12可生成基本視點(diǎn)視頻流和第二層視頻流，其包括根據(jù)層的編碼結(jié)果。

類似地，為了讓根據(jù)各種實(shí)施方式的多層視頻解碼設(shè)備20的解碼器24基于具有樹形結(jié)構(gòu)的編碼單元對(duì)多層視頻進(jìn)行解碼，多層視頻解碼設(shè)備20可包括與多層視頻的層的數(shù)量一樣多的圖11的視頻解碼設(shè)備200，從而根據(jù)層來對(duì)所接收的第一層視頻流和所接收的第二層視頻流執(zhí)行視頻解碼，進(jìn)而控制每個(gè)視頻解碼設(shè)備200對(duì)分配的單層視頻進(jìn)行解碼。此外，多層視頻解碼設(shè)備20可通過使用每個(gè)視頻解碼設(shè)備200的各個(gè)單層的解碼結(jié)果來執(zhí)行層間補(bǔ)償。因此，多層視頻解碼設(shè)備20的解碼器24可生成根據(jù)層來重建的第一層圖像和第二層圖像。

圖10是根據(jù)實(shí)施方式的基于根據(jù)樹形結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備100的框圖。

根據(jù)實(shí)施方式的基于根據(jù)樹形結(jié)構(gòu)的編碼單元的、涉及視頻預(yù)測(cè)的視頻編碼設(shè)備100包括編碼單元確定器120和輸出單元130。在下文中，為便于描述，基于根據(jù)樹形結(jié)構(gòu)的編碼單元的、涉及視頻預(yù)測(cè)的視頻編碼設(shè)備100將簡(jiǎn)稱為“視頻編碼設(shè)備100”。

編碼單元確定器120可基于最大編碼單元來分割當(dāng)前圖片，所述最大編碼單元是具有圖像的當(dāng)前圖片的最大尺寸的編碼單元。如果當(dāng)前圖片大于最大編碼單元，那么當(dāng)前圖片的圖像數(shù)據(jù)可被分割成至少一個(gè)最大編碼單元。根據(jù)各種實(shí)施方式的最大編碼單元可以是具有32×32、64×64、128×128、256×256等尺寸的數(shù)據(jù)單元，其中，數(shù)據(jù)單元的形狀是具有2的平方的寬度和長度的正方形。

根據(jù)各種實(shí)施方式的編碼單元的特征可以是最大尺寸和深度。深度表示編碼單元從最大編碼單元空間分割的次數(shù)，并且隨著深度加深，根據(jù)深度的較深編碼單元可從最大編碼單元分割到最小編碼單元。最大編碼單元的深度是最淺深度，并且最小編碼單元的深度是最深深度。由于對(duì)應(yīng)于每個(gè)深度的編碼單元的尺寸隨著最大編碼單元的深度加深而減小，因此，對(duì)應(yīng)于較淺深度的編碼單元可包括對(duì)應(yīng)于較深深度的多個(gè)編碼單元。

如上文所述，當(dāng)前圖片的圖像數(shù)據(jù)根據(jù)編碼單元的最大尺寸分割成最大編碼單元，并且最大編碼單元中的每個(gè)可包括根據(jù)深度分割的較深編碼單元。由于根據(jù)各種實(shí)施方式的最大編碼單元根據(jù)深度進(jìn)行分割，因此，最大編碼單元中包括的空間域的圖像數(shù)據(jù)可根據(jù)深度進(jìn)行分層分類。

限制最大編碼單元的高度和寬度進(jìn)行分層分割的總次數(shù)的編碼單元的最大深度和最大尺寸可以預(yù)先確定。

編碼單元確定器120對(duì)通過根據(jù)深度分割最大編碼單元的區(qū)域而獲得的至少一個(gè)分割區(qū)域進(jìn)行編碼，并且根據(jù)至少一個(gè)分割區(qū)域確定輸出最終編碼的圖像數(shù)據(jù)的深度。換言之，通過根據(jù)當(dāng)前圖片的最大編碼單元對(duì)根據(jù)深度的較深編碼單元中的圖像數(shù)據(jù)進(jìn)行編碼并且選擇具有最小編碼誤差的深度，編碼單元確定器120確定最終深度。所確定的最終深度和根據(jù)所確定的編碼深度的編碼圖像數(shù)據(jù)輸出到輸出單元130。

最大編碼單元中的圖像數(shù)據(jù)基于與等于或小于最大深度的至少一個(gè)深度對(duì)應(yīng)的較深編碼單元進(jìn)行編碼，并且對(duì)圖像數(shù)據(jù)進(jìn)行編碼的結(jié)果基于較深編碼單元中的每個(gè)進(jìn)行比較。在比較較深編碼單元的編碼誤差之后，可選擇具有最小編碼誤差的深度。針對(duì)每個(gè)最大編碼單元，可選擇至少一個(gè)最終深度。

隨著編碼單元根據(jù)深度進(jìn)行分層分割，并且隨著編碼單元的數(shù)量增加，最大編碼單元的尺寸被分割。此外，即使編碼單元對(duì)應(yīng)于一個(gè)最大編碼單元中的相同深度，也要通過分別測(cè)量每個(gè)編碼單元的圖像數(shù)據(jù)的編碼誤差來確定是否將對(duì)應(yīng)于相同深度的編碼單元中的每個(gè)編碼單元分割到較深深度。因此，即使在圖像數(shù)據(jù)被包括在一個(gè)最大編碼單元中時(shí)，編碼誤差也可根據(jù)一個(gè)最大編碼單元中的區(qū)域而不同，因此，最終深度可根據(jù)圖像數(shù)據(jù)中的區(qū)域而不同。因此，在一個(gè)最大編碼單元中可確定一個(gè)或多個(gè)最大深度，并且最大編碼單元的圖像數(shù)據(jù)可根據(jù)至少一個(gè)最終深度的編碼單元而劃分。

因此，根據(jù)各種實(shí)施方式的編碼單元確定器120可確定最大編碼單元中包括的具有樹形結(jié)構(gòu)的編碼單元。根據(jù)各種實(shí)施方式的“具有樹形結(jié)構(gòu)的編碼單元”包括在最大編碼單元包括的所有較深編碼之中的、與確定為最終深度的深度對(duì)應(yīng)的編碼單元。最終深度的編碼單元可根據(jù)最大編碼單元的相同區(qū)域中的深度來分層確定，并且可在不同區(qū)域中獨(dú)立確定。類似地，當(dāng)前區(qū)域中的最終深度可獨(dú)立于另一區(qū)域中的最終深度進(jìn)行確定。

根據(jù)各種實(shí)施方式的最大深度是與從最大編碼單元到最小編碼單元的分割次數(shù)相關(guān)的索引。根據(jù)各種實(shí)施方式的第一最大深度可表示從最大編碼單元到最小編碼單元的總分割次數(shù)。根據(jù)各種實(shí)施方式的第二最大深度可表示從最大編碼單元到最小編碼單元的深度等級(jí)的總數(shù)。例如，當(dāng)最大編碼單元的深度為0時(shí)，最大編碼單元被分割一次的編碼單元的深度可設(shè)置為1，并且最大編碼單元被分割兩次的編碼單元的深度可設(shè)置為2。在這種情況下，如果最小編碼單元是最大編碼單元被分割四次的編碼單元，那么存在深度0、1、2、3和4的深度等級(jí)，因此，第一最大深度可設(shè)置為4，并且第二最大深度可設(shè)置為5。

預(yù)測(cè)編碼和變換可根據(jù)最大編碼單元來執(zhí)行。預(yù)測(cè)編碼和變換也根據(jù)最大編碼單元基于根據(jù)等于或小于最大深度的深度的較深編碼單元來執(zhí)行。

由于每當(dāng)最大編碼單元根據(jù)深度分割時(shí)較深編碼單元的數(shù)量都增加，因此，在隨著深度加深而生成的所有較深編碼單元上執(zhí)行包括預(yù)測(cè)編碼和變換在內(nèi)的編碼。為便于描述，現(xiàn)在將基于當(dāng)前深度的編碼單元在最大編碼單元中描述預(yù)測(cè)編碼和變換。

根據(jù)各種實(shí)施方式的視頻編碼設(shè)備100可不同地選擇用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù)單元的尺寸或形狀。為了對(duì)圖像數(shù)據(jù)進(jìn)行編碼，執(zhí)行諸如，預(yù)測(cè)編碼、變換和熵編碼的操作，并且同時(shí)，可將相同的數(shù)據(jù)單元用于所有操作或者將不同的數(shù)據(jù)單元用于每個(gè)操作。

例如，視頻編碼設(shè)備100不僅可選擇用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的編碼單元，而且可選擇不同于編碼單元的數(shù)據(jù)單元，從而在編碼單元中的圖像數(shù)據(jù)上執(zhí)行預(yù)測(cè)編碼。

為了在最大編碼單元中執(zhí)行預(yù)測(cè)編碼，可基于根據(jù)各種實(shí)施方式的與最終深度對(duì)應(yīng)的編碼單元(即，基于不再分割成與較深深度對(duì)應(yīng)的編碼單元的編碼單元)執(zhí)行預(yù)測(cè)編碼。在下文中，不再進(jìn)行分割并且成為用于預(yù)測(cè)編碼的基礎(chǔ)單元的編碼單元現(xiàn)在將被稱為“預(yù)測(cè)單元”。通過分割預(yù)測(cè)單元而獲得的分區(qū)可包括預(yù)測(cè)單元和通過分割預(yù)測(cè)單元的高度和寬度中的至少一個(gè)而獲得的數(shù)據(jù)單元。分區(qū)是編碼單元的預(yù)測(cè)單元被分割的數(shù)據(jù)單元，并且預(yù)測(cè)單元可以是與編碼單元具有相同尺寸的分區(qū)。

例如，當(dāng)2N×2N(其中N是正整數(shù))的編碼單元不再分割并且成為2N×2N的預(yù)測(cè)單元時(shí)，分區(qū)的尺寸可以是2N×2N、2N×N、N×2N或N×N。根據(jù)各種實(shí)施方式的分區(qū)模式的示例可選擇性地包括通過對(duì)稱地分割預(yù)測(cè)單元的高度或?qū)挾榷@得的對(duì)稱分區(qū)、通過不對(duì)稱地分割預(yù)測(cè)單元的高度或?qū)挾?諸如1:n或n:1)而獲得的分區(qū)、通過幾何分割預(yù)測(cè)單元而獲得的分區(qū)以及具有任意形狀的分區(qū)。

預(yù)測(cè)單元的預(yù)測(cè)模式可以是幀內(nèi)模式(Intra Mode)、幀間模式(Inter Mode)和跳躍模式(Skip Mode)中的至少一個(gè)。例如，幀內(nèi)模式或幀間模式可在2N×2N、2N×N、N×2N或N×N的分區(qū)上執(zhí)行。此外，跳躍模式可以只在2N×2N的分區(qū)上執(zhí)行。編碼在編碼單元中的一個(gè)預(yù)測(cè)單元上獨(dú)立執(zhí)行，從而選擇具有最小編碼誤差的預(yù)測(cè)模式。

根據(jù)各種實(shí)施方式的視頻編碼設(shè)備100也可不僅基于用于對(duì)圖像數(shù)據(jù)進(jìn)行編碼的編碼單元而且還基于不同于編碼單元的數(shù)據(jù)單元而在編碼單元中的圖像數(shù)據(jù)上執(zhí)行變換。為了在編碼單元中執(zhí)行變換，可基于具有小于或等于編碼單元的尺寸的變換單元來執(zhí)行變換。例如，變換單元可包括用于幀內(nèi)模式的數(shù)據(jù)單元和用于幀間模式的變換單元。

根據(jù)各種實(shí)施方式，編碼單元中的變換單元可按與編碼單元根據(jù)樹形結(jié)構(gòu)進(jìn)行分割的類似方式遞歸地分割成更小尺寸的區(qū)域。因此，編碼單元中的殘余數(shù)據(jù)可根據(jù)具有樹形結(jié)構(gòu)的變換單元依據(jù)變換深度進(jìn)行分割。

根據(jù)各種實(shí)施方式，表明通過分割編碼單元的高度和寬度來達(dá)到變換單元的分割次數(shù)的變換深度也可設(shè)置在變換單元中。例如，在2N×2N的當(dāng)前編碼單元中，當(dāng)變換單元的尺寸是2N×2N時(shí)變換深度可為0，當(dāng)變換單元的尺寸是N×N時(shí)變換深度可為1，以及當(dāng)變換單元的尺寸是N/2×N/2時(shí)變換深度可為2。換言之，具有樹形結(jié)構(gòu)的變換單元可根據(jù)變換深度進(jìn)行設(shè)置。

根據(jù)深度的分割信息不僅需要與深度有關(guān)的信息，而且需要與預(yù)測(cè)編碼和變換相關(guān)的信息。因此，編碼單元確定器120不僅確定具有最小編碼誤差的深度，而且確定將預(yù)測(cè)單元分割成分區(qū)的分區(qū)模式、根據(jù)預(yù)測(cè)單元的預(yù)測(cè)模式以及用于變換的變換單元的尺寸。

下文將參考圖12到圖22詳細(xì)描述根據(jù)各種實(shí)施方式的最大編碼單元中的根據(jù)樹形結(jié)構(gòu)的編碼單元以及確定預(yù)測(cè)單元/分區(qū)和變換單元的方法。

編碼單元確定器120可通過使用基于拉格朗日乘子的率失真優(yōu)化(Rate-Distortion Optimization)來測(cè)量根據(jù)深度的較深編碼單元的編碼誤差。

輸出單元130以比特流的形式輸出基于由編碼單元確定器120確定的至少一個(gè)深度進(jìn)行編碼的最大編碼單元的圖像數(shù)據(jù)以及根據(jù)深度的分割信息。

通過對(duì)圖像的殘余數(shù)據(jù)進(jìn)行編碼可獲得編碼的圖像數(shù)據(jù)。

根據(jù)深度的分割信息可包括與深度有關(guān)的信息、與預(yù)測(cè)單元中的分區(qū)模式有關(guān)的信息、與預(yù)測(cè)模式有關(guān)的信息以及與變換單元的分割有關(guān)的信息。

與最終深度有關(guān)的信息可通過使用根據(jù)深度的分割信息進(jìn)行限定，從而表明是否在較深深度而非當(dāng)前深度的編碼單元上執(zhí)行編碼。如果當(dāng)前編碼單元的當(dāng)前深度是深度，那么對(duì)當(dāng)前編碼單元進(jìn)行編碼，因此，分割信息可限定為不將當(dāng)前編碼單元分割到較深深度。另一方面，如果當(dāng)前編碼單元的當(dāng)前深度不是該深度，那么在較深深度的編碼單元上執(zhí)行編碼，因此，分割信息可限定為分割當(dāng)前編碼單元，以獲取較深深度的編碼單元。

如果當(dāng)前深度不是該深度，那么在分割成較深深度的編碼單元的編碼單元上執(zhí)行編碼。由于較深深度的至少一個(gè)編碼單元存在于當(dāng)前深度的一個(gè)編碼單元中，因此，可在較深深度的每個(gè)編碼單元上重復(fù)執(zhí)行編碼，從而可針對(duì)具有相同深度的編碼單元遞歸地執(zhí)行編碼。

由于針對(duì)一個(gè)最大編碼單元確定具有樹形結(jié)構(gòu)的編碼單元并且針對(duì)深度的編碼單元確定分割信息，因此，可針對(duì)一個(gè)最大編碼單元確定至少一項(xiàng)分割信息。此外，最大編碼單元的圖像數(shù)據(jù)的深度可根據(jù)位置而不同，這是因?yàn)閳D像數(shù)據(jù)根據(jù)深度進(jìn)行分層分割，因此，可針對(duì)圖像數(shù)據(jù)來設(shè)置深度和分割信息。

因此，根據(jù)各種實(shí)施方式的輸出單元130可將與編碼模式有關(guān)的編碼信息和對(duì)應(yīng)深度分配到最大編碼單元中包括的編碼單元、預(yù)測(cè)單元和最小單元中的至少一個(gè)。

根據(jù)各種實(shí)施方式的最小單元是通過將構(gòu)成最深深度的最小編碼單元分割成4個(gè)而獲取的正方形數(shù)據(jù)單元?；蛘撸鶕?jù)各種實(shí)施方式的最小單元可以是可被包括在最大編碼單元所包括的編碼單元、預(yù)測(cè)單元、分區(qū)單元和變換單元的全部中的最大正方形數(shù)據(jù)單元。

例如，由輸出單元130輸出的編碼信息可分類成根據(jù)較深編碼單元的編碼信息和根據(jù)預(yù)測(cè)單元的編碼信息。根據(jù)較深編碼單元的編碼信息可包括與預(yù)測(cè)模式有關(guān)的信息和與分區(qū)的尺寸有關(guān)的信息。根據(jù)預(yù)測(cè)單元的編碼信息可包括與幀間模式的估計(jì)方向有關(guān)的信息、與幀間模式的參考圖像索引有關(guān)的信息、與運(yùn)動(dòng)矢量有關(guān)的信息、與幀內(nèi)模式的色度分量有關(guān)的信息以及與幀內(nèi)模式的內(nèi)插法有關(guān)的信息。

與根據(jù)圖片、截片或GOP限定的編碼單元的最大尺寸有關(guān)的信息以及與最大深度有關(guān)的信息可插入到比特流的標(biāo)頭、序列參數(shù)集或圖片參數(shù)集中。

與當(dāng)前視頻準(zhǔn)許的變換單元的最大尺寸有關(guān)的信息以及與變換單元的最小尺寸有關(guān)的信息也可通過比特流的標(biāo)頭、序列參數(shù)集或圖片參數(shù)集輸出。輸出單元130可對(duì)與預(yù)測(cè)相關(guān)的參考信息、運(yùn)動(dòng)信息和截片類型信息進(jìn)行編碼并輸出這些信息。

在根據(jù)最簡(jiǎn)單實(shí)施方式的視頻編碼設(shè)備100中，較深編碼單元可以是通過將較淺深度的編碼單元(上一層的編碼單元)的高度或?qū)挾纫环譃槎玫降木幋a單元。換言之，在當(dāng)前深度的編碼單元的尺寸是2N×2N時(shí)，較深深度的編碼單元的尺寸是N×N。此外，具有2N×2N尺寸的當(dāng)前編碼單元可最大包括四個(gè)均具有N×N尺寸的較深深度編碼單元。

因此，通過基于最大編碼單元的尺寸和考慮到當(dāng)前圖片的特征而確定的最大深度來確定每個(gè)最大編碼單元的具有最佳形狀和最佳尺寸的編碼單元，視頻編碼設(shè)備100可形成具有樹形結(jié)構(gòu)的編碼單元。此外，由于可通過使用各種預(yù)測(cè)模式和變換中的任一個(gè)在每個(gè)最大編碼單元上執(zhí)行編碼，因此，可通過考慮到各種圖像尺寸的編碼單元的特征來確定最佳編碼模式。

因此，如果具有高分辨率或大數(shù)據(jù)量的圖像在傳統(tǒng)宏塊中編碼，那么每個(gè)圖片的宏塊數(shù)量過度增加。因此，針對(duì)每個(gè)宏塊生成的壓縮信息的數(shù)量增加，因而難以傳輸壓縮的信息并且數(shù)據(jù)壓縮效率降低。然而，通過使用根據(jù)各種實(shí)施方式的視頻編碼設(shè)備100，圖像壓縮效率可增加，這是因?yàn)樵诳紤]圖像的特征同時(shí)調(diào)整編碼單元，以及在考慮圖像的尺寸的同時(shí)增大編碼單元的最大尺寸。

上文參考圖1A描述的多層視頻編碼設(shè)備10可包括與層的數(shù)量一樣多的視頻編碼設(shè)備100，從而根據(jù)多層視頻的層對(duì)單層圖像進(jìn)行編碼。

當(dāng)視頻編碼設(shè)備100對(duì)第一層圖像進(jìn)行編碼時(shí)，編碼單元確定器120可針對(duì)每個(gè)最大編碼單元來確定用于根據(jù)具有樹形結(jié)構(gòu)的編碼單元進(jìn)行幀間預(yù)測(cè)的預(yù)測(cè)單元，并且根據(jù)預(yù)測(cè)單元來執(zhí)行幀間預(yù)測(cè)。

即使在視頻編碼設(shè)備100對(duì)第二層圖像進(jìn)行編碼時(shí)，編碼單元確定器120也可針對(duì)每個(gè)最大編碼單元來確定具有樹形結(jié)構(gòu)的編碼單元和預(yù)測(cè)單元，并且根據(jù)預(yù)測(cè)單元來執(zhí)行幀間預(yù)測(cè)。

視頻編碼設(shè)備100可對(duì)亮度差進(jìn)行編碼，以補(bǔ)償?shù)谝粚訄D像與第二層圖像之間的亮度差。然而，可根據(jù)編碼單元的編碼模式來確定是否執(zhí)行亮度。例如，可以只在具有2N×2N尺寸的預(yù)測(cè)單元上執(zhí)行亮度補(bǔ)償。

圖11是根據(jù)各種實(shí)施方式的基于根據(jù)樹形結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備200的框圖。

根據(jù)實(shí)施方式的基于具有樹形結(jié)構(gòu)的編碼單元的、涉及視頻預(yù)測(cè)的視頻解碼設(shè)備200包括接收器210、圖像數(shù)據(jù)與編碼信息提取器220以及圖像數(shù)據(jù)解碼器230。為便于描述，根據(jù)實(shí)施方式的基于具有樹形結(jié)構(gòu)的編碼單元的、涉及視頻預(yù)測(cè)的視頻解碼設(shè)備200將簡(jiǎn)稱為“視頻解碼設(shè)備200”。

根據(jù)各種實(shí)施方式，用于視頻解碼設(shè)備200的解碼操作的各種術(shù)語(諸如，編碼單元、深度、預(yù)測(cè)單元、變換單元和各種分割信息)的定義與參考圖10和視頻編碼設(shè)備100描述的那些定義相同。

接收器210接收并解析編碼視頻的比特流。圖像數(shù)據(jù)與編碼信息提取器220從解析的比特流中提取用于每個(gè)編碼單元的編碼圖像數(shù)據(jù)，其中編碼單元具有根據(jù)每個(gè)最大編碼單元的樹形結(jié)構(gòu)，并且將提取的圖像數(shù)據(jù)輸出到圖像數(shù)據(jù)解碼器230。圖像數(shù)據(jù)與編碼信息提取器220可從與當(dāng)前圖片有關(guān)的標(biāo)頭、序列參數(shù)集或圖片參數(shù)集中提取與當(dāng)前圖片的編碼單元的最大尺寸有關(guān)的信息。

此外，圖像數(shù)據(jù)與編碼信息提取器220針對(duì)根據(jù)每個(gè)最大編碼單元的具有樹形結(jié)構(gòu)的編碼單元從解析的比特流中提取最終深度和分割信息。提取的最終深度和分割信息輸出到圖像數(shù)據(jù)解碼器230。換言之，比特流中的圖像數(shù)據(jù)分割成最大編碼單元，使得圖像數(shù)據(jù)解碼器230針對(duì)每個(gè)最大編碼單元將圖像數(shù)據(jù)解碼。

根據(jù)最大編碼單元的深度和分割信息可針對(duì)至少一項(xiàng)深度信息進(jìn)行設(shè)置，并且分割信息可包括與對(duì)應(yīng)編碼單元的分區(qū)模式有關(guān)的信息、與預(yù)測(cè)模式有關(guān)的信息以及與變換單元的分割有關(guān)的信息。此外，根據(jù)深度的分割信息可被提取為與深度有關(guān)的信息。

由圖像數(shù)據(jù)與編碼信息提取器220提取的根據(jù)每個(gè)最大編碼單元的深度和分割信息是被確定當(dāng)諸如根據(jù)各種實(shí)施方式的視頻編碼設(shè)備100等編碼器根據(jù)每個(gè)最大編碼單元針對(duì)根據(jù)深度的每個(gè)較深編碼單元重復(fù)執(zhí)行編碼時(shí)會(huì)生成最小編碼誤差的深度和分割信息。因此，視頻解碼設(shè)備200可通過根據(jù)生成最小編碼誤差的編碼深度和編碼模式對(duì)圖像數(shù)據(jù)進(jìn)行解碼來重建圖像。

根據(jù)各種實(shí)施方式，由于與深度和編碼模式有關(guān)的編碼信息可分配到對(duì)應(yīng)編碼單元、預(yù)測(cè)單元和最小單元之中的預(yù)定數(shù)據(jù)單元，因此，圖像數(shù)據(jù)與編碼信息提取器220可根據(jù)預(yù)定數(shù)據(jù)單元提取深度和分割信息。如果對(duì)應(yīng)最大編碼單元的深度和分割信息根據(jù)預(yù)定數(shù)據(jù)單元進(jìn)行記錄，那么可以推斷，被分配相同深度和相同分割信息的預(yù)定數(shù)據(jù)單元就是相同最大編碼單元中包括的數(shù)據(jù)單元。

圖像數(shù)據(jù)解碼器230可通過基于根據(jù)每個(gè)最大編碼單元的深度和分割信息將每個(gè)最大編碼單元中的圖像數(shù)據(jù)解碼來重建當(dāng)前圖片。換言之，圖像數(shù)據(jù)解碼器230可基于與每個(gè)最大編碼單元中包括的具有樹形結(jié)構(gòu)的編碼單元之中的每個(gè)編碼單元的分區(qū)模式、預(yù)測(cè)模式和變換單元有關(guān)的提取信息對(duì)編碼的圖像數(shù)據(jù)進(jìn)行解碼。解碼過程可包括預(yù)測(cè)和逆變換，所述預(yù)測(cè)包括幀內(nèi)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償。

基于與根據(jù)深度的編碼單元的預(yù)測(cè)單元的分區(qū)模式和預(yù)測(cè)模式有關(guān)的信息，圖像數(shù)據(jù)解碼器230可根據(jù)每個(gè)編碼單元的分區(qū)和預(yù)測(cè)模式來執(zhí)行幀內(nèi)預(yù)測(cè)或運(yùn)動(dòng)補(bǔ)償。

此外，圖像數(shù)據(jù)解碼器230可讀取與用于每個(gè)編碼單元的根據(jù)樹形結(jié)構(gòu)的變換單元有關(guān)的信息，從而基于每個(gè)編碼單元的變換單元來執(zhí)行逆變換，進(jìn)而對(duì)每個(gè)最大編碼單元進(jìn)行逆變換。經(jīng)由逆變換，可重建編碼單元的空間域的像素值。

圖像數(shù)據(jù)解碼器230可通過使用根據(jù)深度的分割信息來確定當(dāng)前最大編碼單元的深度。如果分割信息表明圖像數(shù)據(jù)不再以當(dāng)前深度分割，那么當(dāng)前深度就是深度。因此，圖像數(shù)據(jù)解碼器230可通過使用與預(yù)測(cè)單元的分區(qū)模式、預(yù)測(cè)模式和變換單元的尺寸有關(guān)的信息來對(duì)當(dāng)前最大編碼單元中的編碼數(shù)據(jù)進(jìn)行解碼。

換言之，通過觀察分配給編碼單元、預(yù)測(cè)單元和最小單元之中的預(yù)定數(shù)據(jù)單元的編碼信息集，可收集含有包括相同分割信息的編碼信息的數(shù)據(jù)單元，并且可將收集的數(shù)據(jù)單元視作將由圖像數(shù)據(jù)解碼器230以相同編碼模式解碼的一個(gè)數(shù)據(jù)單元。因此，可通過獲取與用于每個(gè)編碼單元的編碼模式有關(guān)的信息來對(duì)當(dāng)前編碼單元進(jìn)行解碼。

上文參考圖2A描述的多層視頻解碼設(shè)備20可包括與視角的數(shù)量一樣多數(shù)量的視頻解碼設(shè)備200，從而通過對(duì)所接收的第一層圖像流和所接收的第二層圖像流進(jìn)行解碼來重建第一層圖像和第二層圖像。

當(dāng)接收到第一層圖像流時(shí)，視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230可將由圖像數(shù)據(jù)與編碼信息提取器220從第一層圖像流中提取的第一層圖像的樣本分割成具有樹形結(jié)構(gòu)的編碼單元。圖像數(shù)據(jù)解碼器230可通過根據(jù)用于幀間預(yù)測(cè)的預(yù)測(cè)單元在通過分割第一層圖像的樣本而獲取的具有樹形結(jié)構(gòu)的編碼單元上執(zhí)行運(yùn)動(dòng)補(bǔ)償來重建第一層圖像。

當(dāng)接收到第二層圖像流時(shí)，視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230可將由圖像數(shù)據(jù)與編碼信息提取器220從第二層圖像流中提取的第二層圖像的樣本分割成具有樹形結(jié)構(gòu)的編碼單元。圖像數(shù)據(jù)解碼器230可通過根據(jù)用于幀間預(yù)測(cè)的預(yù)測(cè)單元在通過分割第二層圖像的樣本而獲取的編碼單元上執(zhí)行運(yùn)動(dòng)補(bǔ)償來重建第二層圖像。

提取器220可從比特流中獲取與亮度誤差相關(guān)的信息，從而補(bǔ)償?shù)谝粚訄D像與第二層圖像之間的亮度差。然而，可根據(jù)編碼單元的編碼模式來確定是否執(zhí)行亮度。例如，可只在具有2N×2N尺寸的預(yù)測(cè)單元上執(zhí)行亮度補(bǔ)償。

因此，視頻解碼設(shè)備200可獲取與在針對(duì)每個(gè)最大編碼單元遞歸地執(zhí)行編碼時(shí)生成最小編碼誤差的至少一個(gè)編碼單元有關(guān)的信息，并且可使用該信息來對(duì)當(dāng)前圖片進(jìn)行解碼。換言之，可對(duì)確定是每個(gè)最大編碼單元中的最佳編碼單元的、具有樹形結(jié)構(gòu)的編碼單元進(jìn)行解碼。

因此，即使圖像數(shù)據(jù)具有高分辨率和大量數(shù)據(jù)，圖像數(shù)據(jù)仍可通過使用編碼單元的尺寸和編碼模式來高效解碼和重建，所述編碼單元的尺寸和編碼模式是通過使用從編碼器接收的最佳分割信息根據(jù)圖像數(shù)據(jù)的特征而自適應(yīng)地確定的。

圖12是用于描述根據(jù)各種實(shí)施方式的編碼單元的概念的示意圖。

編碼單元的尺寸可由寬度×高度來表示，并且可以是64×64、32×32、16×16和8×8。64×64的編碼單元可分割成64×64、64×32、32×64或32×32的分區(qū)，并且32×32的編碼單元可分割成32×32、32×16、16×32或16×16的分區(qū)，16×16的編碼單元可分割成16×16、16×8、8×16或8×8的分區(qū)，以及8×8的編碼單元可分割成8×8、8×4、4×8或4×4的分區(qū)。

在視頻數(shù)據(jù)310中，分辨率是1920×1080，編碼單元的最大尺寸是64，并且最大深度是2。在視頻數(shù)據(jù)320中，分辨率是1920×1080，編碼單元的最大尺寸是64，并且最大深度是3。在視頻數(shù)據(jù)330中，分辨率是352×288，編碼單元的最大尺寸是16，并且最大深度是1。圖12所示的最大深度是指從最大編碼單元到最小編碼單元的總分割次數(shù)。

如果分辨率較高或數(shù)據(jù)量較大，那么編碼單元的最大尺寸可能較大，從而不僅增加編碼效率，而且還準(zhǔn)確反映圖像的特征。因此，分辨率比視頻數(shù)據(jù)330高的視頻數(shù)據(jù)310和320的編碼單元的最大尺寸可以是64。

由于視頻數(shù)據(jù)310的最大深度是2，因此，視頻數(shù)據(jù)310的編碼單元315可包括長軸尺寸為64的最大編碼單元，以及長軸尺寸為32和16的編碼單元，這是因?yàn)橥ㄟ^將最大編碼單元分割兩次，深度加深兩個(gè)層。由于視頻數(shù)據(jù)330的最大深度是1，因此，視頻數(shù)據(jù)330的編碼單元335可包括長軸尺寸為16的最大編碼單元，以及長軸尺寸為8的編碼單元，這是因?yàn)橥ㄟ^將最大編碼單元分割一次，深度加深一層。

由于視頻數(shù)據(jù)320的最大深度是3，因此，視頻數(shù)據(jù)320的編碼單元325可包括長軸尺寸為64的最大編碼單元，以及長軸尺寸為32、16和8的編碼單元，這是因?yàn)橥ㄟ^將最大編碼單元分割三次，深度加深3個(gè)層。隨著深度加深，可準(zhǔn)確地表達(dá)詳細(xì)信息。

圖13是根據(jù)各種實(shí)施方式的基于編碼單元的圖像編碼器400的框圖。

根據(jù)各種實(shí)施方式的圖像編碼器400執(zhí)行視頻編碼設(shè)備100的編碼單元確定器120的操作，以對(duì)圖像數(shù)據(jù)進(jìn)行編碼。換言之，幀內(nèi)預(yù)測(cè)器420在當(dāng)前幀405之中按照預(yù)測(cè)單元在編碼單元上以幀內(nèi)模式執(zhí)行幀內(nèi)預(yù)測(cè)，并且?guī)g預(yù)測(cè)器415通過使用當(dāng)前圖像405和由重建圖片緩存器410獲取的參考圖像按照預(yù)測(cè)單元在編碼單元上以幀間模式執(zhí)行幀間預(yù)測(cè)。當(dāng)前圖片405可被分割成最大編碼單元，隨后最大編碼單元可相繼被編碼。此處，可在最大編碼單元中的以樹形結(jié)構(gòu)分割的編碼單元上執(zhí)行編碼。

通過從待編碼的當(dāng)前圖像405的數(shù)據(jù)中減去從幀內(nèi)預(yù)測(cè)器420或幀間預(yù)測(cè)器415中輸出的每個(gè)模式的編碼單元的預(yù)測(cè)數(shù)據(jù)，生成殘余數(shù)據(jù)，并且殘余數(shù)據(jù)作為經(jīng)量化的變換系數(shù)通過變換器425和量化器430按照變換單元輸出。經(jīng)量化的變換系數(shù)在空間域中通過去量化器445和逆變換器450而恢復(fù)成殘余數(shù)據(jù)。將空間域中的殘余數(shù)據(jù)添加到從幀內(nèi)預(yù)測(cè)器420或幀間預(yù)測(cè)器415中輸出的每個(gè)模式的編碼單元的預(yù)測(cè)數(shù)據(jù)，從而恢復(fù)成當(dāng)前圖像405的編碼單元的空間域中的數(shù)據(jù)?？臻g域中的數(shù)據(jù)經(jīng)過去塊化器455和樣本自適應(yīng)偏移(SAO)執(zhí)行器460，因而生成恢復(fù)的圖像?；謴?fù)的圖像存儲(chǔ)在重建圖片緩存器410中。存儲(chǔ)在重建圖片緩存器410中的所恢復(fù)的圖像可用作另一圖像的幀間預(yù)測(cè)的參考圖像。通過變換器425和量化器430獲取的經(jīng)量化的變換系數(shù)可通過熵編碼器435而輸出為比特流440。

為了將根據(jù)各種實(shí)施方式的圖像編碼器400應(yīng)用于視頻編碼設(shè)備100，圖像編碼器400的部件(即，幀間預(yù)測(cè)器415、幀內(nèi)預(yù)測(cè)器420、變換器425、量化器430、熵編碼器435、去量化器445、逆變換器450、去塊化器455和SAO執(zhí)行器460)基于每個(gè)最大編碼單元的具有樹形結(jié)構(gòu)的編碼單元之中的每個(gè)編碼單元來執(zhí)行操作。

具體而言，幀內(nèi)預(yù)測(cè)器420和幀間預(yù)測(cè)器415在考慮當(dāng)前最大編碼單元的最大尺寸和最大深度的同時(shí)確定具有樹形結(jié)構(gòu)的編碼單元之中的每個(gè)編碼單元的分區(qū)和預(yù)測(cè)模式，并且變換器425可確定是否根據(jù)具有樹形結(jié)構(gòu)的編碼單元之中的每個(gè)編碼單元中的四叉樹來分割變換單元。

圖14是根據(jù)各種實(shí)施方式的基于編碼單元的圖像解碼器500的框圖。

熵解碼器515對(duì)來自比特流505的將被解碼的編碼圖像數(shù)據(jù)和解碼所需的編碼信息進(jìn)行解析。編碼圖像數(shù)據(jù)是經(jīng)量化的變換系數(shù)，并且去量化器520和逆變換器525從經(jīng)量化的變換系數(shù)中恢復(fù)殘余數(shù)據(jù)。

幀內(nèi)預(yù)測(cè)器540根據(jù)預(yù)測(cè)單元以幀內(nèi)模式在編碼單元上執(zhí)行幀內(nèi)預(yù)測(cè)。幀間預(yù)測(cè)器535通過使用由重建圖片緩存器530獲取的參考圖像而根據(jù)預(yù)測(cè)單元從當(dāng)前圖像中以幀內(nèi)模式對(duì)編碼單元執(zhí)行幀間預(yù)測(cè)。

通過經(jīng)由幀內(nèi)預(yù)測(cè)器540和幀間預(yù)測(cè)器535添加每個(gè)模式的編碼單元的殘余數(shù)據(jù)和預(yù)測(cè)數(shù)據(jù)來恢復(fù)當(dāng)前圖像的編碼單元的空間域中的數(shù)據(jù)，并且可通過去塊化器545和SAO執(zhí)行器550將空間域中的數(shù)據(jù)輸出為恢復(fù)的圖像。此外，可將存儲(chǔ)在重建圖片緩存器530的所恢復(fù)的圖像輸出為參考圖像。

為了對(duì)視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230中的圖像數(shù)據(jù)進(jìn)行解碼，可執(zhí)行根據(jù)各種實(shí)施方式的圖像解碼器500的熵解碼器515之后的操作。

為了將圖像解碼器500應(yīng)用于根據(jù)各種實(shí)施方式的視頻解碼設(shè)備200，圖像解碼器500的部件(即，熵解碼器515、去量化器520、逆變換器525、幀內(nèi)預(yù)測(cè)器540、幀間預(yù)測(cè)器535、去塊化器545和SAO執(zhí)行器550)可針對(duì)每個(gè)最大編碼單元基于具有樹形結(jié)構(gòu)的編碼單元來執(zhí)行操作。

具體而言，幀內(nèi)預(yù)測(cè)器540和幀間預(yù)測(cè)器535根據(jù)具有樹形結(jié)構(gòu)的編碼單元中的每個(gè)來確定分區(qū)模式和預(yù)測(cè)模式，并且逆變換器525可確定是否按照編碼單元根據(jù)四叉樹結(jié)構(gòu)來分割變換單元。

圖13的編碼操作和圖14的解碼操作分別是單個(gè)層中的視頻流編碼操作和視頻流解碼操作。因此，當(dāng)圖1A的編碼器12對(duì)至少兩層的視頻流進(jìn)行編碼時(shí)，圖1A的視頻編碼設(shè)備100可包括與層的數(shù)量一樣多的圖像編碼器400。類似地，當(dāng)圖2A的解碼器24對(duì)至少兩層的視頻流進(jìn)行解碼時(shí)，圖2A的視頻解碼設(shè)備200可包括與層的數(shù)量一樣多的圖像解碼器500。

圖15是示出根據(jù)各種實(shí)施方式的編碼單元和分區(qū)的示意圖。

根據(jù)各種實(shí)施方式的視頻編碼設(shè)備100和根據(jù)各種實(shí)施方式的視頻解碼設(shè)備200使用分層編碼單元，從而考慮圖像的特征。編碼單元的最大高度、最大寬度和最大深度可根據(jù)圖像的特征而自適應(yīng)地確定，或者可根據(jù)用戶需要而不同地設(shè)置。根據(jù)深度的較深編碼單元的尺寸可根據(jù)編碼單元的預(yù)定最大尺寸進(jìn)行確定。

在根據(jù)各種實(shí)施方式的編碼單元的分層結(jié)構(gòu)600中，編碼單元的最大高度和最大寬度均是64，并且最大深度是3。在這種情況下，最大深度是指編碼單元從最大編碼單元分割到最小編碼單元的總次數(shù)。由于深度沿著根據(jù)各種實(shí)施方式的編碼單元的分層結(jié)構(gòu)600的豎直軸加深，因此，較深編碼單元的高度和寬度均被分割。此外，沿著分層結(jié)構(gòu)600的水平軸示出作為每個(gè)較深編碼單元的預(yù)測(cè)編碼的基礎(chǔ)的預(yù)測(cè)單元和分區(qū)。

換言之，編碼單元610是分層結(jié)構(gòu)600中的最大編碼單元，其中深度為0并且尺寸(即，高度乘寬度)為64×64。深度沿著豎直軸加深，而且編碼單元620的尺寸為32×32且深度為1，編碼單元630的尺寸為16×16且深度為2，以及編碼單元640的尺寸為8×8且深度為3。尺寸為8×8且深度為3的編碼單元640是最小編碼單元。

編碼單元的預(yù)測(cè)單元和分區(qū)根據(jù)每個(gè)深度沿著水平軸布置。換言之，如果尺寸為64×64且深度為0的編碼單元610是預(yù)測(cè)單元，那么預(yù)測(cè)單元可分割成尺寸為64×64的編碼單元610中包括的分區(qū)，即，尺寸為64×64的分區(qū)610、尺寸為64×32的分區(qū)612、尺寸為32×64的分區(qū)614，或者尺寸為32×32的分區(qū)616。

同樣，尺寸為32×32且深度為1的編碼單元620的預(yù)測(cè)單元可分割成尺寸為32×32的編碼單元620中包括的分區(qū)，即，尺寸為32×32的分區(qū)620、尺寸為32×16的分區(qū)622、尺寸為16×32的分區(qū)624以及尺寸為16×16的分區(qū)626。

同樣，尺寸為16×16且深度為2的編碼單元630的預(yù)測(cè)單元可分割成尺寸為16×16的編碼單元630中包括的分區(qū)，即，編碼單元630中包括的尺寸為16×16的分區(qū)、尺寸為16×8的分區(qū)632、尺寸為8×16的分區(qū)634以及尺寸為8×8的分區(qū)636。

同樣，尺寸為8×8且深度為3的編碼單元640的預(yù)測(cè)單元可分割成尺寸為8×8的編碼單元640中包括的分區(qū)，即，編碼單元640中包括的尺寸為8×8的分區(qū)、尺寸為8×4的分區(qū)642、尺寸為4×8的分區(qū)644以及尺寸為4×4的分區(qū)646。

為了確定最大編碼單元610的深度，根據(jù)各種實(shí)施方式的視頻編碼設(shè)備100的編碼單元確定器120針對(duì)最大編碼單元610中包括的與每個(gè)深度對(duì)應(yīng)的編碼單元來執(zhí)行編碼。

包括相同范圍和相同尺寸的數(shù)據(jù)的、根據(jù)深度的較深編碼單元的數(shù)量隨著深度加深而增加。例如，需要四個(gè)對(duì)應(yīng)于深度2的編碼單元來覆蓋一個(gè)對(duì)應(yīng)于深度1的編碼單元中包括的數(shù)據(jù)。因此，為了將根據(jù)深度的相同數(shù)據(jù)的編碼結(jié)果進(jìn)行比較，對(duì)應(yīng)于深度1的編碼單元和對(duì)應(yīng)于深度2的四個(gè)編碼單元均被編碼。

為了針對(duì)深度之中的當(dāng)前深度執(zhí)行編碼，可通過沿著分層結(jié)構(gòu)600的水平軸、針對(duì)與當(dāng)前深度對(duì)應(yīng)的編碼單元中的每個(gè)預(yù)測(cè)單元執(zhí)行編碼，為當(dāng)前深度選擇最小編碼誤差?；蛘?，隨著深度沿著分層結(jié)構(gòu)600的豎直軸加深，可通過針對(duì)每個(gè)深度執(zhí)行編碼并根據(jù)深度來比較最小編碼誤差而搜索出最小編碼誤差。最大編碼單元610中具有最小編碼誤差的深度和分區(qū)可被選作最大編碼單元610的深度和分區(qū)模式。

圖16是用于描述根據(jù)各種實(shí)施方式的編碼單元與變換單元之間的關(guān)系的示意圖。

根據(jù)實(shí)施方式的視頻編碼設(shè)備100或根據(jù)實(shí)施方式的視頻解碼設(shè)備200根據(jù)每個(gè)最大編碼單元的、尺寸等于或小于最大編碼單元的編碼單元對(duì)圖像進(jìn)行編碼或解碼。在編碼期間用于變換的變換單元的尺寸可基于不大于對(duì)應(yīng)編碼單元的數(shù)據(jù)單元進(jìn)行選擇。

例如，在根據(jù)各種實(shí)施方式的視頻編碼設(shè)備100或根據(jù)各種實(shí)施方式的視頻解碼設(shè)備200中，如果編碼單元710的尺寸是64×64，那么可通過使用尺寸為32×32的變換單元720來執(zhí)行變換。

此外，可通過在尺寸為32×32、16×16、8×8和4×4(都小于64×64)的變換單元中的每個(gè)上執(zhí)行變換，從而對(duì)尺寸為64×64的編碼單元710的數(shù)據(jù)進(jìn)行編碼，并且隨后可選擇具有最小編碼誤差的變換單元。

圖17示出根據(jù)各種實(shí)施方式的多項(xiàng)編碼信息。

根據(jù)各種實(shí)施方式的視頻編碼設(shè)備100的輸出單元130可針對(duì)與深度對(duì)應(yīng)的每個(gè)編碼單元來編碼并傳輸分區(qū)模式信息800、預(yù)測(cè)模式信息810和變換單元尺寸信息820，以作為分割信息。

分區(qū)模式信息800表明與通過分割當(dāng)前編碼單元的預(yù)測(cè)單元而獲得的分區(qū)的形狀的有關(guān)信息，其中分區(qū)是用于對(duì)當(dāng)前編碼單元進(jìn)行預(yù)測(cè)編碼的數(shù)據(jù)單元。例如，尺寸為2N×2N的當(dāng)前編碼單元CU_0可分割成下列分區(qū)中的任一個(gè)：尺寸為2N×2N的分區(qū)802、尺寸為2N×N的分區(qū)804、尺寸為N×2N的分區(qū)806以及尺寸為N×N的分區(qū)808。在這種情況下，與當(dāng)前編碼單元的分區(qū)類型有關(guān)的分區(qū)模式信息800設(shè)置成表示下列一個(gè)：尺寸為2N×N的分區(qū)804、尺寸為N×2N的分區(qū)806以及尺寸為N×N的分區(qū)808。

預(yù)測(cè)模式信息810表明每個(gè)分區(qū)的預(yù)測(cè)模式。例如，預(yù)測(cè)模式信息810可表明在由分區(qū)模式信息800表明的分區(qū)上執(zhí)行的預(yù)測(cè)編碼的模式，即，幀內(nèi)模式812、幀間模式814或跳躍模式816。

變換單元尺寸信息820表明在當(dāng)前編碼單元上執(zhí)行變換時(shí)將依據(jù)的變換單元。例如，所述變換單元可以是第一幀內(nèi)變換單元822、第二幀內(nèi)變換單元824、第一幀間變換單元826或者第二幀間變換單元828。

根據(jù)各種實(shí)施方式的視頻解碼設(shè)備200的圖像數(shù)據(jù)與編碼信息提取器220可提取并使用分區(qū)模式信息800、預(yù)測(cè)模式信息810和變換單元尺寸信息820，以根據(jù)每個(gè)較深編碼單元進(jìn)行解碼。

圖18是根據(jù)各種實(shí)施方式的根據(jù)深度的較深編碼單元的示意圖。

分割信息可用來表明深度的變化。分割信息表明當(dāng)前深度的編碼單元是否分割成較深深度的編碼單元。

用于對(duì)深度為0且尺寸為2N_0×2N_0的編碼單元900進(jìn)行預(yù)測(cè)編碼的預(yù)測(cè)單元910可包括下列分區(qū)類型的分區(qū)：尺寸為2N_0×2N_0的分區(qū)模式912、尺寸為2N_0×N_0的分區(qū)模式914、尺寸為N_0×2N_0的分區(qū)模式916和尺寸為N_0×N_0的分區(qū)模式918。圖18只示出通過對(duì)稱地分割預(yù)測(cè)單元而獲取的分區(qū)912到918，但分區(qū)模式不限于此，并且預(yù)測(cè)單元的分區(qū)可包括不對(duì)稱分區(qū)、具有任意形狀的分區(qū)和具有幾何形狀的分區(qū)。

根據(jù)每個(gè)分區(qū)模式，在尺寸為2N_0×2N_0的一個(gè)分區(qū)、尺寸為2N_0×N_0的兩個(gè)分區(qū)、尺寸為N_0×2N_0的兩個(gè)分區(qū)和尺寸為N_0×N_0的四個(gè)分區(qū)上重復(fù)執(zhí)行預(yù)測(cè)編碼。可在尺寸為2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分區(qū)上執(zhí)行幀內(nèi)模式和幀間模式的預(yù)測(cè)編碼。只在尺寸為2N_0×2N_0的分區(qū)上執(zhí)行跳躍模式的預(yù)測(cè)編碼。

如果尺寸為2N_0×2N_0的分區(qū)模式912、尺寸為2N_0×N_0的分區(qū)模式914和尺寸為N_0×2N_0的分區(qū)模式916中的一個(gè)分區(qū)模式中的編碼誤差是最小誤差，那么預(yù)測(cè)單元910可不分割成較深深度。

如果尺寸為N_0×N_0的分區(qū)模式918的編碼誤差是最小誤差，那么在操作920中，深度從0變成1從而分割分區(qū)模式918，并且以深度為2且尺寸為N_0×N_0的分區(qū)模式在編碼單元930上重復(fù)執(zhí)行編碼，以搜索最小編碼誤差。

用于對(duì)深度為1且尺寸為2N_1×2N_1(＝N_0×N_0)的編碼單元930進(jìn)行預(yù)測(cè)編碼的預(yù)測(cè)單元940可包括下列分區(qū)模式的分區(qū)：尺寸為2N_1×2N_1的分區(qū)模式942、尺寸為2N_1×N_1的分區(qū)模式944、尺寸為N_1×2N_1的分區(qū)模式946和尺寸為N_1×N_1的分區(qū)模式948。

如果尺寸為N_1×N_1的分區(qū)模式948的編碼誤差是最小誤差，那么在操作950中，深度從1變成2從而分割分區(qū)模式948，并且在深度為2且尺寸為N_2×N_2的編碼單元960上重復(fù)執(zhí)行編碼，以搜索最小編碼誤差。

當(dāng)最大深度為d時(shí)，根據(jù)深度的較深編碼單元可設(shè)置到深度對(duì)應(yīng)于d-1時(shí)，并且分割信息可設(shè)置到深度對(duì)應(yīng)于d-2時(shí)。換言之，當(dāng)在操作970中在對(duì)應(yīng)于深度d-2的編碼單元進(jìn)行分割之后執(zhí)行編碼直到深度為d-1時(shí)，用于對(duì)深度為d-1且尺寸為2N_(d-1)×2N_(d-1)的編碼單元980進(jìn)行預(yù)測(cè)編碼的預(yù)測(cè)單元990可包括下列分區(qū)模式的分區(qū)：尺寸為2N_(d-1)×2N_(d-1)的分區(qū)模式992、尺寸為2N_(d-1)×N_(d-1)的分區(qū)模式994、尺寸為N_(d-1)×2N_(d-1)的分區(qū)模式996和尺寸為N_(d-1)×N_(d-1)的分區(qū)模式998。

可在分區(qū)模式之中的尺寸為2N_(d-1)×2N_(d-1)的一個(gè)分區(qū)、尺寸為2N_(d-1)×N_(d-1)的兩個(gè)分區(qū)、尺寸為N_(d-1)×2N_(d-1)的兩個(gè)分區(qū)、尺寸為N_(d-1)×N_(d-1)的四個(gè)分區(qū)上重復(fù)地執(zhí)行預(yù)測(cè)編碼，以搜索具有最小編碼誤差的分區(qū)模式。

即使在分區(qū)模式998具有最小編碼誤差時(shí)，由于最大深度為d，因此，深度為d-1的編碼單元CU_(d-1)不再分割到更深深度，并且構(gòu)成當(dāng)前最大編碼單元900的編碼單元的深度被確定為d-1，而且當(dāng)前最大編碼單元900的分區(qū)模式可被確定為N_(d-1)×N_(d-1)。此外，由于最大深度為d，因此，不設(shè)置深度為d-1的編碼單元952的分割信息。

數(shù)據(jù)單元999可以是當(dāng)前最大編碼單元的“最小單元”。根據(jù)各種實(shí)施方式的最小單元可以是通過將具有最深深度的最小編碼單元分割成4個(gè)而獲取的正方形數(shù)據(jù)單元。通過重復(fù)執(zhí)行編碼，根據(jù)各種實(shí)施方式的視頻編碼設(shè)備100可通過比較根據(jù)編碼單元900的深度的編碼誤差來選擇具有最小編碼誤差的深度從而確定深度，并且可將對(duì)應(yīng)分區(qū)模式和預(yù)測(cè)模式設(shè)置為深度的編碼模式。

因此，在所有的深度0、1、……、d-1、d中比較根據(jù)深度的最小編碼誤差，并且可將具有最小編碼誤差的深度確定為深度。深度、預(yù)測(cè)單元的分區(qū)模式和預(yù)測(cè)模式可作為分割信息而被編碼和傳輸。此外，由于編碼單元從深度0分割到深度，因此，只有深度的分割信息被設(shè)置為0，而除該深度之外的深度的分割信息被設(shè)置為1。

根據(jù)各種實(shí)施方式的視頻解碼設(shè)備200的圖像數(shù)據(jù)與編碼信息提取器220可提取并使用與編碼單元900的深度和預(yù)測(cè)單元有關(guān)的信息，從而對(duì)分區(qū)912進(jìn)行解碼。根據(jù)各種實(shí)施方式的視頻解碼設(shè)備200可通過使用根據(jù)深度的分割信息而將分割信息為0的深度確定為深度，并且可將對(duì)應(yīng)深度的分割信息用于解碼。

圖19、圖20和圖21是用于描述根據(jù)各種實(shí)施方式的編碼單元、預(yù)測(cè)單元與變換單元之間的關(guān)系的示意圖。

編碼單元1010是最大編碼單元中的由根據(jù)各種實(shí)施方式的視頻編碼設(shè)備100確定的、根據(jù)深度的具有樹形結(jié)構(gòu)的編碼單元。預(yù)測(cè)單元1060是根據(jù)深度的編碼單元中的每個(gè)編碼單元的預(yù)測(cè)單元的分區(qū)，并且變換單元1070是根據(jù)深度的編碼單元中的每個(gè)編碼單元的變換單元。

當(dāng)編碼單元1010中的最大編碼單元的深度為0時(shí)，編碼單元1012和1054的深度為1，編碼單元1014、1016、1018、1028、1050和1052的深度為2，編碼單元1020、1022、1024、1026、1030、1032和1048的深度為3，以及編碼單元1040、1042、1044和1046的深度為4。

在預(yù)測(cè)單元1060中，通過分割編碼單元1010中的編碼單元獲得一些編碼單元1014、1016、1022、1032、1048、1050、1052和1054。換言之，編碼單元1014、1022、1050和1054的分區(qū)模式具有尺寸2N×N，編碼單元1016、1048和1052的分區(qū)模式具有尺寸N×2N，以及編碼單元1032的分區(qū)模式具有尺寸N×N。編碼單元1010的預(yù)測(cè)單元和分區(qū)小于或等于每個(gè)編碼單元。

在小于編碼單元1052的數(shù)據(jù)單元中，對(duì)變換單元1070中的編碼單元1052的圖像數(shù)據(jù)執(zhí)行變換或逆變換。此外，變換單元1070中的編碼單元1014、1016、1022、1032、1048、1050和1052是在尺寸和形狀方面不同于預(yù)測(cè)單元1060中的數(shù)據(jù)單元的數(shù)據(jù)單元。換言之，根據(jù)各種實(shí)施方式的視頻編碼設(shè)備100和視頻解碼設(shè)備200可在相同編碼單元的單個(gè)數(shù)據(jù)單元上執(zhí)行幀內(nèi)預(yù)測(cè)、運(yùn)動(dòng)估算、運(yùn)動(dòng)補(bǔ)償、變換以及逆變換。

因此，對(duì)最大編碼單元的每個(gè)區(qū)域中具有分層結(jié)構(gòu)的編碼單元中的每個(gè)編碼單元遞歸地執(zhí)行編碼，以確定最佳編碼單元，因此，可獲得具有遞歸樹形結(jié)構(gòu)的編碼單元。編碼信息可包括與編碼單元有關(guān)的分割信息、與分區(qū)模式有關(guān)的信息、與預(yù)測(cè)模式有關(guān)的信息和與變換單元的尺寸有關(guān)的信息。表1示出可由根據(jù)各種實(shí)施方式的視頻編碼設(shè)備100和視頻解碼設(shè)備200設(shè)置的編碼信息。

表1

根據(jù)各種實(shí)施方式的視頻編碼設(shè)備100的輸出單元130可輸出與具有樹形結(jié)構(gòu)的編碼單元有關(guān)的編碼信息，并且根據(jù)各種實(shí)施方式的視頻解碼設(shè)備200的圖像數(shù)據(jù)與編碼信息提取器220可從接收的比特流中提取與具有樹形結(jié)構(gòu)的編碼單元有關(guān)的編碼信息。

分割信息表明當(dāng)前編碼單元是否分割成較深深度的編碼單元。如果當(dāng)前深度d的分割信息為0，那么當(dāng)前編碼單元不再分割到較深深度所處的深度是深度，因此，可針對(duì)該深度來限定與分區(qū)模式、預(yù)測(cè)模式和變換單元的尺寸有關(guān)的信息。如果當(dāng)前編碼單元根據(jù)分割信息進(jìn)一步分割，那么必須在較深深度的四個(gè)分割編碼單元上獨(dú)立執(zhí)行編碼。

預(yù)測(cè)模式可以是幀內(nèi)模式、幀間模式和跳躍模式中的一個(gè)。幀內(nèi)模式和幀間模式可限定于所有分區(qū)模式，而跳躍模式可以只限定于尺寸為2N×2N的分區(qū)模式。

與分區(qū)模式有關(guān)的信息可表明通過對(duì)稱地分割預(yù)測(cè)單元的高度或?qū)挾榷@取的尺寸為2N×2N、2N×N、N×2N和N×N的對(duì)稱分區(qū)模式，以及通過不對(duì)稱地分割預(yù)測(cè)單元的高度或?qū)挾榷@取的尺寸為2N×nU、2N×nD、nL×2N和nR×2N的不對(duì)稱分區(qū)模式?？煞謩e通過以1:3和3:1分割預(yù)測(cè)單元的高度來獲取尺寸為2N×nU和2N×nD的不對(duì)稱分區(qū)模式，并且可分別通過以1:3和3:1分割預(yù)測(cè)單元的寬度來獲取尺寸為nL×2N和nR×2N的不對(duì)稱分區(qū)模式。

變換單元的尺寸可設(shè)置為在幀內(nèi)模式下有兩個(gè)類型并且在幀間模式下有兩個(gè)類型。換言之，如果變換單元的分割信息為0，那么變換單元的尺寸可以是2N×2N，也就是當(dāng)前編碼單元的尺寸。如果變換單元的分割信息為1，那么可通過分割當(dāng)前編碼單元來獲得變換單元。此外，如果尺寸為2N×2N的當(dāng)前編碼單元的分區(qū)模式是對(duì)稱分區(qū)模式，那么變換單元的尺寸可以是N×N，并且如果當(dāng)前編碼單元的分區(qū)類型是不對(duì)稱分區(qū)模式，那么變換單元的尺寸可以是N/2×N/2。

根據(jù)各種實(shí)施方式的與具有樹形結(jié)構(gòu)的編碼單元有關(guān)的編碼信息可分配到與深度對(duì)應(yīng)的編碼單元、預(yù)測(cè)單元和最小單元中的至少一個(gè)。與深度對(duì)應(yīng)的編碼單元可包括具有相同編碼信息的預(yù)測(cè)單元和最小單元中的至少一個(gè)。

因此，通過比較相鄰數(shù)據(jù)單元的多項(xiàng)編碼信息來確定相鄰數(shù)據(jù)單元是否包括在與深度對(duì)應(yīng)的相同編碼單元中。此外，可通過使用數(shù)據(jù)單元的編碼信息來確定與深度對(duì)應(yīng)的對(duì)應(yīng)編碼單元，因此可推斷出最大編碼單元中的深度的分布。

因此，如果基于相鄰數(shù)據(jù)單元的編碼信息來預(yù)測(cè)當(dāng)前編碼單元，那么可直接參考并使用與當(dāng)前編碼單元相鄰的較深編碼單元中的數(shù)據(jù)單元的編碼信息。

作為另一示例，如果通過參考相鄰編碼單元來對(duì)當(dāng)前編碼單元進(jìn)行預(yù)測(cè)編碼，那么通過使用相鄰編碼單元的多項(xiàng)編碼信息以可參考相鄰編碼單元的方式來搜索與當(dāng)前編碼單元相鄰并且在較深編碼單元中的數(shù)據(jù)單元。

圖22是用于描述根據(jù)表1的編碼模式信息的編碼單元、預(yù)測(cè)單元與變換單元之間的關(guān)系的示意圖。

最大編碼單元1300包括編碼單元1302、1304、1306、1312、1314、1316、以及具有深度的1318。此處，由于編碼單元1318是具有深度的編碼單元，因此，分割信息可設(shè)置為0。與尺寸為2N×2N的編碼單元1318的分區(qū)模式有關(guān)的信息可設(shè)置為下列中的一個(gè)：尺寸為2N×2N的分區(qū)模式1322、尺寸為2N×N的分區(qū)模式1324、尺寸為N×2N的分區(qū)模式1326、尺寸為N×N的分區(qū)模式1328、尺寸為2N×nU的分區(qū)模式1332、尺寸為2N×nD的分區(qū)模式1334、尺寸為nL×2N的分區(qū)模式1336以及尺寸為nR×2N的分區(qū)模式1338。

變換單元分割信息(TU尺寸標(biāo)記)是一種類型的變換索引。對(duì)應(yīng)于變換索引的變換單元的尺寸可根據(jù)編碼單元的預(yù)測(cè)單元類型或分區(qū)模式而改變。

例如，當(dāng)與分區(qū)模式有關(guān)的信息設(shè)置為對(duì)稱，即，尺寸為2N×2N的分區(qū)模式1322、尺寸為2N×N的分區(qū)模式1324、尺寸為N×2N的分區(qū)模式1326或尺寸為N×N的分區(qū)模式1328時(shí)，如果變換單元的TU尺寸標(biāo)記為0則可設(shè)置尺寸為2N×2N的變換單元1342，而如果TU尺寸標(biāo)記為1則可設(shè)置尺寸為N×N的變換單元1344。

當(dāng)與分區(qū)模式有關(guān)的信息設(shè)置為不對(duì)稱，即，尺寸為2N×nU的分區(qū)模式1332、尺寸為2N×nD的分區(qū)模式1334、尺寸為nL×2N的分區(qū)模式1336或尺寸為nR×2N的分區(qū)模式1338時(shí)，如果TU尺寸標(biāo)記為0則可設(shè)置尺寸為2N×2N的變換單元1352，而如果TU尺寸標(biāo)記為1則可設(shè)置尺寸為N/2×N/2的變換單元1354。

參考圖22，TU尺寸標(biāo)記是值為0或1的標(biāo)記，但根據(jù)各種實(shí)施方式的TU尺寸標(biāo)記不限于1比特的標(biāo)記，并且在TU尺寸標(biāo)記從0增加時(shí)，變換單元可分層地分割。該TU尺寸標(biāo)記可以是變換索引的一個(gè)示例。

在這種情況下，實(shí)際使用的變換單元的尺寸可通過使用根據(jù)各種實(shí)施方式的TU尺寸標(biāo)記以及變換單元的最大尺寸和變換單元的最小尺寸一起來表示。根據(jù)各種實(shí)施方式的視頻編碼設(shè)備100可對(duì)最大變換單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)記信息進(jìn)行編碼。對(duì)最大變換單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)記信息進(jìn)行編碼的結(jié)果可插入到SPS。根據(jù)各種實(shí)施方式的視頻解碼設(shè)備200可通過使用最大變換單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)記信息來對(duì)視頻進(jìn)行解碼。

例如，(a)如果當(dāng)前編碼單元的尺寸是64×64并且最大變換單元尺寸是32×32，那么(a-1)變換單元的尺寸在TU尺寸標(biāo)記為0時(shí)可以是32×32，(a-2)在TU尺寸標(biāo)記為1時(shí)可以是16×16，以及(a-3)在TU尺寸標(biāo)記為2時(shí)可以是8×8。

作為另一示例，(b)如果當(dāng)前編碼單元的尺寸是32×32并且最小變換單元尺寸是32×32，那么(b-1)變換單元的尺寸在TU尺寸標(biāo)記為0時(shí)可以是32×32。此處，由于變換單元的尺寸不可小于32×32，因此，TU尺寸標(biāo)記無法設(shè)置成除了0之外的值。

作為另一示例，(c)如果當(dāng)前編碼單元的尺寸是64×64并且最大TU尺寸標(biāo)記是1，那么TU尺寸標(biāo)記可以是0或1。此處，TU尺寸標(biāo)記無法設(shè)置成除了0或1之外的值。

因此，如果將最大TU尺寸標(biāo)記定義為“MaxTransformSizeIndex”，將最小變換單元尺寸定義為“MinTransformSize”，并且當(dāng)TU尺寸標(biāo)記為0時(shí)變換單元尺寸為“RootTuSize”，那么可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸“CurrMinTuSize”可由等式(1)限定：

CurrMinTuSize

＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))...(1)

與可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸“CurrMinTuSize”相比，在TU尺寸標(biāo)記為0時(shí)的變換單元尺寸“RootTuSize”可表示可以在系統(tǒng)中選擇的最大變換單元尺寸。在等式(1)中，“RootTuSize/(2^MaxTransformSizeIndex)”表示在TU尺寸標(biāo)記為0時(shí)變換單元尺寸“RootTuSize”被分割對(duì)應(yīng)于最大TU尺寸標(biāo)記的次數(shù)時(shí)的變換單元尺寸，并且“MinTransformSize”表示最小變換尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”之中的較小值可以是可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸“CurrMinTuSize”。

根據(jù)各種實(shí)施方式的最大變換單元尺寸RootTuSize可根據(jù)預(yù)測(cè)模式而改變。

例如，如果當(dāng)前預(yù)測(cè)模式是幀間模式，那么“RootTuSize”可通過使用下列等式(2)來確定。在等式(2)中，“MaxTransformSize”表示最大變換單元尺寸，并且“PUSize”表示當(dāng)前預(yù)測(cè)單元尺寸。

RootTuSize＝min(MaxTransformSize,PUSize).........(2)

換言之，如果當(dāng)前預(yù)測(cè)模式是幀間模式，那么在TU尺寸標(biāo)記為0時(shí)，變換單元尺寸“RootTuSize”可以是最大變換單元尺寸和當(dāng)前預(yù)測(cè)單元尺寸之中的較小值。

如果當(dāng)前分區(qū)單元的預(yù)測(cè)模式是幀內(nèi)模式，那么“RootTuSize”可通過使用下列等式(3)來確定。在等式(3)中，“PartitionSize”表示當(dāng)前分區(qū)單元的尺寸。

RootTuSize＝min(MaxTransformSize,PartitionSize)...........(3)

換言之，如果當(dāng)前預(yù)測(cè)模式是幀內(nèi)模式，那么在TU尺寸標(biāo)記為0時(shí)，變換單元尺寸“RootTuSize”可以是最大變換單元尺寸和當(dāng)前分區(qū)單元的尺寸之中的較小值。

然而，根據(jù)分區(qū)單元中的預(yù)測(cè)模式的類型而改變的當(dāng)前最大變換單元尺寸“RootTuSize”僅僅是示例，并且本公開不限于此。

根據(jù)參考圖10到圖22描述的基于具有樹形結(jié)構(gòu)的編碼單元的視頻編碼方法，針對(duì)樹形結(jié)構(gòu)的每個(gè)編碼單元，將空間域的圖像數(shù)據(jù)編碼。根據(jù)基于具有樹形結(jié)構(gòu)的編碼單元的視頻解碼方法，針對(duì)每個(gè)最大編碼單元執(zhí)行解碼，以重建空間域的圖像數(shù)據(jù)。因此，可重建圖片和視頻(即，圖片序列)。重建的視頻可由播放設(shè)備播放、可存儲(chǔ)在存儲(chǔ)介質(zhì)中，或可通過網(wǎng)絡(luò)傳輸。

根據(jù)本公開的實(shí)施方式可編寫為計(jì)算機(jī)程序，并且可在使用非瞬時(shí)計(jì)算機(jī)可讀記錄介質(zhì)執(zhí)行程序的通用數(shù)字計(jì)算機(jī)中實(shí)施。非瞬時(shí)計(jì)算機(jī)可讀記錄介質(zhì)的示例包括磁存儲(chǔ)介質(zhì)(例如，ROM、軟盤、硬盤等)和光記錄介質(zhì)(例如，CD-ROM或DVD)。

為便于描述，上文參考圖1A到圖22描述的層間視頻編碼方法和/或視頻編碼方法將統(tǒng)一被稱為“本公開的視頻編碼方法”。此外，上文參考圖1A到圖22描述的層間視頻解碼方法和/或視頻解碼方法將被稱為“本公開的視頻解碼方法”。

另外，已參考圖1A到圖22描述的視頻編碼設(shè)備(包括層間視頻編碼設(shè)備10、視頻編碼設(shè)備100或或圖像編碼器400)將被稱為“本公開的視頻編碼設(shè)備”。另外，已參考圖1A到圖22描述的視頻解碼設(shè)備(包括層間視頻解碼設(shè)備20、視頻解碼設(shè)備200或圖像解碼器500)將被稱為“本公開的視頻解碼設(shè)備”。

現(xiàn)在將詳細(xì)描述根據(jù)各種實(shí)施方式的存儲(chǔ)程序的非瞬時(shí)計(jì)算機(jī)可讀記錄介質(zhì)，諸如，盤片26000。

圖23是根據(jù)各種實(shí)施方式的存儲(chǔ)有程序的盤片26000的物理結(jié)構(gòu)的示意圖。盤片26000作為一種存儲(chǔ)介質(zhì)，其可以是硬盤驅(qū)動(dòng)器、緊密式只讀存儲(chǔ)器(CD-ROM)盤、藍(lán)光光盤或數(shù)字多功能盤(DVD)。盤片26000包括多個(gè)同心盤道Tr，所述同心盤道Tr各自在盤片26000的圓周方向上分成特定數(shù)量的扇區(qū)Se。在根據(jù)各種實(shí)施方式的盤片26000的特定區(qū)域中，可分配并存儲(chǔ)執(zhí)行上述量化參數(shù)確定方法、視頻編碼方法和視頻解碼方法的程序。

現(xiàn)在將參考圖24描述使用存儲(chǔ)介質(zhì)實(shí)現(xiàn)的計(jì)算機(jī)系統(tǒng)，所述存儲(chǔ)介質(zhì)存儲(chǔ)用于執(zhí)行上述視頻編碼方法和視頻解碼方法的程序。

圖24是用于通過使用盤片26000來記錄和讀取程序的盤片驅(qū)動(dòng)器26800的示意圖。計(jì)算機(jī)系統(tǒng)26700可經(jīng)由盤片驅(qū)動(dòng)器26800在盤片26000中存儲(chǔ)用于執(zhí)行本公開的視頻編碼方法和視頻解碼方法中的至少一個(gè)的程序。為了在計(jì)算機(jī)系統(tǒng)26700中運(yùn)行存儲(chǔ)在盤片26000中的程序，可從盤片26000中讀取程序并且通過使用盤片驅(qū)動(dòng)器27000將程序傳輸?shù)接?jì)算機(jī)系統(tǒng)26700。

執(zhí)行本公開的視頻編碼方法和視頻解碼方法中的至少一個(gè)的程序可不僅存儲(chǔ)在圖23和圖24所示的盤片26000中，還可存儲(chǔ)在存儲(chǔ)卡、ROM盒式磁帶或固態(tài)驅(qū)動(dòng)器(SSD)中。

下文將描述應(yīng)用上文所述的根據(jù)實(shí)施方式的視頻編碼方法和視頻解碼方法的系統(tǒng)。

圖25是用于提供內(nèi)容分發(fā)服務(wù)的內(nèi)容供應(yīng)系統(tǒng)11000的整體結(jié)構(gòu)的示意圖。通信系統(tǒng)的服務(wù)區(qū)域分成預(yù)定尺寸的小區(qū)，并且無線基站11700、11800、11900和12000分別安裝在這些小區(qū)中。

內(nèi)容供應(yīng)系統(tǒng)11000包括多個(gè)獨(dú)立裝置。例如，諸如計(jì)算機(jī)12100、個(gè)人數(shù)字助理(PDA)12200、攝像機(jī)12300和移動(dòng)電話12500等多個(gè)獨(dú)立裝置經(jīng)由互聯(lián)網(wǎng)服務(wù)提供商11200、通信網(wǎng)絡(luò)11400以及無線基站11700、11800、11900和12000連接到互聯(lián)網(wǎng)11100。

然而，內(nèi)容供應(yīng)系統(tǒng)11000不限于如圖25所示的系統(tǒng)，并且裝置可選擇性地連接到該系統(tǒng)。多個(gè)獨(dú)立裝置可直接連接到通信網(wǎng)絡(luò)11400，而不經(jīng)過無線基站11700、11800、11900和12000。

攝像機(jī)12300是能夠拍攝視頻圖像的成像裝置，例如，數(shù)字?jǐn)z像機(jī)。移動(dòng)電話12500可采用例如個(gè)人數(shù)字通信(PDC)、碼分多址(CDMA)、寬帶碼分多址(W-CDMA)、全球移動(dòng)通信系統(tǒng)(GSM)以及個(gè)人手持式電話系統(tǒng)(PHS)等各種協(xié)議中的至少一個(gè)通信方法。

攝像機(jī)12300可經(jīng)由無線基站11900和通信網(wǎng)絡(luò)11400連接到流式服務(wù)器11300。流式服務(wù)器11300允許經(jīng)由攝像機(jī)12300從用戶接收的內(nèi)容經(jīng)過實(shí)時(shí)廣播進(jìn)行流傳輸。從攝像機(jī)12300接收的內(nèi)容可由攝像機(jī)12300或流式服務(wù)器11300進(jìn)行編碼。由攝像機(jī)12300拍攝的視頻數(shù)據(jù)可經(jīng)由計(jì)算機(jī)12100傳輸?shù)搅魇椒?wù)器11300。

由相機(jī)12600拍攝的視頻數(shù)據(jù)也可經(jīng)由計(jì)算機(jī)12100傳輸?shù)搅魇椒?wù)器11300。相機(jī)12600是能夠拍攝靜態(tài)圖像和視頻圖像的成像裝置，類似于數(shù)字相機(jī)。由相機(jī)12600拍攝的視頻數(shù)據(jù)可由相機(jī)12600或計(jì)算機(jī)12100進(jìn)行編碼。對(duì)視頻執(zhí)行編碼和解碼的軟件可存儲(chǔ)在可由計(jì)算機(jī)12100訪問的非瞬時(shí)計(jì)算機(jī)可讀記錄介質(zhì)中，例如，CD-ROM盤、軟盤、硬盤驅(qū)動(dòng)器、SSD或存儲(chǔ)卡。

如果視頻數(shù)據(jù)由內(nèi)置在移動(dòng)電話12500中的相機(jī)拍攝，那么視頻數(shù)據(jù)可從移動(dòng)電話12500中接收。

視頻數(shù)據(jù)也可由安裝在攝像機(jī)12300、移動(dòng)電話12500或相機(jī)12600中的大規(guī)模集成電路(LSI)系統(tǒng)進(jìn)行編碼。

在根據(jù)各種實(shí)施方式的內(nèi)容供應(yīng)系統(tǒng)11000中，由用戶使用攝像機(jī)12300、相機(jī)12600、移動(dòng)電話12500或另一成像裝置記錄的內(nèi)容數(shù)據(jù)(例如，在音樂會(huì)期間記錄的內(nèi)容)被編碼并傳輸?shù)搅魇椒?wù)器11300。流式服務(wù)器11300可采用流內(nèi)容類型將編碼的內(nèi)容數(shù)據(jù)傳輸?shù)秸?qǐng)求內(nèi)容數(shù)據(jù)的其他客戶端。

客戶端(例如，計(jì)算機(jī)12100、PDA 12200、攝像機(jī)12300或移動(dòng)電話12500)是能夠?qū)幋a的內(nèi)容數(shù)據(jù)進(jìn)行解碼的裝置。因此，內(nèi)容供應(yīng)系統(tǒng)11000允許客戶端接收和播放編碼的內(nèi)容數(shù)據(jù)。此外，內(nèi)容供應(yīng)系統(tǒng)11000允許客戶端接收編碼的內(nèi)容數(shù)據(jù)，并且實(shí)時(shí)解碼和播放編碼的內(nèi)容數(shù)據(jù)，從而實(shí)現(xiàn)個(gè)人播放。

本公開的視頻編碼設(shè)備和視頻解碼設(shè)備可應(yīng)用于內(nèi)容供應(yīng)系統(tǒng)11000中包括的多個(gè)獨(dú)立裝置的編碼操作和解碼操作。

現(xiàn)在將參考圖26和圖27詳細(xì)地描述內(nèi)容供應(yīng)系統(tǒng)11000中包括的移動(dòng)電話12500的實(shí)施方式。

圖26示出根據(jù)各種實(shí)施方式的應(yīng)用本公開的視頻編碼方法和視頻解碼方法的移動(dòng)電話12500的外部結(jié)構(gòu)。移動(dòng)電話12500可以是智能電話，它的功能不受限制并且其大量的功能可改變或擴(kuò)展。

移動(dòng)電話12500包括外部天線12510，經(jīng)由該外部天線，射頻(RF)信號(hào)可與圖21的無線基站12000進(jìn)行交換。移動(dòng)電話12500還包括顯示屏12520，所述顯示屏12520用于顯示由相機(jī)12530拍攝的圖像或經(jīng)由天線12510接收并解碼的圖像，例如，液晶顯示器(LCD)或有機(jī)發(fā)光二極管(OLED)屏。移動(dòng)電話12500包括操作面板12540，所述操作面板12540包括控制按鈕和觸摸面板。如果顯示屏12520是觸摸屏，那么操作面板12540進(jìn)一步包括顯示屏12520的觸摸感應(yīng)面板。移動(dòng)電話12500包括：用于輸出語音和聲音的揚(yáng)聲器12580或另一類型的聲音輸出單元，以及用于輸入語音和聲音的麥克風(fēng)12550或另一類型的聲音輸入單元。移動(dòng)電話12500進(jìn)一步包括相機(jī)12530，諸如，電荷耦合裝置(CCD)相機(jī)，以拍攝視頻或靜態(tài)圖像。移動(dòng)電話12500可進(jìn)一步包括：存儲(chǔ)介質(zhì)12570，該存儲(chǔ)介質(zhì)12570用于存儲(chǔ)編碼/解碼的數(shù)據(jù)，例如，由相機(jī)12530拍攝、經(jīng)由電子郵件接收或根據(jù)各種方式獲取的視頻或靜態(tài)圖像；以及槽12560，存儲(chǔ)介質(zhì)12570經(jīng)由該槽12560裝載到移動(dòng)電話12500中。存儲(chǔ)介質(zhì)12570可以是閃存，例如，安全數(shù)字(SD)卡或者包括在塑料盒中的電可擦除可編程只讀存儲(chǔ)器(EEPROM)。

圖27示出移動(dòng)電話12500的內(nèi)部結(jié)構(gòu)。為了系統(tǒng)地控制包括顯示屏12520和操作面板12540的移動(dòng)電話12500的部分，電源電路12700、操作輸入控制器12640、圖像編碼單元12720、相機(jī)接口12630、LCD控制器12620、圖像解碼單元12690、多路復(fù)用器/多路分解器12680、記錄/讀取單元12670、調(diào)制/解調(diào)單元12660以及聲音處理器12650經(jīng)由同步總線12730連接到中央控制器12710。

如果用戶操作電源按鈕并從“關(guān)機(jī)”狀態(tài)設(shè)置到“開機(jī)”狀態(tài)，那么電源電路12700將電力從電池組供應(yīng)到移動(dòng)電話12500的所有部分，從而在操作模式下設(shè)置移動(dòng)電話12500。

中央控制器12710包括中央處理單元(CPU)、ROM和RAM。

在移動(dòng)電話12500將通信數(shù)據(jù)傳輸?shù)酵獠繒r(shí)，移動(dòng)電話12500在中央控制器12710的控制下生成數(shù)字信號(hào)。例如，聲音處理器12650可生成數(shù)字聲音信號(hào)，圖像編碼單元12720可產(chǎn)生數(shù)字圖像信號(hào)，并且消息的文本數(shù)據(jù)可經(jīng)由操作面板12540和操作輸入控制器12640生成。當(dāng)數(shù)字信號(hào)在中央控制器12710的控制下傳輸?shù)秸{(diào)制/解調(diào)單元12660時(shí)，調(diào)制/解調(diào)單元12660對(duì)數(shù)字信號(hào)的頻帶進(jìn)行調(diào)制，并且通信電路12610在頻帶經(jīng)調(diào)制的數(shù)字聲音信號(hào)上執(zhí)行數(shù)模轉(zhuǎn)換(DAC)和頻率轉(zhuǎn)換。從通信電路12610輸出的傳輸信號(hào)可經(jīng)由天線12510傳輸?shù)秸Z音通信基站或無線基站12000。

例如，當(dāng)移動(dòng)電話12500處于對(duì)話模式時(shí)，經(jīng)由麥克風(fēng)12550獲取的聲音信號(hào)在中央控制器12710的控制下被聲音處理器12650轉(zhuǎn)換成數(shù)字聲音信號(hào)。所生成的數(shù)字聲音信號(hào)可通過調(diào)制/解調(diào)單元12660和通信電路12610轉(zhuǎn)換成傳輸信號(hào)，并且可經(jīng)由天線12510進(jìn)行傳輸。

當(dāng)文本消息(例如，電子郵件)在數(shù)據(jù)通信模式下傳輸時(shí)，文本消息的文本數(shù)據(jù)經(jīng)由操作面板12540輸入，并且經(jīng)由操作輸入控制器12640傳輸?shù)街醒肟刂破?2610。在中央控制器12610的控制下，文本數(shù)據(jù)經(jīng)由調(diào)制/解調(diào)單元12660和通信電路12610變換成傳輸信號(hào)，并且經(jīng)由天線12510傳輸?shù)綗o線基站12000。

為了在數(shù)據(jù)通信模式下傳輸圖像數(shù)據(jù)，經(jīng)由相機(jī)接口12630將相機(jī)12530拍攝的圖像數(shù)據(jù)提供到圖像編碼單元12720。拍攝的圖像數(shù)據(jù)可經(jīng)由相機(jī)接口12630和LCD控制器12620直接顯示在顯示屏12520上。

圖像編碼單元12720的結(jié)構(gòu)可對(duì)應(yīng)于本公開的上述視頻編碼設(shè)備的結(jié)構(gòu)。圖像編碼單元12720可根據(jù)本公開的上述視頻編碼方法將從相機(jī)12530接收的圖像數(shù)據(jù)變換成壓縮且編碼的圖像數(shù)據(jù)，并且隨后可將編碼的圖像數(shù)據(jù)輸出到多路復(fù)用器/多路分解器12680。在相機(jī)12530的記錄操作期間，由移動(dòng)電話12500的麥克風(fēng)12550獲得的聲音信號(hào)可經(jīng)由聲音處理器12650變換成數(shù)字聲音數(shù)據(jù)，并且數(shù)字聲音數(shù)據(jù)可傳輸?shù)蕉嗦窂?fù)用器/多路分解器12680。

多路復(fù)用器/多路分解器12680將從圖像編碼單元12720接收的編碼圖像數(shù)據(jù)與從聲音處理器12650接收的聲音數(shù)據(jù)多路復(fù)用。多路復(fù)用數(shù)據(jù)的結(jié)果可經(jīng)由調(diào)制/解調(diào)單元12660和通信單元12610轉(zhuǎn)換成傳輸信號(hào)，并且可隨后經(jīng)由天線12510傳輸。

當(dāng)移動(dòng)電話12500接收來自外源的通信數(shù)據(jù)時(shí)，在經(jīng)由天線12510接收的信號(hào)上執(zhí)行頻率恢復(fù)和模數(shù)轉(zhuǎn)換(ADC)，以將該信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。調(diào)制/解調(diào)單元12660對(duì)數(shù)字信號(hào)的頻帶進(jìn)行調(diào)制。根據(jù)數(shù)字信號(hào)的類型，頻帶經(jīng)過調(diào)制的數(shù)字信號(hào)傳輸?shù)揭曨l解碼單元12690、聲音處理器12650或LCD控制器12620。

在對(duì)話模式下，移動(dòng)電話12500將經(jīng)由天線12510接收的信號(hào)放大，并且通過在放大的信號(hào)上執(zhí)行頻率轉(zhuǎn)換和ADC來獲取數(shù)字聲音信號(hào)。在中央控制器12710的控制下，接收的數(shù)字聲音信號(hào)經(jīng)由調(diào)制/解調(diào)單元12660和聲音處理器12650轉(zhuǎn)換成模擬聲音信號(hào)，并且模擬聲音信號(hào)經(jīng)由揚(yáng)聲器12580輸出。

在數(shù)據(jù)通信模式下，當(dāng)接收到在互聯(lián)網(wǎng)網(wǎng)站訪問的視頻文件的數(shù)據(jù)時(shí)，經(jīng)由調(diào)制/解調(diào)單元12660將經(jīng)由天線12510從無線基站12000接收的信號(hào)作為多路復(fù)用數(shù)據(jù)輸出，并且將多路復(fù)用數(shù)據(jù)傳輸?shù)蕉嗦窂?fù)用器/多路分解器12680。

為了對(duì)經(jīng)由天線12510接收的多路復(fù)用的數(shù)據(jù)進(jìn)行解碼，多路復(fù)用器/多路分解器12680將多路復(fù)用的數(shù)據(jù)多路分解成編碼視頻數(shù)據(jù)流和編碼音頻數(shù)據(jù)流。經(jīng)由同步總線12730，編碼視頻數(shù)據(jù)流和編碼音頻數(shù)據(jù)流分別被提供到視頻解碼單元12690和聲音處理器12650。

圖像解碼單元12690的結(jié)構(gòu)可對(duì)應(yīng)于本公開的上述視頻解碼設(shè)備的結(jié)構(gòu)。根據(jù)本公開的上述視頻解碼方法，圖像解碼單元12690可對(duì)編碼的視頻數(shù)據(jù)進(jìn)行解碼，以生成重建的視頻數(shù)據(jù)，并且經(jīng)由LCD控制器12620將重建的視頻數(shù)據(jù)提供到顯示屏12520。

因此，在互聯(lián)網(wǎng)網(wǎng)站訪問的視頻文件的數(shù)據(jù)可顯示在顯示屏12520上。同時(shí)，聲音處理器12650可將音頻數(shù)據(jù)轉(zhuǎn)換成模擬聲音信號(hào)，并且將模擬聲音信號(hào)提供到揚(yáng)聲器12580。因此，在互聯(lián)網(wǎng)網(wǎng)站訪問的視頻文件中含有的音頻數(shù)據(jù)也可經(jīng)由麥克風(fēng)12580而播放。

移動(dòng)電話12500或另一類型的通信終端可以是包括本公開的視頻編碼設(shè)備和視頻解碼設(shè)備的收發(fā)終端，可以是只包括本公開的視頻編碼設(shè)備的收發(fā)終端，或者可以是只包括本公開的視頻解碼設(shè)備的收發(fā)終端。

根據(jù)本公開的通信系統(tǒng)不限于上文參考圖26描述的通信系統(tǒng)。例如，圖28示出根據(jù)各種實(shí)施方式的采用通信系統(tǒng)的數(shù)字廣播系統(tǒng)。根據(jù)各種實(shí)施方式的圖28的數(shù)字廣播系統(tǒng)可通過使用本公開的視頻編碼設(shè)備和視頻解碼設(shè)備來接收經(jīng)由衛(wèi)星或地面網(wǎng)絡(luò)傳輸?shù)臄?shù)字廣播。

更具體地，廣播站12890通過使用無線電波而將視頻數(shù)據(jù)流傳輸?shù)酵ㄐ判l(wèi)星或廣播衛(wèi)星12900。廣播衛(wèi)星12900傳輸廣播信號(hào)，并且廣播信號(hào)經(jīng)由家用天線12860傳輸?shù)叫l(wèi)星廣播接收器。在每個(gè)家庭中，編碼的視頻流可由TV接收器12810、機(jī)頂盒12870或另一裝置解碼并播放。

當(dāng)本公開的視頻解碼設(shè)備實(shí)施于播放設(shè)備12830中時(shí)，播放設(shè)備12830可對(duì)記錄在存儲(chǔ)介質(zhì)12820(諸如，盤片或存儲(chǔ)卡)上的編碼視頻流進(jìn)行解析和解碼，以重建數(shù)字信號(hào)。因此，重建的視頻信號(hào)可例如在顯示器12840上播放。

在連接到用于衛(wèi)星/地面廣播的天線12860或用于接收電纜電視(TV)廣播的電纜12850的機(jī)頂盒12870中，可安裝本公開的視頻解碼設(shè)備。從機(jī)頂盒12870輸出的數(shù)據(jù)也可在TV顯示器12880上播放。

作為另一示例，本公開的視頻解碼設(shè)備可安裝在TV接收器12810中，而不是機(jī)頂盒12870中。

具有適當(dāng)天線12910的汽車12920可接收從衛(wèi)星12900或圖23的無線基站11700傳輸?shù)男盘?hào)。解碼的視頻可在安裝于汽車12920中的汽車導(dǎo)航系統(tǒng)12930的顯示屏上播放。

視頻信號(hào)可由本公開的視頻編碼設(shè)備進(jìn)行編碼，并且可隨后記錄并存儲(chǔ)到存儲(chǔ)介質(zhì)中。具體而言，圖像信號(hào)可由DVD記錄器存儲(chǔ)在DVD光盤12960中，或者可由硬盤記錄器12950存儲(chǔ)在硬盤中。作為另一示例，視頻信號(hào)可存儲(chǔ)在SD卡12970中。如果硬盤記錄器12950包括根據(jù)各種實(shí)施方式的本公開的視頻解碼設(shè)備，那么記錄在DVD光盤12960、SD卡12970或另一存儲(chǔ)介質(zhì)上的視頻信號(hào)可在TV顯示器12880上播放。

汽車導(dǎo)航系統(tǒng)12930可不包括圖28的相機(jī)12530、相機(jī)接口12630和圖像編碼單元12720。例如，計(jì)算機(jī)12100和TV接收器12810可不包括圖28的相機(jī)12530、相機(jī)接口12630和圖像編碼單元12720。

圖29是示出根據(jù)各種實(shí)施方式的使用視頻編碼設(shè)備和視頻解碼設(shè)備的云計(jì)算系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)的示意圖。

本公開的云計(jì)算系統(tǒng)可包括云計(jì)算服務(wù)器14000、用戶數(shù)據(jù)庫(DB)14100、多個(gè)計(jì)算資源14200、以及用戶終端。

響應(yīng)于來自用戶終端的請(qǐng)求，云計(jì)算系統(tǒng)經(jīng)由數(shù)據(jù)通信網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng))來提供多個(gè)計(jì)算資源14200的按需外包服務(wù)。在云計(jì)算環(huán)境下，通過使用虛擬化技術(shù)將位于物理上不同位置的數(shù)據(jù)中心處的計(jì)算資源相結(jié)合，服務(wù)提供商為用戶提供所需的服務(wù)。服務(wù)用戶不必將計(jì)算資源(例如，應(yīng)用程序、存儲(chǔ)設(shè)備、操作系統(tǒng)(OS)和安全應(yīng)用)安裝到他/她自己的終端中以進(jìn)行使用，而是可在所需的時(shí)間點(diǎn)從通過虛擬化技術(shù)生成的虛擬空間中的服務(wù)之中選擇并使用所需服務(wù)。

使用指定服務(wù)的用戶的用戶終端經(jīng)由包括互聯(lián)網(wǎng)和移動(dòng)遠(yuǎn)程通信網(wǎng)絡(luò)的數(shù)據(jù)通信網(wǎng)絡(luò)連接到云計(jì)算服務(wù)器14000。從云計(jì)算服務(wù)器14000可對(duì)用戶終端提供云計(jì)算服務(wù)，具體地如視頻播放服務(wù)。用戶終端可以是能夠連接到互聯(lián)網(wǎng)的各種類型的電子裝置，例如，臺(tái)式PC 14300、智能TV 14400、智能電話14500、筆記本電腦14600、便攜式多媒體播放器(PMP)14700、平板PC 14800等。

云計(jì)算服務(wù)器14000可將分布在云網(wǎng)絡(luò)中的多個(gè)計(jì)算資源14200進(jìn)行組合，并且將組合的結(jié)果提供到用戶終端。多個(gè)計(jì)算資源14200可包括各種數(shù)據(jù)服務(wù)，并且可包括從用戶終端上傳的數(shù)據(jù)。如上文所述，云計(jì)算服務(wù)器14000可通過根據(jù)虛擬化技術(shù)將分布在不同區(qū)域中的視頻數(shù)據(jù)庫進(jìn)行組合來將所需的服務(wù)提供到用戶終端。

與訂閱云計(jì)算服務(wù)的用戶有關(guān)的用戶信息存儲(chǔ)在用戶數(shù)據(jù)庫14100中。用戶信息可包括用戶的登錄信息、地址、姓名和個(gè)人信用信息。用戶信息可進(jìn)一步包括視頻的索引。此處，索引可包括已經(jīng)播放的視頻列表、正在播放的視頻列表、過去播放的視頻的暫停點(diǎn)等。

存儲(chǔ)在用戶數(shù)據(jù)庫14100中的與視頻有關(guān)的信息可在用戶裝置之間共享。例如，當(dāng)響應(yīng)于來自筆記本電腦14600的請(qǐng)求而將視頻服務(wù)提供到筆記本電腦14600時(shí)，視頻服務(wù)的播放歷史便存儲(chǔ)在用戶數(shù)據(jù)庫14100中。當(dāng)從智能電話14500接收播放該視頻服務(wù)的請(qǐng)求時(shí)，云計(jì)算服務(wù)器14000基于用戶數(shù)據(jù)庫14100來搜索并播放該視頻服務(wù)。當(dāng)智能電話14500接收來自云計(jì)算服務(wù)器14000的視頻數(shù)據(jù)流時(shí)，通過對(duì)視頻數(shù)據(jù)流進(jìn)行解碼來播放視頻的過程類似于上文參考圖29描述的移動(dòng)電話12500的操作。

云計(jì)算服務(wù)器14000可參考存儲(chǔ)在用戶數(shù)據(jù)庫14100中的所需視頻服務(wù)的播放歷史。例如，云計(jì)算服務(wù)器14000接收來自用戶終端的播放存儲(chǔ)在用戶數(shù)據(jù)庫14100中的視頻的請(qǐng)求。如果這個(gè)視頻已在播放，那么由云計(jì)算服務(wù)器14000執(zhí)行的流傳輸這個(gè)視頻的方法可根據(jù)用戶終端的請(qǐng)求而改變，即，根據(jù)從視頻的開頭還是暫停點(diǎn)開始播放該視頻。例如，如果用戶終端請(qǐng)求從視頻的開頭開始播放該視頻，那么云計(jì)算服務(wù)器14000將從視頻的第一幀開始的視頻流數(shù)據(jù)傳輸?shù)接脩艚K端。如果用戶終端請(qǐng)求從視頻的暫停點(diǎn)開始播放該視頻，那么云計(jì)算服務(wù)器14000將從對(duì)應(yīng)于暫停點(diǎn)的幀開始的視頻流數(shù)據(jù)傳輸?shù)接脩艚K端。

在這種情況下，用戶終端可包括如上文參考圖1A到圖22描述的本公開的視頻解碼設(shè)備。作為另一示例，用戶終端可包括如上文參考圖1A到圖22描述的本公開的視頻編碼設(shè)備。或者，用戶終端可包括如上文參考圖1A到圖22描述的本公開的視頻解碼設(shè)備和視頻編碼設(shè)備兩者。

上文參考圖23到圖29描述了上文參考圖1A到圖22描述的根據(jù)各種實(shí)施方式的視頻編碼方法、視頻解碼方法、視頻編碼設(shè)備和視頻解碼設(shè)備的各種應(yīng)用。然而，根據(jù)各種實(shí)施方式的將視頻編碼方法和視頻解碼方法存儲(chǔ)在存儲(chǔ)介質(zhì)中的方法或者在裝置中實(shí)施視頻編碼設(shè)備和視頻解碼設(shè)備的方法不限于上文參考圖23到圖29描述的實(shí)施方式。

本領(lǐng)域普通技術(shù)人員將理解，在不脫離如所附權(quán)利要求限定的本公開的精神和范圍的情況下，可對(duì)本公開在形式和細(xì)節(jié)方面做出各種改變。實(shí)施方式應(yīng)僅被視作描述，而不是用于限制的目的。因此，本公開的范圍并不由本公開的詳細(xì)描述而限定，而是由所附權(quán)利要求限定，并且該范圍內(nèi)的所有差異都將被解釋為包括在本公開中。