一個或多個示例性實施方式涉及用于圖像填充區(qū)域的視頻編碼和解碼方法和設(shè)備，更具體地，涉及用于提高圖像填充區(qū)域的視頻編碼和解碼效率的方法和設(shè)備。

背景技術(shù)：

隨著開發(fā)和供應(yīng)用于播放和存儲高分辨率或高質(zhì)量視頻內(nèi)容的硬件，針對用于將高分辨率或高質(zhì)量視頻內(nèi)容高效編碼或解碼的視頻編解碼器的需求逐漸增長。根據(jù)傳統(tǒng)的視頻編解碼器，基于具有預(yù)定尺寸的宏塊來根據(jù)有限編碼方法對視頻進行編碼。

經(jīng)由頻率轉(zhuǎn)換將空間域的圖像數(shù)據(jù)轉(zhuǎn)換成頻域的系數(shù)。根據(jù)視頻編解碼器，將圖像分割成具有預(yù)定尺寸的塊，針對每個單獨的塊執(zhí)行離散余弦變換(DCT)，并且以塊為單位對頻率系數(shù)進行編碼，從而快速計算頻率轉(zhuǎn)換。與空間域的圖像數(shù)據(jù)相比，頻域的系數(shù)容易壓縮。具體而言，由于根據(jù)視頻編解碼器的幀間預(yù)測或幀內(nèi)預(yù)測的預(yù)測誤差來表達空間域的圖像像素值，因此，當(dāng)在預(yù)測誤差上執(zhí)行頻率轉(zhuǎn)換時，可將大量的數(shù)據(jù)轉(zhuǎn)換成0。根據(jù)視頻編解碼器，可通過用小尺寸的數(shù)據(jù)替換連續(xù)重復(fù)生成的數(shù)據(jù)來減少數(shù)據(jù)量。

另外，由于正在開發(fā)和供應(yīng)用于再現(xiàn)和存儲具有各種分辨率的視頻內(nèi)容的硬件，所以如果圖像尺寸與基本處理單元的倍數(shù)不匹配，則可以通過填充來處理圖像。

技術(shù)實現(xiàn)要素：

問題的解決方案

視頻編碼方法包括：在輸入圖像之外執(zhí)行填充，以使得輸入圖像的尺寸是最大編碼單元的倍數(shù)；在當(dāng)前最大編碼單元包括通過填充生成的填充區(qū)域時，通過利用輸入圖像和填充區(qū)域的邊界分割當(dāng)前最大編碼單元來確定編碼單元；確定指示包括在填充區(qū)域中的編碼單元是否具有非零系數(shù)的信息為0；以及對包括所確定的信息的比特流進行編碼。

有益效果

視頻編碼方法包括：在輸入圖像之外執(zhí)行填充，以使得輸入圖像的尺寸是最大編碼單元的倍數(shù)；在當(dāng)前最大編碼單元包括通過填充生成的填充區(qū)域時，通過利用輸入圖像和填充區(qū)域的邊界分割當(dāng)前最大編碼單元來確定編碼單元；確定指示包括在填充區(qū)域中的編碼單元是否具有非零系數(shù)的信息為0；以及對包括所確定的信息的比特流進行編碼。

附圖說明

通過下文結(jié)合附圖對示例性實施方式的描述，這些和/或其它方面將變得清楚并且更容易理解，在附圖中：

圖1A是根據(jù)一些實施方式的視頻編碼設(shè)備的框圖；

圖1B是根據(jù)一些實施方式的視頻編碼方法的流程圖；

圖2A是根據(jù)一些實施方式的視頻解碼裝置的框圖；

圖2B是根據(jù)一些實施方式的視頻解碼方法的流程圖；

圖3A和圖3B示出根據(jù)一些實施方式對包括填充區(qū)域的圖像進行編碼和解碼的方法的示例；

圖4是用于描述根據(jù)一些實施方式對圖像進行編碼的方法的流程圖，其中在填充區(qū)域上實施編碼模式；

圖5示出根據(jù)一些實施方式在圖像之外執(zhí)行填充的示例；

圖6示出根據(jù)一些實施方式通過使用輸入圖像與填充區(qū)域之間的邊界來分割最大編碼單元的示例；

圖7示出根據(jù)一些實施方式確定包括在填充區(qū)域中的編碼單元的分區(qū)模式的示例；

圖8是根據(jù)一些實施方式基于根據(jù)樹形結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備的框圖；

圖9是根據(jù)一些實施方式基于根據(jù)樹形結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備的框圖；

圖10是根據(jù)一些實施方式用于描述編碼單元的概念的圖；

圖11是根據(jù)一些實施方式基于編碼單元的圖像編碼器的框圖；

圖12是根據(jù)一些實施方式基于編碼單元的圖像解碼器的框圖；

圖13是示出根據(jù)一些實施方式根據(jù)深度的更深編碼單元和分區(qū)的圖；

圖14是根據(jù)一些實施方式用于描述編碼單元與變換單元之間的關(guān)系的圖；

圖15是根據(jù)一些實施方式用于描述與編碼深度相對應(yīng)的編碼單元的編碼信息的圖；

圖16是根據(jù)一些實施方式的根據(jù)深度的更深編碼單元的圖；

圖17至圖19是根據(jù)一些實施方式用于描述編碼單元、預(yù)測單元與變換單元之間的關(guān)系的圖；

圖20是根據(jù)表1的編碼模式信息用于描述編碼單元、預(yù)測單元與變換單元之間的關(guān)系的圖；

圖21示出根據(jù)一些實施方式的存儲程序的盤的物理結(jié)構(gòu)；

圖22示出通過使用盤來記錄和讀取程序的盤驅(qū)動；

圖23是表示提供內(nèi)容分配服務(wù)的內(nèi)容供應(yīng)系統(tǒng)的整體結(jié)構(gòu)的圖；

圖24和圖25示出根據(jù)一些實施方式向其施加視頻編碼方法和視頻解碼方法的移動電話的外部結(jié)構(gòu)和內(nèi)部結(jié)構(gòu)；

圖26示出根據(jù)一些實施方式采用通信系統(tǒng)的數(shù)字廣播系統(tǒng)；以及

圖27示出根據(jù)一些實施方式使用視頻編碼設(shè)備和視頻解碼設(shè)備的云計算系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)。

具體實施方式

一個或多個示例性實施方式包括視頻編碼和解碼方法，其用于通過在對圖像中所包括的填充區(qū)域進行編碼時實施編碼模式來提高壓縮效率。

另外的方面將在以下描述中部分地闡述，并且通過說明書將部分地顯而易見，或者可以通過實踐所提出的示例性實施方式而被習(xí)得。

根據(jù)一個或多個示例性實施方式，視頻編碼方法包括：在輸入圖像之外執(zhí)行填充，以使得輸入圖像的尺寸是最大編碼單元的倍數(shù)；在當(dāng)前最大編碼單元包括通過填充生成的填充區(qū)域時，通過利用輸入圖像和填充區(qū)域的邊界分割當(dāng)前最大編碼單元來確定編碼單元；確定指示包括在填充區(qū)域中的編碼單元是否具有非零系數(shù)的信息為0；以及對包括所確定的信息的比特流進行編碼。

編碼單元的確定可包括：確定分區(qū)模式以使得包括在填充區(qū)域中的編碼單元不再被分割。

視頻編碼方法還可包括：將包括在填充區(qū)域中的編碼單元的量化參數(shù)確定為預(yù)測值。

視頻編碼方法還可包括：根據(jù)截片類型確定包括在填充區(qū)域中的編碼單元的預(yù)測模式。

預(yù)測模式的確定可包括：從特定數(shù)量的預(yù)測模式候選中確定預(yù)測模式。

預(yù)測模式的確定可包括：將預(yù)測模式確定為跳躍模式。

預(yù)測模式的確定可包括：將包括在填充區(qū)域中的編碼單元的合并索引確定為指示填充方向的索引。

預(yù)測模式的確定可包括：從分別指示合并候選塊的索引中，將包括在填充區(qū)域中的編碼單元的合并索引確定為具有最低值的索引。

視頻編碼方法還可包括：當(dāng)所確定的編碼單元包括輸入圖像的一部分和填充區(qū)域的一部分時，確定指示包括填充區(qū)域的所述一部分的變換單元是否具有非零系數(shù)的信息為0。

視頻編碼方法還可包括：當(dāng)所確定的編碼單元包括輸入圖像的所述一部分和填充區(qū)域的所述一部分時，根據(jù)截片類型從包括在所確定的編碼單元中的預(yù)測單元之中，確定包括填充區(qū)域的所述一部分的預(yù)測單元的預(yù)測模式。

根據(jù)一個或多個示例性實施方式，視頻解碼方法包括：從接收的比特流獲取包括填充區(qū)域的最大編碼單元的圖像數(shù)據(jù)和編碼信息；基于最大編碼單元的圖像數(shù)據(jù)和編碼信息生成恢復(fù)圖像；以及從恢復(fù)圖像中排除填充區(qū)域，其中指示包括在最大編碼單元中的編碼單元中的包括在填充區(qū)域中的編碼單元是否具有非零系數(shù)的信息為0。

恢復(fù)圖像的生成包括：從包括在最大編碼單元中的編碼單元中，將包括在填充區(qū)域中的編碼單元的量化參數(shù)確定為預(yù)測值。

獲取圖像數(shù)據(jù)和編碼信息可包括獲取與填充區(qū)域有關(guān)的信息，并且填充區(qū)域的排除可包括基于與填充區(qū)域有關(guān)的信息，將通過從恢復(fù)圖像排除填充區(qū)域而獲取的圖像確定為再現(xiàn)圖像。

恢復(fù)圖像的生成可包括：根據(jù)從特定數(shù)量的預(yù)測模式候選中確定的預(yù)測模式，預(yù)測包括在填充區(qū)域中的編碼單元。

恢復(fù)圖像的生成可包括：以跳躍模式對包括在填充區(qū)域中的編碼單元的執(zhí)行預(yù)測。

恢復(fù)圖像的生成可包括：根據(jù)指示填充區(qū)域的填充方向的合并索引來預(yù)測包括在填充區(qū)域中的編碼單元。

恢復(fù)圖像的生成可包括：根據(jù)從分別指示合并候選塊的索引中確定為具有最低值的索引的合并索引，預(yù)測包括在填充區(qū)域中的編碼單元。

根據(jù)一個或多個示例性實施方式，視頻編碼設(shè)備包括：填充單元，配置成在輸入圖像之外執(zhí)行填充，以使得輸入圖像的尺寸是最大編碼單元的倍數(shù)；確定器，配置成在當(dāng)前最大編碼單元包括通過填充而生成的填充區(qū)域時，通過利用輸入圖像和填充區(qū)域的邊界分割當(dāng)前最大編碼單元來確定編碼單元，并且確定指示包括在填充區(qū)域中的編碼單元是否具有非零系數(shù)的信息為0；以及編碼器，配置成對包括所確定的信息的比特流進行編碼。

根據(jù)一個或多個示例性實施方式，視頻解碼設(shè)備包括：解碼器，配置成從接收的比特流獲取包括填充區(qū)域的最大編碼單元的圖像數(shù)據(jù)和編碼信息；恢復(fù)圖像生成器，配置成基于最大編碼單元的圖像數(shù)據(jù)和編碼信息生成恢復(fù)圖像；以及圖像再現(xiàn)器，配置成從恢復(fù)圖像排除填充區(qū)域，其中指示最大編碼單元中所包括的編碼單元之中包含在填充區(qū)域中的編碼單元是否具有非零系數(shù)的信息為0。

根據(jù)一個或多個示例性實施方式，非暫時性計算機可讀記錄介質(zhì)上面記錄有程序，所述程序在被計算機執(zhí)行時，執(zhí)行視頻編碼方法或視頻解碼方法。

本發(fā)明的實施方式

在下文中，參考圖1A至圖7給出有效地包括圖像填充區(qū)域的視頻編碼技術(shù)和層間視頻解碼技術(shù)。此外，將參考圖8至20描述根據(jù)一些實施方式的基于具有樹形結(jié)構(gòu)的編碼單元的視頻編碼技術(shù)和視頻解碼技術(shù)，其可應(yīng)用于以上給出的視頻編碼技術(shù)和層間視頻解碼技術(shù)。此外，將參考圖21至圖27描述可應(yīng)用視頻編碼方法和視頻解碼方法的各種實施方式。

在下文中，“圖像”可以表示視頻的靜止圖像或運動圖像、或視頻本身。

在下文中，“樣本”表示分配給圖像的采樣位置并且將被處理的數(shù)據(jù)。例如，空間域中的圖像像素可以是樣本。

如本文所使用的，術(shù)語“和/或”包括一個或多個相關(guān)所列項目的任何和所有組合。諸如“至少一個”的表達在元件列表之前時修飾整個元素列表，并且不修飾列表的各個元素。

首先，將參考圖1A至圖7描述根據(jù)實施方式通過實施編碼模式同時對圖像中所包括的填充區(qū)域進行編碼而實現(xiàn)的具有高壓縮效率的視頻編碼和解碼方法。

圖1A是根據(jù)一些實施方式的視頻編碼設(shè)備100的框圖。

根據(jù)一些實施方式的視頻編碼設(shè)備100可包括填充單元12、確定器14和編碼器16。另外，根據(jù)一些實施方式的視頻編碼設(shè)備100可包括中央處理器(未示出)，所述中央處理器總體控制填充單元12、確定器14和編碼器16?？商娲?，填充單元12、確定器14和編碼器16可以被單獨處理器(未示出)操作，并且視頻編碼設(shè)備100可隨著單獨的處理器相互系統(tǒng)地操作而總體地操作?？商娲?，填充單元12、確定器14和編碼器16可以被視頻編碼設(shè)備100之外的外部處理器(未示出)控制。

視頻編碼設(shè)備100可包括至少一個數(shù)據(jù)存儲單元(未示出)，其用于存儲填充單元12、確定器14和編碼器16的輸入/輸出數(shù)據(jù)。視頻編碼設(shè)備100可包括存儲器控制器(未示出)，其管理數(shù)據(jù)存儲單元的數(shù)據(jù)輸入和輸出。

視頻編碼設(shè)備100可以通過與內(nèi)部視頻編碼處理器或外部視頻編碼處理器交互工作來執(zhí)行包括變換的視頻編碼操作，以輸出視頻編碼結(jié)果。視頻編碼設(shè)備100的內(nèi)部視頻編碼處理器可以作為獨立處理器來實現(xiàn)視頻編碼操作。此外，視頻編碼設(shè)備100、中央處理設(shè)備或圖形處理設(shè)備可以通過包括視頻編碼處理模塊來實現(xiàn)基本視頻編碼操作。

現(xiàn)在將參考圖1B詳細描述根據(jù)一些實施方式的視頻編碼設(shè)備100的操作。

圖1B是根據(jù)一些實施方式的視頻編碼方法的流程圖。

在操作11中，填充單元12可以在輸入圖像之外執(zhí)行填充，以使得輸入圖像的尺寸是最大編碼單元的倍數(shù)。這里，最大編碼單元包括具有樹形結(jié)構(gòu)的編碼單元，并且可以替代地被稱為編碼樹單元、編碼塊樹、塊樹、根塊樹、編碼樹、編碼根或樹干。可以通過分割最大編碼單元來確定編碼單元，并且編碼單元可包括預(yù)測單元和變換單元。

另一方面，視頻編碼設(shè)備100可以被設(shè)計為有限狀態(tài)機(FSM)以處理具有固定尺寸的最大編碼單元。在這種情況下，可以簡化設(shè)計以及可以減少負載，此外可以減少驗證問題。然而，在FSM方法中，如果輸入圖像的尺寸不是最大編碼單元的倍數(shù)，則可能不能夠處理輸入圖像。

因此，根據(jù)一些實施方式的填充單元12可以在輸入圖像之外執(zhí)行填充，使得輸入圖像的尺寸是最大編碼單元的倍數(shù)，由此處理具有各種尺寸中的任何一種的圖像。例如，可以通過在輸入圖像之外用相鄰塊值進行填補來執(zhí)行填充，以使得輸入圖像的尺寸是最大編碼單元的倍數(shù)。這里，可以通過序列參數(shù)集(SPS)將與是否對輸入圖像執(zhí)行填充有關(guān)的信息和填充區(qū)域的尺寸傳輸?shù)揭曨l解碼設(shè)備200。

另一方面，如果視頻編碼設(shè)備100對在其上執(zhí)行填充的圖像進行編碼，則待處理的數(shù)據(jù)量可能增加，并且由此可能降低編碼性能。因此，根據(jù)一些實施方式的視頻編碼設(shè)備100可以區(qū)分原始圖像區(qū)域和填充區(qū)域，并且實施填充區(qū)域的編碼模式以提高編碼性能。此外，可以減少率開銷。

在操作13中，在當(dāng)前最大編碼單元包括通過填充生成的填充區(qū)域時，確定器14可以通過使用輸入圖像與填充區(qū)域之間的邊界來分割當(dāng)前最大編碼單元以確定編碼單元。例如，確定器14可以基于輸入圖像與填充區(qū)域之間的邊界，將當(dāng)前編碼單元分割成包括在輸入圖像中的編碼單元和包括在填充區(qū)域中的編碼單元。

另外，確定器14可以確定分區(qū)模式，以使得包括在填充區(qū)域中的編碼單元不再被分割，因為當(dāng)包括在填充區(qū)域中的具有樹形結(jié)構(gòu)的編碼單元的數(shù)量較高時，預(yù)測單元的吞吐量可能較高，由此增加在填充區(qū)域中生成的比率。這里，比率(rate)表示每單位時間的數(shù)據(jù)生成率。

稍后將參考圖6和圖7詳細描述視頻編碼設(shè)備100通過利用填充區(qū)域的邊界分割最大編碼單元來確定編碼單元的示例。

如果包括在最大編碼單元中的填充區(qū)域不是最小編碼單元的倍數(shù)，則通過分割最大編碼單元獲取的編碼單元可包括輸入圖像的一部分和填充區(qū)域的一部分。在這種情況下，可以基于填充區(qū)域的邊界來確定包括在編碼單元中的預(yù)測單元或變換單元的尺寸。

在操作15中，確定器14可以確定指示包括在填充區(qū)域中的編碼單元是否包括非零系數(shù)的信息為0。例如，無論包括在填充區(qū)域中的編碼單元的剩余值是什么，確定器14可以將編碼塊標(biāo)志(CBF)確定為0。在這種情況下，視頻編碼設(shè)備100可以通過不向解碼設(shè)備傳輸填充區(qū)域的剩余數(shù)據(jù)來減小包括在填充區(qū)域中的編碼單元的比率。

另外，確定器14可以將包括在填充區(qū)域中的編碼單元的量化參數(shù)確定為預(yù)測值。因此，視頻編碼設(shè)備100可以將量化參數(shù)的微分值設(shè)置為0，由此減少傳輸?shù)揭曨l解碼設(shè)備200的數(shù)據(jù)量。

另外，確定器14可以根據(jù)截片類型來確定包括在填充區(qū)域中的編碼單元的預(yù)測模式。例如，確定器14可以在截片類型是I型時將預(yù)測模式確定為幀內(nèi)模式，在截片類型是P型或B型時將預(yù)測模式確定為幀間模式。

另外，確定器14可以從特定數(shù)量的預(yù)測模式候選中，確定包括在填充單元中的編碼單元的預(yù)測模式。例如，當(dāng)將預(yù)測模式確定為幀內(nèi)模式時，確定器14可以使用最可能模式(MPM)，以使得將當(dāng)前塊的預(yù)測模式確定為相鄰塊的預(yù)測模式中的一個。

可替代地，確定器14可以將預(yù)測模式確定為跳躍模式。此時，確定器14可以從分別指示合并候選塊的索引中，將包括在填充區(qū)域中的編碼單元的合并索引確定為具有最低值的索引?？商娲?，確定器14可以將合并索引確定為指示填充方向的索引。因此，視頻編碼設(shè)備100不發(fā)送與包括在填充區(qū)域中的編碼單元的運動矢量微分值、預(yù)測方向和參考圖片索引相關(guān)的信息，由此可以減少傳輸?shù)揭曨l解碼設(shè)備200的數(shù)據(jù)量。

在操作17中，編碼器16可以對包括在操作15中確定的信息的比特流進行編碼。這里，信息可包括以下中的至少一個：指示編碼單元是否包括非零系數(shù)的信息、與包括在填充區(qū)域中的編碼單元的分區(qū)模式有關(guān)的信息、量化參數(shù)的微分值、與預(yù)測模式有關(guān)的信息和合并索引。

圖2A是根據(jù)一些實施方式的視頻解碼設(shè)備200的框圖。

根據(jù)一些實施方式的視頻解碼設(shè)備200可包括解碼器22、恢復(fù)圖像生成器24和圖像再現(xiàn)器26。另外，根據(jù)一些實施方式的視頻解碼設(shè)備200可包括中央處理器(未示出)，所述中央處理器總體控制解碼器22、恢復(fù)圖像生成器24和圖像再現(xiàn)器26?？商娲?，解碼器22、恢復(fù)圖像生成器24和圖像再現(xiàn)器26可以由被獨立處理器(未示出)操作，而且視頻解碼設(shè)備200可以隨著獨立處理器相互系統(tǒng)地操作而總體地操作。可替代地，根據(jù)一些實施方式，解碼器22、恢復(fù)圖像生成器24和圖像再現(xiàn)器26可以被視頻解碼設(shè)備200的外部處理器(未示出)控制。

根據(jù)一些實施方式的視頻解碼設(shè)備200可包括至少一個數(shù)據(jù)存儲單元(未示出)，其存儲解碼器22、恢復(fù)圖像生成器24和圖像再現(xiàn)器26的輸入/輸出數(shù)據(jù)。視頻解碼設(shè)備200可包括存儲器控制器(未示出)，其管理數(shù)據(jù)存儲單元的數(shù)據(jù)輸入/輸出。

根據(jù)一些實施方式的視頻解碼設(shè)備200可以與內(nèi)部視頻解碼處理器或外部視頻解碼處理器交互工作，以執(zhí)行包括逆變換的視頻解碼操作，由此通過視頻解碼恢復(fù)視頻。根據(jù)一些實施方式的視頻解碼設(shè)備200的內(nèi)部視頻解碼處理器可以作為獨立處理器來實現(xiàn)視頻解碼操作。此外，視頻解碼設(shè)備200、中央處理設(shè)備或圖形處理設(shè)備可以通過包括視頻解碼處理模塊來實現(xiàn)基本視頻解碼操作。

現(xiàn)在將參考圖2B詳細描述根據(jù)一些實施方式的視頻解碼設(shè)備200的操作。

圖2B是根據(jù)一些實施方式的視頻解碼方法的流程圖。

在操作21中，解碼器22可以從接收的比特流中獲取包括填充區(qū)域的最大編碼單元的圖像數(shù)據(jù)和編碼信息。這里，編碼信息可包括以下中的至少一個：指示編碼單元是否包括非零系數(shù)的信息、與包括在填充區(qū)域中的編碼單元的分區(qū)模式有關(guān)的信息、量化參數(shù)的微分值、與預(yù)測模式有關(guān)的信息和合并索引。

在操作23中，恢復(fù)圖像生成器24可以基于最大編碼單元的圖像數(shù)據(jù)和編碼信息生成恢復(fù)圖像。

例如，指示最大編碼單元中所包括的編碼單元之中包含在填充區(qū)域中的編碼單元是否包括非零系數(shù)的信息可以是0。換句話說，CBF可以是0。因此，恢復(fù)圖像生成器24可以將包括在填充區(qū)域中的編碼單元的變換系數(shù)確定為0。

另外，恢復(fù)圖像生成器24可以從通過分割最大編碼單元獲取的編碼單元中，將包括在填充區(qū)域中的編碼單元的量化參數(shù)確定為預(yù)測值。可替代地，視頻解碼設(shè)備200所獲取的量化參數(shù)的微分值可以是0。

另外，恢復(fù)圖像生成器24可以根據(jù)從特定數(shù)量的預(yù)測模式候選中確定的預(yù)測模式，預(yù)測包括在填充區(qū)域中的編碼單元。例如，當(dāng)將包括在填充區(qū)域中的編碼單元的預(yù)測模式確定為幀內(nèi)模式時，恢復(fù)圖像生成器24可以通過使用MPM中的一個來執(zhí)行預(yù)測單元的預(yù)測。

另外，恢復(fù)圖像生成器24可以將包括在填充區(qū)域中的編碼單元預(yù)測為跳躍模式。

因此，恢復(fù)圖像生成器24可以通過從相對于包括在填充區(qū)域中的編碼單元的相鄰塊獲取與運動矢量微分值、預(yù)測方向和參考圖像索引相關(guān)的信息來執(zhí)行預(yù)測單元的預(yù)測。

在操作25中，圖像再現(xiàn)器26可以從恢復(fù)圖像排除填充區(qū)域。例如，圖像恢復(fù)器26可以從SPS獲取與是否對輸入圖像執(zhí)行填充有關(guān)的信息和與填充區(qū)域的尺寸有關(guān)的信息，并且基于與填充區(qū)域的尺寸有關(guān)的信息將通過從恢復(fù)圖像排除填充區(qū)域而獲取的圖像確定為再現(xiàn)圖像。因此，圖像再現(xiàn)器26可再現(xiàn)所述再現(xiàn)圖像。然而，實施方式不限于此，并且圖像再現(xiàn)器26可以從恢復(fù)圖像中移除填充區(qū)域。

現(xiàn)在將參考圖3至圖7詳細描述根據(jù)一些實施方式對包括填充區(qū)域的圖像進行編碼的方法。

圖3A和圖3B示出根據(jù)一些實施方式對包括填充區(qū)域的圖像進行編碼和解碼的方法的示例。

圖3A示出包括填充區(qū)域的圖像的視頻編碼操作，而圖3B示出包括填充區(qū)域的圖像的視頻解碼操作。

首先，根據(jù)一些實施方式的視頻編碼設(shè)備100可以執(zhí)行填充，以使得輸入圖像的尺寸變成最大編碼單元的倍數(shù)。這里，可以通過SPS將與是否對輸入圖像執(zhí)行填充有關(guān)的信息和填充區(qū)域的尺寸發(fā)送到視頻解碼設(shè)備200。例如，SPS可以由以下的偽代碼指示。

conformance_window_flag＝true；

pic_width_in_luma_samples＝Orig_width+padding_w

pic_height_in_luma_samples＝Orig_height+padding_h

conf_win_right_offset＝padding_w

conf_win_bottom_offset＝padding_h

這里，conformance_window_flag是指示是否對圖像執(zhí)行填充的標(biāo)志，并且Orig_width和Orig_height分別表示原始區(qū)域30的寬度和高度。另外，padding_w和padding_h分別表示填充區(qū)域31的寬度和高度，并且pic_width_in_luma_samples和pic_width_in_luma_samples分別表示包括填充區(qū)域31的圖像的寬度和高度。另外，conf_win_right_offset和conf_win_bottom_offset表示當(dāng)稍后再現(xiàn)恢復(fù)圖像時將排除的區(qū)域偏移量(offset)。

因此，根據(jù)一些實施方式的視頻解碼設(shè)備200可以恢復(fù)包括填充區(qū)域31的圖像，同時通過從SPS獲取與是否對輸入圖像執(zhí)行填充有關(guān)的信息和填充區(qū)域31的尺寸來排除填充區(qū)域31。

圖4是用于描述根據(jù)一些實施方式對圖像進行編碼的方法的流程圖，其中在填充區(qū)域上實施編碼模式。

在操作40中，視頻編碼設(shè)備100可以在輸入圖像之外執(zhí)行填充，以使得輸入圖像的尺寸變成最大編碼單元的倍數(shù)。這里，可以用特定值來填充通過執(zhí)行填充而生成的填充區(qū)域。

例如，圖5示出根據(jù)一些實施方式在圖像之外執(zhí)行填充的示例。

參考圖5，輸入圖像的原始區(qū)域50不是最大編碼單元CTU(0)的倍數(shù)。因此，可以對最大編碼單元CTU(1)、CTU(2)和CTU(3)執(zhí)行填充，以使得輸入圖像變成最大編碼單元CTU(0)的倍數(shù)。換句話說，視頻編碼設(shè)備100可以在填充方向52上用原始區(qū)域50的相鄰塊或像素值來對填充區(qū)域51進行填充。

這里，最大編碼單元CTU(1)至CTU(3)各自是包括稍后描述的填充區(qū)域的最大編碼單元。

另一方面，當(dāng)視頻編碼設(shè)備100將對在其上執(zhí)行填充的圖像進行編碼時，待處理的數(shù)據(jù)量可能增加，由此可能降低編碼性能。因此，根據(jù)一些實施方式的視頻編碼設(shè)備100可以實施包括在填充區(qū)域中的編碼單元的編碼模式，以降低包括填充區(qū)域的圖像的比率。

例如，可以基于相對于包括在填充區(qū)域中的編碼單元的率失真優(yōu)化(RDO，rate-distortion optimization)模型來預(yù)先計算最佳編碼模式，并且可以對包括在填充區(qū)域中的編碼單元實施所計算的最佳編碼模式。

返回參考圖4，在操作41中，在當(dāng)前最大編碼單元包括通過填充生成的填充區(qū)域時，視頻編碼設(shè)備100可以通過使用輸入圖像與填充區(qū)域之間的邊界來分割當(dāng)前最大編碼單元。

此時，包括填充區(qū)域的當(dāng)前最大編碼單元的RDO模型可以由以下的公式1表示。

【公式1】

J(M)＝D(M)+λ·R(M)，其中，M＝{mode，qp，coeff}

這里，J(M)表示RDO模型，D(M)表示由于量化引起的劣化，λ表示拉格朗日乘數(shù)，以及R(M)表示壓縮流比率。另外，mode表示預(yù)測模式，qp表示量化參數(shù)，以及coeff表示指示編碼單元是否包括非零系數(shù)的信息。

另一方面，圖6示出根據(jù)一些實施方式通過使用輸入圖像與填充區(qū)域之間的邊界來分割最大編碼單元的示例。參考圖6，可以通過基于圖像幀邊界63將最大編碼單元分割為原始區(qū)域60和填充區(qū)域61來確定編碼單元。因此，可以根據(jù)包括在原始區(qū)域60中的編碼單元和包括在填充區(qū)域61中的編碼單元來計算率失真成本(rate-distortion cost)。

此外，如以下公式2中的那樣，可以以分為原始區(qū)域和填充區(qū)域的率失真成本函數(shù)表示公式1。

【公式2】

J(M,M′)＝J_org(M)+J_pad(M′)

這里，J_org表示相對于針對原始區(qū)域確定的編碼模式的率失真成本值，并且J_pad表示相對于針對填充區(qū)域確定的編碼模式的率失真成本值。

此外，J_pad(M′)可以由以下的公式3表示。

【公式3】

J_pad(M′)＝D_pad(M′)+λ·R_pad(M′)

這里，D_pad(M′)表示由于填充區(qū)域的量化引起的劣化，以及R_pad(M′)表示填充區(qū)域的壓縮流比率(rate)。

此外，為了基于公式3提高包括填充區(qū)域的圖像的編碼性能，可以引入公式4。

【公式4】

R(M)≈R_org(M)→R_pad(M′)≈0

這里，由于在測量峰值信噪比(PSNR)時排除了填充區(qū)域，所以可以忽略D_pad(M′)。

其結(jié)果是，當(dāng)確定其中R_pad(M′)接近0的編碼模式M'時，可以減小填充區(qū)域的率失真成本。

另一方面，可以再次由以下的公式5表示R_pad(M′)。

【公式5】

R_pad(M′)＝R_pad(mode′)+R_pad(qp′)+R_pad(coeff′)

這里，mode'表示預(yù)測模式，qp'表示量化參數(shù)，并且coeff'表示變換系數(shù)。

在操作42中，視頻編碼設(shè)備100可確定包括在填充區(qū)域中的編碼單元的分區(qū)模式。在這種情況下，視頻編碼設(shè)備100可以通過限制包括在填充區(qū)域中的編碼單元的分割來減小R_pad(mode′)，因為與參考圖片索引相關(guān)的數(shù)據(jù)和運動矢量的微分值可能與包括在填充區(qū)域中的編碼單元的數(shù)量成比例地增加。

例如，圖7示出根據(jù)一些實施方式確定包括在填充區(qū)域中的編碼單元的分區(qū)模式的示例。

參考圖7，最大編碼單元70可包括原始區(qū)域71和填充區(qū)域72。當(dāng)包括在最大編碼單元70中的填充區(qū)域72是最小編碼單元的倍數(shù)時，最大編碼單元70可以被分割，以使得原始區(qū)域71和填充區(qū)域72彼此區(qū)分開。

例如，原始區(qū)域71可以被分割為具有16×16尺寸的四個塊。此外，填充區(qū)域72可以被分割為具有16×16的尺寸的四個塊2 73和具有32×32的尺寸的兩個塊74。這里，由于最大編碼單元70可能以樹形結(jié)構(gòu)來分割，所以塊74可以進一步被分割為具有16×16的尺寸的四個塊，并且塊73可以進一步被分割為具有8×8的尺寸的塊。然而，根據(jù)一些實施方式的視頻編碼設(shè)備100可以通過強制不再分割包括在填充區(qū)域72中的編碼單元來減小R_pad(mode′)。

因此，可以通過使用以下的公式6獲取包括在填充區(qū)域中的編碼單元的分區(qū)模式。

【公式6】

X＝ix2⁶+jx2⁵+kx2⁴，其中i、j、k＝0或1

這里，X表示當(dāng)填充區(qū)域是最小編碼單元的倍數(shù)時，填充區(qū)域的寬度和高度之中的較小值。因此，通過根據(jù)公式6計算X，可以基于i、j和k各自為0還是1來確定編碼單元的尺寸。

例如，由于在圖7中填充區(qū)域72的寬度小于高度，所以寬度即X可以是2⁵+2⁴。因此，當(dāng)確定被分割為四個塊73和兩個塊74的填充區(qū)域72的編碼單元時，可以減小R_pad(mode′)。

返回參考圖4，在操作43中，視頻編碼設(shè)備100可以確定指示包括在填充區(qū)域中的編碼單元是否包括非零系數(shù)的信息為0。例如，視頻編碼設(shè)備100可以將包括在填充區(qū)域中的編碼單元的CBF確定為0。其結(jié)果是，視頻編碼設(shè)備100可以將CBF確定為0，以使得R_pad(coeff′)變成0。

在操作44中，視頻編碼設(shè)備100可將包括在填充區(qū)域中的編碼單元的量化參數(shù)確定為預(yù)測值。因此，視頻編碼設(shè)備100可以將量化參數(shù)的微分值設(shè)置為0，從而將R_pad(qp′)設(shè)置為0。

在操作45至49中，視頻編碼設(shè)備100可以實施用于減小R_pad(mode′)的預(yù)測模式以提高填充區(qū)域的編碼效率。

在操作45中，視頻編碼設(shè)備100可根據(jù)截片類型，將包括在填充區(qū)域中的編碼單元的預(yù)測模式確定為幀間預(yù)測模式或幀內(nèi)預(yù)測模式。例如，視頻編碼設(shè)備100可以在截片類型是I型時將預(yù)測模式確定為幀內(nèi)模式，在截片類型是P型或B型時將預(yù)測模式確定為幀間模式。

然后，在操作46中，視頻編碼設(shè)備100確定包括在填充區(qū)域中的編碼單元的預(yù)測模式是否為幀內(nèi)預(yù)測模式。當(dāng)預(yù)測模式是幀內(nèi)預(yù)測模式時，執(zhí)行操作47，并且當(dāng)預(yù)測模式是幀間預(yù)測模式時，執(zhí)行操作48。

在操作47中，視頻編碼設(shè)備100將幀內(nèi)預(yù)測模式確定為MPM，以使得將當(dāng)前塊的預(yù)測模式確定為相鄰塊的預(yù)測模式中的一個。

在操作48中，視頻編碼設(shè)備100可將包括在填充區(qū)域中的編碼單元的預(yù)測模式確定為跳躍模式。

然后，在操作49中，視頻編碼設(shè)備100可以從分別指示合并候選塊的索引中，將包括在填充區(qū)域中的編碼單元的合并索引確定為具有最低值的索引。因此，視頻編碼設(shè)備100可以通過不相對于包括在填充區(qū)域中的編碼單元傳輸與運動矢量微分值、預(yù)測方向和參考圖片索引相關(guān)的信息，來減少傳輸?shù)揭曨l解碼設(shè)備200的數(shù)據(jù)量。

另一方面，如果包括在最大編碼單元中的填充區(qū)域不是最小編碼單元的倍數(shù)，則不能夠從最大編碼單元分割僅包括填充區(qū)域的編碼單元。例如，從最大編碼單元分割的編碼單元可包括輸入圖像的一部分和填充區(qū)域的一部分。因此，在這種情況下，可以基于填充區(qū)域的邊界來確定包括在編碼單元中的預(yù)測單元或變換單元的尺寸。因此，以上所述的實施方式可以應(yīng)用于包括填充區(qū)域的一部分的變換單元或預(yù)測單元。

此外，在根據(jù)一些實施方式的視頻編碼設(shè)備100中，當(dāng)編碼單元包括輸入圖像的一部分和填充區(qū)域的一部分時，編碼單元中與填充區(qū)域的所述一部分對應(yīng)的預(yù)測單元可以使用編碼單元中與輸入圖像的所述一部分對應(yīng)的預(yù)測單元的預(yù)測模式。

如以上所述，根據(jù)一些實施方式的視頻編碼設(shè)備100和視頻解碼設(shè)備200可以實施所述編碼模式同時對圖像中所包括的填充區(qū)域進行編碼以提高壓縮效率。

此外，以上參考圖4至圖7描述的操作由視頻編碼設(shè)備100執(zhí)行，但是對于本領(lǐng)域普通技術(shù)人員顯而易見的是，相同的操作可以由視頻解碼設(shè)備200來執(zhí)行。

如上文所述，在根據(jù)一些實施方式的視頻編碼設(shè)備100和根據(jù)一些實施方式的視頻解碼設(shè)備200中，通過分割視頻數(shù)據(jù)而獲取的塊可被分成具有樹形結(jié)構(gòu)的編碼單元，而且編碼單元、預(yù)測單元和變換單元可用于編碼單元的層間預(yù)測或幀間預(yù)測?，F(xiàn)將參考圖8至圖20描述根據(jù)一些實施方式基于變換單元和具有樹形結(jié)構(gòu)的編碼單元的視頻編碼和解碼方法和設(shè)備。

圖8是根據(jù)一些實施方式基于根據(jù)樹形結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備100的框圖。

根據(jù)實施方式的基于根據(jù)樹形結(jié)構(gòu)的編碼單元的、涉及視頻預(yù)測的視頻編碼設(shè)備100包括編碼單元確定器120和輸出單元130。

編碼單元確定器120可基于最大編碼單元來分割當(dāng)前圖片，所述最大編碼單元是具有圖像的當(dāng)前圖片的最大尺寸的編碼單元。如果當(dāng)前圖片大于最大編碼單元，那么當(dāng)前圖片的圖像數(shù)據(jù)可被分割成至少一個最大編碼單元。根據(jù)一些實施方式的最大編碼單元可以是具有32×32、64×64、128×128、256×256等尺寸的數(shù)據(jù)單元，其中，數(shù)據(jù)單元的形狀是具有2的平方的寬度和長度的正方形。

根據(jù)一些實施方式的編碼單元的特征可以是最大尺寸和深度。深度表示編碼單元從最大編碼單元空間分割的次數(shù)，并且隨著深度加深，根據(jù)深度的較深編碼單元可從最大編碼單元分割到最小編碼單元。最大編碼單元的深度是最淺深度，并且最小編碼單元的深度是最深深度。由于對應(yīng)于每個深度的編碼單元的尺寸隨著最大編碼單元的深度加深而減小，因此，對應(yīng)于較淺深度的編碼單元可包括對應(yīng)于較深深度的多個編碼單元。

如上文所述，當(dāng)前圖片的圖像數(shù)據(jù)根據(jù)編碼單元的最大尺寸分割成最大編碼單元，并且最大編碼單元中的每個可包括根據(jù)深度分割的較深編碼單元。由于根據(jù)一些實施方式的最大編碼單元根據(jù)深度進行分割，因此，最大編碼單元中包括的空間域的圖像數(shù)據(jù)可根據(jù)深度進行分層分類。

限制最大編碼單元的高度和寬度進行分層分割的總次數(shù)的編碼單元的最大深度和最大尺寸可以預(yù)先確定。

編碼單元確定器120對通過根據(jù)深度分割最大編碼單元的區(qū)域而獲得的至少一個分割區(qū)域進行編碼，并且根據(jù)至少一個分割區(qū)域確定輸出最終編碼的圖像數(shù)據(jù)的深度。換言之，通過根據(jù)當(dāng)前圖片的最大編碼單元對根據(jù)深度的較深編碼單元中的圖像數(shù)據(jù)進行編碼并且選擇具有最小編碼誤差的深度，編碼單元確定器120確定編碼深度。所確定的編碼深度和根據(jù)所確定的編碼深度的編碼圖像數(shù)據(jù)輸出到輸出單元130。

最大編碼單元中的圖像數(shù)據(jù)基于與等于或小于最大深度的至少一個深度對應(yīng)的較深編碼單元進行編碼，并且對圖像數(shù)據(jù)進行編碼的結(jié)果基于較深編碼單元中的每個進行比較。在比較較深編碼單元的編碼誤差之后，可選擇具有最小編碼誤差的深度。針對每個最大編碼單元，可選擇至少一個編碼深度。

隨著編碼單元根據(jù)深度進行分層分割，并且隨著編碼單元的數(shù)量增加，最大編碼單元的尺寸被分割。此外，即使編碼單元對應(yīng)于一個最大編碼單元中的相同深度，也要通過分別測量每個編碼單元的圖像數(shù)據(jù)的編碼誤差來確定是否將對應(yīng)于相同深度的編碼單元中的每個編碼單元分割到較深深度。因此，即使在圖像數(shù)據(jù)被包括在一個最大編碼單元中時，編碼誤差也可根據(jù)一個最大編碼單元中的區(qū)域而不同，因此，編碼深度可根據(jù)圖像數(shù)據(jù)中的區(qū)域而不同。因此，在一個最大編碼單元中可確定一個或多個最大深度，并且最大編碼單元的圖像數(shù)據(jù)可根據(jù)至少一個編碼深度的編碼單元而劃分。

因此，根據(jù)一些實施方式的編碼單元確定器120可確定最大編碼單元中包括的具有樹形結(jié)構(gòu)的編碼單元。根據(jù)一些實施方式的“具有樹形結(jié)構(gòu)的編碼單元”包括在最大編碼單元包括的所有較深編碼之中的、與確定為編碼深度的深度對應(yīng)的編碼單元。編碼深度的編碼單元可根據(jù)最大編碼單元的相同區(qū)域中的深度來分層確定，并且可在不同區(qū)域中獨立確定。類似地，當(dāng)前區(qū)域中的編碼深度可獨立于另一區(qū)域中的編碼深度進行確定。

根據(jù)一些實施方式的最大深度是與從最大編碼單元到最小編碼單元的分割次數(shù)相關(guān)的索引。根據(jù)一些實施方式的第一最大深度可表示從最大編碼單元到最小編碼單元的總分割次數(shù)。根據(jù)一些實施方式的第二最大深度可表示從最大編碼單元到最小編碼單元的深度等級的總數(shù)。例如，當(dāng)最大編碼單元的深度為0時，最大編碼單元被分割一次的編碼單元的深度可設(shè)置為1，并且最大編碼單元被分割兩次的編碼單元的深度可設(shè)置為2。此處，如果最小編碼單元是最大編碼單元被分割四次的編碼單元，那么存在深度0、1、2、3和4的深度等級，因此，第一最大深度可設(shè)置為4，并且第二最大深度可設(shè)置為5。

預(yù)測編碼和變換可根據(jù)最大編碼單元來執(zhí)行。預(yù)測編碼和變換也根據(jù)最大編碼單元基于根據(jù)等于或小于最大深度的深度的較深編碼單元來執(zhí)行。

由于每當(dāng)最大編碼單元根據(jù)深度分割時較深編碼單元的數(shù)量都增加，因此，在隨著深度加深而生成的所有較深編碼單元上執(zhí)行包括預(yù)測編碼和變換在內(nèi)的編碼。為便于描述，現(xiàn)在將基于當(dāng)前深度的編碼單元在最大編碼單元中描述預(yù)測編碼和變換。

根據(jù)一些實施方式的視頻編碼設(shè)備100可不同地選擇用于對圖像數(shù)據(jù)進行編碼的數(shù)據(jù)單元的尺寸或形狀。為了對圖像數(shù)據(jù)進行編碼，執(zhí)行諸如，預(yù)測編碼、變換和熵編碼的操作，并且同時，可將相同的數(shù)據(jù)單元用于所有操作或者將不同的數(shù)據(jù)單元用于每個操作。

例如，視頻編碼設(shè)備100不僅可選擇用于對圖像數(shù)據(jù)進行編碼的編碼單元，而且可選擇不同于編碼單元的數(shù)據(jù)單元，從而在編碼單元中的圖像數(shù)據(jù)上執(zhí)行預(yù)測編碼。

為了在最大編碼單元中執(zhí)行預(yù)測編碼，可基于根據(jù)一些實施方式的與編碼深度對應(yīng)的編碼單元(即，基于不再分割成與較深深度對應(yīng)的編碼單元的編碼單元)執(zhí)行預(yù)測編碼。在下文中，不再進行分割并且成為用于預(yù)測編碼的基礎(chǔ)單元的編碼單元現(xiàn)在將被稱為“預(yù)測單元”。通過分割預(yù)測單元而獲得的分區(qū)可包括預(yù)測單元或者通過分割預(yù)測單元的高度和寬度中的至少一個而獲得的數(shù)據(jù)單元。分區(qū)是編碼單元的預(yù)測單元被分割的數(shù)據(jù)單元，并且預(yù)測單元可以是與編碼單元具有相同尺寸的分區(qū)。

例如，當(dāng)2N×2N(其中N是正整數(shù))的編碼單元不再分割并且成為2N×2N的預(yù)測單元時，分區(qū)的尺寸可以是2N×2N、2N×N、N×2N或N×N。根據(jù)一些實施方式的分區(qū)類型的示例包括通過對稱地分割預(yù)測單元的高度或?qū)挾榷@得的對稱分區(qū)、通過不對稱地分割預(yù)測單元的高度或?qū)挾?諸如1:n或n:1)而獲得的分區(qū)、通過幾何分割預(yù)測單元而獲得的分區(qū)以及具有任意形狀的分區(qū)。

預(yù)測單元的預(yù)測模式可以是幀內(nèi)模式(Intra Mode)、幀間模式(Inter Mode)和跳躍模式(Skip Mode)中的至少一個。例如，幀內(nèi)模式或幀間模式可在2N×2N、2N×N、N×2N或N×N的分區(qū)上執(zhí)行。此外，跳躍模式可以只在2N×2N的分區(qū)上執(zhí)行。編碼在編碼單元中的一個預(yù)測單元上獨立執(zhí)行，從而選擇具有最小編碼誤差的預(yù)測模式。

根據(jù)一些實施方式的視頻編碼設(shè)備100也可不僅基于用于對圖像數(shù)據(jù)進行編碼的編碼單元而且還基于不同于編碼單元的數(shù)據(jù)單元而在編碼單元中的圖像數(shù)據(jù)上執(zhí)行變換。為了在編碼單元中執(zhí)行變換，可基于具有小于或等于編碼單元的尺寸的變換單元來執(zhí)行變換。例如，變換單元可包括用于幀內(nèi)模式的數(shù)據(jù)單元和用于幀間模式的變換單元。

根據(jù)一些實施方式，編碼單元中的變換單元可按與編碼單元根據(jù)樹形結(jié)構(gòu)進行分割的類似方式遞歸地分割成更小尺寸的區(qū)域。因此，編碼單元中的殘余數(shù)據(jù)可根據(jù)具有樹形結(jié)構(gòu)的變換單元依據(jù)變換深度進行分割。

根據(jù)一些實施方式，表明通過分割編碼單元的高度和寬度來達到變換單元的分割次數(shù)的變換深度也可設(shè)置在變換單元中。例如，在2N×2N的當(dāng)前編碼單元中，當(dāng)變換單元的尺寸是2N×2N時變換深度可為0，當(dāng)變換單元的尺寸是N×N時變換深度可為1，以及當(dāng)變換單元的尺寸是N/2×N/2時變換深度可為2。換言之，具有樹形結(jié)構(gòu)的變換單元可根據(jù)變換深度進行設(shè)置。

根據(jù)與編碼深度對應(yīng)的編碼單元的編碼信息不僅需要與編碼深度有關(guān)的信息，而且需要與預(yù)測編碼和變換相關(guān)的信息。因此，編碼單元確定器120不僅確定具有最小編碼誤差的編碼深度，而且確定將預(yù)測單元中的分區(qū)類型、根據(jù)預(yù)測單元的預(yù)測模式以及用于變換的變換單元的尺寸。

下文將參考圖9到圖19詳細描述根據(jù)一些實施方式的最大編碼單元中的根據(jù)樹形結(jié)構(gòu)的編碼單元以及確定預(yù)測單元/分區(qū)和變換單元的方法。

編碼單元確定器120可通過使用基于拉格朗日乘子的率失真優(yōu)化(Rate-Distortion Optimization)來測量根據(jù)深度的較深編碼單元的編碼誤差。

輸出單元130以比特流的形式輸出基于由編碼單元確定器120確定的至少一個編碼深度進行編碼的最大編碼單元的圖像數(shù)據(jù)以及根據(jù)深度與編碼模式有關(guān)的信息。

通過對圖像的殘余數(shù)據(jù)進行編碼可獲得編碼的圖像數(shù)據(jù)。

根據(jù)編碼深度與編碼模式有關(guān)的信息可包括與編碼深度有關(guān)的信息、與預(yù)測單元中的分區(qū)類型有關(guān)的信息、與預(yù)測模式有關(guān)的信息以及與變換單元的尺寸有關(guān)的信息。

與編碼深度有關(guān)的信息可通過使用根據(jù)深度的分割信息進行限定，從而表明是否在較深深度而非當(dāng)前深度的編碼單元上執(zhí)行編碼。如果當(dāng)前編碼單元的當(dāng)前深度是編碼深度，那么對當(dāng)前編碼單元進行編碼，因此，分割信息可限定為不將當(dāng)前編碼單元分割到較深深度?？商娲?，如果當(dāng)前編碼單元的當(dāng)前深度不是該編碼深度，那么在較深深度的編碼單元上執(zhí)行編碼，因此，分割信息可限定為分割當(dāng)前編碼單元，以獲取較深深度的編碼單元。

如果當(dāng)前深度不是該編碼深度，那么在分割成較深深度的編碼單元的編碼單元上執(zhí)行編碼。由于較深深度的至少一個編碼單元存在于當(dāng)前深度的一個編碼單元中，因此，可在較深深度的每個編碼單元上重復(fù)執(zhí)行編碼，從而可針對具有相同深度的編碼單元遞歸地執(zhí)行編碼。

由于針對一個最大編碼單元確定具有樹形結(jié)構(gòu)的編碼單元并且針對編碼深度的編碼單元確定至少一條分割信息，因此，可針對一個最大編碼單元確定至少一項分割信息。此外，最大編碼單元的圖像數(shù)據(jù)的編碼深度可根據(jù)位置而不同，這是因為圖像數(shù)據(jù)根據(jù)深度進行分層分割，因此，可針對圖像數(shù)據(jù)來設(shè)置與編碼深度有關(guān)的信息和分割信息。

因此，根據(jù)一些實施方式的輸出單元130可將與對應(yīng)編碼深度和編碼模式有關(guān)的編碼信息分配到最大編碼單元中包括的編碼單元、預(yù)測單元和最小單元中的至少一個。

根據(jù)一些實施方式的最小單元是通過將構(gòu)成最深深度的最小編碼單元分割成4個而獲取的正方形數(shù)據(jù)單元。可替代地，根據(jù)一些實施方式的最小單元可以是可被包括在最大編碼單元所包括的編碼單元、預(yù)測單元、分區(qū)單元和變換單元的全部中的最大正方形數(shù)據(jù)單元。

例如，由輸出單元130輸出的編碼信息可分類成根據(jù)較深編碼單元的編碼信息和根據(jù)預(yù)測單元的編碼信息。根據(jù)較深編碼單元的編碼信息可包括與預(yù)測模式有關(guān)的信息和與分區(qū)的尺寸有關(guān)的信息。根據(jù)預(yù)測單元的編碼信息可包括與幀間模式的估計方向有關(guān)的信息、與幀間模式的參考圖像索引有關(guān)的信息、與運動矢量有關(guān)的信息、與幀內(nèi)模式的色度分量有關(guān)的信息以及與幀內(nèi)模式的內(nèi)插法有關(guān)的信息。

與根據(jù)圖片、截片或GOP限定的編碼單元的最大尺寸有關(guān)的信息以及與最大深度有關(guān)的信息可插入到比特流的標(biāo)頭、序列參數(shù)集或圖片參數(shù)集中。

與當(dāng)前視頻準(zhǔn)許的變換單元的最大尺寸有關(guān)的信息以及與變換單元的最小尺寸有關(guān)的信息也可通過比特流的標(biāo)頭、序列參數(shù)集或圖片參數(shù)集輸出。輸出單元130可對與預(yù)測相關(guān)的參考信息、預(yù)測信息和截片類型信息進行編碼并輸出這些信息。

在根據(jù)最簡單實施方式的視頻編碼設(shè)備100中，較深編碼單元可以是通過將較淺深度的編碼單元(上一層的編碼單元)的高度或?qū)挾纫环譃槎玫降木幋a單元。換言之，在當(dāng)前深度的編碼單元的尺寸是2N×2N時，較深深度的編碼單元的尺寸是N×N。此外，具有2N×2N尺寸的具有當(dāng)前深度的編碼單元可包括最多四個具有所述最低深度編碼單元。

因此，通過基于最大編碼單元的尺寸和考慮到當(dāng)前圖片的特征而確定的最大深度來確定每個最大編碼單元的具有最佳形狀和最佳尺寸的編碼單元，視頻編碼設(shè)備100可形成具有樹形結(jié)構(gòu)的編碼單元。此外，由于可通過使用各種預(yù)測模式和變換中的任一個在每個最大編碼單元上執(zhí)行編碼，因此，可通過考慮到各種圖像尺寸的編碼單元的特征來確定最佳編碼模式。

因此，如果具有高分辨率或大數(shù)據(jù)量的圖像在傳統(tǒng)宏塊中編碼，那么每個圖片的宏塊數(shù)量過度增加。因此，針對每個宏塊生成的壓縮信息的數(shù)量增加，因而難以傳輸壓縮的信息并且數(shù)據(jù)壓縮效率降低。然而，通過使用根據(jù)一些實施方式的視頻編碼設(shè)備100，圖像壓縮效率可增加，這是因為在考慮圖像的特征同時調(diào)整編碼單元，以及在考慮圖像的尺寸的同時增大編碼單元的最大尺寸。

上文參考圖1A描述的視頻編碼設(shè)備100可包括與層的數(shù)量一樣多的圖8的視頻編碼設(shè)備100，從而根據(jù)多層視頻的每層對單層圖像進行編碼。例如，第一層編碼器可包括圖8中的一個視頻編碼設(shè)備100，而且第二層編碼器可包括與第二層的數(shù)量一樣多的圖8中的視頻編碼設(shè)備100。

當(dāng)視頻編碼設(shè)備100對第一層圖像進行編碼時，編碼單元確定器120可針對每個最大編碼單元來確定用于根據(jù)具有樹形結(jié)構(gòu)的編碼單元進行幀間預(yù)測的預(yù)測單元，并且根據(jù)預(yù)測單元來執(zhí)行幀間預(yù)測。

當(dāng)視頻編碼設(shè)備100對第二層圖像進行編碼時，編碼單元確定器120可對每個最大編碼單元確定預(yù)測單元和基于樹形結(jié)構(gòu)的編碼單元，并且針對每個預(yù)測單元執(zhí)行幀間預(yù)測。

為了補償亮度差，視頻編碼設(shè)備100可在第一層圖像與第二層圖像之間對亮度差進行編碼。此處，可根據(jù)編碼單元的編碼模式來確定是否補償亮度差。例如，可以只在具有2N×2N尺寸的預(yù)測單元上執(zhí)行亮度差。

圖9是根據(jù)一些實施方式基于根據(jù)樹形結(jié)構(gòu)的編碼單元的視頻解碼設(shè)備200的框圖。

根據(jù)實施方式的基于具有樹形結(jié)構(gòu)的編碼單元的、涉及視頻預(yù)測的視頻解碼設(shè)備200包括接收器210、圖像數(shù)據(jù)與編碼信息提取器220以及圖像數(shù)據(jù)解碼器230。

根據(jù)一些實施方式，用于視頻解碼設(shè)備200的解碼操作的各種術(shù)語(諸如，編碼單元、深度、預(yù)測單元、變換單元和與各種編碼模式有關(guān)的信息)的定義與參考圖8和視頻編碼設(shè)備100描述的那些定義相同。

接收器210接收并解析編碼視頻的比特流。圖像數(shù)據(jù)與編碼信息提取器220從解析的比特流中提取用于每個編碼單元的編碼圖像數(shù)據(jù)，其中編碼單元具有根據(jù)每個最大編碼單元的樹形結(jié)構(gòu)，并且將提取的圖像數(shù)據(jù)輸出到圖像數(shù)據(jù)解碼器230。圖像數(shù)據(jù)與編碼信息提取器220可從與當(dāng)前圖片有關(guān)的標(biāo)頭、序列參數(shù)集或圖片參數(shù)集中提取與當(dāng)前圖片的編碼單元的最大尺寸有關(guān)的信息。

此外，圖像數(shù)據(jù)與編碼信息提取器220針對根據(jù)每個最大編碼單元的具有樹形結(jié)構(gòu)的編碼單元從解析的比特流中提取與編碼深度和分割模式有關(guān)的信息。提取的與編碼深度和分割模式有關(guān)的信息輸出到圖像數(shù)據(jù)解碼器230。換言之，比特流中的圖像數(shù)據(jù)分割成最大編碼單元，使得圖像數(shù)據(jù)解碼器230針對每個最大編碼單元將圖像數(shù)據(jù)解碼。

根據(jù)最大編碼單元與深度信息和編碼模式有關(guān)的信息可針對與編碼深度對應(yīng)的至少一個編碼單元進行設(shè)置，并且與編碼模式有關(guān)的信息可包括與對應(yīng)于所述編碼深度的對應(yīng)編碼單元的分區(qū)類型有關(guān)的信息、與預(yù)測模式有關(guān)的信息以及與變換單元的尺寸有關(guān)的信息。此外，根據(jù)深度的分割信息可被提取為與編碼深度有關(guān)的信息。

由圖像數(shù)據(jù)與編碼信息提取器220提取的根據(jù)每個最大編碼單元的與編碼深度有關(guān)的信息和分割信息是被確定當(dāng)諸如根據(jù)一些實施方式的視頻編碼設(shè)備100等編碼器根據(jù)每個最大編碼單元針對根據(jù)深度的每個較深編碼單元重復(fù)執(zhí)行編碼時會生成最小編碼誤差的與編碼深度有關(guān)的信息和分割信息。因此，視頻解碼設(shè)備200可通過根據(jù)生成最小編碼誤差的編碼深度和編碼模式對圖像數(shù)據(jù)進行解碼來重建圖像。

根據(jù)一些實施方式，由于與編碼深度和編碼模式有關(guān)的編碼信息可分配到對應(yīng)編碼單元、預(yù)測單元和最小單元之中的預(yù)定數(shù)據(jù)單元，因此，圖像數(shù)據(jù)與編碼信息提取器220可根據(jù)預(yù)定數(shù)據(jù)單元提取與編碼深度有關(guān)的信息和分割信息。如果對應(yīng)最大編碼單元的與編碼深度有關(guān)的信息和分割信息根據(jù)預(yù)定數(shù)據(jù)單元進行記錄，那么可以推斷，被分配相同的與編碼深度有關(guān)的信息和分割信息的預(yù)定數(shù)據(jù)單元就是相同最大編碼單元中包括的數(shù)據(jù)單元。

圖像數(shù)據(jù)解碼器230可通過基于根據(jù)每個最大編碼單元的與編碼深度和編碼模式有關(guān)的信息將每個最大編碼單元中的圖像數(shù)據(jù)解碼來重建當(dāng)前圖片。換言之，圖像數(shù)據(jù)解碼器230可基于與每個最大編碼單元中包括的具有樹形結(jié)構(gòu)的編碼單元之中的每個編碼單元的分區(qū)類型、預(yù)測模式和變換單元有關(guān)的提取信息對編碼的圖像數(shù)據(jù)進行解碼。解碼過程可包括預(yù)測和逆變換，所述預(yù)測包括幀內(nèi)預(yù)測和運動補償。

基于與根據(jù)編碼深度的編碼單元的預(yù)測單元的分區(qū)模式和預(yù)測模式有關(guān)的信息，圖像數(shù)據(jù)解碼器230可根據(jù)每個編碼單元的分區(qū)類型和預(yù)測模式來執(zhí)行幀內(nèi)預(yù)測或運動補償。

此外，圖像數(shù)據(jù)解碼器230可讀取與用于每個編碼單元的根據(jù)樹形結(jié)構(gòu)的變換單元有關(guān)的信息，從而基于每個編碼單元的變換單元來執(zhí)行逆變換，進而對每個最大編碼單元進行逆變換。經(jīng)由逆變換，可重建編碼單元的空間域的像素值。

圖像數(shù)據(jù)解碼器230可通過使用根據(jù)深度的分割信息來確定當(dāng)前最大編碼單元的編碼深度。如果分割信息表明圖像數(shù)據(jù)不再以當(dāng)前深度分割，那么當(dāng)前深度就是編碼深度。因此，針對與編碼深度對應(yīng)的每個編碼單元，圖像數(shù)據(jù)解碼器230可通過使用與預(yù)測單元的分區(qū)類型、預(yù)測模式和變換單元的尺寸有關(guān)的信息來對當(dāng)前最大編碼單元中的編碼數(shù)據(jù)進行解碼。

換言之，通過觀察分配給編碼單元、預(yù)測單元和最小單元之中的預(yù)定數(shù)據(jù)單元的編碼信息集，可收集含有包括相同分割信息的編碼信息的數(shù)據(jù)單元，并且可將收集的數(shù)據(jù)單元視作將由圖像數(shù)據(jù)解碼器230以相同編碼模式解碼的一個數(shù)據(jù)單元。因此，可通過獲取與用于每個編碼單元的編碼模式有關(guān)的信息來對當(dāng)前編碼單元進行解碼。

上文參考圖2A描述的視頻編碼設(shè)備200可包括與視角的數(shù)量一樣多數(shù)量的圖9中的視頻編碼設(shè)備200，以通過對第一層圖像流和第二層圖像流進行解碼來恢復(fù)第一層圖像和第二層圖像。

當(dāng)接收到第一層圖像流時，對于每個最大編碼單元，視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230可將由圖像數(shù)據(jù)與編碼信息提取器220從第一層圖像流中提取的第一層圖像的樣本分割成基于樹形結(jié)構(gòu)的編碼單元。圖像數(shù)據(jù)解碼器230可通過根據(jù)在用于幀間預(yù)測的每個預(yù)測單元基于第一層圖像的樣本的編碼單元執(zhí)行運動補償來恢復(fù)第一層圖像。

當(dāng)接收到第二層圖像流時，對于每個最大編碼單元，視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230可將由圖像數(shù)據(jù)與編碼信息提取器220從第二層圖像流中提取的第二層圖像的樣本分割成基于樹形結(jié)構(gòu)的編碼單元。圖像數(shù)據(jù)解碼器230可通過在用于幀間預(yù)測的預(yù)測單元基于第二層圖像的樣本的編碼單元執(zhí)行運動補償來恢復(fù)第二層圖像。

圖像數(shù)據(jù)和編碼信息提取器220可從比特流中獲取與亮度誤差相關(guān)的信息，以補償?shù)谝粚訄D像與第二層圖像之間的亮度差。此處，可根據(jù)編碼單元的編碼模式來確定是否對亮度差進行補償。例如，可只針對具有2N×2N尺寸的預(yù)測單元補償亮度差。

因此，視頻解碼設(shè)備200可獲取與在針對每個最大編碼單元遞歸地執(zhí)行編碼時生成最小編碼誤差的至少一個編碼單元有關(guān)的信息，并且可使用該信息來對當(dāng)前圖片進行解碼。換言之，可對確定是每個最大編碼單元中的最佳編碼單元的、具有樹形結(jié)構(gòu)的編碼單元進行解碼。

因此，即使圖像數(shù)據(jù)具有高分辨率和大量數(shù)據(jù)，圖像數(shù)據(jù)仍可通過使用編碼單元的尺寸和編碼模式來高效解碼和重建，所述編碼單元的尺寸和編碼模式是通過使用從編碼器接收的最佳分割信息根據(jù)圖像數(shù)據(jù)的特征而自適應(yīng)地確定的。

圖10是用于描述根據(jù)一些實施方式的編碼單元的概念的示意圖。

編碼單元的尺寸可由寬度×高度來表示，并且可以是64×64、32×32、16×16和8×8。64×64的編碼單元可分割成64×64、64×32、32×64或32×32的分區(qū)，并且32×32的編碼單元可分割成32×32、32×16、16×32或16×16的分區(qū)，16×16的編碼單元可分割成16×16、16×8、8×16或8×8的分區(qū)，以及8×8的編碼單元可分割成8×8、8×4、4×8或4×4的分區(qū)。

在視頻數(shù)據(jù)310中，分辨率是1920×1080，編碼單元的最大尺寸是64，并且最大深度是2。在視頻數(shù)據(jù)320中，分辨率是1920×1080，編碼單元的最大尺寸是64，并且最大深度是3。在視頻數(shù)據(jù)330中，分辨率是352×288，編碼單元的最大尺寸是16，并且最大深度是1。圖10所示的最大深度是指從最大編碼單元到最小編碼單元的總分割次數(shù)。

如果分辨率較高或數(shù)據(jù)量較大，那么編碼單元的最大尺寸可能較大，從而不僅增加編碼效率，而且還準(zhǔn)確反映圖像的特征。因此，分辨率比視頻數(shù)據(jù)330高的視頻數(shù)據(jù)310和320的編碼單元的最大尺寸可以是64。

由于視頻數(shù)據(jù)310的最大深度是2，因此，視頻數(shù)據(jù)310的編碼單元315可包括長軸尺寸為64的最大編碼單元，以及長軸尺寸為32和16的編碼單元，這是因為通過將最大編碼單元分割兩次，深度加深兩個層。由于視頻數(shù)據(jù)330的最大深度是1，因此，視頻數(shù)據(jù)330的編碼單元335可包括長軸尺寸為16的最大編碼單元，以及長軸尺寸為8的編碼單元，這是因為通過將最大編碼單元分割一次，深度加深一層。

由于視頻數(shù)據(jù)320的最大深度是3，因此，視頻數(shù)據(jù)320的編碼單元325可包括長軸尺寸為64的最大編碼單元，以及長軸尺寸為32、16和8的編碼單元，這是因為通過將最大編碼單元分割三次，深度加深3個層。隨著深度加深，可準(zhǔn)確地表達詳細信息。

圖11是根據(jù)一些實施方式的基于編碼單元的圖像編碼器400的框圖。

根據(jù)一些實施方式的圖像編碼器400執(zhí)行視頻編碼設(shè)備100的編碼單元確定器120的操作，以對圖像數(shù)據(jù)進行編碼。換言之，幀內(nèi)預(yù)測器420在當(dāng)前幀405之中按照預(yù)測單元在編碼單元上以幀內(nèi)模式執(zhí)行幀內(nèi)預(yù)測，并且?guī)g預(yù)測器415通過使用當(dāng)前圖像405和由重建圖片緩存器410獲取的參考圖像按照預(yù)測單元在編碼單元上以幀間模式執(zhí)行幀間預(yù)測。當(dāng)前圖片405可被分割成最大編碼單元，隨后最大編碼單元可相繼被編碼。此處，可在最大編碼單元中的以樹形結(jié)構(gòu)分割的編碼單元上執(zhí)行編碼。

通過從待編碼的當(dāng)前圖像405的數(shù)據(jù)中減去從幀內(nèi)預(yù)測器420或幀間預(yù)測器415中輸出的每個模式的編碼單元的預(yù)測數(shù)據(jù)，生成殘余數(shù)據(jù)，并且殘余數(shù)據(jù)作為經(jīng)量化的變換系數(shù)通過變換器425和量化器430按照變換單元輸出。經(jīng)量化的變換系數(shù)在空間域中通過逆量化器445和逆變換器450而恢復(fù)成殘余數(shù)據(jù)。將空間域中的殘余數(shù)據(jù)添加到從幀內(nèi)預(yù)測器420或幀間預(yù)測器415中輸出的每個模式的編碼單元的預(yù)測數(shù)據(jù)，從而恢復(fù)成當(dāng)前圖像405的編碼單元的空間域中的數(shù)據(jù)?？臻g域中的數(shù)據(jù)經(jīng)過去塊化單元455和樣本自適應(yīng)偏移(SAO)執(zhí)行器460，因而生成恢復(fù)的圖像。恢復(fù)的圖像存儲在重建圖片緩存器410中。存儲在重建圖片緩存器410中的所恢復(fù)的圖像可用作另一圖像的幀間預(yù)測的參考圖像。通過變換器425和量化器430獲取的經(jīng)量化的變換系數(shù)可通過熵編碼器435而輸出為比特流440。

為了將根據(jù)一些實施方式的圖像編碼器400應(yīng)用于視頻編碼設(shè)備100，圖像編碼器400的部件(即，幀間預(yù)測器415、幀內(nèi)預(yù)測器420、變換器425、量化器430、熵編碼器435、逆量化器445、逆變換器450、去塊化單元455和SAO執(zhí)行器460)基于每個最大編碼單元的具有樹形結(jié)構(gòu)的編碼單元之中的每個編碼單元來執(zhí)行操作。

具體而言，幀內(nèi)預(yù)測器420和幀間預(yù)測器415在考慮當(dāng)前最大編碼單元的最大尺寸和最大深度的同時確定具有樹形結(jié)構(gòu)的編碼單元之中的每個編碼單元的分區(qū)和預(yù)測模式，并且變換器425可確定是否根據(jù)具有樹形結(jié)構(gòu)的編碼單元之中的每個編碼單元中的四叉樹來分割變換單元。

圖12是根據(jù)一些實施方式的基于編碼單元的圖像解碼器500的框圖。

熵解碼器515對來自比特流505的將被解碼的編碼圖像數(shù)據(jù)和解碼所需的編碼信息進行解析。編碼圖像數(shù)據(jù)是經(jīng)量化的變換系數(shù)，并且逆量化器520和逆變換器525從經(jīng)量化的變換系數(shù)中恢復(fù)殘余數(shù)據(jù)。

幀內(nèi)預(yù)測器540根據(jù)預(yù)測單元以幀內(nèi)模式在編碼單元上執(zhí)行幀內(nèi)預(yù)測。幀間預(yù)測器535通過使用由重建圖片緩存器530獲取的參考圖像而根據(jù)預(yù)測單元從當(dāng)前圖像中以幀內(nèi)模式對編碼單元執(zhí)行幀間預(yù)測。

通過經(jīng)由幀內(nèi)預(yù)測器540和幀間預(yù)測器535添加每個模式的編碼單元的殘余數(shù)據(jù)和預(yù)測數(shù)據(jù)來恢復(fù)當(dāng)前圖像的編碼單元的空間域中的數(shù)據(jù)，并且可通過去塊化單元545和SAO執(zhí)行器550將空間域中的數(shù)據(jù)輸出為恢復(fù)的圖像。此外，可將存儲在重建圖片緩存器530的所恢復(fù)的圖像輸出為參考圖像。

為了對視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230中的圖像數(shù)據(jù)進行解碼，可執(zhí)行根據(jù)一些實施方式的圖像解碼器500的熵解碼器515之后的操作。

為了將圖像解碼器500應(yīng)用于根據(jù)一些實施方式的視頻解碼設(shè)備200，圖像解碼器500的部件(即，熵解碼器515、逆量化器520、逆變換器525、幀內(nèi)預(yù)測器540、幀間預(yù)測器535、去塊化單元545和SAO執(zhí)行器550)可針對每個最大編碼單元基于具有樹形結(jié)構(gòu)的編碼單元來執(zhí)行操作。

具體而言，幀內(nèi)預(yù)測器540和幀間預(yù)測器535根據(jù)具有樹形結(jié)構(gòu)的編碼單元中的每個來確定分區(qū)模式和預(yù)測模式，并且逆變換器525可確定是否按照編碼單元根據(jù)四叉樹形結(jié)構(gòu)來分割變換單元。

圖11的編碼操作和圖12的解碼操作分別是單個層中的視頻流編碼操作和視頻流解碼操作。因此，當(dāng)圖1A的編碼器16對至少兩層的視頻流進行編碼時，圖1A的視頻編碼設(shè)備100可包括與層的數(shù)量一樣多的圖像編碼器400。類似地，當(dāng)圖2A的解碼器22對至少兩層的視頻流進行解碼時，圖2A的視頻解碼設(shè)備200可包括與層的數(shù)量一樣多的圖像解碼器500。

圖13是示出根據(jù)一些實施方式的基于深度較深的編碼單元和分區(qū)的示意圖。

根據(jù)一些實施方式的視頻編碼設(shè)備100和根據(jù)一些實施方式的視頻解碼設(shè)備200使用分層編碼單元，從而考慮圖像的特征。編碼單元的最大高度、最大寬度和最大深度可根據(jù)圖像的特征而自適應(yīng)地確定，或者可根據(jù)用戶而不同地設(shè)置。根據(jù)深度的較深編碼單元的尺寸可根據(jù)編碼單元的預(yù)定最大尺寸進行確定。

在根據(jù)一些實施方式的編碼單元的分層結(jié)構(gòu)600中，編碼單元的最大高度和最大寬度均是64，并且最大深度是3。在這種情況下，最大深度是指編碼單元從最大編碼單元分割到最小編碼單元的總次數(shù)。由于深度沿著根據(jù)一些實施方式的編碼單元的分層結(jié)構(gòu)600的豎直軸加深，因此，較深編碼單元的高度和寬度均被分割。此外，沿著分層結(jié)構(gòu)600的水平軸示出作為每個較深編碼單元的預(yù)測編碼的基礎(chǔ)的預(yù)測單元和分區(qū)。

換言之，編碼單元610是分層結(jié)構(gòu)600中的最大編碼單元，其中深度為0并且尺寸(即，高度乘寬度)為64×64。深度沿著豎直軸加深，而且編碼單元620的尺寸為32×32且深度為1，編碼單元630的尺寸為16×16且深度為2，以及編碼單元640的尺寸為8×8且深度為3。尺寸為8×8且深度為3的編碼單元640是最小編碼單元。

編碼單元的預(yù)測單元和分區(qū)根據(jù)每個深度沿著水平軸布置。換言之，如果尺寸為64×64且深度為0的編碼單元610是預(yù)測單元，那么預(yù)測單元可分割成編碼單元610中所包括的分區(qū)，即，尺寸為64×64的分區(qū)610、尺寸為64×32的分區(qū)612、尺寸為32×64的分區(qū)614，或者尺寸為32×32的分區(qū)616。

類似地，尺寸為32×32且深度為1的編碼單元620的預(yù)測單元可分割成編碼單元620中包括的分區(qū)，即，尺寸為32×32的分區(qū)620、尺寸為32×16的分區(qū)622、尺寸為16×32的分區(qū)624以及尺寸為16×16的分區(qū)626。

類似地，尺寸為16×16且深度為2的編碼單元630的預(yù)測單元可分割成編碼單元630中包括的分區(qū)，即，編碼單元630中包括的尺寸為16×16的分區(qū)、尺寸為16×8的分區(qū)632、尺寸為8×16的分區(qū)634以及尺寸為8×8的分區(qū)636。

類似地，尺寸為8×8且深度為3的編碼單元640的預(yù)測單元可分割成編碼單元640中包括的分區(qū)，即，編碼單元640中包括的尺寸為8×8的分區(qū)、尺寸為8×4的分區(qū)642、尺寸為4×8的分區(qū)644以及尺寸為4×4的分區(qū)646。

為了確定構(gòu)成最大編碼單元610的編碼單元的至少一個編碼深度，根據(jù)一些實施方式的視頻編碼設(shè)備100的編碼單元確定器120針對最大編碼單元610中包括的與每個深度對應(yīng)的編碼單元來執(zhí)行編碼。

包括相同范圍和相同尺寸的數(shù)據(jù)的、根據(jù)深度的較深編碼單元的數(shù)量隨著深度加深而增加。例如，需要四個對應(yīng)于深度2的編碼單元來覆蓋一個對應(yīng)于深度1的編碼單元中包括的數(shù)據(jù)。因此，為了將根據(jù)深度的相同數(shù)據(jù)的編碼結(jié)果進行比較，對應(yīng)于深度1的編碼單元和對應(yīng)于深度2的四個編碼單元均被編碼。

為了針對深度之中的當(dāng)前深度執(zhí)行編碼，可通過沿著分層結(jié)構(gòu)600的水平軸、針對與當(dāng)前深度對應(yīng)的編碼單元中的每個預(yù)測單元執(zhí)行編碼，為當(dāng)前深度選擇最小編碼誤差?；蛘?，隨著深度沿著分層結(jié)構(gòu)600的豎直軸加深，可通過針對每個深度執(zhí)行編碼并根據(jù)深度來比較最小編碼誤差而搜索出最小編碼誤差。編碼單元610中具有最小編碼誤差的深度和分區(qū)可被選作編碼單元610的編碼深度和分區(qū)類型。

圖14是用于描述根據(jù)一些實施方式的編碼單元710與變換單元720之間的關(guān)系的示意圖。

根據(jù)一些實施方式的視頻編碼設(shè)備100或根據(jù)一些實施方式的視頻解碼設(shè)備200根據(jù)每個最大編碼單元的、尺寸等于或小于最大編碼單元的編碼單元對圖像進行編碼或解碼。在編碼期間用于變換的變換單元的尺寸可基于不大于對應(yīng)編碼單元的數(shù)據(jù)單元進行選擇。

例如，在根據(jù)一些實施方式的視頻編碼設(shè)備100或根據(jù)一些實施方式的視頻解碼設(shè)備200中，如果編碼單元710的尺寸是64×64，那么可通過使用尺寸為32×32的變換單元720來執(zhí)行變換。

此外，可通過在尺寸為32×32、16×16、8×8和4×4(都小于64×64)的變換單元中的每個上執(zhí)行變換，從而對尺寸為64×64的編碼單元710的數(shù)據(jù)進行編碼，并且隨后可選擇具有最小編碼誤差的變換單元。

圖15是根據(jù)一些實施方式用于描述與編碼深度對應(yīng)的編碼單元的編碼信息的圖。

根據(jù)一些實施方式的視頻編碼設(shè)備100的輸出單元130可針對與編碼深度對應(yīng)的每個編碼單元來編碼并傳輸與分區(qū)類型有關(guān)的信息800、與預(yù)測模式有關(guān)的信息810和與變換單元尺寸有關(guān)的信息820，以作為與編碼模式有關(guān)的信息。

信息800表明與通過分割當(dāng)前編碼單元的預(yù)測單元而獲得的分區(qū)的形狀的有關(guān)信息，其中分區(qū)是用于對當(dāng)前編碼單元進行預(yù)測編碼的數(shù)據(jù)單元。例如，尺寸為2N×2N的當(dāng)前編碼單元CU_0可分割成下列分區(qū)中的任一個：尺寸為2N×2N的分區(qū)802、尺寸為2N×N的分區(qū)804、尺寸為N×2N的分區(qū)806以及尺寸為N×N的分區(qū)808。此處，與分區(qū)類型有關(guān)的信息800設(shè)置成表示下列一個：尺寸為2N×N的分區(qū)804、尺寸為N×2N的分區(qū)806以及尺寸為N×N的分區(qū)808。

信息810表明每個分區(qū)的預(yù)測模式。例如，信息810可表明在由信息800表明的分區(qū)上執(zhí)行的預(yù)測編碼的模式，即，幀內(nèi)模式812、幀間模式814或跳躍模式816。

信息820表明在當(dāng)前編碼單元上執(zhí)行變換時將依據(jù)的變換單元。例如，所述變換單元可以是第一幀內(nèi)變換單元822、第二幀內(nèi)變換單元824、第一幀間變換單元826或者第二幀間變換單元828。

根據(jù)一些實施方式的視頻解碼設(shè)備200的圖像數(shù)據(jù)與編碼信息提取器220可提取并使用信息800、信息810和信息820，以根據(jù)每個較深編碼單元進行解碼。

圖16是根據(jù)一些實施方式的根據(jù)深度的較深編碼單元的示意圖。

分割信息可用來表明深度的變化。分割信息表明當(dāng)前深度的編碼單元是否分割成較深深度的編碼單元。

用于對深度為0且尺寸為2N_0×2N_0的編碼單元900進行預(yù)測編碼的預(yù)測單元910可包括下列分區(qū)類型的分區(qū)：尺寸為2N_0×2N_0的分區(qū)類型912、尺寸為2N_0×N_0的分區(qū)類型914、尺寸為N_0×2N_0的分區(qū)類型916和尺寸為N_0×N_0的分區(qū)類型918。圖9只示出通過對稱地分割預(yù)測單元910而獲取的分區(qū)類型912到918，但分區(qū)類型不限于此，并且預(yù)測單元910的分區(qū)可包括不對稱分區(qū)、具有預(yù)定形狀的分區(qū)和具有幾何形狀的分區(qū)。

根據(jù)每種分區(qū)類型，在尺寸為2N_0×2N_0的一個分區(qū)、尺寸為2N_0×N_0的兩個分區(qū)、尺寸為N_0×2N_0的兩個分區(qū)和尺寸為N_0×N_0的四個分區(qū)上重復(fù)執(zhí)行預(yù)測編碼。可在尺寸為2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分區(qū)上執(zhí)行幀內(nèi)模式和幀間模式的預(yù)測編碼。只在尺寸為2N_0×2N_0的分區(qū)上執(zhí)行跳躍模式的預(yù)測編碼。

如果在分區(qū)類型912至916中的一者中編碼誤差是最小誤差，那么預(yù)測單元910可不分割成較深深度。

如果在分區(qū)類型918中編碼誤差是最小誤差，那么在操作920中，深度從0變成1從而分割分區(qū)類型918，并且以深度為2且尺寸為N_0×N_0在編碼單元930上重復(fù)執(zhí)行編碼，以搜索最小編碼誤差。

用于對深度為1且尺寸為2N_1×2N_1(＝N_0×N_0)的編碼單元930進行預(yù)測編碼的預(yù)測單元940可包括下列分區(qū)模式的分區(qū)：尺寸為2N_1×2N_1的分區(qū)類型942、尺寸為2N_1×N_1的分區(qū)類型944、尺寸為N_1×2N_1的分區(qū)類型946和尺寸為N_1×N_1的分區(qū)類型948。

如果在分區(qū)類型948中編碼誤差是最小誤差，那么在操作950中，深度從1變成2從而分割分區(qū)類型948，并且在深度為2且尺寸為N_2×N_2的編碼單元960上重復(fù)執(zhí)行編碼，以搜索最小編碼誤差。

當(dāng)最大深度為d時，根據(jù)搜索深度的分割操作可執(zhí)行到深度變成d-1時，并且分割信息可進行編碼直到深度為0至d-2中的一個時。換言之，當(dāng)在操作970中在對應(yīng)于深度d-2的編碼單元進行分割之后執(zhí)行編碼直到深度為d-1時，用于對深度為d-1且尺寸為2N_(d-1)×2N_(d-1)的編碼單元980進行預(yù)測編碼的預(yù)測單元990可包括下列分區(qū)模式的分區(qū)：尺寸為2N_(d-1)×2N_(d-1)的分區(qū)類型992、尺寸為2N_(d-1)×N_(d-1)的分區(qū)類型994、尺寸為N_(d-1)×2N_(d-1)的分區(qū)類型996和尺寸為N_(d-1)×N_(d-1)的分區(qū)類型998。

可在分區(qū)類型992至998之中的尺寸為2N_(d-1)×2N_(d-1)的一個分區(qū)、尺寸為2N_(d-1)×N_(d-1)的兩個分區(qū)、尺寸為N_(d-1)×2N_(d-1)的兩個分區(qū)、尺寸為N_(d-1)×N_(d-1)的四個分區(qū)上重復(fù)地執(zhí)行預(yù)測編碼，以搜索具有最小編碼誤差的分區(qū)類型。

即使在分區(qū)類型998具有最小編碼誤差時，由于最大深度為d，因此，深度為d-1的編碼單元CU_(d-1)不再分割到更深深度，并且構(gòu)成當(dāng)前最大編碼單元900的編碼單元的編碼深度被確定為d-1，而且當(dāng)前最大編碼單元900的分區(qū)類型可被確定為N_(d-1)×N_(d-1)。此外，由于最大深度為d，因此，不設(shè)置深度為d-1的編碼單元952的分割信息。

數(shù)據(jù)單元999可以是當(dāng)前最大編碼單元的“最小單元”。根據(jù)一些實施方式的最小單元可以是通過將具有最深編碼深度的最小編碼單元分割成4個而獲取的正方形數(shù)據(jù)單元。通過重復(fù)執(zhí)行編碼，根據(jù)一些實施方式的視頻編碼設(shè)備100可通過比較根據(jù)編碼單元900的深度的編碼誤差來選擇具有最小編碼誤差的深度從而確定編碼深度，并且可將對應(yīng)分區(qū)類型和預(yù)測模式設(shè)置為編碼深度的編碼模式。

因此，在所有的深度1至d中比較根據(jù)深度的最小編碼誤差，并且可將具有最小編碼誤差的深度確定為編碼深度。編碼深度、預(yù)測單元的分區(qū)類型和預(yù)測模式可作為與編碼模式有關(guān)的信息而被編碼和傳輸。此外，由于編碼單元從深度0分割到編碼深度，因此，只有編碼深度的分割信息被設(shè)置為0，而除該編碼深度之外的深度的分割信息被設(shè)置為1。

根據(jù)一些實施方式的視頻解碼設(shè)備200的圖像數(shù)據(jù)與編碼信息提取器220可提取并使用與編碼單元900的編碼深度和預(yù)測單元有關(guān)的信息，從而對分區(qū)912進行解碼。根據(jù)一些實施方式的視頻解碼設(shè)備200可通過使用根據(jù)深度的分割信息而將分割信息為0的深度確定為編碼深度，并且可將對應(yīng)深度的與編碼模式有關(guān)的信息用于解碼。

圖17至圖19是用于描述根據(jù)一些實施方式的編碼單元1010、預(yù)測單元1060與變換單元1070之間的關(guān)系的示意圖。

編碼單元1010是最大編碼單元中的由根據(jù)一些實施方式的視頻編碼設(shè)備100確定的、與編碼深度對應(yīng)的具有樹形結(jié)構(gòu)的編碼單元。預(yù)測單元1060是編碼單元1010中的每個編碼單元的預(yù)測單元的分區(qū)，并且變換單元1070是編碼單元1010中的每個編碼單元的變換單元。

當(dāng)編碼單元1010中的最大編碼單元的深度為0時，編碼單元1012和1054的深度為1，編碼單元1014、1016、1018、1028、1050和1052的深度為2，編碼單元1020、1022、1024、1026、1030、1032和1048的深度為3，以及編碼單元1040、1042、1044和1046的深度為4。

在預(yù)測單元1060中，通過分割編碼單元1010中的編碼單元獲得一些編碼單元1014、1016、1022、1032、1048、1050、1052和1054。換言之，編碼單元1014、1022、1050和1054的分區(qū)類型具有尺寸2N×N，編碼單元1016、1048和1052的分區(qū)類型具有尺寸N×2N，以及編碼單元1032的分區(qū)類型具有尺寸N×N。編碼單元1010的預(yù)測單元和分區(qū)小于或等于每個編碼單元。

在小于編碼單元1052的數(shù)據(jù)單元中，對變換單元1070中的編碼單元1052的圖像數(shù)據(jù)執(zhí)行變換或逆變換。此外，變換單元1070中的編碼單元1014、1016、1022、1032、1048、1050和1052在尺寸和形狀方面不同于預(yù)測單元1060中的數(shù)據(jù)單元。換言之，根據(jù)一些實施方式的視頻編碼設(shè)備100和視頻解碼設(shè)備200可單獨地在相同編碼單元的數(shù)據(jù)單元上執(zhí)行幀內(nèi)預(yù)測、運動估算、運動補償、變換以及逆變換。

因此，對最大編碼單元的每個區(qū)域中具有分層結(jié)構(gòu)的編碼單元中的每個編碼單元遞歸地執(zhí)行編碼，以確定最佳編碼單元，因此，可獲得具有遞歸樹形結(jié)構(gòu)的編碼單元。編碼信息可包括與編碼單元有關(guān)的分割信息、與分區(qū)類型有關(guān)的信息、與預(yù)測模式有關(guān)的信息和與變換單元的尺寸有關(guān)的信息。表1示出可由根據(jù)一些實施方式的視頻編碼設(shè)備100和視頻解碼設(shè)備200設(shè)置的編碼信息。

根據(jù)一些實施方式的視頻編碼設(shè)備100的輸出單元130可輸出與具有樹形結(jié)構(gòu)的編碼單元有關(guān)的編碼信息，并且根據(jù)一些實施方式的視頻解碼設(shè)備200的圖像數(shù)據(jù)與編碼信息提取器220可從接收的比特流中提取與具有樹形結(jié)構(gòu)的編碼單元有關(guān)的編碼信息。

分割信息表明當(dāng)前編碼單元是否分割成較深深度的編碼單元。如果當(dāng)前深度d的分割信息為0，那么當(dāng)前編碼單元不再分割到較深深度所處的深度是編碼深度，因此，可針對該編碼深度來限定與分區(qū)類型、預(yù)測模式和變換單元的尺寸有關(guān)的信息。如果當(dāng)前編碼單元根據(jù)分割信息進一步分割，那么在較深深度的四個分割編碼單元上獨立執(zhí)行編碼。

預(yù)測模式可以是幀內(nèi)模式、幀間模式和跳躍模式中的一個。幀內(nèi)模式和幀間模式可限定于所有分區(qū)類型，而跳躍模式只限定于尺寸為2N×2N的分區(qū)類型。

與分區(qū)類型有關(guān)的信息可表明通過對稱地分割預(yù)測單元的高度或?qū)挾榷@取的尺寸為2N×2N、2N×N、N×2N和N×N的對稱分區(qū)類型，以及通過不對稱地分割預(yù)測單元的高度或?qū)挾榷@取的尺寸為2N×nU、2N×nD、nL×2N和nR×2N的不對稱分區(qū)類型。可分別通過以1:3和3:1分割預(yù)測單元的高度來獲取尺寸為2N×nU和2N×nD的不對稱分區(qū)類型，并且可分別通過以1:3和3:1分割預(yù)測單元的寬度來獲取尺寸為nL×2N和nR×2N的不對稱分區(qū)類型。

變換單元的尺寸可設(shè)置為在幀內(nèi)模式下有兩個類型并且在幀間模式下有兩個類型。換言之，如果變換單元的分割信息為0，那么變換單元的尺寸可以是2N×2N，也就是當(dāng)前編碼單元的尺寸。如果變換單元的分割信息為1，那么可通過分割當(dāng)前編碼單元來獲得變換單元。此外，如果尺寸為2N×2N的當(dāng)前編碼單元的分區(qū)模式是對稱分區(qū)類型，那么變換單元的尺寸可以是N×N，并且如果當(dāng)前編碼單元的分區(qū)類型是不對稱分區(qū)類型，那么變換單元的尺寸可以是N/2×N/2。

根據(jù)一些實施方式的與具有樹形結(jié)構(gòu)的編碼單元有關(guān)的編碼信息可包括與編碼深度對應(yīng)的編碼單元、預(yù)測單元和最小單元中的至少一個。與編碼深度對應(yīng)的編碼單元可包括具有相同編碼信息的預(yù)測單元和最小單元中的至少一個。

因此，通過比較相鄰數(shù)據(jù)單元的編碼信息來確定相鄰數(shù)據(jù)單元是否包括在與編碼深度對應(yīng)的相同編碼單元中。此外，可通過使用數(shù)據(jù)單元的編碼信息來確定與編碼深度對應(yīng)的對應(yīng)編碼單元，因此可推斷出最大編碼單元中的編碼深度的分布。

因此，如果基于相鄰數(shù)據(jù)單元的編碼信息來預(yù)測當(dāng)前編碼單元，那么可直接參考并使用與當(dāng)前編碼單元相鄰的較深編碼單元中的數(shù)據(jù)單元的編碼信息。

可替代地，如果基于相鄰數(shù)據(jù)單元的編碼信息對當(dāng)前編碼單元進行預(yù)測，那么利用數(shù)據(jù)單元的編碼信息來搜索與當(dāng)前編碼單元相鄰的數(shù)據(jù)單元，而且所搜索的相鄰編碼單元可用于預(yù)測當(dāng)前編碼單元。

圖20是用于描述根據(jù)表1的編碼模式信息的編碼單元、預(yù)測單元與變換單元之間的關(guān)系的示意圖。

最大編碼單元1300包括編碼單元1302、1304、1306、1312、1314、1316、以及具有編碼深度的1318。此處，由于編碼單元1318是具有編碼深度的編碼單元，因此，分割信息可設(shè)置為0。與尺寸為2N×2N的編碼單元1318的分區(qū)類型有關(guān)的信息可設(shè)置為下列中的一個：尺寸為2N×2N的分區(qū)類型1322、尺寸為2N×N的分區(qū)類型1324、尺寸為N×2N的分區(qū)類型1326、尺寸為N×N的分區(qū)類型1328、尺寸為2N×nU的分區(qū)類型1332、尺寸為2N×nD的分區(qū)類型1334、尺寸為nL×2N的分區(qū)類型1336以及尺寸為nR×2N的分區(qū)類型1338。

變換單元分割信息(TU尺寸標(biāo)記)是一種類型的變換索引。對應(yīng)于變換索引的變換單元的尺寸可根據(jù)編碼單元的預(yù)測單元類型或分區(qū)類型而改變。

例如，當(dāng)分區(qū)類型設(shè)置為對稱，即，尺寸為2N×2N的分區(qū)類型1322、1324、1326或1328時，如果變換單元的TU尺寸標(biāo)記為0則設(shè)置尺寸為2N×2N的變換單元1342，而如果TU尺寸標(biāo)記為1則設(shè)置尺寸為N×N的變換單元1344。

當(dāng)分區(qū)類型設(shè)置為不對稱，即，分區(qū)類型1332、1334、1336或1338時，如果TU尺寸標(biāo)記為0則設(shè)置尺寸為2N×2N的變換單元1352，而如果TU尺寸標(biāo)記為1則設(shè)置尺寸為N/2×N/2的變換單元1354。

參考圖20，TU尺寸標(biāo)記是值為0或1的標(biāo)記，但根據(jù)實施方式的TU尺寸標(biāo)記不限于1比特，并且在TU尺寸標(biāo)記從0增加時，變換單元可分層地分割從而具有樹形結(jié)構(gòu)。變換單元的分割信息(TU尺寸標(biāo)記)可以是變換索引的一個示例。

在這種情況下，實際使用的變換單元的尺寸可通過使用根據(jù)一些實施方式變換單元的TU尺寸標(biāo)記以及變換單元的最大尺寸和變換單元的最小尺寸一起來表示。根據(jù)一些實施方式的視頻編碼設(shè)備100能夠?qū)ψ畲笞儞Q單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)記進行編碼。對最大變換單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)記進行編碼的結(jié)果可插入到SPS。根據(jù)一些實施方式的視頻解碼設(shè)備200可通過使用最大變換單元尺寸信息、最小變換單元尺寸信息和最大TU尺寸標(biāo)記來對視頻進行解碼。

例如，(a)如果當(dāng)前編碼單元的尺寸是64×64并且最大變換單元尺寸是32×32，那么(a-1)變換單元的尺寸在TU尺寸標(biāo)記為0時可以是32×32，(a-2)在TU尺寸標(biāo)記為1時可以是16×16，以及(a-3)在TU尺寸標(biāo)記為2時可以是8×8。

作為另一示例，(b)如果當(dāng)前編碼單元的尺寸是32×32并且最小變換單元尺寸是32×32，那么(b-1)變換單元的尺寸在TU尺寸標(biāo)記為0時可以是32×32。此處，由于變換單元的尺寸不可小于32×32，因此，TU尺寸標(biāo)記無法設(shè)置成除了0之外的值。

作為另一示例，(c)如果當(dāng)前編碼單元的尺寸是64×64并且最大TU尺寸標(biāo)記是1，那么TU尺寸標(biāo)記可以是0或1。此處，TU尺寸標(biāo)記無法設(shè)置成除了0或1之外的值。

因此，如果將最大TU尺寸標(biāo)記定義為“MaxTransformSizeIndex”，將最小變換單元尺寸定義為“MinTransformSize”，并且當(dāng)TU尺寸標(biāo)記為0時變換單元尺寸為“RootTuSize”，那么可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸“CurrMinTuSize”可由公式(1)限定：

CurrMinTuSize

＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))...(1)

與可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸“CurrMinTuSize”相比，在TU尺寸標(biāo)記為0時的變換單元尺寸“RootTuSize”可表示可以在系統(tǒng)中選擇的最大變換單元尺寸。在公式(1)中，“RootTuSize/(2^MaxTransformSizeIndex)”表示在TU尺寸標(biāo)記為0時變換單元尺寸“RootTuSize”被分割對應(yīng)于最大TU尺寸標(biāo)記的次數(shù)時的變換單元尺寸，并且“MinTransformSize”表示最小變換尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”之中的較小值可以是可在當(dāng)前編碼單元中確定的當(dāng)前最小變換單元尺寸“CurrMinTuSize”。

根據(jù)一些實施方式的最大變換單元尺寸RootTuSize可根據(jù)預(yù)測模式的類型而改變。

例如，如果當(dāng)前預(yù)測模式是幀間模式，那么“RootTuSize”可通過使用下列公式(2)來確定。在公式(2)中，“MaxTransformSize”表示最大變換單元尺寸，并且“PUSize”表示當(dāng)前預(yù)測單元尺寸。

RootTuSize＝min(MaxTransformSize,PUSize).........(2)

換言之，如果當(dāng)前預(yù)測模式是幀間模式，那么在TU尺寸標(biāo)記為0時，變換單元尺寸“RootTuSize”可以是最大變換單元尺寸和當(dāng)前預(yù)測單元尺寸之中的較小值。

如果當(dāng)前分區(qū)單元的預(yù)測模式是幀內(nèi)模式，那么“RootTuSize”可通過使用下列公式(3)來確定。在公式(3)中，“PartitionSize”表示當(dāng)前分區(qū)單元的尺寸。

RootTuSize＝min(MaxTransformSize,PartitionSize)...........(3)

換言之，如果當(dāng)前預(yù)測模式是幀內(nèi)模式，那么在TU尺寸標(biāo)記為0時，變換單元尺寸“RootTuSize”可以是最大變換單元尺寸和當(dāng)前分區(qū)單元的尺寸之中的較小值。

然而，根據(jù)分區(qū)單元中的預(yù)測模式的類型而改變的當(dāng)前最大變換單元尺寸“RootTuSize”僅僅是示例，并且本發(fā)明不限于此。

根據(jù)參考圖8到圖20描述的基于具有樹形結(jié)構(gòu)的編碼單元的視頻編碼方法，針對樹形結(jié)構(gòu)的每個編碼單元，將空間域的圖像數(shù)據(jù)編碼。根據(jù)基于具有樹形結(jié)構(gòu)的編碼單元的視頻解碼方法，針對每個最大編碼單元執(zhí)行解碼，以重建空間域的圖像數(shù)據(jù)。因此，可重建圖片和視頻(即，圖片序列)。重建的視頻可由播放設(shè)備播放、可存儲在存儲介質(zhì)中，或可通過網(wǎng)絡(luò)傳輸。

實施方式可編寫為計算機程序，并且可在使用計算機可讀記錄介質(zhì)執(zhí)行程序的通用數(shù)字計算機中實施。計算機可讀記錄介質(zhì)的示例包括磁存儲介質(zhì)(例如，ROM、軟盤、硬盤等)和光記錄介質(zhì)(例如，CD-ROM或DVD)。

為便于描述，上文參考圖1A到圖22描述的層間視頻編碼方法和/或視頻編碼方法將統(tǒng)一被稱為“根據(jù)本發(fā)明的視頻編碼方法”。此外，上文參考圖1A到圖20描述的層間視頻解碼方法和/或視頻解碼方法將被稱為“根據(jù)本發(fā)明的視頻解碼方法”。

另外，已參考圖1A到圖20描述的視頻解碼設(shè)備100或圖像編碼器400將被稱為“根據(jù)本發(fā)明的視頻編碼設(shè)備”。另外，已參考圖1A到圖20描述的視頻解碼設(shè)備200或圖像解碼器500將被稱為“根據(jù)本發(fā)明的視頻解碼設(shè)備”。

現(xiàn)在將詳細描述根據(jù)一些實施方式的存儲程序的計算機可讀記錄介質(zhì)，諸如，盤片26000。

圖21是根據(jù)一些實施方式的存儲有程序的盤片26000的物理結(jié)構(gòu)的示意圖。盤片26000作為一種存儲介質(zhì)，其可以是硬盤驅(qū)動器、緊密式只讀存儲器(CD-ROM)盤、藍光光盤或數(shù)字多功能盤(DVD)。盤片26000包括多個同心盤道Tr，所述同心盤道Tr各自在盤片26000的圓周方向上分成特定數(shù)量的扇區(qū)Se。在根據(jù)實施方式的盤片26000的特定區(qū)域中，可分配并存儲執(zhí)行上述量化參數(shù)確定方法、視頻編碼方法和視頻解碼方法的程序。

現(xiàn)在將參考圖22描述使用存儲介質(zhì)實現(xiàn)的計算機系統(tǒng)，所述存儲介質(zhì)存儲用于執(zhí)行上述視頻編碼方法和視頻解碼方法的程序。

圖22是用于通過使用盤片26000來記錄和讀取程序的盤片驅(qū)動器26800的示意圖。計算機系統(tǒng)27000可經(jīng)由盤片驅(qū)動器26800在盤片26000中存儲用于執(zhí)行根據(jù)本發(fā)明的視頻編碼方法和視頻解碼方法中的至少一個的程序。為了在計算機系統(tǒng)27000中運行存儲在盤片26000中的程序，可從盤片26000中讀取程序并且通過使用盤片驅(qū)動器27000將程序傳輸?shù)接嬎銠C系統(tǒng)26700。

執(zhí)行根據(jù)本發(fā)明的視頻編碼方法和視頻解碼方法中的至少一個的程序可不僅存儲在圖21或圖22所示的盤片26000中，還可存儲在存儲卡、ROM盒式磁帶或固態(tài)驅(qū)動器(SSD)中。

下文將描述應(yīng)用上文所述的視頻編碼方法和視頻解碼方法的系統(tǒng)。

圖23是用于提供內(nèi)容分發(fā)服務(wù)的內(nèi)容供應(yīng)系統(tǒng)11000的整體結(jié)構(gòu)的示意圖。通信系統(tǒng)的服務(wù)區(qū)域分成預(yù)定尺寸的小區(qū)，并且無線基站11700、11800、11900和12000分別安裝在這些小區(qū)中。

內(nèi)容供應(yīng)系統(tǒng)11000包括多個獨立裝置。例如，諸如計算機12100、個人數(shù)字助理(PDA)12200、攝像機12300和移動電話12500等多個獨立裝置經(jīng)由互聯(lián)網(wǎng)服務(wù)提供商11200、通信網(wǎng)絡(luò)11400以及無線基站11700、11800、11900和12000連接到互聯(lián)網(wǎng)11100。

然而，內(nèi)容供應(yīng)系統(tǒng)11000不限于如圖24所示的系統(tǒng)，并且裝置可選擇性地連接到該系統(tǒng)。多個獨立裝置可直接連接到通信網(wǎng)絡(luò)11400，而不經(jīng)過無線基站11700、11800、11900和12000。

攝像機12300是能夠拍攝視頻圖像的成像裝置，例如，數(shù)字?jǐn)z像機。移動電話12500可采用例如個人數(shù)字通信(PDC)、碼分多址(CDMA)、寬帶碼分多址(W-CDMA)、全球移動通信系統(tǒng)(GSM)以及個人手持式電話系統(tǒng)(PHS)等各種協(xié)議中的至少一個通信方法。

攝像機12300可經(jīng)由無線基站11900和通信網(wǎng)絡(luò)11400連接到流式服務(wù)器11300。流式服務(wù)器11300允許經(jīng)由攝像機12300從用戶接收的內(nèi)容經(jīng)過實時廣播進行流傳輸。從攝像機12300接收的內(nèi)容可利用攝像機12300或流式服務(wù)器11300進行編碼。由攝像機12300拍攝的視頻數(shù)據(jù)可經(jīng)由計算機12100傳輸?shù)搅魇椒?wù)器11300。

由相機12600拍攝的視頻數(shù)據(jù)也可經(jīng)由計算機12100傳輸?shù)搅魇椒?wù)器11300。相機12600是能夠拍攝靜態(tài)圖像和視頻圖像的成像裝置，類似于數(shù)字相機。由相機12600拍攝的視頻數(shù)據(jù)可利用相機12600或計算機12100進行編碼。對視頻執(zhí)行編碼和解碼的軟件可存儲在可由計算機12100訪問的計算機可讀記錄介質(zhì)中，例如，CD-ROM盤、軟盤、硬盤驅(qū)動器、SSD或存儲卡。

如果視頻數(shù)據(jù)由內(nèi)置在移動電話12500中的相機拍攝，那么視頻數(shù)據(jù)可從移動電話12500中接收。

視頻數(shù)據(jù)也可由安裝在攝像機12300、移動電話12500或相機12600中的大規(guī)模集成電路(LSI)系統(tǒng)進行編碼。

根據(jù)一些實施方式的內(nèi)容供應(yīng)系統(tǒng)11000可對由用戶使用攝像機12300、相機12600、移動電話12500或另一成像裝置記錄的內(nèi)容數(shù)據(jù)(例如，在音樂會期間記錄的內(nèi)容)進行編碼并向流式服務(wù)器11300傳輸經(jīng)編碼的內(nèi)容數(shù)據(jù)。流式服務(wù)器11300可采用流內(nèi)容類型將編碼的內(nèi)容數(shù)據(jù)傳輸?shù)秸埱髢?nèi)容數(shù)據(jù)的其他客戶端。

客戶端是能夠?qū)幋a的內(nèi)容數(shù)據(jù)進行解碼的裝置，例如，計算機12100、PDA 12200、攝像機12300或移動電話12500。因此，內(nèi)容供應(yīng)系統(tǒng)11000允許客戶端接收和播放編碼的內(nèi)容數(shù)據(jù)。此外，內(nèi)容供應(yīng)系統(tǒng)11000允許客戶端接收編碼的內(nèi)容數(shù)據(jù)，并且實時解碼和播放編碼的內(nèi)容數(shù)據(jù)，從而實現(xiàn)個人播放。

內(nèi)容供應(yīng)系統(tǒng)11000中所包括的多個獨立裝置的編碼操作和解碼操作可與根據(jù)本發(fā)明的視頻編碼設(shè)備和視頻解碼設(shè)備的編碼操作和解碼操作類似。

現(xiàn)在將參考圖24和圖25更詳細地描述根據(jù)實施方式內(nèi)容供應(yīng)系統(tǒng)11000中包括的移動電話12500的實施方式。

圖24示出根據(jù)實施方式應(yīng)用的視頻編碼方法和視頻解碼方法的移動電話12500的外部結(jié)構(gòu)。移動電話12500可以是智能電話，它的功能不受限制并且其大量的功能可改變或擴展。

移動電話12500包括外部天線12510，經(jīng)由該外部天線，射頻(RF)信號可與圖21的無線基站12000進行交換。移動電話12500還包括顯示屏12520，所述顯示屏12520用于顯示由相機12530拍攝的圖像或經(jīng)由天線12510接收并解碼的圖像，例如，液晶顯示器(LCD)或有機發(fā)光二極管(OLED)屏。移動電話12500包括操作面板12540，所述操作面板12540包括控制按鈕和觸摸面板。如果顯示屏12520是觸摸屏，那么操作面板12540進一步包括顯示屏12520的觸摸感應(yīng)面板。移動電話12500包括：用于輸出語音和聲音的揚聲器12580或另一類型的聲音輸出單元，以及用于輸入語音和聲音的麥克風(fēng)12550或另一類型的聲音輸入單元。移動電話12500進一步包括相機12530，諸如，電荷耦合裝置(CCD)相機，以拍攝視頻或靜態(tài)圖像。移動電話12500可進一步包括：存儲介質(zhì)12570，該存儲介質(zhì)12570用于存儲編碼/解碼的數(shù)據(jù)，例如，由相機12530拍攝、經(jīng)由電子郵件接收或根據(jù)各種方式獲取的視頻或靜態(tài)圖像；以及槽12560，存儲介質(zhì)12570經(jīng)由該槽12560裝載到移動電話12500中。存儲介質(zhì)12570可以是閃存，例如，安全數(shù)字(SD)卡或者包括在塑料盒中的電可擦除可編程只讀存儲器(EEPROM)。

圖25示出根據(jù)實施方式移動電話12500的內(nèi)部結(jié)構(gòu)。為了系統(tǒng)地控制包括顯示屏12520和操作面板12540的移動電話12500的部分，電源電路12700、操作輸入控制器12640、圖像編碼單元12720、相機接口12630、LCD控制器12620、圖像解碼單元12690、多路復(fù)用器/多路分解器12680、記錄/讀取單元12670、調(diào)制/解調(diào)單元12660以及聲音處理器12650經(jīng)由同步總線12730連接到中央控制器12710。

如果用戶操作電源按鈕并從“關(guān)機”狀態(tài)設(shè)置到“開機”狀態(tài)，那么電源電路12700將電力從電池組供應(yīng)到移動電話12500的所有部分，從而在操作模式下設(shè)置移動電話12500。

中央控制器12710包括中央處理單元(CPU)、ROM和RAM。

在移動電話12500將通信數(shù)據(jù)傳輸?shù)酵獠繒r，移動電話12500在中央控制器12710的控制下生成數(shù)字信號。例如，聲音處理器12650可生成數(shù)字聲音信號，圖像編碼單元12720可產(chǎn)生數(shù)字圖像信號，并且消息的文本數(shù)據(jù)可經(jīng)由操作面板12540和操作輸入控制器12640生成。當(dāng)數(shù)字信號在中央控制器12710的控制下傳輸?shù)秸{(diào)制/解調(diào)單元12660時，調(diào)制/解調(diào)單元12660對數(shù)字信號的頻帶進行調(diào)制，并且通信電路12610在頻帶經(jīng)調(diào)制的數(shù)字聲音信號上執(zhí)行數(shù)模轉(zhuǎn)換(DAC)和頻率轉(zhuǎn)換。從通信電路12610輸出的傳輸信號可經(jīng)由天線12510傳輸?shù)秸Z音通信基站或無線基站12000。

例如，當(dāng)移動電話12500處于對話模式時，經(jīng)由麥克風(fēng)12550獲取的聲音信號在中央控制器12710的控制下被聲音處理器12650變換成數(shù)字聲音信號。數(shù)字聲音信號可通過調(diào)制/解調(diào)單元12660和通信電路12610變換成變換信號，并且可經(jīng)由天線12510進行傳輸。

當(dāng)文本消息(例如，電子郵件)在數(shù)據(jù)通信模式下傳輸時，文本消息的文本數(shù)據(jù)經(jīng)由操作面板12540輸入，并且經(jīng)由操作輸入控制器12640傳輸?shù)街醒肟刂破?2610。在中央控制器12610的控制下，文本數(shù)據(jù)經(jīng)由調(diào)制/解調(diào)單元12660和通信電路12610變換成傳輸信號，并且經(jīng)由天線12510傳輸?shù)綗o線基站12000。

為了在數(shù)據(jù)通信模式下傳輸圖像數(shù)據(jù)，經(jīng)由相機接口12630將相機12530拍攝的圖像數(shù)據(jù)提供到圖像編碼單元12720。拍攝的圖像數(shù)據(jù)可經(jīng)由相機接口12630和LCD控制器12620直接顯示在顯示屏12520上。

圖像編碼單元12720的結(jié)構(gòu)可對應(yīng)于上述視頻編碼設(shè)備100的結(jié)構(gòu)。圖像編碼單元12720可根據(jù)上述視頻編碼方法將從相機12530接收的圖像數(shù)據(jù)變換成壓縮且編碼的圖像數(shù)據(jù)，并且隨后可將編碼的圖像數(shù)據(jù)輸出到多路復(fù)用器/多路分解器12680。在相機12530的記錄操作期間，由移動電話12500的麥克風(fēng)12550獲得的聲音信號可經(jīng)由聲音處理器12650變換成數(shù)字聲音數(shù)據(jù)，并且數(shù)字聲音數(shù)據(jù)可傳輸?shù)蕉嗦窂?fù)用器/多路分解器12680。

多路復(fù)用器/多路分解器12680將從圖像編碼單元12720接收的編碼圖像數(shù)據(jù)與從聲音處理器12650接收的聲音數(shù)據(jù)多路復(fù)用。多路復(fù)用數(shù)據(jù)的結(jié)果可經(jīng)由調(diào)制/解調(diào)單元12660和通信單元12610轉(zhuǎn)換成傳輸信號，并且可隨后經(jīng)由天線12510傳輸。

當(dāng)移動電話12500接收來自外部的通信數(shù)據(jù)時，在經(jīng)由天線12510接收的信號上執(zhí)行頻率恢復(fù)和ADC，以將該信號轉(zhuǎn)換成數(shù)字信號。調(diào)制/解調(diào)單元12660對數(shù)字信號的頻帶進行調(diào)制。根據(jù)數(shù)字信號的類型，頻帶經(jīng)過調(diào)制的數(shù)字信號傳輸?shù)揭曨l解碼單元12690、聲音處理器12650或LCD控制器12620。

在對話模式下，移動電話12500將經(jīng)由天線12510接收的信號放大，并且通過在放大的信號上執(zhí)行頻率轉(zhuǎn)換和ADC來獲取數(shù)字聲音信號。在中央控制器12710的控制下，接收的數(shù)字聲音信號經(jīng)由調(diào)制/解調(diào)單元12660和聲音處理器12650轉(zhuǎn)換成模擬聲音信號，并且模擬聲音信號經(jīng)由揚聲器12580輸出。

在數(shù)據(jù)通信模式下，當(dāng)接收到在互聯(lián)網(wǎng)網(wǎng)站訪問的視頻文件的數(shù)據(jù)時，經(jīng)由調(diào)制/解調(diào)單元12660將經(jīng)由天線12510從無線基站12000接收的信號作為多路復(fù)用數(shù)據(jù)輸出，并且將多路復(fù)用數(shù)據(jù)傳輸?shù)蕉嗦窂?fù)用器/多路分解器12680。

為了對經(jīng)由天線12510接收的多路復(fù)用的數(shù)據(jù)進行解碼，多路復(fù)用器/多路分解器12680將多路復(fù)用的數(shù)據(jù)多路分解成編碼視頻數(shù)據(jù)流和編碼音頻數(shù)據(jù)流。經(jīng)由同步總線12730，編碼視頻數(shù)據(jù)流和編碼音頻數(shù)據(jù)流分別被提供到視頻解碼單元12690和聲音處理器12650。

圖像解碼單元12690的結(jié)構(gòu)可對應(yīng)于上述視頻解碼設(shè)備200的結(jié)構(gòu)。根據(jù)由上述視頻解碼設(shè)備200或圖像解碼器500執(zhí)行的視頻解碼方法，圖像解碼單元12690可對編碼的視頻數(shù)據(jù)進行解碼，以獲得重建的視頻數(shù)據(jù)，并且經(jīng)由LCD控制器12620將重建的視頻數(shù)據(jù)提供到顯示屏12520。

因此，在互聯(lián)網(wǎng)網(wǎng)站訪問的視頻文件的數(shù)據(jù)可顯示在顯示屏12520上。同時，聲音處理器12650可將音頻數(shù)據(jù)轉(zhuǎn)換成模擬聲音信號，并且將模擬聲音信號提供到揚聲器12580。因此，在互聯(lián)網(wǎng)網(wǎng)站訪問的視頻文件中含有的音頻數(shù)據(jù)也可經(jīng)由麥克風(fēng)12580而播放。

移動電話12500或另一類型的通信終端可以是包括根據(jù)本發(fā)明的視頻編碼設(shè)備和視頻解碼設(shè)備的收發(fā)終端，可以是只包括視頻編碼設(shè)備的收發(fā)終端，或者可以是只包括視頻解碼設(shè)備的收發(fā)終端。

根據(jù)實施方式的通信系統(tǒng)不限于上文參考圖24描述的通信系統(tǒng)。例如，圖26示出根據(jù)一些實施方式的采用通信系統(tǒng)的數(shù)字廣播系統(tǒng)。圖26的數(shù)字廣播系統(tǒng)可通過使用根據(jù)本發(fā)明的視頻編碼設(shè)備和視頻解碼設(shè)備來接收經(jīng)由衛(wèi)星或地面網(wǎng)絡(luò)傳輸?shù)臄?shù)字廣播。

具體地，廣播站12890通過使用無線電波而將視頻數(shù)據(jù)流傳輸?shù)酵ㄐ判l(wèi)星或廣播衛(wèi)星12900。廣播衛(wèi)星12900傳輸廣播信號，并且廣播信號經(jīng)由家用天線12860傳輸?shù)叫l(wèi)星廣播接收器。在每個家庭中，編碼的視頻流可由TV接收器12810、機頂盒12870或另一裝置解碼并播放。

當(dāng)根據(jù)本發(fā)明的視頻解碼設(shè)備實施于播放設(shè)備12830中時，播放設(shè)備12830可對記錄在存儲介質(zhì)12820(諸如，盤片或存儲卡)上的編碼視頻流進行解析和解碼，以重建數(shù)字信號。因此，重建的視頻信號可例如在顯示器12840上播放。

在連接到用于衛(wèi)星/地面廣播的天線12860或用于接收電纜電視(TV)廣播的電纜12850的機頂盒12870中，可安裝根據(jù)本發(fā)明的視頻解碼設(shè)備。從機頂盒12870輸出的數(shù)據(jù)也可在TV顯示器12880上播放。

作為另一示例，根據(jù)本發(fā)明的視頻解碼設(shè)備可安裝在TV接收器12810中，而不是機頂盒12870中。

具有適當(dāng)天線12910的汽車12920可接收從衛(wèi)星12900或圖23的無線基站11700傳輸?shù)男盘?。解碼的視頻可在安裝于汽車12920中的汽車導(dǎo)航系統(tǒng)12930的顯示屏上播放。

視頻信號可由根據(jù)本發(fā)明的視頻編碼設(shè)備進行編碼，并且可隨后存儲到存儲介質(zhì)中。具體而言，圖像信號可由DVD記錄器存儲在DVD光盤12960中，或者可由硬盤記錄器12950存儲在硬盤中。作為另一示例，視頻信號可存儲在SD卡12970中。如果硬盤記錄器12950包括根據(jù)本發(fā)明的視頻解碼設(shè)備，那么記錄在DVD光盤12960、SD卡12970或另一存儲介質(zhì)上的視頻信號可在TV顯示器12880上播放。

汽車導(dǎo)航系統(tǒng)12930可不包括圖26的相機12530、相機接口12630和圖像編碼單元12720。例如，計算機12100和TV接收器12810可不包括在圖26的相機12530、相機接口12630和圖像編碼單元12720中。

圖27是示出根據(jù)一些實施方式的使用視頻編碼設(shè)備和視頻解碼設(shè)備的云計算系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)的示意圖。

云計算系統(tǒng)可包括云計算服務(wù)器14000、用戶數(shù)據(jù)庫(DB)14100、多個計算資源14200、以及用戶終端。

響應(yīng)于來自用戶終端的請求，云計算系統(tǒng)經(jīng)由數(shù)據(jù)通信網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng))來提供多個計算資源14200的按需外包服務(wù)。在云計算環(huán)境下，通過使用虛擬化技術(shù)將位于物理上不同位置的數(shù)據(jù)中心處的計算資源相結(jié)合，服務(wù)提供商為用戶提供所需的服務(wù)。服務(wù)用戶不必將計算資源(例如，應(yīng)用程序、存儲設(shè)備、操作系統(tǒng)(OS)和安全應(yīng)用)安裝到他/她自己的終端中以進行使用，而是可在所需的時間點從通過虛擬化技術(shù)生成的虛擬空間中的服務(wù)之中選擇并使用所需服務(wù)。

指定服務(wù)的用戶的用戶終端經(jīng)由包括互聯(lián)網(wǎng)和移動遠程通信網(wǎng)絡(luò)的數(shù)據(jù)通信網(wǎng)絡(luò)連接到云計算服務(wù)器14000。從云計算服務(wù)器14000可對用戶終端提供云計算服務(wù)，具體地如視頻播放服務(wù)。用戶終端可以是能夠連接到互聯(lián)網(wǎng)的各種類型的電子裝置，例如，臺式PC 14300、智能TV 14400、智能電話14500、筆記本電腦14600、便攜式多媒體播放器(PMP)14700、平板PC 14800等。

云計算服務(wù)器14000可將分布在云網(wǎng)絡(luò)中的多個計算資源14200進行組合，并且將組合的結(jié)果提供到用戶終端。多個計算資源14200可包括各種數(shù)據(jù)服務(wù)，并且可包括從用戶終端上傳的數(shù)據(jù)。如上文所述，云計算服務(wù)器14000可通過根據(jù)虛擬化技術(shù)將分布在不同區(qū)域中的視頻數(shù)據(jù)庫進行組合來將所需的服務(wù)提供到用戶終端。

與訂閱云計算服務(wù)的用戶有關(guān)的用戶信息存儲在用戶數(shù)據(jù)庫14100中。用戶信息可包括用戶的登錄信息、地址、姓名和個人信用信息。用戶信息可進一步包括視頻的索引。此處，索引可包括已經(jīng)播放的視頻列表、正在播放的視頻列表、過去播放的視頻的暫停點等。

存儲在用戶數(shù)據(jù)庫14100中的與視頻有關(guān)的信息可在用戶裝置之間共享。例如，當(dāng)響應(yīng)于來自筆記本電腦14600的請求而將視頻服務(wù)提供到筆記本電腦14600時，視頻服務(wù)的播放歷史便存儲在用戶數(shù)據(jù)庫14100中。當(dāng)從智能電話14500接收播放該視頻服務(wù)的請求時，云計算服務(wù)器14000基于用戶數(shù)據(jù)庫14100來搜索并播放該視頻服務(wù)。當(dāng)智能電話14500接收來自云計算服務(wù)器14000的視頻數(shù)據(jù)流時，通過對視頻數(shù)據(jù)流進行解碼來播放視頻的過程類似于上文參考圖24描述的移動電話12500的操作。

云計算服務(wù)器14000可參考存儲在用戶數(shù)據(jù)庫14100中的所需視頻服務(wù)的播放歷史。例如，云計算服務(wù)器14000接收來自用戶終端的播放存儲在用戶數(shù)據(jù)庫14100中的視頻的請求。如果這個視頻已在播放，那么由云計算服務(wù)器14000執(zhí)行的流傳輸這個視頻的方法可根據(jù)用戶終端的請求而改變，即，根據(jù)從視頻的開頭還是暫停點開始播放該視頻。例如，如果用戶終端請求從視頻的開頭開始播放該視頻，那么云計算服務(wù)器14000將從視頻的第一幀開始的視頻流數(shù)據(jù)傳輸?shù)接脩艚K端。如果用戶終端請求從視頻的暫停點開始播放該視頻，那么云計算服務(wù)器14000將從對應(yīng)于暫停點的幀開始的視頻流數(shù)據(jù)傳輸?shù)接脩艚K端。

在這種情況下，用戶終端可包括如上文參考圖1A到圖20描述的視頻解碼設(shè)備。作為另一示例，用戶終端可包括如上文參考圖1A到圖20描述的視頻編碼設(shè)備?；蛘?，用戶終端可包括如上文參考圖1A到圖20描述的視頻解碼設(shè)備和視頻編碼設(shè)備兩者。

上文參考圖21到圖27描述了上文參考圖1A到圖20描述的根據(jù)本發(fā)明實施方式的視頻編碼方法、視頻解碼方法、視頻編碼設(shè)備和視頻解碼設(shè)備的各種應(yīng)用。然而，根據(jù)本發(fā)明實施方式的將視頻編碼方法和視頻解碼方法存儲在存儲介質(zhì)中的方法或者在裝置中實施視頻編碼設(shè)備和視頻解碼設(shè)備的方法不限于上文參考圖21到圖27描述的實施方式。

應(yīng)當(dāng)理解，本文所描述的示例性實施方式應(yīng)當(dāng)被認為僅是描述性的含義，而不是為了限制的目的。每個示例性實施方式中的特征或方面的描述通常應(yīng)被視為可用于其它示例性實施方式中的其它類似特征或方面。雖然已經(jīng)參照附圖描述了一個或多個示例性實施方式，但是本領(lǐng)域普通技術(shù)人員將理解，在不脫離由下面的實施方式限定的精神和范圍的情況下，可以在形式和細節(jié)上進行各種改變。