專利名稱：壓縮視頻中屬于互相關(guān)性層的圖片的通知和抽取的制作方法
壓縮視頻中屬于互相關(guān)性層的圖片的通知和抽取
本申請(qǐng)的申請(qǐng)日為2009年5月18日，對(duì)除美國外的所有國家指定的申請(qǐng)人 是一家美國公司“思科技術(shù)公司”，僅對(duì)美國指定的申請(qǐng)人是均為美國公民的Arturo A. Rodriguez和Benjamin Μ. Cook，本申請(qǐng)要求申請(qǐng)日為2008年5月21日的美國專利申請(qǐng) 第12/1 ，779號(hào)的優(yōu)先權(quán)。技術(shù)領(lǐng)域
特定實(shí)施例一般涉及在網(wǎng)絡(luò)系統(tǒng)中處理視頻流。
技術(shù)背景
預(yù)期利用先進(jìn)視頻壓縮方法實(shí)現(xiàn)數(shù)字視頻對(duì)于應(yīng)用和網(wǎng)絡(luò)系統(tǒng)擴(kuò)展的可用性和 功能水平與已確立的壓縮方法所擴(kuò)展的相同。遍及網(wǎng)絡(luò)系統(tǒng)的視頻處理裝置應(yīng)當(dāng)繼續(xù)具備 現(xiàn)有的視頻流操縱能力水平或更佳。
當(dāng)提供用于根據(jù)先進(jìn)視頻編碼(AVC)標(biāo)準(zhǔn)壓縮和格式化的視頻流(本文中稱為 AVC流)的視頻流操縱功能時(shí)，難以確定視頻流是否適于特定的流操縱操作或適于擴(kuò)展終 端用戶功能(例如不同的視頻回放模式)的操作。同樣，位于遍及網(wǎng)絡(luò)系統(tǒng)的若干位置中 任意位置的視頻處理設(shè)備難以實(shí)現(xiàn)對(duì)AVC流的操縱操作。這是因?yàn)锳VC標(biāo)準(zhǔn)通常具有一組 大量的壓縮工具并可以較之先前的視頻編碼標(biāo)準(zhǔn)更精細(xì)和全面的方式利用圖片間的時(shí)間 冗余。
AVC流的壓縮較之利用先前的視頻編碼標(biāo)準(zhǔn)編碼的視頻流更加高效。然而，AVC流 往往表現(xiàn)出圖片互相關(guān)性方面的更高復(fù)雜度，這使其難以實(shí)現(xiàn)流操縱操作。


圖1的高級(jí)框圖示出了一示例環(huán)境，其中實(shí)現(xiàn)了對(duì)壓縮視頻和標(biāo)識(shí)各圖片互相關(guān) 性層中圖片的信息的處理的系統(tǒng)和方法的實(shí)施例。
圖2是圖1所示的數(shù)字家庭通信終端(DHCT)和相關(guān)設(shè)備的實(shí)施例，其中至少部分 地實(shí)現(xiàn)了對(duì)壓縮視頻和標(biāo)識(shí)各圖片互相關(guān)性層中圖片的信息的處理的系統(tǒng)和方法的實(shí)施 例。
圖3的框圖示出了示例性傳輸流生成。
圖4A和4B的框圖示出了傳輸流生成器所提供的示例性壓縮圖片序列中的圖片互 相關(guān)性。
圖5的框圖示出了圖片互相關(guān)性層的層次結(jié)構(gòu)。
圖6是提供關(guān)于圖片互相關(guān)性層的信息的各種方式的框圖。
圖7是示出包含多個(gè)字段的數(shù)據(jù)結(jié)構(gòu)的實(shí)施例的框圖，所述多個(gè)字段用于分別斷 言關(guān)于一個(gè)或多個(gè)圖片互相關(guān)性層的信息的存在。
圖8的框圖示出了圖7的數(shù)據(jù)結(jié)構(gòu)的示例性實(shí)施例。
圖9A-9E的框圖示出了基于圖4A所示的示例性圖片序列的各種位圖構(gòu)造。
具體實(shí)施方式
纖
在一個(gè)實(shí)施例中，一種方法包括提供視頻流；以及提供標(biāo)識(shí)所述視頻流中與各 圖片互相關(guān)性層相對(duì)應(yīng)的壓縮圖片的信息。在另一實(shí)施例中，一種方法包括接收視頻流； 接收表示所述視頻流中與各圖片互相關(guān)性層相對(duì)應(yīng)的壓縮圖片的信息；以及從所述視頻流 中抽取所標(biāo)識(shí)的圖片中的一個(gè)或多個(gè)圖片。
示例實(shí)施例
在以下出版物中可以找到對(duì)MPEG-2視頻編碼標(biāo)準(zhǔn)的描述，該出版物在此被合 并參考(1)IS0/IEC 13818-2，(2000), “ Information Technology-Generic coding of moving pictures and associated audio-Video，，。在以下出版物中可以找到對(duì)AVC視頻編 碼標(biāo)準(zhǔn)的描述，該出版物在此被合并參考(2) ITU-T Rec. H. 264(2005)，"Advanced video coding for generic audiovisual services，，。在以下出版物中可以找到對(duì)用于以MPEG-2 傳輸分組傳輸AVC視頻流的MPEG-2系統(tǒng)的描述，該出版物在此被合并參考(3) IS0/IEC 13818-1, (2000), “Information Technology-Generic coding of moving pictures and associated audio-Part 1 =Systems",和(4)ITU-T Rec. H. 222. 0|IS0/IEC 13818-1 2000/AMD. 3, (2004) ,"Transport of AVC video data over ITU-T Rec. H222. 0|IS0/IEC 13818-lstreams”。
注意，遍及本說明書使用的“位圖相關(guān)信息”指與圖片互相關(guān)性層相關(guān)或有關(guān)的斷 言(assertion)和/或位圖或其他信息。遍及本說明書，“層”(tier)應(yīng)理解為指圖片互相 關(guān)性層(picture interdependency tier)。
注意，遍及本說明書使用的“圖片”指來自以多種形式中的一種構(gòu)成視頻或數(shù)字視 頻的圖片序列的圖像部分或完整圖像。遍及本說明書，“視頻節(jié)目”或?qū)梢晝?nèi)容的其他提 及應(yīng)理解為包括電視節(jié)目、電影，或其他任何傳達(dá)或定義諸如通過個(gè)人攝像機(jī)提供的可視 內(nèi)容之類的可視內(nèi)容的信號(hào)。這種視頻節(jié)目當(dāng)被傳遞時(shí)可以包括壓縮數(shù)據(jù)流，該壓縮數(shù)據(jù) 流對(duì)應(yīng)于復(fù)用和分組化成諸如MPEG-2傳輸(MPEG-2 Transport)之類的傳輸流的圖片和其 他元素的一個(gè)或多個(gè)序列構(gòu)成的整體，所述其他元素包括視頻、音頻和/或其他數(shù)據(jù)。
視頻流還可指與任何視頻服務(wù)或數(shù)字視頻應(yīng)用相對(duì)應(yīng)的壓縮數(shù)字可視數(shù)據(jù)，所述 視頻服務(wù)或數(shù)字視頻應(yīng)用包括但不限于視頻節(jié)目、視頻會(huì)議或視頻電話會(huì)話、通過網(wǎng)絡(luò)系 統(tǒng)中的通信信道發(fā)送或接收視頻流的任何數(shù)字視頻應(yīng)用，或在存儲(chǔ)裝置或內(nèi)存裝置中存儲(chǔ) 了視頻流或從存儲(chǔ)裝置或內(nèi)存裝置檢索視頻流的任何數(shù)字視頻應(yīng)用。所公開的實(shí)施例可以 許多不同形式實(shí)現(xiàn)，不應(yīng)解釋為限于這里闡述的實(shí)施例；而是提供了這些實(shí)施例以使得本 公開將更全面和完整，并將會(huì)充分地將公開的范圍傳達(dá)給本領(lǐng)域的普通技術(shù)人員。雖然遍 及本說明書將數(shù)字家庭通信終端(DHCT)用作示例裝置，但本文中描述的特定實(shí)施例擴(kuò)展 到有能力接收和處理AVC流的其他類型的接收機(jī)。例如，特定實(shí)施例可應(yīng)用于經(jīng)由通信信 道耦合到網(wǎng)絡(luò)系統(tǒng)的手持接收機(jī)和/或移動(dòng)接收機(jī)。本文中描述的某些實(shí)施例還擴(kuò)展到具 有接收和/或發(fā)送功能以及其他功能的網(wǎng)絡(luò)裝置(例如編碼器、交換機(jī)等)。特定實(shí)施例還 可應(yīng)用于任何視頻服務(wù)使能接收機(jī)(VSER)，還可應(yīng)用于諸如有能力處理AVC流的媒體播放 器之類的電子裝置，而與這些電子裝置是否耦合到網(wǎng)絡(luò)系統(tǒng)無關(guān)。此外，本文中給出的所有4實(shí)施例、圖示和示例都希望是非限制性的，并且是作為示例列表提供的，還有想到了但未示 出的其他示例。
圖1是示出了示例環(huán)境的高級(jí)框圖，在該示例環(huán)境中，系統(tǒng)和方法的實(shí)施例實(shí)現(xiàn) 了對(duì)壓縮視頻和標(biāo)識(shí)各圖片互相關(guān)性層中圖片的信息的處理。具體而言，圖1是示出了示 例性訂戶電視系統(tǒng)(STS) 100的框圖。在此示例中，STS 100包括頭端110和DHCT 200，它 們經(jīng)由網(wǎng)絡(luò)130耦合起來。DHCT 200通常位于用戶的住所或辦公場所，并可以是一單獨(dú)單 元或集成到諸如顯示裝置140或個(gè)人計(jì)算機(jī)(未示出)以及其他裝置之類的另一裝置中。 DHCT 200通過網(wǎng)絡(luò)130從頭端110接收信號(hào)(視頻、音頻和/或其他數(shù)據(jù))，該信號(hào)例如包 括數(shù)字化視頻信號(hào)的壓縮表示的數(shù)字視頻信號(hào)，例如調(diào)制在載波信號(hào)上的AVC流，和/或調(diào) 制在載波信號(hào)上的模擬信息，等等，并將相反信息通過網(wǎng)絡(luò)130提供給頭端110。
網(wǎng)絡(luò)130可以包括用于傳送視頻和電視服務(wù)數(shù)據(jù)的任何合適介質(zhì)，例如包括有線 電視網(wǎng)絡(luò)或衛(wèi)星電視網(wǎng)絡(luò)，等等。頭端110可包括一個(gè)或多個(gè)服務(wù)器裝置(未示出)，用于 向諸如DHCT 200之類的客戶裝置提供視頻、音頻和其他類型的媒體或數(shù)據(jù)。
頭端110還包括一個(gè)或多個(gè)編碼器或壓縮引擎111，其在一個(gè)實(shí)施例中將圖片互 相關(guān)性相關(guān)信息(例如與圖片互相關(guān)性有關(guān)的位圖、標(biāo)志，和/或其他消息，和/或斷言關(guān) 于一個(gè)或多個(gè)圖片互相關(guān)性層的信息的存在的信息，如下文進(jìn)一步描述的)提供或插入到 傳輸流中，以使能或幫助DHCT 200或其他網(wǎng)絡(luò)裝置從視頻流中解碼、分析和/或抽取頂層 的圖片和/或丟棄底層的圖片，如下文進(jìn)一步說明的。雖然示為駐留在頭端110中，但編碼 器可位于網(wǎng)絡(luò)中其他位置。例如，對(duì)與圖片互相關(guān)性層相關(guān)的斷言和位圖或其他信息的插 入或提供可以在頭端110的上游或外部實(shí)現(xiàn)。頭端110和DHCT 200進(jìn)行合作以給用戶提 供電視服務(wù)，該電視服務(wù)例如包括廣播視頻節(jié)目、互動(dòng)式節(jié)目指南(IPG)，和/或視頻點(diǎn)播 (VOD)呈現(xiàn)，等等。電視服務(wù)經(jīng)由顯示裝置140呈現(xiàn)，該顯示裝置通常是電視機(jī)，其被根據(jù)其 類型而利用隔行掃描視頻號(hào)或逐行掃描視頻信號(hào)驅(qū)動(dòng)。然而，顯示裝置140也可以是能夠 顯示視頻圖像的其他任何裝置，例如包括計(jì)算機(jī)監(jiān)視器。雖然示為與顯示裝置140通信，但 DHCT 200可與接收、存儲(chǔ)和/或處理來自DHCT 200的視頻流或向DHCT 200提供或發(fā)送視 頻流或未壓縮視頻信號(hào)的其他裝置進(jìn)行通信。
圖2是圖1所示的DHCT 200和相關(guān)設(shè)備的實(shí)施例的框圖，其中系統(tǒng)和方法的實(shí)施 例至少部分地實(shí)現(xiàn)了對(duì)壓縮視頻和標(biāo)識(shí)各圖片互相關(guān)性層中圖片的信息的處理。將理解圖 2所示的DHCT 200僅僅是說明性的，不應(yīng)解釋為暗示對(duì)公開范圍的任何限制。例如，在一 些實(shí)施例中，DHCT 200可以具有比圖2所示的組件更少、更多和/或不同的組件。所描述 的DHCT 200和/或編碼器111的子系統(tǒng)和方法中任一者都可包括用于實(shí)現(xiàn)邏輯功能的可 執(zhí)行指令的有序列表，可以實(shí)現(xiàn)在任何計(jì)算機(jī)可讀介質(zhì)中以供指令執(zhí)行系統(tǒng)、設(shè)備或裝置 使用或與之協(xié)同，例如能從指令執(zhí)行系統(tǒng)、設(shè)備或裝置取得指令并執(zhí)行指令的基于計(jì)算機(jī) 的系統(tǒng)、包含處理器的系統(tǒng)或其他系統(tǒng)。在本文檔的上下文中，“計(jì)算機(jī)可讀介質(zhì)”可以是 能包含、存儲(chǔ)、傳送、傳播或傳輸程序以供指令執(zhí)行系統(tǒng)、設(shè)備或裝置使用或與之協(xié)同的任 何裝置。計(jì)算機(jī)可讀介質(zhì)例如可以是但不限于電、磁、光、電磁、紅外或半導(dǎo)體系統(tǒng)、設(shè)備、裝 置或傳播介質(zhì)。計(jì)算機(jī)可讀介質(zhì)的更具體的示例(非窮舉列表)將會(huì)包括以下項(xiàng)具有一 條或多條導(dǎo)線的電連接(電子的)、便攜式計(jì)算機(jī)盤(磁的)、隨機(jī)存取存儲(chǔ)器(RAM)(電子 的)、只讀存儲(chǔ)器(ROM)(電子的)、可擦除可編程只讀存儲(chǔ)器(EPR0M或閃存)(電子的)、光纖(光的)，以及便攜式緊致盤只讀存儲(chǔ)器(CDROM)(光的)。
DHCT 200通常位于用戶的住所或辦公場所，并可以是一單獨(dú)單元或集成到諸如電 視機(jī)或個(gè)人計(jì)算機(jī)之類的另一裝置中。DHCT 200優(yōu)選地包括用于通過網(wǎng)絡(luò)130(圖1)從頭 端110 (圖1)接收信號(hào)(視頻、音頻和/或其他數(shù)據(jù))的通信接口 M2，并將相反信息提供 給頭端110。
DHCT 200還可包括用于控制DHCT 200的操作的一個(gè)或多個(gè)處理器(示出了一個(gè) 處理器M4)、用于驅(qū)動(dòng)電視顯示器140(圖1)的輸出系統(tǒng)M8，以及用于調(diào)諧到特定電視頻 道和/或頻率并用于向/從頭端110發(fā)送和接收各種類型的數(shù)據(jù)的調(diào)諧器系統(tǒng)M5。DHCT 200在一些實(shí)施例中可包括用于接收所下載(或所發(fā)送)數(shù)據(jù)的多個(gè)調(diào)諧器。調(diào)諧器系統(tǒng) 245可從訂戶電視系統(tǒng)100 (圖1)所提供的多個(gè)發(fā)送信號(hào)中進(jìn)行選擇。調(diào)諧器系統(tǒng)245使 得DHCT 200能調(diào)諧到下游媒體和數(shù)據(jù)發(fā)送，從而允許用戶經(jīng)由訂戶電視系統(tǒng)100接收數(shù)字 媒體內(nèi)容。在一個(gè)實(shí)施例中，模擬電視信號(hào)可以經(jīng)過調(diào)諧器系統(tǒng)245接收。調(diào)諧器系統(tǒng)M5 在一種實(shí)現(xiàn)方式中包括用于雙向數(shù)據(jù)通信的帶外調(diào)諧器，和用于接收電視信號(hào)的一個(gè)或多 個(gè)調(diào)諧器(帶內(nèi))。另外，接收機(jī)246接收來自諸如遙控裝置(未示出)的輸入裝置的外部 生成的用戶輸入或命令。
DHCT 200可包括一個(gè)或多個(gè)也稱為通信端口或接口 274的有線或無線接口，用于 向其他裝置接收和/或發(fā)送數(shù)據(jù)或視頻流。例如，DHCT 200可具有USB (通用串行總線)、 以太網(wǎng)、IEEE-1394、串行和/或并行端口，等等。DHCT 200可經(jīng)由通信接口 274連接到家 庭網(wǎng)絡(luò)或局部網(wǎng)絡(luò)。DHCT 200還可包括用于接收模擬視頻信號(hào)的模擬視頻輸入端口。可以 經(jīng)由諸如手持遙控裝置或鍵盤之類的輸入裝置提供用戶輸入。
DHCT 200包括至少一個(gè)存儲(chǔ)裝置273，用于存儲(chǔ)DHCT 200接收的視頻流。與操作 系統(tǒng)253和裝置驅(qū)動(dòng)器211合作的PVR應(yīng)用277實(shí)現(xiàn)向/從存儲(chǔ)裝置273的讀和/或?qū)懖?作，以及其他功能。處理器244可為操作系統(tǒng)253、裝置驅(qū)動(dòng)器211、應(yīng)用(例如PVR 277)， 和數(shù)據(jù)輸入及輸出提供和/或幫助控制和程序執(zhí)行。處理器244還可提供和/或幫助接收 和處理位圖相關(guān)信息，識(shí)別和抽取分別屬于一個(gè)或多個(gè)層的圖片，識(shí)別和丟棄分別屬于一 個(gè)或多個(gè)層的圖片，以及在抽取或丟棄所識(shí)別的圖片之后解碼和輸出視頻流。處理器M4 還可為所接收的壓縮視頻流或DHCT 200所產(chǎn)生的壓縮視頻流幫助或提供位圖相關(guān)信息。 這里，對(duì)針對(duì)存儲(chǔ)裝置273的寫和/或讀操作的提及可理解為包括對(duì)存儲(chǔ)裝置273的一個(gè) 或多個(gè)介質(zhì)的操作。裝置驅(qū)動(dòng)器211 —般是與操作系統(tǒng)253相接口和/或駐留于操作系統(tǒng) 253中的軟件模塊。裝置驅(qū)動(dòng)器211在操作系統(tǒng)253的管理下與存儲(chǔ)裝置控制器279通信 以提供用于存儲(chǔ)裝置273的操作指令。由于傳統(tǒng)的裝置驅(qū)動(dòng)器和裝置控制器對(duì)于本領(lǐng)域普 通技術(shù)人員是公知的，因此這里就不進(jìn)一步描述各自的詳細(xì)工作的討論了。
存儲(chǔ)裝置273可以位于DHCT 200內(nèi)部并通過通信接口 275耦合到公共總線205。 通信接口 275可包括集成驅(qū)動(dòng)電子裝置(IDE)、小型計(jì)算機(jī)系統(tǒng)接口(SCSI)、IEEE-1394或 通用串行總線(USB)，等等。作為替換或補(bǔ)充，存儲(chǔ)裝置273可以經(jīng)由通信端口 274，外部連 接到DHCT 200。通信端口 274例如可以是根據(jù)IEEE-1394、USB、SCSI或IDE規(guī)范的。在一 種實(shí)現(xiàn)方式中，視頻流是經(jīng)由通信接口 242接收到DHCT 200中并存儲(chǔ)在臨時(shí)存儲(chǔ)器緩存 (未示出)中的。臨時(shí)存儲(chǔ)器緩存可以是DRAM 252的一指定部分，或者直接或作為DHCT 200中組件一部分而附接的獨(dú)立存儲(chǔ)器。臨時(shí)緩存被實(shí)現(xiàn)和管理來使能向存儲(chǔ)裝置273的媒體內(nèi)容傳遞。在一些實(shí)現(xiàn)方式中，存儲(chǔ)裝置273的快速存取時(shí)間和高數(shù)據(jù)傳遞速率特性 使得能夠以足夠快的方式從臨時(shí)緩存讀取媒體內(nèi)容和將媒體內(nèi)容寫到存儲(chǔ)裝置273?？梢?實(shí)現(xiàn)多個(gè)同時(shí)的數(shù)據(jù)傳遞操作，使得在將數(shù)據(jù)從臨時(shí)緩存?zhèn)鬟f到存儲(chǔ)裝置273的同時(shí)，可 以接收另外的數(shù)據(jù)并將其存儲(chǔ)在臨時(shí)緩存中。
DHCT 200包括信號(hào)處理系統(tǒng)214，該信號(hào)處理系統(tǒng)包括解調(diào)系統(tǒng)210和傳輸解復(fù) 用和分析系統(tǒng)215(本文中稱為解復(fù)用系統(tǒng))，用于處理廣播和/或點(diǎn)播媒體內(nèi)容和/或數(shù) 據(jù)。信號(hào)處理系統(tǒng)214的一個(gè)或多個(gè)組件可以利用軟件、軟硬件組合，或硬件實(shí)現(xiàn)。解調(diào)系 統(tǒng)210包括用于解調(diào)模擬或數(shù)字發(fā)送信號(hào)的功能。
如上所述，編碼器或壓縮引擎可以駐留在頭端110處(例如實(shí)現(xiàn)為編碼器111)， DHCT 200中(例如實(shí)現(xiàn)為壓縮引擎217)，或其他位置。壓縮引擎217可以接收數(shù)字化未壓 縮視頻信號(hào)，例如由模擬視頻解碼器216提供的數(shù)字化未壓縮視頻信號(hào)，或由解壓縮引擎 (例如解壓縮引擎22 作為將壓縮視頻信號(hào)解壓縮的結(jié)果而產(chǎn)生的解壓縮視頻信號(hào)。在一 個(gè)實(shí)施例中，模擬視頻解碼器216所輸出的數(shù)字化圖片和相應(yīng)音頻在壓縮引擎217的輸入 端提供，該壓縮引擎根據(jù)視頻壓縮規(guī)范的句法和語義將未壓縮數(shù)字化圖片序列壓縮。從而， 壓縮引擎217實(shí)現(xiàn)了與諸如AVC標(biāo)準(zhǔn)之類相應(yīng)的視頻壓縮規(guī)范相對(duì)應(yīng)的視頻壓縮方法或算 法，以提供視頻流。壓縮引擎217還可提供用于所提供的視頻流的位圖相關(guān)信息。
本文中公開的系統(tǒng)和方法可應(yīng)用于根據(jù)視頻壓縮規(guī)范執(zhí)行的任何視頻壓縮方法， 所述視頻壓縮規(guī)范考慮了至少一種類型的壓縮圖片，該壓縮圖片可依賴于多個(gè)用于其解壓 縮和重建的參考圖片的相應(yīng)解壓縮版本。例如，壓縮引擎217可根據(jù)AVC標(biāo)準(zhǔn)的規(guī)范來壓縮 輸入的視頻，并產(chǎn)生包含不同類型壓縮圖片的AVC流，一些壓縮圖片可具有第一壓縮部分 和第二壓縮部分，該第一壓縮部分依賴于用于壓縮圖片的解壓縮和重建的第一參考圖片， 同一圖片的該第二壓縮部分依賴于不同的第二參考圖片。
在一些實(shí)施例中，具有諸如能產(chǎn)生AVC流的壓縮能力的類似壓縮能力的壓縮引擎 例如作為家庭網(wǎng)絡(luò)的一部分經(jīng)由通信端口 274連接到DHCT 200。在另一實(shí)施例中，具有諸 如能產(chǎn)生AVC流的壓縮能力的類似壓縮能力的壓縮引擎可位于頭端110或網(wǎng)絡(luò)130中的其 他位置。在各種實(shí)施例中的壓縮引擎可包括提供用于所產(chǎn)生的視頻流的位圖相關(guān)信息的能 力。
除非以其他方式規(guī)定，否則本文中使用的壓縮引擎可駐留在頭端110處(例如作 為編碼器111)，DHCT 200中(例如作為壓縮引擎217)，經(jīng)由通信端口 274連接到DHCT 200， 或其他位置。同樣，本文中使用的視頻處理裝置可駐留在頭端110處、DHCT 200中、經(jīng)由通 信端口 274連接到DHCT 200，或其他位置。在一個(gè)實(shí)施例中，壓縮引擎和視頻處理裝置駐留 在同一位置。在另一實(shí)施例中，他們駐留在不同位置。在又一實(shí)施例中，壓縮引擎和視頻處 理裝置是同一裝置。
根據(jù)諸如MPEG-2或AVC之類的指定的音頻和視頻編碼方法的句法和語義，產(chǎn)生壓 縮的視頻和音頻流，使得壓縮的視頻和音頻流可以在未來時(shí)間被解壓縮引擎222解釋以用 于解壓縮和重建。根據(jù)諸如MPEG-2系統(tǒng)中定義的MPEG-2傳輸之類的傳輸規(guī)范的句法和語 義，將每個(gè)AVC流分組化(packetize)成傳輸分組。每個(gè)傳輸分組包含頭部，該頭部具有與 相應(yīng)的AVC流相關(guān)聯(lián)的獨(dú)特的分組標(biāo)識(shí)碼或PID。
解復(fù)用系統(tǒng)215可包括MPEG-2傳輸解復(fù)用能力。當(dāng)被調(diào)節(jié)到承載數(shù)字發(fā)送信號(hào)的載波頻率時(shí)，解復(fù)用系統(tǒng)215使得能夠分離與所需的AVC流相對(duì)應(yīng)的數(shù)據(jù)分組，以用于進(jìn) 一步處理。同時(shí)，解復(fù)用系統(tǒng)215排除了對(duì)復(fù)用傳輸流中無關(guān)或不需要的分組，例如對(duì)應(yīng)于 其他視頻流的數(shù)據(jù)分組的進(jìn)一步處理。解復(fù)用系統(tǒng)215的分析能力考慮了 DHCT 200對(duì)傳 輸分組中所承載的節(jié)目相關(guān)信息的吸收。解復(fù)用系統(tǒng)215的分析能力可以考慮DHCT 200 對(duì)位圖相關(guān)信息的吸收，所述位圖相關(guān)信息例如是與一個(gè)或多個(gè)圖片互相關(guān)性層中圖片的 識(shí)別相關(guān)或有關(guān)的斷言和位圖或其他信息。
在一個(gè)實(shí)施例中，可通過在諸如MPEG-2傳輸?shù)膫鬏斄鞣纸M之類的傳輸流分組的 適配字段或其他字段的私有數(shù)據(jù)區(qū)段中規(guī)定顯式信息，來提供位圖相關(guān)信息。在一個(gè)實(shí)施 例中，這種信息的信號(hào)通知(signaling)和提供是位于視頻節(jié)目的復(fù)用級(jí)，或傳輸層處的 (而非在視頻層中)。位圖信息可以例如經(jīng)由在MPEG-2傳輸分組的適配字段中承載的私有 數(shù)據(jù)，作為未加密數(shù)據(jù)而承載。
例如，根據(jù)MPEG-2的傳輸分組結(jié)構(gòu)包括188個(gè)字節(jié)，并包括一 4字節(jié)的頭部，該頭 部具有標(biāo)識(shí)傳輸分組的對(duì)應(yīng)流的獨(dú)特分組標(biāo)識(shí)符或PID。可選的適配字段可跟在傳輸分組 的頭部之后。如果有適配字段的話，則包含對(duì)應(yīng)流一部分的有效載荷跟在適配字段之后。如 果沒有適配字段，則有效載荷跟在傳輸頭部之后。與AVC流中壓縮圖片相對(duì)應(yīng)的位圖相關(guān) 信息在一個(gè)實(shí)施例中設(shè)在適配字段中，從而不被認(rèn)為是視頻層的一部分，這是因?yàn)檫m配字 段既不是傳輸分組有效載荷的一部分也不是AVC規(guī)范的一部分，而是根據(jù)MPEG-2系統(tǒng)標(biāo)準(zhǔn) 的MPEG-2傳輸?shù)木浞ê驼Z義的一部分。
傳輸流的頭部可以包括同步(sync)字節(jié)，該同步字節(jié)設(shè)置傳輸流分組的開始并 允許發(fā)送同步。傳輸流的頭部還可包括有效載荷單元起始指示符，當(dāng)在承載視頻流的分組 中將該有效載荷單元起始指示符設(shè)置為某個(gè)值(例如在MPEG-2傳輸中為lb)時(shí)，該有效載 荷單元起始指示符指示出該傳輸分組的有效載荷開始于分組化基本流(PES)的分組的首 個(gè)字節(jié)。PES中所承載的視頻流可以被約束為每PES分組承載一個(gè)壓縮圖片，并且PES分組 必須始終作為傳輸流的分組有效載荷的首個(gè)字節(jié)而開始。從而，有效載荷單元起始指示符 提供了對(duì)傳輸流中所承載的視頻流的每個(gè)相繼圖片的起始的標(biāo)識(shí)。注意，承載視頻流的傳 輸分組是由DHCT 200的分析能力(如上所述)從節(jié)目相關(guān)信息或節(jié)目專用信息(PSI)中 識(shí)別的。例如，在MPEG-2傳輸中，節(jié)目映射表識(shí)別節(jié)目映射表(PMT)中節(jié)目流的分組標(biāo)識(shí) 符(PID)，該P(yáng)MT又是經(jīng)由節(jié)目關(guān)聯(lián)表(PAT)識(shí)別的。
應(yīng)當(dāng)注意，位圖相關(guān)信息是未經(jīng)加密地設(shè)置在傳輸層中的，并使得位于網(wǎng)絡(luò)中的 視頻解碼器或其他視頻處理裝置能夠針對(duì)特定應(yīng)用或操作而確定從視頻流中抽取那些圖 片和/或從視頻流中丟棄哪些圖片，而無須分析壓縮視頻層或視頻流。
位圖相關(guān)信息標(biāo)識(shí)出視頻流中分別屬于一個(gè)或多個(gè)圖片互相關(guān)性層的圖片。這又 使得在視頻節(jié)目存儲(chǔ)在DHCT 200的硬盤驅(qū)動(dòng)器中時(shí)，能夠注釋與各圖片互相關(guān)性層相對(duì) 應(yīng)的相繼圖片位置。視頻節(jié)目可以作為傳輸流而存儲(chǔ)。在一個(gè)替代實(shí)施例中，其可作為節(jié) 目流而存儲(chǔ)。所注釋的視頻節(jié)目的圖片位置可由處理器244在執(zhí)行PVR應(yīng)用277的同時(shí)處 理，以從一起始點(diǎn)開始抽取屬于頂層的視頻節(jié)目圖片，或從同一起始點(diǎn)開始抽取屬于各相 繼頂部層的另外圖片(即，升序編號(hào)的層，如下所述)，以提供技巧模式(trick mode)操作。
位于傳輸分組頭部中或適配字段中的一個(gè)或多個(gè)標(biāo)志可以標(biāo)識(shí)可作為用于跟蹤 位圖相關(guān)信息的起始點(diǎn)的起始點(diǎn)或隨機(jī)訪問點(diǎn)。例如，MPEG-2傳輸分組中的適配字段包括隨機(jī)訪問指示符和基本流優(yōu)先級(jí)指示符。
信號(hào)處理系統(tǒng)214的組件通常能夠進(jìn)行QAM解調(diào)、轉(zhuǎn)發(fā)糾錯(cuò)、MPEG-2傳輸流的解 復(fù)用，以及對(duì)分組和流的分析。流分析可以包括對(duì)分組化基本流或基本流的分析。分組分 析可包括對(duì)遞送與AVC流相對(duì)應(yīng)的位圖相關(guān)信息的字段的分析和處理。在一些實(shí)施例中， 由信號(hào)處理系統(tǒng)214執(zhí)行的分析抽取位圖相關(guān)信息，并且處理器244提供對(duì)位圖相關(guān)信息 的處理和解釋。在又一實(shí)施例中，處理器244執(zhí)行對(duì)位圖相關(guān)信息的分析、處理和解釋。信 號(hào)處理系統(tǒng)214還經(jīng)由DHCT 200的中斷和消息發(fā)送能力與處理器244通信。處理器M4 注釋視頻流或傳輸流內(nèi)圖片的位置，以及與視頻流相對(duì)應(yīng)的其他有關(guān)信息。作為替代或補(bǔ) 充，注釋可以是根據(jù)與視頻流對(duì)應(yīng)的位圖相關(guān)信息，或者從位圖相關(guān)信息得到的。由處理器 244進(jìn)行的注釋使得能夠進(jìn)行對(duì)所存儲(chǔ)的視頻節(jié)目實(shí)例的正?；胤乓约捌渌胤拍Ｊ?。常 稱為“技巧模式”的其他回放模式可包括倒退或反向回放，快進(jìn)回放，或暫停或靜止。回放 模式可包括除了正?；胤潘俣戎獾囊环N或多種回放速度。在一些實(shí)施例中，位圖相關(guān)信 息由處理器244提供給解壓縮引擎222。在另一實(shí)施例中，在技巧模式的回放期間，由處理 器244將存儲(chǔ)在存儲(chǔ)裝置中的注釋提供給解壓縮引擎222。在又一實(shí)施例中，僅在技巧模式 期間提供注釋，其中處理器244編程了解壓縮引擎222來執(zhí)行技巧模式。
注釋可以僅僅是位圖相關(guān)信息。處理器244可以抽取來自頂層的圖片和/或丟棄 來自底層的圖片，如下文進(jìn)一步描述的。
分組化壓縮流還可由信號(hào)處理系統(tǒng)214輸出，并作為對(duì)解壓縮引擎222的輸入而 提供，以用于音頻和/或視頻解壓縮。信號(hào)處理系統(tǒng)214可以包括其他組件(未示出)，包 括存儲(chǔ)器、解密器、采樣器、數(shù)字化器(例如模數(shù)轉(zhuǎn)換器)，和復(fù)用器，等等。解復(fù)用系統(tǒng)215 分析(例如讀取并解釋)傳輸分組，并將與對(duì)應(yīng)于AVC流的一個(gè)或多個(gè)位圖相對(duì)應(yīng)的信息 存放到DRAM 252中。
在實(shí)現(xiàn)對(duì)傳輸流的解復(fù)用和分析時(shí)，處理器244解釋信號(hào)處理系統(tǒng)214所輸出的 數(shù)據(jù)，并根據(jù)與視頻流相對(duì)應(yīng)的位圖相關(guān)信息，生成包括壓縮視頻流中某些圖片的絕對(duì)開 始位置的表或數(shù)據(jù)結(jié)構(gòu)(索引表20 形式的輔助數(shù)據(jù)。處理器244還處理與位圖相關(guān)信 息相對(duì)應(yīng)的信息，以做出用于PVR操作的注釋。注釋由處理器244存儲(chǔ)在存儲(chǔ)裝置中。在 一個(gè)實(shí)施例中，位圖相關(guān)信息由注釋構(gòu)成，并且其存儲(chǔ)在硬盤驅(qū)動(dòng)器中。這種輔助數(shù)據(jù)被用 來便利在未來的PVR操作期間對(duì)所需視頻數(shù)據(jù)的檢索。
解復(fù)用系統(tǒng)215可以分析接收到的傳輸流(或由壓縮引擎217生成的流，該流在 一些實(shí)施例中可以是節(jié)目流)而不干擾其視頻流內(nèi)容，并將經(jīng)分析的傳輸流(或所生成的 節(jié)目流)存放到DRAM 252中。即使視頻節(jié)目是加密了的，處理器244也可生成注釋，這是 因?yàn)锳VC流的位圖相關(guān)信息是未加密地承載的。處理器244使得DRAM 252中的傳輸流被 傳遞到存儲(chǔ)裝置273?？梢源鎯?chǔ)另外的相關(guān)安全性、授權(quán)和/或加密信息。作為替代或補(bǔ) 充，與AVC流相對(duì)應(yīng)的位圖相關(guān)信息可以具有包括圖片之間互相關(guān)性的表或數(shù)據(jù)結(jié)構(gòu)的形 式，如下文進(jìn)一步說明的。
注意，在一個(gè)實(shí)施例中，本文中對(duì)解碼系統(tǒng)的提及包括解碼功能和合作元件，例如 在解壓縮引擎222、處理器M4、信號(hào)處理系統(tǒng)214和存儲(chǔ)器的總的功能中找到的那些。在 一些實(shí)施例中，解碼系統(tǒng)可包括更少、更多或不同的元件。而且，某些系統(tǒng)和方法實(shí)施例包 括來自頭端的組件(例如編碼器111等)和/或來自DHCT 200的組件，但在一些實(shí)施例中可找到更少或更多的組件。
AVC流或其他壓縮視頻流包括可根據(jù)圖片互相關(guān)性層次結(jié)構(gòu)或圖片相關(guān)性層來編 碼的圖片。圖片基于圖片互相關(guān)性而與層的層次結(jié)構(gòu)相關(guān)聯(lián)。每個(gè)壓縮圖片屬于至多一層。 層是從作為頂層的層編號(hào)1開始，從上到下順序編號(hào)的。底層具有最高編號(hào)。一層中的圖 片不依賴于任何更高編號(hào)層上的圖片。從而，將向位圖相關(guān)信息提供一致的標(biāo)識(shí)，以使得與 一層相對(duì)應(yīng)的任何所標(biāo)識(shí)的圖片不依賴于屬于任何更高編號(hào)層的圖片。層的層次結(jié)構(gòu)的另 一方面在于，對(duì)一些圖片的解碼依賴于特定的其他圖片。因此，如果一個(gè)圖片用作其他圖片 的參考圖片，則它可被認(rèn)為是比其他圖片更重要。事實(shí)上，特定的一組圖片可基于圖片互相 關(guān)性而在重要性的層次結(jié)構(gòu)中觀看。
流生成器的一個(gè)實(shí)施例選擇I和IDR圖片以將其包括在頂層中。另一實(shí)施例還包 括在頂層中的前向預(yù)測圖片。
錨圖片可以是I圖片、IDR圖片、或僅依賴于過去的參考圖片的FPP(前向預(yù)測圖 片)。在一些實(shí)施例中，如果FPP僅依賴于最近解碼的錨圖片，則FPP是錨圖片。
圖片可被分類為術(shù)語特定的圖片互相關(guān)性層或“級(jí)”，并且流生成器的某些實(shí)施例 可包括用于層次結(jié)構(gòu)的某一層以上的層(例如頂部兩層)的位圖相關(guān)信息。在另一實(shí)施例 中，位圖相關(guān)信息可以僅針對(duì)層次結(jié)構(gòu)的特定層以下的層(例如底部兩層)而提供。在又 一實(shí)施例中，位圖相關(guān)信息可以僅針對(duì)層次結(jié)構(gòu)的特定層以下的層、針對(duì)層次結(jié)構(gòu)的某一 層以上的層，或針對(duì)頂部層和底部層的組合而提供。位圖相關(guān)信息將始終從頂層開始，和/ 或從底層(最高編號(hào))開始。圖片的對(duì)應(yīng)層可以理解為對(duì)其在解碼其他圖片時(shí)的重要性的 量度——一些參考圖片比其他參考圖片更重要，因?yàn)樗鼈兊慕獯a后和重建后的信息傳播通 過多級(jí)的參考。
本領(lǐng)域普通技術(shù)人員還應(yīng)認(rèn)識(shí)到，雖然在本公開中使用了 AVC圖片類型，但本文 中所公開的系統(tǒng)和方法可應(yīng)用于任何參考一個(gè)或多個(gè)圖片來壓縮另一圖片的數(shù)字視頻流。
圖3是示出在包含諸如AVC流之類的視頻流的傳輸流部分和對(duì)應(yīng)的位圖相關(guān)信息 的生成中選擇的組件的框圖。在一些實(shí)施例中，傳輸流的生成可以發(fā)生在頭端110處，或頭 端110的上游(或下游)。在一些實(shí)施例中，用于視頻流的位圖相關(guān)信息可以在DHCT 200 處生成，兩者都在傳輸流中提供。在一個(gè)替代實(shí)施例中，兩者都在節(jié)目流中提供。在另外一 些實(shí)施例中，可以在頭端110和DHCT 200處生成傳輸流。壓縮引擎310(其在一些實(shí)施例 中可以指圖1的編碼器111，或在一些實(shí)施例中可以指圖2的壓縮引擎217，等等)接收作 為輸入的視頻信號(hào)300，例如數(shù)字化未壓縮視頻信號(hào)或解壓縮的視頻信號(hào)。壓縮引擎310輸 出諸如AVC視頻流之類的壓縮視頻流312和/或其他數(shù)據(jù)(例如位圖相關(guān)信息)，其中這種 壓縮圖片是按發(fā)送順序設(shè)在視頻流中的。分組化器314將AVC視頻流312分組化以輸出分 組流。
遍及本說明書，用AVC流作為例子。但是，特定實(shí)施例也可應(yīng)用于根據(jù)視頻壓縮規(guī) 范壓縮的任何壓縮視頻流，所述視頻壓縮規(guī)范考慮到了 (1)任何要通過參考多個(gè)其他圖 片而壓縮的圖片，和/或( 任何未確定性地從視頻流中其對(duì)應(yīng)的圖片類型信息傳達(dá)或暗 示其實(shí)際圖片互相關(guān)性特性的壓縮圖片。這里，提及了與AVC壓縮圖片相對(duì)應(yīng)的“圖片類 型”，作為由AVC流中一個(gè)或可能多個(gè)各自的字段利用傳達(dá)“圖片類型”或“片段”(slice) 的類型的語義傳達(dá)的信息。即，根據(jù)AVC標(biāo)準(zhǔn)，圖片類型可以通過不同的方法在AVC流中傳達(dá)。例如，圖片類型可以由“訪問單元定界符”(access unit delimiter)中的“primary— piC_type”字段來表達(dá)。或者，圖片類型可以由分別與AVC壓縮圖片的一個(gè)或多個(gè)各自的 片段中的每一個(gè)片段相對(duì)應(yīng)的一個(gè)或多個(gè)“slice_type”字段共同表達(dá)。AVC壓縮圖片的 每個(gè)片段的“slicejieader”包括其“sliCe_type”字段。AVC壓縮圖片可以僅具有一個(gè)片 段。雖然將圖片類型信息描述為在標(biāo)準(zhǔn)格式的具體字段或部分中傳遞，但其他用于傳達(dá)這 種信息的布置或方法也是可能的。位圖相關(guān)信息可以包括在網(wǎng)絡(luò)適配層中(如AVC規(guī)范中 所描述的)或其他任何層、結(jié)構(gòu)、流、單元、位置或地點(diǎn)中。
AVC中有兩種主要的壓縮圖片的方法幀內(nèi)antra)和幀間Qnter)(或非幀內(nèi) (Non-Intra))壓縮。幀內(nèi)壓縮是不參考其他圖片而完成的，但通常表現(xiàn)出比幀間壓縮更低 的壓縮效率。幀間壓縮通過參考一個(gè)或多個(gè)其他圖片而利用了時(shí)間上的冗余和不相關(guān)性。 至少一個(gè)其他圖片依賴于參考圖片來進(jìn)行其壓縮。在由壓縮引擎進(jìn)行的AVC壓縮期間使 用參考圖片的解壓縮版本，來預(yù)測依賴于該參考圖片的圖片的至少一部分。在由諸如DHCT 200中的解壓縮引擎222之類的解壓縮引擎進(jìn)行的AVC流解壓縮期間，也依賴于參考圖片來 解壓縮并重建至少一個(gè)其他圖片的至少一部分。不是參考圖片的圖片(例如不被至少一個(gè) 其他圖片依賴的圖片)是非參考圖片。
應(yīng)當(dāng)理解，遍及本說明書，在參考圖片上下文中的術(shù)語“依賴”或“相關(guān)性”指“直 接”相關(guān)性。這些術(shù)語不指間接相關(guān)性，例如通過參考第一圖片，第一圖片又參考第二圖片， 從而造成的第二圖片的數(shù)據(jù)的傳播。
圖片的輸出時(shí)間，或圖片輸出時(shí)間指其顯示時(shí)間，該顯示時(shí)間處于該圖片被完全 解壓縮并重建的時(shí)間，或在該圖片被完全解壓縮并重建之后。例如，圖片的輸出時(shí)間對(duì)應(yīng)于 DHCT 200中的輸出系統(tǒng)248將AVC圖片的解壓縮版本提供到顯示裝置140的時(shí)間。輸出圖 片通常指其希望的解壓縮版本的輸出。注意，在其所依賴的參考圖片全部解壓縮之前就被 解壓縮并輸出的圖片很可能導(dǎo)致不完整的視覺信息，從而這種輸出圖片不代表希望的解壓 縮版本。根據(jù)修改后的MPEG-2系統(tǒng)標(biāo)準(zhǔn)中用于傳輸AVC流的規(guī)范，解碼時(shí)間戳(DTS)和呈 現(xiàn)時(shí)間戳(PTS)通常與AVC流中的圖片相關(guān)聯(lián)。圖片的PTS，不管是設(shè)在傳輸流中還是由 DHCT 200中的解壓縮引擎222得到的，都對(duì)應(yīng)于其在AVC流正常回放模式的實(shí)行期間的假 定輸出時(shí)間。圖片的DTS對(duì)應(yīng)于其解壓縮時(shí)間，并且也可設(shè)在傳輸流中或由DHCT 200中的 解壓縮引擎222得到。AVC流中的相繼壓縮圖片由DHCT 200中的解壓縮引擎222按其發(fā)送 順序(即，也是接收順序)解壓縮，因而具有相繼的解壓縮時(shí)間。雖然本文中提供的公開的 某些實(shí)施例主要考慮和實(shí)現(xiàn)了根據(jù)位圖相關(guān)信息來解碼所抽取的圖片和/或處理所丟棄 的圖片方面的優(yōu)勢，但實(shí)施例也可關(guān)注呈現(xiàn)順序的分析和優(yōu)化。一般而言，位圖相關(guān)信息可 由任何軟件進(jìn)程、硬件裝置(或其組合)在任何時(shí)間用在創(chuàng)建、編碼、分發(fā)、處理/解碼和顯 示鏈中以實(shí)現(xiàn)好處。
圖片的發(fā)送順序是根據(jù)各自具有相應(yīng)優(yōu)先級(jí)的若干排序規(guī)則確立的。最高優(yōu)先級(jí) 的排序規(guī)則要求每個(gè)參考圖片在AVC流中在所有參考它的圖片之前發(fā)送。具有高優(yōu)先級(jí)的 第二排序規(guī)則要求在其他情況下將會(huì)具有相同排序優(yōu)先級(jí)的圖片按其各自的輸出時(shí)間從 早到晚發(fā)送。
視頻編碼標(biāo)準(zhǔn)通常假設(shè)一假定瞬時(shí)解碼器，這意味著壓縮圖片可以在其DTS處被 瞬時(shí)解碼。圖片的PTS可以等于其DTS，從而假定瞬時(shí)解碼器在這種情況下假設(shè)該圖片被瞬11時(shí)解碼并輸出。
根據(jù)AVC流的圖片速率或幀速率定義了圖片輸出間隔。例如，如果AVC流對(duì)應(yīng)于一 60圖片每秒的視頻信號(hào)，則圖片輸出間隔約等于16. 66毫秒。每個(gè)接連的圖片輸出間隔開 始于圖片輸出時(shí)間，并且圖片的輸出遍及圖片輸出間隔。在一個(gè)實(shí)施例中，解壓縮引擎222 所輸出的每個(gè)圖片的實(shí)際輸出時(shí)間被從其假定輸出時(shí)間或PTS延遲了一個(gè)圖片輸出間隔。 即，每個(gè)圖片的實(shí)際輸出時(shí)間等于該圖片的PTS加上一個(gè)圖片輸出間隔。過去參考圖片是 一先前解壓縮的參考圖片，它所具有的輸出時(shí)間在參考它的圖片之前。同樣，未來參考圖片 是一先前解壓縮的參考圖片，它所具有的輸出時(shí)間在參考它的圖片之后。
AVC幀內(nèi)圖片或I圖片不參考其他圖片，但通常被其他圖片所參考。與MPEG-2視 頻不同，AVC中的幀內(nèi)壓縮使得可將被壓縮的圖片的區(qū)域從同一圖片的其他部分的解壓縮 版本預(yù)測出來。AVC “瞬時(shí)解碼刷新”圖片或IDR圖片是如下的圖片，其使得正被用作參考 圖片的所有先前解壓縮的圖片在該IDR圖片的解壓縮之后不再被用作參考圖片。AVC中的 P圖片和B圖片被允許包含幀內(nèi)壓縮部分。與在MPEG-2視頻中一樣，AVC中的P圖片和B 圖片使得可將圖片的任何部分或可能所有部分從“先前解壓縮的”參考圖片幀間預(yù)測出來。 還與MPEG-2視頻類似的是，AVC中P圖片任何部分的幀間預(yù)測限于每次最多使用一個(gè)參考 圖片。然而，與MPEG-2不同的是，AVC P圖片的每個(gè)不同的幀間預(yù)測部分可從若干不同參 考圖片中的任何一個(gè)預(yù)測出來。與MPEG-2視頻類似的是，AVC中B圖片任何部分的幀間預(yù) 測限于最多使用兩個(gè)參考圖片。但盡管MPEG-2視頻對(duì)于B圖片的所有部分最多使用兩個(gè) 參考圖片，但允許對(duì)AVC B圖片的每個(gè)不同的幀間預(yù)測部分使用若干不同參考圖片中的任 何參考圖片。
不同AVC P圖片所依賴于的參考圖片的總數(shù)可能各自不同。類似地，不同AVC B 圖片所依賴于的參考圖片的總數(shù)可能各自不同。根據(jù)AVC標(biāo)準(zhǔn)，AVC流中所允許的參考圖 片的“最大數(shù)量”根據(jù)針對(duì)AVC流規(guī)定的“級(jí)別”(Level)和該AVC流中壓縮圖片的空間分 辨率而不同。此外，AVC參考圖片不具有相對(duì)于以它們?yōu)閰⒖嫉膱D片的預(yù)定位置。AVC標(biāo)準(zhǔn) 中的這些靈活性導(dǎo)致了更好的壓縮效率。然而，它們妨礙了視頻處理裝置的流操縱能力，這 是因?yàn)殛P(guān)于AVC流中所具有的圖片類型為P圖片或B圖片的壓縮圖片的圖片互相關(guān)特性， 沒有暗示任何推斷。
因此，AVC標(biāo)準(zhǔn)通過使得圖片的每個(gè)不同的幀間預(yù)測部分可從多個(gè)不同參考圖片 (例如16個(gè)參考圖片)中任何圖片的“至多一個(gè)”預(yù)測出來而規(guī)定了 P圖片。與將幀間預(yù) 測進(jìn)一步限制為參考一個(gè)“預(yù)定的”過去參考圖片的MPEG-2視頻標(biāo)準(zhǔn)或其他視頻壓縮規(guī)范 不同的是，在AVC中沒有這種限制。例如，AVC P圖片的第一部分可以依賴于一個(gè)參考圖片， 另一部分可依賴于不同的參考圖片。事實(shí)上，AVC P圖片的第一部分所參考的圖片可以是 一過去參考圖片，第二部分可依賴于一未來參考圖片。作為AVC中所允許的精細(xì)且復(fù)雜的 圖片互相關(guān)性的另一示例，第一AVC P圖片可依賴于四個(gè)未來參考圖片，第二AVC P圖片可 依賴于三個(gè)過去參考圖片，第三AVC P圖片可既依賴于多個(gè)過去參考圖片又依賴于多個(gè)未 來參考圖片。
AVC標(biāo)準(zhǔn)對(duì)B圖片的規(guī)定也不同于MPEG-2視頻標(biāo)準(zhǔn)。MPEG-2視頻將B圖片規(guī)定 為雙向圖片，使得圖片的任何部分可利用不多于兩個(gè)參考圖片——一個(gè)是“預(yù)定的”未來參 考圖片，另一個(gè)是“預(yù)定的”過去參考圖片——的相關(guān)性被壓縮。相同的兩個(gè)參考圖片或它們中任意一個(gè)必須被用作用來預(yù)測該B圖片的任何部分的參考圖片。另一方面，AVC B圖 片可依賴于多個(gè)參考圖片，例如多達(dá)16個(gè)參考圖片，只要該B圖片的任何部分通過該多個(gè) 參考圖片的至多兩個(gè)區(qū)域來預(yù)測即可。當(dāng)通過兩個(gè)區(qū)域來預(yù)測B圖片的區(qū)域時(shí)，將其稱為 被雙預(yù)測，而非雙向預(yù)測。還與MPEG-2視頻不同的是，AVC B圖片可以被用作其他P圖片 或B圖片的參考圖片。
作為AVC B圖片中所允許的精細(xì)且復(fù)雜的圖片互相關(guān)性的另一示例，AVC B圖片 的第一區(qū)域可以從兩個(gè)過去參考圖片雙預(yù)測出來，第二區(qū)域可以從兩個(gè)未來參考圖片雙預(yù) 測出來，第三區(qū)域可以從過去參考圖片和未來參考圖片雙預(yù)測出來，并且這三個(gè)區(qū)域依賴 于六個(gè)不同的參考圖片。AVC流中第一 B圖片所使用的這組參考圖片可以不同于第二 B圖 片所使用的這組參考圖片，即使這兩個(gè)B圖片都處于連續(xù)的發(fā)送順序或具有連續(xù)的輸出時(shí) 間也是如此。如前所述，AVC參考圖片相對(duì)于以它們?yōu)閰⒖嫉膱D片沒有預(yù)定位置。應(yīng)當(dāng)很 清楚的是，圖片(或圖片部分)相關(guān)性的許多類型和組合是可能的，并且可以創(chuàng)建不同類型 的輔助信息來描述圖片之間的互相關(guān)性或關(guān)系，其向以后對(duì)圖片信息的處理提供了好處。
增加的復(fù)雜性包括如下的事實(shí)不作為參考圖片的I圖片是非參考圖片。此外，一 些I圖片可能比其他I圖片更重要，這依賴于AVC流中I圖片的相對(duì)位置和/或依賴于多 少其他AVC壓縮圖片參考該I圖片。
應(yīng)當(dāng)意識(shí)到，盡管一些視頻壓縮規(guī)范具有各自暗示具體圖片互相關(guān)性特性的圖片 類型，但AVC流中壓縮圖片的圖片類型不能賴以暗示表現(xiàn)出某種特性的AVC壓縮圖片。此 外，即使圖片類型能傳達(dá)有用的信息，也存在其他方面使得難以容易地窺視和識(shí)別AVC流 中具有某一特性(包括互相關(guān)性在內(nèi)的特性)的圖片，例如當(dāng)承載AVC流的傳輸分組的有 效載荷被加密或加擾的時(shí)候。在傳輸分組的有效載荷中找到slice_type (片段類型)和其 他所需數(shù)據(jù)字段以驗(yàn)證圖片的某一特性可能是困難的且需要進(jìn)入AVC流的大量遍歷，尤其 是在所需數(shù)據(jù)字段相對(duì)于傳輸分組的有效載荷的起始或相對(duì)于其他某個(gè)可識(shí)別的定界符 的對(duì)準(zhǔn)不同的情況下。
遍及本說明書，AVC流中連續(xù)圖片的序列或AVC流中的連續(xù)圖片指按其發(fā)送順序 的連續(xù)壓縮圖片，或等同地指AVC流中具有相繼解碼時(shí)間戳的壓縮圖片的序列。
可丟棄圖片是非參考圖片。具有延遲了的輸出時(shí)間的可丟棄圖片是所具有的PTS 晚于其DTS的可丟棄圖片。即，它是并非在其被壓縮之后立即被輸出的可丟棄圖片，并且雖 然它未被其他任何圖片所參考，但它進(jìn)入了 AVC標(biāo)準(zhǔn)中規(guī)定的“解碼圖片緩沖器”(DPB)達(dá) 至少一個(gè)圖片輸出間隔。DPB駐留在DHCT 200的解壓縮存儲(chǔ)器四9中，雖然不限于駐留在 該特定位置。
現(xiàn)在將注意力轉(zhuǎn)向圖4A和圖4B，它們是示出了傳輸流生成器所提供的示例壓縮 圖片序列中圖片互相關(guān)性的框圖。圖4A的第一行402包括示例性GOP的輸出順序，例如在 解壓縮引擎222處按解碼順序404(即，發(fā)送順序)接收和解碼。GOP包括壓縮圖片(由圖 片類型指定，例如I、P或B)的序列。圖片互相關(guān)性部分地由每個(gè)圖片(在各個(gè)圖片頂部 編號(hào)為1-25的圖片)上方和下方的箭頭示出。在一圖片處示出的箭頭尾部描繪出該圖片 作為對(duì)示出了相應(yīng)箭頭頭部的另一圖片的參考圖片。即，箭頭傳達(dá)了該另一圖片是從該參 考圖片預(yù)測出來的。例如，在圖4A中，圖3是從圖片1和圖片5預(yù)測出來的(因而依賴于 圖片1和圖片5)。雖然所示出和描述的具有邊界之間(例如，圖片1和9之間，以及圖片9和17之間)類似的相關(guān)性模式，但本領(lǐng)域普通技術(shù)人員應(yīng)意識(shí)到，不同界定群組之間可以 找到不同的模式和/或相關(guān)性，如圖4B所示(例如，參見圖片1和9所界定的模式內(nèi)圖片1 和4以及圖片5和2之間所揭示的圖片互相關(guān)性，以及它們的互相關(guān)性如何與圖片9和17 所界定的模式中所示的圖片互相關(guān)性不同)。
圖4A的下面一行402是解碼順序404，其與解壓縮引擎222處對(duì)圖片進(jìn)行解碼以 用于重建的順序相對(duì)應(yīng)。由于需要在對(duì)圖片進(jìn)行解碼之間先具有參考圖片，圖片的發(fā)送順 序與輸出或顯示順序不同。注意，P圖片可以被前向預(yù)測或后向預(yù)測，并且通常，該事實(shí)直 到圖片被解碼才變得明顯。例如，圖片類型的知識(shí)(例如由頭部所確定的)不一定傳達(dá)了 如何采用的預(yù)測或圖片互相關(guān)性。
在MPEG-2中，可丟棄圖片可以立即輸出(不需要保留)，雖然通常，出于實(shí)現(xiàn)的原 因，這種圖片被臨時(shí)存儲(chǔ)達(dá)至少一圖片周期或間隔。在AVC流中，即使對(duì)于可丟棄圖片，也 存在將可丟棄的解碼圖片延遲并因而保留在解碼圖片緩沖器(DPB)中的情況。在一個(gè)實(shí)施 例中，如果一圖片還未被輸出或如果需要該圖片作為還未被解壓縮的另一圖片的參考，則 將該圖片保留在DPB中。
現(xiàn)在將注意力轉(zhuǎn)向圖5和圖6中示出的層的說明。圖5示出了圖片互相關(guān)性層的 層次結(jié)構(gòu)的示例。圖片互相關(guān)性層的層次結(jié)構(gòu)具有“T”個(gè)層，T是底層。視頻流中的圖片僅 可屬于T個(gè)層中的一個(gè)。然而，流生成器可以選擇不在其所提供的位圖相關(guān)信息中標(biāo)識(shí)屬 于一些中間層的圖片。頂層或?qū)? 502包括視頻流中可獨(dú)立于層2到T中的圖片而被解碼 的圖片。頂層是圖片抽取的第一級(jí)。每個(gè)相繼的層可獨(dú)立于視頻流中屬于更高編號(hào)層的圖 片而被解碼。例如，從層次結(jié)構(gòu)頂部開始的第二層，層2 504可獨(dú)立于屬于層3到T的圖片 而被解碼。頂層或?qū)? 502標(biāo)識(shí)圖片可抽取性的第一級(jí)。圖片可抽取性，即可從視頻流中 抽取的圖片的數(shù)量，是從頂部到底部增加的，而圖片可丟棄性，即可從視頻流丟棄的圖片的 數(shù)量，是從底部到頂部增加的。相反，圖片可丟棄性從頂部到底部減少，且圖片可抽取性從 底部到頂部減少。層1 502包括圖片可抽取性的第一級(jí)，和圖片可丟棄性的最后一級(jí)。第T 層508(底層)包括圖片可丟棄性的第一級(jí)，和圖片可抽取性的最后一級(jí)。第(T-I)層506 包括圖片可丟棄性的第二級(jí)和圖片可抽取性的倒數(shù)第二級(jí)，等等。
總之，層1 502圖片包括獨(dú)立于層2 504到層T 508而可解碼的圖片。層2 504 圖片是獨(dú)立于層3到層T 508中的圖片而可解碼的圖片，依此類推。
底層，層T 508中的圖片可被丟棄而不影響與較低編號(hào)層相對(duì)應(yīng)的視頻流中其余 圖片的可解碼性。層T 508圖片是可丟棄而不影響層1 502到層(T-l)506中的圖片的可 解碼性的圖片。層(T-I)圖片是可丟棄而不影響層1 502到層(T-2)(未示出)中的圖片 的可解碼性的圖片。
第一層或?qū)? 502包括視頻流中如下的編碼圖片(即壓縮圖片)，所述編碼圖片 當(dāng)從視頻流中諸如隨機(jī)訪問點(diǎn)之類的起始點(diǎn)開始逐個(gè)地(progressively)被抽取時(shí)，可獨(dú) 立于視頻流中的其他編碼圖片而被解碼并輸出。第二層或?qū)? 504包括視頻流中如下的 編碼圖片，所述編碼圖片當(dāng)從視頻流中相同的起始點(diǎn)開始逐個(gè)地被抽取時(shí)，與利用屬于層1 502的圖片的逐個(gè)抽取相合作，增加了另一級(jí)的圖片抽取。從而，層1 502和層2 504可獨(dú) 立于視頻流中“被確定為不屬于”或“未被識(shí)別為”層1 502或?qū)? 504編碼圖片的其他編 碼圖片而被解碼和輸出。更一般而言，對(duì)于從1到T的任意值K，被識(shí)別為或確定為屬于從層1到層K的層的編碼圖片可以通過從一起始點(diǎn)開始逐個(gè)地抽取視頻流中的所有編碼圖片 而被獨(dú)立地解碼和輸出，如果它們被分類為或確定為屬于層1到層K當(dāng)中的一層的話。在 DHCT 200處，從所接收或所提供的位圖相關(guān)信息，將屬于層1到層K的圖片識(shí)別為或確定為 屬于層1到層K。從而，如果以逐個(gè)的方式，屬于層1到層K的“所有”圖片都(1)從一起 始點(diǎn)開始從視頻流中被抽取，并且(2)被解碼，則視頻流中被分類為或?qū)儆趯?到層K中一 層的下一圖片可被抽取和解碼，這是因?yàn)樵撓乱粓D片針對(duì)時(shí)間預(yù)測和/或針對(duì)運(yùn)動(dòng)補(bǔ)償而 依賴于的所有圖片或該下一圖片作為參考圖片而參考的所有圖片都將會(huì)已經(jīng)(1)被從視 頻流中抽取，⑵被解碼和(3)可用于參考。
注意，遍及本說明書，對(duì)屬于一層的圖片或一層中的圖片的提及應(yīng)被理解為與一 層相關(guān)聯(lián)的圖片或與一層相對(duì)應(yīng)的圖片。一個(gè)圖片最多與一個(gè)層相關(guān)聯(lián)或?qū)?yīng)。位圖相關(guān) 信息標(biāo)識(shí)出視頻流中一個(gè)或多個(gè)分別的圖片所關(guān)聯(lián)或?qū)?yīng)的單個(gè)層。位圖相關(guān)信息可不標(biāo) 識(shí)流中一個(gè)或多個(gè)圖片所關(guān)聯(lián)或?qū)?yīng)的層。
視頻流中一第K層編碼圖片可被抽取并保證解碼成其希望的完整的全部重建，條 件是在該特定的層K編碼圖片的抽取之前，對(duì)所有緊接在前的層K編碼圖片的抽取和解碼 已被逐個(gè)地執(zhí)行達(dá)一有限時(shí)間量。這是因?yàn)橐曨l編碼可以執(zhí)行跨GOP邊界的時(shí)間參考。在 一個(gè)實(shí)施例中，視頻流中一第K層編碼圖片可被抽取并解碼成其希望的完整的全部重建， 條件是自從或針對(duì)視頻流中緊接在該特定的層K編碼圖片之前的最后“η”個(gè)隨機(jī)訪問點(diǎn) (RAP)，所有屬于層1到層K的編碼圖片都已被逐個(gè)地抽取和解碼。例如，如果諸如快進(jìn)之 類的回放模式或技巧模式要從視頻流的一特定或希望位置開始，則可能必須在視頻流的該 特定位置之前的第二 RAP(即η = 2)處開始解碼。RAP可利用MPEG-2傳輸層級(jí)或?qū)拥念^ 部和/或適配字段頭部中的一個(gè)或多個(gè)具體標(biāo)志來通知和標(biāo)識(shí)。例如，諸如MPEG-2系統(tǒng) (MPEG-2 Systems)之類的規(guī)范提供了用于通知RAP的傳輸流中的指示符，例如隨機(jī)訪問點(diǎn) 指示符和/或基本流優(yōu)先級(jí)指示符。在一個(gè)實(shí)施例中，RAP指AVC比特流中的一個(gè)訪問單 元(或圖片)，在該訪問單元(或圖片)處接收機(jī)可開始對(duì)視頻流的解碼。訪問單元還包括 用于將相關(guān)聯(lián)圖片解碼的序列參數(shù)集(SPS)和圖片參數(shù)集(PPS)，以及將視頻流的圖片解 碼和輸出所需的其他任何必需的參數(shù)或參數(shù)集。隨機(jī)訪問點(diǎn)可承載I圖片或IDR圖片。在 一個(gè)實(shí)施例中，GOP(其通常是一 MPEG-2術(shù)語)等同于在兩個(gè)或更多個(gè)RAP之間找到的圖 片序列和圖片互相關(guān)性。
在替代實(shí)施例中，一第K層編碼圖片可被抽取并解碼成其希望的完整的全部重 建，條件是自從或針對(duì)視頻流中緊接在該特定的層K編碼圖片之前的最后“η”個(gè)圖片群組 (GOP)的開始，所有屬于層1到層K的編碼圖片都已被逐個(gè)地抽取和解碼。
在又一實(shí)施例中，一第K層編碼圖片可被抽取并解碼成其希望的完整的全部重 建，條件是至少在視頻流中該特定的層K編碼圖片的位置之前該視頻流中最后“η”個(gè)I圖 片或IDR圖片的解碼之后，所有屬于層1到層K的編碼圖片都已被逐個(gè)地抽取和解碼。在 一個(gè)實(shí)施例中，“η”可對(duì)于連續(xù)的I圖片具有第一值，并對(duì)連續(xù)的IDR圖片具有第二值。
在又一實(shí)施例中，一第K層編碼圖片可被抽取并解碼成其希望的完整的全部重 建，條件是在該視頻流中該特定的層K編碼圖片的位置之前屬于層1到層K當(dāng)中的層的至 少G個(gè)連續(xù)的編碼圖片都已被逐個(gè)地抽取和解碼。
將層應(yīng)用于一 MPEG-2視頻流中諸如PVR之類的一示例實(shí)現(xiàn)方式，該視頻流編碼了一普通G0P，其中按輸出順序的圖片如下IBBPBBPBBPBB P依此類推，頂層，層 1 502可以是足夠的。例如，可在快進(jìn)或倒帶操作中排他地利用I圖片。但是假設(shè)針對(duì)技巧 模式需要更精細(xì)的粒度級(jí)別，或者為了提高技巧模式操作中圖片的放置或移除的精度?？?以增加第二和/或第三層以在應(yīng)對(duì)AVC的復(fù)雜性的同時(shí)允許該提高的功能。注意，根據(jù)所 需的技巧模式功能(例如速度、方向等)，一個(gè)實(shí)施例可以將頂層中的圖片解碼(例如1 技巧模式)。在一些實(shí)施例中，可以利用來自頂部兩層的圖片實(shí)現(xiàn)解碼。
位圖相關(guān)信息和/或?qū)拥淖R(shí)別可以根據(jù)多種方式實(shí)現(xiàn)，如圖6所示。在一些實(shí)施 例中，可以實(shí)現(xiàn)自底向上方式602(例如經(jīng)由解壓縮引擎)，其中從最高編號(hào)層(即，第一可 丟棄性級(jí)圖片)開始識(shí)別圖片，然后進(jìn)行到層的層次結(jié)構(gòu)中相繼降序編號(hào)層中一個(gè)或多個(gè) 層的圖片。在一些實(shí)施例中，可以實(shí)現(xiàn)自頂向下方式604，其中從第一可抽取性級(jí)開始識(shí)別 圖片，然后進(jìn)行到層的層次結(jié)構(gòu)中相繼升序編號(hào)層中的圖片。在一些實(shí)施例中，可基于自底 向上方式602和自頂向下方式604的組合，實(shí)現(xiàn)混合方式606。
提供了關(guān)于層次結(jié)構(gòu)層的背景和屬于各層的圖片的屬性，現(xiàn)在將注意力轉(zhuǎn)向通過 提供位圖相關(guān)信息顯式地標(biāo)識(shí)給定層中圖片的系統(tǒng)和方法，所述位圖相關(guān)信息可包括一個(gè) 或多個(gè)位圖。位圖被斷言(assert)且被斷言的位圖被提供，其中每個(gè)位圖的比特(或字 段)被相繼排序以對(duì)應(yīng)于視頻流的發(fā)送順序的相繼圖片的順序?？梢詮闹T如上述的隨機(jī)訪 問點(diǎn)之類的給定起始點(diǎn)開始對(duì)可抽取的或所抽取的圖片進(jìn)行解碼。位圖相關(guān)信息的其他目 的包括使能圖片的放棄(dropping)(例如，網(wǎng)絡(luò)流管理等)，可縮放性，等等。位圖不是在每 個(gè)圖片處提供的，但在一個(gè)實(shí)施例中，在每個(gè)隨機(jī)訪問點(diǎn)(RAP)處提供，有時(shí)在視頻流的其 他位置提供，這將在下文中進(jìn)一步說明。如果針對(duì)屬于頂層的圖片提供了位圖，并且該位圖 的比特被排序以對(duì)應(yīng)于發(fā)送順序的圖片，則可以順序地從RAP開始抽取圖片并將其解碼， 其中可保證所有圖片能被解碼并重建到其各自的希望的解壓縮版本。
在一個(gè)實(shí)施例中，在傳輸流中通知與層和位圖有關(guān)的位圖相關(guān)信息的存在，并且 提供了包含標(biāo)志的數(shù)據(jù)字段以指示或斷言分別與一個(gè)或多個(gè)層相對(duì)應(yīng)的一個(gè)或多個(gè)位圖 的存在。對(duì)位圖的處理可以使用“自頂向下”方式實(shí)現(xiàn)，從“頂層”(例如層1，圖5)開始抽 取圖片，或“自底向上”方式或“底層”圖片(例如層T，圖5)被丟棄。例如，數(shù)據(jù)字段或標(biāo)志 可指示或斷言與一個(gè)或多個(gè)層相對(duì)應(yīng)的各位圖的存在。各個(gè)位圖標(biāo)識(shí)屬于相應(yīng)層的圖片。 圖片可從與頂層或相繼的頂部層相對(duì)應(yīng)的位圖識(shí)別出來，被抽取和解碼?；蛘撸瑘D片可從與 底層或相繼的底部層相對(duì)應(yīng)的位圖識(shí)別出來，被丟棄，并且視頻流中其余的圖片被解碼。位 圖的經(jīng)排序的比特中單個(gè)比特的第一值(例如“1”)將單個(gè)圖片斷言為屬于與該位圖相對(duì) 應(yīng)的層。斷言標(biāo)志字段中標(biāo)志的第一標(biāo)志值斷言相應(yīng)位圖的存在。例如，可針對(duì)與底層相 對(duì)應(yīng)的斷言標(biāo)志字段的標(biāo)志或子字段設(shè)置第一標(biāo)志值，以斷言與該底層相對(duì)應(yīng)的單個(gè)位圖 的存在。關(guān)于底層的圖片是可丟棄的，并且當(dāng)被丟棄時(shí)，導(dǎo)致視頻流中完全可重建到其希望 的解壓縮版本而不依靠所丟棄圖片的可解碼圖片。在一個(gè)實(shí)施例中，位圖相關(guān)信息、斷言標(biāo) 志字段和被相應(yīng)的斷言標(biāo)志斷言為存在的位圖被設(shè)置在傳輸流中與RAP和跟該RAP相關(guān)聯(lián) 的圖片相對(duì)應(yīng)的位置。注意，不是對(duì)每個(gè)圖片提供位圖相關(guān)信息的，但至少在每個(gè)RAP(例 如，用于容許頻道改變)和/或在視頻流中如本文中所描述的可允許的其他位置設(shè)置之。
在一個(gè)實(shí)施例中，還在視頻流中預(yù)先規(guī)定的圖片增量處設(shè)置位圖相關(guān)信息，例如 每16個(gè)圖片，每32個(gè)圖片等。
斷言標(biāo)志字段和/或位圖的存在(即，位圖相關(guān)信息)是在傳輸流中通知的。換 言之，一具體消息承載位圖相關(guān)信息。也可以設(shè)置“通告”來警告在傳輸流中存在承載位圖 相關(guān)信息的具體消息。例如，可以通過PMT的ES信息循環(huán)，利用相應(yīng)的具體通告來通告承 載位圖相關(guān)信息的具體消息。這種通告用于僅標(biāo)識(shí)出該傳輸流包含承載位圖相關(guān)信息的具 體消息。在一個(gè)實(shí)施例中，該具體消息的格式可以經(jīng)由被指派的消息標(biāo)識(shí)(例如描述符標(biāo) 簽)和相應(yīng)的消息長度(例如標(biāo)簽長度)。例如，一描述符標(biāo)簽可向解碼器傳達(dá)特定類型 (例如對(duì)應(yīng)于多個(gè)標(biāo)簽值之一)的信息存在于傳輸流中。在一個(gè)示例中，假設(shè)了用于標(biāo)志斷 言的一個(gè)字節(jié)，并且在消息中存在三個(gè)被斷言存在的層，所斷言的層分別對(duì)應(yīng)于三個(gè)各16 比特O字節(jié))的位圖。因而，對(duì)應(yīng)于位圖的6個(gè)字節(jié)(3個(gè)位圖X各2字節(jié))加上對(duì)應(yīng)于 斷言標(biāo)志的一個(gè)字節(jié)構(gòu)成了總共7個(gè)字節(jié)，作為所指示的消息有效載荷的長度。消息的有 效載荷跟在用于描述符標(biāo)簽的第一字段和用于長度的第二字段之后。
圖7示出了斷言標(biāo)志字段的示例，作為包含多個(gè)標(biāo)志或子字段的數(shù)據(jù)結(jié)構(gòu)700，揭 示了五個(gè)斷言標(biāo)志(例如各1比特)，其分別對(duì)應(yīng)于五個(gè)層(從頂層Tl到底層TT或T5)。 數(shù)據(jù)結(jié)構(gòu)可以是另一包含完整字節(jié)的字段的一子字段。應(yīng)當(dāng)理解在一些實(shí)現(xiàn)方式中可利用 更少或更多層，而且層優(yōu)先級(jí)命名規(guī)則可以相反(例如Tl可以是底層，T5是頂層)。如上 所述，對(duì)圖片的標(biāo)識(shí)可以是根據(jù)一種或多種方式的，包括自頂向下、自底向上，或混合方式。 在此示例中，頂層斷言標(biāo)志702和底層斷言標(biāo)志704各自被設(shè)置，因而當(dāng)數(shù)據(jù)結(jié)構(gòu)的相應(yīng)斷 言比特中存在第一標(biāo)志值時(shí)，提供了相應(yīng)的位圖706和708。
在一個(gè)實(shí)施例中，位圖706和708的長度是固定的(例如以字節(jié)或比特為單位， 例如16比特，或8的倍數(shù)，僅作為一個(gè)示例)，并且每個(gè)位圖與視頻流中發(fā)送順序的緊接在 前的圖片相關(guān)，包括位于視頻流中提供了位圖相關(guān)信息的位置或與這樣的位置相關(guān)聯(lián)的圖 片。在一些實(shí)施例中，位圖對(duì)應(yīng)于視頻流的發(fā)送順序的緊接在后的圖片，包括位于視頻流中 提供了位圖相關(guān)信息的位置或與這樣的位置相關(guān)聯(lián)的圖片。在一個(gè)實(shí)施例中，位圖的長度 可以是預(yù)定的，例如每16個(gè)圖片或其他所定義的周期。即，不需要給出長度字段，這是因?yàn)?位圖長度是預(yù)定的(并且各自具有相同的預(yù)定長度)。例如，如果針對(duì)一給定層斷言了一 比特，則相應(yīng)位圖的長度是預(yù)定長度。雖然上面描述了每16個(gè)圖片的預(yù)定長度，但可使用 其他預(yù)定長度，例如每8個(gè)，M個(gè)，32個(gè)，以及其他數(shù)量的圖片。在一些實(shí)施例中，可經(jīng)由長 度字段(例如跟在數(shù)據(jù)結(jié)構(gòu)700之后)顯式提供位圖的長度，或者作為數(shù)據(jù)700的用于位 圖長度的指定子字段，并且在一個(gè)實(shí)施例中作為固定值提供，或者在其他實(shí)施例中長度可 以變化。例如，所提供的長度可應(yīng)用于與所斷言的標(biāo)志相對(duì)應(yīng)的每一個(gè)位圖。傳達(dá)長度的 單個(gè)值可應(yīng)用于每個(gè)位圖。在一些實(shí)施例中，可傳達(dá)每個(gè)標(biāo)志每個(gè)位圖長度，作為數(shù)據(jù)結(jié)構(gòu) 700的一部分。在一些實(shí)施例中，可利用一個(gè)或多個(gè)另外的數(shù)據(jù)結(jié)構(gòu)，傳達(dá)針對(duì)各位圖的多 個(gè)長度。例如，如果可斷言總共8個(gè)標(biāo)志，并且這些標(biāo)志中的三個(gè)被斷言了，則在關(guān)于這三 個(gè)位圖的斷言標(biāo)志字段之后提供三個(gè)長度。在一些實(shí)施例中，在斷言標(biāo)志字段之后提供長 度。
位圖的長度(例如關(guān)于與所設(shè)置或斷言的標(biāo)志相對(duì)應(yīng)的位圖的長度)影響編碼器 和解碼器的性能。例如，如果針對(duì)可丟棄圖片設(shè)置了位圖，則要解決的一個(gè)問題是該位圖是 否對(duì)應(yīng)于流中先前的圖片(例如最近32個(gè)圖片)。如果編碼器提供了針對(duì)先前32個(gè)圖片 的位圖，則編碼器不需要造成延遲(雖然解碼器需要，但解碼器可以知道或被告知，針對(duì)這些圖片的位圖相關(guān)信息被提供在該流中將會(huì)跟隨所接收?qǐng)D片之后很快到達(dá)的消息上)，這 是因?yàn)楫?dāng)圖片被從編碼器輸出時(shí)，圖片的類型被提示，并且可以在與從編碼器輸出32個(gè)圖 片的結(jié)尾相對(duì)應(yīng)的時(shí)間提供位圖(例如四(4)字節(jié)位圖)。另一方面，如果由編碼器針對(duì) 接下來的32個(gè)圖片提供位圖，則位圖將與第一圖片的輸出一起提供(或在與第一圖片的輸 出相對(duì)應(yīng)的時(shí)間提供)，因而在編碼器處造成了延遲(但是在解碼器處沒有或很少有延遲) 以處理32個(gè)圖片來使能位圖的提供。另外，給定MPEG-2傳輸分組中188個(gè)字節(jié)的約束，適 配字段表示非有效載荷數(shù)據(jù)，導(dǎo)致隨著位圖長度增加而增加的開銷。因而，由于位圖長度是 在編碼器處造成的延遲與在解碼器處造成的延遲之間的折中，并且給定固定大小傳輸分組 的約束，因此確定位圖大小的方式是不在任一裝置處施加不必要的延遲或消費(fèi)不必要的分 組長度。
一種示例性的數(shù)據(jù)結(jié)構(gòu)可包括針對(duì)與層數(shù)(例如用作標(biāo)志的比特?cái)?shù)，例如作為多 個(gè)示例中的一個(gè)示例，8的倍數(shù))相對(duì)應(yīng)的字節(jié)的無符號(hào)“char”的格式。在一些實(shí)施例中， 省略了層數(shù)，而代之以包含斷言標(biāo)志的一個(gè)或多個(gè)字節(jié)或數(shù)據(jù)字段。一旦設(shè)置了斷言標(biāo)志， 在一個(gè)實(shí)施例中就存在用于在承載位圖相關(guān)信息的具體消息中提供相應(yīng)位圖的預(yù)定順序。 例如，位圖可在斷言標(biāo)志字段之后按從頂?shù)降椎膶禹樞蚺判?。在一些?shí)施例中，它們可從底 層到頂層排序。
在自頂向下方式中，例如由DHCT 200來抽取頂層圖片以實(shí)現(xiàn)所抽取圖片的視頻 回放模式，解碼和輸出。在擁塞網(wǎng)絡(luò)中也可從視頻流抽取圖片，例如在路由器或交換機(jī)處或 由其他網(wǎng)絡(luò)處理元件來進(jìn)行，從而以較低比特率提供視頻流的字序列。
作為另一示例，參照?qǐng)D8，示出了數(shù)據(jù)結(jié)構(gòu)800，其具有多個(gè)標(biāo)志字段，其中設(shè)置了 (例如設(shè)為“1”或“開”)對(duì)應(yīng)于頂層標(biāo)志802、第二層標(biāo)志804和最后層標(biāo)志806的比特。 因此，提供三個(gè)位圖(在此示例中，長度各為16比特，總共48比特)，即，對(duì)應(yīng)于頂層標(biāo)志 802的頂層位圖808、對(duì)應(yīng)于第二層標(biāo)志804的第二層位圖810，以及對(duì)應(yīng)于底層標(biāo)志806的 底層位圖812。在一個(gè)實(shí)施例中，所建立的順序是從最重要(頂層)到最不重要的圖片(底 層)。從而，首先處理頂層位圖808，然后是第二層位圖810，然后是最后層位圖812。中間 標(biāo)志表示不關(guān)心狀況(例如設(shè)為0)，雖然在一些實(shí)施例中可被設(shè)置或斷言。
如圖8所示，對(duì)于先前16個(gè)圖片(或在一些實(shí)施例中對(duì)于后續(xù)16個(gè)圖片)存在 三個(gè)位圖(808、810和81 。如上所述，位圖是與單個(gè)圖片相關(guān)聯(lián)地提供的(而非針對(duì)傳輸 流中每個(gè)圖片提供)。然而，出現(xiàn)了一個(gè)恢復(fù)(resumption)的問題，例如對(duì)于接下來的16 個(gè)圖片要做什么，這將在下文進(jìn)一步描述。還要解決一個(gè)關(guān)聯(lián)方面的問題——如何將接下 來的16個(gè)圖片與位圖相關(guān)聯(lián)。如果用于接下來16個(gè)圖片的位圖在下一適配字段中提供， 則延遲可能是不可接受的，并且所提供的信息可能不對(duì)應(yīng)于與用于先前16個(gè)圖片相同的 標(biāo)簽。此外，編碼器由于存在場景改變而改變了 I圖片的位置(例如MPEG-2中的GOP改變 了)，并且存在從第一視頻流到第二流的接合(splice)操作，正如當(dāng)從視頻節(jié)目進(jìn)入廣告 時(shí)一樣。另外，適配字段是可選的，提供得太頻繁可能導(dǎo)致低效的壓縮。此外，如果在適配 字段中放置了用于太多圖片的信息(以覆蓋先前的16個(gè)圖片及未來的圖片或用于太多的 圖片)則延遲太長了。
與解碼器需要找到位圖相關(guān)信息的能力的概念類似，解碼器需要有能力識(shí)別或關(guān) 聯(lián)與位圖相關(guān)信息相對(duì)應(yīng)的圖片。在一個(gè)實(shí)施例中，該關(guān)聯(lián)是以預(yù)定方式(例如使用現(xiàn)有18的傳輸流機(jī)制)完成的。在一個(gè)實(shí)施例中，可使用起始碼來標(biāo)識(shí)圖片開始的地方。例如，PES 分組中圖片的開始可與傳輸分組有效載荷的開始對(duì)準(zhǔn)。因而，可標(biāo)識(shí)圖片的開始以使能圖 片的抽取(以用于解碼或丟棄)。在一些實(shí)施例中，在傳輸級(jí)可獲得的信息使得能夠標(biāo)識(shí) 圖片的開始。例如，對(duì)于承載視頻流的MPEG-2傳輸流分組，有效載荷單元起始指示符可利 用MPEG-2 PES分組的首個(gè)字節(jié)來標(biāo)識(shí)傳輸流分組有效載荷何時(shí)開始。一旦在RAP處識(shí)別 了首個(gè)圖片的位置，則處理按發(fā)送順序依次基于位圖而繼續(xù)(例如位圖列表比特位置按發(fā) 送順序?qū)?yīng)于圖片)。
參照?qǐng)D8，位圖808對(duì)應(yīng)于頂層圖片，并且在此示例中具有16比特的長度。位圖 810對(duì)應(yīng)于層T2 (從頂部數(shù)的第二層)，并且也具有16比特的長度。位圖812對(duì)應(yīng)于底層 (可丟棄)圖片，并且具有16比特的長度。各個(gè)位圖808、810和812的16比特對(duì)應(yīng)于給 定圖片實(shí)例的16個(gè)圖片。注意，在位圖808中示出了 16個(gè)塊以表示16個(gè)圖片，其中虛線 代替了位圖810和812中這些塊當(dāng)中的許多塊以表示同樣數(shù)量的塊或圖片。而且，注意僅 幾個(gè)塊被表示為設(shè)置了比特，理解為其他塊將會(huì)要么被設(shè)置(例如1)或未設(shè)置(例如0)。 此外，注意如果在給定層中的比特被設(shè)置，則該比特將會(huì)對(duì)于相應(yīng)位置在其他所有位圖中 為零。換言之，在位圖當(dāng)中一個(gè)圖片僅能讓一個(gè)比特開啟最多一次，這是因?yàn)橐粋€(gè)圖片僅能 對(duì)應(yīng)于單個(gè)層。例如，位圖808的比特位置814(對(duì)應(yīng)于第一圖片)被設(shè)置，而位圖810和 812的比特位置814是零。由于位圖808對(duì)應(yīng)于頂層圖片(例如I、IDR、前向預(yù)測圖片)， 因此針對(duì)圖片之一(例如比特位置814所標(biāo)識(shí)的第一圖片)設(shè)置的比特反映了如下事實(shí) 在其他層中未找到頂層圖片。類似地，與序列中第二圖片相對(duì)應(yīng)的比特位置816針對(duì)位圖 810被設(shè)置，但對(duì)于位圖808和812中的相同位置是零。同樣，比特位置818針對(duì)位圖818 被設(shè)置，并且對(duì)于位圖808和810是零。
圖8還示出了在一些實(shí)施例中可以通過邏輯運(yùn)算來完成對(duì)層圖片的抽取。例如， 采用自頂向下方式，頂部兩層808和810的比特位置可以經(jīng)歷邏輯或運(yùn)算，所產(chǎn)生的所抽取 的圖片具有如下的特性它們是可自解碼的(例如，滿足用于參考的所有圖片互相關(guān)性)。
另外，如果采用自底向上方式，則也可以確定哪些圖片是可自解碼的，即使提供了 單個(gè)位圖(例如位圖812)。例如，如果對(duì)底層位圖812的比特位置執(zhí)行邏輯非，則結(jié)果是可 解碼的圖片(這是因?yàn)橛傻讓游粓D812的比特位置標(biāo)識(shí)的圖片對(duì)應(yīng)于可丟棄圖片)。
此外，如果斷言了對(duì)應(yīng)于層次結(jié)構(gòu)的倒數(shù)第二層的位圖，則可對(duì)底層和倒數(shù)第二 層執(zhí)行邏輯或運(yùn)算，并且可對(duì)邏輯或運(yùn)算的結(jié)果執(zhí)行邏輯非運(yùn)算以揭示可自解碼圖片。
圖9A-9D是示出基于圖4A中的壓縮圖片的序列的示例位圖構(gòu)造的框圖。在圖9A 中，頂層(Tl，使用圖5所示的慣例)位圖902被示為在與頂層圖片P9、P17和、相對(duì)應(yīng)的 位置設(shè)置了比特(例如“1”)。注意，比特設(shè)定對(duì)應(yīng)于圖片的發(fā)送順序。在一個(gè)實(shí)施例中， 編碼器(例如編碼器111)可排他地提供層1圖片。
圖9B是示出提供了與第二層(T2)圖片B5、B13和B21并設(shè)置了相應(yīng)比特的另一位 圖904的框圖。注意，如上所述，在圖片排他地與一個(gè)給定層相關(guān)聯(lián)的情況下，比特不在不 同位圖當(dāng)中針對(duì)相同的圖片被設(shè)置。
圖9C增加了與第三層CH)相對(duì)應(yīng)的另一位圖906，在此示例中該T3也對(duì)應(yīng)于倒 數(shù)第二重要的層(例如層(T-D)0如圖所示，設(shè)置了對(duì)應(yīng)于T3圖片B3、B7、Bn、B15、B19和B23 的比特。
圖9D增加了另一位圖908，其中針對(duì)對(duì)應(yīng)的可丟棄(層T)圖片Iv b4、b6、b8、b10、 b12、b14、b16、b18、l32(l和b22設(shè)置了比特。如上所述，圖片都沒有在多個(gè)位圖當(dāng)中設(shè)置多于一個(gè) 的比特。
圖9E示出了一個(gè)實(shí)施例，其中位圖908是唯一所提供的位圖，輔助了對(duì)圖片的丟 棄(或如上所述，使用邏輯非運(yùn)算輔助了對(duì)可解碼圖片的抽取)。
注意，雖然在AVC環(huán)境的上下文中說明了以上位圖，但想到了 MPEG-2視頻，具體而 言是MPEG-2視頻GOP處于本文中所公開的實(shí)施例的范圍之內(nèi)。例如，與圖8和圖9中示出 的標(biāo)志字段相似的標(biāo)志字段可以斷言(設(shè)置)與頂層位圖和底層位圖相對(duì)應(yīng)的比特。頂層 位圖可以針對(duì)I圖片和P圖片(按發(fā)送順序)設(shè)置比特位置，而底層位圖(可丟棄的B圖 片)具有相反的比特設(shè)定(例如頂位圖的異或)。
注意在一個(gè)實(shí)施例中，可以設(shè)置與頂層圖片的位圖相對(duì)應(yīng)的一另外字段，該字段 表示在何點(diǎn)處(或在何點(diǎn)之后)圖片完全達(dá)到其希望的解壓縮版本。例如，如上所述，可在 適配字段中使用一字節(jié)來傳達(dá)層數(shù)(數(shù)據(jù)結(jié)構(gòu)或標(biāo)志字段，例如圖8中的800)，并且可以使 用另一字節(jié)來傳達(dá)圖片中的何點(diǎn)處(例如，對(duì)應(yīng)于一示例位圖的16個(gè)圖片)在解碼后人們 獲得了完全重建。這種字段在如下情形中可能是有幫助的，例如在所述情形中，在達(dá)到完全 重建之前需要訪問第二 RAP。
上述的一個(gè)問題是關(guān)于位圖相關(guān)信息的恢復(fù)的。例如，由于位圖相關(guān)信息不是對(duì) 每個(gè)圖片提供的，而是關(guān)于一個(gè)圖片序列，因此出現(xiàn)了如下的問題對(duì)于隨后的圖片如何傳 播位圖處理。為了后續(xù)討論的目的，作出如下的假設(shè)位圖是16比特長(因而對(duì)應(yīng)于16個(gè) 圖片)，但要理解可采用其他比特長度，固定或可變，預(yù)定或其他方式都可以。處理一般地 開始于RAP，因而在一個(gè)實(shí)施例中，在每個(gè)RAP處提供位圖。在一個(gè)實(shí)施例中，位圖總是在 RAP處提供。然而，這并不一定意味著SRAP將會(huì)每16個(gè)圖片地出現(xiàn)(例如，RAPS可以相 隔5秒或其他值)。在一些實(shí)施例中，每16個(gè)圖片地提供位圖(而不管第16個(gè)圖片是不 是RAP)，例如假設(shè)了 16比特的預(yù)定(或顯式地提供的)位圖長度對(duì)應(yīng)于16個(gè)圖片。在一 些實(shí)施例中，位圖相關(guān)信息可以在先前的位圖相關(guān)信息仍活動(dòng)時(shí)被提供，例如在預(yù)定圖片 長度期滿之前(例如在第16個(gè)圖片之前)設(shè)置了 RAP的時(shí)候。在一些實(shí)施例中，在先前的 位圖相關(guān)信息仍活動(dòng)時(shí)(即，在預(yù)定圖片長度期滿之前)對(duì)位圖相關(guān)信息的提供導(dǎo)致“清 賬”(clean-slate)。換言之，假設(shè)新提供的位圖相關(guān)信息在與提供了上次位圖相關(guān)信息的 視頻流位置相關(guān)聯(lián)的圖片處生效。例如，如果位圖相關(guān)信息在第12個(gè)圖片處被提供，則與 比特位置12-16(或在一些實(shí)施例中，13-16)相對(duì)應(yīng)的位圖的所有比特被忽略，并且對(duì)于接 下來的16個(gè)圖片(或在一些實(shí)施例中，對(duì)于其余圖片)，采用最近到達(dá)的位圖相關(guān)信息。
在一些實(shí)施例中，可以施加如下的要求期滿前位圖僅在與頂層圖片相對(duì)應(yīng)或關(guān) 聯(lián)的視頻流位置中提供，其中這種頂層圖片在活動(dòng)位圖相關(guān)信息中用如下方式標(biāo)識(shí)出來: 位圖中與頂層相對(duì)應(yīng)的比特具有指示出圖片是頂層圖片的第一值。在一個(gè)替代實(shí)施例中， 位圖相關(guān)信息只有在與當(dāng)前位圖相關(guān)信息中所標(biāo)識(shí)的頂層圖片相對(duì)應(yīng)的視頻流位置處才 能取代活動(dòng)或當(dāng)前的位圖相關(guān)信息。
在一個(gè)實(shí)施例中，對(duì)位圖相關(guān)信息的恢復(fù)總是跟與頂層相對(duì)應(yīng)的活動(dòng)位圖相關(guān)信 息中最后標(biāo)識(shí)的圖片同時(shí)發(fā)生。此外，在此實(shí)施例中，在當(dāng)前位圖相關(guān)信息期滿之后的圖片 處(在第16個(gè)圖片之后)，下一位圖相關(guān)信息可以變?yōu)榛顒?dòng)的。在一些實(shí)施例中，一標(biāo)志可以利用第一和第二值來指示針對(duì)下一位圖相關(guān)信息的兩個(gè)激活點(diǎn)之一，要么是在與當(dāng)前位 圖相關(guān)信息相對(duì)應(yīng)的圖片期滿處，要么是在提供下一位圖相關(guān)信息的圖片(例如一頂層圖 片)處。
在一些實(shí)施例中，處理可以恢復(fù)，或者在一些實(shí)施例中，恢復(fù)可以發(fā)生在一不同的 位置。在一些實(shí)施例中，可以在期滿前引入(設(shè)置)一層。在這種情況下，一個(gè)實(shí)施例需要 聚合(aggregation)，而在一些實(shí)施例中，不采用聚合(例如，不隨機(jī)地聚合層)。一個(gè)實(shí)施 例可能需要有如下的要求對(duì)所有圖片的記賬(accounting)保持一致。在一些實(shí)施例中， 期滿前RAP導(dǎo)致位圖處理的期滿(例如，對(duì)間隙(gap)的容許)。因此，對(duì)位圖處理的恢復(fù) 或繼續(xù)可以根據(jù)這多種選項(xiàng)中的一種或多種而繼續(xù)。
在一些實(shí)施例中，包含斷言標(biāo)志字段的數(shù)據(jù)結(jié)構(gòu)還包含另外的比特或字段，用于 傳達(dá)重復(fù)先前的(例如，剛剛期滿的)位圖，從而無須重傳位圖。例如，在一個(gè)實(shí)施例中，對(duì) 于層(例如5個(gè)層)使用了 5個(gè)比特，并且使用了第六比特用來表明重復(fù)功能。在一個(gè)實(shí) 施例中，采用了兩個(gè)其他比特，以用于四個(gè)位圖長度值(例如用于位圖中的字節(jié)數(shù))，例如 如下
00 缺省值(例如，用于16比特，雖然不限于此)
01 :8 比特
02 24 比特
03 32 比特
因此，存在缺省值(上面用16比特來描述，但要理解在一些實(shí)施例中可使用其他 值)和三個(gè)替代值，在一個(gè)實(shí)施例中它們各為8比特的倍數(shù)。
在一些實(shí)施例中，斷言標(biāo)志字段中N個(gè)連續(xù)比特被排序以表示針對(duì)可能的大于N 的層數(shù)，從頂層到底層的對(duì)應(yīng)關(guān)系。當(dāng)提供位圖相關(guān)信息時(shí)，任何一次最多斷言N-I個(gè)層。 這意味著N個(gè)比特中至少一個(gè)必須是不斷言針對(duì)層的位圖存在的第二值(例如等于“0”)。 根據(jù)層的層次結(jié)構(gòu)屬性，具有第二值的比特的位置和針對(duì)位圖存在的斷言受限于以下條 件
1.頂層(即，其位圖的存在)僅在所有更低編號(hào)層也都被斷言的情況下才能被斷 言。因而，N比特當(dāng)中對(duì)應(yīng)于頂層的比特只有與所有更低編號(hào)層(如果有的話)相對(duì)應(yīng)的 比特也具有第一值(例如，等于“1”)才能具有第一值。
2.底層僅在所有更高編號(hào)層也都被斷言的情況下才能被斷言。因而，N比特當(dāng)中 對(duì)應(yīng)于底層的比特只有與所有更高編號(hào)層(如果有的話)相對(duì)應(yīng)的比特也具有第一值才能具有第一值。
3.由于層數(shù)大于N，因此必須總是有具有第二值的比特。如果斷言了頂部層和底 部層的任意組合，則在N比特值的N-2個(gè)中間(或中心)比特內(nèi)必須有至少一個(gè)具有第二 值的比特。
在一些實(shí)現(xiàn)方式中，將哪個(gè)比特的分配設(shè)為零依賴于用來提供位圖相關(guān)信息的方 式。例如，在自頂向下方式中，除了底層比特之外，所有比特都可設(shè)置為1。類似地，如果實(shí) 現(xiàn)了自底向上方式，則除了頂層比特之外，所有比特都可設(shè)置為1。
在一些實(shí)施例中，用于通知重復(fù)在上一活動(dòng)或所提供的位圖相關(guān)信息期間使用的 位圖相關(guān)信息的一種機(jī)制是使用未被允許的N比特的模式作為重復(fù)標(biāo)志。例如，如果N =5比特，則N比特的中間或中心比特可被設(shè)為第一值。因此，在一些實(shí)施例中，重復(fù)功能可以 通過非法模式來通知，該非法模式例如是關(guān)于最重要和最不重要比特的“邊緣”比特是零的 情況。
考慮如下的示例其中每個(gè)位圖長度是16比特，并且僅斷言(8個(gè)可能的層當(dāng)中 的)5個(gè)層，其中N = 5。可以通過非法模式(例如00100，假設(shè)自底向上或自頂向下方式) 來通知重復(fù)功能。利用其他3比特，可以進(jìn)行8種不同組合或排列。
在一些實(shí)施例中，位圖的長度可以從在承載位圖相關(guān)信息的具體消息中所傳達(dá)的 長度字段的值暗示或得到。例如，可以通過如下方式得到位圖長度從該消息的長度字段的 值減去一字節(jié)以計(jì)入斷言標(biāo)志，對(duì)斷言標(biāo)志字段值的比特?cái)?shù)(“B”)進(jìn)行計(jì)數(shù)，然后除以B。
在一些實(shí)施例中，關(guān)于圖片互相關(guān)性的信息在無位圖的情況下提供。例如，所提供 的信息僅僅是一層斷言字段(或當(dāng)使用了多個(gè)字節(jié)時(shí)的一層斷言字段)，其包括分別對(duì)應(yīng) 于M個(gè)層的M個(gè)比特，其中M小于等于8。M個(gè)比特被排序以分別表示從頂層到底層的M個(gè) 層。M個(gè)比特中僅一個(gè)比特被允許具有第一值(等于“1”)以斷言針對(duì)對(duì)應(yīng)圖片的層，該對(duì) 應(yīng)圖片是視頻流中與傳輸分組的斷言標(biāo)志字段的位置相關(guān)聯(lián)的圖片。例如，與上述類似，可 在MPEG-2傳輸分組的適配字段中設(shè)置層斷言字段，并且包含對(duì)應(yīng)圖片的PES分組的頭部的 開始可以位于同一傳輸分組的有效載荷的開始。從而，可以針對(duì)單個(gè)圖片斷言層，但并非視 頻流中的所有圖片需要被斷言。例如，斷言屬于中間層的圖片可能是不希望或不必要的。在 一些實(shí)施例中，與RAP相關(guān)聯(lián)的圖片不需要利用層斷言字節(jié)被斷言，這是因?yàn)樗杀患僭O(shè) 為屬于頂層，層1。在一些實(shí)施例中，當(dāng)不需要層斷言字節(jié)來斷言RAP圖片的層時(shí)，層斷言字 節(jié)可表示與視頻流中下一層1圖片所位于的RAP圖片相距的圖片數(shù)。
在一些實(shí)施例中，指派層斷言字節(jié)的一比特來傳達(dá)頂層斷言或底層斷言。換言之， 第一值(例如“1”)斷言頂層斷言，第二值斷言底層斷言。M個(gè)已排序比特當(dāng)中的單個(gè)比特 斷言針對(duì)該圖片的層。如果作出了頂層斷言，則M個(gè)已排序比特分別對(duì)應(yīng)于M個(gè)底部層，從 底層開始。如果作出了頂層斷言，則M個(gè)已排序比特分別對(duì)應(yīng)于M個(gè)頂部層，從頂層開始。
在另一實(shí)施例中，層斷言字節(jié)包含(1)用于傳達(dá)頂層或底層斷言的比特，分別對(duì) 應(yīng)于M個(gè)層的M個(gè)比特(剛才描述過)，以及下一圖片字段。該下一圖片字段標(biāo)識(shí)視頻流中 屬于層次結(jié)構(gòu)中與針對(duì)當(dāng)前圖片所斷言的層相同層的圖片的位置。如果下一圖片字段等于 零，則其不標(biāo)識(shí)圖片的位置。下一圖片字段中的非零值對(duì)應(yīng)于視頻流中按發(fā)送順序與當(dāng)前 圖片相距的圖片數(shù)，并且從而標(biāo)識(shí)出與當(dāng)前圖片屬于同一層的下一圖片。
在一些實(shí)施例中，例如擴(kuò)展到上面討論層斷言字節(jié)(或字段)的實(shí)施例的實(shí)施例 中，當(dāng)隔行視頻的圖片被編碼為兩個(gè)單獨(dú)的PES分組中的兩個(gè)場時(shí)，層斷言字節(jié)(或等同 地，層斷言字段)的一比特可以分別利用兩個(gè)值標(biāo)識(shí)出該場是底部場還是頂部場。在一些 實(shí)施例中，另一字段可以標(biāo)識(shí)出與正被斷言為屬于一層的當(dāng)前圖片相對(duì)應(yīng)的場的相對(duì)位置 (例如，通過與當(dāng)前場相距的場數(shù))。
注意，本文中描述的某些實(shí)施例包括駐留于一個(gè)或多個(gè)位置，包括DHCT、網(wǎng)絡(luò)裝置 等的功能，后者可能由于網(wǎng)絡(luò)擁塞而丟棄圖片，因而保留(一個(gè)或多個(gè))頂部層圖片，如果 這種設(shè)備的邏輯“知道”如下事實(shí)保證非頂層圖片可以被丟棄且保證頂層(無論它是哪個(gè) 層“η”)在所有層η及以上圖片被保留的情況下是可自解碼的。另外，在一些實(shí)施例中，這 種網(wǎng)絡(luò)設(shè)備中的邏輯可以執(zhí)行本文中描述的確定方法，因而不再需要DHCT中的編碼功能來執(zhí)行這種功能。
雖然關(guān)于“圖片”描述了操作，但可以類似地使用其他任何數(shù)據(jù)集合，例如圖片群 組，塊，宏塊，片段或其他圖片部分，等等。
可使用任何合適的編程語言來實(shí)現(xiàn)特定實(shí)施例的例程，包括C、C++、Java、匯編語 言，等等?？刹捎貌煌幊碳夹g(shù)，例如面向過程的或面向?qū)ο蟮摹＠炭梢栽趩蝹€(gè)處理裝置 或多個(gè)處理器上執(zhí)行。雖然可以按具體順序提供步驟、操作或計(jì)算，但該順序可以在一些實(shí) 施例中改變。在一些實(shí)施例中，在本說明書中示為順序的多個(gè)步驟可以同時(shí)執(zhí)行。本文中 描述的操作序列可被另一進(jìn)程，例如操作系統(tǒng)，內(nèi)核等中斷、掛起，或以其他方式控制。例程 可以在操作系統(tǒng)環(huán)境中運(yùn)行或作為單獨(dú)例程運(yùn)行，其占據(jù)系統(tǒng)處理的所有或重要部分?？?以在硬件、軟件或二者組合中執(zhí)行功能。
在本文中的描述中，提供了許多具體細(xì)節(jié)，例如組件和/或方法的示例，以提供對(duì) 特定實(shí)施例的透徹理解。但本領(lǐng)域普通技術(shù)人員將認(rèn)識(shí)到，特定實(shí)施例沒有這些具體細(xì)節(jié) 中的一個(gè)或多個(gè)，或利用其他設(shè)備、系統(tǒng)、組件、方法、部件、材料、部分等等來實(shí)現(xiàn)。在其他 實(shí)例中，沒有具體詳細(xì)示出或描述公知的結(jié)構(gòu)、材料或操作，以免模糊特定實(shí)施例的方面。
特定實(shí)施例可以使用被編程的通用數(shù)字計(jì)算機(jī)、通過使用專用集成電路、可編程 邏輯器件、現(xiàn)場可編程門陣列、光、化學(xué)、生物、量子或納米工程系統(tǒng)、組件和機(jī)構(gòu)來實(shí)現(xiàn)。一 般而言，特定實(shí)施例的功能可通過本領(lǐng)域公知的任意手段來實(shí)現(xiàn)?？梢允褂梅植际铰?lián)網(wǎng)的 系統(tǒng)、組件和/或電路。數(shù)據(jù)的通信或傳送可以是有線的、無線的，或通過其他任何手段。
所說明的特定實(shí)施例的前述描述，包括在摘要中所描述的內(nèi)容不希望是窮舉的或 將公開內(nèi)容限制為本文中所公開的精確形式。各種等同修改的具體特定實(shí)施例在本領(lǐng)域技 術(shù)人員將會(huì)認(rèn)識(shí)和明白的精神和范圍內(nèi)是可能的。如上所述，考慮到前述對(duì)所說明特定實(shí) 施例的描述可以對(duì)本發(fā)明的系統(tǒng)和方法進(jìn)行這些修改，它們應(yīng)包括在公開內(nèi)容的范圍內(nèi)。
從而，盡管本文中參考特定實(shí)施例描述了各種系統(tǒng)和方法，但前述公開內(nèi)容希望 包含多種修改、各種改變和替換，并且應(yīng)認(rèn)識(shí)到，在一些實(shí)例中，特定實(shí)施例的某些特征可 以被采用而沒有相應(yīng)的其他特征的采用，這不會(huì)脫離所闡述的公開內(nèi)容的范圍。因此，可以 作出許多修改以使特定情形或材料適用于公開內(nèi)容的實(shí)質(zhì)范圍。希望各種實(shí)施例不限于所 附權(quán)利要求書中使用的特定術(shù)語和/或作為想到的實(shí)施系統(tǒng)和方法的最佳模式而公開的 特定實(shí)施例，而是某些實(shí)施例將包含落入所附權(quán)利要求范圍內(nèi)的任意和所有的特定實(shí)施例 和等同物。
權(quán)利要求
1.一種方法，包括提供視頻流，其中該視頻流中的相繼圖片是按發(fā)送順序提供的；以及提供多個(gè)標(biāo)志的第一實(shí)例，所述多個(gè)標(biāo)志分別與多個(gè)圖片互相關(guān)性層相關(guān)聯(lián)，其中多 個(gè)所提供的所述標(biāo)志中的任何標(biāo)志的第一標(biāo)志值斷言對(duì)應(yīng)于與該標(biāo)志相關(guān)聯(lián)的圖片互相 關(guān)性層的字段的存在。
2.如權(quán)利要求1所述的方法，還包括提供第一組字段，其中所述第一組字段中所提供的字段的數(shù)量對(duì)應(yīng)于所述第一實(shí)例中 具有所述第一標(biāo)志值的多個(gè)所提供標(biāo)志的數(shù)量，其中所述第一組字段與所述視頻流中第一 組多個(gè)相繼圖片(FP0SPITVQ相關(guān)聯(lián)，其中所述第一組字段中每個(gè)字段分別對(duì)應(yīng)于一相應(yīng) 的圖片互相關(guān)性層，其中所述第一組字段的每個(gè)字段包括已排序的子字段，其中所述第一 組字段的每個(gè)字段中所述已排序的子字段中的第一子字段對(duì)應(yīng)于所述FP0SPITVS按發(fā)送 順序的第一圖片，其中所述第一組字段的每個(gè)字段中所述第一子字段之后的每個(gè)相繼的已 排序子字段分別對(duì)應(yīng)于所述FP0SPITVS的第一圖片之后按發(fā)送順序的每個(gè)相繼圖片，并且 其中所述FP0SPITVS中的每個(gè)相繼圖片由所述第一組字段中至多一個(gè)相應(yīng)的已排序子字 段標(biāo)識(shí)。
3.如權(quán)利要求2所述的方法，還包括在所述FP0SPITVS之后，在所述視頻流中提供第二組多個(gè)相繼圖片(SP0SPITVS)，其中 所述SP0SPITVS的第一所提供圖片是在所述FP0SPITVS的最后所提供圖片之后提供的。
4.如權(quán)利要求3所述的方法，還包括提供所述多個(gè)標(biāo)志的第二實(shí)例。
5.如權(quán)利要求4所述的方法，還包括提供第二組字段，其中所述第二組字段中所提供 字段的數(shù)量對(duì)應(yīng)于具有所述第一標(biāo)志值的多個(gè)所提供標(biāo)志的數(shù)量；提供與所述SP0SPITVS 相關(guān)聯(lián)的第二組字段，其中所述第二組多個(gè)字段中的每個(gè)字段分別對(duì)應(yīng)于一圖片互相關(guān)性 層，其中所述第二組多個(gè)字段的每個(gè)字段包括已排序的子字段，其中所述第二組多個(gè)字段 的每個(gè)字段中所述已排序的子字段中的第一子字段對(duì)應(yīng)于所述SP0SPITVS按發(fā)送順序的 第一圖片，其中所述第二組多個(gè)字段的每個(gè)字段中所述第一子字段之后的每個(gè)相繼的已排 序子字段分別對(duì)應(yīng)于所述SP0SPITVS的第一圖片之后按發(fā)送順序的每個(gè)相繼圖片，并且其 中所述SP0SPITVS中的每個(gè)相繼圖片由所述第二組多個(gè)字段中相應(yīng)的多個(gè)已排序子字段 中至多一個(gè)子字段標(biāo)識(shí)。
6.一種方法，包括接收視頻流；以及處理壓縮視頻和標(biāo)識(shí)與各互相關(guān)性層相對(duì)應(yīng)的圖片的信息。
7.如權(quán)利要求6所述的方法，其中接收視頻流還包括接收標(biāo)識(shí)所述視頻流中圖片的信 息，其中所述圖片包括壓縮圖片。
8.如權(quán)利要求7所述的方法，還包括從所述視頻流中抽取所標(biāo)識(shí)的圖片中的一個(gè)或多 個(gè)圖片。
9.一種方法，包括提供視頻流；以及提供標(biāo)識(shí)與各圖片互相關(guān)性層相對(duì)應(yīng)的所述視頻流中壓縮圖片的信息。
全文摘要
在一個(gè)實(shí)施例中，一種方法包括提供視頻流；以及提供標(biāo)識(shí)與各圖片互相關(guān)性層相對(duì)應(yīng)的所述視頻流中壓縮圖片的信息。
文檔編號(hào)H04N7/50GK102037731SQ200980118689
公開日2011年4月27日 申請(qǐng)日期2009年5月18日 優(yōu)先權(quán)日2008年5月21日
發(fā)明者本杰明·M·庫克, 阿圖羅·A·羅德里谷茲 申請(qǐng)人:思科技術(shù)公司