專利名稱：編碼和重建高動(dòng)態(tài)范圍圖像的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明在高動(dòng)態(tài)范圍的圖像編碼領(lǐng)域中做出。
背景技術(shù)：
無論靜止圖像或者圖像序列的圖像幀，對(duì)應(yīng)于表示亮度信號(hào)的有限的數(shù)值范圍，圖像通常在有限位數(shù)(例如，8、10、12或者更多位)上表示。以這樣的方式表示的圖像稱作低動(dòng)態(tài)范圍圖像，或者簡(jiǎn)言之，LDR圖像。但是，人類視覺系統(tǒng)能夠感知寬的亮度范圍。有限的表示大多數(shù)通常不允許正確地重建小的信號(hào)變化，尤其是，在非常暗或者亮的亮度的圖像區(qū)域中。HDR(高動(dòng)態(tài)范圍或高動(dòng)態(tài)光照渲染)格式在于顯著地將信號(hào)表示的位深度擴(kuò)展為具有更多位，例如，20至64位的整數(shù)表示，或者甚至浮動(dòng)表示，以便在其整個(gè)亮度范圍上保持該信號(hào)的高精確度。HDR圖像可以以各種各樣的方法捕獲。例如，數(shù)字單鏡頭反射式照相機(jī)可以使用包圍式曝光(bracketing)技術(shù)以便以不同曝光來捕獲相同場(chǎng)景的連續(xù)圖像，其中曝光是在拍攝圖像的過程期間允許落在圖像介質(zhì)(感光膠片或者圖像傳感器)上光的總密度。不同曝光的這些圖像表示為L(zhǎng)DR圖像。曝光不足的圖像在明亮區(qū)域捕獲細(xì)節(jié)，而過度曝光的圖像在黑暗區(qū)域中捕獲細(xì)節(jié)，如在圖1對(duì)于不同的曝光值EV示范性地描述的。通過這些不同地曝光的LDR圖像的融合，可以生成具有浮點(diǎn)表示的HDR圖像，該生成的HDR圖像包含那些在黑暗區(qū)域以及那些在明亮區(qū)域中的所有細(xì)節(jié)。HDR圖像不能以其源格式隨著指定供LDR圖像使用的設(shè)備使用，例如，機(jī)頂盒、PVR和傳統(tǒng)顯示器。總之，稱作明暗映象的過程允許表示該圖像，同時(shí)確保不同的信號(hào)強(qiáng)度片段的好的恢復(fù)，尤其是，在黑暗和明亮強(qiáng)度范圍中。明暗映象從HDR圖像生成所有元素被正確地曝光的LDR圖像。LDR圖像在黑暗區(qū)域和在白色區(qū)域兩者中被更加詳述。這些在圖2中示范性地描述。HDR尤其是在后期制作中使用。所有特技效果工具以浮點(diǎn)表示處理HDR圖像。自然景物和特技效果的混合也在HDR表示中實(shí)現(xiàn)。在后期制作過程的末端，在攝影導(dǎo)演的控制下，適用明暗映象以生成標(biāo)準(zhǔn)8/10/12位底版。Mantiuk 等等"‘Backward Compatible High Dynamic Range MPEG VideoCompression”，SIGGRAPH的科研報(bào)告集06 (有關(guān)圖形的ACM學(xué)報(bào)?？?，2006年，713-723頁(yè)，25 (3)，提出了一種向后兼容HDR視頻壓縮(HDR MPEG)方法，其引入緊湊的重建功能，該功能被用于將HDR視頻數(shù)據(jù)流分解為殘余流和標(biāo)準(zhǔn)LDR流，其可以在諸如DVD播放器的現(xiàn)有的MPEG解碼器上播放。與單獨(dú)地LDR數(shù)據(jù)流相比,Mantiuk的殘余流生成大約30%比特流開銷。Motra和Thoma :2010年9月于香港的2010IEEE第17屆圖像處理國(guó)際會(huì)議的科研報(bào)告集中的 “An Adaptive LogLuv Transform for High Dynamic Range VideoCompression”描述一種現(xiàn)有的編碼器可以如何以由本作者提出的自適應(yīng)的LogLuv變換用于編碼HDR視頻序列的方法。Motra和Thoma進(jìn)一步描述使用MPEG AVC的高位深度分布去編碼這些數(shù)據(jù)。

發(fā)明內(nèi)容
在前提及的該方法的一個(gè)缺點(diǎn)是與標(biāo)準(zhǔn)HDTV eco (節(jié)能)系統(tǒng)的非向后兼容性。本發(fā)明人認(rèn)識(shí)到在本技術(shù)中需要一種用于HDR圖像和視頻的可選編碼方案，其允許重復(fù)使用已經(jīng)部署的圖像/視頻編碼器，并且與標(biāo)準(zhǔn)LDR HDTV向后兼容。 本發(fā)明以幀兼容格式的概念為基礎(chǔ)。該想法是使用幀兼容方法去與附加信息一起傳輸下采樣的LDR內(nèi)容，該附加信息允許從LDR內(nèi)容重建HDR內(nèi)容。在解碼器側(cè)，LDR內(nèi)容可用于源LDR顯示器，并且HDR內(nèi)容從而可以被重建和用于源HDR顯示器?；蛘逪DR內(nèi)容重建被明暗映象以由LDR顯示器使用。因此，提出了一種按照權(quán)利要求1的編碼高動(dòng)態(tài)范圍的HDR圖像的方法。所述方法包括下采樣LDR圖像和附加數(shù)據(jù)，LDR圖像提供HDR圖像內(nèi)容的較低動(dòng)態(tài)范圍描繪，并且附加數(shù)據(jù)允許從LDR圖像重建HDR圖像。所述方法進(jìn)一步包括在一個(gè)幀中布置下采樣的LDR圖像和下采樣的附加數(shù)據(jù)。進(jìn)一步提出了一種按照權(quán)利要求2的重建高動(dòng)態(tài)范圍的HDR圖像的方法。所述進(jìn)一步提出的方法包括解碼幀，將幀分解為下采樣的LDR圖像和下采樣的附加數(shù)據(jù)，LDR圖像提供HDR圖像內(nèi)容的向下采樣的較低動(dòng)態(tài)范圍描繪，并且附加數(shù)據(jù)允許從LDR圖像重建HDR圖像，上采樣下采樣的LDR圖像和下采樣的附加數(shù)據(jù)，和使用上采樣的附加數(shù)據(jù)從上采樣的LDR圖像重建HDR圖像。并且，提出了一種攜帶編碼幀的存儲(chǔ)介質(zhì)，包括低動(dòng)態(tài)范圍的下采樣的LDR圖像和下采樣的附加信息，附加數(shù)據(jù)允許重建提供LDR圖像內(nèi)容的較高動(dòng)態(tài)范圍描繪的HDR圖像。此外，本發(fā)明人提出一種用于編碼高動(dòng)態(tài)范圍的HDR圖像的設(shè)備，該編碼設(shè)備是依照權(quán)利要求11，和一種用于重建高動(dòng)態(tài)范圍的HDR圖像的設(shè)備，該編碼設(shè)備是依照權(quán)利要求14。在一個(gè)實(shí)施例中，該幀和通過下采樣LDR圖像移除的信息在基礎(chǔ)層中被編碼，和/或附加數(shù)據(jù)在增強(qiáng)層中被編碼。在另外的實(shí)施例中，下和上采樣發(fā)生在采樣方向，例如，在水平、對(duì)角或者垂直的米樣方向。對(duì)應(yīng)于米樣方向，存在布置模式，例如，對(duì)應(yīng)于水平米樣的并排布置，以及對(duì)應(yīng)于垂直下和上采樣的上下布置。更進(jìn)一步有益的實(shí)施例的特點(diǎn)在從屬權(quán)利要求中被指定。


在附圖中舉例說明本發(fā)明的示范性實(shí)施例，并且在以下的描述中更詳細(xì)地解釋。解釋該示范性實(shí)施例僅僅是為了闡明本發(fā)明，而不是為了限制本發(fā)明的公開或者在權(quán)利要求書中限定的范圍。圖1描述了具有不同曝光的相同場(chǎng)景的相同視圖的不范系列；圖2描述了明暗映象已經(jīng)施加于亮度區(qū)域的示范圖像；圖3示范性地描述了在第一和第二示范性實(shí)施例的編碼側(cè)的并排下采樣和封裝；
圖4示范性地描述了在第一和第二示范性實(shí)施例的編碼側(cè)的上下下采樣和封裝；圖5描述了第一不范性實(shí)施例的編碼構(gòu)架；圖6a和圖6b描述了第一示范性實(shí)施例的二個(gè)可能幀結(jié)構(gòu)；圖7示范性地描述了在第一和第二示范性實(shí)施例的解碼側(cè)的并排去封裝和上采樣；圖8示范性地描述了在第一和第二示范性實(shí)施例的解碼側(cè)的上下去封裝和上采樣;圖9描述了第二示范性實(shí)施例的二個(gè)可能幀結(jié)構(gòu)；圖1Oa和圖1Ob描述了第二實(shí)施例的編碼構(gòu)架；圖1la和圖1lb描述了第三示范性實(shí)施例的二個(gè)可能幀結(jié)構(gòu)；圖12描述了第三示范性實(shí)施例的編碼構(gòu)架；圖13描述了基于借助于MVC兼容的解碼設(shè)備的多視圖編碼的第一示范性實(shí)施例的再一個(gè)編碼構(gòu)架；圖14描述了基于借助于非MVC兼容的解碼設(shè)備的多視圖編碼的第一未示范性實(shí)施例的再一個(gè)編碼構(gòu)架；和圖15描述了基 于可伸縮視頻編碼的第一示范性實(shí)施例的又一個(gè)編碼構(gòu)架。
具體實(shí)施例方式本發(fā)明可以在包括相應(yīng)地適合的處理設(shè)備的任何電子設(shè)備上實(shí)現(xiàn)。例如，本發(fā)明可以在電視接收機(jī)、媒體網(wǎng)關(guān)、機(jī)頂盒、移動(dòng)電話、個(gè)人計(jì)算機(jī)、數(shù)字靜物相機(jī)、數(shù)字視頻照相機(jī)或者汽車娛樂系統(tǒng)中實(shí)現(xiàn)，其中這些示范的系統(tǒng)的每個(gè)可以被配置用于處理具有低動(dòng)態(tài)范圍、具有高動(dòng)態(tài)范圍或者兩者的圖像內(nèi)容。本發(fā)明可以適用于HDR靜止圖像以及HDR視頻/HDR圖像序列。本發(fā)明的第一示范性實(shí)施例采用高動(dòng)態(tài)范圍的圖像可以從不同曝光的對(duì)準(zhǔn)圖像，例如，取自相同視點(diǎn)的相同場(chǎng)景的一對(duì)圖像(其中該圖像的一個(gè)曝光不足，并且另一個(gè)過度曝光)中產(chǎn)生的事實(shí)。為了在單個(gè)幀中配備一對(duì)圖像，該圖像被下采樣。在第一示范性實(shí)施例中，下采樣可以水平地，即，每奇數(shù)或者每偶數(shù)列被移除，如在圖3中示范性地描述的，或者垂直地，即，每奇數(shù)或者每偶數(shù)行被移除，如在圖4中示范性地描述的。下采樣的圖像然后可以布置在單個(gè)幀中。在水平下采樣的情況下該布置是并排的，并且在垂直下采樣的情況下該布置是上下。這些在圖5中示范性地描述。示范性地描述的二個(gè)LDR圖像具有1080行和1920列，并且被水平地下采樣為960列，并且如在圖6a中描述的被并排布置，或者被垂直地下采樣為540行，并且如在圖6b中描述的被上下布置。其他的采樣方向是可能的，例如，對(duì)角地上傾或?qū)堑叵聝A。該采樣方向可以是固定的，或者可以適應(yīng)于內(nèi)容保存選擇。例如，可以在編碼器側(cè)每個(gè)圖像或者每個(gè)畫面組測(cè)試一些采樣方向，并且例如選擇導(dǎo)致最好的速率失真的那個(gè)。該布置類型可以以元數(shù)據(jù)用信號(hào)通知或者通過在該幀中搜索減少該幀一半的邊緣特點(diǎn)而確定。該特點(diǎn)的有效性可以被比較，并且最有效的一個(gè)然后可以用于將該幀再次分解為圖像。類似地，對(duì)于共有或者分別地兩個(gè)圖像，是正交于所述采樣方向的奇數(shù)行還是偶數(shù)行被移除可以被選定或者調(diào)整，例如，用于改善率失真。這個(gè)調(diào)整可以與采樣方向的修改獨(dú)立地發(fā)生，例如甚至在固定的采樣方向的情況下，或者與采樣方向修改的相結(jié)合。在在該幀中布置之后，該幀被編碼。在屬于適用于重建其HDR視頻的LDR圖像對(duì)序列的LDR圖像的情況下，該幀可以按照任何已知的視頻編碼標(biāo)準(zhǔn)，例如，H. 264/MPEG-4AVC被編碼。對(duì)于本發(fā)明的要點(diǎn)，使用哪個(gè)編碼標(biāo)準(zhǔn)是不重要的。該編碼可以利用二個(gè)LDR圖像示出具有不同曝光的相同內(nèi)容的事實(shí)。也就是說，運(yùn)動(dòng)矢量搜索可以被限制在該幀的一半，并且在一半幀上確定的運(yùn)動(dòng)矢量可以在另一個(gè)半幀上重新使用。重新使用甚至在僅僅一半幀的運(yùn)動(dòng)矢量需要編碼的情形下可以是強(qiáng)制性的。選擇性地，該編碼器輸出可伸縮圖像/視頻編碼(SVC)格式的基礎(chǔ)層，并且在下采樣的LDR圖像中省去的行或者列在SVC格式的增強(qiáng)層中被編碼。或者，該編碼器輸出多視圖編碼(MVC)格式的第一視圖，并且在下采樣的LDR圖像中省去的行或者列在MVC格式的第二視圖中被編碼。 為了以在二個(gè)LDR圖像每個(gè)的正常曝光區(qū)中保留細(xì)節(jié)的方式改善二個(gè)LDR圖像的曝光，可以在下采樣前或后適用可選擇的直方圖對(duì)準(zhǔn)。該直方圖調(diào)整的特定的設(shè)置可以被固定或者修改，而在這樣情況下，它們可以經(jīng)由元數(shù)據(jù)發(fā)送給解碼過程，使得解碼器能夠執(zhí)行反變換?；诙€(gè)不同曝光的LDR圖像的示范性編碼構(gòu)架在圖5中描述。編碼設(shè)備ENC接收二個(gè)不同曝光、對(duì)準(zhǔn)的圖像或者具有低動(dòng)態(tài)范圍的視頻幀，并且通過在模塊HST中直方圖均衡化調(diào)整其曝光。然后，該曝光調(diào)整的圖像被下采樣的DWN，并且被封裝PCK為單個(gè)幀，其通過H. 264/MPEG-4AVC編碼器AVC被編碼。模塊MDE編碼直方圖對(duì)準(zhǔn)的參數(shù)、有關(guān)下采樣的信息和有關(guān)封裝進(jìn)該幀的元數(shù)據(jù)的信息。包括元數(shù)據(jù)的該編碼的幀然后被輸出，用于以流傳輸，或者存儲(chǔ)在存儲(chǔ)介質(zhì)，例如光盤上。解碼設(shè)備DEC從用于讀取該存儲(chǔ)介質(zhì)的設(shè)備，或者從流接收設(shè)備接收包括元數(shù)據(jù)的編碼的幀，并且按照用于編碼的標(biāo)準(zhǔn)解碼IAVC該幀。然后，該元數(shù)據(jù)被解碼MDD，并且用于將該幀分解SEP為下采樣的LDR圖像。無論上采樣UP是增加奇數(shù)或者偶數(shù)行，該元數(shù)據(jù)被進(jìn)一步使用。該分解和上采樣對(duì)于并排布置LDR圖像在圖7中被示范性描述，并且對(duì)于上下布置LDR圖像在圖8中被示范性描述。接下來，直方圖對(duì)準(zhǔn)參數(shù)的元數(shù)據(jù)用于反向直方圖對(duì)準(zhǔn)IHST。在反對(duì)準(zhǔn)之后，融合FUS該LDR圖像產(chǎn)生HDR內(nèi)容。HDR內(nèi)容然后可以原樣被輸出用于尋源HDR顯示器，或者輸出明暗映象的MAP用于尋源HDR顯示器。在圖9中描述的第二示范性實(shí)施例中，該編碼設(shè)備ENC在紅-綠-藍(lán)(RGB)色彩空間獲得HDR內(nèi)容。該內(nèi)容是明暗映象的MAP，用于以RGB產(chǎn)生LDR內(nèi)容。LDR內(nèi)容被顏色轉(zhuǎn)換CCV為亮度色度空間，例如YUV 420，并且HDR內(nèi)容的亮度值被確定。隨后，這些值被使用以從HDR內(nèi)容提取曝光圖，例如，通過HDR內(nèi)容的亮度值逐像素除以LDR內(nèi)容的亮度值。這需要例如可以使用對(duì)數(shù)標(biāo)度或者線性標(biāo)度進(jìn)行的亮度-色度的變換。該曝光圖然后被標(biāo)準(zhǔn)化和量化NQ為由該格式允許的位深度。為了利用YUV 420幀優(yōu)化的編碼，該標(biāo)準(zhǔn)化和量化的曝光圖被從YUV 400空間變換為YUV 420空間。然后，該變換的曝光圖和LDR內(nèi)容被下采樣DWN并封裝PCK進(jìn)一個(gè)幀，或者如在圖IOa中示范性地描述的并排，或者如在圖1Ob中示范性地描述的上下。該幀隨后被AVC編碼。下采樣可以是水平或者垂直的，并且或者奇數(shù)或者偶數(shù)行可以移除，和/或由于下采樣移除的信息可以在SVC的增強(qiáng)層中，或者在MVC的不同的視圖中傳送。在圖9中示范性地描述的這個(gè)第二示范性實(shí)施例中，除有關(guān)是奇數(shù)還是偶數(shù)行被移除的信息之外，該元數(shù)據(jù)包括用于標(biāo)準(zhǔn)化的亮度比的極值。有關(guān)例如并排或者上下的布置的信息也可以被包含，或者可以在解碼器側(cè)使用幀減半邊緣特征檢測(cè)被確定。該解碼器DEC解碼IAVC編碼的幀，并且分解SEP為下采樣明暗映象的LDR內(nèi)容和下采樣的曝光圖。通過上采樣UP，LDR內(nèi)容和曝光圖被再次擴(kuò)展為幀大小。該上采樣的LDR內(nèi)容可以原樣輸出到LDR使能設(shè)備。該曝光圖可以使用作為元數(shù)據(jù)傳送的最小和最大亮度值去量化和去標(biāo)準(zhǔn)化IQN。該擴(kuò)展的曝光圖然后可以用于逆明暗映象ITM，并且產(chǎn)生的HDR內(nèi)容可以尋源HDR使能顯示器。本發(fā)明的第三示范性實(shí)施例也采用高動(dòng)態(tài)范圍的圖像可以從不同曝光的對(duì)準(zhǔn)圖像，例如，取自相同視點(diǎn)的相同場(chǎng)景的三個(gè)圖像(其中該圖像的一個(gè)曝光不足，一個(gè)正常曝光，并且一個(gè)過度曝光)中產(chǎn)生的事實(shí)。在圖12描述的第三實(shí)施例中，非正常曝光的對(duì)準(zhǔn)圖像被水平地和垂直地下采樣。選擇性地，在下采樣之前適用直方圖對(duì)準(zhǔn)。正常曝光的LDR圖像無需直方圖對(duì)準(zhǔn)被或者垂直地或者水平地下采樣。然后，三個(gè)圖像被布置在該幀中，如在圖1la或者圖1lb中示范性地描述的。也就是說，在正常曝光的LDR圖像被垂直地下采樣的情況下，下采樣的非正常曝光的圖像被并排布置，并且下采樣的正常曝光的圖像被布置在其下面或者在其頂上。并且在正常曝光的LDR圖像被水平地下采樣的情況下，下采樣的非正常曝光的圖像被上下布置，并且下采樣的正常曝光的圖像被并排布置于此。該產(chǎn)生的幀然后例如使用AVC編碼器被編碼。該幀的元數(shù)據(jù)可以攜帶有關(guān)移除的行的奇偶性、正常曝光的圖像的下采樣的方向和/或直方圖對(duì)準(zhǔn)的參數(shù)的信息。在解碼器側(cè)，該流使用例如作為AVC的標(biāo)準(zhǔn)視頻編碼器首先被解碼。該幀然后使用由元數(shù)據(jù)攜帶的相符方法，或者使用檢測(cè)的垂直或者水平中間邊緣被拆包。正常曝光的結(jié)果圖像或者圖像流然后使用由元數(shù)據(jù)攜帶的相符方法被過采樣，生成重建的正常曝光的LDR圖像/視頻。過度曝光的LDR視頻和曝光不足的LDR視頻被水平和垂直地過采樣。該產(chǎn)生的正常曝光的LDR內(nèi)容可以直接尋源LDR顯示器。在已經(jīng)在編碼器側(cè)適用直方圖對(duì)準(zhǔn)的情況下，反直方圖調(diào)整可以使用由元數(shù)據(jù)攜帶的參數(shù)選擇性地適用于過度曝光和曝光不足的內(nèi)容。該產(chǎn)生的正常曝光的LDR內(nèi)容可以進(jìn)一步與反直方圖對(duì)準(zhǔn)的過度曝光的LDR內(nèi)容和曝光不足的LDR內(nèi)容融合，用于重建HDR內(nèi)容(其然后可以提供給HDR顯示器)。在第三示范性實(shí)施例中，以及在第一和第二示范性實(shí)施例中，該幀還可以在可伸縮視頻編碼格式的基礎(chǔ)層中編碼?；蛘?，可以使用MVC。因而，在基礎(chǔ)層/主要視圖中由于下采樣缺乏的信息可以在一個(gè)或多個(gè)增強(qiáng)層/輔助視圖中編碼。在適用在不同的視圖或者層上分布信息的這個(gè)原理的每個(gè)情形下，基礎(chǔ)層/第一視圖的半幀的運(yùn)動(dòng)矢量信息不僅可以重新用于基礎(chǔ)層/第一視圖的其他半幀，而且可以用于增強(qiáng)層的半幀。例如，如果HDR內(nèi)容基于不同曝光像素的四個(gè)圖像，關(guān)于每個(gè)，四個(gè)LDR圖像可以分類為四分之一分辯率的四個(gè)LDR子圖像。例如，在奇數(shù)行中的奇數(shù)像素被分類為第一子圖像，在偶數(shù)行中的奇數(shù)像素被分類為第二子圖像，在奇數(shù)行中的偶數(shù)像素被分類為第三子圖像，并且在偶數(shù)行中的偶數(shù)像素被分類為第四子圖像。然后，四個(gè)LDR圖像的第一子圖像被布置在SVC基礎(chǔ)層或者主要MVC視圖中，四個(gè)LDR圖像的第二子圖像被布置在第一 SVC增強(qiáng)層或者第一輔助MVC視圖中，四個(gè)LDR圖像的第三子圖像被布置在第二 SVC增強(qiáng)層/第二輔助MVC視圖中，并且四個(gè)LDR圖像的第四子圖像被布置在第三SVC增強(qiáng)層/第三輔助MVC視圖中。對(duì)于在示范性實(shí)施例(幀編碼是依照H. 264/MPEG-4 AVC)中編碼元數(shù)據(jù)，提出以下的示范性語(yǔ)法。也就是說，本發(fā)明的一個(gè)方面涉及修改的或者新的SEI消息的提議。例如，如在以下的表I中示范性地描述的，sei_payload()可以被修改,使得等于45的附加payloadType(有效載荷類型)被限定，其觸發(fā)接入在表2中示范性地描述的hdr_frame_compatible_info (payloadSize)。
權(quán)利要求
1.一種編碼高動(dòng)態(tài)范圍的HDR圖像的方法，包括 -下采樣(DWN)LDR圖像和附加數(shù)據(jù)，LDR圖像提供HDR圖像內(nèi)容的較低動(dòng)態(tài)范圍描繪，并且附加數(shù)據(jù)允許從LDR圖像重建HDR圖像， -在幀中布置(PCK)下采樣的LDR圖像和下采樣的附加數(shù)據(jù)，以及 -編碼(AVC)該幀。
2.一種重建高動(dòng)態(tài)范圍的HDR圖像的方法，包括 -解碼(IAVC)幀， -將該幀分解(SEP)為下采樣的LDR圖像和下采樣的附加數(shù)據(jù)，LDR圖像提供HDR圖像內(nèi)容的下采樣的較低動(dòng)態(tài)范圍描繪，并且附加數(shù)據(jù)允許從LDR圖像重建HDR圖像， -上采樣(UP)所述下采樣的LDR圖像和下采樣的附加數(shù)據(jù)，以及 -使用上采樣的附加數(shù)據(jù)從上采樣的LDR圖像重建(FUS)HDR圖像。
3.根據(jù)權(quán)利要求1或者2的方法，其中LDR圖像是曝光不足的，并且附加數(shù)據(jù)包括HDR圖像內(nèi)容的低動(dòng)態(tài)范圍描繪的再一個(gè)LDR圖像，該再一個(gè)LDR圖像是過度曝光的。
4.根據(jù)權(quán)利要求1或者2的方法，其中LDR圖像被正常曝光，下采樣的附加數(shù)據(jù)包括HDR圖像內(nèi)容的低動(dòng)態(tài)范圍描繪的二個(gè)另外的下采樣的LDR圖像，二個(gè)另外的下采樣的LDR圖像的一個(gè)是過度曝光，并且二個(gè)另外的下采樣的LDR圖像的一個(gè)是曝光不足，兩個(gè)另外的下采樣的LDR圖像被水平地和垂直地下采樣，其中在附加數(shù)據(jù)中，在下采樣的附加數(shù)據(jù)以及LDR圖像被上下布置的情況下，二個(gè)另外的下采樣的LDR圖像被并排布置，和在下采樣的附加數(shù)據(jù)以及LDR圖像被并排布置的情況下，二個(gè)另外的下采樣的LDR圖像被上下布置。
5.根據(jù)權(quán)利要求2-4的一個(gè)的方法，其中使用直方圖對(duì)準(zhǔn)(HIST)調(diào)整曝光不足的LDR圖像和過度曝光的LDR圖像，并且其中直方圖對(duì)準(zhǔn)的至少一個(gè)參數(shù)以幀的元數(shù)據(jù)被編碼。
6.根據(jù)權(quán)利要求1或者2的方法，其中LDR圖像是HDR圖像的明暗映象版本，并且附加數(shù)據(jù)包括允許逆明暗映象(ITM)的曝光圖。
7.根據(jù)權(quán)利要求6的方法，其中曝光圖是HDR圖像的亮度值和HDR圖像的明暗映象版本的比的標(biāo)準(zhǔn)化圖，并且其中最小亮度比值和最大亮度比值的至少一個(gè)以幀的元數(shù)據(jù)被編碼。
8.根據(jù)權(quán)利要求1-7的一個(gè)的方法，其中下采樣信息以幀的元數(shù)據(jù)被編碼，下采樣信息表示以下的至少一個(gè)在下采樣的LDR圖像中是否奇數(shù)行已經(jīng)被移除，并且在下采樣的附加數(shù)據(jù)中是否奇數(shù)行已經(jīng)被移除。
9.根據(jù)權(quán)利要求1-8的一個(gè)的方法，其中布置信息以幀的元數(shù)據(jù)被編碼，布置信息表示在幀中如何布置下采樣的LDR圖像和下采樣的附加數(shù)據(jù)，并且其中 -下采樣是水平的并且布置是并排的，或者 -下采樣是垂直的并且布置是上下的。
10.一種攜帶包括低動(dòng)態(tài)范圍的下采樣的LDR圖像和下采樣的附加信息的編碼的幀的非易失性存儲(chǔ)介質(zhì)，附加數(shù)據(jù)允許重建提供LDR圖像內(nèi)容的較高動(dòng)態(tài)范圍描繪的HDR圖像。
11.一種用于編碼高動(dòng)態(tài)范圍的HDR圖像的設(shè)備，包括 -用于下采樣LDR圖像和附加數(shù)據(jù)的裝置，LDR圖像提供HDR圖像內(nèi)容的較低動(dòng)態(tài)范圍描繪，并且附加數(shù)據(jù)允許從LDR圖像重建HDR圖像， -用于在幀中布置下采樣的LDR圖像和下采樣的附加數(shù)據(jù)的裝置，和-用于編碼該幀的裝置。
12.根據(jù)權(quán)利要求11的設(shè)備，進(jìn)一步包括用于直方圖對(duì)準(zhǔn)的裝置。
13.根據(jù)權(quán)利要求11的設(shè)備，進(jìn)一步包括用于確定曝光圖的裝置。
14.一種用于重建高動(dòng)態(tài)范圍的HDR圖像的設(shè)備，包括 -用于解碼幀的裝置， -用于將幀分解為下采樣的LDR圖像和下采樣的附加數(shù)據(jù)的裝置，LDR圖像提供HDR圖像內(nèi)容的下采樣的較低動(dòng)態(tài)范圍描繪，并且附加數(shù)據(jù)允許從LDR圖像重建HDR圖像， -用于上采樣所述下采樣的LDR圖像的裝置，和 -用于使用上采樣的附加數(shù)據(jù)從上采樣的LDR圖像重建HDR圖像的裝置。
15.根據(jù)權(quán)利要求11的設(shè)備，進(jìn)一步包括以下的至少一個(gè) 用于直方圖對(duì)準(zhǔn)的裝置，和 用于逆明暗映象的裝置。
全文摘要
本發(fā)明在高動(dòng)態(tài)范圍圖像的編碼領(lǐng)域中做出。本發(fā)明以幀兼容格式的概念為基礎(chǔ)。該想法是在一個(gè)幀中與附加信息一起傳輸下采樣的LDR內(nèi)容，該附加信息允許從LDR內(nèi)容重建HDR內(nèi)容。因此，提出了一種按照權(quán)利要求1的編碼高動(dòng)態(tài)范圍的HDR圖像的方法。所述方法包括下采樣(DWN)LDR圖像和附加數(shù)據(jù)，LDR圖像提供HDR圖像內(nèi)容和附加數(shù)據(jù)的較低動(dòng)態(tài)范圍描繪，該附加數(shù)據(jù)允許從LDR圖像重建HDR圖像。所述方法進(jìn)一步包括在一個(gè)幀中布置(PCK)下采樣的LDR圖像和下采樣的附加數(shù)據(jù)，其中在水平下采樣的情況下布置是并排的，并且在垂直下采樣和編碼(AVC)該幀的情況下布置是上下的。
文檔編號(hào)H04N7/46GK103037215SQ201210366798
公開日2013年4月10日 申請(qǐng)日期2012年9月28日 優(yōu)先權(quán)日2011年10月4日
發(fā)明者D.陶澤, Y.奧利維爾, P.博德斯, D.索羅, J.拉克 申請(qǐng)人:湯姆森特許公司