技術(shù)領(lǐng)域

本公開涉及圖像處理裝置和圖像處理方法。

背景技術(shù)：

H.264/AVC作為圖像編碼方案的標(biāo)準(zhǔn)規(guī)范之一，以例如各自包含4×4像素的塊為單位對(duì)塊邊界應(yīng)用解塊濾波，從而減輕由于編碼圖像時(shí)產(chǎn)生的塊效應(yīng)導(dǎo)致的圖像質(zhì)量劣化。解塊濾波需要很大的計(jì)算量，并且在解碼圖像時(shí)會(huì)占用整個(gè)處理負(fù)載的例如50％。

根據(jù)JCTVC-A119，高效視頻編碼(HEVC)的標(biāo)準(zhǔn)作業(yè)作為下一代的圖像編碼方案，提出了以各自包含8×8像素或以上的塊為單位應(yīng)用解塊濾波(參見非專利文獻(xiàn)1)。JCTVC-A119中提出的技術(shù)增加了應(yīng)用解塊濾波的最小單位的塊尺寸。該技術(shù)與H.264/AVC類似，也確定需要逐塊應(yīng)用解塊濾波。

引證列表

非專利文獻(xiàn)

非專利文獻(xiàn)1：K.Ugur(Nokia),K.R.Andersson(LM Ericsson),A.Fuldseth(Tandberg Telecom),"JCTVC-A119:Video coding technology proposal by Tandberg,Nokia,and Ericsson",Documents of the first meeting of the Joint Collaborative Team on Video Coding(JCT-VC),Dresden,Germany,15-23April,2010.

技術(shù)實(shí)現(xiàn)要素：

技術(shù)問題

然而，由塊效應(yīng)引起的圖像劣化未必在塊內(nèi)均勻呈現(xiàn)。換句話說，在被判定需要應(yīng)用解塊濾波的塊的一部分內(nèi)可能圖像質(zhì)量已經(jīng)良好。類似地，在被判定無需應(yīng)用解塊濾波的塊的一部分內(nèi)可能圖像質(zhì)量實(shí)際上是劣化的。對(duì)具有良好圖像質(zhì)量的部分應(yīng)用解塊濾波事實(shí)上會(huì)損害該部分的圖像質(zhì)量。同時(shí)，如果不對(duì)圖像質(zhì)量劣化的部分應(yīng)用解塊濾波，那么將無法改善圖像質(zhì)量。

因此，期望提供一種能夠更為恰當(dāng)?shù)嘏卸☉?yīng)用解塊濾波的范圍的圖像處理裝置和圖像處理方法。

所要解決的問題

根據(jù)一個(gè)實(shí)施方式，提供了一種圖像處理裝置，包括對(duì)編碼流進(jìn)行解碼以生成圖像的解碼部；判定是否需要對(duì)在由解碼部生成的圖像內(nèi)隔著邊界相鄰的鄰接塊內(nèi)的、與該邊界垂直的每個(gè)線應(yīng)用解塊濾波的線判定部；以及對(duì)線判定部判定為應(yīng)用解塊濾波的每個(gè)線應(yīng)用解塊濾波的濾波部。

圖像處理裝置可以典型地被實(shí)現(xiàn)為解碼圖像的圖像解碼設(shè)備。

根據(jù)另一個(gè)實(shí)施方式，提供了一種圖像處理方法，包括對(duì)編碼流進(jìn)行解碼以生成圖像；判定是否需要對(duì)在生成的圖像內(nèi)隔著邊界相鄰的鄰接塊內(nèi)的、與該邊界垂直的每個(gè)線應(yīng)用解塊濾波；以及對(duì)被判定為應(yīng)用解塊濾波的每個(gè)線應(yīng)用解塊濾波。

此外，根據(jù)另一個(gè)實(shí)施方式，提供了一種圖像處理裝置，包括:線判定部，在編碼待編碼圖像之時(shí)判定是否需要對(duì)在局部解碼圖像內(nèi)隔著邊界相鄰的鄰接塊內(nèi)的、與該邊界垂直的每個(gè)線應(yīng)用解塊濾波；濾波部，對(duì)線判定部判定應(yīng)用解塊濾波的每個(gè)線應(yīng)用解塊濾波；以及編碼部，通過使用由濾波部濾波的圖像對(duì)待編碼圖像進(jìn)行編碼。

圖像處理裝置可以典型地被實(shí)現(xiàn)為編碼圖像的圖像編碼設(shè)備。

此外，根據(jù)另一個(gè)實(shí)施方式，提供了一種圖像處理方法，包括:在編碼待編碼圖像之時(shí)判定是否需要對(duì)在局部解碼圖像內(nèi)隔著邊界相鄰的鄰接塊內(nèi)的、與該邊界垂直的每個(gè)線應(yīng)用解塊濾波；對(duì)被判定為應(yīng)用解塊濾波的每個(gè)線應(yīng)用解塊濾波；以及通過使用經(jīng)濾波的圖像對(duì)待編碼圖像進(jìn)行編碼。

本發(fā)明的有益效果

根據(jù)依據(jù)本公開的圖像處理裝置和圖像處理方法，有可能更為恰當(dāng)?shù)嘏卸☉?yīng)用解塊濾波的范圍。

附圖說明

圖1是例示了根據(jù)一個(gè)實(shí)施例的圖像編碼裝置的示例性構(gòu)成的框圖。

圖2是例示了根據(jù)一個(gè)實(shí)施例的圖像解碼裝置的示例性構(gòu)成的框圖。

圖3是例示了隔著邊界相鄰的像素的例子的說明圖。

圖4是解釋在現(xiàn)有技術(shù)中濾波要否判定處理的說明圖。

圖5是解釋在現(xiàn)有技術(shù)中濾波處理的說明圖。

圖6是例示了根據(jù)第一實(shí)施例的解塊濾波器的示例性詳細(xì)構(gòu)成的框圖。

圖7是例示了由根據(jù)第一實(shí)施例的解塊濾波器進(jìn)行的處理的示例性流程的流程圖。

圖8是例示了根據(jù)第二實(shí)施例的解塊濾波器的詳細(xì)構(gòu)成的框圖。

圖9是例示了由根據(jù)第二實(shí)施例的解塊濾波器進(jìn)行的處理的示例性流程的流程圖。

圖10是例示了根據(jù)第三實(shí)施例的解塊濾波器的詳細(xì)構(gòu)成的框圖。

圖11A是用于解釋在根據(jù)第三實(shí)施例的解塊濾波器中進(jìn)行的參數(shù)估計(jì)處理的第一個(gè)例子的說明圖。

圖11B是用于解釋在根據(jù)第三實(shí)施例的解塊濾波器中進(jìn)行的參數(shù)估計(jì)處理的第二個(gè)例子的說明圖。

圖11C是用于解釋在根據(jù)第三實(shí)施例的解塊濾波器中進(jìn)行的參數(shù)估計(jì)處理的第三個(gè)例子的說明圖。

圖12是例示了由根據(jù)第三實(shí)施例的解塊濾波器進(jìn)行的處理的示例性流程的流程圖。

圖13是例示了電視的概略構(gòu)成的框圖。

圖14是例示了移動(dòng)電話的概略構(gòu)成的框圖。

圖15是例示了記錄和回放裝置的概略構(gòu)成的框圖。

圖16是例示了成像裝置的概略構(gòu)成的框圖。

具體實(shí)施方式

其后，將參考附圖詳細(xì)描述本公開的優(yōu)選實(shí)施方式。注意到，在此說明書和附圖中，具有基本相同功能和結(jié)構(gòu)的元件由相同的參考編號(hào)所指示，并由此省略對(duì)其的重復(fù)解釋。

描述將以如下順序進(jìn)行。

1.裝置概要

1-1.圖像編碼裝置

1-2.圖像解碼裝置

2.現(xiàn)有技術(shù)

3.第一實(shí)施例

3-1.解塊濾波器的構(gòu)成例

3-2.處理流程

4.第二實(shí)施例

4-1.解塊濾波器的構(gòu)成例

4-2.處理流程

5.第三實(shí)施例

5-1.解塊濾波器的構(gòu)成例

5-2.處理流程

6.示例應(yīng)用

7.結(jié)論

1.裝置概要

參考圖1和圖2，隨后將描述在本說明書中所公開技術(shù)可以應(yīng)用的示例性裝置的概要。在本說明書中公開的技術(shù)例如可以應(yīng)用于圖像編碼裝置和圖像解碼裝置。

[1-1.圖像編碼裝置]

圖1是例示了根據(jù)一個(gè)實(shí)施例的圖像編碼裝置10的示例性構(gòu)成的框圖。參見圖1，圖像編碼裝置10包括模數(shù)(A/D)轉(zhuǎn)換部11、重定序緩沖器12、減法部13、正交變換部14、量化部15、無損編碼部16、累積緩沖器17、速率控制部18、解量化部21、逆正交變換部22、加法部23、解塊濾波器24a、幀存儲(chǔ)器25、選擇器26、幀內(nèi)預(yù)測(cè)部30、運(yùn)動(dòng)估計(jì)部40、以及模式選擇部50。

A/D轉(zhuǎn)換部11將以模擬格式輸入的圖像信號(hào)轉(zhuǎn)換成數(shù)字格式的圖像數(shù)據(jù)，并將數(shù)字圖像數(shù)據(jù)序列輸出到重定序緩沖器12。

重定序緩沖器12對(duì)從A/D轉(zhuǎn)換部11輸入的圖像數(shù)據(jù)序列內(nèi)包括的圖像進(jìn)行重新排序。在根據(jù)由編碼處理給出的圖片組(GOP)結(jié)構(gòu)對(duì)圖像進(jìn)行重新排序之后，重定序緩沖器12將經(jīng)重新排序的圖像數(shù)據(jù)輸出到減法部13、幀內(nèi)預(yù)測(cè)部30和運(yùn)動(dòng)估計(jì)部40。

減法部13被供應(yīng)有從重定序緩沖器12輸入的圖像數(shù)據(jù)以及由隨后描述的模式選擇部50選擇的預(yù)測(cè)圖像數(shù)據(jù)。減法部13計(jì)算作為從重定序緩沖器12輸入的圖像數(shù)據(jù)和從模式選擇部50輸入的預(yù)測(cè)圖像數(shù)據(jù)之間的差異的預(yù)測(cè)誤差數(shù)據(jù)，并將該計(jì)算出的預(yù)測(cè)誤差數(shù)據(jù)輸出至正交變換部14。

正交變換部14對(duì)從減法部13輸入的預(yù)測(cè)誤差數(shù)據(jù)執(zhí)行正交變換。由正交變換部14執(zhí)行的正交變換例如可以是離散余弦變換(DCT)或是Karhunen-Loeve變換。正交變換部14將通過正交變換處理獲取的變換系數(shù)數(shù)據(jù)輸出至量化部15。

量化部15被供應(yīng)有從正交變換部14輸入的正交系數(shù)數(shù)據(jù)以及來自隨后描述的速率控制部18的速率控制信號(hào)。量化部15量化變換系數(shù)數(shù)據(jù)，并將經(jīng)量化的正交系數(shù)數(shù)據(jù)(其后稱為量化數(shù)據(jù))輸出至無損編碼部16和解量化部21。同樣地，量化部15基于來自速率控制部18的速率控制信號(hào)切換量化參數(shù)(量化標(biāo)度)，藉此改變要被輸入到無損編碼部16中的量化數(shù)據(jù)的比特率。

無損編碼部16被供應(yīng)有從量化部15輸入的量化數(shù)據(jù)、以及隨后描述的與由幀內(nèi)預(yù)測(cè)部30或運(yùn)動(dòng)估計(jì)部40生成并由模式選擇部50選擇的幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)有關(guān)的信息。與幀內(nèi)預(yù)測(cè)有關(guān)的信息可以包括例如指示每個(gè)塊的最優(yōu)幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)模式信息。同樣地，與幀間預(yù)測(cè)有關(guān)的信息可以包括例如用于預(yù)測(cè)每個(gè)塊的運(yùn)動(dòng)矢量的預(yù)測(cè)模式信息、差分運(yùn)動(dòng)矢量信息、參考圖像信息等。

無損編碼部16通過對(duì)量化數(shù)據(jù)執(zhí)行無損編碼處理生成編碼流。由無損編碼部16進(jìn)行的無損編碼例如可以是長(zhǎng)度可變編碼或算術(shù)編碼。此外，無損編碼部16可以將以上提及的與幀內(nèi)預(yù)測(cè)有關(guān)的信息或與幀間預(yù)測(cè)有關(guān)的信息多路復(fù)用至編碼流的頭部(例如，塊頭部、片段頭部等)。于是，無損編碼部16將由此生成的編碼流輸出至累積緩沖器17。

累積緩沖器17臨時(shí)緩沖從無損編碼部16輸入的編碼流。隨后，累積緩沖器17依據(jù)傳輸信道(或來自圖像編碼裝置10的輸出線)的帶寬以一定速率輸出所緩沖的編碼流。

速率控制部18監(jiān)視累積緩沖器17內(nèi)的空閑容量。隨后，速率控制部18依據(jù)累積緩沖器17內(nèi)的空閑容量生成速率控制信號(hào)，并將生成的速率控制信號(hào)輸出至量化部15。例如，當(dāng)累積緩沖器17內(nèi)沒有什么空閑容量時(shí)，速率控制部18生成用于降低量化數(shù)據(jù)的比特率的速率控制信號(hào)。同樣地，例如，當(dāng)累積緩沖器17內(nèi)有充足空閑容量時(shí)，速率控制部18生成用于提升量化數(shù)據(jù)的比特率的速率控制信號(hào)。

解量化部21對(duì)從量化部15輸入的量化數(shù)據(jù)執(zhí)行解量化處理。然后，解量化部21將通過解量化處理獲取的變換系數(shù)數(shù)據(jù)輸出至逆正交變換部22。

逆正交變換部22對(duì)從解量化部21輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換處理，藉此恢復(fù)預(yù)測(cè)誤差數(shù)據(jù)。隨后，逆正交變換部22將恢復(fù)的預(yù)測(cè)誤差數(shù)據(jù)輸出至加法部23。

加法部23將從逆正交變換部22輸入的經(jīng)恢復(fù)的預(yù)測(cè)誤差數(shù)據(jù)與從模式選擇部50輸入的預(yù)測(cè)的圖像數(shù)據(jù)相加，藉此生成解碼圖像數(shù)據(jù)。隨后，加法部23將由此生成的解碼圖像數(shù)據(jù)輸出至解塊濾波器24a和幀存儲(chǔ)器25。

解塊濾波器24a執(zhí)行濾波處理以減少在圖像編碼期間生成的塊效應(yīng)。更具體地，解塊濾波器24a判定是否需要對(duì)從加法部23輸入的解碼圖像數(shù)據(jù)內(nèi)的每個(gè)塊邊界執(zhí)行逐線濾波。解塊濾波器24a隨后對(duì)任何被判定為需要應(yīng)用濾波的線應(yīng)用解塊濾波。在塊邊界是垂直邊界的情況下，上述線等同于與垂直邊界垂直的行。在塊邊界是水平邊界的情況下，上述線等同于與水平邊界垂直的列。除了來自加法部23的解碼圖像數(shù)據(jù)之外，還將用于判定是否需要濾波的信息(諸如模式信息、變換系數(shù)信息和運(yùn)動(dòng)矢量信息等)輸入到解塊濾波器24a內(nèi)。其后，解塊濾波器24a將塊效應(yīng)(blocking artifacts)被移除的經(jīng)濾波的解碼圖像數(shù)據(jù)輸出至幀存儲(chǔ)器25。隨后將詳細(xì)描述由解塊濾波器24a進(jìn)行的處理。

幀存儲(chǔ)器25存儲(chǔ)從加法部23輸入的解碼圖像數(shù)據(jù)以及從解塊濾波器24a輸入的濾波之后的解碼圖像數(shù)據(jù)。

選擇器26從幀存儲(chǔ)器25中讀取要被用于幀內(nèi)預(yù)測(cè)的未經(jīng)濾波的解碼圖像數(shù)據(jù)，并將由此讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)供應(yīng)至幀內(nèi)預(yù)測(cè)部30。同樣地，選擇器26從幀存儲(chǔ)器25中讀取要被用于幀間預(yù)測(cè)的經(jīng)濾波的解碼圖像數(shù)據(jù)，并將由此讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)供應(yīng)至運(yùn)動(dòng)估計(jì)部40。

幀內(nèi)預(yù)測(cè)部30基于從重定序緩沖器12輸入的要被編碼的圖像數(shù)據(jù)以及經(jīng)由選擇器26供應(yīng)的解碼圖像數(shù)據(jù)而在各個(gè)幀內(nèi)預(yù)測(cè)模式下執(zhí)行幀內(nèi)預(yù)測(cè)處理。例如，幀內(nèi)預(yù)測(cè)部30使用預(yù)先確定的成本函數(shù)評(píng)估每個(gè)幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)結(jié)果。于是，幀內(nèi)預(yù)測(cè)部30選擇產(chǎn)生最小成本函數(shù)值的幀內(nèi)預(yù)測(cè)模式(即，產(chǎn)生最高壓縮率的幀內(nèi)預(yù)測(cè)模式)作為最優(yōu)幀內(nèi)預(yù)測(cè)模式。此外，幀內(nèi)預(yù)測(cè)部30還連同所預(yù)測(cè)的圖像數(shù)據(jù)和成本函數(shù)值一起，把與幀內(nèi)預(yù)測(cè)有關(guān)的信息輸出給模式選擇部50，該信息包括指示最優(yōu)幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)模式信息。

運(yùn)動(dòng)估計(jì)部40基于從重定序緩沖器12輸入的要被編碼的圖像數(shù)據(jù)以及經(jīng)由選擇器26供應(yīng)的解碼圖像數(shù)據(jù)而執(zhí)行幀間預(yù)測(cè)處理(在多個(gè)幀之間的預(yù)測(cè)處理)。例如，運(yùn)動(dòng)估計(jì)部40使用預(yù)先確定的成本函數(shù)評(píng)估每個(gè)預(yù)測(cè)模式的預(yù)測(cè)結(jié)果。然后，運(yùn)動(dòng)估計(jì)部40選擇產(chǎn)生最小成本函數(shù)值的預(yù)測(cè)模式(即，產(chǎn)生最高壓縮率的預(yù)測(cè)模式)作為最優(yōu)預(yù)測(cè)模式。運(yùn)動(dòng)估計(jì)部40根據(jù)該最優(yōu)預(yù)測(cè)模式生成預(yù)測(cè)的圖像數(shù)據(jù)。運(yùn)動(dòng)估計(jì)部40還連同所預(yù)測(cè)的圖像數(shù)據(jù)和成本函數(shù)值一起，把與幀間預(yù)測(cè)有關(guān)的信息輸出到模式選擇部50，該信息包括指示最優(yōu)幀間預(yù)測(cè)模式的預(yù)測(cè)模式信息。

模式選擇部50將從幀內(nèi)預(yù)測(cè)部30輸入的有關(guān)幀內(nèi)預(yù)測(cè)的成本函數(shù)值與從運(yùn)動(dòng)估計(jì)部40輸入的有關(guān)幀間預(yù)測(cè)的成本函數(shù)值相比較。隨后，模式選擇部50在幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)之中選擇具有較小成本函數(shù)值的預(yù)測(cè)方法。在選擇幀內(nèi)預(yù)測(cè)的情況下，模式選擇部50將與幀內(nèi)預(yù)測(cè)有關(guān)的信息輸出至無損編碼部16，并將預(yù)測(cè)圖像數(shù)據(jù)輸出至減法部13和加法部23。同樣地，在選擇幀間預(yù)測(cè)的情況下，模式選擇部50將與上述幀間預(yù)測(cè)有關(guān)的信息輸出至無損編碼部16，并將預(yù)測(cè)圖像數(shù)據(jù)輸出至減法部13和加法部23。

[1-2.圖像解碼裝置]

圖2是例示了根據(jù)一個(gè)實(shí)施例的圖像解碼裝置60的示例性構(gòu)成的框圖。參考圖2，圖像解碼裝置60包括累積緩沖器61、無損解碼部62、解量化部63、逆正交變換部64、加法部65、解塊濾波器24b、重定序緩沖器67、數(shù)模(D/A)轉(zhuǎn)換部68、幀存儲(chǔ)器69、選擇器70和71、幀內(nèi)預(yù)測(cè)部80和運(yùn)動(dòng)補(bǔ)償部90。

累積緩沖器61臨時(shí)緩沖經(jīng)由傳輸信道輸入的編碼流。

無損解碼部62根據(jù)在編碼時(shí)使用的編碼方法解碼從累積緩沖器61輸入的編碼流。同樣地，無損解碼部62解碼被多路復(fù)用至編碼流頭部區(qū)域內(nèi)的信息。被多路復(fù)用至編碼流頭部區(qū)域內(nèi)的信息可以包括例如在塊頭部?jī)?nèi)的與幀內(nèi)預(yù)測(cè)有關(guān)的信息以及與幀間預(yù)測(cè)有關(guān)的信息。無損解碼部62將與幀內(nèi)預(yù)測(cè)有關(guān)的信息輸出至幀內(nèi)預(yù)測(cè)部80。同樣地，無損解碼部62將與幀間預(yù)測(cè)有關(guān)的信息輸出至運(yùn)動(dòng)補(bǔ)償部90。

解量化部63對(duì)已由無損解碼部62解碼的量化數(shù)據(jù)進(jìn)行解量化。逆正交變換部64通過依據(jù)在編碼時(shí)使用的正交變換方法對(duì)從解量化部63輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換來生成預(yù)測(cè)誤差數(shù)據(jù)。隨后，逆正交變換部64將生成的預(yù)測(cè)誤差數(shù)據(jù)輸出至加法部65。

加法部65將從逆正交變換部64輸入的預(yù)測(cè)誤差數(shù)據(jù)與從選擇器71輸入的預(yù)測(cè)圖像數(shù)據(jù)相加，藉此生成解碼圖像數(shù)據(jù)。隨后，加法部65將由此生成的解碼圖像數(shù)據(jù)輸出至解塊濾波器24b和幀存儲(chǔ)器69。

解塊濾波器24b執(zhí)行濾波處理以減少在解碼圖像中出現(xiàn)的塊效應(yīng)。更具體地，解塊濾波器24b判定是否需要對(duì)從加法部65輸入的解碼圖像數(shù)據(jù)內(nèi)的每個(gè)塊邊界執(zhí)行逐線濾波。解塊濾波器24b隨后對(duì)任何被判定為需要應(yīng)用濾波的線執(zhí)行解塊濾波。除了來自加法部65的解碼圖像數(shù)據(jù)之外，還將用于判定是否需要濾波的信息輸入至解塊濾波器24b內(nèi)。其后，解塊濾波器24b將塊效應(yīng)已被移除的由此被濾波的解碼圖像數(shù)據(jù)輸出至重定序緩沖器67及幀存儲(chǔ)器69。隨后將詳細(xì)描述由解塊濾波器24b進(jìn)行的處理。

重定序緩沖器67通過對(duì)從解塊濾波器24b輸入的圖像進(jìn)行重新排序而生成按時(shí)間順序的圖像數(shù)據(jù)序列。隨后，重定序緩沖器67將生成的圖像數(shù)據(jù)輸出至D/A轉(zhuǎn)換部68。

D/A轉(zhuǎn)換部68將從重定序緩沖器67輸入的數(shù)字格式的圖像數(shù)據(jù)轉(zhuǎn)換成模擬格式的圖像信號(hào)。然后，D/A轉(zhuǎn)換部68就通過將模擬圖像信號(hào)輸入至例如連接至圖像解碼裝置60的顯示器(未示出)而實(shí)現(xiàn)圖像的顯示。

幀存儲(chǔ)器69存儲(chǔ)從加法部65輸入的未經(jīng)濾波的解碼圖像數(shù)據(jù)以及從解塊濾波器24b輸入的經(jīng)濾波的解碼圖像數(shù)據(jù)。

選擇器70根據(jù)由無損解碼部62獲取的模式信息為圖像內(nèi)的每個(gè)塊在幀內(nèi)預(yù)測(cè)部80和運(yùn)動(dòng)補(bǔ)償部90之間選擇來自幀存儲(chǔ)器69的圖像數(shù)據(jù)的輸出目的地。例如，在幀內(nèi)預(yù)測(cè)模式被指定的情況下，選擇器70將從幀存儲(chǔ)器69供應(yīng)的未經(jīng)濾波的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)輸出至幀內(nèi)預(yù)測(cè)部80。同樣地，在幀間預(yù)測(cè)模式被指定的情況下，選擇器70將從幀存儲(chǔ)器69供應(yīng)的經(jīng)濾波的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)輸出至運(yùn)動(dòng)補(bǔ)償部90。

選擇器71根據(jù)由無損解碼部62獲取的模式信息為圖像內(nèi)的每個(gè)塊在幀內(nèi)預(yù)測(cè)部80和運(yùn)動(dòng)補(bǔ)償部90之間選擇要被供應(yīng)至加法部65的預(yù)測(cè)圖像數(shù)據(jù)的輸出源。例如，在幀內(nèi)預(yù)測(cè)模式被指定的情況下，選擇器71為加法部65供應(yīng)從幀內(nèi)預(yù)測(cè)部80輸出的預(yù)測(cè)圖像數(shù)據(jù)。在幀間預(yù)測(cè)模式被指定的情況下，選擇器71為加法部65供應(yīng)從運(yùn)動(dòng)補(bǔ)償部90輸出的預(yù)測(cè)圖像數(shù)據(jù)。

基于與從無損解碼部62輸入的幀內(nèi)預(yù)測(cè)有關(guān)的信息以及來自幀存儲(chǔ)器69的參考圖像數(shù)據(jù)，幀內(nèi)預(yù)測(cè)部80執(zhí)行像素值的圖片內(nèi)預(yù)測(cè)，并且生成預(yù)測(cè)圖像數(shù)據(jù)。隨后，幀內(nèi)預(yù)測(cè)部80將由此生成的預(yù)測(cè)圖像數(shù)據(jù)輸出至選擇器71。

基于從無損解碼部62輸入的與幀間預(yù)測(cè)有關(guān)的信息以及來自幀存儲(chǔ)器69的參考圖像數(shù)據(jù)，運(yùn)動(dòng)補(bǔ)償部90執(zhí)行運(yùn)動(dòng)補(bǔ)償處理，并且生成預(yù)測(cè)圖像數(shù)據(jù)。隨后，運(yùn)動(dòng)補(bǔ)償部90將由此生成的預(yù)測(cè)圖像數(shù)據(jù)輸出至選擇器71。

2.現(xiàn)有技術(shù)

一般而言，在諸如H.264/AVC或HEVC的現(xiàn)有圖像編碼方案中使用解塊濾波的處理包括兩種類型的處理，即濾波必要性判定處理和濾波處理。隨后將以HEVC為例描述這兩種處理。

(1)濾波必要性判定處理

濾波必要性判定處理判定是否需要對(duì)輸入圖像內(nèi)的各個(gè)塊邊界應(yīng)用解塊濾波。塊邊界包括水平鄰接塊之間的垂直邊界以及垂直鄰接塊之間的水平邊界。JCTVC-A119使用8×8像素的塊尺寸作為最小處理單位。例如，16×16像素的宏塊包括四個(gè)8×8像素的塊。處理被應(yīng)用至每個(gè)塊的一個(gè)(左)垂直邊界和一個(gè)(上)水平邊界，即，四個(gè)邊界加上四個(gè)邊界，共八個(gè)邊界。在本說明書中，術(shù)語(yǔ)宏塊涵蓋HEVC情境下的編碼單位(CU)。

圖3是例示了隔著邊界相鄰的兩個(gè)塊Ba和Bb中的像素的例子的說明圖。在本說明書中，以此方式隔著邊界彼此相鄰的塊被稱為鄰接塊。雖然下文描述了垂直邊界作為例子，但是在此描述的事項(xiàng)顯然適用于水平邊界。圖3中的例子使用符號(hào)p_ij表示塊Ba中的像素。在此符號(hào)中，i指示列下標(biāo)，而j指示行下標(biāo)。列下標(biāo)i從最接近垂直邊界的那一列起被順序編號(hào)為0、1、2和3(從右到左)。行下標(biāo)j則被從上到下地編號(hào)為0,1,2,...,7。應(yīng)該注意到圖中省略了塊Ba的左半部分。同時(shí)，符號(hào)q_kj被用來表示塊Bb中的像素。在此符號(hào)中，k指示列下標(biāo)，而j指示行下標(biāo)。列下標(biāo)k從最接近垂直邊界的那一列起被順序編號(hào)為0、1、2和3(從左到右)。應(yīng)該注意到圖中省略了塊Bb的右半部分。

如下條件可被用來判定是否要對(duì)圖3中例示的塊Ba和Bb之間的垂直邊界應(yīng)用解塊濾波。

輝度分量(luma)的判定條件。如果條件A和B皆為真，則應(yīng)用解塊濾波。

條件A：

(A1)塊Ba或Bb是幀內(nèi)預(yù)測(cè)模式；

(A2)塊Ba或Bb具有非零的正交變換系數(shù)；或者

(A3)|MVAx-MVBx|≥4或者|MVAy-MVBy|≥4

條件B：

|p₂₂-2p₁₂+p₀₂|+|q₂₂-2q₁₂+q₀₂|+|p₂₅-2p₁₅+p₀₅|+|q₂₅-2q₁₅+q₀₅|<β

條件A3以Qpel(四分之一像素)的精度假設(shè)塊Ba的運(yùn)動(dòng)矢量為(MVAx,MVAy)而塊Bb的運(yùn)動(dòng)矢量為(MVBx,MVBy)。在條件B中，β是邊緣判定閾值。β的默認(rèn)值則依據(jù)量化參數(shù)給出。β的值是可使用片段頭部中的參數(shù)而由用戶指定的。

顏色分量(chroma)的判定條件。如果條件A1為真，則應(yīng)用解塊濾波。

條件A1：塊Ba或Bb是幀內(nèi)預(yù)測(cè)模式。

換句話說，在針對(duì)垂直邊界的典型濾波必要性判定處理中(更具體地，對(duì)輝度分量判定條件B的判定)，參照每個(gè)塊的第二和第五行中的像素(以最上一行為第0行)，如圖4中的虛線框L2和L5所指示的。解塊濾波隨后被應(yīng)用于依據(jù)上述判定條件被判定為需要應(yīng)用解塊濾波的垂直邊界的左右的塊。類似地，在針對(duì)水平邊界的濾波必要性判定處理中，參照每個(gè)塊的第二和第五列中的像素(圖4中未示出)。解塊濾波隨后被應(yīng)用于依據(jù)上述判定條件被判定為需要應(yīng)用解塊濾波的水平邊界的上下的塊。

(2)濾波處理

如果判定需要向邊界應(yīng)用解塊濾波，則對(duì)垂直邊界左右的像素或?qū)λ竭吔缟舷碌南袼貓?zhí)行濾波處理。對(duì)于輝度分量，則依據(jù)像素值在強(qiáng)濾波和弱濾波之間切換濾波強(qiáng)度。

輝度分量的濾波

選擇強(qiáng)度。為每一行或列選擇濾波強(qiáng)度。如果下述條件C1-C3全都滿足，則選擇強(qiáng)濾波。如果由任一條件未被滿足，則選擇弱濾波。

(C1)d<(β>>2)

(C2)(|p_3j-p_0j|+|q_0j-q_3j|)<(β>>3)

(C3)|p_0j-q_0j|<((5t_C+1)>>1)

其中j指示垂直邊界的行下標(biāo)或水平邊界的列下標(biāo)，而d則表示：

d＝|p₂₂-2p₁₂+p₀₂|+|q₂₂-2q₁₂+q₀₂|+|p₂₅-2p₁₅+p₀₅|+|q₂₅-2q₁₅+q₀₅|

弱濾波：

Δ＝Clip(-t_C,t_C,(13(q_0j-p_0j)+4(q_1j-p_1j)-5(q_2j-p_2j)+16)>>5))

p_0j＝Clip_0-255(p_0j+Δ)

q_0j＝Clip_0-255(q_0j-Δ)

p_1j＝Clip_0-255(p_1j+Δ/2)

q_1j＝Clip_0-255(q_1j-Δ/2)

強(qiáng)濾波：

p_0j＝Clip_0-255((p_2j+2p_1j+2p_0j+2q_0j+q_1j+4)>>3)

q_0j＝Clip_0-255((p_1j+2p_0j+2q_0j+2q_1j+q_2j+4)>>3)

p_1j＝Clip_0-255((p_2j+p_1j+p_0j+q_0j+2)>>2)

q_1j＝Clip_0-255((p_0j+q_0j+q_1j+q_2j+2)>>2)

p_2j＝Clip_0-255((2p_3j+3p_2j+p_1j+p_0j+q_0j+4)>>3)

q_2j＝Clip_0-255((p_0j+q_0j+q_1j+3q_2j+2q_3j+4)>>3)

在此，Clip(a,b,c)指示在范圍a≤c≤b內(nèi)裁剪值c的處理，而Clip_0-255(c)則指示在范圍0≤c≤255內(nèi)裁剪值c的處理。

顏色分量的濾波：

Δ＝Clip(-t_C,t_C,((((q_0j-p_0j)<<2)+p_1j-q_1j+4)>>3))

p_0j＝Clip_0-255(p_0j+Δ)

q_0j＝Clip_0-255(q_0j-Δ)

對(duì)塊Ba和Bb的所有行或列(也就是說，針對(duì)所有整數(shù)j，其中0≤j≤7)進(jìn)行顏色分量和輝度分量的濾波。換句話說，如果判定一垂直邊界需要濾波，則如圖5所示更新與該垂直邊界垂直的所有線L0至L7上的一個(gè)或多個(gè)像素值。類似地，如果判定一水平邊界需要濾波，則更新與該水平邊界垂直的所有線L0至L7上的一個(gè)或多個(gè)像素值。

正如這些解釋所例證的，現(xiàn)有技術(shù)需要對(duì)位于圖像中兩個(gè)鄰接塊之間的每個(gè)邊界進(jìn)行是否需要濾波的判定。在本說明書中，這一判定被稱為逐塊判定。對(duì)于一給定邊界，并不判定是否是需要部分濾波。由此，能夠做出的僅僅是濾波整個(gè)塊或不濾波整個(gè)塊的二元選擇，即便在由塊效應(yīng)引起的圖像質(zhì)量劣化僅在塊內(nèi)的某些像素中出現(xiàn)的情況下亦是如此。這必將伴隨有兩類缺陷：由于對(duì)圖像質(zhì)量良好部分應(yīng)用不必要的解塊濾波而導(dǎo)致的圖像質(zhì)量降低，以及由于未對(duì)圖像質(zhì)量劣化的部分應(yīng)用解塊濾波而導(dǎo)致的圖像質(zhì)量改善機(jī)會(huì)的錯(cuò)失。于是，在下文描述的解塊濾波的兩個(gè)實(shí)施例中，以更為細(xì)化的粒度來判定應(yīng)用解塊濾波的范圍，由此解決上述缺陷。

3.第一實(shí)施例

[3-1.解塊濾波器的構(gòu)成例]

該部分描述與圖1中例示的圖像編碼裝置10中的解塊濾波器24a和圖2中例示的圖像解碼裝置60的解塊濾波器24b相關(guān)的示例性構(gòu)成。注意到解塊濾波器24a和解塊濾波器24b的構(gòu)成可以享有共同的結(jié)構(gòu)。于是，在其后的描述中，在不對(duì)解塊濾波器24a和解塊濾波器24b做出具體區(qū)分的情況下，解塊濾波器24a和解塊濾波器24b將被并稱為解塊濾波器24。

圖6是例示了根據(jù)第一實(shí)施例的解塊濾波器24的詳細(xì)構(gòu)成的框圖。參見圖6，解塊濾波器24包括塊判定部110、線判定部120、強(qiáng)度選擇部130、濾波部140和判定控制部150。

(1)塊判定部

塊判定部110對(duì)逐塊判定條件進(jìn)行判定，作為線判定部120進(jìn)行的逐線判定的預(yù)處理。逐塊判定條件典型地基于邊界任一側(cè)的兩個(gè)鄰接塊的變換系數(shù)和編碼參數(shù)中的至少一種。變換系數(shù)例如可以是正交變換系數(shù)。編碼參數(shù)則例如可以是預(yù)測(cè)模式和運(yùn)動(dòng)矢量之一或兩者。逐塊判定條件例如可以是在前討論的現(xiàn)有技術(shù)中的來自輝度判定條件的判定條件A及顏色分量判定條件A1。

換句話說，塊判定部110被供應(yīng)有與隔著各個(gè)邊界相鄰的鄰接塊相關(guān)的判定信息。此處供應(yīng)的判定信息例如可以包括模式信息、變換系數(shù)信息和運(yùn)動(dòng)矢量信息。隨后，作為針對(duì)每個(gè)邊界的逐塊輝度分量判定，塊判定部110判定以下條件A是否被滿足。

條件A：

(A1)塊Ba或Bb是幀內(nèi)預(yù)測(cè)模式；

(A2)塊Ba或Bb具有非零的正交變換系數(shù)；或者

(A3)|MVAx-MVBx|≥4或者|MVAy-MVBy|≥4

塊判定部110隨后使得線判定部120對(duì)滿足條件A的邊界額外進(jìn)行逐線判定。另一方面，塊判定部110使得線判定部120跳過對(duì)不滿足條件A的邊界的逐線判定。

同樣地，作為針對(duì)每個(gè)邊界的逐塊顏色分量判定，塊判定部110判定以下條件A1是否被滿足。

條件A1：塊Ba或Bb是幀內(nèi)預(yù)測(cè)模式。

可以不對(duì)顏色分量進(jìn)行由線判定部120執(zhí)行的逐線判定。在此情況下，對(duì)于滿足條件A1的邊界，濾波部140對(duì)該邊界處的所有線上的顏色分量進(jìn)行濾波。對(duì)于不滿足條件A1的邊界，該邊界處的所有線上的顏色分量不被濾波。

應(yīng)該注意到，此處描述的塊判定部110的逐塊判定僅僅是一個(gè)例子。換句話說，也可以使用與上述討論的判定條件不同的逐塊判定條件。例如，可以省略判定條件A1至A3中的任意條件，并且還可以添加其他的條件。此外，接下來將描述的逐線判定也可以對(duì)顏色分量執(zhí)行，而非被省略。

(2)線判定部

線判定部120為垂直于每個(gè)邊界的每個(gè)線判定是否對(duì)隔著該邊界相鄰的兩個(gè)鄰接塊應(yīng)用解塊濾波。逐線判定條件例如可以是下列的判定條件B’。

條件B':

d＝|p_2i-2p_1i+p_0i|+|q_2i-2q_1i+q_0i|

其中

d<(β>>1)

在這里，d是判定參數(shù)，而β是在前討論的邊緣判定閾值。同樣地，i是線下標(biāo)。如果每個(gè)塊的塊尺寸是8×8像素，則i是整數(shù)，其中0≤i≤7。

換句話說，當(dāng)針對(duì)一具體線做出判定時(shí)，線判定部120遵循條件B’并且僅根據(jù)屬于兩個(gè)鄰接塊Ba和Bb中的該線的參考像素值計(jì)算判定參數(shù)d的值。線判定部120于是將算出的判定參數(shù)d的值與判定閾值(β>>1)相比較。以此方式，通過在針對(duì)當(dāng)前線做出判定時(shí)僅參考該線，能夠?qū)崿F(xiàn)以相對(duì)簡(jiǎn)單的構(gòu)成來順序訪問每個(gè)線的逐線判定。

針對(duì)例如滿足條件B’的線，線判定部120使得強(qiáng)度選擇部130選擇濾波強(qiáng)度并使得濾波部140應(yīng)用濾波。另一方面，針對(duì)不滿足條件B’的線，線判定部120使得強(qiáng)度選擇部130跳過濾波強(qiáng)度選擇并使得濾波部140跳過濾波。

(3)強(qiáng)度選擇部

強(qiáng)度選擇部130為每個(gè)線選擇濾波部140將對(duì)該線應(yīng)用的解塊濾波的強(qiáng)度。更具體地，強(qiáng)度選擇部130為由線判定部120判定為需要解塊濾波的每個(gè)線如下選擇濾波強(qiáng)度。

選擇所述強(qiáng)度。為每個(gè)線選擇濾波強(qiáng)度。如果下述條件C1-C3全都滿足，則選擇強(qiáng)濾波。如果由任一條件未被滿足，則選擇弱濾波。

(C1')d<(β>>3)

(C2)(|p_3i-p_0i|+|q_0i-q_3i|)<(β>>3)

(C3)|p_0i-q_0i|<((5t_C+1)>>1)

在這里，d是在前討論的條件B’判定過程中算出的判定參數(shù)。應(yīng)該注意到，這類濾波強(qiáng)度選擇可以僅對(duì)輝度分量進(jìn)行。強(qiáng)度選擇部130隨后針對(duì)每個(gè)線將表達(dá)所選濾波強(qiáng)度的信息(諸如指示強(qiáng)濾波或弱濾波的標(biāo)志)輸出至濾波部140。

(4)濾波部

濾波部140依據(jù)來自塊判定部110和線判定部120的判定結(jié)果，對(duì)隔著對(duì)應(yīng)邊界相鄰的兩個(gè)鄰接塊中的每個(gè)線應(yīng)用解塊濾波。濾波部140的濾波器構(gòu)成可以與在前討論的現(xiàn)有技術(shù)中的構(gòu)成相類似。例如，濾波部140可以為由線判定部120判定為需要解塊濾波的每個(gè)線如下計(jì)算經(jīng)濾波的像素值。

輝度分量的濾波

選擇弱濾波的情況下：

Δ＝Clip(-t_C,t_C,(13(q_0i-p_0i)+4(q_1i-p_1i)-5(q_2i-p_2i)+16)>>5))

p_0i＝Clip_0-255(p_0i+Δ)

q_0j＝Clip_0-255(q_0i-Δ)

p_1i＝Clip_0-255(p_1i+Δ/2)

q_1i＝Clip_0-255(q_1i-Δ/2)

選擇強(qiáng)濾波的情況下：

p_0i＝Clip_0-255((p_2i+2p_1i+2p_0i+2q_0i+q_1i+4)>>3)

q_0i＝Clip_0-255((p_1i+2p_0i+2q_0i+2q_1i+q_2i+4)>>3)

p_1i＝Clip_0-255((p_2i+p_1i+p_0i+q_0i+2)>>2)

q_1i＝Clip_0-255((p_0i+q_0i+q_1i+q_2i+2)>>2)

p_2i＝Clip_0-255((2p_3i+3p_2i+p_1i+p_0i+q_0i+4)>>3)

q_2i＝Clip_0-255((p_0i+q_0i+q_1i+3q_2i+2q_3i+4)>>3)

顏色分量的濾波：

Δ＝Clip(-t_C,t_C,((((q_0i-p_0i)<<2)+p_1i-q_1i+4)>>3))

p_0i＝Clip_0-255(p_0i+Δ)

q_0i＝Clip_0-255(q_0i-Δ)

然后，濾波部140在輸出來自輸入圖像的其他像素的像素值的同時(shí)，相繼輸出應(yīng)用了濾波的像素的經(jīng)濾波像素值，作為輸出圖像的像素值。

(5)判定控制部

判定控制部150控制對(duì)是否由塊判定部110和線判定部120應(yīng)用解塊濾波的判定。例如，判定控制部150可以使得線判定部120跳過針對(duì)一個(gè)邊界的全部線的判定，其中由塊判定部110基于鄰接塊的變換系數(shù)或編碼參數(shù)而被判定為不對(duì)該邊界應(yīng)用解塊濾波。

另舉一例，判定控制部150還可以動(dòng)態(tài)切換判定粒度，或者換句話說，判定單位的大小。更具體地，判定控制部150可以僅使得塊判定部110對(duì)給定圖像進(jìn)行逐塊判定。同樣地，判定控制部150可以使得線判定部120進(jìn)行逐線判定，而不依賴于來自塊判定部110的逐塊判定結(jié)果。

在進(jìn)行逐線判定的情況下，即使未經(jīng)濾波的圖像質(zhì)量在塊內(nèi)是不均勻的并且在各線上是有差別的，也可以根據(jù)圖像質(zhì)量逐線地開關(guān)濾波。由此，濾波圖像中的圖像質(zhì)量得到改善。另一方面，在僅進(jìn)行逐塊判定的情況下，避免了對(duì)未被濾波的邊界的所有線的訪問，由此降低了整體處理負(fù)載，潛在地改善了處理速度。結(jié)果，在處理速度優(yōu)先的情況下，判定控制部150可以僅選擇逐塊判定。

判定控制部150還可以基于例如包括在順序參數(shù)集、圖片參數(shù)集或片段頭部?jī)?nèi)的參數(shù)，動(dòng)態(tài)切換判定粒度。例如，可以在上述頭部?jī)?nèi)指定一個(gè)參數(shù)，該參數(shù)用于指定逐塊判定或逐線判定。該參數(shù)還可以例如根據(jù)裝置開發(fā)人員的單獨(dú)要求而被指定。作為替換，判定控制部150還可以根據(jù)其他條件(諸如，輸入圖像的尺寸)來切換判定粒度。

[3-2.處理流程]

圖7是例示了由根據(jù)第一實(shí)施例的解塊濾波器24進(jìn)行的示例性處理流程的流程圖。對(duì)輸入圖像內(nèi)的所有邊界(包括垂直邊界和水平邊界)單獨(dú)重復(fù)圖7中步驟S102至步驟S112的處理。

首先，塊判定部110判定要被處理的單個(gè)邊界(其后稱為當(dāng)前邊界)是否滿足逐塊判定條件(諸如在前討論的判定條件A)(步驟S102)。在此處，如果逐塊判定條件未被滿足，則跳過后續(xù)處理步驟S104至S110。另一方面，如果逐塊判定條件被滿足，則處理行進(jìn)至步驟S104。

為被判定滿足逐塊判定條件的各邊界處的所有線單獨(dú)重復(fù)從步驟S104至步驟S110的處理。在步驟S104，線判定部120判定要被處理的單個(gè)線(其后稱為當(dāng)前線)是否滿足逐線判定條件(諸如在前討論的判定條件B')(步驟S104)。在此，如果逐線判定條件未被滿足，則跳過步驟S106和步驟S108中的后續(xù)處理。另一方面，如果逐線判定條件被滿足，則處理行進(jìn)至步驟S106。

在步驟S106，強(qiáng)度選擇部130例如依據(jù)在前討論的條件C1’至C3選擇應(yīng)用于當(dāng)前線的濾波強(qiáng)度(步驟S106)。

濾波部140然后將解塊濾波應(yīng)用于當(dāng)前線(步驟S108)。

其后，在當(dāng)前邊界處仍存在未經(jīng)處理的線的情況下，設(shè)置新的當(dāng)前線，并且處理返回到步驟S104(步驟S110)。同時(shí)，在當(dāng)前邊界處不存在未經(jīng)處理的線的情況下，處理行進(jìn)至步驟S112。

在步驟S112，在當(dāng)前輸入圖像中仍存在未經(jīng)處理的邊界的情況下，設(shè)置新的當(dāng)前邊界，并且處理返回到步驟S102(步驟S112)。在不存在未經(jīng)處理的邊界的情況下，針對(duì)該輸入圖像的處理結(jié)束。

應(yīng)該注意到，在僅進(jìn)行逐塊判定的情況下，圖7流程圖中的步驟S104可被省略。此外，對(duì)于彩色分量，圖7流程圖中的步驟S104和步驟S106則可被跳過。

4.第二實(shí)施例

[4-1.解塊濾波器的構(gòu)成例]

圖8是例示了根據(jù)第二實(shí)施例的解塊濾波器24的詳細(xì)構(gòu)成的框圖。參見圖8，解塊濾波器24包括塊判定部110、線判定組220、強(qiáng)度選擇組230、濾波組240和判定控制部150。

(1)線判定組

由線判定組220進(jìn)行的處理可以對(duì)在塊判定部110中判定為滿足逐塊判定條件的每個(gè)邊界做出。線判定組220包括多個(gè)線判定部222-1至222-n。在每個(gè)塊的尺寸是8×8像素的情況下，n的值可以是n＝8(諸如n＝2或n＝4的值也是可接受的)。線判定部222-1至222-n可以并行處理單個(gè)邊界。

第一線判定部222-1依據(jù)例如在前討論的判定條件B’，判定是否需要向與一具體邊界垂直的各線中的第一線應(yīng)用解塊濾波。然后，在判定第一線滿足判定條件B’的情況下，第一線判定部222-1使得第一強(qiáng)度選擇部232-1選擇濾波強(qiáng)度，并且使得第一濾波部242-1對(duì)該第一線應(yīng)用濾波。

類似地，第二線判定部222-2依據(jù)例如在前討論的判定條件B’，判定是否需要向與一具體邊界垂直的各線中的第二線應(yīng)用解塊濾波。于是，在判定第二線滿足判定條件B’的情況下，第二線判定部222-2使得第二強(qiáng)度選擇部232-2選擇濾波強(qiáng)度，并且使得第二濾波部242-2對(duì)該第二線應(yīng)用濾波。

類似地，第n線判定部222-n依據(jù)例如在前討論的判定條件B’，判定是否需要向與一具體邊界垂直的各線中的第n線應(yīng)用解塊濾波。于是，在判定第n線滿足判定條件B’的情況下，第n線判定部222-n使得第n強(qiáng)度選擇部232-n選擇濾波強(qiáng)度，并且使得第n濾波部242-n對(duì)該第n線應(yīng)用濾波。

(2)強(qiáng)度選擇組

強(qiáng)度選擇組230包括多個(gè)強(qiáng)度選擇部232-1至232-n。每個(gè)強(qiáng)度選擇部232依據(jù)例如在前討論的條件C1’至C3，選擇應(yīng)用于對(duì)應(yīng)線的解塊濾波的強(qiáng)度。每個(gè)強(qiáng)度選擇部232隨后將表達(dá)所選濾波強(qiáng)度的信息(諸如指示強(qiáng)濾波或弱濾波的標(biāo)志)輸出至濾波組240中的對(duì)應(yīng)濾波部242。強(qiáng)度選擇部232-1至232-n可以并行處理單個(gè)邊界。

(3)濾波組

濾波組240包括多個(gè)濾波部242-1至242-n。每個(gè)濾波部242依據(jù)來自塊判定部110和對(duì)應(yīng)線判定部222的判定結(jié)果，對(duì)隔著對(duì)應(yīng)邊界相鄰的兩個(gè)鄰接塊中的對(duì)應(yīng)線應(yīng)用解塊濾波。每個(gè)濾波部242的濾波器構(gòu)成可以與在前討論的現(xiàn)有技術(shù)中的構(gòu)成相類似。然后，每個(gè)濾波部242在輸出來自輸入圖像的其他像素的像素值的同時(shí)，輸出應(yīng)用了濾波的像素的經(jīng)濾波像素值，作為輸出圖像的像素值。濾波部242-1至242-n可以并行處理單個(gè)邊界。

應(yīng)該注意到，在第二實(shí)施例中，塊判定部110和線判定組220對(duì)是否應(yīng)用解塊濾波的判定也可與第一實(shí)施例相似地由判定控制部150類似地控制。例如，判定控制部150可以控制線判定組220，以并行判定是否需要對(duì)鄰接塊中的多個(gè)線應(yīng)用解塊濾波。

[4-2.處理流程]

圖9是例示了由根據(jù)第二實(shí)施例的解塊濾波器24進(jìn)行的示例性處理流程的流程圖。為輸入圖像中的所有邊界(包括垂直邊界和水平邊界)單獨(dú)重復(fù)圖9中步驟S202至步驟S212的處理。

首先，塊判定部110判定當(dāng)前邊界是否滿足逐塊判定條件(諸如在前討論的判定條件A)(步驟S202)。在此處，如果逐塊判定條件未被滿足，則跳過后續(xù)處理步驟S204至S208。另一方面，如果逐塊判定條件被滿足，則處理行進(jìn)至步驟S204。

接下來，線判定部222-1至222-n判定當(dāng)前邊界處的每個(gè)線是否滿足逐線判定條件(諸如在前討論的判定條件B’)(步驟S204)。

接下來，強(qiáng)度選擇部232-1至232-n依據(jù)例如在前討論的條件C1’至C3，選擇單獨(dú)應(yīng)用于當(dāng)前邊界處的多個(gè)線中由線判定部222-1至222-n判定為需要濾波的各線的解塊濾波強(qiáng)度(步驟S206)。

濾波部242-1至242-n然后將解塊濾波單獨(dú)應(yīng)用于當(dāng)前邊界處的多個(gè)線中由線判定部222-1至222-n判定為需要濾波的線(步驟S208)。

其后，在輸入圖像中仍存在未經(jīng)處理的邊界的情況下，設(shè)置新的當(dāng)前邊界，并且處理返回到步驟S202(步驟S212)。在不存在未經(jīng)處理的邊界的情況下，針對(duì)該輸入圖像的處理結(jié)束。

應(yīng)該注意到，在僅進(jìn)行逐塊判定的情況下，圖9流程圖中的步驟S204可被省略。此外，對(duì)于彩色分量，圖9流程圖中的步驟S204和步驟S206則可被跳過。

5.第三實(shí)施例

[5-1.解塊濾波器的構(gòu)成例]

在前述的第一和第二實(shí)施例中，是否需要對(duì)每個(gè)線應(yīng)用解塊濾波是通過將根據(jù)屬于該線(即，每一個(gè)待判定的線)的參考像素值計(jì)算出的參數(shù)值與判定閾值相比較來判定的。相比之下，在此部分描述的第三實(shí)施例引入了估計(jì)參數(shù)值的概念，由此降低與參數(shù)值的重復(fù)計(jì)算相關(guān)聯(lián)的處理成本。在此實(shí)施例中，濾波強(qiáng)度選擇可以類似地使用估計(jì)的參數(shù)值來進(jìn)行。

圖10是例示了根據(jù)第三實(shí)施例的解塊濾波器24的詳細(xì)構(gòu)成的框圖。參見圖10，解塊濾波器24包括塊判定部110、線判定部320、強(qiáng)度選擇部330、濾波部140、控制部350和參數(shù)估計(jì)部360。

(1)參數(shù)估計(jì)部

參數(shù)估計(jì)部360根據(jù)線判定部320進(jìn)行逐線判定時(shí)使用的判定參數(shù)計(jì)算與每個(gè)邊界垂直的至少一個(gè)線的判定參數(shù)的值。參數(shù)估計(jì)部360隨后根據(jù)針對(duì)所述至少一個(gè)線計(jì)算出的值，估計(jì)剩余線的判定參數(shù)的值。此外，與判定參數(shù)類似，參數(shù)估計(jì)部360計(jì)算并估計(jì)在強(qiáng)度選擇部330選擇濾波強(qiáng)度時(shí)使用的強(qiáng)度選擇參數(shù)的值。在隨后的描述中，用作估計(jì)其他線的參數(shù)值的基礎(chǔ)的所述至少一個(gè)線將被指定為基線(或多個(gè)基線)，而其參數(shù)值被估計(jì)的線則將被指定為估計(jì)線。依據(jù)基線而對(duì)估計(jì)線參數(shù)值的估計(jì)例如可以根據(jù)線的位置而通過線性或非線性內(nèi)插或外插進(jìn)行。其后，圖11A-11C將被用于描述由參數(shù)估計(jì)部360進(jìn)行的參數(shù)估計(jì)處理的三個(gè)例子。

(1-1)第一個(gè)例子

圖11A例示了隔著邊界相鄰的兩個(gè)塊Ba和Bb。在圖11A的例子中，基線是在邊界中央部分中垂直于該邊界的兩個(gè)線L3和L4。估計(jì)線則是除基線之外的其他線，即L0、L1、L2、L5、L6和L7。

參數(shù)估計(jì)部360例如根據(jù)如下公式計(jì)算用于評(píng)估在前討論的逐線判定條件B’的判定參數(shù)d1_i(其中i等于3或4)：

d1_i＝|p_2i-2p_1i+p_0i|+|q_2i-2q_1i+q_0i|

參數(shù)估計(jì)部360隨后例如根據(jù)如下公式使用所計(jì)算的兩個(gè)判定參數(shù)d1₃和d1₄的值來估計(jì)估計(jì)線的判定參數(shù)d1_j(其中j等于0-2及5-7)：

d1₀＝4d1₃-3d1₄

d1₁＝3d1₃-2d1₄

d1₂＝2d1₃-1d1₄

d1₅＝2d1₄-1d1₃

d1₆＝3d1₄-2d1₃

d1₇＝4d1₄-3d1₃

應(yīng)該注意到，對(duì)于其估計(jì)值根據(jù)上述估計(jì)公式變?yōu)樨?fù)值的估計(jì)線，為靠近該估計(jì)線的基線所計(jì)算的參數(shù)值可被直接用作估計(jì)值，以代替上述負(fù)值的估計(jì)值。

類似地，參數(shù)估計(jì)部360例如根據(jù)如下公式計(jì)算在先前討論的濾波強(qiáng)度選擇過程中的相應(yīng)的評(píng)估條件C2和C3的參數(shù)d2_i和d3_i(其中i等于3或4)：

d2_i＝|p_3i-p_0i|+|q_0j-q_3j|

d3_i＝|p_0i-q_0i|

參數(shù)估計(jì)部360隨后使用所計(jì)算的強(qiáng)度選擇參數(shù)d2₃和d2₄的值為每個(gè)估計(jì)線估計(jì)參數(shù)值d2_j(其中j等于0-2和5-7)。此外，參數(shù)估計(jì)部360還使用所計(jì)算的強(qiáng)度選擇參數(shù)d3₃和d3₄的值來估計(jì)每個(gè)估計(jì)線的估計(jì)參數(shù)值d3_j(其中j等于0-2和5-7)。

(1-2)第二個(gè)例子

在圖11B的例子中，基線是每隔一條線設(shè)置的線L0、L2、L4和L6。估計(jì)線則是除基線之外的其他線，即L1、L3、L5和L7。

參數(shù)估計(jì)部360例如根據(jù)上述結(jié)合第一個(gè)例子的公式計(jì)算判定參數(shù)d1_i(其中i等于0、2、4或6)以評(píng)估在前討論的逐線判定條件B’。參數(shù)估計(jì)部360隨后通過使用所計(jì)算的判定參數(shù)值進(jìn)行內(nèi)插或外插來估計(jì)每個(gè)估計(jì)線的判定參數(shù)d1_j(其中j等于1、3、5或7)。參數(shù)估計(jì)部360類似地計(jì)算用于選擇基線的濾波強(qiáng)度的參數(shù)d2_i和d3_i。參數(shù)估計(jì)部360隨后通過使用所計(jì)算的強(qiáng)度選擇參數(shù)值進(jìn)行內(nèi)插或外插來估計(jì)每個(gè)估計(jì)線的強(qiáng)度選擇參數(shù)d2_j和d3_j。

(1-3)第三個(gè)例子

在圖11C的例子中，基線是線L0、L3、L4和L7。估計(jì)線則是除基線之外的其他線，即L1、L2、L5和L6。

參數(shù)估計(jì)部360例如根據(jù)上述結(jié)合第一個(gè)例子討論的公式計(jì)算判定參數(shù)d1_i(其中i等于0、3、4或7)以評(píng)估在前討論的逐線判定條件B’。參數(shù)估計(jì)部360隨后通過使用算出的判定參數(shù)值進(jìn)行內(nèi)插來估計(jì)每個(gè)估計(jì)線的判定參數(shù)d1_j(其中j等于1、2、5或6)。參數(shù)估計(jì)部360類似地計(jì)算用于選擇基線的濾波強(qiáng)度的參數(shù)d2_i和d3_i。參數(shù)估計(jì)部360隨后通過使用算出的強(qiáng)度選擇參數(shù)值進(jìn)行內(nèi)插來估計(jì)每個(gè)估計(jì)線的強(qiáng)度選擇參數(shù)d2_j和d3_j。

參數(shù)估計(jì)部360例如向線判定部320輸出根據(jù)上述三個(gè)例子中的任一例算出和估計(jì)的判定參數(shù)值。此外，參數(shù)估計(jì)部360還例如向強(qiáng)度選擇部330輸出類似計(jì)算和估計(jì)的強(qiáng)度選擇參數(shù)值。

此處，在第一個(gè)例子中設(shè)定的基線是在邊界中央部分與邊界垂直的線。屬于這些基線的像素的像素值不會(huì)通過沿著與該邊界相同方向上應(yīng)用的解塊濾波而更新。通過使用這類基線上的像素值計(jì)算或估計(jì)與邊界垂直的各線的參數(shù)，就可以與用于其他邊界的濾波處理并行地逐線判定是否進(jìn)行濾波并選擇濾波強(qiáng)度。此外，濾波要否判定和濾波強(qiáng)度選擇也可以并行進(jìn)行。同時(shí)，根據(jù)與第二個(gè)例子或第三個(gè)例子類似的基線設(shè)置，基線和估計(jì)線之間的線位置差較小，由此能夠更為精確地估計(jì)參數(shù)值。根據(jù)第三個(gè)例子，因?yàn)樽钔獾木€被設(shè)為基線，所以通過僅用內(nèi)插來估計(jì)估計(jì)線的參數(shù)值能夠進(jìn)一步地改善估計(jì)精度。

(2)線判定部

線判定部320為垂直于每個(gè)邊界的每個(gè)線判定是否對(duì)隔著該邊界相鄰的兩個(gè)鄰接塊應(yīng)用解塊濾波。在第三實(shí)施例中，線判定部320通過使用由參數(shù)估計(jì)部360計(jì)算和估計(jì)的判定參數(shù)來進(jìn)行判定。逐線判定條件可以是與在前討論的判定條件B’相類似的條件。

條件B':

d1_i<(β>>1)

如果每個(gè)塊的塊尺寸是8×8像素，則i是整數(shù)，其中0≤i≤7。

線判定部320還可以使得強(qiáng)度選擇部330僅為例如滿足條件B’的線選擇濾波強(qiáng)度。作為替換，線判定部320進(jìn)行的判定和強(qiáng)度選擇部330進(jìn)行的濾波強(qiáng)度選擇還可以并行進(jìn)行。線判定部320使得濾波部140跳過對(duì)不滿足條件B’的線的濾波。

(3)強(qiáng)度選擇部

強(qiáng)度選擇部330為每個(gè)線選擇濾波部140將應(yīng)用至該線的解塊濾波強(qiáng)度。在第三實(shí)施例中，線判定部330通過使用由參數(shù)估計(jì)部360計(jì)算和估計(jì)的強(qiáng)度選擇參數(shù)來選擇強(qiáng)度。如果如下條件C1’至C3都滿足，則強(qiáng)度選擇部330選擇強(qiáng)濾波；如果任一條件不被滿足，則選擇弱濾波。

(C1')d1_i<(β>>3)

(C2)d2_i<(β>>3)

(C3)de_i<((5tC+1)>>1)

如條件C1’所例證的，上述判定參數(shù)d1_i在此情況下還是強(qiáng)度選擇參數(shù)。

強(qiáng)度選擇部330隨后為每個(gè)線向?yàn)V波部140輸出表達(dá)所選濾波強(qiáng)度的信息。

(5)控制部

控制部350除了如上關(guān)于第一和第二實(shí)施例的判定控制部150描述的控制之外，還控制由參數(shù)估計(jì)部360進(jìn)行的參數(shù)估計(jì)處理。例如，控制部350識(shí)別待處理的線的線位置，標(biāo)識(shí)每個(gè)線是基線還是估計(jì)線。此外，控制部350根據(jù)來自基線的像素值首先使得參數(shù)估計(jì)部360分別計(jì)算基線的判定參數(shù)d1的值并計(jì)算強(qiáng)度選擇參數(shù)d2和d3的值。其后，控制部350使得參數(shù)估計(jì)部360根據(jù)針對(duì)基線計(jì)算的參數(shù)值分別估計(jì)估計(jì)線的判定參數(shù)d1的值以及估計(jì)線的強(qiáng)度選擇參數(shù)d2和d3的值。

[5-2.處理流程]

圖12是例示了由根據(jù)第三實(shí)施例的解塊濾波器24進(jìn)行的示例性處理流程的流程圖。對(duì)輸入圖像中的所有邊界(包括垂直邊界和水平邊界)單獨(dú)重復(fù)圖12中步驟S302至步驟S318的處理。

首先，塊判定部110判定當(dāng)前邊界是否滿足逐塊判定條件(諸如在前討論的判定條件A)(步驟S302)。在此，如果逐塊判定條件未被滿足，則跳過后續(xù)處理步驟S304至S316。另一方面，如果逐塊判定條件被滿足，則處理行進(jìn)至步驟S304。

在步驟S304，參數(shù)估計(jì)部360使用屬于基線(所述基線與當(dāng)前邊界垂直)的像素的像素值來為所述基線計(jì)算判定參數(shù)和強(qiáng)度選擇參數(shù)。此處的基線可以是例如圖11A至11C所示三個(gè)例子的任一例中所設(shè)定的一個(gè)或多個(gè)線。

針對(duì)每個(gè)當(dāng)前線重復(fù)步驟S306至步驟S316的處理，其中與當(dāng)前邊界垂直的每個(gè)線都被單獨(dú)作為當(dāng)前線處理。在步驟S306，控制部350識(shí)別當(dāng)前線的線位置，并且確定當(dāng)前線是否是估計(jì)線(步驟S306)。隨后，如果當(dāng)前線是估計(jì)線，則參數(shù)估計(jì)部360就使用為基線算出的參數(shù)來分別估計(jì)當(dāng)前線的判定參數(shù)和強(qiáng)度選擇參數(shù)(步驟S308)。另一方面，如果當(dāng)前線是基線，則跳過步驟S308中的處理。

接下來，線判定部320使用由參數(shù)估計(jì)部360計(jì)算或估計(jì)的判定參數(shù)來判定當(dāng)前線是否滿足逐線判定條件(諸如在前討論的判定條件B’)(步驟S310)。在此，如果逐線判定條件未被滿足，則跳過步驟S312和S314中的后續(xù)處理。另一方面，如果逐線判定條件被滿足，則處理行進(jìn)至步驟S312。

在步驟S312，強(qiáng)度選擇部330使用由參數(shù)估計(jì)部360計(jì)算或估計(jì)的強(qiáng)度選擇參數(shù)，依據(jù)例如在前討論的條件C1’至C3來選擇要應(yīng)用于當(dāng)前線的濾波強(qiáng)度(步驟S312)。

濾波部140隨后以強(qiáng)度選擇部330所選的濾波強(qiáng)度對(duì)當(dāng)前線進(jìn)行解塊濾波(步驟S314)。

其后，在當(dāng)前邊界處仍存在未經(jīng)處理的線的情況下，設(shè)置新的當(dāng)前線，并且處理返回到步驟S306(步驟S316)。同時(shí)，在當(dāng)前邊界處不存在未經(jīng)處理的線的情況下，處理行進(jìn)至步驟S318。

在步驟S318，在當(dāng)前輸入圖像中仍存在未經(jīng)處理的邊界的情況下，設(shè)置新的當(dāng)前邊界，并且處理返回到步驟S302(步驟S318)。在不存在未經(jīng)處理的邊界的情況下，針對(duì)該輸入圖像的處理結(jié)束。

6.應(yīng)用例

根據(jù)上述實(shí)施方式的圖像編碼裝置10和圖像解碼裝置60可被應(yīng)用于各種電子設(shè)備，諸如用于衛(wèi)星廣播、諸如有線電視的有線廣播、因特網(wǎng)上的分發(fā)、經(jīng)由蜂窩通信向客戶機(jī)裝置分發(fā)等的發(fā)射機(jī)和接收機(jī)；將圖像記錄在諸如光盤、磁盤或閃存的介質(zhì)上的記錄裝置；以及從這類存儲(chǔ)介質(zhì)中回放圖像的回放裝置。如下將討論四種應(yīng)用示例。

[6-1.第一應(yīng)用例]

圖13是例示了采用上述實(shí)施方式的電視的概略構(gòu)成的框圖。電視900包括天線901、調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號(hào)處理部905、顯示部906、音頻信號(hào)處理部907、揚(yáng)聲器908、外部接口909、控制部910、用戶接口911和總線912。

調(diào)諧器902從經(jīng)由天線901接收的廣播信號(hào)中提取期望的頻道的信號(hào)，并且解調(diào)所提取的信號(hào)。隨后，調(diào)諧器902將通過解調(diào)獲得的編碼比特流輸出至解復(fù)用器903。也就是說，調(diào)諧器902用作電視900接收?qǐng)D像被編碼的編碼流的傳輸裝置。

解復(fù)用器903從編碼的比特流分離出要被觀看的節(jié)目的視頻流和音頻流，并將分離的流輸出至解碼器904。同樣地，解復(fù)用器903從編碼的比特流中提取諸如電子節(jié)目指南(EPG)的輔助數(shù)據(jù)，并將所提取的數(shù)據(jù)供應(yīng)至控制部910。此外，解復(fù)用器903還可以在編碼比特流被加擾的情況下執(zhí)行解擾。

解碼器904對(duì)從解復(fù)用器903輸入的視頻流和音頻流進(jìn)行解碼。其后，解碼器904將通過解碼處理生成的視頻數(shù)據(jù)輸出至視頻信號(hào)處理部905。其后，解碼器904將通過解碼處理生成的音頻數(shù)據(jù)輸出至音頻信號(hào)處理部907。

視頻信號(hào)處理部905回放從解碼器904輸入的視頻數(shù)據(jù)，并使得顯示部906顯示所述視頻。視頻信號(hào)處理部905還使得顯示部顯示經(jīng)由網(wǎng)絡(luò)供應(yīng)的應(yīng)用屏幕。其后，視頻信號(hào)處理部905可以根據(jù)設(shè)置對(duì)視頻數(shù)據(jù)執(zhí)行諸如噪聲移除的附加處理。此外，視頻信號(hào)處理部905可以生成諸如菜單、按鈕或光標(biāo)的圖形用戶界面(GUI)圖像，并將所生成的圖像疊加在輸出圖像上。

顯示部906由驅(qū)動(dòng)信號(hào)(由視頻信號(hào)處理部905供應(yīng))驅(qū)動(dòng)，并且在顯示裝置(例如液晶顯示器、等離子顯示器或OLED顯示器)的視頻屏幕上顯示視頻或圖像。

音頻信號(hào)處理部907對(duì)從解碼器904輸入的音頻數(shù)據(jù)執(zhí)行諸如D/A轉(zhuǎn)換和放大的回放處理，并將音頻輸出到揚(yáng)聲器908。同樣地，音頻信號(hào)處理部907也對(duì)音頻數(shù)據(jù)執(zhí)行諸如噪聲移除的附加處理。

外部接口909是用于將電視900連接至外部設(shè)備或網(wǎng)絡(luò)的接口。例如，經(jīng)由外部接口909接收到的視頻流或音頻流可由解碼器904解碼。也就是說，外部接口909用作電視900接收?qǐng)D像被編碼的編碼流的傳輸裝置。

控制部910包括諸如中央處理單位(CPU)的處理器和諸如隨機(jī)存取存儲(chǔ)器(RAM)和只讀存儲(chǔ)器(ROM)的存儲(chǔ)器。存儲(chǔ)器存儲(chǔ)待由CPU執(zhí)行的程序、程序數(shù)據(jù)、EPG數(shù)據(jù)、經(jīng)由網(wǎng)絡(luò)獲取的數(shù)據(jù)等等。存儲(chǔ)器中存儲(chǔ)的程序例如在電視900啟動(dòng)時(shí)由CPU讀取并執(zhí)行。通過執(zhí)行程序，CPU根據(jù)例如從用戶接口911輸入的操作信號(hào)控制電視900的操作。

用戶接口911連接至控制部910。用戶接口911例如包括由用戶使用以操作電視900的按鈕和開關(guān)，以及遙控信號(hào)接收器。用戶接口911檢測(cè)用戶經(jīng)由這些結(jié)構(gòu)元件所進(jìn)行的操作，生成操作信號(hào)，并將生成的操作信號(hào)輸出至控制部910。

總線912把調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號(hào)處理部905、音頻信號(hào)處理部907、外部接口909和控制部910相互連接。

在以此方式構(gòu)成的電視900中，解碼器904用作根據(jù)上述實(shí)施方式的圖像解碼裝置60。因此，當(dāng)在電視900中解碼圖像時(shí)，同樣能夠更為恰當(dāng)?shù)卮_定應(yīng)用解塊濾波的范圍并改善圖像質(zhì)量。

[6-2.第二應(yīng)用例]

圖14是例示了采用上述實(shí)施方式的移動(dòng)電話的概略構(gòu)成的框圖。移動(dòng)電話920包括天線921、通信部922、音頻編解碼器923、揚(yáng)聲器924、麥克風(fēng)925、相機(jī)部926、圖像處理部927、多路復(fù)用/解復(fù)用(mux/demux)部928、記錄和回放部929、顯示部930、控制部931、可操作部932和總線933。

天線921連接至通信部922。揚(yáng)聲器924和麥克風(fēng)925連接至音頻編解碼器923?？刹僮鞑?32連接至控制部931?？偩€933把通信部922、音頻編解碼器923、相機(jī)部926、圖像處理部927、mux/demux部928、記錄和回放部929、顯示部930和控制部931相互連接。

移動(dòng)電話920以包括音頻通信模式、數(shù)據(jù)通信模式、成像模式和視頻電話模式在內(nèi)的各種操作模式執(zhí)行諸如發(fā)送和接收音頻信號(hào)、發(fā)送和接收電子郵件或圖像數(shù)據(jù)、拍攝圖像及記錄數(shù)據(jù)的操作。

在音頻通信模式中，由麥克風(fēng)925生成的模擬音頻數(shù)據(jù)被供應(yīng)至音頻編解碼器923。音頻編解碼器923將模擬音頻信號(hào)轉(zhuǎn)換成音頻數(shù)據(jù)，并且對(duì)經(jīng)轉(zhuǎn)換的音頻數(shù)據(jù)進(jìn)行A/D轉(zhuǎn)換和壓縮。隨后，音頻編解碼器923將經(jīng)壓縮的音頻數(shù)據(jù)輸出至通信部922。通信部922對(duì)音頻數(shù)據(jù)進(jìn)行編碼和調(diào)制，并且生成發(fā)送信號(hào)。隨后，通信部922將生成的發(fā)送信號(hào)經(jīng)由天線921發(fā)送至基站(未示出)。同樣地，通信部922放大經(jīng)由天線921接收到的無線信號(hào)，轉(zhuǎn)換該無線信號(hào)的頻率，并獲取接收到的信號(hào)。隨后，通信部922解調(diào)并解碼接收到的信號(hào)，生成音頻數(shù)據(jù)，并將生成的音頻數(shù)據(jù)輸出至音頻編解碼器923。音頻編解碼器923對(duì)音頻數(shù)據(jù)進(jìn)行解壓縮和D/A轉(zhuǎn)換，并生成模擬音頻信號(hào)。隨后，音頻編解碼器923將生成的音頻信號(hào)供應(yīng)至揚(yáng)聲器924并使得音頻被輸出。

同樣地，在數(shù)據(jù)通信模式中，控制部931根據(jù)例如用戶經(jīng)由可操作部932進(jìn)行的操作而生成構(gòu)成電子郵件的文本數(shù)據(jù)。此外，控制部931使得該文本在顯示部930上顯示。此外，控制部931根據(jù)用戶經(jīng)由可操作部932輸入的發(fā)送指令生成電子郵件數(shù)據(jù)，并將生成的電子郵件數(shù)據(jù)輸出至通信部922。通信部922編碼并調(diào)制電子郵件數(shù)據(jù)，并且生成發(fā)送信號(hào)。隨后，通信部922將生成的發(fā)送信號(hào)經(jīng)由天線921發(fā)送至基站(未示出)。同樣地，通信部922放大經(jīng)由天線921接收到的無線信號(hào)，轉(zhuǎn)換該無線信號(hào)的頻率，并獲取接收到的信號(hào)。隨后，通信部922解調(diào)并解碼接收到的信號(hào)，重構(gòu)電子郵件數(shù)據(jù)，并將重構(gòu)的電子郵件數(shù)據(jù)輸出至控制部931。控制部931使得顯示部930顯示電子郵件的內(nèi)容，并且還使得該電子郵件數(shù)據(jù)被存儲(chǔ)在記錄和回放部929的存儲(chǔ)介質(zhì)中。

記錄和回放部929包括任意可讀和可寫存儲(chǔ)介質(zhì)。例如，存儲(chǔ)介質(zhì)可以是諸如RAM或閃存的內(nèi)建存儲(chǔ)介質(zhì)，或者是諸如硬盤、磁盤、磁光盤、光盤、USB存儲(chǔ)器或存儲(chǔ)卡之類的外部安裝的存儲(chǔ)介質(zhì)。

此外，在成像模式中，相機(jī)部926拍攝被攝體的圖像，生成圖像數(shù)據(jù)，并將生成的圖像數(shù)據(jù)輸出至例如圖像處理部927。圖像處理部927編碼從相機(jī)部926輸入的圖像數(shù)據(jù)，并且使得編碼流被存儲(chǔ)在記錄和回放部929的存儲(chǔ)介質(zhì)中。

此外，在視頻電話模式中，mux/demux部928多路復(fù)用由圖像處理部927編碼的視頻流以及從音頻編解碼器923輸入的音頻流，并且將經(jīng)多路復(fù)用的流輸出至例如通信部922。通信部922編碼并調(diào)制所述流，并且生成發(fā)送信號(hào)。隨后，通信部922將生成的發(fā)送信號(hào)經(jīng)由天線921發(fā)送至基站(未示出)。同樣地，通信部922放大經(jīng)由天線921接收到的無線信號(hào)，轉(zhuǎn)換該無線信號(hào)的頻率，并獲取接收到的信號(hào)。發(fā)送信號(hào)和接收到的信號(hào)可以包括經(jīng)編碼的比特流。隨后，通信部922解調(diào)并解碼接收到的信號(hào)，重構(gòu)所述流，并將重構(gòu)的流輸出至mux/demux部928。mux/demux部928從輸入流中分理出視頻流和音頻流，并將視頻流輸出至圖像處理部927而將音頻流輸出至音頻編解碼器923。圖像處理部927解碼視頻流并生成視頻數(shù)據(jù)。視頻數(shù)據(jù)被供應(yīng)給顯示部930，并由顯示部930顯示一系列圖像。音頻編解碼器923對(duì)音頻流進(jìn)行解壓縮和D/A轉(zhuǎn)換，并生成模擬音頻信號(hào)。隨后，音頻編解碼器923將生成的音頻信號(hào)供應(yīng)至揚(yáng)聲器924并使得音頻被輸出。

在以此方式構(gòu)成的移動(dòng)電話920中，圖像處理部927用作根據(jù)上述實(shí)施方式的圖像編碼裝置10和圖像解碼裝置60。因此，當(dāng)在移動(dòng)電話920中編碼和解碼圖像時(shí)，同樣能夠更為恰當(dāng)?shù)卮_定應(yīng)用解塊濾波的范圍并改善圖像質(zhì)量。

[6-3.第三應(yīng)用例]

圖15是例示了采用上述實(shí)施方式的記錄和回放裝置的概略構(gòu)成的框圖。記錄和回放裝置940對(duì)例如接收到的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼，并將其記錄到記錄介質(zhì)上。記錄和回放裝置940還可以對(duì)例如從其他裝置獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼，并將其記錄到記錄介質(zhì)上。此外，記錄和回放裝置940還根據(jù)例如來自用戶的指令，經(jīng)由監(jiān)視器和揚(yáng)聲器回放在記錄介質(zhì)上記錄的數(shù)據(jù)。在這些時(shí)刻，記錄和回放裝置940解碼音頻數(shù)據(jù)和視頻數(shù)據(jù)。

記錄和回放裝置940包括調(diào)諧器941、外部接口942、編碼器943、硬盤驅(qū)動(dòng)器(HDD)944、盤驅(qū)動(dòng)器945、選擇器946、解碼器947、屏上顯示器(OSD)948、控制部949和用戶接口950。

調(diào)諧器941從經(jīng)由天線(未示出)接收的廣播信號(hào)中提取期望的信道的信號(hào)，并且解調(diào)所提取的信號(hào)。隨后，調(diào)諧器941將通過解調(diào)獲得的編碼比特流輸出至選擇器946。也就是說，調(diào)諧器941用作記錄和回放裝置940的傳輸裝置。

外部接口942是用于將記錄和回放裝置940連接至外部設(shè)備或網(wǎng)絡(luò)的接口。例如，外部接口942可以是IEEE 1394接口、網(wǎng)絡(luò)接口、USB接口、閃存接口等。例如，由外部接口942接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)輸入至編碼器943。也就是說，外部接口942用作記錄和回放裝置940的傳輸裝置。

在從外部接口942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼的情況下，編碼器943對(duì)所述視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行編碼。隨后，編碼器943將經(jīng)編碼的比特流輸出至選擇器946。

HDD 944將編碼的比特流(作為經(jīng)壓縮的內(nèi)容數(shù)據(jù)，諸如視頻或音頻、各種節(jié)目和其他數(shù)據(jù))記錄在內(nèi)部硬盤上。同樣地，HDD 944在回放視頻和音頻時(shí)從硬盤讀取這些數(shù)據(jù)。

盤驅(qū)動(dòng)器945相對(duì)插入的記錄介質(zhì)記錄或讀取數(shù)據(jù)。插入到盤驅(qū)動(dòng)器945內(nèi)的記錄介質(zhì)可以是DVD盤(諸如，DVD-視頻、DVD-RAM、DVD-R、DVD-RW、DVD+或DVD+RW盤)、藍(lán)光(注冊(cè)商標(biāo))盤等。

當(dāng)記錄視頻和音頻時(shí)，選擇器946選擇從調(diào)諧器941或從解碼器943輸入的編碼比特流，并將所選的編碼比特流輸出至HDD 944或盤驅(qū)動(dòng)器945。同樣地，當(dāng)回放視頻和音頻時(shí)，選擇器946將從HDD 944或從盤驅(qū)動(dòng)器945輸入的編碼比特流輸出至解碼器947。

解碼器947解碼經(jīng)編碼的比特流，并生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。隨后，解碼器947將生成的視頻數(shù)據(jù)輸出至OSD 948。同樣地，解碼器904將生成的音頻數(shù)據(jù)輸出至外部揚(yáng)聲器。

OSD 948回放從解碼器947輸入的視頻數(shù)據(jù)，并且顯示視頻。同樣地，OSD 948可以將諸如菜單、按鈕或光標(biāo)的GUI圖像疊加在所顯示的視頻上。

控制部949包括諸如CPU的處理器，以及諸如RAM或ROM的存儲(chǔ)器。存儲(chǔ)器存儲(chǔ)要被CPU執(zhí)行的程序、程序數(shù)據(jù)等。存儲(chǔ)器中存儲(chǔ)的程序例如在記錄和回放裝置940啟動(dòng)時(shí)由CPU讀取并執(zhí)行。通過執(zhí)行程序，CPU根據(jù)例如從用戶接口950輸入的操作信號(hào)控制記錄和回放裝置940的操作。

用戶接口950連接至控制部949。用戶接口950例如包括由用戶使用以操作記錄和回放裝置940的按鈕和開關(guān)，以及遙控信號(hào)接收器。用戶接口950檢測(cè)用戶經(jīng)由這些結(jié)構(gòu)元件所進(jìn)行的操作，生成操作信號(hào)，并將生成的操作信號(hào)輸出至控制部949。

在以此方式構(gòu)成的記錄和回放裝置940中，編碼器943用作根據(jù)上述實(shí)施方式的圖像編碼裝置10。同樣地，解碼器947用作根據(jù)上述實(shí)施方式的圖像解碼裝置60。因此，當(dāng)在記錄和回放裝置940中編碼和解碼圖像時(shí)，同樣能夠更為恰當(dāng)?shù)卮_定應(yīng)用解塊濾波的范圍并改善圖像質(zhì)量。

[6-4.第四應(yīng)用例]

圖16是例示了采用上述實(shí)施方式的成像裝置的概略構(gòu)成示例的框圖。成像裝置960拍攝被攝體的圖像，生成圖像，編碼圖像數(shù)據(jù)，并將圖像數(shù)據(jù)記錄到記錄介質(zhì)上。

成像裝置960包括光學(xué)塊961、成像部962、信號(hào)處理部963、圖像處理部964、顯示部965、外部接口966、存儲(chǔ)器967、介質(zhì)驅(qū)動(dòng)器968、OSD 969、控制部970、用戶接口971和總線972。

光學(xué)塊961連接至成像部962。成像部962連接至信號(hào)處理部963。顯示部965連接至信號(hào)處理部964。用戶接口971連接至控制部970?？偩€972把圖像處理部964、外部接口966、存儲(chǔ)器967、介質(zhì)驅(qū)動(dòng)器968、OSD 969和控制部970相互連接。

光學(xué)塊961包括聚焦透鏡和孔徑光闌機(jī)構(gòu)等。光學(xué)塊961在成像部962的成像表面上形成被攝體的光學(xué)圖像。成像部962包括諸如CCD或CMOS傳感器的圖像傳感器，并將在成像表面上形成的光學(xué)圖像光電轉(zhuǎn)換成作為電信號(hào)的圖像信號(hào)。隨后，成像部962將圖像信號(hào)輸出至信號(hào)處理部963。

信號(hào)處理部963對(duì)從成像部962輸入的圖像信號(hào)執(zhí)行各種相機(jī)信號(hào)處理，諸如拐點(diǎn)校正、伽馬校正和顏色校正。信號(hào)處理部963將經(jīng)處理的圖像數(shù)據(jù)輸出至圖像處理部964。

圖像處理部964對(duì)從信號(hào)處理部963輸入的圖像數(shù)據(jù)進(jìn)行編碼，并生成經(jīng)編碼的數(shù)據(jù)。隨后，圖像處理部964將由此生成的經(jīng)編碼數(shù)據(jù)輸出至外部接口966或介質(zhì)驅(qū)動(dòng)器968。同樣地，圖像處理部964解碼從外部接口966或介質(zhì)驅(qū)動(dòng)器968輸入的經(jīng)編碼數(shù)據(jù)，并生成圖像數(shù)據(jù)。隨后，圖像處理部964將生成的圖像數(shù)據(jù)輸出至顯示部965。同樣地，圖像處理部964可以將從信號(hào)處理部963輸入的圖像數(shù)據(jù)輸出至顯示部965，并使得圖像被顯示。此外，圖像處理部964可以將從OSD 969獲取的顯示數(shù)據(jù)疊加到要被輸出至顯示部965的圖像上。

OSD 969生成諸如菜單、按鈕或光標(biāo)的GUI圖像，并將生成的圖像輸出至圖像處理部964。

外部接口966被構(gòu)造成例如USB輸入/輸出端子。外部接口966在例如打印圖像時(shí)將成像裝置960連接至打印機(jī)。同樣地，驅(qū)動(dòng)器在需要時(shí)連接至外部接口966。諸如磁盤或光盤的可移動(dòng)介質(zhì)被插入驅(qū)動(dòng)器，從可移除介質(zhì)中讀取的程序則可被安裝在成像裝置960內(nèi)。此外，外部接口966還可被構(gòu)造為用于連接諸如LAN或因特網(wǎng)的網(wǎng)絡(luò)的網(wǎng)絡(luò)接口。也就是說，外部接口966用作圖像捕捉裝置960的發(fā)送裝置。

插入介質(zhì)驅(qū)動(dòng)器968的記錄介質(zhì)可以是任意的可讀和可寫的可移除介質(zhì)，諸如磁盤、磁光盤、光盤或半導(dǎo)體存儲(chǔ)器。同樣地，記錄介質(zhì)可被永久性地安裝在介質(zhì)驅(qū)動(dòng)器968內(nèi)，由此構(gòu)成諸如內(nèi)部硬盤驅(qū)動(dòng)器或固態(tài)驅(qū)動(dòng)器(SSD)的非便攜式存儲(chǔ)部。

控制部970包括諸如CPU的處理器，以及諸如RAM或ROM的存儲(chǔ)器。存儲(chǔ)器存儲(chǔ)要被CPU執(zhí)行的程序、程序數(shù)據(jù)等。存儲(chǔ)器中存儲(chǔ)的程序例如在成像裝置960啟動(dòng)時(shí)由CPU讀取并執(zhí)行。通過執(zhí)行程序，CPU根據(jù)例如從用戶接口971輸入的操作信號(hào)控制成像裝置960的操作。

用戶接口971連接至控制部970。用戶接口971例如可包括用戶用來操作成像裝置960的按鈕和開關(guān)等。用戶接口971檢測(cè)用戶經(jīng)由這些結(jié)構(gòu)元件所進(jìn)行的操作，生成操作信號(hào)，并將生成的操作信號(hào)輸出至控制部970。

在以此方式構(gòu)成的成像裝置960中，圖像處理部964用作根據(jù)上述實(shí)施方式的圖像編碼裝置10和圖像解碼裝置60。因此，在于圖像捕捉裝置960中編碼和解碼圖像的情況下，能夠更為恰當(dāng)?shù)卮_定應(yīng)用解塊濾波的范圍并改善圖像質(zhì)量。

7.結(jié)論

前述使用圖1-16詳細(xì)描述了根據(jù)實(shí)施方式的圖像編碼裝置10和圖像解碼裝置60中的解塊濾波的兩個(gè)實(shí)施例。根據(jù)這兩個(gè)實(shí)施例，以逐線為基礎(chǔ)判定是否對(duì)在圖像內(nèi)隔著邊界相鄰的兩個(gè)相鄰塊應(yīng)用解塊濾波，并且根據(jù)判定結(jié)果對(duì)各個(gè)線應(yīng)用解塊濾波。結(jié)果，相比于判定要逐塊應(yīng)用解塊濾波的情況，能夠以更為精細(xì)的粒度實(shí)現(xiàn)判定。于是就能夠降低對(duì)已經(jīng)具有良好圖像質(zhì)量的部分應(yīng)用解塊濾波而不對(duì)具有劣化圖像質(zhì)量的部分應(yīng)用解塊濾波的可能性。換句話說，能夠改善經(jīng)濾波的圖像質(zhì)量。

同樣地，根據(jù)本實(shí)施方式，可以對(duì)逐塊判定無需應(yīng)用解塊濾波的邊界跳過逐線判定。這一配置避免了對(duì)總體無需濾波的邊界處的所有線的訪問，由此抑制了處理負(fù)載的增加。

此外，根據(jù)第一和第二實(shí)施例，如下判定是否對(duì)每一個(gè)線應(yīng)用解塊濾波：將根據(jù)僅屬于該線的參考像素的值計(jì)算出的判定參數(shù)的值與判定閾值相比較。結(jié)果，就能夠以順序訪問每個(gè)線的簡(jiǎn)單配置實(shí)現(xiàn)逐線判定。

同樣地，根據(jù)第二實(shí)施例，可以對(duì)邊界處的多個(gè)線并行判定是否需要應(yīng)用解塊濾波。結(jié)果，能夠總體上縮短逐線判定所需的處理時(shí)間。

此外，根據(jù)第三實(shí)施例，根據(jù)針對(duì)一個(gè)或多個(gè)基線計(jì)算出的參數(shù)來估計(jì)用于為垂直于邊界的多個(gè)線中的估計(jì)線判定是否要濾波或選擇濾波強(qiáng)度的參數(shù)值。結(jié)果，能夠降低與參數(shù)值的重復(fù)計(jì)算相關(guān)聯(lián)的處理成本。在此，通過將在邊界中央部分與該邊界垂直的一個(gè)或多個(gè)線設(shè)置為基線，就能夠與對(duì)其他邊界的濾波處理并行地對(duì)邊界逐線進(jìn)行是否濾波的判定和濾波強(qiáng)度的選擇。此外，使得基線和估計(jì)線之間的線位置差異更小能夠?qū)崿F(xiàn)更為精確的參數(shù)值估計(jì)。

此外，根據(jù)本實(shí)施方式，在指定逐線判定的參數(shù)被包括在順序參數(shù)集、圖片參數(shù)集或片段頭部的情況下，可以逐線判定是否需要應(yīng)用解塊濾波。根據(jù)這一配置，裝置開發(fā)人員就能夠經(jīng)由參數(shù)指定是更希望通過進(jìn)行逐線判定改善圖像質(zhì)量，還是更希望通過進(jìn)行逐塊判定來實(shí)現(xiàn)快速處理。

雖然已經(jīng)參考附圖描述了本發(fā)明的優(yōu)選實(shí)施方式，但是本發(fā)明顯然不受上述例子所限。本領(lǐng)域技術(shù)人員可以在所附權(quán)利要求范圍內(nèi)發(fā)現(xiàn)各種修改和變更，并且應(yīng)該理解這些修改和變更自然地位于本發(fā)明的技術(shù)范圍內(nèi)。

注意到解塊濾波處理的單位大小和宏塊大小不限于本說明書中描述的例子，并且還可以是其他尺寸。例如，盡管H.264/AVC宏塊尺寸被固定為16×16像素，但是可以為每個(gè)序列動(dòng)態(tài)指定HEVC編碼單位的尺寸。HEVC編碼單位還可被稱為編碼樹塊，其中具有最大尺寸的編碼單位被稱為最大編碼單位(LCU)，具有最小尺寸的編碼單位則被稱為最小編碼單位(SCU)?？捎镁幋a單位的尺寸范圍則通過在形成圖像壓縮信息的一部分的順序參數(shù)集中指定LCU和SCU尺寸來定義。此外，通過指定split_flag的值指定各個(gè)序列中使用的編碼單位尺寸。應(yīng)該注意到，編碼單位的形狀通常為方形，一個(gè)邊的尺寸可被表達(dá)為2的冪。編碼單位可被附加地分割成預(yù)測(cè)單位(PU)，其是用于幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)處理的單位。編碼單位還可被分割成變換單位(TU)，其是用于正交變換處理的單位。在HEVC中，除了4×4像素和8×8像素之外，還可以使用具有16×16像素和32×32像素尺寸的變換單位。在本說明書中，術(shù)語(yǔ)塊涵蓋宏塊、編碼單位、預(yù)測(cè)單位、變換單位和各種其他單位的概念。塊尺寸可以是固定的，但是也可以動(dòng)態(tài)改變。

用于從編碼側(cè)到解碼側(cè)發(fā)送用于解塊濾波處理的信息的技術(shù)不限于將信息多路復(fù)用至編碼流頭部的技術(shù)。例如，該信息可被發(fā)送或記錄為與經(jīng)編碼比特流相關(guān)聯(lián)的分離數(shù)據(jù)，而無需被多路復(fù)用至經(jīng)編碼比特流。術(shù)語(yǔ)“關(guān)聯(lián)”指的是使得包含在比特流中的圖像(或圖像的一部分，諸如片段或塊)與對(duì)應(yīng)于該圖像的信息在解碼時(shí)鏈接的動(dòng)作。即，該信息可以經(jīng)由與圖像(或比特流)所使用的不同的傳輸路徑而被發(fā)送。該信息可被記錄在與圖像(或比特流)所使用的不同的記錄介質(zhì)(或相同記錄介質(zhì)的不同記錄區(qū)域)上。信息和圖像(或比特流)可以以諸如多個(gè)幀、單個(gè)幀、幀內(nèi)一部分等的任意單位彼此關(guān)聯(lián)。

雖然已經(jīng)參考附圖描述了本發(fā)明的優(yōu)選實(shí)施方式，但是本發(fā)明顯然不受上述例子所限。本領(lǐng)域技術(shù)人員可以在所附權(quán)利要求范圍內(nèi)發(fā)現(xiàn)各種修改和變更，并且應(yīng)該理解這些修改和變更自然地位于本發(fā)明的技術(shù)范圍內(nèi)。

參考標(biāo)記列表

10,60 圖像處理裝置

120,222-1至222-n,320 線判定部

130,232-1至232-n,330 強(qiáng)度選擇部

140,242-1至242-n 濾波部

150,350 控制部

360 參數(shù)估計(jì)部