圖像處理設(shè)備和圖像處理方法
【專利摘要】本發(fā)明涉及圖像處理設(shè)備和圖像處理方法。提供一種圖像處理設(shè)備，包括解碼部件，所述解碼部件被配置成從編碼流中解碼圖像，水平濾波部件，所述水平濾波部件被配置成將去塊濾波器應(yīng)用于在將由解碼部件解碼的圖像內(nèi)的垂直塊邊界，垂直濾波部件，所述垂直濾波部件被配置成將去塊濾波器應(yīng)用于在將由解碼部件解碼的圖像內(nèi)的水平塊邊界，和控制部件，所述控制部件被配置成使水平濾波部件并行地濾波包括在包含多個(gè)編碼單位的處理單位中的多個(gè)垂直塊邊界，和使垂直濾波部件并行地濾波包括在所述處理單位中的多個(gè)水平塊邊界。
【專利說明】圖像處理設(shè)備和圖像處理方法
[0001]本申請(qǐng)是2013年5月31日提交的發(fā)明名稱為“圖像處理設(shè)備和圖像處理方法”的中國專利申請(qǐng)201180057796.9的分案申請(qǐng)。
【技術(shù)領(lǐng)域】
[0002]本公開涉及圖像處理設(shè)備和圖像處理方法。
【背景技術(shù)】
[0003]H.264/AVC(圖像編碼方案的標(biāo)準(zhǔn)規(guī)范之一)，以均包含4X4像素的塊為單位，將去塊濾波器應(yīng)用于塊邊界，以便避免在編碼圖像的時(shí)候，由塊失真引起的圖像質(zhì)量降低。去塊濾波器需要大量的處理，可能占到圖像解碼中的總處理量的50%。
[0004]高效視頻編碼(HEVC)(下一代圖像編碼方案)的標(biāo)準(zhǔn)化工作提出按照J(rèn)CTVC-Al 19 (參見非專利文獻(xiàn)I)，以均包含8X8像素或者更多像素的塊為單位，應(yīng)用去塊濾波器。在JCTVC-A119中提出的技術(shù)把塊大小增大到允許應(yīng)用去塊濾波器的最小單位，以便對(duì)一個(gè)宏塊內(nèi)的相同方向的塊邊界，并行地進(jìn)行濾波處理。
[0005]引文列表
[0006]非專利文獻(xiàn)
[0007]非專利文獻(xiàn)1:K.Ugur (Nokia) , K.R.Andersson (LM Ericsson),A.Fuldseth(Tandberg Telecom) , “JCTVC-Al19: Video coding technology proposalby Tandberg, Nokia, and Ericsson，，，Documents of the first meeting of the JointCollaborative Team on Video Coding(JCT-VC)，Dresden, Germany, 15-23April, 2010。

【發(fā)明內(nèi)容】

[0008]即使使用在JCTVC-A119中提出的技術(shù)，在對(duì)垂直塊邊界的處理和對(duì)水平塊邊界的處理之間仍然存在依存關(guān)系。具體地說，對(duì)一個(gè)宏塊的垂直邊界的處理要等到進(jìn)行對(duì)鄰近宏塊的水平邊界的處理為止。對(duì)一個(gè)宏塊的水平邊界的處理要等到進(jìn)行對(duì)相同宏塊的垂直邊界的處理為止。上述技術(shù)只能程度非常有限地提供去塊濾波器的并行處理。因而，上述技術(shù)不能成功解決由在應(yīng)用去塊濾波器時(shí)的較大處理量引起的延遲和數(shù)據(jù)速率的降低的問題。
[0009]按照本公開的技術(shù)目的在于提供一種能夠在應(yīng)用去塊濾波器時(shí)，提供進(jìn)一步的并行處理的圖像處理設(shè)備和圖像處理方法。
[0010]按照本公開的實(shí)施例，提供一種圖像處理設(shè)備，包括解碼部分，所述解碼部分被配置成從編碼流中解碼圖像，水平濾波部件，所述水平濾波部件被配置成將去塊濾波器應(yīng)用于在將由解碼部分解碼的圖像內(nèi)的垂直塊邊界，垂直濾波部件，所述垂直濾波部件被配置成將去塊濾波器應(yīng)用于在將由解碼部分解碼的圖像內(nèi)的水平塊邊界，和控制部分，所述控制部分被配置成使水平濾波部件并行地濾波包括在包含多個(gè)編碼單位的處理單位中的多個(gè)垂直塊邊界，和使垂直濾波部件并行地濾波包括在所述處理單位中的多個(gè)水平塊邊界。[0011]典型地，該圖像處理設(shè)備可被實(shí)現(xiàn)成對(duì)圖像解碼的圖像解碼設(shè)備。
[0012]按照本公開的實(shí)施例，提供一種圖像處理方法，包括從編碼流中解碼圖像，進(jìn)行水平濾波，以把去塊濾波器應(yīng)用于在待解碼的圖像內(nèi)的垂直塊邊界，進(jìn)行垂直濾波，以把去塊濾波器應(yīng)用于在待解碼的圖像內(nèi)的水平塊邊界，和控制水平濾波和垂直濾波，以致并行地濾波包括在包含多個(gè)編碼單位的處理單位中的多個(gè)垂直塊邊界，和并行地濾波包括在所述處理單位中的多個(gè)水平塊邊界。
[0013]按照本公開的實(shí)施例，提供一種圖像處理設(shè)備，包括水平濾波部件，所述水平濾波部件被配置成當(dāng)編碼待編碼圖像時(shí)，把去塊濾波器應(yīng)用于在要局部解碼的圖像內(nèi)的垂直塊邊界，垂直濾波部件，所述垂直濾波部件被配置成把去塊濾波器應(yīng)用于所述圖像內(nèi)的水平塊邊界，控制部分，所述控制部分被配置成使水平濾波部件并行地濾波包括在包含多個(gè)編碼單位的處理單位中的多個(gè)垂直塊邊界，和使垂直濾波部件并行地濾波包括在所述處理單位中的多個(gè)水平塊邊界，和編碼部件，所述編碼部件被配置成利用由水平濾波部件和垂直濾波部件濾波的圖像，編碼所述待編碼圖像。
[0014]典型地，該圖像處理設(shè)備可被實(shí)現(xiàn)成對(duì)圖像編碼的圖像編碼設(shè)備。
[0015]按照本公開的實(shí)施例，提供一種圖像處理方法，包括進(jìn)行水平濾波，以便當(dāng)編碼待編碼圖像時(shí)，把去塊濾波器應(yīng)用于在要局部解碼的圖像內(nèi)的垂直塊邊界，進(jìn)行垂直濾波，以便把去塊濾波器應(yīng)用于所述圖像內(nèi)的水平塊邊界，控制水平濾波和垂直濾波，以便并行地濾波包括在包含多個(gè)編碼單位的處理單位中的多個(gè)垂直塊邊界，和并行地濾波包括在所述處理單位中的多個(gè)水平塊邊界，和利用借助水平濾波和垂直濾波所濾波的圖像，編碼所述待編碼圖像。
[0016]如上所述，按照本公開的圖像處理設(shè)備和圖像處理方法還改善應(yīng)用去塊濾波器時(shí)的并行處理。
【專利附圖】

【附圖說明】
[0017]圖1是表示按照實(shí)施例的圖像編碼設(shè)備的結(jié)構(gòu)的例子的方框圖。
[0018]圖2是表示按照實(shí)施例的圖像解碼設(shè)備的結(jié)構(gòu)的例子的方框圖。
[0019]圖3是表示邊界周圍的鄰近像素的例子的說明圖。
[0020]圖4是圖解說明按照現(xiàn)有技術(shù)的濾波需要判定處理期間的參考像素的說明圖。
[0021]圖5是圖解說明利用濾波處理更新的像素的說明圖。
[0022]圖6是圖解說明用于說明實(shí)施例的邊緣的標(biāo)識(shí)的說明圖。
[0023]圖7是圖解說明按照現(xiàn)有技術(shù)的并行處理的說明圖。
[0024]圖8是圖解說明按照現(xiàn)有技術(shù)的處理之間的依存關(guān)系的第一說明圖。
[0025]圖9是圖解說明按照現(xiàn)有技術(shù)的處理之間的依存關(guān)系的第二說明圖。
[0026]圖10是圖解說明按照現(xiàn)有技術(shù)的處理序列的說明圖。
[0027]圖11是圖解說明按照第一示例的處理序列的說明圖。
[0028]圖12是圖解說明按照第一實(shí)施例的去塊濾波器的詳細(xì)結(jié)構(gòu)的方框圖。
[0029]圖13是圖解說明判定部分的詳細(xì)結(jié)構(gòu)的方框圖。
[0030]圖14是圖解說明切片邊界周圍的鄰近塊的說明圖。
[0031]圖15是圖解說明每個(gè)切片的處理序列的第一個(gè)例子的說明圖。[0032]圖16是圖解說明每個(gè)切片的處理序列的第二個(gè)例子的說明圖。
[0033]圖17是圖解說明由變形例提供的判定技術(shù)的第一個(gè)和第二個(gè)例子的說明圖。
[0034]圖18是圖解說明由變形例提供的判定技術(shù)的第三個(gè)和第四個(gè)例子的說明圖。
[0035]圖19是圖解說明由變形例提供的判定技術(shù)的第五個(gè)和第六個(gè)例子的說明圖。
[0036]圖20是圖解說明按照第一示例的去塊濾波器的處理流程的流程圖。
[0037]圖21是圖解說明濾波需要判定處理的流程的流程圖。
[0038]圖22是圖解說明按照第二示例的處理序列的說明圖。
[0039]圖23是圖解說明按照第二示例的去塊濾波器的詳細(xì)結(jié)構(gòu)的方框圖。
[0040]圖24是圖解說明按照第二示例的去塊濾波器的處理流程的流程圖。
[0041]圖25是圖解說明每個(gè)CLU的處理序列的說明圖。
[0042]圖26是圖解說明每個(gè)IXU的處理流程的流程圖。
[0043]圖27是圖解說明第三示例的概況的說明圖。
[0044]圖28是圖解說明按照第三示例的去塊濾波器的詳細(xì)結(jié)構(gòu)的方框圖。
[0045]圖29是圖解說明加權(quán)平均值的權(quán)重的確定的說明圖。
[0046]圖30是圖解說明加權(quán)平均值的權(quán)重的例子的說明圖。
[0047]圖31是圖解說明按照第三示例的計(jì)算部分的輸出像素值的說明圖。
[0048]圖32是圖解說明用于比較的處理序列的第一個(gè)例子的說明圖。
[0049]圖33是圖解說明由第三示例提供的處理序列的第一個(gè)例子的說明圖。
[0050]圖34是圖解說明用于比較的處理序列的第二個(gè)例子的說明圖。
[0051]圖35是圖解說明由第三示例提供的處理序列的第二個(gè)例子的說明圖。
[0052]圖36是圖解說明按照第三示例的去塊濾波器的處理流程的第一個(gè)例子的流程圖。
[0053]圖37是圖解說明圖36中所示的像素值計(jì)算處理的流程的流程圖。
[0054]圖38是圖解說明多視圖編解碼器的說明圖。
[0055]圖39是圖解說明按照實(shí)施例的應(yīng)用于多視圖編解碼器的圖像編碼處理的說明圖。
[0056]圖40是圖解說明按照實(shí)施例的應(yīng)用于多視圖編解碼器的圖像解碼處理的說明圖。
[0057]圖41是圖解說明可擴(kuò)展編解碼器的說明圖。
[0058]圖42是圖解說明按照實(shí)施例的應(yīng)用于可擴(kuò)展編解碼器的圖像編碼處理的說明圖。
[0059]圖43是圖解說明按照實(shí)施例的應(yīng)用于可擴(kuò)展編解碼器的圖像解碼處理的說明圖。
[0060]圖44是圖解說明電視機(jī)的示意結(jié)構(gòu)的方框圖。
[0061]圖45是圖解說明移動(dòng)電話機(jī)的示意結(jié)構(gòu)的方框圖。
[0062]圖46是圖解說明記錄/再現(xiàn)設(shè)備的示意結(jié)構(gòu)的方框圖。
[0063]圖47是圖解說明攝像設(shè)備的示意結(jié)構(gòu)的方框圖。
【具體實(shí)施方式】[0064]下面參考附圖，詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施例。注意在說明書和附圖中，功能和結(jié)構(gòu)基本相同的元件用相同的附圖標(biāo)記表示，重復(fù)的說明被省略。
[0065]將按照以下順序說明【具體實(shí)施方式】。
[0066]1.設(shè)備概況
[0067]1-1.圖像編碼設(shè)備
[0068]1-2.圖像解碼設(shè)備
[0069]2.現(xiàn)有技術(shù)
[0070]2-1.去塊濾波器的基本結(jié)構(gòu)
[0071]2-2.按照現(xiàn)有技術(shù)的處理之間的依存關(guān)系
[0072]3.第一實(shí)施例
[0073]3-1.去塊濾波器結(jié)構(gòu)例子
[0074]3-2.判定條件變形例
[0075]3-3.處理流程
[0076]4.第二實(shí)施例
[0077]4-1.去塊濾波器結(jié)構(gòu)例子
[0078]4-2.處理流程
[0079]4-3.每個(gè)IXU的處理例子
[0080]5.第三實(shí)施例
[0081]5-1.概況
[0082]5-2.去塊濾波器結(jié)構(gòu)例子
[0083]5-3.處理序列例子
[0084]5-4.處理流程
[0085]6.對(duì)各種編解碼器的應(yīng)用
[0086]6-1.多視圖編解碼器
[0087]6-2.可擴(kuò)展編解碼器
[0088]7.例證應(yīng)用
[0089]8.總結(jié)
[0090]1.設(shè)備概況
[0091]參見圖1和2，下面說明在本說明書中公開的技術(shù)適用于的設(shè)備的概況。在本說明書中公開的技術(shù)適用于圖像編碼設(shè)備和圖像解碼設(shè)備。
[0092][1-1.圖像編碼設(shè)備]
[0093]圖1是表示按照實(shí)施例的圖像編碼設(shè)備10的結(jié)構(gòu)的例子的方框圖。參見圖1，圖像編碼設(shè)備10包括A/D (模-數(shù))轉(zhuǎn)換部分11、重排緩沖器12、減法部分13、正交變換部分14、量化部分15、無損編碼部件16、累積緩沖器17、速率控制部分18、逆量化部分21、逆正交變換部分22、加法部分23、去塊濾波器24a、幀存儲(chǔ)器25、選擇器26、幀內(nèi)預(yù)測(cè)部分30、運(yùn)動(dòng)估計(jì)部分40和模式選擇部分50。
[0094]A/D轉(zhuǎn)換部分11把按模擬格式輸入的圖像信號(hào)轉(zhuǎn)換成數(shù)字格式的圖像數(shù)據(jù)，然后把一系列的數(shù)字圖像數(shù)據(jù)輸出給重排緩沖器12。
[0095]重排緩沖器12重排包含在從A/D轉(zhuǎn)換部分11輸入的一系列圖像數(shù)據(jù)中的圖像。在按照與編碼處理相應(yīng)的GOP (圖像組)結(jié)構(gòu)，重排圖像之后，重排緩沖器12把已重排的圖像數(shù)據(jù)輸出給減法部分13、幀內(nèi)預(yù)測(cè)部分30和運(yùn)動(dòng)估計(jì)部分40。
[0096]從重排緩沖器12輸入的圖像數(shù)據(jù)和由后面說明的模式選擇部分50選擇的預(yù)測(cè)圖像數(shù)據(jù)被提供給減法部分13。減法部分13計(jì)算預(yù)測(cè)誤差數(shù)據(jù)，預(yù)測(cè)誤差數(shù)據(jù)是從重排緩沖器12輸入的圖像數(shù)據(jù)和從模式選擇部分50輸入的預(yù)測(cè)圖像數(shù)據(jù)之間的差分，并把計(jì)算的預(yù)測(cè)誤差數(shù)據(jù)輸出給正交變換部分14。
[0097]正交變換部分14對(duì)從減法部分13輸入的預(yù)測(cè)誤差數(shù)據(jù)進(jìn)行正交變換。正交變換部分14進(jìn)行的正交變換例如可以是離散余弦變換(DCT)或者Karhunen-Loeve變換。正交變換部分14把通過正交變換處理獲得的變換系數(shù)數(shù)據(jù)，輸出給量化部分15。
[0098]從正交變換部分14輸入的變換系數(shù)數(shù)據(jù)和來自后面說明的速率控制部分18的速率控制信號(hào)被提供給量化部分15。量化部分15量化變換系數(shù)數(shù)據(jù)，把已被量化的變換系數(shù)數(shù)據(jù)(下面稱為量化數(shù)據(jù))輸出給無損編碼部件16和逆量化部分21。另外，量化部分15根據(jù)來自速率控制部分18的速率控制信號(hào)，切換量化參數(shù)(量化規(guī)模)，從而改變將輸入無損編碼部件16的量化數(shù)據(jù)的比特率。
[0099]從量化部分15輸入的量化數(shù)據(jù)，和后面說明的由幀內(nèi)預(yù)測(cè)部分30或運(yùn)動(dòng)估計(jì)部分40產(chǎn)生，并由模式選擇部分50選擇的關(guān)于幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)的信息被提供給無損編碼部件16。關(guān)于幀內(nèi)預(yù)測(cè)的信息可包括指示每個(gè)塊的最佳幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)模式信息。另外，關(guān)于幀間預(yù)測(cè)的信息例如可包括用于預(yù)測(cè)每個(gè)塊的運(yùn)動(dòng)矢量的預(yù)測(cè)模式信息，差分運(yùn)動(dòng)矢量信息，參考圖像信息等等。
[0100]無損編碼部件16通過對(duì)量化數(shù)據(jù)進(jìn)行無損編碼處理，產(chǎn)生編碼流。無損編碼部件16的無損編碼例如可以是變長(zhǎng)編碼或算術(shù)編碼。此外，無損編碼部件16把上面提及的關(guān)于幀內(nèi)預(yù)測(cè)的信息，或者關(guān)于幀間預(yù)測(cè)的信息多路復(fù)用到編碼流的報(bào)頭(例如，塊報(bào)頭、切片報(bào)頭等)。隨后，無損編碼部件16把產(chǎn)生的編碼流輸出給累積緩沖器17。
[0101]累積緩沖器17利用諸如半導(dǎo)體存儲(chǔ)器之類的存儲(chǔ)介質(zhì)，臨時(shí)保存從無損編碼部件16輸入的編碼流。隨后，累積緩沖器17以與傳輸線路(或者出自圖像編碼設(shè)備10的輸出線路)的頻帶相應(yīng)的速率，輸出累積的編碼流。
[0102]速率控制部分18監(jiān)測(cè)累積緩沖器17的空閑空間。隨后，速率控制部分18按照累積緩沖器17上的空閑空間，產(chǎn)生速率控制信號(hào)，把產(chǎn)生的速率控制信號(hào)輸出給量化部分
15。例如，當(dāng)在累積緩沖器17上沒有大量的空閑空間時(shí)，速率控制部分18產(chǎn)生降低量化數(shù)據(jù)的比特率的速率控制信號(hào)。另外，例如，當(dāng)累積緩沖器17上的空閑空間足夠大時(shí)，速率控制部分18產(chǎn)生增大量化數(shù)據(jù)的比特率的速率控制信號(hào)。
[0103]逆量化部分21對(duì)從量化部分15輸入的量化數(shù)據(jù)，進(jìn)行逆量化處理。隨后，逆量化部分21把通過逆量化處理獲得的變換系數(shù)數(shù)據(jù)輸出給逆正交變換部分22。
[0104]逆正交變換部分22對(duì)從逆量化部分21輸入的變換系數(shù)數(shù)據(jù)，進(jìn)行逆正交變換處理，從而恢復(fù)預(yù)測(cè)誤差數(shù)據(jù)。隨后，逆正交變換部分22把恢復(fù)的預(yù)測(cè)誤差數(shù)據(jù)輸出給加法部分23。
[0105]加法部分23相加從逆正交變換部分22輸入的恢復(fù)的預(yù)測(cè)誤差數(shù)據(jù)，和從模式選擇部分50輸入的預(yù)測(cè)圖像數(shù)據(jù)，從而產(chǎn)生解碼圖像數(shù)據(jù)。隨后，加法部分23把產(chǎn)生的解碼圖像數(shù)據(jù)輸出給去塊濾波器24a和幀存儲(chǔ)器25。[0106]去塊濾波器24a進(jìn)行濾波處理，以減小在圖像編碼期間發(fā)生的塊失真。例如，去塊濾波器24a對(duì)于從加法部分23供給的解碼圖像數(shù)據(jù)的每個(gè)塊邊界，判定濾波的必要性，把去塊濾波器應(yīng)用于被確定需要濾波器的邊界。去塊濾波器24a還被供給用于判定濾波必要性的信息(例如，模式信息、變換系數(shù)信息和運(yùn)動(dòng)矢量信息)，以及來自加法部分23的解碼圖像數(shù)據(jù)。在濾波之后，塊失真從解碼圖像數(shù)據(jù)中被除去，去塊濾波器24a把解碼圖像數(shù)據(jù)輸出給幀存儲(chǔ)器25。去塊濾波器24a的處理將在后面詳細(xì)說明。
[0107]幀存儲(chǔ)器25利用存儲(chǔ)介質(zhì)，保存從加法部分23輸入的解碼圖像數(shù)據(jù)，和從去塊濾波器24a輸入的濾波后的解碼圖像數(shù)據(jù)。
[0108]選擇器26從幀存儲(chǔ)器25讀取將用于幀內(nèi)預(yù)測(cè)的濾波前的解碼圖像數(shù)據(jù)，并把讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)，提供給幀內(nèi)預(yù)測(cè)部分30。另外，選擇器26從幀存儲(chǔ)器25讀取將用于幀間預(yù)測(cè)的濾波后的解碼圖像數(shù)據(jù)，并把讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)，提供給運(yùn)動(dòng)估計(jì)部分40。
[0109]幀內(nèi)預(yù)測(cè)部分30根據(jù)從重排緩沖器12輸入的待編碼圖像數(shù)據(jù)，和經(jīng)選擇器26供給的解碼圖像數(shù)據(jù)，按照每種幀內(nèi)預(yù)測(cè)模式進(jìn)行幀內(nèi)預(yù)測(cè)處理。例如，幀內(nèi)預(yù)測(cè)部分30利用預(yù)定的成本函數(shù)，評(píng)估每種幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)結(jié)果。隨后，幀內(nèi)預(yù)測(cè)部分30選擇使成本函數(shù)值最小的幀內(nèi)預(yù)測(cè)模式，即，使壓縮比最高的幀內(nèi)預(yù)測(cè)模式，作為最佳的幀內(nèi)預(yù)測(cè)模式。此外，幀內(nèi)預(yù)測(cè)部分30把指示最佳的幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)模式信息，預(yù)測(cè)圖像數(shù)據(jù)，和諸如成本函數(shù)值之類的關(guān)于幀內(nèi)預(yù)測(cè)的信息，輸出給模式選擇部分50。
[0110]運(yùn)動(dòng)估計(jì)部分40根據(jù)從重排緩沖器12供給的編碼用圖像數(shù)據(jù)，和經(jīng)選擇器26供給的解碼圖像數(shù)據(jù)，進(jìn)行幀間預(yù)測(cè)處理(幀間的預(yù)測(cè)處理)。例如，運(yùn)動(dòng)估計(jì)部分40利用預(yù)定的成本函數(shù)，評(píng)估每種預(yù)測(cè)模式的預(yù)測(cè)結(jié)果。隨后，運(yùn)動(dòng)估計(jì)部分40選擇最佳的預(yù)測(cè)模式，即，使成本函數(shù)值達(dá)到最小，或者使壓縮比達(dá)到最大的預(yù)測(cè)模式。運(yùn)動(dòng)估計(jì)部分40按照最佳預(yù)測(cè)模式，產(chǎn)生預(yù)測(cè)圖像數(shù)據(jù)。運(yùn)動(dòng)估計(jì)部分40把諸如指示最佳的幀內(nèi)預(yù)測(cè)模式的預(yù)測(cè)模式信息、預(yù)測(cè)圖像數(shù)據(jù)和成本函數(shù)值之類的關(guān)于幀間預(yù)測(cè)的信息，輸出給模式選擇部分50。
[0111]模式選擇部分50比較從幀內(nèi)預(yù)測(cè)部分30輸入的與幀內(nèi)預(yù)測(cè)相關(guān)的成本函數(shù)值，和從運(yùn)動(dòng)估計(jì)部分40輸入的與幀間預(yù)測(cè)相關(guān)的成本函數(shù)值。隨后，模式選擇部分50從幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)中，選擇成本函數(shù)值較小的預(yù)測(cè)方法。在選擇幀內(nèi)預(yù)測(cè)的情況下，模式選擇部分50把關(guān)于幀內(nèi)預(yù)測(cè)的信息輸出給無損編碼部件16，另外，把預(yù)測(cè)圖像數(shù)據(jù)輸出給減法部分13和加法部分23。此外，在選擇幀間預(yù)測(cè)的情況下，模式選擇部分50把上面說明的關(guān)于幀間預(yù)測(cè)的信息輸出給無損編碼部件16，另外把預(yù)測(cè)圖像數(shù)據(jù)輸出給減法部分13和加法部分23。
[0112][1-2.圖像解碼設(shè)備]
[0113]圖2是表示按照實(shí)施例的圖像解碼設(shè)備60的結(jié)構(gòu)例子的方框圖。參見圖2，圖像解碼設(shè)備60包括累積緩沖器61、無損解碼部分62、逆量化部分63、逆正交變換部分64、力口法部分65、去塊濾波器24b、重排緩沖器67、D/A (數(shù)-模)轉(zhuǎn)換部分68、幀存儲(chǔ)器69、選擇器70和71、幀內(nèi)預(yù)測(cè)部分80和運(yùn)動(dòng)補(bǔ)償部分90。
[0114]累積緩沖器61利用存儲(chǔ)介質(zhì)，臨時(shí)保存經(jīng)傳輸線路輸入的編碼流。
[0115]無損解碼部分62按照在編碼時(shí)使用的編碼方法，解碼從累積緩沖器61輸入的編碼流。另外，無損解碼部分62解碼多路復(fù)用到編碼流的報(bào)頭區(qū)的信息。多路復(fù)用到編碼流的報(bào)頭區(qū)的信息例如可包括塊報(bào)頭中的關(guān)于幀內(nèi)預(yù)測(cè)的信息和關(guān)于幀間預(yù)測(cè)的信息。無損解碼部分62把關(guān)于幀內(nèi)預(yù)測(cè)的信息輸出給幀內(nèi)預(yù)測(cè)部分80。另外，無損解碼部分62把關(guān)于幀間預(yù)測(cè)的信息輸出給運(yùn)動(dòng)補(bǔ)償部分90。
[0116]逆量化部分63逆量化已由無損解碼部分62解碼的量化數(shù)據(jù)。逆正交變換部分64通過按照在編碼時(shí)使用的正交變換方法，對(duì)從逆量化部分63輸入的變換系數(shù)數(shù)據(jù)進(jìn)行逆正交變換，產(chǎn)生預(yù)測(cè)誤差數(shù)據(jù)。隨后，逆正交變換部分64把產(chǎn)生的預(yù)測(cè)誤差數(shù)據(jù)輸出給加法部分65。
[0117]加法部分65相加從逆正交變換部分64輸入的預(yù)測(cè)誤差數(shù)據(jù)和從選擇器71輸入的預(yù)測(cè)圖像數(shù)據(jù)，從而產(chǎn)生解碼圖像數(shù)據(jù)。隨后，加法部分65把產(chǎn)生的解碼圖像數(shù)據(jù)輸出給去塊濾波器24b和幀存儲(chǔ)器69。
[0118]去塊濾波器24b進(jìn)行濾波處理，以減小出現(xiàn)在解碼圖像上的塊失真。去塊濾波器24b例如對(duì)于從加法部分65輸入的解碼圖像數(shù)據(jù)，確定在每個(gè)塊邊界濾波的必要性，并把去塊濾波器應(yīng)用于被確定需要濾波器的邊界。去塊濾波器24b還被供給用于濾波必要性的確定的信息，以及來自加法部分65的解碼圖像數(shù)據(jù)。在濾波之后，塊失真從解碼圖像數(shù)據(jù)中被除去，去塊濾波器24b把解碼圖像數(shù)據(jù)輸出給重排緩沖器67和幀存儲(chǔ)器69。去塊濾波器24b的處理將在后面詳細(xì)說明。
[0119]重排緩沖器67通過重排從去塊濾波器24b輸入的圖像，按照時(shí)間順序產(chǎn)生一系列的圖像數(shù)據(jù)。隨后，重排緩沖器67把產(chǎn)生的圖像數(shù)據(jù)輸出給D/A轉(zhuǎn)換部分68。
[0120]D/A轉(zhuǎn)換部分68把從重排緩沖器67輸入的數(shù)字格式的圖像數(shù)據(jù)轉(zhuǎn)換成模擬格式的圖像信號(hào)。隨后，例如通過把模擬圖像信號(hào)輸出給連接到圖像解碼設(shè)備60的顯示器(未示出)，D/A轉(zhuǎn)換部分68使圖像被顯示。
[0121]幀存儲(chǔ)器69利用存儲(chǔ)介質(zhì)保存從加法部分65輸入的濾波前的解碼圖像數(shù)據(jù)，和從去塊濾波器24b輸入的濾波后的解碼圖像數(shù)據(jù)。
[0122]選擇器70按照無損解碼部分62獲得的模式信息，為圖像中的每個(gè)塊，在幀內(nèi)預(yù)測(cè)部分80和運(yùn)動(dòng)補(bǔ)償部分90之間切換來自幀存儲(chǔ)器69的圖像數(shù)據(jù)的輸出目的地。例如，在指定幀內(nèi)預(yù)測(cè)模式的情況下，選擇器70把從幀存儲(chǔ)器69供給的濾波前的解碼圖像數(shù)據(jù)，作為參考圖像數(shù)據(jù)輸出給幀內(nèi)預(yù)測(cè)部分80。另外，在指定幀間預(yù)測(cè)模式的情況下，選擇器70把從幀存儲(chǔ)器69供給的濾波后的解碼圖像數(shù)據(jù)，作為參考圖像數(shù)據(jù)輸出給運(yùn)動(dòng)補(bǔ)償部分90。
[0123]選擇器71按照無損解碼部分62獲得的模式信息，為圖像中的每個(gè)塊，在幀內(nèi)預(yù)測(cè)部分80和運(yùn)動(dòng)補(bǔ)償部分90之間，切換待供給加法部分65的預(yù)測(cè)圖像數(shù)據(jù)的輸出源。例如，在指定幀內(nèi)預(yù)測(cè)模式的情況下，選擇器71把從幀內(nèi)預(yù)測(cè)部分80輸出的預(yù)測(cè)圖像數(shù)據(jù)提供給加法部分65。在指定幀間預(yù)測(cè)模式的情況下，選擇器71把從運(yùn)動(dòng)補(bǔ)償部分90輸出的預(yù)測(cè)圖像數(shù)據(jù)提供給加法部分65。
[0124]幀內(nèi)預(yù)測(cè)部分80根據(jù)從無損解碼部分62輸入的關(guān)于幀內(nèi)預(yù)測(cè)的信息，和來自幀存儲(chǔ)器69的參考圖像數(shù)據(jù)，進(jìn)行像素值的畫面中(in screen)預(yù)測(cè)，產(chǎn)生預(yù)測(cè)圖像數(shù)據(jù)。隨后，幀內(nèi)預(yù)測(cè)部分80把產(chǎn)生的預(yù)測(cè)圖像數(shù)據(jù)輸出給選擇器71。
[0125]運(yùn)動(dòng)補(bǔ)償部分90根據(jù)從無損解碼部分62輸入的關(guān)于幀間預(yù)測(cè)的信息，和來自幀存儲(chǔ)器69的參考圖像數(shù)據(jù)，進(jìn)行運(yùn)動(dòng)補(bǔ)償處理，產(chǎn)生預(yù)測(cè)圖像數(shù)據(jù)。隨后，運(yùn)動(dòng)補(bǔ)償部分90把產(chǎn)生的預(yù)測(cè)圖像數(shù)據(jù)輸出給選擇器71。
[0126]〈2.現(xiàn)有技術(shù)〉
[0127][2-1.去塊濾波器的基本結(jié)構(gòu)]
[0128]通常，諸如H.264/AVC或者HEVC之類的現(xiàn)有圖像編碼方案中的利用去塊濾波器的處理包括兩種處理，即，濾波需要判定處理和濾波處理。例如，下面說明HEVC中的這兩種處理。
[0129](I)濾波需要判定處理
[0130]濾波需要判定處理判定是否需要對(duì)輸入圖像內(nèi)的各個(gè)塊的每個(gè)邊界應(yīng)用去塊濾波器。塊邊界包括彼此水平相鄰的各個(gè)塊之間的垂直邊界，和彼此垂直相鄰的各個(gè)塊之間的水平邊界。JCTVC-A119利用8X8像素的塊大小作為最小處理單位。例如，16X16像素的宏塊包括8X8像素的4個(gè)塊。對(duì)每個(gè)塊的一個(gè)(左)垂直邊界和一個(gè)(上)水平邊界，即，4個(gè)邊界加上4個(gè)邊界合計(jì)等于8個(gè)邊界，應(yīng)用該處理。本說明書假定作為技術(shù)術(shù)語的宏塊包括在HEVC的上下文中的編碼單位(⑶)。
[0131] 圖3是表示在邊界周圍，彼此相鄰的兩個(gè)塊(鄰近塊)Ba和Bb中的像素的例子的說明圖。下面舉例說明垂直邊界，該說明顯然適用于水平邊界。圖3中的例子利用符號(hào)pu表示塊Ba中的像素。在該符號(hào)中，i表示列索引，j表示行索引。從最接近垂直邊界的列開始，順序地(從右到左)把列索引i編號(hào)為0、1、2和3。從上到下，把行索引j編號(hào)為O、
1、2、…、7。圖中省略了塊Ba的左半部。符號(hào)qkj用于表不塊Bb中的像素。在該符號(hào)中，k表示列索引，j表示行索引。從最接近垂直邊界的列開始，順序地(從左到右)把列索引k編號(hào)為0、1、2和3。圖中省略了塊Bb的右半部。
[0132]可以利用以下條件來確定把去塊濾波器應(yīng)用于圖3中所示的塊Ba和Bb之間的垂直邊界的必要性。
[0133]亮度分量(Luma)的判定條件…如果條件A和B都為真，那么應(yīng)用去塊濾波器。
[0134]條件A:
[0135](Al)塊Ba或Bb進(jìn)入幀內(nèi)預(yù)測(cè)模式；
[0136](A2)塊Ba或Bb具有非零正交變換系數(shù)；或者
[0137](A3) I MVAx-MVBx I ≥ 4 或者 | MVAy-MVByI ≥ 4
[0138]條件B:
[0139]| p22_2p12+p021 + | q22_2q12+q021 + | p25_2p15+p051 + | q25_2q15+q051〈 β
[0140]條件A3按照Qpel (1/4像素)精度，假定塊Ba的運(yùn)動(dòng)矢量為(MVAx，MVAy)，塊Bb的運(yùn)動(dòng)矢量為(MVBx，MVBy)。條件B利用β作為邊緣判定閾值。按照量化參數(shù)，給出β的初始值。用戶可利用在切片報(bào)頭內(nèi)的參數(shù)，指定β的值。
[0141]色度分量(Chroma)的判定條件…如果條件Al為真,那么應(yīng)用去塊濾波器。
[0142]條件Al:塊Ba或Bb進(jìn)入幀內(nèi)預(yù)測(cè)模式。
[0143]如用圖4中的虛線框L3和L6所示，對(duì)于一般的垂直邊界的濾波需要判定處理(特別是按照亮度分量的判定條件B)參考在每個(gè)塊中的第三行和第六行(假定最上面的一行是第一行)上的像素。類似地，對(duì)水平邊界的濾波需要判定處理參考在每個(gè)塊中的第三列和第六列上的像素(圖4中未示出)。上述判定條件被用于確定去塊濾波器需要被應(yīng)用于對(duì)其進(jìn)行下述濾波處理的邊界。
[0144](2)濾波處理
[0145]如果確定需要對(duì)邊界應(yīng)用去塊濾波器，那么對(duì)在垂直邊界左右兩側(cè)的像素，和在水平邊界上下兩側(cè)的像素進(jìn)行濾波處理。關(guān)于亮度分量，按照像素值，在強(qiáng)濾波器和弱濾波器之間切換濾波器強(qiáng)度。
[0146]濾波亮度分量
[0147]選擇強(qiáng)度…為每行或每列選擇濾波器強(qiáng)度。如果以下條件C1-C3都被滿足，那么選擇強(qiáng)濾波器。如果以下條件任意之一不被滿足，那么選擇弱濾波器。
[0148](Cl)d〈(3>>2)
[0149](C2) (I p3J-p0j I +1 q0j_q3j I)〈( β ?3)
[0150](C3) |pQj-qQj|〈((5tc+l)》l)
[0151]其中j表不垂直邊界的行索引，或者水平邊界的列索引。d= I p22_2p12+pQ21 +1 q22_2q12+Qo2 I + I Ρ25_2ρι5+Ρθ5 I + I Q25_2q15+q05 I。
[0152]弱濾波
[0153]Δ =Clip (-tc, tc, (13 (q0J-p0J) +4 (Qlj-Plj) ~5 (q2J-p2J) +16) ?5))
[0154]Poj=Cl ip0_255 (Poj+Δ)
[0155]q0J=Clip0_255 (q0J-A)
[0156]Plj=CliP0^255 (Plj+Δ/2)
[0157]Qlj=Cl ?ρ0_255 (αυ.-Δ/2)
[0158]強(qiáng)濾波
[0159]Poj=Cl ip0_255 ((ρ2?.+2ρυ+2ρ0?.+2α0?.+αυ+4) ?3)
[0160]q0J=Cl ip0_255 ((P1^PtlPqtlPq1 j+q2j+4) ?3)
[0161 ] Plj=Cl ip0_255 ( (P2j^P1 j+p0j+q0j+2) ?2)
[0162]Qij-Cl iPo-255 ((Poj+Qoj+qij+Q2j+2)〉〉2)
[0163]P2j=Cl ip0_255 ((2P3J+3P2J+P!j+Poj+qQj+4) ?3)
[0164]q2J=Cl ip0_255 ((PoJ+qoJ+qiJ+3q2J+2q3J+4) ?3)
[0165]其中，Clip(a, b, c)表示將值c箝位在范圍a < c < b內(nèi)的處理,ClipQ_255 (c)表示將值c箝位在范圍O≤c≤255內(nèi)的處理。
[0166]濾波色度分量
[0167]Δ =Clip (-tc, tc, ((((q0J-p0J) ?2) +Pu-qu+4) ?3))
[0168]Poj=Cl ip0_255 (Poj+Δ)
[0169]q0J=Clip0_255 (q0J-A)
[0170]如用圖5中的虛線框C6-C8和C1-C3所示，對(duì)于一般的垂直邊界的濾波處理(尤其是對(duì)于亮度分量的強(qiáng)濾波)更新在每個(gè)塊中的第一列到第三列，和第六列到第八列上的像素值。類似地，對(duì)于水平邊界的濾波處理更新在每個(gè)塊中的第一行到第三行，和第六行到第八行上的像素值。
[0171][2-2.按照現(xiàn)有技術(shù)的處理之間的依存關(guān)系]
[0172]為了說明起見，如圖6中所示，都具有16父16像素的大小的宏塊1^_0、1^1...)包括表示成Vx, O的左上垂直邊界,表示成Vx, I的中上垂直邊界,表示成Vx, 2的左下垂直邊界，表示成Vx，3的中下垂直邊界，表示成Hx，O的左上水平邊界，表示成Hx, I的右上水平邊界，表示成Hx, 2的左中水平邊界，和表示成Hx, 3的右中水平邊界。關(guān)于邊界Z，例如，濾波需要判定處理被表示成Jz，而濾波處理被表示成Fz。
[0173]上述現(xiàn)有技術(shù)導(dǎo)致在一個(gè)宏塊內(nèi)，關(guān)于相同方向的邊界的處理之間，不存在任何依存關(guān)系。于是，該技術(shù)能夠在一個(gè)宏塊內(nèi)，對(duì)垂直邊界和水平邊界進(jìn)行并行濾波。例如，圖7清楚地表示在宏塊MBO內(nèi)，在4個(gè)濾波處理Fvtltl, Fvo；1, Fv0j2和Fvcu之間，不存在依存關(guān)系(沒有像素被重復(fù)更新)，可以并行地進(jìn)行濾波處理。
[0174]然而，上述現(xiàn)有技術(shù)遺留對(duì)于垂直邊界的濾波處理和對(duì)于水平邊界的濾波需要判定處理之間的依存關(guān)系。該現(xiàn)有技術(shù)還遺留對(duì)于水平邊界的濾波處理和對(duì)于垂直邊界的濾波需要判定處理之間的依存關(guān)系。例如，如果在水平邊界之前處理垂直邊界，那么需要在終止對(duì)于垂直邊界的濾波處理之后，對(duì)給定宏塊內(nèi)的水平邊界進(jìn)行濾波需要判定處理。例如，圖8表示在宏塊MBO內(nèi)，濾波需要判定處理Jmci取決于濾波處理Fmtl和Fvtl!的結(jié)果，濾波需要判定處理Jhcu取決于濾波處理Fvcu的結(jié)果。類似地，需要在對(duì)相鄰宏塊的水平邊界的濾波處理終止之后，對(duì)給定宏塊內(nèi)的垂直邊界進(jìn)行濾波需要判定處理。例如，圖9表示對(duì)于宏塊MBl的濾波需要判定處理JviJ取決于對(duì)于宏塊MBO的濾波處理!和Fhcu的結(jié)果，對(duì)于宏塊MBl的濾波需要判定處理JV1，2取決于對(duì)于宏塊MBO的濾波處理Fhcu的結(jié)果。
[0175]現(xiàn)有技術(shù)涉及處理之間的依存關(guān)系，于是即使利用在JCTVC-A119中提出的技術(shù)，也能夠程度非常有限地提供去塊濾波器的并行處理。
[0176]圖10是圖解說明按照現(xiàn)有技術(shù)的去塊濾波器處理的序列的說明圖。本例假定去塊濾波器被供給大小為32X32像素的圖像。輸入的圖像包括4個(gè)宏塊MB0-MB3，每個(gè)宏塊具有16X16像素的大小。
[0177]在圖10中，每個(gè)虛線框代表將并行進(jìn)行的處理。例如，第一步驟對(duì)宏塊MBO中的4個(gè)垂直邊界，并行地進(jìn)行濾 波需要判定處理Jvtltl, Jv0j1, Jvoj2和JVcu。第二步驟對(duì)宏塊MBO中的4個(gè)垂直邊界，并行地進(jìn)行濾波處理Fmtl, FV(U，F(xiàn)V0,2FV0,3°在第二步驟終止之后，第三步驟對(duì)宏塊MBO中的4個(gè)水平邊界，并行地進(jìn)行濾波需要判定處理Jhc^ Jho,!, Jhoj2和‘3。第三步驟把在第二步驟關(guān)于垂直邊界的濾波處理之后的像素值，用于對(duì)水平邊界的濾波需要判定處理。第四步驟對(duì)宏塊MBO中的4個(gè)水平邊界，并行地進(jìn)行濾波處理Fmtl, Fhcu, Fho, 2和Fho,3ο在第四步驟終止之后，相繼進(jìn)行對(duì)于宏塊MBl的處理(第五步驟到第八步驟)。第五步驟把在第四步驟關(guān)于宏塊MBO水平邊界的濾波處理之后的像素值，用于對(duì)宏塊MBl的垂直邊界的濾波需要判定處理。在終止對(duì)于宏塊MBl的處理之后，相繼進(jìn)行對(duì)于宏塊MB2的處理(第九步驟到第十二步驟)。在終止對(duì)于宏塊MB2的處理之后，相繼進(jìn)行對(duì)于宏塊MB3的處理(第十三步驟到第十六步驟)。
[0178]程度有限的這種并行處理不能令人滿意地解決由當(dāng)應(yīng)用去塊濾波器時(shí)的較大處理量引起的延遲或數(shù)據(jù)速率的降低的問題。下面說明的3個(gè)實(shí)施例進(jìn)一步改善當(dāng)應(yīng)用去塊濾波器時(shí)的并行處理。
[0179]〈3.第一實(shí)施例〉
[0180][3-1.去塊濾波器結(jié)構(gòu)例子]
[0181]下面說明按照第一實(shí)施例，圖1中所示的圖像編碼設(shè)備10的去塊濾波器24a，和圖2中所示的圖像解碼設(shè)備60的去塊濾波器24b的例證結(jié)構(gòu)。去塊濾波器24a和去塊濾波器24b的結(jié)構(gòu)可以彼此相同。在下面的說明中，當(dāng)不需要相互區(qū)分去塊濾波器24a和去塊濾波器24b時(shí)，它們都被統(tǒng)稱為去塊濾波器24。
[0182](I)新處理之間的依存關(guān)系
[0183]按照本實(shí)施例，利用去塊濾波器24的處理還包括兩種處理，即，濾波需要判定處理和濾波處理。在關(guān)于垂直邊界和水平邊界之一的濾波需要判定處理中，去塊濾波器24跨越多個(gè)宏塊地把輸入去塊濾波器的圖像的像素值用于所述判定。例如，如果垂直邊界在水平邊界之前被處理，那么去塊濾波器24可以對(duì)特定塊的垂直邊界進(jìn)行濾波需要判定處理，而不必等待對(duì)于相鄰塊的水平邊界的濾波處理。如果水平邊界在垂直邊界之前被處理，那么去塊濾波器24可對(duì)特定塊的水平邊界進(jìn)行濾波需要判定處理，而不必等待對(duì)于相鄰塊的水平邊界的濾波處理。結(jié)果將減輕宏塊之間的處理的依存關(guān)系。 [0184]減輕宏塊之間的處理的依存關(guān)系能夠在圖像內(nèi)的多個(gè)宏塊之間，使處理并行。例如，這使得能夠?qū)斎雸D像內(nèi)的所有塊的垂直邊界，并行地進(jìn)行濾波需要判定處理。這還使得能夠?qū)斎雸D像內(nèi)的所有塊的水平邊界，并行地進(jìn)行濾波需要判定處理。
[0185]圖11是圖解說明可用于本實(shí)施例的處理序列的說明圖。本例還假定去塊濾波器被供給大小為32X32像素的圖像。該輸入圖像包括大小均為16X16像素的4個(gè)宏塊MB0-MB3。
[0186]在圖11中，每個(gè)虛線框代表將并行進(jìn)行的處理。雖然對(duì)于處理序列，圖10中的例子需要16個(gè)處理步驟，不過，圖11中的例子把相同數(shù)目的處理集合成4個(gè)處理步驟。第一步驟對(duì)所有宏塊MB0-MB3的所有垂直邊界和所有水平邊界，并行地進(jìn)行濾波需要判定處理Jvo,o~3和Jmo~JH3，3。第二步驟對(duì)所有宏塊MB0-MB3的16個(gè)垂直邊界，并行地進(jìn)行濾波處理Fvtltl~FV3，3。第三步驟對(duì)所有宏塊MB0-MB3的所有水平邊界，并行地進(jìn)行濾波需要判定處理Fhc^ci~FH3，3。第四步驟對(duì)所有宏塊MB0-MB3的16個(gè)水平邊界，并行地進(jìn)行濾波處理Fm。~FH3，3。如果在垂直邊界之前處理水平邊界，那么第三步驟和第四步驟可在第一步驟和第二步驟之前。
[0187]圖11提供通過在圖像中的所有宏塊內(nèi)使處理并行，使并行度(并行進(jìn)行的處理)達(dá)到最大的例子。然而不限于本例，可在一些宏塊內(nèi)，而不是在圖像中的所有宏塊中，使處理并行。
[0188](2)去塊濾波器的詳細(xì)結(jié)構(gòu)
[0189]圖12是圖解說明按照第一實(shí)施例的進(jìn)行上述并行處理的去塊濾波器24的詳細(xì)結(jié)構(gòu)的方框圖。參見圖12，去塊濾波器24包括垂直判定部件110、水平判定部件114、水平濾波部件130、垂直濾波部件140和并行化控制部分150。
[0190](2-1)垂直判定部件
[0191]垂直判定部件110包括多個(gè)垂直邊界判定部分112-1~112-n。每個(gè)垂直邊界判定部分112被供給輸入去塊濾波器24的圖像，和用于判定是否需要濾波的判定信息。
[0192]垂直邊界判定部分112-1~112-n通過跨圖像內(nèi)的多個(gè)宏塊地利用輸入去塊濾波器24的圖像的像素值，判定是否把去塊濾波器應(yīng)用于垂直邊界。每個(gè)垂直邊界判定部分112向水平濾波部件130提供指示關(guān)于每個(gè)垂直邊界的判定結(jié)果的信息，比如指示值“I”強(qiáng)制去塊濾波器的應(yīng)用的判定結(jié)果的二進(jìn)制信息。
[0193](2-2)水平濾波部件[0194]水平濾波部件130包括多個(gè)水平濾波部件132-1?132_n。每個(gè)水平濾波部件132被供給輸入的圖像，和來自垂直判定部件110的關(guān)于每個(gè)垂直邊界的判定結(jié)果。
[0195]來自對(duì)應(yīng)的垂直邊界判定部分112的判定結(jié)果可指示需要應(yīng)用濾波器。在這種情況下，每個(gè)水平濾波部件132把關(guān)于該垂直邊界的去塊濾波器應(yīng)用于在該垂直邊界左右兩側(cè)的元素。每個(gè)水平濾波部件132向水平判定部件114和垂直濾波部件140提供關(guān)于應(yīng)用濾波器的像素的濾波后像素值，和關(guān)于其它像素的輸入圖像的像素值。
[0196](2-3)水平判定部件
[0197]水平判定部件114包括多個(gè)水平邊界判定部分116-1?116_n。每個(gè)水平邊界判定部分116被供給在由水平濾波部件130進(jìn)行濾波之后的像素值，和用于判定是否需要濾波的判定信息。
[0198]水平邊界判定部分116-1?116-n通過跨圖像內(nèi)的多個(gè)宏塊，利用在由水平濾波部件130進(jìn)行濾波之后的像素值，判定是否對(duì)水平邊界應(yīng)用去塊濾波器。每個(gè)水平邊界判定部分116把指示關(guān)于每個(gè)水平邊界的判定結(jié)果的信息，提供給垂直濾波部件140。
[0199](2-4)垂直濾波部件
[0200]垂直濾波部件140包括多個(gè)垂直濾波部件142-1?142_n。每個(gè)垂直濾波部件142被供給在由水平濾波部件130進(jìn)行濾波之后的像素值，和來自水平判定部件114的關(guān)于每個(gè)水平邊界的判定結(jié)果。
[0201]來自對(duì)應(yīng)的水平邊界判定部分116的判定結(jié)果可指示需要應(yīng)用該濾波器。在這種情況下，每個(gè)垂直濾波部件142把關(guān)于該水平邊界的去塊濾波器應(yīng)用于在該水平邊界上下兩側(cè)的元素。每個(gè)垂直濾波部件142向應(yīng)用濾波器的像素供給濾波后的像素值，向其它像素供給從水平濾波部件130提供的像素值。來自每個(gè)垂直濾波部件142的輸出可構(gòu)成來自去塊濾波器24的輸出圖像。
[0202](3)判定部分的更詳細(xì)結(jié)構(gòu)
[0203]圖13是圖解說明每個(gè)垂直邊界判定部分112和水平邊界判定部分116的詳細(xì)結(jié)構(gòu)的方框圖。參見圖13，每個(gè)判定部分包括抽頭構(gòu)成部分121、計(jì)算部分122、閾值比較部分123、失真評(píng)估部分124和濾波判定部分125。
[0204]抽頭構(gòu)成部分121從輸入圖像中的跨越關(guān)注的邊界相鄰的兩個(gè)塊的像素值中，獲得參考像素值，并構(gòu)成確定上述亮度分量的判定條件B的抽頭(一組參考像素值)。例如，在大小都為8X8像素的塊中，可關(guān)注垂直邊界。這種情況下，抽頭構(gòu)成部分121根據(jù)屬于在左右兩側(cè)的兩個(gè)塊的第三行和第六行的像素值，構(gòu)成抽頭。如果關(guān)注水平邊界，那么抽頭構(gòu)成部分121可根據(jù)屬于在上下兩側(cè)的兩個(gè)塊的第三列和第六列的像素值，構(gòu)成抽頭。計(jì)算部分122把利用抽頭構(gòu)成部分121構(gòu)成的抽頭賦給判定條件B中的判定表達(dá)式的左側(cè)，并計(jì)算將與邊緣判定閾值β比較的邊緣值。閾值比較部分123比較計(jì)算部分122計(jì)算的值和邊緣判定閾值β，并把比較結(jié)果輸出給濾波判定部分125。
[0205]失真評(píng)估部分124利用作為判定信息供給的模式信息(MB模式)、變換系數(shù)信息和運(yùn)動(dòng)矢量信息，評(píng)估上述亮度分量的判定條件Α。失真評(píng)估部分124把評(píng)估結(jié)果輸出給濾波判定部分125。失真評(píng)估部分124根據(jù)模式信息，只評(píng)估色度分量的判定條件Al。
[0206]濾波判定部分125根據(jù)從閾值比較部分123供給的判定條件B的比較結(jié)果，和從失真評(píng)估部分124供給的判定條件A的評(píng)估結(jié)果，判定是否對(duì)關(guān)注的邊界應(yīng)用去塊濾波器。濾波判定部分125輸出指示判定結(jié)果的信息。
[0207](4)并行化控制部分
[0208]圖12中所示的并行化控制部分150控制垂直判定部件110和水平判定部件114中的濾波需要判定處理的并行度，以及水平濾波部件130和垂直濾波部件140中的濾波處理的并行度。
[0209]例如，并行化控制部分150可根據(jù)輸入的圖像大小，控制每個(gè)塊的處理的并行度。更具體地，如果輸入的圖像大小較大，那么并行化控制部分150增大每個(gè)塊的處理的并行度。這可自適應(yīng)地防止由與圖像大小相應(yīng)地增大的處理量引起的延遲或數(shù)據(jù)速率的降低。例如，并行化控制部分150可根據(jù)序列參數(shù)組、圖片參數(shù)組、或者包含在切片報(bào)頭中的參數(shù)，控制每個(gè)塊的處理的并行度。這使得能夠按照開發(fā)設(shè)備的用戶的要求，靈活地配置并行度。例如，可按照對(duì)安裝環(huán)境的限制，比如處理器核的數(shù)目，或者軟件線程的數(shù)目，配置并行度。
[0210]本實(shí)施例能夠使宏塊間的處理并行。這意味對(duì)于圖像內(nèi)的各個(gè)塊的任何處理序列對(duì)最終的輸出結(jié)果沒有影響。因而，并行化控制部分150能夠基于塊地控制垂直判定部件110和水平判定部件114中的濾波需要判定處理序列，和水平濾波部件130和垂直濾波部件140中的濾波處理序列。
[0211]更具體地，并行化控制部分150可按照宏塊之間的濾波處理的依存關(guān)系，控制濾波處理序列。例如，按照現(xiàn)有技術(shù)，在切片邊界周圍的鄰近宏塊之間的處理的依存關(guān)系會(huì)延遲對(duì)圖像內(nèi)的每個(gè)切片的并行處理。然而，按照本實(shí)施例的并行化控制部分150能夠在其它宏塊之前，對(duì)在切片邊界周圍的鄰近宏塊進(jìn)行濾波處理。
[0212]例如，圖14圖解說明切片邊界周圍的8個(gè)宏塊MB10-MB13和MB20-MB23。宏塊MB10-MB13屬于切片SL1。宏塊MB20-MB23屬于切片SL2。就這些宏塊來說，對(duì)于切片SL2中的宏塊MB20上的水平邊界的濾波處理取決于對(duì)于切片SLl中的宏塊MB12上的垂直邊界的濾波處理。類似地，對(duì)于切片SL2中的宏塊MB21上的水平邊界的濾波處理取決于對(duì)于切片SLl中的宏塊MB13上的垂直邊界的濾波處理。
[0213]在這些條件下，按照?qǐng)D15中的例子，并行化控制部分150優(yōu)先于對(duì)其它邊界的處理，進(jìn)行關(guān)于切片SLl的濾波處理中的對(duì)宏塊MB12和MB13的垂直邊界的濾波處理。結(jié)果將防止在關(guān)于切片SL2的濾波處理中的對(duì)宏塊MB20和MB21的水平邊界的濾波處理中，出現(xiàn)較大的延遲。圖16中的例子最初對(duì)包含在切片SLl中的所有宏塊的垂直邊界，并行地進(jìn)行濾波處理。另外在這種情況下，在對(duì)于切片SL2中的宏塊MB20和MB21的水平邊界的濾波處理中，不出現(xiàn)任何延遲。
[0214][3-2.判定條件變形例]
[0215]如上所述，類似于在圖4中圖解說明的現(xiàn)有技術(shù)，每個(gè)垂直邊界判定部分112參考與塊中的第三行和第六行對(duì)應(yīng)的像素，并對(duì)于每個(gè)塊的垂直邊界，判定是否需要濾波。同樣地，每個(gè)水平邊界判定部分116參考與塊中的第三列和第六列對(duì)應(yīng)的像素，并對(duì)于每個(gè)塊的水平邊界，判定是否需要濾波。在這種情況下，能夠容易地實(shí)現(xiàn)按照本實(shí)施例的結(jié)構(gòu)，而不改變?yōu)楝F(xiàn)有設(shè)備提供的濾波需要判定處理的判定條件。
[0216]每個(gè)垂直邊界判定部分112和每個(gè)水平邊界判定部分116可利用與現(xiàn)有技術(shù)不同的判定條件，進(jìn)行判定。例如，每個(gè)垂直邊界判定部分112可參考與塊中的3列或者更多列對(duì)應(yīng)的像素。每個(gè)水平邊界判定部分116可參考與塊中的3列或者更多列對(duì)應(yīng)的像素。另外，每個(gè)垂直邊界判定部分112和每個(gè)水平邊界判定部分116可利用和現(xiàn)有技術(shù)不同的判定條件表達(dá)式。參見圖17-19，下面說明按照本實(shí)施例的判定技術(shù)的6個(gè)例子。
[0217](I)第一個(gè)例子
[0218]圖17是圖解說明判定技術(shù)的第一個(gè)和第二個(gè)例子的說明圖。在第一個(gè)和第二個(gè)例子中，關(guān)于垂直邊界的濾波需要判定處理(特別地，把判定條件B用于亮度分量的判定)參考每個(gè)塊中的從第一行到第八行的所有各行L1-L8的像素。關(guān)于水平邊界的濾波需要判定處理同樣參考每個(gè)塊中的從第一列到第八列的所有各列的像素。
[0219]第一個(gè)例子可如下定義亮度分量的判定條件。
[0220]亮度分量(Luma)的判定條件…如果條件A和條件B都為真，那么應(yīng)用去塊濾波器。
[0221]條件A:
[0222](Al)塊Ba或Bb都進(jìn)入幀內(nèi)預(yù)測(cè)模式；
[0223](A2)塊Ba或Bb具有非零正交變換系數(shù)；或者
[0224](A3) I MVAx-MVBx | ≥ 4 或 | MVAy-MVBy | ≥ 4
[0225]條件B:
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 水平濾波部件，所述水平濾波部件被配置成當(dāng)編碼待編碼圖像時(shí)，把去塊濾波器應(yīng)用于在要局部解碼的圖像內(nèi)的與垂直塊邊界相鄰的相鄰塊； 控制部件，所述控制部件被配置成使水平濾波部件將多個(gè)塊中的多個(gè)垂直塊邊界作為處理單位，濾波與所述多個(gè)垂直塊邊界中的每一個(gè)相鄰的相鄰塊；以及 編碼部件，所述編碼部件被配置成利用由水平濾波部件濾波的圖像，編碼所述待編碼圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中所述控制部件使水平濾波部件將所述多個(gè)垂直塊邊界設(shè)定為所述處理單位。
3.按照權(quán)利要求2所述的圖像處理設(shè)備， 其中所述控制部件使水平濾波部件濾波每個(gè)垂直塊邊界，而不依賴于其他垂直塊邊界的濾波結(jié)果。
4.按照權(quán)利要求3所述的圖像處理設(shè)備， 其中所述控制部件使水平濾波部件使用不會(huì)在對(duì)彼此不同的垂直塊邊界的濾波之間產(chǎn)生依存關(guān)系的塊大小，作為每個(gè)塊的塊大小。
5.按照權(quán)利要求1所述的圖像處理設(shè)備，還包括: 垂直濾波部件，所述垂直濾波部件被配置成將去塊濾波器應(yīng)用于在所述圖像內(nèi)的與水平塊邊界相鄰的相鄰塊， 其中所述控制部件使垂直濾波部件將多個(gè)塊中的多個(gè)水平塊邊界作為處理單位，濾波與所述多個(gè)水平塊邊界中的每一個(gè)相鄰的相鄰塊。
6.按照權(quán)利要求5所述的圖像處理設(shè)備， 其中所述控制部件使垂直濾波部件將所述多個(gè)水平塊邊界設(shè)定為所述處理單位。
7.按照權(quán)利要求6所述的圖像處理設(shè)備， 其中所述控制部件使垂直濾波部件濾波每個(gè)水平塊邊界，而不依賴于其他水平塊邊界的濾波結(jié)果。
8.按照權(quán)利要求7所述的圖像處理設(shè)備， 其中所述控制部件使垂直濾波部件使用不會(huì)在對(duì)彼此不同的水平塊邊界的濾波之間產(chǎn)生依存關(guān)系的塊大小，作為每個(gè)塊的塊大小。
9.按照權(quán)利要求8所述的圖像處理設(shè)備， 其中所述控制部件使水平濾波部件和垂直濾波部件使用8X8像素作為所述塊大小。
10.按照權(quán)利要求9所述的圖像處理設(shè)備， 其中控制部件使水平濾波部件并行地濾波多個(gè)垂直塊邊界，隨后使垂直濾波部件并行地濾波多個(gè)水平塊邊界。
11.按照權(quán)利要求10所述的圖像處理設(shè)備， 其中所述編碼部件按分級(jí)塊的單位對(duì)要編碼的圖像進(jìn)行編碼，并且 其中按分級(jí)塊的單位對(duì)要編碼的圖像進(jìn)行局部解碼。
12.按照權(quán)利要求11所述的圖像處理設(shè)備，還包括: 判定部件，被配置成將多個(gè)塊中的多個(gè)垂直塊邊界作為處理單位，判定是否將去塊濾波器應(yīng)用于與所述多個(gè)垂直塊邊界中的每一個(gè)相鄰的相鄰塊，其中所述控制部件使所述水平濾波部件根據(jù)來自所述判定部件的判定結(jié)果執(zhí)行濾波。
13.按照權(quán)利要求12所述的圖像處理設(shè)備， 其中所述判定部件將多個(gè)塊中的多個(gè)水平塊邊界作為處理單位，判定是否將去塊濾波器應(yīng)用于與所述多個(gè)水平塊邊界中的每一個(gè)相鄰的相鄰塊，并且 其中所述控制部件使所述垂直濾波部件根據(jù)來自所述判定部件的判定結(jié)果執(zhí)行濾波。
14.一種圖像處理方法，包括: 執(zhí)行水平濾波，以在編碼待編碼圖像時(shí)，把去塊濾波器應(yīng)用于在局部解碼的圖像內(nèi)的與垂直塊邊界相鄰的相鄰塊； 控制所述水平濾波，以多個(gè)塊中的多個(gè)垂直塊邊界作為處理單位濾波與所述多個(gè)垂直塊邊界中的每一個(gè)相鄰的相鄰塊；以及 利用通過水平濾波濾波后的圖像，編碼所述待編碼圖像。
【文檔編號(hào)】H04N19/436GK103716632SQ201310654537
【公開日】2014年4月9日 申請(qǐng)日期:2011年12月2日 優(yōu)先權(quán)日:2010年12月7日
【發(fā)明者】池田優(yōu), 田中潤(rùn)一, 森上義崇 申請(qǐng)人:索尼公司