專利名稱：用于對視頻進行編碼的方法和設備以及用于對視頻進行解碼的方法和設備的制作方法
技術(shù)領域：
本發(fā)明涉及對視頻進行編碼和解碼，更具體地說，涉及對視頻更精確地執(zhí)行雙向運動預測和補償?shù)奶幚怼?
背景技術(shù)：
隨著用于再現(xiàn)和存儲高分辨率或高質(zhì)量視頻內(nèi)容的硬件的發(fā)展和提供，對有效地對高分辨率或高質(zhì)量視頻內(nèi)容進行編碼或解碼的視頻編解碼器的需求正在增加。在傳統(tǒng)的視頻編解碼器中，基于具有預定尺寸的宏塊，根據(jù)受限的編碼方法對視頻進行編碼。

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明提供用于對圖像進行編碼和解碼的方法和設備，所述方法和設備在對運動信息進行編碼所需的比特數(shù)量無需大量增加的情況下，精確地執(zhí)行像素單位的雙向運動預測和補償。技術(shù)方案根據(jù)本發(fā)明的實施例，通過基于參考畫面的像素的光流以及塊單位的運動補償?shù)慕Y(jié)果執(zhí)行像素單位的運動補償，在與運動補償模式有關的信息的附加開銷無需增加的情況下，執(zhí)行更精確的運動預測和補償。有益效果根據(jù)本發(fā)明，在對運動信息進行編碼所需的比特數(shù)量無需大量增加的情況下，執(zhí)行精確的像素單位的雙向運動預測和補償。


圖I是根據(jù)本發(fā)明的實施例的用于對視頻進行編碼的設備的框圖；圖2是根據(jù)本發(fā)明的實施例的用于對視頻進行解碼的設備的框圖；圖3是用于描述根據(jù)本發(fā)明的實施例的編碼單元的概念的示圖；圖4是根據(jù)本發(fā)明的實施例的基于編碼單元的圖像編碼器的框圖；圖5是根據(jù)本發(fā)明的實施例的基于編碼單元的圖像解碼器的框圖；圖6是示出根據(jù)本發(fā)明的實施例的根據(jù)深度的較深層編碼單元以及分區(qū)的示圖；圖7是用于描述根據(jù)本發(fā)明的實施例的編碼單元和變換單元之間的關系的示圖；圖8是用于描述根據(jù)本發(fā)明的實施例的與編碼深度相應的編碼單元的編碼信息的示圖；圖9是根據(jù)本發(fā)明的實施例的根據(jù)深度的較深層編碼單元的示圖；圖10至圖12是用于描述根據(jù)本發(fā)明的實施例的編碼單元、預測單元和變換單元之間的關系的示圖13是用于描述根據(jù)表I的編碼模式信息的編碼單元、預測單元或分區(qū)以及變換單元之間的關系的示圖；圖14是根據(jù)本發(fā)明的實施例的運動補償器的框圖；圖15是用于描述根據(jù)本發(fā)明的實施例的基于塊的雙向運動預測和補償?shù)奶幚淼膮⒖际緢D；圖16是用于描述根據(jù)本發(fā)明的實施例的執(zhí)行像素單位的運動補償?shù)奶幚淼膮⒖际緢D；圖17是用于描述根據(jù)本發(fā)明的實施例的計算水平方向梯度和垂直方向梯度的處 理的參考示圖；圖18是用于描述根據(jù)本發(fā)明的另一實施例的計算水平方向梯度和垂直方向梯度的處理的參考示圖；圖19是示出根據(jù)本發(fā)明的實施例的梯度計算濾波器的濾波器系數(shù)的表；圖20是用于描述根據(jù)本發(fā)明的實施例的確定水平方向位移矢量和垂直方向位移矢量的處理的參考示圖；圖21是示出根據(jù)本發(fā)明的實施例的對視頻進行編碼的方法的流程圖；圖22是根據(jù)本發(fā)明的實施例的包括在解碼設備中的運動補償器的框圖；圖23是示出根據(jù)本發(fā)明的實施例的對視頻進行解碼的方法的流程圖。最佳實施方式根據(jù)本發(fā)明的一方面，提供了一種對視頻進行編碼的方法，所述方法包括執(zhí)行用于確定第一運動矢量和第二運動矢量的雙向運動預測，其中，第一運動矢量和第二運動矢量分別指示在第一參考畫面和第二參考畫面中與當前塊最相似的第一相應區(qū)域和第二相應區(qū)域；通過使用第一運動矢量和第二運動矢量，對當前塊執(zhí)行塊單位的雙向運動補償；通過使用第一參考畫面和第二參考畫面的像素，對當前塊的每個像素執(zhí)行像素單位的運動補償；通過使用塊單位的雙向運動補償?shù)慕Y(jié)果和像素單位的運動補償?shù)慕Y(jié)果，產(chǎn)生當前塊的雙向運動預測值。根據(jù)本發(fā)明的另一方面，提供了一種對視頻進行解碼的方法，所述方法包括從比特流提取關于將被解碼的當前塊的運動預測模式的信息；當提取的運動預測模式是使用像素單位的運動補償值的雙向運動預測模式時，從比特流提取關于第一運動矢量和第二運動矢量的信息，其中，第一運動矢量和第二運動矢量分別指示在第一參考畫面和第二參考畫面中與當前塊最相似的第一相應區(qū)域和第二相應區(qū)域；通過使用第一運動矢量和第二運動矢量，對當前塊執(zhí)行塊單位的雙向運動補償；通過使用第一參考畫面和第二參考畫面的像素，對當前塊的每個像素執(zhí)行像素單位的運動補償；通過使用塊單位的雙向運動補償?shù)慕Y(jié)果和像素單位的運動補償?shù)慕Y(jié)果，產(chǎn)生當前塊的雙向運動預測值。根據(jù)本發(fā)明的另一方面，提供了一種用于對視頻進行編碼的設備，所述設備包括運動預測器，執(zhí)行用于確定第一運動矢量和第二運動矢量的雙向運動預測，其中，第一運動矢量和第二運動矢量分別指示在第一參考畫面和第二參考畫面中與當前塊最相似的第一相應區(qū)域和第二相應區(qū)域；塊單位的運動補償器，通過使用第一運動矢量和第二運動矢量，對當前塊執(zhí)行塊單位的雙向運動補償；像素單位的運動補償器，通過使用第一參考畫面和第二參考畫面的像素，對當前塊的每個像素執(zhí)行像素單位的運動補償；預測值產(chǎn)生器，通過塊單位的雙向運動補償?shù)慕Y(jié)果和像素單位的運動補償?shù)慕Y(jié)果，產(chǎn)生當前塊的雙向運動預測值。根據(jù)本發(fā)明的另一方面，提供了一種用于對視頻進行解碼的設備，所述設備包括熵解碼器，從比特流提取關于將被解碼的當前塊的運動預測模式的信息，當提取的運動預測模式是使用像素單位的運動補償值的雙向運動預測模式時，從比特流提取關于第一運動矢量和第二運動矢量的信息，其中，第一運動矢量和第二運動矢量分別指示在第一參考畫面和第二參考畫面中與當前塊最相似的第一相應區(qū)域和第二相應區(qū)域；塊單位的運動補償器，通過使用第一運動矢量和第二運動矢量，對當前塊執(zhí)行塊單位的雙向運動補償；像素單位的運動補償器，通過使用第一參考畫面和第二參考畫面的像素，對當前塊的每個像素執(zhí)行像素單位的運動補償；預測值產(chǎn)生器，通過使用塊單位的雙向運動補償?shù)慕Y(jié)果和像素單位的運動補償?shù)慕Y(jié)果，產(chǎn)生當前塊的雙向運動預測值。
具體實施例方式以下，將參考附圖更充分地描述本發(fā)明，在附圖中示出本發(fā)明的示例性實施例。圖I是根據(jù)本發(fā)明的實施例的視頻編碼設備100的框圖。視頻編碼設備100包括最大編碼單元劃分器110、編碼單元確定器120和輸出單元130。最大編碼單元劃分器110可基于圖像的當前畫面的最大編碼單元對當前畫面進行劃分。如果當前畫面大于最大編碼單元，則當前畫面的圖像數(shù)據(jù)可被劃分為至少一個最大編碼單元。根據(jù)本發(fā)明的實施例的最大編碼單元可以是尺寸為32X32、64X64、128X 128、256X256等的數(shù)據(jù)單元，其中，數(shù)據(jù)單元的形狀是寬度和高度為2的若干次方并 大于8的正方形。圖像數(shù)據(jù)可根據(jù)所述至少一個最大編碼單元被輸出到編碼單元確定器120。根據(jù)本發(fā)明的實施例的編碼單元可由最大尺寸以及深度來表征。深度表示編碼單元從最大編碼單元被空間劃分的次數(shù)，并且隨著深度加深，根據(jù)深度的較深層編碼單元可從最大編碼單元被劃分為最小編碼單元。最大編碼單元的深度是最上層深度，最小編碼單元的深度是最下層深度。由于與每個深度相應的編碼單元的尺寸隨著最大編碼單元的深度加深而減小，因此，與上層深度相應的編碼單元可包括多個與下層深度相應的編碼單元。如上所述，當前畫面的圖像數(shù)據(jù)根據(jù)編碼單元的最大尺寸而被劃分為最大編碼單元，所述最大編碼單元中的每一個可包括根據(jù)深度被劃分的較深層編碼單元。由于根據(jù)本發(fā)明的實施例的最大編碼單元根據(jù)深度被劃分，因此包括在最大編碼單元中的空間域的圖像數(shù)據(jù)可根據(jù)深度被分層劃分?？深A先確定編碼單元的最大深度和最大尺寸,所述最大深度和最大尺寸限定最大編碼單元的高度和寬度被分層劃分的總次數(shù)。編碼單元確定器120對通過根據(jù)深度劃分最大編碼單元的區(qū)域而獲得的至少一個劃分的區(qū)域進行編碼，并根據(jù)所述至少一個劃分的區(qū)域確定用于輸出最終編碼的圖像數(shù)據(jù)的深度。換句話說，編碼單元確定器120通過根據(jù)當前畫面的最大編碼單元按照根據(jù)深度的較深層編碼單元對圖像數(shù)據(jù)進行編碼，并選擇具有最小編碼誤差的深度，來確定編碼深度。確定的編碼深度和根據(jù)確定的編碼深度的編碼圖像數(shù)據(jù)被輸出到輸出單元130。
基于與等于或低于最大深度的至少一個深度相應的較深層編碼單元對最大編碼單元中的圖像數(shù)據(jù)進行編碼，并基于較深層編碼單元中的每一個來比較對圖像數(shù)據(jù)進行編碼的結(jié)果。在比較較深層編碼單元的編碼誤差之后，可選擇具有最小編碼誤差的深度?？舍槍γ總€最大編碼單元選擇至少一個編碼深度。隨著編碼單元根據(jù)深度而被分層劃分，并且隨著編碼單元的數(shù)量增加，最大編碼單元的尺寸被劃分。此外，即使在一個最大編碼單元中編碼單元相應于相同深度，也通過分別測量每個編碼單元的圖像數(shù)據(jù)的編碼誤差來確定是否將與相同深度相應的編碼單元中的每一個劃分到下層深度。因此，即使當圖像數(shù)據(jù)被包括在一個最大編碼單元中時，在所述一個最大編碼單元中，編碼誤差也可根據(jù)區(qū)域而不同，因此，編碼深度可根據(jù)圖像數(shù)據(jù)中的區(qū)域而不同。因此，在一個最大編碼單元中可確定一個或多個編碼深度，并可根據(jù)至少一個編碼深度的編碼單元來劃分最大編碼單元的圖像數(shù)據(jù)。
因此，編碼單元確定器120可確定包括在最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元。根據(jù)本發(fā)明的實施例的“具有樹結(jié)構(gòu)的編碼單元”包括有在最大編碼單元中包括的所有較深層編碼單元中與被確定為編碼深度的深度相應的編碼單元。在最大編碼單元的相同區(qū)域中，編碼深度的編碼單元可根據(jù)深度被分層確定，在不同的區(qū)域中，編碼深度的編碼單元可被獨立地確定。類似地，當前區(qū)域中的編碼深度可獨立于另一區(qū)域中的編碼深度被確定。根據(jù)本發(fā)明的實施例的最大深度是關于從最大編碼單元到最小編碼單元的劃分次數(shù)的索引。根據(jù)本發(fā)明的實施例的第一最大深度可表示從最大編碼單元到最小編碼單元的總劃分次數(shù)。根據(jù)本發(fā)明的實施例的第二最大深度可表示從最大編碼單元到最小編碼單元的深度級的總數(shù)。例如，當最大編碼單元的深度為O時，最大編碼單元被劃分一次的編碼單元的深度可被設置為1，最大編碼單元被劃分兩次的編碼單元的深度可被設置為2。這里，如果最小編碼單元是最大編碼單元被劃分四次的編碼單元，則存在深度O、1、2、3和4這5個深度級，因此，第一最大深度可被設置為4，第二最大深度可被設置為5?？筛鶕?jù)最大編碼單元執(zhí)行預測編碼和變換。還可根據(jù)最大編碼單元，基于根據(jù)等于最大深度的深度或小于最大深度的深度的較深層編碼單元來執(zhí)行預測編碼和變換。由于每當最大編碼單元根據(jù)深度被劃分時較深層編碼單元的數(shù)量增加，因此可針對隨著深度加深而產(chǎn)生的所有較深層編碼單元執(zhí)行包括預測編碼和變換的編碼。為了便于描述，現(xiàn)在將基于最大編碼單元中的當前深度的編碼單元來描述預測編碼和變換。視頻編碼設備100可不同地選擇用于對圖像數(shù)據(jù)進行編碼的數(shù)據(jù)單元的尺寸或形狀。為了對圖像數(shù)據(jù)進行編碼，執(zhí)行諸如預測編碼、變換和熵編碼的操作，此時，可針對所有操作使用相同的數(shù)據(jù)單元，或者可針對每個操作使用不同的數(shù)據(jù)單元。例如，視頻編碼設備100不僅可選擇用于對圖像數(shù)據(jù)進行編碼的編碼單元，還可選擇與編碼單元不同的數(shù)據(jù)單元，以便對編碼單元中的圖像數(shù)據(jù)執(zhí)行預測編碼。為了在最大編碼單元中執(zhí)行預測編碼，可基于與編碼深度相應的編碼單元(即，基于不再被劃分為與下層深度相應的編碼單元的編碼單元)執(zhí)行預測編碼。以下，現(xiàn)將不再被劃分并且變成用于預測編碼的基本單元的編碼單元稱為“預測單元”。通過對預測單元進行劃分所獲得的分區(qū)(partition)可包括預測單元或通過對預測單元的高度和寬度中的至少一個進行劃分所獲得的數(shù)據(jù)單元。
例如，當2NX2N (其中，N是正整數(shù))的編碼單元不再被劃分，并且變成2NX2N的預測單元時，分區(qū)的尺寸可以是2NX 2N、2NX N、NX 2N或NX N。分區(qū)類型的示例包括通過對預測單元的高度或?qū)挾冗M行對稱劃分所獲得的對稱分區(qū)、通過對預測單元的高度或?qū)挾冗M行不對稱劃分(諸如l:n或η: I)所獲得的分區(qū)、通過對預測單元進行幾何劃分所獲得的分區(qū)以及具有任意形狀的分區(qū)。預測單元的預測模式可以是幀內(nèi)模式、幀間模式和跳過模式中的至少一個。例如，可針對2ΝX 2Ν、2ΝX N、NX 2Ν或NX N的分區(qū)執(zhí)行幀內(nèi)模式或幀間模式。此外，可僅針對2ΝΧ2Ν的分區(qū)執(zhí)行跳過模式。針對編碼單元中的一個預測單元獨立地執(zhí)行編碼，從而選擇具有最小編碼誤差的預測模式。視頻編碼設備100還可不僅基于用于對圖像數(shù)據(jù)進行編碼的編碼單元，還基于不同于編碼單元的數(shù)據(jù)單元，對編碼單元中的圖像數(shù)據(jù)執(zhí)行變換。為了在編碼單元中執(zhí)行變換，可基于具有小于或等于編碼單元的尺寸的數(shù)據(jù)單元來執(zhí)行變換。例如，用于變換的數(shù)據(jù)單元可包括用于幀內(nèi)模式的數(shù)據(jù)單元和用于幀間模式的數(shù)據(jù)單元。現(xiàn)將用作變換的基礎的數(shù)據(jù)單元稱為“變換單元”。與編碼單元類似，編碼單元中的變換單元可被遞歸地劃分為更小尺寸的區(qū)域，從而可以以區(qū)域為單位獨立地確定變換單元。因此，編碼單元中的殘差數(shù)據(jù)可基于根據(jù)變換深度的具有樹結(jié)構(gòu)的變換單元被劃分。還可在變換單元中設置變換深度，所述變換深度指示通過對編碼單元的高度和寬度進行劃分來實現(xiàn)變換單元的劃分次數(shù)。例如，在2ΝΧ2Ν的當前編碼單元中，當變換單元的尺寸為2ΝΧ2Ν時，變換深度可以是0，當變換單元的尺寸是NXN時，變換深度可以是1，當變換單元的尺寸是Ν/2 X Ν/2時，變換深度可以是2。換句話說，可根據(jù)變換深度設置具有樹結(jié)構(gòu)的變換單元。根據(jù)與編碼深度相應的編碼單元的編碼信息不僅需要關于編碼深度的信息，還需要關于與預測編碼和變換有關的信息的信息。因此，編碼單元確定器120不僅確定具有最小編碼誤差的編碼深度，還確定預測單元中的分區(qū)類型、根據(jù)預測單元的預測模式和用于變換的變換單元的尺寸。稍后將參照圖3至圖12詳細描述根據(jù)本發(fā)明的實施例的最大編碼單元中的根據(jù)樹結(jié)構(gòu)的編碼單元以及確定分區(qū)的方法。編碼單元確定器120可通過使用基于拉格朗日乘子的率失真優(yōu)化來測量根據(jù)深度的較深層編碼單元的編碼誤差。輸出單元130在比特流中輸出最大編碼單元的圖像數(shù)據(jù)以及關于根據(jù)編碼深度的編碼模式的信息，其中，所述圖像數(shù)據(jù)基于由編碼單元確定器120確定的至少一個編碼深度被編碼。可通過對圖像的殘差數(shù)據(jù)進行編碼來獲得編碼圖像數(shù)據(jù)。關于根據(jù)編碼深度的編碼模式的信息可包括關于編碼深度的信息、關于預測單元中的分區(qū)類型的信息、預測模式以及變換單元的尺寸?？赏ㄟ^使用根據(jù)深度的劃分信息來定義關于編碼深度的信息，所述劃分信息指示是否針對下層深度而不是當前深度的編碼單元來執(zhí)行編碼。如果當前編碼單元的當前深度是編碼深度，則當前編碼單元中的圖像數(shù)據(jù)被編碼并被輸出，因此劃分信息可被定義為不將當前編碼單元劃分到下層深度?？蛇x地，如果當前編碼單元的當前深度不是編碼深度，則針對下層深度的編碼單元來執(zhí)行編碼，因此，劃分信息可被定義為劃分當前編碼單元以獲得下層深度的編碼單元。如果當前深度不是編碼深度，則針對被劃分為下層深度的編碼單元的編碼單元來執(zhí)行編碼。由于在當前深度的一個編碼單元中存在下層深度的至少一個編碼單元，因此針對下層深度的每個編碼單元重復執(zhí)行編碼，因此，可針對具有相同深度的編碼單元遞歸地執(zhí)行編碼。由于針對一個最大編碼單元確定具有樹結(jié)構(gòu)的編碼單元，并且針對編碼深度的編碼單元確定關于至少一個編碼模式的信息，因此，可針對一個最大編碼單元確定關于至少一個編碼模式的信息。此外，由于圖像數(shù)據(jù)根據(jù)深度被分層劃分，因此，最大編碼單元的圖像數(shù)據(jù)的編碼深度可根據(jù)位置而不同，因此，可針對圖像數(shù)據(jù)設置關于編碼深度和編碼模 式的信息。因此，輸出單元130可將關于相應的編碼深度和編碼模式的編碼信息分配給包括在最大編碼單元中的編碼單元、預測單元和最小單元中的至少一個。根據(jù)本發(fā)明的實施例的最小單元是通過將構(gòu)成最低深度的最小編碼單元劃分4次所獲得的正方形數(shù)據(jù)單元。可選地，最小單元可以是最大正方形數(shù)據(jù)單元，所述最大正方形數(shù)據(jù)單元可包括在最大編碼單元中所包括的所有編碼單元、預測單元、分區(qū)單元和變換單元中。例如，通過輸出單元130輸出的編碼信息可被分為根據(jù)編碼單元的編碼信息和根據(jù)預測單元的編碼信息。根據(jù)編碼單元的編碼信息可包括關于預測模式的信息和關于分區(qū)尺寸的信息。根據(jù)預測單元的編碼信息可包括關于幀間模式的估計方向的信息、關于幀間模式的參考圖像索引的信息、關于運動矢量的信息、關于幀內(nèi)模式的色度分量的信息和關于幀內(nèi)模式的插值方法的信息。此外，關于根據(jù)畫面、條帶或GOP定義的編碼單元的最大尺寸的信息以及關于最大深度的信息可被插入比特流的頭中。在視頻編碼設備100中，較深層編碼單元可以是通過將作為上一層的上層深度的編碼單元的高度或?qū)挾葎澐謨纱嗡@得的編碼單元。換句話說，當當前深度的編碼單元的尺寸為2NX2N時，下層深度的編碼單元的尺寸是NXN。此外，尺寸為2NX 2N的當前深度的編碼單元可最多包括下層深度的4個編碼單元。因此，視頻編碼設備100可通過基于考慮當前畫面的特性所確定的最大編碼單元的尺寸和最大深度，針對每個最大編碼單元確定具有最佳形狀和最佳尺寸的編碼單元，來形成具有樹結(jié)構(gòu)的編碼單元。此外，由于可通過使用各種預測模式和變換中的任何一個來針對每個最大編碼單元執(zhí)行編碼，因此可考慮各種圖像尺寸的編碼單元的特性來確定最佳編碼模式。因此，如果以傳統(tǒng)的宏塊對具有高分辨率或大數(shù)據(jù)量的圖像進行編碼，則每個畫面的宏塊數(shù)量過度增加。因此，針對每個宏塊產(chǎn)生的壓縮信息的條數(shù)增加，因此難以發(fā)送壓縮信息，并且數(shù)據(jù)壓縮效率降低。然而，通過使用視頻編碼設備100，由于在考慮圖像尺寸的同時增加編碼單元的最大尺寸，同時在考慮圖像特性的同時調(diào)整編碼單元，因此可提高圖像壓縮效率。圖2是根據(jù)本發(fā)明的實施例的視頻解碼設備200的框圖。
視頻解碼設備200包括接收器210、圖像數(shù)據(jù)和編碼信息提取器220以及圖像數(shù)據(jù)解碼器230。用于視頻解碼設備200的各種操作的各種術(shù)語(諸如編碼單元、深度、預測單元、變換單元和關于各種編碼模式的信息)的定義與參照圖I和視頻編碼設備100描述的那些術(shù)語相同。接收器210接收并解析編碼視頻的比特流。圖像數(shù)據(jù)和編碼信息提取器220從解析的比特流提取每個編碼單元的編碼圖像數(shù)據(jù)，并將提取的圖像數(shù)據(jù)輸出到圖像數(shù)據(jù)解碼器230，其中，編碼單元具有根據(jù)每個最大編碼單元的樹結(jié)構(gòu)。圖像數(shù)據(jù)和編碼信息提取器220可從關于當前畫面的頭提取關于當前畫面的編碼單元的最大尺寸的信息。此外，圖像數(shù)據(jù)和編碼信息提取器220從解析的比特流提取關于編碼單元的編碼深度和編碼模式的信息，其中，編碼單元具有根據(jù)每個最大編碼單元的樹結(jié)構(gòu)。提取的關于編碼深度和編碼模式的信息被輸出到圖像數(shù)據(jù)解碼器230。換句話說，比特流中的圖像數(shù)據(jù)被劃分為最大編碼單元，從而圖像數(shù)據(jù)解碼器230對每個最大編碼單元的圖像數(shù)據(jù)進行解碼。可針對關于與編碼深度相應的至少一個編碼單元的信息，來設置關于根據(jù)最大編碼單元的編碼深度和編碼模式的信息，并且關于編碼模式的信息可包括關于與編碼深度相應的相應編碼單元的分區(qū)類型的信息、關于預測模式的信息和變換單元的尺寸。此外，根據(jù)深度的劃分信息可被提取作為關于編碼深度的信息。由圖像數(shù)據(jù)和編碼信息提取器220提取的關于根據(jù)每個最大編碼單元的編碼深度和編碼模式的信息是關于如下編碼深度和編碼模式的信息，其中，所述編碼深度和編碼模式被確定為用于當編碼器(諸如視頻編碼設備100)根據(jù)每個最大編碼單元對每個根據(jù)深度的較深層編碼單元重復執(zhí)行編碼時產(chǎn)生最小編碼誤差。因此，視頻解碼設備200可通過根據(jù)產(chǎn)生最小編碼誤差的編碼深度和編碼模式對圖像數(shù)據(jù)進行解碼來恢復圖像。由于關于編碼深度和編碼模式的編碼信息可被分配給相應編碼單元、預測單元和最小單元中的預定數(shù)據(jù)單元，因此圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)預定數(shù)據(jù)單元提取關于編碼深度和編碼模式的信息。如果根據(jù)預定數(shù)據(jù)單元記錄關于相應最大編碼單元的編碼深度和編碼模式的信息，則被分配關于編碼深度和編碼模式的相同信息的預定數(shù)據(jù)單元可被推斷為包括在相同最大編碼單元中的數(shù)據(jù)單元。圖像數(shù)據(jù)解碼器230通過基于關于根據(jù)最大編碼單元的編碼深度和編碼模式的信息對每個最大編碼單元中的圖像數(shù)據(jù)進行解碼，來恢復當前畫面。換句話說，圖像數(shù)據(jù)解碼器230可基于提取的關于包括在每個最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元的分區(qū)類型、預測模式和變換單元的信息，來對編碼圖像數(shù)據(jù)進行解碼。解碼處理可包括預測(包括幀內(nèi)預測和運動補償)和反變換。圖像數(shù)據(jù)解碼器230可基于關于根據(jù)編碼深度的編碼單元的預測單元的分區(qū)類型和預測模式的信息，根據(jù)每個編碼單元的分區(qū)和預測模式執(zhí)行幀內(nèi)預測或運動補償。此外，圖像數(shù)據(jù)解碼器230可基于關于根據(jù)編碼深度的編碼單元的變換單元的尺寸的信息，根據(jù)編碼單元中的每個變換單元執(zhí)行反變換，從而根據(jù)最大編碼單元執(zhí)行反變換。圖像數(shù)據(jù)解碼器230可通過使用根據(jù)深度的劃分信息來確定當前最大編碼單元的至少一個編碼深度。如果劃分信息指示圖像數(shù)據(jù)在當前深度下不再被劃分，則當前深度是編碼深度。因此，圖像數(shù)據(jù)解碼器230可通過使用與編碼深度相應的每個編碼單元的關于預測單元的分區(qū)類型、預測模式和變換單元尺寸的信息，對當前最大編碼單元中與每個編碼深度相應的至少一個編碼單元的編碼數(shù)據(jù)進行解碼。換句話說，可通過觀察為編碼單元、預測單元和最小單元中的預定數(shù)據(jù)單元分配的編碼信息集來收集包括編碼信息(包括相同劃分信息)的數(shù)據(jù)單元，收集的數(shù)據(jù)單元可被視為將由圖像數(shù)據(jù)解碼器230以相同的編碼模式進行解碼的一個數(shù)據(jù)單元。視頻解碼設備200可獲得關于當針對每個最大編碼單元遞歸執(zhí)行編碼時產(chǎn)生最小編碼誤差的至少一個編碼單元的信息，并可使用所述信息來對當前畫面進行解碼。換句話說，可對每個最大編碼單元中被確定為最佳編碼單元的具有樹結(jié)構(gòu)的編碼單元進行解碼。因此，即使圖像數(shù)據(jù)具有高分辨率和大數(shù)據(jù)量，也可通過使用編碼單元的尺寸和編碼模式來有效地對圖像數(shù)據(jù)進行解碼和恢復，其中，通過使用從編碼器接收 的關于最佳編碼模式的信息，根據(jù)圖像數(shù)據(jù)的特性來自適應地確定所述編碼單元的尺寸和所述編碼模式?，F(xiàn)在將參照圖3至圖13描述根據(jù)本發(fā)明的實施例的確定具有樹結(jié)構(gòu)的編碼單元、預測單元和變換單元的方法。圖3是用于描述根據(jù)本發(fā)明的實施例的編碼單元的概念的示圖。編碼單元的尺寸可被表示為寬度X高度，可以是64\64、32父32、16\16和8父8。64X64的編碼單元可被劃分為64X64、64X32、32X64或32X32的分區(qū)，32X32的編碼單元可被劃分為32X32、32X16、16X32或16X16的分區(qū)，16X16的編碼單元可被劃分為16X16、16X8、8X16或8X8的分區(qū)，8X8的編碼單元可被劃分為8X8、8X4、4X8或4X4的分區(qū)。在視頻數(shù)據(jù)310中，分辨率為1920 X 1080，編碼單元的最大尺寸為64，最大深度為2。在視頻數(shù)據(jù)320中，分辨率為1920 X 1080，編碼單元的最大尺寸為64，最大深度為3。在視頻數(shù)據(jù)330中，分辨率為352X288，編碼單元的最大尺寸為16，最大深度為I。圖3中示出的最大深度指示從最大編碼單元到最小解碼單元的總劃分次數(shù)。如果分辨率高或數(shù)據(jù)量大，則編碼單元的最大尺寸可較大，從而不僅提高了編碼效率還精確地反映出圖像的特性。因此，分辨率高于視頻數(shù)據(jù)330的視頻數(shù)據(jù)310和視頻數(shù)據(jù)320的編碼單元的最大尺寸可以是64。由于視頻數(shù)據(jù)310的最大深度是2，因此，由于通過將最大編碼單元劃分兩次，深度被加深兩層，因此視頻數(shù)據(jù)310的編碼單元315可包括長軸尺寸為64的最大編碼單元以及長軸尺寸為32和16的編碼單元。同時，由于視頻數(shù)據(jù)330的最大深度是1，因此，由于通過將最大編碼單元劃分一次，深度被加深一層，因此視頻數(shù)據(jù)330的編碼單元335可包括長軸尺寸為16的最大編碼單元以及長軸尺寸為8的編碼單元。由于視頻數(shù)據(jù)320的最大深度為3，因此，由于通過將最大編碼單元劃分三次，深度被加深3層，因此視頻數(shù)據(jù)320的編碼單元325可包括長軸尺寸為64的最大編碼單元以及長軸尺寸為32、16和8的編碼單元。隨著深度加深，可精確地表達詳細信息。圖4是根據(jù)本發(fā)明的實施例的基于編碼單元的圖像編碼器400的框圖。圖像編碼器400執(zhí)行視頻編碼設備100的編碼單元確定器120的操作以對圖像數(shù)據(jù)進行編碼。換句話說，幀內(nèi)預測器410對當前幀405中的幀內(nèi)模式下的編碼單元執(zhí)行幀內(nèi)預測，運動估計器420和運動補償器425通過使用當前幀405和參考幀495，對當前幀405中的幀間模式下的編碼單元執(zhí)行幀間估計和運動補償。從幀內(nèi)預測器410、運動估計器420和運動補償器425輸出的數(shù)據(jù)通過變換器430和量化器440被輸出作為量化的變換系數(shù)。具體地，在雙向運動預測和補償期間，運動估計器420和運動補償器425除了執(zhí)行基于塊的雙向運動預測和補償之外，還執(zhí)行像素單位的雙向運動補償。這將在以下參照圖14被詳細描述。量化的變換系數(shù)通過反量化器460和反變換器470被恢復為空間域中的數(shù)據(jù)，恢復的空間域中的數(shù)據(jù)在通過去塊單元480和環(huán)路濾波單元490進行后處理之后被輸出為參考幀495。量化的變換系數(shù)可通過熵編碼器450被輸出為比特流455。
為了將圖像編碼器400應用在視頻編碼設備100中，圖像編碼器400的所有元件(即，幀內(nèi)預測器410、運動估計器420、運動補償器425、變換器430、量化器440、熵編碼器450、反量化器460、反變換器470、去塊單元480和環(huán)路濾波單元490)在考慮每個最大編碼單元的最大深度的同時，基于具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元來執(zhí)行操作。具體地，幀內(nèi)預測器410、運動估計器420和運動補償器425在考慮當前最大編碼單元的最大尺寸和最大深度的同時確定具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元的分區(qū)和預測模式，變換器430確定具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元中的變換單元的尺寸。圖5是根據(jù)本發(fā)明的實施例的基于編碼單元的圖像解碼器500的框圖。解析器510從比特流505解析將被解碼的編碼圖像數(shù)據(jù)以及解碼所需的關于編碼的信息。編碼圖像數(shù)據(jù)通過熵解碼器520和反量化器530被輸出為反量化的數(shù)據(jù)，反量化的數(shù)據(jù)通過反變換器540被恢復為空間域中的圖像數(shù)據(jù)。幀內(nèi)預測器550針對空間域中的圖像數(shù)據(jù)，對幀內(nèi)模式下的編碼單元執(zhí)行幀內(nèi)預測，運動補償器560通過使用參考幀585對幀間模式下的編碼單元執(zhí)行運動補償。具體地，在雙向運動補償期間，運動補償器560除了執(zhí)行基于塊的雙向運動補償之外，還執(zhí)行像素單位的雙向運動補償。這將在以下參照圖14被詳細描述。通過幀內(nèi)預測器550和運動補償器560的空間域中的圖像數(shù)據(jù)可在通過去塊單元570和環(huán)路濾波單元580進行后處理之后被輸出為恢復的幀595。此外，通過去塊單元570和環(huán)路濾波單元580進行后處理的圖像數(shù)據(jù)可被輸出為參考幀585。為了在視頻解碼設備200的圖像數(shù)據(jù)解碼器230中對圖像數(shù)據(jù)進行解碼，圖像解碼器500可執(zhí)行在解析器510之后執(zhí)行的操作。為了將圖像解碼器500應用在視頻解碼設備200中，圖像解碼器500的所有元件(即，解析器510、熵解碼器520、反量化器530、反變換器540、幀內(nèi)預測器550、運動補償器560、去塊單元570和環(huán)路濾波單元580)針對每個最大編碼單元基于具有樹結(jié)構(gòu)的編碼單元執(zhí)行操作。具體地，幀內(nèi)預測器550和運動補償器560基于具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元的分區(qū)和預測模式執(zhí)行操作，反變換器540基于每個編碼單元的變換單元的尺寸執(zhí)行操作。圖6是示出根據(jù)本發(fā)明的實施例的根據(jù)深度的較深層編碼單元以及分區(qū)的示圖。
視頻編碼設備100和視頻解碼設備200使用分層編碼單元以考慮圖像的特性?？筛鶕?jù)圖像的特性適應地確定編碼單元的最大高度、最大寬度和最大深度，或可由用戶不同地設置編碼單元的最大高度、最大寬度和最大深度。可根據(jù)編碼單元的預定最大尺寸來確定根據(jù)深度的較深層編碼單元的尺寸。在根據(jù)本發(fā)明的實施例的編碼單元的分層結(jié)構(gòu)600中，編碼單元的最大高度和最大寬度均為64，最大深度為4。由于深度沿分層結(jié)構(gòu)600的縱軸加深，因此較深層編碼單元的高度和寬度均被劃分。此外，沿分層結(jié)構(gòu)600的橫軸示出作為用于每個較深層編碼單元的預測編碼的基礎的預測單元和分區(qū)。換句話說，編碼單元610是分層結(jié)構(gòu)600中的最大編碼單元，其中，深度為0，尺寸(即，高度乘寬度)為64X64。深度沿縱軸加深，存在尺寸為32X32且深度為I的編碼單元620、尺寸為16 X 16且深度為2的編碼單元630、尺寸為8 X 8且深度為3的編碼單元640以 及尺寸為4X4且深度為4的編碼單元650。尺寸為4X4且深度為4的編碼單元650是最小編碼單元。編碼單元的預測單元和分區(qū)根據(jù)每個深度沿橫軸排列。換句話說，如果尺寸為64X64且深度為O的編碼單元610是預測單元，則預測單元可被劃分為包括在編碼單元610中的分區(qū)，即，尺寸為64X64的分區(qū)610、尺寸為64X32的分區(qū)612、尺寸為32X64的分區(qū)614或尺寸為32X32的分區(qū)616。類似地，尺寸為32X32且深度為I的編碼單元620的預測單元可被劃分為包括在編碼單元620中的分區(qū)，即，尺寸為32X32的分區(qū)620、尺寸為32X16的分區(qū)622、尺寸為16X32的分區(qū)624和尺寸為16X16的分區(qū)626。類似地，尺寸為16X16且深度為2的編碼單元630的預測單元可被劃分為包括在編碼單元630中的分區(qū)，即，包括在編碼單元630中的尺寸為16X16的分區(qū)630、尺寸為16X8的分區(qū)632、尺寸為8X16的分區(qū)634和尺寸為8X8的分區(qū)636。類似地，尺寸為8X8且深度為3的編碼單元640的預測單元可被劃分為包括在編碼單元640中的分區(qū)，S卩，包括在編碼單元640中的尺寸為8 X 8的分區(qū)640、尺寸為8 X 4的分區(qū)642、尺寸為4X8的分區(qū)644和尺寸為4X4的分區(qū)646。尺寸為4X4且深度為4的編碼單元650是最小編碼單元和最下層深度的編碼單元。編碼單元650的預測單元僅被分配給尺寸為4X4的分區(qū)。為了確定組成最大編碼單元610的編碼單元的至少一個編碼深度，視頻編碼設備100的編碼單元確定器120針對包括在最大編碼單元610中的與每個深度相應的編碼單元執(zhí)行編碼。隨著深度加深，以相同范圍和相同尺寸包括數(shù)據(jù)的根據(jù)深度的較深層編碼單元的數(shù)量增加。例如，需要四個與深度2相應的編碼單元，以覆蓋包括在一個與深度I相應的編碼單元中的數(shù)據(jù)。因此，為了比較相同數(shù)據(jù)根據(jù)深度的編碼結(jié)果，與深度I相應的編碼單元和四個與深度2相應的編碼單元各自被編碼。為了針對深度中的當前深度執(zhí)行編碼，可通過沿分層結(jié)構(gòu)600的橫軸，針對與當前深度相應的編碼單元中的每個預測單元執(zhí)行編碼，來針對當前深度選擇最小編碼誤差?？蛇x地，可通過隨著深度沿分層結(jié)構(gòu)600的縱軸加深針對每個深度執(zhí)行編碼來比較根據(jù)深度的最小編碼誤差，從而搜索最小編碼誤差。在編碼單元610中具有最小編碼誤差的深度和分區(qū)可被選為編碼單元610的編碼深度和分區(qū)類型。圖7是用于描述根據(jù)本發(fā)明的實施例的編碼單元710和變換單元720之間的關系的示圖。視頻編碼設備100或視頻解碼設備200針對每個最大編碼單元，根據(jù)具有小于或等于最大編碼單元的尺寸的編碼單元來對圖像進行編碼或解碼?？苫诓淮笥谙鄳幋a單元的數(shù)據(jù)單元來選擇在編碼期間用于變換的變換單元的尺寸。例如，在視頻編碼設備100或視頻解碼設備200中，如果編碼單元710的尺寸是64X64，則可通過使用尺寸為32X32的變換單元720來執(zhí)行變換。此外，可通過對小于64X64的尺寸為32X32、16X 16、8X8和4X4的變換單元中的每一個執(zhí)行變換，來對尺寸為64X64的編碼單元710的數(shù)據(jù)進行編碼，隨后可選擇具有 最小編碼誤差的變換單元。圖8是用于描述根據(jù)本發(fā)明的實施例的與編碼深度相應的編碼單元的編碼信息的示圖。視頻編碼設備100的輸出單元130可對與編碼深度相應的每個編碼單元的關于分區(qū)類型的信息800、關于預測模式的信息810和關于變換單元的尺寸的信息820進行編碼和發(fā)送，以作為關于編碼模式的信息。信息800指示關于通過對當前編碼單元的預測單元進行劃分而獲得的分區(qū)的形狀的信息，其中，所述分區(qū)是用于對當前編碼單元進行預測編碼的數(shù)據(jù)單元。例如，尺寸為2NX2N的當前編碼單元CU_0可被劃分為尺寸為2NX2N的分區(qū)802、尺寸為2NXN的分區(qū)804、尺寸為NX2N的分區(qū)806和尺寸為NXN的分區(qū)808中的任意一個。這里，關于分區(qū)類型的信息800被設置為指示尺寸為2NXN的分區(qū)804、尺寸為NX2N的分區(qū)806和尺寸為NXN的尺寸的分區(qū)808之一。信息810指示每個分區(qū)的預測模式。例如，信息810可指示對由信息800指示的分區(qū)執(zhí)行的預測編碼的模式，即，幀內(nèi)模式812、幀間模式814或跳過模式816。信息820指示當對當前編碼單元執(zhí)行變換時所基于的變換單元。例如，變換單元可以是第一幀內(nèi)變換單元822、第二幀內(nèi)變換單元824、第一幀間變換單元826或第二幀內(nèi)變換單元828。視頻解碼設備200的圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)每個較深層編碼單元提取和使用用于解碼的信息800、810和820。圖9是根據(jù)本發(fā)明的實施例的根據(jù)深度的較深層編碼單元的示圖。劃分信息可被用于指示深度的改變。劃分信息指示當前深度的編碼單元是否被劃分為下層深度的編碼單元。用于對深度為O且尺寸為2N_0X2N_0的編碼單元900進行預測編碼的預測單元910可包括以下分區(qū)類型的分區(qū)尺寸為2N_0X2N_0的分區(qū)類型912、尺寸為2N_0XN_0的分區(qū)類型914、尺寸為N_0X2N_0的分區(qū)類型916、尺寸為Ν_0ΧΝ_0的分區(qū)類型918。圖9僅示出通過對預測單元910進行對稱劃分而獲得的分區(qū)類型912至918，但分區(qū)類型不限于此，預測單元910的分區(qū)可包括不對稱分區(qū)、具有預定形狀的分區(qū)和具有幾何形狀的分區(qū)。根據(jù)每個分區(qū)類型，對一個尺寸為2N_0X2N_0的分區(qū)、兩個尺寸為2N_0XN_0的分區(qū)、兩個尺寸為N_0X2N_0的分區(qū)和四個尺寸為Ν_0ΧΝ_0的分區(qū)重復執(zhí)行預測編碼?？蓪Τ叽鐬?N_0 X 2N_0、N_0 X 2N_0、2N_0 X N_0和N_0 X N_0的分區(qū)執(zhí)行幀內(nèi)模式和幀間模式下的預測編碼。僅對尺寸為2N_0X2N_0的分區(qū)執(zhí)行跳過模式下的預測編碼。如果在分區(qū)類型912至916之一中編碼誤差最小，則預測單元910可不被劃分到下層深度。如果在分區(qū)類型918中編碼誤差最小，則深度從O改變到I以在操作920對分區(qū)類型918進行劃分，并對深度為2且尺寸為Ν_0ΧΝ_0的編碼單元930重復執(zhí)行編碼，以搜
索最小編碼誤差。用于對深度為I且尺寸為2N_1X2N_1 (= Ν_0ΧΝ_0)的編碼單元930進行預測編碼的預測單元940可包括以下分區(qū)類型的分區(qū)尺寸為2N_1X2N_1的分區(qū)類型942、尺寸為2N_1XN_1的分區(qū)類型944、尺寸為N_1X2N_1的分區(qū)類型946、尺寸為N_1 XN_1的分區(qū)類型948。
如果在分區(qū)類型948中編碼誤差最小，則深度從I改變到2以在操作950對分區(qū)類型948進行劃分，并對深度為2且尺寸為N_2XN_2的編碼單元960重復執(zhí)行編碼，以搜
索最小編碼誤差。當最大深度為d時，可執(zhí)行根據(jù)每個深度的劃分操作，直到深度變?yōu)閐-Ι，并且劃分信息可被編碼，直到深度為O到d-2中的一個。換句話說，當編碼被執(zhí)行直到在操作970與深度d-2相應的編碼單元被劃分之后深度為d-Ι時，用于對深度為d-Ι且尺寸為2N_(d-1) X2N_(d-l)的編碼單元980進行預測編碼的預測單元990可包括以下分區(qū)類型的分區(qū)尺寸為2N_(d-l) X2N_(d-l)的分區(qū)類型992、尺寸為2N_(d_l) XN_(d_l)的分區(qū)類型994、尺寸為N_(d-1) X2N_(d-l)的分區(qū)類型996、尺寸為N_(d_l) XN_(d_l)的分區(qū)類型998?？稍诜謪^(qū)類型992至998中對一個尺寸為2N_(d_l) X2N_(d_l)的分區(qū)、兩個尺寸為2N_(d-l) XN_(d-l)的分區(qū)、兩個尺寸為N_(d-1) X2N_(d-l)的分區(qū)、四個尺寸為N_(d-1) XN_(d-l)的分區(qū)重復執(zhí)行預測編碼，以搜索具有最小編碼誤差的分區(qū)類型。即使當分區(qū)類型998具有最小編碼誤差時，由于最大深度為d，因此深度為d-Ι的編碼單元cu_(d-l)也不再被劃分到下層深度，用于組成當前最大編碼單元900的編碼單元的編碼深度被確定為d-Ι，當前最大編碼單元900的分區(qū)類型可被確定為N_(d-1) XN_(d-1)。此外，由于最大深度為d并且具有最下層深度d-Ι的最小編碼單元980不再被劃分到下層深度，因此不設置最小編碼單元980的劃分信息。數(shù)據(jù)單元999可以為當前最大編碼單元的“最小單元”。根據(jù)本發(fā)明的實施例的最小單元可以是通過將最小編碼單元980劃分4次而獲得的正方形數(shù)據(jù)單元。通過重復執(zhí)行編碼，視頻編碼設備100可通過比較根據(jù)編碼單元900的深度的編碼誤差來選擇具有最小編碼誤差的深度以確定編碼深度，并將相應的分區(qū)類型和預測模式設置為編碼深度的編碼模式。這樣，在I至d的所有深度中比較根據(jù)深度的最小編碼誤差，具有最小編碼誤差的深度可被確定為編碼深度。編碼深度、預測單元的分區(qū)類型和預測模式可作為關于編碼模式的信息被編碼和發(fā)送。此外，由于編碼單元從深度O被劃分到編碼深度，因此僅編碼深度的劃分信息被設置為0，除了編碼深度之外的深度的劃分信息被設置為I。視頻解碼設備200的圖像數(shù)據(jù)和編碼信息提取器220可提取并使用關于編碼單元900的編碼深度和預測單元的信息以對分區(qū)912進行解碼。視頻解碼設備200可通過使用根據(jù)深度的劃分信 息將劃分信息為O的深度確定為編碼深度，并使用關于相應深度的編碼模式的信息以進行解碼。圖10至圖12是用于描述根據(jù)本發(fā)明的實施例的編碼單元1010、預測單元1060和變換單元1070之間的關系的示圖。編碼單元1010是最大編碼單元中與由視頻編碼設備100確定的編碼深度相應的具有樹結(jié)構(gòu)的編碼單元。預測單元1060是編碼單元1010中的每一個的預測單元的分區(qū)，變換單元1070是編碼單元1010中的每一個的變換單元。當編碼單元1010中的最大編碼單元的深度是O時，編碼單元1012和1054的深度是 1，編碼單元 1014、1016、1018、1028、1050 和 1052 的深度是 2，編碼單元 1020、1022、1024、1026、1030、1032和1048的深度是3，編碼單元1040、1042、1044和1046的深度是4。在預測單元1060中，通過對編碼單元1010中的編碼單元進行劃分來獲得某些編碼單元 1014、1016、1022、1032、1048、1050、1052 和 1054。換句話說，編碼單元 1014、1022、1050和1054中的分區(qū)類型具有2NXN的尺寸，編碼單元1016、1048和1052中的分區(qū)類型具有NX2N的尺寸，編碼單元1032的分區(qū)類型具有NXN的尺寸。編碼單元1010的預測單元和分區(qū)小于或等于每個編碼單元。對小于編碼單元1052的數(shù)據(jù)單元中的變換單元1070中的編碼單元1052的圖像數(shù)據(jù)執(zhí)行變換或反變換。此外，變換單元1070中的編碼單元1014、1016、1022、1032、1048、1050和1052在尺寸和形狀方面與預測單元1060中的編碼單元1014、1016、1022、1032、1048,1050和1052不同。換句話說，視頻編碼設備100和視頻解碼設備200可對相同編碼單元中的數(shù)據(jù)單元分別執(zhí)行幀內(nèi)預測、運動估計、運動補償、變換和反變換。因此，對最大編碼單元的每個區(qū)域中具有分層結(jié)構(gòu)的編碼單元中的每一個遞歸地執(zhí)行編碼，以確定最佳編碼單元，從而可獲得具有遞歸樹結(jié)構(gòu)的編碼單元。編碼信息可包括關于編碼單元的劃分信息、關于分區(qū)類型的信息、關于預測模式的信息和關于變換單元的尺寸的信息。表I示出可由視頻編碼設備100和視頻解碼設備200設置的編碼信息。表I
權(quán)利要求
1.一種對視頻進行解碼的方法，所述方法包括 從比特流提取關于將被解碼的當前塊的運動預測模式的信息； 當提取的運動預測模式是使用像素單位的運動補償值的雙向運動預測模式時，從比特流提取關于第一運動矢量和第二運動矢量的信息，其中，第一運動矢量和第二運動矢量分別指示在第一參考畫面和第二參考畫面中與當前塊最相似的第一相應區(qū)域和第二相應區(qū)域； 通過使用第一運動矢量和第二運動矢量，對當前塊執(zhí)行塊單位的雙向運動補償； 通過使用第一參考畫面和第二參考畫面的像素，對當前塊的每個像素執(zhí)行像素單位的運動補償； 通過使用塊單位的雙向運動補償?shù)慕Y(jié)果和像素單位的運動補償?shù)慕Y(jié)果，產(chǎn)生當前塊的雙向運動預測值。
2.如權(quán)利要求I所述的方法，其中，執(zhí)行像素單位的運動補償?shù)牟襟E包括通過使用第一參考畫面的與當前塊的每個像素相應的第一相應像素的水平方向梯度和垂直方向梯度、第二參考畫面的與當前塊的每個像素相應的第二相應像素的水平方向梯度和垂直方向梯度、以及通過使用第一參考畫面和第二參考畫面的像素確定的水平方向位移矢量和垂直方向位移矢量，產(chǎn)生當前塊的每個像素的像素單位的運動補償值。
3.如權(quán)利要求2所述的方法，其中，以這樣的方式確定水平方向位移矢量和垂直方向位移矢量第一位移值和第二位移值之間的差在具有預定尺寸的窗口中是最小值，其中，通過使用水平方向位移矢量、垂直方向位移矢量、以及第一相應像素的水平方向梯度和垂直方向梯度來移動第一參考畫面的第一相應像素來獲得第一位移值，通過使用水平方向位移矢量、垂直方向位移矢量、以及第二相應像素的水平方向梯度和垂直方向梯度來移動第二參考畫面的第二相應像素來獲得第二位移值。
4.如權(quán)利要求3所述的方法，其中，當(i，j)表示被雙向預測的當前塊的像素的位置，其中，i和j均為整數(shù)，PO(i, j)表示第一參考畫面的與被雙向預測的當前塊的像素相應的第一相應像素的像素值，Pl(i, j)表示第二參考畫面的與被雙向預測的當前塊的像素相應的第二相應像素的像素值，GradXO (i, j)表示第一相應像素的水平方向梯度，GradYO (i, j)表示第一相應像素的垂直方向梯度，GradXia，j)表示第二相應像素的水平方向梯度，GradYKi, j)表示第二相應像素的垂直方向梯度，Vx表示水平方向位移矢量，Vy表示垂直方向位移矢量時， 第一位移值具有根據(jù)等式 PO (i，j)+Vx X GradXO (i, j)+Vy XGradYO (i，j)的值， 第二位移值具有根據(jù)等式 Pl (i，j)-VxXGradXKi, j)-Vy XGradYl (i，j)的值， 以這樣的方式來確定水平方向位移矢量和垂直方向位移矢量第一位移值和第二位移值之間的差(Aij)是最小值。
5.如權(quán)利要求3所述方法，其中，當窗口(Ω j)具有基于被雙向預測的當前塊的像素的(2M+1) X (2N+1)的尺寸，其中，M和N均為整數(shù)，(i’，j’)表示在窗口中被雙向預測的當前塊的像素的位置，P0(i’，j’)表示第一參考畫面的與被雙向預測的當前塊的像素相應的第一相應像素的像素值，Pl(i’，j’)表示第二參考畫面的與被雙向預測的當前塊的像素相應的第二相應像素的像素值，GradX0(i’，j’)表示第一相應像素的水平方向梯度，GradYOa’，j’)表示第一相應像素的垂直方向梯度，GradXl (i’，j’)表示第二相應像素的水平方向梯度，GradYKi', j')表示第二相應像素的垂直方向梯度，Vx表示水平方向位移矢量，Vy表不垂直方向位移矢量時， 第一位移值具有根據(jù)等式 PO(i，，j’)+Vx X GradXO (i’，j’)+Vy XGradYO (i’，j’)的值， 第二位移值具有根據(jù)等式 Pl (i，，j')-Vx X GradXl (i，，j’)-Vy XGradYl (i，，j’)的值， 以這樣的方式確定水平方向位移矢量和垂直方向位移矢量根據(jù)等式
6.如權(quán)利要求5所述的方法，其中，當根據(jù)以下的等式計算Si至s6時，
7.如權(quán)利要求5所述的方法，其中，當dO表示當前塊的當前畫面與第一參考畫面之間的時間距離，且dl表示當前畫面與第二參考畫面之間的時間距離時，d=dl/dO，并且當根據(jù)以下的等式計算si至s6時，
8.如權(quán)利要求5所述的方法，其中，當q表示第一相應區(qū)域的像素和第二相應區(qū)域的像素之間的像素值的差的平均值，dO表示當前塊的當前畫面與第一參考畫面之間的時間距離，dl表示當前畫面與第二參考畫面之間的時間距離時，d=dl/dO，并且當根據(jù)以下的等式計算si至s6時，
9.如權(quán)利要求2所述的方法，其中，通過計算第一相應像素和第二相應像素的水平方向上和垂直方向上的子像素位置處的像素值的改變量，確定水平方向梯度和垂直方向梯度。
10.如權(quán)利要求2所述的方法，其中，通過使用預定濾波器來計算水平方向梯度和垂直方向梯度。
11.如權(quán)利要求I所述的方法，其中，產(chǎn)生雙向運動預測值的步驟包括iP_OpticalFlow(i, j)表示當前塊的在(i, j)位置處的像素的雙向運動預測值，P0(i, j)表示第一參考畫面的與在當前塊(i，j)位置處的像素相應的第一相應像素的像素值，GradXO (i, j)表不第一參考畫面的第一相應像素的水平方向梯度，GradYO (i, j)表不第一參考畫面的第一相應像素的垂直方向梯度，Pl(i, j)表示第二參考畫面的與當前塊的(i, j)位置處的像素相應的第二相應像素的像素值，GradXKi, j)表示第二參考畫面的第二相應像素的水平方向梯度，GradYKi, j)表示第二參考畫面的第二相應像素的垂直方向梯度，Vx表不水平方向位移矢量，Vy表不垂直方向位移矢量時， 通過將根據(jù)等式(PO (i, j) +Pl (i, j)) /2計算的塊單位的雙向運動補償值與根據(jù)等式(VxX (GradXO (i, j)-GradXl (i, j))+VyX (GradYO (i, j)-GradYl (i, j)))/2 計算的像素單位的運動補償值相加，來確定雙向運動預測值P_0pticalFlow(i, j)。
12.如權(quán)利要求11所述的方法，還包括將通過將預定權(quán)重與像素單位的運動補償值相乘而獲得的值確定為像素單位的運動補償值。
13.一種用于對視頻進行解碼的設備，所述設備包括 熵解碼器，從比特流提取關于將被解碼的當前塊的運動預測模式的信息，當提取的運動預測模式是使用像素單位的運動補償值的雙向運動預測模式時，從比特流提取關于第一運動矢量和第二運動矢量的信息，其中，第一運動矢量和第二運動矢量分別指示在第一參考畫面和第二參考畫面中與當前塊最相似的第一相應區(qū)域和第二相應區(qū)域； 塊單位的運動補償器，通過使用第一運動矢量和第二運動矢量，對當前塊執(zhí)行塊單位的雙向運動補償； 像素單位的運動補償器，通過使用第一參考畫面和第二參考畫面的像素，對當前塊的每個像素執(zhí)行像素單位的運動補償； 預測值產(chǎn)生器，通過使用塊單位的雙向運動補償?shù)慕Y(jié)果和像素單位的運動補償?shù)慕Y(jié)果，產(chǎn)生當前塊的雙向運動預測值。
14.一種對視頻進行編碼的方法，所述方法包括 執(zhí)行用于確定第一運動矢量和第二運動矢量的雙向運動預測，其中，第一運動矢量和第二運動矢量分別指示在第一參考畫面和第二參考畫面中與當前塊最相似的第一相應區(qū)域和第二相應區(qū)域； 通過使用第一運動矢量和第二運動矢量，對當前塊執(zhí)行塊單位的雙向運動補償； 通過使用第一參考畫面和第二參考畫面的像素，對當前塊的每個像素執(zhí)行像素單位的運動補償； 通過使用塊單位的雙向運動補償?shù)慕Y(jié)果和像素單位的運動補償?shù)慕Y(jié)果，產(chǎn)生當前塊的雙向運動預測值。
15.一種用于對視頻進行編碼的設備，所述設備包括 運動預測器，執(zhí)行用于確定第一運動矢量和第二運動矢量的雙向運動預測，其中，第一運動矢量和第二運動矢量分別指示在第一參考畫面和第二參考畫面中與當前塊最相似的第一相應區(qū)域和第二相應區(qū)域； 塊單位的運動補償器，通過使用第一運動矢量和第二運動矢量，對當前塊執(zhí)行塊單位的雙向運動補償； 像素單位的運動補償器，通過使用第一參考畫面和第二參考畫面的像素，對當前塊的每個像素執(zhí)行像素單位的運動補償； 預測值產(chǎn)生器，通過使用塊單位的雙向運動補償?shù)慕Y(jié)果和像素單位的運動補償?shù)慕Y(jié)果，產(chǎn)生當前塊的雙向運動預測值。
全文摘要
通過使用像素單位的雙向運動補償來對視頻進行編碼和解碼的方法和設備。根據(jù)對視頻進行編碼的方法，除了對當前塊執(zhí)行塊單位的雙向運動補償之外，還通過使用用于雙向運動預測和補償?shù)牡谝粎⒖籍嬅婧偷诙⒖籍嬅娴南袼?，對當前塊的每個像素執(zhí)行像素單位的運動補償，并通過使用塊單位的雙向運動補償?shù)慕Y(jié)果和像素單位的運動補償?shù)慕Y(jié)果，來產(chǎn)生當前塊的雙向運動預測值。
文檔編號H04N7/32GK102934444SQ201180027776
公開日2013年2月13日 申請日期2011年4月6日 優(yōu)先權(quán)日2010年4月6日
發(fā)明者亞歷山大·阿爾辛, 艾林娜·阿爾辛娜, 尼古拉·斯利亞科夫, 李泰美 申請人:三星電子株式會社