用于對視頻數(shù)據(jù)進行復用和解復用以識別視頻數(shù)據(jù)的再現(xiàn)狀態(tài)的方法和設(shè)備的制作方法
【專利摘要】一種用于對視頻數(shù)據(jù)進行復用和解復用的方法和設(shè)備。對視頻數(shù)據(jù)進行復用的方法將語法包括在被用于對在隨機訪問中使用的純凈隨機訪問（CRA）畫面進行復用的傳輸單元數(shù)據(jù)的頭中，其中，預定語法指示CRA畫面的再現(xiàn)狀態(tài)，即，正常再現(xiàn)還是根據(jù)隨機訪問的再現(xiàn)。
【專利說明】用于對視頻數(shù)據(jù)進行復用和解復用以識別視頻數(shù)據(jù)的再現(xiàn)狀態(tài)的方法和設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種對視頻進行編碼和解碼的方法和設(shè)備，更具體地說，涉及一種用于對視頻數(shù)據(jù)進行復用和解復用以識別在解碼端再現(xiàn)的幀內(nèi)畫面的再現(xiàn)狀態(tài)是隨機訪問再現(xiàn)狀態(tài)還是正常再現(xiàn)狀態(tài)的方法和設(shè)備。
【背景技術(shù)】
[0002]視頻編解碼器(包括ITU-T H.261、IS0/IEC MPEG-lVisual, ITU-T H.262 (ISO/IEC MPEG-2Visual)、ITU-T H.264、IS0/IEC MPEG-4Visual 和 ITU-T Η.264 (IS0/IECMPEG-4AVC))經(jīng)由幀間預測或幀內(nèi)預測對宏塊執(zhí)行預測編碼，根據(jù)由每個視頻編解碼器定義的預定格式產(chǎn)生包含編碼的圖像數(shù)據(jù)的比特流，并輸出比特流。

【發(fā)明內(nèi)容】

[0003]技術(shù)問題
[0004]本發(fā)明定義一種新類型的用于隨機訪問再現(xiàn)的幀內(nèi)畫面，并提供一種用于通過與解碼設(shè)備有關(guān)的硬件或軟件識別正常再現(xiàn)狀態(tài)和隨機訪問再現(xiàn)狀態(tài)的方法和設(shè)備。
[0005]技術(shù)方案
[0006]根據(jù)本發(fā)明的實施例，可經(jīng)由預定的傳輸數(shù)據(jù)中包括的語法識別幀內(nèi)畫面的再現(xiàn)狀態(tài)。
[0007]有益效果
[0008]根據(jù)本發(fā)明的實施例，可通過與解碼設(shè)備有關(guān)的硬件或軟件識別正常再現(xiàn)狀態(tài)和隨機訪問再現(xiàn)狀態(tài)，使得可節(jié)省用于對無需被解碼的畫面進行解碼的系統(tǒng)資源。
【專利附圖】

【附圖說明】
[0009]圖1是根據(jù)本發(fā)明的實施例的用于對視頻進行編碼的設(shè)備的框圖。
[0010]圖2是根據(jù)本發(fā)明的實施例的用于對視頻進行解碼的設(shè)備的框圖。
[0011]圖3是用于描述根據(jù)本發(fā)明的實施例的編碼單元的概念的示圖。
[0012]圖4是根據(jù)本發(fā)明的實施例的基于編碼單元的圖像編碼器的框圖。
[0013]圖5是根據(jù)本發(fā)明的實施例的基于編碼單元的圖像解碼器的框圖。
[0014]圖6是示出根據(jù)本發(fā)明的實施例的根據(jù)深度的較深層編碼單元以及分區(qū)的示圖。
[0015]圖7是用于描述根據(jù)本發(fā)明的實施例的編碼單元和變換單元之間的關(guān)系的示圖。
[0016]圖8是用于描述根據(jù)本發(fā)明的實施例的與編碼深度相應的編碼單元的編碼信息的示圖。
[0017]圖9是根據(jù)本發(fā)明的實施例的根據(jù)深度的較深層編碼單元的示圖。
[0018]圖10至圖12是用于描述根據(jù)本發(fā)明的實施例的編碼單元、預測單元和變換單元之間的關(guān)系的示圖。[0019]圖13是用于描述根據(jù)表I的編碼模式信息的編碼單元、預測單元或分區(qū)以及變換單元之間的關(guān)系的示圖。
[0020]圖14a和圖14b示出根據(jù)本發(fā)明的實施例的正常再現(xiàn)和隨機訪問中的純凈隨機訪問(CRA)畫面的解碼處理。
[0021]圖15示出根據(jù)本發(fā)明的實施例的視頻數(shù)據(jù)復用設(shè)備的結(jié)構(gòu)。
[0022]圖16示出根據(jù)本發(fā)明的實施例的網(wǎng)絡抽象層(NAL)單元的結(jié)構(gòu)。
[0023]圖17a和圖17b示出根據(jù)本發(fā)明的另一實施例的正常再現(xiàn)和隨機訪問中的CRA畫面的解碼處理。
[0024]圖18是根據(jù)本發(fā)明的實施例的對視頻數(shù)據(jù)進行復用的方法的流程圖。
[0025]圖19示出根據(jù)本發(fā)明的實施例的視頻數(shù)據(jù)反向復用設(shè)備1900的結(jié)構(gòu)。
[0026]圖20是根據(jù)本發(fā)明的實施例的對視頻數(shù)據(jù)進行反向復用的方法的流程圖。
[0027]最佳實施方式
[0028]根據(jù)本發(fā)明的一方面，提供一種對視頻數(shù)據(jù)進行復用以識別視頻數(shù)據(jù)的再現(xiàn)狀態(tài)的方法，所述方法包括以下操作:基于具有分層結(jié)構(gòu)的數(shù)據(jù)單元對形成視頻數(shù)據(jù)的畫面進行編碼；響應于來自解碼設(shè)備的對編碼數(shù)據(jù)的發(fā)送請求，確定發(fā)送請求根據(jù)正常再現(xiàn)還是針對隨機訪問；根據(jù)確定的結(jié)果，將預定語法添加到用于對在隨機訪問中使用并具有前導畫面的幀內(nèi)畫面進行復用的傳輸單元數(shù)據(jù)，所述前導畫面在顯示順序中在幀內(nèi)畫面之前但在編碼順序中在幀內(nèi)畫面之后被編碼，其中，所述預定語法指示經(jīng)由正常再現(xiàn)的請求和經(jīng)由隨機訪問的請求之中的哪個請求與幀內(nèi)畫面有關(guān)。
[0029]根據(jù)本發(fā)明的另一方面，提供一種用于對視頻數(shù)據(jù)進行復用以識別視頻數(shù)據(jù)的再現(xiàn)狀態(tài)的設(shè)備，所述設(shè)備包括:視頻編碼器，用于基于具有分層結(jié)構(gòu)的數(shù)據(jù)單元對形成視頻數(shù)據(jù)的畫面進行編碼；再現(xiàn)狀態(tài)識別器，用于響應于來自解碼設(shè)備的對編碼數(shù)據(jù)的發(fā)送請求，確定發(fā)送請求根據(jù)正常再現(xiàn)還是針對隨機訪問；復用器，根據(jù)確定的結(jié)果，將預定語法添加到用于對在隨機訪問中使用并具有前導畫面的幀內(nèi)畫面進行復用的傳輸單元數(shù)據(jù)，所述前導畫面在顯示順序中在幀內(nèi)畫面之前但在編碼順序中在幀內(nèi)畫面之后被編碼，其中，所述預定語法指示經(jīng)由正常再現(xiàn)的請求和經(jīng)由隨機訪問的請求之中的哪個請求與幀內(nèi)畫面有關(guān)。
[0030]根據(jù)本發(fā)明的另一方面，提供一種對視頻數(shù)據(jù)進行解復用以識別視頻數(shù)據(jù)的再現(xiàn)狀態(tài)的方法，所述方法包括以下操作:接收用于對比特流進行復用的傳輸單元數(shù)據(jù)，所述比特流通過基于分層結(jié)構(gòu)數(shù)據(jù)單元對形成視頻數(shù)據(jù)的畫面進行編碼而產(chǎn)生；從用于對在隨機訪問中使用并具有前導畫面的幀內(nèi)畫面進行復用的傳輸單元數(shù)據(jù)獲得預定語法，所述前導畫面在顯示順序中在幀內(nèi)畫面之前但在解碼順序中在幀內(nèi)畫面之后被解碼，其中，所述預定語法指示幀內(nèi)畫面根據(jù)正常再現(xiàn)狀態(tài)還是根據(jù)隨機訪問狀態(tài)被解碼；基于獲得的預定語法，識別幀內(nèi)畫面根據(jù)正常再現(xiàn)還是根據(jù)隨機訪問被再現(xiàn)。
[0031]根據(jù)本發(fā)明的另一方面，提供一種用于對視頻數(shù)據(jù)進行解復用以識別視頻數(shù)據(jù)的再現(xiàn)狀態(tài)的設(shè)備，所述設(shè)備包括:反向復用器，用于接收用于對比特流進行復用的傳輸單元數(shù)據(jù)，所述比特流通過基于分層結(jié)構(gòu)數(shù)據(jù)單元對形成視頻數(shù)據(jù)的畫面進行編碼而產(chǎn)生，從用于對在隨機訪問中使用并具有前導畫面的幀內(nèi)畫面進行復用的傳輸單元數(shù)據(jù)獲得預定語法，所述前導畫面在顯示順序中在幀內(nèi)畫面之前但在解碼順序中在幀內(nèi)畫面之后被解碼，其中，所述預定語法指示幀內(nèi)畫面根據(jù)正常再現(xiàn)狀態(tài)還是根據(jù)隨機訪問狀態(tài)被解碼；再現(xiàn)狀態(tài)識別器，用于基于獲得的預定語法，識別幀內(nèi)畫面根據(jù)正常再現(xiàn)還是根據(jù)隨機訪問被再現(xiàn)。
【具體實施方式】
[0032]以下，將通過參照附圖解釋本發(fā)明的示例性實施例來詳細描述本發(fā)明。在整個說明書中，圖像可包括靜止圖像和運動圖像，可被稱為視頻。此外，在整個說明書中，圖像幀可被稱為畫面。
[0033]圖1是根據(jù)本發(fā)明的實施例的視頻編碼設(shè)備100的框圖。
[0034]視頻編碼設(shè)備100包括最大編碼單元劃分器110、編碼單元確定器120和輸出單元130。
[0035]最大編碼單元劃分器110可基于圖像的當前畫面的最大編碼單元對當前畫面進行劃分。如果當前畫面大于最大編碼單元，則當前畫面的圖像數(shù)據(jù)可被劃分為至少一個最大編碼單元。根據(jù)本發(fā)明的實施例的最大編碼單元可以是尺寸為32X32、64X64、128 X 128、256 X 256等的數(shù)據(jù)單元，其中，數(shù)據(jù)單元的形狀是寬度和高度均為2的若干次方并大于8的正方形。圖像數(shù)據(jù)可根據(jù)至少一個最大編碼單元被輸出到編碼單元確定器120。
[0036]根據(jù)本發(fā)明的實施例的編碼單元可由最大尺寸以及深度來表征。深度表示編碼單元從最大編碼單元被空間劃分的次數(shù)，并且隨著深度加深，根據(jù)深度的較深層編碼單元可從最大編碼單元被劃分為最小編碼單元。最大編碼單元的深度是最上層深度，最小編碼單元的深度是最下層深度。由于與每個深度相應的編碼單元的尺寸隨著最大編碼單元的深度加深而減小，因此，與上層深度相應的編碼單元可包括多個與下層深度相應的編碼單元。
[0037]如上所述，當前畫面的圖像數(shù)據(jù)根據(jù)編碼單元的最大尺寸而被劃分為最大編碼單元，所述最大編碼單元中的每一個可包括根據(jù)深度被劃分的較深層編碼單元。由于根據(jù)本發(fā)明的實施例的最大編碼單元根據(jù)深度被劃分，因此包括在最大編碼單元中的空間域的圖像數(shù)據(jù)可根據(jù)深度被分層分類。
[0038]可預先確定編碼單元的最大深度和最大尺寸,所述最大深度和最大尺寸限定最大編碼單元的高度和寬度被分層劃分的總次數(shù)。
[0039]編碼單元確定器120對通過根據(jù)深度劃分最大編碼單元的區(qū)域而獲得的至少一個劃分的區(qū)域進行編碼，并根據(jù)所述至少一個劃分的區(qū)域確定用于輸出最終編碼的圖像數(shù)據(jù)的深度。換句話說，編碼單元確定器120通過根據(jù)當前畫面的最大編碼單元按照根據(jù)深度的較深層編碼單元對圖像數(shù)據(jù)進行編碼，并選擇具有最小編碼誤差的深度，來確定編碼深度。因此，與確定的編碼深度相應的編碼單元的編碼圖像數(shù)據(jù)被最終輸出。此外，與編碼深度相應的編碼單元可被視為被編碼的編碼單元。
[0040]確定的編碼深度和根據(jù)確定的編碼深度的編碼圖像數(shù)據(jù)被輸出到輸出單元130。
[0041]基于與等于或低于最大深度的至少一個深度相應的較深層編碼單元對最大編碼單元中的圖像數(shù)據(jù)進行編碼，并基于較深層編碼單元中的每一個來比較對圖像數(shù)據(jù)進行編碼的結(jié)果。在比較較深層編碼單元的編碼誤差之后，可選擇具有最小編碼誤差的深度?？舍槍γ總€最大編碼單元選擇至少一個編碼深度。
[0042]隨著編碼單元根據(jù)深度而被分層劃分，并且隨著編碼單元的數(shù)量增加，最大編碼單元的尺寸被劃分。此外，即使在一個最大編碼單元中編碼單元相應于相同深度，也通過分別測量每個編碼單元的圖像數(shù)據(jù)的編碼誤差來確定是否將與相同深度相應的編碼單元中的每一個劃分到下層深度。因此，即使當圖像數(shù)據(jù)被包括在一個最大編碼單元中時，在所述一個最大編碼單元中，圖像數(shù)據(jù)根據(jù)深度被劃分為區(qū)域，編碼誤差也可根據(jù)區(qū)域而不同，因此，編碼深度可根據(jù)圖像數(shù)據(jù)中的區(qū)域而不同。因此，在一個最大編碼單元中可確定一個或多個編碼深度，并可根據(jù)至少一個編碼深度的編碼單元來劃分最大編碼單元的圖像數(shù)據(jù)。
[0043]因此，編碼單元確定器120可確定包括在最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元。根據(jù)本發(fā)明的實施例的“具有樹結(jié)構(gòu)的編碼單元”包括在最大編碼單元中包括的所有較深層編碼單元中的與被確定為編碼深度的深度相應的編碼單元。在最大編碼單元的相同區(qū)域中，編碼深度的編碼單元可根據(jù)深度被分層確定，在不同的區(qū)域中，編碼深度的編碼單元可被獨立地確定。類似地，當前區(qū)域中的編碼深度可獨立于另一區(qū)域中的編碼深度被確定。
[0044]根據(jù)本發(fā)明的實施例的最大深度是關(guān)于從最大編碼單元到最小編碼單元的劃分次數(shù)的索引。根據(jù)本發(fā)明的實施例的第一最大深度可表示從最大編碼單元到最小編碼單元的總劃分次數(shù)。根據(jù)本發(fā)明的實施例的第二最大深度可表示從最大編碼單元到最小編碼單元的深度級的總數(shù)。例如，當最大編碼單元的深度為O時，最大編碼單元被劃分一次的編碼單元的深度可被設(shè)置為1，最大編碼單元被劃分兩次的編碼單元的深度可被設(shè)置為2。這里，如果最小編碼單元是最大編碼單元被劃分四次的編碼單元，則存在深度O、1、2、3和4這5個深度級，因此，第一最大深度可被設(shè)置為4，第二最大深度可被設(shè)置為5。
[0045]可根據(jù)最大編碼單元執(zhí)行預測編碼和變換。還可根據(jù)最大編碼單元，基于根據(jù)等于最大深度的深度或小于最大深度的深度的較深層編碼單元來執(zhí)行預測編碼和變換?？筛鶕?jù)正交變換或整數(shù)變換的方法來執(zhí)行變換。
[0046]由于每當最大編碼單元根據(jù)深度被劃分時較深層編碼單元的數(shù)量增加，因此可針對隨著深度加深而產(chǎn)生的所有較深層編碼單元執(zhí)行包括預測編碼和變換的編碼。為了便于描述，現(xiàn)在將基于最大編碼單元中的當前深度的編碼單元來描述預測編碼和變換。
[0047]視頻編碼設(shè)備100可不同地選擇用于對圖像數(shù)據(jù)進行編碼的數(shù)據(jù)單元的尺寸或形狀。為了對圖像數(shù)據(jù)進行編碼，執(zhí)行諸如預測編碼、變換和熵編碼的操作，此時，可針對所有操作使用相同的數(shù)據(jù)單元，或者可針對每個操作使用不同的數(shù)據(jù)單元。
[0048]例如，視頻編碼設(shè)備100不僅可選擇用于對圖像數(shù)據(jù)進行編碼的編碼單元，還可選擇與編碼單元不同的數(shù)據(jù)單元，以便對編碼單元中的圖像數(shù)據(jù)執(zhí)行預測編碼。
[0049]為了在最大編碼單元中執(zhí)行預測編碼，可基于與編碼深度相應的編碼單元(S卩，基于不再被劃分為與下層深度相應的編碼單元的編碼單元)執(zhí)行預測編碼。以下，現(xiàn)將不再被劃分并且變成用于預測編碼的基本單元的編碼單元稱為“預測單元”。通過對預測單元進行劃分所獲得的分區(qū)(partition)可包括預測單元或通過對預測單元的高度和寬度中的至少一個進行劃分所獲得的數(shù)據(jù)單元。
[0050]例如，當2NX2N (其中，N是正整數(shù))的編碼單元不再被劃分，并且變成2NX2N的預測單元時，分區(qū)的尺寸可以是2NX 2N、2NX N、NX 2N或NX N。分區(qū)類型的示例包括通過對預測單元的高度或?qū)挾冗M行對稱劃分所獲得的對稱分區(qū)、通過對預測單元的高度或?qū)挾冗M行不對稱劃分(諸如l:n或η:1)所獲得的分區(qū)、通過對預測單元進行幾何劃分所獲得的分區(qū)以及具有任意形狀的分區(qū)。
[0051]預測單元的預測模式可以是幀內(nèi)模式、幀間模式和跳過模式中的至少一個。例如，可針對2NX 2N、2NX N、NX 2N或NX N的分區(qū)執(zhí)行幀內(nèi)模式或幀間模式。此外，可僅針對2NX2N的分區(qū)執(zhí)行跳過模式。針對編碼單元中的一個預測單元獨立地執(zhí)行編碼，從而選擇具有最小編碼誤差的預測模式。
[0052]視頻編碼設(shè)備100還可不僅基于用于對圖像數(shù)據(jù)進行編碼的編碼單元，還基于不同于編碼單元的數(shù)據(jù)單元，對編碼單元中的圖像數(shù)據(jù)執(zhí)行變換。
[0053]為了在編碼單元中執(zhí)行變換，可基于具有小于或等于編碼單元的尺寸的數(shù)據(jù)單元來執(zhí)行變換。例如，用于變換的數(shù)據(jù)單元可包括用于幀內(nèi)模式的數(shù)據(jù)單元和用于幀間模式的數(shù)據(jù)單元。
[0054]現(xiàn)將用作變換的基礎(chǔ)的數(shù)據(jù)單元稱為“變換單元”。還可在變換單元中設(shè)置變換深度，所述變換深度指示通過對編碼單元的高度和寬度進行劃分來實現(xiàn)變換單元的劃分次數(shù)。例如，在2NX2N的當前編碼單元中，當變換單元的尺寸也為2NX2N時，變換深度可以是0，當當前編碼單元的高度和寬度均被劃分為二等份，總共被劃分為4~1變換單元，并因此變換單元的尺寸是NXN時，變換深度可以是1，當當前編碼單元的高度和寬度均被劃分為四等份，總共被劃分為4~2變換單元，并因此變換單元的尺寸是N/2XN/2時，變換深度可以是2。例如，可根據(jù)分層樹結(jié)構(gòu)設(shè)置變換單元，其中，根據(jù)變換深度的分層特性，上層變換深度的變換單元被劃分為下層變換深度的四個變換單元。
[0055]與編碼單元相似，編碼單元中的變換單元可被遞歸的劃分為更小尺寸的區(qū)域，從而可以以區(qū)域為單位獨立地確定變換單元。因此，可根據(jù)基于變換深度的具有樹結(jié)構(gòu)的變換來劃分編碼單元中的殘差數(shù)據(jù)。
[0056]根據(jù)與編碼深度相應的編碼單元的編碼信息不僅需要關(guān)于編碼深度的信息，還需要關(guān)于與預測編碼和變換有關(guān)的信息的信息。因此，編碼單元確定器120不僅確定具有最小編碼誤差的編碼深度，還確定預測單元中的分區(qū)類型、根據(jù)預測單元的預測模式和用于變換的變換單元的尺寸。
[0057]稍后將參照圖3至圖12詳細描述根據(jù)本發(fā)明的實施例的最大編碼單元中的根據(jù)樹結(jié)構(gòu)的編碼單元以及確定分區(qū)的方法。
[0058]編碼單元確定器120可通過使用基于拉格朗日乘子的率失真優(yōu)化來測量根據(jù)深度的較深層編碼單元的編碼誤差。
[0059]輸出單元130在比特流中輸出最大編碼單元的圖像數(shù)據(jù)以及關(guān)于根據(jù)編碼深度的編碼模式的信息，其中，所述圖像數(shù)據(jù)基于由編碼單元確定器120確定的至少一個編碼深度被編碼。
[0060]可通過對圖像的殘差數(shù)據(jù)進行編碼來獲得編碼圖像數(shù)據(jù)。
[0061]關(guān)于根據(jù)編碼深度的編碼模式的信息可包括關(guān)于編碼深度的信息、關(guān)于預測單元中的分區(qū)類型的信息、預測模式以及變換單元的尺寸。
[0062]可通過使用根據(jù)深度的劃分信息來定義關(guān)于編碼深度的信息，所述劃分信息指示是否針對下層深度而不是當前深度的編碼單元來執(zhí)行編碼。如果當前編碼單元的當前深度是編碼深度，則當前編碼單元中的圖像數(shù)據(jù)被編碼并被輸出，因此劃分信息可被定義為不將當前編碼單元劃分到下層深度?？蛇x地，如果當前編碼單元的當前深度不是編碼深度，則針對下層深度的編碼單元來執(zhí)行編碼，因此，劃分信息可被定義為劃分當前編碼單元以獲得下層深度的編碼單元。
[0063]如果當前深度不是編碼深度，則針對被劃分為下層深度的編碼單元的編碼單元來執(zhí)行編碼。由于在當前深度的一個編碼單元中存在下層深度的至少一個編碼單元，因此針對下層深度的每個編碼單元重復執(zhí)行編碼，因此，可針對具有相同深度的編碼單元遞歸地執(zhí)行編碼。
[0064]由于針對一個最大編碼單元確定具有樹結(jié)構(gòu)的編碼單元，并且針對編碼深度的編碼單元確定關(guān)于至少一個編碼模式的信息，因此，可針對一個最大編碼單元確定關(guān)于至少一個編碼模式的信息。此外，由于圖像數(shù)據(jù)根據(jù)深度被分層劃分，因此，最大編碼單元的圖像數(shù)據(jù)的編碼深度可根據(jù)位置而不同，因此，可針對圖像數(shù)據(jù)設(shè)置關(guān)于編碼深度和編碼模式的信息。
[0065]因此，輸出單元130可將關(guān)于相應的編碼深度和編碼模式的編碼信息分配給包括在最大編碼單元中的編碼單元、預測單元和最小單元中的至少一個。
[0066]根據(jù)本發(fā)明的實施例的最小單元可以是通過將構(gòu)成最低深度的最小編碼單元劃分為4份而獲得的矩形數(shù)據(jù)單元，并且最小單元可以是最大矩形數(shù)據(jù)單元，所述最大矩形數(shù)據(jù)單元可包括在最大編碼單元中所包括的所有編碼單元、預測單元、分區(qū)單元和變換單元中。
[0067]例如，通過輸出單元130輸出的編碼信息可被分為根據(jù)編碼單元的編碼信息和根據(jù)預測單元的編碼信息。根據(jù)編碼單元的編碼信息可包括關(guān)于預測模式的信息和關(guān)于分區(qū)尺寸的信息。根據(jù)預測單元的編碼信息可包括關(guān)于幀間模式的估計方向的信息、關(guān)于幀間模式的參考圖像索引的信息、關(guān)于運動矢量的信息、關(guān)于幀內(nèi)模式的色度分量的信息和關(guān)于幀內(nèi)模式的插值方法的信息。此外，關(guān)于根據(jù)畫面、條帶或GOP定義的編碼單元的最大尺寸的信息以及關(guān)于最大深度的信息可被插入比特流的頭中。
[0068]最大編碼單元劃分器110和編碼單元確定器120與視頻編碼層相應，其中，視頻編碼層通過根據(jù)編碼單元對圖像序列的每個圖像幀執(zhí)行運動估計和運動補償來確定形成圖像序列的每個圖像幀的參考幀，并通過使用確定的參考幀對每個圖像幀進行編碼。
[0069]此外，如稍后將描述的，輸出單元130可以以網(wǎng)絡抽象層(NAL)為單位對語法(max_dec_frame buffering)、語法(num_reorder_frames)和語法(max_latency_increase)進行映射，并因此產(chǎn)生比特流,其中語法(max_dec_frame buffering)指示解碼器對圖像幀進行解碼所需要的緩沖器的最大大小，語法(nUm_reorder_frames)指示需要被重新排序的圖像巾貞的數(shù)量，語法(max_latency_increase )指示形成圖像序列的圖像巾貞中的具有編碼順序和顯示順序之間的最大差異的圖像幀的延遲信息。
[0070]在視頻編碼設(shè)備100中，較深層編碼單元可以是通過將作為上一層的上層深度的編碼單元的高度或?qū)挾葎澐謨纱嗡@得的編碼單元。換句話說，當當前深度的編碼單元的尺寸為2NX2N時，下層深度的編碼單元的尺寸是NXN。此外，尺寸為2NX2N的當前深度的編碼單元可最多包括下層深度的4個編碼單元。
[0071]因此，視頻編碼設(shè)備100可通過基于考慮當前畫面的特性所確定的最大編碼單元的尺寸和最大深度，針對每個最大編碼單元確定具有最佳形狀和最佳尺寸的編碼單元，來形成具有樹結(jié)構(gòu)的編碼單元。此外，由于可通過使用各種預測模式和變換中的任何一個來針對每個最大編碼單元執(zhí)行編碼，因此可考慮各種圖像尺寸的編碼單元的特性來確定最佳編碼模式。
[0072]因此，如果以傳統(tǒng)的宏塊對具有高分辨率或大數(shù)據(jù)量的圖像進行編碼，則每個畫面的宏塊數(shù)量過度增加。因此，針對每個宏塊產(chǎn)生的壓縮信息的條數(shù)增加，因此難以發(fā)送壓縮信息，并且數(shù)據(jù)壓縮效率降低。然而，通過使用視頻編碼設(shè)備100，由于在考慮圖像尺寸的同時增加編碼單元的最大尺寸，同時在考慮圖像特性的同時調(diào)整編碼單元，因此可提高圖像壓縮效率。
[0073]圖2是根據(jù)本發(fā)明的實施例的視頻解碼設(shè)備200的框圖。
[0074]視頻解碼設(shè)備200包括接收器210、圖像數(shù)據(jù)和編碼信息提取器220以及圖像數(shù)據(jù)解碼器230。用于視頻解碼設(shè)備200的各種操作的各種術(shù)語(諸如編碼單元、深度、預測單元、變換單元和關(guān)于各種編碼模式的信息)的定義與參照圖1和視頻編碼設(shè)備100描述的那些術(shù)語相同。
[0075]接收器210接收并解析編碼視頻的比特流。圖像數(shù)據(jù)和編碼信息提取器220從解析的比特流提取每個編碼單元的編碼圖像數(shù)據(jù)，并將提取的圖像數(shù)據(jù)輸出到圖像數(shù)據(jù)解碼器230，其中，編碼單元具有根據(jù)每個最大編碼單元的樹結(jié)構(gòu)。圖像數(shù)據(jù)和編碼信息提取器220可從關(guān)于當前畫面的頭或SPS提取關(guān)于當前畫面的編碼單元的最大尺寸的信息。
[0076]此外，圖像數(shù)據(jù)和編碼信息提取器220從解析的比特流提取關(guān)于編碼單元的編碼深度和編碼模式的信息，其中，編碼單元具有根據(jù)每個最大編碼單元的樹結(jié)構(gòu)。提取的關(guān)于編碼深度和編碼模式的信息被輸出到圖像數(shù)據(jù)解碼器230。換句話說，比特流中的圖像數(shù)據(jù)被劃分為最大編碼單元，從而圖像數(shù)據(jù)解碼器230對每個最大編碼單元的圖像數(shù)據(jù)進行解碼。
[0077]可針對關(guān)于與編碼深度相應的至少一個編碼單元的信息，來設(shè)置關(guān)于根據(jù)最大編碼單元的編碼深度和編碼模式的信息，并且關(guān)于編碼模式的信息可包括關(guān)于與編碼深度相應的相應編碼單元的分區(qū)類型的信息、關(guān)于預測模式的信息和變換單元的尺寸。此外，根據(jù)深度的劃分信息可被提取作為關(guān)于編碼深度的信息。
[0078]由圖像數(shù)據(jù)和編碼信息提取器220提取的關(guān)于根據(jù)每個最大編碼單元的編碼深度和編碼模式的信息是關(guān)于如下編碼深度和編碼模式的信息，其中，所述編碼深度和編碼模式被確定為用于當編碼器(諸如視頻編碼設(shè)備100)根據(jù)每個最大編碼單元對每個根據(jù)深度的較深層編碼單元重復執(zhí)行編碼時產(chǎn)生最小編碼誤差。因此，視頻解碼設(shè)備200可通過根據(jù)產(chǎn)生最小編碼誤差的編碼深度和編碼模式對圖像數(shù)據(jù)進行解碼來恢復圖像。
[0079]由于關(guān)于編碼深度和編碼模式的編碼信息可被分配給相應編碼單元、預測單元和最小單元中的預定數(shù)據(jù)單元，因此圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)預定數(shù)據(jù)單元提取關(guān)于編碼深度和編碼模式的信息。被分配關(guān)于編碼深度和編碼模式的相同信息的預定數(shù)據(jù)單元可被推斷為包括在相同最大編碼單元中的數(shù)據(jù)單元。
[0080]圖像數(shù)據(jù)解碼器230通過基于關(guān)于根據(jù)最大編碼單元的編碼深度和編碼模式的信息對每個最大編碼單元中的圖像數(shù)據(jù)進行解碼，來恢復當前畫面。換句話說，圖像數(shù)據(jù)解碼器230可基于提取的關(guān)于包括在每個最大編碼單元中的具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元的分區(qū)類型、預測模式和變換單元的信息，來對編碼圖像數(shù)據(jù)進行解碼。解碼處理可包括預測(包括幀內(nèi)預測和運動補償)和反變換?？筛鶕?jù)反正交變換或反整數(shù)變換的方法來執(zhí)行反變換。
[0081]圖像數(shù)據(jù)解碼器230可基于關(guān)于根據(jù)編碼深度的編碼單元的預測單元的分區(qū)類型和預測模式的信息，根據(jù)每個編碼單元的分區(qū)和預測模式執(zhí)行幀內(nèi)預測或運動補償。
[0082]此外，圖像數(shù)據(jù)解碼器230可基于關(guān)于根據(jù)編碼深度的編碼單元的變換單元的尺寸的信息，根據(jù)編碼單元中的每個變換單元執(zhí)行反變換，從而根據(jù)最大編碼單元執(zhí)行反變換。
[0083]圖像數(shù)據(jù)解碼器230可通過使用根據(jù)深度的劃分信息來確定當前最大編碼單元的至少一個編碼深度。如果劃分信息指示圖像數(shù)據(jù)在當前深度下不再被劃分，則當前深度是編碼深度。因此，圖像數(shù)據(jù)解碼器230可通過使用與編碼深度相應的每個編碼單元的關(guān)于預測單元的分區(qū)類型、預測模式和變換單元尺寸的信息，對當前最大編碼單元中與每個編碼深度相應的至少一個編碼單元的編碼數(shù)據(jù)進行解碼，并輸出當前最大編碼單元的圖像數(shù)據(jù)。
[0084]換句話說，可通過觀察為編碼單元、預測單元和最小單元中的預定數(shù)據(jù)單元分配的編碼信息集來收集包括編碼信息(編碼信息包括相同劃分信息)的數(shù)據(jù)單元，收集的數(shù)據(jù)單元可被視為將由圖像數(shù)據(jù)解碼器230以相同的編碼模式進行解碼的一個數(shù)據(jù)單元。
[0085]此外，接收器210以及圖像數(shù)據(jù)和編碼信息提取器220執(zhí)行NAL解碼處理，其中，語法(max_dec_frame buffering)、語法(num_reorder_frames)、語法(max_latency_increase)從比特流獲得并被輸出到圖像數(shù)據(jù)解碼器230,其中，語法(max_dec_framebuffering)指示解碼器對圖像幀進行解碼所需要的緩沖器的最大大小，語法(num_reorder_frames)指示需要被重新排序的圖像巾貞的數(shù)量,語法(max_latency_increase)指示形成圖像序列的圖像幀中的具有編碼順序和顯示順序之間的最大差異的圖像幀的延遲信息。
[0086]視頻解碼設(shè)備200可獲得關(guān)于當針對每個最大編碼單元遞歸執(zhí)行編碼時產(chǎn)生最小編碼誤差的至少一個編碼單元的信息，并可使用所述信息來對當前畫面進行解碼。換句話說，可對每個最大編碼單元中被確定為最佳編碼單元的具有樹結(jié)構(gòu)的編碼單元進行解碼。此外，考慮分辨率和圖像數(shù)據(jù)量來確定編碼單元的最大尺寸。
[0087]因此，即使圖像數(shù)據(jù)具有高分辨率和大數(shù)據(jù)量，也可通過使用編碼單元的尺寸和編碼模式來有效地對圖像數(shù)據(jù)進行解碼和恢復，其中，通過使用從編碼器接收的關(guān)于最佳編碼模式的信息，根據(jù)圖像數(shù)據(jù)的特性來自適應地確定所述編碼單元的尺寸和所述編碼模式。
[0088]現(xiàn)在將參照圖3至圖13描述根據(jù)本發(fā)明的實施例的確定具有樹結(jié)構(gòu)的編碼單元、預測單元和變換單元的方法。
[0089]圖3是用于描述根據(jù)本發(fā)明的實施例的編碼單元的概念的示圖。
[0090]編碼單元的尺寸可被表示為寬度X高度，可以是64\64、32父32、16\16和8父8。64X64的編碼單元可被劃分為64X64、64X32、32X64或32X32的分區(qū)，32X32的編碼單元可被劃分為32X32、32X16、16X32或16X16的分區(qū)，16X16的編碼單元可被劃分為16X16、16X8、8X16或8X8的分區(qū)，8X8的編碼單元可被劃分為8X8、8X4、4X8或4X4的分區(qū)。
[0091]在視頻數(shù)據(jù)310中，分辨率為1920 X 1080，編碼單元的最大尺寸為64，最大深度為2。在視頻數(shù)據(jù)320中，分辨率為1920 X 1080，編碼單元的最大尺寸為64，最大深度為3。在視頻數(shù)據(jù)330中，分辨率為352X288，編碼單元的最大尺寸為16，最大深度為I。圖3中示出的最大深度指示從最大編碼單元到最小解碼單元的總劃分次數(shù)。
[0092]如果分辨率高或數(shù)據(jù)量大，則編碼單元的最大尺寸可較大，從而不僅提高了編碼效率還精確地反映出圖像的特性。因此，分辨率高于視頻數(shù)據(jù)330的視頻數(shù)據(jù)310和視頻數(shù)據(jù)320的編碼單元的最大尺寸可以是64。
[0093]由于視頻數(shù)據(jù)310的最大深度是2，因此，由于通過將最大編碼單元劃分兩次，深度被加深兩層，因此視頻數(shù)據(jù)310的編碼單元315可包括長軸尺寸為64的最大編碼單元以及長軸尺寸為32和16的編碼單元。同時，由于視頻數(shù)據(jù)330的最大深度是1，因此，由于通過將最大編碼單元劃分一次，深度被加深一層，因此視頻數(shù)據(jù)330的編碼單元335可包括長軸尺寸為16的最大編碼單元以及長軸尺寸為8的編碼單元。
[0094]由于視頻數(shù)據(jù)320的最大深度為3，因此，由于通過將最大編碼單元劃分三次，深度被加深3層，因此視頻數(shù)據(jù)320的編碼單元325可包括長軸尺寸為64的最大編碼單元以及長軸尺寸為32、16和8的編碼單元。隨著深度加深，可精確地表達詳細信息。
[0095]圖4是根據(jù)本發(fā)明的實施例的基于編碼單元的圖像編碼器400的框圖。
[0096]圖像編碼器400執(zhí)行視頻編碼設(shè)備100的編碼單元確定器120的操作以對圖像數(shù)據(jù)進行編碼。換句話說，幀內(nèi)預測器410對當前幀405中的幀內(nèi)模式下的編碼單元執(zhí)行幀內(nèi)預測，運動估計器420和運動補償器425通過使用當前幀405和參考幀495，對當前幀405中的幀間模式下的編碼單元執(zhí)行幀間估計和運動補償。
[0097]從幀內(nèi)預測器410、運動估計器420和運動補償器425輸出的數(shù)據(jù)通過變換器430和量化器440被輸出作為量化的變換系數(shù)。量化的變換系數(shù)通過反量化器460和反變換器470被恢復為空間域中的數(shù)據(jù)，恢復的空間域中的數(shù)據(jù)在通過去塊單元480和環(huán)路濾波單元490進行后處理之后被輸出為參考幀495。量化的變換系數(shù)可通過熵編碼器450被輸出為比特流455。具體的說，熵編碼器450可以以NAL為單位對最大解碼幀緩沖語法(max_dec_frame buffering)、重新排序巾貞數(shù)量語法(num_reorder_frames)以及最大延遲巾貞語法(MaxLatencyFrame)或最大延遲增加語法(max_latency_increase)進行映射，并可因此產(chǎn)生比特流，其中，最大解碼巾貞緩沖語法(max_dec_framebuffering)指示解碼器對圖像中貞進行解碼所需要的緩沖器的最大尺寸，重新排序巾貞數(shù)量語法(num_reorder_frames)指示需要被重新排序的圖像巾貞的數(shù)量，最大延遲巾貞語法(MaxLatencyFrame)指示形成圖像序列的圖像幀的編碼順序和顯示順序之間的差值的最大值，最大延遲增加語法(maX_latenCy_increase)用于確定最大延遲巾貞語法(MaxLatencyFrame)。具體的說,根據(jù)本實施例的熵編碼器450將最大解碼巾貞緩沖語法(max_dec_frame buffering)、重新排序巾貞數(shù)量語法(num_reorder_frames)、最大延遲增加語法(max_latency_increase)作為基本兀素包括在序列參數(shù)集(SPS)中，其中SPS是包括與整個圖像序列的編碼有關(guān)的信息的頭信息，其中，最大解碼巾貞緩沖語法(max_dec_frame buffering)指示解碼器對圖像巾貞進行解碼所需要的緩沖器的最大大小，重新排序巾貞數(shù)量語法(num_reorder_frames)指示需要被重新排序的圖像巾貞的數(shù)量，最大延遲增加語法(max_latency_increase)用于確定最大延遲巾貞語法(MaxLatencyFrame)。
[0098]為了將圖像編碼器400應用在視頻編碼設(shè)備100中，圖像編碼器400的所有元件(即，幀內(nèi)預測器410、運動估計器420、運動補償器425、變換器430、量化器440、熵編碼器450、反量化器460、反變換器470、去塊單元480和環(huán)路濾波單元490)在考慮每個最大編碼單元的最大深度的同時，基于具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元來執(zhí)行操作。
[0099]具體地，幀內(nèi)預測器410、運動估計器420和運動補償器425在考慮當前最大編碼單元的最大尺寸和最大深度的同時確定具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元的分區(qū)和預測模式，變換器430確定具有樹結(jié)構(gòu)的編碼單元中的每個編碼單元中的變換單元的尺寸。
[0100]圖5是根據(jù)本發(fā)明的實施例的基于編碼單元的圖像解碼器500的框圖。
[0101]解析器510從比特流505解析將被解碼的編碼圖像數(shù)據(jù)以及解碼所需的關(guān)于編碼的信息。具體地說，解析器510從比特流獲得作為基本元素包括在SPS中的最大解碼幀緩沖語法(max_dec_frame buffering)、重新排序巾貞數(shù)量語法(num_reorder_frames)和最大延遲增加語法(max_latency_increase),并將其輸出到熵解碼器520,其中，最大解碼巾貞緩沖語法(max_dec_frame buffering)指示對圖像巾貞進行解碼所需要的緩沖器的最大大小，重新排序巾貞數(shù)量語法(num_reorder_frames)指示需要被重新排序的圖像巾貞的數(shù)量,最大延遲增加語法(max_latency_increase)用于確定最大延遲巾貞語法(MaxLatencyFrame)。在圖5中，解析器510和熵解碼器520是單獨的元件。然而，由解析器510執(zhí)行的圖像數(shù)據(jù)的獲取以及與編碼圖像數(shù)據(jù)有關(guān)的語法信息的每一項的獲取可被實現(xiàn)為由熵解碼器520執(zhí)行。
[0102]編碼圖像數(shù)據(jù)通過熵解碼器520和反量化器530被輸出為反量化的數(shù)據(jù)，反量化的數(shù)據(jù)通過反變換器540被恢復為空間域中的圖像數(shù)據(jù)。
[0103]幀內(nèi)預測器550針對空間域中的圖像數(shù)據(jù)，對幀內(nèi)模式下的編碼單元執(zhí)行幀內(nèi)預測，運動補償器560通過使用參考幀585對幀間模式下的編碼單元執(zhí)行運動補償。
[0104]在通過幀內(nèi)預測器550和運動補償器560的同時被恢復的圖像幀可通過去塊單元570被后處理，并可被輸出到解碼畫面緩沖器(DPB) 580。DPB580存儲參考幀，改變圖像幀的顯示順序，并存儲恢復的圖像幀以輸出圖像幀。DPB580存儲恢復的圖像幀，并通過使用從解析器510或熵解碼器520輸出的最大解碼巾貞緩沖語法(max_dec_frame buffering)來設(shè)置對圖像序列進行正常解碼所需要的緩沖器的最大尺寸，其中，最大解碼幀緩沖語法(max_dec_frame buffering)指示對圖像巾貞進行解碼所需要的緩沖器的最大尺寸。
[0105]此外，DPB580可通過使用重新排序巾貞數(shù)量語法(num_reorder_frames)和最大延遲增加語法(max_latency_increase)來確定是否輸出先前被解碼和存儲的參考圖像巾貞,其中，重新排序巾貞數(shù)量語法(num_reorder_frames)指示需要被重新排序的圖像巾貞的數(shù)量,最大延遲增加語法(max_latency_increase)用于確定最大延遲巾貞語法(MaxLatencyFrame)。稍后將詳細描述輸出存儲在DPB580中的參考圖像幀的處理。
[0106]為了在視頻解碼設(shè)備200的圖像數(shù)據(jù)解碼器230中對圖像數(shù)據(jù)進行解碼，圖像解碼器500可執(zhí)行在解析器510之后執(zhí)行的操作。
[0107]為了將圖像解碼器500應用在視頻解碼設(shè)備200中，圖像解碼器500的所有元件(即，解析器510、熵解碼器520、反量化器530、反變換器540、幀內(nèi)預測器550、運動補償器560、去塊單元570和環(huán)路濾波單元580)可針對每個最大編碼單元基于具有樹結(jié)構(gòu)的編碼單元執(zhí)行解碼操作。具體地，幀內(nèi)預測器550和運動補償器560可針對具有樹結(jié)構(gòu)的每個編碼單元確定分區(qū)和預測模式，反變換器540可針對每個編碼單元確定變換單元的尺寸。[0108]圖6是示出根據(jù)本發(fā)明的實施例的根據(jù)深度的較深層編碼單元以及分區(qū)的示圖。
[0109]視頻編碼設(shè)備100和視頻解碼設(shè)備200使用分層編碼單元以考慮圖像的特性。可根據(jù)圖像的特性適應地確定編碼單元的最大高度、最大寬度和最大深度，或可由用戶不同地設(shè)置編碼單元的最大高度、最大寬度和最大深度?？筛鶕?jù)編碼單元的預定最大尺寸來確定根據(jù)深度的較深層編碼單元的尺寸。
[0110]在根據(jù)本發(fā)明的實施例的編碼單元的分層結(jié)構(gòu)600中，編碼單元的最大高度和最大寬度均為64，最大深度為4。由于深度沿分層結(jié)構(gòu)600的縱軸加深，因此較深層編碼單元的高度和寬度均被劃分。此外，沿分層結(jié)構(gòu)600的橫軸示出作為用于每個較深層編碼單元的預測編碼的基礎(chǔ)的預測單元和分區(qū)。
[0111]換句話說，編碼單元610是分層結(jié)構(gòu)600中的最大編碼單元，其中，深度為0，尺寸(即，高度乘寬度)為64X64。深度沿縱軸加深，存在尺寸為32X32且深度為I的編碼單元620、尺寸為16 X 16且深度為2的編碼單元630、尺寸為8 X 8且深度為3的編碼單元640以及尺寸為4X4且深度為4的編碼單元650。尺寸為4X4且深度為4的編碼單元650是最小編碼單元。
[0112]編碼單元的預測單元和分區(qū)根據(jù)每個深度沿橫軸排列。換句話說，如果尺寸為64X64且深度為O的編碼單元610是預測單元，則預測單元可被劃分為包括在編碼單元610中的分區(qū)，即，尺寸為64X64的分區(qū)610、尺寸為64X32的分區(qū)612、尺寸為32X64的分區(qū)614或尺寸為32X32的分區(qū)616。
[0113]類似地，尺寸為32X32且深度為I的編碼單元620的預測單元可被劃分為包括在編碼單元620中的分區(qū)，即，尺寸為32X32的分區(qū)620、尺寸為32X16的分區(qū)622、尺寸為16X32的分區(qū)624和尺寸為16X16的分區(qū)626。
[0114]類似地，尺寸為16X16且深度為2的編碼單元630的預測單元可被劃分為包括在編碼單元630中的分區(qū)，即，包括在編碼單元630中的尺寸為16X16的分區(qū)630、尺寸為16X8的分區(qū)632、尺寸為8X16的分區(qū)634和尺寸為8X8的分區(qū)636。
[0115]類似地，尺寸為8X8且深度為3的編碼單元640的預測單元可被劃分為包括在編碼單元640中的分區(qū)，即，包括在編碼單元640中的尺寸為8X8的分區(qū)、尺寸為8X4的分區(qū)642、尺寸為4X8的分區(qū)644和尺寸為4X4的分區(qū)646。
[0116]尺寸為4X4且深度為4的編碼單元650是最小編碼單元和最下層深度的編碼單元。編碼單元650的預測單元僅被分配給尺寸為4X4的分區(qū)。
[0117]為了確定組成最大編碼單元610的編碼單元的至少一個編碼深度，視頻編碼設(shè)備100的編碼單元確定器120針對包括在最大編碼單元610中的與每個深度相應的編碼單元執(zhí)行編碼。
[0118]隨著深度加深，以相同范圍和相同尺寸包括數(shù)據(jù)的根據(jù)深度的較深層編碼單元的數(shù)量增加。例如，需要四個與深度2相應的編碼單元，以覆蓋包括在一個與深度I相應的編碼單元中的數(shù)據(jù)。因此，為了比較相同數(shù)據(jù)根據(jù)深度的編碼結(jié)果，與深度I相應的編碼單元和四個與深度2相應的編碼單元各自被編碼。
[0119]為了針對深度中的當前深度執(zhí)行編碼，可通過沿分層結(jié)構(gòu)600的橫軸，針對與當前深度相應的編碼單元中的每個預測單元執(zhí)行編碼，來針對當前深度選擇最小編碼誤差。可選地，可通過隨著深度沿分層結(jié)構(gòu)600的縱軸加深針對每個深度執(zhí)行編碼來比較根據(jù)深度的最小編碼誤差，從而搜索最小編碼誤差。在編碼單元610中具有最小編碼誤差的深度和分區(qū)可被選為編碼單元610的編碼深度和分區(qū)類型。
[0120]圖7是用于描述根據(jù)本發(fā)明的實施例的編碼單元710和變換單元720之間的關(guān)系的示圖。
[0121]視頻編碼設(shè)備100或200針對每個最大編碼單元，根據(jù)具有小于或等于最大編碼單元的尺寸的編碼單元來對圖像進行編碼或解碼?？苫诓淮笥谙鄳幋a單元的數(shù)據(jù)單元來選擇在編碼期間用于變換的變換單元的尺寸。
[0122]例如，在視頻編碼設(shè)備100或200中，如果編碼單元710的尺寸是64X64，則可通過使用尺寸為32X32的變換單元720來執(zhí)行變換。
[0123]此外，可通過對小于64X64的尺寸為32X32、16X 16、8X8和4X4的變換單元中的每一個執(zhí)行變換，來對尺寸為64X64的編碼單元710的數(shù)據(jù)進行編碼，隨后可選擇具有最小編碼誤差的變換單元。
[0124]圖8是用于描述根據(jù)本發(fā)明的實施例的與編碼深度相應的編碼單元的編碼信息的示圖。
[0125]視頻編碼設(shè)備100的輸出單元130可對與編碼深度相應的每個編碼單元的關(guān)于分區(qū)類型的信息800、關(guān)于預測模式的信息810和關(guān)于變換單元的尺寸的信息820進行編碼作為關(guān)于編碼模式的信息并進行發(fā)送。
[0126]信息800指示關(guān)于通過對當前編碼單元的預測單元進行劃分而獲得的分區(qū)的形狀的信息，其中，所述分區(qū)是用于對當前編碼單元進行預測編碼的數(shù)據(jù)單元。例如，尺寸為2NX2N的當前編碼單元CU_0可被劃分為尺寸為2NX2N的分區(qū)802、尺寸為2NXN的分區(qū)804、尺寸為NX2N的分區(qū)806和尺寸為NXN的分區(qū)808中的任意一個。這里，關(guān)于分區(qū)類型的信息800被設(shè)置為指示尺寸為2NXN的分區(qū)804、尺寸為NX2N的分區(qū)806和尺寸為NXN的尺寸的分區(qū)808之一。
[0127]信息810指示每個分區(qū)的預測模式。例如，信息810可指示對由信息800指示的分區(qū)執(zhí)行的預測編碼的模式，即，幀內(nèi)模式812、幀間模式814或跳過模式816。
[0128]信息820指示當對當前編碼單元執(zhí)行變換時所基于的變換單元。例如，變換單元可以是第一幀內(nèi)變換單元822、第二幀內(nèi)變換單元824、第一幀間變換單元826或第二幀內(nèi)變換單元828。
[0129]視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可根據(jù)每個較深層編碼單元提取和使用用于解碼的信息800、810和820。
[0130]圖9是根據(jù)本發(fā)明的實施例的根據(jù)深度的較深層編碼單元的示圖。
[0131]劃分信息可被用于指示深度的改變。劃分信息指示當前深度的編碼單元是否被劃分為下層深度的編碼單元。
[0132]用于對深度為O且尺寸為2N_0X2N_0的編碼單元900進行預測編碼的預測單元910可包括以下分區(qū)類型的分區(qū):尺寸為2N_0X2N_0的分區(qū)類型912、尺寸為2N_0XN_0的分區(qū)類型914、尺寸為N_0X2N_0的分區(qū)類型916、尺寸為Ν_0ΧΝ_0的分區(qū)類型918。圖9僅示出通過對預測單元910進行對稱劃分而獲得的分區(qū)類型912至918，但分區(qū)類型不限于此，預測單元910的分區(qū)可包括不對稱分區(qū)、具有預定形狀的分區(qū)和具有幾何形狀的分區(qū)。
[0133]根據(jù)每個分區(qū)類型，對一個尺寸為2N_0X2N_0的分區(qū)、兩個尺寸為2N_0XN_0的分區(qū)、兩個尺寸為N_0X2N_0的分區(qū)和四個尺寸為Ν_0ΧΝ_0的分區(qū)重復執(zhí)行預測編碼。可對尺寸為2N_0 X 2N_0、N_0 X 2N_0、2N_0 X N_0和N_0 X N_0的分區(qū)執(zhí)行幀內(nèi)模式和幀間模式下的預測編碼。僅對尺寸為2N_0X2N_0的分區(qū)執(zhí)行跳過模式下的預測編碼。
[0134]比較編碼(包括分區(qū)類型912至918的預測編碼)的誤差，并在分區(qū)類型中確定最小編碼誤差。如果在分區(qū)類型912至916之一中編碼誤差最小，則預測單元910可不被劃分到下層深度。
[0135]如果在分區(qū)類型918中編碼誤差最小，則深度從O改變到I以在操作920對分區(qū)類型918進行劃分，并對深度為2且尺寸為Ν_0ΧΝ_0的編碼單元930重復執(zhí)行編碼，以搜
索最小編碼誤差。
[0136]用于對深度為I且尺寸為2N_1X2N_1 (= Ν_0ΧΝ_0)的編碼單元930進行預測編碼的預測單元940可包括以下分區(qū)類型的分區(qū):尺寸為2N_1X2N_1的分區(qū)類型942、尺寸為2N_1XN_1的分區(qū)類型944、尺寸為N_1X2N_1的分區(qū)類型946、尺寸為N_1 XN_1的分區(qū)類型948。
[0137]如果在分區(qū)類型948中編碼誤差最小，則深度從I改變到2以在操作950對分區(qū)類型948進行劃分，并對深度為2且尺寸為N_2XN_2的編碼單元960重復執(zhí)行編碼，以搜
索最小編碼誤差。
[0138]當最大深度為d時，可執(zhí)行根據(jù)每個深度的劃分操作，直到深度變?yōu)閐-Ι，并且劃分信息可被編碼，直到深度為O到d-2中的一個。換句話說，當編碼被執(zhí)行直到在操作970與深度d-2相應的編碼單元被劃分之后深度為d-Ι時，用于對深度為d-Ι且尺寸為2N_(d-1) X2N_(d-l)的編碼單元980進行預測編碼的預測單元990可包括以下分區(qū)類型的分區(qū):尺寸為2N_(d-l) X2N_(d-l)的分區(qū)類型992、尺寸為2N_(d_l) XN_(d_l)的分區(qū)類型994、尺寸為N_(d-1) X2N_(d-l)的分區(qū)類型996、尺寸為N_(d_l) XN_(d_l)的分區(qū)類型998。
[0139]可在分區(qū)類型992至998中對一個尺寸為2N_(d_l) X2N_(d_l)的分區(qū)、兩個尺寸為2N_(d-l) XN_(d-l)的分區(qū)、兩個尺寸為N_(d-1) X2N_(d-l)的分區(qū)、四個尺寸為N_(d-1) XN_(d-l)的分區(qū)重復執(zhí)行預測編碼，以搜索具有最小編碼誤差的分區(qū)類型。
[0140]即使當分區(qū)類型998具有最小編碼誤差時，由于最大深度為d，因此深度為d-Ι的編碼單元cu_(d-l)也不再被劃分到下層深度，用于組成當前最大編碼單元900的編碼單元的編碼深度被確定為d-Ι，當前最大編碼單元900的分區(qū)類型可被確定為N_(d-1) XN_(d-1)。此外，由于最大深度為d并且具有最下層深度d-Ι的最小編碼單元980不再被劃分到下層深度，因此不設(shè)置最小編碼單元980的劃分信息。
[0141]數(shù)據(jù)單元999可以為當前最大編碼單元的“最小單元”。根據(jù)本發(fā)明的實施例的最小單元可以是通過將最小編碼單元980劃分4份而獲得的矩形數(shù)據(jù)單元。通過重復執(zhí)行編碼，視頻編碼設(shè)備100可通過比較根據(jù)編碼單元900的深度的編碼誤差來選擇具有最小編碼誤差的深度以確定編碼深度，并將相應的分區(qū)類型和預測模式設(shè)置為編碼深度的編碼模式。
[0142]這樣，在I至d的所有深度中比較根據(jù)深度的最小編碼誤差，具有最小編碼誤差的深度可被確定為編碼深度。編碼深度、預測單元的分區(qū)類型和預測模式可作為關(guān)于編碼模式的信息被編碼和發(fā)送。此外，由于編碼單元從深度O被劃分到編碼深度，因此僅編碼深度的劃分信息被設(shè)置為O，除了編碼深度之外的深度的劃分信息被設(shè)置為I。
[0143]視頻解碼設(shè)備200的圖像數(shù)據(jù)和編碼信息提取器220可提取并使用關(guān)于編碼單元900的編碼深度和預測單元的信息以對分區(qū)912進行解碼。視頻解碼設(shè)備200可通過使用根據(jù)深度的劃分信息將劃分信息為O的深度確定為編碼深度，并使用關(guān)于相應深度的編碼模式的信息以進行解碼。
[0144]圖10至圖12是用于描述根據(jù)本發(fā)明的實施例的編碼單元1010、預測單元1060和變換單元1070之間的關(guān)系的示圖。
[0145]編碼單元1010是最大編碼單元中與由視頻編碼設(shè)備100確定的編碼深度相應的具有樹結(jié)構(gòu)的編碼單元。預測單元1060是編碼單元1010中的每一個的預測單元的分區(qū)，變換單元1070是編碼單元1010中的每一個的變換單元。
[0146]當編碼單元1010中的最大編碼單元的深度是O時，編碼單元1012和1054的深度是 1，編碼單元 1014、1016、1018、1028、1050 和 1052 的深度是 2，
[0147]編碼單元1020、1022、1024、1026、1030、1032 和 1048 的深度是 3，編碼單元 1040、1042、1044和1046的深度是4。
[0148]在預測單元1060中，通過對編碼單元1010中的編碼單元進行劃分來獲得某些編碼單元 1014、1016、1022、1032、1048、1050、1052 和 1054。換句話說，編碼單元 1014、1022、1050和1054中的分區(qū)類型具有2NXN的尺寸，編碼單元1016、1048和1052中的分區(qū)類型具有NX2N的尺寸，編碼單元1032的分區(qū)類型具有NXN的尺寸。編碼單元1010的預測單元和分區(qū)小于或等于每個編碼單元。
[0149]對小于編碼單元1052的數(shù)據(jù)單元中的變換單元1070中的編碼單元1052的圖像數(shù)據(jù)執(zhí)行變換或反變換。此外，變換單元1070中的編碼單元1014、1016、1022、1032、1048、1050和1052在尺寸和形狀方面與預測單元1060中的編碼單元1014、1016、1022、1032、1048,1050和1052不同。換句話說，視頻編碼設(shè)備100和視頻解碼設(shè)備200可對相同編碼單元中的數(shù)據(jù)單元分別執(zhí)行幀內(nèi)預測、運動估計、運動補償、變換和反變換。
[0150]因此，對最大編碼單元的每個區(qū)域中具有分層結(jié)構(gòu)的編碼單元中的每一個遞歸地執(zhí)行編碼，以確定最佳編碼單元，從而可獲得具有遞歸樹結(jié)構(gòu)的編碼單元。編碼信息可包括關(guān)于編碼單元的劃分信息、關(guān)于分區(qū)類型的信息、關(guān)于預測模式的信息和關(guān)于變換單元的尺寸的信息。表I示出可由視頻編碼設(shè)備100和視頻解碼設(shè)備200設(shè)置的編碼信息。
[0151]表I
[0152]
【權(quán)利要求】
1.一種對視頻數(shù)據(jù)進行復用以識別視頻數(shù)據(jù)的再現(xiàn)狀態(tài)的方法，所述方法包括: 基于具有分層結(jié)構(gòu)的數(shù)據(jù)單元對形成視頻數(shù)據(jù)的畫面進行編碼； 響應于來自解碼設(shè)備的對編碼數(shù)據(jù)的發(fā)送請求，確定發(fā)送請求根據(jù)正常再現(xiàn)還是針對隨機訪問； 根據(jù)確定的結(jié)果，將預定語法添加到用于對在隨機訪問中使用并具有前導畫面的幀內(nèi)畫面進行復用的傳輸單元數(shù)據(jù)，所述前導畫面在顯示順序中在幀內(nèi)畫面之前但在編碼順序中在幀內(nèi)畫面之后被編碼，其中，所述預定語法指示經(jīng)由正常再現(xiàn)的請求和經(jīng)由隨機訪問的請求之中的哪個請求與幀內(nèi)畫面有關(guān)。
2.如權(quán)利要求1所述的方法，其中，傳輸單元數(shù)據(jù)是在網(wǎng)絡抽象層(NAL)單元中。
3.如權(quán)利要求2所述的方法，其中，所述預定語法是指示NAL單元的類型的標識符(nal單元類型)，被用于對根據(jù)經(jīng)由正常再現(xiàn)的請求提供的幀內(nèi)畫面進行復用的NAL單元具有與被用于對根據(jù)經(jīng)由隨機訪問的請求提供的幀內(nèi)畫面進行復用的NAL單元的標識符(nal單元類型)不同的標識符(nal單元類型)。
4.如權(quán)利要求1所述的方法，其中，添加所述預定語法的步驟包括: 將兄弟畫面的畫 面順序計數(shù)(POC)添加到傳輸單元數(shù)據(jù)，其中，兄弟畫面在編碼順序中在幀內(nèi)畫面之前并被用作前導畫面的參考畫面； 獲得POC不連續(xù)計數(shù)器(PDC)，其中，在幀內(nèi)畫面之前的畫面被編碼時，每當POC被重置或幀內(nèi)畫面被編碼時，PDC的計數(shù)增加； 將PDC添加到傳輸單元數(shù)據(jù)。
5.如權(quán)利要求1所述的方法，其中，編碼的步驟包括: 確定樹結(jié)構(gòu)編碼單元，確定用于對每個具有編碼深度的編碼單元進行預測編碼的分區(qū)，基于分層結(jié)構(gòu)變換單元執(zhí)行變換，并隨后確定樹編碼變換單元，其中，樹結(jié)構(gòu)編碼單元包括根據(jù)深度而分層形成的根據(jù)深度的較深層編碼單元中的具有編碼深度的編碼單元，所述深度指示通過使用最大尺寸編碼單元對形成視頻的畫面進行劃分而獲得的至少一個最大編碼單元的空間劃分計數(shù)。
6.一種用于對視頻數(shù)據(jù)進行復用以識別視頻數(shù)據(jù)的再現(xiàn)狀態(tài)的設(shè)備，所述設(shè)備包括: 視頻編碼器，用于基于具有分層結(jié)構(gòu)的數(shù)據(jù)單元對形成視頻數(shù)據(jù)的畫面進行編碼； 再現(xiàn)狀態(tài)識別器，用于響應于來自解碼設(shè)備的對編碼數(shù)據(jù)的發(fā)送請求，確定發(fā)送請求根據(jù)正常再現(xiàn)還是針對隨機訪問； 復用器，根據(jù)確定的結(jié)果，將預定語法添加到用于對在隨機訪問中使用并具有前導畫面的幀內(nèi)畫面進行復用的傳輸單元數(shù)據(jù)，所述前導畫面在顯示順序中在幀內(nèi)畫面之前但在編碼順序中在幀內(nèi)畫面之后被編碼，其中，所述預定語法指示經(jīng)由正常再現(xiàn)的請求和經(jīng)由隨機訪問的請求之中的哪個請求與幀內(nèi)畫面有關(guān)。
7.—種對視頻數(shù)據(jù)進行解復用以識別視頻數(shù)據(jù)的再現(xiàn)狀態(tài)的方法，所述方法包括: 接收用于對比特流進行復用的傳輸單元數(shù)據(jù)，所述比特流通過基于分層結(jié)構(gòu)數(shù)據(jù)單元對形成視頻數(shù)據(jù)的畫面進行編碼而產(chǎn)生； 從用于對在隨機訪問中使用并具有前導畫面的幀內(nèi)畫面進行復用的傳輸單元數(shù)據(jù)獲得預定語法，所述前導畫面在顯示順序中在幀內(nèi)畫面之前但在解碼順序中在幀內(nèi)畫面之后被解碼，其中，所述預定語法指示幀內(nèi)畫面根據(jù)正常再現(xiàn)狀態(tài)還是根據(jù)隨機訪問狀態(tài)被解碼； 基于獲得的預定語法，識別幀內(nèi)畫面根據(jù)正常再現(xiàn)還是根據(jù)隨機訪問被再現(xiàn)。
8.如權(quán)利要求7所述的方法，其中，傳輸單元數(shù)據(jù)是在網(wǎng)絡抽象層(NAL)單元中。
9.如權(quán)利要求8所述的方法，其中，所述預定語法是指示NAL單元的類型的標識符(nal單元類型)，被用于對根據(jù)正常再現(xiàn)提供的幀內(nèi)畫面進行復用的NAL單元具有與被用于對根據(jù)隨機訪問提供的幀內(nèi)畫面進行復用的NAL單元的標識符(nal單元類型)不同的標識符(nal單元類型)。
10.如權(quán)利要求7所述的方法，其中，所述預定語法包括:兄弟畫面的畫面順序計數(shù)(POC)以及POC不連續(xù)計數(shù)器(PDC)，其中，兄弟畫面在解碼順序中在幀內(nèi)畫面之前并被用作前導畫面的參考畫面，在幀內(nèi)畫面之前的畫面被解碼時，每當POC被重置或幀內(nèi)畫面被解碼時，PDC的計數(shù)增加。
11.如權(quán)利要求10所述的方法，其中，識別的步驟包括: 在幀內(nèi)畫面之前的畫面被解碼時，每當POC被重置或幀內(nèi)畫面被解碼時，增加解碼設(shè)備的roc的計數(shù)； 將從傳輸單元數(shù)據(jù)獲得的PDC的計數(shù)與解碼設(shè)備的PDC的計數(shù)進行比較； 基于比較的結(jié)果，確定幀內(nèi)畫面根據(jù)正常再現(xiàn)還是根據(jù)隨機訪問被再現(xiàn)。
12.如權(quán)利 要求11所述的方法，其中，當從傳輸單元數(shù)據(jù)獲得的PDC的計數(shù)與解碼設(shè)備的roc的計數(shù)不匹配時，確定的步驟包括將幀內(nèi)畫面確定為根據(jù)隨機訪問被再現(xiàn)的畫面。
13.如權(quán)利要求7所述的方法，當幀內(nèi)畫面根據(jù)隨機訪問被解碼時，還包括跳過對前導畫面進行解碼的步驟。
14.如權(quán)利要求7所述的方法，其中，通過確定樹結(jié)構(gòu)編碼單元，確定用于對每個具有編碼深度的編碼單元進行預測編碼的分區(qū)，基于分層結(jié)構(gòu)變換單元執(zhí)行變換，并隨后確定樹編碼變換單元來對比特流進行編碼，其中，樹結(jié)構(gòu)編碼單元包括根據(jù)深度而分層形成的根據(jù)深度的較深層編碼單元中的具有編碼深度的編碼單元，所述深度指示通過使用最大尺寸編碼單元對形成視頻的畫面進行劃分而獲得的至少一個最大編碼單元的空間劃分計數(shù)。
15.一種用于對視頻數(shù)據(jù)進行解復用以識別視頻數(shù)據(jù)的再現(xiàn)狀態(tài)的設(shè)備，所述設(shè)備包括: 反向復用器，用于接收用于對比特流進行復用的傳輸單元數(shù)據(jù)，所述比特流通過基于分層結(jié)構(gòu)數(shù)據(jù)單元對形成視頻數(shù)據(jù)的畫面進行編碼而產(chǎn)生，從用于對在隨機訪問中使用并具有前導畫面的幀內(nèi)畫面進行復用的傳輸單元數(shù)據(jù)獲得預定語法，所述前導畫面在顯示順序中在幀內(nèi)畫面之前但在解碼順序中在幀內(nèi)畫面之后被解碼，其中，所述預定語法指示幀內(nèi)畫面根據(jù)正常再現(xiàn)狀態(tài)還是根據(jù)隨機訪問狀態(tài)被解碼； 再現(xiàn)狀態(tài)識別器，用于基于獲得的預定語法，識別幀內(nèi)畫面根據(jù)正常再現(xiàn)還是根據(jù)隨機訪問被再現(xiàn)。
【文檔編號】H04N21/6587GK103765908SQ201280042854
【公開日】2014年4月30日 申請日期:2012年7月2日 優(yōu)先權(quán)日:2011年7月2日
【發(fā)明者】樸永五, 崔光杓, 金贊烈, 楊喜喆 申請人:三星電子株式會社