圖像處理裝置和方法
【專利摘要】本發(fā)明涉及一種能夠抑制編碼效率減小的圖像處理裝置和方法。這種圖像處理裝置編碼圖像并產生編碼數據，并且當使用量化矩陣被復制的復制模式時，并且當識別量化矩陣的參考物的量化矩陣參考數據與識別量化矩陣的量化矩陣識別數據匹配時，該圖像處理裝置將其語義被設置為參考與作為量化的處理單位的塊尺寸相同的尺寸對應的默認量化矩陣的語法，設置為所產生的編碼數據的語法。
【專利說明】圖像處理裝置和方法

【技術領域】
[0001]本公開涉及一種圖像處理裝置和方法。

【背景技術】
[0002]在作為視頻編碼方案的標準規(guī)范之一的H.264/AVC(高級視頻編碼)中，高規(guī)格(Profile)或更高規(guī)格中的各規(guī)格允許利用針對正交變換系數的每個分量而不同的量化步長量化圖像數據?？苫趨⒖疾介L值和由與正交變換的單位相同的尺寸定義的量化矩陣(也被稱為縮放列表)設置針對正交變換系數的每個分量的量化步長。
[0003]針對每個預測模式(幀內預測模式、幀間預測模式)并且針對每個變換單位尺寸(4X4、8X8)準備量化矩陣的指定值。另外，允許用戶指定不同于序列參數集或圖像參數集中的指定值的獨一無二的量化矩陣。在未使用量化矩陣的情況下，量化步長針對所有分量具有相同的值。
[0004]在正被標準化為下一代視頻編碼方案并且作為H.264/AVC的后繼方案的HEVC (高效率視頻編碼)中，已引入與傳統(tǒng)宏塊對應的編碼單位(CU)的概念(參見例如NPL1)。編碼單位的尺寸的范圍由序列參數集中的一組值指定，所述一組值是2的冪，稱為最大編碼單位(IXU)和最小編碼單位(S⑶)。另外，使用split_flag指定由IXU和S⑶指定的范圍中的特定編碼單位尺寸。
[0005]在HEVC中，一個編碼單位可被劃分為一個或多個正交變換單位或一個或多個變換單位(TU)?？捎米儞Q單位尺寸是4X4、8X8、16X16和32X32中的任何一個。
[0006]同時，為了諸如在發(fā)送期間減少編碼的量的目的，量化矩陣(縮放列表)的DC分量(也被稱為直流分量)被發(fā)送作為不同于其AC分量(也被稱為交流分量)的數據。具體地講，縮放列表的DC分量被發(fā)送作為不同于AC系數(也被稱為交流系數)的DC系數(也被稱為直流系數)，AC系數是縮放列表的AC分量。
[0007]為了在發(fā)送期間減少DC系數的編碼的量，已提出從DC系數的值減去常數(例如，8)并且使用有符號指數Golomb編碼對所獲得的值(scaling_list_dc_coef_minus8)進行編碼(參見例如NPL1)。
[0008]引用列表
[0009]非專利文獻
[0010]NPLI:Benjamin Brossj Fraunhofer HHI, Woo-J in Han，GachonUniversity,Jens-Rainer Ohm, RWTH Aachen,Gary J.Sullivan, Microsoft, ThomasWiegandj Fraunhofer HHI/TU Berlin,JCTVC-H1003, 〃High Efficiency VideoCoding (HEVC) text specificat1n draft6〃，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and IS0/IEC JTCl/SC29/WG117th Meeting:Geneva, CHj 21-30November,2011
【發(fā)明內容】

[0011]技術問題
[0012]然而，在現有技術中，發(fā)送指示使用默認矩陣的信息，從而導致編碼效率可能顯著降低的風險。
[0013]考慮到上述情況而提出本公開，并且本公開的目的在于能夠抑制編碼效率的降低。
[0014]問題的解決方案
[0015]本公開的一個方面提供了一種圖像處理裝置，包括:
[0016]編碼單元，其被配置為對圖像編碼以產生編碼數據；以及
[0017]設置單元，其被配置為將以下語法設置為由編碼單元所產生的編碼數據的語法:該語法的語義被設置為使得在當使用量化矩陣被復制的復制模式時，識別量化矩陣的參考目的地的量化矩陣參考數據與識別量化矩陣的量化矩陣識別數據匹配的情況下，參考具有與作為執(zhí)行量化時的處理單位的塊尺寸相同的尺寸的默認量化矩陣。
[0018]設置單元可以將以下語法設置為由編碼單元所產生的編碼數據的語法:該語法的語義被設置為使得當量化矩陣參考數據與量化矩陣識別數據之間的差等于O時，參考默認量化矩陣。
[0019]作為執(zhí)行編碼處理時的處理單位的編碼單位以及作為執(zhí)行變換處理時的處理單位的變換單位可以具有分層結構，并且編碼單元可以使用具有分層結構的單位來執(zhí)行編碼。
[0020]該圖像處理裝置還可以包括:發(fā)送單元，其被配置為發(fā)送量化矩陣，該量化矩陣被用來將尺寸被限制為不大于作為發(fā)送中允許的最大尺寸的發(fā)送尺寸的量化矩陣上轉換到作為執(zhí)行去量化時的處理單位的變換單位的尺寸。
[0021 ] 發(fā)送尺寸可以是8X8，并且變換單位的尺寸可以是16 X 16尺寸。
[0022]發(fā)送尺寸可以是8X8，并且變換單位的尺寸可以是32 X 32尺寸。
[0023]本公開的方面還提供了一種圖像處理方法，包括:編碼圖像以產生編碼數據；以及將以下語法設置為所產生的編碼數據的語法:該語法的語義被設置為使得當在量化矩陣被復制的復制模式中，識別量化矩陣的參考目的地的量化矩陣參考數據與識別量化矩陣的量化矩陣識別數據匹配時，參考具有與作為執(zhí)行量化時的處理單位的塊尺寸相同的尺寸的默認量化矩陣。
[0024]在本發(fā)明的方面中，圖像被編碼以產生編碼數據；并且以下語法被設置為所產生的編碼數據的語法:該語法的語義被設置為使得當在量化矩陣被復制的復制模式中，識別量化矩陣的參考目的地的量化矩陣參考數據與識別量化矩陣的量化矩陣識別數據匹配時，參考具有與作為執(zhí)行量化時的處理單位的塊尺寸相同的尺寸的默認量化矩陣。
[0025]發(fā)明的有益效果
[0026]根據本公開，可處理圖像。特別地，可抑制編碼效率的降低。

【專利附圖】

【附圖說明】
[0027]圖1是表示縮放列表的例子的示圖。
[0028]圖2是表示上轉換的例子的示圖。
[0029]圖3是表示如何在解碼器中使用縮放列表的例子的示圖。
[0030]圖4是表示縮放列表的編碼的例子的示圖。
[0031]圖5是表示使用本技術的縮放列表的編碼的例子的示圖。
[0032]圖6是表示指數Golomb碼的例子的示圖。
[0033]圖7包括表示縮放列表的語法的例子的示圖。
[0034]圖8是表示默認矩陣的語法的例子的示圖。
[0035]圖9包括表示默認矩陣的語義的例子的示圖。
[0036]圖10是表示縮放列表的語法的例子的示圖。
[0037]圖11是表示使用本技術的縮放列表的語法的例子的示圖。
[0038]圖12包括表示相關技術中的縮放列表的語法的例子的示圖。
[0039]圖13是表示縮放列表的語法的例子的示圖。
[0040]圖14是表示圖像編碼裝置的主要結構的例子的方框圖。
[0041]圖15是表示正交變換/量化單元的主要結構的例子的方框圖。
[0042]圖16是表示矩陣處理單元的主要結構的例子的方框圖。
[0043]圖17是表示下采樣的例子的示圖。
[0044]圖18是表示交疊部分的去除的例子的示圖。
[0045]圖19是表示DPCM單元的主要結構的例子的方框圖。
[0046]圖20是表示量化矩陣編碼處理的流程的例子的流程圖。
[0047]圖21是表示DPCM處理的流程的例子的流程圖。
[0048]圖22是表示圖像解碼裝置的主要結構的例子的方框圖。
[0049]圖23是表示去量化/逆正交變換單元的主要結構的例子的方框圖。
[0050]圖24是表示矩陣產生單元的主要結構的例子的方框圖。
[0051]圖25是表示最近鄰居內插處理的例子的示圖。
[0052]圖26是表示逆DPCM單元的主要結構的例子的方框圖。
[0053]圖27是表示矩陣產生處理的流程的例子的流程圖。
[0054]圖28是表示殘余信號解碼處理的流程的例子的流程圖。
[0055]圖29是表示逆DPCM處理的流程的例子的流程圖。
[0056]圖30是表示縮放列表的語法的另一例子的示圖。
[0057]圖31是表示DPCM單元的另一示例性結構的方框圖。
[0058]圖32是表示DPCM處理的流程的另一例子的流程圖。
[0059]圖33是表示逆DPCM單元的另一示例性結構的方框圖。
[0060]圖34是表示逆DPCM處理的流程的另一例子的流程圖。
[0061]圖35是表示縮放列表的語法的另一例子的示圖。
[0062]圖36是表示逆DPCM處理的流程的另一例子的流程圖。
[0063]圖37是表示縮放列表的語法的另一例子的示圖。
[0064]圖38是表示DPCM單元的另一示例性結構的方框圖。
[0065]圖39是表示DPCM處理的另一例子的流程圖。
[0066]圖40是表示逆DPCM單元的另一示例性結構的方框圖。
[0067]圖41是表示逆DPCM處理的流程的另一例子的流程圖。
[0068]圖42是表示逆DPCM處理的流程的另一例子的從圖41繼續(xù)的流程圖。
[0069]圖43包括表不縮放列表的語法的另一例子的不圖。
[0070]圖44包括表示縮放列表的語法的另一例子的示圖。
[0071]圖45包括表不縮放列表的語法的另一例子的不圖。
[0072]圖46是表示多視圖圖像編碼方案的例子的示圖。
[0073]圖47是表示應用本技術的多視圖圖像編碼裝置的主要結構的例子的示圖。
[0074]圖48是表示應用本技術的多視圖圖像解碼裝置的主要結構的例子的示圖。
[0075]圖49是表示分層圖像編碼方案的例子的示圖。
[0076]圖50是表示應用本技術的分層圖像編碼裝置的主要結構的例子的示圖。
[0077]圖51是表示應用本技術的分層圖像解碼裝置的主要結構的例子的示圖。
[0078]圖52是表示計算機的主要結構的例子的方框圖。
[0079]圖53是表示電視設備的主要結構的例子的方框圖。
[0080]圖54是表示移動終端裝置的主要結構的例子的方框圖。
[0081]圖55是表示記錄/再現設備的主要結構的例子的方框圖。
[0082]圖56是表示成像設備的主要結構的例子的方框圖。
[0083]圖57是表示可縮放編碼的使用的例子的方框圖。
[0084]圖58是表示可縮放編碼的使用的另一例子的方框圖。
[0085]圖59是表示可縮放編碼的使用的另一例子的方框圖。

【具體實施方式】
[0086]將在以下描述用于執(zhí)行本公開的實施方式(以下，稱為實施例)。在這個方面，將按照下面的次序進行描述。
[0087]1.第一實施例(本技術的示例性應用)
[0088]2.第二實施例(圖像編碼裝置、圖像解碼裝置:第一方法)
[0089]3.第三實施例(圖像編碼裝置、圖像解碼裝置:第二方法)
[0090]4.第四實施例(圖像編碼裝置、圖像解碼裝置:第三方法)
[0091]5.第五實施例(圖像編碼裝置、圖像解碼裝置:第四方法)
[0092]6.第六實施例(圖像編碼裝置、圖像解碼裝置:其它方法)
[0093]7.第七實施例(多視圖圖像編碼裝置、多視圖圖像解碼裝置)
[0094]8.第八實施例(分層圖像編碼裝置、分層圖像解碼裝置)
[0095]9.第九實施例(計算機)
[0096]10.示例性應用
[0097]11.可縮放編碼的示例性應用
[0098]〈1.第一實施例>
[0099]在這個實施例中，將給出將在本技術的第二實施例和后面的實施例中詳細描述的本技術的示例性應用的描述。
[0100]<1-1.本技術的示例性應用>
[0101]首先，將描述本技術適用的示例性例子。本技術是與在當圖像數據被編碼和解碼時執(zhí)行的量化和去量化處理中使用的縮放列表的編碼和解碼相關的技術。
[0102]圖像數據的編碼和解碼可包括系數數據的量化和去量化。以具有預定尺寸的塊為單位執(zhí)行這種量化和去量化，并且使用具有與塊尺寸對應的尺寸的縮放列表(或量化矩陣)。例如，在HEVC (高效率視頻編碼)中，以諸如4X4、8X8、16X16和32X32的尺寸執(zhí)行量化(或去量化)。在HEVC中，可準備具有4X4和8X8尺寸的量化矩陣。
[0103]圖1表示8X8縮放列表的例子。如圖1中所示，縮放列表包括DC系數和AC系數。包括一個值的DC系數是量化矩陣的(0，0)系數，并且對應于離散余弦轉換(DCT)的DC系數。AC系數是除(0，0)系數之外的量化矩陣的系數，并且對應于除DC系數之外的DCT的系數。需要注意的是，如圖1中所示，AC系數由矩陣表示。也就是說，AC系數也包括(0，0)系數(以下也被稱為AC系數(0，O))，并且當被用于量化/去量化時，位于量化矩陣的開頭處的(0，0)系數被DC系數替換。因此，DC系數也被稱為替換系數。在圖1中示出的例子中，AC系數形成8X8矩陣。
[0104]此外，在HEVC中，8X8量化矩陣的上轉換的版本(向上轉換)被用于16X16或32X32量化(或去量化)。
[0105]圖2表示8X8縮放列表到16X16縮放列表的上轉換的例子。如圖2中所示，使用例如最近鄰居內插處理對縮放列表進行上轉換。將在以下參照例如圖25描述最近鄰居內插處理的細節(jié)。如圖2中所示，對縮放列表的AC系數執(zhí)行上轉換。然后，上轉換的AC系數之中的(0，0)系數被DC系數替換。
[0106]準備兩個類型的8X8縮放列表，即用于上轉換為16X16的8X8縮放列表(“用于16X16的8X8”)和用于上轉換為32X32的8X8縮放列表(“用于32X32的8X8”)。
[0107]在編碼(使用編碼器)期間被用于量化的縮放列表也在解碼(使用解碼器)期間被用于去量化。也就是說，縮放列表被從編碼側(編碼器)發(fā)送給解碼側(解碼器)。圖3表不縮放列表的發(fā)送的例子。
[0108]在圖3中示出的例子中，發(fā)送如上所述的兩個類型的8X8縮放列表，即用于上轉換為16X 16尺寸的8X8縮放列表和用于上轉換為32X32尺寸的8X8縮放列表。雖然在附圖中未不出，但還發(fā)送4X4縮放列表。
[0109]已經以上述方式發(fā)送的用于上轉換為16X16尺寸的8X8縮放列表的AC系數在解碼側(解碼器)使用上述最近鄰居內插處理被上轉換為16X16尺寸，并且在(0，0)系數被DC系數替換之后被用于具有16X 16尺寸的塊的去量化。
[0110]類似地，已經以上述方式發(fā)送的用于上轉換為32X32尺寸的8X8縮放列表的AC系數也在解碼側(解碼器)使用上述最近鄰居內插處理被上轉換為32X32尺寸，并且在(O, O)系數被DC系數替換之后被用于具有32X32尺寸的塊的去量化。
[0111]〈1-2.縮放列表的編碼〉
[0112]以上述方式執(zhí)行的縮放列表的發(fā)送將會相應地增加編碼的量。因此，為了抑制編碼效率的降低，使用一定的方法對縮放列表進行編碼以減少縮放列表的編碼的量。圖4表示縮放列表的編碼的例子。具體地講，如下發(fā)送8X8縮放列表。
[0113]在8X8矩陣至16X 16矩陣的上轉換的情況下:
[0114](I)獲取8X8矩陣的(O, O)系數(也就是說，AC系數(O, O))和預定初始值“8”之差。
[0115](2)獲取8X8矩陣的系數(也就是說，AC系數)(以掃描次序按照一維方式排列的系數的序列中的相鄰系數)之間的差。
[0116](3)獲取16X16矩陣的(0，O)系數(也就是說，DC系數)和預定初始值“8”之差。
[0117](4)在⑴和⑵中獲得的差以及在(3)中獲得的差被分開地發(fā)送。
[0118]在8X8矩陣至32X32矩陣的上轉換的情況下:
[0119](I)獲取8X8矩陣的(O, O)系數(也就是說，AC系數(O, O))和預定初始值“8”之差。
[0120](2)獲取8X8矩陣的系數(也就是說，AC系數)(以掃描次序按照一維方式排列的系數的序列中的相鄰系數)之間的差。
[0121](3)獲取32X32矩陣的(0，O)系數(也就是說，DC系數)和預定初始值“8”之差。
[0122](4)在⑴和⑵中獲得的差以及在(3)中獲得的差被分開地發(fā)送。
[0123]然而，在上述方法中，這些差被使用有符號指數Golomb編碼進行編碼并且被在
(4)中發(fā)送。如上所述，在⑴中獲得的差是AC系數(0，0)和初始值“8”之差。因此，存在這樣的擔心:如果AC系數(0，0)的值不是接近于初始值“8”的值，則編碼的量可能增加。
[0124]例如，在圖4中，AC系數(0，0)的值是“12”，并且值“4”被使用有符號指數Golomb編碼進行編碼并且被作為在(I)中獲得的差而發(fā)送。也就是說，為了發(fā)送在(I)中獲得的差而需要7位，并且編碼效率可能相應地降低。如果在(I)中獲得的差的值增加，則編碼效率可能進一步降低。對于用于上轉換為16 X 16尺寸的8 X 8縮放列表和用于上轉換為32 X 32尺寸的8X8縮放列表的情況而言，同樣如此。
[0125]同時，DCT系數的能量通常集中在DC系數和鄰近的低階系數中。因此，通常，量化矩陣還具有用于DC系數和鄰近系數的小的值。另外，如果顯著不同的值被用于各頻率，則可能在主觀上察覺到量化誤差。為了抑制這種視覺的圖像質量的降低，連續(xù)的值被用于DC系數和鄰近系數。
[0126]在上轉換之后獲得的(0，I)系數、(1.0)系數和(1.1)系數對應于在上轉換之前的AC系數(0，0)。另外，在上轉換之后獲得的(0，0)系數對應于DC系數。
[0127]因此，在縮放列表中，AC系數(0，0)的值和DC系數的值通常彼此接近。例如，MPEG2、AVC和HEVC默認矩陣采用具有這種關系的值。此外，在圖4中示出的例子中，DC系數的值與AC系數(0，0)的值相同，也就是說，“12”。因此，在(3)中獲得的差(也就是說，DC系數和初始值“8”之差)的值也是“4”。
[0128]也就是說，獲取其值彼此接近的DC系數和AC系數(0，0)中的每一個和初始值之差可能增加它們之間的差值，并且還可能引起冗余?？梢哉f，將會存在進一步降低編碼效率的風險。
[0129]為了解決這個問題，替代于使用圖4中示出的方法，使用下面的方法發(fā)送縮放列表。圖5表不這個方法的例子。
[0130]在8X8矩陣至16X 16矩陣的上轉換的情況下:
[0131](I)獲取8X8矩陣的(0，0)系數(也就是說，AC系數(0，0))和16X16矩陣的(O, O)系數(也就是說，DC系數)之差。
[0132](2)獲取8X8矩陣的系數(也就是說，AC系數)(以掃描次序按照一維方式排列的系數的序列中的相鄰系數)之間的差。
[0133](3)獲取16X16矩陣的(0，O)系數(也就是說，DC系數)和預定初始值“8”之差。
[0134](4)在⑴至(3)中獲得的差被共同發(fā)送。
[0135]在8X8矩陣至32X32矩陣的上轉換的情況下:
[0136](I)獲取8X8矩陣的(0，0)系數(也就是說，AC系數(0，0))和32X32矩陣的(O, O)系數(也就是說，DC系數)之差。
[0137](2)獲取8X8矩陣的系數(也就是說，AC系數)(以掃描次序按照一維方式排列的系數的序列中的相鄰系數)之間的差。
[0138](3)獲取32X32矩陣的(0，O)系數(也就是說，DC系數)和預定初始值“8”之差。
[0139](4)在(I)至(3)中獲得的差被共同發(fā)送。
[0140]類似于圖4中示出的方法，在(4)中，這些差被使用指數Golomb編碼進行編碼并且作為指數Golomb碼發(fā)送。
[0141]在將這些差作為指數Golomb碼發(fā)送到的目的地處，當接收到指數Golomb碼時，接收到的指數Golomb碼被解碼以獲得各個差，并且對獲得的差執(zhí)行與上述⑴至(3)中的處理相反的處理以確定各個系數(DC系數和AC系數)。
[0142]〈1-3.本技術的示例性特征〉
[0143]現在將描述與上述發(fā)送方法相關的本技術的示例性特征。
[0144]<1-3-1.AC 系數(0，O)和 DC 系數之間的 DPCM>
[0145]使用差分脈沖編碼調制(DPCM)對縮放列表進行編碼并且發(fā)送縮放列表。在圖4中示出的例子中，分別對AC系數和DC系數進行DPCM編碼，而根據本技術的特征之一，在圖5中示出的例子中，確定并且發(fā)送AC系數(0，0)和DC系數之差(也被稱為替換差系數)。
[0146]如上所述，AC系數(0，O)和DC系數通常采用彼此接近的值。因此，AC系數(0，O)和DC系數之差可能小于AC系數(0，0)和初始值“8”之差。也就是說，使用本技術的作為AC系數(0，0)和DC系數之差的替換差系數的發(fā)送可能更有可能減少編碼的量。
[0147]例如，在圖5中示出的例子中，在(I)中獲得的差的值是“O”。
[0148]圖6是表示有符號指數Golomb編碼的例子的表。如圖6中示出的表中所指示，用于值“4”的指數Golomb碼具有7位的碼長，而用于值“O”的指數Golomb碼具有I位的碼長。也就是說，與圖4中示出的方法相比較，圖5中示出的方法能夠減少6位的編碼的量。
[0149]通常，具有8X8尺寸的量化矩陣的發(fā)送需要大約100位至200位的編碼量。因此，6位占據總量的大約6%。在高級語法中將編碼的量減少6%能夠說是非常大的效果。
[0150]〈1-3-2.DC系數和AC系數的共同發(fā)送〉
[0151]圖7表示縮放列表的語法的例子。在圖7的部分A中示出的例子中表示圖4中示出的例子的語法。具體地講，在發(fā)送AC系數(0，0)和初始值“8”之差以及AC系數之間的差(scaling_list_delta_coef)之后，DC 系數和初始值“8”之差(sealing_list_dc_coef_minus8)被分開地發(fā)送。
[0152]相比之下，本技術的特征之一在于:DC系數和AC系數(0,0)之差以及AC系數之間的差按照這個次序排列并且被共同發(fā)送。具體地講，如圖5中所示，在按照預定掃描次序排列的DC系數和AC系數按照一維方式排列并且DC系數和初始值“8”之差被確定之后，系數的序列中的相鄰系數之差被確定。另外，所獲得的差(系數之差)按照被獲得的次序按照一維方式排列并且被共同發(fā)送。
[0153]在圖7的部分B中的例子中表示在這種情況下的語法。具體地講，最初，DC系數和初始值“8”之差(scaling_list_dc_coef_minus8)被發(fā)送,然后,發(fā)送DC系數和AC系數(0,0)之差以及AC系數之間的差(scaling_list_delta_coef)。也就是說，DC系數和AC系數被共同編碼并且發(fā)送。
[0154]以這種方式，按照獲得的次序排列的差的共同發(fā)送允許差被發(fā)送到的解碼側(解碼器)按照發(fā)送的次序對這些差進行解碼并且獲得各個系數。也就是說，DPCM編碼的縮放列表能夠被容易地解碼。更具體地講，能夠減少處理負載。另外，不再需要差的重新排列，導致緩沖容量的減少。另外，各個差能夠按照提供的次序被解碼，導致抑制處理時間的增加。
[0155]<1-3-3.默認矩陣的發(fā)送〉
[0156]圖8是表示用于默認矩陣的發(fā)送的語法的例子的示圖。在相關技術中，如圖8中所示，作為“O”發(fā)送初始系數(也就是說，DC系數)以發(fā)送指示默認矩陣的使用的信息。也就是說，DC系數和初始值“8”之差(scaling_list_dc_coef_minus8)的值是“_8”。然而,如圖6中所示，用于值“_8”的指數Golomb碼具有9位的碼長。也就是說，存在這樣的擔心:編碼效率可能顯著降低。通常，希望高級語法的位數盡可能少。另外，如圖8中所示，由于語法的增加的復雜性，處理負載可能增加。
[0157]為了解決這些問題,初始系數不被設置為“O”,而是修改scaling_list_pred_matrix_id_delta 的語義。更具體地講，sealing_list_pred_matrix_id_deIta 的語義被從圖9的部分A中示出的語義修改為圖9的部分B中示出的語義。也就是說，在相關技術中，如圖9的部分A中所示，等于“O”的值指示參照緊接在前的矩陣(MatrixID-1)。替代于這個描述，如圖9的部分B中所示，scaling_list_pred_matrix_id_delta的等于“O”的值意味著參照默認矩陣。
[0158]因此，用于指示默認矩陣的使用的信息的發(fā)送的指數Golomb碼的碼長能夠等于I位，并且能夠抑制編碼效率的降低。另外，在相關技術中，縮放列表需要如圖10的部分A和B中所示的語法。能夠如圖11中示出的例子中所示簡化這個語法。也就是說，能夠減少縮放列表的編碼和解碼中所包括的處理負載。
[0159]〈1-4.使用本技術的語法的特征〉
[0160]將更具體地描述語法。
[0161]在圖10的部分A和B中示出的相關技術的例子中，默認的確定需要執(zhí)行兩次，也就是，scaling_list_dc_coef_minus8 和 scaling_list_delta_coef。另夕卜，對于 scaling_list_delta_coef,在 “for” 循環(huán)中進行確定，并且當 useDefaultScalingMatrixFlag = I時，離開該循環(huán)。另外，需要稱為“stopNow”的中間標記，并且因為這個條件，還存在諸如將nextCoef代入到scalingList的值中的分支。以這種方式，相關技術的語法包括復雜的處理。
[0162]在本技術中，相應地,如圖11中示出的例子中所示，從scaling_list_dc_coef_minus8計算的DC系數被代入到nextCoef中以將scaling_list_delta_coef的初始值設置為DC系數。
[0163]另外，在語義中，在相關技術中由“ + I”代表的scaling_list_pred_matrix_id_delta的值保持不變，并且值“0”被用作特殊值。
[0164]也就是說，在相關技術中，當ScalingList [O] [2]將要被解碼(matrixld=2)時，如果 sealing_list_pred_matrix_id_deIta = O,則從 refMatrixId =matrixld-(l+scaling_list_pred_matrix_id_delta)獲得 matrixld = 2。因此，獲得refMatrixId = I,并且復制 ScalingList [O] [I]的值。
[0165]相比之下，在本技術中，設置refMatrixId = matrixld-scaling_list_pred_matrix_id_delta。當 ScalingList [0] [2]將要被解碼(matrixld = 2)時，如果將要復制ScalingList [O] [I](或者如果將要獲得 refMatrixId = I),則可設置 scaling_list_pred_matrix_id_deIta = I。
[0166]因此，如圖11中所示，縮放列表的語法的行數能夠顯著減少。另外，將要作為中間數據而包括的兩個變量，即UseDefaultScalingMatrix和stopNow,能夠被省略。另外，能夠不再需要如圖10中所示在“for”循環(huán)中形成的分支。因此，能夠減少縮放列表的編碼和解碼中所包括的處理負載。
[0167]<1-5.實現本技術的處理單元〉
[0168]在本技術被應用于縮放列表的發(fā)送的情況下，以上述方式對縮放列表進行編碼和解碼。具體地講，以下參照圖14描述的圖像編碼裝置10對縮放列表進行編碼并且發(fā)送編碼的縮放列表，并且以下參照圖22描述的圖像解碼裝置300接收編碼的縮放列表并且對編碼的縮放列表進行解碼。
[0169]縮放列表由圖像編碼裝置10的正交變換/量化單元14 (圖14)中的矩陣處理單元150(圖15)編碼。更具體地講，縮放列表由矩陣處理單元150中的熵編碼單元164(圖16)中的DPCM單元192和exp_G單元193(DPCM單元192和exp_G單元193都被示出在圖16中)編碼。也就是說，DPCM單元192確定縮放列表的系數(DC系數和AC系數)之間的差，并且exp-G單元193使用指數Golomb編碼對各個差進行編碼。
[0170]為了如上所述使用本技術對縮放列表進行編碼，DPCM單元192可具有如例如圖19中所示的示例性結構，并且可執(zhí)行如圖21中示出的例子中所示的DPCM處理。另外，可使用如圖44的部分C或圖45的部分C中示出的例子中所示的語義。
[0171]換句話說，可僅需要DPCM單元192和exp_G單元193來使用本技術實現縮放列表的編碼，并且可根據需要使用具有任何結構的其它部件?？筛鶕嵤├峁┬枰慕Y構，諸如用于上轉換縮放列表的處理單元和用于使用縮放列表執(zhí)行量化的處理單元。
[0172]另外，縮放列表由圖像解碼裝置300的去量化/逆正交變換單元313 (圖22)中的矩陣產生單元410(圖23)解碼。更具體地講，縮放列表由矩陣產生單元410中的熵解碼單元533 (圖24)中的exp-G單元551和逆DPCM單元552 (圖24)解碼。也就是說，exp-G單元551對Golomb碼進行解碼以獲得差，并且逆DPCM單元552從各個差確定縮放列表的各系數(DC系數和AC系數)。
[0173]為了如上所述使用本技術對編碼的縮放列表進行解碼，逆DPCM單元552可具有如例如圖26中所示的示例性結構，并且可執(zhí)行如圖29中示出的例子中所示的逆DPCM處理。另外，可使用如圖44的部分C或圖45的部分C中示出的例子中所示的語義。
[0174]換句話說，可僅需要exp-G單元551和逆DPCM單元552來使用本技術實現縮放列表的解碼，并且可根據需要使用具有任何結構的其它部件?？筛鶕嵤├峁┬枰慕Y構，諸如用于上轉換縮放列表的處理單元和用于使用縮放列表執(zhí)行去量化的處理單元。
[0175]將在以下描述應用本技術的各實施例以用于對本技術的更詳細的描述。
[0176]〈2.第二實施例〉
[0177]<2-1.語法:第一方法〉
[0178](I)相關技術的語法
[0179]首先，圖12表示相關技術中的量化矩陣(或縮放列表)的語法的例子。在實際使用中，通常發(fā)送縮放列表和它的預測矩陣之間的差矩陣，而非發(fā)送縮放列表。因此，在下面對語法等的描述中，假設對縮放列表的描述也能夠應用于差矩陣。
[0180]圖12的部分A表示縮放列表數據的語法(縮放列表數據語法)，并且圖12的部分B表示縮放列表的語法(縮放列表語法)。
[0181](1-1)縮放列表數據語法
[0182]如圖12的部分A中所示，縮放列表數據的語法規(guī)定:讀取指示是否提供縮放列表的標記(scaling_list_present_flag)、指示當前模式是否是復制模式的標記(scaling_Iist_pred_mode_flag)、指示在復制模式下參照哪個縮放列表的信息(sealing_list_pred_matrix_id_delta)等。
[0183](1-2)縮放列表語法
[0184]如圖12的部分B中所示，縮放列表的語法規(guī)定:讀取從其減去常數(例如，8)的DC系數(scaling_list_dc_coef_minus8)、AC 系數之間的差值(scaling_list_delta_coef)等并且恢復DC系數和AC系數。
[0185]然而，存在這樣的擔心:雖然上述各條語法方便處理，但它將不會提供DC系數的足夠的壓縮效率。
[0186]因此，為了獲得作為DC分量(直流分量)的系數的DC系數(也被稱為直流系數)的足夠的壓縮效率，確定DC系數和另一系數之差，并且替代于DC系數而發(fā)送該差值。也就是說，該差值是用于計算DC系數的信息，并且換句話說，基本上等同于DC系數。然而，該差值通常小于DC系數。因此，替代于DC系數的該差值的發(fā)送可導致編碼的量的減少。
[0187]在下面的描述中，為了描述的方便，縮放列表(量化矩陣)具有8X8尺寸。將在以下描述上述替代于DC系數發(fā)送DC系數和另一系數之差的方法的特定例子。
[0188](2)第一方法的語法
[0189]例如，可使用DPCM(差分脈沖編碼調制)發(fā)送65個系數，其中DC系數被視為位于8X8矩陣(AC系數)的開頭處的元素(第一方法)。
[0190]也就是說，首先，計算預定常數和DC系數之差，并且該差值被用作DPCM數據的初始系數。然后，計算DC系數和初始AC系數之差，并且該差值被用作DPCM數據的第二系數。然后，計算初始AC系數和第二 AC系數之差，并且該差值被用作DPCM數據的第三系數。隨后，計算與緊接在前的AC系數的差，并且該差值被用作DPCM數據的第四系數，并且以與上述方式類似的方式確定DPCM數據的隨后的系數。從初始系數開始順序地發(fā)送以上述方式產生的DPCM數據的系數。
[0191]因此，當8X8矩陣的(0，0)系數(AC系數)和DC系數的值彼此接近時，能夠提高壓縮比。通過實現上述第一方法，圖像編碼裝置能夠以與AC系數(交流系數)的方式類似的方式處理DC系數，AC系數是AC分量(也被稱為交流分量)的系數。需要注意的是，為了實現上述第一方法，上述系數被發(fā)送到的圖像解碼裝置需要僅特殊處理初始系數。具體地講，圖像解碼裝置需要從AC系數之中提取DC系數。
[0192]圖13表示在上述情況下的縮放列表的語法。在圖13中示出的例子中，讀取系數之間的65個差值(scaling_list_delta_coef),并且在從差值確定的系數(nextcoef)之中，位于開頭處的系數(nextcoef)被用作DC系數(scaling_list_dc_coef),而其它系數被用作 AC 系數(ScalingList [i])。
[0193]將在以下描述實現上述第一方法的語法的圖像編碼裝置。
[0194]〈2-2.圖像編碼裝置〉
[0195]圖14是表示根據本公開的實施例的圖像編碼裝置10的示例性結構的方框圖。圖14中示出的圖像編碼裝置10是應用本技術的圖像處理裝置，并且該圖像處理裝置被構造為對輸入圖像數據進行編碼并且輸出編碼的圖像數據。參照圖14，圖像編碼裝置10包括A/D(模數)轉換單元11 (A/D)、重新排列緩沖器12、減法單元13、正交變換/量化單元14、無損編碼單元16、積累緩沖器17、速率控制單元18、去量化單元21、逆正交變換單元22、力口法器單元23、解塊濾波器24、幀存儲器25、選擇器26、幀內預測單元30、運動搜索單元40和模式選擇單元50。
[0196]A/D轉換單元11將以模擬形式輸入的圖像信號轉換成數字形式的圖像數據，并且將數字圖像數據序列輸出到重新排列緩沖器12。
[0197]重新排列緩沖器12重新排列從A/D轉換單元11輸入的圖像數據序列中所包括的圖像。在根據用于編碼處理的GOP(圖像組)結構重新排列圖像之后，重新排列緩沖器12將圖像已被重新排列的圖像數據輸出到減法單元13、幀內預測單元30和運動搜索單元40。
[0198]減法單元13被提供從重新排列緩沖器12輸入的圖像數據和由模式選擇單元50選擇的預測圖像數據，將在以下對此進行描述。減法單元13計算代表從重新排列緩沖器12輸入的圖像數據和從模式選擇單元50輸入的預測圖像數據之差的預測誤差數據，并且將計算的預測誤差數據輸出到正交變換/量化單元14。
[0199]正交變換/量化單元14對從減法單元13輸入的預測誤差數據執(zhí)行正交變換和量化，并且將量化的變換系數數據(以下，被稱為量化的數據)輸出到無損編碼單元16和去量化單元21。根據從速率控制單元18提供的速率控制信號控制從正交變換/量化單元14輸出的量化的數據的比特率。將在以下進一步描述正交變換/量化單元14的詳細結構。
[0200]無損編碼單元16被提供從正交變換/量化單元14輸入的量化的數據、用于在解碼側產生縮放列表(或量化矩陣)的信息和關于由模式選擇單元50選擇的幀內預測或幀間預測的信息。關于幀內預測的信息可包括例如指示每個塊的最佳幀內預測模式的預測模式信息。另外，關于幀間預測的信息可包括例如運動向量的逐塊預測的預測模式信息、差分運動向量信息、參考圖像信息等。此外，用于在解碼側產生縮放列表的信息可包括指示將要被發(fā)送的縮放列表的最大尺寸(或縮放列表(量化矩陣)和它的預測矩陣之間的差矩陣)的識別息。
[0201]無損編碼單元16對量化的數據執(zhí)行無損編碼處理以產生編碼流。由無損編碼單元16執(zhí)行的無損編碼可以是例如可變長度編碼、算術編碼等。另外，無損編碼單元16將用于產生縮放列表的信息復用到編碼流的頭部(例如，序列參數集和圖像參數集)中。無損編碼單元16還將上述關于幀內預測或幀間預測的信息復用到編碼流的頭中。其后，無損編碼單元16將產生的編碼流輸出到積累緩沖器17。
[0202]積累緩沖器17使用存儲介質(諸如，半導體存儲器)暫時地積累從無損編碼單元16輸入的編碼流。其后，積累緩沖器17以與傳輸路徑(或圖像編碼裝置10的輸出線路)的帶寬對應的速率輸出積累的編碼流。
[0203]速率控制單元18監(jiān)測積累緩沖器17以檢查容量的可用性。速率控制單元18根據積累緩沖器17的可用容量產生速率控制信號，并且將產生的速率控制信號輸出到正交變換/量化單元14。例如，當積累緩沖器17的可用容量低時，速率控制單元18產生用于減小量化的數據的比特率的速率控制信號。替代地，例如，當積累緩沖器17的可用容量足夠高時，速率控制單元18產生用于增加量化的數據的比特率的速率控制信號。
[0204]去量化單元21對從正交變換/量化單元14輸入的量化的數據執(zhí)行去量化處理。其后，去量化單元21將通過去量化處理獲取的變換系數數據輸出到逆正交變換單元22。
[0205]逆正交變換單元22對從去量化單元21輸入的變換系數數據執(zhí)行逆正交變換處理以恢復預測誤差數據。其后，逆正交變換單元22將恢復的預測誤差數據輸出到加法器單元23。
[0206]加法器單元23將從逆正交變換單元22輸入的恢復的預測誤差數據和從模式選擇單元50輸入的預測圖像數據相加在一起以產生解碼圖像數據。其后，加法器單元23將產生的解碼圖像數據輸出到解塊濾波器24和幀存儲器25。
[0207]解塊濾波器24執(zhí)行用于減少由圖像的編碼引起的塊偽像的濾波處理。解塊濾波器24對從加法器單元23輸入的解碼圖像數據進行濾波以去除(或至少減少)塊偽像，并且將濾波的解碼圖像數據輸出到幀存儲器25。
[0208]幀存儲器25使用存儲介質存儲從加法器單元23輸入的解碼圖像數據和從解塊濾波器24輸入的濾波的解碼圖像數據。
[0209]選擇器26從幀存儲器25讀取用于幀內預測的待濾波的解碼圖像數據，并且將讀取的解碼圖像數據提供給幀內預測單元30作為參考圖像數據。選擇器26還從幀存儲器25讀取用于幀間預測的濾波的解碼圖像數據，并且將讀取的解碼圖像數據提供給運動搜索單元40作為參考圖像數據。
[0210]幀內預測單元30基于從重新排列緩沖器12輸入的待編碼的圖像數據和經選擇器26提供的解碼圖像數據在每個幀內預測模式下執(zhí)行幀內預測處理。例如，幀內預測單元30使用預定成本函數評估在每個幀內預測模式下獲得的預測結果。然后，幀內預測單元30選擇使成本函數值最小化的幀內預測模式(也就是說，提供最高壓縮比的幀內預測模式)作為最佳幀內預測模式。另外，幀內預測單元30將指示最佳幀內預測模式的預測模式信息、預測圖像數據和關于幀內預測的信息(諸如，成本函數值)輸出到模式選擇單元50。
[0211]運動搜索單元40基于從重新排列緩沖器12輸入的待編碼的圖像數據和經選擇器26提供的解碼圖像數據執(zhí)行幀間預測處理(或幀間預測過程)。例如，運動搜索單元40使用預定成本函數評估在每個預測模式下獲得的預測結果。然后，運動搜索單元40選擇使成本函數值最小化的預測模式(也就是說，提供最高壓縮比的預測模式)作為最佳預測模式。另外，運動搜索單元40根據最佳預測模式產生預測圖像數據。運動搜索單元40將包括指示選擇的最佳預測模式的預測模式信息的關于幀間預測的信息、預測圖像數據和諸如成本函數值的關于幀間預測的信息輸出到模式選擇單元50。
[0212]模式選擇單元50將從幀內預測單元30輸入的用于幀內預測的成本函數值與從運動搜索單元40輸入的用于幀間預測的成本函數值進行比較。然后，模式選擇單元50選擇具有用于幀內預測和幀間預測的成本函數值中的較小的成本函數值的預測技術。如果選擇了幀內預測，則模式選擇單元50將關于幀內預測的信息輸出到無損編碼單元16，并且還將預測圖像數據輸出到減法單元13和加法器單元23。替代地，如果選擇了幀間預測，則模式選擇單元50將上述關于幀間預測的信息輸出到無損編碼單元16，并且還將預測圖像數據輸出到減法單元13和加法器單元23。
[0213]〈2-3.正交變換/量化單元的示例性結構〉
[0214]圖15是表示圖14中示出的圖像編碼裝置10的正交變換/量化單元14的詳細結構的例子的方框圖。參照圖15,正交變換/量化單元14包括選擇單元110、正交變換單元120、量化單元130、縮放列表緩沖器140和矩陣處理單元150。
[0215](I)選擇單元
[0216]選擇單元110從具有不同尺寸的多個變換單位之中選擇用于待編碼的圖像數據的正交變換的變換單位(TU)?？捎蛇x擇單元110選擇的變換單位的可能的尺寸的例子包括用于H.264/AVC (高級視頻編碼)的4X 4和8 X 8，并且包括用于HEVC (高效率視頻編碼)的4X 4、8 X 8、16 X 16和32 X 32。選擇單元110可根據例如待編碼的圖像的尺寸或質量、圖像編碼裝置10的性能等選擇變換單位。由選擇單元110對變換單位的選擇可由使用圖像編碼裝置10的用戶手工調整。其后，選擇單元110將指定選擇的變換單位的尺寸的信息輸出到正交變換單元120、量化單元130、無損編碼單元16和去量化單元21。
[0217](2)正交變換單元
[0218]正交變換單元120以由選擇單元110選擇的變換單位為單位對從減法單元13提供的圖像數據(也就是說，預測誤差數據)執(zhí)行正交變換。由正交變換單元120執(zhí)行的正交變換可以是例如離散余弦轉換(DCT) ,Karhunen-Loeve轉換等。其后，正交變換單元120將通過正交變換處理獲得的變換系數數據輸出到量化單元130。
[0219]⑶量化單元
[0220]量化單元130通過使用與由選擇單元110選擇的變換單位對應的縮放列表來量化由正交變換單元120產生的變換系數數據。另外，量化單元130根據從速率控制單元18提供的速率控制信號切換量化步長以改變將要輸出的量化的數據的比特率。
[0221]另外，量化單元130使分別與可由選擇單元110選擇的多個變換單位對應的各組縮放列表被存儲在縮放列表緩沖器140中。例如，在HEVC中，如果存在變換單位的四種可能的尺寸，即4 X 4、8 X 8、16 X 16和32 X 32，則分別與這四種尺寸對應的四組縮放列表可被存儲在縮放列表緩沖器140中。需要注意的是，如果指定的縮放列表被用于給定尺寸，則僅指示使用指定的縮放列表(不使用由用戶定義的縮放列表)的標記可被與給定尺寸關聯(lián)地存儲在縮放列表緩沖器140中。
[0222]可通常針對編碼流的每個序列設置可由量化單元130使用的一組縮放列表。另夕卜，量化單元130可在逐圖像基礎上更新針對每個序列設置的一組縮放列表。用于控制一組縮放列表的設置和更新的信息可被插入在例如序列參數集和圖像參數集中。
[0223](4)縮放列表緩沖器
[0224]縮放列表緩沖器140使用存儲介質(諸如，半導體存儲器)暫時地存儲分別與可由選擇單元110選擇的多個變換單位對應的一組縮放列表。當矩陣處理單元150執(zhí)行以下描述的處理時，參照存儲在縮放列表緩沖器140中的所述一組縮放列表。
[0225](5)矩陣處理單元
[0226]矩陣處理單元150對將要被用于編碼(量化)的縮放列表進行編碼。其后，由矩陣處理單元150產生的縮放列表的編碼數據(以下，被稱為編碼縮放列表數據)被輸出到無損編碼單元16，并且可被插入到編碼流的頭中。
[0227]〈2-4.矩陣處理單元的詳細示例性結構>
[0228]圖16是表示矩陣處理單元150的更詳細的結構的例子的方框圖。參照圖16，矩陣處理單元150包括預測單元161、差矩陣產生單元162、差矩陣尺寸變換單元163、熵編碼單元164、解碼單元165和輸出單元166。
[0229](I)預測單元
[0230]預測單元161產生預測矩陣。如圖16中所示，預測單元161包括復制單元171和預測矩陣產生單元172。
[0231]在復制模式下，復制單元171復制以前發(fā)送的縮放列表，并且使用復制的量化矩陣作為預測矩陣(或預測待處理的正交變換單位的縮放列表)。更具體地講，復制單元171從解碼單元165中的存儲單元202獲取以前發(fā)送的縮放列表的尺寸和列表ID (ListID)。尺寸是指示縮放列表的尺寸的信息(從例如4X4到32X32)。列表ID是指示待量化的預測誤差數據的類型的信息。
[0232]例如，列表ID包括識別信息，該識別信息指示待量化的預測誤差數據是使用經受幀內預測的預測圖像產生的亮度分量的預測誤差數據(Intra Luma)、使用經受幀內預測的預測圖像產生的色差分量(Cr)的預測誤差數據(Intra Cr)、使用經受幀內預測的預測圖像產生的色差分量(Cb)的預測誤差數據(Intra Cb)或使用經受幀間預測的預測圖像產生的亮度分量的預測誤差數據(Inter Luma)。
[0233]復制單元171選擇與輸入到矩陣處理單元150的縮放列表(待處理的正交變換單位的縮放列表)相同尺寸的以前發(fā)送的縮放列表作為待復制的縮放列表，并且將待復制的縮放列表的列表ID提供給輸出單元166以將列表ID輸出到在矩陣處理單元150外面的裝置(無損編碼單元16和去量化單元21)。也就是說，在這種情況下，僅列表ID被發(fā)送給解碼側(或被包括在編碼數據中)作為指示通過復制以前發(fā)送的縮放列表產生的預測矩陣的信息。因此，圖像編碼裝置10能夠抑制縮放列表的編碼的量的增加。
[0234]另外，在正常模式下，預測矩陣產生單元172從解碼單元165中的存儲單元202獲取以前發(fā)送的縮放列表，并且使用該縮放列表產生預測矩陣(或預測待處理的正交變換單位的縮放列表)。預測矩陣產生單元172將產生的預測矩陣提供給差矩陣產生單元162。
[0235](2)差矩陣產生單元
[0236]差矩陣產生單元162產生差矩陣(殘余矩陣)，所述差矩陣(殘余矩陣)是從預測單元161 (預測矩陣產生單元172)提供的預測矩陣和輸入到矩陣處理單元150的縮放列表之差。如圖16中所示，差矩陣產生單元162包括預測矩陣尺寸變換單元181、計算單元182和量化單元183。
[0237]預測矩陣尺寸變換單元181變換(以下，也被稱為轉換)從預測矩陣產生單元172提供的預測矩陣的尺寸，以使得預測矩陣的尺寸與輸入到矩陣處理單元150的縮放列表的尺寸匹配。
[0238]例如，如果預測矩陣的尺寸大于縮放列表的尺寸，則預測矩陣尺寸變換單元181向下轉換(以下，也被稱為下轉換)預測矩陣。更具體地講，例如，當預測矩陣具有16X16尺寸并且縮放列表具有8 X 8尺寸時，預測矩陣尺寸變換單元181將預測矩陣下轉換為8 X 8預測矩陣。需要注意的是，可使用用于下轉換的任何方法。例如，預測矩陣尺寸變換單元181可通過使用濾波器(通過計算)來減少預測矩陣中的元素的數量(以下，也被稱為下采樣)。替代地，預測矩陣尺寸變換單元181也可通過例如如圖17中所示去除一些元素(例如，二維元素之中的僅偶數編號的元素(在圖17中，實心黑色的元素))來減少預測矩陣中的元素的數量而不使用濾波器(以下，也被稱為子采樣)。
[0239]另外，例如，如果預測矩陣的尺寸小于縮放列表的尺寸，則預測矩陣尺寸變換單元181向上轉換(以下，也被稱為上轉換)預測矩陣。更具體地講，例如，當預測矩陣具有8X8尺寸并且縮放列表具有16X16尺寸時，預測矩陣尺寸變換單元181將預測矩陣上轉換為16X16預測矩陣。需要注意的是，可使用用于上轉換的任何方法。例如，預測矩陣尺寸變換單元181可通過使用濾波器(通過計算)來增加預測矩陣中的元素的數量(以下，也被稱為上采樣)。替代地，預測矩陣尺寸變換單元181也可通過例如復制預測矩陣中的各元素來增加預測矩陣中的元素的數量而不使用濾波器(以下，也被稱為逆子采樣)。
[0240]預測矩陣尺寸變換單元181將其尺寸已與縮放列表的尺寸匹配的預測矩陣提供給計算單元182。
[0241]計算單元182從預測矩陣尺寸變換單元181提供的預測矩陣減去輸入到矩陣處理單元150的縮放列表，并且產生差矩陣(殘余矩陣)。計算單元182將計算的差矩陣提供給量化單元183。
[0242]量化單元183對從計算單元182提供的差矩陣進行量化。量化單元183將量化的差矩陣提供給差矩陣尺寸變換單元163。量化單元183還將用于量化的信息(諸如，量化參數)提供給輸出單元166以將該信息輸出到在矩陣處理單元150外面的裝置(無損編碼單元16和去量化單元21)。需要注意的是，量化單元183可被省略(也就是說，可不必執(zhí)行差矩陣的量化)。
[0243](3)差矩陣尺寸變換單元
[0244]如果必要，則差矩陣尺寸變換單元163將從差矩陣產生單元162 (量化單元183)提供的差矩陣(量化的數據)的尺寸轉換成小于或等于在發(fā)送中允許的最大尺寸(以下，也被稱為發(fā)送尺寸)的尺寸。該最大尺寸可具有任何可選的值，并且是例如8X8。
[0245]從圖像編碼裝置10輸出的編碼數據經例如傳輸路徑或存儲介質被發(fā)送給與圖像編碼裝置10對應的圖像解碼裝置，并且由該圖像解碼裝置解碼。在圖像編碼裝置10中設置在這種傳輸期間或在從圖像編碼裝置10輸出的編碼數據中的差矩陣(量化的數據)的尺寸的上限(最大尺寸)。
[0246]如果差矩陣的尺寸大于最大尺寸，則差矩陣尺寸變換單元163下轉換差矩陣，以使得差矩陣的尺寸變?yōu)樾∮诨虻扔谧畲蟪叽纭?br> [0247]需要注意的是，類似于上述預測矩陣的下轉換，可使用任何方法對差矩陣進行下轉換。例如，可使用濾波器等執(zhí)行下采樣，或者可執(zhí)行包括去除元素的子采樣。
[0248]另外，下轉換的差矩陣可具有小于最大尺寸的任何尺寸。然而，通常，在轉換之前和在轉換之后的尺寸的差越大，誤差變得越大。因此，希望差矩陣被下轉換為最大尺寸。
[0249]差矩陣尺寸變換單元163將下轉換的差矩陣提供給熵編碼單元164。需要注意的是，如果差矩陣的尺寸小于最大尺寸，則不需要上述下轉換，并且因此，差矩陣尺寸變換單元163將輸入到它的差矩陣按原樣提供給熵編碼單元164 (也就是說，差矩陣的下轉換被省略)。
[0250](4)熵編碼單元
[0251]熵編碼單元164使用預定方法對從差矩陣尺寸變換單元163提供的差矩陣(量化的數據)進行編碼。如圖16中所示，熵編碼單元164包括交疊確定單元(135度單元)191、DPCM (差分脈沖編碼調制單元192和exp-G單元193。
[0252]交疊確定單元191確定從差矩陣尺寸變換單元163提供的差矩陣的對稱性。如果例如如圖18中所示殘余(差矩陣)代表135度對稱矩陣，則交疊確定單元191去除作為交疊數據的對稱部分的數據(矩陣元素)。如果殘余矩陣不代表135度對稱矩陣，則交疊確定單元191省略數據(矩陣元素)的去除。交疊確定單元191將已從其去除對稱部分(如果必要的話)的差矩陣的數據提供給DPCM單元192。
[0253]DPCM單元192執(zhí)行從交疊確定單元191提供的已從其去除對稱部分(如果必要的話)的差矩陣的數據的DPCM編碼，并且產生DPCM數據。DPCM單元192將產生的DPCM數據提供給exp-G單元193。
[0254]exp-G單元193使用有符號或無符號指數Golomb碼(以下,也被稱為指數Golomb碼)對從DPCM單元192提供的DPCM數據進行編碼。exp-G單元193將編碼結果提供給解碼單元165和輸出單元166。
[0255](5)解碼單元
[0256]解碼單元165從由exp-G單元193提供的數據恢復縮放列表。解碼單元165將關于恢復的縮放列表的信息提供給預測單元161作為以前發(fā)送的縮放列表。
[0257]如圖16中所示，解碼單元165包括縮放列表恢復單元201和存儲單元202。
[0258]縮放列表恢復單元201對從熵編碼單元164 (exp-G單元193)提供的指數Golomb碼進行解碼以恢復將要被輸入到矩陣處理單元150的縮放列表。例如，縮放列表恢復單元201使用與熵編碼單元164的編碼方法對應的方法對指數Golomb碼進行解碼，并且通過執(zhí)行與由差矩陣尺寸變換單元163執(zhí)行的尺寸變換相反的變換并且執(zhí)行與由量化單元183執(zhí)行的量化對應的去量化來獲得差矩陣。縮放列表恢復單元201還從預測矩陣減去獲得的差矩陣以恢復縮放列表。
[0259]縮放列表恢復單元201將恢復的縮放列表提供給存儲單元202以便與縮放列表的尺寸和列表ID關聯(lián)地存儲。
[0260]存儲單元202存儲關于從縮放列表恢復單元201提供的縮放列表的信息。存儲在存儲單元202中的關于縮放列表的信息被用于產生在稍后時間處理的其它正交變換單位的預測矩陣。也就是說，存儲單元202將存儲的關于縮放列表的信息提供給預測單元161作為關于以前發(fā)送的縮放列表的信息。
[0261]需要注意的是，替代于存儲關于以上述方式恢復的縮放列表的信息，存儲單元202可與輸入縮放列表的尺寸和列表ID關聯(lián)地存儲輸入到矩陣處理單元150的縮放列表。在這種情況下，縮放列表恢復單元201能夠被省略。
[0262](6)輸出單元
[0263]輸出單元166將提供的各種類型的信息輸出到在矩陣處理單元150外面的裝置。例如，在復制模式下，輸出單元166將從復制單元171提供的預測矩陣的列表ID提供給無損編碼單元16和去量化單元21。另外，例如，在正常模式下，輸出單元166將從exp-G單元193提供的指數Golomb碼和從量化單元183提供的量化參數提供給無損編碼單元16和去量化單元21。
[0264]輸出單元166還將指示在縮放列表(或縮放列表和它的預測矩陣之間的差矩陣)的發(fā)送中允許的最大尺寸(發(fā)送尺寸)的識別信息提供給無損編碼單元16作為用于在解碼側產生縮放列表的信息。如上所述，無損編碼單元16創(chuàng)建包括用于產生縮放列表的信息的編碼流，并且將編碼流提供給解碼側?？捎杉墑e、規(guī)格等預先指定指示發(fā)送尺寸的識別信息。在這種情況下，預先在位于編碼側的設備和位于解碼側的設備之間共享關于發(fā)送尺寸的信息。因此，上述識別信息的發(fā)送能夠被省略。
[0265]<2-5.DPCM單元的詳細示例性結構>
[0266]圖19是表示DPCM單元192的更詳細的結構的例子的方框圖。參照圖19，DPCM單元192包括DC系數編碼單元211和AC系數DPCM單元212。
[0267]DC系數編碼單元211從由交疊確定單元191提供的系數之中獲取DC系數，用預定初始值(例如，8)減去DC系數的值以確定差值，并且使用該差值作為初始(i = O)差值(scaling_list_delta_coef)。DC 系數編碼單兀 211 將計算的差值(scaling_list_delta_coef (i = O))提供給exp-G單元193作為與正被處理的關注區(qū)域對應的縮放列表的初始系數。
[0268]AC系數DPCM單元212從由交疊確定單元191提供的系數之中獲取AC系數，并且用前一個處理的系數減去AC系數的值以確定差值(scaling_list_delta_coef (i>0))。AC系數DPCM單元212將確定的差值(scaling_list_delta_coef (i>0))提供給exp-G單元193作為與正被處理的關注區(qū)域對應的縮放列表的系數。需要注意的是，當i = I時，緊接在前的系數由i = O代表。因此，“DC系數”是前一個處理的系數。
[0269]以這種方式，DPCM單元192能夠發(fā)送DC系數作為位于縮放列表(AC系數)的開頭處的元素。因此，縮放列表的編碼效率能夠提高。
[0270]〈2-6.量化矩陣編碼處理的流程>
[0271]接下來，將參照圖20中示出的流程圖描述由圖16中示出的矩陣處理單元150執(zhí)行的量化矩陣編碼處理的流程的例子。
[0272]當量化矩陣編碼處理開始時，在步驟SlOl中，預測單元161獲取用于作為待處理的正交變換單位的當前區(qū)域(也被稱為關注區(qū)域)的縮放列表(或量化矩陣)。
[0273]在步驟S102中，預測單元161確定當前模式是否是復制模式。如果確定當前模式不是復制模式，則預測單元161使處理前進至步驟S103。
[0274]在步驟S103中，預測矩陣產生單元172從存儲單元202獲取以前發(fā)送的縮放列表，并且使用該縮放列表產生預測矩陣。
[0275]在步驟S104中，預測矩陣尺寸變換單元181確定在步驟S103中產生的預測矩陣的尺寸是否不同于在步驟SlOl中獲取的用于當前區(qū)域(關注區(qū)域)的縮放列表的尺寸。如果確定二者尺寸不同，則預測矩陣尺寸變換單元181使處理前進至步驟S105。
[0276]在步驟S105中，預測矩陣尺寸變換單元181將在步驟S103中產生的預測矩陣的尺寸轉換為在步驟SlOl中獲取的用于當前區(qū)域的縮放列表的尺寸。
[0277]當步驟S105的處理完成時，預測矩陣尺寸變換單元181使處理前進至步驟S106。如果在步驟S104中確定預測矩陣的尺寸與縮放列表的尺寸相同，則預測矩陣尺寸變換單元181使處理前進至步驟S106，同時跳過步驟S105的處理(或不執(zhí)行步驟S105的處理)。
[0278]在步驟S106中，計算單元182用預測矩陣減去縮放列表以計算預測矩陣和縮放列表之間的差矩陣。
[0279]在步驟S107中，量化單元183量化在步驟S106中產生的差矩陣。需要注意的是，這個處理可被省略。
[0280]在步驟S108中，差矩陣尺寸變換單元163確定量化的差矩陣的尺寸是否大于發(fā)送尺寸(在發(fā)送中允許的最大尺寸)。如果確定量化的差矩陣的尺寸大于發(fā)送尺寸，則差矩陣尺寸變換單元163使處理前進至步驟S109，并且將差矩陣下轉換為發(fā)送尺寸或更小。
[0281]當步驟S109的處理完成時，差矩陣尺寸變換單元163使處理前進至步驟S110。另外，如果在步驟S108中確定量化的差矩陣的尺寸小于或等于發(fā)送尺寸，則差矩陣尺寸變換單元163使處理前進至步驟S110，同時跳過步驟S109的處理(或不執(zhí)行步驟S109的處理)。
[0282]在步驟SllO中，交疊確定單元191確定量化的差矩陣是否具有135度對稱。如果確定量化的差矩陣具有135度對稱，則交疊確定單元191使處理前進至步驟Slll。
[0283]在步驟Slll中，交疊確定單元191去除量化的差矩陣中的交疊部分(交疊數據)。在交疊數據被去除之后，交疊確定單元191使處理前進至步驟S112。
[0284]另外，如果在步驟SllO中確定量化的差矩陣不具有135度對稱，則交疊確定單元191使處理前進至步驟S112，同時跳過步驟Slll的處理(或不執(zhí)行步驟Slll的處理)。
[0285]在步驟SI 12中，DPCM單元192執(zhí)行已從其去除交疊部分(如果必要的話)的差矩陣的DPCM編碼。
[0286]在步驟SI 13中，exp-G單元193確定在步驟SI 12中產生的DPCM數據是否具有正號或負號。如果確定包括符號，則exp-G單元193使處理前進至步驟S114。
[0287]在步驟SI 14中，exp-G單元193使用有符號指數Golomb編碼對DPCM數據進行編碼。輸出單元166將產生的指數Golomb碼輸出到無損編碼單元16和去量化單元21。當步驟S114的處理完成時，exp-G單元193使處理前進至步驟S116。
[0288]另外，如果在步驟S113中確定未包括符號，則exp-G單元193使處理前進至步驟S115。
[0289]在步驟SI 15中，exp-G單元193使用無符號指數Golomb編碼對DPCM數據進行編碼。輸出單元166將產生的指數Golomb碼輸出到無損編碼單元16和去量化單元21。當步驟S115的處理完成時，exp-G單元193使處理前進至步驟S116。
[0290]另外，如果在步驟S102中確定當前模式是復制模式，則復制單元171復制以前發(fā)送的縮放列表，并且使用復制的縮放列表作為預測矩陣。輸出單元166將與預測矩陣對應的列表ID輸出到無損編碼單元16和去量化單元21作為指示預測矩陣的信息。然后，復制單元171使處理前進至步驟S116。
[0291]在步驟S116中，縮放列表恢復單元201恢復縮放列表。在步驟S117中，存儲單元202存儲在步驟SI 16中恢復的縮放列表。
[0292]當步驟SI 17的處理完成時，矩陣處理單元150結束量化矩陣編碼處理。
[0293]<2-7.DPCM 處理的流程 >
[0294]接下來，將參照圖21中示出的流程圖描述在圖20中的步驟S112中執(zhí)行的DPCM處理的流程的例子。
[0295]當DPCM處理開始時，在步驟S131中，DC系數編碼單元211確定DC系數和常數之差。在步驟S132中，AC系數DPCM單元212確定DC系數和初始AC系數之差。
[0296]在步驟S133中，AC系數DPCM單元212確定是否所有的AC系數已被處理。如果確定存在未處理的AC系數，則AC系數DPCM單元212使處理前進至步驟S134。
[0297]在步驟S134中，AC系數DPCM單元212使處理目標改變?yōu)殡S后的AC系數。在步驟S135中，AC系數DPCM單元212確定之前處理的AC系數和正被處理的當前AC系數之差。當步驟S135的處理完成時，AC系數DPCM單元212使處理返回到步驟S133。
[0298]以這種方式，只要在步驟S133中確定存在未處理的AC系數，AC系數DPCM單元212就反復地執(zhí)行步驟S133至S135的處理。如果在步驟S133中確定不存在未處理的AC系數，則AC系數DPCM單元212結束DPCM處理，并且使處理返回到圖20。
[0299]如上所述，確定DC系數和AC系數之中的位于開頭處的AC系數之差，并且替代于DC系數，該差值被發(fā)送給圖像解碼裝置。因此，圖像編碼裝置10能夠抑制縮放列表的編碼的量的增加。
[0300]接下來，將描述根據本公開的實施例的圖像解碼裝置的示例性結構。
[0301]<2-8.圖像解碼裝置〉
[0302]圖22是表示根據本公開的實施例的圖像解碼裝置300的示例性結構的方框圖。圖22中示出的圖像解碼裝置300是應用本技術的圖像處理裝置，并且該圖像處理裝置被構造為對由圖像編碼裝置10產生的編碼數據進行解碼。參照圖22，圖像解碼裝置300包括積累緩沖器311、無損解碼單元312、去量化/逆正交變換單元313、加法器單元315、解塊濾波器316、重新排列緩沖器317、D/A (數模)轉換單元318、幀存儲器319、選擇器320和321、中貞內預測單元330和運動補償單元340。
[0303]積累緩沖器311使用存儲介質暫時地積累經傳輸路徑輸入的編碼流。
[0304]無損解碼單元312根據用于編碼的編碼方案對從積累緩沖器311輸入的編碼流進行解碼。無損解碼單元312還對編碼流的頭區(qū)域中復用的信息進行解碼。編碼流的頭區(qū)域中復用的信息可包括例如用于產生上述縮放列表的信息以及塊頭中所包含的關于幀內預測的信息和關于幀間預測的信息。無損解碼單元312將解碼的量化的數據和用于產生縮放列表的信息輸出到去量化/逆正交變換單元313。無損解碼單元312還將關于幀內預測的信息輸出到幀內預測單元330。無損解碼單元312還將關于幀間預測的信息輸出到運動補償單元340。
[0305]去量化/逆正交變換單元313對從無損解碼單元312輸入的量化的數據執(zhí)行去量化和逆正交變換以產生預測誤差數據。其后，去量化/逆正交變換單元313將產生的預測誤差數據輸出到加法器單元315。
[0306]加法器單元315將從去量化/逆正交變換單元313輸入的預測誤差數據和從選擇器321輸入的預測圖像數據相加在一起以產生解碼圖像數據。其后，加法器單元315將產生的解碼圖像數據輸出到解塊濾波器316和幀存儲器319。
[0307]解塊濾波器316對從加法器單元315輸入的解碼圖像數據進行濾波以去除塊偽像，并且將濾波的解碼圖像數據輸出到重新排列緩沖器317和幀存儲器319。
[0308]重新排列緩沖器317重新排列從解塊濾波器316輸入的圖像以產生時間系列圖像數據序列。其后，重新排列緩沖器317將產生的圖像數據輸出到D/A轉換單元318。
[0309]D/A轉換單元318將從重新排列緩沖器317輸入的數字形式的圖像數據轉換成模擬形式的圖像信號。其后，D/A轉換單元318將模擬圖像信號輸出到例如連接到圖像解碼裝置300的顯示器(未示出)以顯示圖像。
[0310]幀存儲器319使用存儲介質存儲從加法器單元31輸入的待濾波的解碼圖像數據和從解塊濾波器316輸入的濾波的解碼圖像數據。
[0311]選擇器320根據由無損解碼單元312獲取的模式信息，針對圖像中的每個塊在幀內預測單元330和運動補償單元340之間切換從幀存儲器319提供的圖像數據將要被輸出到的目的地。例如，如果指定了幀內預測模式，則選擇器320將從幀存儲器319提供的待濾波的解碼圖像數據輸出到幀內預測單元330作為為參考圖像數據。另外，如果指定了幀間預測模式，則選擇器320將從幀存儲器319提供的濾波的解碼圖像數據輸出到運動補償單元340作為參考圖像數據。
[0312]選擇器321根據由無損解碼單元312獲取的模式信息，針對圖像中的每個塊在幀內預測單元330和運動補償單元340之間切換將要從其輸出將要被提供給加法器單元315的預測圖像數據的源。例如，如果指定了幀內預測模式，則選擇器321將從幀內預測單元330輸出的預測圖像數據提供給加法器單元315。如果指定了幀間預測模式，則選擇器321將從運動補償單元340輸出的預測圖像數據提供給加法器單元315。
[0313]幀內預測單元330基于從無損解碼單元312輸入的關于幀內預測的信息和從幀存儲器319提供的參考圖像數據執(zhí)行像素值的屏幕內預測，并且產生預測圖像數據。其后，幀內預測單元330將產生的預測圖像數據輸出到選擇器321。
[0314]運動補償單元340基于從無損解碼單元312輸入的關于幀間預測的信息和從幀存儲器319提供的參考圖像數據執(zhí)行運動補償處理，并且產生預測圖像數據。其后，運動補償單元340將產生的預測圖像數據輸出到選擇器321。
[0315]〈2-9.去量化/逆正交變換單元的示例性結構〉
[0316]圖23是表示圖22中示出的圖像解碼裝置300的去量化/逆正交變換單元313的主要結構的例子的方框圖。參照圖23，去量化/逆正交變換單元313包括矩陣產生單元410、選擇單元430、去量化單元440和逆正交變換單元450。
[0317](I)矩陣產生單元
[0318]矩陣產生單元410對從比特流提取并且由無損解碼單元312提供的編碼縮放列表數據進行解碼，并且產生縮放列表。矩陣產生單元410將產生的縮放列表提供給去量化單元 440。
[0319]⑵選擇單元
[0320]選擇單元430從具有不同尺寸的多個變換單位之中選擇用于待解碼的圖像數據的逆正交變換的變換單位(TU)。可由選擇單元430選擇的變換單位的可能的尺寸的例子包括用于H.264/AVC的4X4和8X8，并且包括用于HEVC的4X4、8X8、16X 16和32X32。選擇單元430可根據例如編碼流的頭部中所包含的IXU、S⑶和split_flag選擇變換單位。其后，選擇單元430將指定選擇的變換單位的尺寸的信息輸出到去量化單元440和逆正交變換單元450。
[0321](3)去量化單元
[0322]去量化單元440通過使用由選擇單元430選擇的變換單位的縮放列表來對當對圖像進行編碼時量化的變換系數數據進行去量化。其后，去量化單元440將去量化的變換系數數據輸出到逆正交變換單元450。
[0323](4)逆正交變換單元
[0324]逆正交變換單元450根據用于編碼的正交變換方案，以選擇的變換單位為單位對由去量化單元440去量化的變換系數數據執(zhí)行逆正交變換，以產生預測誤差數據。其后，逆正交變換單元450將產生的預測誤差數據輸出到加法器單元315。
[0325]<2-10.矩陣產生單元的詳細示例性結構>
[0326]圖24是表示圖23中示出的矩陣產生單元410的詳細結構的例子的方框圖。參照圖24,矩陣產生單元410包括參數分析單元531、預測單元532、熵解碼單元533、縮放列表恢復單元534、輸出單元535和存儲單元536。
[0327](I)參數分析單元
[0328]參數分析單元531分析從無損解碼單元312提供的關于縮放列表的各種標記和參數。另外，根據分析結果，參數分析單元531將從無損解碼單元312提供的各種信息(諸如，差矩陣的編碼數據)提供給預測單元532或熵解碼單元533。
[0329]例如，如果pred_mode等于0，則參數分析單元531確定當前模式是復制模式，并且將pred_matrix_id_delta提供給復制單元541。另外，例如，如果pred_mode等于I,則參數分析單元531確定當前模式是全掃描模式(正常模式)，并且將pred_matrix_id_delta和pred_size_id_delta提供給預測矩陣產生單元542。
[0330]另外，例如，如果residual_f lag為真，則參數分析單元531將從無損解碼單元312提供的縮放列表的編碼數據(指數Golomb碼)提供給熵解碼單元533的exp-G單元551。參數分析單兀531還將residual_symmetry_f lag提供給exp-G單兀551。
[0331]另外，參數分析單元531將residual_down_sampling_flag提供給縮放列表恢復單元534的差矩陣尺寸變換單元562。
[0332](2)預測單元
[0333]預測單元532根據參數分析單元531的控制產生預測矩陣。如圖24中所示，預測單元532包括復制單元541和預測矩陣產生單元542。
[0334]在復制模式下，復制單元541復制以前發(fā)送的縮放列表，并且使用復制的縮放列表作為預測矩陣。更具體地講，復制單元541從存儲單元536讀取與pred_matrix_id_delta對應并且具有與用于當前區(qū)域的縮放列表相同的尺寸的以前發(fā)送的縮放列表，使用讀取的縮放列表作為預測圖像，并且將預測圖像提供給輸出單元535。
[0335]在正常模式下，預測矩陣產生單元542使用以前發(fā)送的縮放列表產生(或預測)預測矩陣。更具體地講，預測矩陣產生單元542從存儲單元536讀取與pred_matrix_id_delta和pred_size_id_delta對應的以前發(fā)送的縮放列表,并且使用讀取的縮放列表產生預測矩陣。換句話說，預測矩陣產生單元542產生與由圖像編碼裝置10的預測矩陣產生單元172(圖16)產生的預測矩陣類似的預測矩陣。預測矩陣產生單元542將產生的預測矩陣提供給縮放列表恢復單元534的預測矩陣尺寸變換單元561。
[0336](3)熵解碼單元
[0337]熵解碼單元533從由參數分析單元531提供的指數Golomb碼恢復差矩陣。如圖24中所示，熵解碼單元533包括exp-G單元551、逆DPCM單元552和逆交疊確定單元553。
[0338]exp-G單元551對有符號或無符號指數Golomb碼進行解碼(以下，也被稱為指數Golomb解碼)以恢復DPCM數據。exp-G單兀551將恢復的DPCM數據與residual_symmetry_flag 一起提供給逆DPCM單元552。
[0339]逆DPCM單元552執(zhí)行已從其去除交疊部分的數據的DPCM解碼以從DPCM數據產生殘余數據。逆DPCM單元552將產生的殘余數據與residual_symmetry_flag —起提供給逆交疊確定單元553。
[0340]如果residual_symmetry_flag為真，也就是說,如果殘余數據是已從其去除交疊對稱部分的數據(矩陣元素)的135度對稱矩陣的剩余部分，則逆交疊確定單元553恢復對稱部分的數據。換句話說，恢復135度對稱矩陣的差矩陣。注意,如果residual_symmetry_flag不為真，也就是說，如果殘余數據代表不是135度對稱矩陣的矩陣，則逆交疊確定單元553使用殘余數據作為差矩陣，而不恢復對稱部分的數據。逆交疊確定單元553將以上述方式恢復的差矩陣提供給縮放列表恢復單元534 (差矩陣尺寸變換單元562)。
[0341](4)縮放列表恢復單元
[0342]縮放列表恢復單元534恢復縮放列表。如圖24中所示，縮放列表恢復單元534包括預測矩陣尺寸變換單元561、差矩陣尺寸變換單元562、去量化單元563和計算單元564。
[0343]如果從預測單元532 (預測矩陣產生單元542)提供的預測矩陣的尺寸不同于待恢復的用于當前區(qū)域的縮放列表的尺寸，則預測矩陣尺寸變換單元561轉換預測矩陣的尺寸。
[0344]例如，如果預測矩陣的尺寸大于縮放列表的尺寸，則預測矩陣尺寸變換單元561對預測矩陣進行下轉換。另外，例如，如果預測矩陣的尺寸小于縮放列表的尺寸，則預測矩陣尺寸變換單元561對預測矩陣進行上轉換。與用于圖像編碼裝置10的預測矩陣尺寸變換單元181 (圖16)的方法相同的方法被選擇為轉換方法。
[0345]預測矩陣尺寸變換單元561將其尺寸已與縮放列表的尺寸匹配的預測矩陣提供給計算單元564。
[0346]如果residual_down_sampling_flag為真，也就是說，如果發(fā)送的差矩陣的尺寸小于待量化的當前區(qū)域的尺寸，則差矩陣尺寸變換單元562對差矩陣進行上轉換以將差矩陣的尺寸增加至與將要被去量化的當前區(qū)域對應的尺寸?？墒褂糜糜谏限D換的任何方法。例如，可使用與由圖像編碼裝置10的差矩陣尺寸變換單元163 (圖16)執(zhí)行的下轉換方法對應的方法。
[0347]例如，如果差矩陣尺寸變換單元163已對差矩陣進行下采樣，則差矩陣尺寸變換單元562可對差矩陣進行上采樣。替代地，如果差矩陣尺寸變換單元163已對差矩陣進行子采樣，則差矩陣尺寸變換單元562可對差矩陣執(zhí)行逆子采樣。
[0348]例如，差矩陣尺寸變換單元562可執(zhí)行如圖25中所示的最近鄰居內插處理(最近鄰居)，而非通常的線性內插。最近鄰居內插處理能夠減少存儲容量。
[0349]因此，即使未發(fā)送具有大尺寸的縮放列表，也不需要為了從具有小尺寸的縮放列表進行上采樣而存儲在上采樣之后獲得的數據。另外，當在上采樣期間的計算中涉及的數據被存儲時，不需要中間緩沖器等。
[0350]需要注意的是,如果residual_down_sampling_flag不為真,也就是說,如果以與當用于量化處理時的尺寸相同的尺寸發(fā)送差矩陣時，差矩陣尺寸變換單元562省略差矩陣的上轉換(或可按照因數I對差矩陣進行上轉換)。
[0351]差矩陣尺寸變換單元562根據需要將以上述方式上轉換的差矩陣提供給去量化單元563。
[0352]去量化單元563使用與由圖像編碼裝置10的量化單元183 (圖16)執(zhí)行的量化的方法對應的方法對提供的差矩陣(量化的數據)進行去量化，并且將去量化的差矩陣提供給計算單元564。需要注意的是，如果量化單元183被省略，也就是說，如果從差矩陣尺寸變換單元562提供的差矩陣不是量化的數據，則去量化單元563能夠被省略。
[0353]計算單元564將從預測矩陣尺寸變換單元561提供的預測矩陣和從去量化單元563提供的差矩陣相加在一起，并且恢復用于當前區(qū)域的縮放列表。計算單元564將恢復的縮放列表提供給輸出單元535和存儲單元536。
[0354](5)輸出單元
[0355]輸出單元535將提供的信息輸出到在矩陣產生單元410外面的裝置。例如，在復制模式下，輸出單元535將從復制單元541提供的預測矩陣提供給去量化單元440，作為用于當前區(qū)域的縮放列表。另外，例如，在正常模式下，輸出單元535將從縮放列表恢復單元534 (計算單元564)提供的用于當前區(qū)域的縮放列表提供給去量化單元440。
[0356](6)存儲單元
[0357]存儲單元536存儲從縮放列表恢復單元534 (計算單元564)提供的縮放列表以及縮放列表的尺寸和列表ID。存儲在存儲單兀536中的關于縮放列表的信息被用于產生在稍后時間處理的其它正交變換單位的預測矩陣。換句話說，存儲單元536將存儲的關于縮放列表的信息提供給預測單元532作為關于以前發(fā)送的縮放列表的信息。
[0358]<2-11.逆DPCM單元的詳細示例性結構〉
[0359]圖26是表示圖24中示出的逆DPCM單元552的詳細結構的例子的方框圖。參照圖26，逆DPCM單元552包括初始設置單元571、DPCM解碼單元572和DC系數提取單元573。
[0360]初始設置單元571獲取SizeID和MatrixID，并且將各種變量設置為初始值。初始設置單元571將獲取的和設置的信息提供給DPCM解碼單元572。
[0361]DPCM解碼單元572使用從初始設置單元571提供的初始設置等從DC系數與AC系數的差值(scaling_list_delta_coef)確定各系數(DC系數和AC系數)。DPCM解碼單元572將確定的系數提供給DC系數提取單元573 (ScalingList [i])。
[0362]DC系數提取單元573從由DPCM解碼單元572提供的系數(ScalingList [i])之中提取DC系數。DC系數位于AC系數的開頭處。也就是說，從DPCM解碼單元572提供的系數之中的初始系數(ScalingList [O])是DC系數。DC系數提取單元573提取位于開頭處的系數作為DC系數，并且將提取的系數輸出到逆交疊確定單元553 (DC_coef)。DC系數提取單元573將其它系數(ScalingList [i] (i>0))輸出到逆交疊確定單元553作為AC系數。
[0363]因此，逆DPCM單元552能夠執(zhí)行正確的DPCM解碼，并且能夠獲得DC系數和AC系數。也就是說，圖像解碼裝置300能夠抑制縮放列表的編碼的量的增加。
[0364]<2-12.量化矩陣解碼處理的流程>
[0365]將參照圖27中示出的流程圖描述由具有上述結構的矩陣產生單元410執(zhí)行的量化矩陣解碼處理的流程的例子。
[0366]當量化矩陣解碼處理開始時，在步驟S301中，參數分析單元531讀取區(qū)域O至3的量化的值(QscaleO至Qscale3)。
[0367]在步驟S302中，參數分析單元531讀取pred_mode。在步驟S303中，參數分析單元531確定pred_mode是否等于O。如果確定pred_mode等于O,則參數分析單元531確定當前模式是復制模式，并且使處理前進至步驟S304。
[0368]在步驟S304中，參數分析單元531讀取pred_matrix_id_delta。在步驟S305中，復制單元541復制已被發(fā)送的縮放列表，并且使用復制的縮放列表作為預測矩陣。在復制模式下，預測矩陣被輸出作為用于當前區(qū)域的縮放列表。當步驟S305的處理完成時，復制單元541結束量化矩陣解碼處理。
[0369]另外,如果在步驟S303中確定pred_mode不等于O,則參數分析單元531確定當前模式是全掃描模式(正常模式)，并且使處理前進至步驟S306。
[0370]在步驟S306 中，參數分析單兀 531 讀取 pred_matrix_id_delta、pred_size_id_delta和residual_flag。在步驟S307中，預測矩陣產生單元542從已發(fā)送的縮放列表產生預測矩陣。
[0371]在步驟S308中，參數分析單元531確定residual_flag是否為真。如果確定residual_flag不為真，則不存在殘余矩陣，并且在步驟S307中產生的預測矩陣被輸出作為用于當前區(qū)域的縮放列表。因此，在這種情況下，參數分析單元531結束量化矩陣解碼處理。
[0372]另外，如果在步驟S308中確定residual_flag為真,則參數分析單元531使處理前進至步驟S309。
[0373]在步驟S309 中，參數分析單兀 531 讀取 residual_down_sampling_flag 和residual_symmetry_flag0
[0374]在步驟S310中，exp-G單元551和逆DPCM單元552對殘余矩陣的指數Golomb碼進行解碼，并且產生殘余數據。
[0375]在步驟S311中，逆交疊確定單元553確定residual_symmetry_flag是否為真。如果確定residual_symmetry_f lag為真,則逆交疊確定單元553使處理前進至步驟S312,并且恢復殘余數據的去除的交疊部分(或執(zhí)行逆對稱處理)。當以上述方式產生作為135度對稱矩陣的差矩陣時，逆交疊確定單元553使處理前進至步驟S313。
[0376]另外,如果在步驟S311中確定residual_symmetry_flag不為真(或如果殘余數據是這樣的差矩陣，即該差矩陣不是135度對稱矩陣)，則逆交疊確定單元553使處理前進至步驟S313，同時跳過步驟S312的處理(或不執(zhí)行逆對稱處理)。
[0377]在步驟S313中，差矩陣尺寸變換單元562確定residual_down_sampling_f lag是否為真。如果確定residual_down_sampling_flag為真,則差矩陣尺寸變換單元562使處理前進至步驟S314，并且將差矩陣上轉換為與將要被去量化的當前區(qū)域對應的尺寸。在差矩陣被上轉換之后，差矩陣尺寸變換單元562使處理前進至步驟S315。
[0378]另外,如果在步驟S313中確定residual_down_sampling_flag不為真,則差矩陣尺寸變換單元562使處理前進至步驟S315，同時跳過步驟S314的處理(或不對差矩陣進行上轉換)。
[0379]在步驟S315中，計算單元564將差矩陣與預測矩陣相加以產生用于當前區(qū)域的縮放列表。當步驟S315的處理完成時，量化矩陣解碼處理結束。
[0380]<2-13.殘余信號解碼處理的流程>
[0381]接下來，將參照圖28中示出的流程圖描述在圖27中的步驟S310中執(zhí)行的殘余信號解碼處理的流程的例子。
[0382]當殘余信號解碼處理開始時，在步驟S331中，exp-G單元551對提供的指數Golomb碼進行解碼。
[0383]在步驟S332中，逆DPCM單元552對由exp_G單元551通過解碼獲得的DPCM數據執(zhí)行逆DPCM處理。
[0384]當逆DPCM處理完成時，逆DPCM單元552結束殘余信號解碼處理，并且使處理返回到圖27。
[0385]<2-14.逆DPCM處理的流程〉
[0386]接下來，將參照圖29中示出的流程圖描述在圖28中的步驟S332中執(zhí)行的逆DPCM處理的流程的例子。
[0387]當逆DPCM處理開始時，在步驟S351中，初始設置單元571獲取sizelD和MatrixID0
[0388]在步驟S352中，初始設置單元571如下設置coefNum。
[0389]coefNum = min ((1<< (4+ (sizeID〈〈l))), 65)
[0390]在步驟S353中，初始設置單元571如下設置變量i和變量nextcoef。
[0391]i = O
[0392]nextcoef = 8
[0393]在步驟S354中，DPCM解碼單元572確定是否存在變量i〈coefNum。如果變量i小于coefNum，則初始設置單元571使處理前進至步驟S355。
[0394]在步驟S355中，DPCM解碼單元572讀取系數的DPCM數據(scaling_list_delta_coef)。
[0395]在步驟S356中，DPCM解碼單元572使用讀取的DPCM數據如下確定nextcoef，并且還確定 scalingList [i]。
[0396]nextcoef = (nextcoef+scaling_list_delta_coef+256)% 256
[0397]scalingList [i] = nextcoef
[0398]在步驟S357中，DC系數提取單元573確定sizelD是否大于I以及變量i是否等于O (也就是說，位于開頭處的系數)。如果確定sizelD大于I和變量i代表位于開頭處的系數，則DC系數提取單元573使處理前進至步驟S358，并且使用該系數作為DC系數(DC_coef = nextcoef)。當步驟S358的處理完成時，DC系數提取單元573使處理前進至步驟S360。
[0399]另外，如果在步驟S357中確定sizelD小于或等于I或者變量i不代表位于開頭處的系數，則DC系數提取單元573使處理前進至步驟S359，并且針對每個系數使變量i改變一，因為 DC 系數已被提取。(ScalingList[(1-(sizeID)>l) ? I ;0] = nextcoef)如果步驟S359的處理完成，則DC系數提取單元573使處理前進至步驟S360。
[0400]在步驟S360中，DPCM解碼單元572使變量i增加以將處理目標改變?yōu)殡S后的系數，然后使處理返回到步驟S354。
[0401]在步驟S354中，反復地執(zhí)行步驟S354至S360的處理，直至確定變量i大于或等于coefNum。如果在步驟S354中確定變量i大于或等于coefNum,則DPCM解碼單元572結束逆DPCM處理，并且使處理返回到圖28。
[0402]因此，DC系數和位于AC系數的開頭處的AC系數之差可被正確地解碼。因此，圖像解碼裝置300能夠抑制縮放列表的編碼的量的增加。
[0403]<3.第三實施例>
[0404]<3-1.語法:第二方法>
[0405]用于替代于DC系數發(fā)送DC系數與另一系數之差的另一方法可以是例如:發(fā)送DC系數和8X8矩陣的(0，0)分量之差作為與8X8矩陣的DPCM數據不同的DPCM數據(第二方法)。例如，在8X8矩陣的DPCM發(fā)送之后，可發(fā)送DC系數與8X8矩陣的(0，O)分量之差。
[0406]因此，類似于第一方法，當8X8矩陣的(0，0)系數(AC系數)的值和DC系數的值彼此接近時，能夠進一步提高壓縮比。
[0407]圖30表示第二方法中的縮放列表的語法。在圖30中示出的例子中，讀取系數之間的64個差值(scaling_list_delta_coef)。最后，讀取DC系數和(O, O)系數(AC系數)之差(scaling_list_dc_coef_delta),并且從該差值確定DC系數。
[0408]在第二方法中，相應地，用于對AC系數進行解碼的語法能夠類似于圖12中示出的相關技術的語法。也就是說，通過少量修改相關技術的例子能夠獲得第二方法的語法，并且第二方法的語法能夠比第一方法的語法更可行。
[0409]然而，第一方法允許圖像解碼裝置在圖像解碼裝置接收到初始系數時恢復DC系數，而第二方法不允許圖像解碼裝置獲得DC系數，直至圖像解碼裝置已接收到所有的系數并且已解壓縮所有的DPCM數據。
[0410]將在以下描述實現上述第二方法的語法的圖像編碼裝置。
[0411]<3-2.DPCM單元的詳細示例性結構>
[0412]在第二方法中，圖像編碼裝置10具有與上述第一方法中的結構基本上類似的結構。具體地講，圖像編碼裝置10具有與圖14中示出的例子一樣的結構。另外，正交變換/量化單元14具有與圖15中示出的例子一樣的結構。另外，矩陣處理單元150具有與圖16中示出的例子一樣的結構。
[0413]第二例子中的DPCM單元192的示例性結構被示出在圖31中。如圖31中所示，在第二例子中，DPCM單元192包括AC系數緩沖器611、AC系數編碼單元612、AC系數DPCM單元613和DC系數DPCM單元614。
[0414]AC系數緩沖器611存儲從交疊確定單元191提供的初始AC系數(也就是說，(O, O)系數)。在所有的AC系數已經受DPCM處理之后的預定時刻，或者響應于請求，AC系數緩沖器611將存儲的初始AC系數(AC系數(0，O))提供給DC系數DPCM單元614。
[0415]AC系數編碼單元612獲取從交疊確定單元191提供的初始AC系數(AC系數(O，O))，并且用常數(例如，8)減去初始AC系數的值。AC系數編碼單元612將減法結果(差)提供給exp-G單元193作為AC系數的DPCM數據的初始系數(scaling_list_delta_coef (i = O))ο
[0416]AC系數DPCM單元613獲取從交疊確定單元191提供的AC系數，針對第二 AC系數和隨后的AC系數中的每一個確定與前一個AC系數的差(DPCM)，并且將確定的差提供給exp-G 單兀 193 作為 DPCM 數據(scaling_list_delta_coef (i = I 至 63))。
[0417]DC系數DPCM單元614獲取從交疊確定單元191提供的DC系數。DC系數DPCM單元614還獲取保存在AC系數緩沖器611中的初始AC系數(AC系數(0，O))。DC系數DPCM單元614用DC系數減去初始AC系數(AC系數(0，0))以確定它們之差，并且將確定的差提供給 exp-G 單兀 193 作為 DC 系數的 DPCM 數據(scaling_list_dc_coef_delta)。
[0418]如上所述，在第二方法中，確定DC系數和另一系數(初始AC系數)之差。然后，該差在作為AC系數之間的差的AC系數的DPCM數據(scaling_list_delta_coef)的發(fā)送之后，被作為與AC系數的DPCM數據不同的DC系數的DPCM數據(scaling_list_dc_c0ef_delta)而發(fā)送。因此，類似于第一方法，圖像編碼裝置10能夠提高縮放列表的編碼效率。
[0419]<3-3.DPCM 處理的流程 >
[0420]此外，在第二方法中，圖像編碼裝置10以與參照圖20中示出的流程圖描述的第一方法中的方式類似的方式執(zhí)行量化矩陣編碼處理。
[0421]將參照圖32中示出的流程圖描述在圖20中的步驟S112中執(zhí)行的第二方法中的DPCM處理的流程的例子。
[0422]當DPCM處理開始時，在步驟S401中，AC系數緩沖器611保存初始AC系數。
[0423]在步驟S402中，AC系數編碼單元612用預定常數(例如，8)減去初始AC系數以確定它們之差(初始DPCM數據)。
[0424]步驟S403至S405的處理由AC系數DPCM單元613以類似于圖21中的步驟S133至S135的處理的方式執(zhí)行。也就是說，步驟S403至S405的處理被反復地執(zhí)行以產生所有AC系數的DPCM數據(與緊接在前的AC系數的差)。
[0425]如果在步驟S403中確定所有的AC系數已被處理(也就是說，如果不存在未處理的AC系數)，則AC系數DPCM單元613使處理前進至步驟S406。
[0426]在步驟S406中，DC系數DPCM單元614用DC系數減去在步驟S401中保存的初始AC系數以確定它們之差(DC系數的DPCM數據)。
[0427]當步驟S406的處理完成時，DC系數DPCM單元614結束DPCM處理，并且使處理返回到圖20。
[0428]因此，還確定DC系數和另一系數之差并且將該差值發(fā)送給圖像解碼裝置作為DPCM數據。因此，圖像編碼裝置10能夠抑制縮放列表的編碼的量的增加。
[0429]<3-4.逆DPCM單元的詳細示例性結構〉
[0430]在第二方法中，圖像解碼裝置300具有與第一方法中的結構基本上類似的結構。具體地講，在第二方法中，圖像解碼裝置300也具有與圖22中示出的例子一樣的結構。另夕卜，去量化/逆正交變換單元313具有與圖23中示出的例子一樣的結構。此外，矩陣產生單元410具有與圖24中示出的例子一樣的結構。
[0431]圖33是表示第二方法中的圖24中示出的逆DPCM單元552的詳細結構的例子的方框圖。參照圖33，逆DPCM單元552包括初始設置單元621、AC系數DPCM解碼單元622、AC系數緩沖器623和DC系數DPCM解碼單元624。
[0432]初始設置單元621獲取sizelD和MatrixID，并且將各種變量設置為初始值。初始設置單元621將獲取的和設置的信息提供給AC系數DPCM解碼單元622。
[0433]AC系數DPCM解碼單元622獲取從exp_G單元551提供的AC系數的DPCM數據(scaling_list_delta_coef)。AC系數DPCM解碼單元622使用從初始設置單元621提供的初始設置等對獲取的AC系數的DPCM數據進行解碼以確定AC系數。AC系數DPCM解碼單元622將確定的AC系數(ScalingList [i])提供給逆交疊確定單元553。AC系數DPCM解碼單元622還將確定的AC系數之中的初始AC系數(ScalingList [O]，也就是說，AC系數(0，O))提供給AC系數緩沖器623以進行保存。
[0434]AC系數緩沖器623存儲從AC系數DPCM解碼單元622提供的初始AC系數(ScalingList [O]，也就是說，AC系數(0，0))。在預定時刻或響應于請求，AC系數緩沖器623將初始AC系數(ScalingList [O]，也就是說，AC系數(0，O))提供給DC系數DPCM解碼單元624。
[0435]DC系數DPCM解碼單元624獲取從exp_G單元551提供的DC系數的DPCM數據(scaling_list_dc_coef_delta)。DC系數DPCM解碼單元624還獲取存儲在AC系數緩沖器623中的初始AC系數(ScalingList [O]，也就是說，AC系數(0，0))。DC系數DPCM解碼單元624使用初始AC系數對DC系數的DPCM數據進行解碼以確定DC系數。DC系數DPCM解碼單元624將確定的DC系數(DC_COef)提供給逆交疊確定單元553。
[0436]因此，逆DPCM單元552能夠執(zhí)行正確的DPCM解碼，并且能夠獲得DC系數和AC系數。也就是說，圖像解碼裝置300能夠抑制縮放列表的編碼的量的增加。
[0437]<3-5.逆DPCM處理的流程>
[0438]此外，在第二方法中，圖像解碼裝置300以與以上參照圖27中示出的流程圖描述的第一方法中的方式類似的方式執(zhí)行量化矩陣解碼處理。類似地，圖像解碼裝置300以與以上參照圖28中示出的流程圖描述的第一方法中的方式類似的方式執(zhí)行殘余信號解碼處理。
[0439]將參照圖34中示出的流程圖描述由逆DPCM單元552執(zhí)行的逆DPCM處理的流程的例子。
[0440]當逆DPCM處理開始時，在步驟S421中，初始設置單元621獲取sizelD和MatrixID。
[0441]在步驟S422中，初始設置單元621如下設置coefNum。
[0442]coefNum = min((1<<(4+(sizeID〈〈l))), 64)
[0443]在步驟S423中，初始設置單元621如下設置變量i和變量nextcoef。
[0444]i = O
[0445]nextcoef = 8
[0446]在步驟S424中，DPCM解碼單元572確定是否存在變量i〈coefNum。如果變量i小于coefNum，則初始設置單元621使處理前進至步驟S425。
[0447]在步驟S425中，AC系數DPCM解碼單元622讀取AC系數的DPCM數據(scaling_list_delta_coef)。
[0448]在步驟S426中，AC系數DPCM解碼單元622使用讀取的DPCM數據如下確定nextcoef,并且還石角定 scalingList [i]。
[0449]nextcoef = (nextcoef+scaling_list_delta_coef+256)% 256
[0450]scalingList [i] = nextcoef
[0451]需要注意的是，計算的初始AC系數(ScalingList [O],也就是說，AC系數(0,0))被保存在AC系數緩沖器623中。
[0452]在步驟S427中，AC系數DPCM解碼單元622使變量i增加以將待處理的目標改變?yōu)殡S后的系數，然后使處理返回到步驟S424。
[0453]在步驟S424中，反復地執(zhí)行步驟S424至S427的處理，直至確定變量i大于或等于coefNum。如果在步驟S424中確定變量i大于或等于coefNum,則AC系數DPCM解碼單元622使處理前進至步驟428。
[0454]在步驟S428中，DC系數DPCM解碼單元624確定sizelD是否大于I。如果確定sizelD大于1，則DC系數DPCM解碼單元624使處理前進至步驟S429，并且讀取DC系數的DPCM 數據(scaling_list_dc_coef_delta)。
[0455]在步驟S430中，DC系數DPCM解碼單元624獲取保存在AC系數緩沖器623中的初始AC系數(ScalingList [0]，也就是說，AC系數(0，0))，并且如下使用初始AC系數對DC系數(DC_coef)的DPCM數據進行解碼。
[0456]DC_coef = sealing_li st_dc_coef_delta+ScalingLi st[0]
[0457]當獲得了 DC系數(DC_coef)時，DC系數DPCM解碼單元624結束逆DPCM處理，并且使處理返回到圖28。
[0458]另外，如果在步驟S428中確定sizelD小于或等于1，則DC系數DPCM解碼單元624結束逆DPCM處理，并且使處理返回到圖28。
[0459]因此，DC系數與位于AC系數的開頭處的AC系數之差能夠被正確地解碼。因此，圖像解碼裝置300能夠抑制縮放列表的編碼的量的增加。
[0460]〈4.第四實施例〉
[0461]〈4-1.語法:第三方法〉
[0462]在上述第二方法中，DC系數還可能被局限于小于初始AC系數(AC系數(0，0))的值(第二方法)。
[0463]這確保:DC系數的DPCM數據(也就是說，通過用DC系數減去初始AC系數而獲得的差值)能夠是正值。因此，能夠使用無符號指數Golomb碼對這個DPCM數據進行編碼。因此，第三方法可防止DC系數大于初始AC系數，但與第一方法和第二方法相比較能夠減少編碼的量。
[0464]圖35表示第三方法中的縮放列表的語法。如圖35中所示，在這種情況下，DC系數的 DPCM 數據(scaling_list_dc_coef_delta)局限于正值。
[0465]上述第三方法的語法能夠由與第二方法中的圖像編碼裝置類似的圖像編碼裝置10實現。然而，在第三方法中，exp-G單元193能夠使用無符號指數Golomb碼對DC系數的DPCM數據進行編碼。需要注意的是，圖像編碼裝置10能夠以與第二方法中的方式類似的方式執(zhí)行處理，諸如量化矩陣編碼處理和DPCM處理。
[0466]另外，第三方法的語法能夠由圖像解碼裝置300以與第二方法中的方式類似的方式實現。此外，圖像解碼裝置300能夠以與第二方法中的方式類似的方式執(zhí)行量化矩陣解碼處理。
[0467]<4-2.逆DPCM處理的流程〉
[0468]將參照圖36中示出的流程圖描述由逆DPCM單元552執(zhí)行的逆DPCM處理的流程的例子。
[0469]以類似于圖34中的步驟S421至S429的處理的方式執(zhí)行步驟S451至S459的處理。
[0470]在步驟S460中，DC系數DPCM解碼單元624獲取保存在AC系數緩沖器623中的初始AC系數(ScalingList [O]，也就是說，AC系數(0，O))，并且如下使用初始AC系數對DC系數(DC_coef)的DPCM數據進行解碼。
[0471]DC_coef = ScalingList[O]-scaling_list_dc_coef_delta
[0472]當獲得了 DC系數(DC_coef)時，DC系數DPCM解碼單元624結束逆DPCM處理，并且使處理返回到圖28。
[0473]另外，如果在步驟S458中確定sizelD小于或等于1，則DC系數DPCM解碼單元624結束逆DPCM處理，并且使處理返回到圖28。
[0474]因此，DC系數和位于AC系數的開頭處的AC系數之差能夠被正確地解碼。因此，圖像解碼裝置300能夠抑制縮放列表的編碼的量的增加。
[0475]<5.第五實施例>
[0476]〈5-1.語法:第四方法〉
[0477]用于替代于DC系數發(fā)送DC系數和另一系數之差的另一方法可以是例如:僅收集多個縮放列表的DC系數，并且通過分別獲得各縮放列表的DC系數與AC系數之差來執(zhí)行DPCM(第四方法)。在這種情況下，DC系數的DPCM數據是用于所述多個縮放列表的一組數據，并且被發(fā)送作為與各縮放列表的AC系數的DPCM數據不同的數據。
[0478]因此，當例如在縮放列表(MatrixID)的DC系數之間存在關聯(lián)時，能夠進一步提高壓縮比。
[0479]圖37表示第四方法中的縮放列表的DC系數的語法。在這種情況下，由于如圖37中示出的例子中所示，在與各縮放列表的AC系數的周期不同的周期中處理DC系數，所以用于AC系數的處理和用于DC系數的處理需要彼此獨立。
[0480]這確保能夠實現用于縮放列表編碼和解碼處理的更多的各種方法，但DPCM處理和逆DPCM處理的復雜性可能增加。例如，用于在復制模式下僅復制AC系數并且使DC系數的值不同的處理能夠被容易地實現。
[0481]DC系數被共同處理的縮放列表的數量是任意的。
[0482]<5-2.DPCM單元的詳細示例性結構>
[0483]在第四方法中，圖像編碼裝置10具有與上述第一方法中的結構基本上類似的結構。具體地講，圖像編碼裝置10具有與圖14中示出的例子一樣的結構。另外，正交變換/量化單元14具有與圖15中示出的例子一樣的結構。此外，矩陣處理單元150具有與圖16中示出的例子一樣的結構。
[0484]第四方法中的DPCM單元192的示例性結構被示出在圖38中。如圖38中所示，在這種情況下，DPCM單元192包括AC系數DPCM單元631、DC系數緩沖器632和DC系數DPCM單元633。
[0485]AC系數DPCM單元631執(zhí)行從交疊確定單元191提供的每個縮放列表的各AC系數的DPCM處理。具體地講，AC系數DPCM單元631針對每個縮放列表用預定常數(例如，8)減去初始AC系數，并且用緊接在前的AC系數減去正被處理的AC系數(當前AC系數)。AC系數DPCM單元631將針對每個縮放列表產生的DPCM數據(scaling_list_delta_coef)提供給exp-G單元193。
[0486]DC系數緩沖器632存儲從交疊確定單元191提供的各縮放列表的DC系數。在預定時刻或響應于請求，DC系數緩沖器632將存儲的DC系數提供給DC系數DPCM單元633。
[0487]DC系數DPCM單元633獲取積累在DC系數緩沖器632中的DC系數。DC系數DPCM單元633確定獲取的DC系數的DPCM數據。具體地講，DC系數DPCM單元633用預定常數(例如，8)減去初始DC系數，并且用緊接在前的DC系數減去正被處理的DC系數(當前DC系數)。DC系數DPCM單元633將產生的DPCM數據(scaling_list_delta_coef)提供給exp-G 單兀 193。
[0488]因此，圖像編碼裝置10能夠提高縮放列表的編碼效率。
[0489]<5-3.DPCM 處理的流程 >
[0490]此外，在第四方法中，圖像編碼裝置10以與以上參照圖20中示出的流程圖描述的第一方法中的方式類似的方式執(zhí)行量化矩陣編碼處理。
[0491]將參照圖39中示出的流程圖描述在圖20中的步驟S112中執(zhí)行的第四方法中的DPCM處理的流程的例子。
[0492]步驟S481至S485的處理由AC系數DPCM單元631以類似于圖32中的步驟S401至S405的處理(第二方法中的處理)的方式執(zhí)行。
[0493]如果在步驟S483中確定所有的AC系數已被處理，則AC系數DPCM單元631使處理前進至步驟S486。
[0494]在步驟S486中，AC系數DPCM單元631確定是否DC系數被共同進行DPCM編碼的所有的縮放列表(或差矩陣)已被處理。如果確定存在未處理的縮放列表(或差矩陣)，則AC系數DPCM單元631使處理返回到步驟S481。
[0495]如果在步驟S486中確定所有的縮放列表(或差矩陣)已被處理，則AC系數DPCM單元631使處理前進至步驟S487。
[0496]DC系數DPCM單元633以類似于步驟S481至S485的處理的方式對存儲在DC系數緩沖器632中的DC系數執(zhí)行步驟S487至S491的處理。
[0497]如果在步驟S489中確定存儲在DC系數緩沖器632中的所有的DC系數已被處理，則DC系數DPCM單元633結束DPCM處理，并且使處理返回到圖20。
[0498]通過以上述方式執(zhí)行DPCM處理，圖像編碼裝置10能夠提高縮放列表的編碼效率。
[0499]<5-4.逆DPCM單元的詳細示例性結構〉
[0500]第四方法中的圖像解碼裝置300具有與第一方法中的結構基本上類似的結構。具體地講，在第四方法中，圖像解碼裝置300也具有與圖22中示出的例子一樣的結構。另外，去量化/逆正交變換單元313具有與圖23中示出的例子一樣的結構。此外，矩陣產生單元410具有與圖24中示出的例子一樣的結構。
[0501]圖40是表示第四方法中的圖24中示出的逆DPCM單元552的詳細結構的例子的方框圖。參照圖40，逆DPCM單元552包括初始設置單元641、AC系數DPCM解碼單元642和DC系數DPCM解碼單元643。
[0502]初始設置單元641獲取sizelD和MatrixID，并且將各種變量設置為初始值。初始設置單元641將獲取的和設置的信息提供給AC系數DPCM解碼單元642和DC系數DPCM解碼單元643。
[0503]AC系數DPCM解碼單元642獲取從exp_G單元551提供的AC系數的DPCM數據(scaling_list_delta_coef (ac))。AC系數DPCM解碼單元642使用從初始設置單元641提供的初始設置等對獲取的AC系數的DPCM數據進行解碼，并且確定AC系數。AC系數DPCM解碼單元642將確定的AC系數(ScalingList[i])提供給逆交疊確定單元553。AC系數DPCM解碼單元642對多個縮放列表執(zhí)行上述處理。
[0504]DC系數DPCM解碼單元643獲取從exp_G單元551提供的DC系數的DPCM數據(scaling_list_delta_coef (dc))。DC系數DPCM解碼單元643使用從初始設置單元641提供的初始設置等對獲取的DC系數的DPCM數據進行解碼，并且確定各縮放列表的DC系數。DC系數DPCM解碼單元643將確定的DC系數(scaling_list_dc_coef)提供給逆交疊確定單元553。
[0505]因此，逆DPCM單元552能夠執(zhí)行正確的DPCM解碼，并且能夠獲得DC系數和AC系數。也就是說，圖像解碼裝置300能夠抑制縮放列表的編碼的量的增加。
[0506]<5-5.逆DPCM處理的流程〉
[0507]此外，在第四方法中，圖像解碼裝置300以與以上參照圖27中示出的流程圖描述的第一方法中的方式類似的方式執(zhí)行量化矩陣解碼處理。類似地，圖像解碼裝置300以與以上參照圖28中示出的流程圖描述的第一方法中的方式類似的方式執(zhí)行殘余信號解碼處理。
[0508]將參照圖41和圖42中示出的流程圖描述由逆DPCM單元552執(zhí)行的逆DPCM處理的流程的例子。
[0509]當逆DPCM處理開始時，初始設置單元641和AC系數DPCM解碼單元642以與圖34中的步驟S421至S427的處理中的方式類似的方式執(zhí)行步驟S511至S517的處理。
[0510]如果在步驟S514中確定變量i大于或等于coefNum，則AC系數DPCM解碼單元642使處理前進至步驟S518。
[0511]在步驟S518中，AC系數DPCM解碼單元642確定是否DC系數被共同進行DPCM處理的所有的縮放列表(差矩陣)已被處理。如果確定存在未處理的縮放列表(差矩陣)，則AC系數DPCM解碼單元642使處理返回到步驟S511，并且反復地執(zhí)行隨后的處理。
[0512]另外，如果確定不存在未處理的縮放列表(差矩陣)，則AC系數DPCM解碼單元642使處理前進至圖42。
[0513]在圖42中的步驟S521中，初始設置單元641如下設置sizelD和變量nextcoef。
[0514]sizelD = 2
[0515]nextcoef = 8
[0516]另外，在步驟S522中，初始設置單元641如下設置MatrixID。
[0517]MatrixID = O
[0518]在步驟S523中，DC系數DPCM解碼單元643確定是否sizeID〈4。如果確定sizelD小于4，則DC系數DPCM解碼單元643使處理前進至步驟S524。
[0519]在步驟S524中，DC系數DPCM解碼單元643確定是否滿足MatrixID〈(sizeID == 3)? 2:6。如果確定滿足MatrixID〈(sizeID == 3) ? 2:6，則DC系數DPCM解碼單元643使處理前進至步驟S525。
[0520]在步驟S525中，DC系數DPCM解碼單元643讀取DC系數的DPCM數據(scaling_list_delta_coef)。
[0521]在步驟S526中，DC系數DPCM解碼單元643使用讀取的DPCM數據如下確定nextcoef,并且還石角定 scaling_dc_coef。
[0522]nextcoef = (nextcoef+scaling_list_delta_coef+256)% 256
[0523]sealing_dc_coef[sizeID-2][MatrixID] = nextcoef
[0524]在步驟S527中，DC系數DPCM解碼單元643使MatrixID增加以將處理目標改變?yōu)殡S后的DC系數(隨后的縮放列表或殘余矩陣)，然后使處理返回到步驟S524。
[0525]如果在步驟S524中確定不滿足MatrixID〈(sizeID == 3) ? 2: 6，則DC系數DPCM解碼單元643使處理前進至步驟S528。
[0526]在步驟S528中，DC系數DPCM解碼單元643使sizelD增加以將處理目標改變?yōu)殡S后的DC系數(隨后的縮放列表或殘余矩陣)，然后使處理返回到步驟S523。
[0527]如果在步驟S52 3中確定sizelD大于或等于4，則DC系數DPCM解碼單元643結束逆DPCM處理，并且使處理返回到圖28。
[0528]因此，DC系數之間的差能夠被正確地解碼。因此，圖像解碼裝置300能夠抑制縮放列表的編碼的量的增加。
[0529]<6.第六實施例>
[0530]<6-1.其它語法:第一例子>
[0531]圖43表示縮放列表的語法的另一例子。這個附圖對應于圖12。在圖12中示出的例子中，nextcoef的初始值被設置為預定常數(例如,8)。替代地,如圖43中所示,nextcoef的初始值可被DC系數的DPCM數據(scaling_list_dc_coef_minus8)改寫。
[0532]因此，16 X 16縮放列表和32 X 32縮放列表中的初始AC系數(AC系數(0，0))的編碼的量能夠減少。
[0533]<6-2.其它語法:第二例子>
[0534]圖44表示縮放列表的語法的另一例子。這個附圖對應于圖12。
[0535]在圖12中不出的例子中，當scaling_list_pred_matrix_id_delta的值(該值是在復制模式下指定參考目的地的信息)是“O”時，參照比正被處理的當前縮放列表早一個縮放列表的縮放列表，并且當scaling_list_pred_matrix_id_delta的值是“I”時,參照比正被處理的當前縮放列表早兩個縮放列表的縮放列表。
[0536]相比之下,在圖44中示出的例子中，如圖44的部分C中所示，當scaling_list_pred_matrix_id_delta的值(該值是在復制模式下指定參考目的地的信息)是“O”時,參照默認縮放列表，并且當scaling_list_pred_matrix_id_delta的值是“ I”時,參照緊接在前的縮放列表。
[0537]以這種方式,修改scaling_list_pred_matrix_id_delta的語義能夠以圖44的部分B中示出的方式簡化語法，并且能夠減少DPCM處理和逆DPCM處理的負載。
[0538]<6-3.其它語法:第三例子>
[0539]圖45表示縮放列表的語法的另一例子。這個附圖對應于圖12。
[0540]在圖45中示出的例子中，既使用上述圖43中示出的例子又使用上述圖44中示出的例子。
[0541]在圖45中示出的例子中，相應地，16X16縮放列表和32X32縮放列表中的初始AC系數(AC系數(0，0))的編碼的量能夠減少。另外，語法能夠被簡化，并且DPCM處理和逆DPCM處理的負載能夠減少。
[0542]在前面的實施例中，所述預定常數的值是任意的。另外，縮放列表的尺寸也是任意的。
[0543]另外，盡管前面已給出縮放列表、預測矩陣或它們之間的差矩陣的尺寸變換處理的描述，但尺寸變換處理可以是用于實際產生其尺寸已被變換的矩陣的處理，或者可以是用于在不實際產生矩陣的數據的情況下設置如何從存儲器讀取矩陣中的每個元素的處理(矩陣數據的讀取控制)。
[0544]在上述尺寸變換處理中，其尺寸已被變換的矩陣中的每個元素由其尺寸還未被變換的矩陣中的任何元素構成。也就是說，通過使用某一方法(諸如，讀取矩陣中的一些元素或多次讀取一個元素)讀取存儲在存儲器中的其尺寸還未被變換的矩陣中的元素，可產生其尺寸已被變換的矩陣。換句話說，定義用于讀取每個元素的方法(或執(zhí)行矩陣數據的讀取控制)以基本上實現上述尺寸變換。這種方法可去除諸如將其尺寸已被變換的矩陣數據寫到存儲器的處理。另外，其尺寸已被變換的矩陣數據的讀取基本上取決于如何執(zhí)行最近鄰居內插等，因此，可通過比較低負載的處理(諸如，選擇預先準備的多個選項中的合適的一個選項)來實現尺寸變換。因此，上述方法可減少尺寸變換的負載。
[0545]也就是說，上述尺寸變換處理包括用于實際產生其尺寸已被變換的矩陣數據的處理，并且還包括矩陣數據的讀取控制。
[0546]需要注意的是，盡管在差矩陣被編碼和發(fā)送的情況下進行前面的描述，但這僅是說明性的并且縮放列表可被編碼和發(fā)送。換句話說，已在以上被描述為待處理的系數的縮放列表的AC系數和DC系數可以是縮放列表與預測矩陣之間的差矩陣的AC系數和DC系數。
[0547]另外，關于縮放列表的參數、標記等(諸如，縮放列表的尺寸和列表ID)的信息的編碼的量可通過下述方式減少:例如，獲得該信息和以前發(fā)送的信息之差并且發(fā)送該差值。
[0548]另外，盡管已在大尺寸的量化矩陣或差矩陣被下轉換和發(fā)送的上下文中進行前面的描述，但這僅是說明性的，并且量化矩陣或差矩陣可在未被下轉換的情況下被發(fā)送，同時用于量化的量化矩陣的尺寸保持不變。
[0549]本技術能夠被應用于包括量化和去量化的任何類型的圖像編碼和解碼。
[0550]另外，本技術還能夠被應用于例如用于經網絡介質(諸如，衛(wèi)星廣播、有線電視、互聯(lián)網或移動電話)接收使用正交變換(諸如，離散余弦轉換)和運動補償(諸如，MPEG或
H.26x)壓縮的圖像信息(比特流)的圖像編碼裝置和圖像解碼裝置。本技術還能夠被應用于用于存儲介質(諸如，光盤、磁盤和閃存)上的處理的圖像編碼裝置和圖像解碼裝置。另夕卜，本技術還能夠被應用于上述圖像編碼裝置和圖像解碼裝置中所包括的量化裝置和去量化裝置等。
[0551]〈7.第七實施例〉
[0552]<應用于多視圖圖像編碼和多視圖圖像解碼>
[0553]上述一系列處理能夠被應用于多視圖圖像編碼和多視圖圖像解碼。圖46表示多視圖圖像編碼方案的例子。
[0554]如圖46中所示，多視圖圖像包括在多個視圖的圖像(或視圖)。多視圖圖像中的所述多個視圖包括:基本視圖，每個基本視圖在不使用另一視圖的圖像的情況下使用它的圖像而被編碼和解碼；和非基本視圖，每個非基本視圖使用另一視圖的圖像而被編碼和解碼。每個非基本視圖可使用基本視圖的圖像或使用任何其它非基本視圖的圖像而被編碼和解碼。
[0555]當圖46中示出的多視圖圖像將要被編碼和解碼時，每個視圖的圖像被編碼和解碼。以上在前面的實施例中描述的方法可被應用于每個視圖的編碼和解碼。這能夠抑制各視圖的圖像質量的降低。
[0556]另外，可在每個視圖的編碼和解碼中共享以上在前面的實施例中描述的方法中使用的標記和參數。這能夠抑制編碼效率的降低。
[0557]更具體地講，例如，可在每個視圖的編碼和解碼中共享關于縮放列表的信息(例如，參數、標記等)。
[0558]當然，可在每個視圖的編碼和解碼中共享任何其它需要的信息。
[0559]例如，當將要發(fā)送縮放列表或序列參數集(SPS)或圖像參數集(PPS)中所包括的關于縮放列表的信息時，如果在視圖之間共享這些參數集(SPS和PPS)，則縮放列表或關于縮放列表的信息也被相應地共享。這能夠抑制編碼效率的降低。
[0560]另外，可根據視圖之間的差異值改變基本視圖的縮放列表(或量化矩陣)中的矩陣元素。此外，可發(fā)送用于針對基本視圖的縮放列表(量化矩陣)中的矩陣元素調整非基本視圖矩陣元素的偏移值。因此，能夠抑制編碼的量的增加。
[0561]例如，每個視圖的縮放列表可被預先分開地發(fā)送。當將要針對每個視圖改變縮放列表時，可僅發(fā)送指示與預先發(fā)送的縮放列表中的對應縮放列表的差的信息。指示該差的信息是任意的，并且可以是例如以4X4或8X8為單位的信息或矩陣之差。
[0562]需要注意的是，如果縮放列表或關于縮放列表的信息在視圖之間被共享但SPS或PPS未被共享，則可以能夠參照其它視圖的SPS或PPS (也就是說，能夠使用其它視圖的縮放列表或關于縮放列表的信息)。
[0563]此外，如果這種多視圖圖像被表示為具有YUV圖像和與視圖之間的差異的量對應的深度圖像(D印th)作為分量的圖像，則可使用每個分量(Y，U，V和D印th)的圖像的獨立的縮放列表或關于縮放列表的信息。
[0564]例如，由于深度圖像(D印th)是邊緣的圖像，所以不需要縮放列表。因此，雖然SPS或PPS指定縮放列表的使用，但縮放列表可不被應用于(或者可應用所有的矩陣元素相同(或平坦)的縮放列表)深度圖像(D印th)。
[0565]〈多視圖圖像編碼裝置〉
[0566]圖47是表示用于執(zhí)行上述多視圖圖像編碼操作的多視圖圖像編碼裝置的示圖。如圖47中所示，多視圖圖像編碼裝置700包括編碼單元701、編碼單元702和復用單元703。
[0567]編碼單元701對基本視圖的圖像進行編碼，并且產生編碼基本視圖圖像流。編碼單元702對非基本視圖的圖像進行編碼，并且產生編碼非基本視圖圖像流。復用單元703對由編碼單元701產生的編碼基本視圖圖像流和由編碼單元702產生的編碼非基本視圖圖像流進行復用，并且產生編碼多視圖圖像流。
[0568]圖像編碼裝置10 (圖14)能夠被用于多視圖圖像編碼裝置700的編碼單元701和編碼單元702中的每一個。也就是說，能夠抑制每個視圖的編碼中的縮放列表的編碼的量的增加，并且能夠抑制每個視圖的圖像質量的降低。另外，編碼單元701和編碼單元702能夠使用相同的標記或參數(也就是說，標記和參數能夠被共享)執(zhí)行處理(諸如，量化和去量化)。因此，能夠抑制編碼效率的降低。
[0569]〈多視圖圖像解碼裝置〉
[0570]圖48是表示用于執(zhí)行上述多視圖圖像解碼操作的多視圖圖像解碼裝置的示圖。如圖48中所示，多視圖圖像解碼裝置710包括解復用單元711、解碼單元712和解碼單元713。
[0571]解復用單元711對已復用編碼基本視圖圖像流和編碼非基本視圖圖像流的編碼多視圖圖像流進行解復用，并且提取編碼基本視圖圖像流和編碼非基本視圖圖像流。解碼單元712對由解復用單元711提取的編碼基本視圖圖像流進行解碼，并且獲得基本視圖的圖像。解碼單元713對由解復用單元711提取的編碼非基本視圖圖像流進行解碼，并且獲得非基本視圖的圖像。
[0572]圖像解碼裝置300 (圖22)能夠被用于多視圖圖像解碼裝置710的解碼單元712和解碼單元713中的每一個。也就是說，能夠抑制每個視圖的解碼中的縮放列表的編碼的量的增加，并且能夠抑制每個視圖的圖像質量的降低。另外，解碼單元712和解碼單元713能夠使用相同的標記和參數(也就是說，標記和參數能夠被共享)執(zhí)行處理(諸如，量化和去量化)。因此，能夠抑制編碼效率的降低。
[0573]<8.第八實施例>
[0574]<應用于分層圖像編碼和分層圖像解碼>
[0575]上述一系列處理能夠被應用于分層圖像編碼和分層圖像解碼(可縮放編碼和可縮放解碼)。圖49表示分層圖像編碼方案的例子。
[0576]分層圖像編碼(可縮放編碼)是這樣的處理:將圖像劃分成多個層(分層)以便針對預定參數為圖像數據提供可擴展性功能，并且對各層進行編碼。分層圖像解碼(可縮放解碼)是與分層圖像編碼對應的解碼處理。
[0577]如圖49中所示，在圖像分層中，使用具有可擴展性功能的預定參數作為參考，一個圖像被劃分為多個子圖像(或層)。也就是說，分解為層的圖像(或分層圖像)包括多個分層(或層)圖像，所述多個分層(或層)圖像具有所述預定參數的不同值。分層圖像中的所述多個層包括:基本層，每個基本層在不使用另一層的圖像的情況下使用它的圖像而被編碼和解碼；和非基本層(也被稱為增強層)，每個非基本層使用另一層的圖像而被編碼和解碼。每個非基本層可使用基本層的圖像或使用任何其它非基本層的圖像而被編碼和解碼。
[0578]通常，每個非基本層包括它的圖像和另一層的圖像之間的差圖像的數據(差數據)以便減少冗余。例如，在一個圖像被分解為兩個層(即，基本層和非基本層(也被稱為增強層))的情況下，可僅使用基本層的數據獲得具有低于原始圖像的質量的圖像，并且可通過組合基本層的數據和非基本層的數據來獲得原始圖像(也就是說，具有高質量的圖像)。
[0579]以上述方式執(zhí)行的圖像的分層能夠方便根據情況獲得具有各種質量的圖像。這確保:能夠在不執(zhí)行譯碼的情況下根據終端和網絡的能力從服務器發(fā)送圖像壓縮信息，從而例如僅關于基本層的圖像壓縮信息被發(fā)送給具有低處理能力的終端(諸如，移動電話)以再現具有低空間時間分辨率或低質量的運動圖像，并且除了關于基本層的圖像壓縮信息之夕卜，關于增強層的圖像壓縮信息也被發(fā)送給具有高處理能力的終端(諸如，電視機和個人計算機)以再現具有高空間時間分辨率或高質量的運動圖像。
[0580]當圖49中示出的例子中的分層圖像將要被編碼和解碼時，每個層的圖像被編碼和解碼。以上在每個前面的實施例中描述的方法可被應用于每個層的編碼和解碼。這能夠抑制各層的圖像質量的降低。
[0581 ] 另外，可在每個層的編碼和解碼中共享以上在每個前面的實施例中描述的方法中使用的標記和參數。這能夠抑制編碼效率的降低。
[0582]更具體地講，例如，可在每個層的編碼和解碼中共享關于縮放列表的信息(例如，參數、標記等)。
[0583]當然，可在每個層的編碼和解碼中共享任何其它需要的信息。
[0584]分層圖像的例子包括按照空間分辨率分層的圖像(也被稱為空間分辨率可擴展性)(空間可擴展性)。在具有空間分辨率可擴展性的分層圖像中，圖像的分辨率針對每層而不同。例如，具有空間最低分辨率的圖像的層被指定為基本層，并且具有比基本層高的分辨率的圖像的層被指定為非基本層(增強層)。
[0585]非基本層(增強層)的圖像數據可以是獨立于其它層的數據，并且類似于基本層，可僅使用圖像數據獲得具有與該層的分辨率相同的分辨率的圖像。然而，通常，非基本層(增強層)的圖像數據是與該層的圖像和另一層(例如，比該層低一層的層)的圖像之間的差圖像對應的數據。在這種情況下，僅使用基本層的圖像數據獲得具有與基本層的分辨率相同的分辨率的圖像，而通過非基本層(增強層)的圖像數據和另一層(例如，比該層低一層的層)的圖像數據的組合來獲得具有與該非基本層(增強層)的分辨率相同的分辨率的圖像。這能夠抑制層之間的圖像數據的冗余。
[0586]在上述具有空間分辨率可擴展性的分層圖像中，圖像的分辨率針對每層而不同。因此，各個層被編碼和解碼的處理的單位的分辨率也不同。因此，如果在各層的編碼和解碼中共享縮放列表(量化矩陣)，則可根據各層的分辨率比率對縮放列表(量化矩陣)進行上轉換。
[0587]例如，假設基本層的圖像具有2K的分辨率(例如，1920X1080)，并且非基本層(增強層)的圖像具有4K的分辨率(例如，3840X2160)。在這種情況下，例如，基本層的圖像(2K圖像)的16X16尺寸對應于非基本層的圖像(4K圖像)的32 X 32尺寸。根據分辨率比率合適地對縮放列表(量化矩陣)進行上轉換。
[0588]例如，用于基本層的量化和去量化的4X4量化矩陣在非基本層的量化和去量化中被上轉換為8X8并且被使用。類似地，基本層的8X8縮放列表在非基本層中被上轉換為16X16。類似地，在基本層中被上轉換為16X16并且使用的量化矩陣在非基本層中被上轉換為32X32。
[0589]需要注意的是，為其提供可擴展性的參數不限于空間分辨率，并且參數的例子可包括時間分辨率(時間可擴展性)。在具有時間分辨率可擴展性的分層圖像中，圖像的幀速針對每層而不同。其它例子包括:位深可擴展性，圖像數據的位深針對每層而不同；和色度可擴展性，分量的格式針對每層而不同。
[0590]其它例子包括SNR可擴展性，其中圖像的信噪比(SNR)針對每層而不同。
[0591]考慮到圖像質量的提高，按照所希望的方式，圖像具有的信噪比越低，量化誤差越小。為此，在SNR可擴展性中，按照所希望的方式，根據信噪比，不同的縮放列表(非共同縮放列表)被用于各層的量化和去量化。由于這個原因，如上所述，如果縮放列表在層之間被共享，則可發(fā)送用于針對基本層的縮放列表中的矩陣元素調整增強層的矩陣元素的偏移值。更具體地講，可在逐層基礎上發(fā)送指示共同縮放列表與實際使用的縮放列表之差的信息。例如，可在針對每個層的序列參數集(SPS)或圖像參數集(PPS)中發(fā)送指示該差值的?目息。指不該差值的?目息是任意的。例如，該彳目息可以是具有代表兩個縮放列表中的對應元素之間的差值的元素的矩陣，或者可以是指示該差值的函數。
[0592]〈分層圖像編碼裝置〉
[0593]圖50是表示用于執(zhí)行上述分層圖像編碼操作的分層圖像編碼裝置的示圖。如圖50中所示，分層圖像編碼裝置720包括編碼單元721、編碼單元722和復用單元723。
[0594]編碼單元721對基本層的圖像進行編碼，并且產生編碼的基本層圖像流。編碼單元722對非基本層的圖像進行編碼，并且產生編碼非基本層圖像流。復用單元723復用由編碼單元721產生的編碼基本層圖像流和由編碼單元722產生的編碼非基本層圖像流，并且產生編碼分層圖像流 。
[0595]圖像編碼裝置10 (圖14)能夠被用于分層圖像編碼裝置720的編碼單元721和編碼單元722中的每一個。也就是說，能夠抑制每個層的編碼中的縮放列表的編碼的量的增加，并且能夠抑制每個層的圖像質量的降低。另外，編碼單元721和編碼單元722能夠使用相同的標記或參數(也就是說，標記和參數能夠被共享)執(zhí)行處理(諸如，量化和去量化)。因此，能夠抑制編碼效率的降低。
[0596]〈分層圖像解碼裝置>
[0597]圖51是表示用于執(zhí)行上述分層圖像解碼操作的分層圖像解碼裝置的示圖。如圖51中所示，分層圖像解碼裝置730包括解復用單元731、解碼單元732和解碼單元733。
[0598]解復用單元731對其中已復用了編碼基本層圖像流和編碼非基本層圖像流的編碼分層圖像流進行解復用，并且提取編碼基本層圖像流和編碼非基本層圖像流。解碼單元732對由解復用單元731提取的編碼基本層圖像流進行解碼，并且獲得基本層的圖像。解碼單元733對由解復用單元731提取的編碼的非基本層圖像流進行解碼，并且獲得非基本層的圖像。
[0599]圖像解碼裝置300 (圖22)能夠被用于分層圖像解碼裝置730的解碼單元732和解碼單元733中的每一個。也就是說，能夠抑制每個層的解碼中的縮放列表的編碼的量的增加，并且能夠抑制每個層的圖像質量的降低。另外，解碼單元712和解碼單元713能夠使用相同的標記或參數(也就是說，標記和參數能夠被共享)執(zhí)行處理(諸如，量化和去量化)。因此，能夠抑制編碼效率的降低。
[0600]<9.第九實施例>
[0601]〈計算機〉
[0602]上述一系列處理能夠由硬件執(zhí)行，或者也能夠由軟件執(zhí)行。在這種情況下,所述一系列處理可被實現為例如圖52中示出的計算機。
[0603]在圖52中，計算機800中的CPU (中央處理單元)801根據存儲在ROM (只讀存儲器)802中的程序或從存儲單元813加載到RAM(隨機存取存儲器)803中的程序執(zhí)行各種處理操作。RAM803還根據需要存儲CPU801執(zhí)行各種處理操作所需的數據等。
[0604]CPU801、R0M802和RAM803經總線804彼此連接。輸入/輸出接口 810也連接到總線804。
[0605]輸入/輸出接口 810連接到輸入單元811、輸出單元812、存儲單元813和通信單元814。輸入單元811包括鍵盤、鼠標、接觸面板、輸入終端等。輸出單元812包括期望的輸出裝置(諸如，揚聲器和顯示器，顯示器包括CRT(陰極射線管)、LCD(液晶顯示器)和OELD (有機場致發(fā)光顯示器))輸出終端等。存儲單元813包括:期望的存儲介質，諸如硬盤或閃存；和控制單元，控制存儲介質的輸入和輸出。通信單元814包括期望的有線或無線通信裝置，諸如調制解調器、LAN接口、USB (通用串行總線)裝置和Bluetooth (注冊商標)裝置。通信單元814經網絡(包括例如互聯(lián)網)與其它通信裝置執(zhí)行通信處理。
[0606]如果必要，驅動器815也連接到輸入/輸出接口 810?？梢苿咏橘|821 (諸如，磁盤、光盤、磁光盤或半導體存儲器)按照期望被放置在驅動器815中。驅動器815根據例如CPU801的控制從放置在它里面的可移動介質821讀取計算機程序、數據等。讀取的數據和計算機程序被提供給例如RAM803。如果必要，則從可移動介質821讀取的計算機程序被進一步安裝到存儲單元813中。
[0607]當上述一系列處理由軟件執(zhí)行時，從網絡或記錄介質安裝構成該軟件的程序。
[0608]如圖52中所不，記錄介質的例子包括:可移動介質821,與裝置體分開地分發(fā)以將程序提供給用戶，諸如記錄有程序的磁盤(包括軟盤)、光盤(包括CD-R0M(壓縮盤-只讀存儲器)和DVD (數字通用盤))、磁光盤(包括MD(迷你盤))或半導體存儲器。記錄介質的其它例子包括以預先被包括在裝置體中的方式分發(fā)給用戶的裝置，諸如記錄有程序的ROM 802和存儲單元813中所包括的硬盤。
[0609]需要注意的是，計算機800執(zhí)行的程序可以是以這里描述的次序按照時間順序方式執(zhí)行處理操作的程序，或者可以是并行地或在必要的時刻(諸如，當調用時)執(zhí)行處理操作的程序。
[0610]另外，如這里所使用，描述存儲在記錄介質中的程序的步驟當然包括以描述的次序按照時間順序方式執(zhí)行的處理操作和并行地或單獨地執(zhí)行(而并不必然按照時間順序方式執(zhí)行)的處理操作。
[0611]另外，如這里所使用，術語“系統(tǒng)”表示一組的組成元件(裝置、模塊(部件)等)，而不管是否所有組成元件被容納在同一殼體中。因此，被容納在不同殼體中并且經網絡連接的多個裝置和包括被容納在單個殼體中的多個模塊的單個裝置被定義為系統(tǒng)。
[0612]另外，以上描述為單個裝置(或處理單元)的結構可被劃分為多個裝置(或處理單元)。相反地，以上描述為多個裝置(或處理單元)的結構可被組合為單個裝置(或處理單元)。另外，當然，除上述結構之外的結構可被添加到每個裝置(或每個處理單元)的結構。另外，如果就整個系統(tǒng)而言裝置(或處理單元)具有基本上相同的結構和/或操作，則某一裝置(或處理單元)的結構的一部分可被包括在另一裝置(或另一處理單元)的結構中。換句話說，本技術的實施例不限于前面的實施例，并且在不脫離本技術的范圍的情況下能夠做出各種修改。
[0613]盡管已參照附圖詳細描述了本公開的優(yōu)選實施例，但本公開的技術范圍不限于這里公開的例子。明顯的是，具有本公開的【技術領域】中的常識的人能夠在不脫離如權利要求中所定義的技術概念的范圍的情況下實現各種變化或修改，并且應該理解，這種變化或修改自然也落在本公開的技術范圍內。
[0614]例如，可利用多個裝置經網絡共享并且協(xié)作以處理單個功能的云計算結構實現本技術。
[0615]另外，上述流程圖中示出的每個步驟可由單個裝置執(zhí)行或由多個裝置以共享方式執(zhí)行。
[0616]另外，如果單個步驟包括多個處理，則所述單個步驟中所包括的所述多個處理可由單個裝置執(zhí)行或由多個裝置以共享方式執(zhí)行。
[0617]根據前面的實施例的圖像編碼裝置10 (圖14)和圖像解碼裝置300 (圖22)可被應用于各種電子裝備，諸如用于經衛(wèi)星廣播、有線廣播(諸如，有線TV)或互聯(lián)網傳送數據或者用于經蜂窩通信將數據傳送給終端或從終端傳送數據的發(fā)射器或接收器、將圖像記錄在介質(諸如，光盤、磁盤和閃存)上的記錄設備和從這種存儲介質再現圖像的再現設備。將在以下描述四個示例性應用。
[0618]<10.示例性應用>
[0619]<第一示例性應用:電視接收器>
[0620]圖53表示應用前面的實施例的電視設備的示意性結構的例子。電視設備900包括天線901、調諧器902、解復用器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚聲器908、外部接口 909、控制單元910、用戶接口 911和總線912。
[0621]調諧器902從經天線901接收的廣播信號提取期望的頻道中的信號，并且解調提取的信號。然后，調諧器902將通過解調獲得的編碼比特流輸出到解復用器903。換句話說，調諧器902在用于接收包括編碼圖像的編碼流的電視設備900中用作發(fā)送單元。
[0622]解復用器903將編碼比特流解復用為將要觀看的節(jié)目的視頻流和音頻流，并且將解復用的流輸出到解碼器904。解復用器903還從編碼比特流提取輔助數據(諸如，EPG(電子節(jié)目指南))，并且將提取的數據提供給控制單元910。需要注意的是，如果編碼比特流已被擾碼，則解復用器903還可對編碼比特流進行解擾。
[0623]解碼器904對從解復用器903輸入的視頻流和音頻流進行解碼。然后，解碼器904將通過解碼處理產生的視頻數據輸出到視頻信號處理單元905。解碼器904還將通過解碼處理產生的音頻數據輸出到音頻信號處理單元907。
[0624]視頻信號處理單元905再現從解碼器904輸入的視頻數據，并且使視頻被顯示在顯示單元906上。視頻信號處理單元905還可使經網絡提供的應用屏幕被顯示在顯示單元906上。視頻信號處理單元905還可根據設置對視頻數據執(zhí)行另外的處理，諸如噪聲去除。另外，視頻信號處理單元905還可產生GUI (圖形用戶界面)圖像(諸如，菜單、按鈕或光標)，并且將產生的圖像疊加在輸出圖像上。
[0625]顯示單元906由從視頻信號處理單元905提供的驅動信號驅動，并且在顯示裝置(諸如，液晶顯示器、等離子體顯示器或OELD (有機場致發(fā)光顯示器)(有機EL顯示器))的視頻表面上顯示視頻或圖像。
[0626]音頻信號處理單元907對從解碼器904輸入的音頻數據執(zhí)行再現處理(諸如，D/A轉換和放大),并且使音頻被從揚聲器908輸出。音頻信號處理單兀907還可對音頻數據執(zhí)行另外的處理，諸如噪聲去除。
[0627]外部接口 909是用于將電視設備900連接到外部裝置或網絡的接口。例如，經外部接口 909接收的視頻流或音頻流可由解碼器904解碼。換句話說，外部接口 909也在用于接收包括編碼圖像的編碼流的電視設備900中用作發(fā)送單元。
[0628]控制單元910包括處理器(諸如，CPU)和存儲器(諸如，RAM和ROM)。存儲器存儲將要由CPU執(zhí)行的程序、節(jié)目數據、EPG數據、經網絡獲取的數據等。當例如電視設備900啟動時，存儲在存儲器中的程序由CPU讀取并且執(zhí)行。CPU根據例如從用戶接口 911輸入的操作信號執(zhí)行程序以控制電視設備900的操作。
[0629]用戶接口 911連接到控制單元910。用戶接口 911包括例如用于允許用戶操作電視設備900的按鈕和開關、用于遙控信號的接收單元等。用戶接口 911檢測用戶經上述部件的操作以產生操作信號，并且將產生的操作信號輸出到控制單元910。
[0630]總線912用于將調諧器902、解復用器903、解碼器904、視頻信號處理單元905、音頻信號處理單元907、外部接口 909和控制單元910彼此連接。
[0631]在具有上述結構的電視設備900中，解碼器904具有根據前面的實施例的圖像解碼裝置300(圖22)的功能。因此，電視設備900能夠抑制縮放列表的編碼的量的增加。
[0632]<第二示例性應用:移動電話>
[0633]圖54表示應用前面的實施例的移動電話的示意性結構的例子。移動電話920包括天線921、通信單元922、音頻編碼解碼器923、揚聲器924、麥克風925、照相機單元926、圖像處理單元927、復用/解復用單元928、記錄/再現單元929、顯示單元930、控制單元931、操作單元932和總線933。
[0634]天線921連接到通信單元922。揚聲器924和麥克風925連接到音頻編碼解碼器923。操作單元932連接到控制單元931。總線933用于將通信單元922、音頻編碼解碼器923、照相機單元926、圖像處理單元927、復用/解復用單元928、記錄/再現單元929、顯示單元930和控制單元931彼此連接。
[0635]移動電話920在各種操作模式下執(zhí)行操作，諸如發(fā)送和接收音頻信號、發(fā)送和接收電子郵件或圖像數據、捕捉圖像和記錄數據，所述各種操作模式包括語音呼叫模式、數據通信模式、圖像捕捉模式和視頻電話模式。
[0636]在語音呼叫模式下，由麥克風925產生的模擬音頻信號被提供給音頻編碼解碼器923。音頻編碼解碼器923將模擬音頻信號轉換成音頻數據，并且對轉換的音頻數據執(zhí)行A/D轉換和壓縮。音頻編碼解碼器923隨后將壓縮音頻數據輸出到通信單元922。通信單元922對音頻數據進行編碼和調制，并且產生發(fā)送信號。通信單元922隨后經天線921將產生的發(fā)送信號發(fā)送給基站(未示出)。另外，通信單元922放大經天線921接收的無線電信號，并且對放大的信號執(zhí)行頻率轉換以獲取接收信號。然后，通信單元922對接收信號進行解調和解碼以產生音頻數據，并且將產生的音頻數據輸出到音頻編碼解碼器923。音頻編碼解碼器923擴展音頻數據并且執(zhí)行D/A轉換以產生模擬音頻信號。音頻編碼解碼器923隨后將產生的音頻信號提供給揚聲器924以使得輸出音頻。
[0637]另外，在數據通信模式下，例如，控制單元931根據用戶經操作單元932的操作產生形成電子郵件的文本數據。另外，控制單元931使文本被顯示在顯示單元930上?？刂茊卧?31還根據經操作單元932從用戶給出的發(fā)送指令產生電子郵件數據，并且將產生的電子郵件數據輸出到通信單元922。通信單元922對電子郵件數據進行編碼和調制以產生發(fā)送信號。然后，通信單元922經天線921將產生的發(fā)送信號發(fā)送給基站(未示出)。另夕卜，通信單元922放大經天線921接收的無線電信號，并且對放大的信號執(zhí)行頻率轉換以獲取接收信號。然后，通信單元922對接收信號進行解調和解碼以恢復電子郵件數據，并且將恢復的電子郵件數據輸出到控制單元931?？刂茊卧?31使電子郵件的內容被顯示在顯示單元930上，并且還使電子郵件數據被存儲在記錄/再現單元929的存儲介質中。
[0638]記錄/再現單元929包括期望的可讀/可寫存儲介質。存儲介質可以是例如內置存儲介質(諸如，RAM或閃存)或者外部存儲介質(諸如，硬盤、磁盤、磁光盤、光盤、USB存儲器或存儲卡)。
[0639]另外，在圖像捕捉模式下，例如，照相機單元926捕捉物體的圖像以產生圖像數據，并且將產生的圖像數據輸出到圖像處理單元927。圖像處理單元927對從捕捉單元926輸入的圖像數據進行編碼，并且使編碼流被存儲在記錄/再現單元929的存儲介質中。
[0640]另外，在視頻電話模式下，例如，復用/解復用單元928復用由圖像處理單元927編碼的視頻流和從音頻編碼解碼器923輸入的音頻流，并且將復用流輸出到通信單元922。通信單元922對復用流進行編碼和調制以產生發(fā)送信號。然后，通信單元922經天線921將產生的發(fā)送信號發(fā)送給基站(未示出)。通信單元922還放大經天線921接收的無線電信號，并且對放大的信號執(zhí)行頻率轉換以獲取接收信號。發(fā)送信號和接收信號可包括編碼比特流。通信單元922對接收信號進行解調和解碼以恢復流，并且將恢復的流輸出到復用/解復用單元928。然后，復用/解復用單元928將輸入流解復用為視頻流和音頻流，并且將視頻流和音頻流分別輸出到圖像處理單元927和音頻編碼解碼器923。圖像處理單元927對視頻流進行解碼以產生視頻數據。視頻數據被提供給顯示單元930，并且一系列圖像由顯示單元930顯示。音頻編碼解碼器923擴展音頻流并且執(zhí)行D/A轉換以產生模擬音頻信號。音頻編碼解碼器923隨后將產生的音頻信號提供給揚聲器924以使得輸出音頻。
[0641]在具有上述結構的移動電話920中，圖像處理單元927具有根據前面的實施例的圖像編碼裝置10 (圖14)的功能和圖像解碼裝置300 (圖22)的功能。因此，移動電話920能夠抑制縮放列表的編碼的量的增加。
[0642]另外，盡管已給出對例如移動電話920的描述，但類似于移動電話920，應用本技術的圖像編碼裝置和圖像解碼裝置可被用于具有與移動電話920的成像功能和通信功能類似的成像功能和通信功能的任何設備，諸如PDA(個人數字助手)、智能電話、UMPC(超移動個人計算機)上網本或筆記本個人計算機。
[0643]<第三示例性應用:記錄/再現設備>
[0644]圖55表示應用前面的實施例的記錄/再現設備的示意性結構的例子。記錄/再現設備940對例如接收的廣播節(jié)目的音頻數據和視頻數據進行編碼，并且將編碼音頻數據和視頻數據記錄在記錄介質上。另外，記錄/再現設備940還可對從例如另一設備獲取的音頻數據和視頻數據進行編碼，并且將編碼音頻數據和視頻數據記錄在記錄介質上。此外，記錄/再現設備940根據從用戶給出的指令使用監(jiān)視器和揚聲器再現例如記錄在記錄介質上的數據。在這種情況下，記錄/再現設備940對音頻數據和視頻數據進行解碼。
[0645]記錄/再現設備940包括調諧器941、外部接口 942、編碼器943、HDD (硬盤驅動器)944、盤驅動器945、選擇器946、解碼器947、OSD (同屏顯示器)948、控制單元949和用戶接口 950。
[0646]調諧器941從經天線(未示出)接收的廣播信號提取期望的頻道中的信號，并且解調提取的信號。調諧器941隨后將通過解調獲得的編碼比特流輸出到選擇器946。換句話說，調諧器941在記錄/再現設備940中用作發(fā)送單元。
[0647]外部接口 942是用于將記錄/再現設備940連接到外部裝置或網絡的接口。外部接口 942可以是例如IEEE1394接口、網絡接口、USB接口、閃存接口等。例如，經外部接口942接收的視頻數據和音頻數據被輸入到編碼器943。換句話說，外部接口 942在記錄/再現設備940中用作發(fā)送單元。
[0648]如果從外部接口 942輸入的視頻數據和音頻數據未被編碼，則編碼器943對該視頻數據和音頻數據進行編碼。編碼器943隨后將編碼比特流輸出到選擇器946。
[0649]HDD944將包括壓縮內容數據(諸如，視頻和音頻)的編碼比特流、各種程序和其它數據記錄在內部硬盤上。另外，當再現視頻和音頻時，HDD944從硬盤讀取上述數據。
[0650]盤驅動器945將數據記錄在放置在它里面的記錄介質上并且從放置在它里面的記錄介質讀取數據。放置在盤驅動器945中的記錄介質可以是例如DVD盤(諸如，DVD-視頻、DVD-RAM、DVD-R、DVD-RW、DVD+R 或 DVD+RW)或 Blu_ray (注冊商標)盤。
[0651]當記錄視頻和音頻時，選擇器946選擇從調諧器941或編碼器943輸入的編碼比特流，并且將選擇的編碼比特流輸出到HDD944或盤驅動器945。當再現視頻和音頻時，選擇器946將從HDD944或盤驅動器945輸入的編碼比特流輸出到解碼器947。
[0652]解碼器947對編碼比特流進行解碼以產生視頻數據和音頻數據。解碼器947隨后將產生的視頻數據輸出到0SD948。解碼器904還將產生的音頻數據輸出到外部揚聲器。
[0653]0SD948再現從解碼器947輸入的視頻數據，并且顯示視頻。另外，0SD948還可將⑶I圖像(諸如，菜單、按鈕或光標)疊加在將要顯示的視頻上。
[0654]控制單元949包括處理器(諸如，CPU)和存儲器(諸如，RAM和ROM)。存儲器存儲將要由CPU執(zhí)行的程序、節(jié)目數據等。當例如記錄/再現設備940啟動時，存儲在存儲器中的程序由CPU讀取并且執(zhí)行。CPU根據例如從用戶接口 950輸入的操作信號執(zhí)行程序以控制記錄/再現設備940的操作。
[0655]用戶接口 950連接到控制單元949。用戶接口 950包括例如用于允許用戶操作記錄/再現設備940的按鈕和開關、用于遙控信號的接收單元等。用戶接口 950檢測用戶經上述部件的操作以產生操作信號，并且將產生的操作信號輸出到控制單元949。
[0656]在具有上述結構的記錄/再現設備940中，編碼器943具有根據前面的實施例的圖像編碼裝置10(圖14)的功能。另外，解碼器947具有根據前面的實施例的圖像解碼裝置300(圖22)的功能。因此，記錄/再現設備940能夠抑制縮放列表的編碼的量的增加。
[0657]<第四示例性應用:成像設備>
[0658]圖56表示應用前面的實施例的成像設備的示意性結構的例子。成像設備960捕捉物體的圖像以產生圖像數據，對圖像數據進行編碼，并且將編碼圖像數據記錄在記錄介質上。
[0659]成像設備960包括光學塊961、成像單元962、信號處理單元963、圖像處理單元964、顯示單元965、外部接口 966、存儲器967、介質驅動器968、0SD969、控制單元970、用戶接口 971和總線972。
[0660]光學塊961連接到成像單元962。成像單元962連接到信號處理單元963。顯示單元965連接到圖像處理單元964。用戶接口 971連接到控制單元970?？偩€972用于將圖像處理單元964、外部接口 966、存儲器967、介質驅動器968、0SD969和控制單元970彼此連接。
[0661]光學塊961包括聚焦透鏡、孔徑機構等。光學塊961在成像單元962的成像表面上形成物體的光學圖像。成像單元962包括圖像傳感器(諸如，CCD或CMOS圖像傳感器)，并且通過執(zhí)行光電轉換來將形成在成像表面上的光學圖像轉換成用作電信號的圖像信號。成像單元962隨后將圖像信號輸出到信號處理單元963。
[0662]信號處理單兀963對從成像單兀962輸入的圖像信號執(zhí)行各種照相機信號處理操作，諸如拐點校正、伽馬校正和顏色校正。信號處理單元963將經受了照相機信號處理操作的圖像數據輸出到圖像處理單元964。
[0663]圖像處理單元964對從信號處理單元963輸入的圖像數據進行編碼以產生編碼數據。圖像處理單元964隨后將產生的編碼數據輸出到外部接口 966或介質驅動器968。另夕卜，圖像處理單元964對從外部接口 966或介質驅動器968輸入的編碼數據進行解碼以產生圖像數據。圖像處理單元964隨后將產生的圖像數據輸出到顯示單元965。另外，圖像處理單元964還可將從信號處理單元963輸入的圖像數據輸出到顯示單元965以使得顯示圖像。此外，圖像處理單元964還可將從0SD969獲取的顯示數據疊加在將要被輸出到顯示單元965的圖像上。
[0664]0SD969產生⑶I圖像(諸如，菜單、按鈕或光標)，并且將產生的圖像輸出到圖像處理單元964。
[0665]外部接口 966被形成為例如USB輸入/輸出端子。當打印圖像時，外部接口 966將例如成像設備960連接到打印機。如果必要，則驅動器也連接到外部接口 966?？梢苿咏橘|(諸如，磁盤或光盤)被放置在該驅動器中，并且從可移動介質讀取的程序可被安裝在成像設備960中。另外，外部接口 966還可被形成為網絡接口以連接到網絡(諸如，LAN或互聯(lián)網)。換句話說，外部接口 966在成像設備960中用作發(fā)送單元。
[0666]將要被放置在介質驅動器968中的記錄介質可以是例如任何可讀/可寫的可移動介質，諸如磁盤、磁光盤、光盤或半導體存儲器。替代地，記錄介質可被固定地連接到介質驅動器968，并且可形成內置硬盤驅動器或非便攜式存儲單元，諸如SSD (固態(tài)驅動器)。
[0667]控制單元970包括處理器(諸如，CPU)和存儲器(諸如，RAM和ROM)。存儲器存儲將要由CPU執(zhí)行的程序、節(jié)目數據等。當例如成像設備960啟動時，存儲在存儲器中的程序由CPU讀取并且執(zhí)行。CPU根據例如從用戶接口 971輸入的操作信號執(zhí)行程序以控制成像設備960的操作。
[0668]用戶接口 971連接到控制單元970。用戶接口 971包括例如用于允許用戶操作成像設備960的按鈕、開關等。用戶接口 971檢測用戶經上述部件的操作以產生操作信號，并且將產生的操作信號輸出到控制單元970。
[0669]在具有上述結構的成像設備960中，圖像處理單元964具有根據前面的實施例的圖像編碼裝置10(圖14)的功能和圖像解碼裝置300(圖22)的功能。因此，成像設備960能夠抑制縮放列表的編碼的量的增加。
[0670]<7.可縮放編碼的示例性應用>
[0671]〈第一系統(tǒng)〉
[0672]接下來，將描述已使用可縮放編碼(分層(圖像)編碼)編碼的可縮放編碼數據的使用的特定例子?？煽s放編碼可被用于例如待發(fā)送的數據的選擇，如圖57中示出的例子中所示。
[0673]在圖57中示出的數據發(fā)送系統(tǒng)1000中，分發(fā)服務器1002讀取存儲在可縮放編碼數據存儲單元1001中的可縮放編碼數據，并且經網絡1003將可縮放編碼數據分發(fā)給終端裝置(諸如，個人計算機1004、AV裝置1005、平板裝置1006和移動電話1007)。
[0674]在這種情況下，分發(fā)服務器1002根據終端裝置的性能、通信環(huán)境等選擇具有期望的質量的編碼數據，并且發(fā)送選擇的編碼數據。即使分發(fā)服務器1002發(fā)送具有高于必要水平的質量的數據，終端裝置也可能并不總是獲得高質量圖像，并且可能引起延遲或溢出。另夕卜，這種數據可能占用超過必要水平的通信帶寬，或者可能將終端裝置上的負載增加到超過必要水平。相反地，即使分發(fā)服務器1002發(fā)送具有低于必要水平的質量的數據，終端裝置也可能并不必然獲得具有足夠質量的圖像。因此，分發(fā)服務器1002根據需要讀取存儲在可縮放編碼數據存儲單元1001中的可縮放編碼數據作為具有適合終端裝置的性能、通信環(huán)境等的質量的編碼數據，并且發(fā)送讀取的編碼數據。
[0675]例如，假設可縮放編碼數據存儲單元1001存儲已被執(zhí)行可縮放編碼的可縮放編碼數據(BL+EL) 1011?？煽s放編碼數據(BL+EL) 1011是包括基本層和增強層的編碼數據，并且是被解碼以獲得基本層的圖像和增強層的圖像的數據。
[0676]分發(fā)服務器1002根據發(fā)送數據的終端裝置的性能、通信環(huán)境等選擇合適的層，并且讀取該層的數據。例如，分發(fā)服務器1002從可縮放編碼數據存儲單元1001讀取高質量可縮放編碼數據(BL+EL) 1011，并且將讀取的可縮放編碼數據(BL+EL) 1011按原樣發(fā)送給具有高處理能力的個人計算機1004或平板裝置1006。相比之下，例如，分發(fā)服務器1002從可縮放編碼數據(BL+EL)1011提取基本層的數據，并且將提取的基本層的數據發(fā)送給具有低處理能力的AV裝置1005和移動電話1007，作為具有與可縮放編碼數據(BL+EL) 1011相同的內容但具有比可縮放編碼數據(BL+EL) 1011低的質量的可縮放編碼數據(BL) 1012。
[0677]以這種方式使用可縮放編碼數據方便數據的量的調整，由此抑制延遲或溢出的發(fā)生并且抑制終端裝置或通信介質上的負載的不必要的增加。另外，可縮放編碼數據(BL+EL) 1011具有減少的層之間的冗余，并且因此與具有單獨編碼的各層的數據的數據相比具有更少的量的數據。因此，能夠更高效地使用可縮放編碼數據存儲單元1001的存儲區(qū)域。
[0678]需要注意的是，由于各種裝置(諸如，個人計算機1004、AV裝置1005、平板裝置1006和移動電話1007)能夠被用作終端裝置，所以終端裝置的硬件性能針對每個裝置而不同。另外，由于各種應用可由終端裝置執(zhí)行，所以應用的軟件能力可不同。另外，用作通信介質的網絡1003可被實現為任何通信線路網絡(所述通信線路網絡能夠是有線通信線路網絡、無線通信線路網絡或二者，諸如互聯(lián)網和LAN(局域網))，并且具有各種數據傳輸能力。這種性能和能力可根據其它通信等而不同。
[0679]因此，在數據的發(fā)送開始之前，分發(fā)服務器1002可與數據將要被發(fā)送到的終端裝置通信，并且可獲得關于終端裝置的能力的信息(諸如，終端裝置的硬件性能或由終端裝置執(zhí)行的應用(軟件)的性能)并且還獲得關于通信環(huán)境的信息(諸如，網絡1003的可用帶寬)。另外，分發(fā)服務器1002可基于獲得的信息選擇合適的層。
[0680]需要注意的是，層可由終端裝置提取。例如，個人計算機1004可對發(fā)送的可縮放編碼數據(BL+EL) 1011進行解碼，并且顯示基本層的圖像或增強層的圖像。替代地，例如，個人計算機1004可從發(fā)送的可縮放編碼數據(BL+EL) 1011提取基本層的可縮放編碼數據(BL) 1012，存儲提取的可縮放編碼數據(BL) 1012，將提取的可縮放編碼數據(BL) 1012傳送到另一裝置，或者對提取的可縮放編碼數據(BL) 1012進行解碼以顯示基本層的圖像。
[0681]當然，可縮放編碼數據存儲單元1001的數量、分發(fā)服務器1002的數量、網絡1003的數量和終端裝置的數量是任意的。另外，盡管已給出分發(fā)服務器1002將數據發(fā)送給終端裝置的例子的描述，但使用的例子不限于這個例子。數據發(fā)送系統(tǒng)1000可被用在當將已使用可縮放編碼編碼的編碼數據發(fā)送給終端裝置時根據終端裝置的能力、通信環(huán)境等選擇合適的層的任何系統(tǒng)。
[0682]另外，以類似于以上參照圖49至圖51描述的針對分級編碼和分級解碼的應用的方式，本技術還能夠被應用于上述如圖57中所示的數據發(fā)送系統(tǒng)1000，由此實現與以上參照圖49至圖51描述的優(yōu)點類似的優(yōu)點。
[0683]<第二系統(tǒng)>
[0684]例如，如圖58中示出的例子中所示，可縮放編碼還可被用于經多個通信介質的傳輸。
[0685]在圖58中示出的數據發(fā)送系統(tǒng)1100中，廣播站1101經地面廣播1111發(fā)送基本層的可縮放編碼數據(BL)1121。廣播站1101還經期望的網絡1112(該網絡1112由能夠是有線通信網絡、無線通信網絡或二者的通信網絡形成)發(fā)送(例如，打包并發(fā)送)增強層的可縮放編碼數據(EL) 1122。
[0686]終端裝置1102具有從廣播站1101接收地面廣播1111的功能，并且經地面廣播1111接收基本層的可縮放編碼數據(BL) 1121。終端裝置1102還具有經網絡1112執(zhí)行通信的通信功能，并且接收經網絡1112發(fā)送的增強層的可縮放編碼數據(EL) 1122。
[0687]終端裝置1102根據例如用戶指令等對經地面廣播1111獲取的基本層的可縮放編碼數據(BL) 1121進行解碼以獲得基本層的圖像，存儲可縮放編碼數據(BL) 1121，或者將可縮放編碼數據(BL) 1121傳送到另一裝置。
[0688]另外，終端裝置1102根據例如用戶指令等組合經地面廣播1111獲取的基本層的可縮放編碼數據(BL) 1121與經網絡1112獲取的增強層的可縮放編碼數據(EL) 1122，以獲得可縮放編碼數據(BL+EL)，并且對可縮放編碼數據(BL+EL)進行解碼以獲得增強層的圖像，存儲可縮放編碼數據(BL+EL)，或者將可縮放編碼數據(BL+EL)傳送到另一裝置。
[0689]如上所述，能夠經例如針對每個層而不同的通信介質傳輸可縮放編碼數據。因此，能夠分配負載，并且能夠防止發(fā)生延遲或溢出。
[0690]此外，可根據情況針對每個層選擇將要用于傳輸的通信介質。例如，可經具有大帶寬的通信介質傳輸具有相對較大的量的數據的基本層的可縮放編碼數據(BL) 1121，并且可經具有窄帶寬的通信介質傳輸具有相對較小的量的數據的增強層的可縮放編碼數據(EL) 1122。替代地，例如，用于傳輸增強層的可縮放編碼數據(EL) 1122的通信介質可根據網絡1112的可用帶寬在網絡1112和地面廣播1111之間切換。自然，以上情況類似地應用于任意層的數據。
[0691]以上述方式進行的控制能夠進一步抑制數據傳輸的負載的增加。
[0692]當然，層的數量是任意的，并且用于傳輸的通信介質的數量也是任意的。另外，數據將要被分發(fā)到的終端裝置1102的數量也是任意的。另外，盡管已作為例子在從廣播站1101廣播的情況下給出描述，但使用的例子不限于這個例子。數據發(fā)送系統(tǒng)1100可被用在以層為單位將使用可縮放編碼編碼的數據劃分為多個段并且經多個線路傳輸數據段的任何系統(tǒng)中。
[0693]另外，以類似于以上參照圖49至圖51描述的針對分級編碼和分級解碼的應用的方式，本技術還能夠被應用于上述如圖58中所示的數據發(fā)送系統(tǒng)1100，由此實現與以上參照圖49至圖51描述的優(yōu)點類似的優(yōu)點。
[0694]<第三系統(tǒng)>
[0695]例如，如圖59中示出的例子中所示，可縮放編碼還可被用于編碼數據的存儲。
[0696]在圖59中示出的成像系統(tǒng)1200中，成像設備1201對通過捕捉物體1211的圖像而獲得的圖像數據執(zhí)行可縮放編碼，并且將所獲得的數據提供給可縮放編碼數據存儲裝置1202作為可縮放編碼數據(BL+EL) 1221。
[0697]可縮放編碼數據存儲裝置1202以與情況對應的質量存儲從成像設備1201提供的可縮放編碼數據(BL+EL)1221。例如，在正常時間中，可縮放編碼數據存儲裝置1202從可縮放編碼數據(BL+EL) 1221提取基本層的數據，并且存儲提取的基本層的數據作為具有低質量和少量數據的基本層的可縮放編碼數據(BL) 1222。相比之下，例如，在關注時間中，可縮放編碼數據存儲裝置1202按原樣存儲具有高質量和大量數據的可縮放編碼數據(BL+EL)1221。
[0698]因此，可縮放編碼數據存儲裝置1202能夠僅在必要時以高質量保存圖像。這能夠在抑制由于質量的降低導致的圖像的價值的降低的同時抑制數據的量的增加，并且能夠提高存儲區(qū)域的使用效率。
[0699]例如，假設成像設備1201是安全照相機。如果待監(jiān)視的物體(例如，侵入者)未出現在捕捉圖像中(正常時間)，則捕捉圖像可能不具有重要的內容。因此，優(yōu)先考慮數據的量的減少，并且圖像的圖像數據(可縮放編碼數據)被以低質量存儲。相比之下，如果待監(jiān)視的物體作為物體1211出現在捕捉圖像中(關注時間)，則捕捉圖像可能具有重要的內容。因此，優(yōu)先考慮圖像質量，并且圖像的圖像數據(可縮放編碼數據)被以高質量存儲。
[0700]需要注意的是，正常時間或關注時間可由例如可縮放編碼數據存儲裝置1202通過分析圖像來確定。替代地，成像設備1201可確定正常時間或關注時間，并且可將確定結果發(fā)送給可縮放編碼數據存儲裝置1202。
[0701]需要注意的是，正常時間或關注時間的確定可基于任意標準，并且該確定所基于的圖像可具有任何內容。當然，除圖像的內容之外的條件可被用作確定標準。狀態(tài)可根據例如記錄的音頻的大小、波形等而改變，或者可按照預定時間段的間隔改變。替代地，狀態(tài)可根據外部指令(諸如，用戶指令)改變。
[0702]另外，盡管已給出在兩個狀態(tài)(即，正常時間和關注時間)之間改變的例子的描述，但狀態(tài)的數量是任意的，并且可在超過兩個狀態(tài)(諸如，正常時間、關注時間、更加關注時間和嚴重關注時間)之間執(zhí)行狀態(tài)改變。需要注意的是，將要改變的狀態(tài)的上限數量取決于可縮放編碼數據的層的數量。
[0703]此外，成像設備1201可被構造為根據狀態(tài)確定可縮放編碼的層的數量。例如，在正常時間中，成像設備1201可產生具有低質量和少量數據的基本層的可縮放編碼數據(BL) 1222，并且將產生的可縮放編碼數據(BL) 1222提供給可縮放編碼數據存儲裝置1202。另外，例如，在關注時間中，成像設備1201可產生具有高質量和大量數據的基本層的可縮放編碼數據(BL+EL) 1221，并且將產生的可縮放編碼數據(BL+EL) 1221提供給可縮放編碼數據存儲裝置1202。
[0704]盡管安全照相機已被描述為例子，但成像系統(tǒng)1200可被用在任何應用中，并且可被用在除安全照相機之外的應用中。
[0705]另外，以類似于以上參照圖49至圖51描述的針對分級編碼和分級解碼的應用的方式，本技術還能夠被應用于上述圖59中示出的成像系統(tǒng)1200，由此實現與以上參照圖49至圖51描述的優(yōu)點類似的優(yōu)點。
[0706]需要注意的是，本技術還能夠被應用于HTTP流傳輸，諸如MPEG DASH，其中從預先準備并且具有不同分辨率的多條編碼數據之中選擇合適的編碼數據并且以段為單位使用選擇的合適的編碼數據。換句話說，也能夠在多條編碼數據之間共享關于編碼和解碼的信肩、O
[0707]理所當然地，應用本技術的圖像編碼裝置和圖像解碼裝置還能夠被應用于除上述設備之外的設備或系統(tǒng)。
[0708]需要注意的是，這里已描述這樣的例子:量化矩陣(或用于形成量化矩陣的系數)被從編碼側發(fā)送到解碼側。用于發(fā)送量化矩陣的技術可以是:發(fā)送或記錄量化矩陣作為與編碼比特流關聯(lián)的分開的數據，而不將量化參數復用到編碼比特流中。如這里所使用，術語“關聯(lián)”表示:當比特流中所包括的圖像(該圖像可以是圖像的一部分，諸如片或塊)被解碼時，允許該圖像鏈接到與該圖像對應的信息。也就是說，可在與圖像(或比特流)的傳輸路徑不同的傳輸路徑上傳輸該信息。另外，該信息可被記錄在與圖像(或比特流)的記錄介質不同的記錄介質上(或記錄在同一記錄介質的不同記錄區(qū)域中)。此外，信息和圖像(或比特流)可按照任意單位彼此關聯(lián)，諸如多個幀、一個幀或幀的一部分。
[0709]圖像處理方法。
[0710]標號列表
[0711]10圖像編碼裝置，14正交變換/量化單元，16無損編碼單元，150矩陣處理單元，192 DPCM單元，211 DC系數編碼單元，212 AC系數DPCM單元，300圖像解碼裝置，312無損解碼單元，313去量化/逆正交變換單元，410矩陣產生單元，552逆DPCM單元，571初始設置單元，572 DPCM解碼單元，573 DC系數提取單元，611 AC系數緩沖器，612 AC系數編碼單元，613 AC系數DPCM單元，614 DC系數DPCM單元，621初始設置單元，622 AC系數DPCM解碼單元，623 AC系數緩沖器，624 DC系數DPCM解碼單元，631 AC系數DPCM單元，632DC系數緩沖器，633 DC系數DPCM單元，641初始設置單元，642 AC系數DPCM解碼單元，643DC系數DPCM解碼單元
【權利要求】
1.一種圖像處理裝置，包括: 編碼單元，其被配置為對圖像編碼以產生編碼數據；以及 設置單元，其被配置為將以下語法設置為由編碼單元所產生的編碼數據的語法:該語法的語義被設置為使得在當使用量化矩陣被復制的復制模式時，識別量化矩陣的參考目的地的量化矩陣參考數據與識別量化矩陣的量化矩陣識別數據匹配的情況下，參考具有與作為執(zhí)行量化時的處理單位的塊尺寸相同的尺寸的默認量化矩陣。
2.根據權利要求1所述的圖像處理裝置，其中， 設置單元將以下語法設置為由編碼單元所產生的編碼數據的語法:該語法的語義被設置為使得當量化矩陣參考數據與量化矩陣識別數據之間的差等于O時，參考默認量化矩陣。
3.根據權利要求1所述的圖像處理裝置，其中， 作為執(zhí)行編碼處理時的處理單位的編碼單位以及作為執(zhí)行變換處理時的處理單位的變換單位具有分層結構，并且 編碼單元使用具有分層結構的單位來執(zhí)行編碼。
4.根據權利要求1所述的圖像處理裝置，還包括: 發(fā)送單元，其被配置為發(fā)送量化矩陣，該量化矩陣被用來將尺寸被限制為不大于作為發(fā)送中允許的最大尺寸的發(fā)送尺寸的量化矩陣上轉換到作為執(zhí)行去量化時的處理單位的變換單位的尺寸。
5.根據權利要求4所述的圖像處理裝置，其中， 發(fā)送尺寸是8X8，并且 變換單位的尺寸是16X16尺寸。
6.根據權利要求4所述的圖像處理裝置，其中， 發(fā)送尺寸是8X8，并且 變換單位的尺寸是32 X 32尺寸。
7.一種圖像處理方法，包括: 編碼圖像以產生編碼數據；以及 將以下語法設置為所產生的編碼數據的語法:該語法的語義被設置為使得當在量化矩陣被復制的復制模式中，識別量化矩陣的參考目的地的量化矩陣參考數據與識別量化矩陣的量化矩陣識別數據匹配時，參考具有與作為執(zhí)行量化時的處理單位的塊尺寸相同的尺寸的默認量化矩陣。
【文檔編號】H04N19/126GK104137552SQ201380010485
【公開日】2014年11月5日 申請日期:2013年2月28日 優(yōu)先權日:2012年2月29日
【發(fā)明者】田中潤一, 森上義崇 申請人:索尼公司