圖像解碼方法及圖像解碼裝置制造方法
【專利摘要】在為了提供降低代碼量的圖像編碼技術而將多個分辨率的層編碼到一個流中的編碼裝置中，關于各層的編碼單位、預測單位、頻率變換單位，分別按照一定的規(guī)則，參照下位層的編碼單位、預測單位、頻率變換單位決定該層的各單位，通過將決定的規(guī)則按照標志切換，進行適應性且有效率的運動圖像的壓縮。
【專利說明】
圖像解碼方法及圖像解碼裝置

【技術領域】
[0001]本發(fā)明涉及將圖像編碼的圖像編碼方法、圖像編碼裝置、將編碼圖像數(shù)據(jù)解碼的圖像解碼方法、圖像解碼裝置及編碼圖像數(shù)據(jù)。

【背景技術】
[0002]圖像編碼標準中有 H.264/AVC (Advanced Video Coding)。IS0/IEC MPEG和 ITU —T VCEG 為了實現(xiàn)超過它的壓縮率而設立 JCT — VC(Joint Collaborative Team on VideoCoding),開始了稱作 HEVC (High Efficiency Video Coding)的下一代方式的研究。
[0003]將編碼后的圖像解碼、再現(xiàn)的終端中有能夠以高分辨率再現(xiàn)的終端、僅能夠以低分辨率再現(xiàn)的終端等多種終端，所以需要通過從I個編碼流局部地取出數(shù)據(jù)而根據(jù)需要能夠再現(xiàn)多個分辨率的可伸縮擴展編碼方式。作為H.264/AVC的可伸縮擴展，SVC(ScalableVideo Coding)已被標準化。
[0004]在包括H.264/AVC及SVC、MPEG — 2的目前為止的圖像編碼標準中，作為進行編碼的單位的宏塊是固定尺寸。
[0005]在當前制定中的HEVC中，研究了使在H264AVC之前被固定化的塊尺寸可變的方案。具體而言，針對進行編碼的單位⑶(Coding Unit)，將塊尺寸進行樹構造管理，以使一邊的像素數(shù)成為2的冪乘，并以任意的層級的塊尺寸進行編碼、解碼(非專利文獻I)。
[0006]現(xiàn)有技術文獻
[0007]非專利文獻
[0008]非專利文獻1:T.Wiegand, ff.Han, B.Bross, J.0hm and G.Sullivan, p.39 ?p.40“7.3.6 Coding unit syntax，，,p.63 ?p.64“7.4.6 Coding unit semantics，，〃WorkingDraft 3 of High — Efficiency Video Coding",Doc.JCTVC — E603, Joint CollaborativeTeam on Video Coding(JCT — VC), March 2011.發(fā)明概要
[0009]發(fā)明要解決的問題
[0010]在圖像編碼方式中，有編碼的單位是固定尺寸的方式、和尺寸根據(jù)圖像的位置而不同的方式。在包含尺寸不同者的編碼方式中，關于怎樣進行可伸縮擴展還沒有研究。因此，不能進行有有效率的壓縮。
[0011]此外，不僅是⑶，關于作為預測單位的!^(Predict1n Unit)、作為頻率變換單位的TU(Transform Unit)也沒有研究記述方法。因此，有不能進行有效率的壓縮的問題。
[0012]此外，關于基礎層為H.264/AVC或MPEG — 2那樣的固定尺寸的宏塊、擴展層為HEVC那樣的尺寸不同的CU的情況，也沒有研究記述方法。因此，有不能進行有效率的壓縮的問題。
[0013]


【發(fā)明內容】

[0014]這樣，本發(fā)明的目的是提供一種在包含尺寸不同的編碼單位的編碼方式中，通過使層間的對應關系變明確，來應對可伸縮擴展的具有高編碼效率的圖像編碼技術、圖像解碼技術。
[0015]用于解決問題的手段
[0016]本申請包含各種用于解決上述問題的方案，舉出其中之一如下。
[0017]一種圖像解碼方法，將對圖像進行編碼而得到的編碼流解碼，其特征在于，通過將該編碼流的一部分取出，能夠解碼多個分辨率的圖像；該圖像解碼方法具有以下步驟:在各層中將編碼的單位CU的分割方法解碼的步驟；將預測單位的分割方法解碼的步驟；以及將頻率變換單位TU的分割方法解碼的步驟；在將上述某個層I的CU解碼的步驟中，參照別的層O的CU分割方法，按照一定的規(guī)則計算CU分割方法；在將上述某個層I的解碼的步驟中，參照相同的層I的CU分割方法和別的層O的PU分割方法，按照一定的規(guī)則計算PU分割方法；在將上述某個層I的TU解碼的步驟中，參照相同的層I的CU分割方法和別的層O的TU分割方法，按照一定的規(guī)則計算TU分割方法；根據(jù)標志判別上述一定的規(guī)則。
[0018]發(fā)明效果
[0019]根據(jù)本發(fā)明，能夠提高具有可伸縮擴展功能的編碼方式的編碼效率。

【專利附圖】

【附圖說明】
[0020]圖1是有關實施例1的圖像編碼裝置的框圖。
[0021]圖2是有關實施例1的圖像解碼裝置的框圖。
[0022]圖3是有關實施例1的編碼單位的說明圖。
[0023]圖4是有關實施例1的編碼單位的說明圖。
[0024]圖5是在有關實施例1的圖像編碼裝置中使用的圖像編碼流程圖。
[0025]圖6是在有關實施例1的圖像編碼裝置中使用的圖像編碼流程圖。
[0026]圖7是有關實施例1的圖像解碼方法的流程圖。
[0027]圖8是有關實施例1的數(shù)據(jù)記錄介質的說明圖。

【具體實施方式】
[0028]以下，參照【專利附圖】

【附圖說明】實施例。
[0029]此外，在各圖中，帶有相同的標號的構成要素具有相同的功能。
[0030]此外，本說明書的各記載及各圖面中的“宏塊”，表示以往的編碼方式中的固定尺寸的編碼單位，“⑶”表示作為能夠選擇多個尺寸的編碼單位的Coding Unit?！癙U”表示作為能夠選擇多個尺寸的預測單位的Predict1n Unit。“TU”表示作為能夠選擇多個尺寸的頻率變換單位的Transform Unit。
[0031 ] 此外，本說明書的各記載及各圖中的“與標志一起傳送”的表現(xiàn)，也包括“包含在標志中傳送”的意思。
[0032]此外，本說明書的各記載及各圖中的“編碼模式”的表現(xiàn)，包括層內預測/層間預測的類別與所采用的塊尺寸的組合。
[0033]此外，本說明書的各記載及各圖中的“預測模式信息”的表現(xiàn)，意味著包括作為是分割方法(CU、PU)或MB這一部分、和編碼模式的信息，進而在MB的情況下包含宏塊內的預測塊尺寸的信息。
[0034]此外，本說明書的各記載及各圖中的“變換模式信息”的表現(xiàn)，意味著包括作為是分割方法(CU、TU)和MB這一部分、以及編碼模式的信息。
[0035]此外，本說明書的各記載及各圖中的“單元信息”的表現(xiàn)，意味著包括作為是分割方法(CU、PU、TU)或MB這一部分、和編碼模式的信息，進而在MB的情況下包括宏塊內的預測塊尺寸的信息。
[0036]此外，本說明書的各記載及各圖中的“可伸縮擴展”的表現(xiàn)，作為意味著對于能夠單獨解碼的下位層追加擴展分辨率的上位層的方式的表現(xiàn)來進行說明。但是，也能夠應用于對下位層追加分辨率相同但改善了 SN比的上位層的數(shù)據(jù)的SNR可伸縮擴展、及追加增加層數(shù)的上位層的層速率可伸縮擴展，也包含這些意思。
[0037][實施例1]
[0038]首先，參照附圖對實施例1進行說明。在圖1中表示有關實施例1的圖像編碼裝置的框圖。以下表示能夠將輸入圖像以3個不同的分辨率編碼的例子。從分辨率低的層起設為層O、層1、層2，將低的層設為下位層，將高的層設為上位層。將作為分辨率最低的最下位層的層O稱作基礎層。將其以外稱作擴展層。
[0039]圖像編碼裝置具備分辨率變換部101、層O單元信息計算部102、層I單元信息計算部103、層2單元信息計算部104、層O⑶計算部105、層OPU計算部106、層OTU計算部107、層ICU計算部108、層II3U計算部109、層ITU計算部110、層2(^計算部111、層2PU計算部112、層2TU計算部113、層O層內.層間預測部114、層O變換.量化部115、層O編碼處理部116、層I層內.層間預測部117、層I變換.量化部118、層I編碼處理部119、層2層內.層間預測部120、層2變換.量化部121、層2編碼處理部122、復用部123、數(shù)據(jù)輸出部 124。
[0040]以下，詳細地說明圖像編碼裝置的各構成要素的動作。
[0041]另外，圖像編碼裝置的各構成要素的動作例如也可以如以下的記載那樣為各構成要素的自律性的動作。此外，也可以通過由計算機的控制部與計算機的存儲部所存儲的軟件協(xié)同來實現(xiàn)。
[0042]首先，分辨率變換部101將輸入圖像變換為多個分辨率，分別作為不同層向各層的單元信息計算部發(fā)送。例如在以3個分辨率進行編碼的情況下，只要將與輸入圖像相同的分辨率設為層2、將變換為縱橫一半的分辨率的分辨率設為層1、將變換為縱橫各自4分之I的分辨率的分辨率設為層O、將層O作為基礎層就可以。在分辨率變換中使用一般的采樣濾波器就可以。
[0043]接著，對各層的編碼方法進行說明。
[0044]首先，進行作為基礎層的層O的編碼。基礎層的編碼方式包括使用HEVC那樣的能夠選擇多個尺寸的CU進行編碼的情況、和使用H.264/AVC或MPEG — 2那樣的編碼單位為固定尺寸的宏塊進行編碼的情況。以下，將使用CU的情況設為“CU情形”，將使用宏塊的情況設為“MB情形”。
[0045]層O單元信息計算部102決定是“⑶情形”還是“MB情形”，輸出層O的圖像和“單元信息”。
[0046]“單元信息”在“⑶情形”的情況下，是⑶的分割方法、PU的分割方法、TU的分割方法這3個分割方法和編碼模式，在“MB情形”的情況下，是宏塊內的預測塊尺寸和編碼模式。
[0047]層O⑶計算部105決定層O的⑶的分割方法。在⑶中，與已有的方式同樣以使圖像整體的編碼效率變高的方式進行最優(yōu)化，決定分割方法。在MB中以固定尺寸分割。
[0048]層OPU計算部106決定層O的PU的分割方法。在⑶中，PU的分割參照⑶的分割結果進行。在CU中，以使圖像整體的編碼效率變高的方式進行最優(yōu)化，決定分割方法和預測模式。在MB情形下也同樣，以使圖像整體的編碼效率變高的方式進行最優(yōu)化，決定宏塊內的預測塊尺寸和預測模式。
[0049]層OTU計算部107決定層O的TU的分割方法。TU的分割參照⑶的分割結果進行。在CU中，以使圖像整體的編碼效率變高的方式進行最優(yōu)化，決定分割方法、變換方式。在MB情形下使用固定尺寸的變換方式。
[0050]這樣，層O單元信息計算部102將層O的分辨率的圖像和單元信息向層O層內?層間預測部114發(fā)送，并向層I的同計算部發(fā)送決定結果。此時，單元信息變換為預先決定的
O
[0051]接著，基于層O的單元信息進行層O的分辨率的圖像的編碼。
[0052]在層O層內?層間預測部114中，按照單元信息中的CU分割方法、分割方法、預測模式進行層內預測或層間預測。這些預測模式使用已有的方法。將預測模式信息向層O編碼處理部116發(fā)送，將預測后的殘差成分和單元信息中的⑶分割方法及TU分割方法向層O變換.量化部115發(fā)送。
[0053]在層O變換.量化部115中，按照單元信息中的CU分割方法、TU分割方法進行頻率變換和量化。這些處理方法使用已有的方法。將量化后的系數(shù)信息向層O編碼處理部116發(fā)送。
[0054]層O編碼處理部116進行預測模式信息和系數(shù)信息的熵編碼，將編碼數(shù)據(jù)向復用部123輸出。
[0055]此外，根據(jù)需要而進行逆量化、逆頻率變換，將參照用圖像數(shù)據(jù)復原，向層O層內.層間預測部114發(fā)送。這些處理方法使用已有的方法。
[0056]接著層O的編碼，進行具有上一位的分辨率的層I的編碼。
[0057]層I單元信息計算部103決定層I的⑶的分割方法、PU的分割方法、TU的分割方法這3個分割方法和編碼模式。在層I以上的擴展層中，使用HEVC那樣的編碼單位的尺寸不同的CU進行編碼。
[0058]層I⑶計算部108決定層I的⑶的分割方法。此時，從作為下一位的層的層O的⑶計算部105參照⑶分割方法，按照一定的規(guī)則決定⑶分割方法。也可以與層O獨立地進行CU分割。在此情況下，基本上按照規(guī)則，通過例外地插入標志而進行部分地與規(guī)則不同的分割。以使圖像整體的編碼效率變高的方式進行最優(yōu)化來決定分割方法。關于參照下位層時的CU分割方法的規(guī)則在后面敘述。
[0059]層IPU計算部109決定層I的PU的分割方法和預測模式。的分割參照層I的CU的分割結果和層O的PU的分割結果進行。但是，也可以通過僅參照層I的CU的分割結果和層O的PU分割方法中的一方的方法，按照與這些結果獨立的規(guī)則來決定分割方法?；旧习凑找?guī)則，通過插入標志進行部分地與規(guī)則不同的分割。以使圖像整體的編碼效率變高的方式進行最優(yōu)化來決定分割方法、預測模式。關于分割方法的規(guī)則在后面敘述。
[0060]層ITU計算部110決定層I的TU的分割方法、變換方法。TU的分割參照層I的CU的分割結果和層O的TU的分割結果進行。但是，也可以通過僅參照層I的CU的分割結果和層O的TU分割方法中的一方的方法，按照與這些結果獨立的規(guī)則來決定分割方法。在此情況下，基本上按照規(guī)則，通過插入標志進行部分地與規(guī)則不同的分割。以使圖像整體的編碼效率變高的方式進行最優(yōu)化來決定分割方法、變換方法。關于分割方法的規(guī)則在后面敘述。
[0061]這樣，層I單元信息計算部103將層I的分辨率的圖像和單元信息向層I層內?層間預測部117發(fā)送，并向層2的單元信息計算部發(fā)送決定結果。此時，單元信息被變換為預先決定的標志。
[0062]接著，基于層I的單元信息進行層I的編碼。
[0063]在層I層內.層間預測部117中，按照單元信息中的⑶分割方法、PU分割方法、預測模式進行層內預測或層間預測。此時，通過層間預測，還參照作為下位層的層O的解碼圖像、在通過分辨率變換進行了調整時處于相同位置的部位的預測模式。關于這些預測方法使用已有的方法。將預測模式信息向層I編碼處理部119發(fā)送，將預測后的殘差成分和單元信息中的CU分割方法及TU分割方法向層I變換.量化部118發(fā)送。
[0064]在層I變換.量化部118中，按照單元信息中的CU分割方法、TU分割方法進行頻率變換和量化。這些處理方法使用已有的方法。將量化后的系數(shù)信息向層I編碼處理部119發(fā)送。
[0065]層I編碼處理部119進行預測模式信息和系數(shù)信息的熵編碼，將編碼數(shù)據(jù)向復用部123輸出。
[0066]此外，根據(jù)需要進行逆量化、逆頻率變換，將參照用圖像數(shù)據(jù)復原，向層I層內?層間預測部117發(fā)送。這些處理方法使用已有的方法。
[0067]接著層I的編碼，進行具有上一位的分辨率的層2的編碼。
[0068]層2單元信息計算部104進行層2的⑶的分割方法、PU的分割方法、TU的分割方法這3個分割方法、編碼模式的決定。在層I以上的擴展層中，使用HEVC那樣的編碼單位的尺寸不同的CU進行編碼。
[0069]層2CU計算部111決定層2的⑶的分割方法。此時，從作為下一位的層的層I的⑶計算部108參照⑶分割方法，按照一定的規(guī)則決定⑶分割方法。也可以與層I獨立地進行CU分割。在此情況下，基本上按照規(guī)則，通過例外地插入標志來進行部分地與規(guī)則不同的分割。以使圖像整體的編碼效率變高的方式進行最優(yōu)化來決定分割方法。關于參照下位層時的CU分割方法的規(guī)則在后面敘述。
[0070]層2PU計算部112決定層2的PU的分割方法和預測模式。I3U的分割參照層2的CU的分割結果和層I的的分割結果進行。但是，也可以通過僅參照層I的CU的分割結果和層O的PU分割方法中的一方的方法，按照與這些結果獨立的規(guī)則來決定分割方法。在此情況下，基本上按照規(guī)則，通過插入標志而進行部分地與規(guī)則不同的分割。以使圖像整體的編碼效率變高的方式進行最優(yōu)化來決定分割方法、預測模式。關于分割方法的規(guī)則在后面敘述。
[0071]層2TU計算部113決定層2的TU的分割方法、變換方法。TU的分割參照層2的CU的分割結果和層I的TU的分割結果進行。但是，也可以通過僅參照層I的CU的分割結果和層O的TU分割方法中的一方的方法，按照與這些結果獨立的規(guī)則來決定分割方法。基本上按照規(guī)則，通過插入標志而進行部分地與規(guī)則不同的分割。以使圖像整體的編碼效率變高的方式進行最優(yōu)化來決定分割方法、變換方法。關于分割方法的規(guī)則在后面敘述。
[0072]這樣，層2單元信息計算部111將層2的分辨率的圖像和單元信息向層2層內?層間預測部120發(fā)送。此時，單元信息被變換為預先決定的標志。
[0073]接著，基于層2的單元信息進行層2的編碼。
[0074]在層2層內.層間預測部120中，按照單元信息中的⑶分割方法、PU分割方法、預測模式進行層內預測或層間預測。此時，通過層間預測，還參照作為下位層的層I的解碼圖像、通過分辨率變換進行了調整時處于相同位置的部位的預測模式。這些預測方法只要使用已有的方法就可以。將預測模式信息向層2編碼處理部122發(fā)送，將預測后的殘差成分和單元信息中的CU分割方法及TU分割方法向層2變換.量化部121發(fā)送。
[0075]在層2變換.量化部121中，按照單元信息中的CU分割方法、TU分割方法進行頻率變換和量化。這些處理方法使用已有的方法。將量化后的系數(shù)信息向層2編碼處理部122發(fā)送。
[0076]層2編碼處理部122進行預測模式信息和系數(shù)信息的熵編碼，將編碼數(shù)據(jù)向復用部123輸出。此外，根據(jù)需要進行逆量化、逆頻率變換，將參照用圖像數(shù)據(jù)復原，向層2層內.層間預測部120發(fā)送。這些處理方法使用已有的方法。
[0077]復用部123將編碼后的層O、層1、層2的數(shù)據(jù)復用到一個流中。關于數(shù)據(jù)的包化的方法、索引、標志的設定方法、復用方法，只要使用已有的方法就可以。最后，數(shù)據(jù)輸出部124輸出復用后的流數(shù)據(jù)。
[0078]接著，使用圖3，對根據(jù)下位層的⑶、PU、TU的分割方法計算上位層的⑶、PU、TU的分割方法的規(guī)則進行說明。以下以CU為例進行說明。
[0079]假設基礎層的⑶如301那樣被分割。分割方法假設為通過四叉樹等以樹狀管理、記錄的方法。這里，當記述分辨率在縱橫分別為2倍的擴展層的分割方法時，只要決定302那樣的分割方法的規(guī)則、將其通過標志等指定就可以。302的分割方法中將基礎層的CU按照分辨率比擴大，對于超過⑶的最大尺寸的地方，設為最大尺寸。由此，能夠不另外傳送⑶的分割信息，而進行遵循基礎層的分割方法的擴展層的分割。只要將分割后的CU的信息通過四叉樹等以樹狀管理就可以。
[0080]接著，作為另一例，對將擴展層如303那樣分割的規(guī)則進行說明。303的分割方法中在擴展層的各位置按照分辨率比、參照基礎層的CU、使用與基礎層相同的CU尺寸。因而，擴展層的CU的數(shù)量變得比基礎層多。通過該方法也同樣，能夠不另外傳送CU的分割信息，而進行遵循基礎層的分割方法的擴展層的分割。分割出的CU的信息只要通過四叉樹等以樹狀管理就可以。
[0081]接著，使用圖4，說明在基礎層被用H.264/AVC或MPEG — 2那樣的固定尺寸的宏塊和預測模式編碼、擴展層使用如HEVC那樣能夠選擇多個尺寸的“CU”和“PU”的情況下計算擴展層的分割方法的規(guī)則。
[0082]假設基礎層如401那樣被用固定尺寸的宏塊編碼，預測的單位由各宏塊的預測模式規(guī)定。這里，在記述分辨率在縱橫分別為2倍的擴展層的分割方法時，只要設定402那樣的分割方法的規(guī)則、將其通過標志等指定就可以。402的分割方法中將基礎層的宏塊按照分辨率比擴大而作為⑶。關于超過⑶的最大尺寸的地方，只要設定為最大尺寸就可以。此夕卜，關于PU，只要將由預測模式指定的尺寸按照分辨率比擴大而設為PU就可以。由此，能夠不另外傳送CU及PU的分割信息，而進行遵循基礎層的分割方法的擴展層的分割。分割的CU的信息只要通過四叉樹等以樹狀管理就可以。
[0083]接著，作為另一例，對將擴展層如403那樣分割的規(guī)則進行說明。403的分割方法中在擴展層的各位置按照分辨率比參照基礎層的宏塊、使用與宏塊相同的CU尺寸。關于PU，既可以使用與在基礎層的預測模式中指定的尺寸相同的尺寸，也可以與擴展層的CU尺寸匹配。通過該方法也同樣，能夠不另外傳送CU及PU的分割信息，而進行遵循基礎層的分割方法的擴展層的分割。分割的CU的信息只要通過四叉樹等以樹狀管理就可以。
[0084]在從擴展層參照基礎層的單元的情況下，只要按照分辨率比參照處于相同位置的單元的信息就可以。在上述中以CU為例進行了說明，但在及TU中也能夠應用同樣的規(guī)貝U。此外，在上述例子中，分割后的單元全部為正方形，但也可以通過用PU_MERGE等的方法按每個單元與周邊的單元合并，來進行長方形等正方形以外的分割。也可以以上述為基本規(guī)則，通過插入標志等，而部分地使用別的分割方法。
[0085]在擴展層和基礎層中，也可以預先指定CU、PU、TU的可使用的尺寸，將它們通過標志切換。也可以是，不僅是尺寸，而且在各層中指定可使用的編碼模式，通過標志來切換。例如，在分辨率低的圖像和分辨率高的圖像中，有效果高的編碼模式或CU、PU、TU的尺寸不同的情況。因而，只要根據(jù)分辨率預先決定它們的數(shù)量、圖案(pattern)，就能夠進行有效率的編碼。
[0086]CU、PU、TU所遵循的規(guī)則既可以分別不同，也可以相同。也可以根據(jù)標志來判定使其統(tǒng)一還是不同。
[0087]也可以根據(jù)在各層中編碼的圖片類型，例如I圖片、P圖片、B圖片等，來切換所使用的分割方法、上述規(guī)則。
[0088]上述那樣的可伸縮擴展也能夠應用于多視點圖像的編碼。在此情況下，將要擴展的層在分辨率方向和視點(視角)方向上2維地配置。因而，在多視點圖像中的應用中，也可以對分辨率方向和視點方向使用分別不同的分割方法、規(guī)則。
[0089]接著，使用圖5，對在圖像編碼裝置中使用的圖像編碼流程進行說明。
[0090]首先，步驟501從原圖像制作多個分辨率圖像。將制作出的圖像分別作為不同層編碼。例如在以3個分辨率進行編碼的情況下，只要將與輸入圖像相同的分辨率設為層2、將變換為縱橫一半的分辨率的分辨率設為層1、將變換為縱橫各自的4分之I的分辨率的分辨率設為層O、將層O作為基礎層就可以。在分辨率變換中只要使用一般的采樣濾波器就可以。
[0091]接著進行各層的編碼。以下，說明基礎層和擴展層都使用如HEVC那樣能夠選擇多個尺寸的“CU”編碼的情況。
[0092]步驟502判定處理對象層是否是基礎層。如果是基礎層，則向步驟503前進，如果是其以外，則向步驟504前進。
[0093]在步驟503?505中，進行基礎層的編碼。
[0094]在步驟503中，決定⑶、PU、TU的分割方法。分割方法只要如上述那樣以使圖像整體的編碼效率變高的方式進行最優(yōu)化來決定就可以。
[0095]在步驟504中，將⑶、PU、TU作為樹構造編碼。
[0096]在步驟505中，進行預測、變換、量化、熵編碼及局部(local)解碼處理。這些只要使用已有的編碼方法就可以。
[0097]在步驟511中，進行編碼后的層的數(shù)據(jù)的緩沖，在其他層被編碼后，通過包化處理進行復用，輸出復用后的編碼流。
[0098]在步驟512中，判定是否處理了全部的層，如果已處理了全部的層則結束，如果還有尚未編碼的層則回到步驟502進行其他層的處理。
[0099]在步驟506?510中，進行擴展層的編碼。
[0100]在步驟506中，判斷將⑶、PU、TU的分割方法按照下位層的規(guī)則決定、還是獨立地決定。在按照規(guī)則決定的情況下向步驟507前進，在獨立決定的情況下向步驟508前進。
[0101]在步驟507中，參照下位層，按照規(guī)則決定⑶、PU、TU的分割方法。分割方法的規(guī)則如上所述。
[0102]在步驟508中，與下位層獨立地決定CU、PU、TU的分割方法。
[0103]在步驟509中，將⑶、PU、TU作為樹構造編碼。
[0104]在步驟510中，進行預測、變換、量化、熵編碼及局部解碼處理。這些只要使用已有的編碼方法就可以。
[0105]在擴展層的編碼后也同樣進行步驟511、512的處理。
[0106]通過上述過程，進行與多個分辨率適應的圖像編碼。
[0107]接著，使用圖6，對在圖像編碼裝置中使用的其他圖像編碼流程進行說明。
[0108]首先，步驟601從原圖像制作多個分辨率圖像。將制作出的圖像分別作為不同的層編碼。分辨率變換方法如上所述。
[0109]接著，進行各層的編碼。以下，說明在基礎層中使用H.264/AVC或MPEG — 2那樣的編碼單位為固定尺寸的宏塊進行編碼、在擴展層中使用如HEVC那樣能夠選擇多個尺寸的“CU”進行編碼的情況。
[0110]步驟602判定處理對象層是否是基礎層。如果是基礎層則向步驟603前進，如果是其以外則向步驟604前進。
[0111]在步驟603、604中，進行基礎層的編碼。
[0112]在步驟603中，對于固定尺寸的各宏塊，判定預測塊尺寸、預測模式，決定它們的編碼模式。編碼模式的決定方法只要按照已有的方法以使圖像整體的編碼效率變高的方式進行最優(yōu)化來決定就可以。
[0113]在步驟604中，按照編碼模式進行預測、變換、量化、熵編碼及局部解碼處理。這些只要使用已有的編碼方法就可以。
[0114]在步驟610中，進行編碼后的層的數(shù)據(jù)的緩沖，在將其他層編碼后，通過包化處理進行復用，輸出復用后的編碼流。
[0115]在步驟611中，判定是否已處理了全部的層，如果已處理了全部的層則結束，如果還有尚未編碼的層，則回到步驟602進行其他層的處理。
[0116]在步驟605?609中，進行擴展層的編碼。
[0117]在步驟605中，判定將⑶、PU、TU的分割方法按照下位層的規(guī)則決定、還是獨立地決定。在按照規(guī)則決定的情況下向步驟606前進，在獨立決定的情況下向步驟607前進。
[0118]在步驟606中，參照下位層，按照規(guī)則決定⑶、PU、TU的分割方法。分割方法的規(guī)則如上所述。
[0119]在步驟607中，與下位層獨立地決定⑶、PU、TU的分割方法。
[0120]在步驟608中，將⑶、PU、TU作為樹構造編碼。
[0121]在步驟609中，進行預測、變換、量化、熵編碼及局部解碼處理。這些只要使用已有的編碼方法就可以。
[0122]在擴展層的編碼后也同樣，進行步驟610、611的處理。
[0123]通過上述過程，進行適應于多個分辨率的圖像編碼。
[0124]根據(jù)以上說明的圖像編碼裝置及圖像編碼方法，能夠進行比已有的編碼方式更有效率的對應于多個分辨率層的CU、PU、TU的記述，能夠實現(xiàn)與已有方式相比壓縮效率更高的圖像編碼裝置及圖像編碼方法。
[0125]此外，該圖像編碼裝置及圖像編碼方法能夠在使用它們的記錄裝置、便攜電話、數(shù)字照相機等中使用。
[0126]根據(jù)以上說明的圖像編碼裝置及圖像編碼方法，能夠減少編碼數(shù)據(jù)的代碼量，防止將該編碼數(shù)據(jù)解碼的情況下的解碼圖像的畫質的劣化。即，能夠實現(xiàn)高壓縮率和更好的畫質。
[0127]接著，在圖2中表示圖像解碼裝置的框圖的例子。
[0128]本實施例的圖像解碼裝置具備流解析部201、層O單元信息解碼部202、層I單元信息解碼部203、層2單元信息解碼部204、層O⑶解碼部205、層OPU解碼部206、層OTU解碼部207、層ICU解碼部208、層IPU解碼部209、層ITU解碼部210、層2CU解碼部211、層2PU解碼部212、層2TU解碼部213、層O熵解碼部214、層O層內.層間預測部215、層O逆變換.逆量化部216、層O合成部217、層I熵解碼部218、層I層內.層間預測部219、層I逆變換.逆量化部220、層I合成部221、層2熵解碼部222、層2層內.層間預測部223、層2逆變換.逆量化部224、層2合成部225、圖像輸出部226。
[0129]以下，詳細地說明圖像解碼裝置的各構成要素的動作。另外，圖像解碼裝置的各構成要素的動作例如也可以如以下的記載那樣為各構成要素的自律性的動作。此外，例如也可以通過與計算機的控制部、存儲部中存儲的軟件協(xié)同來實現(xiàn)。
[0130]首先，流解析部201將輸入的編碼流解析。這里，流解析部201還進行從包的數(shù)據(jù)提取處理、各種頭.標志的信息取得處理。
[0131]此外，此時向流解析部201輸入的編碼流是通過有關實施例1的圖像編碼裝置及圖像編碼方法生成的編碼流。其生成方法如實施例1中所示，所以省略說明。也可以是從后述的數(shù)據(jù)記錄介質讀出的編碼流。其記錄方法在后面敘述。
[0132]通過流解析部將各層的編碼數(shù)據(jù)分離。首先將基礎層的數(shù)據(jù)解碼，接著依次將上位的層解碼。這里，表示以層O、層1、層2的順序解碼的例子。
[0133]首先，進行作為基礎層的層O的解碼。如上述那樣，基礎層的編碼方式包括使用
H.264/AVC或MPEG — 2那樣的編碼單位為固定尺寸的宏塊進行編碼的情況、和使用如HEVC那樣作為能夠選擇多個尺寸的編碼單位的CU進行編碼的情況。以下，在使用宏塊的情況下，只要將CU替換為宏塊就可以。此外，只要將替換為在宏塊內決定的預測塊就可以。
[0134]層O單元信息解碼部202將層O的⑶、TU、PU解碼。
[0135]層O⑶解碼部205將層O的⑶解碼。這只要按照上述⑶編碼順序、通過對應的解碼順序進行解碼就可以。
[0136]層OPU解碼部206將層O的PU解碼。這只要一邊參照由層O⑶解碼部205解碼后的CU的信息、一邊通過與上述編碼順序對應的解碼順序進行解碼就可以。
[0137]層OTU解碼部207將層O的TU解碼。這只要一邊參照由層O⑶解碼部205解碼后的CU的信息，一邊以對應于上述TU編碼順序的解碼順序進行解碼就可以。
[0138]接著，基于層O的單元信息進行層O的解碼。
[0139]在層O熵解碼部214中，將熵編碼后的編碼模式信息、標志信息、殘差系數(shù)解碼。
[0140]在層O層內.層間預測部215中，按照單元信息中的⑶分割方法、PU分割方法、預測模式進行層內預測或層間預測。關于它們的預測方法使用已有的方法。
[0141]在層O逆變換.逆量化部216中，按照單元信息中的CU分割方法、TU分割方法進行逆量化和逆頻率變換。這些處理方法使用已有的方法。
[0142]層O合成部217將由層O層內?層間預測部215制作出的預測像素與由層O逆變換?逆量化部216制作出的殘差成分合成，制作解碼圖像。將解碼后的圖像向圖像輸出部226發(fā)送。
[0143]接著，進行作為上一層的層I的解碼。
[0144]層I單元信息解碼部203將層I的⑶、TU、PU解碼。
[0145]層I⑶解碼部208參照作為下位層的層O的⑶，將層I的⑶解碼。將層I的⑶解碼時的順序、參照層O時的規(guī)則如上所述。
[0146]層IPU解碼部209將層I的PU解碼。這一邊參照作為下位層的層O的PU和由層I⑶解碼部208解碼后的⑶的信息，一邊通過與上述編碼順序對應的解碼順序進行解碼。
[0147]層ITU解碼部210將層I的TU解碼。這一邊參照作為下位層的層O的TU和由層I⑶解碼部208解碼后的⑶的信息，一邊通過與上述TU編碼順序對應的解碼順序進行解碼。
[0148]接著，基于層I的單元信息進行層I的解碼。
[0149]在層I熵解碼部218中，將熵編碼后的編碼模式信息、標志信息、殘差系數(shù)解碼。
[0150]在層I層內.層間預測部219中，按照單元信息中的⑶分割方法、PU分割方法、預測模式進行層內預測或層間預測。關于它們的預測方法使用已有的方法。
[0151]在層I逆變換.逆量化部220中，按照單元信息中的CU分割方法、TU分割方法進行逆量化和逆頻率變換。這些處理方法只要使用已有的方法就可以。
[0152]層I合成部221將由層I層內?層間預測部219制作出的預測像素與由層I逆變換?逆量化部220制作出的殘差成分合成，制作解碼圖像。將解碼后的圖像向圖像輸出部226發(fā)送。
[0153]接著，進行作為再上一層的層2的解碼。
[0154]層2單元信息解碼部204將層2的⑶、TU、PU解碼。
[0155]層2CU解碼部211參照作為下位層的層I的⑶，將層2的⑶解碼。將層2的⑶解碼時的順序、參照層I時的規(guī)則如上所述。
[0156]層2PU解碼部212將層2的PU解碼。這一邊參照作為下位層的層I的和由層2CU解碼部211解碼后的⑶的信息，一邊通過與上述編碼順序對應的解碼順序進行解碼。
[0157]層2TU解碼部213將層2的TU解碼。這一邊參照作為下位層的層I的TU和由層2CU解碼部211解碼后的⑶的信息，一邊通過與上述TU編碼順序對應的解碼順序進行解碼。
[0158]接著，基于層2的單元信息進行層2的解碼。
[0159]在層2熵解碼部222中，將熵編碼后的編碼模式信息、標志信息、殘差系數(shù)等解碼。
[0160]在層2層內.層間預測部223中，按照單元信息中的⑶分割方法、PU分割方法、預測模式進行層內預測、層間預測。關于它們的預測方法使用已有的方法。
[0161]在層2逆變換.逆量化部224中，按照單元信息中的CU分割方法、TU分割方法進行逆量化和逆頻率變換。這些處理方法使用已有的方法。
[0162]層2合成部225將由層2層內?層間預測部223制作出的預測像素與由層2逆變換.逆量化部224制作出的殘差成分合成，制作解碼圖像。將解碼后的圖像向圖像輸出部226發(fā)送。
[0163]通過上述那樣的方法，從與多個分辨率對應的圖像編碼流將圖像解碼。
[0164]接著，使用圖7，對有關實施例1的圖像解碼裝置的圖像解碼方法的流程進行說明。
[0165]首先，在步驟701中，取得作為解碼對象的編碼流。在該編碼流中包含多個分辨率的編碼圖像，通過部分地將流取出，能夠將指定的分辨率的圖像解碼。
[0166]在步驟702中，決定解碼對象的層。為了將作為對象的層解碼，將從基礎層到對象層的圖像依次解碼。以下，設想將各層依次解碼而進行說明。此外對以下情況進行說明。此夕卜，說明關于基礎層，包括使用H.264/AVC或MPEG — 2那樣的編碼單位為固定尺寸的宏塊編碼的情況、和使用如HEVC那樣作為能夠選擇多個尺寸的編碼單位的CU編碼的情況這兩者，關于擴展層，如HEVC那樣的使用編碼單位的尺寸不同的CU編碼的情況。
[0167]步驟703中判別是否參照下位層的⑶、PU、TU或宏塊、預測塊尺寸的構造?；A層由于是最下位層，所以不參照。在參照下位層的情況下向步驟704前進，在不參照的情況下向步驟706前進。
[0168]在步驟704中，參照下位層將⑶、PU、TU或宏塊、預測塊尺寸的構造解碼。參照下位層的情況下的規(guī)則如上所述。
[0169]在步驟705中，參照下位層的解碼圖像，使用在步驟704中解碼后的⑶、PU、TU或宏塊、預測塊尺寸的構造信息，進行預測、逆量化、逆頻率變換而將層解碼。
[0170]在步驟706中，在該層中獨立地將⑶、PU、TU或宏塊、預測塊尺寸的構造解碼。
[0171]在步驟707中，參照下位層的解碼圖像，使用在步驟706中解碼后的⑶、PU、TU或宏塊、預測塊尺寸的構造信息進行預測、逆量化、逆頻率變換而將層解碼。
[0172]在步驟708中，判定是否已將目標層解碼。如果已將目標層解碼則向步驟709前進，如果不是，則向步驟702前進，將更上位的層解碼。
[0173]在步驟709中，輸出解碼后的圖像。
[0174]通過上述那樣的方法，從與多個分辨率對應的圖像編碼流將圖像解碼。
[0175]根據(jù)以上說明的圖像解碼裝置及圖像解碼方法，能夠進行比已有的編碼方式更有效率的與多個分辨率層對應的CU、PU、TU的記述，能夠實現(xiàn)與已有方式相比壓縮效率更高的圖像解碼裝置及圖像解碼方法。
[0176]此外，該圖像解碼裝置及圖像解碼方法能夠應用到使用它們的再現(xiàn)裝置、便攜電話、數(shù)字照相機等中。
[0177]根據(jù)以上說明的圖像解碼裝置及圖像解碼方法，能夠將代碼量少的編碼數(shù)據(jù)更高畫質地解碼。
[0178]接著，在圖8中表示保存有通過上述圖像編碼裝置或圖像編碼方法生成的編碼流的數(shù)據(jù)記錄介質。保存的編碼流是通過上述圖像編碼裝置或圖像編碼方法生成的編碼流。其生成方法如上述那樣，所以省略說明。這里，將編碼流作為數(shù)據(jù)序列802記錄到數(shù)據(jù)記錄介質801上。數(shù)據(jù)序列802被記錄為遵循規(guī)定的語法的編碼流。以下，假設變更了 HEVC的一部分而進行說明。
[0179]首先，在HEVC中，由序列參數(shù)集803、圖片參數(shù)集804、片(slice)805、806、807構成流。以下，表示在I個片中保存I個圖像(圖片)的情況。
[0180]在各片的內部，包括關于各個⑶、PU、TU的信息808。在關于⑶、PU、TU的信息808的內部，有按CU、PU、TU記錄各自的預測方法、變換方法的區(qū)域，將其設為編碼模式標志809。
[0181]根據(jù)以上說明的數(shù)據(jù)記錄介質，由于用與已有方式相比壓縮效率更高的編碼流記錄，所以能夠記錄較多的圖像。
[0182]標號說明
[0183]101分辨率變換部；102層O單元信息計算部；103層I單元信息計算部；104層2單元信息計算部；105層OCU計算部；106層OPU計算部；107層OTU計算部；108層ICU計算部；109層IPU計算部；110層ITU計算部；111層2CU計算部；112層2PU計算部；113層2TU計算部；114層O層內.層間預測部；115層O變換.量化部；116層O編碼處理部；117層I層內?層間預測部；118層I變換.量化部；119層I編碼處理部；120層2層內?層間預測部；121層2變換.量化部；122層2編碼處理部；123復用部；124數(shù)據(jù)輸出部；201流解析部；202層O單元信息解碼部；203層I單元信息解碼部；204層2單元信息解碼部；205層OCU解碼部；206層OPU解碼部；207層OTU解碼部；208層ICU解碼部；209層IPU解碼部；210層ITU解碼部；211層2⑶解碼部；212層2PU解碼部；213層2TU解碼部；214層O熵解碼部；215層O層內.層間預測部；216層O逆變換.逆量化部；217層O合成部；218層I熵解碼部；219層I層內.層間預測部；220層I逆變換.逆量化部；221層I合成部；222層2熵解碼部；223層2層內.層間預測部；224層2逆變換.逆量化部；225層2合成部；226圖像輸出部
【權利要求】
1.一種圖像解碼方法，將對圖像進行編碼而得到的編碼流解碼，其特征在于， 通過將該編碼流的一部分取出，能夠解碼多個分辨率的圖像； 該圖像解碼方法具有以下步驟: 在各層中將編碼的單位CU的分割方法解碼的步驟； 將預測單位PU的分割方法解碼的步驟；以及 將頻率變換單位TU的分割方法解碼的步驟； 在將上述某個層I的CU解碼的步驟中，參照別的層O的CU分割方法，按照一定的規(guī)則計算CU分割方法； 在將上述某個層I的PU解碼的步驟中，參照相同的層I的CU分割方法和別的層O的PU分割方法，按照一定的規(guī)則計算PU分割方法； 在將上述某個層I的TU解碼的步驟中，參照相同的層I的CU分割方法和別的層O的TU分割方法，按照一定的規(guī)則計算TU分割方法； 根據(jù)標志判別上述一定的規(guī)則。
2.如權利要求1所述的圖像解碼方法，其特征在于， 基礎層的解碼方式為:使用解碼單位為固定尺寸的宏塊進行解碼； 擴展層的解碼方式為:使用作為能夠選擇多個尺寸的編碼單位的CU進行解碼。
3.如權利要求1所述的圖像解碼方法，其特征在于， 上述一定的規(guī)則是以下的規(guī)則:對于下位層的CU、TU、PU的尺寸，設定將按照分辨率比位于對應的上位層的位置的⑶、TU、PU按照分辨率比進行放大后的尺寸，對于超過⑶、TU、PU的最大尺寸的部位,設定為該最大尺寸。
4.如權利要求1所述的圖像解碼方法，其特征在于， 上述一定的規(guī)則是以下的規(guī)則:對于下位層的CU、TU、PU的尺寸，參照按照分辨率比位于對應的上位層的位置的⑶、TU、PU，設定為與上位層的⑶、TU、PU的尺寸相同的尺寸。
5.如權利要求1所述的圖像解碼方法，其特征在于， 按每個層預先指定CU、PU、TU的可使用的尺寸、可使用的編碼模式，根據(jù)標志來切換上述尺寸及編碼模式。
6.一種圖像解碼裝置，將對圖像進行編碼而得到的編碼流解碼，其特征在于， 通過將該編碼流的一部分取出，能夠解碼多個分辨率的圖像； 該圖像解碼裝置具備: CU解碼部，在各層中將編碼單位CU的分割方法解碼； PU解碼部，將預測單位的分割方法解碼；以及 TU解碼部，將頻率變換單位TU的分割方法解碼； 上述某個層I的CU解碼部參照別的層O的CU解碼部輸出的CU分割方法，按照一定的規(guī)則計算CU分割方法； 上述某個層I的PU解碼部參照相同的層I的CU分割方法和別的層O的PU解碼部輸出的I3U分割方法，按照一定的規(guī)則計算PU分割方法； 上述某個層I的TU解碼部參照相同的層I的CU分割方法和別的層O的TU解碼部輸出的TU分割方法，按照一定的規(guī)則計算TU分割方法； 根據(jù)標志判別上述一定的規(guī)則。
7.如權利要求6所述的圖像解碼裝置，其特征在于， 基礎層的編碼方式為:使用編碼單位為固定尺寸的宏塊進行了編碼； 擴展層的編碼方式為:使用編碼單位的尺寸不同的CU進行了編碼。
8.如權利要求6所述的圖像解碼裝置，其特征在于， 上述一定的規(guī)則是以下的規(guī)則:對于下位層的CU、TU、PU的尺寸，設定將按照分辨率比位于對應的上位層的位置的⑶、TU、PU按照分辨率比進行放大后的尺寸，對于超過⑶、TU、PU的最大尺寸的部位,設定為該最大尺寸。
9.如權利要求6所述的圖像解碼裝置，其特征在于， 上述一定的規(guī)則是以下的規(guī)則:對于下位層的CU、TU、PU的尺寸，參照按照分辨率比位于對應的上位層的位置的⑶、TU、PU，設定為與上位層的⑶、TU、PU的尺寸相同的尺寸。
10.如權利要求6所述的圖像解碼裝置，其特征在于， 按每個層預先指定CU、PU、TU的可使用的尺寸、可使用的編碼模式， 根據(jù)標志來切換上述尺寸及編碼模式。
【文檔編號】H04N19/30GK104205842SQ201280070816
【公開日】2014年12月10日 申請日期:2012年3月30日 優(yōu)先權日:2012年3月30日
【發(fā)明者】村上智一, 橫山徹 申請人:株式會社日立制作所