運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法以及運動圖像解碼方法
【專利摘要】設(shè)置分塊分割部1，該分塊分割部1將輸入圖像分割為作為指定的尺寸的矩形區(qū)域的分塊，輸出該分塊，分割影像編碼部3的塊分割部10將從分塊分割部1輸出的分塊分割為規(guī)定的尺寸的編碼塊，并且將該編碼塊層次性地分割，直至達到由編碼控制部2決定的上限的層次數(shù)。
【專利說明】運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法以及運動圖像解碼方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對圖像進行壓縮編碼來傳送的運動圖像編碼裝置以及運動圖像編碼方法、和根據(jù)由運動圖像編碼裝置傳送的編碼數(shù)據(jù)對圖像進行解碼的運動圖像解碼裝置以及運動圖像解碼方法。
【背景技術(shù)】
[0002]以往，在 MPEG (Moving Picture Experts Group,運動圖像專家組)、“ ITU-T
H.26x”等國際標準影像編碼方式中，將輸入影像幀分割為被稱為宏塊的正方塊，針對各個宏塊的每一個，實施幀內(nèi)預(yù)測處理、幀間預(yù)測處理、預(yù)測誤差信號的正交變換處理、量化處理、熵編碼處理等。
[0003]另外，如果所有宏塊的處理完成，而制作了一屏幕量的局部解碼圖像，則實施環(huán)路濾波參數(shù)的導(dǎo)出處理、熵編碼處理、基于導(dǎo)出參數(shù)的局部解碼圖像的濾波處理。
[0004]此處，各宏塊的編碼處理中，按照光柵掃描順序來處理宏塊為前提，在某個宏塊的編碼處理中，需要在光柵掃描順序中在先的宏塊的編碼結(jié)果。
[0005]具體而言，在進行幀間預(yù)測的情況下，根據(jù)相鄰宏塊的局部解碼圖像，進行像素參照。
[0006]另外，在熵編碼處理中，需要將用于推測碼元產(chǎn)生概率的概率遷移模型與在光柵掃描順序中在先的宏塊共享，并且為了切換概率模型而需要參照相鄰宏塊的模式信息。
[0007]因此，為了推進某個宏塊的編碼處理，必須完成在光柵掃描順序中在先的宏塊的處理的部分或者全部。這樣的宏塊間的依賴性成為編碼處理、解碼處理的并行化的障礙。
[0008]在非專利文獻I中，為了解決上述問題，將輸入圖像(圖片)分割為多個矩形區(qū)域(分塊(tile))，在各個分塊內(nèi)，按照光柵掃描順序處理宏塊，消除屬于不同的分塊的宏塊間的依賴性，從而能夠按照分塊單位并行地進行編碼處理或者解碼處理。
[0009]另外，分塊由多個宏塊構(gòu)成，分塊的尺寸能夠僅通過宏塊尺寸的整數(shù)倍來定義。
[0010]現(xiàn)有技術(shù)文獻
[0011]非專利文獻1:Arild Fuldseth, Michael Horowitz, Shilin Xu, AndrewSegall, Minhua Zhou, “JCTVC-F335:Tiles”，Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG16WP3and IS0/IEC JTCl/SC29/WG116th Meeting:Torino,IT,14-22July,2011

【發(fā)明內(nèi)容】

[0012]發(fā)明所要解決的技術(shù)問題
[0013]以往的運動圖像編碼裝置如以上那樣構(gòu)成，所以將圖片分割為多個分塊(矩形區(qū)域)時的分塊的尺寸被限定為宏塊尺寸的整數(shù)倍。因此，在圖片的尺寸并非設(shè)定的宏塊尺寸的整數(shù)倍的情況下，存在如下課題:無法將圖片分割為均等的分塊，根據(jù)分塊的尺寸，各分塊的編碼處理的負荷不同，并行化效率降低。
[0014]另外，例如，在對如3840像素X2160像素、7680像素X4320像素那樣以在HDTV (High Definition Television,高清晰度電視)中規(guī)定的像素數(shù)(1920像素X 1080像素)的整數(shù)倍來規(guī)定那樣的圖像進行編碼的情況下，存在如下課題:根據(jù)設(shè)定的宏塊尺寸，無法分割為HDTV尺寸的分塊來編碼，有時無法利用本裝置中的HDTV用的輸入接口、設(shè)備。
[0015]本發(fā)明是為了解決上述那樣的課題而完成的，其目的在于得到一種運動圖像編碼裝置以及運動圖像編碼方法，在輸入圖像的尺寸是在HDTV中規(guī)定的像素數(shù)的整數(shù)倍的情況下，能夠利用本裝置中的HDTV用的輸入接口、設(shè)備等。
[0016]另外，本發(fā)明的目的在于得到一種運動圖像編碼裝置以及運動圖像編碼方法，SP使在輸入圖像的尺寸并非宏塊尺寸的整數(shù)倍的情況下，也能夠不降低并行化效率地實現(xiàn)并行編碼處理。
[0017]另外，本發(fā)明的目的在于得到一種能夠應(yīng)用于上述運動圖像編碼裝置以及運動圖像編碼方法的運動圖像解碼裝置以及運動圖像解碼方法。
[0018]解決技術(shù)問題的技術(shù)方案
[0019]本發(fā)明提供一種運動圖像編碼裝置，其特征在于，設(shè)置有:分塊分割單元，將輸入圖像分割為作為指定的尺寸的矩形區(qū)域的分塊，輸出該分塊；編碼控制單元，決定成為實施預(yù)測處理時的處理單位的編碼塊被層次性地分割時的上限的層次數(shù)，并且決定確定各個編碼塊的編碼方法的編碼模式；塊分割單兀，將從分塊分割單兀輸出了的分塊分割為規(guī)定的尺寸的編碼塊，并且將該編碼塊層次性地分割，直至達到由編碼控制單元決定的上限的層次數(shù)；預(yù)測圖像生成單元，按照由編碼控制單元決定的編碼模式，實施針對由塊分割單元分割了的編碼塊的預(yù)測處理來生成預(yù)測圖像；圖像壓縮單元，對由塊分割單元分割了的編碼塊和由預(yù)測圖像生成單元生成的預(yù)測圖像的差分圖像進行壓縮，輸出該差分圖像的壓縮數(shù)據(jù)，可變長編碼單元對從圖像壓縮單元輸出了的壓縮數(shù)據(jù)以及由編碼控制單元決定的編碼模式進行可變長編碼，并且對表示從分塊分割單元輸出了的分塊的尺寸以及輸入圖像中的分塊的位置的分塊信息進行可變長編碼，生成復(fù)用了該壓縮數(shù)據(jù)、編碼模式以及分塊信息的編碼數(shù)據(jù)的比特流。
[0020]發(fā)明效果
[0021]根據(jù)本發(fā)明，構(gòu)成為設(shè)置有:分塊分割單元，將輸入圖像分割為作為指定的尺寸的矩形區(qū)域的分塊，輸出該分塊；編碼控制單元，決定成為實施預(yù)測處理時的處理單位的編碼塊被層次性地分割時的上限的層次數(shù)，并且決定確定各個編碼塊的編碼方法的編碼模式；塊分割單元，將從分塊分割單元輸出了的分塊分割為規(guī)定的尺寸的編碼塊，并且將該編碼塊層次性地分割，直至達到由編碼控制單元決定的上限的層次數(shù)；預(yù)測圖像生成單元，按照由編碼控制單元決定的編碼模式，實施針對由塊分割單元分割了的編碼塊的預(yù)測處理來生成預(yù)測圖像；圖像壓縮單元，對由塊分割單元分割了的編碼塊和由預(yù)測圖像生成單元生成的預(yù)測圖像的差分圖像進行壓縮，輸出該差分圖像的壓縮數(shù)據(jù)，可變長編碼單元對從圖像壓縮單元輸出了的壓縮數(shù)據(jù)以及由編碼控制單元決定的編碼模式進行可變長編碼，并且對表示從分塊分割單元輸出了的分塊的尺寸以及輸入圖像中的分塊的位置的分塊信息進行可變長編碼，生成復(fù)用了該壓縮數(shù)據(jù)、編碼模式以及分塊信息的編碼數(shù)據(jù)的比特流，所以具有在輸入圖像的尺寸是在HDTV中規(guī)定的像素數(shù)的整數(shù)倍的情況下，能夠利用本裝置中的HDTV用的輸入接口、設(shè)備等的效果。
【專利附圖】

【附圖說明】
[0022]圖1是示出本發(fā)明的實施方式I的運動圖像編碼裝置的結(jié)構(gòu)圖。
[0023]圖2是示出本發(fā)明的實施方式I的運動圖像編碼裝置的分割影像編碼部3的內(nèi)部的結(jié)構(gòu)圖。
[0024]圖3是示出本發(fā)明的實施方式I的運動圖像編碼裝置的可變長編碼部7所內(nèi)置的運動向量可變長編碼部7a的結(jié)構(gòu)圖。
[0025]圖4是示出本發(fā)明的實施方式I的運動圖像編碼裝置的處理內(nèi)容(運動圖像編碼方法)的流程圖。
[0026]圖5是示出本發(fā)明的實施方式I的運動圖像解碼裝置的結(jié)構(gòu)圖。
[0027]圖6是示出本發(fā)明的實施方式I的運動圖像解碼裝置的分割影像解碼部31的內(nèi)部的結(jié)構(gòu)圖。
[0028]圖7是示出本發(fā)明的實施方式I的運動圖像解碼裝置的可變長解碼部30所內(nèi)置的運動向量可變長解碼部30a的結(jié)構(gòu)圖。 [0029]圖8是示出本發(fā)明的實施方式I的運動圖像解碼裝置的處理內(nèi)容(運動圖像解碼方法)的流程圖。
[0030]圖9是示出將橫3840像素X縱2160像素的圖像均等地分割為4個分塊的例子的說明圖。
[0031]圖10是示出最大編碼塊被層次性地分割為多個編碼對象塊的例子的說明圖。
[0032]圖11(a)是示出分割后的編碼對象塊以及預(yù)測塊的分布的說明圖，(b)是示出通過層次分割來分配編碼模式Hl(Bn)的狀況的說明圖。
[0033]圖12是示出編碼對象塊Bn內(nèi)的各分區(qū)Pi11可選擇的幀內(nèi)預(yù)測參數(shù)(幀內(nèi)預(yù)測模式)的一個例子的說明圖。
[0034]圖13是示出在生成Ii11 = !< = 4的情況的分區(qū)Pi11內(nèi)的像素的預(yù)測值時使用的像素的一個例子的說明圖。
[0035]圖14是示出分區(qū)Pi11的運動向量的預(yù)測向量候補的計算中使用的已編碼周邊分區(qū)的一個例子的說明圖。
[0036]圖15是示出分區(qū)Pi11的運動向量的預(yù)測向量候補的計算中使用的參照幀的分區(qū)的一個例子的說明圖。
[0037]圖16是示出本發(fā)明的實施方式2的運動圖像編碼裝置的結(jié)構(gòu)圖。
[0038]圖17是示出本發(fā)明的實施方式2的運動圖像解碼裝置的結(jié)構(gòu)圖。
[0039]圖18是示出將圖片內(nèi)分割為分塊尺寸的單位的小塊，將圖片內(nèi)以小塊的單位在按照光柵掃描順序附加了編號的小塊的位置分割分塊的例子的說明圖。
[0040]附圖標記
[0041]1:分塊分割部(分塊分割單元);2:編碼控制部(編碼控制單元);3:分割影像編碼部(分塊編碼裝置)；4:圖像存儲器；5:環(huán)路濾波器部；6:運動補償預(yù)測幀存儲器；7:可變長編碼部(可變長編碼單元)；7a:運動向量可變長編碼部；10:塊分割部(塊分割單元)；11:切換開關(guān)；12:幀內(nèi)預(yù)測部(預(yù)測圖像生成單元)；13:運動補償預(yù)測部(預(yù)測圖像生成單元)；14:減法部(圖像壓縮單元)；I 5:變換.量化部(圖像壓縮單元)；16:逆量化?逆變換部；17:加法部；18:幀內(nèi)預(yù)測用存儲器；21:運動向量預(yù)測向量候補計算部；22:運動向量預(yù)測向量決定部；23:運動向量差分計算部；24:熵編碼部；30:可變長解碼部(可變長解碼單元)；30a:運動向量可變長解碼部；31:分割影像解碼部(分塊解碼裝置)；32:圖像存儲器(解碼圖像存儲單元)；33:環(huán)路濾波器部；34:運動補償預(yù)測幀存儲器；41:切換開關(guān)；42:幀內(nèi)預(yù)測部(預(yù)測圖像生成單元)；43:運動補償部(預(yù)測圖像生成單元)；44:逆量化?逆變換部(解碼圖像生成單元)；45:加法部(解碼圖像生成單元)；46:幀內(nèi)預(yù)測用存儲器；51:熵解碼部；52:運動向量預(yù)測向量候補計算部；53:運動向量預(yù)測向量決定部；54:運動向量計算部。
【具體實施方式】
[0042]以下，參照附圖，對本發(fā)明的實施方式進行詳細說明。
[0043]實施方式1.[0044]圖1是示出本發(fā)明的實施方式I的運動圖像編碼裝置的結(jié)構(gòu)圖，圖2是示出本發(fā)明的實施方式I的運動圖像編碼裝置的分割影像編碼部3的內(nèi)部的結(jié)構(gòu)圖。
[0045]在圖1以及圖2中，分塊分割部I實施如下處理:如果輸入了表示輸入圖像(圖片)的影像信號，則將該輸入圖像分割為由編碼控制部2決定的分塊尺寸的分塊(矩形區(qū)域)，將I個以上的分塊輸出到分割影像編碼部3。另外，分塊分割部I構(gòu)成分塊分割單元。
[0046]編碼控制部2具有接受分塊尺寸的設(shè)定的功能，實施根據(jù)接受了設(shè)定的各分塊的尺寸計算輸入圖像中的各分塊的位置的處理。
[0047]另外，編碼控 制部2實施如下處理:決定成為實施預(yù)測處理時的處理單位的編碼對象塊(編碼塊)的尺寸以及編碼對象塊被層次性地分割時的上限的層次數(shù)，并且從可選擇的I個以上的幀內(nèi)編碼模式以及幀間編碼模式中，決定針對從分割影像編碼部3的塊分割部10輸出的編碼對象塊的編碼效率最高的編碼模式。
[0048]另外，編碼控制部2實施如下處理:在編碼效率最高的編碼模式是幀內(nèi)編碼模式的情況下，決定在按照該幀內(nèi)編碼模式實施針對編碼對象塊的幀內(nèi)預(yù)測處理時使用的幀內(nèi)預(yù)測參數(shù)，在編碼效率最高的編碼模式是幀間編碼模式的情況下，決定在按照該幀間編碼模式實施針對編碼對象塊的幀間預(yù)測處理時使用的幀間預(yù)測參數(shù)。
[0049]進而，編碼控制部2實施決定對分割影像編碼部3的變換.量化部15以及逆量化.逆變換部16提供的預(yù)測差分編碼參數(shù)的處理。
[0050]另外，編碼控制部2構(gòu)成編碼控制單元。
[0051]分割影像編碼部3實施如下處理:每當從分塊分割部I輸入分塊時，就將該分塊分割為由編碼控制部2決定的尺寸的塊(編碼對象塊)，按照由編碼控制部2決定的編碼模式，實施針對該編碼對象塊的預(yù)測處理來生成預(yù)測圖像。
[0052]另外，分割影像編碼部3實施如下處理:實施針對編碼對象塊與預(yù)測圖像的差分圖像的正交變換處理、量化處理來生成壓縮數(shù)據(jù)，將該壓縮數(shù)據(jù)輸出到可變長編碼部7，并且實施針對該壓縮數(shù)據(jù)的逆量化處理、逆正交變換處理來生成局部解碼圖像，將該局部解碼圖像儲存到圖像存儲器4中。
[0053]另外，在將局部解碼圖像儲存到圖像存儲器4時，在與由編碼控制部2計算出的該分塊的位置對應(yīng)的圖像存儲器4內(nèi)的地址儲存局部解碼圖像。
[0054]圖像存儲器4是儲存由分割影像編碼部3生成的局部解碼圖像的記錄介質(zhì)。
[0055]環(huán)路濾波器部5實施如下處理:如果圖片內(nèi)的所有分塊的編碼完成，而I圖片量的局部解碼圖像被寫入到圖像存儲器4，則對I圖片量的局部解碼圖像實施規(guī)定的濾波處理，輸出濾波處理后的局部解碼圖像。
[0056]運動補償預(yù)測幀存儲器6是儲存由環(huán)路濾波器部5實施濾波處理后的局部解碼圖像的記錄介質(zhì)。
[0057]可變長編碼部7實施如下處理:對表示從編碼控制部2輸出的各分塊的矩形區(qū)域尺寸以及圖片中的各分塊的位置的分塊信息、從編碼控制部2輸出的各編碼對象塊的編碼參數(shù)(編碼模式、幀內(nèi)預(yù)測參數(shù)或者幀間預(yù)測參數(shù)、預(yù)測差分編碼參數(shù))、以及從分割影像編碼部3輸出的各編碼對象塊的編碼數(shù)據(jù)(壓縮數(shù)據(jù)、運動信息(編碼模式是幀間編碼模式的情況))進行可變長編碼，生成復(fù)用了這些編碼結(jié)果的比特流。
[0058]另外，可變長編碼部7實施如下處理:對表示分塊分割部I是否將圖片分割為分塊的分割確認用標志進行可變長編碼，生成復(fù)用了該分割確認用標志的編碼結(jié)果的比特流。但是，在分塊分割部I始終將圖片分割為分塊的情況下，無需將該分割確認用標志發(fā)送到運動圖像解碼裝置，所以不進行該分割確認用標志的可變長編碼。
[0059]另外，可變長編碼部7內(nèi)置有對從分割影像編碼部3的運動補償預(yù)測部13輸出的運動向量進行可變長編碼的運動向量可變長編碼部7a。
[0060]可變長編碼部7構(gòu)成可變長編碼單元。
[0061]塊分割部10實施如下處理:每當從分塊分割部I輸入分塊時，將該分塊分割為由編碼控制部2決定的尺寸的編碼對象塊，輸出該編碼對象塊。
[0062]S卩，塊分割部10實施如下處理:將從分塊分割部I輸出的分塊分割為作為由編碼控制部2決定的最大尺寸的編碼對象塊的最大編碼塊，并且將該最大編碼塊層次性地分害I]，直至達到由編碼控制部2決定的上限的層次數(shù)。另外，塊分割部10構(gòu)成塊分割單元。
[0063]切換開關(guān)11實施如下處理:如果由編碼控制部2決定的編碼模式是幀內(nèi)編碼模式，則將從塊分割部10輸出的編碼對象塊輸出到幀內(nèi)預(yù)測部12，如果由編碼控制部2決定的編碼模式是幀間編碼模式，則將從塊分割部10輸出的編碼對象塊輸出到運動補償預(yù)測部13。
[0064]幀內(nèi)預(yù)測部12實施如下處理:參照在幀內(nèi)預(yù)測用存儲器18中儲存了的局部解碼圖像，同時使用由編碼控制部2決定的幀內(nèi)預(yù)測參數(shù)，實施針對從切換開關(guān)11輸出的編碼對象塊的幀內(nèi)預(yù)測處理，生成幀內(nèi)預(yù)測圖像(預(yù)測圖像)。
[0065]運動補償預(yù)測部13實施如下處理:比較從切換開關(guān)11輸出的編碼對象塊和在運動補償預(yù)測幀存儲器6中儲存的濾波處理后的局部解碼圖像來搜索運動向量，使用該運動向量和由編碼控制部2決定的幀間預(yù)測參數(shù)，實施針對該編碼對象塊的幀間預(yù)測處理(運動補償預(yù)測處理)，生成幀間預(yù)測圖像(預(yù)測圖像)。
[0066]另外，由幀內(nèi)預(yù)測部12以及運動補償預(yù)測部13構(gòu)成預(yù)測圖像生成單元。
[0067]減法部14實施如下處理:從由塊分割部10輸出的編碼對象塊，減去由幀內(nèi)預(yù)測部12生成的幀內(nèi)預(yù)測圖像、或者由運動補償預(yù)測部13生成的幀間預(yù)測圖像，將表示作為其減法結(jié)果的差分圖像的預(yù)測差分信號輸出到變換.量化部15。[0068]變換.量化部15實施如下處理:參照由編碼控制部2決定的預(yù)測差分編碼參數(shù)，實施針對從減法部14輸出的預(yù)測差分信號的正交變換處理(例如DCT (離散余弦變換)、預(yù)先針對特定的學習系列進行了基底設(shè)計的KL變換等正交變換處理)來計算變換系數(shù)，并且參照該預(yù)測差分編碼參數(shù)，對該變換系數(shù)進行量化，將作為量化后的變換系數(shù)的壓縮數(shù)據(jù)(差分圖像的量化系數(shù))輸出到逆量化.逆變換部16以及可變長編碼部7。
[0069]另外，由減法部14以及變換.量化部15構(gòu)成圖像壓縮單元。
[0070]逆量化?逆變換部16實施如下處理:參照由編碼控制部2決定的預(yù)測差分編碼參數(shù)，對從變換?量化部15輸出的壓縮數(shù)據(jù)進行逆量化，并且參照該預(yù)測差分編碼參數(shù)，實施針對作為逆量化后的壓縮數(shù)據(jù)的變換系數(shù)的逆正交變換處理，計算與從減法部14輸出的預(yù)測差分信號相當?shù)木植拷獯a預(yù)測差分信號。
[0071]加法部17實施如下處理:對由逆量化.逆變換部16計算出的局部解碼預(yù)測差分信號表示的圖像、和由幀內(nèi)預(yù)測部12生成的幀內(nèi)預(yù)測圖像、或者由運動補償預(yù)測部13生成的幀間預(yù)測圖像進行加法，計算與從塊分割部10輸出的編碼對象塊相當?shù)木植拷獯a圖像。
[0072]幀內(nèi)預(yù)測用存儲器18是儲存由加法部17計算出的局部解碼圖像的記錄介質(zhì)。
[0073]圖3是示出本發(fā)明的實施方式I的運動圖像編碼裝置的可變長編碼部7所內(nèi)置的運動向量可變長編碼部7a的結(jié)構(gòu)圖。
[0074]運動向量可變長編碼部7a的運動向量預(yù)測向量候補計算部21實施如下處理:根據(jù)與從塊分割部10輸出的編碼對象塊相鄰的已編碼塊的運動向量以及運動補償預(yù)測幀存儲器6中儲存的參照幀的運動向量，計算編碼對象塊的運動向量的預(yù)測向量候補。
[0075]運動向量預(yù)測向量決定部22實施如下處理:從由運動向量預(yù)測向量候補計算部21計算出的I個以上的預(yù)測向量候補中，將與編碼對象塊的運動向量最接近的預(yù)測向量候補決定為預(yù)測向量，將該預(yù)測向量輸出到運動向量差分計算部23，并且將表示該預(yù)測向量的索引(預(yù)測向量索引)輸出到熵編碼部24。
[0076]運動向量差分計算部23實施如下處理:計算從運動向量預(yù)測向量決定部22輸出的預(yù)測向量與編碼對象塊的運動向量的差分向量。
[0077]熵編碼部24實施如下處理:對由運動向量差分計算部23計算出的差分向量和從運動向量預(yù)測向量決定部22輸出的預(yù)測向量索引實施算術(shù)編碼等可變長編碼，生成運動向量信息碼字，輸出該運動向量信息碼字。
[0078]在圖1的例子中，設(shè)想了如下例子:作為運動圖像編碼裝置的構(gòu)成要素的分塊分割部1、編碼控制部2、分割影像編碼部3、圖像存儲器4、環(huán)路濾波器部5、運動補償預(yù)測幀存儲器6以及可變長編碼部7各自由專用硬件(例如安裝了 CPU的半導(dǎo)體集成電路、單片式微型計算機等)構(gòu)成，但在運動圖像編碼裝置由計算機構(gòu)成的情況下，也可以將記述了分塊分割部1、編碼控制部2、分割影像編碼部3、環(huán)路濾波器部5以及可變長編碼部7的處理內(nèi)容的程序儲存到計算機的存儲器中，該計算機的CPU執(zhí)行在該存儲器中儲存的程序。
[0079]圖4是示出本發(fā)明的實施方式I的運動圖像編碼裝置的處理內(nèi)容(運動圖像編碼方法)的流程圖。
[0080]圖5是示出本發(fā)明的實施方式I的運動圖像解碼裝置的結(jié)構(gòu)圖。
[0081]在圖5中，可變長解碼部30實施如下處理:如果輸入了由圖1的運動圖像編碼裝置生成的比特流，則按照由I幀以上的圖片構(gòu)成的序列單位或者圖片單位，對表示圖片是否被分割為I個以上的分塊的分割確認用標志進行可變長解碼。
[0082]可變長解碼部30實施如下處理:在分割確認用標志表示圖片被分割為I個以上的分塊的意思的情況下，從比特流，對分塊信息進行可變長解碼，對在該分塊信息表示的尺寸的分塊內(nèi)層次性地分割的各個編碼對象塊的編碼參數(shù)(編碼模式、幀內(nèi)預(yù)測參數(shù)或者幀間預(yù)測參數(shù)、預(yù)測差分編碼參數(shù))和編碼數(shù)據(jù)(壓縮數(shù)據(jù)、運動信息(編碼模式是幀間編碼模式的情況))進行可變長解碼。
[0083]另外，可變長解碼部30內(nèi)置有實施從比特流中包含的運動向量信息碼字，對預(yù)測向量索引和差分向量進行可變長解碼的處理的運動向量可變長解碼部30a。
[0084]另外，可變長解碼部30構(gòu)成可變長解碼單元。
[0085]分割影像解碼部31實施如下處理:根據(jù)由可變長解碼部30按照分塊單位進行了可變長解碼的壓縮數(shù)據(jù)、編碼模式、幀內(nèi)預(yù)測參數(shù)或者幀間預(yù)測參數(shù)以及運動向量、和預(yù)測差分編碼參數(shù)，按照分塊單位實施解碼處理來生成解碼圖像，將該解碼圖像儲存到圖像存儲器32中。
[0086]另外，在將解碼圖像儲存到圖像存儲器32時，在與分塊信息表示的該分塊的位置對應(yīng)的圖像存儲器32內(nèi)的地址儲存解碼圖像。
[0087]圖像存儲器32是儲存由分割影像解碼部31生成的解碼圖像的記錄介質(zhì)。圖像存儲器32構(gòu)成解碼圖像存儲單元。
[0088]環(huán)路濾波器部33實施如下處理:如果圖片內(nèi)的所有分塊的編碼完成，而I圖片量的解碼圖像被寫入到圖像存儲器32，則對I圖片量的解碼圖像實施規(guī)定的濾波處理，輸出濾波處理后的解碼圖像。
[0089]運動補償預(yù)測幀存儲器34是儲存由環(huán)路濾波器部33實施濾波處理后的解碼圖像的記錄介質(zhì)。
[0090]圖6是示出本發(fā)明的實施方式I的運動圖像解碼裝置的分割影像解碼部31的內(nèi)部的結(jié)構(gòu)圖。
[0091]在圖6中，切換開關(guān)41實施如下處理:如果由可變長解碼部30可變長解碼了的編碼模式是幀內(nèi)編碼模式，則將由可變長解碼部30可變長解碼了的幀內(nèi)預(yù)測參數(shù)輸出到幀內(nèi)預(yù)測部42，如果由可變長解碼部30可變長解碼了的編碼模式是幀間編碼模式，則將由可變長解碼部30可變長解碼了的幀間預(yù)測參數(shù)以及運動向量輸出到運動補償部43。
[0092]幀內(nèi)預(yù)測部42實施如下處理:參照在幀內(nèi)預(yù)測用存儲器46中儲存的解碼圖像，同時使用從切換開關(guān)41輸出的幀內(nèi)預(yù)測參數(shù)，實施針對解碼對象塊(與圖1的運動圖像編碼裝置的“編碼對象塊”相當?shù)膲K)的幀內(nèi)預(yù)測處理，生成幀內(nèi)預(yù)測圖像(預(yù)測圖像)。
[0093]運動補償部43實施如下處理:參照在運動補償預(yù)測幀存儲器34中儲存的濾波處理后的解碼圖像，同時使用從切換開關(guān)41輸出的運動向量和幀間預(yù)測參數(shù)，實施針對解碼對象塊的幀間預(yù)測處理(運動補償預(yù)測處理)，生成幀間預(yù)測圖像(預(yù)測圖像)。
[0094]另外，由幀內(nèi)預(yù)測部42以及運動補償部43構(gòu)成預(yù)測圖像生成單元。
[0095]逆量化.逆變換部44實施如下處理:參照由可變長解碼部30可變長解碼了的預(yù)測差分編碼參數(shù)，對由可變長解碼部30可變長解碼了的壓縮數(shù)據(jù)進行逆量化，并且參照該預(yù)測差分編碼參數(shù)，實施針對作為逆量化后的壓縮數(shù)據(jù)的變換系數(shù)的逆正交變換處理，計算解碼預(yù)測差分信號。[0096]加法部45實施如下處理:對由逆量化.逆變換部44計算出的解碼預(yù)測差分信號表示的圖像、和由幀內(nèi)預(yù)測部42生成的幀內(nèi)預(yù)測圖像、或者由運動補償部43生成的幀間預(yù)測圖像進行加法，計算解碼對象塊的解碼圖像。
[0097]另外，由逆量化.逆變換部44以及加法部45構(gòu)成解碼圖像生成單元。
[0098]幀內(nèi)預(yù)測用存儲器46是儲存由加法部45計算出的解碼圖像的記錄介質(zhì)。
[0099]圖7是示出本發(fā)明的實施方式I的運動圖像解碼裝置的可變長解碼部30所內(nèi)置的運動向量可變長解碼部30a的結(jié)構(gòu)圖。
[0100]在圖7中，運動向量可變長解碼部30a的熵解碼部51實施如下處理:根據(jù)比特流中包含的運動向量信息碼字，對預(yù)測向量索引和差分向量進行可變長解碼。
[0101]運動向量預(yù)測向量候補計算部52實施如下處理:根據(jù)與解碼對象塊相鄰的已解碼的塊的運動向量以及運動補償預(yù)測幀存儲器34中儲存的參照幀的運動向量，計算解碼對象塊的運動向量的預(yù)測向量候補。
[0102]運動向量預(yù)測向量決定部53實施如下處理:從由運動向量預(yù)測向量候補計算部52計算出的I個以上的預(yù)測向量候補中，選擇由熵解碼部51可變長解碼了的預(yù)測向量索引表示的預(yù)測向量候補，將該預(yù)測向量候補作為預(yù)測向量輸出。
[0103]運動向量計算部54實施如下處理:對從運動向量預(yù)測向量決定部53輸出的預(yù)測向量和由熵解碼部51可變長解碼了的差分向量進行加法，計算解碼對象塊的運動向量。 [0104]在圖5的例子中，設(shè)想了作為運動圖像解碼裝置的構(gòu)成要素的可變長解碼部30、分割影像解碼部31、圖像存儲器32、環(huán)路濾波器部33以及運動補償預(yù)測幀存儲器34各自由專用硬件(例如安裝了 CPU的半導(dǎo)體集成電路、單片式微型計算機等)構(gòu)成的例子，但在運動圖像解碼裝置由計算機構(gòu)成的情況下，也可以將記述了可變長解碼部30、分割影像解碼部31以及環(huán)路濾波器部33的處理內(nèi)容的程序儲存到計算機的存儲器中，該計算機的CPU執(zhí)行在該存儲器中儲存的程序。
[0105]圖8是示出本發(fā)明的實施方式I的運動圖像解碼裝置的處理內(nèi)容(運動圖像解碼方法)的流程圖。
[0106]接下來，對動作進行說明。
[0107]在該實施方式I中，對如下運動圖像編碼裝置和運動圖像解碼裝置進行說明:運動圖像編碼裝置將影像的各幀圖像(圖片)作為輸入圖像，將圖片內(nèi)分割為作為I個以上的矩形區(qū)域的分塊，按照分塊單位，在鄰近幀間實施運動補償預(yù)測等，對所得到的預(yù)測差分信號實施利用正交變換.量化的壓縮處理，之后，進行可變長編碼來生成比特流，運動圖像解碼裝置對從該運動圖像編碼裝置輸出的比特流進行解碼。
[0108]圖1的運動圖像編碼裝置的特征在于，將影像的各幀圖像(圖片)分割為多個矩形區(qū)域(分塊)，并行地進行各分割圖像的編碼。因此，圖1的分割影像編碼部3也可以以能夠并行地進行多個分割圖像的編碼的方式，在物理上由多個分割影像編碼部構(gòu)成。
[0109]圖1的運動圖像編碼裝置的分割影像編碼部3的特征在于，適應(yīng)于影像信號表示的分塊的空間?時間方向的局部的變化，將分塊分割為各種尺寸的塊，進行幀內(nèi)?幀間自適應(yīng)編碼。
[0110]一般地,影像信號具有在空間.時間上信號的復(fù)雜性局部地變化的特性。在空間上觀察時，在某個影像幀上，例如，有時天空或壁等那樣的在比較寬的圖像區(qū)域中具有均勻的信號特性的圖樣、和人物或包括細致的紋理的繪畫等在小的圖像區(qū)域內(nèi)具有復(fù)雜的紋理圖案的圖樣混合存在。
[0111]即使在時間上觀察，天空或壁在局部上時間方向的圖樣的變化小，但關(guān)于活動的人物、物體，其輪廓在時間上進行剛體.非剛體的運動，所以時間上的變化大。
[0112]在編碼處理中，進行通過時間.空間上的預(yù)測，生成信號功率小、熵小的預(yù)測差分差信號，削減整體的符號量的處理，但如果能夠?qū)⒃陬A(yù)測中使用的參數(shù)均勻地應(yīng)用于盡可能大的圖像信號區(qū)域，則能夠減小該參數(shù)的符號量。
[0113]另一方面，如果針對在時間?空間上變化大的圖像信號圖案，將同一預(yù)測參數(shù)應(yīng)用于大的圖像區(qū)域，則預(yù)測的錯誤增加，所以預(yù)測差分信號的符號量增加。
[0114]因此，期望在時間?空間上變化大的區(qū)域中，減小應(yīng)用同一預(yù)測參數(shù)來進行預(yù)測處理的塊尺寸，增加在預(yù)測中使用的參數(shù)的數(shù)據(jù)量，降低預(yù)測差分信號的功率.熵。
[0115]在該實施方式I中，采用如下結(jié)構(gòu):為了進行適應(yīng)于這樣的影像信號的一般的性質(zhì)的編碼，將作為各分割圖像的分塊層次性地分割，針對各個分割區(qū)域的每一個，使預(yù)測處理、該預(yù)測差分的編碼處理自適應(yīng)化。
[0116]進而，采用如下結(jié)構(gòu):考慮各分割區(qū)域的圖片內(nèi)的連續(xù)性，而在時間方向上參照的信息(例如運動向量等)能夠跨越分割區(qū)域的邊界而參照參照圖片整體。
[0117]關(guān)于圖1的運動圖像編碼裝置作為處理對象的影像信號格式，除了由亮度信號和兩個色差信號構(gòu)成的YUV信號、從數(shù)字攝像元件輸出的RGB信號等任意的顏色空間的彩色影像信號以外，還有單 色圖像信號、紅外線圖像信號等影像幀由水平?垂直二維的數(shù)字采樣(像素)列構(gòu)成的任意的影像信號。
[0118]其中，各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。
[0119]在以下的說明中，為便于說明，只要沒有特別限定，設(shè)為輸入圖像的影像信號是YUV信號，并且對于處理兩個色差分量U、V針對亮度分量Y被子采樣了的4:2:0格式的信號的情況進行說明。
[0120]另外，將與影像信號的各幀對應(yīng)的處理數(shù)據(jù)單位稱為“圖片”。
[0121]在該實施方式I中，“圖片”作為被依次掃描(逐行掃描)的影像幀信號而進行說明，但在影像信號是隔行掃描信號的情況下，“圖片”也可以是作為構(gòu)成影像幀的單位的場圖像信號。
[0122]首先，說明圖1的運動圖像編碼裝置的處理內(nèi)容。
[0123]編碼控制部2具有接受分塊尺寸的設(shè)定的功能，決定將成為編碼對象的圖片分割為I個以上的分塊時的各分塊的尺寸(圖4的步驟STl)。
[0124]關(guān)于各分塊的尺寸，例如，既可以通過用戶使用鍵盤、鼠標等用戶接口來指定，也可以接收從外部發(fā)送的尺寸信息，通過該尺寸信息來設(shè)定。
[0125]圖9是示出將橫3840像素X縱2160像素的圖像均等地分割為4個分塊的例子的說明圖。
[0126]在圖9的例子中，各分塊的尺寸均勻，成為橫1920像素X縱1080的像素。
[0127]在圖9中，示出了將圖片均等地分割的例子，但也可以將圖片內(nèi)分割為不同的尺寸的分塊。
[0128]在編碼控制部2中，如果決定了各分塊的尺寸，則根據(jù)各分塊的尺寸，計算作為輸入圖像的圖片內(nèi)的各分塊的位置(步驟ST2)。
[0129]分塊分割部I如果輸入了表示圖片的影像信號，則按照由編碼控制部2決定的各分塊的尺寸，將該圖片分割為各個分塊，將各個分塊依次輸出到分割影像編碼部3(步驟ST3)。
[0130]編碼控制部2能夠按照像素單位來設(shè)定將圖片分割為I個以上的分塊時的各分塊的尺寸，但也可以按照根據(jù)后述對最大編碼塊進行層次分割的層次數(shù)的上限而決定的最小編碼塊尺寸的單位來設(shè)定。另外，也可以按照2的冪乘的次數(shù)，任意地決定分塊的尺寸的單位。例如，如果是2的O次冪，則能夠按照I像素單位來設(shè)定，如果是2的2次冪，則能夠按照4像素單位來設(shè)定。在該情況下，也可以作為表示分塊的尺寸的單位的參數(shù)，對指數(shù)(分塊尺寸的單位的對數(shù))進行編碼，根據(jù)分塊尺寸的單位對分塊的尺寸進行編碼。例如，在分塊尺寸的單位是8像素的情況下，分塊的尺寸能夠按照分塊尺寸的單位的整數(shù)倍、即8的倍數(shù)來設(shè)定，作為分塊尺寸的信息，對將分塊尺寸的縱、橫分別除以8而得到的值進行編碼。
[0131]或者，也可以將圖片內(nèi)分割為分塊尺寸的單位的小塊，將圖片內(nèi)以小塊的單位在按照光柵掃描順序編號了的小塊的位置處分割分塊(圖18)。在該情況下，分塊的形狀無需一定是矩形。另外，用對分塊的開頭的小塊附加的編號(地址)來表示分塊的尺寸(包括形狀)和位置信息，針對每個分塊對分塊的開頭的小塊的地址進行編碼即可。
[0132]另外，編碼控制部2決定成為編碼對象的分塊的編碼中使用的最大編碼塊的尺寸、和對最大編碼塊進行層次分割的層次數(shù)的上限(步驟ST4)。
[0133]作為最大編碼塊的尺寸的決定方法，例如，也可以針對圖片內(nèi)的所有分塊決定同一尺寸，也可以將分塊內(nèi)的影像信號的局部的運動的復(fù)雜性的差異定量化為參數(shù)，對運動劇烈的分塊決定小的尺寸，另一方面，對運動少的分塊決定大的尺寸。
[0134]作為分割層次數(shù)的上限的決定方法，例如，也可以在分塊內(nèi)的影像信號的運動劇烈的情況下，增加層次數(shù)，設(shè)定為能夠檢測更細致的運動，在運動少的情況下，設(shè)定為抑制層次數(shù)等，針對每個分塊自適應(yīng)地決定。
[0135]分割影像編碼部3的塊分割部10每當從分塊分割部I接收到分塊時，將該分塊分割為由編碼控制部2決定的最大編碼塊尺寸的圖像區(qū)域。
[0136]在編碼控制部2中，如果塊分割部10將分塊分割為最大編碼塊尺寸的圖像區(qū)域，則針對最大編碼塊尺寸的每個圖像區(qū)域，決定針對該圖像區(qū)域被層次性地分割為具有編碼塊尺寸的編碼對象塊的情況的各編碼對象塊的編碼模式，直至達到之前決定的分割層次數(shù)的上限(步驟ST5)。
[0137]此處，圖10是示出最大編碼塊被層次性地分割為多個編碼對象塊的例子的說明圖。
[0138]在圖10中，最大編碼塊是記載為“第O層次”的亮度分量具有(L°，M°)的尺寸的編碼對象塊。
[0139]將最大編碼塊作為出發(fā)點，層次性地進行分割，直至在四叉樹構(gòu)造中另外決定的規(guī)定的深度，從而得到編碼對象塊。
[0140]在深度η中，編碼對象塊是尺寸(Ln，Mn)的圖像區(qū)域。
[0141]其中，1^和Mn既可以相同，也可以不同，但在圖10中，示出了 Ln = M1^A情形。
[0142]以后，由編碼控制部2決定的編碼塊尺寸定義為編碼對象塊的亮度分量中的尺寸(Ln，Mn)。
[0143]由于進行四叉樹分割，所以(Ln，Mn) = (LV2, Mn/2)始終成立。
[0144]另外，在RGB信號等所有顏色分量具有同一采樣數(shù)的彩色影像信號(4:4:4格式)中，所有顏色分量的尺寸成為(Ln，Mn)，但在處理4:2:0格式的情況下，對應(yīng)的色差分量的編碼塊尺寸成為(Ln/2，Mn/2)。
[0145]以后，設(shè)為用Bn表示第η層次的編碼對象塊，用m(Bn)表示在編碼對象塊Bn中可選擇的編碼模式。
[0146]在由多個顏色分量構(gòu)成的彩色影像信號的情況下，編碼模式m(Bn)既可以構(gòu)成為針對每個顏色分量分別使用單獨的模式，也可以針對所有顏色分量使用共同的模式。以后，只要沒有特別限定，設(shè)為指示針對YUV信號、4:2:0格式的編碼塊的亮度分量的編碼模式來進行說明。
[0147]在編碼模式m(Bn)中，有一個或者多個幀內(nèi)編碼模式(總稱為“INTRA”)、和一個或者多個幀間編碼模式(總稱為“INTER”)，編碼控制部2從在該圖片中可利用的所有編碼模式、或者其子集合中，選擇針對編碼對象塊Bn的編碼效率最高的編碼模式。
[0148]進而，編碼對象塊Bn如圖11所示，通過塊分割部10，被分割為一個或者多個預(yù)測處理單位(分區(qū))。
[0149]以后，將屬于編碼對象塊Bn的分區(qū)記載為PinQ是第η層次中的分區(qū)編號)。
[0150]在編碼模式m(Bn)中，作為信息，包括如何進行編碼對象塊Bn的分區(qū)分割。
[0151]關(guān)于分區(qū)ΡΛ全部依照編碼模式m (Bn)進行預(yù)測處理，但能夠針對每個分區(qū)ΡΛ選擇單獨的預(yù)測參數(shù)。
[0152]編碼控制部2針對最大編碼塊，例如，生成圖11所示那樣的塊分割狀態(tài)，確定編碼對象塊。
[0153]圖11(a)的斜線部分表示分割后的分區(qū)的分布，在圖11(b)中，用四叉樹標志表示通過層次分割分配編碼模式m(Bn)的狀況。
[0154]圖11 (b)的□所包圍的節(jié)點是分配了編碼模式m(Bn)的節(jié)點(編碼對象塊)。
[0155]切換開關(guān)11在由編碼控制部2決定的編碼模式m(Bn)是幀內(nèi)編碼模式的情況On(Bn) e INTRA的情況)下，將從塊分割部10輸出的編碼對象塊Bn輸出到幀內(nèi)預(yù)測部12。
[0156]另一方面，在由編碼控制部2決定的編碼模式m(Bn)是幀間編碼模式的情況(m(Bn) e INTER的情況)下，將從塊分割部10輸出的編碼對象塊Bn輸出到運動補償預(yù)測部13。
[0157]在幀內(nèi)預(yù)測部12中，如果由編碼控制部2決定的編碼模式m(Bn)是幀內(nèi)編碼模式(m(Bn) e INTRA的情況)，且從切換開關(guān)11接收到編碼對象塊Bn (步驟ST6)，則參照在幀內(nèi)預(yù)測用存儲器18中儲存的局部解碼圖像，同時使用由編碼控制部2決定的幀內(nèi)預(yù)測參數(shù)，實施針對該編碼對象塊Bn內(nèi)的各分區(qū)Pi11的幀內(nèi)預(yù)測處理，生成幀內(nèi)預(yù)測圖像PINTEAin(步驟ST7)。
[0158]另外，圖像解碼裝置需要生成與幀內(nèi)預(yù)測圖像PINTEAin完全相同的幀內(nèi)預(yù)測圖像，所以將在幀內(nèi)預(yù)測圖像PINTKAin的生成中使用了的幀內(nèi)預(yù)測參數(shù)從編碼控制部2輸出到可變長編碼部7，復(fù)用到比特流。
[0159]在運動補償預(yù)測部13中，如果由編碼控制部2決定的編碼模式m(Bn)是幀間編碼模式(m (Bn) e INTER的情況)，且從切換開關(guān)11接收到編碼對象塊Bn (步驟ST6)，則比較該編碼對象塊Bn內(nèi)的各分區(qū)Pi11和在運動補償預(yù)測幀存儲器6中儲存的濾波處理后的局部解碼圖像來搜索運動向量，使用該運動向量和由編碼控制部2決定的幀間預(yù)測參數(shù)，實施針對該編碼對象塊Bn內(nèi)的各分區(qū)Pi11的幀間預(yù)測處理，生成幀間預(yù)測圖像PINTEKin(步驟ST8)。
[0160]另外，在運動補償預(yù)測幀存儲器6中儲存的局部解碼圖像是I圖片量，也可以跨越分塊邊界來生成幀間預(yù)測圖像pINTEKin。
[0161]另外，運動圖像解碼裝置需要生成與幀間預(yù)測圖像匕-^完全相同的幀間預(yù)測圖像，所以將在幀間預(yù)測圖像PINTEKin的生成中使用了的幀間預(yù)測參數(shù)從編碼控制部2輸出到可變長編碼部7，復(fù)用到比特流。
[0162]另外，將由運動補償預(yù)測部13搜索到的運動向量也輸出到可變長編碼部7，復(fù)用到比特流。
[0163]減法部14如果從塊分割部10接收到編碼對象塊Bn，則從該編碼對象塊Bn內(nèi)的分區(qū)PA減去由幀內(nèi)預(yù)測部12生成的幀內(nèi)預(yù)測圖像PINTKAin、或者減去由運動補償預(yù)測部13生成的幀間預(yù)測圖像PintekA將表示作為其減法結(jié)果的差分圖像的預(yù)測差分信號ein輸出到變換.量化部15(步驟ST9)。
[0164]變換.量化部15如果從減法部14接收到預(yù)測差分信號θΛ則參照由編碼控制部2決定的預(yù)測差分編碼參數(shù)，實施針對該預(yù)測差分信號ein的正交變換處理(例如DCT (離散余弦變換)、預(yù)先針對特定的學習系列進行了基底設(shè)計的KL變換等正交變換處理)，計算變換系數(shù)(步驟ST10)。
[0165]另外，變換 .量化部15參照該預(yù)測差分編碼參數(shù)，對該變換系數(shù)進行量化，將作為量化后的變換系數(shù)的壓縮數(shù)據(jù)輸出到逆量化.逆變換部16以及可變長編碼部7(步驟ST10)。
[0166]逆量化.逆變換部16如果從變換.量化部15接收到壓縮數(shù)據(jù)，則參照由編碼控制部2決定的預(yù)測差分編碼參數(shù)，對該壓縮數(shù)據(jù)進行逆量化(步驟ST11)。
[0167]另外，逆量化.逆變換部16參照該預(yù)測差分編碼參數(shù)，實施針對作為逆量化后的壓縮數(shù)據(jù)的變換系數(shù)的逆正交變換處理(例如逆DCT、逆KL變換等)，計算與從減法部14輸出的預(yù)測差分信號ein相當?shù)木植拷獯a預(yù)測差分信號(步驟ST11)。
[0168]加法部17如果從逆量化.逆變換部16接收到局部解碼預(yù)測差分信號，則將該局部解碼預(yù)測差分信號表示的圖像、和由幀內(nèi)預(yù)測部12生成的幀內(nèi)預(yù)測圖像PINTEAin、或者由運動補償預(yù)測部13生成的幀間預(yù)測圖像PINTEKin相加，從而作為局部解碼分區(qū)圖像、或者該局部解碼分區(qū)圖像的集群，計算與從塊分割部10輸出的編碼對象塊Bn相當?shù)木植拷獯a圖像(步驟STl2)。
[0169]另外，加法部17將該局部解碼圖像儲存到圖像存儲器4中，并且將該局部解碼圖像儲存到幀內(nèi)預(yù)測用存儲器18中。
[0170]該局部解碼圖像成為以后的幀內(nèi)預(yù)測用的圖像信號。
[0171]環(huán)路濾波器部5對在圖像存儲器4中儲存的局部解碼圖像，實施規(guī)定的濾波處理，將濾波處理后的局部解碼圖像儲存到運動補償預(yù)測幀存儲器6中(步驟ST16)。
[0172]另外，關(guān)于利用環(huán)路濾波器部5的濾波處理，既可以按照所輸入的局部解碼圖像的最大編碼塊或者各個編碼對象塊單位來進行，也可以在輸入了 I圖片量的局部解碼圖像之后集中I圖片量來進行。
[0173]另外，作為規(guī)定的濾波處理的例子，可以舉出以不使塊邊界的不連續(xù)性(塊噪聲)變得醒目的方式對塊邊界進行濾波的處理、以使所輸入的影像信號表示的圖片與局部解碼圖像之間的誤差成為最小的方式對局部解碼圖像的失真進行補償?shù)臑V波處理等。
[0174]其中，在進行以使圖片與局部解碼圖像之間的誤差成為最小的方式對局部解碼圖像的失真進行補償?shù)臑V波處理的情況下，需要在環(huán)路濾波器部5中參照表示圖片的影像信號，所以需要以將影像信號輸入到環(huán)路濾波器部5的方式，變更圖1的運動圖像編碼裝置。
[0175]反復(fù)實施步驟ST6~ST12的處理，直至針對層次性地分割的所有編碼塊Bn的處理完成，如果針對所有編碼塊Bn的處理完成，則轉(zhuǎn)移到步驟ST15的處理(步驟ST13、ST14)。
[0176]可變長編碼部7實施如下處理:對表示從編碼控制部2輸出的各分塊的矩形區(qū)域尺寸以及圖片中的各分塊的位置的分塊信息(分塊信息除了表示分塊的尺寸、分塊的位置的信息以外，還包括算術(shù)編碼處理的初始化指示標志、表示是否跨越分塊邊界來許可解碼像素的參照、各種編碼參數(shù)的參照的標志等)、從編碼控制部2輸出的各編碼對象塊的編碼參數(shù)(編碼模式、幀內(nèi)預(yù)測參數(shù)或者幀間預(yù)測參數(shù)、預(yù)測差分編碼參數(shù))、和從分割影像編碼部3輸出的各編碼對象塊的編碼數(shù)據(jù)(壓縮數(shù)據(jù)、運動信息(編碼模式是幀間編碼模式的情況))進行可變長編碼，生成復(fù)用了其編碼結(jié)果的比特流。
[0177]另外，可變長編碼部7對表示分塊分割部I是否將圖片分割為分塊的分割確認用標志進行可變長編碼，生成復(fù)用了該分割確認用標志的編碼結(jié)果的比特流。
[0178]但是，在分塊分割部I不是始終將圖片分割為分塊的情況下，無需將該分割確認用標志發(fā)送到運動圖像解碼裝 置，所以不進行該分割確認用標志的可變長編碼。
[0179]接下來，詳細說明幀內(nèi)預(yù)測部12的處理內(nèi)容。
[0180]圖12是示出編碼對象塊Bn內(nèi)的各分區(qū)Pi11可選擇的幀內(nèi)預(yù)測參數(shù)(幀內(nèi)預(yù)測模式)的一個例子的說明圖。
[0181]在圖12中，示出了幀內(nèi)預(yù)測模式、和該幀內(nèi)預(yù)測模式表示的預(yù)測方向向量。
[0182]幀內(nèi)預(yù)測部12參照分區(qū)Pi11的幀內(nèi)預(yù)測參數(shù)，實施針對該分區(qū)Pi11的幀內(nèi)預(yù)測處理，生成幀內(nèi)預(yù)測圖像PinteaA但此處，對根據(jù)針對分區(qū)Pin的亮度信號的幀內(nèi)預(yù)測參數(shù)(幀內(nèi)預(yù)測模式)，生成亮度信號的幀內(nèi)預(yù)測信號的幀內(nèi)預(yù)測處理進行說明。
[0183]此處，將分區(qū)Pi11的尺寸設(shè)為IinXmi11像素。
[0184]圖13是示出在生成Ii11 = !< = 4的情況的分區(qū)Pi11內(nèi)的像素的預(yù)測值時使用的像素的一個例子的說明圖。
[0185]在圖13中，將與分區(qū)Pi11相鄰的已編碼的上分區(qū)的像素(2Χ1>1)個、和左分區(qū)的像素(2Xmin)個作為在預(yù)測中使用的像素，但在預(yù)測中使用的像素也可以多于或者少于圖13所示的像素。
[0186]另外，在幀內(nèi)預(yù)測用存儲器18中儲存了編碼對象的分塊的局部解碼圖像，上分區(qū)或者左分區(qū)的像素并非編碼對象的分塊(當前分割圖像)內(nèi)的像素的情況下，依照規(guī)定的規(guī)則，用分塊內(nèi)的已編碼像素值或者恒定值來置換。
[0187]另外，在圖13中，在預(yù)測中使用相鄰的I行或者I列量的像素，但也可以在預(yù)測中使用2行或者2列、或者其以上的像素。
[0188]在針對分區(qū)Pi11的幀內(nèi)預(yù)測模式的索引值是2 (平均值預(yù)測)的情況下，將上分區(qū)的相鄰像素和左分區(qū)的相鄰像素的平均值作為分區(qū)Pin內(nèi)的像素的預(yù)測值而生成預(yù)測圖像。
[0189]在幀內(nèi)預(yù)測模式的索引值是2(平均值預(yù)測)以外的情況下，根據(jù)索引值表示的預(yù)測方向向量up = (dx，dy)，生成分區(qū)Pi11內(nèi)的像素的預(yù)測值。
[0190]如果將生成預(yù)測值的像素(預(yù)測對象像素)的分區(qū)Pf內(nèi)的相對坐標(將分區(qū)的左上像素作為原點)設(shè)為(X，y)，則在預(yù)測中使用的參照像素的位置成為下述L與相鄰像素的交點。
【權(quán)利要求】
1.一種運動圖像編碼裝置，其特征在于，具備: 分塊分割單元，將輸入圖像分割為作為指定的尺寸的矩形區(qū)域的分塊，輸出所述分塊； 編碼控制單元，決定成為實施預(yù)測處理時的處理單位的編碼塊被層次性地分割時的上限的層次數(shù)，并且決定確定各個編碼塊的編碼方法的編碼模式； 塊分割單元，將從所述分塊分割單元輸出的分塊分割為規(guī)定的尺寸的編碼塊，并且將所述編碼塊層次性地分割，直至達到由所述編碼控制單元決定的上限的層次數(shù)； 預(yù)測圖像生成單元，按照由所述編碼控制單元決定的編碼模式，實施針對由所述塊分割單元分割的編碼塊的預(yù)測處理來生成預(yù)測圖像； 圖像壓縮單元，對由所述塊分割單元分割的編碼塊和由所述預(yù)測圖像生成單元生成的預(yù)測圖像的差分圖像進行壓縮，輸出所述差分圖像的壓縮數(shù)據(jù)；以及 可變長編碼單元，對從所述圖像壓縮單元輸出的壓縮數(shù)據(jù)以及由所述編碼控制單元決定的編碼模式進行可變長編碼，并且對表示從所述分塊分割單元輸出的分塊的尺寸以及所述輸入圖像中的所述分塊的位置的分塊信息進行可變長編碼，生成復(fù)用了所述壓縮數(shù)據(jù)、所述編碼模式以及所述分塊信息的編碼數(shù)據(jù)的比特流。
2.根據(jù)權(quán)利要求1所述的運動圖像編碼裝置，其特征在于， 搭載了多臺分塊編碼裝置，該分塊編碼裝置具有塊分割單元、預(yù)測圖像生成單元以及圖像壓縮單元， 多個分塊編碼裝置并行地實施針對從分塊分割單元輸出的各分塊的處理。
3.—種運動圖像解碼裝置，其特征在于，具備: 可變長解碼單元，根據(jù)復(fù)用于比特流的編碼數(shù)據(jù)，對分塊信息進行可變長解碼，對與在所述分塊信息表示的尺寸的分塊內(nèi)層次性地分割的各個編碼塊有關(guān)的壓縮數(shù)據(jù)以及編碼模式進行可變長解碼； 預(yù)測圖像生成單元，按照與由所述可變長解碼單元可變長解碼了的編碼塊有關(guān)的編碼模式，實施針對所述編碼塊的預(yù)測處理來生成預(yù)測圖像； 解碼圖像生成單元，根據(jù)與由所述可變長解碼單元可變長解碼了的編碼塊有關(guān)的壓縮數(shù)據(jù)，生成壓縮前的差分圖像，對所述差分圖像和由所述預(yù)測圖像生成單元生成的預(yù)測圖像進行加法來生成解碼圖像；以及 解碼圖像存儲單元，將由所述解碼圖像生成單元生成的解碼圖像儲存到與由所述可變長解碼單元可變長解碼了的分塊信息表示的分塊的位置對應(yīng)的地址。
4.根據(jù)權(quán)利要求3所述的運動圖像解碼裝置，其特征在于， 搭載了多臺分塊解碼裝置，該分塊解碼裝置具有預(yù)測圖像生成單元以及解碼圖像生成單元， 多個分塊解碼裝置并行地實施針對各分塊的處理。
5.一種運動圖像編碼方法，其特征在于，具備: 分塊分割處理步驟，分塊分割單元將輸入圖像分割為作為指定的尺寸的矩形區(qū)域的分塊，輸出所述分塊； 編碼控制處理步驟，編碼控制單元決定成為實施預(yù)測處理時的處理單位的編碼塊被層次性地分割時的上限的層次數(shù)，并且決定確定各個編碼塊的編碼方法的編碼模式；塊分割處理步驟，塊分割單元將通過所述分塊分割處理步驟輸出的分塊分割為規(guī)定的尺寸的編碼塊，并且將所述編碼塊層次性地分割，直至達到由所述編碼控制處理步驟決定的上限的層次數(shù)； 預(yù)測圖像生成處理步驟，預(yù)測圖像生成單元按照在所述編碼控制處理步驟中決定的編碼模式，實施針對在所述塊分割處理步驟中分割的編碼塊的預(yù)測處理來生成預(yù)測圖像；圖像壓縮處理步驟，圖像壓縮單元對在所述塊分割處理步驟中分割的編碼塊和在所述預(yù)測圖像生成處理步驟中生成的預(yù)測圖像的差分圖像進行壓縮，輸出所述差分圖像的壓縮數(shù)據(jù)；以及 可變長編碼處理步驟，可變長編碼單元對通過所述圖像壓縮處理步驟輸出的壓縮數(shù)據(jù)以及在所述編碼控制處理步驟中決定的編碼模式進行可變長編碼，并且對表示通過所述分塊分割處理步驟輸出的分塊的尺寸以及所述輸入圖像中的所述分塊的位置的分塊信息進行可變長編碼，來生成復(fù)用了所述壓縮數(shù)據(jù)、所述編碼模式以及所述分塊信息的編碼數(shù)據(jù)的比特流。
6.一種運動圖像解碼方法，其特征在于，具備: 可變長解碼處理步驟，可變長解碼單元根據(jù)復(fù)用于比特流的編碼數(shù)據(jù)，對分塊信息進行可變長解碼，對與在所述分塊信息表示的尺寸的分塊內(nèi)層次性地分割的各個編碼塊有關(guān)的壓縮數(shù)據(jù)以及編碼模式進行可變長解碼； 預(yù)測圖像生成處理步驟，預(yù)測圖像生成單元按照與在所述可變長解碼處理步驟中可變長解碼了的編碼塊有關(guān)的編碼模式，實施針對所述編碼塊的預(yù)測處理來生成預(yù)測圖像； 解碼圖像生成處理步驟，解碼圖像生成單元根據(jù)與在所述可變長解碼處理步驟中可變長解碼了的編碼塊有關(guān)的壓縮數(shù)據(jù)，生成壓縮前的差分圖像，對所述差分圖像和在所述預(yù)測圖像生成處理步驟中生成的預(yù)測圖像進行加法來生成解碼圖像；以及 解碼圖像存儲步驟，解碼圖像存儲單元將在所述解碼圖像生成處理步驟中生成的解碼圖像儲存到與在所述可變長解碼處理步驟中可變長解碼了的分塊信息表示的分塊的位置對應(yīng)的地址。
【文檔編號】H04N19/96GK104025591SQ201280053489
【公開日】2014年9月3日 申請日期:2012年9月10日 優(yōu)先權(quán)日:2011年10月31日
【發(fā)明者】守屋芳美, 服部亮史, 伊谷裕介, 杉本和夫, 峯澤彰, 關(guān)口俊一, 日和佐憲道 申請人:三菱電機株式會社