專利名稱：圖像編碼方法
圖像編碼方法發(fā)明領(lǐng)域本發(fā)明涉及一種有效壓縮運動圖像的圖像編碼方法，以及一種對 此壓縮的運動圖像進行解碼的圖像解碼方法，以及它們的圖像編碼裝 置和圖像解碼裝置，并且，更具體地，涉及用于獲得高壓縮比的改進 技術(shù)。技術(shù)背景在這個對綜合處理音頻、視頻及其他像素值的多媒體時代中，現(xiàn) 有的信息媒體，即，報紙、雜志、電視、廣播、電話和其他用于向人 們傳遞信息的方式，近來已經(jīng)包括在多媒體的范圍中。通常，所說的 多媒體不僅表示字符，還有圖像，聲音，以及尤其是圖像等，它們彼 此相聯(lián)系。然而，為了將前面提到的現(xiàn)有的信息媒體包括在多媒體的 范圍中，絕對需要用數(shù)字的形式表示這樣的信息。然而，當(dāng)以數(shù)字信息量的形式計算包含在每一種前面所述的信息媒體中的信息量時，如果為字符時，每字符的信息量為1~2字節(jié)，如 果是聲音(電話音質(zhì))時，所需要的信息量是每秒鐘64k比特或者更高， 如果是運動圖像(目前的電視接收畫質(zhì))時，為每秒鐘100M比特或者 更高。因此，對于前面所述的信息媒體而言，當(dāng)如此大量的信息以數(shù) 字化的形式出現(xiàn)時，處理它們不現(xiàn)實的。例如，盡管視頻電話已經(jīng)通 過利用傳輸速率為64Kbit/s 1.5Mbit/s的綜合服務(wù)數(shù)字網(wǎng)絡(luò)(ISDN)投 入實用，但是不可能直接通過ISDN發(fā)送電視和攝像機的視頻。應(yīng)對這樣的情況，需要信息壓縮技術(shù)，例如，在視頻電話中應(yīng)用 符合由ITU-T(國際通信聯(lián)盟通信標準部)推薦的H.261和H.263標準 的運動圖像壓縮技術(shù)。并且,根據(jù)符合MPEG-1標準的信息壓縮技術(shù)，可以將圖像信息和音頻信息一起存儲在普通音樂CD(緊致盤)中。這里，MPEG(運動圖像專家組)是由ISO/正C(國際標準化組織/ 國際電氣技術(shù)委員會)進行標準化的關(guān)于運動圖像信號壓縮的國際標 準，MPEG-1是用于將電視信號信息壓縮至將近百分之一的標準，從 而運動圖像信號可以以1.5Mbit/s的速率傳輸。進一步地，由于由 MPEG-1標準獲得的傳輸速率為大約1.5Mbit/s的中等質(zhì)量速度，因 此，從滿足進一步改善圖像質(zhì)量的需求的意圖出發(fā)制定的MPEG-2， 允許以和電視廣播相同的質(zhì)量進行數(shù)據(jù)傳輸，運動圖像信號通過它以 2 15Mbit/s的速率傳輸。并且，推動MPEG-1和MPEG-2標準化的工 作組(IS0/IECJTC1/SC29/WG11)對MPEG-4進行了標準化。MPEG-4 提供了比MPEG-1和MPEG-2更高的壓縮率，并且能夠進行基于對 象的編碼/解碼/操作，能夠提供這個多媒體時代需要的新功能。在標 準化的幵始階段，MPEG-4的目標是提供低比特率的編碼方法，但是 它己經(jīng)擴展成為支持更多通用的處理隔行掃描圖像以及高比特率編 碼的編碼標準。目前，已經(jīng)由ISO/IEC和ITU-T聯(lián)合研究將MPEG-4 AVC和ITU-T H.264標準化，作為提供更高壓縮率的下一代編碼方 法。一般地，在運動圖像編碼中，通過減少時間和空間方向上的冗余 壓縮信息量。因此，在目標為減少時間冗余的圖像間預(yù)測編碼中，參 照前或后的圖像，逐塊地執(zhí)行運動預(yù)測和預(yù)測圖像生成，然后基于獲 得的預(yù)測圖像和當(dāng)前待編碼的圖像中的圖像的差值進行編碼。這里， 術(shù)語"圖像"代表一幅圖像。在逐行圖像的情況下，"圖像"表示幀，但 是，在隔行圖像的情況下，它表示幀或者場。這里，"隔行圖像"是包 括捕獲時間上分離的兩場的幀圖像。在隔行圖像的編碼和解碼中，可 以將一幀作為(l)跟本身一樣的一幀，(2)兩場，或者(3)在幀內(nèi)以每 塊為基礎(chǔ)的幀結(jié)構(gòu)或者場結(jié)構(gòu)而處理。通過不參照任何圖像的圖像內(nèi)預(yù)測進行編碼的圖像將被稱為I圖像。通過只參照一幅圖像的圖像間預(yù)測進行編碼的圖像將被稱為P圖 像。以及，通過同時參照兩幅圖像的使用圖像間預(yù)測編碼的圖像將被 稱為B圖像。對于B圖像，可以參照從在顯示順序上前面/后面圖像 的任意組合的兩幅圖像。對于作為基本編碼/解碼單元的每個塊，可 以確定參照圖像(參照圖像)。通過調(diào)用在編碼比特流中較先描述的參 照圖像作為第一參照圖像，以及通過調(diào)用在比特流中較晚描述的參照 圖像作為第二參照圖像，將在這些參照圖像之間做出區(qū)分。注意到， 作為對這些類型圖像編碼和解碼的條件，用于參照的圖像需要已經(jīng)被 編碼和解碼。P圖像和B圖像使用運動補償圖像間預(yù)測進行編碼。通過使用運動補償圖像間預(yù)測的編碼是在圖像間預(yù)測編碼中使用了運動補償?shù)?編碼方法。與僅僅基于一幅參考圖像中的像素值進行預(yù)測的方法不 同，運動估計是一種能夠改進預(yù)測精度并減少數(shù)據(jù)量的技術(shù)，這通過 估計圖像內(nèi)每一部分的運動量(下文中稱為"運動矢量")以及進一步在 考慮此運動量的情況下進行預(yù)測實現(xiàn)。例如，可以通過利用估計當(dāng)前 待編碼圖像的運動矢量并隨后利用對預(yù)測值和當(dāng)前編碼圖像之間的 預(yù)測殘差進行編碼，就可以通過運動補償減小數(shù)據(jù)量，其中所述預(yù)測值通過只轉(zhuǎn)換(shifting)相應(yīng)的運動矢量的量獲得。在此技術(shù)中，由于 在解碼時需要運動矢量信息，所以運動矢量同樣被以編碼形式記錄或 者發(fā)送。在逐宏塊的基礎(chǔ)上估算運動矢量。更具體地，宏塊應(yīng)該在當(dāng)前編 碼圖像中預(yù)先固定，從而通過在參考圖像中的搜索區(qū)域內(nèi)查找與此宏 塊最相似的參考塊的位置估算運動矢量。

圖1為說明了比特流的數(shù)據(jù)結(jié)構(gòu)的例子的簡圖。如圖1所示，該 比特流具有以下的層次結(jié)構(gòu)。該比特流(流)由多于一個的圖像組(GOP) 構(gòu)成。通過使用GOP作為基本編碼單元，使得既能夠編輯運動圖像 又能夠進行隨機訪問。每個GOP由多個圖像構(gòu)成，其中每個圖像為I圖像，P圖像，和B圖像中的一個。每一圖像進一步由多個片(slice) 構(gòu)成。每一片進一步由多個宏塊構(gòu)成，片為每一圖像中的帶狀區(qū)域。 并且，每個流，GOP，圖像，以及片包括用于表示每個單元結(jié)束點的 同步信號(sync)和所述的每個單元共有數(shù)據(jù)的標題(header)。注意，如果數(shù)據(jù)不是以形成序列流的比特流，而是以數(shù)據(jù)包等分 塊單元的形式發(fā)送，那么標題和與標題不同的數(shù)據(jù)部分，可以分別發(fā) 送。在此情況下，標題和數(shù)據(jù)部分將不被編入如圖1所示的相同的 比特流中。然而，在采用數(shù)據(jù)包的情況下，即使當(dāng)標題和數(shù)據(jù)部分不 是連續(xù)傳輸時，相應(yīng)于該數(shù)據(jù)部分的標題也只是在另一數(shù)據(jù)包中發(fā) 送。因此，即使當(dāng)標題和數(shù)據(jù)部分不編入同一比特流時，參照圖l所 述的編碼比特流的概念也可以用于數(shù)據(jù)包。圖2為示出了己有的圖像編碼裝置的結(jié)構(gòu)的框圖。在此附圖中， 圖像編碼裝置1是用于對輸入圖像信號Vin進行壓縮編碼的工具，從 而輸出已經(jīng)通過進行可變長度編碼等編碼成為比特流的編碼圖像信 號Str。此圖像編碼裝置1包括運動估計單元ME，運動補償單元MC， 減法單元Sub，正交變換單元T，量化單元Q,反量化單元IQ，反正 交變換單元IT，加法單元Add，圖像存儲器PicMem，開關(guān)SW，以 及可變長度編碼單元VLC。圖像信號Vin輸入到減法單元Sub和運動估計單元ME。減法單 元Sub基于逐塊計算在輸入圖像信號Vin中每一圖像和在每一預(yù)測圖 像之間的差，作為預(yù)測誤差，并將此計算的預(yù)測誤差輸出到正交變換 單元T。該正交變換單元T在預(yù)測誤差的基礎(chǔ)上進行正交變換，將其 變換為頻率系數(shù)，并將此頻率系數(shù)輸出至量化單元Q。該量化單元Q 將此輸入的頻率系數(shù)進行量化，并將該量化值Qcoef輸出至可變長度 編碼單元VLC。該反量化單元IQ對離散值Qcoef進行反量化，從而將它們變?yōu)?頻率系數(shù)，并將此頻率系數(shù)輸出至反正交變換單元IT。該反正交變換單元IT對此頻率系數(shù)進行逆頻率變換，從而將其轉(zhuǎn)換為預(yù)測誤差，并將此預(yù)測誤差輸出至加法單元Add。該加法單元Add將每一預(yù)測 誤差和從運動補償單元MC輸出的每一預(yù)測圖像相加，從而形成解碼 圖像。表示應(yīng)該保存此解碼圖像時該開關(guān)SW變?yōu)镺N，并且將此解 碼圖像保存到圖像存儲器PicMem中。同吋，基于宏塊接收圖像信號Vin的運動估計單元ME，從存儲 在圖像存儲器PicMem中的解碼圖像中探測最接近此輸入圖像信號 Vin的圖像區(qū)域，并確定表示此區(qū)域的位置的運動矢量MV。對通過 進一步分解宏塊得到的每個塊估算運動矢量。完成這一步后，可以使 用不止一幅圖像作為參照圖像。將利用標識號(參照索引Index)標識 用于估計運動矢量的參照圖像。存儲在圖像存儲器中PicMem中的各 個圖像的圖像號與參照索引Index相關(guān)聯(lián)?；谏鲜鎏幚碇刑綔y的運動矢量和參考索引Index,運動補償單 元MC從存儲在圖像存儲器PicMem中的解碼圖像中讀出最優(yōu)圖像作 為預(yù)測圖像?？勺冮L度編碼單元VLC對量化值Qcoef，參照索引Index,以及 運動矢量MV的每一個進行可變長度編碼，從而以編碼流Str輸出它 們。圖3為示出了己有圖像解碼裝置結(jié)構(gòu)的框圖。在此附圖中，為與 圖2所示的圖像編碼裝置的單元工作方式相同的單元分配了相同的 標記，并且省略了對它們的描述。可變長度解碼單元VLD將編碼流Str解碼為量化值Qcoef，參照 索引Index,以及運動矢量MV。將這些量化值Qcoef，參照索引Index， 以及運動矢量MV輸入至圖像存儲器PicMem，運動補償單元MC， 以及反量化單元IQ，在其中進行解碼處理。在此解碼過程中進行的 處理與在圖2中已有的圖像編碼裝置中進行的處理相同。(非專利文件)ITU-T Rec. H,264 | ISO/IEC 14496-10 AVC JointFinal Committee Draft of Joint Video Specification(2002-8-10)。然而，根據(jù)已有的圖像編碼裝置，難以對所有包含很多像素的圖 像和所有包含各種內(nèi)容的圖像采用高壓縮率。因而這樣的己有圖像編 碼裝置需要能夠在提供高壓縮率的同時提高圖像質(zhì)量。更具體地，該已有圖像編碼裝置使用固定尺寸的塊作為進行正交 變換的單元(正交變換尺寸)。這使得對于既包括具有諸如高、低分辨 率圖像這樣多種內(nèi)容的圖像，又包括在亮度和色彩上有多種或者不多 變化的圖像的運動圖像信號，難以獲得高壓縮率。原因是，舉個例子 說，在MPEG-I，MPEG-2 ，以及MPEG-4的情況下，正交變換尺寸 為8x8像素，然而，在MPEG-4AVC，艮口， ITU-TH.264的情況下， 正交變換的尺寸為4x4像素。在這一點上，由于像素間的相關(guān)性更強， 并且相對于低分辨率圖像而言，顯示器(例如CRT)的像素密度更高， 所以對于高分辨率圖像(例如HDTV)，人們相信使用更大的正交變換 尺寸更為理想。并且，在很多情況下，對于具有較少高頻分量的內(nèi)容， 使用較大的正交變換尺寸也更加理想，然而，對于具有大量高頻分量 的內(nèi)容，使用較小的正交變換尺寸更為理想。發(fā)明內(nèi)容本發(fā)明已經(jīng)從上述問題的角度進行了表述，本發(fā)明的目標是無論 圖像的分辨率和比特率或高或低，且無論在亮度和顏色上是否有很多 的變化，都能提供一種圖像編碼方法，圖像解碼方法，圖像編碼裝置， 圖像解碼裝置，以及它們的程序，用于進行高壓縮率編碼。為了達到上述目標，根據(jù)本發(fā)明的圖像編碼方法是基于逐塊對圖像進行編碼的圖像編碼方法，包括選擇步驟，在至少兩種尺寸中選 擇一種作為塊的尺寸，其中應(yīng)該對此塊進行正交變換；變換步驟，在 具有選擇的尺寸的塊上進行正交變換；編碼步驟，對在變換步驟中獲 得所述的塊的數(shù)據(jù)進行編碼；以及生成步驟，生成包括編碼塊數(shù)據(jù)和 關(guān)于在選擇步驟中所選尺寸的尺寸信息的碼流。利用這種結(jié)構(gòu)，由于選擇了正交變換尺寸，可以根據(jù)分辨率的高 低與否，比特率的高低與否，以及是否有多種亮度和顏色的變化，以 合適的方式進行正交變換。因此，可以將各種圖像以高壓縮率進行壓 縮。這里，該尺寸信息可以表明該尺寸是否是編碼流中預(yù)定區(qū)域內(nèi)的 固定塊尺寸，并且該預(yù)定區(qū)域可能是序列， 一組圖像，圖像，片，和 宏塊中的一種。利用上述結(jié)構(gòu)，對于上述每一種預(yù)定的區(qū)域，可以表明在編碼流 中用于正交變換的塊尺寸是否固定。這里，該尺寸信息可能表明在選擇步驟中選擇的尺寸是否為第一 尺寸和與所述第一尺寸不同的第二尺寸中的一種，并且該第一尺寸可能是由4乘4像素組成的塊的尺寸，該第二尺寸可能是由8乘8像素 組成的塊的尺寸。利用上述結(jié)構(gòu)，可以通過在用于4x4像素塊的第一尺寸和用于 8x8像素塊的第二尺寸之間進行選擇性轉(zhuǎn)換而提高壓縮率。這里，在變換步驟中，正交變換塊的數(shù)據(jù)可能通過使用相應(yīng)于所 述塊尺寸的加權(quán)矩陣被量化。利用上述結(jié)構(gòu)，在利用加權(quán)的方法量化正交變換頻率分量時，加 權(quán)矩陣被用于改變基于頻率分量的量化步驟的尺寸。通過使用相應(yīng)于 第一尺寸和第二尺寸中每一種尺寸的加權(quán)矩陣，就可以進一步改進編 碼效率。這里，在編碼步驟中，可以對相應(yīng)于該第二尺寸的加權(quán)矩陣進行 編碼，在生成步驟中，可以將所述的編碼加權(quán)矩陣編入編碼流。利用上述結(jié)構(gòu)，可以在圖像編碼和解碼方法中都將相應(yīng)于第一尺 寸的加權(quán)矩陣設(shè)置為默認加權(quán)矩陣，從而使得在圖像編碼方法中能夠 有選擇性的使用相應(yīng)于第二尺寸的加權(quán)矩陣。這里，在選擇步驟中，可以根據(jù)下列的至少一種，選擇第一尺寸或者第二尺寸中的一種，即根據(jù)編碼流的比特率；圖像的分辨率； 以及來自外界的指示。利用上述結(jié)構(gòu)，可以根據(jù)編碼流的比特率，圖像的分辨率，以及 來自外界的指示中的任意一個，靈活的選擇第一尺寸或者第二尺寸。如上所述，根據(jù)本發(fā)明的圖像編碼方法以及圖像解碼方法，可以 有效地壓縮任意種類的圖像，而無論圖像分辨率的高低，比特率的高 低，以及是否有多種亮度和顏色的變化。并且，可以通過根據(jù)本發(fā)明的圖像編碼裝置，圖像解碼裝置，及 其相應(yīng)的程序，獲得上述的效果。在這里并入于2003年2月21日提交的序號為60/449135的美國 臨時專利申請用于參考，作為關(guān)于本申請技術(shù)背景的進一步的信息。附圖簡述下面通過結(jié)合說明本發(fā)明特定實施例的附圖對其進行的描述，本 發(fā)明的這些以及其他目標，優(yōu)點和特征將是顯而易見的。圖中圖1為說明了比特流的數(shù)據(jù)結(jié)構(gòu)的例子的簡圖； 圖2為示出了已有圖像編碼裝置構(gòu)成的框圖， 圖3為示出了已有圖像解碼裝置構(gòu)成的框圖； 圖4為示出了根據(jù)本發(fā)明的實施例的圖像編碼裝置構(gòu)成的框圖； 圖5A 5G為簡圖，示出了在內(nèi)部圖像編碼時，用于運動補償?shù)?塊尺寸；圖6A為框圖，示出了 16x16像素的亮度(Iuma)宏塊以及它的正 交變換塊；圖6B為框圖，示出了 8x8像素的色度宏塊以及它的正交變換塊； 圖7A為示出了用于8x8像素塊的加權(quán)矩陣的簡圖； 圖7B為示出了用于4x4像素塊的加權(quán)矩陣的簡圖； 圖8為流程圖，示出了在根據(jù)本發(fā)明的實施例的圖像編碼裝置中 進行的編碼過程；圖9A 9C為簡圖，示出了每個編碼流中在何處插入尺寸信息； 圖10A 10C為簡圖，示出了在每個基于每個GOP(per-GOP)的編碼流中，在何位置插入尺寸信息和加權(quán)矩陣；圖11A 11C為簡圖，示出了在每個基于每個片段(per-slice)的編碼流的中，在何位置插入尺寸信息和加權(quán)矩陣；圖12為流程圖，示出了圖像編碼過程的變化的例子；圖13為流程圖，示出了在從8x8加權(quán)矩陣導(dǎo)出4x4加權(quán)矩陣的情況下，進行的圖像編碼過程；圖14為框圖，示出了根據(jù)本發(fā)明的實施例的圖像解碼裝置的構(gòu)成；圖15為流程圖，示出了由根據(jù)本發(fā)明的實施例的圖像解碼裝置 進行的可變長度解碼過程；圖16為流程圖，示出了在從W8mat加權(quán)矩陣導(dǎo)出W4mat加權(quán) 矩陣的情況下，進行的圖像解碼過程；圖17A-17C為說明存儲程序的記錄介質(zhì)的簡圖，該程序用于通 過計算機系統(tǒng)，實現(xiàn)根據(jù)上述實施例的圖像編碼方法和圖像解碼方 法；圖18為示出了內(nèi)容提供系統(tǒng)整體構(gòu)成的框圖； 圖19為簡圖，示出了采用圖像編碼方法和圖像解碼方法的手機 的外觀視圖；圖20為示出了該手機的構(gòu)成的框圖；以及圖21為示出了數(shù)字廣播系統(tǒng)的整體構(gòu)成的簡圖。實施本發(fā)明的最佳方式下面參照圖4 21描述了本發(fā)明的實施例； <圖像編碼裝置>圖4為框圖，示出了根據(jù)本發(fā)明的實施例的圖像編碼裝置的構(gòu) 成。在此附圖中，圖像編碼裝置1包括判定單元DE，運動估計單元ME，運動補償單元MC，減法單元Sub，正交變換單元T1，量化單 元Q1，反量化單元IQ1，反正交變換單元IT1，加法單元Add，圖像 存儲器PicMem，開關(guān)SW，可變長度編碼單元VLC1 。判定單元DE判定(l)將由正交變換單元Tl對其進行正交變換的 塊的塊尺寸Tsize(下文中稱為"正交變換尺寸")以及(2)加權(quán)矩陣 Wmatrix，其用于改變在量化單元Ql中使用的量化矩陣。存在兩種 正交變換尺寸Tsize，第一尺寸和第二尺寸，其基于每個宏塊進行有 選擇性判定。這里，第一尺寸將表示4x4像素，第二尺寸將表示8x8 像素。至于加權(quán)矩陣Wmatrix，對于第一尺寸有加權(quán)矩陣W4，對于 第二尺寸有加權(quán)矩陣W8?；诰幋a的當(dāng)前圖像的分辨率，在亮度和顏色上是否有很多變 化(高頻分量)，以及編碼流Str的比特率等，判定正交變換尺寸。例 如，判定單元DE以下列方式選擇正交變換尺寸-例l:當(dāng)前編碼圖像的分辨率水平等于或者大于第一閾值時，判 定單元DE選擇第二尺寸，而當(dāng)前編碼圖像的分辨率水平小于第一閾 值時，判定單元DE選擇第一尺寸。HDTV等的分辨率水平可以作為 第一閾值；例2:編碼后的比特率等于或者大于第二閾值時，判定單元DE 選擇第二尺寸，而編碼后的比特率小于第二閾值時，判定單元DE選 擇第一尺寸。例如，第二閾值可以是10Mbps;并且例3:從前面的正交變換的結(jié)果中，判定單元DE判斷高頻分量 的數(shù)量，并且當(dāng)此高頻分量的數(shù)量大于第三閾值的時候，選擇第二尺 寸，而當(dāng)此數(shù)量小于第三閾值時，判定單元DE選擇第一尺寸。換句 話說，在這里利用對高于第"n"階的頻率系數(shù)的數(shù)量或者值進行計數(shù)， 判斷是否有大量的高頻分量。在上述的例子1 3中，判定單元DE可以根據(jù)用于運動補償?shù)膲K 尺寸進一步判定正交變換尺寸。圖5A 5G為簡圖，示出了在中間圖像編碼時用于運動補償?shù)膲K 尺寸(下文中稱為"運動補償尺寸")。這些圖中，圖5A示出了 16x16 像素的運動補償尺寸，圖5B示出了 16x8像素，圖5C示出了 8x16 像素，圖5D示出了8x8像素。進一步地，圖5D中示出的8x8像素的運動補償尺寸可以進一步分割成下面的尺寸之一，用作運動補償尺 寸圖5E所示的8x4像素，圖5F所示的4x8像素，圖5G所示的4x4 像素。在用作運動補償尺寸的塊尺寸和用作正交變換尺寸的塊尺寸之 間最好具有一致性，從而簡化處理并且在塊邊界上的贗像不會擴散。 考慮到這些，判定單元DE以這樣一種方法判定正交變換尺寸，在此 方法中正交變換尺寸變得小于運動補償尺寸。更具體地，在中間圖像編碼的情況下，當(dāng)運動補償尺寸為圖 5A 5D中所示(16xl6像素，16x8像素，8x16像素，8x8像素)時，包 含有正好一個或者更多個圖5D所示的8x8像素塊。在這些情況下， 由于通過在8x8像素塊基礎(chǔ)上進行正交變換獲得更高的效率，判定單 元DE將選擇第二尺寸(8x8像素)作為正交變換尺寸。同時，當(dāng)運動 補償尺寸比如圖5E 5G所示的8x8像素小時，判定單元DE將選擇 第一尺寸(4x4像素)。判定單元DE在第一尺寸和第二尺寸之間轉(zhuǎn)換正交變換尺寸越 頻繁，則圖像編碼裝置和圖像解碼裝置的結(jié)構(gòu)變得越復(fù)雜。但是，利 用它可以獲得更好的編碼效率。注意到判定單元DE可以基于片段/圖像/GOP/序列，而不是基于宏塊，判定正交變換尺寸。并且，在從圖像編碼裝置外部說明正交變 換尺寸的情況下，判定單元DE可以使用此說明的尺寸作為正交變換 尺寸Tsize。運動補償單元MC根據(jù)由運動估計單元ME估算的運動矢量讀 取參考塊，從而從此參考塊生成預(yù)測圖像，并將此生成的預(yù)測圖像輸 出到減法單元Sub。為每個塊輸出預(yù)測圖像，其中該塊具有從圖5A 5G所示的運動補償尺寸中選擇的運動補償尺寸。減法單元Sub計算在圖像信號Vin中的圖像和對于每個具有從 圖5A 5G所示的運動補償尺寸中選擇的運動補償尺寸的塊的預(yù)測圖 像之間的差異，作為預(yù)測誤差，并且將此計算的預(yù)測誤差輸出到正交 變換單元T1。正交變換單元T1對預(yù)測誤差進行正交變換，從而將其轉(zhuǎn)換為針 對每個具有從判定單元DE輸出的正交變換尺寸Tsize的塊的頻率系 數(shù)，并且將該結(jié)果輸出到量化單元Q。這里，參照圖6A和6B，描述 了在正交變換尺寸Tsize為第二尺寸(8x8像素)的情況下，所進行的正 交變換。在圖6A左側(cè)所示的為16x16像素的亮度宏塊。由于在內(nèi)部 圖像編碼的情況下，第二尺寸被指定為正交變換尺寸Tsize，因此正 交變換單元Tl基于8x8像素塊進行正交變換。進一步地，如圖6A 右側(cè)所示，正交變換單元Tl綜合四個經(jīng)過正交變換的8x8像素塊的 四個DC分量，以生成2x2像素亮度DC塊，然后對此亮度DC塊進 行2x2像素塊正交變換。注意，可能會省略生成亮度DC塊和進行2x2 像素塊正交變換。同時，由于在中間圖像編碼的情況下，第二尺寸被 指定為正交變換尺寸Tsize，因此正交變換單元Tl基于8x8像素塊進 行正交變換。在此情況下，將不會進行生成亮度DC塊和進行正交變 換。圖6B左側(cè)所示的為8x8像素色度宏塊。 一般地，對于圖像信號 而言，色度信號相對于亮度信號，在水平和垂直方向上都只有一半數(shù) 量的像素。這樣，在色度宏塊中的像素數(shù)量為8x8像素。在內(nèi)部圖像 編碼的情況下，正交變換單元Tl基于4x4像素塊進行正交變換，此 像素塊是指定為正交變換尺寸Tsize的第二尺寸的尺寸的一半。然后， 正交變換單元Tl綜合四個經(jīng)過正交變換的4x4色度塊的四個DC分 量，以生成一個2x2像素色度DC塊,然后基于此色度DC塊進行2x2 像素塊正交變換。注意，可能會省略生成色度DC塊和進行2x2像素塊正交變換。同時，由于在中間圖像編碼的情況下，正交變換單元Tl基于4x4像素塊進行正交變換，其中該像素塊尺寸是被指定為正 交變換尺寸Tsize的第二尺寸的尺寸一半。在此情況下，將不會進行 生成色度DC塊和進行2x2像素塊正交變換。如上所述，當(dāng)正交變換尺寸Tsize指定第二尺寸時，在內(nèi)部圖像 編碼的情況下，正交變換單元T1對亮度塊和色度塊進行兩步正交變 換，而在中間圖像編碼的情況下，進行單步正交變換。同時，當(dāng)正交 變換尺寸Tsize表示第一尺寸時，由于在第一尺寸和第二尺寸之間的 差別是在塊尺寸上的不同，所以正交變換單元T1進行如在第二尺寸 情況下的正交變換，但是在內(nèi)部圖像編碼和中間圖像編碼的情況下都 將進行單步編碼。量化單元Ql將從正交變換單元Tl輸入的4x4-或者8x8像素頻 率系數(shù)塊量化，并且將量化的值Qcoef輸入到可變長度編碼單元 VLC。由此，量化單元Ql根據(jù)由判定單元DE確定的加權(quán)矩陣 Wmatrix對量化矩陣加權(quán)，并且使用此加權(quán)量化矩陣對該頻率系數(shù)塊 進行量化。圖7A和7B為說明加權(quán)矩陣的簡圖。當(dāng)正交變換的尺寸 為第一尺寸時，從判定單元DE輸入的加權(quán)矩陣Wmatrix將為圖7B 所示的4x4像素加權(quán)矩陣W4mat，而當(dāng)正交變換的尺寸為第二尺寸 時，加權(quán)矩陣Wmatrix將為圖7A所示的8x8像素加權(quán)矩陣W8mat。 通過使用加權(quán)矩陣，在對正交變換的頻率分量量化時，量化步驟的尺 寸基于每個頻率分量變化。眾所周知，在MPEG-2中使用加權(quán)矩陣提 高了編碼效率，由于在本實施例中，在多個正交變換尺寸間進行切換， 以此可以通過對每個正交變換尺寸采用不同的加權(quán)矩陣，進一步提高 編碼效率。在圖7A中，W8i,j("i"和"j"分別為0~7中的任意數(shù)字)表示 將施加到八行中第"i"行和八列中第"j，，列分量上的權(quán)重。在圖7B中， W4i，j("i"和"j"分別為0~3中的任意數(shù)字)表示將施加到四行中第"i"行 和四列中第"j"列分量上的權(quán)重。反量化單元IQ1對量化值Qcoef進行反量化，從而將它們轉(zhuǎn)換 為頻率系數(shù)，并且將此頻率系數(shù)輸出到反正交變換單元IT1。換句話 說，根據(jù)從判定單元DE輸入的加權(quán)矩陣Wmatrix，反量化單元IQ1 進行與量化單元Ql所進行的處理相反的處理。反正交變換單元IT1對從反量化單元IQ1接收的頻率系數(shù)塊進 行反頻率變換，以將其變換為預(yù)測誤差，并將此預(yù)測誤差輸出到加法 單元Add。換句話說，針對每個具有從判定單元DE輸入的正交變換 尺寸Tsize的塊，反正交變換單元IT1進行與正交變換單元Tl進行的 處理相反的處理。針對每個具有與己由減法單元Sub在上面進行過處理的塊相同 運動補償尺寸的塊，加法單元Add將預(yù)測誤差與從運動補償單元MC 輸出的預(yù)測圖像相加，并生成解碼圖像。當(dāng)表示此解碼圖像應(yīng)該保存時開關(guān)SW變?yōu)镺N，并且將該解碼 圖像保存到圖像存儲器PicMem中。同時，基于宏塊接收圖像信號Vin的運動估計單元ME，從存儲 在圖像存儲器PicMem中的解碼圖像中估算最靠近此輸入圖像信號 Vin的圖像區(qū)域，并確定表示此區(qū)域位置的運動矢量MV。對于每個 利用進一步分割宏塊獲得的塊進行估算運動矢量。當(dāng)完成這一步之 后，可以使用多于一幅圖像作為參考圖像。用于估算運動矢量的參考 圖像將由標識號(參考索引Index)表示。存儲在圖像存儲器PicMem中的各幅圖像的圖像編號與參考索引相關(guān)聯(lián)。基于在上述步驟中探測的運動矢量和參考索引Index,運動補償 單元MC從存儲在圖像存儲器PicMem中的解碼圖像中讀取最佳圖像 作為預(yù)測圖像。可變長度編碼單元VLC1對于每個量化值Qcoef，參考索引 Index,以及運動矢量MY進行可變長度編碼，以將它們作為編碼流 Str輸出。在此過程中，可變長度編碼單元VLC1根據(jù)每個正交變換尺寸Tsize生成尺寸信息TsizeFlag,并對此尺寸信息TsizeFlag和加權(quán) 矩陣Wmatrix進行編碼。有兩種類型的加權(quán)矩陣Wmatrix:用于8x8 正交變換的加權(quán)矩陣W8mat和用于4x4正交變換的加權(quán)矩陣W4mat。圖8為流程圖，示出了在根據(jù)本實施例的圖像編碼裝置中進行的 編碼過程。判定單元DE基于每個宏塊確定正交編碼尺寸Tsize和加 權(quán)矩陣Wmatrix (SIO)。將基于此確定的正交變換尺寸Tsize和加權(quán)矩 陣Wmatrix進行正交變換和量化。進一步地，對于每個預(yù)定的部分， 即，下列部分中的某一個序列，GOP，圖像，片，以及宏塊，可變 長度編碼單元VLC1按照使得表示Tsize的尺寸信息TsizeFlag被編入 編碼流Str的方式進行編碼。這里，尺寸信息TsizeFlag為下列意義中 的任意一種(A)在預(yù)定部分中的所有正交變換尺寸為8x8像素；(B) 在預(yù)先確定的部分中的所有正交變換尺寸為4x4像素；以及(C)在預(yù) 先確定的部分中不知道所有正交變換尺寸為8x8像素還是4x4像素 (即，4x4像素塊和8^8像素塊混用)。注意，并不需要將所有的尺寸 信息TsizeFlag(A) (C)相互區(qū)分開，因此可能只在例如(A)和(C)之間， (B)和(C)之間進行區(qū)分。進一步地，當(dāng)不應(yīng)該有4x4和8x8正交變換 混用時，可能只在(A)和(B)之間進行區(qū)分。如圖9A所示，當(dāng)基于每個GOP將尺寸信息TsizeFlag編碼作為 預(yù)定部分時，可變長度編碼單元VLC1判斷是否此部分內(nèi)的所有的正 交變換尺寸Tsize為第二尺寸(8x8像素)或者第一尺寸(4x4像素)(Sll 和S12)。當(dāng)判斷的結(jié)果表明只有8x8像素塊時，可變長度編碼單元VLC1 對表示GOP中所有的正交變換塊尺寸都為8x8像素的尺寸信息 TsizeFlag進行編碼(S13)，并且對用于8x8像素塊的加權(quán)矩陣W8mat 進行編碼(S14)。圖10B示出了在此情況下生成的編碼流Str。當(dāng)判斷的結(jié)果表明只有4x4像素塊時，可變長度編碼單元VLC1 對表示GOP中所有的正交變換塊尺寸都為4x4像素的尺寸信息TsizeFlag進行編碼(S15)，并且對用于4x4像素塊的加權(quán)矩陣W4mat 進行編碼(S16)。圖10C示出了在此情況下生成的編碼流Str。當(dāng)判斷的結(jié)果表明既不能將全部正交變換塊歸為8x8像素塊，也 不能全部歸為4x4像素塊時(即，混合使用它們)，可變長度編碼單元 VLC1對表示GOP中所有的正交變換塊尺寸不僅僅為4x4像素或者 8x8像素的尺寸信息TsizeFlag進行編碼(S17)，并且對用于4x4像素 塊的加權(quán)矩陣W4mat和用于8x8像素塊的加權(quán)矩陣W8mat進行編碼 (S18)。圖10A示出了在此情況下生成的編碼流Str。注意，為了通知 解碼裝置每個宏塊的正交變換尺寸Tsize為第一尺寸還是第二尺寸， 可變長度編碼單元VLC1最好采用基于宏塊編入正交變換尺寸Tsize 的方式進行編碼。在上面的描述中，給出了在可變長度編碼單元VLC1基于每個 GOP對尺寸信息TsizeFlag進行編碼的情況下的例子，但是可變長度 編碼單元VLC1可以基于每個片段對尺寸信息TsizeFlag進行編碼， 如圖9B所示。在此情況下，將如圖11A 11C所示對加權(quán)矩陣進行編 碼。圖11A示出了在預(yù)定部分內(nèi)部混合第一尺寸和第二尺寸的情況 下，編碼流的結(jié)構(gòu)。在此編碼流的報頭中，(在將要編碼的當(dāng)前圖像 之前)對表示上述兩種正交變換尺寸混和的尺寸信息TsizeFlag進行編 碼，并且將8x8正交變換加權(quán)矩陣W8mat和4x4正交變換加權(quán)矩陣 W4mat在尺寸信息TsizeFlag之后編碼。注意，8x8正交變換加權(quán)矩 陣W8mat和4x4正交變換加權(quán)矩陣W4mat不必按照此順序，因此這 兩種類型的矩陣可以確定為按照相反的順序排列。圖IIB示出了在預(yù) 定部分內(nèi)只使用第二尺寸進行正交變換的情況下，編碼流的結(jié)構(gòu)。在 此編碼流的報頭中，(在將要編碼的當(dāng)前圖像之前)對表示8x8正交變 換尺寸的尺寸信息TsizeFlag進行編碼，并且將8x8正交變換加權(quán)矩 陣W8mat在尺寸信息TsizeFlag之后編碼。圖11C示出了在預(yù)定部分內(nèi)部只使用第一尺寸進行正交變換的情況下，編碼流的結(jié)構(gòu)。在此編碼流的報頭中，(在將要編碼的當(dāng)前圖像之前)對表示4x4正交變換尺 寸的尺寸信息TsizeFlag進行編碼，并且將4><4正交變換加權(quán)矩陣 W4mat在尺寸信息TsizeFlag之后編碼。進一步地，如圖9C所示，可變長度編碼單元VLC1可以基于宏 塊對尺寸信息TsizeFlag進行編碼。然而，在圖9C的情況下，可以對 正交變換尺寸Tsize本身而不是尺寸信息TsizeFlag進行編碼。上述的 圖9A 9C，分別表示在何處插入尺寸信息TsizeFlag。在對于構(gòu)成大 量圖像的每個流或者序列，將正交變換尺寸轉(zhuǎn)換到另一尺寸的情況 下，最好將尺寸信息TsizeFlag插入到每個流或者序列的頂部，如圖 9A所示。在整個流或者序列中尺寸和圖像質(zhì)量變化不大的情況下， 這是有效的。同時，在圖像內(nèi)容按照一幅一幅圖像改變，并且因此對 于每個圖像需要將正交變換尺寸轉(zhuǎn)換到另一尺寸的情況下，最好將尺 寸信息TsizeFlag置于每幅圖像的頂部，如圖9B所示。進一步地，在 宏塊的基礎(chǔ)上需要將正交變換尺寸轉(zhuǎn)換到另一尺寸的情況下，最好將 尺寸信息TsizeFlag置于每個宏塊的頂部，如圖9C所示。<變化>(1) 圖12為流程圖，示出了圖8所示的圖像編碼過程的變化的 例子。此附圖示出了當(dāng)在上述的尺寸信息TsizeFlag(B)和(C)之間進行 區(qū)分的情況下，進行的編碼處理。與圖8中顯示的步驟相同的步驟分 配了相同的標記。利用此結(jié)構(gòu)，尺寸信息TsizeFlag說明了上述在預(yù) 定部分中是否所有的正交變換尺寸都為4M像素，并且將用1比特表 示這種說明。(2) 最好為每個加權(quán)矩陣W8mat和加權(quán)矩陣W4mat設(shè)置最優(yōu) 值。然而，當(dāng)判定單元DE基于每個流或者每個圖像確定加權(quán)矩陣 Wmatrix時，可以從加權(quán)矩陣W4mat導(dǎo)出加權(quán)矩陣W8mat，反之亦 然。圖13為流程圖，示出了在從加權(quán)矩陣W8mat導(dǎo)出加權(quán)矩陣 W4mat的情況下，進行的圖像編碼過程。相對圖8所示的流程圖， 該流程圖新加入了步驟19。為與圖8中步驟相同的步驟分配了相同 的標記，并省略了對其的描述。這里，只描述了圖8和9的不同點。 在步驟S19中，可變長度編碼單元VLC1按照下列方式從8x8加權(quán)矩 陣W8mat導(dǎo)出4x4加權(quán)矩陣W4mat，并對導(dǎo)出的加權(quán)矩陣W4mat 進行編碼W4 i，j=K*W8 2i，2j("i"和"j"分別為0~3中任意一個，"K"為常數(shù))注意，正交變換單元T1按照類似的方式導(dǎo)出加權(quán)矩陣W4mat， 以使用它進行正交變換。還要注意，可變長度編碼單元VLC1可以不對導(dǎo)出的4x4加權(quán)矩 陣W4mat進行編碼。并且，甚至當(dāng)在這些類型的編碼中已經(jīng)按照相同的正交變換尺寸 進行處理后，量化單元Q1和反量化單元IQ1也可以對內(nèi)部圖像編碼 和中間圖像編碼使用不同的加權(quán)矩陣。進一步地，量化單元Q1和反 量化單元IQ1可以對亮度信號和色度信號使用不同的加權(quán)矩陣。同樣，量化單元Ql和反量化單元IQ1可以從大量的加權(quán)矩陣中 選擇用于量化的加權(quán)矩陣。進一步地，量化單元Q1和反量化單元IQ1可以使用只針對較大 正交變換尺寸(例如第二尺寸)的加權(quán)矩陣對量化矩陣進行加權(quán)，其中 使用加權(quán)矩陣特別有效，并且不能使用加權(quán)矩陣對針對另一尺寸(第 一尺寸)的量化矩陣進行加權(quán)。<圖像解碼裝置>圖14為框圖，示出了根據(jù)本發(fā)明的本實施例的解碼工具的構(gòu)成。 在此附圖中，為與圖4中所示圖像編碼裝置中顯示的元件相同的 元件分配了相同的標記，并因此省略了對它們的描述。由可變長度編碼單元VLD1對編碼流Str進行解碼。此解碼的結(jié)果包括加權(quán)矩陣Wmatrix和正交變換尺寸Tsize。反量化單元IQ1使 用加權(quán)矩陣Wmatrix對量化矩陣進行加權(quán)，并且使用該加權(quán)的量化矩 陣進行反量化。反正交變換單元IT1根據(jù)確定的正交變換尺寸Tsize 進行反正交變換。其他的操作與圖3的框圖中描述操作相同，圖3示 出了實現(xiàn)現(xiàn)有圖像解碼方法的圖像解碼裝置。圖15為流程圖，示出了由本實施例的圖像解碼裝置進行的可變 長度解碼過程。如此附圖中所示，可變長度解碼單元VLD1對合并在 編碼流Str中的尺寸信息TsizeFlag進行解碼(S30)，并判斷此尺寸信 息TsizeFlag是否表示只存在具有第二尺寸(8x8像素)的塊(S31)。當(dāng)判 斷只存在具有第二尺寸的塊的時候，可變長度解碼單元VLD1對加權(quán) 矩陣W8mat進行解碼(S33)。同時，當(dāng)此尺寸信息TsizeFlag不表示只 應(yīng)用了 8x8正交變換，并且當(dāng)此尺寸信息TsizeFlag表示只存在具有 第一尺寸(4x4像素)的塊的時候(S32),可變長度解碼單元VLDl對4x4 加權(quán)矩陣W4mat進行解碼(S34)。進一步地，當(dāng)尺寸信息TsizeFlag不 表示只應(yīng)用了 4x4正交變換時，可變長度解碼單元VLD1對8x8加 權(quán)矩陣W8mat和4x4加權(quán)矩陣W4mat進行解碼(S35)。然后根據(jù)此 解碼的結(jié)果進行反量化和反正交變換。注意，當(dāng)沒有加權(quán)矩陣W4mat在編碼流Str中編碼時，圖像解碼 裝置可以從加權(quán)矩陣W8mat導(dǎo)出加權(quán)矩陣W4mat。圖16為流程圖， 示出了在從加權(quán)矩陣W8mat導(dǎo)出加權(quán)矩陣W4mat的情況下，進行的 圖像解碼過程。相對圖15，此流程圖新增加了步驟S36。在步驟S36 中，按照與圖13中所示的步驟S19相同的方式，從加權(quán)矩陣W8mat 導(dǎo)出加權(quán)矩陣W4mat。如上所述，根據(jù)本實施例的圖像解碼裝置能夠正確地對由圖4所 示的圖像編碼裝置編碼的編碼流Str進行解碼。注意，上述正交變換 尺寸Tsize為可以從可變長度解碼單元VLDl獲得。然而，在正交變 換尺寸Tsize被轉(zhuǎn)換為依賴于上述的運動補償塊尺寸的另一尺寸的情況下，可以基于此運動補償塊尺寸導(dǎo)出正交變換尺寸Tsize。進一步地，如果在上述實施例中用于實現(xiàn)圖像編碼方法和圖像解 碼方法的程序被記錄在例如軟盤的記錄介質(zhì)上的時候，那么可以在獨 立的計算機系統(tǒng)中方便地進行上述實施例中給出的過程。圖17A， 17B，和17C為簡圖，說明了存儲用于實現(xiàn)根據(jù)上述實 施例的圖像編碼方法和圖像解碼方法的程序的記錄介質(zhì)。圖17B示出了軟盤外部視圖的頂視圖，它的剖面示意圖，以及 軟盤本身，而圖17A說明了軟盤作為記錄介質(zhì)本身的物理形式的例 子。軟盤FD容納在外殼F中，在軟盤FD的表面上從外圍開始，沿 著徑向形成大量的同心磁道Tr，每條磁道在角度方向上被分為16個 扇區(qū)Se。因此，在存儲上述程序的軟盤中，作為此程序的圖像編碼 方法和圖像解碼方法被記錄在軟盤FD上分配給它的區(qū)域上。同時圖17C示出了用于在軟盤FD上記錄和從上面讀取程序的結(jié) 構(gòu)。當(dāng)要在軟盤FD上記錄實現(xiàn)上述圖像編碼方法和圖像解碼方法 的程序的時候，將通過計算機系統(tǒng)Cs，利用軟盤驅(qū)動器FDD寫入 此程序。同時，當(dāng)要利用軟盤FD上的程序在計算機系統(tǒng)Cs中建立 圖像編碼方法和圖像解碼方法的時候，將通過軟盤驅(qū)動器FDD從軟 盤FD中讀取該程序，然后發(fā)送至計算機系統(tǒng)Cs。上面給出的描述基于記錄介質(zhì)為軟盤的假設(shè)，但是也可能使用光 盤。此外，記錄介質(zhì)不局限于此，可以使用如IC卡，ROM盒式磁帶 之類的任何其他能夠記錄程序的介質(zhì)。下面描述了在上述實施例中所示的圖像編碼方法和圖像解碼方 法的應(yīng)用實例，以及使用它們的系統(tǒng)。圖18為框圖，示出了實現(xiàn)內(nèi)容分配服務(wù)的內(nèi)容提供系統(tǒng)ex100 的整體結(jié)構(gòu)。提供通信服務(wù)的區(qū)域被分成所需尺寸的小區(qū)，基站 exl07 exll0位于各小區(qū)內(nèi)，其中基站為固定無線站。在此內(nèi)容提供系統(tǒng)exlOO中，如計算機exlll， PDA(個人數(shù)字助理)exl12，攝像機exl13，手機exl14，以及帶攝像機的手機exl15這 樣的設(shè)備通過互聯(lián)網(wǎng)服務(wù)提供商exl02，電話網(wǎng)絡(luò)exl04，以及基站 exl07 ex110，分別連接到互聯(lián)網(wǎng)exl01上。然而，內(nèi)容提供系統(tǒng)exlOO不局限于如圖18所示的組合，并且 可以用它們中任意組合相連。同樣，每個設(shè)備可以直接連接電話網(wǎng)絡(luò) exl04，而不通過固定無線基站exl07 ex110。攝像機exll3是諸如數(shù)字視頻攝像機此類能夠拍攝運動圖像的設(shè) 備。手機可以為PDC(個人數(shù)字通訊)系統(tǒng)，CDMA(碼分多址)系統(tǒng)， W-CDMA(寬帶碼分多址)系統(tǒng)或者GSM(全球數(shù)字移動通訊系統(tǒng))系 統(tǒng)，PHS(個人手提電話)系統(tǒng)等的手機，并且可以是它們當(dāng)中的任意 一種。進一步地，流服務(wù)器exl03通過基站exl09以及電話網(wǎng)絡(luò)exl04 連接到攝像機exl13，能夠基于用戶利用使用攝像機exl13傳輸?shù)木?碼數(shù)據(jù)，實現(xiàn)實時分配等功能。攝像機exll3或者服務(wù)器等能夠進行 數(shù)據(jù)發(fā)送處理的設(shè)備可以對拍攝的數(shù)據(jù)進行編碼。同樣，利用照相機 exl16拍攝的圖像數(shù)據(jù)可以通過計算機exlll發(fā)送到流服務(wù)器exl03， 照相機exl16是諸如數(shù)字相機之類的能夠拍攝靜態(tài)和運動圖像的設(shè) 備。在這種情況下，照相機exll6或者計算機ex111可以對運動圖像 數(shù)據(jù)進行編碼。在這種情況下，包含在計算機exlll或者照相機exl16 中的LSI exl17進行編碼處理。注意用于編碼和解碼的軟件可以一起 存儲在某種存儲介質(zhì)中(如CD-ROM，軟盤以及硬盤)，此存儲介質(zhì)是 能夠被計算機exlll等讀取的記錄介質(zhì)。進一步地，裝備有攝像機的 手機exl15可以發(fā)送運動圖像數(shù)據(jù)。利用包含在手機exl15中的LSI 對此運動圖像數(shù)據(jù)進行編碼。在此內(nèi)容提供系統(tǒng)ex100中，按照與上述實施例相同的方式對己 經(jīng)由用戶利用攝像機ex113、照相機exll6等拍攝的內(nèi)容(例如，音樂 現(xiàn)場視頻)進行編碼，并發(fā)送到流服務(wù)器ex103，并且流服務(wù)器ex103按照客戶機的請求向它們進行內(nèi)容數(shù)據(jù)的流的分配。這里的客戶機包括計算機exlll， PDAexl12，攝像機exl13,手機exll4等能夠?qū)ι?述編碼數(shù)據(jù)進行解碼的設(shè)備。具有上述結(jié)構(gòu)的內(nèi)容提供系統(tǒng)ex100為 能夠使客戶機接收并再現(xiàn)編碼數(shù)據(jù)，并通過允許客戶機實時接收，解 碼以及再現(xiàn)數(shù)據(jù)，實現(xiàn)個人廣播的系統(tǒng)。上述實施例中提出的圖像編碼裝置和圖像解碼裝置可以用于在 組成上述系統(tǒng)中的每個設(shè)備中進行編碼和解碼。給出了對手機的說明作為例子。圖19為簡圖，示出了采用上面實施例中所述圖像編碼方法和圖 像解碼方法的手機ex115。手機exll5具有用于向/從基站exl10發(fā) 射/接收無線電波的天線ex201，能夠拍攝視頻和靜止圖像的攝像單元 ex203，如CCD照相機，用于顯示數(shù)據(jù)的顯示單元ex202，如液晶顯 示器，其通過對由攝像單元ex203拍攝的視頻等和通過天線ex201接 收的視頻等進行解碼獲得此數(shù)據(jù)，裝有一組操作按鍵ex204的主體， 用于輸出聲音的聲音輸出單元ex208，如揚聲器，用于輸入聲音的聲 音輸入單元ex205，如麥克風(fēng)，用于存儲編碼數(shù)據(jù)和解碼數(shù)據(jù)的記錄 介質(zhì)ex207，數(shù)據(jù)為諸如由照相機拍攝的運動圖像和靜態(tài)圖像數(shù)據(jù)， 接收的電子郵件數(shù)據(jù)和運動圖像數(shù)據(jù)或者靜態(tài)圖像數(shù)據(jù)，以及用于使 記錄介質(zhì)ex207能夠連接到手機exl15的插槽單元ex206。記錄介質(zhì) ex207采用閃存器件，這是一種EEPROM(電可擦除與可編程只讀存 儲器)，為可電擦除以及重寫的非易失性的存儲器，裝在塑料盒中， 如SD卡。下一步，參照圖20，對手機exl15進行了描述。在手機exl15 中，主控單元ex311主要用于控制顯示單元ex202，且具有操作按鍵 ex204的主體的每個單元的配置方式是其中使得電源電路單元 ex310，操作輸入控制單元ex304，圖像編碼單元ex312，攝像機接口 單元ex303， LCD(液晶顯示屏)控制單元ex302，圖像解碼單元ex309，多路復(fù)用/解復(fù)用單元ex308，記錄/再現(xiàn)單元ex307，調(diào)制解調(diào)器電路 單元ex306，以及聲音處理單元ex305通過同步總線ex313互連。當(dāng)用戶操作打開通話結(jié)束(call-end)按鍵或者電源按鍵時，電源電 路單元ex310從電池塊向每個單元供電，并且激活裝有攝像機的數(shù)字 手機exl15，使其處于準備狀態(tài)。在手機exl15中，在主控單元ex311控制下，聲音處理單元ex305 將利用聲音輸入單元ex205在通話模式下接收的語音信號轉(zhuǎn)化為數(shù) 字語音數(shù)據(jù)，主控單元ex311包括CPU， ROM, RAM等，調(diào)制解調(diào) 器電路單元ex306對其進行擴頻處理，發(fā)射/接收電路單元ex301對 該數(shù)據(jù)進行數(shù)模轉(zhuǎn)換處理與頻率變換處理，以通過天線ex201發(fā)射結(jié) 果。同樣，在手機exll5中，在通話模式下由天線ex201接收的數(shù)據(jù) 被放大并進行頻率變換處理與模數(shù)轉(zhuǎn)換處理，調(diào)制解調(diào)器電路單元 ex306對結(jié)果進行逆擴頻處理，聲音處理單元ex305將其轉(zhuǎn)化為模擬 語音數(shù)據(jù)，以通過聲音輸出單元ex208將其輸出。進一步地，當(dāng)在數(shù)據(jù)通信模式中發(fā)送電子郵件時，通過主體上操 作按鍵ex204輸入的電子郵件的文本數(shù)據(jù)通過操作輸入控制單元 ex304送到主控單元ex311。在主控單元ex311中，經(jīng)過調(diào)制解調(diào)器 電路單元ex306對該文本數(shù)據(jù)進行擴頻處理，并且發(fā)射/接收電路單 元ex301對其進行數(shù)模轉(zhuǎn)換處理和頻率變換處理，處理的結(jié)果通過天 線ex201發(fā)射至基站ex110。當(dāng)在數(shù)據(jù)通信模式中發(fā)射圖像數(shù)據(jù)時，由攝像單元ex203拍攝的 圖像數(shù)據(jù)通過攝像機接口單元ex303提供給圖像編碼單元ex312。當(dāng) 沒有發(fā)射圖像數(shù)據(jù)時，也可以通過攝像機接口單元ex303和LCD控 制單元ex302在顯示單元ex202上直接顯示由攝像單元ex203拍攝的 此圖像數(shù)據(jù)。包括根據(jù)本發(fā)明的圖像編碼裝置的圖像編碼單元ex312，使用上 述實施例中給出的圖像編碼裝置所采用的編碼方法，對由攝像單元ex203提供的圖像數(shù)據(jù)進行壓縮編碼，從而將其轉(zhuǎn)化為編碼圖像數(shù)據(jù)， 并將其發(fā)送至多路復(fù)用/解復(fù)用單元ex308。在這時候，當(dāng)攝像單元 ex203進行拍攝的時候，手機exll5通過聲音處理單元ex305，以數(shù) 字語音數(shù)據(jù)的形式將利用聲音輸入單元ex205接收的語音發(fā)送到多 路復(fù)用/解復(fù)用單元ex308。多路復(fù)用/解復(fù)用單元ex308使用預(yù)定的方法，對由圖像編碼單 元ex312提供的編碼圖像數(shù)據(jù)和由聲音處理單元ex305提供的語音數(shù) 據(jù)進行復(fù)用，調(diào)制解調(diào)器電路單元ex306對得到的復(fù)用數(shù)據(jù)進行擴頻 處理，并且發(fā)射/接收電路單元ex301對結(jié)果進行數(shù)模轉(zhuǎn)換處理和頻 率變換處理，以通過天線ex201發(fā)射經(jīng)過處理的數(shù)據(jù)。在數(shù)據(jù)通信模式中，當(dāng)接收與網(wǎng)頁等鏈接的運動圖像文件數(shù)據(jù) 時，調(diào)制解調(diào)器電路單元ex306對通過天線ex201從基站exllO接收的接收信號進行逆擴頻處理，并將得到的復(fù)用數(shù)據(jù)發(fā)送至多路復(fù)用/ 解復(fù)用單元ex308。為了對通過天線ex201接收的復(fù)用數(shù)據(jù)進行解碼，多路復(fù)用/解 復(fù)用單元ex308將復(fù)用數(shù)據(jù)分為圖像數(shù)據(jù)的編碼比特流和語音數(shù)據(jù) 的編碼比特流，并且通過同步總線ex313將此編碼圖像數(shù)據(jù)提供給圖 像解碼單元ex309，將語音數(shù)據(jù)提供給聲音處理單元ex305。下面，包括根據(jù)本發(fā)明的圖像解碼裝置的圖像解碼單元ex309， 使用與上述實施例所示的編碼方法對應(yīng)的解碼方法，對圖像數(shù)據(jù)的編 碼比特流數(shù)據(jù)進行解碼，以生成用于再現(xiàn)的運動圖像數(shù)據(jù)，并通過 LCD控制單元ex302將此數(shù)據(jù)提供給顯示單元ex202。從而，比如說， 顯示包括在與網(wǎng)頁鏈接的運動圖像文件中的運動圖像數(shù)據(jù)。同時，聲 音處理單元ex305將語音數(shù)據(jù)轉(zhuǎn)換為模擬語音信號，然后將其提供給 聲音輸出單元ex208。從而，比如說，再現(xiàn)包含在與網(wǎng)頁鏈接的運動 圖像文件中的語音數(shù)據(jù)。注意到上述系統(tǒng)不是唯一的例子，因此，在衛(wèi)星/地面數(shù)字廣播己經(jīng)成為最近談?wù)摰脑掝}的背景下，至少上述實施例中的圖像編碼裝 置或者圖像解碼裝置可以被如圖21所示的數(shù)字廣播系統(tǒng)采用。更具體地，在廣播站ex409中，利用無線電波向用于通信或者廣播的衛(wèi)星 ex410發(fā)射視頻信息的編碼比特流。接收到它之后，廣播衛(wèi)星ex410 發(fā)射無線電波用于廣播，裝備有衛(wèi)星廣播接收設(shè)備的機房的天線 ex406接收此無線電波，諸如電視(接收機)ex401和機頂盒(STP)ex407 之類的裝置對此編碼比特流進行解碼并再現(xiàn)該解碼數(shù)據(jù)。上述實施例 中所述的圖像解碼裝置可以應(yīng)用在再現(xiàn)裝置ex403中，用于對記錄在 存儲介質(zhì)ex402上的編碼比特流進行讀取和解碼，存儲介質(zhì)ex402為 如CD和DVD的記錄介質(zhì)。在此情況下，在監(jiān)視器ex404上顯示再 現(xiàn)的視頻信號。也可以設(shè)想，該圖像解碼裝置應(yīng)用在與用于有線電視 的電纜ex405或者用于衛(wèi)星/地面廣播的天線ex406相連的機頂盒 ex407中，從而在電視監(jiān)視器ex408上再現(xiàn)它。在此情況下，電視機 而不是機頂盒可能采用該圖像解碼裝置?；蛘撸b有天線ex411的汽 車ex412可以從衛(wèi)星ex410，基站exl07等接收信號，以在顯示器， 比如裝在汽車ex412上的車載導(dǎo)航系統(tǒng)ex413上再現(xiàn)運動圖像。進一歩地，也可以利用上述實施例給出的圖像編碼裝置，對圖像 信號進行編碼并在記錄介質(zhì)上記錄結(jié)果。例子包括用于將圖像信號記 錄在DVD光盤ex421上的DVD記錄器，以及記錄器ex420，例如用于將圖像信號記錄在硬盤上的硬盤記錄器。并且，圖像信號還可以記 錄在SD卡ex422中。如記錄器ex420裝備有上述實施例中給出的圖 像解碼裝置，就可以再現(xiàn)記錄在DVD光盤ex421或者SD卡ex422 中，并將其顯示在監(jiān)視器ex408上。可以設(shè)想，在圖20所示的配置之外，將沒有攝像單元ex203和 攝像機接口單元ex303的配置作為車載導(dǎo)航系統(tǒng)ex413的配置。同樣 也適用于計算機exlll，電視(接收機)ex401等。至于諸如手機exl14的終端，具有編碼器和解碼器的發(fā)射/接收終端，以及只具有編碼器的發(fā)射終端和只具有解碼器的接收終端都可 能成為實施的形式。如上所述，可以將上述實施例中給出的圖像編碼方法和圖像解碼 方法應(yīng)用到上述的設(shè)備與系統(tǒng)中的任意一個中。因此，可以獲得上述 實施例中描述的效果。通過這樣的發(fā)明描述，顯然可以以多種方法改變本發(fā)明的實施 例。這樣的改變不被視為背離本發(fā)明的精神和范圍，并且對于本領(lǐng)域 的技術(shù)人員，所有這樣的修改將顯而易見并且包含在下述的權(quán)利要求 的范圍內(nèi)。工業(yè)應(yīng)用本發(fā)明適合用于以逐塊為基礎(chǔ)對圖像進行編碼的圖像編碼裝置以及圖像解碼裝置，還適用于分配運動圖像的Web服務(wù)器，用于接 收此運動圖像的網(wǎng)絡(luò)終端，能夠記錄和再現(xiàn)運動圖像的數(shù)字攝像機， 裝有攝像機的手機，DVD錄像機/播放器，PDA，個人計算機等。
權(quán)利要求
1、一種基于逐塊方式對圖像數(shù)據(jù)進行編碼的圖像編碼方法，包括選擇第一尺寸和第二尺寸中之一作為應(yīng)被執(zhí)行正交變換的塊的正交變換尺寸；對具有所選正交變換尺寸的塊進行正交變換，并且獲得所得到的變換系數(shù)；利用與所選正交變換尺寸相一致的加權(quán)矩陣，對所述變換系數(shù)進行量化；以及對所述量化的變換系數(shù)進行可變長度編碼，并輸出所得到的編碼流。
2、 如權(quán)利要求l所述的圖像編碼方法，其中所述選擇步驟包括當(dāng)對于應(yīng)被執(zhí)行正交變換的塊進行圖像 間預(yù)測編碼時，基于運動補償塊尺寸選擇所述正交變換尺寸。
3、 如權(quán)利要求2所述的圖像編碼方法， 其中所述第一尺寸小于所述第二尺寸，而且， 所述選擇步驟包括當(dāng)所述運動補償塊尺寸小于所述第二尺寸時，選擇所述第一 尺寸作為所述正交變換尺寸。
4、 如權(quán)利要求1所述的圖像編碼方法，還包括 將尺寸信息加入所述編碼流中，所述尺寸信息指示包含在所述圖像數(shù)據(jù)中的預(yù)定單元內(nèi)的所有塊的正交變換尺寸是所述第一尺寸，還 是所述第一尺寸和所述第二尺寸的混合。
5、 如權(quán)利要求4所述的圖像編碼方法，其中所述尺寸信息置于 所述編碼流中的每個圖像內(nèi)。
6、 如權(quán)利要求l所述的圖像編碼方法，其中，所述第一尺寸指示4像素高、4像素寬的塊的尺寸；以及所述第二尺寸指示8像素高、8像素寬的塊的尺寸。
全文摘要
本發(fā)明的圖像編碼方法是基于逐塊方式對圖像數(shù)據(jù)進行編碼的圖像編碼方法，包括選擇第一尺寸和第二尺寸中之一作為應(yīng)被執(zhí)行正交變換的塊的正交變換尺寸；對具有所選正交變換尺寸的塊進行正交變換，并且獲得所得到的變換系數(shù)；利用與所選正交變換尺寸相一致的加權(quán)矩陣，對所述變換系數(shù)進行量化；以及對所述量化的變換系數(shù)進行可變長度編碼，并輸出所得到的編碼流。
文檔編號H04NGK101247524SQ20081008386
公開日2008年8月20日 申請日期2004年2月18日 優(yōu)先權(quán)日2003年2月21日
發(fā)明者小塚雅之, 柏木吉一郎, 角野真也, 路久懷 申請人:松下電器產(chǎn)業(yè)株式會社