專利名稱：圖像處理裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置和圖像處理方法，具體地講，涉及一種能夠以可伸縮方 式低延遲地對通過對圖像編碼獲得的編碼數(shù)據(jù)進(jìn)行解碼的圖像處理裝置和圖像處理方法。
背景技術(shù)：
到目前為止已知的典型圖像壓縮方式包括JPEG(聯(lián)合圖像專家組)和由IS0(國 際標(biāo)準(zhǔn)組織)進(jìn)行了標(biāo)準(zhǔn)化的JPEG2000。最近已積極研究了通過組合高通濾波器和低通濾波器的濾波器(該濾波器稱為 濾波器組(filter bank))把圖像分成多個(gè)頻帶并在每個(gè)頻帶中執(zhí)行編碼的方式。在這些 方式中，在高壓縮中沒有塊失真(該失真是DCT (離散余弦變換)的問題)的小波變換編碼 有望成為替代DCT的新技術(shù)。在2001年1月完成了國際標(biāo)準(zhǔn)化的JPEG2000采用組合該小波變換和高效熵編碼 (位平面單位的位建模和算術(shù)編碼)的方式，并相對于JPEG實(shí)現(xiàn)了編碼效率的顯著提高。該JPEG2000還被選擇作為用于數(shù)字影院標(biāo)準(zhǔn)(DCI (Digital Cinema Initiative) 標(biāo)準(zhǔn))的標(biāo)準(zhǔn)編解碼器，并且已開始用于諸如電影等的運(yùn)動圖像的壓縮。另外，各制造商已 開始銷售把JPEG2000應(yīng)用于監(jiān)控?cái)z像機(jī)、用于廣播臺的新聞搜集攝像機(jī)、安保記錄器等的產(chǎn)品。然而，JPEG2000基本上對畫面(picture)單位進(jìn)行編碼和解碼，因此當(dāng)為了把 JPEG2000用于實(shí)時(shí)發(fā)送和接收而要實(shí)現(xiàn)低延遲時(shí)，在編碼時(shí)產(chǎn)生至少一個(gè)畫面的延遲以及 在解碼時(shí)產(chǎn)生至少一個(gè)畫面的延遲。不僅對于JPEG2000如此，對于諸如AVC(高級視頻編碼)-Intra、JPEG等的任 何編解碼器也是如此。然而，最近已提出通過把屏幕分成許多矩形片或塊并彼此獨(dú)立地 對這些矩形片或塊進(jìn)行編碼和解碼來縮短延遲時(shí)間的手段(例如，參見日本專利特開 No.2007-311924)。

發(fā)明內(nèi)容
然而，如在通常的JPEG2000中一樣，這種方法不能執(zhí)行可伸縮解碼，所述可伸縮 解碼通過從一個(gè)編碼的碼流中僅提取該編碼的碼流的一部分(該部分對應(yīng)于多個(gè)分辨率 或多個(gè)圖像質(zhì)量)并對編碼的碼流的該部分進(jìn)行解碼來獲得目標(biāo)分辨率或圖像質(zhì)量?？紤]到這種情況而提出本發(fā)明。希望以以可伸縮方式低延遲地對通過對圖像編碼 獲得的編碼數(shù)據(jù)進(jìn)行解碼。根據(jù)本發(fā)明的實(shí)施例，提供了一種圖像處理裝置，包括選擇裝置，用于從通過對 包括各子頻帶的系數(shù)數(shù)據(jù)組的行塊進(jìn)行編碼而產(chǎn)生的編碼數(shù)據(jù)中選擇與產(chǎn)生預(yù)定分辨率 的解碼圖像所需的子頻帶的系數(shù)數(shù)據(jù)對應(yīng)的編碼數(shù)據(jù)，所述行塊是通過經(jīng)分級分析濾波處 理把預(yù)定行數(shù)的圖像數(shù)據(jù)分解到各頻帶而產(chǎn)生的并且至少包括一行或多行的最低頻分量 的子頻帶的系數(shù)數(shù)據(jù)；解碼裝置，用于對由所述選擇裝置選擇的編碼數(shù)據(jù)進(jìn)行解碼；和合成濾波裝置，用于以分級方式執(zhí)行合成濾波處理，合成通過由所述解碼裝置對所述編碼數(shù) 據(jù)進(jìn)行解碼而獲得的所述系數(shù)數(shù)據(jù)，并產(chǎn)生所述預(yù)定分辨率的解碼圖像。所述圖像處理裝置還包括解密裝置，該解密裝置用于對所述編碼數(shù)據(jù)進(jìn)行解密， 其中，所述選擇裝置可基于所述解密裝置的解密結(jié)果把所述編碼數(shù)據(jù)分割成與各層中的所 述系數(shù)數(shù)據(jù)的一行對應(yīng)的各個(gè)編碼數(shù)據(jù)，并從所分割的編碼數(shù)據(jù)中選擇與產(chǎn)生預(yù)定分辨率 的解碼圖像所需的子頻帶的系數(shù)數(shù)據(jù)對應(yīng)的編碼數(shù)據(jù)。所述解密裝置能夠通過對所述編碼數(shù)據(jù)進(jìn)行解密來提取關(guān)于與各層中的所述系 數(shù)數(shù)據(jù)的一行對應(yīng)的編碼數(shù)據(jù)的碼量的信息，該信息被包括在所述編碼數(shù)據(jù)中，并且所述 選擇裝置能夠基于所述碼量把所述編碼數(shù)據(jù)分割成與各層中的所述系數(shù)數(shù)據(jù)的一行對應(yīng) 的各個(gè)編碼數(shù)據(jù)，并從所分割的編碼數(shù)據(jù)中選擇與產(chǎn)生預(yù)定分辨率的解碼圖像所需的子頻 帶的系數(shù)數(shù)據(jù)對應(yīng)的編碼數(shù)據(jù)。 所述解密裝置能夠通過對所述編碼數(shù)據(jù)解密來檢測指示與各層中的所述系數(shù)數(shù) 據(jù)的一行對應(yīng)的編碼數(shù)據(jù)的邊界的標(biāo)記，該標(biāo)記被包括在所述編碼數(shù)據(jù)中，并且所述選擇 裝置能夠基于所述標(biāo)記的檢測結(jié)果把所述編碼數(shù)據(jù)分割成與各層中的所述系數(shù)數(shù)據(jù)的一 行對應(yīng)的各個(gè)編碼數(shù)據(jù)，并從所分割的編碼數(shù)據(jù)中選擇與產(chǎn)生預(yù)定分辨率的解碼圖像所需 的子頻帶的系數(shù)數(shù)據(jù)對應(yīng)的編碼數(shù)據(jù)。所述圖像處理裝置還包括系數(shù)數(shù)據(jù)重新排列裝置，該系數(shù)數(shù)據(jù)重新排列裝置用于 把通過由所述解碼裝置對編碼數(shù)據(jù)進(jìn)行解碼而獲得的所述系數(shù)數(shù)據(jù)的排列順序，從由所述 解碼裝置對編碼數(shù)據(jù)進(jìn)行解碼的順序重新排列為使系數(shù)數(shù)據(jù)經(jīng)受合成濾波處理的順序，其 中，所述合成濾波裝置能夠合成由所述系數(shù)數(shù)據(jù)重新排列裝置重新排列了的各頻帶的系數(shù) 數(shù)據(jù)并產(chǎn)生所述預(yù)定分辨率的解碼圖像。所述合成濾波器裝置能夠優(yōu)先對能夠執(zhí)行所述合成濾波處理的各層之中的較低 層中的子頻帶的系數(shù)數(shù)據(jù)執(zhí)行所述合成濾波處理。所述合成濾波器裝置能夠通過使用提升運(yùn)算執(zhí)行所述合成濾波處理。所述合成濾波器裝置能夠?qū)Τ跏紶顟B(tài)下的行塊在對稱地?cái)U(kuò)展必要的系數(shù)數(shù)據(jù)之 后執(zhí)行所述提升運(yùn)算，并且對穩(wěn)定狀態(tài)下的行塊使用上次執(zhí)行的所述提升運(yùn)算的結(jié)果執(zhí)行 所述提升運(yùn)算。所述合成濾波器裝置能夠沿水平方向?qū)λ鱿禂?shù)數(shù)據(jù)執(zhí)行所述提升運(yùn)算，然后沿 垂直方向?qū)λ鱿禂?shù)數(shù)據(jù)執(zhí)行所述提升運(yùn)算。根據(jù)本發(fā)明的另一實(shí)施例，提供了一種圖像處理方法，包括下述步驟圖像處理裝 置的選擇裝置從通過對包括各子頻帶的系數(shù)數(shù)據(jù)組的行塊進(jìn)行編碼而產(chǎn)生的編碼數(shù)據(jù)中 選擇與產(chǎn)生預(yù)定分辨率的解碼圖像所需的子頻帶的系數(shù)數(shù)據(jù)對應(yīng)的編碼數(shù)據(jù)，所述行塊是 通過經(jīng)分級分析濾波處理把預(yù)定行數(shù)的圖像數(shù)據(jù)分解到各頻帶而產(chǎn)生的并且包括最低頻 分量的子頻帶的系數(shù)數(shù)據(jù)的至少一行或多行；所述圖像處理裝置的解碼裝置對選擇的編碼 數(shù)據(jù)進(jìn)行解碼；以及所述圖像處理裝置的合成濾波裝置以分級方式執(zhí)行合成濾波處理，合 成通過對所述編碼數(shù)據(jù)進(jìn)行解碼而獲得的所述系數(shù)數(shù)據(jù)，并產(chǎn)生所述預(yù)定分辨率的解碼圖 像。在本發(fā)明的一個(gè)實(shí)施例中，從通過對包括各子頻帶的系數(shù)數(shù)據(jù)組行塊進(jìn)行編碼而 產(chǎn)生的編碼數(shù)據(jù)中選擇與產(chǎn)生預(yù)定分辨率的解碼圖像所需的子頻帶的系數(shù)數(shù)據(jù)對應(yīng)的編碼數(shù)據(jù)，所述行塊是通過經(jīng)分級分析濾波處理把預(yù)定行數(shù)的圖像數(shù)據(jù)分解到各頻帶而產(chǎn)生 的并且包括最低頻分量的子頻帶的系數(shù)數(shù)據(jù)的至少一行或多行，對選擇的編碼數(shù)據(jù)進(jìn)行解 碼，以分級方式執(zhí)行合成濾波處理，合成通過對編碼數(shù)據(jù)進(jìn)行解碼而獲得的系數(shù)數(shù)據(jù)，并產(chǎn) 生所述預(yù)定分辨率的解碼圖像。根據(jù)本發(fā)明的實(shí)施例，可以對圖像進(jìn)行解碼。特別地，可以以可伸縮方式低延遲地 對通過對圖像編碼而獲得的編碼數(shù)據(jù)進(jìn)行解碼。


圖1是示出圖像編碼裝置的主要結(jié)構(gòu)的例子的框圖；圖2是幫助說明子頻帶和行塊的圖；圖3是示出5X3濾波器的例子的圖；圖4是幫助說明提升運(yùn)算的例子的圖；圖5是幫助說明分析濾波的處理狀態(tài)的圖；圖6是幫助說明分析濾波的處理狀態(tài)的圖；圖7是幫助說明分析濾波的處理狀態(tài)的圖；圖8是幫助說明分析濾波的處理狀態(tài)的圖；圖9是幫助說明系數(shù)數(shù)據(jù)的輸出順序的例子的圖；圖10是幫助說明系數(shù)數(shù)據(jù)的輸出順序的圖；圖11是幫助說明系數(shù)數(shù)據(jù)的重新排列的圖；圖12是幫助說明附加頭信息的例子的圖；圖13是幫助說明編碼處理的流程的例子的流程圖；圖14是示出應(yīng)用了本發(fā)明的圖像解碼裝置的主要結(jié)構(gòu)的例子的框圖；圖15是示出部分解碼的例子的圖；圖16A至16E是幫助說明可伸縮解碼的模式的例子的圖；圖17是幫助說明提升運(yùn)算的例子的圖；圖18是幫助說明合成濾波的處理狀態(tài)的圖；圖19是幫助說明系數(shù)數(shù)據(jù)的處理順序的例子的圖；圖20A、20B和20C是幫助說明畫面轉(zhuǎn)換處理的狀態(tài)的例子的圖；圖21是幫助說明解碼處理的流程的例子的流程圖；圖22是幫助說明附加標(biāo)記的例子的圖；圖23是示出應(yīng)用了本發(fā)明實(shí)施例的圖像解碼裝置的結(jié)構(gòu)的另一例子的框圖；圖24A和24B是幫助說明系數(shù)數(shù)據(jù)的重新排列的圖；圖25A和25B是幫助說明系數(shù)數(shù)據(jù)的重新排列的圖；圖26是幫助說明解碼處理的流程的例子的流程圖；圖27是示出應(yīng)用了本發(fā)明實(shí)施例的圖像傳輸系統(tǒng)的主要結(jié)構(gòu)的例子的框圖；以及圖28是示出應(yīng)用了本發(fā)明實(shí)施例的個(gè)人計(jì)算機(jī)的主要結(jié)構(gòu)的例子的框圖。
具體實(shí)施例方式以下將描述實(shí)施本發(fā)明的方式(以下稱為實(shí)施例)。此外，將按下面的順序進(jìn)行描述。1、第一 實(shí)施例(圖像解碼裝置)2、第二實(shí)施例(圖像解碼裝置的結(jié)構(gòu)的另一例子)3、第三實(shí)施例(傳輸系統(tǒng))4、第四實(shí)施例(個(gè)人計(jì)算機(jī))<1、第一實(shí)施例〉[圖像編碼裝置的描述]首先，將描述與作為應(yīng)用了本發(fā)明實(shí)施例的圖像處理裝置的圖像解碼裝置對應(yīng)的 圖像編碼裝置。將在稍后描述的圖像解碼裝置能夠?qū)幋a數(shù)據(jù)進(jìn)行可伸縮解碼，由此獲得 所希望分辨率的解碼圖像。圖1中顯示的圖像編碼裝置100對圖像數(shù)據(jù)進(jìn)行編碼，由此產(chǎn) 生可由這種圖像解碼裝置解碼的編碼數(shù)據(jù)。圖1中的圖像編碼裝置包括圖像行輸入部分101、行緩沖部分102、小波變換部分 103、系數(shù)行重新排列部分104、量化部分105、熵編碼部分106、附加部分107和速率控制部 分 108。圖像行輸入部分101逐行地把輸入圖像數(shù)據(jù)(箭頭D10)提供給行緩沖部分 102(箭頭Dll)以把輸入圖像數(shù)據(jù)存儲在行緩沖部分102中。行緩沖部分102保持從圖像 行輸入部分101提供的圖像數(shù)據(jù)和從小波變換部分103提供的系數(shù)數(shù)據(jù)，并在預(yù)定定時(shí)把 該圖像數(shù)據(jù)和系數(shù)數(shù)據(jù)提供給小波變換部分103 (箭頭D12)。小波變換部分103對從行緩沖部分102提供的圖像數(shù)據(jù)和系數(shù)數(shù)據(jù)進(jìn)行小波變換 以產(chǎn)生下一層的低頻分量和高頻分量的系數(shù)數(shù)據(jù)。稍后將描述小波變換的細(xì)節(jié)。小波變換部分103把產(chǎn)生的系數(shù)數(shù)據(jù)的垂直方向和水平方向的低頻分量提供給 行緩沖部分102并使行緩沖部分102保持該低頻分量(箭頭D13)，并把其它分量提供給系 數(shù)行重新排列部分104(箭頭D14)。此外，當(dāng)產(chǎn)生的系數(shù)數(shù)據(jù)處于最高層時(shí)，小波變換部分 103還把垂直方向和水平方向的低頻分量提供給系數(shù)行重新排列部分104。從小波變換部分103向系數(shù)行重新排列部分104提供系數(shù)數(shù)據(jù)(系數(shù)行)(箭頭 D14)。系數(shù)行重新排列部分104把系數(shù)數(shù)據(jù)(系數(shù)行)的順序重新排列為小波逆變換處理 的順序。如圖1中所示，系數(shù)行重新排列部分104包括系數(shù)行重新排列緩沖器111和系數(shù) 行讀取塊112。系數(shù)行重新排列緩沖器111保持從小波變換部分103提供的系數(shù)行。系數(shù) 行讀取塊112通過按照小波逆變換處理的順序讀取在系數(shù)行重新排列緩沖器111中保持的 系數(shù)行，執(zhí)行重新排列(箭頭D15)。稍后將描述重新排列的細(xì)節(jié)。系數(shù)行重新排列部分104 (系數(shù)行讀取塊112)把重新排列的順序的系數(shù)數(shù)據(jù)提供 給量化部分105(箭頭D16)。量化部分105對從系數(shù)行重新排列部分104提供的系數(shù)數(shù)據(jù)進(jìn)行量化。任何方法 可用作該量化的方法。例如，使用普通方法或者如下面的式(1)中所示的把系數(shù)數(shù)據(jù)W除 以量化步長Q的方法就足夠了。量化的系數(shù)=W/Q... (1)此外，這個(gè)量化步長Q由速率控制部分108指定。量化部分105把量化的系數(shù)數(shù) 據(jù)提供給熵編碼部分106 (箭頭D17)。
熵編碼部分106通過預(yù)定熵編碼方式(諸如，哈夫曼編碼或算術(shù)編碼)對從量化 部分105提供的系數(shù)數(shù)據(jù)進(jìn)行編碼。熵編碼部分106對一個(gè)系數(shù)行進(jìn)行編碼，然后把作為 從所述一個(gè)系數(shù)行產(chǎn)生的編碼數(shù)據(jù)的一個(gè)碼行提供給附加部分107(箭頭D18)。熵編碼部 分106還把所述一個(gè)碼行的碼量提供給附加部分107 (虛線箭頭D19)。附加部分107把從熵編碼部分106提供的所述一個(gè)碼行的 碼量作為頭信息加到從 同一熵編碼部分106提供的所述一個(gè)碼行。稍后將描述附加頭信息的細(xì)節(jié)。在附加頭信息 之后，附加部分107把編碼數(shù)據(jù)(碼行)輸出到圖像編碼裝置100的外部(箭頭D20)。輸 出到圖像編碼裝置100的外部的編碼數(shù)據(jù)經(jīng)由例如網(wǎng)絡(luò)等被提供給稍后描述的圖像解碼
直ο該編碼數(shù)據(jù)由系數(shù)行重新排列部分104按小波逆變換的順序重新排列。由此，例 如，能夠減小圖像解碼裝置的解碼處理的延遲時(shí)間。此外，熵編碼部分106還把每個(gè)碼行的碼量提供給速率控制部分108 (虛線箭頭 D21)。速率控制部分108在從熵編碼部分106提供的每個(gè)碼行的碼量的基礎(chǔ)上估計(jì)對圖 像進(jìn)行編碼的困難程度，并根據(jù)編碼的困難程度指定由量化部分105使用的量化步長Q (虛 線箭頭D22)。也就是說，速率控制部分108通過指定量化步長Q來控制編碼數(shù)據(jù)的速率。[子頻帶的說明]接下來將說明由圖像編碼裝置100執(zhí)行的小波變換。小波變換是通過遞歸地重復(fù) 把圖像數(shù)據(jù)分成高空間頻率的分量(高頻分量)和低空間頻率的分量(低頻分量)的分析 濾波，把圖像數(shù)據(jù)轉(zhuǎn)換成分級形成的每個(gè)頻率分量的系數(shù)數(shù)據(jù)的過程。此外，在下面，高頻 分量的層是低分割級別，低頻分量的層是高分割級別。在一個(gè)層(分割級別)中，在水平方向和垂直方向都執(zhí)行分析濾波。首先執(zhí)行水 平方向的分析濾波，接下來執(zhí)行垂直方向的分析濾波。這樣，通過對一個(gè)層的分析濾波，把 一個(gè)層的系數(shù)數(shù)據(jù)(圖像數(shù)據(jù))分成四個(gè)子頻帶(LL、LH、HL和HH)。然后，在這四個(gè)產(chǎn)生 的子頻帶之中，在水平方向和垂直方向上都對低頻分量(LL)執(zhí)行下一層中的分析濾波。這樣遞歸地重復(fù)分析濾波能夠把低空間頻帶中的系數(shù)數(shù)據(jù)分成更小的區(qū)域。因 此，通過對如此進(jìn)行了小波變換的系數(shù)數(shù)據(jù)進(jìn)行編碼，能夠執(zhí)行高效的編碼。圖2是幫助說明通過將分析濾波重復(fù)四次而產(chǎn)生的系數(shù)數(shù)據(jù)的結(jié)構(gòu)的圖。當(dāng)對基帶圖像數(shù)據(jù)執(zhí)行分割級別1的分析濾波時(shí)，圖像數(shù)據(jù)被轉(zhuǎn)換成分割級別1 的四個(gè)子頻帶(ILL、ILHUHL和1HH)。分割級別1的水平方向和垂直方向的低頻分量的子 頻帶ILL經(jīng)受分割級別2的分析濾波，由此轉(zhuǎn)換成分割級別2的四個(gè)子頻帶(2LL、2LH、2HL 和2HH)。分割級別2的水平方向和垂直方向的低頻分量的子頻帶2LL經(jīng)受分割級別3的分 析濾波，由此轉(zhuǎn)換成分割級別3的四個(gè)子頻帶(3LL、3LH、3HL和3HH)。分割級別3的水平方 向和垂直方向的低頻分量的子頻帶3LL經(jīng)受分割級別4的分析濾波，由此轉(zhuǎn)換成分割級別 4的四個(gè)子頻帶(4LL、4LH、4HL和4HH)。圖2顯示如此分成13個(gè)子頻帶的系數(shù)數(shù)據(jù)的結(jié)構(gòu)。如上所述的分析濾波從作為處理對象的兩行圖像數(shù)據(jù)或系數(shù)數(shù)據(jù)產(chǎn)生下一較高 層中的四個(gè)子頻帶中的每個(gè)子頻帶的一行系數(shù)數(shù)據(jù)。因此，如圖2中的陰影部分所示，為了 產(chǎn)生分割級別4的每個(gè)子頻帶的一行系數(shù)數(shù)據(jù)，需要子頻帶3LL的兩行、子頻帶2LL的四行和子頻帶ILL的八行。也就是說，需要16行圖像數(shù)據(jù)。產(chǎn)生這種最低頻分量的子頻帶的一行系數(shù)數(shù)據(jù)所需的多行圖像數(shù)據(jù)將被稱為行 塊(或分區(qū)(precinct))。行塊還指示通過對行塊的圖像數(shù)據(jù)進(jìn)行小波變換而獲得的每個(gè) 子頻帶的系數(shù)數(shù)據(jù)的集合。例如，在圖2的例子中，圖中未示出的16行圖像數(shù)據(jù)形成一個(gè)行塊。行塊還能夠 指示分割級別1的每個(gè)子頻帶的8行系數(shù)數(shù)據(jù)、分割級別2的每個(gè)子頻帶的4行系數(shù)數(shù)據(jù)、 分割級別3的每個(gè)子頻帶的2行系數(shù)數(shù)據(jù)和分割級別4的每個(gè)子頻帶的1行系數(shù)數(shù)據(jù)，該 系數(shù)數(shù)據(jù)是從所述16行圖像數(shù)據(jù)產(chǎn)生的。還可以說，小波變換部分103對每個(gè)這種行塊執(zhí)行小波變換 。在這種情況下的行代表與小波變換之前的圖像數(shù)據(jù)對應(yīng)的畫面或場內(nèi)、分割級別 內(nèi)或每個(gè)子頻帶內(nèi)的一行。這一行的系數(shù)數(shù)據(jù)(圖像數(shù)據(jù))也將稱為系數(shù)行。當(dāng)需要在更細(xì)的區(qū)分的情況 下進(jìn)行描述時(shí)，將適當(dāng)?shù)馗淖儽磉_(dá)方式。例如，某一子頻帶的某一行將被稱為“某一子頻帶 的系數(shù)行”，并且某一層(分割級別)的所有子頻帶(LH、HL和HH(在最高層的情況下包括 LL))的一行(該行是從下一較低層中的兩個(gè)相同系數(shù)行產(chǎn)生的)將被稱為“某一分割級別 (或?qū)?的系數(shù)行”。在圖2的例子中，“分割級別4(最高層)的系數(shù)行”代表子頻帶4LL的某一行、子 頻帶4LH的某一行、子頻帶4HL的某一行和子頻帶4HH的某一行，這些行彼此對應(yīng)(從下一 較低分割級別的相同系數(shù)行產(chǎn)生)。“分割級別3的系數(shù)行”代表子頻帶3LH的某一行、子 頻帶3HL的某一行和子頻帶3HH的某一行，這些行彼此對應(yīng)。另外，“子頻帶2HH的系數(shù)行” 代表子頻帶2HH的某一行。此外，通過對一個(gè)系數(shù)行(一行系數(shù)數(shù)據(jù))進(jìn)行編碼而獲得的一行編碼數(shù)據(jù)也稱 為碼行。已參照圖2描述了分割級別4的小波變換。將在假設(shè)執(zhí)行小波變換直到分割級別 4的情況下進(jìn)行下面的基本描述。然而，實(shí)際上，小波變換的層(分割級別)的數(shù)量是任意 的。[提升運(yùn)算]小波變換部分103通常使用由低頻濾波器和高頻濾波器構(gòu)成的濾波器組如下執(zhí) 行處理。此外，數(shù)字濾波器通常具有多個(gè)抽頭(即，濾波系數(shù))的長度的脈沖響應(yīng)，因此，需 要預(yù)先緩沖足以執(zhí)行濾波處理的輸入圖像數(shù)據(jù)或系數(shù)數(shù)據(jù)。此外，在經(jīng)多個(gè)階段執(zhí)行小波 變換的情況下，需要緩沖在前一階段產(chǎn)生的多個(gè)小波變換系數(shù)(所述多個(gè)小波變換系數(shù)的 數(shù)量足以執(zhí)行濾波處理)。作為小波變換的具體例子，將描述使用5X3濾波器的方法。使用5X3濾波器的 方法也被已在公知技術(shù)中描述的JPEG(聯(lián)合圖像專家組)2000標(biāo)準(zhǔn)所采用，并且是極好的 方法，因?yàn)槟軌蚶蒙倭康臑V波器抽頭執(zhí)行小波變換。5 X 3濾波器的脈沖響應(yīng)(ζ變換表示)由低頻濾波器Htl (Ζ)和高頻濾波器H1 (ζ)形 成，如下面的式⑵和式⑶中所示。式⑵和式⑶顯示低頻濾波器Htl(Z)是5抽頭濾 波器，高頻濾波器H1 (ζ)是3抽頭濾波器。Htl(Z) = (-1+2ζ_1+6ζ_2+2ζ_3-Ζ-4) /8. . . (2)
H1 (ζ) = (-l+2z^-z"2)... (3)根據(jù)式(2)和式(3)，能夠直接計(jì)算低頻分量和高頻分量的系數(shù)。在這種情況下， 通過使用提升技術(shù)能夠減少濾波處理的計(jì)算。圖3是顯示5X3濾波器的提升表示的圖。圖3中最上部的一行是輸入信號行。數(shù) 據(jù)處理從屏幕頂部沿向下方向進(jìn)行，并且根據(jù)下面的式(4)和式(5)輸出高頻分量的系數(shù) (高頻系數(shù))和低頻分量的系數(shù)(低頻系數(shù))。Di1 = (1^-1/2 (Si°+si+1°)... (4)Si1 = Si°+l/4 ((!^/+Cli1)... (5)圖4是在使用5 X 3分析濾波器沿垂直方向?qū)π羞M(jìn)行濾波的情況下的圖。在水平方 向上示出運(yùn)算過程以及通過該運(yùn)算過程產(chǎn)生的低頻系數(shù)和高頻系數(shù)。與圖3的比較顯示 僅水平方向改變?yōu)榇怪狈较虿⑶疫\(yùn)算方法完全相同。在圖像的上端，如箭頭151所示，最高行從行1以虛線的形式對稱地?cái)U(kuò)展，這樣填 充了一行。如框152所示，使用總共三行(即，填充的行、行0和行1)執(zhí)行提升運(yùn)算，并且 通過步驟1中的運(yùn)算產(chǎn)生系數(shù)a。這個(gè)系數(shù)a是高頻系數(shù)(HO)。當(dāng)輸入行1、行2和行3時(shí)，使用這三行計(jì)算下一個(gè)高頻系數(shù)a。這個(gè)系數(shù)a是高 頻系數(shù)(HI)。然后，使用總共三個(gè)系數(shù)(S卩，第一高頻系數(shù)a(H0)和第二高頻系數(shù)a(Hl)以 及行1的系數(shù))，根據(jù)式(2)執(zhí)行的計(jì)算，產(chǎn)生系數(shù)b。這個(gè)系數(shù)b是低頻系數(shù)(Li)。也就 是說，如框153所示，使用行1、行2和行3這三行和高頻系數(shù)(HO)產(chǎn)生低頻系數(shù)(Li)和高 頻系數(shù)(Hl)。之后，每次當(dāng)輸入兩行時(shí)，對于隨后的行類似地重復(fù)上述的提升運(yùn)算，并且輸出低 頻系數(shù)和高頻系數(shù)。然后，在如框154所示產(chǎn)生低頻系數(shù)(L(N-I))和高頻系數(shù)(H(N-I)) 之后，如箭頭155所示高頻系數(shù)(H(N-I)對稱地?cái)U(kuò)展，如框156所示執(zhí)行運(yùn)算，由此產(chǎn)生低 頻系數(shù)(L(N))0對每個(gè)層遞歸地執(zhí)行上述提升運(yùn)算。圖4是沿垂直方向?qū)π羞M(jìn)行濾波的例子。然而，顯而易見，能夠以完全相同的方式 考慮沿水平方向的濾波。[分析濾波的過程]如圖5至圖8中推進(jìn)上述的分析濾波。具體地講，當(dāng)如圖5的左側(cè)所示輸入三行基帶圖像數(shù)據(jù)時(shí)，如以上參照圖4所述執(zhí) 行提升運(yùn)算，并且如圖5的右側(cè)所示在分割級別1的每個(gè)子頻帶(ILL、ILHUHL和1HH)中
產(chǎn)生一行。之后，每次當(dāng)輸入兩行基帶圖像數(shù)據(jù)時(shí)，執(zhí)行類似的提升運(yùn)算。因此，從如圖6的 左側(cè)所示的七行基帶圖像數(shù)據(jù)，在如圖6的右側(cè)所示的分割級別1的每個(gè)子頻帶中產(chǎn)生三 個(gè)系數(shù)行。如圖7的左側(cè)(圖6的右側(cè))所示，在產(chǎn)生了子頻帶ILL的三個(gè)系數(shù)行之后，如以 上參照圖4所述執(zhí)行提升運(yùn)算，并且如圖7的右側(cè)所示在分割級別2的每個(gè)子頻帶(2LL、 2LH、2HL和2HH)中產(chǎn)生一行。此外，在分割級別1，如在基帶的情況下一樣，之后每次當(dāng)產(chǎn) 生子頻帶ILL的兩個(gè)系數(shù)行時(shí)執(zhí)行提升運(yùn)算，并且在分割級別2的每個(gè)子頻帶中產(chǎn)生一個(gè) 系數(shù)行。
這樣，從如圖8的左側(cè)所示的11行基帶圖像數(shù)據(jù)產(chǎn)生了如圖8的右側(cè)所示的分割級別2的每個(gè)子頻帶中的2個(gè)系數(shù)行和分割級別1的每個(gè)子頻帶ILHUHL和IHH中的5個(gè) 系數(shù)行。也就是說，執(zhí)行最高層中的提升運(yùn)算，該提升運(yùn)算能夠在給定時(shí)間點(diǎn)執(zhí)行。換句話 說，優(yōu)先執(zhí)行較高層中的提升運(yùn)算。在圖像上端的初始狀態(tài)下的分析濾波需要三行圖像數(shù) 據(jù)或系數(shù)數(shù)據(jù)作為輸入。然而，在其它部分的穩(wěn)定狀態(tài)下，每次當(dāng)輸入兩行圖像數(shù)據(jù)或系數(shù) 數(shù)據(jù)時(shí)，執(zhí)行分析濾波。按照如上所述的過程推進(jìn)提升運(yùn)算。[小波變換部分103的輸出]接下來，將描述按照如上所述的過程執(zhí)行分析濾波的小波變換部分103的數(shù)據(jù)輸 出。圖9是按照時(shí)間序列的順序顯示在初始狀態(tài)下從小波變換部分103輸出的數(shù)據(jù)的圖。 在圖9中，從圖的頂部沿向下的方向按照時(shí)間序列的順序排列從小波變換部分103輸出的數(shù)據(jù)。因?yàn)樾〔ㄗ儞Q部分103按照如上所述的過程執(zhí)行分析濾波，所以在初始狀態(tài)下從 小波變換部分103輸出分割級別1 (子頻帶IHHUHL和1LH)的上起第一系數(shù)行(行1)并 且該第一系數(shù)行被提供給系數(shù)行重新排列部分104。子頻帶ILL的行1被提供給行緩沖部 分102并被保持在行緩沖部分102中。接下來，在產(chǎn)生分割級別1的行2(上起第二系數(shù)行)和行3(上起第三系數(shù)行) 時(shí)，行2和行3被順序地提供給系數(shù)行重新排列部分104。子頻帶ILL的行2和行3被提供 給行緩沖部分102并被保持在行緩沖部分102中。如上所述，當(dāng)子頻帶ILL的三個(gè)系數(shù)行(第二次及以后是兩行)被保持在行緩沖 部分102中時(shí)，小波變換部分103對這三個(gè)系數(shù)行進(jìn)行分割級別1的分析濾波。因此，在輸出分割級別1的行3之后，從小波變換部分103輸出分割級別2 (子頻 帶2HH、2HL和2LH)的行1并且該行1被提供給系數(shù)行重新排列部分104。子頻帶2LL的行 1被提供給行緩沖部分102并被保持在行緩沖部分102中。接下來，按順序產(chǎn)生分割級別1的行4(上起第四系數(shù)行)和行5(上起第五系數(shù) 行)，并且行4和行5被順序地提供給系數(shù)行重新排列部分104。子頻帶ILL的行4和行5 被提供給行緩沖部分102并被保持在行緩沖部分102中。因?yàn)樽宇l帶ILL的兩個(gè)系數(shù)行被保持在行緩沖部分102中，所以這兩個(gè)系數(shù)行經(jīng) 受分割級別1的分析濾波，從小波變換部分103輸出分割級別2的行2，并且該行2被提供 給系數(shù)行重新排列部分104。子頻帶2LL的行2被提供給行緩沖部分102并被保持在行緩 沖部分102中。接下來，按順序產(chǎn)生分割級別1的行6 (上起第六系數(shù)行)和行7 (上起第七系數(shù) 行)，并且行6和行7被順序地提供給系數(shù)行重新排列部分104。子頻帶ILL的行6和行7 被提供給行緩沖部分102并被保持在行緩沖部分102中。因?yàn)樽宇l帶ILL的兩個(gè)系數(shù)行被保持在行緩沖部分102中，所以這兩個(gè)系數(shù)行經(jīng) 受分割級別1的分析濾波，從小波變換部分103輸出分割級別2的行3，并且該行3被提供 給系數(shù)行重新排列部分104。子頻帶2LL的行3被提供給行緩沖部分102并被保持在行緩 沖部分102中。
因?yàn)樽宇l帶2LL的三個(gè)系數(shù)行(第二次及以后是兩行)被保持在行緩沖部分102 中，所以小波變換部分103對這三個(gè)系數(shù)行進(jìn)行分割級別2的分析濾波，從小波變換部分 103輸出分割級別3 (子頻帶3HH、3HL和3LH)的行1，并且該行1被提供給系數(shù)行重新排列 部分104。子頻帶3LL的行1被提供給行緩沖部分102并被保持在行緩沖部分102中。接下來，按順序產(chǎn)生分割級別1的行8 (上起第八系數(shù)行)和行9 (上起第九系數(shù) 行)，并且行8和行9被順序地提供給系數(shù)行重新排列部分104。子頻帶ILL的行8和行9 被提供給行緩沖部分102并被保持在行緩沖部分102中。當(dāng)子頻帶ILL的兩個(gè)系數(shù)行被保持在行緩沖部分102中時(shí)，這兩個(gè)系數(shù)行經(jīng)受分 割級別1的分析濾波，從小波變換部分103輸出分割級別2的行4，并且該行4被提供給系 數(shù)行重新排列部分104。子頻帶2LL的行4被提供給行緩沖部分102并被保持在行緩沖部 分102中。接下來，按順序產(chǎn)生分割級別1的行10 (上起第十系數(shù)行)和行11 (上起第十一 系數(shù)行)，并且行10和行11被順序地提供給系數(shù)行重新排列部分104。子頻帶ILL的行10 和行11被提供給行緩沖部分102并被保持在行緩沖部分102中。當(dāng)子頻帶ILL的兩個(gè)系數(shù)行被保持在行緩沖部分102中時(shí)，這兩個(gè)系數(shù)行經(jīng)受分 割級別1的分析濾波，從小波變換部分103輸出分割級別2的行5，并且該行5被提供給系 數(shù)行重新排列部分104。子頻帶2LL的行5被提供給行緩沖部分102并被保持在行緩沖部 分102中。當(dāng)子頻帶2LL的兩個(gè)系數(shù)行被保持在行緩沖部分102中時(shí)，這兩個(gè)系數(shù)行經(jīng)受分 割級別2的分析濾波，從小波變換部分103輸出分割級別3的行2，并且該行2被提供給系 數(shù)行重新排列部分104。子頻帶3LL的行2被提供給行緩沖部分102并被保持在行緩沖部 分102中。接下來，按順序產(chǎn)生分割級別1的行12 (上起第十二系數(shù)行)和行13 (上起第十三 系數(shù)行)，并且行12和行13被順序地提供給系數(shù)行重新排列部分104。子頻帶ILL的行12 和行13被提供給行緩沖部分102并被保持在行緩沖部分102中。當(dāng)子頻帶ILL的兩個(gè)系數(shù)行被保持在行緩沖部分102中時(shí)，這兩個(gè)系數(shù)行經(jīng)受分 割級別1的分析濾波，從小波變換部分103輸出分割級別2的行6，并且該行6被提供給系 數(shù)行重新排列部分104。子頻帶2LL的行6被提供給行緩沖部分102并被保持在行緩沖部 分102中。 接下來，按順序產(chǎn)生分割級別1的行14 (上起第十四系數(shù)行)和行15 (上起第十五 系數(shù)行)，并且行14和行15被順序地提供給系數(shù)行重新排列部分104。子頻帶ILL的行14 和行15被提供給行緩沖部分102并被保持在行緩沖部分102中。 當(dāng)子頻帶ILL的兩個(gè)系數(shù)行被保持在行緩沖部分102中時(shí)，這兩個(gè)系數(shù)行經(jīng)受分 割級別1的分析濾波，從小波變換部分103輸出分割級別2的行7，并且該行7被提供給系 數(shù)行重新排列部分104。子頻帶2LL的行7被提供給行緩沖部分102并被保持在行緩沖部 分102中。當(dāng)子頻帶2LL的兩個(gè)系數(shù)行被保持在行緩沖部分102中時(shí)，這兩個(gè)系數(shù)行經(jīng)受分 割級別2的分析濾波，從小波變換部分103輸出分割級別3的行3，并且該行3被提供給系 數(shù)行重新排列部分104。子頻帶3LL的行3被提供給行緩沖部分102并被保持在行緩沖部分102中。當(dāng)子頻帶3LL的三個(gè)系數(shù)行(第二次及以后是兩行)被保持在行緩沖部分102中時(shí)，小波變換部分103對這三個(gè)系數(shù)行進(jìn)行分割級別3的分析濾波，從小波變換部分103輸 出分割級別4 (子頻帶4HH、4HL、4LH和4LL)的行1，并且該行1被提供給系數(shù)行重新排列部 分 104。以上是在初始狀態(tài)下從小波變換部分103輸出的一個(gè)行塊的系數(shù)行組。在初始狀 態(tài)結(jié)束后，狀態(tài)改變?yōu)橐淮翁幚韮尚械姆€(wěn)定狀態(tài)。圖10是按照時(shí)間序列的順序顯示在穩(wěn)定狀態(tài)下從小波變換部分103輸出的數(shù)據(jù) 的圖。在圖10中，如圖9中一樣，從圖的頂部沿向下的方向按照時(shí)間序列的順序排列從小 波變換部分103輸出的數(shù)據(jù)。因?yàn)樾〔ㄗ儞Q部分103按照如上所述的過程執(zhí)行分析濾波，所以在穩(wěn)定狀態(tài)下的 某一定時(shí)，在產(chǎn)生分割級別1的行L (上起第L系數(shù)行)和行(L+1)(上起第(L+1)系數(shù)行) 時(shí)，從小波變換部分103順序地輸出行L和行(L+1)并且行L和行(L+1)被提供給系數(shù)行 重新排列部分104。子頻帶ILL的行L和行(L+1)被提供給行緩沖部分102并被保持在行 緩沖部分102中。當(dāng)子頻帶ILL的兩個(gè)系數(shù)行被保持在行緩沖部分102中時(shí)，這兩個(gè)系數(shù)行經(jīng)受分 割級別1的分析濾波，從小波變換部分103輸出分割級別2的行M(上起第M系數(shù)行)，并且 行M被提供給系數(shù)行重新排列部分104。子頻帶2LL的行M被提供給行緩沖部分102并被 保持在行緩沖部分102中。接下來，按順序產(chǎn)生分割級別1的行(L+2)(上起第(L+2)系數(shù)行)和行(L+3)(上 起第(L+3)系數(shù)行)，并且行(L+2)和行(L+3)被順序地提供給系數(shù)行重新排列部分104。 子頻帶ILL的行(L+2)和行(L+3)被提供給行緩沖部分102并被保持在行緩沖部分102中。當(dāng)子頻帶ILL的兩個(gè)系數(shù)行被保持在行緩沖部分102中時(shí)，這兩個(gè)系數(shù)行經(jīng)受分 割級別1的分析濾波，從小波變換部分103輸出分割級別2的行(M+1)(上起第(M+1)系數(shù) 行)，并且行(M+1)被提供給系數(shù)行重新排列部分104。子頻帶2LL的行(M+1)被提供給行 緩沖部分102并被保持在行緩沖部分102中。當(dāng)子頻帶2LL的兩個(gè)系數(shù)行被保持在行緩沖部分102中時(shí)，這兩個(gè)系數(shù)行經(jīng)受分 割級別2的分析濾波，從小波變換部分103輸出分割級別3的行N(上起第N系數(shù)行)，并且 行N被提供給系數(shù)行重新排列部分104。子頻帶3LL的行N被提供給行緩沖部分102并被 保持在行緩沖部分102中。接下來，按順序產(chǎn)生分割級別1的行(L+4)(上起第(L+4)系數(shù)行)和行(L+5)(上 起第(L+5)系數(shù)行)，并且行(L+4)和行(L+5)被順序地提供給系數(shù)行重新排列部分104。 子頻帶ILL的行(L+4)和行(L+5)被提供給行緩沖部分102并被保持在行緩沖部分102中。當(dāng)子頻帶ILL的兩個(gè)系數(shù)行被保持在行緩沖部分102中時(shí)，這兩個(gè)系數(shù)行經(jīng)受分 割級別1的分析濾波，從小波變換部分103輸出分割級別2的行(M+2)(上起第(M+2)系數(shù) 行)，并且行(M+2)被提供給系數(shù)行重新排列部分104。子頻帶2LL的行(M+2)被提供給行 緩沖部分102并被保持在行緩沖部分102中。接下來，按順序產(chǎn)生分割級別1的行(L+6)(上起第(L+6)系數(shù)行)和行(L+7)(上 起第(L+7)系數(shù)行)，并且行(L+6)和行(L+7)被順序地提供給系數(shù)行重新排列部分104。子頻帶ILL的行(L+6)和行(L+7)被提供給行緩沖部分102并被保持在行緩沖部分102中。當(dāng)子頻帶ILL的兩個(gè)系數(shù)行被保持在行緩沖部分102中時(shí)，這兩個(gè)系數(shù)行經(jīng)受分 割級別1的分析濾波，從小波變換部分103輸出分割級別2的行(M+3)(上起第(M+3)系數(shù) 行)，并且行(M +3)被提供給系數(shù)行重新排列部分104。子頻帶2LL的行(M+3)被提供給行 緩沖部分102并被保持在行緩沖部分102中。當(dāng)子頻帶2LL的兩個(gè)系數(shù)行被保持在行緩沖部分102中時(shí)，這兩個(gè)系數(shù)行經(jīng)受分 割級別2的分析濾波，從小波變換部分103輸出分割級別3的行(N+1)(上起第(N+1)系數(shù) 行)，并且行(N+1)被提供給系數(shù)行重新排列部分104。子頻帶3LL的行(N+1)被提供給行 緩沖部分102并被保持在行緩沖部分102中。當(dāng)子頻帶3LL的兩個(gè)系數(shù)行被保持在行緩沖部分102中時(shí)，這兩個(gè)系數(shù)行經(jīng)受分 割級別3的分析濾波，從小波變換部分103輸出分割級別4的行P (上起第P系數(shù)行)，并且 行P被提供給系數(shù)行重新排列部分104。在如上所述的穩(wěn)定狀態(tài)下，向下執(zhí)行處理直至最低行。此外，在小波變換部分103中的各系數(shù)行的處理順序(即，從小波變換部分103輸 出各系數(shù)行的順序)是任意的，并且可以是除上述順序以外的順序。然而，通過按照如上所 述的過程執(zhí)行分析濾波，小波變換部分103能夠高效地產(chǎn)生各系數(shù)行并且以低延遲執(zhí)行轉(zhuǎn) 換處理。[系數(shù)行重新排列]按照以上參照圖9和圖10描述的順序從小波變換部分103輸出的各分割級別的 系數(shù)行被保持在系數(shù)行重新排列部分104的系數(shù)行重新排列緩沖器111中。當(dāng)積累了一個(gè) 行塊的系數(shù)行時(shí)，系數(shù)行讀取塊112按照如圖11中所示的小波逆變換處理的順序讀取各系 數(shù)行，由此重新排列系數(shù)行。圖11中的各系數(shù)行按照處理的順序排列。從圖11的頂部沿向下方向顯示時(shí)間序 列。也就是說，從圖的頂部起按順序處理圖11中顯示的各系數(shù)行。具體地講，系數(shù)行重新排列部分104把如圖11的左側(cè)所示按順序(小波變換輸出 順序)從小波變換部分103輸出的各系數(shù)行重新排列為如圖11的右側(cè)所示的小波逆變換 處理的順序。更具體地講，系數(shù)行讀取塊112讀取分割級別4的行P的系數(shù)行、分割級別3的行 N的系數(shù)行、分割級別2的行M的系數(shù)行以及分割級別1的行L和行(L+1)的系數(shù)行。系數(shù) 行讀取塊112按照讀出的順序把讀取的系數(shù)行提供給量化部分105。系數(shù)行讀取塊112接下來讀取分割級別2的行(M+1)的系數(shù)行以及分割級別1的 行(L+2)和行(L+3)的系數(shù)行。系數(shù)行讀取塊112按照讀出的順序把讀取的系數(shù)行提供給 量化部分105。系數(shù)行讀取塊112還讀取分割級別3的行(N+1)的系數(shù)行、分割級別2的行(M+2) 的系數(shù)行以及分割級別1的行(L+4)和行(L+5)的系數(shù)行。系數(shù)行讀取塊112按照讀出的 順序把讀取的系數(shù)行提供給量化部分105。系數(shù)行讀取塊112接下來讀取分割級別2的行(M+3)的系數(shù)行以及分割級別1的 行(L+6)和行(L+7)的系數(shù)行。系數(shù)行讀取塊112按照讀出的順序把讀取的系數(shù)行提供給 量化部分105。
量化部分105按照提供系數(shù)行的順序處理系數(shù)行，然后把處理后的系數(shù)行提供給 熵編碼部分106。因此，熵編碼部分106也按照圖11的右側(cè)示出的順序處理系數(shù)行。速率控制部分108執(zhí)行例如當(dāng)系數(shù)值低時(shí)通過把量化步長設(shè)置得小而促進(jìn)碼量 產(chǎn)生并且當(dāng)系數(shù)值高時(shí)通過把步長設(shè)置得大而抑制碼量產(chǎn)生的控制。此外，在圖像編碼裝置100中執(zhí)行系數(shù)行的重新排列就足夠了。例如，可以在量化 處理之后執(zhí)行系數(shù)行的重新排列。[碼量的附加]如上所述，附加部分107把碼行的碼量作為頭信息附加到各碼行。圖12顯示附加 了頭信息的狀態(tài)的例子。

在圖12的例子中，附加部分107把碼行的碼量作為頭信息(Codejnfo)附加到各 分割級別的碼行(碼字)。例如，當(dāng)分割級別1的碼行(行L)的碼量是100字節(jié)時(shí)，把指示 “100字節(jié)”的信息作為頭信息(Codejnfo(L))附加到例如碼行(行L)的頭部。如上所述，圖像編碼裝置100的各部分逐個(gè)系數(shù)行地處理系數(shù)數(shù)據(jù)。也就是說，各 部分能夠掌握系數(shù)行之間的邊界。然而，各碼行被連續(xù)提供給用于對由圖像編碼裝置100 產(chǎn)生的編碼數(shù)據(jù)進(jìn)行解碼的圖像解碼裝置，因此該圖像解碼裝置不能掌握碼行之間的邊 界。因此，通過附加部分107把各碼行的碼量附加到編碼數(shù)據(jù)，使圖像解碼裝置能夠 基于碼量把編碼數(shù)據(jù)(流)分成每個(gè)碼行，并處理每個(gè)碼行。[處理流程]將參照圖13的流程圖描述如上所述由圖像編碼裝置100的各部分執(zhí)行的編碼處 理的流程的例子。此外，對于輸入圖像的每個(gè)畫面執(zhí)行這個(gè)編碼處理。在編碼處理開始后，在步驟SlOl中，在圖像行輸入部分101接收逐行地輸入的圖 像數(shù)據(jù)的同時(shí)(在圖像行輸入部分101使行緩沖部分102保持圖像數(shù)據(jù)的同時(shí))，小波變換 部分103使用保持在行緩沖部分102中的系數(shù)行，對一個(gè)行塊進(jìn)行小波變換。在步驟S102中，小波變換部分103確定是否已執(zhí)行了針對一個(gè)行塊的處理。當(dāng)確 定尚未執(zhí)行針對一個(gè)行塊的處理時(shí)，處理返回至步驟S101，在步驟SlOl中，小波變換部分 103繼續(xù)小波變換處理。當(dāng)確定已執(zhí)行了針對一個(gè)行塊的小波變換處理時(shí)，處理前進(jìn)至步驟S103。在步驟S103中，系數(shù)行重新排列部分104把由小波變換產(chǎn)生的系數(shù)數(shù)據(jù)重新排列 為小波逆變換處理的順序。在步驟S104中，量化部分105利用由速率控制部分108指定的 量化步長對系數(shù)數(shù)據(jù)進(jìn)行量化。在步驟S105中，熵編碼部分106對系數(shù)數(shù)據(jù)進(jìn)行熵編碼。在步驟S106中，附加部 分107把碼行的碼量作為頭信息附加到各碼行。在步驟S107中，附加部分107輸出按照小 波逆變換處理的順序重新排列的編碼數(shù)據(jù)。在步驟S108中，速率控制部分108基于關(guān)于熵編碼部分106中的熵編碼的信息， 執(zhí)行速率控制。在步驟S109中，小波變換部分103確定處理是否已向下執(zhí)行到處理對象畫面的最 后行塊(例如，最下段的行塊)。當(dāng)確定處理尚未向下執(zhí)行到處理對象畫面的最后行塊時(shí)， 流程返回至步驟SlOl以針對下一行塊重復(fù)從步驟SlOl向下的處理。當(dāng)在步驟S109中確定處理已執(zhí)行到最后行塊，針對處理對象畫面的編碼處理結(jié)束。[圖像解碼裝置的裝置結(jié)構(gòu)]接下來將描述與上述圖像編碼裝置100對應(yīng)的圖像解碼裝置。圖14是顯示作為 應(yīng)用了本發(fā)明的圖像處理裝置的圖像解碼裝置的實(shí)施例的結(jié)構(gòu)的例子的框圖。圖像解碼裝置200對從圖像編碼裝置100輸出的編碼數(shù)據(jù)進(jìn)行解碼，由此產(chǎn)生解 碼圖像。圖像解碼裝置200包括碼字解密部分201、子頻帶和行選擇部分202、熵解碼部分 203、逆量化部分204、小波逆變換部分205和緩沖部分206。碼字解密部分201對輸入的編碼數(shù)據(jù)(碼字)(箭頭D51)進(jìn)行解密，并 提取與數(shù) 據(jù)和編碼處理相關(guān)的相關(guān)信息。該相關(guān)信息可包括任何信息。該相關(guān)信息包括例如圖像分 辨率(水平和垂直尺寸)、量化步長、小波變換的分解數(shù)、系數(shù)行(碼行)的排列順序等。關(guān)于系數(shù)行(碼行)的排列順序的信息可以是任何信息，只要該信息指示各分割 級別的碼行的排列順序或者是確定該排列順序所需的信息即可。例如，該信息可以是如圖 12中所示的包括各分割級別的碼行的碼量的頭信息、將在稍后描述的標(biāo)記的檢測結(jié)果等。碼字解密部分201把輸入的編碼數(shù)據(jù)(碼流)提供給子頻帶和行選擇部分202 (箭 頭D52)。另外，碼字解密部分201把區(qū)分碼流中各分割級別的碼行所需的信息提供給子頻 帶和行選擇部分202 (虛線箭頭D62)。例如，碼字解密部分201把各分割級別的碼行的碼 量、標(biāo)記的檢測結(jié)果等提供給子頻帶和行選擇部分202。另外，碼字解密部分201把指示量化步長的信息提供給逆量化部分204 (虛線箭頭 D61)。碼字解密部分201還把小波逆變換處理所需的信息(諸如圖像分辨率、小波變換 的分解數(shù)等)提供給小波逆變換部分205 (虛線箭頭D60)。子頻帶和行選擇部分202在從碼字解密部分201提供的區(qū)分各分割級別的碼行所 需的信息的基礎(chǔ)上從自碼字解密部分201提供的碼流中選擇要解碼的各分割級別的碼行。圖像解碼裝置200通過對由圖像編碼裝置100提供的編碼數(shù)據(jù)進(jìn)行解碼，產(chǎn)生解 碼圖像。從圖像編碼裝置100提供的編碼數(shù)據(jù)是通過對由小波變換分成多個(gè)頻帶的系數(shù)數(shù) 據(jù)進(jìn)行熵編碼而獲得的。如參照圖2所述對系數(shù)數(shù)據(jù)的子頻帶分層。作為該時(shí)間點(diǎn)的最低 頻分量的子頻帶(圖2的例子中的4LL)中聚集了圖像的大部分能量并且可被視為基本上 等同于原始圖像(作為圖像數(shù)據(jù)成立)。然而，層越高(更低頻的分量)，分辨率越低。也就是說，通過對如此分成每個(gè)子頻帶的系數(shù)數(shù)據(jù)從最高層(最低頻分量)到所 希望的層應(yīng)用小波逆變換，圖像解碼裝置200能夠產(chǎn)生具有比原始圖像的分辨率低的分辨 率的解碼圖像。換句話說，通過選擇應(yīng)用小波逆變換(合成濾波)的層，圖像解碼裝置200 能夠選擇解碼圖像的分辨率。也就是說，圖像解碼裝置200能夠可伸縮地對編碼數(shù)據(jù)進(jìn)行 解碼。如此僅對編碼數(shù)據(jù)的一部分子頻帶進(jìn)行解碼以獲得低分辨率的解碼圖像將被稱 為部分解碼。此外，當(dāng)對所有子頻帶解碼(完全解碼)時(shí)的解碼圖像的分辨率與原始圖像 的分辨率相同。當(dāng)執(zhí)行這種部分解碼時(shí)，不經(jīng)受合成濾波的高頻分量的子頻帶不是必要的，并且 不需要進(jìn)行熵解碼。因此，子頻帶和行選擇部分202僅選擇要應(yīng)用合成濾波的子頻帶的系數(shù)數(shù)據(jù)(與該系數(shù)數(shù)據(jù)對應(yīng)的編碼數(shù)據(jù))，并丟棄不需要的子頻帶的系數(shù)數(shù)據(jù)(與該系數(shù)數(shù) 據(jù)對應(yīng)的編碼數(shù)據(jù))。子頻帶和行選擇部分202基于從碼字解密部分201提供的信息進(jìn)行 這種選擇。 子頻帶和行選擇部分202具有選擇塊211和保持塊212。從碼字解密部分201輸 出的編碼數(shù)據(jù)(碼流)被提供給選擇塊211。區(qū)分從碼字解密部分201提供的碼流中各分 割級別的碼行所需的信息也被提供給選擇塊211。選擇塊211基于區(qū)分從碼字解密部分201提供的碼流中各分割級別的碼行所需的 信息，識別從碼字解密部分201提供的碼流中各分割級別的碼行，并從各分割級別的碼行 中進(jìn)行選擇。預(yù)先設(shè)置解碼圖像的分辨率。也就是說，預(yù)先確定必要的數(shù)據(jù)和不需要的數(shù)據(jù)。因 此，選擇塊211根據(jù)所述設(shè)置選擇提供的碼行中的一部分或全部。當(dāng)然，例如用戶等可以適當(dāng)?shù)剡x擇解碼圖像的分辨率，從而選擇塊211根據(jù)指定 這種分辨率的指令識別要解碼的必要的碼行，并且從提供的碼行中檢索并選擇識別的碼 行。在任一情況下，選擇塊211的選擇僅提取必要的碼行，并且不改變碼行的排列。因 此，子頻帶和行選擇部分202能夠在原樣保持小波逆變換的順序的同時(shí)，向熵解碼部分203 提供按照小波逆變換的順序提供的各碼行。選擇塊211把選擇的碼行提供給保持塊212，并使保持塊212保持選擇的碼行(箭 頭 D53)。保持塊212保持從選擇塊211提供的碼行，并在預(yù)定定時(shí)把該碼行提供給熵解碼 部分203(箭頭D54)。此外，可以省略保持塊212，并且選擇塊211的輸出可以被提供給熵 解碼部分203。然而，取決于碼行的排列方式，選擇塊211選擇碼行的定時(shí)可能偏離。使用 保持塊212來緩沖選擇的碼行能夠減小偏離，從而提高熵解碼部分203的處理的效率。熵解碼部分203通過與熵編碼部分106 (圖1)的熵編碼對應(yīng)的方法，對各分割級 別的碼行進(jìn)行熵解碼，由此產(chǎn)生系數(shù)數(shù)據(jù)(量化的系數(shù))。熵解碼部分203把各分割級別的 系數(shù)行(量化的系數(shù))提供給逆量化部分204 (箭頭D55)。逆量化部分204按照基于從碼字解密部分201提供的信息確定的量化步長，對從 熵解碼部分203提供的各分割級別的系數(shù)行(量化的系數(shù))進(jìn)行逆量化。逆量化部分204 把逆量化的各分割級別的系數(shù)行(小波變換系數(shù))提供給小波逆變換部分205 (箭頭D56)。小波逆變換部分205通過在從碼字解密部分201提供的信息的基礎(chǔ)上執(zhí)行在小波 變換部分103(圖1)中執(zhí)行的小波變換的逆處理，產(chǎn)生解碼圖像。稍后將描述小波逆變換 的細(xì)節(jié)。小波逆變換部分205通過重復(fù)把系數(shù)數(shù)據(jù)的低頻分量和高頻分量進(jìn)行合成的合 成濾波，執(zhí)行小波逆變換。此時(shí)，小波逆變換部分205把通過合成濾波產(chǎn)生的下一低層中的 系數(shù)數(shù)據(jù)提供給緩沖部分206并使緩沖部分206保持下一低層中的系數(shù)數(shù)據(jù)(箭頭D57)， 并且使用下一低層中的系數(shù)數(shù)據(jù)進(jìn)行下一合成濾波。也就是說，小波逆變換部分205不僅 使用從逆量化部分204提供的系數(shù)數(shù)據(jù)(箭頭D56)還根據(jù)需要使用從緩沖部分206提供 的系數(shù)數(shù)據(jù)(箭頭D58)執(zhí)行合成濾波。在通過如上所述重復(fù)合成濾波重構(gòu)解碼圖像之后，小波逆變換部分205把解碼圖像的圖像數(shù)據(jù)輸出到圖像解碼裝置200的外部(箭頭D59)。因此，圖像解碼裝置200能夠可伸縮地對編碼數(shù)據(jù)進(jìn)行解碼。此時(shí)，圖像解碼裝置 200使用行塊(行塊是比畫面小的單位)作為單位執(zhí)行解碼。因此，圖像解碼裝置200能夠 以可伸縮方式低延遲地對編碼數(shù)據(jù)進(jìn)行解碼。特別地，此 行塊是產(chǎn)生最高子頻帶的至少一個(gè)系數(shù)行所需的多個(gè)行的圖像數(shù)據(jù)， 并且可以成為能夠應(yīng)用小波變換的最小數(shù)據(jù)單位。因此，圖像解碼裝置200能夠以可伸縮 方式低延遲地對編碼數(shù)據(jù)進(jìn)行解碼。[部分解碼]接下來將描述部分解碼。圖15是幫助說明部分解碼的例子的圖。在圖15中，圖 像數(shù)據(jù)已經(jīng)受了小波變換并且被分割至分割級別4。例如，當(dāng)解碼圖像的分辨率被設(shè)置為原始圖像的分辨率的1/4時(shí)，子頻帶ILL可以 用作解碼圖像。因此，如虛線框所示，對分割級別4至分割級別2的系數(shù)數(shù)據(jù)進(jìn)行合成濾波 就足夠了。也就是說，因?yàn)椴恍枰宇l帶ILHUHL和IHH的系數(shù)數(shù)據(jù)，所以子頻帶和行選擇 部分202不選擇與子頻帶ILHUHL和IHH的系數(shù)數(shù)據(jù)對應(yīng)的碼行。根據(jù)要產(chǎn)生的解碼圖像的分辨率確定一碼行是否必要。換句話說，根據(jù)從最低層 開始的執(zhí)行小波逆變換的層來確定要選擇的碼行。[可伸縮解碼的例子]例如，當(dāng)圖像解碼裝置200以原始圖像的1/16X1/16的分辨率執(zhí)行解碼時(shí)，子頻 帶和行選擇部分202僅選擇分割級別4 (最低層)的最低頻分量(子頻帶4LL)的系數(shù)行， 如圖16A中所示的情況1那樣。因?yàn)樵诿總€(gè)行塊中執(zhí)行小波變換和小波逆變換，所以也在每個(gè)行塊中進(jìn)行子頻帶 和行選擇部分202的選擇。因此，在情況1中，如圖16A中所示，選擇子頻帶4LL的一個(gè)系 數(shù)行(碼行)(行P)。另外，例如，當(dāng)圖像解碼裝置200以原始圖像的1/8X1/8的分辨率執(zhí)行解碼時(shí)，子 頻帶和行選擇部分202僅選擇分割級別4 (最低層)的各子頻帶(4HH、4HL、4LH和4LL)的 系數(shù)行(行P)，如圖16B中所示的情況2那樣。另外，例如，當(dāng)圖像解碼裝置200以原始圖像的1/4X1/4的分辨率執(zhí)行解碼時(shí)，子 頻帶和行選擇部分202選擇分割級別4 (最低層)的各子頻帶(4HH、4HL、4LH和4LL)的系 數(shù)行(行P)和分割級別3的各子頻帶(3HH、3HL和3LH)的系數(shù)行(行N和行(N+1))，如圖 16C中所示的情況3那樣。另外，例如，當(dāng)圖像解碼裝置200以原始圖像的1/2X1/2的分辨率執(zhí)行解碼時(shí)，子 頻帶和行選擇部分202選擇分割級別4 (最低層)的各子頻帶(4HH、4HL、4LH和4LL)的系 數(shù)行(行P)、分割級別3的各子頻帶(3HH、3HL和3LH)的系數(shù)行(行N和行(N+1))和分割 級別2的各子頻帶(2HH、2HL和2LH)的系數(shù)行(行M至行(M+3))，如圖16D中所示的情況 4那樣。另外，例如，當(dāng)圖像解碼裝置200以與原始圖像的分辨率相同的分辨率執(zhí)行解碼 時(shí)，子頻帶和行選擇部分202選擇所有子頻帶的系數(shù)行(分割級別4的各子頻帶(4HH、4HL、 4LH和4LL)的系數(shù)行(行P)、分割級別3的各子頻帶(3HH、3HL和3LH)的系數(shù)行(行N和 行(N+1))、分割級別2的各子頻帶(2HH、2HL和2LH)的系數(shù)行(行M至行(M+3))和分割級別1的各子頻帶(1HHUHL和1LH)的系數(shù)行(行L至行(L+7)))，如圖16E中所示的情況5那樣。因此，熵解碼部分203和隨后的處理部分僅處理選擇的碼行就足夠了，并且圖像 解碼裝置200能夠抑制由于不必要的處理導(dǎo)致的不必要的負(fù)荷增加。此外，盡管已參照圖16描述了穩(wěn)定狀態(tài)下的行塊(圖10)，但基本上能夠以類似的 方式處理初始狀態(tài)下的行塊。初始狀態(tài)和穩(wěn)定狀態(tài)下系數(shù)行的排列的差異如圖9和圖10 所示。因此，在初始狀態(tài)的行塊的情況下，僅在以上說明中反映出圖9和圖10中所示的差 異就足夠了，因此將省略對其的描述。[提升運(yùn)算] 小波逆變換部分205通過與小波變換部分103的小波變換處理對應(yīng)的方法執(zhí)行小 波逆變換。例如，當(dāng)小波變換部分103如上所述使用5X3濾波器執(zhí)行分析濾波時(shí)，小波逆 變換部分205也使用5X3濾波器執(zhí)行合成濾波。合成濾波僅是逆處理，并且是與分析濾波基本類似的處理。也就是說，合成濾波也 能夠通過使用如圖3所示的提升技術(shù)減少濾波處理的計(jì)算。圖17是在使用5X3分析濾波器沿垂直方向?qū)π羞M(jìn)行濾波的情況下的圖。沿水平 方向示出運(yùn)算過程以及通過該運(yùn)算過程產(chǎn)生的低階系數(shù)。如分析濾波的情況一樣，水平方 向的處理以與垂直方向的處理的方式類似的方式執(zhí)行。首先執(zhí)行垂直方向的合成濾波，接 下來執(zhí)行水平方向的合成濾波。在圖像的上端，如框251所示，在輸入高頻系數(shù)(H0)、低頻系數(shù)(Li)和高頻系數(shù) (Hl)的時(shí)間點(diǎn)執(zhí)行提升運(yùn)算。此時(shí)，如箭頭252所示，系數(shù)a對稱地?cái)U(kuò)展。因此，產(chǎn)生下一 低層中的行0和行1。接下來，當(dāng)輸入兩個(gè)系數(shù)行(低頻分量L2和高頻分量H2)時(shí)，如框253所示，產(chǎn)生 下一低層中的行2和行3。之后，每次當(dāng)輸入兩個(gè)系數(shù)行時(shí)，如框254所示，對后續(xù)的行類似地重復(fù)上述提升 運(yùn)算，并且輸出兩個(gè)低階系數(shù)行。然后，當(dāng)如框255所示對應(yīng)于輸入的低頻系數(shù)(L(N))和 輸入的高頻系數(shù)(H(N))產(chǎn)生行2(N)-2和行2(N)-1時(shí)，如箭頭256所示高頻系數(shù)(H(N)) 對稱地?cái)U(kuò)展，如框257所示執(zhí)行運(yùn)算，由此產(chǎn)生行2 (N+1) -2和行2 (N+l)-1。[行塊單位的合成濾波]針對各層遞歸地執(zhí)行以上合成濾波(提升)。因此，每次當(dāng)降低一層時(shí)，行的數(shù)量 加倍。例如，假定存在分割級別2的N/4個(gè)系數(shù)行，如圖18中所示。當(dāng)分割級別2的子 頻帶2LL、2LH、2HL和2HH經(jīng)受合成濾波時(shí)，在分割級別1的子頻帶ILL中產(chǎn)生N/2個(gè)行。[系數(shù)行的處理順序]將更具體地描述如上所述的小波逆變換部分205的合成濾波的處理過程的例子。圖19是按時(shí)間序列的順序顯示在穩(wěn)定狀態(tài)下由小波逆變換部分205處理的數(shù)據(jù) 的圖。在圖19中，從圖的頂部沿向下方向按時(shí)間序列的順序排列由小波逆變換部分205處 理的數(shù)據(jù)。在圖16A中示出的情況1中，小波逆變換部分205原樣地輸出提供的子頻帶4LL 的系數(shù)行(行P)。
在圖16B中示出的情況2中，小波逆變換部分205對分割級別4的各子頻帶(子 頻帶4HH、4HL、4LH和4LL)的一個(gè)提供的系數(shù)行(行P)進(jìn)行合成濾波，由此產(chǎn)生分割級別 3的子頻帶3LL的兩個(gè)系數(shù)行(行N和行(N+1))，然后輸出分割級別3的子頻帶3LL的這 兩個(gè)系數(shù)行(行N和行(N+1))。
在圖16C中示出的情況3中，小波逆變換部分205向緩沖部分206提供在情況2 中產(chǎn)生的分割級別3的子頻帶3LL的兩個(gè)系數(shù)行(行N和行(N+1))中的系數(shù)行(N+1)，并 使緩沖部分206保持系數(shù)行(N+1)。接下來，小波逆變換部分205對分割級別3的子頻帶3LL的系數(shù)行(行N)和每個(gè) 其它子頻帶(子頻帶3HH、3HL和3LH)的一個(gè)系數(shù)行(行N)進(jìn)行合成濾波，由此產(chǎn)生分割 級別2的子頻帶2LL的兩個(gè)系數(shù)行(行M和行(M+1))，然后輸出分割級別2的子頻帶2LL 的這兩個(gè)系數(shù)行(行M和行(M+1))。接下來，小波逆變換部分205從緩沖部分206讀取分割級別3的子頻帶3LL的系 數(shù)行(行(N+1))，對分割級別3的子頻帶3LL的系數(shù)行(行(N+1))和每個(gè)其它子頻帶(子 頻帶3HH、3HL和3LH)的一個(gè)系數(shù)行(行(N+1))進(jìn)行合成濾波，由此產(chǎn)生分割級別2的子 頻帶2LL的兩個(gè)系數(shù)行(行(M+2)和行(M+3))，然后輸出分割級別2的子頻帶2LL的這兩 個(gè)系數(shù)行(行(M+2)和行(M+3))。在圖16D中示出的情況4中，小波逆變換部分205向緩沖部分206提供在情況3 中產(chǎn)生的分割級別2的子頻帶2LL的兩個(gè)系數(shù)行(行M和行(M+1))中的系數(shù)行(M+1)，并 使緩沖部分206保持系數(shù)行(M+1)。接下來，小波逆變換部分205對分割級別2的子頻帶2LL的系數(shù)行(行M)和每個(gè) 其它子頻帶(子頻帶2HH、2HL和2LH)的一個(gè)系數(shù)行(行M)進(jìn)行合成濾波，由此產(chǎn)生分割 級別1的子頻帶ILL的兩個(gè)系數(shù)行(行L和行(L+1))，然后輸出分割級別1的子頻帶ILL 的這兩個(gè)系數(shù)行(行L和行(L+1))。接下來，小波逆變換部分205從緩沖部分206讀取分割級別2的子頻帶2LL的系 數(shù)行(行(M+1))，對分割級別2的子頻帶2LL的系數(shù)行(行(M+1))和每個(gè)其它子頻帶(子 頻帶2HH、2HL和2LH)的一個(gè)系數(shù)行(行(M+1))進(jìn)行合成濾波，由此產(chǎn)生分割級別1的子 頻帶ILL的兩個(gè)系數(shù)行(行(L+2)和行(L+3))，然后輸出分割級別1的子頻帶ILL的這兩 個(gè)系數(shù)行(行(L+2)和行(L+3))。接下來，小波逆變換部分205從緩沖部分206讀取分割級別3的子頻帶3LL的系 數(shù)行(行(N+1))，對分割級別3的子頻帶3LL的系數(shù)行(行(N+1))和每個(gè)其它子頻帶(子 頻帶3HH、3HL和3LH)的一個(gè)系數(shù)行(行(N+1))進(jìn)行合成濾波，由此產(chǎn)生分割級別2的子 頻帶2LL的兩個(gè)系數(shù)行(行(M+2)和行(M+3))。這兩個(gè)系數(shù)行(行(M+2)和行(M+3))中 的系數(shù)行(M+3)被提供給緩沖部分206并被保持在緩沖部分206中。接下來，小波逆變換部分205對分割級別2的子頻帶2LL的系數(shù)行(行(M+2))和 每個(gè)其它子頻帶(子頻帶2HH、2HL和2LH)的一個(gè)系數(shù)行(行(M+2))進(jìn)行合成濾波，由此 產(chǎn)生分割級別1的子頻帶ILL的兩個(gè)系數(shù)行(行(L+4)和行(L+5))，然后輸出分割級別1 的子頻帶ILL的這兩個(gè)系數(shù)行(行(L+4)和行(L+5))。接下來，小波逆變換部分205從緩沖部分206讀取分割級別2的子頻帶2LL的系 數(shù)行(行(M+3))，對分割級別2的子頻帶2LL的系數(shù)行(行(M+3))和每個(gè)其它子頻帶(子頻帶2HH、2HL和2LH)的一個(gè)系數(shù)行(行(M+3))進(jìn)行合成濾波，由此產(chǎn)生分割級別1的子 頻帶ILL的兩個(gè)系數(shù)行(行(L+6)和行(L+7))，然后輸出分割級別1的子頻帶ILL的這兩 個(gè)系數(shù)行(行(L+6)和行(L+7))。在圖16E中示出的情況5中，小波逆變換部分205向緩沖部分206提供在情況4 中產(chǎn)生的分割級別1的子頻帶ILL的兩個(gè)系數(shù)行(行L和行(L+1))中的系數(shù)行(L+1)，并 使緩沖部分206保持系數(shù)行(L+1)。接下來，小波逆變換部分205對分割級別1的子頻帶ILL的系數(shù)行(行L)和每個(gè) 其它子頻帶(子頻帶IHHUHL和1LH)的一個(gè)系數(shù)行(行L)進(jìn)行合成濾波，由此產(chǎn)生基帶 圖像數(shù)據(jù)的兩行(行K和行(K+1))，然后輸出基帶圖像數(shù)據(jù)的這兩行(行K和行(K+1))。接下來，小波逆變換部分205從緩沖部分206讀取分割級別1的子頻帶ILL的系 數(shù)行(行(L+1))，對分割級別1的子頻帶ILL的系數(shù)行(行(L+1))和每個(gè)其它子頻帶(子 頻帶IHHUHL和1LH)的一個(gè)系數(shù)行(行(L+1))進(jìn)行合成濾波，由此產(chǎn) 生基帶圖像數(shù)據(jù)的 兩行(行(K+2)和行(K+3))，然后輸出基帶圖像數(shù)據(jù)的這兩行(行(K+2)和行(K+3))。接下來，小波逆變換部分205從緩沖部分206讀取分割級別2的子頻帶2LL的系 數(shù)行(行(M+1))，對分割級別2的子頻帶2LL的系數(shù)行(行(M+1))和每個(gè)其它子頻帶(子 頻帶2HH、2HL和2LH)的一個(gè)系數(shù)行(行(M+1))進(jìn)行合成濾波，由此產(chǎn)生分割級別1的子 頻帶ILL的兩個(gè)系數(shù)行(行(L+2)和行(L+3))。這兩個(gè)系數(shù)行(行(L+2)和行(L+3))中 的系數(shù)行(L+3)被提供給緩沖部分206并被保持在緩沖部分206中。接下來，小波逆變換部分205對分割級別1的子頻帶ILL的系數(shù)行(行(L+2))和 每個(gè)其它子頻帶(子頻帶IHHUHL和1LH)的一個(gè)系數(shù)行(行(L+2))進(jìn)行合成濾波，由此產(chǎn) 生基帶圖像數(shù)據(jù)的兩行(行(K+4)和行(K+5))，然后輸出基帶圖像數(shù)據(jù)的這兩行(行(K+4) 和行(K+5))。接下來，小波逆變換部分205從緩沖部分206讀取分割級別1的子頻帶ILL的系 數(shù)行(行(L+3))，對分割級別1的子頻帶ILL的系數(shù)行(行(L+3))和每個(gè)其它子頻帶(子 頻帶IHHUHL和1LH)的一個(gè)系數(shù)行(行(L+3))進(jìn)行合成濾波，由此產(chǎn)生基帶圖像數(shù)據(jù)的 兩行(行(K+6)和行(K+7))，然后輸出基帶圖像數(shù)據(jù)的這兩行(行(K+6)和行(K+7))。接下來，小波逆變換部分205從緩沖部分206讀取分割級別3的子頻帶3LL的系 數(shù)行(行(N+1))，對分割級別3的子頻帶3LL的系數(shù)行(行(N+1))和每個(gè)其它子頻帶(子 頻帶3HH、3HL和3LH)的一個(gè)系數(shù)行(行(N+1))進(jìn)行合成濾波，由此產(chǎn)生分割級別2的子 頻帶2LL的兩個(gè)系數(shù)行(行(M+2)和行(M+3))。這兩個(gè)系數(shù)行(行(M+2)和行(M+3))中 的系數(shù)行(M+3)被提供給緩沖部分206并被保持在緩沖部分206中。接下來，小波逆變換部分205對分割級別2的子頻帶2LL的系數(shù)行(行(M+2))和 每個(gè)其它子頻帶(子頻帶2HH、2HL和2LH)的一個(gè)系數(shù)行(行(M+2))進(jìn)行合成濾波，由此 產(chǎn)生分割級別1的子頻帶ILL的兩個(gè)系數(shù)行(行(L+4)和行(L+5))。這兩個(gè)系數(shù)行(行 (L+4)和行(L+5))中的系數(shù)行(L+5)被提供給緩沖部分206并被保持在緩沖部分206中。接下來，小波逆變換部分205對分割級別1的子頻帶ILL的系數(shù)行(行(L+4))和 每個(gè)其它子頻帶(子頻帶IHHUHL和1LH)的一個(gè)系數(shù)行(行(L+4))進(jìn)行合成濾波，由此產(chǎn) 生基帶圖像數(shù)據(jù)的兩行(行(K+8)和行(K+9))，然后輸出基帶圖像數(shù)據(jù)的這兩行(行(K+8) 和行(K+9))。
接下來，小波逆變換部分205從緩沖部分206讀取分割級別1的子頻帶ILL的系數(shù) 行(行(L+5))，對分割級別1的子頻帶ILL的系數(shù)行(行(L+5))和每個(gè)其它子頻帶(子頻 帶IHHUHL和1LH)的一個(gè)系數(shù)行(行(L+5))進(jìn)行合成濾波，由此產(chǎn)生基帶圖像數(shù)據(jù)的兩 行(行(K+10)和行(K+11))，然后輸出基帶圖像數(shù)據(jù)的這兩行(行(K+10)和行(K+11))。
接下來，小波逆變換部分205從緩沖部分206讀取分割級別2的子頻帶2LL的系 數(shù)行(行(M+3))，對分割級別2的子頻帶2LL的系數(shù)行(行(M+3))和每個(gè)其它子頻帶(子 頻帶2HH、2HL和2LH)的一個(gè)系數(shù)行(行(M+3))進(jìn)行合成濾波，由此產(chǎn)生分割級別1的子 頻帶ILL的兩個(gè)系數(shù)行(行(L+6)和行(L+7))。這兩個(gè)系數(shù)行(行(L+6)和行(L+7))中 的系數(shù)行(L+7)被提供給緩沖部分206并被保持在緩沖部分206中。
接下來，小波逆變換部分205對分割級別1的子頻帶ILL的系數(shù)行(行(L+6))和 每個(gè)其它子頻帶(子頻帶IHHUHL和1LH)的一個(gè)系數(shù)行(行(L+6))進(jìn)行合成濾波，由此 產(chǎn)生基帶圖像數(shù)據(jù)的兩行(行(K+U)和行￠+1 )，然后輸出基帶圖像數(shù)據(jù)的這兩行(行 (K+12)和行(K+13))。
接下來，小波逆變換部分205從緩沖部分206讀取分割級別1的子頻帶ILL的系數(shù) 行(行(L+7))，對分割級別1的子頻帶ILL的系數(shù)行(行(L+7))和每個(gè)其它子頻帶(子頻 帶IHHUHL和1LH)的一個(gè)系數(shù)行(行(L+7))進(jìn)行合成濾波，由此產(chǎn)生基帶圖像數(shù)據(jù)的兩 行(行(K+14)和行(K+15))，然后輸出基帶圖像數(shù)據(jù)的這兩行(行(K+14)和行(K+15))。
如上所述，小波逆變換部分205根據(jù)要產(chǎn)生的解碼圖像的分辨率僅使必要的系數(shù) 數(shù)據(jù)經(jīng)受合成濾波處理，從而能夠抑制不必要的負(fù)荷增加。盡管這種合成濾波的順序是任 意的，但為了更低的延遲，希望在能夠執(zhí)行合成濾波的各層之中優(yōu)先在低層中執(zhí)行合成濾 波。
此外，盡管已描述了穩(wěn)定狀態(tài)下的行塊，但初始狀態(tài)和穩(wěn)定狀態(tài)下系數(shù)行的排列 的差異如圖9和圖10所示并且基本上能夠以類似的方式處理初始狀態(tài)下的行塊。因此，將 省略對其的描述。
[可伸縮轉(zhuǎn)換]
如上所述，圖像編碼裝置100和圖像解碼裝置200以行塊為單位對圖像數(shù)據(jù)(和 編碼數(shù)據(jù))進(jìn)行小波變換和小波逆變換處理(編碼和解碼處理)。
對于整個(gè)畫面，如圖20A中所示，例如，基帶圖像數(shù)據(jù)281通過圖像編碼裝置100 的編碼(小波變換)被轉(zhuǎn)換成如圖20B所示的已分成13個(gè)子頻帶的系數(shù)數(shù)據(jù)觀2(編碼數(shù) 據(jù))。
系數(shù)數(shù)據(jù)282通過圖像解碼裝置200的解碼(小波逆變換)被轉(zhuǎn)換成解碼圖像。 如上所述，圖像解碼裝置200能夠可伸縮地執(zhí)行解碼。因此，如圖20C中所示，圖像解碼裝 置200能夠產(chǎn)生具有解碼圖像283至觀7中的一個(gè)的分辨率(圖像尺寸)的解碼圖像。
圖像解碼裝置200能夠根據(jù)例如圖像解碼裝置200的硬件的性能、用于處理解碼 圖像的圖像處理裝置的性能或用于顯示解碼圖像的顯示屏幕的尺寸，選擇合適的分辨率 (圖像尺寸)。如上所述，可以預(yù)先確定分辨率的大小，或者圖像解碼裝置200可以根據(jù)用 戶的指定、連接的裝置的硬件規(guī)格等適當(dāng)?shù)剡x擇分辨率的大小。
[處理流程]
將參照圖21的流程圖描述如上所述由圖像解碼裝置200的各部分執(zhí)行的解碼處理的流程的例子。此外，對于與一個(gè)畫面的圖像對應(yīng)的每個(gè)編碼數(shù)據(jù)執(zhí)行該解碼處理。
在解碼處理開始之后，在步驟S201中，碼字解密部分201接收一個(gè)行塊的編碼數(shù) 據(jù)的輸入。在步驟S202中，碼字解密部分201對輸入的編碼數(shù)據(jù)的碼字進(jìn)行解密，并提取 相關(guān)信息。碼字解密部分201基于提取的相關(guān)信息，把必要的信息提供給每個(gè)處理部分。
在步驟S203中，子頻帶和行選擇部分202的選擇塊211基于從碼字解密部分201 提供的信息(例如，碼量)，從編碼數(shù)據(jù)提取處理對象行。
在步驟S204中，選擇塊211確定提取的處理對象行是否是選擇對象行。也就是說， 選擇塊211確定處理對象行是否是可伸縮解碼所需的要解碼的碼行。當(dāng)確定處理對象行是 選擇對象行時(shí)，處理前進(jìn)至步驟S205。
在步驟S205中，保持塊212保持處理對象行作為選擇對象行。在保持處理對象行 之后，處理前進(jìn)至步驟S206。當(dāng)在步驟S204中確定處理對象行不是要解碼的碼行并且對于 可伸縮解碼不必要時(shí)，省略步驟S205的處理，并且處理前進(jìn)至步驟S206而不保持該處理對 象行。
在步驟S206中，碼字解密部分201確定是否已處理了一個(gè)行塊。當(dāng)確定在處理對 象行塊內(nèi)存在未處理的系數(shù)行時(shí)，處理返回至步驟S203以重復(fù)從步驟S203向下的處理。當(dāng) 在步驟S206中確定已處理了一個(gè)行塊時(shí)，處理前進(jìn)至步驟S207。
在步驟S207中，熵解碼部分203讀取從一個(gè)行塊的碼行中選擇并保持為選擇對象 行的處理對象行，然后對該處理對象行進(jìn)行熵解碼。在步驟S208中，逆量化部分204對通 過對處理對象行進(jìn)行熵解碼而獲得的系數(shù)數(shù)據(jù)進(jìn)行逆量化。
在步驟S209中，小波逆變換部分205對逆量化的系數(shù)數(shù)據(jù)進(jìn)行小波逆變換。作為 以上處理的結(jié)果，可伸縮地對一個(gè)行塊的碼行進(jìn)行解碼(完全解碼或部分解碼)。
在步驟S210中，小波逆變換部分205確定處理是否已執(zhí)行到處理對象畫面的最后 行塊(例如，最下段的行塊)。當(dāng)確定處理尚未執(zhí)行到最后行塊時(shí)，處理返回至步驟S201以 對下一行塊重復(fù)從步驟S201向下的處理。當(dāng)在步驟S210中確定處理已完成至最后行塊時(shí)， 該處理對象畫面的解碼處理結(jié)束。
通過如上所述執(zhí)行解碼處理，圖像解碼裝置200能夠以可伸縮方式低延遲地對通 過對圖像編碼獲得的編碼數(shù)據(jù)進(jìn)行解碼。
[碼行間斷的另一例子]
此外，在圖12中，圖像編碼裝置100把包括碼行的碼量的頭信息附加到各分割級 別的碼行，從而圖像解碼裝置200能夠區(qū)分碼流中各分割級別的碼行之間的間斷(break)。 然而，作為指示所述間斷的另一方法，例如，可以如圖22中所示附加專用標(biāo)記。
例如，圖像編碼裝置100在附加部分107中把專用標(biāo)記附加到碼流中各分割級別 的碼行之間的邊界。圖像解碼裝置200能夠通過檢測這些標(biāo)記來識別各分割級別的碼行之 間的邊界。然而，在這種情況下，圖像解碼裝置200能夠基于標(biāo)記區(qū)分各分割級別的碼行， 但是不能確定碼行的碼量。也就是說，圖像解碼裝置200不能從標(biāo)記直接確定各分割級別 的碼行的排列順序。因此，圖像解碼裝置需要通過某些其它手段掌握碼行的排列順序。
<2、第二實(shí)施例>
[裝置結(jié)構(gòu)]
以上描述了把通過小波變換產(chǎn)生的系數(shù)行重新排列為小波逆變換的順序的圖像編碼裝置100。然而，可以以任何順序發(fā)送系數(shù)行(碼行)。
當(dāng)由圖像解碼裝置200獲得的系數(shù)行(碼行)的排列順序不是如第一實(shí)施例中所 述的小波逆變換的順序并且以不變的順序執(zhí)行小波逆變換時(shí)，恐怕緩沖器中的數(shù)據(jù)管理會 復(fù)雜并且導(dǎo)致負(fù)荷增加。另外，當(dāng)系數(shù)數(shù)據(jù)的排列順序不總是相同并且系數(shù)數(shù)據(jù)的排列順 序根據(jù)作為發(fā)送源的圖像編碼裝置的規(guī)格而不同時(shí)，恐怕小波變換時(shí)的數(shù)據(jù)管理會更加復(fù)ο
因此，希望在圖像解碼裝置執(zhí)行小波逆變換之前把系數(shù)數(shù)據(jù)重新排列為小波逆變 換的順序。
圖23是作為應(yīng)用了本發(fā)明的圖像處理裝置的圖像解碼裝置的結(jié)構(gòu)的例子的框 圖。
與圖14中的圖像解碼裝置200 —樣，圖23中的圖像解碼裝置300通過對經(jīng)圖像 編碼裝置100對圖像編碼產(chǎn)生的編碼數(shù)據(jù)進(jìn)行解碼，產(chǎn)生解碼圖像。
圖像解碼裝置300具有與圖像解碼裝置200的結(jié)構(gòu)基本上類似的結(jié)構(gòu)。然而，除 了圖像解碼裝置200的結(jié)構(gòu)之外，圖像解碼裝置300在熵解碼部分203和逆量化部分204 之間還具有系數(shù)行重新排列部分302。另外，替代碼字解密部分201，圖像解碼裝置300具 有碼字解密部分301。
熵解碼部分203把正處理的分割級別的系數(shù)行(量化的系數(shù))提供給系數(shù)行重新 排列部分302(箭頭D105)。
系數(shù)行重新排列部分302基于從碼字解密部分301提供的區(qū)分各分割級別的碼行 所需的信息，把系數(shù)數(shù)據(jù)(系數(shù)行)的順序(發(fā)送時(shí)的順序)重新排列為小波逆變換處理 的順序。
如圖23中所示，系數(shù)行重新排列部分302包括系數(shù)行重新排列緩沖器311和系數(shù) 行讀取塊312。系數(shù)行重新排列緩沖器311保持從熵解碼部分203提供的各分割級別的系 數(shù)行。系數(shù)行讀取塊312通過按照小波逆變換處理的順序讀取保持在系數(shù)行重新排列緩沖 器311中的各分割級別的系數(shù)行，執(zhí)行重新排列(箭頭D106)。
與碼字解密部分201 —樣，碼字解密部分301對輸入的編碼數(shù)據(jù)(碼字)(箭頭 D101)進(jìn)行解密，并提取與該數(shù)據(jù)和編碼處理相關(guān)的相關(guān)信息。碼字解密部分301隨后把重 新排列各分割級別的系數(shù)行所需的信息提供給系數(shù)行讀取塊312(虛線箭頭D123)。系數(shù) 行讀取塊312預(yù)先掌握小波逆變換部分205的小波逆變換處理的順序，該順序是重新排列 之后的排列順序。系數(shù)行讀取塊312需要掌握發(fā)送時(shí)的碼行的排列順序(該順序是重新排 列之前的排列順序)以對系數(shù)行進(jìn)行重新排列。因此，碼字解密部分301向系數(shù)行讀取塊 312提供指示發(fā)送時(shí)的碼行的排列順序的信息或者獲得該排列順序所需的信息。
例如，碼字解密部分301可以通過對碼字進(jìn)行解密來識別發(fā)送時(shí)的碼行的排列順 序，并把指示該排列順序的信息提供給系數(shù)行讀取塊312。另外，例如，碼字解密部分301 可以把從碼流中提取的指示各分割級別的碼行的碼量的信息順序地提供給系數(shù)行讀取塊 312。在這種情況下，系數(shù)行讀取塊312基于從碼字解密部分301提供的碼量的順序，掌握 系數(shù)行的排列順序。
此外，各分割級別的系數(shù)行在彼此可區(qū)分的狀態(tài)下被存儲在系數(shù)行重新排列緩沖 器311中。因此，系數(shù)行讀取塊312可以獲得保持在系數(shù)行重新排列緩沖器311中的各分割級別的系數(shù)行的數(shù)據(jù)量，并從這些數(shù)據(jù)量的排列順序掌握系數(shù)行的排列順序。在這種情 況下，能夠省略來自碼字解密部分301的信息提供。
系數(shù)行重新排列部分302 (系數(shù)行讀取塊312)按照重新排列的順序把系數(shù)數(shù)據(jù)提 供給逆量化部分204 (箭頭D107)。
逆量化部分204按照系數(shù)數(shù)據(jù)被提供給逆量化部分204的順序處理系數(shù)數(shù)據(jù)。因 此，按照由系數(shù)行重新排列部分302重新排列的順序把系數(shù)數(shù)據(jù)提供給小波逆變換部分 205(箭頭 D108)。
也就是說，小波逆變換部分205能夠使用按該順序提供的數(shù)據(jù)執(zhí)行合成濾波。因 此，小波逆變換部分205能夠以低延遲執(zhí)行小波逆變換而不需要不希望的等待時(shí)間等。另 外，因?yàn)槟軌蛉菀椎毓芾硐禂?shù)數(shù)據(jù)，所以小波逆變換部分205能夠減小小波逆變換處理的 負(fù)荷。
因此，圖像解碼裝置300能夠以可伸縮方式低延遲地對來自更多樣的圖像編碼裝 置的編碼數(shù)據(jù)進(jìn)行解碼。
[發(fā)送順序的例子]
此外，碼行(系數(shù)行)的排列順序(發(fā)送順序)是任意的。對于任何排列順序，系 數(shù)行重新排列部分302基于來自碼字解密部分301的信息掌握排列順序，并執(zhí)行從該排列 順序到小波逆變換處理的順序的重新排列。
發(fā)送順序的例子顯示在圖24A和MB以及圖25A和25B中。在圖24A和MB以及 圖25A和25B中，系數(shù)行按照各發(fā)送順序排列。從圖的頂部沿向下方向顯示時(shí)間序列。也 就是說，圖24A和MB以及圖25A和25B中顯示的系數(shù)行是按從圖的頂部開始的順序發(fā)送 的。
圖24A顯示按從低頻分量到高頻分量的順序發(fā)送各分割級別的系數(shù)行的例子。圖 24B顯示按從高頻分量到低頻分量的順序發(fā)送各分割級別的系數(shù)行的例子。圖25A顯示原 樣地按照系數(shù)行經(jīng)受小波變換處理的順序發(fā)送各分割級別的系數(shù)行的例子。圖25B顯示按 照系數(shù)行經(jīng)受小波逆變換處理的順序發(fā)送各分割級別的系數(shù)行的例子。
圖24A、圖24B和圖25A的情況中的發(fā)送順序不同于小波逆變換處理的順序，因此， 系數(shù)行重新排列部分302掌握這些發(fā)送順序并把這些發(fā)送順序重新排列成小波逆變換處 理的順序。
在圖25B的情況下，系數(shù)行重新排列部分302省略重新排列，并按原順序向逆量化 部分204提供系數(shù)數(shù)據(jù)。也就是說，系數(shù)行讀取塊312按照在系數(shù)行重新排列緩沖器311中 保持系數(shù)行的順序，讀取各分割級別的系數(shù)行，然后把這些系數(shù)行提供給逆量化部分204。
此外，如上所述，選擇塊211的選擇不改變碼行的排列。因此，在任何上述情況下， 與由子頻帶和行選擇部分202選擇的分割級別的系數(shù)行無關(guān)(與要產(chǎn)生的解碼圖像的分辨 率無關(guān))，系數(shù)行重新排列緩沖器311能夠通過同樣的方法重新排列系數(shù)數(shù)據(jù)。
[處理流程]
將參照圖沈的流程圖描述如上所述由圖像解碼裝置300的各部分執(zhí)行的解碼處 理的流程的例子。此外，針對與一個(gè)畫面的圖像對應(yīng)的每個(gè)編碼數(shù)據(jù)執(zhí)行該解碼處理。
圖像解碼裝置300基本上執(zhí)行與參照圖21的流程圖描述的圖像解碼裝置200的 圖像解碼處理類似的圖像解碼處理。25
具體地講，圖像解碼裝置300的各部分以與圖21中的步驟S201至S207的各處理 類似的方式執(zhí)行步驟S301至S307的各處理。
在步驟S308中，系數(shù)行重新排列部分302把系數(shù)數(shù)據(jù)重新排列為小波逆變換的順序。
圖像解碼裝置300的各部分以與圖21中步驟S208至S210的各處理類似的方式 執(zhí)行步驟S309至S311的各處理。
通過如上所述執(zhí)行解碼處理，圖像解碼裝置300能夠以可伸縮方式低延遲地對通 過對圖像編碼獲得的編碼數(shù)據(jù)進(jìn)行解碼。
此外，使圖像解碼裝置300中的系數(shù)行重新排列部分302位于小波逆變換部分205 前面的位置就足夠了。例如，系數(shù)行重新排列部分302可以布置在子頻帶和行選擇部分202 與熵解碼部分203之間，或者系數(shù)行重新排列部分302可以布置在逆量化部分204與小波 逆變換部分205之間。
<3、第三實(shí)施例>
[系統(tǒng)結(jié)構(gòu)]
將描述在第一實(shí)施例中描述的圖像編碼裝置100和圖像解碼裝置200(或者在第 二實(shí)施例中描述的圖像解碼裝置300)的應(yīng)用例。圖27是顯示對輸入圖像進(jìn)行編碼并發(fā) 送、在發(fā)送目的地對編碼數(shù)據(jù)進(jìn)行解碼并隨后輸出獲得的解碼圖像的圖像傳輸系統(tǒng)的結(jié)構(gòu) 的例子的圖。
圖像傳輸系統(tǒng)400以較低延遲發(fā)送圖像。圖像傳輸系統(tǒng)400具有經(jīng)由網(wǎng)絡(luò)402彼 此連接的發(fā)送裝置401和接收裝置403。
發(fā)送裝置401經(jīng)由網(wǎng)絡(luò)402把輸入圖像發(fā)送給接收裝置403。發(fā)送裝置401為了 高效地發(fā)送圖像而對圖像數(shù)據(jù)進(jìn)行編碼，然后把編碼數(shù)據(jù)發(fā)送給接收裝置403。
發(fā)送裝置401具有編碼部分411、打包處理部分412和發(fā)送部分413。
編碼部分411對輸入圖像進(jìn)行編碼并輸出編碼數(shù)據(jù)。第一實(shí)施例中描述的圖像編 碼裝置100適用于編碼部分411。也就是說，編碼部分411具有與圖像編碼裝置100的結(jié)構(gòu) 類似的結(jié)構(gòu)，并執(zhí)行與圖像編碼裝置100的處理類似的處理。
打包處理部分412將從編碼部分411輸出的編碼數(shù)據(jù)(碼流)打包。發(fā)送部分 413經(jīng)由網(wǎng)絡(luò)402把由打包處理部分412產(chǎn)生的包發(fā)送給接收部分421。
網(wǎng)絡(luò)402是例如以互聯(lián)網(wǎng)、無線LAN等為代表的任意通信網(wǎng)絡(luò)，并且是從發(fā)送裝置 401發(fā)送的編碼數(shù)據(jù)到達(dá)接收裝置403的傳輸線。網(wǎng)絡(luò)402的結(jié)構(gòu)是任意的。網(wǎng)絡(luò)402可 以由一組多個(gè)網(wǎng)絡(luò)形成，網(wǎng)絡(luò)402的一部分或全部可以有線或無線地形成。
接收裝置403經(jīng)由網(wǎng)絡(luò)402接收從發(fā)送裝置401提供的包，對包中包括的編碼數(shù) 據(jù)進(jìn)行解碼，由此產(chǎn)生解碼圖像，然后輸出該解碼圖像。
接收裝置403具有接收部分421、解包處理部分422和解碼部分423。
接收部分421執(zhí)行與發(fā)送裝置401的發(fā)送部分413對應(yīng)的處理，并執(zhí)行經(jīng)由網(wǎng)絡(luò) 接收從發(fā)送部分413提供的包的處理。
解包處理部分422對在接收部分421中接收的包進(jìn)行解包，由此提取編碼數(shù)據(jù)。
解碼部分423對由解包處理部分422提取的編碼數(shù)據(jù)進(jìn)行解碼，并輸出解碼圖像。 第一實(shí)施例中描述的圖像解碼裝置200(或者第二實(shí)施例中描述的圖像解碼裝置300)適用于解碼部分423。也就是說，解碼部分423具有與圖像解碼裝置200(或者圖像解碼裝置 300)的結(jié)構(gòu)類似的結(jié)構(gòu)，并執(zhí)行與圖像解碼裝置200(或者圖像解碼裝置300)的處理類似 的處理。
通過如此應(yīng)用圖像解碼裝置200作為解碼部分423，接收裝置403能夠以可伸縮方 式低延遲地對編碼數(shù)據(jù)進(jìn)行解碼。另外，通過應(yīng)用具有系數(shù)行重新排列部分302的圖像解 碼裝置300作為解碼部分423，接收裝置403能夠以可伸縮方式低延遲地對來自更多樣的圖 像編碼裝置的編碼數(shù)據(jù)進(jìn)行解碼。
<4、第四實(shí)施例〉
[個(gè)人計(jì)算機(jī)]
上述一系列處理不僅能夠通過硬件執(zhí)行，還能夠通過軟件執(zhí)行。在這種情況下，圖 像編碼裝置100和圖像解碼裝置200(或圖像解碼裝置300)可以形成為例如如圖28所示 的個(gè)人計(jì)算機(jī)。
在圖觀中，個(gè)人計(jì)算機(jī)500的CPU 501根據(jù)存儲在ROM(只讀存儲器)502中的程 序或從存儲部分513載入到RAM(隨機(jī)存取存儲器)503中的程序執(zhí)行各種處理。RAM 503 還適當(dāng)?shù)卮鎯PU 501執(zhí)行各種處理等所需的數(shù)據(jù)。
CPU 50UROM 502和RAM 503經(jīng)由總線504互連?？偩€504還與輸入輸出接口 510連接。
輸入輸出接口 510與輸入部分511 (包括鍵盤、鼠標(biāo)等)、輸出部分512(包括由 CRT (陰極射線管)、LCD (液晶顯示器)等形成的顯示器、揚(yáng)聲器等)、存儲部分513 (包括硬 盤等)和通信部分514(包括調(diào)制解調(diào)器等)連接。通信部分514經(jīng)由包括互聯(lián)網(wǎng)的網(wǎng)絡(luò) 執(zhí)行通信處理。
輸入輸出接口 510還根據(jù)需要與驅(qū)動器515連接?？梢苿咏橘|(zhì)521 (諸如磁盤、光 盤、磁光盤、半導(dǎo)體存儲器等)適當(dāng)?shù)匮b入到驅(qū)動器515中。從這些可移動介質(zhì)讀取的計(jì)算 機(jī)程序根據(jù)需要被安裝到存儲部分513中。
當(dāng)上述一系列處理要通過軟件執(zhí)行時(shí)，從網(wǎng)絡(luò)或記錄介質(zhì)安裝構(gòu)成該軟件的程序。
如圖觀中所示，例如，記錄介質(zhì)不僅由分配給用戶以便以與裝置本體分開的方式 分發(fā)程序并且在其上記錄了程序的可移動介質(zhì)521形成，還由其上記錄了程序并在預(yù)先包 括在裝置本體中的狀態(tài)下被分配給用戶的ROM 502、存儲部分513中所包括的硬盤等形成， 其中所述可移動介質(zhì)521包括磁盤(包括軟盤)、光盤(包括CD-R0M(壓縮盤-只讀存儲 器)和DVD (數(shù)字多用盤))、磁光盤(包括MD (迷你盤))、半導(dǎo)體存儲器等。
應(yīng)該注意的是，由計(jì)算機(jī)執(zhí)行的程序可以是按照在本說明書中描述的順序按時(shí)間 序列執(zhí)行的程序，或者可以是并行地或在例如進(jìn)行調(diào)用的必要定時(shí)執(zhí)行的程序。
另外，在本說明書中，描述記錄在記錄介質(zhì)上的程序的步驟不僅包括按照所描述 的順序按時(shí)間序列執(zhí)行的處理，還包括并行地或單獨(dú)地以及不必按時(shí)間序列執(zhí)行的處理。
另外，在本說明書中，系統(tǒng)指的是由多個(gè)裝置形成的作為整體的設(shè)備。
另外，作為一個(gè)裝置(或一個(gè)處理部分)在以上描述的構(gòu)造可以分割并形成為多 個(gè)裝置(或多個(gè)處理部分)。相反，作為多個(gè)裝置(或多個(gè)處理部分)在以上描述的構(gòu)造可 以整合成一個(gè)裝置(一個(gè)處理部分)。另外，當(dāng)然，除上述構(gòu)造以外的構(gòu)造可以被附加到每個(gè)裝置(每個(gè)處理部分)的構(gòu)造。另外，裝置(或處理部分)的構(gòu)造的一部分可以被包括 在另一裝置(或另一處理部分)的構(gòu)造中，只要作為整體的系統(tǒng)的構(gòu)造和操作實(shí)際上相同 即可。也就是說，本發(fā)明的實(shí)施例不限于上述實(shí)施例，并且在不脫離本發(fā)明的精神的情況下 可以進(jìn)行各種變化。
本申請包含與2009年9月M日提交給日本專利局的日本在先專利申請JP 2009-219628中公開的主題相關(guān)的主題，通過引用將該專利申請的全部內(nèi)容包含于此。
本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫離權(quán)利要求或其等同物的范圍的情況下，可以 根據(jù)設(shè)計(jì)要求和其它因素做出各種變型、組合、子組合和替換。
權(quán)利要求
1.一種圖像處理裝置，包括選擇裝置，用于從通過對包括各子頻帶的系數(shù)數(shù)據(jù)組的行塊進(jìn)行編碼而產(chǎn)生的編碼數(shù) 據(jù)中，選擇與產(chǎn)生預(yù)定分辨率的解碼圖像所需的子頻帶的系數(shù)數(shù)據(jù)對應(yīng)的編碼數(shù)據(jù)，所述 行塊是通過經(jīng)分級分析濾波處理把預(yù)定行數(shù)的圖像數(shù)據(jù)分解到各頻帶而產(chǎn)生的并且至少 包括一行或多行的最低頻分量的子頻帶的系數(shù)數(shù)據(jù)；解碼裝置，用于對由所述選擇裝置選擇的編碼數(shù)據(jù)進(jìn)行解碼；和合成濾波裝置，用于以分級方式執(zhí)行合成濾波處理，合成通過由所述解碼裝置對所述 編碼數(shù)據(jù)進(jìn)行解碼而獲得的所述系數(shù)數(shù)據(jù)，并產(chǎn)生所述預(yù)定分辨率的解碼圖像。
2.如權(quán)利要求1所述的圖像處理裝置，還包括解密裝置，該解密裝置用于對所述編碼 數(shù)據(jù)進(jìn)行解密，其中，所述選擇裝置基于所述解密裝置的解密結(jié)果把所述編碼數(shù)據(jù)分割成與各層中的 所述系數(shù)數(shù)據(jù)的一行對應(yīng)的每個(gè)編碼數(shù)據(jù)，并從所分割的編碼數(shù)據(jù)中選擇與產(chǎn)生預(yù)定分辨 率的解碼圖像所需的子頻帶的系數(shù)數(shù)據(jù)對應(yīng)的編碼數(shù)據(jù)。
3.如權(quán)利要求2所述的圖像處理裝置，其中，所述解密裝置通過對所述編碼數(shù)據(jù)進(jìn)行解密來提取與各層中的所述系數(shù)數(shù)據(jù)的一行 對應(yīng)的編碼數(shù)據(jù)的碼量的信息，該信息被包含在所述編碼數(shù)據(jù)中，并且所述選擇裝置基于所述碼量把所述編碼數(shù)據(jù)分割成與各層中的所述系數(shù)數(shù)據(jù)的一行 對應(yīng)的每個(gè)編碼數(shù)據(jù)，并從所分割的編碼數(shù)據(jù)中選擇與產(chǎn)生預(yù)定分辨率的解碼圖像所需的 子頻帶的系數(shù)數(shù)據(jù)對應(yīng)的編碼數(shù)據(jù)。
4.如權(quán)利要求2所述的圖像處理裝置，其中，所述解密裝置通過對所述編碼數(shù)據(jù)解密來檢測指示與各層中的所述系數(shù)數(shù)據(jù)的一行 對應(yīng)的編碼數(shù)據(jù)的邊界的標(biāo)記，該標(biāo)記被包含在所述編碼數(shù)據(jù)中，并且所述選擇裝置基于所述標(biāo)記的檢測結(jié)果把所述編碼數(shù)據(jù)分割成與各層中的所述系數(shù) 數(shù)據(jù)的一行對應(yīng)的每個(gè)編碼數(shù)據(jù)，并從所分割的編碼數(shù)據(jù)中選擇與產(chǎn)生預(yù)定分辨率的解碼 圖像所需的子頻帶的系數(shù)數(shù)據(jù)對應(yīng)的編碼數(shù)據(jù)。
5.如權(quán)利要求1所述的圖像處理裝置，還包括系數(shù)數(shù)據(jù)重新排列裝置，該系數(shù)數(shù)據(jù)重 新排列裝置用于把通過由所述解碼裝置對編碼數(shù)據(jù)進(jìn)行解碼而獲得的所述系數(shù)數(shù)據(jù)的排 列順序，從由所述解碼裝置對編碼數(shù)據(jù)進(jìn)行解碼的順序重新排列為使系數(shù)數(shù)據(jù)經(jīng)受所述合 成濾波處理的順序，其中，所述合成濾波裝置合成由所述系數(shù)數(shù)據(jù)重新排列裝置重新排列了的各子頻帶的 所述系數(shù)數(shù)據(jù)并產(chǎn)生所述預(yù)定分辨率的解碼圖像。
6.如權(quán)利要求1所述的圖像處理裝置，其中，所述合成濾波裝置在能夠執(zhí)行所述合成濾波處理的各層之中，優(yōu)先對較低層中的子頻 帶的系數(shù)數(shù)據(jù)執(zhí)行所述合成濾波處理。
7.如權(quán)利要求1所述的圖像處理裝置，其中，所述合成濾波裝置通過使用提升運(yùn)算執(zhí)行所述合成濾波處理。
8.如權(quán)利要求7所述的圖像處理裝置，其中，所述合成濾波裝置對初始狀態(tài)下的行塊在對稱地?cái)U(kuò)展必要的系數(shù)數(shù)據(jù)之后執(zhí)行所述 提升運(yùn)算，并且對穩(wěn)定狀態(tài)下的行塊使用上次執(zhí)行的所述提升運(yùn)算的結(jié)果執(zhí)行所述提升運(yùn)算。
9.如權(quán)利要求7所述的圖像處理裝置，其中，所述合成濾波裝置沿水平方向?qū)λ鱿禂?shù)數(shù)據(jù)執(zhí)行所述提升運(yùn)算，然后沿垂直方向?qū)?所述系數(shù)數(shù)據(jù)執(zhí)行所述提升運(yùn)算。
10.一種圖像處理方法，包括下述步驟圖像處理裝置的選擇裝置從通過對包括各子頻帶的系數(shù)數(shù)據(jù)組的行塊進(jìn)行編碼而產(chǎn) 生的編碼數(shù)據(jù)中，選擇與產(chǎn)生預(yù)定分辨率的解碼圖像所需的子頻帶的系數(shù)數(shù)據(jù)對應(yīng)的編碼 數(shù)據(jù)，所述行塊是通過經(jīng)分級分析濾波處理把預(yù)定行數(shù)的圖像數(shù)據(jù)分解到各頻帶而產(chǎn)生的 并且至少包括一行或多行的最低頻分量的子頻帶的系數(shù)數(shù)據(jù)；所述圖像處理裝置的解碼裝置對所選擇的編碼數(shù)據(jù)進(jìn)行解碼；以及 所述圖像處理裝置的合成濾波裝置以分級方式執(zhí)行合成濾波處理，合成通過對所述編 碼數(shù)據(jù)進(jìn)行解碼而獲得的所述系數(shù)數(shù)據(jù)，并產(chǎn)生所述預(yù)定分辨率的解碼圖像。
11.一種圖像處理裝置，包括選擇部分，被配置為從通過對包括各子頻帶的系數(shù)數(shù)據(jù)組的行塊進(jìn)行編碼而產(chǎn)生的編 碼數(shù)據(jù)中，選擇與產(chǎn)生預(yù)定分辨率的解碼圖像所需的子頻帶的系數(shù)數(shù)據(jù)對應(yīng)的編碼數(shù)據(jù)， 所述行塊是通過經(jīng)分級分析濾波處理把預(yù)定行數(shù)的圖像數(shù)據(jù)分解到各頻帶而產(chǎn)生的并且 至少包括一行或多行的最低頻分量的子頻帶的系數(shù)數(shù)據(jù)；解碼部分，被配置為對由所述選擇部分選擇的編碼數(shù)據(jù)進(jìn)行解碼；和 合成濾波部分，被配置為以分級方式執(zhí)行合成濾波處理，合成通過由所述解碼部分對 所述編碼數(shù)據(jù)進(jìn)行解碼而獲得的所述系數(shù)數(shù)據(jù)，并產(chǎn)生所述預(yù)定分辨率的解碼圖像。
全文摘要
本發(fā)明涉及圖像處理裝置和方法。該圖像處理裝置包括選擇部分，被配置為從通過對包括各子頻帶的系數(shù)數(shù)據(jù)組的行塊進(jìn)行編碼而產(chǎn)生的編碼數(shù)據(jù)中選擇與產(chǎn)生預(yù)定分辨率的解碼圖像所需的子頻帶的系數(shù)數(shù)據(jù)對應(yīng)的編碼數(shù)據(jù)，所述行塊是通過經(jīng)分級分析濾波處理把預(yù)定行數(shù)的圖像數(shù)據(jù)分解到各頻帶而產(chǎn)生的并且至少包括一行或多行的最低頻分量的子頻帶的系數(shù)數(shù)據(jù)；解碼部分，被配置為對由所述選擇部分選擇的編碼數(shù)據(jù)進(jìn)行解碼；和合成濾波部分，被配置為以分級方式執(zhí)行合成濾波處理，合成通過由所述解碼部分對所述編碼數(shù)據(jù)進(jìn)行解碼而獲得的系數(shù)數(shù)據(jù)，并產(chǎn)生所述預(yù)定分辨率的解碼圖像。
文檔編號H04N7/24GK102036064SQ20101028799
公開日2011年4月27日 申請日期2010年9月16日 優(yōu)先權(quán)日2009年9月24日
發(fā)明者保坂和壽, 福原隆浩, 稻垣亞奈 申請人:索尼公司