對圖像數(shù)據(jù)流執(zhí)行可擴展編碼和解碼的設備和方法、信號、計算機程序以及用于相應圖像...的制作方法

文檔序號：7950678閱讀：178來源：國知局

專利名稱：對圖像數(shù)據(jù)流執(zhí)行可擴展編碼和解碼的設備和方法、信號、計算機程序以及用于相應圖像 ...的制作方法
技術領域：
本發(fā)明的領域是圖像或圖像視頻序列的編碼和解碼。更具體而言，本發(fā)明涉及一種用于對圖像執(zhí)行可擴展(scalable)編碼和解碼、也就是以可適應的質(zhì)量以及可變的空間/時間分辨率來編碼和解碼圖像的技術。2.現(xiàn)有技術當前，對很多數(shù)據(jù)傳輸系統(tǒng)來說，從為具有多種不同類型的數(shù)據(jù) 訪問的眾多客戶提供服務的意義上講，這些系統(tǒng)是異構的。由此，舉例來說，全球性的因特網(wǎng)是可以從PC類型的終端以及無線電電話訪問的。更為普遍的是，接入網(wǎng)絡的帶寬、客戶終端的處理能力及其屏幕的大小因用戶的不同而存在很大區(qū)別。因此，舉例來說，第一客戶可以使用隨其自由支配的1024kbit/s的ADSL比特率從強大的PC訪問因特網(wǎng)，而第二客戶則試圖以低的比特率使用與調(diào)制解調(diào)器相連的 PDA (個人數(shù)字助理)類型的終端來同時訪問相同數(shù)據(jù)。由此，有必要為這些不同的用戶提供與其需求相適應的數(shù)據(jù)流，而這些需求在比特率和圖像分辨率方面是有很大差別的。這種必要性應用，尤其是以下應用-VOD ("視頻點播，，)，它可以由UMTS ("通用移動電信服務")類型的無線電通信終端、具有ADSL接入的PC或電視終端所訪問；- 會話移動性(例如，在PDA上繼續(xù)在電視機上開始的視頻會話，或者在UMTS類型的終端上繼續(xù)在GPRS ("通用分組無線電
服務，，)上開始的會話)；- 會話連續(xù)性(在與新應用共享帶寬的情況下)；- 高清晰電視，其中單個視頻編碼必須顧及為具有標準清晰度 (SD)的客戶以及具有高清晰度(HD)的客戶提供服務；- 視頻會議，其中單個編碼必須滿足具有UMTS接入以及因特網(wǎng)接入的客戶的需要；-等等。為了滿足這些不同的需求，已經(jīng)開發(fā)了可擴展圖像編碼算法，以便能夠?qū)崿F(xiàn)可適應的質(zhì)量以及可變的空間-時間分辨率。編碼器產(chǎn)生一個具有多層的分層結(jié)構的壓縮流，其中每一層都內(nèi)嵌在一個更高級別的層中。舉例來說，第一數(shù)據(jù)層傳送的是可以被PDA類型的終端解碼的256kbit/s的流，而第二補充層傳送的是分辨率大于256kbit/s的流，作為對第一個流的補充，該流可以被更強大的PC類型的終端解碼。在本實例中，傳送這兩個內(nèi)嵌層所需要的比特率是512kbit/s?，F(xiàn)在，在MPEG21工作組的環(huán)境中，其中的某些可擴展視頻編碼算法正在被MPEG ("運動圖像專家組，，)標準所采納。特別地，MPEG-21工作組最近選擇的才莫型、即SVC ("可擴展視頻編碼")模型被稱為SVM ("可擴展視頻模型")，它是以基于 AVC ("高級視頻編碼，，)類型的解決方案的可擴展編碼器為基礎的。在2004年10月發(fā)表于西班牙Palma de Majorca的名為"Scalable Video Model 3.0，，的文獻N6716 ISO/IEC JTC 1/SC 29/WG 11中詳細描述了這種模型。MPEG-21工作組的目標是提出一種用于提供可擴展流的標準，其中所述可擴展流在空間-時間維度以及質(zhì)量方面是粒度平均的。2.1 MPEG-21 SVM編碼器2.1.1編碼器的主要特性圖l描述的是這種具有金字塔結(jié)構的編碼器的結(jié)構。視頻輸入組件10經(jīng)歷二元子采樣操作(用11標記的二中取一 2D抽選，用12標記的四中取一2D抽選)。然后，每一個子采樣的流都會經(jīng)歷MCTF(運動補償時域濾波)類型的時域分解處理13。低分辨率版本的視頻序列被編碼(14)到給定比特率R_r0_max，其中該比特率與用于低空間分辨率r0 (這個基本等級是兼容AVC的)的最大可解碼比特率相對應。然后，通過減去先前重新構建的并且過釆樣的等級，并且通過以如下形式編碼殘差(residue)，對更高的等級進行編碼15、 16: -基本等級；-可能通過比特平面的多行程(multi-run)編碼獲取的一個或多個增強等級(在下文中將"細化粒度可擴展性，，稱為FGS)。預測殘差被編碼到比特率R_ri_max,其中該比特率與對于分辨率ri而言可以解碼的最大比特率相對應。更具體地說，MCTF濾波塊13執(zhí)行時域小波濾波，也就是iJL，它們會在小波濾波之前在運動方面重新校準信號它們傳遞被饋送到運動編碼塊14~16的運動信息17以及被饋送到預測模塊19的紋理信息19。從預測模塊19輸出的預測數(shù)據(jù)用于從較低的等級開始執(zhí)行插值20。此外，這些數(shù)據(jù)還被饋送到空間變換和熵編碼塊21，所述塊21是工作在信號的細化等級上的。復用模塊21對在總壓縮數(shù)據(jù)流中產(chǎn)生的不同子流進行排序。圖2描述的是借助于圖1的可擴展編碼器獲取的結(jié)果，其中該結(jié) 果具有針對不同的可擴展分辨率("公用接口格式/四分之一公用接口格式，，CIF/QCIF，其中CIF對應于半TV格式，而QCIF對應于四分之一 TV格式)或不同的時間分辨率(7.5~30hz，每秒的圖像數(shù)量) 所描繪的比特率/失真曲線的形式。y軸顯示了 PSNR(峰值信噪比)，并且x軸顯示了用kbit/s表示的比特率。由此，用23標引的曲線與具有7.5Hz時間分辨率的QCIF空間分辨率是對應的，用24標引的曲線與15Hz的QCIF分辨率是對應的，用25標引的曲線與15Hz的 CIF分辨率是對應的，而用26標引的曲線與30Hz的CIF分辨率是對應的。2.1.2在編碼器上產(chǎn)生信息層圖3描述的是由SVM編碼器實現(xiàn)的信息預測/提取機制。在下文中將會更詳細地描述編碼時實施的預測處理。這個預測處理包括通過從來自具有低等級空間分辨率的層的數(shù)據(jù)進行預測，編碼具有給定等級n的空間分辨率的層。更具體來說，圖3給出的是分別與由30和31所標引的比特率/ 失真曲線相關聯(lián)的QCIF和CIF格式空間分辨率層這兩個連續(xù)層的生成實例。對本領域技術人員來說，將這個實例擴展到具有11>2個空間層的更普遍情況是沒有難度的。如上所述，x軸代表用kbit/s表示的比特率，而y軸表示以dB為單位的PSNR。對每一個空間分辨率層來說，編碼器以兩個子流的形式來編碼信息，這兩個子流是被稱為BL ("基本層")的基本子流(子層)和被稱為EL ("增強層")的逐步增強子流或子層。首先，QCIF格式是在時間頻率和比特率的所有值范圍上編碼的。在這里具有基本層(BL) 301,以及兩個可能的增強等級(EL) (由302標記的FGS1以及由303標記的FGS2 ) ( FGS -"細化粒度可擴展")。由此，增強層EL具有兩個行程FGS1 302以及FGS2 303 。當通過在FGS1與FGS2之間切割數(shù)據(jù)分組來執(zhí)行解碼時，這時可以獲得中間細化點。QCIF格式被編碼到最大比特率點304,然后，這個點在CIF格式的編碼期間被用作預測基準。此外，這個點必須是為系統(tǒng)的通常優(yōu) 化性能所定義的最好的點。然后，CIF格式通過使用QCIF曲線304中的最高的點(也就是該曲線的最大比特率點)作為預測器而被編碼。此外，CIF信息還會被編碼在兩個子流中，即，基本子流(BL)和由兩個行程(FGS1和 FGS2)構成的增強子流(EL)。如圖3所示，CIF基準點是從最大QCIF比特率點304開始，并且通過添加CIF空間分辨率等級的基本層(BL) 311而到達的。這個點并不是在解碼過程中可以達到的最小比特率點313。從這個基準點 312開始，增強層EL 314 (FGS1)以及315 ( FGS2 ) 4吏得能訪問其
他的更高CIF比特率點，直至最大CIF比特率316。圖4概述的是在編碼器上為任何未規(guī)定等級n-l以及n的空間層執(zhí)行的信息處理的順序，其中n是一個整數(shù)。BL代表基本質(zhì)量子層， EL代表空間分辨率等級的增強質(zhì)量子層。由此，首先編碼41的是等級n-l的基本子層BL，之后是n-l等級的增強子層EL，再然后編碼 43的是具有n等級空間分辨率的基本子流BL，之后編碼44的是這個 n等級的增強子流EL。2.2 MPEG-21 SVM提取器在下文中，提取器也被稱為質(zhì)量自適應模塊，它是為解碼器執(zhí)行由編碼器所產(chǎn)生的總數(shù)據(jù)流中的部分數(shù)據(jù)流的提取處理的工具，其中該部分數(shù)據(jù)流與給定的空間-時間分辨率等級以及給定的比特率相對應。2.2.1可擴展流提取器的一般工作方式具有兩種類型的可擴展編碼器>非預測性的"本質(zhì)上可擴展的，，編碼器(舉例來說，該編碼器是以小波變換為基礎的)，該編碼器并未規(guī)定彼此相互內(nèi)嵌的解碼點之間的特定關系(舉例來說，這是具有由JPEG2000標準提出的視頻編碼器的情況)；>需要構建內(nèi)嵌路徑的預測性SVM類型編碼器。更具體而言，為了執(zhí)行壓縮流提取處理，如圖5所示，SVM的提取器將會遵循彼此相互內(nèi)嵌的預定路徑。在圖5中，x軸顯示的是用Hz表示的時間分辨率，y軸顯示的是比特率(高H，低L) , z軸顯示的是空間分辨率(QCIF或CIF)。編碼器產(chǎn)生的總數(shù)據(jù)流50包括用立方體形式表示的一組子流，其中每一個子流都與給定的空間-時間分辨率以及給定的比特率相對應。由此，為了從7.5Hz的QCIF空間分辨率等級中提取最高比特率，提取器必須遵循下列提取路徑CIF 30 H口CIF 15 H口 QCIF 15 H口QCIF 7.5 H (應當注意到，CIF 30 H例如指定了用于30Hz時間頻率的CIF 空間分辨率格式的流，其具有高比特率等級H)。
類似地，為了提取7.5Hz的QCIF的最低比特率，提取器必須遵循路徑CIF 30 H口CIF 15 H口CIF 15 L口QCIF 15 L口 QCIF 7.5 L。 2.2.2 MPEG-21 SVM提取器的操作MPEG-21 SVM提取器工作如下。為了以給定的比特率Rt以及以空間-時間分辨率St-Tt來解碼視頻流，從總的流中以如下方式提取一個子流以Rmin為代價提取所有空間分辨率等級(從基本等級到目標空間分辨率等級St)的基本質(zhì)量層(BLn-1, BLn，…)，其中所述Rmin與用于空間分辨率St的最小可解碼比特率相對應。在提取了基本質(zhì)量子流之后，許可的比特率將會變成Rt = Rt-Rmin。然后，提取器經(jīng)歷較低空間分辨率的時間子段，并且提取每一個子段的不同增強層EL。它在較低空間分辨率的時間子段上進行一個循環(huán)，然后在每一個時間字段的增強層上進行一個循環(huán)。假設Rf是從時間子段中提取質(zhì)量層所需要的比特率。如果許可的比特率R^Rf，那么所考慮的子段的層將被提取，并且比特率將會變成Rt-Rt-Rf。如果不是的話，則所考慮的子段的層將^L截斷，并且提取處理將會終止。如果已經(jīng)提取了較低空間分辨率的時間子段的所有層，那么提取器將會檢查空間分辨率等級St的子段。提取器在FGS質(zhì)量層上進行一個循環(huán)，然后在時間子段上進行一個循環(huán)。Rfs表示為所有時間子段提取質(zhì)量q層所需要的比特率。如果許可的比特率Rt>Rfs,則提取所有子段的質(zhì)量q層，并且比特率將會變成Rt=Rt-Rfs。如果不是的話，則所有子層的質(zhì)量q層將被截斷，并且提取處理將會結(jié)束。圖6顯示了提取器或質(zhì)量自適應模塊處理信息的順序。對在等級 n的空間分辨率n上的提取處理來說，提取器首先從等級0到等級n 經(jīng)歷所有空間等級(QCIF、 CIF等)的所有基本質(zhì)量BL等級，然后按照從較低空間等級(EL 0)到n (EL n)的順序經(jīng)歷增強質(zhì)量層 EL。在這里，該提取機制還可以用上文中參考預測機制描述的圖3 并且通過使用比特率/失真曲線30和31來加以說明。在下文中，我們
設想SVMMEPG-21的提取器所遵循的路徑沿著這些曲線，由此在解碼時產(chǎn)生不同的比特率點。由此，為了產(chǎn)生QCIF格式的比特率點，提取器首先檢索來自 QCIF等級的基本層301。然后，從QCIF最小點305開始，可以提取任何一個高于QCIF最小點305并且低于最大比特率點304 (該點是用于預測高于CIF格式的空間分辨率層的點)的比特率點。為此目的，由行程FGS1 302和FGS2 303構成的增強層或子流(EL )將會依照所分配的比特率而被切割。為了產(chǎn)生CIF格式的比特率點，取決于所需要的比特率是大于基準點312的比特率還是低于該基準點的比特率，可以采用兩種方法。如果目標比特率低于CIF基準點312的比特率，那么提取器將會檢索兩個QCIF和CIF空間等級的基本層BL 301和311，由此將會導致產(chǎn)生最小CIF比特率點313。根據(jù)剩余的比特率，提取器將會截斷QCIF空間分辨率等級的增強層EL 302和303。如果所請求的比特率高于CIF基準點312的比特率，那么提取器將會檢索CIF和QCIF等級的基本層BL 301和311、 QCIF等級的增強層EL302、 303，并且根據(jù)剩余的比特率來切割CIF增強層314、 315。3.現(xiàn)有技術的缺陷MPEG-21工作組的SVM模型的編碼/解碼技術存在很多缺陷。與這種技術相關聯(lián)的提取機制具有很多缺點。首先，可以看出的是，依照提取器中的信息處理順序(也就是，空間等級的所有基本層BL,然后是從空間基本等級到所請求的空間等級的增強層EL)，無論解碼時請求的比特率點如何，提取處理始終遵循的都是相同的路徑。現(xiàn)在，在解碼時，對每個目標比特率點來說，這條路徑未必總是最優(yōu)路徑。此外，對從中為具有更高等級的空間分辨率的編碼執(zhí)行預測的每一個給定等級的空間分辨率來說，其中存在一個與用于預測的比特率
點相對應的最大比特率點。現(xiàn)在，這個最大比特率點并非總是為了獲取這個等級的空間分辨率而尋找的最高的點。實際上，該預測點凈皮選擇來在更高空間等級的編碼過程中使預測殘差最小化，而不是與具有用于當前空間等級的很高質(zhì)量的點相對應。通常，理想或必要的是具有可用于提供圖像重建質(zhì)量高于預測點所給出的圖像重建質(zhì)量的點，對低空間分辨率來說則更是如此。
最后，MPEG-21 SVM編碼技術的最后一個缺陷是在等級n 的空間分辨率上(例如在CIF格式中)，對比特率低于該等級的基準點的比特率的點(例如，圖3中用312標引的點，也就是通過解碼空間等級0 n的基本層BL以及等級0 n-l的所有細化層EL而獲取的點)的提取處理來說，并未使用等級n的細化信息(也就是說，沒有使用來自例示的CIF等級中的增強等級EL 314和315的信息)。
4.發(fā)明目的
特別地，本發(fā)明旨在克服現(xiàn)有技術中的這些缺陷。
更為具體地說，本發(fā)明的一個目的是提供一種根據(jù)多層中的數(shù)據(jù) 流的組織結(jié)構并且借助層間預測來對視頻圖像和/或序列執(zhí)行可擴展編碼和解碼的技術，它是對SVM模型技術的改進，該SVM模型技術是MEPG-21工作組在2004年10月于西班牙Palma de Majorca發(fā)表的名為"Scalable Video Model 3.0"的文獻N6716 ISO/IEC JTC 1/SC 29WG/11中提出的。
特別地，本發(fā)明的一個目的是提供一種可以在解碼時被用于在給定的分辨率等級上重建質(zhì)量高于現(xiàn)有技術的圖像的技術。更為特別的是，本發(fā)明的一個目的是提供這樣一種技術，其可以為給定的分辨率等級n-l獲取一個比用于通過分辨率等級n的預測處理進行編碼處理的比特率更高的比特率。
本發(fā)明的另一個目的是提供一種可以用于為每個比特率點定義一條最優(yōu)提取路徑的技術，其中該路徑即為在比特率/失真方面提供該點的最佳重建處理的路徑。
本發(fā)明的另一個目的是提供一種易于實施且在資源(帶寬、處理能力等)方面成本很低的技術。本發(fā)明的另一個目的是提供一種在允許高質(zhì)量的圖像重建處理的同時允許有效的數(shù)據(jù)壓縮的技術。本發(fā)明還有的另一個目的是提供一種可以用于為具有不同數(shù)據(jù) 流訪問形式的多個用戶以及具有不同處理能力的顯示終端提供令人滿意的服務的技術。5.本發(fā)明的主要特征這些目的以及下文中出現(xiàn)的其他目的是借助于一種用于編碼圖像或圖像序列的方法來實現(xiàn)的，其中所述圖像或圖像序列產(chǎn)生了一個具有連續(xù)等級n的嵌入式數(shù)據(jù)層的分層結(jié)構的數(shù)據(jù)流，并且其中n是一個整數(shù)，每一個所述等級n都與所述圖像的一個預定分辨率相對應。該方法包括步驟通過至少從所述等級n的層中進行預測來編碼等級 n+l的所述層中的至少一個。所述等級n的數(shù)據(jù)層中的每一個都能夠在所述分辨率等級n上重建具有預定最高質(zhì)量的所述圖像的版本。根據(jù)本發(fā)明，該種方法還為所述等級n的數(shù)據(jù)層中的至少一個編碼至少一個附加子流，這個附加子流被稱為奇異子流(singular sub-stream)或"死子流(dead sub-stream )，，，這個子流使得能夠在所述分辨率等級n上重建質(zhì)量高于所述預定最高質(zhì)量的所述圖像的版本，并且所述等級n的層的死子流在通過不同于n的等級的所述層的預測來進行編碼的所述步驟中不被使用。由此，本發(fā)明依靠的是一種用于對可擴展的圖像流或視頻流執(zhí)行編碼的全新的創(chuàng)造性方法。實際上，雖然在現(xiàn)有技術(尤其是如 MPEG-21工作組的SVM模型所述的技術)中，具有分辨率n-1的等級的層的全部數(shù)據(jù)被用于通過更高等級n的層的預測進行編碼，但是本發(fā)明自此提出了對關聯(lián)于分辨率等級n-l的附加信息進行編碼，該信息既沒有被用于通過等級n的預測進行編碼，也沒有被用于在分辨率等級n上重建圖像。編碼在死子流中的這個附加信息在解碼時僅僅
被用于在分辨率等級n-l重建圖像。換句話說，通過根據(jù)與編碼流的每個內(nèi)嵌數(shù)據(jù)層相關聯(lián)的比特率 -失真曲線來進行推理，本發(fā)明提出了將給定分辨率等級n-l的層的比特率-失真曲線的最大比特率點P_max與該曲線中用于預測分辨率等級n的數(shù)據(jù)層的點(被稱為預測點P_pred)解除關聯(lián)(dissociate)。由此，等級n的層的死子流使得可以覆蓋處于預測點P—pred的比特率與最大點P—max的比特率之間的所有比特率。通過這個死子流，在解碼時可以在分辨率等級n上實現(xiàn)質(zhì)量高于現(xiàn)有技術的圖像或視頻序列的重建，這對于某些在等級n上通過從點 P_pred進行重建而實現(xiàn)的質(zhì)量未能滿足需要的顯示終端來說是4艮有價值的。非常有利的是，每個等級n的數(shù)據(jù)層都是以至少一個基本子流 BL的形式編碼的，由此能夠以等級n的分辨率來重建圖像的基本質(zhì) 量版本，并且根據(jù)具體情況，所述每個等級n的數(shù)據(jù)層還會以至少一個增強子流EL的形式編碼，以便能夠細化基本質(zhì)量版本，從而獲取圖像的至少一個增強質(zhì)量版本。所述預定最高質(zhì)量是- 如果沒有編碼所述增強子流，則是基本質(zhì)量；- 如果編碼了至少一個增強子流，則是所述至少一個增強質(zhì)量。實際上，某些數(shù)據(jù)層可能只能以基本子流的形式編碼，而其他數(shù) 據(jù)層則可以包括一個或多個增強子流。根據(jù)本發(fā)明編碼的死子流能夠重建質(zhì)量高于單獨從基本子流獲取的或者從基本子流以及一個或多個增強子流(在它們存在的情況下)中獲取的最高質(zhì)量的圖像。根據(jù)本發(fā)明的一個有利的特征，這種方法還包括第一步驟，在所述數(shù)據(jù)流中插入至少一個用于在所述數(shù)據(jù)流內(nèi)部識別所述至少一個死子流的信息。實際上，在解碼時必須能夠?qū)㈥P聯(lián)于空間分辨率等級n的最大比特率點與用于編碼更高空間分辨率等級n+l的預測點區(qū) 分開來。根據(jù)本發(fā)明的一個優(yōu)選特性，這種編碼方法還為至少某些所述圖
像執(zhí)行一個第二步驟，那就是在所述數(shù)據(jù)流中插入至少一個下述信息，該信息涉及與所述層中的至少某些層的至少某些數(shù)據(jù)相關聯(lián)的重建質(zhì)量，所述重建質(zhì)量是至少一個比特率/失真參數(shù)的函數(shù)。通過在流中插入這個關于質(zhì)量的信息，可以在具有等級n的分辨率的不同層中啟用選擇性的質(zhì)量自適應。由此，對于在解碼時目標比特率的每個點來說，最優(yōu)提取路徑將被定義，這條路徑是在比特率-失真方面使得能夠在該比特率上以最佳方式重建該圖像的路徑。本發(fā)明還涉及一種用于編碼圖像或圖像序列的設備，其中該設備包括用于產(chǎn)生數(shù)據(jù)流的裝置，其中該數(shù)據(jù)流具有連續(xù)等級n的內(nèi)嵌數(shù)據(jù)層的分層結(jié)構，每一個所述等級n都對應于所述圖像的一個預定分辨率。這種設備包括用于通過至少從所述等級n的層開始執(zhí)行預測來編碼等級n+l的所述層中的至少一個層的裝置，所述等級n的數(shù) 據(jù)層中的每一個都能夠在所述分辨率等級n上重建具有預定最高質(zhì)量的所述圖像的版本。根據(jù)本發(fā)明，該種設備還包括為所述等級n的數(shù)據(jù)層中的至少一個編碼至少一個子流的裝置，這個子流被稱為死子流，它使得能夠在所述分辨率等級n上重建質(zhì)量高于所述預定最高質(zhì)量的所述圖像的版本，并且，所述等級n的所述層的所述死子流不被預測不同于n的等級的所述層的所述編碼裝置所使用。由此，對等級n的層來說，這個死子流將被添加到基本子流BL上，此外，這個死子流還會根據(jù)具體情況而被添加到它所包含的增強子流EL上。非常有利的是，這種編碼設備包括一個預測點提取模塊，它被用于從所述等級n的層的內(nèi)部提取在通過所述等級n+l的預測進行的編碼過程中將要考慮的數(shù)據(jù)。這個預測點提取模塊被用于確定不同于最大比特率點的要被使用以便執(zhí)行更高等級的層的編碼處理的點。本發(fā)明還涉及一種用于對根據(jù)上述編碼技術編碼的數(shù)據(jù)流進行解碼的方法以及相關設備，其中所述方法實現(xiàn)了用于以所述等級n的分辨率重建所述圖像之一的下列步驟>對等級低于n的所述數(shù)據(jù)層進行解碼；根據(jù)經(jīng)許可的解碼比特率，至少對所述等級n的層執(zhí)行部分解碼，并且根據(jù)具體情況對所述等級n的層的所述死子流進行部分解碼，等級低于n的所述層的死子流在所述重建過程中不被解碼。
更具體而言，首先解碼的是低于或等于n的等級的基本子流，然后，如果存在低于n的等級的層的增強子流，則對這些增強子流進行解碼。最后，根據(jù)許可的解碼比特率，解碼處理至少部分地在等級n 的層的一個或多個增強子流上執(zhí)行，此外，根據(jù)具體情況，解碼處理還會在這個層的死子流上執(zhí)行。
本發(fā)明還涉及一種用于傳輸依照上述技術編碼的數(shù)據(jù)流的信號。該信號是以在其內(nèi)部傳送所述數(shù)據(jù)流的信息實體的形式構造的，每一個所述信息實體都包括一個用于提供有關所述信息實體類型的信息的報頭，以及一個凈荷數(shù)據(jù)字段。
根據(jù)本發(fā)明，對至少一個所述等級n的數(shù)據(jù)層來說，該種信號還會傳送被稱為死子流的至少一個子流，該子流使得能夠以所述等級n 的分辨率重建質(zhì)量高于所述預定最高質(zhì)量的所述圖像的版本，并且所述等級n的死子流不被用于以等級不同于n的分辨率重建所述圖像。
在第一替換實施例中，該種信號在至少一個第一特定類型(例如，由SVM模型的語法所規(guī)定的NAL的類型22或23)的信息實體內(nèi)部傳送所述死子流，其中所述第一特定類型與傳送所述基本子流以及所述增強子流的所述信息實體的類型是不同的。
在第二替換實施例中，至少一個所述死子流以及至少一個所述增強子流是在相同類型的信息實體(NAL)內(nèi)部傳送的，并且所述信號在所述NAL內(nèi)部傳送運行識別所述奇異子流和所述增強子流的至少一個切割信息。
當在編碼過程中實現(xiàn)能夠定義最優(yōu)提取路徑并與自適應質(zhì)量選擇相關聯(lián)的上述變體時，在這個變體中，本發(fā)明的信號還必須傳送有關與某些數(shù)據(jù)相關聯(lián)的質(zhì)量重建的信息。為此目的，在這里設想了兩種方法。
第一替換實施例包括修改已有信息實體、即NAL的結(jié)構，使得
其中某些實體還包括偽報頭，其中所述偽報頭包含指向所述凈荷數(shù)據(jù) 字段中的至少某些數(shù)據(jù)的至少一個指針，并且所述指針提供有關與所述數(shù)據(jù)相關聯(lián)并取決于至少一個比特率/失真參數(shù)的重建質(zhì)量等級的信息。較為優(yōu)選的是第二變體，這是因為該變體規(guī)定不對已有信息實體的結(jié)構進行修改，該變體包括在信號中引入至少一個特定類型的信息實體，其中該信息實體包括至少一個關于與所述流中的至少某些數(shù)據(jù)相關聯(lián)的重建質(zhì)量的信息，并且所述重建質(zhì)量取決于至少一個比特率 /失真參數(shù)。由此，引入了被稱為信息NAL的特定NAL，并且這些信息NAL 在其凈荷數(shù)據(jù)字段中包含了能夠在數(shù)據(jù)傳送NAL (即，例如傳送增強子流的NAL)中識別質(zhì)量等級的偏移。對這些信息NAL來說，當其包含了用以指示與死子流開端相對應的質(zhì)量等級的附加信息時，它們還可以傳送用于識別死子流的信息。本發(fā)明還涉及計算機程序，其中該計算機程序包含了程序代碼指令，當在微處理器中或者由微處理器執(zhí)行所述程序時，該程序代碼指令執(zhí)行用于對圖像或圖像序列進行編碼的方法步驟，以及執(zhí)行用于對表示上述圖像或圖像序列的數(shù)據(jù)流進行解碼的方法。本發(fā)明還涉及一種用于自適應圖像或圖像序列的質(zhì)量的模塊，其中所述圖像或圖像序列是使用表示上述圖像或圖像序列的源數(shù)據(jù)流饋送的。這種自適應模塊實現(xiàn)用于產(chǎn)生指定給至少一個顯示終端的修改后的數(shù)據(jù)流以便觀看所述圖像的裝置，如果所述至少一個顯示終端不以所述等級n的分辨率來重建所述圖像，那么所述修改后的數(shù)據(jù)流是通過提取處理依照所述等級n的死子流從所述源數(shù)據(jù)流獲取的。這種自適應模塊也被稱為提取器，它被用于從流中提取那些因為例如所服務的終端的特性而不會在重建過程中被使用的子流。該模塊可以直接位于編碼器的輸出端以及解碼器之前(甚至可以被集成在解碼器中)，也可以位于供客戶終端訪問流的傳輸網(wǎng)絡中的任何點上。最后，本發(fā)明涉及一種被設計成存儲上述數(shù)據(jù)流的數(shù)據(jù)載體，該數(shù)據(jù)載體具有用于分層存儲這個子流中的內(nèi)嵌數(shù)據(jù)層的結(jié)構。對所述層n等級數(shù)據(jù)層中的至少一個來說，該種數(shù)據(jù)載體還包括至少一個用于存儲至少一個死子流的區(qū)域，其中在以不同于n的分辨率等級重建所述圖像時，所述死子流是不被讀取的。6.

從下列借助于簡單的說明性實例給出的優(yōu)選實施例的描述以及附圖中可以更清楚地了解本發(fā)明的其他方面和優(yōu)點，其中>已經(jīng)參考現(xiàn)有技術描述的圖1~6涉及MPEG-21工作組的 SVM模型。更具體而言■圖1是在上述文獻N6716中描述的MPEG-21 SVC的框圖；■圖2描述了從圖1的編碼器中獲取的不同的比特率-失真曲線；■圖3描述的是根據(jù)與圖2中的曲線具有相同類型的比特率 /失真曲線由MPEG-21的SVM模型提出的預測/提取機制； ■圖4描述的是圖1的編碼器處理數(shù)據(jù)層的順序； ■圖5是顯示了 MPEG標準所規(guī)定的內(nèi)嵌式提取路徑原理的圖示；■圖6描述的是在解碼之前的提取處理中處理數(shù)據(jù)層的順序；>圖7以比特率-失真曲線的形式顯示了在分辨率等級n上插入死子流的原理；>圖8是本發(fā)明的編碼器的框圖；>圖9描述的是在插入了死子流的情況下由圖8的編碼器執(zhí)行的數(shù)據(jù)組織；>圖10和11描述的是從CIF和QCIF格式中進行提取的兩個
實例；>圖12~16描述的是本發(fā)明的一個特定實施例，其中除了死子流之外，圖像還被細分為在重建過程中使用的連續(xù)質(zhì)量等級；■圖12描述的是在該變體中對圖3的預測/提取機制所進行的修改；■圖13給出的是在與圖像相關聯(lián)的子流中建立截斷點的原理；■圖14和15描述的是根據(jù)該變體傳送插入到流中的質(zhì)量信息的信息實體或NAL的結(jié)構的兩個實例；■圖16顯示的是連續(xù)質(zhì)量等級的圖像結(jié)構的實例； >圖17~19分別給出的是根據(jù)本發(fā)明的編碼設備、圖像質(zhì)量自適應模塊以及解碼設備的簡化圖示。7.關于本發(fā)明實施例的描述本發(fā)明的一般原理依賴于在流的某些或所有分辨率等級上編碼附加的子流，其中該子流被設計成能在這個分辨率等級上重建質(zhì)量更好的圖像。這個附加子流被稱為死子流，它只在為之編碼的分辨率等級上使用。換句話說，在編碼時，它不會被用于其他分辨率等級的層的預測處理，而在解碼時，它不會被用于在其他分辨率等級上重建圖像。在考慮與流中編碼的每個分辨率等級相關聯(lián)的比特率-失真曲線的情況下，插入諸如這個數(shù)量的死子流，使得某個分辨率等級的最大比特率點與這個等級中的用于預測更高分辨率等級的點解除關聯(lián)。參考圖7，其中給出了本發(fā)明的編碼技術的一個實施例，其中該實施例是以向給定等級n的空間和/或時間分辨率數(shù)據(jù)的層中添加死子5充為基礎的。如上所述(參見圖3)，該描述涉及的是使用兩個內(nèi)嵌的分辨率格式來編碼圖像的特定情況，這兩個分辨率格式是QCIF和CIF格式。對本領域技術人員來說，將本教導擴展到更為普遍的n個連續(xù)分辨率
等級(例如QCIF、 CIF、 SD、 HD等)的情況是沒有難度的。圖7 顯示了用于這兩種格式的比特率-失真曲線(用于QCIF的曲線30和用于CIF的曲線31)，其中x軸顯示的是用kbit/s表示的比特率，y 軸顯示的是以采用dB為單位的PSNR形式表示的失真。應該指出的是，在圖3和7中，相同的部件用相同的數(shù)字標引來表示。由此，本發(fā)明的原理包括在編碼時為空間等級n-l定義一個最大比特率點(在本范例中是用于QCIF格式的比特率/失真曲線的點 P_max 704)，并且這個點與用于空間等級n的預測處理的點(也就是用于CIF格式的預測處理的點P_pred706)是不同的。為此目的，以下編碼步驟將被執(zhí)行>將空間等級n-l (QCIF)的數(shù)據(jù)層編碼到最大比特率點 P max 704;> 提取等級n-l ( QCIF )的比特率點P—pred 706;>在總的編碼流中引入被稱為死子流707的用于空間等級n-l (QCIF )的附加子流，以便覆蓋從P_pred 706到P_max 704的比特率。這個流僅僅用于在分辨率等級n-l (QCIF)的某些比特率點上重建視頻序列，并且不被用于重建更高或更低空間等級的點；> 在總流中引入死子流的標識信息，由此，在解碼或者從流中提取數(shù)據(jù)的過程中可以識別處于QCIF比特率/失真曲線上的預測點 P_pred 706相對于最大比特率點P—max 704的位置；> 在比特率點P_pred 706上使用空間等級n-l ( QCIF )的預測的過程中編碼空間等級n (CIF)的數(shù)據(jù)層。由此，這種編碼技術將會導致在比特率/失真曲線30上出現(xiàn)與空間分辨率QCIF相關聯(lián)的新點，其中所述空間分辨率QCIF屬于死子流707，該死子流707則僅僅用于以QCIF格式來重建圖寸象。當終端希望對以這種方式編碼的總數(shù)據(jù)流進行解碼時，根據(jù)終端所預期的空間-時間分辨率以及比特率，從該流中提取重建視頻序列所需要的數(shù)據(jù)。對于在分辨率等級n上進行的重建來說，這個空間等級 n的比特率點是在考慮不使用與n不同的空間等級(特別是較低的空
間等級)的任何死子流的情況下提取的，但是如有必要，并且如果預期比特率使得這種使用變得可行，那么這個空間等級n的比特率點可以在使用空間等級n的死子流的過程中提取。圖17顯示的是本發(fā)明的編碼設備的簡化結(jié)構，其包括存儲器M 178、配備了例如微處理器并由計算機程序Pg 177驅(qū)動的處理單元 176。在初始化過程中，舉例來說，在處理單元的處理器執(zhí)行計算機程序177的代碼指令之前，該代碼指令會被加載到一個RAM中。處理單元176在輸入端接收要編碼的視頻內(nèi)容10。處理單元176的微處理器HP將視頻序列10編碼成壓縮流83形式，其中該壓縮流83包含 n個連續(xù)空間分辨率等級Pgl77的多個內(nèi)嵌層。處理單元176輸出壓縮數(shù)據(jù)流83。圖8更具體地描述了能夠在某些或所有空間分辨率等級上引入死子流的編碼器的結(jié)構。應該指出的是，這種編碼器的結(jié)構與上文中參考圖1給出的MPEG-21 SVC編碼器的結(jié)構的不同之處在于給出了預測點提取模塊81和82。由此，在圖1和8中，相同的部件用相同的數(shù)字標引來表示。圖8的實例處于可擴展視頻編碼處理的上下文中，其中該編碼是以具有運動補償和表示的時域小波變換為基礎的，所述運動補償和表示則是借助具有層間表示的層來進行的。圖8的編碼器是如下工作的(i) 在編碼器的輸入端接收的視頻數(shù)據(jù)10被饋送到并行工作的編碼器的三個分支，在其中一個分支中數(shù)據(jù)經(jīng)歷用12標引的四中取一的抽選處理，在一個分支中數(shù)據(jù)經(jīng)歷用11標引的二中取一的抽選處理，而在最后一個分支中數(shù)據(jù)不被子采樣并且不會經(jīng)歷任何抽選處理。(ii) 視頻序列首先借助用于產(chǎn)生小波系數(shù)形式的紋理信息的運動補償時域變換(MCTF ) 13i而被編碼成基本空間格式(QCIF )(應該指出的是，為了簡單起見，在這里并未顯示用于處理視頻序列的運動信息的模塊)。變換后的系數(shù)通過預測處理1^相對于相同空間等級的其他系數(shù)以及可擴展熵編碼處理2h而被編碼?？蓴U展子流被獲取，由此使用總比特率R_r0_max來表示基本空間分辨率等級(用84 標引的子比特流0)，其中r0表示空間等級，max表示相關聯(lián)的比特率-失真曲線的最高比特率點。用于為更高空間編碼等級執(zhí)行預測的比特率點P_pred是由預測點提取模塊82從編碼后的可擴展子流中提取的。與比特率R_r0_max 相比，點P_pred的比特率較低。所提取的子流被解碼和插值2(h ，以便用于為更高的空間分辨率等級執(zhí)行預測192?？蓴U展子流84被發(fā)送到復用器22，該復用器22 負責組織所有空間分辨率等級的所有子流，以便形成最終的流83 。(iii)然后，視頻借助于運動補償時域變換(MCTF) 132而在更高的空間分辨率(CIF)上被編碼；變換后的系數(shù)借助于相同空間等級(CIF)的小波系數(shù)或是來自較低空間等級的插值信號2(h的系數(shù)而被預測192。在所述預測192之后執(zhí)行可擴展熵編碼212，并且使用最大比特率R—rl_max來獲取表示空間分辨率等級rl的可擴展子流85。這個子流85被發(fā)送到復用器22。然后，用于更高空間等級的預測的比特率點由預測點提取模塊81從編碼后的子流85中提取，并且被插值202。對于更高的空間等級來說，執(zhí)行相同的過程，但是對于最后一個空間等級不提取預測點。圖9描述的是在只考慮QCIF和CIG這兩個不同的空間分辨率等級(換句話說，所考慮的唯一元素是來自圖8的編碼器的兩個較低分支的子流，它們分別來自輸入視頻數(shù)據(jù)10的二中取一抽選和四中取一抽選)的特定實例中由圖8的編碼器產(chǎn)生的數(shù)據(jù)。在空間分辨率等級(QCIF和CIF)的每個數(shù)據(jù)層中，數(shù)據(jù)都是以幾個子層來組織的一個基本層BL，其后跟隨的是第一增強層(增強層1或EL1 )和第二增強子層(增強層2或EL2 )。前兩個子層(BL 和EL1)在編碼階段被用于更高空間等級的預測，并且在解碼階段被用于重建當前空間等級以及更高空間等級的點。第二增強子層(EL2)僅僅用于重建當前空間等級的點。這個第二增強子層代表的是死子流。應該指出的是，圖9描述的是其中每個數(shù)據(jù)層除了包括本發(fā)明提出的附加子流EL2之外還包括至少一個增強子層EL1的特定實施例例示。毫無疑問的是，某些空間等級的某些數(shù)據(jù)層僅僅以基本子流 BL的形式編碼，對這些數(shù)據(jù)層來說，本發(fā)明在單個增強子層EL中添加了死子流。當編碼器在給定空間分辨率等級n的數(shù)據(jù)層中添加了死子流時，這時有必要通過在總的數(shù)據(jù)流中插入特定信息來報告這種情況，由此在解碼時可以使用這個死子流。在下文中，給出了一個在總的數(shù)據(jù)流中插入與死子流的存在相關的特定信息的實例。首先，可以回憶一下在MPEG-21的SVM框架中提出的數(shù)據(jù)流結(jié)構。在SVM的實施方式中，流是作為被稱為NAL (網(wǎng)絡適配層)的信息實體構造的。NAL是一個符合H264標準(ITU-T和ISO/IEC JTC1， "Advanced Video Coding for Generic Audiovisual Service", ITU-T Recommendation H.264-ISO/IEC 14496-10 AVC， 2003 )的傳輸單元。這是一個包含報頭和整數(shù)個數(shù)據(jù)字節(jié)(也被稱為"凈荷，，)的分組。NAL的報頭包括可以用于限定NAL類型的類型字節(jié)。凈荷數(shù)據(jù) 字段用于為子段圖像或圖像的一部分傳送與空間等級、時間等級和質(zhì) 量等級(基本等級或FGS等級)的編碼相對應的流。在SVM語法中， NAL可以具有若干種類型特別地，類型20和21被用于描述子流是圖像(內(nèi)部或非內(nèi)部的)的增強子流的NAL。如上文中參考圖9 (子層EL2)所述的，在流中引入死子流與附加增強子流的引入是對應的，由此，這個死子流是在NAL中傳送的。對于其用途未被SVM語法指定的各種類型的NAL來說，這些NAL 可以用于指定一個傳送死子流的NAL，例如類型22或23。在本發(fā)明的另一個替換實施例中，可以設想在同一個NAL中對等級n的層的死子流以及增強子流(如果其存在的話)進行傳送。換句話說，子層EL1和EL2然后被分組在相同的NAL中，并且附加信息表明斷點處于子流EL1與EL2之間的NAL中的什么位置。下文中參考圖10和11的描述集中在了圖像質(zhì)量自適應模塊的操作原理之上，其中該模塊也被稱為提取器?？梢曰貞浧饋淼氖牵朔N 提取器可以直接位于編碼器的輸出端上以及解碼器之前，或者也可以處于供客戶訪問編碼數(shù)據(jù)流的傳輸網(wǎng)絡中的任意一點上。它使得能夠從總的數(shù)據(jù)流中提取某些數(shù)據(jù)，這些數(shù)據(jù)不是為它們所服務的最終客戶所需要的。更特別地，SVM的提取器研究每個NAL的特性(空間和時間等級，F(xiàn)GS)，并且保持或截斷用于在給定比特率以及以給定格式(或空間-時間分辨率等級)執(zhí)行解碼的NAL。根據(jù)本發(fā)明，死子流的引入如下所述修改提取器讀取NAL報頭的處理假設nivSpatialDec是在解碼時請求的空間分辨率等級， NivSpatialNAL是當前NAL的空間分辨率等級， typeNAL是當前NAL的類型，如果((typeNAL==22||typeNAL==23 )并且nivSpatialDec== nivSpatialNAL )，貝'U提取NAL}。換句話說，提取器的工作方式被修改，由此使得它還從總的數(shù)據(jù) 流中提取NAL，其中所述NAL傳送在解碼時要獲取的空間分辨率等級的死子流。圖10和11分別給出了在只考慮空間分辨率的這兩個連續(xù)等級的時候用于提取CIF和QCIF格式的視頻序列的兩個提取實例。對于CIF格式的圖像的重建處理來說，解碼器使用了兩個空間等級(BL QCIF和BL CIF )的基本子流、這兩個空間等級的第一增強層(增強層ELI QCIF和增強層ELI CIF )以及CIF等級的第二增強等級(增強層EL2CIF)。由此，提取器必須按照這個順序從總的流中提取在圖10中表示的子層集合，以便將其插入修改后的流中。根據(jù)用于該點重建的比特率，不同的子層可被解碼，也就是說，相應
的子流只可以被部分截斷(例如，對增強子流EL CIF執(zhí)行部分解碼，并且在這種情況下不使用死子流EL2 CIF，這是因為比特率是不允許)。對于QCIF格式的重建來說，解碼器使用了圖11所示的QCIF強層EL1QCIF和增強層EL2QCIF)。同樣地，不同的層BLQCIF、 EL1 QCIF和EL2 QCIF可以根據(jù)為QCIF格式的圖像重建所分配的比特率而,皮截斷。圖18給出的是這種提取器或圖像質(zhì)量提取模塊的簡化結(jié)構，其包括存儲器M 180、配備了例如微處理器并由計算機程序Pg 182驅(qū)動的處理單元181。在初始化時，舉例來說，計算機程序182的代碼指令在由處理單元181的處理器執(zhí)行之前^皮加載到RAM中。處理單元 181在輸入端接收依照連續(xù)分辨率等級n的分層結(jié)構組織的壓縮數(shù)據(jù) 流83。微處理器nP根據(jù)程序Pgl82的指令從數(shù)據(jù)流83中提取所有那些在解碼時不被使用的子流(例如，根據(jù)目標終端的或是重建處理中的預期質(zhì)量的特性)。處理單元181輸出修改后的數(shù)據(jù)流183，該數(shù)據(jù)流與客戶終端的處理能力或是傳輸網(wǎng)絡的約束條件是適配的。在本發(fā)明的替換實施例中，死子流是由類型22或23的NAL傳送的，在MPEG-21 SVM模型的上下文中提出的解碼器必須被修改，以便解碼類型23和23的模塊如果(TypeNAL==20||typeNAL==21||typeNAL==22||typeNAL ==23)，貝'U解碼NAL〉。在下文中將參考圖12~16來對本發(fā)明的實施例進行描述，其中除了插入死子流之外，該實施例還執(zhí)行空間層中的自適應質(zhì)量選擇處理。在連續(xù)等級n的數(shù)據(jù)層中的自適應質(zhì)量選擇允許為在解碼時要獲取的每個比特率點定義一條最優(yōu)提取路徑，也就是在比特率/失真方面提供最佳的該點重建的路徑。本發(fā)明的這個變體依賴于在總的流中定義和插入信息單元。使用自適應的提取路徑將會進一步改進本發(fā)明的提取技術，如下所述>為每個空間-時間分辨率等級N (也就是每個比特率/失真曲線)的若干個比特率點計算一個表示其質(zhì)量的、包含在最小值QNmin與最大值QNmax之間的值。該計算可以如下進行要么在每個空間分辨率層的編碼時間進行；要么在編碼了不同空間等級的所有層之后進行； > 在總的流中，插入信息，以便能在解碼操作之前的提取處理中檢索這個質(zhì)量測量結(jié)果；要么通過將這個信息插入編碼流的數(shù)據(jù)實體自身中，即，插入傳送基本子流或增強子流的NAL中；要么通過將這個信息插入與編碼流的數(shù)據(jù)實體相分離的實體中；>在提取與空間等級n的質(zhì)量Q相對應的比特率點R的時候，然后為低于n或等于n的所有空間等級提取與這個質(zhì)量相對應的數(shù)據(jù) 實體，以便不使用比n更低的等級的數(shù)據(jù)子流。由此，根據(jù)該變體，為每個圖像創(chuàng)建一個獨立的子流。這些子流中的每個子流都被掃描，以便為每個圖像確定能夠獲取給定質(zhì)量和/ 或比特率的截斷點。由此，最終的流包括一定數(shù)量的質(zhì)量"等級"。圖12更具體地給出了基于最優(yōu)提取路徑的實施方式而對本發(fā)明的這個變體所引入的預測/提取機制進行的修改。同樣地，該描述是在具有兩個連續(xù)等級的空間-時間分辨率QCIF和CIF的特定上下文中進行的。該描述考慮了與這兩個等級相關聯(lián)的比特率/失真曲線，其中 x軸代表的是用kbit/s表示的比特率，y軸代表的是用dB表示的 PSNR。考慮等級N-1 (QCIF)的曲線30上可使用的四個點Pl、 P2、 P3和P4。這四個點Pl P4被視為是可用于等級N的曲線(CIF)的可能預測器。由此，通過預測處理，點Pl可以用于獲取曲線Cl，而曲線C2
和C3分別是從借助點P2和P3的預測處理中導出的。曲線31對應的是通過預測處理從QCIF等級的最大比特率點P4中獲取的曲線，由此它代表的是從現(xiàn)有技術的MPEG-21 SVC編碼器中獲取的CIF等級曲線?？梢詮牟煌那€C1~C3中選擇與每個目標比特率相對應的 QCIF曲線30的最佳預測點(在比特率/失真方面)由此，在比特率128kbit/s的最小失真是在曲線Cl上獲取的，這樣一來，從預測點 Pl可以最佳地預測到128kbit/s的比特率點；同樣地，用于192kbit/s 的比特率點的最小失真是在曲線C3上獲取的，由此從預測點P3可以最佳地預測到這個比特率點。這樣一來，可得到由等級N的(CIF)曲線的點及其在(QCIF) 等級N-1曲線上的最優(yōu)預測器所形成的"質(zhì)量，，曲線，如根據(jù)該算法(該算法與編碼器上使用的算法可以是不同的)理解的那樣。最優(yōu)處理路徑是通過編碼器等級上的附加處理步驟來確定的。如上所述，這個步驟可以在編碼過程中實施，或者也可以獨立于所述編碼器，這是因為它是在數(shù)據(jù)編碼/壓縮操作之后執(zhí)行的。在下文中將參考圖13對在編碼器或后置處理器中實施并與比特率點相關聯(lián)的質(zhì)量計算的實例進行更詳細的描述。已經(jīng)可以獲取一組"圖像"(無論是否為殘差)，并且這些圖像被細分成分布在NAL中的若干個質(zhì)量等級(即，基本等級以及一個或多個增強或改進等級)。假設NAL Ni可以在子點ni (它主要適用于增強子流)上被截斷，由此為失真D'"產(chǎn)生比特率^。為了筒單起見，假設失真測量結(jié)果是加性的。搜索最優(yōu)途徑，以便將圖像的NAL細分成i個點""由此在可以為所設想的空間-時間分辨率等級所獲取的最大比特率的約束之下將失真減至最小。由此，嘗試將圖像中的下列參量減至最小<formula>formula see original document page 29</formula>
在實踐中，在每個NAL中都會定義一定數(shù)量的可能截斷點(例如k個點，但是在熵編碼器的每個行程的末端以非窮舉方式定義)。
如圖13所示，x軸給出的是比特率，而y軸代表失真，在這里考慮從一組信息實體NAL中為整個圖像獲取的點群130。在一開始，屬于所考慮的空間-時間分辨率等級的比特率-失真曲線的這個點群 130 ，特別地，是根據(jù)在David Taubman發(fā)表的名為"High Performance Scalable Image Compression with EBCOT，，的文獻中描述的技術來確定的，通過參考該文獻可以獲得更多細節(jié)。由此，在這里對包含了給定空間-時間分辨率的這些點的凸面包絡131執(zhí)行搜索。對給定的A值、也就是對給定質(zhì)量來說，該算法如下所示初始化<=()，對j-乂，7'2,…厶而言，<formula>formula see original document page 30</formula>如果A^/AD/〉A，那么"f"。對曲線的每個被識別點來說，比特率值和這個點的斜率值S^A^/A^都會被保存。為了能在解碼過程中使用這些不同的質(zhì)量等級，也就是說，為了能夠在與所要獲取的質(zhì)量等級相關聯(lián)的特定點執(zhí)行NAL的截斷，除了用于識別死子流的信息之外，在這里還有必要記錄總數(shù)據(jù)流中的使得能夠識別質(zhì)量等級的第二個特定信息。為此目的，本發(fā)明提出了兩個實施例，在其中一個實施例中，與設置截斷點時選擇的點相關聯(lián)的多對(比特率，質(zhì)量)被直接保存在數(shù)據(jù)NAL中(也就是傳送基本子流和增強子流的NAL)，而在另一個實施例中，該多對^^記錄在被稱為信息NAL的特定NAL中。與某個點相關聯(lián)的質(zhì)量Qi則是作為如上定義的斜率^的函數(shù)而被計算的<formula>formula see original document page 30</formula>在圖14所示的第一實施例中，在數(shù)據(jù)NAL 140的凈艮頭141與凈荷數(shù)據(jù)字段142之間插入了一個偽報頭143，這個偽報頭143包含在搜索圖13的截斷點的過程中識別的不同質(zhì)量等級上的指針(例如，以偏移值的形式)。指針(偏移)與比特率值是等效的，并且與質(zhì)量 Qi、 Q2 Q4的值是對應的，而且是通過指向圖14中的凈荷數(shù)據(jù)字段的箭頭來表示的。圖15描述的第二實施例使用了被稱為信息NAL150的新類型的 NAL,它使得能夠在總流的數(shù)據(jù)NAL 151內(nèi)部識別質(zhì)量等級。與數(shù) 據(jù)NAL 151相似，這種信息NAL 150包含報頭152和凈荷數(shù)據(jù)字段 153。例如，在希望提出10個不同的質(zhì)量等級(^ Qn)時，信息NAL 被構建為在其凈荷153中包含10個整數(shù)，每一個整數(shù)都指示了數(shù)據(jù) NAL 151的凈荷數(shù)據(jù)字段154中的一個偏移。在希望以質(zhì)量等級Qext來重建視頻序列時，從總的壓縮流中提取必要的數(shù)據(jù)。為此目的，提取器(或圖像質(zhì)量自適應模塊)在每個 NAL中搜索最接近于等級Qext的質(zhì)量等級(也就是，低于或等于Qext 的質(zhì)量等級)。圖16描述了以連續(xù)質(zhì)量等級的圖像結(jié)構的實例。在這里考慮了七個圖像161 ~ 167。前三個圖像161 ~ 163釆用的是QCIF分辨率格式，而后四個圖像164 147采用的是CIF格式。這其中的每個圖像都是采用基本子流BL 168、第一增強子流EL1 169以及與死子流相對應的第二增強子流EL2 170的形式編碼的。在其中的每個圖像內(nèi)部可以區(qū)分五個連續(xù)質(zhì)量等級171 ~ 175。這些質(zhì)量等級與傳送圖像重建數(shù) 據(jù)的信息實體或NAL的截斷點是對應的。在圖16中可以看出，最低質(zhì)量等級171對應的是基本子流BL 168。通過解碼第一增強子流EL1，可以獲取中間質(zhì)量等級173，并且通過解碼死子流EL2 170，可以獲取最高質(zhì)量等級175。由此，對于CIF解碼來說，如果提取器要求的質(zhì)量是Qex廣3，那么這三個較低的質(zhì)量等級171、 172和173將會完全用于每個圖像。相反，如果提取器請求的質(zhì)量是Qext = 4,那么總共為每一個CIF和 QCIF子段解碼三個較低質(zhì)量等級171、 172、 173，此外還會為CIF 解碼質(zhì)量等級174。在這個基于質(zhì)量等級的替換實施例中，提取器或圖像質(zhì)量自適應模塊在相對于重建處理中預期的質(zhì)量等級而言最佳的點上實現(xiàn)信息實體的截斷(應該指出的是，這種截斷是可通過圖像或子段來自適應的)。由此，解碼器接收在"最佳，，點上被初步截斷的NAL以及所有為其解碼所保留的點，以便重建視頻序列。圖19顯示的是這種解碼器的簡化結(jié)構，其包括存儲器M 190、配備了例如微處理器并由計算機程序Pg 192驅(qū)動的處理單元191。在初始化時，舉例來說，計算機程序192的代碼指令在由處理單元191 的處理器執(zhí)行之前被加載到RAM中。在輸入端，處理單元191接收要解碼的一組數(shù)據(jù)分組183或信息實體，例如，在作為要獲取的重建質(zhì)量的函數(shù)的最優(yōu)比特率點上截斷的一組NAL。處理單元191的微處理器jiP根據(jù)程序Pg 192的指令對所接收的信息實體183進行解碼。處理單元191輸出與客戶顯示終端的處理能力相適配的重建視頻序列 193。
權利要求
1.一種用于對圖像或圖像序列進行編碼的方法，產(chǎn)生數(shù)據(jù)流，該數(shù)據(jù)流具有連續(xù)等級n的內(nèi)嵌數(shù)據(jù)層的分層結(jié)構，其中n是整數(shù)，每一個所述等級n都對應于所述圖像的一個預定分辨率，所述方法包括步驟通過至少從所述等級n的層中進行預測而編碼至少一個等級n+1的所述層，等級n的所述數(shù)據(jù)層中的每一個都能夠在所述分辨率等級n上重建具有預定最高質(zhì)量的所述圖像的版本，其特征在于，該方法還為至少一個所述等級n的數(shù)據(jù)層編碼至少一個子流，該子流被稱為死子流，它能夠在所述分辨率等級n上重建質(zhì)量高于所述預定最高質(zhì)量的所述圖像的版本，并且其特征還在于，所述等級n的層的所述死子流在通過不同于n的等級的所述層的預測而進行的所述編碼步驟中不被使用。
2. 根據(jù)權利要求1的編碼方法，其特征在于所述等級n的數(shù) 據(jù)層是以至少一個基本子流的形式編碼的，該基本子流能夠以所述分辨率等級n來重建圖像的基本質(zhì)量版本，并且對于所述等級n的數(shù)據(jù) 層中的至少一個來說，所述等級n的數(shù)據(jù)層還以能夠細化所述基本質(zhì) 量版本的至少一個增強子流的形式編碼，以便獲取所述圖像的至少一個增強質(zhì)量版本，并且其特征還在于，所述預定最高質(zhì)量是- 如果沒有編碼所述增強子流，則是基本質(zhì)量；- 如果編碼了至少一個增強子流，則是所述至少一個增強質(zhì)量。
3. 根據(jù)權利要求1和2之一的編碼方法，其特征在于它還包括第一步驟，在所述數(shù)據(jù)流中插入至少一個用于在所述數(shù)據(jù)流內(nèi)部識別所述至少一個死子流的信息。
4. 根據(jù)權利要求1~3中任一權利要求的方法，其特征在于它還為至少某些所述圖像執(zhí)行一個第二步驟，即，在所述流中插入至少一個信息，該信息涉及與所述層中的至少某些層的至少某些數(shù)據(jù)相關聯(lián)的重建質(zhì)量，所述重建質(zhì)量是至少一個比特率/失真參數(shù)的函數(shù)。
5. —種用于對圖像或圖像序列進行編碼的設備，包括用于產(chǎn) 生數(shù)據(jù)流的裝置，其中該數(shù)據(jù)流具有連續(xù)等級n的內(nèi)嵌數(shù)據(jù)層的分層結(jié)構，其中n是整數(shù)，每一個所述等級n都對應于所述圖像的一個預定分辨率，所述設備包括用于通過至少從所述等級n的層中執(zhí)行預測來編碼等級n+l的所述層中的至少一個層的裝置，等級n的所述數(shù)據(jù)層中的每一個都能夠在所述分辨率等級n上重建具有預定最高質(zhì)量的所述圖像的版本，其特征在于，所述設備還包括用于為所述等級n的數(shù)據(jù)層中的至少一個編碼至少一個子流的裝置，該子流被稱為死子流，它能夠在所述分辨率等級n上重建質(zhì)量高于所述預定最高質(zhì)量的所述圖像的版本，并且其特征還在于，所述等級n的層的所述死子流不被預測不同于n的等級的所述層的所述編碼裝置所使用。
6. 根據(jù)權利要求5的編碼設備，其特征在于，它包括預測點提取模塊，用于使得能夠從所述等級n的層的內(nèi)部提取在通過所述等級 n+l的層的預測而進行的編碼過程中要考慮的數(shù)據(jù)。
7. —種用于對表示圖像或圖像序列的數(shù)據(jù)流進行解碼的方法，所述數(shù)據(jù)流具有連續(xù)等級n的內(nèi)嵌數(shù)據(jù)層的分層結(jié)構，其中n是整數(shù)，每一個所述等級n的層都與所述圖像的一個預定分辨率相對應，所述流中的等級ii的所述數(shù)據(jù)層中的每一個都能夠在所述分辨率等級n上重建具有預定最高質(zhì)量的所述圖像的版本，等級n+l的所述層中的至少一個通過至少從所述等級n的層中進4亍預測而編碼，其特征在于對所述等級n的數(shù)據(jù)層中的至少一個來說，所述數(shù)據(jù)流包括至少一個子流，它被稱為死子流，并且能夠在所述分辨率等級n上重建質(zhì) 量高于所述預定最高質(zhì)量的所述圖像的版本，為了以所述分辨率等級n重建所述圖像，所述方法執(zhí)行以下步驟- 對等級低于n的所述數(shù)據(jù)層進行解碼；- 根據(jù)許可的解碼比特率，至少對所述等級n的層執(zhí)行部分解碼，并且根據(jù)具體情況對所述等級n的層的所述死子流進行部分解碼，等級低于n的所述層的所述死子流在所述重建過程中不被解碼。
8. —種用于對表示圖像或圖像序列的數(shù)據(jù)流進行解碼的設備，所述數(shù)據(jù)流具有連續(xù)等級n的內(nèi)嵌數(shù)據(jù)層的分層結(jié)構，其中n是整數(shù)，每一個所述等級n都與所述圖像的一個預定分辨率相對應，所述流的等級n的所述數(shù)據(jù)層中的每一個都能夠在所述分辨率等級n上重建具有預定最高質(zhì)量的所述圖像的版本，等級n+l的所述層中的至少一個通過至少從所述等級n的層中進4亍預測而編碼，其特征在于對所述等級n的數(shù)據(jù)層中的至少一個來說，所述數(shù)據(jù)流包括至少一個子流，該子流被稱為死子流，并且能夠在所述分辨率等級n上重建質(zhì)量高于所述預定最高質(zhì)量的所述圖像的版本，為了以所述分辨率等級n重建所述圖像，所述解碼設備包括- 用于對等級低于n的所述數(shù)據(jù)層進行解碼的裝置；- 用于根據(jù)許可的解碼比特率，至少對所述等級n的層執(zhí)行部分解碼，并且根據(jù)具體情況來對所述等級n的層的所述死子流進行部分解碼的裝置，等級低于n的所述層的所述死子流在所述重建過程中不被解碼。
9. 一種用于傳輸代表圖像或圖像序列的數(shù)據(jù)流的信號，所述數(shù)據(jù)流具有連續(xù)等級n的內(nèi)嵌數(shù)據(jù)層的分層結(jié)構，其中n是整數(shù)，每一個所述等級n都與所述圖像的一個預定分辨率相對應，等級n+l的所述層中的至少一個通過至少從所述等級n的層中進行預測而編碼，所述流的等級n的所述數(shù)據(jù)層中的每一個都能夠在所述分辨率等級n上重建具有預定最高質(zhì)量的所述圖像的版本，所述信號以在其內(nèi)傳送所述數(shù)據(jù)流的信息實體的形式構造，每一個所述信息實體都包括一個用于提供有關所述信息實體類型的信息的報頭，以及一個凈荷數(shù)據(jù)字段，其特征在于對所述等級n的數(shù)據(jù)層中的至少一個來說，該信號還傳送被稱為死子流的至少一個子流，該子流能夠在所述分辨率等級 n上重建質(zhì)量高于所述預定最高質(zhì)量的所述圖像的版本，等級n的所述死子流不被用于以等級不同于n的分辨率重建所述圖像。
10. 根據(jù)權利要求9的信號，其特征在于，它還包括至少一個特定類型的信息實體，該信息實體包括至少一個關于重建質(zhì)量的信息，所述重建質(zhì)量與所述流中的至少某些數(shù)據(jù)相關聯(lián)，并且所述重建質(zhì)量取決于至少一個比特率/失真參數(shù)。
11. 一種計算機程序，包含程序代碼指令，當微處理器執(zhí)行所述程序時，該程序代碼指令用于執(zhí)行根據(jù)權利要求1~4中任一權利要求所述的用于對圖像或圖像序列進行編碼的方法的步驟。
12. —種計算機程序，包含程序代碼指令，當微處理器執(zhí)行所述程序時，該程序代碼指令用于執(zhí)行根據(jù)權利要求7所述的用于對表示圖像或圖像序列的數(shù)據(jù)流進行解碼的方法的步驟。
13. —種用于自適應圖像或圖像序列的質(zhì)量的模塊，所述自適應模塊被饋送有表示圖像或圖像序列的源數(shù)據(jù)流，所述數(shù)據(jù)流具有連續(xù)等級n的內(nèi)嵌數(shù)據(jù)層的分層結(jié)構，其中n 是整數(shù)，每一個所述等級n都與所述圖像的一個預定分辨率相對應，所述流的等級n的所述數(shù)據(jù)層中的每一個都能夠在所述分辨率等級n上重建具有預定最高質(zhì)量的所述圖像的版本，等級n+l的所述層中的至少一個通過至少從所述等級n的層中進4亍預測而編碼，其特征在于對所述等級n的數(shù)據(jù)層中的至少一個來說，所述源數(shù)據(jù)流包括至少一個子流，該子流被稱為死子流，并且能夠在所述分辨率等級n上重建質(zhì)量高于所述預定最高質(zhì)量的所述圖像的版本，所述自適應模塊實現(xiàn)用于產(chǎn)生發(fā)往至少一個用于顯示所述圖像的終端的修改數(shù)據(jù)流的裝置，如果所述至少一個顯示終端并未以所述分辨率等級n重建所述圖像，那么所述修改數(shù)據(jù)流是通過提取處理依照所述等級n的死子流從所述源數(shù)據(jù)流獲取的。
14. 一種數(shù)據(jù)載體，包括至少一個表示圖像或圖像序列的數(shù)據(jù)流，所述載體具有用于分層存儲所述數(shù)據(jù)流的連續(xù)等級n的內(nèi)嵌數(shù) 據(jù)層的結(jié)構，其中n是整數(shù)，每一個所述等級n都對應于所述圖像的一個預定分辨率，等級n+l的所述層中的至少一個通過至少從所述等級n的層中進4亍預測而編碼，所述流的等級n的所述數(shù)據(jù)層中的每一個都能夠在所述分辨率等級n上重建具有預定最高質(zhì)量的所述圖像的版本，其特征在于對所述等級n的數(shù)據(jù)層中的至少一個來說，所述數(shù) 據(jù)載體還包括至少一個用于存儲至少一個子流的區(qū)域，該子流被稱為死子流，并且能夠在所述分辨率等級n上重建質(zhì)量高于所述預定最高質(zhì)量的所述圖像的版本，在以等級不同于n的分辨率重建所述圖像時，等級n的所述死子流的所述存儲區(qū)域不被讀取。
全文摘要
本發(fā)明涉及一種用于對圖像序列進行編碼的方法，其產(chǎn)生以n個連續(xù)等級的內(nèi)嵌數(shù)據(jù)層結(jié)構形式的數(shù)據(jù)流，其中每一個連續(xù)等級都與所述圖像的一個預定分辨率相對應。所述方法包括一個編碼階段，其包括通過根據(jù)在所述等級n的層上執(zhí)行預測來編碼n+1等級的所述層中的至少一個，以及以基本子流的形式編碼等級n的每個數(shù)據(jù)層，并且可選地，以至少一個增強子流的形式編碼等級n的每個數(shù)據(jù)層，以便能夠獲取所述圖像的增強質(zhì)量的至少一個版本。本發(fā)明的方法還包括為n等級的至少一個數(shù)據(jù)層編碼至少一個單獨的子層，以便能夠在所述等級n的分辨率上重建質(zhì)量高于所述增強質(zhì)量的所述圖像的版本，其中在對等級不同于等級n的層的預測編碼時，等級n的層的所述單個子流不被使用。
文檔編號H04N7/26GK101120591SQ200580048217
公開日2008年2月6日申請日期2005年12月20日優(yōu)先權日2005年1月12日
發(fā)明者伊莎貝爾·阿莫諾, 娜塔莉·卡瑪斯, 斯特凡娜·帕泰尤克斯申請人:法國電信公司

完整全部詳細技術資料下載