專利名稱：層間運(yùn)動(dòng)預(yù)測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于從與低分辨率圖像序列的像素塊相關(guān)聯(lián)的運(yùn)動(dòng) 數(shù)據(jù)中，產(chǎn)生用于高分辨率圖像序列的像素塊的至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)值 的方法。
背景技術(shù)：
現(xiàn)有的可縮放分級(jí)編碼方法允許對(duì)信息進(jìn)行分級(jí)編碼，以便于其 能夠以不同的分辨率和/或質(zhì)量等級(jí)而解碼。因此，可縮放編碼設(shè)備產(chǎn) 生的數(shù)據(jù)流被分為多個(gè)層，基礎(chǔ)層和一個(gè)或更多個(gè)增強(qiáng)層。這些設(shè)備 允許唯一的數(shù)據(jù)流適用于可變的傳送條件(帶寬、誤碼率......)和接
收設(shè)備的能力(CPU、再現(xiàn)設(shè)備特性......)?？臻g可縮放分級(jí)編碼(或
解碼)方法對(duì)數(shù)據(jù)的稱為基礎(chǔ)層的第一部分進(jìn)行編碼(或解碼)，基礎(chǔ)
層與低分辨率圖像，也稱為基礎(chǔ)層圖像(BL圖像)相關(guān)；根據(jù)這個(gè)
基礎(chǔ)層對(duì)至少另一個(gè)稱為增強(qiáng)層的數(shù)據(jù)部分進(jìn)行編碼(或解碼)，增強(qiáng)
層與高分辨率的圖像，也稱為增強(qiáng)層圖像(EL圖像)相關(guān)。與增強(qiáng)層 相關(guān)的編碼信息或編碼數(shù)據(jù)可以通過(guò)稱為層間預(yù)測(cè)或?qū)娱g繼承的方法 從與基礎(chǔ)層相關(guān)的編碼信息中繼承(即導(dǎo)出)。因此，高分辨率圖像的 每個(gè)宏塊根據(jù)經(jīng)典預(yù)測(cè)模式(例如，雙向預(yù)測(cè)模式、直接預(yù)測(cè)模式、 前向/后向預(yù)測(cè)......)進(jìn)行時(shí)間預(yù)測(cè)，或根據(jù)層間預(yù)測(cè)模式進(jìn)行預(yù)測(cè)。
在前者中，與高分辨率宏塊相關(guān)聯(lián)的運(yùn)動(dòng)信息/數(shù)據(jù)(例如，與高分辨 率圖像的像素宏塊/塊相關(guān)聯(lián)的分區(qū)模式(用于將所述宏塊/塊分離為 多個(gè)子塊)、與所述塊相關(guān)聯(lián)的編碼模式、可能的運(yùn)動(dòng)矢量和與某些塊 相關(guān)聯(lián)的允許參考用于預(yù)測(cè)所述塊的圖像的一個(gè)或更多個(gè)圖像參考索 引)必須被從與低分辨率圖像的宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出或繼承， 不論低或高分辨率圖像的格式是例如逐行的還是隔行的。

發(fā)明內(nèi)容
本發(fā)明涉及一種作為視頻編碼或解碼處理過(guò)程的一部分的方法， 所述方法用于從與低分辨率圖像的宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)中產(chǎn)生用于 至少一個(gè)高分辨率圖像的宏塊的至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)值，所述低分辨率 圖像的宏塊被稱為低分辨率宏塊，所述高分辨率圖像的宏塊被稱為高 分辨率宏塊。所述方法包括以下步驟
-定義由非交疊宏塊組成的虛擬結(jié)構(gòu)，稱為虛擬基礎(chǔ)層宏塊，所述 虛擬結(jié)構(gòu)具有與所述低分辨率圖像相同的尺寸；
-基于所述高分辨率宏塊在所述高分辨率圖像中的位置，以及基于 低分辨率和高分辨率圖像尺寸的比例，在所述虛擬圖像中識(shí)別用于所 述高分辨率宏塊的相應(yīng)的虛擬基礎(chǔ)層宏塊；
-基于相應(yīng)的低分辨率宏塊對(duì)的場(chǎng)/幀模式，以及基于所述高分辨 率宏塊的幀/場(chǎng)模式，從與所述相應(yīng)的低分辨率宏塊對(duì)的至少一個(gè)宏塊 相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出用于每個(gè)識(shí)別的虛擬基礎(chǔ)層宏塊的運(yùn)動(dòng)數(shù) 據(jù)；
-對(duì)與所述相應(yīng)的虛擬基礎(chǔ)層宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行重采樣， 以產(chǎn)生所述至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)值。
若高分辨率宏塊具有幀模式，且若相應(yīng)的低分辨率宏塊對(duì)具有場(chǎng) 模式，則導(dǎo)出步驟包括以下步驟
-以比例2對(duì)由頂宏塊和底宏塊組成的所述低分辨率宏塊對(duì)進(jìn)行 垂直上采樣，每個(gè)上采樣后的宏塊由上部分和下部分組成；以及
-將上采樣后的頂宏塊的上部分的運(yùn)動(dòng)數(shù)據(jù)和上采樣后的底宏塊 的上部分的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行合并，并將上采樣后的頂宏塊的下部分的運(yùn) 動(dòng)數(shù)據(jù)和上采樣后的底宏塊的下部分的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行合并。
若高分辨率宏塊具有場(chǎng)模式，且若所述相應(yīng)的低分辨率宏塊對(duì)具
有幀模式，則導(dǎo)出步驟包括如下步驟以比例2對(duì)與所述相應(yīng)的低分
辨率宏塊對(duì)相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行垂直下采樣。
本發(fā)明還涉及一種設(shè)備，用于對(duì)由宏塊組成的高分辨率圖像的序 列以及低分辨率圖像的序列進(jìn)行編碼，所述組成高分辨率圖像的宏塊 被稱為高分辨率宏塊，所述低分辨率圖像被稱為低分辨率宏塊。所述
設(shè)備包括
-第一編碼裝置，用于編碼所述低分辨率圖像，所述第一編碼裝置 產(chǎn)生用于所述低分辨率圖像的宏塊的運(yùn)動(dòng)數(shù)據(jù)和基礎(chǔ)層數(shù)據(jù)流；
-繼承裝置，用于從被稱為低分辨率宏塊的低分辨率圖像的宏塊的 運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出用于被稱為高分辨率宏塊的至少一個(gè)高分辨率圖像的 宏塊的運(yùn)動(dòng)數(shù)據(jù)；以及
-第二編碼裝置，用于使用所述導(dǎo)出的運(yùn)動(dòng)數(shù)據(jù)對(duì)所述高分辨率圖 像進(jìn)行編碼，所述第二編碼裝置產(chǎn)生增強(qiáng)層數(shù)據(jù)流。
所述繼承裝置包括
-用于定義由非交疊宏塊組成的虛擬結(jié)構(gòu)的裝置，所述非交疊宏塊 被稱為虛擬基礎(chǔ)層宏塊，所述虛擬結(jié)構(gòu)具有與所述低分辨率圖像相同 的尺寸；
-用于基于所述高分辨率宏塊在所述高分辨率圖像中的位置，以及 基于低分辨率和高分辨率圖像尺寸的比例，在所述虛擬圖像中識(shí)別用
于所述高分辨率宏塊的相應(yīng)的虛擬基礎(chǔ)層宏塊的裝置；
-用于基于相應(yīng)的低分辨率宏塊對(duì)的場(chǎng)/幀模式，以及基于所述高 分辨率宏塊的幀/場(chǎng)模式，從與所述相應(yīng)的低分辨率宏塊對(duì)的至少一個(gè) 宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出用于每個(gè)識(shí)別的虛擬基礎(chǔ)層宏塊的運(yùn)動(dòng)
數(shù)據(jù)的裝置；以及
-用于對(duì)與所述相應(yīng)的虛擬基礎(chǔ)層宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行重 采樣，以產(chǎn)生所述至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)值的裝置。
根據(jù)具體實(shí)施例，第一編碼裝置是MPEG-4AVC視頻編碼器。
本發(fā)明還涉及一種解碼設(shè)備，用于至少對(duì)編碼的高分辨率圖像序 列進(jìn)行解碼，所述編碼的圖像以數(shù)據(jù)流的形式出現(xiàn)，每個(gè)圖像被分為 非交疊的宏塊。所述設(shè)備包括
-第一解碼裝置，用于至少對(duì)所述數(shù)據(jù)流的第一部分進(jìn)行解碼，以 產(chǎn)生低分辨率圖像和用于所述低分辨率圖像的宏塊的運(yùn)動(dòng)數(shù)據(jù)；
-繼承裝置，用于從低分辨率圖像的宏塊的運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出用于至
少一個(gè)高分辨率圖像的宏塊的運(yùn)動(dòng)數(shù)據(jù)；以及
-第二解碼裝置，用于使用所述導(dǎo)出的運(yùn)動(dòng)數(shù)據(jù)至少對(duì)所述數(shù)據(jù)流
的第二部分進(jìn)行解碼，以產(chǎn)生高分辨率圖像。 所述繼承裝置包括
-用于定義由非交疊宏塊組成的虛擬結(jié)構(gòu)的裝置，所述非交疊宏塊 被稱為虛擬基礎(chǔ)層宏塊，所述虛擬結(jié)構(gòu)具有與所述低分辨率圖像相同 的尺寸；
-用于基于所述高分辨率宏塊在所述高分辨率圖像中的位置，以及 基于低分辨率和高分辨率圖像尺寸的比例，在所述虛擬圖像中識(shí)別用 于所述高分辨率宏塊的相應(yīng)的虛擬基礎(chǔ)層宏塊的裝置；
-用于基于相應(yīng)的低分辨率宏塊對(duì)的場(chǎng)/幀模式，以及基于所述高 分辨率宏塊的幀/場(chǎng)模式，從與所述相應(yīng)的低分辨率宏塊對(duì)的至少一個(gè) 宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出用于每個(gè)識(shí)別的虛擬基礎(chǔ)層宏塊的運(yùn)動(dòng) 數(shù)據(jù)的裝置；以及
-用于對(duì)與所述相應(yīng)的虛擬基礎(chǔ)層宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行重 采樣，以產(chǎn)生所述至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)值的裝置。
根據(jù)具體實(shí)施例，第一解碼裝置是MPEG-4 AVC視頻解碼器。


通過(guò)以下一些實(shí)施例的描述，本發(fā)明的其他特征和優(yōu)點(diǎn)是顯而易 見(jiàn)的，以下的描述結(jié)合附圖進(jìn)行，其中-
-圖1描述了一對(duì)垂直放置的宏塊，以幀模式(圖的左側(cè)部分)或 場(chǎng)模式(圖的右側(cè)部分)進(jìn)行編碼；
-圖2描述了根據(jù)本發(fā)明的方法的流程-圖3示出了從基礎(chǔ)層TOP和BOTTOM宏塊的隔行對(duì)中產(chǎn)生虛擬 基礎(chǔ)層TOP和BOTTOM場(chǎng)宏塊的處理過(guò)程；
-圖4示出了 UP和DOWN逐行宏塊垂直下采樣的處理過(guò)程；
-圖5示出了 TOP和BOTTOM宏塊合并的處理過(guò)程；
-圖6示出了隔行宏塊對(duì)合并的處理過(guò)程；
-圖7示出了逐行81^宏塊(垂直)下釆樣的處理過(guò)程；
-圖8描述了 BL逐行宏塊清除過(guò)程的框-圖9示出了 4x4和8x4子分區(qū)合并的處理過(guò)程；
_圖IO描述了下采樣宏塊導(dǎo)出處理過(guò)程的框-圖11示出了不同的垂直下采樣的情況；
-圖12示出了隔行BLTOP和BOTTOM宏塊合并的處理過(guò)程； -圖13示出了在場(chǎng)圖像中的TOP和BOTTOM宏塊； -圖14示出了在幀圖像(MBAFF)中的TOP和BOTTOM宏塊; -圖15示出了隔行TOP和BOTTOM宏塊合并過(guò)程的兩個(gè)步驟； -圖16描述了上采樣宏塊內(nèi)容合并處理過(guò)程的框圖； -圖17描述了虛擬基礎(chǔ)層結(jié)構(gòu)；
-圖18描述了根據(jù)本發(fā)明的給定的ELMB的層間預(yù)測(cè)處理過(guò)程;
-圖19描述了根據(jù)本發(fā)明的編碼設(shè)備；以及
-圖20描述了根據(jù)本發(fā)明的解碼設(shè)備。
具體實(shí)施例方式
當(dāng)前由JVT (MPEG & ITU)在ISO/IEC MPEG & ITU-T VCEG中題 為《 Scalable Video Coding — Joint Draft 4 的文檔JVT-Q202中定義的 SVC標(biāo)準(zhǔn)(以下稱為JSVM4)中，只考慮了針對(duì)逐行素材的空間可縮 放性。在兩個(gè)(或更多)連續(xù)空間層(基礎(chǔ)層和增強(qiáng)層)之間的運(yùn)動(dòng) 層間預(yù)測(cè)只處理了逐行視頻序列的情況。本發(fā)明提出擴(kuò)展層間預(yù)測(cè)處 理過(guò)程，以支持隔行/逐行可縮放性的任意組合。
根據(jù)許多視頻編碼標(biāo)準(zhǔn)，隔行圖像包括與在不同時(shí)刻捕捉的底場(chǎng) 進(jìn)行隔行交織的頂場(chǎng)，隔行圖像可以用兩個(gè)場(chǎng)圖像(場(chǎng)圖像模式)進(jìn) 行編碼，即對(duì)圖像的兩個(gè)場(chǎng)分別編碼，或用幀圖像(幀圖像模式)進(jìn) 行編碼，即圖像可以被編碼為單個(gè)幀。在題為《 Text of 14496-2 Third Edition》的文檔ISO/IEC JTC 1/SC 29/WG 11 N5546中描述的MPEG畫4 AVC允許獨(dú)立地對(duì)整個(gè)圖像或獨(dú)立地對(duì)每?jī)蓚€(gè)垂直宏塊對(duì)做出決定。 當(dāng)決定在圖像級(jí)做出時(shí)，稱為PAFF編碼(PAFF代表Image Adaptative Frame/Field (圖像自適應(yīng)幀/場(chǎng)))，當(dāng)決定在宏塊對(duì)級(jí)做出時(shí)，稱為 MBAFF (代表Macroblock Adaptative Frame/Field(宏塊自適應(yīng)幀/場(chǎng)))。 更準(zhǔn)確地，根據(jù)MPEG-4 AVC，當(dāng)隔行圖像被編碼為幀圖像且允許 MBAFF時(shí)，每一對(duì)垂直宏塊MB可以隔行，即場(chǎng)模式(圖1的右側(cè)部分)，
或逐行，即幀模式(圖l的左側(cè)部分)進(jìn)行編碼。在圖1中，灰色線表 示圖像的偶數(shù)線，與奇數(shù)線，即圖像的白色線隔行交織。當(dāng)垂直宏塊
對(duì)處于場(chǎng)模式時(shí)，對(duì)中的每個(gè)MB被稱為場(chǎng)宏塊。當(dāng)垂直宏塊對(duì)處于 幀模式時(shí)，對(duì)中的每個(gè)MB被稱為幀宏塊。
根據(jù)本發(fā)明的方法允許從與低分辨率圖像的一些宏塊(也稱為基 礎(chǔ)層宏塊，標(biāo)記為BLMB)相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)中，產(chǎn)生用于高分辨率 圖像的宏塊(也稱為增強(qiáng)層宏塊，標(biāo)記為ELMB)的至少一個(gè)層間運(yùn) 動(dòng)預(yù)測(cè)值，不論高和低分辨率序列的格式如何(隔行或逐行)。與高分 辨率圖像的宏塊相關(guān)聯(lián)的層間運(yùn)動(dòng)預(yù)測(cè)值，更簡(jiǎn)單地稱為運(yùn)動(dòng)預(yù)測(cè)值， 是運(yùn)動(dòng)數(shù)據(jù)(例如分區(qū)/子分區(qū)類型、可能存在的允許識(shí)別參考圖像的 參考索引、運(yùn)動(dòng)矢量......)與之相關(guān)聯(lián)的宏塊。根據(jù)MPEG-4 AVC，
對(duì)圖像序列中的每個(gè)圖像，參考索引從兩個(gè)參考列表(列表0以及列表
1)中選擇，定義如下
-每個(gè)參考索引與給定的參考圖像編號(hào)相關(guān)聯(lián)；
-對(duì)每個(gè)列表， 一些參考索引被標(biāo)記為無(wú)效；以及
-每個(gè)SxS塊，即8乘以8像素大小的塊，可以用于每個(gè)列表作為單
個(gè)參考索引。
無(wú)效的參考索引對(duì)應(yīng)于在解碼處理過(guò)程中還不可用(未解碼)的 參考場(chǎng)或幀。
使用如JSVM4文檔中描述的ESS (代表Extended Spatial Scalability
(擴(kuò)展空間可縮放性))方法之類的運(yùn)動(dòng)下采樣方法產(chǎn)生運(yùn)動(dòng)預(yù)測(cè)值。 若所考慮的高分辨率圖像是隔行的，則兩個(gè)層間預(yù)測(cè)模式可潛在地用 于編碼或解碼每個(gè)EL宏塊
1. 層間隔行(IL—I)模式對(duì)應(yīng)于TOP或BOTTOM場(chǎng)數(shù)據(jù)的宏塊，
即場(chǎng)宏塊；
2. 層間逐行(IL—P)模式對(duì)應(yīng)于FRAME數(shù)據(jù)的宏塊，即幀宏塊。
本發(fā)明提出了用于產(chǎn)生這樣的層間宏塊預(yù)測(cè)值的方法。為了這個(gè) 目的，本發(fā)明在于，在步驟190根據(jù)BLMB定義"虛擬基礎(chǔ)層"(VBL) 宏塊，而不是深入修改JSVM4中描述的方法。"虛擬基礎(chǔ)層"(VBL)
宏塊是運(yùn)動(dòng)數(shù)據(jù)與之相關(guān)聯(lián)的結(jié)構(gòu)。由于多數(shù)與隔行相關(guān)的問(wèn)題在
VBL數(shù)據(jù)導(dǎo)出過(guò)程中報(bào)告，使用VBL結(jié)構(gòu)避免或至少明顯限制了 JSVM4上采樣處理過(guò)程的修改。事實(shí)上，"虛擬基礎(chǔ)層"(VBL)宏塊 確保了BL和EL宏塊之間的兼容性，有利于JSVM4中定義的層間預(yù)測(cè) 直接再用于逐行圖像。BL宏塊首先被轉(zhuǎn)換為全部具有與EL宏塊場(chǎng)/幀 模式兼容的場(chǎng)/幀模式的VBL宏塊，而不是直接對(duì)BL宏塊實(shí)施重采樣 處理過(guò)程。實(shí)際中，這種方法要求使用以下結(jié)構(gòu)VBL幀(具有與BL 圖像相同的尺寸)、形成與BL圖像相同尺寸的VBL場(chǎng)的VBL TOP場(chǎng)和 VBLBOTTOM場(chǎng)(具有與BL圖像相同的寬度，和BL圖像一半的高度)， 如圖17所示。每個(gè)VBL結(jié)構(gòu)被分為運(yùn)動(dòng)數(shù)據(jù)與其相關(guān)聯(lián)的稱為VBL幀 MB、 VBLTOP場(chǎng)MB和VBLBOTTOM場(chǎng)MB的宏塊。接著，使用VBL MB替代原始BLMB，應(yīng)用JSVM4中描述的經(jīng)典ESS下采樣方法，用于 從BL MB中導(dǎo)出用于高分辨率圖像MB的運(yùn)動(dòng)信息。層間運(yùn)動(dòng)預(yù)測(cè)方 法可以是用于編碼圖像序列的處理過(guò)程的部分和用于解碼圖像序列的 處理過(guò)程的部分。在編碼處理過(guò)程中，計(jì)算所有潛在的層間運(yùn)動(dòng)預(yù)測(cè) 值。接著，編碼處理過(guò)程使用層間預(yù)測(cè)模式或經(jīng)典預(yù)測(cè)模式選擇編碼 當(dāng)前的ELMB。若編碼處理過(guò)程選擇了層間預(yù)測(cè)模式，則解碼處理過(guò) 程只計(jì)算相應(yīng)的層間預(yù)測(cè)值。參照?qǐng)D2，用于當(dāng)前ELMB (其層間模式 IL—mode是IL—P，即幀模式，或ILJ，即場(chǎng)模式)的層間運(yùn)動(dòng)預(yù)測(cè)處理
過(guò)程實(shí)現(xiàn)以下步驟
-識(shí)另1」200相應(yīng)的￥81^宏塊{(:0，(;1,..工>^};
-對(duì)每個(gè)相應(yīng)的位于(xi， yi)的VBL宏塊ci， i-0…N，根據(jù)層間 預(yù)測(cè)模式，從與BL宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出210相關(guān)聯(lián)的運(yùn)動(dòng)數(shù) 據(jù)；以及
-使用JSVM4中描述的ESS處理過(guò)程，從各個(gè)VBL MB導(dǎo)出220層間
運(yùn)動(dòng)預(yù)測(cè)值，其中在垂直方向比例等于heWhbase，在水平方向比例等于 Wenh/Wbase，其中henh和Wenh是HL由片的高度和寬度，h旨和Wb靴是BL圖
片的高度和寬度。
在解碼側(cè)，層間模式IL—mode從比特流中導(dǎo)出。在編碼側(cè)，該模
式通過(guò)編碼模式?jīng)Q定方法導(dǎo)出。該方法例如基于后驗(yàn)準(zhǔn)則，即它選擇
使失真和編碼成本的線性組合最小化的模式。
圖18作為示例，示出在低分辨率圖像為隔行并在MBAFF模式下編 碼為幀圖像，以及在高分辨率圖像為隔行并在MBAFF模式下編碼為幀 圖像的情況下，層間運(yùn)動(dòng)預(yù)測(cè)處理過(guò)程。給定EL宏塊(填以黑色，本 示例中視為幀宏塊)，首先識(shí)別'其對(duì)應(yīng)的VBL宏塊。相應(yīng)的BL宏塊可 以具有與EL宏塊不同的幀/場(chǎng)模式。例如，在圖18中，右側(cè)的BL宏塊 對(duì)由兩個(gè)場(chǎng)宏塊組成，而EL宏塊處于幀模式。在這種情況下，轉(zhuǎn)換與 BL宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)。因此，被轉(zhuǎn)換的運(yùn)動(dòng)信息與具有和EL宏塊 相同的場(chǎng)/幀模式的VBL宏塊相關(guān)聯(lián)。最終，使用JSVM4中描述的'標(biāo) 準(zhǔn)'逐行重采樣處理過(guò)程，從VBL宏塊向EL宏塊進(jìn)行層間預(yù)測(cè)。
以下情況需要幀-場(chǎng)宏塊轉(zhuǎn)換。
情況l， BL和EL幀使用MBAFF模式編碼，ELMB是場(chǎng)編碼而相應(yīng) 的BLMB是幀編碼。這需要幀至場(chǎng)的轉(zhuǎn)換。
情況2. ELMB是幀編碼，BL是幀圖像且相應(yīng)的BLMB是場(chǎng)編碼。
在這種情況下，需要場(chǎng)至幀的轉(zhuǎn)換。
情況3.BL圖像是逐行幀；ELMB是在幀圖像中場(chǎng)編碼或?qū)儆趫?chǎng)圖 像；而EL場(chǎng)高度/V2低于BL幀高度/^。在這種情況下，需要幀至場(chǎng)的 轉(zhuǎn)換。
步驟200在于識(shí)別相應(yīng)的VBL宏塊(cO，cl，…cN)。若ELMB模式是 IL_P，即使用VBL幀MB，則相應(yīng)的VBLMB將使用以下處理過(guò)程來(lái)確 定
XS = [ X * Wbase/Wenh] / 16
ys = [y * hbase/henh]/ 16
xe = [ (x+15) * wbase / wenh ] / 16
ye = [(y+15)*hbase/henh]/16 其中(x， y)是所考慮的EL MB的左上采樣位置，(wbase， hbase)是基礎(chǔ)
圖像尺寸，(Wenh,henh)是增強(qiáng)圖像尺寸。相應(yīng)的VBL宏塊(cO,cl,…cN〉
位于由左上位置(xs， ys)和右下位置(xe， ye)所界定的窗口之內(nèi)。
若EL MB模式是IL—I，即使用VBL TOP或BOTTOM場(chǎng)MB，則相 應(yīng)的VBL MB將使用以下處理過(guò)程來(lái)確定
XS = [ (X-X0) * Wbase / Wenh ] / 16
ys = [(y-y0"(hbase/2)/henh]/i6
Xe = [ (X+15-X0) * Wbase / Wenh ] / 16
ye = [ (y+15-y0) * (hbase/2) / henh〗/16
相應(yīng)的VBL宏塊(cO，cl,...cN)位于由左上位置(xs，ys)和右下位置(xe， ye)所界定的窗口之內(nèi)。
步驟210在于產(chǎn)生產(chǎn)生VBLMB，更具體地，在于導(dǎo)出與VBLMB 相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)。根據(jù)BL圖像編碼模式，VBLTOPMB的產(chǎn)生如下
-若BL圖像被編碼為幀圖像，則若位于(xi，2,i)的BL MB是逐行 的，VBLTOPMB (^是包括位于(^,2*^+1)的8!^1^8和位于^1,2*^)的 BL MB的MB對(duì)的垂直下采樣版本。隨后定義新的下采樣處理過(guò)程， 用于導(dǎo)出如圖3所示的逐行宏塊對(duì)的垂直下采樣宏塊版本，否則，若位 于(xi^yi)的BLMB是隔行的，與VBLTOPMB ci相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)是 與位于(xi"yi)的TOPBLMB相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)的拷貝。
-若BL圖像被編碼為場(chǎng)圖像，與VBLTOPMBci相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù) 是與位于(xi, yi)的TOPBLMB相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)的拷貝。
根據(jù)BL圖像編碼模式，VBL BOTTOM MB的產(chǎn)生如下
-若BL圖像被編碼為幀圖像，則若位于(",2*力+1)的81^]\48是逐行 的，VBL BOTTOM MB (^是包括位于(^，2*力+1)的81^ MB和位于 (xi^yi)的BL MB的MB對(duì)的垂直下采樣版本。使用如圖4所示的新的 下采樣處理過(guò)程產(chǎn)生，否則，若位于(^,2*^+1)的81^ MB是隔行的， 與VBL BOTTOM MB ci相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)是與位于(xi，2fyi+l)的 BOTTOM BL MB相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)的拷貝。
-若BL圖像被編碼為場(chǎng)圖像，與VBL BOTTOM MB ci相關(guān)聯(lián)的運(yùn) 動(dòng)數(shù)據(jù)是與位于(xi, yi)的BOTTOM BL MB相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)的拷貝。
根據(jù)BL圖像編碼模式，VBL幀MB的產(chǎn)生如下
-若BL圖像被編碼為幀圖像，如圖5所示，若位于(xi，yi)的BLMB 是逐行的，則與VBL幀MB ci相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)是與位于(xi， yi)的BL MB相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)的直接拷貝，否則，若位于(xi，yi)的BLMB是隔 行的，VBL幀MB ci是包括位于(xi， yi)的BL MB和位于 (xi，yi+l-2^yi。/。2))的BLMB的MB對(duì)的合并版本。隨后定義新的合并處 理過(guò)程，其允許把2個(gè)宏塊合并為逐行宏塊。
在這種情況下，MB對(duì)中的VBL幀MB UP和DOWN是相同的，因 為它們是從相同的TOP和B OTTOM B L MB中產(chǎn)生的。
-若BL圖像被編碼為場(chǎng)圖像，如圖6所示，VBL幀MB d是位于(xi, yi/2)的BL TOP場(chǎng)MB和位于(xi, yi/2)的BL BOTTOM場(chǎng)MB的合并版 本。這個(gè)VBL幀MB使用新的合并處理過(guò)程而產(chǎn)生。
用于導(dǎo)出逐行宏塊對(duì)的垂直下采樣宏塊版本的新的下采樣處理 過(guò)程應(yīng)用于位于(mbX, 2+mbY)和(mbX, 2^^mbY+l)的、以逐行格式編碼 的BL宏塊對(duì)(UP和DOWN)。其在于比例為2的垂直下采樣(圖7中描 述了一個(gè)示例)。該處理過(guò)程輸出位于(mbX，mbY)的下采樣宏塊。
如圖7所示，兩個(gè)BLUP和D0WN宏塊中的每一個(gè)在垂直下采樣后 產(chǎn)生16x8分區(qū)。因此，基本上，垂直下采樣宏塊被分為兩個(gè)16x8分區(qū)。 垂直下采樣處理過(guò)程可產(chǎn)生MPEG-4AVC標(biāo)準(zhǔn)所禁止的配置，如
-8x8子分區(qū)內(nèi)不同的參考索引(例如，若一個(gè)BL宏塊被分為4個(gè) 8x8塊且兩個(gè)相鄰的上和下8x8塊具有不同的參考索引，則它一旦被下 采樣，將產(chǎn)生被分為兩個(gè)具有不同參考索引的8x4塊的8x8塊)；或
-高為2個(gè)像素的子分區(qū)(例如，若輸入的8x8塊被子分區(qū)為8x4， 則它一旦被下采樣，將產(chǎn)生8x2大小的子分區(qū))。
因此，首先對(duì)BL UP和DOWN MB應(yīng)用清除處理過(guò)程，以避免這 樣的配置。首先清除逐行BL宏塊對(duì)的每一個(gè)宏塊，以避免具有無(wú)效運(yùn) 動(dòng)矢量的分區(qū)。圖8所示的用于一個(gè)標(biāo)記為MBBL的BL宏塊的處理過(guò)程 連續(xù)地應(yīng)用于該宏塊對(duì)的UP和DOWNMB。它基本實(shí)現(xiàn)了以下三個(gè)步
驟
-移除800無(wú)效分區(qū)；
-參考索引均化(homogenization) 810;以及
-合并820 4x4和4x8子分區(qū)。
步驟800在于移除無(wú)效分區(qū)，即使用無(wú)效參考索引的分區(qū)，對(duì)應(yīng) 于在解碼處理過(guò)程中還不可用的參考場(chǎng)和幀的分區(qū)。 若MBbl的模式不是INTRA，則執(zhí)行以下處理過(guò)程 對(duì)每個(gè)列表(0和1)執(zhí)行以下處理過(guò)程
-首先，把具有無(wú)效參考索引的分區(qū)歸類為INVALID，并把其他分 區(qū)歸類為VALID。
-接著，若至少一個(gè)分區(qū)是VALID，則對(duì)于每個(gè)被歸類為INVALD 的分區(qū)，執(zhí)行無(wú)效分區(qū)的移除。例如，把未歸類為INVALD的宏塊的 相鄰分區(qū)的子分區(qū)、運(yùn)動(dòng)矢量和參考索引拷貝給INVALD分區(qū)。相鄰 分區(qū)可以按以下順序掃描水平、垂直、對(duì)角。接著把該分區(qū)歸類為 VALID 。
若對(duì)于兩個(gè)列表，所有的分區(qū)都為INVALD，則把MBbl的模式投 為INVALD。
若MBbl的模式是INTRA，則不做任何處理。 步驟810在于對(duì)mbbl的分區(qū)內(nèi)的參考索引進(jìn)行均化。它只在mbbl
的模式未被設(shè)為INVALD時(shí)實(shí)施。
-若BL宏塊分區(qū)等于16x8或8x8，對(duì)宏塊的每個(gè)上分區(qū)實(shí)施以下處
理過(guò)程
-若至少對(duì)于一個(gè)列表(0或1)，宏塊的下分區(qū)具有與其上分區(qū)不
同的參考索引，則對(duì)每個(gè)列表(0和1)實(shí)施以下處理過(guò)程
-識(shí)別使用最小參考索引W的上或下分區(qū)(標(biāo)記為refPart)。 -另一分區(qū)被強(qiáng)制具有與refPart相同的參考索引A子分區(qū)(若
適用)和運(yùn)動(dòng)矢量。
可能地，在步驟815，實(shí)施分區(qū)合并處理過(guò)程。若分區(qū)沒(méi)有被子分
區(qū)，且若對(duì)于每個(gè)列表其參考索引和運(yùn)動(dòng)矢量是相同的，則把分區(qū)合
并為單個(gè)分區(qū)。宏塊模式修改如下 -16x8和8xl6轉(zhuǎn)化為16xl6。
-8x8按以下轉(zhuǎn)化
-若左8x8塊被合并在一起且右8x8塊被合并在一起，則轉(zhuǎn)化
為8xl6;
-若上8x8塊被合并在一起且下8X8塊被合并在一起，則轉(zhuǎn)化 為16x8;
-若4個(gè)8x8塊被合并在一起，則轉(zhuǎn)化為16x16。 步驟815是可選的。
步驟820在于合并4x4和8x4子分區(qū)。它只在MBBL的模式未被設(shè)為 INVALD時(shí)實(shí)施。若MB肌的模式不為INVALD也不為INTRA且宏塊分 區(qū)等于8x8，則對(duì)宏塊中具有等于8x4或4x4的子分區(qū)的每個(gè)8x8分區(qū)實(shí) 施子分區(qū)合并。8x4子分區(qū)合并為8x8子分區(qū)，4"子分區(qū)合并為4^8子 分區(qū)，如圖9所示。對(duì)每個(gè)合并區(qū)域，對(duì)每個(gè)列表(0和1),合并區(qū)域 運(yùn)動(dòng)矢量被設(shè)為兩個(gè)待合并的部分的平均運(yùn)動(dòng)矢量。
在清除處理過(guò)程之后，產(chǎn)生名為MBD的下采樣宏塊。它具有兩個(gè) 相應(yīng)的BL清除宏塊，BMbUp和BMbDown。圖10描述了被實(shí)施用于產(chǎn) 生下采樣宏塊MBD的處理過(guò)程的流程圖。
若BMbUp和BmbDown為INTRA,則MBD的模式被設(shè)為INTRA。
否則，若BMbUp和BMbDown是INTRA或INVALID (這里考慮三 種情況，BMbUp是INTRA, BMbDown是INVALID ;或BMbUp是 INVALID, BMbDown是INTRA;或兩個(gè)宏塊BMbUp和BMbDown都是 INVALID), MBo的模式被設(shè)為INVALID。
否則，實(shí)施以下處理過(guò)程
在步驟IOOO， MBD被分為兩個(gè)I6x8部分(以下標(biāo)記為16x8PartUp 和16x8PartDown )。每個(gè)16x8部分具有一個(gè)相應(yīng)的BL幀宏塊 (16x8PartUp對(duì)應(yīng)于BMbUp， 16x8PartDown對(duì)應(yīng)于BMbDown)。
在步驟1200，使用以下處理過(guò)程(如圖ll所示)建立每個(gè)16x8部 分16x8PartZ (Z由Up或Down替代)
-若BMbZ是INVALID或INTRA ，把16 x 8PartZ歸類為NEUTRAL 。
-否則，若BMbZ分區(qū)是16x16，則16x8PartZ分區(qū)是16x8 (圖lla)。 對(duì)于每個(gè)列表，16x8PartZ的參考索引是BMbZ的參考索引。
-否則，16x8PartZ分區(qū)是8x8。 16x8PartZ的兩個(gè)8x8塊接著被子分 區(qū)如下
-若BMbZ分區(qū)是16x8，對(duì)兩個(gè)塊，則針對(duì)兩個(gè)塊的子分區(qū) 是8x4 (圖llb)。
-否則，若BMbZ分區(qū)是8x16，則對(duì)兩個(gè)塊的子分區(qū)是8xg(圖
llc)。
-否則，若BMbZ分區(qū)是8x8，用左和右替代W，實(shí)施以下處 理過(guò)程(圖lld中的示例)
-若至少一個(gè)WBMbZ8x8塊被分為4x8，則W8xg塊子 分區(qū)是4x4。
-否則，W8x8塊子分區(qū)是8x4。 -每個(gè)導(dǎo)出的16x8PartZ的分區(qū)/子分區(qū)，繼承其參考索引和運(yùn)動(dòng)矢 量如下
-識(shí)別所考慮的分區(qū)/子分區(qū)的左上塊坐標(biāo)(b4X，b4Y)。 -把坐標(biāo)為(b4X,b4Y/2)的BMbZ的4x4塊的參考索引和運(yùn)動(dòng) 矢量拷貝給所考慮的分區(qū)/子分區(qū)。
步驟1200在于若存在NEUTRAL分區(qū)則將其移除。若兩個(gè)16x8部 分中的一個(gè)被歸類為NEUTRAL，其內(nèi)容(分區(qū)/子分區(qū)、參考索引和 運(yùn)動(dòng)矢量)從另一16x8部分的內(nèi)容拷貝得到。
步驟1300在于導(dǎo)出MBD分區(qū)如下
-若16x8PartUp和16x8PartDown分區(qū)是16x8，則MBo分區(qū)是16x8。 -否則，MBD分區(qū)被設(shè)為8x8。
可能地，在步驟1400，實(shí)施步驟815的分區(qū)合并處理過(guò)程。步驟1400 是可選的。
對(duì)兩個(gè)以隔行格式編碼的BL宏塊實(shí)施用于將TOP宏塊(即來(lái)自BL TOP場(chǎng))和BOTTOM宏塊(即來(lái)自BL BOTTOM場(chǎng))合并為逐行宏塊 對(duì)(UP和DOWN)的新的合并處理過(guò)程。所考慮的第一個(gè)宏塊是TOP 宏塊BMbTop。第二個(gè)宏塊是BOTTOM宏塊BMbBot。如圖12所示，該 處理過(guò)程的輸出是一對(duì)逐行宏塊UP和DOWN。BMbTop和BMbBot定義
如下
-若BL圖像被編碼為場(chǎng)圖像，BMbTop是位于(mbX, mbY)的BL TOP場(chǎng)宏塊，BMbBot是位于(mbX， mbY)的BL BOTTOM場(chǎng)宏塊，
如圖13所示；
-否則(BL圖像被編碼為幀圖像)，BMbTop和BMbBot是位于(mbX， 2+mbY)和(mbX， 2^bY+l)的BL幀宏塊——這只適用于BL幀宏塊對(duì) 以隔行模式編碼的情況，如圖14所示。
參照?qǐng)D15，該處理過(guò)程包括以下兩個(gè)步驟
匿步驟1500，用于以比例2垂直上采樣BMbTop和BMbBot，該步驟 產(chǎn)生兩個(gè)上采樣TOP宏塊，即MbTopUp和MbTopDown，和兩個(gè)上采樣 BOTTOM宏塊，即MbBottomUp和MbBottomDown 。
-步驟1510，用于將上采樣宏塊MbTopUp和MbBottomUp合并為一 個(gè)宏塊MbUp ，將上采樣宏塊MbTopDown和MbBottomDown合并為一 個(gè)宏塊MbDown。
步驟1500在于在垂直方向上以比例2進(jìn)行宏塊上采樣。該步驟在于 在水平方向上以比例1和在垂直方向上以比例2直接應(yīng)用JSVM4 (Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG JVT-Q202, "Scalable Video Coding — Joint Draft 4"， J.Reichel， H.Schwarz， M.Wien) 中所定義的ESS上采樣處理過(guò)程。
步驟1510應(yīng)用于兩個(gè)宏塊Mblnl和Mbln2并產(chǎn)生一個(gè)合并的宏塊 MbOut。參照?qǐng)D15，若宏塊Mblnl和Mbln2分別與MbTopUp和MbBotUp 相關(guān)，則MbOut與MbUp相關(guān)，若宏塊Mblnl和Mbln2分別與 MbTopDown和MbBotDown相關(guān)，則MbOut與MbDown相關(guān)。
根據(jù)第一實(shí)施例，MbInl所關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)與MbOut相關(guān)聯(lián)。
-若MbOut不是INTRA，通過(guò)先前所述的無(wú)效分區(qū)移除處理過(guò)程移 除無(wú)效分區(qū)；
-若MbOut被歸類為INVALID， Mbln2所關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)與MbOut
相關(guān)聯(lián)。然后，應(yīng)用以下處理過(guò)程-.
-若MbOut不是INTRA，通過(guò)先前所述的無(wú)效分區(qū)移除處理
過(guò)程移除無(wú)效分區(qū)； 根據(jù)優(yōu)選實(shí)施例，參照?qǐng)D16，步驟1510在于實(shí)施以下子步驟 在子步驟1600， Mblnl所關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)與MbOut相關(guān)聯(lián)。 接著，若MbOut不是INTRA，實(shí)施以下處理過(guò)程
-對(duì)每個(gè)列表(0和1)實(shí)施以下處理過(guò)程
-在子步驟1610，把具有無(wú)效參考索引的分區(qū)歸類為 INVALID,并把其他分區(qū)歸類為VALID。 INVALID分區(qū)處理如下 -在子步驟1620， MbOut分區(qū)被強(qiáng)制為8x8。 INVAUD分 區(qū)被分為8x8分區(qū)。MbOut模式被強(qiáng)制為8x8。對(duì)每個(gè) 8x8分區(qū)，實(shí)施以下處理過(guò)程
-在子步驟1630,若Mbln2中相應(yīng)的8x8塊使用有效 參考索引，該Mbln2 8x8塊的子分區(qū)(若存在)、參考索 引和運(yùn)動(dòng)矢量被拷貝到所考慮的MbOut 8x8分區(qū)。這個(gè) 分區(qū)被歸類為VALID。否則，MbOut 8x8分區(qū)被歸類為 INVALID 0
-若至少一個(gè)MbOut 8x8分區(qū)是VALID，則在子步驟 1640，對(duì)每個(gè)被歸類為INVALID的分區(qū)，實(shí)現(xiàn)無(wú)效分區(qū)的移 除。例如，把未被歸類為INVALID的宏塊的相鄰分區(qū)的子分 區(qū)、運(yùn)動(dòng)矢量和參考索引拷貝給INVALID分區(qū)。相鄰分區(qū)可 以按以下順序掃描水平、垂直、對(duì)角。接著把該分區(qū)歸類 為VALID 。
若對(duì)于兩個(gè)列表，所有的分區(qū)都是INVALID，則把模式設(shè)為 INVALID 。
在子步驟1650，可通過(guò)實(shí)施步驟815的分區(qū)合并處理過(guò)程來(lái)合并 MbOut分區(qū)。子步驟1650是可選的。
在圖2、 8、 10和16中，所表現(xiàn)的框是純功能實(shí)體，不必對(duì)應(yīng)于物 理分離實(shí)體。即它們可以用軟件的形式開發(fā)，或在一個(gè)或多個(gè)集成電 路中實(shí)現(xiàn)。
用于產(chǎn)生層間運(yùn)動(dòng)預(yù)測(cè)值的方法可以用于編碼視頻信號(hào)的處理過(guò) 程和JSVM4中描述的編碼視頻信號(hào)的處理過(guò)程。
本發(fā)明還涉及圖19所示的編碼設(shè)備8。編碼設(shè)備8包括用于編碼低 分辨率圖像的第一編碼模塊80。模塊80產(chǎn)生用于所述低分辨率圖像的 基礎(chǔ)層數(shù)據(jù)流和運(yùn)動(dòng)數(shù)據(jù)。優(yōu)選地，模塊80適于產(chǎn)生與MPEG4 AVC 標(biāo)準(zhǔn)兼容的基礎(chǔ)層數(shù)據(jù)流。編碼設(shè)備8包括繼承裝置82，用于從第一編 碼模塊80產(chǎn)生的低分辨率圖像的運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出高分辨率圖像的運(yùn)動(dòng) 數(shù)據(jù)。繼承裝置82適于執(zhí)行根據(jù)本發(fā)明的方法的步驟200至220。編碼 設(shè)備8包括用于編碼高分辨率圖像的第二編碼模塊81。第二編碼模塊81 使用繼承裝置82導(dǎo)出的運(yùn)動(dòng)數(shù)據(jù)以編碼高分辨率圖像。這樣，第二編 碼模塊81產(chǎn)生增強(qiáng)層數(shù)據(jù)流。優(yōu)選地，編碼設(shè)備8還包括模塊83 (例如 復(fù)用器)，用于將第一編碼模塊80和第二編碼模塊81分別提供的基礎(chǔ)層 數(shù)據(jù)流和增強(qiáng)層數(shù)據(jù)流進(jìn)行合并，以產(chǎn)生單個(gè)數(shù)據(jù)流。因此，若ELMB 由第二編碼模塊81使用層間預(yù)測(cè)模式進(jìn)行編碼，由于與所述ELMB相 關(guān)的運(yùn)動(dòng)數(shù)據(jù)是從與模塊80提供的BLMB相關(guān)的運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出的， 因此與所述ELMB相關(guān)的運(yùn)動(dòng)數(shù)據(jù)不被編碼到數(shù)據(jù)流中(或只是部分 編碼，由于可能編碼四分之一像素運(yùn)動(dòng)細(xì)化)。這可以節(jié)省一些比特。 另一方面，若使用經(jīng)典模式(例如雙向模式)編碼ELMB，則與所述 EL MB相關(guān)的運(yùn)動(dòng)數(shù)據(jù)被編碼到數(shù)據(jù)流中。
本發(fā)明還涉及圖20所示的解碼設(shè)備9，用于從例如編碼設(shè)備8產(chǎn)生 的數(shù)據(jù)流解碼高分辨率圖像。解碼設(shè)備9包括第一解碼模塊91，用于解 碼數(shù)據(jù)流的第一部分，稱為基礎(chǔ)層數(shù)據(jù)流，以便導(dǎo)出低分辨率圖像和 用于所述低分辨率圖像的運(yùn)動(dòng)數(shù)據(jù)。優(yōu)選地，模塊91適于解碼與 MPEG4 AVC標(biāo)準(zhǔn)兼容的數(shù)據(jù)流。解碼設(shè)備9包括繼承裝置82，用于從 第一解碼模塊91產(chǎn)生的低分辨率圖像的運(yùn)動(dòng)數(shù)據(jù)導(dǎo)出高分辨率圖像的 運(yùn)動(dòng)數(shù)據(jù)。繼承裝置82適于執(zhí)行根據(jù)本發(fā)明的方法的步驟200至220。 解碼設(shè)備9包括第二解碼模塊92，用于解碼數(shù)據(jù)流的第二部分，稱為增 強(qiáng)層數(shù)據(jù)流。第二解碼模塊92使用繼承裝置82導(dǎo)出的運(yùn)動(dòng)數(shù)據(jù)以解碼 數(shù)據(jù)流的第二部分。這樣，第二解碼模塊92產(chǎn)生高分辨率圖像。有利 地，解碼設(shè)備9還包括提取模塊90 (例如解復(fù)用器)，用于從所接收的 數(shù)據(jù)流中提取基礎(chǔ)層數(shù)據(jù)流和增強(qiáng)層數(shù)據(jù)流。
根據(jù)另一實(shí)施例，解碼設(shè)備接收兩個(gè)數(shù)據(jù)流基礎(chǔ)層數(shù)據(jù)流和增 強(qiáng)層數(shù)據(jù)流。在這種情況下，設(shè)備9不包括提取模塊90。
權(quán)利要求
1.一種作為可縮放視頻編碼或解碼處理過(guò)程的一部分的方法，所述方法用于從與低分辨率圖像的宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)中產(chǎn)生用于至少一個(gè)高分辨率圖像的宏塊的至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)值，所述低分辨率圖像的宏塊被稱為低分辨率宏塊，所述高分辨率圖像的宏塊被稱為高分辨率宏塊，所述方法的特征在于包括以下步驟-定義(190)由非交疊宏塊組成的虛擬結(jié)構(gòu)，稱為虛擬基礎(chǔ)層宏塊，所述虛擬結(jié)構(gòu)具有與所述低分辨率圖像相同的尺寸；-基于所述高分辨率宏塊在所述高分辨率圖像中的位置，以及基于低分辨率和高分辨率圖像尺寸的比例，在所述虛擬圖像中識(shí)別(200)用于所述高分辨率宏塊的相應(yīng)的虛擬基礎(chǔ)層宏塊；-向每個(gè)識(shí)別的虛擬基礎(chǔ)層宏塊關(guān)聯(lián)(210)運(yùn)動(dòng)數(shù)據(jù)，所述運(yùn)動(dòng)數(shù)據(jù)基于相應(yīng)的低分辨率宏塊對(duì)的場(chǎng)/幀模式，以及基于所述高分辨率宏塊的幀/場(chǎng)模式，從與所述相應(yīng)的低分辨率宏塊對(duì)的至少一個(gè)宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出；-對(duì)與所述相應(yīng)的虛擬基礎(chǔ)層宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行重采樣(220)，以產(chǎn)生所述至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)值。
2. 如權(quán)利要求l所述的方法，其中，若所述高分辨率宏塊具有幀 模式，且若所述相應(yīng)的低分辨率宏塊對(duì)具有場(chǎng)模式，則導(dǎo)出步驟(210) 包括以下步驟--以比例2對(duì)由頂宏塊和底宏塊組成的所述低分辨率宏塊對(duì)進(jìn)行 垂直上采樣(1500)，每個(gè)上采樣后的宏塊由上部分和下部分組成；以 及-將上采樣后的頂宏塊的上部分的運(yùn)動(dòng)數(shù)據(jù)和上采樣后的底宏塊的上部分的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行合并(1510)，并將上采樣后的頂宏塊的下部分的運(yùn)動(dòng)數(shù)據(jù)和上采樣后的底宏塊的下部分的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行合并 (1510)。
3. 如權(quán)利要求1或2所述的方法，其中，若所述高分辨率宏塊具 有場(chǎng)模式，且若所述相應(yīng)的低分辨率宏塊對(duì)具有幀模式，則導(dǎo)出步驟(210)包括如下步驟以比例2對(duì)與所述相應(yīng)的低分辨率宏塊對(duì)相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行垂直下釆樣。
4. 一種編碼設(shè)備(8)，用于對(duì)由宏塊組成的高分辨率圖像的序列 以及低分辨率圖像的序列進(jìn)行編碼，所述組成高分辨率圖像的宏塊被 稱為高分辨率宏塊，所述低分辨率圖像被稱為低分辨率宏塊，所述設(shè)備包括-第一編碼裝置(80)，用于編碼所述低分辨率圖像，所述第一編碼裝置產(chǎn)生用于所述低分辨率圖像的宏塊的運(yùn)動(dòng)數(shù)據(jù)和基礎(chǔ)層數(shù)據(jù)流；-繼承裝置(82)，用于從被稱為低分辨率宏塊的低分辨率圖像的 宏塊的運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出用于被稱為高分辨率宏塊的至少一個(gè)高分辨率 圖像的宏塊的運(yùn)動(dòng)數(shù)據(jù)；以及-第二編碼裝置(81)，用于使用所述導(dǎo)出的運(yùn)動(dòng)數(shù)據(jù)對(duì)所述高分 辨率圖像進(jìn)行編碼，所述第二編碼裝置產(chǎn)生增強(qiáng)層數(shù)據(jù)流；其特征在于，所述繼承裝置(82)包括-用于定義由非交疊宏塊組成的虛擬結(jié)構(gòu)的裝置，所述非交疊宏塊 被稱為虛擬基礎(chǔ)層宏塊，所述虛擬結(jié)構(gòu)具有與所述低分辨率圖像相同 的尺寸；-用于基于所述高分辨率宏塊在所述高分辨率圖像中的位置，以及 基于低分辨率和高分辨率圖像尺寸的比例，在所述虛擬圖像中識(shí)別用 于所述高分辨率宏塊的相應(yīng)的虛擬基礎(chǔ)層宏塊的裝置；-用于基于相應(yīng)的低分辨率宏塊對(duì)的場(chǎng)/幀模式，以及基于所述高 分辨率宏塊的幀/場(chǎng)模式，從與所述相應(yīng)的低分辨率宏塊對(duì)的至少一個(gè) 宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出用于每個(gè)識(shí)別的虛擬基礎(chǔ)層宏塊的運(yùn)動(dòng) 數(shù)據(jù)的裝置；以及-用于對(duì)與所述相應(yīng)的虛擬基礎(chǔ)層宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行重 采樣，以產(chǎn)生所述至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)值的裝置。
5. 如權(quán)利要求4所述的設(shè)備，其中，所述第一編碼裝置是MPEG-4 AVC視頻編碼器。
6. —種解碼設(shè)備(9)，用于至少對(duì)編碼的高分辨率圖像序列進(jìn)行 解碼，所述編碼的圖像以數(shù)據(jù)流的形式出現(xiàn)，每個(gè)圖像被分為非交疊 的宏塊，所述設(shè)備包括-第一解碼裝置(91)，用于至少對(duì)所述數(shù)據(jù)流的第一部分進(jìn)行解 碼，以產(chǎn)生低分辨率圖像和用于所述低分辨率圖像的宏塊的運(yùn)動(dòng)數(shù)據(jù);-繼承裝置(82)，用于從低分辨率圖像的宏塊的運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出 用于至少一個(gè)高分辨率圖像的宏塊的運(yùn)動(dòng)數(shù)據(jù)；以及-第二解碼裝置(92)，用于使用所述導(dǎo)出的運(yùn)動(dòng)數(shù)據(jù)至少對(duì)所述 數(shù)據(jù)流的第二部分進(jìn)行解碼，以產(chǎn)生高分辨率圖像；其特征在于，所述繼承裝置(82)包括-用于定義由非交疊宏塊組成的虛擬結(jié)構(gòu)的裝置，所述非交疊宏塊 被稱為虛擬基礎(chǔ)層宏塊，所述虛擬結(jié)構(gòu)具有與所述低分辨率圖像相同 的尺寸；-用于基于所述高分辨率宏塊在所述高分辨率圖像中的位置，以及 基于低分辨率和高分辨率圖像尺寸的比例，在所述虛擬圖像中識(shí)別用 于所述高分辨率宏塊的相應(yīng)的虛擬基礎(chǔ)層宏塊的裝置；-用于基于相應(yīng)的低分辨率宏塊對(duì)的場(chǎng)/幀模式，以及基于所述高 分辨率宏塊的幀/場(chǎng)模式，從與所述相應(yīng)的低分辨率宏塊對(duì)的至少一個(gè) 宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出用于每個(gè)識(shí)別的虛擬基礎(chǔ)層宏塊的運(yùn)動(dòng) 數(shù)據(jù)的裝置；以及-用于對(duì)與所述相應(yīng)的虛擬基礎(chǔ)層宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行重 采樣，以產(chǎn)生所述至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)值的裝置。
7.如權(quán)利要求6所述的設(shè)備，其中，所述第一解碼裝置是MPEG-4 AVC視頻解碼器。
全文摘要
本發(fā)明涉及一種方法，用于從與低分辨率圖像的宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)中，產(chǎn)生用于至少一個(gè)高分辨率圖像的宏塊的至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)值。所述方法包括以下步驟定義由非交疊宏塊組成的虛擬結(jié)構(gòu)，稱為虛擬基礎(chǔ)層宏塊；基于高分辨率宏塊在高分辨率圖像中的位置，以及基于低分辨率和高分辨率圖像尺寸的比例，在虛擬圖像中識(shí)別用于高分辨率宏塊的對(duì)應(yīng)的虛擬基礎(chǔ)層宏塊；基于對(duì)應(yīng)的低分辨率宏塊對(duì)的場(chǎng)/幀模式，以及基于高分辨率宏塊的幀/場(chǎng)模式，從與對(duì)應(yīng)的低分辨率宏塊對(duì)的至少一個(gè)宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)中導(dǎo)出用于每個(gè)識(shí)別的虛擬基礎(chǔ)層宏塊的運(yùn)動(dòng)數(shù)據(jù)；對(duì)與對(duì)應(yīng)的虛擬基礎(chǔ)層宏塊相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行重采樣，以產(chǎn)生至少一個(gè)運(yùn)動(dòng)預(yù)測(cè)值。
文檔編號(hào)H04N7/26GK101356820SQ200680050454
公開日2009年1月28日 申請(qǐng)日期2006年12月18日 優(yōu)先權(quán)日2006年1月5日
發(fā)明者帕特里克·洛佩茲, 文森特·博特羅, 熱羅姆·維耶龍, 愛(ài)德華·弗朗索瓦, 穎 陳 申請(qǐng)人:湯姆森許可貿(mào)易公司