專(zhuān)利名稱(chēng)：可縮放視頻編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼領(lǐng)域。更具體地，本發(fā)明涉及一種將基本層劃分成幀內(nèi)編碼
區(qū)域和幀間編碼區(qū)域、獨(dú)立地建立層間預(yù)測(cè)以及組合預(yù)測(cè)以給出用來(lái)對(duì)增強(qiáng)層宏塊進(jìn)行編 碼的相對(duì)預(yù)測(cè)的系統(tǒng)和方法。
背景技術(shù)：
這一節(jié)旨在于提供在權(quán)利要求書(shū)中記載的本發(fā)明的背景或者上下文。這里的描述 可以包括能夠探求的概念，但是并非必然是先前已經(jīng)構(gòu)思或者探求的概念。因此，除非這里 另有指明，在這一節(jié)中描述的內(nèi)容不是本申請(qǐng)中的說(shuō)明書(shū)和權(quán)利要求書(shū)的現(xiàn)有技術(shù)，也不 因?yàn)榘谶@一節(jié)中而被承認(rèn)是現(xiàn)有技術(shù)。 視頻編碼標(biāo)準(zhǔn)包括ITU-T H. 261、IS0/IEC MPEG-1 Visual、ITU_TH. 262或者ISO/ IEC MPEG-2 Visual、 ITU-T H. 263、 IS0/IEC MPEG-4Visual和ITU-T H. 264(也稱(chēng)為ISO/ IEC MPEG-4 AVC)。此外，關(guān)于新視頻編碼標(biāo)準(zhǔn)的開(kāi)發(fā)目前正在付之努力。在開(kāi)發(fā)中的一個(gè) 此類(lèi)標(biāo)準(zhǔn)是作為附錄G(先前為附錄F)而有望成為對(duì)H. 264/AVC標(biāo)準(zhǔn)的可縮放擴(kuò)展的可縮 放視頻編碼(SVC)標(biāo)準(zhǔn)。(也應(yīng)當(dāng)理解SVC可以最終出現(xiàn)在最后標(biāo)準(zhǔn)的不同附錄中。)另 一此類(lèi)的努力涉及到開(kāi)發(fā)中國(guó)視頻編碼標(biāo)準(zhǔn)。 附錄G引入包括如下情況的稱(chēng)為擴(kuò)展的空間可縮放性的特征，在這些情況中沒(méi)有 維持基本層宏塊和增強(qiáng)宏塊的邊緣對(duì)準(zhǔn)?？绮煌瑢拥膶?duì)準(zhǔn)的宏塊邊緣的空間縮放比l或者 2被認(rèn)為是空間可縮放性的一種特殊情況。 如這里所用的那樣，術(shù)語(yǔ)"增強(qiáng)層"是指與一些較低質(zhì)量的重建相比進(jìn)行不同編碼 的層。增強(qiáng)層的目的在于當(dāng)添加到較低質(zhì)量的重建時(shí)，信號(hào)質(zhì)量應(yīng)當(dāng)提高或者"增強(qiáng)"。另 外，術(shù)語(yǔ)"基本層"既適用于使用現(xiàn)有視頻編碼算法而編碼的非可縮放基本層也適用于相對(duì) 于其對(duì)后續(xù)增強(qiáng)層進(jìn)行編碼的重建增強(qiáng)層。 在SVC中，可以在多層中對(duì)視頻序列進(jìn)行編碼，而各層是按某一空間分辨率或者 時(shí)間分辨率或者按某一質(zhì)量級(jí)或者三者的某種組合對(duì)視頻序列的一個(gè)表示?？梢园搭A(yù)期空 間分辨率、時(shí)間分辨率、某一質(zhì)量級(jí)或者這些分辨率的某種組合對(duì)可縮放視頻位流的一部 分進(jìn)行提取和解碼。可縮放視頻位流包含不可縮放基本層和一個(gè)或者多個(gè)增強(qiáng)層。
在SVC編碼中，由于編解碼器是基于層方式以實(shí)現(xiàn)空間可縮放性，所以編碼器提 供為各空間層生成較低分辨率的信號(hào)的下采樣濾波器級(jí)。在它的基礎(chǔ)版本中，下采樣比等 于2(基本層分辨率是它的空間增強(qiáng)層的空間分辨率的一半)。擴(kuò)展的空間可縮放性(ESS) 通過(guò)用不同于1或者2的下采樣比使基本層成為它的增強(qiáng)層的修剪版本、由此實(shí)現(xiàn)相繼空 間層之間的廣義關(guān)系來(lái)概括這一概念。較低空間層的畫(huà)面可以代表較高分辨率的畫(huà)面的修 剪區(qū)域，而在相繼空間層之間的關(guān)系無(wú)需為二元的(dyadic)。限定修剪窗口的幾何參數(shù)以 及下采樣比可以在序列級(jí)加以限定或者在畫(huà)面級(jí)演變。 ESS可能造成如下情形，在該情形中，在上采樣過(guò)程之后沒(méi)有維持基本層宏塊 (MB)和增強(qiáng)層MB的邊緣對(duì)準(zhǔn)。當(dāng)用采樣比1或者2執(zhí)行空間縮放并且跨不同層對(duì)準(zhǔn)MB邊緣時(shí)，視之為空間可縮放性的一種特殊情況。 例如，當(dāng)利用二元分辨率縮放(S卩，按2的冪縮放分辨率)時(shí)，可以維持MB的邊緣 對(duì)準(zhǔn)。在圖1中圖示了這一例子，其中半分辨率的幀(即，基本層幀100)與上采樣的全分辨 率版本(即，增強(qiáng)層幀104)關(guān)聯(lián)。示出了包括基本層幀100的至少一部分的MB 102。"維 持"在基本層幀100中所見(jiàn)的MB 102的邊界，從而即使在進(jìn)行上采樣以給出增強(qiáng)層104之 后，邊界仍然準(zhǔn)確地包圍四個(gè)全分辨率MB，g卩，MB 106、 MB 108、 MB 110和MB 112。換而言 之，四個(gè)增強(qiáng)層MB 106、108、110和112的邊緣準(zhǔn)確地對(duì)應(yīng)于MB 102的上采樣邊界。重要的 是，覆蓋各增強(qiáng)層MB( S卩，MB 106、MB 108、MB IIO禾PMB 112)的僅有基本層MB是MB 102。 因此，其他基本層MB對(duì)于為MB 106、 MB 108、 MB 110和MB 112形成預(yù)測(cè)不是必需的。
圖2圖示了縮放因子為1. 5的非二元可縮放性場(chǎng)景。在這一場(chǎng)景中，基本層200 的基本層MB( S卩，MB 202和MB 204)在較高分辨率的增強(qiáng)層206中所示將從16X 16上采樣 成24X24。示出了 (由虛線(xiàn)勾勒的)增強(qiáng)層MB 208將由兩個(gè)不同上采樣MB( S卩，MB 202 和MB 204)覆蓋。因此，需要兩個(gè)基本層MB( S卩，MB 202和MB 204)以便為增強(qiáng)層MB 208 形成預(yù)測(cè)。應(yīng)當(dāng)注意，視縮放因子而定，單個(gè)增強(qiáng)層MB可以由多達(dá)四個(gè)基本層MB覆蓋。在 H. 264/AVC標(biāo)準(zhǔn)的附錄G的當(dāng)前草案中，即使可能需要數(shù)個(gè)基本層宏塊以形成預(yù)測(cè)，仍然可 以相對(duì)于基本層對(duì)增強(qiáng)層宏塊進(jìn)行編碼。 在附錄G的當(dāng)前草案中，有可能的是即使可能需要數(shù)個(gè)基本層MB以形成預(yù)測(cè)，仍 然相對(duì)于關(guān)聯(lián)的基本層幀對(duì)增強(qiáng)層MB進(jìn)行編碼。由于編碼效率與預(yù)測(cè)準(zhǔn)確率密切相關(guān)，所 以希望形成增強(qiáng)層MB的準(zhǔn)確預(yù)測(cè)以提高編碼效率。

發(fā)明內(nèi)容
本發(fā)明的各種實(shí)施例包括一種用于在增強(qiáng)層宏塊由至少一個(gè)幀內(nèi)編碼基本層宏 塊和至少一個(gè)幀間編碼基本層宏塊覆蓋時(shí)，預(yù)測(cè)增強(qiáng)層宏塊的系統(tǒng)和方法。在本發(fā)明的一 個(gè)實(shí)施例中，基本層幀劃分成幀內(nèi)編碼區(qū)域和幀間編碼區(qū)域，此后獨(dú)立地建立預(yù)測(cè)，然后組 合預(yù)測(cè)以給出用來(lái)在可縮放位流中對(duì)增強(qiáng)層塊進(jìn)行編碼的預(yù)測(cè)。在本發(fā)明的一個(gè)可選實(shí)施 例中，解碼器對(duì)包括增強(qiáng)層宏塊的可縮放位流進(jìn)行解碼，其中增強(qiáng)層宏塊包括根據(jù)幀內(nèi)編 碼基本層宏塊和幀間編碼基本層宏塊導(dǎo)出的獨(dú)立建立的預(yù)測(cè)。在本發(fā)明的又一實(shí)施例中， 根據(jù)虛擬基本層宏塊創(chuàng)建用于增強(qiáng)層宏塊的預(yù)測(cè)值。執(zhí)行進(jìn)一步檢驗(yàn)以查看可能已經(jīng)用來(lái) 導(dǎo)出虛擬基本層宏塊的任何幀內(nèi)編碼基本層宏塊是否覆蓋增強(qiáng)層宏塊的至少一部分。如果 存在幀內(nèi)編碼基本層宏塊，則來(lái)自幀內(nèi)編碼基本層宏塊的重建和上采樣值用來(lái)替換針對(duì)增 強(qiáng)層宏塊由幀內(nèi)編碼基本層宏塊覆蓋的部分的虛擬基本層宏塊預(yù)測(cè)。 通過(guò)允許通過(guò)增強(qiáng)層宏塊的兩個(gè)不同部分的關(guān)聯(lián)的幀內(nèi)編碼基本層宏塊和幀間 編碼基本層宏塊來(lái)預(yù)測(cè)該兩個(gè)不同部分，可以獲得更準(zhǔn)確預(yù)測(cè)。此外，還提高編碼效率。
各種實(shí)施例也提供一種進(jìn)一步提高針對(duì)ESS視頻編碼的預(yù)測(cè)效率的系統(tǒng)和方法， 從而提高視覺(jué)質(zhì)量和編碼效率。當(dāng)將虛擬基本層宏塊劃分成幀內(nèi)編碼區(qū)域和幀間編碼區(qū)域 時(shí)，獨(dú)立地建立預(yù)測(cè)，并且組合預(yù)測(cè)以給出當(dāng)前增強(qiáng)層宏塊的預(yù)測(cè)。在這一情況下，在當(dāng)前 增強(qiáng)層宏塊的預(yù)測(cè)中，在幀內(nèi)編碼區(qū)域與幀間編碼區(qū)域之間可能存在清晰邊界(或者像素 值的不連續(xù))。這樣的邊界可能不僅影響編碼視頻的視覺(jué)質(zhì)量，而且由于邊界(即圖像邊緣 區(qū)域) 一般包含對(duì)于壓縮而言欠友好的更多高頻成分的事實(shí)而不利于編碼效率。在本發(fā)明
6的各種實(shí)施例中，提供用于平滑邊界效應(yīng)的方法。在一個(gè)實(shí)施例中，跨幀內(nèi)編碼區(qū)域與幀間 編碼區(qū)域之間的邊界執(zhí)行濾波操作。 在另一實(shí)施例中，對(duì)于由來(lái)自基本層的幀內(nèi)MB和幀間MB覆蓋的增強(qiáng)層宏塊，先將 整個(gè)宏塊視為僅由來(lái)自基本層的幀間MB覆蓋，并且可以相應(yīng)地獲得第一層間預(yù)測(cè)。對(duì)于幀 內(nèi)編碼區(qū)域，然后可以使用來(lái)自基本層的重建和上采樣幀內(nèi)MB來(lái)導(dǎo)出第二預(yù)測(cè)。然后在第 一預(yù)測(cè)與第二預(yù)測(cè)之間在幀內(nèi)編碼區(qū)域中執(zhí)行混合(blending)操作，從而可以平滑在幀 內(nèi)編碼區(qū)域與幀間編碼區(qū)域之間的邊界效應(yīng)。在又一實(shí)施例中，將幀內(nèi)編碼區(qū)域的邊界舍 入(round)成最近編碼塊(例如4X4i央)邊界。然后單獨(dú)地為幀內(nèi)編碼區(qū)域和幀間編碼 區(qū)域獲得層間預(yù)測(cè)。在這一情況下，由于事實(shí)上在幀內(nèi)編碼區(qū)域與幀間編碼區(qū)域之間的邊 界與編碼塊邊界對(duì)準(zhǔn)，所以可以通過(guò)對(duì)各編碼塊邊界執(zhí)行的環(huán)路濾波操作來(lái)平滑掉邊界效 應(yīng)。 本發(fā)明的這些和其他優(yōu)點(diǎn)及特征及其操作的組織和方式將從結(jié)合附圖進(jìn)行的以 下具體描述中變得清楚，在附圖中相似元件在下文描述的若干附圖中通篇地具有相似標(biāo)號(hào)。


圖1是能夠在本發(fā)明的各種實(shí)施例中執(zhí)行的二元分辨率縮放的示意圖； 圖2是能夠在本發(fā)明的各種實(shí)施例中執(zhí)行的非二元分辨率的示意圖； 圖3是本發(fā)明可以實(shí)施于其中的系統(tǒng)的概況圖； 圖4是可以在本發(fā)明的實(shí)施中使用的移動(dòng)設(shè)備的透視圖； 圖5是圖4的移動(dòng)設(shè)備的電路的示意圖； 圖6是示出了在常規(guī)上采樣與本發(fā)明的各種實(shí)施例利用的殘差預(yù)測(cè)之間的區(qū)別 的示意圖；以及 圖7是示出了具有幀內(nèi)編碼區(qū)域和幀間編碼區(qū)域二者的示例增強(qiáng)層宏塊的表示 圖。
具體實(shí)施例方式
根據(jù)本發(fā)明，當(dāng)增強(qiáng)層MB由至少包括幀內(nèi)編碼MB和幀間編碼MB的多個(gè)基本層MB 覆蓋時(shí)，增強(qiáng)層MB由來(lái)自基本層幀的幀內(nèi)編碼MB覆蓋的區(qū)域使用重建和上采樣的基本層 幀用于預(yù)測(cè)。此外，殘差預(yù)測(cè)(下文描述)用來(lái)為增強(qiáng)層MB的由來(lái)自基本層幀的幀間編碼 MB覆蓋的剩余區(qū)域形成預(yù)測(cè)。應(yīng)當(dāng)注意術(shù)語(yǔ)MB是指由所選宏塊模式指定的塊數(shù)目并且該 數(shù)目可以是一或者更多。 圖3示出了用于與本發(fā)明一起使用的通用多媒體通信系統(tǒng)。如圖3中所示，數(shù)據(jù)源 300在模擬、未壓縮數(shù)字或者壓縮數(shù)字格式或者這些格式的任何組合中提供源信號(hào)。編碼 器310將源信號(hào)編碼成編碼的媒體位流。編碼器310可以能夠?qū)Χ鄠€(gè)媒體類(lèi)型如音頻和視 頻進(jìn)行編碼，或者可能需要多個(gè)編碼器310以對(duì)不同媒體類(lèi)型的源信號(hào)進(jìn)行編碼。編碼器 310也可以獲得合成產(chǎn)生的輸入如圖形和文字，或者它可以能夠產(chǎn)生合成媒體的編碼位流。 在下文中僅考慮一個(gè)媒體類(lèi)型的一個(gè)編碼的媒體位流的處理以簡(jiǎn)化描述。然而，應(yīng)當(dāng)注意， 實(shí)時(shí)廣播服務(wù)通常包括數(shù)個(gè)流(通常為至少一個(gè)音頻、視頻和文字字幕流)。也應(yīng)當(dāng)注意，
7該系統(tǒng)可以包括多個(gè)編碼器，但是在下文中考慮僅一個(gè)編碼器310以簡(jiǎn)化描述而不失一般 性。 編碼的媒體位流傳送到儲(chǔ)存器320。儲(chǔ)存器320可以包括用以存儲(chǔ)編碼的媒體 位流的任何類(lèi)型的海量存儲(chǔ)器。儲(chǔ)存器320中的編碼的媒體位流的格式可以是初等獨(dú)立 (self-contained)位流格式，或者一個(gè)或者多個(gè)編碼的媒體位流可以封裝到容器文件中。 一些系統(tǒng)"實(shí)況"操作，即省略?xún)?chǔ)存器并且將編碼的媒體位流從編碼器310直接地傳送到發(fā) 送器330。編碼的媒體位流然后按需傳送到也稱(chēng)為服務(wù)器的發(fā)送器330。在發(fā)送中使用的 格式可以是初等獨(dú)立位流格式、分組流格式，或者一個(gè)或者多個(gè)編碼的媒體位流可以封裝 到容器文件中。編碼器310、儲(chǔ)存器320和發(fā)送器330可以駐留于同一物理設(shè)備中或者它們 可以包含于單獨(dú)設(shè)備中。編碼器310和發(fā)送器330可以操作實(shí)況實(shí)時(shí)內(nèi)容，在該情況下，編 碼的媒體位流通常不是持久存儲(chǔ)的而是在內(nèi)容編碼器310中和/或在發(fā)送器330中緩存短 暫時(shí)間段，以平滑掉處理延遲、傳送延遲和編碼媒體位速率的變化。 發(fā)送器330使用通信協(xié)議棧來(lái)發(fā)送編碼的媒體位流。該?？梢园ǖ幌抻趯?shí)時(shí) 傳送協(xié)議(RTP)、用戶(hù)數(shù)據(jù)報(bào)協(xié)議(UDP)和網(wǎng)際協(xié)議(IP)。當(dāng)通信協(xié)議棧面向分組時(shí)，發(fā)送 器330將編碼的媒體位流封裝成分組。例如，當(dāng)使用RTP時(shí)，發(fā)送器330根據(jù)RTP凈荷格式 將編碼的媒體位流封裝成RTP分組。通常，各媒體類(lèi)型具有專(zhuān)用RTP凈荷格式。同樣應(yīng)當(dāng) 注意，系統(tǒng)可以包含多個(gè)發(fā)送器330，但是為求簡(jiǎn)明，以下描述僅考慮一個(gè)發(fā)送器330。
發(fā)送器330可以或者可以不通過(guò)通信網(wǎng)絡(luò)連接到網(wǎng)關(guān)340。網(wǎng)關(guān)340可以執(zhí)行不 同類(lèi)型的功能，比如根據(jù)一個(gè)通信協(xié)議棧的分組流向另一通信協(xié)議棧的轉(zhuǎn)譯、數(shù)據(jù)流的合 并和拆分以及根據(jù)下行鏈路和/或接收器能力的數(shù)據(jù)流操控(比如根據(jù)主導(dǎo)的下行鏈路網(wǎng) 絡(luò)條件來(lái)控制轉(zhuǎn)發(fā)的流的位速率)。網(wǎng)關(guān)340的例子包括多點(diǎn)會(huì)議控制單元(MCU)、在電 路交換與分組交換視頻電話(huà)之間的網(wǎng)關(guān)、蜂窩一鍵通(PoC)服務(wù)器、數(shù)字視頻廣播-手持 (DVB-H)系統(tǒng)中的IP封裝器或者將廣播發(fā)送本地轉(zhuǎn)發(fā)到歸屬無(wú)線(xiàn)網(wǎng)絡(luò)的機(jī)頂盒。當(dāng)使用 RTP時(shí)，網(wǎng)關(guān)340稱(chēng)為RTP混合器并且充當(dāng)RTP連接的端點(diǎn)。 該系統(tǒng)包括通常能夠接收、解調(diào)發(fā)送的信號(hào)并且將該信號(hào)解封裝成編碼的媒體位 流的一個(gè)或者多個(gè)接收器350。編碼的媒體位流通常由解碼器360進(jìn)一步處理，該解碼器的 輸出是一個(gè)或者多個(gè)未壓縮媒體流。最后，表現(xiàn)器370可以例如用揚(yáng)聲器或者顯示器再現(xiàn) 未壓縮媒體流。接收器350、解碼器360和表現(xiàn)器370可以駐留于同一物理設(shè)備中或者它們 可以包含于單獨(dú)設(shè)備中。 應(yīng)當(dāng)理解，雖然這里包含的文字和例子可能具體地描述一種編碼過(guò)程，但是本領(lǐng) 域技術(shù)人員將容易理解，相同概念和原理也適用于對(duì)應(yīng)解碼過(guò)程并且反之亦然。應(yīng)當(dāng)注意， 可以從位于實(shí)質(zhì)上任何類(lèi)型的網(wǎng)絡(luò)內(nèi)的遠(yuǎn)程設(shè)備接收將要解碼的位流。此外，可以從本地 硬件或軟件接收位流。 就位速率、解碼復(fù)雜性和畫(huà)面尺寸而言的可縮放性對(duì)于異構(gòu)和易出錯(cuò)的環(huán)境而言 是合乎需要的性質(zhì)。希望具有這一性質(zhì)以便應(yīng)對(duì)如下限制，這些限制比如是對(duì)位速率、顯示 分辨率、網(wǎng)絡(luò)吞吐量和接收設(shè)備中的計(jì)算能力的約束。 本發(fā)明的通信設(shè)備可以使用各種傳輸技術(shù)來(lái)通信，包括但不限于碼分多址 (CDMA)、全球移動(dòng)通信系統(tǒng)(GSM)、通用移動(dòng)電信系統(tǒng)(UMTS)、時(shí)分多址(TDMA)、頻分多址 (FDMA)、傳輸控制協(xié)議/網(wǎng)際協(xié)議(TCP/IP)、短消息接發(fā)服務(wù)(SMS)、多媒體消息接發(fā)服務(wù)
8(匪S)、電子郵件、即時(shí)消息接發(fā)服務(wù)(IMS)、藍(lán)牙、IEEE802. 11等。通信設(shè)備可以使用包括 但不限于無(wú)線(xiàn)電、紅外線(xiàn)、激光、線(xiàn)纜連接等的各種介質(zhì)來(lái)通信。應(yīng)當(dāng)注意，可以使用任何常 用編程語(yǔ)言如C/C++或者匯編語(yǔ)言直接用軟件實(shí)施本發(fā)明的各種實(shí)施例。
圖4和圖5示出了本發(fā)明可以實(shí)施于其中的一個(gè)有代表性的移動(dòng)電話(huà)12。然而應(yīng) 當(dāng)理解，本發(fā)明并不限于一個(gè)特定類(lèi)型的移動(dòng)設(shè)備12或者其他電子設(shè)備。圖4和圖5中所 示一些或者所有特征可以并入圖3中所示系統(tǒng)中可以利用的任何或者所有設(shè)備中。
圖4和圖5的移動(dòng)電話(huà)12包括外殼30、液晶顯示器形式的顯示器32、小鍵盤(pán)34、 麥克風(fēng)36、耳機(jī)38、電池40、紅外線(xiàn)端口42、天線(xiàn)44、根據(jù)本發(fā)明一個(gè)實(shí)施例的UICC形式的 智能卡46、讀卡器48、無(wú)線(xiàn)電接口電路52、編解碼器電路54、控制器56和存儲(chǔ)器58。獨(dú)立 電路和元件都是在本領(lǐng)域中、例如在諾基亞移動(dòng)電話(huà)范圍中眾所周知的類(lèi)型。
如上文討論的那樣，根據(jù)H.264/AVC的附錄G的當(dāng)前草案，對(duì)來(lái)自基本層的幀內(nèi)編 碼MB完全地進(jìn)行解碼和重建，從而它們可以常規(guī)地加以上采樣并且用來(lái)直接地預(yù)測(cè)關(guān)聯(lián) 的增強(qiáng)層MB。然而，對(duì)于層間預(yù)測(cè)，沒(méi)有對(duì)來(lái)自基本層的幀間編碼MB完全地進(jìn)行解碼和重 建。代之以?xún)H對(duì)各基本層幀間編碼MB的預(yù)測(cè)殘差進(jìn)行解碼，并且該預(yù)測(cè)殘差可以用來(lái)預(yù)測(cè) 增強(qiáng)層預(yù)測(cè)殘差。對(duì)基本層幀間編碼MB沒(méi)有進(jìn)行運(yùn)動(dòng)補(bǔ)償以預(yù)測(cè)增強(qiáng)層。這一過(guò)程成為 "殘差預(yù)測(cè)"。對(duì)于幀間編碼MB，基本層運(yùn)動(dòng)矢量也被上采樣并且用來(lái)預(yù)測(cè)增強(qiáng)層運(yùn)動(dòng)矢量。
在圖6中圖示了在常規(guī)上采樣與殘差預(yù)測(cè)之間的區(qū)別。各增強(qiáng)層MB( S卩，MB E、MB F、MB G和MB H)分別具有僅一個(gè)基本層MB (即MB A、MB B、MB C和MB D)。假設(shè)基本層MB D是幀內(nèi)編碼的，增強(qiáng)層MB H可以采用MB D的完全重建和上采樣版本作為預(yù)測(cè)，并且它被 編碼為在記作O(H)的原始MB H與根據(jù)基本層MB D的預(yù)測(cè)之間的殘差。使用"U"表明上 采樣功能而"R"表明解碼和重建功能，可以用O(H)-U(R(D))代表殘差。
對(duì)照而言，假設(shè)MB C是幀間編碼的。如果相對(duì)于用PAC代表的根據(jù)A的預(yù)測(cè)對(duì) MB C進(jìn)行編碼，則根據(jù)殘差預(yù)測(cè)，用P^代表基于E對(duì)G的預(yù)測(cè)。因此，MB G可以編碼為 0(G)-PE<rU(0(C)-PAC)。這里，U(O(C)-PJ簡(jiǎn)單地是根據(jù)從位流解碼的MB C的上采樣殘差。 應(yīng)當(dāng)注意，減法器(圖3中未示出)可以通過(guò)從輸入信號(hào)路徑上的輸入MB減去預(yù)測(cè)信號(hào)路 徑上的預(yù)測(cè)MB來(lái)生成殘差信號(hào)或者殘差MB。 這一編碼結(jié)構(gòu)補(bǔ)充單環(huán)解碼，S卩，希望無(wú)論將要解碼哪一層都僅針對(duì)一層執(zhí)行復(fù) 雜的運(yùn)動(dòng)補(bǔ)償運(yùn)算。換而言之，為了針對(duì)增強(qiáng)層形成層間預(yù)測(cè)，無(wú)需在關(guān)聯(lián)的基本層進(jìn)行運(yùn) 動(dòng)補(bǔ)償。這意味著沒(méi)有完全地重建基本層中的幀間編碼MB，因此對(duì)于層間預(yù)測(cè)沒(méi)有完全重 建的值可用。再次參照?qǐng)D6，R(C)在對(duì)G進(jìn)行解碼時(shí)不可用。因此，編碼O(G)-U(R(C))不 是一種選擇。 在實(shí)踐中，可以用自適應(yīng)方式執(zhí)行上文提到的殘差預(yù)測(cè)。當(dāng)基本層殘差無(wú)助于對(duì) 某一MB進(jìn)行解碼時(shí)，可以用傳統(tǒng)方式進(jìn)行預(yù)測(cè)。以圖6中的MB G為例，不使用基本層殘差， 可以將MB G編碼為0(G)-P『在這一情況下，上采樣的基本層運(yùn)動(dòng)矢量仍然可以用來(lái)預(yù)測(cè) 增強(qiáng)層運(yùn)動(dòng)矢量。在以下描述中，術(shù)語(yǔ)殘差預(yù)測(cè)是指這一自適應(yīng)方式。
如上文討論的那樣，對(duì)于擴(kuò)展的空間可縮放性(ESS)，單個(gè)增強(qiáng)層MB可以由多達(dá) 四個(gè)基本層MB覆蓋。此外，并非所有基本層MB必然是同一類(lèi)型。例如，回到圖2，MB 202可 以是幀間預(yù)測(cè)的(即，"幀間編碼MB")而MB 204可以是幀內(nèi)預(yù)測(cè)的(即，"幀內(nèi)編碼MB")。 在這一例子中，層間預(yù)測(cè)實(shí)現(xiàn)如下在H. 264/AVC視頻編碼標(biāo)準(zhǔn)的附錄G的當(dāng)前草案中，當(dāng)增強(qiáng)層MB與基本層MB沒(méi)有邊緣對(duì)準(zhǔn)時(shí)，對(duì)于各增強(qiáng)層MB，基于覆蓋增強(qiáng)層MB的基本層MB 來(lái)導(dǎo)出虛擬基本層MB。虛擬基本層MB的類(lèi)型、MB模式和運(yùn)動(dòng)矢量都基于覆蓋當(dāng)前增強(qiáng)層 MB的基本層MB來(lái)確定。根據(jù)上述過(guò)程，基于虛擬基本層MB為當(dāng)前增強(qiáng)層MB形成層間預(yù) 測(cè)，就如同虛擬基本層MB是用于當(dāng)前增強(qiáng)層MB的僅有基本層MB。 應(yīng)當(dāng)注意，在這一情況下，如何形成虛擬基本層MB(即，確定它的類(lèi)型、模式、運(yùn)動(dòng) 矢量等)可能極大地影響為給定的增強(qiáng)層MB而形成的層間預(yù)測(cè)的質(zhì)量。結(jié)果，虛擬基本層 MB的形成也影響編碼效率。 根據(jù)H. 264/AVC視頻編碼標(biāo)準(zhǔn)的附錄G的當(dāng)前草案，假設(shè)覆蓋給定增強(qiáng)層MB的至 少一個(gè)基本層MB是幀間編碼的，將指定虛擬基本層MB類(lèi)型為幀間編碼。在這一情況下，在 形成層間預(yù)測(cè)時(shí)僅執(zhí)行殘差預(yù)測(cè)。當(dāng)覆蓋給定增強(qiáng)層MB的所有基本層MB是幀內(nèi)編碼時(shí)， 將虛擬基本層MB的類(lèi)型指定為幀內(nèi)編碼。 這一方式的實(shí)際結(jié)果是一些幀內(nèi)編碼MB將被視為幀間編碼。在參照?qǐng)D2的上例 中，如果MB 202是幀間編碼MB而MB 204是幀內(nèi)編碼MB，則當(dāng)為MB 208形成預(yù)測(cè)時(shí)，MB 202 和MB 204 二者均將被視為幀間編碼MB。這一方式的基本問(wèn)題在于對(duì)于MB由基本層幀內(nèi) 編碼MB覆蓋的區(qū)域，忽略替代預(yù)測(cè)，S卩，重建的基本層的上采樣版本。在圖2的例子中，在 形成MB 208的預(yù)測(cè)時(shí)即使MB 204的上采樣版本可用也仍然將忽略它。
同時(shí)，由于MB 204沒(méi)有運(yùn)動(dòng)矢量，所以必須為MB 208的由MB204覆蓋的區(qū)域?qū)С?運(yùn)動(dòng)矢量，然后獲得針對(duì)該區(qū)域的殘差預(yù)測(cè)。這樣的運(yùn)動(dòng)矢量的導(dǎo)出是基于MB 204在基本 層200的鄰近運(yùn)動(dòng)矢量。問(wèn)題在于如果MB 204是幀內(nèi)編碼的，則這樣的導(dǎo)出運(yùn)動(dòng)矢量常 常沒(méi)有很好地適合于MB 204。因此，當(dāng)使用這樣的運(yùn)動(dòng)矢量時(shí)，為增強(qiáng)層206形成的預(yù)測(cè)也 是質(zhì)量欠佳。 由于根據(jù)幀內(nèi)編碼基本層MB的重建和上采樣值有可能是比對(duì)應(yīng)殘差預(yù)測(cè)更好的
預(yù)測(cè)，所以排除上采樣基本層在統(tǒng)計(jì)上惡化增強(qiáng)層的預(yù)測(cè)，這導(dǎo)致編碼效率下降。 為了在增強(qiáng)層MB和基本層MB沒(méi)有邊緣對(duì)準(zhǔn)時(shí)為增強(qiáng)層MB形成層間預(yù)測(cè)，可以利
用的一種更準(zhǔn)確方法是執(zhí)行基于像素的預(yù)測(cè)。具體而言，增強(qiáng)層MB中的各像素具有來(lái)自基
本層的覆蓋它的一個(gè)MB。如果基本層MB是幀內(nèi)編碼MB，則當(dāng)前像素的預(yù)測(cè)是來(lái)自基本層
的對(duì)應(yīng)重建和上采樣像素值。如果基本層MB是幀間編碼MB，則MB的覆蓋給定像素的運(yùn)動(dòng)
矢量被認(rèn)為是用于該給定像素的基本層運(yùn)動(dòng)矢量，并且可以執(zhí)行殘差預(yù)測(cè)以獲得用于該給
定像素的預(yù)測(cè)值。然而，此類(lèi)方法的問(wèn)題在于它具有高的復(fù)雜度，因此并不實(shí)用。 如上文說(shuō)明的那樣，在H. 264/AVC視頻編碼標(biāo)準(zhǔn)的附錄G的當(dāng)前草案中，當(dāng)增強(qiáng)層
MB和基本層MB沒(méi)有邊緣對(duì)準(zhǔn)時(shí)，基于覆蓋增強(qiáng)層MB的基本層MB來(lái)導(dǎo)出虛擬基本層MB。虛
擬基本層MB的類(lèi)型、MB模式和運(yùn)動(dòng)矢量全部基于這些基本層MB來(lái)確定。然后，可以基于
虛擬基本層MB為增強(qiáng)層MB獲得預(yù)測(cè)。 具有此類(lèi)虛擬基本層MB的一個(gè)動(dòng)機(jī)在于能夠使用基于一些限定MB模式的標(biāo)準(zhǔn)運(yùn) 動(dòng)補(bǔ)償過(guò)程。MB模式指定如何將MB進(jìn)一步劃分成其大小范圍從16X 16降至4X4像素的 塊。各塊中的像素共享共有運(yùn)動(dòng)矢量。由于虛擬基本層MB的定義與常規(guī)MB沒(méi)有不同，所 以標(biāo)準(zhǔn)運(yùn)動(dòng)補(bǔ)償過(guò)程可以應(yīng)用于獲得預(yù)測(cè)。這樣的方法具有相對(duì)低的復(fù)雜度。然而，它由 于各塊中的像素必須共享共有運(yùn)動(dòng)矢量的事實(shí)而沒(méi)有基于像素的預(yù)測(cè)那么準(zhǔn)確。更重要的 是，它推斷虛擬基本層MB內(nèi)的像素必須共享同一預(yù)測(cè)類(lèi)型，S卩，全部是幀間預(yù)測(cè)或者全部
10是幀內(nèi)預(yù)測(cè)。 根據(jù)本發(fā)明的各種實(shí)施例，仍然維持虛擬基本層MB的概念。因此，預(yù)測(cè)是基于如 下虛擬基本層MB，其用于增強(qiáng)層MB的由來(lái)自基本層的幀間編碼MB覆蓋的區(qū)域。對(duì)于增強(qiáng) 層MB的由來(lái)自基本層的幀內(nèi)編碼MB覆蓋的區(qū)域，該預(yù)測(cè)是基于來(lái)自基本層的對(duì)應(yīng)重建和 上采樣值。 回到圖2，假定MB 202是幀間編碼的，MB 204是幀內(nèi)編碼的，而MB 208由MB 202
和MB 204 二者覆蓋。根據(jù)本發(fā)明的各種實(shí)施例，用幀間編碼MB類(lèi)型形成虛擬基本層MB。 然后執(zhí)行殘差預(yù)測(cè)以獲得如上所述預(yù)測(cè)。然而，由于MB 208的右部分由來(lái)自基本層200的 幀內(nèi)編碼MB 204覆蓋，所以根據(jù)本發(fā)明的各種實(shí)施例，用于MB 208的這一部分的預(yù)測(cè)值是 來(lái)自MB 204的對(duì)應(yīng)重建和上采樣值。 因此在實(shí)踐中，可以先基于導(dǎo)出的虛擬基本層MB執(zhí)行常規(guī)預(yù)測(cè)。然后，執(zhí)行進(jìn)一 步檢驗(yàn)以查看給定增強(qiáng)層MB的任何一個(gè)或者多個(gè)區(qū)域是否由來(lái)自基本層的幀內(nèi)編碼MB覆 蓋。如果存在任何這樣的一個(gè)或者多個(gè)區(qū)域，則用來(lái)自基本層的對(duì)應(yīng)重建和上采樣值取代 區(qū)域中的預(yù)測(cè)值。然后使用這一修改的預(yù)測(cè)作為針對(duì)給定增強(qiáng)層MB的預(yù)測(cè)。
應(yīng)當(dāng)注意在實(shí)踐中，本發(fā)明的替代實(shí)施例是可能的。參照上例，可以針對(duì)MB 208 的左部分而不是針對(duì)整個(gè)MB 208實(shí)現(xiàn)基于虛擬基本層MB的第一預(yù)測(cè)。在這一情況下，省 略針對(duì)MB 208的右部分的運(yùn)動(dòng)補(bǔ)償。以這一方式實(shí)施本發(fā)明的一個(gè)實(shí)施例可以節(jié)省計(jì)算 復(fù)雜度。 本發(fā)明的一個(gè)特定實(shí)施例涉及到使用濾波操作以減輕在幀內(nèi)編碼區(qū)域與幀間編 碼區(qū)域之間的任何邊界效應(yīng)。 為了減輕任何這樣的邊界效應(yīng)，沿著與邊界垂直的方向在邊界周?chē)鷪?zhí)行濾波操 作。具體而言，使用低通濾波器，并且在邊界的各側(cè)上的多個(gè)像素位置處執(zhí)行操作。在圖 7中示出這個(gè)過(guò)程的例子。如這一附圖中所示，水平地定位并且用虛線(xiàn)來(lái)表示在"幀內(nèi)區(qū) 域"610與"幀間區(qū)域"620之間的邊界600。在這一情況下，在邊緣附近的像素位置沿著豎 直方向執(zhí)行低通濾波。例如，如果數(shù)目選擇為2，則在與邊界600的距離在兩個(gè)像素內(nèi)的各 像素位置，沿著與邊界600垂直的方向執(zhí)行低通濾波操作。濾波器可以包括一維或者二維 濾波器。只要濾波操作具備跨邊界的低通濾波特征，就可以平滑邊界600。此類(lèi)濾波器的一 個(gè)例子是具有三個(gè)濾波器抽頭-{0. 25， 0. 50， 0. 25}-的一維FIR(有限沖激響應(yīng))濾波器。
給定沿著濾波方向的三個(gè)連續(xù)樣本In—p In和In+1，濾波操作可以表達(dá)為
I， n = f (In—p In， In+1) = 0. 25*1^+0. 5*In+0. 25*In+1
在這一表達(dá)式中，I' n是在濾波操作之后的樣本值。 應(yīng)當(dāng)注意，也可以針對(duì)上述濾波操作以自適應(yīng)方式執(zhí)行濾波器選擇。例如，可以根 據(jù)像素相對(duì)于邊界的位置來(lái)選擇不同濾波器。對(duì)于接近邊界的像素位置可以使用較短的濾 波器，而對(duì)于離邊界較遠(yuǎn)的像素位置可以使用相對(duì)較長(zhǎng)的濾波器。除此之外，也可以基于諸 如為幀間編碼區(qū)域?qū)С龅倪\(yùn)動(dòng)矢量、在幀內(nèi)編碼區(qū)域與幀間編碼區(qū)域之間的像素值梯度等 的其他因素選擇不同濾波器。 在本發(fā)明的另一實(shí)施例中，利用在為幀內(nèi)編碼區(qū)域610和幀間編碼區(qū)域620獲得 的預(yù)測(cè)之間的混合操作來(lái)平滑掉邊界效應(yīng)。根據(jù)這一實(shí)施例，先將整個(gè)宏塊視為僅由來(lái)自 基本層的幀間MB覆蓋，并且可以相應(yīng)地獲得第一層間預(yù)測(cè)P"對(duì)于幀內(nèi)編碼區(qū)域610，然
11后使用來(lái)自基本層的重建和上采樣幀內(nèi)MB來(lái)導(dǎo)出第二預(yù)測(cè)&。最后，在第一預(yù)測(cè)與第二預(yù) 測(cè)之間在幀內(nèi)編碼區(qū)域610中執(zhí)行混合操作?？梢詫⒒旌喜僮鹘忉尦杀磉_(dá)如下的加權(quán)平均 操作 P(i，j) = w(i， j)氺Pji， j) + (li(i， j))*P2(i， j) 在上述方程中，(i， j)代表像素在宏塊內(nèi)的位置坐標(biāo)。可以針對(duì)在不同位置的像 素，在混合操作中應(yīng)用不同加權(quán)因子。例如，對(duì)于在幀內(nèi)區(qū)域內(nèi)部、但是與在幀內(nèi)編碼區(qū)域 與幀間編碼區(qū)域620之間的邊界600接近的像素位置，可以使用相對(duì)高的加權(quán)因子w，從而 將混合結(jié)果朝向Pi加權(quán)更多。另一方面，對(duì)于在幀內(nèi)區(qū)域內(nèi)部、但是遠(yuǎn)離這一邊界600的像
素位置，可以使用低加權(quán)因子W，從而將混合結(jié)果朝向?yàn)閹瑑?nèi)編碼區(qū)域?qū)С龅腜2加權(quán)更多。
作為這一混合操作的結(jié)果，在幀內(nèi)編碼區(qū)域610與幀間編碼區(qū)域620之間的邊界600將被 展開(kāi)，從而有效地平滑邊界600。 在本發(fā)明的又一實(shí)施例中，將幀內(nèi)編碼區(qū)域610的邊界600舍入成最近編碼塊邊 界600(例如4X4塊)邊界600。然后單獨(dú)地為幀內(nèi)編碼區(qū)域610和幀間編碼區(qū)域620獲 得層間預(yù)測(cè)。在這一情況下，由于在幀內(nèi)編碼區(qū)域610與幀間編碼區(qū)域620之間的邊界600 與編碼塊邊界600對(duì)準(zhǔn)的事實(shí)，所以可以經(jīng)由對(duì)各編碼塊邊界執(zhí)行的環(huán)路濾波操作來(lái)平滑 掉邊界效應(yīng)。 以關(guān)于上述第二實(shí)施例描述的方式相似的方式，先將整個(gè)宏塊視為僅由來(lái)自基本 層的幀間MB覆蓋，并且可以相應(yīng)地獲得第一層間預(yù)測(cè)P^對(duì)于幀內(nèi)編碼區(qū)域610，然后可 以使用來(lái)自基本層的重建和上采樣幀內(nèi)MB來(lái)導(dǎo)出第二預(yù)測(cè)P2。 作為將幀內(nèi)編碼區(qū)域610舍入成最近編碼塊邊界600的操作結(jié)果，幀內(nèi)編碼區(qū)域 610根據(jù)編碼塊內(nèi)由幀內(nèi)編碼區(qū)域覆蓋的面積百分比可以收縮或者擴(kuò)展。例如，在舍入操 作之前，如果幀內(nèi)編碼區(qū)域610覆蓋編碼塊面積的多于50%，則擴(kuò)展該編碼塊內(nèi)的幀內(nèi)編 碼區(qū)域610，從而它覆蓋整個(gè)編碼塊。在這一情況下，針對(duì)編碼塊的層間預(yù)測(cè)來(lái)自P2的擴(kuò)展 版本。否則，將在該編碼塊內(nèi)收縮幀內(nèi)編碼區(qū)域610，從而在幀間編碼區(qū)域620中覆蓋整個(gè) 編碼塊。在這一情況下，針對(duì)編碼塊的層間預(yù)測(cè)來(lái)自Pp為了擴(kuò)展幀內(nèi)編碼區(qū)域610，可以 使用本領(lǐng)域中已知的各種外推方法。這些外推方法可以包括線(xiàn)性或者非線(xiàn)性方法。應(yīng)當(dāng)注 意，在確定幀內(nèi)編碼區(qū)域是應(yīng)當(dāng)收縮還是擴(kuò)展時(shí)，50%僅用作為例子。在實(shí)踐中，可以改變 這一百分比的值。例如，也可以使用值O。在這一情況下，只要幀內(nèi)編碼區(qū)域覆蓋某一編碼 塊，它將被擴(kuò)展以覆蓋整個(gè)編碼塊，并且將使用P2作為針對(duì)這一編碼塊的層間預(yù)測(cè)。
在方法步驟的一般背景下描述本發(fā)明，在一個(gè)實(shí)施例中可以通過(guò)程序產(chǎn)品來(lái)實(shí)施 這些方法步驟，該程序產(chǎn)品包括在聯(lián)網(wǎng)環(huán)境中由計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)可執(zhí)行指令如程序代 碼。 一般而言，程序模塊包括執(zhí)行特定任務(wù)或者實(shí)施特定抽象數(shù)據(jù)類(lèi)型的例程、程序、對(duì)象、 組件、數(shù)據(jù)結(jié)構(gòu)等。計(jì)算機(jī)可執(zhí)行指令、關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)和程序模塊代表用于執(zhí)行這里公開(kāi)的 方法步驟的程序代碼的例子。這樣的可執(zhí)行指令或者關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)的特定序列代表用于實(shí) 施在這樣的步驟中描述的功能的對(duì)應(yīng)動(dòng)作的例子。 可以用標(biāo)準(zhǔn)編程技術(shù)實(shí)現(xiàn)本發(fā)明的軟件和網(wǎng)絡(luò)實(shí)施，這些編程技術(shù)具有用以實(shí)現(xiàn) 各種數(shù)據(jù)庫(kù)搜索步驟、相關(guān)步驟、比較步驟和判決步驟的基于規(guī)則的邏輯和其他邏輯。也應(yīng) 當(dāng)注意，如這里和在權(quán)利要求書(shū)中使用的用語(yǔ)"模塊"旨在于涵蓋使用一行或者多行軟件代 碼的實(shí)施和/或硬件實(shí)施和/或用于接收人工輸入的設(shè)備。
已經(jīng)出于圖示和描述的目的而呈現(xiàn)本發(fā)明實(shí)施例的前文描述。本意并非窮舉本發(fā) 明或者將本發(fā)明限制于公開(kāi)的精確形式，并且修改和變化根據(jù)上述教導(dǎo)是可能的或者可以 從本發(fā)明的實(shí)踐中加以獲悉。選擇和描述實(shí)施例是為了說(shuō)明本發(fā)明的原理及其實(shí)際應(yīng)用以 使本領(lǐng)域技術(shù)人員能夠在各種實(shí)施例中以及通過(guò)與構(gòu)思的特定用途相適應(yīng)的各種修改來(lái) 利用本發(fā)明。
權(quán)利要求
一種對(duì)代表可縮放位流內(nèi)視頻幀的至少一部分的增強(qiáng)層宏塊進(jìn)行編碼的方法，所述方法包括通過(guò)根據(jù)第一組基本層宏塊執(zhí)行殘差預(yù)測(cè)，為所述增強(qiáng)層宏塊的第一部分形成第一預(yù)測(cè)值；通過(guò)根據(jù)第二組基本層宏塊導(dǎo)出重建和上采樣值，為所述增強(qiáng)層宏塊的第二部分形成第二預(yù)測(cè)值；以及利用所述第一預(yù)測(cè)值和第二預(yù)測(cè)值的組合對(duì)所述增強(qiáng)層宏塊進(jìn)行編碼。
2. 根據(jù)權(quán)利要求1所述的方法，其中至少所述第一組基本層宏塊覆蓋所述增強(qiáng)層宏塊 的所述第一部分，而至少所述第二組基本層宏塊覆蓋所述增強(qiáng)層宏塊的所述第二部分。
3. 根據(jù)權(quán)利要求1所述的方法，其中所述第一組基本層宏塊是幀間編碼的，而所述第 二組基本層宏塊是幀內(nèi)編碼的。
4. 根據(jù)權(quán)利要求1所述的方法，其中根據(jù)所述第一組基本層宏塊和第二組基本層宏塊 二者執(zhí)行所述殘差預(yù)測(cè)，從而為所述增強(qiáng)層宏塊的所述第一部分和第二部分二者形成所述 第一預(yù)測(cè)值。
5. 根據(jù)權(quán)利要求4所述的方法，其中在為所述第一組基本層宏塊和第二組基本層宏塊 二者執(zhí)行所述殘差預(yù)測(cè)之后，根據(jù)所述第二組基本層宏塊來(lái)導(dǎo)出所述重建和上采樣值作為 第二預(yù)測(cè)，所述第二預(yù)測(cè)值僅針對(duì)所述增強(qiáng)層宏塊的所述第二部分取代所述第一預(yù)測(cè)值。
6. 根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法，還包括對(duì)在所述增強(qiáng)層宏塊的所述第一 部分與所述第二部分之間的邊界執(zhí)行濾波操作。
7. 根據(jù)權(quán)利要求6所述的方法，其中將所有基本層宏塊視為用于導(dǎo)出所述重建和上采 樣值的幀間編碼基本層宏塊以形成用于整個(gè)增強(qiáng)層宏塊的第一預(yù)測(cè)值，以及其中所述濾波 操作包括在所述第一預(yù)測(cè)值與所述第二預(yù)測(cè)值之間的混合操作。
8. 根據(jù)權(quán)利要求7所述的方法，其中所述混合操作包括加權(quán)平均操作。
9. 根據(jù)權(quán)利要求6所述的方法，還包括在導(dǎo)出所述重建和上采樣值之前，將來(lái)自所述 基本層的所述第二組幀內(nèi)編碼宏塊的邊界調(diào)整到在所述增強(qiáng)層的最近編碼塊邊界，從而所 述導(dǎo)出的第二預(yù)測(cè)覆蓋其邊界與在所述增強(qiáng)層的編碼塊邊界對(duì)準(zhǔn)的區(qū)域。
10. 根據(jù)權(quán)利要求9所述的方法，其中所述第二組幀內(nèi)編碼宏塊的所述邊界的調(diào)整是 基于在所述增強(qiáng)層的編碼塊由來(lái)自所述基本層的所述第二組幀內(nèi)編碼宏塊覆蓋的面積百 分比。
11. 一種在計(jì)算機(jī)可讀介質(zhì)中實(shí)施的計(jì)算機(jī)程序產(chǎn)品，包括配置用以執(zhí)行根據(jù)權(quán)利要 求i-io中的任一權(quán)利要求所述的方法的計(jì)算機(jī)代碼。
12. —種編碼裝置，包括 處理器；以及存儲(chǔ)器單元，以操作方式連接到所述處理器并且包括用于通過(guò)根據(jù)第一組基本層宏塊執(zhí)行殘差預(yù)測(cè)，為增強(qiáng)層宏塊的第一部分形成第一預(yù) 測(cè)值的計(jì)算機(jī)代碼；用于通過(guò)根據(jù)第二組基本層宏塊導(dǎo)出重建和上采樣值，為所述增強(qiáng)層宏塊的第二部分 形成第二預(yù)測(cè)值的計(jì)算機(jī)代碼；以及用于利用所述第一預(yù)測(cè)值和第二預(yù)測(cè)值的組合對(duì)所述增強(qiáng)層宏塊進(jìn)行編碼的計(jì)算機(jī)代碼。
13. 根據(jù)權(quán)利要求12所述的編碼裝置，其中至少所述第一組基本層宏塊覆蓋所述增強(qiáng) 層宏塊的所述第一部分，而至少所述第二組基本層宏塊覆蓋所述增強(qiáng)層宏塊的所述第二部 分。
14. 根據(jù)權(quán)利要求12所述的編碼裝置，其中所述第一組基本層宏塊是幀間編碼的，而 所述第二組基本層宏塊是幀內(nèi)編碼的。
15. 根據(jù)權(quán)利要求12所述的編碼裝置，其中根據(jù)所述第一組基本層宏塊和第二組基本 層宏塊二者執(zhí)行所述殘差預(yù)測(cè)，從而為所述增強(qiáng)層宏塊的所述第一部分和第二部分二者形 成所述第一預(yù)測(cè)值。
16. 根據(jù)權(quán)利要求15所述的編碼裝置，其中在為所述第一組基本層宏塊和第二組基本 層宏塊二者執(zhí)行所述殘差預(yù)測(cè)之后，根據(jù)所述第二組基本層宏塊來(lái)導(dǎo)出所述重建和上采樣 值作為第二預(yù)測(cè)，所述第二預(yù)測(cè)值僅針對(duì)所述增強(qiáng)層宏塊的所述第二部分取代所述第一預(yù) 測(cè)值。
17. 根據(jù)權(quán)利要求12-16中的任一權(quán)利要求所述的編碼裝置，其中所述存儲(chǔ)器單元還 包括用于對(duì)在所述增強(qiáng)層宏塊的所述第一部分與所述第二部分之間的邊界執(zhí)行濾波操作 的計(jì)算機(jī)代碼。
18. 根據(jù)權(quán)利要求17所述的編碼裝置，其中將所有基本層宏塊視為用于導(dǎo)出所述重建 和上采樣值的幀間編碼基本層宏塊以形成用于整個(gè)增強(qiáng)層宏塊的第一預(yù)測(cè)值，以及其中所 述濾波操作包括在所述第一預(yù)測(cè)值與所述第二預(yù)測(cè)值之間的混合操作。
19. 根據(jù)權(quán)利要求18所述的編碼裝置，其中所述混合操作包括加權(quán)平均操作。
20. 根據(jù)權(quán)利要求17所述的編碼裝置，還包括在導(dǎo)出所述重建和上采樣值之前，將來(lái) 自所述基本層的所述第二組幀內(nèi)編碼宏塊的邊界調(diào)整到在所述增強(qiáng)層的最近編碼塊邊界， 從而所述導(dǎo)出的第二預(yù)測(cè)覆蓋其邊界與在所述增強(qiáng)層的編碼塊邊界對(duì)準(zhǔn)的區(qū)域。
21. 根據(jù)權(quán)利要求20所述的編碼裝置，其中所述第二組幀內(nèi)編碼宏塊的所述邊界的調(diào) 整是基于在所述增強(qiáng)層的編碼塊由來(lái)自所述基本層的所述第二組幀內(nèi)編碼宏塊覆蓋的面 積百分比。
22. —種設(shè)備，包括用于通過(guò)根據(jù)第一組基本層宏塊執(zhí)行殘差預(yù)測(cè)，為增強(qiáng)層宏塊的第一部分形成第一預(yù) 測(cè)值的裝置；用于通過(guò)根據(jù)第二組基本層宏塊導(dǎo)出重建和上采樣值，為所述增強(qiáng)層宏塊的第二部分 形成第二預(yù)測(cè)值的裝置；以及用于利用所述第一預(yù)測(cè)值和第二預(yù)測(cè)值的組合對(duì)所述增強(qiáng)層宏塊進(jìn)行編碼的裝置。
23. 根據(jù)權(quán)利要求22所述的設(shè)備，還包括用于對(duì)在所述增強(qiáng)層宏塊的所述第一部分與 所述第二部分之間的邊界執(zhí)行濾波操作的裝置。
24. —種對(duì)視頻內(nèi)容進(jìn)行解碼的方法，包括接收可縮放位流，所述可縮放位流包括代表視頻幀的至少一部分的增強(qiáng)層宏塊； 通過(guò)根據(jù)第一組基本層宏塊執(zhí)行殘差預(yù)測(cè)，為所述增強(qiáng)層宏塊的第一部分導(dǎo)出第一預(yù) 測(cè)值；為所述增強(qiáng)層宏塊的第二部分導(dǎo)出根據(jù)第二組基本層宏塊的重建和上采樣值而形成的第二預(yù)測(cè)值；以及 >利用所述第一預(yù)測(cè)值和第二預(yù)測(cè)值的組合對(duì)所述增強(qiáng)層宏塊進(jìn)行解碼。
25. 根據(jù)權(quán)利要求24所述的方法，其中至少所述第一組基本層宏塊覆蓋所述增強(qiáng)層宏 塊的所述第一部分，而至少所述第二組基本層宏塊覆蓋所述增強(qiáng)層宏塊的所述第二部分。
26. 根據(jù)權(quán)利要求24所述的方法，其中所述第一組基本層宏塊是幀間編碼的，而所述 第二組基本層宏塊是幀內(nèi)編碼的。
27. 根據(jù)權(quán)利要求24-26中的任一權(quán)利要求所述的方法，還包括對(duì)在所述增強(qiáng)層宏塊 的所述第一部分和第二部分之間的邊界執(zhí)行濾波操作。
28. —種在計(jì)算機(jī)可讀介質(zhì)中實(shí)施的計(jì)算機(jī)程序產(chǎn)品，包括配置用以執(zhí)行權(quán)利要求 24-27中的任一權(quán)利要求所述的方法的計(jì)算機(jī)代碼。
29. —種解碼裝置，包括 處理器；以及存儲(chǔ)器單元，以操作方式連接到所述處理器并且包括用于接收可縮放位流的計(jì)算機(jī)代碼，所述可縮放位流包括代表視頻幀的至少一部分的 增強(qiáng)層宏塊；用于通過(guò)根據(jù)第一組基本層宏塊執(zhí)行殘差預(yù)測(cè)，為所述增強(qiáng)層宏塊的第一部分導(dǎo)出第 一預(yù)測(cè)值的計(jì)算機(jī)代碼；用于為所述增強(qiáng)層宏塊的第二部分導(dǎo)出根據(jù)第二組基本層宏塊的重建和上采樣值而 形成的第二預(yù)測(cè)值的計(jì)算機(jī)代碼；以及用于利用所述第一預(yù)測(cè)值和第二預(yù)測(cè)值的組合對(duì)所述增強(qiáng)層宏塊進(jìn)行解碼的計(jì)算機(jī) 代碼。
30. 根據(jù)權(quán)利要求29所述的解碼裝置，其中至少所述第一組基本層宏塊覆蓋所述增強(qiáng) 層宏塊的所述第一部分，而至少所述第二組基本層宏塊覆蓋所述增強(qiáng)層宏塊的所述第二部 分。
31. 根據(jù)權(quán)利要求29所述的解碼裝置，其中所述第一組基本層宏塊是幀間編碼的，而 所述第二組基本層宏塊是幀內(nèi)編碼的。
32. 根據(jù)權(quán)利要求29-31中的任一權(quán)利要求所述的解碼裝置，其中在所述幀間編碼基 本層宏塊與所述幀內(nèi)編碼基本層宏塊之間的邊界已經(jīng)經(jīng)過(guò)濾波操作。
33. —種設(shè)備，包括用于接收可縮放位流的裝置，所述可縮放位流包括代表視頻幀的至少一部分的增強(qiáng)層 宏塊；用于通過(guò)根據(jù)第一組基本層宏塊執(zhí)行殘差預(yù)測(cè)，為所述增強(qiáng)層宏塊的第一部分導(dǎo)出第 一預(yù)測(cè)值的裝置；用于為所述增強(qiáng)層宏塊的第二部分導(dǎo)出根據(jù)第二組基本層宏塊的重建和上采樣值而 形成的第二預(yù)測(cè)值的裝置；以及用于利用所述第一預(yù)測(cè)值和第二預(yù)測(cè)值的組合對(duì)所述增強(qiáng)層宏塊進(jìn)行解碼的裝置。
34. 根據(jù)權(quán)利要求34所述的設(shè)備，其中在所述幀間編碼基本層宏塊與所述幀內(nèi)編碼基 本層宏塊之間的邊界已經(jīng)經(jīng)過(guò)濾波操作。
全文摘要
一種用于預(yù)測(cè)增強(qiáng)層宏塊的系統(tǒng)和方法。基本層幀劃分成幀內(nèi)編碼區(qū)域和幀間編碼區(qū)域。如果增強(qiáng)層宏塊的任何部分由幀內(nèi)編碼基本層宏塊和幀間編碼基本層宏塊二者覆蓋，則獨(dú)立地建立利用幀內(nèi)編碼宏塊和幀間編碼宏塊的預(yù)測(cè)以生成至少兩個(gè)預(yù)測(cè)值。然后組合至少兩個(gè)預(yù)測(cè)值以給出用來(lái)對(duì)增強(qiáng)層塊進(jìn)行編碼的預(yù)測(cè)。各種實(shí)施例用以在針對(duì)擴(kuò)展的空間可縮放性的層間預(yù)測(cè)內(nèi)平滑在幀內(nèi)編碼區(qū)域與幀間編碼區(qū)域之間的邊界效應(yīng)。
文檔編號(hào)H04N7/26GK101755458SQ200780031559
公開(kāi)日2010年6月23日 申請(qǐng)日期2007年7月10日 優(yōu)先權(quán)日2006年7月11日
發(fā)明者J·里奇, 王祥林 申請(qǐng)人:諾基亞公司