專利名稱：用于層間殘余視頻編碼和解碼的跳過模式的制作方法
用于層間殘余視頻編碼和解碼的跳過模式背景工程師使用壓縮(也叫做“編碼”)來降低數(shù)字視頻的比特率。壓縮通過將視頻轉(zhuǎn) 換為較低的比特率形式來降低存儲(chǔ)和傳輸視頻的成本。解壓縮(也叫做“解碼”)從壓縮形 式重構(gòu)原始視頻的版本?！熬幗獯a器”是編碼器/解碼器系統(tǒng)。當(dāng)視頻編碼器將視頻轉(zhuǎn)換為較低的比特率形式時(shí)，視頻編碼器會(huì)降低壓縮視頻的 質(zhì)量以降低比特率。通過有選擇地去除視頻中的細(xì)節(jié)，編碼器使視頻更簡單且更容易壓縮， 但是經(jīng)壓縮的視頻不太忠實(shí)于原始視頻。除了此基本質(zhì)量/比特率折衷以外，視頻的比特 率還取決于視頻的內(nèi)容(例如，復(fù)雜性)和視頻的格式。視頻信息是根據(jù)不同設(shè)備和應(yīng)用的不同格式來組織的。視頻格式的屬性可包括顏 色空間、色度采樣速率、采樣深度、空間分辨率和時(shí)間分辨率。通常，質(zhì)量和比特率直接對(duì)于 空間分辨率(例如，圖像中的細(xì)節(jié))和時(shí)間分辨率(例如，每秒圖像數(shù))而變化，更高的分 辨率會(huì)導(dǎo)致更高的質(zhì)量和更高的比特率。在視頻編碼和解碼應(yīng)用中，常見的顏色空間包括YUV和YCbCr。Y表示視頻的亮度 (Iuma)通道，而U和V或Cb和Cr表示視頻的顏色(色度)通道。除了 YUV和YCbCr以夕卜， 許多其他顏色空間將視頻組織為一個(gè)亮度通道和多個(gè)色度通道。色度采樣速率是指視頻的 色度通道相對(duì)于亮度通道的采樣速率。視頻圖像的每一個(gè)圖像元素(“像素”)都包括一個(gè)或多個(gè)采樣，而每一個(gè)采樣用 一個(gè)或多個(gè)比特以數(shù)字方式表示。通過使用更高的采樣深度，可以取得采樣采樣值的更大 的精確度，或可以捕捉更寬的色域。例如，12比特采樣值比10比特采樣值或8比特采樣值 具有更多可能的值。作為此更高的質(zhì)量的折衷，更高的采樣深度趨向于增大編碼和解碼應(yīng) 用的比特率。可縮放的視頻編碼和解碼便于將視頻傳送到具有不同能力的設(shè)備。典型的可縮放 的視頻編碼器將視頻拆分為一個(gè)基層和一個(gè)或多個(gè)增強(qiáng)層。基層單獨(dú)提供用于以較低的分 辨率重構(gòu)的視頻的版本，可以添加增強(qiáng)層，以提供將提高視頻質(zhì)量的額外信息。某些可縮放 的編碼器和解碼器依賴于視頻的時(shí)域可縮放性。其他常見的可縮放的編碼/解碼方案涉及 對(duì)于空間分辨率或者視頻的整體編碼質(zhì)量的可縮放性。當(dāng)已編碼的視頻的比特流缺乏某一宏塊的數(shù)據(jù)時(shí)，許多現(xiàn)有的可縮放的視頻編碼 器和解碼器對(duì)于該宏塊使用跳過模式。宏塊是圖像中采樣的一種布置，通常在不同的通道 中被組織為一組采樣塊。跳過的宏塊的定義取決于編碼器和解碼器。一些可縮放的視頻編 碼器和解碼器還允許整個(gè)圖像在比特流中被跳過。盡管在許多情況下現(xiàn)有可縮放的視頻編 碼器和解碼器中的跳過模式提供可接受的性能，但是，它們沒有下面所描述的技術(shù)和工具 的好處和優(yōu)點(diǎn)。概述概括地說，詳細(xì)描述呈現(xiàn)了用于對(duì)層間殘余視頻進(jìn)行編碼和解碼中的跳過模式的 技術(shù)和工具。在許多編碼和解碼情況中，使用跳過模式通過有效地表示層間殘余視頻中的 共同的值模式來幫助改善品質(zhì)和/或縮小比特率。
根據(jù)此處所描述的技術(shù)和工具的第一方面，諸如編碼器或解碼器之類的工具處理 層間殘余視頻的當(dāng)前圖像的多個(gè)宏塊。對(duì)于跳過的當(dāng)前宏塊，該工具從多種可用跳過模式 中選定一種跳過模式，并對(duì)當(dāng)前宏塊使用所選跳過模式。例如，在編碼過程中，編碼器對(duì)層間殘余視頻進(jìn)行編碼以產(chǎn)生增強(qiáng)層比特流的一 部分。對(duì)于跳過的當(dāng)前宏塊，編碼器從多種可用跳過模式中選定一種跳過模式，并使用所選 跳過模式對(duì)當(dāng)前宏塊進(jìn)行編碼。編碼器評(píng)估編碼的結(jié)果并判斷當(dāng)前宏塊是否應(yīng)該被跳過。 在作出跳過/不跳過的判決之后，編碼器在增強(qiáng)層比特流中用信號(hào)通知宏塊跳過信息以表 明跳過/不跳過的判決?；蛘撸诮獯a過程中，解碼器接收增強(qiáng)層比特流的一部分，并解碼 層間殘余視頻。解碼器解析表明當(dāng)前宏塊是否要被跳過的宏塊跳過信息。當(dāng)要跳過當(dāng)前宏 塊時(shí)，解碼器從多種可用跳過模式中選定一種跳過模式，并使用所選跳過模式來解碼當(dāng)前 宏塊。該工具可以使用推導(dǎo)規(guī)則來為當(dāng)前跳過的宏塊選定一種跳過模式。例如，該工具 為圖像中的一個(gè)或多個(gè)上下文宏塊中的每一個(gè)確定上下文信息(諸如宏塊類型)，然后基 于上下文信息為當(dāng)前跳過的宏塊確定跳過模式。或者，該工具根據(jù)上下文宏塊是否使用運(yùn) 動(dòng)補(bǔ)償來選定跳過模式?？闪磉x地，該工具使用另一推導(dǎo)規(guī)則。多種可用跳過模式可包括幀內(nèi)跳過模式(根據(jù)該模式，被跳過的宏塊被賦予了定 義的幀內(nèi)跳過值，并且不使用運(yùn)動(dòng)補(bǔ)償)和預(yù)測(cè)運(yùn)動(dòng)跳過模式(根據(jù)該模式，被跳過的宏塊 被賦予了來自帶有預(yù)測(cè)運(yùn)動(dòng)的運(yùn)動(dòng)補(bǔ)償?shù)闹??？闪磉x地，多種可用跳過模式包括用于跳過 的宏塊的其他和/或額外的跳過模式。根據(jù)此處所描述的技術(shù)和工具的第二方面，諸如編碼器或解碼器之類的工具處理 層間殘余視頻的當(dāng)前幀內(nèi)編碼圖像的多個(gè)宏塊。作為處理的一部分，工具為跳過的當(dāng)前宏 塊選定和使用幀內(nèi)跳過模式，將定義的幀內(nèi)跳過值賦給當(dāng)前宏塊。層間殘余視頻的已編碼 數(shù)據(jù)的比特流包括表明當(dāng)前幀內(nèi)編碼圖像的哪些宏塊被跳過的宏塊跳過信息。根據(jù)此處所描述的技術(shù)和工具的第三方面，諸如編碼器或解碼器之類的工具處理 層間殘余視頻的多個(gè)通道。對(duì)于多個(gè)通道的每一個(gè)，工具判斷是否跳過層間殘余視頻的通 道。如果是，則工具將該通道作為跳過的通道來處理。否則，工具將通道作為編碼的通道來 處理。層間殘余視頻的已編碼數(shù)據(jù)的比特流包括表明哪些通道被跳過的通道跳過信息。例如，編碼器對(duì)層間殘余視頻進(jìn)行編碼以產(chǎn)生層間殘余視頻的已編碼數(shù)據(jù)的比特 流的一部分。作為編碼的一部分，編碼器為層間殘余視頻的多個(gè)通道的每一個(gè)判斷是否跳 過該通道。在比特流中，編碼器用信號(hào)通知表明多個(gè)通道中的哪些通道被跳過的通道跳過 信息?；蛘?，對(duì)應(yīng)的解碼器接收層間殘余視頻的已編碼數(shù)據(jù)的比特流的一部分，并解碼層間 殘余視頻。作為解碼的一部分，解碼器從比特流解析表明多個(gè)通道中哪些是跳過的通道跳 過信息，并逐通道地判斷是否要跳過相應(yīng)的通道。對(duì)于多個(gè)通道的每一個(gè)，通道跳過信息可包括表明是否要跳過通道的代碼?；蛘?， 通道跳過信息包括代碼，該代碼表明當(dāng)前圖像中的給定通道(a)使用零跳過值跳過，(b) 通過從參考圖像復(fù)制對(duì)應(yīng)的通道的值來跳過，或(c)不被跳過?；蛘撸ǖ捞^信息包括表 明其他和/或更多的通道跳過選項(xiàng)的代碼。通過下面的結(jié)合附圖對(duì)本發(fā)明進(jìn)行的詳細(xì)描述，本發(fā)明的前述和其他目標(biāo)、特點(diǎn) 和優(yōu)點(diǎn)將變得更加顯而易見。提供本概述是為了以精簡的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵特征或必要特征， 也不旨在用于限定所要求保護(hù)的主題的范圍。附圖簡述

圖1是其中可以實(shí)現(xiàn)所描述的若干技術(shù)和工具的合適的計(jì)算環(huán)境的框圖。圖2是其中可以實(shí)現(xiàn)所描述的若干技術(shù)的可縮放的視頻編碼工具的框圖。圖3是其中可以實(shí)現(xiàn)所描述的若干技術(shù)的可縮放的視頻解碼工具的框圖。圖4是用于在可縮放的視頻編碼或解碼過程中選定層間殘余視頻的被跳過的宏 塊的跳過模式的一般化技術(shù)的流程圖。圖5是示出用于推導(dǎo)層間殘余視頻中被跳過的宏塊的跳過模式的示例規(guī)則的圖
7J\ ο圖6是示出用于層間殘余視頻的被跳過的宏塊的示例跳過模式的導(dǎo)出的圖示。圖7是示出根據(jù)幀內(nèi)跳過模式和預(yù)測(cè)運(yùn)動(dòng)跳過模式重構(gòu)被跳過的宏塊的圖示。圖8是用于用選定的用于被跳過的宏塊的跳過模式編碼層間殘余視頻的示例技 術(shù)的流程圖。圖9是用于用選定的用于被跳過的宏塊的跳過模式解碼層間殘余視頻的示例技 術(shù)的流程圖。圖10是用于判斷層間殘余視頻的各個(gè)通道的跳過/非跳過狀態(tài)的一般化技術(shù)的 流程圖。圖11是示出用于圖像的通道的示例跳過模式的圖示。圖12是用于編碼具有跳過的通道的層間殘余視頻的示例技術(shù)的流程圖。圖13是用于解碼具有跳過的通道的層間殘余視頻的示例技術(shù)的流程圖。詳細(xì)描述本申請(qǐng)涉及用于對(duì)層間殘余視頻進(jìn)行編碼和解碼中的跳過模式的技術(shù)和工具。具 體而言，跳過模式通過允許宏塊跳過模式用于幀內(nèi)編碼的層間殘余視頻內(nèi)容，通過在用于 層間殘余視頻內(nèi)容的不同的宏塊跳過模式之間切換，和/或通過使用用于層間殘余視頻內(nèi) 容的通道跳過模式來幫助提高對(duì)層間殘余視頻進(jìn)行編碼的效率。例如，在一些可縮放的視頻編碼和解碼情況下，基層編碼器以比輸入視頻低的采 樣深度和色度采樣速率(例如，帶有8比特采樣的4:2:0視頻)對(duì)基層視頻進(jìn)行編碼。通 常，基層編碼還產(chǎn)生失真。表示輸入視頻和基層視頻的重構(gòu)版本之間區(qū)別的層間殘余視頻 包括關(guān)于更高的采樣深度、更高的色度采樣速率和/或更高的編碼質(zhì)量(例如，帶有10比 特采樣的4:2:2視頻)的細(xì)節(jié)。增強(qiáng)層編碼器對(duì)層間殘余視頻進(jìn)行編碼。通過使用有效的 跳過模式以表示層間殘余視頻中的共同的值模式，增強(qiáng)層編碼器提高了速率失真性能。增強(qiáng)層編碼器可以使用宏塊跳過模式。例如，雖然許多視頻編碼器對(duì)于幀間編碼 的視頻內(nèi)容具有宏塊跳過模式(根據(jù)這些模式，被跳過的宏塊使用預(yù)測(cè)的運(yùn)動(dòng))，但是，在 某些實(shí)施例中，增強(qiáng)層編碼器對(duì)于幀內(nèi)編碼的層間殘余視頻內(nèi)容使用跳過模式。幀內(nèi)跳過 模式解釋幀內(nèi)編碼的內(nèi)容的共同的值模式(例如，具有全部零值的宏塊)。作為另一個(gè)示 例，在某些實(shí)施例中，當(dāng)對(duì)層間殘余視頻內(nèi)容進(jìn)行編碼時(shí)增強(qiáng)層編碼器在多種可用宏塊跳 過模式之間進(jìn)行選擇。以此方式，編碼器可以通過在跳過模式之間切換來適應(yīng)視頻內(nèi)容中 的變化。當(dāng)編碼器和解碼器在編碼和解碼過程中根據(jù)可用的上下文選定跳過模式時(shí)，與在比特流中用信號(hào)通知跳過模式相關(guān)聯(lián)的比特率開銷就能得到避免。增強(qiáng)層編碼器也可以使用通道跳過模式。例如，在某些實(shí)施例中，增強(qiáng)層編碼器為 層間殘余視頻內(nèi)容的各個(gè)通道使用跳過模式。利用將被跳過的通道中的值替換為零值(或 將導(dǎo)致被跳過的通道的零值重構(gòu)的值)的通道跳過模式，編碼器可以有效地解決一個(gè)通道 (例如，當(dāng)基層編碼質(zhì)量較高時(shí)的亮度通道)幾乎沒有或沒有有意義的信息而一個(gè)或多個(gè) 其他通道(例如，色度通道)具有有效值的情況。利用對(duì)于被跳過的通道中的值重復(fù)來自 另一個(gè)圖像的值的通道跳過模式，編碼器可以有效地解決一個(gè)通道中的值不會(huì)在圖像與圖 像之間顯著變化而另一個(gè)通道中的值卻會(huì)顯著變化的情況。通過對(duì)于各個(gè)通道用信號(hào)通知 通道跳過信息，編碼器提高了速率失真性能。此處所描述的實(shí)現(xiàn)方式可能有各種不同的替代方案。通過改變流程圖所示出的階 段的順序，通過拆分、重復(fù)或省略某些階段等等，可以改變參考流程圖所描述的某些技術(shù)。 跳過模式的不同方面可以組合或單獨(dú)地使用。不同的實(shí)施例實(shí)現(xiàn)一個(gè)或多個(gè)所描述的跳過 模式。此處所描述的一些技術(shù)和工具解決背景中指出的一個(gè)或多個(gè)問題。通常，給定的 技術(shù)/工具不會(huì)解決所有這樣的問題。相反地，鑒于編碼時(shí)間、編碼資源、解碼時(shí)間、解碼資 源、可用的比特率和/或質(zhì)量中的約束和折衷，給定技術(shù)/工具會(huì)提高對(duì)于特定實(shí)現(xiàn)或情況 的性能。I.計(jì)算環(huán)境圖1示出了其中可以實(shí)現(xiàn)所描述的若干技術(shù)和工具的合適的計(jì)算環(huán)境(100)的一 般化示例。操作環(huán)境(100)不旨在對(duì)使用范圍或功能提出任何限制，因?yàn)榧夹g(shù)和工具可以 在各種通用或?qū)Ｓ糜?jì)算環(huán)境中實(shí)現(xiàn)。參考圖1，計(jì)算環(huán)境(100)包括至少一個(gè)處理單元(110)和存儲(chǔ)器(120)。在圖1 中，此最基本配置(130)包括在虛線內(nèi)。處理單元(110)執(zhí)行計(jì)算機(jī)可執(zhí)行指令，并可以是 現(xiàn)實(shí)的或虛擬的處理器。在多處理系統(tǒng)中，多個(gè)處理單元執(zhí)行計(jì)算機(jī)可執(zhí)行指令以提高處 理能力。存儲(chǔ)器(120)可以是易失性存儲(chǔ)器(例如，寄存器、高速緩存、RAM)、非易失性存儲(chǔ) 器(例如，R0M、EEPR0M、閃存等等)，或兩者的某種組合。存儲(chǔ)器(120)存儲(chǔ)實(shí)現(xiàn)層間殘余 視頻編碼和/或解碼的所描述的跳過模式中的一個(gè)或多個(gè)的軟件(180)。計(jì)算環(huán)境可以具有附加特征。例如，計(jì)算環(huán)境(100)包括存儲(chǔ)器(140)、一個(gè)或多 個(gè)輸入設(shè)備(150)、一個(gè)或多個(gè)輸出設(shè)備(160)，以及一個(gè)或多個(gè)通信連接(170)。諸如總 線、控制器或網(wǎng)絡(luò)之類的互連機(jī)制(未示出)將計(jì)算環(huán)境(100)的組件互連在一起。通常， 操作系統(tǒng)軟件(未示出)為在計(jì)算環(huán)境(100)中執(zhí)行的其他軟件提供操作環(huán)境，并協(xié)調(diào)計(jì) 算環(huán)境(100)的各組件的活動(dòng)。存儲(chǔ)設(shè)備(140)可以是可移動(dòng)或不可移動(dòng)的，并包括磁盤、磁帶或磁帶盒、 CD-ROM、DVD，或能用于存儲(chǔ)信息且可以在計(jì)算環(huán)境(100)內(nèi)被訪問的任何其他介質(zhì)。存儲(chǔ) 設(shè)備(140)存儲(chǔ)用于實(shí)現(xiàn)層間殘余視頻編碼和/或解碼的跳過模式的軟件(180)的指令。輸入設(shè)備(150)可以是諸如鍵盤、鼠標(biāo)、筆或軌跡球之類的觸摸輸入設(shè)備、語音輸 入設(shè)備、掃描設(shè)備、或向計(jì)算環(huán)境(100)提供輸入的另一設(shè)備。對(duì)于音頻或視頻編碼，輸入 設(shè)備(150)可以是聲卡、視頻卡、TV調(diào)諧器卡，或接受模擬或數(shù)字形式的音頻或視頻輸入的 類似的設(shè)備，或?qū)⒁纛l或視頻采樣讀取到計(jì)算環(huán)境(100)中的CD-ROM或CD-RW。輸出設(shè)備(160)可以是顯示器、打印機(jī)、揚(yáng)聲器、CD-寫入器，或從計(jì)算環(huán)境(100)提供輸出的另一設(shè)備。通信連接(170)允許通過通信介質(zhì)與另一個(gè)計(jì)算實(shí)體進(jìn)行通信。通信介質(zhì)在已調(diào) 數(shù)據(jù)信號(hào)中傳送諸如計(jì)算機(jī)可執(zhí)行指令、音頻或視頻輸入或輸出之類的信息或其他數(shù)據(jù)。 已調(diào)制數(shù)據(jù)信號(hào)是以在信號(hào)中編碼信息的方式來設(shè)置或改變其一個(gè)或多個(gè)特征的信號(hào)。作 為示例而非限制，通信介質(zhì)包括利用電氣、光學(xué)、射頻(RF)、紅外線、聲音或其他載體實(shí)現(xiàn)的 有線或無線技術(shù)?？梢栽谟?jì)算機(jī)可讀介質(zhì)的一般上下文中來描述技術(shù)和工具。計(jì)算機(jī)可讀介質(zhì)是可 以在計(jì)算環(huán)境內(nèi)被訪問的任何可用介質(zhì)。作為示例而非限制，對(duì)于計(jì)算環(huán)境(100)，計(jì)算機(jī) 可讀介質(zhì)包括存儲(chǔ)器(120)、存儲(chǔ)設(shè)備(140)、通信介質(zhì)，以及上面各項(xiàng)中的任何項(xiàng)的組合?？梢栽谥T如在目標(biāo)實(shí)際或虛擬處理器上的計(jì)算環(huán)境中執(zhí)行的諸如程序模塊中所 包括的那些計(jì)算機(jī)可執(zhí)行指令之類的計(jì)算機(jī)可執(zhí)行指令的一般上下文中來描述技術(shù)和工 具。一般而言，程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、庫、對(duì) 象、類、組件、數(shù)據(jù)結(jié)構(gòu)等等。程序模塊的功能可以按需在各個(gè)實(shí)施例中進(jìn)行組合或在程序 模塊之間拆分。程序模塊的計(jì)算機(jī)可執(zhí)行指令可以在本地或分布式計(jì)算環(huán)境內(nèi)執(zhí)行。為了演示，詳細(xì)描述使用諸如“選擇”和“重構(gòu)”之類的術(shù)語來描述計(jì)算環(huán)境中的 計(jì)算機(jī)操作。這些術(shù)語是對(duì)于由計(jì)算機(jī)執(zhí)行的操作的高級(jí)抽象，不應(yīng)該與人執(zhí)行的動(dòng)作相 混淆。與這些術(shù)語相對(duì)應(yīng)的實(shí)際計(jì)算機(jī)操作隨著實(shí)現(xiàn)不同而不同。II. 一般化編碼工具圖2是可以用來實(shí)現(xiàn)某些所描述的技術(shù)的一般化的可縮放的視頻編碼工具(200) 的框圖。編碼工具(200)接收包括輸入圖像O02)的視頻圖像序列，并產(chǎn)生基層比特流 (248)和一個(gè)或多個(gè)增強(qiáng)層比特流098)。對(duì)于基層，輸出比特流的格式可以是Windows Media Video 格式、SMPTE 421-M 格式、MPEG-x 格式(例如，MPEG-U MPEG-2 或 MPEG-4)、 H. 26x格式(例如，H. ^1、H. ^2、H. 263或H.洸4)，或其他格式。對(duì)于增強(qiáng)層，輸出比特流 的格式可以與基層比特流相同，或者是另一種格式。工具(200)處理視頻圖像。術(shù)語“圖像”一般是指源、編碼的或重構(gòu)的圖像數(shù)據(jù)。 對(duì)于逐行掃描視頻，圖像是逐行掃描視頻幀。對(duì)于隔行掃描視頻，取決于上下文，圖像可以 是指隔行掃描視頻幀，上半幀，或下半幀。輸入圖像(20 具有采樣深度、色度采樣速率和/或比基層編碼器(220)接受的 分辨率更高的分辨率的空間分辨率。例如，基層編碼器(220)被配置成利用8比特采樣和 4:2:0色度采樣速率來編碼視頻圖像，而輸入圖像(20 具有10比特采樣和4:2:2色度采 樣速率，或具有比8比特4:2:0更高的分辨率的另一種格式。可另選地，基層編碼器(220) 接受10比特采樣、12比特采樣或帶有某種其他采樣深度的采樣，或者基層編碼器(220)接 受4 2 2視頻、4 4 4視頻或具有某種其他色度采樣速率的視頻。編碼工具(200)包括接受輸入視頻圖像(20 并向基層編碼器(220)輸出基層 視頻的第一縮放器004)。第一縮放器(204)可以降采樣或以其他方式縮放輸入視頻圖像 (202)，以例如降低采樣深度、空間分辨率和/或色度采樣分辨率?；蛘撸瑢?duì)于輸入視頻圖像 (202)的這些屬性中的一個(gè)或多個(gè)，第一縮放器(204)根本不改變輸入視頻圖像002)?；鶎泳幋a器(220)對(duì)基層視頻進(jìn)行編碼，并輸出基層比特流(248)。另外，基層編碼器(220)使輸入到逆縮放器052)的重構(gòu)的基層視頻可用。作為編碼的一部分，基層編 碼器(220)通常產(chǎn)生輸入圖像O02)的重構(gòu)的版本。例如，基層編碼器(220)解碼并緩沖 重構(gòu)的基層圖像，用于以后的運(yùn)動(dòng)補(bǔ)償。如此，可以從基層編碼器O20)中獲得重構(gòu)的版 本，供在可縮放的編碼中進(jìn)行進(jìn)一步的處理。(可另選地，編碼工具O00)中的基層解碼器 (未示出)對(duì)基層比特流048)進(jìn)行解碼，以產(chǎn)生重構(gòu)的基層視頻。)如果由于縮放而導(dǎo)致重構(gòu)的基層視頻具有與輸入視頻圖像(202)不同的采樣深 度、空間分辨率、色度采樣速率等等，那么，逆縮放器(25 可以上采樣或以其他方式逆縮 放重構(gòu)的基層視頻，以便它具有更高的采樣深度、空間分辨率、色度采樣速率等等(例如， 與輸入視頻圖像(20 相同的采樣深度、空間分辨率、色度采樣速率等等)。逆縮放器(252) 還可以自適應(yīng)地過濾重構(gòu)的基層視頻，以去除某些類型的偽像。另外，為在縮放過程中補(bǔ)償 色調(diào)映射，逆縮放器(25 可以以相同采樣深度或更高的采樣深度執(zhí)行逆色調(diào)映射(例如， 從一個(gè)色域到另一色域)?？s放和編碼輸入視頻的步驟通常會(huì)在輸入視頻和重構(gòu)的基層視頻之間造成某些 數(shù)據(jù)損失。一般而言，層間殘余視頻表示重構(gòu)的基層視頻和輸入視頻之間的差異(但不一 定是所有差異)。在圖2的工具(200)中，微分器從輸入視頻的對(duì)應(yīng)的采樣減去重構(gòu)的基層 視頻的采樣，以產(chǎn)生此層間殘余視頻。在微分器之前，可以另外過濾輸入視頻。第二縮放器 (254)縮放層間殘余視頻，以便輸入到增強(qiáng)層視頻編碼器040)。例如，第二縮放器(254) 重新映射層間殘余視頻的采樣值，以便采樣值具有便于利用增強(qiáng)層視頻編碼器(MO)進(jìn)行 有效壓縮的分布。增強(qiáng)層編碼器(MO)壓縮層間殘余視頻，并產(chǎn)生增強(qiáng)層比特流(四8)。層間殘余 視頻中的在一給定時(shí)間的“圖像”表示輸入視頻圖像和重構(gòu)的基層視頻圖像之間的差異，但 是，仍通過示例增強(qiáng)層視頻編碼器(MO)來編碼為圖像。編碼器(MO)壓縮層間殘余視頻 的幀間編碼的、預(yù)測(cè)的圖像和層間殘余視頻的幀內(nèi)編碼的圖像。為了演示，圖2示出了用于 通過編碼器(MO)的幀內(nèi)編碼的內(nèi)容的路徑和用于幀間編碼的預(yù)測(cè)的內(nèi)容的路徑。許多增 強(qiáng)層編碼器(MO)的組件被用于壓縮幀內(nèi)編碼的內(nèi)容和幀間編碼的預(yù)測(cè)的內(nèi)容。通過那些 組件執(zhí)行的確切操作可以依據(jù)正在被壓縮的信息的類型而變化。一般而言，在增強(qiáng)層編碼器Q40)內(nèi)，幀間編碼的預(yù)測(cè)的內(nèi)容(作為圖像)根據(jù)先 前重構(gòu)的內(nèi)容的預(yù)測(cè)(作為一個(gè)或多個(gè)其他圖像，這些圖像通常被稱為參考圖像或錨)來 表示。例如，在某一給定時(shí)間的內(nèi)容被作為逐行掃描的P幀或B幀，隔行掃描P半幀或B半 幀，或隔行掃描的P幀或B幀編碼。在編碼器O40)內(nèi)，預(yù)測(cè)殘余是預(yù)測(cè)的信息和對(duì)應(yīng)的原 始增強(qiáng)層視頻之間的差異。如果層間殘余視頻056)內(nèi)容被是作為預(yù)測(cè)的圖像編碼的，運(yùn)動(dòng)估計(jì)器(258)估 計(jì)宏塊或?qū)娱g殘余視頻圖像的其他采樣集相對(duì)于一個(gè)或多個(gè)參考圖像的運(yùn)動(dòng)，參考圖像表 示先前重構(gòu)的層間殘余視頻內(nèi)容。圖像存儲(chǔ)(264)緩存重構(gòu)的層間殘余視頻066)作為一 個(gè)或多個(gè)參考圖像。當(dāng)使用多個(gè)參考圖像時(shí)，這多個(gè)參考圖像可以來自于不同的時(shí)間方向 或相同的時(shí)間方向。運(yùn)動(dòng)估計(jì)器(258)輸出諸如運(yùn)動(dòng)矢量信息之類的運(yùn)動(dòng)信息060)。當(dāng)形成經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)漠?dāng)前圖像068)時(shí)，運(yùn)動(dòng)補(bǔ)償器( 將運(yùn)動(dòng)矢量應(yīng)用到重 構(gòu)的層間殘余視頻內(nèi)容066)(存為參考圖像)。在經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膶娱g殘余視頻068)的 塊和原始層間殘余視頻056)的對(duì)應(yīng)的塊之間的差異(如果有的話)是該塊的預(yù)測(cè)殘余(270)。在稍后對(duì)層間殘余視頻的重構(gòu)過程中，重構(gòu)的預(yù)測(cè)殘余被添加到經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膶娱g 殘余視頻068)，以獲得更接近于原始層間殘余視頻056)的重構(gòu)的內(nèi)容。然而，在有損壓 縮中，一些信息仍會(huì)從原始層間殘余視頻056)中丟失?？闪磉x地，運(yùn)動(dòng)估計(jì)器和運(yùn)動(dòng)補(bǔ)償 器應(yīng)用另一種類型的運(yùn)動(dòng)估計(jì)/補(bǔ)償。頻率變換器(觀0)將空間域視頻信息轉(zhuǎn)換為頻率域(即頻譜變換)數(shù)據(jù)。對(duì)于基 于塊的視頻內(nèi)容，頻率變換器(觀0)對(duì)采樣塊或預(yù)測(cè)殘余數(shù)據(jù)應(yīng)用DCT、DCT的變體、或其他 前向塊變換，產(chǎn)生頻率變換系數(shù)塊。頻率變換器(觀0)可以應(yīng)用8X8，8X4，4X8，4X4或 其他大小的頻率變換。然后，量化器( 接著量化變換系數(shù)塊。量化器082)以逐圖像地、逐宏塊地或 其他方式空間變化的步長對(duì)頻譜數(shù)據(jù)應(yīng)用非均勻的標(biāo)量量化。另外，在某些情況下，量化器 在層間殘余視頻圖像的多個(gè)顏色通道之間改變量化。量化器( 還可以應(yīng)用另一種類型 的量化，例如，對(duì)于至少某些頻譜數(shù)據(jù)系數(shù)應(yīng)用均勻或自適應(yīng)量化，或在不使用頻率變換的 編碼器系統(tǒng)中直接量化空間域數(shù)據(jù)。當(dāng)重構(gòu)的層間殘余視頻圖像被隨后的運(yùn)動(dòng)估計(jì)/補(bǔ)償所需要時(shí)，逆量化器(四0) 對(duì)已量化的頻譜數(shù)據(jù)系數(shù)執(zhí)行逆量化。逆頻率變換器( 執(zhí)行逆頻率轉(zhuǎn)換，產(chǎn)生重構(gòu)的 預(yù)測(cè)殘余的塊(對(duì)于預(yù)測(cè)的層間殘余視頻內(nèi)容)或采樣(對(duì)于幀內(nèi)編碼層間殘余視頻內(nèi) 容)。如果層間殘余視頻(256)是經(jīng)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的，則將重構(gòu)的預(yù)測(cè)殘余添加到運(yùn)動(dòng)補(bǔ)償 的預(yù)測(cè)器068)，以形成重構(gòu)的層間殘余視頻。圖像存儲(chǔ)(沈4)緩存重構(gòu)的層間殘余視頻， 用于隨后的運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)。熵編碼器(觀4)壓縮量化器082)的輸出以及某些輔助信息(例如，量化參數(shù) 值)。典型的熵編碼技術(shù)包括算術(shù)編碼、差分編碼、霍夫曼編碼、游程長度編碼、LZ編碼、詞 典編碼，和以上的組合。熵編碼器(觀4)通常針對(duì)不同種類的信息使用不同的編碼技術(shù)，并 可以從某一編碼技術(shù)內(nèi)的多個(gè)代碼表中選擇。當(dāng)增強(qiáng)層編碼器(MO)對(duì)層間殘余視頻執(zhí)行幀內(nèi)壓縮時(shí)，編碼器把它幀內(nèi)壓縮為 幀內(nèi)編碼的圖像，沒有運(yùn)動(dòng)補(bǔ)償。層間殘余視頻(256)被直接提供到頻率變換器080)、量 化器082)以及熵編碼器084)，并作為編碼視頻輸出。幀內(nèi)編碼的層間殘余視頻的重構(gòu)版 本可以被緩存，以用于隨后的對(duì)其他層間殘余視頻的運(yùn)動(dòng)補(bǔ)償。在某些實(shí)施例中，增強(qiáng)層編碼器(MO)對(duì)于層間殘余視頻056)的圖像中的被跳 過的宏塊使用跳過模式。例如，對(duì)于層間殘余視頻056)中的幀間編碼的圖像中的被跳過 的宏塊，編碼器(MO)在使用幀內(nèi)跳過模式和使用預(yù)測(cè)運(yùn)動(dòng)跳過模式之間切換。對(duì)于幀內(nèi) 跳過模式，編碼器(MO)對(duì)于被跳過的宏塊使用定義的幀內(nèi)跳過值。定義的幀內(nèi)跳過值可 以簡單地是零?；蛘?，如果在編碼之前重新映射層間殘余視頻的值(以及在解碼之后逆向 重新映射)，可以如此選擇定義的幀內(nèi)跳過值使得幀內(nèi)跳過的宏塊將在值的逆向重新映射 之后具有零值。對(duì)于預(yù)測(cè)運(yùn)動(dòng)跳過模式，編碼器(MO)預(yù)測(cè)被跳過的宏塊的運(yùn)動(dòng)，并利用運(yùn) 動(dòng)補(bǔ)償器(26 確定用于被跳過的宏塊的運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)。對(duì)于層間殘余視頻056)的幀 內(nèi)編碼的圖像中的被跳過的宏塊，編碼器O40)可以使用幀內(nèi)跳過模式。在增強(qiáng)層比特流 (298)中，編碼器(MO)用信號(hào)通知宏塊的跳過/非跳過狀態(tài)。編碼器(MO)可用信號(hào)通知 被跳過的宏塊的所選跳過模式，或編碼器(MO)和對(duì)應(yīng)的解碼器可以導(dǎo)出所選跳過模式而 無需顯式地用信號(hào)通知。示例宏塊跳過模式和推導(dǎo)規(guī)則的細(xì)節(jié)在下面給出?；蛘撸幋a器(240)對(duì)于被跳過的宏塊使用其他和/或額外的跳過模式。在某些實(shí)施例中，增強(qiáng)層編碼器(MO)對(duì)于層間殘余視頻056)的圖像中的被跳 過的通道使用跳過模式。例如，對(duì)于層間殘余視頻056)的圖像中的被跳過的通道，編碼器 (240)在使用零跳過模式和復(fù)制跳過模式之間切換。對(duì)于零跳過模式，編碼器(MO)對(duì)于被 跳過的通道使用定義的零跳過值。定義的零跳過值可以簡單地是零?；蛘?，如果在編碼之 前重新映射層間殘余視頻的值(以及在解碼之后逆向重新映射)，可以如此選擇定義的零 跳過值，以便零跳過的通道將在值的逆向重新映射之后具有零值。對(duì)于復(fù)制跳過模式，編碼 器(MO)使用圖像存儲(chǔ)(264)中的參考圖像的對(duì)應(yīng)的通道的值。編碼器(MO)在增強(qiáng)層比 特流098)中用信號(hào)通知通道的跳過模式。示例通道跳過模式的細(xì)節(jié)在下面給出?；蛘撸?編碼器(MO)對(duì)于被跳過的通道使用其他和/或額外的跳過模式。控制器(四4)接收來自諸如運(yùn)動(dòng)估計(jì)器(258)、頻率變換器(觀0)、量化器(觀2)、 逆量化器(四0)和熵編碼器(觀4)之類的各種模塊的輸入?？刂破?四4)評(píng)估編碼過程中 的中間結(jié)果，例如，設(shè)置量化步長和執(zhí)行速率失真性能分析，并對(duì)宏塊和/或通道作出跳過 模式判決?？刂破?四4)與其他模塊一起協(xié)作，以設(shè)置和改變編碼過程中的編碼參數(shù)。當(dāng) 控制器(四4)評(píng)估不同的編碼參數(shù)選擇時(shí)，控制器(四4)可以反復(fù)執(zhí)行某些階段以評(píng)估不 同的參數(shù)設(shè)置，或者控制器(四4)可以聯(lián)合地評(píng)估不同的編碼參數(shù)。要評(píng)估的編碼參數(shù)決 策的樹，以及對(duì)應(yīng)的編碼的定時(shí)，隨著實(shí)現(xiàn)不同而不同。在某些實(shí)施例中，控制器(四4)還 從編碼會(huì)話向?qū)Ы缑?、從另一編碼器應(yīng)用接口，或其他源接收輸入，以使用特定規(guī)則指定要 編碼的視頻。雖然圖2示出了單一增強(qiáng)層編碼器040)，但是，層間殘余視頻本身可以被分離成 多層殘余視頻，用于用單獨(dú)的殘余編碼器來進(jìn)行編碼。例如，分解器使用小波分解或另一種 合適的分解機(jī)制來將層間殘余視頻拆分為色度高通殘余層和采樣深度殘余層，然后，由色 度高通編碼器和采樣深度殘余編碼器分別對(duì)它們進(jìn)行編碼，以產(chǎn)生兩個(gè)單獨(dú)的增強(qiáng)層比特 流。編碼工具O00)的第二控制器(未示出)從工具O00)的各種模塊接收輸入，并 評(píng)估編碼過程中的中間結(jié)果?？刂破髋c各模塊一起協(xié)作，以設(shè)置和改變編碼過程中的編碼 參數(shù)。所示出的工具O00)內(nèi)的各模塊之間的關(guān)系表示一般的信息流；為簡單起見，未 示出其他關(guān)系。具體而言，圖2 —般未示出輔助信息。這樣的輔助信息，一旦被最終形成， 就在輸出比特流或輔助通道中發(fā)送。可縮放的視頻編碼工具的具體實(shí)施例通常使用工具 (200)的變體或補(bǔ)充版本。取決于實(shí)現(xiàn)和所希望的壓縮類型，可以添加、省略模塊，拆分成多 個(gè)模塊，與其他模塊相結(jié)合，和/或替換為類似的模塊。在替換實(shí)施例中，帶有不同的模塊 和/或模塊的其他配置的可縮放的視頻編碼工具執(zhí)行所描述的用于利用跳過模式編碼層 間殘余視頻的技術(shù)中的一個(gè)或多個(gè)。III. 一般化解碼工具圖3是可以用來實(shí)現(xiàn)某些所描述的技術(shù)的一般化的可縮放的視頻解碼工具(300) 的框圖。解碼工具(300)接收壓縮視頻信息的一個(gè)或多個(gè)比特流(包括不同的層的比特 流)，并產(chǎn)生重構(gòu)的視頻(398)。對(duì)于基層視頻，基層比特流(302)的格式可以是Windows Media Video 格式、SMPTE 421-M 格式、MPEG—x 格式(例如，MPEG-U MPEG—2 或 MPEG-4)、H. 26x格式(例如，H. 261、H. 262、H. 263或H. 264)，或其他格式。對(duì)于層間殘余視頻，增強(qiáng) 層比特流(304)的格式可以與基層比特流(30 相同，或者它可以是另一種格式。解碼工具(300)包括接收基層比特流(30 并將重構(gòu)的基層視頻輸出到第一逆縮 放器(35 的基層解碼器(320)。如果重構(gòu)的基層視頻具有與輸出視頻不同的采樣深度、空 間分辨率、色度采樣速率等等(由于編碼過程中的縮放引起)，那么第一逆縮放器(352)上 采樣或以其他方式逆向縮放重構(gòu)的基層視頻，以便它具有更高的采樣深度、空間分辨率、色 度采樣速率等等(例如，與輸出視頻(398)相同的采樣深度、空間分辨率、色度采樣速率等 等)。第一逆縮放器(35 還可以自適應(yīng)地過濾重構(gòu)的基層視頻，以去除某些類型的偽像， 并且它可以以相同采樣深度或更高的采樣深度執(zhí)行逆色調(diào)映射。解碼工具(300)還包括用于接收增強(qiáng)層比特流(304)并將經(jīng)過解碼的層間殘余視 頻輸出到第二逆縮放器(354)的增強(qiáng)層解碼器(340)。在增強(qiáng)層解碼器(340)中，熵解碼器 (384)用于解碼通過熵編碼而被編碼的比特流的元素。逆量化器(390)對(duì)熵解碼器(384) 的一些輸出應(yīng)用逆量化。一般而言，逆量化器(390)用于反轉(zhuǎn)在編碼過程中應(yīng)用的量化。逆頻率變換器(392)接受逆量化器(390)的輸出。逆頻率變換器(392)用于通過 對(duì)逆量化器(390)的輸出應(yīng)用逆DCT，逆DCT的變體或其他逆塊變換，來產(chǎn)生空間域值的塊。 逆頻率變換器(39 對(duì)于預(yù)測(cè)殘余輸出重構(gòu)的值(370)(在幀間編碼的層間殘余視頻內(nèi)容 的情況下)或采樣(在幀內(nèi)編碼的層間殘余視頻內(nèi)容的情況下)。運(yùn)動(dòng)補(bǔ)償器(36 對(duì)圖像存儲(chǔ)(364)中緩沖的先前重構(gòu)的層間殘余視頻應(yīng)用基于 運(yùn)動(dòng)矢量信息(360)的運(yùn)動(dòng)，并輸出經(jīng)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的層間殘余視頻(368)。在對(duì)幀間編碼 的層間殘余視頻的解碼中，經(jīng)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的層間殘余視頻(368)與預(yù)測(cè)殘余(370)組合， 以形成重構(gòu)的層間殘余視頻(366)。通過圖像存儲(chǔ)(364)緩存重構(gòu)的層間殘余視頻(用于 隨后的運(yùn)動(dòng)補(bǔ)償)，并將其從增強(qiáng)層解碼器(340)輸出到第二逆縮放器(3M)。通過使用幀內(nèi)解碼，解碼器(340)還對(duì)幀內(nèi)編碼的層間殘余視頻進(jìn)行解碼。在該 情況下，熵解碼器(384)、逆量化器(390)、以及逆頻率變換器(39 如前所述地那樣操作， 產(chǎn)生層間殘余視頻的采樣，繞過了運(yùn)動(dòng)補(bǔ)償。重構(gòu)的層間殘余視頻(366)緩存在圖像存儲(chǔ) (364)中，用于未來的運(yùn)動(dòng)補(bǔ)償。在某些實(shí)施例中，增強(qiáng)層解碼器(340)對(duì)于層間殘余視頻的圖像中的被跳過的宏 塊使用跳過模式。例如，解碼器(340)解析來自增強(qiáng)層比特流(304)的宏塊的跳過/非跳 過狀態(tài)信息。對(duì)于層間殘余視頻中的幀間編碼的圖像中的被跳過的宏塊，解碼器(340)在 使用幀內(nèi)跳過模式和使用預(yù)測(cè)運(yùn)動(dòng)跳過模式之間切換。對(duì)于幀內(nèi)跳過模式，解碼器(340) 對(duì)于被跳過的宏塊使用定義的幀內(nèi)跳過值(例如，零或在逆重新映射之后導(dǎo)致零值的另一 個(gè)選定的值)。對(duì)于預(yù)測(cè)運(yùn)動(dòng)跳過模式，解碼器(340)預(yù)測(cè)被跳過的宏塊的運(yùn)動(dòng)，用運(yùn)動(dòng)補(bǔ) 償器(36 確定用于被跳過的宏塊的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。對(duì)于層間殘余視頻的幀內(nèi)編碼圖像中 的被跳過的宏塊，解碼器(340)可以使用幀內(nèi)跳過模式。解碼器(340)可以解析來自比特 流(304)的指出對(duì)于被跳過的宏塊的跳過模式的信息，或者解碼器(340)可以導(dǎo)出跳過模 式而無需顯式地用信號(hào)通知。示例宏塊跳過模式和推導(dǎo)規(guī)則的細(xì)節(jié)在下文給出?；蛘?，解 碼器(340)對(duì)于被跳過的宏塊使用其他和/或額外的跳過模式。在某些實(shí)施例中，增強(qiáng)層解碼器(340)對(duì)于層間殘余視頻的圖像中的被跳過的通 道使用跳過模式。例如，解碼器(340)解析來自增強(qiáng)層比特流(304)的指出通道的跳過模式的信息。例如，對(duì)于層間殘余視頻的圖像中的被跳過的通道，解碼器(340)在使用零跳過 模式和復(fù)制跳過模式之間切換。對(duì)于零跳過模式，解碼器(340)對(duì)于被跳過的通道使用定 義的零跳過值(例如，零或在逆向重新映射之后導(dǎo)致零值的另一個(gè)選定的值)。對(duì)于復(fù)制跳 過模式，解碼器(340)使用圖像存儲(chǔ)(364)中的參考圖像的對(duì)應(yīng)的通道的值。示例通道跳 過模式的細(xì)節(jié)在下文給出?；蛘?，解碼器(340)對(duì)于被跳過的通道使用其他和/或額外的 跳過模式。雖然圖3示出了單一增強(qiáng)層解碼器(340)，但是，層間殘余視頻本身可以被分離成 多層(表示為多個(gè)增強(qiáng)層比特流)，用于利用單獨(dú)的增強(qiáng)層解碼器進(jìn)行解碼。給定的解碼 系統(tǒng)包括一個(gè)或多個(gè)單獨(dú)的殘余解碼器，用于對(duì)多個(gè)增強(qiáng)層比特流中的一個(gè)或多個(gè)進(jìn)行解碼。在某些情況下，增強(qiáng)層比特流中的一個(gè)或多個(gè)不存在。例如，如果比特流在傳輸過 程中或在存儲(chǔ)介質(zhì)上損壞，可能會(huì)發(fā)生這種情況?；蛘?，對(duì)于某些類型的播放設(shè)備或某些解 碼情況，由發(fā)射器或由解碼工具(300)有選擇地丟棄增強(qiáng)層比特流，以便降低比特率或降 低解碼復(fù)雜性。第二逆縮放器(354)逆縮放層間殘余視頻。例如，第二逆縮放器(354)重新映射層 間殘余視頻的采樣值，以反轉(zhuǎn)在編碼過程中執(zhí)行的映射。解碼工具(300)將由第一逆縮放 器(352)輸出的重構(gòu)的基層視頻與從第二逆縮放器(354)輸出的重構(gòu)的層間殘余視頻(如 果存在的話)組合起來，以產(chǎn)生重構(gòu)的視頻(398)供輸出。如果在編碼過程中通過小波分解 或另一種機(jī)制分離層間殘余視頻的各層，則解碼工具(300)可以在將所產(chǎn)生的層間殘余視 頻與重構(gòu)的基層視頻組合之前通過使用小波合成或另一種機(jī)制將重構(gòu)的殘余層組合起來。所示出的解碼工具(300)內(nèi)的各模塊之間的關(guān)系表示解碼工具(300)中的一般的 信息流；為簡單起見，未示出其他關(guān)系。視頻解碼工具的具體實(shí)施例通常使用一般化的解碼 工具的變體或補(bǔ)充版本。取決于實(shí)現(xiàn)和所希望的解壓縮的類型，可以添加、省略解碼工具的 模塊，拆分成多個(gè)模塊，與其他模塊相結(jié)合，和/或替換為類似的模塊。在替換實(shí)施例中，帶 有不同的模塊和/或模塊的其他配置的解碼工具執(zhí)行所描述的用于利用跳過模式解碼層 間殘余視頻的技術(shù)中的一個(gè)或多個(gè)。IV. m^mU^mMmmmmi的宏^跳過樽式在某些實(shí)施例中，編碼器和解碼器使用宏塊跳過模式，這些模式有效地表示在某 些類型的層間殘余視頻內(nèi)容中共同的值模式。具體而言，示例宏塊跳過模式解釋幀內(nèi)編碼 的層間殘余視頻中的共同的模式，并為不同的跳過模式提供不同的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)選項(xiàng)。A.用于詵擇宏塊跳過樽式的一般化技術(shù)圖4示出了用于在編碼或解碼過程中選擇宏塊跳過模式的一般化技術(shù)(400)。諸 如圖2的可縮放的視頻編碼工具(200)中的增強(qiáng)層編碼器O40)、圖3的可縮放的視頻解碼 工具(300)中的增強(qiáng)層解碼器(340)之類的工具，或其他工具執(zhí)行技術(shù)000)。開始時(shí)，工具選擇010)當(dāng)前被跳過的宏塊的跳過模式。示例選擇規(guī)則和跳過模 式在下文給出?；蛘撸ぞ邔?duì)于層間殘余視頻使用其他和/或額外的跳過模式或使用另一 種跳過模式選擇規(guī)則。然后，工具對(duì)于當(dāng)前被跳過的宏塊使用(420)所選跳過模式。圖4示出了對(duì)于單個(gè)被跳過的宏塊進(jìn)行的跳過模式選擇過程。工具對(duì)于諸如層間 殘余視頻的幀間編碼的圖像之類的圖像中的每一個(gè)被跳過的宏塊重復(fù)技術(shù)G00)。圖8示出了一個(gè)示例編碼技術(shù)(800)，該技術(shù)將圖4的選擇技術(shù)(400)包括在更大的編碼過程中， 該過程包括為圖像中的宏塊確定跳過/非跳過狀態(tài)。圖9示出了包括圖4的選擇技術(shù)(400) 的示例解碼技術(shù)(900)?；蛘?，工具使用選擇技術(shù)(400)作為另一個(gè)過程的一部分。B.示例宏塊跳過樽式和推導(dǎo)規(guī)則在許多編碼和解碼情況中，層間殘余視頻的大量的宏塊是幀內(nèi)編碼的。除了幀內(nèi) 編碼的圖像(其只包括幀內(nèi)編碼的內(nèi)容)以外，幀間編碼的圖像可包括幀內(nèi)編碼的區(qū)域。那 些使用預(yù)測(cè)的運(yùn)動(dòng)的被跳過的宏塊的常規(guī)定義對(duì)于幀內(nèi)編碼的內(nèi)容不是特別有用的。此處 所描述的宏塊跳過模式的示例實(shí)現(xiàn)包括幀內(nèi)跳過模式，該模式用于層間殘余視頻的幀內(nèi)編 碼的圖像或幀間編碼的圖像中的幀內(nèi)編碼的宏塊。幀內(nèi)跳過模式提供對(duì)幀內(nèi)編碼的圖像或 區(qū)域的全部零宏塊進(jìn)行編碼的有效的方式。示例實(shí)現(xiàn)還包括預(yù)測(cè)運(yùn)動(dòng)跳過模式，該模式用于層間殘余視頻的幀間編碼的圖像 中的幀間編碼的宏塊。預(yù)測(cè)運(yùn)動(dòng)跳過模式提供對(duì)在均勻或幾乎均勻運(yùn)動(dòng)的區(qū)域中的被跳過 的宏塊進(jìn)行編碼的有效方式。通過在幀內(nèi)跳過模式和預(yù)測(cè)運(yùn)動(dòng)跳過模式之間進(jìn)行切換，可 以有效地處理具有幀內(nèi)編碼的區(qū)域和運(yùn)動(dòng)預(yù)測(cè)的區(qū)域的混合的圖像。圖5示出了示例跳過模式推導(dǎo)規(guī)則(500)，而圖6示出了將規(guī)則(500)應(yīng)用于層間 殘余視頻的當(dāng)前圖像中的一組宏塊的示例應(yīng)用(600)。根據(jù)規(guī)則(500)，編碼器或解碼器依 據(jù)兩個(gè)上下文宏塊(當(dāng)前被跳過的宏塊上面的宏塊MBt。p和當(dāng)前被跳過的宏塊左邊的宏塊 MBleft)的上下文信息，為當(dāng)前被跳過的宏塊MBeiment選擇跳過模式。如果上部鄰居MBt。p和 左側(cè)鄰居MBlrft兩者都是經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)?兩者都有宏塊類型P)，MB。umnt的跳過模式使用運(yùn) 動(dòng)補(bǔ)償(它對(duì)于被跳過的宏塊具有類型P)。否則，MBcmrent的跳過模式不使用運(yùn)動(dòng)補(bǔ)償(它 對(duì)于被跳過的宏塊具有類型I)。不管怎樣，當(dāng)前被跳過的宏塊MBeurrait在比特流中缺乏殘 余數(shù)據(jù)。根據(jù)推導(dǎo)規(guī)則(500)的簡單的“和/或”變化，如果MBtt51^MBleft 二者之一是經(jīng)運(yùn)動(dòng) 補(bǔ)償?shù)?類型P)，或者如果兩者都是經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)?類型P)，則當(dāng)前被跳過的宏塊MBcmrait 的跳過模式使用運(yùn)動(dòng)補(bǔ)償(它對(duì)于被跳過的宏塊具有類型P)。否則，MB。umnt的跳過模式不 使用運(yùn)動(dòng)補(bǔ)償(它對(duì)于被跳過的宏塊具有類型I)。這個(gè)“和/或”變化導(dǎo)致更多使用預(yù)測(cè) 運(yùn)動(dòng)跳過模式的被跳過的宏塊。圖6部分地示出了層間殘余視頻的當(dāng)前圖像的宏塊。跳過的(S)宏塊散落在I宏 塊和P宏塊之中。編碼器或解碼器遵循光柵掃描模式，以為被跳過的宏塊選擇跳過模式，沿 著一行宏塊從左到右進(jìn)行，從圖像的頂行到底行。應(yīng)用如圖5所示的推導(dǎo)規(guī)則(500)，第二 行中間的被跳過的宏塊使用預(yù)測(cè)運(yùn)動(dòng)跳過模式(示為$)，而在第二行結(jié)尾處的被跳過的宏 塊使用幀內(nèi)跳過模式(示為S1)。(應(yīng)用“和/或”變化，第二行結(jié)尾處的被跳過的宏塊將使 用預(yù)測(cè)運(yùn)動(dòng)跳過模式。)在第三行，兩個(gè)被跳過的宏塊都使用預(yù)測(cè)運(yùn)動(dòng)跳過模式，該模式示 出了將跳過模式指定到被跳過的宏塊的級(jí)聯(lián)效應(yīng)。如果沒有上下文宏塊可用(例如，因?yàn)?當(dāng)前被跳過的宏塊位于頂行或左列)，取決于實(shí)現(xiàn)方式，對(duì)于推導(dǎo)規(guī)則(500)，不可用的上 下文宏塊可以被設(shè)置為I，或者，編碼器和解碼器可以使用忽略不可用的上下文宏塊的一不 同的推導(dǎo)規(guī)則?？闪磉x地，編碼器和解碼器使用另一推導(dǎo)規(guī)則。例如，編碼器和解碼器使用考慮圖 像中的更多或更少的上下文宏塊，或考慮關(guān)于圖像中的塊或其他區(qū)域的上下文信息的推導(dǎo)規(guī)則?；蛘撸幋a器和解碼器考慮除宏塊類型以外的上下文信息或者上下文宏塊是否使用 運(yùn)動(dòng)補(bǔ)償?；蛘?，編碼器和解碼器根本不使用推導(dǎo)規(guī)則一編碼器評(píng)估不同的可能的跳過模 式，并在比特流中用信號(hào)通知對(duì)于給定宏塊要使用哪一種跳過模式。如果當(dāng)前被跳過的宏塊MBeunent使用運(yùn)動(dòng)補(bǔ)償，編碼器和解碼器可以通過計(jì)算由 諸如上部鄰居MBt。p和左側(cè)的鄰居MBleft之類的鄰居使用的運(yùn)動(dòng)矢量的分量方式的中值來預(yù) 測(cè)其運(yùn)動(dòng)。其運(yùn)動(dòng)矢量被考慮的鄰居可以與在跳過模式選擇中所考慮的鄰居相同，或它們 可以是不同的鄰居組。運(yùn)動(dòng)預(yù)測(cè)對(duì)于當(dāng)前被跳過的宏塊MBcmrent產(chǎn)生運(yùn)動(dòng)矢量，該運(yùn)動(dòng)矢量 又可以在確定圖像中的稍后的被跳過的宏塊的運(yùn)動(dòng)矢量時(shí)使用?；蛘?，編碼器和解碼器基 于對(duì)編碼器和解碼器可用的運(yùn)動(dòng)信息，以某種其他方法為當(dāng)前被跳過的宏塊確定運(yùn)動(dòng)。圖7示出了根據(jù)幀內(nèi)跳過模式和預(yù)測(cè)運(yùn)動(dòng)跳過模式對(duì)被跳過的宏塊重構(gòu)。解碼器 使用重構(gòu)的基層視頻的當(dāng)前圖像(750)，層間殘余視頻的當(dāng)前圖像(710)和層間殘余視頻 的參考圖像(730)，來重構(gòu)重構(gòu)的圖像的宏塊。在重構(gòu)的圖像(770)中，為在層間殘余視頻的當(dāng)前圖像(710)中利用幀內(nèi)跳過模 式(示為類型S1)重構(gòu)與被跳過的宏塊相對(duì)應(yīng)的宏塊，解碼器使用了重構(gòu)的基層視頻的當(dāng) 前圖像(750)的對(duì)應(yīng)的宏塊。在層間殘余視頻的當(dāng)前圖像(710)中，在重構(gòu)之后幀內(nèi)跳過的 宏塊具有零值一它沒有運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)和殘余值。在一些實(shí)現(xiàn)中，增強(qiáng)層解碼器將層間殘余 視頻的當(dāng)前圖像(710)中的幀內(nèi)跳過的宏塊的值設(shè)置為已定義的零值。在其他實(shí)現(xiàn)中，增 強(qiáng)層解碼器將當(dāng)前圖像(710)中的幀內(nèi)跳過的宏塊的值設(shè)置為另一個(gè)定義值，以便當(dāng)前圖 像(710)中的幀內(nèi)跳過的宏塊將在逆向重新映射之后具有零值。(假設(shè)在重構(gòu)之后層間殘 余視頻中的幀內(nèi)跳過的宏塊的采樣值為零。如果增強(qiáng)層解碼器簡單地將采樣值設(shè)置為零， 則逆向重新映射可能改變采樣值以具有非零的值。因此，基于重新映射和逆向重新映射中 所使用的參數(shù)，增強(qiáng)層解碼器將幀內(nèi)跳過的宏塊的值設(shè)置為一個(gè)在逆向重新映射之后將是 零的值。)為在層間殘余視頻的當(dāng)前圖像(710)中利用預(yù)測(cè)運(yùn)動(dòng)跳過模式(示為類型。重 構(gòu)與被跳過的宏塊相對(duì)應(yīng)的宏塊，解碼器按照三個(gè)相鄰宏塊的運(yùn)動(dòng)矢量的中值來預(yù)測(cè)被跳 過的宏塊的運(yùn)動(dòng)矢量，然后，使用該運(yùn)動(dòng)矢量來從層間殘余視頻的參考圖像(730)確定運(yùn) 動(dòng)補(bǔ)償預(yù)測(cè)。被跳過的宏塊沒有殘余值，但是解碼器將來自參考圖像(730)的運(yùn)動(dòng)補(bǔ)償預(yù) 測(cè)與重構(gòu)的基層視頻的當(dāng)前圖像(750)的對(duì)應(yīng)的宏塊組合起來。C.用于在編碼過程中選擇宏塊跳過模式的示例技術(shù)圖8示出了用于在編碼過程中選擇宏塊跳過模式的技術(shù)(800)。諸如圖2的可縮 放的視頻編碼工具O00)中的增強(qiáng)層編碼器(MO)之類的編碼器或其他編碼器執(zhí)行技術(shù) (800)。編碼器設(shè)置(810)當(dāng)前宏塊的跳過/非跳過狀態(tài)，并評(píng)估是否使用該狀態(tài)。編碼 器檢查(820)當(dāng)前宏塊是否要被跳過，如果不，將當(dāng)前宏塊編碼(830)為非跳過。如果要跳 過當(dāng)前宏塊，則編碼器為當(dāng)前宏塊選擇(840)跳過模式，并使用所選跳過模式對(duì)當(dāng)前宏塊 進(jìn)行編碼(850)。例如，編碼器使用被跳過的宏塊預(yù)測(cè)運(yùn)動(dòng)來計(jì)算用于當(dāng)前宏塊的運(yùn)動(dòng)補(bǔ)償 預(yù)測(cè)(對(duì)于預(yù)測(cè)運(yùn)動(dòng)跳過模式)，或使用被跳過的宏塊的定義的幀內(nèi)跳過值(對(duì)于幀內(nèi)跳過 模式)。然后，編碼器檢查(870)當(dāng)前宏塊編碼是否完成。對(duì)于給定的宏塊，編碼器可以通過以不同的方式實(shí)際對(duì)宏塊進(jìn)行編碼并評(píng)估結(jié)果，或者通過估計(jì)以不同的方式對(duì)宏塊進(jìn)行 編碼的效率，來檢查編碼宏塊的一種或多種方式。一般而言，如果宏塊是利用所選模式跳過 的，編碼器可以考慮對(duì)質(zhì)量(例如，就失真而言)和/或比特率(例如，就對(duì)于用信號(hào)通知跳 過信息的成本而言)的影響，如果宏塊是以不同的質(zhì)量級(jí)別編碼的，它可以考慮對(duì)質(zhì)量(例 如，就失真而言)和/或比特率(例如，就用信號(hào)通知運(yùn)動(dòng)矢量信息、殘余信息等等的成本 而言)的影響。當(dāng)編碼器處理完當(dāng)前宏塊時(shí)，編碼器在比特流中用信號(hào)通知(880)當(dāng)前宏塊的跳 過/非跳過狀態(tài)。例如，編碼器在比特流中在宏塊級(jí)用信號(hào)通知當(dāng)前宏塊的跳過比特。對(duì) 于非跳過宏塊，編碼器用信號(hào)通知跳過比特和宏塊類型以及用于宏塊的編碼數(shù)據(jù)。或者，編 碼器使用另一個(gè)機(jī)制來用信號(hào)通知跳過/非跳過狀態(tài)信息。例如，在找到非跳過宏塊之后， 編碼器用信號(hào)通知一個(gè)skip_rUn代碼來表明非跳過宏塊之前的一個(gè)或多個(gè)被跳過的宏塊 的串。編碼器繼續(xù)(890)利用圖像中的下一宏塊作為當(dāng)前宏塊，直到圖像的宏塊都已經(jīng) 被編碼。編碼器可以逐圖像地或按照某種其他方式(例如，逐片地)重復(fù)技術(shù)(800)。P. ffl輔麵·禾白憾獻(xiàn)圖9示出了用于在解碼過程中選擇宏塊跳過模式的技術(shù)(900)。諸如圖3的可縮 放的視頻解碼工具(300)中的增強(qiáng)層解碼器(340)之類的解碼器或其他解碼器執(zhí)行技術(shù) (900)。開始時(shí)，解碼器獲取(910)當(dāng)前宏塊的跳過/非跳過狀態(tài)。例如，解碼器解析來自 比特流的對(duì)圖像的一個(gè)或多個(gè)宏塊的跳過/非跳過狀態(tài)信息。解碼器檢查(920)當(dāng)前宏 塊是否是跳過的，如果不，則將當(dāng)前宏塊解碼(930)為非跳過的。例如，解碼器使用運(yùn)動(dòng)補(bǔ) 償、殘余值的重構(gòu)等等，來重構(gòu)當(dāng)前宏塊。如果當(dāng)前宏塊是跳過的，則解碼器為當(dāng)前宏塊選 擇(940)跳過模式，并使用所選跳過模式對(duì)當(dāng)前宏塊進(jìn)行解碼(950)。例如，解碼器使用被 跳過的宏塊的預(yù)測(cè)運(yùn)動(dòng)來計(jì)算用于當(dāng)前宏塊的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(對(duì)于預(yù)測(cè)運(yùn)動(dòng)跳過模式)， 或使用被跳過的宏塊的定義的幀內(nèi)跳過值(對(duì)于幀內(nèi)跳過模式)。解碼器繼續(xù)(990)利用圖像中的下一宏塊作為當(dāng)前宏塊，直到圖像的宏塊都已經(jīng) 被解碼。解碼器可以逐圖像地或按照某種其他方式(例如，逐片地地)重復(fù)技術(shù)(900)。V.用于層間殘余視頻編碼和解碼的通道跳過模式在某些實(shí)施例中，編碼器和解碼器使用通道跳過模式，這些模式有效地表示在某 些類型的層間殘余視頻內(nèi)容中共同的值模式。具體而言，示例通道跳過模式解決了其中在 圖像的一個(gè)或兩個(gè)通道中圖像的有效值是隔離的并且剩余通道缺乏有意義的信息的情況。 示例通道跳過模式還解決其中給定通道的值在圖像與圖像之間沒有很大變化的情況。A.用于確定跳過/非跳過通道的一般化技術(shù)圖10示出了用于確定層間殘余視頻的各個(gè)通道的跳過/非跳過狀態(tài)的一般化技 術(shù)(1000)。諸如圖2的可縮放的視頻編碼工具O00)中的增強(qiáng)層編碼器O40)、圖3的可 縮放的視頻解碼工具(300)中的增強(qiáng)層解碼器(340)之類的工具，或其他工具執(zhí)行技術(shù) (1000)。工具判斷(1020)是否要跳過當(dāng)前通道。如果是，則工具將通道作為跳過的通道來 處理(1050)。例如，工具從多種可用通道跳過模式中選擇一個(gè)通道跳過模式，并且在通道的編碼或重構(gòu)中使用所選通道跳過模式。示例通道跳過模式的細(xì)節(jié)在下文給出?；蛘撸ぞ?使用其他和/或更多的通道跳過模式。如果不跳過通道，則工具將通道作為編碼的通道來 處理(1030)。例如，在編碼或解碼過程中，工具將層間殘余視頻的通道中的采樣值的塊作為 普通的塊來處理。圖10示出了對(duì)于單個(gè)通道的通道跳過判斷過程。工具對(duì)于層間殘余視頻的圖 像以逐通道的方式重復(fù)技術(shù)(1000)。圖12示出了包括一般化技術(shù)(1000)的示例編碼技 術(shù)(1200)，而圖13示出了包括技術(shù)(1000)的示例解碼技術(shù)(1300)?；蛘?，工具使用技術(shù) (1000)作為另一個(gè)過程的一部分。B.示例通道跳過樽式在許多編碼和解碼情況下，層間殘余視頻的圖像中的有效值被集中在一個(gè)或兩個(gè) 通道，而其他通道主要包括零值。例如，當(dāng)基層視頻被以高質(zhì)量編碼時(shí)，圖像的亮度通道可 以主要擁有零值，而色度通道包括色度采樣速率殘余信息的有效值。示例實(shí)現(xiàn)對(duì)于通道包 括零跳過模式。根據(jù)零跳過模式，單個(gè)被跳過的通道的采樣值被編碼并重構(gòu)為定義的零跳 過值。在層間殘余視頻中的的另一個(gè)共同的模式中，一個(gè)通道的值在圖像到圖像之間是 相對(duì)一致的。例如，當(dāng)基層視頻被以低質(zhì)量編碼時(shí)，在低運(yùn)動(dòng)場景中，給定通道的值在從圖 像倒圖像之間可以是一致的。示例實(shí)現(xiàn)對(duì)于通道包括復(fù)制跳過模式。根據(jù)復(fù)制跳過模式， 當(dāng)前圖像中的單個(gè)被跳過的通道的采樣值是從層間殘余視頻的參考圖像中的對(duì)應(yīng)的通道 復(fù)制的。圖11示出了層間殘余視頻的當(dāng)前圖像的當(dāng)前通道(1110)的示例跳過模式。當(dāng) 前通道(1110)是U通道，但是，也可以是亮度通道或其他色度通道。如果不跳過當(dāng)前通道 (1110)，則對(duì)于編碼和解碼，通道(1110)被拆分成塊。如果在零跳過模式下跳過當(dāng)前通道 (1110)，則利用定義的零跳過值的采樣編碼和重構(gòu)通道(1110)。在一些實(shí)現(xiàn)中，增強(qiáng)層解碼 器將層間殘余視頻的零跳過通道的值設(shè)置為定義的零值。在其他實(shí)現(xiàn)中，增強(qiáng)層解碼器將 零跳過通道的值設(shè)置為另一個(gè)定義值，以便零跳過通道在逆向重新映射之后具有零值。(假 設(shè)層間殘余視頻中的零跳過通道的采樣值在重構(gòu)之后為零。如果增強(qiáng)層解碼器簡單地將采 樣值設(shè)置為零，則逆向重新映射可能改變采樣值以具有非零的值。因此，基于重新映射和逆 向重新映射中所使用的參數(shù)，增強(qiáng)層解碼器將零跳過通道的值設(shè)置為在逆向重新映射之后 將是零的值。)如果在復(fù)制跳過模式下跳過當(dāng)前通道(1110)，則將來自參考圖像(1130)的對(duì)應(yīng) 的通道的采樣值復(fù)制到當(dāng)前通道。編碼器在比特流中用信號(hào)通知通道的跳過/非跳過狀態(tài)，而解碼器解析來自比特 流的該信息。例如，在圖像頭部中，編碼器在比特流中用信號(hào)通知三個(gè)比特，表明三個(gè)通道 Y、U和V中的哪些是跳過的。
權(quán)利要求
1.一種處理層間殘余視頻的方法，所述方法包括 處理所述層間殘余視頻的當(dāng)前圖像的多個(gè)宏塊； 輸出所述處理的結(jié)果；其特征在于，對(duì)于所述多個(gè)宏塊中被跳過的當(dāng)前宏塊，所述處理包括 為被跳過的當(dāng)前宏塊選擇(410)跳過模式，其中所述跳過模式是從多個(gè)可用跳過模式 中選出的；以及對(duì)所述被跳過的當(dāng)前宏塊，使用(420)所選的跳過模式；以及 其中，層間殘余視頻的已編碼數(shù)據(jù)的比特流包括宏塊跳過信息，表明所述多個(gè)宏塊中 哪些宏塊被跳過。
2.如權(quán)利要求1所述的方法，其特征在于，所述多個(gè)可用跳過模式包括幀內(nèi)跳過模式 和預(yù)測(cè)運(yùn)動(dòng)跳過模式。
3.如權(quán)利要求2所述的方法，其特征在于，用于所述當(dāng)前宏塊的所選跳過模式是幀內(nèi) 跳過模式，并且其中，對(duì)所述當(dāng)前宏塊使用所述幀內(nèi)跳過模式包括將定義的幀內(nèi)跳過值賦 予所述當(dāng)前宏塊。
4.如權(quán)利要求2所述的方法，其特征在于，用于所述當(dāng)前宏塊的所選跳過模式是預(yù)測(cè) 運(yùn)動(dòng)跳過模式，并且其中，對(duì)所述當(dāng)前宏塊使用所述預(yù)測(cè)運(yùn)動(dòng)跳過模式包括將來自所述層 間殘余視頻的參考圖像的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的值賦予所述當(dāng)前宏塊。
5.如權(quán)利要求1所述的方法，其特征在于 為被跳過的當(dāng)前宏塊選擇跳過模式包括確定所述當(dāng)前圖像中在所述被跳過的當(dāng)前宏塊周圍的一個(gè)或多個(gè)上下文宏塊中的每 一個(gè)上下文宏塊的上下文信息；以及基于所述一個(gè)或多個(gè)上下文宏塊的上下文信息，確定所述跳過模式；以及 所述層間殘余視頻的已編碼數(shù)據(jù)的比特流缺乏表明所述多個(gè)宏塊中的那些被跳過的 宏塊的所選跳過模式的信息。
6.如權(quán)利要求5所述的方法，其特征在于，所述上下文信息是宏塊類型。
7.如權(quán)利要求1所述的方法，其特征在于為被跳過的當(dāng)前宏塊選擇跳過模式包括，取決于所述當(dāng)前圖像中的上下文宏塊是否使 用運(yùn)動(dòng)補(bǔ)償，在第一和第二跳過模式之間進(jìn)行選擇；以及對(duì)所述第一跳過模式的使用包括根據(jù)從所述一個(gè)或多個(gè)上下文宏塊的運(yùn)動(dòng)信息導(dǎo)出 的運(yùn)動(dòng)來執(zhí)行運(yùn)動(dòng)補(bǔ)償；以及對(duì)所述第二跳過模式的使用包括無運(yùn)動(dòng)補(bǔ)償。
8.如權(quán)利要求1所述的方法，其特征在于，還包括編碼所述層間殘余視頻以產(chǎn)生所述比特流的至少一部分，其中，所述編碼包括所述處 理所述層間殘余視頻的所述多個(gè)宏塊，并且，其中，所述處理的結(jié)果是所述比特流的所述至 少一部分。
9.如權(quán)利要求8所述的方法，其特征在于，對(duì)于被跳過的當(dāng)前宏塊，所述處理包括就速率失真性能而言，評(píng)估在所述編碼過程中對(duì)被跳過的當(dāng)前宏塊使用所選跳過模式 的結(jié)果；以及判斷當(dāng)前宏塊被跳過。
10.如權(quán)利要求8所述的方法，其特征在于，所述當(dāng)前圖像有多個(gè)通道，并且，作為對(duì)所 述當(dāng)前圖像的所述編碼的一部分，所述方法還包括以逐通道的方式判斷是否要跳過所述當(dāng)前圖像的所述多個(gè)通道；以及在所述比特流中，用信號(hào)通知表明所述多個(gè)通道中的哪些被跳過的通道跳過信息。
11.如權(quán)利要求1所述的方法，其特征在于，還包括 接收所述比特流的至少一部分；使用所述比特流的所述至少一部分解碼所述層間殘余視頻，其中，所述解碼包括處理 所述層間殘余視頻的所述多個(gè)宏塊，并且其中，所述處理的結(jié)果是已解碼的層間殘余視頻； 以及將所述已解碼的層間殘余視頻與重構(gòu)的基層視頻組合，以產(chǎn)生重構(gòu)的視頻供輸出。
12.如權(quán)利要求11所述的方法，其特征在于，所述當(dāng)前圖像有多個(gè)通道，并且其中，作 為對(duì)于所述當(dāng)前圖像的解碼的一部分，所述方法還包括從所述比特流解析表明所述多個(gè)通道中的哪些被跳過的通道跳過信息；以及 以逐通道的方式判斷是否要跳過所述當(dāng)前圖像的所述多個(gè)通道。
13.存儲(chǔ)了用于使計(jì)算機(jī)系統(tǒng)執(zhí)行一種方法的計(jì)算機(jī)軟件的一個(gè)或多個(gè)計(jì)算機(jī)可讀存 儲(chǔ)介質(zhì)，所述方法包括處理層間殘余視頻的當(dāng)前圖像的多個(gè)宏塊；以及 輸出所述處理的結(jié)果；其特征在于，所述當(dāng)前圖像是幀內(nèi)編碼圖像，并且，對(duì)于所述多個(gè)宏塊中被跳過的當(dāng)前 宏塊，所述處理包括對(duì)被跳過的當(dāng)前宏塊，選擇幀內(nèi)跳過模式；以及對(duì)被跳過的當(dāng)前宏塊，使用所述幀內(nèi)跳過模式，包括將定義的幀內(nèi)跳過值賦予被跳過 的當(dāng)前宏塊；以及其中，所述層間殘余視頻的已編碼數(shù)據(jù)的比特流包括宏塊跳過信息，表明當(dāng)前幀內(nèi)編 碼圖像的多個(gè)宏塊中哪些被跳過。
14.如權(quán)利要求13所述的一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，以使得所述 當(dāng)前幀內(nèi)編碼圖像的任何幀內(nèi)跳過的宏塊用零值重構(gòu)的方式來選擇所述定義的幀內(nèi)跳過 值，所述方法還包括接收所述比特流的至少一部分；使用所述比特流的所述至少一部分解碼所述層間殘余視頻，其中，所述解碼包括處理 所述多個(gè)宏塊，并且其中，所述處理的結(jié)果是已解碼的層間殘余視頻；以及將所述已解碼的層間殘余視頻與重構(gòu)的基層視頻組合，以產(chǎn)生重構(gòu)的視頻供輸出。
15.一種處理層間殘余視頻的方法，所述方法包括 處理所述層間殘余視頻的多個(gè)通道；以及 輸出所述處理的結(jié)果；其特征在于，對(duì)于所述多個(gè)通道中的每一個(gè)通道，所述處理包括 判斷(1020)是否要跳過所述層間殘余視頻的所述通道； 如果所述通道被跳過，則作為跳過的通道來處理(1040)所述通道；以及 如果所述通道不被跳過，則作為編碼的通道來處理所述通道(1030)；其中，所述層間殘余視頻的已編碼數(shù)據(jù)的比特流包括通道跳過信息，表明所述多個(gè)通 道中的哪些被跳過。
16.如權(quán)利要求15所述的方法，其特征在于，所述判斷還包括，對(duì)于所述多個(gè)通道中的 被跳過的一個(gè)通道，從多個(gè)可用通道跳過模式中選擇一個(gè)通道跳過模式，并且其中，所述通 道跳過信息還表明所選通道跳過模式。
17.如權(quán)利要求15所述的方法，其特征在于，對(duì)于當(dāng)前圖像中的所述多個(gè)通道中的每 一個(gè)，所述通道跳過信息包括一個(gè)代碼，所述代碼指示出該通道(a)使用定義的零跳過值 被跳過，(b)通過從參考圖像復(fù)制對(duì)應(yīng)的通道的值被跳過，或(C)不被跳過。
18.如權(quán)利要求15所述的方法，其特征在于，對(duì)于當(dāng)前圖像中的所述多個(gè)通道中的每 一個(gè)，所述通道跳過信息包括單比特碼，所述單比特碼表明該通道被跳過還是不被跳過。
19.如權(quán)利要求15所述的方法，其特征在于，還包括編碼所述層間殘余視頻以產(chǎn)生所述比特流的至少一部分，其中，所述編碼包括處理所 述層間殘余視頻的所述多個(gè)通道，并且其中，所述處理的結(jié)果是所述比特流的所述至少一 部分。
20.如權(quán)利要求15所述的方法，其特征在于，還包括接收所述比特流的所述至少一部分；使用所述比特流的所述至少一部分解碼所述層間殘余視頻，其中，所述解碼包括處理 所述層間殘余視頻的所述多個(gè)通道，并且其中，所述處理的結(jié)果是已解碼的層間殘余視頻； 以及將所述已解碼的層間殘余視頻與重構(gòu)的基層視頻組合，以產(chǎn)生重構(gòu)的視頻供輸出。
全文摘要
描述了用于對(duì)層間殘余視頻進(jìn)行編碼和解碼中的跳過模式的技術(shù)和工具。例如，編碼器編碼層間殘余視頻的圖像的多個(gè)宏塊。對(duì)于被跳過的當(dāng)前宏塊，編碼器從多種可用跳過模式中選定一種跳過模式，并在編碼當(dāng)前宏塊時(shí)使用所選跳過模式。跳過模式可包括幀內(nèi)跳過模式和預(yù)測(cè)運(yùn)動(dòng)跳過模式。對(duì)于當(dāng)前宏塊，對(duì)應(yīng)的解碼器在解碼過程中選定和使用用于當(dāng)前宏塊的跳過模式。作為另一個(gè)示例，編碼器編碼層間殘余視頻的圖像的多個(gè)通道。對(duì)于每一個(gè)通道，編碼器判斷是否要跳過該通道。編碼器用信號(hào)通知通道跳過信息來表明哪些通道被跳過。對(duì)應(yīng)的解碼器解析通道跳過信息，并逐通道地判斷是否要跳過相應(yīng)的通道。
文檔編號(hào)H04N7/32GK102144391SQ200980135105
公開日2011年8月3日 申請(qǐng)日期2009年8月17日 優(yōu)先權(quán)日2008年9月5日
發(fā)明者C·圖, C-L·林, S·孫, S·瑞古納薩恩 申請(qǐng)人:微軟公司