專利名稱：用于對多層視頻進(jìn)行編碼和解碼的設(shè)備及方法
技術(shù)領(lǐng)域：
示例性實(shí)施例總體涉及一種用于對視頻進(jìn)行編碼/解碼以在各種網(wǎng)絡(luò)和裝置環(huán)境中提供高清晰度服務(wù)的設(shè)備及方法。更具體地，涉及一種用于使用殘余視頻對多層視頻進(jìn)行編碼/解碼的設(shè)備及方法。
背景技術(shù)：
多層視頻編碼/解碼已被提出以滿足由網(wǎng)絡(luò)的各種帶寬、裝置的各種解碼能力以及用戶控制所確定的許多不同的服務(wù)質(zhì)量(QM)。也就是說，編碼器利用單獨(dú)編碼產(chǎn)生多層視頻比特流，解碼器根據(jù)其解碼能力對多層視頻比特流進(jìn)行解碼。可完成時(shí)間和空間信噪比(SNR)層編碼，取決于應(yīng)用場合可利用兩層或更多層。

發(fā)明內(nèi)容
技術(shù)問題然而，使用多層視頻中的基層比特流和增強(qiáng)層比特流之間的相關(guān)性的傳統(tǒng)的多層視頻編碼/解碼方法具有高復(fù)雜性，并且其復(fù)雜性取決于基層編碼器/解碼器的特性。因此，當(dāng)傳統(tǒng)的多層視頻編碼/解碼方法形成兩個(gè)或更多增強(qiáng)層時(shí)，極大地增加了復(fù)雜性。另外，多層視頻解碼方法需要干凈的通道以執(zhí)行比特深度轉(zhuǎn)換、分辨率轉(zhuǎn)換、色度轉(zhuǎn)換和組合方式的選擇性色調(diào)映射，所有這些都需要轉(zhuǎn)換基層視頻和增強(qiáng)層視頻。技術(shù)方案示例性實(shí)施例在于至少解決上面提到的問題和/或缺點(diǎn)，并在于至少提供以下描述的優(yōu)點(diǎn)。因此，示例性實(shí)施例提供一種具有低復(fù)雜性的使用殘余視頻的多層視頻編碼/ 解碼設(shè)備及方法。另一示例性實(shí)施例提供一種能夠使用任何用于基層的編碼器的多層視頻編碼/ 解碼設(shè)備及方法。另一示例性實(shí)施例提供一種能夠在各種網(wǎng)絡(luò)環(huán)境中將視頻服務(wù)提供給各種裝置的多層視頻編碼設(shè)備及方法，這是因?yàn)榧词巩?dāng)產(chǎn)生形成兩個(gè)或更多增強(qiáng)層的比特流時(shí)，在復(fù)雜性方面的增加也不大。另一示例性實(shí)施例提供一種能夠當(dāng)執(zhí)行用于多層視頻解碼的格式上轉(zhuǎn)換時(shí)盡可能地保持視頻特性的多層視頻解碼設(shè)備及方法。根據(jù)一示例性實(shí)施例，提供一種用于在逐層(layer-by-layer)的基礎(chǔ)上對輸入視頻進(jìn)行編碼的多層視頻編碼方法。所述方法包括通過對輸入視頻執(zhí)行格式下轉(zhuǎn)換并對格式下轉(zhuǎn)換的視頻進(jìn)行編碼來產(chǎn)生基層比特流；通過對從輸入視頻中獲得的殘余視頻進(jìn)行編碼來產(chǎn)生不同格式的層比特流。根據(jù)另一示例性實(shí)施例，提供一種用于在逐層的基礎(chǔ)上對輸入視頻進(jìn)行編碼的多層視頻編碼設(shè)備。所述設(shè)備包括基層編碼器，通過對經(jīng)歷過格式下轉(zhuǎn)換的輸入視頻進(jìn)行編碼來產(chǎn)生基層比特流；殘余編碼器，通過對從輸入視頻中獲得的殘余視頻進(jìn)行編碼來產(chǎn)生具有不同格式的層比特流。根據(jù)另一示例性實(shí)施例，提供一種用于對層視頻進(jìn)行解碼的多層視頻解碼方法。 所述方法包括通過對基層比特流進(jìn)行解碼來輸出基層視頻；通過對編碼的層比特流進(jìn)行解碼來輸出殘余視頻；對基層視頻和至少一個(gè)層視頻執(zhí)行格式上轉(zhuǎn)換；使用格式上轉(zhuǎn)換的至少一個(gè)層視頻來重建具有不同格式的層視頻。根據(jù)另一示例性實(shí)施例，提供一種用于對各個(gè)層視頻進(jìn)行解碼的多層視頻解碼設(shè)備。所述設(shè)備包括基層解碼器，通過對基層比特流進(jìn)行解碼來輸出基層視頻；殘余解碼器，通過對編碼的層比特流進(jìn)行解碼來輸出殘余視頻；格式上轉(zhuǎn)換器，對基層視頻和層殘余視頻執(zhí)行格式上轉(zhuǎn)換；至少一個(gè)視頻重建器，通過將至少一個(gè)殘余解碼器的輸出和格式上轉(zhuǎn)換器的輸出相加來輸出重建的各個(gè)層視頻。


從以下結(jié)合附圖的描述中，特定示例性實(shí)施例的上述和其他方面、特征和優(yōu)點(diǎn)將變得更加明顯，其中圖1是示出根據(jù)示例性實(shí)施例的多層視頻編碼設(shè)備的結(jié)構(gòu)的示圖；圖2是示出根據(jù)另一示例性實(shí)施例的多層視頻編碼設(shè)備的結(jié)構(gòu)的示圖；圖3是示出根據(jù)示例性實(shí)施例的多層視頻解碼設(shè)備的結(jié)構(gòu)的示圖；圖4是示出根據(jù)另一示例性實(shí)施例的多層視頻解碼設(shè)備的結(jié)構(gòu)的示圖；圖5是示出在圖1至圖4的示例性實(shí)施例中的對于格式上轉(zhuǎn)換所必需的視頻轉(zhuǎn)換次序；以及圖6是示出比特流語法的示例的示圖，通過該比特流語法，解碼器會從編碼器接收用于執(zhí)行圖5的視頻轉(zhuǎn)換處理所需的信息。在整個(gè)附圖中，相同的附圖標(biāo)號將被理解為表示相同的元件、特征和結(jié)構(gòu)。
具體實(shí)施例方式提供以下參照附圖進(jìn)行的描述，以幫助全面理解權(quán)利要求及其等同物限定的本發(fā)明的示例性實(shí)施例。描述包括各種特定細(xì)節(jié)以幫助理解，但這些細(xì)節(jié)僅被認(rèn)為是示例性的。 因此，本領(lǐng)域的普通技術(shù)人員應(yīng)認(rèn)識到，在不脫離本發(fā)明的范圍和精神的情況下，可對這里描述的示例性實(shí)施例進(jìn)行各種改變和修改。此外，為了清楚和簡明，將省略已知功能和構(gòu)造的描述。在一系列元件之后的諸如“……中的至少一個(gè)”的表達(dá)，所修飾的是整個(gè)系列的元件而不是修飾系列中的單個(gè)元件。在下面的描述中，出于方便的目的，示例性實(shí)施例僅考慮用于處理包括一個(gè)基層和兩個(gè)增強(qiáng)層的3層視頻的多層編碼/解碼方案。另外，3層編碼意味著產(chǎn)生3個(gè)比特流， 3層解碼意味著重新構(gòu)建3個(gè)比特流。取決于應(yīng)用場合，層的數(shù)量易受改變。圖1示出根據(jù)示例性實(shí)施例的多層視頻編碼設(shè)備的結(jié)構(gòu)。針對3層編碼，圖1的示例性實(shí)施例對原始的輸入視頻進(jìn)行兩次下轉(zhuǎn)換。通過這種處理，從原始輸入視頻中產(chǎn)生了 2個(gè)視頻。假設(shè)被兩次下轉(zhuǎn)換的視頻是基層視頻，被一次下轉(zhuǎn)換的視頻是第二層視頻，原始的輸入視頻是第三層視頻。通過任意標(biāo)準(zhǔn)的視頻編解碼器對基層視頻進(jìn)行編碼，從而產(chǎn)生基層比特流。圖1的編碼設(shè)備通過對殘余視頻進(jìn)行編碼來產(chǎn)生第二層比特流，所述殘余視頻是第二層視頻與上轉(zhuǎn)換的基層視頻之間的差，其中，通過對基層比特流執(zhí)行重建并對已被執(zhí)行重建的基層比特流執(zhí)行格式上轉(zhuǎn)換來獲得上轉(zhuǎn)換的基層視頻。另外，編碼設(shè)備通過對殘余視頻進(jìn)行編碼來產(chǎn)生第三層比特流，所述殘余視頻是第三層視頻(或原始輸入視頻)與上轉(zhuǎn)換的第二層視頻之間的差，其中，通過對第二層比特流執(zhí)行重建，將已被執(zhí)行重建的第二層比特流與上轉(zhuǎn)換的基層視頻進(jìn)行合成，并對合成的視頻執(zhí)行格式上轉(zhuǎn)換來獲得上轉(zhuǎn)換的第二層視頻。通過重復(fù)用于產(chǎn)生第三層比特流的過程，可產(chǎn)生第四層比特流或更高層比特流。以下， 將參照圖1詳細(xì)描述這個(gè)過程。圖1中的編碼設(shè)備使用第一格式下轉(zhuǎn)換器11和第二格式下轉(zhuǎn)換器13順序地對輸入視頻(或原始視頻)進(jìn)行下轉(zhuǎn)換。通過這種處理，從原始視頻中產(chǎn)生2個(gè)視頻。通過對輸入視頻進(jìn)行兩次下轉(zhuǎn)換獲得的視頻，即，從第二格式下轉(zhuǎn)換器13輸出的視頻是基層視頻。通過對輸入視頻進(jìn)行一次下轉(zhuǎn)換獲得的視頻，即，從第一格式下轉(zhuǎn)換器11輸出的視頻是第二層視頻。原始的輸入視頻是第三層視頻?；鶎泳幋a器15通過對基層視頻進(jìn)行編碼來產(chǎn)生基層比特流。諸如VC-I和H. 264的任意標(biāo)準(zhǔn)的視頻編解碼器可被用作基層編碼器 15。殘余編碼器23通過對殘余視頻進(jìn)行編碼來產(chǎn)生第二層比特流。所述殘余視頻是第二層視頻與通過對基層比特流執(zhí)行重建并對已被執(zhí)行重建的基層比特流執(zhí)行格式上轉(zhuǎn)換而獲得的視頻之間的差?；鶎又亟ㄆ?7對基層比特流執(zhí)行重建，已被執(zhí)行重建的基層比特流在第一格式上轉(zhuǎn)換器19中經(jīng)歷格式上轉(zhuǎn)換處理。第一殘余確定器21通過確定第二層視頻與經(jīng)格式上轉(zhuǎn)換處理獲得的上轉(zhuǎn)換的基層視頻之間的差來輸出殘余視頻。在另一實(shí)施例中，確定器21可以是檢測器，檢測第二層視頻和經(jīng)格式上轉(zhuǎn)換處理獲得的上轉(zhuǎn)換的基層視頻之間的差。這里的確定器在下面可以是檢測器。第二層重建器25對從殘余編碼器23輸出的第二層比特流執(zhí)行重建。在合成器31 中，對已被執(zhí)行重建的第二層比特流與從第一格式上轉(zhuǎn)換器19輸出的視頻進(jìn)行合成。合成器31的輸出在第二格式上轉(zhuǎn)換器33中經(jīng)歷格式上轉(zhuǎn)換。第二殘余確定器27通過確定第三層視頻(或輸入視頻)與經(jīng)格式上轉(zhuǎn)換處理獲得的上轉(zhuǎn)換的第二層視頻之間的差來輸出殘余。殘余編碼器四通過對從第二殘余確定器27輸出的殘余視頻進(jìn)行編碼來產(chǎn)生第三層比特流。雖然已在圖1的示例性實(shí)施例中示出和描述了用于對多層視頻進(jìn)行編碼的包括基層視頻、第二層視頻和第三層視頻的編碼器設(shè)備的結(jié)構(gòu)，但是還能夠以相同方式產(chǎn)生4層或更多層比特流。圖2示出根據(jù)另一示例性實(shí)施例的多層視頻編碼設(shè)備的結(jié)構(gòu)。圖2的編碼設(shè)備和圖1的編碼設(shè)備之間的差別在于第三層比特流。在圖1的情況下，通過對殘余視頻進(jìn)行編碼或者對第三層視頻(或輸入視頻)與上轉(zhuǎn)換的第二層視頻之間的差進(jìn)行編碼來產(chǎn)生第三層比特流，其中，通過對第二層比特流執(zhí)行重建，將已被執(zhí)行重建的第二層比特流與上轉(zhuǎn)換的基層視頻進(jìn)行合成，并隨后對合成的視頻執(zhí)行格式上轉(zhuǎn)換處理來獲得所述上轉(zhuǎn)換的第二層視頻。但是，在圖2的情況下，第一殘余視頻(或者輸入視頻和上轉(zhuǎn)換的基層視頻之間的差)被輸入到用于產(chǎn)生第二層比特流的殘余編碼器23，第二殘余視頻(或者第一殘余視頻和通過對第二層比特流執(zhí)行重建而獲得的第二層殘余視頻之間的差)被產(chǎn)生，其中，通過對基層比特流執(zhí)行重建并對已被執(zhí)行重建的基層比特流執(zhí)行格式上轉(zhuǎn)換處理來獲得所述上轉(zhuǎn)換的基層視頻。通過在殘余編碼器四中對第二殘余視頻進(jìn)行編碼來產(chǎn)生第三層比特流。換句話說，在以下方面存在差別通過圖1的示例性實(shí)施例中的格式轉(zhuǎn)換能夠進(jìn)行各種格式下的多層視頻編碼，但是在圖2的示例性實(shí)施例中，在第二層和第三層之間不存在格式轉(zhuǎn)換，在這些層之間只有SNR是可分級的。以下，將詳細(xì)描述圖2的多層視頻編碼設(shè)備。參照圖2，第一格式下轉(zhuǎn)換器11通過對輸入視頻進(jìn)行下轉(zhuǎn)換來產(chǎn)生基層視頻。基層編碼器15通過對下轉(zhuǎn)換的視頻進(jìn)行編碼來產(chǎn)生基層比特流?；鶎又亟ㄆ?7對基層比特流執(zhí)行重建。格式上轉(zhuǎn)換器19通過對已被執(zhí)行重建的基層比特流進(jìn)行上轉(zhuǎn)換來輸出上轉(zhuǎn)換的基層視頻。第一殘余確定器21通過計(jì)算上轉(zhuǎn)換的基層視頻與輸入視頻之間的差來確定第一殘余視頻。殘余編碼器23通過對第一殘余視頻進(jìn)行編碼來產(chǎn)生第二層比特流。第二層重建器25重建第二層殘余視頻。第二殘余確定器27通過計(jì)算重建的第二層殘余視頻與第一殘余視頻之間的差來確定第二殘余視頻。殘余編碼器四通過對第二殘余視頻進(jìn)行編碼來產(chǎn)生第三層比特流。盡管已示出和描述了 3層視頻編碼，但是還可實(shí)現(xiàn)4層或更多層視頻編碼。例如， 輸出第η層比特流的殘余編碼器被稱為第η層編碼器。因此，可描述為第η層編碼器通過對第η-1殘余視頻進(jìn)行編碼來產(chǎn)生第η層比特流，第k層編碼器通過對第k-Ι殘余視頻進(jìn)行編碼來產(chǎn)生第k層比特流。例如，η = {2,……，k-Ι}，其中，k是大于或等于4的整數(shù)。 在這種條件下，當(dāng)假設(shè)由多層視頻編碼設(shè)備處理的多層視頻是4層視頻時(shí)，由于η可以是2 和3，“第η層編碼器通過對第η-1殘余視頻進(jìn)行編碼來產(chǎn)生第η層比特流”的說法意味著存在第二層編碼器和第三層編碼器。另外，對于最后的層，已描述了 “第k層編碼器通過對第k-Ι殘余視頻進(jìn)行編碼來產(chǎn)生第k層比特流”的表述。在最后的層(在這種情況下是第四層)中，僅完成殘余視頻的編碼，而沒有進(jìn)行較低層視頻的重建和格式上轉(zhuǎn)換。同樣地，圖1的示例性實(shí)施例還可實(shí)現(xiàn) 4層或更多層視頻編碼。參照圖3和圖4，將對根據(jù)不同的示例性實(shí)施例的多層視頻解碼設(shè)備進(jìn)行描述。應(yīng)注意的是示例性實(shí)施例的多層視頻解碼設(shè)備可使用殘余視頻對不僅由圖1和圖2的多層視頻編碼設(shè)備而且由任何其他的編碼設(shè)備而編碼的第η層比特流進(jìn)行解碼。圖3示出根據(jù)示例性實(shí)施例的多層視頻解碼設(shè)備的結(jié)構(gòu)。圖3中的多層視頻解碼設(shè)備通過使用諸如VC-I和H. 264的任意標(biāo)準(zhǔn)的視頻編解碼器對基層比特流進(jìn)行解碼來重建基層視頻。解碼設(shè)備通過使用殘余編解碼器對第二層比特流進(jìn)行解碼，并隨后將第二層殘余視頻與通過對基層視頻執(zhí)行格式上轉(zhuǎn)換而獲得的上轉(zhuǎn)換的基層視頻相加來重建第二層視頻。另外，解碼設(shè)備通過使用殘余編解碼器對第三層比特流進(jìn)行解碼，并隨后將第三層殘余視頻與通過對第二層視頻執(zhí)行格式上轉(zhuǎn)換而獲得的上轉(zhuǎn)換的第二層視頻相加來重建第三層視頻。以這種方式，解碼設(shè)備可恢復(fù)4層或更多層視頻。將參照圖3詳細(xì)描述這個(gè)過程。參照圖3，基層解碼器M通過對基層比特流進(jìn)行解碼來重建基層視頻。諸如VC-I 和H. 264的任意標(biāo)準(zhǔn)的視頻編解碼器可被用作基層解碼器Μ。殘余解碼器56通過對第二層比特流進(jìn)行解碼來輸出殘余視頻，可參照在圖1和圖2中示出的編碼處理來理解這個(gè)處理。根據(jù)圖1和圖2，通過對由殘余確定器21確定的殘余視頻進(jìn)行編碼來獲得由殘余編碼器23產(chǎn)生的第二層比特流。因此，通過對第二層比特流進(jìn)行解碼來獲得殘余視頻。殘余解碼器56通過對第二層比特流進(jìn)行解碼來輸出第二層殘余視頻。第二層視頻重建器62通過將第二層殘余視頻與上轉(zhuǎn)換的基層視頻相加來重建第二層視頻，其中，通過使用第一格式上轉(zhuǎn)換器60對基層視頻執(zhí)行格式上轉(zhuǎn)換處理來獲得所述上轉(zhuǎn)換的基層視頻。殘余解碼器58通過對第三層比特流進(jìn)行解碼來輸出第三層殘余視頻。第三層視頻重建器66通過將第三層殘余視頻與上轉(zhuǎn)換的第二層視頻相加來重建第三層視頻。第三層視頻可以是例如HiFi視頻。通過使用第二格式上轉(zhuǎn)換器64對第二層視頻執(zhí)行格式上轉(zhuǎn)換處理來獲得上轉(zhuǎn)換的第二層視頻?？梢砸韵嗤绞街亟?層或更多層視頻。圖4示出根據(jù)另一示例性實(shí)施例的多層視頻解碼設(shè)備的結(jié)構(gòu)。圖4的結(jié)構(gòu)和圖3的結(jié)構(gòu)之間的差別在于第三層比特流。在圖4的結(jié)構(gòu)中，通過將重建的第二層視頻與通過重建第三層比特流而獲得的第三層殘余視頻相加來重建第三層視頻。重建的第二層視頻和重建的第三層視頻在質(zhì)量上不同，但是在格式上是相同的。以下，將參照圖4詳細(xì)地描述解碼設(shè)備。在圖4中的基層解碼器M通過對基層比特流進(jìn)行解碼來重建基層視頻。第二層殘余解碼器56通過對第二層比特流進(jìn)行解碼來輸出第二層殘余視頻。第一格式上轉(zhuǎn)換器 60對基層視頻進(jìn)行上轉(zhuǎn)換。第二層視頻重建器62通過將第二層殘余視頻與上轉(zhuǎn)換的基層視頻相加來重建第二層視頻。第三層殘余解碼器58通過對第三層比特流進(jìn)行解碼來輸出第三層殘余視頻。第三層視頻重建器66通過將第三層殘余視頻與重建的第二層視頻相加來重建第三層視頻。盡管圖4的示例性實(shí)施例考慮3層視頻解碼，但是還可同樣地實(shí)現(xiàn)4層或更多層視頻解碼。例如，對第η層比特流進(jìn)行解碼的殘余解碼器被稱為第η層殘余解碼器。因此， 可描述為第η層殘余解碼器通過對第η層比特流進(jìn)行解碼來輸出第η層殘余視頻。例如， η ={3，……，k}，其中，k是大于或等于4的整數(shù)。在這種條件下，由于η可以是3和4， “第η層殘余解碼器通過對第η層比特流進(jìn)行解碼來輸出第η層殘余視頻”的說法意味著存在第三層殘余解碼器和第四層殘余解碼器。同樣地，圖3的示例性實(shí)施例還可實(shí)現(xiàn)4層或更多層視頻解碼。圖5示出在圖1至圖4的示例性實(shí)施例中的對于格式上轉(zhuǎn)換所必需的視頻轉(zhuǎn)換次序。在圖3的示例性實(shí)施例中的格式上轉(zhuǎn)換是在多個(gè)層中匹配不同的視頻格式的處理。由于增強(qiáng)層與較低層相比表示高清晰度視頻，因此需要格式上轉(zhuǎn)換的視頻轉(zhuǎn)換。對于層間的視頻轉(zhuǎn)換，可使用分辨率轉(zhuǎn)換方法、比特深度轉(zhuǎn)換方法、色度轉(zhuǎn)換方法和色調(diào)映射方法?？赏瑫r(shí)實(shí)現(xiàn)兩個(gè)或多個(gè)轉(zhuǎn)換。也就是說，考慮影響視頻質(zhì)量的優(yōu)先級并根據(jù)較低層視頻和增強(qiáng)層視頻的特性，可按如(例如)圖5中所示的比特深度轉(zhuǎn)換100 =>分辨率轉(zhuǎn)換 200 =>色度轉(zhuǎn)換300 =>色調(diào)映射400的次序完成視頻轉(zhuǎn)換。作為另一示例，可按比特深度轉(zhuǎn)換100 =>分辨率轉(zhuǎn)換200 =>色度轉(zhuǎn)換300的次序執(zhí)行視頻轉(zhuǎn)換。作為另一示例， 可按比特深度轉(zhuǎn)換100 =>色度轉(zhuǎn)換300 =>色調(diào)映射400的次序執(zhí)行視頻轉(zhuǎn)換。作為另一示例，可按比特深度轉(zhuǎn)換100 =>分辨率轉(zhuǎn)換200 =>色調(diào)映射400的次序?qū)崿F(xiàn)視頻轉(zhuǎn)換。可根據(jù)應(yīng)用領(lǐng)域來確定視頻轉(zhuǎn)換的組合。視頻轉(zhuǎn)換次序可被確定，以盡可能地保持視頻特性(或視頻質(zhì)量)，取決于視頻轉(zhuǎn)換的優(yōu)先級，視頻轉(zhuǎn)換次序可以保持固定。描述各個(gè)轉(zhuǎn)換，比特深度轉(zhuǎn)換100對表示視頻的像素的表示單位進(jìn)行轉(zhuǎn)換。例如， 基層或較低層的視頻需要8比特表示一個(gè)像素，增強(qiáng)層或較高層的視頻使用10比特或12 比特表示一個(gè)像素。比特深度的增加增大了視頻的動態(tài)范圍，使得能夠表示高清晰度視頻。對于比特深度轉(zhuǎn)換100，可選擇以下3種方法中的一種，所述3種方法包括基于比特位移的轉(zhuǎn)換方法、基于低通濾波器(LPF)的轉(zhuǎn)換方法和基于色調(diào)映射的轉(zhuǎn)換方法。所述基于比特位移的轉(zhuǎn)換方法通過簡單地使比特位移來轉(zhuǎn)換比特深度。所述基于LPF的轉(zhuǎn)換方法可在比特深度轉(zhuǎn)換期間具有降噪的額外效果?；谏{(diào)映射的轉(zhuǎn)換方法在比特深度轉(zhuǎn)換期間通過非線性映射(不是線性映射)使視頻的恢復(fù)接近原始視頻。分辨率轉(zhuǎn)換200轉(zhuǎn)換視頻的大小。換句話說，分辨率轉(zhuǎn)換200將基層視頻的大小轉(zhuǎn)換為增強(qiáng)層視頻的大小。當(dāng)基層視頻是逐行掃描視頻或隔行掃描視頻時(shí)，完成分辨率轉(zhuǎn)換200，通過分辨率轉(zhuǎn)換200將每個(gè)增強(qiáng)層視頻轉(zhuǎn)換為逐行掃描視頻或隔行掃描視頻。當(dāng)比特深度轉(zhuǎn)換100和分辨率轉(zhuǎn)換200兩者被實(shí)現(xiàn)時(shí)，出于以下原因，僅使用用于比特深度轉(zhuǎn)換 100的可選擇的3種方法之中的基于比特位移的轉(zhuǎn)換方法即，由于在分辨率轉(zhuǎn)換200期間采用使用相鄰像素的濾波器，從而在比特深度轉(zhuǎn)換100期間不太需要基于LPF的轉(zhuǎn)換，可同時(shí)執(zhí)行比特深度轉(zhuǎn)換100和分辨率轉(zhuǎn)換200。色度轉(zhuǎn)換300擴(kuò)充表示一個(gè)視頻的色度樣本。例如，如果基層視頻的色度樣本是 YCbCr4 2 0，則需要4個(gè)Y值、1個(gè)Cb值和1個(gè)Cr值來表示4個(gè)像素。如果增強(qiáng)層視頻的色度樣本被轉(zhuǎn)換為YCbCr4:2 2，則需要4個(gè)Y值、2個(gè)Cb值和2個(gè)Cr值來表示4個(gè)像素。色調(diào)映射400是用于在給定的比特深度通過非線性映射(不是線性映射)使視頻的恢復(fù)接近原始視頻的方法。然而，僅當(dāng)比特深度轉(zhuǎn)換100、分辨率轉(zhuǎn)換200和色度轉(zhuǎn)換300 中的至少一個(gè)被執(zhí)行時(shí)可使用色調(diào)映射400。圖6示出比特流語法的示例，通過該比特流語法，解碼器會從編碼器接收用于執(zhí)行圖5的視頻轉(zhuǎn)換處理所需的信息。在這個(gè)示例性處理中執(zhí)行比特深度轉(zhuǎn)換100、色度轉(zhuǎn)換 300和色調(diào)映射400。正如從上述描述中清楚的，示例性實(shí)施例可通過殘余視頻的使用來降低多層視頻編碼/解碼設(shè)備的復(fù)雜性。另外，示例性實(shí)施例能夠?qū)Χ鄬右曨l進(jìn)行編碼和解碼，能夠在各種網(wǎng)絡(luò)(例如，寬帶互聯(lián)網(wǎng)、WiFi、衛(wèi)星廣播、地面廣播等)環(huán)境下將最優(yōu)視頻服務(wù)提供給具有解碼部件的各種裝置(例如，電話、TV、便攜式多媒體播放器(PMP)等)。并且，已知的標(biāo)準(zhǔn)的視頻編解碼器可被用于基層編碼/解碼，從而確保了兼容性。另外，作為一應(yīng)用場合，示例性實(shí)施例能夠使諸如機(jī)頂盒的膝上型電腦仿真器使用各種網(wǎng)絡(luò)接口(例如，WiFi、HDMI等)發(fā)送多層視頻服務(wù)。例如，使用無線接入點(diǎn)的WiFi 網(wǎng)絡(luò)可提供從膝上型電腦仿真器發(fā)送的基層(例如，QVGA)視頻服務(wù)或第二層(例如，VGA) 視頻服務(wù)，連接到膝上型電腦仿真器的HDMI可提供第三層視頻服務(wù)(例如，高質(zhì)量視頻)。此外，示例性實(shí)施例可通過執(zhí)行使用比特深度轉(zhuǎn)換、分辨率轉(zhuǎn)換、色度轉(zhuǎn)換和可選的色調(diào)映射而執(zhí)行的視頻轉(zhuǎn)換來確保在各層中解碼的視頻的最佳質(zhì)量。盡管已參照本發(fā)明的示例性實(shí)施例示出和描述了本發(fā)明，但是本領(lǐng)域的普通技術(shù)人員將理解在不脫離權(quán)利要求及其等同物所限定的本發(fā)明的精神和范圍的情況下，可進(jìn)行各種形式和細(xì)節(jié)上的改變。 例如，提出的多層編碼/解碼是基于2層編碼/解碼。多層編碼/解碼是指3層或更多層編碼/解碼，2層編碼/解碼是指對殘余視頻進(jìn)行編碼和解碼的2層編碼/解碼。 能夠通過將層編碼/解碼再一次增加到2層編碼/解碼來進(jìn)行3層編碼/解碼。以相同方式，能夠進(jìn)行4層或5層編碼/解碼。
權(quán)利要求
1.一種用于在逐層的基礎(chǔ)上對輸入視頻進(jìn)行編碼的多層視頻編碼方法，包括通過對輸入視頻執(zhí)行格式下轉(zhuǎn)換并對格式下轉(zhuǎn)換的輸入視頻進(jìn)行編碼來產(chǎn)生基層比特流；以及通過對從輸入視頻中獲得的殘余視頻進(jìn)行編碼來產(chǎn)生不同格式的層比特流。
2.如權(quán)利要求1所述的多層視頻編碼方法，其中，使用從較低層重建的視頻來將層比特流產(chǎn)生為具有不同的格式。
3.如權(quán)利要求2所述的多層視頻編碼方法，其中，使用輸入視頻和通過對重建的視頻執(zhí)行格式上轉(zhuǎn)換而獲得的視頻來產(chǎn)生殘余視頻。
4.如權(quán)利要求1所述的多層視頻編碼方法，還包括獲得殘余視頻的步驟，所述獲得殘余視頻的步驟包括從基層比特流中重建基層視頻；通過計(jì)算對重建的基層視頻執(zhí)行格式上轉(zhuǎn)換而獲得的視頻與對輸入視頻執(zhí)行格式下轉(zhuǎn)換而獲得的視頻之間的差，來確定第一殘余視頻；從第η層比特流中重建第η層視頻；將重建的第η層視頻與通過在第η-1層執(zhí)行格式上轉(zhuǎn)換而獲得的視頻相加；以及通過計(jì)算輸入視頻與對相加的結(jié)果執(zhí)行格式上轉(zhuǎn)換而獲得的視頻之間的差來確定第η 殘余視頻，其中，η = {2，......，k-Ι}，k是大于或等于3的整數(shù)。
5.如權(quán)利要求1所述的多層視頻編碼方法，還包括獲得殘余視頻的步驟，所述獲得殘余視頻的步驟包括從基層比特流中對重建的基層視頻進(jìn)行重建；通過計(jì)算輸入視頻與對重建的基層視頻執(zhí)行格式上轉(zhuǎn)換而獲得的視頻之間的差來確定第一殘余視頻；從第η層比特流中重建第η層視頻；通過計(jì)算重建的第η層視頻和第η-1殘余視頻之間的差來確定第η殘余視頻，其中，η ={2，......，k-Ι}，k是大于或等于3的整數(shù)。
6.如權(quán)利要求3所述的多層視頻編碼方法，其中，使用比特深度轉(zhuǎn)換、分辨率轉(zhuǎn)換、色度轉(zhuǎn)換和色調(diào)映射中的至少一個(gè)來執(zhí)行格式上轉(zhuǎn)換。
7.一種用于在逐層的基礎(chǔ)上對輸入視頻進(jìn)行編碼的多層視頻編碼設(shè)備，包括基層編碼器，通過對格式下轉(zhuǎn)換的輸入視頻進(jìn)行編碼來產(chǎn)生基層比特流；以及殘余編碼器，通過對從輸入視頻中獲得的殘余視頻進(jìn)行編碼來產(chǎn)生具有不同格式的層比特流。
8.如權(quán)利要求7所述的多層視頻編碼設(shè)備，其中，使用從較低層重建的視頻來將層比特流產(chǎn)生為具有不同的格式。
9.如權(quán)利要求8所述的多層視頻編碼設(shè)備，其中，使用輸入視頻和通過對重建的視頻執(zhí)行格式上轉(zhuǎn)換而獲得的視頻來產(chǎn)生殘余視頻。
10.如權(quán)利要求7所述的多層視頻編碼設(shè)備，還包括多個(gè)重建器，恢復(fù)視頻；多個(gè)格式上轉(zhuǎn)換器，對重建的視頻執(zhí)行格式上轉(zhuǎn)換；第一殘余確定器，通過計(jì)算對重建的基層視頻執(zhí)行格式上轉(zhuǎn)換而獲得的視頻與對輸入視頻執(zhí)行格式下轉(zhuǎn)換而獲得的視頻之間的差，來確定第一殘余視頻；加法器，將重建的第η層視頻與通過在第η-1層執(zhí)行格式上轉(zhuǎn)換而獲得的視頻相加； 第η殘余確定器，通過計(jì)算輸入視頻與對加法器的結(jié)果執(zhí)行格式上轉(zhuǎn)換而獲得的視頻之間的差來確定第η殘余視頻，其中，η = {2，......，k-Ι}，k是大于或等于3的整數(shù)。
11.如權(quán)利要求7所述的多層視頻編碼設(shè)備，還包括 多個(gè)重建器，恢復(fù)視頻；多個(gè)格式上轉(zhuǎn)換器，對重建的視頻執(zhí)行格式上轉(zhuǎn)換；第一殘余確定器，通過計(jì)算輸入視頻與對重建的基層視頻執(zhí)行格式上轉(zhuǎn)換而獲得的視頻之間的差來確定第一殘余視頻；以及至少一個(gè)第η殘余確定器，通過計(jì)算重建的第η層視頻和第η-1殘余視頻之間的差來確定第η殘余視頻，其中，η = {2，......，k-Ι}，k是大于或等于3的整數(shù)。
12.如權(quán)利要求9所述的多層視頻編碼設(shè)備，其中，使用比特深度轉(zhuǎn)換、分辨率轉(zhuǎn)換、色度轉(zhuǎn)換和色調(diào)映射中的至少一個(gè)來執(zhí)行格式上轉(zhuǎn)換。
13.一種用于對層視頻進(jìn)行解碼的多層視頻解碼方法，包括 通過對基層比特流進(jìn)行解碼來輸出基層視頻；通過對編碼的層比特流進(jìn)行解碼來輸出殘余視頻；以及對基層視頻和至少一個(gè)層視頻執(zhí)行格式上轉(zhuǎn)換，并使用格式上轉(zhuǎn)換的至少一個(gè)層視頻來重建具有不同格式的層視頻。
14.如權(quán)利要求13所述的多層視頻解碼方法，其中，使用較低層的重建的視頻和相同層的殘余視頻來產(chǎn)生重建的層視頻。
15.如權(quán)利要求14所述的多層視頻解碼方法，其中，通過將對較低層的重建的層視頻執(zhí)行格式上轉(zhuǎn)換而獲得的視頻與相同層的殘余視頻相加來產(chǎn)生重建的層視頻。
16.如權(quán)利要求13所述的多層視頻解碼方法，其中，所述重建的層視頻包括具有比基層視頻更高清晰度的視頻。
17.如權(quán)利要求13所述的多層視頻解碼方法，還包括通過將對基層視頻執(zhí)行格式上轉(zhuǎn)換而獲得的視頻與殘余視頻中的第一殘余視頻相加來產(chǎn)生重建的層視頻；以及通過將第η殘余視頻與第η-1層中的經(jīng)歷過格式上轉(zhuǎn)換的視頻相加來產(chǎn)生重建的第η 層視頻，其中，η = {2，......，k-Ι}，k是大于或等于3的整數(shù)。
18.如權(quán)利要求13所述的多層視頻解碼方法，還包括通過將對基層視頻執(zhí)行格式上轉(zhuǎn)換而獲得的視頻與殘余視頻中的第一殘余視頻相加來產(chǎn)生重建的層視頻；通過將第η-1殘余視頻與第η-2層中的經(jīng)歷過格式上轉(zhuǎn)換的視頻進(jìn)行相加來產(chǎn)生重建的第η-1層視頻；以及通過將第η殘余視頻與格式上轉(zhuǎn)換的重建的第η-1層視頻相加來產(chǎn)生重建的第η層視頻，其中，η = {2，......，k-l}，k是大于或等于3的整數(shù)。
19.如權(quán)利要求13所述的多層視頻解碼方法，其中，使用比特深度轉(zhuǎn)換、分辨率轉(zhuǎn)換、 色度轉(zhuǎn)換和色調(diào)映射中的至少一個(gè)來執(zhí)行格式上轉(zhuǎn)換。
20.如權(quán)利要求13所述的多層視頻解碼方法，其中，按比特深度轉(zhuǎn)換、分辨率轉(zhuǎn)換、色度轉(zhuǎn)換和色調(diào)映射的次序來執(zhí)行格式上轉(zhuǎn)換。
21.一種用于對各個(gè)層視頻進(jìn)行解碼的多層視頻解碼設(shè)備，包括 基層解碼器，通過對基層比特流進(jìn)行解碼來輸出基層視頻；殘余解碼器，通過對編碼的層比特流進(jìn)行解碼來輸出殘余視頻；格式上轉(zhuǎn)換器，對基層視頻和殘余視頻執(zhí)行格式上轉(zhuǎn)換；以及視頻重建器，通過將殘余解碼器的輸出和格式上轉(zhuǎn)換器的輸出相加來輸出重建的層視頻。
22.如權(quán)利要求21所述的多層視頻解碼設(shè)備，其中，使用較低層的重建的視頻和相同層的殘余視頻來產(chǎn)生重建的層視頻。
23.如權(quán)利要求22所述的多層視頻解碼設(shè)備，其中，通過將對在較低層的重建的視頻執(zhí)行格式上轉(zhuǎn)換而獲得的視頻與相同層的殘余視頻相加來產(chǎn)生重建的層視頻。
24.如權(quán)利要求21所述的多層視頻解碼設(shè)備，其中，所述重建的層視頻包括具有比基層視頻更高清晰度的視頻。
25.如權(quán)利要求21所述的多層視頻解碼設(shè)備，其中，所述視頻重建器中的一個(gè)包括 第一視頻重建器，通過將對基層視頻執(zhí)行格式上轉(zhuǎn)換而獲得的視頻與殘余視頻中的第一殘余視頻相加來產(chǎn)生重建的層視頻；以及第η視頻重建器，通過將第η殘余視頻與第η-1層中的經(jīng)歷過格式上轉(zhuǎn)換的視頻相加來產(chǎn)生重建的第η層視頻，其中，η = {2，......，k-Ι}，k是大于或等于3的整數(shù)。
26.如權(quán)利要求13所述的多層視頻解碼設(shè)備，其中，所述視頻重建器中的一個(gè)包括 第一視頻重建器，通過將對基層視頻執(zhí)行格式上轉(zhuǎn)換而獲得的視頻與殘余視頻中的第一殘余視頻相加來產(chǎn)生重建的層視頻；以及第η-1視頻重建器，通過將第η-1殘余視頻與第η-2層中的經(jīng)歷過格式上轉(zhuǎn)換的視頻相加來產(chǎn)生重建的第η-1層視頻；其中，通過將第η殘余視頻與重建的第η-1層視頻相加來產(chǎn)生重建的第η層視頻，其中，η = {2，......，k-Ι}，k是大于或等于3的整數(shù)。
27.如權(quán)利要求21所述的多層視頻解碼設(shè)備，其中，使用比特深度轉(zhuǎn)換、分辨率轉(zhuǎn)換、 色度轉(zhuǎn)換和色調(diào)映射中的至少一個(gè)來執(zhí)行格式上轉(zhuǎn)換。
28.如權(quán)利要求21所述的多層視頻解碼設(shè)備，其中，按比特深度轉(zhuǎn)換、分辨率轉(zhuǎn)換、色度轉(zhuǎn)換和色調(diào)映射的次序來執(zhí)行格式上轉(zhuǎn)換。
全文摘要
一種使用殘余視頻的多層視頻編碼/解碼設(shè)備及方法，其中，通過對基層比特流進(jìn)行解碼來輸出基層視頻，通過對編碼的各個(gè)層比特流進(jìn)行解碼來輸出各個(gè)層視頻，對各個(gè)層殘余視頻中的至少一個(gè)和基層視頻執(zhí)行格式上轉(zhuǎn)換，并使用轉(zhuǎn)換結(jié)果重建具有與基層視頻不同的格式的各個(gè)層視頻中的至少一個(gè)。
文檔編號H04N7/26GK102342105SQ201080010682
公開日2012年2月1日 申請日期2010年3月3日 優(yōu)先權(quán)日2009年3月3日
發(fā)明者鄭載宇, 金大熙 申請人:三星電子株式會社