專利名稱：用于多層視頻系統(tǒng)的復(fù)雜度自適應(yīng)可伸縮解碼及流處理的制作方法
技術(shù)領(lǐng)域：
本公開內(nèi)容涉及多層視頻系統(tǒng)。更具體地，本公開內(nèi)容涉及用于多層視頻系統(tǒng)的復(fù)雜度自適應(yīng)可伸縮解碼及流處理。
背景技術(shù)：
近年來，出現(xiàn)了考慮用于視頻媒介的傳輸?shù)亩鄬臃椒ǖ娜舾蓱?yīng)用及系統(tǒng)。這些應(yīng) 用及系統(tǒng)可以包括SNR或分辨率、或時(shí)間可伸縮系統(tǒng)，并且還可以包括多視點(diǎn)或3D/立體視 頻、位深與高動(dòng)態(tài)范圍(HDR)應(yīng)用等。這些應(yīng)用或系統(tǒng)可能需要大量的計(jì)算資源來解碼，或可能在傳輸期間受到網(wǎng)絡(luò)中的帶寬變化的影響。立體視頻的傳輸是內(nèi)容提供商的ー貫?zāi)繕?biāo)。顯示技術(shù)的最新創(chuàng)新如具有3D功能的DLP (見參考文獻(xiàn)1，其全部?jī)?nèi)容通過引用合并到本申請(qǐng)中)，和諸如三菱及三星的等離子顯示器的等離子顯示器，増加了開發(fā)用于傳輸立體視頻的有效技術(shù)的緊迫性。


圖IA和圖IB示出了 3D視頻解碼框架的系統(tǒng)概況。圖2A和圖2B示出了根據(jù)本公開內(nèi)容的示教的可伸縮解碼架構(gòu)的框圖。圖3示出了根據(jù)本公開內(nèi)容的實(shí)施方式的完全解碼模式(FDM-0)。圖4示出了圖片的解碼依賴性。圖5示出了根據(jù)本公開內(nèi)容的另外的解碼模式(FDM-1)。圖6示出了根據(jù)本公開內(nèi)容的另ー解碼模式(FDM-2)。圖7示出了根據(jù)本公開內(nèi)容的再一解碼模式(FDM-3)。圖8示出了圖7的解碼模式的省略簡(jiǎn)化。圖9示出了根據(jù)本公開內(nèi)容的又一解碼模式4 (FDM-4)。圖10示出了圖9的解碼模式的省略簡(jiǎn)化。圖11示出了根據(jù)本公開內(nèi)容的示教的可伸縮解碼算法。圖12示出了用于說明本公開內(nèi)容的示教的操作模式的高級(jí)語言程序。圖13示出了根據(jù)本公開內(nèi)容的另外的實(shí)施方式的可伸縮的打包架構(gòu)的框圖。
具體實(shí)施例方式根據(jù)第一實(shí)施方式，提供了一種自適應(yīng)解碼多層視頻系統(tǒng)，包括基本層解碼器；一個(gè)或更多個(gè)增強(qiáng)層解碼器；以及與所述基本層解碼器和所述ー個(gè)或更多個(gè)增強(qiáng)層解碼器連接的解碼適配器，所述解碼適配器控制所述基本層解碼器和所述ー個(gè)或更多個(gè)增強(qiáng)層解碼器的操作。根據(jù)第二實(shí)施方式，提供了一種用于多層視頻系統(tǒng)的自適應(yīng)解碼的方法，包括讀取視頻信息；基于先前解碼的視頻信息的解碼時(shí)間來針對(duì)所述視頻信息從多個(gè)解碼模式中選擇解碼模式；根據(jù)所選擇的解碼模式對(duì)所述多層系統(tǒng)的一個(gè)或更多個(gè)層的視頻信息進(jìn)行解碼；在毎次解碼后，更新所述先前解碼的視頻信息的解碼時(shí)間；以及如果可獲得更多的視頻信息，則重復(fù)上述讀取、選擇和解碼步驟。根據(jù)第三實(shí)施方式，提供了一種適于通過網(wǎng)絡(luò)將視頻打包發(fā)送到客戶端的自適應(yīng)多層視頻服務(wù)器，包括基本層視頻打包器；一個(gè)或更多個(gè)增強(qiáng)層視頻打包器；以及與所述基本層視頻打包器和所述ー個(gè)或更多個(gè)增強(qiáng)層視頻打包器連接的打包適配器，所述打包適配器控制所述基本層視頻打包器和所述ー個(gè)或更多個(gè)增強(qiáng)層視頻打包器的操作。在本申請(qǐng)的說明書、附圖和權(quán)利要求中提供了本公開內(nèi)容的其它實(shí)施方式。

圖IA和圖IB示出了解碼系統(tǒng)的概況，其示出了基本層解碼器和增強(qiáng)層解碼器。采用圖IA的解碼系統(tǒng)的示例性架構(gòu)是MPEG-4 AVC/H. 264標(biāo)準(zhǔn)的SHP規(guī)范(Stereo HighProfile)。該規(guī)范是在標(biāo)準(zhǔn)規(guī)格中添加了立體視頻支持的、MPEG-4AVC的多視點(diǎn)視頻編碼(MVC)擴(kuò)展的特殊情況。參見，例如參考文獻(xiàn)2，其全部?jī)?nèi)容通過引用合并到本申請(qǐng)中。采用圖IB的解碼系統(tǒng)的示例性架構(gòu)是杜比的幀兼容全分辨率(FCFR)系統(tǒng)。參見，例如，于2009 年 4 月 20 日提交的題為 “Directed Interpolation and Data Postprocessing” 的美國臨時(shí)專利申請(qǐng)No. 61/170，995，以及于2009年7月4日提交的題為“Encoding andDecoding Architectures for Format Compatible 3D Video Delivery” 的美國臨時(shí)專利申請(qǐng)No. 61/223，027，兩者的全部?jī)?nèi)容通過引用合并到本申請(qǐng)中。在MPEG-4AVC SHP中，每個(gè)視點(diǎn)被存儲(chǔ)在単獨(dú)的層中。杜比FCFR的基本層存儲(chǔ)來自每個(gè)視點(diǎn)的一半數(shù)量的樣本，并且可以通過不同的交叉存取方法來構(gòu)造，如棋盤和并排交叉存儲(chǔ)等。增強(qiáng)層提供兩個(gè)視點(diǎn)的殘余信息(針對(duì)每個(gè)視點(diǎn)的另一半樣本)。該解碼系統(tǒng)將組合來自兩個(gè)層的圖片輸出以生成全分辨率的兩個(gè)視點(diǎn)。在圖IB的系統(tǒng)中，示出了參考處理單元(RPU)。RPU處理來自基本層的輸出圖片以生成高質(zhì)量的參考，該參考隨后可以用于增強(qiáng)層的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。還可以包括也在圖IB中示出的后處理單元。在3D應(yīng)用示例中，后處理單元可以通過組合兩個(gè)解碼器的輸出來產(chǎn)生每個(gè)視點(diǎn)的全分辨率圖片。本公開內(nèi)容的實(shí)施方式涉及隨后參考圖13討論的復(fù)雜度自適應(yīng)解碼與流處理技木。如上面已經(jīng)提到的，這些技術(shù)可以用于，例如，從高端到低端的處理系統(tǒng)范圍內(nèi)的各種平臺(tái)上的3D視頻流編碼系統(tǒng)的實(shí)時(shí)回放和流處理。本公開內(nèi)容的示教可以應(yīng)用到其它類似的可伸縮方案(諸如由如Sensio和Real-D等公司提出的3D方案)或使用類似的可伸縮概念的其它方案。本領(lǐng)域的普通技術(shù)人員還應(yīng)當(dāng)理解，本公開內(nèi)容的示教不限于3D應(yīng)用，而且可以包括質(zhì)量可伸縮系統(tǒng)、位深可伸縮性，除此之外還包括高動(dòng)態(tài)范圍的可伸縮方案
坐寸ο本公開內(nèi)容的另外的應(yīng)用涉及穿過異質(zhì)和變化的網(wǎng)絡(luò)的無縫視頻流，如在參考文獻(xiàn)3到參考文獻(xiàn)5中所描述的那些，其全部?jī)?nèi)容通過引用合并到本申請(qǐng)中。根據(jù)本公開內(nèi)容的若干實(shí)施方式，提供了復(fù)雜度度量與自適應(yīng)機(jī)制。圖2A和圖2B示出了控制基本層解碼器、RPU和增強(qiáng)層解碼器的操作的解碼自適應(yīng)模塊。在圖2A的實(shí)施方式中，示出了基本層解碼器和一個(gè)或更多個(gè)增強(qiáng)層解碼器。在圖2B的實(shí)施方式中，還考慮了 RPU的存在。具體地，針對(duì)每個(gè)基本層解碼器和增強(qiáng)層解碼器，解碼自適應(yīng)模塊能夠使能完全解碼模式、簡(jiǎn)化的解碼模式，或甚至使能跳過所有模式。類似地，對(duì)于RPU，解碼自適應(yīng)模塊能夠使能完全濾波、部分濾波或完全跳過RPU步驟。圖2A和圖2B的解碼自適應(yīng)模塊適于從所有其它塊(如基本解碼器、增強(qiáng)解碼器和RPU)接收反饋。傳遞到解碼自適應(yīng)模塊的信息可以包括關(guān)于解碼復(fù)雜度、塊或編碼單元之間的依賴性(通過比特流分析或甚至可能存在于比特流中的元數(shù)據(jù))的信息，以及關(guān)于電源使用和視頻質(zhì)量的信息。質(zhì)量因素可以包括目前為止引入的失真以及如果稍后做出某些決定可能引起的失真。所有這些信息都在模塊中進(jìn)行處理以進(jìn)行解碼自適應(yīng)，從而決定哪個(gè)模塊應(yīng)該受到了影響以及受到多大的影響。參考流處理實(shí)施方式可以做出類似的考慮(包括網(wǎng)絡(luò)特性)，如稍后參考圖13所討論的。在以下段落所示的示例中，考慮了具有不同復(fù)雜度的六種不同解碼模式。但是，本 領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，可以考慮任何數(shù)量的不同解碼模式。盡管以下附圖的示例示出了ー個(gè)增強(qiáng)層和ー個(gè)RPU，但是本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，RPU是可選的，并且如果期望，可以設(shè)置有不止ー個(gè)增強(qiáng)層。圖3示出了解碼模式的第一示例，其中，將計(jì)算最復(fù)雜的模式(也稱為完全解碼模式)應(yīng)用于基本層和增強(qiáng)層兩者。在本公開內(nèi)容全文中，這種模式將被稱為FDM-0。當(dāng)使用快速解碼模式吋，圖片質(zhì)量會(huì)降低，但是在這種情況下，質(zhì)量的損失是受控的。圖4示出了解碼過程中的圖片依賴性。作為示例，可自由使用的雙向預(yù)測(cè)圖片(B)依賴于預(yù)測(cè)圖片(P)，但是不用作參考，因此，在對(duì)這些圖片進(jìn)行解碼時(shí)所發(fā)生的錯(cuò)誤不會(huì)影響其它圖片的解碼過程。P圖片可以用作參考圖片以接替P圖片和B圖片。P圖片中的錯(cuò)誤將傳播到依賴于其的后面的P圖片和B圖片，甚至更糟，這種錯(cuò)誤將在整個(gè)圖片組(GOP)內(nèi)傳播。此處注意，B編碼圖片可以是可自由使用的但也可以用作針對(duì)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的參考(在本示意圖中標(biāo)記為RB圖片)。這對(duì)于幀內(nèi)編碼圖片(I)或單向預(yù)測(cè)編碼圖片(P)也是正確的。盡管在過去的編碼標(biāo)準(zhǔn)中，I與P總是用作參考并且B圖片被視為可自由使用的，但是在MPEG-4AVC/H. 264中，不再是這種情況。任何類型的圖片均可以被標(biāo)識(shí)為可自由使用的。通?？梢元?dú)立地解碼的兩個(gè)幀內(nèi)(I)編碼的圖片之間的圖像一般被認(rèn)為屬于單個(gè)G0P。在MPEG-4AVC中，幀內(nèi)編碼的圖片可能必須是即時(shí)解碼器刷新(IDR)圖片，或被標(biāo)識(shí)為隨機(jī)存取單元。結(jié)果，對(duì)于所示的示例編碼結(jié)構(gòu)，P圖片比B編碼的圖片更重要。如果使用具有固定或自適應(yīng)GOP的層級(jí)編碼結(jié)構(gòu)，則可以存在類似的依賴性。因此，根據(jù)本公開內(nèi)容的一些實(shí)施方式，將初始嘗試減小可自由使用的圖片的解碼復(fù)雜度。如果解碼速度依然比目標(biāo)解碼速度慢并且當(dāng)前參考圖片的解碼復(fù)雜度大于給定的閾值，則還依據(jù)參考圖片對(duì)GOP中的將來圖片的影響減小參考圖片的解碼復(fù)雜度。代替僅基于圖片等級(jí)，還可以基于較高的等級(jí)(如GOP等級(jí))確定解碼模式。換言之，代替毎次針對(duì)ー張圖片做出決定，系統(tǒng)可以毎次在GOP等級(jí)或針對(duì)每N張圖片做出決定。S卩，解碼器(或稍后在圖13中說明的流處理情況中的服務(wù)器)可以對(duì)復(fù)雜度性能(或流處理實(shí)施方式中的網(wǎng)絡(luò)帶寬)進(jìn)行評(píng)估并且立即做出影響當(dāng)前GOP中的所有這些圖片的決定。S卩，可以這么說可以針對(duì)所有的增強(qiáng)層圖片跳過解塊，或?qū)⒉粚?duì)GOP中的所有圖片進(jìn)行增強(qiáng)層的解碼(或針對(duì)圖13的流處理情況不傳輸任何增強(qiáng)層信息)，或甚至分析GOP中的依賴性并且基于該依賴性來確定哪些圖片應(yīng)當(dāng)完全解碼、哪些圖片地部分解碼(以及在何等級(jí))或哪些圖片完全不解碼。在這些情況下，在全局等級(jí)做出決定。但是，這不能排除也可以在局部等級(jí)(圖片或切片)處做出的額外的改良。因此，該過程可以是局部的、全局的或局部與全局的組
ム
ロ ο圖5示出了比FDM-O模式簡(jiǎn)單的第二解碼模式，該模式在本文中被稱為FDM-I模式。根據(jù)這種模式，簡(jiǎn)化了增強(qiáng)層處的解碼。通過該示例，可以簡(jiǎn)化或甚至消除非參考圖片(通常是B圖片)的解塊過程。例如，可以通過使用比由系統(tǒng)指定的解塊濾波機(jī)制更簡(jiǎn)單的解塊濾波機(jī)制僅簡(jiǎn)化或禁用某些顏色組分的解塊過程或甚至簡(jiǎn)化或禁用僅針對(duì)某些切片的解塊過程，來簡(jiǎn)化該解塊過程。
·
關(guān)于何時(shí)與如何修改解塊過程的決定可以不僅取決于復(fù)雜度而且還取決于針對(duì)圖片如何影響質(zhì)量。該決定可基于在解碼期間收集的關(guān)于圖片和圖片組的信息。通過示例，該決定可基于圖片或切片的運(yùn)動(dòng)或基于標(biāo)志信息(諸如向比特流中的該過程提供線索的元數(shù)據(jù))。通過使用圖5所示的FDM-I模式，以通常很小的圖片質(zhì)量損失為代價(jià)，解碼過程相較于FDM-O而加速。由于該模式僅影響可自由使用的非參考圖片，由該簡(jiǎn)化的解碼過程導(dǎo)致的錯(cuò)誤不會(huì)傳播給后續(xù)解碼的圖片。圖6示出了與FDM-I相比更簡(jiǎn)單的解碼模式，該模式被稱為FDM-2。根據(jù)這種模式，簡(jiǎn)化了基本層和增強(qiáng)層兩者處的解碼。通過示例的方式，簡(jiǎn)化或甚至跳過了基本層和增強(qiáng)層兩者處的非參考圖片的解塊過程。盡管由于RPU提供的參考的變更可能導(dǎo)致增強(qiáng)層中的一些其它失真以及基本層中的ー些失真，然而，由于這些幀沒有用作任何其它圖片的參考，因此在解碼期間不會(huì)產(chǎn)生漂移。應(yīng)當(dāng)理解，基礎(chǔ)層和增強(qiáng)層的簡(jiǎn)化方法可以不同，并且可以是上面參考FDM-I所討論的簡(jiǎn)化方法中的任何ー種。如果解碼速度略微低于目標(biāo)速度，則可以使用圖5和圖6中示出的解碼方法FDM-I和 FDM-2。圖7到圖10示出了兩種另外的快速解碼模式(稱為FDM-3和FDM-4)，其可以導(dǎo)致解碼過程的進(jìn)ー步簡(jiǎn)化。圖7示出了解碼模式FDM-3，其中，通過在對(duì)非參考圖片或可自由使用的圖片解碼時(shí)另外簡(jiǎn)化其殘余解碼過程來簡(jiǎn)化增強(qiáng)層。該殘余解碼過程包括如熵解碼、逆變換和逆量化等的子過程。因此，通過簡(jiǎn)化上述一種或更多種子過程，存在可以簡(jiǎn)化該過程的不同方式。另外，可以針對(duì)不同的切片簡(jiǎn)化殘余解碼，其中，每個(gè)切片可以使用基于元數(shù)據(jù)或分析的不同簡(jiǎn)化方法。在具體的實(shí)施方式中，可以跳過整個(gè)殘余解碼過程，如圖8所示。在這種情況下，RPU過程的輸出被視為增強(qiáng)層的輸出。在3D視頻編碼的情況下，通過在后處理步驟中將基本層的輸出與RPU単元的輸出多路復(fù)用在一起，解碼器將生成全分辨率的圖片。由于存儲(chǔ)在壓縮的比特流的殘余部分中的一些高頻信號(hào)不會(huì)與編碼器側(cè)的高頻信號(hào)匹配，因此解碼模式FDM-3將引入ー些另外的失真。然而，將發(fā)生無錯(cuò)傳播。此外，在使用元數(shù)據(jù)來促進(jìn)簡(jiǎn)化方法或如果該簡(jiǎn)化方法是內(nèi)容自適應(yīng)的實(shí)施方式中可以很好地控制該錯(cuò)誤。例如，可以基于切片等級(jí)在編碼器側(cè)測(cè)量殘余解碼過程簡(jiǎn)化的質(zhì)量失真，并且可以將該信息嵌入到比特流中作為元數(shù)據(jù)。在解碼器處，解碼器可以做出使能某些簡(jiǎn)化或不根據(jù)失真信息的決定。代替失真信息，還可以設(shè)置不同切片或圖片之間的依賴性，而如果考慮簡(jiǎn)化的解碼方法，失真信息可以是可引入到比特流中的潛在失真的估計(jì)。在圖13中稍后討論的流處理實(shí)施方式中，可以通過不標(biāo)志某些信息進(jìn)行錯(cuò)誤控制。在不同的實(shí)施方式中，可以僅選擇圖片中的某些切片進(jìn)行解碼，或者可以在經(jīng)過一定時(shí)間之后或在已對(duì)這些切片中的一定數(shù)量的宏塊進(jìn)行解碼之后開始及停止所有切片的并行解碼。針對(duì)還沒有解碼的殘余區(qū)域，如圖8所示，相反可以使用來自RPU的信號(hào)。圖9示出了另ー解碼模式，其在本文中被稱為FDM-4模式。根據(jù)該實(shí)施方式，可以簡(jiǎn)化RPU過程、增強(qiáng)層解碼(如殘余解碼和解塊)和增強(qiáng)層處的非參考圖片的后處理。具體地，該簡(jiǎn)化過程可涉及使用與指定的插值濾波器不同的插值濾波器，不對(duì)使用昂貴的亞像素定位的一些宏塊解碼并恢復(fù)到RTU處理的信號(hào)，以及不對(duì)使用雙向預(yù)測(cè)或加權(quán)預(yù)測(cè)等的宏塊解碼?？梢詫?duì)每個(gè)子過程或每個(gè)切片進(jìn)行該簡(jiǎn)化。還可以通過使用與指定的濾波器不同的濾波器簡(jiǎn)化RPU過程。例如，可以使用較短的濾波器來代替較長(zhǎng)的濾波器，可以使用一 維濾波器替代ニ維濾波器，可以使用固定濾波器代替顯式濾波器等?？梢葬槍?duì)整個(gè)圖片、區(qū)域(針對(duì)不同的區(qū)域可以在RPU中標(biāo)志不同的濾波器)或甚至在顔色分量等級(jí)處選擇這些濾波器。圖10示出圖9的實(shí)施方式的特殊情況，其中，跳過了 RPU過程、殘余解碼過程和解塊過程。假設(shè)已完全跳過了增強(qiáng)層并且基本層屬于非參考圖片，則FDM-4處理還可以擴(kuò)展
到基本層。在使用上面的一種或更多種實(shí)施方式依然不會(huì)產(chǎn)生充分的解碼器復(fù)雜度或期望的流處理處理功能的情況下，上面的圖和實(shí)施方式中所示的簡(jiǎn)化過程還可以擴(kuò)展到參考圖片。將上述實(shí)施方式擴(kuò)展到參考圖片的解碼模式在本文中將被稱為FDM-5。這是最快的解碼模式并且可以用在基本層、增強(qiáng)層或兩者上。在這種情況下，如果簡(jiǎn)化不是以受控的方式來完成，則可能發(fā)生差的偽像。例如，考慮圖片處于GOP中何處、因任何解碼簡(jiǎn)化將導(dǎo)致質(zhì)量受到多遠(yuǎn)和多大的影響以及復(fù)雜度和流處理中的含義可以顯著地幫助選擇應(yīng)該應(yīng)用于該圖片的過程，如果任何。一張圖片(例如靠近GOP的末端)即使是參考圖片，由于其質(zhì)量不會(huì)傳播到更多的圖片，因而其相較于GOP中早先的其它圖片可能更容易被舍棄。此外，期望在影響基本層中的參考圖片之前作用于增強(qiáng)層中的參考圖片(通過簡(jiǎn)化或跳過)。具體地，當(dāng)當(dāng)前圖片是參考圖片時(shí)，將估計(jì)該圖片的解碼復(fù)雜度(如稍后在后續(xù)段落中所說明的)，以盡可能多地減小質(zhì)量損失同時(shí)將解碼速度的増加最大化。一旦已知或估計(jì)了該圖片的解碼復(fù)雜度，如果沒有指示圖片的失真的邊信息(通過例如元數(shù)據(jù)來提供)，可以如下來處理解碼過程。如果該圖片的解碼過程的估計(jì)復(fù)雜度小于第一閾值(表示復(fù)雜度對(duì)于系統(tǒng)的解碼能力而言是足夠低的)，則在解碼過程中不發(fā)生變化。否則，如果估計(jì)的復(fù)雜度高于第一閾值而低于第二閾值;TJmm(表示復(fù)雜度既不是太低也不是太高)，則進(jìn)行解碼過程的初始簡(jiǎn)化，如解塊過程的簡(jiǎn)化。另ー方面，如果復(fù)雜度高于第二閾值 ^ _5，則進(jìn)行進(jìn)ー步的簡(jiǎn)化，如殘余解碼過程和解塊過程的簡(jiǎn)化。在圖片等級(jí)處描述了上述實(shí)施方式。但是，可以提供不同的實(shí)施方式，其中，可以在例如為子圖片等級(jí)/區(qū)域等級(jí)的切片等級(jí)處應(yīng)用所有提出的解碼模式。切片等級(jí)的應(yīng)用可以針對(duì)參考圖片和非參考圖片兩者進(jìn)行。可以基于比特流的解碼期間的先前觀察、針對(duì)解碼ー張圖片預(yù)算的平均時(shí)間以及為確保將進(jìn)行解碼而不超出該預(yù)算當(dāng)前圖片需要多少時(shí)間等，來計(jì)算用于參考圖片的上述閾值。另外，代替毎次考慮單張圖片或切片，如果需要，系統(tǒng)可以決定將多個(gè)圖片分在一組并且針對(duì)這些圖片聯(lián)合地作出這種決定。通過跳過或減少針對(duì)多個(gè)圖片的解碼器復(fù)雜度的復(fù)雜度節(jié)省可以導(dǎo)致用于其它圖片的節(jié)省，該可能對(duì)于主觀質(zhì)量具有比當(dāng)前的節(jié)省更重要的影響。關(guān)于是否跳過多個(gè)圖片的決定可以基于圖片相似度，圖片相似度可設(shè)置于比特流元數(shù)據(jù)中或甚至可以根據(jù)諸如比特流中可獲得的運(yùn)動(dòng)矢量的給定比特流信息推論出來。例如，如果兩個(gè)順序的圖片的運(yùn)動(dòng)矢量類似，則知道這些圖片也會(huì)是相似的并且可以使用類似的方法一起簡(jiǎn)化(如，跳過)。圖11示出了可控地應(yīng)用上述簡(jiǎn)化的可伸縮解碼過程的實(shí)施方式。在讀取圖片后，初始地設(shè)置解碼模式。將參考稍后描述的圖12示出如何設(shè)置解碼模式的示例。如果所選擇的解碼模式是最快解碼模式FDM-5 (如上所述，其還提供參考圖片的簡(jiǎn)化)，則還對(duì)解碼復(fù) 雜度進(jìn)行估計(jì)。如上面參考解碼模式FDM-5的描述已指出的，對(duì)解碼復(fù)雜度的估計(jì)和隨后與閾值參數(shù)的比較允許在這種解碼模式內(nèi)執(zhí)行簡(jiǎn)化的受控選擇。然后，根據(jù)所選擇的解碼模式對(duì)切片、圖片或GOP進(jìn)行解碼。然后，根據(jù)稍后將要描述的公式來更新平均解碼時(shí)間。然后，重復(fù)該過程直到解碼終止。現(xiàn)在轉(zhuǎn)到圖12，將描述根據(jù)本公開內(nèi)容的待使用的解碼模式設(shè)置算法的示例。如果平均解碼時(shí)間(DeCTimeAvg)大于第一閾值Ttl，則可以通過將解碼模式改變成簡(jiǎn)化版本(DecMode=DecMode+l)來減小解碼復(fù)雜度。如果平均解碼時(shí)間大于第二閾值T2 (T2)T0)(這表示當(dāng)前解碼非常慢)，則將解碼模式設(shè)置成最簡(jiǎn)單的模式，如上面討論的FDM-5模式(DecMode=FDM_5)。如果平均解碼時(shí)間不大于閾值Ttl并且小于閾值T1(這表示解碼足夠快)，則將增加解碼復(fù)雜度以確保更好的圖片質(zhì)量。另ー方面，如果平均解碼時(shí)間不大于閾值Ttl并且不大于閾值T1，則將保持先前使用的解碼復(fù)雜度(保持DecMode)。在以下段落中，將討論四個(gè)公式以更好地理解圖11和圖12中包含的處理。公式
(I)將描述在圖11的流程圖中如何更新平均解碼時(shí)間。另ー方面，公式(2)到公式(4)將描述如何估計(jì)解碼復(fù)雜度。具體地，公式(I)描述了如何更新平均解碼時(shí)間DecTimeAvg的示例。α是控制更新速度的因子，其可以取決于圖片組(GOP)的長(zhǎng)度。通過示例，α可以隨著GOP長(zhǎng)度的増加而減小。DecTimeAvg = LastPicDecTime · a +DecTimeAvg · (I- α )(I)現(xiàn)在回到圖11的解碼復(fù)雜度的估計(jì)步驟，該步驟可以包括兩部分。在第一部分中，對(duì)RPU處理的復(fù)雜度進(jìn)行估計(jì)。該復(fù)雜度取決于濾波器的類型和分區(qū)面積，并且例如可以通過公式(2)來計(jì)算。整個(gè)圖片的RPU過程的復(fù)雜度是所有分區(qū)的復(fù)雜度之和。
CompIexiti'RPU = > CompIexitvi fiIterj) · AreaiPartitionj)(2)
i第二部分處理殘余解碼復(fù)雜度的估計(jì)。該估計(jì)取決于編碼比特的數(shù)量和切片類型，并且例如可以通過經(jīng)由查詢表估計(jì)而由公式(3)計(jì)算。該表可以針對(duì)不同切片類型的解碼時(shí)間構(gòu)建，考慮到解碼統(tǒng)計(jì)數(shù)據(jù)，上述解碼時(shí)間具有相同尺寸。
權(quán)利要求
1.一種自適應(yīng)解碼多層視頻系統(tǒng)，包括 基本層解碼器； 一個(gè)或更多個(gè)增強(qiáng)層解碼器；以及 解碼適配器，所述解碼適配器與所述基本層解碼器和所述一個(gè)或更多個(gè)增強(qiáng)層解碼器連接，所述解碼適配器控制所述基本層解碼器和所述一個(gè)或更多個(gè)增強(qiáng)層解碼器的操作。
2.根據(jù)權(quán)利要求I所述的系統(tǒng)，還包括 一個(gè)或更多個(gè)處理模塊，所述一個(gè)或更多個(gè)處理模塊用于向所述一個(gè)或更多個(gè)增強(qiáng)層解碼器提供來自所述基本層解碼器的濾波預(yù)測(cè)，其中，所述解碼適配器還控制所述一個(gè)或更多個(gè)處理模塊的操作。
3.根據(jù)權(quán)利要求I或2所述的系統(tǒng)，其中，所述解碼適配器基于從從一個(gè)或更多個(gè)所述 基本層解碼器和所述一個(gè)或更多個(gè)增強(qiáng)層解碼器收集的信息，來控制所述基本層解碼器和所述一個(gè)或更多個(gè)增強(qiáng)層解碼器的操作。
4.根據(jù)上述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)，還包括后處理模塊，其中，所述解碼適配器基于從所述后處理模塊收集的信息，來控制所述基本層解碼器和所述一個(gè)或更多個(gè)增強(qiáng)層解碼器的操作。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中，所述后處理信息包括與所述基本層解碼器和所述一個(gè)或更多個(gè)增強(qiáng)層解碼器有關(guān)的編碼時(shí)間信息。
6.根據(jù)上述權(quán)利要求中任一項(xiàng)所述的自適應(yīng)解碼多層視頻系統(tǒng)，其中，所述解碼適配器通過簡(jiǎn)化所述基本層解碼器和/或所述一個(gè)或更多個(gè)增強(qiáng)層解碼器的操作，來控制所述基本層解碼器和/或所述一個(gè)或更多個(gè)增強(qiáng)層解碼器的操作。
7.根據(jù)權(quán)利要求6所述的自適應(yīng)解碼多層視頻系統(tǒng)，其中，所述基本層解碼器和所述一個(gè)或更多個(gè)增強(qiáng)層解碼器各自包括殘余解碼模塊和環(huán)路濾波模塊，并且其中，通過簡(jiǎn)化或去除所述基本層解碼器和/或所述一個(gè)或更多個(gè)增強(qiáng)層解碼器的所述殘余解碼模塊和所述環(huán)路濾波模塊中的一個(gè)或更多個(gè)，來進(jìn)行所述基本層解碼器和/或所述一個(gè)或更多個(gè)增強(qiáng)層解碼器的簡(jiǎn)化。
8.根據(jù)上述權(quán)利要求中任一項(xiàng)所述的自適應(yīng)解碼多層視頻系統(tǒng)，其中，參考圖像、圖像的部分、切片、圖像序列和圖片組(GOP)中的一個(gè)或更多個(gè)，控制所述基本層解碼器和所述一個(gè)或更多個(gè)增強(qiáng)層解碼器的操作。
9.根據(jù)權(quán)利要求8所述的自適應(yīng)解碼多層視頻系統(tǒng)，其中，所述解碼適配器控制非參考圖像和/或參考圖像的操作。
10.根據(jù)上述權(quán)利要求中任一項(xiàng)所述的自適應(yīng)解碼多層視頻系統(tǒng)，其中，所述解碼適配器基于復(fù)雜度估計(jì)來控制所述基本層解碼器和所述一個(gè)或更多個(gè)增強(qiáng)層解碼器的操作。
11.根據(jù)上述權(quán)利要求中任一項(xiàng)所述的自適應(yīng)解碼多層視頻系統(tǒng)，其中，所述解碼適配器基于平均解碼時(shí)間來控制所述基本層解碼器和所述一個(gè)或更多個(gè)增強(qiáng)層解碼器的操作。
12.根據(jù)上述權(quán)利要求中任一項(xiàng)所述的自適應(yīng)解碼多層視頻系統(tǒng)，其中，所述解碼適配器基于解碼質(zhì)量估計(jì)來控制所述基本層解碼器和所述一個(gè)或更多個(gè)增強(qiáng)層解碼器的操作。
13.根據(jù)權(quán)利要求10、11或12所述的自適應(yīng)解碼多層視頻系統(tǒng)，其中，所述解碼適配器還基于元數(shù)據(jù)信息來控制所述基本層解碼器和所述一個(gè)或更多個(gè)增強(qiáng)層解碼器的操作。
14.一種用于多層視頻系統(tǒng)的自適應(yīng)解碼的方法，包括如下步驟讀取視頻息； 基于先前解碼的視頻信息的解碼時(shí)間，針對(duì)所述視頻信息從多個(gè)解碼模式中選擇解碼模式； 根據(jù)所選擇的解碼模式對(duì)所述多層系統(tǒng)的一個(gè)或更多個(gè)層的所述視頻信息進(jìn)行解碼； 在每次解碼后，更新所述先前解碼的視頻信息的解碼時(shí)間；以及 如果可獲得更多的視頻信息，則重復(fù)所述讀取步驟、所述選擇步驟以及所述解碼步驟。
15.根據(jù)權(quán)利要求14所述的方法，其中，所述先前解碼的視頻信息的解碼時(shí)間是平均解碼時(shí)間。
16.根據(jù)權(quán)利要求14或15所述的方法，其中，所述多個(gè)解碼模式包括最快解碼模式，所述方法還包括當(dāng)選擇所述最快解碼模式時(shí)，對(duì)所述最快解碼模式的解碼復(fù)雜度進(jìn)行估計(jì)。
17.根據(jù)權(quán)利要求16所述的方法，其中，關(guān)于以所述最快解碼模式對(duì)所述多層系統(tǒng)的哪個(gè)層進(jìn)行解碼的決定基于所估計(jì)的所述最快解碼模式的解碼復(fù)雜度。
18.根據(jù)權(quán)利要求17所述的方法，其中，關(guān)于是否針對(duì)所述多層系統(tǒng)的一個(gè)或更多個(gè)層使用簡(jiǎn)化的解碼的決定也基于所估計(jì)的所述最快解碼模式的解碼復(fù)雜度。
19.根據(jù)權(quán)利要求18所述的方法，其中，所述決定還基于圖像質(zhì)量考慮。
20.根據(jù)權(quán)利要求14或15所述的方法，其中，所述視頻信息包括非參考圖片信息和參考圖片信息，所述方法還包括當(dāng)選擇包括參考圖片信息的視頻信息的解碼模式時(shí)，對(duì)所述解碼模式的解碼復(fù)雜度進(jìn)行估計(jì)。
21.根據(jù)權(quán)利要求20所述的方法，其中，關(guān)于以所述解碼模式對(duì)所述多層系統(tǒng)的哪個(gè)層進(jìn)行解碼的決定基于所估計(jì)的所述解碼模式的解碼復(fù)雜度。
22.根據(jù)權(quán)利要求21所述的方法，其中，關(guān)于是否針對(duì)所述多層系統(tǒng)的一個(gè)或更多個(gè)層使用簡(jiǎn)化的解碼的決定也基于所估計(jì)的所述解碼模式的解碼復(fù)雜度。
23.根據(jù)權(quán)利要求22所述的方法，其中，所述決定還基于圖像質(zhì)量考慮。
24.根據(jù)權(quán)利要求14至23中任一項(xiàng)所述的方法，其中，所述視頻信息包括圖片、圖片的部分或圖片系列。
25.根據(jù)權(quán)利要求24所述的方法，其中，所述圖片的部分是切片，且所述圖片系列是圖片組(GOP)。
26.根據(jù)權(quán)利要求14至25中任一項(xiàng)所述的方法，其中，所述多層系統(tǒng)包括基本層和一個(gè)或更多個(gè)增強(qiáng)層。
27.根據(jù)權(quán)利要求26所述的方法，其中，所述多層系統(tǒng)包括適于將來自所述基本層的解碼信息傳輸至所述增強(qiáng)層中的一個(gè)或更多個(gè)的參考處理器。
28.根據(jù)權(quán)利要求14所述的方法，其中 所述多個(gè)解碼模式基于要對(duì)所述多層系統(tǒng)的一個(gè)或更多個(gè)層執(zhí)行的解碼操作的簡(jiǎn)化量而彼此不同，以及 所述解碼模式的選擇是通過將先前實(shí)現(xiàn)的解碼操作的平均解碼時(shí)間與目標(biāo)閾值進(jìn)行比較而進(jìn)行的。
29.根據(jù)權(quán)利要求28所述的方法，其中，所述解碼模式的選擇是在以下之間選擇的保持先前選擇的解碼模式；選擇較快解碼模式；以及選擇較慢解碼模式。
30.根據(jù)權(quán)利要求28或29所述的方法，其中，所述解碼模式的選擇還取決于圖像質(zhì)量考慮。
31.一種適于將視頻包通過網(wǎng)絡(luò)發(fā)送到客戶端的自適應(yīng)多層視頻服務(wù)器，包括 基本層視頻打包器； 一個(gè)或更多個(gè)增強(qiáng)層視頻打包器；以及 打包適配器，所述打包適配器與所述基本層視頻打包器和所述一個(gè)或更多個(gè)增強(qiáng)層視頻打包器連接，所述打包適配器控制所述基本層視頻打包器和所述一個(gè)或更多個(gè)增強(qiáng)層視頻打包器的操作。
32.根據(jù)權(quán)利要求31所述的視頻服務(wù)器，其中，通過關(guān)于通過所述基本層視頻打包器和所述一個(gè)或更多個(gè)增強(qiáng)層視頻打包器經(jīng)由網(wǎng)絡(luò)發(fā)送或不發(fā)送哪些包的決定，控制所述基本層視頻打包器和所述一個(gè)或更多個(gè)增強(qiáng)層視頻打包器的操作。
33.根據(jù)權(quán)利要求31或32所述的視頻服務(wù)器，其中，所述打包適配器的控制是基于服務(wù)器生成的信息的。
34.根據(jù)權(quán)利要求31或32所述的視頻服務(wù)器，其中，所述打包適配器的控制是基于客戶端生成的信息的。
35.一種視頻處理架構(gòu)，包括根據(jù)權(quán)利要求31所述的視頻服務(wù)器和根據(jù)權(quán)利要求I所述的解碼系統(tǒng)。
全文摘要
描述了自適應(yīng)解碼、流處理多層視頻系統(tǒng)及方法。該解碼系統(tǒng)包括基本層解碼器和一個(gè)或更多個(gè)增強(qiáng)層解碼器。該流處理系統(tǒng)包括基本層打包器和一個(gè)或更多個(gè)增強(qiáng)層打包器。解碼適配器控制基本層解碼器和/或增強(qiáng)層解碼器的操作。打包適配器控制基本層打包器和/或增強(qiáng)層打包器的操作。
文檔編號(hào)H04N7/26GK102860008SQ201180005589
公開日2013年1月2日 申請(qǐng)日期2011年1月3日 優(yōu)先權(quán)日2010年1月6日
發(fā)明者賀玉文, 亞歷山德羅斯·圖拉皮斯, 佩沙拉·V·帕哈拉瓦達(dá), 阿薩納西奧斯·萊昂塔里斯 申請(qǐng)人:杜比實(shí)驗(yàn)室特許公司