專利名稱：視頻解碼方法和相應(yīng)的解碼器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻解壓縮，尤其是涉及一種用于解碼包括基礎(chǔ)層編碼的視頻信號以及增強(qiáng)層編碼的視頻信號的視頻比特流，并產(chǎn)生或者僅與基礎(chǔ)層信號相對應(yīng)從而被單獨顯示的解碼信號，或者與基礎(chǔ)層信號和增強(qiáng)層信號相對應(yīng)從而共同顯示的解碼信號的解碼方法。它還涉及一種相應(yīng)的視頻解碼器。
在一個應(yīng)用MPEG-4標(biāo)準(zhǔn)(所述的標(biāo)準(zhǔn)例如在文章“MPEG-4版本1標(biāo)準(zhǔn)的概述”中被描述，ISO/IEC JTC1/SC29/WG11 N1909，1997年10月，F(xiàn)ribourg)的編碼器中，使用了三種類型的圖像內(nèi)編碼圖像(I)，獨立于其它的圖像進(jìn)行編碼，預(yù)測編碼圖像(P)，通過運(yùn)動補(bǔ)償預(yù)測根據(jù)前一個參考圖像(I或P)進(jìn)行預(yù)測，以及雙向預(yù)測編碼圖像(B)，根據(jù)前一和接下來的參考圖像(I或P)進(jìn)行預(yù)測。I圖像是最重要的，因為它們是參考圖像并能夠提供入點(在比特流中)，在該點解碼可以不參照任何先前的圖像而進(jìn)行(在這樣的圖像中只有空間冗余被消除)。為了既減少空間冗余，又減少時間冗余，P圖像提供了一個比僅減少空間冗余的I圖像更好的壓縮。B圖像提供了最好的壓縮程度。
在MPEG-4中，使用了幾種結(jié)構(gòu)，例如視頻對象(VO)，它們是用戶可以訪問和操作的實體，以及視頻對象平面(VOP)，它們是在一個給定時間的視頻對象的實例。在一編碼比特流中，可以發(fā)現(xiàn)幾種不同類型的VOP內(nèi)編碼VOP，僅使用空間冗余(就比特而言是最昂貴的)，預(yù)測編碼VOP，根據(jù)前一參考VOP使用運(yùn)動估計和補(bǔ)償，以及雙向預(yù)測編碼VOP，根據(jù)前一以及接下來的參考VOP使用運(yùn)動估計和補(bǔ)償。
對于P-VOP以及B-VOP，只有當(dāng)前的VOP以及它的參考VOP(s)之間的差才被編碼。只有P-和B-VOP涉及到運(yùn)動補(bǔ)償，根據(jù)所謂的“塊匹配法則”執(zhí)行對于當(dāng)前幀的每個宏塊，在預(yù)定的搜索區(qū)域內(nèi)尋找參考VOP中最匹配的宏塊，并且計算一個運(yùn)動矢量MV。下面通過絕對差的和(SAD)給出了類似的標(biāo)準(zhǔn)。對于一個N×N宏塊，SAD被表示為SAD=Σi=0NxN|A(i)-B(i)|]]>這樣，選中的宏塊就與在一個搜索區(qū)域中計算出來的SAD最小的塊相對應(yīng)。對于所述的估計，存在不同的模式，這依賴于VOP的類型(a)對于P-VOP宏塊，只有“前向模式”適用(使用前面的參考I-VOP或者P-VOP)(b)對于B-VOP宏塊，在宏塊估計中可以使用四種模式-“前向模式”，(如對于P-VOP)；-“后向模式”如前向模式，只是參考不再是前面的圖像，而是接下來的P-或I-VOP；-“內(nèi)插模式”或“雙向模式”它包括前向和后向模式并且使用前一以及接下來的VOP；-“直接模式”，每一運(yùn)動矢量的計算都源于接下來的參考VOP的運(yùn)動矢量以及不同的VOP之間的時間距離。
在MPEG-4中，提供一個非常重要的功能，可伸縮性。
可伸縮編碼，也被稱為“可分層編碼”，允許以這樣的方式產(chǎn)生一個編碼表示，從而使得能夠進(jìn)行可伸縮解碼操作?？缮炜s生是允許對數(shù)據(jù)的合適子集進(jìn)行解碼的比特流特性，這導(dǎo)致了分辨率和/或質(zhì)量與解碼比特流的比例相適應(yīng)的完整圖像的產(chǎn)生。這樣的功能在許多需要視頻序列以各種分辨率和/或質(zhì)量和/或復(fù)雜生上同時獲得的應(yīng)用中是非常有用的。實際上，如果比特注可分級，用戶可以根據(jù)他的解碼器或者顯示器，或者根據(jù)他的可用帶寬僅訪問它的一部分從而提供基礎(chǔ)的視頻，而其它的用戶可以使用整個比特流從而產(chǎn)生一個較好的視頻質(zhì)量。
可伸縮性，就編碼過程而言，成本要低于幾個獨立的比特流被編碼的解決方案，其優(yōu)勢在于，它允許將一個比特流至少分成兩個不同的比特流(并且，其中，一個的比特率要大于另一個)來提供。因此可伸縮性的每一種類型要涉及一個以上的層。在時間可伸縮的情況下，至少要考慮包括一個低級層以及一個高級層的兩層。低級層被稱為基礎(chǔ)層，以一個給定的幀速率進(jìn)行編碼，另外的層被稱為增強(qiáng)層，被編碼以提供在基礎(chǔ)層中失去的信息(為了形成一個具有較高幀速率的視頻信號，例如在文章“MPEG-4視頻標(biāo)準(zhǔn)的細(xì)粒度可伸縮概述”的圖4所述的情況，W.Li，IEEE視頻技術(shù)的電路與系統(tǒng)學(xué)報，vol.11，n°3，2001，3)并且在顯示端提供較高的瞬時清晰度。一個解碼器可以僅解碼與解碼視頻流所需的最小數(shù)量數(shù)據(jù)相應(yīng)的基礎(chǔ)層，或者也解碼增強(qiáng)層(除了基礎(chǔ)層)，如果與相應(yīng)基礎(chǔ)層的數(shù)據(jù)相關(guān)，所述的增強(qiáng)層與提供一個增強(qiáng)視頻信號所需的附加數(shù)據(jù)相應(yīng)，并且如果需要一個更高的分辨率就每秒輸出更多的幀。
但是在解碼端，存在著在基礎(chǔ)層顯示的圖像與增強(qiáng)層顯示的圖像之間較大的質(zhì)量差別的情況，例如在每一層可用的帶寬不同的時候。在那種情況下，由于閃爍的影響，解碼序列的主觀質(zhì)量是非常低的，即使僅有少部分幀(基礎(chǔ)層的幀)與序列的平均質(zhì)量相比具有較低的質(zhì)量。
因此本發(fā)明的一個目的是提供-種能夠改進(jìn)解碼序列的顯示質(zhì)量的視頻解碼方法。
為此，本發(fā)明涉及一種例如在本說明書的介紹段落中所述的解碼方法，它包括以下步驟-解碼基礎(chǔ)層編碼的視頻信號從而產(chǎn)生解碼的基礎(chǔ)層幀；-解碼增強(qiáng)層編碼的視頻信號從而產(chǎn)生解碼的增強(qiáng)層幀；-單獨顯示解碼的基礎(chǔ)層幀或者和解碼的增強(qiáng)層幀一起共同顯示從而形成視頻幀；所述的方法其特征在于顯示步驟本身包括-判斷子步驟，用于根據(jù)給定的標(biāo)準(zhǔn)檢查將被顯示的連續(xù)基礎(chǔ)層幀的每一幀的質(zhì)量并且選出質(zhì)量差的幀；-替換子步驟，用于利用在所述的質(zhì)量差的基礎(chǔ)層幀之前的和之后的兩幀增強(qiáng)層幀中的至少一幀來替換每一個質(zhì)量差的基礎(chǔ)層幀。
現(xiàn)將參照其中示出了用于編碼和解碼視頻序列的系統(tǒng)的一般設(shè)備的附

圖1，更為詳細(xì)地說明本發(fā)明。
圖1中示出了通常用于執(zhí)行視頻序列的編碼和解碼的系統(tǒng)。所述的系統(tǒng)包括一個視頻編碼部分1，一個視頻解碼部分3以及在它們之間的傳送介質(zhì)2，編碼部分1包括一個視頻幀信號源11，用于產(chǎn)生未壓縮的視頻幀，一個視頻編碼器12，用于編碼從信號源11接收的幀，以及一個編碼緩沖器13。在編碼器12中，以一個給定的幀速率輸入的未壓縮視頻幀根據(jù)MPEG-4標(biāo)準(zhǔn)的原則被編碼并被傳送到編碼緩沖器13，在其輸出端，存儲的、編碼的幀被發(fā)送到傳送介質(zhì)2
在解碼端，傳送的編碼幀被視頻解碼部分3所接收，視頻解碼部分3包括一個解碼緩沖器14，一個視頻解碼器15以及一個視頻顯示器16。解碼緩沖器14接收并存儲傳送的編碼的幀并且通常以同樣的幀速率將它們傳送到視頻解碼器15來對這些幀進(jìn)行解碼，解碼的幀然后被發(fā)送到視頻顯示器16顯示它們。
在目前的可伸縮編碼配置的情況下，視頻編碼器12包括一個基礎(chǔ)層編碼部分，它從信號源11接收與原始的視頻信號相對應(yīng)的幀，并且編碼這些幀從而產(chǎn)生一個基礎(chǔ)層比特流，發(fā)送到編碼緩沖器13，以及一個增強(qiáng)層編碼部分，它一方面接收與原始視頻信號相對應(yīng)的幀(從信號源11)，一方面接收源于在基礎(chǔ)層比特流中傳送的編碼幀的解碼幀。該增強(qiáng)層編碼部分以增強(qiáng)層編碼比特流的形式產(chǎn)生一個剩余信號，它表示在基礎(chǔ)層幀中丟失的圖像信息并且因此可以被加到基礎(chǔ)層比特流中。
相反的，在解碼端，視頻解碼部分3的解碼器15包括處理電路，用于接收編碼的基礎(chǔ)層比特流以及編碼的增強(qiáng)層比特流，并向視頻顯示器16發(fā)送或者與基礎(chǔ)層信號相對應(yīng)的解碼的信號，用于單獨顯示，或者與增強(qiáng)層信號和基礎(chǔ)層信號一起相對應(yīng)的解碼的信號，用于共同顯示。
在一些條件下，例如當(dāng)對于每一層來說可用的帶寬是不同的時候，可以看出從基礎(chǔ)層顯示的圖像與從增強(qiáng)層顯示的圖像之間的較大的質(zhì)量差別。在這樣的情況下，由于閃爍的影響，顯示的解碼序列的主觀質(zhì)量將是低的，即使僅有基礎(chǔ)層中的幾幀圖像具有低于序列中的平均水平的質(zhì)量。如果所述的基礎(chǔ)層的低質(zhì)量的圖像不被顯示，而由增強(qiáng)層中的圖像所替代，這樣的缺點就會被避免這些替換幀可以是例如由增強(qiáng)層的前一幀或者后一幀內(nèi)插所得的幀。這些替換幀也可以是通過拷貝前一或者后一幀所得的幀，例如時間上最接近的幀。
為了判斷解碼幀是否具有一個可被顯示的質(zhì)量，需要定義一個質(zhì)量標(biāo)準(zhǔn)。例如，可以存儲和比較連續(xù)幀的量化步長在具有一個與其它先前的或者后面的幀顯著不同的所述量化步長的幀的情況下，所述的幀很可能具有較差的質(zhì)量。另一標(biāo)準(zhǔn)可以是這樣的。將每一幀分成8*8的塊，檢查所述塊的邊界紋理梯度如果所述梯度在一個特定基礎(chǔ)層幀中非常高，所述的幀就被看作是具有一個差的質(zhì)量而不被顯示。
應(yīng)該明白，上面描述的視頻解碼器能夠采用硬件或者軟件來實現(xiàn)，或者通過硬件與軟件的結(jié)合來實現(xiàn)。然后可以通過任何類型的計算機(jī)系統(tǒng)或者其他適于執(zhí)行上述方法的裝置來實現(xiàn)，包括例如一個存儲器，存儲計算機(jī)可執(zhí)行處理步驟，以及一個處理器，用于執(zhí)行存儲在存儲器中的處理步驟從而產(chǎn)生將被顯示的解碼幀。一個典型的硬件與軟件的結(jié)合是通用計算機(jī)系統(tǒng)和計算機(jī)程序，當(dāng)程序被裝載和執(zhí)行時，控制計算機(jī)系統(tǒng)從而執(zhí)行上述的方法。此外，可以利用一個包括用于執(zhí)行本發(fā)明的一個或者多個功能的特定硬件的特定用途計算機(jī)。本發(fā)明也可以被嵌入到一個計算機(jī)程序介質(zhì)或者產(chǎn)品中，它包括能夠執(zhí)行上面描述的方法和功能的所有特征，以及當(dāng)被裝載到一個計算機(jī)系統(tǒng)時，它能夠執(zhí)行這些方法和功能。本發(fā)明也涉及存儲在這樣的計算機(jī)可讀介質(zhì)或產(chǎn)品上的、并且用于執(zhí)行所述的視頻解碼方法的計算可執(zhí)行處理步驟。計算機(jī)程序，軟件程序，程序，程序產(chǎn)品或者軟件，在本文中的意思是一組指令的任何語言、編碼或者符號的任何表達(dá)，該組指令使得一個具有信息處理能力的系統(tǒng)直接或者在下面的兩者之一或全部完成以后執(zhí)行一個特定的功能，(a)轉(zhuǎn)換成其它語言，編碼或者符號，和/或(b)以一個不同的物質(zhì)形式再現(xiàn)。
前面對本發(fā)明的描述是為了舉例和說明并不是窮舉，也不是將發(fā)明限制在公開的精確形式中，在上面的指教下可以做出各種變形。這樣的變形對于本領(lǐng)域的技術(shù)人員來說是明顯的，應(yīng)當(dāng)包含在本發(fā)明的范圍內(nèi)。
權(quán)利要求
1.一種用于視頻解碼器的對視頻比特流進(jìn)行解碼的方法，所述視頻比特流包括基礎(chǔ)層和增強(qiáng)層編碼視頻信號，所述視頻解碼器包括處理電路，它能夠從傳送和/或存儲介質(zhì)中接收本身包括所述基礎(chǔ)層編碼視頻信號和增強(qiáng)層編碼視頻信號的所述視頻比特流，并解碼所述比特流，從而產(chǎn)生或者僅與基礎(chǔ)層信號相對應(yīng)的、用于單獨顯示的解碼信號，或者與基礎(chǔ)層和增強(qiáng)層信號相對應(yīng)的、用于共同顯示的解碼信號，方法包括以下步驟-解碼所述基礎(chǔ)層編碼視頻信號從而產(chǎn)生解碼的基礎(chǔ)層幀；-解碼增強(qiáng)層編碼視頻信號從而產(chǎn)生解碼的增強(qiáng)層幀；-單獨顯示所述解碼的基礎(chǔ)層幀或者和所述解碼的增強(qiáng)層幀一起共同顯示從而形成視頻幀；所述方法其特征在于所述顯示步驟本身包括-判斷子步驟，用于根據(jù)給定的標(biāo)準(zhǔn)檢查將被顯示的連續(xù)基礎(chǔ)幀的每一幀的質(zhì)量并且選出質(zhì)量差的幀；-替換子步驟，用于利用在所述質(zhì)量差的基礎(chǔ)層幀之前的和之后的兩幀增強(qiáng)層幀中的至少一幀來替換每一個質(zhì)量差的基礎(chǔ)層幀。
2.如權(quán)利要求1所述方法，其特征在于每一個質(zhì)量差的基礎(chǔ)層幀被時間最接近的所述增強(qiáng)層的所述之前的和之后的幀所替代。
3.如權(quán)利要求1所述方法，其特征在于所述質(zhì)量差的基礎(chǔ)層幀被通過在所述增強(qiáng)層的所述之前的和之后的幀之間的內(nèi)插所得的幀替代。
4.一種視頻解碼器，用于解碼包括基礎(chǔ)層編碼視頻信號和增強(qiáng)層編碼視頻信號的視頻比特流，其中所述增強(qiáng)層包括以顯示順序排列的增強(qiáng)幀，所述解碼器包括-第一解碼裝置，用于產(chǎn)生解碼的基礎(chǔ)層幀；-第二解碼裝置，用于產(chǎn)生解碼的增強(qiáng)層幀；-顯示裝置，用于顯示所述解碼的基礎(chǔ)層和增強(qiáng)層幀，其中要被顯示的基礎(chǔ)層的每一質(zhì)量差的幀都被或者通過在所述基礎(chǔ)層質(zhì)量差的幀之前和之后的兩個增強(qiáng)層幀之間的內(nèi)插獲得的幀所替代，或者僅由這兩幀中的一幀所替代。
全文摘要
本發(fā)明涉及一種解碼包括基礎(chǔ)層和增強(qiáng)層編碼視頻信號的視頻比特流的方法，所述的方法包括解碼基礎(chǔ)層和增強(qiáng)層編碼視頻信號從而產(chǎn)生解碼基礎(chǔ)層幀和解碼增強(qiáng)層幀，以及單獨顯示解碼基礎(chǔ)層幀或者和解碼增強(qiáng)幀一起共同顯示。根據(jù)本發(fā)明，要被顯示的每一個基礎(chǔ)層的差質(zhì)量的幀將會被或者通過在所述的基礎(chǔ)層差質(zhì)量的幀之前或之后的兩個增強(qiáng)層幀之間的內(nèi)插所得的幀代替，或者被這兩幀中的一幀所替代，例如時間上最接近的那一幀。
文檔編號H04N7/50GK1395800SQ01803962
公開日2003年2月5日 申請日期2001年11月16日 優(yōu)先權(quán)日2000年11月23日
發(fā)明者Y·拉曼津 申請人:皇家菲利浦電子有限公司