專利名稱：視頻編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼。
視頻序列由一系列靜止圖像或幀構(gòu)成。視頻壓縮方法是基于減少視頻序列的冗余和感覺上不相關(guān)的部分。視頻序列中的冗余度可以分為光譜、空間及時間冗余度。光譜冗余度指的是相同圖像的不同彩色成分之間的相似性?？臻g冗余度是由圖像中相鄰像素之間的相似性所導(dǎo)致的。由于出現(xiàn)在前一圖像中的對象也可能出現(xiàn)在當前圖像中，因此存在時間冗余度。通過利用這種時間冗余度并且從稱作錨點或參考圖像的另一圖像來預(yù)測當前圖像，可以實現(xiàn)壓縮。通過產(chǎn)生描述當前圖像和前一圖像之間運動的運動補償數(shù)據(jù)，實現(xiàn)進一步壓縮。
但是，僅通過減小序列的固有冗余度通常無法實現(xiàn)足夠的壓縮。因此，視頻編碼器還嘗試降低視頻序列中主觀上不太重要的那些部分的質(zhì)量。另外，通過壓縮參數(shù)和系數(shù)的有效無損編碼，減小了編碼比特流的冗余度。主要技術(shù)是采用可變長度碼。
視頻壓縮方法通常區(qū)分采用時間冗余度壓縮和不采用時間冗余度壓縮的圖像。不采用時間冗余度壓縮方法的壓縮圖像通常稱作INTRA或I幀或I圖像。時間上預(yù)測的圖像通常是從出現(xiàn)在當前圖像之前的圖像進行正向預(yù)測，并且稱作INTER或P幀。在INTER幀的情況下，預(yù)測的運動補償圖像幾乎都不夠精確，因此把空間上壓縮的預(yù)測差錯幀與各INTER幀相關(guān)聯(lián)。INTER圖像可以包含INTRA編碼的區(qū)域。
許多視頻壓縮方案還采用了時間上雙向預(yù)測的幀，它們通常稱作B圖像或B幀。B圖像插入I和/或P幀的錨點圖像對之間，并且根據(jù)這些錨點圖像中任一個或兩個來進行預(yù)測。與正向預(yù)測圖像相比，B圖像通常得到增大的壓縮。B圖像不用作錨點圖像，也就是說，不根據(jù)它們來預(yù)測其它圖像。因此，它們可以被(有意或無意地)丟棄，而不影響后續(xù)圖像的圖像質(zhì)量。雖然與P圖像相比，B圖像可以改善壓縮性能，但是它們的產(chǎn)生要求較大的計算復(fù)雜度和存儲器用量，并且它們還引入額外的延遲。對于如視頻流之類的非實時應(yīng)用，這可能不成問題，但是在如電視會議之類的實時應(yīng)用中就會產(chǎn)生問題。
壓縮的視頻剪輯通常由圖像序列構(gòu)成，它們可大致分為時間上獨立的INTRA圖像和時間上差分編碼的INTER圖像。由于INTRA圖像中的壓縮效率通常低于INTER圖像，因此保守地使用INTRA圖像，尤其是在較低比特率的應(yīng)用中。
視頻序列可以包含許多場景或鏡頭。不同場景之間，圖像內(nèi)容可能明顯不同，因此，場景中的第一幅圖像通常是INTRA編碼的。電視和電影素材中存在頻繁的場景變化，而在電視會議中場景剪接相對較少。另外，通常插入INTRA圖像來停止重構(gòu)的視頻信號中的傳輸差錯在時間上的傳播，以及向視頻比特流提供隨機存取點。
壓縮視頻易受到傳輸差錯的破壞，主要有兩個原因。首先，由于利用了時間預(yù)測差分編碼(INTER幀)，在空間和時間上都傳播了差錯。實際上，這意味著一旦出現(xiàn)差錯，較長時間內(nèi)肉眼容易看到。尤其易受影響的是低比特率的傳輸，其中只有少量INTRA編碼的幀，因此在一段時間內(nèi)時間上的差錯傳播不會停止。其次，可變長度碼的使用增加了對差錯的敏感度。當比特差錯改變了碼字時，解碼器會丟失碼字同步，并且還會對后續(xù)的無差錯碼字(包括若干比特)進行錯誤解碼，直到下一個同步(或開始)碼為止。同步碼是一種位模式，它無法根據(jù)其它碼字的任何合法組合來產(chǎn)生，把這些碼不時地添加到比特流中來實現(xiàn)再同步。另外，在傳輸過程中丟失數(shù)據(jù)時會產(chǎn)生差錯。例如，在IP網(wǎng)絡(luò)中采用不可靠的UDP傳輸協(xié)議的視頻應(yīng)用中，網(wǎng)元可能丟棄部分的編碼視頻比特流。
接收機有許多方法來解決傳輸路徑中引入的訛誤。一般，在接收到信號時，首先檢測傳輸差錯，然后再由接收機來校正或隱藏。糾錯是指將錯誤數(shù)據(jù)恢復(fù)到完全象以前從未引入任何差錯一樣的處理。差錯隱藏是指隱藏傳輸差錯的影響、使得在重構(gòu)的視頻序列中幾乎看不到這些差錯的處理。通常由源或傳輸編碼添加一定量的冗余度，以便幫助差錯檢測、糾正以及隱藏。差錯隱藏技術(shù)大致可分為三類正向差錯隱藏、通過后處理的差錯隱藏以及交互差錯隱藏。術(shù)語“正向差錯隱藏”是指這樣一些技術(shù)，其中，發(fā)射機側(cè)將冗余加入所發(fā)送的數(shù)據(jù)，以便提高編碼數(shù)據(jù)的差錯恢復(fù)力。通過后處理的差錯隱藏是指對接收信號的特性作出響應(yīng)而在解碼器上進行的操作。這些方法估算錯誤接收的數(shù)據(jù)的正確表示。在交互差錯隱藏中，發(fā)射機和接收機配合工作，以便使傳輸差錯的影響減至最小。這類方法主要利用接收機提供的反饋信息。通過后處理的差錯隱藏也可稱作被動差錯隱藏，而其它兩類代表主動差錯隱藏的形式。
現(xiàn)有大量已知的隱藏算法，在Y.Wang和Q.-F.Zhu的“視頻通信的差錯控制和隱藏述評”(Proceedings of the IEEE，第86卷，第5期，1998年5月，第974-997頁)中以及在P.Salama、N.B.Shroff、E.J.Delp提交給IEEE Joumal on Selected Areas in Communications的文章“編碼視頻中的差錯隱藏”中，對這些算法提供了述評。
當前的視頻編碼標準為自給自足的視頻比特流定義了語法。編撰時最通用的標準是ITU-T建議H.263，“低比特率通信的視頻編碼”，1998年2月；ISO/IEC 14496-2，“視聽對象的通用編碼，第2部分視覺”，1999年(稱作MPEG-4)；以及ITU-T建議H.262(ISO/IEC13818-2)(稱作MPEG-2)。這些標準定義了用于比特流以及相應(yīng)地用于圖像序列和圖像的分級結(jié)構(gòu)。
在H.263中，語法具有包括四層的分層結(jié)構(gòu)圖像層、圖段層、宏塊層以及塊層。圖像層的數(shù)據(jù)包含影響整個圖像區(qū)以及圖像數(shù)據(jù)解碼的參數(shù)。這種數(shù)據(jù)的絕大部分安排在所謂的圖像信頭中。
圖段層可以是塊層組或者一個片段層。缺省情況下，各圖像被分為多個塊組。一個塊組(GOB)通常包含16個相繼的像素行。各GOB的數(shù)據(jù)包含可選的GOB信頭以及隨后的宏塊數(shù)據(jù)。如果使用可選的片段結(jié)構(gòu)化模式，則各圖像被分為若干片段而不是若干GOB。一個片段包含多個按掃描順序排列的相繼宏塊。每片段的數(shù)據(jù)包含片段信頭以及隨后的宏塊數(shù)據(jù)。
各GOB或片段被分成多個宏塊。一個宏塊涉及到亮度的16×16個像素(或2×2個塊)，以及空間上相應(yīng)的色度分量的8×8個像素(或塊)。一個塊涉及到亮度或色度的8×8個像素。
塊層數(shù)據(jù)包含均勻量化的離散余弦變換系數(shù)，它們按Z字形順序被掃描，采用游程長度編碼器來處理，并采用可變長度碼來編碼。MPEG-2和MPEG-4層分級結(jié)構(gòu)類似于H.263中的一個。
缺省情況下，這些標準一般將時間上的前一參考圖像(I或P)(又稱作錨點圖像)作為運動補償?shù)膮⒖?。這條信息不會被發(fā)送，也就是說，比特流不包含標識參考圖像的信息。因此，解碼器無法檢測是否丟失了參考圖像。雖然許多傳輸編碼器將視頻數(shù)據(jù)放入若干數(shù)據(jù)包中并將序號與這些數(shù)據(jù)包相關(guān)聯(lián)，但這些序號不與視頻比特流相關(guān)。例如，一部分視頻比特流可能包含P圖像P1、B圖像B2、P圖像P3以及P圖像P4，它們按這種順序被捕捉(以及被顯示)。然而，該部分將會按以下順序進行壓縮、傳送及解碼P1、P3、B2、P4，因為B2在能夠被編碼或解碼之前需要P1和P3。假定每個圖像有一個數(shù)據(jù)包，每個數(shù)據(jù)包含有一個序號，并且攜帶B2的數(shù)據(jù)包已丟失，則接收機能夠根據(jù)數(shù)據(jù)包序號來檢測該數(shù)據(jù)包丟失。但是，接收機無法檢測是否丟失了P4的運動補償參考圖像或者是否丟失了B圖像，在該情況下它能夠正常地繼續(xù)進行解碼。
因此，解碼器通常向發(fā)射機發(fā)送INTRA請求，并凍結(jié)顯示器上的圖像。但發(fā)射機可能不會響應(yīng)這個請求。例如在非實時視頻流應(yīng)用中，發(fā)射機無法響應(yīng)來自解碼器的INTRA請求。因此，解碼器凍結(jié)圖像，直至接收到下一個INTRA幀。在實時應(yīng)用、如電視會議中，發(fā)射機可能無法響應(yīng)。例如，在多方會議中，編碼器可能無法響應(yīng)各個請求。解碼器還是凍結(jié)圖像，直到發(fā)射機輸出INTRA幀。
根據(jù)本發(fā)明的第一方面，提供一種對表示圖像序列的視頻信號進行編碼的方法，該方法既采用了非時間預(yù)測又采用了時間預(yù)測，其中所述方法包括對于構(gòu)成用于另一圖像的時間預(yù)測的參考圖像的每個圖像，將指示符與每個這樣的圖像相關(guān)聯(lián)，該指示符指明編碼視頻信號中的參考圖像相對于編碼視頻信號中的其它參考圖像的時間順序。
這樣，每個參考圖像(如I幀和P幀)均與序號相聯(lián)系。最好是在每次對參考圖像進行編碼時使指示符遞增。最佳方法是，在每次對參考圖像進行編碼時使指示符加一。這樣，指示符在前一參考圖像的基礎(chǔ)上力一。
如果使用多層編碼，則這個指示符最好是在相同增強層中的前一參考圖像的基礎(chǔ)上加一。
包含該指示符意味著解碼器能夠確定是否丟失了參考圖像并且在有效時采取適當?shù)男袆?。即使傳輸協(xié)議未包含與發(fā)送的數(shù)據(jù)包有關(guān)的序列信息，或者發(fā)射機使用了變化封裝策略，情況也是如此。例如，如果發(fā)射機在一個數(shù)據(jù)包中封裝了不定數(shù)量的GOB，則接收機即使能夠根據(jù)數(shù)據(jù)包序號來檢測數(shù)據(jù)包丟失，也無法可靠地知道丟失了多少GOB或者整個圖像。
本發(fā)明還使解碼器能夠把B圖像丟失與參考圖像丟失區(qū)分開。因此，解碼器在B圖像丟失之后能夠繼續(xù)進行解碼，而不是等待下一個INTRA圖像。
另外，如果丟失了來自較高增強層的參考圖像，則解碼器可以繼續(xù)對較低增強層進行解碼。
參考圖像序號可以與整個圖像或圖像的一部分有關(guān)。在前一種情況下，參考圖像序號通常包含在圖像信頭中。在本發(fā)明的一種最佳實現(xiàn)中，視頻信號是根據(jù)H.263標準編碼的，而指示符包含在附加增強信息中。在RPON與圖像的一部分有關(guān)的情況下，參考圖像序號可以包含在編碼圖像的圖段信頭或宏塊信頭中。
根據(jù)本發(fā)明的第二方面，提供一種對表示圖像序列的編碼視頻信號進行解碼的方法，該方法包括接收編碼視頻信號；對每個接收的圖像進行解碼；對于構(gòu)成另一個圖像的參考圖像的每個待解碼圖像，檢查表示參考幀的時間順序的指示符；以及如果指示符不是連續(xù)地從緊靠前面的已解碼的參考幀得出的，則檢測丟失的參考幀。
解碼器最好是向發(fā)射機發(fā)送請求，使其在指示符不是連續(xù)地從緊靠前面的已解碼的參考幀得出的情況下，以非時間方式對圖像進行編碼。
根據(jù)本發(fā)明的第三方面，提供一種編碼視頻信號，其中，對于構(gòu)成用于另一圖像的時間預(yù)測的參考圖像的每個圖像，將指示符與每個這樣的參考圖像相關(guān)聯(lián)，指示編碼視頻流中參考圖像的時間順序。
根據(jù)本發(fā)明的第四方面，提供一種視頻編碼器，它包括輸入，用于接收表示圖像序列的視頻信號以及產(chǎn)生編碼圖像，所述編碼器被設(shè)置成既采用非時間預(yù)測又采用時間預(yù)測，其中所述編碼器被設(shè)置成對于構(gòu)成用于另一圖像的時間預(yù)測的參考圖像的每個圖像，將各參考圖像與指示符相關(guān)聯(lián)，指示符指明編碼視頻信號中的參考圖像相對于編碼視頻信號中的其它參考圖像的時間順序。
最好是在每次對參考圖像進行編碼時使指示符遞增。
根據(jù)本發(fā)明的第五方面，提供一種視頻解碼器，它包括用于接收表示圖像序列的編碼視頻信號的輸入；用于對每個接收的圖像進行解碼的解碼器，所述解碼器被設(shè)置成對于構(gòu)成另一圖像的參考圖像的每個待解碼圖像、檢查表示參考幀的時間順序的指示符，并且在指示符不是連續(xù)地從緊靠前面的解碼參考幀得出的情況下，檢測丟失的參考幀。
本發(fā)明還涉及便攜式無線電通信裝置，其中包括上述的編碼器和/或解碼器。
僅以舉例的方式參照附圖來描述本發(fā)明，圖中

圖1說明一種多媒體移動通信系統(tǒng)；圖2說明多媒體終端的多媒體組件的一個實例；
圖3說明視頻編解碼器的一個實例；圖4說明根據(jù)本發(fā)明的第一實施例的視頻編碼器的第一種實現(xiàn)的操作；圖5說明根據(jù)本發(fā)明的第一實施例的視頻編碼器的第二種實現(xiàn)的操作；圖6說明根據(jù)H.263所知的比特流的語法；圖7說明根據(jù)本發(fā)明的編碼器所輸出的比特流的第一實例；圖8說明根據(jù)本發(fā)明的編碼器所輸出的比特流的第二實例；圖9說明根據(jù)本發(fā)明的編碼器所輸出的比特流的第三實例；圖10說明視頻編碼中用于SNR可縮放性的增強層；以及圖11說明視頻編碼中用于空間可縮放性的增強層。
圖1說明一種典型的多媒體移動通信系統(tǒng)。第一多媒體移動終端1通過到移動通信網(wǎng)絡(luò)4的無線電鏈路3與第二多媒體移動終端2進行通信。在兩個終端1、2之間發(fā)送控制數(shù)據(jù)以及多媒體數(shù)據(jù)。
圖2說明終端1的典型多媒體組件。終端包括視頻編解碼器10、音頻編解碼器20、數(shù)據(jù)協(xié)議管理器30、控制管理器40、復(fù)用器/分用器50以及調(diào)制解調(diào)器60(如果需要的話)。視頻編解碼器10從終端的視頻捕捉裝置(未標出)(如攝像機)接收要編碼的信號，以及從遠程終端2接收要解碼的信號，以供終端1在顯示器70上顯示。音頻編解碼器20從終端1的傳聲器(未標出)接收要編碼的信號，以及從遠程終端2接收要解碼的信號，以便通過終端1的揚聲器(未標出)再現(xiàn)。
控制管理器40控制視頻編解碼器10、音頻編解碼器20以及數(shù)據(jù)協(xié)議管理器30的操作。但是，由于本發(fā)明與視頻編解碼器10的操作有關(guān)，因此不再對音頻編解碼器20和協(xié)議管理器30進行討論。
圖3說明根據(jù)本發(fā)明的視頻編解碼器10的實例。視頻編解碼器包括編碼器部分100和解碼器部分200。編碼器部分100包括輸入101，用于從終端1的攝像機或視頻源(未標出)接收視頻信號。切換器102使編碼器在編碼的INTRA模式和INTER模式之間進行切換。
在INTRA模式中，來自輸入101的視頻信號由DCT變換器103轉(zhuǎn)換為DCT系數(shù)。然后，DCT系數(shù)被傳遞給將系數(shù)量化的量化器104。切換器102和量化器104均由視頻編解碼器的編碼控制管理器105控制，編碼控制管理器105還通過控制管理器40從接收終端2接收反饋控制。
在INTER模式中，對切換器102進行操作，以便從減法器106接收來自輸入101的信號與存儲在圖像存儲器107中的前一圖像之差。從減法器106輸出的差數(shù)據(jù)表示當前圖像與存儲在圖像存儲器107中的前一圖像之間的預(yù)測誤差。使量化器輸出的數(shù)據(jù)通過逆量化器108，并將逆DCT變換109應(yīng)用于逆量化的數(shù)據(jù)，從而產(chǎn)生圖像存儲器107中的數(shù)據(jù)。所產(chǎn)生的數(shù)據(jù)由加法器110加入圖像存儲器107的內(nèi)容中。運動估算器111可以從圖像存儲器107的數(shù)據(jù)中以傳統(tǒng)方式產(chǎn)生運動補償數(shù)據(jù)。
編碼控制管理器105確定是應(yīng)用INTRA還是應(yīng)用INTER編碼，或者完全根據(jù)減法器106的輸出或者對接收解碼器接收的反饋控制數(shù)據(jù)作出響應(yīng)，對幀進行編碼。在不對反饋控制數(shù)據(jù)作出響應(yīng)時，或者僅在編碼開始時(所有其它幀是P幀)，或者按照一定間隔，例如每5秒，或者在減法器的輸出超過閾值時，即當前圖像和存儲在圖像存儲器107中的圖像大不相同時，編碼器通常將幀編碼為INTRA幀。還可以對編碼器進行編程，以便按特別規(guī)定的序列、如I B B P B B P B B PB B P B B I B B P等對幀進行編碼。另外，編碼控制管理器還可以確定對某個接收的幀完全不編碼。在當前幀和參考幀之間的相似性極高、使得編碼器決定不對當前幀進行編碼時，出現(xiàn)這種情況。編碼控制管理器相應(yīng)地操作切換器。
視頻編解碼器輸出經(jīng)量化的DCT系數(shù)112a、量化索引112b(即所用量化器的詳細資料)、表明所執(zhí)行的編碼模式(I或P/B)的INTRA/INTER標志112c、表明所編碼的幀的號碼的發(fā)送標志112d以及所編碼的圖像的運動矢量112e。它們與其它多媒體信號共同由復(fù)用器50復(fù)用在一起。
視頻編解碼器10的解碼器部分200包括逆量化器120、逆DCT變換器121、運動補償器122、圖像存儲器123以及控制器124?？刂破?24接收由分用器50從編碼多媒體流中分用的視頻編解碼器控制信號。實際上，編碼器的控制器105和解碼器的控制器124可以是同一個處理器。
下面說明根據(jù)本發(fā)明的編碼器的操作。視頻編解碼器10接收待編碼的視頻信號。視頻編解碼器的編碼器100通過執(zhí)行DCT變換、量化以及運動補償來對視頻信號進行編碼。然后，經(jīng)解碼的視頻數(shù)據(jù)輸出給復(fù)用器50。復(fù)用器50將來自視頻編解碼器10的視頻數(shù)據(jù)和來自控制管理器40的控制數(shù)據(jù)(以及其它適當?shù)男盘?復(fù)用為多媒體信號。終端1將此多媒體信號經(jīng)調(diào)制解調(diào)器60(根據(jù)需要)輸出給接收終端2。
在本發(fā)明的第一實施例中，每次編碼器對可能形成后續(xù)幀的參考幀的一幀進行編碼時，編碼控制管理器105將所謂的參考圖像序號(RPON)與該幀相關(guān)聯(lián)。例如，RPON與視頻信號的每個I或P幀相關(guān)聯(lián)，但不與B幀相關(guān)聯(lián)。每次對連續(xù)參考圖像進行編碼時，使RPON值遞增，最好是加1。
編碼控制管理器105在輸出112f處輸出RPON碼字，指明與所編碼的幀相關(guān)聯(lián)的參考圖像序號。由復(fù)用器將其復(fù)用到視頻比特流中。
圖4說明編碼器的操作。在本實施例中，編碼器被設(shè)置成當所編碼的幀和參考幀之間的相似性小于第一閾值時，即減法器106的輸出大于第一閾值時，輸出I幀。否則，編碼器輸出P幀。圖4的第一行表示從捕捉輸入裝置接收并在輸入101處輸入視頻編碼器中的數(shù)據(jù)的幀。圖4的第二行表示編碼器決定編碼的輸入信號的幀和用于對各幀進行編碼的編碼模式。如上所述，編碼控制管理器可以決定不對某幀進行編碼圖4通過未對幀2、3和11編碼的事實舉例說明這種情況。
以INTRA模式對幀1進行編碼；參考幀1將幀4編碼為P幀；參考幀4將幀5編碼為P幀；參考幀5將幀6編碼為P幀；參考幀6將幀7編碼為P幀；將幀8編碼為I幀；參考幀8將幀9編碼為P幀；參考幀9將幀10編碼為P幀；參考幀10將幀12編碼為P幀。
在本實施例中，所有的(最后一幀除外)編碼幀用作后面幀的參考幀。因此，RPON與所有待編碼的幀相關(guān)，如圖4的第三行所示?？梢钥吹?，RPON每次增加1。
圖4的第四行說明編碼幀的時間參考(TR)。這是一個包含在H.263中的字段，將時間上的前一參考圖像信頭中的TR值加一，再加上自前一發(fā)送的圖像以來跳過的圖像或非參考圖像的數(shù)目，從而形成TR的值。因此，在圖4所示的實例中，所示各幀的TR與輸入到102的原始信號的原始編號相同。
圖5說明根據(jù)本發(fā)明的編碼器的第二實施例。在本實施例中，編碼器被設(shè)置成按照常規(guī)的序列I B B P B B P B B P B B P B B I B B P對幀進行編碼。圖5的第一行表示輸入幀，第二行表示編碼幀及其編碼模式，即I、P或B。
各幀是以1、2、3、4、5、6等的順序從視頻捕捉裝置中接收的，并以該順序顯示，也就是說，經(jīng)解碼的幀以I1、B2、B3、P4、B5、B6、P7等的順序進行顯示。但是，視頻比特流是按照以下順序I1、P4、B2、B3、P7、B5、B6等進行壓縮、傳送以及解碼的。這是因為每個B幀在可以被編碼/解碼之前需要前面的和后續(xù)的參考幀，也就是說，在可以對幀B2編碼/解碼之前，幀B2要求幀I1和P4先編碼/解碼。
如上所述，B幀插入I和/或P幀的錨點圖像對之間，并根據(jù)這些錨點圖像中任一個或者兩個來進行預(yù)測。這樣，如圖5所示，以INTRA模式對幀1編碼；參考幀1和/或6將幀4編碼為B幀；參考幀1和/或6將幀5編碼為B幀；參考幀1將幀6編碼為P幀；參考幀6和/或9將幀7編碼為B幀；參考幀6和/或9將幀8編碼為B幀；參考幀6將幀9編碼為P幀；參考幀9和/或13(未標出)將幀10編碼為B幀；參考幀9和/或13將幀12編碼為B幀，等等。
在本實施例中，編碼序列的每個I幀和P幀用作另一幀的參考幀。但B幀不作為其它任何幀的參考圖像。因此，RPON與所有I幀和P幀相關(guān)聯(lián)，如圖5的第三行所示?？梢钥吹剑琑PON每次增加1。因此，幀1(I幀)的RPON為1，幀4(P幀)的RPON為2，以及幀9(P幀)的RPON為3。
圖5的第四行說明編碼幀的時間參考(TR)。在圖4所示的實例中，所示的各幀的TR與輸入到10的原始信號中出現(xiàn)的順序相同。
考慮終端1從終端2接收編碼的視頻數(shù)據(jù)，參照視頻編解碼器10的解碼作用對其操作進行說明。終端1從發(fā)送終端2接收多媒體信號。分用器50對多媒體信號進行分用，并將視頻數(shù)據(jù)傳遞給視頻編解碼器10，以及將控制數(shù)據(jù)傳遞給控制管理器40。視頻編解碼器的解碼器200通過對數(shù)據(jù)進行逆量化、逆DCT變換以及運動補償，對編碼的視頻數(shù)據(jù)進行解碼。解碼器的控制器124檢驗所接收數(shù)據(jù)的完整性，如果檢測到差錯，則嘗試以下述方式來隱藏該差錯。然后輸出經(jīng)過解碼、糾錯以及隱藏的視頻數(shù)據(jù)，以便在接收終端1的顯示器70中再現(xiàn)。
視頻數(shù)據(jù)中的差錯可能出現(xiàn)在圖像層、GOB層或宏塊層。差錯檢驗可在任何層或所有層上進行。
首先考慮如圖4所示的信號，當根據(jù)本發(fā)明的解碼器接收這個信號時，對該信號的每幀以傳統(tǒng)方式進行解碼，然后顯示在顯示裝置上?？砂凑諅鹘y(tǒng)方式對經(jīng)過解碼的幀進行糾錯及隱藏差錯。每次對幀進行解碼時，解碼器檢查TR字段以確定顯示該幀的時間。如果TR不是連續(xù)的(例如，解碼器收到TR＝I的幀，然后收到TR＝4的幀)，按照常規(guī)，解碼器將幀1保持在顯示器上的時間是通常幀周期的三倍。解碼器還檢查接收的幀的RPON。在圖4所示的情況下，解碼器接收幀1，并確定該幀具有RPON＝1；然后，解碼器接收TR＝4且RPON＝2的幀。解碼器將當前接收的幀的RPON與以前接收的幀的RPON進行比較，并計算這些RPON值之差。在這種情況下，差值為1，因此解碼器知道在當前幀和以前解碼的參考幀之間沒有丟失參考圖像。因此，解碼器繼續(xù)以常規(guī)方式對信號進行解碼。
下面假定解碼器無法重構(gòu)幀5(可能是由于數(shù)據(jù)被過多破壞或完全丟失)而且解碼器所接收并解碼的下一幀是幀6。解碼器將當前所接收的幀(幀6)的RPON與以前接收并解碼的幀(幀4)的RPON進行比較，并計算這些RPON值之差。在這種情況下，差值為2，因此，解碼器知道在當前幀的傳輸和前一幀的傳輸之間丟失了參考圖像。如果解碼器具有向發(fā)送視頻編碼器發(fā)送控制反饋數(shù)據(jù)的裝置，解碼器就可以向發(fā)送視頻編碼器發(fā)送請求，以便將幀編碼為INTRA幀，從而停止由于參考幀4對幀6進行解碼而產(chǎn)生的時間差錯傳播。
下面考慮如圖5所示的信號，當根據(jù)本發(fā)明的解碼器接收這個信號時，按常規(guī)方式對該信號的每幀進行解碼，然后顯示在顯示裝置上?？砂闯Ｒ?guī)方式對經(jīng)過解碼的幀糾錯及隱藏差錯。每次對幀進行解碼時，解碼器檢查TR字段以確定顯示該幀的時間。解碼器還檢查所接收的幀的RPON。
在圖5所示的情況下，解碼器接收幀1，并確定該幀具有RPON＝1。解碼器按常規(guī)的INTRA模式對該幀進行解碼。解碼器所接收的下一幀則是具有TR＝6且RPON＝2的幀6。解碼器將當前接收的幀(幀6)的RPON與以前接收并解碼的參考幀(幀1)的RPON進行比較，并計算這些RPON之差。在這種情況下，差值為1，因此，解碼器知道在當前幀的傳輸和以前解碼的參考幀的傳輸之間沒有丟失參考圖像。隨后，解碼器參考幀1對幀6進行解碼。
然后，解碼器接收具有TR＝4而且沒有RPON的幀。在這種情況下，解碼器不再使用RPON，而參考經(jīng)解碼的幀1和6對幀4進行解碼。
下面假定解碼器無法重構(gòu)幀5(這可能是由于數(shù)據(jù)被過多破壞或完全丟失)。B幀5丟失的事實對解碼器不重要，因為B幀不形成其它任何幀的參考圖像，因此，它的丟失不會引入任何時間差錯傳播。
下一個待接收的幀是幀9。不過，這里假定解碼器無法重構(gòu)作為P幀的幀9(可能是由于數(shù)據(jù)被過多破壞或完全丟失)。因此，解碼器可能無法順利地對幀7、8、10或12中任一個進行解碼，因為它們可能都是至少部分地參考幀9來預(yù)測的。在這種情況下，解碼器通常會凍結(jié)所顯示的圖像。
解碼器所接收并解碼的下一幀是幀13。解碼器將當前接收的參考幀(幀13)的RPON與以前所接收并解碼的參考幀(幀6)的RPON進行比較，并計算這些RPON之差。在這種情況下，差值為2，因此，解碼器知道在當前幀和以前解碼的參考幀之間丟失了參考圖像。如果解碼器具有向發(fā)送視頻編碼器發(fā)送控制反饋數(shù)據(jù)的裝置，解碼器就可以向發(fā)送視頻編碼器發(fā)送請求，以便將幀編碼為INTRA幀，從而停止由于參考幀6對幀13進行解碼而產(chǎn)生的時間差錯傳播。
下面參照H.263視頻編碼標準來說明如何可將參考圖像序號包含在編碼信號中。
圖6說明根據(jù)H.263所知的比特流的語法。以下實現(xiàn)說明了GOB格式，但是，本領(lǐng)域的技術(shù)人員應(yīng)當清楚，本發(fā)明也可按照片段格式來實現(xiàn)。
如前文所提到的，比特流具有四層圖像層、圖段層、宏塊層以及塊層。圖像層包括圖像信頭，其后是塊組的數(shù)據(jù)，最后是可選序列結(jié)束碼及填充位。
先有技術(shù)H.263比特流被格式化成如圖6所示。每個部分的描述符如下PSC圖像開始碼(PSC)指示圖像的開始TR 通過把時間上的前一參考圖像信頭中的TR值加一并且加上自先前發(fā)送的一個以來跳過的或非參考圖像的數(shù)目來形成時間參考(TR)PTYPE 其中，PTYPE包括圖像編碼類型、即INTRA或INTER的詳細情況PQUANT 指示直到由任何后續(xù)量化器信息更新為止用于圖像的量化器的碼字
CPM 用信號通知可選的連續(xù)出現(xiàn)多點和視頻復(fù)用(CPM)模式的使用的碼字PSBI圖像子比特流指示符-僅在設(shè)置了CPM時出現(xiàn)TRB在幀為雙向預(yù)測幀(稱作PB幀)的情況下出現(xiàn)DBQUANT 在雙向幀的情況下出現(xiàn)PEI 這涉及額外插入信息，并設(shè)置為“1”以表示下列可選數(shù)據(jù)字段PSUPP和PEI的出現(xiàn)。PSUPP和PEI統(tǒng)稱為補充增強信息，在H263的附錄L中有進一步定義GOBS是當前圖像的塊組的數(shù)據(jù)ESTF為獲得EOS之前的字節(jié)對齊而提供的填充碼字EOS 表示圖像的數(shù)據(jù)序列的結(jié)束的碼字PSTUF 供下一圖像開始碼PSC的字節(jié)對齊用的填充碼字如圖4所示的結(jié)構(gòu)不包括可選的PLUSTYPE數(shù)據(jù)字段。PSBI僅在CPM指示的情況下出現(xiàn)。TRB和DBQUANT僅在PTYPE指示使用了所謂的PB幀模式的情況下出現(xiàn)(出現(xiàn)PLUSTYPE字段并且其中指示使用了DBQUANT的情況除外)。H.263規(guī)范中更詳細地陳述了這些事項。
下文概述了根據(jù)本發(fā)明第一方面的編碼器所輸出的比特流的可能的實現(xiàn)。
參考圖像序號可以按如下方式結(jié)合到H.263比特流中。圖7說明根據(jù)本發(fā)明的第一種實現(xiàn)的編碼器所輸出的比特流的實例。如圖7所示，比特流包括另一個碼字RPON，這是一個表示參考圖像序號的碼字。如上所述，它由根據(jù)本發(fā)明的編碼器插入。
或者，參考圖像序號可以包含在補充增強信息PSUPP中(參閱H.263的附錄L以及圖4)。補充信息可以出現(xiàn)于比特流中，即使解碼器也許不能提供增強功能來使用它或者甚至是正確地解釋它。簡單地丟棄補充信息是解碼器可允許的，除非發(fā)射機和接收機已協(xié)商了提供所請求功能的需要。
如果PEI設(shè)置為“1”，則隨后有9位，其中包括8位數(shù)據(jù)(PSUPP)以及另一個指示是否隨后還有9位的PEI位，等等。
PSUPP數(shù)據(jù)包括一個4位函數(shù)類型指示FTYPE，隨后有一個4位參數(shù)數(shù)據(jù)大小規(guī)格DSIZE，隨后是函數(shù)參數(shù)數(shù)據(jù)的DSIZE字節(jié)，其后可選地跟隨另一個FTYPE，等等。已知采用這種PSUPP碼字來以信號方式通知各種情況，比如指示整個圖像或部分圖像在調(diào)整或不調(diào)整大小的情況下凍結(jié)或取消凍結(jié)請求；標記視頻流中的特定圖像或圖像序列以供外部使用；或者為視頻合成傳送色鍵信息。
為了采用補充增強信息來實現(xiàn)本發(fā)明，另一個FTYPE被定義為參考圖像序號。
圖8說明一個實例，其中，參數(shù)RPON包含在圖像信頭的SEI中。FTYPE被定義為RPON。DSIZE指定參數(shù)大小，隨后的字節(jié)是參數(shù)數(shù)據(jù)、即RPON的值。根據(jù)該值，接收解碼器能夠確定是否丟失了參考圖像。
或者，信息可以包含在附加的補充增強信息中，如“新附錄W的草案附加補充增強信息規(guī)范”(P.Ning和S.Wenger，ITU-T Study Group16Question15Document Q15-I-58，1999年11月)所述。
在該提議草案中，F(xiàn)TYPE14被定義為“圖像消息”。在設(shè)置了這個FTYPE時，圖像消息函數(shù)指示一個或多個代表消息數(shù)據(jù)的八位字節(jié)的出現(xiàn)。消息數(shù)據(jù)的第一個八位字節(jié)是具有如圖9所示結(jié)構(gòu)的消息信頭，即CONT、EBIT以及MTYPE。DSIZE等于與圖像消息函數(shù)對應(yīng)的消息數(shù)據(jù)中八位字節(jié)的數(shù)量，包括第一個八位字節(jié)消息信頭。
繼續(xù)字段CONT如果等于1，則表示與圖像消息相關(guān)的消息數(shù)據(jù)是與和下一圖像消息函數(shù)相關(guān)的消息數(shù)據(jù)相同的邏輯消息的一部分。結(jié)束比特位置字段EBIT指定最后一個消息字節(jié)中應(yīng)忽略的最低有效位的數(shù)量。這些字段的詳細情況可查閱上述附錄W的草案。
字段MTYPE指示消息的類型。附錄W的草案中建議了各種類型的消息。根據(jù)本發(fā)明，一種類型、如MTYPE12被定義為RPON或圖像編號。消息包含兩個帶有10位圖像編號的數(shù)據(jù)字節(jié)。因此，DSIZE應(yīng)當為3，CONT應(yīng)為0，以及EBIT應(yīng)為6。在10位模運算中，對于每個經(jīng)編碼并發(fā)送的I或P圖像或PB或改進的PB幀，圖像編號應(yīng)當加1。對于EI和EP圖像，對于相同可縮放性增強層內(nèi)的每個EI或EP圖像，應(yīng)增大圖像編號。對于B圖像，應(yīng)相對于B圖像的參考層中按比特流順序在B圖像之前(時間上在B圖像之后的圖像)的最近的非B圖像的值來增大圖像編號。如果相同增強層中的相鄰圖像具有相同的時間參考，并且如果正在使用參考圖像選擇模式(參見附錄N)，則解碼器應(yīng)將這種情況看作是已經(jīng)發(fā)出大致相同圖像場景內(nèi)容的冗余副本的指示，并且所有這些圖像應(yīng)共用相同的圖像編號。如果相同增強層中的兩個連續(xù)接收的非B圖像的圖像編號之差(模1024)不為1，并且如果這些圖像不表示上述大致相同的圖像場景內(nèi)容，則解碼器可推斷圖像丟失或數(shù)據(jù)損壞。在消息信頭之后的八位字節(jié)中定義RPON的值。
在一個特定實例中，這種消息包含一個數(shù)據(jù)字節(jié)，即DSIZE為2，CONT為0，以及EBIT為0。
參考圖像序號在以前編碼的參考圖像的相應(yīng)編號的基礎(chǔ)上加1。增量結(jié)果的最低有效的8位放置在與該消息相關(guān)的數(shù)據(jù)字節(jié)中。
本發(fā)明還可根據(jù)H.263的附錄U來實現(xiàn)。
參照對雙向預(yù)測圖像(B圖像)進行編碼的編碼視頻流進行以上描述。如上所述，B圖像決不用作參考圖像。由于它們可以被丟棄而不會影響后續(xù)圖像的圖像質(zhì)量，因此，它們提供了時間可縮放性?？煽s放性允許在一個以上的質(zhì)量等級上對壓縮視頻序列進行解碼。換句話說，可以對可縮放的多媒體剪輯進行壓縮，使得它能夠以不同的數(shù)據(jù)率在信道上進行傳遞，并且仍然可對其實時地解碼和重放。
因此，視頻流可以按照不同方式通過不同的解碼器進行解碼。例如，如果這是解碼器能夠獲取的最大解碼速率，則該解碼器可以決定僅對信號的I和P圖像進行解碼。不過，在解碼器有能力的情況下，它也可以對B圖像進行解碼，從而提高圖像顯示速率。因此，通過僅對I和P圖像進行解碼的解碼器，會增強顯示圖像的所感受圖像質(zhì)量。
通常對可縮放多媒體進行排序，使得存在數(shù)據(jù)的分層。基層包含多媒體剪輯的基本表示，而增強層則包含處于基礎(chǔ)層之上的提煉數(shù)據(jù)。因此，增強層改進了剪輯的質(zhì)量。
可縮放性是多機種、易出錯環(huán)境所需要的特性。需要這種特性以防止某些限制，諸如比特率、顯示分辨率、網(wǎng)絡(luò)吞吐量以及解碼器復(fù)雜度上的約束。
在分層編碼與傳輸優(yōu)先化相結(jié)合的傳輸系統(tǒng)中，可縮放性能夠用來改進差錯恢復(fù)力。這里，術(shù)語“傳輸優(yōu)先化”是指在傳輸中提供不同質(zhì)量的業(yè)務(wù)的各種機制，包括不等差錯保護，以便提供具有不同差錯/丟失率的不同信道。數(shù)據(jù)可根據(jù)其特性進行不同的分配。例如，基層可通過具有高度差錯保護的信道進行傳送，而增強層則可通過較易出錯的信道進行傳送。
一般來說，與不可縮放編碼相比，可縮放多媒體編碼會遇到較差的壓縮效率。換句話說，與編碼成具有同等質(zhì)量的不可縮放單層剪輯相比，編碼成具有增強層的可縮放多媒體剪輯的多媒體剪輯需要更大的帶寬。但是，這種一般規(guī)則存在例外情況，例如視頻壓縮中的時間上可縮放的B幀。
本發(fā)明可應(yīng)用于其它可縮放視頻壓縮系統(tǒng)。例如，H.263附錄O中定義了兩種其它形式的可縮放性信噪比(SNR)可縮放性和空間可縮放性。
空間可縮放性和SNR可縮放性密切相關(guān)，唯一差別在于通過空間可縮放性所提供的經(jīng)提高的空間分辨率。SNR可縮放圖像的一個實例如圖10所示。SNR可縮放性是指創(chuàng)建多速率比特流。它允許恢復(fù)原始圖像與其重構(gòu)圖像之間的編碼差錯或差異。這是利用更精細的量化器對增強層中的差異圖像進行編碼來實現(xiàn)的。這種附加信息增大了整個再現(xiàn)圖像的SNR。
空間可縮放性允許創(chuàng)建多分辨率的比特流，以滿足不同的顯示要求和/或約束。圖11說明一種空間上可縮放的結(jié)構(gòu)。它與SNR可縮放性基本相同，不同之處在于空間增強層嘗試恢復(fù)重構(gòu)的參考層圖像的上升抽樣形式與原始圖像的較高分辨率形式之間的編碼損失。例如，如果參考層具有四分之一公用中間格式(QCIF)分辨率，而增強層具有公用中間格式(CIF)分辨率，則參考層圖像必須相應(yīng)地進行縮放，使得由其可預(yù)測增強層圖像。對于單增強層，QCIF標準允許分辨率僅在垂直方向、僅在水平方向或同時在垂直和水平方向上增大到兩倍?？梢源嬖诙鄠€增強層，每層均在前一層上增加圖像分辨率。用于對參考層圖像進行上升抽樣的內(nèi)插濾波器在H.263標準中有明確的定義。除了從參考至增強層的上升抽樣過程之外，空間縮放圖像的處理及語法與SNR縮放圖像相同。
無論在SNR還是在空間可縮放性中，增強層圖像均稱作EI或EP圖像。如果增強層圖像是以參考層中的圖像為基礎(chǔ)向上預(yù)測的，則增強層圖像稱作增強I(EI)圖像。在這種類型的可縮放性中，參考層表示當前增強層“之下”的層。在某些情況下，當參考層圖像的預(yù)測較差時，在增強層中會出現(xiàn)圖像的靜態(tài)部分的過度編碼，產(chǎn)生不必要的過度比特率。為了避免這種問題，在增強層中允許正向預(yù)測。能夠從前一增強層圖像進行正向預(yù)測或者從參考層圖像向上預(yù)測的圖像稱作增強P(EP)圖像。應(yīng)當指出，計算向上及正向預(yù)測圖像的平均值能夠為EP圖像提供雙向預(yù)測。對于EI和EP兩種圖像，根據(jù)參考層圖像進行向上預(yù)測意味著不需要任何運動矢量。在EP圖像的正向預(yù)測的情況下，需要運動矢量。
根據(jù)本發(fā)明，如果編碼器能夠進行多層編碼(如H.263的附錄O中所述)，則為各層的參考圖像提供連續(xù)的參考圖像序號。它們可與當前圖像的增強層編號(ELNUM)相關(guān)聯(lián)。參考圖像序號是由相同增強層中前一編碼參考圖像的相應(yīng)編號加1。
如圖10和11所示，增強層的圖像可根據(jù)增強層的前面圖像和/或根據(jù)基層的等效I或P圖像進行預(yù)測。增強層不可根據(jù)參考層中的B圖像進行預(yù)測。
如果同一增強層中的相鄰圖像具有相同的時間參考，并且如果正在使用H.263的附錄N或附錄U，則解碼器最好是將這種情況視為已發(fā)出大致相同的圖像場景內(nèi)容的冗余副本的指示，并且所有這些圖像共用相同的RPON。
根據(jù)本發(fā)明的解碼器在接收到如上所述的多層信號時，嘗試以傳統(tǒng)方式對該信號進行解碼。在各層中，每次對參考圖像進行解碼時，解碼器檢查所解碼圖像的RPON。如果解碼器確定增強層中丟失了參考圖像，則解碼器停止顯示來自增強層的圖像，直至接收到EI圖像。解碼器繼續(xù)對基層進行解碼，如上所述。
本發(fā)明并未限制于上述視頻編碼協(xié)議它們僅作為示范。本發(fā)明適用于任何可采用時間預(yù)測的視頻編碼協(xié)議。如上所述的信息增加允許接收解碼器確定已丟失了參考圖像并采取相應(yīng)的動作。
權(quán)利要求
1.一種對表示圖像序列的視頻信號進行編碼的方法，所述方法既采用非時間預(yù)測又采用時間預(yù)測，其中所述方法包括對于構(gòu)成用于另一圖像的時間預(yù)測的參考圖像的每個圖像，將指示符與每個這樣的圖像相關(guān)聯(lián)，所述指示符指示編碼視頻信號中的參考圖像相對于所述編碼視頻信號中的其它參考圖像的時間順序。
2.如權(quán)利要求1所述的方法，其特征在于還包括在每次對參考圖像進行編碼時，使所述指示符遞增。
3.如權(quán)利要求2所述的方法，其特征在于還包括在每次對參考圖像進行編碼時，將所述指示符加一。
4.如任一上述權(quán)利要求所述的方法，其特征在于，所述指示符包含在圖像信頭中。
5.如權(quán)利要求3所述的方法，其特征在于，所述視頻信號是根據(jù)H263標準進行編碼的，而所述指示符包含在補充增強信息中。
6.一種對表示圖像序列的編碼視頻信號進行解碼的方法，所述方法包括接收編碼視頻信號；對每個接收圖像進行解碼；對于構(gòu)成另一圖像的參考圖像的每個待解碼圖像，檢查表示參考幀的時間順序的指示符；以及當所述指示符不是由緊靠前面的解碼參考幀連續(xù)地得出時，檢測丟失的參考幀。
7.如權(quán)利要求6所述的方法，其特征在于還包括在所述指示符不是由緊靠前面的解碼參考幀連續(xù)地得出時，向發(fā)射機發(fā)送請求，以非時間方式對圖像進行編碼。
8.一種編碼視頻信號，其中對于每個構(gòu)成用于另一圖像的時間預(yù)測的參考圖像的圖像，將指示符與每個這樣的參考圖像相關(guān)聯(lián)，所述指示符指示所述編碼視頻流中參考圖像的時間順序。
9.一種視頻編碼器，它包括輸入，用于接收表示圖像序列的視頻信號以及產(chǎn)生編碼圖像，所述編碼器設(shè)置成既采用非時間預(yù)測又采用時間預(yù)測，其中所述編碼器設(shè)置成對于構(gòu)成用于另一圖像的時間預(yù)測的參考圖像的每個圖像，將各個參考圖像與指示符相關(guān)聯(lián)，所述指示符指示所述編碼視頻信號中的參考圖像相對于所述編碼視頻信號中的其它參考圖像的時間順序。
10.如權(quán)利要求9所述的視頻編碼器，其特征在于還包括用于在每次對參考圖像進行編碼時使所述指示符遞增的裝置。
11.一種視頻解碼器，它包括輸入，用于接收表示圖像序列的編碼視頻信號；解碼器，用于對每個接收圖像進行解碼，所述解碼器設(shè)置成對于構(gòu)成另一圖像的參考圖像的每個待解碼圖像，檢查表示參考幀的時間順序的指示符，并且在所述指示符不是由緊靠前面的解碼參考幀連續(xù)地得出時，檢測丟失的參考幀。
12.一種便攜式無線電通信裝置，它包括如權(quán)利要求9或10所述的編碼器和/或如權(quán)利要求11所述的解碼器。
全文摘要
一種對表示圖像序列的視頻信號進行編碼的方法，該方法既采用非時間預(yù)測又采用時間預(yù)測，其中所述方法包括對于構(gòu)成用于另一圖像的時間預(yù)測的參考圖像的每個圖像，將指示符與每個這樣的圖像相關(guān)聯(lián)，該指示符指示編碼視頻信號中的參考圖像相對于編碼視頻信號中的其它參考圖像的時間順序。
文檔編號H03M7/36GK1440622SQ01812477
公開日2003年9月3日 申請日期2001年5月11日 優(yōu)先權(quán)日2000年5月15日
發(fā)明者M·漢努克塞拉 申請人:諾基亞有限公司