專利名稱：視訊系統(tǒng)中的錯誤掩蓋方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視訊領(lǐng)域，尤其是一種在視訊系統(tǒng)中當(dāng)圖像傳輸發(fā)生錯誤時，能實時、高質(zhì)量地恢復(fù)圖像傳輸質(zhì)量的錯誤掩蓋方法。
然而，在實際的傳輸信道中，錯誤的發(fā)生是不可避免的。因此，當(dāng)視頻編碼流在傳輸過程中丟失或受到破壞時，為了將圖象恢復(fù)到可以接受的程度，必須采取合適的錯誤恢復(fù)技術(shù)。
首先，由于H.263中采用了可變長編碼、運動預(yù)測和運動補償?shù)募夹g(shù)，因此如果在解碼過程中發(fā)現(xiàn)錯誤就會導(dǎo)致同步的丟失，必須跳到下個同步字以繼續(xù)解碼過程；其次，由于H.263中最小的同步單元為塊組(GOB)，因此當(dāng)錯誤發(fā)生時則會引起整個塊組(GOB)數(shù)據(jù)的丟失；再者，在解碼當(dāng)前幀時，由于要用到前一幀數(shù)據(jù)參考來進行運動補償，所以前一幀中的錯誤數(shù)據(jù)會衍生到當(dāng)前幀，并繼續(xù)向下傳遞，直到出現(xiàn)一個幀內(nèi)幀(I幀)為止，進而嚴(yán)重影響了圖象的質(zhì)量。
現(xiàn)有的常用技術(shù)有自動再傳輸請求(ARQ)、前向錯誤糾正編碼(FEC)和數(shù)據(jù)交錯(Interleaving)等三種。但它們均有各自的缺點，如自動再傳輸請求(ARQ)必須要求系統(tǒng)存在一條雙向信道，而且還有可能導(dǎo)致網(wǎng)絡(luò)擁塞和數(shù)據(jù)丟失；前向錯誤糾正編碼(FEC)因為要求更多的校驗位進行錯誤檢測和糾正，所以會引起碼率的增大；數(shù)據(jù)交錯(Interleaving)則有導(dǎo)致系統(tǒng)延時的缺點。
為了克服上述技術(shù)存在的缺點，現(xiàn)有技術(shù)采用了錯誤掩蓋技術(shù)(ErrorConcealment)，它是在解碼端降低錯誤的影響。由于圖像序列本身有很強的空間和時間上的相關(guān)性，所以為用正確接收到的視頻數(shù)據(jù)去預(yù)測丟失的數(shù)據(jù)提供了可能，而且由于該過程是在解碼器端完成的，因此不會引起網(wǎng)絡(luò)的擁塞和延時。
錯誤掩蓋方法一般分為兩類，即空域的錯誤掩蓋和時域的錯誤掩蓋。其中，空域的錯誤掩蓋是利用當(dāng)前幀上正確接收的信息，用丟失宏塊的相鄰宏塊的數(shù)據(jù)去恢復(fù)遭到破壞的數(shù)據(jù)，其包括最大平滑恢復(fù)和雙向內(nèi)插兩種方法；時域的錯誤掩蓋則是利用前一幀的圖像數(shù)據(jù)來估計錯誤數(shù)據(jù)，即用鄰域宏塊的運動矢量來估計受損塊的運動矢量，然后用其運動補償塊來代替受損宏塊，目前常用的一種最簡單的方法是將受損宏塊的運動矢量變?yōu)?，即用上一幀上相應(yīng)位置的宏塊來替換當(dāng)前宏塊的數(shù)據(jù)。
但是，由于上述二種技術(shù)在應(yīng)用中未充分考慮到圖象的空間相關(guān)性、時間相關(guān)性等各種因素，所以在單獨使用時具有如下的缺點空域的錯誤掩蓋方法由于假設(shè)相鄰的圖像塊中存在強相關(guān)性，因此如果受損塊和相鄰塊處于亮度同一的區(qū)域，則這些方法會產(chǎn)生較好的掩蓋效果，但如果它們處于圖像邊緣部分，則會導(dǎo)致圖像質(zhì)量的鈍化，因此空域的錯誤掩蓋方法對恢復(fù)圖像細(xì)節(jié)部分的能力較差。時域的錯誤掩蓋方法對于圖像的靜止或運動較小的部分會得到理想的圖像質(zhì)量，但是對于快速運動區(qū)域，以及當(dāng)情景切換時，該方法則會導(dǎo)致明顯的方塊效應(yīng)，造成圖像的不連續(xù)，圖像質(zhì)量嚴(yán)重下降。
本發(fā)明的解決方案是利用一種視訊系統(tǒng)中的錯誤掩蓋方法，該方法包含以下步驟判斷當(dāng)前幀的類型，如果當(dāng)前幀為幀內(nèi)幀時，對所有錯誤宏塊進行空域掩蓋，若當(dāng)前幀為預(yù)測幀時，則繼續(xù)；計算當(dāng)前幀在沒有被破壞的宏塊中幀內(nèi)編碼的宏塊的百分比，如果所述的百分比超過一個閾值時，對所有錯誤宏塊進行空域掩蓋，否則繼續(xù)；對當(dāng)前幀中的所有錯誤宏塊的編碼模式逐個進行判斷，如果當(dāng)前錯誤宏塊的編碼模式是幀內(nèi)編碼時，對其進行空域掩蓋，否則對其進行時域掩蓋。
上述時域的錯誤掩蓋方法還進一步包含如下步驟計算所述的當(dāng)前錯誤宏塊的周圍宏塊的運動矢量的最大值，若其小于或等于1而且當(dāng)前錯誤宏塊的周圍宏塊不全是幀內(nèi)編碼塊，使用該值作為當(dāng)前錯誤宏塊的運動矢量，進行運動補償，否則，繼續(xù)；得到所述的當(dāng)前錯誤宏塊的邊界像素，然后到前一幀中搜索與邊界像素匹配的16×16區(qū)域，將上述中求得的值與一個設(shè)定好的閾值比較，如果該值低于該閾值，計算前一幀16×16區(qū)域的四個邊界與所述的當(dāng)前錯誤宏塊的四個邊界相應(yīng)像素差值的絕對值的和來確定匹配的區(qū)域，將搜索所得的該區(qū)域復(fù)制到當(dāng)前宏塊的位置上來，如果高于該閾值，繼續(xù)；計算前一幀16×16區(qū)域的第一行與所述的當(dāng)前錯誤宏塊的上邊界，最后一行與下邊界，第一列與左邊界，最后一列與右邊界的差值絕對值的和來確定匹配的區(qū)域，將搜索所得的該區(qū)域復(fù)制到當(dāng)前宏塊的位置上來。
由于采用了上述的技術(shù)方案，所以本發(fā)明不但能利用上一幀的時域信息，還考慮到空域上的強相關(guān)性，能對圖像的錯誤區(qū)域根據(jù)具體情況自適應(yīng)地選擇錯誤掩蓋方法，從而達(dá)到可以接受的圖像效果；同時，因為本發(fā)明克服了時域和空域方法固有的缺點，通過運動檢測自適應(yīng)地選擇相應(yīng)的錯誤掩蓋方法，將二者的優(yōu)點結(jié)合起來，進而降低了算法的復(fù)雜性，滿足實時處理的要求。本發(fā)明是根據(jù)每幀圖像的具體信息決定使用何種錯誤掩蓋算法，將二者的優(yōu)點綜合，以達(dá)到一種較為理想的圖像質(zhì)量。
圖2是本發(fā)明方法流程圖。
其中，宏塊的定義是在圖象編碼過程中，將圖象分成若干個16*16的區(qū)域進行編碼，一個16*16的區(qū)域成為一個宏塊。
2、另一種情況是雖然當(dāng)前幀不是幀內(nèi)幀，但圖像發(fā)生場景切換，在圖像發(fā)生場景切換時，圖像中的宏塊與前一幀圖像的相應(yīng)宏塊的相關(guān)性就比較低了，在這種情況下，用前一幀圖像的相應(yīng)宏塊進行替代，顯然就不合適了，在這種情況下，也必須用空域掩蓋。
3、第三種情況是對于錯誤宏塊是幀內(nèi)編碼塊的情況，幀內(nèi)編碼塊之間其相關(guān)度較高，適合于進行空域掩蓋，以錯誤宏塊周圍的宏塊對受損的錯誤宏塊進行掩蓋往往能得到比較好的效果。
而對于確實需要進行時域掩蓋的錯誤宏塊，其掩蓋方式也不是唯一的，針對不同的情況，可以有三種方式1、第一種方式是不去前一幀搜索與當(dāng)前錯誤宏塊相匹配的區(qū)域，而是直接利用周圍宏塊的運動矢量來估計當(dāng)前錯誤宏塊的運動矢量。運動矢量的定義是每個宏塊的編碼過程是相對獨立的。在壓縮編碼過程中，為了提高壓縮效率，每個宏塊具有一個運動矢量(x，y)表示在前一個圖象幀上與該宏塊最接近的16*16區(qū)域的位置。x為正時表示該區(qū)域在當(dāng)前宏塊的右方，x為負(fù)時在左方，y為正時表示該區(qū)域在當(dāng)前宏塊的下方，y為負(fù)時在上方。
這種情況一般在背景和運動比較小的區(qū)域中發(fā)生。對于背景和運動比較小的區(qū)域，其中的宏塊運動往往都比較小，如果我們判斷出周圍宏塊的運動矢量，比如x為正，y為負(fù)，前一幀上與該宏塊最接近的16*16區(qū)域在當(dāng)前宏塊的右上方，由于宏塊運動比較小，則受損錯誤宏塊也很可能在當(dāng)前宏塊的右上方，x為正，y為負(fù)。因此，如果判斷出周圍宏塊的運動矢量，其最大值小于一個閾值的話，就可以用該周圍宏塊的運動矢量的最大值去作為該錯誤宏塊的運動矢量，往往其誤差也是很小的。
2、第二種方式是計算前幀16×16區(qū)域的四個邊界與當(dāng)前宏塊的四個邊界相應(yīng)像素差值絕對值的和，再選擇該和最小的區(qū)域?qū)﹀e誤宏塊進行掩蓋。這種方式比較適合于圖像中距離前幀變化、運動較小的區(qū)域。但如果運動過小的話，其實用第一種方式更簡潔。這種方式其實主要可針對運動不算很大的較適中的情況。
3、第三種方式是計算前幀16×16區(qū)域的第一行與錯誤宏塊的上邊界，最后一行與下邊界，第一列與左邊界，最后一列與右邊界的差值絕對值的和來確定匹配程度，再選擇匹配程度最大，既差值最小的區(qū)域來進行掩蓋。這種方式比較適合于圖像中距離前幀變化、運動較大的區(qū)域。
本發(fā)明實際上是建立在上述通過反復(fù)實驗得出的結(jié)論的基礎(chǔ)之上的，圖2是本發(fā)明的方法流程圖，結(jié)合圖2具體描述本發(fā)明的實現(xiàn)過程如下一、判斷當(dāng)前幀類型對于一幀圖像首先判斷其幀的類型，如果當(dāng)前幀為幀內(nèi)幀(I幀)，則對所有錯誤宏塊進行空域掩蓋，如果當(dāng)前幀為預(yù)測幀(P幀)，則繼續(xù)判斷。由于幀內(nèi)幀中的錯誤宏塊不宜進行時域掩蓋，所以本步驟首先將那些幀內(nèi)幀中的錯誤宏塊剔除在需要時域掩蓋的范圍之外。
二、判斷場景切換當(dāng)圖像發(fā)生場景切換時，利用時域的錯誤掩蓋方法不合適，而應(yīng)對該幀使用空域的錯誤掩蓋方法進行處理。其中，是否發(fā)生場景切換的判斷標(biāo)準(zhǔn)是如果該幀的顯著特點是使用幀內(nèi)編碼模式的宏塊的數(shù)量很多，則通過計算在沒有被破壞的宏塊中的幀內(nèi)編碼的宏塊的百分比來判斷，當(dāng)百分比超過一定值時，認(rèn)為該幀發(fā)生了場景切換，便對所有錯誤宏塊使用空域掩蓋；如果沒有超過一定值時，則繼續(xù)判斷，一般來說，該定值可為40％-60％之間的一個值。
三、對當(dāng)前幀中的所有錯誤宏塊的編碼模式逐個進行判斷對于判斷出是使用幀內(nèi)編碼的宏塊，則使用空域的錯誤掩蓋方法；但是，當(dāng)錯誤引入后，就會使整個塊組(GOB)的信息完全丟失，無法確定其編碼模式。此時可根據(jù)圖像的空間強相關(guān)性原則，并結(jié)合周圍宏塊的編碼模式判斷當(dāng)前受損宏塊的編碼模式。具體地講，當(dāng)考慮8-鄰域的情況時，一個宏塊周圍就有8個宏塊，其中左右兩個宏塊由于已經(jīng)丟失而不作統(tǒng)計，因此需要根據(jù)上面的三個宏塊和下面的三個宏塊進行判斷。
在進行判斷時，需要為六個宏塊賦予不同的權(quán)值，又由于當(dāng)前宏塊的特性更接近它的相連宏塊，如上下兩個宏塊，所以，上下兩個宏塊的權(quán)值應(yīng)較大，四個角的宏塊的權(quán)值應(yīng)較小，這樣上下兩個宏塊的特性將占主導(dǎo)地位，其中，權(quán)值的選擇根據(jù)具體實踐經(jīng)驗選定。如

圖1所示，首先將上下兩個宏塊的權(quán)值設(shè)為2.5，四個角的宏塊的權(quán)值為1.25，然后依次判斷六個宏塊的編碼類型，如果是幀內(nèi)編碼塊，則統(tǒng)計其權(quán)值，最后計算所有權(quán)值之和，如下式所示Result＝wlu*modelu+wu*modeu+wru*moderu+wld*modeld+wd*moded+wrd*moderd式中wlu代表左上角宏塊權(quán)值，wu代表上宏塊權(quán)值，wru代表右上角宏塊權(quán)值，wld代表左下角宏塊權(quán)值，wd代表下宏塊權(quán)值，wrd代表右下宏塊權(quán)值。
mode＝1，如果宏塊是幀內(nèi)編碼；mode＝0，如果宏塊是幀間編碼。
其中，右下角標(biāo)lu代表左上角宏塊，u代表上宏塊，ru代表右上角宏塊，ld代表左下角宏塊，d代表下宏塊，rd代表右下宏塊。
計算所得的結(jié)果如果大于一個閾值，則認(rèn)為是幀內(nèi)編碼塊，便使用空域的錯誤掩蓋方法；否則認(rèn)為是幀間編碼，便使用時域搜索算法，作進一步處理，其中閾值一般取為6-10中的一個值比較合適。
上述的判斷首先將當(dāng)前幀為幀內(nèi)幀、經(jīng)過判斷認(rèn)為發(fā)生了場景轉(zhuǎn)換、或者經(jīng)上述判斷認(rèn)為是幀內(nèi)編碼塊的情況歸于空域掩蓋。關(guān)于空域掩蓋的方法屬于已有技術(shù)的內(nèi)容。其余的情況屬于下面時域掩蓋方法的部分。
時域的錯誤掩蓋方法使用基于塊匹配原則的前幀搜索方法，其方法為首先得到待處理宏塊的邊界像素；然后到參考幀(前一幀)中搜索與邊界像素最匹配的16×16區(qū)域；最后將搜索所得的該區(qū)域復(fù)制到當(dāng)前宏塊的位置上來。
由于該搜索始終是一種耗時的搜索過程，所以當(dāng)使用時域的錯誤掩蓋方法時，本發(fā)明采取如下的措施來降低計算復(fù)雜度并減少處理運算的時間，具體為(1)由于在會議電視的圖像中，背景和運動較小的區(qū)域占很大比重，對于這些區(qū)域，實際上并不需要到前幀搜索匹配的區(qū)域，而是可以直接利用周圍宏塊的運動矢量來估計當(dāng)前宏塊的運動矢量再完成運動補償即可，這樣做的前提是預(yù)先估計當(dāng)前宏塊的運動幅度，以確定是否使用時域搜索。
由于在大部分情況下，圖像中物體的運動具有一致性，因此可以通過判斷受損宏塊的周圍宏塊的運動矢量來估計受損宏塊的運動矢量，又因為受損宏塊與其上下兩個宏塊的運動更為接近，所以可首先計算出上下兩個宏塊的運動矢量的最大值，如果該值小于或等于1，則直接使用該值作為當(dāng)前錯誤宏塊的運動矢量，進行運動補償；只有在該值大于1時才采用前幀搜索的方法，這樣處理將大幅度降低處理時間。但是，如果一個宏塊的上下宏塊都是幀內(nèi)編碼塊，則計算的最大值為零，這樣可能會認(rèn)為其沒有發(fā)生運動而是直接沿襲前幀相應(yīng)宏塊數(shù)據(jù)而造成誤判，所以在統(tǒng)計宏塊的運動矢量時必須保證它是幀內(nèi)編碼塊。
(2)得到所述的當(dāng)前錯誤宏塊的邊界像素后，到前一幀中搜索與邊界像素匹配的16×16區(qū)域，對于需要到前幀搜索匹配的區(qū)域，也有兩種匹配原則可供選擇，其一是計算前幀16×16區(qū)域的第一行與處理宏塊的上邊界，最后一行與下邊界，第一列與左邊界，最后一列與右邊界的差值絕對值的和來確定匹配程度；其二是計算前幀16×16區(qū)域的四個邊界于當(dāng)前宏塊的四個邊界相應(yīng)像素差值絕對值的和。兩種匹配原則所得到的效果比較接近，沒有明顯差異，只是前者較適合大運動的場合，而后者更適合細(xì)小運動。至于用哪一種匹配原則，可通過設(shè)定一個閾值，并與(1)中計算出的值比較，如果(1)中計算出的值低于該閾值，便使用第二種匹配原則將搜索所得的該區(qū)域復(fù)制到當(dāng)前宏塊的位置上來。
(3)如果(1)中計算出的值高于該閾值時，便使用第一種匹配原則將搜索所得的該區(qū)域復(fù)制到當(dāng)前宏塊的位置上來。
在(2)中，為了繼續(xù)縮小處理時間，本發(fā)明還采用了如下的自適應(yīng)搜索窗的方法I、首先得到錯誤宏塊周圍所有宏塊的運動矢量，包括X、Y方向的運動矢量；II、在I得到的運動矢量集合中分別計算X、Y方向的最大值；III、根據(jù)兩個最大值按照以下原則確定搜索窗的大小當(dāng)X方向的運動矢量的最大值小于4并且Y方向上的運動矢量最大值小于4時，設(shè)置窗口大小為8；當(dāng)X方向的運動矢量的最大值、Y方向上的運動矢量最大值有一個大于8時，設(shè)置窗口大小為12；其他情況窗口大小為16。
當(dāng)然，上面的參數(shù)也可以人為設(shè)置。
在設(shè)定好搜索窗口的大小后，再在該搜索窗的區(qū)域中搜索與邊界像素匹配的區(qū)域。
權(quán)利要求
1.一種視訊系統(tǒng)中的錯誤掩蓋方法，其特征在于，該方法包含以下步驟a.判斷當(dāng)前幀的類型，如果當(dāng)前幀為幀內(nèi)幀，則對所有錯誤宏塊進行空域掩蓋，若當(dāng)前幀為預(yù)測幀時繼續(xù)；b.計算當(dāng)前幀在沒有被破壞的宏塊中幀內(nèi)編碼的宏塊的百分比，如果所述的百分比超過一個閾值時，對所有錯誤宏塊進行空域掩蓋，否則繼續(xù)；c.對當(dāng)前幀中的所有錯誤宏塊的編碼模式逐個進行判斷，如果當(dāng)前錯誤宏塊的編碼模式是幀內(nèi)編碼，對其進行空域掩蓋，否則對其進行時域掩蓋。
2.根據(jù)權(quán)利要求1所述的視訊系統(tǒng)中的錯誤掩蓋方法，其特征在于在步驟c中，對編碼模式的判斷是根據(jù)當(dāng)前錯誤宏塊的周圍宏塊的編碼模式綜合加權(quán)得到的，其包括，①根據(jù)如下公式計算當(dāng)前錯誤宏塊的編碼特性標(biāo)志(Result)，Result＝wlu*modelu+wu*modeu+wru*moderu+wld*modeld+wd*moded+wrd*moderd式中wlu代表左上角宏塊權(quán)值，wu代表上宏塊權(quán)值，wru代表右上角宏塊權(quán)值，wld代表左下角宏塊權(quán)值，wd代表下宏塊權(quán)值，wrd代表右下宏塊權(quán)值；若所在位置的宏塊是幀內(nèi)編碼，其編碼特性mode＝1；若所在位置的宏塊是幀間編碼，其編碼特性mode＝0，其右下角標(biāo)lu代表左上角宏塊，u代表上宏塊，ru代表右上角宏塊，ld代表左下角宏塊，d代表下宏塊，rd代表右下宏塊；②如果編碼特性標(biāo)志(Result)大于一個閾值，則認(rèn)為當(dāng)前錯誤宏塊是幀內(nèi)編碼塊，進行空域掩蓋，否則認(rèn)為是幀間編碼，進行時域掩蓋。
3.根據(jù)權(quán)利要求1所述的視訊系統(tǒng)中的錯誤掩蓋方法，其特征在于步驟c中所述的進行時域掩蓋進一步包含1)計算所述的當(dāng)前錯誤宏塊的周圍宏塊的運動矢量的最大值，若其小于或等于1而且當(dāng)前錯誤宏塊的周圍宏塊不全是幀內(nèi)編碼塊，則使用該值作為當(dāng)前錯誤宏塊的運動矢量，進行運動補償，否則，繼續(xù)；2)得到所述的當(dāng)前錯誤宏塊的邊界像素，然后到前一幀中搜索與邊界像素匹配的16×16區(qū)域，將上述1)中求得的值與一個設(shè)定好的閾值比較，如果該值低于該閾值，計算前一幀16×16區(qū)域的四個邊界與所述的當(dāng)前錯誤宏塊的四個邊界相應(yīng)像素差值的絕對值的和來確定匹配的區(qū)域，將搜索所得的該區(qū)域復(fù)制到當(dāng)前宏塊的位置上來，如果高于該閾值，繼續(xù)；3)計算前一幀16×16區(qū)域的第一行與所述的當(dāng)前錯誤宏塊的上邊界，最后一行與下邊界，第一列與左邊界，最后一列與右邊界的差值絕對值的和來確定匹配的區(qū)域，將搜索所得的該區(qū)域復(fù)制到當(dāng)前宏塊的位置上來。
4.根據(jù)權(quán)利要求3所述的視訊系統(tǒng)中的錯誤掩蓋方法，其特征在于步驟c的2)中的搜索采用自適應(yīng)搜索窗的方法，該方法包括如下步驟I、首先得到錯誤宏塊周圍所有宏塊的運動矢量，包括X、Y方向的運動矢量；II、在I得到的運動矢量集合中分別計算X、Y方向的最大值；III、根據(jù)兩個最大值按照以下原則確定搜索窗的大小當(dāng)X方向的運動矢量的最大值小于第一閾值并且Y方向上的運動矢量最大值小于第一閾值時，設(shè)置窗口大小為α；當(dāng)X方向的運動矢量的最大值、Y方向上的運動矢量最大值有一個大于第二閾值時，設(shè)置窗口大小為β，第二閾值大于第一閾值；其他情況窗口大小為γ，其中α＜β＜γ。
全文摘要
一種視訊系統(tǒng)中的錯誤掩蓋方法，它包含以下步驟判斷當(dāng)前幀的類型，如果當(dāng)前幀為幀內(nèi)幀(I幀)時，對所有錯誤宏塊進行空域掩蓋，若當(dāng)前幀為預(yù)測幀(P幀)時，則繼續(xù)；計算當(dāng)前幀在沒有被破壞的宏塊中幀內(nèi)編碼的宏塊的百分比，如果所述的百分比超過一個閾值時，對所有錯誤宏塊進行空域掩蓋，否則繼續(xù)；對當(dāng)前幀中的所有錯誤宏塊的編碼模式逐個進行判斷，如果當(dāng)前錯誤宏塊的編碼模式是幀內(nèi)編碼，對其進行空域掩蓋，否則對其進行時域掩蓋。本發(fā)明克服了時域和空域的錯誤掩蓋方法固有的缺點，通過運動檢測自適應(yīng)地選擇相應(yīng)的掩蓋方法，將二者的優(yōu)點結(jié)合起來，同時降低了方法的計算復(fù)雜性，從而能夠適應(yīng)實時處理的要求。
文檔編號H04N7/15GK1463154SQ02119499
公開日2003年12月24日 申請日期2002年5月28日 優(yōu)先權(quán)日2002年5月28日
發(fā)明者梁柱, 羅忠 申請人:華為技術(shù)有限公司