專利名稱：數(shù)字圖象后處理的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種方法和一種裝置，用于包含象素的數(shù)字圖象的后處理。
本發(fā)明還涉及一個實施這種后處理方法的計算機程序產(chǎn)品。
本發(fā)明特別適用于依照基于塊的編碼技術(shù)，如MPEG標準，進行了先期編碼和后期解碼的數(shù)字圖象的校正，以便減少由基于塊的編碼技術(shù)產(chǎn)生的視覺人工效應(yīng)。
背景技術(shù)：
國際專利申請WO97/29594描述了一種方法和一種裝置，用于對解碼的視頻數(shù)據(jù)進行后處理，以便使一幅圖象中的分塊人工效應(yīng)最小化，而不會影響對比度。
為此，

圖1中所描述的依照現(xiàn)有技術(shù)的對數(shù)據(jù)進行后處理的方法包括下列步驟-對解碼的視頻數(shù)據(jù)(x)進行低通濾波(11)，適于提供濾波的數(shù)據(jù)(xf)，-對濾波的數(shù)據(jù)和解碼的視頻數(shù)據(jù)進行DCT變換(12，13)，適于提供變換的濾波數(shù)據(jù)(Xf)和變換的解碼數(shù)據(jù)(X)，-調(diào)整變換的濾波后數(shù)據(jù)中的ADJ低頻系數(shù)(14)，適于提供調(diào)整的低頻系數(shù)(Xbf)，將包含于變換的解碼數(shù)據(jù)的高頻系數(shù)(Xhf)與所調(diào)整的低頻系數(shù)組合，適合于提供被組合的變換數(shù)據(jù)(Xc)，和-對組合的變換數(shù)據(jù)進行IDCT(逆離散余弦變換)(17)，適于提供準備在屏幕上顯示的處理過的數(shù)據(jù)(xc)。
這種對解碼的視頻數(shù)據(jù)進行后處理的方法必需包括一個低通濾波步驟，用來濾除高頻分量。該方法允許在空間域提取低頻數(shù)據(jù)，并對其進行第一次DCT變換和調(diào)整，以便提供調(diào)整的低頻系數(shù)。通過對解碼的視頻數(shù)據(jù)進行第二次DCT變換，提取高頻系數(shù)(15)。這樣，由于部分數(shù)據(jù)處理方法是在空間域中實現(xiàn)的，使得該方法實現(xiàn)起來很復(fù)雜，且計算量很大。
而且，一個包含在變換的濾波數(shù)據(jù)中的低頻系數(shù)是在間隔[Xq-q/2，Xq+q/2]中調(diào)整的，其中Xq是該量化低頻系數(shù)的值，q是量化步長值，因此，這樣一種方法需要存取編碼參數(shù)，通常情況下是不可能的。
發(fā)明目的和簡介本發(fā)明的一個目的是提供一種解碼視頻數(shù)據(jù)的后處理方法，該方法可以以一種簡單且經(jīng)濟的方式來實現(xiàn)。
為此，依照本發(fā)明的數(shù)字圖象后處理方法的特征是，它包含下列步驟-頻率變換，適于從一組象素中提供一組變換的系數(shù)，-提取該組變換的系數(shù)中包含的原始低頻系數(shù)和原始高頻系數(shù)，-校正，適于從原始低頻系數(shù)中提供一組校正的變換系數(shù)，和-組合，適于從原始高頻系數(shù)和該組校正的變換系數(shù)中提供一組組合的變換系數(shù)。
在這樣的一種后處理方法中，對數(shù)據(jù)進行處理，特別是在空間域中對原始高頻和低頻系數(shù)進行了分離。因此，可以以一種簡單且經(jīng)濟的方式實現(xiàn)該后處理方法，因為原始低頻數(shù)據(jù)是單獨提取的，并通過變換的系數(shù)進行了校正。結(jié)果是，既不需要空間域中的低通濾波步驟，也不需要對濾波的數(shù)據(jù)和解碼的視頻數(shù)據(jù)進行雙頻率變換。
如果頻率變換步驟采用與先前的視頻數(shù)據(jù)編碼中的塊編碼技術(shù)所用的頻率變換相同的方式進行頻率變換，如在已經(jīng)依照MPEG標準進行了先前編碼和后期解碼的數(shù)據(jù)的情況中進行的DCT變換，該方法是特別適用的。該方法還允許更好地控制分塊人工效應(yīng)的校正。
此外，特別是當一組變換的系數(shù)的前一半構(gòu)成原始低頻系數(shù)，而該組的后一半構(gòu)成原始高頻系數(shù)時，該后處理方法更加有效。
在圖象中高頻恢復(fù)方面，該方法還是一種非常靈活的方法，其中組合步驟可以線性組合校正的變換高頻系數(shù)和原始高頻系數(shù)，以便提供組合的變換系數(shù)組。
附圖簡介參照后面描述的實施方案，利用非限定的例子，來闡述和明確本發(fā)明的這些和其它的特征。
附圖中
圖1說明了依照現(xiàn)有技術(shù)的后處理數(shù)據(jù)方法，圖2是一個顯示依照本發(fā)明的后處理數(shù)據(jù)的方法的主要步驟的示意圖，圖3說明了一種校正分塊人工效應(yīng)的方法，和圖4是一個顯示依照本發(fā)明的后處理數(shù)據(jù)的方法的一個實施方案的示意圖。
優(yōu)選實施方案的描述本發(fā)明涉及的是對依照基于塊的編碼技術(shù)進行了先期編碼和后期解碼，并因此包含分塊人工效應(yīng)的數(shù)字圖象進行后處理的方法。如后面將要描述的，依照本發(fā)明的對視頻數(shù)據(jù)進行后處理的方法將確定-在一個變換系數(shù)的塊中必需保留的原始高頻系數(shù)，以便維持圖象的細節(jié)，如輪廓，以及-必需校正的原始低頻系數(shù)，以便有效抑制分塊人工效應(yīng)。
圖2概要顯示了依照本發(fā)明的后處理解碼視頻數(shù)據(jù)的方法的主要步驟。該方法包括的步驟有-頻率變換TF(21)，適于從一組象素(y)中提供一組變換的系數(shù)(Y)，-提取包含于該變換的系數(shù)組中的原始低頻系數(shù)(Ybfo)和原始高頻系數(shù)(Yhfo)的SEP(22)，-校正COR(23)，適于從原始低頻系數(shù)中提供一組校正的變換的系數(shù)(Yc)，-組合(24)，適于從原始高頻系數(shù)和校正的變換系數(shù)組中提供一組組合的變換系數(shù)(Yadd)，和-對該組組合的變換的系數(shù)進行逆頻率變換ITF(25)，適于提供準備在屏幕上顯示的一組處理過的象素(yout)。
該組象素最好是一個N象素的段，在MPEG標準中，N＝8，為此編碼塊通常包括8個8象素行。該組象素也可以由一個完整的或部分的編碼塊構(gòu)成。頻率變換步驟最好使用DCT類型的變換，這種變換特別適用于MPEG標準。
在該優(yōu)選的實施方案中，在變換步驟中將一段象素變換為一段DCT系數(shù)。之后，在提取步驟中提取該段DCT系數(shù)的前一半，即構(gòu)成原始低頻系數(shù)(Ybfo)的前4個DCT系數(shù)，和后半段DCT系數(shù)，即構(gòu)成原始高頻系數(shù)(Yhfo)的后4個DCT系數(shù)。這樣將該DCT系數(shù)段分隔成兩個部分允許更好地校正分塊人工效應(yīng)。與現(xiàn)有技術(shù)相比，這種方法還容易進行最佳調(diào)整，現(xiàn)有技術(shù)需要從無數(shù)可用濾波器中優(yōu)化調(diào)整一個低通濾波器。
提取步驟(22)還包括一個截斷子步驟，在該子步驟中，利用4個零系數(shù)使前4個DCT系數(shù)完整，以便提供一個截斷的DCT系數(shù)段。該截斷子步驟有些類似于一個低通濾波操作。隨后在校正步驟(23)中，校正該截斷系數(shù)段，以便提供一個包括4個校正的低頻DCT系數(shù)(Ybfc)和4個校正的高頻DCT系數(shù)(Yhfc)的校正DCT系數(shù)段。在組合步驟(24)中，組合該4個原始的高頻系數(shù)和校正DCT系數(shù)段，以便提供一個組合的DCT系數(shù)(Yadd)段。
在一個特別有利的實施方案中，該組合的DCT系數(shù)段對應(yīng)于4個校正的低頻DCT系數(shù)(Ybfc)和4個原始高頻系數(shù)(Yhfo)的級連(conca tenation)。在該優(yōu)選實施方案中，組合的DCT系數(shù)段對應(yīng)于4個校正的低頻DCT系數(shù)(Ybfc)和4個組合的高頻系數(shù)(Yhfc)的級連，產(chǎn)生該4個校正的高頻DCT系數(shù)(Yhfc)和4個原始高頻系數(shù)(Yhfo)的線性組合，即Yhfadd＝a.Yhfc+(1-b).Yhfo其中a和b為0和1之間的實值，例如，如果Yhfc不為0則a＝1/2，如果Yhfc等于0，則b＝1/2。如果在校正的DCT系數(shù)中出現(xiàn)高頻，則這樣的一個組合給原始的高頻系數(shù)更大的權(quán)重，而在相反的情況中，則引入一個衰減。
最后通過IDCT變換將組合的DCT系數(shù)段變換到空間域，提供一個準備在屏幕上顯示的處理過的象素段(yout)。
該后處理數(shù)據(jù)的方法還包括至少一個圖象的水平處理，與該圖象的至少一個垂直處理相關(guān)聯(lián)。實際上，分塊人工效應(yīng)可能出現(xiàn)在一個編碼塊的邊緣，即在垂直和水平限定該塊的四個段上。如果水平處理該圖象，將校正垂直的分塊人工效應(yīng)；相反，如果垂直處理該圖象，將校正水平的分塊人工效應(yīng)。如果圖象由兩個半幀組成，該后處理數(shù)據(jù)的方法可連續(xù)用于構(gòu)成一個幀的兩個半幀。在數(shù)字圖象中，最好用于亮度數(shù)據(jù)。
實施的校正步驟是基于本領(lǐng)域的熟練人員所熟知的大量的分塊人工效應(yīng)校正方法，最好是那些不使用編碼參數(shù)的方法，因為這些參數(shù)并非總是能夠獲得。
在該優(yōu)選實施方案中，數(shù)據(jù)校正方法被稱為DFD方法(DCT頻率解塊)。這樣的一個數(shù)據(jù)校正方法包括圖3中顯示的下列步驟，即-計算第一N象素段(u)的第一離散余弦變換DCT1(31)，在所用的例子中N＝8，產(chǎn)生一個第一變換段U，-計算第二N象素段(v)的第一離散余弦變換DCT1(32)，該第二段與第一段相鄰，產(chǎn)生一個第二變換段V，-確定(33)一個預(yù)定的最大頻率(kpred)，該頻率是U和V的最大頻率ku和kv的函數(shù)，如下kpred＝2.max(ku，kv)+2其中ku＝max(k∈{0，...，N-1}/U(k)≠0)，kv＝max(k∈{0，...，N-1}/V(k)≠0)，max是給出一組確定值中k的最大值的函數(shù)。
-處理(35)一個包括2N個象素，在我們的例子中即16個象素，并對應(yīng)于第一個段(u)和第二個段(v)的級連(34)的級連段(w)，這一處理步驟包括下列子步驟-計算該級連段(w)的第二離散余弦變換DCT2(36)，產(chǎn)生一個變換的級連段W，-通過將那些具有高于預(yù)定最大頻率(kpred)的奇頻率(oddfrequency)k的變換的級連段W設(shè)置為0，來進行校正(37)，提供一個校正的變換級連段Wc，-計算該校正的變換級連段Wc的一個逆離散余弦變換IDCT2(38)，提供一個校正的級連段(cw)。
在本發(fā)明的一個優(yōu)選實施方案中，依照下面的規(guī)則來產(chǎn)生濾波閾值kumax＝max(k∈{0，...，N-1}/abs(U(k))＞T)kvmax＝max(k∈{0，...，N-1}/abs(V(k))＞T)其中T為不等于0的閾值。
在確定步驟(33)中，根據(jù)引入的閾值T，計算一個更精確的預(yù)定最大頻率(kpred)，允許對分塊人工效應(yīng)進行一個更有效的校正。該閾值T的值是由段u和v的大小來決定的。實際上，可以處理一個只包含段u和v的象素，例如，偶數(shù)行或奇數(shù)行象素的一個部分。
校正步驟COR(37)最好包括一個根據(jù)初始段u和v，和變換的段U和V的象素值來檢測固有輪廓的子步驟。該子步驟允許辨別分塊人工效應(yīng)的固有輪廓。如果滿足下面的兩個條件，在檢測到一個固有輪廓-塊間邊界的兩個邊上的段u和v的象素平均值相差一個相當大的值，該值大于一個預(yù)定值M，-由于ku和kv很小并小于一個預(yù)定值k0，很顯然，段u和v具有一個低空間活度。
圖4是一個顯示依照本發(fā)明的后處理數(shù)據(jù)方法的實施方案的示意圖，包括校正參考圖3所描述的分塊人工效應(yīng)的DFD方法。這樣的一種后處理視頻數(shù)據(jù)的方法包括下列步驟-DCT變換(41)，適于根據(jù)第一組象素(u)提供第一段DCT系數(shù)(U)，-DCT變換(42)，適于根據(jù)與第一組象素相鄰的第二組象素(v)提供第二段DCT系數(shù)(V)，-提取(43)第一段DCT系數(shù)(U)中包含的第一原始低頻系數(shù)(Ubfo)和第一原始高頻系數(shù)(Uhfo)，適于提供包括第一原始低頻系數(shù)的第一段截斷的DCT系數(shù)(Ut)，-提取(44)第二段DCT系數(shù)(V)中包含的第二原始低頻系數(shù)(Vbfo)和第二原始高頻系數(shù)(Vhfo)，適于提供包括第二原始低頻系數(shù)的第二段截斷的DCT系數(shù)(Vt)，-校正(23)，適于根據(jù)第一和第二原始低頻系數(shù)(分別為Ubfo、Vbfo)提供第一和第二段校正的DCT系數(shù)(分別為Uc、Vc)，包括下列子步驟-第一段截斷DCT系數(shù)(Ut)的IDCT變換(231)，來提供一個第一段預(yù)處理象素(ut)，-第二段截斷DCT系數(shù)(Vt)的IDCT變換(232)，來提供一個第二段預(yù)處理象素(vt)，-依照參考圖3所描述的原理，對該預(yù)處理象素段進行DFD校正(230)，適于提供校正象素段(uc、vc)，-對第一校正的象素段(uc)進行DCT變換(233)，適于提供第一段校正的DCT系數(shù)(Uc)，
-對第二校正的象素段(vc)進行DCT變換(234)，適于提供第二段校正的DCT系數(shù)(Vc)，-組合(45)，適于根據(jù)第一原始高頻系數(shù)(Uhfo)和第一段校正的DCT系數(shù)(Uc)提供一個第一段組合的DCT系數(shù)(Uadd)，-組合(46)，適于根據(jù)第二原始高頻系數(shù)(Vhfo)和第二段校正的DCT系數(shù)(Vc)提供一個第二段組合的DCT系數(shù)(Vadd)，-第一段組合的DCT系數(shù)(Uadd)的IDCT變換(47)，適于提供第一段在屏幕上顯示的處理過的象素(uout)，和-第二段組合的DCT系數(shù)(Vadd)的IDCT變換(48)，適于提供第二段在屏幕上顯示的與第一段處理過的象素(uout)相鄰的處理過的象素(vout)。
參考圖4所描述的后處理方法具有的優(yōu)勢是，它不會降低最初不包含任何分塊人工效應(yīng)的圖象的質(zhì)量。事實上，在這種圖象的顯示中，原始的低頻系數(shù)沒有經(jīng)過任何的修正，因為采用了DFD校正方法，組合的高頻DCT系數(shù)與原始的高頻系數(shù)是相同的。在現(xiàn)有技術(shù)中，在空間領(lǐng)域使用低通濾波器，在另一方面會導(dǎo)致最初不包含任何分塊人工效應(yīng)的圖象的質(zhì)量下降。
本發(fā)明可以以嵌入到下面描述的實施該后處理數(shù)據(jù)方法的一個或幾個電路中的軟件形式來實現(xiàn)，或者以硬件方式實現(xiàn)。仍用圖2中的功能模塊來表示對應(yīng)于該方法的一個用于后處理數(shù)字圖象的裝置，該裝置包括-頻率變換裝置TF(21)，適于從一組象素(y)中提供一組解碼的變換系數(shù)(Y)，-提取SEP(22)包含于變換的系數(shù)組中的原始低頻系數(shù)(Ybfo)和原始高頻系數(shù)(Yhfo)的裝置，-校正裝置COR(23)，適于從原始低頻系數(shù)中提供一組校正的變換的系數(shù)(Yc)，和-組合裝置(24)，適于從原始高頻系數(shù)和校正的變換系數(shù)組中提供一組組合的變換系數(shù)(Yadd)，和-對該組組合的變換的系數(shù)進行逆頻率變換的裝置ITF(25)，適于提供準備在屏幕上顯示的一組處理過的象素(yout)。
這樣一個后處理裝置可以插入到一個視頻解碼器和一個電視接收機之間，以便后處理解碼的數(shù)字圖象并在電視接收機上顯示后處理過的數(shù)字圖象?？梢元毩?gòu)建這樣一個裝置。也可以是視頻解碼器或電視接收機的一部分。
有多種借助于軟件來實現(xiàn)上述功能的方式。在這一點上，圖2-圖4是非常概略的。因此，盡管一個附圖以獨立模塊的形式顯示了不同的功能，但不排除可采用一個軟件來實現(xiàn)多個功能。也不排除可采用一組軟件來實現(xiàn)一個功能?？梢越柚谝粋€適當編程的視頻解碼電路、一個機頂盒或一個電視接收機來實現(xiàn)這些功能。包含在一個程序存儲器中的一套指令可以使電路進行參考圖2-4所描述的不同的操作。也可以通過讀取一個記錄載體，如一個包含一套指令的磁盤，將該套指令加載到程序存儲器中。也可以通過一個通信網(wǎng)絡(luò)，如因特網(wǎng)，來進行讀取。在這種情況下，一個服務(wù)供應(yīng)商在出售感興趣的服務(wù)程序時，提供該組指令。
本文中，放置在括號間的參考標記不應(yīng)理解為對權(quán)利要求的限制。使用動詞“包括”及其變化形式，表示不排除可采用權(quán)利要求聲明的部件和步驟之外的部件和步驟。在一個部件或步驟之前使用冠詞“一個”，表示不排除可采用多個這樣的部件或步驟。
權(quán)利要求
1.一種對包含象素的數(shù)字圖象進行后處理的方法，該方法包括下列步驟-頻率變換(21)，適于從一組象素(y)中提供一組變換的系數(shù)(Y)，-包含于所變換的系數(shù)組中的原始低頻系數(shù)(Ybfo)和原始高頻系數(shù)(Yhfo)的提取(22)，-校正(23)，適于從原始低頻系數(shù)中提供一組被校正的變換的系數(shù)(Yc)，和-組合(24)，適于從原始高頻系數(shù)和從校正的變換系數(shù)組中提供一組組合的變換系數(shù)(Yadd)，和
2.一種依照權(quán)利要求1的后處理數(shù)字圖象的方法，其中提取步驟(22)適于提取變換的系數(shù)組(Y)中的前一半，作為原始的低頻系數(shù)(Ybfo)，和提取該變換的系數(shù)組的后一半，作為原始的高頻系數(shù)(Yhfo)。
3.一種依照權(quán)利要求1的后處理數(shù)字圖象的方法，其中組合步驟(24)適于線性組合所校正的變換高頻系數(shù)(Yhfc)和原始高頻系數(shù)(Yhfo)，以便提供組合的變換系數(shù)組(Yadd)。
4.一種用于對包含象素的數(shù)字圖象進行后處理的裝置，該裝置包括-頻率變換裝置(21)，適于從一組象素(y)中提供一組解碼的變換的系數(shù)(Y)，-提取包含于變換的系數(shù)組中的原始低頻系數(shù)(Ybfo)和原始高頻系數(shù)(Yhfo)的裝置(22)，-校正裝置(23)，適于從原始低頻系數(shù)中提供一組被校正的變換的系數(shù)(Yc)，和-組合裝置(24)，適于從原始高頻系數(shù)和從校正的變換系數(shù)組中提供一組組合的變換系數(shù)(Yadd)，
5.一種用于提供解碼的數(shù)字圖象并包括一個依照權(quán)利要求4的后處理裝置的視頻解碼器，該解碼器適于對解碼的數(shù)字圖象進行后處理，以便提供后處理過的數(shù)字圖象。
6.一種用于接收數(shù)字圖象并包括一個依照權(quán)利要求4的后處理裝置的電視接收機，適于對數(shù)字圖象進行后處理，以便將后處理過的數(shù)字圖象顯示在電視節(jié)接收器的屏幕上。
7.一個用于視頻解碼器的計算機程序產(chǎn)品，該程序產(chǎn)品用于實施依照權(quán)利要求1-3之一的數(shù)字圖象的后處理方法；該程序產(chǎn)品，例如，包括一套指令，當其被加載到視頻解碼器中時，使該視頻解碼器實施所述數(shù)字圖象的后處理方法。
全文摘要
本發(fā)明涉及一種用于包含象素的數(shù)字圖象的后處理方法，該方法包括一個步驟，在該步驟中，進行頻率變換TF(21)，適于從一組象素(y)中提供一組變換的系數(shù)(Y)，提取SEP(22)包含于該組變換的系數(shù)中的原始低頻系數(shù)(Ybfo)和原始高頻系數(shù)(Yhfo)，校正COR(23)，適于從原始低頻系數(shù)中提供一組校正的變換的系數(shù)(Yc)，和組合(24)，適于從原始高頻系數(shù)和校正的變換系數(shù)組中提供一組組合的變換系數(shù)(Yadd)，和一個對該組組合的變換的系數(shù)進行逆頻率變換ITF(25)的步驟，適于提供準備在屏幕上顯示的一組處理過的象素(yout)。
文檔編號G06T5/10GK1478252SQ02801147
公開日2004年2月25日 申請日期2002年4月8日 優(yōu)先權(quán)日2001年4月10日
發(fā)明者E·勒舍利爾, J·E·卡維德斯, C·米羅索羅拉, E 勒舍利爾, 匏髀蘩, 卡維德斯 申請人:皇家菲利浦電子有限公司