專利名稱：用于編碼圖像和/或音頻數(shù)據(jù)的方法及設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于編碼從一個(gè)源接收到的數(shù)據(jù)的方法及設(shè)備，其中該編碼是對(duì)數(shù)據(jù)施加一種結(jié)構(gòu)的類型，所述結(jié)構(gòu)并未在所接收到的數(shù)據(jù)中定義。本發(fā)明特別應(yīng)用于例如使用MPEG編碼對(duì)數(shù)字化的圖像或音頻數(shù)據(jù)進(jìn)行基于塊的壓縮，所述數(shù)字化的圖像或音頻數(shù)據(jù)是由模擬源得到的。
眾所周知，圖像，尤其是電視和視頻記錄應(yīng)用的運(yùn)動(dòng)圖片序列，可以以模擬或數(shù)字格式被傳輸和存儲(chǔ)。數(shù)字化傳輸和存儲(chǔ)對(duì)于專業(yè)的和消費(fèi)者的應(yīng)用正變得越來(lái)越切實(shí)可行。通常都需要將模擬源的圖像進(jìn)行數(shù)字化和編碼以便用于傳輸或存儲(chǔ)，反之亦然。這些圖像可以是例如由數(shù)字?jǐn)z影得到的、或者是由膠片或紙張掃描得到的靜止圖像，也可以是由運(yùn)動(dòng)圖片序列形成的圖像流。由攝像機(jī)或記錄裝置得到的數(shù)字視頻可以被轉(zhuǎn)換成模擬的形式用于廣播，然后被再次轉(zhuǎn)換成數(shù)字的形式用于存儲(chǔ)，例如存儲(chǔ)在家用數(shù)字錄像機(jī)(DVR)設(shè)備中。
數(shù)字傳輸和存儲(chǔ)系統(tǒng)通常使用基于塊的壓縮方式(例如JPEG或MPEG-2)來(lái)實(shí)現(xiàn)在可用的傳輸帶寬和存儲(chǔ)容量范圍內(nèi)的可以接受的圖像質(zhì)量。JPEG是一種基于對(duì)像素?cái)?shù)據(jù)組、塊執(zhí)行離散余弦變換(DCT)的視頻壓縮系統(tǒng)。MPEG-2是一種基于相同原理的運(yùn)動(dòng)視頻壓縮系統(tǒng)。為了實(shí)現(xiàn)充分的數(shù)據(jù)壓縮，對(duì)表示每個(gè)像素塊的DCT系數(shù)進(jìn)行自適應(yīng)量化和可變長(zhǎng)編碼(VLE)。將這些塊每四個(gè)分成一組，形成“宏塊”，從而色度(顏色)分量可以以亮度(輝度)分量的空間分辨率的一半來(lái)表示。這些技術(shù)可以被應(yīng)用在靜止圖像(JPEG)和運(yùn)動(dòng)視頻(MPEG)中。對(duì)于運(yùn)動(dòng)圖片，在宏塊的基礎(chǔ)上執(zhí)行運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)編碼來(lái)實(shí)現(xiàn)進(jìn)一步的壓縮。
由于量化，這些壓縮系統(tǒng)都是“有損”的系統(tǒng)，因此被編碼的數(shù)據(jù)在解碼之后與編碼之前的原始數(shù)據(jù)并非完全一樣。這本身可以表現(xiàn)為像素的亮度差異和/或色度差異，所有這些通常都表現(xiàn)為重建圖像中的噪聲。在JPEG和MPEG這樣的基于塊的壓縮系統(tǒng)中，一種特別顯著的噪聲就是出現(xiàn)在塊邊界處的像素顏色和/或輝度的不連續(xù)性。這些偽像在這里將被稱為“塊噪聲”。人眼對(duì)這種對(duì)比度的突然變化非常敏感，例如以疊加在普通的運(yùn)動(dòng)圖像上的格狀圖案形式出現(xiàn)的樣子。例如EP0998146A中就描述了一種設(shè)備，用于檢測(cè)塊噪聲和平滑塊邊界處的不連續(xù)性，從而使被觀看圖像中的塊邊界的突出性最小。
壓縮編碼器通常在圖像質(zhì)量和傳輸帶寬或文件大小之間實(shí)施一種連續(xù)的折衷辦法?？商峁┑膱D像質(zhì)量很大程度上依賴于源圖像的內(nèi)容和質(zhì)量。源圖像中的噪聲會(huì)導(dǎo)致質(zhì)量的顯著惡化，因?yàn)楸绕鹣到y(tǒng)所設(shè)計(jì)用于的更為相關(guān)的信號(hào)，要表示隨機(jī)特征的代價(jià)固有地更高。另一方面，對(duì)已用所述方法編碼過(guò)的圖像進(jìn)行重復(fù)解碼和再次編碼并不會(huì)必然導(dǎo)致更大的惡化，因?yàn)槭Ｓ嗟男畔⒁呀?jīng)適合于再編碼處理在可用帶寬內(nèi)所能再現(xiàn)的內(nèi)容。盡管被再次編碼的圖像可能包含顯著的塊噪聲，例如由于每個(gè)塊都由DCT處理單獨(dú)處理，這些偽像可能在再編碼圖像中被再現(xiàn)，但它們不會(huì)被混合，也不會(huì)消耗任何額外帶寬，因?yàn)樗鼈儗?duì)再編碼器來(lái)說(shuō)實(shí)際上是“不可見的”。
然而發(fā)明者已經(jīng)認(rèn)識(shí)到一個(gè)問(wèn)題，其中包含塊噪聲的解碼圖像是以模擬形式被傳輸或存儲(chǔ)的，然后再被提供到編碼器用于數(shù)字傳輸或存儲(chǔ)。這種情況下，在源圖像中存在的塊噪聲偽像和編碼器提供的塊邊界之間通常并不對(duì)準(zhǔn)。結(jié)果，編碼器將把塊噪聲“看作”將被編碼的信號(hào)的一部分。然后，不僅在編碼的圖像中會(huì)再現(xiàn)這種塊噪聲，而且要表示在編碼器的像素塊中的這些明顯的不連續(xù)性所需的帶寬將減少表示真實(shí)圖像內(nèi)容的可用帶寬，從而導(dǎo)致圖像質(zhì)量的顯著惡化。在解碼該圖像的過(guò)程中，將包含兩組塊噪聲，并且任何通過(guò)模擬信道的進(jìn)一步傳輸和再編碼將會(huì)使該問(wèn)題更加嚴(yán)重。
當(dāng)根據(jù)MPEG-2這樣的基于塊的編碼方法來(lái)處理運(yùn)動(dòng)視頻時(shí)，一個(gè)幀序列被作為一個(gè)理論上采用了不同的編碼方案的圖片組(GOP)進(jìn)行編碼。所述編碼方案通常包括內(nèi)部編碼的“I”幀，這種幀僅使用來(lái)自其自身的信息進(jìn)行編碼(類似于JPEG)；預(yù)測(cè)編碼的“P”幀，這種幀基于先前的I幀使用運(yùn)動(dòng)矢量進(jìn)行編碼；以及雙向預(yù)測(cè)編碼的“B”幀，這種幀根據(jù)對(duì)序列中先前的和以后的I幀和/或P幀的預(yù)測(cè)進(jìn)行編碼。編碼方案的選擇及其排列順序?qū)⒏鶕?jù)傳送運(yùn)動(dòng)視頻所使用的通信介質(zhì)的完善性來(lái)決定。例如，若信道存在很高的破壞的可能性，則有可能在GOP中重復(fù)比對(duì)于更安全鏈路所使用的更多的“I”幀，從而可以在中斷時(shí)快速重建圖像。
理想情況下，為了在解碼和再編碼步驟中實(shí)現(xiàn)最大壓縮和最小惡化，將在所有的編碼級(jí)中使用相同的GOP序列。EP0106779A試圖與數(shù)字視頻信號(hào)一起發(fā)送“歷史”數(shù)據(jù)，從而可以根據(jù)原先數(shù)據(jù)流的GOP結(jié)構(gòu)來(lái)執(zhí)行再編碼。然而，若這些圖片已經(jīng)在此期間通過(guò)了模擬域，那么就不能提供這種歷史數(shù)據(jù)。當(dāng)發(fā)生這種情況時(shí)，原先作為I幀的幀就可能被作為B幀或P幀來(lái)編碼，原先的B幀或P幀隨后可能被作為I幀來(lái)編碼。通常這樣會(huì)導(dǎo)致圖片質(zhì)量的損失，如果重復(fù)執(zhí)行解碼和再編碼處理的話這將會(huì)更為嚴(yán)重。
在對(duì)可能已經(jīng)過(guò)先前壓縮的模擬源的音頻數(shù)據(jù)進(jìn)行編碼時(shí)也會(huì)出現(xiàn)類似的問(wèn)題。例如，許多音頻壓縮系統(tǒng)將音頻樣本流劃分為許多短塊，這些短塊類似于像素塊但卻是一維的，音頻壓縮系統(tǒng)根據(jù)每個(gè)塊的頻譜內(nèi)容對(duì)每個(gè)塊進(jìn)行編碼。這種情況下，這些塊代表的是時(shí)域結(jié)構(gòu)而不是空間結(jié)構(gòu)，但塊邊界偽像的存在和帶寬挪用問(wèn)題仍會(huì)帶來(lái)與上述問(wèn)題類似的問(wèn)題。
因此，本發(fā)明的一個(gè)目的是提供了改進(jìn)的方法和設(shè)備，用于對(duì)得自模擬源的例如圖像和聲音這樣的數(shù)據(jù)執(zhí)行基于塊的編碼，特別是提供了能夠保持先前已經(jīng)進(jìn)行了基于塊的編碼并包含塊噪聲或其他結(jié)構(gòu)化偽像的圖像/聲音的質(zhì)量的方法。
根據(jù)本發(fā)明的第一方面，提供了一種對(duì)從源接收的數(shù)據(jù)進(jìn)行編碼的方法，其中該編碼屬于對(duì)數(shù)據(jù)施加一種結(jié)構(gòu)的類型，該結(jié)構(gòu)并未在所接收到的數(shù)據(jù)中定義，該方法包括以下步驟分析所接收的數(shù)據(jù)，以檢測(cè)該數(shù)據(jù)中包含的偽像，該偽像指示該數(shù)據(jù)先前已經(jīng)過(guò)了相同類型的編碼和解碼處理；通過(guò)分析所述偽像而提取關(guān)于由所述先前編碼處理施加在該數(shù)據(jù)上的結(jié)構(gòu)的信息；參照所提取的結(jié)構(gòu)信息而對(duì)接收的數(shù)據(jù)進(jìn)行編碼。
可以執(zhí)行該編碼步驟以便能夠使由該編碼處理施加的結(jié)構(gòu)和由先前編碼處理所施加的結(jié)構(gòu)之間的對(duì)準(zhǔn)最大化。
從以下的例子可以看出，通過(guò)使用和以前相同的結(jié)構(gòu)進(jìn)行編碼，能夠使圖像或音頻數(shù)據(jù)在減小了質(zhì)量惡化的情況下通過(guò)一個(gè)包括多個(gè)編碼/解碼級(jí)的系統(tǒng)傳播。本發(fā)明的一個(gè)特別優(yōu)點(diǎn)是，能夠避免由于對(duì)先前編碼處理中的偽像進(jìn)行不必要編碼而造成的帶寬消耗。
當(dāng)接收的數(shù)據(jù)表示圖像時(shí)(例如是通過(guò)模擬的傳輸或存儲(chǔ)處理接收的圖像)，則由該編碼處理施加的結(jié)構(gòu)可能包括一種空間結(jié)構(gòu)，其中圖像的像素按塊進(jìn)行處理，并且執(zhí)行編碼以便能夠使該編碼處理的塊邊界與存在于所接收的圖像數(shù)據(jù)中的作為先前編碼的結(jié)果的塊邊界偽像基本上對(duì)準(zhǔn)。
該編碼處理可以屬于施加一種空間結(jié)構(gòu)的類型，在該空間結(jié)構(gòu)中像素塊被分組成為宏塊。這種情況下，可以執(zhí)行編碼以便能夠使該編碼處理的宏塊邊界與存在于所接收的圖像數(shù)據(jù)中的作為先前編碼的結(jié)果的宏塊邊界偽像基本上對(duì)準(zhǔn)。在通過(guò)JPEG或MPEG得到圖像數(shù)據(jù)中，宏塊邊界的偽像只能在圖像數(shù)據(jù)的色度分量中檢測(cè)到，而不是亮度數(shù)據(jù)。術(shù)語(yǔ)“塊”應(yīng)當(dāng)被解釋為包含“宏塊”，除非上下文中需要其他的解釋。
在圖像的色度和亮度分量之間的相對(duì)分辨率沒(méi)有預(yù)先固定的情況下，在色度和亮度分量中分別對(duì)塊邊界偽像進(jìn)行檢測(cè)，也將允許把確定相對(duì)分辨率作為一個(gè)預(yù)備步驟。作為對(duì)以上述方式對(duì)準(zhǔn)塊邊界的替代或(優(yōu)選地)補(bǔ)充，這樣做可以用來(lái)以相同的參數(shù)設(shè)置編碼器。
所接收的圖像數(shù)據(jù)可以(附加地)是圖像的一個(gè)運(yùn)動(dòng)圖片序列。這種情況下，可以完全通過(guò)對(duì)當(dāng)前圖像的分析、完全根據(jù)先前圖像、或先前圖像和當(dāng)前圖像的結(jié)合來(lái)獲得用于每個(gè)連續(xù)圖像的結(jié)構(gòu)信息?？梢愿鶕?jù)情況來(lái)選擇所述實(shí)施例。第一選項(xiàng)考慮到幀和幀之間結(jié)構(gòu)的抖動(dòng)，但很難識(shí)別以下結(jié)構(gòu)，在該結(jié)構(gòu)中圖像數(shù)據(jù)的內(nèi)容在給定的幀中缺少很強(qiáng)的偽像(例如場(chǎng)景之間的空白圖像)。第二選項(xiàng)可以避免這個(gè)問(wèn)題，同時(shí)仍然能夠允許編碼器適應(yīng)偽像結(jié)構(gòu)相對(duì)于所接收?qǐng)D像數(shù)據(jù)的較慢漂移。
分析所接收數(shù)據(jù)的步驟可以包括存儲(chǔ)圖像的全部或至少一大部分以及執(zhí)行頻譜分析以便識(shí)別指示塊邊界噪聲存在的周期性分量。提取結(jié)構(gòu)信息的步驟可以包括分析所述圖像，以便確定那些偽像的間隔(頻率)和位置(相位)。若圖像數(shù)據(jù)被存儲(chǔ)在一個(gè)圖像存儲(chǔ)器中以用于分析，則頻譜分析可以包括對(duì)所存儲(chǔ)的數(shù)據(jù)執(zhí)行快速傅立葉變換(FFT)。
可以利用對(duì)數(shù)據(jù)預(yù)先處理從而產(chǎn)生具有標(biāo)準(zhǔn)化結(jié)構(gòu)的數(shù)據(jù)的多個(gè)獨(dú)立步驟來(lái)執(zhí)行編碼步驟。這樣可以允許應(yīng)用通用編碼處理(軟件和/或硬件)而不需要進(jìn)行修改。例如，在MPEG編碼處理中，編碼器通常應(yīng)用從圖像左上角像素開始的8×8/16×16的塊/宏塊結(jié)構(gòu)?？梢酝ㄟ^(guò)完全在數(shù)字域?qū)D像數(shù)據(jù)再采樣來(lái)執(zhí)行所述預(yù)先處理步驟。為了這一目的可以執(zhí)行濾波以便插入像素值。當(dāng)一開始從模擬進(jìn)行數(shù)字化的時(shí)候，可以對(duì)接收到的數(shù)據(jù)執(zhí)行過(guò)采樣，從而最小化再采樣步驟中質(zhì)量的損失。
在編碼開始之前可以對(duì)整個(gè)圖像執(zhí)行再采樣，或者可以在讀出像素?cái)?shù)據(jù)以進(jìn)行編碼的過(guò)程中執(zhí)行再采樣。
在所接收到的圖像數(shù)據(jù)代表運(yùn)動(dòng)圖像序列的情況下，編碼處理所施加的結(jié)構(gòu)可以為時(shí)間結(jié)構(gòu)(GOP結(jié)構(gòu))，在該結(jié)構(gòu)中，對(duì)序列中的不同圖像的處理不同，執(zhí)行編碼從而將與先前編碼處理所應(yīng)用的GOP結(jié)構(gòu)基本相同的GOP結(jié)構(gòu)應(yīng)用于該序列?；蛘?，可以執(zhí)行編碼從而應(yīng)用不同的GOP結(jié)構(gòu)，該GOP結(jié)構(gòu)與先前編碼處理中所用的GOP結(jié)構(gòu)不同但在時(shí)間上相關(guān)。實(shí)際上，分析偽像可以區(qū)分內(nèi)部和幀間編碼的圖片。
通過(guò)分析在存儲(chǔ)器中完整存儲(chǔ)的多個(gè)圖像可以執(zhí)行分析GOP結(jié)構(gòu)，或者可以通過(guò)僅保持過(guò)去圖像的參數(shù)并相對(duì)于這些參數(shù)分析當(dāng)前圖像也可以執(zhí)行分析?？赡苤挥性诜治鲈撔蛄兄袔讉€(gè)幀之后，才能識(shí)別該GOP結(jié)構(gòu)。內(nèi)部編碼的圖片通常很有規(guī)律地出現(xiàn)，并包含更多高頻分量，按照這種方式可以對(duì)其進(jìn)行識(shí)別。注意用于編碼處理的DCT設(shè)備可用于測(cè)量所述高頻分量。另一方面，為了該目的提供多個(gè)獨(dú)立濾波器可能更簡(jiǎn)單，從而保持通用編碼器并減小設(shè)計(jì)工作和不確定性。設(shè)計(jì)者可以選擇或者將編碼延遲直到確定了GOP結(jié)構(gòu)為止；或者不參考該GOP結(jié)構(gòu)即開始編碼。如果需要，當(dāng)具有足夠的可用信息時(shí)，即可以開始對(duì)準(zhǔn)該結(jié)構(gòu)。很明顯后一個(gè)選擇更好，特別是當(dāng)饋送TV傳輸以便同時(shí)顯示時(shí)，此時(shí)可以將具有或不具有編碼偽像的視頻片斷一起自由編輯。
所接收到的數(shù)據(jù)或者也可以包含音頻數(shù)據(jù)。編碼處理所施加的結(jié)構(gòu)可以包括時(shí)間結(jié)構(gòu)，其中將音頻信號(hào)的多個(gè)樣本按塊處理，每個(gè)塊表示一個(gè)較短時(shí)間間隔，執(zhí)行編碼從而基本上將編碼處理的塊邊界與作為先前編碼處理的結(jié)果而存在于所接收到的音頻數(shù)據(jù)中的塊邊界偽像的對(duì)準(zhǔn)最大化。在上述或下面將描述的圖像處理的實(shí)施例中應(yīng)用的原理通常都可應(yīng)用于音頻編碼處理。一個(gè)區(qū)別就是音頻數(shù)據(jù)是一維的且連續(xù)的，而不是在可以被彼此孤立地處理(如果希望的話)的獨(dú)立圖像幀中組織的二維數(shù)據(jù)。因此適用于音頻流的方法將是連續(xù)變化的，其中將持續(xù)地(on-going)檢測(cè)偽像的存在和位置，且可以持續(xù)地適配編碼步驟以便隨著時(shí)間而不是在數(shù)據(jù)流中的每個(gè)部分中使塊邊界的對(duì)準(zhǔn)最大化。
因此，在音頻數(shù)據(jù)的情況下，分析步驟可包括瑣相環(huán)(PLL)處理，該處理用于檢測(cè)以及隨后鎖定連續(xù)數(shù)據(jù)流中的塊邊界偽像。編碼步驟可包括第二鎖相環(huán)路或相似的用于隨著時(shí)間逐漸地將編碼處理的塊邊界與所檢測(cè)到的塊邊界偽像對(duì)準(zhǔn)最大化的處理，從而避免由編碼步驟施加的塊結(jié)構(gòu)中的突然不連續(xù)。
本發(fā)明還提供一種用于編碼數(shù)據(jù)的設(shè)備，該設(shè)備適于實(shí)現(xiàn)上述根據(jù)本發(fā)明的方法。
該設(shè)備包括數(shù)字錄像機(jī)或數(shù)字錄音機(jī)。
如上所述，利用預(yù)處理和通用編碼處理或處理設(shè)備，可以實(shí)現(xiàn)本發(fā)明。
因此，本發(fā)明還提供一種用于對(duì)從源接收到的數(shù)據(jù)進(jìn)行預(yù)處理的方法，該數(shù)據(jù)隨后應(yīng)用于編碼處理，該編碼處理將在數(shù)據(jù)上施加一種結(jié)構(gòu)，該結(jié)構(gòu)并未在所接收到的數(shù)據(jù)中定義，該方法包括以下步驟-分析所接收到的數(shù)據(jù)從而檢測(cè)數(shù)據(jù)中包含的偽像，所述偽像指示該數(shù)據(jù)已經(jīng)經(jīng)過(guò)了相同類型的先前的編碼處理；-通過(guò)分析所述偽像從而提取出關(guān)于由所述先前編碼處理在數(shù)據(jù)上施加的結(jié)構(gòu)的信息；-參照提取出的結(jié)構(gòu)信息來(lái)處理所接收到的數(shù)據(jù)，從而將由先前編碼處理所施加的結(jié)構(gòu)和預(yù)定結(jié)構(gòu)之間的對(duì)準(zhǔn)最大化。
于是具有通用編碼設(shè)備或軟件的消費(fèi)者原則上可以另外添加預(yù)處理能力。在將該數(shù)據(jù)作為數(shù)字TV或音頻廣播信號(hào)傳送之前，播送者也可以執(zhí)行預(yù)處理，從而具有通用編碼設(shè)備的用戶就可以不需要在自己一方投資的情況下從本發(fā)明獲得利益。
上述描述的特定實(shí)施例可以按照這種形式的方法來(lái)應(yīng)用。相似地也可以提供一種預(yù)處理設(shè)備。
本發(fā)明還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括用于使可編程計(jì)算機(jī)按照前述任何方面執(zhí)行本發(fā)明的特定方法步驟和/或設(shè)備特征的指令。該計(jì)算機(jī)程序產(chǎn)品可以獨(dú)立于任何計(jì)算機(jī)硬件被提供，也可以以記錄載體或通過(guò)網(wǎng)絡(luò)以電子形式提供。
下面將參照附圖以例子的方式來(lái)說(shuō)明本發(fā)明的實(shí)施例，其中

圖1示出在基于塊的編碼之前具有平滑邊緣的原始圖像；圖2示出在有損耗的基于塊的編碼之后的圖1所示的圖像；圖3示出在圖2所示的實(shí)際圖像中存在的塊噪聲；圖4示出一種具有多個(gè)編碼和后續(xù)解碼級(jí)的典型系統(tǒng)，它用于將模擬運(yùn)動(dòng)視頻通過(guò)具有有限帶寬的通信鏈路從源發(fā)送給用戶；圖5示出圖像經(jīng)過(guò)圖4系統(tǒng)中多個(gè)不同級(jí)(A，B，C)后，對(duì)于該圖像的塊邊界的影響；圖6示出本發(fā)明的改進(jìn)后的編碼器，用于檢測(cè)編碼參數(shù)以便隨后在基于塊的編碼中使用；圖7示出圖6所示的編碼器的邊界邊緣檢測(cè)器的方塊圖；圖8示出在經(jīng)過(guò)典型基于塊的編碼后的圖像中可能出現(xiàn)的一些可檢測(cè)的邊界；圖9示出圖8的可檢測(cè)邊界，其中內(nèi)插有圖7的邊界邊緣檢測(cè)器以便形成編碼柵格；以及圖10示出根據(jù)檢測(cè)到的和插入的塊邊界來(lái)推導(dǎo)出像素時(shí)鐘。
圖像處理系統(tǒng)設(shè)計(jì)者的一個(gè)目標(biāo)是，使得隨著信號(hào)通過(guò)系統(tǒng)而在該信號(hào)中引入的噪聲量最小化。
目前有多種技術(shù)可以在顯示視頻圖像之前抑制該視頻圖像中的噪聲。例如，低頻濾波器可以降低任何高頻(因此是顯著的)過(guò)渡的陡峭度，從而使圖像視覺更能接受。但是，這樣做也會(huì)降低整個(gè)圖像的帶寬，從而導(dǎo)致銳度更小并因而惡化的圖像。
或者，我們最好使噪聲生成本身最小化，而不是在噪聲進(jìn)入系統(tǒng)之后再試圖抑制它。當(dāng)前有多種屏蔽技術(shù)可以最小化系統(tǒng)的噪聲拾取，但是使系統(tǒng)自身的噪聲生成最小化會(huì)更有難度。使用基于塊的編碼的圖像壓縮實(shí)際上自身就會(huì)生成一定量的噪聲，在信號(hào)經(jīng)過(guò)該系統(tǒng)時(shí)這些噪聲可以傳播，在特定環(huán)境下這些噪聲還會(huì)加強(qiáng)。
圖1示出基于塊的編碼之前所得到的圖像。其中的線用于描述高對(duì)比度變化的區(qū)域。線和曲線都是平滑的。(從中得到該圖像的原始圖像也表現(xiàn)出很寬的動(dòng)態(tài)色調(diào)范圍)。
圖2示出當(dāng)利用例如JPEG等基于塊的編碼將圖1所示的圖像壓縮為縮小的文件大小之后，圖1所示的圖像。同樣，其中的線仍然描述了高對(duì)比度的點(diǎn)。本領(lǐng)域技術(shù)人員可以理解如果該圖像是從運(yùn)動(dòng)視頻序列中選擇出來(lái)的一個(gè)圖像，則所使用的壓縮可以是MPEG編碼。由于該編碼方案是“有損耗”的，因此會(huì)在圖像中引入很多偽像。例如，突入這些線中的尖銳對(duì)象。平滑線已被鋸齒狀的邊緣所代替。
原始圖像的較寬色調(diào)范圍也被具有均勻色調(diào)(未示出)的較小方塊所替換。因此，在所選擇區(qū)域范圍內(nèi)灰度的平滑過(guò)渡現(xiàn)在由不同的均勻色調(diào)值的躍變所代替。這些塊之間的有些躍變具有足夠大的差異，以致在圖像中變得非常顯著。
圖3示出在邊緣檢測(cè)器處理之后的圖2所示的圖像。該圖像是通過(guò)檢測(cè)相鄰像素之間具有高對(duì)比度的點(diǎn)而得到的。如果對(duì)圖1所示的原始圖像執(zhí)行該處理，則它將變得與圖1所示的圖像非常相似。但是，當(dāng)對(duì)圖2所示的經(jīng)過(guò)基于塊的編碼后的圖像執(zhí)行該處理時(shí)，除了基本圖像之外我們可以很清楚地發(fā)現(xiàn)具有相等尺寸和形狀的多個(gè)清晰地確定的塊。這些塊涉及8×8像素的像素組，并且由于它是在塊之間的可檢測(cè)過(guò)渡處發(fā)生，因此也被稱為“塊噪聲”。
基于塊的壓縮方案可以通過(guò)對(duì)圖像中的多個(gè)區(qū)域分別編碼來(lái)減小圖像文件的大小(和/或經(jīng)過(guò)有限帶寬載體傳送圖像所需的帶寬)。對(duì)每個(gè)塊進(jìn)行處理從而消除傳送圖像所不需要的那些信號(hào)分量(通常為高頻)。通過(guò)僅傳送相對(duì)于前一幀有所變化的圖像數(shù)據(jù)，進(jìn)一步壓縮運(yùn)動(dòng)序列。通過(guò)以規(guī)定時(shí)間間隔發(fā)送新的參考幀來(lái)減小累計(jì)誤差。下面將描述這種處理運(yùn)動(dòng)視頻的方法。
由于用于每個(gè)塊中每個(gè)像素顯示的重建僅是對(duì)其原始值的近似，因此每個(gè)圖像中的各塊都是可見的。這是因?yàn)榫幋a處理已經(jīng)丟棄了用于再現(xiàn)該塊的某些數(shù)據(jù)。所選擇的壓縮越大，塊內(nèi)每個(gè)像素值的最終近似就越大。由于原始圖像中像素之間的平滑漸變已經(jīng)被像素值的躍變替換，因此相鄰塊將變得可見。改變像素值相對(duì)于其原始值的偏差將導(dǎo)致躍變變得更為可見。
圖4示出一種典型的視頻產(chǎn)生、處理和分配系統(tǒng)。多媒體源100被攝制(105)并被提供給工作室110進(jìn)行處理。隨后在家庭環(huán)境中發(fā)送(120)和接收(130)該視頻以便解碼(140)和顯示(150)?？蛇x地，可以將該視頻記錄(160)下來(lái)以便以后觀看。該系統(tǒng)包括多個(gè)基于塊的編碼和隨后的解碼級(jí)(A，B，C)以便在該系統(tǒng)中通過(guò)具有有限帶寬的通信鏈路傳送運(yùn)動(dòng)視頻。
在所示的例子中，多媒體源100是利用外部廣播單元攝制的，并且所產(chǎn)生的模擬視頻被記錄在錄像帶上。該錄像機(jī)使用MPEG編碼來(lái)壓縮視頻，以便使用較小的盒式磁帶提供足夠的記錄時(shí)間。這是本示例系統(tǒng)中基于塊的編碼的第一級(jí)(A)。然后將該錄像帶105轉(zhuǎn)移到工作室110，在此將其解碼回模擬視頻。此時(shí)由于現(xiàn)有編碼和隨后的解碼處理的效率低，在該模擬視頻中將引入很多偽像。
一旦工作室通過(guò)例如與其它多媒體內(nèi)容混合而對(duì)該視頻進(jìn)行處理之后，將信號(hào)(傳輸)120給用戶130。該傳輸包括另一個(gè)基于塊的編碼級(jí)(B)(例如MPEG-2)，因?yàn)槊總€(gè)傳輸信道的帶寬可能是受限制的。用戶接收到該信號(hào)，然后將該信號(hào)解碼(140)從而提供模擬視頻VID用于由監(jiān)視器150顯示。用戶可能希望記錄監(jiān)視器上正在顯示的視頻，并且也有無(wú)盒式磁帶記錄設(shè)備160，例如使用硬盤驅(qū)動(dòng)器存儲(chǔ)數(shù)字化視頻。利用基于塊的編碼再次(C)壓縮該視頻VID，以便最大化地利用硬盤驅(qū)動(dòng)器的容量。當(dāng)隨后顯示時(shí)，可以按照與前面兩級(jí)相似的方式來(lái)重放和解碼該視頻。
經(jīng)過(guò)該系統(tǒng)的視頻信息需要經(jīng)過(guò)三個(gè)基于塊的編碼級(jí)(A，B，C)和隨后解碼，其中信號(hào)以模擬形式在各級(jí)之間傳送。由于使用模擬視頻，各級(jí)之間不需要傳送這樣的信息，所述信息允許在每個(gè)編碼級(jí)處根據(jù)相同規(guī)則對(duì)相同圖像的像素進(jìn)行編碼、從而是與先前編碼級(jí)完全相同的方式進(jìn)行編碼。
圖5示出圖像在經(jīng)過(guò)圖4所示系統(tǒng)的不同級(jí)(A，B，C)之后，對(duì)其塊邊界的影響。實(shí)線200表示第一編碼/解碼級(jí)所使用的塊邊界。虛線210、220和230表示隨后的編碼/解碼級(jí)所使用的塊邊界。我們可以發(fā)現(xiàn)這些塊邊界位于圖像幀內(nèi)的不同位置。這是因?yàn)閴K邊界的位置由不同因素決定，例如時(shí)鐘速度、圖像大小和圖像偏移。當(dāng)將模擬信號(hào)數(shù)字化時(shí)，例如由溫度等錄像機(jī)磁帶傳送機(jī)構(gòu)的環(huán)境因素導(dǎo)致的時(shí)基上的變化可能導(dǎo)致邊界在一定時(shí)間段內(nèi)彼此相對(duì)運(yùn)動(dòng)。
這些變化邊界的結(jié)果就是使圖像序列中圖像的質(zhì)量降低。這是因?yàn)樵谙惹暗幕趬K的編碼/觸碼級(jí)中引入了塊邊界偽像200，并且在后面的任何編碼級(jí)中將這些偽像作為有意義的圖像內(nèi)容數(shù)據(jù)來(lái)對(duì)待。
為了解決這個(gè)問(wèn)題，本發(fā)明的發(fā)明人發(fā)現(xiàn)使用與先前編碼級(jí)所用的塊和像素結(jié)構(gòu)相同的塊和像素結(jié)構(gòu)對(duì)模擬圖像編碼，可以有效地使塊邊界偽像對(duì)于編碼器來(lái)說(shuō)不可見，其中該編碼器基本上將每個(gè)像素塊看作獨(dú)立單元。由于其它編碼級(jí)將第一編碼級(jí)中引入的偽像作為圖像內(nèi)容來(lái)看待，從而不消耗帶寬，因此就可以在不影響帶寬要求的情況下顯著提高圖像質(zhì)量。
本發(fā)明的發(fā)明人還發(fā)現(xiàn)可以分析模擬圖像來(lái)確定是否以前已經(jīng)使用基于塊的圖像壓縮系統(tǒng)對(duì)該模擬圖像進(jìn)行了編碼，并使用分析結(jié)果來(lái)指導(dǎo)編碼處理。
圖6示出改進(jìn)的編碼器，用于執(zhí)行兩個(gè)主要的功能a)分析輸入的模擬視頻IV以便檢測(cè)在先前編碼級(jí)中所使用的編碼參數(shù)，例如塊和像素邊界以及像素時(shí)鐘；和b)使用檢測(cè)到的編碼參數(shù)來(lái)指導(dǎo)輸入視頻的基于塊的編碼。
邊界邊緣檢測(cè)器BED300用于分析輸入的模擬視頻以便確定編碼參數(shù)，例如每個(gè)圖像內(nèi)的水平“H”和垂直“V”塊邊界，并根據(jù)這些邊界得到像素時(shí)鐘“CLK”，該像素時(shí)鐘直接對(duì)應(yīng)于每個(gè)塊內(nèi)像素的位置。以前也有人嘗試分析模擬視頻以便抑制塊噪聲，其中的一個(gè)例子在EP0998146A中示出。在先前已經(jīng)被基于塊編碼的視頻幀內(nèi)的可檢測(cè)水平和垂直塊邊界被用于抑制塊噪聲，但僅僅是與這些檢測(cè)到的邊界相鄰的塊噪聲。
邊界邊緣檢測(cè)器BED300包括數(shù)字化和存儲(chǔ)前端DIG/BUF304，可以訪問(wèn)該DIG/BUF304以便分析從而確定邊界邊緣，并且該DIG/BUF304作為基于塊的編碼器的數(shù)字視頻數(shù)據(jù)的源。
在一個(gè)實(shí)施例中，控制器還根據(jù)所接收到的圖像數(shù)據(jù)中的偽像來(lái)檢測(cè)GOP結(jié)構(gòu)，然后該控制器還指導(dǎo)編碼器去在新的編碼中施加對(duì)應(yīng)的GOP結(jié)構(gòu)。BED和編碼器控制器(未示出)之間可以通過(guò)接口傳送該GOP結(jié)構(gòu)。但是，也可以使用關(guān)于該GOP結(jié)構(gòu)的信息來(lái)在GOP結(jié)構(gòu)或量化強(qiáng)度方面影響編碼器，但是并不嚴(yán)格規(guī)定用于編碼處理的GOP結(jié)構(gòu)。MPEG編碼處理往往需要一定自由度來(lái)選擇GOP結(jié)構(gòu)，從而例如控制帶寬。
編碼器的各處理級(jí)包括基于塊的編碼器的傳統(tǒng)級(jí)；它們是離散余弦變換(DCT)320、量化(Q)330、游程可變長(zhǎng)度編碼器(RL-VLC)340、比特流緩沖器(BB)350、逆量化(IQ)360、逆離散余弦變換(IDCT)370、運(yùn)動(dòng)補(bǔ)償器(MC)380、運(yùn)動(dòng)估算(ME)390和幀存儲(chǔ)器緩沖器(BUF)400。從比特流緩沖器BB350中得到出輸出流OS，該輸出流OS對(duì)應(yīng)于基于塊編碼后的視頻數(shù)據(jù)流。
圖7是數(shù)字邊界邊緣檢測(cè)器BED300的方塊圖，其中圖像為數(shù)字化后的DIG600，它被存儲(chǔ)器BUF610、620雙重緩沖，并被處理器PROC630處理以便獲得塊邊界H、V和像素CLK。該處理器可以為DSP或FPGA解決方案。
本領(lǐng)域技術(shù)人員知道多種技術(shù)可以用于分析圖像數(shù)據(jù)以便獲得塊邊界偽像，包括例如前面在EP0998146A中詳細(xì)說(shuō)明的示例技術(shù)。在第一實(shí)施例的改進(jìn)編碼器中，檢測(cè)到的邊界H和V以及像素時(shí)鐘CLK特別用于將圖像的結(jié)構(gòu)標(biāo)準(zhǔn)化為與編碼器兼容的結(jié)構(gòu)。該編碼器并不對(duì)與邊界臨近的塊噪聲進(jìn)行抑制。相反，通過(guò)使用圖像存儲(chǔ)器和邊界邊緣檢測(cè)器，可以確保使用與以前所用邊界相同的邊界執(zhí)行編碼。這樣做可以確保在圖像經(jīng)過(guò)不同編碼級(jí)時(shí)使用相同的邊界對(duì)各塊進(jìn)行編碼，避免將塊邊界作為圖像數(shù)據(jù)進(jìn)行編碼。但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)知道這并不排除在其它實(shí)施例中引入用于抑制塊噪聲的其它方式。
編碼級(jí)為傳統(tǒng)的基于塊的編碼器，例如用于執(zhí)行運(yùn)動(dòng)視頻MPEG編碼的基于塊的編碼器。該編碼器可以被選擇成根據(jù)例如VGA、或SVGA等不同顯示標(biāo)準(zhǔn)來(lái)操作，雖然其它實(shí)施例可以包括通過(guò)分析受到定時(shí)信號(hào)影響的定時(shí)來(lái)從許多輸入視頻標(biāo)準(zhǔn)中自動(dòng)檢測(cè)視頻標(biāo)準(zhǔn)，其中該定時(shí)信號(hào)是通過(guò)檢測(cè)塊邊界和像素時(shí)鐘偏差而獲得的。
輸入視頻的每一幀包含多個(gè)可檢測(cè)的邊界，邊界邊緣檢測(cè)器BED300能夠檢測(cè)和使用所述邊界以便得到所有的邊界邊緣。
圖8示出單個(gè)圖像幀內(nèi)的可檢測(cè)的邊界。人們可以發(fā)現(xiàn)存在妨礙檢測(cè)完整柵格的間隙。在上述歐洲專利EP0998146A的公開內(nèi)容中，如果在這些區(qū)域中不能檢測(cè)到邊界是沒(méi)有關(guān)系的，因?yàn)檫@些間隙中不存在需要被抑制的塊噪聲，因此不需要獲得一個(gè)完整的柵格。但是，由于在每個(gè)視頻幀內(nèi)的所有塊和像素都需要精確的定時(shí)，因此在改進(jìn)編碼器的各實(shí)施例中需要完整的柵格。
圖9示出圖8中的圖像，其中在可檢測(cè)的邊界(虛線表示)之間插入了圖7的邊界邊緣檢測(cè)器從而形成編碼柵格。
圖7中所示的數(shù)字BED300按照適當(dāng)?shù)乃俾蕦⒛M圖像數(shù)字化，并將其存儲(chǔ)在幀存儲(chǔ)器中。按照Nyquist理論，取決于BED正確地確定圖像內(nèi)的塊邊界的真實(shí)位置所要求的精度，數(shù)字化速率可以約為圖像帶寬的兩倍，或者更高。然后處理該圖像(當(dāng)正在將其載入存儲(chǔ)器時(shí)，或完整的幀已經(jīng)被存儲(chǔ)時(shí))從而獲得該塊結(jié)構(gòu)。用于實(shí)現(xiàn)這一目的的方法是眾所周知的，這些方法包括在圖像上傳遞的加權(quán)的濾波器內(nèi)核(系數(shù)的小陣列)?？梢赃m當(dāng)使用雙緩沖來(lái)保持連續(xù)性。在這種情況下，一個(gè)緩沖器被處理用于得出塊和像素結(jié)構(gòu)，另一個(gè)加載有下一幀。根據(jù)正在被處理的視頻標(biāo)準(zhǔn)，按照幀速率或場(chǎng)速率切換這些緩沖器。像素時(shí)鐘由頻率合成器提供，并由處理器控制和根據(jù)所測(cè)量得到的塊結(jié)構(gòu)而獲得。
圖10示出可檢測(cè)的水平邊界(H)、不可被檢測(cè)到的邊界的估算位置(Hest)、用于隨后處理而得到的邊界(Hder)和像素時(shí)鐘CLK，該像素時(shí)鐘CLK由處理器630輸出并對(duì)應(yīng)于輸入視頻的每一幀內(nèi)的像素。該時(shí)鐘是通過(guò)在數(shù)字處理器核心630內(nèi)進(jìn)行數(shù)字合成而獲得的，但是其它方法也是可用的。假設(shè)時(shí)鐘沒(méi)有偏離接近像素邊界，則小程度的變化是可以接受的，否則編碼器視頻數(shù)字化器的配置和保持定時(shí)將可能受到損害。
處理器可以使用三個(gè)所獲得的水平邊界H、垂直邊界V和像素時(shí)鐘定時(shí)CLK來(lái)將新的編碼處理的塊邊界與前一級(jí)所使用的塊邊界對(duì)準(zhǔn)。它們被作為基本定時(shí)信號(hào)使用，根據(jù)它們可以獲得所有其它BED300定時(shí)信號(hào)。因此，當(dāng)輸入視頻的基本定時(shí)改變時(shí)(例如，由于在重放期間錄像帶的抖動(dòng)和顫動(dòng)，或者更長(zhǎng)時(shí)間內(nèi)的變化)，該處理的定時(shí)將改變以便適于連續(xù)地跟蹤輸入定時(shí)。
通過(guò)修改像素結(jié)構(gòu)以便對(duì)準(zhǔn)所獲得的邊界，可以準(zhǔn)備圖像以便用于編碼。這可以有多種方法實(shí)現(xiàn)，例如通過(guò)應(yīng)用“Warp”功能(該功能用于利用非線性像素映射來(lái)再采樣圖像)；或者通過(guò)在從幀存儲(chǔ)器中提取出數(shù)據(jù)以將其提供給編碼器的情況下修改該讀取編址。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)知道，通過(guò)在存儲(chǔ)期間進(jìn)行預(yù)處理或者通過(guò)修改數(shù)字化速率和/或?qū)懭刖幹穮?shù)，可以實(shí)現(xiàn)相同的效果。
輸入定時(shí)中的顯著變化(例如由視頻信號(hào)中斷所造成的變化)，將引入用于調(diào)整的較小過(guò)渡周期。在該過(guò)渡周期期間定時(shí)不可能精確，并且也不可能實(shí)現(xiàn)塊邊界的精確重疊。
利用與原先在先前編碼步驟中使用的相同的塊邊界和像素時(shí)鐘對(duì)視頻進(jìn)行編碼可以確保不會(huì)將塊邊界作為圖像數(shù)據(jù)編碼。相反，它們是被傳輸?shù)膫蜗?，但在后續(xù)的編碼級(jí)中不會(huì)被加重。因此，每個(gè)塊的編碼將主要包括與先前編碼級(jí)中所使用的頻率分量相同的頻率分量。如果塊邊界柵格的位置是近似的，則上述情況將不會(huì)發(fā)生，而將塊邊界作為圖像數(shù)據(jù)編碼。因此，就不可能實(shí)現(xiàn)相同級(jí)別的壓縮。這樣，隨著圖像在整個(gè)系統(tǒng)中傳播，對(duì)應(yīng)于每個(gè)圖像的文件大小將增加，或者當(dāng)帶寬有限時(shí)，隨著圖像在整個(gè)系統(tǒng)中傳播，壓縮級(jí)別將不得不一直增加以便適應(yīng)有限的可用帶寬，從而使得圖像質(zhì)量在源和目標(biāo)之間惡化。
應(yīng)當(dāng)注意MPEG-4標(biāo)準(zhǔn)允許根據(jù)圖像內(nèi)每個(gè)區(qū)域的特性而使塊尺寸在單個(gè)圖像內(nèi)變化。這些可變塊尺寸以“四分樹(quad tree)”的形式位于原始MPEG塊結(jié)構(gòu)的頂部。在這樣的實(shí)施例中，BED300可被適配成識(shí)別可變尺寸塊?；蛘連ED300可僅被安排成識(shí)別圖像內(nèi)的最小塊結(jié)構(gòu)，并利用時(shí)鐘對(duì)準(zhǔn)這些像素。如果BED300后面的編碼器為MPEG-4或類似編碼器，則該編碼器可以根據(jù)其自己的分析施加相似的塊結(jié)構(gòu)。
作為另一個(gè)實(shí)施例，對(duì)于運(yùn)動(dòng)視頻，關(guān)于正被分析的各圖像是否被編碼為I幀、B幀或P幀，可以根據(jù)輸入信號(hào)來(lái)確定圖片組(GOP)結(jié)構(gòu)。與圖6實(shí)施例中孤立操作不同，在本實(shí)施例中基于塊的編碼器將這些參數(shù)反饋給邊界邊緣檢測(cè)器BED300以便補(bǔ)充對(duì)每個(gè)圖像的分析。
用于區(qū)分不同幀的參數(shù)如下I幀通常比P幀質(zhì)量更好，P幀又通常比B幀質(zhì)量更好。I幀通常比P幀或B幀包含更高質(zhì)量的高頻內(nèi)容。I幀通常在GOP序列中以固定時(shí)間間隔出現(xiàn)，因此在這個(gè)頻度下可以檢測(cè)到塊噪聲下降，并且檢測(cè)到高頻圖像內(nèi)容增加。
按照非常相似的方式對(duì)數(shù)字化后的音頻數(shù)據(jù)(PCM)進(jìn)行處理?？梢园凑者m當(dāng)?shù)乃俾?或者是固定的，或者是如上所述按照與用于視頻處理相似的方式修改后的)對(duì)音頻信號(hào)數(shù)字化，并將流存儲(chǔ)在單維陣列中。對(duì)所存儲(chǔ)的數(shù)據(jù)執(zhí)行分析從而獲得塊邊界偽像，將適當(dāng)對(duì)準(zhǔn)后的數(shù)據(jù)傳遞給音頻編碼器以進(jìn)行后續(xù)編碼。
通過(guò)搜索在B幀或P幀而非I幀中存在具有運(yùn)動(dòng)屬性的(motion-attributed)偽像，可以檢測(cè)到其他幀。例如，圖像撕裂很常見，其中運(yùn)動(dòng)對(duì)象中存在不連續(xù)性。
利用邊界邊緣檢測(cè)器BED300可以測(cè)量每一幀中的塊噪聲的量，通過(guò)分析編碼器的DCT320所產(chǎn)生的DCT系數(shù)，可以獲得每一幀的頻率內(nèi)容。并且通過(guò)分析所關(guān)心的區(qū)域中的塊噪聲的模式、分析圖像自身的一部分以便搜索不連接的對(duì)象、或分析編碼器運(yùn)動(dòng)補(bǔ)償器MC380和/或運(yùn)動(dòng)引擎ME390內(nèi)的運(yùn)動(dòng)數(shù)據(jù)，可以獲得運(yùn)動(dòng)屬性。改進(jìn)后的編碼器針對(duì)每一幀分析這些屬性，并使用這些屬性獲得與GOP序列相關(guān)的模式。
然后使用所獲得的GOP序列來(lái)設(shè)置GOP序列以便編碼，或至少使用所獲得的GOP序列作為參照來(lái)影響GOP序列(例如，將每第12個(gè)I幀同步，并使控制該編碼器的裝置選擇GOP序列的剩余部分)。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)知道，在上述方法和設(shè)備的原則下可以進(jìn)行多種變化。因此應(yīng)當(dāng)理解，本文中所述的實(shí)施例僅作為用于幫助理解的例子，并不用于限制本發(fā)明的范圍。
權(quán)利要求
1.一種對(duì)從源(100，105，140)接收的數(shù)據(jù)進(jìn)行編碼的方法，其中該編碼屬于對(duì)數(shù)據(jù)施加一種結(jié)構(gòu)(200，210，220，230)的類型，該結(jié)構(gòu)并未在接收到的數(shù)據(jù)中定義，該方法包括以下步驟-分析(300)所接收的數(shù)據(jù)，以檢測(cè)該數(shù)據(jù)中包含的偽像，所述偽像指示該數(shù)據(jù)已經(jīng)經(jīng)過(guò)了相同類型的先前的編碼和解碼處理(105，110，140)；-通過(guò)分析所述偽像而提取出關(guān)于由所述先前編碼處理施加在該數(shù)據(jù)上的結(jié)構(gòu)的信息；-參照所提取的結(jié)構(gòu)信息而對(duì)接收到的數(shù)據(jù)進(jìn)行編碼。
2.如權(quán)利要求1所述的方法，其中所接收到的數(shù)據(jù)表示圖像(IV)，例如是通過(guò)模擬傳輸(120)或存儲(chǔ)(160)處理接收到的圖像，由該編碼處理施加的結(jié)構(gòu)(200，210，220，230)包括其中按塊對(duì)圖像像素進(jìn)行處理的空間結(jié)構(gòu)，執(zhí)行所述編碼以便能夠使該編碼處理的塊邊界與存在于所接收到的圖像數(shù)據(jù)中的、作為先前編碼處理的結(jié)果的塊邊界偽像基本上對(duì)準(zhǔn)。
3.如權(quán)利要求1或2所述的方法，其中該編碼處理屬于施加一種空間結(jié)構(gòu)的類型，在該空間結(jié)構(gòu)中像素塊被分組成為宏塊，執(zhí)行所述編碼以便能夠使該編碼處理的宏塊邊界與存在于所接收到的圖像數(shù)據(jù)中的、作為先前編碼處理的結(jié)果的宏塊邊界偽像基本上對(duì)準(zhǔn)。
4.如前述任一權(quán)利要求所述的方法，其中所接收的圖像數(shù)據(jù)是圖像的一個(gè)運(yùn)動(dòng)圖片序列，并且完全通過(guò)對(duì)先前圖像和當(dāng)前圖像中的至少一個(gè)進(jìn)行分析(300)來(lái)獲得用于每個(gè)后續(xù)圖像的結(jié)構(gòu)信息。
5.如前述任一權(quán)利要求所述的方法，其中當(dāng)一開始對(duì)模擬信號(hào)數(shù)字化(600)的時(shí)候，對(duì)所接收到的圖像數(shù)據(jù)進(jìn)行過(guò)采樣。
6.如前述任一權(quán)利要求所述的方法，其中在所接收到的圖像數(shù)據(jù)代表運(yùn)動(dòng)圖像序列的情況下，由編碼處理所施加的結(jié)構(gòu)是時(shí)間結(jié)構(gòu)(GOP結(jié)構(gòu))，在該時(shí)間結(jié)構(gòu)中，序列中的不同圖像的處理不同，執(zhí)行該編碼從而將與先前編碼處理中所應(yīng)用的GOP結(jié)構(gòu)基本相同的GOP結(jié)構(gòu)應(yīng)用于該序列。
7.如權(quán)利要求1到6中任何一個(gè)所述的方法，其中執(zhí)行該編碼從而應(yīng)用一個(gè)不同的GOP結(jié)構(gòu)，該GOP結(jié)構(gòu)與先前編碼處理中所用的GOP結(jié)構(gòu)不同但在時(shí)間上相關(guān)。
8.如權(quán)利要求6或7所述的方法，其中對(duì)偽像的分析區(qū)分內(nèi)部編碼圖像和幀間編碼圖像。
9.如權(quán)利要求6、7或8中的任何一條所述的方法，其中通過(guò)分析在存儲(chǔ)器(610，620)中完整地存儲(chǔ)的幾個(gè)圖像來(lái)執(zhí)行對(duì)GOP結(jié)構(gòu)的分析。
10.如權(quán)利要求6，7或8中的任何一條所述的方法，其中通過(guò)僅保持過(guò)去圖像的參數(shù)并關(guān)于這些參數(shù)分析當(dāng)前圖像來(lái)執(zhí)行所述分析。
11.如前述任何權(quán)利要求所述的方法，其中所接收到的數(shù)據(jù)包含音頻數(shù)據(jù)，由編碼處理所施加的結(jié)構(gòu)包括時(shí)間結(jié)構(gòu)，在該時(shí)間結(jié)構(gòu)中將音頻信號(hào)的樣本按塊處理，每個(gè)塊代表一個(gè)較短時(shí)間間隔，執(zhí)行該編碼從而將編碼處理的塊邊界與作為先前編碼處理的結(jié)果而存在于所接收到的音頻數(shù)據(jù)中的塊邊界偽像的對(duì)準(zhǔn)最大化。
12.如權(quán)利要求11所述的方法，其中持續(xù)地在音頻數(shù)據(jù)中檢測(cè)偽像的存在和位置，并且持續(xù)地適配編碼步驟以便隨著時(shí)間使塊邊界的對(duì)準(zhǔn)最大化。
13.如權(quán)利要求11或12所述的方法，其中分析步驟可包括瑣相環(huán)(PLL)處理，該處理用于檢測(cè)然后鎖定連續(xù)數(shù)據(jù)流中的塊邊界偽像。
14.如權(quán)利要求13所述的方法，其中編碼步驟包括第二鎖相環(huán)路或用于隨著時(shí)間將編碼處理的塊邊界與所檢測(cè)到的塊邊界偽像逐漸對(duì)準(zhǔn)的相似處理，從而避免在由編碼步驟施加的塊結(jié)構(gòu)中的突然的不連續(xù)。
15.一種用于編碼數(shù)據(jù)的設(shè)備，該設(shè)備適于執(zhí)行上述的根據(jù)本發(fā)明的方法。
16.如權(quán)利要求15所述的設(shè)備，該設(shè)備包括數(shù)字錄像機(jī)或數(shù)字錄音機(jī)。
17.一種對(duì)從源(100，105，140)接收到的數(shù)據(jù)進(jìn)行預(yù)處理的方法，該數(shù)據(jù)隨后應(yīng)用于編碼處理，該編碼處理在該數(shù)據(jù)上施加一種結(jié)構(gòu)(200，210，220，230)，該結(jié)構(gòu)并未在所接收到的數(shù)據(jù)中定義，該方法包括以下步驟-分析(300)所接收到的數(shù)據(jù)從而檢測(cè)數(shù)據(jù)中包含的偽像，所述偽像指示該數(shù)據(jù)已經(jīng)經(jīng)過(guò)了相同類型的先前的編碼處理；-通過(guò)分析所述偽像從而提取出關(guān)于由先前編碼處理在數(shù)據(jù)上施加的結(jié)構(gòu)的信息；-參照所提取出的結(jié)構(gòu)信息來(lái)處理(630)所接收到的數(shù)據(jù)，從而將由先前編碼處理所施加的結(jié)構(gòu)和預(yù)定結(jié)構(gòu)之間的對(duì)準(zhǔn)最大化。
18.一種計(jì)算機(jī)程序產(chǎn)品，包括用于使可編程計(jì)算機(jī)按照在此提出的任何方面實(shí)施本發(fā)明的特定方法步驟和/或設(shè)備特征的指令。
全文摘要
公開了用于對(duì)先前編碼的數(shù)據(jù)源(100，105，140)執(zhí)行結(jié)構(gòu)化編碼的方法和設(shè)備，其中結(jié)構(gòu)(200，210，220，230)并未在所接收到的數(shù)據(jù)中定義。本發(fā)明特別應(yīng)用于數(shù)字化圖像或音頻數(shù)據(jù)的基于塊的壓縮(例如使用MPEG編碼的壓縮)，所述數(shù)字化圖像或音頻數(shù)據(jù)是從模擬數(shù)據(jù)源得到的。該編碼在塊邊界(200，210，220，230)上的像素顏色和/或亮度中引入不連續(xù)，從而導(dǎo)致質(zhì)量顯著惡化和帶寬的低效使用。利用與先前所使用的相同的塊和像素結(jié)構(gòu)對(duì)數(shù)據(jù)編碼，可以使得這些不連續(xù)實(shí)際上不可見，從而基本上消除這些問(wèn)題。為此，對(duì)接收到的數(shù)據(jù)進(jìn)行處理(300)從而檢測(cè)先前編碼和解碼的數(shù)據(jù)內(nèi)包含的偽像，通過(guò)分析這些偽像可以提取出關(guān)于由先前編碼處理(100，105，140)在數(shù)據(jù)上施加的結(jié)構(gòu)信息(200，210，220，230)的信息，并通過(guò)參照這些提取出的結(jié)構(gòu)信息來(lái)編碼所接收到的數(shù)據(jù)。
文檔編號(hào)G06T9/00GK1685368SQ03822937
公開日2005年10月19日 申請(qǐng)日期2003年9月12日 優(yōu)先權(quán)日2002年9月28日
發(fā)明者R·J·卡德維里 申請(qǐng)人:皇家飛利浦電子股份有限公司