專利名稱：運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理和使用這種處理的編碼器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻數(shù)據(jù)壓縮，特別涉及利用離散余弦變換進(jìn)行圖像的編碼和解碼的預(yù)測(cè)處理。
使用這種技術(shù)的編碼器在MPEG(運(yùn)動(dòng)圖像專家組)標(biāo)準(zhǔn)中有具體描述。
這些編碼器把圖像分區(qū)為圖像塊，對(duì)這些塊進(jìn)行離散余弦變換以提供系數(shù)塊、對(duì)這些系數(shù)量化、以及進(jìn)行可變長(zhǎng)編碼。
根據(jù)上述處理，內(nèi)部型的編碼只使用該圖像固有的內(nèi)容。
相互型編碼對(duì)前一幅圖像與當(dāng)前圖像之間的運(yùn)動(dòng)進(jìn)行估計(jì)，以對(duì)該前幅圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償，從而提供一個(gè)預(yù)測(cè)的圖像，然后對(duì)當(dāng)前圖像與預(yù)測(cè)圖像之間的差別執(zhí)行編碼操作。
余弦變換使得估計(jì)空間冗余和運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間冗余成為可能。
在這電路的另一端，解碼器執(zhí)行反操作以把解壓縮后的圖像發(fā)送給接收器。
這些編碼器與各種現(xiàn)存的和將來(lái)的接收器之間的兼容性，或與它們相關(guān)的解碼器之間的兼容性，特別是與具有不同分辨率的解碼器之間的兼容性是一個(gè)永久性的問(wèn)題。因此，所采用的壓縮算法通常針對(duì)于考慮到在圖像序列中的空間和時(shí)間的冗余以盡可能低的位率獲得最佳的圖像質(zhì)量。
現(xiàn)在已知有一種解決方案，其中在把對(duì)應(yīng)于具最大分辨率的接收器的數(shù)據(jù)發(fā)送中，相關(guān)具有較低分辨率的接收器或解碼器僅僅選擇它們的分辨率所要求的數(shù)據(jù)。該編碼器的電路是這樣選擇和構(gòu)成的，以處理對(duì)應(yīng)于更高分辨率的圖像的數(shù)字視頻數(shù)據(jù)。該圖像被分為幾個(gè)圖像塊，對(duì)當(dāng)前圖像塊或在下文中定義的剩余塊執(zhí)行離散余弦變換，對(duì)所獲得的系數(shù)進(jìn)行量化。然后對(duì)這些量化系數(shù)進(jìn)行反量化和反離散余弦變換，以重構(gòu)該圖像塊。該圖像是從這些圖像塊的存取存儲(chǔ)器中重構(gòu)的。然后進(jìn)行運(yùn)動(dòng)補(bǔ)償，以提供一個(gè)預(yù)測(cè)或運(yùn)動(dòng)補(bǔ)償?shù)膱D像。把當(dāng)前圖像塊與預(yù)測(cè)圖像的對(duì)應(yīng)塊相比較，以確定根據(jù)一能量標(biāo)準(zhǔn)解碼的類型。這可能是當(dāng)前圖像塊的內(nèi)部編碼，或當(dāng)前圖像塊與預(yù)測(cè)圖像塊之間差別的相互編碼，這一差別稱為剩余塊。
相應(yīng)操作在解碼器級(jí)別上進(jìn)行。
該解碼器對(duì)所接收的數(shù)字?jǐn)?shù)據(jù)執(zhí)行反量化和反離散余弦變換，以重構(gòu)該圖像塊，然后完成整幅圖像。在這種情況下，其中解碼器把一幅分辨率比在該編碼器中編碼的分辨率更低的圖像提供給與其相連接的接收器，例如，因?yàn)樗B接到較低分辨率的接收器，所以并非一圖像塊的所有系數(shù)都被處理。該解碼器只選擇它的分辨所要求的系數(shù)或者用它所連接的接收器的分辨率來(lái)重構(gòu)圖像，而放棄最高頻率的系數(shù)。為了重構(gòu)當(dāng)前圖像塊，把較低分辨率的圖像塊與一個(gè)由該解碼器所發(fā)送的剩余塊相比較。這樣就出現(xiàn)一個(gè)被稱為“飄移”的眾所周知的現(xiàn)象，該現(xiàn)象來(lái)源于這樣的一個(gè)事實(shí)，即在該解碼器中重構(gòu)的圖像與在編碼器中重構(gòu)的圖像的分辨率不同。被添加到由解碼器所接收的剩余塊中的重構(gòu)圖像塊與在編碼器中減去的圖像塊之間有微小差別，以計(jì)算該剩余塊，這種飄移隨著在相互模式中編碼的圖像的處理而被放大。結(jié)果從解碼器中輸出的圖像質(zhì)量變差。
為了能夠保持具有不同分辨率的編碼器與各種解碼器之間的兼容性，通常不可能對(duì)每種分辨率進(jìn)行特殊的編碼。該解決方案是執(zhí)行對(duì)應(yīng)于最大分辨率的編碼，該編碼由所有解碼器所利用，而與其分辨率無(wú)關(guān)，從而產(chǎn)生飄移現(xiàn)象以及圖像質(zhì)量不受控制地變差。
下文中描述的本發(fā)明的目的是減輕上述的缺點(diǎn)。
為此目的，本發(fā)明的主題是一種用于視頻圖像的數(shù)字?jǐn)?shù)據(jù)編碼的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理，編碼方法包括把該圖像分為幾個(gè)圖像塊，根據(jù)當(dāng)前圖像塊與預(yù)測(cè)圖像塊之間的差別的計(jì)算剩余塊的編碼，該預(yù)測(cè)圖像塊是在對(duì)一個(gè)或多個(gè)重構(gòu)圖像塊進(jìn)行運(yùn)動(dòng)補(bǔ)償之后獲得的，其特征在于，當(dāng)前圖像塊和預(yù)測(cè)圖像塊是在圖像塊的離散余弦變換之后獲得的系數(shù)塊，并且對(duì)預(yù)測(cè)的系數(shù)塊的預(yù)測(cè)系數(shù)的計(jì)算是直接根據(jù)一個(gè)或多個(gè)重構(gòu)系數(shù)塊的重構(gòu)系數(shù)而進(jìn)行的，該重構(gòu)是通過(guò)把作為所計(jì)算的預(yù)測(cè)系數(shù)的一個(gè)函數(shù)的重構(gòu)系數(shù)進(jìn)行加權(quán)根據(jù)把剩余塊加到相應(yīng)的預(yù)測(cè)圖像塊而進(jìn)行的。
本發(fā)明的主題還是一個(gè)數(shù)字視頻數(shù)據(jù)的編碼器，其中包括一個(gè)用于把圖像分為幾個(gè)圖像塊的電路，用于對(duì)這些圖像塊進(jìn)行離散余弦變換以提供系數(shù)塊的電路，一個(gè)包括一運(yùn)動(dòng)補(bǔ)償電路的回路，其特征在于，它還包括用于計(jì)算系數(shù)的當(dāng)前塊與系數(shù)的預(yù)測(cè)塊之間的差別以提供一個(gè)系數(shù)的剩余塊的電路，以及該運(yùn)動(dòng)補(bǔ)償電路直接從一個(gè)或多個(gè)重構(gòu)系數(shù)的塊的系數(shù)中計(jì)算系數(shù)的預(yù)測(cè)塊的系數(shù)，該重構(gòu)是通過(guò)對(duì)作為所計(jì)算的預(yù)測(cè)系數(shù)的一個(gè)函數(shù)的重構(gòu)系數(shù)進(jìn)行加權(quán)根據(jù)把剩余塊加到相應(yīng)的預(yù)測(cè)塊而進(jìn)行的。
本發(fā)明的主題還涉及用于解碼由上述類型的編碼器所編碼的保留系數(shù)塊的數(shù)字視頻數(shù)據(jù)解碼器，其特征在于，它包括一個(gè)預(yù)測(cè)回路，其中包括直接根據(jù)一個(gè)或多個(gè)重構(gòu)系數(shù)塊計(jì)算系數(shù)的預(yù)測(cè)塊的運(yùn)動(dòng)補(bǔ)償電路，以及用于計(jì)算與一系數(shù)的預(yù)測(cè)塊一同接收的系數(shù)的剩余塊之和以提供一個(gè)系數(shù)的重構(gòu)塊的電路。
根據(jù)本發(fā)明，重構(gòu)系數(shù)的加權(quán)使得直接從這些重構(gòu)系數(shù)中計(jì)算預(yù)測(cè)塊的系數(shù)成為可能。
該加權(quán)可以是這些系數(shù)的一個(gè)選擇，只考慮小于或等于所計(jì)算的預(yù)測(cè)系數(shù)的頻率的系數(shù)。這樣，一解碼器可以處理任何數(shù)目的系數(shù)而不會(huì)出現(xiàn)飄移現(xiàn)象。這樣可以保持多分辨率的兼容性并消除圖像飄移現(xiàn)象。
該系數(shù)可以被分組為圖像質(zhì)量的不同級(jí)別。然后該權(quán)加可以是所計(jì)算預(yù)測(cè)系數(shù)所屬的組的系數(shù)中的一個(gè)選擇。
本發(fā)明的一個(gè)優(yōu)點(diǎn)是，通過(guò)把圖像質(zhì)量的各種級(jí)別在編碼器的級(jí)別定義為所用的解碼器的各種類型的一個(gè)函數(shù)，使得對(duì)于在該解碼器中處理的給定數(shù)目的系數(shù)限制圖像質(zhì)量的損耗成為可能。
通過(guò)把較高頻率的系數(shù)進(jìn)行加權(quán)而不是把它們消除，使得可以在由于飄移而造成的圖像質(zhì)量損耗與由于放棄的較高頻率的系數(shù)而造成的圖像質(zhì)量下降之間作出最佳的協(xié)調(diào)。
本發(fā)明可以在下文的描述和附圖中獲得更好的理解，其中

圖1是根據(jù)本發(fā)明的編碼器；圖2是利用MPEG2標(biāo)準(zhǔn)計(jì)算預(yù)測(cè)塊的步驟；圖3是用于計(jì)算一預(yù)測(cè)系數(shù)而選擇的重構(gòu)系數(shù)；圖4是利用MPEG2標(biāo)準(zhǔn)用于計(jì)算預(yù)測(cè)塊的系數(shù)的系數(shù)和亮度；圖5是根據(jù)本發(fā)明為計(jì)算預(yù)測(cè)系數(shù)而選擇的重構(gòu)系數(shù)；圖6是各種類型的圖像級(jí)別；圖7是根據(jù)本發(fā)明的解碼器。
根據(jù)本發(fā)明的編碼器的一個(gè)實(shí)施例在圖1中給出，這是用于相互型編碼的情況，并可以毫無(wú)困難地?cái)U(kuò)展到其它的編碼類型，例如MPEG標(biāo)準(zhǔn)的雙向型。
視頻圖像的數(shù)字信息表示被發(fā)送到編碼器的輸入端，即在用于離散余弦變換(也稱為DCT)的常規(guī)電路1的輸入端。
該電路的輸出連接到減法電路2的第一輸入端。減法電路的輸出端連接到量化電路3的輸入端。該量化電路的輸出端連接到用于可變長(zhǎng)編碼(或VLC)的電路4的輸入端，該電路的輸出端是提供編碼數(shù)據(jù)流的編碼器的輸出端。
該量化器3輸出端也連接到反量化器5的輸入端。該反量化器的輸出端連接到加法電路6的第一輸入端。該加法器的輸出端連接到一存儲(chǔ)器7的輸入端。該存儲(chǔ)器的輸出端連接到用于在時(shí)域進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)碾娐?。該電路的輸出連接到減法器2的第二輸入端以及加法器6的第二輸入端。
與在MPEG2標(biāo)準(zhǔn)中所進(jìn)行的對(duì)當(dāng)前圖像塊的亮度值與預(yù)測(cè)圖像塊的亮度值之間的差別執(zhí)行離散余弦變換不同，本發(fā)明首先對(duì)被發(fā)送到該編碼器的輸入端的當(dāng)前圖像塊進(jìn)行離散余弦變換，然后對(duì)系數(shù)的當(dāng)前塊和系數(shù)的預(yù)測(cè)塊之間的差別進(jìn)行離散余弦變換。
輸入到編碼器中的圖像塊被通過(guò)離散余弦變換電路1變換為系數(shù)塊，這樣可以從空間域變換到頻域。取這一系數(shù)塊與被稱為預(yù)測(cè)并從一預(yù)測(cè)環(huán)路中產(chǎn)生的系數(shù)塊之間的差別。這一差別提供一個(gè)被稱為系數(shù)的剩余塊的系數(shù)塊。
對(duì)該塊進(jìn)行量化以及加權(quán)和之字形掃描，通過(guò)利用量化電路3使得對(duì)該數(shù)據(jù)序列化成為可能。最后通過(guò)可變長(zhǎng)編碼電路4對(duì)由該量化器所發(fā)送的數(shù)據(jù)流進(jìn)行熵編碼。該編碼數(shù)據(jù)流由編碼器輸出。
由反量化電路5執(zhí)行與量化電路3所執(zhí)行的操作相反的操作。這樣，重構(gòu)的系數(shù)剩余塊被輸入到加法電路6。通過(guò)加法器6把該剩余塊與用于計(jì)算系數(shù)的剩余塊的系數(shù)的預(yù)測(cè)塊相加。然后通過(guò)相加而獲得的重構(gòu)的系數(shù)塊被存儲(chǔ)于存儲(chǔ)器7中。當(dāng)所有圖像塊被發(fā)送到該編碼器的輸入端時(shí)，則該存儲(chǔ)器中包含一組該圖像的重構(gòu)系數(shù)塊。這些塊被發(fā)送到用于在頻域中進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)碾娐?，這根據(jù)重構(gòu)的系數(shù)塊計(jì)算系數(shù)的預(yù)測(cè)塊。
當(dāng)一圖像的當(dāng)前塊被變換并在減法器2的第一輸入端發(fā)送時(shí)，一運(yùn)動(dòng)估計(jì)電路(未示出)根據(jù)常規(guī)的圖像塊匹配方法計(jì)算與當(dāng)前圖像的塊最相關(guān)的前一幅圖像的對(duì)應(yīng)塊。運(yùn)動(dòng)矢量從中推出，其中確定要與當(dāng)前圖像的塊相匹配的前一幅圖像的塊或部分。
分配給當(dāng)前塊的運(yùn)動(dòng)矢量被發(fā)送到運(yùn)動(dòng)補(bǔ)償電路8，該電路接著將在所存儲(chǔ)的前一幅圖像的重構(gòu)塊中查找在計(jì)算對(duì)應(yīng)于由該運(yùn)動(dòng)矢量所替代的當(dāng)前塊的系數(shù)的預(yù)測(cè)塊中有用塊。通過(guò)減法器2從系數(shù)的當(dāng)前塊中減去系數(shù)的預(yù)測(cè)塊，以提供系數(shù)的剩余塊。通過(guò)加法器6，把系數(shù)的預(yù)測(cè)塊加到系數(shù)的重構(gòu)剩余塊中，以提供存儲(chǔ)于存儲(chǔ)器7中的系數(shù)的重構(gòu)塊。
運(yùn)動(dòng)補(bǔ)償電路8與存儲(chǔ)電路一同形成預(yù)測(cè)回路。
為了更好的理解本發(fā)明的運(yùn)動(dòng)補(bǔ)償電路8的功能，需要首先研究在該電路利用根據(jù)MPEG2標(biāo)準(zhǔn)的運(yùn)動(dòng)補(bǔ)償處理的情況下的電路操作，也就是說(shuō)，把一圖像應(yīng)用于空間域中的情況。
假設(shè)，被發(fā)送到運(yùn)動(dòng)補(bǔ)償電路的輸入端的重構(gòu)塊是系數(shù)塊，后者經(jīng)過(guò)反離散余弦變換以給出在空間域中的圖像。該圖像接著被運(yùn)動(dòng)補(bǔ)償，然后對(duì)該運(yùn)動(dòng)補(bǔ)償進(jìn)行離散余弦變換以提供系數(shù)的預(yù)測(cè)塊。
圖2中以圖像形式表示這些步驟。
在該圖中，僅示出一個(gè)預(yù)測(cè)圖像的塊和四個(gè)重構(gòu)圖像的塊。類似地為簡(jiǎn)單起見(jiàn)，對(duì)4×4系數(shù)的塊進(jìn)行推算，把它外推為64個(gè)系數(shù)的塊并不成問(wèn)題。
這樣，由4×4系數(shù)的四個(gè)塊所確定并可在存儲(chǔ)器7的輸出端獲得的所謂頻率圖像9被經(jīng)過(guò)反離散余弦變換以給出由8×8個(gè)像素構(gòu)成的空間圖像時(shí)。4×4像素的圖像部分，即圖像塊的尺寸并由運(yùn)動(dòng)矢量和所處理的當(dāng)前圖像的當(dāng)前塊的位置所確定，被通過(guò)偏移運(yùn)動(dòng)矢量的數(shù)值，以提供預(yù)測(cè)圖像的4×4像素的預(yù)測(cè)圖像塊12。該預(yù)測(cè)圖像塊12由MPEG2型運(yùn)動(dòng)補(bǔ)償電路輸出并經(jīng)過(guò)直接離散余弦變換以給出由4×4預(yù)測(cè)系數(shù)14構(gòu)成的系數(shù)13的預(yù)測(cè)塊。
根據(jù)離散余弦變換的定義，每個(gè)預(yù)測(cè)系數(shù)14是構(gòu)成預(yù)測(cè)圖像塊12的所有像素的亮度加權(quán)之和。在此，圖像部分11的像素的亮度值是從與亮度被計(jì)算的像素有關(guān)的圖像塊相對(duì)應(yīng)的系數(shù)的4×4系數(shù)塊而確定的。在圖2中，圖像部分11與構(gòu)成圖像10的四個(gè)圖像塊相重疊，頻率圖像9的8×8系數(shù)對(duì)包含于該圖像部分11的亮度計(jì)算中。
因此，系數(shù)13的預(yù)測(cè)塊的系數(shù)14的計(jì)算利用了與圖像部分11相重疊的前幅圖像的重構(gòu)頻率的四個(gè)塊的所有系數(shù)。這由圖3所示出，其中以圖示的方式示出從重構(gòu)系數(shù)9計(jì)算預(yù)測(cè)系數(shù)14的過(guò)程。
下文中的數(shù)學(xué)推導(dǎo)中假設(shè)該模型是一維的，并且由運(yùn)動(dòng)矢量所確定的塊的偏移量是以像素為單位變化的。
塊i的預(yù)測(cè)系數(shù)是通過(guò)應(yīng)用離散余弦變換從相應(yīng)的預(yù)測(cè)圖像塊中獲得的。
假設(shè)fi,x是圖像塊i的像素x的像素值，F(xiàn)i,u是對(duì)應(yīng)于圖像塊i的系數(shù)的塊的第u級(jí)頻率的系數(shù)值。
圖4示出各種系數(shù)。
對(duì)應(yīng)于時(shí)刻t-1的系數(shù)j和j+1的兩個(gè)塊由窄條15所表示。類似地，通過(guò)計(jì)算反離散余弦變換而從系數(shù)的塊中推出的圖像塊j和j+1由16表示。
對(duì)應(yīng)于在時(shí)刻t的當(dāng)前塊的預(yù)測(cè)圖像塊i由17所表示。該塊被經(jīng)過(guò)離散余弦變換以提供由18所表示的預(yù)測(cè)系數(shù)。
塊17從對(duì)應(yīng)于偏移了為當(dāng)前塊所計(jì)算的v維運(yùn)動(dòng)矢量的當(dāng)前塊的位置的圖像部位推出。在所示的實(shí)例中，反偏移對(duì)應(yīng)于從塊i到塊j，塊j具有k個(gè)在塊j+1中的重疊像素。
我們有如下對(duì)應(yīng)于反DCT運(yùn)算的等式Fi,u=Σx=07Ax,uf′i,x]]>其中Axu=cos[∏(2x+1)·u/16]/2其中u為正數(shù)，并且Ax,u=1/22]]>在通常情況下，塊i可以從兩個(gè)塊j和j+1之間的重疊區(qū)域預(yù)測(cè)出來(lái)如果，x小于或等于7-k，則fi,x=fj,x+k如果，x大于7-k，則fi,x=fj+1,x-kj和k取決于運(yùn)動(dòng)矢量在所考慮方向上的分量v。j=i+v/8，其中該除式是歐幾里德除式(Euclidienne)。k=v-8(j-i)k是該除式的余數(shù)，因此它表示重疊。因此，上述方程可以表示為Fi,u=Σx=k7Ax-k,ufj,x′+Σx=0k+1Ax-k+8,uf′u+1,x]]>通過(guò)反離散余弦變換獲得像素值fj,x=Σv=07Ax,vFj,v]]>可得Fi,u=Σx=k7Ax-k,u·Σv=07Ax,v·Fj,v+Σx=0k+1Ax-k+8,u·Σv=07Ax,v·Fj+1,v]]>=Σv=07(Σx=k7Ax-k,u·Ax,v)·Fj,v+Σv=07(Σx=0k+1Ax-k+8,u·Ax,v)·Fj+1,v]]>=Σv=07Bu,v,k·Fj,v+Σv=07Cu,v,k·Fj+1,v]]>設(shè)Bu,v,k=Σx=k7Ax-k,u·Ax,v]]>Cu,v,k=Bv,u,8-kBu,v,k=0Bu,v,k是對(duì)系數(shù)Fj,v有貢獻(xiàn)的因子，用于通過(guò)8的倍數(shù)加k個(gè)像素的偏移預(yù)測(cè)F′i,u。
對(duì)于k=0，也就是說(shuō)如果偏移量是8的倍數(shù)，則預(yù)測(cè)塊是由運(yùn)動(dòng)矢量所指向的圖像塊的直接復(fù)制。
這一數(shù)學(xué)推導(dǎo)表明完全可能直接從重構(gòu)系數(shù)計(jì)算預(yù)測(cè)系數(shù)，而不需要重構(gòu)空間圖像的運(yùn)動(dòng)補(bǔ)償?shù)闹虚g步驟。被分配給當(dāng)前塊的運(yùn)動(dòng)矢量，使它可以確定包含于對(duì)系數(shù)預(yù)測(cè)塊的計(jì)算中的系數(shù)重構(gòu)塊。
在圖2中，我們已經(jīng)看出對(duì)應(yīng)于給定頻率級(jí)的系數(shù)14的預(yù)測(cè)利用在頻率圖像9中的較高頻率的系數(shù)。如上文所述，在此出現(xiàn)較低分辨率的解碼器的飄移現(xiàn)象，這僅利用直到對(duì)應(yīng)于該分辨率的某一特定頻率級(jí)的圖像的系數(shù)。
本發(fā)明的一個(gè)思想是在編碼器的級(jí)別上通過(guò)僅根據(jù)較低或相等的頻率級(jí)的系數(shù)計(jì)算給定頻率級(jí)的系數(shù)，而直接從重構(gòu)塊的系數(shù)對(duì)預(yù)測(cè)塊的各種系數(shù)進(jìn)行編碼。
考慮到當(dāng)計(jì)算給定頻率級(jí)的系數(shù)時(shí)拋棄了較高頻率級(jí)的系數(shù)，結(jié)果是當(dāng)解碼器是全分辨率時(shí)，在解碼器級(jí)別中的圖像略為變差，但是由于上述飄移現(xiàn)象的消失，在此質(zhì)量的損失受到控制而不隨時(shí)間增加。
這一原理在同時(shí)利用各類分辨率的解碼器或其他保密型解碼器的情況中得到應(yīng)用，也就是說(shuō)，給定分辨率在數(shù)據(jù)接收較差的情況下可以切換到較低分辨率。該解碼器接收這組系數(shù)并對(duì)其進(jìn)行排序，使得所處理的系數(shù)對(duì)應(yīng)于所要求的分辨率，或者接收一定數(shù)目的預(yù)先過(guò)濾的系數(shù)，例如由于便宜的低分辨率解碼器不能夠處理所接收的所有信息，或者由于所接收的數(shù)據(jù)不正確而要求不同的分辨率的情況。
例如，只有帶有最多信息的低頻系數(shù)被保護(hù)而不發(fā)生錯(cuò)誤。在良好的接收條件下，解碼器處理所有接收的系數(shù)，在較差的接收條件下，僅處理能夠重構(gòu)的被保護(hù)的系數(shù)，而放棄其他高頻系數(shù)。
在ATM(異步傳輸模式)網(wǎng)絡(luò)中，該編碼器可以發(fā)送數(shù)據(jù)，并把較高優(yōu)先權(quán)給予傳輸?shù)皖l系數(shù)的數(shù)據(jù)包，對(duì)應(yīng)于其他數(shù)據(jù)的數(shù)據(jù)包可能不被利用或者在網(wǎng)絡(luò)超載的情況下發(fā)送。
圖5，與圖3相類似，以圖示的方式表現(xiàn)從重構(gòu)系數(shù)計(jì)算預(yù)測(cè)系數(shù)的過(guò)程，這種計(jì)算是由根據(jù)本發(fā)明的運(yùn)動(dòng)補(bǔ)償器所進(jìn)行的。
在本例中，預(yù)測(cè)塊的系數(shù)19被作為等于或低于由運(yùn)動(dòng)矢量所確定的每個(gè)系數(shù)的重構(gòu)塊的較低頻率級(jí)的重構(gòu)系數(shù)20的一個(gè)函數(shù)而計(jì)算。
這由從上述方程推導(dǎo)出的如下方程進(jìn)行數(shù)學(xué)表達(dá)，其中給出F′i,u。Fi,u=Σv=0uBu,v,kFj,v+Σv=0uCu,v,kFj+1,v]]>對(duì)應(yīng)于圖像塊i的系數(shù)塊i的預(yù)測(cè)系數(shù)F′i,u(頻率級(jí)u的系數(shù))被作為頻率級(jí)v小于或等于頻率級(jí)u的系數(shù)的重構(gòu)塊的系數(shù)Fj,v和Fj+1,v的函數(shù)而進(jìn)行計(jì)算。
該推理被應(yīng)用于具有像素分辨率的運(yùn)動(dòng)矢量的情況中。在更通常的情況下，其中由運(yùn)動(dòng)估計(jì)器所計(jì)算的運(yùn)動(dòng)是像素之間的間隔的一個(gè)部分，它通過(guò)簡(jiǎn)單地把上述方程與插值公式相合并而得到滿足。例如用半個(gè)像素雙線性進(jìn)行插值運(yùn)算，上述方程變?yōu)镕i,u=Σv=0u12(Bu,v,k+Bu,v,k+1)·Fj,v+Σv=0u12(Cu,v,k+Cu,v,k+1)·Fj+1,v]]>利用該技術(shù)的優(yōu)點(diǎn)，解碼器可以選擇它要停止解碼的頻率級(jí)，因此對(duì)于64系數(shù)的塊可以獲得64個(gè)級(jí)別的質(zhì)量。這些級(jí)別被稱為質(zhì)量級(jí)，在解碼之后所獲得的圖像質(zhì)量取決于被用于計(jì)算預(yù)測(cè)系數(shù)的系數(shù)的數(shù)目。由解碼器所作的選擇使得不會(huì)出現(xiàn)任何飄移現(xiàn)象。
本發(fā)明的一個(gè)變形包括在解碼器中確定一定數(shù)目的圖像質(zhì)量級(jí)別。
如果對(duì)于給定的應(yīng)用中不需要64個(gè)級(jí)別，可以減少級(jí)別的數(shù)目從而通過(guò)根據(jù)更高頻率的系數(shù)允許對(duì)系數(shù)的預(yù)測(cè)來(lái)提高圖像質(zhì)量，該系數(shù)形成確定級(jí)別的系數(shù)組的部分或全部。
圖6表示選擇質(zhì)量級(jí)別的各種實(shí)例。它涉及在頻域中構(gòu)成圖像塊的64個(gè)系數(shù)，在上文中稱為頻率圖像，也就是說(shuō)在該圖像塊的離散余弦變換之后，橫坐標(biāo)表示圖像的水平頻率，而縱坐標(biāo)表示垂直頻率。該系數(shù)的被排為從原點(diǎn)(即左上角的點(diǎn))開(kāi)始計(jì)數(shù)的行和列，在頂部和左側(cè)的系數(shù)表示較低頻率級(jí)，直流系數(shù)位于左上角。
粗線確定質(zhì)量級(jí)的極限在該線的上部和左側(cè)系數(shù)不能達(dá)到下部或右側(cè)的系數(shù)。
頻率圖像21包括64個(gè)頻率系數(shù)，允許64個(gè)級(jí)別，64個(gè)系數(shù)中的每一個(gè)是從較低級(jí)別或相等級(jí)別中計(jì)算而得的，也就是說(shuō)，該系數(shù)的行和列小于或等于所計(jì)算的系數(shù)的行和列。這是在我們的圖示實(shí)施例中給出的情況。
頻率圖像22和23分別允許8個(gè)級(jí)別和4個(gè)級(jí)別。
頻率圖像24僅允許一個(gè)質(zhì)量級(jí)別，一個(gè)系數(shù)的計(jì)算考慮到所有的系數(shù)，而與它們的頻率級(jí)無(wú)關(guān)。
在后一種情況的圖像質(zhì)量最佳。
由于較低級(jí)別的系數(shù)的計(jì)算利用了更低級(jí)別的系數(shù)這一事實(shí)，因此，頻率圖像23的質(zhì)量的最差級(jí)別給出比頻率圖像22的最差級(jí)別更好的圖像質(zhì)量。
級(jí)別的確定是在編碼器中預(yù)先進(jìn)行的。如果不需要64個(gè)級(jí)別的質(zhì)量，編碼器可以選擇較少的級(jí)別，例如4個(gè)級(jí)別。這樣，解碼器對(duì)于處理相同數(shù)目的系數(shù)來(lái)說(shuō)將給出比64個(gè)級(jí)別都保留的情況更好的圖像質(zhì)量。
例如，一解碼器被分配來(lái)自處理前16個(gè)系數(shù)，也就是說(shuō)，這對(duì)應(yīng)于圖像2 3的級(jí)別1-3或圖像22的級(jí)別1-4，如果編碼器計(jì)算要被發(fā)送的系數(shù)使其作為這些級(jí)別的一個(gè)函數(shù)，而不是僅從較低級(jí)別的系數(shù)來(lái)計(jì)算每個(gè)系數(shù)，則該解碼器將給出更好的圖像質(zhì)量，以后計(jì)算給出并不必須使用的64個(gè)質(zhì)量級(jí)別。該解碼器顯然可以同時(shí)發(fā)送對(duì)應(yīng)于較低級(jí)別的其它系數(shù)，對(duì)于圖像23為級(jí)別4，對(duì)于圖像22為級(jí)別5-8。這些級(jí)別被對(duì)應(yīng)于更好分辨率的接收器的解碼器所利用，或允許在操作過(guò)程中切換，例如當(dāng)數(shù)據(jù)接收的條件改進(jìn)時(shí)切換到更高的圖像質(zhì)量級(jí)別，如上文所述。
一種給定分辨率級(jí)別并能夠僅處理n個(gè)系數(shù)的解碼器可以被分配來(lái)處理圖像質(zhì)量的在利用級(jí)別小于n的系數(shù)的最小級(jí)別中的各種級(jí)別，例如作為接收條件的一個(gè)函數(shù)，也就是說(shuō)，這些都由解碼器所處理。
對(duì)于從一個(gè)級(jí)別切換到另一個(gè)級(jí)別也完全可以在編碼過(guò)程中由編碼器所確定，在解碼器所接收的數(shù)據(jù)流中發(fā)送的信息的運(yùn)動(dòng)方向，例如與解碼器發(fā)送可以在編碼過(guò)程中改變的量化加權(quán)矩陣的方式相同。在此，這涉及8×8的貢獻(xiàn)矩陣，對(duì)于每個(gè)系數(shù)以及在預(yù)先確定的代碼的幫助下，這使得可以決定是否該預(yù)測(cè)系數(shù)將被作為較低級(jí)別的系數(shù)或較高級(jí)別到右側(cè)的系數(shù)等等的一個(gè)函數(shù)來(lái)計(jì)算。
該矩陣將被隨著壓縮數(shù)據(jù)流一同發(fā)送，以被在解碼器中利用。
因此本發(fā)明可以在具有單個(gè)級(jí)別(圖像24)對(duì)于利用被發(fā)送的所有數(shù)據(jù)的解碼器給出最佳質(zhì)量的圖像但是對(duì)于區(qū)間解碼器的底限具有相當(dāng)?shù)娘h移的編碼的應(yīng)用中，以及在給出微小失真的圖像但是對(duì)任何類型的解碼器都不會(huì)產(chǎn)生飄移的64個(gè)級(jí)別(圖像21)的解碼的應(yīng)用之間作出第一協(xié)調(diào)。
通過(guò)對(duì)最高頻率級(jí)別的系數(shù)進(jìn)行加權(quán)并考慮到計(jì)算給定頻率級(jí)的預(yù)測(cè)系數(shù)可以實(shí)現(xiàn)第二協(xié)調(diào)。
除了二進(jìn)制之外，對(duì)于預(yù)測(cè)系數(shù)的計(jì)算，對(duì)重構(gòu)系數(shù)的貢獻(xiàn)的選擇被加權(quán)系數(shù)的預(yù)測(cè)使用該組重構(gòu)系數(shù)(在此為前一幅圖像)但貢獻(xiàn)因子Bu,v,k由一個(gè)數(shù)值所乘，如果v＞u等于1，則該數(shù)值在0與1之間，如果v小于或等于u，則該數(shù)值等于1。
因此，對(duì)于利用與加權(quán)值一同計(jì)算的所有數(shù)據(jù)的解碼器來(lái)說(shuō)，該圖像由于系數(shù)因?yàn)榧訖?quán)而沒(méi)有完全在編碼器中被利用，因此，圖像會(huì)有微小的失真，但是對(duì)于利用一些系數(shù)的解碼器來(lái)說(shuō)，類似地由于加權(quán)，使得較高級(jí)別的數(shù)據(jù)只是部分地被在編碼器中利用，該飄移將被減少。
貢獻(xiàn)因子Bu,v,k僅被計(jì)算一次，并存儲(chǔ)于表格中。對(duì)稱性被利用來(lái)減少要被存儲(chǔ)的數(shù)據(jù)的數(shù)目。圖1中的運(yùn)動(dòng)補(bǔ)償電路8在其他操作當(dāng)中執(zhí)行矩陣乘法，以根據(jù)上述方程計(jì)算預(yù)測(cè)系數(shù)。
也可以把系數(shù)組合并到圖像質(zhì)量級(jí)別中并通過(guò)以后執(zhí)行加權(quán)作為屬于給定質(zhì)量級(jí)別的組的系數(shù)的一個(gè)函數(shù)。
實(shí)現(xiàn)本發(fā)明的解碼器的一個(gè)圖示實(shí)例在圖7中示出。
由編碼器所發(fā)送的數(shù)據(jù)流被在解碼器的輸入端所接收，并且為可變長(zhǎng)解碼電路25的輸入端所接收。數(shù)據(jù)接著被發(fā)送到反量化器26，其輸出端連接到加法器27的第一輸入端。該加法器的輸出端連接到一反離散余弦變換電路28，它的輸出是在此所研究的解碼器部分的輸出，并輸出到存儲(chǔ)電路29。該電路的輸出端連接到在頻域30中用于運(yùn)動(dòng)補(bǔ)償?shù)碾娐贰Ｔ撾娐返妮敵霰贿B接到加法器27的第二輸入端。
解碼電路25根據(jù)解碼器的分辨率級(jí)解碼并選擇接收自編碼器的數(shù)據(jù)。反量化器系數(shù)的當(dāng)前剩余塊被反量化器26發(fā)送到加法器27的第一輸入端。預(yù)測(cè)塊被在第二輸入端接收，并且加法器輸出系數(shù)的重構(gòu)當(dāng)前塊。在通過(guò)反離散余弦變換電路28對(duì)該塊進(jìn)行反離散余弦變換之后，當(dāng)前圖像塊被重構(gòu)并發(fā)送到圖像存儲(chǔ)器(這沒(méi)有在圖中示出)，然后發(fā)送到接收器。
該圖像僅用于顯示并涉及對(duì)隨后的圖像進(jìn)行解碼。其特征使得它可以在質(zhì)量和分辨率之間作出選擇。要我們考慮這樣一種情況，即，一解碼器僅考慮由編碼器所處理的64個(gè)系數(shù)中的最低頻率的16個(gè)系數(shù)。所顯示的圖像可以是相同的分辨率，但是其質(zhì)量比使用8×8的反離散余弦變換并對(duì)忽略的系數(shù)取0值的質(zhì)量更低?；蛘咴搱D像可能通過(guò)使用4×4反離散余弦變換而具有更低的分辨率。
系數(shù)的重構(gòu)塊被存儲(chǔ)于一存儲(chǔ)器29的圖像級(jí)中。這僅涉及由解碼器所利用的系數(shù)，其數(shù)目取決于解碼器的分辨率級(jí)別。
運(yùn)動(dòng)補(bǔ)償是按照與編碼器相同的方式而進(jìn)行的，也就是說(shuō)，預(yù)測(cè)系數(shù)的計(jì)算僅考慮到小于或等于所計(jì)算的頻率級(jí)的重構(gòu)系數(shù)。
預(yù)測(cè)塊的系數(shù)是這樣從重構(gòu)塊的系數(shù)中計(jì)算而得的，該重構(gòu)塊是由運(yùn)動(dòng)矢量和當(dāng)前塊確定的。這些重構(gòu)系數(shù)是對(duì)應(yīng)于解碼器的分辨率的系數(shù)，更高頻率級(jí)的系數(shù)被忽略。
所考慮到重構(gòu)系數(shù)也可以是那些對(duì)應(yīng)于在編碼器中預(yù)先確定的給定質(zhì)量級(jí)別。與解碼器所處理的質(zhì)量級(jí)別有關(guān)的所有系數(shù)被考慮在內(nèi)。
當(dāng)編碼器僅利用一個(gè)頻率級(jí)別時(shí)，也就是說(shuō)，從64個(gè)重構(gòu)系數(shù)的組計(jì)算預(yù)測(cè)系數(shù)，保持與MPEG2解碼器相兼容。
權(quán)利要求
1．一種用于視頻圖像的數(shù)字?jǐn)?shù)據(jù)的編碼的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理方法，其中編碼過(guò)程包括把該圖像分區(qū)為圖像塊，剩余塊的編碼基于當(dāng)前塊與預(yù)測(cè)塊之間的差別(2)進(jìn)行計(jì)算，該預(yù)測(cè)塊是在對(duì)一個(gè)或多個(gè)重構(gòu)塊進(jìn)行運(yùn)動(dòng)補(bǔ)償(9)之后獲得的，其特征在于，當(dāng)前塊和預(yù)測(cè)塊是在對(duì)圖像塊進(jìn)行離散余弦變換(1)之后而獲得的，并且對(duì)系數(shù)的預(yù)測(cè)塊的預(yù)測(cè)系數(shù)的計(jì)算(8)是直接根據(jù)一個(gè)或多個(gè)重構(gòu)系數(shù)的塊的重構(gòu)系數(shù)而進(jìn)行的，該重構(gòu)是根據(jù)剩余塊與對(duì)應(yīng)的預(yù)測(cè)塊相加(6)，通過(guò)把重構(gòu)系數(shù)作為所計(jì)算的預(yù)測(cè)系數(shù)的一個(gè)函數(shù)進(jìn)行加權(quán)而進(jìn)行的。
2．根據(jù)權(quán)利要求1所述的處理方法，其特征在于，對(duì)每個(gè)重構(gòu)系數(shù)選擇加權(quán)值，即加權(quán)值等于0或1。
3．根據(jù)權(quán)利要求2所述的處理方法，其特征在于，該選擇包括僅考慮頻率級(jí)小于或等于被計(jì)算的預(yù)測(cè)系數(shù)的頻率級(jí)的系數(shù)。
4．根據(jù)權(quán)利要求1所述的處理方法，其特征在于，該加權(quán)只對(duì)大于被計(jì)算的預(yù)測(cè)系數(shù)的頻率級(jí)的預(yù)測(cè)系數(shù)進(jìn)行。
5．根據(jù)權(quán)利要求1所述的處理方法，其特征在于，一圖像的質(zhì)量級(jí)別由系數(shù)塊的系數(shù)組來(lái)確定，更高的質(zhì)量級(jí)把更高頻率級(jí)別的系數(shù)考慮在內(nèi)，使對(duì)應(yīng)于被計(jì)算的預(yù)測(cè)系數(shù)的質(zhì)量級(jí)的加權(quán)值等于1。
6．根據(jù)權(quán)利要求5所述的處理方法，其特征在于，用于對(duì)應(yīng)大于被計(jì)算的預(yù)測(cè)系數(shù)的質(zhì)量級(jí)別的系數(shù)的加權(quán)值等于0。
7．用于根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理方法的回路，包括一運(yùn)動(dòng)補(bǔ)償電路(8,30)，其特征在于，該運(yùn)動(dòng)補(bǔ)償電路通過(guò)對(duì)重構(gòu)塊的系數(shù)進(jìn)行加權(quán)把預(yù)測(cè)塊的系數(shù)作為對(duì)應(yīng)的重構(gòu)塊或塊的系數(shù)的函數(shù)而進(jìn)行計(jì)算。
8．根據(jù)權(quán)利要求7所述的預(yù)測(cè)回路，其特征在于，該加權(quán)值被選擇，也就是說(shuō)等于0或等于1。
9．根據(jù)權(quán)利要求8所述的預(yù)測(cè)回路，其特征在于，該選擇僅考慮頻率級(jí)小于或等于被計(jì)算預(yù)測(cè)系數(shù)的頻率級(jí)的系數(shù)。
10．?dāng)?shù)字視頻數(shù)據(jù)的解碼器，其中包括用于把圖像分為多個(gè)圖像塊的電路、用于對(duì)這些圖像塊(1)進(jìn)行離散余弦變換以提供系數(shù)塊的電路、一預(yù)測(cè)回路包括一運(yùn)動(dòng)補(bǔ)償電路(8)，其特征在于，它還包括用于計(jì)算系數(shù)的當(dāng)前塊與系數(shù)的預(yù)測(cè)塊之間的差別(2)以提供一系數(shù)的剩余塊的電路，該運(yùn)動(dòng)補(bǔ)償電路直接從一個(gè)或從個(gè)重構(gòu)系數(shù)的塊的系數(shù)計(jì)算系數(shù)的預(yù)測(cè)塊的系數(shù)，該重構(gòu)是根據(jù)通過(guò)對(duì)重構(gòu)系數(shù)進(jìn)行加權(quán)作為所計(jì)算預(yù)測(cè)系數(shù)的一個(gè)函數(shù)把一剩余塊加到一對(duì)應(yīng)的預(yù)測(cè)塊上而進(jìn)行的。
11．根據(jù)權(quán)利要求10所述的用于對(duì)由一編碼器所編碼的保留系數(shù)的塊進(jìn)行解碼的數(shù)字視頻數(shù)據(jù)解碼器，其特征在于，它包括一預(yù)測(cè)回路，該預(yù)測(cè)回路包括一用于直接根據(jù)一個(gè)或多個(gè)重構(gòu)數(shù)據(jù)的塊計(jì)算系數(shù)的預(yù)測(cè)塊的運(yùn)動(dòng)補(bǔ)償電路、用于計(jì)算與系數(shù)的預(yù)測(cè)塊一同接收的系數(shù)的剩余塊之和(27)以提供系數(shù)的重構(gòu)塊的電路。
12．用于發(fā)送根據(jù)權(quán)利要求1所述的處理方法進(jìn)行編碼的壓縮數(shù)字?jǐn)?shù)據(jù)流的信號(hào)，其特征在于，它包括關(guān)于具有系數(shù)的塊的維數(shù)的貢獻(xiàn)矩陣的信息，以及關(guān)于表示對(duì)應(yīng)的用于計(jì)算預(yù)測(cè)系數(shù)的重構(gòu)系數(shù)的貢獻(xiàn)的每個(gè)元素的信息。
全文摘要
本發(fā)明涉及用于對(duì)視頻圖像的數(shù)字?jǐn)?shù)據(jù)進(jìn)行解碼的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理方法,其中編碼過(guò)程包括把該圖像分區(qū)為圖像塊,剩余塊的編碼基于當(dāng)前塊與預(yù)測(cè)塊之間的差別(2)進(jìn)行計(jì)算,該預(yù)測(cè)塊是在對(duì)一個(gè)或多個(gè)重構(gòu)塊進(jìn)行運(yùn)動(dòng)補(bǔ)償(9)之后獲得的,其特征在于,當(dāng)前塊和預(yù)測(cè)塊是在對(duì)圖像塊進(jìn)行離散余弦變換(1)之后而獲得的,并且對(duì)系數(shù)的預(yù)測(cè)塊的預(yù)測(cè)系數(shù)的計(jì)算(8)是直接根據(jù)一個(gè)或多個(gè)重構(gòu)系數(shù)的塊的重構(gòu)系數(shù)而進(jìn)行的,該重構(gòu)是根據(jù)剩余塊與對(duì)應(yīng)的預(yù)測(cè)塊相加(6),通過(guò)把重構(gòu)系數(shù)作為所計(jì)算的預(yù)測(cè)系數(shù)的一個(gè)函數(shù)進(jìn)行加權(quán)而進(jìn)行的。
文檔編號(hào)H04N7/50GK1236461SQ9719952
公開(kāi)日1999年11月24日 申請(qǐng)日期1997年11月6日 優(yōu)先權(quán)日1996年11月7日
發(fā)明者愛(ài)德華·弗朗索瓦, 讓－·弗朗索瓦·維亞爾 申請(qǐng)人:湯姆森多媒體公司