專利名稱：編碼視頻序列變換裝置和編碼視頻序列變換方法
技術(shù)領(lǐng)域：
本發(fā)明涉及編碼視頻序列變換裝置和編碼視頻序列變換方法。
背景技術(shù)：
當(dāng)將第一視頻編碼視頻序列變換為比特率和編碼方式不同于所述第一視頻編碼視頻序列的第二視頻編碼視頻序列時，相關(guān)技術(shù)中的編碼視頻序列變換裝置提取包含在所述第一視頻編碼視頻序列中的編碼參數(shù)，并自適應(yīng)地選擇和使用適于對所述第二視頻編碼視頻序列進(jìn)行重新編碼的編碼參數(shù)，從而減少重新編碼所需要的計算量，如在JP-A-2003-009158中所公開的。
用于視頻圖像壓縮編碼的編碼方式包括MPEG-2(運動圖像專家組2)視頻系統(tǒng)，MPEG-4視覺系統(tǒng)，作為ITU-T(國際電信同盟-電信標(biāo)準(zhǔn)化部門)中的國際標(biāo)準(zhǔn)的H.264等。在這些編碼方式中，一幅圖像被劃分為稱為宏塊的處理單元，所述宏塊具有定義的尺寸，并且為每個宏塊設(shè)置運動向量的編碼參數(shù)以及編碼模式。
為根據(jù)上述編碼方式對隔行掃描的輸入信號進(jìn)行編碼，如何處理所述信號將隨編碼方式而改變。例如，在MPEG-2視頻系統(tǒng)中，為對每幅圖像或每個宏塊進(jìn)行編碼，編碼結(jié)構(gòu)可在場結(jié)構(gòu)和幀結(jié)構(gòu)之間切換。
另一方面，在H.264系統(tǒng)中，為了在圖像單元中切換編碼結(jié)構(gòu)，如同MPEG-2一樣進(jìn)行編碼；然而，為了在宏塊單元中切換所述編碼結(jié)構(gòu)，采用一種稱為MB-AFF(宏塊自適應(yīng)幀場編碼)的編碼方法。
在稱為MB-AFF的編碼方法中，一種由兩個宏塊從上到下垂直排列而成的稱為宏塊對的處理單元被用來進(jìn)行管理，并且所述編碼結(jié)構(gòu)在宏塊對單元中在場結(jié)構(gòu)和幀結(jié)構(gòu)之間切換。因而，出現(xiàn)了幾個限制條件以使得包含在每一個宏塊對中的上宏塊和下宏塊在編碼結(jié)構(gòu)上匹配，并且使得必須為上宏塊和下宏塊分開管理前場(top field)和后場(bottom field)的編碼參數(shù)。
因而，為了將隔行掃描的輸入信號從以MPEG-2壓縮編碼的視頻編碼視頻序列變換到H.264編碼格式的視頻編碼視頻序列，在相關(guān)技術(shù)中，為每個宏塊設(shè)置宏塊編碼參數(shù)，并因此在滿足宏塊對上的限制條件的同時不可能有效地設(shè)置宏塊對的編碼參數(shù)。
如上所述，在常規(guī)的編碼變換系統(tǒng)中，無法執(zhí)行從所述第一視頻編碼視頻序列中的宏塊編碼參數(shù)到所述第二視頻編碼視頻序列中的宏塊對的編碼參數(shù)的有效變換。

發(fā)明內(nèi)容
本發(fā)明涉及視頻編碼視頻序列變換裝置和視頻編碼視頻序列變換方法，其中當(dāng)確定了第二視頻編碼視頻序列中的每個宏塊對的編碼參數(shù)集，檢測與所述宏塊對相對應(yīng)的第一視頻編碼視頻序列中的多個宏塊，以及在使用所述相應(yīng)的宏塊的編碼參數(shù)集時設(shè)置所述宏塊對的所述編碼參數(shù)集；由此，所述第一視頻編碼視頻序列上的信息被用于對所述第二視頻編碼視頻序列進(jìn)行更有效的編碼以能夠?qū)崿F(xiàn)高編碼效率。
根據(jù)本發(fā)明的第一方面，提供了一種編碼視頻序列變換裝置，其用于將通過在宏塊單元中對隔行掃描的視頻信號進(jìn)行壓縮編碼而提供的第一比特流變換到基于在宏塊單元中受到壓縮編碼的編碼方式的第二比特流。編碼視頻序列變換裝置包括解碼部分，其對第一代碼串(code string)進(jìn)行解碼以提供解碼圖像和第一編碼參數(shù)集；編碼參數(shù)集變換部分，其對于與在所述解碼圖像的垂直方向上彼此相鄰的所述第二比特流相關(guān)的宏塊的每一對，將相應(yīng)宏塊的每一個的所述第一編碼參數(shù)集進(jìn)行變換以找到變換編碼參數(shù)集，所述宏塊涉及相應(yīng)于所述解碼圖像上各對的所述第一比特流；編碼參數(shù)集選擇部分，其選擇相對于所述對找到的所述變換編碼參數(shù)集作為所述對的所述宏塊的每一個的第二編碼參數(shù)集；以及編碼部分，其利用由所述編碼參數(shù)集選擇部分選擇的所述第二編碼參數(shù)集進(jìn)行對所述解碼圖像的壓縮編碼以產(chǎn)生所述第二比特流。
根據(jù)本發(fā)明的第二方面，提供了一種編碼視頻序列變換方法，用于將通過在宏塊單元中對隔行掃描的視頻信號進(jìn)行壓縮編碼而提供的第一比特流變換到基于在宏塊單元中受到壓縮編碼的編碼方式的第二比特流。所述方法包括解碼步驟，對所述第一代碼串進(jìn)行解碼以提供解碼圖像和第一編碼參數(shù)集；編碼參數(shù)集變換步驟，對于在所述解碼圖像垂直方向上彼此相鄰的所述第二比特流的宏塊的對，對與所述解碼圖像上的所述對相對應(yīng)的所述第一比特流的相應(yīng)宏塊的每一個的所述第一編碼參數(shù)集進(jìn)行變換以找到變換編碼參數(shù)集；編碼參數(shù)集選擇步驟，選擇相對于所述對找到的所述變換編碼參數(shù)集作為所述對的所述宏塊的每一個的第二編碼參數(shù)集；以及編碼步驟，使用在所述編碼參數(shù)集選擇步驟中選擇的所述第二編碼參數(shù)集對所述解碼圖像的進(jìn)行壓縮編碼以產(chǎn)生所述第二比特流。


在附圖中圖1是框圖，其示出了依據(jù)第一實施例的視頻編碼視頻序列變換裝置；圖2是流程圖，其示出了依據(jù)所述第一實施例的視頻編碼視頻序列變換裝置的操作；圖3是流程圖，其示出了所述第一實施例中的編碼參數(shù)集變換部分的處理；圖4是示圖，其示出了所述第一實施例中在宏塊對和與其對應(yīng)的宏塊之間的關(guān)系；圖5是流程圖，其示出了所述第一實施例中的宏塊的編碼結(jié)構(gòu)設(shè)置處理；圖6是流程圖，其示出了所述第一實施例中的宏塊對的編碼結(jié)構(gòu)設(shè)置處理；
圖7是流程圖，其示出了所述第一實施例中對應(yīng)于宏塊對的宏塊的參數(shù)變換處理；圖8是示圖，其示出了所述第一實施例中當(dāng)宏塊與宏塊對的編碼結(jié)構(gòu)不同時的變換例(幀結(jié)構(gòu)到場結(jié)構(gòu))；圖9是示圖，其示出了所述第一實施例中宏塊對的編碼結(jié)構(gòu)為幀結(jié)構(gòu)時的運動向量和運動補償塊形狀的變換；圖10是示圖，其示出了所述第一實施例中宏塊對的編碼結(jié)構(gòu)為場結(jié)構(gòu)時的運動向量和運動補償塊形狀的變換；圖11是流程圖，其示出了所述第一實施例中的編碼參數(shù)集選擇部分的處理流程；圖12是框圖，其示出了依據(jù)第二實施例的視頻編碼視頻序列變換裝置；圖13是示圖，其示出了所述第二實施例中在一個宏塊對和與其對應(yīng)的宏塊之間的關(guān)系；圖14是流程圖，其示出了所述第二實施例中宏塊對的編碼結(jié)構(gòu)設(shè)置處理的流程；圖15是框圖，其示出了依據(jù)第三實施例的視頻編碼視頻序列變換裝置；圖16是示圖，其示出了依據(jù)所述第三實施例的圖像編碼類型的變換例；圖17是示圖，其示出了依據(jù)所述第三實施例的圖像編碼類型的另一個變換例；圖18是示圖，其示出了與所述第二實施例的宏塊對相對應(yīng)的宏塊中的對應(yīng)比(correspondence ratio)的例子；圖19是流程圖，其示出了所述第二實施例中的宏塊對的編碼結(jié)構(gòu)設(shè)置處理的另一個流程；圖20是流程圖，其示出了所述第二實施例中的宏塊對的編碼結(jié)構(gòu)設(shè)置處理的另一個流程；
圖21是示意圖，其示出了所述第二實施例中的宏塊對的編碼結(jié)構(gòu)設(shè)置處理的另一個流程。
具體實施例現(xiàn)在參照附圖，示出本發(fā)明的優(yōu)選實施例。
第一實施例圖1是框圖，其示出了依據(jù)第一實施例的視頻編碼視頻序列變換裝置。
依據(jù)所述第一實施例的視頻編碼視頻序列變換裝置包括解碼部分110，用于解碼輸入的第一視頻編碼視頻序列100并產(chǎn)生解碼圖像101以及提取編碼參數(shù)集102；編碼參數(shù)集變換部分111，用于分析編碼參數(shù)集102并遵照第二視頻編碼視頻序列的編碼格式變換編碼參數(shù)集；編碼參數(shù)集生成部分113，用于利用解碼圖像101和已編碼的第二視頻編碼視頻序列103生成編碼參數(shù)候選集104；編碼參數(shù)集選擇部分112，用于從由編碼參數(shù)集變換部分111提供的編碼參數(shù)集105和由編碼參數(shù)集生成部分113生成的編碼參數(shù)候選集104中選出最終用于編碼的編碼參數(shù)集106；以及編碼部分114，用于利用由編碼參數(shù)集選擇部分112選擇的編碼參數(shù)集106生成第二視頻編碼視頻序列。
在該實例中具體地采用了通過利用MPEG-2編碼方式對隔行掃描的視頻圖像信號進(jìn)行編碼而提供的第一視頻編碼視頻序列。后面將討論以MPEG-4 AVC用作為第二視頻圖像編碼信號的情況。
接下來，將結(jié)合圖1和圖2討論依據(jù)所述第一實施例的視頻編碼視頻序列變換裝置的工作。圖2是流程圖，其示出了依據(jù)所述第一實施例的視頻編碼視頻序列變換裝置的工作。
第一視頻編碼視頻序列100被輸入到解碼部分110(步驟S100)。
解碼部分110對第一視頻編碼視頻序列100進(jìn)行解碼并產(chǎn)生編碼參數(shù)集102和解碼圖像101(步驟S101)。
編碼參數(shù)集變換部分111將第一視頻編碼視頻序列100的編碼參數(shù)集102變換為第二編碼參數(shù)集105(步驟S102)。
編碼參數(shù)集生成部分113利用第一視頻編碼視頻序列中的解碼圖像101和已編碼的第二視頻編碼視頻序列103生成編碼參數(shù)候選集104(步驟S103)。
編碼參數(shù)集選擇部分112評估由編碼參數(shù)集變換部分111提供的編碼參數(shù)集105和由編碼參數(shù)集生成部分113生成的編碼參數(shù)候選集104，并且選擇最終用于編碼的編碼參數(shù)集106(步驟S104)。
編碼部分114利用由編碼參數(shù)集選擇部分112選擇的編碼參數(shù)集106將第一視頻編碼視頻序列的解碼圖像101編碼為第二視頻編碼視頻序列103(步驟S105)，并且輸出第二視頻編碼視頻序列103(步驟S106)。
當(dāng)編碼參數(shù)集變換部分111變換從第一視頻編碼視頻序列100中提取的編碼參數(shù)集時提供的編碼信息107可被輸入到編碼參數(shù)集生成部分113，用作為生成編碼參數(shù)集的參考數(shù)據(jù)。
下面將詳細(xì)討論圖1中的處理部分。
解碼部分110對輸入的視頻編碼視頻序列100進(jìn)行解碼，并且提取包含在第一視頻編碼視頻序列100中的編碼參數(shù)集102以及解碼圖像101。
在第一視頻編碼視頻序列100為MPEG-2的情況下，提取的編碼參數(shù)集102包含的信息包括分辨率信息，其表示包含于比特流中的解碼圖像在寬度和高度上的尺寸；逐行信息，其指示是否整個比特流逐行掃描；圖像的圖像類型((幀內(nèi)編碼(I圖像)，幀間編碼(P圖像，B圖像))；圖像的編碼結(jié)構(gòu)(幀，場)；宏塊的編碼模式(幀內(nèi)編碼，幀間編碼)；運動向量，其指示宏塊的運動預(yù)測中的參考部分；在宏塊運動補償時的塊形狀；DCT類型，如果宏塊為幀內(nèi)編碼則存在；
預(yù)測類型，如果宏塊為幀間編碼則存在；以及場選擇，其指示宏塊的運動向量參考哪一個場。
本實施例的解碼部分110提取上面所列信息作為編碼參數(shù)集102。
圖3示出了編碼參數(shù)集變換部分111的處理流程。
編碼參數(shù)集變換部分111找到對應(yīng)于宏塊對的宏塊(步驟S110)。
編碼參數(shù)集變換部分111確定宏塊和宏塊對的編碼結(jié)構(gòu)，即，基于相應(yīng)宏塊確定幀結(jié)構(gòu)編碼或場結(jié)構(gòu)編碼(步驟S111和步驟S112)。
編碼參數(shù)集變換部分111比較宏塊對和相應(yīng)宏塊的已確定的編碼結(jié)構(gòu)(步驟S113)。如果存在對立的參數(shù)或缺少的參數(shù)，則變換或產(chǎn)生參數(shù)(步驟S114)。
編碼參數(shù)集變換部分111遵照第二視頻編碼視頻序列的編碼方式變換相應(yīng)宏塊的編碼參數(shù)(步驟S115)，并且輸出所提供的參數(shù)作為生成第二視頻編碼視頻序列中的編碼參數(shù)候選集。
下面將詳細(xì)討論圖3中的處理。
S110檢測相應(yīng)的宏塊找到對應(yīng)于宏塊對的宏塊。在該實施例中不涉及分辨率變換處理，第一視頻編碼視頻序列的分辨率與第二視頻編碼視頻序列的分辨率相同，并且第一和第二視頻編碼視頻序列的編碼方式在宏塊尺寸上匹配，因而第一視頻編碼視頻序列的將被變換的兩個宏塊201和202對應(yīng)于將變換到第二視頻編碼視頻序列中的宏塊對200。
S111設(shè)置相應(yīng)宏塊的編碼結(jié)構(gòu)找到相應(yīng)宏塊的編碼結(jié)構(gòu)。在本發(fā)明中，編碼結(jié)構(gòu)被定義為場結(jié)構(gòu)或幀結(jié)構(gòu)。
圖5示出了一種具體的編碼結(jié)構(gòu)確定方法。首先，分析每個宏塊的編碼模式(步驟S120)，確定編碼模式是幀內(nèi)編碼(Intra)還是幀間編碼(NonIntra)(步驟S121)。
在編碼模式為幀間編碼的情況下，分析包含在宏塊中的預(yù)測類型信息(步驟S123和步驟S125)。在預(yù)測類型為場預(yù)測的情況下，設(shè)置為場結(jié)構(gòu)(步驟S127)；在預(yù)測類型為幀預(yù)測的情況下，設(shè)置為幀結(jié)構(gòu)(步驟S126)。
在宏塊的編碼模式為幀內(nèi)編碼的情況下，分析宏塊的DCT類型信息(步驟S122和步驟S124)。在DCT類型為場DCT的情況下，設(shè)置為場結(jié)構(gòu)(步驟S127)；在DCT類型為幀DCT的情況下，設(shè)置為幀結(jié)構(gòu)(步驟S126)。
S112確定宏塊對的編碼結(jié)構(gòu)在確定了相應(yīng)宏塊的編碼結(jié)構(gòu)后，基于相應(yīng)宏塊的編碼結(jié)構(gòu)確定宏塊對的編碼結(jié)構(gòu)。
圖6示出了具體的處理流程。
在相應(yīng)宏塊的編碼結(jié)構(gòu)間進(jìn)行比較(步驟S130和步驟S131)。
如果兩個宏塊的編碼結(jié)構(gòu)相同(在步驟S131為“是”)，則原樣采用該編碼結(jié)構(gòu)作為宏塊對的編碼結(jié)構(gòu)。即，如果兩個宏塊的編碼結(jié)構(gòu)均為場結(jié)構(gòu)，則設(shè)置宏塊對的編碼結(jié)構(gòu)為場結(jié)構(gòu)(步驟S133)；如果該編碼結(jié)構(gòu)為幀結(jié)構(gòu)，設(shè)置所述編碼結(jié)構(gòu)為幀結(jié)構(gòu)(步驟S134)。
如果一個宏塊的編碼結(jié)構(gòu)為幀結(jié)構(gòu)而另一個宏塊的編碼結(jié)構(gòu)為場結(jié)構(gòu)(在步驟S131為“否”)，設(shè)置宏塊對的編碼結(jié)構(gòu)為場結(jié)構(gòu)(步驟S133)。
如果將被變換的圖像的圖像類型為幀內(nèi)編碼，則設(shè)置宏塊對的編碼模式為幀內(nèi)編碼，并且終止編碼參數(shù)變換處理。如果將被變換的圖像的編碼模式為幀間編碼，則如下變換用于預(yù)測編碼的編碼參數(shù)集S114遵照宏塊對的編碼結(jié)構(gòu)，變換相應(yīng)宏塊的編碼參數(shù)根據(jù)第一視頻編碼視頻序列的編碼方式變換對應(yīng)于宏塊對的宏塊的編碼參數(shù)，使之與宏塊對的編碼結(jié)構(gòu)相一致。
圖7示出了從幀間編碼向幀內(nèi)編碼變換的具體處理流程。首先，如果相關(guān)宏塊的每一個的編碼模式為幀內(nèi)編碼(在步驟S141為“是”)，變換編碼模式為幀內(nèi)編碼模式，并且還基于宏塊的編碼結(jié)構(gòu)產(chǎn)生基本上不存在的運動向量和預(yù)測類型(步驟S142)。
具體地，當(dāng)幀內(nèi)編碼的DCT類型為場結(jié)構(gòu)時，設(shè)置預(yù)測類型為場預(yù)測；當(dāng)DCT類型為幀結(jié)構(gòu)時，設(shè)置預(yù)測類型為幀預(yù)測。對于運動向量，設(shè)置標(biāo)記以使編碼部分基于向量預(yù)測生成運動向量。進(jìn)行這樣的處理的原因在于，在本實施例的編碼參數(shù)變換中，如果將被變換的圖像的圖像類型為幀內(nèi)編碼，作為變換結(jié)果輸出的編碼參數(shù)被全部用來制成幀間編碼的那些參數(shù)。
接下來，在相關(guān)宏塊的每一個的編碼結(jié)構(gòu)和將變換成的宏塊對的編碼結(jié)構(gòu)之間進(jìn)行比較(步驟S143)。如果編碼結(jié)構(gòu)不同(在步驟S143為“是”)，則將相應(yīng)宏塊的編碼結(jié)構(gòu)、運動向量和預(yù)測類型變換為與宏塊對的結(jié)構(gòu)相符合(步驟S144)。
具體地，如果相應(yīng)宏塊800的編碼結(jié)構(gòu)為幀結(jié)構(gòu)，宏塊對801的編碼結(jié)構(gòu)為場結(jié)構(gòu)，則將相應(yīng)宏塊800的預(yù)測類型變換為場預(yù)測，并將幀預(yù)測運動向量變換為場預(yù)測運動向量，如圖8所示。此時，幀預(yù)測的運動向量MV2的垂直分量被二等分以生成兩個具有相同值的場預(yù)測MV2′(上MV2′和下MV2′)。
如果相應(yīng)宏塊的編碼結(jié)構(gòu)為場結(jié)構(gòu)，且宏塊對的編碼結(jié)構(gòu)為幀結(jié)構(gòu)，則從包含在相應(yīng)宏塊中的場預(yù)測運動向量生成幀預(yù)測運動塊(frameprediction motion block)。重復(fù)上述變換處理直至相應(yīng)宏塊的編碼結(jié)構(gòu)都與宏塊對的編碼結(jié)構(gòu)相匹配(步驟S145)。
如果相應(yīng)宏塊的編碼結(jié)構(gòu)與宏塊對的編碼結(jié)構(gòu)相匹配，變換最后的運動向量和運動補償塊形狀。
圖9和圖10示出了編碼格式變換的具體變換方法。
圖9示出了當(dāng)宏塊對的編碼結(jié)構(gòu)為幀結(jié)構(gòu)時的運動補償塊900和901的形狀。如果宏塊對的編碼結(jié)構(gòu)為幀結(jié)構(gòu)，上部和下部的運動補償塊的形狀被設(shè)置為16×16，且運動向量被變換為那些指示相同參考位置的向量來作為幀預(yù)測運動向量，其中所述相同參考位置考慮了像素精度，如圖9所示。
圖10示出了運動補償塊1000、1001、1002和1003的形狀以及當(dāng)宏塊對的編碼結(jié)構(gòu)為場結(jié)構(gòu)時運動向量的分配。
另一方面，如果宏塊對的編碼結(jié)構(gòu)為場結(jié)構(gòu)，運動補償塊形狀被設(shè)置為16×8，如圖10所示。對運動向量而言，上部場所涉及的兩個運動向量上部MV1和上部MV2被分配給宏塊對中的上宏塊，而下部場所涉及的兩個運動向量下部MV1和下部MV2被分配給宏塊對中的下宏塊。
對于運動塊形狀，也可設(shè)置關(guān)于上述塊形狀集以外的任何其它塊形狀的參數(shù)。
例如，當(dāng)編碼結(jié)構(gòu)為場結(jié)構(gòu)時，可從兩個16×8的塊形狀設(shè)置16×16的塊形狀。在這種情況下，可利用殘留信號大小的估計值等來選擇兩個16×8塊形狀的運動向量中的一個。
另外，可從16×16的塊形狀生成兩個16×8的塊形狀。在這種情況下，16×16塊形狀的運動向量可被分配給所述兩個塊形狀，或者，可預(yù)先設(shè)置對運動向量預(yù)測的運用并且在后面階段的編碼參數(shù)生成部分可計算運動向量。
編碼參數(shù)集變換部分111從第一視頻編碼視頻序列100的編碼參數(shù)集102生成編碼參數(shù)集105；編碼參數(shù)集生成部分113利用第一視頻編碼視頻序列的解碼圖像101和已編碼的第二視頻編碼視頻序列103生成用于第二視頻編碼視頻序列的編碼參數(shù)集。
例如，如果第一視頻編碼視頻序列的圖像類型為幀間編碼，編碼參數(shù)集部分主要生成用于幀間編碼的編碼參數(shù)，因而編碼參數(shù)集生成部分生成不能由編碼參數(shù)集變換部分生成的幀內(nèi)編碼參數(shù)集、跳躍(skip)以及直接預(yù)測數(shù)據(jù)。
對于幀間編碼參數(shù)集，編碼參數(shù)集生成部分進(jìn)行運動向量預(yù)測并生成運動向量，該運動向量用于為利用編碼參數(shù)集變換部分中的預(yù)測運動向量而設(shè)置了標(biāo)記的部分。
圖11示出了編碼參數(shù)集選擇部分112的處理流程。
編碼參數(shù)集選擇部分112從編碼參數(shù)集變換部分111和編碼參數(shù)集生成部分113獲取用于變換的編碼參數(shù)候選集105和104。具體地，編碼參數(shù)集選擇部分112獲取由編碼參數(shù)集變換部分111生成的幀間預(yù)測編碼參數(shù)集105和由編碼參數(shù)集生成部分113生成的幀間預(yù)測編碼參數(shù)及其它編碼參數(shù)104。
對編碼參數(shù)候選的編碼效率進(jìn)行了評估。具體地，如果評估運動向量，則可采用SAD(絕對差別的總和)、R-D(速率失真)，等等。
最后，提供最佳編碼效率的編碼參數(shù)集被選擇作為應(yīng)用于實際編碼的參數(shù)集。
編碼部分利用由編碼參數(shù)集選擇部分112選擇的參數(shù)集對解碼圖像進(jìn)行編碼，生成第二視頻編碼視頻序列，并輸出該第二視頻編碼視頻序列。
因而，依據(jù)第一實施例的視頻編碼視頻序列變換裝置基于相應(yīng)宏塊的編碼參數(shù)，共同地設(shè)置作為用于宏塊對的參數(shù)集的編碼參數(shù)，以使編碼參數(shù)可有效地重復(fù)使用而可以滿足宏塊對中編碼參數(shù)上的限制條件，并且使得提高編碼效率以及抑制圖像質(zhì)量劣化成為可能。
第二實施例圖12是框圖，其示出了第二實施例的視頻編碼視頻序列變換裝置。
依據(jù)第二實施例的視頻編碼視頻序列變換裝置與前面參照圖1所述的依據(jù)第一實施例的視頻編碼視頻序列變換裝置的不同點在于，在解碼部分110之后設(shè)置了分辨率變換部分120，其用于變換解碼圖像101的分辨率并且然后重新編碼所述圖像。
在第二實施例中，假定分辨率變換部分120將輸入圖像變換到更低分辨率。
在第二實施例中的編碼參數(shù)集變換部分111中，與一個宏塊對相對應(yīng)的宏塊的數(shù)目變?yōu)榇笥诙?。圖13示出了在一個宏塊對和與其對應(yīng)的宏塊之間的關(guān)系的具體實例。在圖13的例子中，相應(yīng)宏塊301和302占據(jù)與宏塊對300相對應(yīng)的解碼圖像101的24個宏塊。
為了確定地選擇場結(jié)構(gòu)作為宏塊對的編碼結(jié)構(gòu)，編碼參數(shù)集選擇部分112可配置為當(dāng)至少一個具有場結(jié)構(gòu)的宏塊被包括在相應(yīng)宏塊(MNUM＞0)時，選擇場結(jié)構(gòu)作為宏塊對的編碼結(jié)構(gòu)。
在第二實施例中，與第一實施例中圖6中的處理不同，宏塊對的編碼結(jié)構(gòu)是基于相應(yīng)宏塊的編碼結(jié)構(gòu)的數(shù)目確定的。圖14示出了具體處理流程。
首先，提取對應(yīng)于如圖13所示的第二視頻編碼視頻序列的宏塊對300的第一視頻編碼視頻序列的多個宏塊(包含在由301和302所指示的區(qū)域內(nèi)的多個相應(yīng)宏塊)并掌握宏塊的編碼結(jié)構(gòu)(步驟S170)。
其次，對于相應(yīng)宏塊的編碼結(jié)構(gòu)，計算設(shè)置為場結(jié)構(gòu)的宏塊的數(shù)目MNUM1以及設(shè)置為幀結(jié)構(gòu)的宏塊的數(shù)目MNUM2(步驟S171)。
其次，比較設(shè)置為場結(jié)構(gòu)的宏塊的數(shù)目MNUM1和設(shè)置為幀結(jié)構(gòu)的宏塊的數(shù)目MNUM2(步驟S172)。如果設(shè)置為幀結(jié)構(gòu)的宏塊的數(shù)目MNUM2大于設(shè)置為場結(jié)構(gòu)的宏塊的數(shù)目MNUM1，則通過利用幀結(jié)構(gòu)重新編碼生成第二視頻編碼視頻序列(步驟S173)；如果設(shè)置為幀結(jié)構(gòu)的宏塊的數(shù)目MNUM2小于設(shè)置為場結(jié)構(gòu)的宏塊的數(shù)目MNUM1，則通過利用場結(jié)構(gòu)重新編碼生成第二視頻編碼視頻序列(步驟S174)。
如果MNUM1與MNUM2相等，則通過利用場結(jié)構(gòu)重新編碼生成第二視頻編碼視頻序列(步驟S174)。
如果MNUM1與MNUM2相等，對于每個宏塊，可設(shè)置基于編碼參數(shù)集的估計值，并且可以利用編碼結(jié)構(gòu)的估計值的總和來確定編碼結(jié)構(gòu)。每個宏塊的代碼量、代碼量的乘積以及量化值等等均可用作為所述估計值。
上面描述了一種通過簡單地比較設(shè)置為場結(jié)構(gòu)的宏塊的數(shù)目MNUM1和設(shè)置為幀結(jié)構(gòu)的宏塊的數(shù)目MNUM2來確定用于生成第二視頻編碼視頻序列的編碼結(jié)構(gòu)的技術(shù)。
然而，可用這樣的技術(shù)取代上述技術(shù)，在該技術(shù)中進(jìn)行計算具有編碼結(jié)構(gòu)的每一個且對應(yīng)于第二視頻編碼視頻序列的宏塊的相應(yīng)面積；依照所述相應(yīng)面積的每一個的比例設(shè)置估計值；以及確定宏塊對的編碼結(jié)構(gòu)。如此實現(xiàn)的技術(shù)將在下面詳細(xì)描述。
在此描述在水平(寬度)方向上進(jìn)行圖像變換的情形。
在如下描述中，如圖18所示，4個宏塊以a∶b的比例對應(yīng)到一個宏塊對。
在進(jìn)行圖像變換時，通過式(1)和式(2)得到關(guān)于場結(jié)構(gòu)的估計值Vfield和關(guān)于幀結(jié)構(gòu)的估計值Vframe。估計值Vfield和Vframe之間的比指示了宏塊對中具有幀結(jié)構(gòu)的宏塊的面積與宏塊對中具有場結(jié)構(gòu)的宏塊的面積之間的比。
Vfield＝a·(Tfield(MB0)+Tfield(MB2))+b·(Tfield(MB1)+Tfield(MB3)) ...(1)Vframe＝a·(Tframe(MB0)+Tframe(MB2))+b·(Tframe(MB1)+Tframe(MB3)) ...(2)在式(1)和式(2)中，MB0、MB1、MB2、MB3中的每一個表示圖18所示的4個宏塊的每一個的面積。式(1)和式(2)中的Tfield和Tframe為指示所述宏塊的每一個的編碼結(jié)構(gòu)是否為場結(jié)構(gòu)或幀結(jié)構(gòu)的函數(shù)，由如下式(3)和式(4)定義Tfield(MBi)=1if MBi=fieldMB0else---(3)]]>Tframe(MBi)=1if MBi=frameMB0else---(4)]]>根據(jù)所述技術(shù)選擇編碼結(jié)構(gòu)的處理如圖19所示。
首先，提取對應(yīng)于第二視頻編碼視頻序列的宏塊對的第一視頻編碼視頻序列的多個宏塊并且掌握該宏塊的編碼結(jié)構(gòu)，如圖19所示(步驟S180)。
其次，通過式(1)和式(2)得到關(guān)于場結(jié)構(gòu)的估計值Vfield和關(guān)于幀結(jié)構(gòu)的估計值Vframe(步驟S181)。
再次，比較通過式(1)和式(2)得到的Vfield和Vframe的值(步驟S182)。并且，在Vfield＜Vframe成立的情況，通過利用幀結(jié)構(gòu)重新編碼來生成第二視頻編碼視頻序列(步驟S183)；在Vfield≥Vframe成立的情況，通過利用場結(jié)構(gòu)重新編碼來生成第二視頻編碼視頻序列(步驟S184)。
當(dāng)確定使用場結(jié)構(gòu)還是幀結(jié)構(gòu)時，為了選擇使用場結(jié)構(gòu)，可對Vfield的值進(jìn)行加權(quán)。根據(jù)所述技術(shù)選擇編碼結(jié)構(gòu)的處理如圖20所示。
首先，如圖20所示，提取對應(yīng)于第二視頻編碼視頻序列的宏塊對的第一視頻編碼視頻序列的多個宏塊并且掌握所述宏塊的編碼結(jié)構(gòu)(步驟S190)。
其次，通過式(1)和式(2)得到關(guān)于場結(jié)構(gòu)的估計值Vfield和關(guān)于幀結(jié)構(gòu)的估計值Vframe(步驟S191)。
再次，設(shè)置加權(quán)因子w的值(步驟S192)，并且比較Vframe和由因子w加權(quán)的Vfield的值(步驟S193)。并且，在w·Vfield＜Vframe成立的情況，通過利用幀結(jié)構(gòu)重新編碼來生成第二視頻編碼視頻序列(步驟S194)；遵在w·Vfield≥Vframe成立的情況，通過利用場結(jié)構(gòu)重新編碼來生成第二視頻編碼視頻序列(步驟S195)。
為將被變換的視頻編碼視頻序列的每一個設(shè)置加權(quán)因子w。可以為所述視頻編碼視頻序列的每一個設(shè)置加權(quán)因子w的值為常數(shù)，或使之隨視頻編碼視頻序列自適應(yīng)變化。
當(dāng)自適應(yīng)地變化加權(quán)因子w時，可以配置為基于圖像分辨率的變換比例確定加權(quán)因子w，或者可以配置為基于在第一視頻編碼視頻序列的比特率和第二視頻編碼視頻序列的比特率之間的比來確定加權(quán)因子w。加權(quán)因子w的值可依照圖像分辨率的變換比例為視頻編碼視頻序列的每一個唯一設(shè)置，或依照關(guān)于相應(yīng)宏塊的信息(指示例如尺寸、分散以及代碼量等的信息)以及關(guān)于圖像的信息(指示例如圖像類型和代碼量的信息)自適應(yīng)地改變。
第一種方法使用定值在此將描述設(shè)置加權(quán)因子w的第一種方法。
在第一種方法中，加權(quán)因子w被設(shè)置為定值，從而使得當(dāng)對應(yīng)于宏塊對并具有場結(jié)構(gòu)的宏塊的比例超過預(yù)定比例α(其中0≤α≤1)時，選擇場結(jié)構(gòu)。加權(quán)因子w由下式(5)計算得到w＝(1-α)/α ...(5)使用由式(5)得到的加權(quán)因子w，當(dāng)對應(yīng)于宏塊對并具有場結(jié)構(gòu)的宏塊的比例超過預(yù)定比例α?xí)r，選擇場結(jié)構(gòu)。
第二種方法利用運動向量的距離接下來將描述設(shè)置加權(quán)因子w的第二種方法。在第二種方法中，基于用于場預(yù)測的運動向量中的對應(yīng)于上部場的運動向量和對應(yīng)于下部場的運動向量之間的差來確定加權(quán)因子w。
這里假定在對應(yīng)于宏塊對的宏塊中存在具有場結(jié)構(gòu)的宏塊。
在場預(yù)測的宏塊中，包括了對應(yīng)于上部場的運動向量和對應(yīng)于下部場的運動向量。并且，當(dāng)在宏塊中的兩個向量之間的距離很大時，假定兩個彼此具有相差的場存在于對應(yīng)宏塊中的可能性很大。這里可用歐氏距離來確定兩個向量間的距離。
因此，通過依照在包含于相應(yīng)宏塊中的兩個場預(yù)測的運動向量之間的距離自適應(yīng)地改變加權(quán)值w，可為諸如MPEG-2的格式中的第一視頻編碼視頻序列的狀況適當(dāng)?shù)卮_定將要采用的編碼結(jié)構(gòu)。
在這種情況下，優(yōu)選地計算構(gòu)成整個圖像的場結(jié)構(gòu)的宏塊的兩個運動向量間的差，并基于計算的統(tǒng)計量為圖像單元的每一個改變加權(quán)值w。
第三種方法利用比特率接下來將描述設(shè)置加權(quán)因子的第三種方法。在第三種方法中，基于比特率確定加權(quán)因子w。
當(dāng)考慮MPEG-2中的幀預(yù)測和場預(yù)測時，可通過進(jìn)行兩個16×8的塊的場預(yù)測來實現(xiàn)由16×16的塊進(jìn)行的幀預(yù)測所實現(xiàn)的運動補償。
在這樣做時，由于運動向量的增加，可能導(dǎo)致代碼量增加。然而，優(yōu)選地在變換后的比特率足夠大以至于忽略運動向量的代碼量的增加的情況下，確實地進(jìn)行場預(yù)測，這是因為MPEG-2的第一視頻編碼視頻序列的運動向量可得到有效使用。
然而，在變換后比特率很小并且宏塊的頭部中的代碼量在比特流中的比例很大的情況下，運動向量的代碼量可能對整個圖像質(zhì)量造成影響。
因此，通過依照在將要變換的第一視頻編碼視頻序列的比特率和變換后得到的第二視頻編碼視頻序列的比特率之間的比來改變用于場結(jié)構(gòu)的加權(quán)因子w，可以提高圖像質(zhì)量。
可以為第一視頻編碼視頻序列的流唯一設(shè)置加權(quán)因子w。對具有變化的比特率的流而言，可以為每個GOP(圖像組)可變地設(shè)置加權(quán)因子w，或者依照每幅圖像的代碼量可變地設(shè)置加權(quán)因子w。
第四種方法利用活動性接下來將描述設(shè)置加權(quán)因子的第四種方法。在第四種方法中，基于視頻編碼視頻序列的活動性確定加權(quán)因子w。
這里的“活動性”是指示將被編碼的視頻圖像的信息量的數(shù)值。在視頻圖像變換中，活動性按照如下方式計算。
通過將宏塊的代碼量乘以量化步長值來計算每個宏塊的活動性。通過將圖像的平均量化步長值乘以圖像的代碼量來計算每個圖像單元的活動性。
在第四種方法中，利用通過上述計算得到的活動性可變地設(shè)置加權(quán)因子w。在這樣做時，依照與前述估計值Vfield和Vframe相同的面積的比例將場結(jié)構(gòu)和幀結(jié)構(gòu)的宏塊的每一個的活動性的計算值求和，并且依照兩個活動性值的比例設(shè)置加權(quán)因子w。
在估計值Vfield和Vframe彼此非常接近的情況下，可配置為，基于場結(jié)構(gòu)的活動性和幀結(jié)構(gòu)的活動性中大的一個來確定宏塊對的編碼結(jié)構(gòu)?？梢勒彰總€圖像單元的活動性為每個圖像單元自適應(yīng)地設(shè)置加權(quán)因子w。
可將視頻編碼視頻序列變換裝置配置為執(zhí)行所述設(shè)置加權(quán)因子的方法中的任意一種，或者將其配置為執(zhí)行多種方法的結(jié)合。
加權(quán)因子w可作為偏移量加到估計值Vfield，以取代前述的加權(quán)因子w與估計值Vfield的線性結(jié)合。例如，可配置為當(dāng)Vframe＞w+Vfield成立時選擇幀結(jié)構(gòu)，當(dāng)Vframe≤w+Vfield成立時選擇場結(jié)構(gòu)。根據(jù)所述技術(shù)選擇編碼結(jié)構(gòu)的處理如圖21所示。
首先，如圖21所示，提取對應(yīng)于第二視頻編碼視頻序列的宏塊對的第一視頻編碼視頻序列的多個宏塊并且掌握該宏塊的編碼結(jié)構(gòu)(步驟S200)。
其次，通過式(1)和式(2)得到關(guān)于場結(jié)構(gòu)的估計值Vfield和關(guān)于幀結(jié)構(gòu)的估計值Vframe(步驟S201)。
再次，設(shè)置加權(quán)因子w的值(步驟S202)，比較Vframe和通過所述因子w加權(quán)的Vfield的值(步驟S203)。并且，在Vframe＞w+Vfield成立的情況下，通過利用幀結(jié)構(gòu)重新編碼來生成第二視頻編碼視頻序列(步驟S204)；在Vframe≤w+Vfield成立的情況下，通過利用場結(jié)構(gòu)重新編碼來生成第二視頻編碼視頻序列(步驟S205)?？梢詾槊總€視頻編碼視頻序列將加權(quán)因子w的值設(shè)置為常數(shù)，或使之隨視頻編碼視頻序列自適應(yīng)地變化，正如上面所詳述的那樣。
以上描述了圖像分辨率被在水平(寬度)方向上變換以及4個宏塊對應(yīng)于一個宏塊對的情況，如圖18所示。然而，在圖像分辨率在垂直(高度)方向或同時在水平和垂直兩個方向上變換的情況下以及在多于4個宏塊對應(yīng)于一個宏塊對的情況下，可通過獲取具有幀結(jié)構(gòu)或場結(jié)構(gòu)的宏塊的每一個的相應(yīng)比例以及通過依照相應(yīng)比例展開所述式(1)和式(2)來確定生成第二視頻編碼視頻序列所用的編碼結(jié)構(gòu)。
接下來解釋運動向量的變換。
當(dāng)運動向量被變換時，在涉及分辨率變換的變換中存在多個運動向量候選，從而利用用于選擇最佳運動向量的估計值來確定哪個運動向量適合。
例如，每個宏塊的預(yù)測殘差代碼量、量化值、運動向量大小、預(yù)測殘差與代碼量的乘積都可作為估計值。
將運動向量縮放到與分辨率變換比率相一致。當(dāng)運動向量被縮放后，可以利用第二視頻編碼視頻序列的編碼方式所支持的精度進(jìn)行分段處理(fraction processing)。具體地，在縮放時發(fā)現(xiàn)所述的值具有1/4像素的精度，這是因為雖然MPEG-2中的運動向量精度為1/2像素，但H.264中的運動向量精度是1/4像素。
在第二實施例中，不同于第一實施例，在某些情況下不能以一一對應(yīng)的方式變換運動補償塊的形狀。由于伴隨著分辨率變換，對應(yīng)于宏塊對的第一視頻編碼視頻序列的宏塊的尺寸變得相對較小，如果使用相應(yīng)宏塊中任意一個的塊形狀，則塊形狀變得過小并可能出現(xiàn)編碼效率降低的情形。
然后，基于宏塊對的編碼結(jié)構(gòu)預(yù)先確定運動補償塊形狀。具體地，如果采用幀結(jié)構(gòu)，則使用16×16的塊形狀；而如果采用場結(jié)構(gòu)，則使用16×8的塊形狀。
所生成的塊形狀的數(shù)目不像第一實施例中那樣限定為1。例如，可利用幀結(jié)構(gòu)生成所述16×8的塊形狀，或者利用場結(jié)構(gòu)生成所述16×16的塊形狀。
在最終變換中，遵照宏塊對的結(jié)構(gòu)為每一個相應(yīng)的宏塊如圖2所示生成參數(shù)，并將其變換到用于第二視頻編碼視頻序列的編碼參數(shù)集，如第一解碼部分、編碼參數(shù)選擇部分以及編碼部分的處理如第一實施例中所述進(jìn)行。
因而，依據(jù)第二實施例的視頻編碼視頻序列變換裝置基于相應(yīng)宏塊的編碼參數(shù)，在包括了分辨率變換的變換中，整體地設(shè)置編碼參數(shù)作為用于宏塊對的參數(shù)集，從而使得編碼參數(shù)可被有效地重復(fù)使用同時滿足了宏塊對中編碼參數(shù)上的限制條件，以及有望進(jìn)一步減小代碼量。
第三實施例下面結(jié)合圖15到圖17討論依據(jù)第三實施例的視頻編碼視頻序列變換裝置的配置和操作。圖15是框圖，其示出了依據(jù)所述第三實施例的視頻編碼視頻序列變換裝置。
在根據(jù)所述第三實施例的視頻編碼視頻序列變換裝置中，輸入以MPEG2編碼的第一視頻編碼視頻序列500，并輸出以H.264再次編碼的第二視頻編碼視頻序列503。
MPEG2解碼器510對第一視頻編碼視頻序列500進(jìn)行解碼，輸出解碼圖像501，并且還輸出每個解碼圖像的編碼參數(shù)集(502的上段)，其包括圖像類型(I圖像、P圖像或B圖像之一)、用于指示代碼序列是否僅為逐行圖像的編碼(逐行序列)或包含隔行圖像的編碼數(shù)據(jù)的標(biāo)記、圖像結(jié)構(gòu)(逐行幀圖像、隔行幀圖像、場圖像)，等等。圖像類型設(shè)置部分522在進(jìn)行H.264重新編碼時確定在圖像層次的編碼結(jié)構(gòu)。
圖16示出了依據(jù)所述第三實施例的圖像類型設(shè)置部分522的操作實例。如果MPEG2編碼數(shù)據(jù)被編碼為逐行序列，那么對應(yīng)的每一幀被再次編碼為H.264中的逐行幀圖像。
如果MPEG2編碼數(shù)據(jù)不是逐行序列，那么MPEG2幀圖像被再編碼為H.264MB-AFF幀圖像，且MPEG2場圖像被再編碼為H.264場圖像。MPEG2中編碼圖像類型為I圖像的圖像被再編碼為僅由H.264中I片(slice)形成的參考圖像；MPEG2中編碼圖像類型為B圖像的圖像被再編碼為僅由H.264中B片形成的非參考圖像。
進(jìn)一步，如果MPEG2 P圖像包含在MPEG2中規(guī)定的雙主(dual-prime)預(yù)測(從兩個前向場的參考圖像中割出預(yù)測圖像塊并以作為預(yù)測圖像的平均值進(jìn)行圖像間預(yù)測編碼的模式)，則該MPEG2 P圖像被再編碼為僅由H.264中的B片形成的參考圖像。
如果MPEG2 P圖像不包含雙主預(yù)測，其被再編碼為僅由H.264中的P片形成的參考圖像。提供了上述的圖像層次對應(yīng)關(guān)系，由此，將很容易提供在MPEG2中宏塊單元中的幀間預(yù)測結(jié)構(gòu)與H.264中宏塊單元中的幀間預(yù)測結(jié)構(gòu)之間的對應(yīng)關(guān)系，改進(jìn)宏塊單元中運動向量的可復(fù)用性、預(yù)測模式，等等，并且使得顯著減小在H.264重新編碼時的計算成本(計算量或硬件成本)成為可能。
圖17示出了圖像類型設(shè)置部分522的另一個例子。在圖17的例子中，與圖16中的例子的不同之處在于，每幅MPEG2 P圖像被再編碼為僅由H.264中的P片形成的參考圖像而無論MPEG2 P圖像是否包含雙主預(yù)測。在MPEG2P圖像中，僅當(dāng)在P圖像與其參考圖像之間的再現(xiàn)次序中不包含B圖像時，雙主預(yù)測才可用，而且，除非檢測了圖像中所有宏塊的預(yù)測模式，否則不能確定MPEG2的P圖像是否包含雙主預(yù)測。
因此，在從MPEG2到H.264的重新編碼中，至少一幀的延遲是必需的，這導(dǎo)致該延遲所需的緩沖內(nèi)存的增加以及與重新編碼相伴的時滯。
另一方面，雙主預(yù)測是為了進(jìn)行過去兩個場的平均預(yù)測，因而在H.264的P片中就不可能進(jìn)行類似的圖像間預(yù)測。如果MPEG2中的所有P圖像均被再編碼為H.264的B片，則用于表示H.264的B片的預(yù)測塊單元中的預(yù)測模式的編碼數(shù)據(jù)的管理費用(overhead)等增加，導(dǎo)致編碼效率降低。
為解決這些問題，在利用MPEG2中的雙主預(yù)測的宏塊中，采用過去兩個場的參考圖像的僅利用在時間上靠近將被編碼的圖像的參考場的簡單預(yù)測，并且在H.264中進(jìn)行重新編碼，由此使得重復(fù)使用運動向量信息在H.264的P片中對MPEG2 P圖像的所有宏塊進(jìn)行重新編碼成為可能。因此，在重新編碼時間上的延遲問題和預(yù)測結(jié)構(gòu)的可復(fù)用性問題均可得到解決，亦可抑制在H.264重新編碼時間上的計算成本的增加，而且，還可能阻止重新編碼中編碼效率的降低。
接下來，將討論圖15中視頻編碼視頻序列變換裝置在宏塊單元中的操作。
從第一視頻編碼視頻序列500的宏塊單元的編碼參數(shù)集提取量化標(biāo)度值和宏塊單元(502的中段)的代碼量，并將其輸入到速率控制部分523，在H.264重新編碼中的宏塊單元中的產(chǎn)生的代碼量也被反饋到速率控制部分523并被用于控制在H.264重新編碼時的代碼量。
為了控制在重新編碼時的代碼量，并非必須輸入第一視頻編碼視頻序列500中的編碼信息；然而，利用MPEG2編碼數(shù)據(jù)中的信息，可以使得預(yù)先記住宏塊單元中的編碼特性以及以較小的圖像質(zhì)量劣化實現(xiàn)有效的速率控制成為可能。
運動向量的信息，如MPEG2標(biāo)準(zhǔn)中定義的運動補償模式(幀預(yù)測、場預(yù)測、雙主預(yù)測，等等)、DCT類型(幀DTC或場DTC)，等等，被從第一視頻編碼視頻序列500的宏塊單元的編碼參數(shù)集中提取出來并被輸入到編碼參數(shù)變換部分520。如果編碼參數(shù)直接兼容于H.264，可以在重新編碼時對其完整地重復(fù)使用。
例如，如果在MPEG2中編碼為逐行序列，在H.264中的運動補償塊尺寸就被設(shè)置為16×16像素，由此MPEG2運動向量即可被完整地使用。
如果在MPEG2中編碼為場圖像，運動向量可完整地以MPEG2中的16×16場預(yù)測模式用作H.264中的16×16預(yù)測，同樣可完整地以MPEG2中的16×8場預(yù)測模式用作H.264中的16×8圖像間預(yù)測。
對于MPEG2中的雙主預(yù)測，為了重新編碼為上述的H.264中的B片，運動向量可被完整地重復(fù)使用；為了重新編碼為H.264中的P片，僅采用來自靠近將被編碼的圖片的參考場的簡單預(yù)測，由此使得重復(fù)使用運動向量成為可能。
如果MPEG2編碼參數(shù)與H.264在MB-AFF對類型等中并不直接兼容，如在第一或第二實施例中所述，編碼參數(shù)變換部分520對MPEG2編碼參數(shù)進(jìn)行適當(dāng)?shù)刈儞Q，進(jìn)一步，在幀/場設(shè)置部分521中設(shè)置在H.264重新編碼時的宏塊對單元的編碼結(jié)構(gòu)為幀結(jié)構(gòu)或是場結(jié)構(gòu)，以用于在H.264重新編碼中的重復(fù)使用。
更具體地，MPEG2中的I圖像被再編碼為H.264中僅由I片組成的圖像，并且如果幀DTC和場DCT在MPEG2的I圖像中混合存在，則重新編碼為MB-AFF幀。
如果與H.264宏塊對相對應(yīng)的MPEG2宏塊集被編碼為相同的DTC類型，則根據(jù)該類型確定宏塊對類型(幀對或場對)。如果幀DTC和場DCT混和，宏塊對類型被確定為幀對。
根據(jù)已確定的宏塊對類型，幀內(nèi)預(yù)測編碼部分525為每個宏塊從幀內(nèi)預(yù)測模式(幀內(nèi)4×4預(yù)測(最多9個模式)、幀內(nèi)8×8預(yù)測(最多9個模式)、幀內(nèi)16×16預(yù)測(最多4個模式))中選出最佳預(yù)測模式集并進(jìn)行重新編碼。
所述最佳預(yù)測模式可由利用預(yù)測誤差信號的絕對差的總和的估計值的確定來確定，或者由基于速率失真優(yōu)化技術(shù)的模式確定來確定，所述速率失真優(yōu)化技術(shù)利用了每個模式中的生成的代碼量或其估計值以及編碼失真或其估計值。
僅從前述MPEG2編碼信息預(yù)先確定MB-AFF對類型，由此，不再需要在H.264重新編碼中再次確定最佳對類型的處理，這也使得顯著減小重新編碼時的計算成本(計算量或硬件成本)成為可能。
對于MPEG2中的P圖像或B圖像，對于使用了圖像間預(yù)測編碼的宏塊而言，運動向量再搜索部分524按照需要在以從MPEG2編碼數(shù)據(jù)中提取并按照需要被適當(dāng)?shù)刈儞Q的運動向量為中心的小范圍內(nèi)再次搜索運動向量。
在MPEG2中，通常采用具有1/2象素精度的運動向量；在H.264中，通常采用具有1/4精度的運動向量。因此，在本實施例中，運動向量再搜索部分所再次搜索的運動向量至少在搜索中心±0.25的鄰近范圍內(nèi)。
為了提高重新編碼時的編碼效率，具有1/2像素精度的搜索中心被取到整數(shù)像素位置，并且搜索在搜索中心±1.75的鄰近范圍內(nèi)進(jìn)行，由此可能確定更合適的運動向量。
由于用于MPEG2中的小數(shù)像素位置預(yù)測的補償濾波器與小數(shù)像素補償濾波器在特性上不同，從MPEG2中具有1/2像素精度的運動向量得到的搜索中心并不必然是最佳位置。被取為整數(shù)像素位置的運動向量搜索中心相對于具有整數(shù)精度的運動向量的最佳值有±1個像素的誤差，并且進(jìn)一步，補償濾波器的效應(yīng)在±0.75像素的范圍內(nèi)波動，并且因此，搜索在距離被取為整數(shù)像素位置的搜索中心±1.75像素的范圍內(nèi)進(jìn)行，由此可能找到合適的運動向量。因此，可能在±1.75像素的小區(qū)域的重新搜索中檢測出用于能夠給出高編碼效率的H.264重新編碼的運動向量，并且也可能同時減小重新編碼的成本以及提高編碼效率。
進(jìn)一步，提供了運動向量重新搜索的結(jié)果，并且?guī)瑑?nèi)預(yù)測編碼部分525為每個宏塊從幀內(nèi)預(yù)測模式(幀內(nèi)4×4預(yù)測(最多9個模式)、幀內(nèi)8×8預(yù)測(最多9個模式)、幀內(nèi)16×16預(yù)測(最多4個模式))中選出最佳預(yù)測模式集；并且跳躍/直接編碼部分526進(jìn)行H.264圖像間預(yù)測模式中的預(yù)測編碼，即P片中的H.264 P_Skip(P跳躍)模式或B片中的H.264直接模式，從而無需對任何運動向量進(jìn)行編碼便可提供高編碼效率。從其中，宏塊編碼模式確定部分512為每個宏塊選擇能夠提供最高編碼效率的編碼模式。
對于MPEG2中P圖像或B圖像中的幀內(nèi)編碼宏塊，圖像間預(yù)測部分527利用H.264規(guī)定的運動向量預(yù)測編碼中的預(yù)測向量或者以預(yù)測向量為搜索中心進(jìn)行重新搜索找到的運動向量來進(jìn)行預(yù)測編碼。其輸出被用作為圖像間編碼模式候選。
根據(jù)已述的結(jié)構(gòu)，可以從提供高編碼效率具有大量預(yù)測模式的H.264幀內(nèi)編碼、提供高編碼效率的圖像間預(yù)測的P_Skip或直接預(yù)測，以及運動向量重新搜索的結(jié)果中選擇所述最佳模式，該結(jié)果是在適當(dāng)范圍內(nèi)利用MPEG2運動向量而無論宏塊編碼模式是MPEG2中P圖像或B圖像的幀內(nèi)編碼還是圖像間預(yù)測編碼而得到的，由此，在抑制計算成本的同時能夠顯著提高重新編碼時的編碼效率。
為了減小編碼模式確定的處理成本，當(dāng)從H.264幀內(nèi)預(yù)測模式中或在運動向量重新搜索時選擇最佳模式時，根據(jù)諸如預(yù)測殘留信號的絕對差的總和等的具有小計算量的估計值來進(jìn)行模式確定，并且在最后階段的宏塊層次的模式確定時，根據(jù)基于生成的代碼量和編碼失真的速率失真優(yōu)化成本的估計值或基于估計的生成的代碼量和估計的編碼失真的編碼成本來進(jìn)行高度精確的模式確定，由此，可能在抑制計算量增加的同時選擇更優(yōu)的編碼模式并提高編碼效率。
最后，H.264 CABAC(基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼)編碼部分528利用選擇的編碼模式生成H.264比特流。
也可利用例如通用計算機作為基本硬件來實現(xiàn)視頻編碼視頻序列變換裝置。
即，解碼部分、編碼參數(shù)變換部分、編碼參數(shù)選擇部分和編碼部分可以作為安裝在計算機中以執(zhí)行程序的處理器來實現(xiàn)。此時，視頻編碼視頻序列變換裝置可被實現(xiàn)為預(yù)先安裝在計算機中的程序，或者被實現(xiàn)為存儲在諸如CD-ROM的存儲介質(zhì)上或通過網(wǎng)絡(luò)分發(fā)以及在必要時可安裝在計算機中的程序。解碼部分、編碼參數(shù)變換部分、編碼參數(shù)選擇部分和編碼部分可利用存儲器、硬盤或諸如CD-R、CD-RW、DVD-RAM或DVD-R的安裝在計算機內(nèi)部或外部的任何其它存儲介質(zhì)來適當(dāng)?shù)貙崿F(xiàn)。
可以理解的是本發(fā)明并不限于上述的具體實施例，在不背離本發(fā)明的精神和范圍的情況下，亦可通過組成部分的變型來實施本發(fā)明。根據(jù)公開于上述實施例中的組成部分的適當(dāng)組合，本發(fā)明可被實施為不同的形式。例如，某些組成部分可從實施例中所示的所有組成部分中刪除。此外，不同實施例中的組成部分可適當(dāng)?shù)亟M合使用。
依據(jù)本發(fā)明第一方面的視頻編碼視頻序列變換方法可表述為具有任何如下結(jié)構(gòu)或特征的那些方法(1)一種編碼視頻序列變換裝置，其用于將通過在宏塊單元中對隔行掃描的視頻信號進(jìn)行壓縮編碼而提供的第一比特流變換為基于在所述宏塊單元中受到壓縮編碼的編碼方式的第二比特流，所述編碼視頻序列變換裝置包括解碼部分，其對第一代碼串進(jìn)行解碼以提供解碼圖像和第一編碼參數(shù)集；編碼參數(shù)集變換部分，其對于與在所述解碼圖像的垂直方向上彼此相鄰的所述第二比特流相關(guān)的宏塊的每一對，將相應(yīng)宏塊的每一個的所述第一編碼參數(shù)集進(jìn)行變換以找到變換編碼參數(shù)集，所述宏塊涉及相應(yīng)于所述解碼圖像上各對的所述第一比特流；編碼參數(shù)集選擇部分，其選擇相對于所述對找到的所述變換編碼參數(shù)集作為所述對的所述宏塊的每一個的第二編碼參數(shù)集；以及編碼部分，其利用由所述編碼參數(shù)集選擇部分選擇的所述第二編碼參數(shù)集進(jìn)行對所述解碼圖像的壓縮編碼以產(chǎn)生所述第二比特流。
(2)根據(jù)(1)所述的編碼視頻序列變換裝置，進(jìn)一步包括編碼參數(shù)集生成部分，其利用所述解碼圖像或所述已產(chǎn)生的第二比特流生成編碼參數(shù)候選集，其中，所述編碼參數(shù)集選擇部分從所述編碼參數(shù)候選集和所述變換編碼參數(shù)集中選擇所述對的所述宏塊的每一個的所述第二編碼參數(shù)集。
(3)根據(jù)(1)所述的編碼視頻序列變換裝置，其中，所述第一編碼參數(shù)集包括以下至少之一編碼結(jié)構(gòu)信息，其指示所述宏塊的編碼結(jié)構(gòu)為場結(jié)構(gòu)和幀結(jié)構(gòu)中的哪一個；預(yù)測類型信息，其指示所述宏塊的預(yù)測類型；以及DCT類型信息，其指示所述宏塊的DCT類型，其中，所述第二編碼參數(shù)集和所述變換編碼參數(shù)集包含指示所述宏塊的所述DCT類型的DCT類型信息，以及其中，所述編碼參數(shù)集變換部分基于以下至少之一設(shè)置所述變換編碼參數(shù)集的所述編碼結(jié)構(gòu)信息所述相應(yīng)宏塊的編碼結(jié)構(gòu)信息；所述相應(yīng)宏塊的預(yù)測類型信息；以及所述相應(yīng)宏塊的DCT類型信息。
(4)根據(jù)(3)所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分包括提取部分，其提取對應(yīng)于各所述對的每個所述相應(yīng)宏塊的所述第一編碼參數(shù)集的所述編碼結(jié)構(gòu)信息；比較部分，關(guān)于由所述提取部分提取的各所述對的所述編碼結(jié)構(gòu)信息，比較具有指示場結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目與具有指示幀結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目；以及設(shè)置部分，當(dāng)所述比較部分的比較結(jié)果為所述數(shù)目相等時，在所述對的每個宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述場結(jié)構(gòu)的值；當(dāng)具有指示場結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目大于具有指示幀結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目時，在所述對的每個宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述場結(jié)構(gòu)的值；以及，當(dāng)具有指示幀結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目大于具有指示場結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目時，在所述對的每個宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述幀結(jié)構(gòu)的值。
(5)根據(jù)(3)所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分包括提取部分，其提取對應(yīng)于各所述對的每個所述相應(yīng)宏塊的所述第一編碼參數(shù)集的所述編碼結(jié)構(gòu)信息；確定部分，關(guān)于由所述提取部分提取的各所述對的所述編碼結(jié)構(gòu)信息，確定是否存在具有指示場結(jié)構(gòu)的值的所述相應(yīng)宏塊；以及設(shè)置部分，當(dāng)具有指示所述場結(jié)構(gòu)的值的所述相應(yīng)宏塊存在時，在所述對的每個所述相應(yīng)宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述場結(jié)構(gòu)的值；當(dāng)所有所述相應(yīng)宏塊均具有指示所述幀結(jié)構(gòu)的值時，在所述對的每個所述宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述幀結(jié)構(gòu)的值。
(6)根據(jù)(3)所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分包括提取部分，其提取對應(yīng)于各所述對的每個所述相應(yīng)宏塊的所述第一編碼參數(shù)集的所述編碼結(jié)構(gòu)信息；估計值計算部分，其根據(jù)所述第一編碼參數(shù)集的所述編碼結(jié)構(gòu)信息的值對對應(yīng)于各所述對的所述相應(yīng)宏塊進(jìn)行分類，并且利用屬于所述分類的所述相應(yīng)宏塊的所述第一編碼參數(shù)集找到各分類的估計值；以及設(shè)置部分，其響應(yīng)于所述估計值，設(shè)置各所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息。
(7)根據(jù)(6)所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分進(jìn)一步包括比較部分，關(guān)于由所述提取部分提取的各所述對的所述編碼結(jié)構(gòu)信息，比較具有指示場結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目和具有指示幀結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目，其中，所述編碼參數(shù)集變換部分的所述設(shè)置部分，在所述比較部分的比較結(jié)果為所述數(shù)目相等時，在所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述場結(jié)構(gòu)的值；在所述數(shù)目不同時，在所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示更高估計值的所述宏塊的所述編碼結(jié)構(gòu)的值。
(8)根據(jù)(6)所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分中的所述估計值計算部分進(jìn)行計算具有所述場結(jié)構(gòu)和所述幀結(jié)構(gòu)并且對應(yīng)于所述第二視頻編碼視頻序列的所述宏塊的相應(yīng)面積；以及依照所述計算的相應(yīng)面積計算具有所述場結(jié)構(gòu)和所述幀結(jié)構(gòu)的每個所述宏塊的估計值。
(9)根據(jù)(6)所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分的所述設(shè)置部分，當(dāng)具有場結(jié)構(gòu)的所述相應(yīng)宏塊的所述估計值不小于具有幀結(jié)構(gòu)的所述相應(yīng)宏塊的所述估計值時，在所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述場結(jié)構(gòu)的值；否則，在所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述幀結(jié)構(gòu)的值。
(10)根據(jù)(6)所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分的所述設(shè)置部分，當(dāng)通過利用預(yù)定的加權(quán)因子對具有場結(jié)構(gòu)的所述相應(yīng)宏塊的所述估計值進(jìn)行調(diào)整而得到的值不小于具有幀結(jié)構(gòu)的所述相應(yīng)宏塊的所述估計值時，在各所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述場結(jié)構(gòu)的值；否則，在所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述幀結(jié)構(gòu)的值。
(11)根據(jù)(10)所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分的所述設(shè)置部分唯一地調(diào)整所述加權(quán)值，或者依照包含在將被變換的所述第一比特流中的編碼信息和已變換的比特流的編碼信息自適應(yīng)地調(diào)整所述加權(quán)值。
(12)根據(jù)(1)所述的編碼視頻序列變換裝置，其中，所述第一編碼參數(shù)集、所述第二編碼參數(shù)集和所述變換編碼參數(shù)集包含指示所述宏塊的編碼結(jié)構(gòu)為場結(jié)構(gòu)和幀結(jié)構(gòu)中的哪一個的編碼結(jié)構(gòu)信息，其中，所述編碼參數(shù)集變換部分包括編碼結(jié)構(gòu)信息比較部分，其比較所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息和每個所述相應(yīng)宏塊的所述編碼結(jié)構(gòu)信息；以及編碼結(jié)構(gòu)信息變換部分，對相對于所述對所述編碼結(jié)構(gòu)信息不同的所述相應(yīng)宏塊中包含的所述第一編碼參數(shù)集進(jìn)行變換，使之與所述對的各所述宏塊的所述編碼結(jié)構(gòu)一致。
(13)根據(jù)(12)所述的編碼視頻序列變換裝置，其中，所述編碼結(jié)構(gòu)信息變換部分執(zhí)行變換以對相對于所述對所述編碼結(jié)構(gòu)信息不同的所述相應(yīng)宏塊中包含的運動向量進(jìn)行縮放，使之在時間軸上一致。
(14)根據(jù)(2)所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集生成部分生成的所述編碼參數(shù)候選集包括關(guān)于幀間編碼的信息；關(guān)于宏塊跳躍的信息；以及關(guān)于直接預(yù)測編碼的信息。
(15)根據(jù)(2)所述的編碼視頻序列變換裝置，其中，所述第一編碼參數(shù)集包括在所述第一比特流中指示每個所述相應(yīng)宏塊被幀間編碼或被幀內(nèi)編碼的預(yù)測類型信息，其中，所述編碼參數(shù)集生成部分包括計算單元，關(guān)于所述相應(yīng)宏塊的幀內(nèi)編碼的宏塊，在所述第二比特流的所述宏塊周圍，從已受到壓縮編碼的所述第二比特流的所述宏塊的運動向量信息計算運動向量預(yù)測值；以及設(shè)置單元，其將關(guān)于所述相應(yīng)宏塊的所述幀內(nèi)編碼的宏塊的所述計算的運動向量預(yù)測值設(shè)置為所述宏塊的編碼參數(shù)候選。
(16)根據(jù)(2)所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集選擇部分基于利用所述編碼參數(shù)候選集和所述變換編碼參數(shù)集生成的預(yù)測誤差信號的絕對差的總和來選擇編碼參數(shù)集。
(17)根據(jù)(2)所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集選擇部分基于當(dāng)利用所述編碼參數(shù)候選集和所述變換編碼參數(shù)集進(jìn)行壓縮編碼時的速率失真特性來選擇編碼參數(shù)集。
(18)根據(jù)(2)所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集選擇部分基于當(dāng)利用所述編碼參數(shù)候選集和所述變換編碼參數(shù)集進(jìn)行壓縮編碼時的生成的代碼量來選擇編碼參數(shù)集。
(19)根據(jù)(1)所述的編碼視頻序列變換裝置進(jìn)一步包括分辨率變換部分，其對包含在所述第一比特流中的圖像的分辨率進(jìn)行變換。
(20)一種編碼視頻序列變換方法，用于將通過在宏塊單元中對隔行掃描的視頻信號進(jìn)行壓縮編碼而提供的第一比特流變換到基于在所述宏塊單元中受到壓縮編碼的編碼方式的第二比特流，所述方法包括解碼步驟，對第一代碼串進(jìn)行解碼以提供解碼圖像和第一編碼參數(shù)集；編碼參數(shù)集變換步驟，對于在所述解碼圖像垂直方向上彼此相鄰的所述第二比特流的宏塊的對，對與所述解碼圖像上的所述對相對應(yīng)的所述第一比特流的相應(yīng)宏塊的每一個的所述第一編碼參數(shù)集進(jìn)行變換以找到變換編碼參數(shù)集；編碼參數(shù)集選擇步驟，選擇相對于所述對找到的所述變換編碼參數(shù)集作為所述對的所述宏塊的每一個的第二編碼參數(shù)集；以及編碼步驟，利用在所述編碼參數(shù)集選擇步驟選擇的所述第二編碼參數(shù)集進(jìn)行對所述解碼圖像的壓縮編碼以產(chǎn)生所述第二比特流。
(21)根據(jù)(20)所述的編碼視頻序列變換方法，進(jìn)一步包括編碼參數(shù)集生成步驟，利用所述解碼圖像和所述已生成的第二比特流生成編碼參數(shù)候選集，其中，在所述編碼參數(shù)集選擇步驟，從所述編碼參數(shù)候選集和所述變換編碼參數(shù)集中選擇所述對的所述宏塊的每一個的所述第二編碼參數(shù)集。
正如上面參照實施例所描述的，根據(jù)本發(fā)明，基于第一視頻編碼視頻序列中的相應(yīng)宏塊的編碼參數(shù)集將編碼參數(shù)完整地設(shè)置為第二視頻編碼視頻序列中的宏塊對的集，由此，可以在滿足宏塊對中的編碼參數(shù)上的限制條件的同時，有效地重復(fù)使用編碼參數(shù)，并且也可以提高編碼效率和抑制圖像質(zhì)量劣化。
為了說明和描述的需要，前面已進(jìn)行了對實施例的敘述。但其并不意味著已將本發(fā)明表述無遺，也不表示本發(fā)明限于已公開的確切形式，并且根據(jù)上述技術(shù)內(nèi)容能夠得到修改和變型，這種修改和變型亦可由本發(fā)明的實踐獲得。前面已選擇和描述了實施例，其目的是為了解釋本發(fā)明的原理和實際應(yīng)用程序，以使本領(lǐng)于技術(shù)人員能在不同的實施例中運用本發(fā)明，并可以進(jìn)行適合預(yù)期的特定應(yīng)用的各種修改。需要明確的是，本發(fā)明的范圍由所附權(quán)利要求及其等效內(nèi)容所定義。
權(quán)利要求
1.一種編碼視頻序列變換裝置，其用于將通過在宏塊單元中對隔行掃描的視頻信號進(jìn)行壓縮編碼而提供的第一比特流變換為基于在所述宏塊單元中受到壓縮編碼的編碼方式的第二比特流，所述編碼視頻序列變換裝置包括解碼部分，其對第一代碼串進(jìn)行解碼以提供解碼圖像和第一編碼參數(shù)集；編碼參數(shù)集變換部分，其對于與在所述解碼圖像的垂直方向上彼此相鄰的所述第二比特流相關(guān)的宏塊的每一對，將相應(yīng)宏塊的每一個的所述第一編碼參數(shù)集進(jìn)行變換以找到變換編碼參數(shù)集，所述宏塊涉及相應(yīng)于所述解碼圖像上各對的所述第一比特流；編碼參數(shù)集選擇部分，其選擇相對于所述對找到的所述變換編碼參數(shù)集作為所述對的所述宏塊的每一個的第二編碼參數(shù)集；以及編碼部分，其利用由所述編碼參數(shù)集選擇部分選擇的所述第二編碼參數(shù)集進(jìn)行對所述解碼圖像的壓縮編碼以產(chǎn)生所述第二比特流。
2.根據(jù)權(quán)利要求1所述的編碼視頻序列變換裝置，進(jìn)一步包括編碼參數(shù)集生成部分，其利用所述解碼圖像或所述已產(chǎn)生的第二比特流生成編碼參數(shù)候選集，其中，所述編碼參數(shù)集選擇部分從所述編碼參數(shù)候選集和所述變換編碼參數(shù)集中選擇所述對的所述宏塊的每一個的所述第二編碼參數(shù)集。
3.根據(jù)權(quán)利要求1所述的編碼視頻序列變換裝置，其中，所述第一編碼參數(shù)集包括以下至少之一編碼結(jié)構(gòu)信息，其指示所述宏塊的編碼結(jié)構(gòu)為場結(jié)構(gòu)和幀結(jié)構(gòu)中的哪一個；預(yù)測類型信息，其指示所述宏塊的預(yù)測類型；以及DCT類型信息，其指示所述宏塊的DCT類型，其中，所述第二編碼參數(shù)集和所述變換編碼參數(shù)集包含指示所述宏塊的所述DCT類型的DCT類型信息，以及其中，所述編碼參數(shù)集變換部分基于以下至少之一設(shè)置所述變換編碼參數(shù)集的所述編碼結(jié)構(gòu)信息所述相應(yīng)宏塊的編碼結(jié)構(gòu)信息；所述相應(yīng)宏塊的預(yù)測類型信息；以及所述相應(yīng)宏塊的DCT類型信息。
4.根據(jù)權(quán)利要求3所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分包括提取部分，其提取對應(yīng)于各所述對的每個所述相應(yīng)宏塊的所述第一編碼參數(shù)集的所述編碼結(jié)構(gòu)信息；比較部分，關(guān)于由所述提取部分提取的各所述對的所述編碼結(jié)構(gòu)信息，比較具有指示場結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目與具有指示幀結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目；以及設(shè)置部分，當(dāng)所述比較部分的比較結(jié)果為所述數(shù)目相等時，在所述對的每個宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述場結(jié)構(gòu)的值；當(dāng)具有指示場結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目大于具有指示幀結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目時，在所述對的每個宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述場結(jié)構(gòu)的值；以及，當(dāng)具有指示幀結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目大于具有指示場結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目時，在所述對的每個宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述幀結(jié)構(gòu)的值。
5.根據(jù)權(quán)利要求3所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分包括提取部分，其提取對應(yīng)于各所述對的每個所述相應(yīng)宏塊的所述第一編碼參數(shù)集的所述編碼結(jié)構(gòu)信息；確定部分，關(guān)于由所述提取部分提取的各所述對的所述編碼結(jié)構(gòu)信息，確定是否存在具有指示場結(jié)構(gòu)的值的所述相應(yīng)宏塊；以及設(shè)置部分，當(dāng)具有指示所述場結(jié)構(gòu)的值的所述相應(yīng)宏塊存在時，在所述對的每個所述相應(yīng)宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述場結(jié)構(gòu)的值；當(dāng)所有所述相應(yīng)宏塊均具有指示所述幀結(jié)構(gòu)的值時，在所述對的每個所述宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述幀結(jié)構(gòu)的值。
6.根據(jù)權(quán)利要求3所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分包括提取部分，其提取對應(yīng)于各所述對的每個所述相應(yīng)宏塊的所述第一編碼參數(shù)集的所述編碼結(jié)構(gòu)信息；估計值計算部分，其根據(jù)所述第一編碼參數(shù)集的所述編碼結(jié)構(gòu)信息的值對對應(yīng)于各所述對的所述相應(yīng)宏塊進(jìn)行分類，并且利用屬于所述分類的所述相應(yīng)宏塊的所述第一編碼參數(shù)集找到各分類的估計值；以及設(shè)置部分，其響應(yīng)于所述估計值，設(shè)置各所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息。
7.根據(jù)權(quán)利要求6所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分進(jìn)一步包括比較部分，關(guān)于由所述提取部分提取的各所述對的所述編碼結(jié)構(gòu)信息，比較具有指示場結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目和具有指示幀結(jié)構(gòu)的值的所述相應(yīng)宏塊的數(shù)目，其中，所述編碼參數(shù)集變換部分的所述設(shè)置部分，在所述比較部分的比較結(jié)果為所述數(shù)目相等時，在所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述場結(jié)構(gòu)的值；在所述數(shù)目不同時，在所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示更高估計值的所述宏塊的所述編碼結(jié)構(gòu)的值。
8.根據(jù)權(quán)利要求6所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分中的所述估計值計算部分進(jìn)行計算具有所述場結(jié)構(gòu)和所述幀結(jié)構(gòu)并且對應(yīng)于所述第二視頻編碼視頻序列的所述宏塊的相應(yīng)面積；以及依照所述計算的相應(yīng)面積計算具有所述場結(jié)構(gòu)和所述幀結(jié)構(gòu)的每個所述宏塊的估計值。
9.根據(jù)權(quán)利要求6所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分的所述設(shè)置部分，當(dāng)具有場結(jié)構(gòu)的所述相應(yīng)宏塊的所述估計值不小于具有幀結(jié)構(gòu)的所述相應(yīng)宏塊的所述估計值時，在所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述場結(jié)構(gòu)的值；否則，在所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述幀結(jié)構(gòu)的值。
10.根據(jù)權(quán)利要求6所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分的所述設(shè)置部分，當(dāng)通過利用預(yù)定的加權(quán)因子對具有場結(jié)構(gòu)的所述相應(yīng)宏塊的所述估計值進(jìn)行調(diào)整而得到的值不小于具有幀結(jié)構(gòu)的所述相應(yīng)宏塊的所述估計值時，在各所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述場結(jié)構(gòu)的值；否則，在所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息中設(shè)置指示所述幀結(jié)構(gòu)的值。
11.根據(jù)權(quán)利要求10所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集變換部分的所述設(shè)置部分唯一地調(diào)整所述加權(quán)值，或者依照包含在將被變換的所述第一比特流中的編碼信息和已變換的比特流的編碼信息自適應(yīng)地調(diào)整所述加權(quán)值。
12.根據(jù)權(quán)利要求1所述的編碼視頻序列變換裝置，其中，所述第一編碼參數(shù)集、所述第二編碼參數(shù)集和所述變換編碼參數(shù)集包含指示所述宏塊的編碼結(jié)構(gòu)為場結(jié)構(gòu)和幀結(jié)構(gòu)中的哪一個的編碼結(jié)構(gòu)信息，其中，所述編碼參數(shù)集變換部分包括編碼結(jié)構(gòu)信息比較部分，其比較所述對的各所述宏塊的所述編碼結(jié)構(gòu)信息和每個所述相應(yīng)宏塊的所述編碼結(jié)構(gòu)信息；以及編碼結(jié)構(gòu)信息變換部分，對相對于所述對所述編碼結(jié)構(gòu)信息不同的所述相應(yīng)宏塊中包含的所述第一編碼參數(shù)集進(jìn)行變換，使之與所述對的各所述宏塊的所述編碼結(jié)構(gòu)一致。
13.根據(jù)權(quán)利要求12所述的編碼視頻序列變換裝置，其中，所述編碼結(jié)構(gòu)信息變換部分執(zhí)行變換以對相對于所述對所述編碼結(jié)構(gòu)信息不同的所述相應(yīng)宏塊中包含的運動向量進(jìn)行縮放，使之在時間軸上一致。
14.根據(jù)權(quán)利要求2所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集生成部分生成的所述編碼參數(shù)候選集包括關(guān)于幀間編碼的信息；關(guān)于宏塊跳躍的信息；以及關(guān)于直接預(yù)測編碼的信息。
15.根據(jù)權(quán)利要求2所述的編碼視頻序列變換裝置，其中，所述第一編碼參數(shù)集包括在所述第一比特流中指示每個所述相應(yīng)宏塊被幀間編碼或被幀內(nèi)編碼的預(yù)測類型信息，其中，所述編碼參數(shù)集生成部分包括計算單元，關(guān)于所述相應(yīng)宏塊的幀內(nèi)編碼的宏塊，在所述第二比特流的所述宏塊周圍，從已受到壓縮編碼的所述第二比特流的所述宏塊的運動向量信息計算運動向量預(yù)測值；以及設(shè)置單元，其將關(guān)于所述相應(yīng)宏塊的所述幀內(nèi)編碼的宏塊的所述計算的運動向量預(yù)測值設(shè)置為所述宏塊的編碼參數(shù)候選。
16.根據(jù)權(quán)利要求2所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集選擇部分基于利用所述編碼參數(shù)候選集和所述變換編碼參數(shù)集生成的預(yù)測誤差信號的絕對差的總和來選擇編碼參數(shù)集。
17.根據(jù)權(quán)利要求2所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集選擇部分基于當(dāng)利用所述編碼參數(shù)候選集和所述變換編碼參數(shù)集進(jìn)行壓縮編碼時的速率失真特性來選擇編碼參數(shù)集。
18.根據(jù)權(quán)利要求2所述的編碼視頻序列變換裝置，其中，所述編碼參數(shù)集選擇部分基于當(dāng)利用所述編碼參數(shù)候選集和所述變換編碼參數(shù)集進(jìn)行壓縮編碼時的生成的代碼量來選擇編碼參數(shù)集。
19.根據(jù)權(quán)利要求1所述的編碼視頻序列變換裝置進(jìn)一步包括分辨率變換部分，其對包含在所述第一比特流中的圖像的分辨率進(jìn)行變換。
20.一種編碼視頻序列變換方法，用于將通過在宏塊單元中對隔行掃描的視頻信號進(jìn)行壓縮編碼而提供的第一比特流變換到基于在所述宏塊單元中受到壓縮編碼的編碼方式的第二比特流，所述方法包括解碼步驟，對第一代碼串進(jìn)行解碼以提供解碼圖像和第一編碼參數(shù)集；編碼參數(shù)集變換步驟，對于在所述解碼圖像垂直方向上彼此相鄰的所述第二比特流的宏塊的對，對與所述解碼圖像上的所述對相對應(yīng)的所述第一比特流的相應(yīng)宏塊的每一個的所述第一編碼參數(shù)集進(jìn)行變換以找到變換編碼參數(shù)集；編碼參數(shù)集選擇步驟，選擇相對于所述對找到的所述變換編碼參數(shù)集作為所述對的所述宏塊的每一個的第二編碼參數(shù)集；以及編碼步驟，利用在所述編碼參數(shù)集選擇步驟選擇的所述第二編碼參數(shù)集進(jìn)行對所述解碼圖像的壓縮編碼以產(chǎn)生所述第二比特流。
21.根據(jù)權(quán)利要求20所述的編碼視頻序列變換方法，進(jìn)一步包括編碼參數(shù)集生成步驟，利用所述解碼圖像和所述已生成的第二比特流生成編碼參數(shù)候選集，其中，在所述編碼參數(shù)集選擇步驟，從所述編碼參數(shù)候選集和所述變換編碼參數(shù)集中選擇所述對的所述宏塊的每一個的所述第二編碼參數(shù)集。
全文摘要
解碼部分從第一視頻編碼視頻序列產(chǎn)生解碼圖像和編碼參數(shù)集。編碼參數(shù)集變換部分首先基于相應(yīng)宏塊的編碼結(jié)構(gòu)為上宏塊和下宏塊的對設(shè)置編碼結(jié)構(gòu)，并且基于所述編碼結(jié)構(gòu)變換諸如運動向量的剩余參數(shù)。編碼參數(shù)集生成部分生成幀內(nèi)編碼參數(shù)等的編碼參數(shù)，編碼參數(shù)集選擇部分選出最佳參數(shù)集，以及編碼部分進(jìn)行重新編碼處理。
文檔編號H04N7/32GK1801945SQ20061000051
公開日2006年7月12日 申請日期2006年1月9日 優(yōu)先權(quán)日2005年1月7日
發(fā)明者巖田達(dá)明, 古藤晉一郎, 淺野涉, 兒玉知也 申請人:株式會社東芝