專利名稱：用于視頻編碼優(yōu)化的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于視頻編碼優(yōu)化的方法和設(shè)備。有利的是，本發(fā)明允許視頻編碼器在給定的特定比特率下，以大大提高的主觀和客觀質(zhì)量來壓縮視頻序列。這是通過對(duì)與仍待編碼的N個(gè)隨后圖像相比的當(dāng)前圖像執(zhí)行簡(jiǎn)單分析，通過視頻序列的非因果處理而得以實(shí)現(xiàn)的。然后，編碼器利用該分析結(jié)果，對(duì)將要用于當(dāng)前圖像的編碼的編碼參數(shù)(包括但不限于圖像/片類型、量化器、閾值處理參數(shù)、拉格朗日算子λ等)作出更好的決定。和對(duì)整個(gè)序列執(zhí)行兩遍或多遍編碼以獲得更好編碼性能的幾種現(xiàn)有技術(shù)系統(tǒng)不同，本發(fā)明較簡(jiǎn)單，從而對(duì)復(fù)雜性具有較小的影響。本發(fā)明的原理也可以和其它多遍編碼策略一起使用，以獲得更高的效率。以類似的方式，可以創(chuàng)建因果系統(tǒng)(使用M個(gè)先前已編碼的圖像)。
按照本發(fā)明的原理，首先只對(duì)整個(gè)序列的重疊圖像窗口子集進(jìn)行分析?；谒a(chǎn)生的統(tǒng)計(jì)特性，來適當(dāng)?shù)卣{(diào)節(jié)每個(gè)圖像的編碼參數(shù)。這些編碼參數(shù)可以包括但不限于圖像/片類型決策(I、P、B)、幀/場(chǎng)決策、B圖像距離、圖像或宏塊(MB)量化值(QP)、閾值處理系數(shù)、拉格朗日參數(shù)、色度偏移、加權(quán)預(yù)測(cè)、參考圖像選擇、多塊大小決策、熵參數(shù)初始化、幀內(nèi)模式?jīng)Q策、去塊濾波器參數(shù)等?？梢岳每赡苄枰煌瑥?fù)雜性代價(jià)的分析方法來執(zhí)行圖像/宏塊分析，包括完全第一遍編碼、具有空間分析的簡(jiǎn)單第一遍運(yùn)動(dòng)估計(jì)，乃至簡(jiǎn)單的時(shí)間與空間分析度量，包括但不限于方差、圖像差等。此外，重疊圖像窗口(及重疊圖像)可以根據(jù)需要變大或變小(變多或變少)，由此提供不同的延遲/性能折衷。
本說明書舉例說明本發(fā)明的原理。因而，應(yīng)該理解，本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)出雖然在此未明確描述或示出、但是能具體實(shí)施本發(fā)明原理且被包括在本發(fā)明精神和范圍內(nèi)的各種配置。
在此列舉的所有例子和條件語(yǔ)言都試圖用于教學(xué)，以幫助讀者理解本發(fā)明人所提出的、有助于促進(jìn)本技術(shù)領(lǐng)域發(fā)展的本發(fā)明的原理和概念，并且應(yīng)該被認(rèn)為不限于這些具體列舉的例子和條件。
而且，在此列舉本發(fā)明的原理、方面和實(shí)施例及本發(fā)明的特定例子的所有語(yǔ)句，都試圖包括本發(fā)明的結(jié)構(gòu)和功能等效物。另外，這種等效物試圖包括當(dāng)前已知的等效物以及將來開發(fā)的等效物，即與結(jié)構(gòu)無關(guān)的、執(zhí)行相同功能的任何被開發(fā)元件。
因而，例如本領(lǐng)域技術(shù)人員應(yīng)該理解，在此給出的框圖代表具體實(shí)施本發(fā)明原理的說明性電路的概念圖。類似應(yīng)該理解，任何流程表、流程圖、狀態(tài)轉(zhuǎn)移圖、偽碼等，都代表實(shí)質(zhì)上可以在計(jì)算機(jī)可讀介質(zhì)中表示、從而可通過計(jì)算機(jī)或處理器來執(zhí)行的各種過程，而不管這種計(jì)算機(jī)或處理器是否明確示出。
通過利用專用硬件以及能夠與適當(dāng)軟件關(guān)聯(lián)地執(zhí)行軟件的硬件，可以提供圖中所示的各種元件的功能。當(dāng)通過處理器來提供這些功能時(shí)，可以通過單個(gè)專用處理器、通過單個(gè)共享處理器、或通過其中一些可以被共享的多個(gè)單獨(dú)處理器，來提供這些功能。而且，術(shù)語(yǔ)“處理器”或“控制器”的顯式使用不應(yīng)被認(rèn)為專門指能夠執(zhí)行軟件的硬件，而是可以隱含地包括但不限于數(shù)字信號(hào)處理器(DSP)硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器(ROM)、隨機(jī)存儲(chǔ)器(RAM)和非易失性存儲(chǔ)器。
也可以包括其它常規(guī)和/或定制的硬件。類似地，圖中所示的任何開關(guān)都只是概念性的。如從上下文更具體地理解的，可以通過程序邏輯的操作、通過專用邏輯、通過程序控制和專用邏輯的交互、乃至手動(dòng)操作的可以由實(shí)施者選擇的特定技術(shù)來實(shí)現(xiàn)它們的功能。
在本發(fā)明權(quán)利要求中，被表示為用于執(zhí)行指定功能的裝置的任何元件都試圖包括執(zhí)行該功能的任何方式，例如包括a)執(zhí)行該功能的電路元件的組合；或b)任何形式的軟件，因而包括和用于執(zhí)行該軟件的適當(dāng)電路相結(jié)合以執(zhí)行該功能的固件、微碼等。如這些權(quán)利要求所定義的本發(fā)明在于，以權(quán)利要求所要求的方式來組合并集合由所列舉的各種裝置所提供的功能性。因而，申請(qǐng)人認(rèn)為能夠提供這些功能性的任何裝置都等效于在此所示出的那些裝置。
根據(jù)本發(fā)明的原理，公開了一種新的多遍編碼架構(gòu)，與在每一遍編碼期間都考慮整個(gè)視頻序列或獨(dú)立窗口的以前方法不同，該新的多遍編碼架構(gòu)對(duì)允許在相鄰窗口之間重新使用先前確定的特征的重疊窗口，執(zhí)行每遍編碼。雖然由于能夠利用少得多的步驟來實(shí)現(xiàn)最優(yōu)編碼，而得到更低的成本/復(fù)雜性、以及更小的存儲(chǔ)器需求/低等待時(shí)間，但是該架構(gòu)仍然能夠獲得多遍編碼的好處，如大大提高的視頻質(zhì)量?？紤]到由于相鄰窗口之間的相似性，編碼器有可能甚至在第一遍編碼期間就決定了最佳參數(shù)、從而不需要更多的迭代進(jìn)行最終編碼，所以該特征對(duì)于實(shí)時(shí)編碼應(yīng)用尤為重要。
轉(zhuǎn)到

圖1，一般用附圖標(biāo)記100來表示基于窗口的兩遍編碼架構(gòu)。處理/分析窗口的大小為Wp個(gè)圖像，而相鄰兩組之間允許的重疊大小為Wo個(gè)圖像。第一窗口的處理將提供某些初始統(tǒng)計(jì)特性，這些初始統(tǒng)計(jì)特性能夠用于為該窗口內(nèi)的所有幀確定一組初步編碼特征。更具體地說，如果使用兩遍方案，則可以基于所產(chǎn)生的參數(shù)，立即對(duì)也不屬于將來窗口的所有幀進(jìn)行編碼。然而，該信息能夠立即用于該將來窗口的處理/分析。例如，在該窗口的處理期間這些參數(shù)可用作初始種子，并且考慮到大多數(shù)序列中所存在的高度時(shí)間相關(guān)，這些參數(shù)能夠改進(jìn)分析。更重要的是，可以基于新產(chǎn)生的統(tǒng)計(jì)特性，對(duì)用于由于Wo的選擇而也屬于先前窗口的該窗口中的初始幀的編碼參數(shù)，進(jìn)行進(jìn)一步改進(jìn)/限制。例如在處理整個(gè)序列或M個(gè)相鄰窗口之后，如果使用較多迭代/遍，這基本上允許更快地收斂到最優(yōu)解。顯然，取決于編碼器的能力或需求，時(shí)間窗口可以盡可能的大或小，同時(shí)也可利用不同窗口大小(更大或更小的Wo和Wp)來執(zhí)行這種方案的迭代。
在我們的多遍方案的預(yù)分析步驟期間，可以使用多種不同的準(zhǔn)則。這種準(zhǔn)則可以取決于編碼器架構(gòu)的復(fù)雜性約束，并且可以考慮從簡(jiǎn)單的空間-時(shí)間方法(包括但不限于邊緣檢測(cè)、紋理分析度量以及絕對(duì)圖像差)到更復(fù)雜的策略(包括但不限于離散余弦變換(DCT)分析、第一遍幀內(nèi)編碼、運(yùn)動(dòng)估計(jì)/補(bǔ)償、乃至完全編碼)。也可以通過增加或減少分析和/或重疊窗口，來調(diào)節(jié)等待時(shí)間。
作為這種系統(tǒng)的例子，在該分析期間可以計(jì)算以下準(zhǔn)則 對(duì)于窗口Wp內(nèi)的每個(gè)圖像k，進(jìn)行以下計(jì)算 (i)對(duì)于位置(i，j)處的每個(gè)宏塊，如下計(jì)算均值MBmean(k，i，j) (ii)如下計(jì)算均方值MBsqmean(k，i，j) (iii)如下計(jì)算方差值MBvariance(k，i，j) MBvariance(k，i，j)＝MBsqmean(k，i，j)-(MBmean(k，i，j)2 (iv)對(duì)于整個(gè)圖像，如下計(jì)算平均宏塊均值A(chǔ)MMk (v)如下計(jì)算平均宏塊方差A(yù)MVk (vi)如下計(jì)算圖像方差PVk 其中c[x，y]對(duì)應(yīng)于位置(x，y)的像素值，PMBW和PMBH分別是用宏塊表示的圖像寬度和高度，以及BW和BH是當(dāng)前圖像中每個(gè)宏塊的寬度和高度(通常為BW＝BH＝16)。
此外，也可以如下計(jì)算以下相對(duì)于圖像m(例如m＝k+1)的時(shí)間特征 (I)如下計(jì)算平均絕對(duì)圖像差MAPDk，m (II)如下計(jì)算平均絕對(duì)加權(quán)圖像差MAWPDk，m (III)如下計(jì)算平均絕對(duì)偏移圖像差MAWPDk，m (IV)如下計(jì)算均方圖像差MSPEk，m (V)如下計(jì)算圖像方差之絕對(duì)差A(yù)PVDk，m APVDk，m＝|PVk-PVm| 可以計(jì)算的其它空間-時(shí)間特征是直方圖的絕對(duì)差，絕對(duì)差的直方圖，k與M之間的χ2度量，使用任何(乃至多個(gè))邊緣算子(包括但不限于canny、sobel或prewitt邊緣算子)的k的邊緣，乃至用于檢測(cè)序列交錯(cuò)特性的基于場(chǎng)的度量。可能有用并且可以從以上推斷的另外兩種統(tǒng)計(jì)信息是，當(dāng)前圖像到最接近的過去(last_idistancek)及最接近的將來(next_idistancek)已編碼幀內(nèi)圖像的距離，如例如用圖像數(shù)、編碼順序或圖像順序計(jì)數(shù)(poc)所度量的。通過考慮場(chǎng)景變化/鏡頭檢測(cè)器(shotdetector)和/或默認(rèn)的圖像組(GOP)結(jié)構(gòu)，可以增強(qiáng)這些統(tǒng)計(jì)特性。可以利用原始或重構(gòu)圖像來計(jì)算時(shí)間特征(例如，如果本發(fā)明應(yīng)用于多遍編碼實(shí)施中)，同時(shí)這些度量的計(jì)算也可考慮運(yùn)動(dòng)估計(jì)/補(bǔ)償。
基于以上度量，編碼器可以決定修改與編碼過程相關(guān)的某些圖像、宏塊乃至子塊參數(shù)。這些包括諸如以下的參數(shù)量化值(QP)，死區(qū)/閾值處理系數(shù)，用于宏塊編碼以及幀與場(chǎng)間圖像級(jí)決策的拉格朗日值，去塊濾波器參數(shù)，編碼和參考圖像排序，場(chǎng)景/鏡頭(包括但不限于淡入淡出/溶解/擦除/閃爍等)檢測(cè)，GOP結(jié)構(gòu)等。
在本發(fā)明的一個(gè)說明性實(shí)施例中，當(dāng)對(duì)cur_slice_typek片類型的圖像k進(jìn)行編碼時(shí)，如下考慮以上參數(shù)以執(zhí)行圖像QP修改。在該實(shí)施例中，將distancek，k+1看作用圖像數(shù)表示的相鄰兩個(gè)圖像之間的距離 if (next_idistancek＞3 &amp;&amp; cur_slice_typek＝＝I_Slice){if (PVk＜1 &amp;&amp; MAPDk，k+1＜1 &amp;&amp; last_idistancek＞5*distancek，k+1)QPk＝QPk-4else if (MAPDk，k+1＜3 &amp;&amp; (k＝0 // last_idistancek＞5*distancek，k+1))QPk＝QPk-3else if (MAPDk，k+1＜10)QPk＝QPk-2else if (MAPDk，k+1＜15)QPk＝QPk-1}else if (AMVk＞10 &amp;&amp; AMVk＜60){if (PVk＜500 &amp;&amp; next_idistancek＞3*distancek，k+1){if (MAPDk，k+1＜10 &amp;&amp; AMVk＜35 &amp;&amp; last_idistancek＞2*distancek，k+1)QPk＝QPk-2elseQPk＝QPk-1}else if (PVk＜1500 &amp;&amp; next_idistancek＞0){if (MAPk，k+1＜25)QPk＝QPk-1}}else if (MAPDk，k+1＝＝0 &amp;&amp; next_idistancek＞3*distancek，k+1 &amp;&amp; last_idistancek＞4*distancek，k+1)QPk＝QPk-2else (((MAPDk，k+1＜2 &amp;&amp; next_idistancek＞3*distancek，k+1 &amp;&amp; last_idistancek＞2*distancek，k+1)||last_idistancek＞30) &amp;&amp; next_idistancek＞5){if (MAPDk，k+1＜1)QPk＝QPk-3else if (MAPDk，k+1＜4)QPk＝QPk-2<!-- SIPO <DP n="9"> --><dp n="d9"/>else if (MAPDk，k+1＜10)QPk＝QPk-1} 在以上實(shí)施例中，沒有考慮先前圖像或鄰近的過去圖像是否由于以上規(guī)則而已經(jīng)更新了其QP。這可能導(dǎo)致不必要地更新QP值，在率失真(RD)性能方面這可能是不希望的。為此，與圖像類型無關(guān)地將參數(shù)last_idistancek更新為等于最后經(jīng)過QP調(diào)節(jié)的圖像的值。
類似地，可以使用宏塊/塊方差、均值和邊緣統(tǒng)計(jì)特性來確定局部編碼參數(shù)。例如，對(duì)于位置(i，j)處的宏塊的拉格朗日算子λ的選擇，可以考慮以下規(guī)則 if (cur_slice_typek?。紹_Slice){if (contains_edges(k，i，j))<paragraph id="d64"><image width="83" height="21" src="A20058001997100151.gif"/></paragraph>else if (cur_slice_typek＝I_Slice){if (MBvariance(k，i，j)＜15 || MBvariance(k，i，j)＞60)<paragraph id="d65"><image width="92" height="22" src="A20058001997100152.gif"/></paragraph>else if (MBvariance(k，i，j)＞＝15 &amp;&amp; MBvariance(k，i，j)＜＝40)<paragraph id="d66"><image width="92" height="21" src="A20058001997100153.gif"/></paragraph>else<paragraph id="d67"><image width="92" height="22" src="A20058001997100154.gif"/></paragraph>}<!-- SIPO <DP n="10"> --><dp n="d10"/>else // cur_slice_typek＝＝P_Slice{if (MBvariance(k，i，j)＜15 || MBvariance(k，i，j)＞60)<paragraph id="d68"><image width="92" height="21" src="A20058001997100161.gif"/></paragraph>else if (MBvariance(k，i，j)＞＝15 &amp;&amp; MBvariance(k，i，j)＜＝40)<paragraph id="d69"><image width="92" height="21" src="A20058001997100162.gif"/></paragraph>else<paragraph id="d70"><image width="92" height="21" src="A20058001997100163.gif"/></paragraph>}}else{bscale＝max(2.00，min(4.00，(QP/6.0)))；if (contains_edges(k，i，j))<paragraph id="d71"><image width="141" height="21" src="A20058001997100164.gif"/></paragraph>else{if (MBvariance(k，i，j)＜15 || MBvariance(k，i，j)＞60)<paragraph id="d72"><image width="141" height="22" src="A20058001997100165.gif"/></paragraph>else if (MBvariance(k，i，j)＞＝15 &amp;&amp; MBvariance(k，i，j)＜＝40)<paragraph id="d73"><image width="141" height="22" src="A20058001997100166.gif"/></paragraph><!-- SIPO <DP n="11"> --><dp n="d11"/>else<paragraph id="d74"><image width="92" height="22" src="A20058001997100171.gif"/></paragraph>}if(nal_reference_idc＝＝1)λ＝0.80×λ} 對(duì)于用于殘差編碼的量化值或閾值處理系數(shù)的選擇，可以作出類似的決策。更具體地說，如下執(zhí)行H.264中系數(shù)W的量化 Z＝int({|W|+f×(1＜＜q_bits)}＞＞qbits)·sgn(W) 其中Z是最終量化值，而q_bits則基于當(dāng)前宏塊的量化器QP。f×(1＜＜q_bits)項(xiàng)用作量化過程的舍入項(xiàng)，該項(xiàng)“最佳地”應(yīng)該等于1/2×(1＜＜q_bits)。現(xiàn)在轉(zhuǎn)到圖2，一般用附圖標(biāo)記200來表示變換和量化期間死區(qū)處理的影響。在圖2中，零周圍的區(qū)間被稱為死區(qū)。用以下兩個(gè)參數(shù)來表征死區(qū)量化器零箱(bin)寬度(2s-2f)和箱外寬度(s)，如圖2所示。常常把通過f執(zhí)行的死區(qū)優(yōu)化，用作獲得良好率失真性能的有效方法。然而，眾所周知，該過程期間死區(qū)的引入(即f項(xiàng)的減小)可能通常使附加的比特率減小，同時(shí)對(duì)質(zhì)量產(chǎn)生小的影響。對(duì)于缺少較高分辨率素材的細(xì)節(jié)(及膠片顆粒信息)的較低分辨率內(nèi)容，尤其如此。雖然可以使用f＝1/2，但這也可能造成比特率的較大幅度增加，并可能損害RD評(píng)價(jià)方面的性能。
考慮到不同的頻率比其它更為重要，一種備選方法將是考慮該觀測(cè)結(jié)果、以提高性能。不是對(duì)所有變換系數(shù)都使用固定的f值，而是實(shí)質(zhì)上用矩陣方法來考慮不同值，其中基于頻率位置來選擇每個(gè)死區(qū)參數(shù)。因此，現(xiàn)在可以如下計(jì)算Z Z＝int({|W|+f(i，j)×(1＜＜q_bits)}＞＞qbits)·sgn(W) 其中i和j對(duì)應(yīng)于塊變換系數(shù)內(nèi)的當(dāng)前列或行。陣列f現(xiàn)在可以取決于片或宏塊的類型，并且也可取決于當(dāng)前塊的紋理特征(方差或邊緣信息)。例如，如果塊包含邊緣、或具有低方差特征，則重要的是不引入由于死區(qū)處理所產(chǎn)生的更多人為產(chǎn)物，因?yàn)檫@些人為產(chǎn)物將更加可見。另一方面，具有高空間活性的塊可以掩蔽更多的人為產(chǎn)物，并且可以在不對(duì)質(zhì)量產(chǎn)生大的影響的情況下增加死區(qū)處理。也可以取決于當(dāng)前塊是否為將來圖像中的塊提供任何有用信息(即，當(dāng)前塊內(nèi)的任何像素是否用于預(yù)測(cè)其它像素)，來改變死區(qū)處理。
例如，如果使用4×4變換，則可以使用以下死區(qū)處理矩陣 if (cur_slice_typek＝＝I_Slice){if (MBvariance(k，i，j)＜15 || MBvariance(k，i，j)＞60)<paragraph id="d83"><image width="170" height="90" src="A20058001997100181.gif"/></paragraph>else if (MBvariance(k，i，j)＞＝15&amp;&amp;MBvariance(k，i，j)＜＝40||contains_edges(k，i，j))<paragraph id="d84"><image width="172" height="90" src="A20058001997100182.gif"/></paragraph>else<paragraph id="d85"><image width="173" height="90" src="A20058001997100183.gif"/></paragraph>}<!-- SIPO <DP n="13"> --><dp n="d13"/>else if (cur_slice_typek＝＝P_Slice){if (MBvariance(k，i，j)＜15 || MBvariance(k，i，j)＞60)<paragraph id="d86"><image width="208" height="90" src="A20058001997100191.gif"/></paragraph>else if (MBvariance(k，i，j)＞＝15 &amp;&amp;MBvariance(k，i，j)＜＝40||contains_edges(k，i，j))<paragraph id="d87"><image width="196" height="90" src="A20058001997100192.gif"/></paragraph>else<paragraph id="d88"><image width="211" height="90" src="A20058001997100193.gif"/></paragraph>}else // B_slices{<paragraph id="d89"><image width="174" height="91" src="A20058001997100194.gif"/></paragraph>} 在某些條件下，可能編碼器不可能利用將來幀來執(zhí)行時(shí)間分析。在這種情況下，可以通過只考慮先前已編碼的圖像、并假定將來圖像具有類似的時(shí)間特征，來執(zhí)行時(shí)間分析。例如，如果當(dāng)前圖像具有高度相似性(例如MAPDk，k-1小)，則假定待編碼的下一個(gè)圖像的相似性(MAPDk，k+1)也將小。因而，在用(k，k-1)代替所有索引(k，k+1)的同時(shí)，可以基于已經(jīng)可得的信息來修改編碼參數(shù)。
現(xiàn)在轉(zhuǎn)到圖3，一般用附圖標(biāo)記300來表示視頻編碼器。視頻編碼器300的輸入以信號(hào)通信方式連接到預(yù)分析塊310的輸入。預(yù)分析塊310包括多個(gè)幀延遲器312，這多個(gè)幀延遲器312以信號(hào)通信方式互連，以致這多個(gè)幀延遲器312的每一個(gè)都順序地串聯(lián)，并且全都通過并行信號(hào)路徑而并聯(lián)。該并行信號(hào)路徑也以信號(hào)通信方式連接到時(shí)間分析器315的輸入。所串聯(lián)連接的、距編碼器300的輸入最遠(yuǎn)的最后一個(gè)幀延遲器312的輸出，以信號(hào)通信方式連接到空間分析器320的輸入、第一求和點(diǎn)325的反相輸入、運(yùn)動(dòng)補(bǔ)償器375的第一輸入、以及運(yùn)動(dòng)估計(jì)器/模式?jīng)Q策塊370的第一輸入。第一求和點(diǎn)325的輸出以信號(hào)通信方式連接到變換器330的輸入。變換器330的輸出以信號(hào)通信方式連接到量化器335的第一輸入。量化器335的輸出以信號(hào)通信方式連接到可變長(zhǎng)編碼器340的第一輸入以及逆量化器345的輸入?？勺冮L(zhǎng)編碼器340的輸出是視頻編碼器300的外部可用輸出。逆量化器345的輸出以信號(hào)通信方式連接到逆變換器350的輸入。逆變換器350的輸出以信號(hào)通信方式連接到第二求和點(diǎn)355的非反相第一輸入。第二求和點(diǎn)355的輸出以信號(hào)通信方式連接到環(huán)路濾波器360的第一輸入。環(huán)路濾波器360的輸出以信號(hào)通信方式連接到圖像參考存儲(chǔ)器365的第一輸入。圖像參考存儲(chǔ)器365的輸出以信號(hào)通信方式連接到運(yùn)動(dòng)估計(jì)器/模式?jīng)Q策塊370的第二輸入以及運(yùn)動(dòng)補(bǔ)償器375的第二輸入。運(yùn)動(dòng)估計(jì)器/模式?jīng)Q策塊370的第一輸出以信號(hào)通信方式連接到可變長(zhǎng)編碼器340的第二輸入。運(yùn)動(dòng)估計(jì)器/模式?jīng)Q策塊370的第二輸出以信號(hào)通信方式連接到運(yùn)動(dòng)補(bǔ)償器375的第三輸入。運(yùn)動(dòng)補(bǔ)償器375的輸出以信號(hào)通信方式連接到第一求和點(diǎn)325的非反相輸入以及第二求和點(diǎn)355的非反相第二輸入?？臻g分析器320的第一輸出以信號(hào)通信方式連接到量化器335的第二輸入?？臻g分析器320的第二輸出以信號(hào)通信方式連接到環(huán)路濾波器360的第二輸入、運(yùn)動(dòng)估計(jì)器/模式?jīng)Q策塊370的第三輸入、以及第一求和點(diǎn)325的非反相輸入。時(shí)間分析器315的第一輸出以信號(hào)通信方式連接到量化器335的第二輸入。時(shí)間分析器315的第二輸出以信號(hào)通信方式連接到運(yùn)動(dòng)估計(jì)器/模式?jīng)Q策塊370的第四輸入。時(shí)間分析器315的第三輸出以信號(hào)通信方式連接到環(huán)路濾波器360的第三輸入以及圖像參考存儲(chǔ)器365的第二輸入。
在時(shí)間分析步驟期間考慮一組圖像，這樣決定幾個(gè)參數(shù)，包括片類型決策、GOP結(jié)構(gòu)、加權(quán)參數(shù)(通過運(yùn)動(dòng)估計(jì)器/模式?jīng)Q策塊370)、量化值和死區(qū)處理(通過量化器335)、參考順序和處理(圖像參考存儲(chǔ)器365)、圖像編碼排序、幀/場(chǎng)圖像級(jí)自適應(yīng)決策、乃至去塊參數(shù)(環(huán)路濾波器360)。類似地，對(duì)每個(gè)編碼后的幀執(zhí)行空間分析，這樣可以類似地影響量化和死區(qū)處理(量化器335)，拉格朗日參數(shù)及片類型決策(運(yùn)動(dòng)估計(jì)器/模式?jīng)Q策塊370)，幀間/幀內(nèi)模式?jīng)Q策，幀/場(chǎng)圖像級(jí)和宏塊級(jí)自適應(yīng)決策以及去塊處理(環(huán)路濾波器360)。
現(xiàn)在轉(zhuǎn)到圖4，一般用附圖標(biāo)記400來表示用于對(duì)視頻信號(hào)數(shù)據(jù)進(jìn)行編碼的示例過程。該過程能夠通過在每次迭代中收集并更新所需統(tǒng)計(jì)特性，來多次分析或編碼相同的位流。這些統(tǒng)計(jì)特性用于隨后的每一遍編碼中，以便在給定的視頻特征或用戶要求下、通過修改編碼器參數(shù)來提高編碼性能。具體而言，要利用大小為(N，M)的窗口、對(duì)k幀(即把未存儲(chǔ)的圖像排除在外)編碼L遍(在此也稱為“重復(fù)”和“迭代”)，其中N是窗口內(nèi)的總幀數(shù)，且M是相鄰窗口之間的重疊幀數(shù)。用變量frm索引待編碼的幀，而用變量windex索引窗口內(nèi)的當(dāng)前位置。
該過程包括開始?jí)K405，它將控制傳遞給功能塊410。功能塊410將序列大小設(shè)為k，將重復(fù)次數(shù)設(shè)為L(zhǎng)，將變量i設(shè)為0，并將控制傳遞給功能塊415。功能塊415將窗口大小設(shè)為N，將重疊大小設(shè)為M，將變量frm設(shè)為零(0)，并將控制傳遞給功能塊420。功能塊420將變量windex設(shè)為零(0)，并將控制傳遞給功能塊425。因而，應(yīng)該理解，對(duì)于每一遍編碼都對(duì)窗口參數(shù)進(jìn)行初始化。這允許使用不同的窗口大小，乃至基于先前的分析步驟來修改它們(例如，如果檢測(cè)到場(chǎng)景變化，則可以據(jù)此調(diào)節(jié)N和M，以便只包括完整的場(chǎng)景)。
功能塊425通過考慮窗口內(nèi)的所有N幀，對(duì)待處理的每個(gè)窗口執(zhí)行時(shí)間分析，產(chǎn)生時(shí)間統(tǒng)計(jì)特性(tstati，frm...frm+N-1)，并可選地利用當(dāng)前統(tǒng)計(jì)特性、來修改或改進(jìn)來自前面幾遍編碼或前面編碼步驟的統(tǒng)計(jì)特性。然后，功能塊425將控制傳遞給功能塊430。功能塊430對(duì)具有索引frm(當(dāng)前窗口內(nèi)的windex)的幀執(zhí)行空間分析，直到不再滿足條件windex＜N-M為止，并將控制傳遞給功能塊435。功能塊435基于時(shí)間和空間分析結(jié)果來對(duì)這些幀進(jìn)行編碼，產(chǎn)生/收集在需要進(jìn)行多遍編碼時(shí)可使用的編碼器統(tǒng)計(jì)特性，并將控制傳遞給功能塊440。
功能塊440遞增變量frm和windex的值，并將控制傳遞給決策塊445。決策塊445判定變量frm是否小于k。
如果變量frm小于k，則控制被傳遞給決策塊450，決策塊450判定windex是否小于(N-M)。否則，如果變量frm不小于k，則控制被傳遞給決策塊455，決策塊455判定i是否小于L。
如果windex小于(N，M)，則控制被傳遞給功能塊430。否則，如果windex不小于(N-M)，則控制被傳回給功能塊420。
如果i不小于L，則控制被傳回給功能塊415。否則，如果i小于L，則控制被傳遞給結(jié)束塊460。
現(xiàn)在將描述按照本發(fā)明的各說明性實(shí)施例的本發(fā)明的許多相關(guān)優(yōu)點(diǎn)/特征中的一些優(yōu)點(diǎn)/特征。例如，一個(gè)優(yōu)點(diǎn)/特征是，提供一種基于待編碼內(nèi)容的受約束但重疊的窗口來執(zhí)行視頻分析、且利用該信息來修改編碼參數(shù)的編碼設(shè)備和方法。另一個(gè)優(yōu)點(diǎn)/特征是，在視頻分析中使用空間-時(shí)間分析。又一個(gè)優(yōu)點(diǎn)/特征是，對(duì)于視頻分析考慮初遍編碼。而且，另一個(gè)優(yōu)點(diǎn)/特征是，在視頻分析中聯(lián)合考慮空間-時(shí)間分析和初遍編碼。而且，另一個(gè)優(yōu)點(diǎn)/特征是，利用圖像編碼類型、邊緣、均值和方差信息的至少之一，來執(zhí)行空間分析、拉格朗日參數(shù)修改、量化和死區(qū)處理。又一個(gè)優(yōu)點(diǎn)/特征是，利用絕對(duì)差和方差來修改量化參數(shù)。另外，另一個(gè)優(yōu)點(diǎn)/特征是，所執(zhí)行的視頻分析只考慮先前已編碼的圖像。此外，另一個(gè)優(yōu)點(diǎn)/特征是，所執(zhí)行的視頻分析用于決定幾種編碼參數(shù)的至少之一，包括但不限于片類型決策，GOP和圖像編碼結(jié)構(gòu)及順序，加權(quán)參數(shù)，量化值和死區(qū)處理，拉格朗日參數(shù)，參考數(shù)，參數(shù)順序和處理，幀/場(chǎng)圖像和宏塊決策，去塊參數(shù)，幀間塊大小決策，幀內(nèi)空間預(yù)測(cè)，以及直接模式。而且，另一個(gè)優(yōu)點(diǎn)/特征是，可以通過考慮先前所產(chǎn)生的統(tǒng)計(jì)特性以修改編碼參數(shù)或分析統(tǒng)計(jì)特性，利用多次迭代來執(zhí)行視頻分析。而且，另一個(gè)優(yōu)點(diǎn)/特征是，基于先前所產(chǎn)生的分析統(tǒng)計(jì)特性來修改窗口大小和重疊窗口區(qū)。
相關(guān)領(lǐng)域的普通技術(shù)人員根據(jù)在此給出的教導(dǎo)可以容易地弄清本發(fā)明的這些及其它特征和優(yōu)點(diǎn)。應(yīng)該理解，可以用各種形式的硬件、軟件、固件、專用處理器或它們的組合，來實(shí)施本發(fā)明的教導(dǎo)。
更為優(yōu)選地，把本發(fā)明的教導(dǎo)實(shí)施為硬件和軟件的組合。而且，優(yōu)選地把軟件實(shí)施為確實(shí)可在程序存儲(chǔ)單元上具體實(shí)施的應(yīng)用程序。該應(yīng)用程序可以被上載到包括任何合適架構(gòu)的機(jī)器上，并被該機(jī)器所執(zhí)行。優(yōu)選地，在具有硬件如一個(gè)或多個(gè)中央處理單元(CPU)、隨機(jī)存取存儲(chǔ)器(RAM)和輸入/輸出(I/O)接口的計(jì)算機(jī)平臺(tái)上，實(shí)現(xiàn)該機(jī)器。該計(jì)算機(jī)平臺(tái)也可包括操作系統(tǒng)和微指令碼。在此描述的各種過程和功能可以是，可由CPU執(zhí)行的微指令碼一部分、或應(yīng)用程序一部分、或它們的任何組合。另外，其它各種外圍單元如附加數(shù)據(jù)存儲(chǔ)單元和打印單元，可以連接到該計(jì)算機(jī)平臺(tái)。
進(jìn)一步應(yīng)該理解，因?yàn)楦綀D中所描述的一些組成系統(tǒng)部件和方法優(yōu)選地是用軟件來實(shí)現(xiàn)的，所以系統(tǒng)部件或過程功能塊之間的實(shí)際連接可以隨本發(fā)明的編程方式而有所不同。給定在此的教導(dǎo)，相關(guān)領(lǐng)域普通技術(shù)人員將能夠預(yù)期本發(fā)明的這些及類似實(shí)施或配置。
雖然在此參考附圖描述了說明性實(shí)施例，但是應(yīng)該理解，本發(fā)明不限于這些具體實(shí)施例，并且相關(guān)領(lǐng)域普通技術(shù)人員可以在不脫離本發(fā)明的范圍或精神的情況下進(jìn)行各種變動(dòng)和修改。所有這種變動(dòng)和修改都包括在所附的權(quán)利要求所闡述的本發(fā)明的范圍內(nèi)。
權(quán)利要求
1.一種用于對(duì)與多個(gè)圖像相對(duì)應(yīng)的視頻信號(hào)數(shù)據(jù)進(jìn)行編碼的編碼器，該編碼器包括重疊窗口分析單元(310)，用于利用多個(gè)重疊分析窗口，對(duì)與所述視頻信號(hào)數(shù)據(jù)相對(duì)應(yīng)的所述多個(gè)圖像的至少一些執(zhí)行所述視頻信號(hào)數(shù)據(jù)的視頻分析，并基于所述視頻分析的結(jié)果來修改所述視頻信號(hào)數(shù)據(jù)的編碼參數(shù)。
2.根據(jù)權(quán)利要求1所述的編碼器，其中所述重疊窗口分析單元(310)利用空間-時(shí)間分析來執(zhí)行所述視頻信號(hào)數(shù)據(jù)的視頻分析。
3.根據(jù)權(quán)利要求2所述的編碼器，其中所述重疊窗口分析單元(310)利用圖像編碼類型信息、邊緣信息、均值信息和方差信息的至少之一，來執(zhí)行所述空間-時(shí)間分析、拉格朗日參數(shù)和量化參數(shù)的修改、以及死區(qū)處理的至少之一。
4.根據(jù)權(quán)利要求3所述的編碼器，其中所述重疊窗口分析單元(310)利用絕對(duì)差和方差來修改所述量化參數(shù)。
5.根據(jù)權(quán)利要求1所述的編碼器，其中所述重疊窗口分析單元(310)利用初遍編碼來執(zhí)行所述視頻信號(hào)數(shù)據(jù)的視頻分析。
6.根據(jù)權(quán)利要求1所述的編碼器，其中所述重疊窗口分析單元(310)利用空間-時(shí)間分析和初遍編碼兩者，來執(zhí)行所述視頻信號(hào)數(shù)據(jù)的視頻分析。
7.根據(jù)權(quán)利要求6所述的編碼器，其中所述重疊窗口分析單元(310)利用圖像編碼類型信息、邊緣信息、均值信息和方差信息的至少之一，來執(zhí)行所述空間-時(shí)間分析、拉格朗日參數(shù)和量化參數(shù)的修改、以及死區(qū)處理的至少之一。
8.根據(jù)權(quán)利要求7所述的編碼器，其中所述重疊窗口分析單元(310)利用絕對(duì)差和方差來修改所述量化參數(shù)。
9.根據(jù)權(quán)利要求1所述的編碼器，其中所述視頻信號(hào)數(shù)據(jù)包括多個(gè)幀，所述多個(gè)幀的每一幀都代表相應(yīng)的圖像，并且所述重疊分析單元執(zhí)行所述視頻分析、以便只考慮先前已編碼的圖像。
10.根據(jù)權(quán)利要求1所述的編碼器，其中所述編碼參數(shù)包括以下至少之一片類型，圖像和圖像組(GOP)編碼結(jié)構(gòu)和順序，加權(quán)參數(shù)，量化值和死區(qū)處理，拉格朗日參數(shù)，參考數(shù)，參考順序和處理，幀/場(chǎng)圖像和宏塊參數(shù)，去塊參數(shù)，幀間塊大小，幀內(nèi)空間預(yù)測(cè)，及直接模式。
11.根據(jù)權(quán)利要求1所述的編碼器，其中所述重疊窗口分析單元(310)多次迭代地執(zhí)行所述視頻分析，并基于先前所產(chǎn)生的分析統(tǒng)計(jì)特性來修改所述編碼參數(shù)和分析統(tǒng)計(jì)特性之一。
12.根據(jù)權(quán)利要求1所述的編碼器，其中所述重疊窗口的每一個(gè)都具有P個(gè)圖像的窗口大小、以及與所述窗口大小相關(guān)聯(lián)的重疊大小，并且所述重疊窗口分析單元基于先前所產(chǎn)生的分析統(tǒng)計(jì)特性來修改所述窗口大小和所述重疊大小。
13.一種用于對(duì)與多個(gè)圖像相對(duì)應(yīng)的視頻信號(hào)數(shù)據(jù)進(jìn)行編碼的方法，包括以下步驟
利用多個(gè)重疊分析窗口，對(duì)與所述視頻信號(hào)數(shù)據(jù)相對(duì)應(yīng)的所述多個(gè)圖像的至少一些執(zhí)行(425、430)所述視頻信號(hào)數(shù)據(jù)的視頻分析；以及
基于所述視頻分析的結(jié)果來修改(435)所述視頻信號(hào)數(shù)據(jù)的編碼參數(shù)。
14.根據(jù)權(quán)利要求13所述的方法，其中所述執(zhí)行步驟利用空間-時(shí)間分析來執(zhí)行所述視頻信號(hào)數(shù)據(jù)的視頻分析。
15.根據(jù)權(quán)利要求14所述的方法，其中所述執(zhí)行步驟和修改步驟分別利用圖像編碼類型信息、邊緣信息、均值信息和方差信息的至少之一，來執(zhí)行所述空間-時(shí)間分析、拉格朗日參數(shù)和量化參數(shù)的修改、以及死區(qū)處理的至少之一。
16.根據(jù)權(quán)利要求15所述的方法，其中利用絕對(duì)差和方差來修改所述量化參數(shù)。
17.根據(jù)權(quán)利要求13所述的方法，其中所述執(zhí)行步驟利用初遍編碼來執(zhí)行所述視頻信號(hào)數(shù)據(jù)的視頻分析。
18.根據(jù)權(quán)利要求13所述的方法，其中所述執(zhí)行步驟利用空間-時(shí)間分析和初遍編碼兩者，來執(zhí)行所述視頻信號(hào)數(shù)據(jù)的視頻分析。
19.根據(jù)權(quán)利要求18所述的方法，其中所述執(zhí)行步驟和修改步驟分別利用圖像編碼類型信息、邊緣信息、均值信息和方差信息的至少之一，來執(zhí)行所述空間-時(shí)間分析、拉格朗日參數(shù)和量化參數(shù)的修改、以及死區(qū)處理的至少之一。
20.根據(jù)權(quán)利要求19所述的方法，其中利用絕對(duì)差和方差來修改所述量化參數(shù)。
21.根據(jù)權(quán)利要求13所述的方法，其中所述視頻信號(hào)數(shù)據(jù)包括多個(gè)幀，所述多個(gè)幀的每一幀都代表相應(yīng)的圖像，并且所述執(zhí)行步驟執(zhí)行所述視頻分析、以便只考慮先前已編碼的圖像。
22.根據(jù)權(quán)利要求13所述的方法，其中所述編碼參數(shù)包括以下至少之一片類型，圖像和圖像組(GOP)編碼結(jié)構(gòu)和順序，加權(quán)參數(shù)，量化值和死區(qū)處理，拉格朗日參數(shù)，參考數(shù)，參考順序和處理，幀/場(chǎng)圖像和宏塊參數(shù)，去塊參數(shù)，幀間塊大小，幀內(nèi)空間預(yù)測(cè)，及直接模式。
23.根據(jù)權(quán)利要求13所述的方法，其中所述執(zhí)行步驟多次迭代地執(zhí)行所述視頻分析，并且所述修改步驟基于先前所產(chǎn)生的分析統(tǒng)計(jì)特性來修改所述編碼參數(shù)和分析統(tǒng)計(jì)特性之一。
24.根據(jù)權(quán)利要求13所述的方法，其中所述重疊窗口的每一個(gè)都具有窗口大小、以及與所述窗口大小相關(guān)聯(lián)的重疊大小，并且所述執(zhí)行步驟包括基于先前所產(chǎn)生的分析統(tǒng)計(jì)特性來修改所述窗口大小和所述重疊大小的步驟。
全文摘要
一種用于對(duì)與多個(gè)圖像相對(duì)應(yīng)的視頻信號(hào)數(shù)據(jù)進(jìn)行編碼的編碼器及相應(yīng)的方法。該編碼器包括重疊窗口分析單元(310)，該重疊窗口分析單元用于利用多個(gè)重疊分析窗口，對(duì)與視頻信號(hào)數(shù)據(jù)相對(duì)應(yīng)的多個(gè)圖像的至少一些執(zhí)行視頻信號(hào)數(shù)據(jù)的視頻分析，并基于視頻分析的結(jié)果來修改視頻信號(hào)數(shù)據(jù)的編碼參數(shù)。
文檔編號(hào)H04N7/50GK1969558SQ20058001997
公開日2007年5月23日 申請(qǐng)日期2005年6月6日 優(yōu)先權(quán)日2004年6月18日
發(fā)明者亞歷山德羅斯·米歇爾·托拉彼斯, 吉爾·麥克唐納·瓦布斯, 尹鵬 申請(qǐng)人:湯姆遜許可公司