專利名稱：用于數(shù)字輸入視頻信號的運動估計方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用塊匹配和二次抽樣法的用于數(shù)字輸入視頻信號的運動估計方法。
可以把塊匹配法用于運動估計。要被編碼的圖像被分割為塊，并且這些參考塊中的每一個與在前或后續(xù)圖像中的搜索窗內(nèi)的相同尺寸的候選塊相比較。對每個候選矢量位置計算在參考塊的像素值與候選塊的相應(yīng)像素值之間的差的絕對值的總和。其結(jié)果稱為“成本函數(shù)”。然后，與最低總和值(即，成本函數(shù)的最小值)有關(guān)的候選運動矢量被取作為當(dāng)前參考塊的運動矢量。一些運動估計方法利用在參考塊和在搜索區(qū)域中的所有像素(全像素全搜索)，以查找最佳運動矢量。但是，這些方法要求非?？於野嘿F的硬件。
為了減小所要求的計算能力，在塊匹配方法中引入對角像素二次抽樣方法。
對于預(yù)定的下采樣級別，通過利用五點梅花形下采樣取代正交下采樣可以明顯減小錯誤確定的運動矢量的數(shù)目。在五點梅花形下采樣中，分別在先前行或列中省略的位置處的像素分別用于每個如下行或列中。固定五點梅花形二次抽樣可以應(yīng)用于參考塊或存儲區(qū)域。歐洲專利EP-A-0732670中公開使用這種五點梅花形二次抽樣的塊匹配。
利用分級塊匹配可以減小計算要求，但是仍然保持高矢量精度。M．Bierling，“利用分級塊匹配估計的位移估計”，漢諾威大學(xué)，第三屆關(guān)于視頻通信和圖像處理的SPIE(攝影光學(xué)儀器工程師學(xué)會)學(xué)術(shù)討論會，1988年11月9-11日，劍橋，美國，該文中描述了以低通濾波和二次抽樣搜索窗為開始，基于在具有不同空間分辨率的搜索窗中的運動矢量搜索的分級運動估計方法。
歐洲專利EP-A-0661667公開了僅僅利用像素值的MSB(最高有效位)的塊匹配方法。
如上文所述，可以執(zhí)行參考塊和搜索窗區(qū)域的二次抽樣，以減小計算和存儲要求。但是，由于如果具有實際最小成本函數(shù)值的正確候選運動矢量位于省略的行或列中，則有可能找不到該運動矢量，因此列和／或行(正交下采樣)的省略可能導(dǎo)致不理想的結(jié)果。由于在一些需要運動矢量的精度甚至要大于±1像素的情況下(例如，要求±1／2像素)，這是個嚴(yán)重的缺點。
上述情況對于逐行和隔行視頻信號來說基本上正確。但是，隔行視頻信號需要特別的考慮，因為它們已經(jīng)被垂直二次抽樣，并且在運動估計方法中進(jìn)一步應(yīng)用垂直二次抽樣可能嚴(yán)重地降低運動矢量的質(zhì)量。
本發(fā)明的一個目的是提供一種塊匹配運動估計方法，其減小計算和存儲要求，但是具有高矢量精度，其特別適合于隔行視頻信號。該目的是通過在權(quán)利要求1中所公開的方法而實現(xiàn)的。
按照因子2對輸入信號進(jìn)行水平和垂直低通濾波和垂直二次抽樣。利用2像素的水平搜索步長或分辨率以及利用1像素的垂直搜索步長或分辨率(這兩個都用原始信號像素圖案間距表達(dá))對所得視頻信號進(jìn)行運動矢量搜索，從而僅僅估算每兩個像素和線(這兩者都用原始信號像素圖案間距來表達(dá))，以對參考塊中的成本函數(shù)或塊匹配誤差進(jìn)行計算。
在可選的第二塊匹配階段，根據(jù)水平和垂直半像素間距插值的五點梅花形像素圖案執(zhí)行精細(xì)運動估計，最終導(dǎo)致半像素分辨率的運動矢量(以原始信號像素圖案來表達(dá))。
原則上，本發(fā)明方法關(guān)于數(shù)字輸入視頻信號的運動估計，并且利用參考像素塊與在搜索窗中的相應(yīng)像素塊的塊匹配以及二次抽樣，其包括如下步驟-對輸入視頻信號進(jìn)行水平和垂直低通濾波，以及對該濾波的視頻信號進(jìn)行水平1∶2二次抽樣；-利用2像素的水平搜索步長或分辨率以及1像素的垂直搜索步長或分辨率對當(dāng)前參考塊執(zhí)行運動矢量搜索，該搜索對濾波和水平二次抽樣后的視頻信號進(jìn)行，其中為了計算當(dāng)前塊匹配誤差或成本函數(shù)值，僅僅對每兩個像素和每兩條線進(jìn)行估算，其中用于所述估算的所述搜索步長和像素間距是用原始視頻信號像素圖案間距來表達(dá)的。
有利的是隨后根據(jù)水平和垂直半像素間距插值的五點梅花形圖案執(zhí)行精確運動估計，這最終導(dǎo)致用原始信號像素圖案間距表達(dá)的半像素分辨率運動矢量。
本發(fā)明方法的優(yōu)選附加實施例公開在各個從屬權(quán)利要求中。
下面將參照附圖具體描述本發(fā)明的實施例，其中

圖1為二次抽樣處理方法；圖2為在第一運動估計階段中涉及的像素；圖3為在矢量指向點附近的具有中間像素位置的幀；圖4為第二運動估計階段中涉及的像素；圖5為隔行掃描信號所需的運動矢量。
實施例如圖1所示，運動估計處理以每幀具有原始有效像素(例如720×576)的輸入圖像IP的水平垂直低通濾波HVF為開始。在水平或在水平垂直低通濾波之后，以因子2執(zhí)行水平二次抽樣HSUB。輸出圖像例如具有360×576有效像素／幀，其中參考宏塊可以具有8像素×16線的大小。
圖2示出參考宏塊的8像素和16線。用于塊匹配中的搜索窗可以具有水平±32(二次抽樣的)像素和垂直±32線的大小。根據(jù)這些附圖，相應(yīng)的參考塊與在搜索窗中的相應(yīng)像素在65像素×65線=4225個候選塊位置相比較。候選塊搜索步長和在第一運動估計階段(即，粗略運動估計階段)計算所得的矢量精度是水平±2(原始)像素和垂直±1(原始)線。為了減小計算量，以如下方式執(zhí)行粗略運動估計 其中，i=水平下標(biāo)，j=垂直下標(biāo)，4p=例如在參考塊中的像素值的四個最高有效位，4p=例如在預(yù)測幀的塊中的像素值的四個最高有效位。
用于成本函數(shù)累計的像素在圖2中示出為黑點，而白點像素被忽略。例如在八位每像素值中低四位是忽略位DCB。
計算的成本函數(shù)的最小值的空間位置通常仍然與正確的運動矢量位置具有偏差。該偏差可以利用后續(xù)階段的精確運動估計來最小化。
在精確運動估計階段中的運算也基于在參考幀中的原始像素之間附加像素的內(nèi)插值。這些內(nèi)插值可以利用[1，2，1]濾波器從原始像素值中推導(dǎo)出。圖3示出在粗略矢量CVEC的指向點附近中的具有中間像素位置的參考幀。該附近(暗區(qū)域)包括相鄰原始像素FP、水平插值半像素IHPH、垂直插值半像素IHPV、以及對角插值半像素IHPD，總共34個像素位置。一般，對于在預(yù)測幀中的每個宏塊，在參考幀內(nèi)的參考宏塊附近進(jìn)行搜索，這意味著在34個塊位置中搜索最小匹配誤差。
還可以在預(yù)測幀中搜索相應(yīng)塊位置的參考圖像參考塊的位置，這意味著對預(yù)測圖像計算插值像素值。
在精確運動估計階段，塊尺寸例如是16(原始)像素×16(原始)線，如圖4中所示。QPAT表示在計算中涉及的黑點像素值的五點梅花形圖案。搜索步長是水平1／2(原始)像素以及垂直1／2(原始)線。再次，例如對于八位每像素值僅僅有四個最高有效位可以用于成本函數(shù)累計，而剩余位是忽略位DCB。
精確運動估計是以如下方式執(zhí)行的成本函數(shù)mae=Σi=015Σj=015|4P2i+mod(j,2),j-4p2i+mod(j,2),j|]]>mae=絕對平均誤差，i=在半像素光柵中的水平下標(biāo)，i=在半像素光柵中的垂直下標(biāo)，如果j是偶數(shù)，則mod(j，2)=0；如果j是奇數(shù)，則mod(j，2)=1。
本發(fā)明的運動估計提高了主觀圖像質(zhì)量，特別是對于隔行掃描圖像。圖5示出來自一個隔行掃描圖像序列的頂部參考區(qū)域TREFF、頂部參考區(qū)域BREFF、頂部預(yù)測區(qū)域TPDF、以及頂部預(yù)測區(qū)域BPDF。圖5示出從預(yù)測區(qū)域到參考區(qū)域的精確運動估計矢量。在每個區(qū)域中的塊可以利用來自兩個隨后區(qū)域中的每一個的矢量來預(yù)測。
在粗略運動估計和在精確運動估計中的搜索方向是可以隨意掉換的。
權(quán)利要求
1．一種用于數(shù)字輸入視頻信號(IP)的運動估計的方法，其利用參考像素塊與在搜索窗口中的相應(yīng)像素塊之間的塊匹配，從而利用二次抽樣，其特征在于如下步驟-對輸入視頻信號(IP)進(jìn)行水平和垂直低通濾波(HVF)，以及對該濾波的視頻信號進(jìn)行水平1∶2二次抽樣(HSUB)；-利用2像素的水平搜索步長或分辨率以及1像素的垂直搜索步長或分辨率對當(dāng)前參考塊執(zhí)行運動矢量(CVEC)搜索，該搜索對濾波和水平二次抽樣后的視頻信號(OP)進(jìn)行，其中為了計算當(dāng)前塊匹配誤差或成本函數(shù)值，僅僅對每兩個像素和每兩條線進(jìn)行估算，其中用于所述估算的所述搜索步長和像素間距是用原始視頻信號像素圖案間距來表達(dá)的。
2．根據(jù)權(quán)利要求1所述的方法，其特征在于，隨后根據(jù)水平和垂直半像素間距插值的五點梅花形圖案(QPAT)執(zhí)行精確運動估計，這最終導(dǎo)致用原始信號像素圖案間距表達(dá)的半像素分辨率運動矢量。
3．根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述輸入視頻信號(IP)是隔行視頻信號。
4．根據(jù)權(quán)利要求3所述的方法，其特征在于，利用相應(yīng)相鄰幀的頂部和底部區(qū)域塊(TPDF、BPDF)，計算用于頂部區(qū)域塊(TREFF)和／或底部區(qū)域塊(BREFF)的運動矢量。
5．根據(jù)權(quán)利要求1至4中的任何一項所述的方法，其特征在于，在粗略和／或精確運動估計階段中，在匹配誤差中或成本函數(shù)值計算中涉及的像素值的一些最低有效位(DCB)不被考慮。
6．根據(jù)權(quán)利要求1至5所述的方法，其特征在于，利用如下成本函數(shù)的平均絕對誤差執(zhí)行粗略運動估計 其中，i=水平下標(biāo)，j=垂直下標(biāo)，4p=例如在參考塊中的像素值的四個最高有效位，4p=例如在預(yù)測幀的塊中的像素值的四個最高有效位。
7．根據(jù)權(quán)利要求2至5所述的方法，其特征在于，利用如下成本函數(shù)的平均絕對誤差執(zhí)行粗略運動估計 其中，i=水平下標(biāo)，j=垂直下標(biāo)，4p=例如在參考塊中的像素值的四個最高有效位，4p=例如在預(yù)測幀的塊中的像素值的四個最高有效位。
8．根據(jù)權(quán)利要求7所述的方法，其特征在于，利用如下成本函數(shù)的平均絕對誤差MAE執(zhí)行精確運動估計MAE=Σi=015Σj=015|4p2i+mod(j,2),j-4P2i+mod(j,2),j|]]>其中，i=在半像素光柵中的水平下標(biāo)，j=在半像素光柵中的垂直下標(biāo)，如果j是偶數(shù)，則mod(j，2)=0；如果j是奇數(shù)，則mod(j，2)=1。
全文摘要
與最低匹配誤差相關(guān)的候選運動矢量被選擇作為運動矢量。列和/或行的二次抽樣可以用于減小計算的儲存要求。但是,隔行信號需要特別的考慮,因為這會嚴(yán)重地?fù)p害運動矢量的質(zhì)量。因此,輸入信號(IP)被水平和垂直低通濾波(HVF)并且以因子2執(zhí)行水平二次抽樣(HSUB)。利用2像素的水平搜索步長以及利用1像素的垂直搜索步長對所得視頻信號進(jìn)行運動矢量搜索,從而僅僅估算每兩個像素和線來對參考塊中的成本函數(shù)或塊匹配誤差進(jìn)行計算。
文檔編號H04N7/32GK1293518SQ0012971
公開日2001年5月2日 申請日期2000年10月9日 優(yōu)先權(quán)日1999年10月19日
發(fā)明者邁諾爾夫·布拉瓦, 馬爾科·溫特 申請人:德國湯姆森-布蘭特有限公司