專利名稱：快速運動估計方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種快速運動估計方法，尤其涉及一種在數(shù)字視頻信號處理(如場/幀頻轉(zhuǎn)換器、去隔行掃描轉(zhuǎn)換器)或數(shù)字視頻編碼中用于提升估計矢量場平滑度的高性能快速運動估計方法。
背景技術(shù)：
眾所周知，目前運動估計在數(shù)字視頻領(lǐng)域中的應(yīng)用大致可以分為兩類一種是視頻壓縮編碼，另一種是視頻后處理，如場/幀頻轉(zhuǎn)換器、去隔行掃描轉(zhuǎn)換器等。
現(xiàn)有視頻壓縮編碼標(biāo)準(zhǔn)(如H.26x和MPEG-2)采用了基于塊運動補償+殘差DCT變換的混合結(jié)構(gòu)編碼框架，此種編碼框架要求塊運動估計做支撐。視頻壓縮編碼標(biāo)準(zhǔn)中的運動估計和運動補償是對視頻圖像作一種非線性變換，此種變換過程是以增加運動矢量編碼成本來降低補償殘差編碼成本最終實現(xiàn)總體編碼成本最小化過程?？梢岳斫?，在標(biāo)準(zhǔn)指定的固定分塊結(jié)構(gòu)前提下，也就是給定運動矢量編碼成本的前提下，運動估計應(yīng)設(shè)法降低運動補償殘差。因此，在視頻壓縮應(yīng)用中，運動估計可不必是真實的物理運動，只要能夠降低補償殘差的運動估計就是最優(yōu)的。
在數(shù)字視頻掃描格式轉(zhuǎn)換和自適應(yīng)幀頻提升應(yīng)用中，運動估計的目標(biāo)是在根據(jù)現(xiàn)存的信息尋找視頻對象的真實運動，進(jìn)而根據(jù)運動矢量所指示的參考圖像信息來插補當(dāng)前圖像的缺失信息。因此，在視頻后處理應(yīng)用中，對視頻對象的運動真實性捕捉是至關(guān)重要的，這種真實性在運動矢量場上則表現(xiàn)為相鄰運動矢量場具有內(nèi)在的平滑性。但是現(xiàn)有的運動估計匹配準(zhǔn)則，包括最小方差準(zhǔn)則、絕對偏差準(zhǔn)則乃至匹配像素計數(shù)準(zhǔn)則都不能反映相鄰運動場這種內(nèi)在平滑性。
為來彌補運動估計評估準(zhǔn)則存在的不足，目前廣泛采用預(yù)約束機(jī)制進(jìn)行算法改良(如美國第5212548號和第6278736號專利所揭示的運動估計方法)，也就是在構(gòu)造候選運動矢量時預(yù)先考慮運動場內(nèi)在連續(xù)性。典型的辦法有(1)利用視頻序列的幀內(nèi)相關(guān)性，在當(dāng)前幀內(nèi)抽取當(dāng)前塊的左上方、右上方或正左方、正上方的像素塊的運動矢量進(jìn)行空間遞歸預(yù)測；(2)利用視頻序列的幀間相關(guān)性，在前一幀內(nèi)與當(dāng)前塊對應(yīng)的一個局部領(lǐng)域內(nèi)抽取部分像素塊的運動矢量對當(dāng)前塊的運動矢量進(jìn)行時間遞歸預(yù)測。上述方法為了降低運動估計的計算復(fù)雜度，同時又盡可能保持運動估計精度，一般在都采用固定的、類正交的局部時空抽樣結(jié)構(gòu)進(jìn)行時空遞歸預(yù)測。
然而，通常視頻對象的外形是復(fù)雜多變的，上述現(xiàn)有運動估計方法的固定的稀疏抽樣結(jié)構(gòu)，時常造成運動矢量的預(yù)測矢量偏離誤差面的收斂方向，其會導(dǎo)致運動估計的收斂速度減慢，運動矢量場的平滑度下降等問題。

發(fā)明內(nèi)容
為了克服上述現(xiàn)有技術(shù)的不足，而提供一種快速運動估計方法，從而解決目前運動估計方法的運動估計的收斂速度減慢、運動矢量場的平滑度下降的問題。
本發(fā)明所采用的技術(shù)方案為提供一種快速運動估計方法，其首先將每幀圖像分成互不重疊的多個子塊，并對每個當(dāng)前像素塊確定估計矢量的空間上下文和時間上下文，其還包括根據(jù)上述空間上下文和時間上下文確定多個候選運動矢量，計算每個候選運動矢量對應(yīng)的運動估計匹配誤差值，并將具有最低匹配誤差值的候選運動矢量指定為當(dāng)前像素塊的最佳運動矢量的步驟。
所述每個當(dāng)前像素塊的空間上下文和時間上下文確定方法是在當(dāng)前幀內(nèi)，選取當(dāng)前像素塊的正左方、左上方、正上方、右上方像素塊的運動矢量作為當(dāng)前像素塊運動矢量的空間上下文；在前一幀內(nèi)，選取與當(dāng)前像素塊對應(yīng)子塊的運動矢量及其一個局部鄰域抽樣({T11，T12，T13，T14}或{T21，T22，T23，T24})作為當(dāng)前塊運動矢量的時間上下文。
所述候選運動矢量包括基于空間上下文生成的一個空間中值估計子(V1)、一個空間反中值估計子(V2)和一個空間更新估計子(V4)，基于時間上下文生成的一個時間中值估計子(V3)和一個時間更新估計子(V5)，一個零矢量(V0)。
所述空間中值估計子通過空間上下文的擴(kuò)展矢量中值濾波確定，所述空間反中值估計子通過空間上下文的擴(kuò)展矢量反中值濾波確定，所述空間更新估計子通過隨機(jī)選取一個矢量并與空間中值估計子疊加確定，所述時間中值估計子通過時間上下文的擴(kuò)展矢量中值濾波確定，所述時間更新估計子通過隨機(jī)選取一個矢量并與時間中值估計子疊加確定。
上述方法中所述空間上下文和時間上下文的擴(kuò)展矢量中值濾波包括以下步驟(a)計算輸入矢量的均值Vave，即Vave＝(V0+V1+...+Vn-1)/n；(b)將Vave添加到序列的尾部(即Vn＝Vave)形成一組新序列V0，V1，...，Vn-1，Vn；(c)計算每個Vi同其他矢量的距離和SD，即SD=Σj=0ndist(Vi,Vj);]]>(d)從V0，V1，...Vn中選擇使得SD取極小值的Vi作為擴(kuò)展矢量中值濾波結(jié)果輸出。
上述方法中所述空間上下文的擴(kuò)展矢量反中值濾波包括以下步驟(a)計算輸入矢量的均值Vave，即Vave＝(V0+V1+...+Vn-1)/n；(b)將Vave添加到序列的尾部(即Vn＝Vave)形成一組新序列V0，V1，...，Vn-1，Vn；(c)計算每個Vi同其他矢量的距離和SD，即SD=Σj=0ndist(Vi,Vj);]]>(d)從V0，V1，...Vn-1中選擇使得SD取極大值的Vi作為擴(kuò)展矢量反中值濾波結(jié)果輸出。
所述每個Vi同其他矢量的距離計算可以采用以下函數(shù)方法dist(A，B)＝|Ax-Bx|+|Ay-By|。
所述每個Vi同其他矢量的距離計算也可以采用以下函數(shù)方法dist(A，B)＝(Ax-Bx)2+(Ay-By)2。
所述運動估計匹配誤差值可以通過計算當(dāng)前像素子塊的像素值與在參考像素子塊中的相應(yīng)數(shù)目的像素值之間絕對誤差和求得。
所述運動估計匹配誤差值也可以通過計算當(dāng)前像素子塊的像素值與在參考像素子塊中的相應(yīng)數(shù)目的像素值之間均方差求得。
本發(fā)明的有益效果在于本發(fā)明快速運動估計方法通過根據(jù)空間和時間上下文確定多個候選運動矢量，并計算每個候選運動矢量對應(yīng)的運動估計匹配誤差值，以將具有最低匹配誤差值的候選運動矢量指定為當(dāng)前像素塊的最佳運動矢量，其可大幅度提高估計運動場的平滑度，又能加速運動估計的收斂速度。


圖1是本發(fā)明快速運動估計方法的處理流程圖；圖2是本發(fā)明快速運動估計方法的空間上下文和時間上下文的抽取方法示意圖；圖3是本發(fā)明快速運動估計方法的擴(kuò)展矢量中值濾波處理流程圖；圖4是本發(fā)明快速運動估計方法的擴(kuò)展矢量反中值濾波處理流程圖。
具體實施例方式
請參閱圖1，本發(fā)明快速運動估計方法包括以下步驟首先，將每幀視頻圖像分成互不重疊的圖像塊；其次，對每個當(dāng)前像素塊分別確定空間上下文{S0，S1，S2，S3}和時間上下文{T0，T1，T2，T3，T4}；根據(jù)時-空上下文為每個當(dāng)前像素塊生成六個候選運動矢量(V0，V1，V2，V3，V4，V5)；計算每個候選運動矢量對應(yīng)的運動估計匹配誤差函數(shù)J，將具有最低匹配誤差值的候選運動矢量指定為當(dāng)前像素塊的最佳運動矢量。
請一并參閱圖2，上述步驟中為每個當(dāng)前子塊確定空間上下文和時間上下文的方法如下首先，在當(dāng)前幀內(nèi)，選取當(dāng)前塊(C)的正左方子塊的運動矢量S0、左上方子塊的運動矢量S1、正上方子塊的運動矢量S2、右上方子塊的運動矢量S3作為當(dāng)前塊運動矢量的空間上下文{S0，S1，S2，S3}；其次，在前一幀內(nèi)，選取與當(dāng)前塊(C)對應(yīng)子塊的運動矢量T0和它的一個局部鄰域抽樣{T11，T21，T31，T41}或{T12，T22，T32，T42}作為當(dāng)前子塊運動矢量的時間上下文{T0，T1，T2，T3，T4}。
上述步驟中為每個當(dāng)前子塊生成六個候選運動矢量方法如下(1)零矢量賦予V0，即V0＝(0，0)；(2)對空間上下文實施擴(kuò)展矢量中值濾波，生成的空間中值估計子賦予V1，即V1＝EVM(S0，S1，S2，S3)；(3)對空間上下文實施擴(kuò)展矢量反中值濾波，生成的空間反中值估計子賦予V2，即V2＝EVAM(S0，S1，S2，S3)；(4)對時間上下文實施擴(kuò)展矢量中值濾波，生成的時間中值估計子賦予V3，即V3＝EVM(T0，T1，T2，T3，T4)；
(5)從{(1/4，0)，(0，1/4)，(-1/4，0)，(0，-1/4)}中隨機(jī)選取一個空間迭代更新子US更新V1，生成的空間更新估計子賦予V4，即V4＝V1+US；(6)從{(2，0)，(0，2)，(-3，0)，(0，-3)，(1/4，0)，(0，1/4)，(-1/4，0)，(0，-1/4)}中隨機(jī)選取一個時間迭代更新子UT更新V3，生成的時間更新估計子賦予V5，即V5＝V3+UT；請一并參閱圖3和圖4，上述步驟中所述擴(kuò)展矢量中值濾波EVM包含如下步驟301.計算輸入矢量的均值Vave，即Vave＝(V0+V1+...+Vn-1)/n；302.將Vave添加到序列的尾部(即Vn＝Vave)生成一組新序列V0，V1，...，Vn-1，Vn；303.計算每個Vi同其他矢量的距離和SD，即SD=Σj=0ndist(Vi,Vj);]]>304.從V0，V1，...Vn中選擇使得SD取極小值的Vi作為擴(kuò)展矢量中值濾波結(jié)果輸出。
可以理解，與擴(kuò)展矢量中值濾波類似，上述步驟中所述擴(kuò)展矢量反中值濾波EVAM包含如下步驟401.計算輸入矢量的均值Vave，即Vave＝(V0+V1+...+Vn-1)/n；402.將Vave添加到序列的尾部(即Vn＝Vave)生成一組新序列V0，V1，...，Vn-1，Vn；403.計算每個Vi同其他矢量的距離和SD，即SD=Σj=0ndist(Vi,Vj)]]>404.從V0，V1，...Vn-1中選擇使得SD取極大值的Vi作為擴(kuò)展矢量反中值濾波結(jié)果輸出。
可以理解，上述濾波運算中運動矢量間的距離可以通過選擇下面兩種方法中的任意一種方法進(jìn)行計算方法1dist(A，B)＝|Ax-Bx|+|Ay-By|；方法2dist(A，B)＝(Ax-Bx)2+(Ay-By)2；此外，本發(fā)明快速運動估計方法可以通過選取下面兩種方法中的任意一種計算每個候選運動矢量對應(yīng)的運動估計匹配誤差函數(shù)值方法1計算當(dāng)前像素塊的像素值與在參考像素塊中的相應(yīng)數(shù)目的像素值之間絕對誤差和；
方法2計算當(dāng)前像素塊的像素值與在參考像素塊中的相應(yīng)數(shù)目的像素值之間均方差。
權(quán)利要求
1.一種快速運動估計方法，其首先將每幀視頻圖像分成互不重疊的多個子塊，并對每個當(dāng)前像素塊確定估計矢量的空間上下文和時間上下文，其特征在于其還包括根據(jù)上述空間上下文和時間上下文確定多個候選運動矢量，計算每個候選運動矢量對應(yīng)的運動估計匹配誤差值，并將具有最低匹配誤差值的候選運動矢量指定為當(dāng)前像素塊的最佳運動矢量的步驟。
2.如權(quán)利要求1所述的快速運動估計方法，其特征在于所述每個當(dāng)前像素塊的空間上下文和時間上下文確定方法是在當(dāng)前幀內(nèi)，選取當(dāng)前像素塊的正左方、左上方、正上方和右上方子塊的運動矢量作為當(dāng)前像素塊運動矢量的空間上下文；在前一幀內(nèi)，選取與當(dāng)前像素塊對應(yīng)子塊的運動矢量及其一個局部鄰域抽樣({T11，T12，T13，T14}或{T21，T22，T23，T24})作為當(dāng)前像素塊運動矢量的時間上下文。
3.如權(quán)利要求1所述的快速運動估計方法，其特征在于所述候選運動矢量包括基于空間上下文生成的一個空間中值估計子(V1)、一個空間反中值估計子(V2)和一個空間更新估計子(V4)，基于時間上下文生成的一個時間中值估計子(V3)和一個時間更新估計子(V5)，一個零矢量(V0)。
4.如權(quán)利要求3所述的快速運動估計方法，其特征在于所述空間中值估計子通過空間上下文的擴(kuò)展矢量中值濾波確定，所述空間反中值估計子通過空間上下文的擴(kuò)展矢量反中值濾波確定，所述空間更新估計子通過隨機(jī)選取一個矢量并與空間中值估計子疊加確定，所述時間中值估計子通過時間上下文的擴(kuò)展矢量中值濾波確定，所述時間更新估計子通過隨機(jī)選取一個矢量并與時間中值估計子疊加確定。
5.如權(quán)利要求4所述的快速運動估計方法，其特征在于所述空間上下文和時間上下文的擴(kuò)展矢量中值濾波包括以下步驟(a)計算輸入矢量的均值Vave，即Vave＝(V0+V1+...+Vn-1)/n；(b)將Vave添加到序列的尾部(即Vn＝Vave)形成一組新序列V0，V1，...，Vn-1，Vn；(c)計算每個Vi同其他矢量的距離和SD，即SD=Σj=0ndist(Vi,Vj);]]>(d)從V0，V1，...Vn中選擇使得SD取極小值的Vi作為擴(kuò)展矢量中值濾波結(jié)果輸出。
6.如權(quán)利要求4所述的快速運動估計方法，其特征在于所述空間上下文的擴(kuò)展矢量反中值濾波包括以下步驟(a)計算輸入矢量的均值Vave，即Vave＝(V0+V1+...+Vn-1)/n；(b)將Vave添加到序列的尾部(即Vn＝Vave)形成一組新序列V0，V1，...，Vn-1，Vn；(c)計算每個Vi同其他矢量的距離和SD，即SD=Σj=0ndist(Vi,Vj);]]>(d)從V0，V1，...Vn-1中選擇使得SD取極大值的Vi作為擴(kuò)展矢量中值濾波結(jié)果輸出。
7.如權(quán)利要求5或6所述的快速運動估計方法，其特征在于所述每個Vi同其他矢量的距離計算采用以下函數(shù)方法dist(A，B)＝|Ax-Bx|+|Ay-By|。
8.如權(quán)利要求5或6所述的快速運動估計方法，其特征在于所述每個Vi同其他矢量的距離計算采用以下函數(shù)方法dist(A，B)＝(Ax-Bx)2+(Ay-By)2。
9.如權(quán)利要求1所述的快速運動估計方法，其特征在于所述運動估計匹配誤差值是通過計算當(dāng)前像素塊的像素值與在參考像素塊中的相應(yīng)數(shù)目的像素值之間絕對誤差和求得。
10.如權(quán)利要求1所述的快速運動估計方法，其特征在于所述運動估計匹配誤差值是通過計算當(dāng)前像素塊的像素值與在參考像素塊中的相應(yīng)數(shù)目的像素值之間均方差求得。
全文摘要
本發(fā)明涉及一種快速運動估計方法，其首先將每幀視頻圖像分成互不重疊的多個子塊，并對每個當(dāng)前像素塊確定估計矢量的空間上下文和時間上下文，其還包括根據(jù)上述空間上下文和時間上下文確定多個候選運動矢量，計算每個候選運動矢量對應(yīng)的運動估計匹配誤差值，并將具有最低運動估計匹配誤差值的候選運動矢量指定為當(dāng)前像素塊的最佳運動矢量的步驟。本發(fā)明快速運動估計方法通過根據(jù)空間和時間上下文確定多個候選運動矢量，并計算每個候選運動矢量對應(yīng)的運動估計匹配誤差值，以將具有最低匹配誤差值的候選運動矢量指定為當(dāng)前像素塊的最佳運動矢量，其可大幅度提高估計運動場的平滑度，又能加速運動估計的收斂速度。
文檔編號H04N7/01GK1925614SQ20051003697
公開日2007年3月7日 申請日期2005年8月30日 優(yōu)先權(quán)日2005年8月30日
發(fā)明者張宗平, 劉鯤, 彭吉虎, 田華 申請人:深圳清華大學(xué)研究院