專利名稱：一種視頻幀速率上轉(zhuǎn)換方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻幀速率轉(zhuǎn)換技術(shù)領(lǐng)域，具體涉及ー種視頻幀速率上轉(zhuǎn)換方法及系統(tǒng)。適用于高端多媒體系統(tǒng)的幀率轉(zhuǎn)換、低比特率視頻系統(tǒng)的碼率恢復(fù)以及無(wú)線視頻通信系統(tǒng)的缺幀重構(gòu)等場(chǎng)合。
背景技術(shù)：
在視頻巾貞速率轉(zhuǎn)換技術(shù)領(lǐng)域中，巾貞速率上轉(zhuǎn)換能夠在兩巾貞或者多巾貞視頻圖像中廣生處于中間運(yùn)動(dòng)狀態(tài)的幀，滿足不同的幀速率顯示設(shè)備格式轉(zhuǎn)換的要求。其廣泛地應(yīng)用在高清晰度電視(HDTV)、視頻會(huì)議以及低比特率編碼中。最簡(jiǎn)單的幀速率上轉(zhuǎn)換方法是幀拷貝和時(shí)域線性平均，這兩種方法運(yùn)算速度快，可以應(yīng)用在實(shí)時(shí)性要求高的領(lǐng)域，但沒(méi)有考慮物體的運(yùn)動(dòng)，所以在內(nèi)插幀中的運(yùn)動(dòng)區(qū)域會(huì)產(chǎn)生塊效應(yīng)、模糊等現(xiàn)象。為了解決上述問(wèn)題， 需要考慮幀間的運(yùn)動(dòng)信息，但是從碼流中獲取的運(yùn)動(dòng)場(chǎng)由于考慮到編碼效率并不是真正的運(yùn)動(dòng)向量，而且對(duì)該運(yùn)動(dòng)場(chǎng)應(yīng)用運(yùn)動(dòng)補(bǔ)償?shù)玫降膬?nèi)插幀的幻影較多，影響視覺(jué)效果。國(guó)內(nèi)外的學(xué)者和研究人員也提出了一些基于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)膸俾噬限D(zhuǎn)換方法。Choi等人提出了ー種雙向運(yùn)動(dòng)估計(jì)的方法為待插幀的每ー個(gè)宏塊尋找運(yùn)動(dòng)向量。為了降低計(jì)算復(fù)雜度，Zhai等人提出了自適應(yīng)的重疊塊雙向運(yùn)動(dòng)估計(jì)方法。這兩種方法都致力于尋找可靠的運(yùn)動(dòng)向量。然而，對(duì)于視頻序列的相鄰幀，后一幀相對(duì)前一幀總有部分區(qū)域是被遮擋(突顯)的，這些區(qū)域無(wú)法在前后幀找到對(duì)應(yīng)的匹配塊，故用以上運(yùn)動(dòng)估計(jì)得到的通常為異常運(yùn)動(dòng)向量。Kang等人在雙向運(yùn)動(dòng)估計(jì)的基礎(chǔ)上采用中值濾波器檢測(cè)并修正運(yùn)動(dòng)場(chǎng)中的異常向量。該方法的不足之處是中值濾波器會(huì)修正過(guò)多的向量，甚至導(dǎo)致更多的異常向量。Kang還在傳統(tǒng)運(yùn)動(dòng)補(bǔ)償插值的基礎(chǔ)上提出一種基于絕對(duì)差和(SAD)的加權(quán)運(yùn)動(dòng)補(bǔ)償方法。SAD僅僅描述了兩幅圖之間的差異程度，還不足以反映前后幀中的對(duì)應(yīng)塊對(duì)待插幀中對(duì)應(yīng)宏塊的重要程度。國(guó)內(nèi)學(xué)者張芳甄等人在運(yùn)動(dòng)補(bǔ)償?shù)幕A(chǔ)上提出內(nèi)插幀中各像素的值為前后幀參考像素差值的正加權(quán)乘積。該方法需要對(duì)內(nèi)插幀的每個(gè)像素進(jìn)行處理，計(jì)算復(fù)雜度較高，無(wú)法適應(yīng)大規(guī)模應(yīng)用。綜上分析，這些方法有的運(yùn)動(dòng)估計(jì)不準(zhǔn)確，有的在修正運(yùn)動(dòng)場(chǎng)的方法上存在缺陷，有的復(fù)雜度較高。

發(fā)明內(nèi)容
針對(duì)現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種運(yùn)動(dòng)估計(jì)準(zhǔn)確性的視頻幀速率上轉(zhuǎn)換方法及系統(tǒng)。為解決上述技術(shù)問(wèn)題，本發(fā)明采用的技術(shù)方案如下一種視頻幀速率上轉(zhuǎn)換方法，包括以下步驟(I)獲取低幀速率視頻序列相鄰兩幀間的初始運(yùn)動(dòng)向量場(chǎng)；(2)在全局范圍內(nèi)檢測(cè)所述初始運(yùn)動(dòng)向量場(chǎng)中的明顯異常運(yùn)動(dòng)向量，參照局部最可靠運(yùn)動(dòng)向量對(duì)所述明顯異常運(yùn)動(dòng)向量進(jìn)行修正；(3)在局部范圍內(nèi)檢測(cè)經(jīng)過(guò)上述修正后的運(yùn)動(dòng)向量場(chǎng)中的局部異常運(yùn)動(dòng)向量，參照鄰域運(yùn)動(dòng)向量采用最大似然估計(jì)修正所述局部異常運(yùn)動(dòng)向量。如上所述的視頻幀速率上轉(zhuǎn)換方法，其中，在獲取低幀速率視頻序列相鄰兩幀間的初始運(yùn)動(dòng)向量場(chǎng)之前，還包括對(duì)所述相鄰兩幀進(jìn)行下采樣處理的步驟。如上所述的視頻幀速率上轉(zhuǎn)換方法，步驟(I)中所述獲取相鄰兩幀間的初始運(yùn)動(dòng)向量場(chǎng)的方法包括以下步驟將所述相鄰兩巾貞間的待插巾貞fn分為大小相同的宏塊；所述宏塊的大小為32的約數(shù)；
對(duì)所述待插幀fn中的每ー個(gè)宏塊，通過(guò)比較所述待插幀fn的前ー幀中一定位移處的對(duì)應(yīng)宏塊與后ー幀fn+1中相反位移處的對(duì)應(yīng)宏塊，找到使兩者最為相似的位移作為該宏塊的運(yùn)動(dòng)向量。所述一定位移的取值范圍在8 32像素之間。如上所述的視頻幀速率上轉(zhuǎn)換方法，步驟(2)中所述在全局范圍內(nèi)檢測(cè)所述初始運(yùn)動(dòng)向量場(chǎng)中的明顯異常運(yùn)動(dòng)向量的方法如下對(duì)于待插幀中的每ー個(gè)宏塊，計(jì)算其絕對(duì)差和SAD ；如果宏塊的絕對(duì)差和SAD >設(shè)定閾值T，則該宏塊對(duì)應(yīng)的運(yùn)動(dòng)向量為異常運(yùn)動(dòng)向量。所述閾值T取所有宏塊最大的10個(gè)SAD值中的最小值。如上所述的視頻幀速率上轉(zhuǎn)換方法，步驟(2)中對(duì)所述明顯異常運(yùn)動(dòng)向量進(jìn)行修正的方法如下假設(shè)運(yùn)動(dòng)向量元為異常運(yùn)動(dòng)向量，在其八鄰域內(nèi)捜索最小的絕對(duì)差和SAD對(duì)應(yīng)的運(yùn)動(dòng)向量I，令え=Vm ；將異常運(yùn)動(dòng)向量^對(duì)應(yīng)的宏塊大小擴(kuò)大一倍，重新比較所述待插幀fn的前ー幀fn-i中一定位移處的對(duì)應(yīng)宏塊與后ー巾貞fn+i中相反位移處的對(duì)應(yīng)宏塊，找到使兩者最為相似的位移作為該宏塊擴(kuò)大后的運(yùn)動(dòng)向量。如上所述的視頻幀速率上轉(zhuǎn)換方法，步驟(3)中所述在局部范圍內(nèi)檢測(cè)經(jīng)過(guò)上述修正后的運(yùn)動(dòng)向量場(chǎng)中的局部異常運(yùn)動(dòng)向量的方法如下用ー個(gè)WXW窗ロ遍歷經(jīng)過(guò)步驟⑵修正后的運(yùn)動(dòng)向量場(chǎng)；所述W的取值范圍在2 4個(gè)宏塊之間；對(duì)每個(gè)位置窗ロ內(nèi)的各宏塊，計(jì)算其絕對(duì)差和SAD ；絕對(duì)差和SAD最大的宏塊對(duì)應(yīng)的運(yùn)動(dòng)向量為異常運(yùn)動(dòng)向量。如上所述的視頻幀速率上轉(zhuǎn)換方法，步驟(3)中所述修正所述局部異常運(yùn)動(dòng)向量的方法包括以下步驟將所述異常運(yùn)動(dòng)向量對(duì)應(yīng)的宏塊的八鄰域宏塊分為16個(gè)重疊的宏塊；對(duì)新產(chǎn)生的宏塊重新在其前后幀中搜索其運(yùn)動(dòng)向量，用ち}表示所述異常運(yùn)動(dòng)向量對(duì)應(yīng)的宏塊的16鄰域宏塊的運(yùn)動(dòng)向量，根據(jù)如下公式計(jì)算修正后的運(yùn)動(dòng)向量
へ. I JL^V=->,V,。如上所述的視頻幀速率上轉(zhuǎn)換方法，還包括對(duì)幀邊緣宏塊進(jìn)行互補(bǔ)償處理的步驟。所述互補(bǔ)償處理的過(guò)程包括以下步驟
首先在步驟(2)和步驟(3)中修正運(yùn)動(dòng)向量場(chǎng)時(shí)，只修正除了待插幀邊緣宏塊外的運(yùn)動(dòng)向量場(chǎng)，而將待插幀的邊緣宏塊均看作異常運(yùn)動(dòng)向量對(duì)應(yīng)宏塊，按照步驟(2)中修正異常向量的方法加以修正；然后,假設(shè)Bn_1; Bn+1表示相鄰幀fn_1; fn+1中對(duì)應(yīng)的宏塊,采用如下公式最大補(bǔ)償對(duì)應(yīng)的宏塊
權(quán)利要求
1.一種視頻幀速率上轉(zhuǎn)換方法，其特征在于，包括以下步驟 (1)獲取低幀速率視頻序列相鄰兩幀間的初始運(yùn)動(dòng)向量場(chǎng)； (2)在全局范圍內(nèi)檢測(cè)所述初始運(yùn)動(dòng)向量場(chǎng)中的明顯異常運(yùn)動(dòng)向量，參照局部最可靠運(yùn)動(dòng)向量對(duì)所述明顯異常運(yùn)動(dòng)向量進(jìn)行修正； (3)在局部范圍內(nèi)檢測(cè)經(jīng)過(guò)上述修正后的運(yùn)動(dòng)向量場(chǎng)中的局部異常運(yùn)動(dòng)向量，參照鄰域運(yùn)動(dòng)向量采用最大似然估計(jì)修正所述局部異常運(yùn)動(dòng)向量。
2.如權(quán)利要求I所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于所述方法在獲取低幀速率視頻序列相鄰兩幀間的初始運(yùn)動(dòng)向量場(chǎng)之前，還包括對(duì)所述相鄰兩幀進(jìn)行下采樣處理的步驟。
3.如權(quán)利要求I所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于，步驟(I)中所述獲取相鄰兩幀間的初始運(yùn)動(dòng)向量場(chǎng)的方法包括以下步驟 將所述相鄰兩巾貞間的待插巾貞fn分為大小相同的宏塊； 對(duì)所述待插幀fn中的每ー個(gè)宏塊，通過(guò)比較所述待插幀fn的前ー幀中一定位移處的對(duì)應(yīng)宏塊與后ー巾貞fn+1中相反位移處的對(duì)應(yīng)宏塊，找到使兩者最為相似的位移作為該宏塊的運(yùn)動(dòng)向量。
4.如權(quán)利要求3所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于所述宏塊的大小為32的約數(shù)。
5.如權(quán)利要求3所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于所述一定位移的取值范圍在8 32像素之間。
6.如權(quán)利要求3 5中任一項(xiàng)所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于，步驟(2)中所述在全局范圍內(nèi)檢測(cè)所述初始運(yùn)動(dòng)向量場(chǎng)中的明顯異常運(yùn)動(dòng)向量的方法如下 對(duì)于待插幀中的每ー個(gè)宏塊，計(jì)算其絕對(duì)差和SAD ； 如果宏塊的絕對(duì)差和SAD >設(shè)定閾值T，則該宏塊對(duì)應(yīng)的運(yùn)動(dòng)向量為異常運(yùn)動(dòng)向量。
7.如權(quán)利要求6所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于所述閾值T取所有宏塊最大的10個(gè)SAD值中的最小值。
8.如權(quán)利要求6所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于，步驟(2)中對(duì)所述明顯異常運(yùn)動(dòng)向量進(jìn)行修正的方法如下 假設(shè)運(yùn)動(dòng)向量元為異常運(yùn)動(dòng)向量，在其八鄰域內(nèi)捜索最小的絕對(duì)差和SAD對(duì)應(yīng)的運(yùn)動(dòng)向量I，令え=Vm ； 將異常運(yùn)動(dòng)向量^對(duì)應(yīng)的宏塊大小擴(kuò)大一倍，重新比較所述待插幀fn的前ー幀中一定位移處的對(duì)應(yīng)宏塊與后ー巾貞fn+i中相反位移處的對(duì)應(yīng)宏塊，找到使兩者最為相似的位移作為該宏塊擴(kuò)大后的運(yùn)動(dòng)向量。
9.如權(quán)利要求3 5中任一項(xiàng)所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于，步驟(3)中所述在局部范圍內(nèi)檢測(cè)經(jīng)過(guò)上述修正后的運(yùn)動(dòng)向量場(chǎng)中的局部異常運(yùn)動(dòng)向量的方法如下 用ー個(gè)WXW窗ロ遍歷經(jīng)過(guò)步驟(2)修正后的運(yùn)動(dòng)向量場(chǎng)； 對(duì)每個(gè)位置窗ロ內(nèi)各宏塊，計(jì)算其絕對(duì)差和SAD ； 絕對(duì)差和SAD最大的宏塊對(duì)應(yīng)的運(yùn)動(dòng)向量為異常運(yùn)動(dòng)向量。
10.如權(quán)利要求9所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于所述W的取值范圍在2 4個(gè)宏塊之間。
11.如權(quán)利要求9所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于，步驟(3)中所述修正所述局部異常運(yùn)動(dòng)向量的方法包括以下步驟 將所述異常運(yùn)動(dòng)向量對(duì)應(yīng)的宏塊的八鄰域宏塊分為16個(gè)重疊的宏塊；對(duì)新產(chǎn)生的宏塊重新在其前后幀中搜索其運(yùn)動(dòng)向量，用え}-表示所述異常運(yùn)動(dòng)向量對(duì)應(yīng)的宏塊的16鄰域宏塊的運(yùn)動(dòng)向量，根據(jù)如下公式計(jì)算修正后的運(yùn)動(dòng)向量
12.如權(quán)利要求3 5中任一項(xiàng)所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于所述方法還包括對(duì)幀邊緣宏塊進(jìn)行互補(bǔ)償處理的步驟。
13.如權(quán)利要求12所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于所述互補(bǔ)償處理的過(guò)程包括以下步驟 首先在步驟(2)和步驟(3)中修正運(yùn)動(dòng)向量場(chǎng)時(shí)，只修正除了待插幀邊緣宏塊外的運(yùn)動(dòng)向量場(chǎng)，而將待插幀的邊緣宏塊均看作異常運(yùn)動(dòng)向量對(duì)應(yīng)宏塊，按照步驟(2)中修正異常向量的方法加以修正； 然后，假設(shè)Βη_1; Βη+1表示相鄰幀fn+1中對(duì)應(yīng)的宏塊，采用如下公式最大補(bǔ)償對(duì)應(yīng)的宏塊
14.如權(quán)利要求12所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于所述方法在對(duì)幀邊緣宏塊進(jìn)行互補(bǔ)償處理之后還包括計(jì)算待插幀中預(yù)測(cè)宏塊與前后幀對(duì)應(yīng)宏塊的相似度，根據(jù)所述相似度計(jì)算權(quán)重，并以所述權(quán)重對(duì)修正后的運(yùn)動(dòng)向量場(chǎng)進(jìn)行加權(quán)運(yùn)動(dòng)補(bǔ)償?shù)牟襟E。
15.如權(quán)利要求14所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于，所述權(quán)重采用如下計(jì)算公式計(jì)算
16.如權(quán)利要求15所述的視頻幀速率上轉(zhuǎn)換方法，其特征在于，所述對(duì)修正后的運(yùn)動(dòng)向量場(chǎng)進(jìn)行加權(quán)運(yùn)動(dòng)補(bǔ)償?shù)倪^(guò)程如下 在修正后的運(yùn)動(dòng)向量場(chǎng)的基礎(chǔ)上結(jié)合所述權(quán)重對(duì)待插巾貞的姆個(gè)宏塊實(shí)施加權(quán)運(yùn)動(dòng)補(bǔ)償
17.—種視頻幀速率上轉(zhuǎn)換系統(tǒng)，其特征在于，包括用于獲取低幀速率視頻序列相鄰兩幀間的初始運(yùn)動(dòng)向量場(chǎng)的獲取裝置(12)； 用于在全局范圍內(nèi)檢測(cè)所述初始運(yùn)動(dòng)向量場(chǎng)中的明顯異常運(yùn)動(dòng)向量，參考局部最可靠運(yùn)動(dòng)向量對(duì)所述明顯異常運(yùn)動(dòng)向量進(jìn)行修正的第一修正裝置(13)； 用于在局部范圍內(nèi)檢測(cè)所述初始運(yùn)動(dòng)向量場(chǎng)中的局部異常運(yùn)動(dòng)向量，參考鄰域運(yùn)動(dòng)向量采用最大似然估計(jì)修正所述局部異常運(yùn)動(dòng)向量的第二修正裝置(14)。
18.如權(quán)利要求17所述的視頻幀速率上轉(zhuǎn)換系統(tǒng)，其特征在于所述系統(tǒng)還包括用于對(duì)低幀速率視頻序列的相鄰兩幀進(jìn)行下采樣處理的下采樣裝置(11)。
19.如權(quán)利要求17或18所述的視頻幀速率上轉(zhuǎn)換系統(tǒng)，其特征在于所述系統(tǒng)還包括用于對(duì)幀邊緣宏塊進(jìn)行互補(bǔ)償處理的第三修正裝置(15)。
20.如權(quán)利要求17或18所述的視頻幀速率上轉(zhuǎn)換系統(tǒng)，其特征在于所述系統(tǒng)還包括用于計(jì)算待插幀中預(yù)測(cè)宏塊與前后幀對(duì)應(yīng)宏塊的相似度，根據(jù)所述相似度計(jì)算權(quán)重，并以所述權(quán)重對(duì)修正后的運(yùn)動(dòng)向量場(chǎng)進(jìn)行加權(quán)運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償裝置(16)。
全文摘要
本發(fā)明涉及一種視頻幀速率上轉(zhuǎn)換方法及系統(tǒng)，屬于視頻幀速率轉(zhuǎn)換技術(shù)領(lǐng)域。本發(fā)明首先獲取相鄰兩幀間的初始運(yùn)動(dòng)向量場(chǎng)；然后在全局范圍內(nèi)檢測(cè)初始運(yùn)動(dòng)向量場(chǎng)中的明顯異常運(yùn)動(dòng)向量，參照局部最可靠運(yùn)動(dòng)向量對(duì)明顯異常運(yùn)動(dòng)向量進(jìn)行修正；在局部范圍內(nèi)檢測(cè)初始運(yùn)動(dòng)向量場(chǎng)中的異常運(yùn)動(dòng)向量，參照鄰域運(yùn)動(dòng)向量采用最大似然估計(jì)修正異常運(yùn)動(dòng)向量；最后利用結(jié)構(gòu)相似度計(jì)算待插幀中預(yù)測(cè)宏塊與前后幀對(duì)應(yīng)宏塊的相似度，以相似度為權(quán)重對(duì)修正后的運(yùn)動(dòng)向量場(chǎng)進(jìn)行加權(quán)運(yùn)動(dòng)補(bǔ)償，得到低幀速率視頻序列相鄰兩幀的內(nèi)插幀。本發(fā)明適用于高端多媒體系統(tǒng)的幀速率轉(zhuǎn)換、低比特率視頻系統(tǒng)的碼率恢復(fù)以及無(wú)線視頻通信系統(tǒng)的缺幀重構(gòu)等場(chǎng)合。
文檔編號(hào)H04N7/26GK102868879SQ20111018714
公開(kāi)日2013年1月9日 申請(qǐng)日期2011年7月5日 優(yōu)先權(quán)日2011年7月5日
發(fā)明者白蔚, 劉家瑛, 任杰, 郭宗明 申請(qǐng)人:北京大學(xué), 北大方正集團(tuán)有限公司, 北京北大方正電子有限公司