專利名稱：一種分層運(yùn)動(dòng)估計(jì)方法和超大規(guī)模集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種MPEG-4中的運(yùn)動(dòng)估計(jì)方法和超大規(guī)模集成電路，具體地說，涉及MPEG-4中的一種分層運(yùn)動(dòng)估計(jì)方法和超大規(guī)模集成電路。
背景技術(shù)：
當(dāng)今時(shí)代，信息技術(shù)和計(jì)算機(jī)互聯(lián)網(wǎng)飛速發(fā)展，多媒體信息已成為人類獲取信息的最主要載體，多媒體信息數(shù)據(jù)量非常大，對(duì)信息存儲(chǔ)設(shè)備及通信網(wǎng)絡(luò)均提出了很高要求，從而成為阻礙人們有效獲取和使用信息的重大瓶頸，因此研究高效的多媒體數(shù)據(jù)壓縮編碼方法，以壓縮形式存儲(chǔ)和傳輸數(shù)字化的多媒體信息具有重要意義。國際標(biāo)準(zhǔn)化組織于1998年成立了運(yùn)動(dòng)圖像壓縮編碼組織(MPEG)，經(jīng)過專家組不懈的努力，制定了幾種視頻壓縮標(biāo)準(zhǔn)，其中MPEG-4標(biāo)準(zhǔn)已成為現(xiàn)今國際上的研究熱點(diǎn)。
MPEG-4只處理圖像幀與幀之間有差異的元素而舍棄相同的部分，大大減少了數(shù)據(jù)量。運(yùn)動(dòng)估計(jì)是去除時(shí)間冗余的有效方法，所謂的時(shí)間冗余是指圖像幀與幀之間有大量相同元素的存在。MPEG-4中提供了基于塊的運(yùn)動(dòng)估計(jì)和補(bǔ)償技術(shù)來有效地處理各幀之間的時(shí)間冗余。MPEG-4認(rèn)為當(dāng)前幀每一個(gè)圖像塊，都能在下一幀圖像中找到對(duì)應(yīng)塊，在此基礎(chǔ)上，下一幀圖像的對(duì)應(yīng)塊就能夠通過前一幀的圖像塊加上一個(gè)預(yù)測(cè)運(yùn)動(dòng)向量來重建。MPEG-4中的運(yùn)動(dòng)估計(jì)就是要找出當(dāng)前幀中各圖像塊的預(yù)測(cè)運(yùn)動(dòng)向量。上述圖像塊的大小為16×16、8×8等，16×16、8×8是指，圖像塊在x方向和y方向的寬度都為16或8個(gè)象素，整個(gè)圖像塊是由256或64個(gè)象素點(diǎn)構(gòu)成的正方形圖像區(qū)域。在MPEG中，所處理的圖像塊為16×16，當(dāng)前幀中要計(jì)算預(yù)測(cè)運(yùn)動(dòng)向量的圖像塊被稱為預(yù)測(cè)宏塊，下一幀圖像中與當(dāng)前圖像塊進(jìn)行匹配操作的圖像塊被稱為搜索圖像塊，當(dāng)前圖像塊在下一幀圖像中要作搜索的整個(gè)圖像區(qū)域稱為搜索窗。
運(yùn)動(dòng)估計(jì)算法的研究已經(jīng)比較深入，提出了許多有效的方法，比如全搜索算法、三步法、菱形算法等等。同時(shí)，隨著手持視頻終端市場(chǎng)的發(fā)展，對(duì)低功耗、小尺寸的處理芯片的要求越來越迫切。
在全搜索算法中，需要對(duì)當(dāng)前幀中的預(yù)測(cè)宏塊與下一幀中的預(yù)測(cè)宏塊的搜索窗內(nèi)的每一個(gè)與預(yù)測(cè)宏塊相同大小的圖像塊進(jìn)行匹配，因而全搜索算法雖然性能好，算法規(guī)整，便于硬件實(shí)現(xiàn)，但是計(jì)算量太大，需要的計(jì)算陣列也比較龐大，功耗較高，不適合現(xiàn)有市場(chǎng)的需求，其他算法雖然計(jì)算量少，但是算法不規(guī)律，算法的每一個(gè)步驟取決于之前預(yù)測(cè)宏塊和搜索圖像塊已經(jīng)匹配的具體結(jié)果，不適合硬件實(shí)現(xiàn)。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是設(shè)計(jì)一種分層運(yùn)動(dòng)估計(jì)方法和超大規(guī)模集成電路，用于數(shù)字視頻編碼應(yīng)用中，使采用該方法和超大規(guī)模集成電路的視頻編碼芯片的尺寸和功耗大為降低，并且支持MPEG-4標(biāo)準(zhǔn)下的高級(jí)預(yù)測(cè)模式。MPEG-4的高級(jí)預(yù)測(cè)模式是指在運(yùn)動(dòng)估計(jì)中，不僅提供16×16預(yù)測(cè)宏塊的運(yùn)動(dòng)估計(jì)結(jié)果，還要提供預(yù)測(cè)宏塊中4個(gè)8×8子圖像塊的運(yùn)動(dòng)估計(jì)結(jié)果。
本發(fā)明的目的是這樣實(shí)現(xiàn)的一種分層運(yùn)動(dòng)估計(jì)方法，該方法包括以下步驟A)對(duì)原始圖像進(jìn)行至少一次低采樣率采樣，在每次低采樣率采樣時(shí)，反復(fù)調(diào)用N×N圖像塊的匹配搜索來實(shí)現(xiàn)預(yù)測(cè)宏塊的匹配搜索，得到預(yù)測(cè)宏塊在低采樣率下的預(yù)測(cè)運(yùn)動(dòng)矢量，所述N表示圖像塊的寬度或高度；B)直接處理原始圖像，以A)中獲取的預(yù)測(cè)宏塊在低采樣率下的預(yù)測(cè)運(yùn)動(dòng)矢量為初始位置作匹配搜索，得到預(yù)測(cè)宏塊的最終預(yù)測(cè)運(yùn)動(dòng)矢量。
所述N的值取8，4或2。
所述步驟A)包括A1)對(duì)原始圖像進(jìn)行4∶1的采樣，在預(yù)測(cè)宏塊對(duì)應(yīng)位置處[-4，3]范圍內(nèi)作匹配搜索，得到預(yù)測(cè)運(yùn)動(dòng)矢量V1；A2)對(duì)原始圖像進(jìn)行2∶1的采樣，以A1)中獲取的V1為初始位置作[-2，1]范圍內(nèi)的匹配搜索，得到預(yù)測(cè)宏塊在低采樣率下的預(yù)測(cè)運(yùn)動(dòng)矢量。
所述步驟A2)進(jìn)一步包括A21)采用中值法從預(yù)測(cè)宏塊的三個(gè)相鄰宏塊的預(yù)測(cè)運(yùn)動(dòng)矢量中獲得預(yù)測(cè)運(yùn)動(dòng)矢量V2；A22)對(duì)原始圖像進(jìn)行2∶1的采樣，分別以A1)中獲取的V1和A21)中獲取的V2為初始位置作[-2，1]范圍內(nèi)的匹配搜索，得到預(yù)測(cè)宏塊在低采樣率下的預(yù)測(cè)運(yùn)動(dòng)矢量。
所述步驟A1)包括對(duì)原始圖像進(jìn)行4∶1的采樣，預(yù)測(cè)宏塊被抽樣為一個(gè)4×4的當(dāng)前圖像塊，預(yù)測(cè)宏塊在對(duì)應(yīng)位置處[-4，3]范圍內(nèi)的匹配搜索被分解為當(dāng)前圖像塊在4個(gè)起始位置處的匹配搜索進(jìn)行。
所述步驟A2)包括對(duì)原始圖像進(jìn)行2∶1的采樣，預(yù)測(cè)宏塊被抽樣為一個(gè)8×8的當(dāng)前圖像塊，預(yù)測(cè)宏塊在對(duì)應(yīng)位置處[-2，1]范圍內(nèi)的匹配搜索被分解為4個(gè)4×4圖像塊的匹配搜索進(jìn)行，把這4個(gè)4×4圖像塊與對(duì)應(yīng)搜索圖像塊的絕對(duì)誤差和累加得到當(dāng)前8×8圖像塊的絕對(duì)誤差和。
所述步驟B)包括直接處理預(yù)測(cè)宏塊，當(dāng)前圖像塊的大小為16×16，預(yù)測(cè)宏塊在對(duì)應(yīng)位置處[-2，1]范圍內(nèi)的匹配搜索被分解為16個(gè)4×4圖像塊的匹配搜索進(jìn)行，把這16個(gè)4×4圖像塊與對(duì)應(yīng)搜索圖像塊的絕對(duì)誤差和累加得到當(dāng)前圖像塊的絕對(duì)誤差和。
所述步驟B)進(jìn)一步包括，通過以下方式實(shí)現(xiàn)MPEG-4的高級(jí)預(yù)測(cè)模式預(yù)測(cè)宏塊在對(duì)應(yīng)位置處[-2，1]范圍內(nèi)的匹配搜索被分解為16個(gè)4×4圖像塊的匹配搜索進(jìn)行，把這16個(gè)4×4圖像塊再分成分別組成預(yù)測(cè)宏塊的4個(gè)8×8子圖像塊的4組，把4組4×4圖像塊的絕對(duì)誤差和累加起來并輸出、比較，得到預(yù)測(cè)宏塊的4個(gè)8×8子圖像塊的預(yù)測(cè)運(yùn)動(dòng)矢量即MPEG-4的高級(jí)預(yù)測(cè)結(jié)果。
本發(fā)明的目的是這樣實(shí)現(xiàn)的一種分層運(yùn)動(dòng)估計(jì)超大規(guī)模集成電路，其特征在于該電路包括處理單元陣列、數(shù)據(jù)存儲(chǔ)區(qū)、控制器和比較判別器，其中數(shù)據(jù)存儲(chǔ)區(qū)存儲(chǔ)預(yù)測(cè)宏塊數(shù)據(jù)和搜索窗數(shù)據(jù)；處理單元陣列包括N×N個(gè)處理單元，用于計(jì)算當(dāng)前N×N圖像塊與某一位置處[-N/2，N/2-1]范圍內(nèi)N×N個(gè)N×N搜索圖像塊的絕對(duì)誤差和；比較判決器用于根據(jù)處理單元陣列輸出的計(jì)算結(jié)果，得到預(yù)測(cè)運(yùn)動(dòng)矢量并送給控制器；控制器用于從數(shù)據(jù)存儲(chǔ)區(qū)把當(dāng)前N×N圖像塊數(shù)據(jù)和搜索圖像塊數(shù)據(jù)送到處理單元陣列，控制處理單元陣列的操作，把處理單元陣列的計(jì)算結(jié)果送給比較判決器，以及從比較判決器得到預(yù)測(cè)宏塊的預(yù)測(cè)運(yùn)動(dòng)矢量。
所述的處理單元在控制器的控制下實(shí)現(xiàn)當(dāng)前N×N圖像塊與某一位置處[-N/2，N/2-1]范圍內(nèi)的N×N個(gè)搜索圖像塊中一個(gè)塊的絕對(duì)誤差和的計(jì)算，所述搜索圖像塊在[-N/2，N/2-1]范圍內(nèi)的相對(duì)位置是固定的。
所述的處理單元在控制器的控制下實(shí)現(xiàn)當(dāng)前N×N圖像塊與多個(gè)搜索N×N圖像塊的絕對(duì)誤差和累加的計(jì)算。
所述的處理單元進(jìn)一步包括一個(gè)由4個(gè)累加器組成的累加器組和一個(gè)大小為4的寄存器，用以實(shí)現(xiàn)MPEG-4的高級(jí)預(yù)測(cè)，其中4個(gè)累加器負(fù)責(zé)分別累加預(yù)測(cè)宏塊的4個(gè)8×8子圖像塊與搜索圖像塊的絕對(duì)誤差和，寄存器負(fù)責(zé)保存4個(gè)子圖像塊的預(yù)測(cè)運(yùn)動(dòng)矢量。
所述控制器用于從數(shù)據(jù)存儲(chǔ)區(qū)把搜索圖像塊數(shù)據(jù)送到處理單元陣列的方式為控制器用于把搜索圖像塊數(shù)據(jù)以流水線方式分奇數(shù)和偶數(shù)列像素值兩路送入所述處理單元陣列，奇數(shù)列數(shù)據(jù)比偶數(shù)列數(shù)據(jù)遲滯4個(gè)周期，并控制處理單元陣列每隔四個(gè)周期其取值對(duì)象由其中一路轉(zhuǎn)換為另一路。
所述控制器用于從數(shù)據(jù)存儲(chǔ)區(qū)把當(dāng)前N×N圖像塊數(shù)據(jù)送到處理單元陣列的方式為控制器用于把當(dāng)前圖像塊數(shù)據(jù)以并行方式送入處理單元陣列，在同一個(gè)周期中，所有處理單元使用當(dāng)前圖像塊中同一像素值。
本發(fā)明是一種分層運(yùn)動(dòng)估計(jì)方法和超大規(guī)模集成電路，通過在多種采樣率下進(jìn)行匹配搜索并把用到的匹配搜索都分解為多個(gè)基本搜索單元來進(jìn)行，從而取得了以下的積極效果搜索速度明顯優(yōu)于全搜索算法；超大規(guī)模集成電路的陣列結(jié)構(gòu)簡單，功耗低、尺寸小，在不增加計(jì)算量和運(yùn)算陣列的前提下，利用在處理單元中增加的由4個(gè)累加器組成的累加器組和一個(gè)大小為4的寄存器就能支持MPEG-4標(biāo)準(zhǔn)下的高級(jí)預(yù)測(cè)模式。


圖1是分層運(yùn)動(dòng)估計(jì)方法流程圖。
圖2是子塊搜索順序圖。
圖3是電路整體示意圖。
圖4是PE陣列結(jié)構(gòu)圖。
圖5是PE結(jié)構(gòu)圖。
圖6是用于高級(jí)預(yù)測(cè)模式的累加器組結(jié)構(gòu)圖。
圖7是數(shù)據(jù)的水平交疊特性圖。
圖8是PE陣列的輸入時(shí)序圖。
具體實(shí)施例方式
為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下參照附圖并舉實(shí)施例，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明，在以下的介紹中，N取值為4，圖像塊的匹配搜索都通過反復(fù)調(diào)用4×4圖像塊的匹配搜索來實(shí)現(xiàn)，PE陣列中PE的數(shù)目等于4×4，即16。
本發(fā)明是一種分層運(yùn)動(dòng)估計(jì)方法，該方法把MPEG-4中對(duì)16×16預(yù)測(cè)宏塊的運(yùn)動(dòng)估計(jì)分為四個(gè)步驟來實(shí)現(xiàn)，整個(gè)方法流程參見圖1所示，子塊搜索順序參見圖2所示。
101)對(duì)原始圖像進(jìn)行4∶1的采樣，在4∶1采樣下，從x方向4個(gè)象素點(diǎn)寬度、y方向4個(gè)象素點(diǎn)寬度的一個(gè)4×4圖像塊內(nèi)抽取一個(gè)象素點(diǎn)作為該圖像塊的采樣值，在MPEG-4中，預(yù)測(cè)宏塊的大小為16×16，在4∶1采樣下被采樣為1個(gè)4×4當(dāng)前圖像塊。在預(yù)測(cè)宏塊對(duì)應(yīng)位置處[-4，3]范圍內(nèi)搜索最佳匹配位置，得到預(yù)測(cè)運(yùn)動(dòng)矢量V1。在預(yù)測(cè)宏塊對(duì)應(yīng)位置處[-4，3]范圍內(nèi)搜索最佳匹配位置，被分解為當(dāng)前圖像塊在4個(gè)起始位置處的基本搜索單元進(jìn)行，基本搜索單元是指一個(gè)4×4當(dāng)前圖像塊在某一位置處[-2，1]范圍內(nèi)的匹配搜索。在本發(fā)明中，搜索最佳匹配位置采用的準(zhǔn)則是絕對(duì)誤差和(SAD)準(zhǔn)則，與當(dāng)前圖像塊匹配最佳的搜索圖像塊是與當(dāng)前圖像塊在相同位置處象素點(diǎn)值差的絕對(duì)值之和最小的圖像塊。。
步驟101)中所述的對(duì)應(yīng)位置處[-4，3]的范圍是指以預(yù)測(cè)宏塊對(duì)應(yīng)位置為中心的、x坐標(biāo)在[-4，3]范圍內(nèi)、y坐標(biāo)也在[-4，3]范圍內(nèi)的一個(gè)8×8塊，在預(yù)測(cè)宏塊對(duì)應(yīng)位置處[-4，3]范圍內(nèi)搜索最佳匹配位置，就是把預(yù)測(cè)宏塊與以這8×8塊內(nèi)每一個(gè)點(diǎn)為中心的搜索圖像塊、共64個(gè)搜索圖像塊進(jìn)行匹配。
102)采用中值法從預(yù)測(cè)宏塊的三個(gè)相鄰宏塊的預(yù)測(cè)運(yùn)動(dòng)矢量中獲得一個(gè)該預(yù)測(cè)宏塊的預(yù)測(cè)運(yùn)動(dòng)矢量V2。所述的三個(gè)相鄰宏塊為MPEG-4所規(guī)定，在此前的預(yù)測(cè)中，這三個(gè)宏塊的預(yù)測(cè)運(yùn)動(dòng)矢量已經(jīng)取得。
103)對(duì)原始圖像進(jìn)行2∶1的采樣，預(yù)測(cè)宏塊被采樣為1個(gè)8×8的當(dāng)前圖像塊，當(dāng)前8×8圖像塊在兩個(gè)初始位置V1和V2處作[-2，1]范圍內(nèi)的匹配搜索，獲得一個(gè)最佳匹配位置，得到對(duì)應(yīng)的預(yù)測(cè)運(yùn)動(dòng)矢量V3。8×8當(dāng)前圖像塊在某一位置處[-2，1]范圍內(nèi)的匹配搜索被分解為4個(gè)4×4圖像塊的基本搜索單元進(jìn)行，在匹配搜索過程中，累加4個(gè)4×4圖像塊的絕對(duì)誤差和得到當(dāng)前8×8圖像塊的絕對(duì)誤差和。
所述的步驟101)和102)中，采用分層運(yùn)動(dòng)估計(jì)方法與相鄰宏塊預(yù)測(cè)運(yùn)動(dòng)矢量相結(jié)合的方法，為步驟103)提供了兩個(gè)初始匹配點(diǎn)，提高了運(yùn)動(dòng)估計(jì)精度。
104)直接處理原始圖像，預(yù)測(cè)宏塊就是當(dāng)前圖像塊，大小為16×16，當(dāng)前圖像塊在V3處作[-2，1]范圍內(nèi)的匹配搜索，得到預(yù)測(cè)宏塊的最終預(yù)測(cè)運(yùn)動(dòng)矢量。當(dāng)前圖像塊所作的[-2，1]范圍內(nèi)的匹配搜索被分解為16個(gè)4×4圖像塊的基本搜索單元進(jìn)行，把這16個(gè)4×4圖像塊的SAD累加得到當(dāng)前圖像塊的SAD。在上述過程中，可以通過以下方式實(shí)現(xiàn)MPEG-4的高級(jí)預(yù)測(cè)模式當(dāng)前圖像塊由16個(gè)4×4圖像塊組成，這16個(gè)圖像塊又可以分成4組，分別組成預(yù)測(cè)宏塊的4個(gè)8×8子圖像塊，在進(jìn)行這16個(gè)4×4圖像塊的SAD累加時(shí)，把4組4×4圖像塊的絕對(duì)誤差和累加起來并輸出、比較，得到預(yù)測(cè)宏塊的4個(gè)8×8子圖像塊的預(yù)測(cè)運(yùn)動(dòng)矢量即MPEG-4的高級(jí)預(yù)測(cè)結(jié)果。
本發(fā)明還提供了一種超大規(guī)模集成電路，由PE陣列、數(shù)據(jù)存儲(chǔ)區(qū)、控制器和比較判別器組成，其中數(shù)據(jù)存儲(chǔ)區(qū)由當(dāng)前數(shù)據(jù)存儲(chǔ)區(qū)域和搜索數(shù)據(jù)存儲(chǔ)區(qū)域2個(gè)部分組成，整體電路如圖3所示，圖中當(dāng)前數(shù)據(jù)存儲(chǔ)區(qū)域，用于存儲(chǔ)預(yù)測(cè)宏塊數(shù)據(jù)，在運(yùn)行過程中需要反復(fù)讀??；搜索數(shù)據(jù)存儲(chǔ)區(qū)域，用于存儲(chǔ)整個(gè)搜索窗的數(shù)據(jù)；控制器，用于控制當(dāng)前圖像塊和搜索圖像塊的讀取，處理單元陣列和比較判決器；PE陣列，用于實(shí)現(xiàn)基本搜索單元；比較判決器，用于對(duì)各個(gè)基本搜索單元的計(jì)算結(jié)果進(jìn)行比較判決。
所述的PE陣列由16個(gè)PE組成，與判決比較器一起，在控制器的控制下完成4×4圖像塊在某一位置處[-2，1]范圍內(nèi)的匹配搜索，這一匹配搜索稱作基本搜索單元。所述的PE陣列結(jié)構(gòu)如圖4所示，圖中SW，搜索圖像塊數(shù)據(jù)；Cur，當(dāng)前塊數(shù)據(jù)；S00，搜索圖像塊第0列第一個(gè)像素值；PE，處理單元；Acc*，累加器組。
所述的PE完成一個(gè)4×4圖像塊與某一位置處[-2，1]范圍內(nèi)的16個(gè)圖像塊中的一個(gè)塊的匹配，得到當(dāng)前4×4圖像塊與該塊的SAD，并能在控制下累加多個(gè)4×4圖像塊的SAD，每個(gè)PE還有一個(gè)由4個(gè)累加器組成的累加器組和一個(gè)大小為4的寄存器，以實(shí)現(xiàn)MPEG-4的高級(jí)預(yù)測(cè)。PE的結(jié)構(gòu)組成如圖5所示，圖中Cur，當(dāng)前塊數(shù)據(jù)；SW，搜索圖像塊數(shù)據(jù)；Reg，寄存器；Acc，累加器。
所述的PE還包含用于高級(jí)預(yù)測(cè)模式的累加器組，其結(jié)構(gòu)如圖6所示PE計(jì)算得到的16個(gè)當(dāng)前4×4圖像塊與搜索4×4圖像塊的SAD值被分成4組，分別送入4個(gè)累加器中，累加得到預(yù)測(cè)宏塊的4個(gè)8×8子圖像塊的SAD值。
本發(fā)明超大規(guī)模集成電路通過以下方式實(shí)現(xiàn)一個(gè)基本搜索單元，即一個(gè)4×4當(dāng)前圖像塊在某一位置處[-2，1]范圍內(nèi)的匹配搜索。在這一過程中，利用到數(shù)據(jù)的水平交疊特性。水平交疊特性如圖7所示，是指與當(dāng)前圖像塊先后進(jìn)行匹配的兩個(gè)搜索圖像塊有交疊，即有共同的若干列數(shù)據(jù)。據(jù)此特性，搜索圖像塊數(shù)據(jù)被分為奇偶兩列采取流水線的方式進(jìn)入PE陣列，其中偶數(shù)列數(shù)據(jù)要比奇數(shù)列遲滯4個(gè)周期，搜索圖像塊數(shù)據(jù)在PE陣列的輸入時(shí)序如圖8所示，圖中C()代表預(yù)測(cè)宏塊，S()代表搜索圖像塊，黑體數(shù)據(jù)表示該數(shù)據(jù)取自搜索圖像塊的奇數(shù)列，其他數(shù)據(jù)取自搜索圖像塊的偶數(shù)列。每個(gè)PE通過控制器控制的二選一的多路復(fù)用器選擇其中一路數(shù)據(jù)，與當(dāng)前4×4圖像塊的數(shù)據(jù)計(jì)算差值，并將差值送入累加器累加。在開始計(jì)算前，需要經(jīng)過16個(gè)周期的數(shù)據(jù)預(yù)載，使數(shù)據(jù)在寄存器組中逐步移位至圖4所示狀態(tài)，在這之前復(fù)用器處于高阻狀態(tài)，累加器不從PE接受數(shù)據(jù)。然后復(fù)用器進(jìn)入工作狀態(tài)，從兩路數(shù)據(jù)中選擇一路數(shù)據(jù)送入PE，與當(dāng)前圖像塊數(shù)據(jù)計(jì)算差值，將結(jié)果送入累加器累加。前四個(gè)計(jì)算周期內(nèi)，序號(hào)為0～3和8～11的PE從奇數(shù)列取值，其他PE從偶數(shù)列取值。四個(gè)周期后，他們?nèi)≈档膶?duì)象剛好調(diào)換，序號(hào)為0～3和8～11的PE從偶數(shù)列取值，其他單元從奇數(shù)列取值，此后每隔四個(gè)周期再次調(diào)換，直到完成一次4×4塊的搜索。計(jì)算過程中，兩列寄存器的數(shù)據(jù)繼續(xù)保持移位操作。在十六個(gè)周期后，PE陣列得到當(dāng)前4×4圖像塊與某一位置處[-2，1]范圍內(nèi)共16個(gè)搜索圖像塊的SAD值，這些SAD值由各PE輸入到比較判決器，比較判決器確定其中的最小值。每個(gè)PE計(jì)算的搜索圖像塊在[-2，1]范圍內(nèi)的相對(duì)位置是固定的，比較判決器只需要判斷最小的SAD值來自哪個(gè)PE，就可以得到對(duì)應(yīng)的預(yù)測(cè)運(yùn)動(dòng)矢量，不需要添加專門存儲(chǔ)位置的附加電路，使本發(fā)明超大規(guī)模集成電路結(jié)構(gòu)更加簡潔。
在本發(fā)明中，分層運(yùn)動(dòng)估計(jì)方法的所有搜索，都通過對(duì)基本搜索單元的反復(fù)調(diào)用實(shí)現(xiàn)。下面分別說明本發(fā)明超大規(guī)模集成電路如何實(shí)現(xiàn)所述分層運(yùn)動(dòng)估計(jì)方法中需要用到的各個(gè)搜索功能。
當(dāng)前4×4當(dāng)前圖像塊在對(duì)應(yīng)位置處[-4，3]范圍內(nèi)的搜索被分解為4個(gè)基本搜索單元進(jìn)行，在這四個(gè)基本搜索單元中，由控制電路從搜索數(shù)據(jù)存儲(chǔ)區(qū)域向PE陣列分別載入整個(gè)[-4，3]范圍內(nèi)的某個(gè)位置處[-2，1]范圍內(nèi)的數(shù)據(jù)。
當(dāng)前8×8圖像塊在某一位置處[-2，1]范圍內(nèi)的匹配搜索被分解為4個(gè)4×4圖像塊的基本搜索單元進(jìn)行，在搜索過程中，由控制電路對(duì)基本搜索單元加以控制，累加這4個(gè)4×4圖像塊的SAD得到當(dāng)前8×8圖像塊的SAD。具體地說，與在基本搜索單元中PE計(jì)算完一個(gè)4×4的塊就將結(jié)果輸出到比較判決器中、同時(shí)進(jìn)行清零操作不同，在這一搜索中，計(jì)算完一個(gè)4×4的塊后PE的累加器不清零，在預(yù)載下一個(gè)4×4塊數(shù)據(jù)的時(shí)段內(nèi)保持其值不變，等待下一個(gè)4×4塊計(jì)算，連續(xù)計(jì)算完四個(gè)4×4塊才將結(jié)果輸出，即需要累加64次。
當(dāng)前16×16圖像塊在某一位置處[-2，1]范圍內(nèi)的匹配搜索被分解為16個(gè)4×4圖像塊的基本搜索單元進(jìn)行，由控制電路對(duì)基本搜索單元加以控制，把這16個(gè)4×4圖像塊的SAD累加得到當(dāng)前圖像塊的SAD，具體地說，在這一搜索中，計(jì)算完一個(gè)4×4的塊后PE的累加器不清零，在預(yù)載下一個(gè)4×4塊數(shù)據(jù)的時(shí)段內(nèi)保持其值不變，等待下一個(gè)4×4塊計(jì)算，連續(xù)計(jì)算完16個(gè)4×4塊才將結(jié)果輸出，即需要累加256次。
MPEG-4的高級(jí)預(yù)測(cè)模式在進(jìn)行16×16圖像塊在某一位置處[-2，1]范圍內(nèi)的匹配搜索過程中，分別組成16×16預(yù)測(cè)宏塊的4個(gè)8×8子圖像塊的4組4×4圖像塊的SAD值在控制器的指令下，被輸入到PE的累加器組中對(duì)應(yīng)該8×8子圖像塊的一個(gè)累加器中去，由這4個(gè)累加器分別累加這4組4×4圖像塊的SAD，并輸出結(jié)果給寄存器，就得到了MPEG-4的高級(jí)預(yù)測(cè)結(jié)果。
在上述實(shí)施例的介紹中，N取值為4，本發(fā)明中N的取值還可以為8，2，具體實(shí)施方式
與上述實(shí)施例類似。
本發(fā)明并不局限于上述實(shí)施例的具體介紹。本發(fā)明可進(jìn)一步更新，或者對(duì)本發(fā)明所公開的特征加以新的組合，也可對(duì)本發(fā)明所公開的任何方法或者過程進(jìn)行更新或者進(jìn)行新組合。
權(quán)利要求
1.一種分層運(yùn)動(dòng)估計(jì)方法，其特征在于，該方法包括以下步驟A)對(duì)原始圖像進(jìn)行至少一次低采樣率采樣，在每次低采樣率采樣時(shí)，反復(fù)調(diào)用N×N圖像塊的匹配搜索來實(shí)現(xiàn)預(yù)測(cè)宏塊的匹配搜索，得到預(yù)測(cè)宏塊在低采樣率下的預(yù)測(cè)運(yùn)動(dòng)矢量，所述N表示圖像塊的寬度或高度；B)直接處理原始圖像，以A)中獲取的預(yù)測(cè)宏塊在低采樣率下的預(yù)測(cè)運(yùn)動(dòng)矢量為初始位置作匹配搜索，得到預(yù)測(cè)宏塊的最終預(yù)測(cè)運(yùn)動(dòng)矢量。
2.根據(jù)權(quán)利要求1所述的分層運(yùn)動(dòng)估計(jì)方法，其特征在于，N的值取8，4或2。
3.根據(jù)權(quán)利要求1所述的分層運(yùn)動(dòng)估計(jì)方法，其特征在于，所述步驟A)包括A1)對(duì)原始圖像進(jìn)行4∶1的采樣，在預(yù)測(cè)宏塊對(duì)應(yīng)位置處[-4，3]范圍內(nèi)作匹配搜索，得到預(yù)測(cè)運(yùn)動(dòng)矢量V1；A2)對(duì)原始圖像進(jìn)行2∶1的采樣，以A1)中獲取的V1為初始位置作[-2，1]范圍內(nèi)的匹配搜索，得到預(yù)測(cè)宏塊在低采樣率下的預(yù)測(cè)運(yùn)動(dòng)矢量。
4.根據(jù)權(quán)利要求3所述的分層運(yùn)動(dòng)估計(jì)方法，其特征在于，所述步驟A2)進(jìn)一步包括A21)采用中值法從預(yù)測(cè)宏塊的三個(gè)相鄰宏塊的預(yù)測(cè)運(yùn)動(dòng)矢量中獲得預(yù)測(cè)運(yùn)動(dòng)矢量V2；A22)對(duì)原始圖像進(jìn)行2∶1的采樣，分別以A1)中獲取的V1和A21)中獲取的V2為初始位置作[-2，1]范圍內(nèi)的匹配搜索，得到預(yù)測(cè)宏塊在低采樣率下的預(yù)測(cè)運(yùn)動(dòng)矢量。
5.根據(jù)權(quán)利要求3所述的分層運(yùn)動(dòng)估計(jì)方法，其特征在于，所述步驟A1)包括對(duì)原始圖像進(jìn)行4∶1的采樣，預(yù)測(cè)宏塊被抽樣為一個(gè)4×4的當(dāng)前圖像塊，預(yù)測(cè)宏塊在對(duì)應(yīng)位置處[-4，3]范圍內(nèi)的匹配搜索被分解為當(dāng)前圖像塊在4個(gè)起始位置處的匹配搜索進(jìn)行。
6.根據(jù)權(quán)利要求3所述的分層運(yùn)動(dòng)估計(jì)方法，其特征在于，所述步驟A2)包括對(duì)原始圖像進(jìn)行2∶1的采樣，預(yù)測(cè)宏塊被抽樣為一個(gè)8×8的當(dāng)前圖像塊，預(yù)測(cè)宏塊在對(duì)應(yīng)位置處[-2，1]范圍內(nèi)的匹配搜索被分解為4個(gè)4×4圖像塊的匹配搜索進(jìn)行，把這4個(gè)4×4圖像塊與對(duì)應(yīng)搜索圖像塊的絕對(duì)誤差和累加得到當(dāng)前8×8圖像塊的絕對(duì)誤差和。
7.根據(jù)權(quán)利要求1所述的分層運(yùn)動(dòng)估計(jì)方法，其特征在于，所述步驟B)包括直接處理預(yù)測(cè)宏塊，當(dāng)前圖像塊的大小為16×16，預(yù)測(cè)宏塊在對(duì)應(yīng)位置處[-2，1]范圍內(nèi)的匹配搜索被分解為16個(gè)4×4圖像塊的匹配搜索進(jìn)行，把這16個(gè)4×4圖像塊與對(duì)應(yīng)搜索圖像塊的絕對(duì)誤差和累加得到當(dāng)前圖像塊的絕對(duì)誤差和。
8.根據(jù)權(quán)利要求1所述的分層運(yùn)動(dòng)估計(jì)方法，其特征在于，所述步驟B)進(jìn)一步包括，通過以下方式實(shí)現(xiàn)MPEG-4的高級(jí)預(yù)測(cè)模式預(yù)測(cè)宏塊在對(duì)應(yīng)位置處[-2，1]范圍內(nèi)的匹配搜索被分解為16個(gè)4×4圖像塊的匹配搜索進(jìn)行，把這16個(gè)4×4圖像塊再分成分別組成預(yù)測(cè)宏塊的4個(gè)8×8子圖像塊的4組，把4組4×4圖像塊的絕對(duì)誤差和累加起來并輸出、比較，得到預(yù)測(cè)宏塊的4個(gè)8×8子圖像塊的預(yù)測(cè)運(yùn)動(dòng)矢量即MPEG-4的高級(jí)預(yù)測(cè)結(jié)果。
9.一種分層運(yùn)動(dòng)估計(jì)超大規(guī)模集成電路，其特征在于該電路包括處理單元陣列、數(shù)據(jù)存儲(chǔ)區(qū)、控制器和比較判別器，其中數(shù)據(jù)存儲(chǔ)區(qū)存儲(chǔ)預(yù)測(cè)宏塊數(shù)據(jù)和搜索窗數(shù)據(jù)；處理單元陣列包括N×N個(gè)處理單元，用于計(jì)算當(dāng)前N×N圖像塊與某一位置處[-N/2，N/2-1]范圍內(nèi)N×N個(gè)N×N搜索圖像塊的絕對(duì)誤差和；比較判決器用于根據(jù)處理單元陣列輸出的計(jì)算結(jié)果，得到預(yù)測(cè)運(yùn)動(dòng)矢量并送給控制器；控制器用于從數(shù)據(jù)存儲(chǔ)區(qū)把當(dāng)前N×N圖像塊數(shù)據(jù)和搜索圖像塊數(shù)據(jù)送到處理單元陣列，控制處理單元陣列的操作，把處理單元陣列的計(jì)算結(jié)果送給比較判決器，以及從比較判決器得到預(yù)測(cè)宏塊的預(yù)測(cè)運(yùn)動(dòng)矢量。
10.根據(jù)權(quán)利要求9所述的分層運(yùn)動(dòng)估計(jì)超大規(guī)模集成電路，其特征在于所述的處理單元在控制器的控制下實(shí)現(xiàn)當(dāng)前N×N圖像塊與某一位置處[-N/2，N/2-1]范圍內(nèi)的N×N個(gè)搜索圖像塊中一個(gè)塊的絕對(duì)誤差和的計(jì)算，其中，所述搜索圖像塊在[-N/2，N/2-1]范圍內(nèi)的相對(duì)位置是固定的。
11.根據(jù)權(quán)利要求9所述的分層運(yùn)動(dòng)估計(jì)超大規(guī)模集成電路，其特征在于所述的處理單元在控制器的控制下實(shí)現(xiàn)當(dāng)前N×N圖像塊與多個(gè)搜索N×N圖像塊的絕對(duì)誤差和累加的計(jì)算。
12.根據(jù)權(quán)利要求9所述的分層運(yùn)動(dòng)估計(jì)超大規(guī)模集成電路，其特征在于所述的處理單元進(jìn)一步包括一個(gè)由4個(gè)累加器組成的累加器組和一個(gè)大小為4的寄存器，用以實(shí)現(xiàn)MPEG-4的高級(jí)預(yù)測(cè)，其中4個(gè)累加器負(fù)責(zé)分別累加預(yù)測(cè)宏塊的4個(gè)8×8子圖像塊與搜索圖像塊的絕對(duì)誤差和，寄存器負(fù)責(zé)保存4個(gè)子圖像塊的預(yù)測(cè)運(yùn)動(dòng)矢量。
13.根據(jù)權(quán)利要求9所述的分層運(yùn)動(dòng)估計(jì)超大規(guī)模集成電路，其特征在于，所述控制器用于從數(shù)據(jù)存儲(chǔ)區(qū)把搜索圖像塊數(shù)據(jù)送到處理單元陣列的方式為控制器用于把搜索圖像塊數(shù)據(jù)以流水線方式分奇數(shù)和偶數(shù)列像素值兩路送入所述處理單元陣列，偶數(shù)列數(shù)據(jù)比奇數(shù)列數(shù)據(jù)遲滯4個(gè)周期，并控制處理單元陣列每隔四個(gè)周期其取值對(duì)象由其中一路轉(zhuǎn)換為另一路。
14.根據(jù)權(quán)利要求9所述的分層運(yùn)動(dòng)估計(jì)超大規(guī)模集成電路，其特征在于，所述控制器用于從數(shù)據(jù)存儲(chǔ)區(qū)把當(dāng)前N×N圖像塊數(shù)據(jù)送到處理單元陣列的方式為控制器用于把當(dāng)前圖像塊數(shù)據(jù)以并行方式送入處理單元陣列，在同一個(gè)周期中，所有處理單元使用當(dāng)前圖像塊中同一像素值。
全文摘要
一種分層運(yùn)動(dòng)估計(jì)方法，對(duì)預(yù)測(cè)宏塊的運(yùn)動(dòng)估計(jì)分別在多種采樣率下進(jìn)行，在低采樣率下作較大范圍的搜索，在原始圖像上作較小范圍的搜索，從而既保證了搜索的準(zhǔn)確率又保證了方法的執(zhí)行速度。實(shí)現(xiàn)該方法的超大規(guī)模集成電路由一個(gè)共N×N個(gè)處理單元組成的處理陣列、控制電路、存儲(chǔ)區(qū)域和比較判別器組成。本發(fā)明實(shí)現(xiàn)了一個(gè)結(jié)構(gòu)簡單、功耗低、尺寸小，搜索速度也要明顯優(yōu)于全搜索算法的分層運(yùn)動(dòng)估計(jì)超大規(guī)模集成電路，同時(shí)，該超大規(guī)模集成電路在不增加計(jì)算量和陣列尺寸的前提下支持MPEG－4標(biāo)準(zhǔn)下的高級(jí)預(yù)測(cè)模式。
文檔編號(hào)H04N7/32GK1852442SQ20051009321
公開日2006年10月25日 申請(qǐng)日期2005年8月19日 優(yōu)先權(quán)日2005年8月19日
發(fā)明者張江山, 喻鵬, 王琳 申請(qǐng)人:深圳市海思半導(dǎo)體有限公司