專利名稱：基于avs的并行流水的幀內(nèi)預(yù)測器的實現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明是涉及視頻壓縮的集成電路設(shè)計領(lǐng)域。
背景技術(shù)：
AVS是我國制定的第二代數(shù)字音視頻信源標(biāo)準(zhǔn)，具有自主知識產(chǎn)權(quán)，它的編碼效率與國 際標(biāo)準(zhǔn)MPEG-4/H.264相當(dāng)，代表了國際先進水平，可應(yīng)用于廣播、通信、電視、娛樂等各 個領(lǐng)域。
AVS幀內(nèi)預(yù)測中利用當(dāng)前塊的上方和左方的相鄰像素作為參考(當(dāng)前塊E與其周圍塊的 關(guān)系示意如圖3所示)對當(dāng)前塊進行預(yù)測。對亮度塊而言，參考像素為上方的8個像素，左 上方的l個像素，右上方的8個像素，左方的8個像素，左下方的8個像素，預(yù)測模式有5 種，預(yù)測模式示意圖見圖1;對色度塊而言，參考像素為上方的8個像素，左方8個像素， 左上方l個像素，預(yù)測模式有4種，其預(yù)測模式示意圖見圖2， li 264有兩種塊大小預(yù)測，即 4x4塊和16x16塊，4x4塊有9種預(yù)測模式，16x16塊有4種模式。
在高清晰圖像解碼芯片設(shè)計中，幀內(nèi)預(yù)測模塊是個非常重要的部分，它的設(shè)計會影響整 個芯片的面積、速度、功耗。目前采用的技術(shù)主要有兩種做， 一種是基于像素行的處理，一 次進行一行8個像素的預(yù)測，8行流水處理，雖然可以提高系統(tǒng)吞吐率，但處理單元相對于 單個像素處理單元增加了 8倍，并且針對不同的預(yù)測模式可能需要采用不同的電路結(jié)構(gòu)，增 加了芯片的復(fù)雜度。同時由于不同塊之間有相關(guān)性， 一般只能在一個8x8塊內(nèi)進行流水處理， 而在塊與塊的邊界處就要停止，重新開始一個新的流水處理，這樣將影響處理的性能；另外 一種是基于像素串行處理，每個像素單獨處理， 一次預(yù)測一個像素，采用相同單元處理所有 像素，這樣可以很大的減少芯片面積，但是處理速度慢，需要多個時鐘周期才能得到一個像 素數(shù)據(jù)，雖然采用流水處理結(jié)構(gòu)可以一定程度上提高速度，但實現(xiàn)高清實時解碼時還有一定 的難度。

發(fā)明內(nèi)容
基于上述現(xiàn)有實現(xiàn)技術(shù)的不足，本文提出了像素行并行流水的AVS幀內(nèi)預(yù)測實現(xiàn)方 法，使用相同的運算單元進行內(nèi)部預(yù)測，并且調(diào)整一個塊內(nèi)的行列計算順序，保證在8x8塊 的邊界同樣可以保持幀內(nèi)預(yù)測的流水操作，本發(fā)明的幀內(nèi)預(yù)測的整體過程是首先通過碼流中 的信息解碼得到當(dāng)前塊的幀內(nèi)預(yù)測模式，然后根據(jù)參考像素和得到的預(yù)測模式對當(dāng)前塊進行
預(yù)測，此模塊為幀內(nèi)像素生成模塊，它包括預(yù)處理單元和幀內(nèi)預(yù)測單元，預(yù)處理單元用于在 預(yù)測前先將需要用到的值預(yù)先計算出來存到預(yù)處理結(jié)果寄存器中，幀內(nèi)預(yù)測單元根據(jù)預(yù)處理 結(jié)果寄存器中的值和預(yù)測模式對塊內(nèi)所有像素進行預(yù)測，最后將預(yù)測出來的數(shù)據(jù)和反變換后 的殘差數(shù)據(jù)相加進行重構(gòu)得到最終解碼值，以及根據(jù)解碼像素是否作為后面塊參考像素存入 參考像素緩存器中，結(jié)果按行或列輸出到下一級處理單元，結(jié)構(gòu)由如圖5所示。
下面詳細(xì)介紹幀內(nèi)像素生成模塊的設(shè)計思想和預(yù)測過程中的并行流水線機制，其中幀內(nèi) 像素生成模塊包括預(yù)處理單元和幀內(nèi)預(yù)測單元中的各種預(yù)測模式下的預(yù)測單元結(jié)構(gòu)。
預(yù)處理單元設(shè)計思想
當(dāng)為水平模式和垂直模式時，將當(dāng)前塊的參考像素值直接從行RAM中復(fù)制到預(yù)處理結(jié)果 寄存器中，不需要進行預(yù)處理單元的計算；
當(dāng)為DC、 Down—Left、 Down—Right模式時，每個像素預(yù)測時需要上方3個和左方3個相 鄰像素進行預(yù)測，以"+2*8+〔+2)>>2)為基本運算單元，可以把此單元化簡為這樣的計算公式 (((A+B+l) + (B+C+l))》2)，將(A+B+l)和(B+C+l)預(yù)先保存；
當(dāng)為色度plane模式時，預(yù)測算法為
<formula>formula see original document page 5</formula>其中
<formula>formula see original document page 5</formula>為8x8塊的預(yù)測值矩陣，其坐標(biāo)圖見圖4，
<formula>formula see original document page 5</formula>這里令I(lǐng)04a+(-3)^b+(-3yic+16,同過這樣的計算公式可以得到第一行預(yù)測值如下 Clipl(I0>>5)， Chpl((I0+ib) 5)...Clipl((I0+ib+2*ib+4*ib) 5)
第二行預(yù)測值如下
<formula>formula see original document page 5</formula>
第八行的預(yù)測值如下
<formula>formula see original document page 5</formula> 這里IO,ia,ib,ic在預(yù)測色度塊8x8的過程中是不變的，觀察發(fā)現(xiàn)色度預(yù)測值是以 10， IO+ic, I0+2*ic".I0+7*ic及ib， 2*ib， 4*ib這些值為基礎(chǔ)的，通過線形的相加這些值可 以得到色度預(yù)測值，只要預(yù)先計算并保存了這些值，則色度預(yù)測可以節(jié)省大量的重復(fù)計算過 程。
支持預(yù)測單元中各種預(yù)測模式的像素預(yù)測單元設(shè)計如下
>當(dāng)模式為水平或者垂直模式時直接為數(shù)據(jù)賦值，不需要運算；
>當(dāng)預(yù)測模式為DC模式中的r[i],c[i](i^ 9)均有存在時，預(yù)測如下
predMatrix[x，xK(剩+2^[x+l]+巾+2]+2)》2+(c[y]+2承c[y+l]+c[y+2]+2)》2)》l;
令r[x]+r[x+l]+l=E， r[x+l]+r[x+2]+l=F, c[x]+c[x+l]+l=G， c[x+l]+c[x+2]+l=H，
E,F，G,H已經(jīng)在預(yù)處理單元中得到，這樣可以把上式統(tǒng)一為((E+F)》2+(G+H)》2)》1; >當(dāng)預(yù)測模式為Down—left時，預(yù)測如下
predMatrix[x,y]- ((r[x+y+l]+2*r[x+y+2]+r[x+y+3]+2) 2 +
(c[x+y+l]+2*c[x+y+2]+c[x+y+3]+2)》2)》1
同理可統(tǒng)一成((E +F) 2+(G+H) 2) 1; >當(dāng)預(yù)測模式為DC模式中的r[i]或者c[i](i-0 9)其中之一存在時和Down_Right模式
時，可將預(yù)測公式統(tǒng)一為(E+F^〉2; > 當(dāng)為色度plane模式時，同理可統(tǒng)一為(E+F+G+H) 5; >當(dāng)為水平和垂直模式時不需要任何計算，輸入就為輸出；
綜合上述，經(jīng)過預(yù)處理得到諸如(a+b+1)的中間結(jié)果之后，幀內(nèi)所有預(yù)測模式，都可 以用3個加法器實現(xiàn)各種模式下的運算，2個加法器完成四個輸入的相加，然后進行移位后 再相加移位，有些模式只需要一次加法移位即可，直通時直接可以將輸入輸出。
以8個像素組成的像素行的并行流水機制描述如下-
在本發(fā)明中預(yù)處理和像素預(yù)測是分開處理的，即在作像素預(yù)測前預(yù)處理結(jié)果已經(jīng)計算出 來，這樣下一塊的預(yù)處理可以在上一塊的最后一行進行預(yù)測時進行預(yù)處理，下一周期時不需 要等待直接可以預(yù)測下一塊預(yù)測，并行流水示意圖見圖6，在第一周期時預(yù)處理第一行，第 二周期時預(yù)測第一行，第三周期時重構(gòu)第一行，這個時間內(nèi)同時進行第二行的預(yù)測，第四周 期更新第一行數(shù)據(jù)，并同時預(yù)測第三行，重構(gòu)第二行，后面塊同此過程一樣，在進行第八行 預(yù)測時，預(yù)處理下一塊的數(shù)據(jù)，同時重構(gòu)第七行和更新第六行，經(jīng)過這樣的流水編排后可以 比單純的基于行處理的方法提高數(shù)據(jù)的處理速度。
如前所述，由于一個宏塊內(nèi)有些8x8塊的預(yù)測需要用到之前其他8x8塊處理后的結(jié)果，
所以將導(dǎo)致在8x8塊的邊界上像素行流水將被打斷，以用來等待預(yù)測將使用的像素生成。本
發(fā)明采用一種新的掃描方式，做第一塊預(yù)測時從右到左一列一列預(yù)測，第二塊時從下往上一
行一行預(yù)測，第三塊時從右往左一列一列預(yù)測，第四塊時從右往左一列一列預(yù)測，這樣就保
證了在作新的8x8塊的預(yù)處理時，所有參考像素已經(jīng)可以得到，這樣預(yù)處理的結(jié)果就可直接
用于這個新的8x8塊的預(yù)測處理，實現(xiàn)8x8塊邊界上實現(xiàn)連續(xù)的流水處理。
整個預(yù)測的設(shè)計思想如上所述，幀內(nèi)預(yù)測整體流程-
步驟1:首先狀態(tài)機根據(jù)預(yù)測模式生成電路得到當(dāng)前塊預(yù)測模式控制預(yù)處理單元，結(jié)果 存入預(yù)處理寄存器中；
步驟2:幀內(nèi)預(yù)測單元根據(jù)預(yù)測模式和預(yù)處理寄存器中的值進行預(yù)測，得到預(yù)測值； 步驟3:將預(yù)測得到的值和反變換輸出的殘差相加得到重構(gòu)像素值； 步驟4:根據(jù)重構(gòu)的像素是否作為下一塊解碼參考進行數(shù)據(jù)更新
這樣一行像素解碼完畢，在解碼該行的同時根據(jù)本發(fā)明的并行流水方法進行排流水，可 以高效地利用資源，提高效率，整個8x8塊從與處理到重構(gòu)結(jié)束過程中的時序流水圖如圖6 所示，可以細(xì)分成預(yù)處理、幀內(nèi)預(yù)測、重構(gòu)及更新數(shù)據(jù)四級流水，在整個流水過程中不會發(fā) 生中斷。
本發(fā)明由于采用了基于行級流水線結(jié)構(gòu)，同一行數(shù)據(jù)的處理被分配不同級別，同時同一 時間內(nèi)還可以處理后續(xù)多行的不同階段的數(shù)據(jù)，極大的提高了系統(tǒng)的吞吐率和運行速度，由 于可以嚴(yán)密的流水線處理，比基于行處理的傳統(tǒng)方法不僅速度提高了很多，而且可以綜合的 頻率更高；由于預(yù)測時采用了多套重構(gòu)運算部件一次處理的數(shù)據(jù)是基于像素串行處理方法的 8倍，相對于上述兩種實現(xiàn)有顯著的優(yōu)點，在速度，芯片面積和功耗三者間有很好的平衡， 能夠滿足高清電視實時解碼播放的需求。


圖1是AVS幀內(nèi)預(yù)測的亮度塊的5種預(yù)測模式示意圖； 圖2是AVS幀內(nèi)預(yù)測的色度塊的4種預(yù)測模式示意圖； 圖3是當(dāng)前塊E周圍的相鄰塊示意圖； 圖4是當(dāng)前塊相鄰參考像素示意圖； 圖5是本發(fā)明的詳細(xì)的預(yù)測過程框架圖 圖6是本發(fā)明時序流水線示意具體實施例方式
本發(fā)明的具體實施過程如下
整個預(yù)測過程中設(shè)有一個行列RAM用于存放當(dāng)前宏塊解碼時上方的一整行的亮度和色度 像素值， 一個8x8塊重構(gòu)緩沖器用于存放解碼完畢后的8x8塊的像素值， 一個預(yù)處理結(jié)果寄 存器，用于存放預(yù)處理后的結(jié)果。
下面根據(jù)圖5詳細(xì)介紹一下此發(fā)明的具體實施步驟
步驟l:狀態(tài)機將根據(jù)預(yù)測模式將當(dāng)前塊相鄰的像素值經(jīng)過預(yù)處理單元處理，結(jié)果存放如
預(yù)處理寄存器中，這里需要分不同模式討論，預(yù)處理單元處理過程如下
如果當(dāng)前塊的預(yù)測模式為水平或者垂直模式，將當(dāng)前塊的上方和左方的各8個像素值直
接從行RAM中復(fù)制到預(yù)處理結(jié)果寄存器中，不需要進行預(yù)處理單元的計算；
如果為DC、 Down—left、 Down—Right模式時，需要將當(dāng)前塊相鄰的參考像素值經(jīng)過預(yù)處
理將兩兩和加l的結(jié)果存入預(yù)處理寄存器中，上方參考像素為r
、[16],共17個像素，保
存r
+r[l]+l，r[l]+r[2]+l，…r[15]+r[16]+1共16個和值，左方參考像素為c
c[16],
共17個像素，保存c
+c[l]+l，c[l]+c[2]+l，…c[15]+c[16]+l共16個和值;
如果為預(yù)測模式時色度plane預(yù)測模式需要進行 一 些常數(shù)的預(yù)處理計算，將
10， 2*ib， 4*ib, I0+ic， I0+2*ic， I0+3*ic'"id+7*ic這11個值計算并保存到預(yù)處理結(jié)果寄存器
中；
預(yù)處理值存儲過程中，參考像素和預(yù)處理值分開保存，這樣可以在更新參考像素時直接 將其保存到參考像素單元中，而不會影響到當(dāng)前塊的內(nèi)部預(yù)測，保證了流水并行。
步驟2:根據(jù)預(yù)測模式和預(yù)處理結(jié)果寄存器中的值進行幀內(nèi)預(yù)測，預(yù)測過程中以一行或 者一列中的8個像素為處理單元一次并行處理8個像素，針對于每個像素預(yù)測運算處理單元 包括三個加法器和一個移位器，其中兩個加法器的四個輸入分別來自預(yù)測處理值單元，然后 相加的結(jié)果經(jīng)過相應(yīng)移位器后進入相加器，在經(jīng)過相應(yīng)移位器得到預(yù)測結(jié)果，下面分四種情 況討論
當(dāng)為水平或者垂直模式時，不進行邏輯運算，直接輸出到選通單元端；
當(dāng)為Down—Right模式或者DC模式時并且只有上邊或者左邊一邊參考像素存在時，只需
要從預(yù)處理結(jié)果寄存器中取出有效一邊的相鄰像素和經(jīng)過加法移位處理后輸入到選通單元
端；
當(dāng)為DC模式中的上邊和左邊參考樣本均有效或者Down—left模式時，需要將上邊和左邊 的參考像素的相鄰的和均計算出來，然后分別經(jīng)過加法和移位處理后的再將兩邊結(jié)果作處理 得到最終預(yù)測值，輸入到選通單元端；
當(dāng)為色度plane模式時，第一行像素預(yù)測時，第一個邏輯單元的四個輸入依次為10, 0， 0， 0，第二個邏輯單元四個輸入依次為10， ib，O,O,第三個邏輯單元的四個輸入依次為10， 0， 2ib， 0…第七個邏輯單元的四個輸入依次為10， 0， 2*ib， 4*ib，第八個邏輯單元四個輸 入依次為10， ib,2^ib,扭ib,每個單元的輸入在經(jīng)過相加和移位處理后可以得到第一行的預(yù) 測數(shù)據(jù)，進行第n行(n-l 8)預(yù)測時，和第一行不同的地方是IO換作IO+(n-l)Wc,其余輸入 相同；
步驟3:狀態(tài)機根據(jù)預(yù)測模式選擇從選通單元輸出預(yù)測值；
步驟4:在預(yù)測過程中是基于行或者列的預(yù)測，各行列之間是獨立預(yù)測的，這樣可以不需 要再等一塊的所有像素預(yù)測完畢后進行重構(gòu)，可以一列或者一行預(yù)測完畢后直接與IDCT反變 換之后的結(jié)果相加，得到一行或者一列的重構(gòu)值，此時該塊中的后續(xù)列或者行正在預(yù)測，輸出 預(yù)測值和反DCT后的值相加后得到最終的當(dāng)前像素的解碼值，然后回寫到8x8塊數(shù)據(jù)緩存，
在重構(gòu)像素更新過程中，在每行或者列重構(gòu)完畢后，將該行或者列中需要用于后續(xù)塊內(nèi)部預(yù) 測的像素值直接更新到參考像素單元中，具體可能是重構(gòu)后的整行或整列或者其中的一個像 素值。
下一塊的預(yù)處理可以在上一塊最后一行預(yù)測的同時進行，在同周期內(nèi)將讀取數(shù)據(jù)、預(yù)處 理、幀內(nèi)預(yù)測、重構(gòu)、更新數(shù)據(jù)模塊可以并行起來，比如在預(yù)測第八行的同時進行第七行的 重構(gòu)，第六行的數(shù)據(jù)更新，下一塊的預(yù)處理單元處理，這樣可排成嚴(yán)密的排流水線，極大地 提高了系統(tǒng)的運算速度和數(shù)據(jù)吞吐率。
從實現(xiàn)結(jié)果來看采用本發(fā)明由于流水并行處理可以提高系統(tǒng)運算速度，不需要等待過程 可以進行后續(xù)塊的預(yù)測，相對于基于行處理方式可以在更低的頻率下完成處理并且可以綜合 的頻率會更高，由于有一部分運算從預(yù)測過程中提取到預(yù)處理單元，這樣整個邏輯控制電路 會變得簡單，利用本發(fā)明的框架可以實現(xiàn)高清晰電視的實時解碼要求。
權(quán)利要求
1. 基于AVS的并行流水的幀內(nèi)預(yù)測器的實現(xiàn)方法，用于實現(xiàn)塊內(nèi)像素預(yù)測并行以及塊預(yù)測流水，包括以下步驟1)預(yù)處理單元處理過程，按照本方法提出的計算公式在預(yù)處理單元中計算幀內(nèi)預(yù)測的預(yù)處理值；2)幀內(nèi)預(yù)測過程，在預(yù)測過程中幀內(nèi)預(yù)測包括加法器、移位器和數(shù)據(jù)多路選擇器，輸入數(shù)據(jù)為經(jīng)過預(yù)處理過程獲得的預(yù)處理值；3)重構(gòu)過程，因為預(yù)測過程的輸出結(jié)果為一行像素，所以不需要等待一整塊預(yù)測運算完畢后再輸出，而可以直接與IDCT(Inverse Discrete Cosine Transform，反離散余弦變換)變換之后的結(jié)果相加，得到一行像素的重構(gòu)值，將得到的一行重構(gòu)像素值中需要用于其他塊內(nèi)部預(yù)測的像素直接更新到參考像素單元，為下一個塊預(yù)測做準(zhǔn)備；4)更新數(shù)據(jù)過程，當(dāng)前塊的參考像素與幀內(nèi)預(yù)測使用的預(yù)處理值分開保存，保證了參考像素可以在內(nèi)部預(yù)測過程中隨時更新而不至于影響當(dāng)前塊的幀內(nèi)預(yù)測；
2. 如權(quán)利要求1所述的基于AVS的并行流水的幀內(nèi)預(yù)測器的實現(xiàn)方法，其特征在于預(yù)處理單 元處理過程具體包括以下步驟-1) 幀內(nèi)預(yù)測模式為水平和垂直模式時，參考像素不需要進行預(yù)處理，直接將這些值拷貝 到預(yù)處理結(jié)果寄存器中；2) 幀內(nèi)預(yù)測模式為DC模式或者Down—left模式時需要將存在的相鄰兩兩參考像素的和 加1計算出來保存于預(yù)處理結(jié)果寄存器中；3) 幀內(nèi)預(yù)測模式為色度plane時將AVS標(biāo)準(zhǔn)中的常系數(shù)以及通過這些常系數(shù)得到的線形 和值保存到預(yù)處理結(jié)果寄存器中。
3. 如權(quán)利要求1所述的基于AVS的并行流水的幀內(nèi)預(yù)測器的實現(xiàn)方法，其特征在于幀內(nèi)預(yù)測 過程中以一行或者一列中的8個像素為處理單元一次并行處理8個像素，針對于每個像素預(yù) 測運算處理單元包括三個加法器和一個移位器，其中兩個加法器的四個輸入分別來自預(yù)測處 理值單元，然后相加的結(jié)果經(jīng)過相應(yīng)移位器后進入相加器，在經(jīng)過相應(yīng)移位器得到預(yù)測結(jié)果。
4. 如權(quán)利要求1所述的基于AVS的并行流水的幀內(nèi)預(yù)測器的實現(xiàn)方法，其特征在于，在預(yù)測 過程中是基于行或者列的預(yù)測，各行列之間是獨立預(yù)測的，這樣可以不需要再等一塊的所有 像素預(yù)測完畢后進行重構(gòu)，可以一列或者一行預(yù)測完畢后直接與IDCT反變換之后的結(jié)果相 加，得到一行或者一列的重構(gòu)值，此時該塊中的后續(xù)列或者行正在預(yù)測。
5. 如權(quán)利要求1所述的基于AVS的并行流水的幀內(nèi)預(yù)測器的實現(xiàn)方法，其特征在于重構(gòu)像素更新過程中，在每行或者列重構(gòu)完畢后，將該行或者列中需要用于后續(xù)塊內(nèi)部預(yù)測的像素值直接更新到參考像素單元中，具體可能是重構(gòu)后的整行或整列或者其中的一個像素值。
6. 如權(quán)利要求1所述的基于AVS的并行流水的幀內(nèi)預(yù)測器的實現(xiàn)方法，其特征在于預(yù)處理值 存儲過程中，參考像素和預(yù)處理值分開保存，這樣可以在更新參考像素時直接將其保存到參 考像素單元中，而不會影響到當(dāng)前塊的內(nèi)部預(yù)測，保證了流水并行。.
7. 如權(quán)利要求1所述的基于AVS的并行流水的幀內(nèi)預(yù)測器的實現(xiàn)方法，其特征在于塊邊界像 素行列可以連續(xù)處理，在進行塊內(nèi)部預(yù)測時可以選擇以行尾或者以列進行預(yù)測，而且行行之 間或者列列之間可以進行流水并行處理，而且因為采用了上述的各種方法，可以保證所有塊 與塊之間的行或列也能流水處理，在塊邊界上不打斷流水處理過程。
全文摘要
本發(fā)明是涉及視頻壓縮的集成電路設(shè)計領(lǐng)域，提出一種像素行并行流水處理的AVS幀內(nèi)預(yù)測器實現(xiàn)方法，該方法主要包括以下步驟第一步進行預(yù)處理，將亮度/色度行列RAM中存儲的當(dāng)前塊周圍的相鄰像素值通過預(yù)處理單元計算得到當(dāng)前塊的幀內(nèi)預(yù)測的預(yù)處理值，并將這些值存放到預(yù)處理結(jié)果寄存器中；第二步根據(jù)當(dāng)前塊的幀內(nèi)預(yù)測模式和第一步獲得的預(yù)處理值進行幀內(nèi)預(yù)測。由于幀內(nèi)預(yù)測是采用預(yù)處理值來進行，所以亮度和色度分量可以使用相同的運算單元進行內(nèi)部預(yù)測，這樣便于形成流水結(jié)構(gòu)，提高系統(tǒng)的數(shù)據(jù)吞吐率。
文檔編號H04N7/32GK101383970SQ200710121438
公開日2009年3月11日 申請日期2007年9月6日 優(yōu)先權(quán)日2007年9月6日
發(fā)明者何文學(xué), 張樹軍, 王大旗, 杲 陳 申請人:北京中電華大電子設(shè)計有限責(zé)任公司