專利名稱：多視點視頻解碼端去塊濾波方法
技術領域：
本發(fā)明涉及一種專門針對多視點視頻解碼端的去塊濾波方法。
背景技術：
塊效應(Block Artifacts)，又稱為馬賽克效應，是圖像和視頻壓縮編碼時，因為壓縮 引入的量化誤差導致的圖像重建后在視覺上常見的一種失真。它在主觀上表現(xiàn)為人眼可 以察覺到的圖像在塊邊緣處的亮度和色度的不連續(xù)，是人們對完美畫質的追求的一個阻 礙。當前的去塊濾波器按其所處的位置劃分，可以分為后處理去塊濾波(Post deblocking filter)和環(huán)路去塊濾波(In-loop deblocking filter)兩類。視頻編碼的后處理去塊濾波技術，源于圖像壓縮的去塊技術。圖像領域對后處理 去塊技術的研究，常見的有基于凸集投影(Projection Onto Convex Set, P0CS)的后處理 思想，利用最大后驗概率(Maximum A Posteriori, MAP)去除塊效應的思想，小波去塊的思 想及濾波的思想等。與圖像相比，視頻的內(nèi)容更多，數(shù)據(jù)量更大，實時性的要求更高。這也 就意味著許多算法由于運算復雜度較高等局限性，通常不適用于視頻去塊。視頻的后處理 去塊濾波算法主要沿用的是濾波的思想，典型的有MPEG-4附錄F中使用的后處理去塊濾波 算法。它是一種基于頻域的后處理去塊濾波算法，主要包括模式選擇、平坦區(qū)域濾波和復雜 區(qū)域濾波三部分，對每個8X8的塊邊界進行濾波。而視頻編碼的環(huán)路去塊濾波技術和前者 相比，避免了前者在解碼端需要為后處理去塊濾波器準備額外的幀緩存，并且，由于當前通 用的視頻編碼標準的編碼都是以塊為單位進行的，需要大量使用預測和補償技術，故塊效 應在編碼中容易擴散到塊的內(nèi)部，相比前者，視頻編碼的環(huán)路去塊濾波技術對此具有更好 的抑制作用。有文獻表明，早在HJ61中，就可以支持環(huán)路濾波器的存在，而H. 264首次將 環(huán)路去塊濾波器作為其編解碼構造的標準組成部分。在H. 264/AVC標準中，去塊濾波模塊 的一個很重要的特點是能比較準確的自適應區(qū)分圖像中的真實邊界和塊效應所表現(xiàn)出來 的虛假邊界，并據(jù)此定量地引入邊界強度(Boimdary-Mrength，BS)作為其衡量標準，進行 不同強度的濾波，從而去除塊效應，提升圖像的質量。H. 264/AVC去塊濾波器在三個層次上 體現(xiàn)出自適應性。自適應邊界級去塊濾波從產(chǎn)生塊效應的原因入手，根據(jù)(宏塊)是否為幀 內(nèi)預測，殘差編碼以及運動補償?shù)膮⒖紟?，確定邊界強度BS;樣點級去塊濾波從靠近濾 波邊界各個樣點的差值，判斷邊界處樣點變化的劇烈程度，確定參數(shù)化如^和，這兩 個參數(shù)在濾波的時候具有重要意義；自適應片級去塊濾波通過改變參數(shù)Off紹、和0ffsetB 平衡“細節(jié)逼真度”(以不太明顯的塊效應為代價)和“主觀質量”(以犧牲細節(jié)豐富程度為 代價)，使性價比達到最高。MVC環(huán)路去塊濾波大致沿用了 H. 264環(huán)路去塊濾波的方法，首先 通過分別獲取水平和垂直方向的BS值列表，再結合BS值，以塊為單位進行濾波。當有亮度 補償(Illumination Compensation, IC)時，有些文獻在MVC邊界強度的判斷時考慮IC因 素，用以這樣提高的視頻的主觀質量。最近而另一些文獻在BS判斷時，進行了一些判斷樹 結構上的優(yōu)化，加快了濾波的速度。。盡管當前的環(huán)路去塊濾波技術都通過移位來實現(xiàn)濾波 運算中的乘除法來提高去塊濾波速度，但是環(huán)路濾波器的復雜度在整個系統(tǒng)中還是占有相 當大的比重，有文獻表明，環(huán)路濾波器的復雜度可以占到解碼器計算復雜度的三分之一左右；還有文件表明，在環(huán)路去塊濾波中，90%以上的運算量都消耗在Bs的計算上。有進一步 的提高空間。該發(fā)明針對MVC編碼結構，根據(jù)MVC中相鄰視點視頻的相似性，利用全局視差矢量 (Global Disparity Vector，⑶V)信息，通過減少需要判斷邊界強度值的塊的數(shù)量，大大降 低多視點視頻解碼時去塊濾波所需要的時間。實驗結果表明，同現(xiàn)有的多視點去塊算法相 比，該方法在解碼圖像PSNR降低0-0. 02dB的情況下，去塊濾波的時間減少了 20%-100%或更多。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服當前多視點視頻流在解碼端在環(huán)路去塊濾波環(huán)節(jié)耗時較 長的缺點，提供一種基于多視點視頻解碼端的去塊濾波方法，該方法在解碼視頻質量不受 影響的前提下，有效降低了其在解碼端在環(huán)路去塊濾波環(huán)節(jié)速率，具有較廣闊的應用前景。為達到上述目的，本發(fā)明所采用的技術方案是
一種基于多視點視頻解碼端的去塊濾波方法，其特征在于操作步驟如下
1)視頻編碼在視頻編碼端將宏塊分為2類，并將分類信息傳遞到解碼端。具體步驟
為
(1)視頻解碼時可以采用各種廣泛使用的預測編碼結構，注意選用的編碼結構需要包 含視點間預測方式，如常見的HHI-IBBBP預測結構；
(2)計算該視點圖像相對相鄰視點的GDV值
(3)判斷當前解碼的視點序列號，如果該視點每幀都用到了視點間預測，將各宏塊的視 差矢量DV和其對應的GDV進行對比，計算它們的差值DGD (Disparity of GDV and DV)。(4)根據(jù)D⑶的大小將宏塊分為A類宏塊和B類宏塊，并用一個二進制位flag來 標記它們，該標志位使用二進制形式存放，和視頻碼流同時傳輸。2)視頻解碼利用視頻解碼端得到的宏塊分類信息，在視頻解碼的去塊濾波部分， 對不同的宏塊才用不同的濾波策略，加快了去塊濾波的速率，從而加快了視頻解碼的速率。 具體步驟為
(1’ )將壓縮好的視頻碼流和步驟(4)存放的二進制flag信息同時輸入解碼端 (2’)在環(huán)路去塊濾波之前，需要進行如下判定
(B該宏塊反向移動GDV(v，f)后依然在視頻顯示的范圍內(nèi)； @該宏塊所在的視點每一幀都用到了視點間預測； Φ該宏塊所在的幀幀數(shù)Tx不為第0幀或第GOP整數(shù)倍幀； Φ該幀對應的flag信息為1 ；
如果上述條件均符合，進入步驟(3’)，否則，進入步驟0’)。(3’)進行邊界強度信息的判定。認為邊界強度信息可以由已經(jīng)解碼完畢的相鄰 視點的邊界強度矩陣以宏塊為單位進行相對GDV的簡單的平移得到。執(zhí)行完畢后進入步驟(5，)。(4’ )進行邊界強度信息的判定。使用多視點解碼的默認方法進行邊界強度信息 的判定。執(zhí)行完畢后進入步驟(5’)。(5’ )根據(jù)步驟(3’ )或步驟(4’ )得出的邊界強度信息，按照多視點解碼的默認 方法進行自適應濾波。本發(fā)明的有益效果
采用本發(fā)明提出的多視點視頻編碼解碼端環(huán)路去塊濾波算法，以極低的PSNR降低的 代價，大大提高多視點視頻序列解碼端去塊濾波的速度，從來帶動整個解碼速率的提高。當 前絕大多數(shù)MVC編解碼結構都用到了視點間預測，因此，本發(fā)明提出的方法是可行的；而眾 所周知，視頻的編碼只需要一次，而在每個客戶終端，都需要分別對碼流進行解碼，所以本 方法無疑對多視點解碼端的改進有重大的實踐意義。對編碼端而言，本方法需要知道當前編碼視點對同一時間相鄰視點的宏塊精度的 DV值和當前時刻的GDV值，但是由于當前編碼視點對同一時間相鄰視點的宏塊精度的DV值 在原先多視點編碼運動矢量計算的時候已經(jīng)計算過，可以直接拿來使用；而GDV的計算較 為簡單，而且多視點視頻編碼的某些版本(如JMVM)已經(jīng)計算過該值，可以直接拿來使用。綜 上所述，該方法并不會明顯增加編碼端的編碼時間和編碼負擔。唯一不足的是，本方法需要 在傳送碼流數(shù)據(jù)的同時，還需要傳送少量標記信息，這在一定程度上稍稍加重了數(shù)據(jù)傳輸 方面的負擔。所以，實際中可以根據(jù)實際情況(實時性、帶寬情況等)選用或者不選用本發(fā)明 提出的方法進行環(huán)路去塊濾波。


圖1是exit序列第27幀第1視點在宏塊層次下各宏塊相對于該幀第0視點的DV 值的分布情況。圖2是視頻序列exit前32幀的BIPM分布情況。圖3是視頻序列exit前32幀的ASB分布情況。圖4是BS值的拷貝過程示意。圖5是該發(fā)明編碼端流程圖。圖6是該發(fā)明解碼端流程圖。圖7是hllroom序列第1視點(視點間預測方式為B)不同QP下使用本文所述方 法和經(jīng)典方法BS判斷速率和濾波速率比較。圖8是killroom序列第1視點使用本文所述方法和不濾波時PSNR降低情況比較。圖9是hllroom第30幀第1視點使用不濾波、本文提出的濾波方法和JMVC去塊 濾波方法的重建圖像主觀質量對比(QP=33 )。圖10是hllroom序列第7視點(視點間預測方式為P)不同QP下使用本文所述 方法和經(jīng)典方法BS判斷速率和濾波速率比較。圖11是hllroom序列第7視點使用本文所述方法和不濾波時PSNR降低情況比較。圖12是exit序列第1視點使用不同QP下，使用本文所述方法和經(jīng)典方法BS判 斷速率和濾波速率比較。
圖13是exit序列第1視點使用本文所述方法和不濾波時PSNR降低情況比較。圖14是exit序列第1視點第30幀使用不濾波、本文提出的濾波方法和JMVC去 塊濾波方法的重建圖像主觀質量對比(QP=33)。圖15是racel序列第1視點不同QP下使用本文所述方法和經(jīng)典方法BS判斷速 率和濾波速率比較。圖16是racel序列第1視點使用本文所述方法和不濾波時PSNR降低情況比較。圖17是flamencol序列第1視點不同QP下使用本文所述方法和經(jīng)典方法BS判 斷速率和濾波速率比較。圖18是flamencol序列第1視點使用本文所述方法和不濾波時PSNR降低情況比較。
具體實施例方式
以下結合附圖例對本發(fā)明的實施例作進一步的詳細說明。下面給出本發(fā)明的原理說明
多視點視頻編碼不但用到了時間方向上的相關性，也會用到視點間的相關性，從而達 到降低編碼后數(shù)據(jù)冗余度、減少壓縮后數(shù)據(jù)量的目的。同時間方向上的預測方法類似，視點
間的預測也用到了諸如樹狀結構運動補償，亮度t精度內(nèi)插和色度I·精度內(nèi)插，匹配塊搜
索，運動向量的估算等相關知識。事實上，對多視點編碼而言，編碼時函數(shù)本身并不關心參 考幀來自于時間方向還是視點間方向，前向函數(shù)將所有需要用到的參考幀存到列表0(list 0)和列表1 (list 1)中后，編碼器分別判斷參考幀中各個宏塊(以及子宏塊)的各種分割 方法的殘差大小，并選擇所有分割方法中殘差最小的運動矢量(Motion Vector，MV)作為最 終采納的運動矢量儲存下來，該MV用到的參考幀作為當前塊的參考幀。雖然視點間的視差 矢量，(Disparity Vector，DV)并不一定能夠最終做為運動殘差最小的MV從而保存下來， 但是這些DV形象地表示了場景的層次感，物體的紋理信息等，具有重要的指示作用。而同 一時間內(nèi)，相鄰視點拍攝出的圖像具有很大的相關性，一個視點上的圖像可以近似看成其 相鄰視點上的同一時間的圖像在平面上進行χ平移和y平移后的結果。全局視差(GlcAal Disparity, GD)定量地描述了場景中主要層次的景物在相鄰攝像機所攝圖像的位移情況。 相鄰相機同一時間拍攝出的場景往往存在巨大的相似性，并且其時間方向上的變化趨勢也 是接近一致的。序列exit第0視點到第1視點對應的GDV為(2，0)，單位為16 pixels。通過分 析可以得知，幀中多數(shù)宏塊的分布聚集于GDV和(0，0)點附近，其余宏塊的視點間DV呈分 散分布。圖1顯示，在exit序列第0視點到第1視點對應的所有DV中，大小分布于GDV和 (0,0)點附近的宏塊數(shù)量占到一半以上。其他視頻序列也存在相似的統(tǒng)計結果。所以，我們可以將一幀中的宏塊可以分成以下4類 第一類DV四舍五入后等于⑶V ；
第二類DV四舍五入后等于原點值(0，0)；
第三類DV四舍五入后的χ方向和y方向均位于原點值(0，0)和⑶V之間； 第四類其他情況，即DV大于GDV時。那么，我們可以將第一類宏塊看成是視點間主要層次場景，如exit序列中的門 框，墻上的裝飾等。其對應同一時刻相鄰相機的位移DV和GDV大致相等；第二類DV在原點附近，可以看做是場景中較為平滑，紋理比較簡單的部分，進行GDV平移和不進行平移相 比，殘差相差不大，如exit序列中墻壁部分；第三類宏塊，根據(jù)位移時相對人眼而言近處物 體移動較快，遠處物體移動較慢的普遍規(guī)律，可以近似看做在主要層次場景之后的場景，如 exit中門后面那些層次和深度信息豐富的圖像；第四類宏塊，近似看做在主要層次場景之 前的場景，如人離去的背影。根據(jù)經(jīng)驗，這些場景是人眼最為關注的，因此這些宏塊的質量 好壞對主觀質量的評定影響較大。而就客觀質量而言，在此引入兩個評價指標，分別稱作宏塊平均BS不等數(shù)BIPM (BS Inequality Per Macroblock)和宏塊平均誤差和 ASB (Absolute Sum of BIPM)。
ι11
BIPM=- y y y {I - 4 Rec Bsl. (Κ Aiiress, γ, Fhr)
AJAMjjw “ “ “L — -M J j
iVMM'mn IAJABid1 Ars-B Ibrtr-M
—OEVj xA^CM + GLVr Hc^ / )]}j, a
+- 2 2 Σ {1-4 r^cLjsW (^AMtesJ^Tff^)
-Rjef_&r, QvhAddrsss+GLirf χ AfeCbf + GDVr Vergj Verj)]}
(1)
11 3
AW =-；~ \ Σ Σ I Rec二及Jfcr [MhAddress, Edy ，Hor J
A^h Λλ tvti“ 廣■一*f f
MiMiIMNl udOmtsTMB^·^ Mer1,^
-Ref—a JMiAiiress + GDV χΜπΟο! + GDVllHoy^HorJl ！,, —⑵
+- 2 Σ Σ I ReC-Bsyiir 乂MhAdd^ss, Verxi Very J
MbMMi 編 Jieier
—Rrf—Λ (MiAcites + GDVfX MmCoI + GD Vs，Vers, Very) | 其中，MbNum為某種類型宏塊的有效數(shù)目；T為該類型宏塊的集合，MbAddress為有效宏 塊在幀中按光柵掃描的序數(shù)；M^O /為幀中一行宏塊的數(shù)量，δ(χ)為離散單位脈沖響應 函數(shù)。卟H。泰⑶
我們將上面所分的4類宏塊進一步進行整理，將第一類宏塊和第二類宏塊合并為A類 宏塊，將第三類和第四類宏塊合并為B類宏塊，對A類宏塊和B類宏塊的BIPM值和ASB值 分別進行統(tǒng)計，則視頻序列exit (QP=33)第1-31幀第1視點相對第O視點的BIPM值分布 如圖2所示，其中，圖2 (a)為BIPM的完整折線圖，因為該值在8、16、24等點的值過大，為了 看清楚其他點的BIPM值，圖2(b)將這些值置零。視頻序列exit (QP=33)第1_31幀第1 視點相對第O視點的ASB值分布如圖3所示，其中，圖3 (a)為ASB的完整折線圖，因為該值 在8、16、24等點的值過大，為了看清楚其他點的ASB值，圖3 (b)將這些值置零?？梢?，就算從客觀角度衡量，B類宏塊的BIPM和ASB也恒比A類宏塊要高一些。其 中一些幀，如第22巾貞，第沈巾貞，B類宏塊的BIPM和ASB幾乎是A類宏塊的2倍。^余視頻序列亦存在類似規(guī)律。分析圖2 (b)和圖3(b)可見，如果不考慮時間方 向上第〒Cx為GOP的整數(shù)倍)幀，那么，就算從客觀角度衡量，A類宏塊的BIPM和ASB總要 比B類宏塊相應值低一些。其中一些幀，如第沈幀，第觀幀，B類宏塊的BIPM和ASB幾乎是A類宏塊的相應值的2倍。其他視頻序列也滿足類似的規(guī)律。這說明了在A類宏塊中， 其各4X4塊的水平/垂直邊界的BS同參考幀中對應宏塊相同位置的4X4塊的水平/垂 直邊界的BS相似度更高。另外，需要注意的是，對時間方向上第7 (χ為GOP的整數(shù)倍)幀，不同視點的預測
方式是不一樣的(如對于HHI-IBBBP預測結構而言，Tm, Imm時刻，VO為I幀，Vl為B幀，
V2為P幀)，這個和別的幀不同。而查看經(jīng)典方法的BS判斷樹，不同幀類型的時候對BS的 判斷影響非常大。在圖2(a)和圖3(a)中我們也可以看到，第旮幀的BIPM和ASB要比其 他幀大幾乎一個數(shù)量級，因此，對第〒幀，需要照經(jīng)典方法對圖像進行BS判斷和濾波。以上分析給了我們一個啟示既然相鄰視點的主要場景可以近似看做宏塊位移后 得到的圖畫，并且這些位移后的宏塊和原先的宏塊的時間上的運動趨勢也是高度一致的， 那么顯然新的邊界強度信息也可以由已經(jīng)解碼完畢的參考視點的邊界強度信息進行簡單 的平移得到。所以，本實例為，本基于多視點視頻解碼端的去塊濾波方法的操作步驟為 1)視頻編碼(參見說明書附圖5，圖中粗斜體字部分為新增部分)，具體步驟為
(1)視頻編碼時可以采用各種廣泛使用的預測編碼結構，注意選用的編碼結構需要包 含視點間預測方式，如常見的HHI-IBBBP預測結構；
(2)全局運動矢量計算計算該視點圖像相對相鄰視點的⑶V值，計算⑶V采用MAD (Mean Absolute Difference)法
AiALHx,力=去Σ Σ 丨1mS Cl(U)— 一坶—x，J-y) I(4)
其中，R為兩幅圖像中的重疊部分像素點的個數(shù)。并將精度定為16個pixels GDF= argmm {趟￡)(16χx, 16χ州
嚴格說來，每一幀圖像f都應該有一個與其相對應的GDVf，但是對于大多數(shù)情況而言 (如killroom序列，exit序列等)，多視點拍攝的時候攝像機的相對位置是固定不變的，如果 拍攝的時候攝像機鏡頭也是固定好的，那么因為主要場景的穩(wěn)定性，下列等式應該是存在 的
GDV(v,/l) = GDV(VrJI)^... = GDV(v,/J，/l,/2,...,# e/ (6)
但是如果主要場景隨著時間的變化，有深度上的巨大變化，如攝像機陣列不是固定不 變的，而是在不停地移動，那么(3)式就不一定成立了(如racel序列)。這時一個視頻序列 每個視點相對于參考視點的GDV值可以是時變的。(3)判斷當前解碼的視點序列號，將恒用到視點間預測的視點各幀每個宏塊的視 差矢量DV(v，f，i)和其對應的⑶V進行對比，計算它們的差值D⑶(Disparity of⑶V and DV)
DGD(vJ\i) = GDF(v,f)-DV(vJ\i),v^ O(7)
其中，/表示幀號；i表示宏塊序號ν表示視點號。D⑶的單位也為16pixelS。
(4)根據(jù)每個宏塊的DGD值將它們分為A類宏塊和B類宏塊，并用一個二進制位 flag來標記它們:flag(i)=l時，指示第i號宏塊為A類宏塊，flag(i)=0時，指示第i號宏 塊為B類宏塊。2)視頻解碼(參見說明書附圖6，圖中粗斜體字部分為新增部分)，具體步驟為 (1’)將壓縮好的視頻碼流和步驟(4)存放的二進制flag信息同時輸入解碼端 (2’)在環(huán)路去塊濾波之前，需要進行如下判定
A’)該宏塊反向移動GDV(v，f)后依然在視頻顯示的范圍內(nèi)； B’)該宏塊所在的視點每一幀都用到了視點間預測； C’ )該宏塊所在的幀幀數(shù)Tx不為第0幀或第GOP整數(shù)倍幀； D’ )該幀對應的flag信息為1 ；
如果上述條件均符合，進入步驟(3’)，否則，進入步驟0’)。(3’)進行邊界強度信息的判定。認為邊界強度信息可以由已經(jīng)解碼完畢的相鄰 視點的邊界強度矩陣以宏塊為單位進行相對GDV的簡單的平移得到，執(zhí)行完畢后進入步驟 (5’)，平移的公式如下
Rec一Bs (MbAcMress ,x,y)=
,V(8)
Ref—Ss (MbJkMress + ODVj χMaxCol + GDVi, x,jj
其中，^，_7分別表示4X4塊垂直/水平邊界在宏塊中左起和上起的位置，宏塊仰Ki和 仰Ky分別為該宏塊所處幀對參考幀的GDV的水平分量和垂直分量，且滿足式(9)。
如圖4所示。(4’)進行邊界強度信息的判定。使用多視點解碼的默認方法進行邊界強度信息 的判定。執(zhí)行完畢后進入步驟(5’)。(5’ )根據(jù)步驟(3’ )或步驟(4’ )得出的邊界強度信息，按照多視點解碼的默認方 法進行自適應濾波。下面進行大量仿真實驗來評估本文所提出的去塊濾波算法的性能。在配置為Intel Pentium 4 CPU 3.00GHz, 512M Internal Memory, Intel 8254G Express Chipset Family, Windows XP Operation System 的 PC 機上編解碼多視點視頻 序列 ballroom, exit, racel (前 33 幀)，fIamencol (前 97 幀)，其中，BASIC QP 設為 30，33，36，39，42，實驗平臺選用JMVC，編解碼預測結構選用HHI-IBBBP。序列ballroom的實驗結果如圖7-圖11所示。分析圖7，可以看出，序列killroom 第1視點(視點間預測方式為B)在不同QP下，使用本文所述方法BS判斷時間比使用 JMVC默認方法節(jié)省了 33. 7%-44. 7%，從而帶動了該視點整個環(huán)路去塊濾波速率的提升，在 不同的QP下，濾波總節(jié)省時間在22. 5%-26. 9%之間；分析圖8，可以看出，使用本方法序列 ballroom第1視點(視點間預測方式為B)不同QP下，重建圖像的PSNR同使用JMVC默認 方法重建圖像的PSNR相比，有極小的下降，在0.01以內(nèi)，可以忽略不計；分析圖9，可以看出，在killroom序列重建幀主觀質量局部對比圖中，不濾波的圖像在臺階處有較明顯的塊 效應，而本文的方法和JMVC的方法質量相當；分析圖10，可以看出，序列killroom第7視 點(視點間預測方式為P)在不同QP下，使用本文所述方法BS判斷時間比使用JMVC默認方 法節(jié)省了 45. 0%-58. 4%，從而帶動了該視點整個環(huán)路去塊濾波速率的提升，在不同的QP下， 總節(jié)省時間在25. 3%-40. 6%之間；分析圖11，可以看出，使用本方法ballroom序列第7視 點(視點間預測方式為P)在不同QP下，重建圖像的PSNR同使用JMVC默認方法重建圖像的 PSNR相比，有極小的下降，在0. 02以內(nèi)，可以忽略不計。序列exit的實驗結果如圖12-圖14所示。分析圖12，可以看出，序列exit 第1視點在不同QP下，使用本文所述方法BS判斷時間比使用JMVC默認方法節(jié)省了 22. 8%-34. 0%，從而帶動了該視點整個環(huán)路去塊濾波速率的提升，在不同的QP下，總節(jié)省時 間在18. 1%-24. 9%之間；分析圖13，可以看出，使用本方法exit序列第1視點不同QP下重 建圖像的PSNR同使用JMVC默認方法重建圖像的PSNR相比，有極小的下降，在0. 01以內(nèi)，可 以忽略不計；圖14為exit序列第30幀(QP=3!3)使用不濾波、本文提出的濾波方法和JMVC 去塊濾波方法的重建圖像主觀質量對比。在局部對比圖中可見看出，不濾波的圖像在墻體 部分有較明顯的塊效應，而本文的方法和JMVC的方法都對這些塊效應進行了有效的抑制， 且兩種方法的重建圖像質量相當。序列racel第1視點的實驗結果如圖15-圖16所示。分析圖15，可以看出，序列 racel第1視點在不同QP下，使用本文所述方法BS判斷時間比使用JMVC默認方法節(jié)省了 15. 1%-23. 0%，從而帶動了該視點整個環(huán)路去塊濾波速率的提升，在不同的QP下，總節(jié)省時 間在8. 4%-14. 7%之間；分析圖16，可以看出，使用本方法序列racel第1視點不同QP下重 建圖像的PSNR同使用JMVC默認方法重建圖像的PSNR相比，有極小的下降，在0. 01以內(nèi)， 可以忽略不計。另外，圖16中，當QP為30、33和36時，不濾波時圖像重建幀Cb分量PSNR 反而比JMVC默認方法和本方法重建幀略高，這是racel視頻序列的特殊性所在，不影響這 里的分析。序列f lamencol第1個視點的實驗結果如圖17-圖18所示。分析圖17，可以看出， 序列f lamencol第1視點在不同QP下，使用本文所述方法BS判斷時間比使用JMVC默認方 法節(jié)省了 19. 4%-27. 3%，從而帶動了該視點整個環(huán)路去塊濾波速率的提升，在不同的QP下， 總節(jié)省時間在12. 8%-17· 2%之間；分析圖18，可以看出，使用本方法f lamencol序列第1視 點不同QP下重建圖像的PSNR同使用JMVC默認方法重建圖像的PSNR相比，有極小的下降， 在0.01以內(nèi)，可以忽略不計。結合以上各圖可以看出，實驗結果符合預期，即以極小的，幾乎不影響主觀評價的 圖像質量損耗為代價換取去塊濾波所耗費時間的大幅減少。
1權利要求
1.一種基于多視點視頻解碼端的去塊濾波方法，其特征在于1)視頻編碼在視頻編碼端將宏塊分為2類，并將分類信息傳到解碼端；2)視頻解碼利用視頻編碼端得到的宏塊分類信息，在視頻解碼的去塊濾波部分，對 不同的宏塊采用不同的濾波策略，加快了去塊濾波的速率，從而加快了視頻解碼的速率。
2.根據(jù)權利要求1的基于多視點視頻解碼端的去塊濾波方法，其特征在于所述步驟 1)，視頻編碼的具體操作步驟如下(1)視頻解碼時采用各種廣泛使用的預測編碼結構，注意選用的編碼結構包含視點間 預測方式；(2)計算該視點圖像相對相鄰視點的GDV(全局視差矢量)值；(3)判斷當前解碼的視點序列號，將每一個用到視點間預測的幀的每個宏塊的視差矢 量DV和其對應的⑶V進行對比，計算DV和⑶V的差值D⑶；(4)根據(jù)DGD的大小將宏塊分為A類宏塊和B類宏塊，并用一個二進制位flag來標記 它們，該標志位使用二進制形式存放，和視頻碼流同時傳輸。
3.根據(jù)權利要求2所述的基于多視點視頻解碼端的去塊濾波方法，其特征在于步驟 (4)，根據(jù)DGD的大小將宏塊分為A類宏塊和B類宏塊的方法是①A類宏塊當宏塊對應的DGD值為(0，0)或GDV時，將其定義為A類宏塊；②B類宏塊當宏塊對應的DGD值為其他值的時候，將其定義為B類宏塊。
4.根據(jù)權利要求1的基于多視點視頻解碼端的去塊濾波方法，其特征在于步驟2)所 述，視頻解碼的具體操作步驟如下(1’ )將壓縮好的視頻碼流和步驟(4)存放的二進制flag信息同時輸入解碼端(2’ )在環(huán)路去塊濾波之前，每個宏塊都要結合標志位信息進行一定的判定，如果符合 條件，進入步驟(3’)，否則，進入步驟(4’ )；(3’ )進行邊界強度信息的判定認為邊界強度信息可以由已經(jīng)解碼完畢的相鄰視 點的邊界強度矩陣以宏塊為單位進行相對GDV的簡單的平移得到，執(zhí)行完畢后進入步驟 (5’ )；(4’ )進行邊界強度信息的判定；使用多視點解碼的默認方法進行邊界強度信息的判 定，執(zhí)行完畢后進入步驟(5’ )；(5’ )根據(jù)步驟(3’ )或步驟(4’ )得出的邊界強度信息，按照多視點解碼的默認方法 進行自適應濾波。
5.根據(jù)權利要求4所述的基于多視點視頻解碼端的去塊濾波方法，其特征在于所述 步驟(2’)中對宏塊結合標志位信息的判定，方法如下(B該宏塊反向移動GDV(v，f)后依然在視頻顯示的范圍內(nèi)；(B該宏塊所在的視點每一幀都用用到了視點間預測；(D該宏塊所在的幀幀數(shù)Tx不為第0幀或第GOP整數(shù)倍幀； 該宏塊對應的flag信息為1。
6.根據(jù)權利要求4所述的基于多視點視頻解碼端的去塊濾波方法，其特征在于所述步 驟(3’)中認為邊界強度信息可以由已經(jīng)解碼完畢的相鄰視點的邊界強度矩陣以宏塊為單 位進行相對GDV的簡單的平移得到，其具體公式為
全文摘要
本發(fā)明涉及一種基于多視點視頻解碼端的去塊濾波方法。該方法包括視頻編碼和視頻解碼步驟，視頻編碼具體步驟如下(1)選用包含視點間預測方式的編碼結構。(2)計算該視點圖像相對相鄰視點的GDV值。(3)判斷當前解碼的視點序列號，將恒用到視點間預測的視點各幀每個宏塊的視差矢量DV(v,f,i)和其對應的GDV進行對比，計算它們的差值DGD(DisparityofGDVandDV)。(4)根據(jù)DGD的大小將宏塊分類，并將標志分類信息進行壓縮存放。視頻編碼端具體步驟如下(1)將壓縮好的視頻碼流和二進制標志信息同時輸入解碼端。(2)在環(huán)路去塊濾波之前，對宏塊所在的位置、視點號、幀號和標志位信息進行判定。(3)如果上述判定成立，則使用邊界強度GDV位移的方式從參考幀處直接獲取該宏塊各邊邊界強度的值。(4)如果判定不成立，就使用傳統(tǒng)方法獲取該宏塊各邊邊界強度的值。(5)根據(jù)邊界強度信息，按照多視點解碼的默認方法進行自適應濾波。實驗證明，該方法可以有效地加快去塊濾波的速度。
文檔編號H04N7/26GK102098516SQ20111005329
公開日2011年6月15日 申請日期2011年3月7日 優(yōu)先權日2011年3月7日
發(fā)明者傅瀛, 劉靜, 武翠芳, 王永芳 申請人:上海大學