專利名稱:一種基于分形的多目立體視頻壓縮編解碼方法
技術(shù)領(lǐng)域:
本發(fā)明屬于視頻壓縮編碼領(lǐng)域,涉及多目立體視頻的壓縮編碼,為立體視頻編碼 的實時性應(yīng)用奠定了基礎(chǔ),進一步提高了分形多目立體視頻壓縮編碼的性能,使其更加具 有實用性和推廣性。
背景技術(shù):
分形理論最初由Mandelbrot于上世紀70年代提出(參見Benoit B. Mandelbrot. TheFractal Geometry ofNature[Μ]. New York H. Freeman and Company,1982.)。分 形編碼的數(shù)學基礎(chǔ)是迭代函數(shù)系統(tǒng)(IFS)理論。Barnsley首先將分形編碼用于交互 式圖像壓縮(參見 Michael F. Barns ley, Alan D. Sloan. A better way to compress image [J]. ByteMagazine, 1988,13 (1) :215_233.)。Jacqain 提出了 全自動的分形圖像壓 縮方法(參見 Arnaud E. Jacquin. A novel fractal blocking-coding technique for digital image[C]. IEEEInternational Conference on Acoustics,Speech and Signal Processing, 1990,4 2225~2228.),(參見 Arnaud Ε.Jacquin. Fractal image coding a review[J]. Proceeding of the IEEE,1993,81 (10) :1451_1465·),該方法釆用基于 圖像分塊的方式以局部的仿射變換代替全局的仿射變換。之后,F(xiàn)isher利用四叉樹改 進了這一方法(參見 Y. Fisher. Fractal ImageCompression [J]. Fractals,1994,2 (3) 347-361.),(參 JAL Y. Fisher,Ε. W. Jacobs. Imagecompression :A study the iterated transform method[J]. Signal Processing,1992,29 (3),251-263.),(參見 Y.Fisher. Fractal Image Compression :Theory and application to digital images[M]. New York Spring-Verlag, 1995,55-77.),大大提高了編碼效率,并成為目前分形圖像編碼中的主流 方法。在此基礎(chǔ)之上,一些學者和研究人員把分形圖像壓縮的方法應(yīng)用到視頻序列的 壓縮上。Meiqing Wang等提出了綜合基于數(shù)據(jù)立方體和基于幀的分形視頻壓縮方法(參 見 Meiqing Wang, Choi-Hong Lai. A hybrid fractal video compression method[J]. Computers Mathematics with Applications,2005,50 (3-4) :611_62L),(參見 Meiqing Wang,ZhehuangHuang,Choi—Hong Lai. Matching search in fractal video compression and its parallelimplementation in distributed computing environments[J]. Applied Mathematical Modeling,2006,30(8) :677-687. ), ( # B Meiqing Wang, Rong Liu, Choi-Hong Lai. Adaptive partitionand hybrid method in fractal video compression[J]. Computers & Mathematics withApplications,2006,51(11) 1715-1726.) ο 其中最為經(jīng)典和影響較大的參見(C.S.Kim,R.C.Kim,S. U. Lee. Fractal coding of video sequence using circular prediction mapping andnoncontractive interframe mapping[J]. IEEE Transactions on Image Processing,1998,7(4) 601-605.)。該方法采用類似于標準視頻編碼方法所采用的運動估計/補償技術(shù),該方法利 用了相鄰幀之間的時間強相關(guān)性,對視頻序列壓縮取得了較好的效果。在CPM和NCIM中,子塊域中的每個圖像塊都由來自相鄰幀相同大小的父塊域通過運動補償?shù)玫?。CPM和NCIM 兩者間最大的不同在于CPM在解碼的過程中需要具備收斂性,而NCIM不需要。但是在循 環(huán)預(yù)測編碼(CPM)方法中,為了保證起始幀經(jīng)過自身的循環(huán)解碼能夠近似收斂到原來的圖 像,壓縮過程需要經(jīng)過復(fù)雜變換、搜索和迭代等,壓縮時間和圖像質(zhì)量難以達到要求。目前 典型的分形圖像和視頻壓縮方法的運算量很大,編碼速度較慢,并且解碼的質(zhì)量有待提高, 使得分形圖像和視頻壓縮方法還需要進一步的改進和提高。多視點視頻(Multi-view Video)是一種新型的具有立體感和交互操作功能的視 頻,通過在場景中放置多臺攝像機,記錄下多個視點數(shù)據(jù),提供給用戶以視點選擇和場景漫 游的交互能力。多視點視頻將在自由視點視頻、立體電視、立體視頻會議、多視點視頻點播 等數(shù)字娛樂領(lǐng)域有著非常廣泛的應(yīng)用前景。隨著相機數(shù)目的增加,多視點視頻的數(shù)據(jù)量也 成倍增加(參見 Chun Li,Lini MA. A Study of Multi-view Video Coding Technology [J], Computers & Moderns,2009,1 :104-108.)。拍攝場景不同角度的視頻信息,利用其中的 一個或多個視點信息可以合成任意視點的信息,達到自由視點顯示和自由切換任意視點 的目的(參見 IS0/IEC JTC 1/SC29/WG IllCall for Evidence on Multi-View Video Coding. DOC. N6720, Palma de Mallorca, Spain, 2004.),(參見 ISO IEC JTC 1/SC29/ WGlll Surveyof Algorithms used for Multi-view Video Coding (MVC). DOC 1. N6909, Hong Kong,China,2005.),(參見 IS0/IEC JTC1/SC29/WG111 Requirements on Multi-view Video Coding 4. DOC. N7282, Poznan, Poland, 2005.)。
發(fā)明內(nèi)容
本發(fā)明提出了一種基于分形的多目立體視頻壓縮與解壓縮方法,在多目立體視頻 編碼中,選取中間目作為參考目,使用MCP原理壓縮,其它目使用基于DCP+MCP的原理壓縮。 以三目視頻為例,中間目作為參考目,采用單獨的運動補償預(yù)測方式(MCP)進行編碼,首先 對起始幀采用塊DCT變換編碼,對非I幀進行塊運動估計/補償編碼,然后在前一幀即中間 目視頻的參考幀搜索窗中利用全搜索方法尋找最相似的匹配塊,最后利用Huffman編碼方 法壓縮迭代函數(shù)系統(tǒng)系數(shù)。左目和右目分別采用MCP加視差補償預(yù)測方式(DCP)進行編碼, 在進行DCP編碼方式時,充分利用立體平行攝像結(jié)構(gòu)中的偏振性和方向性。對應(yīng)的解壓縮 過程為首先對I幀采用反DCT變換的方式解碼,對非I幀進行Huffman解碼獲得迭代函數(shù) 系統(tǒng)系數(shù),然后進行基于宏塊的解碼,對于中間目,計算前一幀中的父塊域相關(guān)子塊的像素 和與像素平方和;對于左目和右目,分別計算其前一幀和中間目對應(yīng)幀的父塊域相關(guān)子塊 的像素和與像素平方和。一種基于分形的多目立體視頻壓縮編碼方法,包括以下步驟步驟一對于中間目,首先判斷是否為I幀,若是I幀,則對該幀進行互不重疊的固 定大小的塊劃分,對每一個圖像塊分別采用基于塊DCT變換的I幀幀內(nèi)圖像壓縮方法,對圖 像進行單獨編碼和解碼,轉(zhuǎn)到步驟九;所述I幀為視頻序列起始幀或者視頻序列中只進行 幀內(nèi)編碼的圖像幀;所述將當前幀劃分為固定大小的互不重疊的圖像塊稱為宏塊;所述將 當前宏塊進行樹狀劃分得到的塊稱為小塊;所述當前幀為正在進行壓縮的幀,所述參考幀 為當前幀的已經(jīng)編碼并重建的前一幀;所述當前幀所有塊的集合稱為子塊域;所述前一幀 的所有塊的集合稱為父塊域;所述塊DCT變換中的塊采用固定大小模式;對于左目轉(zhuǎn)到步驟四;對于右目轉(zhuǎn)到步驟八;步驟二 若中間目為非I幀,用常規(guī)單目的運動補償預(yù)測(MCP)編碼,對該幀進行 互不重疊的宏塊劃分,然后計算這些宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方 和,以及中間目前一幀重建圖像即參考幀中,按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃 分得到的小塊的像素和、像素平方和;步驟三依次對當前幀的所有宏塊進行編碼,在父塊域中的搜索窗內(nèi)首先對該宏 塊進行塊匹配;在進行子塊與父塊的匹配過程中,子塊的位置作為父塊的起始搜索點,父塊 的大小與子塊的大小相同;如果匹配誤差RMS小于開始設(shè)定的閾值Y,保存當前的迭代函 數(shù)系統(tǒng)系數(shù)即IFS系數(shù),轉(zhuǎn)入步驟三編碼下一宏塊;否則,依次按照樹狀結(jié)構(gòu)對該塊進行劃 分,并對各個劃分得到的小塊分別計算匹配誤差RMS,如果RMS小于設(shè)定閾值Y,停止劃分 并記錄該小塊IFS系數(shù),轉(zhuǎn)入步驟三編碼下一宏塊;否則繼續(xù)劃分,直到將當前塊劃分為預(yù) 先設(shè)定的最小塊,記錄IFS系數(shù);轉(zhuǎn)入步驟三編碼下一宏塊;所述搜索窗為在參考幀中的矩 形搜索區(qū)域;所述IFS系數(shù)包括父塊位置(X,y)和比例因子S、偏移因子ο ;如果當前幀所 有的宏塊都已編碼完畢,且是中間目,則轉(zhuǎn)到步驟九;若是左目或右目,則轉(zhuǎn)到步驟五;步驟四對左目圖像,首先進行互不重疊的宏塊劃分,然后計算這些宏塊以及經(jīng)樹 狀劃分得到的小塊的像素和、像素平方和,以及左目前一幀重建圖像參考幀,按照設(shè)定步長 劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和,以減少塊匹配過程中 的重復(fù)計算,轉(zhuǎn)到步驟三;步驟五計算中間目中對應(yīng)幀圖像參考幀,按照設(shè)定步長劃分的所有宏塊以及經(jīng) 樹狀劃分得到的小塊的像素和、像素平方和,以減少塊匹配過程中的重復(fù)計算,轉(zhuǎn)到步驟 六;步驟六首先對與當前子塊位置相同的父塊進行塊匹配,得到RMS,并保存迭代函 數(shù)系統(tǒng)系數(shù),該系數(shù)包括父塊與子塊的相對位移矢量(X,y),比例因子S和偏移因子O;依 次對當前幀的所有宏塊進行編碼,在父塊域中的搜索窗內(nèi)首先對該宏塊進行塊匹配;在進 行子塊與父塊的匹配過程中,子塊的位置作為父塊的起始搜索點,父塊的大小與子塊的大 小相同并轉(zhuǎn)入步驟七;如果所得的匹配誤差RMS小于開始設(shè)定的閾值Y,保存當前的迭代 函數(shù)系統(tǒng)系數(shù)即IFS系數(shù),轉(zhuǎn)入步驟六編碼下一宏塊;否則,依次按照樹狀結(jié)構(gòu)對該塊進行 劃分,并對各個劃分得到的小塊分別轉(zhuǎn)入步驟七計算匹配誤差RMS,如果RMS小于設(shè)定閾值 Y,停止劃分并記錄該小塊IFS系數(shù),轉(zhuǎn)入步驟六編碼下一宏塊;否則繼續(xù)劃分,直到將當 前塊劃分為預(yù)先設(shè)定的最小塊,轉(zhuǎn)入步驟七計算RMS,記錄IFS系數(shù),轉(zhuǎn)入步驟六編碼下一 宏塊;最后與步驟三所得結(jié)果比較,選擇誤差最小的作為預(yù)測結(jié)果;所述搜索窗為在參考 幀中的矩形搜索區(qū)域;所述IFS系數(shù)包括父塊位置(X,y)和比例因子s、偏移因子ο ;如果 當前幀所有的宏塊都已編碼完畢,則轉(zhuǎn)到步驟九;步驟七利用DCP快速方法,得到匹配誤差RMS,繼續(xù)執(zhí)行步驟六;步驟八對于右目圖像,首先進行互不重疊的宏塊劃分,然后計算這些宏塊以及經(jīng) 樹狀劃分得到的小塊的像素和、像素平方和,以及右目前一幀重建圖像參考幀,按照設(shè)定步 長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和,以減少塊匹配過程 中的重復(fù)計算,轉(zhuǎn)到步驟三;步驟九對所有IFS系數(shù)進行Huffman編碼,降低IFS系數(shù)數(shù)據(jù)的統(tǒng)計冗余;判斷當前幀是否為最后一幀,如果是最后一幀結(jié)束編碼;否則,返回步驟一繼續(xù)處理下一幀圖 像。對于中間目,設(shè)多目立體視頻總目數(shù)為N,這里N為奇數(shù),則中間目指第(N+l)/2 目,它左邊的所有目都稱為左目,右邊的所有目都稱為右目。例如,第1目、N目禾Π (N+l)/2 目構(gòu)成三目,同樣第2目、N-I目和(N+l)/2目構(gòu)成三目,依次類推,分別進行三目的相應(yīng)處 理,并且每個處理中彼此獨立,左目內(nèi)部或右目內(nèi)部之間都沒有對應(yīng)聯(lián)系。所述一種基于分形的多目立體視頻壓縮編碼方法,處理的視頻序列為YUV格式, 分別對3個分量中的每個采用上述九個步驟進行處理。所述步驟三和步驟六中對宏塊采用樹狀劃分,塊匹配采用匹配誤差準則;子塊與 父塊的匹配誤差RMS為
一 N , N^ NN ,N
N其中參數(shù)s和ο分別為
RMS丄
N1 N1NN 0N
Σ rz+s(s Σ -2 Σ r.d.+2o Σ dz) + o{N-o-2 Σ r.) '.=I1 i = l 1 i = I1 1 / = Iii = ll
(1)
㈣ U",]
c 一 /=1_<=1 /=1
Λ — NNKzJ
/=1 ;=1 I N N
Σ r ~s Σ d ](3)
N z-1 i=\其中,N為子塊和父塊像素的個數(shù),r,為子塊的像素值,Cli為父塊的像素值;計算當前宏塊在參考幀中的塊匹配誤差RMS,其中ri是子塊的像素值,Cli是父塊的 像素值;如果RMS小于預(yù)先設(shè)定的閾值Y,記錄IFS系數(shù),IFS系數(shù)包括匹配塊的位移矢量 (X,y)和公式2,3中的s和0,處理下一宏塊;否則,對當前宏塊進行樹狀劃分,計算劃分后 小塊的RMS,如果小于閾值Y,則停止劃分,否則繼續(xù)劃分,直到子塊達到預(yù)先設(shè)定的最小 塊為止。一種基于分形的多目立體視頻解壓縮方法,其特征在于包含以下步驟步驟I 首先讀入中間目壓縮信息,包括壓縮幀數(shù),每幀圖像的寬和高,I幀壓縮質(zhì) 量和插入I幀的間隔;步驟II 判斷解碼幀是否為I幀,若是I幀轉(zhuǎn)入步驟III,否則轉(zhuǎn)入步驟IV ;步驟III 對于I幀,從壓縮文件中讀入碼流,進行類似于JPEG的解壓縮方式進行 解碼,幀數(shù)加一轉(zhuǎn)入步驟VII ;步驟IV 對于非I幀,計算中間目前一幀中按照設(shè)定步長劃分的所有宏塊以及經(jīng) 樹狀劃分得到的小塊的像素和、像素平方和;步驟V 讀入左目壓縮信息,包括壓縮幀數(shù),每幀圖像的寬和高,I幀壓縮質(zhì)量和插 入I幀的間隔;計算左目前一幀和中間目對應(yīng)幀中按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹 狀劃分得到的小塊的像素和、像素平方和;步驟VI 讀入右目壓縮信息,包括壓縮幀數(shù),每幀圖像的寬和高,I幀壓縮質(zhì)量和 插入I幀的間隔;計算右目前一幀和中間目對應(yīng)幀中按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和;步驟VII 從對應(yīng)的壓縮文件中讀入塊的劃分信息和Huffman碼流,并根據(jù)以上的 信息得到該幀所有宏塊的劃分方式和每一個小塊的迭代函數(shù)系統(tǒng)系數(shù),按照每一宏塊進行 解碼;轉(zhuǎn)入步驟VIII ;步驟VIII 判斷此時所有幀是否都已解碼,若都解碼完畢,結(jié)束解碼過程,否則轉(zhuǎn) 入步驟II。對于每一個宏塊進行解壓縮時,首先判斷該宏塊在編碼時的劃分方式,對于每一 個子塊,首先在父塊域找到與該子塊相對應(yīng)的區(qū)域,然后利用下面的公式獲得該子塊的像
素值rj = s · di+o(4)其中ri為待解碼子塊的像素值,d,為父塊域中的像素值,s為比例因子,ο為偏移 因子。在基于分形的多目立體視頻解碼過程中,中間目用常規(guī)單目的運動補償預(yù)測 (MCP)編碼,左目和右目的每個圖像塊通過運動補償預(yù)測(MCP)和視差補償預(yù)測(DCP)兩種 方式進行預(yù)測,從中選擇誤差較小的一種作為預(yù)測結(jié)果。處理的視頻序列為YUV格式,分別對3個分量中的每個采用上述八個步驟進行處理。本發(fā)明所提出的分形多目立體視頻壓縮方法的優(yōu)點在于(1)本方法中對起始幀采用幀內(nèi)塊DCT變換編碼,相對于CPM/NCIM編碼方案,不但 大幅度減少了壓縮時間和塊效應(yīng),而且提高了峰值信噪比。(2)本方法先將一幀圖像劃分為互不重疊的、由若干固定大小尺寸的宏塊組成的 棋盤格式;然后根據(jù)匹配準則與設(shè)定閾值的關(guān)系,對宏塊進行樹狀結(jié)構(gòu)劃分;相對于四叉 樹劃分準則,大大降低了計算復(fù)雜度,提高了編碼速度。(3)本方法在進行子塊的塊匹配之前,計算當前幀互不重疊的宏塊及其經(jīng)樹狀劃 分之后得到的小塊的像素和與像素平方和;在參考幀中,按照匹配步長分別計算各宏塊以 及經(jīng)樹狀劃分以后得到的小塊的像素和與像素平方和;避免了在塊匹配過程中出現(xiàn)重復(fù)計 算的弊端,大大節(jié)約了子塊的匹配時間。(4)本方法中,中間目的編碼方式與單目分形編碼相同;左目和右目中,除了采用 前一幀作為參考幀外,加入了中間目對應(yīng)的幀共同作為參考幀,選取誤差最小的塊作為父 塊,使得面向的范圍更廣,實現(xiàn)更好的效果。(5)本方法中,在進行DCP編碼方式時,充分利用平行攝像結(jié)構(gòu)中的偏振性和方向 性,對DCP搜索方式進行了簡化運算,提出了 一種新型快速搜索算法。
圖Ia為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法的左目壓縮流程 圖;圖Ib為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法的中間目壓縮流 程圖;圖Ic為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法的右目壓縮流程圖;圖Id為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法的左目解壓縮流 程圖;圖Ie為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法的中間目解壓縮 流程圖;圖If為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法的右目解壓縮流 程圖;圖Ig為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法的DCP快速算法 流程圖;圖2a為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法對宏塊的四種劃 分模式圖;圖2b為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法對宏塊的劃分模 式四進一步進行劃分的四種劃分模式圖;圖3為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法的MCP和DCP結(jié)構(gòu) 示意圖;圖4a為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法“arme. cif ”多目 立體視頻序列的中間目第一幀圖像;圖4b為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法“arme. cif ”多目 立體視頻序列的左目第一幀圖像;圖4c為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法“arme. cif ”多目 立體視頻序列的右目第一幀圖像;圖5a為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法的DCP快速算法 與傳統(tǒng)的全搜索方法分別對“anne. cif"多目立體視頻序列的前5幀進行壓縮的壓縮比的 對比圖。圖5b為本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法的DCP快速算法 與傳統(tǒng)的全搜索方法分別對“anne. cif”多目立體視頻序列的前5幀進行壓縮的PSNR的對 比圖。圖5c本發(fā)明一種基于分形的多目立體視頻壓縮與解壓縮方法的DCP快速算法與 傳統(tǒng)的全搜索方法分別對“anne. cif”多目視頻序列的前5幀進行壓縮的壓縮時間的對比 圖。
具體實施例方式下面將結(jié)合附圖對本發(fā)明方法作進一步的詳細說明,僅以亮度分量Y為例,色差 分量U和V的壓縮步驟與亮度分量相同。本發(fā)明提出了一種基于分形的多目立體視頻壓縮與解壓縮方法,在多目立體視頻 編碼中,選取中間目作為參考目,使用MCP原理壓縮,其他目使用基于DCP+MCP的原理壓縮。 以三目視頻為例,中間目作為參考目,采用單獨的運動補償預(yù)測方式(MCP)進行編碼,首先 對起始幀采用塊DCT變換編碼,對非I幀進行塊運動估計/補償編碼,然后在前一幀即中間 目視頻的參考幀搜索窗中利用全搜索方法尋找最相似的匹配塊,最后利用Huffman編碼方法壓縮迭代函數(shù)系統(tǒng)系數(shù)。左目和右目分別采用MCP加視差補償預(yù)測方式(DCP)進行編碼, 在進行DCP編碼方式時,充分利用立體平行攝像結(jié)構(gòu)中的偏振性和方向性。對應(yīng)的解壓縮 過程為首先對I幀采用反DCT變換的方式解碼,對非I幀進行Huffman解碼獲得迭代函數(shù) 系統(tǒng)系數(shù),然后進行基于宏塊的解碼,對于中間目,計算前一幀中的父塊域相關(guān)子塊的像素 和與像素平方和;對于左目和右目,分別計算其前一幀和中間目對應(yīng)幀的父塊域相關(guān)子塊 的像素和與像素平方和。如附圖la、圖Ib和圖Ic所示,一種基于分形的多目立體視頻壓縮編碼方法,包括 以下步驟步驟一以多目立體視頻序列“arme. cif”的前5幀為例。所述I幀為視頻序列起 始幀或者視頻序列中只進行幀內(nèi)編碼的圖像幀;所述將當前幀劃分為固定大小的互不重疊 的圖像塊稱為宏塊;所述將當前宏塊進行樹狀劃分得到的塊稱為小塊;所述當前幀為正在 進行壓縮的幀,所述參考幀為當前幀的已經(jīng)編碼并重建的前一幀;所述當前幀所有塊的集 合稱為子塊域;所述前一幀的所有塊的集合稱為父塊域;所述塊DCT變換中的塊采用固定 大小模式。對于左目轉(zhuǎn)到步驟四;對于右目轉(zhuǎn)到步驟八。對視頻序列“arme. cif ”中間目的起始巾貞,設(shè)多目立體視頻總目數(shù)為N,這里N為奇 數(shù),則中間目指第(N+l)/2目,它左邊的所有目都稱為左目,右邊的所有目都稱為右目。例 如,第1目、N目和(N+l)/2目構(gòu)成三目,同樣第2目、N-I目和(N+l)/2目構(gòu)成三目,依次類 推,分別進行三目的相應(yīng)處理,并且每個處理中彼此獨立,左目內(nèi)部或右目內(nèi)部之間都沒有 對應(yīng)聯(lián)系。對每一個圖像塊分別采用基于塊DCT變換的I幀幀內(nèi)圖像壓縮方法,將起始幀 劃分為8X8的互不重疊的子塊,對每一子塊分別進行DCT變換。離散余弦變換將8X8的 圖像樣本X,變換成8X8的系數(shù)矩陣Y。變換過程(包括反變換)可以用變換矩陣A來表不。8X8樣本塊的正向DCT(FDCT)變換如下Y = AXAt(5)反向DCT(IDCT)如下X = AtYA(6)其中A是8X8的變換矩陣。A中的各個元素如下丄=C.cos^^(7) 1J 1 16其中C. =J-(I = O) C.=-(i>0)(8)
‘V8ι 2i,j分別為矩陣A的行和列。對變換系數(shù)進行量化和編碼,轉(zhuǎn)入步驟九。步驟二 若中間目為非I幀,用常規(guī)單目的運動補償預(yù)測(MCP)編碼,對圖像進 行互不重疊的16X16宏塊劃分,分別計算當前幀互不重疊的16X 16,16X8,8X 16,8X8, 8X4,4X8,4X4的小塊的像素和與像素的平方和。然后分別計算參考幀也就是前一幀的解 壓縮圖像中以1為步長的大小分別為16X16,16X8,8X16,8X8,8X4,4X8,4X4的小塊 的像素和與像素的平方和。從第一個宏塊開始處理,依次對當前幀的所有16X16宏塊進行編碼;步驟三依次對當前幀的所有16X16宏塊進行編碼,在父塊域中的搜索窗內(nèi)對整 個宏塊進行塊運動估計/補償。匹配的依據(jù)是分形迭代函數(shù)系統(tǒng)原理,簡要介紹一下分形 圖像壓縮的數(shù)學基礎(chǔ)-迭代函數(shù)系統(tǒng)(IFS =Iterative Function System)理論。設(shè)D是 Rn歐氏空間的子集,ω為D — D的映射,如果存在一個實數(shù)C,0 < C < 1,使得對于Rn上的 度量d,滿足對任意x,y eD,有d(co(x),ω (y)) < C(d(x,y)),則稱ω為壓縮映射,實數(shù) C稱為ω的壓縮因子。完備的度量空間(X,d)以及η個壓縮映射—Χ(其壓縮因子 分別為C1, C2, ...Cn) —起,就組成一個迭代函數(shù)系統(tǒng)(Iterated Function System),簡稱 IFS,記作{X = GJ1, ω2,. . .,ωη}。C = max (CijC2,. . .,Cn)稱為 IFS 的壓縮因子。因此{R2 CO1, ω2, ω3}就是一個 IFS。分形圖像壓縮中,一般的匹配準則是RMS,即RMS =去[Xrf + sisf^df -2坌^dl + 2of^df) + ο(Ν·ο-2^。)]
N /=1/=1/=1/=1M其中s,ο分別為
NN NS = ~^——iVid~
/=I1=1
I NN0 = — [Σ r -S Σ d ]
N i = l 1其中,N為子塊和父塊像素的個數(shù),r,為子塊的像素值,Cli為父塊的像素值。首先設(shè)定子塊的匹配誤差閾值Y =t0lXt0lXn0,其中tol根據(jù)不同的子塊大小 而改變,大的子塊tol就越大,小的子塊tol就小。在本例中,我們?nèi)?6X16宏塊的tol為 10. 0,8X8子塊的tol為8. 0,4X4子塊的tol為6. Ο,ηο為當前子塊屬于該視頻對象區(qū)域 的像素個數(shù)。首先設(shè)定16X 16宏塊的匹配誤差閾值Y16= 10. OX 10. OXno,在參考幀的父塊域 中以當前子塊的位置開始在15X15的搜索窗內(nèi)對整個宏塊進行塊匹配,如果匹配誤差RMS 小于開始設(shè)定的閾值Y16,保存當前的IFS系數(shù)包括比例因子s,偏移0,父塊相對于當前子 塊的坐標偏移X,1,返回步驟三,繼續(xù)下一宏塊的匹配。否則,按照樹狀結(jié)構(gòu)對該宏塊進行劃分,對宏塊的劃分有四種模式,如附圖2a,模 式一為一個16 X 16小塊,模式二為兩個8 X 16的小塊,模式三為兩個16X8的小塊,模式四 為四個8X8的小塊。1、首先按模式二的劃分計算,若模式二中兩個小塊都滿足RMS < Y16,保存當前的 IFS系數(shù)包括比例因子s,偏移0,以及父塊相對于當前子塊的坐標偏移X,y,并停止塊的劃 分,轉(zhuǎn)到5;2、否則按模式三劃分,若模式三中兩個小塊都滿足RMS < γ 16,保存當前的IFS系 數(shù)包括比例因子s,偏移0,以及父塊相對于當前子塊的坐標偏移χ,y,并停止塊的劃分,轉(zhuǎn) 到5;3、否則按照模式四對當前宏塊進行劃分,此時匹配誤差閾值設(shè)置為Y8 =
128. 0X8. OXno,如果模式四中的4個小塊都滿足RMS < Y8,保存當前的IFS系數(shù)包括比例 因子s,偏移0,以及父塊相對于當前子塊的坐標偏移X,y,并停止塊的劃分,轉(zhuǎn)到5 ;4、否則對模式四中的每一個小塊按照附圖2b中的模式劃分順序進行劃分,可依 次劃分為1個8 X 8的小塊,2個4X 8的小塊,2個8 X 4的小塊,4個4X 4的小塊。這里只 對第一個8 X 8小塊的匹配過程進行闡述,其它3個8 X 8小塊的匹配過程與第一個相同,不 再贅述。首先按照2個4X8的小塊劃分,進行塊匹配,如果兩個子塊的匹配誤差RMS全部 小于、8時,保存當前的IFS系數(shù)包括比例因子s,偏移0,以及父塊相對于當前子塊的坐標 偏移x,y,并停止塊的劃分。否則,按照2個8X4的劃分方式進行塊的劃分,對這兩個子塊 進行塊匹配,如果兩個子塊的匹配誤差RMS全部小于γ 8時,保存當前的IFS系數(shù)包括比例 因子s,偏移0,以及父塊相對于當前子塊的坐標偏移X,y,并停止塊的劃分。否則,對該子 塊劃分為4個4X4的小塊,同時匹配誤差閾值設(shè)為Y4 = 6. 0X6. ΟΧηο,對四個小塊分別 進行塊匹配,并分別記錄每個子塊的IFS系數(shù)包括比例因子s,偏移0,以及父塊相對于當前 子塊的坐標偏移X,y,并停止塊的劃分,轉(zhuǎn)到5 ;5、返回步驟三,繼續(xù)下一宏塊的編碼。如果當前幀所有的宏塊都已編碼完畢,且是中間目,則轉(zhuǎn)到步驟九;若是左目或右 目,則轉(zhuǎn)到步驟五;步驟四對于左目,首先進行互不重疊的16X16宏塊劃分,分別計算當前幀互 不重疊的16X16,16X8,8X16,8X8,8X4,4X8,4X4的小塊的像素和與像素的平方和。 然后計算參考幀也就是前一幀的解壓縮圖像中以1為步長的大小分別為16X16,16X8, 8 X 16,8 X 8,8 X 4,4X 8,4X 4的小塊的像素和與像素的平方和,以減少塊匹配過程中的重 復(fù)計算。附圖3為多目立體視頻編碼的MCP和DCP結(jié)構(gòu)示意圖,左目和右目中,每個宏塊使 用DCP從中間目中預(yù)測,使用MCP從左目和右目的前一幀預(yù)測。編碼器首先在左目和右目 的前一幀中搜索,選擇最匹配的D塊;從第一個宏塊開始處理,依次對當前幀的所有16X16 宏塊進行編碼,轉(zhuǎn)入步驟三;步驟五然后計算中間目中對應(yīng)幀的解壓縮圖像中以1為步長的大小分別為 16X16,16X8,8X16,8X8,8X4,4X8,4X4的小塊的像素和與像素的平方和,進行搜索選 擇最匹配的D塊。從第一個宏塊開始處理,依次對當前幀的所有16 X 16宏塊進行編碼,轉(zhuǎn) 入步驟六;附圖4(a)為三目立體視頻序列“arme.cif”中間目第1幀圖像,附圖4(b)為三 目立體視頻序列“arme. cif”左目第1幀圖像,附圖4(c)為三目立體視頻序列“arme. cif” 右目第1幀圖像。步驟六對與當前子塊位置相同的父塊進行塊匹配,得到RMS,并保存迭代函數(shù)系 統(tǒng)系數(shù),該系數(shù)包括父塊與子塊的相對位移矢量(x,y),比例因子s和偏移因子ο ;依次對當 前幀的所有宏塊進行編碼,在父塊域中的搜索窗內(nèi)首先對該宏塊進行塊匹配;在進行子塊 與父塊的匹配過程中,子塊的位置作為父塊的起始搜索點,父塊的大小與子塊的大小相同 并轉(zhuǎn)入步驟七;如果所得的匹配誤差RMS小于開始設(shè)定的閾值Y,保存當前的迭代函數(shù)系 統(tǒng)系數(shù)即IFS系數(shù),轉(zhuǎn)入步驟六編碼下一宏塊;否則,依次按照樹狀結(jié)構(gòu)對該塊進行劃分, 并對各個劃分得到的小塊分別轉(zhuǎn)入步驟七計算匹配誤差RMS,如果RMS小于設(shè)定閾值γ,停 止劃分并記錄該小塊IFS系數(shù),轉(zhuǎn)入步驟六編碼下一宏塊;否則繼續(xù)劃分,直到將當前塊劃 分為預(yù)先設(shè)定的最小塊,轉(zhuǎn)入步驟七計算RMS,記錄IFS系數(shù),轉(zhuǎn)入步驟六編碼下一宏塊;最后與步驟三所得結(jié)果比較,選擇誤差最小的作為預(yù)測結(jié)果;所述搜索窗為在參考幀中的矩 形搜索區(qū)域;所述IFS系數(shù)包括父塊位置(X,y)和比例因子S、偏移因子ο ;如果當前幀所 有的宏塊都已編碼完畢,則轉(zhuǎn)到步驟九;步驟七利用DCP快速方法,得到匹配誤差RMS,繼續(xù)執(zhí)行步驟六;步驟八對于右目圖像,首先進行互不重疊的宏塊劃分,然后計算這些宏塊以及經(jīng) 樹狀劃分得到的小塊的像素和、像素平方和,以及右目前一幀重建圖像參考幀,按照設(shè)定步 長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和,以減少塊匹配過程 中的重復(fù)計算,轉(zhuǎn)到步驟三;步驟九對所有IFS系數(shù)進行Huffman編碼,Huffman編碼是根據(jù)出現(xiàn)的概率將每 個符號映射到一個變長碼字的集合(VLC)上,降低IFS系數(shù)數(shù)據(jù)的統(tǒng)計冗余。判斷當前幀 是否為最后一幀,如果是最后一幀結(jié)束編碼,否則,返回步驟一繼續(xù)處理下一幀圖像。如附圖Id、圖Ie和圖If所示,一種基于分形的多目立體視頻解壓縮方法,包括以 下步驟步驟I 首先讀入中間目壓縮信息,包括壓縮幀數(shù),每幀的寬和高,I幀重建質(zhì)量, 插入I幀的間隔;步驟II 判斷解碼幀是否為I幀,若是I幀轉(zhuǎn)入步驟III,否則轉(zhuǎn)入步驟IV ;步驟III 對于I幀,從壓縮文件中讀入碼流,進行類似于JPEG的解壓縮方式進行 解碼,進行反DCT變換,得到每一個8X8的塊的像素值,幀數(shù)加一轉(zhuǎn)入步驟VII ;步驟IV 對于非I幀,計算中間目前一幀即參考幀中按照設(shè)定步長劃分的所有宏 塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和;步驟V 讀入左目壓縮信息,包括壓縮幀數(shù),每幀圖像的寬和高,I幀壓縮質(zhì)量和插 入I幀的間隔;計算左目前一幀和中間目對應(yīng)幀即參考幀中按照設(shè)定步長劃分的所有宏塊 以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和;步驟VI 讀入右目壓縮信息,包括壓縮幀數(shù),每幀圖像的寬和高,I幀壓縮質(zhì)量和 插入I幀的間隔;計算右目前一幀和中間目對應(yīng)幀中按照設(shè)定步長劃分的所有宏塊以及經(jīng) 樹狀劃分得到的小塊的像素和、像素平方和,轉(zhuǎn)入步驟VII ;步驟VII 從壓縮文件中讀入塊的劃分信息和Huffman碼流,并根據(jù)以上的信息得 到該幀所有宏塊的劃分方式和每一個小塊的迭代函數(shù)系統(tǒng)系數(shù),按照每一宏塊進行解碼, 對于每一個宏塊進行解壓縮時,首先判斷該宏塊在編碼時的劃分方式,對于每一個子塊,首 先在父塊域找到與該子塊相對應(yīng)的區(qū)域,然后利用下面的公式獲得該子塊的像素值,Γi = s · di+o其中ri為待解碼子塊的像素值,d,為父塊域中的像素值,s為比例因子,ο為偏移 因子。步驟VIII 判斷此時所有幀是否都已解碼,若都解碼完畢,結(jié)束解碼過程,否則轉(zhuǎn) 入步驟II。處理的立體視頻序列為YUV格式,分別對3個分量中的每個采用上述八個步驟進 行處理。本方法選擇Vi sual C++6. 0作為所述方法的實現(xiàn)語言,CPU為InteI Core 2DuoT8300,2. 4GHz主頻,內(nèi)存大小為2G,對標準測試視頻序列“arme. cif”進行了基于分形的多目立體視頻編碼實驗。 表1為在同等條件下,利用本發(fā)明方法與CPM/NCIM方法對標準測試序列“anne. cif”中間目起始幀的對比實驗結(jié)果。
權(quán)利要求
一種基于分形的多目立體視頻壓縮編碼方法,其特征在于具體步驟如下步驟一對于中間目,首先判斷是否為I幀,若是I幀,則對該幀進行互不重疊的固定大小的塊劃分,對每一個圖像塊分別采用基于塊DCT變換的I幀幀內(nèi)圖像壓縮方法,對圖像進行單獨編碼和解碼,轉(zhuǎn)到步驟九;所述I幀為視頻序列起始幀或者視頻序列中只進行幀內(nèi)編碼的圖像幀;所述將當前幀劃分為固定大小的互不重疊的圖像塊稱為宏塊;所述將當前宏塊進行樹狀劃分得到的塊稱為小塊;所述當前幀為正在進行壓縮的幀,所述參考幀為當前幀的已經(jīng)編碼并重建的前一幀;所述當前幀所有塊的集合稱為子塊域;所述前一幀的所有塊的集合稱為父塊域;所述塊DCT變換中的塊采用固定大小模式;對于左目轉(zhuǎn)到步驟四;對于右目轉(zhuǎn)到步驟八;步驟二若中間目為非I幀,用常規(guī)單目的運動補償預(yù)測(MCP)編碼,對該幀進行互不重疊的宏塊劃分,然后計算這些宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和,以及中間目前一幀重建圖像即參考幀中,按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和;步驟三依次對當前幀的所有宏塊進行編碼,在父塊域中的搜索窗內(nèi)首先對該宏塊進行塊匹配;在進行子塊與父塊的匹配過程中,子塊的位置作為父塊的起始搜索點,父塊的大小與子塊的大小相同;如果匹配誤差RMS小于開始設(shè)定的閾值γ,保存當前的迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù),轉(zhuǎn)入步驟三編碼下一宏塊;否則,依次按照樹狀結(jié)構(gòu)對該塊進行劃分,并對各個劃分得到的小塊分別計算匹配誤差RMS,如果RMS小于設(shè)定閾值γ,停止劃分并記錄該小塊IFS系數(shù),轉(zhuǎn)入步驟三編碼下一宏塊;否則繼續(xù)劃分,直到將當前塊劃分為預(yù)先設(shè)定的最小塊,記錄IFS系數(shù);轉(zhuǎn)入步驟三編碼下一宏塊;所述搜索窗為在參考幀中的矩形搜索區(qū)域;所述IFS系數(shù)包括父塊位置(x,y)和比例因子s、偏移因子o;如果當前幀所有的宏塊都已編碼完畢,且是中間目,則轉(zhuǎn)到步驟九;若是左目或右目,則轉(zhuǎn)到步驟五;步驟四對左目圖像,首先進行互不重疊的宏塊劃分,然后計算這些宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和,以及左目前一幀重建圖像參考幀,按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和,以減少塊匹配過程中的重復(fù)計算,轉(zhuǎn)到步驟三;步驟五計算中間目中對應(yīng)幀圖像參考幀,按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和,以減少塊匹配過程中的重復(fù)計算,轉(zhuǎn)到步驟六;步驟六首先對與當前子塊位置相同的父塊進行塊匹配,得到RMS,并保存迭代函數(shù)系統(tǒng)系數(shù),該系數(shù)包括父塊與子塊的相對位移矢量(x,y),比例因子s和偏移因子o;依次對當前幀的所有宏塊進行編碼,在父塊域中的搜索窗內(nèi)首先對該宏塊進行塊匹配;在進行子塊與父塊的匹配過程中,子塊的位置作為父塊的起始搜索點,父塊的大小與子塊的大小相同并轉(zhuǎn)入步驟七;如果所得的匹配誤差RMS小于開始設(shè)定的閾值γ,保存當前的迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù),轉(zhuǎn)入步驟六編碼下一宏塊;否則,依次按照樹狀結(jié)構(gòu)對該塊進行劃分,并對各個劃分得到的小塊分別轉(zhuǎn)入步驟七計算匹配誤差RMS,如果RMS小于設(shè)定閾值γ,停止劃分并記錄該小塊IFS系數(shù),轉(zhuǎn)入步驟六編碼下一宏塊;否則繼續(xù)劃分,直到將當前塊劃分為預(yù)先設(shè)定的最小塊,轉(zhuǎn)入步驟七計算RMS,記錄IFS系數(shù),轉(zhuǎn)入步驟六編碼下一宏塊;最后與步驟三所得結(jié)果比較,選擇誤差最小的作為預(yù)測結(jié)果;所述搜索窗為在參考幀中的矩形搜索區(qū)域;所述IFS系數(shù)包括父塊位置(x,y)和比例因子s、偏移因子o;如果當前幀所有的宏塊都已編碼完畢,則轉(zhuǎn)到步驟九;步驟七利用DCP快速方法,得到匹配誤差RMS,繼續(xù)執(zhí)行步驟六;步驟八對于右目圖像,首先進行互不重疊的宏塊劃分,然后計算這些宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和,以及右目前一幀重建圖像參考幀,按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和,以減少塊匹配過程中的重復(fù)計算,轉(zhuǎn)到步驟三;步驟九對所有IFS系數(shù)進行Huffman編碼,降低IFS系數(shù)數(shù)據(jù)的統(tǒng)計冗余;判斷當前幀是否為最后一幀,如果是最后一幀結(jié)束編碼;否則,返回步驟一繼續(xù)處理下一幀圖像。
2.根據(jù)權(quán)利要求1所述一種基于分形的多目立體視頻壓縮編碼方法,其特征在于對 于中間目,設(shè)多目立體視頻總目數(shù)為N,這里N為奇數(shù),則中間目指第(N+l)/2目,它左邊的 所有目都稱為左目,右邊的所有目都稱為右目。和中間目等距的左右目構(gòu)成三目,進行相應(yīng) 的MCP+DCP處理,并且每個處理中彼此獨立,左目內(nèi)部或右目內(nèi)部之間都沒有對應(yīng)聯(lián)系。
3.根據(jù)權(quán)利要求1所述一種基于分形的多目立體視頻壓縮編碼方法,其特征在于處 理的視頻序列為YUV格式,分別對3個分量中的每個采用上述九個步驟進行處理。
4.根據(jù)權(quán)利要求1所述一種基于分形的多目立體視頻壓縮編碼方法,其特征在于所 述步驟三和步驟六中對宏塊采用樹狀劃分,塊匹配采用匹配誤差準則;子塊與父塊的匹配 誤差RMS為其中,N為子塊和父塊像素的個數(shù),r,為子塊的像素值,Cli為父塊的像素值; 計算當前宏塊在參考幀中的塊匹配誤差RMS,其中ri是子塊的像素值,Cli是父塊的像素 值;如果RMS小于預(yù)先設(shè)定的閾值Y,記錄IFS系數(shù),IFS系數(shù)包括匹配塊的位移矢量(X,y) 和公式2,3中的s和0,處理下一宏塊;否則,對當前宏塊進行樹狀劃分,計算劃分后小塊的 RMS,如果小于閾值Y,則停止劃分,否則繼續(xù)劃分,直到子塊達到預(yù)先設(shè)定的最小塊為止。
5. 一種基于分形的多目立體視頻解壓縮方法,包含以下步驟 步驟I 首先讀入中間目壓縮信息,包括壓縮幀數(shù),每幀圖像的寬和高,I幀壓縮質(zhì)量和 插入I幀的間隔;步驟II 判斷解碼幀是否為I幀,若是I幀轉(zhuǎn)入步驟III,否則轉(zhuǎn)入步驟IV ; 步驟III 對于I幀,從壓縮文件中讀入碼流,進行類似于JPEG的解壓縮方式進行解 碼,幀數(shù)加一轉(zhuǎn)入步驟VII ;步驟IV 對于非I幀,計算中間目前一幀中按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀 劃分得到的小塊的像素和、像素平方和;步驟V 讀入左目壓縮信息,包括壓縮幀數(shù),每幀圖像的寬和高,I幀壓縮質(zhì)量和插入I 幀的間隔;計算左目前一幀和中間目對應(yīng)幀中按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃 分得到的小塊的像素和、像素平方和;步驟VI 讀入右目壓縮信息,包括壓縮幀數(shù),每幀圖像的寬和高,I幀壓縮質(zhì)量和插入I 幀的間隔;計算右目前一幀和中間目對應(yīng)幀中按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃 分得到的小塊的像素和、像素平方和;步驟VII 從對應(yīng)的壓縮文件中讀入塊的劃分信息和Huffman碼流,并根據(jù)以上的信 息得到該幀所有宏塊的劃分方式和每一個小塊的迭代函數(shù)系統(tǒng)系數(shù),按照每一宏塊進行解 碼;轉(zhuǎn)入步驟VIII ;步驟VIII 判斷此時所有幀是否都已解碼,若都解碼完畢,結(jié)束解碼過程,否則轉(zhuǎn)入步 驟II。
6.根據(jù)權(quán)利要求5所述一種基于分形的多目立體視頻解壓縮方法,其特征在于對于 每一個宏塊進行解壓縮時,首先判斷該宏塊在編碼時的劃分方式,對于每一個子塊,首先在 父塊域找到與該子塊相對應(yīng)的區(qū)域,然后利用下面的公式獲得該子塊的像素值,Ti = s · di+o(4)其中A為待解碼子塊的像素值,di為父塊域中的像素值,S為比例因子,O為偏移因子。
7.根據(jù)權(quán)利要求5所述一種基于分形的多目立體視頻解壓縮方法,其特征在于在基 于分形的立體視頻解碼過程中,中間目用常規(guī)單目的運動補償預(yù)測(MCP)編碼,左目和右 目的每個圖像塊通過運動補償預(yù)測(MCP)和視差補償預(yù)測(DCP)兩種方式進行預(yù)測,從中 選擇誤差較小的一種作為預(yù)測結(jié)果。
8.根據(jù)權(quán)利要求5所述一種基于分形的多目立體視頻解壓縮方法,其特征在于處理 的視頻序列為YUV格式,分別對3個分量中的每個采用上述八個步驟進行處理。
全文摘要
本發(fā)明提出了一種基于分形的多目立體視頻壓縮與解壓縮方法,在多目立體視頻編碼中,選取中間目作為參考目,使用MCP原理壓縮,其它目都使用基于DCP+MCP的原理壓縮。以三目視頻為例,中間目作為參考目,采用單獨的運動補償預(yù)測方式(MCP)進行編碼,首先對起始幀采用塊DCT變換編碼,對非I幀進行塊運動估計/補償編碼,然后在前一幀即中間目視頻的參考幀搜索窗中利用全搜索方法尋找最相似的匹配塊,最后利用Huffman編碼方法壓縮迭代函數(shù)系統(tǒng)系數(shù)。左目和右目分別采用MCP加視差補償預(yù)測方式(DCP)進行編碼,在進行DCP編碼方式時,充分利用立體平行攝像結(jié)構(gòu)中的偏振性和方向性。對應(yīng)的解壓縮過程為首先對I幀采用反DCT變換的方式解碼,對非I幀進行Huffman解碼獲得迭代函數(shù)系統(tǒng)系數(shù),然后進行基于宏塊的解碼,對于中間目,計算前一幀中的父塊域相關(guān)子塊的像素和與像素平方和;對于左目和右目,分別計算其前一幀和中間目對應(yīng)幀的父塊域相關(guān)子塊的像素和與像素平方和。
文檔編號H04N13/00GK101980539SQ20101052216
公開日2011年2月23日 申請日期2010年10月21日 優(yōu)先權(quán)日2010年10月21日
發(fā)明者侯仰拴, 王再闊, 祝世平, 陳菊嬙 申請人:北京航空航天大學