專利名稱：基于殘差宏塊自適應(yīng)下采樣立體視頻壓縮編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及到立體視頻信號(hào)的編碼壓縮方法，尤其是涉及視頻信號(hào)的時(shí)間相關(guān)性與立體視頻信號(hào)左右視點(diǎn)間相關(guān)性分析的基于殘差宏塊下采樣的視頻信號(hào)壓縮方法。
背景技術(shù)：
在下一代視頻技術(shù)中，立體視頻作為一種比普通視頻提供更多信息內(nèi)容和具有更多數(shù)據(jù)量的數(shù)字媒體，因其具有強(qiáng)烈的立體感和縱深感特性越來(lái)越受到人們的關(guān)注。尤其是進(jìn)入21世紀(jì)，人們對(duì)視頻信息的感受逐漸地從模擬、平面視頻轉(zhuǎn)化到數(shù)字、立體視頻。數(shù)字化的立體視頻在數(shù)字電影、數(shù)字電視、自動(dòng)導(dǎo)航、虛擬現(xiàn)實(shí)等領(lǐng)域?qū)⒂兄鴱V闊的應(yīng)用前景。立體視頻信息編碼理論和技術(shù)的研究體現(xiàn)了下一代數(shù)字視頻研究領(lǐng)域的方向發(fā)展。
立體視頻是利用人眼的雙目視差原理，讓雙目各自獨(dú)立地接收來(lái)自同 一場(chǎng)景、特定攝像點(diǎn)的左右眼圖像，從而獲取具有深度感的信息。由于人眼雙目各自獨(dú)立接收信息，因此與單目視頻相比，它在給人們帶來(lái)真實(shí)感受的同時(shí)，也帶來(lái)了-一系列問題，最為明顯的就是數(shù)據(jù)量和處理復(fù)雜程度的成倍增加，使得立體視頻在遠(yuǎn)程通信、信息存儲(chǔ)、信息處理等應(yīng)用領(lǐng)域面臨巨大考驗(yàn)。如在有限帶寬的條件下，不采用任何技術(shù)處理的立體視頻信息遠(yuǎn)程傳輸幾乎是不可能的。因此，高效的立體視頻信息編碼技術(shù)是立體視頻走向?qū)嶋H應(yīng)用的關(guān)鍵。
由于立體視頻通過雙目同時(shí)得到物體的兩幅圖像而使用戶產(chǎn)生深度的感覺，或者說，雙目所得到的圖像是同一場(chǎng)景、同一對(duì)象在同一時(shí)刻的左右眼圖像，其信息具有高度的相關(guān)性。除了單目視頻信息所具有的時(shí)間相關(guān)、空問相關(guān)等相關(guān)性之外，更為重要的是存在雙目視差。于是，便可對(duì)左右通道視頻圖像采用分層編碼的思想和具體不同的編碼策略，如對(duì)左眼得到的圖像(或稱左通道圖像)采用傳統(tǒng)的基于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的幀間預(yù)測(cè)編碼和幀內(nèi)變換編碼相結(jié)合的混合編碼技術(shù)來(lái)處理，并將左通道信息作為基本層碼流；而對(duì)右眼得到的圖像(或稱右通道圖像)采用傳統(tǒng)的混合編碼和消除視差相關(guān)性編碼的聯(lián)合補(bǔ)償預(yù)測(cè)編碼技術(shù)，并將右通道信息作為增強(qiáng)層碼流，同時(shí)使得左右通道碼流很容易做到與H.264
編碼標(biāo)準(zhǔn)兼容，從而大大減少立體視頻信息之間的冗余，使得立體視頻信息壓縮編碼后具有實(shí)際應(yīng)用的價(jià)值。雖然采用對(duì)右視點(diǎn)圖像序列采用聯(lián)合補(bǔ)償預(yù)測(cè)的編
碼模式進(jìn)行編碼，但最終形成的立體視頻的數(shù)據(jù)量相對(duì)于現(xiàn)有網(wǎng)絡(luò)帶寬而言還是很大，并且根據(jù)人眼的視覺抑制理論——人的3D感覺是通過相距為瞳孔長(zhǎng)度的雙眼獲得圖像在大腦皮層進(jìn)行融合成一個(gè)圖像時(shí)，一只眼睛的視覺特性受另外-一只眼睛的視覺特性抑制，兩只眼睛融合的圖像主觀質(zhì)量接近與兩只眼睛的平均質(zhì)量，同時(shí)并指出高分辨率圖像能夠抑制低分辨率圖像中的模糊部分?；谶@個(gè)理論，本發(fā)明采用一種新的立體視頻的壓縮算法來(lái)降低立體視頻的數(shù)據(jù)量。

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明所要解決的技術(shù)問題是提供一種基于殘差宏塊自適應(yīng)下采樣立體視頻壓縮編碼方法，在不降低編碼質(zhì)量的同時(shí)，提高編碼的效率。
技術(shù)方案本發(fā)明基于殘差宏塊自適應(yīng)下采樣立體視頻壓縮編碼方法是，將編碼器設(shè)置成視頻預(yù)測(cè)編碼模塊、全局視差計(jì)算模塊、采樣模式判決模塊、殘差圖像下采樣編碼模塊和解碼圖像上采樣重建模塊共四個(gè)功能模塊，對(duì)左右視點(diǎn)的視頻序列采用非對(duì)稱的視頻編碼方法，即右視點(diǎn)采用聯(lián)合補(bǔ)償預(yù)測(cè)編碼，該方法處理流程包括以下歩驟
歩驟l:對(duì)輸入的立體視頻信號(hào)，對(duì)左視點(diǎn)視頻序列不考慮視差估計(jì)模塊，而是直接采用基于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼和離散余弦變換編碼相結(jié)合的1-1.264多模
式多參考幀編碼方案進(jìn)行編碼，并且進(jìn)行重建，
步驟2:對(duì)于右視點(diǎn)視頻信號(hào)，首先判斷出每個(gè)圖片組中的立即刷新幀，
然后對(duì)該立即刷新幀圖像的殘差宏塊采用直接離散余弦變換的編碼方法，即不需要對(duì)殘差宏塊進(jìn)行下采樣，同時(shí)在全局視差計(jì)算模塊中計(jì)算立即刷新幀圖像的全局視差，并以次全局視差作為每個(gè)圖片組中的每個(gè)幀的全局視差，
歩驟3:對(duì)右視點(diǎn)視頻信號(hào)中的每個(gè)圖片組中除立即刷新幀之外的圖像采用基于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)和視差補(bǔ)償預(yù)測(cè)編碼相結(jié)合的聯(lián)合補(bǔ)償預(yù)測(cè)方案，對(duì)當(dāng)前IIM塊的編碼預(yù)測(cè)模式進(jìn)行估討、右視點(diǎn)視頻圖像塊編碼預(yù)測(cè)模式為視差補(bǔ)償預(yù)測(cè)模式，或運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)模式，或聯(lián)合補(bǔ)償預(yù)測(cè)模式中的其中一種模式，
歩驟4:通過獲得的編碼預(yù)測(cè)模式和全局視差的值來(lái)判斷當(dāng)前編碼塊選擇其
5中一種下采樣編碼模式，下采樣編碼模式有水平下采樣編碼模式、垂直下采樣編碼模式和四分之一下采樣編碼模式，
歩驟5:通過歩驟4得到的下采樣編碼模式，首先對(duì)殘差宏塊進(jìn)行下采樣，然后進(jìn)行離散余弦變換、量化和熵編碼，
歩驟6:為重建圖像，需要對(duì)碼流進(jìn)行解碼重建時(shí)采用反量化，反離散余弦變換，然后對(duì)解碼對(duì)圖像進(jìn)行選擇其中一種上采樣重建方式進(jìn)行重建；上采樣重建模式與下采樣編碼方式對(duì)應(yīng)，有水平上采樣方式、垂直上采樣方式和水平垂直
的2倍上采樣方式。
g中-
左右視點(diǎn)的視頻序列采用非對(duì)稱的視頻編碼方法，左視點(diǎn)視頻序列不考慮視差估計(jì)模塊。
在全局視差計(jì)算模塊中充分利用每個(gè)圖片組的立即刷信息減少視差估計(jì)的誤差。
右視點(diǎn)視頻的圖像塊編碼預(yù)測(cè)模式為視差補(bǔ)償預(yù)測(cè)模式，或運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，或聯(lián)合補(bǔ)償預(yù)測(cè)模式中的其中一種，利用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)模式、視差補(bǔ)償預(yù)測(cè)模式或聯(lián)合補(bǔ)償預(yù)測(cè)模式的特點(diǎn)，獲得殘差宏塊的編碼預(yù)測(cè)模式，并用來(lái)判斷圖像塊的運(yùn)動(dòng)劇烈程度。
獲得的編碼預(yù)測(cè)模式和全局視差的值作為殘差宏塊下采樣方式選擇的條件
對(duì)碼流進(jìn)行解碼重建時(shí)采用反量化、反余弦變換，并對(duì)變換之后圖像數(shù)據(jù)進(jìn)行上采樣重建。
本發(fā)明針對(duì)立體視頻的高數(shù)據(jù)量，提出了基于殘差宏塊自適應(yīng)下采樣立體視頻壓縮編碼框架，根據(jù)圖像的運(yùn)動(dòng)劇烈程度自適應(yīng)的對(duì)殘差數(shù)據(jù)進(jìn)行動(dòng)態(tài)的下采樣，在減少圖像數(shù)據(jù)的同時(shí)，降低由于下采樣的引入帶來(lái)的圖像的失真。
有益效果與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于利用人眼的視覺特性，并根據(jù)運(yùn)動(dòng)劇烈程度選擇下采樣方式，通過自適應(yīng)的殘差宏塊下采樣算法來(lái)降低立體視頻的編碼數(shù)據(jù)量，但同時(shí)又不降低右眼的圖像質(zhì)量，能很好地與當(dāng)前的單目視頻更好的兼容。


圖l為殘差宏塊下采樣視頻編碼框圖，圖2水平下采樣編碼方法，
圖3垂直下采樣編碼方法，
圖4四分之一下采樣編碼方法，
圖5全局視差的計(jì)算圖，
圖6自適應(yīng)選擇下采樣模式算法流程圖，
圖7基于殘差宏塊自適應(yīng)下采樣中booksale序列部分的率失真曲線圖， 圖8基于殘差宏塊自適應(yīng)下采樣中soccer序列部分的率失真曲線圖。
方法l:聯(lián)合多視點(diǎn)視頻參考模型；方法2:四分之--下采樣方法；方法3: 水平下采樣方法；方法4:垂直下采樣方法；方法5:自適應(yīng)下采樣方法。
具體實(shí)施例方式
將編碼器設(shè)置成視頻預(yù)測(cè)編碼模塊，全局視差計(jì)算模塊，采樣模式判決模塊， 殘差圖像下采樣編碼模塊和解碼圖像上采樣重建模塊共四個(gè)功能模塊。①在編碼 的初始，先對(duì)左視點(diǎn)視頻信號(hào)采用傳統(tǒng)的基于H. 264多模式多參考幀編碼方案進(jìn) 行編碼，并且進(jìn)行重建，用作右視點(diǎn)信號(hào)的參考幀。②對(duì)于右視點(diǎn)視頻信號(hào)，首 先判斷出每個(gè)GOP組中的IDR幀，對(duì)IDR幀圖像采用原始的編碼方法，即不需要 對(duì)殘差宏塊進(jìn)行下采樣，同時(shí)計(jì)算IDR幀的全局視差——相對(duì)于左視點(diǎn)的同時(shí)刻 圖像的整體運(yùn)動(dòng)，并作為(;0P組中其它幀的全局視差。對(duì)每個(gè)G0P中的除IDR 幀之外的圖像采用聯(lián)合補(bǔ)償預(yù)測(cè)方案對(duì)當(dāng)前塊的估計(jì)模式進(jìn)行判斷，估計(jì)模式為 視差估計(jì)、運(yùn)動(dòng)估計(jì)和聯(lián)合估計(jì)中的一種。③通過獲得的估計(jì)模式和全局視差的 值來(lái)判斷當(dāng)前塊何種下采樣方式。④通過判斷得到的采用模式，對(duì)殘差宏塊進(jìn)行 下采樣，然后進(jìn)行DCT變換、量化和熵編碼。⑤為重建圖像，需要對(duì)量化后的圖 像進(jìn)行反量化，反DCT變換，然后對(duì)解碼圖像進(jìn)行上采樣重建。
所述的視頻預(yù)測(cè)編碼模式可以分為三大類，第1類為適用于以時(shí)間相關(guān)性為 主的立體視頻信號(hào)的預(yù)測(cè)編碼模式，該類預(yù)測(cè)編碼模式以運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)為主；第 2類為適用于以視點(diǎn)間相關(guān)性為主的立體視頻信號(hào)的預(yù)測(cè)編碼模式，該類預(yù)測(cè)編 碼模式以視差補(bǔ)償預(yù)測(cè)為主；第3類為適用于時(shí)間相關(guān)性和視點(diǎn)間相關(guān)性均衡的 立體視頻信號(hào)的預(yù)測(cè)編碼模式，該類預(yù)測(cè)編碼模式為兼顧時(shí)、空域的聯(lián)合預(yù)測(cè)編 碼模式。
所述的全局視差計(jì)算模塊是對(duì)右視點(diǎn)中的每個(gè)GOP中的IDR幀圖像全局視差相對(duì)于左視點(diǎn)的同時(shí)刻圖像的整體運(yùn)動(dòng)，并將計(jì)算的全局視差作為整個(gè)GOP組的 全局視差。
所述的采樣模式判斷模塊是首先判斷當(dāng)前塊的預(yù)測(cè)編碼模式，然后通過預(yù)測(cè) 編碼模式和所算得的視差值與全局矢量相比來(lái)判斷當(dāng)前塊的殘差采用何種下采 樣方式。
所述的殘差圖像上下采樣模式中，是通過所獲得當(dāng)前塊的殘差采樣模式，對(duì) 當(dāng)前編碼塊的殘差進(jìn)行下采樣，然后進(jìn)行DCT變換、量化和熵編碼。對(duì)反量化， 反DCT變換后的數(shù)據(jù)進(jìn)行相應(yīng)的上采樣用于圖像的重建。
圖1中為殘差宏塊下采樣視頻編碼框圖，相對(duì)于基于分層的視頻編碼方案， 主要是增加了殘差宏塊的上下采樣模塊。在基于分層的立體視頻編碼過程中，左 視點(diǎn)圖像采用H.264標(biāo)準(zhǔn)編碼。右視點(diǎn)圖像經(jīng)過聯(lián)合補(bǔ)償預(yù)測(cè)的多模式編碼方 案，從中選擇預(yù)測(cè)誤差較小的一種預(yù)測(cè)方式獲取殘差數(shù)據(jù)，并對(duì)16X16殘差數(shù) 據(jù)塊進(jìn)行4X4DCT變換、量化和熵編碼。在基于殘差宏塊編碼算法中，先對(duì)殘差 宏塊進(jìn)行下采樣，同時(shí)可以根據(jù)圖像的運(yùn)動(dòng)情況使得16X16大小的殘差宏塊自 適應(yīng)被下采樣為8X8、 8X16或者16X8的塊，然后再進(jìn)行DCT變換、量化和熵 編碼。這樣原來(lái)對(duì)一個(gè)殘差宏塊需要進(jìn)行]6次DCT變換、量化和熵編碼將減少 為4次或8次，最終視頻的碼率將會(huì)降低。對(duì)右視點(diǎn)的當(dāng)前幀進(jìn)行重建或解碼過 程與編碼過程相反，對(duì)解碼后的數(shù)據(jù)進(jìn)行反量化和反DCT(1DCT)變換后，再經(jīng)過 上采樣模塊使其還原為16X16大小的殘差宏塊，然后根據(jù)運(yùn)動(dòng)搜索的信息進(jìn)行 塊重建。
圖2中為水平下采樣模式，為了減少圖像的失真度，我們利用宏塊間的空 間相關(guān)性，對(duì)殘差宏塊進(jìn)行整體水平下采樣。16X16亮度殘差宏塊被下采樣為 8X16的塊，對(duì)下采樣后的8個(gè)4X4的塊進(jìn)行DCT變換、量化和熵編碼。
圖3中為垂直下采樣模式，16X16殘差宏塊被下采樣為16X8的塊，對(duì)下 采樣后的8個(gè)4X4的塊進(jìn)行DCT變換、量化和熵編碼。
圖4中為垂直下采樣模式，16X16殘差宏塊被下采樣為16X8的塊，對(duì)下 采樣后的8個(gè)4X4的塊進(jìn)行DCT變換、量化和熵編碼。
圖5中為全局視差的計(jì)算圖，它主要是假定左右兩幅圖像的移動(dòng)主要是相機(jī) 的整體的平行移動(dòng)，以降低編碼的計(jì)算復(fù)雜度。
平行相機(jī)的參數(shù)模型可以設(shè)為-<formula>formula see original document page 9</formula>
其中(u,v)為左視點(diǎn)圖像的像素值，(x，y)為右視點(diǎn)圖像的像素值。(a，b)為 相機(jī)的全局運(yùn)動(dòng)矢量值。GDVx和GDVy為相機(jī)的水平移動(dòng)分量和垂直移動(dòng)分量， 即全局視差的水平分量和垂直分量。具體計(jì)算公式為-
<formula>formula see original document page 9</formula>(1)
其中img0 (i, j)為0視點(diǎn)圖像的像素值，imgl j)為1視點(diǎn)圖像的像素值。 R為O視點(diǎn)圖像和1視點(diǎn)圖像重疊部分的像素個(gè)數(shù)。當(dāng)在單位面積上的差值最小 時(shí)的Oc，y)即為全局矢量的值。特別對(duì)于水平移動(dòng)的相機(jī)，其在y分量上值可以 看作為零。
圖6中為自適應(yīng)選擇下采樣模式算法的流程圖。其算法歩驟為
(1) 首先判斷當(dāng)前塊的補(bǔ)償模式；
(2) 如果采用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的話，就直接采用用8X8下采樣方式；
(3) 如果是視差補(bǔ)償預(yù)測(cè)，通過與全局視差的比較來(lái)判斷是前景圖像還是背 景圖像，如果是前景圖像通過比較視差矢量在水平方向上的值與垂直方向上的值 的大小，如IGDV. x-CDV. x|〉l且lGDV.y-CDV.y!〉1，則為前景圖像塊，其中CDV 為當(dāng)前塊的視差矢量。對(duì)于前景圖像塊，可以根據(jù)其運(yùn)動(dòng)方向的不同釆用不同的 采樣方式。如果水平分量大，則采用8X16下采樣模式，如果是垂直分量大，則 采用16X8下采樣模式。但如果是背景圖像，則直接采用8X8下采樣模式。
(4) 如果是聯(lián)合補(bǔ)償預(yù)測(cè)，則表明當(dāng)前塊是圖像的邊緣區(qū)域，則按照原來(lái)的 塊尺度迸行編碼，而不需要進(jìn)行任何下采樣。
(5) 根據(jù)模式選擇的結(jié)果，對(duì)當(dāng)前宏塊進(jìn)行相應(yīng)的下采樣，并對(duì)采樣后的圖 像進(jìn)行殘差編碼。
圖7、 8為采用基于殘差宏塊自適應(yīng)下采樣中測(cè)試序列的率失真曲線圖。其 中左視點(diǎn)圖像由于采用相同的編碼方法，所以R-D曲線圖只是代表右視點(diǎn)圖像編 碼的率失真曲線。其中JMVM為原始編碼方法得到的實(shí)驗(yàn)結(jié)果，JMVM—RQ為四分 之一殘差宏塊下采樣方法得到的實(shí)驗(yàn)結(jié)果，JMVM—RH為水平殘差宏塊下采樣方法 得到的實(shí)驗(yàn)結(jié)果，JMVMJW為垂直殘差宏塊下采樣方法得到的實(shí)驗(yàn)結(jié)果，JMVM一ADAPTIVE為自適應(yīng)殘差宏塊下采樣方法得到的實(shí)驗(yàn)結(jié)果。從Booksale和 soccer的率失真圖中可以看出，與JMVM算法相比，本算法在相同的信噪比情況 下有更低的碼率。Booksale視頻圖像主要是緩慢的水平運(yùn)動(dòng)，并且在水平方向 運(yùn)動(dòng)的比垂直方向上劇烈，所以垂直下采樣模式比水平采樣模式有較好的效果， 并且由于Booksale圖像有很多的背景區(qū)域，采用的運(yùn)動(dòng)估計(jì)的比例占大部分， 所以四分之一下采樣模式有更好的效果。但是對(duì)于soccer圖像而^，圖像運(yùn)動(dòng) 比較劇烈，所以采用的運(yùn)動(dòng)估計(jì)的比例相對(duì)來(lái)講比較小，且由于相機(jī)和圖像一起 運(yùn)動(dòng)，相鄰幀之間運(yùn)動(dòng)較劇烈，所以四分之---下采樣模式具有更大的失真。但 對(duì)兩幅序列而言，根據(jù)圖像的運(yùn)動(dòng)情況來(lái)自適應(yīng)的選擇采樣模式，都具有更好的 率失真曲線圖。
綜上所述，與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)是利用運(yùn)動(dòng)估計(jì)、視差估計(jì)和聯(lián) 合估計(jì)作用的不同特征點(diǎn)，以及全局視差的應(yīng)用來(lái)判斷當(dāng)前塊的運(yùn)動(dòng)劇烈程度， 選擇適當(dāng)?shù)南虏蓸臃绞絹?lái)減少數(shù)據(jù)量的同時(shí)不降低視頻的圖像質(zhì)量。
權(quán)利要求
1、一種基于殘差宏塊自適應(yīng)下采樣立體視頻壓縮編碼方法，其特征在于將編碼器設(shè)置成視頻預(yù)測(cè)編碼模塊、全局視差計(jì)算模塊、采樣模式判決模塊、殘差圖像下采樣編碼模塊和解碼圖像上采樣重建模塊共四個(gè)功能模塊，對(duì)左右視點(diǎn)的視頻序列采用非對(duì)稱的視頻編碼方法，即右視點(diǎn)采用聯(lián)合補(bǔ)償預(yù)測(cè)編碼，該方法處理流程包括以下步驟步驟1對(duì)輸入的立體視頻信號(hào)，對(duì)左視點(diǎn)視頻序列不考慮視差估計(jì)模塊，而是直接采用基于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼和離散余弦變換編碼相結(jié)合的H.264多模式多參考幀編碼方案進(jìn)行編碼，并且進(jìn)行重建，步驟2對(duì)于右視點(diǎn)視頻信號(hào)，首先判斷出每個(gè)圖片組中的立即刷新幀，然后對(duì)該立即刷新幀圖像的殘差宏塊采用直接離散余弦變換的編碼方法，即不需要對(duì)殘差宏塊進(jìn)行下采樣，同時(shí)在全局視差計(jì)算模塊中計(jì)算立即刷新幀圖像的全局視差，并以次全局視差作為每個(gè)圖片組中的每個(gè)幀的全局視差，步驟3對(duì)右視點(diǎn)視頻信號(hào)中的每個(gè)圖片組中除立即刷新幀之外的圖像采用基于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)和視差補(bǔ)償預(yù)測(cè)編碼相結(jié)合的聯(lián)合補(bǔ)償預(yù)測(cè)方案，對(duì)當(dāng)前編碼塊的編碼預(yù)測(cè)模式進(jìn)行估計(jì)，右視點(diǎn)視頻圖像塊編碼預(yù)測(cè)模式為視差補(bǔ)償預(yù)測(cè)模式，或運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)模式，或聯(lián)合補(bǔ)償預(yù)測(cè)模式中的其中一種模式，步驟4通過獲得的編碼預(yù)測(cè)模式和全局視差的值來(lái)判斷當(dāng)前編碼塊選擇其中一種下采樣編碼模式，下采樣編碼模式有水平下采樣編碼模式、垂直下采樣編碼模式和四分之一下采樣編碼模式，步驟5通過步驟4得到的下采樣編碼模式，首先對(duì)殘差宏塊進(jìn)行下采樣，然后進(jìn)行離散余弦變換、量化和熵編碼，步驟6為重建圖像，需要對(duì)碼流進(jìn)行解碼重建時(shí)采用反量化，反離散余弦變換，然后對(duì)解碼對(duì)圖像進(jìn)行選擇其中一種上采樣重建方式進(jìn)行重建；上采樣重建模式與下采樣編碼方式對(duì)應(yīng)，有水平上采樣方式、垂直上采樣方式和水平垂直的2倍上采樣方式。
2、如權(quán)利要求1所述的基于殘差宏塊自適應(yīng)下采樣立體視頻壓縮編碼方法， 其特征在于左右視點(diǎn)的視頻序列采用非對(duì)稱的視頻編碼方法，左視點(diǎn)視頻序列不 考慮視差估計(jì)模塊。
3、 如權(quán)利要求1所述的基于殘差宏塊自適應(yīng)下采樣立體視頻壓縮編碼方法， 其特征在于在全局視差計(jì)算模塊中充分利用每個(gè)圖片組的立即刷信息減少視差 估計(jì)的誤差。
4、 如權(quán)利要求1所述的基于殘差宏塊自適應(yīng)下采樣立體視頻壓縮編碼方法， 其特征在于右視點(diǎn)視頻的圖像塊編碼預(yù)測(cè)模式為視差補(bǔ)償預(yù)測(cè)模式，或運(yùn)動(dòng)補(bǔ)償 預(yù)測(cè)，或聯(lián)合補(bǔ)償預(yù)測(cè)模式中的其中一種，利用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)模式、視差補(bǔ)償預(yù) 測(cè)模式或聯(lián)合補(bǔ)償預(yù)測(cè)模式的特點(diǎn)，獲得殘差宏塊的編碼預(yù)測(cè)模式，并用來(lái)判斷 圖像塊的運(yùn)動(dòng)劇烈程度。
5、 如權(quán)利要求1所述的基于殘差宏塊自適應(yīng)下采樣立體視頻壓縮編碼方法， 其特征在于獲得的編碼預(yù)測(cè)模式和全局視差的值作為殘差宏塊下采樣方式選擇 的條件之一。
6、 如權(quán)利要求1所述的基于殘差宏塊自適應(yīng)下采樣立體視頻壓縮編碼方法， 其特征在于對(duì)碼流進(jìn)行解碼重建時(shí)采用反量化、反余弦變換，并對(duì)變換之后圖像 數(shù)據(jù)進(jìn)行上采樣重建。
全文摘要
基于殘差宏塊自適應(yīng)下采樣立體視頻壓縮編碼方法，通過對(duì)立體視頻左右視點(diǎn)視頻信息時(shí)間、空間相關(guān)性及左右視點(diǎn)間相關(guān)性分析，采用基于聯(lián)合補(bǔ)償預(yù)測(cè)的立體視頻編碼方案。其中，根據(jù)人眼視覺抑制理論——構(gòu)成立體視頻圖像對(duì)的兩幅圖像，高分辨率圖像能夠抑制低分辨率圖像中的模糊部分，最終獲得的立體感覺主要依賴于高分辨率圖像?；诖死碚?，本發(fā)明提出了一種基于殘差宏塊下采樣方法，根據(jù)圖像不同方向的運(yùn)動(dòng)情況，分別采用三種下采樣方式，減小采樣失真度。然后根據(jù)立體視頻編碼中運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)、視差補(bǔ)償預(yù)測(cè)和聯(lián)合補(bǔ)償預(yù)測(cè)三種不同的預(yù)測(cè)模式，來(lái)判斷當(dāng)前編碼塊的運(yùn)動(dòng)劇烈程度，實(shí)現(xiàn)了自適應(yīng)的殘差宏塊下采樣方法，提高了編碼效率。
文檔編號(hào)H04N7/26GK101668205SQ20091003549
公開日2010年3月10日 申請(qǐng)日期2009年9月25日 優(yōu)先權(quán)日2009年9月25日
發(fā)明者何文革, 峰 劉, 張艷彬, 朱秀昌, 棟 胡 申請(qǐng)人:南京郵電大學(xué)