專利名稱：2d和3d播放模式平滑切換的立體視頻解碼結(jié)構(gòu)及工作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種2D和3D播放模式平滑切換的立體視頻解碼結(jié)構(gòu)及工作方法，屬 于立體視頻解碼技術(shù)領(lǐng)域。
背景技術(shù)：
人類視覺系統(tǒng)具有獲取外部環(huán)境深度信息，形成三維視覺的能力。隨著人們對立 體視頻顯示的需求，立體視頻編、解碼算法及顯示技術(shù)得到迅速發(fā)展。目前的立體視頻顯示 技術(shù)，都是在人眼成像原理的基礎(chǔ)上發(fā)展的，例如基于單目和深度信息的成像原理，以及雙 目視差成像原理。相對于傳統(tǒng)平面視頻處理技術(shù)，立體視頻具有巨大的圖像數(shù)據(jù)處理量、存 儲量、傳輸量，其算法和系統(tǒng)設(shè)計都非常復(fù)雜。而且基于目前絕大多數(shù)視頻均為平面視頻，立體技術(shù)在滿足立體顯示需求的同 時，還需要與傳統(tǒng)的平面視頻處理技術(shù)有良好的兼容性。一種與傳統(tǒng)平面視頻兼容的設(shè)計 思路，便是在視頻碼流編碼時將碼流分為基本視頻碼流和補充視頻碼流。解碼端，若工作在 平面顯示模式，只需處理基本視頻碼流；若工作在立體顯示模式，則需處理基本視頻碼流和 補充視頻碼流，補充視頻碼流包含視差補償信息或深度信息。如果立體視頻與平面視頻之間的切換為直接切換，切入的時機有可能是視頻序列 中的任意幀圖像，解碼器將無法識別出補充視頻序列的頭信息，也就無法根據(jù)之前解碼的 補充視頻序列的參考圖像進行當(dāng)前幀的視差補償計算或深度圖像補償計算，所以在平面視 頻向立體視頻切換的過程中，需要在時間不等的延遲后(即找到補充視頻流的頭信息后)， 才能夠顯示立體視頻。如果選擇在平面視頻顯示的同時，進行立體視頻信息的完整解碼和 處理，勢必會對解碼電路處理速度帶來不必要的要求，也會造成存儲空間的極大浪費。因此，有必要研究一種平面視頻與立體視頻切換的有效控制結(jié)構(gòu)。這種控制結(jié)構(gòu) 既能夠保證與傳統(tǒng)平面視頻解碼的兼容性，又能夠保證平面視頻與立體視頻隨機切換時的 正常過渡，并能夠最大限度地減少無效數(shù)據(jù)處理帶寬和無效解碼時間，優(yōu)化系統(tǒng)性能。

發(fā)明內(nèi)容
本發(fā)明的目的是，提出一種2D和3D播放模式平滑切換的立體視頻解碼結(jié)構(gòu)及工 作方法，能夠保證平面視頻與立體視頻隨機切換時的正常過渡，并能夠最大限度的減少無 效數(shù)據(jù)處理帶寬和無效解碼時間，優(yōu)化系統(tǒng)性能。本發(fā)明的上述目的通過以下技術(shù)方案實現(xiàn)一種2D和3D播放模式平滑切換的立體視頻解碼結(jié)構(gòu)，包括基本視頻流解碼單元，用于對基本視頻流解碼，生成用于2D播放模式的視頻碼 流。補充視頻流解碼單元，用于對補充視頻流解碼，生成深度補償碼流幀或視差估計 的補償碼流幀。
自適應(yīng)空間縮放控制單元，用于接收播放模式控制信號，對補充視頻流解碼單元 解碼后的補充視頻流進行自適應(yīng)下采樣預(yù)處理，生成并且保存低分辨率的深度補償碼流的 參考幀或視差估計補償碼流的參考幀。立體視頻生成單元，2D播放模式下，根據(jù)基本視頻流解碼單元解碼后的基本視頻 流和自適應(yīng)空間縮放控制單元下采樣后保存的參考幀，重建較大失真度的立體視頻圖像； 3D播放模式下，根據(jù)基本視頻流解碼單元解碼后的基本視頻流和未經(jīng)下采樣后處理的補充 視頻流的參考幀，重建高保真度的立體視頻圖像；平面播放模式向立體播放模式切換的瞬 間，在找到工幀之前，工作方式與2D播放模式下相同，在找到I幀之后，即進入3D播放模 式。圖1給出視頻解碼總結(jié)構(gòu)圖。圖2給出自適應(yīng)空間縮放控制單元內(nèi)部結(jié)構(gòu)圖。本發(fā)明的有益效果是，與平面視頻兼容的立體視頻顯示技術(shù)是未來的發(fā)展趨勢。編碼、解碼電路的性能 將很大程度地影響到立體視頻顯示的成本、速度、功耗。本發(fā)明成果在保證與平面視頻顯示 兼容的前提下，有效地解決了平面視頻播放和立體視頻播放之間隨機切換時可能因補充視 頻碼流頭信息丟失，而造成的立體視頻顯示不定時延遲的問題；而且能夠最大限度的減少 無效數(shù)據(jù)處理帶寬和無效解碼時間，優(yōu)化系統(tǒng)性能。


圖1是本發(fā)明中視頻解碼總結(jié)構(gòu)圖。圖2是本發(fā)明中自適應(yīng)空間縮放控制單元內(nèi)部結(jié)構(gòu)圖。圖中，1、基本視頻碼流，2、補充視頻碼流，3、播放模式控制信號，4、基本視頻流解 碼單元，5、補充視頻流解碼單元，6、自適應(yīng)空間縮放控制單元，6-1、選擇開關(guān)，6-2、補充視 頻流下采樣模塊，6-3、補充視頻流參考幀存儲模塊，7、立體視頻生成單元，8、選擇開關(guān)，9、 輸出數(shù)據(jù)選擇器。
具體實施例方式下面結(jié)合附圖和實施例對本發(fā)明進一步說明。實施例一種2D和3D播放模式平滑切換的立體視頻解碼結(jié)構(gòu)及工作方法，主要包括基本 視頻流解碼單元G)、補充視頻流解碼單元(5)、自適應(yīng)空間縮放控制單元(6)和立體視頻 生成單元(7)?；疽曨l流解碼單元(4)可以對基本視頻流(1)解碼，生成用于平面播放的 視頻碼流。立體視頻生成單元(7)根據(jù)基本視頻流解碼單元(4)輸出的視頻流和自適應(yīng)空 間縮放控制單元(6)輸出的視頻流，合成立體視頻碼流。圖1中，視頻播放解碼系統(tǒng)根據(jù)根據(jù)播放模式控制信號(3)選擇播放模式2D播 放模式或3D播放模式。2D播放模式下選擇開關(guān)⑶選擇上路，基本視頻流解碼單元⑷對基本視頻流 (1)解碼，生成的碼流用于平面視頻播放；同時，補充視頻流解碼單元( 對補充視頻流(2) 解碼，解碼后的數(shù)據(jù)流送給自適應(yīng)空間縮放控制單元(6)，選擇開關(guān)(6-1)選擇下路，補充視頻流下采樣模塊(6- 對解碼后的補充數(shù)據(jù)流進行下采樣，并且補充視頻流參考幀存儲 模塊(6- 保存補充視頻流下采樣后的低分辨率的參考幀。輸出數(shù)據(jù)選擇器(9)選擇基本 視頻流解碼單元的輸出碼流作為輸出。 2D播放模式向3D播放模式切換的瞬間選擇開關(guān)(8)選擇下路，基本視頻流解碼 單元(4)解碼后的數(shù)據(jù)流送給立體視頻生成單元(7)，2D播放模式結(jié)束，在找到補充視頻流 的I幀之前，立體視頻生成單元(7)根據(jù)解碼后的基本視頻流和自適應(yīng)空間縮放控制單元 (6)保存的低分辨率的參考幀，即補充視頻流的頭信息，合成較大失真度的立體視頻碼流， 用于3D視頻播放，選擇開關(guān)(6-1)仍然選擇下路。在找到補充視頻流的I幀之后，選擇開 關(guān)(6-1)選擇上路，自適應(yīng)空間縮放控制單元(6)不再對解碼后的補充視頻流下采樣，立體 視頻生成單元(7)根據(jù)解碼后的基本視頻流和補充視頻流中未經(jīng)過下采樣的參考幀合成 較大保真度的立體視頻碼流，用于立體視頻播放，輸出數(shù)據(jù)選擇器(9)選擇立體視頻生成 單元(7)的輸出碼流作為輸出。并進3D播放模式，完成2D播放模式向3D播放模式的平滑 切換。
權(quán)利要求
1.一種2D和3D播放模式平滑切換的立體視頻解碼結(jié)構(gòu)，其特征是，包括用于對基本 視頻流進行解碼的基本視頻流解碼單元、用于對補充視頻流進行解碼的補充視頻流解碼單 元、對解碼后的補充視頻流進行下采樣的自適應(yīng)空間縮放控制單元和合成立體視頻碼流的 立體視頻生成單元；基本視頻流解碼單元與基本視頻流輸入端口和數(shù)據(jù)輸出選擇器相連； 補充視頻流解碼單元與補充視頻流輸入端口、自適應(yīng)空間縮放控制單元相連；自適應(yīng)空間 縮放控制單元與補充視頻流解碼單元和立體視頻生成單元相連；立體視頻生成單元與基本 視頻流解碼單元、自適應(yīng)空間縮放控制單元和數(shù)據(jù)輸出選擇器相連。
2.如權(quán)利要求1所述的2D和3D播放模式平滑切換的立體視頻解碼結(jié)構(gòu)，其特征是，所 述的基本視頻流解碼單元是按照MPEG標(biāo)準(zhǔn)進行解碼的標(biāo)準(zhǔn)二維視頻解碼器。
3.如權(quán)利要求1所述的2D和3D播放模式平滑切換的立體視頻解碼結(jié)構(gòu)，其特征是，所 述的補充視頻流解碼單元是按照H. 264/AVS標(biāo)準(zhǔn)，解碼生成多視點視差圖像幀或深度信息 圖像幀的視頻解碼器。
4.如權(quán)利要求1所述的2D和3D播放模式平滑切換的立體視頻解碼結(jié)構(gòu)，其特征是，所 述的自適應(yīng)空間縮放控制單元包含下采樣模塊和存儲器模塊，下采樣模塊用于根據(jù)設(shè)定值 對解碼后的補充視頻流下采樣，存儲器模塊用于實時保存下采樣后的補充視頻流。
5.如權(quán)利要求1所述的2D和3D播放模式平滑切換的立體視頻解碼結(jié)構(gòu)，其特征是，所 述的立體視頻生成單元是按照H. 264/AVS標(biāo)準(zhǔn)，根據(jù)解碼后的基本視頻流和補充視頻流， 合成含有深度信息的立體圖像幀的視頻解碼器。
6.一種2D和3D播放模式平滑切換的立體視頻解碼結(jié)構(gòu)及工作方法，其特征是，工作方 法如下1)根據(jù)播放模式控制信號選擇播放模式播放模式包括2D播放模式和3D播放模式； 在2D播放模式下，基本視頻流解碼單元對基本視頻流進行解碼，生成的碼流用于平面視頻 播放；同時，補充視頻流解碼單元對補充視頻流解碼，解碼后的數(shù)據(jù)流送給自適應(yīng)空間縮放 控制單元，自適應(yīng)空間縮放控制單元對解碼后的數(shù)據(jù)流下采樣，生成低分辨率的下采樣參 考幀，并存儲于自適應(yīng)空間縮放控制單元的存儲器模塊；2)2D播放模式向3D播放模式切換的瞬間自適應(yīng)空間縮放控制單元在找到補充視頻 流的I幀之前，基本視頻流解碼單元解碼后的數(shù)據(jù)流送給立體視頻生成單元，同時停止平 面視頻播放，立體視頻生成單元根據(jù)解碼后的基本視頻流和自適應(yīng)空間縮放控制單元保存 的下采樣參考幀，合成較大失真度的立體視頻碼流，用于立體視頻播放；在找到補充視頻流 的I幀之后，自適應(yīng)空間縮放控制單元停止對解碼后的補充視頻流下采樣，立體視頻生成 單元根據(jù)解碼后的基本視頻流和補充視頻流中未下采樣的參考幀合成較小失真度的立體 視頻碼流，進入3D播放模式，完成2D播放模式向3D播放模式的平滑切換。
7.如權(quán)利要求6所述的2D和3D播放模式平滑切換的立體視頻解碼結(jié)構(gòu)及工作方法， 其特征是，在2D播放模式下和2D播放模式向3D播放模式切換的瞬間，立體視頻生成單元 合成較大失真度的立體視頻圖像，在這個過程中，立體視頻生成單元處理、存儲的數(shù)據(jù)量， 比在3D播放模式下合成較小失真度的立體視頻圖像時大大減少。
全文摘要
一種2D和3D播放模式平滑切換的立體視頻解碼結(jié)構(gòu)及工作方法，屬于立體視頻解碼技術(shù)領(lǐng)域。本發(fā)明包括基本視頻流解碼單元、補充視頻流解碼單元、自適應(yīng)空間縮放控制單元和立體視頻生成單元?；疽曨l流解碼單元生成用于2D播放的碼流；補充視頻流解碼單元解碼補充視頻流，自適應(yīng)空間縮放控制單元對解碼后的補充視頻碼流下采樣，并保存可供切換瞬間使用的參考幀。本發(fā)明有效解決了2D播放模式向3D播放模式隨機切換時，因找不到補充視頻碼流的參考幀而無法立即生成立體視頻的問題；與2D播放模式下完全合成、保存補充視頻碼流參考幀的方法相比，本發(fā)明在不影響切換瞬間3D播放效果的同時，減少了無效數(shù)據(jù)處理帶寬。
文檔編號H04N7/46GK102055984SQ201110028760
公開日2011年5月11日 申請日期2011年1月27日 優(yōu)先權(quán)日2011年1月27日
發(fā)明者呂眾, 周莉, 崔玉瑞, 崔艷 申請人:山東大學(xué)