一種基于光場渲染的視頻編解碼方法
【專利摘要】本發(fā)明提供了一種基于光場渲染的視頻編解碼方法，包括步驟1：用TransCAIP方法計算新視點的起始幀；步驟2：結(jié)合高斯混合背景建模和場景幾何計算，將場景分為背景區(qū)域和前景區(qū)域；步驟3：用高斯混合模型計算出視點1的當(dāng)前幀的前景區(qū)域，利用場景幾何關(guān)系將該區(qū)域變換成新視點當(dāng)前幀的前景，并且利用高斯混合模型提取出新視點前一幀的前景區(qū)域，用新視點當(dāng)前幀的前景區(qū)域更新新視點前一幀的前景區(qū)域，得到新視點的當(dāng)前幀；步驟4：連續(xù)計算K-1次，在循環(huán)中統(tǒng)計前景區(qū)域點所在的層次分布；步驟5：若當(dāng)循環(huán)的幀數(shù)超過K時，則根據(jù)統(tǒng)計的前景點分布自適應(yīng)地劃分場景層次；返回步驟1。本發(fā)明的方法使圖像細節(jié)更清晰自然，渲染效果好，數(shù)據(jù)量大。
【專利說明】一種基于光場渲染的視頻編解碼方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉視頻編解碼【技術(shù)領(lǐng)域】，尤其涉及一種基于光場渲染的視頻編解碼方法?！颈尘凹夹g(shù)】
[0002]傳統(tǒng)的視頻技術(shù)都是由一個攝像機拍攝的，稱為單通道視頻，觀看者只能獲得方向的觀看角度，并且無法獲得立體效果。隨著生活水平的提高，人們越來越不滿足現(xiàn)有的平面視頻。由于當(dāng)前的成像系統(tǒng)只能提供“單眼看世界”的效果，無法提供身其境的真實感受，需要一種全新的描述三維場景的方法來代替?zhèn)鹘y(tǒng)的二維視頻HDTv技術(shù)通過增加視頻信號的分辨率和屏幕的尺寸等來供更加逼真的模擬現(xiàn)實效果，但其仍然沒有擺脫二維平面視頻的束縛。
[0003]在二維視頻中，主要通過各種三維因素，如透視、遮擋、陰影等，給人以三維深感的暗示，但是，這并不是真正的三維立體視頻。人們在觀看現(xiàn)實世界的時候，不僅夠看到物體的寬度和高度，而且能夠通過雙目視差感受出物體的深度信息，立體視頻是利用了人眼的雙目視差原理，通過使用兩個攝像機同時采集某一個場景的視頻信再通過一定的方法將兩路視頻信號分別傳送到人的左右兩眼，使得左眼看到的是偏左圖像，右眼看到的是偏右的圖像，形成雙目視差，最后通過人的大腦合成來模擬真場景，達到立體視頻的效果。而多視點視頻通過放置一組攝像機，使得用戶觀看時以選擇相鄰的某對攝像機采集到的視頻，達到交互的性能。
[0004]然而，立體視頻的實用化還存在很多問題，其中重要的一個就是如何進行有效地解碼，由于立體視頻采用多個攝像機同時采集并傳輸，數(shù)據(jù)量遠大于二維視頻，同加上人們對視頻的清晰度要求的提高，進一步導(dǎo)致數(shù)據(jù)量的加大。如何有效地利用視內(nèi)和相鄰視點間的數(shù)據(jù)冗余進行立體視頻的壓縮成為了學(xué)術(shù)界研究的熱點。
[0005]傳統(tǒng)的解決方法是采用圖像渲染的光場技術(shù)，光場技術(shù)雖然避開了復(fù)雜的建模過程，但由于沒有3D網(wǎng)格模型的信息載體，需要大量的采樣場景圖像，以獲得足夠的信息恢復(fù)場景，因此會產(chǎn)生大量的采樣數(shù)據(jù)，不利于視頻的存儲和傳輸?；?D網(wǎng)格模型繪制方法的優(yōu)點在于其場景模型的信息完全由3D網(wǎng)格模型描述，不需要對場景大量采樣，即可恢復(fù)場景。因此，在基于圖像繪制方法中引入部分幾何信息，由3D網(wǎng)格模型承擔(dān)部分信息的載體，可以減少對場景的大量采樣，有效地減少數(shù)據(jù)量，然而，傳統(tǒng)的方法一方面渲染效果不是很好，而且數(shù)據(jù)量大，不利于傳輸；另一方面，為了渲染出接近真實的場景，光場采集必須足夠密，否則就會出現(xiàn)偏差，因此需要耗費大量的存儲空間存儲源信息。
[0006]因此，有必要提供一種基于光場渲染的視頻編解碼方法來解決現(xiàn)有技術(shù)的缺陷。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的在于滿足現(xiàn)有技術(shù)的需求，提供一種能夠使圖像細節(jié)更清晰自然，渲染效果好，數(shù)據(jù)量大的基于光場渲染的視頻編解碼方法。
[0008]為了解決上述問題，本發(fā)明提出了一種基于光場渲染的視頻編解碼方法，包括以下步驟，步驟1:用TransCAIP方法計算新視點的起始幀；步驟2:結(jié)合高斯混合背景建模和場景幾何計算，將場景分為背景區(qū)域和前景區(qū)域；步驟3:用高斯混合模型計算出視點I的當(dāng)前幀的前景區(qū)域，利用場景幾何關(guān)系將該區(qū)域變換成新視點當(dāng)前幀的前景，并且利用高斯混合模型提取出新視點前一幀的前景區(qū)域，用新視點當(dāng)前幀的前景區(qū)域更新新視點前一幀的前景區(qū)域，得到新視點的當(dāng)前幀；步驟4:連續(xù)計算K-1次，在循環(huán)中統(tǒng)計前景區(qū)域點所在的層次分布；步驟5:若當(dāng)循環(huán)的幀數(shù)超過K時，則根據(jù)統(tǒng)計的前景點分布自適應(yīng)地劃分場景層次；返回步驟I重復(fù)循環(huán)。
[0009]較佳地，所述步驟I中的TransCAIP方法具體為，將拍攝的場景沿z軸劃分為N層，計算經(jīng)過新視點的每一條目標(biāo)光線與各層的交點，以及所述交點在4幅視圖中對應(yīng)點的顏色一致性，顏色一致性最小的層為交點所處的層，即交點的深度。
[0010]較佳地，所述步驟5中自適應(yīng)地劃分場景層次包括以下步驟:步驟51:根據(jù)給定的最遠層z max、最近層z min和層數(shù)N,將場景分成N+1個間隔均勻的空間區(qū)間[Z min, Z1]，[Z 2，Z 3]，...，[Z N，Z max];步驟52:對本次循環(huán)中的每一幀統(tǒng)計落在各個空間區(qū)間的前景點的數(shù)目，在循環(huán)結(jié)束時得到前景點數(shù)最多的空間區(qū)間，假設(shè)為[z[j]，z[j+l]];步驟53:在下一輪循環(huán)中，場景的層次包括2部分:第一部分為上述方法劃分出的層次；第二部分為在上輪循環(huán)中統(tǒng)計出的前景點最密集的空間區(qū)間[zj，zj+1]，此區(qū)間均勻地劃分新的層次 Z[l]，...，Z[m]，其中 Z[i]-Z[1-1]=以常數(shù))。
[0011]本發(fā)明實施例的基于光場渲染的視頻編解碼方法，該方法充分利用了光場渲染的優(yōu)勢并結(jié)合背景建模和場景幾何的計算，自適應(yīng)地劃分場景層次，使圖像細節(jié)更清晰自然，在圖像渲染效果和數(shù)據(jù)量大小方面比傳統(tǒng)的方法都有明顯的性能提高。
【專利附圖】

【附圖說明】
[0012]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其它的附圖。
[0013]圖1是光場渲染的結(jié)構(gòu)示意圖；
[0014]圖2是本發(fā)明實施例起始幀+后續(xù)幀的循環(huán)模式；
[0015]圖3是本發(fā)明實施例的基于光場渲染的視頻編碼方法的流程圖；
[0016]圖4是本發(fā)明實施例起始巾貞計算的示意圖；
[0017]圖5是圖3中步驟S05的子流程圖。
【具體實施方式】
[0018]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0019]基于光場渲染的視頻編解碼是從多視點視頻圖像中獲取場景目標(biāo)的光場數(shù)據(jù)，然后再通過圖形硬件完成目標(biāo)的光場重建.。為了解決繪制階段的計算復(fù)雜度，達到實時渲染要求，光場的采樣及處理過程存在著大量的計算，因此將這些計算放在不需要實時處理的編碼端完成，生成易于圖形硬件渲染的光場數(shù)據(jù)。編碼端的任務(wù)不僅是完成光場數(shù)據(jù)的采集過程，還要通過技術(shù)手段保證處理后的光場數(shù)據(jù)的數(shù)據(jù)量盡可能地小并且能夠保證重建后的真實感效果.解碼端不需要進行復(fù)雜的計算，只需計算光場數(shù)據(jù)的內(nèi)存地址，讀取相應(yīng)的光場數(shù)據(jù)進行重建過程，由于計算復(fù)雜度小，大部分操作僅僅是存儲器的讀取操作，可以達到實時渲染要求，光場渲染的整體架構(gòu)如圖1所示。本發(fā)明所提出的基于光場渲染的視頻編碼改進方法。該方法充分利用了光場渲染的優(yōu)勢并結(jié)合背景建模和場景幾何的計算，自適應(yīng)地劃分場景層次，使圖像細節(jié)更清晰自然，在圖像渲染效果和數(shù)據(jù)量大小方面比傳統(tǒng)的方法都有明顯的性能提高。
[0020]本發(fā)明所提供的基于光場渲染的視頻編解碼方法以TransCAIP方法為基礎(chǔ)計算起始幀，然后在新視點的上一幀的基礎(chǔ)上更新前景，得到新視點的當(dāng)前幀，這樣做避免了重復(fù)繪制占據(jù)圖像大部分且變化緩慢的背景區(qū)域。但是，如果前一幀點的計算有誤差，后繼一幀會繼承這個誤差，所造成的累積誤差將影響后繼多幀，當(dāng)累積誤差增大到一定程度時，必然會影響圖像的質(zhì)量。為了消除累積誤差，本發(fā)明采用起始幀+后續(xù)幀的循環(huán)模式，如圖2所示。其中每K幀為一個循環(huán)，循環(huán)開始時先計算起始幀，在起始幀的基礎(chǔ)上更新前景得到第I幀；第2幀在第I幀的基礎(chǔ)上得到，依次計算后續(xù)幀，一直計算到第K-1幀；第K幀便進入了新循環(huán)，通過計算起始幀來矯正上次循環(huán)的累積誤差。同時，在每個循環(huán)中統(tǒng)計前景點的層次，采用自適應(yīng)層次劃分策略重新劃分場景。
[0021]本發(fā)明的基于光場渲染的視頻編碼方法流程如圖3所示，包括以下步驟:
[0022]步驟SOl:用TransCAIP方法計算新視點的起始中貞；
[0023]步驟S02:結(jié)合高斯混合背景建模和場景幾何計算，將場景分為背景區(qū)域和前景區(qū)域；
[0024]步驟S03:用高斯混合模型計算出視點I的當(dāng)前幀的前景區(qū)域，利用場景幾何關(guān)系將該區(qū)域變換成新視點當(dāng)前幀的前景，并且利用高斯混合模型提取出新視點前一幀的前景區(qū)域，用新視點當(dāng)前幀的前景區(qū)域更新新視點前一幀的前景區(qū)域，得到新視點的當(dāng)前幀；
[0025]步驟S04:連續(xù)計算K-1次，在循環(huán)中統(tǒng)計前景區(qū)域點所在的層次分布；
[0026]步驟S05:若當(dāng)循環(huán)的幀數(shù)超過K時，則根據(jù)統(tǒng)計的前景點分布自適應(yīng)地劃分場景層次；返回步驟SOl重復(fù)循環(huán)。
[0027]具體地，起始幀是每個循環(huán)的第一幀，循環(huán)中的后續(xù)幀都將受到起始幀計算的影響。本發(fā)明用TransCAIP方法計算起始幀，但根據(jù)系統(tǒng)攝像機陣列的部署情況，在顏色一致性和插值系數(shù)的計算上與TransCAIP方法有所不同。如圖4所示，4個輸入視點在空間中松散排列成四邊形(非嚴(yán)格排列在同一個平面中)，r(x)為新視點要求的目標(biāo)光線，ri(x，z)為第i條參考光線(i = (1，2，3，4)，分別表示4個輸入視點)，？0^，2)是目標(biāo)光線與層z = z m的交點，dis ti是第i個視點的光心到目標(biāo)光線的垂直距離。圖4中左上角的坐標(biāo)設(shè)定為世界坐標(biāo)。
[0028]TransCAIP方法的基本思想如下:將拍攝的場景沿z軸劃分為N層，計算經(jīng)過新視點的每一條目標(biāo)光線與各層的交點，以及這些交點在4幅視圖中對應(yīng)點的顏色一致性，顏色一致性最小的層認為是交點所處的層，即交點的深度。
[0029]較佳地，在攝像機陣列不移動的情況下，場景背景的改變一般很緩慢。針對這個特性，本發(fā)明在計算新視點的當(dāng)前幀時，采用在新視點前一幀的背景基礎(chǔ)上更新前景的方法。本發(fā)明將新視點當(dāng)前幀的計算分為3部分:1)檢測新視點前一幀的背景，并將其作為當(dāng)前幀的背景，而前一幀的前景區(qū)域是當(dāng)前幀中需要重新計算的；2)檢測新視點當(dāng)前幀的前景區(qū)域；3)在新視點前一幀背景上更新前景。
[0030]為了檢測新視點的前一幀的背景，本發(fā)明采用高斯混合背景建模技術(shù)，假設(shè)圖像中的每個像素點服從于高斯混合分布，該分布由K個獨立的高斯分布構(gòu)成。在時刻N，給定
的像素點的值為Χ[Ν]的概率可以寫為
【權(quán)利要求】
1.一種基于光場渲染的視頻編解碼方法，包括以下步驟: 步驟1:用TransCAIP方法計算新視點的起始幀； 步驟2:結(jié)合高斯混合背景建模和場景幾何計算，將場景分為背景區(qū)域和前景區(qū)域；步驟3:用高斯混合模型計算出視點I的當(dāng)前幀的前景區(qū)域，利用場景幾何關(guān)系將該區(qū)域變換成新視點當(dāng)前幀的前景，并且利用高斯混合模型提取出新視點前一幀的前景區(qū)域，用新視點當(dāng)前幀的前景區(qū)域更新新視點前一幀的前景區(qū)域，得到新視點的當(dāng)前幀； 步驟4:連續(xù)計算K-1次，在循環(huán)中統(tǒng)計前景區(qū)域點所在的層次分布； 步驟5:若當(dāng)循環(huán)的幀數(shù)超過K時，則根據(jù)統(tǒng)計的前景點分布自適應(yīng)地劃分場景層次；返回步驟I重復(fù)循環(huán)。
2.根據(jù)權(quán)利要求1所述的基于光場渲染的視頻編解碼方法，其特征在于，所述步驟I中的TransCAIP方法具體為，將拍攝的場景沿z軸劃分為N層，計算經(jīng)過新視點的每一條目標(biāo)光線與各層的交點，以及所述交點在4幅視圖中對應(yīng)點的顏色一致性，顏色一致性最小的層為交點所處的層，即交點的深度。
3.根據(jù)權(quán)利要求1所述的基于光場渲染的視頻編解碼方法，其特征在于，所述步驟5中自適應(yīng)地劃分場景層次包括以下步驟: 步驟51:根據(jù)給定的最遠層z max、最近層z min和層數(shù)N，將場景分成N+1個間隔均勻的空間區(qū)間[Z min, Zl]，[Z2，Z3]，...，[Z N，Z max]； 步驟52:對本次循環(huán)中的每一幀統(tǒng)計落在各個空間區(qū)間的前景點的數(shù)目，在循環(huán)結(jié)束時得到前景點數(shù)最多的空間區(qū)間，假設(shè)為[z[j]，z[j+l]]；· 步驟53:在下一輪循環(huán)中，場景的層次包括2部分:第一部分為上述方法劃分出的層次；第二部分為在上輪循環(huán)中統(tǒng)計出的前景點最密集的空間區(qū)間[zj，zj+1]，此區(qū)間均勻地劃分新的層次Z[l]，…，Z[m]，其中Z[i]-Z[1-1] = C(常數(shù))。
【文檔編號】H04N19/30GK103856777SQ201210512295
【公開日】2014年6月11日 申請日期:2012年12月4日 優(yōu)先權(quán)日:2012年12月4日
【發(fā)明者】劉海亮, 楊艾琳, 羅笑南, 蘇航, 陳湘萍, 王炫盛 申請人:中山大學(xué)深圳研究院