本發(fā)明涉及視頻編碼技術(shù)領(lǐng)域，尤其涉及一種基于h265引入視差補(bǔ)償?shù)牧Ⅲw視頻編碼方法。

背景技術(shù)：

視頻信息作為多媒體信息中最主要的一部分，是人們生活中的必備品。隨著社會(huì)進(jìn)步和人們生活水平日益提高，人們對(duì)視頻的要求也越來越高，追求更加真實(shí)、生動(dòng)的視頻體驗(yàn)。當(dāng)前視頻研究領(lǐng)域針對(duì)2d視頻圖像存在缺乏深度、互動(dòng)性等不足，掀起了立體視頻顯示研究的熱潮。與傳統(tǒng)的2d視頻相比，立體視頻增加了第三維的“深度”，給人們帶來視覺上的巨大沖擊。從2d視頻圖像的顯示發(fā)展到立體視頻圖像的顯示，立體視頻圖像顯示技術(shù)具有傳統(tǒng)顯示技術(shù)所不能比擬的高度臨場感，給觀眾帶來無與倫比的視覺享受，它是根據(jù)人眼的雙目視差為原理的。人的雙眼中間存在一段距離，使得人的左右眼在觀看場景時(shí)的位置、角度不同，左右眼觀看物體時(shí)接收到的視覺圖像略有差異，即場景在人的左右眼視網(wǎng)膜上投影的位置不同，這個(gè)位置即是視差，視差反映了物體的深度信息，在大腦中通過對(duì)具有視差的兩幅圖像的復(fù)雜合成得到場景的深度信息，形成具有縱深感的立體畫面，也就體會(huì)到自然的立體感覺。

現(xiàn)有技術(shù)通常用攝像機(jī)來模擬人眼，立體視頻根據(jù)攝像機(jī)的數(shù)目可分為雙目、多視點(diǎn)立體視頻。雙目立體視頻是模擬人雙眼感知三維景物最簡單的方式。雙目立體視頻簡單實(shí)用的優(yōu)點(diǎn)使其成為立體視頻市場上應(yīng)用最廣泛的格式。然而立體視頻相對(duì)于2d視頻增加了視點(diǎn)數(shù)量，現(xiàn)有技術(shù)的編碼方法沒有充分利用視頻中視點(diǎn)間存在的相關(guān)性，編碼壓縮程度低，使得編碼后的數(shù)據(jù)量巨大，相應(yīng)的存儲(chǔ)和傳輸要求的帶寬高等要求都限制了立體視頻的發(fā)展。

故，針對(duì)目前現(xiàn)有技術(shù)中存在的上述缺陷，實(shí)有必要進(jìn)行研究，以提供一種方案，解決現(xiàn)有技術(shù)中存在的缺陷。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，確有必要提供一種能有效減少碼率的基于h265引入視差補(bǔ)償?shù)牧Ⅲw視頻編碼方法。

為了克服現(xiàn)有技術(shù)的缺陷，本發(fā)明的技術(shù)方案如下：

一種基于h265引入視差補(bǔ)償?shù)牧Ⅲw視頻編碼方法，包括以下步驟：

步驟s1：將多個(gè)視角獲取的多路圖像序列進(jìn)行幀交替形成混合序列，任選定一路圖像序列作為主序列，其余路為副序列；

步驟s2：主序列中的任一主幀參考該主序列的前一主幀作為參考，主幀按h.265標(biāo)準(zhǔn)進(jìn)行編碼；

步驟s3：副序列中的任一副幀參考前一幀，副幀引入其與前一幀的視差后再進(jìn)行編碼；

其中，步驟s3中，副幀引入其與前一幀的視差后再進(jìn)行編碼的過程為：

先根據(jù)視角位置關(guān)系計(jì)算視差d；

再根據(jù)視差d調(diào)整搜索窗，并在該搜索窗范圍內(nèi)做整數(shù)全搜索計(jì)算獲得運(yùn)動(dòng)矢量；

最后根據(jù)運(yùn)動(dòng)矢量完成編碼。

優(yōu)選地，立體視頻編碼為雙目立體視頻編碼或多視點(diǎn)立體視頻編碼。

優(yōu)選地，在所述步驟s3中，對(duì)副幀做幀間編碼時(shí)，引入lcu(largecodingunit)的視差，以lcu左上角為原點(diǎn)水平方向上±48像素范圍內(nèi)計(jì)算當(dāng)前l(fā)cu的視差d。

優(yōu)選地，計(jì)算lcu的單個(gè)預(yù)測單元pu(predictionunit)的運(yùn)動(dòng)矢量mv之前先將搜索窗根據(jù)視差d做偏移，在偏移后的位置整數(shù)全搜索計(jì)算獲得運(yùn)動(dòng)矢量mv0，將獲得的運(yùn)動(dòng)矢量mv0結(jié)合視差d即獲得最終的運(yùn)動(dòng)矢量mv。

與現(xiàn)有技術(shù)相比較，本發(fā)明在h.265編碼器的基礎(chǔ)上稍做改動(dòng)，可以方便地應(yīng)用于各種多視頻的立體視頻編碼；通過主幀和副幀選擇不同的幀間參考幀和副幀做幀間預(yù)測時(shí)引入視差偏移，在參考幀的搜索窗內(nèi)獲得最佳匹配點(diǎn)，充分利用視頻中視點(diǎn)間存在的相關(guān)性，這樣得到最小率失真值rdcost，從而達(dá)到殘差小、碼率小和節(jié)省帶寬的技術(shù)效果。

附圖說明

圖1為本發(fā)明基于h265引入視差補(bǔ)償?shù)牧Ⅲw視頻編碼方法的流程框圖。

圖2為本發(fā)明中雙視角情形時(shí)幀交替的示意圖。

圖3為本發(fā)明中參考幀選擇的示意圖。

圖4為h.265中幀間編碼示意圖。

圖5為采用視差偏移的幀間編碼示意圖。

圖6為本發(fā)明中引入視差編碼的流程圖。

圖7是平行式雙視角視覺模型。

圖8為幀間搜索運(yùn)動(dòng)矢量的示意圖。

圖9為lcu的視差搜索范圍。

圖10為根據(jù)視差d調(diào)整搜索窗的示意圖。

圖11為全搜索計(jì)算示意圖。

如下具體實(shí)施例將結(jié)合上述附圖進(jìn)一步說明本發(fā)明。

具體實(shí)施方式

以下將結(jié)合附圖對(duì)本發(fā)明提供的基于h265引入視差補(bǔ)償?shù)牧Ⅲw視頻編碼方法作進(jìn)一步說明。

參見圖1，所示為本發(fā)明一種基于h265引入視差補(bǔ)償?shù)牧Ⅲw視頻編碼方法的流程框圖，包括以下步驟：

步驟s1：將多個(gè)視角獲取的多路圖像序列進(jìn)行幀交替形成混合序列，任選定一路圖像序列作為主序列，其余路為副序列；參見圖2，所示為本發(fā)明中雙視角情形時(shí)幀交替的示意圖，將左視角序列(l序列)和右視角序列(r序列)經(jīng)過幀交替方式形成新的圖像序列(lr序列)。l序列里的幀定為偶數(shù)幀，r序列里的幀定為奇數(shù)幀，第0幀只做幀內(nèi)預(yù)測。

步驟s2：主序列中的任一主幀參考該主序列的前一主幀作為參考，主幀按h.265標(biāo)準(zhǔn)進(jìn)行編碼；

步驟s3：副序列中的任一副幀參考前一幀，副幀引入其與前一幀的視差后再進(jìn)行編碼；

參見圖3，所示為本發(fā)明中參考幀選擇的示意圖，偶數(shù)幀(2n幀)的幀間參考幀是前一偶數(shù)幀(2(n-1)幀)的重建幀；奇數(shù)幀(2n+1幀)的幀間參考幀是前一幀(2n幀)的重建幀。偶數(shù)幀編碼參照h.265中幀間編碼方式，參見圖4，所示為h.265中幀間編碼示意圖，其中fn為主幀，f’n-1為前一主幀的重建幀。參見圖5，奇數(shù)幀編碼采用視差偏移的幀間編碼方式，即對(duì)奇數(shù)幀做幀間預(yù)測時(shí)，引入和前一幀的視差，如圖5所示，其中f’n-1為前一幀的重建幀。

其中，步驟s3中，副幀引入其與前一幀的視差后再進(jìn)行編碼的過程如下，參見圖6，所示為引入視差編碼的流程圖，進(jìn)一步包括以下步驟：

步驟s31：先根據(jù)視角位置關(guān)系計(jì)算視差d；通常當(dāng)多個(gè)圖像采集裝置安裝后，其位置關(guān)系決定了視角位置關(guān)系，因此，視角位置模型是可以預(yù)先獲取的。圖7是以平行式雙視角視覺模型為例計(jì)算視差。

步驟s32：再根據(jù)視差d調(diào)整搜索窗，并在該搜索窗范圍內(nèi)計(jì)算獲得運(yùn)動(dòng)矢量；具體的，計(jì)算視差后，再根據(jù)視差d做偏移，如圖8所示為幀間搜索運(yùn)動(dòng)矢量的示意圖，在偏移后的位置整數(shù)搜索計(jì)算獲得運(yùn)動(dòng)矢量mv0，將mv0疊加視差d即是最終的運(yùn)動(dòng)矢量mv。計(jì)算運(yùn)動(dòng)矢量前根據(jù)視差做偏移的目的是在匹配幀的匹配點(diǎn)處搜索最匹配點(diǎn)，這樣得到最小率失真值rdcost，最終得到的殘差小，碼率小，節(jié)省帶寬。

步驟s33：最后根據(jù)運(yùn)動(dòng)矢量完成編碼。

在一種優(yōu)選實(shí)施方式，采用視差偏移的幀間編碼時(shí)，假設(shè)需要編碼單元lcu(largecodingunit),大小為64x64，以lcu的左上點(diǎn)為原點(diǎn)(0,0)，水平方向上±48像素范圍內(nèi)計(jì)算當(dāng)前l(fā)cu的視差d，圖9是lcu的視差搜索范圍。參見圖10，所示為根據(jù)視差d調(diào)整搜索窗的示意圖，計(jì)算lcu中單個(gè)預(yù)測單元pu(predictionunit)的運(yùn)動(dòng)矢量mv前，先將搜索窗根據(jù)視差d做偏移，再將搜索窗的大小由(±48,±32)調(diào)整為(±(48-d),±32)，在新的搜索窗范圍內(nèi)做整數(shù)全搜索計(jì)算獲得當(dāng)前pu(predictionunit)的運(yùn)動(dòng)矢量mv0，將mv0結(jié)合視差d即是對(duì)應(yīng)pu最終的運(yùn)動(dòng)矢量mv。在全搜索計(jì)算前，先對(duì)搜索窗進(jìn)行視差偏移可以達(dá)到縮小匹配區(qū)域的目的，在根據(jù)視差做偏移后的搜索窗范圍內(nèi)做全搜索更容易找到匹配塊。其中，搜索窗內(nèi)做整數(shù)全搜索使用現(xiàn)有技術(shù)采用的對(duì)應(yīng)像素點(diǎn)的絕對(duì)差之和(sad)或其他方法判斷相關(guān)性。

參見圖11，所示為全搜索計(jì)算示意圖。圖中陰影部分為需要編碼單元lcu(largecodingunit),大小為64x64；搜索窗大小為(±48，±32)，以lcu左上點(diǎn)為原點(diǎn)(0,0)，每個(gè)像素點(diǎn)做sad運(yùn)算，計(jì)算時(shí)間復(fù)雜度為o(96*64)。視差偏移后，縮小了搜索范圍，搜索窗大小設(shè)為(±(48-d)，±32)，從而減小了計(jì)算復(fù)雜度。

當(dāng)然，本發(fā)明技術(shù)方案用于立體視頻編碼時(shí)，可以為雙目立體視頻編碼或多視點(diǎn)立體視頻編碼。

在一種優(yōu)選實(shí)施方式中，本發(fā)明應(yīng)用于三視點(diǎn)立體視頻編碼方法。將三路視角的第一路視角產(chǎn)生的序列定位主序列，主序列里的幀定為主幀，將第二路視角產(chǎn)生的序列定為副序列1，副序列1的幀定為副幀1，第三路視角產(chǎn)生的序列定為副序列2，副序列2的幀定為副幀2。

將主序列和副序列1、副序列2經(jīng)過幀交替方式形成新的圖像序列(混合序列)，第0幀是i幀，只做幀內(nèi)預(yù)測，主幀的幀間參考幀是前一主幀，參照h.265中幀間編碼方式，副幀1的幀間參考幀是前一幀即主幀，副幀2的幀間參考幀也是前一幀即副幀1，都采用視差偏移的幀間編碼。

對(duì)副幀1和副幀2做幀間預(yù)測時(shí)，引入和前一幀的視差d，先計(jì)算當(dāng)前幀中某一需要編碼的單元lcu(largecodingunit)的視差d，在當(dāng)前l(fā)cu的原點(diǎn)處±48像素范圍內(nèi)搜索計(jì)算獲得，計(jì)算lcu中單個(gè)預(yù)測單元pu(predictionunit)的運(yùn)動(dòng)矢量mv之前，先將搜索窗根據(jù)視差d在水平方向上做偏移，并將搜索窗大小由(±48，±32)調(diào)整為(±(48-d),±32)，在新的搜索窗范圍內(nèi)做整數(shù)全搜索計(jì)算獲得運(yùn)動(dòng)矢量mv0,結(jié)合視差d即是最終需要的運(yùn)動(dòng)矢量mv。計(jì)算運(yùn)動(dòng)矢量mv之前根據(jù)視差d對(duì)搜索窗做偏移的目的是在偏移后的位置做整數(shù)全搜索時(shí)，更容易找到匹配塊，視差偏移后，縮小了搜索范圍，達(dá)到縮小匹配區(qū)域的目的，從而減小了計(jì)算復(fù)雜度。最終得到的碼率小，節(jié)省帶寬。

以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想。應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以對(duì)本發(fā)明進(jìn)行若干改進(jìn)和修飾，這些改進(jìn)和修飾也落入本發(fā)明權(quán)利要求的保護(hù)范圍內(nèi)。

對(duì)所公開的實(shí)施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開的原理和新穎特點(diǎn)相一致的最寬的范圍。