視頻編碼裝置及方法以及視頻解碼裝置及方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及視頻編碼裝置、視頻解碼裝置、視頻編碼方法、以及視頻解碼方法。
[0002]本申請(qǐng)基于在2013年10月17日申請(qǐng)的特愿2013-216525號(hào)要求優(yōu)先權(quán)，并將其內(nèi)容引用于此。
【背景技術(shù)】
[0003]在通常的視頻編碼中，利用被攝物的空間上/時(shí)間上的連續(xù)性將視頻的各幀分割為處理單位的塊，按照每個(gè)塊在空間上/時(shí)間上對(duì)其視頻信號(hào)進(jìn)行預(yù)測(cè)，對(duì)示出其預(yù)測(cè)方法的預(yù)測(cè)信息和預(yù)測(cè)殘差信號(hào)進(jìn)行編碼，由此，與對(duì)視頻信號(hào)本身進(jìn)行編碼的情況相比，謀求大幅度的編碼效率的提高。此外，在通常的二維視頻編碼中，進(jìn)行參照相同的幀內(nèi)的已經(jīng)編碼完畢的塊來對(duì)編碼對(duì)象信號(hào)進(jìn)行預(yù)測(cè)的幀內(nèi)預(yù)測(cè)以及參照已經(jīng)編碼完畢的其他的幀基于運(yùn)動(dòng)補(bǔ)償?shù)葋韺?duì)編碼對(duì)象信號(hào)進(jìn)行預(yù)測(cè)的幀間預(yù)測(cè)。
[0004]在此，對(duì)多視點(diǎn)視頻編碼進(jìn)行說明。多視點(diǎn)視頻編碼是指對(duì)使用多個(gè)攝像機(jī)拍攝了相同的場景的多個(gè)視頻利用該視頻間的冗余性以高的效率進(jìn)行編碼。關(guān)于多視點(diǎn)視頻編碼，熟悉非專利文獻(xiàn)I。
[0005]在多視點(diǎn)視頻編碼中，除了在通常的視頻編碼中使用的預(yù)測(cè)方法之外，還使用參照已經(jīng)編碼完畢的另外的視點(diǎn)的視頻基于視差補(bǔ)償對(duì)編碼對(duì)象信號(hào)進(jìn)行預(yù)測(cè)的視點(diǎn)間預(yù)測(cè)以及通過幀間預(yù)測(cè)對(duì)編碼對(duì)象信號(hào)進(jìn)行預(yù)測(cè)并對(duì)其殘差信號(hào)參照已經(jīng)編碼完畢的另外的視點(diǎn)的視頻的編碼時(shí)的殘差信號(hào)進(jìn)行預(yù)測(cè)的視點(diǎn)間殘差預(yù)測(cè)等方法。關(guān)于視點(diǎn)間預(yù)測(cè)，在MVC(Multiview Video Coding，多視點(diǎn)視頻編碼)等多視點(diǎn)視頻編碼中，統(tǒng)一為幀間預(yù)測(cè)而被處理為幀間預(yù)測(cè)(inter predict1n)，能夠在B圖片中對(duì)2個(gè)以上的預(yù)測(cè)圖像進(jìn)行插值來做成預(yù)測(cè)圖像而也用于雙向預(yù)測(cè)。像這樣，在多視點(diǎn)視頻編碼中，對(duì)于能夠進(jìn)行幀間預(yù)測(cè)和視點(diǎn)間預(yù)測(cè)雙方的圖片，能夠進(jìn)行利用幀間預(yù)測(cè)和視點(diǎn)間預(yù)測(cè)的雙向預(yù)測(cè)。
[0006]在進(jìn)行幀間預(yù)測(cè)的情況下，具有得到示出其參照目的地的參照?qǐng)D片索引或運(yùn)動(dòng)矢量等參照信息的需要。通常地，參照信息作為預(yù)測(cè)信息而進(jìn)行編碼并且與視頻一起復(fù)用，但是，為了削減其碼量，有時(shí)以某些方法預(yù)測(cè)參照信息。
[0007]在通常的方法中，存在取得已經(jīng)編碼完畢的編碼對(duì)象圖像的周邊塊在編碼時(shí)使用的預(yù)測(cè)信息來作為用于編碼對(duì)象圖像的預(yù)測(cè)的參照信息的直接方式、將周邊塊的預(yù)測(cè)信息名單化為候補(bǔ)名單(Candidate List)并且對(duì)識(shí)別從名單中取得預(yù)測(cè)信息的對(duì)象塊的標(biāo)識(shí)符進(jìn)行編碼的合并方式等。
[0008]此外，在多視點(diǎn)視頻編碼中，存在共有與編碼對(duì)象圖像對(duì)應(yīng)的另外的視點(diǎn)的圖片上的區(qū)域和參照信息的視點(diǎn)間運(yùn)動(dòng)預(yù)測(cè)這樣的方法。關(guān)于視點(diǎn)間運(yùn)動(dòng)預(yù)測(cè)，熟悉非專利文獻(xiàn)2。
[0009]此外，作為其他的方法，存在殘差預(yù)測(cè)。殘差預(yù)測(cè)是在對(duì)具有高的相關(guān)性的2個(gè)圖像分別進(jìn)行預(yù)測(cè)編碼的情況下利用了其預(yù)測(cè)殘差也彼此具有相關(guān)性的情況的用于抑制預(yù)測(cè)殘差的碼量的方法。關(guān)于殘差預(yù)測(cè)，熟悉非專利文獻(xiàn)3。
[0010]在多視點(diǎn)視頻編碼中使用的視點(diǎn)間殘差預(yù)測(cè)中，從編碼對(duì)象的預(yù)測(cè)殘差信號(hào)減去不同的視點(diǎn)的視頻中的與編碼對(duì)象圖像對(duì)應(yīng)的區(qū)域的編碼時(shí)的預(yù)測(cè)殘差信號(hào)，由此，能夠降低殘差信號(hào)的能量，提高編碼效率。
[0011]關(guān)于視點(diǎn)間的對(duì)應(yīng)關(guān)系，在例如通過視差補(bǔ)償預(yù)測(cè)對(duì)已經(jīng)編碼完畢的周邊塊進(jìn)行編碼的情況下，通過其視差矢量，使用設(shè)定與編碼對(duì)象塊對(duì)應(yīng)的另外的視點(diǎn)的區(qū)域等方法來求取。通過該方法求取的視差矢量被稱為“neighboring block based disparityvector(NBDV)，基于相鄰塊的視差矢量”。
[0012]視點(diǎn)間殘差預(yù)測(cè)在B圖片中使用幀間預(yù)測(cè)的情況下，除了該預(yù)測(cè)之外還用作針對(duì)殘差的進(jìn)一步的處理。
[0013]在此，對(duì)自由視點(diǎn)視頻編碼進(jìn)行說明。自由視點(diǎn)視頻是指通過使用許多拍攝裝置等從各種位置、角度對(duì)對(duì)象場景進(jìn)行拍攝來取得場景的光線信息并以此為基礎(chǔ)對(duì)任意視點(diǎn)中的光線信息進(jìn)行恢復(fù)、由此生成從任意視點(diǎn)觀察的視頻的視頻。
[0014]場景的光線信息由各種數(shù)據(jù)形式表現(xiàn)，但是，作為最通常的形式，存在使用視頻和該視頻的各幀中的被稱為深度圖(depth map)的進(jìn)深圖像的方式(非專利文獻(xiàn)4)。
[0015]深度圖是指按照每個(gè)像素來記述從攝像機(jī)到被攝物的距離(進(jìn)深、深度)的圖，是被攝物所具有的三維信息的簡單的表現(xiàn)。
[0016]在從兩個(gè)攝像機(jī)對(duì)同一被攝物進(jìn)行觀測(cè)時(shí)，被攝物的深度值與攝像機(jī)間的視差的倒數(shù)成比例，因此，深度圖有時(shí)也被稱為視差圖(disparity map)(視差圖像)。與此相對(duì)地，有時(shí)將深度圖所對(duì)應(yīng)的攝像機(jī)的視頻稱為紋理(texture)。
[0017]由于深度圖是針對(duì)圖像的各像素的每一個(gè)具有一個(gè)值的表現(xiàn)，所以，能夠看作灰度(gray scale)圖像來進(jìn)行記述。
[0018]此外，作為深度圖的時(shí)間上連續(xù)的記述的深度圖視頻(在以下無圖像/視頻的區(qū)別地稱為深度圖)與視頻信號(hào)同樣地，由于被攝物的空間上/時(shí)間上的連續(xù)性，所以可以說具有空間上、時(shí)間上的相關(guān)性。因此，通過為了對(duì)通常的視頻信號(hào)進(jìn)行編碼而使用的視頻編碼方式，能夠一邊去掉空間上/時(shí)間上的冗余性一邊高效地對(duì)深度圖進(jìn)行編碼。關(guān)于這樣的視頻和利用深度圖的視頻方式，不僅在自由視點(diǎn)視頻中而且在三維視頻的表現(xiàn)/編碼或多視點(diǎn)視頻中為了碼量削減而用于編碼。
[0019]在對(duì)這樣的視頻和利用深度圖的視頻方式進(jìn)行編碼的情況下，能夠利用視頻和深度圖之間的相關(guān)性或深度圖具有視頻的各像素的進(jìn)深來提高編碼效率。
[0020]作為代表的例子，在視頻的編碼中，存在以下這樣的方法:將與編碼對(duì)象圖像對(duì)應(yīng)的深度圖的深度值變換為視差，由此，得到用于在編碼對(duì)象圖像中進(jìn)行視差補(bǔ)償預(yù)測(cè)的視差矢量。此外，作為另外的方法，也存在使用深度圖來合成編碼對(duì)象視點(diǎn)的圖像而用于預(yù)測(cè)圖像的視點(diǎn)合成預(yù)測(cè)這樣的方法(非專利文獻(xiàn)5)。
[0021]再有，在本說明書中，圖像是指活動(dòng)圖像的一個(gè)幀或靜止圖像，將聚集有多個(gè)幀(圖像)的圖像(活動(dòng)圖像)稱為視頻。
[0022]現(xiàn)有技術(shù)文獻(xiàn)非專利文獻(xiàn)
非專利文南犬 1:M.Flierl and B.Girod，“Multiview video compress1n”，SignalProcessing Magazine, IEEE, pp.66-76, 2007年11月；非專利文南犬2: Yang，H., Chang , Y., & Huo , J., “Fine-Granular Mot1nMatching for Inter-View Mot1n Skip Mode in Multiview Video Coding”, IEEETransact1ns on Circuits and Systems for Video Technology, Vol.19，N0.6，pp.887-892，2009年6月;
非專利文南犬3:Χ.Wang and J.Ridge，“Improved video coding with residualpredict1n for extended spatial scalability”， ISCCSP 2008, pp.1041-1046，2008年3月；
非專利文南犬 4:Υ.Mori , N.Fukusima, T.Fuji , and M.Tanimoto , “ViewGenerat1n with 3D Warping Using Depth Informat1n for FTV”, Proceedings of3DTV-C0NO8, pp.229-232, 2008年5月；
非專利文南犬5:Yea, S., & Vetro, A.“View synthesis predict1n for multiviewvideo coding”， Signal Processing:1mage Communicat1n 24, pp.89-100， 2009年。

【發(fā)明內(nèi)容】

[0023]發(fā)明要解決的課題
在多視點(diǎn)視頻編碼中，視點(diǎn)間運(yùn)動(dòng)預(yù)測(cè)為有效的碼量削減方法，但是，在由于攝像機(jī)配置的問題等而在視點(diǎn)間不能共有運(yùn)動(dòng)矢量的情況下不會(huì)得到效果。
[0024]此外，在視點(diǎn)間運(yùn)動(dòng)預(yù)測(cè)或殘差預(yù)測(cè)中，通常采用使用NBDV來決定與編碼對(duì)象圖像對(duì)應(yīng)的另外的視點(diǎn)的圖片上的區(qū)域這樣的方法。這樣的方法在編碼對(duì)象圖像具有與周邊塊相同的運(yùn)動(dòng)/視差的情況下為有效，但是，在不是這樣的情況下完全不會(huì)得到效果。此外，該方法不能在周邊塊中沒有通過視差補(bǔ)償預(yù)測(cè)編碼后的信息的情況下使用。
[0025]在這樣的情況下，為了進(jìn)行視點(diǎn)間運(yùn)動(dòng)預(yù)測(cè)或殘差預(yù)測(cè)而需要追加的視差矢量等的用于得到視點(diǎn)間對(duì)應(yīng)的信息，存在增加碼量這樣的問題。
[0026]此外，在三維視頻或自由視點(diǎn)視頻編碼中能夠進(jìn)行使用了深度圖的視頻的編碼，但是，在解碼裝置中需要參照與在編碼裝置中參照的深度圖相同的深度圖，因此，需要在編碼對(duì)象圖像之前解碼所使用的深度圖。但是，通常地，采用許多按照各視點(diǎn)、各幀的每一個(gè)對(duì)視頻進(jìn)行編碼而接著編碼相同的視點(diǎn)、幀的深度圖這樣的方法。在這樣的情況下，存在使用了深度圖的視頻編碼的方法不能使用這樣的問題。
[0027]本發(fā)明是鑒于這樣的情況而完成的，其目的在于提供能夠通過提高預(yù)測(cè)圖像的精度來削減預(yù)測(cè)殘差編碼所需要的碼量的視頻編碼裝置、視頻解碼裝置、視頻編碼方法以及視頻解碼方法。
[0028]用于解決課題的方案
本發(fā)明提供一種視頻編碼裝置，對(duì)編碼對(duì)象視頻所包含的編碼對(duì)象圖像進(jìn)行預(yù)測(cè)編碼，其特征在于，具有:預(yù)測(cè)單元，將已經(jīng)編碼完畢的圖像作為參照?qǐng)D片來預(yù)測(cè)編碼對(duì)象圖像，決定示出作為參照目的地的第一參照區(qū)域的第一參照信息;第二參照信息決定單元，根據(jù)與所述第一參照區(qū)域?qū)?yīng)的深度圖來決定示出作為針對(duì)編碼對(duì)象圖像的另外的參照目的地的第二參照區(qū)域的第二參照信息；以及預(yù)測(cè)圖像生成單元，基于所述第二參照信息或者所述第一參照信息和所述第二參照信息雙方來生成預(yù)測(cè)圖像。
[0029]作為典型例，所述第一參照信息示出與編碼對(duì)象圖像不同的幀的圖像上的參照目的地，所述第二參照信息示出與編碼對(duì)象圖像不同的視點(diǎn)的圖像上的參照目的地。
[0030]作為優(yōu)選例，所述預(yù)測(cè)圖像生成單元使用所述第一參照信息來生成第一一次預(yù)測(cè)圖像，使用所述第二參照信息來生成第二一次預(yù)測(cè)圖像，混合所述第一一次預(yù)測(cè)圖像和所述第二一次預(yù)測(cè)圖像，由此，生成所述預(yù)測(cè)圖像。
[0031]所述預(yù)測(cè)圖像生成單元按照編碼對(duì)象圖像的部分區(qū)域的每一個(gè)使用所述第一參照信息和所述第二參照信息之中的任一個(gè)或者雙方來生成所述預(yù)測(cè)圖像也可。
[0032]在該情況下，還具有:判定單元，所述判定單元基于由與所述第一參照區(qū)域?qū)?yīng)的深度圖決定的所述第一參照區(qū)域所對(duì)應(yīng)的另外的參照?qǐng)D片上的參照目的地即第三參照區(qū)域，按照編碼對(duì)象圖像的部分區(qū)域的每一個(gè)，判定使用所述第一參照信息和所述第二參照信息的任一個(gè)或雙方，所述預(yù)測(cè)圖像生成單元基于所述判定單元的判定結(jié)果按照編碼對(duì)象圖像的部分區(qū)域的每