專利名稱：圖像編碼裝置、圖像編碼方法及其程序、以及圖像解碼裝置、圖像解碼方法及其程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對從不同的多個視點拍攝到的圖像進(jìn)行編碼的圖像編碼裝置、圖像編碼方法及其程序，以及對編碼有從不同的多個視點拍攝到的圖像的編碼圖像數(shù)據(jù)進(jìn)行解碼的圖像解碼裝置、圖像解碼方法及其程序。
背景技術(shù)：
近年來，利用了來自多視點的圖像的應(yīng)用正在普及。作為該應(yīng)用之一，有兩眼式立體電視。在兩眼式立體電視中，是生成由兩臺攝像機(jī)從不同的兩個方向拍攝的左眼用圖像和右眼用圖像，將之顯示在同一畫面上，來使人看到立體圖像的。在該情況下，左眼用圖像和右眼用圖像分別作為獨(dú)立的圖像而被單獨(dú)傳送或記錄。此時，就需要單一二維圖像的約兩倍的信息量。因此，提案有將左右任一者的圖像作為主圖像，將另一者的圖像作為副圖像，通過一般的壓縮編碼方法對該副圖像的信息進(jìn)行信息壓縮，以抑制信息量的方法(例如，參照專利文獻(xiàn)1)。在該提案的立體電視圖像傳送方式中，是針對副圖像的每個小區(qū)域而求取與主圖像相關(guān)度較高的相對位置，傳送或記錄該位置偏移量(以下稱作視差矢量)和差信號 (以下稱作預(yù)測殘差信號)的。只要使用主圖像和視差矢量，就能復(fù)原與副圖像相近的圖像，但還要傳送或記錄預(yù)測殘差信號，是因為物體的影子部分等主圖像所不具有的副圖像信息是無法復(fù)原的。另外，1996年，作為單視點圖像的編碼國際標(biāo)準(zhǔn)的MPEG-2視頻(IS0/IEC 13818-2)編碼方式中追加了被稱作多視角配置(Multiview Profile)的立體圖像的編碼方式(IS0/IEC 13818-2/AMD3)。MPEG-2視頻多視角配置是以左眼用圖像為基本層，以右眼用圖像為擴(kuò)展層進(jìn)行編碼的二層的編碼方式，取代利用時間方向的冗余性的運(yùn)動補(bǔ)償預(yù)測和利用空間方向的冗余性的離散余弦變換，而是采取利用視點間的冗余性的視差補(bǔ)償預(yù)測來進(jìn)行壓縮編碼。另外，對于三臺以上的攝像機(jī)拍攝的多視點圖像，提案有利用運(yùn)動補(bǔ)償預(yù)測和視差補(bǔ)償預(yù)測來抑制信息量的方法(例如參照專利文獻(xiàn)幻。該提案的圖像高效率編碼方式是通過與多個視點的參照圖像進(jìn)行圖案匹配，選擇誤差最小的運(yùn)動補(bǔ)償預(yù)測圖像或視差補(bǔ)償預(yù)測圖像，來提高編碼效率的。此外，JVT(Joint Video Team 聯(lián)合視頻組)正在進(jìn)行將AVC/H. 264編碼方式 (參照非專利文獻(xiàn)1)擴(kuò)展到多視點圖像的多視點圖像編碼方式(MVC =Multiview Video Coding (以下稱作MVC方式))的標(biāo)準(zhǔn)化作業(yè)(參照非專利文獻(xiàn)2)。與上述的MPEG-2視頻多視角配置一樣，在該MVC方式下也是引入視點間的預(yù)測來提高編碼效率的。在先技術(shù)文獻(xiàn)〔專利文獻(xiàn)〕〔專利文獻(xiàn)1〕日本特開昭61-144191號公報
〔專利文獻(xiàn)2〕日本特開平6-98312號公報〔非專利文獻(xiàn)〕〔非專利文獻(xiàn) 1〕ITU-T Recommendation H. 264(11/2007)〔非專利文獻(xiàn) 2〕Joint Draft 6. 0 on Multiview Video Coding, Joint Video Team ofIS0/IEC MPEG & ITU-T VCEG, JVT-Z209,2008 年 1 月

發(fā)明內(nèi)容
發(fā)明所要解決的課題采用上述各種各樣的方式，能夠?qū)碜远鄠€視點的多視點圖像進(jìn)行編碼。但是，這些方式是對所需視點的圖像全部進(jìn)行編碼，如果考慮到傳送速度、存儲容量受限的情況，則很難高效地傳送或存儲多視點圖像。例如，當(dāng)所需的視點數(shù)較多時，若全部傳送或存儲這些視點的圖像，則數(shù)據(jù)量會變得非常大。即，在解碼側(cè)就必須接收或讀入非常大的數(shù)據(jù)量。此外，在解碼側(cè)也難以高精度地生成與用戶指示相應(yīng)的自由視點的圖像。本發(fā)明是鑒于這種狀況而設(shè)計的，其目的在于提供一種能效率良好地傳送或存儲多視點圖像的圖像編碼裝置、圖像編碼方法及其程序。另外，其它目的在于提供一種能效率良好地接收或讀入多視點圖像的圖像解碼裝置、圖像解碼方法及其程序。用于解決課題的手段本發(fā)明一個方案的圖像編碼裝置包括第1編碼部，對分別來自不同的多個視點的多個圖像進(jìn)行編碼，生成圖像編碼數(shù)據(jù)；第2編碼部，對來自至少一個以上視點的表示特定空間的深度的深度信息進(jìn)行編碼，生成深度信息編碼數(shù)據(jù)；以及流生成部，生成包含由第 1編碼部和第2編碼部所分別生成的圖像編碼數(shù)據(jù)和深度信息編碼數(shù)據(jù)的編碼流。本發(fā)明另一方案的圖像編碼裝置包括第1編碼部，對分別來自不同的多個視點的多個圖像進(jìn)行編碼，生成圖像編碼數(shù)據(jù)；第2編碼部，對來自至少一個以上視點的表示特定空間的深度的深度信息進(jìn)行編碼，生成深度信息編碼數(shù)據(jù)；判定部，判定是否將來自某視點的深度信息作為編碼對象；以及流生成部，生成包含由第1編碼部生成的圖像編碼數(shù)據(jù)、 和由第2編碼部對被判定部判定作為編碼對象的深度信息進(jìn)行編碼后的深度信息編碼數(shù)據(jù)的編碼流。本發(fā)明一個方案的圖像解碼裝置包括分解部，將包含圖像編碼數(shù)據(jù)和深度信息編碼數(shù)據(jù)的編碼流分解，其中，所述圖像編碼數(shù)據(jù)中被編碼有分別來自不同的多個視點的多個圖像，所述深度信息編碼數(shù)據(jù)中被編碼有來自至少一個以上視點的表示特定空間的深度的深度信息；第1解碼部，對被分解部分解出的圖像編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原多個圖像； 以及第2解碼部，對被分解部分解出的深度信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原深度信息。本發(fā)明另一個方案的圖像編碼裝置包括第1編碼部，對分別來自不同的多個視點的多個圖像進(jìn)行編碼，生成圖像編碼數(shù)據(jù)；第2編碼部，對來自至少一個以上視點的表示特定空間的深度的深度信息進(jìn)行編碼，生成深度信息編碼數(shù)據(jù)；第3編碼部，對包含視點信息的參數(shù)信息進(jìn)行編碼，生成參數(shù)信息編碼數(shù)據(jù)，其中，該視點信息用于確定多個圖像和深度信息之來源的多個視點；以及流生成部，生成包含由第1編碼部、第2編碼部、以及第3編碼部所分別生成的圖像編碼數(shù)據(jù)、深度信息編碼數(shù)據(jù)、以及參數(shù)信息編碼數(shù)據(jù)的編碼流。本發(fā)明另一方案的圖像解碼裝置包括分解部，將包含圖像編碼數(shù)據(jù)、深度信息編碼數(shù)據(jù)、參數(shù)信息編碼數(shù)據(jù)的編碼流分解，其中，所述圖像編碼數(shù)據(jù)中被編碼有分別來自不同的多個視點的多個圖像，所述深度信息編碼數(shù)據(jù)中被編碼有來自至少一個以上視點的表示特定空間的深度的深度信息，所述參數(shù)信息編碼數(shù)據(jù)中被編碼有包含視點信息的參數(shù)信息，該視點信息用于確定上述多個圖像和上述深度信息之來源的多個視點；第1解碼部，對被分解部分解出的圖像編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原多個圖像；第2解碼部，對被分解部分解出的深度信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原深度信息；以及第3解碼部，對被分解部分解出的參數(shù)信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原上述參數(shù)信息。本發(fā)明再一個方案的圖像編碼裝置包括第1編碼部，對分別來自不同的多個視點的多個圖像進(jìn)行編碼，生成圖像編碼數(shù)據(jù)；深度信息生成部，基于多個圖像，生成來自至少一個虛擬視點的表示特定空間的深度的深度信息；第2編碼部，對由深度信息生成部生成的深度信息進(jìn)行編碼，生成深度信息編碼數(shù)據(jù)；以及流生成部，生成包含由第1編碼部和第2編碼部所分別生成的圖像編碼數(shù)據(jù)和深度信息編碼數(shù)據(jù)的編碼流。另外，將以上構(gòu)成要素的任意組合、本發(fā)明的表現(xiàn)形式在方法、裝置、系統(tǒng)、記錄介質(zhì)、計算機(jī)程序等之間變換后的方案，作為本發(fā)明的實施方式也是有效的。發(fā)明效果通過本發(fā)明，能夠效率良好地傳輸或存儲多視點圖像。此外，能夠效率良好地接收或讀入多視點圖像。


圖1是表示實施方式1的圖像編碼裝置的構(gòu)成的框圖。圖2是表示在以MVC方式編碼五視點構(gòu)成的多視點圖像時，圖像間的參照依賴關(guān)系的一例的圖。圖3是表示實施方式1的變形例的圖像編碼裝置的構(gòu)成的框圖。圖4是表示從第2視點和第3視點拍攝存在第1對象物和第2對象物的場景，生成作為虛擬視點的第1視點的圖像的例子的圖。圖5是表示在圖4的例子中所拍攝到的圖像、與之對應(yīng)的深度圖(cbpth map)、以及所生成的圖像的圖。圖6是表示從第5視點和第6視點拍攝存在第3對象物和第4對象物的場景，生成作為虛擬視點的第4視點的圖像的例子的圖。圖7是表示在圖6的例子中所拍攝到的圖像、與之對應(yīng)的深度圖、以及所生成的圖像的圖。圖8是表示從第8視點拍攝存在第5對象物或第6對象物、和第7對象物的兩個場景，生成作為虛擬視點的第7視點的圖像的例子的圖。圖9是表示在圖8的例子中所拍攝到的圖像、與之對應(yīng)的深度圖、以及所生成的圖像的圖。圖10是表示應(yīng)編碼的、包含來自五視點(視點0、視點1、視點2、視點3及視點4) 的圖像的多視點圖像和包含來自三視點(視點0、視點2及視點4)的深度DS的多視點深度圖的圖。圖11是表示以NAL單元單位來表現(xiàn)實施方式1的圖像編碼裝置所生成的編碼流
10的例子的圖。圖12是表示AVC/H. 264編碼方式所規(guī)定的NAL單元的種類的圖。圖13是表示SPS的NAL單元的構(gòu)成的圖。圖14是表示子集SPS的NAL單元的構(gòu)成的圖。圖15是表示PPS的NAL單元的構(gòu)成的圖。圖16是表示前綴(prefix) NAL單元的構(gòu)成的圖。圖17是表示"nal.unit.type"的值為“ 1 ”或“5”的片段(slice) NAL單元的構(gòu)成的圖。圖18是表示〃 nal_imit_type〃的值為“20”的片段NAL單元的構(gòu)成的圖。圖19是表示實施方式1的圖像編碼裝置所進(jìn)行的多視點圖像的編碼處理步驟的流程圖。圖20是表示將實施方式1的圖像編碼裝置所生成的多視點圖像的編碼位串通過網(wǎng)絡(luò)來傳送時的發(fā)送處理步驟的流程圖。圖21是表示本發(fā)明的實施方式2的圖像解碼裝置的構(gòu)成的框圖。圖22是表示實施方式2的變形例的圖像解碼裝置的構(gòu)成的框圖。圖23是表示實施方式2的圖像解碼裝置所進(jìn)行的多視點圖像的解碼處理步驟的流程圖。圖M是表示通過網(wǎng)絡(luò)接收編碼位串，并分離為NAL單元單位的處理步驟的流程圖。圖25是表示實施方式3的圖像編碼裝置的構(gòu)成的框圖。圖沈是表示實施方式3的圖像編碼裝置所進(jìn)行的多視點圖像的編碼處理步驟的流程圖。
具體實施例方式下面結(jié)合

本發(fā)明的實施方式。在以下的實施方式中，說明以對MVC方式進(jìn)行再擴(kuò)展的方式來編碼多視點圖像的例子，其中該MVC方式是將AVC/H. 264編碼方式擴(kuò)展為多視點圖像后的方式。首先，簡單說明AVC/H. 264編碼方式。AVC/H. 264編碼方式與以往的MPEG-2視頻 (IS0/IEC 13818-2)或 MPEG-4 視頻(visual) (IS0/IEC 14496-2)等的編碼方式相比，實現(xiàn)了更高的編碼效率。關(guān)于MPEG-2視頻或MPEG-4視頻等編碼方式中的P圖像(即正向預(yù)測編碼圖像)， 是僅基于顯示順序下之前緊鄰的I圖像或P圖像來進(jìn)行運(yùn)動補(bǔ)償預(yù)測的。與此不同，在AVC/ H. 264編碼方式下，P圖像和B圖像能將多個圖像用作參照圖像，按照每個塊而從中選擇最適合的圖像來進(jìn)行運(yùn)動補(bǔ)償。此外，除顯示順序下在先的圖像外，還能參照已編碼完的、顯示順序下在后的圖像。另外，關(guān)于MPEG-2視頻或MPEG-4視頻等編碼方式中的B圖像，是將顯示順序下的前一幅參照圖像或后一幅參照圖像、或者同時參照該兩幅參照圖像，將兩個圖像的平均值作為用于預(yù)測的參照圖像，來對對象圖像與參照圖像的差分?jǐn)?shù)據(jù)進(jìn)行編碼的。與此不同，在 AVC/H. 264編碼方式下，B圖像并不受顯示順序下的前一幅、后一幅這樣的制約，并且能夠與前方后方無關(guān)地參照任意的參照圖像來進(jìn)行預(yù)測。并且，B圖像還能將除自身以外的B圖像作為參照圖像來參照。此外，在MPEG-2視頻中是以圖像為一個單位、在MPEG-4中是以視頻對象平面 (VOP)為一個單位，來決定每個圖像或VOP的編碼模式的，但在AVC/H. 264編碼方式下，是以片段為編碼單位，在一個圖像內(nèi)能夠混合存在I片段、P片段、B片段等不同的片段。并且，在AVC/H. 264編碼方式下，定義有進(jìn)行視頻的像素信號(即編碼模式、運(yùn)動矢量、DCT系數(shù)等)的編碼處理或解碼處理的VCUVideo Coding Layer 視頻編碼層)，和 NAL (Network Abstraction Layer 網(wǎng)絡(luò)抽象層)。在AVC/H. 264編碼方式下被編碼后的編碼流是以NAL的一個區(qū)間、即NAL單元為單位構(gòu)成的。NAL單元中有包含被以VCL編碼的數(shù)據(jù)(即編碼模式、運(yùn)動矢量、DCT系數(shù)等) 的VCL的NAL單元，和不包含被以VCL生成的數(shù)據(jù)的ηοη-VCL的NAL單元。ηοη-VCL的NAL 單元中有包含關(guān)于序列(sequence)整體的編碼的參數(shù)信息的SPSSequence Parameter kt 序列參數(shù)集)、包含關(guān)于圖像的編碼的參數(shù)信息的PPS(Picture Parameter kt 圖像參數(shù)集)、以及被以VCL編碼的數(shù)據(jù)的解碼所不需要的SEI (Supplemental Enhancement Information 補(bǔ)充增強(qiáng)信息)等。另外，AVC/H. 264編碼方式中的編碼的基本單位是圖像被分割后的片段，VCL的 NAL單元成為片段單位。因此，定義有被稱作訪問單元(access unit)的單位，該訪問單元是匯總幾個NAL單元而成的，一個訪問單元中包含一個被編碼了的圖像。接下來，簡單說明MVC方式。在此，利用五視點的例子來說明對多視點圖像的各圖像進(jìn)行編碼和對已編碼的編碼流進(jìn)行解碼時的視點間的關(guān)系、以及構(gòu)成該多視點圖像的編碼對象圖像間的參照依賴關(guān)系。圖2是表示以MVC方式對由五視點構(gòu)成的多視點圖像進(jìn)行編碼時，圖像間的參照依賴關(guān)系的一例的圖。縱軸表示多個視點的空間方向(在本說明書中，以多個視點的空間方向為視點方向)，橫軸表示拍攝或者顯示順序的時間方向。P(v，t)(視點v = 0，l，2，…; 時間t = 0,1,2,…)是時間t時的視點ν的圖像。另外，箭頭的終點側(cè)所指示的圖像是要被編碼或解碼的對象圖像。箭頭的起點側(cè)所指示的圖像是該對象圖像被編碼或解碼時所要參照的參照圖像。即，是在時間方向的幀間(inter)預(yù)測(例如運(yùn)動補(bǔ)償預(yù)測)或視點間預(yù)測(例如視差補(bǔ)償預(yù)測)中所要參照的參照圖像。更具體來說，橫向箭頭的起點側(cè)所指示的圖像是在對象圖像被編碼或解碼時、時間方向的幀間預(yù)測所要參照的參照圖像，縱向箭頭的起點側(cè)所指示的圖像是視點間預(yù)測所要參照的參照圖像。這里，所謂時間方向的幀間預(yù)測，是參照其它時間的圖像的預(yù)測方法，所謂視點間預(yù)測，是參照其它視點的圖像的預(yù)測方法。另外，僅將時間方向的編碼或解碼順序下在先的圖像作為時間方向的幀間預(yù)測的參照圖像來使用，僅將視點方向的編碼或解碼順序下在先的圖像作為視點間預(yù)測的參照圖像來使用。例如，在圖2所示的參照依賴關(guān)系下，只要將視點方向上的視點的編碼或解碼順序設(shè)為視點0、視點2、視點1、視點4、視點3即可。另外， 時間方向上的視點的編碼或解碼順序只要設(shè)定成t = 0、4、2、1、3、8、6、5、7、…即可。首先， 按照上述視點方向上的視點的編碼或解碼順序，按P(0，0)，PQ，0)，P(1，0)，PG，0)，P(3， 0)順序?qū)⑾嗤瑫r間、即t為0時的各視點的圖像編碼或解碼。然后，對t為4時的各視點的圖像也是一樣，按照上述視點方向上的視點的編碼或解碼順序，以P (0，4)，P 0，4)，P (1， 4),P(4,4),P(3,4)順序?qū)ζ溥M(jìn)行編碼或解碼。以下，對于t為2時的各視點的圖像以后的圖像也同樣進(jìn)行處理。另外，假定視點O為基礎(chǔ)視點。在MVC編碼方式下，所謂基礎(chǔ)視點，是指能夠不依賴于其它視點地進(jìn)行編碼或解碼的視點。多視點圖像的序列整體中只有一個視點為基礎(chǔ)視點。即，基礎(chǔ)視點不將其它視點的圖像用作視點間預(yù)測的參照圖像，能夠單獨(dú)進(jìn)行編碼或解碼。此外，非基礎(chǔ)視點(即基礎(chǔ)視點以外的視點)能夠?qū)⑵渌朁c的圖像用作視點間預(yù)測的參照圖像。進(jìn)而，MVC方式具有將要被編碼的多視點圖像的視點數(shù)、視點方向的編碼或解碼順序、以及基于視點間預(yù)測的各視點間的參照依賴關(guān)系作為序列整體進(jìn)行編碼的功能。通過擴(kuò)展序列信息的參數(shù)集、即SPS，來進(jìn)行編碼。通過在編碼側(cè)作為序列整體來編碼上述參數(shù)、即視點數(shù)和各視點的視點依賴信息，在解碼側(cè)能夠作為序列整體來判別各視點的參照依賴關(guān)系。各視點的參照依賴信息被用于視點間預(yù)測圖像所需的參照圖像列表的初始化等的解碼處理。實施方式1圖1是表示實施方式1的圖像編碼裝置100的構(gòu)成的框圖。實施方式1的圖像編碼裝置100具有編碼管理部101、參數(shù)信息編碼部110、圖像信號編碼部107、以及深度信息編碼部(更具體來說是深度信號編碼部108)。參數(shù)信息編碼部110包括圖像信號用序列信息編碼部102、深度信號用序列信息編碼部103、圖像信號用圖像信息編碼部104、深度信號用圖像信息編碼部105、以及攝像機(jī)參數(shù)信息編碼部106。這些結(jié)構(gòu)在硬件方面可以用任意的計算機(jī)的CPU、存儲器、其它LSI來實現(xiàn)，軟件方面可以通過被載入到存儲器中的程序等來實現(xiàn)，但在此是描述由它們共同協(xié)作來實現(xiàn)的功能塊。因此，本領(lǐng)域技術(shù)人員當(dāng)理解這些功能塊可以僅由硬件來實現(xiàn)，也可以僅由軟件來實現(xiàn)，還可以通過它們的組合以各種形式來實現(xiàn)。圖像信號編碼部107對來自多個不同視點的多個圖像進(jìn)行編碼，生成圖像編碼數(shù)據(jù)。該多個圖像可以是由攝像機(jī)實際拍攝的圖像，也可以是由計算機(jī)圖形處理器生成的圖像。如果該多個視點中被設(shè)定一個應(yīng)作為基準(zhǔn)的視點，則圖像信號編碼部107能夠?qū)⒃摱鄠€圖像中來自應(yīng)作為基準(zhǔn)的視點的圖像編碼，生成第1圖像編碼數(shù)據(jù)，并將這以外的圖像編碼，生成第2圖像編碼數(shù)據(jù)。此時，圖像信號編碼部107可以對該多個圖像中來自應(yīng)作為基準(zhǔn)的視點的圖像進(jìn)行幀內(nèi)預(yù)測編碼，對其以外的圖像進(jìn)行多個圖像間的幀間預(yù)測編碼。在MVC方式下，該應(yīng)作為基準(zhǔn)的視點是上述的基礎(chǔ)視點。該幀間預(yù)測編碼是上述的視點間預(yù)測編碼。此外，當(dāng)該多個圖像為動圖像時，圖像信號編碼部107可以對來自各視點的動圖像分別按時間方向進(jìn)行幀間預(yù)測編碼。當(dāng)然，也可以兼用視點方向的幀間預(yù)測編碼和時間方向的幀間預(yù)測編碼。上述深度信息編碼部對來自至少一個視點的表示特定空間的深度的深度信息進(jìn)行編碼，生成深度信息編碼數(shù)據(jù)。該深度信息可以用來自某視點的單色格式(monochrome format)的圖像(以下根據(jù)情況也稱作單色圖像)來表現(xiàn)。此時，深度信息編碼部將該單色圖像編碼，生成深度信息編碼數(shù)據(jù)。
上述深度信息編碼部可以對來自不同的多個視點的多個單色圖像中、來自應(yīng)作為基準(zhǔn)的視點的單色圖像進(jìn)行幀內(nèi)預(yù)測編碼，對其以外的單色圖像進(jìn)行多個單色圖像間的幀間預(yù)測編碼。這里，作為單色圖像之來源的應(yīng)作為基準(zhǔn)的視點，可以與作為應(yīng)被圖像信號編碼部107編碼的圖像之來源的應(yīng)作為基準(zhǔn)的視點相一致，也可以不一致。另外，當(dāng)該多個單色圖像是動圖像時，上述深度信息編碼部可以對來自各視點的單色格式的動圖像分別按時間方向進(jìn)行幀間預(yù)測編碼。當(dāng)然，也可以兼用視點方向的幀間預(yù)測編碼和時間方向的幀間預(yù)測編碼。這里，作為上述深度信息之來源的視點的數(shù)量可以被設(shè)定得比作為應(yīng)被第1編碼部編碼的圖像之來源的視點的數(shù)量少，也可以被設(shè)定成兩者的視點數(shù)量一致。此外，作為上述深度信息之來源的各視點的位置可以被設(shè)定成與作為應(yīng)被圖像信號編碼部107編碼的多個圖像之來源的多個視點的位置中的一者相一致，也可以被設(shè)定成與任一者都不一致。參數(shù)信息編碼部110對上述多個圖像和作為上述深度信息之來源的、包含用于確定多個視點的視點信息的參數(shù)信息進(jìn)行編碼，生成參數(shù)信息編碼數(shù)據(jù)。在如上所述被設(shè)定一個應(yīng)作為基準(zhǔn)的視點時，參數(shù)信息編碼部110對上述多個圖像中來自應(yīng)作為基準(zhǔn)的視點的圖像的第1參數(shù)信息、其以外的圖像的第2參數(shù)信息、以及深度信息的第3參數(shù)信息分別編碼，生成第1參數(shù)信息編碼數(shù)據(jù)、第2參數(shù)信息編碼數(shù)據(jù)、以及第3參數(shù)信息編碼數(shù)據(jù)。這里，第3參數(shù)信息是以與第2參數(shù)信息的語法構(gòu)造對應(yīng)的語法構(gòu)造來記述的。 例如，可以按照AVC/H. 264編碼方式的多視角高配置來記述第2參數(shù)信息和第3參數(shù)信息。 第2參數(shù)信息和第3參數(shù)信息中記述視點的識別信息。當(dāng)作為應(yīng)被圖像信號編碼部107編碼的圖像之來源的視點的位置與作為上述深度信息之來源的視點的位置相一致時，這些視點被賦予共同的識別信息。即，視點的識別信息在該圖像與該深度信息之間被統(tǒng)一管理。單元化部109生成包含由圖像信號編碼部107和上述深度信息編碼部所分別生成的上述圖像編碼數(shù)據(jù)和上述深度信息編碼數(shù)據(jù)的編碼流。單元化部109也可以生成還包含由參數(shù)信息編碼部110生成的上述參數(shù)信息編碼數(shù)據(jù)的編碼流。當(dāng)在作為應(yīng)被圖像信號編碼部107編碼的圖像之來源的多個視點中設(shè)定有一個應(yīng)作為基準(zhǔn)的視點時，單元化部109生成包含由圖像信號編碼部107、上述深度信息編碼部及參數(shù)信息編碼部110所分別生成的上述第1圖像編碼數(shù)據(jù)、上述第2圖像編碼數(shù)據(jù)、上述深度信息編碼數(shù)據(jù)、上述第1參數(shù)信息編碼數(shù)據(jù)、上述第2參數(shù)信息編碼數(shù)據(jù)、以及上述第 3參數(shù)信息編碼數(shù)據(jù)的編碼流。圖3是表示實施方式1的變形例的圖像編碼裝置IOOa的構(gòu)成的框圖。實施方式1 的變形例的圖像編碼裝置IOOa是在圖1所示的圖像編碼裝置100的基礎(chǔ)上追加了深度信息生成部(更具體來說是深度信號生成部111)的結(jié)構(gòu)。在該變形例中，上述深度信息生成部基于應(yīng)被圖像信號編碼部107編碼的多個圖像，生成來自至少一個視點的表示特定空間的深度的深度信息。上述深度信息生成部能夠用已有的算法來實現(xiàn)該深度信息的生成。上述深度信息編碼部對由該深度信息生成部生成的深度信息進(jìn)行編碼，生成深度信息編碼數(shù)據(jù)。其它處理與圖1所示的實施方式1的基本例的圖像編碼裝置100的說明一樣，故省略其說明。在此，說明在實施方式1的圖像編碼裝置100中應(yīng)被編碼的圖像及深度信息。該圖像是被攝物體被攝像機(jī)等撮像裝置投影到與各視點對應(yīng)的二維平面上而形成的畫。此外，圖像信號是將作為二維信息的圖像變換成一維的信號流后的結(jié)果。以數(shù)字形式來表現(xiàn)的圖像及圖像信號的最小單位是像素。被輸入到該圖像編碼裝置100的多視點的圖像信號是包含在所設(shè)定的兩個以上的多個視點分別得到的圖像信號的多視點圖像信號。一個視點的圖像信號可以是從該視點實際拍攝而得到的圖像信號，也可以是假定從該視點虛擬拍攝、由計算機(jī)圖形處理器等生成的圖像信號。另外，對于實際拍攝所得到的圖像信號，為修正該拍攝所使用的各攝像機(jī)的偏差，有時要施加位置修正、亮度及顏色水平(色 >《 > )修正。上述深度信號可以是包含在所設(shè)定的兩個以上的多個視點分別得到的深度信號的多視點的深度信號。一個視點的深度信號可以是由紅外線攝像機(jī)等從該視點實際拍攝而得到的深度信號，也可以是假定從該視點虛擬拍攝、基于上述多視點的圖像信號通過運(yùn)算而生成的深度信號。該深度信息是表示特定空間的深度的信息。例如，該深度信息被表示為圖像內(nèi)的被攝物體(即對象)相對于圖像平面的深度信息。更具體來說，該深度信息是表示被投影到二維平面上的圖像的深度的信息。將被投影到二維平面上的圖像的各像素所對應(yīng)的深度信息按像素單位或多個像素單位進(jìn)行映射(mapping)后的圖像稱為深度圖。深度信號是作為二維信息的深度圖被變換成一維的信號流后的結(jié)果。與圖像或圖像信號一樣，以數(shù)字形式來表現(xiàn)的深度圖及深度信號的最小單位也是像素。上述深度信號可以是包含在所設(shè)定的兩個以上的多個視點分別得到的深度信號的多視點的深度信號。一個視點的深度信號可以是由紅外線攝像機(jī)等從該視點實際拍攝得到的深度信號，也可以是假定從該視點虛擬拍攝、基于上述多視點的圖像信號通過運(yùn)算而生成的深度信號。深度信號的像素值同圖像信號一樣，也多是以8位來表現(xiàn)的，但為提高深度方向的再現(xiàn)性，也可以用9 14位程度來表現(xiàn)。深度圖被表示成單色格式的圖像。另外，只要能與上述圖像的各像素對應(yīng)，該深度圖的分辨率可以被設(shè)定得低于上述圖像的分辨率。該深度信號主要是為基于實際存在的視點的圖像信號生成不存在的所希望的虛擬視點的圖像信號而用的。當(dāng)要在解碼側(cè)顯示自由視點圖像時，或者視點數(shù)量較多，難以將這些視點的全部圖像都拍攝、傳送或存儲時，生成虛擬視點的圖像信號是有効的。上述所謂自由視點圖像，是要根據(jù)用戶的指示而顯示的、圖像的視點無法預(yù)先確定時的圖像。作為基于已有視點的圖像信號來生成不存在的虛擬視點的圖像的方法之一，有日本特開平9-81746號公報所公開的技術(shù)。在該方法中，在生成不存在的虛擬視點的圖像時， 是基于已有的視點的圖像信號計算深度信息，并按照該深度信息來生成所希望的虛擬視點的圖像的。在傳送或存儲對多視點的圖像信號編碼而得到的編碼流，再基于對該編碼流解碼而得到的圖像信號求取深度信號，來生成所希望的虛擬視點的圖像信號的方法中，在解碼側(cè)計算深度信號的處理的負(fù)擔(dān)較大。并且，一般來說，在解碼側(cè)所生成的深度信號的質(zhì)量要低于在編碼側(cè)生成的深度信號的質(zhì)量。這是由于在一般的編碼方式中，編碼時原圖像信號的高頻分量會被省略。因此，在本實施方式中，在編碼側(cè)基于多視點的圖像信號生成深度信號，將多個視點的圖像信號和多個視點的深度信號作為編碼的對象。解碼側(cè)通過對編碼流進(jìn)行解碼，除圖像信號外還能得到深度信號。由此，無需在解碼后生成深度信號，解碼側(cè)能夠基于對編碼流解碼而得到的圖像信號和深度信號，來生成所希望的虛擬視點的圖像信號。
另外，生成虛擬視點的圖像信號時，與基于一個視點的圖像信號和深度信號生成圖像相比，基于多個視點的圖像信號和深度信號來生成圖像更能得到良好的虛擬視點的圖像。下面參照圖4和圖5更加詳細(xì)地說明這一點。圖4是表示從第2視點VB和第3視點VC來拍攝存在第1對象物OA和第2對象物OB的場景，并生成作為虛擬視點的第1視點VA(以下記作第1虛擬視點VA)的圖像的例子的圖。圖5是表示在圖4的例子中所拍攝到的圖像、與之對應(yīng)的深度圖、以及所生成的圖像的圖。在圖5中，第2圖像IB表示從圖4的第2視點VB拍攝到的圖像，第3圖像IC表示從圖4的第3視點VC拍攝到的圖像。第2深度圖DB表示與第2圖像IB對應(yīng)的深度圖， 第3深度圖DC表示與第3圖像IC對應(yīng)的深度圖。在以下的說明中，將最后方的對象、即離攝像機(jī)最遠(yuǎn)的對象所對應(yīng)的深度信號的像素值定為最小值0，對象越靠前方、即離攝像機(jī)越近，深度信號的像素值就越定為大的值。 另外，第1圖像IA表示假定從第1虛擬視點VA拍攝時所得到的圖像(以下稱為預(yù)測圖像)， 并非實際拍攝到的圖像，而是要被生成的圖像。此外，第1-2圖像IAB是基于從第2視點VB拍攝到的第2圖像IB和與之對應(yīng)的第2深度圖DB而生成的第1虛擬視點VA的預(yù)測圖像。在基于從第2視點VB拍攝到的第 2圖像IB和與之對應(yīng)的第2深度圖DB來生成第1虛擬視點VA的預(yù)測圖像的情況下，從第 2視點VB拍攝時，被前方的第1對象物OA遮擋的部分看不到，出現(xiàn)欠缺部分。第1-2圖像 IAB的涂黑的部分就是在該第1虛擬視點VA的預(yù)測圖像內(nèi)出現(xiàn)的第2欠缺部分LPB。另外，第1-3圖像IAC是基于從第3視點VC拍攝到的第3圖像IC和與之對應(yīng)的第3深度圖DC而生成的第1虛擬視點VA的預(yù)測圖像。第1-3圖像IAC中也出現(xiàn)欠缺部分。第1-3圖像IAC的涂黑的部分就是該第1虛擬視點VA的預(yù)測圖像內(nèi)所出現(xiàn)的第3欠缺部分LPC。第1-3圖像IAC的第3欠缺部分LPC出現(xiàn)在與第1_2圖像IAB的第2欠缺部分LPB不同的位置。因此，通過基于第1-3圖像IAC的圖像信號來補(bǔ)償?shù)?-2圖像IAB的第2欠缺部分LPB，能夠生成沒有欠缺部分的第1虛擬視點VA的第1圖像IA。實際上，對象物有立體感和影子，因進(jìn)行拍攝的視點的位置及方向與光源的相對關(guān)系不同，拍攝得到的圖像中會產(chǎn)生亮度差和色差，但在圖4、圖5中是沒有考慮這一點的。為考慮這各個視點所產(chǎn)生的亮度差等，或者為了降低噪聲，也有這樣的方法對于第1-2圖像IAB和第1-3圖像IAC這兩者內(nèi)都存在的像素，使用其平均值，而對于一個圖像中出現(xiàn)欠缺部分的像素，就只使用另一個圖像的像素。這樣，與基于一個視點的圖像信號和深度信號而生成的虛擬視點的圖像(圖5中是第1-2圖像IAB或第1-3圖像IAC)相比，基于兩個視點的圖像信號和深度信號而生成的圖像更能得到無欠缺部分的良好圖像。另外，與基于兩個視點的圖像信號和深度信號來生成虛擬視點的圖像信號相比， 使用更多視點的圖像信號和深度信號更能得到無欠缺部分的良好圖像。這樣，在生成虛擬視點的圖像時，與基于一個視點的圖像信號和深度信號而生成圖像相比，基于多個視點的圖像信號和深度信號來生成圖像更能得到良好的虛擬視點的圖像。此外，在基于兩個視點的圖像信號和深度信號生成虛擬視點的圖像信號時，基于視點間距離較短的兩個視點的圖像信號和深度信號來生成，比基于視點間距離較遠(yuǎn)的兩個視點的圖像信號和深度信號來生成更能得到良好的虛擬視點的圖像信號。下面參照圖6和圖7來更詳細(xì)地說明這一點。圖6是表示從第5視點VE和第6視點VF拍攝存在第3對象物OC和第4對象物 OD的場景，并生成作為虛擬視點的第4視點VD(以下記作第4虛擬視點VD)的圖像的例子的圖。圖7是表示在圖6的例子中所拍攝到的圖像、與之對應(yīng)的深度圖、以及所生成的圖像的圖。在圖7中，第5圖像IE表示從圖6的第5視點VE拍攝到的圖像，第6圖像IF表示從圖6的第6視點VF拍攝到的圖像。第5深度圖DE表示與第5圖像IE對應(yīng)的深度圖， 第6深度圖DF表示與第3圖像IC對應(yīng)的深度圖。另外，第4圖像ID表示假定從第4虛擬視點VD拍攝時所得到的預(yù)測圖像，并非實際拍攝的圖像，而是要被生成的圖像。此外，第4-5圖像IDE是基于從第5視點VE拍攝到的第5圖像IE和與之對應(yīng)的第5深度圖DE而生成的第4虛擬視點VD的預(yù)測圖像。在基于從第5視點VE拍攝到的第 5圖像IE和與之對應(yīng)的第5深度圖DE來生成第4虛擬視點VD的預(yù)測圖像的情況下，在從第5視點VE拍攝時被前方的第3對象物OC遮擋的部分看不到，出現(xiàn)欠缺部分。第4-5圖像IDE的涂黑部分就是該第4虛擬視點VD的預(yù)測圖像內(nèi)所出現(xiàn)的第5欠缺部分LPE。此外，第4-6圖像IDF是基于從第6視點VF拍攝到的第6圖像IF和與之對應(yīng)的第6深度圖DF而生成的第4虛擬視點VD的預(yù)測圖像。第4-6圖像IDF中也出現(xiàn)欠缺部分。 第4-6圖像IDF的涂黑部分就是該第4虛擬視點VD的預(yù)測圖像內(nèi)所出現(xiàn)的第6欠缺部分 LPF。比較第5視點VE和第6視點VF，第6視點VF更遠(yuǎn)離第4虛擬視點，所以第6圖像 IF與第4圖像ID的偏差量更大，第4-6圖像IDF的第6欠缺部分LPF的面積比第4_5圖像 IDE的第5欠缺部分LPE的面積更大。這樣，視點間的距離越小，映到圖像上的被攝物體的視點間的偏差量、變形、亮度及顏色的差就越小，越能得到良好的圖像。因此，在生成虛擬視點的圖像信號時，基于視點間距離較短的多個視點的圖像信號和深度信號來生成，比基于視點間距離較長的多個視點的圖像信號和深度信號來生成更能得到良好的虛擬視點的圖像。另外，因內(nèi)容(contents)的深度的狀態(tài)不同，虛擬視點的圖像信號的生成容易度也不同。相互重疊的被攝物體彼此的深度差越小，越能得到良好的虛擬視點的圖像信號。以下參照圖8和圖9更詳細(xì)地說明這一點。圖8是表示從第8視點VH拍攝存在第5對象物OE或第6對象物OF和第7對象物OG的兩個場景，并生成作為虛擬視點的第7視點VG(以下記作第7虛擬視點VG)的圖像的例子的圖。在拍攝各個場景時，第5對象物OE和第6對象物OF并不同時存在。在此，將存在第5對象物OE和第7對象物OG的場景記作第1場景Hl，將存在第6對象物OF和第7 對象物OG的場景記作第2場景H2。圖9是表示在圖8的例子中拍攝到的圖像、與之對應(yīng)的深度圖、以及所生成的圖像的圖。在圖9中，第8-1圖像IHl表示從圖8的第8視點VH拍攝到的第1場景Hl的圖像， 第8-2圖像IH2表示同樣從圖8的第8視點VH拍攝到的第2場景H2的圖像。第8_1深度圖DHl表示與第8-1圖像IHl對應(yīng)的深度圖，第8-2深度圖DH2表示與第8_2圖像IH2對應(yīng)的深度圖。
第7-1圖像IGl表示假定從第7虛擬視點VG拍攝第1場景Hl時所得到的預(yù)測圖像，并非實際拍攝的圖像，而是要被生成的圖像。另外，第7-2圖像IG2表示假定從第7虛擬視點VG拍攝第2場景H2時所得到的預(yù)測圖像，并非實際拍攝的圖像，而是要被生成的圖像。此外，第7-8-1圖像IGHl是基于從第8視點VH拍攝到的第1場景Hl的第8_1圖像IHl和與之對應(yīng)的第8-1深度圖DHl而生成的第7虛擬視點VG的第1場景Hl的預(yù)測圖像。在基于從第8視點VH拍攝到的第1場景Hl的第8-1圖像IHl和與之對應(yīng)的第8_1深度圖DHl來生成第7虛擬視點VG的第1場景Hl的預(yù)測圖像的情況下，在從第8視點VH拍攝時被前方的第5對象物OE遮擋的部分看不到，出現(xiàn)欠缺部分。第7-8-1圖像IGHl的涂黑部分就是該第7虛擬視點VG的第1場景Hl的預(yù)測圖像內(nèi)所出現(xiàn)的第8-1欠缺部分LPH1。另外，第7-8-2圖像IGH2是基于從第8視點VH拍攝到的第2場景H2的第8_2圖像IH2和與之對應(yīng)的第8-2深度圖DH2而生成的第7虛擬視點VG的第2場景H2的預(yù)測圖像。第7-8-2圖像IGH2中也出現(xiàn)欠缺部分。第7-8-2圖像IGH2的涂黑部分就是該第7虛擬視點VD的第2場景H2的預(yù)測圖像內(nèi)所出現(xiàn)的第8-2欠缺部分LPH2。對第8-1圖像IHl與第7-1圖像IGl的偏差量、和第8_2圖像IH2與第7_2圖像 IG2的偏差量進(jìn)行比較，后者較大。因此，第7-8-2圖像IGH2的第8_2欠缺部分LPH2的面積大于第7-8-1圖像IGHl的第8-1欠缺部分LPHl的面積。這樣，因內(nèi)容的深度的狀態(tài)不同，虛擬視點的圖像信號的生成容易度也不同。即，相互重疊的被攝物體彼此的深度差越小，相重疊的被攝物體彼此在圖像內(nèi)的相對偏差量就越小，所生成的圖像的欠缺部分就越小，就越能得到良好的圖像。相重疊的被攝物體彼此的深度差可以通過深度信號而計算出來。抽取出深度信號 (圖9中是第8-1深度圖DHl和第8-2深度圖DH2)的邊緣(即濃度急劇變化的點)，算出夾著邊緣部分的邊界的像素值的差，該差越小，就判定為相重疊的被攝物體彼此的深度差越小。這樣，若除包含多個視點的圖像信號的多視點圖像信號外還使用包含多個視點的深度信號的多視點深度信號，則能夠在解碼側(cè)生成高精度的虛擬視點的圖像信號。此外，若使用視點間間隔較密的多視點圖像信號和與該各視點圖像信號分別對應(yīng)的多視點深度信號，則能夠在解碼側(cè)生成更高精度的虛擬視點的圖像信號。但是，若設(shè)定的視點數(shù)過多，則位率(bit rate)變高，傳送效率或存儲效率會降低。因此，需要考慮對象應(yīng)用的傳輸率或存儲介質(zhì)的容量，針對多視點圖像信號和多視點深度信號分別適當(dāng)決定應(yīng)編碼的視點。此時，要被編碼的多視點圖像信號和深度信號各自的視點并不一定要一一對應(yīng)， 多視點圖像信號和多視點深度信號可以被編碼不同視點的信號。此時，能夠更靈活地進(jìn)行編碼。例如，即使需要將實際拍攝得到的圖像信號全部編碼、傳送或存儲，若虛擬視點的圖像信號的生成較容易，則也可以較少地設(shè)定要編碼的深度信號的視點。此時，能夠生成更高效的編碼流。這里，所謂虛擬視點的圖像信號的生成較容易，是指要被編碼的多視點圖像信號的視點間間隔足夠密時，或內(nèi)容中所包含的被攝物體彼此的深度差很小時等。接下來，說明在實施方式1的圖像編碼裝置100中被編碼而生成的編碼流。圖10是表示要進(jìn)行編碼的、包含來自五視點(視點0、視點1、視點2、視點3及視點4)的圖像IS的多視點圖像，以及包含來自三視點(視點0、視點2及視點4)的深度DS 的多視點深度圖的圖?？v軸表示視點方向，橫軸表示時間方向。另外，假定視點0為上述基礎(chǔ)視點。在MVC編碼方式中，基礎(chǔ)視點是能夠不依賴于其它視點地編碼或解碼的視點。在多視點圖像的一個序列整體中，僅一個視點被設(shè)定為基礎(chǔ)視點。即，基礎(chǔ)視點的圖像能夠不使用其它視點的圖像作為視點間預(yù)測的參照圖像地單獨(dú)被編碼或解碼。此外，非基礎(chǔ)視點 (即基礎(chǔ)視點以外的視點)的圖像是能夠使用其它視點的圖像作為視點間預(yù)測的參照圖像來被編碼或解碼的。在以下的說明中，闡述對圖10所示的多視點圖像和多視點深度圖進(jìn)行編碼的情況。圖11是表示以NAL單元單位來表現(xiàn)實施方式1的圖像編碼裝置100所生成的編碼流的例子的圖。一個四邊形的塊相當(dāng)于一個NAL單元。NAL單元包括作為頭部的NAL單元頭，和除該NAL單元頭外的純數(shù)據(jù)的RBSP (Raw Byte Sequence I^ayload 原始字節(jié)序列載荷)。各個NAL單元的頭部中包含有常值為“0”的標(biāo)志(即〃 forbidden.zero.bit")、 用于區(qū)分是否包含有SPS、PPS或成為參照圖像的片段的識別符(即〃 nal_ref_idC")、以及用于區(qū)分NAL單元的種類的識別符(即"nal_imit_type")。圖12是表示AVC/H. 264編碼方式所規(guī)定的NAL單元的種類的圖。在解碼側(cè)，能夠通過參照包含在NAL單元的頭部中的用于區(qū)分NAL單元的種類的識別符"nal_imit_ type"，來識別NAL單元種類。SPS#A在圖11所示的編碼流中，首先生成SPS#A的NAL單元。SPS#A中被設(shè)定基礎(chǔ)視點的圖像信號(圖10中為視點0的圖像的信號)的關(guān)于序列整體的編碼的信息。SPS#A的 NAL單元頭中所包含的表示NAL單元的種類的"nal_imit_type"的值被設(shè)定為表示是SPS 的“7”(參照圖12)。圖13是表示SPS的NAL單元的結(jié)構(gòu)的圖。作為SPS的RBSP的〃 seq_parameter_ set.rbsp"包括含有關(guān)于序列整體的編碼的信息的〃 seq_parameter_set_data〃、和附加在 RBSP 最后的用于調(diào)整的位〃 rbsp_trailing_bits"?！?seq_parameter_set_data〃 中包含用于識別配置的"profilejdc"。這里的所謂配置，是指AVC/H. 264編碼方式的語法的子集。例如，通過將SPS#A的〃 profilejdc"的值設(shè)定為“ 100”，就能表示編碼流是遵照AVC/H.264編碼方式的高配置(High Profile)的。此時，就基于遵照高配置的限制，來生成應(yīng)參照SPS#A的后述的NAL單元。進(jìn)而，“seq_parameter_set_data〃中包含有用于識別SPS的、作為確定SPS的唯一編號的〃 seq_parameter_set_id〃，SPS#A的〃 seq_ parameter_set_id〃 內(nèi)被設(shè)定與后述的 SPS#B 和 SPS#C 的〃 seq_parameter_set_id〃 不同的任意值。該基礎(chǔ)視點的圖像信號的SPS中不包含后述的〃 seq_parameter_set_mvc_ extension“seq_parameter_set_mvc_extension“歹白勺IS石馬白勺 MVC 擴(kuò)展{η息。SPS#B接著，生成SPS#B的NAL單元。SPS#B中被設(shè)定除基礎(chǔ)視點以外的其它視點的圖像信號(圖10中為視點1、視點2、視點3及視點4的圖像的信號)的關(guān)于序列整體的編碼的信息。包含在SPS#B WNAL單元頭中的表示NAL單元的種類的"nal_unit_type“的值被設(shè)定為表示是子集SPS的“ 15”，該子集SPS表示是MVC擴(kuò)展的SPS。圖14是表示子集SPS的NAL單元的構(gòu)成的圖。作為子集SPS的RBSP的〃 subset_ seq_parameter_set_rbsp "中，除含有關(guān)于序列整體的編碼的信息的〃 seq_parameter_ set.data"外，還包括含有關(guān)于序列整體的編碼的MVC擴(kuò)展信息的‘‘Seq_parameter_Set_ mvc_extension_rbsp "。SPS#B 的〃 profile_idc〃 的值被設(shè)定為表示 AVC/H. 264 編碼方式的多視角高配置(Multiview High Profile)的“118”。在本說明書中，將與AVC/H. 264 編碼方式的多視角高配置對應(yīng)的編碼方式稱為MVC編碼方式?；谧裾斩嘁暯歉吲渲玫闹葡迊砩蓱?yīng)參照SPS#B的后述的NAL單元。進(jìn)而， SPS#B的〃 seq_parameter_set_id〃被設(shè)定為與上述的SPS#A和后述的SPS#C的〃 seq_ parameter_set_id〃 不同的任意值?！皊eq_parameter_set_mvc_extension_rbsp“中包括要被編碼的圖像信號的視點數(shù)，視點方向的編碼或解碼順序，以及表示在編碼或解碼圖像信號時的視點間預(yù)測時所應(yīng)參照的用于確定視點的視點間依賴關(guān)系的信息。在圖14中，‘‘num_ViewS_minuSl 〃是用于對上述編碼位串設(shè)定上述視點的數(shù)量的參數(shù)，是視點數(shù)減“1”后的值。在圖10的例子中，包含視點0、視點1、視點2、視點3及視點4這五視點的圖像的信號的多視點圖像信號被編碼，所以〃 nUm_ViewS_minUSl"的值被設(shè)定為“4”。接下來，是針對各視點、按視點方向的編碼或解碼順序連續(xù)反復(fù)設(shè)定"view_ id[i]"的構(gòu)造。“View_id[i]"表示以索引i來表示視點方向的編碼或解碼順序時的視點的識別信息(以下稱作視點ID)。S卩，“view_id[i]"表示視點方向的編碼或解碼順序下第i個視點ID。這里，在本說明書中，假定排列的索引(即標(biāo)記)是從0開始的。例如， 排列〃 View_id[i]〃的開頭為viewjdW]，其后為〃 View_id[l]〃。并且，在表達(dá)順序時， 假定最初為第0號，其次為第1號。即，將視點方向上最初被編碼或解碼的視點記為第0號， 將其次被編碼或解碼的視點記為第1號。例如，在按視點0、視點2、視點1、視點4、視點3 的順序進(jìn)行編碼時，“view_idW]"被設(shè)定視點0的視點ID，“ View_id[l]"被設(shè)定視點2的視點ID，“ View_id[2]"被設(shè)定視點1的視點ID，“ View_id[3]“被設(shè)定視點4 的視點ID，‘‘ view_id[4]‘‘被設(shè)定視點3的視點ID。SPS#C接下來，生成SPS#C的NAL單元。SPS#C中被設(shè)定各視點的深度信號的關(guān)于序列整體的編碼的信息。同SPSrn 一樣，SPS#C的NAL單元頭中所包含的表示NAL單元的種類的"nal_imit_type"的值被設(shè)定為表示是子集SPS的“15”，該子集SPS是MVC擴(kuò)展的SPS。 這里，在本實施方式中，將表示是也可解碼多視點深度信號的配置的"profilejdc"的值規(guī)定為“120”。因此，SPS#C的〃 profile.idc"的值被設(shè)定為“ 120”。進(jìn)而，SPS#C的〃 seq_ parameter_set_id〃 被設(shè)定為與上述的SPS#B 的〃 seq_parameter_set_id〃 不同的任意值?！畇eq_parameter_set_mvc_extension_rbsp"中包括要被編碼的深度信號的視點數(shù)、視點方向的編碼或解碼順序、以及用于確定編碼或解碼深度信號時的視點間預(yù)測時所應(yīng)參照的視點的視點間依賴關(guān)系?！?seq_parameter_set_mvc_extension_rbsp "中被與 SPS#B 同樣地設(shè)定參數(shù)， 即，被設(shè)定除基礎(chǔ)視點外的其它視點的圖像信號的、關(guān)于序列整體的編碼的信息。如上所述，在按視點0、視點2、視點4的順序來對包含視點0、視點2、視點4這三個視點的圖像信號的多視點深度信號進(jìn)行編碼時，各參數(shù)的值被如下這樣設(shè)定。首先，將"ruim_VieWS_ minusl “的值設(shè)定為“2”，接著，對〃 vieW_id
〃設(shè)定視點0的視點ID，對〃 view_ id[l]“設(shè)定視點2的視點ID，對"View_id[2]“設(shè)定視點4的視點ID。通過使相同視點的圖像信號和深度信號的視點ID共通化，在解碼側(cè)能夠明確地確定圖像信號的視點與深度信號的視點的對應(yīng)關(guān)系。此外，在本實施方式中，深度信號被與單色格式的圖像一樣地編碼，所以〃 seq_ parameter.set.data"中所包含的表示亮度分量與色差分量之比的色度格式〃 chroma_ format_idc"被設(shè)定為表示單色的“0”。至此，說明了表示是可解碼多視點深度信號的配置的"profile.idc"的值規(guī)定為“ 120”的例子，但只要是已有的〃 profile_idc"的值以外的值，任何值都可以。另外，也可以對子集SPS的NAL單元的RBSP準(zhǔn)備表示是否為深度信號的序列信息的標(biāo)志，并將SPS#C的〃 profilejdc"的值設(shè)為表示多視角高配置的“ 118”。PPS#A接下來，生成PPS#A的NAL單元。PPS#A中被設(shè)定基礎(chǔ)視點的圖像信號(在圖10 的例子中是視點0的圖像的信號)的、關(guān)于圖像整體的編碼的信息。PPS#A&NAL單元頭中所包含的表示NAL單元的種類的"nal_imit_type"的值被設(shè)定為表示是PPS的“8”(參照圖1幻。圖15是表示PPS的NAL單元的構(gòu)成的圖。作為PPS的RBSP的〃 pic_parameter_ set_rbsp〃中，包含有用于識別PPS的、作為確定PPS的唯一編號的pic_parameter_set_ id"。PPS#A 的"pic_parameter_set_id〃 中被設(shè)定與后述的 PPS#B 和 PPS#C 的〃 pic_ parameter_set_id ‘‘不同的任意值。進(jìn)而，作為 PPS 的 RBSP 的‘‘pic_parameter_set_ rbsp "中包含有用于確定應(yīng)參照的SPS的編號、即"seq_parameter_set_id〃。PPS#A 的“seq_parameter_set_id “中被設(shè)定 PPS#A 所應(yīng)參照的 SPS#A 的“seq_parameter_ set_id〃 的值。PPS#B接著，生成PPS#B的NAL單元。PPS#B中被設(shè)定除基礎(chǔ)視點外的其它視點的圖像信號(在此是圖10中的視點1和視點2的圖像的信號)的、關(guān)于整體的編碼的信息。同 PPS#A 一樣，PPS#B的NAL單元頭中所包含的表示NAL單元的種類的〃 nal_unit_type 〃的值被設(shè)定為表示是PPS的“8”。PPS#B 的〃 pic_parameter_set_id〃 中被設(shè)定與上述的 PPS#A 和后述的 PPS#C 的"pic_parameter_set_id"不同的任意值。進(jìn)而，PPS#B 的"seq_parameter_set_id" 中被設(shè)定PPS#B所應(yīng)參照的SPS#B的〃 seq_parameter_set_id〃的值。PPS#C接著，生成PPS#C&NAL單元。PPS#C中被設(shè)定各視點的深度信號的圖像信息。同 PPS#A和PPS#B —樣，PPS#C的NAL單元頭中所包含的表示NAL單元的種類的〃 nal_unit_ type"的值被設(shè)定為表示是PPS的“8，，。PPS#C的〃 piC_parameter_set_id〃被設(shè)定為與上述的 PPS#A*PPS#B 的〃 pic_parameter_set_id〃 不同的任意值。進(jìn)而，PPS#C 的〃 seq_ parameter_set_id〃 中被設(shè)定 PPS#C 所應(yīng)參照的 SPS#C 的〃 seq_parameter_set_id 〃 的值。
攝像機(jī)參數(shù)信息接下來，生成攝像機(jī)參數(shù)信息#0的NAL單元。該攝像機(jī)參數(shù)信息中包括內(nèi)部參數(shù)信息和外部參數(shù)信息。內(nèi)部參數(shù)信息是各視點的攝像機(jī)固有的信息，包括從各視點拍攝所使用的攝像機(jī)的焦點距離、主點、徑向畸變(即從主點向放射方向的透鏡畸變)這樣的系數(shù)。外部參數(shù)信息包括各視點的攝像機(jī)的配置信息。該配置信息可以用三維空間上的位置 (x、y、z坐標(biāo))或三軸(x、y、z軸)上的旋轉(zhuǎn)角度(俯仰、偏轉(zhuǎn)、轉(zhuǎn)動)來表示。攝像機(jī)參數(shù)信息被按各自的時間來編碼。例如，攝像機(jī)參數(shù)信息#0是后述的片段 _0至片段#B30的圖像拍攝所使用的攝像機(jī)參數(shù)信息。該攝像機(jī)參數(shù)信息被作為補(bǔ)充增強(qiáng)信息的一種、即〃 Multiview acqisition information SEI “來編碼。攝像機(jī)參數(shù)信息 #0的NAL單元頭中所包含的表示NAL單元的種類的"nal_imit_type"的值被設(shè)定為表示是SEI的“6”(參照圖12)。攝像機(jī)參數(shù)信息并非對以VCL編碼的數(shù)據(jù)進(jìn)行解碼所直接必要的參數(shù)，但在解碼后的虛擬視點的生成及顯示時被使用。前綴NAL 單元 #A00接著，生成前綴NAL單元#A00。前綴NAL單元是用于對前綴NAL單元后面的片段 NAL單元的視點信息進(jìn)行編碼的NAL單元。前綴NAL單元#A00的NAL單元頭中所包含的表示NAL單元的種類的"nal_imit_type"的值被設(shè)定為表示是前綴NAL單元的“ 14”(參照圖⑵。圖16是表示前綴NAL單元的構(gòu)成的圖。在作為前綴NAL單元的頭部的NAL單元頭中，除"forbidden_zero_bit〃 和〃 nal_ref_idc、nal_unit_type〃 外還包含有〃 nal_ unit_header_svc_mvc_extension“ 。i亥〃 nal_unit_header_svc_mvc_extension〃 中被設(shè)定前綴NAL單元后續(xù)的片段NAL單元的視點信息。圖11的前綴NAL單元#A00的"nal_ unit_header_svc_mvc_extension"中被設(shè)定后續(xù)的片段NAL單元#A00的視點信息。在前綴 NAL 單元的〃 nal_unit_header_svc_mvc_extension 〃 中，作為視點信息之一，包括用于識別后續(xù)片段NAL單元的視點的、作為確定視點的唯一編號的"view_ id"。前綴NAL單元#A00的〃 viewjd"中被設(shè)定表示視點0的值。在此，對該視點0 的〃 View_id〃規(guī)定與其它視點、即視點1、視點2、視點3、視點4的〃 View_id〃不同的值。 該前綴NAL單元_0的“View_id〃被用作后續(xù)的視點0的片段NAL單元_0的“view_ id"。另外，在MVC方式中，作為前綴NAL單元的RBSP的"prefix_nal_unit_rbsp〃中沒有定義任何數(shù)據(jù)，是空的。即，在MVC方式下，前綴NAL單元的RBSP中不被設(shè)定數(shù)據(jù)。片段 NAL 單元 #A00接著，生成片段NAL單元#A00。片段NAL單元#A00中被按片段單位設(shè)定作為基礎(chǔ)視點的視點0的圖像信號。在此，基礎(chǔ)視點的片段是作為VCL的NAL單元而生成的，該NAL 單元中，表示NAL單元的種類的〃 nal.unit.type"為“1”或“5”(參照圖12)。另外，基礎(chǔ)視點的圖像信號的序列的起始的圖像被作為IDR圖像而編碼，其后續(xù)的圖像被作為非IDR 圖像而編碼。由于片段NAL單元#A00是序列的起始的片段，所以片段NAL單元#A00的NAL單元頭中所包含的表示NAL單元的種類的"nal_imit_type"的值被設(shè)定為表示是IDR圖像的被編碼后片段的“5”(圖12參照)。在圖11的例子中，是將一個圖像作為一個片段來編碼的，但也可以將一個圖像分割成多個片段來編碼。
圖17是表示"nal.unit.type"的值為“ 1 ”或“5”的片段NAL單元的構(gòu)成的圖。 由于〃 nal.unit.type"的值為“ 1 ”或“5”的片段NAL單元的NAL單元頭中不包含〃 nal_ unit_header_svc_mvc_extension"，所以不被設(shè)定視點信息。因此，使用之前已被編碼的前綴NAL單元的〃 nal_unit_header_svc_mvc_extension〃中所被設(shè)定的視點信息。即，將前綴NAL單元#A00的〃 nal_unit_header_svc_mvc_extension〃中所被設(shè)定的視點信息作為片段NAL單元#A00的視點信息。進(jìn)而，丨‘nal_Unit_type “的值為“1”或“5”的片段NAL單元的RBSP—— “slice_layer_without_partitioning_rbsp “中，包含"slice_header “、“ slice_ data"及〃 rbsp_slice_trailing_bits〃?！?slice_header〃 包含關(guān)于片段的編碼的信息。"slice_data"包含片段內(nèi)的圖像信號被編碼而得到的編碼模式、運(yùn)動矢量、編碼殘差信號等編碼數(shù)據(jù)?！皉bSp_Slice_trailing_bitS"是用于調(diào)整的位。“ slice_header〃中包括用于確定應(yīng)參照的PPS的編號——“pic_parameter_ set_id “。片段 NAL 單元 #A00 的“pic_parameter_set_id “中被設(shè)定片段 NAL 單元 #A00 所應(yīng)參照的 PPS#A 的〃 pic_parameter_set_id〃 的值。另外，由于 PPS#A 的〃 seq_ parameter_set_id〃 中被設(shè)定有 PPS#A 所應(yīng)參照的 SPS#A 的〃 seq_parameter_set_id〃 的值，所以能夠明確地確定片段NAL單元#A00所應(yīng)參照的序列信息是SPSM0片段 NAL 單元 #B20接下來，生成片段NAL單元1#B20。片段NAL單元#B20中，被按片段單位編碼作為非基礎(chǔ)視點的視點2的圖像信號。此外，在這里被編碼的是與之前的視點0的片段#A00相同顯示時刻的、視點2的圖像信號的片段。片段NAL單元#B20的NAL單元頭中所包含的表示NAL單元的種類的"nal_imit_type"的值被設(shè)定為表示基礎(chǔ)視點以外的被編碼后片段的“20”(參照圖12)。圖18是表示〃 nal_imit_type “的值為“20”的片段NAL單元的構(gòu)成的圖。作為〃 nal_imit_type 〃的值為“20”的片段NAL單元的頭部的NAL單元頭中， 除〃 forbidden_zero_bit〃 和〃 nal_ref_idc、nal_unit_type〃 外，還包括〃 nal_unit_ header_svc_mvc_extension “ 。 i亥〃 nal_unit_header_svc_mvc_extension “中被設(shè)定該片段NAL單元的視點信息?！皀al_unit_type"的值為“20”的片段NAL單元的〃 nal_ unit_header_svc_mvc_extension "中，作為視點信息之一，包括用于識別該片段NAL單元的視點的、作為確定視點的唯一編號的〃 view.id"。片段NAL單元#B20的〃 view.id" 中被設(shè)定表示視點2的值。這里，該視點2的〃 View_id〃取與其它視點、即視點0、視點1、 視點3、視點4的〃 View_id〃不同的值。進(jìn)而，作為nal_unit_type的值為“20”的片段NAL單元的RBSP的〃 slice_ layer_in_scalable_extension_rbsp “中，^llf舌〃 slice_header “ 、 “ slice_data “ 以及〃 rbsp_slice_trailing_bits 〃?！?slice_header 〃 包括關(guān)于片段的編碼的信息?！皊liCe_data"包括片段內(nèi)的圖像信號被編碼而得到的編碼模式、運(yùn)動矢量或視差矢量、編碼殘差信號等編碼數(shù)據(jù)。‘‘rbSp_Slice_trailing_bitS"是用于調(diào)整的位?！皊lice_header〃中包括用于確定應(yīng)參照的PPS的編號、S卩"pic_parameter_set_ id"。片段NAL單元#B20的〃 pic_parameter_set_id〃中被設(shè)定片段NAL單元#B20所應(yīng)參照的 PPS#B 的"pic_parameter_set_id"的值。另夕卜，由于 PPS#B 的"seq_parameter_set_id〃中設(shè)定有PPS#B所應(yīng)參照的SPS#B的〃 seq_parameter_set_id〃的值，所以能夠容易地辨別出片段NAL單元#B20所應(yīng)參照的序列信息是SPS#B。片段 NAL 單元 #B10接下來，以與片段NAL單元#B20同樣的方法依次生成片段NAL單元#B10、#B40、 #B30。片段NAL單元#B10中被按片段單位設(shè)定作為非基礎(chǔ)視點的視點1的圖像信號，片段NAL單元#B40中被按片段單位設(shè)定作為非基礎(chǔ)視點的視點4的圖像信號，片段NAL單元 #B30中被按片段單位設(shè)定作為非基礎(chǔ)視點的視點3的圖像信號。另外，這里被編碼的是與之前視點0的片段#A00及視點2的片段#B20相同顯示時刻的視點1、視點4、視點3的片段單位的圖像信號。同片段NAL單元#B20 —樣，片段NAL 單元#B10、#40、#30的NAL單元頭中所包含的表示NAL單元的種類〃 nal_unit_type 〃的值被設(shè)定為表示基礎(chǔ)視點以外的被編碼后片段的“20”(參照圖12)。片段NAL單元#B10 的〃 viewjd"中被設(shè)定表示視點1的值，片段NAL單元#B40的〃 viewjd"中被設(shè)定表示視點4的值，片段NAL單元#B30的"viewjd"中被設(shè)定表示視點3的值。在此，各個視點的"View_id"中分別被設(shè)定不同于其它視點的"View_id"的值。片段NAL 單元 #B10、#B40、#B30 的〃 pic_parameter_set_id 〃 中分別被設(shè)定片段 NAL 單元 #B10、#B40、#B30 所應(yīng)參照的 PPS#B〃 pic_parameter_set_id〃 的值。此夕卜， 由于PPS#B的〃 seq_parameter_set_id〃中被設(shè)定有PPS#B所應(yīng)參照的SPS#B的〃 seq_ parameter_set_id 〃的值，所以能夠明確地確定片段NAL單元#B 10、#B40、#B30所應(yīng)參照的序列信息是SPS#B。片段 NAL 單元 #C00接下來，生成片段NAL單元#C00。片段NAL單元#C00中被按片段單位設(shè)定與視點 0的圖像信號的片段NAL單元#A00對應(yīng)的深度信號。這里，在本實施方式中，將表示是被設(shè)定有深度信號的片段NAL單元的"nal_imit_type"的值規(guī)定為“21”。因此，片段NAL單元#C00的NAL單元頭中所包含的表示NAL單元的種類的"nal_imit_type "的值被設(shè)定為 “21”。在被設(shè)定有深度信號的片段NAL單元的"nal_imit_type "中，不使用已有的"nal_imit_type"的值，而是設(shè)定為“21”，由此，能夠確保與以往的不解碼深度信號的 MVC方式的兼容性。即，這是因為在用以往的不解碼深度信號的MVC方式的解碼器來解碼上述編碼位串時，通過忽略〃 nal_unit_type〃的值為“21”的NAL單元來進(jìn)行解碼，就能夠正常地僅解碼圖像信號。另外，在這里是將表示是被編碼有深度信號的片段的〃 nal_unit_ type"值規(guī)定為“21”的，但也可以使用為將來的擴(kuò)展而預(yù)約的“16”、“17”、“18”、“22”或 “23”等其它值。進(jìn)而，與圖18所示結(jié)構(gòu)同樣地規(guī)定〃 nal_imit_type〃的值為“21 ”的片段NAL單元的結(jié)構(gòu)。即，使得作為"nal_imit_type"值為“21 ”的片段NAL單元的頭部的NAL單元頭中，除〃 forbidden_zero_bit〃、“ nal_ref_idc“、“ nal_unit_type〃外還包含〃 nal_ unit_header_svc_mvc_extension“。片段NAL單元#C00的“viewjd"被設(shè)定表示視點0的值。該片段NAL單元#C00 的"viewjd"的值，是與片段NAL單元#C00所對應(yīng)的片段單元#A00的被設(shè)定視點信息的前綴NAL單元#A00的“viewjd"相等的值。
進(jìn)而，作為"nal_unit_type〃值為 “21” 的片段 NAL 單元的 RBSP 的〃 slice, layer_in_scalable_extension_rbsp “中，〃 slice_header “ 、 “ slice_data “、 以及〃 rbsp_slice_trailing_bits 〃。“ slice_header “包含關(guān)于片段的編碼的信息?！皊liCe_data"包括片段內(nèi)的深度信號被編碼而得到的編碼模式、運(yùn)動矢量或視差矢量、編碼殘差信號等編碼數(shù)據(jù)?！畆bSp_Slice_trailing_bitS"是用于調(diào)整的位。“ slice_header〃中包含用于確定應(yīng)參照的PPS的編號，S卩〃 pic_parameter_ set_id〃。片段 NAL 單元 #C00 的〃 pic_parameter_set_id 〃 中被設(shè)定片段 NAL 單元 #C00 所應(yīng)參照的 PPS#C 的〃 pic_parameter_set_id〃 的值。另外，由于 PPS#C 的〃 seq_ parameter_set_id〃 中被設(shè)定有 PPS#C 所應(yīng)參照的 SPS#C 的〃 seq_parameter_set_id〃 的值，所以能夠明確地確定片段NAL單元#C00所應(yīng)參照的序列信息是SPS#C。片段 NAL 單元 #C20接下來，以與片段NAL單元#C00同樣的方法依次生成片段NAL單元#C20、#C40。 片段NAL單元#C20中被按片段單位設(shè)定與視點2的圖像信號對應(yīng)的視點2的深度信號，片段NAL單元#C40中被按片段單位設(shè)定與視點4的圖像信號對應(yīng)的視點4的深度信號。同片段NAL單元#C00 一樣，片段NAL單元#C20、#40的NAL單元頭中所包含的表示NAL單元的種類的〃 nal_imit_type〃值被設(shè)定為“21”。對片段NAL單元#C20的view_id設(shè)定表示視點2的值，對片段NAL單元#C40的 view_id設(shè)定表示視點4的值。該片段NAL單元#C20的viewjd的值是與片段NAL單元 #C20所對應(yīng)的片段單元#B20的view_id相等的值，片段NAL單元#C40的view_id的值是與片段NAL單元#C40所對應(yīng)的片段單元#B40的viewjd相等的值。片段NAL 單元 #C20、#40 的“pic_parameter_set_id “中被設(shè)定片段 NAL 單元 #C20、#C40 所應(yīng)參照的 PPS#C 的“pic_parameter_set_id〃 的值。此外，由于 PPS#C 的“seq_parameter_set_id 〃 中已設(shè)定有 PPS#C 所應(yīng)參照的 SPS#C 的“seq_parameter_ set_id"的值，所以能夠明確地確定片段NAL單元#C20、#40所應(yīng)參照的序列信息是SPS#C。片段NAL單元#C40之后的攝像機(jī)參數(shù)信息的NAL單元#A1以后的NAL單元也被同攝像機(jī)參數(shù)信息#0至片段NAL單元#C40—樣地生成。前綴NAL單元#A01中，被以與前綴NAL單元#A00同樣的方法設(shè)定后續(xù)的片段#A01的視點信息。在片段NAL單元#A01中，被以與片段NAL單元#A00同樣的方法，按片段單位，設(shè)定片段NAL單元#A00中所設(shè)定的圖像信號的編碼或解碼順序下的下一個圖像信號。片段 NAL單元#A01的NAL單元頭中所包含的表示NAL單元的種類的〃 nal_unit_type 〃的值被設(shè)定為表示是非IDR圖像的被編碼后片段的“1” (參照圖12)。在片段NAL單元#B21、#B11、#B41、#B31中，分別以與片段NAL單元#B20、#B10等同樣的方法，按片段單位，針對在片段NAL單元#B20、#B10、#B40、#B30中所設(shè)定的圖像信號的各視點中編碼或解碼順序下接下來的圖像信號進(jìn)行編碼。在片段NAL單元#C01、#C21、 #C41中，以與片段NAL單元#C00、#C20、#C40同樣的方法，按片段單位，針對在片段NAL單元#C00、#C20、#C40中所設(shè)定的深度信號的各視點中編碼或解碼順序下接下來的深度信號分別進(jìn)行編碼?；氐綀D1、圖3，更具體地說明實施方式1的圖像編碼裝置IOOUOOa的構(gòu)成。編碼管理部101被從外部或未圖示的編碼管理信息保持部提供編碼管理信息。編碼管理部101根據(jù)需要而新計算參數(shù)。編碼管理部101對包含(a)與圖像信號的序列整體相關(guān)的參數(shù)信息(即圖像信號的SPS)、(b)與深度信號的序列整體相關(guān)的參數(shù)信息(即深度信號的SPS)、(c)與圖像信號的圖像相關(guān)的參數(shù)信息(即圖像信號PPS)、(d)與深度信號的圖像相關(guān)的參數(shù)信息(即深度信號的PPS)、(e)與圖像信號的圖像的片段相關(guān)的頭信息(即圖像信號的片段頭)、(f)與深度信號的圖像的片段相關(guān)的頭信息(即深度信號的片段頭)等的關(guān)于編碼的信息進(jìn)行管理。并且，編碼管理部101還對多視點圖像信號和多視點深度信號的視點信息、編碼對象圖像的參照依賴關(guān)系、以及編碼或解碼順序進(jìn)行管理。作為上述視點信息，編碼管理部 101根據(jù)視點ID來管理各視點的圖像信號和深度信號的對應(yīng)關(guān)系。作為上述參照依賴關(guān)系，編碼管理部101按視點單位來對是否參照其它視點的圖像信號或深度信號進(jìn)行管理。另外，作為上述參照依賴關(guān)系，編碼管理部101還按圖像或片段單位來管理是否在對編碼對象圖像信號或編碼對象深度信號進(jìn)行編碼時進(jìn)行將其它視點的圖像信號或深度信號用作參照圖像的視點間預(yù)測(例如視差補(bǔ)償預(yù)測)。此外，作為上述參照依賴關(guān)系，編碼管理部101還管理在編碼對象圖像信號或編碼對象深度信號被編碼后，編碼側(cè)解碼而得到的解碼圖像信號或解碼深度信號是否被用作對其它視點的編碼對象圖像信號或編碼對象深度信號進(jìn)行編碼時的參照圖像。并且，作為上述參照依賴關(guān)系，編碼管理部101還對從多個參照圖像的候選中應(yīng)參照哪個參照圖像進(jìn)行管理。另外，作為上述編碼或解碼順序，編碼管理部101進(jìn)行管理使得在解碼側(cè)，基于上述參照依賴關(guān)系的解碼對象圖像信號的解碼順序位于該圖像信號所應(yīng)參照的參照圖像的解碼順序之后。另外，作為上述編碼或解碼順序，編碼管理部101進(jìn)行管理使得將圖像信號和深度信號編碼成適于同一時刻的各視點的圖像信號和深度信號在被解碼后同時輸出的順序。圖像信號用序列信息編碼部102對編碼管理部101所管理的基礎(chǔ)視點的圖像信號的與序列整體相關(guān)的參數(shù)信息(即基礎(chǔ)視點的圖像信號的SPQ進(jìn)行編碼，生成編碼位串。 該編碼位串相當(dāng)于圖11所示的編碼位串整體的SPS#A的RBSP部。如上所述，基礎(chǔ)視點的圖像信號的SPS被按照圖13所示的RBSP——“seq_parameter_set_rbsp〃的語法構(gòu)造來編碼。進(jìn)而，圖像信號用序列信息編碼部102對編碼管理部101所管理的非基礎(chǔ)視點的圖像信號的與序列整體相關(guān)的參數(shù)信息(即非基礎(chǔ)視點的圖像信號的SPQ進(jìn)行編碼，生成編碼位串。該編碼位串相當(dāng)于圖11所示的編碼位串整體的SPSrn的RBSP部。如上所述， 非基礎(chǔ)視點的圖像信號用的SPS被按照圖14所示的RBSP——“subset_seq_parameter_ set_id"的語法構(gòu)造來編碼。在這里，按照圖14所示的語法構(gòu)造，SPS的MVC擴(kuò)展信息也被編碼。深度信號用序列信息編碼部103對編碼管理部101所管理的深度信號的與序列整體相關(guān)的參數(shù)信息(即深度信號的SPQ進(jìn)行編碼，生成編碼位串。該編碼位串相當(dāng)于圖11 所示的編碼位串整體的SPSC的RBSP部。如上所述，深度信號的SPS被按照圖14所示的RBSP——“subset_seq_parameter_set_rbsp“的語法構(gòu)造來編碼。在這里，按照圖14所示的語法構(gòu)造，SPS的MVC擴(kuò)展信息也被編碼。圖像信號用圖像信息編碼部104對編碼管理部101所管理的圖像信號的與圖像相關(guān)的信息(即圖像信號的PPS)進(jìn)行編碼，生成編碼位串。該編碼位串相當(dāng)于圖11所示的編碼位串整體的PPS#A和PPS#B的RBSP部。如上所述，基礎(chǔ)視點的圖像信號的PPS和非基礎(chǔ)視點的圖像信號的PPS分別被按照圖15所示的RBSP——“pic_parameter_set_rbsp〃 的語法構(gòu)造來編碼。深度信號用圖像信息編碼部105對編碼管理部101所管理的深度信號的與圖像相關(guān)的信息(即深度信號的PPS)進(jìn)行編碼，生成編碼位串。該編碼位串相當(dāng)于圖11所示的編碼位串整體的PPS#C的RBSP部。如上所述，深度信號的PPS被按照圖15所示的 RBSP-“ pic_parameter_set_rbsp“的語法構(gòu)造來編碼。攝像機(jī)參數(shù)信息編碼部106將各視點的拍攝所使用的攝像機(jī)的參數(shù)信息作為SEI 來進(jìn)行編碼，生成編碼位串。在此，該攝像機(jī)參數(shù)信息中包括內(nèi)部參數(shù)信息和外部參數(shù)信息。內(nèi)部參數(shù)信息是各視點的攝像機(jī)固有的信息，包括從各視點拍攝時所使用的攝像機(jī)的焦點距離、主點、徑向畸變(即從主點向放射方向的透鏡畸變)這樣的系數(shù)。外部參數(shù)信息包括各視點的攝像機(jī)的配置信息。該配置信息可以用三維空間上的位置(x、y、z坐標(biāo))或三軸(x、y、z軸)上的旋轉(zhuǎn)角度(俯仰、偏轉(zhuǎn)、轉(zhuǎn)動)來表現(xiàn)。圖像信號編碼部107被提供各視點的圖像信號。在圖10的例子中，被提供給圖像信號編碼部107的圖像信號是視點0、視點1、視點2、視點3及視點4的圖像的信號。圖像信號編碼部107按片段單位對編碼管理部101所管理的圖像信號的與片段相關(guān)的信息(即圖像信號的片段頭)、以及被提供的編碼對象的圖像信號進(jìn)行編碼，生成編碼流。該編碼流相當(dāng)于圖11所示的編碼流整體的片段#A00、#B20、#B10、#B40、#B30、 #A01、#B21、#B11、#B41、#B31的RBSP部。如上所述，基礎(chǔ)視點的圖像信號的片段頭和被提供的編碼對象的基礎(chǔ)視點的片段單位的圖像信號分別被按照圖17所示的RBSP——“slice, layer_without_partitioning_rbsp〃的語法構(gòu)造來編碼。更具體來說，上述基礎(chǔ)視點的片段單位的圖像信號經(jīng)過幀內(nèi)預(yù)測編碼、幀間預(yù)測編碼、正交變換、量子化、熵編碼(entropy coding)等處理而被編碼。另外，非基礎(chǔ)視點的圖像信號的片段頭和被提供的編碼對象的非基礎(chǔ)視點的片段單位的圖像信號分別被按照圖18所示的RBSP——“slice_layer_in_scalable_ extension_rbsp"的語法構(gòu)造來編碼。在對圖像信號進(jìn)行編碼時，有時會使用視點間預(yù)測或運(yùn)動補(bǔ)償預(yù)測，此時，可以將從已被編碼的圖像信號的圖像局部解碼出的圖像信號作為參照圖像來使用。深度信號編碼部108被提供各視點的深度信號。在圖10的例子中，被提供給深度信號編碼部108的深度信號是視點0、視點2、視點4的深度圖的信號。深度信號編碼部108 按片段單位對編碼管理部101所管理的深度信號的與片段相關(guān)的信息(即深度信號的片段頭)、以及被提供的編碼對象的深度信號進(jìn)行編碼，生成編碼流。該編碼位串相當(dāng)于圖11所示的編碼位串整體的片段#C00、#C20、#C40、#C01、 #C21、#C41的RBSP部。如上所述，深度信號的片段頭和被提供的編碼對象的片段單位的深度信號分別被按照圖 18 所示的 RBSP-“ slice_layer_in_scalable_extension_rbsp〃的語法構(gòu)造來編碼。在對深度信號進(jìn)行編碼時，可以使用視點間預(yù)測或運(yùn)動補(bǔ)償預(yù)測，此時可以將從已被編碼的深度信號的圖像局部解碼出的深度信號作為參照圖像來使用。作為深度信號的編碼方法，可以采用與灰階(gray scale)的圖像信號時相同的方法。單元化部109通過對(a)圖像信號用序列信息編碼部102所生成的、基礎(chǔ)視點的圖像信號的、序列信息的編碼位串、(b)圖像信號用序列信息編碼部102所生成的、非基礎(chǔ)視點的圖像信號的、序列信息的編碼位串、(c)深度信號用序列信息編碼部103所生成的、深度信號的序列信息的編碼位串、(d)圖像信號用圖像信息編碼部104所生成的、基礎(chǔ)視點的圖像信號的、圖像信息的編碼位串、(e)圖像信號用圖像信息編碼部104所生成的、非基礎(chǔ)視點的圖像信號的、圖像信息的編碼位串、(f)深度信號用圖像信息編碼部105所生成的、深度信號的圖像信息的編碼位串、(g)攝像機(jī)參數(shù)信息編碼部106所生成的攝像機(jī)參數(shù)信息的編碼位串、(h)圖像信號編碼部107所生成的、基礎(chǔ)視點的圖像信號的與片段相關(guān)的信息(即基礎(chǔ)視點的圖像信號的片段頭)以及基礎(chǔ)視點的片段單位的圖像信號的編碼位串、(i)圖像信號編碼部107所生成的、非基礎(chǔ)視點的圖像信號的與片段相關(guān)的信息 (即非基礎(chǔ)視點的圖像信號的片段頭)以及非基礎(chǔ)視點的片段單位的圖像信號的編碼位串、以及(j)深度信號編碼部108所生成的、深度信號用的與片段相關(guān)的信息(即深度信號的片段頭)以及片段單位的深度信號的編碼位串分別附加用于以NAL單元單位來操作各編碼位串的頭信息、即NAL單元頭，來分別進(jìn)行NAL單元化。進(jìn)而，單元化部109根據(jù)需要將NAL單元化了的各個編碼位串復(fù)用，生成圖11 所示的多視點圖像的編碼位串。在該編碼位串被通過網(wǎng)絡(luò)傳輸時，未圖示的打包部基于 MPEG-2系統(tǒng)方式、MP4文件格式、RTP等標(biāo)準(zhǔn)進(jìn)行打包。未圖示的發(fā)送部將該被打包了的編碼位串發(fā)送出去。在此，從圖像信號用序列信息編碼部102供給的、基礎(chǔ)視點的圖像信號的、序列信息的編碼位串中，被附加圖13所示的NAL單元頭。這里，表示NAL單元的種類的"nal_ unit_type"的值被設(shè)定為表示是SPS的“7”。被附加了該NAL單元頭的編碼位串相當(dāng)于圖11所示的編碼位串的SPS#A WNAL單元。另外，非基礎(chǔ)視點的圖像信號的、序列信息的編碼位串中，被附加圖14所示的NAL單元頭。這里，表示NAL單元的種類的〃 nal_imit_ type"的值被設(shè)定為表示是子集SPS的“15”，該子集SPS是MVC擴(kuò)展的SPS。被附加了該 NAL單元頭的編碼位串相當(dāng)于圖11所示的編碼位串整體的SPSm的NAL單元。從深度信號用序列信息編碼部103供給的、深度信號的序列信息的編碼位串中， 被附加圖14所示的NAL單元頭。這里，表示NAL單元的種類的〃 nal_imit_type〃的值被設(shè)定為表示是子集SPS的“ 15”，該子集SPS是MVC擴(kuò)展的SPS。被附加了該NAL單元頭的編碼位串相當(dāng)于圖11所示的編碼位串整體的SPS#C的NAL單元。
從圖像信號用圖像信息編碼部104供給的、基礎(chǔ)視點的圖像信號的、圖像信息的編碼位串中，被附加圖15所示的NAL單元頭。這里，表示NAL單元的種類的〃 nal_imit_ type"的值被設(shè)定為表示是PPS的“8”。被附加了該NAL單元頭的編碼位串相當(dāng)于圖11所示的編碼位串整體的PPS#A WNAL單元。另外，非基礎(chǔ)視點的圖像信號的圖像信息的編碼位串中，也被附加圖15所示的NAL單元頭。這里，表示NAL單元的種類的〃 nal_imit_type 〃 的值被設(shè)定為表示是PPS的“8”。被附加了該NAL單元頭的編碼位串相當(dāng)于圖11所示的編碼位串整體的PPS#B的NAL單元。從深度信號用圖像信息編碼部105供給的、深度信號的圖像信息的編碼位串中， 也被附加圖15所示的NAL單元頭。這里，表示NAL單元的種類的〃 nal_imit_type〃的值被設(shè)定為表示是PPS的“8”。被附加了該NAL單元頭的編碼位串相當(dāng)于圖11所示的編碼位串整體的PPS#C的NAL單元。從攝像機(jī)參數(shù)信息編碼部106供給的攝像機(jī)參數(shù)信息的編碼位串中，被附加SEI 用的NAL單元頭。這里，表示NAL單元的種類的〃 nal_imit_type〃的值被設(shè)定為表示是 SEI的“6”。被附加了該單元頭的編碼位串相當(dāng)于圖11所示的編碼位串整體的、攝像機(jī)參數(shù)信息#0、#1的NAL單元。從圖像信號編碼部107供給的、包含被編碼后的基礎(chǔ)視點的圖像信號的片段頭信息和被編碼后的基礎(chǔ)視點的圖像信號的編碼位串中，被附加圖17所示的NAL單元頭。這里， 表示NAL單元的種類的"nal_imit_type"的值被設(shè)定為表示是基礎(chǔ)視點的圖像信號的片段的“1”或“5”。被附加了該NAL單元頭的編碼位串相當(dāng)于圖11所示的編碼位串整體的片段 #A00、#A01 的 NAL 單元。在上述基礎(chǔ)視點的圖像信號的片段NAL單元之前，被設(shè)定用于對基礎(chǔ)視點的圖像信號的視點信息進(jìn)行編碼的前綴NAL單元。前綴NAL單元的構(gòu)造如圖16所示，但如上所述在MVC方式下沒有被設(shè)定RBSP，所以僅被設(shè)定圖16所示的NAL單元頭。這里，表示NAL單元的種類的"nal_imit_type"的值被設(shè)定為表示是前綴NAL單元的“ 14”。僅被編碼了該 NAL單元頭的編碼位串相當(dāng)于圖11所示的編碼位串整體的、前綴NAL單元_0、_ 1的NAL 單元。此外，包含被編碼了的非基礎(chǔ)視點的圖像信號的片段頭和被編碼了的非基礎(chǔ)視點的片段單位的圖像信號的編碼位串中，被附加圖18所示的NAL單元頭。在此，表示NAL單元的種類的"nal_imit_type"的值被設(shè)定為表示是非基礎(chǔ)視點的圖像信號的片段的“20”。 被附加了該NAL單元頭的編碼位串相當(dāng)于圖11所示的編碼位串整體的、片段#B20、#B10、 #B40、#B30、#B21、#B 11、#B41、#B31 的 NAL 單元。從深度信號編碼部108供給的、包含被編碼了的深度信號的片段頭和被編碼了的片段單位的深度信號的編碼位串中，被附加圖18所示的NAL單元頭。在此，表示NAL單元的種類的"nal_imit_type"的值被設(shè)定為表示是深度信號的片段的“21”。被附加了該NAL 單元頭的編碼位串相當(dāng)于圖11所示的編碼位串整體的、片段#C00、#C10、#C20、#C01、#C11、 #C21的NAL單元。接下來，說明圖1、3所示的實施方式1的圖像編碼裝置100、IOOa所進(jìn)行的多視點圖像的編碼處理步驟。圖19是表示實施方式1的圖像編碼裝置100、IOOa所進(jìn)行的多視點圖像的編碼處理步驟的流程圖。首先，圖像信號用序列信息編碼部102對基礎(chǔ)視點的圖像信號的、關(guān)于序列整體的編碼的參數(shù)信息進(jìn)行編碼，生成基礎(chǔ)視點的圖像信號的序列信息(即基礎(chǔ)視點的圖像信號的SPS)的編碼位串(SlOl)。接著，單元化部109通過對由步驟SlOl的處理所得到的、基礎(chǔ)視點的圖像信號的序列信息O編碼位串附加用于以NAL單元單位來操作的頭信息，來進(jìn)行NAL單元化(S102)。 進(jìn)而，單元化部109根據(jù)需要而進(jìn)行與其它NAL單元的復(fù)用化。接下來，圖像信號用序列信息編碼部102對非基礎(chǔ)視點的圖像信號的、關(guān)于序列整體的編碼的參數(shù)信息進(jìn)行編碼，生成非基礎(chǔ)視點的圖像信號用的、序列信息(即非基礎(chǔ)視點的圖像信號的SPS)的編碼位串(S103)。接著，單元化部109通過對由步驟S104的處理所得到的、非基礎(chǔ)視點的圖像信號的序列信息的編碼位串附加用于以NAL單元單位來操作的頭信息，來進(jìn)行NAL單元化 (S104)。進(jìn)而，單元化部109根據(jù)需要而進(jìn)行與其它NAL單元的復(fù)用化。接下來，深度信號用序列信息編碼部103對深度信號的關(guān)于序列整體的編碼的參數(shù)信息進(jìn)行編碼，生成深度信號的序列信息(即深度信號的SPQ的編碼位串(S105)。接著，單元化部109通過對由步驟S105的處理所得到的、深度信號的序列信息的編碼位串附加用于以NAL單元單位來操作的頭信息，來進(jìn)行NAL單元化(S106)。進(jìn)而，單元化部109根據(jù)需要而進(jìn)行與其它NAL單元的復(fù)用化。接下來，圖像信號用圖像信息編碼部104對基礎(chǔ)視點的圖像信號的、關(guān)于整體的編碼的參數(shù)信息進(jìn)行編碼，生成基礎(chǔ)視點的圖像信號的圖像信息(即基礎(chǔ)視點的圖像信號的PPS)的編碼位串(S107)。接著，單元化部109通過對由步驟S107的處理所得到的、基礎(chǔ)視點的圖像信號的、 圖像信息的編碼位串附加用于以NAL單元單位來操作的頭信息，來進(jìn)行NAL單元化(S108)。 進(jìn)而，單元化部109根據(jù)需要而進(jìn)行與其它NAL單元的復(fù)用化。接下來，圖像信號用圖像信息編碼部104對非基礎(chǔ)視點的圖像信號的、關(guān)于整體的編碼的參數(shù)信息進(jìn)行編碼，生成非基礎(chǔ)視點的圖像信號的、圖像信息(即非基礎(chǔ)視點的圖像信號的PPS)的編碼位串(S109)。接著，單元化部109通過對由步驟S109的處理所得到的、非基礎(chǔ)視點的圖像信號的、圖像信息的編碼位串附加用于以NAL單元單位來操作的頭信息，來進(jìn)行NAL單元化 (SllO)。進(jìn)而，單元化部109根據(jù)需要而進(jìn)行與其它NAL單元的復(fù)用化。接下來，深度信號用圖像信息編碼部105對深度信號的關(guān)于整體的編碼的參數(shù)信息進(jìn)行編碼，生成深度信號的圖像信息(即深度信號的PPS)的編碼位串(Slll)。接著，單元化部109通過對由步驟Slll的處理所得到的、深度信號的圖像信息的編碼位串附加用于以NAL單元單位來操作的頭信息，來進(jìn)行NAL單元化(S112)。進(jìn)而，單元化部109根據(jù)需要而進(jìn)行與其它NAL單元的復(fù)用化。接下來，攝像機(jī)參數(shù)信息編碼部106將各視點的拍攝所使用的攝像機(jī)的參數(shù)信息編碼成SEI，生成攝像機(jī)參數(shù)信息的編碼位串(S113)。接著，單元化部109通過對步驟S113的處理所得到的攝像機(jī)參數(shù)信息的編碼位串附加用于以NAL單元單位來操作的頭信息，來進(jìn)行NAL單元化(S114)。進(jìn)而，單元化部109 根據(jù)需要而進(jìn)行與其它NAL單元的復(fù)用化。
接下來，單元化部109對包含后續(xù)的NAL單元的視點信息的用于以NAL單元單位來操作的頭信息進(jìn)行編碼，使之成為前綴NAL單元(S115)。這是因為如上所述在MVC方式下RBSP沒有被編碼。進(jìn)而，單元化部109根據(jù)需要而進(jìn)行與其它NAL單元的復(fù)用化。接著，圖像信號編碼部107對基礎(chǔ)視點的圖像信號的與片段相關(guān)的信息(即基礎(chǔ)視點的圖像信號的片段頭)和編碼對象的基礎(chǔ)視點的片段單位的圖像信號進(jìn)行編碼，生成基礎(chǔ)視點的片段單位的圖像信號的編碼位串(S116)。接下來，單元化部109通過對由步驟S116的處理所得到的、基礎(chǔ)視點的片段單位的圖像信號的編碼位串附加用于以NAL單元單位來操作的頭信息，來進(jìn)行NAL單元化 (S117)。進(jìn)而，單元化部109根據(jù)需要而進(jìn)行與其它NAL單元的復(fù)用化。另外，雖然圖19中并未圖示，但在將圖像分割成多個片段來進(jìn)行編碼時，反復(fù)進(jìn)行步驟S116至S117的處理。接著，圖像信號編碼部107對非基礎(chǔ)視點的圖像信號的與片段相關(guān)的信息(即非基礎(chǔ)視點的圖像信號的片段頭)和編碼對象的基礎(chǔ)視點的片段單位的圖像信號進(jìn)行編碼， 生成非基礎(chǔ)視點的片段單位的圖像信號的編碼位串(S118)。接下來，單元化部109通過對由步驟S117的處理所得到的、非基礎(chǔ)視點的片段單位的圖像信號的編碼位串附加用于以NAL單元單位來操作的頭信息，來進(jìn)行NAL單元化 (S119)。進(jìn)而，單元化部109根據(jù)需要而進(jìn)行與其它NAL單元的復(fù)用化。另外，雖然圖19中并未圖示，但在將圖像分割成多個片段來進(jìn)行編碼時，反復(fù)進(jìn)行步驟S118至S119的處理。接著，編碼管理部101判斷在顯示時刻，編碼對象的所有視點的圖像信號的編碼處理是否都已完成(S120)。如果該顯示時刻的圖像信號的編碼處理已完成(S120為Y)，則進(jìn)入步驟S121的處理，如果還未完成(S120為N)，則反復(fù)進(jìn)行步驟S118至步驟S120的編碼處理。接下來，深度信號編碼部108對深度信號的與片段相關(guān)的信息(即深度信號的片段頭)和編碼對象的片段單位的深度信號進(jìn)行編碼，生成深度信號的片段的編碼位串 (S121)。接著，單元化部109通過對步驟S121的處理所得到的、片段單位的深度信號的編碼位串附加用于以NAL單元單位來操作的頭信息，來進(jìn)行NAL單元化(S122)。進(jìn)而，單元化部109根據(jù)需要而進(jìn)行與其它NAL單元的復(fù)用化。另外，雖然圖19中并未圖示，但在將圖像分割成多個片段來進(jìn)行編碼時，反復(fù)進(jìn)行步驟S121至S122的處理。接下來，編碼管理部101判斷在該顯示時刻，編碼對象的所有視點的深度信號的編碼處理是否都已完成(S123)。如果該顯示時刻的深度信號的編碼處理已完成(S123為 Y)，則進(jìn)入步驟S121的處理，如果還未完成(S123為N)，則反復(fù)進(jìn)行步驟S121至步驟S123 的編碼處理。接著，編碼管理部101判斷編碼對象的所有圖像信號和深度信號的編碼處理是否都已完成(S124)。如果所有圖像信號和深度信號的編碼處理都已完成(S124為Y)，則結(jié)束本編碼處理，如果還未完成(S124為N)，則反復(fù)進(jìn)行步驟S113至步驟S124的編碼處理。下面說明在通過網(wǎng)絡(luò)來傳輸由圖1、3所示的實施方式1的圖像編碼裝置IOOUOOa 所生成的多視點圖像的編碼位串時的發(fā)送處理步驟。圖20是表示在通過網(wǎng)絡(luò)來傳輸由實施方式1的圖像編碼裝置100、IOOa所生成的多視點圖像的編碼位串時的發(fā)送處理步驟的流程圖。圖20的流程圖所示的整體處理，是在圖 19 的流程圖中的步驟 S102、S104、S106、S108、S110、S112、S114、S115、S117、S119、以及 S122的各處理之后，根據(jù)需要而執(zhí)行的。在圖20的流程圖中，未圖示的打包部根據(jù)需要而基于MPEG-2系統(tǒng)方式、MP4文件格式、RTP等標(biāo)準(zhǔn)，對圖19的流程圖中的步驟S102、S104、S106、S108、S110、S112、S114、 S115、S117、S119及S122的處理所得到的編碼位串進(jìn)行打包(S201)。接下來，該打包部根據(jù)需要而進(jìn)行與音頻等編碼位串的復(fù)用化(S202)。接著，未圖示的發(fā)送部通過網(wǎng)絡(luò)等將被打包了的編碼位串適時發(fā)送出去(S203)。當(dāng)然，由實施方式1的圖像編碼裝置100、100a編碼后的編碼位串也可以用與已有的單視點的AVC/H. 264編碼方式對應(yīng)的解碼裝置來解碼。此時，在解碼側(cè)僅得到基礎(chǔ)視點的圖像信號。例如，由實施方式1的圖像編碼裝置IOOUOOa編碼后的圖11所示的編碼位串可以用與AVC/H. 264編碼方式的高配置對應(yīng)的解碼裝置來解碼。此時，對與AVC/H. 264編碼方式的高配置對應(yīng)的(a) “ nal_unit_type“為 “7” 的 NAL 單元-SPS 的 NAL 單元 #A、(b) “ nal_unit_type〃 為 “8” 的 NAL 單元-PPS 的 NAL 單元 #A、#B、#C、(c) ‘‘ nal_unit_type ‘‘為 “ 1 ” 的 NAL 單元——片段 NAL 單元 #A00、以及(d) “ nal_unit_type“為“5”的NAL單元——片段NAL單元_1進(jìn)行解碼。但是，對于PPS的NAL單元#B、#C,由于參照這些PPS的片段NAL單元不解碼，所以實際上不被使用。沒有與AVC/H. 264編碼方式的高配置相對應(yīng)的"nal_imit_type"為 “15”的NAL單元——SPS的NAL單元#B、#C不進(jìn)行解碼。同樣，(a) ‘‘ nal_unit_type(b) ‘‘ nal_unit_type #B21、以及(c) ‘‘ nal_unit_type #C01、#C11、#C21也不進(jìn)行解碼。并且，由實施方式1的圖像編碼裝置IOOUOOa編碼后的編碼位串也可以用與已有的MVC編碼方式對應(yīng)的解碼裝置來解碼。此時，在解碼側(cè)僅得到多視點的圖像信號。例如，對于由實施方式1的圖像編碼裝置IOOUOOa編碼后的圖11所示的編碼位串，可以用與 AVC/H. 264編碼方式的多視角高配置對應(yīng)的解碼裝置來解碼。此時，對與AVC/H. 264編碼方式的多視角高配置對應(yīng)的
(a)'nal__unit__type"為‘‘7”NAL單元——SPS的NAL單元#A、
(b)'nal__unit__type"為‘‘15”的嫩1^單元_——SPS的NAL單元#B、#C、
(C)'nal__unit__type"為‘‘8”的NAL單元一—PPS 的 NAL 單元 #A、#B、#C、
⑷'nal__unit__type"為‘‘14”的嫩1^單元_——前綴NAL單元#A00、
(e)'nal__unit__type"為‘‘1”的NAL單元一一片段NAL單元#A00、
(f)'nal__unit__type"為‘‘5”的NAL單元一一片段NAL單元#A01、以及
(g)'nal__unit__type"為‘‘20”的嫩1^單元_——片段 NAL 單元 #B10、#B20、#B11、#B21
“為“ 14”的NAL單元——前綴NAL單元#A00、 “為 “20” 的 NAL 單元-片段 NAL 單元 #B10、#B20、#B11、
“為 “21” 的 NAL 單元-片段 NAL 單元 #C00、#C10、#C20、
進(jìn)行解碼。但是，對于SPS的NAL單元#C、PPSNAL單元#C，由于參照這些SPS或PPS的片段 NAL單元不進(jìn)行解碼，所以實際上不被使用。沒有與AVC/H. 264編碼方式的多視角高配置
對應(yīng)的〃 nal_unit_type"為 “21” 的 NAL 單元-片段 NAL 單元 #C00、#C10、#C20、#C01、
#C1U#C21不進(jìn)行解碼。如以上所說明的那樣，根據(jù)實施方式1，通過將多視點圖像編碼位串和多視點深度信號位串單元化成同一個編碼流，能夠效率良好地傳輸或存儲多視點圖像。S卩，能夠大大減少要編碼的圖像信號的視點，編碼效率和再現(xiàn)質(zhì)量得到提高。其中，上述多視點圖像編碼位串是通過對包含來自多個視點的圖像信號的多視點圖像信號進(jìn)行編碼而生成的，上述多視點深度信號位串是通過對包含來自多個視點的深度信號作為補(bǔ)助信息的多視點深度信號進(jìn)行編碼而生成的。此外，通過將上述編碼位串的數(shù)據(jù)結(jié)構(gòu)設(shè)計成能夠用以往的對單視點的圖像進(jìn)行解碼的解碼裝置僅解碼基礎(chǔ)視點的圖像信號，或者能夠用以往的對多視點的圖像進(jìn)行解碼的解碼裝置僅解碼多視點圖像信號的結(jié)構(gòu)，能夠?qū)崿F(xiàn)可擴(kuò)展(scalable)功能，確保與以往的以單視點的二維圖像為對象的AVC/H. 264編碼方式、以及僅以多視點的圖像信號為對象的MVC方式的兼容性。并且，不僅能生成多視點圖像信號與多視點深度信號為相同數(shù)量、其一一對應(yīng)的編碼位串，還能生成多視點圖像信號與深度信號的視點的數(shù)量不同、其沒有一一對應(yīng)的編碼位串。實施方式2接下來，說明對由實施方式1的圖像編碼裝置IOOUOOa編碼后的編碼數(shù)據(jù)進(jìn)行解碼的圖像解碼裝置300。圖21是表示本發(fā)明實施方式2的圖像解碼裝置300的構(gòu)成的框圖。實施方式2的圖像解碼裝置300具有分解部301、解碼管理部302、參數(shù)信息解碼部320、圖像信號解碼部 307、深度信息解碼部(更具體來說是深度信號解碼部309)、以及解碼圖像緩存器310。參數(shù)信息解碼部320包括基礎(chǔ)視點的圖像信號用序列信息解碼部303、包含MVC擴(kuò)展信息的序列信息解碼部304、圖像信息解碼部305、以及補(bǔ)充增強(qiáng)信息解碼部306。分解部301將編碼流分解，該編碼流中包含被編碼有分別來自不同的多個視點的多個圖像的圖像編碼數(shù)據(jù)、被編碼有來自至少一個以上視點的表示特定空間的深度的深度信息的深度信息編碼數(shù)據(jù)、以及被編碼有參數(shù)信息的參數(shù)信息編碼數(shù)據(jù)，其中，所述參數(shù)信息是包含有用于確定多個圖像和深度信息之來源的多個視點的視點信息的參數(shù)信息。該編碼流中包含有實施方式1的圖像編碼裝置100、IOOa所生成的編碼流。另外，該編碼流中所包含的深度信息編碼數(shù)據(jù)的數(shù)量可以被設(shè)定成少于圖像編碼數(shù)據(jù)的數(shù)量。圖像信號解碼部307將被分解部301分解后的圖像編碼數(shù)據(jù)解碼，復(fù)原多個圖像。 當(dāng)上述多個視點中被設(shè)定一個應(yīng)作為基準(zhǔn)的視點時，圖像信號解碼部307將被編碼有上述多個圖像中來自應(yīng)作為基準(zhǔn)的視點的圖像的第1圖像編碼數(shù)據(jù)解碼，復(fù)原該圖像，并將被編碼有來自該應(yīng)作為基準(zhǔn)的視點的圖像以外的圖像的第2圖像編碼數(shù)據(jù)解碼，復(fù)原該圖像。上述深度信息解碼部將被分解部301分解后的深度信息編碼數(shù)據(jù)解碼，復(fù)原深度信息。在此，深度信息編碼數(shù)據(jù)可以是被編碼有以來自某視點的單色圖像來表現(xiàn)的深度信息的數(shù)據(jù)。此時，上述深度信息解碼部將深度信息編碼數(shù)據(jù)解碼，復(fù)原該單色圖像。參數(shù)信息解碼部320將被分解部301分解后的參數(shù)信息編碼數(shù)據(jù)解碼，復(fù)原參數(shù)信息。在上述多個視點中被設(shè)定一個應(yīng)作為基準(zhǔn)的視點時，參數(shù)信息解碼部320將被編碼有上述多個圖像中來自應(yīng)作為基準(zhǔn)的視點的圖像的第1參數(shù)信息的第1參數(shù)信息編碼數(shù)據(jù)解碼，復(fù)原該第1參數(shù)信息。另外，參數(shù)信息解碼部320將被編碼有上述多個圖像中、來自該應(yīng)作為基準(zhǔn)的視點的圖像以外的圖像的第2參數(shù)信息的第2參數(shù)信息編碼數(shù)據(jù)解碼，復(fù)原該第2參數(shù)信息。此外，參數(shù)信息解碼部320將被編碼有上述深度信息的第3參數(shù)信息的第3參數(shù)信息編碼數(shù)據(jù)解碼，復(fù)原該第3參數(shù)信息。第3參數(shù)信息也可以用與第2參數(shù)信息的語法構(gòu)造對應(yīng)的語法構(gòu)造來記述。例如， 可以依據(jù)AVC/H. 264編碼方式的多視角高配置來記述第2參數(shù)信息和第3參數(shù)信息。此外， 第2參數(shù)信息和第3參數(shù)信息中可以被記述有視點的識別信息，如果被編碼為上述圖像編碼數(shù)據(jù)的圖像之來源的視點的位置、與被編碼為上述深度信息編碼數(shù)據(jù)的深度信息之來源的視點的位置相一致，則這些視點也可以被賦予共通的識別信息。圖22是表示實施方式2的變形例的圖像解碼裝置300a的構(gòu)成的框圖。實施方式 2的變形例的圖像解碼裝置300a是在圖21所示的圖像解碼裝置300的基礎(chǔ)上追加了虛擬視點圖像生成部330的結(jié)構(gòu)。在該變形例中，虛擬視點圖像生成部330基于被圖像信號解碼部307解碼后的圖像和被上述深度信息解碼部解碼后的深度信息，生成來自與該圖像之來源的視點不同的其它視點的圖像。更具體來說，虛擬視點圖像生成部330基于被圖像信號解碼部307解碼后的圖像、被上述深度信息解碼部解碼后的深度信息、以及被參數(shù)信息解碼部320解碼后的攝像機(jī)參數(shù)等參數(shù)信息，生成來自虛擬視點的圖像。虛擬視點圖像生成部330可以采用已有的算法來實現(xiàn)該來自虛擬視點的圖像的生成。該虛擬視點是根據(jù)來自應(yīng)用的指示或基于用戶操作而被指定給虛擬視點圖像生成部 330的。其它處理與圖21所示的實施方式2的基本例的圖像解碼裝置300的說明一樣，故省略其說明。下面更具體地說明實施方式2的圖像解碼裝置300、300a的構(gòu)成。分解部301取得實施方式1的圖像編碼裝置IOOUOOa所生成的編碼位串。取得編碼位串的方式可以是接收網(wǎng)絡(luò)傳送來的編碼位串的方式，也可以是讀取被記錄在DVD等存儲介質(zhì)中的編碼位串的方式，還可以是接收BS/地上波等廣播所播放的編碼位串的方式。分解部301將提供來的編碼位串分離成NAL單元單位。此時，未圖示的包分解部根據(jù)需要而除去MPEG-2系統(tǒng)方式、MP4文件格式、RTP等的數(shù)據(jù)包頭。分解部301將分離后的作為NAL單元的首部的NAL單元頭解碼，將解碼后的NAL單元頭的信息提供給解碼管理部302。這些NAL單元頭的信息的管理由解碼管理部302來進(jìn)行。當(dāng)NAL單元頭中所包含的用于區(qū)分NAL單元的種類的識別符〃 nal_imit_type 〃 的值為“7”、即該NAL單元是被編碼有基礎(chǔ)視點的圖像信號的、關(guān)于序列整體的編碼的參數(shù)信息的編碼位串時，分解部301將該NAL單元的RBSP部的編碼位串提供給基礎(chǔ)視點的圖像信號用序列信息解碼部303。當(dāng)〃 nal_unit_type〃的值為“ 15”、即是被編碼有包含MVC擴(kuò)展信息的關(guān)于序列整體的編碼的參數(shù)信息的編碼位串時，分解部301將該NAL單元的RBSP部的編碼位串提供給包含MVC擴(kuò)展信息的序列信息解碼部304。當(dāng)〃 nal_imit_type的值為“8”、即是被編碼有關(guān)于圖像的編碼的參數(shù)信息等的編碼位串時，分解部301將該NAL單元的RBSP的編碼位串提供給圖像信息解碼部305。當(dāng)"nal_unit_type"的值為“6”、即是被編碼有補(bǔ)充增強(qiáng)信息的編碼位串時，分解部301將該NAL單元的RBSP部的編碼位串提供給補(bǔ)充增強(qiáng)信息解碼部306。當(dāng)〃 nal_unit_type〃的值為“ 1”或“5”、即是被編碼有基礎(chǔ)視點的圖像信號的編碼模式、運(yùn)動矢量或視差矢量、編碼殘差信號等的編碼位串時，分解部301將該NAL單元的 RBSP部的編碼位串提供給圖像信號解碼部307。當(dāng)〃 nal_unit_type〃的值為“20”、即是被編碼有非基礎(chǔ)視點的圖像信號的編碼模式、運(yùn)動矢量或視差矢量、編碼殘差信號等的編碼位串時，分解部301將該NAL單元的 RBSP部的編碼位串提供給圖像信號解碼部307。當(dāng)〃 nal_unit_type〃的值為“21”、即是被編碼有深度信號的編碼模式、運(yùn)動矢量或視差矢量、編碼殘差信號等的編碼位串時，分解部301將該NAL單元的RBSP部的編碼位串提供給深度信號解碼部309。當(dāng)"nal_unit_type"的值為“ 14”、即是被編碼有后續(xù)的片段單元的視點信息等的前綴NAL單元時，該NAL單元的RBSP部的編碼位串為空。當(dāng)〃nal.unit.type"的值為 “14”、“20”、“21” 時，分解部 301 將 NAL 單元頭中所包含的視點信息〃 nal_unit_header_svc_mvc_extensi0n〃也解碼，并將解碼后的視點信息提供給解碼管理部302。在此，被解碼的視點信息中包含視點ID等。另外，“nal_ unit_type"的值為“14”的NAL單元頭中所包含的視點信息成為后續(xù)的NAL單元的視點信息，“nal_unit_type"的值為“20”或“21”的NAL單元頭中所包含的視點信息成為該NAL 單元的視點信息。這些視點信息的管理由解碼管理部302來進(jìn)行?；A(chǔ)視點的圖像信號用序列信息解碼部303將從分解部301供給來的被編碼有基礎(chǔ)視點的圖像信號的、關(guān)于序列整體的編碼的參數(shù)信息的編碼位串解碼。該供給來的編碼位串相當(dāng)于圖11所示的編碼位串的SPS#A的RBSP部。在此，供給來的RBSP部的編碼位串是圖13所示的〃 Seq_parameter_Set_rbSp"?；A(chǔ)視點的圖像信號用序列信息解碼部 303按照圖13所示的〃 seq_parameter_set_rbsp"的語法構(gòu)造對編碼位串進(jìn)行解碼，得到基礎(chǔ)視點的圖像信號的、關(guān)于序列整體的編碼的參數(shù)信息?；A(chǔ)視點的圖像信號用序列信息解碼部303將該解碼后的基礎(chǔ)視點的圖像信號的序列信息提供給解碼管理部302。該基礎(chǔ)視點的圖像信號的序列信息的管理由解碼管理部302來進(jìn)行。包含MVC擴(kuò)展信息的序列信息解碼部304將從分解部301供給來的被編碼有包含 MVC擴(kuò)展信息的關(guān)于序列整體的編碼的參數(shù)信息、S卩非基礎(chǔ)視點的圖像信號的序列信息或深度信號的序列信息的編碼位串解碼。該供給來的編碼位串相當(dāng)于圖11所示的編碼位串的SPS#B、SPS#C的RBSP部。在此，供給來的RBSP部的編碼位串是圖14所示的〃 subset_ seq_parameter_set_rbsp “。包含MVC擴(kuò)展信息的序列信息解碼部304按照圖14所示的‘‘subset_seq_parameter_set_rbsp ‘‘的語法構(gòu)造對編碼位串進(jìn)行解碼，得到非基礎(chǔ)視點的圖像信號的、關(guān)于序列整體的編碼的參數(shù)信息或深度信號的關(guān)于序列整體的編碼的參數(shù)信息。
是非基礎(chǔ)視點的圖像信號的序列信息、還是深度信號的序列信息，可以通過參照"profile.idc"的值來判別。當(dāng)〃 profile_idc“的值為表示AVC/H. 264編碼方式的多視角高配置的“118”時，是非基礎(chǔ)視點的圖像信號的序列信息，當(dāng)其值為表示是也能解碼多視點深度信號的配置的“120”時，就是深度信號的序列信息?！畇ubset_seq_parameter_ set.rbsp"中包含有MVC擴(kuò)展信息，被包含MVC擴(kuò)展信息的序列信息解碼部304解碼的序列信息中，也包含MVC擴(kuò)展信息。包含MVC擴(kuò)展信息的序列信息解碼部304將這些被解碼后的非基礎(chǔ)視點的圖像信號的序列信息或深度信號的序列信息提供給解碼管理部302。這些序列信息的管理由解碼管理部302來進(jìn)行。圖像信息解碼部305將從分解部301供給來的被編碼有關(guān)于整體的編碼的參數(shù)信息的編碼位串解碼。該供給來的編碼位串相當(dāng)于圖11所示的編碼位串的PPS#A、PPS#B、 PPS#C的RBSP部。這里，供給來的RBSP部的編碼位串是圖15所示的“pic_parameter_ set_rbsp〃。圖像信息解碼部305按照圖15所示的"pic_parameter_set_rbsp“的語法構(gòu)造對編碼位串進(jìn)行解碼，得到基礎(chǔ)視點的圖像信號、非基礎(chǔ)視點的圖像信號、或者深度信號的關(guān)于整體的編碼的參數(shù)信息。圖像信息解碼部305將該解碼后的圖像信息提供給解碼管理部302。該圖像信息的管理由解碼管理部302來進(jìn)行。補(bǔ)充增強(qiáng)信息解碼部306將從分解部301供給來的被編碼有補(bǔ)充增強(qiáng)信息的編碼位串解碼，輸出補(bǔ)充增強(qiáng)信息。如果供給來的編碼位串中包含有攝像機(jī)參數(shù)信息，則可以在解碼后的虛擬視點的圖像信號的生成及顯示時使用該攝像機(jī)參數(shù)信息。圖像信號解碼部307將從分解部301供給來的被編碼有基礎(chǔ)視點的圖像信號的片段頭、以及片段的編碼模式、運(yùn)動矢量、編碼殘差信號等的編碼位串解碼。該供給來的編碼位串相當(dāng)于圖11所示的編碼位串的片g#A00、#A01的RBSP部。在此，供給來的RBSP部的 ^^Φ^ 17 Ijf^W slice_layer_without_partitioning_rbsp“。圖像信號解碼部 307 按照圖 17 所示的〃 slice_layer_without_partitioning_ rbsp"的語法構(gòu)造對編碼位串進(jìn)行解碼。首先，圖像信號解碼部307將包含在〃 slice_ layer_without_partitioning_rbsp “中的〃 slice_header 〃 解碼，取得與片段相關(guān)的信息。圖像信號解碼部307將該解碼后的與片段相關(guān)的信息提供給解碼管理部302。在這里，如上所述被包含在〃 slice_layer_without_partitioning_rbsp “中的"slice_header"中包含有用于確定應(yīng)參照的PPS的編號"pic_parameter_set_id"， 圖11所示的片段#A00、#A01的〃 pic_parameter_set_id〃中被設(shè)定有片段#A00、#A01所應(yīng)參照的 PPS#A 的"pic_parameter_set_id"的值。另夕卜，PPS#A 的"seq_parameter_ set_id〃中被設(shè)定有PPS#A所應(yīng)參照的SPS#A的〃 seq_parameter_set_id〃的值，所以能夠明確地確定片段#A00、#A01所應(yīng)參照的序列信息是SPSM0這些管理由解碼管理部302 來進(jìn)行。圖像信號解碼部307除從片段_0或_ 1的〃 siice_header ‘‘解碼而來的與片段相關(guān)的信息外，還使用從解碼管理部302供給來的片段#A00、#A01所應(yīng)參照的、從 SPS#A解碼而來的序列信息和從PPS#A解碼而來的圖像信息，對〃 slice_layer_without_ partitioning.rbsp"中所包含的〃 slice_data"進(jìn)行解碼，得到基礎(chǔ)視點的解碼圖像信號。該基礎(chǔ)視點的解碼圖像信號被存儲在解碼圖像緩存器310中。在解碼基礎(chǔ)視點的圖像信號的編碼位串時，有時也使用運(yùn)動補(bǔ)償預(yù)測等幀間預(yù)測，但此時是將已被解碼并被存儲在解碼圖像緩存器310中的基礎(chǔ)視點的解碼圖像信號用作參照圖像的。另外，基礎(chǔ)視點的片段NAL單元的NAL單元頭中不包含視點信息，但將被編碼在基礎(chǔ)視點的片段NAL單元之前的前綴NAL單元的NAL單元頭的視點信息作為基礎(chǔ)視點的片段NAL單元的視點信肩、ο進(jìn)而，圖像信號解碼部307對從分解部301供給來的被編碼有非基礎(chǔ)視點的圖像信號的片段頭、以及片段的編碼模式、運(yùn)動矢量或視差矢量、編碼殘差信號等的編碼位串進(jìn)行解碼。該供給來的編碼位串相當(dāng)于圖11所示的編碼位串的片段#820、#附0、1 40、#830、 #B21、#B11、#B41、#B31 的 RBSP 部。在此，供給來的RBSP部的編碼位串是圖18所示的〃 slice_layer_in_scalable_ extension_rbsp〃。圖像信號解碼部 307 按照圖 18 所示的〃 slice_layer_in_scalable_ extension_rbsp “的語法構(gòu)造對編碼位串進(jìn)行解碼。首先，圖像信號解碼部307 對〃 slice_layer_in_scalable_extension_rbsp“中所包含的〃 slice_header“進(jìn)行角軍碼，取得與片段相關(guān)的信息。圖像信號解碼部307將該解碼后的與片段相關(guān)的信息提供給解碼管理部302。在這里，如上所述〃 slice_layer_in_scalable_extension_rbsp “所包含的"slice_header"中包含有用于確定應(yīng)參照的PPS的編號"pic_parameter_set_id"， 圖 11 所示的片段#820、#810、#840、#830、#821、#811、#841、#831 的〃 pic_parameter_set_ id"中被設(shè)定有片段 #B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31 所應(yīng)參照的 PPS#B 的〃 pic_parameter_set_id〃 的值。另外，由于PPS#B的“seq_parameter_set_id〃中被設(shè)定有PPS#B所應(yīng)參照的 SPS#B 的〃 seq_parameter_set_id〃 的值，所以能夠明確地確定片段 #B20、#B10、#B40、 #B30、#B21、#B11、#B41、#B31所應(yīng)參照的序列信息是SPS#B。這些管理由解碼管理部302 來進(jìn)行。圖像信號解碼部307除(a)從片段 #B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31 的〃 slice_header〃 解碼來的片段相關(guān)聯(lián)信息外，還使用(b)從解碼管理部 302 所提供的片段 #B20、#B10、#B40、#B30、#B21、#B11、#B41、 #B31的NAL單元頭中所包含的〃 nal_unit_header_svc_mvc_extension〃解碼而來的視點 fn息、(c)從片段 #B20、#B10、#B40、#B30、#B2U #B1U #B4U #B31 所應(yīng)參照的 SPS#B 解碼而來的序列信息、以及(d)從片段 #B20、#B10、#B40、#B30、#B21、#B11、#B41、#B31 所應(yīng)參照的 PPS#B 解
碼而來的圖像信息，來對〃 slice_layer_in_scalable_extension_rbsp “中所包含的〃 slice_ data"進(jìn)行解碼，得到非基礎(chǔ)視點的解碼圖像信號。該非基礎(chǔ)視點的解碼圖像信號被存儲在解碼圖像緩存器310中。在解碼非基礎(chǔ)視點的圖像信號的編碼位串時，有時也使用視點間預(yù)測或運(yùn)動補(bǔ)償預(yù)測等幀間預(yù)測，但此時是將已被解碼并被存儲在解碼圖像緩存器310中的基礎(chǔ)視點或非基礎(chǔ)視點的圖像信號用作參照圖像的。深度信號解碼部309對從分解部301供給來的被編碼有深度信號的片段頭、以及片段的編碼模式、運(yùn)動矢量或視差矢量、編碼殘差信號等的編碼位串進(jìn)行解碼。該供給來的編碼位串相當(dāng)于圖11所示的編碼位串的片段#C00、#C20、#C40、#C0U #C2U #C41的RBSP部。這里，供給來的RBSP部的編碼位串是圖18所示的〃 slice_layer_in_scalable_ extension_rbsp〃。深度信號解碼部 309 按照圖 18 所示的〃 slice_layer_in_scalable_ extension_rbsp “的語法構(gòu)造對編碼位串進(jìn)行解碼。首先，深度信號解碼部309 對〃 slice_layer_in_scalable_extension_rbsp“中所包含的〃 slice_header“進(jìn)行角軍碼，得到與片段相關(guān)的信息。深度信號解碼部309將該解碼后的與片段相關(guān)的信息提供給解碼管理部302。在此，如上所述〃 slice_layer_in_scalable_extension_rbsp “所包含的"slice_header"中包含有用于確定應(yīng)參照的PPS的編號"pic_parameter_set_id"， 圖 11 所示的片段 #C00、#C20、#C40、#C01、#C21、#C41 的〃 pic_parameter_set_id〃 中被設(shè)定有片段 ##C00、#C20、#C40、#C01、#C21、#C41 所應(yīng)參照的 PPS#C 的〃 pic_parameter_ set_id〃的值。另外，由于PPS#C的〃 seq_parameter_set_id〃中被設(shè)定有PPS#CK應(yīng)參照的SPS#C的〃 seq_parameter_set_id〃的值，所以能夠明確地確定片段#C00、#C20、#C40、 #C0U#C2U#C41所應(yīng)參照的序列信息是SPS#C。這些管理由解碼管理部302來進(jìn)行。深度信號解碼部309除(&)從片段片段#0)0、#020、#040、#0)1、#021、#041的〃 slice_header〃 解碼而來的與片段相關(guān)的信息外，還使用(b)從解碼管理部 302 所供給的片段 #C00、#C20、#C40、#C01、#C21、#C41 的 NAL 單元頭中所包含的‘‘nal_unit_header_svc_mvc_extension〃解碼而來的視點信息、(c)從片段#C00、#C20、#C40、#C0U #C2U #C41所應(yīng)參照的SPS#C解碼而來的序列信息、以及(d)從片段#C00、#C20、#C40、#C0U #C2U #C41所應(yīng)參照的PPS#C解碼而來的圖
像信息，slice_layer_in_scalable_extension_rbsp “slice_data" 進(jìn)行解碼，取得解碼深度信號。該解碼深度信號被存儲在解碼圖像緩存器310中。在解碼深度信號的編碼位串時，有時也使用視點間預(yù)測或運(yùn)動補(bǔ)償預(yù)測等幀間預(yù)測，但此時是將已被解碼、并被存儲在解碼圖像緩存器310中的解碼深度信號用作參照圖像。關(guān)于深度信號的解碼方法，可以使用與單色格式的圖像信號時相同的方法。解碼管理部302管理被存儲在解碼圖像緩存器310中的解碼圖像信號和解碼深度信號的輸出定時(timing)，從解碼圖像緩存器310同步地輸出同一時刻的各視點的解碼圖像信號和解碼深度信號。此時，使各視點的解碼圖像信號和解碼深度信號與作為用于確定各視點的信息的視點ID相關(guān)聯(lián)地輸出。從圖像解碼裝置300、300a輸出的各視點的解碼圖像信號可以用顯示裝置等來顯示。當(dāng)所希望的視點沒有被輸出時，基于從圖像解碼裝置300、300a輸出的解碼圖像信號、解碼深度信號、以及攝像機(jī)參數(shù)等補(bǔ)充增強(qiáng)信息來生成虛擬視點的圖像信號，將所得到的虛擬視點的圖像信號顯示在顯示裝置等上。另外，在變形例的圖像解碼裝置300a中，可以由虛擬視點圖像生成部330生成該虛擬視點的圖像信號。接下來，說明圖21、22所示的實施方式2的圖像解碼裝置300、300a所進(jìn)行的多視點圖像解碼處理步驟。圖23是表示實施方式2的圖像解碼裝置300、300a所進(jìn)行的多視點圖像的解碼處理步驟的流程圖。在圖23的流程圖中，分解部301將取得的編碼位串分離成NAL單元單位， 并解碼NAL單元頭(S301)。更具體地說明在該步驟S301中通過網(wǎng)絡(luò)接收編碼位串并將之分離為NAL單元單位的處理步驟。圖24是表示通過網(wǎng)絡(luò)接收編碼位串，并將之分離為NAL單元單位的處理步驟的流程圖。在圖24的流程圖中，未圖示的接收部通過網(wǎng)絡(luò)接收編碼位串(S401)。接著，未圖示的包分解部基于該接收到的編碼位串所使用的MPEG-2系統(tǒng)方式、MP4文件格式、RTP等標(biāo)準(zhǔn)而除去其被附加的包頭，得到上述編碼位串(S402)。然后，分解部301按NAL單元單位分離該編碼位串(S402)。接著，分解部301將NAL單元頭解碼(S403)。當(dāng)〃 nal.unit.type"的值為“ 14”、“20”或“21 ”時，分解部301還解碼NAL單元頭中所包含的作為視點信息的〃 nal_unit_header_svc_mvc_extension"。這里被解碼的視點信息中包含視點ID等。另外，“nal_imit_type〃的值為‘‘ 14”的NAL單元頭中所包含的視點信息為后續(xù)的NAL單元的視點信息，“nal_imit_type"的值為“20”或“21 ”的 NAL單元頭所包含的視點信息為該NAL單元的視點信息?；氐綀D23的流程圖。分解部301對被步驟S301處理所分離的NAL單元的首部—— NAL單元頭中所包含的、用于區(qū)分NAL單元的種類的識別符"nal_imit_type"進(jìn)行評價 (S302)。(a)當(dāng)〃 nal_imit_type〃為“7”、即該NAL單元是被編碼有基礎(chǔ)視點的圖像信號的、關(guān)于序列整體的編碼的參數(shù)信息的編碼位串時(S302中的“7”)，進(jìn)入到步驟S303。(b)當(dāng)〃 nal_imit_type〃為“ 15”、即是被編碼有包含MVC擴(kuò)展信息的關(guān)于序列整體的編碼的參數(shù)信息、即非基礎(chǔ)視點的圖像信號的序列信息或深度信號的序列信息的編碼位串時(S302為“15”)，進(jìn)入到步驟S304。(c)當(dāng)〃 nal_unit_type〃為“8”、即該NAL單元是被編碼有基礎(chǔ)視點的圖像信號、 非基礎(chǔ)視點的圖像信號、或者深度信號的關(guān)于整體的編碼的參數(shù)信息的編碼位串時(S302 為“8”)，進(jìn)入到步驟S305。(d)當(dāng)"nal_imit_type"為“6”、即該NAL單元是被編碼有補(bǔ)充增強(qiáng)信息的編碼位串時(S302為“6”)，進(jìn)入到步驟S306。(e)當(dāng)〃 nal_unit_type〃 為“ 14”、即該 NAL 單元是前綴 NAL 單元時(S302“14”)， 進(jìn)入到步驟S307。(f)當(dāng)〃 nal_imit_type〃為“1”或“5”、即該NAL單元是被編碼有基礎(chǔ)視點的片段單位的圖像信號的編碼位串時(S302為“1”或“5”)，進(jìn)入到步驟S308。(g)當(dāng)"nal_unit_type"為“20”、即該NAL單元是被編碼有非基礎(chǔ)視點的片段單位的圖像信號的編碼位串時(S302為“20”)，進(jìn)入到步驟S309。(h)當(dāng)"nal_imit_type"為“21”、即該NAL單元是被編碼有片段單位的深度信號的編碼位串時(S302為“21”)，進(jìn)入到步驟S310。(i)〃 nal.unit.type"也有取其它值的時候(S302為“其它”)，但在本說明書中省略其說明。基礎(chǔ)視點的圖像信號用序列信息解碼部303對被編碼有基礎(chǔ)視點的圖像信號的、 關(guān)于序列整體的編碼的參數(shù)信息的編碼位串進(jìn)行解碼，取得基礎(chǔ)視點的圖像信號的關(guān)于序列整體的編碼的參數(shù)信息(S303)。包含MVC擴(kuò)展信息的序列信息解碼部304對被編碼有包含MVC擴(kuò)展信息的關(guān)于序列整體的編碼的參數(shù)信息、即非基礎(chǔ)視點的圖像信號的序列信息或深度信號的序列信息的編碼位串進(jìn)行解碼，取得非基礎(chǔ)視點的圖像信號或深度信號的、關(guān)于序列整體的編碼的參數(shù)信息(S304)。圖像信息解碼部305對被編碼有關(guān)于整體的編碼的參數(shù)信息的編碼位串進(jìn)行解碼，取得基礎(chǔ)視點的圖像信號、非基礎(chǔ)視點的圖像信號、或者深度信號的關(guān)于整體的編碼的參數(shù)信息(S305)。補(bǔ)充增強(qiáng)信息解碼部306對被編碼有補(bǔ)充增強(qiáng)信息的編碼位串進(jìn)行解碼，取得補(bǔ)充增強(qiáng)信息(S306)。分解部301對前綴NAL單元的RBSP進(jìn)行解碼(S307)。但在MVC方式下，前綴NAL 單元的RBSP為空，所以事實上不進(jìn)行解碼處理。圖像信號解碼部307對被編碼有基礎(chǔ)視點的圖像信號的片段頭、以及基礎(chǔ)視點的圖像信號的片段的編碼模式、運(yùn)動矢量、編碼殘差信號等的編碼位串進(jìn)行解碼，取得基礎(chǔ)視點的片段單位的圖像信號(S308)。圖像信號解碼部307對被編碼有非基礎(chǔ)視點的圖像信號的片段頭、以及非基礎(chǔ)視點的圖像信號的片段的編碼模式、運(yùn)動矢量、編碼殘差信號等的編碼位串進(jìn)行解碼，取得非基礎(chǔ)視點的片段單位的圖像信號(S309)。深度信號解碼部309對被編碼有深度信號的片段頭、以及深度信號的片段的編碼模式、運(yùn)動矢量、編碼殘差信號等的編碼位串進(jìn)行解碼，取得片段單位的深度信號(S310)。解碼管理部302判斷是否到了輸出被解碼后的圖像信號和深度信號的定時 (S311)。如果還沒到輸出的定時(S311為N)，則進(jìn)入到步驟S313，如果到了輸出的定時 (S311為Y)，則輸出被解碼后的圖像信號和深度信號(S312)，并進(jìn)入到步驟S313。此時，各視點的解碼圖像信號和解碼深度信號與作為用于確定這些視點的信息的視點ID相關(guān)聯(lián)地輸出。判斷是否已完成所有NAL單元的解碼處理(S313)。如果所有NAL單元的編碼處理都已完成(S313為Y)，則結(jié)束本解碼處理，如果還未完成(S313為N)，則反復(fù)進(jìn)行步驟S301 至步驟S313的處理。此外，實施方式2的圖像解碼裝置300、300a也能夠?qū)σ砸延械腁VC/H. 264方式編碼有單視點的圖像信號的編碼位串進(jìn)行解碼，取得單視點的圖像信號。進(jìn)而，實施方式2的圖像解碼裝置300、300a也能夠?qū)σ砸延械腗VC方式編碼有不包含深度信號的多視點的圖像信號的編碼位串進(jìn)行解碼，取得多視點的圖像信號。在以上說明中，說明了圖10所示那樣的多視點圖像與深度圖的視點數(shù)不同、其并非一一對應(yīng)的情況，當(dāng)然，對于多視點圖像信號與多視點深度信號為相同數(shù)量、其一一對應(yīng)的情況，也能進(jìn)行編碼或解碼。如以上所說明的那樣，通過實施方式2，在多視點圖像的解碼中，能夠?qū)Ρ痪幋a有包含來自多個視點的圖像信號的多視點圖像信號和包含來自多個視點的深度信號作為輔助信息的多視點深度信號的編碼位串進(jìn)行解碼，取得多視點圖像信號和多視點深度信號。 此時，能夠效率良好地接收或讀取該編碼位串。此外，實施方式2的圖像解碼裝置300、300a能夠?qū)σ酝膬H被編碼有單視點的圖像信號的編碼位串進(jìn)行解碼，取得單視點的圖像信號。并且，實施方式2的圖像解碼裝置 300、300a還能夠?qū)H編碼有多視點圖像信號(不包含作為輔助信息的多視點深度信號，包含多個視點的圖像信號)的編碼位串進(jìn)行解碼，取得多視點圖像信號，確保向下兼容性。另外，不僅能夠?qū)Χ嘁朁c圖像信號與多視點深度信號數(shù)量相同、其一一對應(yīng)的編碼位串進(jìn)行解碼，還能夠?qū)Χ嘁朁c圖像信號與深度信號的視點的數(shù)量不同、其并不一一對應(yīng)的編碼位串進(jìn)行解碼。實施方式3下面說明本發(fā)明實施方式3的圖像編碼裝置。實施方式3的圖像編碼裝置根據(jù)內(nèi)容(contents)或場景的內(nèi)容來判斷需要編碼的圖像信號和深度信號的視點，并根據(jù)該判斷，僅對必要視點的圖像信號和深度信號進(jìn)行編碼，在這一點上，其與實施方式1的圖像編碼裝置不同。除此以外，其與實施方式1的圖像編碼裝置一樣，故省略相同部分的說明。圖25是表示實施方式3的圖像編碼裝置400的構(gòu)成的框圖。在圖25中，對與圖 2相同的構(gòu)成塊標(biāo)注相同的標(biāo)號。實施方式3的圖像編碼裝置400是在實施方式1的圖像編碼裝置100的結(jié)構(gòu)的基礎(chǔ)上，追加了判定部120、切換部121、122的結(jié)構(gòu)。判定部120判斷是否將來自某視點的深度信息作為編碼對象。在該情況下，單元化部109生成包含圖像信號編碼部107所生成的圖像編碼數(shù)據(jù)、以及由深度信號編碼部108 編碼了深度信息的深度信息編碼數(shù)據(jù)的編碼流，其中，所述深度信息是被判定部120判定為作為編碼對象的深度信息。另外，判定部120判斷是否將來自某視點的圖像作為編碼對象。在該情況下，單元化部109生成包含圖像編碼數(shù)據(jù)和深度信息編碼數(shù)據(jù)的編碼流，其中，所述圖像編碼數(shù)據(jù)是由圖像信號編碼部107編碼了被判定部120判定為作為編碼對象的圖像的圖像編碼數(shù)據(jù)，所述深度信息編碼數(shù)據(jù)是由深度信號編碼部108生成的深度信息編碼數(shù)據(jù)。判定部120 也可以進(jìn)行這兩者的判定。在該情況下，單元化部109生成包含圖像編碼數(shù)據(jù)和深度信息編碼數(shù)據(jù)的編碼流，其中，所述圖像編碼數(shù)據(jù)是由圖像信號編碼部107編碼了被判定部120 判定為作為編碼對象的圖像的圖像編碼數(shù)據(jù)，所述深度信息編碼數(shù)據(jù)是由深度信號編碼部 108編碼了被判定部120判定為作為編碼對象的深度信息的深度信息編碼數(shù)據(jù)。下面具體說明判定部120的處理。判定部120被提供編碼管理信息、攝像機(jī)參數(shù)信息、各視點的圖像信號、以及各視點的深度信號。判定部120基于這些來決定應(yīng)編碼的圖像信號的視點和深度信號的視點。判定部120生成新編碼管理信息，提供給編碼管理部101， 其中，該新編碼管理信息省略了與判定為不編碼的圖像信號的視點及深度信號的視點相關(guān)的信息。此外，被提供給圖25的編碼管理部101的編碼管理信息是與圖1的被提供給編碼管理部101的編碼管理信息同樣的信息。下面說明判定部120的判定方法的具體例子。
作為判定例1，當(dāng)判定對象的深度信息之來源的視點與已被確定為編碼對象其它深度信息之來源的視點的距離短于預(yù)定的第1基準(zhǔn)距離時，判定部120判定為不將該判定對象的深度信息作為編碼對象，而當(dāng)上述距離長于該第1基準(zhǔn)距離時，判定為將該判定對象的深度信息作為編碼對象。關(guān)于該第1基準(zhǔn)距離，設(shè)計者可以基于實驗或仿真所得到的見解任意設(shè)定。判定部120能夠基于供給來的攝像機(jī)參數(shù)信息所包含的攝像機(jī)的外部參數(shù)信息， 來確定各圖像信號的視點和各深度信號的視點的位置。該外部參數(shù)中包含各視點的攝像機(jī)的配置信息，該配置信息中包含有三維空間上的位置(x、y、z坐標(biāo))或三軸(x、y、z軸)上的旋轉(zhuǎn)角度(俯仰、偏轉(zhuǎn)、轉(zhuǎn)動)。當(dāng)供給來的同時刻的多個深度信號的視點間的間隔足夠密時，判定部120將某些深度信號從編碼對象中剔除。這樣，判定部120判定為即使省略來自一部分視點的深度信號的編碼也能在解碼側(cè)容易地生成所希望的視點的圖像信號時，就省略生成所希望的視點的圖像信號所不需要的視點的深度信號，采用將該生成所需的視點的深度信號作為編碼對象。該判定例1是基于參照圖6、7說明過的觀點而得出的。作為判定例2，當(dāng)同一圖像內(nèi)的第1被攝物體與第2被攝物體的距離短于預(yù)定的第2基準(zhǔn)距離時，判定部120省略多個深度信號中的一部分深度信號。該第2基準(zhǔn)距離也可以由設(shè)計者基于實驗或仿真所得到的見解而任意設(shè)定。在該情況下，第1被攝物體與第 2被攝物體的距離越短，判定部120就越可以減少應(yīng)判定作為編碼對象的深度信息的數(shù)量。判定部120能夠基于供給來的深度信號，算出相互重疊的被攝物體彼此的深度差。作為該被攝物體彼此的深度差，可以抽取出深度信號的邊緣(例如濃度急劇變化的點)，使用夾著邊緣部分的邊界的像素值的差。當(dāng)判定部120判定為相互重疊的被攝物體彼此的深度差足夠小，即使省略一部分視點的編碼也能在解碼側(cè)容易地生成所希望的視點的圖像信號時，就省略生成所希望的視點的圖像信號所不需要的視點的深度信號，采用該生成所需的視點的深度信號作為編碼對象。該判定例2是基于參照圖8、9說明過的觀點而得出的。在上述判定例1、2中，如果是以在解碼側(cè)生成所希望的視點的圖像信號為前提的應(yīng)用，則與深度信號的視點一樣，還能省略圖像信號的視點。作為判定例3，在不使用判定對象的圖像，而是基于其它圖像和深度信息預(yù)測生成判定對象的圖像的情況下，如果該生成的圖像的質(zhì)量高于預(yù)定的基準(zhǔn)值，則判定部120判定為不將判定對象的圖像作為編碼對象。該基準(zhǔn)值也可以由設(shè)計者基于實驗或仿真所得到的見解而任意設(shè)定。判定部120省略供給來的圖像信號的一部分視點的圖像信號，基于剩余的視點的圖像信號和深度信號來預(yù)測生成所省略的視點的圖像信號。判定部120針對每個像素，使用平方誤差等指標(biāo)來評價省略的視點的原圖像信號與該視點的預(yù)測生成的圖像信號之間的畸變量。判定部120將畸變量小于預(yù)定的基準(zhǔn)值的視點的圖像信號判定為是對生成虛擬視點的貢獻(xiàn)度較小的信號，省略該視點的圖像信號。另外，在這里說明了用于省略圖像信號的處理，也可以用同樣的處理來省略深度信號。切換部121根據(jù)判定部120的判定結(jié)果，僅將作為編碼對象的視點的圖像信號提供給圖像信號編碼部107。該被提供給圖像信號編碼部107的圖像信號是與圖1的被提供給圖像信號編碼部107的圖像信號同樣的信號。同樣，切換部122根據(jù)判定部120的判定結(jié)果，僅將作為編碼對象的視點的深度信號提供給深度信號編碼部108。該被提供給深度信號編碼部108的圖像信號是與圖1的被提供給深度信號編碼部108的深度信號同樣的信號。接下來說明實施方式3的圖像編碼裝置400所進(jìn)行的多視點圖像的編碼處理步驟。圖沈是表示實施方式3的圖像編碼裝置400所進(jìn)行的多視點圖像的編碼處理步驟的流程圖。如上所述，實施方式3的圖像編碼裝置400根據(jù)內(nèi)容(contents)或場景的內(nèi)容來判斷需要編碼的圖像信號和深度信號的視點。圖沈所示的實施方式3的圖像編碼處理步驟是在需要編碼的圖像信號和深度信號的視點發(fā)生變化時，重新開始序列的，在這一點上其與圖19所示的實施方式1的圖像編碼處理步驟不同。在圖沈中，對與圖19相同的步驟標(biāo)注相同的標(biāo)號，下面僅說明與圖19不同的點。在圖沈的流程圖中，判定部120對應(yīng)編碼的圖像信號的視點和深度信號的視點進(jìn)行評價，判斷是否采用該視點的信號(S501)。僅被采用的信號進(jìn)入到步驟S502以后的處理。接下來，編碼管理部101判斷在步驟S501的處理中被采用的圖像信號和深度信號的視點是否發(fā)生了變化(S502)。在發(fā)生了變化時(S502為Y)和最開始時，進(jìn)入到步驟 S501，在沒有發(fā)生變化時(S502為N)，進(jìn)入到步驟Sl 13。步驟SlOl以后的處理與圖19的實施方式1的圖像編碼處理步驟相同，圖像信號和深度信號被編碼。只是在步驟SIM的處理中，如果判定為所有圖像信號和深度信號的編碼處理尚未完成(S124為N)，則反復(fù)進(jìn)行步驟S501至步驟SlM的編碼處理。實施方式1至3的圖像編碼處理和圖像解碼處理既可以通過具備能執(zhí)行該處理的硬件的發(fā)送裝置、存儲裝置、以及接收裝置來實現(xiàn)，也可以通過被存儲在ROM或閃存等中的固件或者計算機(jī)等的軟件來實現(xiàn)。既可以將該固件程序、軟件程序記錄在計算機(jī)可讀取的記錄介質(zhì)中來提供，也可以通過有線或無線的網(wǎng)絡(luò)而從服務(wù)器提供，還可以通過地上波或衛(wèi)星數(shù)字播放的數(shù)據(jù)播放的形式來提供。以上基于幾個實施方式說明了本發(fā)明。這些實施方式僅是例示，本領(lǐng)域技術(shù)人員當(dāng)理解其各構(gòu)成要素和各處理過程的組合可以有各種各樣的變形例，并且這樣的變形例也包含在本發(fā)明的范圍內(nèi)。標(biāo)號說明100圖像編碼裝置、101編碼管理部、102圖像信號用序列信息編碼部、103深度信號用序列信息編碼部、104圖像信號用圖像信息編碼部、105深度信號用圖像信息編碼部、 106攝像機(jī)參數(shù)信息編碼部、107圖像信號編碼部、108深度信號編碼部、109單元化部、110 參數(shù)信息編碼部、111深度信號生成部、120判定部、121，122切換部、300，301分解部、302解碼管理部、303基礎(chǔ)視點的圖像信號用序列信息解碼部、304包含MVC擴(kuò)展信息的序列信息解碼部、305圖像信息解碼部、306補(bǔ)充增強(qiáng)信息解碼部、307圖像信號解碼部、309深度信號解碼部、310解碼圖像緩存器、320參數(shù)信息解碼部、330虛擬視點圖像生成部。工業(yè)可利用性本發(fā)明能夠應(yīng)用于對從不同的多個視點拍攝到的圖像進(jìn)行編碼和解碼的領(lǐng)域。
權(quán)利要求
1.一種圖像編碼裝置，其特征在于，包括第1編碼部，對分別來自不同的多個視點的多個圖像進(jìn)行編碼，生成圖像編碼數(shù)據(jù)， 第2編碼部，對來自至少一個以上視點的表示特定空間的深度的深度信息進(jìn)行編碼， 生成深度信息編碼數(shù)據(jù)，以及流生成部，生成包含由上述第1編碼部和上述第2編碼部所分別生成的圖像編碼數(shù)據(jù)和深度信息編碼數(shù)據(jù)的編碼流。
2.如權(quán)利要求1所述的圖像編碼裝置，其特征在于，上述深度信息之來源視點的數(shù)量，被設(shè)定得比應(yīng)由上述第1編碼部編碼的圖像之來源視點的數(shù)量少。
3.一種圖像編碼方法，其特征在于，包括第1編碼步驟，對分別來自不同的多個視點的多個圖像進(jìn)行編碼，生成圖像編碼數(shù)據(jù)， 第2編碼步驟，對來自至少一個以上視點的表示特定空間的深度的深度信息進(jìn)行編碼，生成深度信息編碼數(shù)據(jù)，以及流生成步驟，生成包含由上述第1編碼步驟和上述第2編碼步驟所分別生成的圖像編碼數(shù)據(jù)和深度信息編碼數(shù)據(jù)的編碼流。
4.如權(quán)利要求3所述的圖像編碼方法，其特征在于，上述深度信息之來源視點的數(shù)量，被設(shè)定得比應(yīng)由上述第1編碼步驟編碼的圖像之來源視點的數(shù)量少。
5.一種圖像編碼裝置，其特征在于，包括第1編碼部，對分別來自不同的多個視點的多個圖像進(jìn)行編碼，生成圖像編碼數(shù)據(jù)， 第2編碼部，對來自至少一個以上視點的表示特定空間的深度的深度信息進(jìn)行編碼， 生成深度信息編碼數(shù)據(jù)，判定部，判定是否將來自某視點的深度信息作為編碼對象，以及流生成部，生成包含由上述第1編碼部生成的圖像編碼數(shù)據(jù)、和由上述第2編碼部對被上述判定部判定作為編碼對象的深度信息進(jìn)行編碼后的深度信息編碼數(shù)據(jù)的編碼流；其中，上述判定部在判定對象的深度信息之來源視點與已被決定成為編碼對象的其它深度信息之來源視點間的距離短于預(yù)定的基準(zhǔn)距離時，判定為不將上述判定對象的深度信息作為編碼對象。
6.如權(quán)利要求5所述的圖像編碼裝置，其特征在于，同一圖像內(nèi)的第1被攝物體與第2被攝物體間的距離越短，上述判定部就越減少應(yīng)判定作為編碼對象的深度信息的數(shù)量。
7.一種圖像編碼方法，其特征在于，包括第1編碼步驟，對分別來自不同的多個視點的多個圖像進(jìn)行編碼，生成圖像編碼數(shù)據(jù)， 第2編碼步驟，對來自至少一個以上視點的表示特定空間的深度的深度信息進(jìn)行編碼，生成深度信息編碼數(shù)據(jù)，判定步驟，判定是否將來自某視點的深度信息作為編碼對象，以及流生成步驟，生成包含由上述第1編碼步驟生成的圖像編碼數(shù)據(jù)、和由上述第2編碼步驟對被上述判定步驟判定作為編碼對象的深度信息進(jìn)行編碼后的深度信息編碼數(shù)據(jù)的編碼流；其中，上述判定步驟在判定對象的深度信息之來源視點與已被決定成為編碼對象的其它深度信息之來源視點間的距離短于預(yù)定的基準(zhǔn)距離時，判定為不將上述判定對象的深度信息作為編碼對象。
8.如權(quán)利要求7所述的圖像編碼方法，其特征在于，同一圖像內(nèi)的第1被攝物體與第2被攝物體間的距離越短，上述判定步驟就越減少應(yīng)判定作為編碼對象的深度信息的數(shù)量。
9.一種圖像解碼裝置，其特征在于，包括分解部，將包含圖像編碼數(shù)據(jù)和深度信息編碼數(shù)據(jù)的編碼流分解，其中，所述圖像編碼數(shù)據(jù)中被編碼有分別來自不同的多個視點的多個圖像，所述深度信息編碼數(shù)據(jù)中被編碼有來自至少一個以上視點的表示特定空間的深度的深度信息，第1解碼部，對被上述分解部分解出的圖像編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原多個圖像，以及第2解碼部，對被上述分解部分解出的深度信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原深度信息。
10.如權(quán)利要求9所述的圖像解碼裝置，其特征在于，還包括圖像生成部，基于由上述第1解碼部解碼出的圖像和由上述第2解碼部解碼出的深度信息，生成來自不同于該解碼出的圖像之來源視點的其它視點的圖像。
11.一種圖像解碼方法，其特征在于，包括分解步驟，將包含圖像編碼數(shù)據(jù)和深度信息編碼數(shù)據(jù)的編碼流分解，其中，所述圖像編碼數(shù)據(jù)中被編碼有分別來自不同的多個視點的多個圖像，所述深度信息編碼數(shù)據(jù)中被編碼有來自至少一個以上視點的表示特定空間的深度的深度信息，第1解碼步驟，對被上述分解步驟分解出的圖像編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原多個圖像，以及第2解碼步驟，對被上述分解步驟分解出的深度信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原深度信
12.如權(quán)利要求11所述的圖像解碼方法，其特征在于，還包括圖像生成步驟，基于由上述第1解碼步驟解碼出的圖像和由上述第2解碼步驟解碼出的深度信息，生成來自不同于該解碼出的圖像之來源視點的其它視點的圖像。
13.一種圖像編碼裝置，其特征在于，包括第1編碼部，對分別來自不同的多個視點的多個圖像進(jìn)行編碼，生成圖像編碼數(shù)據(jù)， 第2編碼部，對來自至少一個以上視點的表示特定空間的深度的深度信息進(jìn)行編碼， 生成深度信息編碼數(shù)據(jù)，第3編碼部，對包含視點信息的參數(shù)信息進(jìn)行編碼，生成參數(shù)信息編碼數(shù)據(jù)，其中，該視點信息用于確定上述多個圖像和上述深度信息之來源的多個視點，以及流生成部，生成包含由上述第1編碼部、上述第2編碼部、以及上述第3編碼部所分別生成的圖像編碼數(shù)據(jù)、深度信息編碼數(shù)據(jù)、以及參數(shù)信息編碼數(shù)據(jù)的編碼流。
14.如權(quán)利要求13所述的圖像編碼裝置，其特征在于，上述第1編碼部對上述多個圖像中、來自應(yīng)作為基準(zhǔn)的視點的圖像進(jìn)行編碼而生成第 1圖像編碼數(shù)據(jù)，并對其以外的圖像進(jìn)行編碼而生成第2圖像編碼數(shù)據(jù)；上述第3編碼部對上述多個圖像中來自上述應(yīng)作為基準(zhǔn)的視點的圖像的第1參數(shù)信息、其以外的圖像的第2參數(shù)信息、上述深度信息的第3參數(shù)信息分別進(jìn)行編碼，生成第1參數(shù)信息編碼數(shù)據(jù)、第2參數(shù)信息編碼數(shù)據(jù)、以及第3參數(shù)信息編碼數(shù)據(jù)；上述流生成部生成包含由上述第1編碼部、上述第2編碼部、以及上述第3編碼部所分別生成的第1圖像編碼數(shù)據(jù)、第2圖像編碼數(shù)據(jù)、深度信息編碼數(shù)據(jù)、第1參數(shù)信息編碼數(shù)據(jù)、第2參數(shù)信息編碼數(shù)據(jù)、以及第3參數(shù)信息編碼數(shù)據(jù)的編碼流。
15.如權(quán)利要求14所述的圖像編碼裝置，其特征在于，上述第3參數(shù)信息被以與上述第2參數(shù)信息的語法構(gòu)造對應(yīng)的語法構(gòu)造來記述。
16.如權(quán)利要求14或15所述的圖像編碼裝置，其特征在于， 上述第2參數(shù)信息和上述第3參數(shù)信息中被記述視點的識別信息；當(dāng)上述圖像之來源視點的位置與上述深度信息之來源視點的位置相一致時，這些視點被賦予共通的識別信息。
17.一種圖像編碼方法，其特征在于，包括第1編碼步驟，對分別來自不同的多個視點的多個圖像進(jìn)行編碼，生成圖像編碼數(shù)據(jù)， 第2編碼步驟，對來自至少一個以上視點的表示特定空間的深度的深度信息進(jìn)行編碼，生成深度信息編碼數(shù)據(jù)，第3編碼步驟，對包含視點信息的參數(shù)信息進(jìn)行編碼，生成參數(shù)信息編碼數(shù)據(jù)，其中， 該視點信息用于確定上述多個圖像和上述深度信息之來源的多個視點，以及流生成步驟，生成包含由上述第1編碼步驟、上述第2編碼步驟、以及上述第3編碼步驟所分別生成的圖像編碼數(shù)據(jù)、深度信息編碼數(shù)據(jù)、以及參數(shù)信息編碼數(shù)據(jù)的編碼流。
18.如權(quán)利要求17所述的圖像編碼方法，其特征在于，上述第1編碼步驟對上述多個圖像中、來自應(yīng)作為基準(zhǔn)的視點的圖像進(jìn)行編碼而生成第1圖像編碼數(shù)據(jù)，并對其以外的圖像進(jìn)行編碼而生成第2圖像編碼數(shù)據(jù)；上述第3編碼步驟對上述多個圖像中來自上述應(yīng)作為基準(zhǔn)的視點的圖像的第1參數(shù)信息、其以外的圖像的第2參數(shù)信息、上述深度信息的第3參數(shù)信息分別進(jìn)行編碼，生成第1 參數(shù)信息編碼數(shù)據(jù)、第2參數(shù)信息編碼數(shù)據(jù)、以及第3參數(shù)信息編碼數(shù)據(jù)；上述流生成步驟生成包含由上述第1編碼步驟、上述第2編碼步驟、以及上述第3編碼步驟所分別生成的第1圖像編碼數(shù)據(jù)、第2圖像編碼數(shù)據(jù)、深度信息編碼數(shù)據(jù)、第1參數(shù)信息編碼數(shù)據(jù)、第2參數(shù)信息編碼數(shù)據(jù)、以及第3參數(shù)信息編碼數(shù)據(jù)的編碼流。
19.如權(quán)利要求18所述的圖像編碼方法，其特征在于，上述第3參數(shù)信息被以與上述第2參數(shù)信息的語法構(gòu)造對應(yīng)的語法構(gòu)造來記述。
20.一種圖像編碼程序，其特征在于， 使計算機(jī)執(zhí)行以下處理第1編碼處理，對分別來自不同的多個視點的多個圖像進(jìn)行編碼，生成圖像編碼數(shù)據(jù)， 第2編碼處理，對來自至少一個以上視點的表示特定空間的深度的深度信息進(jìn)行編碼，生成深度信息編碼數(shù)據(jù)，第3編碼處理，對包含視點信息的參數(shù)信息進(jìn)行編碼，生成參數(shù)信息編碼數(shù)據(jù)，其中， 該視點信息用于確定上述多個圖像和上述深度信息之來源的多個視點，以及流生成處理，生成包含由上述第1編碼處理、上述第2編碼處理、以及上述第3編碼處理所分別生成的圖像編碼數(shù)據(jù)、深度信息編碼數(shù)據(jù)、以及參數(shù)信息編碼數(shù)據(jù)的編碼流。
21.如權(quán)利要求20所述的圖像編碼程序，其特征在于，上述第1編碼處理對上述多個圖像中、來自應(yīng)作為基準(zhǔn)的視點的圖像進(jìn)行編碼而生成第1圖像編碼數(shù)據(jù)，并對其以外的圖像進(jìn)行編碼而生成第2圖像編碼數(shù)據(jù)；上述第3編碼處理對上述多個圖像中來自上述應(yīng)作為基準(zhǔn)的視點的圖像的第1參數(shù)信息、其以外的圖像的第2參數(shù)信息、上述深度信息的第3參數(shù)信息分別進(jìn)行編碼，生成第1 參數(shù)信息編碼數(shù)據(jù)、第2參數(shù)信息編碼數(shù)據(jù)、以及第3參數(shù)信息編碼數(shù)據(jù)；上述流生成處理生成包含由上述第1編碼處理、上述第2編碼處理、以及上述第3編碼處理所分別生成的第1圖像編碼數(shù)據(jù)、第2圖像編碼數(shù)據(jù)、深度信息編碼數(shù)據(jù)、第1參數(shù)信息編碼數(shù)據(jù)、第2參數(shù)信息編碼數(shù)據(jù)、以及第3參數(shù)信息編碼數(shù)據(jù)的編碼流。
22.如權(quán)利要求21所述的圖像編碼程序，其特征在于，上述第3參數(shù)信息被以與上述第2參數(shù)信息的語法構(gòu)造對應(yīng)的語法構(gòu)造來記述。
23.一種圖像解碼裝置，其特征在于，包括分解部，將包含圖像編碼數(shù)據(jù)、深度信息編碼數(shù)據(jù)、參數(shù)信息編碼數(shù)據(jù)的編碼流分解， 其中，所述圖像編碼數(shù)據(jù)中被編碼有分別來自不同的多個視點的多個圖像，所述深度信息編碼數(shù)據(jù)中被編碼有來自至少一個以上視點的表示特定空間的深度的深度信息，所述參數(shù)信息編碼數(shù)據(jù)中被編碼有包含視點信息的參數(shù)信息，該視點信息用于確定上述多個圖像和上述深度信息之來源的多個視點，第1解碼部，對被上述分解部分解出的圖像編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原多個圖像， 第2解碼部，對被上述分解部分解出的深度信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原深度信息，以及第3解碼部，對被上述分解部分解出的參數(shù)信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原上述參數(shù)信肩、ο
24.如權(quán)利要求23所述的圖像解碼裝置，其特征在于，還包括圖像生成部，基于由上述第1解碼部解碼出的圖像、由上述第2解碼部解碼出的深度信息、由上述第3解碼部解碼出的參數(shù)信息，生成來自虛擬視點的圖像。
25.如權(quán)利要求23或M所述的圖像解碼裝置，其特征在于， 上述第1解碼部對被編碼有上述多個圖像中來自應(yīng)作為基準(zhǔn)的視點的圖像的第1圖像編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該圖像，并且對被編碼有上述多個圖像中來自上述應(yīng)作為基準(zhǔn)的視點的圖像以外的圖像的第2圖像編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該圖像； 上述第3解碼部對被編碼有上述多個圖像中來自上述應(yīng)作為基準(zhǔn)的視點的圖像的第1參數(shù)信息的第1 參數(shù)信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該第1參數(shù)信息，對被編碼有上述多個圖像中來自上述應(yīng)作為基準(zhǔn)的視點的圖像以外的圖像的第2參數(shù)信息的第2參數(shù)信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該第2參數(shù)信息，并且，對被編碼有上述深度信息的第3參數(shù)信息的第3參數(shù)信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該第3參數(shù)信息。
26.如權(quán)利要求25所述的圖像解碼裝置，其特征在于，上述第3參數(shù)信息是以與上述第2參數(shù)信息的語法構(gòu)造對應(yīng)的語法構(gòu)造來記述的。
27.如權(quán)利要求25或沈所述的圖像解碼裝置，其特征在于， 上述第2參數(shù)信息和上述第3參數(shù)信息中被記述視點的識別信息；當(dāng)上述圖像之來源視點的位置與上述深度信息之來源視點的位置相一致時，這些視點被賦予共通的識別信息。
28.一種圖像解碼方法，其特征在于，包括分解步驟，將包含圖像編碼數(shù)據(jù)、深度信息編碼數(shù)據(jù)、參數(shù)信息編碼數(shù)據(jù)的編碼流分解，其中，所述圖像編碼數(shù)據(jù)中被編碼有分別來自不同的多個視點的多個圖像，所述深度信息編碼數(shù)據(jù)中被編碼有來自至少一個以上視點的表示特定空間的深度的深度信息，所述參數(shù)信息編碼數(shù)據(jù)中被編碼有包含視點信息的參數(shù)信息，該視點信息用于確定上述多個圖像和上述深度信息之來源的多個視點，第1解碼步驟，對被上述分解步驟分解出的圖像編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原多個圖像， 第2解碼步驟，對被上述分解步驟分解出的深度信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原深度信息，以及第3解碼步驟，對被上述分解步驟分解出的參數(shù)信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原上述參數(shù)信息。
29.如權(quán)利要求觀所述的圖像解碼方法，其特征在于，還包括圖像生成步驟，基于由上述第1解碼步驟解碼出的圖像、由上述第2解碼步驟解碼出的深度信息、由上述第3解碼步驟解碼出的參數(shù)信息，生成來自虛擬視點的圖像。
30.如權(quán)利要求觀或四所述的圖像解碼方法，其特征在于， 上述第1解碼步驟對被編碼有上述多個圖像中來自應(yīng)作為基準(zhǔn)的視點的圖像的第1圖像編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該圖像，并且對被編碼有上述多個圖像中來自上述應(yīng)作為基準(zhǔn)的視點的圖像以外的圖像的第2圖像編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該圖像； 上述第3解碼步驟對被編碼有上述多個圖像中來自上述應(yīng)作為基準(zhǔn)的視點的圖像的第1參數(shù)信息的第1 參數(shù)信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該第1參數(shù)信息，對被編碼有上述多個圖像中來自上述應(yīng)作為基準(zhǔn)的視點的圖像以外的圖像的第2參數(shù)信息的第2參數(shù)信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該第2參數(shù)信息，并且，對被編碼有上述深度信息的第3參數(shù)信息的第3參數(shù)信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該第3參數(shù)信息。
31.如權(quán)利要求30所述的圖像解碼方法，其特征在于，上述第3參數(shù)信息是以與上述第2參數(shù)信息的語法構(gòu)造對應(yīng)的語法構(gòu)造來記述的。
32.—種圖像解碼程序，其特征在于， 使計算機(jī)執(zhí)行以下處理分解處理，將包含圖像編碼數(shù)據(jù)、深度信息編碼數(shù)據(jù)、參數(shù)信息編碼數(shù)據(jù)的編碼流分解，其中，所述圖像編碼數(shù)據(jù)中被編碼有分別來自不同的多個視點的多個圖像，所述深度信息編碼數(shù)據(jù)中被編碼有來自至少一個以上視點的表示特定空間的深度的深度信息，所述參數(shù)信息編碼數(shù)據(jù)中被編碼有包含視點信息的參數(shù)信息，該視點信息用于確定上述多個圖像和上述深度信息之來源的多個視點，第1解碼處理，對被上述分解處理分解出的圖像編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原多個圖像， 第2解碼處理，對被上述分解處理分解出的深度信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原深度信息，以及第3解碼處理，對被上述分解處理分解出的參數(shù)信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原上述參數(shù)信息。
33.如權(quán)利要求32所述的圖像解碼程序，其特征在于，還使計算機(jī)執(zhí)行圖像生成處理，基于由上述第1解碼處理解碼出的圖像、由上述第2解碼處理解碼出的深度信息、由上述第3解碼處理解碼出的參數(shù)信息，生成來自虛擬視點的圖像。
34.如權(quán)利要求32或33所述的圖像解碼程序，其特征在于， 上述第1解碼處理對被編碼有上述多個圖像中來自應(yīng)作為基準(zhǔn)的視點的圖像的第1圖像編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該圖像，并且對被編碼有上述多個圖像中來自上述應(yīng)作為基準(zhǔn)的視點的圖像以外的圖像的第2圖像編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該圖像； 上述第3解碼處理對被編碼有上述多個圖像中來自上述應(yīng)作為基準(zhǔn)的視點的圖像的第1參數(shù)信息的第1 參數(shù)信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該第1參數(shù)信息，對被編碼有上述多個圖像中來自上述應(yīng)作為基準(zhǔn)的視點的圖像以外的圖像的第2參數(shù)信息的第2參數(shù)信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該第2參數(shù)信息，并且，對被編碼有上述深度信息的第3參數(shù)信息的第3參數(shù)信息編碼數(shù)據(jù)進(jìn)行解碼，復(fù)原該第3參數(shù)信息。
35.如權(quán)利要求34所述的圖像解碼程序，其特征在于，上述第3參數(shù)信息是以與上述第2參數(shù)信息的語法構(gòu)造對應(yīng)的語法構(gòu)造來記述的。
全文摘要
圖像信號編碼部(107)對分別來自不同的多個視點的多個圖像進(jìn)行編碼，生成圖像編碼數(shù)據(jù)。深度信息編碼部(例如深度信號編碼部(108))對來自至少一個以上視點的表示特定空間的深度的深度信息進(jìn)行編碼，生成深度信息編碼數(shù)據(jù)。單元化部(109)生成包含由圖像信號編碼部(107)和深度信息編碼部所分別生成的圖像編碼數(shù)據(jù)和深度信息編碼數(shù)據(jù)編碼流。
文檔編號H04N7/26GK102265617SQ20098015284
公開日2011年11月30日 申請日期2009年12月9日 優(yōu)先權(quán)日2008年12月26日
發(fā)明者上田基晴, 中村博哉 申請人:日本勝利株式會社