運(yùn)動(dòng)補(bǔ)償預(yù)測殘差的量為閾值以下的情況下，使用運(yùn)動(dòng)信息來生成 視點(diǎn)合成圖像。
[0082]作為又一方法，也存在使用在參照視點(diǎn)時(shí)間間隔T的解碼圖像DecIVT來決定選擇 運(yùn)動(dòng)信息和視差矢量之中的哪一個(gè)的方法。例如，使用在參照視點(diǎn)的編碼完畢的活動(dòng)圖像， 生成在區(qū)域sblk+dvsblk中使用針對(duì)sblk生成的運(yùn)動(dòng)信息來進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測時(shí)的預(yù)測殘 差來使用也可。具體地，在所生成的預(yù)測殘差的量比預(yù)先確定的閾值大的情況下，使用視差 矢量來生成視點(diǎn)合成圖像，在該量為閾值以下的情況下，使用運(yùn)動(dòng)信息來生成視點(diǎn)合成圖 像。再有，使用下面的數(shù)式表示此時(shí)使用的預(yù)測殘差ResIVMC。
[0084]作為使用了DecIVT的另一方法，除了ResIVMC之外，也存在生成下面的預(yù)測殘差 ResPas11V來使用的方法。具體地，將I Res IVMCI和I Re sPas11VI比較，在I Res IVMCI更小的情 況下，使用運(yùn)動(dòng)信息來生成視點(diǎn)合成圖像，在IResPastIVl更小的情況下，使用視差矢量來 生成視點(diǎn)合成圖像。在兩者相等的情況下，使用任一個(gè)也可，使用雙方也可。
[0086] 此外，設(shè)定閾值，將I Res IVMCI和I ResPast IVI分別與所設(shè)定的閾值比較，僅使用比 閾值小的值所對(duì)應(yīng)的信息來生成視點(diǎn)合成圖像也可。此時(shí)，在雙方比閾值大的情況下，按照 前述的規(guī)則僅使用具有更小的值的殘差所對(duì)應(yīng)的信息也可，使用雙方也可。
[0087] 此外，在使用在參照視點(diǎn)的時(shí)間間隔T的解碼圖像DecIVT的情況下，按照下面的數(shù) 式來生成視點(diǎn)合成圖像或其候補(bǔ)也可。
[0089] 在此，wO和wl為另外確定的權(quán)重系數(shù)，只要為與解碼側(cè)相同的值，則怎樣決定都可 以。例如，也可以使用預(yù)先確定的值。在將按照上述數(shù)式生成的圖像用作視點(diǎn)合成圖像的候 補(bǔ)的情況下，代替僅使用根據(jù)前述的參照視點(diǎn)運(yùn)動(dòng)信息生成的運(yùn)動(dòng)信息來生成的視點(diǎn)合成 圖像或者代替僅使用按照每個(gè)子區(qū)域得到的視差矢量來生成的視點(diǎn)合成圖像而使用按照 上述數(shù)式生成的圖像也可，將按照上述數(shù)式生成的圖像作為另外的候補(bǔ)添加到選擇項(xiàng)也 可。
[0090] 接著，對(duì)本實(shí)施方式的活動(dòng)圖像解碼裝置進(jìn)行說明。圖4是示出本實(shí)施方式的活動(dòng) 圖像解碼裝置的結(jié)構(gòu)的框圖?；顒?dòng)圖像解碼裝置200如圖4所示那樣具備:位流輸入部201、 位流存儲(chǔ)器202、參照視點(diǎn)運(yùn)動(dòng)信息輸入部203、深度圖輸入部204、運(yùn)動(dòng)信息生成部205、視 點(diǎn)合成圖像生成部206、圖像解碼部207、以及參照?qǐng)D像存儲(chǔ)器208。
[0091] 位流輸入部201輸入成為解碼對(duì)象的活動(dòng)圖像的位流。在以下，將該成為解碼對(duì)象 的活動(dòng)圖像的1幀稱為解碼對(duì)象圖像。在此，解碼對(duì)象圖像指攝像機(jī)B的活動(dòng)圖像的1幀。此 外，在以下，將拍攝了解碼對(duì)象圖像的視點(diǎn)（在此為攝像機(jī)B)稱為解碼對(duì)象視點(diǎn)。位流存儲(chǔ) 器202存儲(chǔ)所輸入的針對(duì)解碼對(duì)象圖像的位流。參照視點(diǎn)運(yùn)動(dòng)信息輸入部203輸入針對(duì)參照 視點(diǎn)的活動(dòng)圖像的運(yùn)動(dòng)信息(運(yùn)動(dòng)矢量等）。在以下，將在此輸入的運(yùn)動(dòng)信息稱為參照視點(diǎn) 運(yùn)動(dòng)信息，在此，假設(shè)輸入攝像機(jī)A的運(yùn)動(dòng)信息。
[0092] 深度圖輸入部204輸入在生成視點(diǎn)合成圖像時(shí)參照的深度圖。在此，假設(shè)輸入針對(duì) 解碼對(duì)象圖像的深度圖，但是，也可以為針對(duì)參照視點(diǎn)等另外的視點(diǎn)的深度圖。再有，深度 圖是指表示在對(duì)應(yīng)的圖像的各像素中顯現(xiàn)的被攝物的三維位置。關(guān)于深度圖，只要為利用 另外提供的攝像機(jī)參數(shù)等信息來得到三維位置的信息，則為怎樣的信息都可以。例如，能夠 使用從攝像機(jī)到被攝物的距離、相對(duì)于與圖像平面不平行的軸的坐標(biāo)值、針對(duì)另外的攝像 機(jī)(例如攝像機(jī)A)的視差量。此外，在此，只要得到視差量即可，因此，不是使用深度圖而是 使用直接表現(xiàn)視差量的視差圖也可。再有，在此，深度圖以圖像的方式給出，但是，只要得到 同樣的信息，則也可以不是圖像的方式。
[0093]運(yùn)動(dòng)信息生成部205使用參照視點(diǎn)運(yùn)動(dòng)信息和深度圖來生成針對(duì)解碼對(duì)象圖像的 運(yùn)動(dòng)信息。視點(diǎn)合成圖像生成部206基于被生成的運(yùn)動(dòng)信息根據(jù)參照?qǐng)D像來生成針對(duì)編碼 對(duì)象圖像的視點(diǎn)合成圖像。圖像解碼部207-邊使用視點(diǎn)合成圖像一邊根據(jù)位流對(duì)解碼對(duì) 象圖像進(jìn)行解碼并輸出。參照?qǐng)D像存儲(chǔ)器208蓄積所得到的解碼對(duì)象圖像，以便以后的解 碼。
[0094] 接著，參照?qǐng)D5來說明圖4所示的活動(dòng)圖像解碼裝置200的工作。圖5是示出圖4所示 的活動(dòng)圖像解碼裝置200的工作的流程圖。首先，位流輸入部201輸入對(duì)解碼對(duì)象圖像進(jìn)行 編碼后的位流，將所輸入的位流存儲(chǔ)到位流存儲(chǔ)器202中（步驟S201)。接著，參照視點(diǎn)運(yùn)動(dòng) 信息輸入部20 3輸入?yún)⒄找朁c(diǎn)運(yùn)動(dòng)信息，將所輸入的參照視點(diǎn)運(yùn)動(dòng)信息向運(yùn)動(dòng)信息生成部 205輸出，深度圖輸入部204輸入深度圖，將所輸入的深度圖向運(yùn)動(dòng)信息生成部205輸出（步 驟S202)。
[0095] 再有，假設(shè)在步驟S202中輸入的參照視點(diǎn)運(yùn)動(dòng)信息和深度圖與在編碼側(cè)使用的信 息相同。這是因?yàn)?，通過使用與由活動(dòng)圖像編碼裝置得到的信息完全相同的信息，從而抑制 漂移等編碼噪聲的產(chǎn)生。但是，在容許那樣的編碼噪聲的產(chǎn)生的情況下，也可以輸入與在編 碼時(shí)使用的信息不同的信息。關(guān)于深度圖，除了另外解碼后的信息以外，有時(shí)也使用通過對(duì) 針對(duì)多個(gè)攝像機(jī)而解碼后的多視點(diǎn)圖像應(yīng)用立體匹配等而估計(jì)出的深度圖或者使用解碼 后的視差矢量或運(yùn)動(dòng)矢量等而估計(jì)出的深度圖等。
[0096] 關(guān)于參照視點(diǎn)運(yùn)動(dòng)信息，也可以使用在對(duì)針對(duì)參照視點(diǎn)的圖像進(jìn)行解碼時(shí)使用的 運(yùn)動(dòng)信息，也可以為針對(duì)參照視點(diǎn)另外編碼后的信息。此外，也能夠?qū)︶槍?duì)參照視點(diǎn)的活動(dòng) 圖像進(jìn)行解碼而使用根據(jù)此估計(jì)而得到的運(yùn)動(dòng)信息。
[0097] 在位流、參照視點(diǎn)運(yùn)動(dòng)信息、深度圖的輸入結(jié)束之后，將解碼對(duì)象圖像分割為預(yù)先 確定的大小的區(qū)域，按照每個(gè)所分割的區(qū)域根據(jù)位流對(duì)解碼對(duì)象圖像的視頻信號(hào)進(jìn)行解碼 (步驟S203~S208)。即，當(dāng)假設(shè)使用blk表示解碼對(duì)象區(qū)域索引并且使用numBlks表示1幀中 的總解碼對(duì)象區(qū)域數(shù)量時(shí)，使用〇初始化b I k (步驟S 2 0 3 )，之后，一邊對(duì)b I k加上1 (步驟 S207)，一邊重復(fù)進(jìn)行以下的處理（步驟S204~S206)直到blk變?yōu)閚umBlks(步驟S208)。在通 常的解碼中，向16像素 X 16像素的被稱為宏塊的處理單位塊分割，但是，只要與編碼側(cè)相 同，貝1J也可以分割為其他的大小的塊。
[0098] 在按照每個(gè)解碼對(duì)象區(qū)域重復(fù)的處理中，首先，運(yùn)動(dòng)信息生成部205生成解碼對(duì)象 區(qū)域blk中的運(yùn)動(dòng)信息（步驟S204)。在此的處理與前述的步驟S104相同。在得到針對(duì)解碼對(duì) 象區(qū)域blk的運(yùn)動(dòng)信息之后，視點(diǎn)合成圖像生成部206按照該運(yùn)動(dòng)信息根據(jù)蓄積在參照?qǐng)D像 存儲(chǔ)器208中的圖像來生成針對(duì)解碼對(duì)象區(qū)域blk的視點(diǎn)合成圖像Syn(步驟S205)。在此的 處理與前述的步驟S105相同。
[0099] 接著，在得到視點(diǎn)合成圖像之后，圖像解碼部207將視點(diǎn)合成圖像用作預(yù)測圖像， 根據(jù)位流對(duì)解碼對(duì)象圖像進(jìn)行解碼(步驟S206)。所得到的解碼對(duì)象圖像被蓄積到參照?qǐng)D像 存儲(chǔ)器208中，并且，成為活動(dòng)圖像解碼裝置200的輸出。
[0100] 在解碼對(duì)象圖像的解碼中使用與在編碼時(shí)使用的方法對(duì)應(yīng)的方法。例如，在使用 了MPEG-2、H. 264/AVC等通常的編碼的情況下，對(duì)碼數(shù)據(jù)依次實(shí)施熵解碼、逆二值化、逆量 化、IDCT(Inverse Discrete Cosine Transform)等頻率逆變換，對(duì)所得到的二維信號(hào)加上 預(yù)測圖像，最后在像素值的值域中進(jìn)行裁剪，由此，對(duì)視頻信號(hào)進(jìn)行解碼。
[0101]在前述的說明中，按照對(duì)編碼對(duì)象圖像或者解碼對(duì)象圖像進(jìn)行分割后的區(qū)域的每 一個(gè)進(jìn)行了運(yùn)動(dòng)信息的生成和視點(diǎn)合成圖像的生成，但是，也可以針對(duì)編碼對(duì)象圖像或解 碼對(duì)象圖像的整體生成運(yùn)動(dòng)信息或者運(yùn)動(dòng)信息和視點(diǎn)合成圖像雙方。在針對(duì)圖像整體生成 運(yùn)動(dòng)信息的情況下，需要對(duì)所生成的運(yùn)動(dòng)信息進(jìn)行緩沖的存儲(chǔ)器。此外，在針對(duì)圖像整體生 成運(yùn)動(dòng)信息和視點(diǎn)合成圖像雙方的情況下，需要用于蓄積所生成的視點(diǎn)合成圖像的存儲(chǔ) 器。
[0102] 此外，在前述的說明中，作為對(duì)圖像整體進(jìn)行編碼/解碼的處理，說明了本手法的 處理，但是，也能夠僅對(duì)圖像的一部分應(yīng)用處理。在該情況下，判斷是否應(yīng)用處理，對(duì)示出應(yīng) 用的是否需要的標(biāo)志進(jìn)行編碼或解碼也可，使用任何另外的方案來指定應(yīng)用的是否需要也 可。例如，作為示出生成每個(gè)區(qū)域的預(yù)測圖像的手法的模式之一，使用表現(xiàn)應(yīng)用的是否需要 的方法也可。
[0103] 像這樣，在使用根據(jù)深度圖求取的視差來生成視點(diǎn)合成圖像時(shí)，不是在視點(diǎn)間直 接預(yù)測像素值，而是在視點(diǎn)間預(yù)測運(yùn)動(dòng)矢量之后，在時(shí)間方向上預(yù)測像素值，由此，即使在 由深度圖表現(xiàn)的視差的精度低的情況下，也能夠?qū)崿F(xiàn)小數(shù)像素精度（fractional pixel accuracy )的預(yù)測，能夠以少的碼量對(duì)多視點(diǎn)活動(dòng)圖像進(jìn)行編碼。
[0104] 圖6是示出通過計(jì)算機(jī)和軟件程序構(gòu)成前述的活動(dòng)圖像編碼裝置100的情況下的 硬件結(jié)構(gòu)的框圖。圖6所示的系統(tǒng)為以總線連接有以下各部的結(jié)構(gòu)：執(zhí)行程序的CPU (Central Processing Unit，中央處理單元）50、CPU50訪問的儲(chǔ)存有程序、數(shù)據(jù)的RAM (Random Access Memory，隨機(jī)存取存儲(chǔ)器)等存儲(chǔ)器51、輸入來自攝像機(jī)等的編碼對(duì)象的 圖像信號(hào)的編碼對(duì)象圖像輸入部52(也可以是利用磁盤裝置等的存儲(chǔ)圖像信號(hào)的存儲(chǔ)部）、 從存儲(chǔ)器等輸入?yún)⒄找朁c(diǎn)的運(yùn)動(dòng)信息的參照視點(diǎn)運(yùn)動(dòng)信息輸入部53(也可以是利用磁盤裝 置等的存儲(chǔ)運(yùn)動(dòng)信息的存儲(chǔ)部）、輸入來自深度攝像機(jī)等的針對(duì)拍攝了編碼對(duì)象圖像的視 點(diǎn)的深度圖的深度圖輸入部54(也可以是利用磁盤裝置等的存儲(chǔ)深度圖的存儲(chǔ)部）、儲(chǔ)存有 使CPU50執(zhí)行活動(dòng)圖像編碼處理的軟件程序即圖像編碼程序551的程序存儲(chǔ)裝置55、以及例 如經(jīng)由網(wǎng)絡(luò)輸出通過CPU50執(zhí)行被加載到存儲(chǔ)器51中的圖像編碼程序551而生成的位流的 位流輸出部56(也可以是利用磁盤裝置等的存儲(chǔ)位流的存儲(chǔ)部）。
[0105] 圖7是示出通過計(jì)算機(jī)和軟件程序構(gòu)成前述的活動(dòng)圖像解碼裝置200的情況下的 硬件結(jié)構(gòu)的框圖。圖7所示的系統(tǒng)為以總線連接有以下各部的結(jié)構(gòu)：執(zhí)行程序的CPU60、 CPU60訪問的儲(chǔ)存有程序、數(shù)據(jù)的RAM等存儲(chǔ)器51、輸入活動(dòng)圖像編碼裝置利用本手法來進(jìn) 行編碼后的位流的位流輸入部62(也可以是利用磁盤裝置等的存儲(chǔ)位流的存儲(chǔ)部）、輸入來 自攝像機(jī)等的參照視點(diǎn)的運(yùn)動(dòng)信息的參照視點(diǎn)運(yùn)動(dòng)信息輸入部63(也可以是利用磁盤裝置 等的存儲(chǔ)運(yùn)動(dòng)信息的存儲(chǔ)部）、輸入來自深度攝像機(jī)等的針對(duì)拍攝了解碼對(duì)象的視點(diǎn)的深 度圖的深度圖輸入部64(也可以是利用磁盤裝置等的存儲(chǔ)深度信息的存儲(chǔ)部）、儲(chǔ)存有使 CPU60執(zhí)行圖像解碼處理的軟件程序即圖像解碼程序651的程序存儲(chǔ)裝置65、以及將通過 CPU60執(zhí)行被加載到存儲(chǔ)器61中的圖像解碼程序651來對(duì)位流進(jìn)行解碼而得到的解碼對(duì)象 圖像輸出到再生裝置等中的解碼對(duì)象圖像輸出部66(也可以是利用磁盤裝置等的存儲(chǔ)圖像 信號(hào)的存儲(chǔ)部）。
[0106] 也可以通過計(jì)算機(jī)實(shí)現(xiàn)前述的實(shí)施方式中的活動(dòng)圖像編碼裝置100和活動(dòng)圖像解 碼裝置200。在該情況下，將用于實(shí)現(xiàn)該功能的程序記錄在計(jì)算機(jī)可讀取的記錄介質(zhì)中，使 計(jì)算機(jī)系統(tǒng)讀入記錄在該記錄介質(zhì)中的程序并執(zhí)行，由此，也可以實(shí)現(xiàn)活動(dòng)圖像編碼裝置 100和活動(dòng)圖像解碼裝置200。再有，在此所說的"計(jì)算機(jī)系統(tǒng)"包含0S(0perating System， 操作系統(tǒng)）、周圍設(shè)備等硬件。此外，"計(jì)算機(jī)可讀取的記錄介質(zhì)"是指軟盤、光磁盤