述預測區(qū)域中的所述運動信息來生成針對所述預測區(qū)域的預測圖像。
[0026] 在本發(fā)明的活動圖像解碼裝置中，所述視差矢量生成部還針對所述解碼對象區(qū)域 生成針對所述深度圖的視差矢量，所述對應(yīng)區(qū)域設(shè)定部將由針對所述深度圖的所述視差矢 量示出的區(qū)域設(shè)定為所述對應(yīng)區(qū)域也可。
[0027] 在本發(fā)明的活動圖像解碼裝置中，所述視差矢量生成部使用在對與所述解碼對象 區(qū)域鄰接的區(qū)域進行解碼時使用的視差矢量來設(shè)定針對所述深度圖的所述視差矢量也可。
[0028] 在本發(fā)明的活動圖像解碼裝置中，所述區(qū)域分割部基于所述對應(yīng)區(qū)域內(nèi)的深度信 息來設(shè)定針對所述解碼對象區(qū)域的區(qū)域分割也可。
[0029] 在本發(fā)明的活動圖像解碼裝置中，所述視差矢量生成部按照每個所述預測區(qū)域根 據(jù)所述對應(yīng)區(qū)域內(nèi)的該預測區(qū)域所對應(yīng)的所述區(qū)域中的所述深度信息設(shè)定代表深度，基于 該代表深度來設(shè)定針對所述參照視點的所述視差矢量也可。
[0030] 在本發(fā)明的活動圖像解碼裝置中，所述運動信息生成部使用針對所述預測區(qū)域預 先確定的像素的位置和針對所述參照視點的所述視差矢量來求取在所述參照視點的對應(yīng) 位置，將所述參照視點運動信息之中的針對包含該對應(yīng)位置的區(qū)域提供的運動信息作為所 述預測區(qū)域中的所述運動信息也可。
[0031] 在本發(fā)明的活動圖像解碼裝置中，還具備參照圖像設(shè)定部，所述參照圖像設(shè)定部 針對所述解碼對象圖像將在解碼對象視點的與所述解碼對象圖像不同的已經(jīng)解碼完畢的1 幀設(shè)定為參照圖像，所述運動信息生成部配合所述解碼對象圖像與所述參照圖像的時間間 隔縮放根據(jù)所述參照視點運動信息得到的運動信息，由此，生成所述預測區(qū)域中的所述運 動信息也可。
[0032] 在本發(fā)明的活動圖像解碼裝置中，所述預測圖像生成部使用第一預測圖像和第二 預測圖像來生成針對所述預測區(qū)域的所述預測圖像，所述第一預測圖像使用所述預測區(qū)域 中的所述運動信息來生成，所述第二預測圖像使用針對所述參照視點的所述視差矢量和所 述參照視點圖像來生成也可。
[0033] 本發(fā)明的一個方式是，一種活動圖像編碼方法，在對由多個不同的視點的活動圖 像構(gòu)成的多視點活動圖像的1幀進行編碼時，使用針對與編碼對象圖像不同的參照視點的 參照視點圖像的運動信息即參照視點運動信息和針對所述多視點活動圖像中的被攝物的 深度圖，一邊在不同的視點間進行預測一邊按照作為對所述編碼對象圖像進行分割后的區(qū) 域的編碼對象區(qū)域的每一個進行編碼，其中，所述活動圖像編碼方法具有:對應(yīng)區(qū)域設(shè)定步 驟，針對所述編碼對象區(qū)域設(shè)定所述深度圖上的對應(yīng)區(qū)域;區(qū)域分割步驟，設(shè)定作為對所述 編碼對象區(qū)域進行分割后的區(qū)域的預測區(qū)域;視差矢量生成步驟，按照每個所述預測區(qū)域， 使用所述對應(yīng)區(qū)域內(nèi)的該預測區(qū)域所對應(yīng)的區(qū)域中的深度信息來生成針對所述參照視點 的視差矢量;運動信息生成步驟，基于針對所述參照視點的所述視差矢量，根據(jù)所述參照視 點運動信息來生成所述預測區(qū)域中的運動信息；以及預測圖像生成步驟，使用所述預測區(qū) 域中的所述運動信息來生成針對所述預測區(qū)域的預測圖像。
[0034] 本發(fā)明的一個方式是，一種活動圖像解碼方法，在根據(jù)由多個不同的視點的活動 圖像構(gòu)成的多視點活動圖像的碼數(shù)據(jù)對解碼對象圖像進行解碼時，使用針對與所述解碼對 象圖像不同的參照視點的參照視點圖像的運動信息即參照視點運動信息和針對所述多視 點活動圖像中的被攝物的深度圖，一邊在不同的視點間進行預測一邊按照作為對所述解碼 對象圖像進行分割后的區(qū)域的解碼對象區(qū)域的每一個進行解碼，其中，所述活動圖像解碼 方法具有:對應(yīng)區(qū)域設(shè)定步驟，針對所述解碼對象區(qū)域設(shè)定所述深度圖上的對應(yīng)區(qū)域;區(qū)域 分割步驟，設(shè)定作為對所述解碼對象區(qū)域進行分割后的區(qū)域的預測區(qū)域;視差矢量生成步 驟，按照每個所述預測區(qū)域，使用所述對應(yīng)區(qū)域內(nèi)的該預測區(qū)域所對應(yīng)的區(qū)域中的深度信 息來生成針對所述參照視點的視差矢量;運動信息生成步驟，基于針對所述參照視點的所 述視差矢量，根據(jù)所述參照視點運動信息來生成所述預測區(qū)域中的運動信息；以及預測圖 像生成步驟，使用所述預測區(qū)域中的所述運動信息來生成針對所述預測區(qū)域的預測圖像。 [0035]本發(fā)明的一個方式是，一種活動圖像編碼程序，用于使計算機執(zhí)行所述活動圖像 編碼方法。
[0036]本發(fā)明的一個方式是，一種活動圖像解碼程序，用于使計算機執(zhí)行所述活動圖像 解碼方法。
[0037]發(fā)明效果 根據(jù)本發(fā)明，得到如下這樣的效果：即使在由深度圖表現(xiàn)的視差的精度低的情況下，也 能夠?qū)崿F(xiàn)小數(shù)像素精度的預測，能夠以少的碼量對多視點活動圖像進行編碼。
【附圖說明】
[0038]圖1是示出本發(fā)明的一個實施方式的活動圖像編碼裝置的結(jié)構(gòu)的框圖。
[0039 ]圖2是示出圖1所示的活動圖像編碼裝置100的工作的流程圖。
[0040] 圖3是示出圖1所示的運動信息生成部105中的生成運動信息的工作(步驟S104)的 詳細處理工作的流程圖。
[0041] 圖4是示出本發(fā)明的一個實施方式的活動圖像解碼裝置的結(jié)構(gòu)的框圖。
[0042] 圖5是示出圖4所示的活動圖像解碼裝置200的工作的流程圖。
[0043] 圖6是示出通過計算機和軟件程序構(gòu)成圖1所示的活動圖像編碼裝置100的情況下 的硬件結(jié)構(gòu)的框圖。
[0044] 圖7是示出通過計算機和軟件程序構(gòu)成圖4所示的活動圖像解碼裝置200的情況下 的硬件結(jié)構(gòu)的框圖。
[0045] 圖8是示出在攝像機間產(chǎn)生的視差的概念圖。
[0046] 圖9是對極幾何約束的概念圖。
【具體實施方式】
[0047] 以下，參照附圖來對本發(fā)明的實施方式的活動圖像編碼裝置和活動圖像解碼裝置 進行說明。在以下的說明中，說明設(shè)想對使用第一攝像機(稱為攝像機A)、第二攝像機(稱為 攝像機B)這2個攝像機拍攝的多視點活動圖像進行編碼的情況，并將攝像機A作為參照視點 來對攝像機B的活動圖像的1幀進行編碼或解碼。再有，假設(shè)另外提供為了根據(jù)深度信息得 到視差而需要的信息。具體地，該信息為表示攝像機A和攝像機B的位置關(guān)系的外部參數(shù)或 表示利用攝像機的向圖像平面的投影信息的內(nèi)部參數(shù)，但是，即使為這些以外的方式，只要 根據(jù)深度信息得到視差，也可以提供另外的信息。與這些攝像機參數(shù)相關(guān)的詳細的說明例 如被記載在參考文南犬 "Olivier Faugeras，"Three-Dimensional Computer Vision"，pp. 33-66，MIT Press; BCTC/UFF-006.37 F259 1993，ISBN: 0-262-06158-9." 中。在該參考 文獻中，記載了與示出多個攝像機的位置關(guān)系的參數(shù)、表示利用攝像機的向圖像平面的投 影信息的參數(shù)相關(guān)的說明。
[0048] 在以下的說明中，假設(shè)對圖像、視頻幀、深度圖附加由記號[]夾著的能夠?qū)ξ恢眠M 行特別指定的信息（坐標值或能夠與坐標值相對應(yīng)的索引等），由此，示出利用該位置的像 素采樣后的圖像信號或針對其的深度。此外，假設(shè)通過能夠與坐標值或塊相對應(yīng)的索引值 和矢量的相加來表示使該坐標或塊錯開矢量的量的位置的坐標值或塊。
[0049]圖1是示出本實施方式的活動圖像編碼裝置的結(jié)構(gòu)的框圖?；顒訄D像編碼裝置100 如圖1所示那樣具備:編碼對象圖像輸入部101、編碼對象圖像存儲器102、參照視點運動信 息輸入部103、深度圖輸入部104、運動信息生成部105、視點合成圖像生成部106、圖像編碼 部107、圖像解碼部108、以及參照圖像存儲器109。
[0050] 編碼對象圖像輸入部101輸入成為編碼對象的圖像。在以下，將該成為編碼對象的 圖像稱為編碼對象圖像。在此，假設(shè)1幀1幀地輸入攝像機B的活動圖像。此外，將拍攝了編碼 對象圖像的視點（在此為視點B)稱為編碼對象視點。編碼對象圖像存儲器102存儲所輸入的 編碼對象圖像。參照視點運動信息輸入部103輸入針對參照視點的活動圖像的運動信息(運 動矢量等）。在以下，將在此輸入的運動信息稱為參照視點運動信息。在此，假設(shè)輸入攝像機 A的運動信息。
[0051] 深度圖輸入部104輸入在生成視點合成圖像時參照的深度圖。在此，假設(shè)輸入針對 編碼對象圖像的深度圖，但是，也可以為針對參照視點等另外的視點的深度圖。再有，深度 圖是指表示在對應(yīng)的圖像的各像素中顯現(xiàn)的被攝物的三維位置。關(guān)于深度圖，只要為利用 另外提供的攝像機參數(shù)等信息來得到三維位置的信息，則為怎樣的信息都可以。例如，能夠 使用從攝像機到被攝物的距離、相對于與圖像平面不平行的軸的坐標值、針對另外的攝像 機(例如攝像機A)的視差量。此外，在此，只要得到視差量即可，因此，不是使用深度圖而是 使用直接表現(xiàn)視差量的視差圖也可。再有，在此，深度圖以圖像的方式給出，但是，只要得到 同樣的信息，則也可以不是圖像的方式。
[0052]運動信息生成部105使用參照視點運動信息和深度圖來生成針對編碼對象圖像的 運動信息。視點合成圖像生成部106基于被生成的運動信息根據(jù)參照圖像來生成針對編碼 對象圖像的視點合成圖像。圖像編碼部107-邊使用視點合成圖像一邊對編碼對象圖像進 行預測編碼。圖像解碼部108對編碼對象圖像的位流進行解碼。參照圖像存儲器109蓄積在 對編碼對象圖像的位流進行解碼時得到的圖像。
[0053 ]接著，參照圖2來說明圖1所示的活動圖像編碼裝置100的工作。圖2是示出圖1所示 的活動圖像編碼裝置100的工作的流程圖。首先，編碼對象圖像輸入部101輸入編碼對象圖 像Org，將所輸入的編碼對象圖像Org存儲到編碼對象圖像存儲器102中（步驟S101)。接著， 參照視點運動信息輸入部10 3輸入?yún)⒄找朁c運動信息，將所輸入的參照視點運動信息向運 動信息生成部105輸出，深度圖輸入部104輸入深度圖，將所輸入的深度圖向運動信息生成 部105輸出（步驟S102)。
[0054]再有，假設(shè)在步驟S102中輸入的參照視點運動信息和深度圖與對已經(jīng)編碼完畢的 信息進行解碼后的信息等在解碼側(cè)得到的信息相同。這是因為，通過使用與由解碼裝置得 到的信息完全相同的信息，從而抑制漂移(drift)等編碼噪聲的產(chǎn)生。但是，在容許那樣的 編碼噪聲的產(chǎn)生的情況下，也可以輸入編碼前的信息等僅在編碼側(cè)得到的信息。關(guān)于深度 圖，除了對已經(jīng)編碼完畢的信息進行解碼后的信息以外，也能夠?qū)⑼ㄟ^對針對多個攝像機 而解碼后的多視點活動圖像應(yīng)用立體匹配(stereo matching)等而估計出的深度圖或者使 用解碼后的視差矢量或運動矢量等而估計出的深度圖等用作在解碼側(cè)得到相同的信息的 信息。
[0055] 關(guān)于參照視點運動信息，也可以使用在對針對參照視點的圖像進行編碼時使用的 運動信息，也可以為針對參照視點另外編碼后的信息。此外，也能夠?qū)︶槍⒄找朁c的活動 圖像進行解碼而使用根據(jù)此估計而得到的運動信息。
[0056] 在編碼對象圖像、參照視點運動信息、深度圖的輸入結(jié)束之后，將編碼對象圖像分 割為預先確定的大小的區(qū)域，按照每個所分割的區(qū)域?qū)幋a對象圖像的視頻信號進行編碼 (步驟S103~S109)。即，當假設(shè)使用blk表示編碼對象區(qū)域索引并且使用numBlks表示1幀中 的總編碼對象區(qū)域數(shù)量時，使用0初始化b I k (步驟S10 3 )，之后，一邊對b I k加上1 (步驟 S108)，一邊重復進行以下的處理（步驟S104~S107)直到blk變?yōu)閚umBlks(步驟S109)。在通 常的編碼中，向16像素 X 16像素的被稱為宏塊的處理單位塊分割，但是，只要與解碼側(cè)相 同，貝1J也可以分割為其他的大小的塊。
[0