專利名稱：：合成裝置及合成方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及將構(gòu)成數(shù)字流的影像與用計(jì)算機(jī)圖形描繪的影像合成的合成裝置。
背景技術(shù)：
：通過存儲(chǔ)媒體的大容量化、圖像處理的高速化等，即使是民用設(shè)備也能夠高速地描繪CG(CompUterGraphics:計(jì)算機(jī)圖形)。這樣的CG在電影等影像作品及游戲中被廣泛使用，提供有將CG合成到實(shí)拍影像中的作品等。作為將CG合成到實(shí)拍影像中的技術(shù)，有如下技術(shù)通過使進(jìn)行CG的描繪的虛擬空間上的光源的位置與將拍攝實(shí)拍影像時(shí)的現(xiàn)實(shí)空間中的光源的位置等價(jià)，生成真實(shí)感較高的合成影像。在專利文獻(xiàn)1中，公開了如下圖像現(xiàn)實(shí)裝置通過組合表示現(xiàn)實(shí)空間的光源的配置的數(shù)據(jù)來描繪CG，在實(shí)拍影像與CG中使陰影的附帶方式一致，而將真實(shí)感較高的CG合成到實(shí)拍影像中。專利文獻(xiàn)1日本特開2005-107968號(hào)公報(bào)但是，在實(shí)拍影像中也有許多一邊移動(dòng)攝像機(jī)一邊攝影的場(chǎng)景。為了對(duì)這樣的實(shí)拍影像合成CG以使得沒有別扭感，需要預(yù)先裝入程序、以使得CG在畫面上的描繪位置也匹配于移動(dòng)攝像機(jī)帶來的實(shí)拍影像中的被攝體的相對(duì)于畫面的運(yùn)動(dòng)而運(yùn)動(dòng)。否則，會(huì)如盡管對(duì)應(yīng)于攝像機(jī)的運(yùn)動(dòng)而實(shí)拍影像中的被攝體相對(duì)于畫面運(yùn)動(dòng)，CG卻還留在畫面上的特定的位置這樣，在實(shí)拍影像與CG中在運(yùn)動(dòng)中發(fā)生偏差、感到觀感上的別扭感。但是，為了使CG匹配于實(shí)拍影像來運(yùn)動(dòng)，而精確地調(diào)節(jié)CG的顯示定時(shí)和顯示位置、并裝入程序是困難的。
發(fā)明內(nèi)容本發(fā)明的目的是提供一種合成裝置，對(duì)于一邊使攝像機(jī)移動(dòng)一邊攝影的實(shí)拍影像，以盡量緩和觀感上的別扭感的方式生成CG，而生成真實(shí)感較高的合成影像。為了解決上述問題，本發(fā)明的合成裝置的特征在于，具備取得部，從由多個(gè)視頻幀構(gòu)成的數(shù)字流中取得表示各視頻幀的視頻幀識(shí)別碼，該視頻幀識(shí)別碼與表示對(duì)上述視頻幀進(jìn)行攝影的攝影狀況的參數(shù)建立了對(duì)應(yīng)；生成部，基于上述參數(shù)生成圖形，以將攝影狀況反映到顯示形態(tài)中；合成部，對(duì)于基于上述數(shù)字流的各視頻幀，將基于與表示該視頻幀的視頻幀識(shí)別碼建立了對(duì)應(yīng)的參數(shù)而生成的圖形依次合成。根據(jù)本發(fā)明的合成裝置，由于按照視頻幀，將表示該視頻幀被攝影的狀況的參數(shù)建立對(duì)應(yīng)，所以在生成應(yīng)與視頻幀合成的CG時(shí)，通過基于該參數(shù)將攝影狀況反映到顯示形態(tài)中，能夠合成真實(shí)感較高的影像。這里，所謂攝影狀況，是在攝影實(shí)拍影像時(shí)，攝像機(jī)被放置在哪里、朝向哪個(gè)方向等攝像機(jī)配置、以及照明被設(shè)置在哪里這樣的光源配置。這里，也可以是，上述參數(shù)包括攝像機(jī)配置信息，該攝像機(jī)配置信息表示對(duì)由與該4參數(shù)建立了對(duì)應(yīng)的視頻幀識(shí)別碼表示的視頻幀進(jìn)行攝影的攝像機(jī)的配置。通過作為表示應(yīng)與視頻幀合成的CG的生成所需要的攝影狀況的參數(shù)而包括攝像機(jī)的配置，能夠使CG的運(yùn)動(dòng)精確地匹配于因攝像機(jī)的配置變化而在畫面上運(yùn)動(dòng)的實(shí)拍影像，所以能夠合成真實(shí)感較高的影像。這里，也可以是，上述攝像機(jī)配置信息包括表示上述攝像機(jī)的攝影位置的攝影位置信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)從由上述攝影位置信息表示的位置對(duì)在虛擬空間上形成的對(duì)象物進(jìn)行攝影時(shí)應(yīng)得到的圖像來進(jìn)行。對(duì)于視頻幀識(shí)別碼，將表示攝影了該視頻幀的攝像機(jī)的攝影位置的攝影位置信息建立了對(duì)應(yīng)，在生成應(yīng)與該視頻幀合成的CG時(shí)，通過使虛擬空間上的攝像機(jī)的位置與由攝影位置信息表示的位置一致，能夠使實(shí)拍影像與CG的視點(diǎn)一致，所以能夠合成真實(shí)感較高的影像。攝像機(jī)的攝影位置是表示攝像機(jī)的配置的最重要的要素。這里，也可以是，上述數(shù)字流包括時(shí)間信息，該時(shí)間信息表示應(yīng)將由上述多個(gè)視頻幀識(shí)別碼表示的視頻幀分別顯示的定時(shí)；上述多個(gè)視頻幀識(shí)別碼與上述攝像機(jī)配置信息的對(duì)應(yīng)建立，通過將上述攝像機(jī)配置信息附加到上述時(shí)間信息中來進(jìn)行；上述合成裝置具備將上述數(shù)字流解碼的解碼部；上述解碼部從上述數(shù)字流中依次取得上述視頻幀識(shí)別碼及上述時(shí)間信息；在由該時(shí)間信息表示的定時(shí)，對(duì)由該視頻幀識(shí)別碼表示的視頻幀進(jìn)行解碼；每當(dāng)解碼時(shí)，將上述攝像機(jī)配置信息發(fā)送給上述生成部。通過將為了生成應(yīng)與視頻幀合成的CG而需要的攝像機(jī)配置信息匹配于顯示視頻幀的定時(shí)發(fā)送給生成部，能夠使視頻幀與CG同步。這里，也可以是，上述數(shù)字流還包括表示沒有與上述攝像機(jī)配置信息建立對(duì)應(yīng)的視頻幀的視頻幀識(shí)別碼；上述解碼部在從上述數(shù)字流取得的上述時(shí)間信息中附加了攝像機(jī)配置信息的情況下，將該攝像機(jī)配置信息發(fā)送給生成部；在上述時(shí)間信息中沒有附加攝像機(jī)配置信息的情況下，將之前剛發(fā)送給上述生成部的攝像機(jī)配置信息再次發(fā)送給上述生成部。攝像機(jī)配置信息考慮不易隨著再現(xiàn)急劇地變化，所以在對(duì)于視頻幀沒有攝像機(jī)配置信息建立了對(duì)應(yīng)的情況下，可以用與之前的視頻幀建立了對(duì)應(yīng)的攝像機(jī)配置信息代替。這里，也可以是，上述參數(shù)還包括當(dāng)對(duì)由與該參數(shù)建立了對(duì)應(yīng)的視頻幀識(shí)別碼表示的視頻幀進(jìn)行攝影時(shí)的光源的配置的光源配置信息。通過作為表示在應(yīng)與視頻幀合成的CG的生成所需要的攝影狀況的參數(shù)而包括光源的配置，能夠使對(duì)CG描繪的陰影成為更有真實(shí)感。這里，也可以是，上述光源配置信息包括表示上述光源的照射位置的照射位置信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)對(duì)在虛擬空間上形成的對(duì)象物從由上述照射位置信息表示的位置照射光時(shí)應(yīng)得到的圖像來進(jìn)行。在應(yīng)與視頻幀合成的CG的生成中，通過在虛擬空間中將光源再現(xiàn)到與攝影該視頻幀時(shí)的光源的位置相同的位置，能夠使實(shí)拍影像與CG的陰影的附帶方式一致，所以能夠合成真實(shí)感較高的影像。這里，也可以是，上述光源配置信息包括表示上述光源的照射強(qiáng)度的照射強(qiáng)度信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)對(duì)在虛擬空間上形成的對(duì)象物照射由上述照射強(qiáng)度信息表示的強(qiáng)度的光時(shí)應(yīng)得到的圖像來進(jìn)行。在應(yīng)與視頻幀合成的CG的生成中，通過在虛擬空間中再現(xiàn)與攝影該視頻幀時(shí)的光源的強(qiáng)度相同強(qiáng)度的光源，能夠使實(shí)拍影像與CG的陰影的附帶方式一致，所以能夠合成真實(shí)感較高的影像。這里，也可以是，上述攝像機(jī)配置信息包括表示上述攝像機(jī)的攝影方向的攝影方向信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)將在虛擬空間上形成的對(duì)象物從由上述攝影方向信息表示的方向攝影時(shí)應(yīng)得到的圖像來進(jìn)行。對(duì)于視頻幀識(shí)別碼，將表示攝影該視頻幀的攝像機(jī)的攝影方向的攝影方向信息建立對(duì)應(yīng)，在生成應(yīng)與視頻幀合成的CG時(shí)，通過使虛擬空間上的攝像機(jī)的方向與由攝影方向信息表示的方向一致，能夠使實(shí)拍影像與CG的視點(diǎn)一致，所以能夠合成真實(shí)感較高的影像。這里，也可以是，表示上述光源配置的信息包括表示上述光源的顏色的顏色信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)對(duì)在虛擬空間上形成的對(duì)象物照射由上述顏色信息表示的顏色的光時(shí)應(yīng)得到的圖像來進(jìn)行。在應(yīng)與視頻幀合成的CG的生成中，通過在虛擬空間中再現(xiàn)與攝影該視頻幀時(shí)的光源的顏色相同顏色的光源，能夠使實(shí)拍影像與CG的色調(diào)一致，所以能夠合成真實(shí)感較高的影像。這里，也可以是，表示上述光源配置的信息包括表示上述光源的照射方向的照射方向信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)對(duì)在虛擬空間上形成的對(duì)象物從由上述照射方向信息表示的方向照射光時(shí)應(yīng)得到的圖像來進(jìn)行。在應(yīng)與視頻幀合成的CG的生成中，通過在虛擬空間中再現(xiàn)與攝影該視頻幀時(shí)的光源的照射方向相同照射方向的光源，能夠使實(shí)拍影像與CG的陰影的附帶方式一致，所以能夠合成真實(shí)感較高的影像。圖1是表示本實(shí)施方式的再現(xiàn)裝置的使用形態(tài)的圖。圖2是表示本實(shí)施方式的再現(xiàn)裝置再現(xiàn)的BD-ROM的結(jié)構(gòu)的圖。圖3是表示本實(shí)施方式的再現(xiàn)裝置再現(xiàn)的BD-ROM的層模型的圖。圖4是表示本實(shí)施方式的再現(xiàn)裝置的再現(xiàn)模式的圖。圖5是表示本實(shí)施方式的再現(xiàn)裝置的功能結(jié)構(gòu)的圖。圖6是表示構(gòu)成本實(shí)施方式的再現(xiàn)裝置的繪制引擎的功能結(jié)構(gòu)的圖。圖7是表示虛擬空間上的攝像機(jī)配置的圖。圖8是表示虛擬空間上的攝像機(jī)配置與合成影像的關(guān)系的圖。圖9是表示本實(shí)施方式的視頻幀ID與配置信息的對(duì)應(yīng)建立的圖。圖10是攝像機(jī)配置信息及光源配置信息的例子。圖11是表示將一邊移動(dòng)攝像機(jī)一邊攝影的影像再現(xiàn)的情況下的本實(shí)施方式的再現(xiàn)裝置的動(dòng)作的圖。圖12是表示將一邊移動(dòng)攝像機(jī)一邊攝影的影像再現(xiàn)的情況下的本實(shí)施方式的再現(xiàn)裝置的合成裝置的動(dòng)作的圖。圖13是表示將一邊移動(dòng)光源一邊攝影的影像再現(xiàn)的情況下的本實(shí)施方式的再現(xiàn)裝置的動(dòng)作的圖。圖14是表示本實(shí)施方式的再現(xiàn)裝置的合成影像生成動(dòng)作的圖。具體實(shí)施例方式在本實(shí)施方式中，對(duì)使用將CG合成到一邊移動(dòng)攝像機(jī)一邊攝影的影像中的合成裝置的再現(xiàn)裝置的例子進(jìn)行說明。<使用方式>首先，使用圖1說明本實(shí)施方式的再現(xiàn)裝置100的使用方式。本實(shí)施方式的再現(xiàn)裝置100在由用來顯示影像的電視機(jī)101、用來操作再現(xiàn)裝置100的遙控器102等構(gòu)成的家庭影院系統(tǒng)中，在鑒賞由BD-ROM103等媒體供給的電影作品等的用途中使用。該家庭影院系統(tǒng)除了記錄在BD-R0M103中的內(nèi)容以外，還為了記錄輔助性的數(shù)據(jù)而具備可移動(dòng)媒體504。本實(shí)施方式的再現(xiàn)裝置100從BD-ROM103及可移動(dòng)媒體504讀取內(nèi)容并再現(xiàn)。在本實(shí)施方式中，主要著眼于用來再現(xiàn)電影等內(nèi)容的AV(Audio-Video)應(yīng)用，但也可以代替BD-ROM103而使用CD-ROM或DVD-ROM等記錄媒體。<數(shù)據(jù)結(jié)構(gòu)>接著，使用圖2對(duì)記錄在BD-ROM103中的數(shù)據(jù)的結(jié)構(gòu)進(jìn)行說明。BD-ROM103與CD-ROM或DVD-ROM等光盤同樣，從內(nèi)周朝向外周以螺旋狀具有記錄區(qū)域，在內(nèi)周的導(dǎo)入?yún)^(qū)和外周的導(dǎo)出區(qū)之間具有能夠記錄邏輯數(shù)據(jù)的邏輯地址空間。在導(dǎo)入?yún)^(qū)的內(nèi)側(cè)，有稱作BCA(BurstCuttingArea)的特別的區(qū)域。該區(qū)域是在工廠中被記錄以后不能篡改的，所以例如經(jīng)常用于著作權(quán)保護(hù)技術(shù)等。在邏輯地址空間中，以文件系統(tǒng)信息為開頭，記錄有影像數(shù)據(jù)等應(yīng)用數(shù)據(jù)。所謂文件系統(tǒng)，是UDF(UniversalDiskFormat)或ISO9660等。通過文件系統(tǒng)，能夠?qū)⒃贐D-ROM上層級(jí)化的目錄之中分類記錄的文件讀出。本實(shí)施方式的再現(xiàn)裝置100再現(xiàn)的記錄在BD-ROM103中的數(shù)字流和與其關(guān)聯(lián)的數(shù)據(jù)保存在置于BD-ROM103的根目錄之下的目錄BDMV之中。在目錄BDMV中，配置有PLAYLIST、CLIPINF、STREAM、BDJO,JAR的5個(gè)子目錄和index,bdmv、MovieObject.bdmv的兩個(gè)文件。以下，對(duì)各個(gè)目錄和存在于其中的文件進(jìn)行說明。在以下的說明中，所謂擴(kuò)展名，是將文件名用“.”(句點(diǎn))分解、將各要素以出現(xiàn)在文件名中的順序排列時(shí)的最后的要素。例如，在文件名是XXX.yyy的情況下，yyy是擴(kuò)展名。在目錄PLAYLIST中，存在被賦予了擴(kuò)展名mpls的文件。該文件是保存有播放列表信息的文件。所謂播放列表信息，是記錄有用數(shù)字流的再現(xiàn)的開始位置和結(jié)束位置定義的再現(xiàn)區(qū)間的信息。在目錄CLIPINF中，存在被賦予了擴(kuò)展名clpi的文件。該文件是對(duì)應(yīng)于各數(shù)字流的片斷信息。在片斷信息中，包含有數(shù)字流的編碼形式、幀速率、位速率、析像度(分辨率)等信息以及表示再現(xiàn)時(shí)間與G0P(GroUpofPictures)的開始位置的對(duì)應(yīng)關(guān)系的信息。在目錄STREAM中，存在被賦予了擴(kuò)展名m2ts的文件。該文件保存有作為電影作品的主體的數(shù)字流。數(shù)字流是MPEG-TS(TransportMream)形式，將多個(gè)流復(fù)用而構(gòu)成。數(shù)字流包括表示電影作品的運(yùn)動(dòng)圖像部分的視頻流和表示電影作品的聲音部分的音頻流。此外，數(shù)字流也可以包括表示電影作品的字幕部分的副視頻流。在目錄JAR中，存在被賦予了擴(kuò)展名jar的文件。該文件是Java(注冊(cè)商標(biāo))檔案文件。所謂Java(注冊(cè)商標(biāo))檔案文件，是記述有使用Java(注冊(cè)商標(biāo))虛擬機(jī)進(jìn)行動(dòng)態(tài)的腳本控制的Java(注冊(cè)商標(biāo))應(yīng)用的程序的文件。在從Java(注冊(cè)商標(biāo))應(yīng)用對(duì)表示記錄在BD-ROM中的內(nèi)容的再現(xiàn)單位的標(biāo)題的再現(xiàn)進(jìn)行控制的情況下，使用該文件。在目錄BDJO中，存在被賦予了擴(kuò)展名bdjo的文件。該文件是保存有BD-J對(duì)象的文件。所謂BD-J對(duì)象，是通過將由播放列表信息表示的數(shù)字流與應(yīng)用建立關(guān)聯(lián)，對(duì)表示內(nèi)容的再現(xiàn)單位的標(biāo)題進(jìn)行定義的信息。BD-J對(duì)象表示應(yīng)用管理表和在該標(biāo)題中能夠再現(xiàn)的播放列表一覽。由于1個(gè)應(yīng)用由1個(gè)以上的Java(注冊(cè)商標(biāo))檔案文件構(gòu)成，所以表示應(yīng)用的識(shí)別碼與屬于該應(yīng)用的Java(注冊(cè)商標(biāo))檔案文件的識(shí)別碼的對(duì)應(yīng)關(guān)系的表是應(yīng)用管理表。文件index,bdmv保存有關(guān)于BD-ROM整體的管理信息。在該管理信息中，包括確定電影作品的提供商的32bit(比特)的識(shí)別碼organizationID、及提供商提供的對(duì)每個(gè)BD-ROM分配的128bit的識(shí)別碼discID等，在向再現(xiàn)裝置插入盤后，通過將文件index,bdmv最先讀出，再現(xiàn)裝置唯一地識(shí)別盤。即，能夠識(shí)別是哪個(gè)提供商提供的記錄有什么電影作品的BD-R0M。進(jìn)而，在文件index,bdmv中，包含有將在BD-ROM中能夠再現(xiàn)的多個(gè)標(biāo)題、與規(guī)定各標(biāo)題的BD-J對(duì)象建立對(duì)應(yīng)來表示的表。在文件MovieObject.bdmv中，包含如下腳本程序記述有用來在HDMV模式下的各標(biāo)題再現(xiàn)中使再現(xiàn)進(jìn)行動(dòng)態(tài)地變化的腳本。關(guān)于HDMV模式在后面敘述。<層模型>圖3是表示再現(xiàn)控制的層模型的圖。以下，進(jìn)行各層的說明。第1層是物理層。在該層中，規(guī)定了從哪個(gè)記錄媒體供給作為處理對(duì)象的流主體的控制。作為處理對(duì)象的流，不僅將BD-ROM作為供給源，還將本地存儲(chǔ)設(shè)備及可移動(dòng)媒體等所有的記錄媒體以及網(wǎng)絡(luò)作為供給源。這里，所謂本地存儲(chǔ)設(shè)備，是硬盤等預(yù)先組裝在再現(xiàn)裝置中的記錄媒體。對(duì)于本地存儲(chǔ)設(shè)備、可移動(dòng)媒體、網(wǎng)絡(luò)這些供給源，盤訪問、卡訪問、網(wǎng)絡(luò)通信等控制是第1層的控制。第2層是AV數(shù)據(jù)層。第2層規(guī)定了將由第1層供給的流以怎樣的解碼方式解碼。第3層是BD管理數(shù)據(jù)層。第3層規(guī)定了流的靜態(tài)腳本。所謂靜態(tài)腳本，是由盤制作者預(yù)先規(guī)定的播放列表信息及片斷信息，第3層規(guī)定了基于這些的再現(xiàn)控制。第4層是BD再現(xiàn)程序?qū)?。?層規(guī)定了流的動(dòng)態(tài)腳本。所謂動(dòng)態(tài)腳本，是執(zhí)行AV流的再現(xiàn)順序以及關(guān)于該再現(xiàn)的控制順序中的至少其一的程序。通過動(dòng)態(tài)腳本進(jìn)行的再現(xiàn)控制根據(jù)用戶對(duì)裝置的操作而變化。在這里的動(dòng)態(tài)的再現(xiàn)控制中，有HDMV模式和BD-J模式這兩個(gè)模式。所謂HDMV模式，是在再現(xiàn)設(shè)備特有的再現(xiàn)環(huán)境下，對(duì)記錄在BD-ROM中的運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行再現(xiàn)的模式。在HDMV模式中，記述有用來使再現(xiàn)進(jìn)行動(dòng)態(tài)地變化的腳本的腳本程序進(jìn)行再現(xiàn)控制。所謂BD-J模式，是將記錄在BD-ROM中的運(yùn)動(dòng)圖像數(shù)據(jù)提高附加價(jià)值而再現(xiàn)的模式。在BD-J模式中，Java(注冊(cè)商標(biāo))應(yīng)用進(jìn)行再現(xiàn)控制。圖4是表示用HDMV模式及BD-J模式再現(xiàn)的運(yùn)動(dòng)圖像的一個(gè)場(chǎng)景的圖。圖4(a)是表示用HDMV模式再現(xiàn)的運(yùn)動(dòng)圖像的一個(gè)場(chǎng)景的圖。在HDMV模式中，進(jìn)行如下再現(xiàn)控制顯示菜單，通過用戶對(duì)菜單進(jìn)行選擇操作而進(jìn)行再現(xiàn)。圖4(b)是表示用BD-J模式再現(xiàn)的運(yùn)動(dòng)圖像的一個(gè)場(chǎng)景的圖。在BD-J模式中，通過用Java(注冊(cè)商標(biāo))虛擬機(jī)能夠解釋的Java(注冊(cè)商標(biāo))語(yǔ)言所記述的Java(注冊(cè)商標(biāo))應(yīng)用，進(jìn)行再現(xiàn)控制。在BD-J模式中，能夠定義CG的角色看起來如在實(shí)拍影像之中運(yùn)動(dòng)那樣的再現(xiàn)控制。在圖4(b)中，在表T上描繪有CG的角色。<再現(xiàn)裝置的功能結(jié)構(gòu)>圖5是表示本實(shí)施方式的再現(xiàn)裝置100的大體的功能結(jié)構(gòu)的方框圖。本實(shí)施方式的再現(xiàn)裝置100為包括BD-ROM驅(qū)動(dòng)器501、軌道緩沖器502、本地存儲(chǔ)設(shè)備503、可移動(dòng)媒體504、網(wǎng)絡(luò)接口505、虛擬文件系統(tǒng)510、靜態(tài)腳本存儲(chǔ)器520、動(dòng)態(tài)腳本存儲(chǔ)器530、用戶操作探測(cè)模塊M0、模式管理模塊Ml、分配器M2、HDMV模塊M3、BD-J模塊M4、AV再現(xiàn)庫(kù)M5、繪制引擎550、圖像存儲(chǔ)器551、多路分解器552、圖像解碼器553、視頻解碼器554、音頻解碼器555、圖像平面556、視頻平面557、合成器558、電視機(jī)輸出部559、揚(yáng)聲器輸出部560的結(jié)構(gòu)。以下，對(duì)各構(gòu)成要素進(jìn)行說明。BD-ROM驅(qū)動(dòng)器501進(jìn)行BD-ROM的裝載和彈出，具有在插入了BD-ROM的狀態(tài)下執(zhí)行對(duì)BD-ROM的訪問的功能。軌道緩沖器502是FIFO存儲(chǔ)器，將從BD-ROM讀出的數(shù)據(jù)以先入先出方式保存。多路分解器552具有如下功能將保存在裝載于BD-ROM驅(qū)動(dòng)器501中的BD-R0M、或者保存在本地存儲(chǔ)設(shè)備503或可移動(dòng)媒體504上的數(shù)字流，經(jīng)由虛擬文件系統(tǒng)510讀出而進(jìn)行復(fù)用分離，并將通過復(fù)用分離得到的視頻幀和音頻幀分別輸出給視頻解碼器5M和音頻解碼器陽(yáng)5。在數(shù)字流中復(fù)用了副影像流的情況下，多路分解器552將通過復(fù)用分離得到的副影像流輸出給圖像平面陽(yáng)1，將導(dǎo)航按鈕信息輸出給動(dòng)態(tài)腳本存儲(chǔ)器530。通過多路分解器552進(jìn)行的復(fù)用分離包括將TS(TransportStream)包變換為PESO^acketizedElementaryStream)包的變換處理。多路分解器552從PES包中提取PTS(PresentationTimeStamp)，為了使實(shí)拍影像與CG同步，將PTS通知給視頻解碼器5M及繪制引擎550。視頻解碼器M4具有如下功能將從多路分解器552輸出的視頻幀解碼，并將非壓縮形式的圖片寫入到視頻平面陽(yáng)7中。視頻平面557是用來保存非壓縮形式的圖片的存儲(chǔ)器。音頻解碼器555具有如下功能將從多路分解器552輸出的音頻幀解碼，并將非壓縮形式的音頻數(shù)據(jù)輸出給揚(yáng)聲器輸出部560。圖像存儲(chǔ)器551是用來保存從多路分解器552讀出的副影像流及導(dǎo)航按鈕信息內(nèi)的PNG(PortableNetworkGraphics)數(shù)據(jù)、或經(jīng)由虛擬文件系統(tǒng)510從BD-ROM或本地存儲(chǔ)設(shè)備503、可移動(dòng)媒體504讀出的圖像文件的存儲(chǔ)器。圖像解碼器553將保存在圖像存儲(chǔ)器551中的副影像流、PNG數(shù)據(jù)、圖像文件展開而寫入到圖像幀556中。圖像幀556是具有一畫面量的區(qū)域的存儲(chǔ)器，將副影像流、PNG數(shù)據(jù)、圖像文件通過圖像解碼器陽(yáng)3以位圖展開而配置。展開到圖像平面556中的圖像原樣呈現(xiàn)在畫面上。例如，如果在副影像流中保存有各種菜單，則通過將表示菜單的圖像展開到圖像平面556中，在畫面上出現(xiàn)菜單。合成器558具有如下功能將展開到圖像平面556中的圖像合成到保存在視頻平面557中的非壓縮形式的圖片中，并輸出給電視機(jī)輸出部559。靜態(tài)腳本存儲(chǔ)器520是用來保存HDMV模塊543或BD-J模塊544當(dāng)前作為處理對(duì)象的靜態(tài)腳本信息的存儲(chǔ)器。所謂靜態(tài)腳本信息，是播放列表信息及流信息。靜態(tài)腳本信息是規(guī)定記錄在BD-ROM103中的內(nèi)容的再現(xiàn)區(qū)間的信息，當(dāng)由用戶操作選擇了內(nèi)容的再現(xiàn)時(shí)，按照靜態(tài)腳本信息進(jìn)行再現(xiàn)。動(dòng)態(tài)腳本存儲(chǔ)器530是用來保存HDMV模塊543或BD-J模塊544當(dāng)前作為處理對(duì)象的動(dòng)態(tài)腳本信息的存儲(chǔ)器。所謂動(dòng)態(tài)腳本信息，在HDMV模式中是腳本程序，在BD-J模式中是Java(注冊(cè)商標(biāo))類文件。動(dòng)態(tài)腳本信息是顯示將記錄在BD-ROM103中的多個(gè)內(nèi)容中的哪個(gè)再現(xiàn)的菜單等的程序。在HDMV模式下執(zhí)行的腳本程序顯示與以往的DVD同樣的簡(jiǎn)單的菜單，而在BD-J模式下執(zhí)行的Java(注冊(cè)商標(biāo))類文件能夠進(jìn)行CG角色登場(chǎng)、或?qū)⑦x擇中的內(nèi)容的影像預(yù)覽那樣的復(fù)雜的菜單。本實(shí)施方式的再現(xiàn)裝置100在這樣的菜單的顯示中，將CG角色和預(yù)覽影像沒有別扭感地合成。HDMV模塊543是作為HDMV模式的執(zhí)行主體的DVD虛擬播放器，執(zhí)行讀出到動(dòng)態(tài)腳本存儲(chǔ)器530中的腳本程序。BD-J模塊544是Java(注冊(cè)商標(biāo))平臺(tái)，包括Java(注冊(cè)商標(biāo))虛擬機(jī)。BD-J模塊544根據(jù)讀出到動(dòng)態(tài)腳本存儲(chǔ)器530中的Java(注冊(cè)商標(biāo))類文件生成Java(注冊(cè)商標(biāo))對(duì)象。Java(注冊(cè)商標(biāo))對(duì)象用Java(注冊(cè)商標(biāo))語(yǔ)言記述，在Java(注冊(cè)商標(biāo))虛擬機(jī)上執(zhí)行。BD-J模塊544通過Java(注冊(cè)商標(biāo))虛擬機(jī)將Java(注冊(cè)商標(biāo))對(duì)象變換為本機(jī)碼，執(zhí)行變換后的本機(jī)碼。用戶操作探測(cè)模塊540檢測(cè)對(duì)遙控器或再現(xiàn)裝置的前面板進(jìn)行的用戶操作，將表示用戶操作的用戶操作信息輸出給模式管理模塊Ml。模式管理模塊541保持從裝載在BD-ROM驅(qū)動(dòng)器501中的BD-ROM或本地存儲(chǔ)設(shè)備503、可移動(dòng)媒體504讀出的模式管理表，進(jìn)行模式管理及分支控制。所謂通過模式管理模塊541進(jìn)行的模式管理，是使HDMV模塊543和BD-J模塊544的哪個(gè)執(zhí)行動(dòng)態(tài)腳本的模塊的分配。即，在HDMV模式的情況下，使HDMV模塊543執(zhí)行動(dòng)態(tài)腳本，在BD-J模式的情況下，使BD-J模塊544執(zhí)行動(dòng)態(tài)腳本。分配器542對(duì)適合于執(zhí)行當(dāng)前的再現(xiàn)裝置的模式的模塊，輸出用戶操作信息。例如，在HDMV模式的執(zhí)行中受理了表示上下左右按鈕或決定按鈕的按下等用戶操作的用戶操作信息的情況下，將這些用戶操作信息輸出給HDMV模式的模塊。繪制引擎550具備OPEN-GL等基礎(chǔ)軟件，按照來自BD-J模塊544的指示，進(jìn)行模型信息的繪制。所謂模型信息，是為了將作為CG描繪的對(duì)象建模而需要的坐標(biāo)及連接坐標(biāo)的邊、由邊包圍而形成的面的顏色等信息。將基于模型信息描繪的CG的對(duì)象物稱作CG模型。進(jìn)行繪制以使其與由多路分解器552發(fā)行的PTS同步，將描繪出的CG輸出給圖像平面556。AV再現(xiàn)庫(kù)545根據(jù)來自HDMV模塊M3、BD-J模塊M4的函數(shù)調(diào)用，執(zhí)行AV再現(xiàn)功能、播放列表的再現(xiàn)功能。所謂AV再現(xiàn)功能，是從DVD播放器、CD播放器沿襲的功能群，再現(xiàn)開始、再現(xiàn)停止、暫停、暫停的解除、靜止圖像功能的解除、以直接值指定再現(xiàn)速度的快進(jìn)、以直接值指定再現(xiàn)速度的回退、聲音切換、副影像切換、視角切換等處理。所謂播放列表再現(xiàn)功能，是指按照播放列表進(jìn)行這些AV再現(xiàn)功能中的再現(xiàn)開始及再現(xiàn)停止的功能。10網(wǎng)絡(luò)接口505受BD-J模塊544控制，具有如下功能將公開到因特網(wǎng)上的追加內(nèi)容下載到本地存儲(chǔ)設(shè)備503或可移動(dòng)媒體504中。所謂追加內(nèi)容，是在原始的BD-ROM中沒有的內(nèi)容，例如是追加的副聲音、字幕、優(yōu)惠影像、應(yīng)用等。本地存儲(chǔ)設(shè)備503及可移動(dòng)媒體504是用戶下載來的追加內(nèi)容或應(yīng)用使用的數(shù)據(jù)等的保存的記錄媒體。追加內(nèi)容的保存區(qū)域被按照BD-ROM劃分，此外，應(yīng)用能夠用于數(shù)據(jù)的保持的區(qū)域被按照應(yīng)用劃分。本地存儲(chǔ)設(shè)備503及可移動(dòng)媒體504還被用于合并管理信息的保存。所謂合并管理信息，是表示下載的追加內(nèi)容應(yīng)以怎樣的合并限制與BD-ROM上的數(shù)據(jù)合并的信息。虛擬文件系統(tǒng)510是用來對(duì)通過將BD-ROM上的內(nèi)容與保存在本地存儲(chǔ)設(shè)備503或可移動(dòng)媒體504中的追加內(nèi)容按照合并管理信息合并而構(gòu)建的虛擬的BD-ROM訪問的文件系統(tǒng)。將該虛擬的BD-ROM稱作虛擬包。對(duì)于虛擬包，能夠從HDMV模塊543及BD-J模塊544與原始BD-ROM同樣地訪問。在虛擬包上的內(nèi)容的再現(xiàn)中，再現(xiàn)裝置100使用原始的BD-ROM上的數(shù)據(jù)、和本地存儲(chǔ)設(shè)備503或可移動(dòng)媒體504上的數(shù)據(jù)兩者進(jìn)行再現(xiàn)控制。電視機(jī)輸出部559具有將由合成部558合成后的影像輸出給電視機(jī)101的功能。揚(yáng)聲器輸出部560具有將由音頻解碼器555解碼后的聲音信號(hào)輸出給揚(yáng)聲器的功能。以上是再現(xiàn)裝置100的構(gòu)成要素?！蠢L制引擎的功能結(jié)構(gòu)〉接著，使用圖6說明圖5中的繪制引擎550的功能結(jié)構(gòu)。繪制引擎550為包括時(shí)間信息取得部601、模型信息取得部602、光源配置信息取得部603、攝像機(jī)配置信息取得部604、坐標(biāo)變換部605、照射位置變換部606、照射強(qiáng)度變換部607、照射方向變換部608、顏色變換部609、攝影位置變換部610、攝影方向變換部611、生成部612、陰影描繪部613、屏幕投影部614、圖形輸出部615的結(jié)構(gòu)。時(shí)間信息取得部601取得由復(fù)用分離部552分離的PTS，發(fā)送給生成部612。模型信息取得部602從虛擬文件系統(tǒng)510取得模型信息，發(fā)送給坐標(biāo)變換部605。坐標(biāo)變換部605將包含在從模型信息取得部602接收到的模型信息中的坐標(biāo)，變換為繪制CG的虛擬空間的坐標(biāo)系中的坐標(biāo)。光源配置信息取得部603取得從多路分解器552發(fā)送的光源的配置信息，按照包含在光源配置信息中的信息的種類，發(fā)送給適當(dāng)?shù)淖儞Q部。即，將表示光源的照射位置的照射位置信息發(fā)送給照射位置變換部606。將表示光源的強(qiáng)度的照射強(qiáng)度信息發(fā)送給照射強(qiáng)度變換部607。將表示光源的照射方向的照射方向信息發(fā)送給照射方向變換部608。將表示光源的顏色的顏色信息發(fā)送給顏色變換部609。攝像機(jī)配置信息取得部604取得從多路分解器552發(fā)送的攝像機(jī)配置信息，按照包含在攝像機(jī)配置信息中的信息的種類，發(fā)送給適當(dāng)?shù)淖儞Q部。即，將表示攝像機(jī)的攝影位置的攝影位置信息發(fā)送給攝影位置變換部610。將表示攝像機(jī)的攝影方向的信息發(fā)送給攝影位置變換部610。生成部612根據(jù)由坐標(biāo)變換部605變換后的坐標(biāo)數(shù)據(jù)、和時(shí)間信息取得部601取得的PTS，生成應(yīng)在由PTS表示的再現(xiàn)時(shí)刻顯示的GC模型。陰影描繪部613如果接受到由生成部612生成的CG模型的數(shù)據(jù)，則使用變換后的光源配置信息，對(duì)對(duì)象物添加陰影。陰影描繪部613描繪通過從由光源配置信息表示的光源對(duì)配置在虛擬空間上的對(duì)象物照射的光形成的陰影。屏幕投影部614如果接受到由陰影描繪部613添加了陰影的CG模型的數(shù)據(jù)，則使用變換后的攝像機(jī)配置信息，將CG模型投影到屏幕上。這里，所謂屏幕，是在虛擬空間上相對(duì)于攝像機(jī)的攝影方向垂直且具有有限的大小的矩形平面。屏幕的大小可以通過攝像機(jī)的設(shè)定來變更，投影在該屏幕上的圖像對(duì)應(yīng)于顯示在實(shí)際的畫面上的影像。屏幕投影部614描繪將虛擬空間上的CG模型通過由攝像機(jī)配置信息表示的攝像機(jī)攝影時(shí)得到的2維圖像。圖形輸出部615將由屏幕投影部614投影的2維圖像輸出給圖像平面556。以上是繪制引擎550的功能結(jié)構(gòu)。另外，以上說明了在執(zhí)行對(duì)CG模型整體添加陰影的處理之后進(jìn)行向屏幕的投影處理，但也可以為了減少計(jì)算量而在實(shí)際執(zhí)行添加陰影的處理之前切分出向屏幕投影的范圍、僅對(duì)切分出的范圍內(nèi)的CG模型添加陰影。<攝像機(jī)配置與合成影像的關(guān)系>圖7是表示實(shí)拍影像的攝影時(shí)的攝像機(jī)配置、與進(jìn)行CG的繪制的虛擬空間的坐標(biāo)關(guān)系的圖。在圖7(a)中，人物A、B、桌子T、燈L是實(shí)物，貓頭鷹C是CG。圖7(a)表示將坐在桌子T的兩側(cè)的人物A、B從各自的側(cè)面用攝像機(jī)攝影的狀況。圖7(a)的坐標(biāo)軸XYZ定義用來繪制CG的虛擬空間，用該坐標(biāo)系描繪貓頭鷹C，以使其位于桌子T的中央。為了將實(shí)拍影像與CG合成，需要將在虛擬空間上生成的CG投影到屏幕上而得到2維的圖像。通過在虛擬空間上設(shè)定決定該屏幕的位置的攝像機(jī)配置、即攝像機(jī)的攝影位置及攝影方向，以使其與現(xiàn)實(shí)空間一致，能夠?qū)?shí)拍影像與CG沒有別扭感地合成。S卩，在生成與實(shí)拍影像合成的CG時(shí)，將攝影了該實(shí)拍影像的瞬間的攝像機(jī)配置依次通知給繪制引擎550，繪制引擎550通過依次使被通知的攝像機(jī)配置反映到繪制中，能夠?qū)?shí)拍影像與CG沒有別扭感地合成。在圖7(a)的攝像機(jī)配置下，描繪在屏幕上的影像成為圖8(a)那樣。接著，表示將與圖7(a)相同的對(duì)象用不同的攝像機(jī)配置攝影的狀況的圖是圖7(b)。在此情況下，也通過對(duì)應(yīng)于現(xiàn)實(shí)空間中的攝像機(jī)配置被變更的情況而變更虛擬空間中的攝像機(jī)配置的設(shè)定，變更應(yīng)投影CG的屏幕，能夠?qū)?shí)拍影像與CG沒有別扭感地合成。S卩，在圖7(b)的攝像機(jī)配置下描繪到屏幕上的影像成為圖8(b)那樣，能夠顯示用CG描繪的貓頭鷹C的在屏幕上的位置與實(shí)拍影像同步站在桌子T上那樣的合成影像。圖9是表示對(duì)包含在數(shù)字流中的各視頻幀分配視頻幀ID、按照各視頻幀ID將攝像機(jī)配置信息及光源配置信息建立對(duì)應(yīng)、植入到數(shù)字流內(nèi)的圖。在數(shù)字流中，按照各視頻幀而對(duì)應(yīng)記錄有表示顯示該視頻幀的定時(shí)的PTS。圖9如當(dāng)表示時(shí)間軸的PTS為tl時(shí)應(yīng)顯示的視頻幀的視頻幀ID為F、當(dāng)PTS為t2時(shí)應(yīng)顯示的視頻幀的視頻幀ID為F2那樣，表示將視頻幀與應(yīng)顯示該視頻幀的定時(shí)建立了對(duì)應(yīng)。在圖9(a)中，按照各視頻幀將攝像機(jī)配置信息與光源配置信息建立了對(duì)應(yīng)。例如，對(duì)于由視頻幀IDFl表示的視頻幀，將攝像機(jī)配置信息Cl及光源配置信息Ll建立了對(duì)應(yīng)。以往以來就進(jìn)行基于攝像機(jī)配置信息Cl及光源配置信息Ll生成與由視頻幀IDFl表示的視頻幀合成的CG的處理。在本實(shí)施方式的再現(xiàn)裝置100中，由于按照各視頻幀進(jìn)行了上述那樣的對(duì)應(yīng)建立，所以如在以時(shí)刻tl的定時(shí)顯示由視頻幀IDFl表示的視頻幀時(shí)基于攝像機(jī)配置信息Cl及光源配置信息Ll生成CG、在以時(shí)刻t2的定時(shí)顯示由視頻幀IDF2表示的視頻幀時(shí)基于攝像機(jī)配置信息C2及光源配置信息L2生成CG這樣，能夠使攝像機(jī)配置信息及光源配置信息依次反映到CG的生成中。另外，對(duì)于視頻幀，并不一定將攝像機(jī)配置信息及光源配置信息建立對(duì)應(yīng)。圖9(b)表示將攝像機(jī)配置信息按照每2幀、將光源配置信息按照每3幀建立對(duì)應(yīng)的例子。在沒有將攝像機(jī)配置信息或光源配置信息建立對(duì)應(yīng)的情況下，使用與之前相同的值。在該例中，對(duì)于視頻幀IDF2，攝像機(jī)配置信息和光源配置信息都沒有建立對(duì)應(yīng)，所以使用與之前的視頻幀IDFl建立了對(duì)應(yīng)的攝像機(jī)配置信息Cl及光源配置信息Li?！磁渲眯畔⒌睦印祱D10是表示攝像機(jī)配置信息及光源配置信息的例子的圖。在攝像機(jī)配置信息中，有表示設(shè)置攝像機(jī)的位置的攝影位置、以及表示攝影機(jī)被朝向的方向的攝影方向。攝影位置是設(shè)在現(xiàn)實(shí)的空間中的坐標(biāo)系的位置矢量，通過表示3維空間的1點(diǎn)的3個(gè)成分表現(xiàn)設(shè)置攝像機(jī)的位置。攝影方向是設(shè)在現(xiàn)實(shí)的空間中的坐標(biāo)系的方向矢量，通過用以原點(diǎn)為起點(diǎn)時(shí)的終點(diǎn)的坐標(biāo)表示3維空間中的1個(gè)方向的3個(gè)成分，表現(xiàn)攝像機(jī)被朝向的方向。這些信息通過GPS(GlobalPositioningSystem)、或通過分析攝影的影像內(nèi)的被攝體的位置而在攝影時(shí)取得，由記錄流數(shù)據(jù)的裝置預(yù)先記錄到流之中。在光源配置信息中，有表示設(shè)置光源的位置的照射位置信息、以及表示光源被朝向的方向的照射方向信息、表示光源發(fā)出的光的強(qiáng)度的照射強(qiáng)度信息、表示光源發(fā)出的光的顏色的顏色信息。照射位置信息是設(shè)在現(xiàn)實(shí)的空間中的坐標(biāo)系的位置矢量，通過表示3維空間的1點(diǎn)的3個(gè)成分表現(xiàn)設(shè)置光源的位置?；谠O(shè)置光源的位置，計(jì)算形成在虛擬空間上的CG模型的、光照射而變亮的部分、以及成為陰影而變暗的部分。例如，根據(jù)CG模型的位置與光源的位置關(guān)系，將CG模型的表面中的朝向光源的一側(cè)描繪得較亮。此外，從CG模型向光源朝向的相反方向描繪CG模型的陰影。照射方向信息是設(shè)在現(xiàn)實(shí)的空間中的坐標(biāo)系的方向矢量，通過用以原點(diǎn)為起點(diǎn)時(shí)的終點(diǎn)的坐標(biāo)表示3維空間中的1個(gè)方向的3個(gè)成分表現(xiàn)光源被朝向的方向。其中，圖10所示的照射方向(0，0，0)設(shè)為是等向性的光源?；诠庠幢怀虻姆较?，計(jì)算形成在虛擬空間上的CG模型的、光照射而變亮的部分、以及成為陰影而變暗的部分。在從光源照射的光朝向CG模型的方向的情況下，光照在該CG模型上而較亮地描繪，在從CG模型的方向背離的情況下，光沒有照在該CG模型上而較暗地描繪。照射強(qiáng)度信息是將光源發(fā)出的光的強(qiáng)度用某種尺度表示的標(biāo)量值，將沒有被照射光的情況設(shè)為0，數(shù)值越大表示越強(qiáng)的光?；诠庠吹恼丈鋸?qiáng)度，計(jì)算形成在虛擬空間上的CG模型的、光照上的部分的明亮度。即，如果照射強(qiáng)度較小，則將CG模型較暗地描繪，如果13照射強(qiáng)度較大，則將CG模型較亮地描繪。顏色信息將光源發(fā)出的光的顏色用例如通過0255的8位的整數(shù)值表示紅、綠、藍(lán)的各成分的RGB值表現(xiàn)。但是，顏色信息也可以不是8位的整數(shù)，也可以是16位或其以上，也可以不用RGB而用CM^(等其他表現(xiàn)方法?；诠庠吹念伾?，進(jìn)行修正形成在虛擬空間上的CG模型的顏色的計(jì)算。例如，在光源的顏色如(64，0，0)那樣發(fā)紅的情況下，將CG模型的顏色也修正以使其發(fā)紅。〈攝像機(jī)運(yùn)動(dòng)的情況〉圖11是在攝像機(jī)移動(dòng)的情況下再現(xiàn)的合成影像的例子。在如圖11(a)所示那樣一邊將攝像機(jī)從左向右移動(dòng)一邊攝影時(shí)、實(shí)拍影像與CG同步運(yùn)動(dòng)的狀況在圖11(b)圖11(d)中表示。利用圖12說明這些合成影像是怎樣被合成的。在圖12中，設(shè)表示當(dāng)攝像機(jī)處于左端時(shí)攝影的實(shí)拍影像的視頻幀的視頻幀ID為F1、設(shè)表示當(dāng)攝像機(jī)處于中央時(shí)攝影的實(shí)拍影像的視頻幀的視頻幀ID為F100、設(shè)當(dāng)攝像機(jī)處于右端時(shí)攝影的實(shí)拍影像的視頻幀的視頻幀ID為F200，表示這些視頻幀、要與它們合成的CG、和合成后的合成影像。首先，當(dāng)攝像機(jī)處于左端時(shí)，如圖11(b)那樣，人物A和貓頭鷹C顯現(xiàn)在畫面上。該影像是如以下這樣生成的。當(dāng)攝像機(jī)處于左端時(shí)，設(shè)攝像機(jī)的攝影位置信息為Cl，假設(shè)對(duì)于在該攝影位置攝影的視頻幀的視頻幀IDF1，將攝影位置信息Cl建立了對(duì)應(yīng)。多路分解器552將由視頻幀IDFl表示的視頻幀輸出給視頻解碼器554，將視頻幀用視頻解碼器5M解碼，將圖12(a)所示的實(shí)拍影像寫入到視頻平面557中。多路分解器552在將由視頻幀IDFl表示的視頻幀輸出給視頻解碼器5M時(shí)，將與視頻幀IDFl建立了對(duì)應(yīng)的攝影位置信息Cl輸出給繪制引擎550。繪制引擎550生成將在虛擬空間上建模的貓頭鷹C用設(shè)置在由攝影位置信息Cl表示的位置上的攝像機(jī)攝影時(shí)得到的圖像，將圖12(d)所示的CG寫入到圖像平面556中。將寫入在視頻平面557中的圖12(a)所示的實(shí)拍影像、與寫入在圖像平面556中的圖12(d)所示的CG通過合成器558合成，得到圖12(g)所示的合成影像。接著，如果攝像機(jī)移動(dòng)到中央附近，則如圖11(c)那樣，人物A從畫面消失，貓頭鷹C顯現(xiàn)在畫面的中央附近。該影像是如以下這樣生成的。當(dāng)攝像機(jī)處于中央時(shí)，設(shè)攝像機(jī)的攝影位置信息為C100，假設(shè)對(duì)于在該攝影位置攝影的視頻幀的視頻幀IDF100，將攝影位置信息ClOO建立了對(duì)應(yīng)。如果再現(xiàn)時(shí)刻前進(jìn)，則表示顯示的視頻幀的視頻幀ID變化，與其建立了對(duì)應(yīng)的攝影位置信息也變化。因而，被從多路分解器552輸出給視頻解碼器554、并寫入到視頻平面557中的實(shí)拍影像從圖12(a)向圖12(b)那樣變化。此外，由于多路分解器552輸出給繪制引擎550的攝影位置信息變化，所以寫入在圖像平面556中的CG也從圖12(d)向圖12(e)那樣變化。將寫入在視頻平面557中的圖12(b)所示的實(shí)拍影像與寫入在圖像平面556中的圖12(e)所示的CG通過合成器558合成，得到12(h)所示的合成影像。最后，如果攝像機(jī)移動(dòng)到右端，則如圖11(d)那樣，貓頭鷹C顯現(xiàn)在畫面的左方，人物B出現(xiàn)。該影像是如以下這樣生成的。當(dāng)攝像機(jī)處于右端時(shí)，設(shè)攝像機(jī)的攝影位置信息為C200，假設(shè)對(duì)于在該攝影位置攝影的視頻幀的視頻幀IDF200，將攝影位置信息C200建立了對(duì)應(yīng)。在此情況下，也與上述同樣，隨著再現(xiàn)時(shí)刻前進(jìn)，表示顯示的視頻幀的視頻幀ID變化，與其建立了對(duì)應(yīng)的攝影位置信息也變化。因而，被從多路分解器552輸出給視頻解碼器554、并寫入到視頻平面557中的實(shí)拍影像從圖12(b)向圖12(c)那樣變化。此外，由于多路分解器552輸出給繪制引擎550的攝影位置信息變化，所以寫入在圖像平面556中的CG也從圖12(e)向圖12(f)那樣變化。將寫入在視頻平面557中的圖12(c)所示的實(shí)拍影像與寫入在圖像平面556中的圖12(f)所示的CG通過合成器558合成，得到12⑴所示的合成影像。通過如以上這樣配合實(shí)拍影像的運(yùn)動(dòng)而調(diào)節(jié)CG的位置，能夠?qū)?shí)拍影像與CG沒有別扭感地合成。如以上這樣，能夠使表示實(shí)拍影像的攝影狀況的攝像機(jī)的位置在實(shí)拍影像與CG的屏幕上的運(yùn)動(dòng)一致，合成沒有別扭感的影像?！垂庠催\(yùn)動(dòng)的情況〉圖13是在光源移動(dòng)的情況下再現(xiàn)的合成影像的例子。當(dāng)將如圖13(a)所示那樣拿著作為光源的燈L從左向右移動(dòng)的人攝影時(shí)、實(shí)拍影像與CG的陰影同步變化的狀況在圖13(b)圖13(d)中表示。當(dāng)光源處于左端時(shí)，如圖13(b)所示，瓶D和貓頭鷹C的陰影出現(xiàn)在右側(cè)。如果光源移動(dòng)到中央附近，則如圖13(c)那樣，瓶D的陰影出現(xiàn)在左側(cè)，貓頭鷹C的陰影出現(xiàn)在右側(cè)。如果光源移動(dòng)到右端，則如圖13(d)那樣，貓頭鷹C的陰影出現(xiàn)在左側(cè)。這些影像如以下這樣生成。S卩，在圖11及圖12中，表示了通過攝像機(jī)移動(dòng)、與表示攝影的視頻幀的視頻幀ID建立了對(duì)應(yīng)的攝影位置信息變化、所以CG也對(duì)應(yīng)于攝影位置信息而變化的例子。在圖13中，由于代替攝影位置信息而光源位置信息變化，所以對(duì)應(yīng)于它而對(duì)CG描繪的陰影也變化。通過如以上這樣使表示實(shí)拍影像的攝影狀況的光源的位置依次反映到CG的生成中，能夠合成實(shí)拍影像與CG的陰影的運(yùn)動(dòng)一致、沒有別扭感的影像?！春铣捎跋裆蓜?dòng)作〉圖14是表示將實(shí)拍影像與CG合成、生成合成影像的處理的流程圖。再現(xiàn)裝置100在流的再現(xiàn)中反復(fù)進(jìn)行以下的步驟。首先，從由多路分解器552復(fù)用分離出的視頻流中，視頻解碼器5M取得由視頻幀IDF表示的視頻幀(S1301)。視頻解碼器5M將由視頻幀IDF表示的視頻平面寫出到視頻平面557中，并且判斷是否有攝像機(jī)配置信息與視頻幀IDF建立了對(duì)應(yīng)(S1302)，如果有攝像機(jī)配置信息建立了對(duì)應(yīng)(S1302Y)，則將該攝像機(jī)配置信息設(shè)為當(dāng)前的攝像機(jī)配置信息C(S1303)。如果沒有攝像機(jī)配置信息建立了對(duì)應(yīng)(S1302N)，則將之前使用的攝像機(jī)配置信息設(shè)為當(dāng)前的攝像機(jī)配置信息C(S1304)。同樣，視頻解碼器M4判斷是否有光源配置信息與視頻幀IDF建立了對(duì)應(yīng)(S1305)，如果有光源配置信息建立了對(duì)應(yīng)(S1305Y)，則將該光源配置信息作為當(dāng)前的光源配置信息L(S1306)。如果沒有光源配置信息建立了對(duì)應(yīng)(S1305N)，則將之前使用的光源配置信息設(shè)為當(dāng)前的光源配置信息L(S1307)。視頻解碼器5M將當(dāng)前的攝像機(jī)配置信息C和光源配置信息L通知給繪制引擎550，繪制引擎550基于攝像機(jī)配置信息C和光源配置信息L，生成圖形G(S1308)，寫出到圖像平面556中。最后，合成器558檢測(cè)到圖形G被寫出到圖形平面556中的情況，將寫出到視頻平面557中的視頻幀與寫出到圖像平面556中的圖形G讀出，將它們合成(S1309)。將合成后的影像經(jīng)由視頻輸出部559輸出給電視機(jī)101。以上是視頻解碼器5M將1個(gè)視頻幀解碼、寫出到視頻平面557中之后、用合成器558合成為止的步驟。本實(shí)施方式的再現(xiàn)裝置10將上述步驟按照各視頻幀反復(fù)執(zhí)行。由此，根據(jù)與實(shí)拍影像的各視頻幀建立了對(duì)應(yīng)的攝像機(jī)配置信息或光源配置信息，生成即使與實(shí)拍影像合成也沒有別扭感的CG，能夠生成具有真實(shí)感的合成影像?！囱a(bǔ)充〉另外，在本實(shí)施方式中，作為表示攝影狀況的參數(shù)，以攝像機(jī)配置信息和光源配置信息為例進(jìn)行了說明，但也可以是它們的任意其一。此外，如果是它們以外的表示攝影狀況的參數(shù)，當(dāng)然也能夠通過將該參數(shù)與視頻幀ID建立對(duì)應(yīng)、在CG的生成中使攝影狀況反映到顯示形態(tài)中。此外，在本實(shí)施方式中，表示了經(jīng)由PTS進(jìn)行視頻幀ID與參數(shù)的對(duì)應(yīng)建立的例子，但也可以不是PTS、而是以某種順序表示視頻幀的顯示定時(shí)的時(shí)間信息。此外，視頻幀ID與參數(shù)的對(duì)應(yīng)建立也可以不經(jīng)由PTS等的時(shí)間信息而直接建立對(duì)應(yīng)。工業(yè)實(shí)用性構(gòu)成本發(fā)明的合成裝置能夠在制造業(yè)中經(jīng)營(yíng)性地、或持續(xù)及反復(fù)地制造、銷售。特別是，在與影像內(nèi)容的制作相關(guān)的電影產(chǎn)業(yè)、民用設(shè)備產(chǎn)業(yè)中能夠使用。標(biāo)號(hào)說明100再現(xiàn)裝置101電視機(jī)102遙控器103BD-ROM501BD-ROM驅(qū)動(dòng)器502軌道緩沖器503本地存儲(chǔ)設(shè)備504可移動(dòng)媒體505網(wǎng)絡(luò)接口510虛擬文件系統(tǒng)520靜態(tài)腳本存儲(chǔ)器521當(dāng)前播放列表信息522當(dāng)前片斷信息530動(dòng)態(tài)腳本存儲(chǔ)器531當(dāng)前腳本540用戶操作探測(cè)模塊541模式管理模塊542分配器543HDMV模塊544BD-J模塊545AV再現(xiàn)庫(kù)550繪制引擎551圖像存儲(chǔ)器552多路分解器553圖像解碼器554視頻解碼器555音頻解碼器556圖像平面557視頻平面558合成器559電視機(jī)輸出部560揚(yáng)聲器輸出部601時(shí)間信息取得部602模型信息取得部603光源配置信息取得部604攝像機(jī)配置信息取得部605坐標(biāo)變換部606照射位置變換部607照射強(qiáng)度變換部608照射方向變換部609顏色變換部610攝影位置變換部611攝影方向變換部612生成部613陰影描繪部614屏幕投影部615圖形輸出部權(quán)利要求1.一種合成裝置，其特征在于，具備取得部，從由多個(gè)視頻幀構(gòu)成的數(shù)字流中取得表示各視頻幀的視頻幀識(shí)別碼，該視頻幀識(shí)別碼與表示對(duì)上述視頻幀進(jìn)行攝影的攝影狀況的參數(shù)建立了對(duì)應(yīng)；生成部，基于上述參數(shù)生成圖形，以將攝影狀況反映到顯示形態(tài)中；及合成部，對(duì)于基于上述數(shù)字流的各視頻幀，將基于與表示該視頻幀的視頻幀識(shí)別碼建立了對(duì)應(yīng)的參數(shù)而生成的圖形依次合成。2.如權(quán)利要求1所述的合成裝置，其特征在于，上述參數(shù)包括攝像機(jī)配置信息，該攝像機(jī)配置信息表示對(duì)由與該參數(shù)建立了對(duì)應(yīng)的視頻幀識(shí)別碼表示的視頻幀進(jìn)行攝影的攝像機(jī)的配置。3.如權(quán)利要求2所述的合成裝置，其特征在于，上述攝像機(jī)配置信息包括表示上述攝像機(jī)的攝影位置的攝影位置信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)從由上述攝影位置信息表示的位置對(duì)在虛擬空間上形成的對(duì)象物進(jìn)行攝影時(shí)應(yīng)得到的圖像來進(jìn)行。4.如權(quán)利要求3所述的合成裝置，其特征在于，上述數(shù)字流包括時(shí)間信息，該時(shí)間信息表示應(yīng)將由上述多個(gè)視頻幀識(shí)別碼表示的視頻幀分別顯示的定時(shí)；上述多個(gè)視頻幀識(shí)別碼與上述攝像機(jī)配置信息的對(duì)應(yīng)建立，通過將上述攝像機(jī)配置信息附加到上述時(shí)間信息中來進(jìn)行；上述合成裝置具備將上述數(shù)字流解碼的解碼部；上述解碼部從上述數(shù)字流中依次取得上述視頻幀識(shí)別碼及上述時(shí)間信息；在由該時(shí)間信息表示的定時(shí)，對(duì)由該視頻幀識(shí)別碼表示的視頻幀進(jìn)行解碼；每當(dāng)解碼時(shí)，將上述攝像機(jī)配置信息發(fā)送給上述生成部。5.如權(quán)利要求4所述的合成裝置，其特征在于，上述數(shù)字流還包括表示沒有與上述攝像機(jī)配置信息建立對(duì)應(yīng)的視頻幀的視頻幀識(shí)別碼；上述解碼部在從上述數(shù)字流取得的上述時(shí)間信息中附加了攝像機(jī)配置信息的情況下，將該攝像機(jī)配置信息發(fā)送給生成部；在上述時(shí)間信息中沒有附加攝像機(jī)配置信息的情況下，將之前剛發(fā)送給上述生成部的攝像機(jī)配置信息再次發(fā)送給上述生成部。6.如權(quán)利要求5所述的合成裝置，其特征在于，上述參數(shù)還包括當(dāng)對(duì)由與該參數(shù)建立了對(duì)應(yīng)的視頻幀識(shí)別碼表示的視頻幀進(jìn)行攝影時(shí)的光源的配置的光源配置信息。7.如權(quán)利要求6所述的合成裝置，其特征在于，上述光源配置信息包括表示上述光源的照射位置的照射位置信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)對(duì)在虛擬空間上形成的對(duì)象物從由上述照射位置信息表示的位置照射光時(shí)應(yīng)得到的圖像來進(jìn)行。8.如權(quán)利要求7所述的合成裝置，其特征在于，上述光源配置信息包括表示上述光源的照射強(qiáng)度的照射強(qiáng)度信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)對(duì)在虛擬空間上形成的對(duì)象物照射由上述照射強(qiáng)度信息表示的強(qiáng)度的光時(shí)應(yīng)得到的圖像來進(jìn)行。9.如權(quán)利要求2所述的合成裝置，其特征在于，上述攝像機(jī)配置信息包括表示上述攝像機(jī)的攝影方向的攝影方向信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)將在虛擬空間上形成的對(duì)象物從由上述攝影方向信息表示的方向攝影時(shí)應(yīng)得到的圖像來進(jìn)行。10.如權(quán)利要求2所述的合成裝置，其特征在于，上述參數(shù)還包括表示將由與該參數(shù)建立了對(duì)應(yīng)的視頻幀識(shí)別碼表示的視頻幀攝影時(shí)的光源的配置的光源配置信息。11.如權(quán)利要求10所述的合成裝置，其特征在于，上述光源配置信息包括表示上述光源的照射位置的照射位置信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)對(duì)在虛擬空間上形成的對(duì)象物從由上述照射位置信息表示的位置照射光時(shí)應(yīng)得到的圖像來進(jìn)行。12.如權(quán)利要求10所述的合成裝置，其特征在于，上述光源配置信息包括表示上述光源的照射強(qiáng)度的照射強(qiáng)度信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)對(duì)在虛擬空間上形成的對(duì)象物照射由上述照射強(qiáng)度信息表示的強(qiáng)度的光時(shí)應(yīng)得到的圖像來進(jìn)行。13.如權(quán)利要求10所述的合成裝置，其特征在于，上述光源配置信息包括表示上述光源的顏色的顏色信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)對(duì)在虛擬空間上形成的對(duì)象物照射由上述顏色信息表示的顏色的光時(shí)應(yīng)得到的圖像來進(jìn)行。14.如權(quán)利要求10所述的合成裝置，其特征在于，上述光源配置信息包括表示上述光源的照射方向的照射方向信息；由上述生成部進(jìn)行的上述圖形的生成，通過生成當(dāng)對(duì)在虛擬空間上形成的對(duì)象物從由上述照射方向信息表示的方向照射光時(shí)應(yīng)得到的圖像來進(jìn)行。15.一種合成方法，其特征在于，包括取得步驟，從由多個(gè)視頻幀構(gòu)成的數(shù)字流中取得表示各視頻幀的視頻幀識(shí)別碼，該視頻幀識(shí)別碼與表示對(duì)上述視頻幀進(jìn)行攝影的攝影狀況的參數(shù)建立了對(duì)應(yīng)；生成步驟，基于上述參數(shù)生成圖形，以將攝影狀況反映到顯示形態(tài)中；及合成步驟，對(duì)于基于上述數(shù)字流的各視頻幀，將基于與表示該視頻幀的視頻幀識(shí)別碼建立了對(duì)應(yīng)的參數(shù)而生成的圖形依次合成。全文摘要本發(fā)明提供一種合成裝置及合成方法。在實(shí)拍影像與CG的合成中，在實(shí)拍影像是一邊移動(dòng)攝像機(jī)一邊攝影的影像的情況下，為了生成匹配于該影像的運(yùn)動(dòng)而運(yùn)動(dòng)以便沒有別扭感的CG，以往需要預(yù)先精確地調(diào)節(jié)CG的顯示定時(shí)和顯示位置、裝入程序的困難的作業(yè)。本發(fā)明對(duì)于一邊移動(dòng)攝像機(jī)一邊攝影的實(shí)拍圖像，生成CG以便能夠盡量緩和觀感上的別扭感，生成真實(shí)感較高的合成影像。文檔編號(hào)G06T19/00GK102067181SQ200980123629公開日2011年5月18日申請(qǐng)日期2009年6月16日優(yōu)先權(quán)日2008年6月23日發(fā)明者杰爾馬諾·萊希森林,金丸智一申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社