專利名稱：進(jìn)行全周圍立體圖像的描繪的圖像描繪裝置、圖像描繪方法、圖像描繪程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及全周圍圖像的描繪技術(shù)。
背景技術(shù)：
上述全周圍圖像的描繪技術(shù)是作為街景服務(wù)的基礎(chǔ)的技術(shù)。街景服務(wù)是如下服務(wù)在服務(wù)器上對(duì)在各種道路上的地點(diǎn)拍攝的全景圖像進(jìn)行管理，用戶能夠通過WEB瀏覽器等，以360度的全周圍全景圖像的方式享受任意地點(diǎn)的道路上的風(fēng)景。通過該街景服務(wù)，在旅行目的地的周邊狀況的事前確認(rèn)、希望再次回顧旅行后的回憶的情況等下，不是以固定視點(diǎn)觀看風(fēng)景，而能夠以任意視點(diǎn)觀看風(fēng)景，所以，具有用戶的使用便利性提高這樣的優(yōu) 點(diǎn)。作為與街景有關(guān)的現(xiàn)有技術(shù)，存在以下專利文獻(xiàn)所記載的技術(shù)?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)I :日本特表2010-53100
發(fā)明內(nèi)容
發(fā)明要解決的課題但是，所述街景服務(wù)雖然能夠確認(rèn)全景圖像，但是，所顯示的影像成為平面視影像。近年來，大畫面3D電視機(jī)正在普及，如果只能以平面視的方式觀看全景圖像，則服務(wù)明顯遜色。但是，如果為了使街景也對(duì)應(yīng)于3D立體視服務(wù)而再次利用立體視照相機(jī)對(duì)世界中的道路進(jìn)行拍攝，則需要龐大的時(shí)間和勞力，而且，特意拍攝的平面視圖像的街景最終并沒有用。因此，想到通過平面視-立體視變換而對(duì)現(xiàn)有的平面視街景進(jìn)行立體視化的想法。在這種平面視-立體視化中，存在以下的技術(shù)屏障。關(guān)于上述繪制，通常不是作為一張墨卡托圖像而拍攝的，而是通過結(jié)合縱4X橫7這樣的數(shù)量的多個(gè)背景圖像而生成的。這樣，通過結(jié)合多個(gè)背景圖像而得到360度全景圖像，當(dāng)希望使其成為立體視化的對(duì)象時(shí)，需要對(duì)構(gòu)成360度全景圖像的各個(gè)圖像執(zhí)行基于深度圖像的基于深度圖像的繪制?；谏疃葓D像的繪制是如下技術(shù)使圖像的各像素的坐標(biāo)在水平方向位移，以使其具有深度圖像所示的進(jìn)深。這里，當(dāng)對(duì)構(gòu)成360度全景圖像的各個(gè)圖像進(jìn)行基于深度圖像的位移時(shí)，各個(gè)圖像中的存在于端部的圖像的一部分位于圖像的顯示區(qū)域外。這樣，與構(gòu)成360度全景圖像的各個(gè)圖像的邊界相當(dāng)?shù)牟糠值南袼叵?，得到存在空白縱筋的360度全景圖像。這使顯示品位大幅降低。在作為立體視化對(duì)象的影像為墨卡托圖像的情況下，不存在圖像間的結(jié)合邊界，所以，不會(huì)產(chǎn)生空白的縱筋。但是，當(dāng)對(duì)通過結(jié)合多個(gè)圖像而得到的墨卡托圖像實(shí)施基于深度圖像的繪制時(shí)，用于臨時(shí)存儲(chǔ)墨卡托圖像的存儲(chǔ)器規(guī)模增大，具有妨礙產(chǎn)品低價(jià)格化的問題。并且，墨卡托圖像原本意圖粘貼在球體模型上，所以，在粘貼狀態(tài)下，圖像的一個(gè)端部和另一個(gè)端部相面對(duì)，產(chǎn)生邊界。該情況下，通過進(jìn)行基于深度圖像的繪制，邊界成為沒有像素的空白部分，降低顯示品位。如上所述，在根據(jù)平面視圖像和深度圖像生成立體圖像的情況下，具有如下課題由于在立體圖像生成過程中產(chǎn)生的圖像兩端的像素位移，各個(gè)圖像彼此的無縫性喪失，其結(jié)果，以不自然的形式顯示在圖像彼此的邊界上。本發(fā)明的目的在于，提供如下的圖像描繪裝置在立體視再現(xiàn)時(shí)，不會(huì)產(chǎn)生像素的空白部分。用于解決課題的手段在背景圖像為街景這樣的假設(shè)下提示了技術(shù)課題，但是，該假設(shè)只不過是在說明上述技術(shù)課題時(shí)選擇身邊的題材，本申請(qǐng)中作為對(duì)象的技術(shù)課題不限于背景圖像為上述街景的例子的情況。結(jié)合多個(gè)某些圖像而成為立體視對(duì)象時(shí)的視覺上的不匹配的消除全部是 本申請(qǐng)的技術(shù)課題，在不久的將來，使上述技術(shù)在工業(yè)產(chǎn)品的領(lǐng)域中實(shí)用化時(shí)，是從業(yè)人員必須直面的技術(shù)屏障。能夠解決該課題的圖像描繪裝置實(shí)現(xiàn)與結(jié)合圖像數(shù)據(jù)有關(guān)的立體視，其特征在于，所述結(jié)合圖像數(shù)據(jù)是橫向結(jié)合了多個(gè)背景圖像數(shù)據(jù)而得到的，所述圖像描繪裝置具有像素位移單元，對(duì)構(gòu)成結(jié)合圖像數(shù)據(jù)的各個(gè)背景圖像數(shù)據(jù)實(shí)施像素位移，并且實(shí)施伴隨該像素位移的邊界處理，從而得到2個(gè)以上的視點(diǎn)紋理；紋理映射單元，在三維建?？臻g中的立體模型的內(nèi)側(cè)表面上映射2個(gè)以上的視點(diǎn)紋理；以及窗口變換單元，從進(jìn)行紋理映射后的立體模型中提取分別與2個(gè)以上的視點(diǎn)對(duì)應(yīng)的窗口圖像，所述像素位移是使構(gòu)成各個(gè)背景圖像數(shù)據(jù)的像素的坐標(biāo)橫向移動(dòng)的處理，根據(jù)與結(jié)合圖像數(shù)據(jù)對(duì)應(yīng)的深度圖像數(shù)據(jù)中的像素的進(jìn)深值決定像素的移動(dòng)量，所述邊界處理是如下處理提取由于像素坐標(biāo)的橫向移動(dòng)而從各個(gè)背景圖像數(shù)據(jù)的顯示范圍中露出的像素群，在結(jié)合圖像數(shù)據(jù)中橫向相鄰的其他背景圖像數(shù)據(jù)的端部寫入被提取出的露出像素群。發(fā)明效果根據(jù)本發(fā)明，在相鄰的圖像的位移方向的相反側(cè)的端部追加由于位移而位于區(qū)域外的像素，所以，由于位移而位于區(qū)域外的像素群不會(huì)消失。圖像邊界中不會(huì)產(chǎn)生像素消失，所以，橫向結(jié)合圖像時(shí)的一體感增加，能夠?qū)崿F(xiàn)真實(shí)的360度全景圖像。并且，在將圖像粘貼在球體上的情況下，存在于其結(jié)合體的一個(gè)端部的圖像和存在于相反側(cè)的端部的圖像相鄰。該情況下，通過使存在于一個(gè)端部的圖像位移，在相反側(cè)的端部追加位于區(qū)域外的像素，所以，即使在將這些多個(gè)圖像的結(jié)合體粘貼在球體模型上的情況下，由于位移而位于區(qū)域外的像素也不會(huì)消失。由此，圖像的一體感增加。例如在使結(jié)合了縱4X橫7的背景圖像的全周圍圖像位移時(shí)，不需要將縱4X橫7的圖像全體存儲(chǔ)在存儲(chǔ)器中，所以，能夠?qū)崿F(xiàn)省存儲(chǔ)器化。雖然是任意的，但是也可以是，所述圖像描繪裝置具有顯示區(qū)域緩存、區(qū)域外緩存、以及用于存儲(chǔ)進(jìn)行像素位移處理后的已處理背景圖像數(shù)據(jù)的紋理存儲(chǔ)器，在顯示區(qū)域緩存中存儲(chǔ)構(gòu)成所述結(jié)合圖像數(shù)據(jù)的多個(gè)背景圖像數(shù)據(jù)中的成為處理對(duì)象的背景圖像數(shù)據(jù)，在顯示區(qū)域緩存上使構(gòu)成背景圖像數(shù)據(jù)的像素的坐標(biāo)橫向移動(dòng)，并且提取像素從背景圖像數(shù)據(jù)的顯示范圍中露出的像素群，將其寫入?yún)^(qū)域外緩存，從而進(jìn)行所述像素位移，從區(qū)域外緩存中讀出露出像素群，寫入在紋理存儲(chǔ)器中存儲(chǔ)的已處理背景圖像數(shù)據(jù)中的一個(gè)端部，從而進(jìn)行所述邊界處理。位移用的顯示區(qū)域緩存的規(guī)模不是存儲(chǔ)結(jié)合圖像全體的容量，只要能夠存儲(chǔ)I個(gè)背景圖像數(shù)據(jù)的容量就足夠了。像素位移所需要的存儲(chǔ)器的裝配量成為最低限度，所以，不需要擔(dān)心在數(shù)字家電中搭載圖像描繪裝置時(shí)的成本升高。雖然是任意的，但是也可以是，在所述結(jié)合圖像數(shù)據(jù)是通過結(jié)合I個(gè)墨卡托圖像數(shù)據(jù)的一個(gè)端部和另一個(gè)端部而得到的結(jié)合墨卡托圖像數(shù)據(jù)的情況下，在所述邊界處理中，結(jié)合墨卡托圖像數(shù)據(jù)中的各像素根據(jù)深度圖像數(shù)據(jù)而位移，由此，提取從墨卡托圖像的顯示范圍中露出的像素群，在被提取的端部的相反側(cè)的端部改寫被提取的露出像素群。在將一張墨卡托圖像粘貼在球體模型的內(nèi)側(cè)表面上的情況下，該圖像的一個(gè)端部與自身的相反側(cè)的端部相鄰。該情況下，通過在位移方向的相反側(cè)的端部追加由于位移而位于區(qū)域外的像素，將具有一體感的圖像粘貼在球體模型上，能夠避免產(chǎn)生空白部分。雖然是任意的，但是也可以是，所述圖像描繪裝置具有位置方向判定單元，根據(jù)用戶操作來判定地圖上的當(dāng)前視點(diǎn)位置和當(dāng)前視線方向；以及取得單元，使用與地圖上的當(dāng)前視點(diǎn)位置對(duì)應(yīng)的地理信息生成圖像取得請(qǐng)求，將其發(fā)送到圖像收集服務(wù)器，從而下載街景文件，從圖像收集服務(wù)器下載的街景文件具有與圖像取得請(qǐng)求中包含的地理信息一致的拍攝地屬性，所述結(jié)合圖像數(shù)據(jù)存在于所下載的街景文件內(nèi)。根據(jù)使用地球上的地理信 息的圖像取得請(qǐng)求來發(fā)送背景圖像，所以，用戶能夠留在房屋中，從服務(wù)器下載世界中的喜歡的場所的光景，將其合成到自己的照片中。通過該服務(wù)，能夠使用戶感受在世界旅行這樣的虛擬體驗(yàn)。雖然是任意的，但是也可以是，所述結(jié)合圖像數(shù)據(jù)是視點(diǎn)周圍圖像，通過橫向結(jié)合多個(gè)背景圖像數(shù)據(jù)，表示從與圖像取得請(qǐng)求中的地理信息對(duì)應(yīng)的地理位置張望周圍時(shí)的光景。將存在于照片文件中的地理信息作為關(guān)鍵字，使服務(wù)器進(jìn)行背景圖像的檢索，取得期望的街景文件，所以，在圖像描繪裝置被組入數(shù)字電視機(jī)中的情況下，能夠?qū)崿F(xiàn)使數(shù)字電視機(jī)與立體視照相機(jī)協(xié)作的新型服務(wù)。由此，在捆綁銷售數(shù)字電視機(jī)和立體視照相機(jī)的情況下，能夠?qū)崿F(xiàn)與競爭商品之間的差別化。雖然是任意的，但是也可以是，所述結(jié)合圖像數(shù)據(jù)是視點(diǎn)周圍圖像，通過橫向結(jié)合多個(gè)背景圖像數(shù)據(jù)，表示從與圖像取得請(qǐng)求中的地理信息對(duì)應(yīng)的地理位置張望周圍時(shí)的光景。用戶能夠在視點(diǎn)周邊圖像中出現(xiàn)的沮圍內(nèi)自由改變視線，能夠?qū)崿F(xiàn)隨后體驗(yàn)功能的充實(shí)化。


圖I示出立體視全景檢索服務(wù)的全體結(jié)構(gòu)。圖2是示意地示出作為街景對(duì)象的虛擬空間的圖。圖3示出橫排粘貼多個(gè)背景圖像的球面模型的內(nèi)側(cè)表面。圖4示出在三維建?？臻g中在立體視再現(xiàn)時(shí)生成的2個(gè)球面模型。圖5示出根據(jù)在球體的內(nèi)側(cè)表面粘貼的背景圖像而生成多視點(diǎn)圖像的過程。圖6示出粘貼了左位移后的全周圍圖像和右位移后的全周圍圖像的狀態(tài)的球面模型。圖7示出左眼用紋理和右眼用紋理的配置。圖8示出前景圖像與背景圖像的合成。圖9示出隨后體驗(yàn)影像的一例。
圖10示出街景導(dǎo)航的畫面結(jié)構(gòu)的一例。圖11是示出實(shí)施方式I中的描繪裝置的輸入輸出方式的一例的圖。圖12是示出圖像描繪裝置的使用方式的一例的圖。圖13是示出圖像描繪裝置的功能結(jié)構(gòu)的框圖。圖14是與從網(wǎng)絡(luò)接口 3或本地存儲(chǔ)器4取得的全周圍圖像對(duì)應(yīng)的深度圖像的一例。圖15是示出通過基于深度圖像使全周圍圖像的各像素位移而生成其他視點(diǎn)的圖像的過程的圖。圖16示出在圖像中存在于坐標(biāo)(X、y)的像素Pix (x、y)和在深度圖像中存在于 坐標(biāo)(X、y)的像素 depth (x、y)。圖17示出通過像素電平的位移而在左眼紋理和右眼紋理中具有什么樣的視差。圖18示出全周圍圖像存儲(chǔ)器13、深度圖像存儲(chǔ)器、左眼紋理存儲(chǔ)器22、右眼紋理存儲(chǔ)器23的內(nèi)部結(jié)構(gòu)與像素位移部18、顯示區(qū)域緩存19、區(qū)域外緩存20之間的關(guān)系。圖19示出深度圖像存儲(chǔ)器、全周圍圖像存儲(chǔ)器13、左眼紋理存儲(chǔ)器22之間的數(shù)據(jù)流程。圖20示出深度圖像存儲(chǔ)器、全周圍圖像存儲(chǔ)器13、左眼紋理存儲(chǔ)器22之間的數(shù)據(jù)流程。圖21示出形成左眼紋理的過程。圖22示出形成右眼紋理的過程。圖23示出形成右眼紋理的過程。圖24是示出全周圍圖像的立體視化順序的流程圖。圖25是水平360度立體圖像生成處理的流程圖。圖26是示出僅根據(jù)DIBR處理而得到的右眼用的全周圍圖像與進(jìn)行像素位移和邊界處理而得到的右眼用的全周圍圖像的對(duì)比的圖。圖27是示出實(shí)施方式2中的全周圍圖像和與其對(duì)應(yīng)的深度圖像的圖。圖28是示出實(shí)施方式2中的對(duì)像素位移后的圖像進(jìn)行校正并生成立體圖像的狀況的圖。圖29示出紋理映射部28的紋理映射。圖30是圖像描繪裝置的硬件結(jié)構(gòu)圖。圖31是示出GPU的內(nèi)部結(jié)構(gòu)的圖。圖32是球面模型與紋理的對(duì)應(yīng)、以及用于實(shí)現(xiàn)紋理映射的API調(diào)出的描述例。
具體實(shí)施例方式具有上述課題解決手段的圖像描繪裝置的發(fā)明能夠作為用于再現(xiàn)街景的數(shù)字家電設(shè)備來實(shí)施，集成電路的發(fā)明能夠作為裝入該數(shù)字家電設(shè)備中的系統(tǒng)LSI來實(shí)施。圖像描繪方法的發(fā)明能夠作為在該數(shù)字家電設(shè)備中實(shí)現(xiàn)的時(shí)序順序來實(shí)施。圖像描繪程序的發(fā)明能夠作為記錄在計(jì)算機(jī)可讀取的非臨時(shí)的記錄介質(zhì)中并安裝在數(shù)字家電設(shè)備中的執(zhí)行形式程序來實(shí)施。在圖像描繪裝置的說明之前，對(duì)圖像描繪裝置的使用環(huán)境即立體視全景檢索服務(wù)的全體結(jié)構(gòu)進(jìn)行說明。
圖I示出立體視全景檢索服務(wù)的全體結(jié)構(gòu)。全景收集服務(wù)器1001是將從世界中收集的背景圖像與深度數(shù)據(jù)和地形數(shù)據(jù)相對(duì)應(yīng)地存儲(chǔ)的服務(wù)器，根據(jù)來自客戶端裝置的請(qǐng)求，與深度圖像和地形數(shù)據(jù)一起發(fā)送視點(diǎn)周圍圖像。背景圖像是在專用的拍攝車輛的行駛中拍攝的。深度數(shù)據(jù)表示在該拍攝時(shí)取得的地標(biāo)的進(jìn)深。進(jìn)而，視點(diǎn)周圍圖像表示從與對(duì)全景收集服務(wù)器1001發(fā)送的圖像取得請(qǐng)求中的地理信息對(duì)應(yīng)的地理位置張望周圍時(shí)的光景。視點(diǎn)周圍圖像例如是張望90度、120度、180度、360度這樣的較寬視野的圖像，特別地，將張望360度視野的視點(diǎn)周圍圖像稱為全景圖像或全周圍圖像。為了便于說明，在以后的說明中，假設(shè)視點(diǎn)周圍圖像為張望360度視野的全景圖像即全周圍圖像。該拍攝車輛具有多個(gè)照相機(jī)，在多個(gè)照相機(jī)中，通過縱4X橫7的背景圖像表示車輛所在的場所。深度圖像通過像素的亮度表示深度數(shù)據(jù)中的地標(biāo)的進(jìn)深，表示背景圖像的進(jìn)深。即，深度圖像的各個(gè)像素成為表示背景圖像的各個(gè)像素的進(jìn)深的進(jìn)深信息客戶端裝置1002是數(shù)字電視機(jī)等網(wǎng)絡(luò)對(duì)應(yīng)的家電設(shè)備，對(duì)服務(wù)器發(fā)送下載請(qǐng)求mgl，并接收全周圍圖像mg2、深度圖像mg3。使用該全周圍圖像執(zhí)行3D街景。該下載請(qǐng)求 包括緯度、經(jīng)度、海拔的信息，能夠請(qǐng)求發(fā)送地球上的任意場所的全周圍圖像。在用戶希望視聽立體視的街景的情況下，由用戶佩戴眼鏡1003。這里的立體視通過多視點(diǎn)圖像群實(shí)現(xiàn)。這里，多視點(diǎn)圖像群是如左眼圖像、右眼圖像、中央、右斜上圖像、右斜下圖像、左斜上圖像、左斜下圖像那樣、通過與2個(gè)以上的視點(diǎn)對(duì)應(yīng)的視點(diǎn)圖像實(shí)現(xiàn)立體視的視點(diǎn)圖像的集合體。對(duì)多視點(diǎn)圖像群的全部變化進(jìn)行說明時(shí)，說明變得煩雜，所以，在以后的說明中，設(shè)多視點(diǎn)圖像群是由必要最低限度的視點(diǎn)圖像組、即左眼圖像和右眼圖像的組構(gòu)成的立體圖像群，從而進(jìn)行說明。圖2是示意地示出街景立體視系統(tǒng)的圖。本圖的上半部分是模型所在的虛擬空間，下半部分是客戶端裝置1002、眼鏡1003所在的現(xiàn)實(shí)空間。首先，對(duì)虛擬空間進(jìn)行說明。虛擬空間是指由用于配置三維坐標(biāo)的坐標(biāo)系規(guī)定的三維建?？臻g，該三維坐標(biāo)規(guī)定立體模型的幾何學(xué)形狀。立體模型的形狀不限。可以是圓柱、圓錐、三角錐、橢圓體等的任意形狀的三維模型，但是，為了便于說明，在以后的說明中，設(shè)為球面模型進(jìn)行說明。作為立體模型的球體的中心是照相機(jī)的位置。為了簡化，僅描繪一個(gè)球面模型，但是，在立體視時(shí)，存在分別與左眼用、右眼用有關(guān)的球面模型。圖中的照相機(jī)CL是配置在從球面模型中心向右側(cè)隔開P的位置的照相機(jī)。照相機(jī)CR是配置在從球面模型中心向左側(cè)隔開P的位置的照相機(jī)。這些照相機(jī)CL、CR成為左眼拍攝時(shí)、右眼拍攝行為時(shí)的球面模型的中心位置。在該立體模型的斜上方配置有結(jié)合了縱4X橫7的背景圖像的全周圍圖像。全周圍圖像具有右眼用的全周圍圖像ml和左眼用的全周圍圖像m2，在右眼用紋理和左眼用紋理中，三維建?？臻g中的配置位置不同。在本圖中，僅描繪球面模型的上半部分，但是，實(shí)際上還存在下半部分。并且，關(guān)于全周圍圖像，也僅描繪上半部分，但是，實(shí)際上還存在下半部分。接著，對(duì)球面模型進(jìn)行說明。在球體的內(nèi)側(cè)表面存在右眼用紋理的粘貼范圍m4和左眼用紋理的粘貼范圍m5。球面模型中的粘貼范圍是指在球面模型中由4個(gè)或3個(gè)交點(diǎn)規(guī)定的網(wǎng)格。該網(wǎng)格具有球面模型的曲率，被定義為將球面模型的極坐標(biāo)作為頂點(diǎn)的三角形帶的一部分或全部。在紋理映射時(shí)，設(shè)圖形類型為三角形帶，通過與存儲(chǔ)有背景圖像的正文緩存坐標(biāo)進(jìn)行對(duì)應(yīng)，執(zhí)行圖形描繪。在紋理的近前存在顯示面，在該顯示面中定義窗口 mg6。窗口規(guī)定三維建?？臻g中的用于顯示的部分。投影到該窗口中的影像用于再現(xiàn)。窗口存在于左眼投影范圍和右眼投影范圍交叉的場所。即，窗口配置在左眼用和右眼用共同的位置。在球面模型的內(nèi)側(cè)粘貼的紋理是全周圍圖像，所以，張望360°的全周圍。如果將三維建?？臻g中的球面模型展開為墨卡托圖形，則成為全周圍圖像。半球體中的縱2X橫7的網(wǎng)格的個(gè)數(shù)與全周圍圖像中的縱2X橫7的背景圖像的個(gè)數(shù)一致。S卩，進(jìn)行將全周圍圖像中的各個(gè)背景圖像變換為紋理、并粘貼在球面模型的各個(gè)網(wǎng)格中的紋理映射。以上是與虛擬空間有關(guān)的說明。接著，對(duì)現(xiàn)實(shí)空間進(jìn)行說明。在本圖中，在作為立體模型的球體的正下方描繪客戶端裝置1002和佩戴了眼鏡1003的用戶的面部?？蛻舳搜b置1002的顯示畫面存在于球面模型內(nèi)的窗口的正下方。并且，眼鏡1003存在于比照相機(jī)CL、CR的正下方更靠里側(cè)。這是因?yàn)?，用戶的右眼、左眼成為照相機(jī)CL、CR的位置，所以，眼鏡1003必須配置在其附近。 如上所述，照相機(jī)CL、CR的位置與用戶的右眼、左眼相當(dāng)，窗口與客戶端裝置1002的畫面相當(dāng)，所以，在客戶端裝置1002與用戶之間出現(xiàn)立體視圖像。在虛擬空間中，房屋以平面方式表現(xiàn)，但是，在現(xiàn)實(shí)空間中，房屋成為從客戶端裝置1002的畫面中突現(xiàn)的形式。圖3示出從球面模型中心對(duì)粘貼在球面內(nèi)側(cè)的紋理進(jìn)行視聽的狀態(tài)。圖3示出橫排粘貼多個(gè)背景圖像的球面模型的內(nèi)側(cè)表面。在圖3中，在正面配置近代的教堂，在右手側(cè)存在滑梯。它們粘貼在球體的內(nèi)側(cè)表面，所以，當(dāng)在截面圓的中心配置照相機(jī)的情況下，以從全周圍包圍該照相機(jī)的方式配置背景圖像。在該球面模型中粘貼的紋理伴隨由地球上的緯度、經(jīng)度、海拔確定的視點(diǎn)位置而變化。即，在用戶進(jìn)行了視點(diǎn)位置的變更操作的情況下，影像提供裝置對(duì)由地球上的地理信息(緯度、經(jīng)度、海拔等)確定的當(dāng)前視點(diǎn)位置進(jìn)行更新，下載與更新后的當(dāng)前視點(diǎn)位置一致的全周圍圖像，將該全周圍圖像粘貼在球面模型中，進(jìn)行再次描繪。在圖2的球面模型中，照相機(jī)存在于球面模型的中心，但是，這是用于平面視的照相機(jī)位置，立體視的照相機(jī)位置不同。在立體視時(shí)，通過在從球面模型中心隔開P的位置配置照相機(jī)，得到2個(gè)球面模型。圖4示出在三維建?？臻g中在立體視再現(xiàn)時(shí)生成的2個(gè)球面模型。圖4 (a)是左眼用的球面模型，在內(nèi)側(cè)粘貼有通過對(duì)橫向結(jié)合了橫7張背景圖像的圖像執(zhí)行DIBR而生成的左眼圖像。圖4 (b)是通過對(duì)(a)的圖像執(zhí)行基于深度圖像的基于深度的繪制而生成的右眼圖像，在內(nèi)側(cè)粘貼有通過對(duì)橫向結(jié)合了橫7張背景圖像的圖像執(zhí)行基于深度圖像的基于深度的繪制而生成的右眼圖像。設(shè)構(gòu)成全周圍圖像的橫7張圖像為圖像A、B、C、D、E、F、G。對(duì)如何根據(jù)該圖像A G生成右眼用紋理和左眼用紋理進(jìn)行說明。圖5示出根據(jù)在該球體的內(nèi)側(cè)表面粘貼的背景圖像而生成多視點(diǎn)圖像的過程。(a)示出如下的一例在通過對(duì)球體內(nèi)側(cè)表面進(jìn)行分割而得到的7個(gè)分割區(qū)域中，按照A — B — C — D — E的順序粘貼構(gòu)成全周圍圖像的橫7張圖像中的A、B、C、D、E這5張背景圖像。對(duì)圖5 (a)的圖像A、圖像B、圖像C、圖像D、圖像E進(jìn)行說明。在圖像A中，設(shè)由于基于DIBR的位移而使坐標(biāo)變化的像素集合為AL、AM、AR。在圖像B中，設(shè)由于基于DIBR的位移而使坐標(biāo)變化的像素集合為BL、BM、BR，在圖像C中，設(shè)由于基于DIBR的位移而使坐標(biāo)變化的像素集合為CL、CM、CR。在圖像D中，設(shè)由于基于DIBR的位移而使坐標(biāo)變化的像素集合為DL、DM、DR，在圖像E中，設(shè)由于基于DIBR的位移而使坐標(biāo)變化的像素集合為EL、EM、ER。這些像素群在圖像中呈現(xiàn)“V”的形狀。在左眼用紋理的生成中，結(jié)合圖像A E來執(zhí)行DIBR。由此，左端部分的像素在顯示區(qū)域外，所以，在相鄰圖像即圖像A、B、C、D、E的右側(cè)端部追加圖5 Ca)中的像素集合BL、CL、DL、EL、FL。該結(jié)果為圖5 (b)。如圖5 (b)所示，左眼用紋理由包含像素群AM、AR、BL的圖像A (L);包含像素群BM、BR、CL的圖像B (L);由像素群CM、CR、DL構(gòu)成的圖像C(U;包含像素群DM、DR. EL的圖像D (L);以及包含像素群EM、ER、FL的圖像E (L)構(gòu)成。由于是紙面上的情況，所以，在圖5中省略圖像F、G的圖示，但是，圖像F、G也進(jìn)行與本圖相同的處理。在右眼用紋理的生成中，結(jié)合圖像A E來執(zhí)行DIBR。由此，右端部分的像素在顯示區(qū)域外，所以，在相鄰圖像即圖像A、B、C、D、E的左側(cè)端部追加圖5 Ca)中的像素集合GR、AR、BR、CR、DR。該結(jié)果為圖5 (C)。如圖5 (c)所示，右眼用紋理由包含像素群GR、AL、Am的圖像A (R);包含像素群AR、BL、Bm的圖像B (R);由像素群BR、CL、Cm構(gòu)成的圖像C(R);包含像素群CR、DL、Dm的圖像D (R);以及包含像素群DR、EL、Em的圖像E (R)構(gòu)成。 圖6 (a)示出在球面內(nèi)側(cè)粘貼圖5 (b)的左位移后的像素時(shí)的紋理。圖6 (b)示出在球面內(nèi)側(cè)粘貼圖5 (c)的右位移后的像素時(shí)的紋理。圖7(a)示出在圖I的三維建?？臻g中左眼用紋理、右眼用紋理與窗口的關(guān)系。圖7 (a)是左眼用紋理的配置。在本圖中，在左眼用照相機(jī)的視線矢量前方配置左眼用紋理，在球面模型內(nèi)側(cè)粘貼左眼用紋理。由此，與窗口相當(dāng)?shù)牟糠直挥糜陲@示。圖7(b)是右眼用紋理的配置。在本圖中，在右眼用照相機(jī)的視線矢量前方配置右眼用紋理，在球面模型內(nèi)側(cè)粘貼右眼用紋理。由此，與窗口相當(dāng)?shù)牟糠直挥糜陲@示。圖8示出前景圖像與背景圖像的合成。(a)是作為題材的前景圖像，這是以近代的教堂為背景、新郎和新娘相互面對(duì)的內(nèi)容的抓拍照片。該近代的教堂也存在于背景圖像中，所以，教堂的輪廓線形狀成為前景圖像和背景圖像的共同特征。圖8 (b)示出前景圖像與背景圖像的匹配。通過該匹配，能夠得到表示背景圖像和前景圖像的對(duì)應(yīng)關(guān)系的變換矩陣，所以，如果根據(jù)該矩陣對(duì)前景圖像的深度圖像進(jìn)行變換后進(jìn)行DIBR，則得到與背景圖像沒有不舒適感的合成圖像。以該圖8的合成為前提，能夠?qū)崿F(xiàn)隨后體驗(yàn)。圖9示出畫面合成的一例。視線vwl表示通過眼鏡1003對(duì)右眼進(jìn)行遮光時(shí)的影像的入射。視線vw2表示通過眼鏡1003對(duì)左眼進(jìn)行遮光時(shí)的影像的入射。通過該wl對(duì)左眼圖像進(jìn)行視聽。并且，通過w2對(duì)右眼圖像進(jìn)行視聽。通過佩戴眼鏡1003，用戶交替視聽右眼圖像和左眼圖像，再現(xiàn)立體視圖像。圖9的圖像是通過根據(jù)變換矩陣對(duì)窗口中得到的前景圖像和背景圖像進(jìn)行合成而得到的立體視圖像。以在球面體內(nèi)部粘貼的多個(gè)背景圖像為背景來顯示人物，所以，得到臨場感高的立體視影像。如上所述，如果從服務(wù)器取得與照片的全局位置一致的全周圍圖像，則能夠在與該照片一致的全周圍圖像中合成照片。并且，能夠在街景中合成Π目標(biāo)。圖10示出合成了Π目標(biāo)的街景。方向?qū)Ш経i在視覺上顯示當(dāng)前的視線方向。指示器irl、ir2表示當(dāng)前的視點(diǎn)位置所在的地名(Ioss-LessCitycentral park)和建筑物的名稱(CABAC church)。十字按鈕bn2在變更當(dāng)前視點(diǎn)位置的情況下受理其行進(jìn)方向的選擇。變焦放大按鈕bn3在不改變視點(diǎn)位置和視線方向的狀態(tài)下受理顯示內(nèi)容的放大/縮小操作。角度按鈕bn4受理當(dāng)前視線方向的右旋轉(zhuǎn)、左旋轉(zhuǎn)的指定。這些GUI被分配給遙控器的鍵，所以，通過對(duì)遙控器進(jìn)行操作，能夠進(jìn)行街景中的移動(dòng)、旋轉(zhuǎn)這樣的控制。以上是與全景檢索服務(wù)有關(guān)的說明。(實(shí)施方式I)實(shí)施方式I涉及對(duì)構(gòu)成結(jié)合背景圖像的各個(gè)背景圖像實(shí)施像素位移時(shí)、適當(dāng)?shù)貙?duì)由于該像素位移而產(chǎn)生的“露出像素”進(jìn)行處理的改良。圖11是示出實(shí)施方式I中的圖像描繪裝置的輸入輸出方式的一例的圖。描繪裝置101受理與全周圍圖像對(duì)應(yīng)的深度圖像(深度映射圖)作為輸入，進(jìn)行左眼用和右眼用的圖像輸出。利用立體視對(duì)應(yīng)顯示器，在畫面上同步描繪被輸出的左眼圖像和右眼圖像，使視聽者感受立體圖像。I個(gè)地點(diǎn)的全周圍圖像由縱4張、橫7張的合計(jì)28張部分圖像構(gòu)成。一張各部分圖像具有縱512像素、橫512像素的像素?cái)?shù)。深度圖像(深度映射圖)表示立體空間中的各像素的進(jìn)深，顏色更黑的部分是在立體空間上位于里側(cè)的物體，顏色較白的部分表示在立體空間上存在于近前側(cè)的物體。 描繪裝置針對(duì)各部分圖像應(yīng)用深度圖像，與被輸入的部分圖像的數(shù)量同樣，分別生成28張右眼用圖像和左眼用圖像。所生成的右眼用圖像和左眼用圖像分別被粘貼在球面上，在左眼用和右眼用時(shí)，將在3D建模空間上從球體中心觀察球面?zhèn)鹊姆秶捷敵龅疆嬅嫔?，由?顯示全周圍的立體圖像。圖12是示出圖像描繪裝置的使用方式的一例的圖。用戶使用遙控器102指定希望視聽的場所和角度，通過液晶快門式眼鏡104對(duì)輸出到立體視對(duì)應(yīng)顯示器103的影像進(jìn)行視聽，由此，能夠立體地感受任意地點(diǎn)/角度的全周圍圖像。立體視對(duì)應(yīng)顯示器103與描繪裝置101連接，或者內(nèi)置由描繪裝置101的功能。在圖12的使用方式的例子中，立體視對(duì)應(yīng)顯示器103內(nèi)置有描繪裝置101的功能，立體視對(duì)應(yīng)顯示器103經(jīng)由因特網(wǎng)而與服務(wù)器105連接。立體視對(duì)應(yīng)顯示器103下載與用戶指定的場所對(duì)應(yīng)的全周圍圖像和深度圖像，生成右眼用圖像和左眼用圖像并同步顯示在畫面上。圖13是示出描繪裝置的功能結(jié)構(gòu)的框圖。如圖13所示，描繪裝置101由用戶操作檢測部I、位置方向判定部2、網(wǎng)絡(luò)接口 3、本地存儲(chǔ)器4、描繪控制部5、左眼平面存儲(chǔ)器6、右眼平面存儲(chǔ)器7、和輸出接口 8構(gòu)成。(用戶操作檢測部I)用戶操作檢測部I檢測用戶的遙控器操作、鍵盤操作、鼠標(biāo)操作等，將對(duì)應(yīng)的操作代碼(表示上下左右鍵按下、右鍵按下等的用戶操作的代碼)發(fā)送到位置方向判定部2。(位置方向判定部2)位置方向判定部2根據(jù)從用戶操作檢測部I接受的操作代碼，判定應(yīng)該顯示在哪個(gè)視點(diǎn)方向觀察地圖上的哪個(gè)位置的全周圍圖像的圖像。地圖上的位置是當(dāng)前視點(diǎn)位置，由包含緯度和經(jīng)度的地理信息確定。并且，視點(diǎn)方向是當(dāng)前視線方向，由水平角度和垂直角度確定。設(shè)北方為O度，繞順時(shí)針在O度 360度的范圍內(nèi)表現(xiàn)水平角度。設(shè)地平線為O度、正上方為90度、正下方為-90度，在-90度 90度的范圍內(nèi)表現(xiàn)垂直角度。位置方向判定部2根據(jù)所接受的操作代碼，確定這些緯度、經(jīng)度、水平角度、垂直角度，將所確定的值轉(zhuǎn)送到描繪控制部5。(網(wǎng)絡(luò)接口3)
網(wǎng)絡(luò)接口 3具有請(qǐng)求發(fā)送部和應(yīng)答接收部。請(qǐng)求發(fā)送部向全景收集服務(wù)器1001發(fā)送指定了地球上的當(dāng)前視點(diǎn)位置的圖像取得請(qǐng)求。這里，在針對(duì)地像進(jìn)行了用戶操作的情況下，請(qǐng)求發(fā)送部使用與通過用戶操作而指定的位置對(duì)應(yīng)的地理信息，生成指定當(dāng)前視點(diǎn)位置的圖像取得請(qǐng)求，將其發(fā)送到全景收集服務(wù)器1001。應(yīng)答接收部接收從全景收集服務(wù)器1001發(fā)送來的立體街景視點(diǎn)文件，作為針對(duì)圖像取得請(qǐng)求的應(yīng)答。從全景收集服務(wù)器1001發(fā)送來的立體街景視點(diǎn)文件具有與圖像取得請(qǐng)求中包含的地理信息一致的位置屬性。在所下載的街景文件中存在有全周圍圖像和深度圖像。街景文件被臨時(shí)存儲(chǔ)在立體圖像描繪裝置內(nèi)的本地存儲(chǔ)器4中。在立即顯示這些圖像的情況下，不存儲(chǔ)在本地存儲(chǔ)器4中，而將在裝置內(nèi)的存儲(chǔ)器上下載的全周圍圖像直接轉(zhuǎn)送到圖像取得部。(本地存儲(chǔ)器4)
本地存儲(chǔ)器4是硬盤驅(qū)動(dòng)器(HDD)、USB存儲(chǔ)器、SD存儲(chǔ)卡等的安裝在描繪裝置上的記錄介質(zhì)。用于對(duì)從服務(wù)器下載的街景文件進(jìn)行超高速緩存、并在描繪裝置中利用由服務(wù)器以外的外部設(shè)備生成的街景文件等的用途。為了有效理解本地存儲(chǔ)器4，對(duì)其存儲(chǔ)內(nèi)容即街景文件進(jìn)行說明。街景文件是再現(xiàn)地球上的任意地點(diǎn)的視點(diǎn)的文件，是在地球上的該視點(diǎn)的拍攝地屬性中對(duì)應(yīng)作為全周圍圖像的壓縮墨卡托圖像、作為對(duì)應(yīng)深度圖像的壓縮墨卡托深度、拍攝日期時(shí)間、數(shù)據(jù)尺寸的文件。這里的拍攝地屬性是緯度、經(jīng)度、海拔、方位、傾斜。街景文件具有與立體照片文件共通的數(shù)據(jù)構(gòu)造，所以，在檢索適于某個(gè)視點(diǎn)位置的街景文件時(shí)，如果搜索到數(shù)據(jù)庫中存在的街景文件中的具有相同緯度、經(jīng)度、海拔作為拍攝地屬性的文件，則能夠早期發(fā)現(xiàn)用戶希望的街景文件。以上是與本地存儲(chǔ)器4有關(guān)的說明。(描繪控制部5)描繪控制部5進(jìn)行如下處理根據(jù)由位置方向判定部2指示的地圖上的位置以及從網(wǎng)絡(luò)接口 3或本地存儲(chǔ)器4取得的全周圍圖像和深度圖像，按照右眼用和左眼用的2個(gè)種類生成在3D建?？臻g內(nèi)粘貼在球面上的全周圍圖像，提取應(yīng)該在由位置方向判定部2指示的視點(diǎn)方向上從球的中心觀察球面時(shí)被顯示的窗口圖像，將提取出的左眼窗口圖像和右眼窗口圖像分別輸出到左眼平面存儲(chǔ)器6和右眼平面存儲(chǔ)器7。(左眼平面存儲(chǔ)器6)左眼平面存儲(chǔ)器6是存儲(chǔ)在立體視顯示中應(yīng)該對(duì)左眼提示的一張圖像的存儲(chǔ)器。(右眼平面存儲(chǔ)器7)右眼平面存儲(chǔ)器7是存儲(chǔ)在立體視顯示中應(yīng)該對(duì)右眼提示的一張圖像的存儲(chǔ)器。(輸出接口8)輸出接口 8將存儲(chǔ)在左眼平面存儲(chǔ)器6和右眼平面存儲(chǔ)器7中的圖像一幀一幀地同步輸出到立體視對(duì)應(yīng)顯示器103。具體而言，以120Hz從左右的平面存儲(chǔ)器中交替讀出圖像，左右分別向顯示器側(cè)發(fā)送每秒60幀的影像。進(jìn)行視聽的用戶佩戴液晶快門式眼鏡104，液晶快門以120Hz交替反復(fù)進(jìn)行開閉，由此，能夠在左眼中出現(xiàn)左眼用的每秒60幀的圖像，在右眼中出現(xiàn)左眼用的每秒60幀的圖像，所以，能夠根據(jù)左右圖像的視差來感受進(jìn)深。以上是與圖像描繪裝置的基本結(jié)構(gòu)有關(guān)的說明。接著，對(duì)描繪控制部5的內(nèi)部結(jié)構(gòu)進(jìn)行說明。進(jìn)而，描繪控制部5由全周圍圖像取得部11、全周圍圖像解碼器12、全周圍圖像存儲(chǔ)器13、深度圖像取得部14、深度圖像解碼器15、深度圖像存儲(chǔ)器16、DIBR部17 (像素位移部18、顯示區(qū)域緩存19、區(qū)域外緩存20、邊界處理部21)、左眼紋理緩存22、右眼紋理緩存23、CG處理部24 (建模數(shù)據(jù)存儲(chǔ)部25、頂點(diǎn)變換部26、照度計(jì)算部27、紋理映射部28、窗口變換部29)構(gòu)成。(全周圍圖像取得部11)全周圍圖像取得部11經(jīng)由網(wǎng)絡(luò)接口 3從服務(wù)器105下載與由位置方向判定部2指示的地圖上的位置(由緯度和經(jīng)度確定)對(duì)應(yīng)的全周圍圖像，或者從本地存儲(chǔ)器4取得圖像。I個(gè)地點(diǎn)的全周圍圖像由縱4張、橫7張的合計(jì)28張部分圖像構(gòu)成，一張各圖像具有縱512像素、橫512像素的像素?cái)?shù)。圖15 (a)示出全周圍圖像的一例。(全周圍圖像解碼器12)全周圍圖像解碼器12是JPEG解碼器，進(jìn)行壓縮墨卡托圖像802的展開并將其存儲(chǔ)在全周圍圖像存儲(chǔ)器19中。
(全周圍圖像存儲(chǔ)器13)全周圍圖像存儲(chǔ)器13是存儲(chǔ)由全周圍圖像解碼器12展開的墨卡托圖像的存儲(chǔ)器。(深度圖像取得部14)深度圖像取得部14從存儲(chǔ)在本地存儲(chǔ)器4中的街景文件中取得與全周圍圖像取得部11取得的全周圍圖像對(duì)應(yīng)的深度圖像。(深度圖像解碼器15)深度圖像解碼器15是PNG解碼器，進(jìn)行立體街景視點(diǎn)中包含的壓縮墨卡托深度的展開，并將其存儲(chǔ)在深度圖像存儲(chǔ)器16中。(深度圖像存儲(chǔ)器16)深度圖像存儲(chǔ)器16是存儲(chǔ)由深度圖像解碼器15生成的深度圖像的存儲(chǔ)器。深度圖像表示立體空間中的各像素的進(jìn)深，利用8比特的亮度表現(xiàn)各像素的進(jìn)深。亮度O (黑色)表示對(duì)應(yīng)像素位于最遠(yuǎn)的位置，亮度255 (白色)表示對(duì)應(yīng)像素位于最近的位置。即，全周圍圖像可以看成彩色圖像，與此相對(duì)，深度圖像被識(shí)別為僅由亮度表現(xiàn)的灰度圖像。表示深度圖像的灰度圖像與全周圍圖像同樣，針對(duì)I個(gè)地點(diǎn)，由縱4張、橫7張的合計(jì)28張部分圖像構(gòu)成，一張各圖像具有縱512像素、橫512像素的像素?cái)?shù)(各像素僅由8比特的亮度保持)。圖14是與從網(wǎng)絡(luò)接口 3或本地存儲(chǔ)器4取得的全周圍圖像對(duì)應(yīng)的深度圖像的一例。分別對(duì)全周圍圖像的I個(gè)像素分配8比特(256階)的深度圖像。進(jìn)深值O表示在3D空間上位于最里側(cè)，進(jìn)深值255表示在3D空間上位于最近前側(cè)。這些進(jìn)深值作為8比特的亮度被分配，如圖14所示，深度圖像表現(xiàn)為灰度的圖像(深度映射圖)。深度圖像中的I個(gè)像素分別對(duì)應(yīng)于作為基礎(chǔ)的全周圍圖像的I個(gè)像素的進(jìn)深值(深度值)。例如，在深度映射像上的坐標(biāo)(x=100、Y=IOO)的像素的亮度為50的情況下，表示對(duì)應(yīng)的全周圍圖像的坐標(biāo)P (X=IOO, Y=IOO)的像素為進(jìn)深值50，在深度映射像上的坐標(biāo)(X=200、Y=200)的像素的亮度為100的情況下，表示對(duì)應(yīng)的全周圍圖像的坐標(biāo)Q (Χ=200、Υ=200)的像素為進(jìn)深值100。S卩，全周圍圖像的坐標(biāo)Ρ(Χ=100、Υ=100)為進(jìn)深值50、全周圍圖像的坐標(biāo)Q(X=200、Y=200)為進(jìn)深值100，所以，與坐標(biāo)Q相比，坐標(biāo)P在3D空間上位于里側(cè)。
〈DIBR 部 17>DIBR部17從全周圍圖像取得部11取得基本的左眼用全周圍圖像，從深度圖像取得部14取得與基本圖像對(duì)應(yīng)的深度圖像，進(jìn)行DIBR處理，生成右眼圖像。DIBR (DepthImage Based Rendering 或 Depth Image Based Representations)是如下處理根據(jù)深度圖像(深度映射圖)，從基本圖像起使各像素左右位移，生出另一視點(diǎn)的視點(diǎn)圖像。在將基本的全周圍圖像分配給左眼用的情況下，如果所生成的其他視點(diǎn)的視點(diǎn)圖像(即右眼用的圖像)上的像素相對(duì)于基本像素向右位移，則在3D空間上向里側(cè)移動(dòng)，如果相對(duì)于基本像素向左位移，則在3D空間上向近前移動(dòng)。這是基于通過所謂的人眼的阻塞角之差而生出的立體知覺，當(dāng)相對(duì)于基本的左眼圖像而使右眼圖像上的像素向左位移時(shí)，阻塞角減小，成為所謂的斜視狀態(tài)，所以，感覺由該像素表現(xiàn)的物體位于近前。相反，當(dāng)相對(duì)于基本的左眼圖像而使右眼圖像上的像素向右位移時(shí)，阻塞角變大，感覺由該像素表現(xiàn)的物體位于里側(cè)。由此，如果根據(jù)由深度圖像所示的各像素的進(jìn)深值使基本的左眼圖像的各像素左右位移，則能夠 生成對(duì)應(yīng)的可立體視的右眼圖像。但是，根據(jù)DIBR處理而生成的右眼圖像還不完全。在圖像中央附近位移的像素沒有問題，但是，關(guān)于在圖像的兩端部位移的像素，由于像素的坐標(biāo)和位移量，位移后的像素有時(shí)位于圖像區(qū)域外的位置。并且，在圖像的端部，在向中心方向位移的情況下，還產(chǎn)生填埋位移前的位置的像素丟失的問題。使用圖15具體說明這些問題。圖15是示出根據(jù)深度圖像使基本的全周圍圖像的各像素位移而生成其他視點(diǎn)的視點(diǎn)圖像的狀況的圖。在該圖15的一例中，作為最簡單的對(duì)應(yīng)，設(shè)位移量O的基準(zhǔn)值為進(jìn)深值0，隨著進(jìn)深值增大，更多地向左側(cè)位移。這里，為了簡便，進(jìn)深值增加I時(shí)，向左的位移量增加I。即，進(jìn)深值O的像素不進(jìn)行位移,進(jìn)深值50的像素向左方位移50像素。存在于圖15 (a)的左上方的圖像是結(jié)合了多個(gè)背景圖像的全周圍圖像。在該圖像中，在左端部描繪云，在右端部以跨越相鄰圖像的形式描繪房屋。存在于圖15(a)的右上方的圖像是對(duì)應(yīng)的深度圖像。在該深度圖像中示出，與表現(xiàn)天空的背景相當(dāng)?shù)牟糠治挥谧罾飩?cè)(進(jìn)深值0)，與天空相比，云和房屋位于近前側(cè)。在圖15 (a)中，設(shè)云的進(jìn)深值為50、房屋的進(jìn)深值為100。在DIBR處理中，首先決定位移量O的基準(zhǔn)值，然后，根據(jù)進(jìn)深值決定位移量。在圖15中，相當(dāng)于天空的部分為進(jìn)深值0，所以不進(jìn)行位移。另一方面，云的進(jìn)深值為I以上，所以進(jìn)行像素位移。大廈的進(jìn)深值為50，所以，使構(gòu)成云的像素向左方位移50像素。大廈為進(jìn)深值100，所以，使構(gòu)成大廈的像素向左方位移100像素。對(duì)構(gòu)成全周圍圖像的各個(gè)圖像進(jìn)行像素位移的結(jié)果為圖5 (b)的圖像。云的原本位置為左端部附近，所以，成為位移后的結(jié)果從顯示區(qū)域露出的位置。另一方面，房屋位于右端部，以跨越相鄰圖像的方式進(jìn)行描繪，所以，向左方位移后，原本的像素位于相鄰圖像中，因此，由于位移而產(chǎn)生空白，成為一部分丟失的狀態(tài)。可知構(gòu)成云的左端、房屋的正中間部分、山的正中間部分的像素分別成為露出像素。因此，DIBR部17通過具有邊界處理部21，進(jìn)行補(bǔ)充基于位移而產(chǎn)生的空白的處理。圖15(C)是其補(bǔ)充結(jié)果。使用相鄰圖像的露出像素改寫圖15 (b)所示的基于位移而產(chǎn)生的空白。(像素位移部I8)
像素位移部18從全周圍圖像存儲(chǔ)器13中取出由橫512X縱512的像素構(gòu)成的圖像數(shù)據(jù)，并且，從全周圍圖像存儲(chǔ)器16中取出由橫512X縱512的像素構(gòu)成的深度數(shù)據(jù)，基于該橫512X縱512的深度數(shù)據(jù)，對(duì)橫512X縱512的像素的集合執(zhí)行像素位移。敘述在執(zhí)行像素位移時(shí)對(duì)各像素設(shè)定什么樣的視差。在存在于深度圖像的坐標(biāo)(X、y)的像素中，在從視點(diǎn)起的進(jìn)深為D印th (x、y)的情況下，例如，能夠根據(jù)以下的數(shù)學(xué)式從深度圖像中存在于坐標(biāo)(X、y)的亮度Y (X、y)變換為進(jìn)深Depth (x、y)。(數(shù)學(xué)式)
Y (x、y)=255_ (log (Depth (x> y) +1) X 100)通過將這樣求出的進(jìn)深D印th U、y)變換為與顯示器的畫面尺寸對(duì)應(yīng)的像素?cái)?shù)offset (X、y),能夠?qū)⑾袼氐牧炼茸儞Q為適當(dāng)?shù)囊暡?。在DIBR中，在使構(gòu)成圖像的多個(gè)像素中的位于任意坐標(biāo)(x、y)的像素的坐標(biāo)沿水平方向移動(dòng)時(shí)，根據(jù)由在對(duì)應(yīng)的深度圖像中存在于坐標(biāo)(X、y)的像素的亮度Y (x、y)導(dǎo)出的進(jìn)深 Depth (X、y),求出該坐標(biāo)(X、y)固有的 offset (Depth (x、y)、y),使用該 offset(Depth (x、y)、y)作為移動(dòng)量，由此得到其他視點(diǎn)的視點(diǎn)圖像。圖16 (a)示出在深度圖像中存在于坐標(biāo)(x、y)的像素的進(jìn)深D印th (x、y)。Depth (x、y)在位置上與圖16 (b)中的Pix (x、y)對(duì)應(yīng)。圖16 (b)示出在圖像存儲(chǔ)器中存在于坐標(biāo)(x、y)的像素Pix (x、y)。圖16 (c)示出在生成左眼紋理時(shí)像素Pix (x、y)如何位移。在圖16 (c)中，在全周圍圖像存儲(chǔ)器18中，Pix (x、y)沿水平方向以O(shè)ffset (Depth (x、y))進(jìn)行變位。因此,位于Pix(x+0ffset (Depth (x、y))、y)。在全周圍圖像中，Offset (Depth (x、y))在 x、y 坐標(biāo)中是唯一的偏移，根據(jù)基于深度圖像中的對(duì)應(yīng)像素的亮度的D印th (x、y)來設(shè)定。在生成2個(gè)以上的視點(diǎn)圖像時(shí)，像素沿水平方向如何變位是根據(jù)圖像的每個(gè)像素而不同的。深度圖像中的像素的亮度電平與位移量即像素?cái)?shù)之間的對(duì)應(yīng)能夠根據(jù)上述數(shù)學(xué)式導(dǎo)出。作為該對(duì)應(yīng)的一例，可以如圖16 (c)那樣設(shè)定。圖16 (C)示出Y (x、y)中的O 255的亮度范圍與I像素 16像素的單位偏移之間的對(duì)應(yīng)。在本圖中，對(duì)O 63的亮度范圍分配O 2像素的范圍的偏移，對(duì)64 127的亮度范圍分配3 4像素的范圍的偏移，對(duì)128 191的亮度范圍分配5 8像素的偏移，對(duì)192 255的亮度分配9 16像素的偏移。即，進(jìn)行如下的非線性的對(duì)應(yīng)增大應(yīng)該對(duì)明亮部分的亮度范圍分配的視差，減小應(yīng)該對(duì)昏暗部分的亮度范圍分配的視差。圖17示出通過像素電平的位移而在左眼紋理和右眼紋理中具有什么樣的視差。圖17 (a)示出深度圖像，圖17 (b)示出左眼紋理存儲(chǔ)器的存儲(chǔ)內(nèi)容，圖17 (c)示出右眼紋理存儲(chǔ)器的存儲(chǔ)內(nèi)容。Pix (xl、y)是圖17 (b)中并列的3個(gè)大廈中的最靠前的大廈的像素。Pix (x2、y)是3個(gè)大廈中的第2個(gè)大廈的像素。Pix (x3、y)是3個(gè)大廈中的第3個(gè)大廈的像素。圖17 (a)是深度圖像的一例，示出對(duì)左眼紋理中的像素Pix (xl、y)、Pix (x2、y)、Pix (x3、y)賦予的進(jìn)深。Depth (xl、y)表示左眼紋理中的Pix (xl、y)的進(jìn)深。Depth(x2、y)表示左眼紋理中的Pix (x2、y)的進(jìn)深。D^th (x3、y)表示左眼紋理中的Pix (x3、y)的進(jìn)深。圖17 (C)的下側(cè)示出在DIBR中對(duì)各像素賦予的偏移。Offset (Depth (xl、y)、y)表示對(duì)左眼紋理中的Pix (xl、y)賦予的偏移。Offset (Depth (x2、y)、y)表示對(duì)左眼紋理中的Pix (x2、y)賦予的偏移，Offset (Depth (x3、y)、y)表示對(duì)左眼紋理中的Pix(x3、y)賦予的偏移。如本圖所示，由于具有 Depth (xl、y)>Depth (x2、y)>Depth (x3、y)的關(guān)系，所以，對(duì)構(gòu)成最靠前的大廈的像素賦予最大的視差，從畫面中大幅突現(xiàn)。如上所述，在DIBR中，像素的變位量根據(jù)深度圖像中的對(duì)應(yīng)像素的亮度而不同，所以，如果使用算術(shù)運(yùn)算器而根據(jù)深度圖像中的各像素的亮度計(jì)算偏移，則能夠通過硬件元件安裝像素位移部18。以上是與像素位移部18有關(guān)的說明。接著，對(duì)顯示區(qū)域緩存19進(jìn)行詳細(xì)說明。(顯示區(qū)域緩存19)顯示區(qū)域緩存19存儲(chǔ)作為像素位移部18的DIBR處理結(jié)果的像素的集合中的、位移后的坐標(biāo)位于顯示區(qū)域內(nèi)的像素。在原來的圖像數(shù)據(jù)的分辨率為橫MX縱N的情況下，在以圖像數(shù)據(jù)的左上坐標(biāo)為原點(diǎn)(0、0)的坐標(biāo)系中,X坐標(biāo)為O M-I的像素、Y坐標(biāo)為O N-I的像素成為“顯示區(qū)域”。這樣，將位移后的X坐標(biāo)為M以上的像素除外，將X坐標(biāo)為O M-I的范圍的像素存儲(chǔ)在該顯示區(qū)域緩存19中。在位移對(duì)象為橫512 X縱512的情況下，將位移后的X坐標(biāo)為512以上的像素除外，將X坐標(biāo)為O 511的范圍的像素存儲(chǔ) 在該顯示區(qū)域緩存19中。(區(qū)域外緩存20)區(qū)域外緩存20存儲(chǔ)作為像素位移部18的DIBR處理結(jié)果的像素的集合中的、位移后的坐標(biāo)位于顯示區(qū)域外的像素即“露出像素”。在原來的圖像數(shù)據(jù)的分辨率為橫MX縱N的情況下，位移后的X坐標(biāo)為M以上的像素被作為“露出像素”而存儲(chǔ)在該區(qū)域外緩存20中。(邊界處理部21)邊界處理部21對(duì)基于DIBR處理的像素位移不完全的圖像的邊界進(jìn)行校正。圖像的邊界處理是如下的處理在像素位移部18對(duì)下一個(gè)相鄰的圖像數(shù)據(jù)進(jìn)行處理時(shí)，使用存儲(chǔ)在區(qū)域外緩存20中的顯示區(qū)域范圍外的像素，填埋在圖像端部丟失的像素。<左眼紋理存儲(chǔ)器22、右眼紋理存儲(chǔ)器23>右眼紋理存儲(chǔ)器22、左眼紋理存儲(chǔ)器23的對(duì)存儲(chǔ)街景DIBR執(zhí)行部17進(jìn)行DIBR而得到的左眼紋理和右眼紋理?！碈G 處理部 24>CG處理部24進(jìn)行如下處理將構(gòu)成建模數(shù)據(jù)的三維坐標(biāo)配置在三維建模空間中，將該三維建?？臻g中的三維坐標(biāo)投影到窗口中。該處理具有坐標(biāo)/視野變換、照度計(jì)算(紋理映射處理)、窗口處理。(建模數(shù)據(jù)存儲(chǔ)部25)建模數(shù)據(jù)存儲(chǔ)部25存儲(chǔ)規(guī)定球體模型和GUI部件的形狀的建模數(shù)據(jù)?！醋鴺?biāo)變換部26>坐標(biāo)變換部26將視點(diǎn)設(shè)為照相機(jī)，通過指定照相機(jī)的方向和變焦等級(jí)，決定投影立體物的幕。然后，將規(guī)定球面模型的建模數(shù)據(jù)的三維坐標(biāo)變換為三維建模空間中的世界坐標(biāo)。這里的坐標(biāo)變換是指，將三維建?？臻g中的照相機(jī)位置作為原點(diǎn)，將規(guī)定建模數(shù)據(jù)的三維坐標(biāo)變換為從照相機(jī)觀察的坐標(biāo)系中的世界坐標(biāo)?！凑斩扔?jì)算部27>照度計(jì)算部27計(jì)算對(duì)立體物照射從在三維建?？臻g中設(shè)定的光源位置照射的光時(shí)的各頂點(diǎn)中的照度?！醇y理映射部28>紋理映射部28在3D建?？臻g上準(zhǔn)備左眼用和右眼用的2個(gè)球體，將對(duì)背景圖像進(jìn)行變換而得到的2個(gè)以上的左眼用紋理和右眼用紋理映射到三維建模空間中的球體模型的內(nèi)側(cè)表面?！创翱谧儞Q部29>窗口變換部29按照包含顯示器的分辨率等的顯示器信息，將三維建?？臻g中的三維坐標(biāo)的頂點(diǎn)坐標(biāo)變換為二維的幕坐標(biāo)，從而提取窗口圖像。提取出的圖像具有左眼窗口圖像和右眼窗口圖像，窗口變換部將它們分別輸出到左眼平面存儲(chǔ)器6和右眼平面存儲(chǔ)器7。在來自位置方向判定部2的指示為當(dāng)前視點(diǎn)位置沒有變化、僅當(dāng)前視線方向變化的情況下，紋理映射部跳過紋理映射處理，僅窗口變換部伴隨當(dāng)前視線方向變化而進(jìn)行窗口的再次提取和指定平面存儲(chǔ)器的再次輸出。 以上是與描繪控制部5有關(guān)的說明。圖18示出全周圍圖像存儲(chǔ)器13、深度圖像存儲(chǔ)器、左眼紋理存儲(chǔ)器22、右眼紋理存儲(chǔ)器23的內(nèi)部結(jié)構(gòu)與像素位移部18、顯示區(qū)域緩存19、區(qū)域外緩存20之間的關(guān)系。在本圖中，存儲(chǔ)器的存儲(chǔ)區(qū)域成為格子狀。該格子的每一個(gè)格子分別意味著存儲(chǔ)器的存儲(chǔ)元件中的存儲(chǔ)內(nèi)容。作為存儲(chǔ)元件的存儲(chǔ)內(nèi)容，存在像素值。該像素值由亮度Y、紅色差Cr、藍(lán)色差Cb、透明度α構(gòu)成。在上段描繪深度圖像存儲(chǔ)器16、全周圍圖像存儲(chǔ)器13，在下段描繪左眼紋理存儲(chǔ)器22、右眼紋理存儲(chǔ)器23，在中段描繪像素位移部18、顯示區(qū)域緩存19、區(qū)域外緩存20。全周圍圖像存儲(chǔ)器13中的A、B、C、D、E、F、G是構(gòu)成全周圍圖像的橫向7個(gè)圖像，各圖像具有縱512X橫512像素的規(guī)模。左上方的左眼紋理存儲(chǔ)器22中的A (dp)、B (dp)、C (dp)、D (dp), E (dp), F (dp), G (dp)是縱512X橫512像素的規(guī)模的灰度。在左下方的左眼紋理存儲(chǔ)器22的存儲(chǔ)內(nèi)容中，A CL), B (L)、C (L)、D (L)、E (L)、F (L)、G (L)是左方向的位移結(jié)果。在右下方的右眼紋理存儲(chǔ)器23的存儲(chǔ)內(nèi)容中，A CR), B (R)、C (R)、D (R)、E (R)、F (R)、G (R)是右方向的位移結(jié)果。從存儲(chǔ)在全周圍圖像存儲(chǔ)器13內(nèi)的縱4X橫7的全周圍圖像中取出由縱512 X橫512像素的像素構(gòu)成的圖像，并且，從存儲(chǔ)在深度圖像存儲(chǔ)器內(nèi)的深度圖像中取出由對(duì)應(yīng)的縱512X橫512像素的像素構(gòu)成的灰度。然后，根據(jù)所取出的圖像和灰度執(zhí)行DIBR，將其結(jié)果存儲(chǔ)在左眼紋理存儲(chǔ)器22和右眼紋理存儲(chǔ)器23中，在左眼紋理存儲(chǔ)器22和右眼紋理存儲(chǔ)器23上依次形成左眼紋理和右眼紋理。圖19示出深度圖像存儲(chǔ)器、全周圍圖像存儲(chǔ)器13、左眼紋理存儲(chǔ)器22之間的數(shù)據(jù)流程。本圖是基于圖18而制作的，與作為該基礎(chǔ)的結(jié)構(gòu)相比，不同之處在于追加了表示圖像數(shù)據(jù)的來去的箭頭。在圖19 (a)中，箭頭dfl、df2示意地示出來自深度圖像存儲(chǔ)器的深度圖像A (dp)和來自全周圍圖像存儲(chǔ)器13的圖像A的讀出。箭頭df3、df4示意地示出從顯示區(qū)域緩存19和區(qū)域外緩存20針對(duì)左眼紋理存儲(chǔ)器22的圖像A (L)的寫入。在圖19 (b)中，箭頭df5、df6示意地示出來自深度圖像存儲(chǔ)器的深度圖像B (dp)和來自全周圍圖像存儲(chǔ)器13的圖像B的讀出。箭頭df7、df8示意地示出從顯示區(qū)域緩存19和區(qū)域外緩存20針對(duì)左眼紋理存儲(chǔ)器22的圖像B (L)的寫入。
圖20示出深度圖像存儲(chǔ)器、全周圍圖像存儲(chǔ)器13、左眼紋理存儲(chǔ)器22之間的數(shù)據(jù)流程。本圖是基于圖18而制作的，與作為該基礎(chǔ)的結(jié)構(gòu)相比，不同之處在于追加了表示圖像數(shù)據(jù)的來去的箭頭。在圖20 (a)中，箭頭df9、dflO示意地示出來自深度圖像存儲(chǔ)器的深度圖像A (dp)和來自全周圍圖像存儲(chǔ)器13的圖像A的讀出。箭頭dfll、dfl2示意地示出從顯示區(qū)域緩存19和區(qū)域外緩存20針對(duì)右眼紋理存儲(chǔ)器23的圖像A (R)的寫入。在圖20 (b)中，箭頭dfl3、dfl4示意地示出來自深度圖像存儲(chǔ)器的深度圖像B(dp)和來自全周圍圖像存儲(chǔ)器13的圖像B的讀出。箭頭dfl5、dfl6示意地示出從顯示區(qū)域緩存19和區(qū)域外緩存20針對(duì)右眼紋理存儲(chǔ)器23的圖像B (R)的寫入。如上所述可知，按照縱512X橫512像素讀出存儲(chǔ)在全周圍圖像存儲(chǔ)器13中的全周圍圖像并供給到像素位移部18，按照縱512X橫512像素執(zhí)行DIBR。參照?qǐng)D21 圖23說明在針對(duì)構(gòu)成全周圍圖像的各個(gè)圖像的DIBR中如何產(chǎn)生空白、并且如何補(bǔ)充該空白。
關(guān)于基于位移而引起的空白的補(bǔ)充，在對(duì)某個(gè)圖像實(shí)施像素位移時(shí)，將從圖像的顯示區(qū)域產(chǎn)生的露出像素臨時(shí)存儲(chǔ)在區(qū)域外緩存20中，在對(duì)下一個(gè)圖像實(shí)施像素位移時(shí)，將存儲(chǔ)在緩存中的露出像素群用于與該圖像有關(guān)的位移空白的補(bǔ)充。(左眼紋理、右眼紋理的形成過程)經(jīng)由基于上述結(jié)構(gòu)要素的處理過程，得到左眼紋理和右眼紋理。圖21 圖23示意地描繪出從原材料到得到最終成果物的中途過程中的成為話題的過程。圖21示出左方向位移時(shí)的全周圍圖像存儲(chǔ)器13-顯示區(qū)域緩存19、區(qū)域外緩存20-左眼紋理存儲(chǔ)器22之間的數(shù)據(jù)流程。圖20 (a)中的箭頭ufl表示基于DIBR的像素位移。由此，圖像A全體向右方向位移,在圖像A的右端廣生基于位移的空白。箭頭uf2表不通過DIBR而從顯示區(qū)域緩存19露出的像素針對(duì)區(qū)域外緩存20的寫入。箭頭uf3表示從區(qū)域外緩存20針對(duì)左眼紋理存儲(chǔ)器22的像素的寫入。由此，可知區(qū)域外緩存20內(nèi)的像素作為G (L)的一部分而被存儲(chǔ)在左眼紋理存儲(chǔ)器22中。箭頭uf4表示從顯示區(qū)域緩存19針對(duì)左眼紋理存儲(chǔ)器22的像素的寫入。由此，可知顯示區(qū)域緩存19內(nèi)的圖像A的主體附帶空白，作為A (L)的一部分而被存儲(chǔ)在左眼紋理存儲(chǔ)器22中。圖21 (b)中的箭頭uf5表示基于DIBR的像素位移。由此，圖像B全體向右方向位移，在圖像B的右端產(chǎn)生基于位移的空白。箭頭uf6表示通過DIBR而從顯示區(qū)域緩存19露出的像素針對(duì)區(qū)域外緩存20的寫入。箭頭Uf7表示從區(qū)域外緩存20針對(duì)左眼紋理存儲(chǔ)器22的像素的寫入。由此，可知區(qū)域外緩存20內(nèi)的像素作為A (L)的一部分而被存儲(chǔ)在左眼紋理存儲(chǔ)器22中。箭頭uf8表示從顯示區(qū)域緩存19針對(duì)左眼紋理存儲(chǔ)器22的像素的寫入。由此，可知顯示區(qū)域緩存19內(nèi)的圖像B的主體附帶空白，作為B (L)的一部分而被存儲(chǔ)在左眼紋理存儲(chǔ)器22中。圖21 (C)中的箭頭uf9表示基于DIBR的像素位移。由此，圖像C全體向右方向位移，在圖像C的右端產(chǎn)生基于位移的空白。箭頭UflO表示通過DIBR而從顯示區(qū)域緩存19露出的像素針對(duì)區(qū)域外緩存20的寫入。箭頭Ufll表示從區(qū)域外緩存20針對(duì)左眼紋理存儲(chǔ)器22的像素的寫入。由此，可知區(qū)域外緩存20內(nèi)的像素作為B (L)的一部分而被存儲(chǔ)在左眼紋理存儲(chǔ)器22中。箭頭Uf 12表示從顯示區(qū)域緩存19針對(duì)左眼紋理存儲(chǔ)器22的像素的寫入。由此，可知顯示區(qū)域緩存19內(nèi)的圖像C的主體附帶空白，作為C (L)的一部分而被存儲(chǔ)在左眼紋理存儲(chǔ)器22中。圖22、圖23示出在左眼紋理存儲(chǔ)器22和右眼紋理存儲(chǔ)器23內(nèi)形成右眼紋理和左眼紋理的過程。作為該形成過程的前提，選擇圖22 (a)所示的5張圖像。圖22 (a)示出對(duì)圖像G實(shí)施DIBR而得到G (R)的階段。圖22 (b)示出對(duì)圖像F實(shí)施DIBR而得到F (R)的階段。圖22 (a)示出對(duì)圖像E實(shí)施DIBR而得到E (R)的階段。圖22 (b)示出對(duì)圖像D實(shí)施DIBR而得到D (R)的階段。圖22 (a) (b)、圖23 (a) (b)均成為共通的記載，第I段示出全周圍圖像存儲(chǔ)器13的存儲(chǔ)內(nèi)容，第2段示出顯示區(qū)域緩存19和區(qū)域外緩存20的存儲(chǔ)內(nèi)容，第3段示出左眼紋理存儲(chǔ)器22的存儲(chǔ)內(nèi)容。在第2段中，在該位移方向的相反側(cè)的端部產(chǎn)生伴隨DIBR中的位移而產(chǎn)生的空白。在區(qū)域外緩存20中存儲(chǔ)有由于該位移而從顯示區(qū)域中被趕出的像素。在第3段中，可知在改寫由于針對(duì)此后的圖像的位移而產(chǎn)生的空白時(shí)使用存儲(chǔ)在區(qū)域外緩存20中的露出像素群。
圖22示出左方向位移時(shí)的全周圍圖像存儲(chǔ)器13-顯示區(qū)域緩存19、區(qū)域外緩存20-左眼紋理存儲(chǔ)器22之間的數(shù)據(jù)流程。圖20 (a)中的箭頭tfl表示基于DIBR的像素位移。由此，圖像G全體向左方向位移,在圖像G的左端廣生基于位移的空白。箭頭tf2表不通過DIBR而從顯示區(qū)域緩存19露出的像素針對(duì)區(qū)域外緩存20的寫入。箭頭tf3表示從區(qū)域外緩存20針對(duì)左眼紋理存儲(chǔ)器22的像素的寫入。由此，可知區(qū)域外緩存20內(nèi)的像素作為A (R)的一部分而被存儲(chǔ)在左眼紋理存儲(chǔ)器22中。箭頭tf4表示從顯示區(qū)域緩存19針對(duì)左眼紋理存儲(chǔ)器22的像素的寫入。由此，可知顯示區(qū)域緩存19內(nèi)的圖像G的主體附帶空白，作為G (R)的一部分而被存儲(chǔ)在左眼紋理存儲(chǔ)器22中。圖22 (b)中的箭頭tf5表示基于DIBR的像素位移。由此，圖像F全體向左方向位移，在圖像F的左端產(chǎn)生基于位移的空白。箭頭tf6表示通過DIBR而從顯示區(qū)域緩存19露出的像素針對(duì)區(qū)域外緩存20的寫入。箭頭tf7表示從區(qū)域外緩存20針對(duì)左眼紋理存儲(chǔ)器22的像素的寫入。由此，可知顯示區(qū)域緩存19內(nèi)的像素作為G (R)的一部分而被存儲(chǔ)在左眼紋理存儲(chǔ)器22中。箭頭tf8表示從顯示區(qū)域緩存19針對(duì)左眼紋理存儲(chǔ)器22的像素的寫入。由此，可知區(qū)域外緩存20內(nèi)的圖像F的主體附帶空白，作為F (R)的一部分而被存儲(chǔ)在左眼紋理存儲(chǔ)器22中。圖23 (a)中的箭頭tf9表示基于DIBR的像素位移。由此，圖像E全體向左方向位移，在圖像E的左端產(chǎn)生基于位移的空白。箭頭tf 10表示通過DIBR而從顯示區(qū)域緩存19露出的像素針對(duì)區(qū)域外緩存20的寫入。箭頭tfll表示從區(qū)域外緩存20針對(duì)左眼紋理存儲(chǔ)器22的像素的寫入。由此，可知區(qū)域外緩存20內(nèi)的像素作為F (R)的一部分而被存儲(chǔ)在左眼紋理存儲(chǔ)器22中。箭頭tfl2表示從顯示區(qū)域緩存19針對(duì)左眼紋理存儲(chǔ)器22的像素的寫入。由此，可知顯示區(qū)域緩存19內(nèi)的圖像E的主體附帶空白，作為E (R)的一部分而被存儲(chǔ)在左眼紋理存儲(chǔ)器22中。圖23 (b)中的箭頭tfl3表示基于DIBR的像素位移。由此，圖像D全體向左方向位移，在圖像D的左端產(chǎn)生基于位移的空白。箭頭tf 14表示通過DIBR而從顯示區(qū)域緩存19露出的像素針對(duì)區(qū)域外緩存20的寫入。箭頭tfl5表示從區(qū)域外緩存20針對(duì)左眼紋理存儲(chǔ)器22的像素的寫入。由此，可知區(qū)域外緩存20內(nèi)的像素作為E (R)的一部分而被存儲(chǔ)在左眼紋理存儲(chǔ)器22中。箭頭tfl6表示從顯示區(qū)域緩存19針對(duì)左眼紋理存儲(chǔ)器22的像素的寫入。由此，可知顯示區(qū)域緩存19內(nèi)的圖像D的主體附帶空白，作為D (R)的一部分而被存儲(chǔ)在左眼紋理存儲(chǔ)器22中。<以通用CPU上的動(dòng)作為前提的軟件安裝>通過利用ASIC等硬件集成元件具體實(shí)現(xiàn)上述圖像描繪裝置中的各結(jié)構(gòu)要素，能夠以工業(yè)方式生產(chǎn)本實(shí)施方式的圖像描繪裝置。在該硬件集成元件采用CPU、代碼R0M、RAM這樣的通用的計(jì)算機(jī)系統(tǒng)的體系結(jié)構(gòu)的情況下，必須預(yù)先將利用計(jì)算機(jī)代碼描述了上述各結(jié)構(gòu)要素的處理順序的程序組入代碼ROM中，使硬件集成元件內(nèi)的CPU執(zhí)行該程序的處理順序。對(duì)在采用通用的計(jì)算機(jī)系統(tǒng)的體系結(jié)構(gòu)的情況下軟件安裝所需要 的處理順序進(jìn)行說明。圖24是示出繪制的立體視化順序的流程圖。是主流程。在步驟SI中，決定繪制地圖中的當(dāng)前視點(diǎn)位置(緯度、經(jīng)度)和在畫面上顯示的當(dāng)前視線方向(水平角度和垂直角度)，在步驟S2中生成與地圖上的當(dāng)前視點(diǎn)位置對(duì)應(yīng)的圖像取得請(qǐng)求，將圖像取得請(qǐng)求發(fā)送到服務(wù)器1001。在步驟S3中，等待接收街景文件，如果接收到街景文件，則在步驟S4中取得全周圍圖像和與其對(duì)應(yīng)的深度圖像。在步驟S5中，將垂直方向的4張圖像中的任意一張圖像作為當(dāng)前圖像。然后，轉(zhuǎn)移到步驟S6 步驟S8的循環(huán)。在該循環(huán)中，對(duì)當(dāng)前圖像執(zhí)行水平360度的多視點(diǎn)圖像的生成(步驟S6)，判定當(dāng)前圖像是否是垂直方向的最后的圖像(步驟S7)，如果不是最后的圖像，則反復(fù)進(jìn)行將縱方向的下一個(gè)圖像作為當(dāng)前圖像的處理(步驟S8)。這里，如果當(dāng)前圖像是垂直方向的最后的圖像，則步驟S7為“是”，退出該循環(huán)。以后，在步驟S9中，針對(duì)在3D建?？臻g中準(zhǔn)備的左眼用的球體模型和右眼用的球體模型粘貼通過DIBR而得到的右眼紋理和左眼紋理。在步驟S8中，將從球體模型的中心觀察視線方向時(shí)的投影圖像寫入左眼用平面和右眼用平面。圖25是水平360度立體圖像生成處理的流程圖。在步驟S13中，將橫7張圖像中的位于當(dāng)前視線方向中的圖像作為基點(diǎn)圖像。在步驟S14中，將基點(diǎn)圖像作為當(dāng)前圖像，在步驟S15中，提取當(dāng)前圖像和與其對(duì)應(yīng)的深度圖像，在步驟S16中，使當(dāng)前圖像的各個(gè)像素坐標(biāo)在水平方向位移，以使其具有深度圖像所示的各個(gè)像素的進(jìn)深。在步驟S17中，將具有由于位移而位于區(qū)域外的坐標(biāo)的像素群寫入?yún)^(qū)域外緩存中。以后，執(zhí)行步驟S18 步驟S22的循環(huán)。在該循環(huán)中，在步驟S18中，將在位移方向上與當(dāng)前圖像相鄰的圖像設(shè)定為當(dāng)前圖像，在步驟S19中，使當(dāng)前圖像的各個(gè)像素坐標(biāo)在水平方向位移，以使其具有深度圖像所示的各個(gè)像素的進(jìn)深，在步驟S20中，將由于位移而位于區(qū)域外的像素寫入?yún)^(qū)域外緩存中。然后，在步驟S21中，在當(dāng)前圖像中的位移方向的相反側(cè)的端部追加區(qū)域外緩存中的像素群。步驟S22規(guī)定該循環(huán)的結(jié)束條件，判斷當(dāng)前圖像是否與基點(diǎn)圖像相同。如果不相同，則步驟S22為“否”，繼續(xù)進(jìn)行循環(huán)。如果相同，則轉(zhuǎn)移到步驟S23，在當(dāng)前圖像中的位移方向的相反側(cè)的端部追加區(qū)域外緩存中的像素群，轉(zhuǎn)移到步驟S12。根據(jù)本圖的流程圖，在根據(jù)作為基礎(chǔ)的左眼用的全周圍圖像生成右眼用的全周圍圖像時(shí)，所生成的右眼用全周圍圖像也是即使結(jié)合28張部分圖像也沒有像素缺失的無縫的全周圍圖像。將這些圖像作為紋理映射到球面上，向左右平面輸出用戶希望觀察的方向的投影圖像，由此，能夠?qū)崿F(xiàn)無縫的全周圍立體視。
以后，對(duì)基于圖24和圖25的流程圖的各結(jié)構(gòu)要素的動(dòng)作進(jìn)行說明。首先，通過用戶操作檢測部I、位置方向判定部2，決定應(yīng)該顯示的全周圍圖像在地圖上的位置(緯度和經(jīng)度)和在畫面上顯示的方向(水平角度和垂直角度)(SI)。接著，通過全周圍圖像取得部11，取得與在步驟SI中決定的地圖上的位置對(duì)應(yīng)的全周圍圖像(S2)。在步驟S2中取得的I個(gè)地點(diǎn)的全周圍圖像由縱4張、橫7張的合計(jì)28張部分圖像構(gòu)成，一張各圖像具有縱512像素、橫512像素的像素?cái)?shù)。它們成為左眼用的全周圍圖像。接著，通過深度圖像取得部14，取得與在步驟S2中取得的全周圍圖像對(duì)應(yīng)的深度圖像(S3)。深度圖像表示立體空間中的各像素的進(jìn)深，利用8比特的亮度表現(xiàn)各像素的進(jìn)深。深度圖像自身也構(gòu)成為圖像，與全周圍圖像同樣，關(guān)于I個(gè)地點(diǎn)，由縱4張、橫7張的合計(jì)28張灰度圖像構(gòu)成。在步驟S2和步驟S3中取得作為基礎(chǔ)的全周圍圖像和深度圖像后，選擇垂直方向 4張圖像中的任意一張，根據(jù)圖18所示的流程圖進(jìn)行水平360度的立體圖像生成(S5)。作為從垂直方向4張圖像中進(jìn)行選擇的方法，優(yōu)選選擇與應(yīng)該顯示的全周圍圖像的垂直角度接近的位置的圖像。從位于視點(diǎn)方向上的圖像起優(yōu)先進(jìn)行處理，由此，在處理中，也能夠在畫面上顯示其余圖像。由于垂直方向具有4張圖像，所以，存在4種水平360度的圖像組。如果判斷為針對(duì)所有組完成了立體圖像的生成處理(S7 是”)，則接著進(jìn)行紋理映射(S9)。該情況下的紋理映射是如下處理針對(duì)在3D建?？臻g上準(zhǔn)備的左眼用和右眼用的2個(gè)球體，將基本的全周圍圖像和由邊界處理部21生成的立體圖像分別粘貼在左眼用和右眼用的球體面上。如果步驟S9中的紋理映射完成，則將在從球體中心觀察由位置方向判定部2指定的視點(diǎn)方向時(shí)投影的圖像寫入左眼平面和右眼平面中(S10)，利用立體視對(duì)應(yīng)顯示器進(jìn)行立體視顯示。在圖25中，首先，通過全周圍圖像取得部11從構(gòu)成水平360度的圖像中提取作為基點(diǎn)的圖像，從深度圖像取得部14取得與所提取出的基點(diǎn)圖像對(duì)應(yīng)的深度圖像(S13 15)。作為基點(diǎn)的圖像優(yōu)選為位于由位置方向判定部2指示的視點(diǎn)方向上的圖像。從位于視點(diǎn)方向上的圖像起優(yōu)先進(jìn)行處理，由此，在處理中，也能夠在畫面上顯示其余圖像。決定作為基點(diǎn)的圖像后，利用DIBR部17進(jìn)行像素位移處理(DIBR處理)(S16)。如上所述，在DIBR處理中位移后的像素有時(shí)露出到圖像區(qū)域外，通過邊界處理部21，將露出到圖像區(qū)域外的像素臨時(shí)存儲(chǔ)在圖像區(qū)域外的緩沖存儲(chǔ)器中(S17)。將露出到圖像區(qū)域外的像素臨時(shí)存儲(chǔ)在緩沖存儲(chǔ)器中后，再次通過全周圍圖像取得部11提取圖像，并通過深度圖像取得部14取得對(duì)應(yīng)的深度圖像。此時(shí)，作為當(dāng)前圖像，選擇在上次進(jìn)行DIBR處理的圖像的左側(cè)相鄰的圖像(S18)。接著，判斷在步驟S18中提取出的當(dāng)前圖像是否與在步驟S13中提取出的基點(diǎn)圖像一致(S22)。在判斷為在步驟S104中提取出的圖像不是基點(diǎn)圖像(即，還未在水平方向上完成I周360度的處理)的情況下，對(duì)在步驟S18中提取出的圖像進(jìn)行DIBR處理，生成右眼用的其他視點(diǎn)的視點(diǎn)圖像(S19)。接著，對(duì)在步驟S19中得到的右眼用的其他視點(diǎn)的視點(diǎn)圖像進(jìn)行如下處理在圖像右側(cè)端部追加當(dāng)前存儲(chǔ)在區(qū)域外緩沖存儲(chǔ)器中的像素群(S20)。接著，本次將在步驟S19的DIBR處理中露出到區(qū)域外的像素存儲(chǔ)在區(qū)域外緩沖存儲(chǔ)器中(S21)。然后，選擇與在步驟S18中進(jìn)行處理后的圖像的左側(cè)相鄰的圖像，反復(fù)進(jìn)行步驟S18 S21的處理。
反復(fù)進(jìn)行步驟S18 S21的處理，在步驟S22中判斷為在步驟S18中提取出的相鄰方向的圖像與在步驟S14中提取出的基點(diǎn)圖像相同的情況下(B卩，在水平方向上完成I周360度的處理)，進(jìn)行在基點(diǎn)圖像的右側(cè)端部追加當(dāng)前存儲(chǔ)在區(qū)域外緩沖存儲(chǔ)器中的像素群的處理(S23)，結(jié)束水平方向I周360度的像素位移和邊界處理。圖26是示出僅根據(jù)DIBR處理而得到的右眼用的全周圍圖像與進(jìn)行像素位移和邊界處理而得到的右眼用的全周圍圖像的比較的圖。圖19 (a)是僅進(jìn)行基于DIBR處理的像素位移而完成圖像結(jié)合的全周圍圖像。在結(jié)合的部分中成為不自然的圖案，但是，在DIBR處理中像素露出到畫面區(qū)域外，這些像素在圖像端部缺失，所以，在重合的部分中產(chǎn)生像素的缺失，在結(jié)合圖像時(shí)無法無縫地顯示圖案。圖26 (b)是新實(shí)施像素位移和邊界處理而完成的全周圍圖像。在圖26中，通過將由于DIBR處理而露出到畫面區(qū)域外的像素活用于相鄰圖像生成，能夠防止結(jié)合部分中的像素的缺失，在圖像的接縫中也能夠無縫地顯示圖案。(實(shí)施方式2) 敘述了全周圍圖像由多個(gè)部分圖像構(gòu)成時(shí)的立體全周圍圖像生成，但是，本實(shí)施方式敘述全周圍圖像由I張圖像構(gòu)成時(shí)的立體全周圍圖像生成。為了對(duì)該全周圍圖像進(jìn)行處理，第I實(shí)施方式的現(xiàn)有結(jié)構(gòu)要素即全周圍圖像取得部11、深度圖像取得部14、DIBR部17、顯示區(qū)域緩存19、區(qū)域外緩存20、邊界處理部21、紋理映射部28進(jìn)行以下的處理。全周圍圖像取得部11經(jīng)由網(wǎng)絡(luò)接口 3從服務(wù)器105下載由位置方向判定部2指示的地圖上的位置的全周圍圖像，或者從本地存儲(chǔ)器4取得圖像。深度圖像取得部14從存儲(chǔ)在本地存儲(chǔ)器4中的街景文件中取得與全周圍圖像取得部11取得的全周圍圖像對(duì)應(yīng)的深度圖像。圖27示出在實(shí)施方式2中全周圍圖像取得部11和深度圖像取得部14取得的全周圍圖像和深度圖像。圖27 (a)中的全周圍圖像由縱2048像素、橫3584像素的較大的一張圖像形成。如圖27 (b)所示，對(duì)應(yīng)的深度圖像也由縱2048像素、橫3584像素的較大的一張灰度圖像形成。DIBR部17從全周圍圖像取得部11取得基本的左眼用全周圍圖像，從深度圖像取得部14取得與基本圖像對(duì)應(yīng)的深度圖像，進(jìn)行DIBR處理，生成右眼圖像。顯示區(qū)域緩存19存儲(chǔ)通過位移而得到的右眼圖像。區(qū)域外緩存20存儲(chǔ)由于位移而產(chǎn)生的露出像素。作為邊界處理，邊界處理部21在從右端向左方向(即圖像中央的方向)偏離10像素的位置(垂直方向上位于相同位置)進(jìn)行嵌入。在全周圍圖像由較大的一張圖像形成的情況下，當(dāng)由于DIBR處理而在圖像端部產(chǎn)生像素的露出時(shí)，該像素成為應(yīng)該嵌入圖像相反端部側(cè)的像素。這是因?yàn)?，在全周圍圖像由I張圖像形成的情況下，圖像在球面上環(huán)繞一周，所以，右端的像素和左端的像素最終并列顯示在球面上。因此，當(dāng)捕捉到圖像的右端和左端連續(xù)的情況時(shí)，在左端從圖像區(qū)域露出的像素成為應(yīng)該嵌入相反端即右端的像素。例如，通過邊界處理部21的邊界處理，由于DIBR處理而從左端向左側(cè)露出10像素的像素被嵌入從右端向左方向(即圖像中央的方向)偏離10像素的位置(垂直方向上位于相同位置)。圖28是示出實(shí)施方式2中的對(duì)像素位移后的圖像進(jìn)行校正并生成立體圖像的狀況的圖。在全周圍圖像由較大的I張圖像形成的情況下，當(dāng)由于DIBR處理而在圖像端部產(chǎn)生像素的露出時(shí)，該像素成為應(yīng)該嵌入圖像相反端部側(cè)的像素。這是因?yàn)?，在全周圍圖像由I張圖像形成的情況下，圖像在球面上環(huán)繞一周，所以，右端的像素和左端的像素最終并列顯示在球面上。因此，當(dāng)捕捉到圖像的右端和左端連續(xù)的情況時(shí)，在左端從圖像區(qū)域露出的像素成為應(yīng)該嵌入相反端即右端的像素。例如，通過邊界處理，由于DIBR處理而從左端向左側(cè)露出10像素的像素被嵌入從右端向左方向(即圖像中央的方向)偏離10像素的位置(垂直方向上位于相同位置)。紋理映射部28將通過DIBR而得到的左眼紋理和右眼紋理映射到球面模型。圖29示出紋理映射部28的紋理映射。通過DIBR部17的DIBR得到上段的左眼紋理和右眼紋理，可知它們?nèi)缂^tml、tm2所示那樣粘貼在下段的左眼用球面模型和右眼用球面模型的內(nèi)側(cè)表面。對(duì)進(jìn)行了該粘貼的左眼用球面模型和右眼用球面模型進(jìn)行窗口提取。作為改良的結(jié)構(gòu)要素的說明之后的說明，對(duì)進(jìn)行了上述改良的情況下的現(xiàn)有結(jié)構(gòu)要素的動(dòng)作進(jìn)行說明。即，說明如何根據(jù)實(shí)施方式I的流程圖對(duì)存儲(chǔ)在顯示區(qū)域緩存19中的全周圍圖像進(jìn)行處理。
在圖24中，將一張全周圍圖像作為對(duì)象時(shí)的動(dòng)作如下所述。首先，通過用戶操作檢測部I、位置方向判定部2，決定應(yīng)該顯示的全周圍圖像在地圖上的位置(緯度和經(jīng)度)和在畫面上顯示的方向(水平角度和垂直角度)(SI)。接著，通過全周圍圖像取得部11，取得與在步驟S401中決定的地圖上的位置對(duì)應(yīng)的全周圍圖像(S2)。在步驟S402中取得的I個(gè)地點(diǎn)的全周圍圖像由縱2048像素、橫3584像素的較大的一張圖像形成。其成為左眼用的全周圍圖像。接著，通過深度圖像取得部14，取得與在步驟S402中取得的全周圍圖像對(duì)應(yīng)的深度圖像(S3)。深度圖像表示立體空間中的各像素的進(jìn)深，利用8比特的亮度表現(xiàn)各像素的進(jìn)深。深度圖像自身也構(gòu)成為圖像，與全周圍圖像同樣，形成為縱2048像素、橫3584像素的較大的一張灰度圖像。在取得作為基礎(chǔ)的全周圍圖像和深度圖像后，根據(jù)所示流程圖進(jìn)行立體圖像生成
(S5)。在步驟S404中結(jié)束立體圖像生成后，接著進(jìn)行紋理映射(S7)。該情況下的紋理映射是如下處理針對(duì)在3D建?？臻g上準(zhǔn)備的左眼用和右眼用的2個(gè)球體，將基本的全周圍圖像和由邊界處理部21生成的立體圖像分別粘貼在左眼用和右眼用的球體面上。如果步驟S7中的紋理映射完成，則將在從球體中心觀察由位置方向判定部2指定的視點(diǎn)方向時(shí)投影的圖像寫入左眼平面和右眼平面中(S8)，利用立體視對(duì)應(yīng)顯示器進(jìn)行立體視顯示。提取應(yīng)該顯示的全周圍圖像，從深度圖像取得部14取得與所提取出的圖像對(duì)應(yīng)的深度圖像(15)。接著，根據(jù)在步驟S2中取得的圖像和深度圖像，利用DIBR部17進(jìn)行像素位移處理(DIBR處理)(S16)。在DIBR處理中位移后的像素有時(shí)露出到圖像區(qū)域外，通過邊界處理部21，將露出到圖像區(qū)域外的像素臨時(shí)存儲(chǔ)在圖像區(qū)域外的緩沖存儲(chǔ)器中(S17)。如果是全周圍圖像，則作為對(duì)象的圖像為一張，所以，與當(dāng)前圖像相鄰的圖像必定是自己本身。由此，關(guān)于全周圍圖像，在將I個(gè)全周圍圖像決定為基點(diǎn)圖像和當(dāng)前圖像后，在步驟S18中，當(dāng)要將與當(dāng)前圖像相鄰的圖像決定為當(dāng)前圖像時(shí)，自己本身再次被決定為當(dāng)前圖像。由此，在前一個(gè)當(dāng)前圖像新決定為當(dāng)前圖像后，轉(zhuǎn)移到步驟S22。步驟S22判定新的當(dāng)前圖像是否是基點(diǎn)圖像。全周圍圖像為一張，所以，再次決定的當(dāng)前圖像必定與基點(diǎn)圖像一致。由此，該情況下，步驟S22為“是”，轉(zhuǎn)移到步驟S23。在步驟S23中，針對(duì)通過步驟S16的DIBR處理而得到的右眼用的其他視點(diǎn)的視點(diǎn)圖像，在露出方的圖像端部的相反端部嵌入當(dāng)前存儲(chǔ)在區(qū)域外緩沖存儲(chǔ)器中的像素群。通過分別對(duì)左眼和右眼反復(fù)進(jìn)行該處理，結(jié)束像素位移和邊界處理。如上所述，即使作為基礎(chǔ)的左眼用的全周圍圖像由I張較大的圖像形成，所生成的右眼用全周圍圖像也成為沒有像素缺失的無縫的全周圍圖像。將這些圖像作為紋理映射到球面上，向左右平面輸出用戶希望觀察的方向的投影圖像，由此，能夠?qū)崿F(xiàn)無縫的全周圍立體視。(實(shí)施方式3)本實(shí)施方式公開了利用什么樣的硬件結(jié)構(gòu)實(shí)現(xiàn)此前的實(shí)施方式所述的圖像描繪 >J-U ρ α裝直。首先，對(duì)與CG處理部有關(guān)的硬件結(jié)構(gòu)進(jìn)行說明。圖30示出CG處理部的硬件結(jié)構(gòu)。如本圖所示，圖像描繪裝置由接口 201、視頻解碼器電路202、紋理存儲(chǔ)器203、代碼R0M204、CPU205、工作存儲(chǔ)器206、GPU207、幀存儲(chǔ)器208構(gòu)成。接口 201是與內(nèi)部媒體和移動(dòng)媒體的驅(qū)動(dòng)器之間的接口。視頻解碼器202是對(duì)通過接口 201讀出的背景圖像和深度圖像進(jìn)行解碼的專用電路。紋理存儲(chǔ)器203存儲(chǔ)通過視頻解碼器電路202的解碼而得到的非壓縮的背景圖像。代碼R0M204存儲(chǔ)構(gòu)成此前的流程圖所述的程序的代碼串。CPU205通過讀出存儲(chǔ)在代碼R0M204中的代碼串并進(jìn)行處理，實(shí)現(xiàn)此前的實(shí)施方式所述的處理。工作存儲(chǔ)器206在代碼R0M204進(jìn)行處理時(shí)被用作變量或排列的存儲(chǔ)場所。GPU207是紋理映射等的圖形處理用的專用處理電路。幀存儲(chǔ)器208是GPU207進(jìn)行處理所使用的存儲(chǔ)器。圖31是示出GPU的內(nèi)部結(jié)構(gòu)的圖。X 級(jí)主板 800 實(shí)現(xiàn) X (Transformation、Xformation)級(jí)的處理，具有 ΗΙΡ801、GED802、顯示列表超高速緩存 803、SMD 芯片 804a、804b、804c、804d。X (Transformation)級(jí)的處理大致而言有二個(gè)。一個(gè)是將三維的各頂點(diǎn)數(shù)據(jù)(x、y、z)變換為二維的幕坐標(biāo)的處理，第二個(gè)是關(guān)于各頂點(diǎn)、根據(jù)光源和材質(zhì)信息計(jì)算明亮度(顏色)的照光(lighting)計(jì)算處理。將這兩個(gè)(Transformation and Lighting)處理統(tǒng)稱為T&L處理或TnL處理。HIP (Host Interface Processor)801 是對(duì)輸入的 OpenGLAPI 呼叫進(jìn)行解釋并轉(zhuǎn)換為適合于運(yùn)算處理的形式的 ASIC (ApplicationSpecific Integrated Circuit)。GED (Geometry Element Distributor) 802發(fā)揮將各頂點(diǎn)數(shù)據(jù)分配給4個(gè)初級(jí)SIMD芯片中的處于等待處理狀態(tài)的SMD芯片的作用。顯示列表超高速緩存803是存儲(chǔ)將OpenGLAPI呼叫分組后的顯示列表的超高速緩沖存儲(chǔ)器。如果將經(jīng)常使用的一連串的OpenGLAPI呼叫設(shè)置在顯示列表中，則能夠大幅削減從CPU轉(zhuǎn)送到X級(jí)主板的數(shù)據(jù)量。SIMD芯片804a、804b、804c、804d是由ASIC實(shí)現(xiàn)的單芯片處理器，具有3個(gè)系統(tǒng)的FPU (浮動(dòng)小數(shù)點(diǎn)運(yùn)算單元)，具有微代碼存儲(chǔ)用的超高速緩存和數(shù)據(jù)超高速緩存。在一個(gè)FPU中包括二個(gè)運(yùn)算器。一個(gè)是通常的浮動(dòng)小數(shù)點(diǎn)ALU (Arithmetic Logic Unit),另一個(gè)是浮動(dòng)小數(shù)點(diǎn)乘法器。在本主板中搭載了 4個(gè)該SMD芯片。FPU的12個(gè)系統(tǒng)并行進(jìn)行動(dòng)作，所以，能夠同時(shí)并行進(jìn)行12個(gè)頂點(diǎn)數(shù)據(jù)(x、y、z)的處理。SIMD芯片中的處理內(nèi)容(坐標(biāo)變換或照光計(jì)算的算法)通過微代碼描述。運(yùn)算電路根據(jù)存儲(chǔ)在芯片上的超高速緩存中的微代碼進(jìn)行動(dòng)作。微代碼在系統(tǒng)起動(dòng)時(shí)被載入超高速緩存中。SMD芯片中的運(yùn)算結(jié)果被集中到FIFO (First-In First-Out)存儲(chǔ)器中，作為X級(jí)主板全體的輸出而被轉(zhuǎn)送到稱為Triangle Bus的總線。各頂點(diǎn)數(shù)據(jù)包括幕坐標(biāo)系上的坐標(biāo)(X、y)和進(jìn)深信息z、照光計(jì)算的結(jié)果即(r、g、b)、透明度信息的a、法線矢量(nx、ny、nz)以及紋理坐標(biāo)(s、t)。并且，用于優(yōu)化下一 S級(jí)的計(jì)算效率的預(yù)處理也在本主板中進(jìn)行。作為代表性的預(yù)處理，具有背面剔除。背面剔除是如下處理檢測在變換為窗口坐標(biāo)系時(shí)朝向背面的三角形，針對(duì)這種三角形，將頂點(diǎn)數(shù)據(jù)不輸出到Triangle Bus。以上是X級(jí)主板的處理。對(duì)S級(jí)主板805進(jìn)行說明。S級(jí)主板805由4種ASIC芯片(TG806、PG807、TF808、IMP809)構(gòu)成。S (Scan conversion)級(jí)中的處理包括涂滿三角形內(nèi)部的各像素的柵格化 處理、隱藏面消除處理、模板掩膜處理、霧化效果的處理等。柵格化處理中的重要功能在于，在球面帶中粘貼全周圍圖像這樣的紋理映射。在紋理映射中，代替利用插值求出明亮度(r、g、b)，根據(jù)對(duì)紋理坐標(biāo)(s、t)進(jìn)行插值后的結(jié)果來計(jì)算存儲(chǔ)在紋理存儲(chǔ)器中的紋理圖像的地址，讀出適當(dāng)?shù)南袼兀瑢⑵涿髁炼?r、g、b)作為斷片的明亮度數(shù)據(jù)。S級(jí)主板的輸入是從X級(jí)主板通過Triangle Bus給出的三角形各頂點(diǎn)中的斷片形式的數(shù)據(jù)(幕坐標(biāo)(X、Y、z)、紋理坐標(biāo)(S、t)、明亮度(r、g、b)、透明度a、法線矢量(nx、ny、nz))。TG (Texture Generator)芯片806進(jìn)行三角形的涂滿，輸出每個(gè)像素的紋理坐標(biāo)(S、t)的插值結(jié)果，生成紋理存儲(chǔ)器的地址,將紋理像素(被稱為紋理元素(texel))轉(zhuǎn)送到TF (Texture Filter)。在PG (Pixel Generator)芯片807中，進(jìn)行柵格化處理即三角形的涂滿處理，進(jìn)行每個(gè)像素的明亮度(r、g、b )等的插值。TF (Texture Filter)芯片808對(duì)PG的輸出結(jié)果即被隱蔽的明亮度和紋理存儲(chǔ)器的輸出(紋理元素)進(jìn)行合成，將每個(gè)像素的斷片轉(zhuǎn)送到IMP (Image Memory Processor)。IMP (IMage Proccer) 809是實(shí)現(xiàn)像素處理流程的處理器，進(jìn)行霧化處理、抗鋸齒處理、α測試、模板測試、深度測試、混合、屏蔽、寫入緩存選擇這樣的像素處理，將處理結(jié)果寫入幀存儲(chǔ)器208中。D級(jí)主板812是進(jìn)行D級(jí)處理的主板，具有ΧΜΑΡ813和V0C814。XMAP (Pixel Mapping Asic)813從Pixel Bus接受圖像數(shù)據(jù),根據(jù)需要利用查閱表進(jìn)行變換，并且，還進(jìn)行光標(biāo)的顯示，在VideoPacket Bus中加入圖像數(shù)據(jù)。各VOC按照描述了自身所承擔(dān)的矩形區(qū)域的VOF數(shù)據(jù)拾取圖像，利用DA變換器變換為視頻信號(hào)。VOC (Video Output Channel)電路814具有放大圖像的輸出電路、用于優(yōu)化放大圖像的畫質(zhì)的濾波電路，如果在顯示處理中負(fù)荷較重，則以較粗的分辨率動(dòng)態(tài)地進(jìn)行描繪，以硬件放大的方式進(jìn)行顯示。在D級(jí)主板中具有最大8個(gè)輸出通道，除此之外，還具有HDMI輸出編碼器。
接著，說明應(yīng)該利用軟件對(duì)上述硬件結(jié)構(gòu)的GPU指示什么樣的控制。圖32 (a)示意地示出球面模型與紋理之間的對(duì)應(yīng)。左側(cè)示出構(gòu)成球面模型的網(wǎng)格，右側(cè)示出存儲(chǔ)紋理的紋理緩存的存儲(chǔ)內(nèi)容。左側(cè)的球面模型在橫向被分割成W個(gè)，在各個(gè)分割部分上粘貼紋理。在本實(shí)施方式中，設(shè)作為紋理映射對(duì)象的圖形類型為三角形帶，設(shè)該三角形帶的全部或一部分為紋理映射對(duì)象。該三角形帶的全部或一部分被規(guī)定為頂點(diǎn)網(wǎng)格。具體而言，由T1、T2、T3構(gòu)成的網(wǎng)格成為紋理映射對(duì)象，由Τ3、Τ4、Τ5、Τ6構(gòu)成的網(wǎng)格成為I個(gè)紋理映射的對(duì)象。將構(gòu)成這些網(wǎng)格的交點(diǎn)的坐標(biāo)指定為索引后，進(jìn)行紋理映射。圖32 (b)是用于實(shí)現(xiàn)紋理映射的OPEN-GL中的API調(diào)出的描述例?！癵lVertexPointer (3、GL#FL0AT、0、g#v); ”存儲(chǔ)三維建?？臻g中的網(wǎng)格的各交點(diǎn)的坐標(biāo)群作為頂點(diǎn)群。變量的〃3〃是三維建?？臻g的維數(shù)，GL#F0LAT表示坐標(biāo)群的各個(gè)坐標(biāo)的類型為浮動(dòng)小數(shù)點(diǎn)形式?！癵lTexCoordPointer (2、GL#FL0AT、0、g#v); ”是用于存儲(chǔ)與三維建?？臻g中的網(wǎng) 格對(duì)應(yīng)的紋理的坐標(biāo)群g#uv作為紋理坐標(biāo)值的API調(diào)出?！癴or (1=0; i<ff; i++)”針對(duì)橫向的W個(gè)坐標(biāo)分別被規(guī)定為反復(fù)進(jìn)行g(shù)lDrawElements的調(diào)出的循環(huán)構(gòu)造。對(duì)“glDrawElements(GL#TRIANGLE#STRIP、(H+1) *2、GL#UNSIGNED#SH0RT、getStaticData ( ) ->g#index[i]); ”進(jìn)行說明。該API調(diào)出的第I變量指定3D模型的圖形類型為三角形帶(GL#41Triangle#Stirp)。第2變量是頂點(diǎn)數(shù)的指定,指定(縱分割數(shù)H+DX2的數(shù)值。GL#UNSIGNED#SH0RT表示存儲(chǔ)頂點(diǎn)的index的類型為無碼的short形式。g#index[ff]是決定描繪順序的索引排列,存儲(chǔ)網(wǎng)格交點(diǎn)的頂點(diǎn)坐標(biāo)作為各個(gè)排列要素。通過按照作為g#index的排列要素而存儲(chǔ)的頂點(diǎn)坐標(biāo)執(zhí)行描繪，進(jìn)行紋理映射。首先，對(duì)用于實(shí)現(xiàn)DIBR的硬件結(jié)構(gòu)(全周圍圖像存儲(chǔ)器13、像素位移部18的硬件結(jié)構(gòu))進(jìn)行說明。全周圍圖像存儲(chǔ)器13由多個(gè)行存儲(chǔ)器構(gòu)成，全周圍圖像數(shù)據(jù)分別被存儲(chǔ)在構(gòu)成行存儲(chǔ)器的32比特長的存儲(chǔ)元件中。而且，全周圍圖像數(shù)據(jù)在畫面上的坐標(biāo)例如對(duì)應(yīng)于全周圍圖像存儲(chǔ)器13中的行存儲(chǔ)器的地址即ROW地址與行存儲(chǔ)器中的存儲(chǔ)元件的相對(duì)地址即COLUMN地址的組。以上是與全周圍圖像存儲(chǔ)器13有關(guān)的說明。接著，對(duì)像素位移部18的硬件結(jié)構(gòu)進(jìn)行說明。像素位移部18對(duì)全周圍圖像數(shù)據(jù)和深度圖像數(shù)據(jù)實(shí)施像素位移，生成其他視點(diǎn)的紋理。在希望對(duì)全周圍圖像中的像素的X坐標(biāo)進(jìn)行變更而生成左眼紋理的情況下，在從全周圍圖像存儲(chǔ)器13向左眼紋理存儲(chǔ)器22進(jìn)行復(fù)制時(shí)，事前以與像素?cái)?shù)X相當(dāng)?shù)牡刂穼?duì)指示作為其復(fù)制目的地的存儲(chǔ)元件的COLUMN地址進(jìn)行調(diào)整。如果以這種地址調(diào)整為前提執(zhí)行復(fù)制，則左眼紋理的坐標(biāo)向左方向位移。由此，像素位移部18能夠在伴隨地址調(diào)整的復(fù)制處理中生成左眼紋理。在希望對(duì)街景的X坐標(biāo)進(jìn)行變更而生成右眼紋理的情況下，在從全周圍圖像存儲(chǔ)器13向右眼紋理存儲(chǔ)器23進(jìn)行復(fù)制時(shí)，事后以與像素?cái)?shù)X相當(dāng)?shù)牡刂穼?duì)指示作為其復(fù)制目的地的存儲(chǔ)元件的COLUMN地址進(jìn)行調(diào)整。如果以這種地址調(diào)整為前提執(zhí)行復(fù)制，則右眼紋理的坐標(biāo)向右方向位移。由此,像素位移部18能夠在伴隨地址調(diào)整的復(fù)制處理中生成右眼紋理。以上是基于硬件的像素位移部18的實(shí)現(xiàn)。并且，能夠利用行掃描儀實(shí)現(xiàn)DIBR。行掃描儀是指，按照橫1920像素的每一個(gè)像素讀出存儲(chǔ)在幀存儲(chǔ)器中的一個(gè)畫面的像素(1920 X 1080)的集合，將其變換為數(shù)字影像信號(hào)。該行掃描儀可以通過能夠存儲(chǔ)I行的像素?cái)?shù)據(jù)的行像素存儲(chǔ)器、濾波電路、進(jìn)行并行/串行變換的變換電路而實(shí)現(xiàn)。如上所述，DIBR是將深度圖像的各個(gè)像素的亮度變換為視差并進(jìn)行像素位移的處理。如果使從行存儲(chǔ)器中讀出的全周圍圖像的一行的像素的坐標(biāo)沿橫向移動(dòng)與針對(duì)全周圍圖像的深度圖像中的對(duì)應(yīng)行的進(jìn)深對(duì)應(yīng)的像素?cái)?shù)，則能夠生成具有深度圖像所示的進(jìn)深的其他視點(diǎn)的視點(diǎn)圖像。< 備注 >以上，對(duì)申請(qǐng)人在本申請(qǐng)的申請(qǐng)時(shí)點(diǎn)得知的最佳實(shí)施方式進(jìn)行了說明，但是，關(guān)于以下所示的技術(shù)話題，能夠進(jìn)行進(jìn)一步的改良或變更實(shí)施。希望注意到，如各實(shí)施方式所示那樣實(shí)施、或者是否實(shí)施這些改良/變更均為任意的，基于實(shí)施者的主觀。 (深度圖像的變化)壓縮墨卡托深度圖像是以PNG形式對(duì)表示相對(duì)于墨卡托圖像的進(jìn)深的圖像進(jìn)行壓縮后的數(shù)據(jù)，但是，進(jìn)深的壓縮噪聲明顯，所以，優(yōu)選以PNG形式等的無損形式進(jìn)行壓縮。另外，街景文件中的壓縮墨卡托深度圖像的數(shù)據(jù)冗長，所以，除了 PNG形式的壓縮以外，也可以具有周圍的地形數(shù)據(jù)、以及表示壓縮墨卡托圖像與地形數(shù)據(jù)之間的關(guān)系的數(shù)據(jù)。另外，在利用因特網(wǎng)收發(fā)立體街景視點(diǎn)的情況下，當(dāng)壓縮墨卡托圖像被分割成多個(gè)文件時(shí)，能夠在下載中途的狀態(tài)下進(jìn)行顯示。(集成電路的實(shí)施方式)排除第I實(shí)施方式所示的圖像描繪裝置的硬件結(jié)構(gòu)中的記錄介質(zhì)的驅(qū)動(dòng)部、與外部連接的連接器等的機(jī)構(gòu)部分，可以對(duì)與邏輯電路和存儲(chǔ)元件相當(dāng)?shù)牟糠?、即邏輯電路的核心部分進(jìn)行系統(tǒng)LSI化。系統(tǒng)LSI是指在高密度基板上安裝裸芯片并進(jìn)行封裝。通過將多個(gè)裸芯片安裝在高密度基板上并進(jìn)行封裝，將使多個(gè)裸芯片恰好具有I個(gè)LSI的外形構(gòu)造的模塊稱為多芯片模塊，但是，這種模塊也包含在系統(tǒng)LSI中。這里，著眼于封裝的類別時(shí)，系統(tǒng)LSI具有QFP (四方扁平陣列)、PGA (針網(wǎng)格陣列)這樣的類別。QFP是在封裝的四個(gè)側(cè)面安裝有針的系統(tǒng)LSI。PGA是在底面全體安裝有多個(gè)針的系統(tǒng)LSI。這些針發(fā)揮電源供給、地線、作為與其他電路之間的接口的作用。系統(tǒng)LSI中的針具有這樣的接口的作用，所以，通過在系統(tǒng)LSI中的這些針上連接其他電路，系統(tǒng)LSI發(fā)揮作為再現(xiàn)裝置的核心的作用。(程序的實(shí)施方式)各實(shí)施方式所示的程序可以如下生成。首先，軟件開發(fā)者使用程序設(shè)計(jì)語言描述用于實(shí)現(xiàn)各流程圖和功能性的結(jié)構(gòu)要素的源程序。在該描述時(shí)，軟件開發(fā)者按照程序設(shè)計(jì)語言的語法，使用等級(jí)構(gòu)造體、變量、排列變量、外部函數(shù)的呼叫，描述具體實(shí)現(xiàn)各流程圖和功能性的結(jié)構(gòu)要素的源程序。所描述的源程序作為文件提供給編譯程序。編譯程序翻譯這些源程序而生成目標(biāo)程序。基于編譯程序的翻譯由語法解析、優(yōu)化、資源分配、代碼生成這樣的過程構(gòu)成。在語法解析中，進(jìn)行源程序的字句解析、語法解析和意思解析，將源程序變換為中間程序。在優(yōu)化中，針對(duì)中間程序進(jìn)行基本模塊化、控制流程解析、數(shù)據(jù)流程解析這樣的作業(yè)。在資源分配中，為了使目標(biāo)處理器適合于命令組，將中間程序中的變量分配給目標(biāo)處理器所具有的寄存器或存儲(chǔ)器。在代碼生成中，將中間程序內(nèi)的各中間命令變換為程序代碼，得到目標(biāo)程序。這里生成的目標(biāo)程序由使計(jì)算機(jī)執(zhí)行各實(shí)施方式所示的流程圖的各步驟、功能性的結(jié)構(gòu)要素的各個(gè)順序的I個(gè)以上的程序代碼構(gòu)成。這里，程序代碼如處理器的本地碼、JAVA (注冊(cè)商標(biāo))字節(jié)碼那樣具有多個(gè)種類?；诔绦虼a的各步驟的實(shí)現(xiàn)具有多個(gè)種類。在能夠利用外部函數(shù)實(shí)現(xiàn)各步驟的情況下，呼叫該外部函數(shù)的呼叫文成為程序代碼。并且，實(shí)現(xiàn)I個(gè)步驟的程序代碼有時(shí)也歸屬于不同的目標(biāo)程序。在命令種類受限的RISC處理器中，也可以通過組合算術(shù)運(yùn)算命令、邏輯運(yùn)算命令、分支命令等，實(shí)現(xiàn)流程圖的各步驟。生成目標(biāo)程序后，程序員針對(duì)這些目標(biāo)程序起動(dòng)連接程序。連接程序?qū)Υ鎯?chǔ)器空間分配這些目標(biāo)程序和關(guān)聯(lián)的庫存程序，將它們結(jié)合成一個(gè)程序，生成載入模塊。這樣生成的載入模塊以基于計(jì)算機(jī)的讀取為前提，使計(jì)算機(jī)執(zhí)行各流程圖所示的處理順序和功能性 的結(jié)構(gòu)要素的處理順序。將該計(jì)算機(jī)程序記錄在非臨時(shí)的計(jì)算機(jī)可讀取的記錄介質(zhì)中提供給用戶即可。(視點(diǎn)周圍圖像的范圍增減)在各實(shí)施方式中，將橫向結(jié)合了橫7張背景圖像而得到的全周圍圖像作為對(duì)象進(jìn)行了說明，但是，通過減少橫向圖像的結(jié)合數(shù)，也可以變更從視點(diǎn)張望的街景的范圍。上述實(shí)施方式的全周圍圖像在橫7張背景圖像中網(wǎng)羅了 360°的視野，所以，一張背景圖像中網(wǎng)羅的范圍為52° ( 365° /7)。由此，在結(jié)合了 2張圖像的情況下，能夠張望104°(~52° X2)的范圍，在結(jié)合了 3張圖像的情況下，能夠張望156° 52X3)的范圍。這樣，通過在街景收集服務(wù)器或圖像描繪裝置中改變橫向圖像的結(jié)合數(shù)，能夠改變視點(diǎn)周圍圖像的規(guī)模，能夠減輕紋理映射處理或紋理中的視差計(jì)算等的負(fù)荷。產(chǎn)業(yè)上的可利用性本發(fā)明的圖像描繪裝置能夠在制造產(chǎn)業(yè)中以經(jīng)營性質(zhì)持續(xù)和反復(fù)制造、銷售。特別地，能夠在與全周圍立體圖像的制作和再現(xiàn)有關(guān)的民生設(shè)備產(chǎn)業(yè)中加以利用。標(biāo)號(hào)說明101 :描繪裝置；102 :遙控器；103 :立體視對(duì)應(yīng)顯示器；104 :液晶快門式眼鏡；105 :服務(wù)器；1 :用戶操作檢測部；2 :位置方向判定部；3 :網(wǎng)絡(luò)接口 ；4 :本地存儲(chǔ)器。
權(quán)利要求
1.一種圖像描繪裝置，實(shí)現(xiàn)與結(jié)合圖像數(shù)據(jù)有關(guān)的立體視，其特征在于， 所述結(jié)合圖像數(shù)據(jù)是橫向結(jié)合了多個(gè)背景圖像數(shù)據(jù)而得到的數(shù)據(jù)， 所述圖像描繪裝置具有 像素位移單元，對(duì)構(gòu)成結(jié)合圖像數(shù)據(jù)的各個(gè)背景圖像數(shù)據(jù)實(shí)施像素位移，并且實(shí)施伴隨該像素位移的邊界處理，從而得到2個(gè)以上的視點(diǎn)紋理； 紋理映射單元，在三維建?？臻g中的立體模型的內(nèi)側(cè)表面上映射2個(gè)以上的視點(diǎn)紋理；以及 窗口變換單元，從進(jìn)行紋理映射后的立體模型中提取分別與2個(gè)以上的視點(diǎn)對(duì)應(yīng)的窗口圖像， 所述像素位移是使構(gòu)成各個(gè)背景圖像數(shù)據(jù)的像素的坐標(biāo)橫向移動(dòng)的處理，根據(jù)與結(jié)合圖像數(shù)據(jù)對(duì)應(yīng)的深度圖像數(shù)據(jù)中的像素的進(jìn)深值決定像素的移動(dòng)量， 所述邊界處理是如下處理提取由于像素坐標(biāo)的橫向移動(dòng)而從各個(gè)背景圖像數(shù)據(jù)的顯示范圍中露出的像素群，在結(jié)合圖像數(shù)據(jù)中橫向相鄰的其他背景圖像數(shù)據(jù)的端部寫入被提取出的露出像素群。
2.如權(quán)利要求I所述的圖像描繪裝置，其特征在于， 所述圖像描繪裝置具有顯示區(qū)域緩存、區(qū)域外緩存、以及用于存儲(chǔ)進(jìn)行像素位移處理后的已處理背景圖像數(shù)據(jù)的紋理存儲(chǔ)器， 在顯示區(qū)域緩存中存儲(chǔ)構(gòu)成所述結(jié)合圖像數(shù)據(jù)的多個(gè)背景圖像數(shù)據(jù)中的成為處理對(duì)象的背景圖像數(shù)據(jù)，在顯示區(qū)域緩存上使構(gòu)成背景圖像數(shù)據(jù)的像素的坐標(biāo)橫向移動(dòng)，并且提取像素從背景圖像數(shù)據(jù)的顯示范圍中露出的像素群，將其寫入?yún)^(qū)域外緩存，從而進(jìn)行所述像素位移， 從區(qū)域外緩存中讀出露出像素群，寫入到在紋理存儲(chǔ)器中存儲(chǔ)的已處理背景圖像數(shù)據(jù)中的一個(gè)端部，從而進(jìn)行所述邊界處理。
3.如權(quán)利要求I所述的圖像描繪裝置，其特征在于， 在所述結(jié)合圖像數(shù)據(jù)是通過結(jié)合I個(gè)墨卡托圖像數(shù)據(jù)的一個(gè)端部和另一個(gè)端部而得到的結(jié)合墨卡托圖像數(shù)據(jù)的情況下， 在所述邊界處理中，結(jié)合墨卡托圖像數(shù)據(jù)中的各像素根據(jù)深度圖像數(shù)據(jù)而位移，由此，提取從墨卡托圖像的顯示范圍中露出的像素群，在被提取的端部的相反側(cè)的端部改寫被提取的露出像素群。
4.如權(quán)利要求I所述的圖像描繪裝置，其特征在于， 所述圖像描繪裝置具有 位置方向判定單元，根據(jù)用戶操作來判定地圖上的當(dāng)前視點(diǎn)位置和當(dāng)前視線方向；以及 取得單元，使用與地圖上的當(dāng)前視點(diǎn)位置對(duì)應(yīng)的地理信息生成圖像取得請(qǐng)求，并發(fā)送到圖像收集服務(wù)器，從而下載街景文件， 從圖像收集服務(wù)器下載的街景文件具有與圖像取得請(qǐng)求中包含的地理信息一致的拍攝地屬性， 所述結(jié)合圖像數(shù)據(jù)存在于所下載的街景文件內(nèi)。
5.如權(quán)利要求I所述的圖像描繪裝置，其特征在于，所述結(jié)合圖像數(shù)據(jù)是視點(diǎn)周圍圖像，通過橫向結(jié)合多個(gè)背景圖像數(shù)據(jù)，表示從與圖像取得請(qǐng)求中的地理信息對(duì)應(yīng)的地理位置張望周圍時(shí)的光景。
6.一種影像描繪方法，實(shí)現(xiàn)與結(jié)合圖像數(shù)據(jù)有關(guān)的立體視，其特征在于， 所述結(jié)合圖像數(shù)據(jù)是橫向結(jié)合了多個(gè)背景圖像數(shù)據(jù)而得到的數(shù)據(jù)， 所述圖像描繪方法包括以下步驟 像素位移步驟，對(duì)構(gòu)成結(jié)合圖像數(shù)據(jù)的各個(gè)背景圖像數(shù)據(jù)實(shí)施像素位移，并且實(shí)施伴隨該像素位移的邊界處理，從而得到2個(gè)以上的視點(diǎn)紋理； 紋理映射步驟，在三維建?？臻g中的立體模型的內(nèi)側(cè)表面上映射2個(gè)以上的視點(diǎn)紋理；以及 窗口變換步驟，從進(jìn)行紋理映射后的立體模型中提取分別與2個(gè)以上的視點(diǎn)對(duì)應(yīng)的窗 口圖像， 所述像素位移是使構(gòu)成各個(gè)背景圖像數(shù)據(jù)的像素的坐標(biāo)橫向移動(dòng)的處理，根據(jù)與結(jié)合圖像數(shù)據(jù)對(duì)應(yīng)的深度圖像數(shù)據(jù)中的像素的進(jìn)深值決定像素的移動(dòng)量， 所述邊界處理是如下處理提取由于像素坐標(biāo)的橫向移動(dòng)而從各個(gè)背景圖像數(shù)據(jù)的顯示范圍中露出的像素群，在結(jié)合圖像數(shù)據(jù)中橫向相鄰的其他背景圖像數(shù)據(jù)的端部寫入被提取出的露出像素群。
7.一種影像描繪程序，使計(jì)算機(jī)實(shí)現(xiàn)與結(jié)合圖像數(shù)據(jù)有關(guān)的立體視，其特征在于， 所述結(jié)合圖像數(shù)據(jù)是橫向結(jié)合了多個(gè)背景圖像數(shù)據(jù)而得到的數(shù)據(jù)， 所述圖像描繪程序使計(jì)算機(jī)執(zhí)行以下步驟 像素位移步驟，對(duì)構(gòu)成結(jié)合圖像數(shù)據(jù)的各個(gè)背景圖像數(shù)據(jù)實(shí)施像素位移，并且實(shí)施伴隨該像素位移的邊界處理，從而得到2個(gè)以上的視點(diǎn)紋理； 紋理映射步驟，在三維建?？臻g中的立體模型的內(nèi)側(cè)表面上映射2個(gè)以上的視點(diǎn)紋理；以及 窗口變換步驟，從進(jìn)行紋理映射后的立體模型中提取分別與2個(gè)以上的視點(diǎn)對(duì)應(yīng)的窗口圖像， 所述像素位移是使構(gòu)成各個(gè)背景圖像數(shù)據(jù)的像素的坐標(biāo)橫向移動(dòng)的處理，根據(jù)與結(jié)合圖像數(shù)據(jù)對(duì)應(yīng)的深度圖像數(shù)據(jù)中的像素的進(jìn)深值決定像素的移動(dòng)量， 所述邊界處理是如下處理提取由于像素坐標(biāo)的橫向移動(dòng)而從各個(gè)背景圖像數(shù)據(jù)的顯示范圍中露出的像素群，在結(jié)合圖像數(shù)據(jù)中橫向相鄰的其他背景圖像數(shù)據(jù)的端部寫入被提取出的露出像素群。
全文摘要
圖像描繪裝置實(shí)現(xiàn)與結(jié)合背景圖像有關(guān)的立體視。DIBR部(17)對(duì)構(gòu)成結(jié)合背景圖像的各個(gè)背景圖像實(shí)施位移，并且實(shí)施伴隨該像素位移的邊界處理。結(jié)合背景圖像在立體模型上結(jié)合1個(gè)以上的背景圖像的端部。像素位移是使構(gòu)成背景圖像的像素的坐標(biāo)橫向移動(dòng)的處理，根據(jù)深度圖像中的像素的進(jìn)深值決定像素的移動(dòng)量。邊界處理是如下處理提取由于像素坐標(biāo)的橫向移動(dòng)而從各個(gè)背景圖像的顯示范圍中露出的像素群，在橫向相鄰的其他背景圖像的端部追加被提取出的像素群。
文檔編號(hào)G06T15/04GK102971770SQ201280001059
公開日2013年3月13日 申請(qǐng)日期2012年3月2日 優(yōu)先權(quán)日2011年3月31日
發(fā)明者田中敬一, 片山朋子, 山地治 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社