專利名稱：用于呈現(xiàn)與虛擬圖像合成的圖像的信息處理裝置及方法
技術領域：
本發(fā)明一般涉及一種信息處理裝置和信息處理方法，特別涉及一種用于將拍攝真實空間的圖像與虛擬圖像合成的圖像呈現(xiàn)給使用者的信息處理裝置及方法。
背景技術：
虛擬現(xiàn)實(VR)系統(tǒng)通過向使用者呈現(xiàn)由計算機產生的三維計算機圖形(CG)來向使用者提供虛擬現(xiàn)實。近年來，已經開發(fā)了一種技術，其通過將真實空間的圖像與三維圖形合成，來向使用者呈現(xiàn)真實空間中不存在的信息。這種系統(tǒng)稱為擴展現(xiàn)實(augmented reality，AR)系統(tǒng)或混合現(xiàn)實(mixed reality，MR)系統(tǒng)。
在MR系統(tǒng)中，使用者可以觀看疊加到真實物體上的三維CG。已經提出了一種使用者能通過將虛擬物體疊加到真實物體上來自由操作虛擬物體的MR系統(tǒng)(參考例如日本特開平11-136706，其對應于美國專利6,522,312號)。
通常，由于MR系統(tǒng)在真實圖像上顯示CG，CG掩蓋使用者的手和腳的某些部分，因此，使用者無法看到這些部分。例如，在允許使用者體驗虛擬建筑的內部環(huán)境的MR系統(tǒng)中，當使用者在虛擬建筑內移動時，虛擬地面和虛擬墻壁覆蓋使用者的整個周圍。因此，在這種系統(tǒng)中，CG覆蓋使用者的手部的周圍，因此，使用者在操作時感覺不便。
另外，如果CG遮蓋使用者腳部周圍的區(qū)域，使用者可能會感到害怕。

發(fā)明內容
本發(fā)明提供一種信息處理裝置和信息處理方法，用于避免使用者因C G掩蓋真實空間導致其腳部周圍的區(qū)域不可見而在虛擬空間中感到害怕。
本發(fā)明進一步提供一種允許使用者觀看其腳部周圍的真實空間的信息處理裝置和信息處理方法。
根據(jù)本發(fā)明的一個方面，一種信息處理方法生成虛擬現(xiàn)實的圖像，并將該虛擬現(xiàn)實的圖像與真實空間圖像進行合成，以向使用者呈現(xiàn)合成圖像。該信息處理方法包括獲取使用者的位置和姿勢；以及根據(jù)使用者的位置和姿勢、以及虛擬現(xiàn)實的計算機圖形數(shù)據(jù)，來生成對應于使用者的位置和姿勢的合成圖像，以在使用者的腳部處顯示真實空間圖像。
根據(jù)本發(fā)明的另一方面，一種信息處理裝置生成虛擬現(xiàn)實的圖像，并將該虛擬現(xiàn)實的圖像與真實空間圖像進行合成，以向使用者呈現(xiàn)合成圖像。該信息處理裝置包括獲取單元，用來獲取使用者的位置和姿勢；以及生成單元，用來根據(jù)使用者的位置和姿勢、以及虛擬現(xiàn)實的計算機圖形數(shù)據(jù)，來生成對應于使用者的位置和姿勢的合成圖像，以在使用者的腳部處顯示真實空間圖像。
通過以下參考附圖的典型實施例的說明，本發(fā)明的其它特征是顯而易見的。


圖1示出根據(jù)本發(fā)明的典型實施例的系統(tǒng)的方框圖。
圖2示出根據(jù)典型實施例的虛擬現(xiàn)實的場景圖。
圖3示出根據(jù)典型實施例的允許使用者體驗MR系統(tǒng)的空間。
圖4是根據(jù)典型實施例的處理的流程圖。
圖5示出使用者站立在合成真實空間的圖示。
圖6示出在合成真實空間中的使用者垂直向下看的圖示。
圖7示出使用者站立在具有透明對象的合成真實空間中的的圖示。
圖8示出在具有透明對象的合成真實空間中的使用者垂直向下看的圖示。
圖9～11示出具有不同形狀的典型透明對象。
具體實施例方式
以下結合附圖來詳細說明本發(fā)明的典型實施例。
第一實施例在第一實施例中，說明一種允許使用者體驗虛擬建筑的內部環(huán)境的MR系統(tǒng)。
接下來說明整個系統(tǒng)結構。
圖1示出根據(jù)本發(fā)明第一實施例的系統(tǒng)的方框圖。如圖1所示，系統(tǒng)控制單元101執(zhí)行系統(tǒng)的總體控制。系統(tǒng)控制單元101包括圖像輸入單元102、圖像合成單元103、圖像輸出裝置104、攝像機位置和姿勢測量單元105、以及虛擬現(xiàn)實生成單元106。
視頻透視(video see-through)頭戴式顯示器(HMD)132包括攝像機133、圖像輸出單元134、圖像輸入單元135、以及圖像顯示單元136。提供兩個攝像機133以對應使用者的左、右眼。圖像顯示單元136包括對應于使用者左、右眼的兩個顯示部分。
接下來說明具有這種結構的系統(tǒng)中的數(shù)據(jù)流。
安裝在使用者頭部的HMD 132的攝像機133拍攝從使用者的左、右眼觀看到的真實空間的圖像。圖像輸出單元134將攝像機133拍攝到的真實空間的圖像傳送到系統(tǒng)控制單元101的圖像輸入單元102。
攝像機位置和姿勢測量單元105使用例如磁位置和姿勢傳感器(未示出)、或者從所輸入的圖像估計攝像機133的位置和姿勢，以測量攝像機133的位置(即，使用者的位置)和攝像機133的姿勢(即，使用者的姿勢或視線的方向)。虛擬現(xiàn)實生成單元106根據(jù)由攝像機位置和姿勢測量單元105測量到的位置和姿勢信息、和預先存儲的場景圖，來生成從攝像機133的位置和姿勢觀看的三維CG。
這里，場景圖表示虛擬現(xiàn)實的結構。例如，場景圖定義CG對象之間的位置關系和幾何信息。在本實施例中，除了定義使用者所體驗的虛擬現(xiàn)實的對象之外，為了在使用者的腳部顯示真實空間的圖像，場景圖還描繪透明地面對象。
圖像合成單元103將由圖像輸入單元102接收到的真實空間的圖像與由虛擬現(xiàn)實生成單元106生成的虛擬現(xiàn)實圖像(三維CG圖像)進行合成，以生成復合真實空間圖像。然后，圖像合成單元103將所生成的復合真實空間圖像傳送到圖像輸出單元104。圖像輸出單元104將由圖像合成單元103形成的復合真實空間圖像傳送到HMD 132的圖像輸入單元135。圖像輸入單元135接收從圖像輸出單元104傳送的復合真實空間圖像。圖像顯示單元136在使用者左、右眼的顯示部分顯示由圖像輸入單元135接收到的復合真實空間圖像。因此，使用者可以觀察該復合真實空間圖像。
在該系統(tǒng)中，可根據(jù)頭部佩戴HMD的使用者的位置和姿勢來顯示復合真實空間圖像。因此，使用者可以自由地體驗MR空間環(huán)境。
圖2示出在本實施例中使用的場景圖的樹形結構。
由于在本實施例中說明了能夠使使用者體驗虛擬建筑的MR系統(tǒng)，因此，該MR系統(tǒng)包括虛擬現(xiàn)實場景202，其表示虛擬建筑的對象；透明地面201，其是用于通過使C G地面透明來顯示真實空間圖像的對象。
虛擬現(xiàn)實場景202包括，例如，虛擬建筑內部的地面對象203、墻壁對象204、和屋頂對象205，以及虛擬建筑外部的其它對象206。因此，當使用者進入虛擬建筑時，與墻壁和屋頂?shù)腃G一樣，存在使用者腳部的地面的CG。
透明地面201的對象是具有透明屬性的對象。透明地面201存在于先于被顯示的虛擬現(xiàn)實場景202被搜索的路徑上。對象的平面的尺寸被設置為MR系統(tǒng)的設計者希望通過使虛擬現(xiàn)實圖像透明來顯示真實世界的尺寸。對象的平面的高度被設置為等于或略大于場景中的地面的厚度。
例如，當?shù)孛鎸ο?03的厚度為10mm，并且設計者希望在直徑為1m的圓形區(qū)域內顯示真實圖像時，透明地面201的對象被確定為高12mm、直徑1m的圓柱體。
當對對象進行描繪(render)時，這種場景圖形允許透明地面201在地面對象203的上面。因此，圖像合成單元103合成真實圖像和透明圖像。因此，真實圖像顯示在透明地面201的區(qū)域內。
此外，透明對象跟隨攝像機133的平移(即，使用者的移動)。MR系統(tǒng)根據(jù)從攝像機位置和姿勢測量單元105輸出的位置信息，來判定透明對象的水平位置。MR系統(tǒng)還將透明對象的高度(垂直高度)確定為與虛擬現(xiàn)實的地面高度相同。因此，盡管透明對象與虛擬現(xiàn)實的地面在同一平面上，但只有水平位置能跟隨攝像機133的平移。即，因為透明對象總是直接設在使用者的下面，因此使用者可以觀看他們腳部處的真實空間。如果虛擬現(xiàn)實的地面的高度改變，則透明對象的高度也隨著虛擬現(xiàn)實的地面的高度的改變而改變。因此，即使在改變地面的高度的應用中，虛擬地面的區(qū)域總是透明的。
因為透明對象的厚度大致與虛擬地面的厚度相同，因此，透明對象不會使直接位于透明對象之上的對象透明和不可見。
一些圖形庫自動將對象顯示的次序改變?yōu)樵谕该鲗ο笾帮@示對象。當使用這種庫時，可以選擇不改變對象的顯示順序而直接合成和顯示對象的方法。
接下來說明使用者可體驗根據(jù)本實施例的MR系統(tǒng)的空間。圖3示出根據(jù)實施例，允許使用者體驗MR系統(tǒng)的空間。
圖3所示的空間被真實空間中的地面、墻壁、和屋頂所包圍。虛擬建筑顯示在區(qū)域301中。當使用者位于區(qū)域301的外面時(即，在位置302處)，該使用者能觀看虛擬建筑的外部。當使用者位于區(qū)域301的里面時(即，在位置303處)，該使用者能觀看虛擬建筑的內部。
接下來參考圖4所示的流程圖來說明本實施例的處理。
在步驟S100中，攝像機位置和姿勢測量單元105測量攝像機133的位置和姿勢(即，使用者的位置和姿勢)。在步驟S110中，虛擬現(xiàn)實生成單元106根據(jù)測量到的位置和姿勢，判定使用者是否定位于虛擬建筑的內部。如果虛擬現(xiàn)實生成單元106判定使用者位于虛擬建筑的內部，則虛擬現(xiàn)實生成單元106根據(jù)建筑物中的透明對象，生成虛擬現(xiàn)實圖像(步驟S120)。如果虛擬現(xiàn)實生成單元106判定使用者沒有位于虛擬建筑的內部，則虛擬現(xiàn)實生成單元106根據(jù)建筑外面的對象生成虛擬現(xiàn)實圖像。
隨后，在步驟S140中，圖像合成單元103將步驟S120或S130中生成的虛擬現(xiàn)實圖像，與從圖像輸入單元102接收到的真實空間圖像進行合成。在步驟S150中，圖像輸出單元104將合成后的圖像輸出至HMD 132。之后，在步驟S160中，HMD 132分別將圖像顯示在圖像顯示單元136的右眼和左眼顯示部分上。重復步驟S100～S160的處理，直到在步驟S170中判定為停止。當在步驟S170中判定為停止時，圖4所示的處理結束。
參考圖3和圖5～圖8來說明根據(jù)本實施例的結果顯示和效果。
參考圖3和圖5來說明已知的MR系統(tǒng)(即，不具有透明對象的MR系統(tǒng))。
圖3所示的地面區(qū)域301是顯示現(xiàn)實世界中的虛擬建筑的區(qū)域。圖5示出虛擬現(xiàn)實的地面重疊在真實世界的地面區(qū)域301上，并且使用者站在地面區(qū)域301中的圖示。這時，當使用者通過HMD垂直向下看時，使用者僅看到地面的CG，如圖6所示。這是因為地面的CG掩蓋了真實空間的圖像。通常，如果CG掩蓋了使用者的腳部周圍，則體驗MR系統(tǒng)的使用者可能會感到害怕。
接下來說明根據(jù)本實施例的MR系統(tǒng)(即，具有透明對象的MR系統(tǒng))。在本實施例中，將透明對象設在與虛擬現(xiàn)實的地面相同的平面上。因此，圓柱形透明對象直接設在使用者的下面，因此，使用者通過該透明對象能觀看真實世界的圖像。
圖7示出虛擬現(xiàn)實的地面和透明對象501重疊在真實世界的地面區(qū)域301上，并且使用者站在地面區(qū)域301內的圖示。這時，如圖8所示，當使用者通過HMD 132垂直向下看時，使用者可以在透明對象501的形狀中看到包括該使用者的腳部的真實空間。因此，體驗MR系統(tǒng)的使用者不會由于其腳部周圍不可見而感到害怕。
此外，使用者能看到其手部的周圍，如果該周圍在真實世界的圖像區(qū)域內。因此，使用者可以在觀看真實世界的圖像的同時，用他們的手進行操作。因此，與手部周圍被C G掩蓋的情況相比，使用者能更容易地用他們的手進行操作。
這里使用的“使用者的腳部周圍”是指使用者位于中心的預定區(qū)域。如下所示，使用者的腳部周圍也指從使用者的位置開始沿使用者的移動方向的預定區(qū)域，或者距使用者預定距離的預定區(qū)域。
其它實施例-透明對象的變形在上述實施例中，透明對象具有圓柱形。然而，透明對象可以具有其它形狀，例如矩形平行六面體。
此外，透明對象的形狀可以根據(jù)使用者的移動速度而改變。例如，如圖9所示，透明對象的形狀可以是橢圓柱體。該橢圓柱體的長軸朝向使用者的移動方向(圖9所示的箭頭與使用者的移動方向一致)。長軸的方向用作使用者向前移動的參考方向。橢圓柱體的長軸和短軸的長度與移動速度成比例地改變，以使該長度用作使用者獲得其當前移動速度的參考值。
另外，橢圓柱體的長軸可以朝向使用者的視線方向(如圖9所示的箭頭與使用者的視線方向一致)。
在圖9中，虛線所示的圓表示使用者的位置。如圖所示，使用者的位置可以從橢圓柱體的中心沿使用者的移動方向或視線方向偏移。
此外，除了圓柱體和橢圓柱體的形狀以外，透明對象可以具有如圖1 0和圖11所示的形狀。
在圖11中，示出具有環(huán)形的透明對象。在使用者的位置處描繪虛擬地面，而在使用者周圍的環(huán)形區(qū)域中描繪真實世界的地面。通過將透明對象確定為環(huán)形，使用者能觀看其位置處的圖像，而不感到害怕。
上述實施例中的MR系統(tǒng)是使用者體驗虛擬建筑的內部環(huán)境的系統(tǒng)。然而，該MR系統(tǒng)可以是僅當系統(tǒng)將C G重疊在使用者的腳部周圍之上時，使用者才能體驗其它虛擬世界的系統(tǒng)。
另外，如果透明地面位于與虛擬現(xiàn)實的地面大致相同的平面，則透明地面可以位于任何位置。即，該位置可以根據(jù)來自攝像機的位置和姿勢信息、以及與虛擬現(xiàn)實的地面有關的位置信息來動態(tài)確定。例如，透明地面的位置可被確定為比虛擬現(xiàn)實的地面略微接近視點(eye point)的位置。
另外，可以通過控制透明對象邊緣的阿爾法混合(alphablending)，來增加使透明對象與地面對象之間的界線模糊的處理。
本發(fā)明可以由與可被操作、以實現(xiàn)上述實施例的功能的各種裝置相連接的裝置來實現(xiàn)。本發(fā)明還可以這樣實現(xiàn)將實現(xiàn)上述實施例的功能(即，圖像合成單元103和虛擬現(xiàn)實生成單元106的功能)的軟件程序代碼提供給系統(tǒng)或裝置，并使該系統(tǒng)或裝置的計算機(中央處理單元(CPU)或微處理單元(MPU))根據(jù)所存儲的程序代碼來操作上述各種裝置。
在這種情況下，軟件的程序代碼本身實現(xiàn)上述實施例的功能。因此，程序代碼本身和用于向計算機提供程序代碼的裝置(例如，儲存程序代碼的記錄介質)能實現(xiàn)本發(fā)明。
儲存程序代碼的記錄介質的例子包括軟盤、硬盤、光盤、磁光盤、CD-R0M(光盤只讀存儲器)、磁帶、非易失性存儲卡、以及ROM(只讀存儲器)。
此外，除了通過計算機執(zhí)行所提供的程序代碼來實現(xiàn)上述實施例的功能之外，上述實施例的功能還可以通過與運行在計算機上的O S(操作系統(tǒng))或其它應用軟件協(xié)作的程序代碼來實現(xiàn)。
另外，上述實施例的功能可以由這樣的處理來實現(xiàn)在將所提供的程序存儲到計算機的附加擴展板的存儲器、或與計算機相連的附加擴展單元的存儲器中以后，附加擴展板或附加擴展單元中的C PU執(zhí)行上述實施例的部分或全部功能。
盡管參考典型實施例說明了本發(fā)明，但應當理解，本發(fā)明不局限于所公開的典型實施例。以下權利要求的范圍符合最寬的解釋，以便包含全部修改、等同結構和功能。
權利要求
1.一種信息處理方法，用于生成虛擬現(xiàn)實的圖像，并將該虛擬現(xiàn)實的圖像與真實空間圖像進行合成，以向使用者呈現(xiàn)合成圖像，該信息處理方法包括獲取使用者的位置和姿勢；以及根據(jù)使用者的位置和姿勢、以及虛擬現(xiàn)實的計算機圖形數(shù)據(jù)，來生成對應于使用者的位置和姿勢的合成圖像，以在使用者的腳部處顯示真實空間圖像。
2.根據(jù)權利要求1所述的信息處理方法，其特征在于，進一步包括根據(jù)使用者的位置和姿勢來確定要在使用者的腳部處描繪的透明對象的位置，該透明對象包括在虛擬現(xiàn)實的計算機圖形數(shù)據(jù)中，該透明對象使虛擬現(xiàn)實的圖像透明，以顯示真實空間圖像。
3.根據(jù)權利要求2所述的信息處理方法，其特征在于該虛擬現(xiàn)實是虛擬建筑的內部，該虛擬現(xiàn)實的計算機圖形數(shù)據(jù)包括地面對象，確定該透明對象的位置包括確定該透明對象的位置和姿勢，以使該透明對象與該地面對象位于大致相同的平面上。
4.根據(jù)權利要求2所述的信息處理方法，其特征在于確定該透明對象的位置包括根據(jù)地面對象的垂直位置來確定透明對象的垂直位置。
5.根據(jù)權利要求2所述的信息處理方法，其特征在于通過根據(jù)使用者的平移來平移透明對象，將透明對象設在沿垂直方向直接位于使用者的下面。
6.根據(jù)權利要求2所述的信息處理方法，其特征在于透明對象的尺寸隨使用者的位置的改變而改變。
7.根據(jù)權利要求2所述的信息處理方法，其特征在于透明對象在使用者的前面和后面的尺寸根據(jù)使用者的位置而不同。
8.根據(jù)權利要求1所述的信息處理方法，其特征在于，進一步包括判定使用者的位置是否在預定的區(qū)域中；其中，當判定使用者的位置在預定的區(qū)域中時，生成合成圖像包括生成合成圖像，以在使用者的腳部處顯示真實空間圖像。
9.一種信息處理裝置，用于生成虛擬現(xiàn)實的圖像，并將該虛擬現(xiàn)實的圖像與真實空間圖像進行合成，以向使用者呈現(xiàn)合成圖像，該信息處理裝置包括獲取單元，用來獲取使用者的位置和姿勢；以及生成單元，用來根據(jù)使用者的位置和姿勢、以及虛擬現(xiàn)實的計算機圖形數(shù)據(jù)，來生成對應于使用者的位置和姿勢的合成圖像，以在使用者的腳部處顯示真實空間圖像。
10.根據(jù)權利要求9所述的信息處理裝置，其特征在于，進一步包括確定單元，用來根據(jù)使用者的位置和姿勢來確定要在使用者的腳部處描繪的透明對象的位置，該透明對象包括在虛擬現(xiàn)實的計算機圖形數(shù)據(jù)中，該透明對象使虛擬現(xiàn)實的圖像透明，以顯示真實空間圖像。
11.根據(jù)權利要求10所述的信息處理裝置，其特征在于該虛擬現(xiàn)實是虛擬建筑的內部，該虛擬現(xiàn)實的計算機圖形數(shù)據(jù)包括地面對象，確定單元確定該透明對象的位置和姿勢，以使該透明對象與該地面對象位于大致相同的平面上。
12.根據(jù)權利要求10所述的信息處理裝置，其特征在于確定單元根據(jù)地面對象的垂直位置來確定透明對象的垂直位置。
13.根據(jù)權利要求10所述的信息處理裝置，其特征在于確定單元通過根據(jù)使用者的平移來平移透明對象，將透明對象設在沿垂直方向直接位于使用者的下面。
14.根據(jù)權利要求10所述的信息處理裝置，其特征在于透明對象的尺寸隨使用者的位置的改變而改變。
15.根據(jù)權利要求10所述的信息處理裝置，其特征在于透明對象在使用者的前面和后面的尺寸根據(jù)使用者的位置而不同。
16.根據(jù)權利要求9所述的信息處理裝置，其特征在于，進一步包括判定單元，用來判定使用者的位置是否在預定的區(qū)域中；其中，當判定單元判定使用者的位置在預定的區(qū)域中時，生成單元生成合成圖像，以在使用者的腳部處顯示真實空間圖像。
全文摘要
本發(fā)明提供一種用于呈現(xiàn)與虛擬圖像合成的圖像的信息處理裝置及方法，用于避免使用者因CG掩蓋真實空間導致其腳部周圍的區(qū)域不可見而在虛擬空間中感到害怕。當生成虛擬現(xiàn)實的圖像并將該虛擬現(xiàn)實的圖像與真實空間圖像進行合成，以向使用者呈現(xiàn)該合成圖像時，該信息處理方法和裝置獲取使用者的位置和姿勢。當使用者在虛擬建筑的內部時，該信息處理方法和裝置生成虛擬建筑內部的對象和透明對象，并將所生成的對象與真實空間圖像進行合成。通過顯示合成圖像，在使用者的腳部處顯示真實空間的圖像。
文檔編號G06T1/00GK1746822SQ20051009873
公開日2006年3月15日 申請日期2005年9月7日 優(yōu)先權日2004年9月7日
發(fā)明者松井太一 申請人:佳能株式會社