圖像處理裝置及圖像處理方法
【專利摘要】本發(fā)明提供一種圖像處理裝置及圖像處理方法。在第一模式被設(shè)置為所述圖像處理裝置的操作模式時(shí)，生成包含從具有用戶設(shè)置的位置及姿勢的第一視點(diǎn)看到的虛擬對象的虛擬空間的圖像并輸出。在第二模式被設(shè)置為所述圖像處理裝置的操作模式時(shí)，生成從基于所述第一視點(diǎn)的信息以及頭戴式顯示設(shè)備的位置而確定的第二視點(diǎn)看到的虛擬空間的圖像并輸出。
【專利說明】
圖像處理裝置及圖像處理方法

【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及圖像處理裝置及圖像處理方法。

【背景技術(shù)】
[0002]近來，對以實(shí)際空間與虛擬空間的無縫結(jié)合為目的的MR(混合現(xiàn)實(shí)，MixedReality)的研究已在積極進(jìn)行。呈現(xiàn)混合現(xiàn)實(shí)的圖像顯示設(shè)備例如為具有以下結(jié)構(gòu)的設(shè)備。更具體地，該設(shè)備顯示通過在由諸如攝像機(jī)的圖像感測設(shè)備感測的實(shí)際空間中的圖像上、疊加并繪制根據(jù)該圖像感測設(shè)備的位置和姿勢(orientat1n)生成的虛擬空間中的圖像(例如，通過計(jì)算機(jī)繪圖繪制的虛擬對象或字符信息)而獲得的圖像。作為這種設(shè)備，例如，可使用HMD (頭戴式顯示器，Head Mounted Display)。
[0003]該圖像顯示設(shè)備還可以通過在操作者頭戴的光學(xué)透視式顯示器上顯示根據(jù)操作者的視點(diǎn)的位置和姿勢生成的虛擬空間圖像的光學(xué)透視方法來實(shí)現(xiàn)。
[0004]另一方面，虛擬對象一般通過利用商用CAD(計(jì)算機(jī)輔助設(shè)計(jì))或3DCG軟件(三維計(jì)算機(jī)繪圖軟件)來形成(WORKS CORPORAT1N ed.，〃CG&Image MechanismEncyclopedia", issued December31, 2003, pp.98-101)。此外，還公開了通過利用 3DCG 軟件來提供虛擬現(xiàn)實(shí)空間或混合現(xiàn)實(shí)空間的體驗(yàn)的方法(日本專利特開平2007-299062號公報(bào))。通過組合這些技術(shù)，操作者可以通過利用CAD和3DCG軟件來體驗(yàn)虛擬現(xiàn)實(shí)空間和混合現(xiàn)實(shí)空間的組合。
[0005]遺憾的是，傳統(tǒng)技術(shù)具有以下問題。即，當(dāng)操作者在混合現(xiàn)實(shí)空間中確認(rèn)該操作者已通過CG軟件確認(rèn)過的虛擬對象時(shí)，因?yàn)椴僮髡咄ㄟ^CG軟件最后確認(rèn)對象的視點(diǎn)與混合現(xiàn)實(shí)空間的視點(diǎn)完全不同，所以操作者難以確定虛擬對象位于何處。


【發(fā)明內(nèi)容】

[0006]考慮到上述問題而作出本發(fā)明，其提供了一種當(dāng)切換用于生成虛擬空間圖像的視點(diǎn)時(shí)使所述切換前后的視場變化最小的技術(shù)。
[0007]根據(jù)本發(fā)明的第一方面，提供一種圖像處理裝置，其包括:獲取單元，其被構(gòu)造為獲取頭戴式顯示設(shè)備的位置及姿勢；第一生成單元，其被構(gòu)造為在第一模式被設(shè)置為所述圖像處理裝置的操作模式時(shí)，生成包含從具有用戶設(shè)置的位置及姿勢的第一視點(diǎn)看到的虛擬對象的虛擬空間的圖像并輸出；以及第二生成單元，其被構(gòu)造為在第二模式被設(shè)置為所述圖像處理裝置的操作模式時(shí)，生成從基于所述第一視點(diǎn)的信息以及由所述獲取單元獲取的位置而確定的第二視點(diǎn)看到的虛擬空間的圖像并輸出。
[0008]根據(jù)本發(fā)明的第二方面，提供一種由圖像處理裝置進(jìn)行的圖像處理方法，其中該圖像處理方法包括以下步驟:獲取頭戴式顯示設(shè)備的位置及姿勢；在第一模式被設(shè)置為所述圖像處理裝置的操作模式時(shí)，生成包含從具有用戶設(shè)置的位置及姿勢的第一視點(diǎn)看到的虛擬對象的虛擬空間的圖像并輸出；以及在第二模式被設(shè)置為所述圖像處理裝置的操作模式時(shí)，生成從基于所述第一視點(diǎn)的信息以及所獲取的位置而確定的第二視點(diǎn)看到的虛擬空間的圖像并輸出。
[0009]根據(jù)以下參照附圖對示例性實(shí)施例的描述，本發(fā)明的其他特征將變得清楚。

【專利附圖】

【附圖說明】
[0010]圖1是示出系統(tǒng)的功能結(jié)構(gòu)示例的框圖；
[0011]圖2是示出計(jì)算機(jī)的硬件結(jié)構(gòu)示例的框圖；
[0012]圖3是要通過圖像處理裝置1000進(jìn)行的處理的流程圖；
[0013]圖4A到圖4D是示出虛擬空間的圖；
[0014]圖5A到圖5C是示出虛擬空間圖像的圖；
[0015]圖6是要通過圖像處理裝置1000進(jìn)行的處理的流程圖；
[0016]圖7A到圖7D是示出虛擬空間的圖；
[0017]圖8是示出系統(tǒng)的功能結(jié)構(gòu)示例的框圖；以及
[0018]圖9是要通過圖像處理裝置8000進(jìn)行的處理的流程圖。

【具體實(shí)施方式】
[0019]以下將參照【專利附圖】

【附圖說明】本發(fā)明的示例性實(shí)施例。注意，以下要說明的各實(shí)施例表示當(dāng)實(shí)際執(zhí)行本發(fā)明時(shí)的示例，并且是在權(quán)利要求的范圍內(nèi)描述的結(jié)構(gòu)的一個(gè)實(shí)際實(shí)施例。
[0020][第一實(shí)施例]
[0021]首先，將參照圖1所示的框圖來說明根據(jù)該實(shí)施例的系統(tǒng)的功能結(jié)構(gòu)示例。如圖1所示，根據(jù)該實(shí)施例的系統(tǒng)包括磁場生成設(shè)備1200、頭戴式顯示器(下文稱為HMD) 1100、圖像處理裝置1000、輸入單元1300、以及顯示單元1400。
[0022]首先將說明HMD1100。HMD1100包括當(dāng)HMD1100被戴到用戶頭上時(shí)在用戶眼前提供圖像的顯示設(shè)備1110，以及用于測量自身位置和姿勢的磁接收器1120。
[0023]在顯示設(shè)備1110上附裝顯示屏。所述顯示屏以使得當(dāng)用戶將顯示設(shè)備1110戴到頭上時(shí)所述顯示屏位于用戶的左右眼前的方式被附裝到顯示設(shè)備1110。顯示屏顯示來自圖像處理裝置1000的輸出圖像。因此，由圖像處理裝置1000生成的圖像被提供到用戶眼前。
[0024]磁場生成設(shè)備1200是用于在其周圍生成磁場的設(shè)備。磁接收器1120在由磁場生成設(shè)備1200生成的磁場中檢測與磁接收器1120的位置和姿勢對應(yīng)的磁性變化，并將表示檢測結(jié)果的信號輸出到圖像處理裝置1000。HMD1100與圖像處理裝置1000之間的通信可以為有線通信或無線通信。
[0025]接著，將說明圖像處理裝置1000。當(dāng)接收到來自磁接收器1120的信號時(shí)，位置及姿勢測量單元1010基于接收的信號來獲得磁接收器1120在世界坐標(biāo)系中的位置和姿勢。世界坐標(biāo)系是以實(shí)際空間中的預(yù)定位置為原點(diǎn)、在該原點(diǎn)的位置相互垂直的三個(gè)軸為X軸、y軸和z軸的坐標(biāo)系。
[0026]然后，位置及姿勢測量單元1010將“磁接收器1120與顯示設(shè)備1110的左眼顯示屏之間的位置及姿勢關(guān)系”添加到世界坐標(biāo)系中的磁接收器1120的位置和姿勢，由此獲得世界坐標(biāo)系中的左眼視點(diǎn)的位置和姿勢。接著，位置及姿勢測量單元1010將獲得的世界坐標(biāo)系中的左眼視點(diǎn)的位置和姿勢存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中。
[0027]另外，位置及姿勢測量單元1010將“磁接收器1120與顯示設(shè)備1110的右眼顯示屏之間的位置及姿勢關(guān)系”添加到世界坐標(biāo)系中的磁接收器1120的位置和姿勢，由此獲得世界坐標(biāo)系中的右眼視點(diǎn)的位置和姿勢。然后，位置及姿勢測量單元1010將獲得的世界坐標(biāo)系中的右眼視點(diǎn)的位置和姿勢存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中。
[0028]“磁接收器1120與顯示設(shè)備1110的左眼顯示屏之間的位置及姿勢關(guān)系”以及“磁接收器1120與顯示設(shè)備1110的右眼顯示屏之間的位置及姿勢關(guān)系”為預(yù)先測量的已知值。這些已知值被預(yù)先存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中。
[0029]在如上所述的本實(shí)施例中，通過利用磁傳感器來測量視點(diǎn)(右眼顯示屏或左眼顯示屏)的位置和姿勢。然而，作為測量位置和姿勢的方法，可獲得不同方法，并且可以采用任意的方法。例如，能夠通過利用紅外傳感器、超聲傳感器或光學(xué)傳感器來測量位置和姿勢。還能夠由通過附裝到顯示設(shè)備1110的圖像感測設(shè)備感測的圖像來獲得該圖像感測設(shè)備的位置和姿勢(即，顯示設(shè)備1110的位置和姿勢)。另外，還可以進(jìn)行機(jī)械測量。
[0030]注意，除了視點(diǎn)(右眼顯示屏和左眼顯示屏)的位置和姿勢外，生成要在右眼顯示屏上顯示的圖像的處理與生成要在左眼顯示屏上顯示的圖像的處理基本相同。因此，在以下描述中，將說明向右眼顯示屏和左眼顯示屏的一者、即向一個(gè)視點(diǎn)(一個(gè)顯示屏)提供圖像的處理，但是，因?yàn)獒槍σ粋€(gè)視點(diǎn)的處理與針對另一視點(diǎn)的處理相同，將省略針對另一視點(diǎn)的處理的說明。
[0031]位置及姿勢輸入單元1020將用戶通過操作輸入單元1300輸入的視點(diǎn)的位置和姿勢存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中。如稍后將詳細(xì)描述的，由用戶操作輸入單元1300輸入且被位置及姿勢輸入單元1020存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中的視點(diǎn)的位置和姿勢被用來生成應(yīng)用模式下的虛擬空間圖像，并且是針對該應(yīng)用模式的視點(diǎn)的位置和姿勢。
[0032]模式設(shè)置單元1060將圖像處理裝置1000的操作模式設(shè)置為用戶通過操作輸入單元1300輸入的模式(VR模式和應(yīng)用模式的一者)，并將表示所設(shè)置模式的信息存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中。換言之，用戶輸入的模式是選擇視點(diǎn)的位置和姿勢作為要用來生成虛擬空間圖像的視點(diǎn)的位置和姿勢的操作。
[0033]當(dāng)應(yīng)用模式被設(shè)置時(shí)，通過位置及姿勢輸入單元1020存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中的視點(diǎn)的位置及姿勢(即由用戶指定的視點(diǎn)的位置及姿勢)用作要用于生成虛擬空間圖像的視點(diǎn)的位置及姿勢。
[0034]當(dāng)VR模式被設(shè)置時(shí)，由通過位置及姿勢輸入單元1020存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中的視點(diǎn)的位置及姿勢、以及通過位置及姿勢測量單元1010存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中的視點(diǎn)的位置及姿勢，來獲得新的位置及姿勢。這樣獲得的新位置及新姿勢被用作要用于生成虛擬空間圖像的視點(diǎn)的位置及姿勢。
[0035]位置及姿勢計(jì)算單元1030在VR模式被設(shè)置時(shí)操作，并進(jìn)行計(jì)算要用于在VR模式下生成虛擬空間圖像的視點(diǎn)的位置及姿勢(即，針對VR模式的視點(diǎn)的位置及姿勢)的處理。稍后將詳細(xì)說明位置及姿勢計(jì)算單元1030的操作的詳情。然后，位置及姿勢計(jì)算單元1030將計(jì)算出的視點(diǎn)的位置及姿勢存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中。
[0036]虛擬空間生成單元1070通過利用數(shù)據(jù)存儲(chǔ)單元1040中存儲(chǔ)的虛擬空間數(shù)據(jù)來構(gòu)造虛擬空間。虛擬空間數(shù)據(jù)包含屬于構(gòu)造虛擬空間的對象的數(shù)據(jù)，以及屬于用于照亮虛擬空間的光源的數(shù)據(jù)。
[0037]圖像生成單元1050在VR模式被設(shè)置時(shí)從數(shù)據(jù)存儲(chǔ)單元1040中選擇針對VR模式的視點(diǎn)的位置及姿勢，并且在應(yīng)用模式被設(shè)置時(shí)從數(shù)據(jù)存儲(chǔ)單元1040中選擇針對應(yīng)用模式的視點(diǎn)的位置及姿勢。通過利用從數(shù)據(jù)存儲(chǔ)單元1040中選擇的視點(diǎn)的位置及姿勢，圖像生成單元1050生成從通過虛擬空間生成單元1070構(gòu)造的虛擬空間的視點(diǎn)觀看的圖像。注意，生成從具有預(yù)定位置及姿勢的視點(diǎn)觀看的虛擬空間圖像的處理為已知技術(shù)，從而其詳細(xì)描述將被省略。然后，圖像生成單元1050將生成的虛擬空間圖像發(fā)送到顯示設(shè)備1110(顯示屏)。注意，除了顯示設(shè)備1110外，圖像生成單元1050還可以將生成的虛擬空間圖像發(fā)送到顯示單元1400。還可能根據(jù)VR模式和應(yīng)用模式的何者被選擇將生成的虛擬空間圖像發(fā)送到顯示設(shè)備1110或顯示單元1400。另外，虛擬空間圖像的輸出目的地不限于上述對象，還可以是例如諸如平板電腦或智能電話的顯示終端。
[0038]如上所述，數(shù)據(jù)存儲(chǔ)單元1040是要用于存儲(chǔ)計(jì)算出的數(shù)據(jù)以及獲取的數(shù)據(jù)以使得所述數(shù)據(jù)可讀取、并將預(yù)定義的數(shù)據(jù)存儲(chǔ)為已知信息的存儲(chǔ)器。數(shù)據(jù)存儲(chǔ)單元1040由RAM或硬盤驅(qū)動(dòng)器形成。
[0039]輸入單元1300包括例如鼠標(biāo)、鍵盤及觸摸屏畫面。用戶可以通過操作輸入單元1300來輸入如之前描述的各種指令、數(shù)據(jù)等。注意，輸入單元1300可以為任意設(shè)備，只要各種指令和數(shù)據(jù)能夠如上所述被輸入即可。例如，輸入單元1300可以為識別用戶手勢的設(shè)備。在這種情況下，對應(yīng)于所識別手勢的指令或數(shù)據(jù)被輸入。當(dāng)然還能夠通過組合兩個(gè)或更多個(gè)設(shè)備來形成輸入單元1300。
[0040]接著，將參照示出處理的流程圖的圖3來說明為了生成和輸出虛擬空間圖像而要由圖像處理裝置1000進(jìn)行的處理。首先，在步驟S3000中，模式設(shè)置單元1060將要在以下處理中使用的標(biāo)記的值初始化為O。假設(shè)在數(shù)據(jù)存儲(chǔ)單元1040中管理該標(biāo)記值。
[0041]然后，在步驟S3010中，模式設(shè)置單元1060確定是否從輸入單元1300接收到了用于設(shè)置模式的指令。如果確定接收到了用于設(shè)置模式的指令，則處理進(jìn)行到步驟S3100。如果沒有接收到用于設(shè)置模式的指令，則處理進(jìn)行到步驟S3020。
[0042]在步驟S3020中，模式設(shè)置單元1060確定圖像處理裝置1000的當(dāng)前操作模式是VR模式還是應(yīng)用模式。如果確定操作模式是VR模式，則處理進(jìn)行到步驟S3220。如果確定操作模式是應(yīng)用模式，則處理進(jìn)行到步驟S3030。
[0043]在步驟S3030中，圖像生成單元1050從數(shù)據(jù)存儲(chǔ)單元1040中讀出由位置及姿勢輸入單元1020存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中的針對應(yīng)用模式的視點(diǎn)的位置及姿勢。
[0044]在步驟S3040中，虛擬空間生成單元1070讀出數(shù)據(jù)存儲(chǔ)單元1040中存儲(chǔ)的虛擬空間數(shù)據(jù)，并且通過利用所讀出的數(shù)據(jù)來構(gòu)造虛擬空間。
[0045]在步驟S3050中，圖像生成單元1050生成當(dāng)從如下視點(diǎn)觀看在步驟S3040中構(gòu)造的虛擬空間時(shí)獲得的圖像，所述視點(diǎn)具有在步驟S3030中從數(shù)據(jù)存儲(chǔ)單元1040讀出的位置及姿勢。然后，圖像生成單元1050將生成的虛擬空間圖像發(fā)送到顯示設(shè)備1110或顯示單元 1400。
[0046]另一方面，在步驟S3100中，模式設(shè)置單元1060將表示從輸入單元1300指定的模式的信息存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中，并且確定該模式是VR模式還是應(yīng)用模式。如果確定該模式是VR模式，則處理進(jìn)行到步驟S3200。如果確定該模式是應(yīng)用模式，則處理進(jìn)行到步驟S3110。在步驟S3110中，模式設(shè)置單元1060將圖像處理裝置1000的操作模式設(shè)置為應(yīng)用模式。然后，進(jìn)行從步驟S3030起的處理。
[0047]另一方面，在步驟S3200中，模式設(shè)置單元1060將圖像處理裝置1000的操作模式設(shè)置為VR模式。在步驟S3210中，模式設(shè)置單元1060將標(biāo)記值設(shè)置為I。
[0048]在步驟S3220中，位置及姿勢測量單元1010基于在該階段從磁接收器1120接收的信號來進(jìn)行上述處理，由此獲得視點(diǎn)的位置及姿勢。在步驟S3230中，模式設(shè)置單元1060確定標(biāo)記值是I還是O。如果確定標(biāo)記值為1，則處理進(jìn)行到步驟S3300。如果確定標(biāo)記值為0，則處理進(jìn)行到步驟S3240。
[0049]在步驟S3300中，位置及姿勢測量單元1010將在步驟S3220中獲得的視點(diǎn)的位置及姿勢作為基準(zhǔn)位置及姿勢存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中，從而在以下處理中用它們作為基準(zhǔn)位置及姿勢。然后，在步驟S3310中，模式設(shè)置單元1060將標(biāo)記值設(shè)置為O。
[0050]在步驟S3240中，位置及姿勢計(jì)算單元1030通過執(zhí)行以下要說明的處理來獲得針對VR模式的視點(diǎn)的位置及姿勢。將通過采用實(shí)際示例來說明在步驟S3240中獲得針對VR模式的視點(diǎn)的位置及姿勢的處理。
[0051]圖4A及圖4C是各自示出通過從與X-Y平面垂直的方向(與該圖面垂直的方向?yàn)閆軸方向)沿Z軸俯瞰平面來觀察世界坐標(biāo)系中的X-Y平面而獲得的虛擬空間的圖。另夕卜，圖4B及圖4D是各自示出通過從與X-Z平面垂直的方向(與該圖面垂直的方向?yàn)閅軸方向)沿Y軸俯瞰平面來觀察世界坐標(biāo)系中的x-z平面而獲得的虛擬空間的圖。
[0052]在如圖4A及圖4B所示的應(yīng)用模式中，設(shè)置通過輸入單元1300指定虛擬空間中的位置及姿勢的視點(diǎn)4110,與視點(diǎn)4110對應(yīng)的視見體(viewing frustum)4120的內(nèi)部空間(包括虛擬對象4500)的圖像被生成為虛擬空間圖像。視點(diǎn)4110是所謂的“應(yīng)用模式視點(diǎn)”。
[0053]假設(shè)在應(yīng)用模式下的視點(diǎn)的位置及姿勢如圖4A和圖4B中所示的狀態(tài)下、圖像處理裝置1000的操作模式被切換至VR模式。還假設(shè)當(dāng)操作模式被切換至VR模式時(shí)，用于生成虛擬空間圖像4120的視點(diǎn)被切換至具有通過位置及姿勢測量單元1010獲得的位置及姿勢的視點(diǎn)4210。圖4C及圖4D中的視點(diǎn)4210是位置及姿勢通過位置及姿勢測量單元1010測量的視點(diǎn)。在這種狀態(tài)下，應(yīng)用模式視點(diǎn)4110的視場(4120)包含虛擬對象4500，但是視點(diǎn)4210的視場(4220)不包含虛擬對象4500。
[0054]前一段中描述的情形不盡如人意。因此，在實(shí)施例中，位置及姿勢計(jì)算單元1030由應(yīng)用模式視點(diǎn)4110、對應(yīng)于由位置及姿勢測量單元1010測量的位置的當(dāng)前視點(diǎn)4210、以及作為剛好在操作模式被切換到VR模式后確定的視點(diǎn)的基準(zhǔn)視點(diǎn)，來確定在模式從應(yīng)用模式改變至VR模式后的某一時(shí)間的VR模式視點(diǎn)4310 (具有包含虛擬對象4500的視場(4320)的視點(diǎn))。
[0055]假設(shè)數(shù)據(jù)存儲(chǔ)單元1040中存儲(chǔ)的最新應(yīng)用模式視點(diǎn)4110 (就在操作模式被切換到VR模式之前)的位置為(x0，y0，z0)。這是用戶在切換模式時(shí)所觀看到的。還假設(shè)在步驟S3300中存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中的基準(zhǔn)視點(diǎn)位置(基準(zhǔn)位置及姿勢的位置分量)為(xb，yb，zb)，其為與VR視點(diǎn)4220對應(yīng)的虛擬空間中的位置，其中如果顯示是基于測量的HMDl110的位置，則在模式被改變后將立即示出該VR視點(diǎn)4220。另外，假設(shè)如果顯示是基于測量的HMD1110的位置則在當(dāng)前時(shí)間示出的、步驟S3220中獲得的當(dāng)前視點(diǎn)4210的位置為(xl, yl, zl)。
[0056]在該狀態(tài)下，VR模式視點(diǎn)4310的位置(xv, yv, zv)通過(xv, yv, zv) = (x0+(xl_xb),yO+(yl-yb),zO+(zl-zb))來獲得。換言之，當(dāng)前視圖=應(yīng)用模式中的視圖+由于檢測到的HMD的位置變化引起的視圖變化。
[0057]在步驟S3240中，位置及姿勢計(jì)算單元1030通過進(jìn)行像這樣的計(jì)算來獲得VR模式視點(diǎn)的位置。作為VR模式視點(diǎn)的姿勢，可以采用在步驟S3220中獲得的視點(diǎn)的姿勢(偏航、滾動(dòng)及俯仰角度)，或者采用基于該姿勢獲得的新姿勢。位置及姿勢計(jì)算單元1030將如上所述獲得的VR模式視點(diǎn)的位置及姿勢存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中。
[0058]在步驟S3250中，圖像生成單元1050從數(shù)據(jù)存儲(chǔ)單元1040中讀出在步驟S3240中存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中的VR模式視點(diǎn)的位置和姿勢。
[0059]然后，在步驟S3260中，虛擬空間生成單元1070讀出數(shù)據(jù)存儲(chǔ)單元1040中存儲(chǔ)的虛擬空間數(shù)據(jù)，并且通過利用讀出的數(shù)據(jù)構(gòu)造虛擬空間。
[0060]之后，在步驟S3270中，圖像生成單元1050生成當(dāng)從具有在步驟S3250中從數(shù)據(jù)存儲(chǔ)單元1040讀出的位置和姿勢的視點(diǎn)，觀看在步驟S3260中構(gòu)造的虛擬空間時(shí)獲得的圖像。然后圖像生成單元1050將生成的虛擬空間圖像發(fā)送到顯示設(shè)備1110或顯示單元1400。
[0061]圖5A示出在圖4A和圖4B中所示的狀態(tài)下基于視點(diǎn)4110生成的虛擬空間圖像的示例。由于視點(diǎn)4110的視場包含虛擬對象4500，所以基于視點(diǎn)4110的虛擬空間圖像包含虛擬對象4500，如圖5A中所示。
[0062]如果在操作模式切換到VR模式后生成基于具有通過位置及姿勢測量單元1010獲得的位置及姿勢的視點(diǎn)4210的虛擬空間圖像(圖5B)，則視點(diǎn)4210的視場不包含虛擬對象4500，從而生成的圖像不包含虛擬對象4500。然而，在本實(shí)施例中，與應(yīng)用模式視點(diǎn)之間的位置關(guān)系等于基準(zhǔn)位置與通過位置及姿勢測量單元1010獲得的位置之間的位置關(guān)系的視點(diǎn)被用作VR模式視點(diǎn)，從而圖像包含虛擬對象4500，如圖5C所示。
[0063]返回圖3，如果圖像處理裝置1000(控制器(未示出))檢測到滿足處理的終止條件，例如，檢測到用戶通過利用輸入單元1300輸入了用于終止處理的指令，則在步驟S3060后終止處理。另一方面，如果不滿足處理終止條件，則處理從步驟S3060返回到步驟S3010，并從步驟S3010重復(fù)處理。
[0064]如上所述，根據(jù)本實(shí)施例的圖像處理裝置具有獲取在應(yīng)用中由用戶設(shè)置的視點(diǎn)的位置及姿勢(第一獲取)，并且獲取頭戴式顯示器的位置及姿勢(第二獲取)的布置。
[0065]當(dāng)?shù)谝荒Ｊ奖辉O(shè)置為圖像處理裝置的操作模式時(shí)，生成從具有在第一獲取中獲取的位置及姿勢的視點(diǎn)觀看的虛擬空間的圖像并進(jìn)行輸出(第一生成)。
[0066]如果檢測到圖像處理裝置的操作模式被切換到與第一模式不同的第二模式，則在所述檢測時(shí)通過第二獲取獲取的位置作為基準(zhǔn)位置被記錄在存儲(chǔ)器中。當(dāng)?shù)诙Ｊ奖辉O(shè)置時(shí)，生成從如下視點(diǎn)觀看的虛擬空間的圖像并進(jìn)行輸出(第二生成)，該視點(diǎn)以與通過第一獲取而獲取的位置的位置關(guān)系、等于基準(zhǔn)位置與在稍后時(shí)間通過第二獲取而獲取的位置在實(shí)際空間中的位置關(guān)系的位置、作為虛擬空間中的視點(diǎn)位置。
[0067][第二實(shí)施例]
[0068]在本實(shí)施例中，根據(jù)應(yīng)用模式視點(diǎn)的位置及姿勢、緊接在操作模式被切換到VR模式后通過位置及姿勢測量單元1010獲得的視點(diǎn)的位置及姿勢、以及在操作模式被切換到VR模式后通過位置及姿勢測量單元1010獲得的視點(diǎn)的位置及姿勢，來獲得VR模式視點(diǎn)的位置及姿勢。在以下描述中，僅將說明與第一實(shí)施例的不同，并且不特別指出的項(xiàng)目與第一實(shí)施例中相同。
[0069]要通過根據(jù)本實(shí)施例的圖像處理裝置1000進(jìn)行的為了生成和輸出虛擬空間圖像的處理將參照示出該處理的流程圖的圖6來說明。在圖6中，與圖3中相同的步驟編號表示進(jìn)行相同處理的處理步驟，并且對這些步驟中的處理的說明將被省略。
[0070]在步驟S6020中，位置及姿勢計(jì)算單元1030通過執(zhí)行以下要說明的處理來獲得VR模式視點(diǎn)的位置及姿勢。將參照圖7A到圖7D來說明步驟S6020中的處理。在圖7A到圖7D中，與圖4A到圖4D中相同的附圖標(biāo)記表示相同的部分，并且其說明將被省略。
[0071]圖7A和圖7C是各自示出通過從與X-Y平面垂直的方向(與圖面垂直的方向是Z軸方向)沿Z軸俯瞰平面來觀察世界坐標(biāo)系中的X-Y平面而獲得的虛擬空間的圖。另外，圖7B和圖7D是各自示出通過從與X-Z平面垂直的方向(與圖面垂直的方向是Y軸方向)沿Y軸俯瞰平面來觀察世界坐標(biāo)系中的x-z平面而獲得的虛擬空間的圖。
[0072]視點(diǎn)7110是通過位置及姿勢測量單元1010獲得位置及姿勢的視點(diǎn)。附圖標(biāo)記7120代表表示視點(diǎn)7110的視場的視見體。在本實(shí)施例中，根據(jù)應(yīng)用模式視點(diǎn)4110、通過位置及姿勢測量單元1010測量的視點(diǎn)7110、以及緊接在操作模式被切換到VR模式后的視點(diǎn)來確定VR模式視點(diǎn)7140。
[0073]假設(shè)數(shù)據(jù)存儲(chǔ)單元1040中存儲(chǔ)的最新應(yīng)用模式視點(diǎn)4110(緊接在操作模式被切換到VR模式前)的位置為(x0, yO, z0)，并且姿勢(偏航、滾動(dòng)及俯仰角度)為(Y0, R0, PO)。這是切換模式時(shí)用戶所見。還假設(shè)步驟S3300中存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中的基準(zhǔn)視點(diǎn)位置(基準(zhǔn)位置及姿勢的位置分量)為(xb，yb，zb)，并且視點(diǎn)姿勢(基準(zhǔn)位置及姿勢的姿勢分量)為(Yb，Rb，Pb)。這是與VR視點(diǎn)7120對應(yīng)的虛擬空間中的位置及姿勢。另外，假設(shè)在步驟S3220中獲得的當(dāng)前視點(diǎn)7110的位置為(xl，yl, zl)，姿勢為(Yl，Rl, Pl)，這是如果顯示是基于測量的HMD1110的位置則將示出的位置及姿勢。
[0074]在所述條件下,VR模式視點(diǎn)7140的位置(xv, yv, zv)通過(xv, yv, zv) = (x0+(xl-xb), yO+(yl_yb), zO+(zl_zb))來獲得。另外，VR 模式視點(diǎn) 7140 的姿勢(Yv, Rv, Pv)通過(Yv, Rv, Pv) = (Yl, RO+(Rl-Rb), Pl)來獲得。
[0075]位置及姿勢計(jì)算單元1030將如上所述獲得的VR模式視點(diǎn)的位置及姿勢存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中。然后，進(jìn)行從步驟S3250起的處理。
[0076]注意，通過利用在步驟S3300中存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中的姿勢以及應(yīng)用模式視點(diǎn)的姿勢來校正在步驟S3220中獲得的姿勢來計(jì)算校正后的姿勢(VR模式視點(diǎn)的姿勢)的方法并不限于上述方法。
[0077][第三實(shí)施例]
[0078]通過假設(shè)顯示設(shè)備1110是具有用于顯示虛擬空間圖像的顯示屏的虛擬現(xiàn)實(shí)顯示設(shè)備(virtual reality display device) 1110來說明了上述實(shí)施例。然而,顯示設(shè)備1110可以是混合現(xiàn)實(shí)顯示設(shè)備1110。顯示設(shè)備1110可以是光學(xué)透視式顯示設(shè)備。在這種情況下，頭上戴有該顯示設(shè)備1110的用戶可以觀察虛擬空間圖像被疊加在通過該顯示屏看到的實(shí)際空間上的狀態(tài)。
[0079]另外，顯示設(shè)備1110可以是包括圖像感測設(shè)備的所謂的視頻透視式顯示設(shè)備，并且顯示通過將由圖像感測設(shè)備感測的實(shí)際空間圖像與虛擬空間圖像合成而獲得的合成圖像(混合現(xiàn)實(shí)空間的圖像)。
[0080]在本實(shí)施例中，將說明利用視頻透視式顯示設(shè)備替代圖1中所示的顯示設(shè)備1110的布置。將參照圖8中所示的框圖來說明根據(jù)本實(shí)施例的系統(tǒng)的功能結(jié)構(gòu)示例。在圖8中，與圖1中的相同的附圖標(biāo)記代表相同的功能單元，并將省略其說明。在以下描述中，通過利用來自磁接收器1120的測量結(jié)果來生成虛擬空間圖像的模式將被稱為MR模式。
[0081]頭戴式顯示器8100包括磁接收器1120以及視頻透視式顯示設(shè)備8010。
[0082]顯示設(shè)備8010包括:用于從頭戴顯示設(shè)備8010的用戶的右眼位置感測實(shí)際空間運(yùn)動(dòng)圖像的圖像感測設(shè)備8011a，以及用于從左眼位置感測實(shí)際空間運(yùn)動(dòng)圖像的圖像感測設(shè)備8011b。這些圖像感測設(shè)備順序地向圖像處理裝置8000發(fā)送感測的各幀的實(shí)際空間圖像。與顯示設(shè)備1110 —樣，顯示設(shè)備8010還包括用于在用戶右眼前呈現(xiàn)圖像的顯示屏，以及用于在用戶左眼前呈現(xiàn)圖像的顯示屏。
[0083]圖像處理裝置8000的圖像獲取單元8020獲取從圖像感測設(shè)備發(fā)送的實(shí)際空間圖像(右眼實(shí)際空間圖像以及左眼實(shí)際空間圖像)，并將獲取的實(shí)際空間圖像存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中。
[0084]在本實(shí)施例中，應(yīng)當(dāng)注意，通過位置及姿勢測量單元1010獲得的視點(diǎn)的位置及姿勢為圖像感測設(shè)備8011a和8011b的各個(gè)的位置及姿勢。各種方法可應(yīng)用為基于來自磁接收器1120的信號或者通過利用另一方法來獲得圖像感測設(shè)備8011a和8011b的位置及姿勢的方法。
[0085]還注意，生成要在右眼顯示屏上顯示的圖像的處理以及生成要在左眼顯示屏上顯示的圖像的處理除了視點(diǎn)(圖像感測設(shè)備8011a和8011b)的位置及姿勢之外基本相同。因此，在以下描述中，將說明向右眼顯示屏及左眼顯示屏的一者、即向一個(gè)視點(diǎn)(一個(gè)顯示屏)提供圖像的處理，而將省略針對另一視點(diǎn)的處理的說明，因?yàn)獒槍σ粋€(gè)視點(diǎn)的處理與針對另一視點(diǎn)的處理相同。
[0086]圖像生成單元8030以與圖像生成單元1050中相同的方式生成虛擬空間圖像。當(dāng)MR模式被設(shè)置為圖像處理裝置8000的操作模式時(shí)，圖像生成單元8030通過將右眼實(shí)際空間圖像與右眼虛擬空間圖像合成來生成合成圖像，以及通過將左眼實(shí)際空間圖像與左眼虛擬空間圖像合成來生成合成圖像。可以通過利用對應(yīng)于右眼及左眼的圖像感測設(shè)備(圖像感測設(shè)備8011a和8011b)的位置及姿勢，來生成對應(yīng)于右眼及左眼的虛擬空間圖像?？梢酝ㄟ^在諸如數(shù)據(jù)存儲(chǔ)單元1040的存儲(chǔ)器上描繪實(shí)際空間圖像并在該實(shí)際空間圖像上疊加虛擬空間圖像來在該存儲(chǔ)器上生成合成圖像。
[0087]然后，圖像生成單元8030將右眼合成圖像(右眼實(shí)際空間圖像與右眼虛擬空間圖像的合成圖像)發(fā)送到右眼顯示屏。另外，圖像生成單元8030將左眼合成圖像(左眼實(shí)際空間圖像與左眼虛擬空間圖像的合成圖像)發(fā)送到左眼顯示屏。
[0088]另一方面，在應(yīng)用模式中，圖像生成單元8030不生成任何合成圖像，并將生成的虛擬空間圖像發(fā)送到顯示單元1400。在該步驟中，虛擬空間生成單元1070還由諸如景深的信息來生成實(shí)際空間數(shù)據(jù)。
[0089]對于要由根據(jù)本實(shí)施例的圖像處理裝置8000進(jìn)行的處理，將參照示出該處理的流程圖的圖9來說明。在圖9中，與圖3及圖6中相同的步驟編號表示進(jìn)行相同處理的處理步驟，并且將省略對這些步驟中的處理的說明。
[0090]在步驟S3200中，模式設(shè)置單元1060設(shè)置MR模式。在步驟S9010中，圖像獲取單元8020獲取實(shí)際空間圖像，并將獲取的實(shí)際空間圖像存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中。
[0091]在步驟S9020中，模式設(shè)置單元1060通過參照數(shù)據(jù)存儲(chǔ)單元1040中存儲(chǔ)的表示圖像處理裝置8000的操作模式的信息，來確定圖像處理裝置8000的操作模式是MR模式還是應(yīng)用模式。如果確定操作模式是MR模式，則處理進(jìn)行到步驟S9030。如果確定操作模式是應(yīng)用模式，則處理進(jìn)行到步驟S3040。
[0092]在步驟S9030中，虛擬空間生成單元1070以與第一實(shí)施例中相同的方式構(gòu)造虛擬空間。在該步驟中，還能夠生成包含從例如虛擬空間中的圖像處理以及傳感器獲取的實(shí)際空間模型數(shù)據(jù)的虛擬空間。
[0093]在步驟S9040中，圖像生成單元8030基于在步驟S3250中設(shè)置的MR模式視點(diǎn)的位置及姿勢，以與第一實(shí)施例中相同的方式來生成(在步驟S9030中構(gòu)造的)虛擬空間的圖像。然后，圖像生成單元8030生成所生成的虛擬空間圖像與在步驟S9010中獲取的實(shí)際空間圖像的合成圖像(對應(yīng)于一只眼)，并將生成的合成圖像發(fā)送到顯示設(shè)備8010的相應(yīng)顯示屏。
[0094][第四實(shí)施例]
[0095]通過以應(yīng)用模式以及VR(MR)模式作為圖像處理裝置1000的操作模式的示例說明了上述實(shí)施例。然而，還可以并行進(jìn)行這些操作模式中的處理。
[0096][第五實(shí)施例]
[0097]在上述實(shí)施例中說明的計(jì)算針對VR(MR)模式的視點(diǎn)的位置及姿勢的方法僅為示例，還能夠設(shè)置并計(jì)算使得維持視點(diǎn)與虛擬對象之間的相對位置或姿勢的位置及姿勢。
[0098][第六實(shí)施例]
[0099]通過假設(shè)顯示設(shè)備1110包括右眼顯示屏和左眼顯示屏而說明了上述實(shí)施例。然而，本發(fā)明并不限于此，兩眼還能夠共用一個(gè)顯示屏。
[0100]此外，包括顯示設(shè)備以及能夠測量其自身位置和姿勢的測量設(shè)備的裝置也可以用來替代頭戴式顯示器。另外，顯示設(shè)備和測量設(shè)備可以被集成或分開。
[0101]還能夠使用包括顯示設(shè)備和圖像感測設(shè)備的裝置來替代頭戴式顯示器。顯示設(shè)備和圖像感測設(shè)備可以被集成或分開。
[0102][第七實(shí)施例]
[0103]在上述實(shí)施例中，當(dāng)圖像處理裝置1000的操作模式改變時(shí)，視點(diǎn)也相應(yīng)地從VR(MR)模式視點(diǎn)切換到應(yīng)用模式視點(diǎn)，反之亦然。然而，還能夠預(yù)先設(shè)置是否根據(jù)操作模式的改變來切換視點(diǎn)。
[0104]此外，當(dāng)設(shè)置視點(diǎn)時(shí)，還能夠切換是使用要利用的位置及姿勢分量中的位置分量、姿勢分量、位置及姿勢分量二者、還是各個(gè)分量的一部分。
[0105][第八實(shí)施例]
[0106]還能夠切換要被輸出到諸如顯示設(shè)備1110或顯示單元1400的一個(gè)顯示設(shè)備的圖像。另外，還能夠?qū)⒗顼@示應(yīng)用模式圖像的設(shè)備、顯示VR(MR)模式圖像的設(shè)備、以及選擇性地顯示應(yīng)用模式圖像和VR(MR)模式圖像的設(shè)備連接到圖像處理裝置1000。在這種情況下，根據(jù)輸出圖像而將該輸出圖像發(fā)送到這些設(shè)備的一者。此外，可以使用總是呈現(xiàn)應(yīng)用模式圖像以及VR(MR)模式圖像的顯示設(shè)備，但是根據(jù)呈現(xiàn)模式來更新視點(diǎn)的位置及姿勢。
[0107][第九實(shí)施例]
[0108]形成圖1以及圖8所示的圖像處理裝置1000、8000的各功能單元可以通過硬件構(gòu)造，并且除了數(shù)據(jù)存儲(chǔ)單元1040以外的這些功能單元的一個(gè)或多個(gè)還可以通過軟件(計(jì)算機(jī)程序)構(gòu)造。在這種情況下，包括作為存儲(chǔ)器的數(shù)據(jù)存儲(chǔ)單元1040以及包括通過硬件實(shí)現(xiàn)的功能單元的裝置的CPU執(zhí)行軟件，從而裝置用作圖像處理裝置1000(8000)。圖2示出包括除了數(shù)據(jù)存儲(chǔ)單元1040外的作為軟件的功能單元以及包括作為存儲(chǔ)器的數(shù)據(jù)存儲(chǔ)單元1040的計(jì)算機(jī)的硬件結(jié)構(gòu)示例。
[0109]CPU2001通過利用RAM2002和R0M2003中存儲(chǔ)的計(jì)算機(jī)程序和數(shù)據(jù)來控制整個(gè)計(jì)算機(jī)的操作，并且執(zhí)行上述的各處理作為要通過圖像處理裝置1000(8000)進(jìn)行的處理。
[0110]RAM2002具有用于臨時(shí)存儲(chǔ)從外部存儲(chǔ)設(shè)備2007和存儲(chǔ)介質(zhì)驅(qū)動(dòng)器2008載入的計(jì)算機(jī)程序和數(shù)據(jù)的區(qū)域。此外，RAM2002具有用于臨時(shí)存儲(chǔ)經(jīng)由I/F(接口)2009從外部裝置接收的數(shù)據(jù)(例如，從磁接收器1120接收的信號(數(shù)據(jù))以及來自圖像感測設(shè)備8011a和8011b的圖像)的區(qū)域。另外，RAM2002具有要被CPU2001在執(zhí)行各種處理時(shí)使用的工作區(qū)域。即，RAM2002可以根據(jù)需要提供各種區(qū)域。例如，RAM2002還可以用作數(shù)據(jù)存儲(chǔ)單元 1040。
[0111]計(jì)算機(jī)的設(shè)置數(shù)據(jù)、引導(dǎo)程序等被存儲(chǔ)在R0M2003中。鍵盤2004和鼠標(biāo)2005用作上述輸入單元1300。計(jì)算機(jī)的操作者可以通過操作鍵盤2004和鼠標(biāo)2005來向CPU2001輸入各種信息(例如，模式設(shè)置指令以及應(yīng)用模式視點(diǎn)的位置及姿勢)。
[0112]顯示單元2006由CRT或液晶屏形成，并且可以將來自CPU2001的處理結(jié)果顯示為圖像和文字。顯示單元2006用作例如上述顯示單元1400，并且可以顯示虛擬空間圖像、混合現(xiàn)實(shí)空間圖像、要被顯示以測量顯示設(shè)備1110(8010)的位置及姿勢的消息等。
[0113]外部存儲(chǔ)設(shè)備2007是諸如硬盤驅(qū)動(dòng)器的大容量存儲(chǔ)設(shè)備。OS (操作系統(tǒng))以及要被使用來使CPU2001執(zhí)行作為要通過圖像處理裝置1000(8000)進(jìn)行的處理的上述處理的計(jì)算機(jī)程序和數(shù)據(jù)被保存在外部存儲(chǔ)設(shè)備2007中。所述程序包括用于使CPU2001執(zhí)行形成圖像處理裝置1000(8000)的除了數(shù)據(jù)存儲(chǔ)單元1040之外的功能單元的功能的計(jì)算機(jī)程序。另外，所述數(shù)據(jù)包含被說明為預(yù)先存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元1040中的數(shù)據(jù)(例如，虛擬空間數(shù)據(jù)以及在上述說明中被說明為已知信息的數(shù)據(jù))。被保存在外部存儲(chǔ)設(shè)備2007中的計(jì)算機(jī)程序以及數(shù)據(jù)在CPU2001的控制下根據(jù)需要被加載到RAM2002中。CPU2001通過利用加載的程序以及數(shù)據(jù)來執(zhí)行處理。作為結(jié)果，該計(jì)算機(jī)執(zhí)行上述處理作為要由圖像處理裝置1000(8000)進(jìn)行的處理。注意，外部存儲(chǔ)設(shè)備2007還用作數(shù)據(jù)存儲(chǔ)單元1040。
[0114]存儲(chǔ)介質(zhì)驅(qū)動(dòng)器2008讀出諸如⑶-ROM或DVD-ROM的存儲(chǔ)介質(zhì)上記錄的計(jì)算機(jī)程序以及數(shù)據(jù)，并將計(jì)算機(jī)程序以及數(shù)據(jù)寫入存儲(chǔ)介質(zhì)。注意，以上說明的被保存到外部存儲(chǔ)設(shè)備2007中的計(jì)算機(jī)程序以及數(shù)據(jù)的部分或整體還可以被記錄在該存儲(chǔ)介質(zhì)上。由存儲(chǔ)介質(zhì)驅(qū)動(dòng)器2008從存儲(chǔ)介質(zhì)讀出的計(jì)算機(jī)程序以及數(shù)據(jù)被輸出到外部存儲(chǔ)設(shè)備2007或RAM2002。
[0115]I/F2009是用于將諸如顯示設(shè)備1110(8010)和磁接收器1120的外部設(shè)備連接到該計(jì)算機(jī)的接口。I/F2009包括例如用于將圖像感測設(shè)備8011a(8011b)連接到該計(jì)算機(jī)的模擬端口以及諸如IEEE1394的數(shù)字輸入/輸出端口，以及用于向顯示設(shè)備1110(8010)輸出圖像的以太網(wǎng)端口。經(jīng)由I/F2009接收的數(shù)據(jù)被輸入到RAM2002或外部存儲(chǔ)設(shè)備2007。上述單元全部被連接到總線2010。
[0116]其他實(shí)施例
[0117]本發(fā)明的實(shí)施例還可以通過讀出并執(zhí)行記錄在存儲(chǔ)介質(zhì)(例如，非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì))上的用于執(zhí)行本發(fā)明的上述實(shí)施例的一個(gè)或多個(gè)的功能的計(jì)算機(jī)可執(zhí)行指令的系統(tǒng)或裝置的計(jì)算機(jī)來實(shí)現(xiàn)，以及通過由系統(tǒng)或裝置的計(jì)算機(jī)通過例如從存儲(chǔ)介質(zhì)中讀出并執(zhí)行用于執(zhí)行上述實(shí)施例的一個(gè)或多個(gè)的功能的計(jì)算機(jī)可執(zhí)行指令來執(zhí)行的方法來實(shí)現(xiàn)。計(jì)算機(jī)可以包括中央處理單元(CPU)、微處理單元(MPU)、或其他電路的一個(gè)或多個(gè)，并且可以包括單獨(dú)的計(jì)算機(jī)或單獨(dú)的計(jì)算機(jī)處理器的網(wǎng)絡(luò)。例如可以從網(wǎng)絡(luò)或者存儲(chǔ)介質(zhì)向計(jì)算機(jī)提供計(jì)算機(jī)可執(zhí)行指令。存儲(chǔ)介質(zhì)可以包括例如硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、分布式計(jì)算系統(tǒng)的存儲(chǔ)器、光盤(諸如光盤(CD)、數(shù)字通用光盤(DVD)、或藍(lán)光盤(BD)?)、閃存存儲(chǔ)設(shè)備、存儲(chǔ)卡等的一個(gè)或多個(gè)。
[0118]雖然參照示例性實(shí)施例對本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，本發(fā)明并不限于所公開的示例性實(shí)施例。應(yīng)當(dāng)對所附權(quán)利要求的范圍給予最寬的解釋，以使其涵蓋所有這些變型例以及等同的結(jié)構(gòu)和功能。
【權(quán)利要求】
1.一種圖像處理裝置，所述圖像處理裝置包括: 獲取單元，其被構(gòu)造為獲取頭戴式顯示設(shè)備的位置及姿勢； 第一生成單元，其被構(gòu)造為在第一模式被設(shè)置為所述圖像處理裝置的操作模式時(shí)，生成包含從具有用戶設(shè)置的位置及姿勢的第一視點(diǎn)看到的虛擬對象的虛擬空間的圖像并輸出；以及 第二生成單元，其被構(gòu)造為在第二模式被設(shè)置為所述圖像處理裝置的操作模式時(shí)，生成從基于所述第一視點(diǎn)的信息以及由所述獲取單元獲取的位置而確定的第二視點(diǎn)看到的虛擬空間的圖像并輸出。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，在所述第二模式被設(shè)置為所述圖像處理裝置的操作模式時(shí)，所述第二生成單元還基于由所述獲取單元獲取的姿勢來確定所述第二視點(diǎn)，并且生成從所述第二視點(diǎn)看到的虛擬空間的圖像并輸出。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，在所述第二模式被設(shè)置為所述圖像處理裝置的操作模式、并且所述顯示設(shè)備的基準(zhǔn)位置為當(dāng)檢測到所述圖像處理裝置的操作模式被切換到所述第二模式時(shí)由所述獲取單元獲取的位置時(shí)，所述第二生成單元基于所述第一視點(diǎn)的信息、所述基準(zhǔn)位置、以及由所述獲取單元獲取的位置來確定所述第二視點(diǎn)，并且生成從所述第二視點(diǎn)看到的虛擬空間的圖像并輸出。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，當(dāng)所述第二模式被設(shè)置為所述圖像處理裝置的操作模式時(shí)，所述第二生成單元基于通過利用由所述用戶在所述第一模式中設(shè)置的姿勢以及在所述檢測時(shí)所述顯示設(shè)備的姿勢、對由所述獲取單元獲取的姿勢進(jìn)行校正而獲得的校正后的姿勢，來確定所述第二視點(diǎn)，并且生成從所述第二視點(diǎn)看到的虛擬空間的圖像并輸出。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，所述圖像處理裝置還包括: 被構(gòu)造為獲取實(shí)際空間的圖像的單元， 其中，所述第二生成單元將由所述第二生成單元生成的虛擬空間的圖像與所述實(shí)際空間的圖像合成，并輸出合成圖像。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述第二生成單元將由所述第二生成單元生成的虛擬空間的圖像輸出到所述頭戴式顯示設(shè)備。
7.—種由圖像處理裝置進(jìn)行的圖像處理方法，其中所述圖像處理方法包括以下步驟: 獲取頭戴式顯示設(shè)備的位置及姿勢； 在第一模式被設(shè)置為所述圖像處理裝置的操作模式時(shí)，生成包含從具有用戶設(shè)置的位置及姿勢的第一視點(diǎn)看到的虛擬對象的虛擬空間的圖像并輸出；以及 在第二模式被設(shè)置為所述圖像處理裝置的操作模式時(shí)，生成從基于所述第一視點(diǎn)的信息以及所獲取的位置而確定的第二視點(diǎn)看到的虛擬空間的圖像并輸出。
【文檔編號】G06F3/01GK104238665SQ201410280298
【公開日】2014年12月24日 申請日期:2014年6月20日 優(yōu)先權(quán)日:2013年6月24日
【發(fā)明者】田中靖己 申請人:佳能株式會(huì)社