專利名稱：校準(zhǔn)真實(shí)和虛擬視圖的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)，更具體地說(shuō)，本發(fā)明涉及透明頭盔顯示器的增強(qiáng)現(xiàn)實(shí)校準(zhǔn)的系統(tǒng)和方法。
相關(guān)技術(shù)討論增強(qiáng)視覺(jué)(也稱為增強(qiáng)現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)視覺(jué))使用疊加計(jì)算機(jī)生成圖形信息來(lái)增強(qiáng)現(xiàn)實(shí)世界的用戶視圖。該信息可包括例如加在場(chǎng)景中一些對(duì)象上的文字標(biāo)簽、或者從MRI掃描得到的患者腦部的三維(3D)模型被對(duì)準(zhǔn)該人頭部的現(xiàn)實(shí)視圖。
用戶可通過(guò)他或她的眼睛來(lái)觀察現(xiàn)實(shí)世界，并且經(jīng)由位于觀察者和現(xiàn)實(shí)世界之間的半透明顯示器來(lái)混合附加圖像信息。這種顯示設(shè)備可以是例如光學(xué)透明頭盔顯示器。
該顯示器也可以是不透明的，諸如計(jì)算機(jī)屏幕或非透明頭盔顯示器。該顯示器然后為用戶呈現(xiàn)完整的增強(qiáng)視圖---現(xiàn)實(shí)世界視圖和圖形覆蓋的組合。攝像機(jī)代替現(xiàn)實(shí)世界觀察者來(lái)捕捉現(xiàn)實(shí)世界視圖。兩臺(tái)照相機(jī)可實(shí)現(xiàn)用于立體視覺(jué)。計(jì)算機(jī)可用于組合現(xiàn)場(chǎng)視頻和圖形增強(qiáng)。這種顯示設(shè)備是例如視頻透明頭盔顯示器(HMD)。
以透視方式定位、定向、調(diào)整乃至渲染圖形，用于正確對(duì)準(zhǔn)現(xiàn)實(shí)世界視圖。為了獲得現(xiàn)實(shí)視圖和虛擬視圖的精確對(duì)準(zhǔn)，圖形可被固定為現(xiàn)實(shí)世界對(duì)象。由于這個(gè)原因，因此需要用戶的觀察點(diǎn)相對(duì)于該對(duì)象和對(duì)象方位的位置和方位的知識(shí)。因此，需要定義兩個(gè)坐標(biāo)系統(tǒng)之間的關(guān)系，一個(gè)加在用戶的頭部上，一個(gè)加在對(duì)象上。
跟蹤表示保持跟蹤該關(guān)系的過(guò)程?？墒褂没诠鈱W(xué)、磁、超聲波和機(jī)械裝置的商業(yè)跟蹤系統(tǒng)。
需要校準(zhǔn)以獲得場(chǎng)景中虛擬圖形對(duì)象和現(xiàn)實(shí)對(duì)象之間的對(duì)準(zhǔn)。由于現(xiàn)實(shí)和虛擬圖像被組合在計(jì)算機(jī)中，因此可以以獨(dú)立于用戶的客觀方式實(shí)現(xiàn)視頻透明HMD。相比之下，使用光學(xué)透明HMD，現(xiàn)實(shí)和虛擬圖像最終出現(xiàn)在用戶的眼睛里，并且半透明屏幕后的用戶眼睛的位置對(duì)對(duì)準(zhǔn)具有重要影響。
不同的用于校準(zhǔn)光學(xué)透明HMD的方法被認(rèn)為是現(xiàn)有技術(shù)。所有已知的校準(zhǔn)方法要求用戶使虛擬結(jié)構(gòu)對(duì)準(zhǔn)現(xiàn)實(shí)參考結(jié)構(gòu)。例如，在SPAAM方法中，在屏幕上為用戶顯示一系列固定圖形標(biāo)記，用戶移動(dòng)頭，以使這些固定圖形標(biāo)記對(duì)準(zhǔn)現(xiàn)實(shí)場(chǎng)景中的參考標(biāo)記。用戶頭部的抖動(dòng)妨礙了該對(duì)準(zhǔn)。由于頭部抖動(dòng)，顯示標(biāo)記的位置抖動(dòng)，并且不可能精確地對(duì)準(zhǔn)虛擬和現(xiàn)實(shí)標(biāo)記。
對(duì)于諸如手術(shù)室中需要精確測(cè)量和舒適使用的增強(qiáng)現(xiàn)實(shí)應(yīng)用而言，當(dāng)前不存在已知的系統(tǒng)。因此，存在對(duì)于透明頭盔顯示器的增強(qiáng)現(xiàn)實(shí)校準(zhǔn)的系統(tǒng)和方法的需要。

發(fā)明內(nèi)容
增強(qiáng)顯示系統(tǒng)包括現(xiàn)實(shí)參考發(fā)生器，其用于在校準(zhǔn)屏幕上顯示現(xiàn)實(shí)參考；光學(xué)透明顯示器，其具有相對(duì)于現(xiàn)實(shí)參考發(fā)生器的固定位置；以及虛擬參考發(fā)生器，其用于在光學(xué)透明顯示器上現(xiàn)實(shí)虛擬參考。增強(qiáng)現(xiàn)實(shí)系統(tǒng)還包括輸入設(shè)備，其用于通過(guò)光學(xué)透明顯示器使虛擬參考的視圖對(duì)準(zhǔn)現(xiàn)實(shí)參考的視圖，其中在光學(xué)透明顯示器上移動(dòng)虛擬參考；以及處理器，其用于確定渲染虛擬對(duì)象作為通過(guò)光學(xué)透明顯示器看到的一部分現(xiàn)實(shí)場(chǎng)景的一個(gè)或多個(gè)參數(shù)。
增強(qiáng)現(xiàn)實(shí)系統(tǒng)包括用于跟蹤校準(zhǔn)屏幕相對(duì)于現(xiàn)實(shí)參考的姿勢(shì)的跟蹤照相機(jī)。
增強(qiáng)現(xiàn)實(shí)系統(tǒng)包括具有相對(duì)于現(xiàn)實(shí)參考發(fā)生器的固定位置的跟蹤照相機(jī)，用于捕捉校準(zhǔn)屏幕的視圖。增強(qiáng)現(xiàn)實(shí)系統(tǒng)還包括處理器，其中光學(xué)標(biāo)記配置被固定于校準(zhǔn)屏幕，并由跟蹤照相機(jī)成像，其中處理器根據(jù)跟蹤照相機(jī)捕捉的圖像中光學(xué)標(biāo)記配置的位置來(lái)確定校準(zhǔn)屏幕和頭盔顯示器之間的位置關(guān)系，頭盔顯示器包括現(xiàn)實(shí)參考發(fā)生器和光學(xué)透明顯示器。
增強(qiáng)現(xiàn)實(shí)系統(tǒng)包括至少一臺(tái)跟蹤照相機(jī)，其用于捕捉校準(zhǔn)屏幕的視圖；以及頭盔顯示器，其包括現(xiàn)實(shí)參考發(fā)生器和光學(xué)透明顯示器。增強(qiáng)現(xiàn)實(shí)系統(tǒng)還包括處理器，其中光學(xué)標(biāo)記配置被固定于校準(zhǔn)屏幕和頭盔顯示器中的每一個(gè)上，并被至少一臺(tái)跟蹤照相機(jī)跟蹤，其中處理器根據(jù)至少一臺(tái)跟蹤照相機(jī)捕捉的視圖中各個(gè)光學(xué)標(biāo)記配置的位置來(lái)確定校準(zhǔn)屏幕和頭盔顯示器之間的位置關(guān)系。
用于校準(zhǔn)現(xiàn)實(shí)和虛擬視圖的系統(tǒng)包括現(xiàn)實(shí)參考發(fā)生器，其用于在校準(zhǔn)屏幕上顯示現(xiàn)實(shí)參考；光學(xué)顯示器，其具有相對(duì)于現(xiàn)實(shí)參考點(diǎn)發(fā)生器的固定位置；以及虛擬參考發(fā)生器，其用于在光學(xué)顯示器中產(chǎn)生虛擬參考。該系統(tǒng)還包括輸入設(shè)備，用于使虛擬參考的視圖對(duì)準(zhǔn)現(xiàn)實(shí)參考的視圖，其中在光學(xué)顯示器上相對(duì)于現(xiàn)實(shí)參考的視圖移動(dòng)該虛擬參考；以及處理器，用于確定在光學(xué)顯示器中看到的現(xiàn)實(shí)場(chǎng)景中渲染虛擬對(duì)象的一個(gè)或多個(gè)參數(shù)。
系統(tǒng)還包括捕捉現(xiàn)實(shí)參考的視圖的照相機(jī)，其中在光學(xué)顯示器中顯示現(xiàn)實(shí)參考，虛擬參考被疊加在該現(xiàn)實(shí)參考上。系統(tǒng)還包括跟蹤照相機(jī)，其具有相對(duì)于現(xiàn)實(shí)參考發(fā)生器的固定位置，用于捕捉校準(zhǔn)屏幕的視圖；以及處理器，其中光學(xué)標(biāo)記配置被固定于校準(zhǔn)屏幕上，并被跟蹤照相機(jī)跟蹤，其中處理器根據(jù)跟蹤照相機(jī)捕捉的視圖中光學(xué)標(biāo)記配置的位置來(lái)確定校準(zhǔn)屏幕和頭盔顯示器之間的位置關(guān)系，頭盔顯示器包括現(xiàn)實(shí)參考發(fā)生器和光學(xué)顯示器。
系統(tǒng)包括連接到現(xiàn)實(shí)參考發(fā)生器、用于捕捉校準(zhǔn)屏幕的視圖的跟蹤照相機(jī)。該系統(tǒng)還包括處理器，其中光學(xué)標(biāo)記配置被固定于校準(zhǔn)屏幕上，并被跟蹤照相機(jī)跟蹤，其中處理器根據(jù)跟蹤照相機(jī)捕捉的視圖中光學(xué)標(biāo)記配置的位置來(lái)確定校準(zhǔn)屏幕和頭盔顯示器之間的位置關(guān)系，并且頭盔顯示器包括現(xiàn)實(shí)參考發(fā)生器和光學(xué)顯示器。
系統(tǒng)包括至少一臺(tái)跟蹤照相機(jī)，用于捕捉校準(zhǔn)屏幕的視圖；以及頭盔顯示器，其包括現(xiàn)實(shí)參考發(fā)生器和光學(xué)顯示器。系統(tǒng)還包括處理器，其中光學(xué)標(biāo)記配置被固定于校準(zhǔn)屏幕和頭盔顯示器中的每一個(gè)上，并且被跟蹤照相機(jī)跟蹤，其中處理器根據(jù)至少一臺(tái)跟蹤照相機(jī)捕捉的視圖中各個(gè)光學(xué)標(biāo)記配置的位置來(lái)確定校準(zhǔn)屏幕和頭盔顯示器之間的位置關(guān)系。
用于校準(zhǔn)現(xiàn)實(shí)和虛擬視圖的方法包括跟蹤校準(zhǔn)屏幕，其中現(xiàn)實(shí)參考發(fā)生器產(chǎn)生的現(xiàn)實(shí)參考被投影在校準(zhǔn)屏幕上；使虛擬參考對(duì)準(zhǔn)顯示器中的現(xiàn)實(shí)參考，其中現(xiàn)實(shí)參考發(fā)生器和顯示器具有固定的相對(duì)位置；確定虛擬參考和現(xiàn)實(shí)參考之間的點(diǎn)對(duì)應(yīng)；以及確定用于在現(xiàn)實(shí)場(chǎng)景中渲染虛擬對(duì)象的一個(gè)或多個(gè)參數(shù)。
該方法包括在光學(xué)透明顯示器上顯示虛擬參考，通過(guò)該光學(xué)透明顯示器，現(xiàn)實(shí)參考是可見(jiàn)的。
該方法包括捕捉包括現(xiàn)實(shí)參考的現(xiàn)實(shí)場(chǎng)景的視圖，并且顯示用虛擬參考增強(qiáng)的現(xiàn)實(shí)場(chǎng)景的該視圖。
附圖簡(jiǎn)要描述以下將參考附圖更詳細(xì)地描述本發(fā)明的優(yōu)選實(shí)施例

圖1是根據(jù)本發(fā)明公開(kāi)的實(shí)施例的校準(zhǔn)系統(tǒng)的圖示；圖2A是根據(jù)本發(fā)明公開(kāi)的實(shí)施例的增強(qiáng)現(xiàn)實(shí)校準(zhǔn)系統(tǒng)的圖示；圖2B是根據(jù)本發(fā)明公開(kāi)的實(shí)施例的增強(qiáng)現(xiàn)實(shí)校準(zhǔn)系統(tǒng)的圖示；圖2C是根據(jù)本發(fā)明公開(kāi)的實(shí)施例的視頻透明增強(qiáng)現(xiàn)實(shí)校準(zhǔn)系統(tǒng)的圖示；圖3是根據(jù)本發(fā)明公開(kāi)的實(shí)施例的方法的流程圖；圖4是根據(jù)本發(fā)明公開(kāi)的實(shí)施例的方法的流程圖。
優(yōu)選實(shí)施例詳細(xì)描述用于校準(zhǔn)光學(xué)透明頭盔顯示器(HMD)的系統(tǒng)和方法將現(xiàn)實(shí)參考實(shí)現(xiàn)為源自連在HMD上的照明器的光點(diǎn)。這些光點(diǎn)隨同HMD“一起抖動(dòng)”，并且用戶沒(méi)有察覺(jué)到顯示在HMD的半透明屏幕上固定位置處的這些參考標(biāo)記和虛擬標(biāo)記之間的任何抖動(dòng)。
參考圖1，為了校準(zhǔn)光學(xué)透明系統(tǒng)，用戶100使HMD的半透明屏幕103上顯示為圖形的虛擬參考101對(duì)準(zhǔn)通過(guò)屏幕103觀察的現(xiàn)實(shí)參考結(jié)構(gòu)102?，F(xiàn)實(shí)參考結(jié)構(gòu)102被實(shí)現(xiàn)為校準(zhǔn)屏幕104或其它感光底層上的投影光點(diǎn)和/或圖像?，F(xiàn)實(shí)參考102和虛擬參考101可以是例如一個(gè)或多個(gè)點(diǎn)或形狀。
應(yīng)該理解可以用各種形式的硬件、軟件、固件、專用處理器或上述組合來(lái)實(shí)現(xiàn)本發(fā)明。在一個(gè)實(shí)施例中，可以用作為程序存儲(chǔ)設(shè)備上實(shí)際實(shí)施的應(yīng)用程序的軟件實(shí)現(xiàn)本發(fā)明。該應(yīng)用程序可被上載到包括任何適當(dāng)結(jié)構(gòu)的機(jī)器，并可由該機(jī)器執(zhí)行。
還應(yīng)該理解由于可以用軟件實(shí)現(xiàn)附圖中所示的一些組成系統(tǒng)構(gòu)件和方法步驟，因此系統(tǒng)構(gòu)件(或過(guò)程步驟)之間的實(shí)際連接可根據(jù)本發(fā)明編程的方式變化。這里提供的本發(fā)明的教導(dǎo)，本領(lǐng)域的專業(yè)技術(shù)人員將能夠考慮到本發(fā)明的這些和類似的實(shí)現(xiàn)或配置。
參考圖2A和2B，現(xiàn)實(shí)參考102源自牢固地連在HMD 201上、并通過(guò)屏幕103觀察的照明系統(tǒng)200。當(dāng)用戶移動(dòng)HMD 201時(shí)，現(xiàn)實(shí)參考102在校準(zhǔn)屏幕104上移動(dòng)，并且對(duì)于小的頭部運(yùn)動(dòng)而言，當(dāng)通過(guò)HMD的半透明屏幕103觀看時(shí)，現(xiàn)實(shí)參考102看上去相對(duì)于虛擬參考101固定。由于現(xiàn)實(shí)參考102和虛擬參考101之間的抖動(dòng)充分降低，因此從用戶100的有利位置來(lái)看，現(xiàn)在對(duì)準(zhǔn)過(guò)程是容易的。
在平面屏幕104上觀察現(xiàn)實(shí)參考102，用戶可以將手臂長(zhǎng)度的屏幕104握在一只手上、將該屏幕放在桌上等。
屏幕104跟蹤用戶的頭部或HMD 201。跟蹤布置包括外部或(見(jiàn)圖2A)或頭盔(見(jiàn)圖2B)跟蹤照相機(jī)202。屏幕104(在光學(xué)跟蹤的情況下)和HMD 201(在圖2A的外部跟蹤照相機(jī)的情況下)包括光學(xué)標(biāo)記203。光學(xué)標(biāo)記203可以是例如回射平盤(pán)或者回射球。
照明器200投影包括一個(gè)(或者最好是幾個(gè))點(diǎn)的光圖像102?？墒褂脝蝹€(gè)光源和產(chǎn)生光圖像102的光學(xué)系統(tǒng)來(lái)構(gòu)造照明器200。例如，激光可以與透鏡系統(tǒng)及掩模、或者繞射光學(xué)組件一起使用，以產(chǎn)生一群光點(diǎn)。
備選地，可使用一群光源(諸如LED陣列)，其優(yōu)點(diǎn)是可以使光圖像是可切換的?？蓡为?dú)接通和切斷LED。這些LED可以與透鏡系統(tǒng)或微光學(xué)組件(例如透鏡陣列)組合。
照明器200還可包括在不同光束方向之間切換的掃描裝置或光束偏轉(zhuǎn)裝置。
屏幕103可以是例如單目布置或雙目布置。在雙目布置中，最好一個(gè)接一個(gè)地單獨(dú)校準(zhǔn)兩個(gè)屏幕，結(jié)合半透明顯示器103的適當(dāng)光學(xué)組件204產(chǎn)生虛擬參考101的圖像。由于用戶透視半透明顯示器103，因此虛擬參考101是用戶可見(jiàn)的。備選地，可使用圖像投影儀和包括光束分離器的光學(xué)系統(tǒng)實(shí)施透明顯示器。
為了執(zhí)行校準(zhǔn)，從用戶的角度來(lái)看(例如205)，用戶100將顯示在半透明屏幕103上的虛擬參考101移動(dòng)到對(duì)準(zhǔn)參考光圖像102。用戶101控制接口206(例如處理器207和輸入設(shè)備208)，以便移動(dòng)屏幕103上的虛擬參考101。輸入設(shè)備208可以是例如軌跡球或鼠標(biāo)。處理器207可以是虛擬參考發(fā)生器，其包括在半透明屏幕上渲染顯示的虛擬參考的處理器和圖形卡。
為了完成校準(zhǔn)過(guò)程，用戶使虛擬參考101對(duì)準(zhǔn)幾個(gè)現(xiàn)實(shí)參考光點(diǎn)(例如102)。為了更好的校準(zhǔn)精度，用戶可假設(shè)相對(duì)于校準(zhǔn)屏幕104的不同姿勢(shì)(例如距離和/或方位)。
處理器(例如207)根據(jù)標(biāo)記203的位置以及用戶確定的虛擬參考101和現(xiàn)實(shí)參考102的對(duì)準(zhǔn)來(lái)確定校準(zhǔn)屏幕104和HMD 201之間的空間關(guān)系。圖2B是包括跟蹤照相機(jī)202的HMD的示例。如圖所示，在跟蹤照相機(jī)被固定于HMD上的地方，僅可使用固定于校準(zhǔn)屏幕104的光學(xué)標(biāo)記203來(lái)確定校準(zhǔn)屏幕104和HMD 201之間的空間關(guān)系。此外，可根據(jù)固定于屏幕104的不同光學(xué)標(biāo)記203的關(guān)系來(lái)確定校準(zhǔn)屏幕104的姿勢(shì)。
圖2C是根據(jù)本發(fā)明公開(kāi)的實(shí)施例的視頻透明增強(qiáng)現(xiàn)實(shí)系統(tǒng)，其中照相機(jī)(例如202)捕捉包括現(xiàn)實(shí)參考102的現(xiàn)實(shí)場(chǎng)景的圖像。可通過(guò)單獨(dú)的照相機(jī)執(zhí)行照相機(jī)202的跟蹤和視頻功能。為用戶101顯示現(xiàn)實(shí)場(chǎng)景的圖像。虛擬視圖被疊加在現(xiàn)實(shí)視圖(例如209)上，并且用戶101察覺(jué)到現(xiàn)實(shí)和虛擬視圖(例如204)。用戶可以使虛擬參考對(duì)準(zhǔn)現(xiàn)實(shí)場(chǎng)景中現(xiàn)實(shí)參考的視圖。
參考圖3，考慮頭盔跟蹤照相機(jī)的情況。跟蹤照相機(jī)和照明器彼此機(jī)械固定，并且確定產(chǎn)生參考點(diǎn)的光束相對(duì)于跟蹤照相機(jī)的坐標(biāo)系統(tǒng)的位置和方位。通過(guò)跟蹤校準(zhǔn)屏幕301，可確定作為對(duì)應(yīng)光束與屏幕平面交叉點(diǎn)的、跟蹤照相機(jī)坐標(biāo)系統(tǒng)中參考點(diǎn)的3D坐標(biāo)。
在校準(zhǔn)過(guò)程期間，用戶對(duì)準(zhǔn)現(xiàn)實(shí)和虛擬參考302，并且系統(tǒng)記錄一組3D-2D點(diǎn)對(duì)應(yīng)303。每個(gè)點(diǎn)對(duì)應(yīng)是由用戶已經(jīng)對(duì)準(zhǔn)參考的、參考光點(diǎn)的3D坐標(biāo)和虛擬標(biāo)記的2D坐標(biāo)組成。該組點(diǎn)對(duì)應(yīng)使得可以確定用于渲染正確對(duì)準(zhǔn)現(xiàn)實(shí)場(chǎng)景304的虛擬物體的一個(gè)或多個(gè)參數(shù)。例如，確定顯示在半透明屏幕上的虛擬世界的用戶視圖的照相機(jī)參數(shù)與確定通過(guò)屏幕看到的現(xiàn)實(shí)世界的用戶視圖的照相機(jī)參數(shù)匹配。這些確定是本技術(shù)中已知的，例如，如2001年9月25日提交的、名稱為“用于校準(zhǔn)增強(qiáng)現(xiàn)實(shí)的單目光學(xué)透明頭盔顯示器系統(tǒng)的系統(tǒng)和方法”的美國(guó)專利申請(qǐng)?zhí)?0020105484中所述，其中校準(zhǔn)可包括使物理環(huán)境與內(nèi)部表示匹配、以使計(jì)算機(jī)的內(nèi)部模型與物理環(huán)境匹配的數(shù)學(xué)模型的初始參數(shù)值。這些參數(shù)包括例如物理照相機(jī)的光學(xué)特性，以及諸如照相機(jī)、用于跟蹤的標(biāo)記和各種對(duì)象的各種實(shí)體的位置和方位(姿勢(shì))信息。
在成功校準(zhǔn)了單個(gè)用戶的光學(xué)透明增強(qiáng)現(xiàn)實(shí)系統(tǒng)之后，該系統(tǒng)可以以3D圖形對(duì)象看上去牢固地固定在顯示場(chǎng)景中的方式渲染這些對(duì)象。使用跟蹤系統(tǒng)來(lái)跟蹤、并使用圖形對(duì)象的虛擬視圖的對(duì)應(yīng)變化來(lái)解釋用戶的觀點(diǎn)變化。
頭盔跟蹤照相機(jī)的情況的備選情況是，外部跟蹤裝置可以與相對(duì)于照明器牢固固定的頭盔標(biāo)記或傳感器共同使用。跟蹤系統(tǒng)跟蹤HMD和校準(zhǔn)屏幕(401)。同樣，校準(zhǔn)光點(diǎn)的3D坐標(biāo)可被對(duì)準(zhǔn)(402)，并可被確定為光束和屏幕平面的交叉點(diǎn)(403)。虛擬參考點(diǎn)對(duì)準(zhǔn)屏幕上顯示為光的現(xiàn)實(shí)參考點(diǎn)，并且記錄對(duì)應(yīng)(404)。
系統(tǒng)包括頭盔顯示器、跟蹤裝置、計(jì)算和圖形渲染裝置、光投影裝置、以及可跟蹤屏幕。
可以在每個(gè)點(diǎn)對(duì)應(yīng)的若干個(gè)測(cè)量上平均現(xiàn)實(shí)和虛擬參考結(jié)構(gòu)之間的校準(zhǔn)對(duì)準(zhǔn)。注意到虛擬標(biāo)記和現(xiàn)實(shí)標(biāo)記相對(duì)于彼此顯示出無(wú)抖動(dòng)。平均可降低校準(zhǔn)中的誤差。與使用外部特征的校準(zhǔn)程序比較，平均是易用的。這里，由于現(xiàn)實(shí)和虛擬標(biāo)記之間降低的抖動(dòng)，因此用戶可以保持對(duì)準(zhǔn)達(dá)一秒或幾秒。
已經(jīng)描述了用于校準(zhǔn)現(xiàn)實(shí)和虛擬視圖的系統(tǒng)和方法的實(shí)施例，注意到本領(lǐng)域的技術(shù)人員可根據(jù)以上教學(xué)來(lái)實(shí)現(xiàn)修改和改變。因此，應(yīng)該理解可以在所附權(quán)利要求定義的本發(fā)明的保護(hù)范圍和精神內(nèi)的、公開(kāi)的本發(fā)明的具體實(shí)施例中實(shí)現(xiàn)這些改變。由此已經(jīng)描述了本發(fā)明的細(xì)節(jié)、具體是專利法所要求的細(xì)節(jié)，在所附權(quán)利要求中闡述了專利許可宣告和期望保護(hù)的。
權(quán)利要求
1.一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)，包括現(xiàn)實(shí)參考發(fā)生器，其用于在校準(zhǔn)屏幕上顯示現(xiàn)實(shí)參考；光學(xué)透明顯示器，其具有相對(duì)于所述現(xiàn)實(shí)參考發(fā)生器的固定位置；虛擬參考發(fā)生器，其用于在所述光學(xué)透明顯示器上顯示虛擬參考；輸入設(shè)備，其用于通過(guò)所述光學(xué)透明顯示器使所述虛擬參考的視圖對(duì)準(zhǔn)所述現(xiàn)實(shí)參考的視圖，其中在所述光學(xué)透明顯示器上移動(dòng)所述虛擬參考；以及處理器，其用于確定渲染虛擬對(duì)象作為通過(guò)所述光學(xué)透明顯示器看到的一部分現(xiàn)實(shí)場(chǎng)景的一個(gè)或多個(gè)參數(shù)。
2.如權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，還包括用于跟蹤所述校準(zhǔn)屏幕相對(duì)于所述現(xiàn)實(shí)參考的姿勢(shì)的跟蹤照相機(jī)。
3.如權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，還包括具有相對(duì)于所述現(xiàn)實(shí)參考發(fā)生器的固定位置的、用于捕捉所述校準(zhǔn)屏幕的視圖的跟蹤照相機(jī)。
4.如權(quán)利要求3所述的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，還包括處理器，其中光學(xué)標(biāo)記配置被固定于所述校準(zhǔn)屏幕，并由所述跟蹤照相機(jī)成像，其中所述處理器根據(jù)所述跟蹤照相機(jī)捕捉的圖像中所述光學(xué)標(biāo)記配置的位置來(lái)確定所述校準(zhǔn)屏幕和頭盔顯示器之間的位置關(guān)系，所述頭盔顯示器包括所述現(xiàn)實(shí)參考發(fā)生器和光學(xué)透明顯示器。
5.如權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，還包括至少一臺(tái)跟蹤照相機(jī)，其用于捕捉所述校準(zhǔn)屏幕的視圖；以及頭盔顯示器，其包括所述現(xiàn)實(shí)參考發(fā)生器和光學(xué)透明顯示器。
6.如權(quán)利要求5所述的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，還包括處理器，其中光學(xué)標(biāo)記配置被固定于所述校準(zhǔn)屏幕和所述頭盔顯示器中的每一個(gè)上，并被所述至少一臺(tái)跟蹤照相機(jī)跟蹤，其中所述處理器根據(jù)所述至少一臺(tái)跟蹤照相機(jī)捕捉的所述視圖中各個(gè)光學(xué)標(biāo)記配置的所述位置來(lái)確定所述校準(zhǔn)屏幕和所述頭盔顯示器之間的位置關(guān)系。
7.一種用于校準(zhǔn)現(xiàn)實(shí)和虛擬視圖的系統(tǒng)，包括現(xiàn)實(shí)參考發(fā)生器，其用于在校準(zhǔn)屏幕上顯示現(xiàn)實(shí)參考；光學(xué)顯示器，其具有相對(duì)于所述現(xiàn)實(shí)參考發(fā)生器的固定位置；虛擬參考發(fā)生器，其用于在所述光學(xué)顯示器上產(chǎn)生虛擬參考；輸入設(shè)備，其用于使所述虛擬參考的視圖對(duì)準(zhǔn)所述現(xiàn)實(shí)參考的視圖，其中在所述光學(xué)顯示器上相對(duì)于所述現(xiàn)實(shí)參考的所述視圖移動(dòng)所述虛擬參考；以及處理器，其用于確定在所述光學(xué)顯示器中看到的現(xiàn)實(shí)場(chǎng)景中渲染虛擬對(duì)象的一個(gè)或多個(gè)參數(shù)。
8.如權(quán)利要求7所述的用于校準(zhǔn)現(xiàn)實(shí)和虛擬視圖的系統(tǒng)，還包括捕捉所述現(xiàn)實(shí)參考的所述視圖的照相機(jī)，其中在所述光學(xué)顯示器中顯示所述現(xiàn)實(shí)參考，所述虛擬參考被疊加在所述現(xiàn)實(shí)參考上。
9.如權(quán)利要求8所述的用于校準(zhǔn)現(xiàn)實(shí)和虛擬視圖的系統(tǒng)，還包括跟蹤照相機(jī)，其具有相對(duì)于所述現(xiàn)實(shí)參考發(fā)生器的固定位置，用于捕捉所述校準(zhǔn)屏幕的視圖；以及處理器，其中光學(xué)標(biāo)記配置被固定于所述校準(zhǔn)屏幕，并被所述跟蹤照相機(jī)跟蹤，其中所述處理器根據(jù)所述跟蹤照相機(jī)捕捉的所述視圖中所述光學(xué)標(biāo)記配置的位置來(lái)確定所述校準(zhǔn)屏幕和頭盔顯示器之間的位置關(guān)系，所述頭盔顯示器包括所述現(xiàn)實(shí)參考發(fā)生器和光學(xué)顯示器。
10.如權(quán)利要求7所述的用于校準(zhǔn)現(xiàn)實(shí)和虛擬視圖的系統(tǒng)，還包括連接到所述現(xiàn)實(shí)參考發(fā)生器、用于捕捉所述校準(zhǔn)屏幕的視圖的跟蹤照相機(jī)。
11.如權(quán)利要求10所述的用于校準(zhǔn)現(xiàn)實(shí)和虛擬視圖的系統(tǒng)，還包括處理器，其中光學(xué)標(biāo)記配置被固定于所述校準(zhǔn)屏幕，并被所述跟蹤照相機(jī)跟蹤，其中所述處理器根據(jù)所述跟蹤照相機(jī)捕捉的所述視圖中所述光學(xué)標(biāo)記配置的位置來(lái)確定所述校準(zhǔn)屏幕和頭盔顯示器之間的位置關(guān)系，所述頭盔顯示器包括所述現(xiàn)實(shí)參考發(fā)生器和光學(xué)顯示器。
12.如權(quán)利要求7所述的用于校準(zhǔn)現(xiàn)實(shí)和虛擬視圖的系統(tǒng)，還包括至少一臺(tái)跟蹤照相機(jī)，用于捕捉所述校準(zhǔn)屏幕的視圖；以及頭盔顯示器，其包括所述現(xiàn)實(shí)參考發(fā)生器和光學(xué)顯示器。
13.如權(quán)利要求12所述的用于校準(zhǔn)現(xiàn)實(shí)和虛擬視圖的系統(tǒng)，還包括處理器，其中光學(xué)標(biāo)記配置被固定于所述校準(zhǔn)屏幕和所述頭盔顯示器中的每一個(gè)，并被所述跟蹤照相機(jī)跟蹤，其中所述處理器根據(jù)所述至少一臺(tái)跟蹤照相機(jī)捕捉的所述視圖中各個(gè)光學(xué)標(biāo)記配置的位置來(lái)確定所述校準(zhǔn)屏幕和所述頭盔顯示器之間的位置關(guān)系。
14.一種用于校準(zhǔn)現(xiàn)實(shí)和虛擬視圖的方法，包括跟蹤校準(zhǔn)屏幕，其中現(xiàn)實(shí)參考發(fā)生器產(chǎn)生的現(xiàn)實(shí)參考被投影在所述校準(zhǔn)屏幕上；使虛擬參考對(duì)準(zhǔn)顯示器中所述現(xiàn)實(shí)參考的視圖，其中所述現(xiàn)實(shí)參考發(fā)生器和所述顯示器具有固定的相對(duì)位置；確定所述虛擬參考和所述現(xiàn)實(shí)參考之間的點(diǎn)對(duì)應(yīng)；以及確定用于在所述現(xiàn)實(shí)場(chǎng)景中渲染虛擬對(duì)象的一個(gè)或多個(gè)參數(shù)。
15.如權(quán)利要求14所述的用于校準(zhǔn)現(xiàn)實(shí)和虛擬視圖的方法，還包括在光學(xué)透明顯示器上顯示所述虛擬參考，通過(guò)所述光學(xué)透明顯示器，所述現(xiàn)實(shí)參考是可見(jiàn)的。
16.如權(quán)利要求14所述的用于校準(zhǔn)現(xiàn)實(shí)和虛擬視圖的方法，還包括捕捉包括所述現(xiàn)實(shí)參考的現(xiàn)實(shí)場(chǎng)景的視圖；以及顯示用所述虛擬參考增強(qiáng)的所述現(xiàn)實(shí)場(chǎng)景的所述視圖。
全文摘要
一種用于校準(zhǔn)真實(shí)和虛擬視圖的方法，包括跟蹤校準(zhǔn)屏幕，其中現(xiàn)實(shí)參考點(diǎn)發(fā)生器產(chǎn)生的現(xiàn)實(shí)參考點(diǎn)被投影在校準(zhǔn)屏幕上；使虛擬參考點(diǎn)的視圖對(duì)準(zhǔn)顯示器中現(xiàn)實(shí)參考點(diǎn)的視圖，其中現(xiàn)實(shí)參考點(diǎn)發(fā)生器和顯示器具有固定的相對(duì)位置；確定虛擬參考點(diǎn)和現(xiàn)實(shí)參考點(diǎn)之間的點(diǎn)對(duì)應(yīng)；以及確定用于在現(xiàn)實(shí)場(chǎng)景中渲染虛擬對(duì)象的一個(gè)或多個(gè)參數(shù)。
文檔編號(hào)G02B27/01GK1802586SQ200480016102
公開(kāi)日2006年7月12日 申請(qǐng)日期2004年6月9日 優(yōu)先權(quán)日2003年6月12日
發(fā)明者F·索爾, Y·根克, N·納瓦布 申請(qǐng)人:西門(mén)子共同研究公司