用于頭戴式顯示器的眼睛跟蹤系統(tǒng)的制作方法
【專(zhuān)利說(shuō)明】用于頭戴式顯示器的眼睛跟蹤系統(tǒng)
[0001]
[0002]近眼顯示設(shè)備被配置成經(jīng)由定位在用戶(hù)眼睛附近的顯示器來(lái)向用戶(hù)呈現(xiàn)圖像。例如，頭戴式增強(qiáng)現(xiàn)實(shí)顯示設(shè)備可被佩戴在用戶(hù)的頭上以將近眼顯示器定位在用戶(hù)眼睛的正前方。近眼顯示設(shè)備可包括用于基于從用戶(hù)的眼睛反射的光來(lái)跟蹤用戶(hù)注視的成像設(shè)備。
[0003]概述
[0004]提供了用于透視頭戴式顯示系統(tǒng)的各實(shí)施例。在一個(gè)實(shí)施例中，透視頭戴式顯示系統(tǒng)包括自由曲面棱鏡；配置成透過(guò)自由曲面棱鏡向用戶(hù)的眼睛發(fā)出顯示光的顯示設(shè)備；以及配置成接收從眼睛反射并被定向穿過(guò)自由曲面棱鏡的注視檢測(cè)光的成像設(shè)備。透視頭戴式顯示系統(tǒng)還可包括照明棱鏡，其中顯示光被透過(guò)照明棱鏡發(fā)出且注視檢測(cè)光被透過(guò)照明棱鏡來(lái)發(fā)出和接收。以此方式，顯示光和注視檢測(cè)光可共享光學(xué)裝置以提供緊湊結(jié)構(gòu)。本文描述的安排還可使得成像設(shè)備能被定位在該系統(tǒng)的后聚焦面處，使得成像系統(tǒng)是對(duì)象空間遠(yuǎn)心的。成像系統(tǒng)的遠(yuǎn)心性使得該系統(tǒng)能維持注視方向確定中的準(zhǔn)確度，而不管用戶(hù)的眼睛與透視頭戴式顯示系統(tǒng)的各元件之間的距離的變化。
[0005]提供本概述以便以簡(jiǎn)化形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本
【發(fā)明內(nèi)容】
并不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。而且，所要求保護(hù)的主題不限于解決該公開(kāi)的任一部分中所注的任何或全部缺點(diǎn)的實(shí)現(xiàn)方式。
[0006]附圖簡(jiǎn)沐
[0007]圖1示出根據(jù)本公開(kāi)的一實(shí)施例的由用戶(hù)佩戴的透視頭戴式顯示設(shè)備。
[0008]圖2示意性地示出根據(jù)本公開(kāi)的一實(shí)施例的圖1的透視頭戴式顯示設(shè)備。
[0009]圖3示意性地示出根據(jù)本公開(kāi)的一實(shí)施例的透視顯示器和用于將顯示光和注視檢測(cè)光定向到用戶(hù)的眼睛的光路。
[0010]圖4示意性地示出根據(jù)本公開(kāi)的一實(shí)施例的圖3的透視顯示器和用于獲取眼睛的圖像以檢測(cè)注視方向的光路。
[0011]圖5示出根據(jù)本公開(kāi)的一實(shí)施例的使用透視頭戴式顯示設(shè)備執(zhí)行注視檢測(cè)的方法的流程圖。
[0012]圖6示出根據(jù)本公開(kāi)的一實(shí)施例的計(jì)算系統(tǒng)的框圖。
[0013]詳細(xì)描沐
[0014]近眼顯示系統(tǒng)除了用于向用戶(hù)顯示圖像的組件之外還可包括用于跟蹤用戶(hù)的注視的組件。在利用波導(dǎo)或類(lèi)似顯示技術(shù)的近眼顯示系統(tǒng)中，用于注視跟蹤系統(tǒng)的閃光源和相機(jī)可被定位在波導(dǎo)外部，使得閃光源發(fā)出且由相機(jī)接收到的光不穿過(guò)波導(dǎo)。這樣的系統(tǒng)可對(duì)眼睛縱向和橫向移動(dòng)敏感，如眼睛與近眼顯示器的一個(gè)或多個(gè)組件之間的距離的變化。例如，在眼睛移動(dòng)離開(kāi)近眼顯示器時(shí)，在相機(jī)處接收到的眼睛的圖像可能看起來(lái)更小，從而使眼睛與定向到眼睛以用于注視跟蹤的閃光或其他跟蹤元素之間的相對(duì)位置失真。
[0015]因而，公開(kāi)了用于在近眼顯示系統(tǒng)中利用自由曲面棱鏡以使得顯示器和注視跟蹤系統(tǒng)可利用相同光學(xué)組件來(lái)傳送和/或接收光的各實(shí)施例。共享光學(xué)結(jié)構(gòu)允許注視跟蹤系統(tǒng)是對(duì)象空間遠(yuǎn)心的，使得與非遠(yuǎn)心結(jié)構(gòu)相比，將注視跟蹤系統(tǒng)定位在自由曲面棱鏡的后聚焦面處的系統(tǒng)的各實(shí)施例對(duì)眼睛縱向和橫向移動(dòng)較不敏感。自由曲面棱鏡使眼睛圖像能被校準(zhǔn)且聚焦于注視跟蹤系統(tǒng)的相機(jī)透鏡處，而無(wú)需放大圖像。因此，相對(duì)于近眼顯示系統(tǒng)的眼睛移動(dòng)可能不影響注視跟蹤系統(tǒng)的準(zhǔn)確度。
[0016]圖1示出由用戶(hù)102佩戴的透視頭戴式顯示設(shè)備100形式的近眼顯示系統(tǒng)的示例實(shí)施例。頭戴式顯示設(shè)備100可被用于例如經(jīng)由透視顯示器來(lái)顯示增強(qiáng)現(xiàn)實(shí)圖像，其中所顯示的虛擬對(duì)象連同現(xiàn)實(shí)世界背景場(chǎng)景中的物理對(duì)象一起是可查看的。盡管在頭戴式顯示設(shè)備的上下文中描述，將理解，所公開(kāi)的實(shí)施例可以與任何其他合適的近眼顯示設(shè)備一起使用。透視頭戴式顯示設(shè)備100可包括用于將設(shè)備定位在相對(duì)于用戶(hù)102的眼睛的目標(biāo)查看位置處的框架104。例如，目標(biāo)查看位置可與眼睛可正確感知所顯示的圖像的空間中的區(qū)域相對(duì)應(yīng)。
[0017]圖2示出圖1的透視頭戴式顯示設(shè)備100的示意圖。所描繪的透視頭戴式顯示設(shè)備100包括右透視顯示器200a和左透視顯示器200b。每一透視顯示器可被配置成既向用戶(hù)顯示圖像又允許用戶(hù)查看現(xiàn)實(shí)世界環(huán)境。例如，每一透視顯示器可包括配置成透過(guò)光學(xué)結(jié)構(gòu)發(fā)出顯示光到達(dá)用戶(hù)的眼睛的顯示設(shè)備。光學(xué)結(jié)構(gòu)還可允許來(lái)自現(xiàn)實(shí)世界環(huán)境的光到達(dá)用戶(hù)的眼睛。圖2示意性地示出可被用來(lái)向用戶(hù)輸出聲學(xué)信息的話(huà)筒202。這樣的聲學(xué)信息可以采取任何合適的形式，包括但不限于計(jì)算機(jī)生成的適當(dāng)語(yǔ)言(如用戶(hù)選擇的)的語(yǔ)音輸出、并非專(zhuān)用于任何語(yǔ)言的音調(diào)或其他聲音、和/或任何其他合適的聲音。在一些實(shí)施例中，其他類(lèi)型的輸出可由透視頭戴式顯示設(shè)備100提供，如觸覺(jué)/觸摸輸出。
[0018]透視頭戴式顯示設(shè)備100包括右眼相機(jī)204a和左眼相機(jī)204b，在圖2中示意性地示出。相機(jī)204a和204b可被配置成捕捉用戶(hù)的每一眼睛的圖像以用于確定注視方向。例如，眼睛相機(jī)204a和204b可以接收從用戶(hù)的眼睛反射離開(kāi)的注視檢測(cè)光(例如，來(lái)自閃光源)，并基于反射的注視檢測(cè)光的位置和移動(dòng)來(lái)跟蹤用戶(hù)的注視。如下文參考圖3和4更詳細(xì)地描述的，眼睛相機(jī)204a和204b可以利用透視顯示器200a和200b的顯示設(shè)備所使用的光學(xué)結(jié)構(gòu)的至少一部分。因此，眼睛相機(jī)可被定位在顯示設(shè)備的前側(cè)，因?yàn)樽⒁暀z測(cè)光可經(jīng)由透視顯示器的光學(xué)結(jié)構(gòu)而聚焦在相機(jī)上。
[0019]透視顯示器200a和200b以及眼睛相機(jī)204a和204b可經(jīng)由一個(gè)或多個(gè)框架104的緊固機(jī)構(gòu)被定位在相對(duì)于眼睛的查看位置處。例如，如圖2所示，框架104可經(jīng)由耳承206由用戶(hù)的耳朵并經(jīng)由鼻梁208由用戶(hù)的鼻子支撐，以降低框架104的滑動(dòng)。將理解，圖2所示的支撐(如耳承206、鼻承、以及鼻梁208)在本質(zhì)上是示例性的，且頭戴式透視顯示設(shè)備的透視顯示器可經(jīng)由任何合適的機(jī)構(gòu)被定位在查看位置處。例如，可以利用附加支撐，和/或圖2所示的支撐中的一者或多者可被移除、替換、和/或擴(kuò)充以將透視顯示器定位在查看位置處。此外，透視顯示器可通過(guò)除與物理上接觸用戶(hù)的支撐以外的機(jī)構(gòu)來(lái)被定位在查看位置處，而不背離本公開(kāi)的范圍。
[0020]在使用期間，眼睛、顯示器200a和200b以及眼睛相機(jī)204a和204b之間的距離可能變化。如上所述，除非該系統(tǒng)是對(duì)象空間遠(yuǎn)心的，否則來(lái)自眼睛相機(jī)204a和204b的眼睛圖像的大小可響應(yīng)于眼睛與顯示器/相機(jī)之間的距離的這種變化而被更改。因而，眼睛相機(jī)204a和204b中的每一者的入射光瞳可任選地分別定位在顯不設(shè)備200a和200b的光學(xué)裝置的后聚焦面處，以維持準(zhǔn)確注視跟蹤，而不管眼睛、光學(xué)裝置以及眼睛相機(jī)之間的深度變化。
[0021]現(xiàn)在轉(zhuǎn)向圖3，描繪了透視顯示器300的示例實(shí)施例。透視顯示器300包括用于將顯示光和注視檢測(cè)光兩者定向到用戶(hù)304的眼睛302的光學(xué)結(jié)構(gòu)。透視顯示器300包括在306處示意性地示出的被配置成產(chǎn)生圖像以顯示給用戶(hù)304的顯示子系統(tǒng)。顯示子系統(tǒng)306可包括用于產(chǎn)生圖像以供顯示的任何合適的組件，包括但不限于微顯示器和一個(gè)或多個(gè)光源。來(lái)自顯示子系統(tǒng)306的顯示光LD沿顯示光路(由在顯示子系統(tǒng)306處始發(fā)的光線(xiàn)指示)行進(jìn)以到達(dá)用戶(hù)的眼睛302。將理解，分開(kāi)的透視顯示器300可被用于左眼和右眼顯示器，如圖2所示。
[0022]顯示子系統(tǒng)306可將光定向透過(guò)包括配置成傳送來(lái)自顯示設(shè)備的顯示光的分束器310 (例如，偏振分束器或熱鏡)的照明棱鏡308，例如，分束器310可被配置成使可見(jiàn)光通過(guò)而反射紅外光。在一些實(shí)施例中，顯不子系統(tǒng)306可包括反射微顯不器，如娃上液晶(LCoS)顯示器。在其他實(shí)施例中，顯示子系統(tǒng)可包括發(fā)射微顯示器，如有機(jī)發(fā)光二極管(0LED)陣列顯示器類(lèi)型、無(wú)機(jī)發(fā)光二極管(iLED)陣列顯示器類(lèi)