頭戴式顯示器資源管理的制作方法
【專利說(shuō)明】
【背景技術(shù)】
[0001]諸如頭戴式顯示設(shè)備等增強(qiáng)現(xiàn)實(shí)設(shè)備可包括生成各種形式的輸入數(shù)據(jù)的多個(gè)傳感器。這些傳感器中的每一個(gè)傳感器在捕捉并處理輸入數(shù)據(jù)時(shí)都消耗功率。這樣的傳感器可包括例如話筒、圖像傳感器、深度相機(jī)、眼睛跟蹤傳感器，以及位置傳感器。這些傳感器的連續(xù)操作可消耗大量功率并且可能降低頭戴式顯示設(shè)備的電池壽命。另外，在一些示例中，來(lái)自一個(gè)或多個(gè)傳感器的數(shù)據(jù)可通過(guò)網(wǎng)絡(luò)傳送。這樣的輸入數(shù)據(jù)的連續(xù)傳輸也可消耗大量功率以及網(wǎng)絡(luò)資源。
[0002]除了可接受的電池壽命之外，增強(qiáng)現(xiàn)實(shí)設(shè)備的用戶還需要一貫高質(zhì)量的增強(qiáng)現(xiàn)實(shí)體驗(yàn)。盡管關(guān)閉或降低遞送給一個(gè)或多個(gè)傳感器的功率可以降低功耗和/或網(wǎng)絡(luò)需求，但這樣的功率波動(dòng)也可能使增強(qiáng)現(xiàn)實(shí)設(shè)備所提供的增強(qiáng)現(xiàn)實(shí)體驗(yàn)降級(jí)。

【發(fā)明內(nèi)容】

[0003]為解決以上問(wèn)題，提供了一種包括頭戴式顯示設(shè)備的資源管理系統(tǒng)和相關(guān)方法。在一個(gè)示例中，頭戴式顯示設(shè)備被配置成由用戶佩戴且起作用地連接到計(jì)算設(shè)備。頭戴式顯示設(shè)備還包括多個(gè)傳感器和用于呈現(xiàn)全息對(duì)象的顯示系統(tǒng)。
[0004]資源管理系統(tǒng)進(jìn)一步包括由計(jì)算設(shè)備的處理器執(zhí)行的資源管理程序。資源管理程序被配置成按默認(rèn)功率模式來(lái)操作多個(gè)傳感器中的所選傳感器以達(dá)到所選的傳感器保真度水平。資源管理程序還被配置成接收來(lái)自傳感器中的一個(gè)或多個(gè)傳感器的用戶相關(guān)信息，其中用戶相關(guān)信息選自包括以下各項(xiàng)的組:音頻信息、用戶注視信息、用戶位置信息、用戶移動(dòng)信息、用戶圖像信息，以及用戶生理信息。
[0005]資源管理程序進(jìn)一步被配置成確定是否在用戶相關(guān)信息中檢測(cè)到目標(biāo)信息。在檢測(cè)到目標(biāo)信息的情況下，資源管理程序被配置成調(diào)整所選傳感器以按降低的功率模式來(lái)操作，該降低的功率模式比默認(rèn)功率模式使用更少的功率，從而達(dá)到降低的傳感器保真度水平。
[0006]提供本
【發(fā)明內(nèi)容】
以便以簡(jiǎn)化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本
【發(fā)明內(nèi)容】
并不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開的任一部分中所提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。
【附圖說(shuō)明】
[0007]圖1是根據(jù)本公開的一實(shí)施例的資源管理系統(tǒng)的示意圖。
[0008]圖2示出根據(jù)本公開的一實(shí)施例的示例頭戴式顯示設(shè)備。
[0009]圖3是根據(jù)本公開的一實(shí)施例的在使用圖2的頭戴式顯示設(shè)備以及圖1的資源管理系統(tǒng)的物理環(huán)境中的兩個(gè)用戶的示意圖。
[0010]圖4A、4B和4C是根據(jù)本公開的一實(shí)施例的用于管理頭戴式顯示設(shè)備中的資源的方法的流程圖。
[0011]圖5是計(jì)算系統(tǒng)的一實(shí)施例的簡(jiǎn)化示意圖解。
[0012]詳細(xì)描沐
[0013]圖1示出用于管理頭戴式顯示(HMD)設(shè)備中的資源的資源管理系統(tǒng)10的一個(gè)實(shí)施例的示意圖。資源管理系統(tǒng)10包括可被存儲(chǔ)在計(jì)算設(shè)備22的大容量存儲(chǔ)18中的資源管理程序14。資源管理程序14可被加載到存儲(chǔ)器26中并由計(jì)算設(shè)備22的處理器30執(zhí)行以執(zhí)行下文更為詳細(xì)地描述的方法和過(guò)程中的一個(gè)或多個(gè)。計(jì)算設(shè)備22還可包括用于對(duì)計(jì)算設(shè)備的各組件供電的電源32，如電池。
[0014]在一個(gè)示例中，資源管理系統(tǒng)10可包括可被存儲(chǔ)在計(jì)算設(shè)備22的大容量存儲(chǔ)18中的增強(qiáng)現(xiàn)實(shí)顯示程序28。增強(qiáng)現(xiàn)實(shí)顯示程序28可以生成用于顯示在顯示設(shè)備(如第一HMD設(shè)備34)上的虛擬環(huán)境36。虛擬環(huán)境36可包括一個(gè)或多個(gè)虛擬對(duì)象表示，如全息對(duì)象。在一些示例中，虛擬環(huán)境36可被生成以提供交互式視頻游戲形式的增強(qiáng)現(xiàn)實(shí)體驗(yàn)、運(yùn)動(dòng)圖片體驗(yàn)或其他合適的電子游戲或體驗(yàn)。在另一示例中，增強(qiáng)現(xiàn)實(shí)顯示程序28和/或資源管理程序14可被遠(yuǎn)程存儲(chǔ)且可由計(jì)算設(shè)備22通過(guò)該計(jì)算設(shè)備起作用地連接到的網(wǎng)絡(luò)(如網(wǎng)絡(luò)38)來(lái)訪問(wèn)。
[0015]計(jì)算設(shè)備22可采用以下形式:臺(tái)式計(jì)算機(jī)，諸如智能電話、膝上型計(jì)算機(jī)、筆記本或平板計(jì)算機(jī)之類的移動(dòng)計(jì)算設(shè)備，網(wǎng)絡(luò)計(jì)算機(jī)，家庭娛樂(lè)計(jì)算機(jī)，交互式電視，游戲系統(tǒng)，或其他合適類型的計(jì)算設(shè)備。關(guān)于計(jì)算設(shè)備22的組件和計(jì)算方面的附加細(xì)節(jié)在下文中參考圖5所示的計(jì)算系統(tǒng)被更詳細(xì)地描述。
[0016]計(jì)算設(shè)備22可使用有線連接來(lái)與第一 HMD設(shè)備34起作用地連接，或可采用通過(guò)WiF1、藍(lán)牙或任何其他合適的無(wú)線通信協(xié)議的無(wú)線連接。另外，圖1中示出的示例將計(jì)算設(shè)備22示為與第一 HMD設(shè)備34分開的組件。將理解，在其他示例中，計(jì)算設(shè)備22可被集成到第一 HMD設(shè)備34中。
[0017]計(jì)算設(shè)備22還可經(jīng)由網(wǎng)絡(luò)38與一個(gè)或多個(gè)附加設(shè)備起作用地連接。在一個(gè)示例中，計(jì)算設(shè)備22可以經(jīng)由網(wǎng)絡(luò)38與第二 HMD設(shè)備通信。網(wǎng)絡(luò)38可以采取局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、有線網(wǎng)絡(luò)、無(wú)線網(wǎng)絡(luò)、個(gè)人區(qū)域網(wǎng)或其組合的形式，并可包括因特網(wǎng)。
[0018]現(xiàn)在還參考圖2，提供了一副具有透明顯示器50的可配戴眼鏡形式的HMD設(shè)備200的示例。將明白，在其他示例中，HMD設(shè)備200可以采取其他合適的形式，其中透明、半透明或不透明顯示器被支撐在查看者的一只或兩只眼睛前方。還將明白，圖1中所示的HMD設(shè)備34可以采取HMD設(shè)備200的形式(如在下文更詳細(xì)地描述的)或任何其他合適的HMD設(shè)備。另外，還可使用具有各種形狀因子的許多其他類型和配置的顯示設(shè)備。例如，還可使用提供增強(qiáng)現(xiàn)實(shí)體驗(yàn)的手持式顯示設(shè)備。
[0019]參考圖1和2，在這一示例中，第一 HMD設(shè)備34包括顯示系統(tǒng)46和使圖像能夠被遞送到用戶的眼睛的透明顯示器50。透明顯示器50可被配置成向透過(guò)該透明顯示器查看物理環(huán)境的用戶在視覺(jué)上增強(qiáng)該物理環(huán)境的外觀。例如，物理環(huán)境的外觀可以由經(jīng)由透明顯示器50呈現(xiàn)的圖形內(nèi)容(例如，一個(gè)或多個(gè)像素，每一像素具有相應(yīng)色彩和亮度)來(lái)增強(qiáng)。
[0020]透明顯示器50還可被配置成使用戶能夠透過(guò)顯示虛擬對(duì)象表示的一個(gè)或多個(gè)部分透明的像素來(lái)查看物理環(huán)境中的物理現(xiàn)實(shí)世界對(duì)象。在一個(gè)示例中，透明顯示器50可包括位于透鏡204內(nèi)的圖像生成元件(諸如例如透視有機(jī)發(fā)光二極管(OLED)顯示器)。作為另一示例，透明顯示器50可包括在透鏡204邊緣上的光調(diào)制器。在這一示例中，透鏡204可以擔(dān)當(dāng)光導(dǎo)以供將光從光調(diào)制器遞送到用戶的眼睛。這樣的光導(dǎo)可以使用戶能夠感覺(jué)3D虛擬圖像位于用戶正在查看的物理環(huán)境內(nèi)，這還允許用戶查看物理環(huán)境中的物理對(duì)象。
[0021 ] 在其他示例中，透明顯示器50可以支持在從物理環(huán)境接收到的光在到達(dá)佩戴HMD設(shè)備200的用戶的眼睛之前對(duì)該光進(jìn)行選擇性過(guò)濾。這樣的過(guò)濾可以在逐像素地或按像素群的基礎(chǔ)上來(lái)執(zhí)行。在一個(gè)示例中，透明顯示器50可包括添加一個(gè)或多個(gè)被照亮像素形式的光的第一顯示層，以及過(guò)濾從物理環(huán)境接收到的環(huán)境光的第二顯示層。這些層可具有不同顯示分辨率、像素密度，和/或顯示能力。
[0022]第二顯示層可包括其中可生成阻擋圖像的一個(gè)或多個(gè)不透明層52。一個(gè)或多個(gè)不透明層52可集成在透明顯示器50內(nèi)。在其他示例中，一個(gè)或多個(gè)不透明層52可以分開安裝或附連到透明顯示器50附近，如以單獨(dú)遮罩的形式。
[0023]第一 HMD設(shè)備34還可包括各種系統(tǒng)和傳感器。例如，第一 HMD設(shè)備34可包括利用至少一個(gè)面向內(nèi)的傳感器208 (參見(jiàn)圖2)的眼睛跟蹤傳感器系統(tǒng)54。該面向內(nèi)的傳感器208可以是被配置成從用戶的眼睛獲取眼睛跟蹤信息形式的圖像數(shù)據(jù)的圖像傳感器。假定用戶已同意獲取和使用這一信息，眼睛跟蹤傳感器系統(tǒng)54可以使用這一信息來(lái)跟蹤用戶的眼睛的位置和/或移動(dòng)。眼睛跟蹤傳感器系統(tǒng)54隨后可以確定用戶正在注視何處和/或什么物理對(duì)象或虛擬對(duì)象。該面向內(nèi)的傳感器208還可包括捕捉可見(jiàn)光譜和/或紅外光的一個(gè)或多個(gè)光學(xué)傳感器。這樣的傳感器可被用于例如確定用戶的臉與HMD設(shè)備34的鄰近度。
[0024]第一 HMD設(shè)備34還可包括利用至少一個(gè)面向外的傳感器212 (如光學(xué)傳感器)的光學(xué)傳感器系統(tǒng)58。面向外的傳感器212可以檢測(cè)其視野內(nèi)的移動(dòng)，如視野內(nèi)的用戶或人或物理對(duì)象所執(zhí)行的基于姿勢(shì)的輸入或其他移動(dòng)。面向外的傳感器212還可從物理環(huán)境和該環(huán)境內(nèi)的物理對(duì)象捕捉圖像信息和深度信息。例如，面向外的傳感器212可包括深度相機(jī)、可見(jiàn)光相機(jī)、紅外光相機(jī)，和/或位置跟蹤相機(jī)。在一些示例中，面向外的傳感器212可包括用于觀察來(lái)自物理環(huán)境中的真實(shí)世界光照條件的可見(jiàn)光譜和/或紅外光的一個(gè)或多個(gè)光學(xué)傳感器。這樣的傳感器可包括例如可檢測(cè)RGB環(huán)境光和/或黑及白環(huán)境光的電荷耦合器件圖像傳感器。
[0025]如上所述，第一 HMD設(shè)備34可包括經(jīng)由一個(gè)或多個(gè)深度相機(jī)的深度感測(cè)。每一深度相機(jī)可包括例如立體視覺(jué)系統(tǒng)的左和右相機(jī)。來(lái)自這些深度相機(jī)中的一個(gè)或多個(gè)的時(shí)間分辨的圖像可被彼此配準(zhǔn)和/或與來(lái)自另一光學(xué)傳感器(如可見(jiàn)光譜相機(jī))的圖像配準(zhǔn)，且可被組合以產(chǎn)生深度分辨的視頻。
[0026]在一些實(shí)施例中，深度相機(jī)可以采取結(jié)構(gòu)化光深度相機(jī)的形式，該結(jié)構(gòu)化光深度相機(jī)被配置成投影包括多個(gè)離散的特征(例如，線或點(diǎn))的結(jié)構(gòu)化紅外照明。深度相機(jī)可被配置成對(duì)從結(jié)構(gòu)化照明被投影到其之上的場(chǎng)景中反射的結(jié)構(gòu)化照明進(jìn)行成像。基于所成像的場(chǎng)景的各個(gè)區(qū)域內(nèi)鄰近特征之間的間隔，可構(gòu)造該場(chǎng)景的深度圖。
[0027]在其他示例中，深度相機(jī)可以采取飛行時(shí)間深度相機(jī)的形式，其被配置成將脈沖的紅外照明投影到該場(chǎng)景上。該深度相機(jī)可被配置成對(duì)從場(chǎng)景反射的脈沖照明進(jìn)行檢測(cè)。這些深度相機(jī)中的兩個(gè)或更多個(gè)可包括與該脈沖照明同步的電子快門。兩個(gè)或更多個(gè)深度相機(jī)的積分時(shí)間可能不同，使得從源到場(chǎng)景并隨后到深度相機(jī)的、脈沖照明的像素分辨的飛行時(shí)間不能根據(jù)在這兩個(gè)深度相機(jī)的對(duì)應(yīng)像素中接收到的光的相對(duì)量來(lái)辨別出。第一HMD設(shè)備34還可包括用于輔助結(jié)構(gòu)化光和/或飛行時(shí)間深度分析的紅外投影儀。
[0028]在其他示例中，來(lái)自所述用戶和/或物理環(huán)境中的人的基于姿勢(shì)的輸入和其他運(yùn)動(dòng)輸入也可經(jīng)由一個(gè)或多個(gè)深度相機(jī)來(lái)檢測(cè)。例如，面向外的傳感器212可包括用于創(chuàng)建深度圖像的具有已知相對(duì)位置的兩個(gè)或更多個(gè)光學(xué)傳感器。使用來(lái)自具有已知相對(duì)位置的這些光學(xué)傳感器的