體視頻呈現(xiàn)的制作方法
【專利摘要】本發(fā)明描述了涉及通過(guò)頭戴式顯示器在呈現(xiàn)空間中的視頻圖像的呈現(xiàn)的各種實(shí)施例。例如，一個(gè)被公開(kāi)的實(shí)施例包括從位置和朝向傳感系統(tǒng)接收觀眾的位置數(shù)據(jù)和朝向數(shù)據(jù)，并從所述觀眾的位置數(shù)據(jù)和朝向數(shù)據(jù)中定位呈現(xiàn)空間中的一個(gè)觀眾，確定該用戶面朝的方向并確定頭戴式顯示系統(tǒng)的朝向。從所確定的位置、方向和朝向中，根據(jù)體圖像的一部分和朝向確定呈現(xiàn)圖像，所述體圖像的該部分被映射到在觀眾視野內(nèi)的呈現(xiàn)空間的該部分。隨后，將所述呈現(xiàn)圖像發(fā)送給頭戴式顯示器。
【專利說(shuō)明】體視頻呈現(xiàn)
[0001]背景
[0002]可以以二維或三維格式來(lái)呈現(xiàn)視頻內(nèi)容。三維視頻呈現(xiàn)通常涉及使用過(guò)濾眼鏡來(lái)允許將略微不同的圖像傳遞到觀眾的左眼和右眼。在這樣的視頻呈現(xiàn)中，雖然所顯示的圖像看起來(lái)具有三維，但是，改變用戶的視角不會(huì)改變正被觀看的內(nèi)容，因?yàn)闊o(wú)論觀眾的視角在觀看環(huán)境中何處，都是同樣的圖像到達(dá)觀眾的眼睛。
[0003]虛擬世界和其它交互計(jì)算機(jī)圖形呈現(xiàn)可以允許用戶通過(guò)改變第一或第三人稱人物的視角的用戶輸入來(lái)觀看一個(gè)場(chǎng)景的不同部分，所述場(chǎng)景的不同部分是通過(guò)所述人物觀看到的場(chǎng)景。用戶可以通過(guò)來(lái)自用戶輸入設(shè)備(例如鍵盤(pán)、游戲桿等等)的輸入來(lái)控制在虛擬世界或其它計(jì)算機(jī)圖形環(huán)境中所觀看到的視角。

【發(fā)明內(nèi)容】

[0004]在此描述了涉及通過(guò)頭戴式顯示器在呈現(xiàn)空間中的視頻圖像的呈現(xiàn)的各種實(shí)施例，這樣，用戶可以通過(guò)改變?cè)诔尸F(xiàn)空間中的視角來(lái)觀看體圖像數(shù)據(jù)()的不同視角。例如，一個(gè)被公開(kāi)的實(shí)施例包括從位置和朝向傳感系統(tǒng)接收觀眾的位置數(shù)據(jù)和朝向數(shù)據(jù)，并從所述觀眾的位置數(shù)據(jù)和朝向數(shù)據(jù)中定位呈現(xiàn)空間中的一個(gè)觀眾，確定該用戶面朝的方向并確定頭戴式顯示系統(tǒng)的朝向。從所確定的位置、方向和朝向中，基于被映射到呈現(xiàn)空間的體圖像的一部分和朝向來(lái)確定發(fā)送給所述頭戴式顯示系統(tǒng)的一個(gè)呈現(xiàn)圖像，所述部分在基于觀眾在呈現(xiàn)空間中的視野的觀眾視野中。隨后，將所述呈現(xiàn)圖像發(fā)送給頭戴式顯示器。
[0005]提供本概述是為了以簡(jiǎn)化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的選擇的概念。本概述并不旨在標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護(hù)主題的范圍。此外，所要求保護(hù)的主題不限于解決在本公開(kāi)的任一部分中所提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。
【專利附圖】

【附圖說(shuō)明】
[0006]圖1示出了根據(jù)本公開(kāi)的一個(gè)實(shí)施例的在呈現(xiàn)空間中的觀眾的示意性描述，并且還示出了根據(jù)呈現(xiàn)空間中的觀眾視角呈現(xiàn)給用戶的視頻圖像。
[0007]圖2是體視頻呈現(xiàn)系統(tǒng)的實(shí)施例的框圖。
[0008]圖3示出了頭戴式顯示系統(tǒng)的實(shí)施例。
[0009]圖4示出了描繪呈現(xiàn)體視頻圖像給觀眾的方法的實(shí)施例的流程圖。
[0010]圖5示出了描繪呈現(xiàn)交互圖形用戶界面的方法的實(shí)施例的流程圖。
[0011]圖6示出在接收用戶交互之前的交互可視界面的實(shí)施例。
[0012]圖7示出在接收用戶交互之后的圖6的用戶界面。
[0013]圖8示出計(jì)算設(shè)備的示例實(shí)施例。
【具體實(shí)施方式】
[0014]如上所述，虛擬世界和其它計(jì)算機(jī)圖形呈現(xiàn)可以允許用戶通過(guò)改變通過(guò)其來(lái)觀看場(chǎng)景的第一或第三人稱人物的視角的用戶輸入來(lái)觀看一個(gè)場(chǎng)景的不同視角。用戶可以通過(guò)來(lái)自用戶輸入設(shè)備，例如鍵盤(pán)、游戲桿等等，控制在虛擬世界或其它計(jì)算機(jī)圖形環(huán)境中所觀看到的視角。
[0015]然而，玩家可以享受當(dāng)前虛擬世界體驗(yàn)的交互性程度可能受限于被用于控制用戶在虛擬世界中移動(dòng)的機(jī)制。例如，將諸如鍵盤(pán)、游戲桿、方向墊等之類的手工輸入設(shè)備用于導(dǎo)航虛擬世界妨礙了用戶享受與該世界的更加真實(shí)的交互性，例如能夠在虛擬世界場(chǎng)景中行走以查看該場(chǎng)景的不同視角。
[0016]而且，如上所述，視頻呈現(xiàn)可能沒(méi)有為觀眾提供改變視頻內(nèi)容項(xiàng)內(nèi)的視角的能力。例如，與計(jì)算機(jī)圖形呈現(xiàn)不同，視頻觀眾可能不具有通過(guò)選擇將視角改變180度來(lái)觀看在視頻觀眾的視點(diǎn)之后發(fā)生的動(dòng)作的能力。
[0017]因此，在此公開(kāi)了涉及這樣一種方式的視頻內(nèi)容呈現(xiàn)的實(shí)施例:用戶可以在視頻內(nèi)容呈現(xiàn)空間內(nèi)移動(dòng)以從各種視角觀看視頻內(nèi)容呈現(xiàn)。例如，觀看足球比賽的觀眾能夠在觀看環(huán)境中行走以獲得比賽的爭(zhēng)球線的更近視圖。類似地，觀看戲劇表演的觀眾能夠圍繞一個(gè)正在發(fā)生一個(gè)場(chǎng)景的房間行走，以從該房間內(nèi)的不同視角觀看人物。
[0018]所公開(kāi)的實(shí)施例利用了頭戴式顯示器來(lái)向觀眾顯示圖像，并使用位置和朝向跟蹤系統(tǒng)來(lái)跟蹤在呈現(xiàn)空間內(nèi)的用戶運(yùn)動(dòng)和朝向。這樣的位置和朝向跟蹤系統(tǒng)可以包括，例如，配置為成像呈現(xiàn)空間的一個(gè)或多個(gè)相機(jī)和/或在所述頭戴式顯示器上用來(lái)跟蹤用戶的頭沿滾動(dòng)軸、俯仰軸和/或偏航軸的朝向的一個(gè)或多個(gè)運(yùn)動(dòng)傳感器。
[0019]位置和朝向跟蹤系統(tǒng)還可以包括相機(jī)信標(biāo)系統(tǒng)。例如，呈現(xiàn)空間中的對(duì)象可以被配置為發(fā)射參考信號(hào)，該信號(hào)是空間上相關(guān)的且結(jié)構(gòu)化的，使得頭戴式顯示系統(tǒng)上的相機(jī)可以看到并跟蹤結(jié)構(gòu)化光圖案。隨后，可以將結(jié)構(gòu)化光圖案的圖像用于確定用戶的位置和朝向。在又一個(gè)其它實(shí)施例中，可以在呈現(xiàn)空間中提供單個(gè)寬廣視野相機(jī)，并且，頭戴式顯示系統(tǒng)發(fā)射可由相機(jī)觀看到的結(jié)構(gòu)化空間上的相關(guān)的信標(biāo)以確定用戶的位置和朝向。類似的系統(tǒng)可以使用射頻信標(biāo)。將可以理解，是出于示例的目的來(lái)描述這些位置和朝向跟蹤系統(tǒng)，并且不旨在將其局限于任何形式，并且可以使用任意其它適合的運(yùn)動(dòng)跟蹤系統(tǒng)，例如磁性系統(tǒng)。
[0020]可以從所述位置和朝向跟蹤系統(tǒng)中獲得描述觀眾的眼睛在呈現(xiàn)空間中的位置和朝向的數(shù)據(jù)，并將其用于計(jì)算并呈現(xiàn)要通過(guò)頭戴式顯示器顯示的圖像?？梢砸灾饚幕A(chǔ)，或僅當(dāng)檢測(cè)到用戶在呈現(xiàn)空間中的運(yùn)動(dòng)時(shí)，才執(zhí)行這樣的位置和朝向分析。在任一情況下，用戶能夠通過(guò)物理地在呈現(xiàn)空間內(nèi)移動(dòng)來(lái)觀看各種各樣視角的視頻呈現(xiàn)。
[0021]這樣的系統(tǒng)可以通過(guò)將體視頻數(shù)據(jù)映射到呈現(xiàn)空間來(lái)允許視頻數(shù)據(jù)被呈現(xiàn)在諸如房間的呈現(xiàn)空間內(nèi)。在此使用的術(shù)語(yǔ)“體視頻數(shù)據(jù)”描述了從多個(gè)視圖中捕捉的視頻數(shù)據(jù)，這樣，可以從觀看空間()的各種視角合適地呈現(xiàn)所述視頻數(shù)據(jù)中對(duì)象的外觀和空間關(guān)系。作為更加具體的示例，可以由相機(jī)在多個(gè)不同的角度，例如基本圍繞攝影棚，來(lái)記錄戲劇表演。隨后，來(lái)自相機(jī)的圖像數(shù)據(jù)可以被縫合在一起以形成一個(gè)包含了由所述多個(gè)相機(jī)所捕捉的視角范圍內(nèi)的所有圖像數(shù)據(jù)的視頻文件。在其中由視頻捕捉了戲劇表演的內(nèi)容生產(chǎn)空間的幾何知識(shí)可以允許生產(chǎn)空間被映射到所捕捉的視頻數(shù)據(jù)。隨后，這種映射可以被應(yīng)用于在其中呈現(xiàn)了所述視頻數(shù)據(jù)的呈現(xiàn)空間。在這種方式中，呈現(xiàn)空間的體(volume)可以用映射的視頻數(shù)據(jù)來(lái)填充，這樣，在呈現(xiàn)空間中的觀眾通過(guò)頭戴式顯示系統(tǒng)從所述呈現(xiàn)空間內(nèi)的任意適合的視角來(lái)觀看視頻內(nèi)容?？梢岳斫?可以通過(guò)修剪視頻內(nèi)容的邊側(cè)、允許用戶將視頻內(nèi)容在呈現(xiàn)空間的邊緣處滾入視圖或從其滾出(例如通過(guò)一個(gè)或多個(gè)圖像傳感器所檢測(cè)到的姿勢(shì)輸入)，通過(guò)限制用戶可以(相對(duì)于視圖)移動(dòng)的視頻數(shù)據(jù)體的一部分和/或以任意其它適合的方式來(lái)處理在呈現(xiàn)空間和在視頻數(shù)據(jù)中捕捉的內(nèi)容生產(chǎn)空間體之間的幾何誤配。
[0022]圖1描述了這樣的體視頻呈現(xiàn)的示例使用場(chǎng)景。描述了在呈現(xiàn)空間102中的觀眾100，所述呈現(xiàn)空間包括位于房間內(nèi)各個(gè)位置處的多個(gè)相機(jī)104、106。相機(jī)104、106可以用于跟蹤在呈現(xiàn)空間102內(nèi)的觀眾100的位置。雖然出于說(shuō)明的目的示出了兩個(gè)相機(jī)，但應(yīng)該理解可以使用任何適合數(shù)目的相機(jī)來(lái)跟蹤在呈現(xiàn)空間102內(nèi)的觀眾100的位置。還可以理解，呈現(xiàn)空間可以包括任意其它合適的位置和朝向跟蹤系統(tǒng)，包括但不局限于上述這些系統(tǒng)。
[0023]而且，呈現(xiàn)空間102包括由觀眾100穿戴的頭戴式顯示系統(tǒng)110以查看體圖像呈現(xiàn)。雖然出于示例的目的描述了單個(gè)觀眾100，但應(yīng)該理解多個(gè)觀眾可以觀看呈現(xiàn)空間102內(nèi)的視頻呈現(xiàn)。
[0024]呈現(xiàn)空間102還包括視頻呈現(xiàn)計(jì)算設(shè)備112。視頻呈現(xiàn)計(jì)算設(shè)備112被配置為接收視頻呈現(xiàn)的體視頻數(shù)據(jù)，并將所述體視頻數(shù)據(jù)映射到呈現(xiàn)空間。應(yīng)該理解，可以從任意合適的源，包括但不局限于諸如DVD播放器之類的本地源和/或通過(guò)網(wǎng)絡(luò)的遠(yuǎn)程源，來(lái)接收體視頻數(shù)據(jù)。
[0025]視頻呈現(xiàn)計(jì)算設(shè)備112還被配置為從相機(jī)104、106接收觀眾跟蹤圖像數(shù)據(jù)以及從在頭戴式顯示系統(tǒng)110 (如下所述)上的各種傳感器接收運(yùn)動(dòng)數(shù)據(jù)以允許跟蹤觀眾100的眼睛在呈現(xiàn)空間102中的位置和朝向。而且，在一些實(shí)施例中，來(lái)自頭戴式顯示系統(tǒng)110上的眼球跟蹤相機(jī)的輸入可以提供關(guān)于觀眾的凝視所指向的方向的輸入。從這些輸入中，視頻呈現(xiàn)計(jì)算設(shè)備112可以確定要發(fā)送給頭戴式顯示系統(tǒng)100以呈現(xiàn)給觀眾100的圖像。
[0026]通過(guò)以逐幀的基礎(chǔ)來(lái)執(zhí)行這樣的處理，當(dāng)觀眾在呈現(xiàn)空間102內(nèi)走來(lái)走去時(shí)可以將不同的圖像呈現(xiàn)給觀眾。例如，圖1描述了觀看棒球比賽的觀眾100。在時(shí)間h的第一視角中，將觀眾100定位在將觀看視角放置在本魚(yú)板(home plate)之后的位置處。接著，在時(shí)間A，觀眾100在呈現(xiàn)空間102內(nèi)移動(dòng)到允許從沿第一壘線觀看棒球比賽的位置和朝向。隨后，在t2,觀眾100沿第一魚(yú)線進(jìn)一步移動(dòng)并改變朝向到觀看打向右場(chǎng)(hit towardright field)。在這種方式中，觀眾100能夠通過(guò)簡(jiǎn)單地在呈現(xiàn)空間102內(nèi)移動(dòng)來(lái)改變從其觀看比賽的視角。應(yīng)該理解，依據(jù)呈現(xiàn)空間到體視頻數(shù)據(jù)的映射以及在體數(shù)據(jù)中的可用視角的范圍，觀眾能夠改變?cè)诎羟驁?chǎng)上的視角，例如在投手或接球手之后，或到任意其它適合的視角。
[0027]圖2描述了圖1的觀看環(huán)境的框圖。圖1的呈現(xiàn)空間102以虛線示出，并且被示為包括視頻呈現(xiàn)計(jì)算設(shè)備112。然而，應(yīng)該理解，視頻呈現(xiàn)計(jì)算設(shè)備112和/或任意其它合適的組件，可以被物理地與呈現(xiàn)空間分開(kāi)102定位，只要在視頻呈現(xiàn)計(jì)算設(shè)備112和在呈現(xiàn)空間102中使用的各種輸入傳感器和輸出設(shè)備之間存在通信信道。
[0028]頭戴式顯示系統(tǒng)110可以包括各種傳感器和輸出設(shè)備。例如，頭戴式顯示系統(tǒng)110可以包括透視顯示子系統(tǒng)200，以便可以將圖像投射到透鏡202上，或通過(guò)在透鏡202內(nèi)定位的圖像產(chǎn)生元件(例如透視OLED顯示器)來(lái)生成圖像。頭戴式顯示系統(tǒng)110可以進(jìn)一步包括一個(gè)或多個(gè)圖像傳感器204。例如，圖像傳感器204可以包括被配置為獲取圖像數(shù)據(jù)以允許跟蹤觀眾眼球的圖像數(shù)據(jù)的眼睛跟蹤圖像傳感器。類似地，圖像傳感器204可以包括例如允許基于姿勢(shì)的用戶輸入的一個(gè)或多個(gè)面向外的圖像傳感器。在一些實(shí)施例中，還可以通過(guò)呈現(xiàn)空間相機(jī)104、106來(lái)檢測(cè)基于姿勢(shì)的用戶輸入，而在其它實(shí)施例中，可以不使用基于姿勢(shì)的輸入。頭戴式顯示系統(tǒng)110可以進(jìn)一步包括一個(gè)或多個(gè)麥克風(fēng)206以允許使用語(yǔ)音命令作為用戶輸入。或者或另外地，與頭戴式顯示系統(tǒng)110分開(kāi)的觀看環(huán)境麥克風(fēng)207可以被用于檢測(cè)觀眾的語(yǔ)音命令。
[0029]頭戴式顯示系統(tǒng)110可以進(jìn)一步包括當(dāng)觀眾穿戴著頭戴式顯示系統(tǒng)110時(shí)檢測(cè)該觀眾的頭部運(yùn)動(dòng)的一個(gè)或多個(gè)運(yùn)動(dòng)傳感器208。運(yùn)動(dòng)傳感器208可以輸出運(yùn)動(dòng)數(shù)據(jù)以提供給視頻呈現(xiàn)計(jì)算設(shè)備112以跟蹤觀眾頭部運(yùn)動(dòng)和眼睛朝向。因?yàn)檫@樣的運(yùn)動(dòng)數(shù)據(jù)可以利于檢測(cè)用戶的頭部沿滾動(dòng)軸、俯仰軸和/或偏航軸的傾斜，這樣的數(shù)據(jù)也被稱為朝向數(shù)據(jù)。類似地，運(yùn)動(dòng)傳感器208還可以被用作用戶輸入設(shè)備，這樣，用戶可以通過(guò)頸部和頭部或者甚至身體的姿勢(shì)來(lái)與頭戴式顯示系統(tǒng)110交互?？梢岳斫猓瑘D2所描繪的傳感器是出于示例的目的而示出的，且不旨在以任何方式進(jìn)行限制，因?yàn)榭梢允褂萌魏纹渌线m的傳感器和/或傳感器的組合。
[0030]頭戴式顯示系統(tǒng)110還包括具有邏輯子系統(tǒng)212和數(shù)據(jù)保持子系統(tǒng)的與頭戴式顯示系統(tǒng)110的各種輸入和輸出設(shè)備通信的控制器210。數(shù)據(jù)保持子系統(tǒng)214包括存儲(chǔ)在其上的指令，所述指令可由邏輯子系統(tǒng)212執(zhí)行以例如通過(guò)通信子系統(tǒng)216接收并轉(zhuǎn)發(fā)(以未處理或已處理的形式)來(lái)自傳感器的輸入到視頻呈現(xiàn)計(jì)算設(shè)備112，從視頻呈現(xiàn)計(jì)算設(shè)備112接收?qǐng)D像數(shù)據(jù)，并通過(guò)透視顯示子系統(tǒng)200來(lái)將這樣的圖像呈現(xiàn)給觀眾?？梢酝ㄟ^(guò)頭戴式顯示系統(tǒng)上的一個(gè)或多個(gè)揚(yáng)聲器218或通過(guò)呈現(xiàn)空間內(nèi)的另一個(gè)音頻輸出220來(lái)呈現(xiàn)音頻。
[0031]頭戴式顯示系統(tǒng)110可以具有任意合適的物理形式。例如，在一些實(shí)施例中，頭戴式顯示系統(tǒng)110可以采用一對(duì)太陽(yáng)鏡的形式，如圖3所示。在其它實(shí)施例中，頭戴式顯示系統(tǒng)110可以具有在其中在觀眾的一個(gè)或兩個(gè)眼睛前面支撐了透視顯示系統(tǒng)的任意其它合適的形式?？梢宰⒁獾?，圖3示出了面向外的圖像傳感器204以及眼睛跟蹤圖像傳感器300這兩者。
[0032]回到圖2，圖1的相機(jī)104、106被示為相機(jī)I和任意相機(jī)n，指示了可以將任意合適數(shù)目的相機(jī)(包括但不局限于2)用于跟蹤呈現(xiàn)空間102內(nèi)的用戶運(yùn)動(dòng)，并提供觀眾位置數(shù)據(jù)給視頻呈現(xiàn)計(jì)算設(shè)備。而且，可以理解，可以使用任意其它合適位置和朝向檢測(cè)系統(tǒng)。
[0033]當(dāng)多個(gè)相機(jī)被用于觀眾位置跟蹤時(shí)，可以以任意合適的方式將相機(jī)校準(zhǔn)到呈現(xiàn)空間。在一些實(shí)施例中，相機(jī)可以被配置為自校準(zhǔn)的。例如，每個(gè)相機(jī)可以包括將結(jié)構(gòu)化光圖案投射到呈現(xiàn)空間中的結(jié)構(gòu)化光投射系統(tǒng)。隨后，由相機(jī)檢測(cè)這樣的結(jié)構(gòu)化光圖案以自己校準(zhǔn)到呈現(xiàn)環(huán)境。隨后，為了校準(zhǔn)所述呈現(xiàn)空間中的一個(gè)相機(jī)到另一個(gè)相機(jī)的位置，一個(gè)相機(jī)可以捕捉圖像，同時(shí)另一個(gè)相機(jī)發(fā)射結(jié)構(gòu)化光圖案。隨后，視頻呈現(xiàn)計(jì)算設(shè)備可以使用圖像中的結(jié)構(gòu)化光圖案的外觀和位置以及哪個(gè)相機(jī)發(fā)射了結(jié)構(gòu)化光圖案的知識(shí)來(lái)校準(zhǔn)由每個(gè)相機(jī)所獲取的圖像之間的重疊。這可以對(duì)所有相機(jī)對(duì)都執(zhí)行，直到確定了每個(gè)相機(jī)之間的視野重疊。
[0034]視頻呈現(xiàn)計(jì)算設(shè)備112被描述為與呈現(xiàn)空間102內(nèi)的頭戴式顯示系統(tǒng)110、相機(jī)104、106、麥克風(fēng)207以及音頻輸出220進(jìn)行通信。而且，視頻呈現(xiàn)計(jì)算設(shè)備112被描述為接收來(lái)自多個(gè)內(nèi)容源的輸入，所述內(nèi)容源包括位于呈現(xiàn)空間102內(nèi)的內(nèi)容源1222以及位于呈現(xiàn)空間102之外的內(nèi)容源2224和n226。
[0035]內(nèi)容源222可以表示任意合適的本地內(nèi)容源，例如DVD播放器、數(shù)字視頻錄像機(jī)(DVR)或其它這樣的本地媒體數(shù)據(jù)源。類似地，內(nèi)容源224和226可以表示可由視頻呈現(xiàn)計(jì)算設(shè)備112訪問(wèn)的任意遠(yuǎn)程內(nèi)容源。例如，內(nèi)容源2和/或n可以表示可以從其流傳送或下載體視頻數(shù)據(jù)的網(wǎng)站。類似地，內(nèi)容源224、226可以表示任意合適的遠(yuǎn)程媒體源，例如有線電視供應(yīng)商、衛(wèi)星電視供應(yīng)商、計(jì)算機(jī)網(wǎng)絡(luò)可訪問(wèn)流媒體供應(yīng)商等。這樣，網(wǎng)絡(luò)228可以表示可以在其上從遠(yuǎn)程源接收內(nèi)容的任意合適的一個(gè)或多個(gè)網(wǎng)絡(luò)。
[0036]圖4示出了描繪通過(guò)頭戴式顯示器呈現(xiàn)體視頻數(shù)據(jù)的方法400的實(shí)施例的流程圖?？梢岳斫?，在執(zhí)行方法400之前，視頻呈現(xiàn)計(jì)算設(shè)備可以將位于呈現(xiàn)空間內(nèi)的圖像傳感器校準(zhǔn)到呈現(xiàn)空間體。可以以任意合適的方式并以任意合適的頻率來(lái)執(zhí)行這樣的校準(zhǔn)，包括但不局限于在系統(tǒng)安裝處。
[0037]方法400首先包括接收體圖像數(shù)據(jù)并在402將該體圖像數(shù)據(jù)映射到呈現(xiàn)空間402。這種映射可以包括，例如，確定表示在體圖像中的一個(gè)區(qū)域的體圖像數(shù)據(jù)的一部分，在該區(qū)域中用戶可以走來(lái)走去，并且隨后將圖像的該部分中的像素與呈現(xiàn)空間中的位置相關(guān)聯(lián)。
[0038]在一些情況中，整個(gè)圖像體(image volume)可以是交互的,這樣,用戶可以從任意期望的視角來(lái)查看每個(gè)圖像幀中的對(duì)象。作為更加具體的示例，可以從足夠數(shù)量的相機(jī)角度錄制體戲劇表演，以便允許用戶在顯示的場(chǎng)景的周界中走來(lái)走去，并且通過(guò)整個(gè)場(chǎng)景的體并從該區(qū)域內(nèi)的所有視角來(lái)查看演員的圖像。在一個(gè)這樣的呈現(xiàn)的具體示例中，場(chǎng)景中的墻的圖像的位置可以對(duì)應(yīng)于在呈現(xiàn)空間中的真實(shí)的墻的位置。應(yīng)該理解，所述圖可以具有任意其它合適的邊界外觀。
[0039]在其它情況中，圖像體中僅有一部分可以是交互的，這樣，用戶可能不能移動(dòng)來(lái)揭示在體視頻內(nèi)容中的對(duì)象和/或人的某些視角。
[0040]在將體視頻數(shù)據(jù)映射到呈現(xiàn)空間之后，方法400包括在404檢索體視頻數(shù)據(jù)的幀，并且隨后執(zhí)行各種處理來(lái)確定要發(fā)送給頭戴式顯示器以呈現(xiàn)給觀眾的圖像。例如，在408，方法400可以包括從呈現(xiàn)空間中的圖像傳感器接收觀眾跟蹤數(shù)據(jù)，并在410，通過(guò)跟蹤圖像數(shù)據(jù)來(lái)定位呈現(xiàn)空間中的觀眾。可以理解，呈現(xiàn)空間中的多個(gè)觀眾可以以這種方式來(lái)標(biāo)識(shí)。類似地，還可以將觀眾跟蹤數(shù)據(jù)用于確定用戶在呈現(xiàn)空間中面向的方向，如在412處所示。
[0041]而且，來(lái)自頭戴式顯示系統(tǒng)上的運(yùn)動(dòng)傳感器的數(shù)據(jù)可以被用于幫助確定要呈現(xiàn)給觀眾的圖像。例如，如在414處所示，方法400可以包括接收來(lái)自頭戴式顯示系統(tǒng)上的一個(gè)或多個(gè)運(yùn)動(dòng)傳感器的運(yùn)動(dòng)數(shù)據(jù)，并隨后在416處確定頭戴式顯示器(而這就是用戶的眼睛)的朝向。
[0042]在一些實(shí)施例中，可以從頭戴式顯示系統(tǒng)上的圖像傳感器接收眼球跟蹤數(shù)據(jù)，如在418處所示。這樣的數(shù)據(jù)隨后可以被用于確定觀眾的視覺(jué)相對(duì)于頭戴式顯示系統(tǒng)的光軸所指向的方向，所述光軸對(duì)應(yīng)于觀眾向前方的直視，如在420處所不。
[0043]接著，基于觀眾跟蹤數(shù)據(jù)、朝向數(shù)據(jù)和/或眼球跟蹤數(shù)據(jù)，方法400包括，在422，根據(jù)呈現(xiàn)空間到視頻數(shù)據(jù)的映射來(lái)確定在呈現(xiàn)空間中的觀眾的視野內(nèi)的體視頻數(shù)據(jù)的當(dāng)前幀的一部分和朝向。隨后，在424，視頻呈現(xiàn)計(jì)算設(shè)備確定要被發(fā)送給頭戴式顯示系統(tǒng)的用于呈現(xiàn)的呈現(xiàn)圖像，并在426發(fā)送該圖像。通過(guò)對(duì)體視頻數(shù)據(jù)的每個(gè)幀執(zhí)行處理404到426，體視頻呈現(xiàn)可以被呈現(xiàn)給觀眾，如在428處所示。
[0044]在一些實(shí)施例中，還可以將交互圖形用戶界面呈現(xiàn)給觀眾，例如，以允許對(duì)視頻呈現(xiàn)的控制。圖5示出了描述呈現(xiàn)體圖形用戶界面的方法500的流程圖，而圖6和7示出了這樣的用戶界面的一個(gè)示例實(shí)施例。方法500包括，在502，檢測(cè)對(duì)圖形用戶界面的用戶請(qǐng)求，以及在504，發(fā)送用戶界面圖像給頭戴式顯示系統(tǒng)。用戶可以以任意方式來(lái)請(qǐng)求圖形用戶界面。例如，參照?qǐng)D6，用戶通過(guò)執(zhí)行諸如以特定姿勢(shì)向前延伸手602之類的姿勢(shì)來(lái)請(qǐng)求用戶界面。作為響應(yīng)，圖形用戶界面604包括顯示在用戶的顯而易見(jiàn)的手臂區(qū)域內(nèi)的多個(gè)可按壓元素，例如按鍵606。可以理解，可以呈現(xiàn)任意合適類型的用戶界面元素，包括但不局限于可按壓的、可拉取的、可轉(zhuǎn)換的、可旋轉(zhuǎn)的等元素。而且，可以理解，手602可以表示當(dāng)通過(guò)頭戴式顯示系統(tǒng)觀看時(shí)的用戶的實(shí)際的手，或者，可以表示要作為用戶界面圖像的一部分顯示給用戶的化身，并且所述化身被配置為跟蹤用戶實(shí)際的手的運(yùn)動(dòng)。
[0045]方法500接著包括在506處檢測(cè)與用戶界面圖像交互的用戶姿勢(shì)。作為響應(yīng)，方法500包括在508處發(fā)送示出用戶姿勢(shì)的影響的經(jīng)修改的用戶界面圖像，并在510執(zhí)行所請(qǐng)求的動(dòng)作。例如，參照?qǐng)D7，通過(guò)延伸手指并按壓按鍵606，用戶與用戶界面圖像交互。作為響應(yīng)，以激活狀態(tài)(例如相比較于其它按鍵是被按下的或以任意其它合適的與其它按鍵比較而言可視的相對(duì)方式)示出所述按鍵。
[0046]在一些實(shí)施例中，除了或取代通過(guò)姿勢(shì)，用戶可以通過(guò)語(yǔ)音命令與視頻呈現(xiàn)計(jì)算設(shè)備112交互。這樣，方法500包括在512接收音頻輸入并檢測(cè)音頻輸入中的語(yǔ)音命令，并且在514執(zhí)行音頻輸入中所請(qǐng)求的動(dòng)作?？梢酝ㄟ^(guò)位于頭戴式顯示器或呈現(xiàn)空間中別處的麥克風(fēng)來(lái)接收音頻輸入。還可以理解，用戶可以以任意其它合適的方式與視頻呈現(xiàn)計(jì)算設(shè)備交互。
[0047]可以理解，在用戶界面交互期間，可以以各種方式來(lái)顯示視頻呈現(xiàn)。例如，參考圖6和7，視頻呈現(xiàn)被示為在用戶界面動(dòng)作期間正被暫停。在其它示例中，視頻呈現(xiàn)可以繼續(xù)或可以根本不顯示。
[0048]這樣，在此描述的視頻內(nèi)容的呈現(xiàn)可以允許比當(dāng)前視頻內(nèi)容呈現(xiàn)方法更加身臨其境的體驗(yàn)，并可允許每個(gè)觀眾選擇該觀眾最感興趣的視角。
[0049]在一些實(shí)施例中，可將以上所描述的方法和過(guò)程捆綁到包括一個(gè)或多個(gè)計(jì)算機(jī)的計(jì)算系統(tǒng)，例如視頻呈現(xiàn)計(jì)算設(shè)備112。具體而言，此處所述的方法和過(guò)程可被實(shí)現(xiàn)為計(jì)算機(jī)應(yīng)用、計(jì)算機(jī)服務(wù)、計(jì)算機(jī)AP1、計(jì)算機(jī)庫(kù)、和/或其他計(jì)算機(jī)程序產(chǎn)品。
[0050]圖8示意性示出了可以執(zhí)行上述方法和過(guò)程之中的一個(gè)或多個(gè)的非限制性計(jì)算系統(tǒng)800。以簡(jiǎn)化形式示出了計(jì)算系統(tǒng)800。應(yīng)當(dāng)理解，可使用基本上任何計(jì)算機(jī)架構(gòu)而不背離本公開(kāi)的范圍。在不同的實(shí)施例中，計(jì)算系統(tǒng)800可以采取大型計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、家庭娛樂(lè)計(jì)算機(jī)、網(wǎng)絡(luò)計(jì)算設(shè)備、移動(dòng)計(jì)算設(shè)備、移動(dòng)通信設(shè)備、游戲設(shè)備等等的形式。
[0051]計(jì)算系統(tǒng)800包括邏輯子系統(tǒng)802和數(shù)據(jù)保持子系統(tǒng)804。計(jì)算系統(tǒng)800可以任選地包括顯示子系統(tǒng)806、通信子系統(tǒng)808和/或在圖8中未示出的其他組件。計(jì)算系統(tǒng)800還可以任選地包括諸如下列用戶輸入設(shè)備:例如鍵盤(pán)、鼠標(biāo)、游戲控制器、相機(jī)、話筒和
/或觸摸屏等等。[0052]邏輯子系統(tǒng)802可包括被配置為執(zhí)行一個(gè)或多個(gè)指令的一個(gè)或多個(gè)物理設(shè)備。例如，邏輯子系統(tǒng)可被配置為執(zhí)行一個(gè)或多個(gè)指令，該一個(gè)或多個(gè)指令是一個(gè)或多個(gè)應(yīng)用、月艮務(wù)、程序、例程、庫(kù)、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)、或其它邏輯構(gòu)造的部分?？蓪?shí)現(xiàn)這樣的指令以執(zhí)行任務(wù)、實(shí)現(xiàn)數(shù)據(jù)類型、變換一個(gè)或多個(gè)設(shè)備的狀態(tài)、或以其他方式得到所希望的結(jié)果。
[0053]邏輯子系統(tǒng)可包括被配置為執(zhí)行軟件指令的一個(gè)或多個(gè)處理器。附加地或可替代地，邏輯子系統(tǒng)可以包括被配置為執(zhí)行硬件或固件指令的一個(gè)或多個(gè)硬件或固件邏輯機(jī)器。邏輯子系統(tǒng)的處理器可以是單核或多核，且在其上執(zhí)行的程序可被配置為并行或分布式處理。邏輯子系統(tǒng)可以任選地包括遍布兩個(gè)或更多設(shè)備的獨(dú)立組件，所述設(shè)備可遠(yuǎn)程放置和/或被配置為進(jìn)行協(xié)同處理。該邏輯子系統(tǒng)的一個(gè)或多個(gè)方面可被虛擬化并由以云計(jì)算配置進(jìn)行配置的可遠(yuǎn)程訪問(wèn)的聯(lián)網(wǎng)計(jì)算設(shè)備執(zhí)行。
[0054]數(shù)據(jù)保持子系統(tǒng)804可包括一個(gè)或多個(gè)物理的、非瞬時(shí)的設(shè)備，這些設(shè)備被配置成保持?jǐn)?shù)據(jù)和/或可由該邏輯子系統(tǒng)執(zhí)行的指令，以實(shí)現(xiàn)此處描述的方法和過(guò)程。在實(shí)現(xiàn)這樣的方法和過(guò)程時(shí)，可以變換數(shù)據(jù)保持子系統(tǒng)804的狀態(tài)(例如，以保持不同的數(shù)據(jù))。
[0055]數(shù)據(jù)保持子系統(tǒng)804可包括可移動(dòng)介質(zhì)和/或內(nèi)置設(shè)備。數(shù)據(jù)保持子系統(tǒng)804尤其可以包括光學(xué)存儲(chǔ)器設(shè)備(例如，⑶、DVD、HD-DVD、藍(lán)光盤(pán)等)、半導(dǎo)體存儲(chǔ)器設(shè)備(例如，RAM、EPROM、EEPROM等)和/或磁存儲(chǔ)器設(shè)備(例如，硬盤(pán)驅(qū)動(dòng)器、軟盤(pán)驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器、MRAM等)。數(shù)據(jù)保持子系統(tǒng)804可包括具有以下特性中的一個(gè)或多個(gè)特性的設(shè)備:易失性、非易失性、動(dòng)態(tài)、靜態(tài)、讀/寫(xiě)、只讀、隨機(jī)存取、順序存取、位置可尋址、文件可尋址、以及內(nèi)容可尋址。在某些實(shí)施例中，可以將邏輯子系統(tǒng)802和數(shù)據(jù)保持子系統(tǒng)804集成到一個(gè)或更多個(gè)常見(jiàn)設(shè)備中，如專用集成電路或片上系統(tǒng)。
[0056]圖8還示出以可移動(dòng)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)810形式的數(shù)據(jù)保持子系統(tǒng)的一方面，該可移動(dòng)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可用于存儲(chǔ)和/或傳輸可執(zhí)行以實(shí)現(xiàn)此處所述的方法和過(guò)程的數(shù)據(jù)和/或指令。可移動(dòng)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)810尤其是可以采?、恰VD、HD-DVD、藍(lán)光盤(pán)、EEPROM和/或軟盤(pán)的形式。
[0057]可以明白，數(shù)據(jù)保持子系統(tǒng)804包括一個(gè)或多個(gè)物理的、非瞬時(shí)的設(shè)備。相反，在一些實(shí)施例中，本文描述的指令的各方面可以按暫態(tài)方式通過(guò)不由物理設(shè)備在至少有限持續(xù)時(shí)間期間保持的純信號(hào)(例如電磁信號(hào)、光信號(hào)等)傳播。此外，與本公開(kāi)有關(guān)的數(shù)據(jù)和/或其他形式的信息可以通過(guò)純信號(hào)來(lái)傳播。
[0058]術(shù)語(yǔ)“模塊”、“程序”和“引擎”可用于描述被實(shí)現(xiàn)為執(zhí)行一個(gè)或多個(gè)具體功能的計(jì)算系統(tǒng)800的一方面。在某些情況下，可以通過(guò)執(zhí)行由數(shù)據(jù)保持子系統(tǒng)804所保持的指令的邏輯子系統(tǒng)802來(lái)實(shí)例化這樣的模塊、程序或引擎。應(yīng)當(dāng)理解，可以從同一應(yīng)用、服務(wù)、代碼塊、對(duì)象、庫(kù)、例程、AP1、函數(shù)等來(lái)實(shí)例化不同的模塊、程序和/或引擎。類似地，相同的模塊、程序和/或引擎可由不同的應(yīng)用、服務(wù)、代碼塊、對(duì)象、例程、AP1、功能等來(lái)實(shí)例化。術(shù)語(yǔ)“模塊”、“程序”和“引擎”意在涵蓋單個(gè)或成組的可執(zhí)行文件、數(shù)據(jù)文件、庫(kù)、驅(qū)動(dòng)程序、腳本、數(shù)據(jù)庫(kù)記錄等。
[0059]當(dāng)被包括時(shí)，顯示子系統(tǒng)806可用于呈現(xiàn)由數(shù)據(jù)保持子系統(tǒng)804所保持的數(shù)據(jù)的可視表示。在此處所描述的方法和過(guò)程改變由數(shù)據(jù)保持子系統(tǒng)保持的數(shù)據(jù)，并由此變換數(shù)據(jù)保持子系統(tǒng)的狀態(tài)時(shí)，同樣可以變換顯示子系統(tǒng)806的狀態(tài)以在視覺(jué)上表示底層數(shù)據(jù)的改變。顯示子系統(tǒng)806可以包括使用實(shí)際上任何類型的技術(shù)的一個(gè)或多個(gè)顯示設(shè)備?？梢詫⑦@樣的顯示設(shè)備與共享機(jī)殼中的邏輯子系統(tǒng)802和/或數(shù)據(jù)保持子系統(tǒng)152相結(jié)合，或者這樣的顯示設(shè)備也可以是外圍顯示設(shè)備，例如前述的頭戴式顯示系統(tǒng)。
[0060]當(dāng)包括通信子系統(tǒng)808時(shí)，通信子系統(tǒng)808可以被配置成將計(jì)算系統(tǒng)800與一個(gè)或多個(gè)其他計(jì)算設(shè)備可通信地耦合。通信子系統(tǒng)808可包括與一個(gè)或多個(gè)不同的通信協(xié)議兼容的有線和/或無(wú)線通信設(shè)備。作為非限制性示例，通信子系統(tǒng)可被配置為經(jīng)由無(wú)線電話網(wǎng)、無(wú)線局域網(wǎng)、有線局域網(wǎng)、無(wú)線廣域網(wǎng)、有線廣域網(wǎng)等進(jìn)行通信。在一些實(shí)施例中，通信子系統(tǒng)可允許計(jì)算系統(tǒng)800經(jīng)由諸如因特網(wǎng)之類的網(wǎng)絡(luò)發(fā)送消息至其他設(shè)備和/或從其他設(shè)備接收消息。
[0061]應(yīng)該理解，此處所述的配置和/或方法在本質(zhì)上是示例性的，并且這些具體實(shí)施例或示例不應(yīng)被認(rèn)為是局限性的，因?yàn)槎鄠€(gè)變體是可能的。此處所述的具體例程或方法可表示任何數(shù)量的處理策略中的一個(gè)或多個(gè)。由此，所示出的各個(gè)動(dòng)作可以按所示次序執(zhí)行、按其他次序執(zhí)行、并行地執(zhí)行、或者在某些情況下被省略。同樣，可以改變上述過(guò)程的次序。
[0062]本公開(kāi)的主題包括各種過(guò)程、系統(tǒng)和配置、此處所公開(kāi)的其他特征、功能、動(dòng)作、和/或特性、以及其任何和全部等效物的所有新穎和非顯而易見(jiàn)的組合和子組合。
【權(quán)利要求】
1.一種計(jì)算設(shè)備，包括: 邏輯子系統(tǒng)；以及 數(shù)據(jù)保持子系統(tǒng)，所述數(shù)據(jù)保持子系統(tǒng)包括存儲(chǔ)于其上的能夠由所述邏輯子系統(tǒng)執(zhí)行的指令以: 從位置和定位傳感系統(tǒng)接收觀眾的位置數(shù)據(jù)和觀眾的朝向數(shù)據(jù)； 從所述觀眾的位置數(shù)據(jù)和觀眾的朝向數(shù)據(jù)中，定位呈現(xiàn)空間中的觀眾，確定所述用戶在所述呈現(xiàn)空間中面朝的方向，并確定所述頭戴式顯示系統(tǒng)在所述呈現(xiàn)空間中的朝向；通過(guò)基于所述觀眾位置數(shù)據(jù)和觀眾的朝向數(shù)據(jù)來(lái)確定體圖像的一部分和朝向以確定要發(fā)送給所述頭戴式顯示系統(tǒng)的呈現(xiàn)圖像，所述體圖像的該部分被映射到在觀眾視野內(nèi)的呈現(xiàn)空間的一部分；以及 將所述呈現(xiàn)圖像發(fā)送給所述頭戴式顯示器。
2.如權(quán)利要求1所述的計(jì)算設(shè)備，其特征在于，所述指令可進(jìn)一步執(zhí)行以從所述頭戴式顯示系統(tǒng)上的眼球跟蹤圖像傳感器接收眼球跟蹤數(shù)據(jù)，并且進(jìn)一步基于所述眼球跟蹤數(shù)據(jù)來(lái)確定所述呈現(xiàn)圖像。
3.如權(quán)利要求1所述的計(jì)算設(shè)備，其特征在于，所述指令可被進(jìn)一步配置以接收體圖像的輸入并將所述體圖像映射到所述呈現(xiàn)空間。
4.如權(quán)利要求1所述的計(jì)算設(shè)備，其特征在于，所述體圖像數(shù)據(jù)包括從多個(gè)角度捕捉的場(chǎng)景的視頻圖像數(shù)據(jù)。
5.如權(quán)利要求1所述的計(jì)算設(shè)備，其特征在于，所述指令可進(jìn)一步執(zhí)行以檢測(cè)來(lái)自所述朝向數(shù)據(jù)的所述頭戴式顯示器的滾動(dòng)、俯仰和偏航。
6.如權(quán)利要求1所述的計(jì)算設(shè)備，其特征在于，所述指令還可執(zhí)行以下操作: 檢測(cè)請(qǐng)求用戶界面的用戶輸入； 確定要發(fā)送給所述頭戴式顯示器以供顯示的用戶界面圖像，所述用戶界面圖像包括用戶界面元素； 將所述用戶界面圖像發(fā)送給所述頭戴式顯示器； 檢測(cè)與所述用戶界面圖像交互的用戶姿勢(shì)；以及 作為響應(yīng)，發(fā)送經(jīng)修改的用戶界面圖像，所述經(jīng)修改的用戶界面圖像示出了所述用戶姿勢(shì)在所述用戶界面圖像上的影響。
7.如權(quán)利要求6所述的計(jì)算設(shè)備，其特征在于，所述用戶界面元素包括可按壓和/或可拉取的元素。
8.如權(quán)利要求1所述的計(jì)算設(shè)備，其特征在于，所述指令可執(zhí)行以檢測(cè)所述呈現(xiàn)空間中的多個(gè)觀眾，并基于所述呈現(xiàn)空間中的每個(gè)觀眾的位置來(lái)確定要發(fā)送給所述多個(gè)觀眾的每個(gè)觀眾的不同圖像。
9.如權(quán)利要求1所述的計(jì)算設(shè)備，其特征在于，所述指令可進(jìn)一步執(zhí)行以接收音頻輸入，以檢測(cè)所述音頻輸入中的語(yǔ)音命令，并響應(yīng)于所述音頻輸入執(zhí)行功能。
10.一種呈現(xiàn)體視頻圖像數(shù)據(jù)的方法，所述方法包括: 接收所述體視頻圖像數(shù)據(jù)； 將所述體視頻圖像數(shù)據(jù)映射到呈現(xiàn)空間； 從多個(gè)圖像捕捉設(shè)備接收觀眾跟蹤圖像數(shù)據(jù)；通過(guò)所述觀眾跟蹤圖像數(shù)據(jù)定位呈現(xiàn)空間中的觀眾，并確定所述用戶在所述呈現(xiàn)空間中面朝的方向； 從頭戴式顯示系統(tǒng)上的運(yùn)動(dòng)傳感器接收朝向數(shù)據(jù)； 從所述朝向數(shù)據(jù)，確定所述頭戴式顯示系統(tǒng)在所述呈現(xiàn)空間內(nèi)的朝向； 從所述頭戴式顯示系統(tǒng)上的圖像傳感器接收眼球跟蹤數(shù)據(jù)； 從所述眼球跟蹤數(shù)據(jù)，確定所述觀眾視覺(jué)指向的方向； 通過(guò)基于所述觀眾跟蹤圖像數(shù)據(jù)、所述朝向數(shù)據(jù)和所述眼球跟蹤數(shù)據(jù)來(lái)確定體圖像的一部分和朝向以確定要發(fā)送給所述頭戴式顯示系統(tǒng)的呈現(xiàn)圖像，所述體圖像的該部分被映射到在觀眾視野內(nèi)的 所述呈現(xiàn)空間的一部分；以及將所述呈現(xiàn)圖像發(fā)送給所述頭戴式顯示器。
【文檔編號(hào)】G02B27/22GK103608716SQ201280029699
【公開(kāi)日】2014年2月26日 申請(qǐng)日期:2012年6月12日 優(yōu)先權(quán)日:2011年6月17日
【發(fā)明者】S·巴斯徹 申請(qǐng)人:微軟公司