專利名稱：用于在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)(AR)是ー種對(duì)現(xiàn)實(shí)覆蓋虛擬數(shù)據(jù)的技木，因此該技術(shù)有助于實(shí)現(xiàn)數(shù)據(jù)與現(xiàn)實(shí)的關(guān)聯(lián)。移動(dòng)AR系統(tǒng)的使用在現(xiàn)有技術(shù)中是已公知的。在過(guò)去幾年來(lái)，高性能移動(dòng)設(shè)備(例如，智能電話)開始適合于AR應(yīng)用。這些設(shè)備同時(shí)具有相對(duì)較大的彩色顯示器、 內(nèi)置的攝像頭、卓越的處理器和另外的傳感器(例如，方向傳感器和GPQ。除此之外，可以通過(guò)無(wú)線網(wǎng)絡(luò)來(lái)對(duì)該設(shè)備的位置進(jìn)行近似。在過(guò)去，有使用AR在移動(dòng)設(shè)備上實(shí)現(xiàn)的各種項(xiàng)目。首先，使用了用于確定設(shè)備的位置和方向的特殊光學(xué)測(cè)標(biāo)。關(guān)于也可用于較大區(qū)域的AR(因此，其還稱為較大區(qū)域AR)， 已公布了用于結(jié)合HMD(頭盔顯示器)[3]來(lái)切合實(shí)際地描繪對(duì)象的暗示。在最近時(shí)間，還存在使用GPS和現(xiàn)代設(shè)備的方向傳感器系統(tǒng)的方法[1、2、4、5]。但是，迄今為止公布的這些方法具有下面缺點(diǎn)它們不允許在AR場(chǎng)景中實(shí)現(xiàn)其它用戶的簡(jiǎn)單融合。除此之外，基于GPS和指南針的大多系統(tǒng)還具有下面缺點(diǎn)這些設(shè)備必須進(jìn)行令人信服地提供，但是卻可能存在很大的不準(zhǔn)確性。美國(guó)2009/0179895 Al描述了在真實(shí)環(huán)境(“街景”)的圖像中混合三維評(píng)注或注釋的方法。通過(guò)圖像中的選擇框的方式，用戶選擇要混合注釋的位置。其后，將該選擇框投影在三維模型上，以便確定注釋關(guān)于該圖像的位置。此外，確定與三維模型上的投影相對(duì)應(yīng)的位置數(shù)據(jù)，并將其與用戶輸入的注釋進(jìn)行關(guān)聯(lián)。將該注釋與位置數(shù)據(jù)一起存儲(chǔ)在服務(wù)器的數(shù)據(jù)庫(kù)中，并可以根據(jù)該位置數(shù)據(jù)，與真實(shí)環(huán)境的另一幅圖像進(jìn)行混合。通常并在下文中使用術(shù)語(yǔ)“標(biāo)簽(tagging) ”來(lái)描述用戶使用另外的信息對(duì)現(xiàn)實(shí)進(jìn)行豐富。迄今為止結(jié)合標(biāo)簽(tagging)實(shí)現(xiàn)的方法包括將對(duì)象放置在地圖視圖(例如，谷歌地圖)中，對(duì)位置點(diǎn)進(jìn)行拍照，將這些圖像與另外的評(píng)論一起存儲(chǔ)，以及在特定的位置點(diǎn)生成文本消息。不利的是，遠(yuǎn)處的觀看者和用戶不能再獲得對(duì)于世界中的交互式場(chǎng)景的AR 接入。只能看到該AR場(chǎng)景的所謂屏幕截圖(屏幕圖像)，但不再改變。本發(fā)明的目標(biāo)在于指示在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法，其允許用戶通過(guò)增強(qiáng)現(xiàn)實(shí)的方式，交互式地觀看其它用戶生成的AR圖像場(chǎng)景，并在實(shí)現(xiàn)時(shí)保證高準(zhǔn)確性和用戶友善。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供了一種用于在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法，該方法包括下面步驟在服務(wù)器的數(shù)據(jù)庫(kù)中，提供具有地理全球坐標(biāo)系統(tǒng)的全球位置和方向的至少ー個(gè)虛擬對(duì)象，以及允許對(duì)所述虛擬對(duì)象的全球位置和方向得出結(jié)論的第一姿態(tài)數(shù)據(jù)；通過(guò)移動(dòng)設(shè)備拍攝真實(shí)環(huán)境的至少一幅圖像，并提供第二姿態(tài)數(shù)據(jù)，其中所述第二姿態(tài)數(shù)據(jù)允許對(duì)所述圖像是在所述地理全球坐標(biāo)系統(tǒng)的什么位置和什么方向拍攝的得出結(jié)論；在所述移動(dòng)設(shè)備的顯示器上顯示所述圖像；在所述服務(wù)器的數(shù)據(jù)庫(kù)中存取所述虛擬對(duì)象，并基于所述第一姿態(tài)數(shù)據(jù)和所述第二姿態(tài)數(shù)據(jù)，在顯示器顯示的所述圖像中定位所述虛擬對(duì)象；通過(guò)在顯示器顯示的所述圖像中進(jìn)行相應(yīng)定位，操作所述虛擬對(duì)象或者增加另外的虛擬對(duì)象；在所述服務(wù)器的數(shù)據(jù)庫(kù)中，提供根據(jù)所述圖像中的定位的所操作的虛擬對(duì)象以及修改的第一姿態(tài)數(shù)據(jù)，或者根據(jù)所述圖像中的定位的另外的虛擬對(duì)象以及第三姿態(tài)數(shù)據(jù)，所修改的第一姿態(tài)數(shù)據(jù)和所述第三姿態(tài)數(shù)據(jù)均允許對(duì)所操作的虛擬對(duì)象或者另外的操作對(duì)象的全球位置和方向得出結(jié)論。在該方面，可以在例如所述服務(wù)器上提供所述圖像以及所述第二姿態(tài)數(shù)據(jù)。根據(jù)本發(fā)明的另外方面，提供了一種用于在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法，該方法包括下面步驟在服務(wù)器的數(shù)據(jù)庫(kù)中，提供具有地理全球坐標(biāo)系統(tǒng)的全球位置和方向的至少一個(gè)虛擬對(duì)象，以及允許對(duì)所述虛擬對(duì)象的全球位置和方向得出結(jié)論的第一姿態(tài)數(shù)據(jù)；通過(guò)數(shù)據(jù)眼鏡(例如，所謂的光學(xué)式透視數(shù)據(jù)眼鏡或者視訊式透視數(shù)據(jù)眼鏡)提供真實(shí)環(huán)境的至少一個(gè)視圖以及第二姿態(tài)數(shù)據(jù)，其中所述第二姿態(tài)數(shù)據(jù)允許對(duì)所述數(shù)據(jù)眼鏡位于所述地理全球坐標(biāo)系統(tǒng)的什么位置和什么方向得出結(jié)論；在所述服務(wù)器的數(shù)據(jù)庫(kù)中存取所述虛擬對(duì)象，并基于所述第一姿態(tài)數(shù)據(jù)和所述第二姿態(tài)數(shù)據(jù)，在所述視圖中定位所述虛擬對(duì)象；通過(guò)所述視圖中的相應(yīng)定位，操作所述虛擬對(duì)象或者增加另外的虛擬對(duì)象；在所述服務(wù)器的數(shù)據(jù)庫(kù)中，提供根據(jù)所述視圖中的定位的所操作的虛擬對(duì)象以及修改的第一姿態(tài)數(shù)據(jù)，或者根據(jù)所述視圖中的定位的另外的虛擬對(duì)象以及第三姿態(tài)數(shù)據(jù)，所修改的第一姿態(tài)數(shù)據(jù)和所述第三姿態(tài)數(shù)據(jù)均允許對(duì)所操作的虛擬對(duì)象或者另外的虛擬對(duì)象的全球位置和方向得出結(jié)論。在本發(fā)明的實(shí)施例中，所述移動(dòng)設(shè)備或者所述數(shù)據(jù)眼鏡包括(或者連接到)用于生成所述第二姿態(tài)數(shù)據(jù)的單元。 例如，該姿態(tài)數(shù)據(jù)可以各自包括關(guān)于位置和方向的三維值。此外，可以獨(dú)立于地球的表面來(lái)規(guī)定所述真實(shí)環(huán)境的圖像的方向。根據(jù)本發(fā)明的另一個(gè)實(shí)施例，在服務(wù)器的存儲(chǔ)位置上存儲(chǔ)真實(shí)環(huán)境的幾幅圖像中的哪幅圖像或者真實(shí)環(huán)境的幾個(gè)視圖中的哪個(gè)視圖，幾個(gè)虛擬對(duì)象中的哪個(gè)虛擬對(duì)象已提供有姿態(tài)數(shù)據(jù)。當(dāng)例如通過(guò)GPS傳感器(GPS 全球定位系統(tǒng))來(lái)確定移動(dòng)設(shè)備的位置時(shí)，可能會(huì)碰巧由于傳感器不準(zhǔn)確或者GPS固有的不準(zhǔn)確，而發(fā)生僅僅以相對(duì)不準(zhǔn)確方式確定該移動(dòng)設(shè)備的位置。這可以是將混合的虛擬對(duì)象相對(duì)于地理全球坐標(biāo)系統(tǒng)相應(yīng)不準(zhǔn)確地放置在圖像中的結(jié)果，使得在具有不同的觀察角度的其它圖像或者視圖中，混合在這里的虛擬對(duì)象以關(guān)于現(xiàn)實(shí)具有相應(yīng)位移的方式示出。為了在真實(shí)環(huán)境的圖像中實(shí)現(xiàn)虛擬對(duì)象或者其位置的更加準(zhǔn)確描繪，根據(jù)本發(fā)明的方法的實(shí)施例包括下面步驟提供具有真實(shí)環(huán)境的參考視圖以及姿態(tài)數(shù)據(jù)的參考數(shù)據(jù)庫(kù)，其中所述姿態(tài)數(shù)據(jù)允許對(duì)攝像機(jī)在地理全球坐標(biāo)系統(tǒng)的什么位置和什么方向拍攝各個(gè)參考視圖得出結(jié)論；將所述圖像中示出的至少一個(gè)真實(shí)對(duì)象與所述參考視圖的至少一個(gè)中包含的真實(shí)對(duì)象的至少一部分進(jìn)行比較，所述圖像的第二姿態(tài)數(shù)據(jù)與所述至少一個(gè)參考視圖的姿態(tài)數(shù)據(jù)匹配；作為所述匹配的結(jié)果，基于所述至少一個(gè)參考視圖的姿態(tài)數(shù)據(jù)的至少一部分來(lái)修改所述第二姿態(tài)數(shù)據(jù)的至少一部分。
此外，另ー個(gè)實(shí)施例包括將位于所述圖像中的虛擬對(duì)象的第一姿態(tài)數(shù)據(jù)的至少一部分，修改成所述圖像的第二姿態(tài)數(shù)據(jù)與所述至少一個(gè)參考視圖的姿態(tài)數(shù)據(jù)的匹配的結(jié)
ο通過(guò)所附權(quán)利要求書，可以獲得本發(fā)明的另外發(fā)展和實(shí)施例。下面通過(guò)附圖中所示圖形的方式，更詳細(xì)地解釋本發(fā)明的方面和實(shí)施例。


圖IA示出了可以用于執(zhí)行根據(jù)本發(fā)明的方法的系統(tǒng)設(shè)置的第一示例性實(shí)施例的示意性布置的平面圖。圖IB示出了可以用于執(zhí)行根據(jù)本發(fā)明的方法的系統(tǒng)設(shè)置的第二示例性實(shí)施例的示意性布置的平面圖。圖IC示出了用于執(zhí)行根據(jù)本發(fā)明的方法的系統(tǒng)的實(shí)施例的可能數(shù)據(jù)結(jié)構(gòu)的示意性視圖。圖2根據(jù)本發(fā)明的一個(gè)實(shí)施例，示出了參與的坐標(biāo)系統(tǒng)的概述的示意性視圖。圖3示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的方法的示例性流程。圖4示出了根據(jù)本發(fā)明的另ー個(gè)實(shí)施例的方法的示例性流程，特別增補(bǔ)了用于提高圖像姿態(tài)的可選測(cè)量。圖5示出了在沒(méi)有實(shí)現(xiàn)姿態(tài)改進(jìn)的情況下，具有在其中放置的虛擬對(duì)象的真實(shí)環(huán)境的示例性場(chǎng)景。圖6示出了在實(shí)現(xiàn)姿態(tài)改進(jìn)之后，具有在其中放置的虛擬對(duì)象的真實(shí)環(huán)境的示例性場(chǎng)景。圖7A示出了在其中放置虛擬對(duì)象的真實(shí)世界的示例性地圖視圖。圖7B示出了與圖7A相同的場(chǎng)景的示例性透視圖。
具體實(shí)施例方式圖IA示出了描繪ー種系統(tǒng)設(shè)置的第一示例性實(shí)施例的示意性排列的平面圖，其中該系統(tǒng)設(shè)置可以用于執(zhí)行根據(jù)本發(fā)明的方法。在圖IA的視圖中，用戶穿戴裝在頭部的顯示系統(tǒng)(“頭盔顯示器”，簡(jiǎn)寫為HMD)以作為顯示設(shè)備，其中該系統(tǒng)包括作為系統(tǒng)設(shè)置20的一部分的顯示器21?？梢詫⑾到y(tǒng)設(shè)置 20的至少一部分視作為包括ー個(gè)或多個(gè)相互連接組件的移動(dòng)設(shè)備，如下面所更詳細(xì)描述的。這些組件可以通過(guò)有線連接和/或以無(wú)線方式進(jìn)行彼此連接。此外，還可以將這些組件中的ー些(例如，計(jì)算機(jī)23)提供為靜止組件，即其不隨著用戶移動(dòng)。例如，顯示器21可以是通常公知的具有所謂光學(xué)式透視數(shù)據(jù)眼鏡(“光學(xué)式透視顯示”，在該顯示中，可以通過(guò)半透明結(jié)構(gòu)的數(shù)據(jù)眼鏡觀看現(xiàn)實(shí))形式或者具有所謂視訊式透視數(shù)據(jù)眼鏡(“視訊式透視顯示”，在該顯示中，將現(xiàn)實(shí)描繪在穿戴在用戶頭部前面的屏幕上)形式的數(shù)據(jù)眼鏡，其中可以以已知方式對(duì)計(jì)算機(jī)23提供的虛擬信息進(jìn)行混合。隨后，用戶在觀察角度或者孔徑角度 26之中的真實(shí)世界的視圖70 (其可以通過(guò)顯示器21觀看或者在顯示器21上觀看)里，觀看到使用混合的虛擬信息10增強(qiáng)的真實(shí)環(huán)境40的對(duì)象(例如，所謂的與真實(shí)世界有關(guān)的感興趣點(diǎn)對(duì)象，其簡(jiǎn)稱為POI對(duì)象)。混合虛擬對(duì)象20，使得用戶以似乎該對(duì)象布置在真實(shí)環(huán)境40中的近似位置的方式來(lái)感覺該對(duì)象。此外，還可以將虛擬對(duì)象10的該位置存儲(chǔ)成地理全球坐標(biāo)系統(tǒng)(例如，地球的坐標(biāo)系統(tǒng))的全球位置，如下面所更詳細(xì)描述的。用此方式，系統(tǒng)設(shè)置20構(gòu)成了通常公知的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的第一實(shí)施例，其中該系統(tǒng)可以用于根據(jù)本發(fā)明的方法。顯示器21可以具有另外的傳感器對(duì)(例如，旋轉(zhuǎn)傳感器、GPS傳感器或超聲波傳感器)和安裝在其上用于光學(xué)跟蹤和拍攝一幅或多幅圖像(所謂的“視圖”)的攝像機(jī)22。 顯示器21可以是半透明的，或者有攝像機(jī)22的照相圖像提供的現(xiàn)實(shí)的圖像。使用半透明顯示器21，必須進(jìn)行用戶的眼睛25和顯示器21之間的校準(zhǔn)。該過(guò)程(其稱為透視式校準(zhǔn)) 是本領(lǐng)域公知的。該校準(zhǔn)可以有利地確定在同一時(shí)間眼睛相對(duì)于攝像機(jī)22的姿態(tài)。可以使用攝像機(jī)來(lái)拍攝或者記錄視圖以便使其它用戶能訪問(wèn)，如下面所更詳細(xì)描述的。通常將姿態(tài)理解為某個(gè)對(duì)象相對(duì)于參考坐標(biāo)系統(tǒng)的位置和方向。對(duì)于確定姿態(tài)，存在著在現(xiàn)有技術(shù)中記載的多種方法，它們是技術(shù)人員已知的。有利的是，在顯示器21上或者在用戶身體的任何地方或者在計(jì)算機(jī)23中，還可以具有安裝的位置傳感器，例如，用于可以提交系統(tǒng)設(shè)置20在真實(shí)世界40中的地理位置確定(例如，根據(jù)經(jīng)度、緯度和高度)的GPS傳感器 (GPS 全球定位系統(tǒng))。使用能關(guān)于用戶的位置和觀察方向得出結(jié)論所提供的原理，可以實(shí)現(xiàn)該系統(tǒng)設(shè)置的任何一部分的姿態(tài)確定。圖IB的視圖示出了通?？梢栽诶绗F(xiàn)代移動(dòng)電話(所謂的“智能電話”)中發(fā)現(xiàn)的另一種示例性系統(tǒng)設(shè)置30。顯示器設(shè)備31 (例如，具有顯示屏或者顯示器的形式)、計(jì)算機(jī)33、傳感器34和攝像機(jī)32，構(gòu)成容納在例如移動(dòng)電話的公共殼體中的系統(tǒng)單元。可以將系統(tǒng)設(shè)置30的至少一部分視作為包括所提及組件中的一個(gè)或多個(gè)的移動(dòng)設(shè)備。這些組件可以容納在公共殼體中，或者可以分布到各處(部分地)，并通過(guò)有線連接和/或以無(wú)線方式來(lái)彼此連接。真實(shí)環(huán)境40的視圖由顯示攝像機(jī)32在觀察角度和使用孔徑角度36所捕獲的真實(shí)環(huán)境40的圖像50的顯示器31提供。為了增強(qiáng)現(xiàn)實(shí)應(yīng)用，照相圖像50可以在顯示器31 上顯示，并使用相對(duì)于現(xiàn)實(shí)具有特定的位置的另外虛擬信息10 (例如，與真實(shí)世界有關(guān)的 POI對(duì)象)來(lái)增強(qiáng)，類似于圖IA中所述。用此方式，系統(tǒng)設(shè)置30構(gòu)成了通常公知的增強(qiáng)現(xiàn)實(shí)(AR)系統(tǒng)的另一個(gè)實(shí)施例。使用類似于參照?qǐng)DIA所描述的校準(zhǔn)來(lái)確定虛擬對(duì)象10關(guān)于攝像機(jī)32的姿態(tài)，以便使其它用戶可訪問(wèn)該相同內(nèi)容，如下面所更詳細(xì)描述的。對(duì)于姿態(tài)確定，存在著在現(xiàn)有技術(shù)中記載的多種方法，它們是技術(shù)人員已知的。有利的是，在移動(dòng)設(shè)備上(特別當(dāng)系統(tǒng)設(shè)置 30具有一個(gè)單元的形式時(shí))或者在用戶身體的任何位置處或者在計(jì)算機(jī)33中，還可以具有連接的位置傳感器，例如，GPS傳感器34，以便允許進(jìn)行系統(tǒng)設(shè)置30在真實(shí)世界40中的地理位置確定(例如，根據(jù)經(jīng)度和緯度)。在某些情形下，對(duì)于姿態(tài)確定來(lái)說(shuō)不需要攝像機(jī)，例如當(dāng)單獨(dú)地通過(guò)GPS和方向傳感器來(lái)確定姿態(tài)時(shí)?；旧?，只要能關(guān)于用戶的位置和觀察方向得出結(jié)論，系統(tǒng)設(shè)置的任何部分的姿態(tài)確定都是適當(dāng)?shù)?。基本上，本發(fā)明可以方便地用于所有形式的AR。例如，使用具有半透明HMD的所謂光學(xué)式透視模式還是使用具有攝像機(jī)和顯示屏的視訊式透視模式來(lái)實(shí)現(xiàn)該表示是沒(méi)有關(guān)系的。基本上，本發(fā)明還可以結(jié)合立體顯示來(lái)使用，其中在該顯示中，視訊式透視方法有利地使用兩個(gè)攝像機(jī)，每ー個(gè)攝像機(jī)用于記錄每ー個(gè)眼的ー個(gè)影像流。在任何情形下，都可以單獨(dú)地針對(duì)每一個(gè)眼計(jì)算虛擬信息項(xiàng)，并將它們成對(duì)地存儲(chǔ)在服務(wù)器上?；旧?，下面所描述的不同部分的步驟的處理可以通過(guò)網(wǎng)絡(luò)分配到不同的計(jì)算機(jī)。因此，客戶端/服務(wù)器體系結(jié)構(gòu)或者更基于客戶端的解決方案是可行的。此外，客戶端或者服務(wù)器還可以包括一些計(jì)算単元，例如，ー些CPU或者專用硬件組件，例如通常公知的 FPGA、ASIC、GPU 或者 DSP。為了允許實(shí)現(xiàn)AR，需要攝像機(jī)在空間中的姿態(tài)(位置和方向)。這可以使用多種不同的方式來(lái)實(shí)現(xiàn)。例如，可以通過(guò)只使用GPS和具有電子指南針的方向傳感器(如安裝在例如一些現(xiàn)代移動(dòng)電話中)，來(lái)確定在真實(shí)世界中的姿態(tài)。但是，該姿態(tài)的不確定性是非常高的。因此，還可以使用其它方法，例如，光初始化和跟蹤或者光方法與GPS和方向傳感器的結(jié)合。也可以使用WLAN定位，或者RFID(用干“射頻識(shí)別”的標(biāo)記或者芯片)或光標(biāo)記可以支持該定位處理。如上所述，這里基于客戶端/服務(wù)器的方法也是可行的。具體而言，客戶端可以從服務(wù)器請(qǐng)求進(jìn)行光跟蹤所需要的特定于位置的信息。例如，該信息可以是具有姿態(tài)信息和深度信息的周圍環(huán)境的參考圖像。本發(fā)明在該方面的可選實(shí)施例提出了可以基于該信息、放置的虛擬對(duì)象在世界中的姿態(tài)，特別地提高服務(wù)器上的視圖的姿態(tài)。除此之外，本發(fā)明還可以安裝(或者攜帯)在使用監(jiān)視器、HMD或平視顯示器的車輛、飛行器或輪船中?；旧希梢葬槍?duì)多種多樣的不同形式的信息，來(lái)建立諸如感興趣點(diǎn)(“Ρ0Ι”)之類的虛擬對(duì)象。下面給出ー些示例可以表示使用GPS信息的位置的圖像?？梢詮幕ヂ?lián)網(wǎng)中自動(dòng)地提取信息。例如，這可以是具有地址或者給出等級(jí)的頁(yè)面的公司或飯店網(wǎng)站。用戶可以在特定的位置處存放文本、圖像或者3D對(duì)象，并使其可用于他人。針對(duì)地理信息可以搜索諸如維基百科(wikipedia)的信息頁(yè)，這些頁(yè)面可以訪問(wèn)成Ρ0Ι。可以根據(jù)移動(dòng)設(shè)備的用戶的搜索和瀏覽行為，自動(dòng)地生成Ρ0Ι?？梢燥@示其它感興趣位置，例如地下交通或者公共汽車站、醫(yī)院、警察局、醫(yī)生、房地產(chǎn)公司或者健身俱樂(lè)部。用戶可以將這些信息項(xiàng)存放在圖像50或者視圖70中(對(duì)比圖IA和圖1B)，作為真實(shí)世界40中的特定位置處的虛擬對(duì)象10，并使具有與該各個(gè)位置相對(duì)應(yīng)的位置的其它用戶可訪問(wèn)。隨后，在真實(shí)世界的可訪問(wèn)視圖或者圖像中，其它用戶可以例如操作該信息 (其中，該信息根據(jù)其位置來(lái)混合)，或者還可以增加另外的虛擬對(duì)象。下面將對(duì)其進(jìn)行更詳細(xì)地描述。圖IC首先示出了根據(jù)本發(fā)明的實(shí)施例使用的數(shù)據(jù)結(jié)構(gòu)，下面將簡(jiǎn)要地進(jìn)行解釋。視圖是捕獲的真實(shí)世界的視圖，具體而言，視圖(對(duì)比根據(jù)圖IA的視圖70)、圖像 (對(duì)比根據(jù)圖IB的圖像50)或者圖像序列(電影或者運(yùn)動(dòng)圖片)。與視圖(圖像50/視圖70)相關(guān)聯(lián)的是描述攝像機(jī)22、32的光屬性(例如，關(guān)于孔徑角度、聚焦位移或者圖像失真)的攝像機(jī)參數(shù)，井分別與圖像50或者視圖70進(jìn)行關(guān)聯(lián)。除此之外，視圖還具有與其相關(guān)聯(lián)的姿態(tài)數(shù)據(jù)，后者描述圖像50或者視圖70關(guān)于地球的位置和方向。為此，將地理全球坐標(biāo)系統(tǒng)與地球進(jìn)行關(guān)聯(lián)，以便例如根據(jù)經(jīng)度和緯度，可以提供真實(shí)世界中的地理全球位置確定。放置的模型是可以圖形顯示的虛擬對(duì)象(對(duì)比根據(jù)圖1A、1B的對(duì)象10)，其中該虛擬對(duì)象也具有姿態(tài)數(shù)據(jù)。放置的模型可以表示例如模型數(shù)據(jù)庫(kù)中的模型的實(shí)例，即參照該模型。有利的是，根據(jù)存放的視圖50或者70，在世界40中放置各虛擬模型10 (如果是這樣的話)。這可以用于改進(jìn)姿態(tài)數(shù)據(jù)，如下面所更詳細(xì)描述的。形成了具有視圖50、70與0 到η個(gè)放置的模型10的組合的場(chǎng)景，并可選地包含生成日期。此外，可以將該數(shù)據(jù)結(jié)構(gòu)的所有部分或者一部分與元數(shù)據(jù)進(jìn)行鏈接。例如，可以存放生成者、日期、圖像/視圖的頻率、 等級(jí)和關(guān)鍵字。在本發(fā)明的下面方面，將更詳細(xì)地描述關(guān)于根據(jù)圖IB的實(shí)施例，其中圖像50由攝像機(jī)32拍攝，并在顯示器31上與虛擬對(duì)象10混合在一起由觀眾進(jìn)行觀看。但是，技術(shù)人員可以將該方面的陳述容易地轉(zhuǎn)換到根據(jù)圖IA使用HMD的實(shí)施例。圖2根據(jù)本發(fā)明的實(shí)施例，給出了參與的坐標(biāo)系統(tǒng)的概述。一個(gè)方面，使用構(gòu)成連接元素的地球坐標(biāo)系統(tǒng)200(在該實(shí)施例中，其用地理全球坐標(biāo)系統(tǒng)來(lái)表示)。在圖2中使用附圖標(biāo)記201來(lái)指示地球的表面。為了規(guī)定地理全球坐標(biāo)系統(tǒng)(例如，地球坐標(biāo)系統(tǒng) 200)，規(guī)定了對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)說(shuō)公知的各種標(biāo)準(zhǔn)(例如，WGS84 ；NMA-國(guó)家圖像測(cè)繪局國(guó)防部世界大地坐標(biāo)系1984 ;2000年1月第三版技術(shù)報(bào)告TR 8350.2)。此外，攝像機(jī)坐標(biāo)系統(tǒng)提供顯示的虛擬對(duì)象10和圖像50之間的連接。通過(guò)對(duì)于技術(shù)人員來(lái)說(shuō)公知的轉(zhuǎn)換方式，可以計(jì)算攝像機(jī)32和圖像50在地球坐標(biāo)系統(tǒng)200中的姿態(tài)，對(duì)象10相對(duì)于圖像50的姿態(tài)P50_10( “圖像中的姿態(tài)模型”)。例如，通過(guò)GPS和/或方向傳感器來(lái)計(jì)算全球圖像姿態(tài)PW50( “世界中的姿態(tài)圖像”)。根據(jù)姿態(tài)PW50和P50_10，可以隨后計(jì)算虛擬對(duì)象10的全球姿態(tài)PWlO ( “世界中的姿態(tài)模型”)。以類似的方式，可以根據(jù)具有地球坐標(biāo)系統(tǒng)200中的另一個(gè)全球姿態(tài)PW60的第二圖像60的姿態(tài)，來(lái)計(jì)算對(duì)象10相對(duì)于圖像60的姿態(tài)P60_10( “圖像2中的姿態(tài)模型”)。 例如，通過(guò)GPS和/或方向傳感器，還計(jì)算全球圖像姿態(tài)PW60( “世界中的姿態(tài)圖像2”)。用該方式，可以將虛擬對(duì)象10放置在第一圖像(圖像50)中，并在位于地球上的附近位置處的第二圖像(圖像60)中觀看虛擬對(duì)象10，但從不同的觀察角度進(jìn)行觀看。例如，第一用戶將對(duì)象10放置在具有姿態(tài)PWlO的第一圖像50中。當(dāng)?shù)诙脩羰褂盟囊苿?dòng)設(shè)備時(shí)，根據(jù)圖像60生成一個(gè)視圖，若圖像60在孔徑角度或觀察角度中覆蓋包括姿態(tài) PWlO的全球位置的真實(shí)世界的一部分，則第一用戶放置的虛擬對(duì)象10自動(dòng)地混合到與姿態(tài)PWlO相對(duì)應(yīng)的相同全球位置處的圖像60中。在下文中，通過(guò)圖3和圖4的流程圖結(jié)合其它附圖的方式，更詳細(xì)地描述本發(fā)明的方面和實(shí)施例。圖3示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的方法的示例性流程。在第一步驟1. 0，生成與世界有關(guān)的數(shù)據(jù)。這些數(shù)據(jù)可以從例如互聯(lián)網(wǎng)中提取，也可以由第一用戶使用攝像機(jī) (圖1B)或者具有攝像機(jī)的HMD(圖1A)來(lái)生成。為此，通過(guò)確定世界中的位置和方向(姿態(tài))(步驟2. 0)，用戶在步驟1. 0中拍攝視圖(圖像或捕獲的視圖)。例如，這可以使用GPS 和指南針來(lái)實(shí)現(xiàn)。可選地，可以另外地記錄關(guān)于數(shù)據(jù)生成時(shí)的不確定性的信息。當(dāng)該視圖(圖像或捕獲的視圖)存在時(shí)，用戶可以有利地將該視圖中的虛擬對(duì)象直接放置在他的移動(dòng)設(shè)備上(步驟3.0)。有利的是，在攝像機(jī)坐標(biāo)系統(tǒng)中放置和操作該對(duì)象。在該情況下，在步驟4. 0中，根據(jù)該視圖的全球姿態(tài)和該對(duì)象在攝像機(jī)坐標(biāo)系統(tǒng)中的姿態(tài)來(lái)計(jì)算該虛擬對(duì)象(或者對(duì)象)在世界中(例如，相對(duì)于坐標(biāo)系統(tǒng)200)的全球姿態(tài)。這可以在客戶端1上發(fā)生，也可以在服務(wù)器2上發(fā)生。
1
客戶端是設(shè)備上的程序，其中該程序與服務(wù)器上的另一個(gè)程序建立聯(lián)系，以便使用其的服務(wù)。下層的客戶端-服務(wù)器模型允許將任務(wù)分布到計(jì)算機(jī)網(wǎng)絡(luò)中的不同服務(wù)器。 客戶端不用解決其一個(gè)或多個(gè)特定任務(wù)，而是使它們由服務(wù)器解決，或者從為實(shí)現(xiàn)這種效果提供服務(wù)的服務(wù)器接收相應(yīng)的數(shù)據(jù)?；旧?，該系統(tǒng)的大多步驟可以在服務(wù)器上執(zhí)行，也可以在客戶端上執(zhí)行。使用具有高計(jì)算容量的客戶端，則例如有利的是使它們執(zhí)行盡可能多的計(jì)算，并因此釋放服務(wù)器。在步驟5. 0，將這些來(lái)自步驟4. 0的信息項(xiàng)隨后存儲(chǔ)在服務(wù)器2的數(shù)據(jù)庫(kù)3中，如參照?qǐng)DIC所有利描述的。在步驟6.0，相同用戶或者另一個(gè)客戶端上的另一個(gè)用戶拍攝真實(shí)環(huán)境的圖像(或者通過(guò)HMD的方式觀看該環(huán)境的特定部分)，隨后關(guān)于觀看的真實(shí)環(huán)境的位置從服務(wù)器2中裝載在步驟5. 0中存儲(chǔ)的數(shù)據(jù)。使用增強(qiáng)現(xiàn)實(shí)和有利地裝備有地理空間功能特征的數(shù)據(jù)庫(kù)來(lái)裝載和顯示與位置有關(guān)的信息，是本領(lǐng)域公知的。用戶現(xiàn)在觀看到來(lái)自先前存儲(chǔ)的先前存儲(chǔ)信息或者新的觀察角度，并能夠?qū)崿F(xiàn)改變(操作現(xiàn)有虛擬信息和/或增加新的虛擬信息)，隨后將該改變存儲(chǔ)在服務(wù)器2上。這里，當(dāng)用戶坐在他辦公室時(shí)，例如在具有互聯(lián)網(wǎng)能力的客戶端處，用戶不需要必須是在線的，而可以使用先前存儲(chǔ)的視圖作為現(xiàn)實(shí)上的視窗。在圖1和圖2的示例中，用戶因此在服務(wù)器2的數(shù)據(jù)庫(kù)3上提供或者生成虛擬對(duì)象10，其中服務(wù)器2的數(shù)據(jù)庫(kù)3具有地理全球坐標(biāo)系統(tǒng)200的全球位置和方向，以及允許對(duì)虛擬對(duì)象10的全球位置和方向得出結(jié)論的姿態(tài)數(shù)據(jù)(姿態(tài)PW10)。該用戶或者另一個(gè)用戶通過(guò)移動(dòng)設(shè)備30以及姿態(tài)數(shù)據(jù)(姿態(tài)PW50)拍攝真實(shí)環(huán)境40的至少一幅圖像50，其中該姿態(tài)數(shù)據(jù)允許對(duì)圖像50是在地理全球坐標(biāo)系統(tǒng)200的什么位置和什么方向拍攝的得出結(jié)論。在移動(dòng)設(shè)備的顯示器31上顯示圖像50。在服務(wù)器的數(shù)據(jù)庫(kù)3中存取虛擬對(duì)象10，隨后基于姿態(tài)PWlO和PW50的姿態(tài)數(shù)據(jù)，將虛擬對(duì)象10位于在顯示器顯示的圖像50中。隨后，可以通過(guò)在顯示器顯示的圖像50中進(jìn)行相應(yīng)定位(對(duì)比圖IB的箭頭MP)(例如，進(jìn)行位移)來(lái)操作虛擬對(duì)象10，或者可以通過(guò)在顯示器顯示的圖像50中進(jìn)行相應(yīng)定位來(lái)增加另一個(gè)虛擬對(duì)象11。隨后，在服務(wù)器2的數(shù)據(jù)庫(kù)3中存儲(chǔ)根據(jù)圖像50中的定位的該操作的虛擬對(duì)象10 以及修改的姿態(tài)數(shù)據(jù)(修改的姿態(tài)PW10)或者根據(jù)圖像50中的定位的這種另外的虛擬對(duì)象11以及其姿態(tài)數(shù)據(jù)，其中修改的姿態(tài)數(shù)據(jù)PWio和新虛擬對(duì)象11的姿態(tài)數(shù)據(jù)均允許對(duì)操作的對(duì)象10或者另外的虛擬對(duì)象11針對(duì)坐標(biāo)系統(tǒng)200的全球位置和方向得出結(jié)論。在某些情況下，碰巧不能夠到達(dá)服務(wù)器，故不可以存儲(chǔ)新場(chǎng)景。在該情況下有利的是，該系統(tǒng)可以起作用，提供對(duì)該信息進(jìn)行緩存，直到服務(wù)器可再次使用為止。在一個(gè)實(shí)施例中，如果到服務(wù)器的網(wǎng)絡(luò)連接失敗，則將要在服務(wù)器上存儲(chǔ)的數(shù)據(jù)緩存在移動(dòng)設(shè)備上，并在網(wǎng)絡(luò)連接再次可用時(shí)，將該數(shù)據(jù)發(fā)送給服務(wù)器。在另一個(gè)實(shí)施例中，用戶可以獲得真實(shí)環(huán)境區(qū)域(例如，他周圍區(qū)域或者本地區(qū)域)中的場(chǎng)景的圖集，其使用戶可在按照接近性排序的列表中、或者在地圖上或者使用增強(qiáng)現(xiàn)實(shí)進(jìn)行選擇。在另一個(gè)實(shí)施例中，圖像或者虛擬信息具有唯一識(shí)別特性(例如，唯一的名稱)， 客戶端或者所述移動(dòng)設(shè)備上已存在的圖像或虛擬信息(其可以是虛擬模型數(shù)據(jù)或者視圖) 不用再?gòu)姆?wù)器上下載，而是從本地?cái)?shù)據(jù)存儲(chǔ)器中裝載。
圖4示出了根據(jù)本發(fā)明的另ー個(gè)實(shí)施例的方法的示例性流程，特別增補(bǔ)了用于改進(jìn)圖像姿態(tài)的可選測(cè)量。該方法包括圖3中的步驟1.0到6.0。此外，在圖4的步驟7.0到 8.0中，例如通過(guò)光方法的方式，隨后提高視圖(圖像或者捕獲的視圖)的姿態(tài)，由于有利地存儲(chǔ)了關(guān)于通過(guò)哪個(gè)視圖來(lái)放置虛擬信息的信息，因此該信息的姿態(tài)也是正確的?；蛘?， 可以在客戶端1上已生成視圖之后，通過(guò)提供針對(duì)該視圖的光跟蹤參考信息，或向客戶端1 提供來(lái)自服務(wù)器2的參考數(shù)據(jù)庫(kù)4的具有類似姿態(tài)的視圖，來(lái)立即改進(jìn)該視圖的姿態(tài)?；蛘撸部梢栽谟?jì)算放置的虛擬對(duì)象的姿態(tài)(步驟4. 0)之前，實(shí)現(xiàn)視圖的準(zhǔn)確性，并直接以正確方式對(duì)其進(jìn)行存儲(chǔ)。但是，后一方法的優(yōu)點(diǎn)在于現(xiàn)有的參考數(shù)據(jù)并不必須可用于所有位置，因此只要參考數(shù)據(jù)可用，就還可以針對(duì)這些視圖執(zhí)行正確性。當(dāng)然，也可以使用被用作為參考數(shù)據(jù)的其它視圖，特別是當(dāng)ー個(gè)位置可用多個(gè)視圖時(shí)。稱為asbimdle調(diào)整的這種方法是本領(lǐng)域公知的，例如，在出版日期為2009年3月的 ACM Transactions on Mathematical Software, Vol. 36,No. 1 Article ^,MANOLOS I. A., L0URAKIS和ANT0NIS A. ARGYROS A :SBA :A Software Package for Generic Sparse Bundle Adjustment對(duì)此進(jìn)行了描述。在該情況下，可以對(duì)點(diǎn)相似的3D位置、視圖的姿態(tài)以及固有的攝像機(jī)參數(shù)進(jìn)行優(yōu)化。因此，根據(jù)本發(fā)明的方法還提供生成自己的世界模型，以便在一般情況下使用該數(shù)據(jù)的能力。例如，用于屏蔽支持深度的感測(cè)的模型或者用于進(jìn)行實(shí)時(shí)地光足艮“。圖5示出了在迄今為止沒(méi)有發(fā)生姿態(tài)改進(jìn)的情況下，具有在其中放置的虛擬對(duì)象的真實(shí)環(huán)境的示例性場(chǎng)景。圖5示出了在校正之前的可能情形。在設(shè)備30的顯示器31所顯示的圖像中，相對(duì)于真實(shí)對(duì)象41、42(表示例如飯店建筑物)，放置虛擬對(duì)象10(例如，飯店的評(píng)論)，如從移動(dòng)設(shè)備30所看到的?；诓徽_的或者不準(zhǔn)確的GPS數(shù)據(jù)，圖像和對(duì)象10，以與不正確或者不準(zhǔn)確確定的攝像機(jī)姿態(tài)數(shù)據(jù)P30-2相對(duì)應(yīng)的方式，存儲(chǔ)有不正確的世界坐標(biāo)。這導(dǎo)致以相應(yīng)不正確方式存儲(chǔ)對(duì)象10-2。這在該捕獲的圖像本身是沒(méi)有問(wèn)題的。但是，當(dāng)在例如地圖或者在另ー個(gè)圖像上觀看虛擬對(duì)象10時(shí)，錯(cuò)誤會(huì)變得顯而易見。如果以真正或者正確的攝像機(jī)姿態(tài)數(shù)據(jù)P30-1生成圖像，則虛擬對(duì)象10將在該圖像中的某個(gè)位置處顯示，如虛擬對(duì)象10-1的描繪所顯示的，并且還以用戶生成該虛擬對(duì)象的方式進(jìn)行觀看。但是，不正確存儲(chǔ)的虛擬對(duì)象10-2在另ー個(gè)圖像中被示出為與虛擬對(duì)象 10的真實(shí)位置發(fā)生位移，其具有錯(cuò)誤的攝像機(jī)姿態(tài)P30-2與真實(shí)的攝像機(jī)姿態(tài)P30-1發(fā)生位移的程度。因此，不正確存儲(chǔ)的虛擬對(duì)象10-2在移動(dòng)設(shè)備30的圖像中的描繪，與生成的用戶在前一圖像中的真實(shí)定位不相對(duì)應(yīng)。為了提高虛擬對(duì)象的描繪以及它們?cè)谡鎸?shí)環(huán)境的圖像中的位置的準(zhǔn)確性，根據(jù)本發(fā)明的方法的實(shí)施例包括下面步驟提供具有真實(shí)環(huán)境的參考視圖以及姿態(tài)數(shù)據(jù)的參考數(shù)據(jù)庫(kù)4，其中該姿態(tài)數(shù)據(jù)允許對(duì)攝像機(jī)在地理全球坐標(biāo)系統(tǒng)200的什么位置和什么方向拍攝各個(gè)參考視圖得出結(jié)論。隨后，將該圖像中示出的真實(shí)對(duì)象的至少一部分與參考視圖的至少ー個(gè)中包含的真實(shí)對(duì)象的至少一部分進(jìn)行比較，實(shí)現(xiàn)所述圖像的姿態(tài)數(shù)據(jù)與至少ー個(gè)參考視圖的姿態(tài)數(shù)據(jù)的匹配。其后，作為匹配的結(jié)果，基于各個(gè)參考視圖的姿態(tài)數(shù)據(jù)的至少一部分來(lái)修改所述圖像的姿態(tài)數(shù)據(jù)的至少一部分。此外，在另外的實(shí)施例中，作為所述圖像的姿態(tài)數(shù)據(jù)與各個(gè)參考視圖的姿態(tài)數(shù)據(jù)的匹配的結(jié)果，對(duì)位于該圖像中的虛擬對(duì)象的姿態(tài)數(shù)據(jù)的至少一部分進(jìn)行修改。
圖6示出了在發(fā)生姿態(tài)改進(jìn)之后，具有在其中放置的虛擬對(duì)象10-1的類似于圖5 的真實(shí)環(huán)境的示例性場(chǎng)景。在一個(gè)方面，圖6示出了識(shí)別圖像中的圖像特征的機(jī)制，另一方面，示出了圖像姿態(tài)和對(duì)象姿態(tài)的相對(duì)應(yīng)正確性。具體而言，將圖像特征43 (例如，真實(shí)對(duì)象41和42的不同特征)與參考數(shù)據(jù)庫(kù)4的參考圖像的相對(duì)應(yīng)特征進(jìn)行比較，并進(jìn)行匹配 (稱為圖像特征的“匹配”)?，F(xiàn)在，虛擬對(duì)象10也在其它圖像(其具有正確的姿態(tài))中進(jìn)行了正確地描繪，或者可以實(shí)現(xiàn)放置正確。放置正確的表達(dá)是指出，用戶在以透視方式放置虛擬對(duì)象時(shí)，的確錯(cuò)誤地判斷在地面上放置的對(duì)象的高度。通過(guò)在記錄的現(xiàn)實(shí)的一部分中具有重疊的兩幅圖像，可以提取地平面，重新定位在該方式中放置的對(duì)象，即，它們都在地面上，但在它們初始放置的該圖像中，仿佛仍然幾乎位于相同的位置。圖7A示出了在其中放置虛擬對(duì)象的真實(shí)世界的示例性地圖視圖，而圖7B示出了與圖7A相同的場(chǎng)景的示例性透視圖。圖7A和圖7B用于具體地描繪攝像機(jī)姿態(tài)的用戶輔助的確定。例如，當(dāng)使用沒(méi)有裝備有指南針的移動(dòng)設(shè)備來(lái)獲得觀察方向的粗估計(jì)時(shí)，其是有用的。為此，如圖7B所示，用戶可以以通常方式來(lái)拍攝圖像50，并關(guān)于真實(shí)對(duì)象41來(lái)放置虛擬對(duì)象10。其后，可以提示用戶再次在地圖80或者世界的虛擬視圖80上顯示放置的對(duì)象10的位置，如圖7A所示。基于圖像50的GPS位置和對(duì)象10在地圖80上的對(duì)象位置之間的連接，可以隨后計(jì)算或者校正圖像50在世界中的方向(方位)。當(dāng)移動(dòng)設(shè)備也不具有 GPS時(shí)，該處理還可以使用兩個(gè)虛擬對(duì)象或者一個(gè)虛擬對(duì)象和當(dāng)前位置的指示來(lái)執(zhí)行。此外，還可以向用戶指示最后圖像的“視野”(對(duì)比圖像部分的指示符81)，如圖7A中所示例的，為了正確，用戶可以交互式地移動(dòng)地圖中的“視野”，并對(duì)其進(jìn)行重定向。這里，根據(jù)固有的攝像機(jī)參數(shù)來(lái)顯示“視野”的孔徑。具體而言，根據(jù)該實(shí)施例，該方法包括下面步驟在移動(dòng)設(shè)備的顯示器上提供地圖視圖(對(duì)比地圖視圖80)，為用戶提供選項(xiàng)以選擇對(duì)圖像進(jìn)行拍照時(shí)的觀察方向。用此方式，可以在地圖中選擇用戶在特定的時(shí)刻使用攝像機(jī)面向的觀察方向。根據(jù)本發(fā)明的另一個(gè)實(shí)施例，該方法包括另外的步驟在真實(shí)環(huán)境的圖像中和移動(dòng)設(shè)備的顯示器所提供的地圖視圖中放置虛擬對(duì)象，根據(jù)所確定的該圖像的位置和虛擬對(duì)象在所提供的地圖視圖中的位置，來(lái)確定該圖像的方向。因此，可以將虛擬對(duì)象放置在地圖上以及真實(shí)環(huán)境的透視圖像中，其允許對(duì)用戶的方向得出結(jié)論。為了還允許其它用戶從遠(yuǎn)距離(例如，在通過(guò)比如互聯(lián)網(wǎng)與服務(wù)器通信的客戶端上)，觀看和編輯使用虛擬對(duì)象增強(qiáng)的真實(shí)環(huán)境的圖像，在本發(fā)明的實(shí)施例中提供了還包括下面步驟的方法在服務(wù)器的數(shù)據(jù)庫(kù)上提供真實(shí)環(huán)境的至少一幅圖像以及其姿態(tài)數(shù)據(jù)。其后，在服務(wù)器上存取該真實(shí)環(huán)境的圖像，并將該圖像發(fā)送給客戶端設(shè)備，以便在客戶端設(shè)備上顯示該圖像。用戶通過(guò)在客戶端設(shè)備所顯示的真實(shí)環(huán)境的圖像中進(jìn)行相應(yīng)定位，來(lái)操作該虛擬對(duì)象或者增加另一個(gè)虛擬對(duì)象。在服務(wù)器的數(shù)據(jù)庫(kù)上，提供根據(jù)客戶端設(shè)備所顯示的圖像中的定位的操作的虛擬對(duì)象以及其修改的姿態(tài)數(shù)據(jù)，或者根據(jù)客戶端設(shè)備所顯示的圖像中的定位的另外的虛擬對(duì)象以及其(新的)姿態(tài)數(shù)據(jù)，其中修改的姿態(tài)數(shù)據(jù)或者新的姿態(tài)數(shù)據(jù)均允許對(duì)客戶端設(shè)備所顯示的圖像中的操作的虛擬對(duì)象或者另外的虛擬對(duì)象的全球位置和方向得出結(jié)論。因此，使用客戶端設(shè)備的“遠(yuǎn)程接入”，可以使用另外的虛擬信息來(lái)修改或者增強(qiáng)圖像中的AR場(chǎng)景，并將其寫回到服務(wù)器。由于新存儲(chǔ)的操作的虛擬信息或者新虛擬信息的全球位置，因此其它用戶可以通過(guò)訪問(wèn)服務(wù)器來(lái)重新獲得該位置，并在與該全球位置相對(duì)應(yīng)的AR場(chǎng)景中進(jìn)行觀看?；谏鲜鰞?nèi)容，另ー個(gè)實(shí)施例中的方法包括下面另外的步驟在服務(wù)器上存取真實(shí)環(huán)境的圖像，并將其發(fā)送給第二客戶端設(shè)備以便在第二客戶端設(shè)備上觀看該圖像，存取在服務(wù)器上提供的虛擬對(duì)象，其中第二客戶端設(shè)備上的圖像的視圖顯示那些其全球位置在第二客戶端設(shè)備上的圖像的視圖中所顯示的真實(shí)環(huán)境之內(nèi)的虛擬對(duì)象。用此方式，觀看者可以在另一個(gè)客戶端設(shè)備上觀察顯示那些虛擬對(duì)象的場(chǎng)景，其中其它用戶先前已將這些虛擬對(duì)象放置在相應(yīng)位置(即，它們的全球位置位于在該客戶端設(shè)備上的圖像的視圖中所顯示的真實(shí)環(huán)境之內(nèi))。換言之，觀看者從他的觀察角度觀看其它用戶先前已將其放置在視圖的可視范圍中的那些虛擬對(duì)象。[1]AR ffikitude. http://www. mobilizy. com/wikitude. php.[2] Enkin. http "www. enkin. net.[3] S. Feiner. B. Maclntyre. Τ. η- πθγθγ. ana Α. Webster. A touring macnine Prototyping 3d mobile augmented reality systems for exploring the urban environment. In Proceedings of the 1st International Symposium on Wearable Computers, pages 74-81.1997.[4]Sekai Camera, http://www. tonchidot. com/product-info. html.[5] Iayar. com
1權(quán)利要求
1.一種用于在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法，包括下面步驟在服務(wù)器O)的數(shù)據(jù)庫(kù)(3)中，提供具有地理全球坐標(biāo)系統(tǒng)O00)的全球位置和方向的至少一個(gè)虛擬對(duì)象(10)，以及允許對(duì)所述虛擬對(duì)象的全球位置和方向得出結(jié)論的第一姿態(tài)數(shù)據(jù)(PWlO)；通過(guò)移動(dòng)設(shè)備(30)拍攝真實(shí)環(huán)境GO)的至少一幅圖像(50)，并提供第二姿態(tài)數(shù)據(jù) (PW50)，其中所述第二姿態(tài)數(shù)據(jù)允許對(duì)所述圖像是在所述地理全球坐標(biāo)系統(tǒng)O00)的什么位置和什么方向拍攝的得出結(jié)論；在所述移動(dòng)設(shè)備的顯示器(31)上顯示所述圖像(50)；在所述服務(wù)器O)的數(shù)據(jù)庫(kù)(3)中存取所述虛擬對(duì)象(10)，并基于所述第一姿態(tài)數(shù)據(jù)和所述第二姿態(tài)數(shù)據(jù)(PW10、PW50)，在顯示器顯示的所述圖像(50)中定位所述虛擬對(duì)象 (10)；通過(guò)在顯示器顯示的所述圖像(50)中進(jìn)行相應(yīng)定位，操作所述虛擬對(duì)象(10)或者增加另一個(gè)虛擬對(duì)象(11)；在所述服務(wù)器( 的數(shù)據(jù)庫(kù)C3)中，提供根據(jù)所述圖像(50)中的定位的所操作的虛擬對(duì)象(10)以及修改的第一姿態(tài)數(shù)據(jù)(PWlO)，或者根據(jù)所述圖像(50)中的定位的另外的虛擬對(duì)象(11)以及第三姿態(tài)數(shù)據(jù)，所修改的第一姿態(tài)數(shù)據(jù)和所述第三姿態(tài)數(shù)據(jù)均允許對(duì)所操作的虛擬對(duì)象或者另外的虛擬對(duì)象的全球位置和方向得出結(jié)論。
2.根據(jù)權(quán)利要求1所述的方法，其中，在所述服務(wù)器上提供所述圖像(50)以及所述第二姿態(tài)數(shù)據(jù)(PW50)。
3.一種用于在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法，包括下面步驟在服務(wù)器O)的數(shù)據(jù)庫(kù)(3)中，提供具有地理全球坐標(biāo)系統(tǒng)O00)的全球位置和方向的至少一個(gè)虛擬對(duì)象(10)，以及允許對(duì)所述虛擬對(duì)象的全球位置和方向得出結(jié)論的第一姿態(tài)數(shù)據(jù)(PWlO)；通過(guò)數(shù)據(jù)眼鏡00)提供真實(shí)環(huán)境GO)的至少一個(gè)視圖(70)以及第二姿態(tài)數(shù)據(jù)，其中所述第二姿態(tài)數(shù)據(jù)允許對(duì)所述數(shù)據(jù)眼鏡位于所述地理全球坐標(biāo)系統(tǒng)O00)的什么位置和什么方向得出結(jié)論；在所述服務(wù)器O)的數(shù)據(jù)庫(kù)(3)中存取所述虛擬對(duì)象(10)，并基于所述第一姿態(tài)數(shù)據(jù)和所述第二姿態(tài)數(shù)據(jù)，在所述視圖中定位所述虛擬對(duì)象(10)；通過(guò)所述視圖中的相應(yīng)定位，操作所述虛擬對(duì)象(10)或者增加另外的虛擬對(duì)象(11)；在所述服務(wù)器( 的數(shù)據(jù)庫(kù)C3)中，提供根據(jù)所述視圖(70)中的定位的所操作的虛擬對(duì)象(10)以及修改的第一姿態(tài)數(shù)據(jù)(PWlO)，或者根據(jù)所述視圖(70)中的定位的另外的虛擬對(duì)象(11)以及第三姿態(tài)數(shù)據(jù)，所修改的第一姿態(tài)數(shù)據(jù)和所述第三姿態(tài)數(shù)據(jù)均允許對(duì)所操作的虛擬對(duì)象或者另外的虛擬對(duì)象的全球位置和方向得出結(jié)論。
4.根據(jù)前述權(quán)利要求中的任意一項(xiàng)所述的方法，其中，所述移動(dòng)設(shè)備(30)或者所述數(shù)據(jù)眼鏡00)包括用于生成所述第二姿態(tài)數(shù)據(jù)的單元04、34)，或者連接到用于生成所述第二姿態(tài)數(shù)據(jù)的單元04、；34)。
5.根據(jù)前述權(quán)利要求中的任意一項(xiàng)所述的方法，其中，所述姿態(tài)數(shù)據(jù)(PW10、PW50)均各自包括位置和方向的三維值。
6.根據(jù)前述權(quán)利要求中的任意一項(xiàng)所述的方法，其中，獨(dú)立于地球表面O01)來(lái)規(guī)定所述真實(shí)環(huán)境的圖像(50)的方向。
7.根據(jù)前述權(quán)利要求中的任意一項(xiàng)所述的方法，其中，在所述服務(wù)器O)的存儲(chǔ)位置上存儲(chǔ)其中真實(shí)環(huán)境的幾幅圖像中的哪幅圖像(50)或者真實(shí)環(huán)境的幾個(gè)視圖中的哪個(gè)視圖(70)、幾個(gè)虛擬對(duì)象中的哪個(gè)虛擬對(duì)象(10)已提供有姿態(tài)數(shù)據(jù)。
8.根據(jù)前述權(quán)利要求中的任意一項(xiàng)所述的方法，還包括下面的另外步驟提供具有真實(shí)環(huán)境的參考視圖的參考數(shù)據(jù)庫(kù)以及姿態(tài)數(shù)據(jù)，其中所述姿態(tài)數(shù)據(jù)允許對(duì)攝像機(jī)在所述地理全球坐標(biāo)系統(tǒng)O00)的什么位置和什么方向拍攝所述各個(gè)參考視圖得出結(jié)論，將所述圖像中顯示的至少ー個(gè)真實(shí)對(duì)象Gl、42)與所述參考視圖的至少ー個(gè)中包含的真實(shí)對(duì)象的至少一部分進(jìn)行比較，并且將所述圖像的第二姿態(tài)數(shù)據(jù)(PW50)與所述至少一個(gè)參考視圖的姿態(tài)數(shù)據(jù)匹配，作為所述匹配的結(jié)果，基于所述至少ー個(gè)參考視圖的姿態(tài)數(shù)據(jù)的至少一部分來(lái)修改所述第二姿態(tài)數(shù)據(jù)(PW50)的至少一部分。
9.根據(jù)權(quán)利要求8所述的方法，其中，此外作為將所述第二姿態(tài)數(shù)據(jù)(PW50)與所述至少ー個(gè)參考視圖的姿態(tài)數(shù)據(jù)匹配的結(jié)果，修改位于所述圖像中的虛擬對(duì)象(10)的第一姿態(tài)數(shù)據(jù)(PWio)的至少一部分。
10.根據(jù)前述權(quán)利要求中的任意一項(xiàng)所述的方法，還包括下面的另外步驟在所述服務(wù)器的數(shù)據(jù)庫(kù)C3)中，提供所述真實(shí)環(huán)境的至少一幅圖像(50)以及所述第二姿態(tài)數(shù)據(jù)(PW50)，在所述服務(wù)器( 上存取所述真實(shí)環(huán)境的圖像(50)，并發(fā)送給客戶端設(shè)備(1)以在所述客戶端設(shè)備上顯示所述圖像，通過(guò)在所述客戶端設(shè)備顯示的所述真實(shí)環(huán)境的圖像中進(jìn)行相應(yīng)定位，操作所述虛擬對(duì)象(10)或者增加另外的虛擬對(duì)象(11)，在所述服務(wù)器的數(shù)據(jù)庫(kù)(3)中，提供根據(jù)所述客戶端設(shè)備顯示的所述圖像中的定位的所操作的虛擬對(duì)象(10)以及修改的第一姿態(tài)數(shù)據(jù)(PWlO)，或者根據(jù)所述客戶端設(shè)備顯示的圖像中的定位的另外的虛擬對(duì)象(11)以及第三姿態(tài)數(shù)據(jù)，所修改的第一姿態(tài)數(shù)據(jù)和所述第三姿態(tài)數(shù)據(jù)均允許對(duì)所述客戶端設(shè)備顯示的圖像中的所操作的虛擬對(duì)象或者另外的虛擬對(duì)象的全球位置和方向得出結(jié)論。
11.根據(jù)權(quán)利要求10所述的方法，還包括下面的步驟在所述服務(wù)器( 上存取所述真實(shí)環(huán)境的圖像(50)，并傳送給第二客戶端設(shè)備以在所述第二客戶端設(shè)備上觀看所述圖像，以及存取所述服務(wù)器上提供的虛擬對(duì)象(10)，其中所述第二客戶端設(shè)備上的圖像的視圖顯示那些其全球位置位于所述真實(shí)環(huán)境之中的虛擬對(duì)象，其中所述真實(shí)環(huán)境是在所述第二客戶端設(shè)備上的圖像的視圖中顯示的。
12.根據(jù)前述權(quán)利要求中的任意一項(xiàng)所述的方法，還包括下面的步驟在所述移動(dòng)設(shè)備的顯示器上提供地圖視圖(80)，為用戶提供選項(xiàng)，以選擇拍攝所述真實(shí)環(huán)境的至少一幅圖像時(shí)的觀察方向。
13.根據(jù)前述權(quán)利要求中的任意一項(xiàng)所述的方法，包括下面的步驟將至少ー個(gè)虛擬對(duì)象(10)放置在所述真實(shí)環(huán)境的圖像中和在所述移動(dòng)設(shè)備的顯示器上提供的地圖視圖(80)中，根據(jù)所述真實(shí)環(huán)境的圖像的確定的位置以及提供的地圖視圖(80)中的至少一個(gè)虛擬對(duì)象(10)的位置，確定所述真實(shí)環(huán)境的圖像(50)的方向。
14.根據(jù)前述權(quán)利要求中的任意一項(xiàng)所述的方法，其中，如果到所述服務(wù)器(3)的網(wǎng)絡(luò)連接失敗，則將要存儲(chǔ)在所述服務(wù)器上的數(shù)據(jù)緩存到所述移動(dòng)設(shè)備上，只要所述網(wǎng)絡(luò)連接再次可用，就將所述數(shù)據(jù)發(fā)送給所述服務(wù)器。
15.根據(jù)前述權(quán)利要求中的任意一項(xiàng)所述的方法，其中，用戶可以重新獲得真實(shí)環(huán)境區(qū)域中的場(chǎng)景的圖集，其使用戶可在按照接近性排序的列表中、或者在地圖上或者通過(guò)增強(qiáng)現(xiàn)實(shí)的方式進(jìn)行選擇。
16.根據(jù)前述權(quán)利要求中的任意一項(xiàng)所述的方法，其中，所述圖像或者所述虛擬信息具有唯一識(shí)別特性，客戶端或者所述移動(dòng)設(shè)備上已存在的圖像或虛擬信息不用再?gòu)乃龇?wù)器上下載，而是從本地?cái)?shù)據(jù)存儲(chǔ)器中裝載。
全文摘要
一種用于在真實(shí)環(huán)境的視圖中描繪虛擬信息的方法包括下面步驟在服務(wù)器(2)的數(shù)據(jù)庫(kù)(3)中，提供具有地理全球坐標(biāo)系統(tǒng)(200)的全球位置和方向的至少一個(gè)虛擬對(duì)象(10)，以及允許對(duì)虛擬對(duì)象的全球位置和方向得出結(jié)論的第一姿態(tài)數(shù)據(jù)(PW10)；通過(guò)移動(dòng)設(shè)備(30)拍攝真實(shí)環(huán)境(40)的至少一幅圖像(50)，并提供第二姿態(tài)數(shù)據(jù)(PW50)，其中第二姿態(tài)數(shù)據(jù)允許對(duì)該圖像是在地理全球坐標(biāo)系統(tǒng)(200)的什么位置和什么方向拍攝的得出結(jié)論；在移動(dòng)設(shè)備的顯示器(31)上顯示該圖像(50)；在服務(wù)器(2)的數(shù)據(jù)庫(kù)(3)中存取該虛擬對(duì)象(10)，并基于第一姿態(tài)數(shù)據(jù)和第二姿態(tài)數(shù)據(jù)(PW10、PW50)在顯示器顯示的圖像(50)中放置該虛擬對(duì)象(10)；通過(guò)在顯示器顯示的圖像(50)中進(jìn)行相應(yīng)定位，操作該虛擬對(duì)象(10)或者增加另外的虛擬對(duì)象(11)；在服務(wù)器(2)的數(shù)據(jù)庫(kù)(3)中，提供根據(jù)圖像(50)中的定位的操作的虛擬對(duì)象(10)以及修改第一姿態(tài)數(shù)據(jù)(PW10)，或者根據(jù)圖像(50)中的定位的另外的虛擬對(duì)象(11)以及第三姿態(tài)數(shù)據(jù)；修改的第一姿態(tài)數(shù)據(jù)和第三姿態(tài)數(shù)據(jù)均允許對(duì)操作的虛擬對(duì)象或者另外的虛擬對(duì)象的全球位置和方向得出結(jié)論。例如，不是使用真實(shí)環(huán)境的圖像，還可以使用HMD的視圖來(lái)模擬地執(zhí)行該方法。
文檔編號(hào)G06T19/00GK102598064SQ201080045773
公開日2012年7月18日 申請(qǐng)日期2010年10月11日 優(yōu)先權(quán)日2009年10月12日
發(fā)明者F·安格曼, M·屈恩, P·邁爾 申請(qǐng)人:Metaio有限公司