本申請涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，尤其涉及一種用于虛擬定位的方法及設(shè)備。

背景技術(shù)：

虛擬現(xiàn)實(shí)(virtual Reality，VR)技術(shù)是一個綜合了計(jì)算機(jī)圖形學(xué)、多媒體技術(shù)、計(jì)算機(jī)仿真技術(shù)、圖象處理、模式識別、傳感探測技術(shù)學(xué)科領(lǐng)域,其應(yīng)用已經(jīng)涵蓋了、模擬訓(xùn)練、遠(yuǎn)程醫(yī)療、教育培訓(xùn)、科學(xué)研究、娛樂等等各類領(lǐng)域。虛擬現(xiàn)實(shí)具有浸沒感(Immersion)、交互性(Interactivity)、構(gòu)想性(Imagination)特征。在虛擬現(xiàn)實(shí)環(huán)境中，需要對游戲玩家進(jìn)行實(shí)時定位，以適應(yīng)其通過虛擬眼鏡、虛擬頭盔等看到的景象，或防止游戲玩家碰到其他玩家或物體。目前有多種技術(shù)可以實(shí)現(xiàn)對多目標(biāo)進(jìn)行實(shí)時定位追蹤，如普通攝像機(jī)、全球定位系統(tǒng)(GPS)、慣性導(dǎo)航等。普通攝像機(jī)可以直觀觀測視野內(nèi)目標(biāo)的運(yùn)動，但在復(fù)雜檢測環(huán)境中不容易區(qū)分出所關(guān)心的對象；全球定位系統(tǒng)(GPS)可以在開放環(huán)境中對目標(biāo)進(jìn)行精準(zhǔn)定位追蹤，但在電磁波傳播受限的特殊密閉空間如礦井、信號差的大樓，GPS失效；慣性導(dǎo)航適用于開放環(huán)境或密閉空間中目標(biāo)的定位追蹤(如鉆井)，可以彌補(bǔ)GPS定位的不足，但慣性導(dǎo)航技術(shù)尚不成熟。

在現(xiàn)有技術(shù)中，例如，通過在室內(nèi)布置多點(diǎn)攝像機(jī)，紅外攝像機(jī)固定于室內(nèi)各個方位，用于識別人體并捕捉跟蹤人體的運(yùn)動，并通過終端計(jì)算設(shè)備，將人體的位置移動投射與虛擬現(xiàn)實(shí)中，最后在VR頭盔上現(xiàn)實(shí)，以達(dá)到高沉浸感的虛擬現(xiàn)實(shí)體驗(yàn)。但該方法需要大量的攝像機(jī)，且由于其直接捕捉人體運(yùn)動，需要高運(yùn)算能力的終端設(shè)備，并且攝像機(jī)之間需要組網(wǎng)交互數(shù)據(jù)，成本較大，應(yīng)用場景較為單一，普通消費(fèi)者難以購買并實(shí)現(xiàn)。再例如，還可通過lighthouse的技術(shù)，可以為虛擬現(xiàn)實(shí)設(shè)備提供5x5米的空間范圍追蹤能力。游戲中避免了人主動移動而產(chǎn)生的被動式眩暈問題。但該技術(shù)依賴多組攝像機(jī)對光源的捕捉，光源本身耗電，對設(shè)備持續(xù)使用會造成問題，并且運(yùn)動范圍受限于攝像機(jī)的拍攝焦距，距離攝像機(jī)越遠(yuǎn)會導(dǎo)致跟蹤精度的降低。

申請內(nèi)容

本申請的一個目的是提供一種用于虛擬定位的方法及設(shè)備，解決現(xiàn)有技術(shù)中需要高運(yùn)算能力的終端設(shè)備、成本較大、應(yīng)用場景較為單一、跟蹤精確度低的問題。

根據(jù)本申請的一個方面，提供了一種用于虛擬定位的設(shè)備，所述設(shè)備包括：頭盔、慣性采集單元、雙目攝像頭、點(diǎn)光源、運(yùn)算單元，其中，所述慣性采集單元固連在所述頭盔上，用于用戶的頭部姿態(tài)追蹤，所述雙目攝像頭固連在所述頭盔上，用于圖像采集、識別，所述點(diǎn)光源設(shè)置于所述頭盔所在的設(shè)定環(huán)境中，所述運(yùn)算單元用于處理所述雙目攝像頭所采集的數(shù)據(jù)及所述慣性采集單元采集的數(shù)據(jù)。

進(jìn)一步地，上述設(shè)備中，所述雙目攝像頭用于捕捉所述設(shè)定環(huán)境內(nèi)的點(diǎn)光源，獲取所述點(diǎn)光源所在的待采集圖像。

進(jìn)一步地，所述運(yùn)算單元用于根據(jù)所述點(diǎn)光源及所述待采集圖像確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置。

進(jìn)一步地，上述設(shè)備中，所述雙目攝像頭用于獲取用戶的雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)。

進(jìn)一步地，上述設(shè)備中，所述慣性采集單元用于采集佩戴所述頭盔的用戶的姿態(tài)數(shù)據(jù)，得到用戶的慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)。

更進(jìn)一步地，所述慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)包括：用戶的姿態(tài)數(shù)據(jù)、三軸速度和三軸位置數(shù)據(jù)。

進(jìn)一步地，所述運(yùn)算單元用于將所述雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)及所述慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)進(jìn)行包括融合、換算的數(shù)據(jù)處理。

進(jìn)一步地，所述運(yùn)算單元用于將經(jīng)過融合、換算的數(shù)據(jù)處理后的數(shù)據(jù)映射到虛擬設(shè)定環(huán)境中。

根據(jù)本申請的另一個方面，還提供了一種用于虛擬定位的方法，所述方法包括：

根據(jù)設(shè)定環(huán)境內(nèi)的多個點(diǎn)光源及所述點(diǎn)光源所在的待采集圖像確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置；

通過所述雙目攝像頭獲取用戶的雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)，并通過慣性導(dǎo)航算法獲取用戶的慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)；

將所述雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)與所述慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)進(jìn)行融合運(yùn)算，得到融合運(yùn)動數(shù)據(jù)；

基于所述相對空間位置將所述融合運(yùn)動數(shù)據(jù)換算成世界坐標(biāo)系運(yùn)動數(shù)據(jù)，并映射到虛擬現(xiàn)實(shí)環(huán)境中。

進(jìn)一步地，上述方法中，根據(jù)設(shè)定環(huán)境內(nèi)的多個點(diǎn)光源及所述點(diǎn)光源所在的待采集圖像確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置，包括：

根據(jù)對設(shè)定環(huán)境內(nèi)的多個點(diǎn)光源的標(biāo)定確定所述點(diǎn)光源在所述設(shè)定環(huán)境中的位置數(shù)據(jù)；

根據(jù)點(diǎn)光源標(biāo)記捕捉所述點(diǎn)光源，將所述點(diǎn)光源所在的原始圖像作為待采樣圖像；

基于所述點(diǎn)光源在所述設(shè)定環(huán)境中的位置數(shù)據(jù)及所述待采樣圖像確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置。

進(jìn)一步地，基于所述點(diǎn)光源在所述設(shè)定環(huán)境中的位置數(shù)據(jù)及所述待采樣圖像確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置，包括：

根據(jù)所述待采樣圖像確定所述點(diǎn)光源在所述待采樣圖像中的位移數(shù)據(jù)；

基于所述點(diǎn)光源在所述設(shè)定環(huán)境中的位置數(shù)據(jù)及所述位移數(shù)據(jù)，確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置。

進(jìn)一步地，基于所述點(diǎn)光源在所述設(shè)定環(huán)境中的位置數(shù)據(jù)及所述位移數(shù)據(jù)，確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置，包括：

根據(jù)所述點(diǎn)光源在所述設(shè)定環(huán)境中的位置數(shù)據(jù)及所述位移數(shù)據(jù)確定所述點(diǎn)光源的相對空間位置；

根據(jù)立體視覺算法及所述點(diǎn)光源的相對空間位置確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置。

進(jìn)一步地，確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置之后，包括：

根據(jù)所述相對空間位置確定關(guān)聯(lián)轉(zhuǎn)換矩陣。

進(jìn)一步地，所述慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)包括：用戶的姿態(tài)數(shù)據(jù)、三軸速度和三軸位置數(shù)據(jù)。

進(jìn)一步地，基于所述相對空間位置將所述融合運(yùn)動數(shù)據(jù)換算成世界坐標(biāo)系運(yùn)動數(shù)據(jù)，并映射到虛擬現(xiàn)實(shí)環(huán)境中，包括：

根據(jù)所述相對空間位置確定的關(guān)聯(lián)轉(zhuǎn)換矩陣將所述融合運(yùn)動數(shù)據(jù)換算成世界坐標(biāo)系運(yùn)動數(shù)據(jù)，并將所述世界坐標(biāo)系運(yùn)動數(shù)據(jù)映射到虛擬現(xiàn)實(shí)環(huán)境中。

與現(xiàn)有技術(shù)相比，本申請通過所述設(shè)備包括：頭盔、慣性采集單元、雙目攝像頭、點(diǎn)光源、運(yùn)算單元，其中，所述慣性采集單元固連在所述頭盔上，用于用戶的頭部姿態(tài)追蹤，所述雙目攝像頭固連在所述頭盔上，用于圖像采集、識別，所述點(diǎn)光源設(shè)置于所述頭盔所在的設(shè)定環(huán)境中，所述運(yùn)算單元用于處理所述雙目攝像頭所采集的數(shù)據(jù)及所述慣性采集單元采集的數(shù)據(jù)。實(shí)現(xiàn)了慣性采集單元與雙目攝像頭均可佩帶于用戶身上，一體化的系統(tǒng)佩帶方式可以讓用戶自由移動，具有較高的虛擬現(xiàn)實(shí)沉浸感，且高速率的慣性采集單元可以提高動態(tài)頭部運(yùn)動跟蹤，并與通過雙目攝像頭所采集的運(yùn)動數(shù)據(jù)進(jìn)行融合運(yùn)算，得到更為精確的運(yùn)動數(shù)據(jù)。

進(jìn)一步地，本申請還提供了一種用于虛擬定位的方法，通過根據(jù)設(shè)定環(huán)境內(nèi)的多個點(diǎn)光源及所述點(diǎn)光源所在的待采集圖像確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置；通過所述雙目攝像頭獲取用戶的雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)，并通過慣性導(dǎo)航算法獲取用戶的慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)；將所述雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)與所述慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)進(jìn)行融合運(yùn)算，得到融合運(yùn)動數(shù)據(jù)；基于所述相對空間位置將所述融合運(yùn)動數(shù)據(jù)換算成世界坐標(biāo)系運(yùn)動數(shù)據(jù)，并映射到虛擬現(xiàn)實(shí)環(huán)境中。進(jìn)而保證了高采樣率，動態(tài)性好的特點(diǎn)的同時保證了所獲取的數(shù)據(jù)為精確度高的數(shù)據(jù)，將所述雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)與所述慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)進(jìn)行融合運(yùn)算，得到較為穩(wěn)定且數(shù)據(jù)幀率很高的姿態(tài)數(shù)據(jù)以及位置信息，可以作為真實(shí)的人體運(yùn)動信息，應(yīng)用在虛擬現(xiàn)實(shí)中的投射，使用戶在運(yùn)動時得到反饋，增強(qiáng)用戶的沉浸感。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實(shí)施例所作的詳細(xì)描述，本申請的其它特征、目的和優(yōu)點(diǎn)將會變得更明顯：

圖1示出根據(jù)本申請的一個方面的一種用于虛擬定位的設(shè)備；

圖2示出根據(jù)本申請的另一個方面的一種用于虛擬定位的方法；

圖3示出本申請的一實(shí)施例中用于虛擬定位的實(shí)施方法示意圖。

附圖中相同或相似的附圖標(biāo)記代表相同或相似的部件。

具體實(shí)施方式

下面結(jié)合附圖對本申請作進(jìn)一步詳細(xì)描述。

在本申請一個典型的配置中，終端、服務(wù)網(wǎng)絡(luò)的設(shè)備和可信方均包括一個或多個處理器(CPU)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。

內(nèi)存可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲器，隨機(jī)存取存儲器(RAM)和/或非易失性內(nèi)存等形式，如只讀存儲器(ROM)或閃存(flashRAM)。內(nèi)存是計(jì)算機(jī)可讀介質(zhì)的示例。

計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術(shù)來實(shí)現(xiàn)信息存儲。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計(jì)算機(jī)的存儲介質(zhì)的例子包括，但不限于相變內(nèi)存(PRAM)、靜態(tài)隨機(jī)存取存儲器(SRAM)、動態(tài)隨機(jī)存取存儲器(DRAM)、其他類型的隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲器(CD-ROM)、數(shù)字多功能光盤(DVD)或其他光學(xué)存儲、磁盒式磁帶，磁帶磁盤存儲或其他磁性存儲設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲可以被計(jì)算設(shè)備訪問的信息。按照本文中的界定，計(jì)算機(jī)可讀介質(zhì)不包括非暫存電腦可讀媒體(transitory media)，如調(diào)制的數(shù)據(jù)信號和載波。

為更進(jìn)一步闡述本申請所采取的技術(shù)手段及取得的效果，下面結(jié)合附圖及較佳實(shí)施例，對本申請的技術(shù)方案，進(jìn)行清楚和完整的描述。

圖1示出根據(jù)本申請的一個方面的一種用于虛擬定位的設(shè)備，所述設(shè)備包括：頭盔1、慣性采集單元11、雙目攝像頭12、點(diǎn)光源2、運(yùn)算單元3，其中，所述慣性采集單元11固連在所述頭盔1上，用于用戶的頭部姿態(tài)追蹤，所述雙目攝像頭12固連在所述頭盔上，用于圖像采集、識別，所述點(diǎn)光源2設(shè)置于所述頭盔1所在的設(shè)定環(huán)境中，所述運(yùn)算單元3用于處理所述雙目攝像頭12所采集的數(shù)據(jù)及所述慣性采集單元11采集的數(shù)據(jù)。在此，頭盔1為用戶佩帶的現(xiàn)實(shí)設(shè)備，根據(jù)VR(Virtual Reality，VR)技術(shù)能夠?qū)ε鍘в脩暨M(jìn)行定位追蹤，慣性采集單元11(IMU)為慣性檢測元件，固連在頭盔1上，跟隨佩帶用戶的頭部一起運(yùn)動，獲取整個頭盔1的姿態(tài)數(shù)據(jù)，并通過慣性導(dǎo)航算法為設(shè)備提供額外的速度位置參考；優(yōu)選地，所述點(diǎn)光源為多個具有固定形狀及特定顏色的點(diǎn)光源標(biāo)記，在此，點(diǎn)光源是一種固定亮度的光源，由于器件原因，一般為球形，故稱為點(diǎn)光源，其可作為視覺識別系統(tǒng)的標(biāo)記點(diǎn)，以一定方位固定在設(shè)定環(huán)境中，其中，所述設(shè)定環(huán)境比如為室內(nèi)實(shí)驗(yàn)環(huán)境；所述雙目攝像頭負(fù)責(zé)捕捉帶有光源標(biāo)記的原始圖像，從而在運(yùn)算單元3中對帶有光源標(biāo)記的原始圖像進(jìn)行處理，并將由雙目攝像頭12確定的運(yùn)動數(shù)據(jù)與由慣性采集單元12確定的數(shù)據(jù)在同一坐標(biāo)系中進(jìn)行融合運(yùn)算，得到較為穩(wěn)定且數(shù)據(jù)幀率很高的姿態(tài)數(shù)據(jù)以及位置信息，以作為真實(shí)的人體運(yùn)動信息，應(yīng)用在虛擬現(xiàn)實(shí)中的投射，使用戶在運(yùn)動時得到反饋，增強(qiáng)用戶的沉浸感。

優(yōu)選地，所述雙目攝像頭12用于捕捉所述設(shè)定環(huán)境內(nèi)的點(diǎn)光源2，獲取所述點(diǎn)光源2所在的待采集圖像。在此，設(shè)定環(huán)境為經(jīng)過雙目攝像頭12與點(diǎn)光源2標(biāo)記聯(lián)合校準(zhǔn)后的現(xiàn)實(shí)環(huán)境，多個點(diǎn)光源標(biāo)記透過雙目攝像頭12透視投影到攝像頭的圖像傳感器中，確定點(diǎn)光源所在的原始圖像，通過對所確定的原始圖像的畸變矯正處理得到待采集圖像，保證光源標(biāo)記在待采集圖像中的位置準(zhǔn)確性，以及從待采集圖像中獲取的數(shù)據(jù)沒有初始的偏差，進(jìn)而提高了后續(xù)進(jìn)行虛擬定位的準(zhǔn)確性。

優(yōu)選地，所述運(yùn)算單元3用于根據(jù)所述點(diǎn)光源2及所述待采集圖像確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭12的相對空間位置。在此，點(diǎn)光源2在設(shè)定環(huán)境內(nèi)的位置提前被標(biāo)定，雙目攝像頭12捕捉到點(diǎn)光源之后，在運(yùn)算單元3中計(jì)算雙目攝像頭12與所捕捉到的點(diǎn)光源2的相對空間位置，因?yàn)辄c(diǎn)光源是固連在設(shè)定環(huán)境中，通過之前標(biāo)定得到的記錄數(shù)據(jù)分辨點(diǎn)光源位置，通過立體視覺算法進(jìn)行測距，其中，測距是指根據(jù)立體視覺算法中透視原理進(jìn)行的，因只有光識別點(diǎn)光源的對應(yīng)位置數(shù)據(jù)是不夠的，需要測定相對距離，通過確定點(diǎn)光源的相對位置來定位雙目攝像頭12的相對空間位置，即通過空間定位的方式來定位雙目攝像頭12本身的位置，得到雙目攝像頭12與點(diǎn)光源之間的相對空間位置。

優(yōu)選地，所述雙目攝像頭用于獲取用戶的雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)。在此，雙目攝像頭12捕捉用戶的運(yùn)動數(shù)據(jù)，此時獲取到的用戶的運(yùn)動數(shù)據(jù)是以雙目攝像頭12為參照的，因此為雙目攝像頭坐標(biāo)下的運(yùn)動數(shù)據(jù)，其中，雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)包括通過雙目攝像頭確定的運(yùn)動位置數(shù)據(jù)、運(yùn)動速度等。根據(jù)雙目攝像頭12與點(diǎn)光源之間的相對空間位置確定雙目攝像頭坐標(biāo)系與真實(shí)環(huán)境的世界坐標(biāo)系產(chǎn)生的關(guān)聯(lián)轉(zhuǎn)換矩陣，其中，關(guān)聯(lián)轉(zhuǎn)換矩陣為：雙目攝像頭坐標(biāo)系(A坐標(biāo)系)相對與世界坐標(biāo)系(B坐標(biāo)系)的空間相對關(guān)系，包含了三維旋轉(zhuǎn)移群，科學(xué)定義為SE(3)，由三維矩陣：

三維位移矩陣：

T＝[X_M Y_M Z_M]^T

最后可得關(guān)聯(lián)轉(zhuǎn)換矩陣C

優(yōu)選地，所述慣性采集單元11用于采集佩戴所述頭盔1的用戶的姿態(tài)數(shù)據(jù)，得到用戶的慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)。在此，慣性采集單元11中的慣性傳感器通過慣性導(dǎo)航算法獲取人體的運(yùn)動信息(用戶的運(yùn)動數(shù)據(jù))，其所在慣導(dǎo)坐標(biāo)系：S系，S系(X_SY_SZ_S)固連在頭盔1上，坐標(biāo)系原點(diǎn)為設(shè)備質(zhì)心O，OX_S和OY_S軸在當(dāng)前設(shè)定環(huán)境的水平面內(nèi)，OX_S軸指向載體的右側(cè)，OY_S軸沿載體縱軸方向并指向前，OZ_S垂直于載體豎直向上。OX_SY_SZ_S坐標(biāo)系構(gòu)成右手直角坐標(biāo)系。在本申請的一優(yōu)選實(shí)施例中，所述慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)包括：用戶的姿態(tài)數(shù)據(jù)、三軸速度和三軸位置數(shù)據(jù)。其中，所述用戶的姿態(tài)數(shù)據(jù)包括：俯仰數(shù)據(jù)、偏航數(shù)據(jù)和滾轉(zhuǎn)數(shù)據(jù)，確定用戶運(yùn)動時的頭盔的空間方向需要用三個角度：俯仰角(pitch)、偏航(yaw)和滾轉(zhuǎn)(roll)，得到的這三個角度的數(shù)據(jù)均為慣導(dǎo)坐標(biāo)系OX_SY_SZ_S下的數(shù)據(jù)，通過該三個角度追蹤用戶所佩戴頭盔的整個姿態(tài)；通過慣性導(dǎo)航算法確定三軸速度和三軸位置數(shù)據(jù)，其中，三軸速度為用戶在OX_S、OY_S和OZ_S軸上的運(yùn)動速度，三軸位置數(shù)據(jù)為用戶運(yùn)動時在OX_S、OY_S和OZ_S軸上的坐標(biāo)。通過慣性采集單元11高效率、動態(tài)地獲取到用戶運(yùn)動信息，更全面地反饋用戶的運(yùn)動信息，增強(qiáng)用戶的沉浸感。

優(yōu)選地，所述運(yùn)算單元3用于將所述雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)及所述慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)進(jìn)行包括融合、換算的數(shù)據(jù)處理。在一實(shí)施例中，通過雙目攝像頭12獲取到用戶在攝像頭坐標(biāo)系下的運(yùn)動數(shù)據(jù)，通過慣性采集單元11獲取到慣導(dǎo)坐標(biāo)下的用戶數(shù)據(jù)，因此需要將攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)與慣導(dǎo)坐標(biāo)運(yùn)動數(shù)據(jù)進(jìn)行融合運(yùn)算，并重新?lián)Q算轉(zhuǎn)換成真實(shí)環(huán)境中的世界坐標(biāo)系下的數(shù)據(jù)，在此，換算的方式是通過關(guān)聯(lián)矩陣進(jìn)行的，經(jīng)過將上述兩種坐標(biāo)系下的運(yùn)動數(shù)據(jù)進(jìn)行處理后得到用戶的真實(shí)環(huán)境中的世界坐標(biāo)系運(yùn)動數(shù)據(jù)；接著，所述運(yùn)算單元13用于將經(jīng)過融合、換算的數(shù)據(jù)處理后的數(shù)據(jù)映射到虛擬設(shè)定環(huán)境中，將VR頭盔在真實(shí)世界的運(yùn)動狀態(tài)，包括姿態(tài)數(shù)據(jù)和位置數(shù)據(jù)映射到終端設(shè)備上的虛擬現(xiàn)實(shí)環(huán)境中，實(shí)現(xiàn)了將現(xiàn)實(shí)世界的運(yùn)動位置信息通過多個模塊的數(shù)據(jù)處理，最后把用戶的運(yùn)動數(shù)據(jù)映射到虛擬世界當(dāng)中，并跟真實(shí)世界的坐標(biāo)完全重合，增強(qiáng)用戶的沉浸感，解決了虛擬現(xiàn)實(shí)玩家(用戶)在現(xiàn)實(shí)世界的運(yùn)動跟蹤及定位問題。

通過本申請所述的用于虛擬定位的設(shè)備，將雙目攝像頭12和慣性采集單元11固連在頭盔1上，實(shí)現(xiàn)了一體化，對佩帶者的定位追蹤不需要依賴外部終端電腦以及數(shù)臺數(shù)碼攝像機(jī)采集人體圖像來完成，外部設(shè)備僅為造價極低的點(diǎn)光源，性價比較高。注重運(yùn)動捕捉及位置捕捉，同時注重精度以及動態(tài)性，將用戶可能出現(xiàn)的眩暈可能性降低到最低，而一體化的系統(tǒng)佩帶方式可以讓用戶自由移動，具有較高的虛擬現(xiàn)實(shí)沉浸感。

圖2示出根據(jù)本申請的另一個方面的一種用于虛擬定位的方法，所述方法包括：步驟S11～步驟S14；其中，在步驟S11中，根據(jù)設(shè)定環(huán)境內(nèi)的多個點(diǎn)光源及所述點(diǎn)光源所在的待采集圖像確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置；在步驟S12中，通過所述雙目攝像頭獲取用戶的雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)，并通過慣性導(dǎo)航算法獲取用戶的慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)；在步驟S13中，將所述雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)與所述慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)進(jìn)行融合運(yùn)算，得到融合運(yùn)動數(shù)據(jù)；在步驟S14中，基于所述相對空間位置將所述融合運(yùn)動數(shù)據(jù)換算成世界坐標(biāo)系運(yùn)動數(shù)據(jù)，并映射到虛擬現(xiàn)實(shí)環(huán)境中。通過采用造價極低的點(diǎn)光源，性價比較高。注重運(yùn)動捕捉及位置捕捉，同時注重精度以及動態(tài)性，將用戶可能出現(xiàn)的眩暈可能性降低到最低，通過雙目攝像頭獲取的點(diǎn)光源標(biāo)記，采用圖像定位方法確定的數(shù)據(jù)精度高，同時融合了慣性導(dǎo)航算法所獲得的數(shù)據(jù)，實(shí)現(xiàn)獲取高采集率、動態(tài)性較好的數(shù)據(jù)的目的。

具體地，步驟S11，根據(jù)設(shè)定環(huán)境內(nèi)的多個點(diǎn)光源及所述點(diǎn)光源所在的待采集圖像確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置；在此，點(diǎn)光源是一種固定亮度的光源，由于器件原因，一般為球形，故稱為點(diǎn)光源，其可作為視覺識別系統(tǒng)的標(biāo)記點(diǎn)，以一定方位固定在設(shè)定環(huán)境中，其中，所述設(shè)定環(huán)境比如為室內(nèi)實(shí)驗(yàn)環(huán)境，多個點(diǎn)光源分布在室內(nèi)實(shí)驗(yàn)環(huán)境內(nèi)的各個角落，通過雙目攝像頭捕捉點(diǎn)光源以確定點(diǎn)光源所在的待采集圖像，從待采集圖像中獲取到點(diǎn)光源的位移信息，并根據(jù)之前標(biāo)定點(diǎn)光源得到的記錄信息，通過立體視覺算法進(jìn)行測距，得到點(diǎn)光源與雙目攝像頭之間的相對空間位置。

具體地，步驟S12，通過所述雙目攝像頭獲取用戶的雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)，并通過慣性導(dǎo)航算法獲取用戶的慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)；在此，雙目攝像頭捕捉用戶的運(yùn)動數(shù)據(jù)，此時獲取到的用戶的運(yùn)動數(shù)據(jù)是以雙目攝像頭為參照的，因此為雙目攝像頭坐標(biāo)下的運(yùn)動數(shù)據(jù)，其中，雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)包括通過雙目攝像頭確定的運(yùn)動位置數(shù)據(jù)、運(yùn)動速度等。慣性采集單元中的慣性傳感器通過慣性導(dǎo)航算法獲取人體的運(yùn)動信息(用戶的運(yùn)動數(shù)據(jù))，其所在慣導(dǎo)坐標(biāo)系：S系，S系(X_SY_SZ_S)固連在頭盔上，坐標(biāo)系原點(diǎn)為設(shè)備質(zhì)心O，OX_S和OY_S軸在當(dāng)前設(shè)定環(huán)境的水平面內(nèi)，OX_S軸指向載體的右側(cè)，OY_S軸沿載體縱軸方向并指向前，OZ_S垂直于載體豎直向上。OX_SY_SZ_S坐標(biāo)系構(gòu)成右手直角坐標(biāo)系。

具體地，步驟S13，將所述雙目攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)與所述慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)進(jìn)行融合運(yùn)算，得到融合運(yùn)動數(shù)據(jù)；在一實(shí)施例中，通過雙目攝像頭獲取到用戶在攝像頭坐標(biāo)系下的運(yùn)動數(shù)據(jù)，通過慣性采集單元獲取到慣導(dǎo)坐標(biāo)下的用戶數(shù)據(jù)，因此需要將攝像頭坐標(biāo)運(yùn)動數(shù)據(jù)與慣導(dǎo)坐標(biāo)運(yùn)動數(shù)據(jù)進(jìn)行融合運(yùn)算，并進(jìn)行步驟S14的坐標(biāo)系數(shù)據(jù)的換算。

具體地，步驟S14，基于所述相對空間位置將所述融合運(yùn)動數(shù)據(jù)換算成世界坐標(biāo)系運(yùn)動數(shù)據(jù)，并映射到虛擬現(xiàn)實(shí)環(huán)境中。將所述步驟S13中得到的融合運(yùn)動數(shù)據(jù)重新?lián)Q算轉(zhuǎn)換成真實(shí)環(huán)境中的世界坐標(biāo)系下的數(shù)據(jù)，在此，換算的方式是通過關(guān)聯(lián)矩陣進(jìn)行的，所述關(guān)聯(lián)矩陣是根據(jù)相對空間位置產(chǎn)生的，經(jīng)過將上述兩種坐標(biāo)系下的運(yùn)動數(shù)據(jù)進(jìn)行處理后得到用戶的真實(shí)環(huán)境中的世界坐標(biāo)系運(yùn)動數(shù)據(jù)。接著，將得到用戶的真實(shí)環(huán)境中的世界坐標(biāo)系運(yùn)動數(shù)據(jù)映射到虛擬設(shè)定環(huán)境中，即VR頭盔在真實(shí)世界的運(yùn)動狀態(tài)，包括姿態(tài)數(shù)據(jù)和位置數(shù)據(jù)映射到終端設(shè)備上的虛擬現(xiàn)實(shí)環(huán)境中，實(shí)現(xiàn)了將現(xiàn)實(shí)世界的運(yùn)動位置信息通過多個模塊的數(shù)據(jù)處理，最后把用戶的運(yùn)動數(shù)據(jù)映射到虛擬世界當(dāng)中，并跟真實(shí)世界的坐標(biāo)完全重合，增強(qiáng)用戶的沉浸感，解決了虛擬現(xiàn)實(shí)玩家(用戶)在現(xiàn)實(shí)世界的運(yùn)動跟蹤及定位問題。

在本申請的一實(shí)施例中，步驟S11包括：根據(jù)對設(shè)定環(huán)境內(nèi)的多個點(diǎn)光源的標(biāo)定確定所述點(diǎn)光源在所述設(shè)定環(huán)境中的位置數(shù)據(jù)；根據(jù)點(diǎn)光源標(biāo)記捕捉所述點(diǎn)光源，將所述點(diǎn)光源所在的原始圖像作為待采樣圖像；基于所述點(diǎn)光源在所述設(shè)定環(huán)境中的位置數(shù)據(jù)及所述待采樣圖像確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置。在此，設(shè)定環(huán)境為經(jīng)過雙目攝像頭與點(diǎn)光源標(biāo)記聯(lián)合校準(zhǔn)后的現(xiàn)實(shí)環(huán)境，多個點(diǎn)光源標(biāo)記透過雙目攝像頭透視投影到攝像頭的圖像傳感器中，確定點(diǎn)光源所在的原始圖像，通過對所確定的原始圖像的畸變矯正處理得到待采集圖像，保證光源標(biāo)記在待采集圖像中的位置準(zhǔn)確性，以及從待采集圖像中獲取的數(shù)據(jù)沒有初始的偏差，進(jìn)而提高了后續(xù)進(jìn)行虛擬定位的準(zhǔn)確性。點(diǎn)光源在設(shè)定環(huán)境內(nèi)的位置提前被標(biāo)定，雙目攝像頭捕捉到點(diǎn)光源之后，計(jì)算雙目攝像頭與所捕捉到的點(diǎn)光源的相對空間位置，因?yàn)辄c(diǎn)光源是固連在設(shè)定環(huán)境中，通過之前標(biāo)定得到的記錄數(shù)據(jù)分辨點(diǎn)光源位置，通過立體視覺算法進(jìn)行測距，其中，測距是指根據(jù)立體視覺算法中透視原理進(jìn)行的，因只有光識別點(diǎn)光源的對應(yīng)位置數(shù)據(jù)是不夠的，需要測定相對距離，通過確定點(diǎn)光源的相對位置來定位雙目攝像頭的相對空間位置，即通過空間定位的方式來定位雙目攝像頭本身的位置，得到雙目攝像頭與點(diǎn)光源之間的相對空間位置。

繼續(xù)接上述實(shí)施例，在步驟S11中，基于所述點(diǎn)光源在所述設(shè)定環(huán)境中的位置數(shù)據(jù)及所述待采樣圖像確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置，包括：根據(jù)所述待采樣圖像確定所述點(diǎn)光源在所述待采樣圖像中的位移數(shù)據(jù)；基于所述點(diǎn)光源在所述設(shè)定環(huán)境中的位置數(shù)據(jù)及所述位移數(shù)據(jù)，確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置。在此，優(yōu)選地，在步驟S11中，根據(jù)所述點(diǎn)光源在所述設(shè)定環(huán)境中的位置數(shù)據(jù)及所述位移數(shù)據(jù)確定所述點(diǎn)光源的相對空間位置；根據(jù)立體視覺算法及所述點(diǎn)光源的相對空間位置確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置。根據(jù)雙目攝像頭捕捉點(diǎn)光源標(biāo)記得到原始圖像，從原始圖像中獲取到點(diǎn)光源的位移數(shù)據(jù)，并根據(jù)之前標(biāo)定的在設(shè)定環(huán)境中的位置信息分辨點(diǎn)光源的位置信息，在此，點(diǎn)光源的位置信息為相對位置信息，根據(jù)所分辨得到的點(diǎn)光源的相對位置信息采用立體視覺算法獲取到雙目攝像頭與點(diǎn)光源之間的相對空間位置。

優(yōu)選地，確定所述點(diǎn)光源與捕捉所述點(diǎn)光源的雙目攝像頭的相對空間位置之后，包括：根據(jù)所述相對空間位置確定關(guān)聯(lián)轉(zhuǎn)換矩陣。在此，根據(jù)雙目攝像頭與點(diǎn)光源之間的相對空間位置確定雙目攝像頭坐標(biāo)系與真實(shí)環(huán)境的世界坐標(biāo)系產(chǎn)生的關(guān)聯(lián)轉(zhuǎn)換矩陣，其中，關(guān)聯(lián)轉(zhuǎn)換矩陣為：雙目攝像頭坐標(biāo)系(A坐標(biāo)系)相對與世界坐標(biāo)系(B坐標(biāo)系)的空間相對關(guān)系，包含了三維旋轉(zhuǎn)移群，科學(xué)定義為SE(3)，由三維矩陣：

三維位移矩陣：

T＝[X_M Y_M Z_M]^T

最后可得關(guān)聯(lián)轉(zhuǎn)換矩陣C

優(yōu)選地，所述慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)包括：用戶的姿態(tài)數(shù)據(jù)、三軸速度和三軸位置數(shù)據(jù)。在本申請的一優(yōu)選實(shí)施例中，所述用戶的姿態(tài)數(shù)據(jù)包括：俯仰數(shù)據(jù)、偏航數(shù)據(jù)和滾轉(zhuǎn)數(shù)據(jù)，確定用戶運(yùn)動時的頭盔的空間方向需要用三個角度：俯仰角(pitch)、偏航(yaw)和滾轉(zhuǎn)(roll)，得到的這三個角度的數(shù)據(jù)均為慣導(dǎo)坐標(biāo)系OX_SY_SZ_S下的數(shù)據(jù)，通過該三個角度追蹤用戶所佩戴頭盔的整個姿態(tài)；通過慣性導(dǎo)航算法確定三軸速度和三軸位置數(shù)據(jù)，其中，三軸速度為用戶在OX_S、OY_S和OZ_S軸上的運(yùn)動速度，三軸位置數(shù)據(jù)為用戶運(yùn)動時在OX_S、OY_S和OZ_S軸上的坐標(biāo)。通過慣性采集單元高效率、動態(tài)地獲取到用戶運(yùn)動信息，更全面地反饋用戶的運(yùn)動信息，增強(qiáng)用戶的沉浸感。

優(yōu)選地，在步驟S14中，根據(jù)所述相對空間位置確定的關(guān)聯(lián)轉(zhuǎn)換矩陣將所述融合運(yùn)動數(shù)據(jù)換算成世界坐標(biāo)系運(yùn)動數(shù)據(jù)，并將所述世界坐標(biāo)系運(yùn)動數(shù)據(jù)映射到虛擬現(xiàn)實(shí)環(huán)境中。在本申請一實(shí)施例中，將經(jīng)過融合、換算的數(shù)據(jù)處理后的數(shù)據(jù)映射到虛擬設(shè)定環(huán)境中，將VR頭盔在真實(shí)世界的運(yùn)動狀態(tài)，包括姿態(tài)數(shù)據(jù)和位置數(shù)據(jù)映射到終端設(shè)備上的虛擬現(xiàn)實(shí)環(huán)境中，實(shí)現(xiàn)了將現(xiàn)實(shí)世界的運(yùn)動位置信息通過多個模塊的數(shù)據(jù)處理，最后把用戶的運(yùn)動數(shù)據(jù)映射到虛擬世界當(dāng)中，并跟真實(shí)世界的坐標(biāo)完全重合，增強(qiáng)用戶的沉浸感，解決了虛擬現(xiàn)實(shí)玩家(用戶)在現(xiàn)實(shí)世界的運(yùn)動跟蹤及定位問題。

圖3示出本申請的一實(shí)施例中用于虛擬定位的實(shí)施方法示意圖，首先在步驟1中，選擇經(jīng)過雙目攝像機(jī)與點(diǎn)光源標(biāo)記聯(lián)合校準(zhǔn)后的房屋，多個點(diǎn)光源標(biāo)記透過鏡頭透視投影到攝像頭的圖像傳感器中，通過畸變矯正，得到攝像頭坐標(biāo)系運(yùn)動數(shù)據(jù)；接著在步驟2中，慣性傳感器通過慣性導(dǎo)航算法獲取人體的運(yùn)動信息，得到慣導(dǎo)坐標(biāo)系運(yùn)動數(shù)據(jù)；隨后，在步驟3中，將攝像頭坐標(biāo)系與慣導(dǎo)坐標(biāo)系上的人體運(yùn)動數(shù)據(jù)進(jìn)行融合運(yùn)算，并重新?lián)Q算至真實(shí)環(huán)境中的世界坐標(biāo)系，換算的方式是通過關(guān)聯(lián)矩陣，其中，關(guān)聯(lián)矩陣是根據(jù)點(diǎn)光源與攝像頭的相對空間位置確定的，最后將VR頭盔在真實(shí)世界的運(yùn)動狀態(tài)如姿態(tài)數(shù)據(jù)以及位置數(shù)據(jù)，映射到終端設(shè)備上的虛擬現(xiàn)實(shí)環(huán)境中。實(shí)現(xiàn)了將現(xiàn)實(shí)世界的位置信息通過多個步驟的數(shù)據(jù)處理，把人體的運(yùn)動數(shù)據(jù)映射到虛擬世界中，并跟真實(shí)世界的坐標(biāo)完全重合，由于雙目攝像頭以及IMU均固連在頭盔上，獲取的均為頭部的運(yùn)動數(shù)據(jù)，均在同一個坐標(biāo)系下，通過將兩者數(shù)據(jù)進(jìn)行融合得到較為穩(wěn)定且數(shù)據(jù)幀率很高的姿態(tài)數(shù)據(jù)以及位置信息，可以作為真實(shí)的人體運(yùn)動信息，應(yīng)用在虛擬現(xiàn)實(shí)中的投射，使佩帶頭盔的用戶在運(yùn)動時得到反饋，增強(qiáng)用戶的沉浸感。

顯然，本領(lǐng)域的技術(shù)人員可以對本申請進(jìn)行各種改動和變型而不脫離本申請的精神和范圍。這樣，倘若本申請的這些修改和變型屬于本申請權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本申請也意圖包含這些改動和變型在內(nèi)。

需要注意的是，本申請可在軟件和/或軟件與硬件的組合體中被實(shí)施，例如，可采用專用集成電路(ASIC)、通用目的計(jì)算機(jī)或任何其他類似硬件設(shè)備來實(shí)現(xiàn)。在一個實(shí)施例中，本申請的軟件程序可以通過處理器執(zhí)行以實(shí)現(xiàn)上文所述步驟或功能。同樣地，本申請的軟件程序(包括相關(guān)的數(shù)據(jù)結(jié)構(gòu))可以被存儲到計(jì)算機(jī)可讀記錄介質(zhì)中，例如，RAM存儲器，磁或光驅(qū)動器或軟磁盤及類似設(shè)備。另外，本申請的一些步驟或功能可采用硬件來實(shí)現(xiàn)，例如，作為與處理器配合從而執(zhí)行各個步驟或功能的電路。

另外，本申請的一部分可被應(yīng)用為計(jì)算機(jī)程序產(chǎn)品，例如計(jì)算機(jī)程序指令，當(dāng)其被計(jì)算機(jī)執(zhí)行時，通過該計(jì)算機(jī)的操作，可以調(diào)用或提供根據(jù)本申請的方法和/或技術(shù)方案。而調(diào)用本申請的方法的程序指令，可能被存儲在固定的或可移動的記錄介質(zhì)中，和/或通過廣播或其他信號承載媒體中的數(shù)據(jù)流而被傳輸，和/或被存儲在根據(jù)所述程序指令運(yùn)行的計(jì)算機(jī)設(shè)備的工作存儲器中。在此，根據(jù)本申請的一個實(shí)施例包括一個裝置，該裝置包括用于存儲計(jì)算機(jī)程序指令的存儲器和用于執(zhí)行程序指令的處理器，其中，當(dāng)該計(jì)算機(jī)程序指令被該處理器執(zhí)行時，觸發(fā)該裝置運(yùn)行基于前述根據(jù)本申請的多個實(shí)施例的方法和/或技術(shù)方案。

對于本領(lǐng)域技術(shù)人員而言，顯然本申請不限于上述示范性實(shí)施例的細(xì)節(jié)，而且在不背離本申請的精神或基本特征的情況下，能夠以其他的具體形式實(shí)現(xiàn)本申請。因此，無論從哪一點(diǎn)來看，均應(yīng)將實(shí)施例看作是示范性的，而且是非限制性的，本申請的范圍由所附權(quán)利要求而不是上述說明限定，因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化涵括在本申請內(nèi)。不應(yīng)將權(quán)利要求中的任何附圖標(biāo)記視為限制所涉及的權(quán)利要求。此外，顯然“包括”一詞不排除其他單元或步驟，單數(shù)不排除復(fù)數(shù)。裝置權(quán)利要求中陳述的多個單元或裝置也可以由一個單元或裝置通過軟件或者硬件來實(shí)現(xiàn)。第一，第二等詞語用來表示名稱，而并不表示任何特定的順序。