在本文中公開的技術(shù)涉及一種信息處理裝置、信息處理方法以及圖像顯示系統(tǒng)，允許處理由安裝在運動物體裝置上或用戶身上的相機捕捉的圖像。

背景技術(shù)：

眾所周知固定至觀察圖像的用戶的頭部或臉部的圖像顯示裝置，即，頭戴式顯示器。頭戴式顯示器在右眼和左眼上具有圖像顯示單元并且被配置成能夠與頭戴式耳機一起使用，控制視覺和聽覺。在戴在頭上時完全阻擋外部世界的配置在查看期間增強虛擬現(xiàn)實。而且，頭戴式顯示器能夠在左眼和右眼上均具有投射不同的視頻圖像，并且通過在左眼和右眼上顯示具有視差的圖像，能夠呈現(xiàn)3D圖像。

這種類型的頭戴式顯示器在眼睛的視網(wǎng)膜上形成虛擬圖像，以允許用戶觀察該圖像。在這方面，在物體比焦距更接近透鏡的情況下，在物體的側(cè)邊形成虛擬圖像。在一個實例中，開發(fā)了一種頭戴式顯示器，通過將廣角的虛擬圖像光學(xué)系統(tǒng)放置成與瞳孔的前面相距25毫米并且將具有大約0.7英寸的有效像素范圍的尺寸的顯示面板進(jìn)一步放在廣角光學(xué)系統(tǒng)前面，該顯示器在用戶的瞳孔上形成顯示的圖像的放大虛擬圖像(例如，參考專利文獻(xiàn)1)。

而且，用戶能夠使用這種類型的頭戴式顯示器觀察通過縮減一部分廣角圖像所獲得的圖像。在一個實例中，開發(fā)了一種頭戴式顯示器，該顯示器允許通過在頭上安裝包括陀螺儀傳感器等的頭部運動跟蹤裝置并且促使其跟蹤用戶的頭部的運動來實現(xiàn)360°的全空間的視頻圖像的現(xiàn)實體驗(例如，參考專利文獻(xiàn)2和3)。在廣角圖像內(nèi)的顯示區(qū)域運動，以消除由陀螺儀傳感器檢測的頭部運動，可以再現(xiàn)跟蹤頭部運動的圖像，因此，用戶具有猶如看到整個空間的全景的體驗。

而且，還眾所周知第一人稱視角(FPV)技術(shù)，這些技術(shù)在查看由安裝在無線電控制的裝置(例如，直升機)上的無線相機拍攝的第一人稱視點(飛行員視點)時引航。在一個實例中，開發(fā)了由裝有圖像捕捉裝置的運動物體以及通過操作員的操作遠(yuǎn)程控制運動物體的可穿戴式PC構(gòu)成的運動物體控制裝置(例如，參考專利文獻(xiàn)4)。運動物體側(cè)接收控制運動物體的操作的信號，以控制其自身的操作，接收控制安裝在其上的圖像捕捉裝置的信號，以控制圖像捕捉操作，并且將從圖像捕捉裝置中輸出的視頻和音頻信號傳輸給可穿戴式PC。同時，可穿戴式PC側(cè)生成響應(yīng)于操作員的操作控制運動物體的操作的信號，生成響應(yīng)于操作員的聲音控制圖像捕捉裝置的操作的信號?？纱┐魇絇C側(cè)將生成的信號無線傳輸給運動物體，無線接收從圖像捕捉裝置中輸出的信號，再現(xiàn)視頻信號，并且在監(jiān)視屏上顯示該信號。

而且，開發(fā)了一種網(wǎng)絡(luò)系統(tǒng)，其中，裝有用于中長距離的三維立體相機以及用于短距離的三維立體相機的無線電控制的汽車傳輸三維合成圖像，以在控制器側(cè)顯示(例如，參考專利文獻(xiàn)5)。開發(fā)了一種網(wǎng)絡(luò)系統(tǒng)，其中，模型裝置捕捉在模型裝置前面的區(qū)域的圖像，并且控制器側(cè)接收關(guān)于模型裝置的圖像、位置以及方向的信息，基于位置和方向生成虛擬圖像，并且顯示該虛擬圖像(例如，參考專利文獻(xiàn)6)。

引用列表

專利文獻(xiàn)

專利文獻(xiàn)1：JP 2012-141461A

專利文獻(xiàn)2：JP H9-106322A

專利文獻(xiàn)3：JP 2010-256534A

專利文獻(xiàn)4：JP 2001-209426A

專利文獻(xiàn)5：JP 2012-151800A

專利文獻(xiàn)6：JP 2012-143447A

技術(shù)實現(xiàn)要素：

技術(shù)問題

在本文中公開的技術(shù)的一個目標(biāo)在于，提供一種信息處理裝置、信息處理方法以及圖像顯示系統(tǒng)，其能夠優(yōu)選地處理由安裝在運動物體裝置上或用戶身上的相機捕捉的圖像。

而且，在本文中公開的技術(shù)的另一個目標(biāo)在于，提供一種改進(jìn)的信息處理裝置、信息處理方法以及圖像顯示系統(tǒng)，其能夠處理由相機捕捉的圖像，以在固定至用戶的頭部或臉部的圖像顯示裝置上適當(dāng)?shù)仫@示。

問題的解決方案

鑒于該問題，設(shè)計在本文中公開的技術(shù)，其第一方面是一種信息處理裝置，包括：頭部姿勢獲取單元，被配置成獲取關(guān)于用戶的頭部姿勢的信息；相機姿勢獲取單元，被配置成獲取關(guān)于相機的姿勢的信息；以及圖像渲染處理器，被配置成基于用戶的頭部姿勢和相機的姿勢由相機所捕捉的圖像生成要在顯示裝置上顯示的圖像，所述顯示裝置被固定至用戶的頭部或臉部。

根據(jù)在本文中公開的技術(shù)的第二方面，在根據(jù)第一方面的信息處理裝置中，所述相機安裝在運動物體裝置上。

根據(jù)在本文中公開的技術(shù)的第三方面，根據(jù)第一和第二方面中任一項的信息處理裝置的相機被配置成捕捉全向圖像或廣角圖像，并且所述圖像渲染處理器被配置成使用相機在捕捉時的姿勢校正用戶的頭部姿勢并且從生成通過根據(jù)用戶的校正后的頭部姿勢由相機所捕捉的圖像縮減視角所獲得的圖像。

根據(jù)在本文中公開的技術(shù)的第四方面，在根據(jù)第一方面的信息處理裝置中，所述相機固定安裝在用戶的頭部或臉部。

根據(jù)在本文中公開的技術(shù)的第五方面，根據(jù)第四方面的信息處理裝置的圖像渲染處理器被配置成生成通過根據(jù)第一轉(zhuǎn)換參數(shù)由相機所捕捉的圖像縮減視角所獲得的圖像，所述第一轉(zhuǎn)換參數(shù)用于將相機的姿勢轉(zhuǎn)換成用戶的頭部姿勢。

根據(jù)在本文中公開的技術(shù)的第六方面，根據(jù)第五方面的信息處理裝置的圖像渲染處理器被配置成使用在相機執(zhí)行捕捉時用戶的頭部姿勢以及預(yù)測的在經(jīng)過直到在顯示裝置上顯示圖像的延遲時間之后用戶的頭部姿勢執(zhí)行圖像生成。

根據(jù)在本文中公開的技術(shù)的第七方面，根據(jù)第一方面的信息處理裝置的圖像渲染處理器被配置成基于由相機捕捉的時間序列圖像的數(shù)據(jù)，構(gòu)造周圍環(huán)境的三維模型，估計在三維模型中的相機的當(dāng)前位置，使用用于將相機的位置和姿勢轉(zhuǎn)換成用戶的眼球的位置和姿勢的第二轉(zhuǎn)換參數(shù)，預(yù)測在經(jīng)過從相機的捕捉到在顯示裝置上的顯示的延遲時間之后用戶的眼球的位置和姿勢，并且由三維模型生成在眼球的預(yù)測位置和姿勢中捕捉的圖像。

根據(jù)在本文中公開的技術(shù)的第八方面，根據(jù)第一方面的信息處理裝置進(jìn)一步包括：控制器，被配置成遠(yuǎn)程操作所述運動物體裝置；以及濾波器，被配置成限制所述運動物體裝置的軌跡并且切斷所述控制器的除了所限制的軌跡以外的輸入。所述控制器的輸入被配置成在沿著所限制的軌跡的方向被轉(zhuǎn)換成位置命令、速度命令或加速度命令，并發(fā)送給所述運動物體裝置。

根據(jù)在本文中公開的技術(shù)的第九方面，通過以下方式配置根據(jù)第八方面的信息處理裝置，在所述運動物體裝置的軌跡被限制為直線運動時，所述濾波器切斷來自所述控制器的除了前后方向以外的輸入，并且將保持直線運動的軌跡的命令發(fā)送給所述運動物體裝置。

根據(jù)在本文中公開的技術(shù)的第十方面，通過以下方式配置根據(jù)第九方面的信息處理裝置，所述軌跡被設(shè)置為運動物體通過當(dāng)前點朝向當(dāng)前行駛方向的直線或者連接所述運動物體裝置的當(dāng)前點和目的點的直線。

根據(jù)在本文中公開的技術(shù)的第十一方面，通過以下方式配置根據(jù)第八方面的信息處理裝置，在所述運動物體裝置的軌跡限制為圓周運動時，所述濾波器切斷來自所述控制器的除了左右方向以外的輸入，并且將保持圓周運動的軌跡的命令發(fā)送給所述運動物體裝置并且控制朝著目的點引導(dǎo)所述運動物體裝置的姿勢。

根據(jù)在本文中公開的技術(shù)的第十二方面，通過以下方式配置根據(jù)第十一方面的信息處理裝置，所述軌跡設(shè)置為穿過以目的點為中心的運動物體裝置的當(dāng)前點的圓周運動或者通過以和目的點相交的垂直軸為中心的運動物體裝置的當(dāng)前點的在水平面內(nèi)的圓周運動。

根據(jù)在本文中公開的技術(shù)的第十三方面是一種信息處理方法，所述方法包括：頭部姿勢獲取步驟，用于獲取關(guān)于用戶的頭部姿勢的信息；相機姿勢獲取步驟，用于獲取關(guān)于相機的姿勢的信息；以及圖像渲染處理步驟，用于基于用戶的頭部姿勢和相機的姿勢由相機所捕捉的圖像生成要在顯示裝置上顯示的圖像，所述顯示裝置固定至用戶的頭部或臉部。

根據(jù)在本文中公開的技術(shù)的第十四方面是一種圖像顯示系統(tǒng)，包括：相機；顯示裝置，在被固定至用戶的頭部或臉部時使用；頭部運動跟蹤裝置，被配置為測量用戶的頭部姿勢；以及圖像處理裝置，被配置為基于用戶的頭部姿勢和相機的姿勢由相機所捕捉的圖像生成要在顯示裝置上顯示的圖像。

雖然詞語“系統(tǒng)”在本文中用于表示多個裝置(和/或?qū)崿F(xiàn)特定功能的功能模塊)的邏輯組合，但是無論每個裝置和/或功能模塊是否包含在單個外殼內(nèi)都沒有問題。

本發(fā)明的有利效果

根據(jù)在本文中公開的技術(shù)，可以提供一種改進(jìn)的信息處理裝置、信息處理方法以及圖像顯示系統(tǒng)，其能夠優(yōu)選地處理由安裝在運動物體或用戶內(nèi)的遠(yuǎn)程相機捕捉的圖像，以在固定至用戶的頭部或臉部的圖像顯示裝置上適當(dāng)?shù)仫@示。

注意，在本說明書中描述的有利效果僅僅為了實例，并且本發(fā)明的有利效果不限于此。而且，在一些情況下，本發(fā)明還可以顯示除了上述有利效果以外的額外有利效果。

基于在后文中討論的示例性實施方式以及附圖，通過更詳細(xì)的描述闡明在本文中公開的技術(shù)的其他目標(biāo)、特征以及優(yōu)點。

附圖說明

圖1是示意性示出根據(jù)在本文中公開的技術(shù)的實施方式的圖像顯示系統(tǒng)100的配置的示圖；

圖2是示出從前面查看時在頭上佩戴頭戴式顯示器110的用戶的示圖，這適用于在圖1示出的圖像顯示系統(tǒng)；

圖3是示出從上面查看時佩戴在圖2示出的頭戴式顯示器110的用戶的示圖；

圖4是示出全向相機400的示例性配置的示圖；

圖5是示出全向相機400的示例性配置的示圖；

圖6是示出全向相機400的示例性配置的示圖；

圖7是示出的用于描述佩戴頭戴式顯示器110的用戶查看自由視點圖像的方式的示圖；

圖8是示出圖像顯示系統(tǒng)100的示例性功能配置的示圖；

圖9是示出四元數(shù)的實例的示圖；

圖10是示出圖像顯示系統(tǒng)100的另一個示例性功能配置的示圖；

圖11是示出如何根據(jù)用戶的頭部姿勢由另一個全向圖像縮減顯示視角的示圖；

圖12是示出如何縮減(clip，剪掉)因全向相機的姿勢的變化而與用戶的頭部姿勢不匹配的顯示視角的示圖；

圖13是示出如何縮減根據(jù)全向相機的姿勢的變化校正用戶的頭部姿勢所獲取的顯示視角的示圖；

圖14是示出以通過根據(jù)全向相機的姿勢的變化校正用戶的頭部姿勢所獲取的顯示視角由全向圖像縮減自由視點圖像的處理程序的示圖；

圖15是示出視頻穿透式圖像顯示系統(tǒng)100的示例性配置的示圖；

圖16是示出通過使相機拍攝的圖像與顯示光學(xué)系統(tǒng)的參考坐標(biāo)系統(tǒng)匹配來顯示與用戶的視角匹配的圖像的處理程序的示圖；

圖17是示出考慮在圖像捕捉與顯示之間的延遲時間通過使相機拍攝的圖像與顯示光學(xué)系統(tǒng)的參考坐標(biāo)系統(tǒng)匹配來顯示與用戶的視角匹配的圖像的處理程序的示圖；

圖18是示出考慮在圖像捕捉與顯示之間的延遲時間通過組合三維重構(gòu)技術(shù)和頭部運動跟蹤預(yù)測來顯示與用戶的視角匹配的圖像的處理程序的示圖；

圖19是示出通過將運動物體裝置120的控制自由度限制為直線運動來使用控制器130遠(yuǎn)程操作運動物體裝置120的方式的示圖；

圖20是示出通過將運動物體裝置120的控制自由度限制為直線運動來控制遠(yuǎn)程操作的處理程序的示圖；

圖21是示出通過將運動物體裝置120的控制自由度限制為圓周運動來使用控制器130遠(yuǎn)程操作運動物體裝置120的方式的示圖；

圖22是示出通過將運動物體裝置120的控制自由度限制為圓周運動來控制遠(yuǎn)程操作的處理程序的示圖。

具體實施方式

參考示圖，更詳細(xì)地描述在本文中公開的技術(shù)的實施方式。在以下描述中，全向圖像或全向相機根本上用作說明性實例。然而，甚至在使用廣角圖像或廣角相機的情況下，通過考慮使用例如黑色完全噴涂除了拍攝的視角以外的其他區(qū)域的全向圖像或者輸出該圖像的相機，可以與全向相機的情況一樣處理，因此，在本文中公開的技術(shù)不失一般性。

圖1示意性示出根據(jù)在本文中公開的技術(shù)的實施方式的圖像顯示系統(tǒng)100的配置。所示的圖像顯示系統(tǒng)100被配置為包括在安裝在用戶的頭部或臉部時使用的圖像顯示裝置110(頭戴式顯示器)以及運動物體裝置120-1、120-2,…，例如，飛機(或直升機和其他飛行物體)、機動車輛以及船只。一些運動物體裝置120可以是通過無線電遠(yuǎn)程操作的無線電控制的裝置，并且用戶可以使用控制器130駕駛無線電控制的裝置。每個運動物體裝置120-1、120-2、120-3,…裝備有全向相機并且在運動期間捕捉風(fēng)景。在一個實例中，控制器130可以是諸如智能電話和平板電腦的多功能信息終端，并且發(fā)起用于駕駛運動物體裝置120的應(yīng)用。

在一個實例中，通過無線網(wǎng)絡(luò)、紅外通信等，在頭戴式顯示器110與運動物體裝置120之間并且在控制器130與運動物體裝置120之間建立無線連接。由全向相機所捕捉的圖像可以使用運動物體裝置120的無線通信功能發(fā)送給包括頭戴式顯示器110的其他裝置。然而，為了描述簡單，在本文中假設(shè)全向相機具有其自身的無線通信功能。

圖2示出了從前面看時在頭上佩戴頭戴式顯示器110的用戶，這適用于在圖1示出的圖像顯示系統(tǒng)。

在佩戴在用戶的頭上或臉上時，頭戴式顯示器110直接覆蓋用戶的眼睛，從而為觀看圖像的用戶提供沉浸感。而且，顯示圖像對外面(其他人)是不可見的，從而在顯示信息時，可以容易實現(xiàn)保護(hù)隱私。這與穿透式不同，佩戴頭戴式顯示器110的用戶不能觀看現(xiàn)實世界風(fēng)景。如果配備有用于捕捉在用戶的視線方向的風(fēng)景外部安裝的相機(未示出)，則在頭戴式顯示器110上顯示捕捉的圖像，從而用戶能夠間接地觀看現(xiàn)實世界風(fēng)景(即，使用視頻穿透式可視化顯示風(fēng)景)。

在圖2示出的頭戴式顯示器110是與頭盔形狀相似的結(jié)構(gòu)，并且被配置為直接覆蓋佩戴該顯示器的用戶的左眼和右眼。頭戴式顯示器110具有顯示面板(在圖2未示出)，該顯示面板設(shè)置在頭戴式顯示器110的主體的內(nèi)側(cè)上朝著左眼和右眼的位置內(nèi)。用戶觀察顯示面板。在一個實例中，顯示面板由諸如有機電致發(fā)光(EL)裝置和液晶顯示器的微型顯示器或諸如視網(wǎng)膜直接投影顯示器的激光掃描顯示器構(gòu)成。

頭戴式顯示器110具有安裝在頭戴式顯示器110的主體的左端和右端附近的麥克風(fēng)。這些麥克風(fēng)幾乎對稱地位于兩側(cè)并且允許識別且從周圍的噪音或其他人的聲音中分離僅位于中心的聲音(用戶的聲音)，從而通過輸入聲音，在操作時防止故障。

而且，頭戴式顯示器110具有布置在頭戴式顯示器110的外側(cè)的觸控面板。觸控面板允許用戶使用指尖等執(zhí)行觸摸輸入。雖然在說明的實例中提供一對左右側(cè)觸摸面板，但是可以提供單個或三個或更多個觸控面板。

圖3示出從上面觀看時佩戴在圖2示出的頭戴式顯示器110的用戶。所示的頭戴式顯示器110在朝著用戶的臉部的任一側(cè)上具有左眼和右眼的顯示面板。在一個實例中，顯示面板由諸如有機EL裝置和液晶顯示器的微型顯示器或諸如視網(wǎng)膜直接投影顯示器的激光掃描顯示器構(gòu)成。用戶的左眼和右眼均觀察要在顯示面板上顯示的圖像，作為通過穿過虛擬圖像光學(xué)單元所獲得的放大虛擬圖像。而且，每個用戶具有眼高和瞳孔距離的單獨差異，因此，佩戴其的用戶的眼睛需要與左邊和右邊顯示系統(tǒng)對準(zhǔn)。在圖3示出的實例中，在右眼的顯示面板與左眼的顯示面板之間設(shè)置瞳孔距離調(diào)整機構(gòu)。

在一個實例中，要安裝在運動對象裝置120上的全向相機可以配置有多個視頻相機的組合。圖4到圖6示出包括六個攝像機的全向相機400的示例性配置。

六個攝像機401、402,…,406固定在其相應(yīng)的預(yù)定位置，并且與圖像處理器410同步地將所捕捉的圖像輸出到圖像處理器410。在一個實例中，每個攝像機401、402,…,406將互補型金屬氧化物半導(dǎo)體(CMOS)圖像傳感器用作其相應(yīng)的圖像傳感器。

圖像處理器410通過根據(jù)在攝像機所在的位置之間的關(guān)系拼接由攝像機401、402,…,406所捕捉的圖像，生成一個全向圖像幀(或廣角圖像幀)。一些或所有生成的全向圖像無線被發(fā)送給頭戴式顯示器110，并且提供這些圖像，作為自由視點圖像，其中，根據(jù)佩戴其的用戶的頭部的姿勢(視線方向)移動(shift)視點。

圖5和圖6示意性示出了攝像機401、402,…,406的示例性設(shè)置。圖5是從上面往下看的示圖，并且圖6是從側(cè)邊看的透視圖。如圖所示，這六個攝像機401、402,…,406在其相應(yīng)的主軸的方向徑向設(shè)置為彼此背對背的關(guān)系。

更優(yōu)選地，攝像機401、402,…,406的視點的位置(相機的位置)在以穿過預(yù)定的參考點(稍后描述)的垂直參考軸501為中心的水平同心圓上以預(yù)定的角度間隔設(shè)置(參考圖5和圖6)。在本實施方式中，這六個攝像機401、402,…,406以60°間隔設(shè)置。而且，攝像機401、402,…,406被設(shè)置為使得圖像捕捉視角的兩個端部部分在相鄰的攝像機之間重疊，從而捕捉整個圓周，在水平方向沒有中斷。

而且，在一個實例中，在已轉(zhuǎn)讓給本申請人的專利申請No.2014-128020的說明書中，能找出適用于根據(jù)本實施方式的圖像顯示系統(tǒng)100的全向相機的特定示例性配置。在本文中公開的技術(shù)不限于特定的全向相機的配置。

圖7示出佩戴頭戴式顯示器110的用戶如何在根據(jù)本實施方式的圖像顯示系統(tǒng)100中觀看自由視點圖像(即，如何顯示追蹤用戶的頭部的運動的圖像)。

在用戶的視點中，深度方向被限定為z_w軸，水平方向被限定為y_w，垂直方向被限定為x_w，并且用戶的參考軸x_w、y_w、z_w的原點位置被限定為用戶的視點位置。因此，橫搖(roll，旋轉(zhuǎn))角θ_z對應(yīng)于用戶的頭部圍繞z_w軸的運動、傾斜角θ_y對應(yīng)于用戶的頭部圍繞y_w軸的運動，并且搖攝角θ_z對應(yīng)于用戶的頭部圍繞x_w軸的運動。

在開始，檢測用戶的頭部在橫搖角、傾斜角以及搖攝角(θ_z,θ_y,θ_z)中的每個的方向上的運動或由頭部的平移構(gòu)成的姿勢信息。然后，要縮減的區(qū)域702的中心從由全向相機捕捉的原始全向圖像701移動，以跟蹤用戶的頭部的姿勢，并且渲染在其中心位置縮減預(yù)定視角的區(qū)域702的圖像。更具體而言，通過根據(jù)用戶的頭部運動的橫搖角分量旋轉(zhuǎn)區(qū)域702-1，通過根據(jù)用戶的頭部運動的傾斜角分量旋轉(zhuǎn)區(qū)域702-2，或者通過根據(jù)用戶的頭部運動的搖攝角分量旋轉(zhuǎn)區(qū)域702-3，移動顯示區(qū)域，以抵消用戶的頭部的運動。這使頭戴式顯示器110可以呈現(xiàn)跟蹤用戶的頭部運動的自由視點圖像。

而且，根據(jù)用戶的頭部姿勢由全向相機所捕捉的全向圖像渲染自由視點圖像的過程的實例包括在全向相機中執(zhí)行其的方法、將全向圖像發(fā)送給頭戴式顯示器110并且在頭戴式顯示器110中執(zhí)行的方法、以及將全向圖像上傳到云計算機并且在云上執(zhí)行的方法。

在這方面，如圖1所示，在全向相機安裝在運動物體裝置120上的情況下，設(shè)想運動物體裝置120改變其路線。隨著運動物體裝置120的路線改變，全向相機的姿勢改變。因此，甚至在佩戴頭戴式顯示器110的用戶并非旨在運動其頭部時，要觀看的圖像不利地改變。如果用戶觀看與用戶的運動不匹配的非預(yù)期圖像，則用戶遭受諸如虛擬現(xiàn)實(VR)病的健康危害。

因此，在本實施方式中，根據(jù)全向相機的姿勢的變化，校正佩戴頭戴式顯示器110的用戶的頭部姿勢，以執(zhí)行由全向圖像縮減顯示的圖像。只要用戶不運動，這種過程就使在相同地方的自由視點圖像依然可見，從而防止VR病。

圖8示出圖像顯示系統(tǒng)100的示例性功能配置，其中，可以如上所述實現(xiàn)圖像縮減過程。所示的圖像顯示系統(tǒng)100被配置為包括3個裝置，即，頭部運動跟蹤裝置810、顯示裝置820以及圖像捕捉裝置830。

頭部運動跟蹤裝置810在安裝在觀察在顯示裝置820上顯示的圖像的用戶的頭上時被使用，并且以預(yù)定發(fā)送間隔將關(guān)于用戶的頭部姿勢的信息輸出給顯示裝置820。在示出的實例中，頭部運動跟蹤裝置810被配置為包括傳感器單元811、姿勢角計算單元812以及通信單元813。

在一個實例中，傳感器單元811配置有諸如陀螺儀傳感器、加速度傳感器以及地磁傳感器的多個傳感器裝置的組合，并且被配置為檢測用戶的頭部的姿勢角。在該描述中，假設(shè)是能夠檢測三軸陀螺儀傳感器、三軸加速度傳感器以及三軸地磁傳感器的總共9個軸的傳感器。

姿勢角計算單元812基于通過由傳感器單元811檢測的9個軸所獲得的結(jié)果，計算關(guān)于用戶的頭部姿勢的信息。在本實施方式中，假設(shè)姿勢角表示為四元數(shù)。而且，在以下描述中，表示位置的三維向量限定為p，并且表示姿勢的四元數(shù)限定為q。四元數(shù)q是由旋轉(zhuǎn)軸(向量)和旋轉(zhuǎn)角(標(biāo)量)構(gòu)成的四元數(shù)，如在以下公式(1)和圖9中所示。由于沒有奇點，所以四元數(shù)適合于計算。在計算機圖形的領(lǐng)域中，通常使用四元數(shù)表示對象的姿勢。

【數(shù)學(xué)公式1】

假設(shè)頭部運動跟蹤裝置810和顯示裝置820通過諸如藍(lán)牙(注冊商標(biāo))通信的無線通信互連?？商鎿Q地，可以通過高速有線接口，例如，通用串行總線(USB)，而非無線通信，在頭部運動跟蹤裝置810和顯示裝置820之間建立連接。關(guān)于由姿勢角計算單元812獲得的用戶的頭部姿勢的信息通過通信單元813發(fā)送給顯示裝置820。

圖像捕捉裝置830被配置為包括全向相機831、傳感器單元832、姿勢角計算單元833以及通信單元834。在本實施方式中，在安裝在運動物體裝置120上時，使用圖像捕捉裝置830。

如在圖4和圖8中所示，配置全向相機831，并且該全向相機捕捉全向圖像。省略其詳細(xì)描述。

在一個實例中，傳感器單元832配置有諸如陀螺儀傳感器、加速度傳感器以及地磁傳感器的多個傳感器裝置的組合。在該描述中，假設(shè)是能夠檢測三軸陀螺儀傳感器、三軸加速度傳感器以及三軸地磁傳感器的總共9個軸的傳感器。姿勢角計算單元833基于通過由傳感器單元832檢測的9個軸所獲得的結(jié)果，計算關(guān)于全向相機831的姿勢的信息。在本實施方式中，假設(shè)姿勢角表示為四元數(shù)(與上面一樣)。

假設(shè)圖像捕捉裝置830和顯示裝置820通過諸如無線保真(Wi-Fi)的無線通信互連。關(guān)于由全向相機831捕捉的圖像的信息以及關(guān)于由姿勢角計算單元833獲得的全向相機831的姿勢的信息通過通信單元834發(fā)送給顯示裝置820。

顯示裝置820等同于在圖1示出的圖像顯示系統(tǒng)100中的頭戴式顯示器110。在圖8示出的實例中，頭部運動跟蹤裝置810被配置為與顯示裝置820分離的裝置(在一個實例中，頭部運動跟蹤裝置810作為頭戴式顯示器110的可選產(chǎn)品制造和銷售)。可替換地，頭部運動跟蹤裝置810和顯示裝置820可以整合在一個頭戴式顯示器110內(nèi)。

顯示裝置820被配置為包括第一通信單元821、第二通信單元824、圖像渲染處理器822以及顯示單元823。

在顯示裝置820被配置成頭戴式顯示器的情況下，在一個實例中，顯示單元823配備有分別固定至用戶的左眼和右眼的左右屏幕，并且顯示用于左眼的圖像和用于右眼的圖像。在一個實例中，顯示單元823的屏幕由包括諸如有機EL裝置和液晶顯示器的微型顯示器的顯示面板或諸如視網(wǎng)膜直接投影顯示器的激光掃描顯示器構(gòu)成。而且，提供虛擬圖像光學(xué)單元(未示出)，該單元放大在顯示單元823上顯示的圖像，投射該圖像，并且在用戶的瞳孔上聚焦具有預(yù)定的視角的放大的虛擬圖像。

第一通信單元821通過通信單元813從頭部運動跟蹤裝置810接收關(guān)于用戶的頭部姿勢的信息。而且，第二通信單元824接收關(guān)于通過通信單元834從圖像捕捉裝置830捕捉的圖像的信息以及由姿勢角計算單元833獲得的關(guān)于全向相機831的姿勢的信息。而且，在本實施方式中，姿勢角計算單元812安裝在頭部運動跟蹤裝置810內(nèi)，并且姿勢角計算單元833裝配在圖像捕捉裝置內(nèi)。然而，可以具有一種配置，其中，通信單元813和834分別無線發(fā)送由傳感器單元811和832檢測的結(jié)果，沒有任何修改，而不發(fā)送其相應(yīng)的姿勢信息項，從而防止裝置810和830執(zhí)行姿勢角計算，并且顯示裝置820使用由第一通信單元821或第二通信單元824接收的基于傳感器的信息，執(zhí)行其相應(yīng)的姿勢角計算過程。

圖像渲染處理器822渲染通過由全向圖像縮減對應(yīng)于關(guān)于用戶的頭部姿勢的信息的顯示視角所獲得的圖像。通過縮減原始圖像以消除用戶的頭部的姿勢角所獲得的顯示視角移動，使顯示單元823能夠顯示跟蹤頭部的運動的圖像。因此，用戶能夠體驗觀看大屏幕。

而且，在本實施方式中，圖像渲染處理器822根據(jù)全向相機831的姿勢的變化，校正觀察在顯示裝置820上顯示的圖像的用戶(佩戴頭戴式顯示器110的用戶)的頭部姿勢，從而執(zhí)行全向圖像的縮減。甚至在相機831的姿勢改變時，只要用戶不運動，這種校正過程就允許在相同地方的自由視點圖像保持可見。

圖10示出圖像顯示系統(tǒng)100的另一個示例性功能配置。示出的圖像顯示系統(tǒng)100被配置成包括4個裝置，即，頭部運動跟蹤裝置1010、顯示裝置1020、圖像捕捉裝置1030以及圖像處理裝置1040。

在安裝在觀察在顯示裝置1020上顯示的圖像的用戶的頭上時，使用頭部運動跟蹤裝置1010，并且該頭部運動跟蹤裝置以預(yù)定發(fā)送間隔將關(guān)于用戶的頭部姿勢的信息輸出到顯示裝置1040。在示出的實例中，頭部運動跟蹤裝置1010被配置為包括傳感器單元1011、姿勢角計算單元1012以及通信單元1013。

傳感器單元1011是能夠檢測9個軸的傳感器(與上面相同)并且檢測用戶的頭部的姿勢角。姿勢角計算單元1012基于通過由傳感器單元1011檢測的9個軸所獲得的結(jié)果，計算表示用戶的頭部的姿勢角的四元數(shù)q_h。然后，所計算的四元數(shù)q_h通過通信單元1013傳輸給圖像處理裝置1040。

圖像捕捉裝置1030被配置為包括全向相機1301、傳感器單元1302、姿勢角計算單元1033以及通信單元1034。在安裝在運動物體裝置120上時，使用圖像捕捉裝置1030(與上面一樣)。

如在圖4到圖6中所示，配置全向相機1031，并且該全向相機捕捉全向圖像。傳感器單元1032是能夠檢測9個軸的傳感器(與上面相同)并且檢測全向相機1031的姿勢角。姿勢角計算單元1033基于通過由傳感器單元1032檢測的9個軸所獲得的結(jié)果，計算表示全向相機1031的姿勢角的四元數(shù)q_c。然后，所計算的四元數(shù)q_c通過通信單元1034發(fā)送給圖像處理裝置1040。

在一個實例中，圖像處理裝置1040由云計算機構(gòu)成。圖像處理裝置1040通過通信單元1041從頭部運動跟蹤裝置1010接收表示用戶的頭部的姿勢角的四元數(shù)q_h，并且從圖像捕捉裝置1030接收關(guān)于全向相機1031捕捉的圖像的信息以及表示全向相機1031的姿勢角的四元數(shù)q_c。然后，圖像渲染處理器1042渲染通過由全向圖像縮減對應(yīng)于關(guān)于用戶的頭部姿勢的信息的顯示視角所獲得的圖像，并且通過通信單元1041將其發(fā)送給顯示裝置1020。而且，與上述配置一樣，可以具有一種配置，頭部運動跟蹤裝置1010或圖像捕捉裝置1030不執(zhí)行姿勢角計算，而是將基于傳感器的信息發(fā)送給圖像處理裝置1040，用于允許圖像處理裝置1040執(zhí)行姿勢角計算。

顯示裝置1020在顯示單元1023上顯示通過通信單元1021從圖像處理裝置1040接收到的圖像信息。顯示裝置1020在原始圖像中移動顯示視角，以消除用戶的頭部的姿勢角，因此，顯示單元1023可以顯示跟蹤頭部的運動的圖像。因此，用戶能夠體驗觀看大屏幕。在一個實例中，圖像處理裝置1040由云計算機構(gòu)成，并且在被配置為通過通信單元連接至顯示裝置1020的情況下，在通信單元內(nèi)的傳輸延遲會成為一個問題。在圖10示出的系統(tǒng)配置的變型例中，顯示裝置1020具有第二圖像渲染處理器(未示出)，并且圖像處理裝置1040不僅發(fā)送關(guān)于縮減圖像的信息，而且還發(fā)送關(guān)于在縮減的同時所使用的用戶的頭部姿勢的信息，因此，顯示裝置1020可以使用從圖像處理裝置1040中接收的姿勢信息以及從頭部運動跟蹤裝置1010最新接收的姿勢信息調(diào)整顯示圖像的位置，從而減輕傳輸延遲問題。

圖11示出如何由安裝在運動物體裝置120上的全向相機所捕捉的全向圖像1100縮減對應(yīng)于佩戴頭戴式顯示器110的用戶的頭部姿勢的顯示視角。

而且，圖12示出即使在用戶不運動其頭部姿勢時運動物體裝置120(即，全向相機)的姿勢在向左的方向改變并且因此通過由全向圖像1200縮減所獲得的顯示視角1201在向右的方向運動的方式。在這種情況下，即使佩戴頭戴式顯示器110的用戶不運動其頭部，也發(fā)生正在觀看的圖像改變的現(xiàn)象。如果觀看與用戶的運動不匹配的非預(yù)期圖像，則用戶將遭受諸如虛擬現(xiàn)實(VR)病的健康危害。

在一個實例中，在用戶觀看由安裝在運動物體裝置120上的相機捕捉的圖像的同時，用戶使用控制器130遠(yuǎn)程操作運動物體裝置120的情況下，如果運動物體裝置120執(zhí)行抵抗用戶意圖的運動或非預(yù)期運動，則用戶可能遭受VR病。即使運動物體裝置120根據(jù)用戶的遠(yuǎn)程操作運動，所顯示的圖像的劇烈運動也更可能造成VR病。

為了防止如上所述的VR病，可以設(shè)想一種解決方案，該解決方案通過提高控制器130對運動物體裝置120的控制性能來促使低通濾波器切割，使得防止發(fā)生抵抗用戶意圖的運動，即，運動物體裝置120僅僅執(zhí)行低速運動，或者可替換地，使得防止在頭戴式顯示器110上顯示相機的快速運動。

同時，在本文中公開的技術(shù)中，通過由全向圖像縮減適合于由佩戴頭戴式顯示器110的用戶觀看的方向的部分，顯示由安裝在運動物體裝置120上的相機捕捉的圖像，而非沒有任何修改地顯示。

在一個實例中，在圖8和圖10中示出的實施方式中，根據(jù)全向相機830或1030的姿勢的變化，校正由頭部運動跟蹤裝置810或1010測量的用戶的頭部姿勢。圖13示出如何由其姿勢在向左的方向改變的全向相機所捕捉的全向圖像1300縮減通過根據(jù)全向相機的姿勢的變化校正用戶的頭部姿勢所獲取的顯示視角1301。即使全向相機的姿勢改變，只要用戶不運動，這種過程就使相同的自由視點圖像能夠保持可見，從而防止VR病。

在由全向圖像(或廣角圖像)縮減適合于用戶正在觀看的方向的顯示視角時，并未使用固定至相機的坐標(biāo)系或固定至用戶的身體的坐標(biāo)系，使用第三坐標(biāo)系。換言之，相機側(cè)和頭戴式顯示器側(cè)獨立執(zhí)行位置和姿勢變化的估計，并且基于從這兩側(cè)獲得的結(jié)果，確定要顯示的圖像的區(qū)域。

圖14示出以通過根據(jù)全向相機的姿勢的變化校正佩戴頭戴式顯示器110的用戶的頭部姿勢所獲取的顯示視角從全向圖像中縮減(clip，剪掉)自由視點圖像的處理程序。在一個實例中，該處理程序由包含在圖8中示出的圖像顯示系統(tǒng)100中的顯示裝置820內(nèi)的圖像渲染處理器822執(zhí)行，或者由在圖10中示出的圖像顯示系統(tǒng)100中的圖像處理裝置1040執(zhí)行。下面，為了方便起見，假設(shè)在圖10中示出的圖像顯示系統(tǒng)100中執(zhí)行該過程，提供描述。

安裝在運動物體裝置120上的圖像捕捉裝置1030的全向相機1031捕捉全向圖像(F1401)。而且，傳感器單元1032檢測全向相機1031的姿勢角，并且姿勢角計算單元1033基于由傳感器單元1032檢測9個軸所獲得的結(jié)果計算表示全向相機1031的姿勢角的四元數(shù)q_c(F1402)。然后，通過通信單元1034將捕捉的圖像和相機姿勢角q_c發(fā)送給圖像處理裝置1040。

另一方面，在頭部運動跟蹤裝置1010中，傳感器單元1011檢測用戶的頭部的姿勢角，并且姿勢角計算單元1012基于在傳感器單元1011內(nèi)的檢測所獲得的結(jié)果計算表示用戶的頭部的姿勢角的四元數(shù)q_h(F1411)。然后，通過通信單元1013將頭部姿勢角q_h發(fā)送給圖像處理裝置1040。

在圖像處理裝置1040中，通信單元1041從圖像捕捉裝置1030接收所捕捉的圖像和相機姿勢角q_c，并且從頭部運動跟蹤裝置1010接收用戶的頭部姿勢角q_h。在相機姿勢角q_c不改變的情況下，圖像渲染處理器1042可以根據(jù)用戶的頭部姿勢角q_h由所捕捉的圖像縮減顯示視角。然而，在本實施方式中，設(shè)想如圖13所示，相機姿勢角q_c改變。因此，在開始，圖像渲染處理器1042使用相機姿勢角q_c校正用戶的頭部姿勢角q_h(F1421)，并且根據(jù)校正后的用戶的頭部姿勢角q_h^*由所捕捉的圖像縮減顯示視角(F1422)。然后，圖像處理裝置1040通過通信單元1041將由圖像渲染處理器1042渲染的自由視點圖像發(fā)送給顯示裝置1020，并且顯示裝置1020顯示該圖像(F1430)。

而且，根據(jù)以下公式(2)，執(zhí)行在以上過程F1422中校正用戶的頭部姿勢角q_h的過程。換言之，通過使原始的用戶的頭部姿勢角q_h乘以左手邊的相機姿勢角q_c的乘法逆元素，確定校正后的用戶的頭部姿勢角q_h^*。而且，姿勢角q_h和q_c均是關(guān)于將上述第三坐標(biāo)系用作參考來測量的頭部和相機中的每個的姿勢角的信息。

【數(shù)學(xué)公式2】

上面描述了設(shè)置有全向相機的圖像捕捉裝置安裝在運動物體裝置120(例如，飛機(或直升機和其他飛行物體)、機動車輛以及船只)上的圖像顯示系統(tǒng)100。同時，還可設(shè)想全向相機連接至佩戴在圖15示出的頭戴式顯示器110并且用戶通過頭戴式顯示器110觀看所捕捉的圖像的視頻穿透式圖像顯示系統(tǒng)100。在這種情況下，根據(jù)用戶的頭部姿勢由全向相機所捕捉的全向圖像縮減顯示視角，并且在頭戴式顯示器110上顯示。

在這種視頻穿透式圖像顯示系統(tǒng)100中，如圖12所示，從相機的捕捉到顯示的延遲時間以及相機的姿勢的變化造成在用戶的頭部姿勢與其顯示視角之間的差異問題。如果頭部的方向與顯示視角不匹配，則用戶觀看非預(yù)期圖像，從而更可能造成VR病。

而且，如圖15所示，在穿透式頭戴式顯示器中，如果相機的安裝位置和姿勢以及用戶觀看所捕捉的圖像的位置(眼球位置)以及用戶的姿勢具有差異，則發(fā)生各種問題，如在以下條目(1)到(3)中所列出的。

(1)難以找到距離感，猶如手看起來更短

(2)容易患虛擬現(xiàn)實病，除非調(diào)整光軸方向

(3)容易患虛擬現(xiàn)實病，除非成像視角和顯示視角匹配

本發(fā)明人發(fā)現(xiàn)通過考慮相機姿勢和頭部運動跟蹤預(yù)測的顯示校正的組合，可以減少在視頻穿透式圖像顯示系統(tǒng)100中的姿勢和視角之間的延遲或差異問題。

為了描述簡單，考慮從相機的捕捉到顯示沒有延遲時間的情況。在這種情況下，僅僅需要使相機的參考坐標(biāo)系統(tǒng)與顯示光學(xué)系統(tǒng)(顯示單元的屏幕)對準(zhǔn)并且使其與要呈現(xiàn)給用戶的視角匹配。

圖16示出用于顯示通過使相機捕捉的圖像與顯示光學(xué)系統(tǒng)的參考坐標(biāo)系統(tǒng)對準(zhǔn)并且使其與用戶的視角匹配所獲得的圖像的處理程序(在這種情況下，假設(shè)從捕捉到顯示沒有延遲時間)。

連接至用戶的圖像捕捉裝置1030的全向相機1031捕捉全向圖像(F1601)。

假設(shè)全向相機1301相對于用戶(或用戶佩戴的顯示裝置1020)的位置是固定的。在這種情況下，將相機的姿勢用作參考，用戶的頭部姿勢可以表示為固定參數(shù)q_t。因此，可以根據(jù)該固定由相機所捕捉的圖像縮減顯示視角(F1602和F1603)，并且可以顯示(F1604)。相機和頭部一起運動，因此，在以上公式(2)中的校正后的用戶的頭部姿勢角q_h′^*＝q_c^-1q_h通常保持為恒定值(獨立于姿勢角q_c和q_h的值)，該恒定值稱為固定參數(shù)q_t。

而且，圖17示出用于顯示通過考慮從捕捉到顯示的延遲時間使相機所捕捉的圖像與顯示光學(xué)系統(tǒng)的參考坐標(biāo)系統(tǒng)對準(zhǔn)并且使其與用戶的視角匹配所獲得的圖像的處理程序。

連接至用戶的圖像捕捉裝置1030的全向相機1031捕捉全向圖像(F1701)。

而且，全向相機1031和用戶(或者用戶佩戴的顯示裝置1020)的相對位置關(guān)系固定，并且保持用于將相機的姿勢轉(zhuǎn)換成用戶的頭部姿勢的固定參數(shù)q_t(F1702)。固定參數(shù)q_t由顯示光學(xué)系統(tǒng)和相機捕捉系統(tǒng)的機械設(shè)置確定。

而且，在頭部運動跟蹤裝置1010中，傳感器單元1011檢測用戶的頭部的姿勢角，并且姿勢角計算單元1012基于在傳感器單元1011中的檢測所獲得的結(jié)果，計算表示用戶的頭部的姿勢角的四元數(shù)q_h(F1703)，在獲取基于傳感器的信息時，該四元數(shù)與時間信息相關(guān)聯(lián)地記錄(F1704)。然后，基于在F1701中進(jìn)行捕捉的時間以及在F1704中記錄的頭部姿勢的估計值q_h，估計在捕捉時的頭部姿勢q_hc(即，執(zhí)行捕捉時間的內(nèi)插或預(yù)測)(F1705)。而且，計算從當(dāng)前時間到在顯示光學(xué)系統(tǒng)上顯示圖像的延遲時間δ的近似值(F1706)?；诋?dāng)前時間(F1707)和在F1704中記錄的頭部姿勢的估計值q_h，預(yù)測在執(zhí)行后續(xù)延遲時(當(dāng)前時間+延遲時間δ)的頭部姿勢(F1708)。而且，主要根據(jù)顯示面板的驅(qū)動頻率或者面板驅(qū)動電路的配置，確定延遲時間δ。一個實例中，使用在轉(zhuǎn)讓給給本申請人的專利申請No.2013-268014中公開的預(yù)測算法中，可以執(zhí)行通過考慮延遲時間δ的頭部姿勢預(yù)測。

在圖像處理裝置1040中，基于在F1702中獲取的固定參數(shù)q_t、在F1705中估計的頭部姿勢q_hc以及在F1708中預(yù)測的頭部姿勢的預(yù)測值q_h′，計算校正后的參數(shù)q_t*(F1709)。更具體而言，如在以下公式(3)中所示，通過使固定參數(shù)q_t乘以校正項q_hc^-1和q_h′來計算校正后的參數(shù)q_t^*，其是通過在固定參數(shù)q_t的右邊、頭部姿勢的預(yù)測值q_h′的左邊、由預(yù)測值q_h′乘以捕捉時的頭部姿勢q_hc的乘法逆元素所獲得的。

【數(shù)學(xué)公式3】

然后，根據(jù)參數(shù)q_t^*由所捕捉的圖像縮減顯示視角，以渲染自由視點圖像(F1710)。如上所述渲染的自由視點圖像從圖像處理裝置1040中傳輸給顯示裝置1020，并且在顯示裝置1020顯示(F1711)。

而且，本發(fā)明人已發(fā)現(xiàn)在視頻穿透式圖像顯示系統(tǒng)100中的姿勢與視角之間的延遲或差異問題可以由三維重新構(gòu)技術(shù)(包括Visual SLAM，作為典型實例)和頭部運動跟蹤預(yù)測的組合解決。Visual SLAM是能夠在未知的環(huán)境下同時執(zhí)行相機自定位估計和制圖的技術(shù)。Visual SLAM的實例可以包括集成增強現(xiàn)實技術(shù)“SmartAR”(索尼公司的商標(biāo))。

在成像裝置1040中，連接至用戶的頭部(或用戶的其他身體部分)的全向相機1031繼續(xù)捕捉，從而可以獲得時間序列圖像數(shù)據(jù)。在圖像處理裝置1040中，周圍環(huán)境的三維模型由時間序列圖像數(shù)據(jù)使用VisualSLAM技術(shù)構(gòu)造，并且找出在三維模型中的相機的當(dāng)前位置。然后，如果考慮從捕捉到在顯示裝置1020上顯示的延遲時間δ，預(yù)測用戶的當(dāng)前眼球位置和姿勢，則圖像處理裝置1040渲染在預(yù)測的位置由虛擬相機捕捉的圖像，并且在顯示裝置1020顯示。

圖18示出使用三維重新構(gòu)技術(shù)和頭部運動跟蹤預(yù)測的組合考慮從捕捉到顯示的延遲時間來顯示與用戶的視角匹配的圖像的處理程序。

連接至用戶的圖像捕捉裝置1030的全向相機1031捕捉全向圖像(F1801)。

在圖像處理裝置1040中，周圍環(huán)境的三維模型M由時間序列圖像數(shù)據(jù)使用Visual SLAM技術(shù)構(gòu)造(F1802)，估計在三維模型內(nèi)捕捉時的相機位置p_c和相機姿勢q_c(F1803)，并且與每個捕捉時間信息項相關(guān)聯(lián)地記錄(F1804)。

接下來，計算從當(dāng)前時間到在顯示光學(xué)系統(tǒng)上顯示圖像的延遲時間δ(F1805)。基于當(dāng)前時間(F1806)和在F1804中記錄的相機位置和姿勢的估計值p_c和q_c，預(yù)測在執(zhí)行后續(xù)顯示時的相機位置p′_c和相機姿勢q′_c(F1807)。而且，獲取全向相機1031的位置和姿勢以及用戶的眼睛的位置和姿勢的轉(zhuǎn)換參數(shù)p_t和q_t(F1808)。轉(zhuǎn)換參數(shù)p_t和q_t是由顯示光學(xué)系統(tǒng)和相機捕捉系統(tǒng)的機械設(shè)置確定的固定參數(shù)。而且，轉(zhuǎn)換參數(shù)p_t是應(yīng)用坐標(biāo)位置的偏移的三維向量，并且轉(zhuǎn)換參數(shù)q_t是表示姿勢的變化的四元數(shù)。然后，如在以下公式(4)中所示，使用轉(zhuǎn)換參數(shù)p_t和q_t，由此時的相機位置的預(yù)測值p′_c和相機姿勢的預(yù)測值q′_c預(yù)測執(zhí)行在后續(xù)顯示時的用戶的眼球的位置p′_h和用戶的眼球的姿勢q′_h(F1809)。

【數(shù)學(xué)公式4】

然后，在圖像處理裝置1040中，使用在F1802中構(gòu)造的周圍環(huán)境的三維模型M，渲染在預(yù)測的眼球位置p′_h和姿勢q′_h中的圖像捕捉數(shù)據(jù)(F1810)。如上所述渲染的自由視點圖像從圖像處理裝置1040傳輸給顯示裝置1020，并且在顯示裝置1020顯示(F1811)。

如上所述，根據(jù)在圖17和18中示出的處理程序，可以解決在視頻穿透式圖像顯示系統(tǒng)100中的姿勢和時間之間的延遲或差異問題。因此，在視頻穿透式圖像中，可以通過減少不對準(zhǔn)(例如，光軸差異)來防止VR病。而且，相機選擇或設(shè)置的自由度提高，因此，可以獲得在以下條目(1)到(4)中列出的效果。

(1)不需要在相機與眼球的光軸之間對準(zhǔn)

(2)不需要在相機與眼球的姿勢之間對準(zhǔn)

(3)不需要在相機與眼球的視角之間對準(zhǔn)

(4)可以設(shè)置任何數(shù)量的相機

雖然在圖1示出的圖像顯示系統(tǒng)100被配置為包括安裝在運動物體裝置120上的相機以及在連接至用戶的頭部時用戶通過其觀看由相機捕捉的圖像的頭戴式顯示器110，但是可以用作用戶使用控制器130遠(yuǎn)程操作的運動物體裝置120的相機系統(tǒng)。

在典型的遠(yuǎn)程操作系統(tǒng)中，可以使用控制器130操作運動物體裝置120的任何可能運動。然而，在觀看由安裝在運動物體裝置120上的相機捕捉的圖像的同時執(zhí)行遠(yuǎn)程操作的情況下，如果運動物體裝置120執(zhí)行抵抗用戶意圖的運動或非預(yù)期運動，則用戶可能遭受VR病。

同時，在本文中公開的技術(shù)中，通過限制用戶對運動物體裝置120的控制自由度，防止VR病。在一個實例中，規(guī)定運動物體裝置120在空間內(nèi)的軌跡，并且遠(yuǎn)程操作在軌跡上的位置、速度以及加速度中的僅僅一個。

下面，描述以下實施方式：圖像顯示系統(tǒng)100作為能夠限制控制自由度的遠(yuǎn)程操作相機系統(tǒng)操作。在一個實例中，假設(shè)空中運動物體裝置120，例如，裝配有三個或更多個轉(zhuǎn)子的直升機和多旋翼整機，是遠(yuǎn)程操作的目標(biāo)，并且控制自由度僅僅限于直線或圓周運動。然后，用戶使用制造成容易作為控制器130操作的諸如操縱桿的輸入裝置，在直線或圓周運動中僅僅遠(yuǎn)程操作在軌跡上的速度或加速度。

描述了如圖19所示在運動物體裝置120的控制自由度限制為直線運動的情況下使用控制器130的遠(yuǎn)程操作。圖20示出在上述情況下控制運動物體裝置120的處理程序。

在開始限制為直線運動的軌跡約束模式(F2001)時，設(shè)置運動物體裝置120的軌跡(F2002)。在運動物體裝置120的軌跡限制為直線運動的情況下，在一個實例中，設(shè)置在以下條目(1)或(2)中列出的直線軌跡。

(1)通過當(dāng)前點而朝向當(dāng)前行駛方向引導(dǎo)的直線

(2)連接當(dāng)前點和目的點的直線

如果從諸如操縱桿的控制器130輸入控制(F2003)，則過濾控制輸入，并且切斷除了前后方向以外的其他控制輸入(F2004)。

隨后，控制輸入沿著在F2002中設(shè)置的直線軌跡被轉(zhuǎn)換成位置命令、速度命令或加速度命令(F2005)，并且保持軌跡的命令被傳遞給運動物體裝置120的自動控制系統(tǒng)(F2006)。

接下來，描述了如圖21所示在運動物體裝置120的控制自由度限制為圓周運動的情況下使用控制器130的遠(yuǎn)程操作。圖22示出在上述情況下控制運動物體裝置120的處理程序。

在開始限制為圓周運動的軌跡約束模式(F2201)時，設(shè)置運動物體裝置120的軌跡(F2202)。在運動物體裝置120的軌跡限制為圓周運動的情況下，在一個實例中，設(shè)置在以下條目(1)或(2)中列出的圓周軌跡。

(1)穿過以目的點為中心的當(dāng)前點的圓周運動

(2)穿過以和目的點相交的垂直軸為中心的當(dāng)前點的在水平面內(nèi)的圓周運動

如果從諸如操縱桿的控制器130中輸入控制(F2203)，則過濾控制輸入，并且切斷除了左右方向以外的其他控制輸入(F2204)。

隨后，控制輸入沿著在F2002中設(shè)置的圓周軌跡被轉(zhuǎn)換成位置命令、速度命令或加速度命令(F2205)。保持軌跡的命令傳遞給運動物體裝置120的自動控制系統(tǒng)，并且控制朝著目的點引導(dǎo)運動物體裝置120的姿勢(F2206)。

工業(yè)實用性

上面這樣詳細(xì)地并且參考特定實施方式描述了在本說明書中公開的技術(shù)。然而，顯然，在不背離在該說明書中公開的技術(shù)的精神情況下，本領(lǐng)域的技術(shù)人員可以對這些實施方式進(jìn)行修改和替換。

雖然在本文中公開的技術(shù)可以優(yōu)選地適用于查看由使用沉浸式頭戴式顯示器安裝在運動物體裝置等上的遠(yuǎn)程相機捕捉的圖像，但是當(dāng)然適用于穿透式頭戴式顯示器。

而且，在本文中公開的技術(shù)同樣適用于使用視頻穿透式可視化查看由安裝在頭戴式顯示器的主體上的相機(而非遠(yuǎn)程相機)捕捉的圖像的情況。

而且，在本文中公開的技術(shù)同樣適用于通過固定至頭部或臉部的信息終端(例如，智能電話和平板電腦)(而非頭戴式顯示器)的平面觀看由相機拍攝的圖像的情況。

在本文中公開的技術(shù)優(yōu)選地適用于任何類型的雙眼或單眼頭戴式顯示器。

簡言之，在本說明書中公開的技術(shù)通過實例描述，并且不應(yīng)理解為限于本說明書的描述。應(yīng)考慮權(quán)利要求，確定在本說明書中公開的技術(shù)。

此外，本技術(shù)還可以如下配置。

(1)一種信息處理裝置，包括：

頭部姿勢獲取單元，被配置為獲取關(guān)于用戶的頭部姿勢的信息；

相機姿勢獲取單元，被配置為獲取關(guān)于相機的姿勢的信息；以及

圖像渲染處理器，被配置為基于所述用戶的頭部姿勢和所述相機的姿勢由相機所捕捉的圖像生成要在顯示裝置上顯示的圖像，所述顯示裝置被固定至用戶的頭部或臉部。

(2)根據(jù)(1)所述的信息處理裝置，

其中，所述相機安裝在運動物體裝置上。

(3)根據(jù)權(quán)利要求(1)和(2)中任一項所述的信息處理裝置，

其中，所述相機捕捉全向圖像或廣角圖像，以及

所述圖像渲染處理器使用相機在捕捉時的姿勢校正用戶的頭部姿勢，并且生成通過根據(jù)用戶的校正后的頭部姿勢由相機所捕捉的圖像縮減視角所獲得的圖像。

(4)根據(jù)(1)所述的信息處理裝置，

其中，所述相機固定安裝在用戶的頭部或臉部。

(5)根據(jù)(4)所述的信息處理裝置，

其中，所述圖像渲染處理器生成通過根據(jù)第一轉(zhuǎn)換參數(shù)由相機所捕捉的圖像縮減視角所獲得的圖像，所述第一轉(zhuǎn)換參數(shù)用于將相機的姿勢轉(zhuǎn)換成用戶的頭部姿勢。

(6)根據(jù)(5)所述的信息處理裝置，

其中，所述圖像渲染處理器使用在相機執(zhí)行捕捉時用戶的頭部姿勢以及在經(jīng)過直到在顯示裝置上顯示圖像的延遲時間之后預(yù)測的用戶的頭部姿勢執(zhí)行圖像生成。

(7)根據(jù)(4)所述的信息處理裝置，

其中，所述圖像渲染處理器基于由相機捕捉的時間序列圖像的數(shù)據(jù)，構(gòu)造周圍環(huán)境的三維模型，估計在三維模型中的相機的當(dāng)前位置，使用用于將相機的位置和姿勢轉(zhuǎn)換成用戶的眼球的位置和姿勢的第二轉(zhuǎn)換參數(shù)，在經(jīng)過從相機的捕捉到在顯示裝置上的顯示的延遲時間之后，預(yù)測用戶的眼球的位置和姿勢，并且由三維模型生成在眼球的預(yù)測位置和姿勢中捕捉的圖像。

(8)根據(jù)(1)所述的信息處理裝置，進(jìn)一步包括：

控制器，被配置為遠(yuǎn)程操作所述運動物體裝置；以及

濾波器，被配置為限制所述運動物體裝置的軌跡并且切斷所述控制器的除了所限制的軌跡以外的輸入，

其中，所述控制器的輸入在沿著所限制的軌跡的方向被轉(zhuǎn)換成位置命令、速度命令或加速度命令，并發(fā)送給所述運動物體裝置。

(9)根據(jù)(8)所述的信息處理裝置，

其中，在所述運動物體裝置的軌跡被限制為直線運動時，

所述濾波器切斷來自所述控制器的除了前后方向以外的輸入，并且

將保持直線運動的軌跡的命令發(fā)送給所述運動物體裝置。

(10)根據(jù)(9)所述的信息處理裝置，

其中，所述軌跡被設(shè)置為運動物體通過當(dāng)前點而朝向當(dāng)前行駛方向的直線或者連接所述運動物體裝置的當(dāng)前點和目的點的直線。

(11)根據(jù)(8)所述的信息處理裝置，

其中，在所述運動物體裝置的軌跡限制為圓周運動時，

所述濾波器切斷來自所述控制器的除了左右方向以外的輸入，并且

將保持圓周運動的軌跡的命令發(fā)送給所述運動物體裝置并且控制朝著目的點引導(dǎo)所述運動物體裝置的姿勢。

(12)根據(jù)(11)所述的信息處理裝置，

其中，所述軌跡設(shè)置為穿過以目的點為中心的運動物體裝置的當(dāng)前點的圓周運動，或者通過以和目的點相交的垂直軸為中心的運動物體裝置的當(dāng)前點的在水平面內(nèi)的圓周運動。

(13)一種信息處理方法，所述方法包括：

頭部姿勢獲取步驟，用于獲取關(guān)于用戶的頭部姿勢的信息；

相機姿勢獲取步驟，用于獲取關(guān)于相機的姿勢的信息；以及

圖像渲染處理步驟，用于基于用戶的頭部姿勢和相機的姿勢由相機所捕捉的圖像生成要在顯示裝置上顯示的圖像，所述顯示裝置固定至用戶的頭部或臉部。

(14)一種圖像顯示系統(tǒng)，包括：

相機；

顯示裝置，在被固定至用戶的頭部或臉部時使用；

頭部運動跟蹤裝置，被配置為測量用戶的頭部姿勢；以及

圖像處理裝置，被配置為基于用戶的頭部姿勢和相機的姿勢由相機所捕捉的圖像生成要在顯示裝置上顯示的圖像。

附圖標(biāo)記列表

100：圖像顯示系統(tǒng) 110：頭戴式顯示器

120：運動物體裝置 130：控制器

400：全向相機 401-406：攝像機

410：圖像處理器 810：頭部運動跟蹤裝置

811：傳感器單元 812：姿勢角計算單元

813：通信單元 820：顯示裝置

821：第一通信單元 822：圖像渲染處理器

823：顯示單元 824：第二通信單元

830：圖像捕捉裝置 831：全向相機

832：傳感器單元 833：姿勢角計算單元

834：通信單元 1010：頭部運動跟蹤裝置

1011：傳感器單元 1012：姿勢角計算單元

1013：通信單元 1020：顯示裝置

1021：通信單元 1023：顯示單元

1030：圖像捕捉裝置 1031：全向相機

1032：傳感器單元 1033：姿勢角計算單元

1034：通信單元 1040：圖像處理裝置

1041：通信單元 1042：圖像渲染處理器