本公開(kāi)的發(fā)明性概念總地涉及頭戴式顯示器系統(tǒng)領(lǐng)域，更具體地，本公開(kāi)的發(fā)明性概念涉及利用遠(yuǎn)離頭戴式顯示器系統(tǒng)定位的處理電路處理并傳送圖像用于在頭戴式顯示器系統(tǒng)上顯示。

背景技術(shù)：

頭戴式顯示器系統(tǒng)可由交通工具(例如，飛行器)的駕駛員用于顯示關(guān)于交通工具的操作的信息。例如，飛行員用頭戴式顯示器(如，安裝在飛行員所戴頭盔上的顯示器)可通過(guò)重疊圖像或信號(hào)擴(kuò)大飛行員的視野，從而在飛行員看向飛機(jī)窗外時(shí)幫助其識(shí)別目標(biāo)或位置。在某些實(shí)例中，投射到顯示器上的圖像可動(dòng)態(tài)連接到飛行員的方位(orientation)上(如，飛行員的頭部方位或者眼睛方位)。換言之，飛行員可以聚焦于顯示器上與外部目標(biāo)相對(duì)應(yīng)的特定部分，同時(shí)，可以調(diào)節(jié)顯示器上的圖像以突出目標(biāo)和目標(biāo)周圍的區(qū)域，但所顯示的圖像不需要?jiǎng)討B(tài)鏈接到個(gè)體方位上。

頭戴式顯示器系統(tǒng)可以從位于飛行器上的電路接收?qǐng)D像，例如，從一個(gè)或多個(gè)傳感器和/或視覺(jué)系統(tǒng)如視覺(jué)增強(qiáng)系統(tǒng)(“evs”)、合成視覺(jué)系統(tǒng)(“svs”)或綜合視覺(jué)系統(tǒng)(“cvs”)接收?qǐng)D像。圖像可被處理并傳送至頭戴式顯示器系統(tǒng)，然后渲染在頭戴式顯示器系統(tǒng)的顯示器上。然而，目前的頭戴式顯示器系統(tǒng)需要高分辨率的圖像以提供給駕駛員充分的細(xì)節(jié)。例如，目前的頭戴式顯示器上的圖像隨著駕駛員操作過(guò)程中頭部或眼睛的移動(dòng)可頻繁刷新，由此這需要高水平的頻帶寬度以在頭戴式顯示器屏幕上足夠顯示圖像。進(jìn)一步，現(xiàn)有的頭戴式顯示器系統(tǒng)通常在頭戴式顯示器系統(tǒng)的整個(gè)顯示器中顯示高分辨率的顯示圖像，由此需要向頭戴式顯示器系統(tǒng)頻繁傳送相對(duì)大的圖像。

技術(shù)實(shí)現(xiàn)要素：

一方面，本文公開(kāi)的發(fā)明性概念針對(duì)方法，所述方法包括由頭戴式顯示器系統(tǒng)的處理電路從一個(gè)或多個(gè)傳感器接收?qǐng)D像，所述一個(gè)或多個(gè)傳感器配置成捕獲飛行器周圍環(huán)境的細(xì)節(jié)。所述方法進(jìn)一步包括由所述處理電路接收所述頭戴式顯示器的使用者的當(dāng)前注視。所述方法進(jìn)一步包括由所述處理電路處理所述圖像。所述處理包括識(shí)別所述圖像的一個(gè)或多個(gè)屬性。所述方法進(jìn)一步包括由所述處理電路識(shí)別所述圖像的至少兩層。所述至少兩層中的至少一層具有與另一層不同的分辨率。所述方法進(jìn)一步包括由所述處理電路基于使用者的當(dāng)前注視和一個(gè)或多個(gè)屬性確定所述至少兩層中的每一層的優(yōu)先級(jí)。所述方法進(jìn)一步包括基于所確定的所述層的優(yōu)先級(jí)由頭戴式顯示器系統(tǒng)的輸出電路傳送所述至少兩層中的一層或多層至所述頭戴式顯示器。

另一方面，本文公開(kāi)的發(fā)明性概念針對(duì)用于頭戴式顯示器的圖像傳輸系統(tǒng)。所述系統(tǒng)包括輸入模塊、圖像處理模塊、優(yōu)先級(jí)模塊、輸出模塊和處理器。所述輸入模塊耦連至所述處理器，并配置成使得所述處理器接收頭戴式顯示器使用者的當(dāng)前注視和來(lái)自于一個(gè)或多個(gè)傳感器的圖像，所述一個(gè)或多個(gè)傳感器配置成捕獲飛行器周圍環(huán)境的細(xì)節(jié)。所述圖像處理模塊耦連至所述處理器，并配置成使得所述處理器處理所述圖像。處理所述圖像包括識(shí)別所述圖像的一個(gè)或多個(gè)屬性和識(shí)別所述圖像的至少兩層。所述至少兩層中的至少一層具有與另一層不同的分辨率。所述優(yōu)先級(jí)模塊耦連至所述處理器，并配置成使得所述處理器基于所述使用者的當(dāng)前注視和一個(gè)或多個(gè)屬性確定所述至少兩層中的每一層的優(yōu)先級(jí)。所述輸出模塊耦連至所述處理器，并配置成使得所述處理器基于所確定的所述層的優(yōu)先級(jí)傳送所述至少兩層中的一層或多層至所述頭戴式顯示器。所述輸入模塊、處理器、圖像處理模塊、優(yōu)先級(jí)模塊和輸出模塊的每一個(gè)都遠(yuǎn)離頭戴式顯示器。

另一方面，本文公開(kāi)的發(fā)明性概念針對(duì)系統(tǒng)。所述系統(tǒng)包括視覺(jué)系統(tǒng)和圖像傳輸系統(tǒng)。所述視覺(jué)系統(tǒng)配置成生成飛行器周圍環(huán)境的圖像。所述視覺(jué)系統(tǒng)從所述飛行器的多個(gè)傳感器接收輸入。所述圖像傳輸系統(tǒng)配置成處理由所述視覺(jué)系統(tǒng)生成的圖像，以識(shí)別所述圖像的一個(gè)或多個(gè)屬性。所述圖像傳輸系統(tǒng)進(jìn)一步可配置成識(shí)別所述圖像的至少兩層。所述至少兩層中的至少一層具有與另一層不同的分辨率。所述圖像傳輸系統(tǒng)進(jìn)一步配置成基于所述使用者的當(dāng)前注視和一個(gè)或多個(gè)屬性確定所述至少兩層中的每一層的優(yōu)先級(jí)。所述圖像傳輸系統(tǒng)進(jìn)一步配置成基于所確定的所述層的優(yōu)先級(jí)傳送所述至少兩層中的一層或多層至頭戴式顯示器。

附圖說(shuō)明

當(dāng)考慮給定到下面的詳細(xì)描述時(shí)，本文公開(kāi)的發(fā)明性概念的實(shí)現(xiàn)方式可以更好地被理解。該描述參考所包括的附圖(其不一定按比例而畫(huà))，并且為了清楚起見(jiàn)，描述中的一些特征可以被夸大和一些特征可以省略或被示意性表示。附圖中相同的編號(hào)可表示并指代相同或相似的元件、特征或功能。在附圖中：

圖1是根據(jù)本文公開(kāi)的發(fā)明性概念的、具有駕駛員占用的座艙的飛行器鼻翼部分的示例性實(shí)施例的示意圖，所述駕駛員佩戴有頭戴式顯示器；

圖2是駕駛員通過(guò)圖1中的頭戴式顯示器的示例性視角；

圖3是配置成生成圖1中頭戴式顯示器的顯示的圖像傳輸系統(tǒng)的示例性實(shí)施例的框圖；以及

圖4根據(jù)本文公開(kāi)的發(fā)明性概念的、用于生成頭戴式顯示器上的顯示的過(guò)程的示例性實(shí)施例的流程圖。

具體實(shí)施方式

在詳細(xì)解釋本公開(kāi)的發(fā)明性概念的至少一個(gè)實(shí)施例之前，應(yīng)當(dāng)理解的是，本發(fā)明性概念不限于其應(yīng)用在接下來(lái)的描述中詳細(xì)闡述的或附圖中例示的構(gòu)造的細(xì)節(jié)和組件的布置或者步驟或者方法上。在下面當(dāng)前發(fā)明性概念的實(shí)施例的詳細(xì)描述中，闡述了大量具體的細(xì)節(jié)以便提供對(duì)本發(fā)明性概念更為徹底的理解。然而，對(duì)于具有本公開(kāi)的益處的本領(lǐng)域技術(shù)人員而言顯而易見(jiàn)的是，本文公開(kāi)的發(fā)明性概念可以無(wú)需這些具體細(xì)節(jié)而得以實(shí)踐。在其他的例子中，為了避免不必要地復(fù)雜化本公開(kāi)，公知的特征可不詳細(xì)描述。因而，本文公開(kāi)的的發(fā)明性概念能夠以多種方式被實(shí)踐或?qū)嵭袨槠渌麑?shí)施例。同樣，應(yīng)當(dāng)予以理解的是，這里所使用的措辭和術(shù)語(yǔ)僅是為了說(shuō)明的目的，且不應(yīng)視為限制。

如本文所使用的，跟隨編號(hào)的字母意圖使特征或元件(其可以是相似的，但不必是相同的)的實(shí)施例引用以前描述的采用相同編號(hào)(如，1，1a，1b)的元件或特征。這樣簡(jiǎn)化的符號(hào)僅為了便利的目的而使用，而不應(yīng)解釋為以任何方式限制本文公開(kāi)的發(fā)明性概念，除非有明確的相反陳述。

更進(jìn)一步，除非有明確的相反表述，“或”是指包括或以及非不包括或。例如，由如下描述中的任意一個(gè)滿足條件a或b：a是正確(或存在)，且b是錯(cuò)誤(或不存在)；a是錯(cuò)誤(或不存在)，且b是正確(或存在)；以及a和b均正確(或存在)。。

此外，使用“一個(gè)”或“一”用于描述本發(fā)明性概念的實(shí)施例的元件或組件。這樣做僅僅是為了描述的便利和給出本發(fā)明性概念的一般觀念，且“一個(gè)”和“一”意圖包括一個(gè)或至少一個(gè)，單數(shù)也包括復(fù)數(shù)，除非其明確表明有其他情況。

最后，如這里采用的，“一個(gè)實(shí)施例”或“一些實(shí)施例”意味著結(jié)合實(shí)施例描述的特定的元件、特征、結(jié)構(gòu)或者特點(diǎn)被包括在本文公開(kāi)的發(fā)明性概念的至少一個(gè)實(shí)施例中。在說(shuō)明書(shū)中不同地方出現(xiàn)的短語(yǔ)“在一些實(shí)施例中”的表現(xiàn)不必所有都涉及相同的實(shí)施例，并且所公開(kāi)的發(fā)明性概念的實(shí)施例可包括明確描述的或本發(fā)明固有的一個(gè)或多個(gè)特征，或兩個(gè)或更多特征的任意組合或子組合，以及在本公開(kāi)中不必明確描述的或本發(fā)明固有的任何其他特征。

廣泛地，本公開(kāi)的發(fā)明性概念的實(shí)施例針對(duì)用于提供圖像以在頭戴式顯示器系統(tǒng)上顯示的系統(tǒng)和方法。本文公開(kāi)的發(fā)明性概念可用在許多控制系統(tǒng)中用于多種不同類型的應(yīng)用、傳感系統(tǒng)和顯示系統(tǒng)。雖然本公開(kāi)描述了可適用于飛行器的飛行員的頭戴式顯示器實(shí)現(xiàn)的系統(tǒng)和方法，但本文公開(kāi)的發(fā)明性概念可用于任何類型的環(huán)境(如其他飛行器，航天器，地面交通工具，或非交通工具應(yīng)用如地面顯示系統(tǒng)，飛機(jī)事故控制系統(tǒng)，雷達(dá)系統(tǒng)，虛擬顯示系統(tǒng)等)。雖然本文公開(kāi)的發(fā)明性概念的某些示例和實(shí)施例是關(guān)于飛行器的飛行員進(jìn)行描述的，但應(yīng)理解的是，除飛行員以外的關(guān)于其他交通工具或?qū)ο蟮氖褂谜咭部墒褂煤褪芤嬗诒疚墓_(kāi)的發(fā)明性概念。

總地參考附圖，在此示出和描述了根據(jù)本文公開(kāi)的發(fā)明性概念的、用于提供圖像以在頭戴式顯示器系統(tǒng)上顯示的系統(tǒng)和方法。飛行器或其他交通工具的飛行員或操作人員可以使用頭戴式顯示器系統(tǒng)(如安裝于飛行員頭盔上)接收關(guān)于飛行器操作的信息(如通過(guò)在飛行員視野中顯示圖像和標(biāo)志)。所述顯示可以基于飛行員的注視(如，基于飛行員頭部、眼部或身體部分的方位)和飛機(jī)當(dāng)前的狀態(tài)進(jìn)行動(dòng)態(tài)地更新。然而，如上所述，不斷地傳送要在頭戴式顯示器系統(tǒng)上顯示的細(xì)節(jié)圖像是一種挑戰(zhàn)。

在一些實(shí)施例中，本文描述的系統(tǒng)和方法被配置成通過(guò)第一識(shí)別和傳送將對(duì)使用者最為感知敏感的圖像來(lái)傳送圖像至頭戴式顯示器系統(tǒng)。例如，圖像傳輸系統(tǒng)可接收來(lái)自于一個(gè)或多個(gè)傳感器和一個(gè)或多個(gè)視覺(jué)系統(tǒng)(如，evs、svs或cvs)的輸入。該輸入可涉及將顯示在頭戴式顯示器上的真實(shí)的或生成的圖像。圖像傳輸系統(tǒng)首先傳送低分辨率圖像用于顯示，然后傳送一個(gè)或多個(gè)更高分辨率的圖像或?qū)印D像傳輸系統(tǒng)可識(shí)別與使用者最相關(guān)的輸入部分，生成此最相關(guān)輸入部分的細(xì)節(jié)圖像，以及傳送這些部分首先至頭戴式顯示器系統(tǒng)。例如，圖像傳輸系統(tǒng)可識(shí)別顯示器上的感興趣區(qū)(如，飛行員視野中的顯示部分，和飛行員外圍視圖(peripheralview)的顯示部分)。然后，圖像傳輸系統(tǒng)可為飛行員視野傳輸細(xì)節(jié)圖像，接著在稍后的時(shí)間里在飛行員外圍視圖跟隨額外圖像。在傳輸任何額外信息之前為飛行員視野傳輸細(xì)節(jié)圖像可使圖像傳輸系統(tǒng)能夠快速傳輸最相關(guān)圖像至飛行員，而稍后傳輸更小關(guān)鍵的圖像，從而減小傳送與飛行員相關(guān)圖像所需的頻帶寬度。在各種不同的實(shí)施例中，如本文所描述的，圖像傳輸系統(tǒng)可將輸入圖像分解為多層，其中至少一層或者每一層有不同的分辨率。圖像傳輸系統(tǒng)可以將這些層排列優(yōu)先級(jí)，用于傳送至頭戴式顯示器，從而使頭戴式顯示器能夠接收高分辨率圖像以顯示在最重要的區(qū)域。在一些實(shí)施例中，顯示屏上最重要區(qū)域(如，顯示屏的中心區(qū)域)也較顯示屏上其他區(qū)域(如，顯示屏的外圍區(qū)域)更新更頻繁。

飛行員通常對(duì)頭戴式顯示器顯示的低空間頻率和低時(shí)間頻率的變化(如，飛行員直接視野外部的變化)不敏感。基于這個(gè)效應(yīng)，本文公開(kāi)的發(fā)明性概念可用來(lái)傳輸新的或更新的圖像至顯示器。最初忽略低空間頻率亮度和新的或更新的圖像的顏色信息，而優(yōu)先化高空間頻率邊界并將其傳送至顯示器(如，實(shí)時(shí)地)。高空間頻譜可疊加到顯示于顯示器上的舊的低空間頻譜，從而提供最新的頻譜的效果于顯示器上。隨著時(shí)間的過(guò)去，中、低空間頻譜傳送至顯示器以提供圖像的進(jìn)一步細(xì)節(jié)。

參看圖1，示出了根據(jù)本文公開(kāi)的發(fā)明性概念的、具有飛行員104占據(jù)的座艙102的飛行器100的鼻翼部分的示意圖，所述飛行員佩戴有頭戴式顯示器106。飛行員104使用頭戴式顯示器106接收和觀察與飛行器100的操作相關(guān)的信息。頭戴式顯示器106接收來(lái)自圖像傳輸系統(tǒng)108的信息，此圖像傳輸系統(tǒng)108位于遠(yuǎn)離頭戴式顯示器106處。此圖像傳輸系統(tǒng)108可以是位于飛行器100內(nèi)部的系統(tǒng)，其配置為接收來(lái)自于飛行器100的一個(gè)或多個(gè)傳感器或視覺(jué)系統(tǒng)的輸入。圖像傳輸系統(tǒng)108可處理輸入和提供給頭戴式顯示器106圖像(如，圖像、符號(hào)和其他顯示信息或特征)，如參考圖3和圖4所描述的。頭戴式顯示器106可配置為提供任何類型格式的圖像。頭戴式顯示器106可配置為提供二維或三維圖像。使用頭戴式顯示器106類型的顯示沒(méi)有限制。

頭戴式顯示器106可以接收由圖像處理電路處理過(guò)的圖像，此圖像處理電路位于遠(yuǎn)離頭戴式顯示器106處。此圖像處理電路可以從飛行器100上的傳感器和視覺(jué)系統(tǒng)接收輸入。例如，在一些實(shí)施例中，圖像傳輸系統(tǒng)108接收來(lái)自飛行器100上的傳感器的輸入，并在將經(jīng)處理的圖像通信至頭戴式顯示器106之前處理這些輸入。在一些實(shí)施例中，在圖像輸入遠(yuǎn)離頭戴式顯示器106被處理(例如，在圖像傳輸系統(tǒng)108處)且然后被傳輸至頭戴式顯示器106而不是用頭戴式顯示器106自身上的設(shè)備處理圖像輸入時(shí)，頭戴式顯示器106需要較少的部件以顯示圖像。這樣的布置最小化了頭戴式顯示器106所需的硬件部件，同時(shí)也可進(jìn)一步減少操作頭戴式顯示器106所需的電力和計(jì)算功率。在一些實(shí)施例中，頭戴式顯示器106可配置為接收來(lái)自于圖像傳輸系統(tǒng)108的圖像，以及在顯示器上渲染圖像而不對(duì)圖像做進(jìn)一步的處理，然而在其他實(shí)施例中頭戴式顯示器可配置為在顯示圖像之前對(duì)所接收的圖像進(jìn)行進(jìn)一步處理。

參看圖2，示出了根據(jù)本文公開(kāi)的發(fā)明性概念的、飛行員104透過(guò)頭戴式顯示器106的示例性視野120的透視圖。頭戴式顯示器106的顯示屏可以是全透明或半透明的，以使飛行員104能觀看場(chǎng)景以及顯示信息。在一個(gè)實(shí)施例中，顯示信息包括參考屏圖像122。例如，參考屏圖像122可以包括與飛行器的位置、速度、高度和前行方向相關(guān)的信息、天氣信息或任何顯示在顯示屏固定位置上的其他信息。顯示信息可以包括飛行器參考圖像124(如，武器系統(tǒng)的目標(biāo)指示器，其指示目標(biāo)126相對(duì)飛行器100的位置)。顯示信息還可以包括地面參考圖像128(如，基于地面上對(duì)象的已知位置的所感興趣的對(duì)象，如跑道130)。

參看圖3，示出了根據(jù)本文公開(kāi)的發(fā)明性概念的、圖像傳輸系統(tǒng)108的示例性實(shí)施例的框圖。圖像傳輸系統(tǒng)108包括處理電路202和接口250。處理電路202包括處理電路或處理器204和存儲(chǔ)器206。存儲(chǔ)器206包括飛行員注視模塊212、圖像處理模塊214、優(yōu)先級(jí)模塊216、輸出模塊218和輸入模塊210。接口250配置為與傳感器230和視覺(jué)系統(tǒng)240(如，evs/svs/cvs)進(jìn)行通信。

如上所述，圖像傳輸系統(tǒng)108總地配置為傳送要顯示在頭戴式顯示器106上的圖像。圖像傳輸系統(tǒng)108接收來(lái)自于飛行器100上的一個(gè)或多個(gè)傳感器或視覺(jué)系統(tǒng)的輸入，從這些輸入中識(shí)別與飛行員104的視野相關(guān)的圖像，并傳送此相關(guān)圖像至頭戴式顯示器106。例如，圖像傳輸系統(tǒng)108可首先傳送與飛行員104的視野最相關(guān)的高分辨率圖像，隨后傳送其他包含飛行員104外圍視圖的低分辨率圖像。

圖像傳輸系統(tǒng)108配置為接收來(lái)自于一個(gè)或多個(gè)系統(tǒng)的輸入，所述系統(tǒng)配置為生成圖像用于在頭戴式顯示器106或飛行器100的另一顯示系統(tǒng)上顯示。所述圖像可與飛行器100的操作相關(guān)的飛行器100周圍的外部區(qū)域(如，圖2中示例性顯示的區(qū)域)相關(guān)。圖像傳輸系統(tǒng)108可以接收來(lái)自于一個(gè)或多個(gè)配置成捕獲圖像的傳感器230的輸入，也可以接收來(lái)自于一個(gè)或多個(gè)配置成生成圖像的視覺(jué)系統(tǒng)240(如，evs,cvs,svs)的輸入，所述視覺(jué)系統(tǒng)使觀察者能夠識(shí)別目標(biāo)和感興趣的區(qū)域。圖像傳輸系統(tǒng)108可以接收來(lái)自于任意用來(lái)生成圖像的飛行器系統(tǒng)的輸入，以輸出至頭戴式顯示器106。圖像傳輸系統(tǒng)108可以包括接口250，其配置為經(jīng)由有線或無(wú)線連接接收來(lái)自于多個(gè)系統(tǒng)和傳感器的輸入。雖然生成飛行器100外部區(qū)域的圖像的過(guò)程被描述為發(fā)生在傳感器230和視覺(jué)系統(tǒng)240處，但圖像傳輸系統(tǒng)108可至少部分生成圖像。圖像傳輸系統(tǒng)108可配置為組合來(lái)自于不同系統(tǒng)的輸入以生成代表實(shí)際視野、綜合視野或組合視野的圖像。

一旦圖像傳輸系統(tǒng)108接收到圖像，處理器204處理圖像，且圖像的各部分以有效方式被傳送至頭戴式顯示器106。處理器204可實(shí)現(xiàn)為專用處理器、專用集成電路(asic)、一個(gè)或多個(gè)現(xiàn)場(chǎng)可編程門(mén)陣列(fpga)、一組處理組件，或其他合適的電子處理組件。存儲(chǔ)器206是一個(gè)或多個(gè)用來(lái)存儲(chǔ)數(shù)據(jù)和計(jì)算機(jī)代碼以完成和促進(jìn)本公開(kāi)所描述的不同的用戶或客戶進(jìn)程、層和模塊的設(shè)備(如ram，rom，閃存，硬盤(pán)存儲(chǔ))。存儲(chǔ)器206可以是或包括易失性存儲(chǔ)器或非易失性存儲(chǔ)器和可包括數(shù)據(jù)庫(kù)組件、目標(biāo)代碼組件、腳本組件或任何其他類型的信息結(jié)構(gòu)，以支持在此公開(kāi)的發(fā)明性概念的不同活動(dòng)和信息結(jié)構(gòu)。存儲(chǔ)器206可通信地連接至處理器204，且包括計(jì)算機(jī)代碼或指令模塊以執(zhí)行在此描述的一個(gè)或多個(gè)過(guò)程。

存儲(chǔ)器206包括不同模塊，所述模塊使處理器204執(zhí)行在此描述的系統(tǒng)和方法。存儲(chǔ)器206包括輸入模塊210，其配置為使圖像傳輸系統(tǒng)108經(jīng)由接口250接收來(lái)自于不同傳感器230和視覺(jué)系統(tǒng)240的圖像。所述圖像可包括飛行器100周圍環(huán)境的細(xì)節(jié)。輸入模塊210可配置為使得圖像傳輸系統(tǒng)108組合、分離和修改所接收的圖像以由處理器204處理，如下面將進(jìn)一步描述的。

飛行員注視模塊212配置為使處理器204確定飛行器100中佩戴頭戴式顯示器106的飛行員104的當(dāng)前注視。飛行員104的注視可基于飛行員104的眼睛和頭部方位的組合。飛行員注視模塊212使得處理器204基于飛行員104的注視確定飛行員104的視野和外圍視圖。例如，飛行員注視模塊212使得處理器204基于飛行員眼睛所指的方向確定飛行員104的主視野。飛行員注視模塊212可進(jìn)一步配置為使處理器204確定頭戴式顯示器106的顯示屏的部分，這部分區(qū)域與飛行員104的主視野以及接近主視野的區(qū)域(如飛行員的外圍視圖)相對(duì)應(yīng)。例如，飛行員的外圍視圖可以是飛行員可看見(jiàn)的區(qū)域，但這一區(qū)域圖像的某些細(xì)節(jié)無(wú)法被飛行員104充分確定(如，飛行員眼睛中心輻射大約18到110度之間范圍的區(qū)域)。頭戴式顯示器106和其他飛行器系統(tǒng)可以配置為追蹤飛行員104和飛行員104的各部分(如飛行員的頭、眼睛、脖子、身體)在操作飛行器100過(guò)程中的移動(dòng)，以確定飛行員104的方位和飛行員104眼睛注視的方向。例如，頭戴式顯示器106可包括配置為確定飛行員104頭部方位的陀螺儀。又例如，頭戴式顯示器106可包括配置為確定飛行員104眼睛方位的眼睛追蹤系統(tǒng)。

在一些實(shí)施例中，飛行員注視模塊212可使得處理器204隨時(shí)追蹤飛行員104的移動(dòng)。例如，飛行員注視模塊212可配置為使得處理器204確定何時(shí)飛行員104將他或她的眼睛從頭戴式顯示器106的第一部分轉(zhuǎn)移至看向顯示器的不同的部分。又例如，飛行員注視模塊212可以配置為使得處理器204確定飛行員104的頭部是否已經(jīng)從第一位置移動(dòng)到第二位置。飛行員注視模塊212可配置為使得處理器204基于飛行員的注視的變化確定飛行員104的新的或更新的視野和外圍視圖。處理器204配置為基于如下所述的飛行員注視的變化更新頭戴式顯示器106顯示的圖像。

在一些實(shí)施例中，存儲(chǔ)器206不包括飛行員注視模塊212。在這樣的實(shí)施例中，圖像傳輸系統(tǒng)108可配置成接收飛行員注視信息和來(lái)自于飛行器100上其他系統(tǒng)的其他相關(guān)信息。圖像傳輸系統(tǒng)108可配置成接收來(lái)自于其他飛行器系統(tǒng)的關(guān)于飛行員104的注視的信息，所述飛行器系統(tǒng)配置成追蹤飛行器100的飛行員104的身體方位或眼部運(yùn)動(dòng)。在一些實(shí)施例中，圖像傳輸系統(tǒng)108基于頭戴式顯示器106的基本顯示屬性給頭戴式顯示器106提供圖像。例如，圖像傳輸系統(tǒng)108可為頭戴式顯示器106的顯示器中心提供更詳細(xì)的圖像，以及為頭戴式顯示器106的顯示器邊緣提供較不詳細(xì)的圖像。

圖像處理模塊214配置成使得處理器204處理由圖像傳輸系統(tǒng)108接收到的圖像。圖像處理模塊214可配置成使得處理器204識(shí)別或生成圖像的一層或多層以及識(shí)別圖像的一個(gè)或多個(gè)屬性(如，目標(biāo)、興趣點(diǎn)等等)。例如，圖像傳輸系統(tǒng)108接收?qǐng)D像，處理器204處理該圖像以準(zhǔn)備用于在頭戴式顯示系統(tǒng)106上顯示的圖像，以及輸出模塊218使得處理器204輸出圖像至頭戴式顯示系統(tǒng)106。

圖像處理模塊214配置成使得處理器204生成所接收?qǐng)D像的多層，每一層可能具有與其他層相同的分辨率或不同的分辨率。例如，對(duì)于由圖像傳輸系統(tǒng)108接收到的特定圖像，圖像處理模塊214使得處理器204將圖像分解為多層，其中每一層具有不同的分辨率。然后，圖像傳輸系統(tǒng)108傳送一個(gè)或多個(gè)層至頭戴式顯示器106以供顯示。在一些實(shí)施例中，圖像的層被傳送，這樣低分辨率的層被傳送用于在頭戴式顯示器106上顯示以填充(populate)顯示器，而僅僅與飛行員視野相對(duì)應(yīng)的一部分高分辨率層被傳送。通過(guò)在為頭戴式顯示屏的特定區(qū)域傳送較高分辨率圖像之前首先傳送低分辨率圖像至頭戴式顯示器106，可減少傳送圖像至頭戴式顯示器106所需要的頻帶寬度。

圖像處理模塊214配置成使得處理器204生成在圖像傳輸系統(tǒng)108處接收的圖像的多分辨率表示。在不同的實(shí)施例中，圖像處理模塊214使得處理器204生成代表圖像的不同特性的任意數(shù)量的層。例如，在一些實(shí)施例中，處理器204可生成9層(如，層0至層8)。在處理器204生成層之后，圖像傳輸系統(tǒng)108根據(jù)時(shí)間表傳送各層，或者根據(jù)基于每層的可視細(xì)節(jié)的分辨率或等級(jí)的模式傳送各層。例如，每1毫秒具有最高分辨率的層(如層8)可被傳送至頭戴式顯示器106，而每50毫秒具有最低分辨率的層(如層0)可被傳送。相較于包含更少相關(guān)細(xì)節(jié)的更低分辨率圖像，圖像傳輸系統(tǒng)108可配置為更頻繁地傳送包含與飛行員104最相關(guān)細(xì)節(jié)的高分辨率層。輸出模塊218可配置為使得處理器204確定哪些層需要比其他層更加頻繁地刷新以及哪些層可以被更不頻繁地傳送。在一些實(shí)施例中，輸出模塊218配置成使得圖像傳輸系統(tǒng)108僅傳送一部分較高分辨率的層至頭戴式顯示系統(tǒng)106。在一些實(shí)施例中，圖像傳輸系統(tǒng)108基于預(yù)先確定的時(shí)間表或順序(即不必基于每層的分辨率逐漸增加或逐漸降低的順序來(lái)傳送各層)傳送各層。例如，可基于第一層包含飛行器100的巡航飛行階段期間的最相關(guān)信息，將第一層先于第二層傳送至頭戴式顯示器，而在飛行器100處于起飛階段時(shí)將第二層先于第一層傳送至頭戴式顯示器。在一些實(shí)施例中，刷新率可與一層或多層相關(guān)聯(lián)，所述刷新率定義一層或多層的更新的圖像多久被傳送至頭戴式顯示系統(tǒng)106一次。

在一個(gè)實(shí)施例中，圖像處理模塊214使得處理器204在創(chuàng)建層時(shí)生成降低取樣的圖像(如，每一層降低取樣兩倍)。例如，處理器204可配置成降低采樣圖像，從而最高分辨率層(如層8)為512*512像素圖像，高分辨率層(如層7)為256*256像素圖像。在這樣的例子中，在傳送這些層至頭戴式顯示器的過(guò)程中每一較小的層需要前一層的四分之一頻帶寬度(如，256*256像素圖像需要512*512像素圖像的四分之一頻帶寬度)。在一些實(shí)施例中，每一層之間的分辨率差異以固定量或隨機(jī)量而變化。

圖像的每一層可具有不同的特性，描述不同的圖像，或以其他各種方式不同。例如，從圖像中識(shí)別的不同目標(biāo)或?qū)傩缘募?xì)節(jié)可基于每一層分辨率等級(jí)的變化而變化。不同形狀或目標(biāo)的細(xì)節(jié)可隨著層的分辨率的增加而增加。例如，可將塔識(shí)別為圖像中的屬性，對(duì)于每一層，塔的細(xì)節(jié)(例如，塔的輪廓，塔的顏色，突出塔的符號(hào))可基于層的分辨率而變化。根據(jù)其他的例子，不同的顏色或顏色方案可用于不同的層(如，低分辨率層的灰度或單色方案，高分辨率層的紅外配色方案)，不同的標(biāo)志、圖標(biāo)或標(biāo)記可用于不同的層(如，用于更詳細(xì)的層的更詳細(xì)的圖標(biāo))，數(shù)值(如，由svs生成的)的不同表示可用于圖像的不同的層。

圖像傳輸系統(tǒng)108可使用不同的方法和過(guò)程來(lái)生成具有不同分辨率的多個(gè)層。在一個(gè)實(shí)施例中，當(dāng)提供圖像的低細(xì)節(jié)區(qū)域以較少細(xì)節(jié)的時(shí)候，動(dòng)態(tài)范圍最優(yōu)化顯示系統(tǒng)可用于低分辨率圖像，其仍提供圖像的高細(xì)節(jié)區(qū)域的細(xì)節(jié)圖像，而提供圖像的低細(xì)節(jié)區(qū)域的更少細(xì)節(jié)。例如，對(duì)于在圖像傳輸系統(tǒng)108處接收的給定圖像，圖像可進(jìn)行多像素點(diǎn)采樣以取代相等空間增量的強(qiáng)度。對(duì)于具有僅小部分高強(qiáng)度圖像和大部分低強(qiáng)度圖像的圖像，高強(qiáng)度區(qū)域和低強(qiáng)度區(qū)域不以同一速率取樣。高強(qiáng)度區(qū)域可進(jìn)行較高速率取樣，從而產(chǎn)生更細(xì)節(jié)的圖像。圖像處理模塊214可配置成采用動(dòng)態(tài)范圍最優(yōu)化顯示系統(tǒng)創(chuàng)建高分辨率圖像，而通過(guò)相等空間增量強(qiáng)度的取樣生成較低分辨率的圖像。根據(jù)不同的實(shí)施例，圖像傳輸系統(tǒng)108可采用任何類型的圖像處理方法生成圖像的任意給定層。

在一些實(shí)施例中，僅有部分較高分辨率層被傳送至頭戴式顯示器106。所傳送的部分可以是與飛行員104的視野部分相對(duì)應(yīng)的部分，其提供給飛行員104他或她的視野內(nèi)的高分辨率圖像，而同時(shí)提供飛行員104的主視野以外(例如，與飛行員外圍視圖區(qū)域相對(duì)應(yīng)的顯示區(qū)域)的低分辨率圖像給飛行員104。優(yōu)先級(jí)模塊216可配置成使得處理器204基于圖像的分辨率和飛行員104的當(dāng)前視野確定傳送哪一圖像至頭戴式顯示器106。

在一些實(shí)施例中，優(yōu)先級(jí)模塊216被配置成使得處理器204識(shí)別在圖像的其他部分被傳送至頭戴式顯示器106之前首先傳送至頭戴式顯示器106的圖像的部分。例如，優(yōu)先級(jí)模塊216可配置成使得處理器204基于飛行員104延伸貫穿頭戴式顯示器106的顯示屏中心的注視，識(shí)別高分辨率層中要在頭戴式顯示器106的顯示屏中心顯示的圖像。例如，可在供飛行員104的視野中提供較高分辨率的圖像。在一些實(shí)施例中，優(yōu)先級(jí)模塊配置成使得處理器204識(shí)別高分辨率層中的要顯示在頭戴式顯示器106的顯示屏中心的圖像，而不考慮飛行員注視指向的地方。優(yōu)先級(jí)模塊216可使得處理器204基于飛行員104的當(dāng)前注視確定飛行員104的視野和外圍視圖。圖像在任何其他圖像被傳送至頭戴式顯示器106之前首先被傳送至頭戴式顯示器106，這樣在與飛行員104的當(dāng)前注視相對(duì)應(yīng)的顯示器區(qū)域提供圖像給飛行員104?？稍陲@示器的其他區(qū)域提供具有較低分辨率的圖像以“填滿”整個(gè)顯示器，這樣提供給飛行員104用于觀察以高分辨率顯示的圖像的背景。例如，可傳送低分辨率層至顯示器以用于整個(gè)顯示屏，而傳送高分辨率層至顯示器以僅用于與飛行員104的當(dāng)前注視相對(duì)應(yīng)的部分顯示。頭戴式顯示器106配置成在顯示器上接收和渲染層以用于飛行員104觀察。

在一些實(shí)施例中，優(yōu)先級(jí)模塊216使得處理器204識(shí)別顯示器的中心區(qū)域，這個(gè)區(qū)域是僅基于飛行員104的身體方位最可能看向的區(qū)域。例如，如果圖像傳輸系統(tǒng)108不配置成追蹤飛行員104的眼睛，處理器204可依賴于飛行員的身體位置來(lái)確定飛行員的注視。飛行員的身體方位可基于飛行員104的頭部、頸部、軀干或其他身體部分的位置。優(yōu)先級(jí)模塊216可進(jìn)一步配置成使得處理器204確定覆蓋飛行員104的可能視野的接近中心區(qū)域的范圍(如，10°，15°，20°)以在與所確定的范圍相對(duì)應(yīng)的一個(gè)或多個(gè)層中識(shí)別高分辨率圖像。例如，優(yōu)先級(jí)模塊216可以配置成使得處理器204識(shí)別顯示器中的位置，以及提供給頭戴式顯示器106接近顯示器的區(qū)域高分辨率圖像。優(yōu)先級(jí)模塊216可以配置為使得處理器204基于飛行員104的注視識(shí)別飛行員104正在看向的顯示器上的區(qū)域。例如，處理器204可以基于飛行員104的注視確定接近飛行員視野的中心區(qū)域的范圍。

在一些實(shí)施例中，優(yōu)先級(jí)模塊216使得處理器204基于飛行器狀態(tài)確定將哪個(gè)高分辨率圖像被傳送至頭戴式顯示器106。例如，如果飛行器100在下降或者著陸過(guò)程中，優(yōu)先級(jí)模塊216可使得處理器204將與跑道或者著陸帶相對(duì)應(yīng)的圖像優(yōu)先排序，并傳送該跑道或者著陸帶的最高分辨率圖像至頭戴式顯示器106。同樣地，如果飛行器起飛，優(yōu)先級(jí)模塊216可使得處理器204將對(duì)起飛過(guò)程關(guān)鍵的圖像優(yōu)先排序，并傳送此優(yōu)先排序的圖像至頭戴式顯示器106。

在一些實(shí)施例中，優(yōu)先級(jí)模塊216配置成使得處理器基于一個(gè)或多個(gè)層的刷新率確定將哪一圖像傳送至頭戴式顯示器106。例如，一些圖像可與刷新率相關(guān)聯(lián)，以及刷新率可指示何時(shí)新的或更新后的圖像應(yīng)被傳送以取代非當(dāng)前的圖像。在一些實(shí)施例中，為了提供給飛行員104精確信息，高分辨率圖像比低分辨圖圖像刷新得更加頻繁(如，圖像隨時(shí)間的改變可能在更高分辨率的圖像中更顯著)。優(yōu)先級(jí)模塊216可配置成使得處理器204識(shí)別將被傳送以刷新飛行員104的視野中當(dāng)前視野的層的各部分。在一些實(shí)施例中，如果圖像保持停留在飛行員104的直接視野外一段特定時(shí)間，處理器204將允許飛行員104的外圍視圖中的圖像衰退。

輸出模塊218配置為使圖像傳輸系統(tǒng)108傳送圖像至頭戴式顯示器106。在一些實(shí)施例中，輸出模塊218使圖像傳輸系統(tǒng)108經(jīng)由lifi(光無(wú)線通信)傳送圖像。在一些實(shí)施例中，輸出電路218使得圖像傳輸系統(tǒng)108經(jīng)由任何其他無(wú)線或有線通信技術(shù)傳送圖像。

在不同的實(shí)施例中，處理器204在處理圖像用于傳送時(shí)考慮一個(gè)或多個(gè)飛行員偏好或飛行器偏好。例如，特定飛行員具有主視眼，處理器204可通過(guò)使得圖像傳輸系統(tǒng)108在主視眼視野內(nèi)傳送更細(xì)節(jié)的圖像而考慮主視眼。又例如，飛行員可具有一個(gè)或多個(gè)已保存或預(yù)先載入至圖像傳輸系統(tǒng)108的顯示偏好(如，飛行員可更喜歡整個(gè)顯示器上都是細(xì)節(jié)圖像而不考慮他或她的方向，或者飛行員可更喜歡不看他或她視野以外的細(xì)節(jié)圖像)。飛行員104可輸入他們的偏好至圖像傳輸系統(tǒng)108或參與校準(zhǔn)過(guò)程以使處理器204協(xié)助確定飛行員104的顯示偏好。再比如，圖像傳輸系統(tǒng)108可配置為隨時(shí)跟蹤飛行員104的行為，并調(diào)整所傳送圖像從而與飛行員104的行為相符合。再比如，航線或飛行器偏好可被保存或預(yù)先載入到圖像傳輸系統(tǒng)108中，這可用于調(diào)整給飛行員104傳送的圖像。

現(xiàn)在參看圖4，示出了根據(jù)本文公開(kāi)的發(fā)明性概念的、用于生成頭戴式顯示器上的顯示的過(guò)程400的示例性實(shí)施例的流程圖。例如，過(guò)程400可由圖像傳輸系統(tǒng)108的處理器204執(zhí)行，且可包括以下步驟的一個(gè)或多個(gè)。步驟(402)可包括從一個(gè)或多個(gè)傳感器接收?qǐng)D像。一個(gè)或多個(gè)傳感器配置為捕獲飛行器周圍環(huán)境的細(xì)節(jié)。傳感器可包含任意類型的傳感器或系統(tǒng)(如，如上所述的evs，svs或cvs)。

步驟(404)可包括接收頭戴式顯示器使用者的當(dāng)前注視。例如，步驟404可包括確定頭戴式顯示器使用者的方位。使用者的方位可以包括使用者身體和頭部的位置，其指示使用者的可能視野和注視。使用者的方位可進(jìn)一步包括使用者眼睛的方位。步驟404可進(jìn)一步包括確定使用者的精確視野。在其他實(shí)施例中，步驟404可不包括任何眼睛追蹤活動(dòng)，使用者的視野可基于使用者頭部或身體的方位被預(yù)測(cè)。在其他實(shí)施例中，圖像傳輸系統(tǒng)不接收步驟404中的使用者方位信息，而是可以將頭戴式顯示器的顯示器中心限定在使用者的視野中。

步驟404可進(jìn)一步包括接收飛行器或飛行器系統(tǒng)的狀態(tài)，這些狀態(tài)影響顯示在頭戴式顯示器上的圖像的類型。例如，如果飛行器正在起飛或者降落，則顯示在頭戴式顯示器上的圖像類型可與飛行器在半夜巡航不同。

步驟(406)可包括處理圖像，所述處理包括識(shí)別圖像的一個(gè)或多個(gè)屬性。例如，處理圖像可以包括識(shí)別一個(gè)或多個(gè)目標(biāo)或興趣點(diǎn)(如，塔、跑道、靶子或任何其他會(huì)影響飛行器操作的外部目標(biāo))。又比如，步驟406可包括識(shí)別地面和天空，和任何會(huì)影響飛行器操作的地面或天空的特征(如，天氣狀況、其他飛行器)。

步驟(408)可包括識(shí)別圖像的一個(gè)或多個(gè)層。每一層具有不同的分辨率。例如，步驟408包括生成(或接收)多個(gè)層，其中每一層代表所接收的圖像。步驟(410)可包括基于一個(gè)或多個(gè)屬性和使用者的當(dāng)前注視確定層的和每一層的各部分的優(yōu)先級(jí)。

在一些實(shí)施例中，如步驟404所述，使用者的當(dāng)前注視包括使用者的視野和外圍視圖。步驟410可包括識(shí)別高分辨率層中與使用者的視野相對(duì)應(yīng)的區(qū)域。這個(gè)區(qū)域可在步驟412中被傳送至頭戴式顯示器以提供給顯示器細(xì)節(jié)的圖像供使用者觀察。低分辨率層也可傳送至頭戴式顯示器以提供在使用者外圍視圖中的圖像。步驟410可包括，通過(guò)識(shí)別一個(gè)或多個(gè)較低分辨率層和一個(gè)或多個(gè)較高分辨率層的一個(gè)或多個(gè)部分來(lái)對(duì)這些層進(jìn)行優(yōu)先級(jí)排序，以傳送至顯示器，以及識(shí)別傳送各層至顯示器的順序。在一些實(shí)施例中，步驟410包括識(shí)別飛行器的飛行階段(如，著陸、起飛、夜航)和基于飛行階段排列各層的優(yōu)先級(jí)(如，排列包含著陸過(guò)程中的跑道的一部分層的優(yōu)先級(jí))。

步驟(412)可包括基于所確定的各層的優(yōu)先級(jí)傳送一個(gè)或多個(gè)層至頭戴式顯示器。例如，傳送第一低分辨率層的圖像以填充頭戴式顯示器的整個(gè)顯示屏。然后，將包括一個(gè)或多個(gè)較高分辨率圖像的一個(gè)或多個(gè)第二層傳送至頭戴式顯示器。所述一個(gè)或多個(gè)第二層包括僅在頭戴式顯示器的一部分上顯示的圖像。在一個(gè)實(shí)施例中，較高分辨率圖像呈現(xiàn)在顯示器中心。在另一個(gè)實(shí)施例中，較高分辨率圖像呈現(xiàn)在顯示器中心以外的使用者的視野中。例如，如果處理器402確定圖像的特定特征不具有高的優(yōu)先級(jí)，處理器402可使這一特征以低分辨率顯示。如果處理器402確定圖像的特定特征具有高的優(yōu)先級(jí)，處理器402可使得大部分圖像以低分辨率呈現(xiàn)，而使具有高優(yōu)先級(jí)的特征以比剩余圖像更高的分辨率呈現(xiàn)。

在某些實(shí)施例中，刷新率可與傳送至頭戴式顯示器的一個(gè)或多個(gè)層相關(guān)聯(lián)。刷新率可指示層被傳送至頭戴式顯示器以更新被顯示的圖像的頻率。步驟412可進(jìn)一步包括基于每一層的刷新率來(lái)傳送一個(gè)或多個(gè)層。

在某些實(shí)施例中，步驟404包括接收更新的眼睛追蹤信息或頭部方位信息。例如，使用者的視野在使用者移動(dòng)其頭部或眼睛時(shí)發(fā)生變化?；谑褂谜咭曇暗淖兓?，可執(zhí)行步驟406-412，以基于使用者新的視野提供新的或更新的視野至頭戴式顯示器。

從上面應(yīng)理解，根據(jù)本文公開(kāi)的發(fā)明性概念的實(shí)施例，用于提供圖像以在頭戴式顯示器系統(tǒng)上顯示的系統(tǒng)和方法可通過(guò)在遠(yuǎn)離頭戴式顯示設(shè)備處處理圖像和僅傳輸頭戴式顯示設(shè)備的佩戴者所需的某些圖像部分，由此減少頭戴式顯示器的硬件需求，從而減少操作典型的頭戴式顯示器設(shè)備所需的電力和計(jì)算功率。

需要理解的是，根據(jù)本文公開(kāi)的發(fā)明性概念的方法的實(shí)施例，可包括本文所描述的一個(gè)或多個(gè)步驟。進(jìn)一步，可以任何所需的順序執(zhí)行所述步驟，并且兩個(gè)或更多步驟可與另一步驟同時(shí)執(zhí)行。在此公開(kāi)的兩個(gè)或更多的步驟可合并為單一步驟，在某些實(shí)施例中，可將一個(gè)或多個(gè)步驟執(zhí)行為兩個(gè)或多個(gè)子步驟。進(jìn)一步，除了本文所公開(kāi)的一個(gè)或多個(gè)步驟以外或代替該步驟，其他步驟或子步驟可以被執(zhí)行。

從上面的說(shuō)明，應(yīng)清楚的是，本文公開(kāi)的發(fā)明性概念很好地適于實(shí)行對(duì)象并獲得本文所提到的以及本文所公開(kāi)的發(fā)明性概念所固有的優(yōu)點(diǎn)。雖然本文公開(kāi)的發(fā)明性概念的目前最優(yōu)選的實(shí)施例已經(jīng)為了本公開(kāi)的目的進(jìn)行了描述，但應(yīng)理解的是，可以進(jìn)行多種變化，所述變化對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)自己是容易想到的，并且其在本文所公開(kāi)的和要求保護(hù)的發(fā)明性概念的廣泛范圍和覆蓋內(nèi)實(shí)現(xiàn)。