本發(fā)明涉及頭戴式顯示器領(lǐng)域，尤其涉及一種通過fpga實現(xiàn)hmd低延時視頻透視的方法及頭戴式顯示器。

背景技術(shù)：

目前，大多數(shù)的hmd(headmountdisplay，頭戴式顯示器)仍需要借助pc機的gpu+cpu進行圖像處理。因此對于基于視頻透視的hmd來說，就需要先將hmd攝像頭采集的圖像數(shù)據(jù)傳送至pc，在pc端完成圖像畸變矯正、識別、融合等處理，然后再通過hdmi將處理后的圖像數(shù)據(jù)回傳至hmd進行顯示(如圖1所示)。這樣就不可避免地會帶入圖像的數(shù)據(jù)傳輸延時，無論是我們看到的現(xiàn)實場景還是經(jīng)過pc渲染的虛擬景象，而圖像的數(shù)據(jù)傳輸延時又會加深人體對ar、mr體驗的眩暈感，影響佩戴者的體驗性。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供了一種通過fpga實現(xiàn)hmd低延時視頻透視的方法及頭戴式顯示器，解決了現(xiàn)有技術(shù)中的hmd通過將攝像頭采集到的圖像傳輸至pc進行處理后，再由pc將處理后的圖像數(shù)據(jù)回傳至hmd進行顯示而導(dǎo)致的圖像數(shù)據(jù)的傳輸延時從而加深人體對ar、mr體驗的眩暈感，影響佩戴者的體驗性的技術(shù)問題。

本發(fā)明實施例提供的一種通過fpga實現(xiàn)hmd低延時視頻透視的方法，包括：

hmd、圖像處理終端，hmd包括圖像采集設(shè)備、fpga、顯示屏，圖像采集設(shè)備與fpga連接，fpga還與圖像處理終端及顯示屏連接；

方法步驟包括：fpga獲取到由圖像采集設(shè)備采集的原始圖像，將原始圖像復(fù)制為兩路相同的第一圖像和第二圖像，并將第二圖像傳輸至圖像處理終端進行圖像處理；

fpga接收到圖像處理終端對第二圖像進行圖像處理后的虛擬圖像，將虛擬圖像與第一圖像進行同步融合后輸出至顯示屏進行顯示。

可選地，fpga獲取到由圖像采集設(shè)備采集的原始圖像，將原始圖像復(fù)制為兩路相同的第一圖像和第二圖像，并將第二圖像傳輸至圖像處理終端進行圖像處理包括：

圖像采集設(shè)備包括第一圖像采集設(shè)備和第二圖像采集設(shè)備，fpga獲取到由第一圖像采集設(shè)備采集的原始圖像a和第二圖像采集設(shè)備采集的原始圖像b；

將原始圖像a復(fù)制為兩路相同的第一圖像a和第二圖像a及將原始圖像b復(fù)制為兩路相同的第一圖像b和第二圖像b，并將第二圖像a和第二圖像b傳輸至圖像處理終端進行圖像處理。

可選地，將原始圖像a復(fù)制為兩路相同的第一圖像a和第二圖像a及將原始圖像b復(fù)制為兩路相同的第一圖像b和第二圖像b，并將第二圖像a和第二圖像b傳輸至圖像處理終端進行圖像處理具體包括：

將原始圖像a復(fù)制為兩路相同的第一圖像a和第二圖像a及將原始圖像b復(fù)制為兩路相同的第一圖像b和第二圖像b，并將第二圖像a和第二圖像b按預(yù)設(shè)比例縮小后傳輸至圖像處理終端進行圖像處理。

可選地，將第二圖像a和第二圖像b按預(yù)設(shè)比例縮小后傳輸至圖像處理終端進行圖像處理還包括：

根據(jù)第二圖像a和第二圖像b計算獲得深度圖像e，將第二圖像a、第二圖像b和深度圖像e按預(yù)設(shè)比例縮小后與misc數(shù)據(jù)圖像拼接為一體并傳輸至圖像處理終端進行圖像處理。

可選地，fpga接收到圖像處理終端對第二圖像進行圖像處理后的虛擬圖像，將虛擬圖像與第一圖像進行同步融合后輸出至顯示屏進行顯示包括：

若hmd為單屏顯示時，fpga接收到圖像處理終端對拼接后的第二圖像a、第二圖像b和深度圖像e進行圖像處理后獲得的虛擬圖像，將虛擬圖像放大后與第一圖像a和第一圖像b進行融合的第一融合圖像進行同步融合后輸出至顯示屏進行顯示。

可選地，fpga接收到圖像處理終端對第二圖像進行圖像處理后的虛擬圖像，將虛擬圖像與第一圖像進行同步融合后輸出至顯示屏進行顯示包括：

若hmd為雙屏顯示且顯示屏包括第一顯示屏和第二顯示屏?xí)r，fpga接收到圖像處理終端對拼接后的第二圖像a、第二圖像b和深度圖像e進行圖像處理后獲得的虛擬圖像，將虛擬圖像分離為對應(yīng)的第三圖像c和第三圖像d，并將第三圖像c和第三圖像d分別放大為第三圖像c’和第三圖像d’；

將第三圖像c’與第一圖像a進行同步融合后在第一顯示屏進行顯示，將第三圖像d’與第一圖像b進行同步融合后在第二顯示屏進行顯示。

可選地，若圖像采集設(shè)備與顯示屏的分辨率及幀率不匹配時，在將虛擬圖像與第一圖像進行同步融合之前，分別對虛擬圖像和第一圖像進行填充和插幀處理。

可選地，將第二圖像a、第二圖像b和深度圖像e按預(yù)設(shè)比例縮小具體為：

將第二圖像a、第二圖像b和深度圖像e通過雙線性插值算法按預(yù)設(shè)比例縮小。

可選地，將第二圖像a、第二圖像b和深度圖像e按預(yù)設(shè)比例縮小后與misc數(shù)據(jù)圖像拼接為一體為通過采用隔行掃描的模式進行圖像存取。

可選地，fpga接收到圖像處理終端對第二圖像進行圖像處理后的虛擬圖像，將虛擬圖像與第一圖像進行同步融合后輸出至顯示屏進行顯示還包括：

fpga接收到圖像處理終端對第二圖像進行圖像處理后的以一區(qū)別于動圖部分的特征色作為背景色的虛擬圖像，并在將虛擬圖像與第一圖像進行同步融合時判斷虛擬圖像的像素值是否為特征色，若是，則選取第一圖像的像素值作為融合后的圖像的像素值，否則選取虛擬圖像的像素值作為融合后的圖像的像素值，并輸出融合后的圖像至顯示屏進行顯示。

本發(fā)明實施例提供的一種頭戴式顯示器，包括：

圖像采集設(shè)備、fpga、顯示屏，圖像采集設(shè)備與fpga連接，fpga還與圖像處理終端及顯示屏連接；

fpga包括：獲取模塊，用于獲取到由圖像采集設(shè)備采集的原始圖像，將原始圖像復(fù)制為兩路相同的第一圖像和第二圖像，并將第二圖像傳輸至圖像處理終端進行圖像處理；

接收處理模塊，用于接收到圖像處理終端對第二圖像進行圖像處理后的虛擬圖像，將虛擬圖像與第一圖像進行同步融合后輸出至顯示屏進行顯示。

從以上技術(shù)方案可以看出，本發(fā)明實施例具有以下優(yōu)點：

本發(fā)明實施例提供了一種通過fpga實現(xiàn)hmd低延時視頻透視的方法及頭戴式顯示器，包括：fpga獲取到由圖像采集設(shè)備采集的原始圖像，將原始圖像復(fù)制為兩路相同的第一圖像和第二圖像，并將第二圖像傳輸至圖像處理終端進行圖像處理；fpga接收到圖像處理終端對第二圖像進行圖像處理后的虛擬圖像，將虛擬圖像與第一圖像進行同步融合后輸出至顯示屏進行顯示，本發(fā)明實施例中通過分離現(xiàn)實場景和虛擬場景，并將兩者的融合向前平移至hmd的fpga中進行處理，從而使現(xiàn)實場景能近乎實時在hmd中顯示，同時在圖像處理終端回傳圖像數(shù)據(jù)至hmd時只回傳經(jīng)過處理后的虛擬場景圖像而并非融合后的現(xiàn)實場景和虛擬場景，使得hmd與圖像處理終端間交互的延時大大降低，解決了現(xiàn)有技術(shù)中的hmd通過將攝像頭采集到的圖像傳輸至pc進行處理后，再由pc將處理后的圖像數(shù)據(jù)回傳至hmd進行顯示而導(dǎo)致的圖像數(shù)據(jù)的傳輸延時從而加深人體對ar、mr體驗的眩暈感，影響佩戴者的體驗性的技術(shù)問題。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其它的附圖。

圖1為本發(fā)明實施例提供的hmd與pc的圖像交互常規(guī)方式；

圖2為本發(fā)明實施例提供的一種通過fpga實現(xiàn)hmd低延時視頻透視的方法的流程示意圖；

圖3為本發(fā)明實施例提供的一種單屏顯示時通過fpga實現(xiàn)hmd低延時視頻透視的方法的流程示意圖；

圖4為本發(fā)明實施例提供的單屏顯示時fpga融合處理流程示意圖；

圖5為本發(fā)明實施例提供的一種雙屏顯示時通過fpga實現(xiàn)hmd低延時視頻透視的方法的流程示意圖；

圖6為本發(fā)明實施例提供的fpga處理的視頻流直觀示意圖；

圖7為本發(fā)明實施例提供的本發(fā)明實施例提供的雙屏顯示時fpga融合處理流程示意圖；

圖8為本發(fā)明實施例提供的虛擬場景和現(xiàn)實場景融合示意圖。

具體實施方式

本發(fā)明實施例提供了一種通過fpga實現(xiàn)hmd低延時視頻透視的方法及頭戴式顯示器，用于解決現(xiàn)有技術(shù)中的hmd通過將攝像頭采集到的圖像傳輸至pc進行處理后，再由pc將處理后的圖像數(shù)據(jù)回傳至hmd進行顯示而導(dǎo)致的圖像數(shù)據(jù)的傳輸延時從而加深人體對ar、mr體驗的眩暈感，影響佩戴者的體驗性的技術(shù)問題。

為使得本發(fā)明的發(fā)明目的、特征、優(yōu)點能夠更加的明顯和易懂，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，下面所描述的實施例僅僅是本發(fā)明一部分實施例，而非全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明保護的范圍。

請參閱圖2，本發(fā)明實施例提供的一種通過fpga實現(xiàn)hmd低延時視頻透視的方法，包括：

hmd、圖像處理終端，hmd包括圖像采集設(shè)備、fpga、顯示屏，圖像采集設(shè)備與fpga連接，fpga還與圖像處理終端及顯示屏連接；其中，圖像處理終端可以為pc機、智能平板電腦、筆記本電腦等可對圖像進行渲染處理的智能終端，圖像采集設(shè)備可以為攝像頭、圖像采集儀等可以實時采集圖像的儀器設(shè)備。

方法步驟包括：101、fpga獲取到由圖像采集設(shè)備采集的原始圖像，將原始圖像復(fù)制為兩路相同的第一圖像和第二圖像，并將第二圖像傳輸至圖像處理終端進行圖像處理；

首先，由hmd上的圖像采集設(shè)備(如攝像頭)采集到原始圖像后，在fpga中將所獲取到的每個攝像頭采集的標(biāo)準(zhǔn)分辨率的原始圖像復(fù)制為兩路相同的圖像數(shù)據(jù)，即第一圖像和第二圖像，其中一路圖像(第一圖像)保持分辨率保持不變，用于實時顯示；另外一路圖像(第二圖像)傳輸至圖像處理終端中進行圖像的渲染處理。

102、fpga接收到圖像處理終端對第二圖像進行圖像處理后的虛擬圖像，將虛擬圖像與第一圖像進行同步融合后輸出至顯示屏進行顯示。

在圖像處理終端完成了對于第二圖像的渲染處理后，圖像處理終端將處理完畢后的第二圖像回傳至fpga，fpga即可接收到圖像處理終端對第二圖像進行圖像處理后的虛擬圖像，并將虛擬圖像與第一圖像進行同步融合后輸出至顯示屏進行顯示，可完成實時采集的現(xiàn)實場景圖像與經(jīng)過圖像處理終端渲染處理的虛擬場景圖像的融合顯示。

需要說明的是，fpga為通過一根usb3.0數(shù)據(jù)線將第二圖像傳輸至圖像處理終端進行處理，然后，圖像處理終端通過hdmi(高清晰度多媒體接口)將對第二圖像進行處理后得到的虛擬圖像回傳至hmd的fpga中進行融合處理。

此外，當(dāng)hmd中的圖像采集設(shè)備包括有第一圖像采集設(shè)備和第二圖像采集設(shè)備的時候，如同時包括有左眼攝像頭和右眼攝像頭，此時fpga獲取到由第一圖像采集設(shè)備(左眼攝像頭)采集的原始圖像a和第二圖像采集設(shè)備(右眼攝像頭)采集的原始圖像b；

將原始圖像a復(fù)制為兩路相同的第一圖像a和第二圖像a及將原始圖像b復(fù)制為兩路相同的第一圖像b和第二圖像b，并將第二圖像a和第二圖像b傳輸至圖像處理終端進行圖像處理。

本發(fā)明實施例提供了一種通過fpga實現(xiàn)hmd低延時視頻透視的方法，包括：fpga獲取到由圖像采集設(shè)備采集的原始圖像，將原始圖像復(fù)制為兩路相同的第一圖像和第二圖像，并將第二圖像傳輸至圖像處理終端進行圖像處理；fpga接收到圖像處理終端對第二圖像進行圖像處理后的虛擬圖像，將虛擬圖像與第一圖像進行同步融合后輸出至顯示屏進行顯示，本發(fā)明實施例中通過分離現(xiàn)實場景和虛擬場景，并將兩者的融合向前平移至hmd的fpga中進行處理，從而使現(xiàn)實場景能近乎實時在hmd中顯示，同時在圖像處理終端回傳圖像數(shù)據(jù)至hmd時只回傳經(jīng)過處理后的虛擬場景圖像而并非融合后的現(xiàn)實場景和虛擬場景，使得hmd與圖像處理終端間交互的延時大大降低，解決了現(xiàn)有技術(shù)中的hmd通過將攝像頭采集到的圖像傳輸至pc進行處理后，再由pc將處理后的圖像數(shù)據(jù)回傳至hmd進行顯示而導(dǎo)致的圖像數(shù)據(jù)的傳輸延時從而加深人體對ar、mr體驗的眩暈感，影響佩戴者的體驗性的技術(shù)問題。

以上為對本發(fā)明實施例提供的一種通過fpga實現(xiàn)hmd低延時視頻透視的方法的一個實施例的詳細描述，以下將對本發(fā)明實施例提供的一種單屏顯示時通過fpga實現(xiàn)hmd低延時視頻透視的方法的一個實施例進行詳細的描述。

請參閱圖3，本發(fā)明實施例提供的一種單屏顯示時通過fpga實現(xiàn)hmd低延時視頻透視的方法的一個實施例包括：

201、fpga獲取到由第一圖像采集設(shè)備采集的原始圖像a和第二圖像采集設(shè)備采集的原始圖像b，將原始圖像a復(fù)制為兩路相同的第一圖像a和第二圖像a及將原始圖像b復(fù)制為兩路相同的第一圖像b和第二圖像b，并將第二圖像a和第二圖像b按預(yù)設(shè)比例縮小后傳輸至圖像處理終端進行圖像處理；

首先，fpga獲取到由第一圖像采集設(shè)備(如左眼攝像頭)采集的原始圖像a和第二圖像采集設(shè)備(如右眼攝像頭)采集的原始圖像b，fpga將原始圖像a復(fù)制為兩路相同的第一圖像a和第二圖像a及將原始圖像b復(fù)制為兩路相同的第一圖像b和第二圖像b，根據(jù)第二圖像a和第二圖像b計算獲得深度圖像e，其中，深度圖像e具有和第二圖像a和第二圖像b同樣的分辨率，將第二圖像a、第二圖像b和深度圖像e按預(yù)設(shè)比例(如1/2比例或1/3比例等，根據(jù)實際需要進行選擇)縮小后與如imu、按鍵等的misc數(shù)據(jù)圖像拼接為一體并傳輸至圖像處理終端進行圖像處理。

202、若hmd為單屏顯示時，fpga接收到圖像處理終端對拼接后的第二圖像a、第二圖像b和深度圖像e進行圖像處理后獲得的虛擬圖像，將虛擬圖像放大后與第一圖像a和第一圖像b進行融合的第一融合圖像進行同步融合后輸出至顯示屏進行顯示。

如果hmd為單屏顯示時(即采用單塊顯示屏)，fpga接收到圖像處理終端對拼接后的第二圖像a、第二圖像b和深度圖像e進行圖像處理后獲得的虛擬圖像，將虛擬圖像放大后與第一圖像a和第一圖像b進行融合的第一融合圖像進行同步融合后輸出至顯示屏進行顯示。

需要說明的是，若圖像采集設(shè)備與顯示屏的分辨率及幀率不匹配時，在將虛擬圖像與第一圖像進行同步融合之前，分別對虛擬圖像和第一圖像進行填充和插幀處理。通常，攝像頭和顯示屏的分辨率及幀率會存在不匹配的情況，以當(dāng)前的實際應(yīng)用為例，攝像頭的分辨率最大支持1920*1080@60hz，而顯示屏單屏分辨率為1080*1200@90hz。因此只有讓攝像頭輸出1080*1080@60hz，然后再對圖像進行列填充和插幀處理，使其達到1080*1200@90hz才能在屏上進行最大化的圖像輸出顯示。當(dāng)然，如果顯示屏的分辨率和幀率完全匹配攝像頭，放大/填充和插幀步驟完全可省去。如圖4所示，即為本發(fā)明實施例提供的單屏顯示時fpga融合處理流程示意圖。

此外，本發(fā)明實施例中采用雙線性插值算法將圖像按一定的比例縮小，并利用ddr緩存功能實現(xiàn)左右眼圖像的同步。數(shù)據(jù)同步之后，合并左右眼圖像并利用一根usb3.0將圖像傳送至pc。pc根據(jù)該縮小版的現(xiàn)實圖像處理產(chǎn)生同樣大小的虛擬圖像回傳至hmd。即將第二圖像a、第二圖像b和深度圖像e通過雙線性插值算法按預(yù)設(shè)比例縮小，并利用ddr緩存功能實現(xiàn)左右眼圖像的同步。且在將第二圖像a、第二圖像b和深度圖像e按預(yù)設(shè)比例縮小后與misc數(shù)據(jù)圖像拼接為一體時，可以通過采用隔行掃描的模式進行圖像存取，目的是為了降低ddr的使用帶寬。此外，以常規(guī)的處理方式，將縮小的3路圖像在ddr緩存同步亦可實現(xiàn)。

為使虛擬圖像和現(xiàn)實圖像能順利融合，本發(fā)明實施例對圖像處理終端產(chǎn)生虛擬圖像具有一定的約束，fpga接收到圖像處理終端對第二圖像進行圖像處理后的以一區(qū)別于動圖部分的特征色作為背景色的虛擬圖像，并在將虛擬圖像與第一圖像進行同步融合時判斷虛擬圖像的像素值是否為特征色，若是，則選取第一圖像的像素值作為融合后的圖像的像素值，否則選取虛擬圖像的像素值作為融合后的圖像的像素值，并輸出融合后的圖像至顯示屏進行顯示。即要求圖像處理終端輸出虛擬圖像時，選擇一個特征色作為虛擬圖像的背景色(如rgb＝(0,0,0))，且其動圖部分必須有別于該特征色。融合時，只需判斷虛擬圖像像素值是否為該特征色。若是，則選取現(xiàn)實場景圖像的像素值作為融合后的圖像的像素值，反之則選取虛擬圖像的像素值即可。

本發(fā)明實施例提供了一種單屏顯示時通過fpga實現(xiàn)hmd低延時視頻透視的方法，包括：fpga獲取到由第一圖像采集設(shè)備采集的原始圖像a和第二圖像采集設(shè)備采集的原始圖像b，將原始圖像a復(fù)制為兩路相同的第一圖像a和第二圖像a及將原始圖像b復(fù)制為兩路相同的第一圖像b和第二圖像b，并將第二圖像a和第二圖像b按預(yù)設(shè)比例縮小后傳輸至圖像處理終端進行圖像處理；fpga接收到圖像處理終端對拼接后的第二圖像a、第二圖像b和深度圖像e進行圖像處理后獲得的虛擬圖像，將虛擬圖像放大后與第一圖像a和第一圖像b進行融合的第一融合圖像進行同步融合后輸出至顯示屏進行顯示，通過分離現(xiàn)實場景和虛擬場景，并將兩者的融合向前平移至hmd的fpga中進行處理，從而使現(xiàn)實場景能近乎實時在hmd中顯示，同時通過縮放傳輸?shù)姆绞浇档土伺c圖像處理終端交互的虛擬場景的延時，實現(xiàn)了hmd低延時視頻透視，解決了現(xiàn)有技術(shù)中的hmd通過將攝像頭采集到的圖像傳輸至pc進行處理后，再由pc將處理后的圖像數(shù)據(jù)回傳至hmd進行顯示而導(dǎo)致的圖像數(shù)據(jù)的傳輸延時從而加深人體對ar、mr體驗的眩暈感，影響佩戴者的體驗性的技術(shù)問題。

以上為對本發(fā)明實施例提供的一種單屏顯示時通過fpga實現(xiàn)hmd低延時視頻透視的方法的一個實施例的詳細描述，以下將對本發(fā)明實施例提供的一種雙屏顯示時通過fpga實現(xiàn)hmd低延時視頻透視的方法的一個實施例進行詳細的描述。

請參閱圖5，本發(fā)明實施例提供的一種雙屏顯示時通過fpga實現(xiàn)hmd低延時視頻透視的方法的一個實施例包括：

301、fpga獲取到由第一圖像采集設(shè)備采集的原始圖像a和第二圖像采集設(shè)備采集的原始圖像b，將原始圖像a復(fù)制為兩路相同的第一圖像a和第二圖像a及將原始圖像b復(fù)制為兩路相同的第一圖像b和第二圖像b，并將第二圖像a和第二圖像b按預(yù)設(shè)比例縮小后傳輸至圖像處理終端進行圖像處理；

首先，fpga獲取到由第一圖像采集設(shè)備(如左眼攝像頭)采集的原始圖像a和第二圖像采集設(shè)備(如右眼攝像頭)采集的原始圖像b，fpga將原始圖像a復(fù)制為兩路相同的第一圖像a和第二圖像a及將原始圖像b復(fù)制為兩路相同的第一圖像b和第二圖像b，根據(jù)第二圖像a和第二圖像b計算獲得深度圖像e，其中，深度圖像e具有和第二圖像a和第二圖像b同樣的分辨率，將第二圖像a、第二圖像b和深度圖像e按預(yù)設(shè)比例(如1/2比例或1/3比例等，根據(jù)實際需要進行選擇)縮小后與如imu、按鍵等的misc數(shù)據(jù)圖像拼接為一體(如拼接為一個四方格的圖像數(shù)據(jù))并傳輸至圖像處理終端進行圖像處理。如圖6所示，為fpga處理的視頻流直觀示意圖。

302、若hmd為雙屏顯示且顯示屏包括第一顯示屏和第二顯示屏?xí)r，fpga接收到圖像處理終端對拼接后的第二圖像a、第二圖像b和深度圖像e進行圖像處理后獲得的虛擬圖像，將虛擬圖像分離為對應(yīng)的第三圖像c和第三圖像d，并將第三圖像c和第三圖像d分別放大為第三圖像c’和第三圖像d’；將第三圖像c’與第一圖像a進行同步融合后在第一顯示屏進行顯示，將第三圖像d’與第一圖像b進行同步融合后在第二顯示屏進行顯示。

如果hmd為雙屏顯示且顯示屏包括第一顯示屏和第二顯示屏?xí)r(即顯示屏包括有左眼顯示屏和右眼顯示屏)，fpga接收到圖像處理終端對拼接后的第二圖像a、第二圖像b和深度圖像e進行圖像處理后獲得的虛擬圖像，將虛擬圖像分離為對應(yīng)的第三圖像c和第三圖像d，并將第三圖像c和第三圖像d分別放大為第三圖像c’和第三圖像d’；將第三圖像c’與第一圖像a進行同步融合后在第一顯示屏進行顯示，將第三圖像d’與第一圖像b進行同步融合后在第二顯示屏進行顯示。為盡量降低圖像處理終端對圖像的處理的負載以爭取更低的延遲，本發(fā)明實施例中還需要對hmd屏幕的驅(qū)動進行修改，使其在圖像處理終端側(cè)顯示為真實屏幕1/2的尺寸，亦即第三圖像c、第三圖像d的分辨率為第二圖像a、第二圖像b的一半。fpga接收到圖像處理終端的虛擬場景圖像后，先對齊放大成第三圖像c’和第三圖像d’，最后再與現(xiàn)實圖像融合成左眼融合圖像f和右眼融合圖像g，最終輸出到屏幕進行mr顯示。

需要說明的是，若圖像采集設(shè)備與顯示屏的分辨率及幀率不匹配時，在將虛擬圖像與第一圖像進行同步融合之前，分別對虛擬圖像和第一圖像進行填充和插幀處理。通常，攝像頭和顯示屏的分辨率及幀率會存在不匹配的情況，以當(dāng)前的實際應(yīng)用為例，攝像頭的分辨率最大支持1920*1080@60hz，而顯示屏單屏分辨率為1080*1200@90hz。因此只有讓攝像頭輸出1080*1080@60hz，然后再對圖像進行列填充和插幀處理，使其達到1080*1200@90hz才能在屏上進行最大化的圖像輸出顯示。當(dāng)然，如果顯示屏的分辨率和幀率完全匹配攝像頭，放大/填充和插幀步驟完全可省去。如圖7所示，即為本發(fā)明實施例提供的雙屏顯示時fpga融合處理流程示意圖?？傮w而言，本發(fā)明實施例中可實現(xiàn)將現(xiàn)實場景的延遲降到1/90s＝11.1ms，虛擬場景的延遲降到(1/90+2/60)s＝44.4ms的超低圖像處理延時的解決方案。相比而言，對于不帶放大/填充和插幀的攝像頭和屏幕完全匹配的應(yīng)用，本方案可實現(xiàn)近乎實時現(xiàn)實場景的“零”延遲顯示。

此外，本發(fā)明實施例中采用雙線性插值算法將圖像按一定的比例縮小，并利用ddr緩存功能實現(xiàn)左右眼圖像的同步。數(shù)據(jù)同步之后，合并左右眼圖像并利用一根usb3.0將圖像傳送至pc。pc根據(jù)該縮小版的現(xiàn)實圖像處理產(chǎn)生同樣大小的虛擬圖像回傳至hmd。即將第二圖像a、第二圖像b和深度圖像e通過雙線性插值算法按預(yù)設(shè)比例縮小，并利用ddr緩存功能實現(xiàn)左右眼圖像的同步。且在將第二圖像a、第二圖像b和深度圖像e按預(yù)設(shè)比例縮小后與misc數(shù)據(jù)圖像拼接為一體時，可以通過采用隔行掃描的模式進行圖像存取，目的是為了降低ddr的使用帶寬。此外，以常規(guī)的處理方式，將縮小的3路圖像在ddr緩存同步亦可實現(xiàn)。由于本方案將圖像縮小比例設(shè)定為原圖像行列的1/2(實際縮放比例可任意調(diào)整)，壓縮后的圖像數(shù)據(jù)為原圖像的1/4。如此，合并左右眼后的圖像數(shù)據(jù)量僅為標(biāo)準(zhǔn)分辨率的一半，不僅降低了虛擬圖像數(shù)據(jù)回傳至hmd的傳輸延時，同時也將原先hmd與pc之間的圖像數(shù)據(jù)線由原先的兩根降低到一根。

為使虛擬圖像和現(xiàn)實圖像能順利融合，本發(fā)明實施例對圖像處理終端產(chǎn)生虛擬圖像具有一定的約束，fpga接收到圖像處理終端對第二圖像進行圖像處理后的以一區(qū)別于動圖部分的特征色作為背景色的虛擬圖像，并在將虛擬圖像與第一圖像進行同步融合時判斷虛擬圖像的像素值是否為特征色，若是，則選取第一圖像的像素值作為融合后的圖像的像素值，否則選取虛擬圖像的像素值作為融合后的圖像的像素值，并輸出融合后的圖像至顯示屏進行顯示。即要求圖像處理終端輸出虛擬圖像時，選擇一個特征色作為虛擬圖像的背景色(如rgb＝(0,0,0))，且其動圖部分必須有別于該特征色。融合時，只需判斷虛擬圖像像素值是否為該特征色。若是，則選取現(xiàn)實場景圖像的像素值作為融合后的圖像的像素值，反之則選取虛擬圖像的像素值即可。如圖8所示，為本發(fā)明實施例提供的虛擬場景和現(xiàn)實場景融合示意圖。

本發(fā)明實施例中提供了一種雙屏顯示時通過fpga實現(xiàn)hmd低延時視頻透視的方法，包括：fpga獲取到由第一圖像采集設(shè)備采集的原始圖像a和第二圖像采集設(shè)備采集的原始圖像b，將原始圖像a復(fù)制為兩路相同的第一圖像a和第二圖像a及將原始圖像b復(fù)制為兩路相同的第一圖像b和第二圖像b，并將第二圖像a和第二圖像b按預(yù)設(shè)比例縮小后傳輸至圖像處理終端進行圖像處理；若hmd為雙屏顯示且顯示屏包括第一顯示屏和第二顯示屏?xí)r，fpga接收到圖像處理終端對拼接后的第二圖像a、第二圖像b和深度圖像e進行圖像處理后獲得的虛擬圖像，將虛擬圖像分離為對應(yīng)的第三圖像c和第三圖像d，并將第三圖像c和第三圖像d分別放大為第三圖像c’和第三圖像d’；將第三圖像c’與第一圖像a進行同步融合后在第一顯示屏進行顯示，將第三圖像d’與第一圖像b進行同步融合后在第二顯示屏進行顯示，通過在hmd中將雙眼攝像頭捕捉的現(xiàn)實場景與pc處理產(chǎn)生的虛擬場景融合進行回顯，以達到近乎實時顯示現(xiàn)實場景，同時壓縮與pc交互的圖像傳輸，極大地降低了虛擬場景的延遲，解決了現(xiàn)有技術(shù)中的hmd通過將攝像頭采集到的圖像傳輸至pc進行處理后，再由pc將處理后的圖像數(shù)據(jù)回傳至hmd進行顯示而導(dǎo)致的圖像數(shù)據(jù)的傳輸延時從而加深人體對ar、mr體驗的眩暈感，影響佩戴者的體驗性的技術(shù)問題。

以上為對本發(fā)明實施例提供的一種雙屏顯示時通過fpga實現(xiàn)hmd低延時視頻透視的方法進行的詳細描述，以下將對本發(fā)明實施例提供的一種頭戴式顯示器進行詳細的描述。

本發(fā)明實施例提供的一種頭戴式顯示器，包括：

圖像采集設(shè)備、fpga、顯示屏，圖像采集設(shè)備與fpga連接，fpga還與圖像處理終端及顯示屏連接；

fpga包括：獲取模塊，用于獲取到由圖像采集設(shè)備采集的原始圖像，將原始圖像復(fù)制為兩路相同的第一圖像和第二圖像，并將第二圖像傳輸至圖像處理終端進行圖像處理；

接收處理模塊，用于接收到圖像處理終端對第二圖像進行圖像處理后的虛擬圖像，將虛擬圖像與第一圖像進行同步融合后輸出至顯示屏進行顯示。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統(tǒng)，裝置和單元的具體工作過程，可以參考前述方法實施例中的對應(yīng)過程，在此不再贅述。

在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的系統(tǒng)，裝置和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上。可以根據(jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。

所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：u盤、移動硬盤、只讀存儲器(rom，read-onlymemory)、隨機存取存儲器(ram，randomaccessmemory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上所述，以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。