具有視線跟蹤功能的全息顯示裝置制造方法
【專利摘要】本發(fā)明公開一種具有視線跟蹤功能的全息顯示裝置，包括微顯示芯片、攝像芯片、光學(xué)鏡頭和光學(xué)成像系統(tǒng)組成，顯示芯片和攝像芯片共用光學(xué)鏡頭和光學(xué)成像系統(tǒng)，光學(xué)鏡頭和光學(xué)成像系統(tǒng)將人眼眼球的圖像成像在攝像芯片上，微顯示芯片顯示動(dòng)態(tài)全息圖像，提出了一種微顯示系統(tǒng)與人眼視線跟蹤系統(tǒng)共用光路的方案，通過共用光路，提高了系統(tǒng)的集成度和可靠性，縮小了系統(tǒng)的體積，實(shí)現(xiàn)了系統(tǒng)的輕便化。
【專利說明】具有視線跟蹤功能的全息顯示裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種全息顯示裝置，尤其是涉及一種具有視線跟蹤功能的全息顯示裝置。

【背景技術(shù)】
[0002]可穿戴的微顯示系統(tǒng)可用于虛擬現(xiàn)實(shí)顯示和增強(qiáng)現(xiàn)實(shí)顯示等應(yīng)用場景，具有代表性的產(chǎn)品包括索尼公司的頭盔顯示裝置，Oclulus公司的虛擬現(xiàn)實(shí)顯示頭盔，谷歌公司的智能眼鏡等。目前穿戴式的微顯示系統(tǒng)主要采用微顯示芯片來作為圖像顯示源，例如LCoS，OLED on Silicon等,并通過光學(xué)成像系統(tǒng),使人眼看到一副放大的虛像。這種顯示方式，對于單眼的光學(xué)系統(tǒng)而言，始終是將一個(gè)二維的虛擬放大圖像顯示在眼睛前方的固定位置上，因此只能顯示二維平面圖像，顯示的圖像畫面不具有三維空間上的景深感。一種實(shí)現(xiàn)立體顯示的方式是在雙目分別顯示兩個(gè)具有視差信息的二維圖像，利用人眼雙目視差的立體感知特點(diǎn)，實(shí)現(xiàn)立體顯示，但是這種立體顯示方式存在視疲勞問題，即由于單眼的平面位置與雙眼所觀看到的立體圖像的虛擬三維空間位置不一致導(dǎo)致視疲勞。
[0003]一種能夠?qū)崿F(xiàn)單眼三維成像的技術(shù)是全息視網(wǎng)膜顯示技術(shù)(一種相干光成像裝置，CN101359098B)，這種全息視網(wǎng)膜顯示技術(shù)能夠提供單眼的三維全息顯示，因此可以克服上述雙目視差立體顯示技術(shù)存在的視覺疲勞感。全息顯示的另外一個(gè)優(yōu)勢在于，與二維成像需要將圖像聚焦在投影屏幕上不同，全息三維顯示可以適應(yīng)不同焦距的透鏡，例如可以采用分?jǐn)?shù)階的傅立葉變換算法，在焦距給定的條件下實(shí)現(xiàn)任意平面位置的空間成像。
[0004]然而上述微顯示系統(tǒng)都不能在顯示圖像的同時(shí)，實(shí)時(shí)的記錄人眼視線關(guān)注區(qū)域。為了記錄和跟蹤人眼視線關(guān)注點(diǎn)，一種技術(shù)方案是利用紅外光照射人眼，同時(shí)采用紅外攝像機(jī)拍攝紅外光源在人眼中的反射點(diǎn)的位置，通過計(jì)算反射點(diǎn)位置的變化可以計(jì)算出人眼視線的關(guān)注點(diǎn)(“In the Eye of the Beholder: A Survey of Models for Eyes andGaze”，IEEE TRANSACT1NS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.32，N0.3，MARCH 2010)。為了實(shí)現(xiàn)上述功能，需要在微顯示系統(tǒng)中增加紅外光源和紅外攝像機(jī)。增加的紅外光源和紅外攝像機(jī)可以是獨(dú)立的元器件，這種獨(dú)立的元器件將增加整個(gè)系統(tǒng)的復(fù)雜度，例如紅外攝像機(jī)需要一個(gè)光學(xué)鏡頭來完成聚焦，這種聚焦鏡頭將會(huì)增加系統(tǒng)的重量，同時(shí)光學(xué)鏡頭的光路與微顯示系統(tǒng)的光路各自獨(dú)立，且不能互相遮擋，增加了系統(tǒng)的設(shè)計(jì)復(fù)雜度。
[0005]本發(fā)明針對上述問題，利用全息三維顯示可以對任意平面進(jìn)行三維空間成像的特點(diǎn)，將微顯示系統(tǒng)和攝像系統(tǒng)集成在同一個(gè)基板上，共用同一個(gè)光路系統(tǒng)。傳統(tǒng)光路系統(tǒng)不能同時(shí)實(shí)現(xiàn)對微顯示系統(tǒng)和攝像系統(tǒng)的光學(xué)對焦功能，本發(fā)明利用光路系統(tǒng)實(shí)現(xiàn)攝像系統(tǒng)的幾何光學(xué)對焦，在焦距給定的條件下，利用全息顯示系統(tǒng)實(shí)現(xiàn)人眼視網(wǎng)膜上的三維成像，克服傳統(tǒng)光學(xué)顯示成像系統(tǒng)不對焦的問題。


【發(fā)明內(nèi)容】

[0006]本發(fā)明針對上述問題，提出將微顯示系統(tǒng)和紅外攝像系統(tǒng)的光路共用，通過光路可逆的原理實(shí)現(xiàn)系統(tǒng)結(jié)構(gòu)的簡化。
[0007]本發(fā)明的技術(shù)方案如下:
一種具有視線跟蹤功能的全息顯示裝置，包括微顯示芯片、攝像芯片、光學(xué)鏡頭以及光學(xué)成像系統(tǒng)，所述微顯示芯片與攝像芯片位于同一平面上，所述微顯示芯片和攝像芯片位于所述光學(xué)鏡頭前，所述光學(xué)鏡頭位于所述光學(xué)成像系統(tǒng)前，顯示芯片和攝像芯片共用光學(xué)鏡頭和光學(xué)成像系統(tǒng)，微顯示芯片工作在純相位調(diào)制狀態(tài)。
[0008]所述微顯示芯片和所述攝像芯片為兩個(gè)獨(dú)立的芯片位于同一個(gè)基板或者芯片上。
[0009]所述微顯示芯片為LCoS芯片，所述攝像芯片為CMOS感光芯片。
[0010]所述拍攝芯片是單色的紅外CMOS芯片，或者是彩色CMOS芯片。
[0011]所述光學(xué)成像系統(tǒng)是半透半反鏡或者超薄結(jié)構(gòu)的光波導(dǎo)器件。
[0012]所述光波導(dǎo)器件是具有全息耦合條紋的光波導(dǎo)，或是具有多個(gè)半透半反鏡的超薄結(jié)構(gòu)的光波導(dǎo)，或是具有會(huì)聚功能的薄型自由曲面鏡。
[0013]在所述光學(xué)成像系統(tǒng)后設(shè)置有一個(gè)反射鏡。
[0014]所述光學(xué)透鏡為變焦透鏡。
[0015]有益效果
本發(fā)明利用全息顯示技術(shù)將微顯示系統(tǒng)與攝像系統(tǒng)置于同一個(gè)成像平面上，實(shí)現(xiàn)光路系統(tǒng)的共用，結(jié)構(gòu)簡單，克服了傳統(tǒng)微顯示系統(tǒng)與攝像系統(tǒng)光路各自獨(dú)立，系統(tǒng)復(fù)雜的問題。

【專利附圖】

【附圖說明】
[0016]圖1為本發(fā)明的優(yōu)選結(jié)構(gòu)示意圖。
[0017]圖2為本發(fā)明另外一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0018]圖1所示是本發(fā)明的優(yōu)選結(jié)構(gòu)示意圖。圖中微顯示芯片和攝像芯片位于同一個(gè)平面上，本發(fā)明中微顯示芯片優(yōu)選LCoS芯片(硅基液晶微顯示芯片，LCoS為反射式微顯示芯片，需要額外的光源照射顯示屏，并利用反射光進(jìn)行顯示，圖中簡化沒有畫出)，攝像芯片為CMOS感光芯片，微顯示芯片和攝像芯片可以是兩個(gè)獨(dú)立的芯片位于同一個(gè)基板上，也可以是位于同一個(gè)芯片上，例如在同一個(gè)娃片上制備有LCoS芯片區(qū)域和CMOS感光芯片區(qū)域，或是將CMOS感光區(qū)域與LCoS區(qū)域融合在一起，即在LCoS像素單元的間隙制備有CMOS感光像素單元，使同一塊芯片同時(shí)具有拍攝和顯示功能。
[0019]微顯示芯片和攝像芯片共用同一個(gè)光路系統(tǒng)，如圖所示，微顯示芯片的圖像內(nèi)容經(jīng)過光學(xué)透鏡，進(jìn)一步傳播到眼前的光學(xué)成像系統(tǒng)，圖中所示的光學(xué)成像系統(tǒng)為一個(gè)半透半反鏡，該半透半反鏡將微顯示芯片的光學(xué)影像進(jìn)一步傳播到人的眼球中，光學(xué)成像系統(tǒng)還可以是超薄結(jié)構(gòu)的光波導(dǎo)器件，例如具有全息耦合條紋的光波導(dǎo)，或是具有多個(gè)半透半反鏡的超薄結(jié)構(gòu)的光波導(dǎo)，或是具有會(huì)聚功能的薄型自由曲面鏡等。在傳統(tǒng)的微顯示系統(tǒng)中，光學(xué)透鏡和光學(xué)成像系統(tǒng)的主要功能是將微顯示芯片上的圖像投影到一個(gè)虛擬的平面上，即使人眼看到一個(gè)放大的虛像，因此依據(jù)幾何光學(xué)的原理，光學(xué)透鏡和光學(xué)成像系統(tǒng)控制了虛像的成像距離和縮放率。本發(fā)明中，光學(xué)透鏡和光學(xué)成像系統(tǒng)的功能則不同，為了使攝像芯片能夠拍攝清晰的人眼眼球的動(dòng)態(tài)影像，光學(xué)透鏡和光學(xué)成像系統(tǒng)需對人眼眼球進(jìn)行對焦(人眼視線跟蹤拍攝系統(tǒng)中還包括一個(gè)或多個(gè)紅外的點(diǎn)光源，圖中簡化未畫出)。依據(jù)光路可逆的原理，此時(shí)微顯示芯片的圖像也成像在人眼眼球的前方，從而無法實(shí)現(xiàn)虛像顯示。顯示和拍攝所需的透鏡焦距要求不同，不能同時(shí)滿足。本發(fā)明為了克服上述問題，所采用的LCoS微顯示芯片工作在純相位調(diào)制狀態(tài)，能夠?qū)θD進(jìn)行純相位調(diào)制，從而可以實(shí)現(xiàn)純相位全息圖的三維全息顯示。此時(shí)光學(xué)透鏡，光學(xué)成像系統(tǒng)，以及人眼眼球組成的復(fù)雜光學(xué)系統(tǒng)可以用分?jǐn)?shù)階傅里葉光傳播函數(shù)來描述(Scaled diffract1n calculat1nbetween tilted planes using nonuniform fast Fourier transform, Optics Express,22: 17331-17340, 2014)，基于分?jǐn)?shù)階傅里葉光傳播函數(shù)(C.Chang, J Xia, W Lei,Optics Communicat1ns 285, 24-28, 2012),可以對人眼視網(wǎng)膜上的全息影像進(jìn)行動(dòng)態(tài)調(diào)制，從而實(shí)現(xiàn)三維顯示功能。即在本發(fā)明優(yōu)選的實(shí)施例中，光學(xué)透鏡和光學(xué)成像系統(tǒng)首先用于攝像芯片對人眼眼球的動(dòng)態(tài)拍攝，同時(shí)依據(jù)光路可逆的原理，利用相位調(diào)制LCoS實(shí)現(xiàn)人眼視網(wǎng)膜上全息三維影像的動(dòng)態(tài)顯示。
[0020]本發(fā)明優(yōu)選的另外一個(gè)實(shí)施例是，如圖2所示增加一個(gè)反射鏡，增加的反射鏡可以實(shí)現(xiàn)利用攝像芯片對人眼前方的場景進(jìn)行動(dòng)態(tài)拍攝，如圖中所示紅色和綠色光線的傳播路徑，此時(shí)光學(xué)透鏡和光學(xué)成像系統(tǒng)組成的光學(xué)系統(tǒng)聚焦在人眼前方，光學(xué)透鏡可以是變焦透鏡，從而可以實(shí)現(xiàn)對不同景深物體的清晰拍攝，還可以通過高速時(shí)分的方式快速變化光學(xué)透鏡的焦距，從而以時(shí)分方式的實(shí)現(xiàn)人眼眼球的拍攝和人眼前面場景的同步拍攝。
[0021]本發(fā)明優(yōu)選的圖1實(shí)施例中的拍攝芯片通常是單色的紅外CMOS芯片，也可以是彩色CMOS芯片，此時(shí)如圖2中所示，彩色CMOS芯片可以對人眼前方的場景進(jìn)行動(dòng)態(tài)的彩色拍攝。
[0022]本發(fā)明優(yōu)選的實(shí)施例中的光學(xué)成像系統(tǒng)是半透半反鏡，但是本領(lǐng)域的研究人員也可以根據(jù)本發(fā)明專利的工作原理，改用其他光學(xué)結(jié)構(gòu)，例如全息波導(dǎo)成像結(jié)構(gòu)，半透半反膜陣列結(jié)構(gòu)，自由曲面半透半反膜結(jié)構(gòu)等。
[0023]在以上的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明。但是以上描述僅是本發(fā)明的較佳實(shí)施例而已，本發(fā)明能夠以很多不同于在此描述的其它方式來實(shí)施，因此本發(fā)明不受上面公開的具體實(shí)施的限制。凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對以上實(shí)施例所做的任何簡單修改、等同變化及修飾，均仍屬于本發(fā)明技術(shù)方案保護(hù)的范圍內(nèi)。
【權(quán)利要求】
1.一種具有視線跟蹤功能的全息顯示裝置，包括微顯示芯片、攝像芯片、光學(xué)鏡頭以及光學(xué)成像系統(tǒng)，所述微顯示芯片與攝像芯片位于同一平面上，所述微顯示芯片和攝像芯片位于所述光學(xué)鏡頭前，所述光學(xué)鏡頭位于所述光學(xué)成像系統(tǒng)前，其特征在于，顯示芯片和攝像芯片共用光學(xué)鏡頭和光學(xué)成像系統(tǒng)，所述微顯示芯片對全息圖進(jìn)行純相位調(diào)制。
2.根據(jù)權(quán)利要求1所述的具有視線跟蹤功能的全息顯示裝置，其特征在于，所述微顯示芯片和所述攝像芯片為兩個(gè)獨(dú)立的芯片位于同一個(gè)基板或者芯片上。
3.根據(jù)權(quán)利要求1所述的具有視線跟蹤功能的全息顯示裝置，其特征在于，所述微顯示芯片為LCoS芯片，所述攝像芯片為CMOS感光芯片。
4.根據(jù)權(quán)利要求3所述的具有視線跟蹤功能的全息顯示裝置，其特征在于，所述拍攝芯片是單色的紅外CMOS芯片，或者是彩色CMOS芯片。
5.根據(jù)權(quán)利要求1所述的具有視線跟蹤功能的全息顯示裝置，其特征在于，所述光學(xué)成像系統(tǒng)是半透半反鏡或者超薄結(jié)構(gòu)的光波導(dǎo)器件。
6.根據(jù)權(quán)利要求4所述的具有視線跟蹤功能的全息顯示裝置，其特征在于，所述光波導(dǎo)器件是具有全息耦合條紋的光波導(dǎo)，或是具有多個(gè)半透半反鏡的超薄結(jié)構(gòu)的光波導(dǎo)，或是具有會(huì)聚功能的薄型自由曲面鏡。
7.根據(jù)權(quán)利要求1所述的具有視線跟蹤功能的全息顯示裝置，其特征在于，在所述光學(xué)成像系統(tǒng)后設(shè)置有一個(gè)反射鏡。
8.根據(jù)權(quán)利要求6所述的具有視線跟蹤功能的全息顯示裝置，其特征在于，所述光學(xué)透鏡為變焦透鏡。
【文檔編號(hào)】H04N5/225GK104407440SQ201410660670
【公開日】2015年3月11日 申請日期:2014年11月19日 優(yōu)先權(quán)日:2014年11月19日
【發(fā)明者】夏軍 申請人:東南大學(xué)