基于眼球追蹤的個(gè)人全息三維顯示方法及設(shè)備的制作方法
【專利摘要】本發(fā)明公開了一種基于眼球追蹤的個(gè)人全息三維顯示方法及設(shè)備，所述方法包括：對(duì)用戶進(jìn)行人臉檢測(cè)，獲得人雙眼位置，包括雙眼相對(duì)于顯示屏的夾角、雙眼與顯示屏之間的距離；根據(jù)夾角得到相應(yīng)夾角的全息三維顯示的視點(diǎn)，根據(jù)距離調(diào)整全息三維顯示中物體在全息場(chǎng)景的z軸方向上的大小，并在顯示屏中顯示；將所述顯示屏光線出射方向調(diào)整至朝向所述雙眼中左眼、右眼方向，以使得所述左眼、右眼的不同個(gè)人全息三維圖像分別成像到所述左眼、右眼；跟蹤所述雙眼位置的變化，重復(fù)上述各個(gè)步驟動(dòng)態(tài)調(diào)整視點(diǎn)、物體在全息場(chǎng)景的z軸方向上的大小的個(gè)人全息三維圖像。本發(fā)明能夠適應(yīng)不同人群的距離自適應(yīng)觀看，符合人類視覺(jué)觀看原理，提高了用戶體驗(yàn)。
【專利說(shuō)明】基于眼球追蹤的個(gè)人全息三維顯示方法及設(shè)備

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及個(gè)人全息顯示【技術(shù)領(lǐng)域】，特別是涉及一種基于眼球追蹤的個(gè)人全息三 維顯示方法及設(shè)備。

【背景技術(shù)】
[0002] 隨著電子技術(shù)的發(fā)展和進(jìn)步和用戶要求的提高，目前判斷電子產(chǎn)品優(yōu)劣的條件已 經(jīng)遠(yuǎn)遠(yuǎn)不是停留在硬件指標(biāo)和技術(shù)指標(biāo)上，注重用戶體驗(yàn)和感受才是廠商贏得市場(chǎng)的關(guān) 鍵。
[0003] 現(xiàn)在的很多電子產(chǎn)品比如手機(jī)、平板電腦、游戲機(jī)等都能根據(jù)用戶的相應(yīng)動(dòng)作做 出相應(yīng)的操作，如當(dāng)用戶移動(dòng)時(shí)自動(dòng)改變顯示屏的顯示角度，甩動(dòng)機(jī)身時(shí)切換界面、歌曲、 視頻，傾斜機(jī)身顯示屏中圖像隨之移動(dòng)，賽車游戲中根據(jù)用戶對(duì)機(jī)身左右搖擺控制顯示屏 中賽車方向等。
[0004] 現(xiàn)有技術(shù)實(shí)現(xiàn)上述功能的方法多事基于重力感應(yīng)原理，即通過(guò)內(nèi)部重力感應(yīng)芯片 判斷用戶的動(dòng)作。重力感應(yīng)的缺陷在于產(chǎn)品在重力范圍內(nèi)使用，脫離重力方位則會(huì)喪失這 些功能。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明主要解決的技術(shù)問(wèn)題是提供一種基于眼球追蹤的個(gè)人全息三維顯示方法 及設(shè)備，能夠?qū)崿F(xiàn)多方位、遠(yuǎn)近自適應(yīng)的用戶觀看全息效果。
[0006] 為解決上述技術(shù)問(wèn)題，本發(fā)明采用的一個(gè)技術(shù)方案是，提供一種基于眼球追蹤的 個(gè)人全息三維顯示方法，該方法包括：
[0007] 對(duì)用戶進(jìn)行人臉檢測(cè)，獲得人雙眼位置，雙眼位置包括雙眼相對(duì)于顯示屏的夾角、 雙眼與顯示屏之間的距離；
[0008] 根據(jù)夾角得到相應(yīng)夾角的全息三維顯示的視點(diǎn)，根據(jù)距離調(diào)整全息三維顯示中物 體在全息場(chǎng)景的z軸方向上的大小，根據(jù)全息三維顯示的視點(diǎn)和物體在全息場(chǎng)景的z軸方 向上的大小調(diào)整需投射到雙眼中左眼、右眼的不同個(gè)人全息三維圖像的第一內(nèi)容，并在顯 示屏中顯示；
[0009] 將顯示屏光線出射方向調(diào)整至朝向雙眼中左眼、右眼方向，以使得左眼、右眼的不 同個(gè)人全息三維圖像分別成像到左眼、右眼；
[0010] 跟蹤雙眼位置的變化，重復(fù)上述各個(gè)步驟以動(dòng)態(tài)獲得相應(yīng)的左眼、右眼的不同個(gè) 人全息三維圖像，以使得雙眼移動(dòng)時(shí)左眼、右眼始終能獲得正確的全息三維顯示的視點(diǎn)、物 體在全息場(chǎng)景的Z軸方向上的大小的個(gè)人全息三維圖像。
[0011] 其中，根據(jù)距離調(diào)整全息三維顯示中物體在全息場(chǎng)景的Z軸方向上的大小還包括 調(diào)整全息三維顯示中物體在全息場(chǎng)景的第二內(nèi)容，其中，物體在全息場(chǎng)景的內(nèi)容為人雙眼 視線所能包覆物體的范圍內(nèi)的物體外觀內(nèi)容，根據(jù)距離調(diào)整個(gè)人全息三維顯示中物體在全 息場(chǎng)景的z軸方向上的大小的步驟包括：
[0012] 判斷距離是變大還是變?。?br> [0013] 若距離變大，則縮小全息三維顯示中物體在全息場(chǎng)景的z軸方向上的大小，同時(shí) 將人雙眼視線所能包覆物體的范圍擴(kuò)大，得到調(diào)整后的全息三維顯示中物體在全息場(chǎng)景的 第二內(nèi)容；反之則放大全息三維顯示中物體在全息場(chǎng)景的z軸方向上的大小，同時(shí)將人雙 眼視線所能包覆物體的范圍縮小，得到調(diào)整后的全息三維顯示中物體在全息場(chǎng)景的第二內(nèi) 容。
[0014] 其中，判斷距離是變大還是變小的步驟進(jìn)一步包括：判斷距離是否小于第一閾值， 若距離小于第一閾值時(shí)，距離變小，則不放大全息三維顯示中物體在全息場(chǎng)景的z軸方向 上的大小，也不調(diào)整全息三維顯示中物體在全息場(chǎng)景的第二內(nèi)容；判斷距離是否大于第二 閾值，若距離大于第二閾值時(shí)，距離變大，則不縮小全息三維顯示中物體在全息場(chǎng)景的z軸 方向上的大小，也不調(diào)整全息三維顯示中物體在全息場(chǎng)景的第二內(nèi)容。
[0015] 其中，雙眼移動(dòng)時(shí)各個(gè)距離采用如下方法獲得：
[0016] 根據(jù)人臉檢測(cè)的數(shù)據(jù)，獲得雙眼的兩眼球?qū)?yīng)坐標(biāo)值（xu，yu)和（xK1，yK1)， (X^，yd和（xR2,yR2)，...，（x^，yj和（xKn,yKn)，其中L表示左眼，R表示右眼，n表示雙眼 從位置1到位置n，采用三維標(biāo)準(zhǔn)坐標(biāo)系；
[0017] 根據(jù)兩眼球?qū)?yīng)坐標(biāo)值得到兩眼球之間的距離U，L2, ...Ln;
[0018] 根據(jù)紅外測(cè)距儀測(cè)得所述雙眼移動(dòng)時(shí)所述紅外測(cè)距儀與所述雙眼之間的距離、所 述紅外測(cè)距儀在所述坐標(biāo)系中的坐標(biāo)值、所述雙眼的兩眼球?qū)?yīng)坐標(biāo)值獲得所述雙眼與顯 示屏之間的距離Z或根據(jù)所述紅外測(cè)距儀與所述雙眼之間的距離、所述紅外測(cè)距儀光軸相 對(duì)于所述顯示屏平面的夾角獲得所述雙眼與顯示屏之間的距離Z或直接將所述紅外測(cè)距 儀與所述雙眼之間的距離作為所述雙眼與顯示屏之間的距離Z;
[0019] 根據(jù)兩眼球之間的距離及紅外測(cè)距儀與雙眼之間的距離，計(jì)算得雙眼移動(dòng)時(shí)各個(gè) 夾角0i，02，...，0n，計(jì)算公式如下所示：

【權(quán)利要求】
1. 一種基于眼球追蹤的個(gè)人全息三維顯示方法，其特征在于，包括： 對(duì)用戶進(jìn)行人臉檢測(cè)，獲得人雙眼位置，所述雙眼位置包括雙眼相對(duì)于顯示屏的夾角、 雙眼與顯示屏之間的距離； 根據(jù)所述夾角得到相應(yīng)所述夾角的全息三維顯示的視點(diǎn)，根據(jù)所述距離調(diào)整所述全息 三維顯示中物體在全息場(chǎng)景的Z軸方向上的大小，根據(jù)所述全息三維顯示的視點(diǎn)和物體在 全息場(chǎng)景的Z軸方向上的大小調(diào)整需投射到所述雙眼中左眼、右眼的不同個(gè)人全息三維圖 像的第一內(nèi)容，并在所述顯示屏中顯示； 將所述顯示屏光線出射方向調(diào)整至朝向所述雙眼中左眼、右眼方向，以使得所述左眼、 右眼的不同個(gè)人全息三維圖像分別成像到所述左眼、右眼； 跟蹤所述雙眼位置的變化，重復(fù)上述各個(gè)步驟以動(dòng)態(tài)獲得相應(yīng)的所述左眼、右眼的不 同個(gè)人全息三維圖像，以使得所述雙眼移動(dòng)時(shí)所述左眼、右眼始終能獲得正確的所述全息 三維顯示的視點(diǎn)、物體在全息場(chǎng)景的Z軸方向上的大小的個(gè)人全息三維圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述距離調(diào)整所述全息三維顯 示中物體在全息場(chǎng)景的z軸方向上的大小還包括調(diào)整所述全息三維顯示中物體在全息場(chǎng) 景的第二內(nèi)容，其中，所述物體在全息場(chǎng)景的第二內(nèi)容為人雙眼視線所能包覆所述物體的 范圍內(nèi)的所述物體外觀內(nèi)容，所述根據(jù)所述距離調(diào)整所述個(gè)人全息三維顯示中物體在全息 場(chǎng)景的z軸方向上的大小的步驟包括： 判斷所述距離是變大還是變小； 若所述距離變大，則縮小所述全息三維顯示中物體在全息場(chǎng)景的z軸方向上的大小， 同時(shí)將人雙眼視線所能包覆所述物體的范圍擴(kuò)大，得到調(diào)整后的所述全息三維顯示中物體 在全息場(chǎng)景的第二內(nèi)容；反之則放大所述全息三維顯示中物體在全息場(chǎng)景的Z軸方向上的 大小，同時(shí)將人雙眼視線所能包覆所述物體的范圍縮小，得到調(diào)整后的所述全息三維顯示 中物體在全息場(chǎng)景的第二內(nèi)容。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述判斷所述距離是變大還是變小的步 驟進(jìn)一步包括：判斷所述距離是否小于第一閾值，若所述距離小于第一閾值時(shí)，所述距離變 小，則不放大所述全息三維顯示中物體在全息場(chǎng)景的z軸方向上的大小，也不調(diào)整所述全 息三維顯示中物體在全息場(chǎng)景的第二內(nèi)容；判斷所述距離是否大于第二閾值，若所述距離 大于第二閾值時(shí)，所述距離變大，則不縮小所述全息三維顯示中物體在全息場(chǎng)景的z軸方 向上的大小，也不調(diào)整所述全息三維顯示中物體在全息場(chǎng)景的第二內(nèi)容。
4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述雙眼移動(dòng)時(shí)各個(gè)所述距離 米用如下方法獲得： 根據(jù)所述人臉檢測(cè)的數(shù)據(jù)，獲得所述雙眼的兩眼球?qū)?yīng)坐標(biāo)值（xu，yu)和（xK1，yK1)，(Xl2，5^2)和（Xk2，5?)，? ? ?，（Xyi，JfLn)和（Xfti，^Rn)，其中L表^左眼，R表^右眼，Il表7]^所述 雙眼從位置1到位置n，采用三維標(biāo)準(zhǔn)坐標(biāo)系； 根據(jù)所述兩眼球?qū)?yīng)坐標(biāo)值得到所述兩眼球之間的距離L1,L2, ...Ln; 根據(jù)紅外測(cè)距儀測(cè)得所述雙眼移動(dòng)時(shí)所述紅外測(cè)距儀與所述雙眼之間的距離、所述紅 外測(cè)距儀在所述坐標(biāo)系中的坐標(biāo)值、所述雙眼的兩眼球?qū)?yīng)坐標(biāo)值獲得所述雙眼與顯示屏 之間的距離Z或根據(jù)所述紅外測(cè)距儀與所述雙眼之間的距離、所述紅外測(cè)距儀光軸相對(duì)于 所述顯示屏平面的夾角獲得所述雙眼與顯示屏之間的距離Z或直接將所述紅外測(cè)距儀與 所述雙眼之間的距離作為所述雙眼與顯示屏之間的距離Z ; 根據(jù)所述兩眼球之間的距離及所述紅外測(cè)距儀與所述雙眼之間的距離，計(jì)算得所述雙 眼移動(dòng)時(shí)各個(gè)所述夾角Q1, 0 2，...，0 n，計(jì)算公式如下所示：
其中L是所述雙眼之間的距離，Z是所述雙眼與所述顯示屏的距離。
5.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，還包括步驟： 根據(jù)所述全息三維顯示的視點(diǎn)和物體在全息場(chǎng)景的z軸方向上的大小獲得需投射到 雙耳中左耳、右耳的不同個(gè)人全息聲音，并分別輸出對(duì)應(yīng)所述左耳、右耳的不同個(gè)人全息聲 音。
6. -種基于眼球追蹤的個(gè)人全息三維顯示設(shè)備，其特征在于，所述設(shè)備包括： 位置獲取模塊，所述位置獲取模塊用于對(duì)用戶進(jìn)行人臉檢測(cè)，獲得人雙眼位置，所述雙 眼位置包括雙眼相對(duì)于顯示屏的夾角、雙眼與顯示屏之間的距離； 顯示模塊，所述顯示模塊用于根據(jù)所述夾角得到相應(yīng)所述夾角的全息三維顯示的視 點(diǎn)，根據(jù)所述距離調(diào)整所述全息三維顯示中物體在全息場(chǎng)景的z軸方向上的大小，根據(jù)所 述全息三維顯示的視點(diǎn)和物體在全息場(chǎng)景的z軸方向上的大小調(diào)整需投射到所述雙眼中 左眼、右眼的不同個(gè)人全息三維圖像的視點(diǎn)，并在所述顯示屏中顯示； 調(diào)整模塊，所述調(diào)整模塊用于將所述顯示屏光線出射方向調(diào)整至朝向所述雙眼中左 目艮、右眼方向，以使得所述左眼、右眼的不同個(gè)人全息三維圖像分別成像到所述左眼、右 眼； 所述位置獲取模塊還用于跟蹤所述雙眼位置，所述顯示模塊以動(dòng)態(tài)調(diào)整相應(yīng)的所述左 目艮、右眼的不同個(gè)人全息三維圖像，以使得所述雙眼移動(dòng)時(shí)在所述調(diào)整模塊作用下所述左 眼、右眼始終能獲得正確的所述全息三維顯示的視點(diǎn)、物體在全息場(chǎng)景的z軸方向上的大 小的個(gè)人全息三維圖像。
7.根據(jù)權(quán)利要求6所述的設(shè)備，其特征在于，所述顯示模塊包括顯示單元、調(diào)整單元、 第一判斷單元，所述調(diào)整單元用于根據(jù)所述距離調(diào)整所述全息三維顯示中物體在全息場(chǎng)景 的z軸方向上的大小和所述全息三維顯示中物體在全息場(chǎng)景的第二內(nèi)容，其中，所述物體 在全息場(chǎng)景的內(nèi)容為人雙眼視線所能包覆所述物體的范圍內(nèi)的所述物體外觀內(nèi)容； 所述第一判斷單元用于判斷所述距離是變大還是變?。? 若所述第一判斷單元判斷結(jié)果為所述距離變大，則控制所述調(diào)整單元縮小所述全息三 維顯示中物體在全息場(chǎng)景的z軸方向上的大小，同時(shí)將人雙眼視線所能包覆所述物體的范 圍擴(kuò)大，得到調(diào)整后的所述全息三維顯示中物體在全息場(chǎng)景的第二內(nèi)容；反之則控制所述 調(diào)整單元放大所述全息三維顯示中物體在全息場(chǎng)景的z軸方向上的大小，同時(shí)將人雙眼視 線所能包覆所述物體的范圍縮小，得到調(diào)整后的所述全息三維顯示中物體在全息場(chǎng)景的第 二內(nèi)容； 所述顯示單元用于顯示所述調(diào)整單元調(diào)整后的所述全息三維圖像。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其特征在于，所述顯示模塊進(jìn)一步包括第二判斷單元， 所述第二判斷單元用于判斷所述距離是否小于第一閾值，若所述距離小于第一閾值時(shí)，所 述距離變小，則控制所述調(diào)整單元不放大所述全息三維顯示中物體在全息場(chǎng)景的z軸方向 上的大小，也不調(diào)整所述全息三維顯示中物體在全息場(chǎng)景的第二內(nèi)容；判斷所述距離是否 大于第二閾值，若所述距離大于第二閾值時(shí)，所述距離變大，則控制所述調(diào)整單元不縮小所 述全息三維顯示中物體在全息場(chǎng)景的Z軸方向上的大小，也不調(diào)整所述全息三維顯示中物 體在全息場(chǎng)景的第二內(nèi)容。
9.根據(jù)權(quán)利要求6至8任一項(xiàng)所述的設(shè)備，其特征在于，所述位置獲取模塊包括測(cè)距單 元、攝像單元、計(jì)算單元，所述計(jì)算單元具體用于： 根據(jù)所述攝像單元對(duì)人臉進(jìn)行人臉檢測(cè)的數(shù)據(jù)，獲得所述雙眼的兩眼球?qū)?yīng)的坐標(biāo)值 (XL1，JfLI)和（XR1，JfRi)，（XL2, 5^2)和（XR2, 5?)，? ? ?，（XLn，JfLn)和（XEn，JfEn)，其中L表不左眼，R 表示右眼，n表示所述雙眼從位置1到位置n，xy坐標(biāo)平面平行于所述顯示屏的表面，采用 三維標(biāo)準(zhǔn)坐標(biāo)系； 根據(jù)所述兩眼球?qū)?yīng)坐標(biāo)值得到所述兩眼球之間的距離L1,L2, ...Ln; 根據(jù)所述測(cè)距單元測(cè)得所述雙眼移動(dòng)時(shí)所述測(cè)距單元與所述雙眼之間的距離、所述測(cè) 距單元在所述坐標(biāo)系中的坐標(biāo)值、所述雙眼的兩眼球?qū)?yīng)坐標(biāo)值獲得所述雙眼與顯示屏之 間的距離Z或根據(jù)所述測(cè)距單元與所述雙眼之間的距離、所述測(cè)距單元光軸相對(duì)于所述顯 示屏平面的夾角獲得所述雙眼與顯示屏之間的距離Z或直接將所述測(cè)距單元與所述雙眼 之間的距離作為所述雙眼與顯示屏之間的距離Z ; 根據(jù)所述兩眼球之間的距離及所述紅外測(cè)距儀與所述雙眼之間的距離，計(jì)算得所述雙 眼移動(dòng)時(shí)各個(gè)所述夾角Q1, 9 2，...，9 n，計(jì)算公式如下所示：
其中L是所述雙眼之間的距離，Z是所述雙眼與顯示屏的距離。
10.根據(jù)權(quán)利要求6至8任一項(xiàng)所述的設(shè)備，其特征在于，所述設(shè)備還包括聲音調(diào)節(jié)模 塊，所述聲音調(diào)節(jié)模塊具體用于根據(jù)所述全息三維顯示的視點(diǎn)和物體在全息場(chǎng)景的z軸方 向上的大小調(diào)節(jié)需投射到雙耳中左耳、右耳的不同個(gè)人全息聲音，并分別輸出對(duì)應(yīng)所述左 耳、右耳的不同個(gè)人全息聲音。
【文檔編號(hào)】G06K9/00GK104506836SQ201410710297
【公開日】2015年4月8日 申請(qǐng)日期:2014年11月28日 優(yōu)先權(quán)日:2014年11月28日
【發(fā)明者】劉美鴻, 高煒, 徐萬(wàn)良 申請(qǐng)人:深圳市億思達(dá)科技集團(tuán)有限公司