視線檢測(cè)裝置和視線檢測(cè)方法
【專利摘要】本發(fā)明涉及視線檢測(cè)裝置和視線檢測(cè)方法。提供一種視線檢測(cè)裝置，包括：至少一個(gè)光源，其配置為向經(jīng)由至少一個(gè)光學(xué)構(gòu)件觀察顯示面的用戶的眼球照射光；以及成像單元，其配置為通過檢測(cè)所述光從所述眼球的反射光，獲取在所述顯示面上檢測(cè)所述用戶的視線用的所述眼球的捕獲圖像。來自所述眼球的所述反射光至少穿過安裝在來自所述顯示面的光沿其從所述顯示面?zhèn)鞑サ剿鲇脩舻乃鲅矍虻墓饴分械乃龉鈱W(xué)構(gòu)件，并且入射到所述成像單元上。
【專利說明】視線檢測(cè)裝置和視線檢測(cè)方法
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求2013年7月5日提交的日本在先專利申請(qǐng)JP2013-141990的權(quán)益，該專利申請(qǐng)的全部?jī)?nèi)容通過引用包含在本申請(qǐng)中。

【技術(shù)領(lǐng)域】
[0003]本公開涉及視線檢測(cè)裝置和視線檢測(cè)方法。

【背景技術(shù)】
[0004]用于檢測(cè)用戶對(duì)于顯示各種內(nèi)容的顯示面的視線并且在各種操作中使用檢測(cè)到的視線的技術(shù)已經(jīng)被提出。例如，JP H5-333259A公開了一種成像裝置，其通過向觀察取景器的用戶的眼球照射紅外波段的光(紅外光)，使檢測(cè)器捕獲從眼球反射的光，以檢測(cè)用戶對(duì)于顯示直通圖像的顯示面的視線，并且在自動(dòng)對(duì)焦(AF)調(diào)節(jié)中使用檢測(cè)到的視線。


【發(fā)明內(nèi)容】

[0005]在JP H5-333259A公開的技術(shù)中，在用戶的眼球和顯示直通圖像的顯示面之間安裝有多個(gè)光學(xué)構(gòu)件，如棱鏡和透鏡。來自顯示面的光穿過所述多個(gè)光學(xué)構(gòu)件并且入射到用戶的眼球，但是作為照射到用戶眼球的紅外光的反射光，來自眼球的反射光沿著不穿過所述光學(xué)構(gòu)件并且入射到檢測(cè)器的不同光路。因此，在JP H5-333259A公開的技術(shù)中，來自顯示直通圖像的顯示面的光沿其從顯示面?zhèn)鞑サ接脩粞矍虻墓饴凤@著不同于照射的紅外光從用戶眼球反射的光沿其從眼球傳播到檢測(cè)器的光路。光路之間的顯著不同惡化對(duì)于顯示面的視線檢測(cè)的精度，這是一個(gè)問題。
[0006]因此，希望提供一種能夠進(jìn)一步提高視線檢測(cè)精度的新穎且改進(jìn)的視線檢測(cè)裝置和新穎且改進(jìn)的視線檢測(cè)方法。
[0007]根據(jù)本公開的一實(shí)施例，提供一種視線檢測(cè)裝置，包括:至少一個(gè)光源，其配置為向經(jīng)由至少一個(gè)光學(xué)構(gòu)件觀察顯示面的用戶的眼球照射光；以及成像單元，其配置為通過檢測(cè)所述光從所述眼球的反射光，獲取檢測(cè)用戶對(duì)于所述顯示面的視線用的所述眼球的捕獲圖像。來自所述眼球的所述反射光至少穿過安裝在來自所述顯示面的光沿其從所述顯示面?zhèn)鞑サ剿鲇脩舻乃鲅矍虻墓饴分械乃龉鈱W(xué)構(gòu)件，并且入射到所述成像單元上。
[0008]根據(jù)本發(fā)明的一實(shí)施例，提供一種視線檢測(cè)方法，包括:使來自顯示面的光穿過至少一個(gè)光學(xué)構(gòu)件并且入射在用戶的眼球上；向觀察所述顯示面的所述用戶的所述眼球照射光；以及通過檢測(cè)所述(照射的)光從所述眼球的反射光，獲取在所述顯示面上檢測(cè)所述用戶的視線用的所述眼球的捕獲圖像。來自所述眼球的所述反射光至少穿過安裝在來自所述顯示面的光沿其從所述顯示面?zhèn)鞑サ剿鲇脩舻乃鲅矍虻墓饴分械乃龉鈱W(xué)構(gòu)件，并且被檢測(cè)。
[0009]根據(jù)本發(fā)明的一實(shí)施例，來自顯示面的光沿著穿過至少一個(gè)光學(xué)構(gòu)件的第一光路入射到用戶的眼球。作為照射到用戶眼球的光的反射光，來自眼球的反射光沿著至少穿過安裝在第一光路中的光學(xué)構(gòu)件的第二光路被檢測(cè)。因此，光學(xué)構(gòu)件對(duì)第一光路中的光的影響與光學(xué)構(gòu)件對(duì)第二光路中的光的影響相似。因此，由于眼球的捕獲圖像是基于沿著第二光路被檢測(cè)到的反射光獲取的并且顯示面上用戶的視線是基于該捕獲圖像檢測(cè)到的，所以視線檢測(cè)的精度被進(jìn)一步提聞。
[0010]根據(jù)上述本公開的實(shí)施例，可以進(jìn)一步提高視線檢測(cè)的精度。

【專利附圖】

【附圖說明】
[0011]圖1是示出根據(jù)本公開一實(shí)施例的視線檢測(cè)裝置的外觀和總體配置的透視圖；
[0012]圖2A是沿著圖1中所示的橫截面A-A取得的根據(jù)該實(shí)施例的視線檢測(cè)裝置的截面圖；
[0013]圖2B是沿著圖1中所示的橫截面B-B取得的根據(jù)該實(shí)施例的視線檢測(cè)裝置的截面圖；
[0014]圖3是示出根據(jù)本公開一實(shí)施例的視線檢測(cè)裝置的配置例子的功能框圖；
[0015]圖4是示出根據(jù)該實(shí)施例的使用瞳孔角膜反射方法的視線矢量計(jì)算處理的說明圖；
[0016]圖5A是用于描述根據(jù)該實(shí)施例的視線檢測(cè)處理中的光源驅(qū)動(dòng)控制的說明圖；
[0017]圖5B是用于描述根據(jù)該實(shí)施例的視線檢測(cè)處理中的光源驅(qū)動(dòng)控制的說明圖；
[0018]圖5C是用于描述根據(jù)該實(shí)施例的視線檢測(cè)處理中的光源驅(qū)動(dòng)控制的說明圖；
[0019]圖是用于描述根據(jù)該實(shí)施例的視線檢測(cè)處理中的光源驅(qū)動(dòng)控制的說明圖；
[0020]圖5E是用于描述根據(jù)該實(shí)施例的視線檢測(cè)處理中的光源驅(qū)動(dòng)控制的說明圖；
[0021]圖5F是用于描述根據(jù)該實(shí)施例的視線檢測(cè)處理中的光源驅(qū)動(dòng)控制的說明圖；
[0022]圖6A是用于描述根據(jù)該實(shí)施例的校準(zhǔn)處理的說明圖；
[0023]圖6B是用于描述根據(jù)該實(shí)施例的校準(zhǔn)處理的說明圖；
[0024]圖6C是用于描述根據(jù)該實(shí)施例的校準(zhǔn)處理的說明圖；
[0025]圖7是示出當(dāng)根據(jù)該實(shí)施例的視線檢測(cè)處理應(yīng)用于成像裝置的EVF時(shí)的另一個(gè)配置例子的截面圖；
[0026]圖8是示出應(yīng)用根據(jù)該實(shí)施例的視線檢測(cè)處理的眼鏡式可佩帶裝置的配置例子的不意圖；
[0027]圖9A是示出應(yīng)用根據(jù)該實(shí)施例的視線檢測(cè)處理的頭戴式顯示器的配置例子的示意圖；
[0028]圖9B是示出應(yīng)用根據(jù)該實(shí)施例的視線檢測(cè)處理的頭戴式顯示器的配置例子的示意圖；
[0029]圖9C是示出應(yīng)用根據(jù)該實(shí)施例的視線檢測(cè)處理的頭戴式顯示器的配置例子的示意圖；
[0030]圖10是示出根據(jù)本公開一實(shí)施例的視線檢測(cè)方法的處理順序的流程圖。

【具體實(shí)施方式】
[0031]下面參照附圖描述本公開的優(yōu)選實(shí)施例。注意，在本說明書和附圖中，具有基本相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件用相同的附圖標(biāo)記來表示，并且省略對(duì)這些結(jié)構(gòu)元件的重復(fù)描述。
[0032]以如下順序進(jìn)行描述。
[0033]1.視線檢測(cè)裝置的外觀和總體配置
[0034]2.視線檢測(cè)裝置的配置
[0035]3.視線檢測(cè)處理的細(xì)節(jié)
[0036]3-1.視線矢量計(jì)算處理
[0037]3-2.光源驅(qū)動(dòng)控制
[0038]3-3.計(jì)算處理
[0039]3-4.基于虹膜認(rèn)證讀取唯一用戶信息的處理
[0040]4.變形例
[0041]4-1.附加IR濾波器
[0042]4-2.應(yīng)用于可佩帶裝置
[0043]4-3.應(yīng)用于頭戴式顯示器
[0044]5.視線檢測(cè)方法的處理順序
[0045]6.結(jié)論
[0046]在本公開的優(yōu)選實(shí)施例中，光照射到經(jīng)由至少一個(gè)光學(xué)構(gòu)件觀察顯示面的用戶的眼球。然后，當(dāng)檢測(cè)到照射光從用戶眼球的反射光時(shí)，獲取用于檢測(cè)用戶對(duì)于顯示面的視線的眼球的捕獲圖像。此外，照射光從用戶眼球的反射光穿過安裝在來自顯示面的光沿其從顯示面?zhèn)鞑サ接脩粞矍虻墓饴分械墓鈱W(xué)構(gòu)件并且被檢測(cè)。這樣，通過使用所獲取的用戶眼球的捕獲圖像檢測(cè)用戶對(duì)于顯示面的視線。在此，觀察或觀看顯示面可以是指觀察或觀看在顯示面上顯示的各種內(nèi)容。在以下描述中，根據(jù)實(shí)施例的至少包括上述處理中每一個(gè)的一系列處理被稱為視線檢測(cè)處理。
[0047]任何已知的方法都可以應(yīng)用于使用用戶眼球的捕獲圖像的視線檢測(cè)處理。在實(shí)施例中，例如，進(jìn)行基于瞳孔角膜反射方法的視線檢測(cè)處理。具體來說，在根據(jù)實(shí)施例的視線檢測(cè)處理中，瞳孔角膜反射方法被用于通過基于Purkinje圖像和包含在眼球500的捕獲圖像中的瞳孔的圖像計(jì)算表示眼球方向(轉(zhuǎn)動(dòng)角度)的視線矢量來檢測(cè)用戶的視線。然而，對(duì)于人類，已經(jīng)知道，在基于用戶的視線矢量取得的用戶的視線和用戶實(shí)際沿其觀看顯示面的方向之間存在個(gè)體不同的誤差。因此，在根據(jù)實(shí)施例的視線檢測(cè)處理中，除了視線矢量計(jì)算處理以外，還進(jìn)行校準(zhǔn)處理，以獲取至少包括視線矢量和用戶沿其觀看顯示內(nèi)容的顯示面的方向之間的相關(guān)性的與用戶的眼球500有關(guān)的眼球信息。此外，通過基于眼球信息對(duì)計(jì)算出的視線矢量進(jìn)行修正處理來檢測(cè)用戶對(duì)于顯示面的視線。根據(jù)實(shí)施例的視線檢測(cè)處理可以包括視線矢量計(jì)算處理、校準(zhǔn)處理和基于上述眼球信息的修正處理。將在下面的[3-1.視線矢量計(jì)算處理]和[3-3.校準(zhǔn)處理]中詳細(xì)描述視線矢量計(jì)算處理、校準(zhǔn)處理和基于上述眼球信息的修正處理。
[0048]下面，主要舉例說明根據(jù)實(shí)施例的視線檢測(cè)處理應(yīng)用于諸如數(shù)字照相機(jī)的成像裝置的電子取景器(EVF)的情況。因此，在以下描述中，除非另外說明，否則根據(jù)實(shí)施例的視線檢測(cè)裝置可以是指應(yīng)用根據(jù)實(shí)施例的視線檢測(cè)處理的EVF。當(dāng)根據(jù)實(shí)施例的視線檢測(cè)處理應(yīng)用于EVF時(shí),顯示面上顯示的內(nèi)容可以例如是示出EVF連接到的成像裝置的拍攝目標(biāo)的直通圖像。然而，應(yīng)用根據(jù)實(shí)施例的視線檢測(cè)處理的裝置不局限于該例子。根據(jù)實(shí)施例的視線檢測(cè)處理可以應(yīng)用于其他裝置，只要該裝置具有顯示功能即可。將在下面的[4-2.應(yīng)用于可佩戴裝置]和[4-3.應(yīng)用于頭戴式顯示器]中詳細(xì)描述根據(jù)實(shí)施例的視線檢測(cè)處理應(yīng)用于其他裝置的例子。
[0049]〈1.視線檢測(cè)裝置的外觀和總體配置>
[0050]首先，參照?qǐng)D1、圖2A和圖2B描述作為根據(jù)本公開一實(shí)施例的視線檢測(cè)裝置的EVF的外觀和總體配置。圖1是示出根據(jù)本公開一實(shí)施例的視線檢測(cè)裝置的外觀和總體配置的透視圖。圖2A是沿著圖1中所示的橫截面A-A取得的根據(jù)該實(shí)施例的視線檢測(cè)裝置的截面圖。圖2B是沿著圖1中所示的橫截面B-B取得的根據(jù)該實(shí)施例的視線檢測(cè)裝置的截面圖。在圖1、圖2A和圖2B中，根據(jù)需要，該視線檢測(cè)裝置的每個(gè)構(gòu)成元件的尺寸被適當(dāng)改變并示出，以使對(duì)該視線檢測(cè)裝置的配置描述更清晰。圖1、圖2A和圖2B中所示的該視線檢測(cè)裝置的構(gòu)成元件之間的尺寸關(guān)系不一定精確地表示實(shí)際視線檢測(cè)裝置的構(gòu)成元件之間的尺寸關(guān)系。
[0051]參考圖1、圖2A和圖2B，根據(jù)本公開一實(shí)施例的視線檢測(cè)裝置10包括顯示單元110、光路改變?cè)?20、放大器單元130、光源基板140、眼罩150、成像單元160和鉸鏈170。如圖1和圖2A中所示,在這些構(gòu)成元件當(dāng)中，顯示單元110、光路改變?cè)?20、放大器單元130、光源基板140和眼罩150以該順序排列成一條線。顯示單元110的顯示面111設(shè)置為面對(duì)光路改變?cè)?20。用戶可以從眼罩150經(jīng)由光源基板140、放大器單元130和光路改變?cè)?20觀察顯示單元110的顯示面111。在圖2A中，一起示出了觀看其上顯示內(nèi)容的顯示面111的用戶的眼球500，并且示意性示出視線檢測(cè)裝置10和用戶的眼球500之間的位置關(guān)系。此外，視線檢測(cè)裝置10可以進(jìn)一步包括將顯示單元110、光路改變?cè)?20、放大器單元130、光源基板140和成像單元160容納在其中的遮光殼體。然而，在圖1、圖2A和圖2B中，為了示出每個(gè)構(gòu)成元件的配置而沒有示出這些單元。
[0052]下面，如圖1、圖2A和圖2B中所示，描述將用戶沿其從眼罩150觀察顯示單元110的顯示面111的方向定義為Z軸方向的實(shí)施例。此外，將垂直于Z軸方向的平面中的，gp，平行于顯示單元I1的顯示面111的平面中的觀察顯示面111的用戶觀看時(shí)的豎直方向和水平方向被分別定義為I軸方向和X軸方向。此外，從顯示面I1指向眼罩150的方向被定義為Z軸的正方向，并且用戶觀看時(shí)的向上方向被定義為y軸的正方向。在以下描述中，為了表達(dá)構(gòu)成元件之間的位置關(guān)系，將z軸的正方向上的上游側(cè)的位置稱為“前級(jí)”并且將z軸的正方向上的下游側(cè)的位置稱為“后級(jí)”。
[0053]在此，用戶觀察顯示單元110的顯示面111是指來自顯示面111的光穿過光路改變?cè)?20、放大器單元130、光源基板140和眼罩150并且入射到用戶的眼球500。因此，上述表達(dá)“前級(jí)”和“后級(jí)”可稱為與來自顯示單元110的顯示面111的光從顯示面111傳播到用戶的眼球500的光路相對(duì)應(yīng)的表達(dá)。
[0054]下面詳細(xì)描述根據(jù)本實(shí)施例的視線檢測(cè)裝置10的每個(gè)構(gòu)成元件的功能和配置。
[0055]顯示單元110是在顯示面111上以諸如圖像、文本和圖形等各種形式顯示各種信息以向用戶看得見地通知信息的顯示單元。所述各種信息可以包括各種內(nèi)容。如圖1和圖2A中所示,顯示單元110配置為使得顯示面111朝向z軸的正方向。在本實(shí)施例中，顯示單元110可以是各種顯示裝置。具體來說，例如，有機(jī)電致發(fā)光顯示(OELD)裝置被用作顯示單元110。然而，本實(shí)施例不局限于該例子，并且任何已知的顯示裝置，如LED顯示裝置或液晶顯示裝置，都可以用作顯示單元110。
[0056]如上所述，根據(jù)本實(shí)施例的視線檢測(cè)裝置10是EVF，并且連接到各種成像裝置(未示出)，如數(shù)字照相機(jī)，以使用。在本實(shí)施例中，顯示在顯示單元110的顯示面111上的內(nèi)容是成像裝置中的直通圖像，即，由包括在成像裝置中的圖像傳感器獲取的拍攝目標(biāo)(物體)的圖像。用戶可以通過向視線檢測(cè)裝置10的眼罩150里面觀看并且在觀察顯示在顯示單元110的顯示面111上的直通圖像的同時(shí)適當(dāng)調(diào)節(jié)拍攝條件(例如，在成像裝置中設(shè)置示出拍攝目標(biāo)的角度、放大率、曝光和對(duì)焦)來獲取期望的捕獲圖像。此外，在顯示單元110的顯示面111上顯示的直通圖像中，可以根據(jù)用戶沿其觀察顯示面111的方向，將表示顯示面111上的豎直方向的邊改變90度。這是與以下事實(shí)相對(duì)應(yīng)的處理:所獲得的圖像的畫面一般具有矩形形狀，并且根據(jù)用戶是否拍攝所捕獲的圖像，用戶抓握成像裝置的方向以及用戶觀看視線檢測(cè)裝置10的角度可能被轉(zhuǎn)動(dòng)90度，使得該矩形形狀的短邊在豎直方向上，或者用戶以該矩形形狀的長(zhǎng)邊在豎直方向上的方式拍攝所捕獲的圖像。例如，可以在視線檢測(cè)裝置10或該成像裝置中安裝用于檢測(cè)姿態(tài)(傾斜)的傳感器裝置，并且可以基于由該傳感器裝置檢測(cè)到的視線檢測(cè)裝置10的姿態(tài)，與用戶沿其觀察顯示單元110的顯示面111的方向相對(duì)應(yīng)地改變顯示面111上直通圖像的顯示方向。此外，可以利用已知的通用成像裝置的功能和配置進(jìn)行在成像裝置中獲取直通圖像或捕獲圖像的具體處理。盡管在圖1、圖2A和圖2B中沒有示出，例如，視線檢測(cè)裝置10和該成像裝置電連接，使得能夠相互發(fā)送和接收在根據(jù)本實(shí)施例的視線檢測(cè)處理中使用的各種信號(hào)，如直通圖像的圖像信號(hào)。將在下面的〈2.視線檢測(cè)裝置的配置 > 中詳細(xì)描述在視線檢測(cè)裝置10和該成像裝置之間各種信號(hào)的發(fā)送和接收。
[0057]光路改變?cè)?20設(shè)置于顯示單元110的后級(jí)，面對(duì)顯示單元110的顯示面111。光路改變?cè)?20是一種光學(xué)構(gòu)件，并且在本實(shí)施例中具有線性地透射在一個(gè)方向上入射的光并且在預(yù)定方向上反射另一個(gè)方向上的光(或者該光的一部分)的鏡功能。具體來說，光路改變?cè)?20例如是分束器，并且透射在z軸的負(fù)方向上入射的光，同時(shí)保持該光的傳播方向，并且在I軸的正方向上反射在z軸的正方向上入射的光。因此，來自顯示單元110的顯示面111的光在z軸的負(fù)方向上入射到光路改變?cè)?20上，在z軸的正方向上穿過光路改變?cè)?20內(nèi)部，并且傳播到用戶的眼球。當(dāng)光路改變?cè)?20例如是偏振光束分離器時(shí)，可以與偏振光束分離器一起適當(dāng)?shù)匕惭b用于控制入射光的偏振方向的偏振片，從而實(shí)現(xiàn)入射光在期望的方向上的上述透射和反射。
[0058]放大器單元130設(shè)置于光路改變?cè)?20的后級(jí)。放大器單元130是一種光學(xué)構(gòu)件，并且在本實(shí)施例中具有為用戶放大并顯示顯示單元110的顯示面111上的內(nèi)容的功能。具體說來，放大器單元130可以是配置為包括各種透鏡的至少之一的透鏡系統(tǒng)。在此，當(dāng)視線檢測(cè)裝置10連接到的成像裝置具有用戶容易攜帶的尺寸時(shí)，視線檢測(cè)裝置10的尺寸優(yōu)選為不妨礙用戶攜帶方便性的尺寸。因此，在此情況下，視線檢測(cè)裝置10中顯示單元110的顯示面111的面積采用具有例如大約幾厘米的縱向和橫向長(zhǎng)度。因此，當(dāng)顯示面111的面積相對(duì)較小時(shí)，如果不安裝放大器單元130，則用戶甚至難以觀察在顯示面111上顯示的內(nèi)容的細(xì)節(jié)，因此用戶觀察內(nèi)容的方便性可能變差。在本實(shí)施例中，如上所述，由于在顯示單元110和用戶的眼球500之間安裝放大器單元130，并且顯示面111上的內(nèi)容顯示被適當(dāng)放大以被用戶觀察，所以用戶的方便性被改善。此外，可以適當(dāng)設(shè)置放大器單元130中的諸如透鏡的光學(xué)構(gòu)件的具體配置，使得可以根據(jù)例如顯示單元I1的顯示面111的面積或者顯示面111和用戶眼球(S卩，眼罩150的入口 )之間的距離實(shí)現(xiàn)顯示面111上的顯示內(nèi)容容易被用戶觀察的放大率。
[0059]光源基板140設(shè)置于放大器單元130的后級(jí)。光源基板140包括在其表面(位于z軸正方向上的表面)上的至少一個(gè)光源。該光源向觀察顯示單元110的顯示面111的用戶的眼球照射光。在本實(shí)施例中，該光源可以是LED，其發(fā)射具有可見光波段以外的波長(zhǎng)波段的光，例如，具有紅外波段的光(下文中稱為紅外光)。然而，本實(shí)施例不局限于該例子，并且可以采用各種光學(xué)元件作為安裝在光源基板140上的光源，只要該光源是發(fā)射光的光學(xué)元件即可。即使當(dāng)該光源發(fā)射可見光波段以外的波段的光，如紅外光，使得從該光源向用戶的眼球照射光時(shí)，該光也不妨礙用戶觀察顯示單元110的顯示面111。
[0060]下面參照?qǐng)D2B更詳細(xì)地描述光源140的配置。圖2B是沿著圖1中所示的橫截面B-B取得的視線檢測(cè)裝置10的截面圖，并且示出當(dāng)在z軸的正方向觀看時(shí)穿過光源基板140的表面的橫截面的形狀。參考圖2B，開口 149基本上形成在光源基板140中平板表面的中部。用戶可以經(jīng)由開口 149觀察顯示單元110的顯示面111。可以考慮顯示面111的用戶可見性等或者顯示面111上的顯示內(nèi)容，適當(dāng)?shù)卦O(shè)置開口 149的尺寸。
[0061]在開口 149之外的光源基板140的表面區(qū)域中，以預(yù)定的間隔安裝作為光源的多個(gè)LED141至148。這樣，在本實(shí)施例中，作為多個(gè)光源的LED141至148設(shè)置在關(guān)于用戶的眼球以彼此不同的方向照射光的位置處。這樣，通過基于在關(guān)于用戶的眼球的彼此不同的方向照射的光進(jìn)行視線檢測(cè)處理，可以提高視線檢測(cè)的精度。將在下面的[3-1.視線矢量計(jì)算處理]中詳細(xì)描述通過在關(guān)于用戶的眼球的彼此不同的方向上照射光來提高視線檢測(cè)精度優(yōu)點(diǎn)。
[0062]可以基于預(yù)定的驅(qū)動(dòng)條件選擇性地驅(qū)動(dòng)所述多個(gè)LED141至148?？梢愿鶕?jù)與用戶觀察顯示單元I1的顯示面111的狀態(tài)有關(guān)的觀察狀態(tài)信息設(shè)置驅(qū)動(dòng)條件。在此，觀察狀態(tài)信息是對(duì)用戶唯一的信息，并且包括例如關(guān)于用戶眼睛的形狀的信息、關(guān)于用戶是否佩戴眼鏡的信息以及關(guān)于用戶沿其觀察顯示面111的方向的信息中的至少一個(gè)。在本實(shí)施例中，可以基于這種觀察狀態(tài)信息，針對(duì)每個(gè)用戶設(shè)置LED141至148的不同驅(qū)動(dòng)條件。例如，通過基于觀察狀態(tài)信息針對(duì)每個(gè)用戶設(shè)置最佳的LED141至148的驅(qū)動(dòng)條件，并且在該驅(qū)動(dòng)條件下進(jìn)行視線檢測(cè)處理，可以進(jìn)一步提高視線檢測(cè)的精度。
[0063]如圖2B中所示，在本實(shí)施例中，所述多個(gè)LED141至148可以設(shè)置為使得光至少在豎直和水平方向上照射到用戶的眼球。具體來說，在圖2B中所示的例子中，所述多個(gè)LED141至148設(shè)置為以基本上矩形形狀圍繞開口 149的周圍。LED141、142和143設(shè)置在與開口 149的上側(cè)相對(duì)應(yīng)的位置處，LED144設(shè)置在與開口 149的右側(cè)相對(duì)應(yīng)的位置處，LED145、146和147設(shè)置在與開口 149的下側(cè)相對(duì)應(yīng)的位置處，LED148設(shè)置在與開口 149的左側(cè)相對(duì)應(yīng)的位置處。這樣，通過將LED141至148設(shè)置為使得至少一個(gè)LED位于開口 149的右側(cè)、左側(cè)、上側(cè)和下側(cè)中的每一側(cè)，光在右側(cè)、左側(cè)、上側(cè)和下側(cè)中的至少一個(gè)方向上照射到用戶的眼球。因此，由于可以更詳細(xì)地設(shè)置LED141至148的驅(qū)動(dòng)條件，所以可以設(shè)置針對(duì)每個(gè)用戶設(shè)置適當(dāng)?shù)尿?qū)動(dòng)條件。此外，通過在視線檢測(cè)處理期間或者在視線檢測(cè)處理之前依次改變要被驅(qū)動(dòng)的LED141至148的組合或者照射光的強(qiáng)度的同時(shí)，對(duì)用戶實(shí)際進(jìn)行視線檢測(cè)處理，可以基于檢測(cè)精度等針對(duì)每個(gè)用戶獲取針對(duì)每個(gè)用戶最佳的LED141至148的驅(qū)動(dòng)條件。
[0064]例如，可以將用于驅(qū)動(dòng)LED141至148的驅(qū)動(dòng)電路和用于控制該驅(qū)動(dòng)的控制電路(光源驅(qū)動(dòng)控制單元)安裝在視線檢測(cè)裝置10或者連接到視線檢測(cè)裝置10的成像裝置的其他部分中。由該光源驅(qū)動(dòng)控制單元基于上述預(yù)定的驅(qū)動(dòng)條件對(duì)LED141至148進(jìn)行驅(qū)動(dòng)控制。將在下面的[3-2.光源驅(qū)動(dòng)控制]中詳細(xì)描述對(duì)LED141至148的驅(qū)動(dòng)控制。
[0065]將參照?qǐng)D1、圖2A和圖2B繼續(xù)描述視線檢測(cè)裝置10的構(gòu)成元件。眼罩150設(shè)置于光源基板140的后級(jí)。眼罩150是用戶向視線檢測(cè)裝置10中觀看并且觀察顯示單元110的顯示面111時(shí)與用戶的眼睛接觸的構(gòu)件。眼罩150具有杯子形狀，其中開口 151形成在底表面并且設(shè)置為使得開口 151朝向z軸的負(fù)方向。用戶可以在眼罩150的杯狀開口的方向上經(jīng)由開口 151觀察顯示單元110的顯示面111。從安裝在光源基板140中的LED141至148發(fā)射的光經(jīng)由眼罩150的開口 151照射到用戶的眼球500。
[0066]在開口 151中，可以適當(dāng)?shù)匕惭b透鏡，如目鏡，以提高顯示面111的用戶可見性或者防止灰塵等侵入視線檢測(cè)裝置10的內(nèi)部。可以考慮與安裝在視線檢測(cè)裝置10內(nèi)部的放大器單元130的透鏡系統(tǒng)的光學(xué)一致性來設(shè)置目鏡的光學(xué)特性。
[0067]在眼罩150中可以安裝用于檢測(cè)與用戶的眼睛接觸的傳感器。具體來說，眼罩150可以包括例如接觸傳感器，該接觸傳感器檢測(cè)物體與位于z軸的正方向并且與該杯子形狀的邊緣相對(duì)應(yīng)的部位的接觸，從而可以通過該接觸傳感器檢測(cè)眼罩150與用戶眼睛的接觸。例如，當(dāng)檢測(cè)到眼罩150與用戶眼睛接觸時(shí)，可以在顯示單元110的顯示面111上顯示內(nèi)容。當(dāng)檢測(cè)到眼罩150與用戶眼睛接觸時(shí)，認(rèn)為用戶正在向視線檢測(cè)裝置10內(nèi)觀看。因此，可以僅當(dāng)檢測(cè)到與眼睛的接觸時(shí)才在顯示單元110上顯示內(nèi)容，以選擇性地驅(qū)動(dòng)顯示單元110，從而實(shí)現(xiàn)功率消耗的降低。此外，當(dāng)未檢測(cè)到眼罩150與用戶眼睛的接觸時(shí)，可以代替顯示單元110，例如在視線檢測(cè)裝置10連接到的成像裝置中安裝的另一個(gè)顯示單元上顯示作為內(nèi)容的直通圖像。
[0068]成像單元160安裝在光路改變?cè)?20中與z軸垂直的任何方向上，使得光接收表面朝向光路改變?cè)?20。在圖1、圖2A和圖2B中所示的例子中，成像單元160安裝在光路改變?cè)?20上方(y軸的正方向上)。成像單元160例如是圖像傳感器，如電荷耦合裝置(CCD)圖像傳感器或者互補(bǔ)MOS(CMOS)圖像傳感器，并且通過輸出與包括在光接收表面中的每個(gè)像素接收到的光量相對(duì)應(yīng)的強(qiáng)度的信號(hào)而獲取與光接收表面上的入射光相對(duì)應(yīng)的圖像(捕獲圖像)。在此，在本實(shí)施例中，從光源基板140的LED141至148向觀察顯示單元110的顯示面111的用戶的眼球500照射光。然后，該光從眼球反射的光當(dāng)中，在z軸的負(fù)方向上反射的成分依次穿過眼罩150、光源基板140和放大器單元130并且入射到光路改變?cè)?20上。在此，光路改變?cè)?20具有在y軸的正方向上反射在z軸的正方向上入射的光的功能。因此，在來自眼球的反射光當(dāng)中，在z軸的負(fù)方向上反射的成分被光路改變?cè)?20在y軸的正方向上反射,到達(dá)成像單元160的光接收表面。這樣,在本實(shí)施例中，在z軸的負(fù)方向上穿過視線檢測(cè)裝置10內(nèi)部傳播的光入射在成像單元160上。因此，當(dāng)成像單元160檢測(cè)到LED141至148照射的光從用戶的眼球500反射的光時(shí)，獲取檢測(cè)用戶對(duì)于顯示單元110的顯示面111的視線用的用戶的眼球500的捕獲圖像。
[0069]在使用眼球500的捕獲圖像的視線檢測(cè)處理中，可以使用任何已知的方法。在本實(shí)施例中，使用例如基于包含在眼球500的捕獲圖像中的瞳孔的圖像和Purkinje圖像的瞳孔角膜反射方法，計(jì)算表示眼球的方向(轉(zhuǎn)動(dòng)角度)的視線矢量。在根據(jù)本實(shí)施例的視線檢測(cè)處理中，除了視線矢量計(jì)算處理以外，還進(jìn)行校準(zhǔn)處理，以獲取至少包括視線矢量和用戶沿其觀看顯示面111的方向之間的相關(guān)性的與用戶的眼球500有關(guān)的眼球信息。然后，通過基于該眼球信息對(duì)計(jì)算出的視線矢量進(jìn)行修正處理來檢測(cè)用戶的視線。為了以較高的精度計(jì)算視線矢量，可以根據(jù)從LED141至148向眼球500照射的光的強(qiáng)度、眼球500的特性等，適當(dāng)?shù)馗淖兂上駟卧?60將眼球500成像時(shí)的拍攝條件(例如，曝光和增益)。將在下面的[3-1.視線矢量計(jì)算處理]和[3-3.校準(zhǔn)處理]中詳細(xì)描述視線矢量計(jì)算處理、校準(zhǔn)處理和基于眼球信息的修正處理。
[0070]鉸鏈170是將視線檢測(cè)裝置10連接到成像裝置的連接構(gòu)件。盡管在圖1和圖2A中未示出，鉸鏈170實(shí)際上可以是將作為視線檢測(cè)裝置10的外殼的殼體連接到成像裝置的殼體的構(gòu)件。鉸鏈170的具體配置不局限于圖1和圖2A中所示的例子?？梢愿鶕?jù)視線檢測(cè)裝置10的殼體和成像裝置的殼體的連接形狀等適當(dāng)?shù)卦O(shè)置鉸鏈170。在本實(shí)施例中，視線檢測(cè)裝置10和成像裝置可以機(jī)械連接，并且連接構(gòu)件不局限于鉸鏈170?？梢钥紤]成像裝置的使用、視線檢測(cè)裝置10的殼體和成像裝置的殼體的形狀等，適當(dāng)?shù)卦O(shè)置連接構(gòu)件。
[0071]上文已經(jīng)參照?qǐng)D1、圖2A和圖2B描述了根據(jù)本公開的實(shí)施例的視線檢測(cè)裝置10的外觀和總體配置。在實(shí)施例中，如上所述，用戶經(jīng)由至少一個(gè)光學(xué)構(gòu)件(例如，光路改變?cè)?20或放大器單元130)觀察顯示單元110的顯示面111。然后，當(dāng)作為光源的LED141至148向觀察顯示面111的用戶的眼球500照射光并且成像單元160檢測(cè)到照射光從眼球500反射的光時(shí)，獲取眼球500的捕獲圖像。
[0072]下面更詳細(xì)地描述根據(jù)該實(shí)施例的視線檢測(cè)裝置10中光的光路。在本實(shí)施例中，如上所述，當(dāng)用戶觀察顯示面111時(shí)，來自顯示面111的光(即，形成在顯示面111上顯示的內(nèi)容的光)穿過光路改變?cè)?20、放大器單元130、光源基板140和眼罩150，并且入射到用戶的眼球上。在圖2A中，用點(diǎn)線箭頭表示來自顯示面111的光沿其從顯示面111傳播到用戶眼球的光路(下文中也稱為第一光路)。在本實(shí)施例中，另一方面，來自光源基板140的LED141至148的光(例如，紅外光)照射到觀察顯示面111的用戶的眼球。然后，在照射光從眼球反射的光當(dāng)中，在z軸的負(fù)方向上反射的分量依次穿過光源基板140、放大器單元130和光路改變?cè)?20，并且入射到成像單元160上。在圖2A中，用短劃線箭頭表示來自眼球的反射光沿其從眼球傳播到成像單元160的光路(下文中也稱為第二光路)。
[0073]注意圖2A中所示的點(diǎn)線箭頭和短劃線箭頭，在本實(shí)施例中，第二光路配置為包括沿著第一光路安裝的光學(xué)構(gòu)件的光路。具體說來，第二光路配置為穿過包括在第一光路中的光路改變?cè)?20和放大器單元130 (當(dāng)眼罩150的開口 151中安裝有目鏡時(shí)，也包括該目鏡)的光路。這樣，在本實(shí)施例中，來自眼球500的反射光穿過安裝在其中來自顯示面111的光從顯示面111傳播到用戶眼球的空間中的光學(xué)構(gòu)件，并且入射到成像單元160上。
[0074]在此，一般來說，當(dāng)光穿過一光學(xué)構(gòu)件時(shí)，光的特征，如光的強(qiáng)度或波長(zhǎng)以及傳播方向根據(jù)該光學(xué)構(gòu)件的特征(例如，當(dāng)該光學(xué)構(gòu)件是透鏡時(shí)的折射率、曲率等)而改變。因此，當(dāng)觀察兩束不同的光以研究這兩束光之間的關(guān)系時(shí)，如果一束光穿過的光學(xué)構(gòu)件顯著不同于另一束光穿過的光學(xué)構(gòu)件，即，一束光的光路顯著不同于另一束光的光路，則由于特征被光學(xué)構(gòu)件的改變彼此獨(dú)立這一事實(shí)而很難以高精度獲得光束之間的關(guān)系。因此，當(dāng)檢測(cè)兩束不同的光以研究光束之間的關(guān)系時(shí)，如果盡可能使這兩束光穿過相同的光路以檢測(cè)光，則由于光學(xué)構(gòu)件對(duì)光束的影響相同，所以能夠以高精度獲得光束之間的關(guān)系，而不必過多考慮光學(xué)構(gòu)件對(duì)光的影響。
[0075]在本實(shí)施例中，用戶觀察的顯示單元110的顯示面111上顯示的內(nèi)容可以說是由于安裝在第一光路中的光學(xué)構(gòu)件的影響而改變其特征的圖像。同樣地，由成像單元160獲取的用戶的眼球500的捕獲圖像可以說是由于安裝在第二光路中的光學(xué)構(gòu)件的影響而改變其特征的圖像。在該視線檢測(cè)處理中，基于由成像單元160獲取的用戶的眼球500的捕獲圖像檢測(cè)顯示面111上用戶的視線，由于以高精度獲取來自顯示面111的光和眼球500的捕獲圖像之間的關(guān)系，也可以說視線檢測(cè)的精度被提高。因此，如現(xiàn)有的一般視線檢測(cè)技術(shù)中那樣，當(dāng)來自其上顯示內(nèi)容的顯示面的光沿其從顯示面?zhèn)鞑サ接脩舻难矍虻墓饴凤@著不同于來自用戶眼球的反射光沿其從眼球傳播到檢測(cè)器的光路時(shí)，由于檢測(cè)用戶對(duì)顯示面的視線時(shí)由不同的光路引起的誤差，視線檢測(cè)的精度可能變壞。然而，在本實(shí)施例中，如上所述，第二光路配置為包括安裝在第一光路中的光學(xué)構(gòu)件的光路。因此，能夠以較高的精度檢測(cè)來自顯示單元110的顯示面111并且被用戶觀測(cè)到的光和由成像單元160獲取的眼球500的捕獲圖像之間的關(guān)系。
[0076]在本實(shí)施例中，通過將光源基板140安裝于放大器單元130的后級(jí)，從LED141至148發(fā)射的光照射到用戶的眼球500而不會(huì)從包括在放大器單元130中的透鏡反射。當(dāng)LED141至148和用戶的眼球500之間存在諸如透鏡的光學(xué)構(gòu)件時(shí)，由于從該光學(xué)構(gòu)件的反射，照射到眼球500的光的效率變壞，并且被該光學(xué)構(gòu)件反射的成分也被成像單元160檢測(cè)。因此，隨之發(fā)生的眼球500的捕獲圖像的質(zhì)量(圖像質(zhì)量)可能變壞。在本實(shí)施例中，通過將光源基板140安裝于放大器單元130的后級(jí)，能夠抑制從諸如透鏡的光學(xué)構(gòu)件的反射并且能夠以較高的質(zhì)量獲取眼球500的捕獲圖像。
[0077]通過根據(jù)本實(shí)施例的視線檢測(cè)處理檢測(cè)到的用戶的視線可被用于連接到視線檢測(cè)裝置10的成像裝置的各種操作。例如，檢測(cè)到的用戶視線可被用于自動(dòng)對(duì)焦調(diào)節(jié)(AF)功能。具體來說，當(dāng)在其上顯示直通圖像的顯示面111上檢測(cè)到用戶視線時(shí)，可以驅(qū)動(dòng)成像裝置的AF功能，以調(diào)節(jié)對(duì)于直通圖像中與檢測(cè)到的用戶視線相對(duì)應(yīng)的區(qū)域的對(duì)焦。也可以根據(jù)檢測(cè)到的用戶視線對(duì)成像裝置進(jìn)行各種操作輸入。具體說來，當(dāng)在顯示面111的預(yù)定區(qū)域中檢測(cè)到視線時(shí)，例如，可以進(jìn)行在拍攝模式和拍攝的捕獲圖像的觀看模式之間切換或者在觀看模式中切換捕獲圖像的顯示的預(yù)定操作。
[0078]<2.視線檢測(cè)裝置的配置>
[0079]接下來，參照?qǐng)D3更詳細(xì)地描述根據(jù)本公開一實(shí)施例的視線檢測(cè)裝置的配置。圖3是示出根據(jù)本公開該實(shí)施例的視線檢測(cè)裝置的配置例子的功能框圖。在圖3中，通過功能框圖示出根據(jù)本實(shí)施例的視線檢測(cè)裝置10和視線檢測(cè)裝置10連接到的成像裝置20之間各種信號(hào)和指令的發(fā)送和接收的關(guān)系。在圖3中，一起示出了向視線檢測(cè)裝置10中觀看的用戶的眼球500，以示意性示出視線檢測(cè)裝置10和用戶的眼球500之間的關(guān)系。
[0080]視線檢測(cè)裝置10包括顯示單元110、光學(xué)構(gòu)件180、光源190和成像單元160。在此圖3中所示的視線檢測(cè)裝置10具有與圖1、圖2A和圖2B中所示的視線檢測(cè)裝置10相同的配置。具體來說，圖3中所示的顯示單元110和成像單元160對(duì)應(yīng)于圖1、圖2A和圖2B中所示的顯示單元110和成像單元160。圖3中所示的光學(xué)構(gòu)件180對(duì)應(yīng)于圖1、圖2A和圖2B中所示的光路改變?cè)?20和放大器單元130。圖3中所示的光源190對(duì)應(yīng)于圖1、圖2A和圖2B中所示的光源基板140中安裝的LED141至148。光源190可以是LED141至148中的至少一個(gè)。在圖3中，為了簡(jiǎn)化而沒有示出參照?qǐng)D1、圖2A和圖2B描述的視線檢測(cè)裝置10的其余配置。
[0081]這樣，圖3中所示的視線檢測(cè)裝置10對(duì)應(yīng)于由圖1、圖2A和圖2B中所示的視線檢測(cè)裝置10的構(gòu)成元件的示意性功能框圖所示的裝置。因此，在圖3中，將省略對(duì)視線檢測(cè)裝置10和視線檢測(cè)裝置10的構(gòu)成元件的具體功能和配置的詳細(xì)描述。
[0082]在圖3中，用實(shí)線箭頭表示各種信息、指令等的信號(hào)的發(fā)送和接收，并且用點(diǎn)線箭頭和短劃線箭頭示意性地表示用戶的眼球500和視線檢測(cè)裝置10以及視線檢測(cè)裝置10的內(nèi)部之間的光交換。具體來說，圖3中所示的點(diǎn)線箭頭示意性地表示來自顯示單元110的顯示面的光沿其穿過光學(xué)構(gòu)件180并且從顯示面?zhèn)鞑サ接脩舻难矍?00的光路。也就是說，由點(diǎn)線箭頭表示的光路對(duì)應(yīng)于前述〈1.視線檢測(cè)裝置的外觀和總體配置 > 中描述的第一光路。圖3中所示的短劃線箭頭示意性地表示作為從光源190照射到用戶的眼球500的光的反射光，從眼球500反射的光沿其從眼球500經(jīng)由光學(xué)構(gòu)件180到達(dá)成像單元160的光路。也就是說，在由短劃線箭頭表示的光路中，從眼球500到成像單元160的光路對(duì)應(yīng)于前述〈1.視線檢測(cè)裝置的外觀和總體配置〉中描述的第二光路。如點(diǎn)線箭頭和短劃線箭頭所表示的，在本實(shí)施例中，第二光路配置為包括安裝在第一光路中的光學(xué)構(gòu)件180。
[0083]成像裝置20是根據(jù)本實(shí)施例的視線檢測(cè)裝置10機(jī)械并電連接到的具有數(shù)字照相機(jī)等的成像功能的裝置。參考圖3，成像裝置20包括控制單元210。
[0084]控制單元210總體控制視線檢測(cè)裝置10和成像裝置20，并且進(jìn)行根據(jù)本實(shí)施例的視線檢測(cè)處理的各種信號(hào)處理。因此，在本實(shí)施例中，成像裝置20中安裝的控制單元210可以進(jìn)行視線檢測(cè)裝置10中的視線檢測(cè)處理的各種信號(hào)處理。在此，在圖3中所示的例子中，在成像裝置20的配置中，主要示出與根據(jù)本實(shí)施例的視線檢測(cè)處理有關(guān)的配置，并且未示出其余配置。因此，沒有示出與控制單元210和根據(jù)本實(shí)施例的視線檢測(cè)處理不直接相關(guān)的功能。然而，成像裝置20可以具有通常所知的成像裝置的各種功能和配置，如獲取捕獲圖像的圖像傳感器、對(duì)所獲取的捕獲圖像進(jìn)行各種圖像處理(例如，調(diào)節(jié)黑色電平、亮度、白平衡等的信號(hào)處理)的圖像處理單元以及當(dāng)圖像傳感器獲取捕獲圖像時(shí)調(diào)節(jié)各種拍攝條件(例如，曝光和增益)的拍攝條件調(diào)節(jié)單元。
[0085]下面具體參照?qǐng)D3主要描述與根據(jù)本實(shí)施例的視線檢測(cè)處理有關(guān)的控制單元210的功能和配置?？刂茊卧?10包括顯示控制單元211、光源驅(qū)動(dòng)控制單元212、視線檢測(cè)處理單元213和校準(zhǔn)處理單元214。
[0086]顯示控制單元211控制視線檢測(cè)裝置10的顯示單元110的驅(qū)動(dòng)，并且在顯示單元110的顯示屏幕上以各種格式顯示各種信息，如文本、圖像和圖形。在本實(shí)施例中，顯示控制單元211在視線檢測(cè)裝置10的顯示單元110的顯示面上顯示作為示出成像裝置20的拍攝目標(biāo)的圖像的直通圖像。此外，顯示控制單元211根據(jù)來自視線檢測(cè)處理單元213和校準(zhǔn)處理單元214的指令，在顯示單元110的顯示面上顯示視線檢測(cè)處理中的校準(zhǔn)處理用的圖像(下文中稱為校準(zhǔn)圖像)。
[0087]可以從安裝在成像裝置20中的圖像傳感器、圖像處理單元等發(fā)送與顯示單元110上顯示的圖像有關(guān)的各種信息，如形成直通圖像或校準(zhǔn)圖像的圖像信號(hào)。當(dāng)成像裝置20包括另一個(gè)顯示單元(未示出)時(shí)，顯示控制單元211可以控制該另外顯示單元上的各種顯示。在該另外顯示單元上可以顯示通常所知的成像裝置的顯示單元上顯示的各種信息，如直通圖像、拍攝后的捕獲圖像以及拍攝條件的設(shè)置畫面。
[0088]光源驅(qū)動(dòng)控制單元212控制光源190的驅(qū)動(dòng)，使得從光源190向用戶的眼球500照射光。光源驅(qū)動(dòng)控制單元212對(duì)應(yīng)于圖2B中所示并且在前述〈1.視線檢測(cè)裝置的外觀和總體配置 > 中描述的驅(qū)動(dòng)LED141至148的驅(qū)動(dòng)電路和控制電路。然而，該驅(qū)動(dòng)電路可以與光源190 —起包括在視線檢測(cè)裝置10中。光源驅(qū)動(dòng)控制單元212可以在預(yù)定的驅(qū)動(dòng)條件下選擇性地驅(qū)動(dòng)作為多個(gè)光源的LED141至148。對(duì)LED141至148的選擇性驅(qū)動(dòng)包括切換LED141至148開和關(guān)或者調(diào)節(jié)從LED141至148的每一個(gè)發(fā)射的光的強(qiáng)度。
[0089]可以根據(jù)與用戶觀察顯示單元110的顯示面111的狀態(tài)有關(guān)的觀察狀態(tài)信息，設(shè)置光源驅(qū)動(dòng)控制單元212驅(qū)動(dòng)LED141至148的驅(qū)動(dòng)條件。在此，觀察狀態(tài)信息是對(duì)用戶唯一的信息，并且包括例如與用戶眼睛的形狀有關(guān)信息、與用戶是否佩戴眼鏡有關(guān)的信息以及與用戶沿其觀察顯示單元110的顯示面的方向有關(guān)的信息中的至少一個(gè)。例如，光源190的驅(qū)動(dòng)條件可以被設(shè)置為使得根據(jù)觀察狀態(tài)信息適當(dāng)?shù)剡M(jìn)行用戶的視線檢測(cè)處理?？梢詮囊暰€檢測(cè)處理單元213向光源驅(qū)動(dòng)控制單元212指示光源190的具體驅(qū)動(dòng)條件。將在下面的[3-2.光源驅(qū)動(dòng)控制]中詳細(xì)描述光源驅(qū)動(dòng)控制單元212對(duì)光源190的驅(qū)動(dòng)控制。
[0090]視線檢測(cè)處理單元213基于由視線檢測(cè)裝置10的成像單元160獲取的用戶眼球500的捕獲圖像，進(jìn)行與根據(jù)本實(shí)施例的視線檢測(cè)處理有關(guān)的各種處理以及在顯示單元110的顯示面上檢測(cè)用戶視線的處理，并且控制與該視線檢測(cè)處理有關(guān)的各種處理。在本實(shí)施例中，在視線檢測(cè)處理中，使用所謂的瞳孔角膜反射方法進(jìn)行視線矢量計(jì)算處理。具體來說，視線檢測(cè)處理單元213基于Purkinje圖像和包含在眼球500的捕獲圖像中的瞳孔的圖像計(jì)算表示眼球的方向(轉(zhuǎn)動(dòng)角度)的用戶視線矢量。然后，視線檢測(cè)處理單元213通過基于下面描述的由校準(zhǔn)處理單元214獲取的用戶的眼球信息進(jìn)行修正計(jì)算出的視線矢量的處理，檢測(cè)用戶對(duì)顯示單元110的顯示面的視線。眼球信息至少包括用戶的視線矢量和用戶沿其觀看顯示面的方向之間的相關(guān)性。將在下面的[3-1.視線矢量計(jì)算處理]中詳細(xì)描述由視線檢測(cè)處理裝置213進(jìn)行的視線矢量計(jì)算處理和視線矢量修正處理。
[0091]視線檢測(cè)處理單元213可以通過向光源驅(qū)動(dòng)控制單元212提供光源190的驅(qū)動(dòng)條件的指令而在獲取眼球500的捕獲圖像時(shí)控制向眼球500發(fā)射的光。例如，視線檢測(cè)處理單元213可以通過根據(jù)觀察狀態(tài)信息向光源驅(qū)動(dòng)控制單元212提供針對(duì)每個(gè)用戶設(shè)置的光源190的驅(qū)動(dòng)條件的指令，在預(yù)定的驅(qū)動(dòng)條件下驅(qū)動(dòng)光源190。在本實(shí)施例中，可以針對(duì)每個(gè)用戶不同地設(shè)置光源190的驅(qū)動(dòng)條件，并且所設(shè)置的光源190的驅(qū)動(dòng)條件可以與用戶相關(guān)聯(lián)地存儲(chǔ)在安裝于視線檢測(cè)裝置10或者成像裝置20中的存儲(chǔ)單元(未示出)等中。當(dāng)以前具有使用視線檢測(cè)裝置10的經(jīng)驗(yàn)的用戶使用該視線檢測(cè)裝置10時(shí)，視線檢測(cè)處理單元213可以從該存儲(chǔ)單元讀取與該用戶相對(duì)應(yīng)的光源190的驅(qū)動(dòng)條件，并且向光源驅(qū)動(dòng)控制單元212發(fā)送對(duì)應(yīng)的驅(qū)動(dòng)條件。
[0092]視線檢測(cè)處理單元213可以向成像單元160提供眼球500的拍攝條件的指令。用于獲取眼球500的清晰的捕獲圖像的最佳拍攝條件(例如，曝光或增益)據(jù)認(rèn)為根據(jù)光源190的驅(qū)動(dòng)條件(例如，被驅(qū)動(dòng)的LED141至148的位置或者光的強(qiáng)度)或者眼球500的特征(例如，從眼球表面的反射率)而不同。因此，為了以較高的精度計(jì)算視線矢量，視線檢測(cè)處理單元213可以根據(jù)光源190的驅(qū)動(dòng)條件、眼球500的特征等向成像單元160提供拍攝眼球500時(shí)的拍攝條件的指令。由于該拍攝條件也是對(duì)用戶唯一的信息，所以該拍攝條件可以與用戶相關(guān)聯(lián)地存儲(chǔ)在安裝于視線檢測(cè)裝置10或成像裝置20中的存儲(chǔ)單元(未示出)中。然后，如光源190的驅(qū)動(dòng)條件中那樣，當(dāng)視線檢測(cè)裝置10被使用時(shí)，視線檢測(cè)處理單元213可以從存儲(chǔ)單元讀取與用戶相對(duì)應(yīng)的成像單元160的拍攝條件。
[0093]校準(zhǔn)處理單元214進(jìn)行獲取在視線矢量修正處理中使用的與用戶的眼球有關(guān)的眼球信息的校準(zhǔn)處理，并且控制與校準(zhǔn)處理有關(guān)的各種處理。由于眼球信息是對(duì)用戶唯一的信息，所以針對(duì)每個(gè)用戶進(jìn)行校準(zhǔn)處理。
[0094]在本實(shí)施例中，例如，基于例如瞳孔角膜反射方法進(jìn)行視線矢量計(jì)算處理，但是在基于用戶的視線矢量推斷的用戶視線與用戶實(shí)際沿其觀看顯示面的方向之間存在誤差這一事實(shí)是已知的。該誤差是由用戶眼球的形狀或尺寸引起的并且對(duì)用戶是唯一的。在本實(shí)施例中，眼球信息可以至少包括視線矢量和用戶沿其觀看顯示面的方向之間的相關(guān)性，并且使用該眼球信息進(jìn)行視線矢量修正處理。這樣，在校準(zhǔn)處理中，由校準(zhǔn)處理單元214獲取至少包括用戶的視線矢量和用戶沿其觀看顯示單元110的顯示面的方向之間的相關(guān)性的與用戶眼球有關(guān)的眼球信息。
[0095]將簡(jiǎn)要描述在校準(zhǔn)處理中獲取眼球信息的具體順序。在校準(zhǔn)處理中，首先在顯示單元110的顯示面上顯示以重疊方式在內(nèi)容上顯示標(biāo)記的校準(zhǔn)圖像。然后，由用戶進(jìn)行將視線引向校準(zhǔn)圖像上的該標(biāo)記的動(dòng)作，并且由視線檢測(cè)處理單元213計(jì)算已經(jīng)將其視線引向該標(biāo)記的用戶的視線矢量。校準(zhǔn)處理單元214可以通過從視線檢測(cè)處理單元213接收與視線矢量有關(guān)的信息來獲取該標(biāo)記在顯示面上的坐標(biāo)和計(jì)算出的用戶視線矢量之間的相關(guān)性，作為眼球信息。
[0096]校準(zhǔn)處理單元214可以通過向和從顯示控制單元211和視線檢測(cè)處理單元213發(fā)送和接收各種信息、與驅(qū)動(dòng)控制有關(guān)的指令等進(jìn)行校準(zhǔn)處理。具體來說，校準(zhǔn)處理單元214可以向顯示控制單元211提供在顯示單元110的顯示面上顯示校準(zhǔn)圖像的指令。當(dāng)顯示校準(zhǔn)圖像時(shí)，校準(zhǔn)處理單元214可以指定標(biāo)記在顯示單元110的顯示面上的坐標(biāo)。校準(zhǔn)處理單元214還可以向視線檢測(cè)處理單元213提供進(jìn)行視線矢量計(jì)算處理的指令，并且接收由視線檢測(cè)處理單元213計(jì)算出的與視線矢量有關(guān)的信息。
[0097]如上所述，通過校準(zhǔn)處理獲取的眼球信息是對(duì)用戶唯一的信息，并且當(dāng)用戶是成年人時(shí)，對(duì)同一用戶是幾乎不變的信息。因此，在本實(shí)施例中，不必對(duì)同一用戶多次進(jìn)行校準(zhǔn)處理。所獲取的眼球信息可以與用戶相關(guān)聯(lián)地存儲(chǔ)在安裝于視線檢測(cè)裝置10或成像裝置20中的存儲(chǔ)單元(未示出)中。當(dāng)以前具有使用視線檢測(cè)裝置10的經(jīng)驗(yàn)的用戶使用視線檢測(cè)裝置10時(shí)，進(jìn)行從該存儲(chǔ)單元讀取與該用戶相對(duì)應(yīng)的參數(shù)數(shù)據(jù)的處理來代替校準(zhǔn)處理。當(dāng)進(jìn)行存儲(chǔ)眼球信息的處理和讀取眼球信息的處理時(shí)，可以只針對(duì)新用戶進(jìn)行校準(zhǔn)處理，因此用戶的方便性被提高。
[0098]已經(jīng)參照?qǐng)D3詳細(xì)描述了根據(jù)本實(shí)施例的視線檢測(cè)裝置10的總體配置以及與視線檢測(cè)裝置10連接到的成像裝置20的信息交換。
[0099]在本實(shí)施例中，如上所述，第二光路包括在第一光路中包括的光學(xué)構(gòu)件180。也就是說，來自眼球500的反射光穿過包括在第一光路中的光學(xué)構(gòu)件并且入射到成像單元160上。然后，由視線檢測(cè)處理單元213基于沿著第二光路并且入射到成像單元160上的光在顯示單元110的顯示面上進(jìn)行視線檢測(cè)處理。因此，可以進(jìn)一步提高顯示面上的視線檢測(cè)精度。
[0100]在本實(shí)施例中，如上所述，基于觀察狀態(tài)信息的光源190的驅(qū)動(dòng)條件和對(duì)用戶唯一的信息，如眼球信息，可以與用戶相關(guān)聯(lián)地存儲(chǔ)在存儲(chǔ)單元等中。在視線檢測(cè)處理中可以根據(jù)需要讀取并使用該驅(qū)動(dòng)條件或眼球信息。為了實(shí)現(xiàn)存儲(chǔ)驅(qū)動(dòng)條件和眼球信息的處理和讀取驅(qū)動(dòng)條件和眼球信息的處理，視線檢測(cè)裝置10或者成像裝置20可以具有登記用戶的功能或者選擇登記用戶的功能。代替選擇用戶的功能，視線檢測(cè)裝置10或者成像裝置20可以具有各種個(gè)人認(rèn)證功能或者個(gè)體識(shí)別功能，使得可以自動(dòng)認(rèn)出用戶。作為個(gè)人認(rèn)證或者個(gè)體識(shí)別，例如，可以采用各種生物認(rèn)證，如指紋認(rèn)證、血管認(rèn)證以及基于由成像單元160捕獲的用戶眼球500的捕獲圖像的虹膜認(rèn)證。例如，當(dāng)使用視線檢測(cè)裝置10時(shí)，進(jìn)行在預(yù)先登記的多個(gè)用戶當(dāng)中選擇一個(gè)用戶的處理、該用戶的個(gè)人認(rèn)證處理或者該用戶的個(gè)體識(shí)別處理，從而可以自動(dòng)進(jìn)行讀取與所選擇或認(rèn)出的用戶相對(duì)應(yīng)的驅(qū)動(dòng)條件和眼球信息的處理?？刂茊卧?10可以具有控制每個(gè)構(gòu)成元件的功能或者各種信息處理功能，以進(jìn)行上述個(gè)人認(rèn)證處理或個(gè)體識(shí)別處理、讀取對(duì)用戶唯一的信息的處理等。
[0101]上文已經(jīng)描述了安裝于成像裝置20中的控制單元210控制成像裝置20中的各種處理并且控制包括視線檢測(cè)處理的視線檢測(cè)裝置10中的各種處理的情況，但是本實(shí)施例不局限于該例子。在本實(shí)施例中，控制單元210的功能可以任意地分成多個(gè)單元，這些單元可以安裝在多個(gè)裝置中。例如，視線檢測(cè)裝置10可以包括單獨(dú)的控制單元，并且該控制單元可以控制根據(jù)本實(shí)施例的視線檢測(cè)處理的各種處理。因此，在本實(shí)施例中，視線檢測(cè)裝置10和成像裝置20可以分別包括控制單元，并且可以由每個(gè)裝置中安裝的控制單元控制每個(gè)裝置中的各種處理。例如，視線檢測(cè)裝置10和成像裝置20可以以有線或無線方式連接到另一個(gè)裝置(例如，信息處理裝置，如PC或服務(wù)器)以與該另外裝置通信，并且可以由該另外裝置中安裝的控制單元控制根據(jù)本實(shí)施例的視線檢測(cè)處理的各種處理。在本實(shí)施例中，如上文舉例說明的，可以進(jìn)行上述視線檢測(cè)處理的各種處理，并且用于實(shí)現(xiàn)該視線檢測(cè)處理的具體配置不局限于圖3中例示的配置。例如，視線檢測(cè)裝置10和成像裝置20可以整體配置為一個(gè)裝置?？刂茊卧?10、安裝在上述視線檢測(cè)裝置10中的單獨(dú)控制單元和安裝在另外裝置中的控制單元可以例如由各種處理電路來配置，如中央處理單元(CPU)、數(shù)字信號(hào)處理器(DSP)或者微計(jì)算機(jī)(微控制器)。
[0102]〈3.視線檢測(cè)處理的細(xì)節(jié)〉
[0103]接下來描述根據(jù)本實(shí)施例的視線檢測(cè)處理的細(xì)節(jié)。下面首先在[3-1.視線矢量計(jì)算處理]中描述由上述視線檢測(cè)處理單元213進(jìn)行的視線矢量計(jì)算處理。然后在[3-2.光源驅(qū)動(dòng)控制]中描述在視線矢量計(jì)算處理中獲取用戶眼球的捕獲圖像時(shí)基于預(yù)定驅(qū)動(dòng)控制對(duì)光源的驅(qū)動(dòng)控制。進(jìn)而在[3-3.校準(zhǔn)處理]中描述由校準(zhǔn)處理單元214進(jìn)行的校準(zhǔn)處理。最后，在[3-4.基于虹膜認(rèn)證讀取唯一用戶信息的處理]中描述，如校準(zhǔn)處理的結(jié)果，在讀取對(duì)用戶唯一的信息時(shí)的虹膜認(rèn)證。
[0104][3-1.視線矢量計(jì)算處理]
[0105]首先，參照?qǐng)D4描述由視線檢測(cè)處理單元213進(jìn)行的視線矢量計(jì)算處理。如上所述，在根據(jù)本實(shí)施例的視線矢量計(jì)算處理中使用瞳孔角膜反射方法。圖4是示出根據(jù)本實(shí)施例的使用瞳孔角膜反射方法的視線矢量計(jì)算處理的示例圖。
[0106]圖4示出從光源520向觀察顯示面530的用戶的眼球500照射光并且由成像單元510拍攝眼球500的情況。
[0107]在圖4中，在眼球500的結(jié)構(gòu)中示意性示出角膜501、虹膜502和瞳孔503。眼球500對(duì)應(yīng)于圖2A和圖3中所示的眼球500。向根據(jù)本實(shí)施例的視線檢測(cè)裝置10中觀看的用戶的眼球被示出。顯示面530對(duì)應(yīng)于圖1、圖2A和圖3中所示的顯示單元110的顯示面111。在顯示面530上顯示內(nèi)容，例如，成像裝置200中的直通圖像。用戶正在觀看其上顯示該內(nèi)容的顯示面530，并且用戶的視線，即，眼球500的方向，朝向顯示面530上的預(yù)定區(qū)域。
[0108]如前述〈2.視線檢測(cè)裝置的配置〉中描述的，通過以瞳孔角膜反射方法基于Purkinje圖像和包含在眼球500的捕獲圖像中的瞳孔的圖像計(jì)算表示眼球方向(轉(zhuǎn)動(dòng)角度)的視線矢量來檢測(cè)用戶的視線。為了計(jì)算視線矢量，首先從光源520向觀察顯示面530的用戶的眼球500照射光。光源520示意性地表示圖2B中所示的LED141至148中的一個(gè)。在圖4中，用箭頭示意性地表示從光源520照射的光的光路。
[0109]之后，當(dāng)成像單元510檢測(cè)到，作為從光源520照射到眼球500的光的反射光，從眼球500反射的光時(shí)，拍攝眼球500的捕獲圖像。成像單元510對(duì)應(yīng)于圖1、圖2A和圖3中所示的成像單元160。在圖4中，由成像單元510拍攝的捕獲圖像的例子被示出為捕獲圖像540。在圖4中所示的例子中，捕獲圖像540是當(dāng)用戶的眼睛基本朝向前方時(shí)拍攝的捕獲圖像，并且拍攝眼球500的角膜501、虹膜502和瞳孔503。在捕獲圖像540中拍攝作為從光源520向眼球500照射的照射光的光斑的Purkinje圖像504。
[0110]之后，基于捕獲圖像540進(jìn)行視線矢量計(jì)算處理。首先，從捕獲圖像540檢測(cè)瞳孔503的圖像。在檢測(cè)瞳孔503的圖像的處理中，可以采用通常所知的圖像識(shí)別技術(shù)。例如，在檢測(cè)瞳孔503的圖像的處理中，可以進(jìn)行一系列處理，如對(duì)捕獲圖像540的各種圖像處理(例如，調(diào)節(jié)變形、黑色電平、白平衡等的處理)、獲取捕獲圖像540中的亮度分布的處理、基于亮度分布檢測(cè)瞳孔503的圖像的輪廓(邊緣)的處理以及將檢測(cè)到瞳孔503的圖像的輪廓近似為諸如圓形或橢圓的圖形的處理。
[0111]之后，從捕獲圖像540檢測(cè)Purkinje圖像504。在檢測(cè)Purkinje圖像504的處理中，可以如檢測(cè)瞳孔中心S的處理中那樣，采用通常所知的圖像識(shí)別技術(shù)。例如，在檢測(cè)Purkinje圖像504的處理中，可以基于亮度分布進(jìn)行一系列處理，如對(duì)捕獲圖像540的各種圖像處理、獲取捕獲圖像540中的亮度分布的處理以及檢測(cè)具有與相鄰像素的亮度值顯著不同的亮度值的像素的處理。還從檢測(cè)到的Purkinje圖像504檢測(cè)表示Purkinje圖像504的中心點(diǎn)的Purkinje點(diǎn)P。
[0112]之后，計(jì)算瞳孔中心S和角膜501的角膜曲率中心C(角膜501被視為球體的一部分時(shí)的球心)的三維坐標(biāo)?；趶牟东@圖像540檢測(cè)到的瞳孔503的圖像計(jì)算瞳孔中心S的三維坐標(biāo)。具體來說，通過基于諸如成像單元510和眼球500之間的位置關(guān)系、角膜501的表面上的光折射以及角膜501的角膜曲率中心C和瞳孔中心S之間的距離等參數(shù)，計(jì)算捕獲圖像540中瞳孔503的圖像輪廓上每一點(diǎn)的三維坐標(biāo)并且獲得坐標(biāo)的中心來計(jì)算瞳孔中心S的三維坐標(biāo)?；趶牟东@圖像540檢測(cè)到的Purkinje圖像504和Purkinje點(diǎn)P計(jì)算角膜501的角膜曲率中心C。具體來說，通過基于諸如成像單元510、光源520和眼球500之間的位置關(guān)系以及角膜501的曲率半徑等參數(shù)，計(jì)算連接成像單元510和眼球500內(nèi)部的Purkinje點(diǎn)P的直線的延長(zhǎng)線上從角膜501的表面前進(jìn)角膜501的曲率半徑(角膜501被視為球體的一部分時(shí)的球的曲率半徑)的點(diǎn)的坐標(biāo)，來計(jì)算角膜501的角膜曲率中心C的三維坐標(biāo)。由于在通常的瞳孔角膜反射方法中使用的已知方法可被應(yīng)用于根據(jù)本實(shí)施例的計(jì)算瞳孔中心S和角膜501的角膜曲率中心C的三維坐標(biāo)的處理，所以省略詳細(xì)描述。
[0113]之后，通過計(jì)算從角膜501的角膜曲率中心C指向瞳孔中心S的矢量來計(jì)算視線矢量550。通過預(yù)先獲取顯示面530和眼球500之間的位置關(guān)系，可以獲得視線矢量550的延長(zhǎng)線與顯示面530相交的區(qū)域531的坐標(biāo)。因此，區(qū)域531是表示顯示面530上的用戶視線的區(qū)域。
[0114]圖3中所示的并且在前述〈2.視線檢測(cè)裝置的配置 > 中描述的視線檢測(cè)處理單元213可以通過進(jìn)行上述處理中的每一個(gè)來計(jì)算表示用戶的眼球500的方向的視線矢量550，并且檢測(cè)與顯示面530 (即，圖3中所示的顯示單元110的顯示面)上的視線矢量550相對(duì)應(yīng)的區(qū)域的坐標(biāo)(即，圖4中所示的區(qū)域531在顯示面530上的坐標(biāo))。
[0115]然而,對(duì)于人類，已知眼球朝向的方向(即，視線矢量550表不的方向)不一定與人實(shí)際視線觀看的方向一致。這是由眼球的形狀或尺寸(例如，角膜501的角膜曲率中心C和瞳孔中心S之間的距離或者角膜501的曲率半徑)、眼球中的視網(wǎng)膜或視覺神經(jīng)的結(jié)構(gòu)等引起的，因此存在個(gè)體差異。因此，在基于用戶的視線矢量550推斷的用戶的視線和用戶實(shí)際沿其觀看顯示面的方向之間存在對(duì)用戶唯一的誤差。在本實(shí)施例中，考慮到這種情況，針對(duì)每個(gè)用戶進(jìn)行校準(zhǔn)處理，以獲取至少包括視線矢量550和用戶實(shí)際沿其觀看顯示面530的方向之間的相關(guān)性的與用戶的眼球500有關(guān)的眼球信息。然后，通過基于所獲取的作為對(duì)用戶唯一的信息的眼球信息進(jìn)行修正視線矢量550的處理來檢測(cè)用戶的視線。因此，在本實(shí)施例中，能夠以較高的精度進(jìn)行視線檢測(cè)處理。
[0116][3-2.光源驅(qū)動(dòng)控制]
[0117]接下來描述在視線矢量計(jì)算處理中獲取用戶眼球的捕獲圖像時(shí)基于預(yù)定的驅(qū)動(dòng)條件對(duì)光源的驅(qū)動(dòng)控制。如前述〈1.視線檢測(cè)裝置的外觀和總體配置〉和〈2.視線檢測(cè)裝置的配置〉中描述的，如圖2B中所示，多個(gè)LED141至148被設(shè)置為本實(shí)施例中的光源。由圖3中所示的光源驅(qū)動(dòng)控制單元212基于預(yù)定的驅(qū)動(dòng)條件選擇性地控制LED141至148的驅(qū)動(dòng)。
[0118]將參照?qǐng)D5A至圖5F描述光源驅(qū)動(dòng)控制單元212對(duì)LED141至148的驅(qū)動(dòng)控制。圖5A至圖5F是用于描述根據(jù)本實(shí)施例的視線檢測(cè)處理中對(duì)光源的驅(qū)動(dòng)控制的示例圖。在圖5A至圖5F中，示意性示出圖1、圖2A和圖2B中所示的光源基板140和LED141至158，并且示出在對(duì)LED141至148的驅(qū)動(dòng)控制中可以進(jìn)行的LED141至148的光發(fā)射模式。在圖5A至圖5F中，用影線表示LED141至148當(dāng)中發(fā)光的LED，S卩，向用戶的眼球照射光的LED。
[0119]參考圖5A，LED141至148都沒被驅(qū)動(dòng)的光發(fā)射模式被示出。例如，當(dāng)不進(jìn)行視線檢測(cè)處理時(shí)，光源驅(qū)動(dòng)控制單元212在圖5A中所示的驅(qū)動(dòng)條件下驅(qū)動(dòng)LED141至148。當(dāng)不進(jìn)行視線檢測(cè)處理時(shí)，由于不驅(qū)動(dòng)LED141至148這一事實(shí)，功率消耗被減小。
[0120]參考圖5B，LED141至148中只有一個(gè)LED被驅(qū)動(dòng)的光發(fā)射模式被示出。在圖5B中所示的例子中，LED141至148當(dāng)中只有LED142被驅(qū)動(dòng)。這樣，光源驅(qū)動(dòng)控制單元212可以選擇性地驅(qū)動(dòng)多個(gè)LED141至148當(dāng)中的任一個(gè)LED。
[0121]參考圖5C和圖5D，LED141至148中只有兩個(gè)LED被驅(qū)動(dòng)的光發(fā)射模式被示出。在圖5C中所示的例子中，LED141至148當(dāng)中只有位于豎直方向上的LED142和146被驅(qū)動(dòng)。在圖中所示的例子中，LED141至148當(dāng)中只有位于水平方向上的LED144和148被驅(qū)動(dòng)。因此，光源驅(qū)動(dòng)控制單元212可以通過只驅(qū)動(dòng)位于關(guān)于用戶眼球的豎直方向上的兩個(gè)LED或者只驅(qū)動(dòng)位于關(guān)于用戶眼球水平方向上的兩個(gè)LED，使得在關(guān)于用戶眼球?qū)ΨQ的兩個(gè)方向上照射光。
[0122]參考圖5E和圖5F，LED141至148當(dāng)中只有四個(gè)LED被驅(qū)動(dòng)的光發(fā)射模式被示出。在圖5E中所示的例子中，LED141至148當(dāng)中只有位于垂直和水平方向上的LED142、144、146和148被驅(qū)動(dòng)。在圖5F中所示的例子中，LED141至148當(dāng)中只有位于基本矩形的開口149的頂點(diǎn)附近的LED141、143、145和147被驅(qū)動(dòng)。因此，光源驅(qū)動(dòng)控制單元212可以通過只驅(qū)動(dòng)位于關(guān)于用戶眼球的豎直方向和水平方向上的四個(gè)LED或者只驅(qū)動(dòng)關(guān)于用戶眼球的傾斜方向上的四個(gè)LED，使得在關(guān)于用戶眼球?qū)ΨQ的四個(gè)方向上照射光。
[0123]在此，如前述[3-1.視線矢量計(jì)算處理]中參照?qǐng)D4描述的，在視線矢量計(jì)算處理中基于由光源520照射的光形成的Purkinje圖像504計(jì)算角膜501的角膜曲率中心C的三維坐標(biāo)。在圖4中所示的例子中，基于由一個(gè)光源520照射的光形成的一個(gè)Purkinje圖像504進(jìn)行該計(jì)算處理。然而，當(dāng)存在多個(gè)Purkinje圖像時(shí),可以針對(duì)每個(gè)Purkinje圖像進(jìn)行計(jì)算角膜501的角膜曲率中心C的三維坐標(biāo)的處理。然后，可以通過獲得基于Purkinje圖像的計(jì)算結(jié)果的平均值、中值等，計(jì)算角膜501的角膜曲率中心C的最終三維坐標(biāo)。因此，通過使用多個(gè)不同的Purkinje圖像，可以進(jìn)一步提高計(jì)算出的角膜501的角膜曲率中心C的三維坐標(biāo)的精度。在本實(shí)施例中，例如，如圖5C至圖5F中所示，可以通過驅(qū)動(dòng)多個(gè)LED141至148來形成多個(gè)不同Purkinje圖像。因此，可以進(jìn)一步提高計(jì)算出的角膜501的角膜曲率中心C的三維坐標(biāo)的精度。
[0124]在本實(shí)施例中，如圖2B和圖5A到5F中所示，沿著開口 149的邊緣安裝LED141至148。因此，在相對(duì)于用戶眼球的角膜的大致前側(cè)，即，在靠近用戶眼球的視軸(視線矢量的方向)的方向上照射光。通過在靠近用戶眼球的視軸的方向上照射光，并且根據(jù)照射光從眼球反射的光獲取眼球的捕獲圖像，可以在大致前側(cè)拍攝眼球。因此，由于眼球的捕獲圖像的中心附近的變形等被減小，所以可以進(jìn)一步提高瞳孔圖像的檢測(cè)精度。
[0125]在本實(shí)施例中，可以根據(jù)與用戶觀察顯示面的狀態(tài)有關(guān)的觀察狀態(tài)信息設(shè)置作為光源的LED141至148的驅(qū)動(dòng)條件。在此，觀察狀態(tài)信息是對(duì)用戶唯一的信息，并且包括與用戶眼睛的形狀有關(guān)的信息、與用戶是否佩戴眼鏡有關(guān)的信息和與用戶沿其觀察視線檢測(cè)裝置10的顯示面的方向有關(guān)的信息中的至少一個(gè)。
[0126]與用戶眼睛的形狀有關(guān)的信息包括例如與眼球、角膜和眼瞼的尺寸或形狀以及眼球和角膜之間的位置關(guān)系、比例等有關(guān)的信息。前述[3-1.視線矢量計(jì)算處理]中已經(jīng)描述了計(jì)算角膜501的角膜曲率中心C的處理。然而，考慮到計(jì)算原則，捕獲圖像540中的Purkinje圖像504優(yōu)選位于角膜501。眼睛的形狀存在個(gè)體差異。例如，當(dāng)從一個(gè)光源照射光時(shí)，根據(jù)光源和眼球之間的位置關(guān)系，在有些情況下，Purkinje圖像504可能不位于角膜501。例如，當(dāng)用戶具有相對(duì)薄的眼睛形狀時(shí)，根據(jù)眼瞼的形狀，從安裝在預(yù)定位置處的一個(gè)光源照射的光可能被認(rèn)為被眼瞼阻擋，并且該光可能不會(huì)適當(dāng)?shù)卣丈涞接脩舻难矍?。因此，在本?shí)施例中，如圖5A至圖5F中所示，選擇性地驅(qū)動(dòng)關(guān)于眼球設(shè)置在不同位置處的多個(gè)LED141至148。因此，可以根據(jù)與用戶眼睛的形狀有關(guān)的信息適當(dāng)選擇要被驅(qū)動(dòng)的LED141至148，使得Purkinje圖像504位于適當(dāng)位置。因此，在本實(shí)施例中，由于可以根據(jù)與用戶眼睛的形狀有關(guān)的信息進(jìn)行光源的驅(qū)動(dòng)控制，所以在角膜501上可靠地檢測(cè)到Purkinje圖像 504。
[0127]例如，當(dāng)用戶佩戴眼鏡并且光從光源照射到他或她的眼球時(shí)，由于來自眼鏡的透鏡的反射光，可能難以從他或她的眼球的捕獲圖像檢測(cè)他或她的瞳孔的圖像或者Purkinje圖像。而在本實(shí)施例中，例如，如圖5A至圖5F中所示，通過選擇性地驅(qū)動(dòng)關(guān)于眼球設(shè)置在不同位置處的多個(gè)LED141至148來實(shí)現(xiàn)多種光發(fā)射模式。因此，在該視線矢量計(jì)算處理中，可以在多種光發(fā)射模式中適當(dāng)選擇來自眼鏡的透鏡的光反射對(duì)瞳孔圖像或Purkinje圖像的檢測(cè)具有相對(duì)較小影響的光發(fā)射模式。由于優(yōu)選的光發(fā)射模式根據(jù)眼鏡框、透鏡等的形狀而不同，所以可以針對(duì)每個(gè)用戶設(shè)置實(shí)現(xiàn)最佳光發(fā)射模式的LED141至148的驅(qū)動(dòng)條件。例如，通過實(shí)際使LED141至148依次向佩戴眼鏡的用戶發(fā)射光來指定妨礙檢測(cè)瞳孔圖像或Purkinje圖像的LED141至148的位置，從而搜索到最佳光發(fā)射模式。當(dāng)以最佳光發(fā)射模式驅(qū)動(dòng)的LED141至148的數(shù)量小并且光量不足時(shí)，可以適當(dāng)?shù)剡M(jìn)行增加驅(qū)動(dòng)用于LED的輸出或者增加成像單元160的曝光或增益的處理。當(dāng)可以根據(jù)用戶是否佩戴眼鏡在某種程度上設(shè)置相當(dāng)適當(dāng)?shù)墓獍l(fā)射模式時(shí)，可以預(yù)先設(shè)置用于在佩戴眼鏡時(shí)實(shí)現(xiàn)相當(dāng)適當(dāng)?shù)墓獍l(fā)射模式的驅(qū)動(dòng)條件以及用于在用裸眼觀看時(shí)實(shí)現(xiàn)相當(dāng)適當(dāng)?shù)墓獍l(fā)射模式的驅(qū)動(dòng)條件，并且可以根據(jù)與用戶是否佩戴眼鏡有關(guān)的信息，從這些驅(qū)動(dòng)條件中選擇適當(dāng)?shù)墓獍l(fā)射模式。因此，在本實(shí)施例中，由于可以根據(jù)與用戶是否佩戴眼鏡有關(guān)的信息進(jìn)行光源的驅(qū)動(dòng)控制，所以能夠以較高的精度從眼球的捕獲圖像檢測(cè)瞳孔圖像或Purkinje圖像。
[0128]例如，當(dāng)根據(jù)本實(shí)施例的視線檢測(cè)裝置10是連接到成像裝置20的EVF時(shí)，由于用戶沿其觀察視線檢測(cè)裝置10的顯示面的方向根據(jù)用戶是在橫向方向還是在縱向方向抓握成像裝置20而改變，所以用戶和光源之間的位置關(guān)系可能改變。例如，當(dāng)用戶在橫向方向上抓握成像裝置20時(shí)，圖1中所示的視線檢測(cè)裝置10的y軸方向?qū)τ脩魜碚f可能成為豎直方向。而當(dāng)用戶在縱向方向上抓握成像裝置20時(shí)，對(duì)用戶來說豎直方向和水平方向之間的關(guān)系可能顛倒，并且圖1中所示的視線檢測(cè)裝置10的X軸方向?qū)τ脩魜碚f可能成為豎直方向。因此，當(dāng)用戶沿其觀察視線檢測(cè)裝置10的顯示面的方向改變時(shí)，用戶的眼睛和LED141至148之間的位置關(guān)系改變，因此LED141至148的適當(dāng)驅(qū)動(dòng)條件也可能改變。在本實(shí)施例中，可以適當(dāng)?shù)剡x擇要被驅(qū)動(dòng)的LED141至148，使得可以根據(jù)與用戶沿其觀察視線檢測(cè)裝置10的顯示面的方向有關(guān)的信息適當(dāng)?shù)剡M(jìn)行視線矢量計(jì)算處理。例如，通過安裝用于檢測(cè)視線檢測(cè)裝置10或成像裝置20的姿態(tài)的傳感器裝置，可以基于由該傳感器裝置檢測(cè)到的視線檢測(cè)裝置10的姿態(tài)獲取與用戶沿其觀察視線檢測(cè)裝置10的顯示面的方向有關(guān)的信肩、O
[0129]在本實(shí)施例中，如上所述，可以基于作為對(duì)用戶唯一的信息的觀察狀態(tài)信息，針對(duì)每個(gè)用戶適當(dāng)?shù)卦O(shè)置光源的最佳驅(qū)動(dòng)條件。因此，通過基于觀察狀態(tài)信息針對(duì)每個(gè)用戶設(shè)置光源的最佳驅(qū)動(dòng)條件，視線矢量計(jì)算處理的精度被進(jìn)一步提高，并且視線檢測(cè)處理的精度被進(jìn)一步提高?？梢酝ㄟ^在依次改變要被驅(qū)動(dòng)的LED141至148的組合或者照射光的強(qiáng)度的同時(shí)實(shí)際進(jìn)行視線檢測(cè)處理并且比較檢測(cè)結(jié)果，在根據(jù)本實(shí)施例的視線檢測(cè)處理期間或之前獲取基于觀察狀態(tài)信息的針對(duì)每個(gè)用戶的光源的最佳驅(qū)動(dòng)條件。當(dāng)在視線檢測(cè)處理期間獲取LED141至148的驅(qū)動(dòng)條件時(shí)，可以在視線檢測(cè)處理(視線矢量計(jì)算處理)期間基于所獲取的驅(qū)動(dòng)條件動(dòng)態(tài)改變LED的驅(qū)動(dòng)條件。
[0130][3-3.校準(zhǔn)處理]
[0131]接下來，詳細(xì)描述由校準(zhǔn)處理單元214進(jìn)行的校準(zhǔn)處理。如前述〈2.視線檢測(cè)裝置的配置 > 中描述的，在校準(zhǔn)處理中獲取至少包括用戶的視線矢量和用戶沿其觀看顯示單元110的顯示面的方向之間的相關(guān)性的與用戶的眼球有關(guān)的眼球信息。具體來說，在根據(jù)本實(shí)施例的校準(zhǔn)處理中，在視線檢測(cè)裝置10的顯示單元110的顯示面上顯示校準(zhǔn)圖像，在該校準(zhǔn)圖像中，在內(nèi)容上疊加并顯示標(biāo)記。然后，當(dāng)在視線被引向該標(biāo)記的同時(shí)視線檢測(cè)處理單元213計(jì)算用戶的視線矢量時(shí)，獲取用戶的視線矢量和該標(biāo)記在顯示面上的顯示位置的坐標(biāo)之間的相關(guān)性。
[0132]將參照?qǐng)D6A至圖6C描述校準(zhǔn)處理的細(xì)節(jié)。圖6A至圖6C是用于描述根據(jù)本實(shí)施例的校準(zhǔn)處理的示例圖。
[0133]參考圖6A至圖6C，在執(zhí)行校準(zhǔn)處理時(shí)用戶觀察的顯示面610被示出。顯示面610對(duì)應(yīng)于圖1、圖2A和圖3中所示的視線檢測(cè)裝置10的顯示單元110的顯示面111?？梢愿鶕?jù)來自校準(zhǔn)處理單元214的指令，由圖3中所示的顯示控制單元211控制執(zhí)行校準(zhǔn)處理時(shí)顯示面610的顯示。
[0134]圖6A示出校準(zhǔn)處理之前的步驟的顯示面610。在校準(zhǔn)處理之前的該步驟，在顯示面610上顯示直通圖像611。
[0135]圖6B示出校準(zhǔn)處理執(zhí)行期間的顯示面610。在校準(zhǔn)處理執(zhí)行期間，在顯示面610上顯示校準(zhǔn)圖像。在校準(zhǔn)圖像中，以暗狀態(tài)(亮度降低的狀態(tài))在顯示面610上顯示直通圖像611。在校準(zhǔn)圖像中，在暗直通圖像611上依次顯示標(biāo)記612a至612e。例如，標(biāo)記612a至612e被顯示為具有預(yù)定面積的光斑。當(dāng)在校準(zhǔn)圖像中以暗狀態(tài)顯示直通圖像611時(shí)，用戶可以將他或她的視線引向標(biāo)記612a至612e而不被直通圖像611分散注意力，因此能夠有效地進(jìn)行校準(zhǔn)處理。在校準(zhǔn)圖像中，可以暫時(shí)不顯示直通圖像611，并且可以在顯示面610上只依次顯示標(biāo)記612a至612e。
[0136]具體來說，當(dāng)校準(zhǔn)處理開始時(shí)，根據(jù)來自校準(zhǔn)處理單元214的指令，首先在顯示面610上顯示校準(zhǔn)圖像，在該校準(zhǔn)圖像中，標(biāo)記612a疊加在暗直通圖像611上。校準(zhǔn)處理單元214可以指示顯示控制單元211在顯示面610上顯示標(biāo)記612a的坐標(biāo)。例如,如圖6B中所示，標(biāo)記612a顯示在顯示面610的大致中心處。當(dāng)標(biāo)記612a被顯示時(shí),用戶進(jìn)行將他或她的視線引向標(biāo)記612a的動(dòng)作。由視線檢測(cè)處理單元213計(jì)算視線被引向標(biāo)記612a時(shí)用戶的視線矢量，并且將計(jì)算結(jié)果發(fā)送到校準(zhǔn)處理單元214。由于校準(zhǔn)處理單元214具有與標(biāo)記612a在顯示面610上的顯示位置的坐標(biāo)有關(guān)的信息，所以校準(zhǔn)處理單元214可以獲取用戶的視線矢量和用戶實(shí)際觀看到的標(biāo)記612a在顯示面610上的顯示位置的坐標(biāo)之間的相關(guān)性。
[0137]當(dāng)關(guān)于標(biāo)記612a的前述相關(guān)性被獲取時(shí)，根據(jù)來自校準(zhǔn)處理單元214的指令改變顯示面619的顯示。具體來說,標(biāo)記612a的顯示從顯示面610消失,并且新顯示標(biāo)記612b。在圖6B中所示的例子中，標(biāo)記612b顯示在顯示面610的上側(cè)的大致中心附近。然后，如標(biāo)記612a的情況中那樣，校準(zhǔn)處理單元214獲取關(guān)于標(biāo)記612b的用戶的視線矢量和標(biāo)記612b在顯示面610上的顯示位置的坐標(biāo)之間的相關(guān)性。
[0138]之后，同樣地,依次顯示標(biāo)記612c、612d和612e,并且校準(zhǔn)處理單元214針對(duì)每個(gè)標(biāo)記獲取基于用戶眼球方向的視線矢量和每個(gè)標(biāo)記在顯示面610上的顯示位置的坐標(biāo)之間的相關(guān)性。在圖6B中所示的例子中，標(biāo)記612c、612d和612e顯示在顯示面610的右側(cè)、下側(cè)和左側(cè)的大致中心附近。當(dāng)校準(zhǔn)處理單元214獲取關(guān)于標(biāo)記612a至612e每一個(gè)的相關(guān)性時(shí)，校準(zhǔn)處理結(jié)束。如圖6B中所示，通過在顯示面610的大致中心和各側(cè)附近顯示標(biāo)記612a?612e，獲取顯示面610的幾乎整個(gè)區(qū)域上的相關(guān)性，因此視線檢測(cè)的精度被進(jìn)一步提聞。
[0139]如圖6C中所示，當(dāng)校準(zhǔn)處理結(jié)束時(shí)，顯示面610的顯示回到正常亮度的直通圖像611。在校準(zhǔn)處理結(jié)束之后，通過基于在校準(zhǔn)處理中獲取的相關(guān)性適當(dāng)修正用戶的視線矢量來檢測(cè)顯示面610上用戶的視線。具體來說，視線檢測(cè)處理單元213可以進(jìn)行將從顯示面610上用戶的視線矢量推定的坐標(biāo)修正為用戶在顯示面610上實(shí)際觀看到的坐標(biāo)的處理。如圖6C中所示，例如，表示用戶視線的標(biāo)記613可以顯示在與經(jīng)過修正處理的顯示面610上用戶的視線相對(duì)應(yīng)的區(qū)域中。
[0140]上文已經(jīng)參照?qǐng)D6A至圖6C描述了根據(jù)本實(shí)施例的校準(zhǔn)處理的細(xì)節(jié)。如上所述，在根據(jù)本實(shí)施例的校準(zhǔn)處理中，例如，多個(gè)標(biāo)記612a至612e依次顯示在顯示面610的不同位置處，并且關(guān)于每個(gè)標(biāo)記612a至612e獲取用戶的視線矢量和每個(gè)標(biāo)記612a至612e在顯示面610上的顯示位置的坐標(biāo)之間的相關(guān)性。由于根據(jù)眼球的形狀或尺寸該相關(guān)性具有不同的值，所以該相關(guān)性是對(duì)用戶唯一的信息。在本實(shí)施例中，通過基于至少包括該相關(guān)性的與用戶的眼球有關(guān)的眼球信息進(jìn)行修正視線矢量的處理來檢測(cè)顯示面610上用戶的視線。因此，由于考慮到用戶的個(gè)體差異進(jìn)行視線檢測(cè)處理，所以視線檢測(cè)的精度被進(jìn)一步提高。眼球信息可以包括表示用戶眼球結(jié)構(gòu)的各種參數(shù)(例如，角膜的角膜曲率中心C和瞳孔中心S之間的距離以及角膜的曲率半徑)。這些參數(shù)是具有對(duì)用戶唯一的數(shù)值并且在視線矢量計(jì)算處理中使用的參數(shù)。在視線矢量修正處理中，可以進(jìn)一步進(jìn)行基于這些參數(shù)修正計(jì)算出的視線矢量的處理。
[0141]在圖6B中所示的校準(zhǔn)圖像中，標(biāo)記612a至612e的顯示可以被控制為使得當(dāng)用戶將他或她的視線引向標(biāo)記612a至612e時(shí)標(biāo)記612a至612e的顏色改變。當(dāng)標(biāo)記612a至612e的顏色改變時(shí)，用戶可以識(shí)別出他或她的視線當(dāng)前正被檢測(cè)。例如，可以由視線檢測(cè)處理單元213基于在眼球的捕獲圖像中用戶眼球的運(yùn)動(dòng)停止進(jìn)行與用戶是否將他或她的視線引向標(biāo)記612a至612e的判斷，作為標(biāo)記612a至612e的顏色改變的標(biāo)準(zhǔn)。
[0142]在圖6B中所示的例子中，在校準(zhǔn)處理中使用五個(gè)標(biāo)記612a至612e，但是本實(shí)施例不局限于該例子。在本實(shí)施例中，在視線檢測(cè)處理中可以獲得預(yù)定精度，并且可以適當(dāng)設(shè)置在校準(zhǔn)處理中顯示的標(biāo)記的數(shù)量或標(biāo)記的顯示位置。
[0143][3-4.基于虹膜認(rèn)證讀取唯一用戶信息的處理]
[0144]在本實(shí)施例中，如上所述，基于觀察狀態(tài)信息和對(duì)用戶唯一的信息如眼球信息的光源190的驅(qū)動(dòng)條件可以與用戶相關(guān)聯(lián)地存儲(chǔ)在存儲(chǔ)單元等中。在視線檢測(cè)處理中可以根據(jù)需要讀取并使用對(duì)用戶唯一的信息。使用虹膜認(rèn)證的個(gè)人認(rèn)證或個(gè)體識(shí)別可應(yīng)用于讀取對(duì)用戶唯一的信息的處理中。例如，當(dāng)使用視線檢測(cè)裝置10時(shí)，使用虹膜認(rèn)證進(jìn)行用戶的個(gè)人認(rèn)證處理或個(gè)體識(shí)別處理，并且基于該處理的結(jié)果讀取對(duì)用戶唯一的相關(guān)信息。如前述[3-1.視線矢量計(jì)算處理]中描述的，在根據(jù)本實(shí)施例的視線檢測(cè)處理中，在視線矢量計(jì)算處理中由成像單元160獲取用戶的眼球500的捕獲圖像。因此，可以在個(gè)人認(rèn)證或個(gè)體識(shí)別中使用包括在捕獲圖像中的虹膜的圖像。因此，在本實(shí)施例中，可以基于由成像單元160獲取的用戶的眼球500的捕獲圖像進(jìn)行視線矢量計(jì)算處理和虹膜認(rèn)證處理二者。通過基于在視線矢量計(jì)算處理中使用的用戶的眼球500的捕獲圖像進(jìn)行虹膜認(rèn)證處理，可以進(jìn)行用戶的個(gè)人認(rèn)證或個(gè)體識(shí)別而不必提供單獨(dú)的配置。
[0145]下面簡(jiǎn)要描述虹膜認(rèn)證處理的概要。在根據(jù)本實(shí)施例的虹膜認(rèn)證處理中，例如，可以使用Daugman算法。
[0146]在根據(jù)本實(shí)施例的虹膜認(rèn)證處理中，首先從用戶眼球的捕獲圖像提取與虹膜相對(duì)應(yīng)的部分的圖像。用戶眼球的捕獲圖像可以是在視線矢量計(jì)算處理中拍攝的捕獲圖像。在與虹膜相對(duì)應(yīng)的部分的檢測(cè)中，可以使用前述[3-1.視線矢量計(jì)算處理]中描述的檢測(cè)瞳孔503的圖像或Purkinje圖像504的處理中使用的各種圖像處理方法。
[0147]接下來，基于預(yù)定的數(shù)學(xué)方法通過無損壓縮處理將所提取的虹膜部分的圖像(虹膜圖像)轉(zhuǎn)換為包括表示對(duì)用戶唯一的特征的信息的數(shù)字信息(例如，位串)。通過以這種方式對(duì)虹膜圖像進(jìn)行數(shù)學(xué)處理而產(chǎn)生的數(shù)字信息被提取作為對(duì)個(gè)體唯一的特征，并且還被稱為數(shù)字模板。作為該數(shù)字模板的位串包括基本信息，只要與其他虹膜圖像相比較可以進(jìn)行有統(tǒng)計(jì)意義的比較即可。例如,在Daugman算法中,通過利用Gabor濾波器使用小波變換，從虹膜圖像中提取具有考慮到成像單元160的性能如分辨率的預(yù)定SN比的空間頻率范圍，獲得包括虹膜圖像的局部振幅和相位信息的多個(gè)復(fù)數(shù)組。然后，基于所述多個(gè)復(fù)數(shù)組，獲取只包括表達(dá)Gabor區(qū)域的復(fù)數(shù)的符號(hào)位而不包括振幅信息的2048位的位串，作為與虹膜圖像相對(duì)應(yīng)的位串。由于通過使該位串不包括振幅信息，可以排除拍攝眼球時(shí)虹膜照度或顏色差異的影響，所以獲取長(zhǎng)時(shí)間使用的更穩(wěn)定的數(shù)字模板。
[0148]接下來，比較基于虹膜圖像獲取的位串的值與預(yù)先登記為數(shù)字模板的位串的值。當(dāng)這兩個(gè)位串的值的Hamming距離小于預(yù)定的閾值時(shí)，這兩個(gè)位串被判斷為相同?；诤缒D像獲取的位串的值可以與預(yù)先登記的多個(gè)位串的值相比較(個(gè)體識(shí)別:一對(duì)多匹配)或者可以與預(yù)先登記的并且與特定用戶相對(duì)應(yīng)的特定位串的值相比較(個(gè)人認(rèn)證:一對(duì)一匹配)。由于Daugman算法是在通常的虹膜認(rèn)證處理中廣泛使用的方法，所以在本部分中省略對(duì)Daugman算法的進(jìn)一步詳細(xì)描述。
[0149]在本實(shí)施例中，可以基于上述虹膜認(rèn)證處理指定嘗試使用視線檢測(cè)裝置10的用戶，并且可以讀取與該用戶相對(duì)應(yīng)的唯一信息。然后，使用所讀取的對(duì)該用戶唯一的信息，進(jìn)行視線矢量修正處理。
[0150]在此，該位串可以例如是以2維形式排列的位序列。通過檢測(cè)從用戶的虹膜圖像獲取的位序列和預(yù)先登記為數(shù)字模板的位序列之間的偏移量，可以計(jì)算用戶眼球的角度(方向)。在本實(shí)施例中，在視線矢量修正處理中可以進(jìn)一步使用與在虹膜認(rèn)證處理中獲得的用戶眼球的角度有關(guān)的信息。
[0151]〈4.變形例〉
[0152]接下來描述根據(jù)本實(shí)施例的視線檢測(cè)處理的變形例。在下面的[4-1.附加IR濾波器]中，將描述根據(jù)本實(shí)施例的視線檢測(cè)處理同樣地應(yīng)用于成像裝置的EVF時(shí)的其他配置例子。在下面的[4-2.應(yīng)用于可佩戴裝置]和[4-3.應(yīng)用于頭戴式顯示器]中，將描述根據(jù)本實(shí)施例的視線檢測(cè)處理應(yīng)用于其他裝置的情況。
[0153][4-1.附加IR濾波器]
[0154]在根據(jù)本實(shí)施例的視線檢測(cè)裝置的一個(gè)變形例中，來自光源的紅外光照射到用戶的眼球。在成像單元的前級(jí)安裝有屏蔽具有紅外波段以外的波長(zhǎng)的光的紅外光通過機(jī)構(gòu)。因此，來自用戶眼球的紅外光的反射光穿過紅外光通過機(jī)構(gòu)，并且隨后入射到成像單元上。因此，當(dāng)在成像單元的前級(jí)安裝有紅外光通過機(jī)構(gòu)時(shí)，防止可能是噪聲的紅外光以外的光入射到成像單元上。因此，能夠更清晰地獲取用戶眼球的捕獲圖像。
[0155]將參照?qǐng)D7描述根據(jù)本實(shí)施例的視線檢測(cè)裝置的這樣的一個(gè)變形例的具體配置。圖7是示出當(dāng)根據(jù)本實(shí)施例的視線檢測(cè)處理應(yīng)用于成像裝置的EVF時(shí)的另一個(gè)配置例子的截面圖。
[0156]參考圖7，根據(jù)本實(shí)施例的變形例的視線檢測(cè)裝置70包括顯示單元110、光路改變?cè)?20、放大器單元130、光源基板140、眼罩150、成像單元160、鉸鏈170和紅外濾波器(IR濾波器)710。在此，由于根據(jù)該變形例的視線檢測(cè)裝置70的構(gòu)成元件當(dāng)中的顯示單元110、光路改變?cè)?20、放大器單元130、光源基板140、眼罩150、成像單元160和鉸鏈170的配置和功能與圖1、圖2A和圖2B中所示的視線檢測(cè)裝置10的顯示單元110、光路改變?cè)?20、放大器單元130、光源基板140、眼罩150、成像單元160、鉸鏈170的功能和配置相同，所以將省略對(duì)這些構(gòu)成元件的詳細(xì)描述。根據(jù)該變形例的視線檢測(cè)裝置70對(duì)應(yīng)于圖1、圖2A和圖2B中所示的視線檢測(cè)裝置10附加了 IR濾波器710的裝置。圖7中所示的截面圖對(duì)應(yīng)于圖2A中所示的截面圖，并且是由根據(jù)該變形例的視線檢測(cè)裝置70的y軸和z軸限定的平面(y_z平面)上的截面圖。
[0157]如圖7中所示，IR濾波器710設(shè)置在根據(jù)該變形例的視線檢測(cè)裝置70中的光路改變?cè)?20和成像單元160之間。IR濾波器710是具有使紅外光通過并且屏蔽具有紅外光以外的波長(zhǎng)的光的功能的紅外光通過機(jī)構(gòu)的例子。
[0158]另一方面，在該變形例中，設(shè)置在光源基板140中的光源(圖7中未示出)由發(fā)射紅外光的LED配置而成。因此，在該變形例中，當(dāng)紅外光照射到用戶的眼球并且成像單元160檢測(cè)到該紅外光從眼球的反射光時(shí)，獲取用戶眼球的捕獲圖像。通過使用具有可見光波段的光以外的光，如紅外光，作為照射到用戶眼球的光，用戶不會(huì)被從光源照射的光驚擾，因此照射的光不妨礙用戶觀察顯示面111。由于具有紅外光以外的波長(zhǎng)并且因此可能是噪聲的光被安裝在光路改變?cè)?20和成像單元160之間的IR濾波器710屏蔽，所以成像單元160以較高的精度檢測(cè)來自眼球的反射光，并且因此可以獲取更清晰的眼球的捕獲圖像。
[0159]上文已經(jīng)描述了 IR濾波器710用作紅外光通過機(jī)構(gòu)的配置。然而，在該變形例中，可以應(yīng)用各種其他光學(xué)構(gòu)件，只要該光學(xué)構(gòu)件是具有屏蔽紅外光以外的波長(zhǎng)的光的功能的光學(xué)構(gòu)件即可。例如，在該變形例中，可以不安裝IR濾波器710，光路改變?cè)?20可以改為具有在預(yù)定方向上反射紅外光并且使具有其他波長(zhǎng)的光線性通過的紅外光通過機(jī)構(gòu)的功能。例如，光路改變?cè)?20可以是分色鏡或者具有在I軸的正方向上反射在z軸方向入射的紅外光并且使在z軸方向上入射并具有其他波長(zhǎng)帶的光通過，同時(shí)保持該光的傳播方向的功能。當(dāng)光路改變?cè)?20具有這種功能時(shí)，具有紅外光以外的波長(zhǎng)并因此可能是噪聲的光被屏蔽，并且紅外光因此有效地入射到成像單元160上。因此，如安裝有IR濾波器710的情況中那樣，成像單元160能夠以較高的精度檢測(cè)來自眼球的反射光，并且因此獲取更清晰的眼球的捕獲圖像。
[0160]如上文參照?qǐng)D7描述的，根據(jù)該變形例，從光源向用戶的眼球照射紅外光，在成像單元的前級(jí)安裝有屏蔽具有紅外波段以外的波長(zhǎng)的光的紅外光通過機(jī)構(gòu)，并且該紅外光從用戶的眼球反射的光穿過該紅外光通過機(jī)構(gòu)并隨后入射到成像單元上。因此，除了根據(jù)本實(shí)施例的視線檢測(cè)裝置10獲得的優(yōu)點(diǎn)以外，還可以獲得獲取更清晰的眼球的捕獲圖像的優(yōu)點(diǎn)。
[0161][4-2.應(yīng)用于可佩戴裝置]
[0162]接下來將描述根據(jù)本實(shí)施例的視線檢測(cè)處理應(yīng)用于成像裝置以外的裝置的變形例。根據(jù)本實(shí)施例的視線檢測(cè)處理可以應(yīng)用于例如眼鏡式可佩戴裝置。
[0163]將參照?qǐng)D8描述根據(jù)本實(shí)施例的視線檢測(cè)處理應(yīng)用于的眼鏡式可佩戴裝置的總體配置。圖8是示出根據(jù)本實(shí)施例的視線檢測(cè)處理應(yīng)用于的眼鏡式可佩戴裝置的配置例子的示意圖。在對(duì)該變形例的描述中，除非另外說明，否則根據(jù)本實(shí)施例的視線檢測(cè)裝置是指根據(jù)本實(shí)施例的視線檢測(cè)處理應(yīng)用于的眼鏡式可佩戴裝置。
[0164]參考圖8，視線檢測(cè)裝置80是眼鏡式可佩戴裝置，并且包括顯示單元810、透鏡820、光導(dǎo)構(gòu)件830、視線檢測(cè)單元840和光源850。在圖8中，佩戴視線檢測(cè)裝置80的用戶800與視線檢測(cè)裝置80 —起被示出。用箭頭表示視線檢測(cè)裝置80和用戶800的眼球之間的光在視線檢測(cè)裝置80內(nèi)的光路。圖8示意性示出從上方觀看佩戴視線檢測(cè)裝置80的用戶800的情況。在以下對(duì)該變形例的描述中，如圖8中所示，用戶800面對(duì)的方向被定義為Z軸方向。當(dāng)用戶800觀看時(shí)，水平方向被定義為X軸方向，豎直方向被定義為Y軸方向。用戶觀看的Z軸的方向被定義為Z軸的正方向，并且用戶觀看時(shí)X軸的右側(cè)被定義為X軸的正方向。
[0165]顯示單元810對(duì)應(yīng)于圖1和圖2A中所示的視線檢測(cè)裝置10的顯示單元110。例如，顯示單元810設(shè)置在用戶800的旁邊，并且顯示面811設(shè)置在Z軸的正方向上。顯示單元810的顯示面811上可以顯示任何內(nèi)容。來自顯示面811的光(即，形成內(nèi)容的光)在Z軸的正方向上依次穿過視線檢測(cè)單元840、透鏡820和光導(dǎo)構(gòu)件830，并入射到用戶800的眼球。在圖8中，用點(diǎn)線箭頭表示來自顯示面811的光的光路。
[0166]視線檢測(cè)單元840包括光路改變?cè)?41和成像單元842。來自顯示單元810的顯示面811的光在Z軸的正方向上線性地透過光路改變?cè)?41，并且入射到透鏡820上。光路改變?cè)?41和成像單元842對(duì)應(yīng)于圖1和圖2A中所示的視線檢測(cè)裝置10的光路改變?cè)?20和成像單元160。光路改變?cè)?41具有與光路改變?cè)?20相同的功能和配置，并且是具有線性地透射在一個(gè)方向上入射的光并且在預(yù)定方向上反射來自另一個(gè)方向的光(或者該光的一部分)的鏡功能的光學(xué)構(gòu)件。具體來說，光路改變?cè)?41例如是分束器，并且透射在Z軸的負(fù)方向上入射的光，同時(shí)保持該光的傳播方向，并且在X軸的正方向上反射在Z軸的正方向上入射的光。成像單元842安裝在X軸的正方向上，與光路改變?cè)?41相鄰，使得光接收表面面對(duì)光路改變?cè)?41。
[0167]透鏡820是具有以預(yù)定放大率放大顯示單元810的顯示面811上的內(nèi)容顯示的功能的光學(xué)構(gòu)件。透鏡820對(duì)應(yīng)于圖1和圖2A中所示的視線檢測(cè)裝置10的放大器單元130。在圖8中所示的例子中，透鏡820被示出為單個(gè)透鏡。然而，在視線檢測(cè)裝置80中，可以代替透鏡820安裝透鏡系統(tǒng)，在該透鏡系統(tǒng)中，多個(gè)各種透鏡被組合并且被適當(dāng)調(diào)節(jié)以預(yù)定放大率放大和顯示內(nèi)容。來自顯示面811的光在Z軸的正方向上穿過透鏡820并且入射到光導(dǎo)構(gòu)件830上。
[0168]光導(dǎo)構(gòu)件830是板狀或片狀光學(xué)構(gòu)件，并且可以在該板或該片內(nèi)平行于平面的方向上引導(dǎo)光。在該變形例中，例如，將全息片用作光導(dǎo)構(gòu)件830。光導(dǎo)構(gòu)件830被設(shè)置為基本平行于X-Y平面(由X軸和Y軸限定的平面)，并且光導(dǎo)構(gòu)件830的局部區(qū)域面向用戶800的眼球。來自顯示面811的光透射透鏡820，在Z軸的正方向上傳播，然后入射到光導(dǎo)構(gòu)件830上。例如，由圖8中的點(diǎn)線箭頭表示的，入射到光導(dǎo)構(gòu)件830上的光在光導(dǎo)構(gòu)件830內(nèi)平行于X-Y平面的方向上被引導(dǎo)，然后到達(dá)用戶800的眼球。因此，用戶可以經(jīng)由光路改變?cè)?41、透鏡820和光導(dǎo)構(gòu)件830觀察顯示單元810的顯示面811。
[0169]光源850向觀察顯示單元810的顯示面811的用戶的眼球照射光。例如，光源850可以是LED并且可以照射紅外光。光源850對(duì)應(yīng)于圖2B中所示的作為視線檢測(cè)裝置10的光源的LED141至148。在圖8中所示的例子中，示出單個(gè)光源850。然而，如視線檢測(cè)裝置10中那樣，視線檢測(cè)裝置80可以包括從不同方向向用戶800的眼球照射光的多個(gè)光源。光源850可以通過支撐構(gòu)件(未示出)固定到視線檢測(cè)裝置80的另一個(gè)構(gòu)成元件(包括將視線檢測(cè)裝置80安置于用戶800的框架或邊撐(未示出))。
[0170]作為從光源850照射的光的反射光，從用戶800的眼球反射的光在相反方向上沿著來自顯示單元810的顯示面811的光所沿著的光路并且到達(dá)光路改變?cè)?41。也就是說，來自用戶800的眼球的反射光依次穿過光導(dǎo)構(gòu)件830和透鏡820，并且到達(dá)光路改變?cè)?41。如上所述，由于光路改變?cè)?41具有在X軸的正方向上反射在Z軸的正方向上入射的光的功能，所以反射光的光路被光路改變?cè)?41改變，并且反射光入射到成像單元842上。因此，成像單元842檢測(cè)到來自用戶800的眼球的反射光，并且獲取用戶800的眼球的捕獲圖像。在圖8中，用短劃線箭頭表示從光源850照射的光沿其從用戶800的眼球反射并到達(dá)成像單元842所沿著的光路。
[0171]如視線檢測(cè)裝置10中那樣，視線檢測(cè)裝置80也基于由成像單元842獲取的用戶800的眼球的捕獲圖像，在顯示單元810的顯示面811上對(duì)用戶800進(jìn)行視線檢測(cè)處理。作為視線檢測(cè)裝置80的視線檢測(cè)處理，可以進(jìn)行與前述〈3.視線檢測(cè)處理的細(xì)節(jié)〉中描述的視線檢測(cè)裝置10的視線檢測(cè)處理相同的處理。
[0172]已經(jīng)參照?qǐng)D8描述了根據(jù)本實(shí)施例的變形例的視線檢測(cè)裝置80的總體配置。在該變形例中，如上所述，用戶800經(jīng)由至少一個(gè)光學(xué)構(gòu)件(例如，光路改變?cè)?41、透鏡820和光導(dǎo)構(gòu)件830)觀察顯示單元810的顯示面811。然后，由光源850向觀察顯示面811的用戶800的眼球照射光，并且該照射光從眼球反射的光被成像單元842檢測(cè)，從而獲取眼球的捕獲圖像。
[0173]在此，如圖8中的點(diǎn)線箭頭和短劃線箭頭表示的，在該變形例中，來自顯示單元810的顯示面811的光沿其從顯示面811傳播到用戶800的眼球所沿著的光路(第一光路)和作為從光源850照射的光的反射光，從用戶800的眼球反射的光沿其從眼球傳播到成像單元842所沿著的光路(第二光路)經(jīng)過相同的光學(xué)構(gòu)件。因此，在該變形例中，來自眼球的反射光穿過安裝在第一光路中的光學(xué)構(gòu)件并且入射到成像單元842上。因此，在根據(jù)該變形例的視線檢測(cè)裝置80中，如視線檢測(cè)裝置10中那樣，可以獲得進(jìn)一步提高視線檢測(cè)精度的優(yōu)點(diǎn)。
[0174][4-3.應(yīng)用于頭戴式顯示器]
[0175]接下來，將描述根據(jù)本實(shí)施例的視線檢測(cè)處理應(yīng)用于成像裝置之外的另一裝置的另一個(gè)變形例。根據(jù)本實(shí)施例的視線檢測(cè)處理可以應(yīng)用于例如頭戴式顯示器(HMD)裝置。
[0176]將參照?qǐng)D9A至圖9C描述根據(jù)本實(shí)施例的視線檢測(cè)處理應(yīng)用于的頭戴式顯示裝置的總體配置。圖9A至圖9C是示出根據(jù)本實(shí)施例的視線檢測(cè)處理應(yīng)用于的頭戴式顯示裝置的一個(gè)例子的示意圖。在對(duì)該變形例的描述中，除非另外說明，否則根據(jù)本實(shí)施例的視線檢測(cè)裝置是指根據(jù)本實(shí)施例的視線檢測(cè)處理應(yīng)用于的頭戴式顯示裝置。
[0177]參考圖9A至圖9C，視線檢測(cè)裝置90a、90b和90c分別是根據(jù)本實(shí)施例的視線檢測(cè)處理應(yīng)用于的頭戴式顯示裝置，并且具有部分不同的配置。在圖9A至圖9C中，佩戴視線檢測(cè)裝置90a、90b和90c的用戶900與視線檢測(cè)裝置90a、90b和90c —起被示出。用箭頭表示用戶900的眼球和每個(gè)視線檢測(cè)裝置90a、90b和90c之間的光在視線檢測(cè)裝置90a、90b和90c內(nèi)的光路。圖9A至圖9C示意性示出從上方觀看佩戴視線檢測(cè)裝置90a、90b和90c的用戶900的情況。在以下對(duì)該變形例的描述中，如圖9A至圖9C中所示，用戶900面對(duì)的方向被定義為Z軸方向。當(dāng)用戶900觀看時(shí),水平方向被定義為X軸方向，豎直方向被定義為Y軸方向。用戶觀看的Z軸的方向被定義為Z軸的正方向，并且用戶觀看時(shí)X軸的右側(cè)被定義為X軸的正方向。
[0178]下面參照?qǐng)D9A至圖9C依次分別描述根據(jù)該變形例的視線檢測(cè)裝置90a、90b和90c的配置。
[0179]參考圖9A，視線檢測(cè)裝置90a是頭戴式顯示裝置，并且包括顯示單元910a和910b、透鏡920a和920b、箱體930、視線檢測(cè)單元940a和光源950a。
[0180]顯示單元910a和910b對(duì)應(yīng)于圖1和圖2A中所示的視線檢測(cè)裝置10的顯示單元110。顯示單元910a和910b設(shè)置在顯示面911a和911b在Z軸的負(fù)方向上面對(duì)用戶900的左眼球和右眼球的位置處。在顯示單元910a和910b的顯示面911a和911b上可以顯示任何內(nèi)容。用戶900通過觀察設(shè)置在用戶的眼睛前方的顯示單元910a和910b的顯示面911a和911b來觀察顯示在顯示面911a和911b上的各種內(nèi)容。
[0181 ] 透鏡920a和920b是具有以預(yù)定放大率放大顯示單元910a和910b的顯示面911a和911b上的內(nèi)容顯示的功能的光學(xué)構(gòu)件。透鏡920a和920b對(duì)應(yīng)于圖1和圖2A中所示的視線檢測(cè)裝置10的放大器單元130。如圖9A中所示，透鏡920a和920b分別設(shè)置在用戶900的左眼球和右眼球的前方，并且放大顯示面911a和911b上的內(nèi)容顯示。在圖9A中所示的例子中，透鏡920a和920b每個(gè)都被示出為單個(gè)透鏡。然而，在視線檢測(cè)裝置90a中，可以代替透鏡920a和920b安裝透鏡系統(tǒng)，在該透鏡系統(tǒng)中，多個(gè)各種透鏡被組合并且被適當(dāng)調(diào)節(jié)以預(yù)定放大率放大和顯示內(nèi)容。
[0182]箱體930例如是頭戴式顯示裝置的箱體并且是安置于用戶900的眼鏡式箱體。顯示單元910a和910b、透鏡920a和920b以及視線檢測(cè)單元940a設(shè)置在箱體930內(nèi)的預(yù)定位置處。
[0183]視線檢測(cè)裝置90a對(duì)用戶900的一個(gè)眼球進(jìn)行視線檢測(cè)處理。在圖9A中所示的例子中，視線檢測(cè)裝置90a具有對(duì)用戶900的右眼球進(jìn)行視線檢測(cè)處理的配置。視線檢測(cè)裝置90a包括與用戶900的右眼球相對(duì)應(yīng)的在顯示單元910b和透鏡920b之間的視線檢測(cè)單元940a。如圖9A中所示,在視線檢測(cè)裝置90a中，來自顯示單元910a的顯示面911a的光在Z軸的負(fù)方向上穿過透鏡920a并且入射到用戶900的左眼球。來自顯示單元910b的顯示面911b的光在Z軸的負(fù)方向上依次穿過視線檢測(cè)單元940a和透鏡920b并且入射到用戶900的右眼球。在圖9A中，用點(diǎn)線箭頭表示來自顯示面911a和911b的光的光路。
[0184]視線檢測(cè)單元940a包括光路改變?cè)?41b和成像單元942b。來自顯示單元910b的顯示面911b的光在Z軸的負(fù)方向上線性地透射光路改變?cè)?41b，入射到透鏡920b，然后到達(dá)用戶的右眼球。成像單元942b的光路改變?cè)?41b對(duì)應(yīng)于圖1和圖2A中所示的視線檢測(cè)裝置10的光路改變?cè)?20和成像單元160。光路改變?cè)?41b具有與光路改變?cè)?20相同的功能和配置，并且是具有線性地透射在一個(gè)方向上入射的光并且在預(yù)定方向上反射來自另一個(gè)方向的光(或該光的一部分)的鏡功能的光學(xué)構(gòu)件。具體來說，光路改變?cè)?41b例如是分束器，并且透射在Z軸的正方向上入射的光，同時(shí)保持該光的傳播方向，并且在X軸的負(fù)方向上反射在Z軸的負(fù)方向上入射的光。成像單元942b安裝在X軸的負(fù)方向上，與光路改變?cè)?41b相鄰，使得光接收表面面對(duì)光路改變?cè)?41b。
[0185]光源950b向觀察顯示單元910b的顯示面911b的用戶的右眼球照射光。例如，光源950b可以是LED并且可以照射紅外光。光源950b對(duì)應(yīng)于圖2B中所示的作為視線檢測(cè)裝置10的光源的LED141至148。在圖9A中所示的例子中，示出單個(gè)光源950b。然而，如視線檢測(cè)裝置10中那樣，視線檢測(cè)裝置90a可以包括從不同方向向用戶900的眼球照射光的多個(gè)光源。光源950b可以通過支撐構(gòu)件(未示出)固定在箱體930的局部區(qū)域中。
[0186]作為從光源950b照射的光的反射光，來自用戶900的右眼球的反射光在相反方向上沿著來自顯示單元910b的顯示面911b的光所沿著的光路,并且到達(dá)光路改變?cè)?41b。也就是說，來自用戶900的右眼球的反射光穿過透鏡920b并且到達(dá)光路改變?cè)?41b。如上所述，由于光路改變?cè)?41b具有在X軸的負(fù)方向上反射在Z軸的負(fù)方向上入射的光的功能，所以反射光的光路被光路改變?cè)?41b改變，并且反射光入射到成像單元942b上。因此，成像單元942b檢測(cè)到來自用戶900的右眼球的反射光，并且獲取用戶900的右眼球的捕獲圖像。在圖9A中，用短劃線箭頭表示從光源950b照射的光沿其從用戶900的右眼球反射，然后到達(dá)成像單元942b的光路。
[0187]圖9B是示出具有與圖9A中所示的視線檢測(cè)裝置90a不同的配置并且根據(jù)本實(shí)施例的視線檢測(cè)處理應(yīng)用于的頭戴式顯示裝置的總體配置的圖。參考圖9B，視線檢測(cè)裝置90b包括顯示單元910a和910b、透鏡920a和920b、箱體930、視線檢測(cè)單元940b和光源950a 和 950b ο
[0188]在此，圖9B中所示的視線檢測(cè)裝置90b對(duì)應(yīng)于視線檢測(cè)單元940a改變?yōu)橐暰€檢測(cè)單元940b并且光源950a附加到圖9A中所示的視線檢測(cè)裝置90a的裝置。因此，在對(duì)視線檢測(cè)裝置90b的描述中，將主要描述視線檢測(cè)單元940b和光源950a，并且將省略對(duì)其余配置的詳細(xì)描述。
[0189]視線檢測(cè)裝置90b對(duì)用戶900的兩個(gè)眼球進(jìn)行視線檢測(cè)處理。因此，視線檢測(cè)裝置90b包括與用戶900的左眼球和右眼球相對(duì)應(yīng)的在顯示單元910a和910b與透鏡920a和920b之間的視線檢測(cè)單元940b。如圖9B中所示，在視線檢測(cè)裝置90b中，來自顯示單元910a的顯示面911a的光在Z軸的負(fù)方向上依次穿過視線檢測(cè)單元940b和透鏡920b，然后入射到用戶900的左眼球。此外，來自顯示單元910b的顯示面911b的光在Z軸的負(fù)方向上依次穿過視線檢測(cè)單元940b和透鏡920b，然后入射到用戶900的右眼球。在圖9B中，用點(diǎn)線箭頭表示來自顯示面911a和911b的光的光路。
[0190]視線檢測(cè)單元940b包括光路改變?cè)?41a和941b以及成像單元942a和942b。光路改變?cè)?41a和941b以及成像單元942a和942b對(duì)應(yīng)于圖1和圖2A中所示的視線檢測(cè)裝置10的光路改變?cè)?20和成像單元160。
[0191]在此，視線檢測(cè)單元940b具有與用戶900的左眼球相對(duì)應(yīng)的光路改變?cè)?41a和成像單元942a附加到圖9A中所示的視線檢測(cè)單元940a的配置。具體來說，在視線檢測(cè)單元940b中，光路改變?cè)?41b安裝在顯示單元910b的顯示面911b和透鏡920b之間，并且光路改變?cè)?41a安裝在顯示單元910a的顯示面911a和透鏡920a之間。因此，來自顯示單元910b的顯示面911b的光在Z軸的負(fù)方向上直線透過光路改變?cè)?41b，入射到透鏡920b上，然后到達(dá)用戶的右眼球。此外，來自顯示單元910a的顯示面911a的光在Z軸的負(fù)方向上直線透過光路改變?cè)?41a，入射到透鏡920a上，然后到達(dá)用戶的左眼球。光路改變?cè)?41a和941b具有與光路改變?cè)?20相同的功能和配置，并且是具有線性地透射在一個(gè)方向上入射的光并且在預(yù)定方向上反射來自另一個(gè)方向的光(或該光的一部分)的鏡功能的光學(xué)構(gòu)件。具體來說，光路改變?cè)?41a透射在Z軸的正方向上入射的光，同時(shí)保持該光的傳播方向，并且在X軸的正方向上反射在Z軸的負(fù)方向上入射的光。此外，光路改變兀件941b透射在Z軸的正方向上入射的光，同時(shí)保持該光的傳播方向，并且在X軸的負(fù)方向上反射在Z軸的負(fù)方向上入射的光。
[0192]在視線檢測(cè)裝置90b中，光源950a附加到圖9A中所示的視線檢測(cè)裝置90a。光源950a向觀察顯示裝置910a的顯示面911a的用戶的左眼球照射光。例如，光源950a可以是LED，并且可以照射紅外光。光源950a對(duì)應(yīng)于圖2B中所示的作為視線檢測(cè)裝置10的光源的LED141至148。光源950b可以通過支撐構(gòu)件(未示出)固定在箱體930的局部區(qū)域中。在圖9B中所示的例子中，分別針對(duì)左眼球和右眼球示出光源950a和950b。然而，如視線檢測(cè)裝置10中那樣，視線檢測(cè)裝置90b可以包括從不同方向向用戶900的左眼球和右眼球照射光的多個(gè)光源。
[0193]作為從光源950a照射的光的反射光，來自用戶900的左眼球的反射光在相反方向上沿著來自顯示單元910a的顯示面91 Ia的光所沿著的光路,并且到達(dá)光路改變?cè)?41a。然后，該反射光的光路被光路改變?cè)?41a改變到X軸的正方向上，并且該反射光入射到成像單元942a上。此外，作為從光源950b照射的光的反射光，來自用戶900的右眼球的反射光在相反方向上沿著來自顯示單元910b的顯示面911b的光所沿著的光路,并且到達(dá)光路改變?cè)?41b。然后，該反射光的光路被光路改變?cè)?41b改變到X軸的負(fù)方向上，并且該反射光入射到成像單元942b上。因此，在視線檢測(cè)裝置90b中，來自光源950a和950b的光分別照射到用戶的左眼球和右眼球，并且成像單元942a和942b分別檢測(cè)來自左眼球和右眼球的反射光，從而獲取左眼球和右眼球的捕獲圖像。在圖9B中，用短劃線箭頭表示從光源950a和950b照射的光沿其從用戶900的左眼球和右眼球反射，然后到達(dá)成像單元942a和942b的光路。
[0194]圖9C是示出具有與圖9A和圖9B中所示的視線檢測(cè)裝置90a和90b不同的配置并且根據(jù)本實(shí)施例的視線檢測(cè)處理應(yīng)用于的頭戴式顯示裝置的總體配置的圖。參考圖9C，視線檢測(cè)裝置90c包括顯示單元910a和910b、透鏡920a和920b、箱體930、視線檢測(cè)單元940c 和光源 950a 和 950b。
[0195]在此，與圖9B中所示的視線檢測(cè)裝置90b相比，圖9C中所示的視線檢測(cè)裝置90c對(duì)應(yīng)于視線檢測(cè)單元940b改變?yōu)橐暰€檢測(cè)單元940c的裝置。因此，在對(duì)視線檢測(cè)裝置90c的描述中，將主要描述視線檢測(cè)單元940c的配置，并且將省略對(duì)其余配置的詳細(xì)描述。
[0196]視線檢測(cè)單元940c包括光路改變?cè)?41a、941b和943以及成像單元942。光路改變?cè)?41a和941b和成像單元942對(duì)應(yīng)于圖1和圖2A中所示的視線檢測(cè)裝置10的光路改變?cè)?20和成像單元160。
[0197]在此，圖9C中所示的視線檢測(cè)單元940c對(duì)應(yīng)于光路改變?cè)?43進(jìn)一步附加到圖9B中所示的視線檢測(cè)單元940b并且用成像單元942代替成像單元942a和942b的單元。視線檢測(cè)單元940c的光路改變?cè)?41a和941b的功能和配置與視線檢測(cè)單元940b的光路改變?cè)?41a和941b的功能和配置相同。因此，在視線檢測(cè)裝置90c中，來自顯示單元910b的顯示面911b的光在Z軸的負(fù)方向上線性地透過光路改變?cè)?41b，入射到透鏡920b上，然后到達(dá)用戶的右眼球。此外，來自顯示單元910a的顯示面911a的光在Z軸的負(fù)方向上線性地透過光路改變?cè)?41a，入射到透鏡920a上，然后到達(dá)用戶的左眼球。在圖9C中，用點(diǎn)線箭頭表示來自顯示面911a和911b的光的光路。
[0198]在視線檢測(cè)單元940c中，光路改變?cè)?43安裝在光路改變?cè)?41a和941b之間。光路改變?cè)?43具有在Z軸的負(fù)方向上反射從光路改變?cè)?41a和942b入射的光的功能。成像單元942設(shè)置在光路改變?cè)?43的Z軸的負(fù)方向上，使得光接收表面朝向Z軸的正方向。因此，作為從光源950a照射的光的反射光，來自用戶900的左眼球的反射光在相反方向上沿著來自顯示單元910a的顯示面911a的光所沿著的光路,并且到達(dá)光路改變?cè)?41a。然后，反射光的光路被光路改變?cè)?41a改變到X軸的正方向上，反射光的光路進(jìn)一步被光路改變?cè)?43改變到Z軸的負(fù)方向上，然后反射光入射到成像單元942a上。此外，作為從光源950b照射的光的反射光，來自用戶900的右眼球的反射光在相反方向上沿著來自顯示單元910b的顯示面911b的光所沿著的光路,并且到達(dá)光路改變?cè)?41b。然后，反射光的光路被光路改變?cè)?41b改變到X軸的負(fù)方向上，反射光的光路進(jìn)一步被光路改變?cè)?43改變到Z軸的負(fù)方向上，然后反射光入射到成像單元942b上。因此，在視線檢測(cè)裝置90c中，來自左眼球和右眼球的反射光被單個(gè)成像單元942檢測(cè)，而不是如視線檢測(cè)裝置90b中那樣被針對(duì)左眼球和右眼球安裝的成像單元942a和942b檢測(cè)，從而獲取左眼球和右眼球的捕獲圖像。在圖9C中，用短劃線箭頭表示從光源950a和950b照射的光沿其從用戶900的左眼球和右眼球反射并且到達(dá)成像單元942的光路。
[0199]如上所述，視線檢測(cè)裝置90a、90b和90c通過在頭戴式顯示裝置中檢測(cè)來自用戶眼球的反射光而獲取用戶眼球的捕獲圖像。然后，如視線檢測(cè)裝置10中那樣，視線檢測(cè)裝置90a、90b和90c基于捕獲圖像在顯示單元910a和910b的顯示面91 Ia和911b上針對(duì)用戶900進(jìn)行視線檢測(cè)處理。作為視線檢測(cè)裝置90a、90b和90c的視線檢測(cè)處理，可以進(jìn)行與前述〈3.視線檢測(cè)處理的細(xì)節(jié) > 中描述的視線檢測(cè)裝置10的視線檢測(cè)處理相同的處理。
[0200]已經(jīng)參照?qǐng)D9A至圖9C描述了根據(jù)該變形例的視線檢測(cè)裝置90a、90b和90c的總體配置。在該變形例中，如上所述，用戶900經(jīng)由至少一個(gè)光學(xué)構(gòu)件(例如，光路改變?cè)?41a和941b以及透鏡920a和920b)觀察顯示單元910a和910b的顯示面911a和911b。然后，由光源950a和950b向觀察顯示面911a和911b的用戶900的眼球照射光，并且該照射光從眼球反射的光被成像單元942，942a和942b檢測(cè)，從而獲取眼球的捕獲圖像。
[0201]在此，如圖9A至圖9C中的點(diǎn)線箭頭和短劃線箭頭表示的，在該變形例中，作為從光源950a和950b照射的光的反射光，來自用戶900的眼球的反射光穿過安裝在來自顯示單元910a和910b的顯示面911a和911b的光沿其從顯示面911a和911b傳播到用戶900的眼球的光路中的光學(xué)構(gòu)件，然后入射到成像單元942，942a和942b上。因此，在根據(jù)該變形例的視線檢測(cè)裝置90a、90b和90c中，如視線檢測(cè)裝置10和80中那樣，可以獲得進(jìn)一步提聞視線檢測(cè)精度的優(yōu)點(diǎn)。
[0202]在該變形例中，如圖9B和圖9C中所示的視線檢測(cè)裝置90b和90c中那樣，光可以從光源950a和950b照射到用戶的左眼球和右眼球，并且來自左眼球和右眼球的反射光被成像單元942a和942b檢測(cè)，從而可以分別獲取左眼球和右眼球的捕獲圖像。然后，可以分別針對(duì)左眼球和右眼球進(jìn)行視線檢測(cè)處理。因此，通過分別針對(duì)左眼球和右眼球進(jìn)行視線檢測(cè)處理，可以進(jìn)一步提高視線檢測(cè)處理的精度。此外，通過分別針對(duì)左眼球和右眼球進(jìn)行視線矢量計(jì)算處理，例如可以進(jìn)一步獲取信息，如視差信息。
[0203]在該變形例中，如圖9C中所示的視線檢測(cè)裝置90c中那樣，視線檢測(cè)單元940c的配置可以比圖9B中所示的視線檢測(cè)裝置90b更簡(jiǎn)化。因此，利用這種更簡(jiǎn)化的配置，能夠以與視線檢測(cè)裝置90b的精度相同的精度進(jìn)行視線檢測(cè)處理。
[0204]在視線檢測(cè)裝置80、90a、90b和90c中檢測(cè)到的用戶的視線可被用在作為視線檢測(cè)裝置80、90a、90b和90c的眼鏡式可佩戴裝置和頭戴式顯示裝置的各種操作中。例如，檢測(cè)到的用戶視線可被用作用戶在眼鏡式可佩戴裝置和頭戴式顯示裝置上進(jìn)行進(jìn)行各種操作輸入的輸入單元。具體來說，通過檢測(cè)顯示面811、911a和911b的上端區(qū)域、下端區(qū)域、右端區(qū)域和左端區(qū)域中的任一區(qū)域中的視線，可以在檢測(cè)到視線的方向上滾動(dòng)和顯示顯示面811、911a、911b上顯示的內(nèi)容。此外，通過在顯示面811、911a和911b上顯示與由眼鏡式可佩戴裝置和頭戴式顯示裝置進(jìn)行的各種操作相對(duì)應(yīng)的圖標(biāo)，并且在預(yù)定時(shí)間連續(xù)檢測(cè)用戶對(duì)于圖標(biāo)的視線，可以進(jìn)行與圖標(biāo)相對(duì)應(yīng)的操作。與圖標(biāo)相對(duì)應(yīng)的操作可以例如是在諸如通用PC的信息處理裝置中進(jìn)行的各種操作，如將眼鏡式可佩戴裝置和頭戴式顯示裝置關(guān)電(關(guān)機(jī))或者啟動(dòng)各種應(yīng)用。檢測(cè)到的用戶視線可被用作移動(dòng)顯示在顯示面811、911a和911b上的指針的指示裝置。例如，該指針可以根據(jù)檢測(cè)到的用戶視線的變化而在顯示面811、911a和911b上移動(dòng)。
[0205]〈5.視線檢測(cè)方法的處理順序〉
[0206]接下來將參照?qǐng)D10描述根據(jù)本公開一實(shí)施例的視線檢測(cè)方法的處理順序。圖10是示出根據(jù)本公開該實(shí)施例的視線檢測(cè)方法的處理順序的流程圖。在以下對(duì)根據(jù)本實(shí)施例的視線檢測(cè)方法的處理順序的描述中，將描述視線檢測(cè)裝置10是連接到成像裝置的EVF的情況，圖10中流程圖的步驟可以由圖1、圖2A、圖2B和圖3中所示的視線檢測(cè)裝置10和成像裝置20的構(gòu)成元件進(jìn)行。然而，在以下描述中，將省略對(duì)這些構(gòu)成元件的功能和配置的詳細(xì)描述。
[0207]參考圖10，首先在步驟S301中判斷是否檢測(cè)到用戶的眼睛與眼罩150的接觸。例如可以由安裝在眼罩150中的接觸傳感器檢測(cè)用戶的眼睛與眼罩150的接觸。當(dāng)在步驟S301中檢測(cè)到用戶的眼睛的接觸時(shí)，認(rèn)為用戶正在向視線檢測(cè)裝置10中觀看。因此，處理前進(jìn)到步驟S303，并且在顯示單元110的顯示面111上顯示作為內(nèi)容的直通圖像。當(dāng)在步驟S301中未檢測(cè)到用戶的眼睛的接觸時(shí)，認(rèn)為用戶沒在使用視線檢測(cè)裝置10。因此，顯示單元110的顯示面111上什么都不顯示，并且保持該狀態(tài)直到檢測(cè)到用戶的眼睛與眼罩150的接觸。
[0208]在本實(shí)施例中，可以不進(jìn)行步驟S301和步驟S303的處理。當(dāng)不進(jìn)行步驟S301和步驟S303的處理時(shí)，在視線檢測(cè)裝置10的顯示單元110的顯示面111上正常顯示內(nèi)容。然而，如步驟S301和步驟S303中描述的，通過根據(jù)視線檢測(cè)裝置10的使用狀態(tài)選擇性地驅(qū)動(dòng)顯示單元110，可以減小功率消耗。
[0209]當(dāng)在步驟S303中在顯示單元110的顯示面111上顯示直通圖像時(shí)，隨后在步驟S305中針對(duì)嘗試使用視線檢測(cè)裝置10的用戶判斷是否存在先前獲取的對(duì)該用戶唯一的信息。在此，對(duì)用戶唯一的信息可以是諸如在根據(jù)本實(shí)施例的視線檢測(cè)處理中使用的觀察狀態(tài)信息、光源的驅(qū)動(dòng)條件或者在前述〈3.視線檢測(cè)處理的細(xì)節(jié)〉中描述的眼球信息等信息。一旦獲取對(duì)用戶唯一的信息之后，將該對(duì)用戶唯一的信息與該用戶相關(guān)聯(lián)地存儲(chǔ)在視線檢測(cè)裝置10或成像裝置20中安裝的存儲(chǔ)單元中。在步驟S305中，指定嘗試使用視線檢測(cè)裝置10的用戶，并且判斷存儲(chǔ)單元中是否存儲(chǔ)有與所指定的用戶相關(guān)聯(lián)的唯一信息。在指定嘗試使用視線檢測(cè)裝置10的用戶的處理中，例如，視線檢測(cè)裝置10或者成像裝置20可以具有用戶登記功能和用戶選擇功能。通過利用用戶登記功能和用戶選擇功能手動(dòng)選擇用戶，可以指定用戶。在指定嘗試使用視線檢測(cè)裝置10的用戶的處理中，視線檢測(cè)裝置10或成像裝置20可以具有各種生物認(rèn)證功能，如虹膜認(rèn)證、血管認(rèn)證和指紋認(rèn)證。通過利用生物認(rèn)證功能對(duì)用戶自動(dòng)進(jìn)行個(gè)人認(rèn)證或個(gè)體識(shí)別，可以指定用戶。
[0210]當(dāng)在步驟S305中判斷出不存在嘗試使用視線檢測(cè)裝置10的用戶的唯一信息時(shí)，該處理前進(jìn)到步驟S307，并且針對(duì)該用戶進(jìn)行校準(zhǔn)處理。在步驟S307的校準(zhǔn)處理中，例如，進(jìn)行前述[3-3.校準(zhǔn)處理]中描述的每個(gè)處理，并且獲取在視線檢測(cè)處理中使用的對(duì)該用戶唯一的信息。當(dāng)校準(zhǔn)處理結(jié)束時(shí)，該處理前進(jìn)到步驟S311。
[0211]反之，當(dāng)在步驟S305中判斷出存在嘗試使用視線檢測(cè)裝置10的用戶的唯一信息時(shí)，該處理前進(jìn)到步驟S309，并且從其中存儲(chǔ)對(duì)用戶唯一的信息的存儲(chǔ)單元中讀取對(duì)該用戶唯一的對(duì)應(yīng)信息。從存儲(chǔ)單元中讀取對(duì)該用戶唯一的信息之后，該處理前進(jìn)到步驟S311。
[0212]在步驟S311中，使用在步驟S307中獲取的對(duì)該用戶唯一的信息和在步驟S309中讀取的對(duì)該用戶唯一的信息進(jìn)行計(jì)算顯示單元110的顯示面111上的用戶視線矢量的處理和視線矢量修正處理。在步驟S311中的視線矢量計(jì)算處理和視線矢量修正處理中，例如，進(jìn)行前述[3-1.視線矢量計(jì)算處理]、[3-2.光源驅(qū)動(dòng)控制]和[3-3.校準(zhǔn)處理]中描述的每個(gè)處理。在視線矢量計(jì)算處理中使用的觀察狀態(tài)信息、基于觀察狀態(tài)信息的光源的驅(qū)動(dòng)條件等可以在圖10中所示的系列處理之前被單獨(dú)獲取，并且可以存儲(chǔ)在存儲(chǔ)單元中，并且在步驟S309中讀取，或者可以在圖10中所示的系列處理期間的任何時(shí)刻單獨(dú)獲取。例如，觀察狀態(tài)信息、驅(qū)動(dòng)條件等可以在步驟S307中的校準(zhǔn)處理時(shí)獲取。
[0213]上文已經(jīng)描述了根據(jù)本實(shí)施例的視線檢測(cè)方法的處理順序。如上所述，可以由圖1、圖2A、圖2B和圖3中所示的視線檢測(cè)裝置10和成像裝置20的每個(gè)構(gòu)成元件進(jìn)行根據(jù)上述實(shí)施例的視線檢測(cè)方法。因此，在步驟S311中所示的視線矢量計(jì)算處理中，來自顯示單元110的顯示面111的光沿著穿過至少一個(gè)光學(xué)構(gòu)件的第一光路并且入射到用戶的眼球上。然后，向觀察顯示面111的用戶的眼球照射光，并且檢測(cè)該照射光從用戶眼球反射的光，從而獲取檢測(cè)顯示面111上的用戶視線用的眼球的捕獲圖像。該照射光從眼球反射的光沿著至少穿過安裝在第一光路中的光學(xué)構(gòu)件的第二光路，并且入射到成像單元上。因此，根據(jù)本實(shí)施例，視線檢測(cè)精度被進(jìn)一步提聞。
[0214]<6.結(jié)論〉
[0215]在本實(shí)施例中，如上所述，向經(jīng)由至少一個(gè)光學(xué)構(gòu)件觀察顯示面的用戶的眼球照射光。然后，當(dāng)檢測(cè)到該照射光從該用戶的眼球反射的光時(shí)，獲取在顯示面上檢測(cè)用戶視線用的眼球的捕獲圖像。該照射光從用戶眼球反射的光沿著至少穿過安裝在第一光路中的光學(xué)構(gòu)件的第二光路以被檢測(cè)，第一光路是來自顯示面的光沿其從顯示面?zhèn)鞑サ接脩舻难矍虻墓饴?。然后，基于以這種方式獲取的用戶眼球的捕獲圖像，檢測(cè)顯示面上的用戶視線。在本實(shí)施例中，對(duì)于上述配置，第一和第二光路包括幾乎相同的光學(xué)構(gòu)件，因此是光學(xué)上相似的光路。因此，視線檢測(cè)精度被進(jìn)一步提聞。
[0216]在本實(shí)施例中，多個(gè)光源設(shè)置為使得在多個(gè)不同方向上向用戶的眼球照射光。此夕卜，可以根據(jù)對(duì)用戶唯一的驅(qū)動(dòng)條件選擇性地驅(qū)動(dòng)多個(gè)光源。因此，由于可以照射適合于諸如用戶眼睛的形狀、用戶是否佩戴眼鏡以及用戶沿其觀察顯示面的方向等用戶狀態(tài)的光，所以視線檢測(cè)的精度被進(jìn)一步提聞。
[0217]在本實(shí)施例中，通過進(jìn)行獲取用于修正由用戶眼睛的形狀或尺寸引起的誤差的眼球信息并且基于該眼球信息修正視線矢量的校準(zhǔn)處理來檢測(cè)用戶的視線。因此，以較高的精度實(shí)現(xiàn)視線檢測(cè)。
[0218]上文已經(jīng)參照附圖詳細(xì)描述了本公開的優(yōu)選實(shí)施例，但是本公開的技術(shù)范圍不局限于此。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)清楚，在所附權(quán)利要求中描述的技術(shù)精神的范圍內(nèi)，可以進(jìn)行各種變形和修改，并且這些變形和修改應(yīng)當(dāng)被理解為屬于本公開的技術(shù)范圍。
[0219]例如，如圖1、圖2A、圖2B和圖7中所示，上文已經(jīng)描述了顯示單元110的顯示面111和用戶的眼球500位于同一直線的配置，但是本公開的實(shí)施例不局限于該實(shí)施例。例如，顯示面111和用戶的眼球500可以不位于同一直線?？梢栽陲@示面111和用戶的眼球500之間適當(dāng)安裝改變光路的光學(xué)構(gòu)件，如鏡或棱鏡，使得來自顯示面111的光被引導(dǎo)到用戶的眼球500。因此，在本實(shí)施例中，在視線檢測(cè)裝置10中顯示面111和用戶的眼球500之間的位置關(guān)系不局限于如圖1、圖2A、圖2B和圖7中所示的特定位置關(guān)系。因此，由于視線檢測(cè)裝置10中構(gòu)成元件的配置的設(shè)計(jì)自由度增加，所以能夠?qū)崿F(xiàn)具有小尺寸和優(yōu)良便攜性的視線檢測(cè)裝置10的配置。
[0220]上文已經(jīng)描述了成像裝置、眼鏡式可佩戴裝置和頭戴式顯示裝置，作為根據(jù)實(shí)施例的視線檢測(cè)處理應(yīng)用于的裝置，但是實(shí)施例不局限于這些例子。根據(jù)實(shí)施例的視線檢測(cè)處理可以應(yīng)用于其他設(shè)備或裝置，只要該設(shè)備或裝置具有在其上顯示各種內(nèi)容的顯示面111和用戶的眼球500之間安裝有至少一個(gè)光學(xué)構(gòu)件的配置即可。在這種設(shè)備或裝置中，通過適當(dāng)提供向用戶的眼球500照射光的光源和檢測(cè)該照射光從眼球500反射的光并獲取眼球500的捕獲圖像的成像單元，使得保持上述第一和第二光路之間的關(guān)系，就可以應(yīng)用根據(jù)本實(shí)施例的視線檢測(cè)處理。
[0221]另外，本技術(shù)還可以配置如下。
[0222](I) 一種視線檢測(cè)裝置，包括:
[0223]至少一個(gè)光源，其配置為向經(jīng)由至少一個(gè)光學(xué)構(gòu)件觀察顯示面的用戶的眼球照射光；以及
[0224]成像單元，其配置為通過檢測(cè)所述光從所述眼球的反射光，獲取在所述顯示面上檢測(cè)所述用戶的視線用的所述眼球的捕獲圖像，
[0225]其中來自所述眼球的所述反射光至少穿過安裝在來自所述顯示面的光沿其從所述顯示面?zhèn)鞑サ剿鲇脩舻乃鲅矍虻墓饴分械乃龉鈱W(xué)構(gòu)件，并且入射到所述成像單元上。
[0226](2)根據(jù)(I)的視線檢測(cè)裝置，其中多個(gè)所述光源安裝在使所述光沿彼此不同的方向照射到所述用戶的所述眼球的位置處。
[0227](3)根據(jù)(2)的視線檢測(cè)裝置，其中所述多個(gè)光源根據(jù)與所述用戶觀察所述顯示面的狀態(tài)有關(guān)的觀察狀態(tài)信息被選擇性地驅(qū)動(dòng)。
[0228](4)根據(jù)(3)的視線檢測(cè)裝置，其中所述觀察狀態(tài)信息包括與所述用戶的眼睛的形狀有關(guān)的信息、與所述用戶是否佩戴眼鏡有關(guān)的信息和與所述用戶沿其觀察所述顯示面的方向有關(guān)的信息中的至少一個(gè)。
[0229](5)根據(jù)⑵至(4)中任一項(xiàng)的視線檢測(cè)裝置，其中所述多個(gè)光源在關(guān)于所述用戶的所述眼球的垂直方向或水平方向上照射所述光。
[0230](6)根據(jù)(2)至(4)中任一項(xiàng)的視線檢測(cè)裝置，其中所述多個(gè)光源在關(guān)于所述用戶的所述眼球的四個(gè)彼此不同的方向上照射所述光。
[0231](7)根據(jù)⑴至(6)中任一項(xiàng)的視線檢測(cè)裝置，其中通過基于由所述成像單元獲取的所述眼球的所述捕獲圖像中包含的瞳孔的圖像和Purkinje圖像計(jì)算表示所述用戶的所述眼球的方向的視線矢量在所述顯示面上檢測(cè)所述用戶的所述視線。
[0232](8)根據(jù)(7)的視線檢測(cè)裝置，其中通過基于至少包括所述視線矢量和所述用戶沿其觀看所述顯示面的方向之間的相關(guān)性的與所述用戶的所述眼球有關(guān)的眼球信息，對(duì)所述視線矢量進(jìn)行修正處理在所述顯示面上檢測(cè)所述用戶的所述視線。
[0233](9)根據(jù)⑶的視線檢測(cè)裝置，
[0234]其中通過對(duì)每個(gè)用戶進(jìn)行校準(zhǔn)處理來獲取所述眼球信息，并且
[0235]其中根據(jù)觀察所述顯示面的所述用戶來讀取與該用戶相對(duì)應(yīng)的所述眼球信息，并且在所述修正處理中使用所讀取的眼球信息。
[0236](10)根據(jù)(9)的視線檢測(cè)裝置，其中基于由所述成像單元獲取的所述捕獲圖像中包含的所述用戶的所述眼球的虹膜進(jìn)行所述用戶的認(rèn)證處理，并且基于所述認(rèn)證處理的結(jié)果讀取與該用戶相對(duì)應(yīng)的所述眼球信息。
[0237](11)根據(jù)⑴至(10)中任一項(xiàng)的視線檢測(cè)裝置，其中安裝在來自所述顯示面的光沿其從所述顯示面?zhèn)鞑サ剿鲇脩舻乃鲅矍虻牡谝还饴分械乃龉鈱W(xué)構(gòu)件包括放大器單元，所述放大器單元配置為針對(duì)所述用戶放大并顯示在所述顯示面上顯示的內(nèi)容。
[0238](12)根據(jù)(I)至(11)中任一項(xiàng)的視線檢測(cè)裝置，進(jìn)一步包括:
[0239]眼罩，其配置為當(dāng)所述用戶觀察所述顯示面時(shí)與所述用戶的眼睛接觸，
[0240]其中當(dāng)檢測(cè)到所述眼罩與所述用戶的所述眼睛的接觸時(shí)，在所述顯示面上顯示內(nèi)容。
[0241](13)根據(jù)⑴至(12)中任一項(xiàng)的視線檢測(cè)裝置，
[0242]其中所述光源向所述用戶的所述眼球照射具有紅外波段的光，并且
[0243]其中在來自所述眼球的反射光沿其從所述眼球傳播到所述成像單元的光路中在所述成像單元的前級(jí)安裝有屏蔽具有所述紅外波段以外的波長(zhǎng)的光的紅外光通過機(jī)構(gòu)。
[0244](14)根據(jù)(I)至(13)中任一項(xiàng)的視線檢測(cè)裝置，進(jìn)一步包括:
[0245]視線檢測(cè)處理單元，其配置為基于由所述成像單元獲取的所述眼球的所述捕獲圖像中包含的瞳孔圖像和Purkinje圖像，計(jì)算表示所述用戶的所述眼球的方向的視線矢量；以及
[0246]校準(zhǔn)處理單元，其配置為獲取作為與所述用戶的所述眼球有關(guān)的信息至少包括所述視線矢量和所述用戶沿其觀看所述顯示面的方向之間的相關(guān)性的眼球信息，
[0247]其中所述視線檢測(cè)處理單元通過基于所述眼球信息對(duì)所述視線矢量進(jìn)行修正處理在所述顯示面上檢測(cè)所述用戶的所述視線。
[0248](15)根據(jù)⑴至(14)中任一項(xiàng)的視線檢測(cè)裝置，
[0249]其中所述視線檢測(cè)裝置是電子取景器，所述電子取景器連接到獲取拍攝目標(biāo)的捕獲圖像的成像裝置，并且
[0250]其中示出由包括在所述成像裝置中的圖像傳感器獲取的拍攝目標(biāo)的直通圖像顯示在所述顯示面上。
[0251](16)根據(jù)⑴至(14)中任一項(xiàng)的視線檢測(cè)裝置，
[0252]其中所述視線檢測(cè)裝置是至少覆蓋所述用戶的所述眼球前方區(qū)域的眼鏡式可佩戴裝置，并且
[0253]其中通過包括在該可佩戴裝置中的顯示單元將特定內(nèi)容顯示在所述顯示面上。
[0254](17)根據(jù)⑴至(14)中任一項(xiàng)的視線檢測(cè)裝置，
[0255]其中所述視線檢測(cè)裝置是以所述顯示面安裝在朝向所述眼球的位置處的方式安放于所述用戶的頭部的頭戴式顯示裝置，并且
[0256]其中通過包括在該頭戴式顯示裝置中的顯示單元將特定內(nèi)容顯示在所述顯示面上。
[0257](18) —種視線檢測(cè)方法，包括:
[0258]使來自顯示面的光穿過至少一個(gè)光學(xué)構(gòu)件并且入射在用戶的眼球上；
[0259]向觀察所述顯示面的所述用戶的所述眼球照射光；以及
[0260]通過檢測(cè)所述(照射的)光從所述眼球的反射光，獲取在所述顯示面上檢測(cè)所述用戶的視線用的所述眼球的捕獲圖像，
[0261]其中來自所述眼球的所述反射光至少穿過安裝在來自所述顯示面的光沿其從所述顯示面?zhèn)鞑サ剿鲇脩舻乃鲅矍虻墓饴分械乃龉鈱W(xué)構(gòu)件，并且被檢測(cè)。
【權(quán)利要求】
1.一種視線檢測(cè)裝置，包括: 至少一個(gè)光源，其配置為向經(jīng)由至少一個(gè)光學(xué)構(gòu)件觀察顯示面的用戶的眼球照射光；以及 成像單元，其配置為通過檢測(cè)所述光從所述眼球的反射光，獲取用于檢測(cè)用戶對(duì)于所述顯示面的視線的所述眼球的捕獲圖像， 其中來自所述眼球的反射光至少穿過安裝在來自所述顯示面的光從所述顯示面?zhèn)鞑サ剿鲇脩舻难矍虻墓饴飞系乃龉鈱W(xué)構(gòu)件，并且入射到所述成像單元上。
2.根據(jù)權(quán)利要求1所述的視線檢測(cè)裝置，其中多個(gè)所述光源被安裝在使光沿彼此不同的方向照射到所述用戶的眼球的位置處。
3.根據(jù)權(quán)利要求2所述的視線檢測(cè)裝置，其中所述多個(gè)光源在與和所述用戶觀察所述顯示面的狀態(tài)有關(guān)的觀察狀態(tài)信息相應(yīng)的驅(qū)動(dòng)條件下被選擇性地驅(qū)動(dòng)。
4.根據(jù)權(quán)利要求3所述的視線檢測(cè)裝置，其中所述觀察狀態(tài)信息包括與所述用戶的眼睛的形狀有關(guān)的信息、與所述用戶是否佩戴眼鏡有關(guān)的信息以及與所述用戶觀察所述顯示面的方向有關(guān)的信息中的至少一個(gè)。
5.根據(jù)權(quán)利要求2所述的視線檢測(cè)裝置，其中所述多個(gè)光源在相對(duì)于所述用戶的眼球的垂直方向或水平方向上照射所述光。
6.根據(jù)權(quán)利要求2所述的視線檢測(cè)裝置，其中所述多個(gè)光源在相對(duì)于所述用戶的眼球的四個(gè)彼此不同的方向上照射所述光。
7.根據(jù)權(quán)利要求1所述的視線檢測(cè)裝置，其中通過基于由所述成像單元獲取的所述眼球的所述捕獲圖像中包含的瞳孔的圖像和Purkinje圖像計(jì)算表示所述用戶的眼球的方向的視線矢量，來檢測(cè)用戶對(duì)于所述顯示面的視線。
8.根據(jù)權(quán)利要求7所述的視線檢測(cè)裝置，其中通過基于至少包括所述視線矢量和用戶觀看所述顯示面的方向之間的相關(guān)性的與用戶的眼球有關(guān)的眼球信息對(duì)所述視線矢量進(jìn)行修正處理，來檢測(cè)用戶對(duì)于所述顯示面的視線。
9.根據(jù)權(quán)利要求8所述的視線檢測(cè)裝置， 其中通過對(duì)每個(gè)用戶進(jìn)行校準(zhǔn)處理來獲取所述眼球信息，并且 其中根據(jù)觀察所述顯示面的用戶來讀取與該用戶相對(duì)應(yīng)的眼球信息，并且在所述修正處理中使用所讀取的眼球信息。
10.根據(jù)權(quán)利要求9所述的視線檢測(cè)裝置，其中基于由所述成像單元獲取的所述捕獲圖像中包含的所述用戶的眼球的虹膜進(jìn)行所述用戶的認(rèn)證處理，并且基于所述認(rèn)證處理的結(jié)果讀取與該用戶相對(duì)應(yīng)的眼球信息。
11.根據(jù)權(quán)利要求1所述的視線檢測(cè)裝置，其中安裝在來自所述顯示面的光從所述顯示面?zhèn)鞑サ剿鲇脩舻难矍虻墓饴飞系乃龉鈱W(xué)構(gòu)件包括放大器單元，所述放大器單元被配置為針對(duì)所述用戶放大并顯示在所述顯示面上顯示的內(nèi)容。
12.根據(jù)權(quán)利要求1所述的視線檢測(cè)裝置，進(jìn)一步包括: 眼罩，其配置為當(dāng)所述用戶觀察所述顯示面時(shí)與所述用戶的眼睛接觸， 其中當(dāng)檢測(cè)到所述眼罩與所述用戶的眼睛的接觸時(shí)，在所述顯示面上顯示內(nèi)容。
13.根據(jù)權(quán)利要求1所述的視線檢測(cè)裝置， 其中所述光源向所述用戶的眼球照射紅外波段的光，并且 其中在來自所述眼球的反射光從所述眼球傳播到所述成像單元的光路上在所述成像單元的前級(jí)安裝有屏蔽所述紅外波段以外的波長(zhǎng)段的光的紅外光通過機(jī)構(gòu)。
14.根據(jù)權(quán)利要求1所述的視線檢測(cè)裝置，進(jìn)一步包括: 視線檢測(cè)處理單元，其配置為基于由所述成像單元獲取的所述眼球的捕獲圖像中包含的瞳孔圖像和Purkinje圖像，計(jì)算表示所述用戶的眼球的方向的視線矢量；以及 校準(zhǔn)處理單元，其配置為獲取作為與所述用戶的眼球有關(guān)的信息的至少包括所述視線矢量與所述用戶觀看所述顯示面的方向之間的相關(guān)性的眼球信息， 其中所述視線檢測(cè)處理單元通過基于所述眼球信息對(duì)所述視線矢量進(jìn)行修正處理來檢測(cè)用戶對(duì)于所述顯示面的視線。
15.根據(jù)權(quán)利要求1所述的視線檢測(cè)裝置， 其中所述視線檢測(cè)裝置是電子取景器，所述電子取景器連接到獲取拍攝目標(biāo)的捕獲圖像的成像裝置，并且 其中在所述顯示面上顯示示出由包括在所述成像裝置中的圖像傳感器獲取的拍攝目標(biāo)的直通圖像。
16.根據(jù)權(quán)利要求1所述的視線檢測(cè)裝置， 其中所述視線檢測(cè)裝置是至少覆蓋所述用戶的眼球的前方區(qū)域的眼鏡式可佩戴裝置，并且 其中通過包括在該可佩戴裝置中的顯示單元將給定內(nèi)容顯示在所述顯示面上。
17.根據(jù)權(quán)利要求1所述的視線檢測(cè)裝置， 其中所述視線檢測(cè)裝置是以所述顯示面安裝在面對(duì)所述眼球的位置處的方式安放于所述用戶的頭部的頭戴式顯示裝置，并且 其中通過包括在該頭戴式顯示裝置中的顯示單元將給定內(nèi)容顯示在所述顯示面上。
18.一種視線檢測(cè)方法，包括: 使來自顯示面的光穿過至少一個(gè)光學(xué)構(gòu)件并且入射在用戶的眼球上； 向觀察所述顯示面的所述用戶的眼球照射光；以及 通過檢測(cè)所述光從眼球的反射光，獲取用于檢測(cè)用戶對(duì)于所述顯示面的視線的眼球的捕獲圖像， 其中來自所述眼球的反射光至少穿過安裝在來自所述顯示面的光從所述顯示面?zhèn)鞑サ剿鲇脩舻难矍虻墓饴飞系乃龉鈱W(xué)構(gòu)件，并且被檢測(cè)。
【文檔編號(hào)】A61B3/00GK104274151SQ201410299568
【公開日】2015年1月14日 申請(qǐng)日期:2014年6月27日 優(yōu)先權(quán)日:2013年7月5日
【發(fā)明者】野田卓郎, 渡邊明香, 長(zhǎng)谷野慎一, 片方健太 申請(qǐng)人:索尼公司