一種基于虹膜和瞳孔的三維視線估計方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視線跟蹤技術(shù)領(lǐng)域，具體涉及基于近紅外光下的三維視線估計方法。
【背景技術(shù)】
[0002] 隨著信息技術(shù)和人工智能的不斷發(fā)展，人機交互技術(shù)的研究受到更多的關(guān)注和重 視。基于視頻圖像處理的視線跟蹤技術(shù)作為人機交互的重要分支，許多基礎(chǔ)理論和技術(shù)問 題仍然沒有得到很好的解決，其中的關(guān)鍵問題是虹膜、瞳孔等眼睛運動圖像特征的提取和 表達(dá)，以及視線跟蹤映射模型的建立。
[0003] 視線跟蹤映射模型主要分為二維視線跟蹤方法和三維視線跟蹤方法。二維方法對 頭部運動敏感，需要用戶保持頭部靜止或者只能小范圍運動。三維方法通過眼動特征直接 確定眼睛三維視線方向，與注視物體進(jìn)行交叉，從而得到注視點的位置，只要能夠獲得頭部 和眼睛運動的圖像信息，理論上對被試者沒有頭部運動的限制。然而由于需要立體眼睛參 數(shù)的計算，增加了眼睛特征檢測和參數(shù)提取的復(fù)雜性，其估計精度依賴于立體視覺的精度， 而且不同的使用者的個體差異、頭部運動等問題也會對映射模型產(chǎn)生直接的影響。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明公開了一種基于虹膜與瞳孔的三維視線跟蹤方法，在紅外光源的輔助下， 通過獲取虹膜中心與瞳孔中心，提出一種新型的基于虹膜中心與瞳孔中心的三維注視點映 射模型，其允許頭部自由運動同時又使得注視點的精度滿足系統(tǒng)要求，。
[0005] 本發(fā)明通過以下技術(shù)方案實現(xiàn)。
[0006] -種基于虹膜和瞳孔的三維視線估計方法，該方法采用兩個攝像機采集圖像和一 個紅外光作為輔助光源，放置在顯示屏前照射人臉，具體包含步驟：
[0007] (1)眼動特征提?。菏褂眉t外光源增強人眼圖像，通過精確的輪廓提取和橢圓擬 合獲取虹膜中心位置和瞳孔中心位置；
[0008] (2)三維特征中心計算：利用虹膜中心和瞳孔中心的二維信息，結(jié)合攝像機參數(shù) 計算出特征點的三維坐標(biāo)；
[0009] (3)視線偏差補償：虹膜中心與瞳孔中心連線形成的光軸方向，與代表視線方向 的視軸方向存在偏轉(zhuǎn)角。通過求解偏轉(zhuǎn)角進(jìn)行視線校正，從而得到精確的人眼注視方向。
[0010] 上述方法中，所述步驟⑴中包括：采用紅外光源增強人眼信息，首先采用Haar特 征級聯(lián)分類器對人眼區(qū)域進(jìn)行定位，接著采用基于直方圖與迭代的方法對虹膜與瞳孔進(jìn)行 最佳閾值分割，在虹膜特征提取部分，首先通過數(shù)學(xué)形態(tài)學(xué)的方法獲得虹膜的初步輪廓，再 利用基于邊緣檢測與橢圓擬合的方法獲得精確的虹膜輪廓，得到虹膜中心的坐標(biāo)；在瞳孔 特征提取部分，已經(jīng)提取到的虹膜中心坐標(biāo)為基礎(chǔ)，設(shè)置相應(yīng)的感興趣區(qū)域提取瞳孔輪廓， 采用瞳孔輪廓凸包處理與橢圓擬合對瞳孔中心坐標(biāo)進(jìn)行定位。
[0011] 上述方法中，所述步驟（2)中包括：
[0012] (2.1)通過張正友平面模版標(biāo)定法獲取攝像機內(nèi)參數(shù)K與外參數(shù)R1 R1^ t I其 中札和Mtjp O分別表示左右攝像機坐標(biāo)系到世界坐標(biāo)系下的旋轉(zhuǎn)矩陣（平移矩陣）， 然后需要通過雙攝像機立體計算來獲取雙攝像機之間的空間幾何關(guān)系，并對攝像機進(jìn)行平 面校正以獲得嚴(yán)格平行的雙攝像機視覺系統(tǒng)；
[0013] (2. 2)利用步驟⑴獲取的虹膜中心和瞳孔中心的二維信息，結(jié)合步驟（2. 1)計算 所得的攝像機內(nèi)外參數(shù)和空間幾何關(guān)系求取虹膜中心與瞳孔中心的三維空間坐標(biāo)，最后以 虹膜中心與瞳孔中心的連線作為人眼光軸的方向。
[0014] 上述方法中，所述步驟（3)中包括：
[0015] (3. 1)光軸與視軸之間存在著一個固定的偏轉(zhuǎn)角，且光軸與視軸相交于角膜曲率 中心。本發(fā)明通過設(shè)定標(biāo)定點，計算由步驟（2.2)所得的光軸與實際的視線方向，即視軸之 間的偏轉(zhuǎn)角淨(jìng)，鈎。(3.2)利用步驟（2.2)中獲得的人眼光軸方向，結(jié)合步驟（3. 1)計算所 得的偏轉(zhuǎn)角(氣#，可以求取出視軸方向，即人眼的注視方向。
[0016] 與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點與積極效果在于：
[0017] 1.本發(fā)明提出一種新型的三維視線估計方法，利用瞳孔特征和虹膜特征在三維 空間中不共點的特點，通過提取二者信息，計算其三維空間位置，從而得到人眼光軸方向信 息。該方法直接利用剛性的特征點，在分辨率滿足的情況下能達(dá)到較高的視線估計精度；對 比傳統(tǒng)的三維方法，本發(fā)明無需使用如眼球半徑等經(jīng)驗值來計算眼球中心，為視線跟蹤領(lǐng) 域提供了新思路。
[0018] 2.本發(fā)明是一種自然、直觀的視線跟蹤方法，無需使用普爾欽斑點，設(shè)備的位置更 為靈活。
[0019] 3.本發(fā)明能達(dá)到足夠的精度，滿足人機交互系統(tǒng)需求。
【附圖說明】
[0020] 圖1是本發(fā)明實施方式中顯示屏與攝像頭、光源的布置示意圖。
[0021] 圖2是本發(fā)明實施方式中視線跟蹤方法的流程示意圖。
[0022] 圖3是本發(fā)明實施方式中標(biāo)定點分布圖。
[0023] 圖4是本發(fā)明實施方式中攝像機棋盤格標(biāo)定板。
[0024] 圖5是本發(fā)明三維坐標(biāo)計算示意圖。
[0025] 圖6是本發(fā)明光軸與視軸投影關(guān)系示意圖。
【具體實施方式】
[0026] 下面結(jié)合附圖對本發(fā)明的【具體實施方式】作進(jìn)一步說明。
[0027] 如圖1，本發(fā)明需要雙攝像機101，和一個紅外光源102,攝像頭位于顯示屏112中 心正上方，實時地捕捉人臉圖像。攝像機分辨率為640 X 480,焦距為10mm，并排放置于顯示 屏上方，兩攝像機鏡頭之間距離約5cm，雙攝像頭中心距離顯示屏底部為26cm。選取波長為 850nm的紅外光作為輔助光源放置在顯示屏前照射人臉。
[0028] 如圖2,視線跟蹤算法具體實施步驟如下：
[0029] 步驟一：眼睛注視標(biāo)定點110,提取眼動特征信息
[0030] 步驟二：攝像機標(biāo)定，分別獲取兩個攝像機的內(nèi)外部參數(shù)以及二者的空間幾何關(guān) 系
[0031] 步驟三：計算瞳孔中心105和虹膜中心106的三維坐標(biāo)位置，得到光軸108方向
[0032] 步驟四：進(jìn)行偏轉(zhuǎn)角107補償，得到視軸109方向。
[0033] 其中步驟一的具體實施步驟為：
[0034] 1.世界坐標(biāo)系原點設(shè)置在左攝像機投影中心，顯示屏垂直放置于z = 0處，雙攝像 機101中心距離顯示屏112底部為26cm，眼睛距離顯示屏約30cm且正對顯示屏，依次注視 標(biāo)定點110,標(biāo)定點分布圖如圖3所示，為顯示屏上3X3平均分布的9個點；
[0035] 2.眼睛注視標(biāo)定點同時提取眼動特征信息
[0036] 對每個注視點111提取虹膜輪廓以及瞳孔輪廓作為眼動特征信息，具體實施步驟 為：
[0037] 2. 1人眼區(qū)域定位
[0038] 從攝像頭獲取的人臉圖像，首先通過haar特征級聯(lián)分類器進(jìn)行人眼定位，接著通 過中值濾波處理以及灰度拉伸進(jìn)行圖像預(yù)處理，得到特征較明顯的人眼圖像。
[0039] 2. 2虹膜特征提取
[0040] a.首先通過直方圖灰度值分布確定虹膜的灰度分布大致區(qū)域，設(shè)定虹膜的二值化 初始閾值，在該閾值下對圖像進(jìn)行區(qū)域劃分，分別計算各區(qū)域的灰度均值，當(dāng)灰度均值與假 定的初閾值相同時停止迭代，以此選擇最佳閾值對圖像進(jìn)行二值化分割，得到虹膜區(qū)域。
[0041] b.通過形態(tài)學(xué)處理獲取輪廓，通過Sobel算子進(jìn)行垂直邊緣的檢測以提取虹膜左 右兩邊的有效輪廓。接著采用最小二乘法進(jìn)行橢圓擬合，從而獲取虹膜中心106。
[0042] 2. 3瞳孔特征提取
[0043] 根據(jù)已提取到的虹膜中心106坐標(biāo)為相應(yīng)的感興趣區(qū)域（R0I區(qū)域）中心，ROI區(qū) 域中心的邊緣為瞳孔，則包含ROI中心的面積最大的輪廓即為瞳孔輪廓。對輪廓進(jìn)行凸包 處理以獲取瞳孔的完整輪廓，進(jìn)行橢圓擬合后可以提取到瞳孔中心105。
[0044] 其中步驟二的具體實施步驟為：
[0045] 1.單攝像機參數(shù)標(biāo)定
[0046] 針對本發(fā)明系統(tǒng)的特點，采用基于張正友的平面標(biāo)定法的來獲取單攝像機的內(nèi)參 數(shù)，攝像機在不同方向上拍攝平面模版的圖像，通過建立模版上每個特征點和其對應(yīng)的圖 像點之間的對應(yīng)關(guān)系（即每幅圖像的單應(yīng)性矩陣），然后利用該單應(yīng)性矩陣來求解攝像機 內(nèi)外的參數(shù)，標(biāo)定過程中由于采用最小二乘法以及考慮到噪音和數(shù)值穩(wěn)定性要求，需要抓 取盡量多的不同角度的標(biāo)定圖片，使標(biāo)定的結(jié)果更加精確。
[0047] 本發(fā)明采用基于OpenCV的攝像機標(biāo)定采用平面棋盤格標(biāo)定模板。如圖4所示，標(biāo) 定板方格個數(shù)為7 X 10,每個方格邊長為5mm。
[0048] I. 1單應(yīng)矩陣H
[0049] 圖像像素坐標(biāo)系到世界坐標(biāo)系之間的關(guān)系為：
[0050]
[0051] 其中（u，V)是以像素為單位的圖像像素坐標(biāo)系坐標(biāo)，Zc為圖像中的點在攝像機坐 標(biāo)系中的坐標(biāo)Z軸分量，（Xw, Yw, Zw)為圖像中的點在世界坐標(biāo)系中的坐標(biāo)。K為攝像機內(nèi)參 數(shù)矩陣，R= Qr1 r2 r3]是3X3正交單位矩陣，稱為旋轉(zhuǎn)矩陣，其中!T1 r2 1"3分別是旋轉(zhuǎn)矩 陣的第一、二、三列分量，t是3維平移向量。
[0052] 假設(shè)世界坐標(biāo)系平面位于棋盤格所在的平面，即Zw= 0同時r3= 0。令
W上式可簡寫為：
[0053] ZcM = MM
[0054] 其中H為單應(yīng)性矩陣
[0055]
[0056] 其中H = Qi1 h2 Ii3Lh1 h2 113分別是單應(yīng)性矩陣的第一、二、三列分量，而IiuQ = 1-3, j = 1···3)表示單應(yīng)性矩陣第i行第j列的分量。
[0057] 1. 2攝像機內(nèi)外參數(shù)求解
[0058] 在實際情況中I. 1中求得的H并不是真實的H，它們之間會相差一個常數(shù)因子λ， 此時將式子變?yōu)橐韵滦问剑?br>[0059] Lh1 h2 h3] = AKtr1 r2 t]
[0060] 其中巧與r 2為單位正交向量，由其正交性可得 \r,Tr, - I-Jr1 -1
[0061] r n -
[rt r, = U
[0062] 由以上兩式可得：
[0063]
[0064]
[0065] 其中內(nèi)參數(shù)矩P
'x= f/dx，f y= f/dy分別為攝像機焦距f的 X軸與y軸分量，（u。，V。）為攝像機圖像主點位置，Bu (i = L··· 3, j = L··· 3)表示矩陣B第 i行第j列的分量。
[0066] 設(shè)單應(yīng)性矩陣H第i(i = 1，2,3)列向量表示為Ill= Dlll hl2 hl3]T，則：
[0067] h,T Bh1= V1/ B
[0068] 定義矩陣Vlj= [hdu huhu+huhw hl2hj2 1ι311ι η+1ιι31^3 hl3hj3]，i = I... 3, j = I…3,則根據(jù)上述過程，可得2個齊次方程：
[0069]
[0070] 如果有N(N為自然數(shù)）個棋盤格圖像，則通過迭代N個方程組可以得到：
[0071] VB = O
[0072] 其中，V是一個2NX6的矩陣，只要N彡3，B就可以被解出（帶有一個比例因子）， 從而可以得到內(nèi)參數(shù)矩陣，其中U idVidX fx