本發(fā)明屬于定位跟蹤技術(shù)，具體涉及一種瞳孔定位及跟蹤方法。

背景技術(shù)：

隨著模式識(shí)別和計(jì)算機(jī)視覺(jué)技術(shù)的飛速發(fā)展，實(shí)時(shí)瞳孔檢測(cè)與跟蹤技術(shù)的研究在公共安全保障、交通安全監(jiān)控、醫(yī)療、刑偵等領(lǐng)域的需求越來(lái)越迫切。同時(shí)，作為人臉檢測(cè)、識(shí)別與跟蹤技術(shù)的基礎(chǔ)以及其廣泛的應(yīng)用前景，其研究?jī)r(jià)值是顯而易見(jiàn)的。

如CN 104050667A記載的“瞳孔跟蹤圖像處理方法”，但該方法具有以下缺點(diǎn)：

(1)瞳孔跟蹤圖像處理算法是對(duì)人眼圖像進(jìn)行處理，應(yīng)用范圍不大；

(2)瞳孔跟蹤方法是對(duì)每一幀圖像獨(dú)立進(jìn)行定位，計(jì)算速度較慢。

又如CN 103810472A記載的“基于運(yùn)動(dòng)相關(guān)性的瞳孔位置濾波方法”，該方法使用模版匹配法進(jìn)行瞳孔跟蹤，具有跟蹤精確度較低，以及跟蹤速度較慢的問(wèn)題。

因此，有必要開(kāi)發(fā)一種新的瞳孔定位及跟蹤方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種跟蹤精度高、跟蹤速度快的瞳孔定位及跟蹤方法。

本本發(fā)明所述的瞳孔定位及跟蹤方法，包括以下步驟：

步驟1、采集數(shù)據(jù)：

利用視頻采集傳感器采集人臉視頻信息；

利用距離傳感器采集視頻采集傳感器與瞳孔之間的距離信息；

步驟2、瞳孔定位：

利用adaboost算法對(duì)所采集的人臉視頻信息進(jìn)行人眼的粗略檢測(cè)，檢測(cè)出人眼區(qū)域；

利用canny算法對(duì)人眼區(qū)域進(jìn)行邊緣檢測(cè)，得到瞳孔的邊緣；

利用Hough變換檢測(cè)圓心的方法得到瞳孔中心；

步驟3、基于幀差法和LBP的改進(jìn)MeanShift算法進(jìn)行瞳孔跟蹤：

利用瞳孔定位的結(jié)果作為瞳孔跟蹤的目標(biāo)模型，并用LBP算法進(jìn)行目標(biāo)建模；

利用幀差法估計(jì)出下一幀瞳孔的目標(biāo)中心；

通過(guò)MeanShift算法找到移動(dòng)后的瞳孔中心在三維坐標(biāo)系中的X坐標(biāo)值和Y坐標(biāo)值。

步驟4、基于所采集的距離信息測(cè)量瞳孔中心在三維坐標(biāo)系中的Z坐標(biāo)值；

步驟5、輸出瞳孔中心的坐標(biāo)，并根據(jù)瞳孔中心的坐標(biāo)來(lái)調(diào)整視頻采集傳感器的拍攝角度。

所述步驟3中，基于幀差法和LBP的改進(jìn)MeanShift算法進(jìn)行瞳孔跟蹤的具體方法為：

(1)根據(jù)瞳孔精確定位算法確定瞳孔目標(biāo)的初始位置f₀，根據(jù)公式建立目標(biāo)模型q_u，假設(shè)圖像中一共有n個(gè)像素點(diǎn)，用{x_i}_i＝_1…n表示，對(duì)區(qū)域內(nèi)的顏色紋理特征空間均勻劃分，得到m個(gè)相等的區(qū)間構(gòu)成的顏色紋理特征直方圖；q為目標(biāo)模型特征空間，用直方圖的形式表示出來(lái)；q_u為組成目標(biāo)模型特征空間的元素；K表示核函數(shù)，選擇Epanechnikov核；bin(x_i)表示像素點(diǎn)x_i在顏色紋理直方圖中所在的區(qū)域，δ是階躍函數(shù)；在計(jì)算過(guò)程中，將R,G,B三個(gè)顏色通道的bin分別設(shè)為8個(gè)，加上紋理的通道的10個(gè)bin，m＝8*8*8*10＝5120；為歸一化系數(shù)；

(2)在視頻運(yùn)行過(guò)程中，對(duì)當(dāng)前幀做如下處理：

(2a)根據(jù)公式D_k+1(x,y)＝|F_k+1(x,y)-F_k(x,y)|和公式計(jì)算當(dāng)前幀的差分圖像，其中，設(shè)第k幀和第k+1幀的圖像在坐標(biāo)(x,y)處的像素值分別為F_k(x,y)和F_k+1(x,y)，第k+1幀表示當(dāng)前幀,D_k+1(x,y)表示當(dāng)前幀的差分圖像,T為閾值，R_k+1(x,y)為最終得到運(yùn)動(dòng)目標(biāo)的輪廓，為二值圖像；

(2b)基于幀差法根據(jù)公式計(jì)算當(dāng)前幀中新的候選目標(biāo)中心位置f₀，其中(x_A,y_A)為前一幀目標(biāo)中心，(x_B,y_B)為運(yùn)動(dòng)目標(biāo)輪廓重心，f₀(x_C,y_C)為新的候選目標(biāo)中心；

(2c)根據(jù)公式建立目標(biāo)候選模型p_u，其中f為候選目標(biāo)中心，h表示核函數(shù)窗口的大??；

根據(jù)公式計(jì)算候選模型與目標(biāo)模型之間的相似度ρ(p,q)，其中c為歸一化系數(shù)；

(2d)根據(jù)公式計(jì)算當(dāng)前區(qū)域內(nèi)各個(gè)像素點(diǎn)的權(quán)重w_i；

(2e)根據(jù)新的候選目標(biāo)中心位置f_k+1，重新計(jì)算相似度函數(shù)ρ(p,q)；

(2f)判斷重新計(jì)算的相似度是否小于設(shè)定的閾值，如是，則停止搜索，目標(biāo)在當(dāng)前幀的中心位置即為f_k+1；否則跳到第(2d)步，繼續(xù)迭代計(jì)算，直到滿足設(shè)定的閾值或者超出設(shè)定計(jì)算迭代次數(shù)；

(3)當(dāng)視頻進(jìn)入新的一幀的時(shí)候，跳到第(2)步，對(duì)新的一幀視頻進(jìn)行處理，直到視頻結(jié)束，并輸出移動(dòng)后的瞳孔中心在三維坐標(biāo)系中的X坐標(biāo)值和Y坐標(biāo)值。

所述步驟4中，基于該距離信息測(cè)量出瞳孔中心在三維坐標(biāo)系中的Z坐標(biāo)值的具體方法為：直接將距離傳感器測(cè)量得到的距離數(shù)據(jù)作為瞳孔的Z坐標(biāo)。

本發(fā)明的有益效果：

(1)本發(fā)明采用幀差法改進(jìn)算法，能夠較大地減少目標(biāo)丟失的情況；

(2)本發(fā)明采用LBP改進(jìn)算法，能夠較大地提高跟蹤精度；

(3)本發(fā)明處理的對(duì)象是人臉視頻圖像，應(yīng)用范圍更廣；

(4)本發(fā)明使用的是全新的對(duì)連續(xù)幀進(jìn)行關(guān)聯(lián)處理的方法，計(jì)算速度更快；

綜上所述，本發(fā)明所述瞳孔定位及跟蹤方法具有跟蹤精度高，應(yīng)用范圍廣，計(jì)算速度快的優(yōu)點(diǎn)。

附圖說(shuō)明

圖1為本發(fā)明的流程圖；

圖2為本發(fā)明中非極大值抑制原理圖；

圖3為本發(fā)明的具體實(shí)施例的原理框圖；

圖4為圖3的結(jié)構(gòu)框圖；

圖5為圖3的流程圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說(shuō)明。

如圖1所示的瞳孔定位及跟蹤方法，包括以下步驟：

步驟1、采集數(shù)據(jù)：

利用視頻采集傳感器采集人臉視頻信息。

利用距離傳感器采集視頻采集傳感器與瞳孔之間的距離信息。

步驟2、瞳孔定位：

利用adaboost算法對(duì)所采集的人臉視頻信息進(jìn)行人眼的粗略檢測(cè)，檢測(cè)出人眼區(qū)域。

利用canny算法對(duì)人眼區(qū)域進(jìn)行邊緣檢測(cè)，得到瞳孔的邊緣。

利用Hough變換檢測(cè)圓心的方法得到瞳孔中心。

步驟3、基于幀差法和LBP的改進(jìn)MeanShift算法進(jìn)行瞳孔跟蹤：

利用瞳孔定位的結(jié)果作為瞳孔跟蹤的目標(biāo)模型，并用LBP算法進(jìn)行目標(biāo)建模。

利用幀差法估計(jì)出下一幀瞳孔的目標(biāo)中心。

通過(guò)MeanShift算法找到移動(dòng)后的瞳孔中心在三維坐標(biāo)系中的X坐標(biāo)值和Y坐標(biāo)值。

步驟4、基于所采集的距離信息測(cè)量出瞳孔中心在三維坐標(biāo)系中的Z坐標(biāo)值。

步驟5、輸出瞳孔中心的坐標(biāo)，并根據(jù)瞳孔中心的坐標(biāo)來(lái)調(diào)整視頻采集傳感器的拍攝角度。

本發(fā)明中，所述步驟2中利用adaboost算法對(duì)所采集的人臉視頻信息進(jìn)行人眼的粗略檢測(cè)具體為：

Adaboost算法的訓(xùn)練步驟如下：

(1)建立訓(xùn)練樣本集(x₁,y₁)……(x_n,y_n)，其中y_i＝1表示正樣本，y_i＝-1表示負(fù)樣本，n為總樣本數(shù)。

(2)初始化權(quán)重w_1,i＝1/n。

(3)對(duì)t＝1……T。

利用加權(quán)的樣本集訓(xùn)練第t層弱分類(lèi)器h_t，得到該層弱分類(lèi)器的分類(lèi)誤差e_t：

根據(jù)分類(lèi)誤差更新第t+1層分類(lèi)器權(quán)值w_t+1,i：

其中：

(4)級(jí)聯(lián)T個(gè)弱分類(lèi)器得到強(qiáng)分類(lèi)器：

該強(qiáng)分類(lèi)器的分類(lèi)誤差滿足：

本發(fā)明中，所述步驟3中利用canny算法對(duì)人眼區(qū)域進(jìn)行邊緣檢測(cè)具體為：

(1)利用高斯濾波器對(duì)圖像做平滑去噪處理:

F(x,y)＝G(x,y)*f(x,y) 式(5)

其中：G(x,y)是高斯函數(shù)，具體表達(dá)式如式(6)，f(x,y)是原圖像，F(xiàn)(x,y)是平滑處理后的圖像。

(2)利用一階偏導(dǎo)的有限差分來(lái)計(jì)算每個(gè)像素點(diǎn)梯度的大小和方向:

用一階差分卷積模版：

得到圖像矩陣的幅值大小：

和梯度方向：

(3)非極大值抑制：

如圖2所示，將每個(gè)像素周?chē)?個(gè)區(qū)域分割為4個(gè)扇區(qū)，分別對(duì)應(yīng)標(biāo)記為0到3；將該點(diǎn)梯度的方向?qū)?yīng)到最接近的四個(gè)扇區(qū)中的一個(gè)，作為該點(diǎn)像素的梯度線；如果該點(diǎn)像素的梯度值大于梯度線上的另外兩個(gè)像素的梯度值，則保留該點(diǎn)的梯度值，否則，該點(diǎn)置0；最終得到非極大值抑制梯度矩陣M。

(4)雙閾值檢測(cè)和連接邊緣：

雙閾值法利用T1和T2(T1＜T2)兩個(gè)閾值對(duì)圖像的梯度值進(jìn)行判定：大于T2的點(diǎn)一定是邊緣點(diǎn)，小于T1的點(diǎn)一定不是邊緣點(diǎn)，介于T1和T2的點(diǎn)視情況而定。

具體做法是：分別使用兩個(gè)閾值T1和T2(T1＜T2)對(duì)圖像進(jìn)行分割，其中較小的閾值T1得到邊緣點(diǎn)較多的邊緣圖像N1，較大的閾值得到邊緣點(diǎn)較少的圖像N2，由于T2的閾值較高，得到邊緣點(diǎn)可以認(rèn)為是真實(shí)可信的，但另一方面可能存在邊緣點(diǎn)漏檢的情況，所得得到的N2一般是不連續(xù)的，該算法通過(guò)比較N1把N2上不連續(xù)的邊緣連接成連續(xù)的邊緣，本發(fā)明通過(guò)以下方法連接不連續(xù)邊緣點(diǎn)：掃描N2中值為1的點(diǎn)，如果該點(diǎn)的8個(gè)領(lǐng)域中有兩個(gè)點(diǎn)值為1，說(shuō)明該點(diǎn)是連續(xù)的點(diǎn)，否則該點(diǎn)是不連續(xù)的點(diǎn)，對(duì)于不連續(xù)的點(diǎn)，在N1中查找該點(diǎn)的8個(gè)領(lǐng)域是否存在邊緣點(diǎn)，如果有，將對(duì)應(yīng)的值放入N2中；如果沒(méi)有，說(shuō)明該點(diǎn)是邊緣的端點(diǎn)。

所述步驟3中利用Hough變換檢測(cè)圓心的方法得到瞳孔中心的具體方法為：

(1)建立一個(gè)三維數(shù)組(A,B,R)用以統(tǒng)計(jì)每個(gè)圓方程所對(duì)應(yīng)的圖片上的點(diǎn)(x,y)的個(gè)數(shù)，其中：A,B分別取圖片的高度和寬度，R取A/2和B/2的較小值。

(2)遍歷圖像(x,y)，將每個(gè)點(diǎn)(x,y)可能所在圓的方程(a,b,r)存入數(shù)組(A,B,R)中。

(3)找出數(shù)組(A,B,R)中的最大值(a,b,r)，即為瞳孔所對(duì)應(yīng)的圓方程，(a,b)坐標(biāo)即為瞳孔中心所對(duì)應(yīng)的坐標(biāo)。

本發(fā)明中，基于幀差法和LBP的改進(jìn)MeanShift算法進(jìn)行瞳孔跟蹤的具體方法為：

(1)根據(jù)瞳孔精確定位算法確定瞳孔目標(biāo)的初始位置f₀，根據(jù)公式建立目標(biāo)模型q_u假設(shè)圖像中一共有n個(gè)像素點(diǎn)，用{x_i}_i＝_1…n表示，對(duì)區(qū)域內(nèi)的顏色紋理特征空間均勻劃分，得到m個(gè)相等的區(qū)間構(gòu)成的顏色紋理特征直方圖；q為目標(biāo)模型特征空間，用直方圖的形式表示出來(lái)；q_u為組成目標(biāo)模型特征空間的元素；K表示核函數(shù)，選擇Epanechnikov核；bin(x_i)表示像素點(diǎn)x_i在顏色紋理直方圖中所在的區(qū)域，δ是階躍函數(shù)；在計(jì)算過(guò)程中，將R,G,B三個(gè)顏色通道的bin分別設(shè)為8個(gè)，加上紋理的通道的10個(gè)bin，m＝8*8*8*10＝5120；為歸一化系數(shù)；

(2)在視頻運(yùn)行過(guò)程中，對(duì)當(dāng)前幀做如下處理：

(2a)根據(jù)公式D_k+1(x,y)＝|F_k+1(x,y)-F_k(x,y)|和公式計(jì)算當(dāng)前幀的差分圖像，其中，設(shè)第k幀和第k+1幀的圖像在坐標(biāo)(x,y)處的像素值分別為F_k(x,y)和F_k+1(x,y)，第k+1幀表示當(dāng)前幀,D_k+1(x,y)表示當(dāng)前幀的差分圖像,T為閾值，R_k+1(x,y)為最終得到運(yùn)動(dòng)目標(biāo)的輪廓，為二值圖像；

(2b)基于幀差法根據(jù)公式計(jì)算當(dāng)前幀中新的候選目標(biāo)中心位置f₀，其中(x_A,y_A)為前一幀目標(biāo)中心，(x_B,y_B)為運(yùn)動(dòng)目標(biāo)輪廓重心，f₀(x_C,y_C)為新的候選目標(biāo)中心；

(2c)根據(jù)公式建立目標(biāo)候選模型p_u，其中f為候選目標(biāo)中心，h表示核函數(shù)窗口的大??；

根據(jù)公式計(jì)算候選模型與目標(biāo)模型之間的相似度ρ(p,q)，其中c為歸一化系數(shù)；

(2d)根據(jù)公式計(jì)算當(dāng)前區(qū)域內(nèi)各個(gè)像素點(diǎn)的權(quán)重w_i；

(2e)根據(jù)新的候選目標(biāo)中心位置f_k+1，重新計(jì)算相似度函數(shù)ρ(p,q)；

(2f)判斷重新計(jì)算的相似度是否小于設(shè)定的閾值，如是，則停止搜索，目標(biāo)在當(dāng)前幀的中心位置即為f_k+1；否則跳到第(2d)步，繼續(xù)迭代計(jì)算，直到滿足設(shè)定的閾值或者超出設(shè)定計(jì)算迭代次數(shù)；

(3)當(dāng)視頻進(jìn)入新的一幀的時(shí)候，跳到第(2)步，對(duì)新的一幀視頻進(jìn)行處理，直到視頻結(jié)束，并輸出移動(dòng)后的瞳孔中心在三維坐標(biāo)系中的X坐標(biāo)值和Y坐標(biāo)值。

所述步驟5中，基于所采集的距離信息測(cè)量出瞳孔中心在三維坐標(biāo)系中的Z坐標(biāo)值的具體方法為：直接將距離傳感器測(cè)量得到的距離數(shù)據(jù)作為瞳孔的Z坐標(biāo)。

如圖3和圖4所示，將本發(fā)明應(yīng)用到瞳孔定位及跟蹤系統(tǒng)，該瞳孔定位及跟蹤系統(tǒng)包括視頻采集傳感器1、距離傳感器2、下位機(jī)4、上位機(jī)5、電機(jī)控制模塊3和支座。所述視頻采集傳感器1采用日本Sentech公司生產(chǎn)的高清USB攝像機(jī)STC-MC83USB，其分辨率為1024*768，幀頻率為30fps(Frames Per Second)。所述距離傳感器2采用夏普公司的距離傳感器GP2Y3A002K0F。所述下位機(jī)4采用廣州友善之臂(FriendlyARM)公司的Tiny4412開(kāi)發(fā)主板(CPU采用三星公司的Exynos4412四核處理器)。所述電機(jī)控制模塊3采用一能公司生產(chǎn)的步進(jìn)電機(jī)28H2P4509A6和配套驅(qū)動(dòng)器2MA320。

本發(fā)明中，所述視頻采集傳感器1用于獲取人臉的視頻信息。距離傳感器2用于獲取視頻采集傳感器1與瞳孔之間的距離信息。下位機(jī)4用于接收視頻采集傳感器1以及距離傳感器2所采集的數(shù)據(jù)，該下位機(jī)4分別與視頻采集傳感器1、距離傳感器2連接。上位機(jī)5用于接收下位機(jī)4所發(fā)送的數(shù)據(jù)，并基于所述視頻信息識(shí)別出瞳孔中心在三維坐標(biāo)系中的X坐標(biāo)值和Y坐標(biāo)值，以及基于所述距離信息識(shí)別出瞳孔中心在三維坐標(biāo)系中的Z坐標(biāo)值，并輸出控制指令給下位機(jī)4，以及在上位機(jī)5上輸出該瞳孔中心的坐標(biāo)。電機(jī)控制模塊3包括與下位機(jī)4連接的驅(qū)動(dòng)單元3a，以及分別與驅(qū)動(dòng)單元3a連接的X軸步進(jìn)電機(jī)3b(即用于控制支座在X方向上移動(dòng)的電機(jī))、Y軸步進(jìn)電機(jī)3c(即用于控制支座在Y方向上移動(dòng)的電機(jī))、Z軸步進(jìn)電機(jī)3d(即用于控制支座在Z方向上移動(dòng)的電機(jī))，下位機(jī)4基于上位機(jī)5所發(fā)送的控制指令通過(guò)驅(qū)動(dòng)單元3a分別對(duì)X軸步進(jìn)電機(jī)3b、Y軸步進(jìn)電機(jī)3c、Z軸步進(jìn)電機(jī)3d進(jìn)行控制。所述視頻采集傳感器及距離傳感器2安裝在該支座上，該支座分別與X軸步進(jìn)電機(jī)3b、Y軸步進(jìn)電機(jī)3c、Z軸步進(jìn)電機(jī)3d連接，以調(diào)整攝像頭的拍攝角度，達(dá)到實(shí)時(shí)對(duì)焦的目的。

如圖5所示，所述瞳孔定位及跟蹤系統(tǒng)的控制流程如下：判斷是否打開(kāi)了攝像機(jī)的攝像頭，若是，通過(guò)攝像頭采集人臉的視頻信息，若否，打開(kāi)本地視頻，讀取并顯示視頻，瞳孔定位，瞳孔精確跟蹤，判斷是否結(jié)束，若是，結(jié)束流程，若否，返回瞳孔精確跟蹤步驟。