基于運動相關(guān)性的瞳孔位置濾波方法
【專利摘要】一種基于運動相關(guān)性的瞳孔位置濾波方法，包括人臉檢測部分，人眼檢測部分以及瞳孔位置檢測部分三個流程；其中人臉檢測部分包括（1）采集每幀視頻圖像并提取候選區(qū)域；（2）基于候選區(qū)域的人臉檢測；人眼檢測位置檢測：在檢測出人臉的區(qū)域內(nèi)，進行人眼檢測；隨后進行瞳孔位置檢測；瞳孔位置檢測部分包括（1）基于模板匹配的宏塊跟蹤；（2）基于候選區(qū)域的瞳孔檢測；（3）基于運動相關(guān)性的瞳孔位置濾波；將基于模板匹配的運動估計和瞳孔定位算法相結(jié)合，實時計算兩組數(shù)據(jù)的相關(guān)性，當(dāng)兩者相關(guān)性較好時，瞳孔檢測準(zhǔn)確，將其值作為輸出值輸出。以得到當(dāng)前的瞳孔檢測準(zhǔn)確值作為輸出值輸出。可有效地克服隨機干擾，提高系統(tǒng)的準(zhǔn)確性和魯棒性。
【專利說明】基于運動相關(guān)性的瞳孔位置濾波方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機視覺處理【技術(shù)領(lǐng)域】，特別是有關(guān)于一種基于運動相關(guān)性的瞳孔位置濾波方法。
【背景技術(shù)】
[0002]在許多應(yīng)用中都有涉及瞳孔定位，比如視線追蹤、視線瞄準(zhǔn)、無輔助立體顯示等。以其在無輔助立體顯示中的應(yīng)用為例，在該系統(tǒng)中，需要實時精確地定位觀看者的瞳孔位置，利用特殊的光學(xué)引擎將指向光束精準(zhǔn)地投射到用戶的瞳孔位置，在這個過程中，對瞳孔定位模塊的性能要求非常高。在定位過程中有時會因受到干擾而產(chǎn)生跳變，從而引起光學(xué)設(shè)備的誤動作，使得觀看者觀察到閃爍、串影等不良顯示效果，影響觀看體驗。
[0003]在現(xiàn)行瞳孔定位技術(shù)中，基本關(guān)注于提聞定位的精準(zhǔn)度方面，對穩(wěn)定性方面的關(guān)注較少。在提高穩(wěn)定性方面的研究中，涉及的方法大多過于復(fù)雜，無法應(yīng)用于有很高實時性要求的場合中?；谶\動相關(guān)性的瞳孔位置濾波從人體運動的特點出發(fā)，結(jié)合精確的瞳孔定位技術(shù)，能有效地克服隨機干擾，計算量小，性能可靠。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是為了克服現(xiàn)有技術(shù)存在的缺陷，提供一種改進的瞳孔位置濾波方法，基于人體運動平滑性的假設(shè)，將基于模板匹配的運動估計和人眼定位算法相結(jié)合，該方法能有效地克服噪聲干擾，提高穩(wěn)定性。
[0005]本發(fā)明的基本原理:
[0006]一種基于運動相關(guān)性的瞳孔位置濾波方法，包括人臉檢測部分，人眼檢測部分以及瞳孔檢測部分三個部分，如圖1所示。具體包括:1、采集每幀視頻圖像并提取候選區(qū)域:通過攝像頭采集視頻，為減小計算復(fù)雜度，對每幀圖像進行候選區(qū)域選取。2、基于候選區(qū)域的人臉檢測:在通過上述步驟后提取出的候選區(qū)域內(nèi)進行人臉檢測。3、人眼檢測位置檢測:在檢測出人臉的區(qū)域內(nèi)，進行人眼檢測。4、隨后進行瞳孔位置的檢測。
[0007]瞳孔檢測部分包括以下步驟，其流程如圖2所示:
[0008]1、基于模板匹配的宏塊跟蹤；
[0009]在已經(jīng)檢測出人臉的范圍內(nèi)，選擇一定區(qū)域作為模板匹配的初始化區(qū)域，將此時的模板中心位置存入內(nèi)存中，在后續(xù)的每一幀人臉區(qū)域中，利用一定的搜索策略，尋找與初始化模板匹配程度最高的區(qū)域，并將區(qū)域的中心位置存入內(nèi)存，以得到模板匹配值序列。
[0010]2、基于候選區(qū)域的瞳孔檢測；
[0011]在已經(jīng)檢測出人眼的區(qū)域內(nèi)進行瞳孔檢測，并將每幀視頻中檢測出的人眼瞳孔位置坐標(biāo)放入相應(yīng)的內(nèi)存區(qū)域中，以得到瞳孔檢測值序列。
[0012]3、基于運動相關(guān)性的瞳孔位置濾波；
[0013]對于已經(jīng)存入內(nèi)存區(qū)的模板匹配值序列和瞳孔檢測值序列，對于每幀數(shù)據(jù)，考查兩者之間的相關(guān)性是否變差，相關(guān)性變差的判定方法有多種，現(xiàn)在列舉如下:[0014](χ-u)2+(y-v)2 > Y.[0015](I)
[0016]其中:x、y是當(dāng)前瞳孔檢測值的橫、縱坐標(biāo)，U、V是當(dāng)前模板匹配值的橫、縱坐標(biāo)，Y是閾值。上述表達式體現(xiàn)的是，如果與當(dāng)前瞳孔檢測值與模板匹配值坐標(biāo)位置相關(guān)的距離函數(shù)小于閾值，則認(rèn)為此時瞳孔檢測準(zhǔn)確，并將瞳孔檢測值作為最終的輸出值輸出；如果與當(dāng)前的瞳孔檢測值與模板匹配值坐標(biāo)位置相關(guān)的距離函數(shù)大于閾值，則認(rèn)為兩者相關(guān)性降低，此時瞳孔檢測受到干擾，檢測不準(zhǔn)。
[0017]如果出現(xiàn)相關(guān)性降低，瞳孔檢測受到干擾，需要進行下面的濾波處理，其濾波方法有多種，現(xiàn)在列舉如下:
[0018]Xt = Xt-Aut-1V1.[0019]
[0020]yt = yH+Vt-VH
[0021](2)
[0022]其中:Χη、yt_!是上一幀瞳孔檢測值的橫、縱坐標(biāo)，Ut-Ut+ Vt-Vt^1是當(dāng)前幀模板匹配值的橫、縱坐標(biāo)減去上一幀模板匹配值的橫、縱坐標(biāo)，即當(dāng)前幀與上一幀之間的運動偏移量，用該偏移量與上一幀準(zhǔn)確檢測的瞳孔坐標(biāo)相加，得到當(dāng)前的瞳孔檢測準(zhǔn)確值作為輸出值輸出。
[0023]本發(fā)明相對于現(xiàn)有技術(shù)`具有如下有益效果:
[0024]本發(fā)明基于運動的平滑性和相關(guān)性等特點，將基于模板匹配的運動估計算法與瞳孔定位技術(shù)相結(jié)合，提出基于運動相關(guān)性的瞳孔位置濾波方法，可有效地克服隨機干擾，提高系統(tǒng)的準(zhǔn)確性和魯棒性。
【專利附圖】

【附圖說明】
[0025]圖1為人臉檢測，人眼檢測以及瞳孔檢測流程圖
[0026]圖2為基于運動相關(guān)性的瞳孔位置濾波方法
【具體實施方式】
[0027]下面結(jié)合附圖，對本發(fā)明應(yīng)用在瞳孔檢測上舉例作進一步詳細(xì)說明。
[0028]本實施例的方法是基于人體運動平滑性的假設(shè)，這是一個較強的假設(shè)，因為在正常情況下，相對于每秒25幀的視頻流，人體的運動速度是比較慢的，同時還假設(shè)用戶在觀看立體顯示器的時候不會做出劇烈的動作，這個假設(shè)也是成立的。
[0029]1、采集每幀視頻圖像并提取候選區(qū)域；
[0030]通過攝像頭采集視頻，為減小計算復(fù)雜度，對每幀圖像進行候選區(qū)域選取，可以在近紅外光照射環(huán)境下采集臉部視頻，利用人眼的亮瞳效應(yīng)進行候選區(qū)域的選?。?br> [0031]2、基于候選區(qū)域的人臉檢測；
[0032]在通過上述步驟后提取出的候選區(qū)域內(nèi)進行人臉檢測；
[0033]人眼檢測部分包括以下步驟:
[0034]在檢測出人臉的區(qū)域內(nèi)，進行人眼檢測；
[0035]瞳孔檢測部分包括以下步驟:[0036]1、基于模板匹配的宏塊跟蹤；
[0037]在已經(jīng)檢測出人臉的范圍內(nèi)，選擇一定區(qū)域作為模板匹配的初始化區(qū)域，將此時的模板中心位置存入內(nèi)存中，在后續(xù)的每一幀人臉區(qū)域中，利用一定的搜索策略，尋找與初始化模板匹配程度最高的區(qū)域，并將區(qū)域的中心位置存入內(nèi)存，以得到模板匹配值序列。這里可以將跟蹤區(qū)域設(shè)定為一個包含人眼的矩形區(qū)域，初始化模板以瞳孔為中心，大小為人臉大小的1/4，在后續(xù)每幀中采用三步法作為搜索策略，搜索模板的最佳匹配位置。
[0038]2、基于候選區(qū)域的瞳孔檢測；
[0039]在已經(jīng)檢測出人眼的區(qū)域內(nèi)進行瞳孔檢測，并將每幀視頻中檢測出的人眼瞳孔位置坐標(biāo)放入相應(yīng)的內(nèi)存區(qū)域中，以得到瞳孔檢測值序列。
[0040]3、基于運動相關(guān)性的瞳孔位置濾波；
[0041]對于已經(jīng)存入內(nèi)存區(qū)的模板匹配值序列和瞳孔檢測值序列，對于每幀數(shù)據(jù)，考查兩者之間的相關(guān)性是否變差，相關(guān)性變差的判定方法有多種，現(xiàn)在列舉如下:
[0042]法一:
[0043](χ-u)2+(y-v)2 > Y.(3)
[0044]其中:X、y是當(dāng)前瞳孔檢測值的橫、縱坐標(biāo)，U、V是當(dāng)前模板匹配值的橫、縱坐標(biāo)，Y是閾值。上述表達式體現(xiàn)的是，如果與當(dāng)前瞳孔檢測值與模板匹配值坐標(biāo)位置相關(guān)的距離函數(shù)小于閾值，則認(rèn)為此時瞳孔檢測準(zhǔn)確，并將瞳孔檢測值作為最終的輸出值輸出；如果與當(dāng)前的瞳孔檢測值與模板匹配值坐標(biāo)位置相關(guān)的距離函數(shù)大于閾值，則認(rèn)為兩者相關(guān)性降低，此時瞳孔檢測受到干`擾，檢測不準(zhǔn)。
[0045]法二:
[0046]Dx = Xk-Xk-!
[0047]Dy = yk-yk-!
[0048]Du = Uk-UH.(4)
[0049]Dv = Vk-VH
[0050]( □ χ- □ u)2+( □ y- □ v)2 > Y
[0051]其中:Dx、Dy是當(dāng)前幀與上一幀瞳孔檢測值的橫、縱坐標(biāo)之差，即當(dāng)前幀與上一幀瞳孔檢測值的運動偏移量，□ 11、口 V是當(dāng)前幀與上一幀模板匹配值的橫、縱坐標(biāo)之差，即當(dāng)前幀與上一幀模板匹配值的運動偏移量，Y是閾值。上述表達式體現(xiàn)的是，如果與瞳孔檢測值的運動偏移量與模板匹配值的運動偏移量相關(guān)的距離函數(shù)小于閾值，則認(rèn)為此時瞳孔檢測準(zhǔn)確，并將瞳孔檢測值作為最終的輸出值輸出；如果與瞳孔檢測值的運動偏移量與模板匹配值的運動偏移量相關(guān)的距離函數(shù)大于閾值，則認(rèn)為兩者相關(guān)性降低，此時瞳孔檢測受到干擾，檢測不準(zhǔn)。
[0052]其中:□ xk、□ yk是第k幀與上一幀瞳孔檢測值的橫、縱坐標(biāo)之差，即第k幀與上一幀瞳孔檢測值的運動偏移量，□ %、□ Vk是第k幀與上一幀模板匹配值的橫、縱坐標(biāo)之差，即第k幀與上一幀模板匹配值的運動偏移量，Y是閾值。上述表達式反應(yīng)的是，從當(dāng)前幀到此前k幀為止，如果與瞳孔檢測值的運動偏移量和模板匹配值的運動偏移量相關(guān)的累積距離函數(shù)小于閾值，則認(rèn)為此時瞳孔檢測準(zhǔn)確，并將瞳孔檢測值作為最終的輸出值輸出；如果與瞳孔檢測值的運動偏移量和模板匹配值的運動偏移量相關(guān)的累積距離函數(shù)大于閾值，則認(rèn)為兩者相關(guān)性降低，此時瞳孔檢測受到干擾，檢測不準(zhǔn)。[0053]如果出現(xiàn)相關(guān)性降低，瞳孔檢測受到干擾，需要進行下面的濾波處理，其濾波方法有多種，現(xiàn)在列舉如下:
[0054]法一:
【權(quán)利要求】
1.一種基于運動相關(guān)性的瞳孔位置濾波方法，其特征在于，包括人臉檢測部分，人眼檢測部分以及瞳孔位置檢測部分三個流程；其中人臉檢測部分包括(I)采集每幀視頻圖像并提取候選區(qū)域；(2)基于候選區(qū)域的人臉檢測；人眼檢測位置檢測:在檢測出人臉的區(qū)域內(nèi)，進行人眼檢測；隨后進行瞳孔位置檢測； 瞳孔位置檢測部分包括(I)基于模板匹配的宏塊跟蹤；(2)基于候選區(qū)域的瞳孔檢測；(3)基于運動相關(guān)性的瞳孔位置濾波； 將基于模板匹配的運動估計和位置定位算法相結(jié)合，實時計算兩組數(shù)據(jù)的相關(guān)性；用當(dāng)前幀模板匹配值的橫、縱坐標(biāo)減去上一幀模板匹配值的橫、縱坐標(biāo)，得到當(dāng)前幀與上一幀之間的運動偏移量，用該偏移量與上一幀準(zhǔn)確檢測的瞳孔坐標(biāo)相加，得到當(dāng)前的瞳孔檢測準(zhǔn)確值作為輸出值輸出。
2.根據(jù)權(quán)利要求1所述基于運動相關(guān)性的瞳孔位置濾波方法，其特征在于: 1)基于模板匹配的宏塊跟蹤:在已經(jīng)檢測出人臉的范圍內(nèi)，選擇一定區(qū)域作為模板匹配的初始化區(qū)域，將此時的模板中心位置存入內(nèi)存中，在后續(xù)的每一幀人臉區(qū)域中，利用一定的搜索策略，尋找與初始化模板匹配程度最高的區(qū)域，并將區(qū)域的中心位置存入內(nèi)存，以得到模板匹配值序列； 2)基于候選區(qū)域的瞳孔檢測:在已經(jīng)檢測出人眼的區(qū)域內(nèi)進行瞳孔檢測，并將每幀視頻中檢測出的人眼瞳孔位置坐標(biāo)放入相應(yīng)的內(nèi)存區(qū)域中，以得到瞳孔檢測值序列； 3)基于運動相關(guān)性的瞳孔位置濾波: 3-1)對于已經(jīng)存入內(nèi)存區(qū)的模板匹配值序列和瞳孔檢測值序列，對于每幀數(shù)據(jù)，考查兩者之間的相關(guān)性是否變差，相關(guān)性變差的判定方法有多種，現(xiàn)在列舉如下:
(χ-u)2+(y_v)2 > y (I) 其中:x、y是當(dāng)前瞳孔檢測值的橫、縱坐標(biāo)，u、V是當(dāng)前模板匹配值的橫、縱坐標(biāo)，Y是閾值；上式表示，如果與當(dāng)前瞳孔檢測值與模板匹配值坐標(biāo)位置相關(guān)的距離函數(shù)小于閾值，則認(rèn)為此時瞳孔檢測準(zhǔn)確，并將瞳孔檢測值作為最終的輸出值輸出；如果與當(dāng)前的瞳孔檢測值與模板匹配值坐標(biāo)位置相關(guān)的距離函數(shù)大于閾值，則認(rèn)為兩者相關(guān)性降低，此時瞳孔檢測受到干擾，檢測不準(zhǔn)； 3-2)如果出現(xiàn)相關(guān)性降低，瞳孔檢測受到干擾，需要進行下面的濾波處理，其濾波方法有多種，現(xiàn)在列舉如下:xt = xt-1+ut_ut-1.yt = yt-1+vt_vt-1 ⑵ 其中:Χη、yt_!是上一幀瞳孔檢測值的橫、縱坐標(biāo)，Ut-Ut+ Vt-Vw是當(dāng)前幀模板匹配值的橫、縱坐標(biāo)減去上一幀模板匹配值的橫、縱坐標(biāo)，即當(dāng)前幀與上一幀之間的運動偏移量，用該偏移量與上一幀準(zhǔn)確檢測的瞳孔坐標(biāo)相加，得到當(dāng)前的瞳孔檢測準(zhǔn)確值作為輸出值輸出。
3.根據(jù)權(quán)利要求1所述基于運動相關(guān)性的瞳孔位置濾波方法，其特征在于: 采集每幀視頻圖像并提取 候選區(qū)域；通過攝像頭采集視頻，為減小計算復(fù)雜度，對每幀圖像進行候選區(qū)域選取，在近紅外光照射環(huán)境下采集臉部視頻，利用人眼的亮瞳效應(yīng)進行候選區(qū)域的選取。
4.根據(jù)權(quán)利要求2所述基于運動相關(guān)性的瞳孔位置濾波方法，其特征在于:在后續(xù)的每一幀人臉區(qū)域中，利用搜索策略，尋找與初始化模板匹配程度最高的區(qū)域，并將區(qū)域的中心位置存入內(nèi)存，以得到模板匹配值序列；這里將跟蹤區(qū)域設(shè)定為一個包含人眼的矩形區(qū)域，初始化模板以瞳孔為中心，大小為人臉大小的1/4，在后續(xù)每幀中采用三步法作為搜索策略，搜索模板的最 佳匹配位置。
【文檔編號】G06K9/00GK103810472SQ201310627291
【公開日】2014年5月21日 申請日期:2013年11月29日 優(yōu)先權(quán)日:2013年11月29日
【發(fā)明者】王元慶, 張羽 申請人:南京大學(xué)