一種基于眼動數(shù)據(jù)的疲勞檢測方法和裝置的制造方法
【專利摘要】本發(fā)明公開了一種基于眼動數(shù)據(jù)的疲勞檢測方法和裝置。該方法通過與待測人進行UI交互測試待測人反應(yīng)的敏捷度，在測試的同時通過眼動儀采集眼動基本數(shù)據(jù)計算出眼動疲勞特征數(shù)據(jù)，最后再由反應(yīng)的敏捷度和眼動疲勞特征數(shù)據(jù)結(jié)合采用機器學(xué)習算法判斷出待測人是否處于疲勞狀態(tài)。其中，與待測人進行UI交互測試待測人反應(yīng)的敏捷度的過程由字符搜索測試和閱讀理解測試組成。經(jīng)測試，本發(fā)明的檢測準確率達到了95.2%，相比于之前的疲勞檢測法，具有極高的準確性、實用性、簡便性、易學(xué)性等優(yōu)點。
【專利說明】
一種基于眼動數(shù)據(jù)的疲勞檢測方法和裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及眼動數(shù)據(jù)分析以及在疲勞檢測上的應(yīng)用。
【背景技術(shù)】
[0002] -系列研究表明，與傳統(tǒng)的信息瀏覽及閱讀方式不同，使用電子屏幕更容易讓用 戶產(chǎn)生疲勞感，疲勞度的增加會導(dǎo)致工作效率低下、視力降低甚至更為嚴重的身體損害，然 而很多用戶在生活工作中卻并未意識到這一點。因此如何以一種快捷、簡便的方式，準確有 效的判斷用戶的疲勞狀態(tài)，是目前亟待解決的一個問題。
[0003] 此前已有多項研究提及到了視覺疲勞檢測，但是如何得到一個準確而又客觀的結(jié) 果，多數(shù)方法設(shè)計并未完美解決此問題?？▋?nèi)基梅隆研究所經(jīng)過反復(fù)實驗和論證，提出了度 量疲勞/瞌睡的物理量PERCLOS(Percentage of Eyelid Closure over the Pupil)。他們 認為，在單位時間內(nèi)當眼睛閉合所占的時間達到一定比例，則判定產(chǎn)生了視覺疲勞。在 Singh的工作中，認為當眼睛閉合時間大于0.5S時，則很可能產(chǎn)生了疲勞狀態(tài)。由于此處用 于檢測的特征過于單一，因而容易造成誤判斷。Benedetto等在衡定視覺疲勞時，結(jié)合閃光 刺激與眨眼頻率進行了分析，但是一方面閃光刺激可能會影響到眼動數(shù)據(jù)，另一方面影響 眨眼頻率的因素很多，疲勞感僅僅是眾多因素之一。Di和Mccamy采用了數(shù)據(jù)分析和問卷調(diào) 查結(jié)合的方法，以三個小時為一階段，測算出用戶在多個階段的閱讀和掃視速率，并認為當 眼睛處于疲勞狀態(tài)時，速率結(jié)果會大幅降低。然而該方法耗時過長，用戶體驗極不友好。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的問題是針對目前現(xiàn)有的疲勞檢測法過于主觀化，沒有定量數(shù)據(jù) 進行衡定的現(xiàn)象，設(shè)計一種檢測是否疲勞的方法和裝置，該方法和裝置能夠利用眼動儀對 用戶的雙眼進行檢測，以最為自然、簡單的"文本搜索"和"閱讀"方式來收集眼動數(shù)據(jù)，然后 根據(jù)這些眼動數(shù)據(jù)判斷是否疲勞。
[0005] 為解決上述問題，本發(fā)明采用的方案如下：
[0006] 根據(jù)本發(fā)明的一種基于眼動數(shù)據(jù)的疲勞檢測方法，包括以下步驟：
[0007] Sl:通過與待測人進行字符搜索任務(wù)的UI交互，獲得搜索效率數(shù)據(jù)；
[0008] S2:在執(zhí)行步驟Sl的同時，通過眼動儀采集待測人的眼動基本數(shù)據(jù)，并采集相應(yīng)的 時間數(shù)據(jù)，然后根據(jù)眼動基本數(shù)據(jù)和時間數(shù)據(jù)計算出搜索眼動疲勞特征數(shù)據(jù)；
[0009] S3:通過與待測人進行閱讀理解任務(wù)的UI交互，獲得閱讀效率數(shù)據(jù)；
[0010] S4:在執(zhí)行步驟S3的同時，通過眼動儀采集待測人的眼動基本數(shù)據(jù)，并采集相應(yīng)的 時間數(shù)據(jù)，然后根據(jù)眼動基本數(shù)據(jù)和時間數(shù)據(jù)計算出閱讀眼動疲勞特征數(shù)據(jù)；
[0011] S5:對所述的搜索效率數(shù)據(jù)、閱讀效率數(shù)據(jù)、搜索眼動疲勞特征數(shù)據(jù)和閱讀眼動疲 勞特征數(shù)據(jù)采用機器學(xué)習算法分析判斷待測人是否處于疲勞狀態(tài)；
[0012] 所述搜索眼動疲勞特征數(shù)據(jù)包括:瞳孔直徑比、眨眼頻率和興趣域個數(shù)；
[0013] 所述閱讀眼動疲勞特征數(shù)據(jù)包括:瞳孔直徑比、眨眼頻率和興趣域個數(shù)；
[0014] 所述瞳孔直徑比為測試時的瞳孔直徑和初始的瞳孔直徑的比值；
[0015] 所述眨眼頻率為平均眨眼的時間間隔；
[0016] 所述興趣域個數(shù)通過統(tǒng)計眼球掃視速度小于特定閾值的個數(shù)得到。
[0017] 進一步，根據(jù)本發(fā)明的基于眼動數(shù)據(jù)的疲勞檢測方法，所述搜索效率數(shù)據(jù)包括字 符搜索成功率和字符搜索錯誤率;所述步驟Sl包括：
[0018] Sl 1:從字符搜索文本庫中隨機抽取搜索文本；
[0019] S12:在屏幕中顯示所述的搜索文本供待測人搜索，顯示時，從所述的搜索文本中 隨機選取5~50個字符，對所選取的字符以區(qū)別于正文的樣式顯示，并對這些以區(qū)別于正文 的樣式顯示的字符構(gòu)建特殊字符的采樣區(qū)；
[0020] S13:獲取待測人操作的屏幕點擊消息，并根據(jù)屏幕點擊消息是否落入特殊字符的 采樣區(qū)判斷是否為特殊字符點擊消息；
[0021 ] S14:根據(jù)屏幕點擊消息和特殊字符點擊消息，統(tǒng)計字符搜索成功率和字符搜索錯 誤率。
[0022]進一步，根據(jù)本發(fā)明的基于眼動數(shù)據(jù)的疲勞檢測方法，所述閱讀效率數(shù)據(jù)包括閱 讀速率;所述步驟S3包括：
[0023] S31:從閱讀理解文本庫中隨機選取閱讀文本和相應(yīng)的閱讀理解題集；
[0024] S32:在屏幕中顯示所述的閱讀文本和閱讀理解題集供待測人閱讀和解答閱讀理 解題集；
[0025] S33:當所有閱讀理解題集被答復(fù)正確時，記錄步驟S32的閱讀理解耗時；
[0026] S34:根據(jù)所述的閱讀文本的總字數(shù)和閱讀理解耗時，計算閱讀速率。
[0027] 進一步，根據(jù)本發(fā)明的基于眼動數(shù)據(jù)的疲勞檢測方法，所述閱讀眼動疲勞特征數(shù) 據(jù)還包括回讀行數(shù);所述回讀行數(shù)通過統(tǒng)計眼球掃視速率大于特定閾值，且眼球掃視的起 點和終點的距離大于特定閾值，且終點的橫坐標小于起點的橫坐標的個數(shù)得到。
[0028] 如權(quán)利要求1所述的基于眼動數(shù)據(jù)的疲勞檢測方法，其特征在于，所述閱讀眼動疲 勞特征數(shù)據(jù)還包括凝視總時間占比;所述凝視總時間占比為凝視總時間與閱讀總時間的占 比；所述凝視總時間通過統(tǒng)計眼球靜止狀態(tài)的總時間獲得。
[0029] 根據(jù)本發(fā)明的一種基于眼動數(shù)據(jù)的疲勞檢測裝置，包括以下模塊：
[0030] Ml用于:通過與待測人進行字符搜索任務(wù)的UI交互，獲得搜索效率數(shù)據(jù)；
[0031] M2用于:在執(zhí)行模塊Ml的同時，通過眼動儀采集待測人的眼動基本數(shù)據(jù)，并采集相 應(yīng)的時間數(shù)據(jù)，然后根據(jù)眼動基本數(shù)據(jù)和時間數(shù)據(jù)計算出搜索眼動疲勞特征數(shù)據(jù)；
[0032] M3用于:通過與待測人進行閱讀理解任務(wù)的UI交互，獲得閱讀效率數(shù)據(jù)；
[0033] M4用于:在執(zhí)行模塊M3的同時，通過眼動儀采集待測人的眼動基本數(shù)據(jù)，并采集相 應(yīng)的時間數(shù)據(jù)，然后根據(jù)眼動基本數(shù)據(jù)和時間數(shù)據(jù)計算出閱讀眼動疲勞特征數(shù)據(jù)；
[0034] M5用于:對所述的搜索效率數(shù)據(jù)、閱讀效率數(shù)據(jù)、搜索眼動疲勞特征數(shù)據(jù)和閱讀眼 動疲勞特征數(shù)據(jù)采用機器學(xué)習算法分析判斷待測人是否處于疲勞狀態(tài)；
[0035] 所述搜索眼動疲勞特征數(shù)據(jù)包括:瞳孔直徑比、眨眼頻率和興趣域個數(shù)；
[0036] 所述閱讀眼動疲勞特征數(shù)據(jù)包括:瞳孔直徑比、眨眼頻率和興趣域個數(shù)；
[0037] 所述瞳孔直徑比為測試時的瞳孔直徑和初始的瞳孔直徑的比值；
[0038] 所述眨眼頻率為平均眨眼的時間間隔；
[0039] 所述興趣域個數(shù)通過統(tǒng)計眼球掃視速度小于特定閾值的個數(shù)得到。
[0040] 進一步，根據(jù)本發(fā)明的基于眼動數(shù)據(jù)的疲勞檢測裝置，所述搜索效率數(shù)據(jù)包括字 符搜索成功率和字符搜索錯誤率;所述模塊Ml包括：
[0041 ] Ml 1用于:從字符搜索文本庫中隨機抽取搜索文本；
[0042] M12用于:在屏幕中顯示所述的搜索文本供待測人搜索，顯示時，從所述的搜索文 本中隨機選取5~50個字符，對所選取的字符以區(qū)別于正文的樣式顯示，并對這些以區(qū)別于 正文的樣式顯示的字符構(gòu)建特殊字符的采樣區(qū)；
[0043] M13用于:獲取待測人操作的屏幕點擊消息，并根據(jù)屏幕點擊消息是否落入特殊字 符的采樣區(qū)判斷是否為特殊字符點擊消息；
[0044] M14用于:根據(jù)屏幕點擊消息和特殊字符點擊消息，統(tǒng)計字符搜索成功率和字符搜 索錯誤率。
[0045] 進一步，根據(jù)本發(fā)明的基于眼動數(shù)據(jù)的疲勞檢測裝置，所述閱讀效率數(shù)據(jù)包括閱 讀速率;所述模塊M3包括：
[0046] M31用于:從閱讀理解文本庫中隨機選取閱讀文本和相應(yīng)的閱讀理解題集；
[0047] M32用于:在屏幕中顯示所述的閱讀文本和閱讀理解題集供待測人閱讀和解答閱 讀理解題集；
[0048] M33用于：當所有閱讀理解題集被答復(fù)正確時，記錄模塊M32的閱讀理解耗時；
[0049] M34用于:根據(jù)所述的閱讀文本的總字數(shù)和閱讀理解耗時，計算閱讀速率。
[0050] 進一步，根據(jù)本發(fā)明的基于眼動數(shù)據(jù)的疲勞檢測裝置，所述閱讀眼動疲勞特征數(shù) 據(jù)還包括回讀行數(shù);所述回讀行數(shù)通過統(tǒng)計眼球掃視速率大于特定閾值，且眼球掃視的起 點和終點的距離大于特定閾值，且終點的橫坐標小于起點的橫坐標的個數(shù)得到。
[0051] 進一步，根據(jù)本發(fā)明的基于眼動數(shù)據(jù)的疲勞檢測裝置，所述閱讀眼動疲勞特征數(shù) 據(jù)還包括凝視總時間占比；所述凝視總時間占比為凝視總時間與閱讀總時間的占比；所述 凝視總時間通過統(tǒng)計眼球靜止狀態(tài)的總時間獲得。
[0052]本發(fā)明的技術(shù)效果如下：本發(fā)明采取全自動方式收集數(shù)據(jù)，可以同時對用戶當前 的疲勞狀態(tài)、工作效率進行評估，裝置使用流程僅需用戶一人即可完成所有操作，經(jīng)測試， 本發(fā)明的檢測準確率達到了 95.2%，相比于之前的疲勞檢測法，具有極高的準確性、實用 性、簡便性、易學(xué)性等優(yōu)點。
【具體實施方式】
[0053]下面對本發(fā)明做進一步詳細說明。
[0054] 本實施例涉及一種疲勞檢測機器，該機器包括:眼動儀、顯示器、主機和輸入設(shè)備。 其中眼動儀用于采集眼動基本數(shù)據(jù)。顯示器和輸入設(shè)備用于待測人與主機進行UI交互。輸 入設(shè)備可以是鍵盤或鼠標，當然假如顯示器為觸摸屏的話，那么輸入設(shè)備也可以為該顯示 器。主機用于運行程序，通過程序的運行實現(xiàn):通過顯示器和輸入設(shè)備實現(xiàn)和待測人的UI交 互測試待測人反應(yīng)的敏捷度，并在測試待測人反應(yīng)的敏捷度的同時獲取眼動儀采集的眼動 基本數(shù)據(jù)，然后對反應(yīng)的敏捷度和眼動基本數(shù)據(jù)進行分析判斷出當前待測人是否處于疲勞 狀態(tài)。上述主機程序所實現(xiàn)的上述過程即為本發(fā)明的基于眼動數(shù)據(jù)的疲勞檢測方法。本實 施例中，基于眼動數(shù)據(jù)的疲勞檢測方法包括以下步驟：
[0055] SI:通過與待測人進行字符搜索任務(wù)的UI交互，獲得搜索效率數(shù)據(jù)；
[0056] S2:在執(zhí)行步驟Sl的同時，通過眼動儀采集待測人的眼動基本數(shù)據(jù)，并采集相應(yīng)的 時間數(shù)據(jù)，然后根據(jù)眼動基本數(shù)據(jù)和時間數(shù)據(jù)計算出搜索眼動疲勞特征數(shù)據(jù)；
[0057] S3:通過與待測人進行閱讀理解任務(wù)的UI交互，獲得閱讀效率數(shù)據(jù)；
[0058] S4:在執(zhí)行步驟S3的同時，通過眼動儀采集待測人的眼動基本數(shù)據(jù)，并采集相應(yīng)的 時間數(shù)據(jù)，然后根據(jù)眼動基本數(shù)據(jù)和時間數(shù)據(jù)計算出閱讀眼動疲勞特征數(shù)據(jù)；
[0059] S5:對所述的搜索效率數(shù)據(jù)、閱讀效率數(shù)據(jù)、搜索眼動疲勞特征數(shù)據(jù)和閱讀眼動疲 勞特征數(shù)據(jù)采用機器學(xué)習算法分析判斷待測人是否處于疲勞狀態(tài)。
[0060] 上述步驟中，步驟Sl和S3是兩個通過UI交互測試待測人反應(yīng)的敏捷度的步驟。步 驟S2和S4是分別與步驟Sl和S3同步執(zhí)行的步驟。因此，步驟S2和Sl實際上可以合為一個，簡 稱為字符搜索測試;步驟S4和S3也可以合為一個，簡稱為閱讀理解測試。因此整個上述過程 可以理解為:首先字符搜索測試，然后閱讀理解測試，最后分析判斷。最后的分析判斷過程 即為步驟S5。需要指出的是，字符搜索測試和閱讀理解測試是兩個不分先后的過程，也可以 首先進行閱讀理解測試，然后字符搜索測試，最后再分析判斷。
[0061] 步驟Sl和S3得到的搜索效率數(shù)據(jù)和閱讀效率數(shù)據(jù)用以反應(yīng)待測人的反應(yīng)敏捷度。 本實施例中，搜索效率數(shù)據(jù)包括兩個指標值:字符搜索成功率和字符搜索錯誤率。本實施例 的步驟Sl的具體實現(xiàn)采用如下的3101、3102、311、312、313和314步驟。
[0062] S101:通過屏幕顯示字符搜索測試任務(wù)的說明，并等待接收待測人的開始測試指 令。
[0063] S102:接收到待測人的開始測試指令后，執(zhí)行步驟S11、S12、S13和S14步驟。
[0064] Sll:從字符搜索文本庫中隨機抽取搜索文本。字符搜索文本庫預(yù)先存儲有很多篇 文章。搜索文本是供待測人閱讀搜索的文章。字符搜索文本庫中的文章數(shù)量一般不少于 100。文章的語言也是預(yù)先設(shè)定，比如針對以漢語為母語的待測人時，文章的語言為中文;針 對以英文為母語的待測人時，文章的語言為英文。當然也可以在字符搜索文本庫中預(yù)先存 儲多種語言的文章，然后在隨機抽取搜索文本時，可以依據(jù)操作系統(tǒng)的語言環(huán)境選擇與操 作系統(tǒng)的語言類型一致的文章作為搜索文本。字符搜索文本庫中的各篇文章的字數(shù)相互比 較接近，最大相差也不超過百分之十。
[0065] S12:在屏幕中顯示所述的搜索文本供待測人搜索，顯示時，從所述的搜索文本中 隨機選取5~50個字符，對所選取的字符以區(qū)別于正文的樣式顯示，并對這些以區(qū)別于正文 的樣式顯示的字符構(gòu)建特殊字符的采樣區(qū)。隨機選取的5~50個字符稱為特殊字符。也就 是，顯示時，搜索文本中除特殊字符之外的字符采用一種文字樣式顯示，而對于特殊字符采 用另外一種文字樣式顯示。比如，除特殊字符之外的字符所采用的文字樣式采用小四號的 宋體;而特殊字符有50個字符，該50個字符中，10個字符采用小四號的楷體，10個字符采用 小四號的宋體的斜體字，10個字符采用五號的宋體，10個字符采用四號的宋體，10個字符采 用四號粗體的宋體字。步驟S12之后是等待待測人屏幕操作事件消息。
[0066] S13:獲取待測人操作的屏幕點擊消息，并根據(jù)屏幕點擊消息是否落入特殊字符的 采樣區(qū)判斷是否為特殊字符點擊消息。具體來說，判斷鼠標電機或屏幕觸摸點擊是否點擊 在特殊字符上。這里的特殊字符的采樣區(qū)由步驟S12生成。
[0067] S14:根據(jù)屏幕點擊消息和特殊字符點擊消息，統(tǒng)計字符搜索成功率和字符搜索錯 誤率。字符搜索成功率采用公式1?。=1/隊計算得到。字符搜索錯誤率采用公式1=心瓜計 算得到。其中其和心分別表示了待測人搜索到的正確與錯誤結(jié)果個數(shù)，Ns表示閱讀材料內(nèi) 特殊字出現(xiàn)的總個數(shù)。
[0068]本實施例中，閱讀效率數(shù)據(jù)為閱讀速率。本實施例的步驟S3的具體實現(xiàn)采用如下 的 5301、5302、531、532、533和534步驟。
[0069] S301:通過屏幕顯示閱讀理解測試任務(wù)的說明，并等待接收待測人的開始測試指 令。
[0070] S302:接收到待測人的開始測試指令后，執(zhí)行步驟S31、S32、S33和S34步驟。
[0071] S31:從閱讀理解文本庫中隨機選取閱讀文本和相應(yīng)的閱讀理解題集。閱讀理解文 本庫與前述的字符搜索文本庫類同，所不同是，閱讀理解文本庫中還存儲有每篇文章所對 應(yīng)的閱讀理解題集。閱讀理解文本庫中各篇文章所對應(yīng)的閱讀理解題集的閱讀理解題數(shù)目 相同。閱讀理解題數(shù)目一般為8~20個。閱讀理解題的形式一般為選擇題。
[0072] S32:在屏幕中顯示所述的閱讀文本和閱讀理解題集供待測人閱讀和解答閱讀理 解題集。然后等待待測人閱讀和解答閱讀理解題集。每當待測人解答一個閱讀理解題時，即 可判斷待測人解答是否正確。
[0073] S33:當所有閱讀理解題集被答復(fù)正確時，記錄步驟S32的閱讀理解耗時。需要說明 的是，本實施例中，閱讀文本和閱讀理解題集都是經(jīng)過特別選擇和設(shè)計，各個閱讀理解題的 答案均能在閱讀文本中找到答案。因此，一般智商正常的人不會無法答復(fù)。
[0074] S34:根據(jù)所述的閱讀文本的總字數(shù)和閱讀理解耗時，計算閱讀速率。閱讀速率為 閱讀文本的總字數(shù)與閱讀理解耗時的比值。
[0075] 步驟S2和S4得到的搜索眼動疲勞特征數(shù)據(jù)和閱讀眼動疲勞特征數(shù)據(jù)均為表征疲 勞指數(shù)的眼動特征數(shù)據(jù)。眼動儀采集待測人的眼動基本數(shù)據(jù)包括實時的瞳孔直徑，實時的 眼球掃視點以及實時的眼睛開閉狀態(tài)。本實施例中，搜索眼動疲勞特征數(shù)據(jù)包括:瞳孔直徑 比、眨眼頻率和興趣域個數(shù)。閱讀眼動疲勞特征數(shù)據(jù)包括:瞳孔直徑比、眨眼頻率、興趣域個 數(shù)、回讀行數(shù)和凝視總時間占比。搜索眼動疲勞特征數(shù)據(jù)中的瞳孔直徑比、眨眼頻率、興趣 域個數(shù)和閱讀眼動疲勞特征數(shù)據(jù)中的瞳孔直徑比、眨眼頻率、興趣域個數(shù)的獲得方式相同。
[0076] 瞳孔直徑比為測試時的瞳孔直徑和初始的瞳孔直徑的比值。初始的瞳孔直徑是字 符搜索測試和閱讀理解測試之前通過眼動儀采樣得到的瞳孔直徑。測試時的瞳孔直徑是字 符搜索測試和閱讀理解測試過程中通過眼動儀采樣得到的實時的瞳孔直徑中與初始的瞳 孔直徑具有最大差異的瞳孔直徑。比如，在字符搜索測試中，得到的實時的瞳孔直徑為序列 (D 1J2J3, ...，Dn};則可以得到最小瞳孔直徑DminzminOhDhDs，...，Dn)，最小瞳孔直徑 Dmin即為字符搜索測試時的瞳孔直徑。需要說明的是這里的瞳孔直徑比包括了左眼的瞳孔 直徑比和右眼的瞳孔直徑比。
[0077] 眨眼頻率為測試時平均眨眼的時間間隔。眨眼通過眼動儀采集實時的眼睛開閉狀 態(tài)獲得。本實施例，眼睛從開狀態(tài)到閉合狀態(tài)再到開狀態(tài)的一次變化作為眼睛的一個眨眼 動作。本實施例"平均眨眼的時間間隔"中的"眨眼"以雙眼同時完成一個眨眼動作為一次眨 眼。每次眨眼發(fā)生時可以記錄時間點，然后根據(jù)該時間點計算相鄰兩次眨眼的時間間隔，從 而得到相鄰兩次眨眼的時間間隔的序列1〇 1，(：2，(：3，...，〇1}。由此眨眼頻率= &￥8((：1，(：2， C3, . . .，Cn)，其中avg為平均值計算公式，具體為
[0078]興趣域個數(shù)通過統(tǒng)計眼球掃視速度小于特定閾值的個數(shù)得到。具體到本實施例 中，興趣域個數(shù)的統(tǒng)計采用如下步驟：
[0079] S81:以每250毫秒為時間間隔通過眼動儀采集實時的眼球掃視點，從而得到掃視 點序列{Ρι，Ρ2，Ρ3,...，Ρκ+1};其中，Pi由橫坐標和縱坐標組成。
[0080] S82:計算掃視點序列(PllP2J3,...，ρκ+1}中相鄰兩個掃視點的距離，得到距離序 列{Li，L2，L3,…，Ld ;其中，Li = Dist(Pi，Pi+i)，Dist為距離計算公式。需要說明的是，這里 的ILllL2,L 3,...，LK}雖然代表了相鄰兩個掃視點的距離，但由于采樣眼球掃視點的時間間 隔是固定的，每個距離數(shù)據(jù)隱含了 250毫秒的時間長度，因此，他們也代表了瞬間的眼球掃 視的速度。
[0081 ] S83:計算距離序列IL1，L2 ,L3，...，LK}的窗口滑動平均值，得到均值序列IV1, V2, V3, · · ·，Vk};其中￥1 = 3￥8〇^-3，1^-2，1^-1，1^，1^+1，1^+2，1^ +3，1^+4)，也即滑動窗口的大小為 8。對于i-3〈I，i +4大于K的情形，則剔除。比如i = 2時，實際統(tǒng)計的V2 = avg(Li-1，Li，Li+1， U+2，U+3，U+4) = avg(Li，L2，L3，L4，L5，L6)。比如i =K-I時，實際統(tǒng)計的Vk-i = avg(LK-4，LK-3， 1^-2丄1(-1丄1()。由于距離序列{1 1丄2丄3，...，1^}中每個距離數(shù)據(jù)隱含了250毫秒的時間長 度，連續(xù)8個250毫秒意味著2秒長度的時間，也就是均值序列IV 1，V2，V3，. . .，Vd每個均值可 以視為2秒長度內(nèi)的眼球掃視速度。
[0082] 584:計算均值序列{￥1，￥2，￥3，...，￥1(}的最大值￥11^、最小值￥1^11和平均值￥ &%， 然后計算特定閾值 Vlo = (Vmax+3 X Vmin+4X Vavg)/8。
[0083] S85:計算布爾序列（B1J2,B3, . . .，Βκ}，當Vi小于特定閾值Vlo時，布爾值Bi為1，否 則布爾值Bi為0,其中ie[l. .K]。
[0084] S86:從布爾序列B3, ...，Βκ-7}剔除連續(xù)重復(fù)為1的布爾值后，統(tǒng)計剩余布爾 序列中布爾值為1的個數(shù)作為興趣域個數(shù)。這里剔除連續(xù)重復(fù)為1的布爾值，比如,B1 ,B2 ,B3 均為1，而B4均為0,此時，B2，B3為連續(xù)重復(fù)為1，剔除B2，B3后剩下Bi，B4,.......
[0085] 閱讀眼動疲勞特征數(shù)據(jù)中的回讀行數(shù)通過統(tǒng)計眼球掃視速率大于特定閾值，且眼 球掃視的起點和終點的距離大于特定閾值，且終點的橫坐標小于起點的橫坐標的個數(shù)得 到。具體到本實施例中，回讀行數(shù)的統(tǒng)計通過以下步驟：
[0086] S91:以每250毫秒為時間間隔通過眼動儀采集實時的眼球掃視點，從而得到掃視 點序列{Ρι，Ρ2，Ρ3,...，Ρκ+1};其中，Pi由橫坐標和縱坐標組成。該步驟與前述步驟S81相同。 [0087] S92:計算掃視點序列(PllP2J3, ...，ΡΚ+1}中相鄰兩個掃視點的距離，得到距離序 列{11，1^，1^3，...，1^};其中，1^ = 0丨81:奶，？1+1)，0丨81:為距離計算公式。本步驟與前述步驟 S82相同。
[0088] S93:計算距離序列IL1，L2 ,L3，...，LK}的窗口滑動平均值，得到均值序列IV1, V2, V3,. . .，VK}。本步驟與前述步驟S83相同，不再贅述。
[0089] 594:計算均值序列{￥1，￥2，￥3，...，￥1(}的最大值￥11^、最小值￥1^11和平均值￥ &%， 然后計算特定閾值 Vhi = (2 X Vmax+Vmin+5 X Vavg)/8。
[0090] S95:計算距離序列{Li，L2，L3, · . .，Lk}的最大值Lmax、最小值Lmin和平均值Lavg， 然后計算特定閾值 Lhi = (2 X Lmax+Lmin+5 X Lavg)/8。
[0091] S96:計算布爾序列(B1J2,B3,. . .，Βκ}，當Vi大于特定閾值Vhi時，且Li大于特定閾 值Lhi，且終點Pi+1的橫坐標小于起點Pi的橫坐標時，計布爾值Bi為1，否則布爾值B i為0。 [0092] S97:統(tǒng)計布爾序列他及而，...，Βκ}中布爾值為1的個數(shù)作為回讀行數(shù)。
[0093] 閱讀眼動疲勞特征數(shù)據(jù)中的凝視總時間占比為凝視總時間與閱讀總時間的占比。 凝視總時間通過統(tǒng)計眼球靜止狀態(tài)的總時間獲得。凝視總時間占比可以通過前述步驟S82 或S92中的距離序列{LhL 2^3,...，LK}估計得到。具體為：統(tǒng)計距離序列ILhL2^ 3,...，Lk} 中小于0.00001的個數(shù)Nz作為凝視總時間，以距離序列ILllL 2^3,...，LK}中的K作為閱讀總 時間。由此，凝視總時間占比=Nz/K。
[0094] 經(jīng)過上述的字符搜索測試和閱讀理解測試得到了疲勞特征指標數(shù)據(jù)。疲勞特征指 標數(shù)據(jù)包括:搜索效率數(shù)據(jù)、閱讀效率數(shù)據(jù)、搜索眼動疲勞特征數(shù)據(jù)和閱讀眼動疲勞特征數(shù) 據(jù)。搜索效率數(shù)據(jù)包括字符搜索成功率和字符搜索錯誤率，字符搜索成功率和字符搜索錯 誤率分別標記為：Res_suc和Res_err。閱讀效率數(shù)據(jù)包括閱讀速率，閱讀速率標記為R_ speed。搜索眼動疲勞特征數(shù)據(jù)包括瞳孔直徑比、眨眼頻率和興趣域個數(shù)，搜索眼動疲勞特 征數(shù)據(jù)的左眼瞳孔直徑比、右眼瞳孔直徑比、眨眼頻率和興趣域個數(shù)分別標記為SLD、SRD、 S_blinl^PS_A0I。閱讀眼動疲勞特征數(shù)據(jù)包括瞳孔直徑比、眨眼頻率、興趣域個數(shù)、回讀行 數(shù)和凝視總時間占比。閱讀眼動疲勞特征數(shù)據(jù)的左眼瞳孔直徑比、右眼瞳孔直徑比、眨眼頻 率、興趣域個數(shù)、回讀行數(shù)和凝視總時間占比分別標記為:RLD、RRD、R_bI ink、R_A0I、R_sac 和Stare_t〇
[0095] 步驟 S5 也即對上述疲勞特征數(shù)據(jù) Res_suc、Res_err、R_speed、SLD、SRD、S_bl ink、 5_八01、此0、1?^、1?_13111^、1^\01、1?_8&(3和3丨 &代_丨采用機器學(xué)習算法分析判斷待測人是否 處于疲勞狀態(tài)。本實施例中，機器學(xué)習算法采用BP神經(jīng)網(wǎng)絡(luò)算法。BP神經(jīng)網(wǎng)絡(luò)算法是本領(lǐng)域 技術(shù)人員所熟悉的技術(shù)，本說明書不再贅述。需要指出的是，在步驟S5進行判斷之前，BP神 經(jīng)網(wǎng)絡(luò)算法需要經(jīng)過模型訓(xùn)練，然后根據(jù)訓(xùn)練出的模型結(jié)果才能對上述疲勞特征數(shù)據(jù)進行 分類，判斷出正常狀態(tài)與疲勞狀態(tài)。而對于本實施例的疲勞檢測機器而言，BP神經(jīng)網(wǎng)絡(luò)算法 的模型訓(xùn)練是已經(jīng)預(yù)先執(zhí)行過了的。
【主權(quán)項】
1. 一種基于眼動數(shù)據(jù)的疲勞檢測方法，其特征在于，包括以下步驟： S1:通過與待測人進行字符搜索任務(wù)的UI交互，獲得搜索效率數(shù)據(jù)； S2:在執(zhí)行步驟S1的同時，通過眼動儀采集待測人的眼動基本數(shù)據(jù)，并采集相應(yīng)的時間 數(shù)據(jù)，然后根據(jù)眼動基本數(shù)據(jù)和時間數(shù)據(jù)計算出搜索眼動疲勞特征數(shù)據(jù)； S3:通過與待測人進行閱讀理解任務(wù)的UI交互，獲得閱讀效率數(shù)據(jù)； S4:在執(zhí)行步驟S3的同時，通過眼動儀采集待測人的眼動基本數(shù)據(jù)，并采集相應(yīng)的時間 數(shù)據(jù)，然后根據(jù)眼動基本數(shù)據(jù)和時間數(shù)據(jù)計算出閱讀眼動疲勞特征數(shù)據(jù)； S5:對所述的搜索效率數(shù)據(jù)、閱讀效率數(shù)據(jù)、搜索眼動疲勞特征數(shù)據(jù)和閱讀眼動疲勞特 征數(shù)據(jù)采用機器學(xué)習算法分析判斷待測人是否處于疲勞狀態(tài)； 所述搜索眼動疲勞特征數(shù)據(jù)包括:瞳孔直徑比、眨眼頻率和興趣域個數(shù)； 所述閱讀眼動疲勞特征數(shù)據(jù)包括:瞳孔直徑比、眨眼頻率和興趣域個數(shù)； 所述瞳孔直徑比為測試時的瞳孔直徑和初始的瞳孔直徑的比值； 所述眨眼頻率為平均眨眼的時間間隔； 所述興趣域個數(shù)通過統(tǒng)計眼球掃視速度小于特定閾值的個數(shù)得到。2. 如權(quán)利要求1所述的基于眼動數(shù)據(jù)的疲勞檢測方法，其特征在于，所述搜索效率數(shù)據(jù) 包括字符搜索成功率和字符搜索錯誤率;所述步驟S1包括： S11:從字符搜索文本庫中隨機抽取搜索文本； S12:在屏幕中顯示所述的搜索文本供待測人搜索，顯示時，從所述的搜索文本中隨機 選取5~50個字符，對所選取的字符以區(qū)別于正文的樣式顯示，并對這些以區(qū)別于正文的樣 式顯示的字符構(gòu)建特殊字符的采樣區(qū)； S13:獲取待測人操作的屏幕點擊消息，并根據(jù)屏幕點擊消息是否落入特殊字符的采樣 區(qū)判斷是否為特殊字符點擊消息； S14:根據(jù)屏幕點擊消息和特殊字符點擊消息，統(tǒng)計字符搜索成功率和字符搜索錯誤 率。3. 如權(quán)利要求1所述的基于眼動數(shù)據(jù)的疲勞檢測方法，其特征在于，所述閱讀效率數(shù)據(jù) 包括閱讀速率;所述步驟S3包括： S31:從閱讀理解文本庫中隨機選取閱讀文本和相應(yīng)的閱讀理解題集； S32:在屏幕中顯示所述的閱讀文本和閱讀理解題集供待測人閱讀和解答閱讀理解題 集； S33:當所有閱讀理解題集被答復(fù)正確時，記錄步驟S32的閱讀理解耗時； S34:根據(jù)所述的閱讀文本的總字數(shù)和閱讀理解耗時，計算閱讀速率。4. 如權(quán)利要求1所述的基于眼動數(shù)據(jù)的疲勞檢測方法，其特征在于，所述閱讀眼動疲勞 特征數(shù)據(jù)還包括回讀行數(shù);所述回讀行數(shù)通過統(tǒng)計眼球掃視速率大于特定閾值，且眼球掃 視的起點和終點的距離大于特定閾值，且終點的橫坐標小于起點的橫坐標的個數(shù)得到。5. 如權(quán)利要求1所述的基于眼動數(shù)據(jù)的疲勞檢測方法，其特征在于，所述閱讀眼動疲勞 特征數(shù)據(jù)還包括凝視總時間占比；所述凝視總時間占比為凝視總時間與閱讀總時間的占 比；所述凝視總時間通過統(tǒng)計眼球靜止狀態(tài)的總時間獲得。6. -種基于眼動數(shù)據(jù)的疲勞檢測裝置，其特征在于，包括以下模塊： Ml用于:通過與待測人進行字符搜索任務(wù)的UI交互，獲得搜索效率數(shù)據(jù)； M2用于:在執(zhí)行模塊Ml的同時，通過眼動儀采集待測人的眼動基本數(shù)據(jù)，并采集相應(yīng)的 時間數(shù)據(jù)，然后根據(jù)眼動基本數(shù)據(jù)和時間數(shù)據(jù)計算出搜索眼動疲勞特征數(shù)據(jù)； M3用于:通過與待測人進行閱讀理解任務(wù)的UI交互，獲得閱讀效率數(shù)據(jù)； M4用于:在執(zhí)行模塊M3的同時，通過眼動儀采集待測人的眼動基本數(shù)據(jù)，并采集相應(yīng)的 時間數(shù)據(jù)，然后根據(jù)眼動基本數(shù)據(jù)和時間數(shù)據(jù)計算出閱讀眼動疲勞特征數(shù)據(jù)； M5用于:對所述的搜索效率數(shù)據(jù)、閱讀效率數(shù)據(jù)、搜索眼動疲勞特征數(shù)據(jù)和閱讀眼動疲 勞特征數(shù)據(jù)采用機器學(xué)習算法分析判斷待測人是否處于疲勞狀態(tài)； 所述搜索眼動疲勞特征數(shù)據(jù)包括:瞳孔直徑比、眨眼頻率和興趣域個數(shù)； 所述閱讀眼動疲勞特征數(shù)據(jù)包括:瞳孔直徑比、眨眼頻率和興趣域個數(shù)； 所述瞳孔直徑比為測試時的瞳孔直徑和初始的瞳孔直徑的比值； 所述眨眼頻率為平均眨眼的時間間隔； 所述興趣域個數(shù)通過統(tǒng)計眼球掃視速度小于特定閾值的個數(shù)得到。7. 如權(quán)利要求6所述的基于眼動數(shù)據(jù)的疲勞檢測裝置，其特征在于，所述搜索效率數(shù)據(jù) 包括字符搜索成功率和字符搜索錯誤率;所述模塊Ml包括： Ml 1用于:從字符搜索文本庫中隨機抽取搜索文本； M12用于:在屏幕中顯示所述的搜索文本供待測人搜索，顯示時，從所述的搜索文本中 隨機選取5~50個字符，對所選取的字符以區(qū)別于正文的樣式顯示，并對這些以區(qū)別于正文 的樣式顯示的字符構(gòu)建特殊字符的采樣區(qū)； M13用于:獲取待測人操作的屏幕點擊消息，并根據(jù)屏幕點擊消息是否落入特殊字符的 采樣區(qū)判斷是否為特殊字符點擊消息； M14用于:根據(jù)屏幕點擊消息和特殊字符點擊消息，統(tǒng)計字符搜索成功率和字符搜索錯 誤率。8. 如權(quán)利要求6所述的基于眼動數(shù)據(jù)的疲勞檢測裝置，其特征在于，所述閱讀效率數(shù)據(jù) 包括閱讀速率;所述模塊M3包括： M31用于:從閱讀理解文本庫中隨機選取閱讀文本和相應(yīng)的閱讀理解題集； M32用于:在屏幕中顯示所述的閱讀文本和閱讀理解題集供待測人閱讀和解答閱讀理 解題集； M33用于：當所有閱讀理解題集被答復(fù)正確時，記錄模塊M32的閱讀理解耗時； M34用于:根據(jù)所述的閱讀文本的總字數(shù)和閱讀理解耗時，計算閱讀速率。9. 如權(quán)利要求6所述的基于眼動數(shù)據(jù)的疲勞檢測裝置，其特征在于，所述閱讀眼動疲勞 特征數(shù)據(jù)還包括回讀行數(shù);所述回讀行數(shù)通過統(tǒng)計眼球掃視速率大于特定閾值，且眼球掃 視的起點和終點的距離大于特定閾值，且終點的橫坐標小于起點的橫坐標的個數(shù)得到。10. 如權(quán)利要求6所述的基于眼動數(shù)據(jù)的疲勞檢測裝置，其特征在于，所述閱讀眼動疲 勞特征數(shù)據(jù)還包括凝視總時間占比;所述凝視總時間占比為凝視總時間與閱讀總時間的占 比；所述凝視總時間通過統(tǒng)計眼球靜止狀態(tài)的總時間獲得。
【文檔編號】A61B3/11GK106073805SQ201610369357
【公開日】2016年11月9日
【申請日】2016年5月30日
【發(fā)明人】胡煒, 馮桂煥, 駱斌
【申請人】南京大學(xué)