基于面部特征的駕駛?cè)俗⒁饬顟B(tài)檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種駕駛?cè)俗⒁饬顟B(tài)檢測方法，特別是涉及一種基于面部特征的駕 駛?cè)俗⒁饬顟B(tài)檢測方法，屬于智能車輛安全輔助駕駛領(lǐng)域。
【背景技術(shù)】
[0002] 駕駛?cè)似诤妥⒁饬Ψ稚⑹且鸬缆方煌ㄊ鹿实闹匾蛩兀芯勘砻?，超過23%的 碰撞事故和幾乎碰撞事故與駕駛?cè)俗⒁饬顟B(tài)有關(guān)。然而，隨著車載信息系統(tǒng)的不斷增加， 這一現(xiàn)象日趨嚴(yán)重。
[0003] 實時有效的檢測駕駛?cè)说钠谂c注意力分散狀態(tài)是提高行車安全性和改善道路 交通環(huán)境的一項重要措施。
[0004] 目前，進(jìn)行駕駛?cè)俗⒁饬顟B(tài)檢測的方法可大致分為五種： 1) 基于駕駛?cè)松硇盘柕臋z測方法，如EEG、ECG、E0G等； 2) 基于駕駛?cè)松矸磻?yīng)特征的檢測方法，如眨眼頻率、視線方向、面部朝向等； 3) 基于駕駛?cè)瞬僮餍袨榈臋z測方法，如方向盤轉(zhuǎn)角、方向盤轉(zhuǎn)角速度、油門開度等； 4) 基于車輛狀態(tài)信息的檢測方法，如車速、車道偏移量等； 5) 基于信息融合技術(shù)的檢測方法，融合以上兩種或多種檢測方法。
[0005] 其中，基于駕駛?cè)松矸磻?yīng)特征的檢測方法是指利用駕駛?cè)说恼Ｑ坌畔ⅰ⒀矍虻?運(yùn)動和頭部運(yùn)動特性等推斷駕駛?cè)说淖⒁饬顟B(tài)，檢測準(zhǔn)確率較高，已成為現(xiàn)階段駕駛?cè)?疲勞與注意力分散狀態(tài)檢測的主要研究方向。
[0006] 專利201110162468.7(-種基于面部視頻分析的駕駛?cè)似跈z測方法)提出一種 基于面部視頻分析的駕駛?cè)似跈z測方法，該方法首先對人臉圖像進(jìn)行檢測，得到眼睛、鼻 子、嘴巴局部器官的初步定位;然后進(jìn)一步得到精確定位的人臉特征點；最終以多幀待測人 臉特征點的精確定位結(jié)果為基礎(chǔ)，對面部運(yùn)動特征進(jìn)行量化描述，根據(jù)面部運(yùn)動統(tǒng)計指標(biāo) 得到待測人疲勞檢測結(jié)果。
[0007] 專利號201010275567.1(基于數(shù)字視頻的駕駛?cè)似跔顟B(tài)檢測方法)提出了一種 基于數(shù)字視頻的駕駛?cè)似跔顟B(tài)檢測方法。該方法在攝像頭采集到圖像的基礎(chǔ)上，首先進(jìn) 行人臉的檢測與定位;然后查找人眼區(qū)域和嘴巴區(qū)域，對人眼狀態(tài)及嘴巴狀態(tài)進(jìn)行判斷；最 后，采用空-頻域特征融合與SVM分類的方法判斷駕駛?cè)耸欠裉幱谄隈{駛狀態(tài)。
[0008] 目前，基于駕駛?cè)松矸磻?yīng)特征的檢測方法的研究主要集中在駕駛?cè)嗣娌刻卣鞯?提取方面。然而在成功提取駕駛?cè)松矸磻?yīng)特征（眼瞼尺寸、眨眼次數(shù)、視線方向等）后，由 駕駛?cè)说纳矸磻?yīng)特征到駕駛?cè)俗⒁饬顟B(tài)的判斷方面存在一定的問題，急需完善。同時， 由于駕駛?cè)瞬煌瑐€體之間存在一定差異性，又進(jìn)一步降低了現(xiàn)有的駕駛?cè)似诤妥⒁饬Ψ?散狀態(tài)檢測系統(tǒng)的準(zhǔn)確率。
【發(fā)明內(nèi)容】
[0009] 本發(fā)明的目的在于提供一種基于面部特征的駕駛?cè)俗⒁饬顟B(tài)檢測方法，其通過 駕駛?cè)松矸磻?yīng)特征（眼瞼尺寸、眨眼次數(shù)、視線方向等)準(zhǔn)確檢測駕駛?cè)说淖⒁饬顟B(tài)并 對駕駛?cè)似谂c注意力分散狀態(tài)進(jìn)行預(yù)警。確定了具體參數(shù)值及明確了檢測步驟。不包括 駕駛?cè)嗣娌刻卣鞯牟杉吞崛?，所采用的駕駛?cè)嗣娌刻卣鞑杉崛∠到y(tǒng)的采樣頻率為fit ，本發(fā)明讀取駕駛?cè)嗣娌刻卣鞯念l率為尨Η::。
[0010]為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：基于面部特征的駕駛?cè)?注意力狀態(tài)檢測方法，其特征在于檢測步驟如下： 1. 基于PERCL0S的駕駛?cè)似跔顟B(tài)檢測； 2. 基于眨眼頻率的駕駛?cè)似跔顟B(tài)檢測； 3. 基于視線分布的駕駛?cè)俗⒁饬Ψ稚顟B(tài)檢測； 4. 駕駛?cè)似谂c注意力分散狀態(tài)的預(yù)警； 疲勞或注意力分散狀態(tài)應(yīng)該預(yù)警持續(xù)時間，避免不同狀態(tài)頻繁切換。預(yù)警優(yōu)先級:疲勞 駕駛〉注意力分散〉正常駕駛； 其中所述的基于PERCL0S的駕駛?cè)似跔顟B(tài)檢測包括如下步驟： 1.針對不同駕駛?cè)说牟町?，駕駛?cè)搜鄄€尺寸閾值的初始化步驟如下 a. 讀取并保存前η組駕駛?cè)搜鄄€尺寸：左眼瞼?，右眼瞼_??:沒feteydidj;眼 瞼俗稱眼皮，長在眼球前面的軟組織，對眼球起保護(hù)作用。眼瞼尺寸是眼睛睜開時的尺寸； b. 計算駕駛?cè)搜鄄€尺寸閾值（左眼瞼、右眼瞼)作為 PERCL0S的計算基準(zhǔn)，駕駛?cè)搜鄄€尺寸閾值計算公式如下：
2 .基于P隨Μ的判斷準(zhǔn)則（即：單位時間內(nèi)眼睛閉合超過80%所占的比例大于 0.4)檢測駕駛?cè)似跔顟B(tài)步驟如下： a. 讀取當(dāng)前幀的眼瞼尺寸:左眼瞼右眼瞼紐_祕1鐘； b. 眼瞼閉合程度的計算公式如下：
其中:為左眼閉合程度，·_為右眼閉合程度； c. 當(dāng)眼睛閉合超過80%時開始計時，計算1? s內(nèi)駕駛?cè)搜劬﹂]合超過80%的次數(shù)，計算公 式如下：
其中::1^0_|_為島§內(nèi)眼睛閉合超過80%的次數(shù)，每次開始計時的初始值為0; d. |鏡3的計算公式如下：
其中:1為讀取駕駛?cè)搜鄄€尺寸的頻率； 如果遍邊，則駕駛?cè)颂幱谄隈{駛狀態(tài)，如果，則駕駛?cè)颂幱谡?駕駛狀態(tài)。
[0011] 所述的基于眨眼頻率的駕駛?cè)似跔顟B(tài)檢測包括如下步驟： 1. 針對不同駕駛?cè)藛挝粫r間（lmin)內(nèi)眨眼次數(shù)變化范圍閾值初始化步驟如下： a. 駕駛?cè)碎_始駕駛前時間內(nèi)，統(tǒng)計單位時間窗（imin)內(nèi)的駕駛?cè)苏Ｑ鄞螖?shù)； b. 兩個連續(xù)時間窗重復(fù)率為50s; c .統(tǒng)計前'?i η內(nèi)共_r?b = 6 X 組駕駛?cè)苏Ｑ鄞螖?shù)組成特征向量
，計算特征向量_紅:中駕駛?cè)?眨眼次數(shù)最小值芻_ι炎釋?找,:__ .和最大值:，計算前:?:姆 駕駛?cè)苏Ｑ鄞螖?shù)最小值_和最大值ftf麻麵1??_翁???，作為該駕駛?cè)苏?常駕駛狀態(tài)眨眼次數(shù)變化范鼠[撫; 2. 基于眨眼頻率的駕駛?cè)似跔顟B(tài)檢測步驟如下： a. 統(tǒng)計單位時間窗（lmin)內(nèi)駕駛?cè)苏Ｑ鄞螖?shù); b. 兩個連續(xù)時間窗重復(fù)率為50s; c. 如果眨眼次數(shù)落在正常駕駛狀態(tài)變化范圍內(nèi)，即:_漱細(xì)s轉(zhuǎn)賊 則駕駛?cè)颂幱谡ｑ{駛狀態(tài)，如果紐1 s則η好iwesMin或；：?見 則駕駛?cè)颂幱谄隈{駛狀態(tài)。
[0012] 所述的基于視線分布的駕駛?cè)俗⒁饬Ψ稚顟B(tài)檢測包括如下步驟： 1.針對不同駕駛?cè)苏暤缆非胺綍r，注視區(qū)域劃分的步驟如下： a. 讀取并保存前mM駕駛?cè)苏暤缆非胺綍r，駕駛?cè)艘暰€方向f^ ; b. 前m組所有駕駛?cè)艘暰€方向在X方向分量按從小到大順序構(gòu)成特
C .按照百分位計算方法計算特征向量益_$氣上四分位數(shù)、下四分位數(shù)擇^^拜和 四分位距暴翻建-J_gs = ;
d-特征向量沒rf.r中落在區(qū)間-15如沿i t ^?&75+ 1.%辦_外的元素 為異常值，刪除中所有異常值后剩余個元素，將？^個元素按從小到大順序排列構(gòu) 成正常注視區(qū)域X方向分量新特征 e. 取特征向量pdxz中最小值參_1：_.驗、最大值凌構(gòu)成正常注視區(qū)域X方向范 II [ijdxmi.n f ^dxm.ax]； f. 前m組所有駕駛?cè)艘暰€方向在y方向分量按從小到大順序構(gòu)成特 征向量
g. 按照百分位計算方法計算特征向量遽Μ.上四分位數(shù)、下四分位數(shù)髮4)?緩和 四分位距I#·=:遵:_1細(xì):一 ; h. 特征向量f參中落在區(qū)間講#_ - ::s: _兩獨|外的元素為異 常值，刪除中所有異常值后剩余》2個元素，將個元素按從小到大順序排列構(gòu)成正 常注視區(qū)域y方向分量新特征向量
i. 取特征向量g#深中最小值爹戌pi·、最大值構(gòu)成正常注視區(qū)域y方向范 2.基于視線分布的駕駛?cè)俗⒁饬Ψ稚顟B(tài)檢測步驟如下： a. 讀取當(dāng)前幀的注視方向：
b. 如果駕駛?cè)俗⒁暦较蚱x正常注視區(qū)域，開始計時，其計算公式如下：
其中變?yōu)樽⒁暦较蚱x正常注視區(qū)域計時次數(shù)，每次開始計時的初始值為 0； C.如果持續(xù)偏離正常注視區(qū)域時間?：沒超過2s，則駕駛?cè)颂幱谧⒁饬Ψ稚顟B(tài)，否則為 正常駕駛狀態(tài)，持續(xù)時間病0'計算公式如下：
其中：&為讀取駕駛?cè)艘暰€方向的頻率。
[0013]所述的駕駛?cè)似诨蜃⒁饬Ψ稚顟B(tài)的預(yù)警包括如下步驟： 1. 當(dāng)駕駛?cè)颂幱谡ｑ{駛狀態(tài)時，預(yù)警系統(tǒng)的綠色指示燈亮，顯示"正常駕駛"； 2. 當(dāng)駕駛?cè)颂幱谄隈{駛狀態(tài)時，預(yù)警系統(tǒng)的紅色指示燈亮，播放警告聲音，同時顯示 "疲勞駕駛"，直到正常駕駛為止； 3. 當(dāng)駕駛?cè)颂幱谧⒁饬Ψ稚顟B(tài)時，預(yù)警系統(tǒng)的黃色指示燈亮，播放警告聲音，同時顯 示"注意力分散"，直到正常駕駛為止； 4.預(yù)警系統(tǒng)安裝在儀表盤處，所發(fā)出預(yù)警易被駕駛?cè)死斫夂徒邮堋?br>[0014] 本發(fā)明的積極效果是通過對不同駕駛?cè)搜鄄€尺寸閾值的初始化，解決了駕駛?cè)藗€ 體差異性的問題，提高了系統(tǒng)的通用性和檢測準(zhǔn)確率;通過對駕駛?cè)藛挝粫r間內(nèi)眨眼次數(shù) 閾值的初始化，解決了駕駛?cè)藗€體差異性的問題。同時，兩連續(xù)時間窗重復(fù)率為50s，降低了 駕駛?cè)似跔顟B(tài)檢測的漏警率;通過對駕駛?cè)苏ｑ{駛狀態(tài)注視區(qū)域的初始化，解決了駕 駛?cè)藗€體差異性的問題，初始化過程中，刪除正常駕駛狀態(tài)注視區(qū)域的初始化過程中異常 值，排除非正常注視點的干擾，提高了注意力分散狀態(tài)檢測的準(zhǔn)確率;對不同駕駛狀態(tài)進(jìn)行 不同預(yù)警，預(yù)警方法更易被駕駛?cè)死斫夂徒邮堋?br>【附圖說明】
[0015] 圖1為本發(fā)明所述的基于面部特征的駕駛?cè)俗⒁饬顟B(tài)檢測方法中的駕駛?cè)嗣娌?特征參數(shù)閾值初始化流程框圖。
[0016] 圖2為本發(fā)明所述的基于面部特征的駕駛?cè)俗⒁饬顟B(tài)檢測方法的流程框圖。
[0017] 圖3為本發(fā)明所述的基于面部特征的駕駛?cè)俗⒁饬顟B(tài)檢測方法中的駕駛?cè)俗⒁?力狀態(tài)預(yù)警流程框圖。
【具體實施方式】
[0018] 下面結(jié)合附圖和實施例對本發(fā)明做進(jìn)一步的描述： 實施例1 采用的駕駛?cè)嗣娌刻卣鞑杉崛∠到y(tǒng)為SmartEye，其采樣頻率為50Hz，駕駛?cè)嗣娌刻?征參數(shù)的讀取頻率為50Hz。
[0019] 如圖2所示，本發(fā)明所述的基于面部特征的駕駛?cè)俗⒁饬顟B(tài)檢測方法包括如下 步驟： 1. 基于PERCL0S的駕駛?cè)似跔顟B(tài)檢測； 2. 基于眨眼頻率的駕駛?cè)似跔顟B(tài)檢測； 3. 基于視線分布的駕駛?cè)俗⒁饬Ψ稚顟B(tài)檢測； 4. 駕駛?cè)似诨蜃⒁饬Ψ稚顟B(tài)的預(yù)警； 技術(shù)方案中所述的基于PERCL0S的駕駛?cè)似跔顟B(tài)檢測包括如下步驟： 1. 如圖1所示，針對不同駕駛?cè)瞬町?，駕駛?cè)搜鄄€尺寸閾值初始化的步驟如下： a. 讀取并保存前500組駕駛?cè)搜鄄€尺寸:左眼瞼，右眼瞼麥#11?; b. 計算駕駛?cè)搜鄄€尺寸閾值（左眼瞼、右眼瞼麵_織_碰i)作為 PERCL0S的計算基準(zhǔn)，駕駛?cè)搜鄄€尺寸閾值計算公式如下：
2. 如圖2所示，采用基于的判斷準(zhǔn)則（即：單位時間內(nèi)眼睛閉合超過80%所 占的比例大于ο. 4)檢測駕駛?cè)似跔顟B(tài)步驟如下： a ·讀取當(dāng)前幀的眼瞼尺寸:左眼瞼1??釋P!M￡:、右眼瞼Γ__雙遽_; b. 眼瞼閉合程度的計算公式如下：
其中為左眼閉合程度，》#為右眼閉合程度； c. 在計算P80時，本發(fā)明不是以時間窗為計算單元計算單位時間內(nèi)眼睛閉合超過80%的