專利名稱：一種汽車駕駛員疲勞檢測(cè)的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視頻數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種采用計(jì)算機(jī)視頻數(shù)據(jù)處 理技術(shù)對(duì)機(jī)動(dòng)車駕駛員的疲勞程度進(jìn)行檢測(cè)的方法及其檢測(cè)裝置。
背景技術(shù)：
駕駛疲勞是指駕駛員在長(zhǎng)時(shí)間連續(xù)行車后，產(chǎn)生心理機(jī)能和生理機(jī)能的失調(diào)，出 現(xiàn)視線模糊、腰酸背疼、反應(yīng)遲鈍、動(dòng)作呆板，使駕駛機(jī)能下降的現(xiàn)象。駕駛員疲勞產(chǎn)生的原 因極為復(fù)雜，與諸多因素有關(guān)。目前對(duì)疲勞檢測(cè)這一方向研究的方法眾多，其中有一種比較 常用的劃分方式是按設(shè)備與駕駛員是否接觸分為兩類檢測(cè)方法接觸式疲勞檢測(cè)與非接觸 式疲勞檢測(cè)。接觸式疲勞檢測(cè)主要是從醫(yī)學(xué)的角度，對(duì)人的腦電波、心電波等身體機(jī)能的直接 測(cè)試。接觸式疲勞檢測(cè)雖然準(zhǔn)確度高，但是它的條件要求苛刻，過(guò)程復(fù)雜，價(jià)格昂貴，同時(shí)對(duì) 被測(cè)試者還要在相應(yīng)部位上安裝傳感器。這對(duì)駕駛員的操作帶來(lái)較多的負(fù)面作用，導(dǎo)致其 難于在現(xiàn)實(shí)中運(yùn)用。非接觸式疲勞檢測(cè)主要是用計(jì)算機(jī)視覺(jué)的方式來(lái)檢測(cè)駕駛員的狀態(tài)。其中，有對(duì) 車量在路面行使的遲滯性反應(yīng)來(lái)評(píng)測(cè)駕駛員疲勞狀態(tài)，更多的是監(jiān)視駕駛員的眼睛狀態(tài)來(lái) 評(píng)測(cè)司機(jī)的疲勞狀態(tài)。非接觸式疲勞檢測(cè)的方法是利用視頻處理的方式來(lái)監(jiān)測(cè)駕駛員是否 存在疲勞的情況。這種方法不需要駕駛員直接與儀器相接觸，只需要用一個(gè)視頻采集器監(jiān) 視駕駛員的狀態(tài)，使得設(shè)備與駕駛員不接觸。這就避免設(shè)備與駕駛者接觸帶來(lái)的負(fù)面影響 的情況。在計(jì)算機(jī)的控制下，由單個(gè)靜止攝像設(shè)備監(jiān)控汽車駕駛室的駕駛員面部狀態(tài)。通 過(guò)非接觸式的疲勞檢測(cè)，人們是通過(guò)對(duì)駕駛員面部特征變化的觀察來(lái)評(píng)價(jià)是否疲勞。研究表明，人在發(fā)生困倦的時(shí)候，眨眼速度會(huì)變慢，眨眼持續(xù)時(shí)間也會(huì)變長(zhǎng)。具體 來(lái)說(shuō)，駕駛員是否疲勞，與其眼睛的睜開(kāi)程度狀態(tài)密切相關(guān)。駕駛員的眼睛閉合時(shí)間越長(zhǎng)， 也就意味著疲勞程度越嚴(yán)重。因此，可以通過(guò)測(cè)量眼睛閉合時(shí)間在一段時(shí)間內(nèi)所占的比例， 來(lái)判斷駕駛員的疲勞程度?；谟?jì)算機(jī)視覺(jué)方式檢測(cè)駕駛員的疲勞狀態(tài)，通常情況都是先把駕駛員臉的大小 和位置確定下來(lái)，然后再處理和定位眼睛，通過(guò)對(duì)眼睛的狀態(tài)分析后計(jì)算疲勞值。目前非接觸式疲勞檢測(cè)的方法中，對(duì)眼睛狀態(tài)信息的采集一般是使用紅外攝像機(jī) 技術(shù)。但是，紅外攝像機(jī)的成本比普通攝像機(jī)的成本昂貴，處理過(guò)程復(fù)雜，不利于產(chǎn)品大批 量的推廣
發(fā)明內(nèi)容
本發(fā)明的研制目的是提供一種準(zhǔn)確率高，性能穩(wěn)定，能夠降低設(shè)備的制造成本的 可以有效防止機(jī)動(dòng)車司機(jī)因疲勞駕駛而造成的交通事故的一種汽車駕駛員疲勞檢測(cè)的方 法。本發(fā)明的一種汽車駕駛員疲勞檢測(cè)的方法，其特征在于該方法通過(guò)計(jì)算機(jī)處理器采用下列步驟(1. 1)先從視頻中定位出人臉的區(qū)域； (1. 2)再對(duì)眼睛區(qū)域進(jìn)行精確定位；(1. 3)然后對(duì)眼睛區(qū)域處理以及對(duì)的眼睛狀態(tài)進(jìn)行分析；(1. 4)最后根據(jù)眼睛的狀態(tài)進(jìn)行疲勞狀態(tài)的分析。步驟(1. 2)所沭的對(duì)眼睛區(qū)域講行精確定位是利用等亮度線原理講行定位,由于 曲率的倒數(shù)為曲率半徑，這樣可以從等亮度線里的曲率中計(jì)算出眼球的半徑，然后就可以 得到中心點(diǎn)。通過(guò)對(duì)圖像進(jìn)行高斯卷積運(yùn)算得到邊緣信息，然后利用等亮度線與物體的邊 界信息的相關(guān)性進(jìn)行更多的操作。曲線在邊緣與表面的關(guān)系是平滑的表面相關(guān)性較低，高 梯度的表面有較大的相關(guān)性。這就意味著可以通過(guò)查找部分較大值的等亮度線來(lái)尋找邊緣 線信息，從而通過(guò)等亮度線的高相關(guān)性模式確定中心映射區(qū)域。步驟(1. 3)所沭的對(duì)眼睛區(qū)域處理以及對(duì)的眼睛狀杰講行分析,利用數(shù)學(xué)形杰學(xué) 的重建濾波的方法處理眼睛區(qū)域，然后通過(guò)計(jì)算眼睛區(qū)域處理后的空洞長(zhǎng)度與空洞面積的 方法對(duì)眼睛狀態(tài)進(jìn)行分析，所述的眼睛狀態(tài)的分析的詳細(xì)算法步驟如下(3. 1)首先定位眼睛的區(qū)域，并把眼睛感興趣的區(qū)域提取出來(lái)；(3. 2)將提取出來(lái)的眼睛進(jìn)行灰度化處理；(3. 3)對(duì)采集的視頻圖像幀進(jìn)行歸一化處理；(3.4)對(duì)圖像進(jìn)行高斯平滑濾波處理，采用θ = (η/2-1)*0.3+0.8的標(biāo)準(zhǔn)差及選 取n = 11模板大小進(jìn)行處理；(3. 5)圖像二值化處理是采用自適應(yīng)閥值算法進(jìn)行的，其中提取閥值方法是采用 高斯算法，先求出塊中的加權(quán)和，然后再二值化圖像；(3. 6)經(jīng)過(guò)上述處理后除得到眼球的區(qū)域外，還得到了一些其它的多余信息，采用 數(shù)學(xué)形態(tài)學(xué)的重建濾波方法處理，先用3X3的方形結(jié)構(gòu)元素對(duì)前面處理后的圖像進(jìn)行多 次腐蝕運(yùn)算，直到只剩下一塊連通區(qū)域?yàn)橹?，然后，再進(jìn)行相應(yīng)次數(shù)的膨脹運(yùn)算；(3. 7)最后，根據(jù)圖像處理結(jié)果分析連通區(qū)域的寬度及其面積，以此判斷眼睛的狀 態(tài)，其中連通區(qū)域?qū)挾刃∮诨虻扔谠紙D像寬度的1/3，且連通區(qū)域面積小于或等于原始圖 像總面積的10%，同時(shí)滿足這兩者條件則為疲勞的眼睛狀態(tài)。步驟(1. 4)所沭的根據(jù)眼睛的狀杰講行疲勞狀杰的分析是統(tǒng)計(jì)出眼睛在一定持 續(xù)時(shí)間內(nèi)，均處于疲勞狀態(tài)下的次數(shù)超過(guò)規(guī)定的閥值次數(shù)，該系統(tǒng)則判定駕駛員處于疲勞 的狀態(tài)下，并適時(shí)的給出提示信息。本發(fā)明的有益效果在于1、搭建了基于機(jī)器視覺(jué)處理方式的駕駛疲勞檢測(cè)的方法框架，為多種不同方式的 眼睛狀態(tài)分析奠定了基礎(chǔ)；2、為了快速精準(zhǔn)定位眼睛，使用了一種等亮度線的概念對(duì)眼睛進(jìn)行精確定位，并 使用CamShift算法跟蹤眼睛的中心點(diǎn)；3、為了解決實(shí)時(shí)反應(yīng)疲勞狀態(tài)不足的問(wèn)題，本發(fā)明提出了一種運(yùn)算方式簡(jiǎn)單的數(shù) 學(xué)形態(tài)學(xué)重建濾波的方法處理眼睛的區(qū)域，并分析眼睛的狀態(tài)，其低運(yùn)算量和理想的處理 效果，彌補(bǔ)系統(tǒng)實(shí)時(shí)性不足的問(wèn)題；
4、為了解決降低圖像設(shè)備的造價(jià)成本，本發(fā)明僅用一般的攝像頭就能夠；5、本發(fā)明提高眼睛狀態(tài)分析的準(zhǔn)確率和整個(gè)疲勞檢測(cè)的速度的。


圖1本發(fā)明的疲勞檢測(cè)主流程圖；圖2本發(fā)明的眼睛狀態(tài)分析算法流程圖；圖3本發(fā)明的眼睛狀態(tài)處理實(shí)驗(yàn)結(jié)果示意圖。
具體實(shí)施例方式實(shí)施例所述的人臉檢測(cè)方式是由Viola提出的基于AdaBoost的人臉檢測(cè)算法，使用的訓(xùn) 練樣本是由OpenCV提供的樣本庫(kù)和現(xiàn)場(chǎng)實(shí)際采集的樣本集。所述的等亮度線方式的人眼精確定位方法是把圖像看成是三維空間的一個(gè)表面 的問(wèn)題，圖像里的屬性則可看成是高度?？紤]滿足f(x，y) =c(c為某個(gè)常數(shù))的所有點(diǎn)組 成的點(diǎn)集合，若f 表示亮度，那么這個(gè)點(diǎn)集中的元素具有相同的亮度值，因此稱其為“等亮 度線”。若沿著梯度的方向前進(jìn)，則在到達(dá)脊線前的方向都是大致相同的，但到達(dá)脊線后方 向就會(huì)發(fā)生了顯著的變化。因此脊線有一個(gè)有用的定義脊線是由這樣一組點(diǎn)組成，在這些 梯度方向的變化率是局部最大化。也就是說(shuō)，需要找之取最大化值的點(diǎn)，而它是沿梯度 方向V的求導(dǎo)。在笛卡爾坐標(biāo)中為 實(shí)驗(yàn)效果表明公式(1)基本上與一個(gè)略為簡(jiǎn)單的式子(2)等價(jià)，式子(2)只是基 于亮度沿V方向的二階導(dǎo)數(shù)，它們導(dǎo)出要將該式最大化，從而估計(jì)出圖像的脊線。 由于曲率的倒數(shù)為曲率半徑，這樣可以從等亮度線里的曲率中計(jì)算出眼球的半 徑，然后就可以得到中心點(diǎn)。若這些直徑?jīng)]有指定的方向就沒(méi)有意義，所以直徑方向要從 坡度的方向里估算出來(lái)，但知道這個(gè)方向總是要指向亮度變化率最大的地方。若梯度寫成
’則估算的中心區(qū)域D(X，y)為 通過(guò)對(duì)圖像進(jìn)行高斯卷積運(yùn)算得到邊緣信息，然后利用等亮度線與物體的邊界信 息的相關(guān)性進(jìn)行更多的操作。使用曲線刻度的信息來(lái)表達(dá)一個(gè)圖形的形狀的方法，其中曲 線生成公式為 這類曲線在邊緣與表面的關(guān)系是平滑的表面相關(guān)性較低，高梯度的表面有較大的相關(guān)性。這就意味著可以通過(guò)查找部分較大值的等亮度線來(lái)尋找邊緣線信息，從而通過(guò) 等亮度線的高相關(guān)性模式確定中心映射區(qū)域。由此可以確定眼睛的中心點(diǎn)位置，然后再使 用CamShift算法對(duì)眼睛中心點(diǎn)進(jìn)行跟蹤。所述的眼睛區(qū)域的處理及眼睛狀態(tài)分析，由于曲線只在高梯度的平面其相關(guān)性比 較大，而當(dāng)眼睛閉合時(shí)，眼睛區(qū)域的平面就相對(duì)平滑了，其檢測(cè)的效果也就差了，只能在評(píng) 估左右眼區(qū)域處隨機(jī)的尋找，但此時(shí)仍然存在著亮度線信息，因此，本文進(jìn)一步采用數(shù)學(xué)形 態(tài)學(xué)的方式來(lái)判斷眼睛的睜閉狀態(tài)。眼睛狀態(tài)的分析方法是基于圖2流程實(shí)現(xiàn)的，詳細(xì)算法步驟如下(3. 1)首先定位眼睛的區(qū)域，并把眼睛感興趣的區(qū)域提取出來(lái)；(3. 2)將提取出來(lái)的眼睛進(jìn)行灰度化處理；(3. 3)為了能在同一個(gè)大小尺寸下處理圖像，對(duì)采集的視頻圖像幀進(jìn)行歸一化處 理，本方法使用雙線性插值法把圖像歸一化大小為55*35像素的圖像，處理結(jié)果如圖3(a) 所示；(3.4)對(duì)圖像進(jìn)行高斯平滑濾波處理，采用θ = (η/2-1)*0.3+0.8的標(biāo)準(zhǔn)差及選 取n = 11模板大小進(jìn)行處理；(3. 5)圖像二值化處理是采用自適應(yīng)閾值算法進(jìn)行的，其中提取閥值方法是采用 高斯算法，先求出塊中的加權(quán)和，然后再二值化圖像，實(shí)驗(yàn)結(jié)果如圖3(b)所示；(3. 6)經(jīng)過(guò)上述處理后除得到眼球(虹膜區(qū)內(nèi))的區(qū)域外，還得到了一些其它的 多余信息，采用數(shù)學(xué)形態(tài)學(xué)的重建濾波方法處理，先用3X3的方形結(jié)構(gòu)元素對(duì)前面處理后 的圖像進(jìn)行多次腐蝕運(yùn)算，直到只剩下一塊連通區(qū)域?yàn)橹?，然后，再進(jìn)行相應(yīng)次數(shù)的膨脹運(yùn) 算，實(shí)驗(yàn)結(jié)果如圖3(c)；(3. 7)最后，根據(jù)圖像處理結(jié)果分析連通區(qū)域的寬度及其面積，以此判斷眼睛的狀 態(tài)，其中連通區(qū)域?qū)挾刃∮诨虻扔谠紙D像寬度的1/3，且連通區(qū)域面積小于或等于原始圖 像總面積的10%，同時(shí)滿足這兩者條件則為疲勞的眼睛狀態(tài)。所述的疲勞檢測(cè)方式是在30秒內(nèi)，統(tǒng)計(jì)出眼睛持續(xù)0. 15秒均處于疲勞閉眼狀態(tài) 的次數(shù)(疲勞值f)超過(guò)疲勞閥值(10次)，則判定駕駛員處于疲勞狀態(tài)，并適時(shí)的給出提示信息。
權(quán)利要求
一種汽車駕駛員疲勞檢測(cè)的方法，其特征在于該方法通過(guò)計(jì)算機(jī)處理器采用下列步驟(1.1)先從視頻中定位出人臉的區(qū)域；(1.2)再對(duì)眼睛區(qū)域進(jìn)行精確定位；(1.3)然后對(duì)眼睛區(qū)域處理以及對(duì)眼睛的狀態(tài)進(jìn)行分析；(1.4)最后根據(jù)眼睛的狀態(tài)進(jìn)行疲勞狀態(tài)的分析。
2.根據(jù)權(quán)利要求1所述的一種汽車駕駛員疲勞檢測(cè)的方法，其特征在于所述的步驟 (1. 2)所述的對(duì)眼睛區(qū)域進(jìn)行精確定位是利用等亮度線原理進(jìn)行定位，由于曲率的倒數(shù)為 曲率半徑，這樣可以從等亮度線里的曲率中計(jì)算出眼球的半徑，然后就可以得到中心點(diǎn)。通 過(guò)對(duì)圖像進(jìn)行高斯卷積運(yùn)算得到邊緣信息，然后利用等亮度線與物體的邊界信息的相關(guān)性 進(jìn)行更多的操作。曲線在邊緣與表面的關(guān)系是平滑的表面相關(guān)性較低，高梯度的表面有較 大的相關(guān)性。這就意味著可以通過(guò)查找部分較大值的等亮度線來(lái)尋找邊緣線信息，從而通 過(guò)等亮度線的高相關(guān)性模式確定中心映射區(qū)域。
3.根據(jù)權(quán)利要求1所述的一種汽車駕駛員疲勞檢測(cè)的方法，其特征在于所述的步驟 (1. 3)所述的對(duì)眼睛區(qū)域處理以及對(duì)的眼睛狀態(tài)進(jìn)行分析，利用數(shù)學(xué)形態(tài)學(xué)的重建濾波的 方法處理眼睛區(qū)域，然后通過(guò)計(jì)算眼睛區(qū)域處理后的空洞長(zhǎng)度與空洞面積的方法對(duì)眼睛狀 態(tài)進(jìn)行分析，所述的眼睛狀態(tài)的分析的詳細(xì)算法步驟如下(3. 1)首先定位眼睛的區(qū)域，并把眼睛感興趣的區(qū)域提取出來(lái)； (3. 2)將提取出來(lái)的眼睛進(jìn)行灰度化處理； (3. 3)對(duì)采集的視頻圖像幀進(jìn)行歸一化處理；(3.4)對(duì)圖像進(jìn)行高斯平滑濾波處理，采用θ = (η/2-1)*0.3+0.8的標(biāo)準(zhǔn)差及選取η =11模板大小進(jìn)行處理；(3. 5)圖像二值化處理是采用自適應(yīng)閥值算法進(jìn)行的，其中提取閥值方法是采用高斯 算法，先求出塊中的加權(quán)和，然后再二值化圖像；(3. 6)經(jīng)過(guò)上述處理后除得到眼球的區(qū)域外，還得到了一些其它的多余信息，采用數(shù)學(xué) 形態(tài)學(xué)的重建濾波方法處理，先用3X3的方形結(jié)構(gòu)元素對(duì)前面處理后的圖像進(jìn)行多次腐 蝕運(yùn)算，直到只剩下一塊連通區(qū)域?yàn)橹?，然后，再進(jìn)行相應(yīng)次數(shù)的膨脹運(yùn)算；(3. 7)最后，根據(jù)圖像處理結(jié)果分析連通區(qū)域的寬度及其面積，以此判斷眼睛的狀態(tài)， 其中連通區(qū)域?qū)挾刃∮诨虻扔谠紙D像寬度的1/3，且連通區(qū)域面積小于或等于原始圖像 總面積的10%，同時(shí)滿足這兩者條件則為疲勞的眼睛狀態(tài)。
4.根據(jù)權(quán)利要求1所述的一種汽車駕駛員疲勞檢測(cè)的方法，其特征在于所述的步驟 (1. 4)所述的根據(jù)眼睛的狀態(tài)進(jìn)行疲勞狀態(tài)的分析是統(tǒng)計(jì)出眼睛在一定持續(xù)時(shí)間內(nèi)，均處 于疲勞狀態(tài)下的次數(shù)超過(guò)規(guī)定的閥值次數(shù)，則判定駕駛員處于疲勞的狀態(tài)下，并適時(shí)的給 出提示信息。
全文摘要
本發(fā)明公開(kāi)了一種汽車駕駛員疲勞檢測(cè)的方法，其特征在于該方法通過(guò)計(jì)算機(jī)處理器采用下列步驟先從視頻中定位出人臉的區(qū)域；再對(duì)眼睛區(qū)域進(jìn)行精確定位；然后對(duì)眼睛區(qū)域處理以及對(duì)的眼睛狀態(tài)進(jìn)行分析；最后根據(jù)眼睛的狀態(tài)進(jìn)行疲勞狀態(tài)的分析，進(jìn)而實(shí)現(xiàn)疲勞檢測(cè)。提供了一種簡(jiǎn)單易行的疲勞檢測(cè)方法，滿足視頻的實(shí)時(shí)性要求以及疲勞檢測(cè)的準(zhǔn)確性要求，且設(shè)備成本低，性能穩(wěn)定，對(duì)于駕駛員的疲勞駕駛的情況能準(zhǔn)確快速的檢測(cè)出來(lái)。
文檔編號(hào)G06K9/62GK101872419SQ20101019757
公開(kāi)日2010年10月27日 申請(qǐng)日期2010年6月9日 優(yōu)先權(quán)日2010年6月9日
發(fā)明者李頂倫, 譚臺(tái)哲 申請(qǐng)人:譚臺(tái)哲;李頂倫