專利名稱：基于多元信息融合的駕駛員疲勞監(jiān)測裝置及其監(jiān)測方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字圖像信號處理應(yīng)用領(lǐng)域和傳感器應(yīng)用領(lǐng)域，具體涉及基于多元信息融 合的駕駛員疲勞監(jiān)測裝置及其監(jiān)測方法。
背景技術(shù)：
隨著汽車消費的普及，交通安全已成為制約社會和諧發(fā)展的焦點問題。由于駕駛員疲 勞駕駛而造成的交通事故率的增長已成為社會普遍關(guān)注的一個熱點，疲勞駕駛的司機在觀 察、識別和進行車輛控制的能力上都顯著下降，嚴重威脅著自身的安全和他人的生命。
據(jù)研究介紹，全世界每年因交通事故而導致的死亡人數(shù)也已經(jīng)超過60萬，造成的直接 經(jīng)濟損失約125億美元。我國的汽車擁有量雖然只占到全世界的3%，但每年因交通事故造 成的死亡人數(shù)卻占全世界的20%，多年來中國每年交通事故死亡數(shù)都超過10萬人，位居世 界第一，這些事故多與疲勞駕駛有關(guān)。英國交通研究實驗室認為:駕駛疲勞導致的道路交通 事故占全部交通事故的10%。更有研究表明在高速公路上，50%的交通事故是由于駕駛疲 勞引起。在美國，車禍已成為引起死亡和傷害的三大原因之一，在每年發(fā)生的200萬交通 事故中，由于疲勞駕駛和因疲勞導致注意力不集中所致的車禍超過100萬起。1995年美國 國家交通安全委員會NTSB(The National Transportation Safety Board)檢査了 107起由駕駛員 造成的卡車交通事故，其中58起與駕駛員打盹駕駛有關(guān)。法國國家警察總署事故報告表明， 因疲勞瞌睡而發(fā)生車禍的，占人身傷害事故的14.9°/。，占死亡事故的20.6%。英國交通研 究實驗室(Transport Research Laboratory)認為駕駛疲勞導致的路面交通事故占全部交通事 故率的10%。而在中國境內(nèi)，來自湖南省交警總隊最新統(tǒng)計數(shù)據(jù)表明，僅從2005年5月 下旬至7月上旬，在湖南省內(nèi)高速公路共發(fā)生事故55起，造成34人死亡，81人受傷，其 中因疲勞駕駛已引發(fā)交通事故13起，造成13人死亡，29人不同程度受傷。即使在廣州市 區(qū)中心，疲勞駕駛也時刻危及到人們的生命財產(chǎn)安全，如2005年4月16日，廣州市197 路公共汽車由于駕駛員疲勞駕駛，三輛公共汽車連環(huán)相撞，造成30名乘客和1名司機不同 程度受傷的事故。
基于多源信息融合的駕駛員疲勞特征識別理論與方法是從主動安全出發(fā)的研究的駕駛 員疲勞特征理論方法。它綜合了駕駛員的各種疲勞特征，它利用傳感器測量駕駛員駕駛時 方向、踏板等，疲勞檢測中先進的PERCLOS標準，駕駛員視點跟蹤等信息進行融合，對 駕駛員的疲勞狀態(tài)進行判別與預警。
研究表明， 一個處于疲勞狀態(tài)的人會表現(xiàn)出特定的視覺行為，這些行為容易通過諸如眼睛、頭部、面部表情等視覺特征的改變來觀察?；谶@些視覺特征，利用攝像機和計算 機視覺技術(shù)對司機的視覺行為進行監(jiān)測。該方法不會對司機的駕駛行為帶來任何干擾，因 此成為這一領(lǐng)域現(xiàn)行研究的熱點。PERCL0S (Percent Eyelid Closure眼睛閉合時間占特 定時間的百分率)是此領(lǐng)域中的公認的最具潛力的檢測疲勞的方法之一，目前大部分研究 駕駛疲勞的機構(gòu)都采用PERCL0S (Percent Eyelid Closure眼睛閉合時間占特定時間的百 分率)作為生理疲勞程度的指標。根據(jù)美國聯(lián)邦公路管理局和汽車聯(lián)合會資助的研究結(jié)果 表明 一般情況下人們眼睛閉合的時間在O. 12—0.13秒之間，駕駛時若眼睛皮和時間達到 0. 15秒就很容易發(fā)生交通事故。但是其在實際應(yīng)用中，這種方法還是存在著很多問題① 不同體質(zhì)和生活習慣的駕駛員的PERCLOS有很大不同，因此,它的誤判率較高;②它是一種 多重的非嚴格的對象跟蹤，車內(nèi)照明條件的變化和頭部的移動可導致預測不準甚至失?。?③當頭部未正對攝像頭時，無法識別眼部特征；④駕駛員戴墨鏡時無法進行PERCLOS檢測。 另一方面，監(jiān)測駕駛員注視方向也是有效的方法之一，通過攝像頭獲得眼睛的圖像，對眼 球進行建模，眼球中心與眼球表面亮點的連線即為駕駛員視線的方向，通過判別駕駛員的 視線是否在偏離正常范圍作為判別駕駛員是否疲勞的特征之一，但是此方法也同樣存在著 與PERCLOS測量時所發(fā)生的問題。
也有研究表明，駕駛員駕駛時方向、踏板等的運動參數(shù)與駕駛員的疲勞程度具有一定 的聯(lián)系，如方向盤較長時間不動，說明駕駛員在打瞌睡借助儀器對駕駛行為和狀態(tài)進行實 時檢測和客觀評價。因此安裝方向盤，踏板運動傳感器可監(jiān)視駕駛員駕車動作的穩(wěn)定性和 協(xié)調(diào)性；安裝車軸轉(zhuǎn)向角速度傳感器并且檢測轉(zhuǎn)向燈時候開啟可監(jiān)視行駛路線有所偏離時 駕駛員的轉(zhuǎn)向操作，從而監(jiān)測駕駛員的駕駛員的疲勞狀態(tài)。但從實際來說單一的檢測方法 還無法做到十全十美，在準確率上與理想的狀態(tài)存在一定的差距。
因此，本裝置采用基于多源信息融合的駕駛員疲勞特征識別理論與方法是從主動安全 出發(fā)的研究的駕駛員疲勞特征理論方法，綜合了駕駛員的各種疲勞特征，利用傳感器測量 駕駛員駕駛時方向、踏板，利用圖像處理的手段檢測PERCLOS系數(shù)和駕駛員視線方向的 信息后，通過對駕駛員視線信息、眼狀態(tài)信息、以及駕駛員駕駛時方向、踏板的行為信息 進行融合，建立的駕駛員疲勞狀態(tài)判決架構(gòu)，準確地監(jiān)測駕駛員的疲勞狀態(tài)。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的上述不足，提供基于多元信息融合的駕駛員疲 勞監(jiān)測裝置及其監(jiān)測方法，利用信息融合技術(shù)，將車輛現(xiàn)有電子控制裝置的運行工況數(shù)據(jù)和 疲勞檢測方法緊密結(jié)合起來,使疲勞駕駛檢測技術(shù)得到更進一步的發(fā)展和提高，能客觀、實 時、快速準確地判斷出駕駛員的疲勞狀態(tài)，最大限度的避免疲勞駕駛所引起的交通事故。
6本發(fā)明的基本原理如下本裝置通過攝像頭實時采集駕駛室圖像，采用人臉檢測、人 眼的識別定位、基于計算機視覺理論的眼狀態(tài)判別等模式識別理論，綜合運用圖像處理方
法，實時地判斷駕駛員的眼狀態(tài)，并記錄閉眼頻率以獲取PERCLOS指標。同時，在前面進 行的采用人臉檢測、人眼的識別定位所得出的眼睛圖像的基礎(chǔ)上，結(jié)合人機交互技術(shù)，利 用矩形紅外LED光源幫助成像，有效地計算出司機的視點，建立視點跟蹤的具體算法模型， 用根據(jù)眼睛的特征和位置以及其他的線索來檢測用戶注視的方向的變化。通過安裝在方向 盤和踏板的角度傳感器和壓力傳感器測量駕駛員駕駛時方向、踏板等的運動參數(shù)， 從駕駛員的駕駛行為上判斷其疲勞狀態(tài)。最后，采用信息融合技術(shù)動態(tài)的對采集的數(shù)據(jù) 進行評估得出駕駛員的疲勞狀態(tài)。
本發(fā)明的目的通過如下技術(shù)方案實現(xiàn)
一種基于多元信息融合的駕駛員疲勞監(jiān)測裝置，包括數(shù)字信號處理器，帶有濾光片的 攝像頭，安裝在汽車的擋風玻璃的矩形紅外LED光源模塊，揚聲器模塊和由角度傳感器和 壓力傳感器組成的傳感器模塊，所述攝像頭、矩形紅外LED光源模塊、揚聲器模塊和傳感 器模塊分別與數(shù)字信號處理器連接；所述數(shù)字信號處理器用于接收并處理由攝像頭和傳感 器模塊輸入的數(shù)據(jù)，通過基于多元信息融合的駕駛員疲勞監(jiān)測的監(jiān)測算法，計算出駕駛員 的疲勞狀態(tài)，如果駕駛員處于疲勞，則輸出信號到揚聲器模塊；所述矩形紅外LED光源模 塊與數(shù)字信號處理器連接；帶有濾光片的攝像頭用于采集駕駛員的頭部范圍圖像數(shù)據(jù)并輸 入到數(shù)字信號處理器，其采集數(shù)據(jù)用于眼睛特征識別步驟和視線跟蹤步驟；所述矩形紅外 LED光源模塊包括安裝在汽車擋風玻璃的四個角上的高亮紅外LED，發(fā)射的紅外光通過人 眼瞳孔的反射到攝像頭之上并在攝像頭采集的圖像上產(chǎn)生四個光斑，用于視線跟蹤輔助， 是對駕駛員的視線方向進行跟蹤的信號產(chǎn)生模塊，用于視線跟蹤步驟；所述由角度傳感器 和壓力傳感器組成的傳感器模塊包括角度傳感器和壓力傳感，安裝在方向盤上的角度傳感 器和壓力傳感器測量方向盤轉(zhuǎn)動情況和駕駛員是否有抓緊方向盤、安裝在腳踏板上的壓力 傳感器測量腳踏板的使用狀態(tài)，并把數(shù)據(jù)輸入到數(shù)字信號處理器進行處理，用于駕駛行為 監(jiān)測步驟；所述的揚聲器模塊接收數(shù)字信號處理器發(fā)出的駕駛員疲勞判別結(jié)果信號，如果 為疲勞狀態(tài)，則發(fā)出聲音警告疲勞中的駕駛員。
上述的基于多元信息融合的駕駛員疲勞監(jiān)測裝置中，所述與數(shù)字信號處理器連接并帶 有濾光片的攝像頭，在攝像頭的鏡頭上裝有紅外濾光片，把日光干擾濾除，只采集由矩形 紅外LED光源模塊發(fā)出的紅外光產(chǎn)生的圖像信息，通過SVHS視頻接口發(fā)送圖像數(shù)據(jù)到數(shù) 字信號處理器進行處理。
上述的基于多元信息融合的駕駛員疲勞監(jiān)測裝置中，所述矩形紅外LED光源模塊包括 安裝在汽車的擋風玻璃的四個角上的四個高亮紅外LED,形成矩形排列并在人眼虹膜的反射作用下，在人眼瞳孔四周產(chǎn)生四個亮點，由帶有濾光片的攝像頭采集其圖像并輸入到數(shù) 字信號處理器進行計算，判定視線方向的改變。
上述的基于多元信息融合的駕駛員疲勞監(jiān)測裝置中，所述由角度傳感器和壓力傳感器 組成的傳感器模塊包括角度傳感器和壓力傳感器，安裝在方向盤上的角度傳感器和壓力傳 感器測量方向盤轉(zhuǎn)動情況和駕駛員是否有抓緊方向盤、安裝在腳踏板上的壓力傳感器測量 腳踏板的使用狀態(tài)，通過RS232接口把數(shù)據(jù)輸入到數(shù)字信號處理器進行處理，判斷其駕駛 行為。
基于多元信息融合的駕駛員疲勞監(jiān)測裝置的監(jiān)測方法，由眼睛特征識別、視線跟蹤、 駕駛行為監(jiān)測、疲勞特征判決四個部分塊組成
(1)眼睛特征識別，其過程如下攝像頭采集到頭部圖像數(shù)據(jù)并通過SVHS接口傳送到 數(shù)字信號處理器，數(shù)字信號處理器對攝像頭拍攝的圖像進行平滑去噪聲處理，去除造成干 擾的冗余信息，采用Viola方法檢測和定位攝像頭采集圖像的人臉區(qū)域，再次使用Viola方 法檢測和定位之前得到人臉區(qū)域內(nèi)的人眼區(qū)域圖像。對采集到的人眼區(qū)域圖像進行2D-DCT 變換得到觀察向量序列，把觀察向量序列輸入到已訓練好的用于判斷眼睛閉合的嵌入式隱 馬爾可夫判別模型，計算睜眼和閉眼分類器產(chǎn)生該序列的似然值，根據(jù)此似然值判定眼睛 的睜閉狀態(tài)。如果睜眼分類器的似然值比閉眼分類器的似然值大，則為睜眼狀態(tài)，相反則 為閉眼狀態(tài)。檢測到人眼狀態(tài)后，分時段記錄判別為閉眼狀態(tài)的幀數(shù)和采集到的幀總 數(shù)，并計算出眼睛閉合時間占特定時間的百分率的perclos系數(shù)，從而判斷駕駛員的疲勞 程度。如果perclos系數(shù)超過正常狀態(tài)值，則駕駛員處于疲勞狀態(tài)，相反則處于正常狀態(tài)。 (2)視線跟蹤，其過程如下安裝在汽車的擋風玻璃的矩形紅外LED光源模塊發(fā)出高 亮紅外線，紅外光源經(jīng)人眼角膜反射后，在帶有濾光片的攝像頭采集的圖像上形成高亮斑 點，稱為普爾欽斑點。數(shù)字信號處理器通過SVHS接口接收由攝像頭采集經(jīng)紅外光源照射后 的人臉圖像，通過眼睛特征識別步驟中的人臉人眼定位處理得'到人眼區(qū)域，采用水平和垂 直灰度投影法定位瞳孔中心，并利用普爾欽斑點的幾何特征檢測其位置，然后對普爾欽斑 點進行灰度修正、平滑處理，通過幾何計算求取瞳孔中心與普爾欽斑點的位置關(guān)系，從而 判別視線方向。通過計算在特定時間內(nèi)視線不變的幀數(shù)占幀段總數(shù)的比例得出視線停留時 間比例，若視線停留時間比例過長，則判斷駕駛員為長時間注視某個方向或者是視線沒有 注視道路前方等情況，并認定為疲勞狀態(tài)。
(3)駕駛行為監(jiān)測，其過程如下通過安裝在方向盤上的角度傳感器和壓力傳感器， 監(jiān)測方向盤的轉(zhuǎn)動情況和駕駛員是否有抓緊方向盤，記錄特定長時間段內(nèi)的角度傳感器和 壓力傳感器的數(shù)據(jù)變化情況，如果兩傳感器RS232接口輸出到數(shù)字信號處理器的數(shù)據(jù)長時間 沒發(fā)生變化，則可以判斷駕駛員處于疲勞駕駛狀態(tài)，沒有操作方向盤。通過安裝在腳踏板上的壓力傳感器，監(jiān)測汽車腳踏板的使用狀況，記錄特定長時間段內(nèi)的壓力傳感器的數(shù)據(jù)
變化情況，如果傳感器通過RS232接口輸出到數(shù)字信號處理器的數(shù)據(jù)長時間沒發(fā)生變化，則 可以判斷駕駛員處于疲勞駕駛狀態(tài)，沒有操作腳踏板。
(4)疲勞特征判決，其過程如下測量眼睛特征識別步驟、視線跟蹤步驟、駕駛行為 監(jiān)測步驟中判別駕駛員疲勞狀態(tài)的基本可信度，即正確判斷的概率；結(jié)合信息融合理論建 立疲勞特征判決架構(gòu)，使用已有的貝葉斯推理擴充的D—S證據(jù)推理方法，利用Dempster組 合規(guī)則融合眼睛特征識別步驟、視線跟蹤步驟、駕駛行為監(jiān)測步驟的疲勞判斷的基本可信 度得到聯(lián)合基本可信度分配，從而建立準確的疲勞判決架構(gòu)利用各模塊的疲勞測量信息來 判斷對駕駛員是否處于疲勞駕駛狀態(tài)。如果駕駛員處于疲勞駕駛狀態(tài)，數(shù)字信號處理器輸 出信號到揚聲器模塊，此時揚聲器模塊發(fā)出聲音來提醒駕駛員。
上述的監(jiān)測方法中，所述用于判斷眼睛閉合的嵌入式隱馬爾可夫判別模型的訓練過程 如下
(1) 采集一定數(shù)量的不同人群在不同時間、不同光照條件、不同距離、不同面部 表情、不同面部細節(jié)和不同臉部朝向條件下的閉眼和睜眼狀態(tài)樣本。
(2) 對步驟(1)中采集到的圖像進行幾何尺寸歸一化處理和灰度均衡預處理，對兩 類人眼圖像進行采樣并對每個采樣窗進行2D-DCT變換，通過2D-DCT變換后的低頻系數(shù) 構(gòu)成觀察向量序列。
(3) 設(shè)定嵌入式隱馬爾可夫模型的超狀態(tài)個數(shù)和每一個超狀態(tài)中的子隱馬爾可夫模型 狀態(tài)數(shù)，根據(jù)設(shè)定的超狀態(tài)個數(shù)和每個超狀態(tài)內(nèi)嵌入狀態(tài)個數(shù)以及嵌入式隱馬爾可夫模型 的結(jié)構(gòu)，將步驟(2)中的人眼觀察向量序列均勻分割。
(4) 根據(jù)步驟(3)中的狀態(tài)數(shù)和圖像均勻分割后得到的觀察向量序列，初始化嵌入 式隱馬爾可夫模型參數(shù)，通過雙重嵌套的Viterbi算法對圖像進行重新分割，用Baum-welch 算法重估嵌入式隱馬爾可夫模型參數(shù)。當前后兩次的迭代誤差小于設(shè)定的閾值時，停止迭 代，得到所述的用于判斷眼睛閉合的嵌入式隱馬爾可夫判別模型。
上述的監(jiān)測方法中，視線跟蹤過程中所述的普爾欽斑點灰度值修正的方法如下以其 中一個普爾欽斑點P0為中心，對與P0相鄰的8個像素A1 A8中的每個像素的灰度值進行 修正；以被修正像素為中心，取其周圍相鄰8個像素，尋找包括被修正的像素在內(nèi)這9個 像素中的灰度最小值，將其替代被修正像素的灰度值；再對PO的灰度值進行修正，取P0， A1 A8這9個像素中的灰度最小值，將其替代PO的灰度值，另外三個普爾欽斑點的灰度 修正方法和P0相同。
上述的監(jiān)測方法中，視線跟蹤過程中所述的通過幾何計算求取瞳孔中心與普爾欽斑點的位置關(guān)系來判別視線方向的過程如下設(shè)P0、 Pl、 P2、 P3為檢測到的四個普爾欽斑點，
Q為瞳孔中心，利用定比分點公式求出P0 P3的對角線交點0的坐標，連結(jié)0Q， 0P0， 0P1， 0P2， 0P3， OP0 OP3把由點P0 P3連接成的矩形分割為四個區(qū)域。通過計算0Q處于哪個 區(qū)域，計算出相應(yīng)的視線方向。
與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點與積極效果在于
(1)基于多元信息融合的駕駛員疲勞監(jiān)測裝置的開發(fā)，采用的數(shù)字信號處理器運算能 力高，開發(fā)的裝置實時性、功耗低，符合車載裝置的要求。
(2) 采用更加準確的PERCLOS系數(shù)測量方法，首先在人眼定位和人臉定位上采用當今 先進的VIOLA算法，而且在人眼狀態(tài)的識別上采用準確率更高的嵌入式隱馬爾可夫判別模型 的判別模型，這兩方面大大地提升了裝置的準確性。
(3) 利用帶有濾光片的攝像頭和安裝在汽車的擋風玻璃的矩形紅外LED光源模塊， 運動圖像處理和模式識別技術(shù)，在沒有接觸和影響到駕駛員地情況下，研究駕駛員在駕駛 的時候視線是否偏移了正常的視角范圍，以判斷駕駛員的疲勞狀態(tài)。本方法結(jié)合人機交互 技術(shù)，利用紅外光源幫助成像，可以有效地計算出司機的視線方向。
(4) 利用安裝在方向盤上的角度傳感器與安裝在腳踏板上的壓力傳感器，測量駕駛員 的駕駛行為參數(shù)，增加裝置對疲勞狀態(tài)的判斷依據(jù)，安裝在方向盤上的角度傳感器和和壓 力傳感器測量方向盤的轉(zhuǎn)動情況以確定駕駛員是否操作方向盤和駕駛方向的偏離，在踏板 上的壓力傳感器檢測駕駛員是否因瞌睡而失去對踏板的控制，完善駕駛員疲勞監(jiān)測裝置的 測量機制。
(5) 采用基于多源信息融合的方法綜合駕駛員的各種疲勞特征，通過對駕駛員視線信 息、眼狀態(tài)信息、以及駕駛員操作方向盤、踏板的行為信息進行融合，可以在不同光線、 背景、人臉姿勢、面部細節(jié)等條件下，快速、準確地判別駕駛員精神狀態(tài)。


圖1是基于多元信息融合的駕駛員疲勞監(jiān)測裝置硬件總體結(jié)構(gòu)框圖。 圖2是基于多元信息融合的駕駛員疲勞監(jiān)測裝置方法流程圖。 圖3是基于多元信息融合的駕駛員疲勞監(jiān)測裝置中PERCLOS系數(shù)檢測流程圖。 圖4是人眼狀態(tài)識別的嵌入式隱馬爾可夫模型訓練流程圖。 圖5是基于多元信息融合的駕駛員疲勞監(jiān)測裝置中駕駛員視線跟蹤監(jiān)測流程圖。 圖6是駕駛員視線跟蹤監(jiān)測的視線方向判別幾何關(guān)系圖。 圖7是基于多元信息融合的駕駛員疲勞監(jiān)測裝置中多元信息融合的原理圖。
具體實施例方式
下面結(jié)合附圖及實施例對本發(fā)明的具體實施作進一步說明。
10的駕駛員疲勞監(jiān)測裝置的硬件實施方式
參見圖1，本裝置的硬件實施實施方式由五個模塊組成，其中包括數(shù)字信號處理器和 分別與數(shù)字信號處理器連接并帶有濾光片的攝像頭、安裝在汽車的擋風玻璃的矩形紅外 LED光源模塊、由角度傳感器和壓力傳感器組成的傳感器模塊和揚聲器模塊。
1. 數(shù)字信號處理器
所述數(shù)字信號處理器選用TI公司的DSP處理器，接收并處理由攝像頭和傳感器模塊 輸入的數(shù)據(jù)，通過基于多元信息融合的駕駛員疲勞檢測的監(jiān)測算法，計算出駕駛員的疲勞 狀態(tài)，如果駕駛員處于疲勞，則輸出信號到揚聲器模塊。
2. 與數(shù)字信號處理器連接并帶有濾光片的攝像頭
所述與數(shù)字信號處理器連接并帶有濾光片的攝像頭選用，在攝像頭的鏡頭上裝有紅外 濾光片，把日光干擾濾除，采集由矩形紅外LED光源模塊發(fā)出的紅外光產(chǎn)生的圖像信息， 通過SVHS視頻接口發(fā)送圖像數(shù)據(jù)到數(shù)字信號處理器進行處理。
3. 安裝在汽車的擋風玻璃的矩形紅外LED光源模塊
所述安裝在汽車擋風玻璃的四個角上的高亮紅外LED，發(fā)射的紅外光通過人眼瞳孔的 反射到攝像頭之上并在攝像頭采集的圖像上產(chǎn)生四個光斑，是視線跟蹤輔助裝置，是對駕 駛員的視線方向進行跟蹤的信號產(chǎn)生模塊，用于視線跟蹤步驟，由帶有濾光片的攝像頭采 集其圖像并輸入到數(shù)字信號處理器進行計算，判定視線方向的改變。
4. 由角度傳感器和壓力傳感器組成的傳感器模塊
所述由角度傳感器和壓力傳感器組成的傳感器模塊包括角度傳感器和壓力傳感器，安 裝在方向盤上的角度傳感器和壓力傳感器測量方向盤轉(zhuǎn)動情況和駕駛員是否有抓緊方向 盤、安裝在腳踏板上的壓力傳感器測量腳踏板的使用狀態(tài)，通過RS232接口把數(shù)據(jù)輸入到 數(shù)字信號處理器進行處理，判斷其駕駛行為。
5. 揚聲器模塊
所述揚聲器模塊接收數(shù)字信號處理器發(fā)出的駕駛員疲勞判別結(jié)果信號，如果為疲勞狀 態(tài)，則發(fā)出聲音警告疲勞中的駕駛員。
二. 基于多元信息融合的駕駛員疲勞監(jiān)測裝置的監(jiān)測方法的實施 本裝置的監(jiān)測方法是在VC++編程環(huán)境下開發(fā)的，多元信息融合駕駛員疲勞監(jiān)測裝置
在基于CCS2的DSP處理器開發(fā)軟件的環(huán)境下進行仿真與實現(xiàn)，工作步驟如流程圖2，介紹 如下
所述的多元信息融合駕駛員疲勞監(jiān)測裝置的監(jiān)測方法有四個部分組成眼睛特征識別 步驟，視線跟蹤步驟，駕駛行為監(jiān)測步驟，疲勞特征判決。眼睛特征識別裝置，是圖像處 理和模式識別方法提取駕駛員的眼睛閉合狀態(tài)特征，計算PERCLOS系數(shù)，判斷疲勞狀態(tài)。
11視覺跟蹤裝置是通過圖像處理、模式識別和幾何計算方法提取駕駛員的視線方向特征數(shù)據(jù)， 判斷疲勞狀態(tài)。駕駛員行為監(jiān)測裝置是通過壓力傳感器和角度傳感器提取駕駛員某些特定 駕駛行為的特征數(shù)據(jù)，通過這些行為數(shù)據(jù)判斷疲勞狀態(tài)。疲勞特征判決架構(gòu)是把上述的疲 勞檢測結(jié)果，通過D—S證據(jù)推理方法融合成一個疲勞判決架構(gòu)以監(jiān)測駕駛員的疲勞狀態(tài)。 1.眼睛特征識別步驟快速準確地分析出駕駛員的PERCLOS系數(shù)，判別駕駛員疲勞狀
態(tài)，流程圖如圖3所示，主要包含以下幾個工作步驟
第一步，人臉區(qū)域定位，采集圖像時，禾,攝像頭固有功能對圖像進行如灰度化、直
方圖均衡化等處理，然后直接對圖像進行搜索并定位出人臉。使用Viola方法進行檢測并標 記出人臉在檢測人臉時使用Cascade級聯(lián)算法基于已訓練好的類矩形分類器特征庫來識別 人臉區(qū)域，本模塊使用的分類器特征庫由22級強分類器構(gòu)成，而每個強分類器又由若干個 弱分類器構(gòu)成，是通過長期采集的人臉圖像庫通過利用AdaBoost算法進行特征的篩選和特 征訓練得出來的。
第二步，人眼定位及確認，將定位出的人臉圖像再次利用Viola方法人眼進行定位。本 工作步驟在人臉區(qū)域定位步驟檢測出人臉區(qū)域的基礎(chǔ)上，使用Viola方法進行檢測并標記出 人眼在檢測人臉時使用Cascade級聯(lián)算法基于已訓練好的類矩形分類器特征庫來識別人臉 區(qū)域，本步驟使用的分類器特征庫由22級強分類器構(gòu)成，而每個強分類器又由若干個弱分 類器構(gòu)成，本步驟所使用的眼睛訓練庫是采用有OPENCV提供的右眼特征庫，是通過采樣 7000多幅人臉圖像的右眼區(qū)域并通過AdaBoost算法進行特征的篩選和特征訓練所得。
第三步，眼睛狀態(tài)判別，在定位到人眼區(qū)域后，判斷人眼區(qū)域的人眼狀態(tài)是睜開還是 閉合，本工作步驟采用基于2D-DCT特征的嵌入式隱馬爾可夫模型(EHMM算法模式)對人 眼狀態(tài)進行識別。
A. 判別模型的建立
如圖4所示，人眼狀態(tài)識別EHMM模型是用概率最大可能性評估標準進行訓練，為睜眼 和閉眼的圖像狀態(tài)確定一組經(jīng)過優(yōu)化的EHMM模型參數(shù)。針對人眼的相關(guān)特征建立相應(yīng)的 嵌入式隱馬爾可夫模型，對兩個眼狀態(tài)模型都用多幅圖像進行訓練，并對人眼從上到下進 行分割，包括上中下3個狀態(tài)(超狀態(tài))，劃分每一個狀態(tài)從左到右建立4個嵌入狀態(tài)，對不 同的光照、不同的頭偏轉(zhuǎn)角度等環(huán)境下采集到的睜眼和閉眼圖像庫進行訓練根據(jù)狀態(tài)數(shù) 和圖像均勻分割后得到的觀察向量，初始化嵌入式隱馬爾可夫模型參數(shù)，通過雙重嵌套的 Viterbi算法，對圖像進行重新分割；用Baum-welch算法重估模型參數(shù)。當前后兩次的迭代 誤差小于某個設(shè)定的閾值時，迭代停止，得出睜眼和閉眼的EHMM評估模型。
B. 眼狀態(tài)識別
進行眼狀態(tài)識別時，先將待識別眼睛圖像分塊，并提取窗口經(jīng)過2D-DCT變換以后的圖
12像構(gòu)造觀察向量序列，然后輸入到嵌入式隱馬爾可夫模型，計算睜眼和閉眼分類器產(chǎn)生該 序列的似然值(相似程度)，根據(jù)此似然值(相似程度)判定眼睛的睜閉狀態(tài)，具有最大似 然值的模型即為待識別眼睛圖像所屬對象。
第四步，PERCLOS系數(shù)的確定，在圖像處理速度達到20幀/s的情況下，PERCLOS 可以轉(zhuǎn)換為閉眼的幀占特定時間段幀總數(shù)的比例，所以在檢測到人眼狀態(tài)后，在一定長的 時間內(nèi)分別記錄判別狀態(tài)為閉眼的幀數(shù)和采集到的幀總數(shù)，計算出PERCLOS系數(shù)來判斷 出駕駛員的駕駛狀態(tài)。
2.視線跟蹤步驟，計算跟蹤視線的注視方向和通過計算在特定時間內(nèi)視線不變的幀數(shù) 占幀段總數(shù)的比例，得出視線停留時間比例，判斷駕駛員疲勞狀態(tài)本步驟(只對睜眼區(qū)域 進行視線的跟蹤)，流程圖如圖5所示，主要包含以下4個工作步驟
第一步，瞳孔中心定位(在圖像中檢測定位瞳孔中心的精確坐標)由于在眼睛特征識 別裝置已經(jīng)對人臉的右眼區(qū)域進行定位，在視線跟蹤的檢測中直接對眼睛特征識別步驟中 所得出的右眼區(qū)域進行視線跟蹤的圖像處理，使用水平和垂直灰度投影法來定位瞳孔中心。 首先對人眼灰度圖像進行平滑處理，接著做水平和垂直的灰度投影，尋找在瞳孔中心的垂 直方向和水平方向上灰度投影的極小值并記錄坐標，此坐標為瞳孔中心的坐標。
第二步，普爾欽斑點的定位矩形紅外LED光源由于人眼虹膜的反射作用，由攝像頭 采集到的圖像上可以看到在人眼瞳孔四周也會相應(yīng)出現(xiàn)四個亮點(普爾欽斑點)，經(jīng)過分析
圖像上普爾欽斑點具有以下幾何特征:a.位置位于瞳孔周圍，與瞳孔中心距離小于30像素；
b.大小為5 20個像素，灰度值在100以，表現(xiàn)為突出的亮點；c.眼部區(qū)域中，四個普 爾欽斑點處灰度值突變最大；d.四個普爾欽斑點之間的距離在8 18像素范圍內(nèi)，且成矩
形或類似矩形關(guān)系。根據(jù)這些特征定位四個普爾欽斑點在第一步工作步驟上定位的瞳孔 中心周圍距離小于30個像素范圍內(nèi)，搜索滿足普爾欽斑點幾何特征的像素點集；再用
Laplace算子對進普爾欽斑點行巻積，用Laplace巻積得到的值越大，說明該處灰度的突 變越大，L即lace算子巻積運算后具有最大值的四個像素，即為四個普爾欽斑點，且四個 普爾欽斑點順次連接，會形成矩形的形狀。
第三步，根據(jù)瞳孔中心與圖像中因矩形紅外LED光源所形成普爾欽斑點的位置關(guān)系， 計算出視線的方向。通過幾何計算，確定LED光源所引起的矩形與采集圖像的一一對應(yīng)關(guān) 系，即四個角的LED與人眼圖像中四個亮點相對應(yīng)，視線方向與瞳孔中心相對應(yīng)。如圖6 所示，設(shè)P0、 Pl、 P2、 P3為檢測到的四個普爾欽斑點，Q為瞳孔中心，利用定比分點公式 求出P0 P3的對角線交點0的坐標，連結(jié)0Q， 0P0， 0P1， 0P2， 0P3， 0P0 0P3把由點P0 P3連接成的矩形分割為四個區(qū)域，計算0Q處于哪個區(qū)域，便可計算駕駛員的視線方向。
第四步，計算視線停留時間比例。在圖像處理速度達到20幀/s的情況下，視線停留時間可以轉(zhuǎn)換為閉眼的幀占特定時間段幀總數(shù)的比例，通過計算出視線停留時間比例，判斷 出駕駛員的駕駛狀態(tài)，如果長時間注視某個方向或者是視線沒有注視道路前方等情況，判 定為疲勞狀態(tài)。
3. 駕駛員行為監(jiān)測步驟汽車方向盤的操作參數(shù)的測量，通過安裝在方向盤上的角度 傳感器和壓力傳感器可以監(jiān)測到方向盤的轉(zhuǎn)動情況和駕駛員是否有抓緊方向盤，通過駕駛 員對方向盤的操作情況的監(jiān)測來判斷疲勞狀態(tài)。汽車腳踏板的操作參數(shù)測量通過安裝在 腳踏板上的壓力傳感器可以測量腳踏板的使用狀態(tài)，判斷駕駛員的疲勞狀態(tài)。以駕駛員對 方向盤和腳踏板的駕駛行為作為判斷疲勞狀態(tài)的依據(jù)輸入到數(shù)字信號處理器進行處理。
4. 基于信息融合理論建立的疲勞判決架構(gòu)(原理圖如圖7所示)由于測量的不精確以 及環(huán)境噪聲和人為干擾等因素，會增加被融合的數(shù)據(jù)不確定性，作為貝葉斯推理擴充的D —S證據(jù)推理方法能很好的把握問題的未知性和不確定，基于信息融合理論建立的疲勞判決 架構(gòu)包含以下工作步驟
第一步，根據(jù)D-S證據(jù)理論，首先定義一個空間0，稱為識別框架，是由相互排斥的命題
組成的有限完備集。 的冪集表示為20 ，是0所有子集的集合。對于20中的任何命題A, 定義映射m:20 — [ 0， l]為基本概率分配函數(shù)(Basic Probability Assignment, BPA)， 也稱BPA函數(shù)，m滿足
(1) 0《m(A )《1;
(2) m(O) =0， O表示空集，即不可能的命題；
(3) ZAe0m (A) = 1。
2.根據(jù)Dempster規(guī)則，通過Dempster規(guī)則來組合不同信息源產(chǎn)生的證據(jù)，該規(guī)則是在假設(shè) 信息源獨立的條件下進行的。對于獨立的多個證據(jù)，組合運算可以通過正交和表述如下
m:附l十附2十附3......十謡
'式中，④表示組合運算。對于n個BPA函數(shù)mi ( i =1， 2, n) , De卿ster組合規(guī)則 定義如下 w(李O, ^ = <D
<formula>formula see original document page 14</formula>
令K-I^Ai^fl脂'(^)^^0，式中K表示融合過程中各證據(jù)之間沖突程度，1 - K稱為歸
一化因子，避免在組合過程中將非零的概率分配給空集。
第三步，測量眼睛特征識別步驟、視線跟蹤步驟、駕駛行為監(jiān)測步驟中判別駕駛員疲勞狀態(tài)的基本可信度，即正確判斷的基本概率；結(jié)合信息融合理論，使用上述步驟的D—S 證據(jù)推理方法和Dempster組合規(guī)則融合眼睛特征識別步驟、視線跟蹤步驟、駕駛行為監(jiān)測 步驟的疲勞判斷的基本可信度得到聯(lián)合基本可信度分配，從而建立準確的疲勞判決架構(gòu)利 用各模塊的疲勞測量信息，判斷對駕駛員是否處于疲勞駕駛狀態(tài)。如果駕駛員處于疲勞駕 駛狀態(tài)，數(shù)字信號處理器輸出信號到揚聲器模塊，此時揚聲器模塊發(fā)出聲音來提醒駕駛員。
權(quán)利要求
1.一種基于多元信息融合的駕駛員疲勞監(jiān)測裝置，其特征在于包括數(shù)字信號處理器，帶有濾光片的攝像頭，安裝在汽車的擋風玻璃的矩形紅外LED光源模塊，揚聲器模塊和由角度傳感器和壓力傳感器組成的傳感器模塊，所述攝像頭、矩形紅外LED光源模塊、揚聲器模塊和傳感器模塊分別與數(shù)字信號處理器連接；所述數(shù)字信號處理器用于接收并處理由攝像頭和傳感器模塊輸入的數(shù)據(jù)，當駕駛員處于疲勞時，則輸出信號到揚聲器模塊；帶有濾光片的攝像頭用于采集駕駛員的頭部范圍圖像數(shù)據(jù)并輸入到數(shù)字信號處理器；所述矩形紅外LED光源模塊包括安裝在汽車擋風玻璃的四個角上的紅外LED，該四個紅外LED發(fā)射的紅外光通過人眼瞳孔的反射到所述攝像頭之上并在攝像頭采集到的圖像上產(chǎn)生四個光斑；所述傳感器模塊包括角度傳感器和壓力傳感器，其中安裝在方向盤上的角度傳感器和壓力傳感器用于測量方向盤轉(zhuǎn)動情況和駕駛員是否有抓緊方向盤，安裝在腳踏板上的壓力傳感器測量腳踏板的使用狀態(tài)，傳感器模塊把數(shù)據(jù)輸入到數(shù)字信號處理器進行處理，用于駕駛行為監(jiān)測；所述揚聲器模塊接收數(shù)字信號處理器發(fā)出的駕駛員疲勞判別結(jié)果信號，如果為疲勞狀態(tài)，則發(fā)出聲音警告疲勞中的駕駛員。
2、 根據(jù)權(quán)利要求1所述的基于多元信息融合的駕駛員疲勞監(jiān)測裝置，其特征在于所述 攝像頭的鏡頭上裝有用于濾除日光的紅外濾光片，攝像頭只采集由矩形紅外LED光源模塊 發(fā)出的紅外光產(chǎn)生的圖像信息，并通過SVHS視頻接口發(fā)送圖像數(shù)據(jù)到數(shù)字信號處理器進 行處理。
3、 根據(jù)權(quán)利要求1所述的基于多元信息融合的駕駛員疲勞監(jiān)測裝置，其特征在于所述 矩形紅外LED光源模塊包括安裝在汽車的擋風玻璃的四個角上的四個紅外LED,四個紅外 LED形成矩形排列并在人眼虹膜的反射作用下，在人眼瞳孔四周產(chǎn)生四個亮點，由攝像頭 采集其圖像并輸入到數(shù)字信號處理器進行計算，判定視線方向的改變。
4、 根據(jù)權(quán)利要求1所述的基于多元信息融合的駕駛員疲勞監(jiān)測裝置，其特征在于所述 傳感器模塊通過RS232接口把數(shù)據(jù)輸入到數(shù)字信號處理器進行處理。
5、 基于多元信息融合的駕駛員疲勞監(jiān)測裝置的監(jiān)測方法，其特征在于由眼睛特征識別 過程、視線跟蹤過程、駕駛行為監(jiān)測過程和疲勞特征判決四個部分組成，所述眼睛特征識別過程包括攝像頭采集到頭部圖像數(shù)據(jù)并通過SVHS接口傳送到數(shù)字 信號處理器，數(shù)字信號處理器對攝像頭拍攝的圖像進行平滑去噪聲處理，去除造成干擾的 冗余信息，采用Viola方法檢測和定位攝像頭采集圖像的人臉區(qū)域，再次使用Viola方法檢 測和定位之前得到人臉區(qū)域內(nèi)的人眼區(qū)域圖像；對釆集到的人眼區(qū)域圖像進行2D-DCT變換 得到觀察向量序列，把觀察向量序列輸入到已訓練好的用于判斷眼睛閉合的嵌入式隱馬爾 可夫判別模型，計算睜眼和閉眼分類器產(chǎn)生該序列的似然值，根據(jù)此似然值判定眼睛的睜 閉狀態(tài)，如果睜眼分類器的似然值比閉眼分類器的似然值大，則為睜眼狀態(tài)，相反則為閉眼狀態(tài)；檢測到人眼狀態(tài)后，分時段記錄判別為閉眼狀態(tài)的幀數(shù)和采集到的幀總數(shù)， 并計算出眼睛閉合時間占特定時間的百分率的perclos系數(shù)，從而判斷駕駛員的疲勞程 度，如果perclos系數(shù)超過正常狀態(tài)值，則駕駛員處于疲勞狀態(tài)，相反則處于正常狀態(tài)；所述視線跟蹤過程包括安裝在汽車的擋風玻璃的矩形紅外LED光源模塊發(fā)出紅外線， 紅外光源經(jīng)人眼角膜反射后，在帶有濾光片的攝像頭采集的圖像上形成亮斑點，稱為普爾 欽斑點；數(shù)字信號處理器通過SVHS接口接收由攝像頭采集經(jīng)紅外光源照射后的人臉圖像， 通過所述眼睛特征識別過程中的人臉人眼定位處理得到人眼區(qū)域，采用水平和垂直灰度投 影法定位瞳孔中心，并利用普爾欽斑點的幾何特征檢測其位置，然后對普爾欽斑點進行灰 度修正、平滑處理，通過幾何計算求取瞳孔中心與普爾欽斑點的位置關(guān)系，從而判別視線 方向；通過計算在特定時間內(nèi)視線不變的幀數(shù)占幀段總數(shù)的比例得出視線停留時間比例， 若視線停留時間比例超過設(shè)定值，則判斷駕駛員為長時間注視某個方向或者是視線沒有注 視道路前方，并認定為疲勞狀態(tài)；所述駕駛行為監(jiān)測過程包括通過安裝在方向盤上的角度傳感器和壓力傳感器，監(jiān)測 方向盤的轉(zhuǎn)動情況和駕駛員是否有抓緊方向盤，記錄設(shè)定長時間段內(nèi)的角度傳感器和壓力 傳感器的數(shù)據(jù)變化情況，如果傳感器RS232接口輸出到數(shù)字信號處理器的數(shù)據(jù)在設(shè)定時間內(nèi) 沒發(fā)生變化，則判斷駕駛員處于疲勞駕駛狀態(tài)，沒有操作方向盤；通過安裝在腳踏板上的 壓力傳感器，監(jiān)測汽車腳踏板的使用狀況，記錄特定長時間段內(nèi)的壓力傳感器的數(shù)據(jù)變化 情況，如果傳感器通過RS232接口輸出到數(shù)字信號處理器的數(shù)據(jù)設(shè)定時間內(nèi)沒發(fā)生變化，則判斷駕駛員處于疲勞駕駛狀態(tài)，沒有操作腳踏板；所述疲勞特征判決包括測量所述眼睛特征識別過程、視線跟蹤過程、駕駛行為監(jiān)測 過程中判別駕駛員疲勞狀態(tài)的基本可信度，即正確判斷的概率；結(jié)合信息融合理論建立疲 勞特征判決架構(gòu)，使用現(xiàn)有的貝葉斯推理擴充的D—S證據(jù)推理方法，利用Dempster組合規(guī) 則融合眼睛特征識別過程、視線跟蹤過程、駕駛行為監(jiān)測過程的疲勞判斷的基本可信度得 到聯(lián)合基本可信度分配，從而建立準確的疲勞判決架構(gòu)并利用各個過程的疲勞測量信息來 判斷對駕駛員是否處于疲勞駕駛狀態(tài)，如果駕駛員處于疲勞駕駛狀態(tài)，數(shù)字信號處理器輸 出信號到揚聲器模塊，此時揚聲器模塊發(fā)出聲音來提醒駕駛員。
6、根據(jù)權(quán)利要求5所述的方法，其特征在于眼睛特征識別過程中用于判斷眼睛閉合的 嵌入式隱馬爾可夫判別模型的訓練過程如下(1) 采集不同人群在不同時間、不同光照條件、不同距離、不同面部表情、不 同面部細節(jié)和不同臉部朝向條件下的閉眼和睜眼狀態(tài)樣本；(2) 對步驟(1)中采集到的圖像進行幾何尺寸歸一化處理和灰度均衡預處理，對兩類人眼圖像進行采樣并對每個采樣窗進行2D-DCT變換，通過2D-DCT變換后的低頻系數(shù) 構(gòu)成觀察向量序列；(3) 設(shè)定嵌入式隱馬爾可夫模型的超狀態(tài)個數(shù)和每一個超狀態(tài)中的子隱馬爾可夫模型 狀態(tài)數(shù)，根據(jù)設(shè)定的超狀態(tài)個數(shù)和每個超狀態(tài)內(nèi)嵌入狀態(tài)個數(shù)以及嵌入式隱馬爾可夫模型 的結(jié)構(gòu)，將步驟(2)中的人眼觀察向量序列均勻分割；(4) 根據(jù)步驟(3)中的狀態(tài)數(shù)和圖像均勻分割后得到的觀察向量序列，初始化嵌入 式隱馬爾可夫模型參數(shù)，通過雙重嵌套的Viterbi算法對圖像進行重新分割，用Baum-welch 算法重估嵌入式隱馬爾可夫模型參數(shù)；當前后兩次的迭代誤差小于設(shè)定的閾值時，停止迭 代，得到所述用于判斷眼睛閉合的嵌入式隱馬爾可夫判別模型。
7、 根據(jù)權(quán)利要求5所述的方法，其特征在于視線跟蹤過程中視線跟蹤過程中所述的普 爾欽斑點灰度值修正的方法如下以其中一個普爾欽斑點PO為中心，對與P0相鄰的8個 像素A1 A8中的每個像素的灰度值進行修正；以被修正像素為中心，取其周圍相鄰8個像 素，尋找包括被修正的像素在內(nèi)這9個像素中的灰度最小值，將其替代被修正像素的灰度 值；再對PO的灰度值進行修正，取PO， A1 A8這9個像素中的灰度最小值，將其替代PO 的灰度值，另外三個普爾欽斑點的灰度修正方法和PO相同。
8. 根據(jù)權(quán)利要求5所述的方法，其特征在于視線跟蹤過程中所述的通過幾何計算求取 瞳孔中心與普爾欽斑點的位置關(guān)系來判別視線方向的過程如下設(shè)PO、 Pl、 P2、 P3為檢測 到的四個普爾欽斑點，Q為瞳孔中心，利用定比分點公式求出P0 P3的對角線交點0的坐 標，連結(jié)OQ， OP0， 0P1， OP2， 0P3， OP0 OP3把由點P0 P3連接成的矩形分割為四個區(qū) 域。通過計算OQ處于哪個區(qū)域，得出相應(yīng)的視線方向。
全文摘要
本發(fā)明公開了一種基于多元信息融合的駕駛員疲勞監(jiān)測裝置及其監(jiān)測方法，所述裝置包括數(shù)字信號處理器，帶有濾光片的攝像頭，安裝在汽車的擋風玻璃的矩形紅外LED光源模塊，揚聲器模塊和由角度傳感器和壓力傳感器組成的傳感器模塊，所述攝像頭、矩形紅外LED光源模塊、揚聲器模塊和傳感器模塊分別與數(shù)字信號處理器連接；所監(jiān)測方法包括、視線跟蹤、駕駛行為監(jiān)測、疲勞特征判決四個過程，疲勞特征判融合眼睛特征識別、視線跟蹤、駕駛行為監(jiān)測的疲勞判斷結(jié)果，準確判斷駕駛員的疲勞狀態(tài)。本發(fā)明利用信息融合技術(shù)，使疲勞駕駛檢測技術(shù)得到更進一步的發(fā)展和提高，能客觀、實時、快速準確地判斷出駕駛員的疲勞狀態(tài)，避免疲勞駕駛所引起的交通事故。
文檔編號G08B21/06GK101540090SQ20091003861
公開日2009年9月23日 申請日期2009年4月14日 優(yōu)先權(quán)日2009年4月14日
發(fā)明者倪向東, 梁銘炬, 秦華標 申請人:華南理工大學