基于面部特征識別的動態(tài)人機(jī)接口系統(tǒng)的制作方法
【專利摘要】本實(shí)用新型屬于儀控系統(tǒng)的人機(jī)接口【技術(shù)領(lǐng)域】，涉及一種基于面部特征識別的動態(tài)人機(jī)接口系統(tǒng)，靜態(tài)人機(jī)接口系統(tǒng)、攝像頭、報(bào)警器、控制開關(guān)分別和所述操作人員工作狀態(tài)檢測模塊連接；攝像頭獲取儀控系統(tǒng)操作區(qū)域內(nèi)的實(shí)時(shí)動態(tài)圖像，并將獲取的圖像傳輸至操作人員工作狀態(tài)檢測模塊；操作人員工作狀態(tài)檢測模塊對圖像進(jìn)行檢測和判斷，如判斷為操作人員工作狀態(tài)不良，則向靜態(tài)人機(jī)接口系統(tǒng)發(fā)送降低操作人員操作可信度信號，同時(shí)向報(bào)警器發(fā)送報(bào)警信號；控制開關(guān)由操作人員控制，決定是否允許發(fā)送降低操作人員操作可信度信號和報(bào)警信號。本實(shí)用新型采用圖像識別的方法動態(tài)檢測操作員的實(shí)時(shí)工作狀態(tài)，具有不易被被測個(gè)體察覺及方便實(shí)施等優(yōu)點(diǎn)。
【專利說明】
【技術(shù)領(lǐng)域】
[0001] 本實(shí)用新型屬于火電等行業(yè)儀控系統(tǒng)的人機(jī)接口【技術(shù)領(lǐng)域】，具體涉及一種基于面 部特征識別的動態(tài)人機(jī)接口系統(tǒng)。 基于面部特征識別的動態(tài)人機(jī)接口系統(tǒng)

【背景技術(shù)】
[0002] 火電等行業(yè)的儀控系統(tǒng)要求具備很高的可靠性，人機(jī)接口部分是其中最薄弱的 一個(gè)環(huán)節(jié)?；痣姍C(jī)組運(yùn)行過程中的一個(gè)小的故障，如果由于人因失效(主要由操作員工作狀 態(tài)差導(dǎo)致）而進(jìn)行誤操作，則可能對火電機(jī)組的安全運(yùn)行造成大的影響。根據(jù)統(tǒng)計(jì)，人因失 效所引發(fā)的各種事故和安全事件，占到事故和安全事件總數(shù)的50%以上。
[0003] 火電廠的儀控系統(tǒng)中，采用各種各樣的內(nèi)建測試（Built-in-Test)來對自身的運(yùn) 行狀態(tài)進(jìn)行監(jiān)測，從而在系統(tǒng)出現(xiàn)故障的情況下及時(shí)地采取相應(yīng)措施，避免對火電廠的安 全運(yùn)行造成影響。而作為儀控系統(tǒng)操作核心的操作員，卻沒有相應(yīng)的措施來對其工作狀態(tài) 進(jìn)行實(shí)時(shí)監(jiān)測，不能在其狀態(tài)出現(xiàn)異常時(shí)及時(shí)發(fā)現(xiàn)，從而成為火電事故的一種隱患。
[0004] 為了提高火電儀控系統(tǒng)人機(jī)接口部分的可靠性，人們已有通過多種途徑對人機(jī)接 口部分的人因可靠性因素進(jìn)行分析及改進(jìn)。但是已有的人因可靠性分析主要通過統(tǒng)計(jì)學(xué)或 建立數(shù)學(xué)模型的方法，基于操作員整體平均特征的統(tǒng)計(jì)數(shù)據(jù)進(jìn)行設(shè)計(jì)，它忽略了不同操作 員個(gè)體之間的差異及操作員在不同時(shí)間所出現(xiàn)的動態(tài)的特征。因此，現(xiàn)有的人機(jī)接口系統(tǒng) 只是一種具有固定模式的系統(tǒng)，無法實(shí)現(xiàn)類似于儀控系統(tǒng)的內(nèi)建自測的功能。不能在操作 員所處的環(huán)境或自身的狀態(tài)發(fā)生變化時(shí)，對其進(jìn)行實(shí)時(shí)的檢測。比如操縱員在上夜班的時(shí) 候容易犯困，導(dǎo)致思維能力下降、反應(yīng)遲鈍、漏看錯(cuò)看信息的情況增多，此時(shí)的操作具有極 低的可信度。如果不能及時(shí)發(fā)現(xiàn)制止，則可能對火電的安全運(yùn)行造成大的影響。但是現(xiàn)有 的人機(jī)接口系統(tǒng)并沒有對這一關(guān)鍵的方面予以考慮。
[0005] 已有的人機(jī)接口系統(tǒng)只能考慮到操作員靜態(tài)的整體特征和狀態(tài)，無法考慮到操作 員在不同時(shí)候會有不同特征及狀態(tài)的動態(tài)因素，因此已有的人機(jī)接口系統(tǒng)為靜態(tài)人機(jī)接口 系統(tǒng)。


【發(fā)明內(nèi)容】

[0006] 本實(shí)用新型要解決的技術(shù)問題是提供一種可動態(tài)地檢測操作人員的實(shí)時(shí)工作狀 態(tài)，避免操作員由于工作狀態(tài)不佳而誤操作所引發(fā)事故的基于面部特征識別的動態(tài)人機(jī)接 口系統(tǒng)及其人機(jī)通訊方法。
[0007] 為到達(dá)上述目的，本實(shí)用新型采用的技術(shù)方案是：一種基于面部特征識別的動態(tài) 人機(jī)接口系統(tǒng)，包括靜態(tài)人機(jī)接口系統(tǒng)，其特征在于：還包括攝像頭、報(bào)警器、控制開關(guān)和操 作人員工作狀態(tài)檢測模塊，所述靜態(tài)人機(jī)接口系統(tǒng)、攝像頭、報(bào)警器、控制開關(guān)分別和所述 操作人員工作狀態(tài)檢測模塊連接；所述攝像頭獲取儀控系統(tǒng)操作區(qū)域內(nèi)的實(shí)時(shí)動態(tài)圖像， 并將獲取的圖像傳輸至所述操作人員工作狀態(tài)檢測模塊；所述操作人員工作狀態(tài)檢測模塊 對圖像進(jìn)行檢測和判斷，如判斷為操作人員工作狀態(tài)不良，則向所述靜態(tài)人機(jī)接口系統(tǒng)發(fā) 送降低操作人員操作可信度信號，同時(shí)向所述報(bào)警器發(fā)送報(bào)警信號；所述控制開關(guān)由操作 人員控制，決定是否允許所述操作人員工作狀態(tài)檢測模塊發(fā)送降低操作人員操作可信度信 號和報(bào)警信號。
[0008] 上述基于面部特征識別的動態(tài)人機(jī)接口系統(tǒng)的人機(jī)通訊方法，其特征在于：包括 以下步驟，
[0009] (1)攝像頭獲取儀控系統(tǒng)操作區(qū)域內(nèi)的實(shí)時(shí)動態(tài)圖像，并將獲取的圖像傳輸至操 作人員工作狀態(tài)檢測模塊；
[0010] (2)操作人員工作狀態(tài)檢測模塊連續(xù)檢測步驟（1)所發(fā)送過來的圖像中是否包含 人臉，如檢測到人臉，則轉(zhuǎn)步驟（3)，未檢測到人臉，則重復(fù)本步驟；
[0011] (3)操作人員工作狀態(tài)檢測模塊連續(xù)檢測步驟（2)中檢測到的人臉區(qū)域是否有處 于睜開狀態(tài)的人眼，如檢測到睜開狀態(tài)的人眼，則將操作無效計(jì)時(shí)清零，轉(zhuǎn)步驟（2)，如未檢 測到睜開狀態(tài)的人眼，則操作人員工作狀態(tài)檢測模塊開始操作無效計(jì)時(shí)，并轉(zhuǎn)步驟（4);
[0012] (4)如操作無效計(jì)時(shí)超過設(shè)定時(shí)間閾值，轉(zhuǎn)步驟（5)，如操作無效計(jì)時(shí)未超過設(shè)定 時(shí)間閾值，則轉(zhuǎn)步驟（3);
[0013] (5)操作人員工作狀態(tài)檢測模塊檢測控制開關(guān)的狀態(tài)，如控制開關(guān)禁止報(bào)警，則將 操作無效計(jì)時(shí)清零，轉(zhuǎn)步驟（2)，如控制開關(guān)允許報(bào)警，則操作人員工作狀態(tài)檢測模塊向靜 態(tài)人機(jī)接口系統(tǒng)發(fā)送降低操作人員操作可信度信號，同時(shí)向報(bào)警器發(fā)送報(bào)警信號，報(bào)警器 發(fā)出聲光報(bào)警。
[0014] 本實(shí)用新型的積極效果是：采用圖像識別的方法動態(tài)檢測識別儀控系統(tǒng)操作人員 的實(shí)時(shí)工作狀態(tài)，具有不易被被測個(gè)體察覺及方便實(shí)施等優(yōu)點(diǎn)，避免采用腦電、心電等的接 觸式測量方式令人反感的不足，且不會受到監(jiān)測儀器的限制，適用于火電、化工、航空航天 等高可靠性領(lǐng)域的儀控系統(tǒng)中，具有良好的應(yīng)用前景。

【專利附圖】

【附圖說明】
[0015] 圖1是基于面部特征識別的動態(tài)人機(jī)接口系統(tǒng)結(jié)構(gòu)示意圖；
[0016] 圖2是本實(shí)用新型的人機(jī)通訊方法流程示意圖；
[0017] 圖3(a)和圖3(b)是本實(shí)用新型的動態(tài)人機(jī)接口系統(tǒng)對于操作人員工作狀態(tài)檢測 效果圖。

【具體實(shí)施方式】
[0018] 以下結(jié)合附圖對本實(shí)用新型的實(shí)施例作進(jìn)一步詳細(xì)描述，但本實(shí)施例并不用于限 制本實(shí)用新型，凡是采用本實(shí)用新型的相似結(jié)構(gòu)及其相似變化，均應(yīng)列入本實(shí)用新型的保 護(hù)范圍。
[0019] 操作人員眼睛的生理特征是操作人員在工作狀態(tài)的直觀反映，比如操作人員疲勞 時(shí)會較長時(shí)間地閉合雙眼，而操作人員工作狀態(tài)良好時(shí)，則雙眼很有精神。因此，本實(shí)用新 型采用對人臉和眼睛生理特征的檢測來判斷操作員工作狀態(tài)，獲得其操作的可信度，并反 饋至靜態(tài)人機(jī)接口系統(tǒng)，避免操作人員工作狀態(tài)差導(dǎo)致的誤操作。對于眼睛的檢測主要檢 測其處于睜開狀態(tài)的眼睛。如果檢測到睜開的人眼，則說明操作人員工作狀態(tài)良好，此時(shí)其 操作的可信度高；如果檢測不到操作人員處于睜開狀態(tài)的眼睛，那么認(rèn)為操作員的眼睛處 于閉合狀態(tài)。此時(shí)間超過某一閾值，那么認(rèn)為操作員工作狀態(tài)不佳，從而降低其操作的可信 度。
[0020] 基于上述原理，如圖1所示，本實(shí)用新型基于面部特征識別的動態(tài)人機(jī)接口系統(tǒng) 包括靜態(tài)人機(jī)接口系統(tǒng)，其特征在于：還包括攝像頭、報(bào)警器、控制開關(guān)和操作人員工作狀 態(tài)檢測模塊，所述靜態(tài)人機(jī)接口系統(tǒng)、攝像頭、報(bào)警器、控制開關(guān)分別和所述操作人員工作 狀態(tài)檢測模塊連接；所述攝像頭獲取儀控系統(tǒng)操作區(qū)域內(nèi)的實(shí)時(shí)動態(tài)圖像，并將獲取的圖 像傳輸至所述操作人員工作狀態(tài)檢測模塊；所述操作人員工作狀態(tài)檢測模塊對圖像進(jìn)行檢 測和判斷，如判斷為操作人員工作狀態(tài)不良，則向所述靜態(tài)人機(jī)接口系統(tǒng)發(fā)送降低操作人 員操作可信度信號，同時(shí)向所述報(bào)警器發(fā)送報(bào)警信號；所述控制開關(guān)由操作人員控制，決定 是否允許所述操作人員工作狀態(tài)檢測模塊發(fā)送降低操作人員操作可信度信號和報(bào)警信號。
[0021] 基于面部特征識別的動態(tài)人機(jī)接口系統(tǒng)的人機(jī)通訊方法如圖2所示，包括以下步 驟：
[0022] (1)攝像頭獲取儀控系統(tǒng)操作區(qū)域內(nèi)的實(shí)時(shí)動態(tài)圖像，并將獲取的圖像傳輸至操 作人員工作狀態(tài)檢測模塊；
[0023] (2)操作人員工作狀態(tài)檢測模塊連續(xù)檢測步驟（1)所發(fā)送過來的圖像中是否包含 人臉，如檢測到人臉，則轉(zhuǎn)步驟（3)，未檢測到人臉，則重復(fù)本步驟；
[0024] (3)操作人員工作狀態(tài)檢測模塊連續(xù)檢測步驟（2)中檢測到的人臉區(qū)域是否有處 于睜開狀態(tài)的人眼，如檢測到睜開狀態(tài)的人眼，則將操作無效計(jì)時(shí)清零，轉(zhuǎn)步驟（2)，如未檢 測到睜開狀態(tài)的人眼，則操作人員工作狀態(tài)檢測模塊開始操作無效計(jì)時(shí)，并轉(zhuǎn)步驟（4);
[0025] (4)如操作無效計(jì)時(shí)超過設(shè)定時(shí)間閾值，轉(zhuǎn)步驟（5)，如操作無效計(jì)時(shí)未超過設(shè)定 時(shí)間閾值，則轉(zhuǎn)步驟（3);
[0026] (5)操作人員工作狀態(tài)檢測模塊檢測控制開關(guān)的狀態(tài)，如控制開關(guān)禁止報(bào)警，則 將操作無效計(jì)時(shí)清零，轉(zhuǎn)步驟（2)，如控制開關(guān)允許報(bào)警，則操作人員工作狀態(tài)檢測模塊向 靜態(tài)人機(jī)接口系統(tǒng)發(fā)送降低操作人員操作可信度信號，同時(shí)向報(bào)警器發(fā)送報(bào)警信號，報(bào)警 器發(fā)出聲光報(bào)警。
[0027] 采用本實(shí)用新型的系統(tǒng)和方法檢測操作人員的工作狀態(tài)效果如圖3(a)和圖3(b) 所不，圖中大圈為動態(tài)人機(jī)接口系統(tǒng)檢測到的人臉區(qū)域，大圈中的小圈為動態(tài)人機(jī)接口系 統(tǒng)檢測到的處于睜開狀態(tài)的眼睛的區(qū)域。圖3(a)顯示操作員工作狀態(tài)良好時(shí)的檢測效果 圖，此時(shí)，動態(tài)人機(jī)接口系統(tǒng)既能檢測到人臉也能檢測到處于睜開狀態(tài)的人眼，系統(tǒng)認(rèn)為此 時(shí)的操作具有高的可信度；圖3(b)顯示當(dāng)操作員工作狀態(tài)差等因素導(dǎo)致眼睛閉合，此時(shí)動 態(tài)人機(jī)接口系統(tǒng)只能檢測到人臉而檢測不到處于睜開狀態(tài)的人眼，當(dāng)檢測不到睜開狀態(tài)的 人眼達(dá)到一定時(shí)間閾值時(shí)，系統(tǒng)認(rèn)為此時(shí)的操作人員工作狀態(tài)不佳，其操作具有低的可信 度，因此發(fā)出降低操作人員的操作可信度信號，此時(shí)儀控系統(tǒng)需要結(jié)合其它信息決定是否 接受操作員輸入的操作指令，并對外界發(fā)出報(bào)警信號。
[0028] 本實(shí)用新型的動態(tài)人機(jī)接口系統(tǒng)和人機(jī)通訊方法中包含操作人員的反饋機(jī)制。儀 控系統(tǒng)由于某種原因計(jì)劃不采用動態(tài)人機(jī)接口系統(tǒng)，則操作人員可以將控制開關(guān)置于禁止 報(bào)警狀態(tài)。此時(shí)，即使動態(tài)人機(jī)接口系統(tǒng)在人臉區(qū)域檢測不到人眼超過閾值，也不報(bào)警。因 為僅控系統(tǒng)此時(shí)已經(jīng)將動態(tài)人機(jī)接口系統(tǒng)芳路。。
[0029] 本實(shí)用新型的動態(tài)人機(jī)接口系統(tǒng)和人機(jī)通訊方法中先檢測人臉，然后在人臉范圍 內(nèi)檢測人眼的方法來確定操作人員工作狀態(tài)是否正常，具有檢測人臉和檢測人眼兩個(gè)環(huán) 節(jié)，且系統(tǒng)在判定操作人員工作狀態(tài)不佳后，還設(shè)計(jì)了操作人員的反饋機(jī)制來決定是否是 動態(tài)人機(jī)接口系統(tǒng)檢測有誤，因此偏向于保守，寧拒動、不誤動。如果采用只檢測眼睛的方 法來判斷操作員工作狀態(tài)是否正常，則只有檢測人眼一個(gè)環(huán)節(jié)，其誤動的可能性較大。
[0030] 操作人員工作狀態(tài)檢測模塊連續(xù)檢測人臉和人眼可以采用Viola-Jones算法。
[0031] 在本系統(tǒng)中，攝像頭主要用于持續(xù)獲取儀控系統(tǒng)操作區(qū)域內(nèi)的實(shí)時(shí)動態(tài)圖像，并 將獲取的實(shí)時(shí)動態(tài)圖像傳輸至操作人員工作狀態(tài)檢測模塊；報(bào)警器主要用于接受操作人員 工作狀態(tài)檢測模塊發(fā)送過來的報(bào)警信號，并發(fā)出聲光報(bào)警信號；當(dāng)靜態(tài)人機(jī)接口系統(tǒng)接收 到降低操作人員操作可信度信號時(shí)，禁止操作人員對儀控系統(tǒng)的操作指令或降低其操作的 可信度。
【權(quán)利要求】
1.基于面部特征識別的動態(tài)人機(jī)接口系統(tǒng)，包括靜態(tài)人機(jī)接口系統(tǒng)，其特征在于：還 包括攝像頭、報(bào)警器、控制開關(guān)和操作人員工作狀態(tài)檢測模塊，所述靜態(tài)人機(jī)接口系統(tǒng)、攝 像頭、報(bào)警器、控制開關(guān)分別和所述操作人員工作狀態(tài)檢測模塊連接；所述攝像頭獲取儀 控系統(tǒng)操作區(qū)域內(nèi)的實(shí)時(shí)動態(tài)圖像，并將獲取的圖像傳輸至所述操作人員工作狀態(tài)檢測模 塊。
【文檔編號】G06F3/00GK203849674SQ201320835853
【公開日】2014年9月24日 申請日期:2013年12月17日 優(yōu)先權(quán)日:2013年12月17日
【發(fā)明者】張堅(jiān), 何健 申請人:國核自儀系統(tǒng)工程有限公司