一種結合atm機的臉部遮擋識別方法
【專利摘要】本發(fā)明涉及一種對ATM機前人臉的人臉遮擋識別方法。當ATM使用者插入銀行卡之后，ATM機發(fā)出一個觸發(fā)信號，啟動實時視頻的獲取以及識別功能；在識別的過程中，首先通過背景建模技術對運動的區(qū)域進行提取，并對四種臉部特征遮擋情況進行準確的魯棒分析判斷。如果通過了以上檢測，可進一步進行可靠性驗證，保證檢測的精度；檢測的結果通過網(wǎng)絡通信返回給ATM機，ATM機決定是否允許ATM使用者進行取款操作。本發(fā)明保證所有在發(fā)生取款操作時，ATM使用者的臉部信息都已清晰記錄，避免在視頻追溯過程中由于臉部信息不全而無法識別，可防止銀行卡的盜用，保障銀行卡的安全，進一步提升傳統(tǒng)ATM機的安全保護能力。
【專利說明】一種結合ATM機的臉部遮擋識別方法

【技術領域】
[0001] 本發(fā)明涉及銀行部門的視頻監(jiān)控系統(tǒng)，尤其是指用于銀行ATM取現(xiàn)的視頻監(jiān)控系 統(tǒng)中的臉部遮擋識別方法。

【背景技術】
[0002] 隨著計算機視覺技術的發(fā)展和金融交易的日益頻繁，隨著ATM機布放數(shù)量和使用 頻率的不斷增加，針對和利用ATM機的犯罪案件也在不斷增加。ATM機作為快捷的銀行自助 交易系統(tǒng)，正在被越來越多的人使用，保護ATM機不受破壞以及ATM使用者的財產安全對減 少銀行的金融損失和增加銀行服務的安全可靠性顯得至關重要。
[0003] 近年來，我國針對和利用ATM機的犯罪案件不斷增加，且犯罪性質越來越惡劣，不 利于維護經(jīng)濟、社會穩(wěn)定，對ATM使用者使用ATM機的熱情也有負面影響，而ATM機作為普 遍使用的銀行自助服務系統(tǒng)在ATM使用者的日常生活中扮演著越來越重要的角色，因此保 護ATM使用者的財產安全尤為迫切。
[0004] 目前ATM機采用的安全防范措施是在ATM機上安裝攝像機，通過用戶插入銀行卡 觸發(fā)錄像模塊啟動，一旦發(fā)生犯罪案件，可通過查看存儲在ATM機內部的案發(fā)時間段的錄 像來追查犯罪分子。但犯罪分子盜用他人銀行卡取款時，通常會對面部進行遮擋，因此從錄 像視頻中查看犯罪分子很難獲得可利用的信息，造成現(xiàn)有的錄像手段對追查犯罪分子意義 不大。同時，犯罪分子可能會在取款人身后探頭窺視密碼，此時，需要對取款人進行提醒，防 范危險。


【發(fā)明內容】

[0005] 針對上述問題，本發(fā)明提供一種結合ATM的臉部遮擋識別方法，利用視覺分析技 術，判斷取款人身后是否有人探頭窺視，繼而解決臉部遮擋進行ATM操作的方法，并與已有 的ATM取現(xiàn)系統(tǒng)進行無縫集成。
[0006] 本發(fā)明為實現(xiàn)上述目的所采用的技術方案是：一種結合ATM機的臉部遮擋識別方 法，包括以下步驟：
[0007] 在ATM機檢測到有銀行卡插入時，讀取ATM機對應攝像頭拍攝到的視頻數(shù)據(jù)；
[0008] 提取該視頻數(shù)據(jù)在一段時間內的連續(xù)圖像，對臉部進行定位跟蹤；
[0009] 依次判斷每張圖像中的臉部部件是否有遮擋；
[0010] 如果沒有臉部部件被遮擋的圖像達到總圖像數(shù)的規(guī)定比例時，確定已經(jīng)獲得ATM 使用者的完整臉部圖像，ATM機發(fā)出輸入密碼提示；否則，ATM機觸發(fā)提示音頻，要求ATM使 用者配合臉部遮擋識別。
[0011] 在所述依次判斷每張圖像中的臉部部件是否有遮擋步驟前，判斷定位跟蹤的臉部 是否僅為一個，如果出現(xiàn)兩個或兩個以上的臉部區(qū)域，則ATM機觸發(fā)提示信息用于詢問ATM 操作者是否繼續(xù)操作；如果僅有一個臉部區(qū)域或者出現(xiàn)兩個或兩個以上的臉部區(qū)域情況下 ATM操作者選擇繼續(xù)操作，則進行依次判斷每張圖像中的臉部部件是否有遮擋步驟。
[0012] 所述在ATM機檢測到有銀行卡插入時，讀取ATM機對應攝像頭拍攝到的視頻數(shù)據(jù)， 具體包括以下步驟：
[0013] ATM機接收到插入銀行卡的觸發(fā)信號后，發(fā)送詢問指令以打開攝像通道，確定視頻 存儲路徑所在的磁盤未滿，在所述通道進行錄像并讀取視頻數(shù)據(jù)，同時向ATM機回復執(zhí)行 狀態(tài)。
[0014] 所述臉部進行定位跟蹤，包括以下步驟：
[0015] 圖像預處理：對所述連續(xù)圖像進行顏色變換，即將彩色圖像變換為灰度圖像，然后 對灰度圖像進行高斯濾波，以去除高斯噪聲，最后對完成高斯濾波的圖像進行使圖像陰暗 部分變清晰的白平衡處理；
[0016] 運動前景圖像提?。簩⒔?jīng)過圖像預處理后的圖像做背景差分處理，得到運動前景 圖像，然后對運動前景圖像進行形態(tài)學處理，以去除運動前景圖像中的噪聲斑點；
[0017] ROI提?。涸谶\動前景圖像中提取出ATM使用者的圖像作為感興趣區(qū)域；
[0018] 中軸線計算：計算人體的中軸線位置；
[0019] 臉部定位：在運動前景圖像中，根據(jù)人體的中軸線位置，確定臉部位置。
[0020] 所述ROI提取包括以下步驟：
[0021] 對運動前景圖像在水平方向上做前景像素點統(tǒng)計，得到水平方向上的峰值；
[0022] 從該峰值起向左右方向延展，當某列的前景像素點為峰值的20%時認為該列即為 所要提取的運動前景圖像的垂直邊界；
[0023] 對運動前景圖像在垂直方向上做前景像素點統(tǒng)計，在垂直方向上從上往下，第一 個非零的前景像素點即為ATM使用者身體的頭頂位置；
[0024] 從此處到圖像底部即為所要提取的運動前景圖像的水平邊界；水平邊界和垂直 邊界定義的矩形區(qū)域即為最有可能的人體在運動前景圖像中出現(xiàn)的位置，也即所要提取的 ROI。
[0025] 所述計算人體的中軸線位置，包括以下步驟：計算ROI矩形區(qū)域在水平方向上的 中點，矩形區(qū)域上下邊的中點連線即為人體的中軸線。
[0026] 所述如果無法確定ROI的具體坐標位置，默認ROI為整幅圖像；此時，ROI區(qū)域水 平方向上的前景像素點統(tǒng)計峰值所在的列即為運動前景圖像中人身體的中軸線。
[0027] 所述判斷圖像中的臉部部件是否有遮擋，包括以下步驟：
[0028] 利用基于Haar特征的人臉檢測和LBP特征的側臉檢測技術，判斷是否有臉部出現(xiàn) 在所采集的圖像中；如果檢測到正臉，則利用基于Haar特征的鼻子檢測技術在已檢測到的 正臉上檢測鼻子；否則如果只檢測到側臉，沒有見到到正臉，則觸發(fā)提示，提醒ATM使用者 正視屏幕；當正臉和鼻子都被檢測到時，則判定所檢測的臉部沒有被遮擋；否則判定所檢 測的臉部存在遮擋。
[0029] 還包括采用OpenCV庫所帶的膚色檢測器對檢測到的臉部進行膚色檢測，并通過 臉部各部件的膚色檢測結果輔助確定該部件是否為真實的臉部部件。
[0030] 所述檢測為使用已經(jīng)訓練好的分類器對其定義的特征進行檢測；所述分類器為利 用支持向量機的方法，將判定為臉部沒有被遮擋的圖像的樣本作為正樣本，確認為遮擋臉 部的樣本作為負樣本，輸入到向量機中進行學習而獲得的。
[0031] 所述ATM機發(fā)出輸入密碼提示后繼續(xù)錄像，退卡時ATM機發(fā)送停止錄像的指令；如 果臉部遮擋檢測次數(shù)達到規(guī)定次數(shù)，則ATM機執(zhí)行退卡操作并發(fā)送停止錄像的指令。
[0032] 本發(fā)明的優(yōu)點及有益效果為：
[0033] 1.本發(fā)明利用視覺信息對ATM使用者的可信度進行驗證，保證所有在發(fā)生取款操 作時，ATM使用者的臉部信息都已清晰記錄，避免在視頻追溯過程中由于臉部信息不全而 無法識別，可防止銀行卡的盜用，保障銀行卡的安全，進一步提升傳統(tǒng)ATM機的安全保護能 力。
[0034] 2.本發(fā)明在自動取款機（ATM)中進行運用，使用增加了臉部遮擋識別系統(tǒng)的ATM 機更為安全，只有通過臉部信息驗證的ATM使用者才能使用銀行卡進行取款等操作，倘若 犯罪分子使用盜取的銀行卡到ATM機上進行交易，如果其仍然采用遮擋臉部的方式將得不 到ATM機自助服務，無法取款，從而保護了被盜銀行卡儲戶的財產安全；如果犯罪不遮擋臉 部直接進行操作，則其臉部信息將被記錄在案，公安部門完全可以憑借存儲的頭像信息對 其通緝，不僅能為公安部門提供破案線索、降低破案難度，同時還能降低銀行的金融損失， 最終保護了被盜銀行卡儲戶的財產安全。
[0035] 3.本發(fā)明能夠自動判斷取款人身后是否有可疑人探頭窺視，并及時對取款人進行 提示，防范危險，使取款人用的更加放心，并保障銀行卡的安全。

【專利附圖】

【附圖說明】
[0036] 圖1是應用本發(fā)明進行ATM操作的整理流程圖；
[0037] 圖2是人臉定位以及跟蹤的算法流程圖；
[0038] 圖3是人臉遮擋分析的流程圖；
[0039] 圖4是基于分類器的人臉驗證算法框圖；
[0040] 圖5是臉部遮擋識別系統(tǒng)與ATM取現(xiàn)系統(tǒng)的通信邏輯框圖；
[0041] 圖6是通信報文格式。

【具體實施方式】
[0042] 下面結合附圖及實施例對本發(fā)明做進一步的詳細說明。
[0043] 如圖1所示,本發(fā)明包括ATM插卡觸發(fā)、圖像采集、臉部檢測。ATM插卡觸發(fā)是由 ATM使用者在ATM機上插入銀行卡后觸發(fā)臉部遮擋識別系統(tǒng)運行，臉部遮擋識別系統(tǒng)通過 視頻采集卡從ATM機內置攝像頭處讀取視頻幀，然后利用臉部部件檢測器對視頻幀圖像進 行檢測。檢測完成后將檢測結果發(fā)送給ATM機，ATM機根據(jù)檢測結果決定是否允許ATM使 用者進行取款操作，若檢測結果通過，則繼續(xù)提供服務，否則退卡。
[0044] 如圖2所示，臉部定位及跟蹤包括輸入圖像預處理、ROI提取、中軸線計算、定位臉 部。輸入圖像預處理是對輸入圖像進行顏色變換、去噪及白平衡處理，使其便于后續(xù)進一 步處理；ROI提取是將輸入圖像與背景圖像做背景差分并利用形態(tài)學原理去噪，提取運動 前景，由于ATM機內置攝像頭視野較窄，而臉部遮擋識別系統(tǒng)僅在ATM使用者使用ATM機 時觸發(fā)啟動，因此提取的運動前景基本為ATM使用者的身體；基于前述分析，根據(jù)人身體的 對稱性特點，對運動前景圖像在水平方向上做前景像素點統(tǒng)計，得到水平方向上的峰值，從 該峰值起向左右方向延展，當某列的前景像素點為峰值的20%時認為該列即為所要提取的 ROI區(qū)域的垂直邊界，然后對運動前景圖像在垂直方向上做前景像素點統(tǒng)計，在垂直方向上 從上往下，第一個非零的前景像素點統(tǒng)計值即認為其為ATM使用者身體的頭頂位置，從此 處到圖像底部即為所要提取的ROI區(qū)域的水平邊界，由此確定了 ROI的具體坐標位置，如 果不滿足上述條件，無法確定具體坐標位置時，默認ROI為整幅圖像；并認為水平方向上的 前景像素點統(tǒng)計峰值所在的列即為運動前景圖像中人身體的中軸線；由此確定的ROI區(qū)域 中，根據(jù)人身體的特征，以及ATM機內置攝像頭在垂直方向的視野大小，進一步確定臉部位 于ROI區(qū)域的上三分之二區(qū)域內。
[0045] 如圖3所示，臉部遮擋分析包括臉部定位、側臉檢測、正臉檢測、鼻子檢測、膚色檢 測、結果判定。臉部定位系統(tǒng)的處理見圖2說明部分。完成側臉檢測后，若側臉被檢測到， 則提醒ATM使用者正視屏幕，進而進行正臉檢測；否則直接進行正臉檢測。完成正臉檢測 后，若能夠檢測到正臉，則進一步利用鼻子檢測器在已檢測到的正臉上檢測鼻子，進一步確 定所檢測到的正臉是真實的臉部；否則認為此次沒有檢測到臉部或臉部被遮擋。當正臉和 鼻子被同時檢測到后，進一步進行膚色檢測，確定檢測到的是正常的臉部部件，若膚色檢測 通過，則認為所檢測的臉部沒有被遮擋，否則認為檢測到的正臉或鼻子為誤檢測結果，判定 此次沒有檢測到臉部或臉部被遮擋。在ATM機向臉部遮擋識別系統(tǒng)詢問結果前，不斷采集 圖像進行遮擋檢測，并統(tǒng)計所有被檢測圖像中通過臉部檢測的比例，當ATM機向臉部遮擋 識別系統(tǒng)詢問結果時，若檢測通過率超過20%則認為此ATM使用者通過臉部遮擋識別，否則 認為不通過。ATM機進一步根據(jù)結果做出相應操作。
[0046] 圖4是本發(fā)明基于分類器的臉部驗證算法框圖?；诜诸惼鞯哪槻框炞C算法框圖 詳細說明了臉部驗證算法的流程。輸入為攝像頭采集到的ATM使用者的實時圖像，由于實 際環(huán)境中存在噪聲干擾，會影響臉部檢測的準確性。因此首先對實時圖像進行預處理，包括 平滑去噪、直方圖均衡，以提高圖像的質量。然后通過背景差分和ROI提取等算法找到圖像 臉部所在的區(qū)域，保證檢測的快速性和準確性。經(jīng)過前面的步驟后，便進入了檢測模塊。系 統(tǒng)采用基于分類器的特征檢測方法，即使用已經(jīng)訓練好的分類器對定義的特征進行檢測， 通過分類器的輸出值判定是否檢測到了特征。系統(tǒng)采用三種分類器：基于膚色的分類器、基 于臉部全局特征的分類器和基于鼻子特征的分類器。依次對預處理后的圖像進行處理，若 通過一個分類器的檢測，則進行下一級的分類器檢測；若沒有通過則直接判定為不是臉部。 系統(tǒng)采用了基于圖像序列的判決分析技術，當圖像序列滿足判決條件時，進行最終的判決； 若不滿足則繼續(xù)采集圖像序列進行檢測。
[0047] 圖5是本發(fā)明臉部遮擋識別系統(tǒng)與ATM機的通信邏輯框圖。臉部遮擋識別系統(tǒng)與 ATM機之間的通信方式為Socket TCP異步非阻塞通信方式，并利用select模式實現(xiàn)客戶端 的管理。根據(jù)ATM使用流程，ATM使用者在插入銀行卡之后、輸入銀行卡密碼之前會有一段 等待時間，臉部遮擋識別系統(tǒng)在此期間完成識別，ATM機根據(jù)識別結果決定是否繼續(xù)提供服 務。ATM機與臉部遮擋識別系統(tǒng)間的交互系統(tǒng)通過四次握手通信來實現(xiàn)，四次握手通信詳細 介紹如下：
[0048] (I) ATM使用者插入銀行卡后觸發(fā)ATM機，ATM機給臉部遮擋識別系統(tǒng)發(fā)送一個詢 問是否進行攝像機通道打開操作、相應通道是否進行錄像以及詢問視頻存儲路徑所在的磁 盤是否已滿的指令，臉部遮擋識別系統(tǒng)完成指令中要求的操作后給ATM機回復相應操作完 成情況；
[0049] (2)ATM機給臉部遮擋識別系統(tǒng)發(fā)送開始檢測和開始錄像的指令，臉部遮擋識別系 統(tǒng)接收指令并執(zhí)行檢測和錄像操作，同時向ATM機回復相應操作執(zhí)行狀態(tài)并繼續(xù)執(zhí)行相應 操作；
[0050] (3)等待3-5秒鐘后，ATM機給臉部遮擋識別系統(tǒng)發(fā)送返回檢測結果的指令，臉部 遮擋識別系統(tǒng)在接受到指令后給ATM機回復最終的檢測結果；
[0051] (4)ATM機根據(jù)最終檢測結果決定是否允許ATM使用者進行取款操作，若已通過臉 部遮擋識別系統(tǒng)的檢測，則ATM機在ATM使用者完成所有取款操作退卡時給臉部遮擋識別 系統(tǒng)發(fā)送停止錄像的指令，臉部遮擋識別系統(tǒng)接收指令后執(zhí)行相關操作并回復執(zhí)行情況。 若沒有通過臉部遮擋識別系統(tǒng)的檢測，則ATM機直接退卡并給臉部遮擋識別系統(tǒng)發(fā)送停止 錄像的指令，臉部遮擋識別系統(tǒng)接收指令后執(zhí)行相關操作并回復執(zhí)行情況。
[0052] 圖6是本發(fā)明通信報文格式。通信報文格式采用了聯(lián)合體數(shù)據(jù)類型，以方便對收 發(fā)的數(shù)據(jù)進行解析和設置。
[0053] 發(fā)送報文格式具體定義如下：

【權利要求】
1. 一種結合ATM機的臉部遮擋識別方法，其特征在于，包括以下步驟： 在ATM機檢測到有銀行卡插入時，讀取ATM機對應攝像頭拍攝到的視頻數(shù)據(jù)； 提取該視頻數(shù)據(jù)在一段時間內的連續(xù)圖像，對臉部進行定位跟蹤； 依次判斷每張圖像中的臉部部件是否有遮擋； 如果沒有臉部部件被遮擋的圖像達到總圖像數(shù)的規(guī)定比例時，確定已經(jīng)獲得ATM使用 者的完整臉部圖像，ATM機發(fā)出輸入密碼提示；否則，ATM機觸發(fā)提示音頻，要求ATM使用者 配合臉部遮擋識別。
2. 根據(jù)權利要求1所述的一種結合ATM機的臉部遮擋識別方法，其特征在于，在所述依 次判斷每張圖像中的臉部部件是否有遮擋步驟前，判斷定位跟蹤的臉部是否僅為一個，如 果出現(xiàn)兩個或兩個以上的臉部區(qū)域，則ATM機觸發(fā)提示信息用于詢問ATM操作者是否繼續(xù) 操作；如果僅有一個臉部區(qū)域或者出現(xiàn)兩個或兩個以上的臉部區(qū)域情況下ATM操作者選擇 繼續(xù)操作，則進行依次判斷每張圖像中的臉部部件是否有遮擋步驟。
3. 根據(jù)權利要求1所述的一種結合ATM機的臉部遮擋識別方法，其特征在于，所述在 ATM機檢測到有銀行卡插入時，讀取ATM機對應攝像頭拍攝到的視頻數(shù)據(jù)，具體包括以下步 驟： ATM機接收到插入銀行卡的觸發(fā)信號后，發(fā)送詢問指令以打開攝像通道，確定視頻存儲 路徑所在的磁盤未滿，在所述通道進行錄像并讀取視頻數(shù)據(jù)，同時向ATM機回復執(zhí)行狀態(tài)。
4. 根據(jù)權利要求1所述的一種結合ATM機的臉部遮擋識別方法，其特征在于，所述臉部 進行定位跟蹤，包括以下步驟： 圖像預處理：對所述連續(xù)圖像進行顏色變換，即將彩色圖像變換為灰度圖像，然后對灰 度圖像進行高斯濾波，以去除高斯噪聲，最后對完成高斯濾波的圖像進行使圖像陰暗部分 變清晰的白平衡處理； 運動前景圖像提?。簩⒔?jīng)過圖像預處理后的圖像做背景差分處理，得到運動前景圖像， 然后對運動前景圖像進行形態(tài)學處理，以去除運動前景圖像中的噪聲斑點； ROI提取：在運動前景圖像中提取出ATM使用者的圖像作為感興趣區(qū)域； 中軸線計算：計算人體的中軸線位置； 臉部定位：在運動前景圖像中，根據(jù)人體的中軸線位置，確定臉部位置。
5. 根據(jù)權利要求4所述的一種結合ATM機的臉部遮擋識別方法，其特征在于，所述ROI 提取包括以下步驟： 對運動前景圖像在水平方向上做前景像素點統(tǒng)計，得到水平方向上的峰值； 從該峰值起向左右方向延展，當某列的前景像素點為峰值的20%時認為該列即為所要 提取的運動前景圖像的垂直邊界； 對運動前景圖像在垂直方向上做前景像素點統(tǒng)計，在垂直方向上從上往下，第一個非 零的前景像素點即為ATM使用者身體的頭頂位置； 從此處到圖像底部即為所要提取的運動前景圖像的水平邊界；水平邊界和垂直邊界定 義的矩形區(qū)域即為最有可能的人體在運動前景圖像中出現(xiàn)的位置，也即所要提取的ROI。
6. 根據(jù)權利要求4所述的一種結合ATM機的臉部遮擋識別方法，其特征在于，所述計算 人體的中軸線位置，包括以下步驟：計算ROI矩形區(qū)域在水平方向上的中點，矩形區(qū)域上下 邊的中點連線即為人體的中軸線。
7. 根據(jù)權利要求5所述的一種結合ATM機的臉部遮擋識別方法，其特征在于，所述如果 無法確定ROI的具體坐標位置，默認ROI為整幅圖像；此時，ROI區(qū)域水平方向上的前景像 素點統(tǒng)計峰值所在的列即為運動前景圖像中人身體的中軸線。
8. 根據(jù)權利要求1所述的一種結合ATM機的臉部遮擋識別方法，其特征在于，所述判斷 圖像中的臉部部件是否有遮擋，包括以下步驟： 利用基于Haar特征的人臉檢測和LBP特征的側臉檢測技術，判斷是否有臉部出現(xiàn)在所 采集的圖像中；如果檢測到正臉，則利用基于Haar特征的鼻子檢測技術在已檢測到的正臉 上檢測鼻子；否則如果只檢測到側臉，沒有見到到正臉，則觸發(fā)提示，提醒ATM使用者正視 屏幕；當正臉和鼻子都被檢測到時，則判定所檢測的臉部沒有被遮擋；否則判定所檢測的 臉部存在遮擋。
9. 根據(jù)權利要求8所述的一種結合ATM機的臉部遮擋識別方法，其特征在于，還包括采 用OpenCV庫所帶的膚色檢測器對檢測到的臉部進行膚色檢測，并通過臉部各部件的膚色 檢測結果輔助確定該部件是否為真實的臉部部件。
10. 根據(jù)權利要求8或9所述的一種結合ATM機的臉部遮擋識別方法，其特征在于，所 述檢測為使用已經(jīng)訓練好的分類器對其定義的特征進行檢測；所述分類器為利用支持向量 機的方法，將判定為臉部沒有被遮擋的圖像的樣本作為正樣本，確認為遮擋臉部的樣本作 為負樣本，輸入到向量機中進行學習而獲得的。
11. 根據(jù)權利要求1所述的一種結合ATM機的臉部遮擋識別方法，其特征在于，所述 ATM機發(fā)出輸入密碼提示后繼續(xù)錄像，退卡時ATM機發(fā)送停止錄像的指令；如果臉部遮擋檢 測次數(shù)達到規(guī)定次數(shù)，則ATM機執(zhí)行退卡操作并發(fā)送停止錄像的指令。
【文檔編號】G07F19/00GK104424721SQ201310375481
【公開日】2015年3月18日 申請日期:2013年8月22日 優(yōu)先權日:2013年8月22日
【發(fā)明者】柳長慶, 柳永詮, 劉春曉, 程保山, 龍佳, 宋一晢, 向滔, 龔曉剛 申請人:遼寧科大聚龍集團投資有限公司