雙目視覺人臉識別算法
【專利摘要】雙目視覺人臉識別算法，采用雙目相機(jī)對人臉區(qū)域進(jìn)行圖像采集，對人臉圖像進(jìn)行人臉定位，定位人臉區(qū)域及臉部特征，獲得人臉初步圖像A；再獲取人臉區(qū)域的景深圖像B，對人臉初步圖像A和景深圖像B進(jìn)行2D?3D融合，獲取人臉識別圖像。本發(fā)明不同于基于3D重建的雙目視覺立體人臉識別系統(tǒng)，采用雙目視覺采集的多幅景深圖像與人臉區(qū)域圖像進(jìn)行融合，作為全新判別依據(jù)。在不進(jìn)行三維重建的情形下，形成對人臉信息的完整描述，實現(xiàn)更加快速和準(zhǔn)確的識別。
【專利說明】
雙目視覺人臉識別算法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于視覺圖像處理技術(shù)領(lǐng)域，涉及一種人臉識別技術(shù)，具體的說，涉及一種 雙目視覺人臉識別算法。
【背景技術(shù)】
[0002] 基于人臉圖像的身份鑒別旨在使計算機(jī)具有通過人臉來鑒別身份的功能。它是一 種依托于圖像理解、模式識別、計算機(jī)視覺和神經(jīng)網(wǎng)絡(luò)等高技術(shù)的智能系統(tǒng)，可以部分甚至 全部地代替人類從事復(fù)雜而頻繁的基于人臉圖像的身份識別工作。由于其廣泛的應(yīng)用領(lǐng) 域，人臉識別技術(shù)在近三十年里得到了廣泛的關(guān)注和研究，并且正在被推向應(yīng)用。
[0003] 近年來，隨著計算機(jī)技術(shù)的迅速發(fā)展，人臉自動識別技術(shù)得到廣泛研究與開發(fā)，人 臉識別成為近30年里模式識別和圖像處理中最熱門的研究主題之一。人臉識別的目的是從 人臉圖像中抽取人的個性化特征，并以此來識別人的身份。一個簡單的自動人臉識別系統(tǒng)， 包括以下4個方面的內(nèi)容：
[0004] (1)人臉檢測(Detection):即從各種不同的場景中檢測出人臉的存在并確定其位 置。
[0005] (2)人臉的規(guī)范化(Normalization):校正人臉在尺度、光照和旋轉(zhuǎn)等方面的變化。 [0006] (3)人臉表征(Face Representation):采取某種方式表示檢測出人臉和數(shù)據(jù)庫中 的已知人臉。
[0007] (4)人臉識別（Recognition):將待識別的人臉與數(shù)據(jù)庫中的已知人臉比較，得出 相關(guān)信息。
[0008] 在人臉識別中，特征的分類能力、算法復(fù)雜度和可實現(xiàn)性是確定特征提取法需要 考慮的因素。所提取特征對最終分類結(jié)果有著決定性的影響。分類器所能實現(xiàn)的分辨率上 限就是各類特征間最大可區(qū)分度。因此，人臉識別的實現(xiàn)需要綜合考慮特征選擇、特征提取 和分類器設(shè)計。
[0009] 目前人臉識別分為傳統(tǒng)的二維圖像識別和三維人臉重構(gòu)，二維圖像識別對輸入人 臉圖像質(zhì)量較敏感，如側(cè)臉等類似圖像的識別率較低，基于雙目的三維人臉重構(gòu)識別率較 高但運算速度較慢。

【發(fā)明內(nèi)容】

[0010] 本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提供一種基于雙目視覺系統(tǒng)的人臉識別 方法，可以使二維人臉圖像融合三維景深信息，提高人臉圖像的識別率。
[0011] 本發(fā)明的技術(shù)方案為:雙目視覺人臉識別算法，包括以下步驟：
[0012] (1)進(jìn)行人臉定位:定位人臉區(qū)域及臉部特征，獲得人臉初步圖像A;
[0013] (2)獲取人臉區(qū)域的景深圖像:采用雙目視覺采集系統(tǒng)對人臉區(qū)域進(jìn)行景深測量， 得到人臉區(qū)域的景深圖像B;
[0014] (3)對人臉初步圖像A和景深圖像B進(jìn)行2D-3D融合:人臉初步圖像A及精神圖像B均 傳入像融合模塊；圖像A的坐標(biāo)(x，y)處的像素值記為A(x，y)，圖像B的坐標(biāo)(x，y)處的像素 值記為B(x，y)，加權(quán)系數(shù)記為w(x，y)，對圖像A和圖像B對應(yīng)的點進(jìn)行加權(quán)像素融合，得到加 權(quán)融合后對應(yīng)點(x，y)處的像素：
[0015] C(x，y)=F[A(x，y)，B(x，y)]=w(x，y)*A(x，y)*B(x，y);求解各個點的像素值。
[0016] (4)對人臉融合圖像進(jìn)行圖像識別。
[0017]優(yōu)選的是:人臉定位的方法為:通過膚色提取，獲取人臉部區(qū)域;膚色提取對臉部 區(qū)域的獲取是比較準(zhǔn)確的，誤差小，速度快。標(biāo)記臉部特征:此處需要定位的特征是眼睛、鼻 尖、嘴唇三個部分；由于眼睛具有對稱性，因此可以很快就能標(biāo)記處眼睛的位置，而鼻子是 在眼睛的下面，嘴巴是在鼻子的下面，因此只要標(biāo)記好眼睛，鼻子和嘴巴也能相應(yīng)的標(biāo)記出 來。獲取最小的人臉內(nèi)接矩形，且該最小人臉內(nèi)接矩形內(nèi)接雙眼、鼻尖和嘴唇四個特征點。
[0018] 優(yōu)選的是:加權(quán)系數(shù)
。除此之外， 加權(quán)系數(shù)的選擇方法還有很多。
[0019] 優(yōu)選的是:獲取人臉景深圖像前，先進(jìn)行相機(jī)標(biāo)定，相機(jī)標(biāo)定方法有多種:傳統(tǒng)相 機(jī)標(biāo)定法、主動視覺相機(jī)標(biāo)定方法、相機(jī)自標(biāo)定法等，選擇傳統(tǒng)相機(jī)標(biāo)定方法進(jìn)行相機(jī)標(biāo) 定。通過相機(jī)標(biāo)定獲得相機(jī)內(nèi)矩陣參數(shù)和外矩陣參數(shù)，進(jìn)一步獲得人臉區(qū)域的景深信息，通 過子圖像融合獲得包含景深信息的人臉區(qū)域訓(xùn)練樣本庫，訓(xùn)練樣本庫得到人臉識別圖像。
[0020] 雙目視覺人臉識別系統(tǒng)，包括：
[0021 ]雙目相機(jī):用于人臉圖像的采集。
[0022] 圖像預(yù)處理模塊:包括圖像光線補(bǔ)償、圖像灰度圖獲取、圖像去噪、圖像對比度增 強(qiáng)、圖像二值化五部分，采用傳統(tǒng)的雙目相機(jī)進(jìn)行圖像采集，根據(jù)相機(jī)的安裝環(huán)境，進(jìn)行必 要的補(bǔ)光措施。獲取灰度圖像(或進(jìn)行圖像灰度處理），去噪后可進(jìn)行圖像對比增強(qiáng)，最后設(shè) 定閾值得到需要的二值化圖像。
[0023] 人臉定位模塊:獲取人臉區(qū)域圖像，并標(biāo)定典型的臉部特征；
[0024]雙目景深測量模塊:獲取人臉區(qū)域圖像的景深；
[0025] 2D-3D融合模塊:將雙目景深模塊獲得的圖像與人臉定位模塊獲得的圖像進(jìn)行融 合；
[0026] 識別模塊:識別2D-3D融合模塊融合的人臉圖像。
[0027] 本發(fā)明的有益效果為:本發(fā)明結(jié)合雙目視覺進(jìn)行人臉識別，能夠有效解決單目人 臉識別中圖像采樣不完整導(dǎo)致的識別率低下的問題。本發(fā)明不同于基于3D重建的雙目視覺 立體人臉識別系統(tǒng)，采用雙目視覺采集的多幅景深圖像與人臉區(qū)域圖像進(jìn)行融合，作為全 新判別依據(jù)。在不進(jìn)行三維重建的情形下，形成對人臉信息的完整描述，實現(xiàn)更加快速和準(zhǔn) 確的識別。
【附圖說明】
[0028]圖1為本發(fā)明人臉識別原理示意圖。
[0029]圖2為本發(fā)明結(jié)構(gòu)示意圖。
[0030]圖3為雙目景深測量模塊原理圖。
【具體實施方式】
[0031] 以下結(jié)合附圖對本發(fā)明的【具體實施方式】進(jìn)行進(jìn)一步的描述。
[0032] 如圖1和圖2所示，雙目視覺人臉識別系統(tǒng)與方法，通過雙目相機(jī)采集人臉圖像，并 將采集的圖像傳遞到圖像處理系統(tǒng)。圖像處理系統(tǒng)包括圖像預(yù)處理模塊、人臉定位模塊、雙 目景深測量模塊、2D-3D融合模塊和識別模塊。
[0033] 圖像預(yù)處理模塊:包括圖像光線補(bǔ)償、圖像灰度圖獲取、圖像去噪、圖像對比度增 強(qiáng)、圖像二值化五部分，采用傳統(tǒng)的雙目相機(jī)進(jìn)行圖像采集，根據(jù)相機(jī)的安裝環(huán)境，進(jìn)行必 要的補(bǔ)光措施。獲取灰度圖像(或進(jìn)行圖像灰度處理），去噪后可進(jìn)行圖像對比增強(qiáng)，最后設(shè) 定閾值得到需要的二值化圖像。雙目相機(jī)采集的人臉圖像首先經(jīng)圖像預(yù)處理模塊處理，并 將處理后的圖像傳遞到人臉定位模塊。
[0034] 人臉定位模塊:獲取人臉區(qū)域圖像，并標(biāo)定典型的臉部特征，獲得人臉初步圖像A; 其中人臉定位的方法為:通過膚色提取，獲取人臉部區(qū)域;膚色提取對臉部區(qū)域的獲取是比 較準(zhǔn)確的，誤差小，速度快。標(biāo)記臉部特征:此處需要定位的特征是眼睛、鼻尖、嘴唇三個部 分；由于眼睛具有對稱性，因此可以很快就能標(biāo)記處眼睛的位置，而鼻子是在眼睛的下面， 嘴巴是在鼻子的下面，因此只要標(biāo)記好眼睛，鼻子和嘴巴也能相應(yīng)的標(biāo)記出來。獲取最小的 人臉內(nèi)接矩形，且該最小人臉內(nèi)接矩形內(nèi)接雙眼、鼻尖和嘴唇四個特征點。雙目景深測量模 塊:獲取人臉區(qū)域圖像的景深。獲取的人臉初步圖像A傳遞到后續(xù)的識別模塊。
[0035]如圖3所示，雙目景深測量模塊:獲取人臉區(qū)域的景深圖像:采用雙目視覺采集系 統(tǒng)對人臉區(qū)域進(jìn)行景深測量，得到人臉區(qū)域的景深圖像B。雙目景深測量模塊包括四個部 分，標(biāo)定相機(jī)，圖像校正，圖像匹配，及獲取景深。
[0036]標(biāo)定相機(jī):攝像頭定標(biāo)一般都需要一個放在攝像頭前的特制的標(biāo)定參照物，采用 棋盤紙進(jìn)行標(biāo)定，攝像頭獲取參照物的圖像，并由此計算攝像頭的內(nèi)參數(shù)和外參數(shù)。根據(jù)棋 盤上的每一個角點在世界坐標(biāo)系中的位置坐標(biāo)和這些角點在圖像上的投影位置坐標(biāo)，可計 算出攝像頭的內(nèi)外參數(shù)。
[0037]圖像校正：圖像校正的作用是消除相機(jī)拍攝到的圖像的畸變，使世界坐標(biāo)系中任 意一點的位置坐標(biāo)在雙目相機(jī)拍攝到的兩幅圖像上的投影位置坐標(biāo)嚴(yán)格對應(yīng)。
[0038] 圖像匹配:通過圖像校正后，雙目相機(jī)拍攝的兩幅圖像的對極線恰好在同一水平 線上，保證一幅圖像上任意一點與其在另一幅圖像上的對應(yīng)點具有相同的行坐標(biāo)（即x軸坐 標(biāo)），進(jìn)行一維搜索即將兩幅圖像上的對應(yīng)點相匹配。
[0039] 獲取景深:根據(jù)匹配的對應(yīng)點視差計算對應(yīng)點景深，進(jìn)而獲取圖像景深。
[0040] 2D-3D融合模塊:將雙目景深模塊獲得的圖像與人臉定位模塊獲得的圖像進(jìn)行融 合:對人臉初步圖像A和景深圖像B進(jìn)行2D-3D融合:人臉初步圖像A及精神圖像B均傳入像融 合模塊；圖像A的坐標(biāo)(x，y)處的像素值記為A (x，y)，圖像B的坐標(biāo)(x，y)處的像素值記為B (x，y)，加權(quán)系數(shù)記為w(x，y)，對圖像A和圖像B對應(yīng)的點進(jìn)行加權(quán)像素融合，得到加權(quán)融合 后對應(yīng)點(x，y)處的像素：
[0041] C(x，y)=F[A(x，y)，B(x，y)]=w(x，y)*A(x，y)*B(x，y);求解各個點的像素值;其 中加權(quán)系數(shù)w(x，y)為
[0042] 對人臉初步圖像A所示人臉區(qū)域范圍內(nèi)的各個坐標(biāo)點逐一進(jìn)行像素融合，獲得2D-3D融合后的人臉圖像。
[0043] 識別模塊:識別2D-3D融合模塊融合的人臉圖像。常規(guī)人臉識別算法都可對融合后 圖像進(jìn)行識別。具體采用象素點空間變換算法和基于主成分分析的增強(qiáng)特征臉?biāo)惴ㄟM(jìn)行識 另IJ，即使人臉存在15度以內(nèi)的側(cè)偏或旋轉(zhuǎn)也不會影響識別結(jié)果，因此可以克服復(fù)雜背景中 人臉提取及識別的難題。另外在識別過程中將引入人工干預(yù)，可根據(jù)圖像具體情況(背景， 光照等)從多種識別模式中選擇最適當(dāng)?shù)姆椒ǖ玫脚卸ńY(jié)果，因而和與現(xiàn)有實用的人臉識 別技術(shù)相比，本技術(shù)具有較高魯棒性。
【主權(quán)項】
1. 雙目視覺人臉識別算法，其特征在于:包括W下步驟： (1) 進(jìn)行人臉定位:定位人臉區(qū)域及臉部特征，獲得人臉初步圖像A; (2) 獲取人臉區(qū)域的景深圖像:采用雙目視覺采集系統(tǒng)對人臉區(qū)域進(jìn)行景深測量，得到 人臉區(qū)域的景深圖像B; (3) 對人臉初步圖像A和景深圖像B進(jìn)行2D-3D融合：圖像A的坐標(biāo)(x，y)處的像素值記為 A(x，y)，圖像B的坐標(biāo)(x，y)處的像素值記為B(x，y)，加權(quán)系數(shù)記為w(x，y)，得到加權(quán)融合后 對應(yīng)點(x，y)處的像素： C(x,y)=F[A(x,y) ,B(x,y)] =w(x,y)*A(x,y)*B(x,y)； (4) 對人臉融合圖像進(jìn)行圖像識別。2. 如權(quán)利要求1所述的雙目視覺人臉識別算法，其特征在于:所述人臉定位的方法為： 通過膚色提取，獲取人臉部區(qū)域;標(biāo)記臉部特征：眼睛、鼻尖、嘴唇;獲取最小的人臉內(nèi)接矩 形，且該最小人臉內(nèi)接矩形內(nèi)接雙眼、鼻尖和嘴唇四個特征點。3. 如權(quán)利要求1所述的觀日規(guī)常:人盼巧訝I當(dāng)巧.其據(jù)佈#干，所化加權(quán)系數(shù)w(x，y)為： 4. 如權(quán)利要求1所述的雙目視覺人臉識別算法，其特征在于:通過相機(jī)標(biāo)定獲得相機(jī)內(nèi) 矩陣參數(shù)和外矩陣參數(shù)，進(jìn)一步獲得人臉區(qū)域的景深信息，通過子圖像融合獲得包含景深 信息的人臉區(qū)域訓(xùn)練樣本庫，訓(xùn)練樣本庫得到人臉識別圖像。5. 雙目視覺人臉識別系統(tǒng)，包括圖像預(yù)處理模塊，其特征在于:還包括雙目相機(jī)W及： 人臉定位模塊:獲取人臉區(qū)域圖像，并標(biāo)定典型的臉部特征； 雙目景深測量模塊:獲取人臉區(qū)域圖像的景深； 2D-3D融合模塊:將雙目景深模塊獲得的圖像與人臉定位模塊獲得的圖像進(jìn)行融合； 識別模塊:識別2D-3D融合模塊融合的人臉圖像。
【文檔編號】G06K9/00GK105913013SQ201610217308
【公開日】2016年8月31日
【申請日】2016年4月8日
【發(fā)明人】于林明, 王孔茂, 都強(qiáng), 王利寧, 孫正康, 趙福立
【申請人】青島萬龍智控科技有限公司