專利名稱：基于多階局部顯著模式特征統(tǒng)計(jì)的人臉識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺、數(shù)字圖像處理和模式識(shí)別等技術(shù)領(lǐng)域，特別是基于多階局部顯著模式特征統(tǒng)計(jì)的人臉識(shí)別方法。
背景技術(shù)：
隨著國民經(jīng)濟(jì)水平的不斷提高，人均購買能力逐漸越強(qiáng)，在支付時(shí)需要進(jìn)行身份認(rèn)證的場(chǎng)合越來越多?；谌梭w生理特征的生物特征識(shí)別技術(shù)將在和國民經(jīng)濟(jì)發(fā)展、公共安全相關(guān)的多個(gè)重要領(lǐng)域都發(fā)揮越來越重要的作用。其中，人臉識(shí)別可以說是目前潛力最大、最可能開展廣泛應(yīng)用的生物特征識(shí)別模態(tài)之一。因?yàn)?，其采集設(shè)備的普及程度發(fā)展空前，幾乎每個(gè)移動(dòng)終端和PC終端都原裝攜帶，同時(shí)設(shè)備的采集精度也從早期的幾十萬像素到幾百萬像素發(fā)展到現(xiàn)在的千萬像素級(jí)別，而其他主流的生物特征模態(tài)(如:指紋、掌紋、虹膜、靜脈)在圖像獲取時(shí)卻需要特殊的采集設(shè)備，不論在易用性還是在設(shè)備價(jià)格，人臉識(shí)別都有有一定的優(yōu)勢(shì)。然而，人臉圖像會(huì)隨著年齡增長(zhǎng)、表情變化、化妝、環(huán)境光照變化、面部遮擋(如墨鏡、圍巾)以及姿態(tài)的變化而發(fā)生一定的改變。因此如何設(shè)計(jì)一種高區(qū)分性和強(qiáng)魯棒性的人臉特征表示方法變得尤為重要。特別是當(dāng)人臉識(shí)別要在一些計(jì)算能力弱、功耗要求高的移動(dòng)設(shè)備上應(yīng)用時(shí)，一些計(jì)算復(fù)雜度高的人臉特征提取方法并不適用。因此，開發(fā)一種計(jì)算復(fù)雜度低且魯棒性高的人臉識(shí)別系統(tǒng)在計(jì)算量要求高的低功耗移動(dòng)設(shè)備具有重要的應(yīng)用價(jià)值。

發(fā)明內(nèi)容

本發(fā)明的目的是提出一種基于多階局部顯著模式特征統(tǒng)計(jì)的人臉識(shí)別方法，即利用多階分析和顯著性編碼的局部差分模式進(jìn)行統(tǒng)計(jì)分析來表示人臉圖像，用于人臉識(shí)別。為實(shí)現(xiàn)上述目的，基于多階局部顯著模式統(tǒng)計(jì)描述的人臉識(shí)別方法包括步驟:人臉圖像預(yù)處理；對(duì)歸一化的人臉圖像的每個(gè)像素所在局部鄰域計(jì)算不同階數(shù)的局部差分模式特征向量；將人臉圖像每個(gè)像素的每一階局部差分模式特征向量編碼成相應(yīng)局部顯著模式特征；對(duì)人臉圖像每一尺度、每一階的局部顯著模式特征圖分塊并進(jìn)行空間直方圖統(tǒng)計(jì)；將人臉圖像每一階的所有局部顯著模式特征直方圖進(jìn)行拼接，并用白化的主成分分析進(jìn)行增強(qiáng)；根據(jù)每一階增強(qiáng)后的局部顯著模式直方圖特征的判別能力，計(jì)算相應(yīng)的權(quán)重；兩幅人臉圖像的特征相似度用加權(quán)的余弦距離度量。本發(fā)明的人臉識(shí)別方法通過多階分析計(jì)算不同階的人臉局部差分模式特征向量，以獲得多階的人臉特征表達(dá)，同時(shí)通過顯著性編碼獲得魯棒的特征表示，并且通過分塊直方圖統(tǒng)計(jì)和每階特征的子空間分析使該特征得到進(jìn)一步增強(qiáng)，最后在匹配時(shí)通過計(jì)算所有階增強(qiáng)的局部顯著模式特征加權(quán)的余弦距離來度量?jī)煞四槇D像之間的相似性。該方法在人臉圖像特征編碼時(shí)一方面通過多階分析豐富了人臉局部模式的表達(dá)能力，能更好的抵抗外界不同噪聲的影響；另一方面又汲取了基于顯著性編碼方式的魯棒性，即僅選用了最穩(wěn)定的局部差分模式進(jìn)行編碼；最后通過直方圖統(tǒng)計(jì)描述和子空間分析的方法使總的特征維度得到進(jìn)一步壓縮，不但增強(qiáng)了不同個(gè)體人臉圖像之間的判別能力，同時(shí)還能容忍一定的噪聲干擾。本發(fā)明具有計(jì)算速度快、魯棒性高和匹配速度快的特點(diǎn)。本發(fā)明可用于移動(dòng)互聯(lián)環(huán)境下的低功耗設(shè)備一對(duì)一的身份認(rèn)證系統(tǒng)或者一對(duì)多的身份識(shí)別系統(tǒng)。


圖1為基于多階局部顯著模式特征統(tǒng)計(jì)的人臉識(shí)別流程框圖；圖2為人臉圖像歸一化不意圖，其中圖2a是攝像頭米集到的人臉圖像，圖2b是圖2a歸一化結(jié)果；圖3為多階局部顯著模式人臉特征的提取過程示意圖；圖4的圖4a、4b、4c、4d、4e分別為歸一化的人臉圖像和其O階、I階、2階、3階局部顯著模式特征圖。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明?，F(xiàn)有的人臉識(shí)別系統(tǒng)總體分為軟件和硬件兩大模塊:即人臉圖像的獲取裝置和人臉識(shí)別算法。人臉識(shí)別算法包括人臉歸一化、特征提取和特征相似度度量三個(gè)步驟。本發(fā)明提出的方法將應(yīng)用于人臉識(shí)別的軟件模塊，即通過計(jì)算機(jī)軟件實(shí)現(xiàn)。本發(fā)明的人臉識(shí)別算法通 過多階局部差分的方式獲得人臉圖像在不同階下的局部模式特征向量；其后根據(jù)顯著性僅選用最魯棒的兩個(gè)局部差分模式特征進(jìn)行編碼以獲得更穩(wěn)定、更緊湊的人臉表示；同時(shí)利用空間直方圖統(tǒng)計(jì)和子空間分析的方法使人臉圖像的空間結(jié)構(gòu)特征得到保持同時(shí)使整體的特征判別能力得到增強(qiáng)。本方法充分描述了不同個(gè)體的不同人臉圖像在不同階局部差分模式下的差異，同時(shí)利用顯著性編碼的方式在某種程度上也抑制了同一個(gè)體在類內(nèi)發(fā)生的局部變化。由于采用了空間直方圖統(tǒng)計(jì)的策略，能克服一定的噪聲干擾。度量時(shí)，采用余弦距離進(jìn)行匹配速度非?？欤m用于移動(dòng)終端設(shè)備一對(duì)多身份識(shí)別系統(tǒng)，和一對(duì)一的訪問控制系統(tǒng)等諸多應(yīng)用系統(tǒng)中。本發(fā)明對(duì)硬件配置不高，僅需普通個(gè)人電腦的攝像頭或移動(dòng)終端的攝像頭即可實(shí)現(xiàn)，易于在實(shí)際應(yīng)用中快速搭建系統(tǒng)。本發(fā)明提出了一種基于多階分析和顯著性編碼的局部模式統(tǒng)計(jì)描述的人臉識(shí)別方法，其流程圖如圖1所示。用戶在使用前需要向系統(tǒng)注冊(cè)自己的人臉模板，然后才能進(jìn)行識(shí)別。該系統(tǒng)可以運(yùn)行于人臉識(shí)別系統(tǒng)常見的兩種模式:I)驗(yàn)證模式:又稱I對(duì)I的匹配模式。該模式要求用戶向系統(tǒng)提出身份認(rèn)證的申請(qǐng)，同時(shí)向系統(tǒng)聲明自己的身份，系統(tǒng)通過對(duì)比即時(shí)從用戶身上提取的人臉特征和用戶聲稱的個(gè)體在注冊(cè)時(shí)存儲(chǔ)于數(shù)據(jù)庫中的人臉特征模板，若相似度大于一定的閾值，則系統(tǒng)判定為身份認(rèn)證通過，該模式廣泛應(yīng)用于需要進(jìn)行訪問控制的情形，例如手機(jī)解鎖、電腦系統(tǒng)
登錄等等。2)識(shí)別模式:即I對(duì)多的匹配模式。該模式用戶不需申明自己的身份信息，系統(tǒng)完全自動(dòng)識(shí)別給出用戶的身份，或者給出該用戶不在注冊(cè)名單之列的結(jié)論。因?yàn)樵谧R(shí)別模式中包含驗(yàn)證模式，因此識(shí)別模式是一種比驗(yàn)證模式更高級(jí)同時(shí)難度也越大的識(shí)別方式。該模式在國防、刑偵和司法鑒定的應(yīng)用較多。本發(fā)明既可以用于驗(yàn)證模式，也能用于識(shí)別模式。和現(xiàn)有的其他人臉識(shí)別方法相比具有以下優(yōu)勢(shì):1)現(xiàn)有方法僅采用圓形采樣的方式進(jìn)行局部差分模式的計(jì)算，而本發(fā)明將其推廣到同心圓的方式，能使內(nèi)圓局部模式表達(dá)更加豐富；2)現(xiàn)有的方法利用局部差分模式的所有信息進(jìn)行編碼，而本發(fā)明采用最魯棒的兩個(gè)顯著差分模式的結(jié)果進(jìn)行編碼；3)現(xiàn)有的方法僅采用一階局部差分模型進(jìn)行特征統(tǒng)計(jì)，而本發(fā)明的方法將其擴(kuò)展到更高階，通過多階局部差分模式特征計(jì)算，豐富了人臉在不同階下的人臉局部差分模式的特征表達(dá)。圖1為本發(fā)明的基于多階局部顯著模式特征統(tǒng)計(jì)的人臉識(shí)別方法的流程圖，包括注冊(cè)和識(shí)別兩個(gè)模塊。參照?qǐng)D1，該方法主要包括以下各步驟:步驟1，首先用攝像頭或者數(shù)碼相機(jī)對(duì)人臉圖像進(jìn)行采集。步驟2，對(duì)采集的人臉圖像歸一化。在該步驟，針對(duì)采集到的如圖2a所示的人臉圖像，將檢測(cè)到的人臉的雙眼坐標(biāo)中心平移到圖像中心并旋轉(zhuǎn)，使兩眼的y坐標(biāo)相同。然后進(jìn)行圖像的縮放變化，使人臉的瞳距保持在設(shè)定值。以兩眼中心為坐標(biāo)原點(diǎn)，按同一尺寸上下左右分割出歸一化后的人臉圖像，如圖2b所示。步驟3，人臉圖像特征提取。(如圖3所示)。圖3是人臉圖像特征提取過程示意圖。在該步驟，針對(duì)歸一化的人臉圖像先計(jì)算O階的局部差分模式特征向量，公式如下所示:V0 (x y) — {V0j1j V0,2，...，V0jk}`
V0ji = PWj1-Pn,i i = 1，2，3，...，k其中，V0 (x, y)表示以歸一化后人臉圖像坐標(biāo)為(X，y)的像素O階局部差分模式特征向量，Vchi表示Vtl(Xd)中的第i個(gè)元素，其值由以像素坐標(biāo)(x，y)為中心半徑分別為rw和rn的同心圓的第i個(gè)采樣的值Pw, i和Pn, i的差分結(jié)果計(jì)算而得，默認(rèn)rw > rn, k為總的采樣點(diǎn)數(shù)，即特征向量y)的長(zhǎng)度，采樣點(diǎn)的位置在圓周上呈均勻分布。在O階的局部差分模式特征向量的基礎(chǔ)上，可以計(jì)算更高階的局部差分模式特征向量，計(jì)算公式如下表示:Vt (X, y) = IVta, Vtj2,..., Vt, J , t = 1,2,3...
Vtj j — Vt_lj i_Vt_lj (i+1)% k，i — I，2，3，...，k其中，Vt(x，y)表示以歸一化后人臉圖像坐標(biāo)為(x，y)的像素t階局部差分模式特征向量，Vtii表示Vt(x，y)中的第i個(gè)元素，其值由以t-Ι階局部差分模式特征值Vt^的第i個(gè)元素和第(i+1) % k個(gè)元素的差分結(jié)果計(jì)算而得，％為取模符號(hào)，k為總的采樣點(diǎn)數(shù)，即特征向量Vt (X，y)的長(zhǎng)度，采樣點(diǎn)的位置在圓周上呈均勻分布，其中高階是指階數(shù)t > O且t為整數(shù)。在計(jì)算完不同階數(shù)的局部差分模式特征向量后，根據(jù)顯著性，計(jì)算其相應(yīng)的局部顯著模式特征，具體計(jì)算公式如下表示:LSPt (x, y) = [max_pos (Vt (x, y) )min_pos (Vt (x, y)) ], t = 0,1, 2, 3...
其中，LSPt (x，y)是坐標(biāo)為(x，y)的t階局部顯著模式，是一個(gè)二元組，其第一個(gè)元素為特征向量Vt (X，y)中值最大元素的位置，第二個(gè)元素為Vt (X，y)特征向量中值最小元素的位置，位置在采樣圓周按順時(shí)針方向排列，排列序號(hào)為1，2，...，k。對(duì)每個(gè)像素的局部顯著模式根據(jù)其類型數(shù)(A(k，2)+1)進(jìn)行編碼，例如圖像4(a)的O階、I階、2階、3階局部顯著模式示意圖分別如，圖4(b)、4 (c)、4(d)、4 (e)所示。并且在此基礎(chǔ)上對(duì)人臉圖像每一階的局部顯著模式編碼后的特征圖分塊并進(jìn)行空間直方圖統(tǒng)計(jì)可由如下公式表示:
權(quán)利要求
1.一種基于多階局部顯著模式特征統(tǒng)計(jì)的人臉識(shí)別方法，包括步驟: 人臉圖像預(yù)處理； 對(duì)歸一化的人臉圖像的每個(gè)像素所在局部鄰域計(jì)算不同階數(shù)的局部差分模式特征向量; 將人臉圖像每個(gè)像素的每一階局部差分模式特征向量編碼成相應(yīng)局部顯著模式特征； 對(duì)人臉圖像每一階的局部顯著模式特征圖分塊并進(jìn)行空間直方圖統(tǒng)計(jì)； 將人臉圖像每一階的所有局部顯著模式特征直方圖進(jìn)行拼接，并用白化的主成分分析進(jìn)行增強(qiáng)； 根據(jù)每一階增強(qiáng)后的局部顯著模式直方圖特征的判別能力，計(jì)算相應(yīng)的權(quán)重； 兩幅人臉圖像的特征相似度用加權(quán)的余弦距離度量。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的對(duì)歸一化的人臉圖像的每個(gè)像素所在局部鄰域計(jì)算不同階數(shù)的局 部差分模式特征向量包括步驟: 對(duì)歸一化的人臉圖像的每個(gè)像素計(jì)算O階局部差分模式特征向量； 在O階局部差分模式特征向量的基礎(chǔ)上，對(duì)歸一化的人臉圖像的每個(gè)像素計(jì)算更高階局部差分模式特征向量。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于所述的歸一化人臉圖像的O階局部差分模式特征向量其計(jì)算公式如下所示: Vo(X, y) 一 {Vo’l, Vo,2，...，v0’i = Pw’1-Pn’i，i = 1，2，3，...，k 其中，V0(x, y)表示以歸一化后人臉圖像坐標(biāo)為(X，y)的像素O階局部差分模式特征向量，Vthi表示V。(x，y)中的第i個(gè)元素，其值由以像素坐標(biāo)(x，y)為中心半徑分別為^和rn的同心圓的第i個(gè)采樣的值Pw,i和Pn,i的差分結(jié)果計(jì)算而得，默認(rèn)rw > rn, k為總的采樣點(diǎn)數(shù)，即特征向量y)的長(zhǎng)度，采樣點(diǎn)的位置在圓周上呈均勻分布。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于所述的歸一化人臉圖像的高階局部差分模式特征向量其計(jì)算公式如下表示:Vt (X，y) = {Vta，Vt,2，...，VtjkI，t = 1,2,3...Vt, i — Vt-1, (i+1) % k i — I，2，3，...，k 其中，Vt(x, y)表示以歸一化后人臉圖像坐標(biāo)為(X，y)的像素t階局部差分模式特征向量，Vt,i表示Vt(x，y)中的第i個(gè)元素，其值由以t-Ι階局部差分模式特征值Vt_Ui的第i個(gè)元素和第(i+1) % k個(gè)元素的差分結(jié)果計(jì)算而得，％為取模符號(hào)，k為總的采樣點(diǎn)數(shù)，SP特征向量Vt(x，y)的長(zhǎng)度，采樣點(diǎn)的位置在圓周上呈均勻分布，其中高階是指階數(shù)t> O且t為整數(shù)。
5.根據(jù)權(quán)利要求1中所述的方法，其特征在于，所述的將人臉圖像每個(gè)像素的每一階局部差分模式特征向量編碼成相應(yīng)局部顯著模式特征包括步驟: 計(jì)算人臉圖像每個(gè)像素的每一階局部差分模式特征向量相應(yīng)的局部顯著模式特征； 將計(jì)算所得的人臉圖像每個(gè)像素的每一階局部顯著模式特征進(jìn)行編碼。
6.根據(jù)權(quán)利要求5中所述的方法，其特征在于，所述的計(jì)算人臉圖像每個(gè)像素的每一階局部差分模式特征向量相應(yīng)的局部顯著模式特征，其計(jì)算公式如下表示:LSPt (x, y) = [max_pos (Vt (x, y) )min_pos (Vt (x, y)) ], t = 0,1, 2, 3...其中，LSPt (x,y)是坐標(biāo)為(x，y)的t階局部顯著模式，是一個(gè)二元組，其第一個(gè)元素為特征向量Vt(x，y)中值最大元素的位置，第二個(gè)元素為Vt (x，y)特征向量中值最小元素的位置，位置在采樣圓周按順時(shí)針方向排列，排列序號(hào)為1，2，...，k，k為采樣點(diǎn)數(shù)。
7.根據(jù)權(quán)利要求5中所述的方法，其特征在于所述的將計(jì)算所得的人臉圖像每個(gè)像素的每一階局部顯著模式特征進(jìn)行編碼，包括步驟: 根據(jù)采樣點(diǎn)數(shù)構(gòu)造局部顯著模式編碼字典； 根據(jù)字典對(duì)每一階的人臉圖像每個(gè)像素對(duì)應(yīng)的局部顯著模式進(jìn)行特征編碼。
8.根據(jù)權(quán)利要求7中所述的方法，其特征在于根據(jù)采樣點(diǎn)數(shù)構(gòu)造局部顯著模式編碼字典方式如下: 采樣點(diǎn)數(shù)為k，則局部顯著模式的構(gòu)成方式有A(k，2)+1種，其中AO為k的排列數(shù)，即Vt(x,y)中最大和最小兩個(gè)顯著位不相等的時(shí)候，則從k個(gè)位置有順序的選擇兩個(gè)非重復(fù)的位置；而當(dāng)Vt(x，y)中兩個(gè)顯著位相等，則只有I種可能，即局部模式特征向量Vt(x，y)中的所有元素都相等。
9.根據(jù)權(quán)利要求1中所述的方法，其特征在于對(duì)人臉圖像每一階的局部顯著模式特征圖分塊并進(jìn)行空間直方圖統(tǒng)計(jì)可由如下公式表示:
10.根據(jù)權(quán)利要求1中所述的方法，其特征在于將人臉圖像每一階的所有局部顯著模式特征直方圖進(jìn)行拼接，并用白化的主成分分析進(jìn)行增強(qiáng)包括步驟: 在人臉訓(xùn)練庫中的每幅人臉圖像的每個(gè)區(qū)域分別提取t個(gè)局部顯著模式直方圖，并將其按階數(shù)分別拼接組成t個(gè)該幅圖像的特征向量，若一共有M個(gè)非重疊人臉區(qū)域，則第t階局部顯著模式直方圖特征為: HLSP (t) = [HLSP (t, I) HLSP (t, 2) — HLSP (t, M)]； 若人臉庫中每個(gè)個(gè)體有充足的樣本時(shí)采用線性判別分析LDA訓(xùn)練投影矩陣，若每個(gè)個(gè)體的樣本不足或每個(gè)個(gè)體僅有一個(gè)樣本時(shí)，則采用帶白化過程的主成分分析WPCA進(jìn)行投影矩陣訓(xùn)練，每階的投影矩陣用T(t)表示，增強(qiáng)后的特征用EHLSP(t)來表示，所述階數(shù)為O 到 t-1。
11.根據(jù)權(quán)利要求1中所述的方法，其特征在于，對(duì)于人臉圖像每一階增強(qiáng)后的局部顯著模式直方圖特征的判別能力不同設(shè)不同的權(quán)重，階數(shù)位t的局部顯著模式直方圖特征的權(quán)重用w(t)表示。
12.根據(jù)權(quán)利要求1中所述的方法，其特征在于，用加權(quán)的按階數(shù)增強(qiáng)的局部顯著模式直方圖特征的余弦距離來度量第P幅人臉圖像和第q幅人臉圖像的相似度，若相似度大于某一閾值，則識(shí)別為同一個(gè)人，否則認(rèn)為是不同的人。
全文摘要
本發(fā)明公開了一種基于多階局部顯著模式特征統(tǒng)計(jì)的人臉識(shí)別方法，包括步驟人臉圖像預(yù)處理；對(duì)歸一化的人臉圖像的每個(gè)像素所在局部鄰域計(jì)算不同階數(shù)的局部差分模式特征向量；將人臉圖像每個(gè)像素的每一階局部差分模式特征向量編碼成相應(yīng)局部顯著模式特征；對(duì)人臉圖像每一階的局部顯著模式特征圖分塊并進(jìn)行空間直方圖統(tǒng)計(jì)；將人臉圖像每一階的所有局部顯著模式特征直方圖進(jìn)行拼接，并用白化的主成分分析進(jìn)行增強(qiáng)；根據(jù)每一階增強(qiáng)后的局部顯著模式直方圖特征的判別能力，計(jì)算相應(yīng)的權(quán)重；兩幅人臉圖像的特征相似度用加權(quán)的余弦距離度量。本發(fā)明可以用于低功耗的移動(dòng)設(shè)備上的人臉識(shí)別系統(tǒng)，計(jì)算的時(shí)間復(fù)雜度和空間復(fù)雜度都比較低。
文檔編號(hào)G06K9/00GK103246880SQ201310178619
公開日2013年8月14日 申請(qǐng)日期2013年5月15日 優(yōu)先權(quán)日2013年5月15日
發(fā)明者譚鐵牛, 孫哲南, 柴振華 申請(qǐng)人:中國科學(xué)院自動(dòng)化研究所