專利名稱：一種基于二次多項(xiàng)式光照模型的人臉光照對(duì)齊方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉光照對(duì)齊方法，尤其涉及一種基于二次多項(xiàng)式光照模型的人臉光照對(duì)齊方法。
背景技術(shù)：
人臉技術(shù)在公共安全系統(tǒng)、身份鑒別、虛擬游戲等方面均有廣泛應(yīng)用，但是光照問題卻是長(zhǎng)期困擾該項(xiàng)技術(shù)實(shí)用化的主要原因之一。光照不均勻不僅影響視覺效果，而且嚴(yán)重影響人臉識(shí)別率。近二十年來，各種各樣的光照處理技術(shù)被提出來用于人臉技術(shù)，但是其中大多數(shù)尚達(dá)不到實(shí)用要求或者不能適應(yīng)多方面的應(yīng)用要求。
Terrence Chen等人于2006年提出基于LTV模型的光照處理算法，即在對(duì)數(shù)域用全變分模型提取人臉圖像的反射分量用于人臉識(shí)別。由于反射分量對(duì)光照變化不敏感，所以基于LTV模型的光照處理算法能取得很高的人臉識(shí)別結(jié)果。但是實(shí)際上，用LTV模型分解得到的光照分量中仍然含有大量對(duì)人臉識(shí)別有用的信息，這些成分在基于LTV模型的光照處理算法中并沒有用于人臉識(shí)別。另外該方法僅僅是提取光照不變量用于人臉識(shí)別，并沒有達(dá)到人臉可視效果上的真正改善，這也限制了該方法的應(yīng)用范圍。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種實(shí)用性強(qiáng)、應(yīng)用范圍廣、可明顯提高人臉識(shí)別率的基于二次多項(xiàng)式光照模型的人臉光照對(duì)齊方法。本方法對(duì)基于LTV模型的光照處理算法中丟棄的光照成分進(jìn)行了對(duì)齊矯正后利用，在獲得更高的人臉識(shí)別率同時(shí)達(dá)到視覺效果的改善。
本發(fā)明的目的通過下述技術(shù)方案實(shí)現(xiàn)一種基于二次多項(xiàng)式光照模型的人臉光照對(duì)齊方法，包括下述步驟
(1)建立光照模型。根據(jù)Yale B人臉庫的采集條件，將人臉光照條件劃分為64種，其中第1種為正面標(biāo)準(zhǔn)光照，對(duì)標(biāo)準(zhǔn)光照條件下的光照分量Lstandrad和任意一種光照條件下的光照分量Lobject，可以建立以下模型Lobject(x,y)=Ai(x,y)Lstandard2(x,y)+Bi(x,y),i=2Λ64Lstandard(x,y),i=1---(1)]]>(2)對(duì)所有訓(xùn)練圖像以及目標(biāo)圖像均進(jìn)行形狀規(guī)一化處理。即對(duì)每張圖像，先檢測(cè)若干個(gè)特征點(diǎn)的坐標(biāo)，通過旋轉(zhuǎn)使得每張人臉的兩只眼睛處于水平位置，再運(yùn)用雙插值算法拉伸圖像，使得這些特征點(diǎn)位于圖像的固定位置，最后將圖像裁剪為同一大??；(3)訓(xùn)練系數(shù)矩陣Ai和Bi，i＝2Λ，64。用Yale B人臉庫中的正面人臉采用最小二乘法對(duì)模型①進(jìn)行訓(xùn)練，其中每張人臉圖像的光照分量L用LTV模型分解獲得(其分解過程見步驟(4))。第i種光照條件對(duì)應(yīng)的系數(shù)矩陣Ai和Bi求解模型如下minAi(x,y),Bi(x,y)Σj=1m|Lj′(x,y)-Ai(x,y)·L2j(x,y)-Bi(x,y)|2]]>s.ta2Ai(x,y)+Bi(x,y)≤L‾′(x,y)-b2Ai(x,y)-Bi(x,y)≤-L‾′(x,y)Ai(x,y)>c---(2)]]>其中m為訓(xùn)練樣本組數(shù)，L為標(biāo)準(zhǔn)光照條件下的人臉光照分量，L′為某特定光照條件下的人臉光照分量。a，b標(biāo)記標(biāo)準(zhǔn)光照條件下光照分量的范圍，即a≤L(x，y)≤b，c為一個(gè)大于0的數(shù)。另外L′(x，y)為訓(xùn)練樣本平均值，即L‾′(x,y)=1mΣi=1mLi′(x,y)---(3);]]>(4)對(duì)目標(biāo)人臉圖像進(jìn)行分解。對(duì)每張待進(jìn)行光照對(duì)齊的人臉圖像Iobject，根據(jù)光照—反射模型Iobject(x，y)＝Lobject(x，y)Robject(x，y)，用LTV模型對(duì)其進(jìn)行分解可以得到光照分量Lobject和反射分量Robject。分解過程如下f(x，y)＝logIobject(x，y)＝log Robject(x，y)+log Lobject(x，y) ④，求解以下TV模型u=argminu∫|▿u|+λ||f-u||L1dx---(5),]]>便可得到Lobject≈exp(u)，Robject≈exp(f-u) ⑥，實(shí)際上步驟(3)中也是用同樣的方法對(duì)所有訓(xùn)練樣本進(jìn)行分解。
(5)對(duì)目標(biāo)人臉圖像進(jìn)行光照類型估計(jì)。對(duì)步驟(4)中分解得到的光照分量Lobject，直接用主成分分析(principal component analysis，PCA)識(shí)別方法估計(jì)出Iobject的光照類型。即Iobject的光照條件與Yale B人臉庫中的64種光照條件中的第i種最接近時(shí)，便記其光照類型為i，若光照類型為i＝1，則不用進(jìn)行光照對(duì)齊。
(6)對(duì)目標(biāo)人臉圖像的光照分量Lobject進(jìn)行對(duì)齊矯正。根據(jù)步驟(5)中估計(jì)得到的光照類型i相應(yīng)選取步驟(3)中訓(xùn)練得到的系數(shù)矩陣Ai和Bi，用以下式子對(duì)Lobject進(jìn)行對(duì)齊矯正Laligned(x,y)=[Lobject(x,y)-Bi(x,y)Ai(x,y)]12,i=2,Λ,64Lobject,i=1---(7),]]>其中如果i＝1則不必再進(jìn)行調(diào)整。
(7)目標(biāo)人臉圖像重構(gòu)。用步驟(4)中分解得到的反射分量Robject和步驟(6)中光照對(duì)齊后得到的光照分量Laligned重構(gòu)最終圖像Ialigned(x，y)＝Laligned(x，y)Robject(x，y) ⑧。
本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)和有益效果1、本發(fā)明提出的省掉一次項(xiàng)的二次多項(xiàng)式模型能很好描述光照變化引起人臉圖像的光照分量變化，用以進(jìn)行光照對(duì)齊的結(jié)果真正達(dá)到了視覺效果的改善。
2、本發(fā)明方法對(duì)進(jìn)行光照對(duì)齊的人臉圖像不必進(jìn)行嚴(yán)格的形狀對(duì)齊，實(shí)際上，只需選取三個(gè)特征點(diǎn)進(jìn)行簡(jiǎn)單的人臉形狀對(duì)齊便可達(dá)到很好的光照對(duì)齊效果。而且提出的模型形式簡(jiǎn)單，非常容易實(shí)現(xiàn)。與基于LTV模型的光照處理算法相比，本發(fā)明方法有較大的改進(jìn)，對(duì)用LTV模型提取的光照不變量Robject，本發(fā)明在整個(gè)算法過程中并沒有對(duì)其進(jìn)行任何不必要的調(diào)整。
3、本發(fā)明利用到光照分量中對(duì)人臉識(shí)別有用的信息，在基于LTV模型的光照處理算法的基礎(chǔ)上再次提高識(shí)別率。最重要的是，利用到光照分量，本方法進(jìn)行光照對(duì)齊的結(jié)果真正達(dá)到了視覺效果的改善。


圖1為本發(fā)明方法的操作流程圖。
圖2為本發(fā)明的2D訓(xùn)練圖像以及目標(biāo)圖像形狀規(guī)一化狀態(tài)圖；左為原人臉圖；中為裁剪為112×92象素的人臉圖；右為裁剪為112×100象素的人臉圖。
圖3為本發(fā)明的LTV模型分解結(jié)果圖；左為原圖；中為光照分量圖；右為反射分量圖。
圖4為本發(fā)明的光照對(duì)齊結(jié)果圖；左為原光照分量圖；右為對(duì)齊后的光照分量圖。
圖5為本發(fā)明的光照對(duì)齊整體流程圖。
圖6為視覺效果恢復(fù)比較圖。第一行為原圖；第二行為基于LTV模型的光照處理算法的結(jié)果圖；最后一行為本發(fā)明的光照對(duì)齊結(jié)果圖。
具體實(shí)施例方式
下面結(jié)合實(shí)施例及附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實(shí)施方式不限于此。
實(shí)施例圖1示出了本發(fā)明的操作過程，由圖1可見，本基于二次多項(xiàng)式光照模型的人臉光照對(duì)齊方法，包括下述步驟(1)對(duì)所有訓(xùn)練圖像以及目標(biāo)圖像均進(jìn)行形狀規(guī)一化，即對(duì)每張圖像，先人工點(diǎn)取三個(gè)特征點(diǎn)(兩只眼睛的中心點(diǎn)和嘴巴的中心點(diǎn))的坐標(biāo)，通過旋轉(zhuǎn)使得每張人臉的兩只眼睛處于水平位置，再運(yùn)用雙插值算法拉伸圖像，使得這三個(gè)特征點(diǎn)位于圖像的固定位置，最后將圖像裁剪為同一大小(見圖2)。
(2)訓(xùn)練系數(shù)矩陣Ai和Bi，i＝2…，64。用Yale B圖庫中的正面人臉采用最小二乘法模型②進(jìn)行訓(xùn)練，其中每張圖像的光照分量L用LTV模型分解獲得(見圖3)。
(3)對(duì)目標(biāo)人臉圖像進(jìn)行分解。對(duì)每張待進(jìn)行光照對(duì)齊的人臉圖像Iobject，用LTV模型對(duì)其進(jìn)行分解可以得到光照分量Lobject和反射分量Robject(見圖3)。
(4)對(duì)目標(biāo)人臉圖像進(jìn)行光照類型估計(jì)。直接用(3)中分解得到的光照分量Lobject通過PCA識(shí)別方法估計(jì)出Iobject的光照類型ii。
(5)對(duì)目標(biāo)人臉圖像的光照成分Lobject進(jìn)行對(duì)齊矯正。根據(jù)(4)中估計(jì)得到的光照類型ii相應(yīng)選取(2)中訓(xùn)練得到的系數(shù)矩陣Ai和Bi，用式⑦對(duì)Lobject進(jìn)行對(duì)齊矯正(見圖4)，矯正結(jié)果為L(zhǎng)aligned。
(6)目標(biāo)人臉圖像重構(gòu)。用(3)中分解得到的反射分量Robject和(5)中光照對(duì)齊后得到的光照分量Laligned按⑧式重構(gòu)最終圖像。
其中步驟(3)～步驟(6)顯示了本發(fā)明對(duì)具體某張人臉圖像的光照對(duì)齊整體流程(見圖5)。
圖6為本發(fā)明方法與其他幾種光照處理方法在視覺效果方面的比較。第一行為原圖，第二行為L(zhǎng)TV模型的結(jié)果，最后一行為我們的方法處理結(jié)果。由圖6對(duì)比可知，用本發(fā)明提出的方法，恢復(fù)得到的圖像與標(biāo)準(zhǔn)圖像整體灰度比較接近，陰影部分已經(jīng)基本消除，同時(shí)能保留大量人臉細(xì)節(jié)信息，真正達(dá)到了視覺效果的恢復(fù)，能符合各種實(shí)際應(yīng)用要求。
本發(fā)明通過以下實(shí)驗(yàn)對(duì)本發(fā)明的效果進(jìn)行說明人臉識(shí)別實(shí)驗(yàn)分別在100×100和112×92象素大小的兩種圖庫(對(duì)齊后的Yale B人臉庫)上進(jìn)行，所用的識(shí)別方法為主成分分析(PCA)識(shí)別方法，用歐氏距離描述圖像的相似度。Yale B人臉庫的圖像根據(jù)光照類型可以分為5個(gè)子集，用第1個(gè)子集里面每個(gè)人若干張圖片進(jìn)行訓(xùn)練，對(duì)其余4個(gè)子集進(jìn)行識(shí)別，用各種光照處理方法處理后的圖像進(jìn)行人臉識(shí)別對(duì)應(yīng)識(shí)別率如下(其中線性光照模型即用線性關(guān)系來描述光照變化引起人臉圖像的變化，具體見“Xudong Xie，Kin-Man Lam，’Facerecognition under varying illumination based on 2D face shape model，’PatternRecognition 38(2005)221-230”，而LTV就是基于LTV模型的光照恢復(fù)算法，也就是用LTV模型分解得到反射分量進(jìn)行識(shí)別)表1人臉識(shí)別結(jié)果(％)，其中選取30個(gè)主成分，用第1個(gè)子集里面每個(gè)人7張圖片做訓(xùn)練樣本(100×100大小圖片)

表2人臉識(shí)別結(jié)果(％)，其中選取20個(gè)主成分，僅用第1個(gè)子集里面每個(gè)人3張圖片做訓(xùn)練樣本(100×100大小圖片)


表3人臉識(shí)別結(jié)果(％)，其中選取30個(gè)主成分，用第1個(gè)子集里面每個(gè)人7張圖片做訓(xùn)練樣本(112×92大小圖片)

表4人臉識(shí)別結(jié)果(％)，其中選取20個(gè)主成分，僅用第1個(gè)子集里面每個(gè)人3張圖片做訓(xùn)練樣本(112×92大小圖片)

從實(shí)驗(yàn)結(jié)果可以看出，采用本發(fā)明進(jìn)行光照恢復(fù)，在YaleB各個(gè)光照類型子集中均能較大地提高識(shí)別率。從識(shí)別結(jié)果可以得出，LTV模型分解得到的光照分量L中的確還存在可用的人臉細(xì)節(jié)信息，本文提出的方法利用這些信息，能再次提高人臉識(shí)別率。然而，對(duì)光照分量，僅僅用線性模型進(jìn)行對(duì)齊矯正尚存在很大的誤差。從上面識(shí)別實(shí)驗(yàn)可以看出，對(duì)光照變化比較大的圖像，如第四、五個(gè)子集，用線性模型進(jìn)行對(duì)齊，識(shí)別率并沒有得到非常顯著的提高。而本文選取二次多項(xiàng)式模型，從識(shí)別率可以看出確實(shí)二次多項(xiàng)式模型能較好地描述光照變化引起的人臉圖像變換。
所述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受所述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡(jiǎn)化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種基于二次多項(xiàng)式光照模型的人臉光照對(duì)齊方法，其特征在于包括以下步驟(1)建立光照模型；(2)對(duì)所有訓(xùn)練圖像以及目標(biāo)圖像均進(jìn)行形狀規(guī)一化處理；(3)訓(xùn)練系數(shù)矩陣Ai和Bi，其中i＝2，Λ，64；(4)對(duì)目標(biāo)人臉圖像進(jìn)行分解；(5)對(duì)目標(biāo)人臉圖像進(jìn)行光照類型估計(jì)；(6)對(duì)目標(biāo)人臉圖像的光照分量進(jìn)行對(duì)齊矯正；(7)目標(biāo)人臉圖像重構(gòu)。
2.根據(jù)權(quán)利要求1所述的一種基于二次多項(xiàng)式光照模型的人臉光照對(duì)齊方法，其特征在于所述步驟(1)中光照模型是Lobject(x,y)=Ai(x,y)Lstandard2(x,y)+Bi(x,y),i=2Λ64Lstandard(x,y),i=1,]]>其中i＝1時(shí)，Lstandrad為正面標(biāo)準(zhǔn)光照條件下的光照分量。
3.根據(jù)權(quán)利要求2所述的一種基于二次多項(xiàng)式光照模型的人臉光照對(duì)齊方法，其特征在于所述步驟(3)是采用最小二乘法對(duì)光照模型中系數(shù)矩陣Ai和Bi進(jìn)行訓(xùn)練。
4.根據(jù)權(quán)利要求3所述的一種基于二次多項(xiàng)式光照模型的人臉光照對(duì)齊方法，其特征在于所述步驟(4)具體是對(duì)每張待進(jìn)行光照對(duì)齊的目標(biāo)人臉圖像Iobject，根據(jù)光照-反射模型Iobject(x，y)＝Lobject(x，y)Robject(x，y)，用LTV模型對(duì)Iobject進(jìn)行分解，得到光照分量Lobject和反射分量Robject。
5.根據(jù)權(quán)利要求4所述的一種基于二次多項(xiàng)式光照模型的人臉光照對(duì)齊方法，其特征在于，所述步驟(5)具體是對(duì)光照分量Lobject，直接用PCA識(shí)別方法估計(jì)出Iobject的光照類型。
6.根據(jù)權(quán)利要求5所述的一種基于二次多項(xiàng)式光照模型的人臉光照對(duì)齊方法，其特征在于，所述步驟(6)具體是根據(jù)Iobject的光照類型相應(yīng)選取訓(xùn)練得到的系數(shù)矩陣Ai和Bi，用Laligned(x,y)=[Lobject(x,y)-Bi(x,y)Ai(x,y)]12Lobject,i=1,]]>i＝2，…，64對(duì)Lobject進(jìn)行對(duì)齊矯正，并得到矯正結(jié)果Laligned。
7.根據(jù)權(quán)利要求6所述的一種基于二次多項(xiàng)式光照模型的人臉光照對(duì)齊方法，其特征在于，所述步驟(7)具體是用分解得到的反射分量Robject和光照對(duì)齊后得到的光照分量Laligned重構(gòu)最終圖像Ialigned(x，y)＝Laligned(x，y)Robject(x，y)。
全文摘要
本發(fā)明公開了一種基于二次多項(xiàng)式光照模型的人臉光照對(duì)齊方法，包括以下步驟(1)建立光照模型；(2)對(duì)所有訓(xùn)練圖像以及目標(biāo)圖像均進(jìn)行形狀規(guī)一化；(3)訓(xùn)練系數(shù)矩陣A
文檔編號(hào)G06K9/00GK101046847SQ20071002781
公開日2007年10月3日 申請(qǐng)日期2007年4月29日 優(yōu)先權(quán)日2007年4月29日
發(fā)明者賴劍煌, 謝曉華, 鄭偉詩 申請(qǐng)人:中山大學(xué)