專利名稱：人臉圖像光照參數(shù)和去光照?qǐng)D的高精度同時(shí)估計(jì)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺和圖像處理領(lǐng)域技術(shù)領(lǐng)域，特別是一種人臉圖像光照參數(shù)和去光照?qǐng)D的高精度同時(shí)估計(jì)方法。
背景技術(shù)：
光照是影響人臉成像和人臉圖像構(gòu)成的重要因素，變化和未知的光照條件是人臉圖像分析、合成以及識(shí)別技術(shù)實(shí)現(xiàn)的難點(diǎn)之一，人臉圖像間光照差異的存在嚴(yán)重制約著現(xiàn)有人臉識(shí)別系統(tǒng)的性能。因此，對(duì)人臉圖像光照效果的研究需求首先來自于建造對(duì)光照變化更加魯棒的人臉識(shí)別系統(tǒng)。另外，人臉光照估計(jì)與重繪技術(shù)在計(jì)算機(jī)圖形學(xué)領(lǐng)域也十分活躍，并被廣泛地應(yīng)用于虛擬現(xiàn)實(shí)、游戲制作、數(shù)字化電影后期制作等眾多的用途。針對(duì)光照因素在人臉圖像分析、合成及人臉識(shí)別系統(tǒng)的研究中，光照參數(shù)估計(jì)及去光照?qǐng)D估計(jì)是其核心難點(diǎn)技術(shù)。光照參數(shù)估計(jì)指提取出給定人臉圖像的與個(gè)體無關(guān)的光照因素參數(shù)化表達(dá)數(shù)值，它是進(jìn)行光照重繪的基礎(chǔ)；去光照?qǐng)D指從任意光照條件的人臉圖像中去耦光照差異的因素，從而提取出的與光照無關(guān)的人臉濾波圖像，該圖像可被直接用于實(shí)現(xiàn)光照不變的人臉識(shí)別。實(shí)現(xiàn)上述目標(biāo)的算法根據(jù)是否采用3D形狀建模以及是否基于朗伯特 (Lambertain)反射模型，可以被劃分為4個(gè)類別，這些方法通過對(duì)2D或3D的訓(xùn)練集設(shè)計(jì)不同的學(xué)習(xí)算法來提取其低維的參數(shù)，從而構(gòu)造出各種不同含義的線性光照參數(shù)子空間。新樣本通過在光照子空間中的投影或重構(gòu)，分別用于實(shí)現(xiàn)光照估計(jì)、去光照?qǐng)D提取、光照魯棒人臉識(shí)別等目的?？蓾u變模型是一種具有人臉多屬性綜合繪制能力的人臉3D模型。該模型利用人臉形狀與紋理的統(tǒng)計(jì)先驗(yàn)信息，采用Phong反射模型來估計(jì)和表達(dá)人臉表面的紋理特性， 可以同時(shí)用于解決人臉光照與姿態(tài)的識(shí)別及合成間題。然而，該方法的實(shí)現(xiàn)復(fù)雜度較高，并且依賴于大規(guī)模人臉3D數(shù)據(jù)庫的訓(xùn)練與學(xué)習(xí)。Kriegman等人發(fā)現(xiàn)任意照明條件下的人臉圖像集可以在圖像空間中構(gòu)成凸錐(Convex Cone)的結(jié)構(gòu)。通過學(xué)習(xí)每個(gè)人臉對(duì)象的多張不同照明圖像，作者提出了 3D人臉照明錐模型。該模型同樣可以被用于解決人臉合成與識(shí)別中照明與姿態(tài)的組合變化問題。Jacobs等人提出了基于球面諧波表達(dá)的子空間模型，則通過構(gòu)造一個(gè)9維的線性子空間來近似地表達(dá)凸朗伯特對(duì)象在所有可能光照條件下得到的圖像集。Shashua等人提出了基于人臉理想類假設(shè)的商圖方法。該方法通過3個(gè)獨(dú)立固定點(diǎn)光源的線性組合來表達(dá)三維世界的任意光照情況，能夠在統(tǒng)一的數(shù)學(xué)框架下實(shí)現(xiàn)光照效果重繪、及光照不變的人臉識(shí)別任務(wù)。Chen等人將朗伯特對(duì)象的表面逐點(diǎn)反射系數(shù)命名為本質(zhì)圖(Intrinsic Image)，并通過在線性子空間中對(duì)該圖的估計(jì)實(shí)現(xiàn)人臉光照的重繪。與基于3D人臉建模的方法相比，基于2D圖像的子空間學(xué)習(xí)方法能夠在較小的計(jì)算復(fù)雜度下， 實(shí)現(xiàn)與3D方法接近的光照重繪效果。張量臉模型通過構(gòu)建多維的線性子空間可以同時(shí)處理人臉的多個(gè)不同屬性(如光照、姿態(tài)、表情等)。針對(duì)光照重繪的特定任務(wù)，人臉圖像的光照與身份這兩個(gè)因素可以構(gòu)成一個(gè)三模式的張量，也可以通過雙線性子空間模型來表達(dá)。Lee等人針對(duì)人臉照明和形狀因素，基于奇異值分解(SVD)提出了一個(gè)雙線性模型，并報(bào)道可以獲得比球面諧波等算法更有效的人臉圖像光照變化的表達(dá)能力。上述這些算法中大多數(shù)是設(shè)計(jì)用于對(duì)光照參數(shù)或去光照?qǐng)D中其中某一個(gè)目的進(jìn)行專門求解，因此若是希望同時(shí)獲得這兩項(xiàng)估計(jì)值，則必須分別使用兩個(gè)不同的算法進(jìn)行求解，這樣在實(shí)現(xiàn)上較為復(fù)雜。商圖算法因其簡(jiǎn)潔的運(yùn)算以及在人臉識(shí)別與合成應(yīng)用中的有效性，自提出以來， 已引起了廣泛的關(guān)注和進(jìn)一步的發(fā)展。一系列改進(jìn)的算法包括自商圖GelfQI)、非點(diǎn)光源商圖(NPL-QI)、全變分商圖(TV-QI)、形態(tài)學(xué)商圖(MQI)、動(dòng)態(tài)形態(tài)學(xué)商圖(DMQI)、照明比例圖aRi)等陸續(xù)被提出。然而商圖算法假設(shè)任一人臉對(duì)象i的表面具有恒定的反射系數(shù)
P i，從而任意兩個(gè)人臉對(duì)象i與r間的商圖= 就被通過一個(gè)標(biāo)量參數(shù)、=A
PAP)Pr
來近似地表達(dá)。這種簡(jiǎn)化可以方便參數(shù)的求解過程。然而現(xiàn)實(shí)之中，人臉表面的反射系數(shù)
是因點(diǎn)而異的，該項(xiàng)假設(shè)并不能夠嚴(yán)格成立。這種近似表達(dá)給光照參數(shù)的估計(jì)引入了固有
的誤差，并將直接導(dǎo)致去光照?qǐng)D估計(jì)精度的損失，從而影響到人臉識(shí)別系統(tǒng)的識(shí)別率。

發(fā)明內(nèi)容
為了克服上述現(xiàn)有技術(shù)存在的不足，本發(fā)明的目的在于提供一種人臉圖像光照參數(shù)和去光照?qǐng)D的高精度同時(shí)估計(jì)方法，在商圖算法的參數(shù)化光照估計(jì)框架下提出了一個(gè)改進(jìn)的目標(biāo)函數(shù)及其約束條件，允許人臉各像素點(diǎn)擁有不同的反射系數(shù)，更加符合了人臉的物理實(shí)際；在增加了目標(biāo)函數(shù)求解難度的時(shí)候設(shè)計(jì)出了一個(gè)類EM的迭代算法來求解該目標(biāo)函數(shù)，并給出了求解算法的詳細(xì)步驟，相對(duì)于原商圖系列算法，所提改進(jìn)算法改善了人臉圖像光照參數(shù)和去光照?qǐng)D的估計(jì)精確度，從而可以被直接用于提高基于光照參數(shù)的人臉圖像光照重繪質(zhì)量，以及基于去光照?qǐng)D的人臉識(shí)別系統(tǒng)準(zhǔn)確率。為了達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案是一種人臉圖像光照參數(shù)和去光照?qǐng)D的高精度同時(shí)估計(jì)方法，采用朗伯特反射模型來建模人臉圖像的成像，該模型如下式(1)所示I(p) = p(p)n(p)TS(p) (1)式⑴中的人臉圖像I通過其每一個(gè)表面點(diǎn)上反映紋理信息的逐點(diǎn)反射系數(shù)P 乘以該點(diǎn)上的法向量η和光源向量s的內(nèi)積來表達(dá)，ρ = IL P，表示總像素?cái)?shù)為P的圖像I 中的每一個(gè)像素；根據(jù)一個(gè)三維物體在3D空間中的光照向量可以用3個(gè)獨(dú)立點(diǎn)光源的線性組合來近似表達(dá)這一原理，設(shè)~，j = IL 3表示一組線性獨(dú)立的點(diǎn)光源集，則光源向量s可
以表達(dá)為=，其中的光源組合權(quán)重系數(shù)χ = (X1, x2, X3)τ即待估計(jì)的光照參數(shù)，
它所張成的線性空間稱為參數(shù)化光照子空間；接著采集N個(gè)人臉對(duì)象在這3個(gè)獨(dú)立點(diǎn)光源 Sj, j = IL 3分別照射下生成的3XN幅正面人臉圖像，對(duì)這些圖像進(jìn)行特征點(diǎn)標(biāo)定和后向變形(Warp)操作以實(shí)現(xiàn)像素級(jí)對(duì)準(zhǔn)，獲得訓(xùn)練樣本集Ai, i = IL N，其中每個(gè)樣本Ai是一個(gè)PX3的非負(fù)實(shí)矩陣，表示第i個(gè)人臉對(duì)象在該組光源照射下得到的圖像；設(shè)目標(biāo)人臉對(duì)象r相對(duì)于訓(xùn)練樣本集Ai, i = IL N中任意第i個(gè)參考人臉對(duì)象的商圖& (ρ)為其兩者間逐像素反射系數(shù)之比
權(quán)利要求
1. ー種人臉圖像光照參數(shù)和去光照?qǐng)D的高精度同時(shí)估計(jì)方法，其特征在干，采用朗伯 特反射模型來建模人臉圖像的成像，該模型如下式(1)所示 I(P) = P (P)II(P)tS(P)⑴式(1)中的人臉圖像I通過其每ー個(gè)表面點(diǎn)上反映紋理信息的逐點(diǎn)反射系數(shù)P乘以 該點(diǎn)上的法向量n和光源向量s的內(nèi)積來表達(dá)，P = IL P，表示總像素?cái)?shù)為P的圖像I中的 每ー個(gè)像素；根據(jù)一個(gè)三維物體在3D空間中的光照向量可以用3個(gè)獨(dú)立點(diǎn)光源的線性組合 來近似表達(dá)這ー原理，設(shè)^，j = IL 3表示一組線性獨(dú)立的點(diǎn)光源集，則光源向量s可以表達(dá)為
全文摘要
一種人臉圖像光照參數(shù)和去光照?qǐng)D的高精度同時(shí)估計(jì)方法，基于商圖算法的參數(shù)化光照子空間框架，提出了一個(gè)改進(jìn)的目標(biāo)函數(shù)及其約束條件，允許人臉各像素點(diǎn)擁有獨(dú)立的反射系數(shù)，更加符合人臉物理實(shí)際，提高了參數(shù)估計(jì)的精度；設(shè)計(jì)了一個(gè)類EM的迭代算法來求解該目標(biāo)函數(shù)，能夠高效地實(shí)現(xiàn)光照參數(shù)和去光照?qǐng)D的同時(shí)估計(jì)目的。相對(duì)于原商圖系列算法，所提改進(jìn)算法改善了人臉圖像光照參數(shù)和去光照?qǐng)D的估計(jì)精確度，從而可以被直接用于提高基于光照參數(shù)的人臉圖像光照重繪質(zhì)量，以及基于去光照?qǐng)D的人臉識(shí)別系統(tǒng)準(zhǔn)確率。
文檔編號(hào)G06T7/20GK102346857SQ201110269090
公開日2012年2月8日 申請(qǐng)日期2011年9月14日 優(yōu)先權(quán)日2011年9月14日
發(fā)明者劉劍毅, 劉躍虎, 鄭南寧, 馬瑤 申請(qǐng)人:西安交通大學(xué)