一種復(fù)雜背景下的自動(dòng)人臉圖像光照編輯方法
【專利摘要】本發(fā)明提供了一種復(fù)雜背景下的自動(dòng)人臉圖像光照編輯方法，其特征在于包含以下步驟：（1）預(yù)處理：對(duì)目標(biāo)人臉和參考人臉?lè)謩e進(jìn)行預(yù)處理，其中目標(biāo)人臉具有均勻的光照，而參考人臉具有特定的光照；（2）光照信息提?。悍謩e提取目標(biāo)人臉和參考人臉中的光照信息；（3）光照模板生成：利用步驟（2）提取的目標(biāo)人臉與參考人臉的光照信息，生成光照模板；（4）光照合成：把光照模板與目標(biāo)人臉相乘，獲得光照渲染輸出。
【專利說(shuō)明】一種復(fù)雜背景下的自動(dòng)人臉圖像光照編輯方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于人臉圖像識(shí)別及處理領(lǐng)域，特別是涉及一種復(fù)雜背景下的自動(dòng)人臉圖 像光照編輯方法。

【背景技術(shù)】
[0002] 在攝影過(guò)程中，若想得到一張好的人物相片，提供好的光源和使用好光源是非常 重要的。但是，要真正地掌握好光線控制的技巧，在實(shí)際操作中并非是一件容易的事情。運(yùn) 用數(shù)字圖像的后期處理技術(shù)或者說(shuō)光照渲染技術(shù)能夠在電影制作和攝影中產(chǎn)生特殊的光 照效果，節(jié)省光照調(diào)節(jié)的時(shí)間和成本。
[0003] 傳統(tǒng)的光照渲染技術(shù)一般需要專用的攝影設(shè)備，或者通過(guò)構(gòu)建場(chǎng)景和人臉的三維 模型來(lái)實(shí)現(xiàn)的。雖然它能產(chǎn)生較好的渲染效果，但其操作比較復(fù)雜，并不適合普通用戶的日 常使用。對(duì)此，業(yè)界近年提出了一種基于二維圖像的人臉光照編輯技術(shù)來(lái)實(shí)現(xiàn)光照渲染。該 技術(shù)主要通過(guò)從具有某種光照風(fēng)格的參考圖像中提取人臉的光照特性，并把其融合到原像 光照的目標(biāo)人臉中來(lái)實(shí)現(xiàn)真實(shí)感的光照渲染。
[0004] 目前基于二維圖像的人臉光照編輯技術(shù)絕大部分只考慮了人臉內(nèi)部區(qū)域的光照 編輯問(wèn)題，并沒(méi)有考慮背景區(qū)域的光照信息的生成，一般只能適用于均勻背景的目標(biāo)人臉， 無(wú)法在復(fù)雜背景的人臉圖像中獲得自然和一致的光照編輯效果。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是提出一個(gè)統(tǒng)一的技術(shù)框架實(shí)現(xiàn)復(fù)雜背景下人臉圖像的自動(dòng)光照 渲染效果。該方法能在很大程度上簡(jiǎn)化人臉光照編輯的人工操作，提高人臉圖像光照編輯 的效率、易用性和適用范圍。同時(shí)，由于該方法考慮了復(fù)雜背景中的光照信息生成問(wèn)題，能 夠產(chǎn)生比一般基于圖像的光照編輯方法更自然和一致的光照渲染效果。
[0006] 本發(fā)明的技術(shù)方案如下： (1) 預(yù)處理：對(duì)目標(biāo)人臉和參考人臉?lè)謩e進(jìn)行預(yù)處理，使其對(duì)應(yīng)的人臉區(qū)域得到匹配， 其中目標(biāo)人臉具有均勻的光照，而參考人臉具有特定的光照； (2) 光照信息提?。悍謩e提取目標(biāo)人臉和參考人臉中的光照信息； (3) 光照模板生成：利用步驟（2)提取的目標(biāo)人臉與參考人臉的光照信息，生成光照模 板； (4) 光照合成：把光照模板與目標(biāo)人臉相乘，獲得光照渲染輸出。
[0007] 上述技術(shù)方案中，所述步驟（1)預(yù)處理具體步驟如下： (1-1)分別對(duì)目標(biāo)人臉和參考人臉進(jìn)行人臉檢測(cè)，并在人臉區(qū)域內(nèi)對(duì)人臉部件進(jìn)行特 征點(diǎn)定位，所述人臉部件包括人臉外輪廓、脖子、眉毛、眼睛、鼻子和嘴巴； (1-2)根據(jù)目標(biāo)人臉的特征點(diǎn)位置，對(duì)參考人臉進(jìn)行變形，使兩者對(duì)應(yīng)的人臉區(qū)域相匹 配。
[0008] 所述步驟（2)光照信息提取的具體步驟如下： (2-1)把目標(biāo)人臉圖像I從RGB顏色空間轉(zhuǎn)換到CIELAB顏色空間，使得圖像由一個(gè)亮度 通道和兩個(gè)顏色通道組成； (2-2)用邊緣保持平滑濾波器(如雙邊濾波器）對(duì)亮度通道進(jìn)行平滑處理，平滑結(jié)果為 提取的光照信息I1^ ; (2-3)對(duì)參考人臉R重復(fù)上述步驟，得到參考人臉的光照信息Rp
[0009] 所述步驟（3)光照模板生成的具體步驟如下： (3-1)把提取的參考人臉光照信息Rlj與目標(biāo)人臉光照信息相比丨^ ,得到光照模板的初 始值了,即T = RJIli; (3-2)以提取的目標(biāo)人臉光照信息L作為光照模板生成的導(dǎo)向特征G,即G = Ilj; (3-3)通過(guò)求解以下的加權(quán)最小二乘公式，獲得光照模板M :

【權(quán)利要求】
1. 一種復(fù)雜背景下的自動(dòng)人臉圖像光照編輯方法，其特征在于包含以下步驟： 預(yù)處理：對(duì)目標(biāo)人臉和參考人臉?lè)謩e進(jìn)行預(yù)處理，其中目標(biāo)人臉具有均勻的光照，而參 考人臉具有特定的光照； 光照信息提?。悍謩e提取目標(biāo)人臉和參考人臉中的光照信息； 光照模板生成：利用步驟（2)提取的目標(biāo)人臉與參考人臉的光照信息，生成光照模板； 光照合成：把光照模板與目標(biāo)人臉相乘，獲得光照渲染輸出。
2. 根據(jù)權(quán)利要求1所述的復(fù)雜背景下的自動(dòng)人臉圖像光照編輯方法，其特征在于所述 步驟（1)預(yù)處理具體步驟如下： (1-1)分別對(duì)目標(biāo)人臉和參考人臉進(jìn)行人臉檢測(cè)，并在人臉區(qū)域內(nèi)對(duì)人臉部件進(jìn)行特 征點(diǎn)定位，所述人臉部件包括人臉外輪廓、脖子、眉毛、眼睛、鼻子和嘴巴； (1-2)根據(jù)目標(biāo)人臉的特征點(diǎn)位置，對(duì)參考人臉進(jìn)行變形，使兩者對(duì)應(yīng)的人臉區(qū)域相匹 配。
3. 根據(jù)權(quán)利要求1所述的復(fù)雜背景下的自動(dòng)人臉圖像光照編輯方法，其特征在于所述 步驟（2)光照信息提取的具體步驟如下： (2-1)把目標(biāo)人臉圖像I從RGB顏色空間轉(zhuǎn)換到CIELAB顏色空間，使得圖像由一個(gè)亮度 通道和兩個(gè)顏色通道組成； (2-2)用邊緣保持平滑濾波器對(duì)亮度通道進(jìn)行平滑處理，平滑結(jié)果為提取的光照信息 t； (2-3)對(duì)參考人臉R重復(fù)上述步驟，得到參考人臉的光照信息Ri。
4. 根據(jù)權(quán)利要求1所述的復(fù)雜背景下的自動(dòng)人臉圖像光照編輯方法，其特征在于所述 步驟（3)光照模板生成的具體步驟如下： (3-1)把提取的參考人臉光照信息R1^與目標(biāo)人臉光照信息相比Ilj,得到光照模板的初 始值T,即T=Rl/Il; (3-2)以提取的目標(biāo)人臉光照信息Il作為光照模板生成的導(dǎo)向特征(；,即G=Ili ; (3-3)通過(guò)求解以下的加權(quán)最小二乘公式，獲得光照模板M:
其中：，符號(hào)M= ?gpin〖PCM分代表μ為使泛函|：(|丨取得最小值時(shí)的函數(shù)，z代表 空間域，W(X)代表像素點(diǎn)對(duì)圖像輸出的影響程度，其取值范圍是〇到1，M(Z)代表輸出的 光照蒙板，代表輸入的光照模板初始值，符號(hào)和^分別代表函數(shù)M對(duì)X和對(duì)y方 向的偏導(dǎo)數(shù)，符號(hào)$和g分別代表函數(shù)G對(duì)對(duì)X和對(duì)y方向的偏導(dǎo)數(shù)，參數(shù)€取一個(gè)小的 且不為零的數(shù)，其典型取值為〇. 〇〇〇1，用來(lái)避免分母為〇的情況，參數(shù)《的取值范圍一般為 [1.2, 2.0]，參數(shù)λ為正數(shù)，用來(lái)平衡光滑項(xiàng)與數(shù)據(jù)項(xiàng)的比例，其在人眼、眉毛和背景區(qū)域具 有較大值，在其余區(qū)域具有較小值。
【文檔編號(hào)】G06K9/54GK104463181SQ201410614089
【公開(kāi)日】2015年3月25日 申請(qǐng)日期:2014年11月5日 優(yōu)先權(quán)日:2014年8月5日
【發(fā)明者】梁凌宇, 金連文 申請(qǐng)人:華南理工大學(xué)