專利名稱：基于張量分解與Delaunay三角劃分的多視角人臉合成方法
技術領域：
本發(fā)明屬于圖像處理技術領域，特別涉及多視角人臉合成方法，可用于圖像恢復與重建領域中不同視角下人臉圖像的合成。
背景技術：
隨著IT科技的飛速發(fā)展，基于人臉的身份認證將成為當代最主要的生物特征識別技術之一。由美國國防部高級研究項目署DARPA和美國陸軍研究實驗室ARL聯(lián)合進行的人臉識別測試結果表明人臉識別率對姿態(tài)變化具有很強的敏感性。所以，多個視角下的人臉合成技術對獲得可靠的身份認證是至關重要的。此外，合成連續(xù)變換視角下的人臉圖像， 不僅對人臉空間建模具有重要意義而且在視頻會議、人機接口、公共安全、影視娛樂等領域也取得了廣泛的應用。但該項研究涉及到圖像處理、模式識別、人工智能、計算機視覺、幾何學、生理學、心理學、美術等多個交叉學科，因此，合成出逼真的人臉圖像是一項非常重要又極具挑戰(zhàn)性的課題。目前多視角人臉合成的研究成果主要集中為以下兩類第一類是基于流形估計的多視角人臉合成技術。美國AT&T實驗室的Saul等在文獻"Roweis S. Τ. , Saul L. K. Nonlinear dimensionality reduction by locally linearembedding. Science, 290 (5500) :2323-2326,2000. ” 中最早提出了局部嵌入模型 (Locallylinear embedding, LLE)的思想，即如果高維空間中的一點可以由其臨近的幾個點的線性疊加來表示，那么在低維空間中這種鄰近的疊加關系仍然被保持?；谏鲜鏊枷?， 美國 Kentucky 大學的 Huang 等人在文獻"Xinyu Huang, Jizhou Gao, Sen-ching Cheung, Ruigang Yang. Manifold estimation in view-based feature space for face synthesis acrosspose. In :Asian Conference on Computer Vision，2009.，，巾，巾g入# 該身份下高維圖像空間中的一點，為每個人的多視角人臉圖像建立低維流形結構。在低維流形空間中，如果某個人特定視角下的低維數(shù)據(jù)點可由其他人在該視角下的數(shù)據(jù)點通過線性加權的方式重構出來，則該權值也同樣適用于其他新視角下的數(shù)據(jù)點合成。將合成的新視角下的低維數(shù)據(jù)點映射到高維圖像空間可實現(xiàn)新視角下的人臉圖像合成。第二類是基于張量分解的多視角人臉合成技術。美國New ^rk大學的Alex等提出多因素條件下人臉的張量分解方法，將圖像中的變化因素一一分離開來，進而從影響人臉成像因素的不同子空間對圖像進行處理。韓國Olaworks公司研究員Hyung-koLee 等人在文獻"Tensor-based AAM with continuous variation estimation !Application tovariation-robust face recognition, IEEE Trans.On Pattern Analysis and Machinelntelligence，31(6) :1102-1116,2009. ”中，將張量理論用于人臉圖像的合成及識別，對訓練圖像首先用主動外觀模型AAM將人臉的形狀與紋理信息分離，在形狀和紋理數(shù)據(jù)上分別采用張量分解，得到諸如身份、視角、光照和表情的多種因素子空間，利用線性合成的方法，在各自的空間中得到新的視角、光照和表情系數(shù)，然后通過核張量將這些新系數(shù)映射到圖像空間，以實現(xiàn)人臉合成。實驗結果表明，文中所述方法在光照變化和帶眼鏡等飾物的條件下有較好的合成效果，但只能合成出接近正面的有限人臉視角，而且訓練階段所需的樣本數(shù)量也比較大。由于上述兩類方法都未對人臉視角因素的非線性變化進行精確描述，所以第一種方法只能合成出有限視角下的人臉圖像，且由于受多個訓練圖像身份的影響，合成的圖像與真實圖像的差異較大；第二類種方法雖然在光照、表情變化情況下能得到較好的合成效果，但由于人臉多視角的非線性變化較強，合成結果還只是接近于正面人臉的有限視角下的圖像。

發(fā)明內容
本發(fā)明的目的在于克服上述已有技術的不足，提出了一種基于張量分解與 Delaimay三角劃分的多視角人臉合成方法，以在構建人臉視角信息非線性變換模型的同時，實現(xiàn)對0° 90°連續(xù)變化的各視角人臉圖像的合成。為實現(xiàn)上述目的，本發(fā)明的下技術方案包括如下步驟(1)取180 240幅不同身份、不同視角的人臉圖像作為訓練集G，對訓練集中的每幅人臉圖像，根據(jù)臉輪廓、眉毛、眼睛、鼻子和嘴的位置，將特征點標注在各區(qū)域的輪廓線上；(2)將訓練集中圖像特征點數(shù)據(jù)沿視角、身份和坐標信息變化的方向排列成張量數(shù)據(jù)，并用高階奇異值分解算法對其進行分解，得到身份系數(shù)矩陣Uidmtity、視角系數(shù)矩陣 Uview、輪廓系數(shù)矩陣Upoint和核張量Z，該三個矩陣之間相互獨立，Z表示這三個矩陣之間的相互作用關系；(3)對視角系數(shù)矩陣Uvirat中的不同的視角系數(shù)進行樣條擬合，獲得一個連續(xù)的人臉形狀視角流形V;(4)給定一幅未在訓練集G中出現(xiàn)過的圖像作為測試圖像g，標注測試圖像的特征點，通過最小化測試圖像與訓練圖像能量差的方式確定該測試圖像g的輸入視角利用最小二乘或稀疏表示的方法，求出訓練集中輸入視角I1下所有圖像特征點集合對測試圖像特征點的重構系數(shù)c，將該系數(shù)c與訓練集的身份系數(shù)矩陣Uidmtity加權求和，得到測試圖像的身份系數(shù)矩陣Uidmtity mw ；(5)根據(jù)步驟(2)中得到的輪廓系數(shù)矩陣Up。int、核張量Z和步驟(3)中得到的視角流形V，利用張量分解公式，求出測試圖像g在新視角下的特征點矩陣I1 =
Z X iV (1) X 2仏 dent ity—new X sUpoint其中，V(I)是人臉形狀視角流形V上的第1個點，表示新視角下測試圖像特征點的視角系數(shù)矩陣，Xd(d= 1,2,3)表示張量的模-d乘法，ZX1V(I)表示3維矩陣Z以第1 維為行向量，第2、3維為列向量進行變形，并右乘矩陣V(I) ；ZX2Uidmtity mw表示Z以第2維為行向量，第1、3維為列向量進行變形，并右乘矩陣Uidmtity _ ；ZX3Upoint表示Z以第3維為行向量，第1、2維為列向量進行變形，并右乘矩陣Upoint ；(6)由測試圖像新合成視角下的特征點矩陣I1，根據(jù)測試圖像在輸入視角下的灰度圖像及其對應的特征點矩陣，利用Delaimay三角劃分求出測試圖像輸入視角特征點的鄰接關系，構建覆蓋人臉的三角面片區(qū)域，根據(jù)已經(jīng)確定的鄰接關系，構建測試圖像新合成視角下覆蓋人臉的三角面片區(qū)域，應用線性仿射變換，計算出測試圖像新合成視角下各三角面片內部所有像素點的灰度，從而合成出測試圖像在新合成視角下的人臉圖像。本發(fā)明與現(xiàn)有技術相比具有如下優(yōu)點1.本發(fā)明由于將高維人臉數(shù)據(jù)的身份信息用獨立的線性系數(shù)來表示，能更準確的表達身份信息；2.本發(fā)明由于在人臉的形狀分量上采用張量分解的方法合成新視角人臉的特征點，而非直接對高維人臉圖像進行合成，從而有效地避免了人臉圖像的欠采樣問題和人臉紋理信息對精確視角描述的影響，使所合成的多視角人臉特征點的位置更精確；3.本發(fā)明由于利用稀疏表示的方法，在合成訓練集之外人臉的身份系數(shù)時，避免了使用訓練集中的所有元素進行合成，而只用到與輸入圖像特征點相似性最高的幾幅圖像特征點進行加權求和，因此，去除了不相似圖像的干擾，合成結果更準確；4.本發(fā)明由于可以根據(jù)輸入的一幅無遮擋且光照、表情正常的任意身份人臉圖像，合成多個視角的圖像，因此其實用范圍很廣。實驗結果表明本發(fā)明合成的人臉圖像與已有的方法相比，不僅圖像更逼真，而且合成視角的范圍更廣，包括了從側面到正面的各視角的人臉圖像。


圖1是本發(fā)明中多視角人臉合成流程圖；圖2是本發(fā)明中多視角人臉合成詳細過程圖；圖3是本發(fā)明中對人臉進行Delaimay三角劃分示意圖；圖4是本發(fā)明仿真使用的訓練集中部分樣本示例圖；圖5是本發(fā)明仿真使用的第一幅測試圖像；圖6是本發(fā)明仿真使用的第二幅測試圖像；圖7是用本發(fā)明方法對第一幅測試圖像的多視角人臉合成結果；圖8是用本發(fā)明對第二幅測試圖像的多視角人臉合成結果；圖9是用現(xiàn)有基于流形的人臉合成方法對第二幅測試圖像的多視角人臉合成結果。
具體實施例方式本發(fā)明的核心思想是利用張量分解和Delaimay三角劃分方法來合成多視角人臉圖像。利用特征點標注的方法提取出人臉圖像的輪廓信息，采用張量分解將訓練樣本中人臉數(shù)據(jù)的視角因素分離出來，并對視角系數(shù)進行插值，構建新視角的特征點，應用Delaimay 三角劃分以及線性仿射變換根據(jù)已知人臉圖像的灰度信息，合成出指定視角的人臉圖像。參照圖1和圖2，本發(fā)明的多視角人臉合成方法具體步驟如下步驟1，標注訓練集中圖像的特征點。選取180 240幅，數(shù)量無上限限制的不同身份、不同視角的人臉圖像作為訓練集 G，對訓練集中的每幅人臉圖像，根據(jù)臉輪廓、眉毛、眼睛、鼻子和嘴的位置標注人臉的顯著特征點，特征點要標注在上述區(qū)域的輪廓上，從而實現(xiàn)人臉顯著特征的輪廓信息與人臉圖像的表面灰度信息相分離的目的。
步驟2，將訓練集中圖像的特征點按照先視角后身份的方式排列成張量數(shù)據(jù)I。如果訓練樣本中有m個人，η個視角，對每個人所標注的特征點坐標的個數(shù)為p，則張量數(shù)據(jù)I的第一維為訓練集圖像的P個特征點坐標，I的前η列為第一個人的η個視角信息，依此類推。步驟3，對訓練集中圖像特征點的張量數(shù)據(jù)I進行張量分解，得到核張量Ζ、視角系數(shù)矩陣Uview、身份系數(shù)矩陣Uidmtity、和輪廓系數(shù)矩陣Upointo(3a)重新排列張量數(shù)據(jù)I，將η個視角信息作為張量數(shù)據(jù)I第一維，張量數(shù)據(jù)I的前P列為第一個人的P個特征點坐標，依次類推，對重排后的張量數(shù)據(jù)I，進行高階奇異值分解，得到的左矩陣就是訓練集圖像的視角系數(shù)矩陣Uvirat ；重新排列張量數(shù)據(jù)I，將m個身份信息作為張量數(shù)據(jù)I第一維，張量數(shù)據(jù)I的前P列為第一個視角下的P個特征點坐標，依次類推，對重排后的張量數(shù)據(jù)I，進行高階奇異值分解，得到的左矩陣就是訓練集圖像的身份系數(shù)矩陣Rdmtity ；重新排列張量數(shù)據(jù)I，將P個特征點坐標作為張量數(shù)據(jù)ι第一維，張量數(shù)據(jù)I的前η列為第一個人的η個視角信息，依次類推，對重排后的張量數(shù)據(jù)I，進行高階奇異值分解，得到的左矩陣就是訓練集圖像的輪廓系數(shù)矩陣Upoint。該三個矩陣之間相互獨立，Uview張成人臉視角變化的參數(shù)空間，Uidmtity張成人臉身份變化的參數(shù)空間，^roint張成人臉特征點數(shù)據(jù)的基空間；(3b)利用公式
權利要求
1.一種基于張量分解與Delaimay三角劃分的多視角人臉合成方法，包括如下過程(1)取180 240幅不同身份、不同視角的人臉圖像作為訓練集G，對訓練集中的每幅人臉圖像，根據(jù)臉輪廓、眉毛、眼睛、鼻子和嘴的位置，將特征點標注在各區(qū)域的輪廓線上；(2)將訓練集中圖像特征點數(shù)據(jù)沿視角、身份和坐標信息變化的方向排列成張量數(shù)據(jù)， 并用高階奇異值分解算法對其進行分解，得到身份系數(shù)矩陣Uidmtity、視角系數(shù)矩陣Uvirat、輪廓系數(shù)矩陣Upoint和核張量Z，該三個矩陣之間相互獨立，Z表示這三個矩陣之間的相互作用關系；(3)對視角系數(shù)矩陣Uvirat中的不同的視角系數(shù)進行樣條擬合，獲得一個連續(xù)的人臉形狀視角流形V ；(4)給定一幅未在訓練集G中出現(xiàn)過的圖像作為測試圖像g，標注測試圖像的特征點， 通過最小化測試圖像與訓練圖像能量差的方式確定該測試圖像g的輸入視角I1，利用最小二乘或稀疏表示的方法，求出訓練集中輸入視角I1下所有圖像特征點集合對測試圖像特征點的重構系數(shù)c，將該系數(shù)c與訓練集的身份系數(shù)矩陣Uidmtity加權求和，得到測試圖像的身份系數(shù)矩陣Uidmtity mw ；(5)根據(jù)步驟(2)中得到的輪廓系數(shù)矩陣Up。int、核張量Z和步驟(3)中得到的視角流形 V，利用張量分解公式，求出測試圖像g在新視角下的特征點矩陣I1 = ZX1VQ X2Uidmtitynew X 3 Up oint，其中，V(I)是人臉形狀視角流形V上的第1個點，表示新視角下測試圖像特征點的視角系數(shù)矩陣，xd(d= 1，2，3)表示張量的模-d乘法，ZX1V(I)表示3維矩陣Z以第1維為行向量，第2、3維為列向量進行變形，并右乘矩陣V(I) ；ZX2Uidmtity mw表示Z以第2維為行向量，第1、3維為列向量進行變形，并右乘矩陣Uidmtity _ ；ZX3Upoint表示Z以第3維為行向量，第1、2維為列向量進行變形，并右乘矩陣Up。int;(6)由測試圖像新合成視角下的特征點矩陣I1，根據(jù)測試圖像在輸入視角下的灰度圖像及其對應的特征點矩陣，利用Delaimay三角劃分求出測試圖像輸入視角特征點的鄰接關系，構建覆蓋人臉的三角面片區(qū)域，根據(jù)已經(jīng)確定的鄰接關系，構建測試圖像新合成視角下覆蓋人臉的三角面片區(qū)域，應用線性仿射變換，計算出測試圖像新合成視角下各三角面片內部所有像素點的灰度，從而合成出測試圖像在新合成視角下的人臉圖像。
2.根據(jù)權利要求1所述的多視角人臉合成方法，其特征在于所述的步驟C3)按如下過程進行(2a)取出視角系數(shù)矩陣Uview的每一行作為一個視角系數(shù)；(2b)將視角系數(shù)矩陣按照人臉轉動的方向進行排列；(2c)對視角系數(shù)矩陣相鄰的兩行系數(shù)進行樣條擬合，以獲得人臉形狀的視角流形V。
3.根據(jù)權利要求1所述的多視角人臉合成方法，其特征在于步驟C3)所述的樣條擬合， 按如下步驟進行(3a)以視角矩陣Uvirat中第i行和第i+Ι行為例，取出該矩陣Uviev的相鄰兩行視角系數(shù)，記作Vi和Vw;(3b)將所述視角系數(shù)Vi和Vi+1對應的視角信息，記作Pi和Pi+1 ；(3c)根據(jù)視角系數(shù)ViJw以及視角信息Pi、Pi+1，禾U用斜率變化的遞推關系，計算視角系數(shù)Vw對應的擬合系數(shù)和視角系數(shù)Vi對應的擬合系數(shù)Zi
4.根據(jù)權利要求1所述的多視角人臉合成方法，其特征在于步驟(4)所述的標注測試人臉圖像的特征點，按如下過程進行(4a)將測試圖像與訓練集中所有圖像灰度的平均值進行尺度和旋轉對齊； (4b)標注對齊后的測試圖像的特征點；(4c)將測試圖像特征點的坐標與訓練集中輸入視角下特征點坐標的均值進行尺度和旋轉對齊。
5.根據(jù)權利要求1所述的多視角人臉合成方法，其特征在于步驟(4)所述的利用最小二乘或稀疏表示的方法求出重構系數(shù)c，按如下過程進行(5a)取出訓練集中與測試圖像視角相同圖像的特征點D ；(5b)通過對視角相同圖像特征點D加權求和，重構測試圖像的特征點I1，在重構誤差 ε最小的條件下，求出權值w;(5c)在所有滿足重構誤差最小條件的權值w中，選取1-范數(shù)值最小的w，就是所求的重構系數(shù)c
全文摘要
本發(fā)明公開了一種基于張量分解與Delaunay三角劃分的多視角人臉合成方法，主要解決現(xiàn)有技術中，連續(xù)視角變化的人臉圖像難以合成的問題，其合成方案是利用特征點標注的方法提取出人臉圖像的輪廓信息；采用張量分解的方法分離出訓練集中人臉數(shù)據(jù)的視角系數(shù)矩陣；對視角系數(shù)矩陣進行樣條擬合；利用張量分解公式構建新視角的特征點；應用Delaunay三角劃分以及線性仿射變換根據(jù)已知人臉圖像合成出新視角的人臉圖像。本發(fā)明具有人臉合成結果逼真、合成視角范圍廣及運算復雜度低的優(yōu)點，可用于計算機視覺領域或多媒體技術中不同視角下的人臉合成。
文檔編號G06K9/62GK102163330SQ201110082830
公開日2011年8月24日 申請日期2011年4月2日 優(yōu)先權日2011年4月2日
發(fā)明者李潔, 李英, 楊曦, 王華青, 田春娜, 袁博, 趙林, 高新波 申請人:西安電子科技大學