專利名稱：基于平均臉和衰老比例圖的人臉圖像年齡變換方法
技術領域：
本發(fā)明涉及計算機視覺和圖像處理領域，特別涉及一種針對正面人臉圖 像進行快速逼真的年齡變換方法，包括基于平均臉的人臉圖像年輕變換方法 和基于衰老比例圖的人臉圖像衰老變換方法。
背景技術：
人臉是人類表現力最強的部分，它的變化包含了許多重要的信息。計算
機模擬人臉動畫的研究可以追溯到上個世紀70年代，之后不斷涌現出突破性 的研究成果，該領域也日漸成為公安刑偵、影視制作、游戲娛樂等行業(yè)的諸 多研究人員的興趣所在，人臉圖像的年齡變換作為人臉動畫的重要部分，具 有深遠的意義。
雖然人臉的外貌特征與年齡相關，但是即使是相同年齡的人所呈現的外 貌特征也會因個人生存環(huán)境、生活習慣等各種因素的影響而存在很大的差異， 因此我們很難從一幅人臉圖像判斷出一個人的準確年齡。人自身對年齡的感 知與判斷能力并非與生俱來，人在自身成長過程中能夠不斷獲取來自外界環(huán) 境反饋的各種信息，并利用這些信息不斷修正自己對人臉年齡的大致判斷。 由于這種能力的具體形成過程因人而異，因此很難用某些量化的知識來表達， 所以這方面的研究至今還未有一個令人滿意的完整解釋。對于計算機而言， 辨別年齡更是一個困難的問題。而另一方面，對于兩幅人臉圖像，我們卻可 以很容易的辨認出誰更年輕或者誰更年老，而且可以描述出人類年輕與衰老 的基本特征，例如皮膚的光滑程度，皺紋與斑點的多少，骨骼的形狀，肌肉 的松弛程度等。利用圖像處理技術實現人臉圖像的年輕和衰老變換是人臉圖 像處理領域的前沿問題，這種技術極大的依賴于生理學、認知學、心理學等學科間的理論支持與相互融合。雖然由年齡變化引起的相貌特征變化非常顯 著，有豐富的研究價值，卻只有較少的研究人員對人臉圖像的年齡變化進行 研究。
1961年Thompson提出使用坐標變換的方法來改變生物器官的形狀從而 模擬同類生物中其他個體的器官特征。基于這種思想，許多研究人員使用不 同的坐標變換方法模擬因年齡變化引起的人臉外貌特征的改變。其中主要的 變換方法有cardioidal strain變換，它通過改變人臉和頭骨的形狀模擬隨 著年齡變化所引起的特征改變。實驗結果說明，使用cardioidal strain方 法可以較好的改變2D人臉圖像輪廓的年齡特征。之后Mark和Todd對其進一 步延伸，將這種方法應用于3D人臉數據。這種基于坐標變換的衰老模擬方法 只考慮了人臉形狀變化，對于引起的紋理變化沒有具體說明。
1995年Burt和Perrett將樣本圖像按年齡段劃分為7個不同的樣本組， 分別計算對應這7個組的平均人臉圖像，然后利用漫畫合成技術來模擬衰老 變化。從實驗結果可以看出，大部分合成的人臉圖像的年齡與用于計算平均 臉的樣本對象的年齡保持一致，這說明在計算平均人臉圖像的過程中，每個 年齡組的年齡信息都保留了下來。他們還描述了兩種衰老模擬技術第一種 方法，首先計算較老年齡組對應的平均人臉與樣本集中所有圖像對應的平均 人臉之間的色彩差異。接著使用漫畫合成技術擴大這種差異增加合成圖像中 的年齡。第二種方法，計算25-29歲和50-54歲年齡組對應的平均人臉的形
狀和顏色差異。將這種差異應用到新人臉圖像并增加這種差異從而實現增齡 變化。從他們的實驗結果可以看出，兩種方法都較好得實現了人臉圖像的衰 老變換。Burt和Perrett提出的方法同時考慮了衰老變化引起的人臉形狀和 紋理信息的變化，而且效果也是非常顯著的。0， Toole等根據3D人臉信息建立3D人臉參數模型。然后使用漫畫合成 技術對顯著的3D人臉特征進行夸張或消除。實驗說明，較老的人臉圖像中包 含的顯著特征更豐富也更明顯，因此使用這種方法可以實現圖像中隱含年齡 的增加或減少。這種方法依賴于對人臉外貌的具體描述，由于3D人臉數據是 通過3D掃描儀得到的，設備非常昂貴，而且需要大量的處理時間，因此這種 方法的實用性不強。
Lanitis等基于一個人臉圖像的統計模型對訓練樣本圖像進行重新表 達，然后通過學習訓練樣本的表達數據與其實際年齡之間的聯系，建立衰老 變化模型。模型建立后，可以根據新圖象的表達數據估計從沒見過的人的年 齡，反之，也可以重構一個人在任何年齡下的圖片。他們使用了不同的訓練 樣本建立不同的衰老變化模式。實驗證明這種方法可以對未知的圖像進行合 理的年齡估計，而且對于任何一幅新的圖像都可以選擇最合適的衰老變化方 法，自動模擬衰老過程。
還有大量的半自動年齡變化處理系統主要用來模擬遺失兒童的現在面 貌?；静僮髦饕歉鶕挲g變化所引起的特征改變對對應的人臉特征進行 修改?？紤]人的相貌具有一定的遺傳性，所以一般都是根據遺失兒童近親的 不同年齡段的照片，對兒童的相貌進行修改。
另外一些相關研究主要是圍繞人臉皮膚的建模和衰老皺紋的模擬。 Boissieux等將皮膚看作為彈性膜，進一步將其延伸為有多層組織構成的立 體模型，根據衰老時皺紋的變化形態(tài)使用有限元方法計算皮膚變形，從而產 生皺紋紋理。Viaud等人開發(fā)了一種幾何混合模型，用樣條分段函數模擬褶 鈹，可以產生表情和年齡皺紋，而且使用了年齡參數來控制年齡皺紋的產生。此外凹凸紋理映射和色彩映射技術，紋理合成語言，微幾何模型等，這些技術
都可以用來模擬不同的皮膚紋理模式。
由于在人臉圖像的年齡變換中，人臉的結構特征和皮膚組織的變化復雜, 使得計算機模擬人臉年齡變換具有很大的挑戰(zhàn)性。目前已有的人臉圖像年齡 變換方法又多比較復雜并且合成圖像的真實感不盡如人意，因此本發(fā)明針對 以往算法的不足，提出了基于平均臉的人臉圖像年輕變換以及基于衰老比例 圖的人臉圖像衰老變換方法。

發(fā)明內容
本發(fā)明的目的在于克服現有技術的缺點，提出一種基于平均臉和衰老比 例圖的人臉圖像年齡變換方法。本發(fā)明計算量小，變換過程簡單，合成的結 果平滑、自然、真實，具有很強的有效性和通用性。
本發(fā)明的技術方案是這樣實現的該方法包括以下步驟 a)基于平均臉的年輕變換步驟 假定有一組正面樣本人臉圖像{/,}，對應的參考臉為/^,新的人臉圖像 為/p經過變換后得到的圖像為/ ,具體步驟如下
第一步在以平均臉作為參考臉/^的情況下，將新的人臉圖像^進行稠
密的特征表達，得到對應的形狀和紋理矢量，記為(^，i;),
第二步計算新的人臉圖像&在形狀和紋理方面與平均特征之間的差 異，記為(AS,AD，其中AS-^-S^呻，Ar = 7;-&，，
第三步利用參數"、；3來調整新的人臉圖像與平均臉之間的形狀特征 及紋理特征之間的差異程度，AS'-oAS， Ar'-"Ar，其中0<"，-<1， cr、 ；8越 小，則變換后的人臉越年輕，
第四步計算差異程度變化后的新人臉圖像的形狀矢量及紋理矢量(&，rK)，計算公式為&^A5'+s^，， rfi=Ar'+7^，，
第五步根據(&，K)，以及參考臉/^,通過前向warp重構出年輕變換 后的人臉圖像A;
b)基于衰老比例圖的衰老變換步驟 人臉圖像衰老變換分為離線階段和在線階段 離線階段主要完成S^和R的計算，
第一步根據衰老變化規(guī)律，調整平均臉的特征線丄肖使眼角、嘴角、 外側眉毛、鼻尖下垂得到4 ;
第二步以丄"g為參考，對4^使用基于特征線的Warp操作，得到對應 的^;
第三步對衰老樣本圖像中除眼部以及嘴部以外的其他部分進行低通濾 波，得到對應的年輕圖像；
第四步對衰老樣本圖像進行矢量化表達，得到紋理矢量T^，對年輕圖
像進行矢量化表達，得到紋理矢量r，； 第五步計算衰老比例圖i -:^/r，；
在線階段合成新圖像對應的衰老圖像；
第一步以平均臉為參考，將人臉圖像/ 重新表達，記為(&， ;)； 第二步:根據離線階段第二步得到的S^ ，計算衰老變換后的形狀矢量《； 第三步使用離線階段第五步得到的R計算衰老變換后的紋理矢量7:; 第四步根據(《, ;')，利用前向Warp技術合成變換后的圖像/。。
所述的以平均臉作為人臉圖像的參考臉，即對一組樣本圖像的特征線分 布作加權平均得到標準特征線的分布，記做iw，，根據特定特征線與標準特征線的映射關系，可以對每一幅樣本圖像完成形狀與紋理特征的分解，得到
對應的圖像表達(《，7;)，這組樣本的形狀和紋理矢量的平均，即平均臉/,，的 圖像表達(s^，,r—)，所有圖像都是針對平均臉的標準特征線進行變形，形 狀矢量描述的是與平均臉特征的相對變化，因此形狀矢量的平均值為o，故
平均臉的矢量化表達為(0，7^，)。
所述的計算衰老變換后的形狀矢量《的計算公式為《=5 +"5^，其中
所述的使用離線階段第五步得到的R計算衰老變換后的紋理矢量7;'的計
算公式為《=7;.03(及-1)+1)，其中/8>0。
若將年輕變換和年老變換的參數"和-結合，當參數小于1時完成人臉 圖像的年輕變化，參數大于1時完成人臉圖像的衰老變化，則衰老變換在線
處理的第二步中形狀矢量的計算公式為5 =S +( -l)SoW，第三步中紋理矢量
的計算公式為7;' =7 。
本發(fā)明有下面幾個特點
1) 根據心理學及認知學的相關結論，發(fā)現平均臉在某種程度上隱含 著年輕的感覺。本發(fā)明通過計算特定人臉圖像和平均臉之間的差 異，進而減少這種差異程度，來完成特定人臉的年輕變換。
2) 年輕變換中，基于漫畫合成技術，對人臉圖像采用稠密特征表達， 每幅人臉圖像中的點都作為一個特征，尋找圖像中每個點與平均 臉圖像對應點的差異，最終減少特定人臉與平均臉特征的差異范 圍。
3) 將人臉圖像矢量化建模與人臉圖像衰老變換相結合，實現了符合 生理特征的人臉圖像衰老預測。根據心理學研究中差異性(Distinctiveness)的概念及人臉漫畫合成技術來調整人臉衰老 過程中的形狀變化，通過衰老比例圖來調整人臉在衰老過程中的 紋理變化。該方法無需建立復雜的模型，計算量小，并且充分考 慮到人臉衰老后形狀與紋理的統一變化，提高了該方法的有效性 和通用性。
4) 將差異性(Distinctiveness)的概念直接引入2D人臉圖像年齡變 換，泛化了美學概念的應用范疇，合成的圖像具有很強的真實感。


圖1是本發(fā)明人臉衰老變化規(guī)律圖2是本發(fā)明特征線變形顯示圖3是本發(fā)明衰老比例圖示例下面結合附圖對本發(fā)明的內容作進一步詳細說明。
具體實施例方式
參照圖1所示，列舉了人臉衰老的生理學研究結論。人在衰老過程中， 臉部包括皮膚、眉毛、五官等各組成部分都可能呈現出如圖所列舉的典型變 化特征，如皮膚松弛，皺紋產生，眼角嘴角下垂等。我們在后續(xù)的算法中， 模擬了這里的眼角、嘴角、眉尖以及鼻尖下垂等人臉衰老的典型特征。
參照圖2所示，所有樣本所標記特征線的算術平均即為這里的^>^,它 反映了平均臉的形狀特征;根據圖1所揭示的人臉衰老的生物學規(guī)律,對￡肖 的每根線段進行手工調整，分別得到一般的衰老模式2^，偏瘦的衰老模式 Z一"和偏胖的衰老模式^。一 。
參照圖3所示，比例圖的含義是兩幅圖像的商。這里的衰老比例圖則是衰老人臉圖像與其低通濾波圖像之間的商，它反映了衰老人臉的皮膚紋理特 征。第一行中的三幅圖像表示人臉紋理在衰老過程中的全局變化，第二行中 的三幅圖像是人臉紋理在衰老過程中的局部變化，分別對應額頭、眼睛和臉 頰。
從計算機圖形學的角度來說，漫畫是指顯著特征的夸張與強調。典型 的人臉圖像漫畫合成技術就是計算特定人臉特征與對應平均人臉特征之間的 差異，通過擴大這種差異，實現特征的夸張。也可以將這種差異變小，這種 處理手段可以歸結為一種廣義的漫畫合成范疇。人臉差異性主要是刻畫一個 人臉與"平均"意義上人臉的特征差異程度。
將人臉圖像用向量表示，即向量中的每個元素對應圖像中像素點的灰度 值，則每個圖像向量都可以看作是高維空間上的一點。所有的人臉圖像分布 在高維空間中的一個區(qū)域內，稱這個區(qū)域為人臉圖像空間。從神經心理學的 角度來看，在這樣一個高維特征空間中， 一個人的主要特征是由特定臉與平 均臉兩點之間的方向決定。因此沿著這個方向移動，改變的就是人臉的差異 性。具體地說，人臉圖像的漫畫合成技術相當于在平均臉和特定臉之間畫一 條連線，然后沿著這個連線向著平均臉或背離平均臉的方向移動，得到對應 新人臉圖像在空間中的點。
人臉差異性是針對平均臉來定義的，因此計算平均臉是完成這項工作的 第一步。本發(fā)明采用了形狀與紋理矢量分離的圖像表達方式，因此這里應該 計算的是平均臉的形狀與紋理矢量。
對一組樣本圖像的特征線分布作加權平均得到標準特征線的分布，記做 A^目。根據特定特征線與標準特征線的映射關系，可以對每一幅樣本圖像完成形狀與紋理特征的分解，得到對應的圖像表達為(s,，7;)。這組樣本的形狀和 紋理矢量的平均，即為平均臉/^，的圖像表達(《^，，7^，)。事實上，所有 圖像都是針對平均臉的標準特征線進行變形，形狀矢量描述的是與平均臉特 征的相對變化，因此形狀矢量的平均值為o，故平均臉的矢量化表達為
0>，2^，)。在年輕變換第三步中，參數"、-是彼此獨立的，分別控制人臉的
形狀和紋理變化?？梢钥吹饺≈凳窃赱o， l]范圍內，也就是說這里實現的是特
征差異的減小，而不是夸張，這與漫畫合成技術有些不同。本發(fā)明在實現時， 還使用了一個冪指數函數建立兩者之間的聯系，實現兩者的連動。
對于衰老變換算法，隨著年齡的增長，人臉的皮膚，脂肪，肌肉和骨骼 都會發(fā)生變化。其主要特征變化見圖1。這些特征包含了人臉的形狀變化和 紋理細節(jié)變化，因此要實現人臉圖像的衰老變換，除了在臉型方面要進行改 變外，在紋理方面也要對諸如皺紋、老年斑等紋理細節(jié)著力進行刻畫。
使用漫畫合成技術無法描繪出諸如皺紋等紋理特征變化，因此本發(fā)明采 用基于衰老比例圖的方法實現人臉圖像的衰老變化。根據衰老引起的人臉形
狀特征的變化，對人臉圖像的特征線進行一定的修改，實現形狀的衰老模擬； 對于紋理特征的改變，采用比例圖方式，制作衰老比例圖，根據紋理映射， 實現人臉圖像的紋理特征衰老模擬。
關于形狀的衰老模擬，以平均臉的特征線I，為參考，使用基于特征線 的Warp技術將手工調整得來的年老人臉特征線i^變形，得到光流場S^ 。假 設一幅新圖像的形狀矢量為5 ，則可以得到衰老模擬后的形狀矢量
借助于比例圖的概念來完成衰老的紋理矢量模擬。比例圖是基于兩幅圖像計算得到的，但獲得一個人在不同年齡段同樣條件的人臉圖像較為困難， 因此衰老比例圖是基于單幅圖像進行的。在衰老的人臉樣本圖像中對除了眼 部，嘴部以外的其他部位進行低通濾波，將這樣得到的平滑圖像視為此人對 應的年輕圖像，然后再借助于紋理映射的思想來完成衰老過程中的紋理變換。 在計算比例圖之前，以平均臉為參考，對衰老樣本圖像和對應的年輕圖
像進行矢量化表達，完成特征點之間的對準，得到相應的紋理矢量7^和r肖，
則衰老比例圖由式i -7^/7^^計算得到。對于一幅新人臉圖像來說，它的紋
理矢量為7;，則衰老模擬后的紋理矢量為r"-r。.w(j -i)+i)。使用這樣的計 算公式可以保證在紋理映射時非皺紋區(qū)域不變化而皺紋會隨著P的改變逐漸 加深。
在設計年齡變換系統時，為了簡化用戶操作，將年輕變換和年老變換的 參數a和-結合。當參數小于i時完成人臉圖像的年輕變化，參數大于i時 完成人臉圖像的衰老變化。因此在衰老變換在線處理的第二步中形狀矢量的
計算公式改為S;^5^+(a-1)S^，第三步中紋理矢量的計算公式改為
r: =r .((p_ixi —i)+i)。
權利要求
1、基于平均臉和衰老比例圖的人臉圖像年齡變換方法，其特征在于，該方法包括以下步驟a)基于平均臉的年輕變換步驟假定有一組正面樣本人臉圖像{Ii}，對應的參考臉為Iref，新的人臉圖像為IN，經過變換后得到的圖像為IR；第一步在以平均臉作為參考臉I(yè)ref的情況下，將新的人臉圖像IN進行稠密的特征表達，得到對應的形狀和紋理矢量，記為(SN，TN)，第二步計算新的人臉圖像IN在形狀和紋理方面與平均特征之間的差異，記為(ΔS，ΔT)，其中ΔS＝SN-SAverage，ΔT＝TN-TAverage，第三步利用參數α、β來調整新的人臉圖像與平均臉之間的形狀特征及紋理特征之間的差異程度，ΔS′＝αΔS，ΔT′＝βΔT，其中0＜α，β＜1，α、β越小，則變換后的人臉越年輕，第四步計算差異程度變化后的新人臉圖像的形狀矢量及紋理矢量(SR，TR)，計算公式為SR＝ΔS′+SAverage，TR＝ΔT′+TAverage，第五步根據(SR，TR)，以及參考臉I(yè)ref，通過前向warp重構出年輕變換后的人臉圖像IR；b)基于衰老比例圖的衰老變換步驟人臉圖像衰老變換分為離線階段和在線階段離線階段主要完成Sold和R的計算，第一步根據衰老變化規(guī)律，調整平均臉的特征線Lyoung使眼角、嘴角、外側眉毛、鼻尖下垂得到Lold；第二步以Lyoung為參考，對Lold使用基于特征線的Warp操作，得到對應的Sold；第三步對衰老樣本圖像中除眼部以及嘴部以外的其他部分進行低通濾波，得到對應的年輕圖像；第四步對衰老樣本圖像進行矢量化表達，得到紋理矢量Told，對年輕圖像進行矢量化表達，得到紋理矢量Tyoung；第五步計算衰老比例圖R＝Told/Tyoung；在線階段合成新圖像對應的衰老圖像；第一步以平均臉為參考，將人臉圖像In重新表達，記為(Sn，Tn)；第二步根據離線階段第二步得到的Sold，計算衰老變換后的形狀矢量S′n；第三步使用離線階段第五步得到的R計算衰老變換后的紋理矢量T′n；第四步根據(S′n，T′n)，利用前向Warp技術合成變換后的圖像In。
2、 根據權利1所述的方法，其特征在于，所述的以平均臉作為人臉圖像的參考臉，即對一組樣本圖像的特征線分布作加權平均得到標準特征線的分 布，記做丄，，，根據特定特征線與標準特征線的映射關系，可以對每一幅樣 本圖像完成形狀與紋理特征的分解，得到對應的圖像表達(s， ;)，這組樣本的形狀和紋理矢量的平均，即平均臉4^的圖像表達(s^,r^)，所有圖像都是針對平均臉的標準特征線進行變形，形狀矢量描述的是與平均臉特征的相對變化，因此形狀矢量的平均值為0，故平均臉的矢量化表達為(o，r—)。
3、 根據權利1所述的方法，其特征在于，所述的計算衰老變換后的形狀矢量《的計算公式為《=&+"50 ，其中"X)。
4、 根據權利1所述的方法，其特征在于，所述的使用離線階段第五步得到的R計算衰老變換后的紋理矢量r:的計算公式為<formula>formula see original document page 4</formula>其中
5、根據權利3或4所述的方法，其特征在于，若將年輕變換和年老變換 的參數"和-結合，當參數小于1時完成人臉圖像的年輕變化，參數大于l時完成人臉圖像的衰老變化，則衰老變換在線處理的第二步中形狀矢量的計 算公式為《=5 +("-1)5 ,第三步中紋理矢量的計算公式為<formula>formula see original document page 4</formula>
全文摘要
本發(fā)明公開一種基于平均臉和衰老比例圖的人臉圖像年齡變換方法。采用稠密特征表達，將人臉圖像分解為形狀矢量和紋理矢量，借助于人臉漫畫合成技術，通過計算特定人臉圖像和平均臉之間的差異，進而減少這種差異程度，來完成特定人臉的年輕變換；將人臉圖像矢量化建模與人臉圖像衰老變換相結合，實現了符合生理特征的人臉圖像衰老化模擬。根據衰老引起的人臉形狀特征的變化，對人臉圖像的特征線進行一定的修改，實現形狀的衰老模擬；對于紋理特征的改變，我們采用比例圖方式，制作衰老比例圖，根據紋理映射，實現人臉圖像的紋理特征衰老模擬。該方法充分考慮到人臉年齡變換時形狀與紋理的統一變化，合成圖像的真實感大大增強。
文檔編號G06T15/70GK101556701SQ200910022560
公開日2009年10月14日 申請日期2009年5月15日 優(yōu)先權日2009年5月15日
發(fā)明者紅 李, 董寶達 申請人:陜西盛世輝煌智能科技有限公司