專利名稱：基于mpeg-4的任意格式人臉模型的動畫實現(xiàn)方法
技術領域：
本發(fā)明涉及一種基于MPEG-4的任意格式人臉模型的動畫實現(xiàn)方法，尤指一種把顯示與控制分成兩層處理，在兩層之間用頂點序號對應表來進行數(shù)據轉換，在控制層通過構造人臉動畫定義表(FaceDefTables)來實現(xiàn)動畫控制的方法。
MPEG-4是基于對象的多媒體壓縮標準。由于人自身在多媒體中占據著十分重要的位置，所以MPEG-4對三維人臉動畫格式定義了一個國際標準。MPEG-4中定義了FDP(人臉定義參數(shù))和FAP(人臉動畫參數(shù))兩套參數(shù)，其中FDP包含人臉的形狀、紋理、人臉動畫定義表等特征，而FAP則是人臉運動的數(shù)據。MPEG-4提供了一套以FDP和FAP為參數(shù)的人臉動畫方法。這種人臉動畫實現(xiàn)方法通用性強，數(shù)據量小，運算復雜度低，特別適合用于通過網絡播放的實時人臉動畫。但是該方法只有一個框架結構，對于很多實現(xiàn)細節(jié)，特別是人臉動畫定義表的構造方法，MPEG-4并沒有定義。
目前要實現(xiàn)不同人臉模型的動畫控制主要有兩種方式1、不同格式的人臉模型采用不同的人臉動畫控制方法。這樣的方式比較靈活，但是模型與動畫控制之間沒有統(tǒng)一的標準，對于新格式的模型就必須重新修改動畫控制的軟件或程序來適應新格式的模型。這樣的方法沒有通用性，而且工作量太大。
2、把不同格式人臉模型都轉化成統(tǒng)一的格式。這樣的方法可以有固定的動畫控制模塊，但是由于格式的差異，人臉模型在格式轉化后可能會丟失一些信息，比如光影效果等。另外一方面，對于某種格式可能已經有了成熟的顯示方法，比如有場景選擇，轉化格式后的顯示結果就不一定能達到滿意的效果。
為實現(xiàn)上述目的，基于MPEG-4的任意格式人臉模型的動畫實現(xiàn)方法包括步驟顯示層和控制層分別處理人臉顯示與動畫控制；對于特殊格式的人臉模型，首先生成相應的簡單人臉模型和頂點序號對應表；然后在標準簡單人臉模型的人臉動畫定義表的基礎上，計算出簡單人臉模型的人臉動畫定義表；控制層通過查找簡單人臉模型的人臉動畫定義表來變形簡單人臉模型，再根據頂點序號對應表把變形后的簡單人臉模型轉回到特殊格式的人臉模型；在顯示層顯示特殊格式的人臉模型。
本發(fā)明實現(xiàn)了任意格式人臉模型的動畫控制，具有數(shù)據量小、顯示效果佳、實用價值高。其中，構造標準簡單人臉模型的人臉動畫定義表手工操作量較大，但是由于標準簡單人臉模型的人臉動畫定義表只需要構造一次，所以總的來說，本發(fā)明的實現(xiàn)過程仍然是比較快捷、方便的。
圖2是在標準簡單人臉模型的人臉動畫定義表基礎上，計算簡單人臉模型的人臉動畫定義表的步驟流程圖。
圖3是構造標準簡單人臉模型的人臉動畫定義表中一個FAP在一個分段中所控制的點的區(qū)域及點的三維運動因子的步驟流程圖。
圖4是構造標準簡單人臉模型的人臉動畫定義表中一個FAP在一個分段中所控制的點的區(qū)域及點的三維運動因子的步驟圖示。
圖5是用本發(fā)明產生的幾種不同格式人臉模型的喜、怒、哀、驚表情的效果。
圖6是從一段本發(fā)明產生的動畫中連續(xù)截取的圖片；圖7是本發(fā)明方法的原理圖。
如

圖1所示；上述基于MPEG-4的任意格式人臉模型的動畫實現(xiàn)方法包括如下步驟1、對于某種特殊格式的人臉模型，生成相應的簡單人臉模型和頂點序號對應表；2、在標準簡單人臉模型的人臉動畫定義表基礎上，計算出簡單人臉模型的人臉動畫定義表；3、如果得到動畫數(shù)據，則在控制層通過查找簡單人臉模型的人臉動畫定義表來變形簡單人臉模型；4、根據頂點序號對應表把變形后的簡單人臉模型轉回到特殊格式的人臉模型；5、在顯示層顯示特殊格式的人臉模型；6、如果還有動畫數(shù)據則重復步驟3，否則結束。
如圖2所示，上述在標準簡單人臉模型的人臉動畫定義表基礎上，計算簡單人臉模型的人臉動畫定義表的步驟如下1、構造標準簡單人臉模型的人臉動畫定義表；2、在簡單人臉模型的網格上手工標注并提取特征點，特征點個數(shù)的范圍從1到70；3、根據提取的特征點坐標，用線性插值方法變形標準簡單人臉模型；4、設簡單人臉網格上的一點P在標準簡單人臉網格X，Y平面上的投影為P’，并且在三角形ABC中，A、B、C是標準簡單人臉網格上的點。搜索標準簡單人臉模型的人臉動畫定義表，如果A、及C中至少有一點在某個FAP的控制區(qū)內，且A、B、C在第k段的三維運動因子分別為DA，k、DB，k、DC，k，那么我們認為P點在簡單人臉模型上也在該FAP的控制區(qū)內，且FAP值域的分段不變。設|PA|、|PB|、|PC|分別為P點在X，Y平面上到A、B、C三點的距離；Δ＝|PA|2+|PB|2+|PC|2，那么P點在第k段的三維運動因子DP，k的值就可以表示為DP,k=|PA|×|PB|×DC,kΔ+|PA|×|PC|×DB,kΔ+|PB|×|PC|×DA,kΔ;]]>5、重復第4步直到所有簡單人臉網格上的點都被計算一遍，簡單人臉模型的人臉動畫定義表就初步構造完成了；6、由于投影的誤差，有些點可能會出現(xiàn)在錯誤的FAP控制區(qū)中。這種情況一般出現(xiàn)在FAP控制區(qū)突變的區(qū)域，比如上下嘴唇交接處。在這種情況下就必須在標準簡單人臉網格中指定A、B、C點來計算錯誤點的三維運動因子。
如圖3所示，上述構造標準簡單人臉模型的人臉動畫定義表的步驟如下1、在標準簡單人臉網格上選定70個特征點，如圖4(a)，深色的點代表特征點。
2、以FAP41為例，移動FAP41影響到的特征點m，使m向下(y軸負方向)移動到合理的位置。設點m在中性表情下的坐標是Pm，移動后的坐標是Pm′，如圖4(b)3、根據m點的位移，對人臉網格進行插值變形，如圖4(c)。
4、給定一個閾值，如果網格點位移大于該閾值，就認為受FAP41的控制；如果網格點位移小于該閾值，就認為不受FAP41的控制。調節(jié)閾值大小，直到受FAP41控制的點所覆蓋的區(qū)域合理為止。對于FAP41來說，合理的控制區(qū)域是左臉頰，如圖4(d)所示。
5、以m點在FAP41定義的正方向(y軸正方向)上的位移D作為基準，任意被控制網格點n的三維運動因子Dn，等于點n在三個坐標軸方向上的位移(Pn′-Pn)與D的比值，再乘上符號因子c。其中FAP的正方向為某坐標軸正方向時c＝1，否則c＝-1，本例中c取值為1，表示為公式就是Dn＝c(Pn′-Pn)/D這樣就可以獲得在一個FAP分段內，受FAP控制的點的三維運動因子。
用同樣的方法可以獲得其他分段上點的運動因子。
分層處理的優(yōu)點在于，一方面由于控制層只處理一種統(tǒng)一格式的人臉模型，所以控制程序不用隨模型的改變而改變，做到了控制模塊的通用性；另一方面，顯示層依然顯示原來格式的人臉模型，對顯示效果沒有任何影響。
權利要求
1.一種基于MPEG-4的任意格式人臉模型的動畫實現(xiàn)方法，其特征在于包括步驟顯示層和控制層分別處理人臉顯示與動畫控制；對于特殊格式的人臉模型，首先生成相應的簡單人臉模型和頂點序號對應表；然后在標準簡單人臉模型的人臉動畫定義表的基礎上，計算出簡單人臉模型的人臉動畫定義表；控制層通過查找簡單人臉模型的人臉動畫定義表來變形簡單人臉模型，再根據頂點序號對應表把變形后的簡單人臉模型轉回到特殊格式的人臉模型；在顯示層顯示特殊格式的人臉模型。
2.按權利要求1所述方法，其特征在于所述的在標準簡單人臉模型的人臉動畫定義表基礎上計算簡單人臉模型的人臉動畫定義表包括步驟a、構造標準簡單人臉模型的人臉動畫定義表；b、在簡單人臉模型的網格上手工標注并提取特征點；c、根據提取的特征點坐標，用線性插值方法變形標準簡單人臉模型；
3.按權利要求2所述的方法，其特征在于所述特征點個數(shù)為1到70。
4.按權利要求2所述的方法，其特征在于所述的構造標準簡單人臉模型的人臉動畫定義表包括步驟a、在一般人臉網格上選定70個特征點；b、移動受FAP影響到的特征點m，使m向合理的方向移動到合理的位置；c、根據m點的位移，對人臉網格進行插值變形；d、給定一個閾值，如果網格點位移大于該閾值，就認為受該FAP的控制；如果網格點位移小于該閾值，就認為不受該FAP的控制；調節(jié)閾值大小，直到受該FAP控制的點所覆蓋的區(qū)域合理為止。
5.按權利要求4所述的方法，其特征在于所述移動受FAP影響到的特征點m，還包括步驟以m點在該FAP定義的正方向上的位移D作為基準，任意被控制網格點n的三維運動因子Dn，等于點n在三個坐標軸方向上的位移(Pn′-Pn)與D的比值，再乘上符號因子c；其中FAP的正方向為某坐標軸正方向時c＝1，否則c＝-1，公式表示為Dn＝c(Pn′-Pn)/D
全文摘要
一種基于MPEG－4的任意格式人臉模型的動畫實現(xiàn)方法，包括步驟顯示層和控制層分別處理人臉顯示與動畫控制；對于特殊格式的人臉模型，首先生成相應的簡單人臉模型和頂點序號對應表；然后在標準簡單人臉模型的人臉動畫定義表的基礎上，計算出簡單人臉模型的人臉動畫定義表；控制層通過查找簡單人臉模型的人臉動畫定義表來變形簡單人臉模型，再根據頂點序號對應表把變形后的簡單人臉模型轉回到特殊格式的人臉模型；在顯示層顯示特殊格式的人臉模型。本發(fā)明具有數(shù)據量小、顯示效果佳、實用價值高。構造標準簡單人臉模型的人臉動畫定義表手工操作量較大，但由于標準簡單人臉模型的人臉動畫定義表只需要構造一次，本發(fā)明的實現(xiàn)過程仍然是比較快捷、方便的。
文檔編號G06T15/70GK1466106SQ0214028
公開日2004年1月7日 申請日期2002年7月3日 優(yōu)先權日2002年7月3日
發(fā)明者姜大龍, 王兆其, 高文 申請人:中國科學院計算技術研究所