專利名稱：用三維標(biāo)記點直接進(jìn)行三維模型變形的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理技術(shù)領(lǐng)域的方法，具體是一種用三維標(biāo)記點直接進(jìn)行三維模型變形的方法。
背景技術(shù)：
圖像作為一種十分重要的媒體和手段越來越受到人們的重視，圖像已成為工程學(xué)、計算機科學(xué)、信息科學(xué)、統(tǒng)計學(xué)、物理學(xué)、化學(xué)、生物學(xué)、醫(yī)學(xué)甚至社會科學(xué)等領(lǐng)域各學(xué)科之間學(xué)習(xí)和研究的對象。變形是計算機圖形學(xué)中比較常見的方法，主要用于圖像或圖形的配準(zhǔn)等用途。目前對二維圖像的彈性變形得到了飛快的發(fā)展，包括光流、重采樣、薄板樣條、B樣條等多種算法，在全局和局部變形上也有了很多分類，使得現(xiàn)在的變形比較細(xì)致、真實。但對于三維模型的變形，大多數(shù)是基于模型的柱面展開，得到二維圖像，然后利用現(xiàn)有的算法，在二維圖像上實現(xiàn)變形，最后還原得到變形后的三維模型。
經(jīng)對現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，Volker Blanz等人在《IEEE transaction onPattern Recognition and Machine Intelligence》Vol.25，No.9，September2003，1063-1074(IEEE模式識別與機器智能，第25卷，第9期，2003年九月版，1063-1074頁)上，采用光流的方法將展開的三維人臉坐標(biāo)進(jìn)行彈性配準(zhǔn)。通過高維向量的計算，得到不同模型之間的強度變化。這樣的方法對空間變化比較大的模型，光流算法的平滑性假設(shè)不能滿足，計算結(jié)果對應(yīng)不理想。檢索中還發(fā)現(xiàn)，胡永利等在《計算機學(xué)報》2005年，第10期，91-99頁上發(fā)表的“基于形變模型的三維人臉重建方法及其改進(jìn)”一文中，同樣是將三維模型展開，用重采樣的方法得到對應(yīng)標(biāo)記點的變形，從而實現(xiàn)三維人臉模型的配準(zhǔn)。
這樣的展開對于理想的柱面模型比較適用，但也不可避免地出現(xiàn)失真。若非理想柱面，則得到的二維圖像會有重疊，再次還原時，模型的一部分信息必會丟失，效果不理想。同時，由于展開和還原需要大量的計算時間，使得計算效率并不簡潔，在線性能大大降低。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提出一種用三維標(biāo)記點直接進(jìn)行三維模型變形的方法，使其不需要將三維模型展開成二維圖像，再利用二維標(biāo)記點變形后還原為柱面三維模型這些冗余步驟，而是可以在模型上標(biāo)記需要的三維特征點，直接進(jìn)行模型變形。實驗證明，本發(fā)明具有節(jié)省運算時間，提高運算精度，減少由于二維展開帶來的重疊誤差等多方面優(yōu)點。
本發(fā)明是通過以下技術(shù)方案實現(xiàn)的采用基于改進(jìn)的薄板樣條(Thin-plateSpline)彈性插值算法，用同樣特征和數(shù)目的三維標(biāo)記點對模型每一個坐標(biāo)進(jìn)行計算，得到新的模型的對應(yīng)三維坐標(biāo)點；同時紋理或RGB信息保持不變，這樣保證了原來模型的其它信息，不至于失真。
本發(fā)明具體包括以下步驟(1)歸一化頂點數(shù)據(jù)。這里涉及投影矩陣、模型矩陣、視口矩陣等。為了保持后面三維標(biāo)記點的準(zhǔn)確性和一致性，須將原始頂點數(shù)據(jù)歸一化至[-1，1]范圍內(nèi)。這里可以用一個邊長為2的立方體來約束；(2)將屏幕上取得的點轉(zhuǎn)化為世界坐標(biāo)。根據(jù)轉(zhuǎn)化的一些要求，保存此時模型的視口矩陣、模型矩陣和投影矩陣(矩陣大小為4×4)。為了實現(xiàn)屏幕坐標(biāo)和幀緩存中坐標(biāo)的對應(yīng)關(guān)系，將此時得到的屏幕Y坐標(biāo)“求補”(即根據(jù)視口矩陣，求得根據(jù)左下角為初始位置的三維Y坐標(biāo))。再將當(dāng)前的幀緩存讀入內(nèi)存(讀入像素格式為深度分量)。最后根據(jù)此前得到的三個矩陣映射得到三維坐標(biāo)點；(3)取點，保存三維標(biāo)記點。類似地，可以得到另外一個模型對應(yīng)位置上的標(biāo)記點。標(biāo)記點的特征和數(shù)目必須與要待變形的模型的標(biāo)記點一致；
(4)用薄板樣條插值算法進(jìn)行彈性變形。所有的二維點均用三維點代替，相應(yīng)的距離函數(shù)、雙調(diào)和函數(shù)、求取新的坐標(biāo)點的函數(shù)均加以修改成三維坐標(biāo)的變量，直接求取新的坐標(biāo)，此時，變形完成。這里采用的是經(jīng)過改進(jìn)后的薄板樣條算法，用來直接進(jìn)行三維變形。
本發(fā)明用三維標(biāo)記點直接進(jìn)行三維模型變形，相對于柱面展開成二維圖像變形的方法，具有如下優(yōu)點節(jié)省運算時間；提高運算精度；減少由于二維展開帶來的重疊誤差。


圖1為本發(fā)明方法框圖具體實施方式
如圖1所示，實現(xiàn)用三維標(biāo)記點直接進(jìn)行三維模型變形的方法，需要四個步驟1.歸一化頂點數(shù)據(jù)此步驟是為下一步的屏幕取點轉(zhuǎn)化為三維坐標(biāo)做準(zhǔn)備。對三維坐標(biāo)系的x，y，z分量分別尋找絕對值的最大值，利用下面公式Xnew=Xori|X|max,Ynew=Yori|Y|max,Znew=Zori|Z|max]]>將頂點數(shù)據(jù)均限制在[-1，1]之間。這樣，每一組坐標(biāo)都?xì)w一化，與后面獲得的深度坐標(biāo)(系統(tǒng)輸出在[-1，1]之間)對應(yīng)，可以逆變換后直接用來作為世界坐標(biāo)。
2.將屏幕上取得的點轉(zhuǎn)化為世界坐標(biāo)這一步驟可以利用OpenGL中的逆變換來得到世界坐標(biāo)(三維坐標(biāo))。為此，事先獲得當(dāng)前模型的視口矩陣、模型矩陣和投影矩陣(矩陣大小為4*4)。由于屏幕坐標(biāo)是以左上角為原點，而幀緩存中的坐標(biāo)是以左下角開始，為了實現(xiàn)屏幕坐標(biāo)和幀緩存中坐標(biāo)的對應(yīng)關(guān)系，須將此時得到的屏幕Y坐標(biāo)“求補”(即根據(jù)屏幕視口，利用“視口坐標(biāo)-當(dāng)前屏幕坐標(biāo)Y分量-1”來求得逆變換所需要的Y坐標(biāo))。再將當(dāng)前的幀緩存讀入內(nèi)存(讀入像素格式為深度分量)，可以獲得對應(yīng)位置的深度值。
此深度值在[-1，1]范圍內(nèi)。最后根據(jù)此前得到的三個矩陣和當(dāng)前幀緩存中的數(shù)據(jù)用逆變換映射得到三維坐標(biāo)點。
3.取點，保存三維標(biāo)記點如圖1右側(cè)，類似地可以得到目標(biāo)模型對應(yīng)特征上的標(biāo)記點。標(biāo)記點的特征和數(shù)目必須與待變形的模型的標(biāo)記點一致；4.用薄板樣條插值算法進(jìn)行彈性變形一般的彈性變形算法涉及以下三個方面1)在參考圖像和待配準(zhǔn)圖像中選擇控制點并且決定它們的對應(yīng)關(guān)系；2)通過已知的坐標(biāo)和控制點決定映射函數(shù)的類型和參數(shù)；3)用映射函數(shù)對待配準(zhǔn)圖像進(jìn)行幾何變換。
這里，本發(fā)明選擇既有全局變形，也有局部變形的薄板樣條插值算法。該算法描述如下薄板樣條是用于對分散點數(shù)據(jù)集插值得到曲面的工具，是彈性插值，它將插值問題模擬為一個薄金屬板在點約束下的彎曲變形，用簡練的代數(shù)式表示變形的能量。薄板樣條是這樣得到的。
薄板樣條的基函數(shù)為U(r)＝r2logr2其中，r=x2+y2]]>可以看作是一維三次樣條函數(shù)|x3|自然擴展到二維的結(jié)果。
假設(shè)有一個二維點集，(x1，y1)，(x2，y2)，…，(xn，yn)，稱之為標(biāo)志點，令Pi＝(xi，yi)，i＝1，2，…，n，同時定義ri，j＝|Pi-Pj|，為點Pi和點Pj的歐幾里得距離。
定義n×n矩陣
及n×3矩陣P=1x1y11x2y2.........1xnyn]]>L=KPPT0]]>在此0代表3×3的0矩陣，PT是P的轉(zhuǎn)置。想使金屬板在點(xi，yi)處高度為zi，因而構(gòu)建行矢量V＝(z1，z2，…，zi)和列矢量Y＝(V000)T，維數(shù)為(n+3)×1。
通過下式定義列矢量W＝(w1，w2，…wn)和系數(shù)a1，ax，ayL-1Y＝(W|a1axay)T根據(jù)以上定義得到要求的函數(shù)f(x,y)=a1+axx+ayy+Σi=1nwiU(Pi-(x,y))]]>為此，將薄板樣條函數(shù)作如下改進(jìn)所有的二維點均用三維點代替，相應(yīng)的基函數(shù)、構(gòu)建矩陣、求取新的坐標(biāo)點的函數(shù)均加以修改成三維坐標(biāo)的變量。這樣，剛才通過三維取好的標(biāo)記點，可以直接代入求取新的坐標(biāo)。此時，變形完成。
該方法同樣適用于其它類型的徑向基函數(shù)，如線形插值、高斯插值、多曲面插值等。利用直接的三維點進(jìn)行插值，消除了因為二維坐標(biāo)展開造成的數(shù)據(jù)失真，也大大節(jié)省了運算時間，是比較理想的變形方法。
使用本發(fā)明可以實現(xiàn)三維模型的配準(zhǔn)或表面變換等數(shù)據(jù)處理。以配準(zhǔn)為例，若有100個三維人臉模型，需要實現(xiàn)點對點對應(yīng)得配準(zhǔn)，則可以用本方明中的方法實現(xiàn)。首先對這100個模型求平均值，獲得平均人臉模型。在此平均模型上標(biāo)好60個三維標(biāo)記點(如眼睛、眉毛、嘴唇等)，作為所有模型變形的目標(biāo)標(biāo)記點。再將每一個人臉模型同樣取對應(yīng)的60個標(biāo)記點，這兩組標(biāo)記點作為改進(jìn)后薄板樣條的P、V矢量數(shù)據(jù)。最后用薄板樣條算法求得需配準(zhǔn)的人臉模型的新的三維坐標(biāo)。如此對100個模型均做此類變形，可以獲得以標(biāo)記點為對應(yīng)的配準(zhǔn)模型?？梢园l(fā)現(xiàn)，這樣獲得的三維配準(zhǔn)模型，基本形狀沒有變化，僅僅將模型按標(biāo)記點的方向變化，得到的是效果比較理想的點對點對應(yīng)的模型。
權(quán)利要求
1.一種用三維標(biāo)記點直接進(jìn)行三維模型變形的方法，其特征在于，包括以下步驟(1)歸一化頂點數(shù)據(jù)，涉及投影矩陣、模型矩陣、視口矩陣，為了保持后面三維標(biāo)記點的準(zhǔn)確性和一致性，將原始頂點數(shù)據(jù)歸一化至[-1，1]范圍內(nèi)，用一個邊長為2的立方體來約束；(2)將屏幕上取得的點轉(zhuǎn)化為世界坐標(biāo)，保存此時模型的視口矩陣、模型矩陣和投影矩陣，矩陣大小為4×4，為了實現(xiàn)屏幕坐標(biāo)和幀緩存中坐標(biāo)的對應(yīng)關(guān)系，將此時得到的屏幕Y坐標(biāo)“求補”，再將當(dāng)前的幀緩存讀入內(nèi)存，最后根據(jù)此前得到的三個矩陣映射得到三維坐標(biāo)點；(3)取點，保存三維標(biāo)記點，同理，得到另外一個模型對應(yīng)位置上的標(biāo)記點；(4)用薄板樣條插值算法進(jìn)行彈性變形，所有的二維點均用三維點代替，相應(yīng)的距離函數(shù)、雙調(diào)和函數(shù)、求取新的坐標(biāo)點的函數(shù)均修改成三維坐標(biāo)的變量，直接獲得新的坐標(biāo)，此時，變形完成。
2.根據(jù)權(quán)利要求1所述的用三維標(biāo)記點直接進(jìn)行三維模型變形的方法，其特征是，所述的屏幕Y坐標(biāo)“求補”，是指根據(jù)視口矩陣，求得根據(jù)左下角為初始位置的三維Y坐標(biāo)。
3.根據(jù)權(quán)利要求1所述的用三維標(biāo)記點直接進(jìn)行三維模型變形的方法，其特征是，所述的將幀緩存讀入內(nèi)存，讀入像素格式為深度分量。
4.根據(jù)權(quán)利要求1所述的用三維標(biāo)記點直接進(jìn)行三維模型變形的方法，其特征是，所述的標(biāo)記點，其特征和數(shù)目必須與待變形的模型的標(biāo)記點一致。
全文摘要
一種圖像處理技術(shù)領(lǐng)域的用三維標(biāo)記點直接進(jìn)行三維模型變形的方法。步驟為(1)歸一化頂點數(shù)據(jù)，將原始頂點數(shù)據(jù)歸一化至[－1，1]范圍內(nèi)，用一個邊長為2的立方體來約束；(2)將屏幕上取得的點轉(zhuǎn)化為世界坐標(biāo)，將得到的屏幕Y坐標(biāo)“求補”，再將當(dāng)前的幀緩存讀入內(nèi)存，最后求得三維坐標(biāo)點；(3)取點，保存三維標(biāo)記點，同理，得到另外一個模型對應(yīng)位置上的標(biāo)記點；(4)用薄板樣條插值算法進(jìn)行彈性變形，所有的二維點均用三維點代替，直接獲得新的坐標(biāo)，此時，變形完成。本發(fā)明可以在模型上標(biāo)記需要的三維特征點，直接進(jìn)行模型變形，具有節(jié)省運算時間，提高運算精度，減少由于二維展開帶來的重疊誤差等多方面優(yōu)點。
文檔編號G06T17/00GK1804904SQ20061002345
公開日2006年7月19日 申請日期2006年1月19日 優(yōu)先權(quán)日2006年1月19日
發(fā)明者陳魯, 楊杰, 杜春華 申請人:上海交通大學(xué)