專利名稱：建立個性化的三維人體模型的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機人體三維建模領(lǐng)域(大的技術(shù)領(lǐng)域)，特別是涉及一種建 立個性化的三維人體模型。
技術(shù)背景虛擬人模型具有廣泛的應(yīng)用需求。如何以較少的經(jīng)濟和人力投入簡單方便 地建造大量的虛擬人模型具有重要的意義。人體模型的表示方法包括棒模型、體模型、表面模型和多層模型等。其中 表面模型，尤其是多邊形網(wǎng)格，由于計算簡單，表達能力強，是主流的表示方 法和業(yè)界的事實標準。為了建立人體表面模型，研究者們提出了多種多樣的算法，，大致可以劃分為創(chuàng)作型、捕獲型、插值型、擬合型和參數(shù)化方法共5大 類。在第一類人體建模方法中，用戶通過交互地操作底層的造型元素，從無到 有地創(chuàng)建人體的模型。這種方法雖然給了用戶最大的控制權(quán)，但對使用者的藝 術(shù)天分以及使用該造型軟件的熟練程度都有很高的要求。第二類是近年來流行的捕獲型方法。此類方法的數(shù)據(jù)采集需要專門的捕獲 設(shè)備，從昂貴的三維掃描儀到定標過的相機不等。這類方法的優(yōu)點在于結(jié)果模 型的精確性比較高。但是生成的結(jié)果模型里沒有結(jié)構(gòu)信息。要利用它來完成動 畫必須經(jīng)過繁雜的裝配(rigging)處理。第三類是數(shù)據(jù)驅(qū)動型方法。這種方法需要大量模型樣本來支撐，然后通過 插值或者分割后再組裝獲得新的模型。顯然好的模型庫對數(shù)據(jù)驅(qū)動型建模方法 是至關(guān)重要的，但建立這樣的庫需要大量的時間和資源。第四類是基于模型的重構(gòu)方法它利用從個體照片中提取的外形特征來修改 通用模型，使其具有照片中人的外觀特征，并保留原有的結(jié)構(gòu)信息。這類方法 對設(shè)備的要求低，操作簡單，結(jié)果模型有較好的視覺效果，而且完成動畫也很 方便。創(chuàng)作型方法需要使用者具有較高的藝術(shù)天分和熟練的軟件使用技巧，而且 創(chuàng)作一個模型的過程也比較復雜，需要較長的時間和精力。捕獲型方法需要昂 貴的硬件設(shè)備，而且生成的模型里不具備支持動畫的骨架信息。模型驅(qū)動方法 需要大量的優(yōu)秀模型樣本才能運行，現(xiàn)在正缺少這樣的模型庫，建造一個又需 要大量的時間和資源。參數(shù)化方法依賴使用者的設(shè)計能力和大量參考模型支撐。這些方法都不能滿足大批量建模的要求。 發(fā)明內(nèi)容本發(fā)明的目的在于提供一種建立個性化的三維人體模型的方法。 建立個性化的三維人體模型方法包括如下步驟1) 照片的拍攝和參考圖像的合成人站在離照相機2 4米的地方，雙臂舉起，拍攝正面、側(cè)面兩幅照片，與拍攝相機相同的參數(shù)用虛擬相機合成參考模型的圖像，從照片和合成的參考圖 像中提取人體的輪廓線；2) 輪廓線分割按照頭、左上臂、左前臂、左手、右上臂、右前臂、右手、上軀干、骨盆、 左大腿、左小腿、左腳、右大腿、右小腿、右腳分割從正面照片、側(cè)面照片、 正面參考圖像、側(cè)面參考圖像中提取的輪廓線得到子輪廓線，對應(yīng)于參考圖像 的叫參考子輪廓線，對應(yīng)于照片的叫目標子輪廓線；3) 二維映射的構(gòu)造用垂直于主軸的直線細密地切割參考子輪廓線和目標子輪廓線，對形成的 切割線進行參數(shù)化，定義一個切割線空間，把相同部位的參考子輪廓線和目標 子輪廓線內(nèi)的點分別進行參數(shù)化，相同參數(shù)值的點形成二維映射，經(jīng)過這樣的 處理，就可以在切割線空間中構(gòu)造從參考圖像里的一點到目標圖像里的一點的 二維映射；4) 三維點位置的修改按切割參考圖像相同的位置切割參考模型，得到15個子參考模型，把子參 考模型里的每個三維點投影到二維空間的一個像素，稱為參考像素，該像素必 定位于參考子輪廓線內(nèi)，利用上一步得到的二維映射把該像素映射到目標子輪 廓線內(nèi)的一個像素，稱為目標像素，把目標像素反投影到三維空間，生成三維 點的新位置；5) 三維點的合成分別把參考模型投影到正面和側(cè)面，進行三維點位置的修改，正面處理得 到人體的高度和寬度信息，側(cè)面處理得到人體的高度和厚度信息，組合得到完 整的三維模型。組合方式為，結(jié)果模型的寬度信息從正面處理得來，結(jié)果模型 的厚度信息從側(cè)面處理得來，結(jié)果模型的高度信息由正面處理和側(cè)面處理的平 均值得來。所述的用垂直于主軸的直線細密地切割參考子輪廓線和目標子輪廓線，對形成的切割線進行參數(shù)化，定義一個切割線空間步驟輪廓線分為左右兩半有 向邊界，邊界起點的連線叫做起始切割線，邊界終點的連線叫做終止切割線， 連接起始切割線中點和終止切割線中點的直線叫主軸，左右兩側(cè)邊界里的點都 是一一對應(yīng)的，對應(yīng)點的連線叫做切割線，則空間任何一點由兩個參數(shù)確定， 即點所在的切割線在所有切割線中的相對位置以及點在切割線中的相對位置。本發(fā)明既不需要昂貴軟、硬件支持，也不需要對使用者進行長期培訓，只 需給定人的正、側(cè)面照片，它就能把照片里提取的外形特征嵌入到算法內(nèi)建的 參考模型里，生成一個具有真實感的、關(guān)節(jié)化的和個性化的人體模型。硬件費 用低不需要特殊或?qū)Ｓ杏布卉浖M用低操作簡單，無需培訓即可掌握使用 方法；建立的模型外形拼接良好；建立的模型具有內(nèi)置的骨架結(jié)構(gòu)，方便用來 制作動畫。


圖1 (a)是本發(fā)明的參數(shù)化示意圖，圖l (b)是本發(fā)明的調(diào)整切割線朝向示意圖。
具體實施方式
建立個性化的三維人體模型方法包括如下步驟1照片的拍攝和參考圖像的合成1.1拍攝照片新生成的人體模型中的外形特征是從真人照片中抽取出來的。拍攝真人照 片需要注意下列事項。人站在離照相機2 4米的地方，雙臂舉起；照片必須是 對同一個人從正面和側(cè)面拍攝的。拍攝此人時，他/她必須不能穿太寬松的衣 服。照片中的人必須足夠大，以提供細節(jié)。1.2合成標準模型圖像用與拍攝照片參數(shù)相同的參數(shù)設(shè)置虛擬相機的投影矩陣、模型變換矩陣、 視點變換矩陣和視口變換矩陣，然后利用OpenGL的脫機繪制功能，繪制參 考模型得到參考圖像。1.3從標準圖像中提取輪廓線合成圖像時可以做合理的設(shè)定使得背景顏色和前景顏色有明顯的差別，這 樣就可以利用自動的邊界抽取算法提取邊界。具體的算法是首先將圖像進行二 值化，然后依次經(jīng)過去邊界抽取、去毛刺和邊界連接3個步驟的處理，即可以 得到按順序連接好的輪廓。邊界抽取我們利用圖像的形態(tài)學(morph)算子抽取人體的外輪廓。從圖中可以看出，從一副圖像中減去進行了一次腐蝕操作的該圖像，即可獲得圖像 中物體的外邊界。
去毛刺二值圖像中存在一些毛剌。其原因有兩個在生成標準圖像時， 由于掃描轉(zhuǎn)換的精度不夠；二值化時造成的誤差。這種毛刺會給后續(xù)的邊界連 接造成困難。因此，我們利用結(jié)構(gòu)元素為去除端點元素對圖像進行thin操作來 去掉這些毛刺。
邊界連接以前面得到的邊界元素組成的圖像為輸入，以按連接順序排列 的邊界元素的坐標值序列為輸出，連接操作的基本思想是從一個邊界元素出 發(fā)，尋找最近的一個未處理過的邊界元素，并將坐標串接在序列的最后。然后 以新得到的邊界元素出發(fā)重復上述過程，即可得到邊界連接的結(jié)果。
1.4從照片中提取輪廓線
本階段的任務(wù)是從照片或者合成圖像里面提取人體的輪廓線。如果照片的 背景比較簡單，比如是藍背景，則可以利用1.3中的算法。如果背景比較復 雜，則利用程序輔助的手工描繪來抽取輪廓線。
自動提取人體輪廓線有兩種自動方案可供選擇。方案一是利用邊緣檢測和 邊緣連接的方法。邊緣檢測是計算機圖像處理中經(jīng)典的問題，分為檢測梯度的 最大值方法、檢測二階導數(shù)的零交叉點方法、統(tǒng)計型方法和基于小波的多尺度 方法。然而由于在一般的照片(上述簡單前景背景的照片除外)中，除去人體 輪廓線外，在背景和人體內(nèi)部還存在其他線條。而且在信號強度上，人體輪廓 線比不其它線條明顯占優(yōu)。因為這個原因，算法無法自動的找出人體輪廓現(xiàn)。
方案二是采用活動輪廓模型的方法?；顒虞喞Ｐ头椒◤囊粭l初始的曲線 出發(fā)，沿著使目標能量遞減的方向移動并最終停止于所要尋找的物體邊緣附 近。目標能量包含由輪廓自身特征決定的內(nèi)部能量和圖像特征決定的外部能量 兩部分。在本人體建模方法的應(yīng)用背景下，活動輪廓模型的最終結(jié)果顯著依賴 于初始邊界的選擇。采用活動輪廓模型方法達到全自動提取人體輪廓線也是行 不通的。
在這種情況下采用程序輔助人工指導的方法更為合適。這種方法在圖像中 邊界比較清楚的情況下借助程序的自動計算，只需很少的人工指導就能抽取人 體輪廓。在邊界模糊甚至缺失的情況下也能由操作者憑借人類自身超凡的視覺 手工勾畫出所需的邊界。這種方法將照片作為背景顯示在窗口中，然后由操作 員利用鼠標在窗口內(nèi)部點擊的方式指定輪廓線中的節(jié)點，鼠標移動時程序自動 生成從上一個節(jié)點到鼠標指針位置的部分輪廓線，該輪廓線受到圖像中的邊界的吸附。操作員評估程序計算的結(jié)果，在認為合適的情況下確認該結(jié)果，并以 鼠標當前位置為新的起點計算下一段輪廓。圖展示了計算一段輪廓的情形?？?的來說，圖像中的干擾信號越少，輪廓線需要的節(jié)點就越少，操作員的工作量 就
越小。這種方法直接生成輪廓線上點坐標的序列，無需再做邊緣連接的操作。
2輪廓線分割
按照頭、左上臂、左前臂、左手、右上臂、右前臂、右手、上軀干、骨盆、 左大腿、左小腿、左腳、右大腿、右小腿、右腳分割從正面照片、側(cè)面照片、 正面參考圖像、側(cè)面參考圖像中提取的輪廓線得到子輪廓線，對應(yīng)于參考圖像 的叫參考子輪廓線，對應(yīng)于照片的叫目標子輪廓線；
2.1分割三維模型
對三維模型的分割由程序參照二維圖像的分割位置自動完成。具體的做法 是將二維的切割線沿視線方向做投射，擴展切割面。標準圖像和標準模型的分 割結(jié)果如圖。
3 二維映射的構(gòu)造
用垂直于主軸的直線細密地切割參考子輪廓線和目標子輪廓線，對形成的 切割線進行參數(shù)化，定義一個切割線空間，把相同部位的參考子輪廓線和目標 子輪廓線內(nèi)的點分別進行參數(shù)化，相同參數(shù)值的點形成二維映射，經(jīng)過這樣的 處理，就可以在切割線空間中構(gòu)造從參考圖像里的一點到目標圖像里的一點的 二維映射；
基于切割線空間表示的二維映射算法把任意給定位于標準輪廓線內(nèi)的一個 點映射到一個惟一的位于特性輪廓線內(nèi)部的點，該算法是非均勻變形的基礎(chǔ)。 下面我們先講述在最理想情況下如何構(gòu)造這個二維映射，然后針對實際情況提 出具體的實現(xiàn)方法。
3.1切割線空間的定義和參數(shù)化
先來考慮如圖1 (a)所示的基本情況:輪廓線分為左右兩半有向邊界；邊界 起點的連線(起始切割線)平形于邊界終點的連線(終止切割線)，并且垂直于 連接兩個起點的中點與兩個終點的中點的直線(主軸)；左右兩側(cè)邊界里的每一 對點都是一一對應(yīng)的。我們把對應(yīng)點的連線叫做切割線?？臻g任何一點都可以 由下面兩個參數(shù)確定點所在的切割線在切割線簇中的相對位置w，和點在切割 線中的相對位置v。
將邊界定義為左右兩半邊界的合集5二丄U及，其中丄和及是點的集合，點的坐標用(W)表示。我們可以定義兩個輔助函數(shù)是/(,)和KO,分別實現(xiàn)下面的功能 給定一個整數(shù),，找到它左(或右)邊界上對應(yīng)的S值。設(shè)邊界內(nèi)部的任何一點 的笛卡爾坐標為(S力，切割線空間坐標為(",V)，則有
<formula>formula see original document page 9</formula>
和
<formula>formula see original document page 9</formula>
3.2傾斜主軸的處理
實際上并非所有分段的伸展方向都是豎直的，比如手臂和腿。以起始切割 線的中點為中心旋轉(zhuǎn)一個角度可以使主軸恢復到豎直的情況。設(shè)旋轉(zhuǎn)前后的坐 標分別為Oc，力和(s力，旋轉(zhuǎn)中心為(cx,o;)，旋轉(zhuǎn)角為0，則它們之間的正逆變換的
公式分別為<formula>formula see original document page 9</formula>
和:
<formula>formula see original document page 9</formula>
3.3姿態(tài)差異的處理
通用模型里的人體一般呈松弛狀態(tài)，這時相鄰分段的邊界上的點在空間上 重合。當子分段繞結(jié)合處旋轉(zhuǎn)一個角度以后，傳統(tǒng)的做法是只旋轉(zhuǎn)下端分段中 的點，這樣處理會使邊界處的切割線產(chǎn)生交叉，破壞模型表面的連續(xù)性。本文 用一個平滑過渡的旋轉(zhuǎn)角來調(diào)整這兩個分段里邊界的切割線的朝向。離邊界越 近，旋轉(zhuǎn)角度就越大，反之，越遠值越小，到一定距離后衰減為零(如圖l(b))。 假設(shè)調(diào)整前后的參數(shù)分別是(","和(a》)，則正反方向上的兩個映射定義如下
<formula>formula see original document page 9</formula>式中的w(")是權(quán)值函數(shù)，定義為:<formula>formula see original document page 10</formula>(7)4三維點位置的修改按切割參考圖像相同的位置切割參考模型，得到15個子參考模型，把子參 考模型里的每個三維點投影到二維空間的一個像素，稱為參考像素，該像素必 定位于參考子輪廓線內(nèi)，利用上一步得到的二維映射把該像素映射到目標子輪 廓線內(nèi)的一個像素，稱為目標像素，把目標像素反投影到三維空間，生成三維 點的新位置；二維點和三維點可以通過投影矩陣、model-view矩陣和視口矩陣聯(lián)系起來。<formula>formula see original document page 10</formula>8)式中及是旋轉(zhuǎn)矩陣，？是平移矩陣，/是相機的焦距，(X，^l)是二維點的齊次坐標，(兀KZ，1)是三維點的齊次坐標。函數(shù)庫GLU提供的工具函數(shù)gluProject和gluUnproject可以實現(xiàn)上面的變 換。對通用三維模型中的一個點(XKZ),投影得到二維坐標(x，力和深度值z,利用二 維映射找到(x,力的對應(yīng)點(;c',乂)，然后利用",;/力反向投影得到新的位置。和 Hilton的方法[7]—樣，本文也采用通用模型中點的深度值近似地代替新模型中點 的深度值。通常人和相機的距離大約是3m，而標準人體和特定人體中點的坐標 的差別只有幾厘米，所以這個近似是合理的。 5三維點的合成分別把參考模型投影到正面和側(cè)面，進行三維點位置的修改，正面處理得到 人體的高度和寬度信息，側(cè)面處理得到人體的高度和厚度信息，組合得到完整 的三維模型。組合方式為，結(jié)果模型的寬度信息從正面處理得來，結(jié)果模型的 厚度信息從側(cè)面處理得來，結(jié)果模型的高度信息由正面處理和側(cè)面處理的平均 值得來。
權(quán)利要求
1. 一種建立個性化的三維人體模型方法，其特征在于包括如下步驟1)照片的拍攝和參考圖像的合成人站在離照相機2～4米的地方，雙臂舉起，拍攝正面、側(cè)面兩幅照片，與拍攝相機相同的參數(shù)用虛擬相機合成參考模型的圖像，從照片和合成的參考圖像中提取人體的輪廓線；2)輪廓線分割按照頭、左上臂、左前臂、左手、右上臂、右前臂、右手、上軀干、骨盆、左大腿、左小腿、左腳、右大腿、右小腿、右腳分割從正面照片、側(cè)面照片、正面參考圖像、側(cè)面參考圖像中提取的輪廓線得到子輪廓線，對應(yīng)于參考圖像的叫參考子輪廓線，對應(yīng)于照片的叫目標子輪廓線；3)二維映射的構(gòu)造用垂直于主軸的直線細密地切割參考子輪廓線和目標子輪廓線，對形成的切割線進行參數(shù)化，定義一個切割線空間，把相同部位的參考子輪廓線和目標子輪廓線內(nèi)的點分別進行參數(shù)化，相同參數(shù)值的點形成二維映射，經(jīng)過這樣的處理，就可以在切割線空間中構(gòu)造從參考圖像里的一點到目標圖像里的一點的二維映射；4)三維點位置的修改按切割參考圖像相同的位置切割參考模型，得到15個子參考模型，把子參考模型里的每個三維點投影到二維空間的一個像素，稱為參考像素，該像素必定位于參考子輪廓線內(nèi)，利用上一步得到的二維映射把該像素映射到目標子輪廓線內(nèi)的一個像素，稱為目標像素，把目標像素反投影到三維空間，生成三維點的新位置；5)三維點的合成分別把參考模型投影到正面和側(cè)面，進行三維點位置的修改，正面處理得到人體的高度和寬度信息，側(cè)面處理得到人體的高度和厚度信息，組合得到完整的三維模型。組合方式為，結(jié)果模型的寬度信息從正面處理得來，結(jié)果模型的厚度信息從側(cè)面處理得來，結(jié)果模型的高度信息由正面處理和側(cè)面處理的平均值得來。
2. 根據(jù)權(quán)利要求1所述的一種建立個性化的三維人體模型方法，其特征在 于所述的用垂直于主軸的直線細密地切割參考子輪廓線和目標子輪廓線，對形成的切割線進行參數(shù)化，定義一個切割線空間步驟輪廓線分為左右兩半有向 邊界，邊界起點的連線叫做起始切割線，邊界終點的連線叫做終止切割線，連 接起始切割線中點和終止切割線中點的直線叫主軸，左右兩側(cè)邊界里的點都是 一一對應(yīng)的，對應(yīng)點的連線叫做切割線，則空間任何一點由兩個參數(shù)確定，即 點所在的切割線在所有切割線中的相對位置以及點在切割線中的相對位置。
全文摘要
本發(fā)明公開了一種建立個性化的三維人體模型的方法。包括如下步驟1)照片的拍攝和參考圖像的合成；2)輪廓線分割；3)二維映射的構(gòu)造；4)三維點位置的修改；5)三維點的合成。本發(fā)明既不需要昂貴軟、硬件支持，也不需要對使用者進行長期培訓，只需給定人的正、側(cè)面照片，它就能把照片里提取的外形特征嵌入到算法內(nèi)建的參考模型里，生成一個具有真實感的、關(guān)節(jié)化的和個性化的人體模型。硬件費用低不需要特殊或?qū)Ｓ杏布?；軟件費用低操作簡單，無需培訓即可掌握使用方法；建立的模型外形拼接良好；建立的模型具有內(nèi)置的骨架結(jié)構(gòu)，方便用來制作動畫。
文檔編號G06T17/00GK101271581SQ20081006138
公開日2008年9月24日 申請日期2008年4月25日 優(yōu)先權(quán)日2008年4月25日
發(fā)明者任利鋒, 潘志庚 申請人:浙江大學