專(zhuān)利名稱(chēng)：?jiǎn)畏宋飯D像中著裝人體三維模型估計(jì)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人體建模和計(jì)算機(jī)輔助設(shè)計(jì)領(lǐng)域，具體涉及單幅人物圖像中著裝人體三維模型估計(jì)方法。
背景技術(shù)：
虛擬現(xiàn)實(shí)(Virtual Reality,簡(jiǎn)稱(chēng)VR)以計(jì)算機(jī)技術(shù)為核心,結(jié)合相關(guān)科學(xué)技術(shù)， 生成與一定范圍真實(shí)環(huán)境在視、聽(tīng)、觸感等方面高度近似的數(shù)字化環(huán)境，用戶(hù)借助必要的裝備與數(shù)字化環(huán)境中的對(duì)象進(jìn)行交互作用、相互影響，可以產(chǎn)生親臨對(duì)應(yīng)真實(shí)環(huán)境的感受和體驗(yàn)。隨著社會(huì)生產(chǎn)力和科學(xué)技術(shù)的不斷發(fā)展，各行業(yè)對(duì)虛擬現(xiàn)實(shí)技術(shù)的需求日益旺盛，人們對(duì)虛擬現(xiàn)實(shí)技術(shù)的研究日益重視，虛擬現(xiàn)實(shí)技術(shù)也取得了巨大進(jìn)展，并逐步成為一個(gè)新的科學(xué)技術(shù)領(lǐng)域。
在虛擬現(xiàn)實(shí)環(huán)境的構(gòu)建中，逼真的三維人物模型能夠加深用戶(hù)的沉浸感，方便用戶(hù)之間的交互。但是現(xiàn)有的三維模型構(gòu)建技術(shù)需要專(zhuān)業(yè)人士的大量手工交互，且與真實(shí)人物還是有明顯差異。相較之下，基于單幀圖像的三維人物模型估計(jì)技術(shù)具有取材方便、操作簡(jiǎn)易、近似真實(shí)人物的優(yōu)點(diǎn)。從虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的理論技術(shù)發(fā)展和實(shí)用化應(yīng)用前景來(lái)看，基于圖像的三維人物模型構(gòu)建技術(shù)正在成為虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)方向的技術(shù)發(fā)展趨勢(shì)和典型研究熱點(diǎn)。
本方法涉及人體三維姿勢(shì)估計(jì)，三維人物模型表示以及基于圖像/視頻的三維人體模型估計(jì)等多方面相關(guān)技術(shù)，現(xiàn)分別介紹各項(xiàng)技術(shù)的發(fā)展現(xiàn)狀。
基于單幀圖像的三維人體姿勢(shì)估計(jì)該方面技術(shù)從給定的單張圖像中估計(jì)出目標(biāo)人物的三維姿勢(shì)，并且以三維人體骨架的方式展現(xiàn)估計(jì)結(jié)果。目前該類(lèi)技術(shù)大都采用半自動(dòng)方法確定圖像中目標(biāo)人物關(guān)節(jié)點(diǎn)的位置，再以此建立約束恢復(fù)出人物三維姿勢(shì)。但是由于用戶(hù)標(biāo)點(diǎn)存在誤差，攝像機(jī)參數(shù)及目標(biāo)人物的骨骼比例無(wú)法獲取，估計(jì)出的三維姿勢(shì)往往不是自然的動(dòng)作。為了將人物姿勢(shì)限制在理想的范圍，微軟亞洲研究院的Rose等人將預(yù)先構(gòu)建出的三維姿勢(shì)庫(kù)中的樣本按不同權(quán)重組合并進(jìn)行插值，以構(gòu)建出滿(mǎn)足用戶(hù)約束的自然動(dòng)作，但是該方法只限于較小的樣本庫(kù)。德州農(nóng)工大學(xué)的Xiaolin Wei等人使用混合因子分析的方法，對(duì)百萬(wàn)個(gè)真實(shí)三維人體姿態(tài)作進(jìn)行學(xué)習(xí)以獲得先驗(yàn)，能夠?qū)θ我饨o定姿態(tài)的“自然程度”進(jìn)行評(píng)估。對(duì)于輸入的單張圖像，在用戶(hù)對(duì)關(guān)節(jié)點(diǎn)手工標(biāo)點(diǎn)后，綜合人體姿態(tài)先驗(yàn)及用戶(hù)給定的約束，求解出符合用戶(hù)約束且合理的三維人體姿勢(shì)，有很大的借鑒意義。
三維人物模型表示技術(shù)三維人物的表示方法按照模型的精細(xì)度來(lái)劃分，由低到高大致可分為四類(lèi)非參數(shù)化模型，如點(diǎn)云模型等；通用幾何體模型，如基于圓柱體的肢體表示模型等；參數(shù)化類(lèi)人模型，如超二次曲面模型等；以及基于數(shù)據(jù)驅(qū)動(dòng)的參數(shù)化人體模型。其中，基于數(shù)據(jù)驅(qū)動(dòng)的參數(shù)化人體模型對(duì)人體的描述最為精細(xì)準(zhǔn)確，因?yàn)檫@種技術(shù)的數(shù)據(jù)基礎(chǔ)是大量真實(shí)人物的三維掃描信息，能夠最為真實(shí)地反映人體在體型與動(dòng)作兩方面的非剛性變化，對(duì)基于圖像/視頻的人體三維模型估計(jì)技術(shù)提供可靠的先驗(yàn)信息。該種模型的核心在于對(duì)人體體型及動(dòng)作變形進(jìn)行參數(shù)化表示。
為了學(xué)習(xí)出人體體型的變化范圍，華盛頓大學(xué)的Alien等人首先對(duì)同一姿勢(shì)下各種體型的真實(shí)人物進(jìn)行三維掃描，得到人體體型的三維模型樣本，然后將一個(gè)手工構(gòu)建的虛擬人物逐個(gè)變形擬合到這些樣本上，得到其中的變形參數(shù)，最后對(duì)這些參數(shù)進(jìn)行插值以獲取人體體型變化的連續(xù)空間。該方法的局限性在于不能對(duì)人體動(dòng)作變形進(jìn)行描述。
斯坦福大學(xué)的Anguelov等人提出了一種在動(dòng)作和體型上都可以變形的三維人體模型，簡(jiǎn)稱(chēng)SCAPE模型。在體型學(xué)習(xí)上，SCAPE模型沿用了 Alien等人的方法；在動(dòng)作學(xué)習(xí)上，使用了同一人物不同動(dòng)作的三維掃描模型作為學(xué)習(xí)樣本。最后使用基于三角形的連續(xù)仿射變換方法獲得關(guān)于體型及動(dòng)作的變形參數(shù)，并分別使用主成分分析及線(xiàn)性回歸擬合的方法對(duì)這兩種參數(shù)進(jìn)行插值變換。該種方法能夠逼真地反映真實(shí)人物在動(dòng)作及體型上的變化，具有很大的借鑒意義。
基于圖像/視頻的三維人體模型估計(jì)由于人體同時(shí)存在剛體與柔體的變形，使得基于單目圖像/視頻的三維人體模型估計(jì)難以開(kāi)展。目前的相關(guān)研究大都是在預(yù)先調(diào)配好的協(xié)同多視角環(huán)境下進(jìn)行的。布朗大學(xué)的Bdlan等人搭建了一個(gè)用于構(gòu)建人體模型的協(xié)同環(huán)境，包括4個(gè)配準(zhǔn)并同步的攝像機(jī)，能夠從4個(gè)角度獲取到目標(biāo)人物在同一時(shí)刻的多張圖像。Bdlan等人首先使用基于圓柱體的人體模型對(duì)目標(biāo)人物的三維動(dòng)作進(jìn)行初步估算，然后使用SCAPE人體模型對(duì)各圖像上的目標(biāo)人物同時(shí)進(jìn)行擬合，最終獲得一個(gè)目標(biāo)人物的三維模型。該方法有三個(gè)限制必須使用多視角協(xié)同攝像頭環(huán)境且目標(biāo)人物身穿緊身衣物，另外模型與目標(biāo)人物的擬合過(guò)程比較緩慢。
布朗大學(xué)的Peng Guan等人首次提出了基于單張圖像的三維人體模型估計(jì)方法， 主要針對(duì)目標(biāo)人物穿戴較少的情況，首先在用戶(hù)協(xié)助下估計(jì)出目標(biāo)人物的三維動(dòng)作，然后使用該著裝人體的真實(shí)輪廓、邊緣、皮膚上的光照陰影這三種線(xiàn)索，估計(jì)出SCAPE人體模型的參數(shù)，最終擬合出與目標(biāo)人物體型、動(dòng)作一致的三維人體模型。
針對(duì)目標(biāo)人物衣物寬松的情況，布朗大學(xué)的Bdlan等人使用目標(biāo)人物的多個(gè)動(dòng)作之間的關(guān)系估計(jì)出其真實(shí)體型，但仍舊需要協(xié)同多視角環(huán)境。
通過(guò)分析國(guó)內(nèi)外研究現(xiàn)狀可以得出，目前基于圖像/視頻估計(jì)目標(biāo)人物三維模型的相關(guān)研究還處于起步階段，而且大多數(shù)研究需要搭建協(xié)同多視角環(huán)境；針對(duì)單張圖像的人物模型估計(jì)方法很少，且對(duì)目標(biāo)人物的衣著要求嚴(yán)格，難以投入實(shí)際使用，滿(mǎn)足廣大用戶(hù)的需求。發(fā)明內(nèi)容
本發(fā)明的目的是提供一種單幅人物圖像中著裝人體三維模型估計(jì)方法，所述方法能夠從包含人物的單張圖像中，估計(jì)出其著裝的三維人物模型與非著裝狀態(tài)下的三維體型模型，同時(shí)估計(jì)出圖像中人物的三維姿勢(shì)。
本發(fā)明的又一目的是提供一種適用范圍廣、操作簡(jiǎn)便的著裝人體三維模型估計(jì)方法，所述方法不需要專(zhuān)業(yè)配置的實(shí)驗(yàn)室，也不需要圖像中的人物必須穿緊身衣服。
為了克服現(xiàn)有技術(shù)存在的不足，達(dá)到上述目的，本發(fā)明提供了一種單幅人物圖像中著裝人體三維模型估計(jì)方法，所述方法包括如下步驟
步驟一、建立基于真實(shí)人物的三維模型訓(xùn)練樣本庫(kù)，所述訓(xùn)練樣本庫(kù)中包括多種真實(shí)人物體型、多種真實(shí)人體姿勢(shì)和多種服裝類(lèi)型；
步驟二、在所述訓(xùn)練樣本庫(kù)上學(xué)習(xí)出人體姿勢(shì)、人物體型及服裝之間的變形函數(shù)， 得到可變換各種姿勢(shì)、體型及服裝的可變形著裝三維人物模型，作為可變形模板，并根據(jù)所述多種真實(shí)人物體型計(jì)算出一種平均體型；
步驟三、選取包含待估計(jì)三維模型的著裝人體影像的單幅人物圖像，由用戶(hù)根據(jù)該著裝人體影像的著裝類(lèi)型，在所述訓(xùn)練樣本庫(kù)中包括的多種服裝類(lèi)型中選擇一種相似的服裝類(lèi)型，并且由用戶(hù)目測(cè)選擇該著裝人體影像上的多個(gè)關(guān)節(jié)點(diǎn)位置，計(jì)算機(jī)根據(jù)所選出的關(guān)節(jié)點(diǎn)位置初始化該著裝人體影像的三維姿勢(shì)，并將步驟二中的平均體型和用戶(hù)選出的服裝類(lèi)型賦予到該三維姿勢(shì)上，從而得到該人體影像的初始三維模型。
優(yōu)選的是，在所述步驟三之后，還包括
步驟四、根據(jù)所選出的關(guān)節(jié)點(diǎn)位置，將初始三維模型投影在單幅人物圖像上，得到該著裝人體的初始輪廓，并在所述單幅人物圖像上對(duì)該初始輪廓進(jìn)行擬合約束，以得到該著裝人體的真實(shí)輪廓。
優(yōu)選的是，在所述步驟四之后，還包括
步驟五、結(jié)合所述真實(shí)輪廓、所述三維姿勢(shì)和所選的服裝類(lèi)型，對(duì)所述可變形模板進(jìn)行參數(shù)估計(jì)，得到符合待估計(jì)著裝人體的包含體型、服裝和姿勢(shì)的三維著裝模型。
優(yōu)選的是，步驟一中所述的三維模型訓(xùn)練樣本庫(kù)，包括姿勢(shì)樣本庫(kù)、體型樣本庫(kù)與著裝人物樣本庫(kù)。
優(yōu)選的是，所述三維模型訓(xùn)練樣本庫(kù)的構(gòu)建包括如下步驟
I對(duì)同一個(gè)人的70個(gè)姿勢(shì)進(jìn)行全身三維掃描,得到的模型作為姿勢(shì)樣本庫(kù)；
II對(duì)111個(gè)不同體型人物的站立姿態(tài)進(jìn)行全身三維掃描，得到的模型作為體型樣本庫(kù)；
III對(duì)體型樣本庫(kù)中每個(gè)人物分別在7種服裝類(lèi)型著裝狀態(tài)下進(jìn)行建模，得到的模型作為著裝人物樣本庫(kù)。
優(yōu)選的是，步驟III中所述三維模型訓(xùn)練樣本庫(kù)的著裝模型的建模包括如下步驟
A選擇一個(gè)三維人物模型，對(duì)其在著裝與非著裝兩種情況下的三維模型執(zhí)行內(nèi)部不可見(jiàn)面片自動(dòng)清除算法，得到兩個(gè)包裹模型；
B學(xué)習(xí)出步驟A中所述的兩個(gè)包裹模型之間的變形差異，將所述差異傳播到體型樣本庫(kù)中的所有體型模型上，得到每個(gè)體型模型在所述服裝種類(lèi)下的著裝模型；
C對(duì)于所有服裝類(lèi)型，分別采用步驟A和步驟B的方法，構(gòu)建出不同服裝類(lèi)型的著裝人物樣本庫(kù)。
優(yōu)選的是，步驟二中所述的可變形模板對(duì)姿勢(shì)、體型和著裝種類(lèi)這三種變形方式進(jìn)行了參數(shù)化，給定具體的一組低維參數(shù)，能夠快速地生成相應(yīng)姿勢(shì)、體型和著裝的三維人物模型。
優(yōu)選的是，步驟三在人體影像三維姿勢(shì)的估計(jì)上，使用了基于海量三維姿勢(shì)樣本的半自動(dòng)估計(jì)方法，所述方法采用的三維姿勢(shì)樣本的容量級(jí)別是百萬(wàn)數(shù)量級(jí)。
優(yōu)選的是，步驟四中所述的著裝人體真實(shí)輪廓三維模型參數(shù)的估計(jì)方法包括如下步驟
a計(jì)算出所述初始三維模型與圖像中著裝人體的真實(shí)輪廓的匹配點(diǎn)對(duì)；6
b使用所述匹配點(diǎn)對(duì)作為約束，優(yōu)化當(dāng)前的姿勢(shì)參數(shù)；
c在新的姿勢(shì)參數(shù)上更新匹配點(diǎn)對(duì)，優(yōu)化當(dāng)前的體型參數(shù)；
d迭代步驟b和步驟C，直到匹配點(diǎn)對(duì)間的差異達(dá)到一個(gè)預(yù)定值時(shí)，獲得最優(yōu)的姿勢(shì)參數(shù)和體型參數(shù)，使用所述參數(shù)可以生成所述圖像中著裝人體真實(shí)輪廓的著裝三維模型與體型模型。
本發(fā)明的有益效果是本發(fā)明所述方法只需要包含人物的單張圖像即可構(gòu)建其三維著裝人物模型，適用范圍廣，操作簡(jiǎn)便，而目前大部分相關(guān)方法需要協(xié)同多視角采集環(huán)境，只能在專(zhuān)業(yè)配置的實(shí)驗(yàn)室進(jìn)行；對(duì)圖像中人物的著裝有較好的適應(yīng)性，而目前大部分相關(guān)方法需要圖像中人物身著緊身衣物以估算其真實(shí)體型；本發(fā)明所述方法能夠同時(shí)估算圖像中人物的著裝三維人物模型、真實(shí)體型與姿勢(shì)，而目前方法只能估算圖像中人物的體型與姿勢(shì)；估算出的著裝三維人物模型與圖像中人物匹配程度高，能夠進(jìn)行如紋理貼圖之類(lèi)的進(jìn)一步應(yīng)用。


圖I為本發(fā)明所述方法的總體設(shè)計(jì)結(jié)構(gòu)示意圖2為本發(fā)明所述著裝人物樣本庫(kù)的樣本構(gòu)建流程示意圖3為本發(fā)明所述可變形模板變形流程示意圖4為本發(fā)明所述可變形模板的參數(shù)估計(jì)示意圖5為本發(fā)明所述方法中從單幅圖像中估計(jì)出的三維著裝人物模型效果圖6為本發(fā)明所述方法的三種典型應(yīng)用效果圖。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步說(shuō)明，以使本領(lǐng)域普通技術(shù)人員參照本說(shuō)明書(shū)后能夠據(jù)以實(shí)施。
請(qǐng)參閱圖1，為本發(fā)明所述方法的總體設(shè)計(jì)結(jié)構(gòu)示意圖，所述方法包括兩個(gè)階段: 可變形模板訓(xùn)練階段與圖像中人物模型參數(shù)估計(jì)階段。在所述可變形模板訓(xùn)練階段，首先建立了三種人物模型訓(xùn)練集，包括姿勢(shì)樣本庫(kù)、體型樣本庫(kù)與著裝人物樣本庫(kù)，然后使用拓展的SCAPE人體模型訓(xùn)練方法在這套訓(xùn)練集上進(jìn)行統(tǒng)計(jì)學(xué)習(xí)，分別訓(xùn)練出姿勢(shì)、體型與著裝相關(guān)的變形映射函數(shù)，得到可變形模板；利用這些映射函數(shù)，給定期望的姿勢(shì)、體型及服裝類(lèi)型這三種參數(shù)，能夠快速創(chuàng)建出特定的著裝人物模型。在所述圖像中人物模型參數(shù)估計(jì)階段，首先通過(guò)用戶(hù)輔助得到圖像中人物的服裝類(lèi)型，同時(shí)對(duì)圖像中人物的三維姿勢(shì)與體型進(jìn)行初始估計(jì)，構(gòu)建初始著裝人物模型，然后使用該初始模型對(duì)圖像中人物進(jìn)行前景分割，得到圖像中人物的輪廓，作為估計(jì)圖像中人物姿態(tài)和體型的線(xiàn)索。接著本發(fā)明通過(guò)計(jì)算三維著裝人物模型與輪廓的匹配點(diǎn)對(duì)，使用迭代的方式對(duì)圖像中人物的姿勢(shì)與體型進(jìn)一步估計(jì)，得到圖像中人物的真實(shí)輪廓，使得最終構(gòu)建出的三維著裝人物模型與圖像中的人物相吻合。所述方法具體包括如下步驟
步驟一、建立基于真實(shí)人物的三維模型訓(xùn)練樣本庫(kù)，所述訓(xùn)練樣本庫(kù)中包括多種真實(shí)人物體型、多種真實(shí)人體姿勢(shì)和多種服裝類(lèi)型。
所述的三維模型訓(xùn)練樣本庫(kù)，包括姿勢(shì)樣本庫(kù)、體型樣本庫(kù)與著裝人物樣本庫(kù)。所述姿勢(shì)樣本庫(kù)與所述體型樣本庫(kù)中的模型是通過(guò)三維掃描儀對(duì)真實(shí)人物進(jìn)行掃描而得到的三維模型。所述姿勢(shì)樣本庫(kù)中包含同一個(gè)人的70種不同姿勢(shì)，所述體型樣本庫(kù)中包含 111個(gè)不同人體的站姿模型，其中有一個(gè)同時(shí)出現(xiàn)在所述姿勢(shì)樣本庫(kù)與所述體型樣本庫(kù)中的模型被設(shè)定為可變形模板的基準(zhǔn)模型，擁有1. 25萬(wàn)個(gè)網(wǎng)格節(jié)點(diǎn)與2. 5萬(wàn)個(gè)三角網(wǎng)格面片，并且根據(jù)人體結(jié)構(gòu)劃分為18個(gè)部分(頭、手、腳等)。經(jīng)過(guò)人體網(wǎng)格注冊(cè)技術(shù)的匹配后， 所有其他模型的三角網(wǎng)格節(jié)點(diǎn)與鏈接方式都與所述基準(zhǔn)模型完全對(duì)應(yīng)。
所述著裝人物模型樣本庫(kù)是使用所述體型樣本庫(kù)中的三維人體進(jìn)行著裝變形從而構(gòu)建出來(lái)，本發(fā)明對(duì)每一種服裝類(lèi)型都建立了 111個(gè)不同體型的著裝人物模型，目的是使所述每一種服裝都可以根據(jù)三維模型體型的變形而發(fā)生變形，符合每一個(gè)體型的人物穿著，每一個(gè)著裝人物模型的具體構(gòu)建方式如圖2所示。M是體型樣本庫(kù)中的一個(gè)模型，首先使用SCAPE人體模型變形方法將它變形為T(mén)型姿勢(shì)M'，然后分別將所述T型模型依據(jù)著裝參考模型與體型參考模型進(jìn)行變形。其中所述著裝參考模型與所述體型參考模型是同一個(gè)人著裝前后的三維模型，是使用POSER人體模型軟件制作而來(lái)，然而這一對(duì)參考模型的網(wǎng)格節(jié)點(diǎn)沒(méi)有對(duì)應(yīng)，不能直接使用，所以本發(fā)明將M'分別變形成這一對(duì)參考模型的形狀，以學(xué)習(xí)對(duì)應(yīng)網(wǎng)格面片的變形參數(shù)。本發(fā)明首先對(duì)兩個(gè)參考模型的內(nèi)部不可見(jiàn)面片進(jìn)行清除， 得到參考模型的兩個(gè)包裹模型，然后在所述包裹模型與M'的7個(gè)指定部位進(jìn)行標(biāo)注(腳上4個(gè)，手上2個(gè)，鼻尖I個(gè))，利用麻省理工學(xué)院的Sumner等人提出的模型變形方法，將 W逐步擬合成包裹模型，最終得到一對(duì)與參考模型外形相似，但是網(wǎng)格節(jié)點(diǎn)與M'相同的模型(M'clothed，M unclothed) 由于 Mclothed M unclothed的網(wǎng)格結(jié)構(gòu)完全對(duì)應(yīng)，可以使用 Sumner等人提出三維模型變形遷移方法將M'…―與^ mel()thed對(duì)應(yīng)的三角面片仿射矩陣加載到M'上，得到M'的著裝模型。
步驟二、在所述訓(xùn)練樣本庫(kù)上學(xué)習(xí)出人體姿勢(shì)、人物體型及服裝之間的變形函數(shù)， 得到可變 換各種姿勢(shì)、體型及服裝的可變形著裝三維人物模型，作為可變形模板，并根據(jù)所述多種真實(shí)人物體型計(jì)算出一種平均體型。
所述可變形模板訓(xùn)練對(duì)三種樣本庫(kù)中的模型進(jìn)行統(tǒng)計(jì)學(xué)習(xí)，對(duì)人體模型在姿勢(shì)、 體型和著裝的三種變形進(jìn)行參數(shù)化。對(duì)于訓(xùn)練集中給定的一個(gè)三維模型M，需要計(jì)算出從基準(zhǔn)模型變形成M的變形仿射矩陣并進(jìn)行統(tǒng)計(jì)降維。請(qǐng)參閱圖3，令是基準(zhǔn)模型中第k個(gè)三角面片的三個(gè)頂點(diǎn)，Ek,」=vkjJ-vkjl, j = 2, 3,是該三角形的兩條邊所在向量, E = , j = 2，3，是M中對(duì)應(yīng)三角形的兩條邊所在向量，b是該三角面片所屬的肢體編號(hào)，則定義
Ek^Rb*Ck*Sk*Qk*Ekj
其中Ck，Qk, Sk是第k個(gè)三角面片3*3的仿射矩陣，分別代表著裝相關(guān)變形、體型相關(guān)變形與姿勢(shì)相關(guān)變形。Rb是一個(gè)3*3的旋轉(zhuǎn)矩陣，表示肢體b從基準(zhǔn)模型所在姿勢(shì)到模型M所在姿勢(shì)的旋轉(zhuǎn)角度，可以通過(guò)基準(zhǔn)模型與M的對(duì)應(yīng)節(jié)點(diǎn)使用非線(xiàn)性最優(yōu)化方法估算得到。統(tǒng)計(jì)學(xué)習(xí)的目的是學(xué)習(xí)出一組映射函數(shù)，將一組低維的(姿勢(shì)，體型，著裝)參數(shù) (θ,β,γ)映射到每個(gè)三角面片的變形仿射矩陣(Q，S，C)上，對(duì)模型在這三種方面的變形進(jìn)行了低維參數(shù)化控制。
在除去著裝變形的情況下，本發(fā)明使用SCAPE人體模型的訓(xùn)練方法，對(duì)姿勢(shì)和體型的變形仿射矩陣進(jìn)行學(xué)習(xí)統(tǒng)計(jì)，得到一套將姿勢(shì)參數(shù)Θ映射到姿勢(shì)仿射矩陣Q的映射函數(shù)fQ(0)，和一套將體型參數(shù)β映射到體型仿射矩陣s的映射函數(shù)fs(i3)，具體方法可查閱SCAPE模型的文獻(xiàn)。本發(fā)明將體型參數(shù)β的維數(shù)設(shè)定為20，可以覆蓋體型樣本庫(kù)中80% 的體型變化。以下具體闡述著裝變形映射函數(shù)的學(xué)習(xí)方法
技術(shù)領(lǐng)域：
本發(fā)明對(duì)著裝樣本庫(kù)中的每種服裝類(lèi)型學(xué)習(xí)出一套著裝變形映射函數(shù)，對(duì)于給定的服裝類(lèi)型參數(shù)Y與體型參數(shù)β，該映射函數(shù)，Y)能給出每個(gè)三角面片的著裝仿射矩陣C。著裝映射函數(shù)的訓(xùn)練步驟包括單個(gè)樣本仿射矩陣的學(xué)習(xí)與總體樣本參數(shù)統(tǒng)計(jì)兩個(gè)子階段。在單個(gè)樣本參數(shù)學(xué)習(xí)階段，給定服裝類(lèi)型Y，對(duì)于著裝模型樣本庫(kù)中服裝類(lèi)型為 Y的每個(gè)樣本Mi,估計(jì)其每個(gè)三角面片對(duì)應(yīng)的仿射矩陣Ck。具體方法是求解以下最優(yōu)化問(wèn)題
權(quán)利要求
1.單幅人物圖像中著裝人體三維模型估計(jì)方法，其特征在于，所述方法包括以下步驟 步驟一、建立基于真實(shí)人物的三維模型訓(xùn)練樣本庫(kù)，所述訓(xùn)練樣本庫(kù)中包括多種真實(shí)人物體型、多種真實(shí)人體姿勢(shì)和多種服裝類(lèi)型； 步驟二、在所述訓(xùn)練樣本庫(kù)上學(xué)習(xí)出人體姿勢(shì)、人物體型及服裝之間的變形函數(shù)，得到可變換各種姿勢(shì)、體型及服裝的可變形著裝三維人物模型，作為可變形模板，并根據(jù)所述多種真實(shí)人物體型計(jì)算出一種平均體型； 步驟三、選取包含待估計(jì)三維模型的著裝人體影像的單幅人物圖像，由用戶(hù)根據(jù)該著裝人體影像的著裝類(lèi)型，在所述訓(xùn)練樣本庫(kù)中包括的多種服裝類(lèi)型中選擇一種相似的服裝類(lèi)型，并且由用戶(hù)目測(cè)選擇該著裝人體影像上的多個(gè)關(guān)節(jié)點(diǎn)位置，計(jì)算機(jī)根據(jù)所選出的關(guān)節(jié)點(diǎn)位置初始化該著裝人體影像的三維姿勢(shì)，并將步驟二中的平均體型和用戶(hù)選出的服裝類(lèi)型賦予到該三維姿勢(shì)上，從而得到該人體影像的初始三維模型。
2.如權(quán)利要求I所述的單幅人物圖像中著裝人體三維模型估計(jì)方法，其特征在于，在所述步驟三之后，還包括 步驟四、根據(jù)所選出的關(guān)節(jié)點(diǎn)位置，將初始三維模型投影在單幅人物圖像上，得到該著裝人體的初始輪廓，并在所述單幅人物圖像上對(duì)該初始輪廓進(jìn)行擬合約束，以得到該著裝人體的真實(shí)輪廓。
3.如權(quán)利要求2所述的單幅人物圖像中著裝人體三維模型估計(jì)方法，其特征在于，在所述步驟四之后，還包括 步驟五、結(jié)合所述真實(shí)輪廓、所述三維姿勢(shì)和所選的服裝類(lèi)型，對(duì)所述可變形模板進(jìn)行參數(shù)估計(jì)，得到符合待估計(jì)著裝人體的包含體型、服裝和姿勢(shì)的三維著裝模型。
4.如權(quán)利要求I所述的單幅人物圖像中著裝人體三維模型估計(jì)方法，其特征在于，步驟一中所述的三維模型訓(xùn)練樣本庫(kù)，包括姿勢(shì)樣本庫(kù)、體型樣本庫(kù)與著裝人物樣本庫(kù)。
5.如權(quán)利要求4所述的單幅人物圖像中著裝人體三維模型估計(jì)方法，其特征在于，所述三維模型訓(xùn)練樣本庫(kù)的構(gòu)建包括如下步驟 I對(duì)同一個(gè)人的70個(gè)姿勢(shì)進(jìn)行全身三維掃描，得到的模型作為姿勢(shì)樣本庫(kù)； II對(duì)111個(gè)不同體型人物的站立姿態(tài)進(jìn)行全身三維掃描，得到的模型作為體型樣本庫(kù)； III對(duì)體型樣本庫(kù)中每個(gè)人物分別在I種服裝類(lèi)型著裝狀態(tài)下進(jìn)行建模，得到的模型作為著裝人物樣本庫(kù)。
6.如權(quán)利要求5所述的單幅人物圖像中著裝人體三維模型估計(jì)方法，其特征在于，步驟III中所述三維模型訓(xùn)練樣本庫(kù)的著裝模型的建模包括如下步驟 A選擇一個(gè)三維人物模型，對(duì)其在著裝與非著裝兩種情況下的三維模型執(zhí)行內(nèi)部不可見(jiàn)面片自動(dòng)清除算法，得到兩個(gè)包裹模型； B學(xué)習(xí)出步驟A中所述的兩個(gè)包裹模型之間的變形差異，將所述差異傳播到體型樣本庫(kù)中的所有體型模型上，得到每個(gè)體型模型在所述服裝種類(lèi)下的著裝模型； C對(duì)于所有服裝類(lèi)型，分別采用步驟A和步驟B的方法，構(gòu)建出不同服裝類(lèi)型的著裝人物樣本庫(kù)。
7.如權(quán)利要求I所述的單幅人物圖像中著裝人體三維模型估計(jì)方法，其特征在于，步驟二中所述的可變形模板對(duì)姿勢(shì)、體型和著裝種類(lèi)這三種變形方式進(jìn)行了參數(shù)化，給定具體的一組低維參數(shù)，能夠快速地生成相應(yīng)姿勢(shì)、體型和著裝的三維人物模型。
8.如權(quán)利要求I所述的單幅人物圖像中著裝人體三維模型估計(jì)方法，其特征在于，步驟三在人體影像三維姿勢(shì)的估計(jì)上，使用了基于海量三維姿勢(shì)樣本的半自動(dòng)估計(jì)方法，所述方法采用的三維姿勢(shì)樣本的容量級(jí)別是百萬(wàn)數(shù)量級(jí)。
9.根據(jù)權(quán)利要求2所述的單幅人物圖像中著裝人體三維模型估計(jì)方法，其特征在于，步驟四中所述的著裝人體真實(shí)輪廓三維模型參數(shù)的估計(jì)方法包括如下步驟 a計(jì)算出所述初始三維模型與圖像中著裝人體的真實(shí)輪廓的匹配點(diǎn)對(duì)； b使用所述匹配點(diǎn)對(duì)作為約束，優(yōu)化當(dāng)前的姿勢(shì)參數(shù)； c在新的姿勢(shì)參數(shù)上更新匹配點(diǎn)對(duì),優(yōu)化當(dāng)前的體型參數(shù)； d迭代步驟b和步驟C，直到匹配點(diǎn)對(duì)間的差異達(dá)到一個(gè)預(yù)定值時(shí)，獲得最優(yōu)的姿勢(shì)參數(shù)和體型參數(shù)，使用所述參數(shù)可以生成所述圖像中著裝人體真實(shí)輪廓的著裝三維模型與體型模型。
全文摘要
本發(fā)明公開(kāi)了單幅人物圖像中著裝人體三維模型估計(jì)方法，步驟如下首先，建立基于真實(shí)人物的三維模型訓(xùn)練樣本；其次，在該訓(xùn)練樣本上學(xué)習(xí)人體姿勢(shì)、體型及服裝之間的變形函數(shù)，并計(jì)算出所述多種真實(shí)人物體型的平均體型；然后，選取包含著裝人體影像的單幅圖像，由用戶(hù)選擇服裝類(lèi)型和多個(gè)關(guān)節(jié)點(diǎn)位置，計(jì)算機(jī)根據(jù)這些關(guān)節(jié)點(diǎn)位置初始化該著裝人體影像的三維姿勢(shì)，并將平均體型和用戶(hù)選出的服裝類(lèi)型賦予到該三維姿勢(shì)上，從而得到該人體影像的初始三維模型。最后，根據(jù)該著裝人體影像的輪廓，自動(dòng)調(diào)整初始三維模型的體型與姿勢(shì)，使三維模型符合目標(biāo)人物的外形。本發(fā)明所述方法只需人物單張圖像即可構(gòu)建其三維著裝人物模型，適用范圍廣，操作簡(jiǎn)便。
文檔編號(hào)G06T17/00GK102982578SQ201210429279
公開(kāi)日2013年3月20日 申請(qǐng)日期2012年10月31日 優(yōu)先權(quán)日2012年10月31日
發(fā)明者陳小武, 趙沁平, 郭宇, 周彬 申請(qǐng)人:北京航空航天大學(xué)