基于動(dòng)作捕捉的三維數(shù)字內(nèi)容智能制作方法及制作系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬涉及三維數(shù)字內(nèi)容智能制作技術(shù)領(lǐng)域，特別是一種基于動(dòng)作捕捉的三維數(shù)字內(nèi)容智能制作方法及制作系統(tǒng)。
【背景技術(shù)】
[0002]隨著計(jì)算機(jī)技術(shù)的迅猛發(fā)展，以及人們對(duì)生活品質(zhì)的更高追求，更多的三維數(shù)字產(chǎn)品走入了人們?nèi)粘Ｉ?。在娛?lè)產(chǎn)業(yè)，高科技的動(dòng)畫(huà)影視及電影特技制作越來(lái)越得到人們的喜愛(ài)和市場(chǎng)的追捧，每年全球在三維動(dòng)畫(huà)產(chǎn)業(yè)的投入達(dá)到數(shù)百億美元。在影視拍攝制作中，三維數(shù)字內(nèi)容計(jì)算機(jī)制作所占的比例越來(lái)越大?，F(xiàn)在動(dòng)畫(huà)影視大都是利用計(jì)算機(jī)動(dòng)畫(huà)軟件，直接在計(jì)算機(jī)上手工制作出來(lái)的。對(duì)于一部長(zhǎng)達(dá)I小時(shí)的動(dòng)畫(huà)片，則需要手工繪制近十萬(wàn)張圖片，需要大量的人力，時(shí)間以及資金的投入，而且由于動(dòng)作是手工繪制的，在視覺(jué)上依然給人以“動(dòng)畫(huà)”的感覺(jué)，缺乏人物動(dòng)作的真實(shí)和自然性。2009年奧斯卡獲獎(jiǎng)影片《阿凡達(dá)》的成功上映在電影制片史上具有劃時(shí)代的意義，在《阿凡達(dá)》電影中大量使用先進(jìn)的三維動(dòng)作捕捉技術(shù)，通過(guò)將真人表演的動(dòng)作和表情準(zhǔn)確地匹配到動(dòng)畫(huà)角色中，開(kāi)創(chuàng)了動(dòng)畫(huà)電影制作一個(gè)新的里程，從根本上改變了現(xiàn)有的影視動(dòng)畫(huà)制作乃至特技制作方法，大大增加電影中人物動(dòng)作的真實(shí)性，增加了視覺(jué)的觀賞性，給世界觀眾帶來(lái)了一個(gè)全新的感覺(jué)和享受。也取得了巨大的商業(yè)成功，成為世界電影史上第一個(gè)票房?jī)r(jià)值超出20億美元電影巨作。目前在國(guó)外電影大片制作中，基于動(dòng)作捕捉的數(shù)字內(nèi)容制作已被廣泛使用。
[0003]基于動(dòng)作捕捉的三維數(shù)字內(nèi)容制作主要包括三個(gè)主要步驟(即動(dòng)作捕捉、動(dòng)作匹配/綁定、動(dòng)作驅(qū)動(dòng))和一些輔助步驟。動(dòng)作捕捉主要是通過(guò)三維動(dòng)作捕捉系統(tǒng)將真人表演的動(dòng)作實(shí)時(shí)地捕捉下來(lái)；動(dòng)作匹配需要將真人形體與動(dòng)畫(huà)角色進(jìn)行匹配和綁定；動(dòng)作驅(qū)動(dòng)則是通過(guò)真人的動(dòng)作來(lái)驅(qū)動(dòng)動(dòng)畫(huà)角色作出同樣的動(dòng)作。目前，基于不同技術(shù)的三維動(dòng)作捕捉系統(tǒng)已有多種產(chǎn)品在市場(chǎng)銷(xiāo)售，如Vicon, Giant, Mot1nAnalysis, Optitrack系統(tǒng)等，而且技術(shù)相對(duì)比較成熟。在動(dòng)作匹配和動(dòng)作驅(qū)動(dòng)上，Autodesk公司的Mot1nbuilder軟件是用來(lái)進(jìn)行動(dòng)作匹配和動(dòng)作驅(qū)動(dòng)的普遍使用的軟件工具。制作者在獲得通過(guò)動(dòng)作捕捉系統(tǒng)所采集到人物動(dòng)作軌跡數(shù)據(jù)(.bvh格式或.c3d格式)后，直接將數(shù)據(jù)輸入Mot1nbuilder軟件進(jìn)行人工動(dòng)作匹配和動(dòng)作驅(qū)動(dòng)。
[0004]在Mot1nbuilder軟件的使用中，主要有以下幾方面的問(wèn)題:
在大多數(shù)的情況下，動(dòng)作表演人的形體和動(dòng)漫角色的形體是不同的，因此Mot1nbuilder每次需要將表演者的骨骼和角色骨骼進(jìn)行人工匹配。
[0005]Mot1nbuilder需要采用Autodesk公司自己定義的標(biāo)準(zhǔn)的人體骨賂架構(gòu)?？墒?，在動(dòng)漫電影中，很多擬人的動(dòng)物形體的骨骼架構(gòu)以及人體骨骼架構(gòu)是不同的。對(duì)于這些與Mot1nbuilder所定義的人體骨賂架構(gòu)不同動(dòng)漫角色，Mot1nbuilder則無(wú)法進(jìn)行人體動(dòng)作匹配和動(dòng)作驅(qū)動(dòng)。
[0006]在動(dòng)作匹配和動(dòng)作驅(qū)動(dòng)中，一個(gè)普遍存在的問(wèn)題是動(dòng)作“穿幫”和“滑步”。當(dāng)表演者在進(jìn)行手腳貼身動(dòng)作表演時(shí)，由于人體形狀和動(dòng)漫角色的形體上常常有很大的不同，在動(dòng)作匹配時(shí)，角色的手腳會(huì)插入到身體某些部位而產(chǎn)生“穿幫”，也會(huì)產(chǎn)生動(dòng)漫角色的腳步不能正確地踩在地面上而出現(xiàn)騰空或漂移等“滑步”的現(xiàn)象。
[0007]在很多情況下，當(dāng)表演者形體和動(dòng)漫角色模型差別較大時(shí)，容易造成失真和動(dòng)作變形，因此在使用Mot1nbuilder軟件是，需要對(duì)表演者形體和動(dòng)畫(huà)角色模型進(jìn)行手工綁定，費(fèi)時(shí)耗力?！栋⒎策_(dá)》電影巨大的商業(yè)成功來(lái)自于超過(guò)4億美元投資和多達(dá)四年時(shí)間的制作，其中很大一部分時(shí)間和資金是投入到三維動(dòng)作捕捉和動(dòng)畫(huà)制作上，尤其是在人物動(dòng)作及表情與電影角色模型的人工匹配/綁定和動(dòng)作驅(qū)動(dòng)上。

【發(fā)明內(nèi)容】

[0008]本發(fā)明要解決的問(wèn)題是提供一種基于動(dòng)作捕捉的三維數(shù)字內(nèi)容智能制作方法及制作系統(tǒng)，該系統(tǒng)和方法可實(shí)現(xiàn)三維數(shù)字內(nèi)容制作中動(dòng)作匹配和動(dòng)作驅(qū)動(dòng)的自動(dòng)化；并且能夠?qū)崿F(xiàn)人體骨骼架構(gòu)的自定義，使得人體形狀和動(dòng)漫角色更加貼合，避免“穿幫”和“滑步”現(xiàn)象；達(dá)到提高三維數(shù)字內(nèi)容制作的效率和精度，進(jìn)一步以達(dá)到降低數(shù)字內(nèi)容制作成本、時(shí)間及提高制作質(zhì)量的目的。
[0009]本發(fā)明公開(kāi)的一種基于動(dòng)作捕捉的三維數(shù)字內(nèi)容制作方法，包括以下步驟:
I) 3D角色模型預(yù)處理，獲得處理過(guò)的角色骨骼特征信息；這些角色骨骼特征信息為匹配和綁定提供了依據(jù)。
[0010]2)載入并提取3D角色模型預(yù)先處理的角色骨骼特征信息，接收動(dòng)作捕捉的數(shù)據(jù)；
3)將所收到的動(dòng)作捕捉的數(shù)據(jù)與3D角色模型進(jìn)行匹配和綁定；
4)驅(qū)動(dòng)3D角色模型與動(dòng)作表演者作同步運(yùn)動(dòng)。
[0011]本發(fā)明的方法可實(shí)現(xiàn)自動(dòng)匹配和綁定，以及自動(dòng)驅(qū)動(dòng)。但是并不要求這些動(dòng)作全部是自動(dòng)完成，即使有的過(guò)程是手動(dòng)完成，也可實(shí)現(xiàn)本發(fā)明的技術(shù)方案。比如，匹配和綁定動(dòng)作選擇自動(dòng)完成，而驅(qū)動(dòng)選擇手動(dòng)完成。
[0012]作為上述技術(shù)方案的進(jìn)一步改進(jìn)，所述步驟I )3D角色模型預(yù)處理包括:對(duì)3D角色模型的表面幾何面片進(jìn)行分析處理，提取所需的3D角色骨骼信息，并計(jì)算骨骼節(jié)點(diǎn)之間的幾何面片與所附著骨骼節(jié)點(diǎn)的運(yùn)動(dòng)權(quán)重以及骨骼的幾何特征值，并將這些處理過(guò)的3D角色骨骼信息保存在骨骼樹(shù)狀機(jī)構(gòu)中；剔除與動(dòng)作捕捉無(wú)關(guān)的多余信息。
[0013]作為上述技術(shù)方案的另一種改進(jìn)，所述步驟3)匹配和綁定過(guò)程包括將所收到的每一幀的骨骼運(yùn)動(dòng)信息與3D角色模型進(jìn)行匹配和綁定。
[0014]作為上述技術(shù)方案的另一種改進(jìn)，所述步驟4)驅(qū)動(dòng)過(guò)程包括依據(jù)3D角色模型預(yù)先計(jì)算出的骨骼節(jié)點(diǎn)之間的幾何面片與所附著骨骼節(jié)點(diǎn)的運(yùn)動(dòng)權(quán)重以及骨骼的幾何特征值，實(shí)時(shí)計(jì)算3D角色模型每個(gè)幾何面片的空間幾何的運(yùn)動(dòng)位置，驅(qū)動(dòng)3D角色模型與動(dòng)作表演者作同步運(yùn)動(dòng)。
[0015]作為上述技術(shù)方案的另一種改進(jìn)，本發(fā)明的方法還包括以下步驟:
5)在進(jìn)行所述步驟4)驅(qū)動(dòng)的同時(shí)，對(duì)匹配結(jié)果進(jìn)行角色表面形狀碰撞檢測(cè)，如檢測(cè)到形體表面有碰撞部分，則進(jìn)行碰撞消除處理。
[0016]作為上述技術(shù)方案的另一種改進(jìn)，本發(fā)明的方法還包括以下步驟:
6)動(dòng)作校正:計(jì)算3D角色終關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)位置，再通過(guò)反向運(yùn)動(dòng)學(xué)(InverseKinematics)的計(jì)算，得出每個(gè)關(guān)節(jié)點(diǎn)的位置。
[0017]作為上述技術(shù)方案的另一種改進(jìn)，本發(fā)明的方法還包括以下步驟:7)動(dòng)作數(shù)據(jù)輸出。
[0018]作為上述技術(shù)方案的另一種改進(jìn)，本發(fā)明的方法還包括以下步驟:在所述步驟I)3D角色模型預(yù)處理后，步驟2)接收動(dòng)作捕捉的數(shù)據(jù)之前，進(jìn)行動(dòng)作捕捉。
[0019]作為上述技術(shù)方案的另一種改進(jìn)，本發(fā)明的方法還包括以下步驟:
動(dòng)作數(shù)據(jù)智能處理:在所述步驟2)接收動(dòng)作捕捉的數(shù)據(jù)之后，對(duì)于由于光標(biāo)點(diǎn)遮擋或其他原因而出現(xiàn)數(shù)據(jù)丟失的部分，采用多幀分析的方法，利用丟失數(shù)據(jù)幀的前后幀的所采集到的光標(biāo)點(diǎn)的位置，計(jì)算丟失光標(biāo)點(diǎn)的位置，填充所遺漏的數(shù)據(jù)；對(duì)于光標(biāo)點(diǎn)的跳動(dòng)，則采用信號(hào)平滑算法自動(dòng)對(duì)數(shù)據(jù)進(jìn)行平滑處理，消除抖動(dòng)。
[0020]用于上述技術(shù)方案所述的制作方法的制作系統(tǒng)，其特征在于:包括:
動(dòng)作數(shù)據(jù)輸入及動(dòng)作數(shù)據(jù)智能處理模塊用于接收動(dòng)作捕捉的數(shù)據(jù)，并對(duì)動(dòng)作捕捉數(shù)據(jù)進(jìn)行修復(fù)處理；
動(dòng)漫角色模型智能分析模塊，用于分析動(dòng)漫角色的骨骼和形體；
動(dòng)作匹配模塊，用于將所捕捉到的人體動(dòng)作匹配和綁定到動(dòng)漫角色中；
動(dòng)作驅(qū)動(dòng)模塊，驅(qū)動(dòng)3D角色模型與動(dòng)作表演者作同步運(yùn)動(dòng)；
動(dòng)作校正模塊，用于動(dòng)作校正；
動(dòng)作數(shù)據(jù)輸出模塊，用于動(dòng)作數(shù)據(jù)輸出。
[0021]與現(xiàn)有基于動(dòng)作捕捉的三維數(shù)字內(nèi)容制作流程相比，此發(fā)明所提出的基于動(dòng)作捕捉的三維數(shù)字內(nèi)容制作方法及制作系統(tǒng)具體較大的優(yōu)勢(shì)，主要表現(xiàn)在:
三維動(dòng)漫制作效率大幅提高、制作成本大幅降低:目前基于動(dòng)作捕捉的動(dòng)漫制作主要還是依靠動(dòng)漫師用Autodesk的Mot1nBuilder等軟件進(jìn)行手工制作，從動(dòng)捕數(shù)據(jù)修復(fù)、動(dòng)作數(shù)據(jù)角色化、動(dòng)作匹配及動(dòng)作校正等動(dòng)漫制作流程，每分鐘的動(dòng)漫制作大約需要10個(gè)小時(shí)的工作時(shí)間。而通過(guò)本發(fā)明所提出的匹配和驅(qū)動(dòng)系統(tǒng)，所有動(dòng)漫制作流程都可自動(dòng)智能化完成，每分鐘的動(dòng)漫制作只需花費(fèi)5分鐘的時(shí)間，提高效率百倍以上，也因此大大降低了人力成本。另外，由于制作效率的提高，大大縮短動(dòng)漫制作周期，也可帶來(lái)巨大的市場(chǎng)效果和經(jīng)濟(jì)效益。
[0022]三維動(dòng)漫制作的質(zhì)量大幅提高:由于基