本發(fā)明設(shè)計(jì)一種面部動(dòng)畫捕捉技術(shù)，尤其涉及一種基于深度攝像機(jī)3D面部動(dòng)畫實(shí)時(shí)捕捉技術(shù)。

背景技術(shù)：
：

目前國內(nèi)的面部動(dòng)畫都是單獨(dú)進(jìn)行捕捉的。由于攝像頭分辨率等原因，導(dǎo)致了動(dòng)作捕捉和面部捕捉不能同時(shí)進(jìn)行，這在整個(gè)動(dòng)畫的制作流程中產(chǎn)生了很多問題。首先，肢體動(dòng)作的數(shù)據(jù)和面部動(dòng)作的數(shù)據(jù)被迫分開，最終動(dòng)畫在兩者的合成上不能達(dá)到實(shí)時(shí)同步，這將給動(dòng)畫師的后期調(diào)整工作帶來困難。其次，在動(dòng)作捕捉的實(shí)際操作中，演員的負(fù)擔(dān)加重。演員要先演一次肢體的動(dòng)作，然后再使用另一套面部設(shè)備面部表情，演員再回想當(dāng)時(shí)的肢體動(dòng)作來表演面部表情，這種不同步可能使我們看到的動(dòng)畫出現(xiàn)嚴(yán)重的偏差。傳統(tǒng)的面部捕捉技術(shù)是先捕捉演員的表情動(dòng)畫，將其保存成一個(gè)動(dòng)作捕捉文件來供其他的三維軟件調(diào)用這個(gè)動(dòng)作捕捉數(shù)據(jù)，再生成最后動(dòng)畫。這個(gè)過程中，是看不到面部表情最終制作效果的，必須要等到把動(dòng)作捕捉的數(shù)據(jù)導(dǎo)入到三維軟件中才能看到動(dòng)畫效果。

技術(shù)實(shí)現(xiàn)要素：
：

本發(fā)明解決的問題是讓面部捕捉和肢體捕捉同時(shí)進(jìn)行，所采用的技術(shù)方案是，包括深度掃描儀、保型地圖、監(jiān)看設(shè)備、控制芯片和頭盔，頭盔內(nèi)部設(shè)有深度掃描儀，所述的深度掃描儀是在兩個(gè)表面之間對(duì)映射進(jìn)行高質(zhì)量計(jì)算是個(gè)基本的幾何模型，用光柵衍射的方式進(jìn)行連續(xù)記錄，所述的深度掃描儀連接控制芯片，所述的控制芯片，所述的控制芯片遠(yuǎn)程連接監(jiān)看設(shè)備，所述的監(jiān)看設(shè)備是基于顯卡輸出，對(duì)信號(hào)進(jìn)行同步轉(zhuǎn)換，保證通過四個(gè)屏幕的映射關(guān)系完成立體預(yù)監(jiān)，分別是左眼監(jiān)視器，右眼監(jiān)視器，電腦軟件的操作界面以及立體預(yù)監(jiān)屏幕；所述的保型地圖為角度沒有歪曲的地圖，位于深度掃描以內(nèi)。

所述的深度掃描儀為go pro掃描儀。

本發(fā)明的有益效果：不僅可以實(shí)時(shí)的捕捉面部表情，而且能實(shí)時(shí)面部捕捉與肢體捕捉同時(shí)進(jìn)行，這在國際上屬于領(lǐng)先技術(shù)，該項(xiàng)技術(shù)推廣到各個(gè)動(dòng)漫制作公司里，不僅能使動(dòng)畫的質(zhì)量有很大的進(jìn)步，還會(huì)在制作流程上減少浪費(fèi)，大大縮短制作周期對(duì)動(dòng)漫產(chǎn)業(yè)有深遠(yuǎn)影響。我們的技術(shù)利用共形幾何方法來追蹤捕捉表情，提取表情，從而裝置入卡通人物臉部，再結(jié)合輸出成具有高寫真度的個(gè)性化模型。

具體實(shí)施方式：

一種基于深度攝像機(jī)3D面部動(dòng)畫實(shí)時(shí)捕捉技術(shù)，包括深度掃描儀、保型地圖、監(jiān)看設(shè)備、控制芯片和頭盔，頭盔內(nèi)部設(shè)有深度掃描儀，所述的深度掃描儀是在兩個(gè)表面之間對(duì)映射進(jìn)行高質(zhì)量計(jì)算是個(gè)基本的幾何模型，用光柵衍射的方式進(jìn)行連續(xù)記錄，所述的深度掃描儀連接控制芯片，所述的控制芯片，所述的控制芯片遠(yuǎn)程連接監(jiān)看設(shè)備，所述的監(jiān)看設(shè)備是基于顯卡輸出，對(duì)信號(hào)進(jìn)行同步轉(zhuǎn)換，保證通過四個(gè)屏幕的映射關(guān)系完成立體預(yù)監(jiān)，分別是左眼監(jiān)視器，右眼監(jiān)視器，電腦軟件的操作界面以及立體預(yù)監(jiān)屏幕；所述的保型地圖為角度沒有歪曲的地圖，位于深度掃描以內(nèi)。所述的深度掃描儀為go pro掃描儀。

實(shí)施例1：

1、獲取面部掃描模型。在進(jìn)行面部掃描時(shí)，需要較暗的環(huán)境，但是由于設(shè)備工作方式的限制，在進(jìn)行掃描的過程中，面部陰影區(qū)域的結(jié)果很不理想。解決辦法：我們嘗試在保持整體環(huán)境較暗的同時(shí)，采用攝影技法，為面部陰影區(qū)域進(jìn)行了微弱的補(bǔ)光處理使其不會(huì)完全死黑，但又不至于太亮而丟失掃描細(xì)節(jié)。

2、獲取真人面部拍攝視頻序列。固定到頭部的攝像機(jī)應(yīng)該相對(duì)于頭部位置固定不動(dòng)，但是演員在做較大動(dòng)作時(shí)，頭部晃動(dòng)，造成攝像機(jī)與頭部產(chǎn)生位置，使拍攝出的圖像產(chǎn)生晃動(dòng)，嚴(yán)重影響了捕捉效果。解決辦法：a)加強(qiáng)了頭盔于頭部之間的連接程度。b)微小的晃動(dòng)不可避免，所以我們嘗試在后期軟件中對(duì)圖像進(jìn)行了穩(wěn)定處理，從而獲得了較好的拍攝數(shù)據(jù)。

3、計(jì)算面部捕捉點(diǎn)軌跡。當(dāng)兩個(gè)捕捉點(diǎn)靠的太近的時(shí)候，追蹤數(shù)據(jù)會(huì)產(chǎn)生錯(cuò)誤，將兩個(gè)點(diǎn)認(rèn)錯(cuò)了。所以我們?cè)诿娌坎蹲近c(diǎn)上進(jìn)行了研究，改進(jìn)了捕捉點(diǎn)的樣式。將可能會(huì)互相影響的點(diǎn)用不同追蹤顏色進(jìn)行了標(biāo)記，這樣在MathchMovie中就不會(huì)對(duì)產(chǎn)生追蹤錯(cuò)誤了。大大提高了自動(dòng)化程度。

4、捕捉數(shù)據(jù)導(dǎo)入。MathchMovie軟件據(jù)算完結(jié)果以后只能導(dǎo)出為*.RZ2格式的二維動(dòng)畫數(shù)據(jù)，而三維軟件并不能支持這個(gè)格式。為此我們特別查了該數(shù)據(jù)文件的格式定義，并為其定制了一個(gè)軟件，可以在三維軟件中導(dǎo)入RZ2格式的數(shù)據(jù)并自動(dòng)生成關(guān)鍵幀動(dòng)畫。部分程序代碼如下。

結(jié)果：

三維掃描儀可以通過single mesh的方式驅(qū)動(dòng)人臉的原始表情通道。

用深度掃描儀把演員的所有面部表情三維模型全部捕捉下來儲(chǔ)存為三維模型序列方便后續(xù)技術(shù)調(diào)用。

再利用頭盔式設(shè)備進(jìn)行面部捕捉，這個(gè)頭盔可以是任意頭盔加裝告訴攝像頭，然后分析單攝像頭拍出的圖像進(jìn)行預(yù)處理并在追蹤軟件中進(jìn)行跟蹤處理，得到一個(gè)2維跟蹤數(shù)據(jù)。

最后在三維軟件中將導(dǎo)入的2維數(shù)據(jù)信息推演出相應(yīng)的3維數(shù)據(jù)信息，最終完成通過單攝像頭拍攝的二維圖像來驅(qū)動(dòng)一個(gè)深度掃描儀掃描出的真人表情 動(dòng)畫，從而完成了但攝像頭驅(qū)動(dòng)角色表情的功能。