專利名稱：捕捉和處理面部運動數(shù)據(jù)的制作方法
技術領域：
本發(fā)明一般地涉及運動捕捉(motion capture)處理，更具體地涉及可 以捕捉和處理面部運動數(shù)據(jù)的改進型運動捕捉系統(tǒng)和方法。
背景技術：
作為制作動畫的方式，運動捕捉系統(tǒng)被用于捕捉實際對象的動作 (movement)，并將其映射成計算機生成的對象。通常在動態(tài)影像和視頻 游戲的制作中使用這樣的系統(tǒng)來創(chuàng)建物體或人的數(shù)字表示，該數(shù)字表示被 用作創(chuàng)建計算機圖形(CG)動畫的源數(shù)據(jù)。在典型的系統(tǒng)中，演員身穿在 各個位置附有標記的衣服(例如，軀體和四肢上附有小型反射標記)，并 且在照射標記的同時數(shù)字相機從不同的角度記錄演員的動作。系統(tǒng)隨后對 圖像進行分析以確定各個幀中的在演員衣服上的標記的位置(例如，作為 空間坐標)和方向。通過跟蹤標記的位置，系統(tǒng)創(chuàng)建標記隨時間的空間表 示，并建立運動中的演員的數(shù)字表示。這種運動隨后被應用于數(shù)字模型，該數(shù)字模型隨后可以被紋理化并被渲染(render)以制作演員和/或表演的 完整CG表示。特效公司己經在許多受歡迎的電影中使用這種技術來制作 高度逼真的動畫。
運動捕捉系統(tǒng)相對于傳統(tǒng)動畫技術(例如，關鍵幀(keyframing)) 的優(yōu)點在于實時可視化的能力。制作團隊可以實時或接近實時地查看演員 運動的空間表示，從而使得演員可以變更身體表演以捕捉最佳數(shù)據(jù)。此 外，運動捕捉系統(tǒng)檢測身體動作的細微差別，這種細微差別是無法很容易 地使用其它動畫技術來再現(xiàn)的，從而生成更精確地反映自然動作的數(shù)據(jù)。 結果，利用使用運動捕捉系統(tǒng)收集的源素材來制作的動畫將呈現(xiàn)大體上更 加逼真的外觀。

發(fā)明內容
本發(fā)明的實施例提供了用于捕捉和處理面部運動數(shù)據(jù)并可以更強勁地 跟蹤演員的面部特征的運動以創(chuàng)建演員的面部運動和表情的表示的系統(tǒng)和 方法。
在一個實施例中， 一種頭戴式系統(tǒng)包括至少一個運動捕捉相機，被 配置用于使用布置在演員的面部表面上的多個傳感器來從該演員的面部表 面捕捉運動數(shù)據(jù)；以及與運動捕捉相機相耦合的運動捕捉處理器，該運動 捕捉處理器包括存儲單元；圖像捕捉模塊，被配置用于對運動捕捉相機 進行控制以逐幀地捕捉布置在演員的面部表面上的多個傳感器的圖像，該 圖像捕捉模塊接收所述逐幀圖像并將其存儲在存儲單元上；傳感器跟蹤模 塊，被配置用于從存儲單元中檢索所存儲的逐幀圖像，對這些圖像執(zhí)行跟 蹤功能以精確地針對各個幀來映射所述多個傳感器，并且提供來自面部表 面的所述運動數(shù)據(jù)；以及數(shù)字建模模塊，被配置用于接收該運動數(shù)據(jù)以生 成表示演員的面部表面的建模表面。
在另一個實施例中， 一種方法包括將多個傳感器與演員的面部表面 上的目標點相結合；使用布置在頭戴式系統(tǒng)上的至少一個運動捕捉相機來 逐幀地捕捉布置在演員的面部表面上的多個傳感器的圖像；在頭戴式系統(tǒng) 中對所述多個傳感器的逐幀圖像執(zhí)行跟蹤功能，以精確地針對各個幀來映射所述多個傳感器；以及在頭戴式系統(tǒng)中生成表示演員的面部表面的建模 表面。
在閱讀以下詳細描述和附圖之后，本發(fā)明的其它特征和優(yōu)點對于本領 域普通技術人員來說將變得更加清楚。


通過研究附圖可以部分理解本發(fā)明的關于其結構和操作的細節(jié)，在附 圖中，相似的標號指示相似的部分，并且其中
圖1A是示出根據(jù)本發(fā)明一個實施例的頭戴式系統(tǒng)的示圖； 圖1B是示出面罩開啟時的頭戴式系統(tǒng)的示圖2A示出了附于面部以使得可以使用運動捕捉相機來捕捉面部表情 的多個標記；
圖2B示出了形成在面部上的以使得可以使用運動捕捉相機來捕捉面 部表情的水平和垂直線或曲線的柵格；
圖3是根據(jù)一個實施例的頭戴式系統(tǒng)的運動捕捉處理器和相機的框 圖；以及
圖4是示出根據(jù)一個實施例用于捕捉演員的面部特征以創(chuàng)建演員的面 部運動和表情的表示的方法的流程圖。
具體實施例方式
如以下將進一步描述的，本發(fā)明的實施例滿足了運動捕捉系統(tǒng)的以下 需要使得可以更加強勁地捕捉和跟蹤演員的面部特征的表面和運動以創(chuàng) 建演員面部運動和表情(例如，大笑、哭泣、微笑等)的表示。在閱讀本 說明書之后，本領域技術人員將很清楚如何在各個實施例和應用中實現(xiàn)本 發(fā)明。但是，雖然本發(fā)明的各個實施例將在這里得到描述，但是應當理 解，這些實施例僅僅是以示例的方式而非限制方式來呈現(xiàn)的。因此，各個 實施例的詳細說明不應當被解釋為限制本發(fā)明的范圍或廣度，本發(fā)明的范 圍或廣度將在所附權利要求中被闡明。
在一個實施例中，面部運動捕捉系統(tǒng)被配置成頭戴式系統(tǒng)，用以跟蹤面部表面上的點并數(shù)字化整個表面。系統(tǒng)隨后返回經動畫化的演員面部的
網格(mesh)。因此，在本實施例中，頭戴式系統(tǒng)被設置到物理上附接于
演員頭部或身體的頭盔或其它器具中，從而均一地照射面部標記并最小化 相機和面部之間的相對移動程度。在其它實施例中，面板運動捕捉系統(tǒng)被 配置成將頭戴式系統(tǒng)和置于身體上和/或與身體分離的其它運動捕捉相機集
成在一起。
圖1A是示出根據(jù)本發(fā)明一個實施例的頭戴式系統(tǒng)的示圖。在所示出 的實施例中，頭戴式系統(tǒng)被配置成頭盔100，頭盔100包括麥克風110、 諸如風扇112、 114之類的散熱單元、以及運動捕捉相機120、 122、 124， 其中，麥克風110被配置用于記錄來自演員的音頻，散熱單元被配置用于 使用空氣或液體來為演員散熱，并且在麥克風被開啟時散熱單元可以被關 閉。
在一個實施例中，頭盔100由被設計為很輕便的碳纖維材料制成。頭 盔100從隨帶電源(未示出)抽運功率。此外，頭盔100將所捕捉的數(shù)據(jù) 記錄到頭盔100上的或者由演員佩戴的記錄器140上。記錄在記錄器140 上的數(shù)據(jù)可以無線下載到遠程存儲設備。但是，記錄在記錄器140上的數(shù) 據(jù)也可以以有線方式下載到遠程存儲設備。頭盔100上的處理器142接收 數(shù)據(jù)分組(例如，UDP)，該數(shù)據(jù)分組命令記錄器140何時開始記錄以及 何時停止記錄。處理器142可以獲取時間碼同步和同步鎖相(genlock)信 息，并將它們與用于記錄數(shù)據(jù)或影片的其它外部設備相同步。
在替代實施例中，頭戴式系統(tǒng)可以被配置成兩部分單元，其中， 一個 部分是附接于演員頭部的顱頂蓋，而另一部分是沿著頜骨底部并在演員的 下顎前方突出的碳纖維U型片。相機可以安裝在系統(tǒng)的^頁骨'片上。在 其它實施例中，頭戴式系統(tǒng)可以被配置成喉部振動麥克風型的索具 (rig)、頭盔墊襯型的頭部索具、封閉式的面部相機頭盔、或者安裝在胸 部的索具。
頭盔100內部的運動捕捉相機120、 122、 124可以跟蹤演員面部的特 征。運動捕捉相機120、 122、 124還可以跟蹤表面，使用灰階成像來執(zhí)行 z深度(z-depth)計算，并執(zhí)行2D向3D的三角剖分。在圖示出的實施例中，在頭盔100中配置了三到六個不同的運動捕捉相機。但是，在其它實 施例中，可以在頭盔100中配置任何數(shù)目的運動捕捉相機。例如， 一個相 機可以被配置用于捕捉眼睛運動，并且三個相機可以被配置用于捕捉面部 特征的運動。這些運動捕捉相機中的全部或一些可以被配置成小型且輕便
的高分辨率CMOS或CCD相機。
在一些實例中，這些相機可以具有場分割器(field splitter)，場分割 器是被配置為棱鏡的相機透鏡。 一種場分割器(例如，在2005年8月26 曰提交的申請?zhí)枮镹o. 60/711,908、標題為"Using Field Splitters in Motion Capture"的美國臨時專利申請中公開的，該申請的內容通過引用而結合于 此)在單個相機透鏡中呈遞多個視場，以使得可以在不具有多個相機的情 況下實現(xiàn)立體視覺。此外，相機可以具有遠心透鏡(例如，在2005年8 月26日提交的申請?zhí)枮镹o. 60/711,906、標題為"Telecentric Lenses in Motion Capture"的美國臨時專利申請中公開的，該申請的內容通過引用而 結合于此)，遠心透鏡去除了透視畸變(例如，圖像的扭曲校正
(unwarping))并且改進了 2D向3D的三角剖分。
相機在開始執(zhí)行操作之前需要得到很好地校準，以給出外在(相對于 頭部框架上的固定點的外部相機位置)和內在參數(shù)(內部相機參數(shù))?；?者，相機可以通過使用頭盔上的(例如，條紋或格子圖案)或面部上的
(例如，接近鼻子的并趨于更加穩(wěn)定)度量信息來動態(tài)地自校準。使用所 捕捉的面部運動數(shù)據(jù)，面部的整個表面都被數(shù)字化，并且得到的網格被輸 出。
在一個實施例中，相機120、 122、 124由可佩戴的計算設備來控制。 在另一個實施例中，相機被按符合人體工學地安裝以使得在頭盔上存在較 少的校準/穩(wěn)定性問題，從而使各個相機觀察球形、雙曲或平面的鏡子并捕 捉面部表演的反射。在這樣的情況下，捕捉系統(tǒng)可以在捕捉處理期間以更 穩(wěn)定的方式來操作，但是可能需要模擬來自鏡子的表面反射的復雜的鏡面 校正解決方案。
重構后的網格在幀和幀之間很少保持一致，并且可能需要額外的預處 理或后處理來確保這種一致性。 一種預處理方法可以包括掃描演員的面部幾何(facial geometry)并對其建模，選擇一組感興趣的點，并僅跟蹤這 些感興趣的點。 一種后處理方法可以包括隨著被跟蹤的特征點的移動和 變形而數(shù)學計算演員的面部模型與這些被跟蹤特征點之間的最小誤差擬合 (least-errorfitting)，從而實現(xiàn)幀與幀之間的最大可能的一致性。
在所圖示的實施例中，頭盔100還包括面罩130，在一個實施例中， 面罩130配置有充當太陽鏡的染色塑料，用以減少從演員面部反射的且會 導致跟蹤問題的任何太陽光?？梢允褂眉t外光照射來照射頭盔100內部的 演員面部。如果在戶外在太陽光中進行運動捕捉處理，則相機120、 122、 124可以配備IR靈敏濾波器以利用紅外光照射。在一個實施例中，面罩 130包括在內表面上的顯示器132，用于顯示由安裝在頭盔100上的相機 134捕捉的演員周圍環(huán)境的圖像。通過在顯示在顯示器132上的外部圖像 上覆以虛擬圖像，演員可以與覆于真實世界圖像上的虛擬世界對象進行交 互。這允許演員基本與相關事件相同步地顯示自然的面部表情。如圖IB 所示，頭盔100的面罩130翻轉到上方，以使得演員可以在拍攝間歇休 息，并且不會整天都包在頭盔中而很少通風。
在另一個實施例中，頭盔100具有內置的眼電圖(electrooculogram， EOG)能力(例如，在2004年11月8日提交的申請?zhí)枮镹o. 10/984，488、標題為"System and Method for Tracking Facial Muscle and Eye Motion for Computer Graphics Animation"的美國專利申請中公開的，該申 請的內容通過引用而結合于此)以記錄眼睛的移動。在本實施例中，在眼 睛上下或者眼睛左右布置了成對的電極。如果眼睛從中心位置向一個電極 移動，則該電極檢測視網膜的正面而相對電極檢測視網膜的反面。因此， 出現(xiàn)在電極之間的電位差被記錄作為眼睛移動的度量。EOG控制盒可以嵌 入到頭盔100中或者可以佩戴在身體上并插入到頭盔中以接收來自電極的 信號并將該信號轉換成運動數(shù)據(jù)。
為了使用頭戴式系統(tǒng)來捕捉面部運動數(shù)據(jù)，演員的面部需要安裝傳感 器(例如，反射標記、球和/或盤)，或者準備有能夠提供運動信號或從面 部的表面反射運動信號的材料(例如，顏料、染料和/或投射光)。但是， 應當理解，運動數(shù)據(jù)包括在一個或多個傳感器沒有移動時捕捉的數(shù)據(jù)。因此，運動數(shù)據(jù)指示出可能已經移動或者可能沒有移動的點的當前位置。
在圖2A所示的一個實施例中，標記被附于演員面部200以使得運動 捕捉相機可以被用于記錄演員的表情。由于與身體動作所涉及的較大肌肉 相比較而言，面部動作涉及相對較小的肌肉，所以面部標記一般比相應的 身體標記小很多，并且相機的分辨率一般高于通常用于身體運動捕捉的相 機的分辨率。相機一般排列在公共平面上，同時演員的身體動作受到限制
以保持相機聚焦于演員面部。在圖2B所示的另一個實施例中，在演員面 部210上形成了水平和垂直線或曲線的柵格。通過跟蹤并分析由柵格交叉 點形成的線或頂點而不是分立的點的移動，頭戴式系統(tǒng)能夠生成比傳統(tǒng)的 基于標記的跟蹤系統(tǒng)多很多的表面數(shù)據(jù)。
在另一個實施例中，使用很小的近IR光在演員面部上投射斑點圖 案。頭盔中的運動捕捉相機感測該圖案，并通過三角剖分皮膚上的斑點圖 案來創(chuàng)建演員面部的3D網格。面部的整個表面隨后被數(shù)字化，并且得到 的網格被輸出。在另一個實施例中，圖案被噴射或涂抹到演員的面部(例 如，墨水或化妝品)。可以通過向面部表面涂抹顏料或染料來施加圖案。 也可以通過將圖案印刷或絲絹網印到材料上然后將該材料附于面部表面來 施加圖案?；蛘撸饣螯c的圖案可以被投射到面部表面上。同樣，頭盔中 的運動捕捉相機感測所述圖案，并通過三角剖分所噴射或涂抹的圖案來創(chuàng) 建演員面部的3D網格。面部的整個表面隨后被數(shù)字化，并且得到的網格 被輸出。但是，在本實施例中，演員面部的最終模型解決了一致的網格運 動。可以對從演員面部獲得的紋理進行分析以得到可視光信息(例如，陰 影化以及當面部在光線照射中或者在黑暗中時)。因此，可以在最終的模 型光照處理中使用該紋理。在一個變體中，圖案可以包括壓電條帶，該壓 電條帶在隨著面部的移動而彎折這些條帶時測量電阻。
在另一個實施例中，使用激光或投射線，將不可視光帶快速地來回掃 過演員面部。運動捕捉相機在相機掃過面部時掃描條帶輪廓，并且這些線 被重構為表面幾何。所獲得的線隨后被接合從而創(chuàng)建網格，該網格是隨時 間而被動畫化的。在一個變體中，可以在頭盔的下顎區(qū)域中嵌入具有旋轉 鏡的對眼睛安全的不可視激光。在另一個變體中，向面部投射旋轉的對眼睛安全的不可視光。在又一個變體中，向對準演員面部的旋轉鏡投射對眼 睛安全的不可視光。
所選擇的運動捕捉設置所面臨的一個共同問題是幀與幀之間的重構網
格的時間一致性。在將重構表面再次定位(retarget)到數(shù)字面部上時，缺 乏時間一致性可能會導致問題。取決于所使用的運動捕捉方法的類型，存 在各種確保時間網格一致性的方式。確保一致的時間網格的一種方式是使 用這樣的演員面部模型，該演員面部模型涉及具有"感興趣"的網格頂點 的各種過渡表情，并且使用網格頂點來數(shù)學計算感興趣的最小誤差擬合， 這是作為重構之后的后處理來進行的。作為重構處理的預處理來進行的另
一個實施例包括在重構處理之前掃描、數(shù)字化和模型化(建模)演員的
中性(neutral)面部。隨后在表演期間模型網格頂點被投射到演員的中性 面部。相機變換的外在參數(shù)的計算隨后暗示中性面部模型頂點位于視頻圖 像的中性面部上的哪里。現(xiàn)在可以借助于上述設置(即，標記、顏料、斑 點圖案、投射光等)在表演期間跟蹤這些頂點。最后，可以僅針對這些被 跟蹤的頂點計算3D重構，從而產生幀與幀之間相互一致的變形網格。
圖3是根據(jù)一個實施例的頭戴式系統(tǒng)100的運動捕捉處理器142、記 錄器140、和相機120、 122、 124的框圖。在所圖示的實施例中，運動捕 捉處理器142與記錄器140和用戶工作站152相連接。運動捕捉處理器 142可以通過有線或無線方式來連接到工作站152。因此，在一個實施例 中，運動捕捉處理器142包括網絡接口模塊154用以向工作站152發(fā)送數(shù) 據(jù)和從其接收數(shù)據(jù)。如上所述，處理器142可以從工作站152接收這樣的 數(shù)據(jù)分組，該數(shù)據(jù)分組命令記錄器140何時開始記錄以及何時停止記錄。
運動捕捉處理器142包括圖像捕捉模塊150、標記跟蹤模塊148、數(shù) 字建模模塊146以及存儲單元144。三個運動捕捉相機120、 122、 124與 運動捕捉處理器142相連接。在一個實施例中，根據(jù)各種與用戶和動畫相 關的要求可以使用多于或少于三個運動捕捉相機。運動捕捉相機120、 122、 124聚焦在有待捕捉的演員面部300上，其中，目標傳感器(被示出 為球形標記)占據(jù)了面部300的表面上的點。
如圖3所圖示的實施例所示，目標點與類似于結合圖2A來描述的那些的多個標記相結合。相機120、 122、 124可以受圖像捕捉模塊150的控 制以逐幀地捕捉這些標記的圖像，并將它們傳遞回運動捕捉處理器142的 圖像捕捉模塊150。在一種實現(xiàn)方式中，相機120、 122、 124在交替的圖 像幀中捕捉標記的圖像。這樣捕捉的圖像幀被放置在存儲單元144中。在 一個實施例中，記錄器140可以被用作存儲單元(例如，單元144)?；?者，工作站152的用戶可以實時地查看這些圖像幀。
標記跟蹤模塊148從存儲單元144中檢索所存儲的圖像幀，并對這些 圖像幀執(zhí)行跟蹤功能以利用各個圖像幀之前和之后的圖像幀來精確映射各 個圖像幀的標記。在一些實施例中，可以使用為(主要)標記提供標識的 次要標記作為輔助以區(qū)分標記。 一旦這種映射完成之后，得到的數(shù)據(jù)就被 傳遞到數(shù)字建模模塊146，數(shù)字建模模塊146在各個幀中創(chuàng)建虛擬空間中 的頂點系統(tǒng)，包括表示面部300的建模表面。因為在各個幀中捕捉的標記 被正確地映射到隨后的幀中的相同的標記，所以被建模的面部表面的運動 是平滑且連續(xù)的。雖然圖3所圖示的實施例使用標記作為用于捕捉面部表 面的傳感器，但是可以使用諸如圖2B所示的顏料圖案之類的其它傳感 器。
在一個實施例中，相機120、 122、 124，運動捕捉處理器142的所有 模塊，以及記錄器140被配置在頭戴式系統(tǒng)中。在另一個實施例中，相機 120、 122、 124，記錄器140，以及模塊144和150被配置在頭戴式系統(tǒng) 中，而模塊146和148被配置在工作站152中。
圖4是示出根據(jù)一個實施例的用于捕捉演員的面部特征以創(chuàng)建演員面 部運動和表情的表示的方法的流程圖。該方法包括在400中，將標記與 面部表面上的目標點相結合。在一個實施例中，標記是反射球體，并且球 體表面上的發(fā)光反射點實質上構成了標記數(shù)據(jù)點。隨后在402中，捕捉當 前幀中的標記的圖像。接下來，在404中，存儲各個幀的所捕捉圖像。在 406中，如果判定當前幀不是最后的幀，則在408中將下一個幀提前，并 且該幀變?yōu)樾碌漠斍皫４朔椒S后在402中通過使用新的當前幀來捕捉 下一組標記數(shù)據(jù)點而繼續(xù)。此方法如上所述地進行直到當前幀被判定為最 后的幀為止。根據(jù)這個實施方式，從而逐幀地獲取標記數(shù)據(jù)。一旦己經獲取所有幀，則在410中檢索所存儲的圖像幀。在412中，
對檢索得到的圖像幀執(zhí)行跟蹤功能，以利用各個圖像幀之前和之后的圖像
幀來精確地映射各個圖像幀的標記。 一旦這種映射完成之后，就在414中
生成虛擬空間中的頂點系統(tǒng)，該頂點系統(tǒng)包括表示面部的建模表面。得到 的建模表面隨后被輸出作為演員面部運動和表情的表示。
已經描述了本發(fā)明的各種說明性實施例。但是，本領域普通技術人員 將會了解，其它實施例也是可行的并且處在本發(fā)明的范圍內。例如，在一 個變體中，可以使用包括標記、顏料、染料和/或投射光的傳感器的組合來 捕捉面部特征?？梢赃x擇傳感器的類型以增強對面部的特定部分或特征的 捕捉處理。在另一個變體中，雖然說明僅示出了布置在頭盔或身體上的相 機，但是相機可以被配置成布置在身體上和/或與身體相分離以從演員的面 部捕捉數(shù)據(jù)。在另一個變體中，雖然說明僅示出了人類面部的運動捕捉， 但是，上述處理可以用于運動捕捉任何對象的移動表面。
因此，本發(fā)明并不僅僅限于上述那些實施例。
權利要求
1.一種系統(tǒng)，包括至少一個運動捕捉相機，被配置用于使用布置在演員的面部表面上的多個傳感器來從所述演員的面部表面捕捉運動數(shù)據(jù)；以及與所述至少一個運動捕捉相機相耦合的運動捕捉處理器，所述運動捕捉處理器包括存儲單元；圖像捕捉模塊，被配置用于控制所述至少一個運動捕捉相機，以逐幀地捕捉布置在所述演員的面部表面上的所述多個傳感器的圖像，所述圖像捕捉模塊接收所述逐幀圖像并將其存儲在所述存儲單元上；傳感器跟蹤模塊，被配置用于從所述存儲單元檢索所存儲的逐幀圖像，對所述圖像執(zhí)行跟蹤功能以精確地針對各個幀來映射所述多個傳感器，并且提供來自所述面部表面的所述運動數(shù)據(jù)；以及數(shù)字建模模塊，被配置用于接收所述運動數(shù)據(jù)以生成表示所述演員的面部表面的建模表面。
2. 如權利要求1所述的系統(tǒng)，其中，所述運動捕捉處理器的所述存 儲單元、所述圖像捕捉模塊、所述傳感器跟蹤模塊以及所述數(shù)字建模模塊 被物理上一起配置在頭戴式系統(tǒng)中。
3. 如權利要求1所述的系統(tǒng)，其中，所述運動捕捉處理器的所述傳 感器跟蹤模塊和所述數(shù)字建模模塊被配置成與所述存儲單元和所述圖像捕 捉模塊物理上相分離，其中，所述存儲單元和所述圖像捕捉模塊被配置在 頭戴式系統(tǒng)中。
4. 如權利要求l所述的系統(tǒng)，還包括至少一個相機，被配置用于捕捉所述演員周圍環(huán)境的圖像；以及 顯示器，被配置用于向所述演員顯示由所述至少一個相機捕捉的所述 演員周圍環(huán)境的圖像，所述顯示器還能夠顯示覆于所述演員周圍環(huán)境的圖 像之上的虛擬圖像，以允許所述演員基本上與相關事件相同步地顯示自然 的面部表情。
5. 如權利要求l所述的系統(tǒng)，還包括麥克風，被配置用于記錄來自所述演員的音頻；以及散熱單元，被配置用于為所述演員散熱，其中，所述散熱單元在所述 麥克風被開啟時關閉。
6. 如權利要求l所述的系統(tǒng)，其中，所述運動捕捉處理器包括 無線網絡接口模塊，被配置用于向用戶工作站無線發(fā)送數(shù)據(jù)以及從該用戶工作站無線接收數(shù)據(jù)。
7. 如權利要求6所述的系統(tǒng)，還包括記錄器，被配置用于記錄由所述至少一個運動捕捉相機從所述演員的 面部表面捕捉的運動數(shù)據(jù)，其中，所述記錄器從所述用戶工作站接收記錄命令。
8. 如權利要求1所述的系統(tǒng)，其中，所述至少一個運動捕捉相機包括場分割器，被配置用于呈遞多個視場，以使得可以在沒有多個相機的 情況下實現(xiàn)立體視覺。
9. 如權利要求1所述的系統(tǒng)，其中，所述至少一個運動捕捉相機中 的每一個相機都包括遠心透鏡。
10. 如權利要求l所述的系統(tǒng)，還包括形狀為球形、雙曲形和平面形之一的鏡子，被配置用于允許所述至少 一個運動捕捉相機捕捉所述面部表面的反射，所述鏡子允許以符合人體工 學的方式安裝所述至少一個運動捕捉相機，以使得在所述頭盔上存在較少 的校準/穩(wěn)定性問題。
11. 如權利要求l所述的系統(tǒng)，還包括多個電極，被配置用于測量眼睛移動并輸出相應的信號；以及 眼電圖控制單元，被配置用于接收來自所述多個電極的相應信號，并 將該信號轉換成運動數(shù)據(jù)。
12. 如權利要求l所述的系統(tǒng)，其中，所述頭戴式系統(tǒng)包括頭盔。
13. —種捕捉和處理面部運動數(shù)據(jù)的方法，包括 將多個傳感器與演員的面部表面上的目標點相結合；使用布置在頭戴式系統(tǒng)上的至少一個運動捕捉相機來逐幀地捕捉布置 在所述演員的面部表面上的所述多個傳感器的圖像；在所述頭戴式系統(tǒng)中，對所述多個傳感器的所述逐幀圖像執(zhí)行跟蹤功 能，以精確地針對各個幀來映射所述多個傳感器；以及在所述頭戴式系統(tǒng)中，生成表示所述演員的面部表面的建模表面。
14. 如權利要求13所述的方法，還包括 捕捉所述演員周圍環(huán)境的圖像；以及 向所述演員顯示所述演員周圍環(huán)境的圖像，其中，所述顯示包括顯示覆于所述演員周圍環(huán)境的圖像之上的虛擬 圖像，以允許所述演員基本與同步信號相同步地顯示自然的面部表情。
15. 如權利要求14所述的方法，還包括與關于所述演員的面部表面的動作的事件相同步地生成所述同步信號
16. 如權利要求13所述的方法，其中，所述逐幀地捕捉圖像還包括使用至少一個與身體分離的運動捕捉相機。
17. 如權利要求13所述的方法，還包括在所述逐幀地捕捉所述多個傳感器的圖像之后使用灰階成像來執(zhí)行Z 深度計算。
18. 如權利要求13所述的方法，還包括在所述逐幀地捕捉所述多個傳感器的圖像之后執(zhí)行2D向3D的三角剖分。
19. 如權利要求18所述的方法，還包括在所述逐幀地捕捉所述多個傳感器的圖像之后去除透視畸變。
20. 如權利要求19所述的方法，其中所述去除透視畸變包括扭曲校正所述逐幀圖像；以及 改進所述2D向3D的三角剖分。
21. 如權利要求13所述的方法，還包括 使用紅外光照射來照射所述演員的面部表面。
22. 如權利要求13所述方法，還包括使用近IR光在所述演員的面部表面上投射斑點圖案。
23. 如權利要求22所述的方法，還包括 通過三角剖分所述斑點圖案來生成所述面部表面的3D網格。
24. 如權利要求23所述的方法，還包括 利用感興趣的網格頂點來生成過渡表情；以及使用所述網格頂點來數(shù)學計算感興趣的最小誤差擬合。
25. 如權利要求23所述的方法，還包括 掃描、數(shù)字化和建模所述演員的中性面部；以及在所述演員的中性面部上投射網格頂點。
26. 如權利要求13所述的方法，其中，所述將多個傳感器與演員面部表面上的目標點相結合包括使用反射材料在所述演員的面部表面上描繪圖案。
27. 如權利要求13所述的方法，其中，所述將多個傳感器與演員面部表面上的目標點相結合包括使用激光在所述演員的面部表面上掃過不可視光帶。
28. 如權利要求27所述的方法，其中，所述逐幀地捕捉布置在所述演員的面部表面上的所述多個傳感器的圖像包括使用所述至少一個運動捕捉相機來掃描條帶輪廓； 將通過所述掃過不可視光帶來創(chuàng)建的線重構為表面幾何；以及接合所述線以生成網格。
29. —種用于捕捉和處理面部運動數(shù)據(jù)的系統(tǒng)，包括用于將多個傳感器與演員的面部表面上的目標點相結合的裝置；用于使用布置在頭戴式系統(tǒng)上的至少一個運動捕捉相機來逐幀地捕捉布置在所述演員的面部表面上的所述多個傳感器的圖像的裝置；在所述頭戴式系統(tǒng)中的用于對所述多個傳感器的所述逐幀圖像執(zhí)行跟蹤功能以精確地針對各個幀來映射所述多個傳感器的裝置；以及在所述頭戴式系統(tǒng)中的用于生成表示所述演員的面部表面的建模表面的裝置。
全文摘要
公開了一種捕捉和處理面部運動數(shù)據(jù)的系統(tǒng)和方法，包括將多個傳感器與演員的面部表面上的目標點相結合；使用布置在頭戴式系統(tǒng)上的至少一個運動捕捉相機來逐幀地捕捉布置在演員的面部表面上的多個傳感器的圖像；在頭戴式系統(tǒng)中，對所述多個傳感器的逐幀圖像執(zhí)行跟蹤功能，以精確地針對各個幀來映射所述多個傳感器；以及在頭戴式系統(tǒng)中生成表示所述演員的面部表面的建模表面。
文檔編號G06K9/00GK101310289SQ200680040142
公開日2008年11月19日 申請日期2006年8月28日 優(yōu)先權日2005年8月26日
發(fā)明者丹尼斯·J·小豪克, 保勞格·哈瓦爾達爾, 德曼·喬丹, 雷明頓·斯科特 申請人:索尼株式會社;索尼電影娛樂公司