一種簡便的三維頭部模型生成系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種用于普通室內(nèi)環(huán)境下的簡便的三維頭部模型生成系統(tǒng)，得到的三維模型可以用于虛擬現(xiàn)實、個性動畫等應用。本發(fā)明包括硬件和軟件兩個部分，其中硬件部分包含具有彩色攝像機的深度傳感器；軟件部分包含如下步驟：（1）利用彩色攝像機采集的正面人臉圖像重建初始三維頭部模型；（2）在正面人臉圖像中提取人臉特征點；（3）結合初始三維頭部模型、人臉特征點和深度傳感器獲得的深度圖像估計徑向基函數(shù)的系數(shù)；（4）基于徑向基函數(shù)的初始三維頭部模型優(yōu)化重構。
【專利說明】一種簡便的三維頭部模型生成系統(tǒng)

【技術領域】
[0001] 本發(fā)明屬于圖像處理和3D數(shù)據(jù)獲取的【技術領域】，具體地涉及一種簡便的三維頭 部模型生成系統(tǒng)。

【背景技術】
[0002] 近年來，隨著硬件技術的發(fā)展和計算機處理能力的提高，人們對三維數(shù)據(jù)獲取的 需求在不斷的增長，其中運用低成本的設備方便快速的獲取頭部三維模型數(shù)據(jù)成為一個熱 門的研究和應用方向。
[0003] 根據(jù)所使用的傳感器的不同大致可以將頭部三維模型數(shù)據(jù)采集方法分為兩類。第 一類利用主動距離傳感器。主動距離傳感器通過向環(huán)境發(fā)射電磁波等能量并對其反射信號 進行分析來獲得場景的距離信息。白光結構光掃描設備是其中主流的設備，例如Cyberware PX。雖然激光掃描儀能夠獲得很高精度的重建結果，但是這類設備笨重并且價格非常昂 貴(百萬元人民幣級別)，此外該類設備只能獲得三維結構，無法獲得頭部紋理數(shù)據(jù)，因此限 制了其廣泛應用。白光結構光方法能夠獲得高質(zhì)量的帶紋理三維模型重建結果，如Artec EVA。但是在掃描過程中這類設備會發(fā)射出高亮度的可見光，當人眼直視時會感覺不適，因 此一般在采用這類設備時要求用戶閉眼，從而降低了用戶的體驗感。這類設備對待掃描 物體的表面材質(zhì)有較為苛刻的要求，頭部頭發(fā)等暗色區(qū)域均無法準確的掃描重建，一般需 要通過手工軟件后處理。此外這類設備價格也較高(十多萬元人民幣），不適合廣大消費者 使用。進入21世紀后逐漸出現(xiàn)了一種通過測量光線飛行時間（TimeofFlight，T0F)來 獲取場景三維結構的攝像機，代表產(chǎn)品有MesaImaging公司的SR4000,這類產(chǎn)品以相對 較低的價格(數(shù)萬元人民幣級別）獲取較為可靠的三維數(shù)據(jù)，但是這類設備的缺陷是獲取 的數(shù)據(jù)空間分辨率很低，一般一幀3D圖像僅有2萬像素左右，完全無法滿足頭部三維模型 獲取的需求。近年來，以微軟公司的Kinect為代表的小型化紅外結構光投影技術走向成 熟，這類設備能以更低的價格(兩千元人民幣左右）獲得更高空間分辨率三維數(shù)據(jù)（30萬像 素左右)，但是這類設備的空間分辨率仍舊無法滿足高精度人臉三維模型獲取的需求。為 了緩解空間分辨率低的問題，Newcombe等人提出了手持Kinect設備在人臉周圍進行掃描 的方案（NewcombeR,IzadiS,Hilliges0,MolyneauxD,KimD,DavisonA,Kohli PjShottonJjHodgesSjFitzgibbonA.KinectFusion:Real-TimeDenseSurface MappingandTracking.IEEEISMAR，2011.)，但是該方法需要被掃描對象保持靜止20秒 左右，這對于幼兒或老人等自控能力較差人群不適用。
[0004] 另一種三維模型重建方法依賴于被動距離傳感器，例如數(shù)碼相機。目前數(shù)碼相機 技術已經(jīng)十分成熟，一般千元左右的相機即可達到空間分辨率在千萬像素級，遠高于上述 主動距離傳感器。因此從空間分辨率的角度來看，基于兩臺數(shù)碼相機的立體視覺技術非常 適合于低成本高精度的三維人臉模型獲取應用。但是立體視覺系統(tǒng)要求場景紋理較為豐 富，在弱紋理區(qū)域獲得的3D數(shù)據(jù)穩(wěn)定性不佳，因此阻礙了立體視覺系統(tǒng)在三維人臉模型獲 取的實際應用。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的技術解決的問題是：目前幾乎所有的基于主動距離傳感器的三維頭部模 型采集技術存在價格昂貴、用戶體驗感差或者空間分辨率不足的問題；而基于被動距離傳 感器的三維頭部模型采集技術則存在穩(wěn)定性不高的問題。本發(fā)明利用了低成本的深度傳感 器設備的深度圖像和彩色圖像數(shù)據(jù)，實現(xiàn)了一種低成本、瞬態(tài)拍攝、高可靠性的頭部三維模 型獲取系統(tǒng)。
[0006] 為實現(xiàn)上述目的，本發(fā)明采用的技術方案如下。所述系統(tǒng)包括如下硬件設備：深度 傳感器設備。深度傳感器設備包含同步的彩色攝像機并且能夠獲得深度圖像和彩色圖像像 素間的對應關系。具體來說可以采用微軟Kinect傳感器或Intel的RealSense傳感器等。 通過計算機同步拍攝獲得1幀深度數(shù)據(jù)幀和對應的1幀彩色圖像幀。然后利用軟件算法對 上述數(shù)據(jù)進行處理，主要步驟如下：通過3D形變模型技術（3DMorphableModel)利用彩色 攝像機采集的正面人臉圖像重建初始三維頭部模型；結合初始三維頭部模型中頂點的語義 信息，定義臉部區(qū)域的特征點，并且使用主動形狀模型技術（ActiveShapeModel，ASM)得 到人臉彩色圖像中特征點的坐標；利用深度圖像和彩色圖像像素間的對應關系得到特征點 處的三維坐標，以該三維坐標和初始三維頭部模型中特征點的三維坐標為基礎計算徑向基 函數(shù)的線性組合系數(shù)；最后利用計算得到的線性組合系數(shù)通過徑向基函數(shù)技術對初始三維 頭部模型中的頂點位置進行優(yōu)化調(diào)整得到最終的三維頭部模型。
[0007] 與現(xiàn)有技術相比，本發(fā)明具有的優(yōu)點和效果如下：設備整體成本低（2千元人民幣 左右）；數(shù)據(jù)采集速度高(瞬間拍攝完成)，無可見光輻射，從而用戶體驗感好；穩(wěn)定性強(正 常室內(nèi)光照環(huán)境即可，無需特殊的燈光架設，且生成的模型表面光滑)。

【專利附圖】

【附圖說明】
[0008] 圖1為本發(fā)明的軟件系統(tǒng)流程圖。

【具體實施方式】
[0009] 這種高效的三維人臉采集系統(tǒng)包括如下步驟：（1)硬件設備搭建；（2)軟件算法處 理合成。
[0010] 優(yōu)選地，步驟（1)包括：選取1臺深度攝像機(如微軟的Kinect)固定在計算機顯 示器上邊沿，并且將其與計算機連接。
[0011] 優(yōu)選地，步驟（2)包括如圖1所示的算法模塊：（2. 1)初始三維頭部模型重建； (2. 2)人臉特征點定位；（2. 3)徑向基函數(shù)系數(shù)估計；（2. 4)三維頭部模型優(yōu)化重構。
[0012] 優(yōu)選地，步驟（2. 1)的目標是利用彩色攝像機采集的正面人臉圖像恢復符合動畫 驅(qū)動要求的平滑的頭部近似三維模型。具體來說首先構建一個具有100人以上規(guī)模的三維 頭部數(shù)據(jù)庫，三維信息可以通過激光或結構光技術掃描得到，庫中的每一個樣本均包含三 維結構和顏色信息。然后對庫中的每一個樣本人臉用光流法進行臉部數(shù)據(jù)對齊，從而人臉 的形狀和紋理信息可以分別用如下向量來表示： F= (J1,Y1, Z1,..., Xn, Yn, ZnY T-(TP1,G1, B1,..., R11, G11, B1)1 假設庫中總共包含《個樣本，則對于待重建的人臉，其可以表述成：

【權利要求】
1. 一種簡便的三維頭部模型生成系統(tǒng)，其特征在于可以在沒有對光照條件進行嚴格要 求的普通室內(nèi)環(huán)境下方便的重建頭部三維模型，得到的三維模型可以用于虛擬現(xiàn)實、個性 動畫等應用。
2. 根據(jù)權利要求1所述的一種簡便的三維頭部模型生成系統(tǒng)，其特征在于，所述系統(tǒng) 利用深度傳感器設備，其特征在于： (1) 深度傳感器設備包含同步的彩色攝像機； (2) 深度傳感器設備提供深度圖像和彩色圖像像素間的對應關系。
3. 根據(jù)權利要求1所述的一種簡便的三維頭部模型生成系統(tǒng)，其特征在于，數(shù)據(jù)獲取 類似于拍照過程瞬間完成。
4. 根據(jù)權利要求2所述的深度傳感器設備，其特征在于，可以采用微軟Kinect傳感器 或Intel的RealSense傳感器。
5. 根據(jù)權利要求1所述的一種簡便的三維頭部模型生成系統(tǒng)，其特征在于，所述系統(tǒng) 的軟件部分包含如下步驟： (1) 利用彩色攝像機采集的正面人臉圖像重建初始三維頭部模型； (2) 在正面人臉圖像中提取人臉特征點； (3) 結合初始三維頭部模型、人臉特征點和深度傳感器獲得的深度圖像估計徑向基函 數(shù)的系數(shù)； (4) 基于徑向基函數(shù)的初始三維頭部模型優(yōu)化重構。
6. 根據(jù)權利要求5所述的利用彩色攝像機采集的正面人臉圖像重建初始三維頭部 模型步驟，其特征在于，該初始三維頭部模型采用基于形變模型的技術（3DMorphable Model)得到。
7. 根據(jù)權利要求5所述的在正面人臉圖像中提取人臉特征點步驟，其特征在于，彩色 圖像中的人臉特征點位置通過主動形狀模型技術（ActiveShapeModel，ASM)提取得到。
8. 根據(jù)權利要求5所述的軟件算法部分，其特征在于，通過深度圖數(shù)據(jù)對初始三維頭 部模型的深度信息進行優(yōu)化調(diào)整，得到更加逼真的三維頭部模型。
【文檔編號】G06T17/30GK104376599SQ201410752439
【公開日】2015年2月25日 申請日期:2014年12月11日 優(yōu)先權日:2014年12月11日
【發(fā)明者】許奇明 申請人:蘇州麗多網(wǎng)絡科技有限公司