两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

基于語音實時驅動人物模型的表情和姿態(tài)的方法與流程

文檔序號:12179050閱讀:來源:國知局

技術特征:

1.一種基于語音實時驅動人物模型的表情和姿態(tài)的方法,用于驅動說話的虛擬現(xiàn)實人物模型的表情和姿態(tài),包括:

獲取語音數(shù)據(jù),語音驅動模塊同步接收語音流和對應語音流設置的情緒標簽;

計算基本動畫的權重值,所述語音驅動模塊根據(jù)所述情緒標簽和所述語音流的音量來計算出平靜、快樂、憤怒、恐懼、悲傷5種基本表情動畫的權重值;

計算修飾動畫的權重值,所述語音驅動模塊根據(jù)所述情緒標簽和所述語音流的音量來計算出眉毛、眼睛、嘴角修飾動畫的權重值;

計算基本口型動畫的權重值,所述語音驅動模塊對所述語音流進行口型動畫分析,計算出基本發(fā)音PP、FF、TH、DD、H、CH、SS、NN、RR、AH、EI、IH、OH、WU基本口型動畫的權重值;

修正合成動畫,所述語音驅動模塊修正合成的所述基本表情動畫、所述修飾動畫和所述基本口型動畫,以生成臉部模型網(wǎng)格;

輸出臉部表情網(wǎng)格,所述語音驅動模塊輸出所述臉部表情網(wǎng)格。

2.根據(jù)權利要求1所述的方法,還包括:

在獲取語音數(shù)據(jù)前通過狀態(tài)機根據(jù)相應場景控制人物模型的身體動作。

3.根據(jù)權利要求1所述的方法,其中,所述獲取語音數(shù)據(jù)包括:

UE4引擎并行渲染人物模型,以輸出語音。

4.根據(jù)權利要求1所述的方法,其中,所述獲取語音數(shù)據(jù)包括:

在每一個所述語音流上人工設置所述情緒標簽;

通過語義引擎選擇人物模型的文字答復,其中,語義引擎設置有意圖分析模塊;

通過文字轉語音技術(TTS)將文字答復轉換為語音輸出至所述語音驅動模塊。

5.根據(jù)權利要求1-4中任一項所述的方法,還包括:

UE4引擎接收所述語音驅動模塊輸出的所述臉部模型網(wǎng)格;

UE4引擎控制語音、所述臉部模型網(wǎng)格和身體動作的同步并輸出。

6.根據(jù)權利要求1-4中任一項所述的方法,其中,所述計算基本動畫的權重值包括:

為每個基本表情動畫人工預設基本表情動畫系數(shù);

根據(jù)所述基本表情動畫的動畫系數(shù)來計算權重值。

7.根據(jù)權利要求1-4中任一項所述的方法,其中,所述計算修飾動畫的權重值包括:

為每個修飾動畫人工預設修飾動畫系數(shù);

根據(jù)所述修飾動畫系數(shù)來計算權重值。

8.根據(jù)權利要求1-4中任一項所述的方法,其中,所述計算基本口型動畫的權重值包括:

對每個發(fā)音制作一個口型動畫;

根據(jù)當前語音和基本發(fā)音模板進行匹配,計算出匹配度,其中,匹配度范圍為0~1.0。

9.根據(jù)權利要求6所述的方法,其中,所述根據(jù)所述基本表情動畫的動畫系數(shù)來計算權重值包括:

計算平靜的情緒標簽相應位置的音量、快樂的情緒標簽相應位置的音量、悲傷的情緒標簽相應位置的音量、憤怒的情緒標簽相應位置的音量、恐懼的情緒標簽相應位置的音量;

根據(jù)聲音音量和預設的音量最大值與音量最小值來計算出平靜系數(shù)、快樂系數(shù)、悲傷系數(shù)、憤怒系數(shù)和恐懼系數(shù);

根據(jù)同一位置的平靜系數(shù)、快樂系數(shù)、悲傷系數(shù)、憤怒系數(shù)和恐懼系數(shù)來合成基本表情動畫的權重值,以匹配基本表情動畫。

10.根據(jù)權利要求7所述的方法,其中,所述根據(jù)所述修飾動畫系數(shù)來計算權重值包括:

計算眉毛相應位置的音量、眼睛相應位置的音量、嘴角相應位置的音量;

根據(jù)聲音音量和預設的音量最大值與音量最小值來計算出眉毛系數(shù)、眼睛系數(shù)和嘴角系數(shù);

根據(jù)同一位置的眉毛系數(shù)、眼睛系數(shù)和嘴角系數(shù)來合成修飾動畫的權重值,以匹配修飾動畫。

當前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
长岭县| 渝北区| 井陉县| 白城市| 台江县| 定州市| 平舆县| 贡觉县| 邛崃市| 霍山县| 科技| 梁平县| 玉田县| 朔州市| 铜川市| 巴东县| 台南县| 泗洪县| 衢州市| 额敏县| 昌宁县| 正镶白旗| 靖安县| 吉林市| 大同市| 青阳县| 平罗县| 金川县| 永和县| 宣威市| 中宁县| 黔东| 沂源县| 北票市| 田阳县| 沈丘县| 蒙自县| 康保县| 杨浦区| 筠连县| 汶上县|