1.一種基于語音實時驅動人物模型的表情和姿態(tài)的方法,用于驅動說話的虛擬現(xiàn)實人物模型的表情和姿態(tài),包括:
獲取語音數(shù)據(jù),語音驅動模塊同步接收語音流和對應語音流設置的情緒標簽;
計算基本動畫的權重值,所述語音驅動模塊根據(jù)所述情緒標簽和所述語音流的音量來計算出平靜、快樂、憤怒、恐懼、悲傷5種基本表情動畫的權重值;
計算修飾動畫的權重值,所述語音驅動模塊根據(jù)所述情緒標簽和所述語音流的音量來計算出眉毛、眼睛、嘴角修飾動畫的權重值;
計算基本口型動畫的權重值,所述語音驅動模塊對所述語音流進行口型動畫分析,計算出基本發(fā)音PP、FF、TH、DD、H、CH、SS、NN、RR、AH、EI、IH、OH、WU基本口型動畫的權重值;
修正合成動畫,所述語音驅動模塊修正合成的所述基本表情動畫、所述修飾動畫和所述基本口型動畫,以生成臉部模型網(wǎng)格;
輸出臉部表情網(wǎng)格,所述語音驅動模塊輸出所述臉部表情網(wǎng)格。
2.根據(jù)權利要求1所述的方法,還包括:
在獲取語音數(shù)據(jù)前通過狀態(tài)機根據(jù)相應場景控制人物模型的身體動作。
3.根據(jù)權利要求1所述的方法,其中,所述獲取語音數(shù)據(jù)包括:
UE4引擎并行渲染人物模型,以輸出語音。
4.根據(jù)權利要求1所述的方法,其中,所述獲取語音數(shù)據(jù)包括:
在每一個所述語音流上人工設置所述情緒標簽;
通過語義引擎選擇人物模型的文字答復,其中,語義引擎設置有意圖分析模塊;
通過文字轉語音技術(TTS)將文字答復轉換為語音輸出至所述語音驅動模塊。
5.根據(jù)權利要求1-4中任一項所述的方法,還包括:
UE4引擎接收所述語音驅動模塊輸出的所述臉部模型網(wǎng)格;
UE4引擎控制語音、所述臉部模型網(wǎng)格和身體動作的同步并輸出。
6.根據(jù)權利要求1-4中任一項所述的方法,其中,所述計算基本動畫的權重值包括:
為每個基本表情動畫人工預設基本表情動畫系數(shù);
根據(jù)所述基本表情動畫的動畫系數(shù)來計算權重值。
7.根據(jù)權利要求1-4中任一項所述的方法,其中,所述計算修飾動畫的權重值包括:
為每個修飾動畫人工預設修飾動畫系數(shù);
根據(jù)所述修飾動畫系數(shù)來計算權重值。
8.根據(jù)權利要求1-4中任一項所述的方法,其中,所述計算基本口型動畫的權重值包括:
對每個發(fā)音制作一個口型動畫;
根據(jù)當前語音和基本發(fā)音模板進行匹配,計算出匹配度,其中,匹配度范圍為0~1.0。
9.根據(jù)權利要求6所述的方法,其中,所述根據(jù)所述基本表情動畫的動畫系數(shù)來計算權重值包括:
計算平靜的情緒標簽相應位置的音量、快樂的情緒標簽相應位置的音量、悲傷的情緒標簽相應位置的音量、憤怒的情緒標簽相應位置的音量、恐懼的情緒標簽相應位置的音量;
根據(jù)聲音音量和預設的音量最大值與音量最小值來計算出平靜系數(shù)、快樂系數(shù)、悲傷系數(shù)、憤怒系數(shù)和恐懼系數(shù);
根據(jù)同一位置的平靜系數(shù)、快樂系數(shù)、悲傷系數(shù)、憤怒系數(shù)和恐懼系數(shù)來合成基本表情動畫的權重值,以匹配基本表情動畫。
10.根據(jù)權利要求7所述的方法,其中,所述根據(jù)所述修飾動畫系數(shù)來計算權重值包括:
計算眉毛相應位置的音量、眼睛相應位置的音量、嘴角相應位置的音量;
根據(jù)聲音音量和預設的音量最大值與音量最小值來計算出眉毛系數(shù)、眼睛系數(shù)和嘴角系數(shù);
根據(jù)同一位置的眉毛系數(shù)、眼睛系數(shù)和嘴角系數(shù)來合成修飾動畫的權重值,以匹配修飾動畫。