虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)的制作方法
【專利摘要】本實(shí)用新型公開了一種虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)，包括采集實(shí)時(shí)視頻數(shù)據(jù)的視頻采集設(shè)備；通過AR和體感方式識(shí)別實(shí)時(shí)動(dòng)作信號(hào)的動(dòng)作識(shí)別組件；輸入控制指令的虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備；分別與視頻采集設(shè)備、動(dòng)作識(shí)別組件及虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備相連接、并整合實(shí)時(shí)視頻數(shù)據(jù)、實(shí)時(shí)動(dòng)作信號(hào)和/或控制指令輸出播放信號(hào)的數(shù)據(jù)整合裝置；以及通過播放信號(hào)呈現(xiàn)出實(shí)時(shí)場(chǎng)景與虛擬場(chǎng)景效果的VR眼鏡，同時(shí)可輸出到外部屏幕以及輸出錄影。本實(shí)用新型的虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)中，數(shù)據(jù)整合裝置整合實(shí)時(shí)視頻數(shù)據(jù)、實(shí)時(shí)動(dòng)作信號(hào)和/或控制指令輸出播放信號(hào)供VR眼鏡呈現(xiàn)出實(shí)時(shí)場(chǎng)景效果，結(jié)合了真人的生動(dòng)性和虛擬現(xiàn)實(shí)技術(shù)中的沉浸感，具有增強(qiáng)互動(dòng)性的優(yōu)點(diǎn)。
【專利說明】
虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)
技術(shù)領(lǐng)域
[0001]本實(shí)用新型涉及虛擬現(xiàn)實(shí)以及增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，尤其涉及一種虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)。
【背景技術(shù)】
[0002]目前的虛擬現(xiàn)實(shí)技術(shù)(簡(jiǎn)稱VR技術(shù))領(lǐng)域中，存在諸多缺陷，例如:
[0003]1、實(shí)時(shí)摳像合成大量應(yīng)用在虛擬演播室，電影實(shí)時(shí)特效合成等領(lǐng)域，局限于被動(dòng)的觀看，無法雙向互動(dòng)，無參與感和沉浸感O
[0004]2、觀看方向是定向的，存在很大的局限性。
[0005]3、虛擬演播室通過電視播出，與觀眾是隔離的，電影實(shí)時(shí)特效合成局限于制作公司制作應(yīng)用，使用范圍比較窄。
[0006]4、目前的VR技術(shù)集中在全景視頻和VR游戲的領(lǐng)域，全景視頻互動(dòng)性較差，VR游戲虛擬人物還難以達(dá)到最真實(shí)的效果而且制作成本高。
【實(shí)用新型內(nèi)容】
[0007]本實(shí)用新型要解決的技術(shù)問題在于，提供一種改進(jìn)的虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)。
[0008]本實(shí)用新型解決其技術(shù)問題所采用的技術(shù)方案是:提供一種虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)，包括
[0009]采集實(shí)時(shí)視頻數(shù)據(jù)的視頻采集設(shè)備；
[0010]通過AR和體感方式識(shí)別實(shí)時(shí)動(dòng)作信號(hào)的動(dòng)作識(shí)別組件；
[0011 ]輸入控制指令的虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備；
[0012]分別與視頻采集設(shè)備、動(dòng)作識(shí)別組件及虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備相連接、并整合實(shí)時(shí)視頻數(shù)據(jù)、實(shí)時(shí)動(dòng)作信號(hào)和/或控制指令輸出播放信號(hào)的數(shù)據(jù)整合裝置;以及
[0013]與數(shù)據(jù)整合裝置連接，并播放播放信號(hào)呈現(xiàn)出實(shí)時(shí)場(chǎng)景效果的VR眼鏡、和/或外部屏幕輸出模塊、和/或輸出錄影模塊。
[0014]優(yōu)選地，系統(tǒng)還包括與數(shù)據(jù)整合裝置連接、并采集實(shí)時(shí)音頻數(shù)據(jù)輸出至數(shù)據(jù)整合裝置的音頻采集設(shè)備。
[0015]優(yōu)選地，數(shù)據(jù)整合裝置包括:
[0016]與視頻采集設(shè)備相連接、對(duì)實(shí)時(shí)視頻數(shù)據(jù)進(jìn)行摳圖處理并得到摳圖后視頻數(shù)據(jù)的視頻摳圖模塊；
[0017]與音頻采集設(shè)備及視頻摳圖模塊相連接、將實(shí)時(shí)音頻數(shù)據(jù)加載到摳圖后視頻數(shù)據(jù)上的首頻加載t旲塊；
[0018]與動(dòng)作識(shí)別組件、音頻加載模塊及虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備相連接、將實(shí)時(shí)動(dòng)作信號(hào)和/或控制指令的效果合成入摳圖后視頻數(shù)據(jù)并得到合成后視頻數(shù)據(jù)的虛擬合成模塊。
[0019]優(yōu)選地，虛擬合成模塊包括
[0020]與所述動(dòng)作識(shí)別組件、所述音頻加載模塊及所述虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備相連接、將所述實(shí)時(shí)動(dòng)作信號(hào)和/或控制指令的效果合成入所述摳圖后視頻數(shù)據(jù)并得到合成后視頻數(shù)據(jù)的效果合成模塊；
[0021]與效果合成模塊相連接、將合成后視頻數(shù)據(jù)中加載立體主題并輸出播放信號(hào)的主題加載模塊；以及與主題加載模塊相連接、對(duì)合成后視頻數(shù)據(jù)加載立體特效的特效加載模塊。
[0022]優(yōu)選地，主題加載模塊所加載的立體主題包括實(shí)時(shí)虛擬場(chǎng)景主題和手勢(shì)道具AR識(shí)別主題。
[0023]優(yōu)選地，主題加載模塊內(nèi)包括存儲(chǔ)器，存儲(chǔ)器內(nèi)儲(chǔ)存有一立體主題調(diào)用庫。
[0024]優(yōu)選地，動(dòng)作識(shí)別組件包括通過AR方式進(jìn)行道具跟蹤的道具識(shí)別模塊和識(shí)別使用者動(dòng)作的動(dòng)作識(shí)別模塊。
[0025]優(yōu)選地，動(dòng)作識(shí)別模塊包括一由使用者控制并追蹤使用者動(dòng)作的追蹤設(shè)備以及一實(shí)時(shí)感應(yīng)追蹤設(shè)備的動(dòng)態(tài)變化并識(shí)別出實(shí)時(shí)動(dòng)作信號(hào)的體感感應(yīng)設(shè)備。
[0026]優(yōu)選地，虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備和VR眼鏡各包括至少一組。
[0027]優(yōu)選地，系統(tǒng)還包括背景屏幕，背景屏幕為弧幕綠屏或360°環(huán)幕綠屏；和/或，系統(tǒng)還包括對(duì)使用者打光的照明組件。
[0028]實(shí)施本實(shí)用新型的有益效果是:本實(shí)用新型的虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)中，數(shù)據(jù)整合裝置整合實(shí)時(shí)視頻數(shù)據(jù)、實(shí)時(shí)動(dòng)作信號(hào)和/或控制指令輸出播放信號(hào)供VR眼鏡呈現(xiàn)出實(shí)時(shí)場(chǎng)景效果，結(jié)合了真人的生動(dòng)性和虛擬現(xiàn)實(shí)技術(shù)中的沉浸感，交互性，具有增強(qiáng)互動(dòng)性的優(yōu)點(diǎn)。
[0029]另外，本系統(tǒng)具有結(jié)合了增強(qiáng)現(xiàn)實(shí)技術(shù)(簡(jiǎn)稱AR技術(shù))和VR技術(shù)、采用VR模式進(jìn)行觀看從而360度無死角并沉浸感強(qiáng)、利用AR技術(shù)可更換虛擬表演道具從而達(dá)到用戶與表演者、用戶與3d場(chǎng)景、表演者與3d場(chǎng)景、用戶與用戶之間的互動(dòng)等優(yōu)點(diǎn)。
【附圖說明】
[0030]下面將結(jié)合附圖及實(shí)施例對(duì)本實(shí)用新型作進(jìn)一步說明，附圖中:
[0031]圖1是本實(shí)用新型一些實(shí)施例中虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)的原理示意圖；
[0032]圖2是圖1中動(dòng)作識(shí)別組件的原理示意圖。
【具體實(shí)施方式】
[0033]為了對(duì)本實(shí)用新型的技術(shù)特征、目的和效果有更加清楚的理解，現(xiàn)對(duì)照附圖詳細(xì)說明本實(shí)用新型的【具體實(shí)施方式】。
[0034]如圖1示出了本實(shí)用新型一些實(shí)施例中的虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)，包括視頻采集設(shè)備10、音頻采集設(shè)備20、動(dòng)作識(shí)別組件30、虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40、數(shù)據(jù)整合裝置60、VR眼鏡50、背景屏幕70以及照明組件80，其中，數(shù)據(jù)整合裝置60分別與視頻采集設(shè)備10、音頻采集設(shè)備20、動(dòng)作識(shí)別組件30、虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40及VR眼鏡50相連接，背景屏幕70用作使用者的背景，照明組件80用于對(duì)使用者進(jìn)行照明，以獲得更佳的場(chǎng)景效果。數(shù)據(jù)整合裝置60整合視頻采集設(shè)備10、音頻采集設(shè)備20、動(dòng)作識(shí)別組件30、虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40的實(shí)時(shí)視頻數(shù)據(jù)、實(shí)時(shí)音頻數(shù)據(jù)、實(shí)時(shí)動(dòng)作信號(hào)和/或控制指令后輸出一播放信號(hào)至VR眼鏡50和/或外部屏幕輸出模塊51、和/或輸出錄影模塊52，VR眼鏡50和/或外部屏幕輸出模塊51、和/或輸出錄影模塊52播放播放信號(hào)呈現(xiàn)出實(shí)時(shí)的場(chǎng)景效果。
[0035]其中，視頻采集設(shè)備10用于采集實(shí)時(shí)視頻數(shù)據(jù)，并將實(shí)時(shí)視頻數(shù)據(jù)輸出至數(shù)據(jù)整合裝置60。作為選擇，視頻采集設(shè)備10可為攝像頭或高端視頻采集設(shè)備，并可以設(shè)置多個(gè)機(jī)位，從而可得到多個(gè)角度不同的視頻資料，使得最終的場(chǎng)景效果更佳立體、逼真。優(yōu)選地，視頻采集設(shè)備10包括至少兩個(gè)機(jī)位。
[0036]音頻采集設(shè)備20與數(shù)據(jù)整合裝置60連接，并采集實(shí)時(shí)音頻數(shù)據(jù)輸出至數(shù)據(jù)整合裝置60。作為選擇，音頻采集設(shè)備20可以設(shè)置也可以不設(shè)置，在設(shè)置的情況下，可獲取更多的現(xiàn)場(chǎng)數(shù)據(jù)，使得最終場(chǎng)景效果更佳。
[0037]動(dòng)作識(shí)別組件30用于通過AR和體感方式識(shí)別實(shí)時(shí)動(dòng)作信號(hào)。結(jié)合圖2所示，優(yōu)選地，動(dòng)作識(shí)別組件30包括道具識(shí)別模塊34和動(dòng)作識(shí)別模塊35，其中，道具識(shí)別模塊34通過AR方式進(jìn)行道具跟蹤，動(dòng)作識(shí)別模塊35依靠體感設(shè)備識(shí)別使用者的動(dòng)作。識(shí)別模塊35包括追蹤設(shè)備31和體感感應(yīng)設(shè)備32，追蹤設(shè)備31由使用者控制并追蹤使用者動(dòng)作，體感感應(yīng)設(shè)備32可實(shí)時(shí)感應(yīng)追蹤設(shè)備31的動(dòng)態(tài)變化并識(shí)別出實(shí)時(shí)動(dòng)作信號(hào)。作為選擇，動(dòng)作識(shí)別組件30也可以為常見的體感裝置。
[0038]再如圖1所示，虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40用于輸入控制指令，并將控制信號(hào)傳輸至數(shù)據(jù)整合裝置60。其原理是，虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40是通過感應(yīng)器件或者按鍵等裝置實(shí)時(shí)判斷出使用者的操作，從而根據(jù)使用者的操作得出該控制指令。作為選擇，虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40可以為可穿戴的手套、控制棒、激光槍等，從而可能夠傳送控制指令到虛擬現(xiàn)實(shí)系統(tǒng)，實(shí)現(xiàn)對(duì)應(yīng)的操作，例如射擊、控制某些物體等。
[0039]VR眼鏡50、和/或外部屏幕輸出模塊51、和/或輸出錄影模塊52與數(shù)據(jù)整合裝置60連接，并播放播放信號(hào)呈現(xiàn)出實(shí)時(shí)場(chǎng)景效果。VR眼鏡50、外部屏幕輸出模塊51、輸出錄影模塊52可以根據(jù)具體應(yīng)用需求選擇性地設(shè)置之一、或者之二、或者同時(shí)全部設(shè)置。虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40和VR眼鏡50分別用來輸入控制指令給數(shù)據(jù)整合裝置60以及播放實(shí)時(shí)場(chǎng)景效果，因此，可通過增加虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40和VR眼鏡50的方式增加使用者人數(shù)。可以理解地，虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40和VR眼鏡50往往成對(duì)配置，即虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40和VR眼鏡50各包括至少一組，每增加一組，可多供一人使用，從而實(shí)現(xiàn)本系統(tǒng)即可單人操作使用，也可多人互動(dòng)使用。在多人互動(dòng)使用的情況下，動(dòng)作識(shí)別組件30針對(duì)表演者進(jìn)行動(dòng)作識(shí)另IJ，虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備是針對(duì)VR眼鏡50、和/或外部屏幕輸出模塊51、和/或輸出錄影模塊52的用戶進(jìn)行手勢(shì)識(shí)別。優(yōu)選地，還可在虛擬現(xiàn)實(shí)技術(shù)中結(jié)合空間定位設(shè)備，讓用戶戴著VR眼鏡在場(chǎng)地中行走，與表演者互動(dòng)。
[0040]進(jìn)一步地，還可通過同時(shí)配置多個(gè)本系統(tǒng)，且各個(gè)系統(tǒng)之間相互聯(lián)網(wǎng)，實(shí)現(xiàn)多個(gè)使用者共享場(chǎng)景聯(lián)網(wǎng)互動(dòng)。
[0041]數(shù)據(jù)整合裝置60分別與視頻采集設(shè)備10、動(dòng)作識(shí)別組件30及虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40相連接，并且數(shù)據(jù)整合裝置60整合實(shí)時(shí)視頻數(shù)據(jù)、實(shí)時(shí)動(dòng)作信號(hào)和/或控制指令輸出播放信號(hào)。數(shù)據(jù)整合裝置60與其他組件之間的數(shù)據(jù)通過有線網(wǎng)絡(luò)或者無線網(wǎng)絡(luò)交互。數(shù)據(jù)整合裝置60包括視頻摳圖模塊61、音頻加載模塊62和虛擬合成模塊69，其中，虛擬合成模塊69包括效果合成模塊63、主題加載模塊64以及特效加載模塊65。
[0042]其中，視頻摳圖模塊61與視頻采集設(shè)備10相連接，對(duì)實(shí)時(shí)視頻數(shù)據(jù)進(jìn)行摳圖處理并得到摳圖后視頻數(shù)據(jù)?？梢岳斫獾?，視頻摳圖模塊61可以為常見的實(shí)現(xiàn)相關(guān)視頻摳圖功能的芯片，其可以通過軟件方式或者硬件方式運(yùn)行?；蛘?，視頻摳圖模塊61還可以為純硬件方式實(shí)現(xiàn)。
[0043]音頻加載模塊62與音頻采集設(shè)備20及視頻摳圖模塊61相連接，將實(shí)時(shí)音頻數(shù)據(jù)加載到摳圖后視頻數(shù)據(jù)上。在一些實(shí)施例中，音效加載模塊可以設(shè)置也可以不設(shè)置，在設(shè)置的情況下，可根據(jù)音頻采集設(shè)備20的設(shè)置而處理數(shù)據(jù)，或者，也可以在音頻采集設(shè)備20不設(shè)置的情況下，加載系統(tǒng)中已經(jīng)存儲(chǔ)的音頻數(shù)據(jù)。可以理解地，音頻加載模塊62可以為常見的實(shí)現(xiàn)相關(guān)音頻加載功能的芯片，其可以通過軟件方式或者硬件方式運(yùn)行。或者，音頻加載模塊62還可以為純硬件方式實(shí)現(xiàn)。
[0044]效果合成模塊63與動(dòng)作識(shí)別組件30、音頻加載模塊62及虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40相連接、將實(shí)時(shí)動(dòng)作信號(hào)和/或控制指令的效果合成入摳圖后視頻數(shù)據(jù)并得到合成后視頻數(shù)據(jù)。可以理解地，效果合成模塊63可以為常見的實(shí)現(xiàn)相關(guān)效果合成功能的芯片，其可以通過軟件方式或者硬件方式運(yùn)行?；蛘撸Ч铣赡K63還可以為純硬件方式實(shí)現(xiàn)。
[0045]主題加載模塊64與效果合成模塊63相連接，將合成后視頻數(shù)據(jù)中加載立體主題并輸出播放信號(hào)。主題加載模塊64所加載的立體主題包括實(shí)時(shí)虛擬場(chǎng)景主題和手勢(shì)道具AR識(shí)別主題，即實(shí)現(xiàn)對(duì)實(shí)時(shí)虛擬場(chǎng)景主題和手勢(shì)道具AR識(shí)別主題的更換，例如，在一些打斗場(chǎng)景中，可將打斗的實(shí)時(shí)虛擬場(chǎng)景主題在雪地、櫻花、海邊等主題中切換，并且，還可根據(jù)使用者的具體需求，將手勢(shì)道具AR識(shí)別主題在刀、劍、槍等主題中切換。優(yōu)選地，主題加載模塊64內(nèi)還可包括存儲(chǔ)器，存儲(chǔ)器內(nèi)儲(chǔ)存有一立體主題調(diào)用庫，該主題調(diào)用庫可根據(jù)使用者的具體需求進(jìn)行新增主題及刪除主題等操作?？梢岳斫獾?，主題加載模塊64可以為常見的實(shí)現(xiàn)相關(guān)主題加載功能的芯片，其可以通過軟件方式或者硬件方式運(yùn)行?；蛘?，主題加載模塊64還可以為純硬件方式實(shí)現(xiàn)。
[0046]特效加載模塊65與主題加載模塊64相連接，對(duì)合成后視頻數(shù)據(jù)加載立體特效。在一些實(shí)施例中，特效加載模塊65可以設(shè)置，也可以不設(shè)置，在設(shè)置特效加載模塊65時(shí)，可對(duì)合成后視頻數(shù)據(jù)加載更多特技效果，從而帶來更佳的用戶體驗(yàn)?？梢岳斫獾?，特效加載模塊65可以為常見的實(shí)現(xiàn)相關(guān)特效加載功能的芯片，其可以通過軟件方式或者硬件方式運(yùn)行。或者，特效加載模塊65還可以為純硬件方式實(shí)現(xiàn)。
[0047]本系統(tǒng)中優(yōu)選設(shè)置背景屏幕70，背景屏幕70用作使用者的背景，背景屏幕70可以為弧幕綠屏或360°環(huán)幕綠屏。優(yōu)選地，對(duì)于360°環(huán)幕綠屏，需要用到的視頻采集設(shè)備10為全景采集設(shè)備。本系統(tǒng)中還優(yōu)選設(shè)置照明組件80，用于對(duì)使用者打光，以獲得更佳的場(chǎng)景效果。可以理解地，背景屏幕70、照明組件80的設(shè)置，均有利于后續(xù)流程中視頻采集設(shè)備10的實(shí)時(shí)視頻數(shù)據(jù)的采集，以及視頻摳圖模塊61的摳圖，使得摳圖得到的使用者人像清晰度更佳、最終的場(chǎng)景效果更佳。
[0048]以下結(jié)合圖1和圖2對(duì)本實(shí)用新型一些實(shí)施例中虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)的工作原理進(jìn)行舉例說明。在一些實(shí)施例的打斗場(chǎng)景中，使用者在背景屏幕70以及照明組件80中進(jìn)行表演，在其表演的過程中，視頻采集設(shè)備10采集實(shí)時(shí)視頻數(shù)據(jù)，音頻采集設(shè)備20采集實(shí)時(shí)音頻數(shù)據(jù)，動(dòng)作識(shí)別組件30通過體感感應(yīng)設(shè)備32識(shí)別使用者手中持有的追蹤設(shè)備31識(shí)別實(shí)時(shí)動(dòng)作信號(hào)，所有數(shù)據(jù)傳輸至數(shù)據(jù)整合裝置60。使用者戴有VR眼鏡50，實(shí)時(shí)觀看呈現(xiàn)出的實(shí)時(shí)場(chǎng)景效果，并且使用者手部戴有虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40，虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40會(huì)虛擬出一把刀、一桿槍之類的“武器”，通過虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備40來識(shí)別使用者人體的對(duì)應(yīng)手勢(shì)，來握持刀、槍，然后把人的實(shí)圖通過摳圖的方式加載到場(chǎng)景中，并控制對(duì)應(yīng)的道具，最終得到的效果就是使用者可以看到自己在場(chǎng)景中實(shí)現(xiàn)各種動(dòng)作，即把人“嵌入”到場(chǎng)景，實(shí)現(xiàn)類似電影效果。除了前述實(shí)施例以外，本系統(tǒng)還可應(yīng)用于MV表演，話劇，舞臺(tái)劇，教學(xué)演示，新聞解說等VR升級(jí)改造領(lǐng)域。
[0049]以上所述僅是本實(shí)用新型的優(yōu)選實(shí)施方式，本實(shí)用新型的保護(hù)范圍并不僅局限于上述實(shí)施例，凡屬于本實(shí)用新型思路下的技術(shù)方案均屬于本實(shí)用新型的保護(hù)范圍。應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本實(shí)用新型原理前提下的若干個(gè)改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本實(shí)用新型的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.一種虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)，其特征在于，包括 采集實(shí)時(shí)視頻數(shù)據(jù)的視頻采集設(shè)備(10); 通過AR和體感方式識(shí)別實(shí)時(shí)動(dòng)作信號(hào)的動(dòng)作識(shí)別組件(30); 輸入控制指令的虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備(40 )； 分別與所述視頻采集設(shè)備(10)、所述動(dòng)作識(shí)別組件(30)及所述虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備(40)相連接、并整合所述實(shí)時(shí)視頻數(shù)據(jù)、實(shí)時(shí)動(dòng)作信號(hào)和/或控制指令輸出播放信號(hào)的數(shù)據(jù)整合裝置(60);以及 與所述數(shù)據(jù)整合裝置(60)連接，并播放所述播放信號(hào)呈現(xiàn)出實(shí)時(shí)場(chǎng)景效果的VR眼鏡(50),和/或外部屏幕輸出模塊(51)、和/或輸出錄影模塊(52)。2.根據(jù)權(quán)利要求1所述的虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)，其特征在于，所述系統(tǒng)還包括與所述數(shù)據(jù)整合裝置(60)連接、并采集實(shí)時(shí)音頻數(shù)據(jù)輸出至所述數(shù)據(jù)整合裝置(60)的音頻采集設(shè)備(20)。3.根據(jù)權(quán)利要求2所述的虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)，其特征在于，所述數(shù)據(jù)整合裝置(60)包括: 與所述視頻采集設(shè)備(10)相連接、對(duì)所述實(shí)時(shí)視頻數(shù)據(jù)進(jìn)行摳圖處理并得到摳圖后視頻數(shù)據(jù)的視頻摳圖模塊(61); 與所述音頻采集設(shè)備(20)及所述視頻摳圖模塊(61)相連接、將所述實(shí)時(shí)音頻數(shù)據(jù)加載到所述摳圖后視頻數(shù)據(jù)上的音頻加載模塊(62); 與所述動(dòng)作識(shí)別組件(30)、所述音頻加載模塊(62)及所述虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備(40)相連接、將所述實(shí)時(shí)動(dòng)作信號(hào)和/或控制指令的效果合成入所述摳圖后視頻數(shù)據(jù)并得到合成后視頻數(shù)據(jù)的虛擬合成模塊(69)。4.根據(jù)權(quán)利要求3所述的虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)，其特征在于，所述虛擬合成模塊(69)包括 與所述動(dòng)作識(shí)別組件(30)、所述音頻加載模塊(62)及所述虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備(40)相連接、將所述實(shí)時(shí)動(dòng)作信號(hào)和/或控制指令的效果合成入所述摳圖后視頻數(shù)據(jù)并得到合成后視頻數(shù)據(jù)的效果合成模塊(63); 與所述效果合成模塊(63)相連接、將所述合成后視頻數(shù)據(jù)中加載立體主題并輸出所述播放信號(hào)的主題加載模塊(64);以及與所述主題加載模塊(64)相連接、對(duì)所述合成后視頻數(shù)據(jù)加載立體特效的特效加載模塊(65)。5.根據(jù)權(quán)利要求4所述的虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)，其特征在于，所述主題加載模塊(64)所加載的所述立體主題包括實(shí)時(shí)虛擬場(chǎng)景主題和手勢(shì)道具AR識(shí)別主題。6.根據(jù)權(quán)利要求5所述的虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)，其特征在于，所述主題加載模塊(64)內(nèi)包括存儲(chǔ)器，所述存儲(chǔ)器內(nèi)儲(chǔ)存有一立體主題調(diào)用庫。7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)，其特征在于，所述動(dòng)作識(shí)別組件(30)包括通過AR方式進(jìn)行道具跟蹤的道具識(shí)別模塊(34)和識(shí)別使用者動(dòng)作的動(dòng)作識(shí)別模塊(35)。8.根據(jù)權(quán)利要求7所述的虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)，其特征在于，所述動(dòng)作識(shí)別模塊(35)包括一由使用者控制并追蹤所述使用者動(dòng)作的追蹤設(shè)備(31)以及一實(shí)時(shí)感應(yīng)所述追蹤設(shè)備(31)的動(dòng)態(tài)變化并識(shí)別出所述實(shí)時(shí)動(dòng)作信號(hào)的體感感應(yīng)設(shè)備(32 )。9.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)，其特征在于，所述虛擬現(xiàn)實(shí)手勢(shì)輸入設(shè)備(40)和所述VR眼鏡(50)各包括至少一組。10.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的虛擬現(xiàn)實(shí)真人實(shí)時(shí)合成系統(tǒng)，其特征在于，所述系統(tǒng)還包括背景屏幕(70)，所述背景屏幕(70)為弧幕綠屏或360°環(huán)幕綠屏;和/或，所述系統(tǒng)還包括對(duì)使用者打光的照明組件(80)。
【文檔編號(hào)】H04N5/272GK205622745SQ201620418801
【公開日】2016年10月5日
【申請(qǐng)日】2016年5月10日
【發(fā)明人】倪宏偉
【申請(qǐng)人】倪宏偉