和變化；
(4)利用視頻錄制控制模塊將人物在虛擬場(chǎng)景內(nèi)的活動(dòng)和變化進(jìn)行視頻錄制；
(5)利用文件處理模塊在虛擬背景中插入圖片或視頻；
(6)利用系統(tǒng)界面捕抓模塊對(duì)軟件的顯示輸出信號(hào)進(jìn)行獲取，視頻信號(hào)對(duì)應(yīng)輸入到虛擬場(chǎng)景的顯示框中，與背景進(jìn)行合成顯示。
[0037]步驟(1)中，人物摳象基于顏色采樣與平滑優(yōu)化的方式實(shí)現(xiàn)，摳像方程式為:C=aF+(l-a)B，基于 RGB 三色的摳像方程為:Cr, g, b=aFr, g, b+(l_a)Br, g, b ;其中 r, g, b 三色的色值，采用系統(tǒng)實(shí)時(shí)采集的背景色的某一個(gè)像素點(diǎn)的色值，背景顏色采用與R(255，0，0)、G (0,255,0), B (0，0，255)相近色值的顏色；在這個(gè)范圍之外的像素作為前景，相應(yīng)的Alpha通道值設(shè)為1，在這個(gè)范圍之內(nèi)的像素作為背景，相應(yīng)的Alpha通道值設(shè)為0 ;平滑優(yōu)化采用目標(biāo)像素點(diǎn)的色值附近一定范圍內(nèi)的加權(quán)平均值，做為邊緣優(yōu)化的參照值。
[0038]在基于顏色采樣的摳像a值的設(shè)定和優(yōu)化方面，在摳像a值設(shè)定方面采用實(shí)時(shí)采集的背景色的某一個(gè)像素點(diǎn)的色值及附近一定范圍像素點(diǎn)的加權(quán)平均值，在實(shí)際的操作過(guò)程中只需要將鼠標(biāo)移動(dòng)至目標(biāo)背景色范圍，點(diǎn)擊鼠標(biāo)，系統(tǒng)就可以計(jì)算出a值，無(wú)需手動(dòng)輸入色值。
[0039]步驟(2)中，將3D MAX中設(shè)計(jì)的場(chǎng)景建模文件重新編譯為以.ASE或.XND為后綴的場(chǎng)景執(zhí)行文件，以這兩種格式編譯后的場(chǎng)景文件只能執(zhí)行，并不含帶原始的場(chǎng)景建模文件，但是可以對(duì)場(chǎng)景以視角的方式進(jìn)行遠(yuǎn)近、旋轉(zhuǎn)的控制，類(lèi)似與攝像機(jī)變焦和云臺(tái)的操作控制。
[0040]步驟(3)中，通過(guò)摳像前景和.ASE、.XND文件的合成，就實(shí)現(xiàn)了攝像機(jī)拍攝的人物在虛擬空間內(nèi)的活動(dòng)和變化。利用虛擬合成技術(shù)，可將人物虛擬到任意空間內(nèi)，并在虛擬的空間內(nèi)進(jìn)行活動(dòng)，利用此技術(shù)可實(shí)現(xiàn)老師和學(xué)生在固定場(chǎng)所下模擬出豐富的場(chǎng)景下的教學(xué)和實(shí)踐。如圖2所示，系統(tǒng)導(dǎo)入三維場(chǎng)景以.ASE、.XND格式文件，三維場(chǎng)景通過(guò)xml配置文件自動(dòng)讀取識(shí)別三維場(chǎng)景內(nèi)容。
[0041 ] 步驟(4 )中，錄制的視頻輸出有三種:
1)如圖3所示，虛擬背景下的3D立體視頻生成技術(shù):實(shí)現(xiàn)方式為系統(tǒng)將在視頻合成后，復(fù)制生成另外一個(gè)圖像，形成左右疊加視頻輸出，通過(guò)偏光式3D電視機(jī)進(jìn)行播放，觀(guān)看者通過(guò)佩戴偏光眼鏡進(jìn)行觀(guān)看。
[0042]2)如圖5所示，高清視頻實(shí)時(shí)壓縮和錄制(包括暫停續(xù)錄功能):利用WMV和MP4高清視頻的壓縮技術(shù)，可根據(jù)需求調(diào)整高清視頻的壓縮錄制參數(shù)。系統(tǒng)借用標(biāo)準(zhǔn)的WMV和MP4視頻壓縮算法，對(duì)系統(tǒng)合成輸出的視頻信號(hào)進(jìn)行壓縮保存。暫停續(xù)錄的實(shí)現(xiàn)方式為，在錄制控制按鍵分為錄制鍵、暫停鍵和停止鍵，當(dāng)點(diǎn)擊暫停鍵時(shí)壓縮錄制的視頻文件暫時(shí)保存在主機(jī)內(nèi)存中不寫(xiě)入硬盤(pán)，當(dāng)再點(diǎn)擊錄制按鍵時(shí)在內(nèi)存中的文件中繼續(xù)壓縮緩存，直致點(diǎn)擊停止按鍵時(shí)才會(huì)將整個(gè)文件寫(xiě)入硬盤(pán)生成視頻文件。
[0043]3)如圖6所示，利用流媒體文件生成技術(shù)，將虛擬合成視頻在壓縮后實(shí)時(shí)利用MMS流媒體協(xié)議和TCP/IP網(wǎng)絡(luò)協(xié)議進(jìn)行傳輸，具體方法為在瀏覽器中鍵入主機(jī)IP地址即可，MMS流媒體協(xié)議可以直接調(diào)用windows自帶media play播放器進(jìn)行解碼播放。移動(dòng)終端在基于10S和安卓操作系統(tǒng)下安裝VLC流媒體播放軟件，都可獲取流媒體視頻文件并進(jìn)行解碼瀏覽。
[0044]如圖4所示，步驟(4)和(5)實(shí)現(xiàn)多文件格式與虛擬背景的全方位融合:利用虛擬背景對(duì)多格式文件的實(shí)時(shí)捕捉和合成技術(shù)，虛擬背景的畫(huà)中畫(huà)屏幕空間內(nèi)可顯示如PPT、WORD、EXCEL、PDF、photoshop、3DMAX、畫(huà)圖、After Effects 等眾多文件格式的文件。
[0045]1) PPT加載方式為，利用系統(tǒng)的文檔轉(zhuǎn)換程序，將PPT文檔格式轉(zhuǎn)換成PNG、JPG、BMP等圖片格式，在虛擬場(chǎng)景中顯示和控制。
[0046]2)視頻加載方式為，利用系統(tǒng)的內(nèi)建播放器對(duì)視頻進(jìn)行解碼播放，支持視頻格式包括av1、wmv、mp4，播放器控制功能包括播放、暫停、循環(huán)播放和快進(jìn)。
[0047]3) Windows 自帶軟件和第三方程序(如:W0RD、EXCEL、PDF、photoshop、3DMAX、畫(huà)圖、After Effects等)的加載方式為:系統(tǒng)內(nèi)建電腦桌面程序顯示視頻的捕捉功能，對(duì)軟件的顯示輸出信號(hào)進(jìn)行獲取，視頻信號(hào)對(duì)應(yīng)輸入到虛擬場(chǎng)景的顯示框中，與背景進(jìn)行合成顯不ο
【主權(quán)項(xiàng)】
1.一種基于3D虛擬合成技術(shù)的微課錄制系統(tǒng)，其特征在于，包括: 用于對(duì)人物進(jìn)行拍攝取像的視頻攝像設(shè)備； 用于對(duì)人物進(jìn)行收音的音頻錄入設(shè)備； 用于對(duì)視頻攝像設(shè)備拍攝的視頻進(jìn)行人物摳像的人物采集處理模塊； 用于生成虛擬場(chǎng)景文件的場(chǎng)景處理模塊； 用于將摳像前景與虛擬場(chǎng)景文件虛擬合成，實(shí)現(xiàn)視頻攝像設(shè)備拍攝的人物在虛擬場(chǎng)景內(nèi)的活動(dòng)和變化的圖像合成模塊； 用于將人物在虛擬場(chǎng)景內(nèi)的活動(dòng)和變化進(jìn)行視頻錄制的視頻錄制控制模塊。2.根據(jù)權(quán)利要求1所述的一種基于3D虛擬合成技術(shù)的微課錄制系統(tǒng)，其特征在于:系統(tǒng)還包括在虛擬背景中插入圖片或視頻的文件處理模塊。3.根據(jù)權(quán)利要求1所述的一種基于3D虛擬合成技術(shù)的微課錄制系統(tǒng)，其特征在于:系統(tǒng)還包括對(duì)軟件的顯示輸出信號(hào)進(jìn)行獲取，視頻信號(hào)對(duì)應(yīng)輸入到虛擬場(chǎng)景的顯示框中與背景進(jìn)行合成顯示的系統(tǒng)界面捕抓模塊。4.一種基于3D虛擬合成技術(shù)的微課錄制方法，其特征在于，包括以下步驟: (1)利用人物采集處理模塊對(duì)視頻攝像設(shè)備拍攝的視頻的人物進(jìn)行摳像； (2)利用場(chǎng)景處理模塊生成虛擬場(chǎng)景文件； (3)利用圖像合成模塊將摳像前景與虛擬場(chǎng)景文件虛擬合成，實(shí)現(xiàn)視頻攝像設(shè)備拍攝的人物在虛擬場(chǎng)景內(nèi)的活動(dòng)和變化； (4)利用視頻錄制控制模塊將人物在虛擬場(chǎng)景內(nèi)的活動(dòng)和變化進(jìn)行視頻錄制。5.根據(jù)權(quán)利要求4所述的一種基于3D虛擬合成技術(shù)的微課錄制方法，其特征在于:步驟(1)是基于鼠標(biāo)點(diǎn)擊獲取數(shù)值的色鍵摳像算法:人物摳象基于顏色采樣與平滑優(yōu)化的方式實(shí)現(xiàn)，摳像方程式為:C=aF+(l-a)B，基于RGB三色的摳像方程為:Cr, g, b=aFr, g, b+(l_a)Br, g, b ;其中r，g, b三色的色值，采用系統(tǒng)實(shí)時(shí)采集的背景色的某一個(gè)像素點(diǎn)的色值，背景顏色采用與R(255，0，0)、G (0,255,0), B (0，0，255)相近色值的顏色；在這個(gè)范圍之外的像素作為前景，相應(yīng)的Alpha通道值設(shè)為1，在這個(gè)范圍之內(nèi)的像素作為背景，相應(yīng)的Alpha通道值設(shè)為0 ;平滑優(yōu)化采用目標(biāo)像素點(diǎn)的色值附近一定范圍內(nèi)的加權(quán)平均值，做為邊緣優(yōu)化的參照值。6.根據(jù)權(quán)利要求4所述的一種基于3D虛擬合成技術(shù)的微課錄制方法，其特征在于:步驟(2)中，將3D MAX中設(shè)計(jì)的場(chǎng)景建模文件重新編譯為以.ASE或.XND為后綴的場(chǎng)景執(zhí)行文件。7.根據(jù)權(quán)利要求4所述的一種基于3D虛擬合成技術(shù)的微課錄制方法，其特征在于:利用文件處理模塊在虛擬背景中插入圖片或視頻，包括: DPPT加載方式為:利用系統(tǒng)的文檔轉(zhuǎn)換程序，將PPT文檔格式轉(zhuǎn)換成PNG、JPG、BMP的圖片格式，在虛擬場(chǎng)景中顯示和控制； 2)視頻加載方式為:利用系統(tǒng)的內(nèi)建播放器對(duì)視頻進(jìn)行解碼播放，支持視頻格式包括av1、wmv、mp4，播放器控制功能包括播放、暫停、循環(huán)播放和快進(jìn)。8.根據(jù)權(quán)利要求4所述的一種基于3D虛擬合成技術(shù)的微課錄制方法，其特征在于:利用系統(tǒng)界面捕抓模塊對(duì)軟件的顯示輸出信號(hào)進(jìn)行獲取，視頻信號(hào)對(duì)應(yīng)輸入到虛擬場(chǎng)景的顯示框中，與背景進(jìn)行合成顯示。9.根據(jù)權(quán)利要求4所述的一種基于3D虛擬合成技術(shù)的微課錄制方法，其特征在于:步驟(4)中，虛擬背景下的3D立體視頻生成方法:在視頻合成后，復(fù)制生成另外一個(gè)圖像，形成左右疊加視頻輸出，通過(guò)偏光式3D電視機(jī)進(jìn)行播放，觀(guān)看者通過(guò)佩戴偏光眼鏡進(jìn)行觀(guān)看。10.根據(jù)權(quán)利要求4所述的一種基于3D虛擬合成技術(shù)的微課錄制方法，其特征在于:步驟(4)中，利用視頻錄制控制模塊生產(chǎn)壓縮視頻和流媒體視頻。
【專(zhuān)利摘要】一種基于3D虛擬合成技術(shù)的微課錄制系統(tǒng)及方法，（1）利用人物采集處理模塊對(duì)視頻攝像設(shè)備拍攝的視頻的人物進(jìn)行摳像；（2）利用場(chǎng)景處理模塊生成虛擬場(chǎng)景文件；（3）利用圖像合成模塊將摳像前景與虛擬場(chǎng)景文件虛擬合成，實(shí)現(xiàn)視頻攝像設(shè)備拍攝的人物在虛擬場(chǎng)景內(nèi)的活動(dòng)和變化；（4）利用視頻錄制控制模塊將人物在虛擬場(chǎng)景內(nèi)的活動(dòng)和變化進(jìn)行視頻錄制。本發(fā)明利用虛擬合成技術(shù)，可將人物虛擬到任意空間內(nèi)，并在虛擬的空間內(nèi)進(jìn)行活動(dòng)，利用此技術(shù)可實(shí)現(xiàn)老師和學(xué)生在固定場(chǎng)所下模擬出豐富的場(chǎng)景下的教學(xué)和實(shí)踐。
【IPC分類(lèi)】H04N21/472, H04N21/433, H04N13/00
【公開(kāi)號(hào)】CN105376547
【申請(qǐng)?zhí)枴緾N201510793629
【發(fā)明人】馮大治
【申請(qǐng)人】廣州市英途信息技術(shù)有限公司
【公開(kāi)日】2016年3月2日
【申請(qǐng)日】2015年11月17日