專利名稱：真三維虛擬演播室系統(tǒng)及其實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種影視制作中的演播室系統(tǒng)，特別是一種真三維虛擬演播室系統(tǒng)及其實(shí)現(xiàn)方法。
二維虛擬演播室系統(tǒng)的技術(shù)路線是利用三維場(chǎng)景制作工具軟件(如3dmax、maya等)設(shè)計(jì)三維虛擬場(chǎng)景，按照實(shí)際拍攝現(xiàn)場(chǎng)的機(jī)位數(shù)用攝像機(jī)位置和視線方向生成較高分辨率(如2048*2048)的二維圖像；在節(jié)目拍攝過(guò)程中，將前面預(yù)先生成的圖像載入視頻圖像處理卡(每幅圖像對(duì)應(yīng)一個(gè)實(shí)際機(jī)位)，通過(guò)傳感系統(tǒng)獲得攝像機(jī)的運(yùn)動(dòng)信息(俯仰、搖移和變焦)，依據(jù)這些運(yùn)動(dòng)信息確定虛擬攝像機(jī)能夠看到的圖像范圍，并調(diào)整所能看到圖像的縮放比例以達(dá)到滿屏效果(720*576，PAL制)；將實(shí)際攝像機(jī)在藍(lán)箱中拍攝到的場(chǎng)景(人物、道具等)進(jìn)行扣像處理；將扣像處理后的場(chǎng)景和視頻處理卡輸出的圖像進(jìn)行合成，由于二者的變化都是與真實(shí)攝像機(jī)的運(yùn)動(dòng)相關(guān)聯(lián)的，因而能夠達(dá)到拍攝場(chǎng)景和虛擬圖像一致運(yùn)動(dòng)的效果。
二維半虛擬演播室系統(tǒng)的技術(shù)路線是在二維系統(tǒng)的基礎(chǔ)上，增加一層圖像作為前景信號(hào)(如桌子、柱子等物體的圖像)，形成前景-拍攝的場(chǎng)景-背景的三層圖像遮擋關(guān)系，可以實(shí)現(xiàn)人物在前景物體前面或后面的模擬三維關(guān)系。
二維和二維半虛擬演播室系統(tǒng)在實(shí)際應(yīng)用中存在以下問(wèn)題和缺點(diǎn)因?yàn)橐曨l圖像處理卡的存儲(chǔ)空間是非常有限的，所以圖像的分辨率有限，當(dāng)攝像機(jī)作變焦運(yùn)動(dòng)時(shí)虛擬背景會(huì)產(chǎn)生虛化或馬賽格現(xiàn)象，當(dāng)攝像機(jī)作搖移或俯仰運(yùn)動(dòng)時(shí)圖像的邊界常常產(chǎn)生“穿幫”現(xiàn)象，這對(duì)攝像機(jī)操作人員提出了很高要求，且大大限制了攝像機(jī)的運(yùn)動(dòng)范圍；動(dòng)畫和視頻開(kāi)窗占據(jù)圖像處理卡的獨(dú)立通道，因此二者不能同時(shí)表現(xiàn)，且同一時(shí)刻只能有一個(gè)動(dòng)畫起作用；在作多機(jī)位切換時(shí)，難以做到動(dòng)畫、視頻開(kāi)窗和背景圖像的同步切換，且背景切換容易產(chǎn)生“夾幀”現(xiàn)象；對(duì)應(yīng)每個(gè)機(jī)位的圖像按照預(yù)置的攝像機(jī)位置和視線方向預(yù)先生成，當(dāng)攝像機(jī)運(yùn)動(dòng)較大時(shí)不能保證前景和背景的正確的透視效果，從而在視覺(jué)上給人以人物在背景圖片上“飄移”的感覺(jué)，而不是人物在虛擬背景空間中活動(dòng)；當(dāng)攝像機(jī)調(diào)整位置后，背景圖像必須回到場(chǎng)景制作軟件中重新生成，對(duì)于空間較大的演播室具有很大的局限性；虛擬場(chǎng)景里的光照效果預(yù)先生成，因而當(dāng)動(dòng)畫物體運(yùn)動(dòng)和機(jī)位運(yùn)動(dòng)時(shí)，場(chǎng)景內(nèi)物體的明暗不能隨之產(chǎn)生相應(yīng)的變化，使得虛擬場(chǎng)景的畫面非常單調(diào)。
本發(fā)明的另一目的是提供實(shí)現(xiàn)真三維虛擬演播室系統(tǒng)的實(shí)現(xiàn)方法。
真三維虛擬演播室系統(tǒng)，包括一攝像機(jī)用于獲取前景圖像；一跟蹤子系統(tǒng)設(shè)置于攝像機(jī)上，用于獲取攝像機(jī)運(yùn)動(dòng)參數(shù)；一延時(shí)器其輸入與攝像機(jī)的輸出連接，用于對(duì)攝像機(jī)輸出的視頻信號(hào)延時(shí)；一圖形發(fā)生器一輸入與跟蹤子系統(tǒng)的輸出連接，根據(jù)攝像機(jī)的運(yùn)動(dòng)參數(shù)生成虛擬的三維場(chǎng)景；一摳像合成器其輸入分別與延時(shí)器和圖形發(fā)生器連接的輸出連接，將前景圖像和三維場(chǎng)景進(jìn)行圖像合成；主控計(jì)算機(jī)通過(guò)信號(hào)線與圖形發(fā)生器連接，用于控制圖形發(fā)生器；錄像設(shè)備其輸入與摳像合成器輸出連接，用于錄制合成的圖像。
真三維虛擬演播室系統(tǒng)，包括至少兩臺(tái)攝像機(jī)用于獲取前景圖像；至少兩套跟蹤子系統(tǒng)每一跟蹤子系統(tǒng)設(shè)置于一攝像機(jī)上，用于獲取攝像機(jī)運(yùn)動(dòng)參數(shù)；至少兩個(gè)延時(shí)器每一延時(shí)器的輸入與分別與一攝像機(jī)的輸出連接，用于對(duì)攝像機(jī)輸出的視頻信號(hào)延時(shí)；至少兩個(gè)圖形發(fā)生器每一圖形發(fā)生器的輸入與一跟蹤子系統(tǒng)的輸出連接，根據(jù)攝像機(jī)的運(yùn)動(dòng)參數(shù)生成虛擬的三維場(chǎng)景；至少兩個(gè)摳像合成器每一摳像合成器的輸入分別與一延時(shí)器和一圖形發(fā)生器連接的輸出連接，將前景圖像和三維場(chǎng)景進(jìn)行圖像合成；視頻切換臺(tái)其輸入與摳像合成器的輸出連接，用于切換摳像合成器的輸出；主控計(jì)算機(jī)通過(guò)網(wǎng)絡(luò)方式與圖形發(fā)生器連接，用于控制圖形發(fā)生器；錄像設(shè)備其輸入與切換臺(tái)的輸出連接，用于錄制合成的圖像。
真三維虛擬演播室的實(shí)現(xiàn)方法，包括由攝像機(jī)獲取前景圖像，并通過(guò)跟蹤系統(tǒng)獲取攝像機(jī)的運(yùn)動(dòng)參數(shù)；由延時(shí)器對(duì)攝像機(jī)輸出的視頻信號(hào)進(jìn)行延時(shí)；圖形發(fā)生器根據(jù)攝像機(jī)的運(yùn)動(dòng)參數(shù)實(shí)時(shí)生成三維虛擬場(chǎng)景的背景信號(hào)和遮掩信號(hào)；將延時(shí)后的視頻信號(hào)、三維虛擬場(chǎng)景的背景信號(hào)和遮掩信號(hào)在摳像合成器中進(jìn)行圖像合成并輸出至錄像設(shè)備。
本發(fā)明采用一對(duì)一的通道化的設(shè)計(jì)結(jié)構(gòu)方式即一臺(tái)攝像機(jī)對(duì)應(yīng)一個(gè)設(shè)備通道(通道設(shè)備包括一套傳感系統(tǒng)，一套延時(shí)系統(tǒng)，一套圖形工作站，一套圖形色鍵合成系統(tǒng))，每個(gè)通道輸出的信號(hào)就是前、后景已經(jīng)合成好的視頻信號(hào)(這樣就具備預(yù)監(jiān)功能)，可以直接在特技切換臺(tái)上與別的機(jī)位輸出信號(hào)之間做特技切，并且切換無(wú)夾幀。本發(fā)明采用模塊化的設(shè)計(jì)，保證了系統(tǒng)的順利升級(jí)如同“搭積木”一般方便快捷系統(tǒng)增加機(jī)位只是增加一套通道設(shè)備即可，不僅保護(hù)了用戶的原有投資，而且也使得系統(tǒng)的搭接安全可靠，保證了系統(tǒng)的穩(wěn)定運(yùn)行。同時(shí)，每個(gè)通道信號(hào)的合成效果可以進(jìn)行實(shí)時(shí)預(yù)監(jiān)。
本系統(tǒng)的圖形發(fā)生器根據(jù)機(jī)械式跟蹤系統(tǒng)獲取的攝像機(jī)運(yùn)動(dòng)參數(shù)實(shí)時(shí)地生成背景圖像，因而可以自動(dòng)測(cè)量鏡頭變焦非線性，并對(duì)場(chǎng)景進(jìn)行相應(yīng)的校正，以避免出現(xiàn)縮放變化時(shí)前景和背景錯(cuò)位的情況。
由于本發(fā)明采用機(jī)械式跟蹤系統(tǒng)和PC圖形發(fā)生器，因而在還保持系統(tǒng)性能的前提下解決了圖形發(fā)生器和攝像機(jī)跟蹤裝置的造價(jià)問(wèn)題，從而使其應(yīng)用能夠得以普及?？蓮V泛應(yīng)用于模擬駕駛訓(xùn)練，模擬航天器、船舶、飛行器運(yùn)行，虛擬游戲、婚紗攝影等領(lǐng)域。
攝像機(jī)用于獲取前景圖像，其輸出的信號(hào)經(jīng)延時(shí)器進(jìn)行延時(shí)，同時(shí)獲取攝像機(jī)的云臺(tái)、機(jī)架和變焦參數(shù)，在主控計(jì)算機(jī)的控制下，圖形發(fā)生器根據(jù)獲取的參數(shù)實(shí)時(shí)地生成三維場(chǎng)景，將延時(shí)后的前景圖像和三維場(chǎng)景在摳像器中進(jìn)行處理以合成圖像，然后輸出至錄像設(shè)備。
圖2和圖6所示的三維虛擬演播室系統(tǒng)主要由兩臺(tái)攝像機(jī)、兩個(gè)跟蹤子系統(tǒng)、兩個(gè)延時(shí)器、兩個(gè)圖形發(fā)生器、兩個(gè)摳像合成器、切換臺(tái)、主控計(jì)算機(jī)和錄像設(shè)備構(gòu)成。跟蹤子系統(tǒng)與

圖1所示相同。主控計(jì)算機(jī)通過(guò)集線器和網(wǎng)卡與兩個(gè)圖形發(fā)生器通訊。切換臺(tái)用于對(duì)兩個(gè)摳像合成器的輸出進(jìn)行切換。
圖1和圖2所示系統(tǒng)的實(shí)現(xiàn)原理相同，本實(shí)施例主要以圖2所示結(jié)構(gòu)為主進(jìn)行說(shuō)明。
在本系統(tǒng)中，圖形發(fā)生器還連接有錄像機(jī)，圖形發(fā)生器可將錄象機(jī)輸出的活動(dòng)圖像作為虛擬場(chǎng)景的一部分。在摳像合成器的輸出還連接有監(jiān)視器，用以觀察摳像合成器輸出圖像效果，并可通過(guò)主控計(jì)算機(jī)進(jìn)行控制。
圖3進(jìn)一步顯示了跟蹤子系統(tǒng)的結(jié)構(gòu)。跟蹤子系統(tǒng)的作用是獲取攝像機(jī)的位置信息和運(yùn)動(dòng)數(shù)據(jù)。虛擬演播室的場(chǎng)景是計(jì)算機(jī)生成的三維圖形，稱為虛擬場(chǎng)景。它的運(yùn)動(dòng)受計(jì)算機(jī)中虛擬攝像機(jī)的控制，為保證真實(shí)攝像機(jī)的前景畫面與虛擬場(chǎng)景“聯(lián)動(dòng)”，必須使這兩種攝像機(jī)的位置、拍攝角度及運(yùn)動(dòng)狀態(tài)相一致。因此，需要對(duì)真實(shí)攝像機(jī)進(jìn)行實(shí)時(shí)跟蹤。本系統(tǒng)采用機(jī)電跟蹤方式，它的優(yōu)點(diǎn)是延遲小、穩(wěn)定性好、適合攝像師操作習(xí)慣、精度高、實(shí)用。在本系統(tǒng)中，需準(zhǔn)確跟蹤云臺(tái)的PAN、TILT和鏡頭的ZOOM這三個(gè)自由度，PAN和TILT的測(cè)量精度為0.001度，ZOOM滿足所購(gòu)鏡頭的變焦倍數(shù)，能跟蹤1個(gè)象素移動(dòng)的分辨率。其構(gòu)成為檢測(cè)攝像機(jī)搖、俯仰底座的傳感器，檢測(cè)鏡頭聚焦和變焦的傳感器，以及一個(gè)與控制計(jì)算機(jī)接口的編碼盒。
參考圖4，傳感器的設(shè)置是在云臺(tái)軸線結(jié)構(gòu)間隙嵌入精密齒輪盤式結(jié)構(gòu)，并采用軟連接結(jié)構(gòu)使齒輪組在一定的彈性壓力進(jìn)行嚙合。齒輪盤式結(jié)構(gòu)具有體積小、精度高、可靠性強(qiáng)的優(yōu)點(diǎn)，即保證了傳感精度又減少齒輪的磨損。因此，在不破壞原云臺(tái)性能的前提下，保證了傳感系統(tǒng)的精度。傳感裝置是由鑲嵌在云臺(tái)轉(zhuǎn)軸上的齒輪盤、傳感器咬合齒輪、軟連接器和光電碼盤組成。搖動(dòng)攝像機(jī)時(shí)，云臺(tái)輪盤的轉(zhuǎn)動(dòng)帶動(dòng)咬合齒輪，通過(guò)軟連接器使光電碼盤產(chǎn)生相應(yīng)的轉(zhuǎn)動(dòng)，光電碼盤將機(jī)械運(yùn)動(dòng)轉(zhuǎn)換成電脈沖信號(hào)送至編碼盒。由于機(jī)加工和裝配過(guò)程中產(chǎn)生的誤差，會(huì)造成云臺(tái)轉(zhuǎn)盤和咬合齒輪之間出現(xiàn)咬合間隙或卡死的現(xiàn)象，通過(guò)軟連接器，可使它們之間的咬合控制在一定的彈性范圍內(nèi)，從而避免上述現(xiàn)象的發(fā)生。
參考圖5，各個(gè)傳感部分將各自檢測(cè)到的攝像機(jī)運(yùn)動(dòng)數(shù)據(jù)通過(guò)9芯電纜傳輸?shù)降男?zhǔn)小盒中與自己相對(duì)應(yīng)的9芯接口上(輸入接口)。傳感器的信號(hào)經(jīng)過(guò)接口電路進(jìn)行信號(hào)整型后傳人信號(hào)處理器DSP，DSP對(duì)信號(hào)進(jìn)行變換運(yùn)算和誤差補(bǔ)償，轉(zhuǎn)換成轉(zhuǎn)角和位移數(shù)據(jù)，經(jīng)由RS485通信接口將這些運(yùn)動(dòng)數(shù)據(jù)傳送到圖形發(fā)生器上。CPU在編碼盒內(nèi)部由ROM內(nèi)置程序控制各部分電路的工作，同時(shí)可接受外部指令進(jìn)行操作，如復(fù)位、同步等。
參考圖8、圖9，圖形發(fā)生器為基于視窗操作系統(tǒng)的個(gè)人電腦(PC)構(gòu)成的圖形發(fā)生器，包括視頻采集卡，視頻處理卡和遮擋卡。視頻處理卡包括GeForce系列圖形加速處理器；抗閃爍處理及鍵信號(hào)產(chǎn)生電路；掃描同步補(bǔ)償電路、YUV分量編碼器、數(shù)字同步鎖相電路、SDI數(shù)字接口、AGP總線接口、PCI總線接口。主控計(jì)算機(jī)可連接串口擴(kuò)展箱，以連接多個(gè)摳像合成器和視頻切換臺(tái)。
參考圖7，由傳感裝置送來(lái)的傳感數(shù)據(jù)經(jīng)RS485接口進(jìn)入圖形發(fā)生器，圖形發(fā)生器即時(shí)響應(yīng)新的攝像機(jī)位置參數(shù)，匹配相應(yīng)的虛擬攝像機(jī)，從而新的場(chǎng)景圖像。三維虛擬場(chǎng)景的模型參數(shù)，包括模型大小、位置、表面貼圖等屬性，在系統(tǒng)啟動(dòng)后經(jīng)由AGP總線加載到64M顯存中。Geforce圖形處理器根據(jù)攝像機(jī)運(yùn)動(dòng)參數(shù)，將各模型進(jìn)行計(jì)算，生成場(chǎng)景并送入64M緩存。經(jīng)過(guò)抗閃爍處理和鍵處理后送到輸出接口部分電路。SDI數(shù)字接口和YUV分量編碼器將場(chǎng)景數(shù)據(jù)轉(zhuǎn)換成不同格式的電視信號(hào)，連接至扣像器或切換臺(tái)進(jìn)行畫面合成。在應(yīng)用中由于場(chǎng)景信號(hào)要和前景的視頻信號(hào)進(jìn)行同步合成，因此圖形發(fā)生器需要接受外部信號(hào)的同步。外部同步信號(hào)輸入到數(shù)字同步鎖相電路，鎖定圖形發(fā)生器的輸出時(shí)鐘，通過(guò)掃描同步和補(bǔ)償電路，使64M緩存的場(chǎng)景在輸出時(shí)與外部信號(hào)同步。電路的狀態(tài)控制是由圖形發(fā)生器的CPU經(jīng)PCI總線設(shè)置PCI接口控制器進(jìn)行的。
圖形發(fā)生器的作用在于實(shí)時(shí)生成三維虛擬運(yùn)動(dòng)場(chǎng)景。虛擬演播室系統(tǒng)的場(chǎng)景是計(jì)算機(jī)繪制的圖形。三維虛擬場(chǎng)景中的景物具有Z方向的厚度，是立體的；二維場(chǎng)景則沒(méi)有厚度，只是一個(gè)平面圖形。所以二維虛擬場(chǎng)景只能作為背景平面，出現(xiàn)在真實(shí)人物的后面。而在三維場(chǎng)景中，虛擬景物既能作為真實(shí)人物的背景出現(xiàn)，也能作為前景出現(xiàn)，并且真實(shí)人物還能圍繞虛擬場(chǎng)景運(yùn)動(dòng)，因而在視覺(jué)效果上更具縱深感，更加真實(shí)。
本虛擬演播室的場(chǎng)景需由三維動(dòng)畫軟件建立虛擬場(chǎng)景。在前期的3D建模中，材質(zhì)、燈光、陰影等建立得越細(xì)致，虛擬場(chǎng)景看起來(lái)就越逼真、漂亮。虛擬場(chǎng)景的各個(gè)部分與實(shí)景畫面之間的位置關(guān)系可以通過(guò)PC機(jī)的定位與校準(zhǔn)軟件進(jìn)行控制。虛擬物體可以出現(xiàn)在真實(shí)人物的面前，也能出現(xiàn)在人物的后面。這樣，合成畫面富于層次，在視覺(jué)上也更據(jù)立體感、更真實(shí)。
由攝像機(jī)拍攝的或由錄像機(jī)播出的活動(dòng)畫面都可以輸入到背景圖像發(fā)生器中，作為虛擬場(chǎng)景的一部分出現(xiàn)在背景畫面中。這種形式不僅增強(qiáng)了節(jié)目的現(xiàn)場(chǎng)感，使節(jié)目形式更加豐富多彩，還能節(jié)約演播室在大屏幕、數(shù)字特技等方面的投資。但是，當(dāng)活動(dòng)視頻被放大到充滿整個(gè)畫面時(shí)，畫面就顯得比較粗糙和模糊。所以活動(dòng)視頻只能以小畫面的形式出現(xiàn)。
虛擬背景生成系統(tǒng)作用在于跟蹤真實(shí)攝像機(jī)的位置和運(yùn)動(dòng)信息，在計(jì)算機(jī)上實(shí)時(shí)生成運(yùn)動(dòng)的3D虛擬場(chǎng)景。其主要技術(shù)指標(biāo)包括實(shí)時(shí)3D虛擬場(chǎng)景生成；實(shí)時(shí)攝像機(jī)參數(shù)的接收、處理；虛擬攝像機(jī)運(yùn)動(dòng)模型的建立與實(shí)時(shí)跟蹤；接收一路視頻，完成虛擬場(chǎng)景的視頻開(kāi)窗；虛擬背景顯示尺寸為720*576；每秒實(shí)時(shí)生成25幀畫面。
圖形發(fā)生器還具有如下的系統(tǒng)管理功能系統(tǒng)工作前對(duì)各子系統(tǒng)狀態(tài)的獲取，各子系統(tǒng)準(zhǔn)備好后向主控PC發(fā)消息。包括兩臺(tái)攝像機(jī)跟蹤器、圖形發(fā)生器、切換臺(tái)的開(kāi)/關(guān)狀態(tài)；系統(tǒng)啟動(dòng)的同步協(xié)議；系統(tǒng)初始化參數(shù)設(shè)置，主要在系統(tǒng)安裝時(shí)使用。主要參數(shù)包括演播室參數(shù)、攝像機(jī)參數(shù)、切換臺(tái)參數(shù)；虛擬場(chǎng)景管理。主要包括3D建模、虛擬攝像機(jī)的操作、虛擬攝像機(jī)的初始位置設(shè)置、虛擬背景上的視頻開(kāi)窗管理、主界面上的視頻監(jiān)視；視頻、音頻同步切換。
遮擋關(guān)系的實(shí)現(xiàn)在虛擬演播室中，由與真實(shí)藍(lán)箱的幾何大小有限，攝像機(jī)進(jìn)行推拉搖移等運(yùn)動(dòng)時(shí)，攝像機(jī)鏡頭拍攝的圖像有超出藍(lán)箱的區(qū)域，為此必須把這一區(qū)域遮住，否則這一區(qū)域會(huì)出現(xiàn)在最終的視頻中，影響合成效果?？梢酝ㄟ^(guò)如下方法實(shí)現(xiàn)(1)通過(guò)對(duì)真實(shí)天花板建模，我們要知道藍(lán)箱的幾何尺寸，攝像機(jī)的位置、方向、視域，通過(guò)為虛擬場(chǎng)景建一個(gè)天花板模型并且創(chuàng)建前景掩膜，在alpha緩存中產(chǎn)生一個(gè)水平帶。將這個(gè)水平帶輸入到色鍵器，與前景、背景一起合成時(shí)，可以遮住不需要的區(qū)域。
(2)在合成設(shè)備中控制鍵窗口(在虛擬布景中無(wú)天花板也可以使用)。在色鍵器中一般都有控制鍵窗口的功能，即控制摳像合成時(shí)的窗口，前景進(jìn)行摳像時(shí)即將不需要的區(qū)域排除在鍵窗口之外，使得在合成時(shí)該區(qū)域?yàn)槿S虛擬背景，達(dá)到遮擋的效果。
演員在藍(lán)箱中表演時(shí)沒(méi)有任何道具，而要在合成圖像中體現(xiàn)三維的效果，就需要實(shí)現(xiàn)虛擬場(chǎng)景中的物體與演員的遮擋關(guān)系，將虛擬場(chǎng)景中的物體如桌子、門和柱子等調(diào)度到人物的前面，使人物在虛擬場(chǎng)景中有穿插的效果，在加強(qiáng)畫面真實(shí)感的同時(shí)，也豐富了整體畫面的層次感。
本系統(tǒng)采用掩膜(Mask)技術(shù)來(lái)實(shí)現(xiàn)遮擋，同時(shí)還實(shí)現(xiàn)了無(wú)限藍(lán)箱技術(shù)。掩膜技術(shù)是通過(guò)遮擋關(guān)系來(lái)生成鍵信號(hào)。
FG掩膜從背景信號(hào)中生成，外部鍵標(biāo)識(shí)蓋住前景的背景區(qū)域在alpha緩存中渲染，以4:0:0的格式輸出，直接給色鍵器。
BG掩膜從前景信號(hào)中生成，蓋住背景信號(hào)的部分區(qū)域。
Garage掩膜藍(lán)箱的天花板可能較低或?qū)τ趯捊嵌扰臄z來(lái)說(shuō)太窄。由此需要知道藍(lán)箱的幾何尺寸，攝像機(jī)的位置、方向、視域，以便于產(chǎn)生garbage掩膜遮住藍(lán)箱中真實(shí)天花板。通過(guò)為虛擬布景建一個(gè)天花板模型并且創(chuàng)建前景掩膜，在alpha緩存中產(chǎn)生一個(gè)水平帶。
對(duì)真實(shí)藍(lán)箱建模，攝像機(jī)的位置、方向、視域可以通過(guò)攝像機(jī)跟蹤系統(tǒng)得到，在計(jì)算機(jī)中通過(guò)得到的參數(shù)和藍(lán)箱模型實(shí)時(shí)計(jì)算出攝像機(jī)拍攝的圖像中超出真實(shí)藍(lán)箱的區(qū)域，在這個(gè)區(qū)域內(nèi)填充像素，在alpha緩存中渲染；依據(jù)前景、背景以及遮擋關(guān)系，將用于遮擋前景的三維虛擬背景中的物體的信息提取出來(lái)，在alpha緩存中渲染；將前兩步在alpha緩存中渲染生成的圖像合成一路視頻信號(hào)，通過(guò)視頻卡的alpha通道輸出到色鍵器，作為外部鍵與前景、背景實(shí)時(shí)合成，輸出一路體現(xiàn)三維的效果的視頻圖像。同時(shí)本發(fā)明也可采用Z-mixing技術(shù)和距離鍵技術(shù)實(shí)現(xiàn)遮擋關(guān)系。
信號(hào)同步及編碼技術(shù)虛擬演播室中圖形產(chǎn)生裝置所實(shí)時(shí)生成的虛擬場(chǎng)景圖像，需要與真實(shí)攝像機(jī)拍攝的圖像嚴(yán)格同步，才能進(jìn)行合成輸出?？梢赃x取電視臺(tái)中心同步機(jī)的標(biāo)準(zhǔn)同步信號(hào)或攝像機(jī)電荷耦合單元(CCU)提供的復(fù)合視頻信號(hào)作為同步源。首先對(duì)同步源信號(hào)進(jìn)行同步分離，得到色同步、行同步及場(chǎng)同步信號(hào)，通過(guò)數(shù)字鎖相環(huán)進(jìn)行同步鎖相，然后分別同步象素時(shí)鐘、行同步時(shí)鐘及場(chǎng)同步時(shí)鐘，使上述時(shí)鐘序列與系統(tǒng)保持頻率和相位的一致。放置在緩沖存儲(chǔ)器中的虛擬場(chǎng)景圖像數(shù)據(jù)嚴(yán)格按照象素時(shí)鐘、行同步時(shí)鐘及場(chǎng)同步時(shí)鐘提供的時(shí)序進(jìn)行輸出，從而使虛擬圖像和真實(shí)圖像保持同步。
本系統(tǒng)對(duì)虛擬圖像進(jìn)行了抗閃爍抖動(dòng)、抗鋸齒的處理。計(jì)算機(jī)產(chǎn)生的圖像與CCD感光圖像不同，沒(méi)有圖像的灰度過(guò)渡效應(yīng)。由于電視掃描分為奇偶場(chǎng)為隔行掃描，單場(chǎng)刷新頻率為25Hz，計(jì)算機(jī)圖像中的單水平線和離散單象素點(diǎn)在電視圖像上會(huì)出現(xiàn)閃爍抖動(dòng)。采用梅花形采樣HRAA算法，使原圖像的單線、點(diǎn)在周邊產(chǎn)生1/2、1/4亮度點(diǎn)，這樣在奇偶場(chǎng)均有該線、點(diǎn)的特征顯示，消除了閃爍抖動(dòng)，同時(shí)也減弱了鋸齒現(xiàn)象。由于采用的是弱亮度補(bǔ)償，因此保證了圖像的清晰度。虛擬圖像的并行RGB數(shù)據(jù)要經(jīng)過(guò)編碼處理，形成標(biāo)準(zhǔn)PAL制式電視信號(hào)。本系統(tǒng)采用YUV模擬分量編碼和SDI串行數(shù)字分量編碼兩種方式。
在3D加速卡中采用了核心IC-GeForce系列，NVIDIA在GeForce系列芯片中集成了5700萬(wàn)個(gè)晶體管，而且是采用了0.15微米技術(shù)。GeForce系列架構(gòu)配備了4條象素管線，每條管線配備2個(gè)材質(zhì)單元，GeForce系列可以讓兩個(gè)象素管線同時(shí)處理一個(gè)4紋理象素。GeForce系列核心時(shí)鐘頻率是200MHz，象素填充率和材質(zhì)填充率為200MHz×4個(gè)象素管線＝800Mpixels/s
200MHz×4個(gè)象素管線×2個(gè)材質(zhì)單元每管線＝1600Mtexels/sGeForce系列板卡配備64MB of DDR SDRAM，顯存時(shí)鐘頻率是230MHz×2(也就是460MHz)，GeForce系列理論顯存帶寬是7.36GB/s460MHz×(128bit bus/8＝16 bytes)＝7360MB/s應(yīng)用該技術(shù)在GeForce系列中最大限度的提高230MHz DDR帶寬的利用效率。交叉顯存控制技術(shù)(Crossbar memory controller)目前的內(nèi)存控制器一般都可以傳輸256bit的數(shù)據(jù)(其實(shí)是把256bit分成2個(gè)128bit數(shù)據(jù)分為兩次傳輸，因?yàn)镈DR可以在時(shí)鐘周期的上升沿和下降沿都能傳輸數(shù)據(jù))。不過(guò)問(wèn)題是當(dāng)傳輸一個(gè)小的三角形數(shù)據(jù)——這些數(shù)據(jù)可能只有64bit的時(shí)候，傳統(tǒng)的內(nèi)存控制器會(huì)用256bit的能力來(lái)傳輸這些64bit數(shù)據(jù)，也就是說(shuō)帶寬利用率只有25％其余的75％都被浪費(fèi)了。GeForce系列采取了把顯存控制器分成4個(gè)顯存控制器的方法來(lái)提高效率，這4個(gè)顯存控制器之間以及它們同GPU之間都相互聯(lián)系、通訊協(xié)同合作。每個(gè)顯存控制器都能獨(dú)立傳輸64bit數(shù)據(jù)，或者協(xié)同工作傳輸256bit數(shù)據(jù)。未來(lái)的游戲?yàn)榱说玫礁颖普娴男Ч?，小三角形的使用量?huì)更多，GeFroce3采用交叉顯存控制技術(shù)能更好的適應(yīng)這種情況。無(wú)損Z軸向壓縮算法(lossless Z compression algorithm)這是LMA架構(gòu)中又一個(gè)提高顯存帶寬利用效率的技術(shù)，這項(xiàng)技術(shù)同RADEON采用的技術(shù)相類似。決定3D場(chǎng)景中的物體景深的就是Z軸向坐標(biāo)，無(wú)損Z軸向壓縮算法可以減少Z軸向數(shù)據(jù)的大小，但是卻不會(huì)減少數(shù)據(jù)的精度，同樣畫質(zhì)也不會(huì)因此受到影響。Z軸遮擋選擇算法(Z-Occlusion Culling)這是一項(xiàng)類似于ATI的HierarchicalZ技術(shù)，主要通過(guò)一定的算法來(lái)驗(yàn)證某些象素是否能夠被看得見(jiàn)，從而決定是否對(duì)其進(jìn)行處理和渲染。如果一些象素被確定是不可見(jiàn)的，那么顯示芯片將不會(huì)對(duì)其進(jìn)行渲染，從而大量減少無(wú)用數(shù)據(jù)的生成，節(jié)約大量的帶寬。一般的3D游戲的精神復(fù)雜程度是2，也就是說(shuō)對(duì)于每一個(gè)可見(jiàn)象素需要渲染兩次才能得到我們看到的結(jié)果，可見(jiàn)如果能真正的實(shí)現(xiàn)這種處理，帶寬的利用率的提高不是一點(diǎn)兩點(diǎn)，也就是說(shuō)在目前的GPU運(yùn)算能力下，我們還能得到更逼真、更復(fù)雜的游戲效果。
“vertex shader”的技術(shù)使這些可編程管線能實(shí)時(shí)產(chǎn)生無(wú)限量逼真的圖象效果，這個(gè)就是nfiniteFX名字的由來(lái)。任何的3D對(duì)象都是有若干個(gè)三角形組成的，每個(gè)三角形都由若干條線組成，兩天線的校點(diǎn)就是一個(gè)頂點(diǎn)(vertex)。vertex shader就是一種圖形處理功能，通過(guò)處理3D場(chǎng)景中的的對(duì)象的頂點(diǎn)，為3D對(duì)象加上特殊效果。GeForce系列具有的可編程的vertex shader給了程序設(shè)計(jì)師的設(shè)計(jì)空間極大的彈性，Vertex數(shù)據(jù)屬性包括數(shù)據(jù)x、y、z軸向坐標(biāo)，色彩，光照，材質(zhì)指令等等，vertex shader可以控制所有的這些屬性。你可以想象vertex shader為一個(gè)具有運(yùn)算功能的盒子，這個(gè)功能能對(duì)vertex所有的屬性進(jìn)行設(shè)定(但是它不會(huì)刪除或者創(chuàng)建任何數(shù)據(jù))只是改變vertex的屬性，比如各個(gè)軸向的坐標(biāo)、透明度、顏色等等。當(dāng)然不是每一個(gè)進(jìn)入盒子的vertex都會(huì)被改變屬性，而是按照程序的要求來(lái)進(jìn)行的。在GeForce系列中，vertex shader處理單元同硬件T&L處理單元是并行的，也就是說(shuō)如果vertexshader正在運(yùn)行，那么硬件T&L單元一定是在休息的。不過(guò)圖形對(duì)象雖然只是經(jīng)過(guò)了vertex shader處理單元處理而沒(méi)有經(jīng)過(guò)硬件H&L單元處理，但是輸出結(jié)果依然是經(jīng)過(guò)完全的幾何轉(zhuǎn)換和光照處理過(guò)的頂點(diǎn)。DirectX 7應(yīng)用程序利用的是靜態(tài)T&L原理，所以需要經(jīng)過(guò)硬件T&L處理單元的處理，而復(fù)合DirectX8以及以上的應(yīng)用程序利用的是vertex shader處理單元，而不經(jīng)過(guò)硬件T&L單元的處理可見(jiàn)GeForce系列充分兼容以前的程序，同時(shí)又能支持新程序。
在本系統(tǒng)中對(duì)象素的處理采用了梅花形采樣法，即利用相鄰象素的采樣點(diǎn)數(shù)據(jù)計(jì)算出來(lái)每一個(gè)象素最終結(jié)果。參閱圖9利用梅花形采樣實(shí)際上每個(gè)象素都只是采樣2點(diǎn)，也就是說(shuō)只需要超級(jí)采樣的2點(diǎn)采樣的計(jì)算能力，就能得到相當(dāng)于4點(diǎn)采樣的圖象質(zhì)量。請(qǐng)看下表以及圖10

梅花形采樣在各個(gè)分辨率下，只是需要2點(diǎn)采樣的資源就能達(dá)到4點(diǎn)采樣的效果，而比4點(diǎn)采樣少用了一般的資源，另外還可以看得出來(lái)，梅花形采樣當(dāng)分辨率越高表現(xiàn)出來(lái)的優(yōu)勢(shì)就越明顯。
由于系統(tǒng)在保持優(yōu)異性能的前提下解決了虛擬場(chǎng)景發(fā)生裝置和攝像機(jī)跟蹤裝置的造價(jià)問(wèn)題，從而使其應(yīng)用能夠得以普及。可廣泛應(yīng)用于模擬駕駛訓(xùn)練，模擬航天器、船舶、飛行器運(yùn)行，虛擬游戲、婚紗攝影等領(lǐng)域。
模擬駕駛訓(xùn)練將攝像機(jī)跟蹤系統(tǒng)裝配于相應(yīng)的駕駛平臺(tái)上，如檔位、油門等。可虛擬實(shí)景產(chǎn)生相應(yīng)的聯(lián)動(dòng)效果，駕駛?cè)藛T可通過(guò)視覺(jué)感知駕駛效果。
模擬航天器、船舶、飛行器運(yùn)行將運(yùn)動(dòng)對(duì)象(航天器、船舶、飛行器等)的運(yùn)動(dòng)姿態(tài)，通過(guò)遙測(cè)系統(tǒng)編碼后通過(guò)本系統(tǒng)的攝像機(jī)數(shù)據(jù)通道送入圖形產(chǎn)生系統(tǒng)，即可使虛擬運(yùn)動(dòng)對(duì)象產(chǎn)生聯(lián)動(dòng)。使得在肉眼不可觀察的情況下，提供效果清晰的真實(shí)運(yùn)動(dòng)的虛擬物體的可視圖像。
權(quán)利要求
1.一種真三維虛擬演播室系統(tǒng)，其特征在于包括一攝像機(jī)用于獲取前景圖像；一跟蹤子系統(tǒng)設(shè)置于攝像機(jī)上，用于獲取攝像機(jī)運(yùn)動(dòng)參數(shù)；一延時(shí)器其輸入與攝像機(jī)的輸出連接，用于對(duì)攝像機(jī)輸出的視頻信號(hào)延時(shí)；一圖形發(fā)生器一輸入與跟蹤子系統(tǒng)的輸出連接，根據(jù)攝像機(jī)的運(yùn)動(dòng)參數(shù)生成虛擬的三維場(chǎng)景；一摳像合成器其輸入分別與延時(shí)器和圖形發(fā)生器連接的輸出連接，將前景圖像和三維場(chǎng)景進(jìn)行圖像合成；主控計(jì)算機(jī)通過(guò)信號(hào)線與圖形發(fā)生器連接，用于控制圖形發(fā)生器；錄像設(shè)備其輸入與摳像合成器輸出連接，用于錄制合成的圖像。
2.根據(jù)權(quán)利要求1所述的真三維虛擬演播室系統(tǒng)，其特征在于所述的跟蹤系統(tǒng)為機(jī)械式跟蹤子系統(tǒng)，包括感器和編碼盒，所述的傳感器設(shè)置在攝像機(jī)上，其輸出與編碼盒連接，所述編碼盒通過(guò)一接口與所述圖形發(fā)生器連接；
3.根據(jù)權(quán)利要求2所述的真三維虛擬演播室系統(tǒng)，其特征在于所述傳感器包括兩個(gè)設(shè)置在云臺(tái)上分別用于檢測(cè)攝像機(jī)搖和俯仰的傳感器，一個(gè)設(shè)置在鏡頭上用于檢測(cè)鏡頭聚焦和變焦的傳感器。
4.根據(jù)權(quán)利要求2或3所述的真三維虛擬演播室系統(tǒng)，其特征在于所述攝像機(jī)支持架上設(shè)置有位移傳感器，用于實(shí)時(shí)采集攝像機(jī)平移時(shí)的位移數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的真三維虛擬演播室系統(tǒng)，其特征在于所述的圖形發(fā)生器為基于視窗操作系統(tǒng)的PC圖形發(fā)生器，包括視頻采集卡，視頻處理卡和遮擋卡。
6.根據(jù)權(quán)利要求4所述的真三維虛擬演播室系統(tǒng)，其特征在于所述視頻處理卡包括GeForce系列圖形加速處理器、抗閃爍處理及鍵信號(hào)產(chǎn)生電路、掃描同步補(bǔ)償電路、YUV分量編碼器、數(shù)字同步鎖相電路、SDI數(shù)字接口、AGP總線接口、PCI總線接口。
7.一種真三維虛擬演播室系統(tǒng)，其特征在于包括至少兩臺(tái)攝像機(jī)用于獲取前景圖像；至少兩套跟蹤子系統(tǒng)每一跟蹤子系統(tǒng)設(shè)置于一攝像機(jī)上，用于獲取攝像機(jī)運(yùn)動(dòng)參數(shù)；至少兩個(gè)延時(shí)器每一延時(shí)器的輸入與分別與一攝像機(jī)的輸出連接，用于對(duì)攝像機(jī)輸出的視頻信號(hào)延時(shí)；至少兩個(gè)圖形發(fā)生器每一圖形發(fā)生器的輸入與一跟蹤子系統(tǒng)的輸出連接，根據(jù)攝像機(jī)的運(yùn)動(dòng)參數(shù)生成虛擬的三維場(chǎng)景；至少兩個(gè)摳像合成器每一摳像合成器的輸入分別與一延時(shí)器和一圖形發(fā)生器連接的輸出連接，將前景圖像和三維場(chǎng)景進(jìn)行圖像合成；視頻切換臺(tái)其輸入與摳像合成器的輸出連接，用于切換摳像合成器的輸出；主控計(jì)算機(jī)通過(guò)網(wǎng)絡(luò)方式與圖形發(fā)生器連接，用于控制圖形發(fā)生器；錄像設(shè)備其輸入與切換臺(tái)的輸出連接，用于錄制合成的圖像。
8.根據(jù)權(quán)利要求7所述的真三維虛擬演播室系統(tǒng)，其特征在于所述的跟蹤系統(tǒng)為機(jī)械式跟蹤子系統(tǒng)，包括感器和編碼盒，所述的傳感器設(shè)置在攝像機(jī)上，其輸出與編碼盒連接，所述編碼盒通過(guò)一接口與所述圖形發(fā)生器連接；
9.根據(jù)權(quán)利要求8所述的真三維虛擬演播室系統(tǒng)，其特征在于所述傳感器包括兩個(gè)設(shè)置在云臺(tái)上分別用于檢測(cè)攝像機(jī)搖和俯仰的傳感器，一個(gè)設(shè)置在鏡頭上用于檢測(cè)鏡頭聚焦和變焦的傳感器。
10.根據(jù)權(quán)利要求8或9所述的真三維虛擬演播室系統(tǒng)，其特征在于所述攝像機(jī)支持架上設(shè)置有位移傳感器，用于實(shí)時(shí)采集攝像機(jī)平移時(shí)的位移數(shù)據(jù)。
11.根據(jù)權(quán)利要求7所述的真三維虛擬演播室系統(tǒng)，其特征在于所述的圖形發(fā)生器為基于視窗操作系統(tǒng)的PC圖形發(fā)生器，包括視頻采集卡，視頻處理卡和遮擋卡。
12.根據(jù)權(quán)利要求11所述的真三維虛擬演播室系統(tǒng)，其特征在于所述視頻處理卡包括GeForce系列圖形加速處理器、抗閃爍處理及鍵信號(hào)產(chǎn)生電路、掃描同步補(bǔ)償電路、YUV分量編碼器、數(shù)字同步鎖相電路、SDI數(shù)字接口、AGP總線接口、PCI總線接口。
13.一種真三維虛擬演播室的實(shí)現(xiàn)方法，其特征在于由攝像機(jī)獲取前景圖像，并通過(guò)跟蹤系統(tǒng)獲取攝像機(jī)的運(yùn)動(dòng)參數(shù)；由延時(shí)器對(duì)攝像機(jī)輸出的視頻信號(hào)進(jìn)行延時(shí)；圖形發(fā)生器根據(jù)攝像機(jī)的運(yùn)動(dòng)參數(shù)實(shí)時(shí)生成三維虛擬場(chǎng)景的背景信號(hào)和遮掩信號(hào)；將延時(shí)后的視頻信號(hào)、三維虛擬場(chǎng)景的背景信號(hào)和遮掩信號(hào)在摳像合成器中進(jìn)行圖像合成并輸出至錄像設(shè)備。
14.根據(jù)權(quán)利要求13所述的真三維虛擬演播室的實(shí)現(xiàn)方法，其特征在于通過(guò)機(jī)械式跟蹤系統(tǒng)獲取攝像機(jī)的搖、俯仰、平移及聚焦和變焦參數(shù)。
15.根據(jù)權(quán)利要求14所述的真三維虛擬演播室的實(shí)現(xiàn)方法，其特征在于由機(jī)械式跟蹤系統(tǒng)中的傳感器獲取攝像機(jī)的運(yùn)動(dòng)信息，并將其轉(zhuǎn)換成電信號(hào)輸出至編碼盒，通過(guò)編碼盒將運(yùn)動(dòng)參數(shù)輸出至圖形發(fā)生器。
16.根據(jù)權(quán)利要求13所述的真三維虛擬演播室的實(shí)現(xiàn)方法，其特征在于所述的圖形發(fā)生器采用PC圖形工作站，并在視窗操作系統(tǒng)下實(shí)時(shí)生成三維虛擬場(chǎng)景。
17.根據(jù)權(quán)利要求15所述的真三維虛擬演播室的實(shí)現(xiàn)方法，其特征在于PC圖形工作站中進(jìn)一步包括對(duì)生成的三維虛擬場(chǎng)景進(jìn)行圖形加速處理和抗閃爍處理。
18.根據(jù)權(quán)利要求13所述的真三維虛擬演播室的實(shí)現(xiàn)方法，其特征在于通過(guò)復(fù)數(shù)個(gè)攝像機(jī)獲取前景圖像，由每一攝像機(jī)對(duì)應(yīng)一個(gè)跟蹤系統(tǒng)、延時(shí)器、圖形發(fā)生器和摳像合成器而形成復(fù)數(shù)個(gè)圖像通道。
19.根據(jù)權(quán)利要求18所述的真三維虛擬演播室的實(shí)現(xiàn)方法，其特征在于在錄像設(shè)備前通過(guò)視頻切換臺(tái)對(duì)復(fù)數(shù)個(gè)摳像合成器的輸出進(jìn)行切換。
20.根據(jù)權(quán)利要求18所述的真三維虛擬演播室的實(shí)現(xiàn)方法，其特征在于所述的復(fù)數(shù)個(gè)圖形發(fā)生器通過(guò)聯(lián)網(wǎng)實(shí)現(xiàn)場(chǎng)景多層面、多角色動(dòng)畫三維場(chǎng)景。
全文摘要
本發(fā)明公開(kāi)了一種真三維虛擬演播室系統(tǒng)及實(shí)現(xiàn)方法，包括機(jī)械跟蹤子系統(tǒng)、圖形發(fā)生器和摳像合成器等。首先由一組攝像機(jī)采集前景視頻信號(hào)(FG)，同時(shí)攝像機(jī)上的機(jī)械跟蹤系統(tǒng)實(shí)時(shí)提供攝像機(jī)移動(dòng)的信息，這些信息需要實(shí)時(shí)傳給圖形發(fā)生器，圖形發(fā)生器根據(jù)當(dāng)前攝像機(jī)的位置實(shí)時(shí)地繪制出相應(yīng)的背景信號(hào)(BG)和掩蔽(mask)信號(hào)。然后，由合成系統(tǒng)根據(jù)掩蔽信號(hào)來(lái)合成FG與BG，形成最終圖像輸出。本發(fā)明采用一對(duì)一的通道化的設(shè)計(jì)結(jié)構(gòu)方式，使得系統(tǒng)的搭接安全可靠，保證了系統(tǒng)的穩(wěn)定運(yùn)行，同時(shí)在還保持系統(tǒng)性能的前提下解決了圖形發(fā)生器和攝像機(jī)跟蹤裝置的造價(jià)問(wèn)題，從而使其應(yīng)用能夠得以普及。
文檔編號(hào)H04N5/222GK1477856SQ0212892
公開(kāi)日2004年2月25日 申請(qǐng)日期2002年8月21日 優(yōu)先權(quán)日2002年8月21日
發(fā)明者鄭福雙 申請(qǐng)人:北京新奧特集團(tuán)