專利名稱：一種用于虛擬演播室系統(tǒng)的實現(xiàn)無限藍箱功能的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及廣電領(lǐng)域電視節(jié)目制播技術(shù)，具體涉及一種用于虛擬演播室 系統(tǒng)的實現(xiàn)無限藍箱功能的方法。
背景技術(shù)：
虛擬演播室是近幾年發(fā)展起來的一種獨特的電視節(jié)目制作技術(shù)。虛擬演 播室系統(tǒng)由攝像機獲取前景圖像，并通過跟蹤系統(tǒng)獲取攝像機的運動參數(shù)，由延時器對攝像機輸出的視頻信號進行延時；圖形工作站根據(jù)攝像機的運動 參數(shù)實時生成三維虛擬場景的背景信號和掩模信號；將延時后的視頻信號、 三維虛擬場景信號和掩模信號在摳像合成器中進行圖像合成并輸出到錄像設 備。虛擬演播室系統(tǒng)充分應用了計算機三維圖形和虛擬現(xiàn)實技術(shù)。它可以自 動跟蹤攝像機的位置、高度、搖移、俯仰以及鏡頭的聚焦和變焦等參數(shù)變化， 計算機根據(jù)這些參數(shù)的變化，實時地改變虛擬三維場景，使虛擬背景的變化與 攝像機的運動保持同步和 一致，因此保證了前景和背景的正確透視關(guān)系，前景 中的主持人看起來完全沉浸于計算機所產(chǎn)生的虛擬三維場景中，具有逼真的 電^L演4番室效果。但在實際演播室中，由于實際場地的限制，藍箱的天花板可能較低或?qū)τ?寬角度拍攝來說太窄，當攝像機進行推拉搖移等運動時，拍攝的圖像中會有 藍箱以外的景物，圖像輸入到視頻合成系統(tǒng)與虛擬場景摳像合成時，這些景 物也會出現(xiàn)在輸出的視頻中，達不到所需要的前景圖像和虛擬場景融合的效 果。因此無限藍箱功能顯得尤為重要，當攝像機搖出藍箱，無限藍箱功能使 得穿幫區(qū)域用背景填充，防止出現(xiàn)穿幫現(xiàn)象。這樣使得攝像機可以任意自由 度旋轉(zhuǎn)，真正實現(xiàn)了虛擬背景和前景信號的完美融合。如果沒有無限藍箱技 術(shù)，當攝像機搖出藍箱區(qū)域時，那些不應出現(xiàn)的區(qū)域就會顯示在合成畫面上， 將無法達到節(jié)目的制作要求，也談不上逼真的合成效果。因此無限藍箱技術(shù) 對虛擬演播室系統(tǒng)而言至關(guān)重要。無限藍箱技術(shù)通過外部生成的鍵信號，將前景視頻圖像中非藍箱內(nèi)的景物濾除，滿足虛擬演播室系統(tǒng)的要求。在實際使用虛擬演播室系統(tǒng)時必須使用無限藍箱功能。無限藍箱實際上是 遮擋關(guān)系的一種，即將圖像中超出藍箱的區(qū)域遮住。它目前可以通過如下方法實現(xiàn)(1) 采用圖像算法，將攝像機拍攝的圖像實時摳像，并將不需要的區(qū)域從 圖像中濾掉；(2) 生成前景掩膜，即在Alpha緩存中產(chǎn)生一個水平帶，將這個水平帶輸 入到視頻合成系統(tǒng)，在與前景、背景一起合成時可以遮住不需要的區(qū)域；(3) 利用視頻合成系統(tǒng)中控制鍵窗口。在視頻合成系統(tǒng)中一般都有控制 鍵窗口的功能，即控制摳像合成時的窗口，前景進行摳像時即將不需要的區(qū) 域排除在鍵窗口之外，使得在合成時該區(qū)域為三維虛擬背景，達到遮擋的效 果。第一種方法需要增加一塊圖像處理卡，這增加了成本，并會增加系統(tǒng)延時， 讓人產(chǎn)生不真實感；后兩種方法都需要根據(jù)藍箱的幾何尺寸大小建模，攝像機 的位置、方向、視域可以通過攝像機參數(shù)跟蹤系統(tǒng)得到，在計算機中通過得到 的參數(shù)和藍箱的模型實時計算出攝像機拍攝圖像中超出真實藍箱的區(qū)域。發(fā)明內(nèi)容本發(fā)明的目的是提供一種采用掩膜技術(shù)在虛擬演播室系統(tǒng)中實現(xiàn)無限藍 箱功能的新方法，用戶只需要輸入目前真實藍箱的尺寸實時調(diào)整長寬高的參 數(shù)，并實時調(diào)整無限藍箱的位置，不需要對藍箱進行非常精確的測量，就可 以達到遮擋的效果。本發(fā)明的技術(shù)方案如下 一種用于虛擬演播室系統(tǒng)的實現(xiàn)無限藍箱功能 的方法，該方法在藍箱的補集區(qū)域生成面片結(jié)構(gòu)，構(gòu)成一個幾何體，幾何體 的每一個面都是平面，每一個平面都作為掩膜，填充的信號為背景信號；當 攝像機搖出藍箱區(qū)域時，將這些作為掩膜的平面在Alpha緩存中渲染，同時 根據(jù)前景、背景以及遮擋關(guān)系，將用于遮擋前景的三維物體提取出來在Alpha 緩存中渲染，將渲染的圖像合成一路視頻信號通過A1 pha通道輸出到色鍵， 作為外鍵與背景、前景實時合成生成一路體現(xiàn)三維效果的視頻圖像。進一步，如上所述的用于虛擬演播室系統(tǒng)的實現(xiàn)無限藍箱功能的方法，其中，所述藍箱的類型包括U型、左L型和右L型。進一步，如上所述的用于虛擬演播室系統(tǒng)的實現(xiàn)無限藍箱功能的方法，其中，u型藍箱的補集區(qū)域包括頂棚區(qū)域、左右側(cè)的藍箱外的區(qū)域，以及地 面的藍箱以外區(qū)域；在左右側(cè)的藍箱外區(qū)域生成的面片結(jié)構(gòu)的平面與藍箱的 側(cè)壁成45度角。左L型藍箱的補集區(qū)域包括頂棚區(qū)域、左側(cè)的藍箱外區(qū)域、藍箱右側(cè)壁 區(qū)域和右側(cè)的藍箱外區(qū)域，以及地面的藍箱以外區(qū)域；在左右側(cè)的藍箱外區(qū) 域生成的面片結(jié)構(gòu)的平面與藍箱的側(cè)壁成4 5度角。右L型藍箱的補集區(qū)域包括頂棚區(qū)域、右側(cè)的藍箱外區(qū)域、藍箱左側(cè)壁 區(qū)域和左側(cè)的藍箱外區(qū)域，以及地面的藍箱以外區(qū)域；在左右側(cè)的藍箱外區(qū) 域生成的面片結(jié)構(gòu)的平面與藍箱的側(cè)壁成45度角。如上所述的用于虛擬演播室系統(tǒng)的實現(xiàn)無限藍箱功能的方法，其中，所如上所述的用于虛擬演播室系統(tǒng)的實現(xiàn)無限藍箱功能的方法，其中，將 真實藍箱的背面與底面的交線的中點作為坐標原點，將所述幾何體的定位點 與該坐標原點保持一致，以實現(xiàn)無限藍箱與虛擬場景的匹配關(guān)系。本發(fā)明的有益效果如下本發(fā)明所提供的無限藍箱的實現(xiàn)方法采取初步 確定真實藍箱尺寸，在藍箱的補集區(qū)域生成掩膜信號，使用背景作為填充信 號，擋住所有的物體，實現(xiàn)無限藍箱的遮擋功能。在使用過程中可以微調(diào)藍 箱尺寸來匹配不同的藍箱尺寸以實現(xiàn)最終的遮擋效果，從而達到前景和背景 的完美融合。


圖1為真實藍箱的示意圖。圖2為無限藍箱示意圖。圖3為U型藍箱結(jié)構(gòu)示意圖。 圖4為攝像機的視域結(jié)構(gòu)圖。
具體實施方式
下面結(jié)合附圖和具體實施例對本發(fā)明進行詳細的描述。本發(fā)明采用掩膜技術(shù)來實現(xiàn)無限藍箱功能，也就是通過遮擋關(guān)系生成鍵信 號。該方法根據(jù)目前藍箱的基本類型左L型，右L型，U型三種藍箱類型，動 態(tài)生成無限藍箱，用戶只需要輸入目前真實藍箱的尺寸實時調(diào)整長寬高的參數(shù), 實時調(diào)整無限藍箱的位置，不需要對藍箱進行非常精確的測量，就達到遮擋的 效果。以U型藍箱為例，如圖3所示，真實的長方形藍箱由四個平面構(gòu)成，攝像 機的視域圖為圖4所示。攝像機有平搖、俯仰兩個自由度，圖4中Viewl對應 攝像機豎直方向也就是俯仰的視角范圍，View2對應攝像機水平方向也就是平搖 的視角范圍。當攝像機水平搖出View2的范圍時，拍攝的圖像中會有藍箱以外 的景物，圖像輸入到視頻合成系統(tǒng)與虛擬場景摳像合成時，這些景物也會出現(xiàn) 在輸出的視頻中，達不到前景和背景融合的效果。本發(fā)明釆用掩膜的方法實現(xiàn)遮擋，實現(xiàn)無限藍箱技術(shù)。虛擬演播室有三種 掩膜，通過色鍵來合成達到前景和背景的融合以及遮擋。前景掩膜從背景信號中生成。外部鍵標識蓋住前景的區(qū)域在Alpha緩存 中渲染，直接給色鍵。背景掩膜從前景信號中生成，蓋住背景信號的部分區(qū)域。外部掩膜藍箱的天花板可能較低，藍箱的區(qū)域有限，因此我們可以通過 藍箱的幾何尺寸，攝像機的位置來產(chǎn)生外部掩膜遮住真實天花板。通過虛擬場 景創(chuàng)建一個天花板的模型充當前景掩膜，在Alpha緩存中產(chǎn)生一個水平帶來實 現(xiàn)遮擋關(guān)系，背景信號將填充到前景信號前面，實現(xiàn)無限藍箱的遮擋關(guān)系。本發(fā)明從藍箱的結(jié)構(gòu)出發(fā)，通過對藍箱以外的區(qū)域采用掩膜的方式來實現(xiàn) 無限藍箱遮擋的功能。真實藍箱的結(jié)構(gòu)如圖1所示，在電視制作過程中，容易 穿幫的地方是上面的的頂棚，左右側(cè)的藍箱外的區(qū)域，以及將攝像機俯視到足 夠大的時候可以看到地面的藍箱以外區(qū)域。這些地方都是穿幫的區(qū)域，本發(fā)明6根據(jù)這些區(qū)域建立如圖2所示的無限藍箱的結(jié)構(gòu)。上述這些區(qū)域恰好是真實藍箱的補集區(qū)域，本發(fā)明通過虛擬演播室系統(tǒng)對 應的編輯系統(tǒng)可以生成面片結(jié)構(gòu)(也可以用其它圖形處理軟件生成面片結(jié)構(gòu))，構(gòu)建了一個幾何體，幾何體每一個面都是平面(平面I、 II、 III、 IV),每一個平面都可以用openGL渲染出來，每個面都作為掩膜，作為一種特殊的外鍵，填 充信號為背景信號。這樣， 一旦攝像機搖出藍箱區(qū)域，這些掩膜信號就可以發(fā) 揮作用。當攝像機搖出藍箱的區(qū)域時，計算機就將這些掩膜的平面，在Alpha 緩存中渲染，同時根據(jù)前景、背景以及遮擋關(guān)系，將用于遮擋前景的三維物體 提取出來在Alpha緩存中渲染，將渲染的圖像合成一路視頻信號通過視頻卡的 Alpha通道輸出到色鍵，作為外鍵與背景、前景實時合成生成一路體現(xiàn)三維效果 的視頻圖像。從而實現(xiàn)了無限藍箱的效果。在不同的虛擬演播室，藍箱的尺寸不同，如何控制上述幾何體的尺寸與當 前的藍箱尺寸相適應是本發(fā)明所要解決的另一個問題。本發(fā)明在創(chuàng)建上述掩膜屬性的幾何體時，采用默認的幾何尺寸。 -假設真實 的藍箱尺寸為長為L (mm),寬為W(mm)，高為H(mm),那么，只需要調(diào)整無限 藍箱的面板參數(shù)到這個尺寸，上述的幾何體就可以估支相應的空間變換到相應的 尺寸，藍箱的尺寸也不需要非常精確，用戶可以對幾何體進行微調(diào)就可以達到 遮擋的效果。幾何體的每一個面片向外延伸的長度一般可選擇大于或等于10米， 這都是根據(jù)經(jīng)驗所確定的，如從頂棚延伸出來的面片II的長度可定為15米，其 它幾個面片的長度可定為10米。另外，在左右側(cè)的藍箱外區(qū)域生成的面片結(jié)構(gòu) 的平面I 、 m與藍箱的側(cè)壁成45度角，這也是根據(jù)實際應用所確定的一個較為 合理的參數(shù)，較容易滿足拍攝的要求。下面以調(diào)整藍箱的高為例子描述如何調(diào)整無限藍箱的尺寸實現(xiàn)遮擋效果。 假設當前藍箱高5000隱，根據(jù)粗略判斷將無限藍箱的尺寸定為5000mm，系統(tǒng)以 藍箱的地面為XZ平面，上述掩膜幾何體的頂面在Y = 5000 mm的位置。如果將 攝像機往上仰視，還能看到藍箱頂棚的燈光的話，就實時調(diào)整Y的大小，將Y 減小，這樣掩膜幾何體頂面的位置就下移，就可以擋住藍箱的頂棚，從而實現(xiàn) 無限藍箱的效果。對于調(diào)整藍箱的長和寬也是一樣，減小藍箱長度，掩膜幾何 體向X軸方向靠攏；減小藍箱寬度，掩膜幾何體的底面將向Z軸負方向移動， 從而實現(xiàn)無限藍箱的遮擋關(guān)系。這種微調(diào)的尺寸都可以在實際應用當中根據(jù)具體情況而定，只要能實現(xiàn)遮擋即可。
對于不同的藍箱類型，對應創(chuàng)建的藍箱補集的面片結(jié)構(gòu)也不同。對于左L
型藍箱，藍箱沒有右側(cè)壁，面片結(jié)構(gòu)不僅有上述的平面I 、 II、 III、 IV,同時
需要增加一個藍箱右側(cè)壁的面片結(jié)構(gòu)。同時進行空間變換的時候右側(cè)壁的面片
需要做相應的空間變換。當藍箱長度增大的時候右側(cè)壁需要沿X軸方向移動。 右側(cè)壁應該是YZ方向，大小為藍箱高度x藍箱深度。
右L型藍箱與左L型藍箱相類似，由于藍箱沒有左側(cè)壁，面片結(jié)構(gòu)不僅有 上述的平面I 、 II、 III、 IV,同時需要增加一個藍箱左側(cè)壁的面片結(jié)構(gòu)。同時 進行空間變換的時候左側(cè)壁的面片需要做相應的空間變換。當藍箱長度增大的 時候左側(cè)壁需要沿X軸負方向移動。左側(cè)壁也是YZ方向，大小為藍箱高度x藍 箱深度。
另外，在實現(xiàn)無限藍箱的功能時還需要保證無限藍箱和虛擬場景的坐標關(guān) 系一致，這樣才能確保無限藍箱的遮擋作用。 一般定位需要以真實藍箱的后面 與底面的交線的中點為坐標原點，只需要將上述幾何體的定位點和這個坐標原 點保持一致就可以保持無限藍箱和虛擬場景的匹配關(guān)系。
本發(fā)明采用的無限藍箱的實現(xiàn)方法采#^初步確定真實藍箱尺寸，在藍箱的 補集區(qū)域生成掩膜信號，使用背景作為填充信號，擋住所有的物體，實現(xiàn)無限 藍箱的遮擋功能。在使用過程中可以微調(diào)藍箱尺寸來匹配不同的藍箱尺寸來實 現(xiàn)最終的遮擋效果，從而達到前景和背景的完美融合。
員根據(jù)本發(fā)明的技術(shù)方案得出其他的實施方式，同樣屬于本發(fā)明的技術(shù)創(chuàng)新范圍。
8
權(quán)利要求
1.一種用于虛擬演播室系統(tǒng)的實現(xiàn)無限藍箱功能的方法，其特征在于該方法在藍箱的補集區(qū)域生成面片結(jié)構(gòu)，構(gòu)成一個幾何體，幾何體的每一個面都是平面，每一個平面都作為掩膜，填充的信號為背景信號；當攝像機搖出藍箱區(qū)域時，將這些作為掩膜的平面在Alpha緩存中渲染，同時根據(jù)前景、背景以及遮擋關(guān)系，將用于遮擋前景的三維物體提取出來在Alpha緩存中渲染，將渲染的圖像合成一路視頻信號通過Alpha通道輸出到色鍵，作為外鍵與背景、前景實時合成生成一路體現(xiàn)三維效果的視頻圖像。
2. 如權(quán)利要求1所述的用于虛擬演播室系統(tǒng)的實現(xiàn)無限藍箱功能的方 法，其特征在于所述藍箱的類型包括U型、左L型和右L型。
3. 如權(quán)利要求2所述的用于虛擬演播室系統(tǒng)的實現(xiàn)無限藍箱功能的方 法，其特征在于U型藍箱的補集區(qū)域包括頂棚區(qū)域、左右側(cè)的藍箱外的區(qū) 域，以及地面的藍箱以外區(qū)域；在左右側(cè)的藍箱外區(qū)域生成的面片結(jié)構(gòu)的平 面與藍箱的側(cè)壁成45度角。
4. 如權(quán)利要求2所述的用于虛擬演播室系統(tǒng)的實現(xiàn)無限藍箱功能的方 法，其特征在于左L型藍箱的補集區(qū)域包括頂棚區(qū)域、左側(cè)的藍箱外區(qū)域、 藍箱右側(cè)壁區(qū)域和右側(cè)的藍箱外區(qū)域，以及地面的藍箱以外區(qū)域；在左右側(cè) 的藍箱外區(qū)域生成的面片結(jié)構(gòu)的平面與藍箱的側(cè)壁成4 5度角。
5. 如權(quán)利要求2所述的用于虛擬演播室系統(tǒng)的實現(xiàn)無限藍箱功能的方 法，其特征在于右L型藍箱的補集區(qū)域包括頂棚區(qū)域、右側(cè)的藍箱外區(qū)域、 藍箱左側(cè)壁區(qū)域和左側(cè)的藍箱外區(qū)域，以及地面的藍箱以外區(qū)域；在左右側(cè) 的藍箱外區(qū)域生成的面片結(jié)構(gòu)的平面與藍箱的側(cè)壁成45度角。
6. 如權(quán)利要求1或2或3或4或5所述的用于虛擬演播室系統(tǒng)的實現(xiàn) 無限藍箱功能的方法，其特征在于所述的構(gòu)成幾何體的面片尺寸根據(jù)真實 藍箱的長、寬、高來確定，向外延伸的長度大于或等于10米；通過對幾何體 尺寸進行微調(diào)來實現(xiàn)遮擋的效果。
7. 如權(quán)利要求6所述的用于虛擬演播室系統(tǒng)的實現(xiàn)無限藍箱功能的方法， 其特征在于將真實藍箱的背面與底面的交線的中點作為坐標原點，將所述幾 何體的定位點與該坐標原點保持一致，以實現(xiàn)無限藍箱與虛擬場景的匹配關(guān)系。
全文摘要
本發(fā)明涉及廣電領(lǐng)域電視節(jié)目制播技術(shù)，具體涉及一種用于虛擬演播室系統(tǒng)的實現(xiàn)無限藍箱功能的方法。該方法在藍箱的補集區(qū)域生成面片結(jié)構(gòu)，構(gòu)成一個幾何體，幾何體的每一個面都是平面，每一個平面都作為掩膜，填充的信號為背景信號；當攝像機搖出藍箱區(qū)域時，將這些作為掩膜的平面在Alpha緩存中渲染，同時根據(jù)前景、背景以及遮擋關(guān)系，將用于遮擋前景的三維物體提取出來在Alpha緩存中渲染，將渲染的圖像合成一路視頻信號通過Alpha通道輸出到色鍵，作為外鍵與背景、前景實時合成生成一路體現(xiàn)三維效果的視頻圖像。本發(fā)明在使用過程中可以微調(diào)藍箱尺寸來匹配不同的藍箱尺寸以實現(xiàn)最終的遮擋效果，從而達到前景和背景的完美融合。
文檔編號H04N5/262GK101668126SQ200810119508
公開日2010年3月10日 申請日期2008年9月2日 優(yōu)先權(quán)日2008年9月2日
發(fā)明者濤 李, 馬菲瑩 申請人:新奧特(北京)視頻技術(shù)有限公司