專利名稱：一種虛擬演播室系統(tǒng)中主持人深度的檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于電視臺(tái)虛擬演播室系統(tǒng)技術(shù)領(lǐng)域，具體涉及一種適用于虛擬演播室系統(tǒng)的深度檢測(cè)方法。
背景技術(shù)：
自從電視開播以來，電視節(jié)目中主持人身后的場(chǎng)景總是簡(jiǎn)單而且色彩單調(diào)。這些實(shí)景的搭建通常采用木料、紙板和油漆等材料。隨著時(shí)間的推移，在節(jié)目中為電視觀眾提供更豐富的視覺效果變得越來越重要，這就需要突破早期傳統(tǒng)場(chǎng)景制作方式的局限性。鍵技術(shù)是第一個(gè)獲得突破的技術(shù)，在黑白電視時(shí)代，采用的是亮鍵技術(shù)，后來隨著彩色電視的出現(xiàn)，出現(xiàn)了色鍵技術(shù)，并得到了應(yīng)用。通過鍵技術(shù)，前景標(biāo)志圖像中的某一部分可以被計(jì)算機(jī)中一幅靜態(tài)標(biāo)志圖像替代，也可以被事先錄制好的視頻、直播的視頻或者任何其他的視頻標(biāo)志圖像源所替代。但是要實(shí)現(xiàn)豐富的節(jié)目效果，僅依靠亮鍵或色鍵技術(shù)還是不夠的，因?yàn)樵跀z像機(jī)運(yùn)動(dòng)拍攝時(shí)，合成視頻輸出中的前景信號(hào)和背景信號(hào)之間沒有同步變化的關(guān)系。拍攝主持人的前景攝像機(jī)發(fā)生推、拉、搖、移等運(yùn)動(dòng)時(shí)，觀眾立刻會(huì)發(fā)現(xiàn)背景存在明顯的虛假現(xiàn)象。虛擬演播室技術(shù)的誕生就是為了解決節(jié)目拍攝中使用色鍵簡(jiǎn)單摳像存在的諸多限制。虛擬演播室技術(shù)是在傳統(tǒng)色鍵摳像技術(shù)的基礎(chǔ)上，利用計(jì)算機(jī)三維圖形技術(shù)和視頻合成技術(shù)，根據(jù)前景攝像機(jī)的位置焦距等參數(shù)，使三維虛擬場(chǎng)景的透視關(guān)系與前景保持一致，經(jīng)過色鍵合成后，使得前景中的人物道具看起來完全沉浸于計(jì)算機(jī)所產(chǎn)生的三維虛擬場(chǎng)景中，從而創(chuàng)造出逼真的、立體感很強(qiáng)的演播室效果。
為了實(shí)現(xiàn)虛擬演播室系統(tǒng)完美自然的疊加，使主持人能在虛擬或?qū)嶋H物體后方或前方行走，甚至可以進(jìn)入到一個(gè)虛擬物體中去，就需要具有特
殊功能的高級(jí)色鍵技術(shù)，即z軸深度鍵的技術(shù)，要求色鍵具有縱深方向的信
息，即虛擬攝像機(jī)到每個(gè)像素所對(duì)應(yīng)實(shí)際物體的距離。該技術(shù)使用傳統(tǒng)的色鍵技術(shù)將主持人從藍(lán)色幕布中提取出來的同時(shí)產(chǎn)生 一個(gè)前景遮擋信號(hào)即鍵信 號(hào)，然后通過深度鍵發(fā)生器求出色鍵的深度值。深度鍵發(fā)生器有兩種 一種 是將物體分成有限數(shù)目的分層級(jí)，另一種是將像素分成等級(jí)的像素級(jí)。在分 層級(jí)深度鍵中，物體被分別歸類到數(shù)目有限的幾個(gè)深度層中，因此演員在虛 擬場(chǎng)景中的位置無法連續(xù)變化。而在像素級(jí)深度鍵中，構(gòu)成虛擬場(chǎng)景中的每
一個(gè)像素都有相應(yīng)的z軸深度值，因此演員在虛擬場(chǎng)景中的位置可以連續(xù)變化。
目前，獲得像素級(jí)深度鍵的方法大致有兩種 一種靠近似判斷的方法得 出。它是用近似的方法判斷出前景主持人和攝像機(jī)的相對(duì)距離，并且用這個(gè) 值作為整個(gè)前景的深度值。如果主持人移動(dòng)，那么這個(gè)值也將改變。通過對(duì) 合成畫面上每個(gè)像素Z值的計(jì)算和實(shí)際內(nèi)容的需要用手控方式?jīng)Q定前景主持 人和虛擬背景的相對(duì)關(guān)系。這種方法實(shí)現(xiàn)起來比較容易，缺陷是逼真度差， 而且需要工作人員與主持人相互配合，對(duì)主持人的要求較高。另一種獲得Z 值的方法是采用檢測(cè)裝置。該裝置包括安裝在演播室藍(lán)箱任意位置的若干個(gè) 輔助攝像機(jī)和一個(gè)實(shí)時(shí)圖像處理裝置。輔助攝像機(jī)輸出攝取的藍(lán)箱中前景的 圖像，實(shí)時(shí)圖像處理裝置以場(chǎng)頻速度實(shí)時(shí)采集圖像并進(jìn)行圖像處理，提取圖 像中特征數(shù)據(jù)并進(jìn)行計(jì)算變換，得到前景主持人或物體在藍(lán)箱中的位置坐標(biāo) 參數(shù)，送給圖形工作站，經(jīng)過方程矩陣運(yùn)算使其渲染的虛擬場(chǎng)景的景深關(guān)系 與節(jié)目主持人的景深關(guān)系 一致。該方法的原理是分析多個(gè)攝像機(jī)拍攝同 一場(chǎng) 景而輸出的帶有視差的圖像，利用多視幾何中三維點(diǎn)與二維點(diǎn)的對(duì)應(yīng)關(guān)系， 由圖像中的二維點(diǎn)信息計(jì)算其對(duì)應(yīng)的三維坐標(biāo)。
圖1中展示了兩個(gè)光軸平行且相隔距離為h的攝像機(jī)鳥瞰圖。真實(shí)場(chǎng)景 中坐標(biāo)為(x,乂z)的一點(diǎn)P,在左攝像機(jī)C,和右攝像機(jī)G上的投影分別是點(diǎn)A 和點(diǎn)A 。坐標(biāo)系的2軸表示到攝像機(jī)(在2 = 0處)的距離，x軸表示"水平"
距離，y軸垂直頁面。x:O處是兩攝像機(jī)間的中間位置，x,是^相對(duì)于q的水 平距離，x,為A相對(duì)于c,的水平距離。
由于兩臺(tái)攝像機(jī)的水平位置不同，因此在X,和X,之間存在視差
(disparity)是顯然的(即lx,-x」〉0);利用幾何的三角關(guān)系可以推出P的z 坐標(biāo)值。
P,c,和c^是相似的直角三角形的斜邊，h和f是正數(shù)，z是正數(shù)，而x是可正可負(fù)的，因此有
<formula>formula see original document page 5</formula>
由此可知，當(dāng)兩攝像機(jī)的中心間距和焦距都確定后，根據(jù)左右攝像機(jī)拍
攝的圖像中同 一 點(diǎn)的視差值(X, - xf)就能得到真實(shí)場(chǎng)景中對(duì)應(yīng)點(diǎn)的深度值。如
果;c,-^=0, II'JZ = oo,零視差表明點(diǎn)在攝^f象機(jī)的無窮遠(yuǎn)處。
這種方法能夠計(jì)算整個(gè)場(chǎng)景中物體的深度，但運(yùn)算量很大，即使是640 x 480的圖像運(yùn)算時(shí)間也比較長(zhǎng)。因此要想在標(biāo)清甚至高清圖像中使用，具 有相當(dāng)大的困難。
由于上述方法要對(duì)整幅前景圖像中所有的物體進(jìn)行深度檢測(cè)，因此算法 復(fù)雜度很大。但實(shí)際上并不需要計(jì)算出所有物體的深度，而只需計(jì)算主持人 的深度即可，因此搜索區(qū)域如果能縮小到主持人附近的區(qū)域，則算法效率會(huì) 有明顯提高。

發(fā)明內(nèi)容
針對(duì)現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明的目的是提供一種虛擬演播室系統(tǒng) 中主持人深度的檢測(cè)方法，該方法能夠提高主持人深度檢測(cè)的效率。
為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是 一種虛擬演播室系統(tǒng)中主 持人深度的檢測(cè)方法，包括以下步驟
(1 )標(biāo)定兩臺(tái)普通攝像機(jī)和一臺(tái)紅外攝像機(jī)的相對(duì)位置關(guān)系；
(2) 分析紅外攝像機(jī)拍攝的紅外圖像，確定主持人所在區(qū)域；
(3) 根據(jù)步驟(1)中標(biāo)定的三臺(tái)攝像機(jī)之間的相對(duì)位置關(guān)系，將步驟 (2 )中確定的主持人所在區(qū)域轉(zhuǎn)換到兩臺(tái)普通攝像機(jī)各自拍攝到的圖像所對(duì)
(2. 1) (2.2)
(2. 3)應(yīng)的區(qū)域，計(jì)算該區(qū)域內(nèi)所有像素點(diǎn)深度的平均值。
如上所述的一種虛擬演播室系統(tǒng)中主持人深度的檢測(cè)方法，步驟(l)中 所述的標(biāo)定兩臺(tái)普通攝像機(jī)和一臺(tái)紅外攝像機(jī)的相對(duì)位置關(guān)系的過程包括以
下步驟 .
① 在場(chǎng)景中放置標(biāo)志；
② 三臺(tái)攝像機(jī)同時(shí)拍攝包含該標(biāo)志的圖像；
③ 分別搜索三臺(tái)攝像機(jī)拍攝的三個(gè)圖像中標(biāo)志最外圍的四個(gè)頂點(diǎn)，獲得 四個(gè)頂點(diǎn)的圖^象坐標(biāo)；
④ 根據(jù)四個(gè)頂點(diǎn)的圖像坐標(biāo)與世界坐標(biāo)的對(duì)應(yīng)關(guān)系，獲得三臺(tái)攝像機(jī)相 對(duì)于該世界坐標(biāo)的旋轉(zhuǎn)和平移矩陣。
如上所述的一種虛擬演播室系統(tǒng)中主持人深度的檢測(cè)方法，其中，所述 的標(biāo)志是指具有白色背景的黑色矩形邊框，白色背景的邊緣距離黑色邊框大 于30mm。標(biāo)志的黑色矩形邊框的外邊框尺寸為50mmx50mm,內(nèi)邊框尺寸為 30mm x 30mm。
如上所述的一種虛擬演播室系統(tǒng)中主持人深度的檢測(cè)方法，步驟U)中 所述的確定主持人所在區(qū)域的過程包括以下步驟
① 將紅外攝像機(jī)拍攝的圖像轉(zhuǎn)換成灰度圖像；
② 確定灰度圖像中亮度大于閾值的區(qū)域，所述的闊值為200。
采用本發(fā)明所述的方法，由于事先確定了圖像中主持人所在區(qū)域，因此 只需檢測(cè)主持人所在區(qū)域的深度即可，無需像現(xiàn)有的方法那樣對(duì)圖像中所有 物體均進(jìn)行深度檢測(cè)，從而提高了主持人深度的檢測(cè)效率。


圖1是現(xiàn)有技術(shù)中深度檢測(cè)方法原理圖； 圖2是實(shí)現(xiàn)本發(fā)明所述方法的裝置分布圖； 圖3是本發(fā)明所述方法流程6圖4是具體實(shí)施方式
中標(biāo)志示意圖5是具體實(shí)施方式
中世界坐標(biāo)系示意圖。
具體實(shí)施例方式
下面結(jié)合具體實(shí)施方式
和附圖對(duì)本發(fā)明作進(jìn)一步的描述。
如圖2所示， 一種實(shí)現(xiàn)本發(fā)明所述方法的裝置分布圖。其中，A和C是
兩臺(tái)普通攝像機(jī)，用來產(chǎn)生視差圖；B為紅外攝像機(jī)，用來拍攝紅外圖像并
以此來確定主持人所在區(qū)域；D表示主持人所在的區(qū)域。
如圖3所示， 一種虛擬演播室系統(tǒng)中主持人深度的檢測(cè)方法，包括以下 步驟
(l)標(biāo)定三臺(tái)攝像機(jī)A、 B和C的相對(duì)位置關(guān)系。
實(shí)現(xiàn)該步驟首先需要在場(chǎng)景中放置標(biāo)志。所述的標(biāo)志是指具有白色背景 的黑色矩形邊框，白色背景的邊緣距離黑色邊框大于30mm，如圖4所示。標(biāo) 志可以放置在場(chǎng)景中的任意位置，只要三臺(tái)攝像機(jī)都能拍攝到即可。對(duì)標(biāo)志 中黑色矩形邊框的尺寸也沒有特別要求，只要攝像機(jī)能夠識(shí)別便可。本實(shí)施 方式中，標(biāo)志中黑色矩形邊框的外邊框大小為50mm*50mm,內(nèi)邊框大小為 30mm* 30mm。
三臺(tái)攝像機(jī)同時(shí)拍攝包含該標(biāo)志的圖像，分別在三臺(tái)攝像機(jī)拍攝的三幅 圖像中搜索該標(biāo)志中黑色矩形邊框的外邊框上的四個(gè)頂點(diǎn)，并分別獲得四個(gè) 頂點(diǎn)在三幅圖像中的圖像坐標(biāo)。利用圖像坐標(biāo)和世界坐標(biāo)的對(duì)應(yīng)關(guān)系，能夠 獲得攝像機(jī)相對(duì)于該世界坐標(biāo)的旋轉(zhuǎn)矩陣i 和平移矩陣r ，同時(shí)也就獲得了 這三臺(tái)攝像機(jī)之間的相對(duì)位置關(guān)系。所述的世界坐標(biāo)的坐標(biāo)原點(diǎn)設(shè)置在藍(lán)箱 底面內(nèi)側(cè)邊緣的中心位置，與藍(lán)箱內(nèi)側(cè)面垂直的方向?yàn)閦軸，水平方向?yàn)閤 軸，豎直方向?yàn)閥軸，如圖5所示。
搜索標(biāo)志中黑色矩形邊框的外邊框上的四個(gè)頂點(diǎn)以及四個(gè)頂點(diǎn)的圖^象坐 標(biāo)可以采用現(xiàn)有技術(shù)中的圖像分割方法。即首先將圖像二值化，然后搜索黑 白像素相交處，找到黑色矩形邊框的外邊框，最后提取外邊框上的四個(gè)頂點(diǎn)。
獲得標(biāo)志中黑色矩形邊框的外邊框上的四個(gè)頂點(diǎn)的圖像坐標(biāo)后，可以通 過最速下降法優(yōu)化下面的目標(biāo)函數(shù)，使得目標(biāo)函數(shù)的結(jié)果最小。術(shù)中的方法獲得(如用微
軟亞洲研究院的張震友提供的標(biāo)定方法)；(",v,/)為標(biāo)志中黑色矩形邊框外 邊框四個(gè)頂點(diǎn)的圖像坐標(biāo)；是標(biāo)志中黑色矩形邊框第/個(gè)頂點(diǎn)的世界坐標(biāo)；
^為i^+r的第三項(xiàng)，即i f+r是一個(gè)3*1的列向量，^是該列向量的第三個(gè) 分量；n值為4。
通過優(yōu)化上面的目標(biāo)函數(shù)，可以得到攝像機(jī)相對(duì)于世界坐標(biāo)的旋轉(zhuǎn)矩陣 和平移矩陣w、 r。每臺(tái)攝像機(jī)都用同樣的方法來計(jì)算各自的/ 、 r即可。
(2)分析紅外圖像，獲得主持人所在區(qū)域。
由于主持人體溫較高，因此從紅外圖像上來看，該區(qū)域的亮度最大。因 此獲得主持人所在的區(qū)域只需將紅外圖像轉(zhuǎn)換為灰度圖，取出亮度大于一定 閾值的區(qū)域即可。該閾值可以通過試驗(yàn)來獲得， 一般選擇200較合適。本實(shí) 施方式中閾值選取200。
(3)根據(jù)步驟(1)中標(biāo)定的三個(gè)攝像機(jī)之間的位置關(guān)系，將步驟(2) 中獲得的主持人所在區(qū)域映射到攝像機(jī)A和B各自拍攝的圖像所對(duì)應(yīng)的區(qū)域， 然后根據(jù)深度檢測(cè)方法對(duì)該區(qū)域進(jìn)行深度檢測(cè)。主持人的深度是指主持人所 在區(qū)域中所有像素點(diǎn)Z值的平均值。
假設(shè)攝像機(jī)A、 B和C對(duì)應(yīng)的旋轉(zhuǎn)矩陣和平移矩陣分別為& 、 7> & 、 rB ,
<formula>formula see original document page 8</formula>攝像機(jī)B拍攝的紅外圖像中主持人所在區(qū)域?yàn)?攝像
機(jī)A對(duì)應(yīng)的區(qū)域?yàn)閃 <W 〈^2，V,, < V〈V^，其中
<formula>formula see original document page 9</formula>
攝像機(jī)C對(duì)應(yīng)的區(qū)域也可用同樣方法獲得，只需將換成Mf.即可。 當(dāng)在攝像機(jī)A和攝像機(jī)C拍攝的圖像中找到與攝像機(jī)B拍攝的紅外圖像 中主持人所在區(qū)域相對(duì)應(yīng)的區(qū)域后，利用2. 3式計(jì)算主持人所在區(qū)域每個(gè)像 素的Z值。2.3式中x,和x,為兩幅圖像中主持人所在區(qū)域?qū)?yīng)點(diǎn)的橫坐標(biāo)， 例如，在攝像機(jī)A拍攝的圖像中主持人所在區(qū)域找到第一個(gè)灰度為128的點(diǎn)， 在攝像機(jī)C拍攝的圖像中主持人所在區(qū)域找到第一個(gè)灰度為128的點(diǎn)，這兩 點(diǎn)便是對(duì)應(yīng)點(diǎn)，兩點(diǎn)的橫坐標(biāo)分別為、、x,。
當(dāng)計(jì)算出主持人所在區(qū)域所有像素點(diǎn)的Z值后，計(jì)算Z的平均值，該平 均值便是主持人的深度。
發(fā)明技術(shù)方案得出的其他實(shí)施方式，同樣屬于本發(fā)明的技術(shù)創(chuàng)新范圍。
、2 權(quán)利要求
1.一種虛擬演播室系統(tǒng)中主持人深度的檢測(cè)方法，包括以下步驟(1)標(biāo)定兩臺(tái)普通攝像機(jī)和一臺(tái)紅外攝像機(jī)的相對(duì)位置關(guān)系；(2)分析紅外攝像機(jī)拍攝的紅外圖像，確定主持人所在區(qū)域；(3)根據(jù)步驟(1)中標(biāo)定的三臺(tái)攝像機(jī)之間的相對(duì)位置關(guān)系，將步驟(2)中確定的主持人所在區(qū)域映射到兩臺(tái)普通攝像機(jī)各自拍攝到的圖像所對(duì)應(yīng)的區(qū)域，計(jì)算該區(qū)域內(nèi)所有像素點(diǎn)深度的平均值。
2. 如權(quán)利要求1所述的一種虛擬演播室系統(tǒng)中主持人深度的檢測(cè)方法，其特征在于，步驟(1)中所述的標(biāo)定兩臺(tái)普通攝像機(jī)和一臺(tái)紅外攝像機(jī)的相對(duì)位置關(guān)系的過程包括以下步驟① 在場(chǎng)景中放置標(biāo)志； ② 三臺(tái)攝像機(jī)同時(shí)拍攝包含該標(biāo)志的圖像；③ 分別搜索三臺(tái)攝像機(jī)拍攝的三個(gè)圖像中標(biāo)志外邊框的四個(gè)頂點(diǎn)，獲得四個(gè)頂點(diǎn)的圖^f象坐標(biāo)；④ 根據(jù)四個(gè)頂點(diǎn)的圖像坐標(biāo)與世界坐標(biāo)的對(duì)應(yīng)關(guān)系，獲得三臺(tái)攝像機(jī)相對(duì)于該世界坐標(biāo)的旋轉(zhuǎn)矩陣和平移矩陣。
3. 如權(quán)利要求2所述的一種虛擬演播室系統(tǒng)中主持人深度的檢測(cè)方法，其特征在于所述的標(biāo)志是指具有白色背景的黑色矩形邊框，白色背景的邊緣距離黑色邊框大于30mm。
4. 如權(quán)利要求2或3所述的一種虛擬演播室系統(tǒng)中主持人深度的檢測(cè)方法，其特征在于所述標(biāo)志的黑色矩形邊框的外邊框尺寸為50mmx 50mm，內(nèi)邊才匡尺寸為30mmx 30mm。
5. 如權(quán)利要求1所述的一種虛擬演播室系統(tǒng)中主持人深度的才企測(cè)方法，① 將紅外攝像機(jī)拍攝的紅外圖像轉(zhuǎn)換成灰度圖像；② 確定灰度圖像中亮度大于閾值的區(qū)域。
6. 如權(quán)利要求5所述的一種虛擬演播室系統(tǒng)中主持人深度的4全測(cè)方法，其特征在于所述的閾值為200。
全文摘要
本發(fā)明公開了一種深度檢測(cè)方法，尤其是公開了一種虛擬演播室系統(tǒng)中主持人深度的檢測(cè)方法?，F(xiàn)有的方法在檢測(cè)主持人的深度時(shí)，需要對(duì)場(chǎng)景中所有的物體均進(jìn)行深度檢測(cè)，因此效率較低。本發(fā)明所述的方法，首先通過一臺(tái)紅外攝像機(jī)拍攝的紅外圖像確定主持人所在區(qū)域，然后根據(jù)攝像機(jī)之間的相對(duì)位置關(guān)系將主持人所在區(qū)域轉(zhuǎn)換到普通攝像機(jī)各自拍攝到的圖像所對(duì)應(yīng)的區(qū)域，最后計(jì)算該區(qū)域內(nèi)各像素點(diǎn)深度值，從而獲得主持人的深度。由于該方法事先確定了圖像中主持人所在區(qū)域，因此只需檢測(cè)主持人所在區(qū)域的深度即可，無需像現(xiàn)有的方法那樣對(duì)圖像中所有物體均進(jìn)行深度檢測(cè)，從而提高了主持人深度的檢測(cè)效率。
文檔編號(hào)H04N5/262GK101674418SQ20081022212
公開日2010年3月17日 申請(qǐng)日期2008年9月10日 優(yōu)先權(quán)日2008年9月10日
發(fā)明者濤 李, 馬菲瑩 申請(qǐng)人:新奧特(北京)視頻技術(shù)有限公司