將三維圖形動畫插入到三維立體內(nèi)容中的方法及設備的制作方法
【專利摘要】本發(fā)明涉及一種將3D圖形動畫插入到3D圖像中的方法及設備，其中，在大小和深度上定義圖像動畫的每個3D圖形元素以便插入到所述3D圖像的確定的插入?yún)^(qū)域中。該方法包含以下步驟：使用最大允許深度值為待插入的圖形元素確定深度范圍；當圖形元素的深度值在范圍之外時，用最大允許深度值替換在范圍之外的深度值；以及，在與圖形元素的深度的減小成比例地在大小上減小圖形元素時，對圖形元素的深度值與最大允許深度值之間的深度差進行補償。
【專利說明】將三維圖形動畫插入到三維立體內(nèi)容中的方法及設備

【技術領域】
[0001] 本發(fā)明涉及一種將3D圖形動畫插入到3D立體內(nèi)容中的方法及設備。因為本發(fā)明 涉及圖形插入，所以主要適用于后期制作環(huán)境，而且還適用于包括STB、BD播放器、電視機、 智能電話、具有3D能力的平板電腦在內(nèi)的消費者產(chǎn)品。每當產(chǎn)生要在3D顯示器上顯示的 3D圖形內(nèi)容時，就可以使用本發(fā)明。

【背景技術】
[0002] 本發(fā)明針對解決在將動畫圖形覆蓋在3D視頻層的上面時的深度感知沖突的問 題。實際上，如果遮擋線索（occlusion clues)不匹配深度線索（depth cues),將引起視覺 不適，從而造成頭痛或惡心。當3D圖形在深度方向上被制作成動畫時，將更有可能出現(xiàn)沖 關。
[0003] 有大量的專利和論文描述了如何在混合兩個立體內(nèi)容時避免重疊：多數(shù)時候，一 個是視頻（真實圖像，主要的），另一個是圖形（虛擬圖像，次要的）。通常，提出對兩個內(nèi) 容之一進行移位，使得不再有重疊。有時，因為并非總能將兩個傳入的內(nèi)容保持在舒適的范 圍內(nèi)（收斂/適應問題），所以建議壓縮深度范圍。W02008038205A2(飛利浦，Philips)以 及US20110199459NV描述了這種方法。
[0004] 本發(fā)明針對改善使圖形元素出現(xiàn)或消失的動畫的使用情形。這在2D顯示的情況 下相當簡單，因為在2D顯示中決不可能出現(xiàn)視覺感知沖突，2. ?動畫（被制作成3D動畫， 但是被投射到單一的2D窗口上）給出很好的效果：圖形由于在3D動畫期間通向無窮遠的 深度而消失。關于3D顯示，元素將有可能與真實場景中的其他對象沖突，至少與背景（可 能不在無窮遠處）相沖突，而且有時可能與可能是在屏幕平面上或甚至脫離屏幕的實際場 景的其他對象相沖突。
[0005] 本發(fā)明的目的在于處理上述的圖形動畫與3D場景的對象重疊的問題。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明在于一種將圖形動畫插入到3D圖像中的方法，其中，在大小和深度上定義 所述圖形動畫的每個3D圖形元素以便插入到所述3D圖像的確定的插入?yún)^(qū)域中。該方法包 含以下步驟：為待插入的圖形元素確定與所述確定的插入?yún)^(qū)域中的圖像的最小深度值相對 應的最大允許深度值，使得所述圖形元素與預先確定的插入?yún)^(qū)域中的3D圖像的對應部分 不重疊。另外，該方法包含以下步驟：當所述待插入的圖形元素的深度值高于所述最大允許 深度值時，用所述最大允許深度值保持所述圖形元素的深度值；以及，在與所述圖形元素的 深度的減小成比例地在大小上減小所述圖形元素時，對高于所述最大允許深度值的所述待 插入的圖形元素的深度值與所述最大允許深度值之間的深度差進行補償。
[0007] 使用本發(fā)明將在保持視差不變的同時顯示2D空間中的圖形大小的變化。
[0008] 在優(yōu)選的實施例中，該方法還包含以下步驟：確定環(huán)繞所述圖形元素的包圍盒，使 得所述包圍盒的大小和深度值替換所述圖形元素的大小和深度值。
[0009] 在優(yōu)選的實施例中，定義環(huán)繞移動到一起的不同的圖形元素的包圍盒。
[0010] 在優(yōu)選的實施例中，確定所述最大允許深度值，使得避免所述圖形元素與所述3D 圖像的對象的重疊。
[0011] 在優(yōu)選的實施例中，由觀眾選擇所述最大允許深度值。
[0012] 在優(yōu)選的實施例中，將圖形動畫插入到3D圖像中的方法應用于后期制作環(huán)境。
[0013] 在優(yōu)選的實施例中，將圖形動畫插入到3D圖像中的方法應用于消費者產(chǎn)品。
[0014] 在優(yōu)選的實施例中，確定至少待插入的圖形元素的最大允許深度，使得避免所述 3D圖像的重疊。
[0015] 本發(fā)明還涉及一種用于將圖形動畫插入到3D圖像中的設備，其中，在大小和深度 上定義所述圖形動畫的每個圖形元素以便插入到所述3D圖像的確定的插入?yún)^(qū)域中。該設 備包含：用于為待插入的圖形元素確定與所述確定的插入?yún)^(qū)域中的圖像的最小深度值相對 應的最大允許深度值，使得所述圖形元素與預先確定的插入?yún)^(qū)域中的3D圖像的對應部分 不重疊的部件；用于當所述待插入的圖形元素的深度值高于所述最大允許深度值時，用所 述最大允許深度值保持所述圖形元素的深度值的部件；以及，用于在與所述圖形元素的深 度的減小成比例地在大小上減小所述圖形元素時，對高于所述最大允許深度值的所述待插 入的圖形元素的深度值與所述最大允許深度值之間的深度差進行補償?shù)牟考?br> [0016] 本發(fā)明具有以下優(yōu)點：在圖形出現(xiàn)或消失時不再有視覺感知沖突。附帶地，因為不 通過進行移位來防止視頻內(nèi)容的重疊，本發(fā)明保留了原始的立體視頻內(nèi)容。

【專利附圖】

【附圖說明】
[0017] 將參考附圖對本發(fā)明的特征及優(yōu)點做出進一步的解釋，附圖中：
[0018] 圖1例示了本發(fā)明的實現(xiàn)；并且
[0019] 圖2例示了平面和相關聯(lián)的深度以解釋本發(fā)明。

【具體實施方式】
[0020] 本發(fā)明提了一種方法，該方法將出自初始動畫場景的幾何變換變成將圖形元素保 持在確保與真實場景深度預算不重疊同時給出圖形元素通自/向無窮遠（大小=0)的印 象的安全的深度范圍內(nèi)的不同的幾何變換。這通過將縮放參數(shù)與平移參數(shù)一起更新來達 成?？s放參數(shù)被定義為圖形元素的最大長度和最大寬度。平移參數(shù)是深度值。由此，在大 小上通過縮放參數(shù)來定義圖形元素。
[0021] 通常使用3D建模工具對3D圖形進行建模。眾所周知，有不同的建模工具，諸如 Blender、Cinema4D、Maya 以及 AutoDesk。
[0022] 這些創(chuàng)作工具能夠以例如xml、x3d、vrml、dae、dxf、fbx或者obj等格式導出虛擬 場景的模型。
[0023] 基本上，模型被描述為包含多個元素的樹，其中每個元素都被定義為與色彩或紋 理以及諸如平移、旋轉(zhuǎn)或縮放這樣的變換函數(shù)相關聯(lián)的基本形狀。
[0024] 如圖1所示，本發(fā)明的實現(xiàn)方式接受以下內(nèi)容作為輸入：
[0025] ?包含3D圖形說明書的模型文件；
[0026] ?動畫文件：包含動畫說明書，基本上包含諸如平移、旋轉(zhuǎn)或縮放這樣的入口點與 終點之間的變換、幀的數(shù)量以及動畫的速度；
[0027] ?傳入的立體視頻。
[0028] 它輸出由3D圖形和傳入的立體視頻結合而成的合成視頻。它包含以下模塊：
[0029] · x3d文件解析模塊：該模塊讀取文件并使用OpenGL函數(shù)（頂點創(chuàng)建和變換操 作）逐個元素地創(chuàng)建圖形對象；
[0030] ?視差估計器模塊：該模塊計算稀疏視差圖并給出在可編程的區(qū)域上的最小值。 該區(qū)域可以是整個屏幕，但更有可能是期望插入圖形的屏幕的一部分；
[0031] ?動畫創(chuàng)建器模塊：該模塊檢查是否動畫圖形深度將與實際視頻重疊。如果否，則 不予改變地使用包含在動畫文件中的參數(shù)；否則，改變參數(shù)；
[0032] ?圖形呈現(xiàn)器模塊：這是負責進行呈現(xiàn)的模塊。該模塊從動畫創(chuàng)建器得到動畫腳 本并相應地執(zhí)行OpenGL操作；
[0033] ?合成模塊使得能夠?qū)⑿Ｕ蟮膱D形元素結合到3D立體視頻圖像。
[0034] 因為估計器涉及傳入的左、右2D圖像，所以不直接提供深度值，而是提供左、右畫 面之間的視差的值。對于本領域的技術人員，將視差值鏈接到深度值的關系是眾所周知的。
[0035] 如果我們知道用焦距、基線和收斂平面的深度表示的虛擬圖形的設置，則我們可 以得到每個圖形元素的結果視差。如果我們知道更遠的深度z (在頂點創(chuàng)建和變換之后得 到），則我們可以得到等價視差，并且可以與由視差估計器提供的視差進行比較。
[0036] 校正方法是動畫創(chuàng)建器用于改變初始動畫腳本以便防止視覺感知沖突的方法。對 于每個幀，動畫創(chuàng)建器將檢查圖形的結果視差。
[0037] 如果深度（視差）大于來自深度（視差）估計器的深度，則需要進行校正。
[0038] 如圖2所示，在根據(jù)圖形元素的長度和寬度確定的大小上減小圖形元素并將其保 持在與圖上的zmax(z = 4)相對應的最大允許深度處，而不是將圖像元素向后推。由此，通 過最大深度值zmax來限制深度范圍。
[0039] 下面的圖表示出了如何通過減小對象的大小來得到對象正通向遠處的假象 (illusion)。在屏幕zconv(z = 3)上的大小、實際大小與深度z (z = 7)之間的關系如下：
[0040] 1/L = Zmax/Z
[0041] 其中：
[0042] 籲L :初始的對象長度大小
[0043] · 1 :校正后的長度大小
[0044] · Zmax :最大允許深度
[0045] 將以相同的方式調(diào)整得到適應的對象的寬度。
[0046] 在zmax (z = 4)處的兩個矩形表示將與位于深度z (z = 7)處的原始對象相比較 小的對象，該對象本來在2D屏幕上分別從左眼（在z = 0處的圓圈）和右眼（在z = 0處 的圓圈）被感知具有相同的大小。顯然，應當僅呈現(xiàn)一個對象，并且其相對于位于zmax處 的對象但使用縮放因子zmax/z居中。
[0047] 在本發(fā)明的實施例中，例如，在后期制作級別，圖形插入可以是在體育的情況下添 加徽標或指出得分/運動員名字，或者對歌手添加名字/標題。在消費者設備級別，這可以 是要求圖形插入以瀏覽菜單或者取得鏈接到內(nèi)容（EPG)或用戶偏好的額外數(shù)據(jù)（例如：用 于社交網(wǎng)絡、天氣預報、股票市場的窗口小工具）的用戶界面。
[0048] 在本發(fā)明的實施例中，與圖形插入及其自身的深度相關的腳本可以根據(jù)各種函數(shù) 或各種場景來確定該插入的深度。在本發(fā)明的實施例中，圖形應當消失在地平線上。
[0049] 在另一個實施例中，圖形的深度可以根據(jù)時間的變化而發(fā)展。這意味著深度是線 性（或非線性），并且是時間的函數(shù)。
[0050] 該方法在于：如果深度值在最大允許值以上，則通過改變元素大小而不是深度值 來呈現(xiàn)動畫3D圖形元素。因此，在與圖形元素的深度的減小成比例地在大小上減小圖形元 素時，對圖形元素的深度與最大允許深度值之間的深度差進行補償。
[0051] 確定環(huán)繞圖形元素的包含盒將使得能夠考慮包圍盒而不是圖形元素的深度值、長 度值和寬度值。能夠定義包圍盒以便不同的圖形元素一起移動到該包圍盒的內(nèi)部，并且考 慮插入該包圍盒而不是不同的圖形元素。
[0052] 深度、長度和寬度值分別是圖形元素或者包圍不同圖形元素的體積或者包圍圖形 元素的一部分的體積的深度、長度和寬度值的最大值。
[0053] 圖形元素或包圍盒的深度、長度和寬度值是與對應于圖形元素的數(shù)據(jù)一起導入的 確定數(shù)據(jù)。
[0054] 3D元素的最大深度值對應于表示元素的最遠的點的像素的深度值。作為通過其長 度、寬度和深度值在大小上定義的元素，計算最大深度值的變更，使得遵守圖形元素的在大 小上的比例。
[0055] 因此，如果場景指示圖形元素正在3D圖像中移動，則一旦最大深度值達到指定界 限，就將與由該場景指示的圖形元素的深度值成比例地變更該元素的大小。
[0056] 深度值相對于將3D圖形顯示給觀眾的屏幕的3D深度是固定的。
【權利要求】
1. 一種將圖形動畫插入到3D圖像中的方法，其中，在大小和深度上定義所述圖形動畫 的每個3D圖形元素以便插入到所述3D圖像的確定的插入?yún)^(qū)域中， 其特征在于，所述方法包含以下步驟： 為待插入的圖形元素確定與所述確定的插入?yún)^(qū)域中的圖像的最小深度值相對應的最 大允許深度值，使得所述圖形元素與預先確定的插入?yún)^(qū)域中的3D圖像的對應部分不重疊； 當所述待插入的圖形元素的深度值高于所述最大允許深度值時，用所述最大允許深度 值保持所述圖形元素的深度值；以及 在與所述圖形元素的深度的減小成比例地在大小上減小所述圖形元素時，對高于所述 最大允許深度值的所述待插入的圖形元素的深度值與所述最大允許深度值之間的深度差 進行補償。
2. 如權利要求1所述的方法，其特征在于，其還包含以下步驟：確定環(huán)繞所述圖形元素 的包圍盒，使得所述包圍盒的大小和深度值替換所述圖形元素的大小和深度值。
3. 如權利要求2所述的方法，其特征在于，根據(jù)所述圖形元素的最大長度和寬度值來 確定所述圖形元素的大小。
4. 如權利要求1至3所述的方法，其特征在于，所述插入應用于后期制作環(huán)境。
5. 如權利要求1至5所述的方法，其特征在于，所述插入應用于消費者產(chǎn)品。
6. -種用于將圖形動畫插入到3D圖像中的設備，其中，在大小和深度上定義所述圖形 動畫的每個3D圖形元素以便插入到所述3D圖像的確定的插入?yún)^(qū)域中； 其特征在于，所述方法包含： 用于為待插入的圖形元素確定與所述確定的插入?yún)^(qū)域中的圖像的最小深度值相對應 的最大允許深度值，使得所述圖形元素與預先確定的插入?yún)^(qū)域中的3D圖像的對應部分不 重疊的部件； 用于當所述待插入的圖形元素的深度值高于所述最大允許深度值時，用所述最大允許 深度值保持所述圖形元素的深度值的部件；以及 用于在與所述圖形元素的深度的減小成比例地在大小上減小所述圖形元素時，對高于 所述最大允許深度值的所述待插入的圖形元素的深度值與所述最大允許深度值之間的深 度差進行補償?shù)牟考?br> 【文檔編號】H04N13/00GK104106263SQ201380009050
【公開日】2014年10月15日 申請日期:2013年2月6日 優(yōu)先權日:2012年2月13日
【發(fā)明者】A.維迪爾, A.奧漢德, V.德拉齊克 申請人:湯姆遜許可公司