專利名稱：視聽數(shù)據(jù)解碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對代表視聽數(shù)據(jù)和由于在一個顯示裝置上將要再現(xiàn)景像的二進制描述，而可利用的一種連續(xù)的比特流形式的編碼數(shù)字信號進行解碼的方法，所述方法包括根據(jù)一種進化的語法語言和所提供的用于從所述比特流中抽取的處理操作，在第一步中，根據(jù)所述景像的結(jié)構(gòu)區(qū)別稱作物體的元素，在第二步中定義所述景像元素的單個動畫，在第三步中特別定義一個用戶和所述元素之間的交互作用，以及在第四步中按照申請的不同類別構(gòu)成所述景像元素和相應(yīng)的單獨動畫與/或用戶交互作用之間的特殊關(guān)系。本發(fā)明將主要運用于未來的MPEG-4解碼器中。
處理幀基(framed-based)視頻和音頻的眾所周知的MPEG-1和MPEG-2標準的最重要的目標是通過壓縮相關(guān)數(shù)據(jù)，使得存貯和傳輸更加有效。未來新的MPEG-4解碼標準從根本上是不同的，因為它是將代表的是作為物體合成的視聽景像而不僅僅是象素。每個景像被定義為給出了在時間和空間的關(guān)系的視聽物體的編碼表示，無論以任何方式，其中所述已給出的景像被預(yù)先在這些物體(或片斷)中構(gòu)成。
迄今為止，處理自然和合成源的標準機體通常是不同的。由于在一個終端屏幕上顯示這些多介質(zhì)內(nèi)容，良好的三維性能正快速變?yōu)樵S多領(lǐng)域中改進的重要部分，包括使用了(VRML-或虛-實模型語言-是現(xiàn)在用于規(guī)定和傳遞基本3D-圖形-交互作用虛擬環(huán)境)的多介質(zhì)和萬維網(wǎng)，MPEG-4標準共同地考慮了自然材料(視頻、音頻、語音)并且合成的材料(2D和3D圖象以及合成聲音)以及將它們結(jié)合成一個標準的比特流，為了組成景像內(nèi)的這些視聽信息，它們的時間空間關(guān)系需被傳送到終端。
MPEG-4標準除景像描述信息之外還定義了合成描述語言以描述一個視聽物體的比特流顯示的二進制語法。更確切地，MPEG-4系統(tǒng)校驗?zāi)Ｐ?.0建議景像描述為稱之為用于景像的二進制格式(BIFS)的二進制格式。這種由具有屬性和諸如事件源和目標等其它信息構(gòu)成的描述，是基于假設(shè)景像結(jié)構(gòu)是以參數(shù)描述(或字符)傳輸而不是以計算機程序來傳輸?shù)?。那么，景像描述能夠通過運用編碼的景像描更新來超時演化。以BIFS語法傳送的節(jié)點描述也可以按照原文格式清楚地表達。一些MPEG-4節(jié)點和概念是VRML2.0節(jié)點的直接模擬。另外一些是修改VRML2.0，還有一些被加入用于特定的MPEG-4的請求。象VRML2.0語法一樣，BIFS準備與用戶用事件通過裝置描述簡單的行為和交互作用。然而以下解釋的一些問題都不能通過這種格式解決。
這些編址問題首先涉及一個2D和3D混合景像的統(tǒng)一描述。在一個單純的3D景像描述和一個單純的2D景像描述以及一個混合2D/3D景像描述之間確實有根本的區(qū)別。在一個3D景像中，物體的分層是以深度信息為基礎(chǔ)的。在2D中，缺乏層次的概念且層次布置應(yīng)被清晰地定義。另外，2D和3D圖象的混合可伴隨有幾種方法(1)在2D景像中嵌套3D物體(a)這是當想要在2D背景前重現(xiàn)3D物體的情況下的實例在這種情況下，當用戶航行于景像中時，背景不移動。
(b)另一個實例是一個應(yīng)用，其中用戶界面包含2D物體(如按鈕或文本)以及一個重現(xiàn)景像的3D取景器。
(2)在3D景像中嵌套2D物體(a)這是用視頻物體作為3D物體上紋理映射的情況下的實例。
(b)另一個實例是由2D圖形制作的紋理(這是一個“動態(tài)圖象”的特殊情況，那是一個由幾個合成2D物體制作成的在3D景像中的一個2D平面)。
(3)這兩種圖象可以循環(huán)地混合，例如用于在2D景像中嵌套3D物體和利用合成結(jié)果作為3D物體上的一個紋理圖(此圖可以用于模擬一個鏡子的反射)；(4)最后一種可能性是從不同的視點同時觀察同樣的3D圖象。
此時，利用單個的景像圖形不可能描述所有這些可能性。一個景像圖形是通過稱作節(jié)點的物體的分層表示一個景像的一棵樹。景像由組節(jié)點和子節(jié)點組成。組節(jié)點的角色是定義景像的體系和立體結(jié)構(gòu)。子節(jié)點是樹葉。這些節(jié)點用于定義幾何物體，光源還有各種類型的傳感器(對用戶交互作用敏感的物體)。組節(jié)點包括子節(jié)點。這些子節(jié)點可以是子節(jié)點或其它組節(jié)點。
所有節(jié)點具有稱作域的屬性。此域可以是任何類型。例如球狀體是一個幾何節(jié)點。它具有定義其半徑的域。它是一個類型浮標的單值域。組節(jié)點的子節(jié)點在一個特殊的域中確定。此域是一個多元值域(節(jié)點列表)，且每一個值是類型節(jié)點(MFNode)。
現(xiàn)在，為了在景像中定義動畫和用戶交互作用，利用一個稱之為路由選擇的事件通過裝置建立域之間的連接是可能的。從域A到域B的路由選擇意味著無論何時域A改變，域B將采用與域A相同的值。只有相同類型的域(或同樣的種類)可以連接。域可以被區(qū)分；一些可能只是路由的目的地，它們被稱作eventIn，其它的可能只是在路由的起點，它們被稱為eventOut，其余的可能是既是路由的起點，又是路由的終點，它們被稱為暴露域(exposedField)，最后，其它可能不能連接，它們僅簡稱為域。
在VRML，四個節(jié)點(視點，背景，圖象模糊，導(dǎo)航信息)在景像中充當了一個重要的角色即是只有其中之一在給定時間可以是活動的。這些節(jié)點稱為是束節(jié)點。
有許多理由去試圖在一個相干框架中結(jié)合2D和3D的特征。
-整個2D/3D景像使用同樣的事件通過裝置是可能的；-所表示的內(nèi)容能夠更加緊密；-實現(xiàn)能夠被優(yōu)化，由于2D和3D的技術(shù)規(guī)范已經(jīng)被設(shè)計為共同工作。
為了滿足這些要求，需要在一個2D空間中合成代表2D或3D景像重現(xiàn)結(jié)果的2D和3D層，同樣也利用2D或3D景像的重現(xiàn)結(jié)果作為在景像圖形中向其它節(jié)點的一個輸入。
還未解決的其余問題也被考慮，尤其是在以下情況(1)與2D物體的相互作用可能需要與物體能夠相互作用，改變分層，增加或移動物體，不用一種方法去設(shè)置2D物體的層次以適應(yīng)VRML2.0的事件通過裝置是不可能。
(2)單獨事件路由器，為了提供交互作用和簡單的狀態(tài)性能通過應(yīng)用此實例能夠顯示一個移動中的2D地圖，用于導(dǎo)航的地圖要求確定用戶從2D物體(圖象)到3D景像(視點)觸發(fā)事件的路由的能力。
(3)景像球狀分層結(jié)構(gòu)當一個景像圖形表示牽涉到景像的分層組織時，2D或3D層不應(yīng)被認為是另外的圖形物體，并與總的景像圖形混合(還有，層是分級的，例如在

圖1的層次圖形中所介紹的，以后再做解釋)；(4)與視頻物體的交互作用MPEG-4的特點是一個物體級交互作用，例如視頻的描述是一組物體而不是一組象素，它允許與視頻內(nèi)容交互作用(如在一個視頻中剪切或粘貼一個物體)和需要通過內(nèi)容生成器為每個應(yīng)用定義(所述不是終端本身的特點的交互作用，可以通過BIFS被描述，但對于此，各種視頻物體的組成必須以BIFS本身描述)。
因此本發(fā)明的一個目標是提出了一個BIFS的改進，目的是為了充分描述從2D和3D物體建立的復(fù)合景像的組成。此改進允許全部景像及其布置的統(tǒng)一表示，事件通過也不僅僅在3D景像內(nèi)(象在VRML2.0中)也在2D和3D節(jié)點之間，并且也允許定義可以用景像來傳送的特殊用戶界面，而不利用由終端提供的默認的用戶界面。
為此，本發(fā)明涉及在前文所述中描述的一種方式，并且其特征還在于所述處理操作也包括一個額外的步驟用于描述復(fù)合景像，按照結(jié)合二維和三維特點的框架結(jié)構(gòu)和統(tǒng)一景像結(jié)構(gòu)的表示和合成設(shè)備建立任何種類的二維和三維物體。
更確切地說，所述框架結(jié)構(gòu)其特征在于所述額外的描述步驟包括第一主要子步驟，用于按照所有組節(jié)點中構(gòu)成的一個樹狀結(jié)構(gòu)定義一個所述景像的層次表示，此樹狀結(jié)構(gòu)顯示出相關(guān)景像立體組合的層次連接，并且在子節(jié)點中構(gòu)成的是樹葉，以及一個第二附加子步驟用于定義任何種類節(jié)點之間的可能的橫向連接。
在所提出的方法中的一個改進的實施例中，樹結(jié)構(gòu)節(jié)點包括至少一個二維和三維物體，以及附加定義子步驟包括一個第一操作，用于在至少一個所述三維物體中嵌套至少一個所述二維物體，一個可選擇的第二操作，用于定義所述二維和三維物體之間的橫向連接，以及一個可選擇的第三步驟，用于控制在所嵌套的所有二維物體中和在相應(yīng)的原始物體中至少一個單獨的動畫與/或至少一個特定的交互作用的定義步驟。
在此方法中另一個改進的實施例中，樹結(jié)構(gòu)節(jié)點至少包括二維和三維物體，以及附加定義子步驟包括第一操作，用于在至少一個所述二維物體中嵌套至少一個所述三維物體，一個可選擇第二操作用于定義所述二維和三維物體之間的橫向連接，以及一個可選擇第三操作，用于控制在所嵌套的所有三維物體中和在相應(yīng)的原始物體中至少一個單獨的動畫與/或至少一個特定的交互作用的定義步驟。
在此方法中另一個改進的實施例中，樹結(jié)構(gòu)節(jié)點至少包括三維物體，并且附加的定義子步驟包括第一操作，用于在至少所述三維物體中的任何一個中嵌套至少一個所述三維物體，一個可選擇第二操作，用于定義所述三維物體之間的橫向連接，以及一個可選擇第三操作，用于控制在所嵌套的所有三維物體中和在相應(yīng)的原始物體中至少一個單獨的動畫與/或至少一個特定的交互作用的定義步驟。
無論怎樣這兩個最終的實施例，能夠注意到的是所述附加定義子步驟也可以包括一個附加的操作，用于控制從各種不同視點至少一個單個的三維景像的同時重現(xiàn)，同時保持第三操作用于控制單個的動畫與/或特定的交互作用的定義步驟。
本發(fā)明不僅只涉及先前所述的具有或不具有選擇性操作方法，還涉及到因執(zhí)行它的各種各樣方式中的任何一種來獲得的任何信號。很清楚地說明，本發(fā)明涉及一個從輸入比特流中抽取之后所獲得的信號，在第一步驟中，根據(jù)景像的結(jié)構(gòu)區(qū)分稱之為物體的元素，在第二步驟中定義一個景像所述元素的單獨的動畫，在第三步驟中定義用戶和所述元素之間特別的交互作用，第四步中按照不同類別的應(yīng)用組織定義所述景像元素和相應(yīng)的單獨動畫與/或用戶交互作用之間的關(guān)系，并且執(zhí)行一個附加步驟用于描述一個復(fù)合景像，此景像是按照結(jié)合二維和三維特點的框架結(jié)構(gòu)和統(tǒng)一景像結(jié)構(gòu)的表示和合成設(shè)備而建立的任何種類的二維和三維物體。
這樣的信號允許一起描述二維和三維物體，以及按照樹結(jié)構(gòu)組成景像的分層表示，此樹結(jié)構(gòu)是在一組節(jié)點中構(gòu)成定義了分層連接，并且在子節(jié)點中，所述節(jié)點允許一起構(gòu)成由2D景像圖形，3D景像圖形，分層景像圖形以及這些景像圖形節(jié)點之間的橫向連接組成的單個景像圖形。
這些信號也允許定義已經(jīng)組成的和將要在屏幕上組成的2D或3D景像，對于深度的表示，或者允許定義3D景像，其中將嵌套已經(jīng)由2D或3D物體組成的其它景像，或者也定義用于由其它2D或3D物體組成的3D物體本身的紋理。事實上，這樣的信號允許與任何景像的2D或3D物體相互作用并在所有這樣景像的物體之間組成任何類型的傳輸。明顯地，本發(fā)明也涉及一個用于存貯所述信號的存貯介質(zhì)，無論是何種類型和它的組成。最后，本發(fā)明還涉及一種裝置，用于在諸如上述信號的基礎(chǔ)上以任何其它方式顯示或傳送圖形景像，目的是為了重新組成包括二維和三維物體的任何類型的景像。
本發(fā)明的特點和優(yōu)點從下面的描述和附圖中看將變得更加明顯，其中圖1是一個完整的景像圖形例子。
圖1中的景像圖形所示為按照樹結(jié)構(gòu)的所述景像的分層表示。此結(jié)構(gòu)是一個表示顯示裝置屏幕的矩形區(qū)的分層體系，按照本發(fā)明，所述分層由節(jié)點構(gòu)成(在組節(jié)點GN中也定義為分層連接或在子節(jié)點CN中為樹葉)，可能具有這些節(jié)點之間的橫向連接(在圖1中，例如在子節(jié)點3D物體-2和組節(jié)點2D景像-1之間，用于圖解說明包括一個2D景像的3D物體的位置，或在組節(jié)點3D景像-2和3D景像-1之間，用于說明從不同的視點觀看到的兩個包括相同的3D景像的3D層的位置)。
在所述圖解說明的景像圖形中，事實上三個不同的景像圖形具有2D形的景像圖形，3D形的景像圖形，以及景像圖形的層次。如圖中所示，3D層-2與3D層-1的景像相同，但視點不同。3D物體-3是運用2D景像-1作為紋理節(jié)點的外觀節(jié)點。
本發(fā)明的原理是提出將2D/3D合成物的描述統(tǒng)一為一個單獨的圖形的新節(jié)點。
首先定義兩個新節(jié)點是為了描述2D和3D層的分層結(jié)構(gòu)。2D和3D層由2D投影重現(xiàn)區(qū)的分層集合組成-2D層2D層的子節(jié)點可以是2D層，3D層，以及所有適用于2D景像的描述的節(jié)點。
-3D層3D層的子節(jié)點可以是2D或3D層以及描述一個3D景像的景像圖形。
所定義的新節(jié)點也是為了能夠利用2D和3D組合景像用于在3D世界中的紋理輸入，為了能在3D物體上映射。
-復(fù)合2D紋理這是包括作為一個2D景像的子節(jié)點的紋理地圖，并且所組成的2D景像被用于作為紋理映射。
-復(fù)合3D紋理這是包括定義一個3D景像的子節(jié)點的紋理映射。復(fù)合3D景像被用于作為紋理映射。原理上是能夠在利用此節(jié)點去映射從另一個視點觀看到的現(xiàn)存3D景像的重現(xiàn)結(jié)果。例如此節(jié)點有利于模擬反射結(jié)果。
以上一個很有用的特殊情況是當一個復(fù)合2D景像在3D的矩形區(qū)中的映射。能夠看到的是在3D區(qū)中插入一“動態(tài)圖象”。由于這樣一個節(jié)點的實現(xiàn)與復(fù)合紋理2D節(jié)點的實現(xiàn)區(qū)別很大，因此就意味設(shè)計一個特殊的節(jié)點用于這種情況。那么一個動態(tài)圖象節(jié)點就在下面的描述中提出。
最后，為了確定視點或其它成束的子節(jié)點的預(yù)定義值到上述所指出的節(jié)點之間的發(fā)送路由，定義了一個特定的評價者節(jié)點。此節(jié)點能夠被運用在BIFS規(guī)定的更寬范圍，或者能夠被定義為依從VRML2.0標準。
解釋本發(fā)明的原理，這些新節(jié)點的語法和定義在以下段落(A)到(F)將作更精確的表示。
(A)2D層定義和語法。
2D層節(jié)點被定義為組節(jié)點。它定義了將在屏幕上重現(xiàn)2D物體的一個區(qū)。三個域(或?qū)傩?描述了此節(jié)點相對于其它物體將怎樣被實現(xiàn)它的大小，它的位置和它的層次。這些域可以是路由的起點或目的地。這樣它們是暴露域(exposedField)。這個2D層節(jié)點可以是同類型其它節(jié)點(如也是2D層)或以下定義的相似類型節(jié)點(3D層)的母節(jié)點。這可以由類節(jié)點的多元值域來描述(MFNode)。此外，此節(jié)點可以是所示2D物體節(jié)點的母節(jié)點。這也可以由類節(jié)點的多元值域描述(MFNode)。
在BIFS語言中，2D層節(jié)點如下所述<pre listing-type="program-listing"><![CDATA[2D層{exposedFieldMFNode子2D[]exposedFieldMFNode子層[]exposedFieldSFVec2i 尺寸-1-1exposedFieldSFVec2i 位移0 0exposedFieldSFFloat 深度0}]]></pre>
子2D域能夠具有定義一個2D景像的任何2D組或子節(jié)點的值。子層域能夠以2D或3D層節(jié)點中的任何一個為值。2D層節(jié)點的子節(jié)點的指令(分層)顯然通過運用變換2D節(jié)點(transform2D)給出.。如果兩個2D節(jié)點是同一變換2D的子節(jié)點，則2D節(jié)點的分層按照變換2D的子域的子節(jié)點的順序進行。
2D和3D層的分層布置由位移和深度域來確定。尺寸參數(shù)用浮點數(shù)給出，并且根據(jù)前后關(guān)系情況可以用象素或“自動記錄儀”中的0.0至1.0之間的值表示。對于位移參數(shù)也同樣。在一方向上-1意味著2D層節(jié)點沒有指定此方向上的尺寸，并且觀看者可決定再現(xiàn)區(qū)的尺寸。
相同2D層節(jié)點下的所有2D物體構(gòu)成一單獨的組合物體。此組合物體被其它物體看作是一單一物體。換句話說，如果2D層節(jié)點A是按一個在另一個上面分層的兩個物體B和C的母節(jié)點，如果D不是作為A(B)3D層定義和語法定義的子節(jié)點加入的話，就不可能在B和C之間插入一個新的物體D。
類似地，3D層節(jié)點被定義為組節(jié)點。它在屏幕上定義了一個再現(xiàn)3D物體的區(qū)。三個域(或?qū)傩?描述了此節(jié)點相對于其它物體將怎樣被再現(xiàn)它的尺寸，它的位置和它的深度。這些域可以是路由的起點或目的地。因此它們是暴露域(exposedField)。此節(jié)點可以是同類型其它節(jié)點(如3D層)或相似類型節(jié)點(2D層)的母節(jié)點。這可以由類節(jié)點的多元值域來描述(MFNode)。此外，此節(jié)點可以是表示3D物體節(jié)點的母節(jié)點。這也可以由類節(jié)點的多元值域描述(MFNode)。
在需要幾個同樣2D世界(或物體)的影像的特殊情況下，對于成束的節(jié)點提出了一個問題，因為不可能說每一個成束節(jié)點中只有一個在整個應(yīng)用的同一時間是活動的。然而，每一個成束節(jié)點中只有一個可以在每一個3D層是活動的。這種情況要求3D層節(jié)點具有一個用于每一個成束節(jié)點的暴露域。
在BIFS語言中，3D層節(jié)點如下所述<pre listing-type="program-listing"><![CDATA[3D層{exposedFieldMFNode子3D[]exposedFieldMFNode子層[]exposedFieldSFVec2f 位移 0 0exposedFieldSFInt32 深度 0exposedFieldSFVec2f 尺寸 -1-1exposedFieldSFNode背景空exposedFieldSFNode景像模糊空exposedFieldSFNode導(dǎo)航信息空exposedFieldSFNode視點空}]]></pre>子3D域能夠具有定義一個3D景像的任何3D組或子節(jié)點的值。子層域能夠?qū)?D或3D層節(jié)點中的任何一個為值。2D和3D層的分層布置由位移和深度域來確定。位移域的表示，象在2D層中的情況一樣也是用象素或“自動記錄儀”中的0.0至1.0之間的值表示。尺寸參數(shù)象在2D層中一樣具有同樣的語義和單元。在一方向上-1意味著3D節(jié)點沒有指定此方向上的長度，并且觀看者可決定再現(xiàn)區(qū)的尺寸。所有成束的子節(jié)點被用作3D層節(jié)點的暴露域。在運行期間，這些域?qū)⒂糜?D景像的當前界限內(nèi)成束子節(jié)點的值置為3D層節(jié)點的一個子節(jié)點的值。例如允許將當前視點置為3D層以響應(yīng)一些事件，由于景像可以在不同之間共享，這些事件不能夠通過直接運用將視點節(jié)點的設(shè)置束值(set-bind eventIn)為事件進入來實現(xiàn)。
在3D景像在幾個3D層之間共享的情況下，各種傳感器節(jié)點的狀態(tài)如下所定義無論何時，3D層中所包含傳感器中的任何一個被觸發(fā)，傳感器就觸發(fā)一個事件。
(C)復(fù)合2D紋理的定義和語義復(fù)合2D紋理是一個象VRML2.0圖象紋理節(jié)點那樣的紋理節(jié)點。然而，它被定義為組節(jié)點。它可以是任何2D節(jié)點的母節(jié)點。由此節(jié)點表示的紋理起因于在子域中所描述的2D景像的合成。
在BIFS語言中，復(fù)合2D紋理節(jié)點如下所描述<pre listing-type="program-listing"><![CDATA[復(fù)合2D紋理{exposedFieldMFNode 子2D[]exposedFieldSFvec2f尺寸-1-1}]]></pre>MFNode型子2D域是定義映射到3D物體上的2D景像的2D組和子節(jié)點的列表。此尺寸域定義此映射的大小。此單元與2D/3D層的情況一樣。如果左邊是默認值，將利用一非定義尺寸。復(fù)合2D紋理節(jié)點只能被用于作為一個外觀節(jié)點的紋理域。
(D)復(fù)合3D紋理定義和語義。
復(fù)合3D紋理是一個象VRML2.0圖象紋理節(jié)點那樣的紋理節(jié)點。然而，它被定義為組節(jié)點。它可以是任何3D節(jié)點的母節(jié)點。由此節(jié)點表示的紋理起因于在子域中所描述的3D景像的合成。而對于3D層節(jié)點，利用暴露域解決束節(jié)點的問題。
在BIFS語言中，復(fù)合3D紋理節(jié)點如下所描述<pre listing-type="program-listing"><![CDATA[復(fù)合3D紋理{exposedFieldMFNode子3D []exposedFieldSFVec2f 尺寸 -1-1exposedFieldSFNode背景空exposedFieldSFNode景像模糊空exposedFieldSFNode導(dǎo)航信息空 exposedFieldSFNode視點空}]]></pre>MFNode型子3D域是定義映射到3D物體上的3D景像的3D組和子節(jié)點的列表。尺寸域以映射象素定義尺寸(如果左邊作默認值，那么將利用未定義的尺寸)。下述四個域代表3D景像中所運用的子節(jié)點束的當前值。復(fù)合3D紋理節(jié)點只能被用于作為一個顯示節(jié)點的紋理域。
(E)復(fù)合映射定義和語義。
復(fù)合映射節(jié)點是局部坐標系的z＝0矩形平面所表示的復(fù)合2D紋理節(jié)點中的一個特殊情況。此有用的復(fù)合2D紋理節(jié)點的子集將能夠有效地處理相結(jié)合的2D和3D組合的簡單情況。
在BIFS語言中，有效映射節(jié)點如下所述<pre listing-type="program-listing"><![CDATA[復(fù)合映射{exposedFieldMFNode子2D []exposedFieldSFVec2i 景像尺寸-1-1exposedFieldSFVec2f 中心0 0exposedFieldSFVec2f映射尺寸1.0 1.0}]]></pre>
MFNode型子2D域是定義映射到3D物體上的2D景像的2D組和子節(jié)點的列表。景像尺寸域以2D復(fù)合景像的象素定義尺寸(如果左邊是默認值，將利用非定義尺寸)。中心域定義xOy坐標系中復(fù)合映射的中心坐標。映射尺寸域確定在3D空間中2D景像所映射的矩形區(qū)的尺寸。此節(jié)點能被用于任何3D子節(jié)點。
(F)賦值設(shè)備定義和語義。
賦值節(jié)點是用于按規(guī)定路由發(fā)送一個預(yù)定義值到另一個節(jié)點的域的節(jié)點。它具有每一個現(xiàn)存類型的暴露域。無論何時它的其中之一的暴露域被修改或通過事件輸入(eventIn)被觸發(fā)，則賦值域被觸發(fā)。
在BIFS語言中，賦值域節(jié)點如下所述<pre listing-type="program-listing"><![CDATA[賦值域{eventInSFBool設(shè)為_有效exposedFieldSFBool 布爾值真exposedFieldSFColor顏色值0 0 0exposedFieldSFFloat浮點值0.0exposedFieldSFImage節(jié)點值空exposedFieldSFInt32整數(shù)值0exposedFieldSFRotation 旋轉(zhuǎn)值1000exposedFieldSFVec2fvec2f值 0.0 0.0exposedFieldSFVec3fvec3f值 0.0 0.0 0.0}]]></pre>參數(shù)的語義是一個簡單的恒定值。此值可以被路由到能夠明確設(shè)置域值的相同類型的另一個域?？捎檬录?eventIn)設(shè)置_活動域?qū)⒙窂竭x擇激活。
上述解決方案解決了編址問題。事實上是獲得了用于完整2D/3D景像的單一顯示以及2D和3D物體的球狀交互作用，并且由于現(xiàn)所描述的2D和3D物體在同樣的文件中(或流)，在這些域間可能會使用同樣的路由器。關(guān)于此功能的一實例，其中對于由一個立方體和色彩調(diào)色板組成的3D景像在2D景像中以2D圓環(huán)顯示，當用戶接觸到此調(diào)色板中的一種顏色時，立方體顏色被設(shè)置到所接觸的顏色，在附件A中給出。
另外，如圖1所示，兩個節(jié)點2D層和3D層被設(shè)計為在單一球狀分層結(jié)構(gòu)中構(gòu)成景像。也必須指明的是以紋理映射組合的2D景像和2D復(fù)合映射是概念上非常類似的。復(fù)合映射定義了與2D復(fù)合景像相映射的矩形平圓面紋理。作為紋理映射的2D復(fù)合景像是一個可以被映射在任何幾何圖形上的紋理。
附件B給出了一個復(fù)合映射的例子。在此實例中，具有在立體世界原點的，在一個由2個圖像組成的平面上的2.0x4.0矩形區(qū)。用戶可以接觸2個圖象中的任何一個以觸發(fā)一個動作(此動作在例子中沒有說明)。
附件C給出對于3D復(fù)合景像作為紋理映射的復(fù)合映射的另一個實例。在此實例中，在3D層中有一個立方體。此立方體具有一個從特殊的視點觀看的一個圓柱體的再現(xiàn)所組成的紋理映射。用戶可以接觸此圓柱體來觸發(fā)一個動作(此動作以例子中沒有指出)。
關(guān)于同一景像的多視點觀察，所提出的解決方法允許同一景像從不同的視點在幾個3D層中顯示。此外，此景像的視點可以通過觸及一些2D圖象來修改。此功能在最后的附件D中所給出的實例中表示。
權(quán)利要求
1.一種對代表視聽數(shù)據(jù)和由于在一個顯示裝置上將要再現(xiàn)景像的二進制描述，而可利用的連續(xù)的一種比特流形式的編碼數(shù)字信號進行解碼的方法，所述方法包括根據(jù)一種進化的語法語言和用于從所述比特流中抽取的處理操作，在第一步中，根據(jù)所述景像的結(jié)構(gòu)區(qū)別稱作物體的元素，在第二步中定義所述景像元素的單獨動畫，在第三步中特別定義了一個用戶和所述元素之間的交互作用，以及在第四步中按照應(yīng)用的不同類別構(gòu)成的所述景像元素和相應(yīng)的單獨動畫與/或用戶交互作用之間的關(guān)系，所述方法其特征還在于所述處理操作還包括一個用于描述按照復(fù)合二維和三維特征的框架以及統(tǒng)一景像結(jié)構(gòu)的合成和表示器，從二維和三維物體中的任何一個建立的復(fù)雜景像的附加步驟。
2.按照權(quán)利要求1所述的一種方法，其中所述附加的描述步驟包括一個第一子步驟用于根據(jù)以所有組節(jié)點組成的樹結(jié)構(gòu)，此樹結(jié)構(gòu)表示所給的相關(guān)景像的立體組合的分層連接，并且以子節(jié)點構(gòu)成樹葉，以此來定義所述景像的分層表示，以及一個第二附加子步驟用于定義在任何類型的節(jié)點之間的橫向連接。
3.按照權(quán)利要求2所述的一種方法，其中樹結(jié)構(gòu)的節(jié)點至少包括二維物體和三維物體，以及附加定義子步驟包括用于在所述三維物體中的至少一個物體中嵌套至少一個所述二維物體的第一操作，一個用于定義所述二維和三維物體之間的橫向連接的可選擇的第二操作，以及一個用于控制在所嵌套的所有二維物體中和在相應(yīng)的原始物體中至少一個單獨的動畫與/或至少一個特定的交互作用的定義步驟的可選擇的第三步驟。
4.按照權(quán)利要求2所述的一種方法，其中樹結(jié)構(gòu)節(jié)點至少包括二維和三維物體，以及附加定義子步驟包括用于在至少一個所述二維物體中嵌套至少一個所述三維物體的一個第一操作，一個用于定義所述二維和三維物體之間的橫向連接的可選擇第二操作，以及一個用于控制在所嵌套的所有三維物體中和在相應(yīng)的原始物體中至少一個單獨的動畫與/或至少一個特定的交互作用的定義步驟的可選擇第三操作。
5.按照權(quán)利要求2所述的方法，其中樹結(jié)構(gòu)節(jié)點至少包括三維物體，并且附加的定義子步驟包括一個用于在至少所述三維物體中的任何一個中嵌套至少一個所述三維物體的第一操作，一個用于定義所述三維物體之間的橫向連接的可選擇的第二操作，以及一個用于控制在所嵌套的所有三維物體中和在相應(yīng)的原始物體中至少一個單獨的動畫與/或至少一個特定的交互作用的定義步驟的可選擇的第三操作。
6.按照權(quán)利要求4或5所述的方法，其中所述附加定義子步驟也包括一個附加的操作，用于控制從各種不同視點對至少一個單獨三維景像的同時再現(xiàn)，同時保持第三操作用于控制單個的動畫與/或特定的交互作用的定義步驟。
全文摘要
本發(fā)明涉及一種允許處理的解碼的視聽數(shù)據(jù)的方法，在改進的語法語言的基礎(chǔ)上，區(qū)別一個景像的元素作為用于單獨動畫的物體，尤其是能夠提供用戶/元素交互作用，以及所述元素和所定義的動畫與/或交互作用之間的特殊聯(lián)系，在分層樹中組織的描述也包括所提供的橫向連接，此連接用于彼此嵌套二維與/或三維物體并有選擇地控制從各種不同視點的景像再現(xiàn)，同時保持在所有嵌套物體與/或景像和在原始物體之間所有相關(guān)作用的控制。應(yīng)用MPEG－4標準的改進。
文檔編號G06T15/70GK1239566SQ98801313
公開日1999年12月22日 申請日期1998年7月6日 優(yōu)先權(quán)日1997年7月11日
發(fā)明者R·馬爾拉特, J·斯格內(nèi)斯 申請人:皇家菲利浦電子有限公司, 法國電訊公司, 法國長程無線電廣播有限公司