專利名稱：在流系統(tǒng)中解碼數(shù)據(jù)流的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種方法和設(shè)備，用于針對(duì)例如MPEG-4的多媒體流系統(tǒng)，在緩沖節(jié)點(diǎn)中解碼數(shù)據(jù)流。
背景技術(shù)：
在MPEG-4標(biāo)準(zhǔn)ISO/IEC 14496中，具體在部分1系統(tǒng)中，能夠從可以利用不同MPEG-4格式編碼類型編碼的多個(gè)音頻、視頻和合成2D/3D對(duì)象來(lái)組成音頻/視頻(AV)場(chǎng)景，并將其作為復(fù)用比特流中的二進(jìn)制壓縮數(shù)據(jù)進(jìn)行傳輸，所述復(fù)用比特流包括多個(gè)子流。也將子流稱作基本流(ES)，并且能夠通過描述符對(duì)其進(jìn)行訪問。ES可以包含AV數(shù)據(jù)，或可以是所謂的對(duì)象描述(OD)流，所述對(duì)象描述流包括解碼AV子流所必需的配置信息。利用分量對(duì)象合成單個(gè)場(chǎng)景的過程被稱作組成，是指在分組的重構(gòu)和其各自ES的分別解碼之后，混合多個(gè)單個(gè)AV對(duì)象(例如與音頻和文本相關(guān)的視頻的呈現(xiàn))。在被稱作“場(chǎng)景描述流”的專用ES中描述了場(chǎng)景的組成，所述場(chǎng)景描述流包含由節(jié)點(diǎn)的編碼樹構(gòu)成的場(chǎng)景描述，所述節(jié)點(diǎn)被稱作場(chǎng)景二進(jìn)制信息(BIFS)?！肮?jié)點(diǎn)”是指在MPEG-4標(biāo)準(zhǔn)中使用的處理步驟或單元，例如在解碼器和后續(xù)處理單元之間緩沖數(shù)據(jù)或執(zhí)行時(shí)間同步的接口。節(jié)點(diǎn)可以具有被稱作字段的屬性以及附加的其它信息。BIFS樹中的葉節(jié)點(diǎn)通過指向OD流中的OD，與基本AV數(shù)據(jù)相對(duì)應(yīng)，所述OD流包含指向ES中的AV數(shù)據(jù)的ES描述符。中間節(jié)點(diǎn)或場(chǎng)景描述節(jié)點(diǎn)將該素材進(jìn)行分組，以形成AV對(duì)象，并對(duì)這種AV對(duì)象執(zhí)行例如分組和傳輸。在接收機(jī)中，提取配置子流并將其用于建立所需的AV解碼器。分離地將AV子流解碼為對(duì)象，并將接收到的組成指令用于以解碼AV對(duì)象來(lái)準(zhǔn)備單個(gè)呈現(xiàn)。然后，回放該最終的呈現(xiàn)或場(chǎng)景。
根據(jù)MPEG-4標(biāo)準(zhǔn)，只能將音頻內(nèi)容存儲(chǔ)在“音頻緩沖器”節(jié)點(diǎn)或“媒體緩沖器”節(jié)點(diǎn)中。這兩種節(jié)點(diǎn)都能夠每次存儲(chǔ)單個(gè)數(shù)據(jù)塊。當(dāng)存儲(chǔ)另一個(gè)數(shù)據(jù)塊時(shí)，重寫之前存儲(chǔ)的數(shù)據(jù)塊。
當(dāng)創(chuàng)建節(jié)點(diǎn)時(shí)，或當(dāng)“l(fā)ength”字段改變時(shí)，“音頻緩沖器”節(jié)點(diǎn)只能從音頻子流載入數(shù)據(jù)。這意味著音頻緩沖器只能載入音頻數(shù)據(jù)的一個(gè)連續(xù)塊。已分配的存儲(chǔ)器與指定的數(shù)據(jù)量相匹配。此外，可能會(huì)出現(xiàn)由于BIFS解碼器的定時(shí)模型導(dǎo)致載入數(shù)據(jù)樣本的定時(shí)不精確。
為了載入多于一個(gè)音頻樣本，可以利用多個(gè)“音頻緩沖器”節(jié)點(diǎn)來(lái)創(chuàng)建MPEG-4場(chǎng)景。但是，難以處理場(chǎng)景的復(fù)雜度并合成存儲(chǔ)在不同“音頻緩沖器”節(jié)點(diǎn)中的數(shù)據(jù)。此外，不得不針對(duì)每一個(gè)信息打開一個(gè)新流。

發(fā)明內(nèi)容
本發(fā)明要解決的問題在于，在例如MPEG-4的流系統(tǒng)中，改進(jìn)多媒體緩沖節(jié)點(diǎn)中單個(gè)或多個(gè)數(shù)據(jù)塊的存儲(chǔ)和檢索。
通過如權(quán)利要求1所述的本發(fā)明解決了該問題。權(quán)利要求8公開了一種利用本發(fā)明方法的設(shè)備。
根據(jù)本發(fā)明，將額外的參數(shù)添加到多媒體緩沖器節(jié)點(diǎn)(例如音頻或視頻節(jié)點(diǎn))的定義中，以便能夠存儲(chǔ)并選擇性地處理具有AV內(nèi)容的多個(gè)數(shù)據(jù)塊，例如，將其包括到場(chǎng)景中、更新或刪除。在MPEG-4的情況下，這些額外的參數(shù)是例如“音頻緩沖器”節(jié)點(diǎn)或“媒體緩沖器”節(jié)點(diǎn)等節(jié)點(diǎn)的描述中的新字段。所述新字段定義了如音頻流等所接收到的數(shù)據(jù)流中的數(shù)據(jù)塊的位置，以及如何處理這些塊的載入，例如重寫之前存儲(chǔ)的數(shù)據(jù)塊還是在緩沖器中累積數(shù)據(jù)塊。


參考附圖，說(shuō)明了本發(fā)明的典型實(shí)施例，其中圖1MPEG-4場(chǎng)景的通用結(jié)構(gòu)；圖2用于MPEG-4的典型“高級(jí)音頻緩沖器”節(jié)點(diǎn)；以及圖3用于MPEG-4的典型“高級(jí)音頻緩沖器”節(jié)點(diǎn)中的字段。
具體實(shí)施例方式
圖1利用在場(chǎng)景描述流ES_IDS中接收的場(chǎng)景描述，示出了MPEG-4場(chǎng)景的組成。該場(chǎng)景包括音頻、視頻和其它數(shù)據(jù)，在AV節(jié)點(diǎn)ODIDAV中定義了音頻和視頻組成。在場(chǎng)景組成器中組成場(chǎng)景的音頻部分，如解碼器等場(chǎng)景組成器包括高級(jí)音頻緩沖器節(jié)點(diǎn)，并包含對(duì)于音頻對(duì)象的引用ODIDA。將屬于該音頻對(duì)象的實(shí)際音頻數(shù)據(jù)作為分組包含在ES中，即通過其描述符音頻流ES_DA可訪問的音頻流。高級(jí)音頻緩沖器節(jié)點(diǎn)可以從來(lái)自音頻解碼器的音頻流ES_IDA中拾取多個(gè)音頻數(shù)據(jù)分組。
圖2更詳細(xì)地示出了MPEG-4場(chǎng)景的音頻部分。場(chǎng)景描述10的音頻部分包含具有高級(jí)音頻緩沖器節(jié)點(diǎn)12的聲音節(jié)點(diǎn)11，提供了用于存儲(chǔ)音頻數(shù)據(jù)的接口。要存儲(chǔ)的音頻數(shù)據(jù)由從音頻解碼器接收的、音頻流14中的分組構(gòu)成。對(duì)于每一個(gè)數(shù)據(jù)分組，指定要對(duì)其進(jìn)行解碼的時(shí)間。高級(jí)音頻緩沖器節(jié)點(diǎn)12保持用于載入分組的時(shí)間信息(例如開始時(shí)間t1和結(jié)束時(shí)間t2)。此外，通過參考音頻源節(jié)點(diǎn)13，能夠識(shí)別并訪問所需的ES。只要其具有足夠的緩沖器容量，高級(jí)音頻緩沖器節(jié)點(diǎn)能夠緩沖指定的數(shù)據(jù)分組，而無(wú)需重寫之前接收的數(shù)據(jù)分組。
可以使用高級(jí)音頻緩沖節(jié)點(diǎn)12來(lái)代替在MPEG-4系統(tǒng)標(biāo)準(zhǔn)ISO/IEC 14496-12002的子條款9.4.2.7中定義的音頻緩沖器節(jié)點(diǎn)。與音頻緩沖器節(jié)點(diǎn)相比，本發(fā)明的高級(jí)音頻緩沖器節(jié)點(diǎn)具有例如允許重新載入數(shù)據(jù)的增強(qiáng)載入機(jī)制。
如圖3所示，可以利用MPEG-4語(yǔ)法來(lái)定義高級(jí)音頻緩沖器節(jié)點(diǎn)。其包含多個(gè)字段和事件。字段具有參數(shù)或變量的功能，而事件表示對(duì)于節(jié)點(diǎn)的控制接口。ISO/IEC 14496-12002，子條款9.4.2.7中說(shuō)明了以下字段的功能“l(fā)oop”、“pitch”、“startTime”、“stopTime”、“children”、“numChan”、“phaseGroup”、“l(fā)ength”、“duration_changed”以及“isActive”?！發(fā)ength”字段以秒為單位規(guī)定了已分配音頻緩沖器的長(zhǎng)度。在上述標(biāo)準(zhǔn)的當(dāng)前版本中，不能修改該字段。由于在節(jié)點(diǎn)的具體實(shí)例處緩沖音頻數(shù)據(jù)，這意味著當(dāng)應(yīng)當(dāng)載入另一個(gè)音頻數(shù)據(jù)塊時(shí)，必須具體說(shuō)明另一個(gè)音頻緩沖器節(jié)點(diǎn)。但是，新節(jié)點(diǎn)的創(chuàng)建是一個(gè)非常復(fù)雜的軟件過程，可能導(dǎo)致在所創(chuàng)建的節(jié)點(diǎn)和BIFS樹中引起不同時(shí)間基準(zhǔn)的延遲。
與音頻緩沖器節(jié)點(diǎn)相比，高級(jí)音頻緩沖器節(jié)點(diǎn)中包含了以下新字段“startLoadTime”、“stopLoadTime”、“l(fā)oadMode”、“numAccumulatedBlocks”、“deleteBlock”和“playBlock”。利用這些新字段，能夠?qū)崿F(xiàn)新功能，例如，載入和刪除已存儲(chǔ)的數(shù)據(jù)。此外，能夠獨(dú)立于要緩沖的實(shí)際數(shù)據(jù)量，在節(jié)點(diǎn)實(shí)例時(shí)，定義要分配的緩沖器大小。通過“l(fā)ength”字段來(lái)指定要分配的緩沖器大小?！皊tartTime”和“stopTime”字段可以選擇地用于“startLoadTime”和“stopLoadTime”字段，取決于以下說(shuō)明的模式。
可以存在由字段“l(fā)oadMode”指定的不同載入機(jī)制。例如，不同載入模式是兼容模式、重新載入模式、累積模式、連續(xù)累積模式以及有限累積模式。
在兼容模式中，無(wú)論何時(shí)長(zhǎng)度字段改變，都應(yīng)當(dāng)在高級(jí)音頻緩沖器節(jié)點(diǎn)的具體實(shí)例處緩沖音頻數(shù)據(jù)?！皊tartLoadTime”、“stopLoadTime”、“numAccumulatedBlocks”、“deleteBlock”以及“playBlock”字段在該模式中無(wú)效?！皊tartTime”和“stopTime”字段指定了要緩沖的數(shù)據(jù)塊。
在重新載入模式中，“startLoadTime”和“stopLoadTime”字段有效。當(dāng)高級(jí)音頻緩沖器節(jié)點(diǎn)的時(shí)間基準(zhǔn)到達(dá)在“startLoadTime”字段中指定的時(shí)間時(shí)，清除內(nèi)部數(shù)據(jù)緩沖器，并存儲(chǔ)節(jié)點(diǎn)輸出處的樣本，直到到達(dá)“stopLoadTime”字段中的數(shù)值，或直到所存儲(chǔ)的數(shù)據(jù)具有在“l(fā)ength”字段中定義的長(zhǎng)度。如果“startLoadTime”值高于或等于“stopLoadTime”值，則在“startLoadTime”指定的時(shí)間處載入具有在“l(fā)ength”字段中定義的長(zhǎng)度的數(shù)據(jù)塊?！皀umAccumulatedBlocks”、“deleteBlock”和“playBlock”字段在該模式中無(wú)效。
在累積模式中，將由“startLoadTime”和“stopLoadTime”字段值之間的時(shí)間間隔定義的數(shù)據(jù)塊附加到緩沖器內(nèi)容的結(jié)尾。為了使所有數(shù)據(jù)塊可訪問，如下所述，對(duì)塊進(jìn)行索引或標(biāo)簽。當(dāng)?shù)竭_(dá)由“l(fā)ength”字段定義的限制時(shí)，結(jié)束載入。字段“numAccumulatedBlocks”在該模式中無(wú)效。
在連續(xù)累積模式中，將由“startLoadTime”和“stopLoadTime”字段值之間的時(shí)間間隔定義的數(shù)據(jù)塊附加在緩沖器內(nèi)容的結(jié)尾。如上所述，對(duì)緩沖器中的所有數(shù)據(jù)塊建立索引，使其可尋址。當(dāng)?shù)竭_(dá)由“l(fā)ength”字段定義的限制時(shí)，丟棄或重寫最早存儲(chǔ)的數(shù)據(jù)。字段“numAccumulatedBlocks”在該模式中無(wú)效。
有限累積模式中，除了將所存儲(chǔ)塊的數(shù)目限制為在“numAccumulatedBlocks”字段中指定的數(shù)目以外，與累積模式類似。在該模式中，“l(fā)ength”字段無(wú)效。
對(duì)于某些所述的載入機(jī)制，“deleteBlock”字段中從0到一個(gè)低于0的數(shù)值的過渡開始了與最近的數(shù)據(jù)塊相關(guān)的數(shù)據(jù)塊的刪除。將最近的塊的地址確定為-1，其之前的塊的地址確定為-2等。例如，這在以下載入模式中是可行的累積模式、連續(xù)累計(jì)模式和有限累積模式。
由于本發(fā)明的緩沖器可以保持多個(gè)數(shù)據(jù)塊，其優(yōu)點(diǎn)在于，具有選擇針對(duì)再現(xiàn)的特定數(shù)據(jù)塊的可能性?！皃layBlock”字段定義了要播放的塊。如果將“playBlock”字段設(shè)為0作為默認(rèn)動(dòng)作，將利用“startTime”和“stopTime”條件來(lái)播放整個(gè)內(nèi)容。由于其與公知的MPEG-4系統(tǒng)兼容，這是上述兼容模式。“playBlock”的負(fù)值尋址與最近塊相關(guān)的塊，例如，將最近的塊的地址確定為-1，將前一個(gè)塊的地址確定為-2等。
本發(fā)明方法的一個(gè)優(yōu)點(diǎn)在于，由于將數(shù)據(jù)載入節(jié)點(diǎn)快于必須在數(shù)據(jù)能夠被緩沖之前創(chuàng)建新節(jié)點(diǎn)的、當(dāng)前的MPEG-4標(biāo)準(zhǔn)，可以重復(fù)使用緩沖器節(jié)點(diǎn)。因此，高級(jí)音頻緩沖器節(jié)點(diǎn)能夠更容易地與BIFS節(jié)點(diǎn)中的定時(shí)基準(zhǔn)相匹配，因此同步例如MPEF-4中的音頻數(shù)據(jù)和視頻數(shù)據(jù)。
本發(fā)明的典型應(yīng)用是一種接收包含各種不同元素(例如流量信息)的廣播節(jié)目流的接收機(jī)。從音頻流中提取具有流量信息的分組。利用本發(fā)明的MPEG-4系統(tǒng)，可以按照在其緩沖器中累積的方式，在接收機(jī)中存儲(chǔ)在不同時(shí)間間斷接收的這些分組，然后，在用戶定義的時(shí)間將其呈現(xiàn)。例如，用戶可以具有接口，以便在任意時(shí)間調(diào)用最近的流量信息消息，或者手動(dòng)地或自動(dòng)地對(duì)流量信息消息進(jìn)行濾波或刪除。另一方面，廣播機(jī)還選擇性地刪除或更新已經(jīng)存儲(chǔ)在接收機(jī)數(shù)據(jù)緩沖器中的流量信息消息。
有利地，本發(fā)明能夠用于接收由一個(gè)或多個(gè)控制流以及一個(gè)或多個(gè)多媒體數(shù)據(jù)流構(gòu)成的數(shù)據(jù)流的、所有類型的設(shè)備，其中將一定類型的信息劃分為在不同時(shí)間發(fā)送的不同塊。具體地，這些設(shè)備是廣播接收機(jī)以及所有類型的音樂再現(xiàn)設(shè)備。
本發(fā)明尤其適用于MPEG-4流系統(tǒng)的接收機(jī)。
權(quán)利要求
1.一種用于解碼數(shù)據(jù)流的方法，所述數(shù)據(jù)流包含第一和第二子流，第一子流(14)包含多媒體數(shù)據(jù)分組，第二子流包含控制信息(10)，其中多媒體數(shù)據(jù)分組包含何時(shí)進(jìn)行呈現(xiàn)的時(shí)間的指示，其中在所指示的呈現(xiàn)時(shí)間之前對(duì)多媒體數(shù)據(jù)分組進(jìn)行解碼，其特征在于-至少緩沖第一解碼多媒體數(shù)據(jù)分組，直到在進(jìn)一步處理之后，能夠在預(yù)期時(shí)間呈現(xiàn)所述數(shù)據(jù)分組為止；以及-緩沖其它多媒體數(shù)據(jù)分組，其中其它多媒體數(shù)據(jù)分組可以代替或附加到第一解碼多媒體數(shù)據(jù)分組。
2.根據(jù)權(quán)利要求1所述的方法，其中，控制信息定義了將其它多媒體數(shù)據(jù)分組附加到第一數(shù)據(jù)分組還是將其代替。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，控制信息包含第一、第二和第三控制數(shù)據(jù)，-第一控制數(shù)據(jù)(Length)定義了已分配的緩沖器大小，-第二控制數(shù)據(jù)(LoadMode)定義了將其它多媒體數(shù)據(jù)分組附加到第一數(shù)據(jù)分組還是將其代替，以及-第三控制數(shù)據(jù)(StartLoadTime，StopLoadTime)定義了要緩沖的多媒體數(shù)據(jù)分組。
4.根據(jù)權(quán)利要求1-3之一所述的方法，其中，將標(biāo)簽附加到所緩沖的第一和其它多媒體數(shù)據(jù)分組，并可通過其各自的標(biāo)簽來(lái)訪問所述分組。
5.根據(jù)權(quán)利要求1-4之一所述的方法，其中，被附加到所緩沖的數(shù)據(jù)分組的標(biāo)簽包含與最近接收的數(shù)據(jù)分組相關(guān)的索引。
6.根據(jù)權(quán)利要求1-5之一所述的方法，其中，第一子流包含音頻數(shù)據(jù)，第二子流包含呈現(xiàn)的描述。
7.根據(jù)權(quán)利要求1-6之一所述的方法，其中，數(shù)據(jù)流與MPEG-4標(biāo)準(zhǔn)兼容。
8.一種設(shè)備，包括用于解碼數(shù)據(jù)流的裝置，所述數(shù)據(jù)流包含第一和第二子流，第一子流(14)包含多媒體數(shù)據(jù)分組，第二子流包含控制信息(10)，其中多媒體數(shù)據(jù)分組包含何時(shí)進(jìn)行呈現(xiàn)的時(shí)間的指示，其特征在于-在緩沖裝置中緩沖第一解碼多媒體數(shù)據(jù)分組；以及-在相同的緩沖裝置中緩沖其它多媒體數(shù)據(jù)分組，其中根據(jù)控制信息(10)，其它多媒體數(shù)據(jù)分組可以代替或附加到第一解碼多媒體數(shù)據(jù)分組。
9.根據(jù)權(quán)利要求8所述的設(shè)備，還包括將標(biāo)簽附加到所緩沖的第一和其它多媒體數(shù)據(jù)分組的裝置，以及通過其各自的標(biāo)簽來(lái)訪問、檢索或刪除所述分組的裝置。
10.根據(jù)權(quán)利要求8或9所述的設(shè)備，其中，數(shù)據(jù)流是MPEG-4兼容數(shù)據(jù)流。
全文摘要
一種用于解碼包括音頻/視頻子流(14)和控制子流的數(shù)據(jù)流的方法，包括緩沖節(jié)點(diǎn)(12)可以在相同的緩沖器中緩沖多個(gè)數(shù)據(jù)分組。這通過具有針對(duì)已分配的緩沖器大小和任意存儲(chǔ)分組的分離參數(shù)來(lái)實(shí)現(xiàn)。因此，不僅能夠在緩沖節(jié)點(diǎn)(12)中存儲(chǔ)多個(gè)分組，還可以在其緩沖器為空的同時(shí)存在這種節(jié)點(diǎn)，因此隨后能夠重復(fù)使用節(jié)點(diǎn)。這對(duì)于緩沖并選擇性地訪問MPEG－4音頻節(jié)點(diǎn)或聲音節(jié)點(diǎn)中的多個(gè)音頻分組尤其有用。
文檔編號(hào)H04N5/00GK1817045SQ200480019218
公開日2006年8月9日 申請(qǐng)日期2004年5月6日 優(yōu)先權(quán)日2003年7月14日
發(fā)明者于爾根·施密特 申請(qǐng)人:湯姆森許可貿(mào)易公司