專(zhuān)利名稱(chēng)：用于有效的可伸縮流適配的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及媒體編碼、解碼、存儲(chǔ)和傳輸。更特別地，本發(fā)明涉及可伸縮媒 體編碼、解碼、存儲(chǔ)和傳輸。
背景技術(shù)：
多媒體應(yīng)用包括本地回放、流傳輸或隨需(on-demand)、會(huì)話和廣播/多播服務(wù)。 多媒體應(yīng)用所涉及的技術(shù)例如包括媒體編碼、存儲(chǔ)和傳輸。媒體類(lèi)型包括語(yǔ)音、音頻、圖像、 視頻、圖像和時(shí)間文本。已經(jīng)針對(duì)不同的技術(shù)規(guī)定了不同的標(biāo)準(zhǔn)。視頻編碼標(biāo)準(zhǔn)包括ITU-T H. 261, IS0/IEC MPEG-I 視頻、ITU-TH. 262 或 ISO/ IEC MPEG-2 視頻、ITU-T H. 263、IS0/IEC MPEG-4 視頻和 ITU-T H. 264(也稱(chēng)為 IS0/IEC MPEG-4AVC)。此外，還在開(kāi)發(fā)新的視頻編碼標(biāo)準(zhǔn)。例如，正在進(jìn)行可伸縮視頻編碼(SVC)標(biāo) 準(zhǔn)的開(kāi)發(fā)。此標(biāo)準(zhǔn)將成為H. 264/AVC的可伸縮擴(kuò)展。同樣，正在進(jìn)行中國(guó)視頻編碼標(biāo)準(zhǔn)的 開(kāi)發(fā)?？缮炜s視頻編碼可以提供可伸縮視頻比特流?？缮炜s視頻比特流的一部分可以被 提取并解碼，其具有劣化的回放視覺(jué)質(zhì)量?？缮炜s視頻比特流包含非可伸縮基本層和一個(gè) 或多個(gè)增強(qiáng)層。增強(qiáng)層可以增強(qiáng)時(shí)間分辨率(即幀率)、空間分辨率或者僅僅是由較低層或 其部分表示的視頻內(nèi)容的質(zhì)量。在有些情況下，增強(qiáng)層的數(shù)據(jù)可以在特定位置之后、甚至在 任意位置被截短。每個(gè)截短位置可以包括一些表示逐漸增強(qiáng)的視覺(jué)質(zhì)量的附加數(shù)據(jù)。這種 可伸縮性被稱(chēng)為精細(xì)顆粒(粒度)可伸縮性(res)。與res相對(duì)，由不提供精細(xì)顆粒可伸縮 性的質(zhì)量增強(qiáng)層提供的可伸縮性被稱(chēng)為粗顆?？缮炜s性(CGS)。當(dāng)前草案SVC標(biāo)準(zhǔn)中的可伸縮層結(jié)構(gòu)的特征在于三個(gè)變量，稱(chēng)為時(shí)間_級(jí)別 (temporal_level)、從屬 _id(dependency_id)禾口質(zhì)量 _ 級(jí)另lj (quality_level),這些變量 在比特流中用信號(hào)發(fā)送或者可以根據(jù)規(guī)范推導(dǎo)出。時(shí)間_級(jí)別用于指示時(shí)間可伸縮性或幀 率。包含具有較小時(shí)間_級(jí)別值的圖像的層具有比包含具有較大時(shí)間_級(jí)別的圖像的層更 小的幀率。從屬_id用于指示層間編碼的從屬等級(jí)。在任何時(shí)間位置，具有較小從屬_id 值的圖像可以用于對(duì)具有較大從屬_id值的圖像編碼的層間預(yù)測(cè)。質(zhì)量_級(jí)別用于指示 res層的等級(jí)。在任何時(shí)間位置并且具有相同的從屬」d值的情況下，具有質(zhì)量_級(jí)別值等 于QL的res圖像使用該res圖像或具有質(zhì)量_級(jí)別值等于QL-I的基本質(zhì)量圖像(也即當(dāng) QL-I = 0時(shí)為非res圖像)來(lái)進(jìn)行層間預(yù)測(cè)。圖1示出了示例性可伸縮視頻流的時(shí)間片段，顯示了上述三個(gè)變量的值。應(yīng)當(dāng)注 意，時(shí)間值是相對(duì)的，也即，時(shí)間=0不一定是指比特流中按顯示順序排在第一的圖像的時(shí) 間。圖2示出了該示例的典型預(yù)測(cè)參考關(guān)系，其中實(shí)線箭頭指示沿水平方向的幀間預(yù)測(cè)參 考關(guān)系，虛線空心箭頭指示層間預(yù)測(cè)參考關(guān)系。(箭頭)所指向的實(shí)例使用(箭頭)另一方向的實(shí)例以用于預(yù)測(cè)參考。如此處所討論的，層被定義為分別具有相同的時(shí)間_級(jí)別、從屬_id和質(zhì)量_級(jí)別 的值的圖像的集合。為了解碼和回放增強(qiáng)層，通常包括基本層的較低層也應(yīng)為可用的，因此 較低層可以直接或間接地用于編碼增強(qiáng)層中的層間預(yù)測(cè)。例如，在圖1和圖2中，(t，T，D， Q)等于(0，0，0，0)和(8，0，0，0)的圖像屬于基本層，它們可以獨(dú)立于任何增強(qiáng)層而解碼。 (t，T，D，Q)等于(4，1，0，0)的圖像屬于雙倍于基本層的幀率的增強(qiáng)層；該層的解碼需要存 在基本層圖像。(t，T，D，Q)等于(0,0,0,1)和(8,0,0,1)的圖像屬于以TOS方式增強(qiáng)基本 層的質(zhì)量和比特率的增強(qiáng)層；該層的解碼也需要存在基本層圖像。在H. 264/AVC標(biāo)準(zhǔn)中，如下定義了即時(shí)解碼刷新(IDR)圖像。所有片是I或者SI 片的編碼圖像使得解碼進(jìn)程在解碼該IDR圖像之后立即將所有參考圖像標(biāo)記為“未用于參 考”。在解碼IDR圖像之后，按解碼順序隨后的所有編碼圖像可以在沒(méi)有來(lái)自任何先于該 IDR圖像解碼的圖像的內(nèi)部預(yù)測(cè)的情況下被解碼。每個(gè)編碼視頻序列的第一幅圖像是IDR 圖像。IDR圖像的概念也運(yùn)用在當(dāng)前的草案SVC標(biāo)準(zhǔn)中，其中該定義適用于分別具有相 同的從屬_1(1((1印611如11(^_1(1)和質(zhì)量_級(jí)別(quality_level)值的圖像。換句話說(shuō)，IDR 圖像是這樣的編碼圖像，其中該IDR圖像以及所有在同一層中(也即與IDR圖像具有分別 相同的從屬_id和質(zhì)量_級(jí)別值)按解碼順序隨后的編碼圖像的解碼可以在沒(méi)有來(lái)自任何 在同一層中按解碼順序先于該IDR圖像解碼的圖像的幀間預(yù)測(cè)的情況下執(zhí)行。IDR圖像使 得解碼進(jìn)程在解碼該IDR圖像之后立即將同一層中所有參考圖像標(biāo)記為“未用于參考”。應(yīng) 當(dāng)注意，此處針對(duì)當(dāng)前草案SVC標(biāo)準(zhǔn)上下文所使用的術(shù)語(yǔ)“在同一層中”是指解碼圖像具有 與IDR圖像分別相同的從屬_id和質(zhì)量_級(jí)別值。要么所有具有相同的圖像次序數(shù)值(即， 在同一時(shí)間位置)、但是不同cbpendencyjd或qualityjevel值的圖像被編碼為IDR圖 像，要么特定圖像次序數(shù)值的圖像不被編碼為IDR圖像。換句話說(shuō)，要么所有位于存取單元 (包括所有具有相同的圖像次序數(shù)值的圖像)的圖像是IDR圖像，要么存取單元中沒(méi)有圖像 是IDR圖像?？捎玫拿襟w文件格式標(biāo)準(zhǔn)包括ISO文件格式(IS0/IEC14496-12)、MPEG-4文件 格式(IS0/IEC 14496-14)、AVC 文件格式(IS0/IEC 14496-15)以及 3GPP 文件格式(3GPP TS 26.244)。SVC 文件格式目前正由 IS0/IEC MPEG 開(kāi)發(fā)，其可以在 MPEGN7477，“VM Study Text for Scalable Video Coding(SVC)FileFormat^Srd IS0/IEC MPEG meeting, Poznan, Poland, 2005年7月中找到，其全文在此通過(guò)參考結(jié)合弓I入。可伸縮編碼相比于單層編碼的一個(gè)優(yōu)點(diǎn)在于在可伸縮編碼的情況下，單個(gè)流可 以滿足不同的質(zhì)量、比特率、顯示尺寸等的需求，而在單層編碼的情況下，必須使用多個(gè)流。 使用多個(gè)流花費(fèi)更多的存儲(chǔ)空間，并且在聯(lián)播中，需要更多的傳輸帶寬。在流傳輸應(yīng)用中， 當(dāng)傳輸網(wǎng)絡(luò)或接收方的能力相對(duì)于它們的早期狀態(tài)發(fā)生改變時(shí)，例如傳輸帶寬變化時(shí)，需 要流適配。網(wǎng)關(guān)和其他可知媒體(media-aware)網(wǎng)元(MANE)也可以執(zhí)行流自適應(yīng)。當(dāng)可 伸縮編碼文件在“本地”(即，文件駐留在與解碼器相同的設(shè)備中或者駐留在通過(guò)快速鏈接 連接到解碼設(shè)備的存儲(chǔ)器中)播放時(shí)，如果解碼器與某些其他處理共享計(jì)算資源，則可能 需要流適配。例如，如果在運(yùn)行多進(jìn)程操作系統(tǒng)的通用處理器上執(zhí)行解碼，則解碼器可能在 某一時(shí)間能夠使用整個(gè)計(jì)算功率并且解碼所有的可伸縮層。然而，在另一時(shí)間，解碼器可能只具有處理器的計(jì)算功率的子集以用于解碼可用可伸縮層的子集。適配的流可以具有變化 的比特流、幀率和/或視頻分辨率。在單層編碼的情況下，流適配可以通過(guò)流切換或代碼轉(zhuǎn) 換來(lái)執(zhí)行。在單個(gè)可伸縮流的情況下，流適配可以通過(guò)層切換來(lái)執(zhí)行。在可伸縮編碼中，從高到低的層切換可以在任何位置執(zhí)行。然而，從低到高的層切 換則不同，因?yàn)閷?duì)切換到的高層中的圖像的解碼通常需要同一層中存在解碼順序中一些先 前的圖像。對(duì)于當(dāng)前的草案SVC標(biāo)準(zhǔn)，從低到高的層切換可以在IDR存取單元(包括IDR圖 像)中執(zhí)行。然而，依靠IDR存取單元要么導(dǎo)致由于對(duì)IDR存取單元的頻繁編碼而降低的 編碼效率，要么導(dǎo)致不即時(shí)的流適配。這兩個(gè)問(wèn)題都與終端用戶的體驗(yàn)密切相關(guān)。理論上 還有可能利用SP/SI圖像編碼或漸進(jìn)解碼刷新技術(shù)來(lái)執(zhí)行從低到高的層切換。不過(guò)，這些 技術(shù)都是針對(duì)單層編碼設(shè)計(jì)的。因此，這些技術(shù)目前不可用于可伸縮編碼。而且，即使將這 些技術(shù)擴(kuò)展為可在可伸縮編碼中使用之后，它們的應(yīng)用也將導(dǎo)致額外的編碼約束(以等同 于較低編碼效率的形式)或者實(shí)現(xiàn)復(fù)雜性。因此需要支持在可伸縮視頻編碼中簡(jiǎn)單有效的從低到高的層切換。而且，還需要 支持在文件格式層簡(jiǎn)單有效的從低到高的層切換的信號(hào)發(fā)送，使得不需要解析和分析視頻 比特流就能查找從低到高的層切換的位置，因?yàn)閷?duì)流的解析和分析需要復(fù)雜的計(jì)算。

發(fā)明內(nèi)容
本發(fā)明提供一種系統(tǒng)和方法，用于在文件格式層中信號(hào)發(fā)送從低到高的層切換點(diǎn) 以支持在流服務(wù)器和本地文件回放中的有效的可伸縮流切換。本發(fā)明還公開(kāi)了一種系統(tǒng)和 方法，用于在視頻比特流中信號(hào)發(fā)送從低到高的層切換點(diǎn)，例如，用于支持在可知媒體網(wǎng)元 中智能轉(zhuǎn)發(fā)可伸縮層或者在流接收方中計(jì)算上的可伸縮解碼。本發(fā)明支持針對(duì)可伸縮流適配的簡(jiǎn)單有效的從低到高的層切換。本發(fā)明使得不需 要流服務(wù)器對(duì)視頻比特流進(jìn)行大量地解析和分析，否則該解析和分析可能要求相當(dāng)重的計(jì) 算和實(shí)現(xiàn)負(fù)擔(dān)。本發(fā)明實(shí)際上可以用于任何可伸縮媒體應(yīng)用。本發(fā)明的這些和其他優(yōu)點(diǎn)和特征及其構(gòu)造和操作方式，將在下面結(jié)合附圖的詳細(xì) 描述中變得很明顯，其中下面描述的多個(gè)附圖中相同的部件具有相同的附圖標(biāo)記。


圖1示出了示例性可伸縮視頻流的時(shí)間片段，顯示了三個(gè)變量時(shí)間_級(jí)別、從屬_ id和質(zhì)量_級(jí)別的值；圖2是針對(duì)圖1所示的時(shí)間片段的典型的預(yù)測(cè)參考關(guān)系；圖3是可以實(shí)現(xiàn)本發(fā)明的系統(tǒng)的縱覽圖；圖4是可以體現(xiàn)本發(fā)明的原理的電子設(shè)備的透視圖；圖5是圖4的電子設(shè)備的電路示意圖；以及圖6是可以應(yīng)用本發(fā)明的可伸縮編碼等級(jí)的通用多媒體數(shù)據(jù)流傳輸系統(tǒng)的圖示。
具體實(shí)施例方式參考圖6，描述了用于應(yīng)用本發(fā)明的過(guò)程的典型的多媒體流傳輸系統(tǒng)。
多媒體數(shù)據(jù)流傳輸系統(tǒng)通常包括一個(gè)或多個(gè)多媒體源100，諸如視頻照相機(jī)和麥 克風(fēng)，或者存儲(chǔ)在存儲(chǔ)器載體中的視頻圖像或計(jì)算機(jī)圖形文件。從不同多媒體源100獲得 的原始數(shù)據(jù)在編碼器102中組合成多媒體文件，該編碼器也可以稱(chēng)為編輯單元。來(lái)自一個(gè) 或多個(gè)多媒體源100的原始數(shù)據(jù)首先使用包含在編碼器102中的捕獲裝置104進(jìn)行捕獲， 該捕獲裝置通?？梢詫?shí)現(xiàn)為不同的接口卡、控制卡的功能的驅(qū)動(dòng)軟件或應(yīng)用軟件。例如，視 頻數(shù)據(jù)可以使用視頻捕獲卡及相關(guān)的軟件進(jìn)行捕獲。捕獲裝置104的輸出通常是未壓縮的 或者輕度壓縮的數(shù)據(jù)流，例如當(dāng)涉及視頻捕獲卡時(shí)，為YUV 4:2:0格式或動(dòng)畫(huà)-JPEG圖像格 式的未壓縮視頻幀。編輯器106將不同的媒體流鏈接在一起以同步將要如所期望地同時(shí)重現(xiàn)的視頻 流和音頻流。編輯器106也可以對(duì)每個(gè)媒體流(諸如視頻流)進(jìn)行編輯，例如通過(guò)將幀率 減半或者降低空間分辨率。分離的媒體流在壓縮器108中進(jìn)行壓縮，盡管這些媒體流已經(jīng) 同步，但是在壓縮器中每個(gè)媒體流使用適合于該媒體流的壓縮器分別進(jìn)行壓縮。例如，YUV 4 2 0格式的視頻幀可以使用ITU-T推薦H. 263或H. 264進(jìn)行壓縮。分離的、已同步的且已 壓縮的媒體流通常在復(fù)用器110中交織，從編碼器102獲得的輸出是單個(gè)、統(tǒng)一的比特流， 其包括多個(gè)媒體流的數(shù)據(jù)，并且可以稱(chēng)為多媒體文件。應(yīng)當(dāng)注意，多媒體文件的形成不一定 要求將多個(gè)媒體流復(fù)用為單個(gè)文件，不過(guò)流傳輸服務(wù)器可以就在發(fā)送這些媒體流之前，對(duì) 它們進(jìn)行交織。多媒體文件被傳送到流傳輸服務(wù)器112，因而流傳輸服務(wù)器能夠?qū)⑵渥鳛閷?shí)時(shí)流 傳輸進(jìn)行執(zhí)行或者以漸進(jìn)式下載形式執(zhí)行。在漸進(jìn)式下載中，多媒體文件首先存儲(chǔ)在服務(wù) 器112的存儲(chǔ)器中，當(dāng)需要時(shí)可以從該存儲(chǔ)器取回多媒體文件以進(jìn)行傳輸。在實(shí)時(shí)流傳輸 中，編輯器102向流傳輸服務(wù)器112發(fā)送連續(xù)的多媒體文件的媒體流，并且服務(wù)器112將流 直接轉(zhuǎn)發(fā)給客戶端114。作為另一選擇，也可以這樣執(zhí)行實(shí)時(shí)流傳輸以使得多媒體文件存 儲(chǔ)在服務(wù)器112可存取的存儲(chǔ)裝置中，當(dāng)需要時(shí)可以從該存儲(chǔ)裝置驅(qū)動(dòng)實(shí)時(shí)流傳輸以及啟 動(dòng)連續(xù)的多媒體文件的媒體流。在這種情況下，編輯器102不一定需要任何裝置來(lái)控制流 傳輸。流傳輸服務(wù)器112依照客戶端114的可用帶寬或最大解碼和回放速率，執(zhí)行多媒體 數(shù)據(jù)的流量整形，流傳輸服務(wù)器112能夠調(diào)整媒體流的比特速率，例如通過(guò)從傳輸中省去 B-幀或者通過(guò)調(diào)整可伸縮層的數(shù)量。進(jìn)一步，流傳輸服務(wù)器112可以修改復(fù)用媒體流的報(bào) 頭字段以減少其尺寸，并且將多媒體數(shù)據(jù)封裝入適合于在所采用的通信網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù) 分組中。客戶端114通?？梢酝ㄟ^(guò)使用合適的控制協(xié)議來(lái)調(diào)整(至少在一定程度上)服務(wù) 器112的操作。客戶端114至少能夠以這種方式控制服務(wù)器112，即能夠選擇期望的傳輸至 客戶端的多媒體文件，此外，客戶端114通常能夠停止和中斷多媒體文件的傳輸。當(dāng)客戶端114正在接收多媒體文件時(shí)，該文件首先被提供給解復(fù)用器116，解復(fù)用 器116將包含在該多媒體文件中的媒體流分離。分離的、壓縮的媒體流繼而被提供給解壓 縮器118，在解壓縮器118中，每個(gè)分離的媒體流被適合于每個(gè)特定媒體流的解壓縮器進(jìn)行 解壓縮。經(jīng)解壓縮和重構(gòu)的媒體流提供給回放單元120，在回放單元處媒體流根據(jù)它們的同 步數(shù)據(jù)以正確的步調(diào)再現(xiàn)并提供給呈現(xiàn)裝置124。實(shí)際的呈現(xiàn)裝置124例如可以包含計(jì)算 機(jī)或移動(dòng)臺(tái)顯示器和揚(yáng)聲器裝置?？蛻舳?14通常也包括終端用戶一般通過(guò)用戶接口進(jìn)行 控制的控制單元122，其通過(guò)上述控制協(xié)議控制服務(wù)器的操作，并且基于終端用戶給出的指 令控制回放單元120的操作。
應(yīng)當(dāng)注意，多媒體文件從流傳輸服務(wù)器112到客戶端114的傳送通過(guò)通信網(wǎng)絡(luò)進(jìn) 行，傳送路徑通常包括多個(gè)通信網(wǎng)元。因此有可能至少某個(gè)網(wǎng)元能夠至少部分地以與上面 結(jié)合流服務(wù)器描述的相同的方式、在客戶端114的可用帶寬或最大解碼和回放速率方面執(zhí) 行多媒體數(shù)據(jù)的流量整形。本發(fā)明提供一種系統(tǒng)和方法，用于在文件格式層中信號(hào)發(fā)送從低到高的層切換點(diǎn) 以支持在流傳輸服務(wù)器和本地文件回放中的有效的可伸縮流切換。本發(fā)明還公開(kāi)了一種系 統(tǒng)和方法，用于在視頻比特流中信號(hào)發(fā)送從低到高的層切換點(diǎn)，例如，用于支持在可知媒體 網(wǎng)元中智能轉(zhuǎn)發(fā)可伸縮層或者在流接收方中計(jì)算上的可伸縮解碼。在此描述本發(fā)明的多個(gè)示例性實(shí)現(xiàn)。不過(guò)，應(yīng)當(dāng)注意，這些實(shí)現(xiàn)的其他變形也是有 可能的，例如通過(guò)組合此處討論的可選實(shí)施方式的子集。以文件格式信號(hào)發(fā)送從低到高的層切換點(diǎn)的第一實(shí)現(xiàn)包括將信號(hào)發(fā)送從低到高 的層切換點(diǎn)用作可伸縮信息的一種。在此實(shí)施方式中，針對(duì)每個(gè)層的信號(hào)發(fā)送從低到高的 層切換點(diǎn)定義新的盒子(box)。該盒子包含在包含每個(gè)可伸縮層的可伸縮信息的數(shù)據(jù)結(jié)構(gòu) 中，例如在SVC文件格式的草案標(biāo)準(zhǔn)文本中定義的ScalableLayerEntryO結(jié)構(gòu)。該盒子 定義如下盒子類(lèi)型(Box Types) iIswp'容器(Container) :ScalableLayerEntry 強(qiáng)制 (Mandatory)否數(shù)量(Quantity) 0 或者 1該盒子為流內(nèi)的各個(gè)層提供從低到高的層切換點(diǎn)的簡(jiǎn)明標(biāo)記。按照采樣號(hào)遞增的 順序嚴(yán)格排列表格。如果對(duì)于某個(gè)層不存在層切換點(diǎn)盒子，則對(duì)于該層沒(méi)有額外的從低到 高的層切換點(diǎn)，除了在同步采樣盒子中用信號(hào)發(fā)送的同步采樣或者在陰影同步采樣盒子中 用信號(hào)發(fā)送的陰影同步采樣。class LayerSwitchingPointBox extends Box( ‘1swp‘ ) {unsigned int (32)entry_count ；inti, j ；for(i = 0 ;i < entry_count ；i++) {unsigned int(32)sample_number ；unsigned int(8)entry_count2 ；for = 0 ;j < entry_count2 ；j++)signed int (16)delta_layer_id ；}}在此示例中，“entry_COunt”給出了后面表格中條目的數(shù)量?！皊amplejumber”給 出了此類(lèi)采樣的采樣號(hào)，該采樣的針對(duì)當(dāng)前層的從低到高的層切換點(diǎn)的信息在后面表格中 用信號(hào)發(fā)送?！癳ntry_C0Unt2”給出了后面表格中條目的數(shù)量。“delta_layer_id”指定了在采樣號(hào)等于samplejumber的當(dāng)前采樣處，流可以從 當(dāng)前層切換到的較高層，或者可以從其切換到當(dāng)前層的較低層。等于或大于零的值指示在 當(dāng)前采樣處，該流可以從當(dāng)前層切換到層標(biāo)識(shí)符等于(layerld+deltajayerjd+l)的較 高層。小于零的值指示在當(dāng)前采樣處，該流可以從層標(biāo)識(shí)符等于(layerld+delta_layer_ id)的較低層切換到當(dāng)前層。每個(gè)層的IayerId從包含每個(gè)可伸縮層的可伸縮信息的數(shù)據(jù) 結(jié)構(gòu)中找到。
以文件格式信號(hào)發(fā)送從低到高的層切換點(diǎn)的第二實(shí)現(xiàn)包括在專(zhuān)用盒子中信號(hào)發(fā) 送所有層的從低到高的層切換點(diǎn)。該盒子定義如下。盒子類(lèi)型(Box Types) =iIswp'容器 (Container)(采樣表格盒子)(‘stbl，)強(qiáng)制(Mandatory)否數(shù)量(Quantity) :0 或者 1該盒子為流中的所有層提供從低到高的層切換點(diǎn)的簡(jiǎn)明標(biāo)記。按照采樣號(hào)遞增的 順序嚴(yán)格排列表格。如果不存在層切換點(diǎn)盒子，則沒(méi)有額外的從低到高的層切換點(diǎn)，除了在 同步采樣盒子中用信號(hào)發(fā)送的同步采樣或者在陰影同步采樣盒子中用信號(hào)發(fā)送的陰影同 步采樣。class LayerSwitchingPointBox extends Box( ’1swp’ ) {unsigned int (32)entry_count ；inti，j，k;for(i = 0 ;i < entry_count ；i++) {unsigned int(32)sample_number ；unsigned int(8)entry_count2 ；for (i = 0 ； j < entry_count2 ； j++) {unsigned int(8)layer_id ；unsigned int(8)entry_count3 ；for (k = 0 ;k < entry_count3 ；k++)signed int(16)delta_layer_id ；}
}
}在此實(shí)施方式中，“entry_Coimt”給出了后面表格中條目的數(shù)量?！癝ample_ number”給出了此類(lèi)采樣的采樣號(hào)，該采樣的從低到高的層切換點(diǎn)的信息在后面表格中用 信號(hào)發(fā)送?！癳ntry_C0Unt2”給出了后面表格中條目的數(shù)量?！?layer_id”給出了從低到高 的層切換點(diǎn)的信息在后面表格中用信號(hào)發(fā)送的層的層標(biāo)識(shí)符?！癳ntry_C0Unt3”給出了后面 表格中條目的數(shù)量?！癲elta_layer_id”指定了在采樣號(hào)等于samplejumber的當(dāng)前采樣處，流可以 從當(dāng)前層切換到的較高層，或者可以從其切換到當(dāng)前層的較低層。不小于零的值指示在 當(dāng)前采樣處，該流可以從當(dāng)前層切換到層標(biāo)識(shí)符等于(layer_id+delta_layer_id+l)的 較高層。小于零的值指示在當(dāng)前采樣處，該流可以從較低層切換到層標(biāo)識(shí)符等于(layer_ id+delta_layer_id)的當(dāng)前層。在本發(fā)明的此特定實(shí)施方式中，也有可能將smaple_ number的循環(huán)放入layer_id的循環(huán)內(nèi)，代替當(dāng)前的將sample_nmber循環(huán)放入layer_id的 循環(huán)內(nèi)。以文件格式信號(hào)發(fā)送從低到高的層切換點(diǎn)的第三實(shí)現(xiàn)包括使用信號(hào)發(fā)送軌道 (track)切換點(diǎn)。此實(shí)施方式還可以與上述任何其他實(shí)施方式同時(shí)使用。此實(shí)施方式應(yīng)用 在這樣的情形中，其中可伸縮層的可獨(dú)立解碼組合通常通過(guò)使用參考而被組合以形成獨(dú)立 軌道。在ISO基本媒體文件格式中，媒體數(shù)據(jù)由一組網(wǎng)絡(luò)獨(dú)立的軌道表示，其中線索軌道 (hint track)包含網(wǎng)絡(luò)相關(guān)的傳輸封裝信息并且將媒體采樣或其部分與傳輸分組相關(guān)聯(lián)(通過(guò)從線索軌道到媒體軌道的參考)。提取器軌道包含對(duì)媒體軌道的參考，使得針對(duì)SVC 存取單元的編碼圖像的子集形成提取器軌道中的樣本。因此，每個(gè)提取器軌道將代表不同 的可伸縮層子集，并且每個(gè)提取器軌道在不解碼同一媒體軌道的其他提取器軌道的情況下 將是可確定的。在此特定實(shí)現(xiàn)中，可以標(biāo)識(shí)線索軌道之間或者提取器軌道之間的切換點(diǎn)。包含或 引用可伸縮層的充分子集的軌道通過(guò)軌道參考容器盒中的軌道參考類(lèi)型‘tswf’鏈接到此 軌道，其中可伸縮層支持切換到該軌道中至少一個(gè)指示的切換點(diǎn)采樣。此軌道包含可伸縮 層的充分子集所針對(duì)的軌道通過(guò)軌道參考容器盒中的軌道參考類(lèi)型‘tswt’鏈接到此軌道， 其中可伸縮層支持切換到那些軌道中至少一個(gè)指示的切換點(diǎn)采樣。盒子類(lèi)型(Box Type) ‘tswd，容器(Container) =Sample Table Box(‘stbl，)(采樣表格盒子)強(qiáng)制(Mandatory) 否數(shù)量(Quantity) 0或者正好1該盒子提供線索軌道之間或者提取器軌道之間從低到高的層切換點(diǎn)的簡(jiǎn)明標(biāo)記。 按照采樣數(shù)目遞增的順序嚴(yán)格排列表格。如果不存在軌道切換點(diǎn)盒子，則沒(méi)有額外的從低 到高的層切換點(diǎn)，除了在同步采樣盒子中用信號(hào)發(fā)送的同步采樣或者在陰影同步采樣盒子 中用信號(hào)發(fā)送的陰影同步采樣。class TrackSwitchingPointBox extends Box( 'tswp' ) {unsigned int (32)entry_count ；int i, j ；for(i = 0 ;i < entry_count ；i++) {unsigned int(32)sample_number ；unsigned int(8)entry_count2 ；for (j = 0 ;j < entry_count2 ；j++)unsigned int(32)src_track_id ；unsigned int (8)entry_count3 ；for (j = 0 ;j < entry_count3 ；j++)unsigned int(32)dest_track_id ；}} 在此情形中，“ entry_COunt ”給出了后面表格中條目的數(shù)量?！?samp 1 e_number，，給 出切換點(diǎn)采樣的采樣數(shù)量。“entry_C0Unt2”給出了后面表格中條目的數(shù)量。“src_track_ id”指示包含流可以從其切換至包含在當(dāng)前軌道中的層的較低層的軌道的軌道標(biāo)識(shí)符。 “entry_Coimt3”給出了后面表格中條目的數(shù)量。“desk_track_id”指示包含流可以從包含 在當(dāng)前軌道的層切換到的更高層的軌道的軌道標(biāo)識(shí)符。 應(yīng)當(dāng)注意，也有可能使用可選的語(yǔ)法定義。例如，可以省略entry_COunt3及針對(duì) desk_traCk_id值的相關(guān)循環(huán)。而且，如果在‘tswf’軌道參考中只指示了一個(gè)軌道，則針對(duì) src_track_id值的循環(huán)就不是必需的。也可以獨(dú)立地使用TrackSwitchingPointBox語(yǔ)法 而不需要軌道參考‘tswf’和/或‘tswt’。而且，可以重新使用在使用第一或第二可選方案 的媒體軌道中用信號(hào)發(fā)送的消息，以獲得在線索或提取器軌道中從低到高的層切換點(diǎn)，其 中針對(duì)每個(gè)線索或提取器軌道用信號(hào)發(fā)送層標(biāo)識(shí)符，例如在軌道報(bào)頭中或采樣條目中。
下面討論用于在比特流中信號(hào)發(fā)送從低到高的層切換點(diǎn)的可選方法。第一個(gè)此類(lèi) 可選方案包括使用新的網(wǎng)絡(luò)提取層(NAL)單元類(lèi)型，以指示包含該NAL單元類(lèi)型的已編碼 片的圖像是增強(qiáng)層即時(shí)解碼刷新(EIDR)圖像。EIDR圖像是這樣的已編碼圖像，該EIDR圖 像以及在同一層中(也即具有與該EIDR圖像分別相同的temporal_level、d印endency_id 和qUality_level值)按解碼順序隨后的所有已編碼圖像的解碼可以在沒(méi)有來(lái)自任何在同 一層中按解碼順序先于該EIDR圖像的圖像的幀間預(yù)測(cè)的情況下執(zhí)行。EIDR圖像使得解碼 進(jìn)程在解碼該EIDR圖像之后立即將同一層中所有參考圖像標(biāo)記為“未用于參考”。EIDR圖 像不會(huì)使temporal_level、d印endency_id禾口 quality_level全部等于零。應(yīng)當(dāng)注意,此處 針對(duì)此可選方案上下文所使用的“在同一層中”是指解碼圖像具有與EIDR圖像分別相同的 temporal_level、cbpendency_id和quality_level值。應(yīng)當(dāng)注意，該在同一層中的概念相 比于最近草案SVC標(biāo)準(zhǔn)的差別在于此處考慮了 temporal_level。通過(guò)將temporal_level 考慮在內(nèi)，就能支持從具有較低幀率的層到具有較高幀率的層的從低到高的層切換。而且， EIDR圖像的編碼效率提高了，這是因?yàn)榫哂休^高temporaljevel值的參考圖像自動(dòng)從參 考圖像列表中刪除，使得節(jié)省了一些參考圖像列表重排序命令或者參考圖像的索引值變得 更小，從而提高了熵編碼的編碼效率。因?yàn)榭缮炜s編碼的特性使得較低層不能依靠較高層，因此EIDR圖像不能從位于 同一層以及更高層的圖像進(jìn)行預(yù)測(cè)，不過(guò)其仍然能夠從來(lái)自較低層的圖像進(jìn)行預(yù)測(cè)，包括 時(shí)間上較低的層。這樣就支持在EIDR圖像的位置處從下一個(gè)較低層到包含該EIDR圖像的 層的層切換。例如，新的NAL單元類(lèi)型可以如下表1所示定義。值22用作該新的NAL單元 類(lèi)型，并且NAL單元類(lèi)型20的含義從“可伸縮擴(kuò)展中非IDR圖像的已編碼片”變?yōu)椤翱缮炜s 擴(kuò)展中非IDR圖像和非EIDR圖像的已編碼片”。表 1nal—unit—typeNAL單元內(nèi)容和RBSP語(yǔ)法結(jié)構(gòu)C0未指定1非IDR圖像的已編碼片 slice_layer_without_partitioning_rbsp()2,3,42已編碼片數(shù)椐部分A slice_data_partition_a_layer_rbsp()23已編碼片數(shù)據(jù)部分B slice_data_partition_b_layer_rbsp()34已編碼片數(shù)據(jù)部分C slice_data_partition_c_layer_rbsp()45IDR圖像的已編碼片 slice_layer_without__partitioning_rbsp()2,36補(bǔ)充增強(qiáng)信息(SEI) sei—rbsp()57序列^lt集合 seq_parameter_set_rbsp()08圖像械集合 pic_parameter_set_rbsp()19存取單元分界符 access_unit—delimiter—rbsp()610序列結(jié)束 end—of一 seq_rbsp()權(quán)利要求
一種將圖像序列編碼為存取單元序列的方法，所述方法包括將所述圖像序列的第一圖像編碼為所述存取單元序列的第一存取單元，所述第一存取單元包括使用幀間預(yù)測(cè)編碼的第一編碼圖像和其中所有碼片是I碼片或SI碼片的第二編碼圖像，將可從在解碼順序中所述第一存取單元之前的存取單元解碼的至少一個(gè)已解碼參考圖像標(biāo)記為用于參考，以及指示所述第二編碼圖像以使得所述至少一個(gè)已解碼參考圖像被標(biāo)記為未用于參考。
2.根據(jù)權(quán)利要求1所述的方法，包括發(fā)送針對(duì)所述編碼圖像的編碼層結(jié)構(gòu)，其中所述第二編碼圖像根據(jù)所述編碼層結(jié)構(gòu)增 強(qiáng)所述第一編碼圖像的空間分辨率或質(zhì)量。
3.根據(jù)權(quán)利要求1或2所述的方法，進(jìn)一步包括指示所述第二編碼圖像以使得所有標(biāo)記為用于參考的已解碼參考圖像被標(biāo)記為未用 于參考。
4.根據(jù)權(quán)利要求1到3中任意一項(xiàng)所述的方法，進(jìn)一步包括針對(duì)所述第二編碼圖像生成至少一個(gè)網(wǎng)絡(luò)抽象層(NAL)單元的NAL單元報(bào)頭，從而包 括所述指示。
5.一種將存取單元序列解碼為已解碼圖像序列的方法，所述存取單元序列包括第一存 取單元，所述第一存取單元包括使用幀間預(yù)測(cè)編碼的第一編碼圖像和其中所有碼片是I碼 片或SI碼片的第二編碼圖像，所述方法包括將在解碼順序中所述第一存取單元之前的至少一個(gè)存取單元解碼為至少一個(gè)已解碼 參考圖像，將所述至少一個(gè)已解碼參考圖像標(biāo)記為用于參考，將包括所述第二編碼圖像的所述第一存取單元解碼為第一已解碼參考圖像，對(duì)與所述第二編碼圖像相關(guān)聯(lián)的指示進(jìn)行解碼，以及作為對(duì)所述指示的解碼的響應(yīng)，將所述至少一個(gè)已解碼參考圖像標(biāo)記為未用于參考。
6.一種用于將圖像序列編碼為存取單元序列的電子設(shè)備，所述電子設(shè)備包括處理器；以及存儲(chǔ)器單元，其可操作地連接至所述處理器并且包括計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程 序產(chǎn)品包括用于將所述圖像序列的第一圖像編碼為所述存取單元序列的第一存取單元的計(jì)算機(jī) 代碼，所述第一存取單元包括使用幀間預(yù)測(cè)編碼的第一編碼圖像和其中所有碼片是I碼片 或SI碼片的第二編碼圖像，用于將可從在解碼順序中所述第一存取單元之前的存取單元解碼的至少一個(gè)已解碼 參考圖像標(biāo)記為用于參考的計(jì)算機(jī)代碼，以及用于指示所述第二編碼圖像以使得所述至少一個(gè)已解碼參考圖像被標(biāo)記為未用于參 考的計(jì)算機(jī)代碼。
7.根據(jù)權(quán)利要求6所述的電子設(shè)備，進(jìn)一步包括用于發(fā)送針對(duì)所述編碼圖像的編碼層結(jié)構(gòu)的計(jì)算機(jī)代碼，其中所述第二編碼圖像根據(jù) 所述編碼層結(jié)構(gòu)增強(qiáng)所述第一編碼圖像的空間分辨率或質(zhì)量。
8.根據(jù)權(quán)利要求6或7所述的電子設(shè)備，進(jìn)一步包括用于指示所述第二編碼圖像以使得所有標(biāo)記為用于參考的已解碼參考圖像被標(biāo)記為 未用于參考的計(jì)算機(jī)代碼。
9.根據(jù)權(quán)利要求6到8中任意一項(xiàng)所述的電子設(shè)備，進(jìn)一步包括用于針對(duì)所述第二編碼圖像生成至少一個(gè)網(wǎng)絡(luò)抽象層(NAL)單元的NAL單元報(bào)頭從而 包括所述指示的計(jì)算機(jī)代碼。
10.一種用于將存取單元序列解碼為已解碼圖像序列的電子設(shè)備，所述存取單元序列 包括第一存取單元，所述第一存取單元包括使用幀間預(yù)測(cè)編碼的第一編碼圖像和其中所有 碼片是I碼片或SI碼片的第二編碼圖像，所述電子設(shè)備包括處理器；以及存儲(chǔ)器單元，其可操作地連接至所述處理器并且包括計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程 序產(chǎn)品包括用于將在解碼順序中所述第一存取單元之前的至少一個(gè)存取單元解碼為至少一個(gè)已 解碼參考圖像的計(jì)算機(jī)代碼，用于將所述至少一個(gè)已解碼參考圖像標(biāo)記為用于參考的計(jì)算機(jī)代碼， 用于將包括所述第二編碼圖像的所述第一存取單元解碼為第一已解碼參考圖像的計(jì) 算機(jī)代碼，用于對(duì)與所述第二編碼圖像相關(guān)聯(lián)的指示進(jìn)行解碼的計(jì)算機(jī)代碼，以及 用于作為對(duì)所述指示的解碼的響應(yīng)，將所述至少一個(gè)已解碼參考圖像標(biāo)記為未用于參 考的計(jì)算機(jī)代碼。
11.一種將圖像序列編碼為存取單元序列的方法，其中所述存取單元序列內(nèi)的存取單元第一子序列處于第一時(shí)間級(jí)別上， 所述存取單元序列內(nèi)的存取單元第二子序列處于第二時(shí)間級(jí)別上， 所述存取單元第一子序列是獨(dú)立于所述存取單元第二子序列可解碼的， 所述存取單元第二子序列取決于所述存取單元第一子序列，所述方法包括 對(duì)從所述第一時(shí)間級(jí)別到所述第二時(shí)間級(jí)別的切換點(diǎn)的指示進(jìn)行編碼，所述切換點(diǎn)的 所述指示指示出所述存取單元第二子序列可從所述切換點(diǎn)開(kāi)始解碼，而無(wú)需對(duì)在解碼順序 中所述切換點(diǎn)之前的所述存取單元第二子序列中的存取單元進(jìn)行解碼。
12.—種將存取單元序列封裝到至少一個(gè)文件中的方法，其中 所述存取單元序列內(nèi)的存取單元第一子序列處于第一時(shí)間級(jí)別上， 所述存取單元序列內(nèi)的存取單元第二子序列處于第二時(shí)間級(jí)別上，所述存取單元第一子序列是獨(dú)立于所述存取單元第二子序列可解碼的， 所述存取單元第二子序列取決于所述存取單元第一子序列，所述方法包括 將從所述第一時(shí)間級(jí)別到所述第二時(shí)間級(jí)別的切換點(diǎn)的指示封裝到所述至少一個(gè)文 件中，所述切換點(diǎn)的所述指示指示出所述存取單元第二子序列可從所述切換點(diǎn)開(kāi)始解碼， 而無(wú)需對(duì)在解碼順序中所述切換點(diǎn)之前的所述存取單元第二子序列中的存取單元進(jìn)行解 碼。
13.根據(jù)權(quán)利要求11或12所述的方法，進(jìn)一步包括定義補(bǔ)充增強(qiáng)信息(SEI)消息，其中包括所述切換點(diǎn)的所述指示。
14.一種用于將圖像序列編碼為存取單元序列的電子設(shè)備，其中 所述存取單元序列內(nèi)的存取單元第一子序列處于第一時(shí)間級(jí)別上， 所述存取單元序列內(nèi)的存取單元第二子序列處于第二時(shí)間級(jí)別上，所述存取單元第一子序列是獨(dú)立于所述存取單元第二子序列可解碼的， 所述存取單元第二子序列取決于所述存取單元第一子序列，所述電子設(shè)備包括 處理器；以及存儲(chǔ)器單元，其可操作地連接至所述處理器并且包括計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程 序產(chǎn)品包括用于對(duì)從所述第一時(shí)間級(jí)別到所述第二時(shí)間級(jí)別的切換點(diǎn)的指示進(jìn)行編碼的計(jì)算機(jī) 代碼，所述切換點(diǎn)的所述指示指示出所述存取單元第二子序列可從所述切換點(diǎn)開(kāi)始解碼， 而無(wú)需對(duì)在解碼順序中所述切換點(diǎn)之前的所述存取單元第二子序列中的存取單元進(jìn)行解 碼。
15.一種用于將存取單元序列封裝到至少一個(gè)文件中的電子設(shè)備，其中 所述存取單元序列內(nèi)的存取單元第一子序列處于第一時(shí)間級(jí)別上， 所述存取單元序列內(nèi)的存取單元第二子序列處于第二時(shí)間級(jí)別上，所述存取單元第一子序列是獨(dú)立于所述存取單元第二子序列可解碼的， 所述存取單元第二子序列取決于所述存取單元第一子序列，所述電子設(shè)備包括 處理器；以及存儲(chǔ)器單元，其可操作地連接至所述處理器并且包括計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程 序產(chǎn)品包括用于將從所述第一時(shí)間級(jí)別到所述第二時(shí)間級(jí)別的切換點(diǎn)的指示封裝到所述至少一 個(gè)文件中的計(jì)算機(jī)代碼，所述切換點(diǎn)的所述指示指示出所述存取單元第二子序列可從所述 切換點(diǎn)開(kāi)始解碼，而無(wú)需對(duì)在解碼順序中所述切換點(diǎn)之前的所述存取單元第二子序列中的 存取單元進(jìn)行解碼。
16.一種用于支持視頻比特流中的從低到高的層切換的流式傳輸系統(tǒng)單元，包括第一單元，用于接收包括存取單元序列的所述視頻比特流，其中所述存取單元序列內(nèi) 的存取單元第一子序列處于第一時(shí)間級(jí)別上，所述存取單元序列內(nèi)的存取單元第二子序列 處于第二時(shí)間級(jí)別上，所述存取單元第一子序列是獨(dú)立于所述存取單元第二子序列可解碼 的，所述存取單元第二子序列取決于所述存取單元第一子序列，第二單元，用于將從所述第一時(shí)間級(jí)別到所述第二時(shí)間級(jí)別的切換點(diǎn)的指示標(biāo)識(shí)到至 少一個(gè)文件中，所述切換點(diǎn)的所述指示指示出所述存取單元第二子序列可從所述切換點(diǎn)開(kāi) 始解碼，而無(wú)需對(duì)在解碼順序中所述切換點(diǎn)之前的所述存取單元第二子序列中的存取單元 進(jìn)行解碼；以及第三單元，用于在從低到高的層切換點(diǎn)處從可伸縮層的子集的傳輸切換到可伸縮層的 更大子集的傳輸。
全文摘要
一種系統(tǒng)和方法，用于在文件格式層中信令從低到高的層切換點(diǎn)，以支持在流服務(wù)器和本地文件回放中的有效的可伸縮流切換。本發(fā)明還提供一種系統(tǒng)和方法，用于在視頻比特流中信令從低到高的層切換點(diǎn)，例如，用以支持在可知媒體網(wǎng)元中的智能轉(zhuǎn)發(fā)可伸縮層或者在流接收方的計(jì)算上的可伸縮解碼。
文檔編號(hào)H04N7/26GK101998123SQ20101058608
公開(kāi)日2011年3月30日 申請(qǐng)日期2006年10月11日 優(yōu)先權(quán)日2005年10月11日
發(fā)明者M·安尼克塞拉, Y-K·王 申請(qǐng)人:諾基亞公司