專利名稱：多視圖媒體數(shù)據(jù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體涉及多視圖媒體數(shù)據(jù)，具體地，涉及這種多視圖媒體數(shù)據(jù)的產(chǎn)生和處理。
背景技術(shù)：
運(yùn)動(dòng)畫面專家組(MPEG) [1]和電信標(biāo)準(zhǔn)化分部(ITU-T)研究組16(SG16)正在進(jìn)行的對(duì)多視圖視頻編碼(MVC)的標(biāo)準(zhǔn)化是一種對(duì)通過多個(gè)攝像機(jī)或攝像機(jī)陣列產(chǎn)生的視頻序列進(jìn)行編碼的視頻編碼技術(shù)。MVC以高效的方式利用多個(gè)視頻視圖之間的冗余，以提供緊湊的編碼視頻流。MVC基于高級(jí)視頻編碼(AVC)標(biāo)準(zhǔn)(也稱為ITU-T H. 264)，因此MVC 比特流語法和語義保持與AVC比特流語法和語義相似。IS0/IEC 14496-15 [2]是國(guó)際標(biāo)準(zhǔn)，被設(shè)計(jì)為采用便于管理AVC比特流的靈活和可擴(kuò)展的格式來包含AVC比特流信息。該標(biāo)準(zhǔn)與MP4文件格式[3]和3GPP文件格式[4] 兼容。所有這些標(biāo)準(zhǔn)均是從由MPEG定義的ISO基本媒體文件格式[5]中導(dǎo)出的。MVC視頻流的存儲(chǔ)被稱為MVC文件格式。在MVC文件格式中，文件中的一個(gè)或多個(gè)視頻軌道表示多視圖視頻流。每個(gè)軌道表示流的一個(gè)或多個(gè)視圖。除了編碼后的多視圖視頻數(shù)據(jù)本身，MVC文件格式還包括要在處理視頻數(shù)據(jù)時(shí)使用的元數(shù)據(jù)。例如，每個(gè)視圖具有相關(guān)聯(lián)的視圖標(biāo)識(shí)符，這意味著一個(gè)視圖內(nèi)的MVC網(wǎng)絡(luò)抽象層(NAL)單元具有完全相同的視圖標(biāo)識(shí)符，即，具有MVC NAL單元首部擴(kuò)展中的view_id字段的相同值。MVC NAL單元首部擴(kuò)展還包括指定NAL單元的優(yōu)先級(jí)標(biāo)識(shí)符的priority_id字段。 在所建議的標(biāo)準(zhǔn)[6]中，較低的priority_id值指定了較高的優(yōu)先級(jí)。priority_id用于定義NAL單元優(yōu)先級(jí)，并依賴于比特流，因?yàn)閜riorityjd反映了來自不同視圖的視頻數(shù)據(jù)的
互編碼關(guān)系。

發(fā)明內(nèi)容
現(xiàn)今使用的優(yōu)先級(jí)標(biāo)識(shí)符僅僅指定了來自MVC文件中提供的攝像機(jī)視圖的視頻數(shù)據(jù)的互編碼關(guān)系。這種與編碼相關(guān)的優(yōu)先級(jí)盡管可以用于實(shí)現(xiàn)對(duì)來自不同攝像機(jī)視圖的視頻數(shù)據(jù)進(jìn)行基于內(nèi)容的處理，但是只能有限地實(shí)現(xiàn)。本發(fā)明實(shí)施例克服了現(xiàn)有技術(shù)配置的這些和其他缺點(diǎn)。本發(fā)明的總體目的是提供可更加高效地處理的多視圖媒體數(shù)據(jù)。該目的和其他目的是通過所附專利權(quán)利要求限定的實(shí)施例來實(shí)現(xiàn)的。簡(jiǎn)而言之，本發(fā)明實(shí)施例涉及通過提供表示場(chǎng)景的多個(gè)媒體視圖的編碼后的媒體數(shù)據(jù)來產(chǎn)生多視圖媒體數(shù)據(jù)。每個(gè)媒體視圖與相應(yīng)的結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)。結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符表示相關(guān)聯(lián)媒體視圖的媒體數(shù)據(jù)相對(duì)于至少另一媒體視圖的媒體數(shù)據(jù)的編碼相互關(guān)系。因此，結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符以如下方式依賴于比特流它們與媒體數(shù)據(jù)的編碼相關(guān)， 并提供在媒體數(shù)據(jù)編碼中使用的視圖間預(yù)測(cè)的層次等級(jí)的指令。
針對(duì)多個(gè)媒體視圖的至少一部分中的每個(gè)媒體視圖，確定內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符。與結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符明顯不同，內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符表示相關(guān)聯(lián)媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級(jí)。例如通過將所確定的內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符包括在承載媒體視圖的媒體數(shù)據(jù)的一個(gè)或多個(gè)數(shù)據(jù)分組中，或者通過使所確定的內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符與指示媒體視圖的視圖標(biāo)識(shí)符相關(guān)，將所確定的內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符與相關(guān)媒體視圖相關(guān)聯(lián)?？蛇x地，可以包括編碼后的媒體數(shù)據(jù)，作為媒體容器文件的一個(gè)或多個(gè)媒體軌道。 然后，包括結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符和內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符，作為在處理媒體數(shù)據(jù)期間適用于媒體軌道的元數(shù)據(jù)。內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符允許在數(shù)據(jù)處理設(shè)備處對(duì)多視圖媒體數(shù)據(jù)進(jìn)行選擇性和差異化的基于內(nèi)容的處理。在這種情況下，基于內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符，優(yōu)選地還基于結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符，選擇編碼后的媒體數(shù)據(jù)的媒體數(shù)據(jù)子集。然后，將媒體數(shù)據(jù)的處理僅僅應(yīng)用于所選媒體數(shù)據(jù)子集，或者與其余媒體數(shù)據(jù)相比，針對(duì)所選媒體數(shù)據(jù)子集使用另一類型的媒體數(shù)據(jù)處理。


參照結(jié)合附圖而進(jìn)行的以下描述，可以最佳地理解實(shí)施例以及實(shí)施例的其他目的和優(yōu)點(diǎn)，附圖中圖1是示意了根據(jù)實(shí)施例產(chǎn)生多視圖媒體數(shù)據(jù)的方法的流程圖；圖2是可用于記錄多視圖視頻數(shù)據(jù)的攝像機(jī)陣列的示意圖；圖3是示意了圖1中的媒體數(shù)據(jù)產(chǎn)生方法的附加步驟的流程圖；圖4是根據(jù)實(shí)施例的媒體容器文件的示意圖；圖5是根據(jù)實(shí)施例的媒體產(chǎn)生設(shè)備的示意框圖；圖6是根據(jù)實(shí)施例的處理多視圖媒體數(shù)據(jù)的方法的流程圖；圖7至11是示意了圖6中的媒體數(shù)據(jù)處理方法的處理步驟的不同實(shí)施例的流程圖；圖12是根據(jù)實(shí)施例的數(shù)據(jù)處理設(shè)備的示意框圖；圖13是根據(jù)另一實(shí)施例的數(shù)據(jù)處理設(shè)備的示意框圖；以及圖14是其中可以實(shí)現(xiàn)實(shí)施例的通信系統(tǒng)的示例的概述。
具體實(shí)施例方式在整個(gè)附圖中，相同的參考標(biāo)記用于相應(yīng)或相似的元素。本發(fā)明實(shí)施例總體涉及所謂多視圖媒體數(shù)據(jù)的產(chǎn)生和處理，具體地，涉及提供優(yōu)先級(jí)信息和與媒體數(shù)據(jù)處理相關(guān)地使用這種優(yōu)先級(jí)信息。多視圖媒體數(shù)據(jù)意味著媒體內(nèi)容的多個(gè)媒體視圖可用，其中，每個(gè)這種媒體視圖產(chǎn)生表示媒體內(nèi)容但來自多個(gè)可用媒體視圖之一的媒體數(shù)據(jù)。這種多視圖媒體的典型示例是多視圖視頻。在這種情況下，相對(duì)于要記錄的場(chǎng)景，提供了多個(gè)攝像機(jī)或其他媒體記錄/ 創(chuàng)建設(shè)備或多個(gè)這種攝像機(jī)的陣列。由于攝像機(jī)具有相對(duì)于內(nèi)容的不同位置和/或不同指向和/或焦距，因此它們提供了內(nèi)容的備選視圖。圖2示意性地示出了這種概念，其中，多個(gè)攝像機(jī)12-18的陣列10位于場(chǎng)景30附近，例如，場(chǎng)景30是要由不同攝像機(jī)12-18來記錄足球比賽的足球場(chǎng)。該圖還指示了攝像機(jī)12-18的相應(yīng)攝像機(jī)視圖22-28。在該示意性示例中，攝像機(jī)12-18位于沿足球場(chǎng)長(zhǎng)度的不同位置，從而記錄場(chǎng)地的不同位置。這意味著攝像機(jī)12-18捕捉從其相應(yīng)攝像機(jī)視圖22- 看到的媒體內(nèi)容的不同版本。如本領(lǐng)域公知的，視頻數(shù)據(jù)編碼典型地基于相對(duì)像素預(yù)測(cè)，如在H. 261, H. 263, MPEG-4和H. 264中。在H. 264中，利用了 3種像素預(yù)測(cè)方法，即幀內(nèi)、幀間和雙向預(yù)測(cè)。幀內(nèi)預(yù)測(cè)提供根據(jù)當(dāng)前幀的先前解碼像素對(duì)當(dāng)前像素塊的空間預(yù)測(cè)。幀間預(yù)測(cè)使用先前解碼幀中對(duì)應(yīng)的但是移位的像素塊來給出當(dāng)前像素塊的時(shí)間預(yù)測(cè)。雙向預(yù)測(cè)給出兩個(gè)幀間預(yù)測(cè)的加權(quán)平均。因此，幀內(nèi)編碼幀不依賴于視頻流中的任何先前幀，而幀間編碼幀(包括具有雙向預(yù)測(cè)的幀間編碼幀)使用來自視頻流中的一個(gè)或多個(gè)其他參考幀的運(yùn)動(dòng)補(bǔ)償。多視圖視頻編碼通過不僅允許來自單一攝像機(jī)視圖的幀之間的預(yù)測(cè)，還允許視圖間預(yù)測(cè)，來使這種基于預(yù)測(cè)的編碼更進(jìn)一步。因此，與要編碼的當(dāng)前幀相比，參考幀可以是處于相同相對(duì)時(shí)刻但屬于另一攝像機(jī)視圖的幀。視圖間和視圖內(nèi)預(yù)測(cè)的組合也是可能的， 從而具有來自不同攝像機(jī)視圖的多個(gè)參考幀。具有多個(gè)媒體視圖以及對(duì)來自媒體視圖的媒體數(shù)據(jù)進(jìn)行互編碼的概念不必限于視頻數(shù)據(jù)。完全相反，多視圖媒體的概念也可以應(yīng)用于其他類型的媒體，包括例如圖形(例如可縮放向量圖形(SVG))。實(shí)際上，本發(fā)明的實(shí)施例可以應(yīng)用于可表示為多個(gè)媒體視圖的形式且其中可至少部分地在媒體視圖之間執(zhí)行媒體編碼的任何媒體類型。在本領(lǐng)域中，如MVC標(biāo)準(zhǔn)草案[6]中公開的，在NAL單元首部中包括所謂 priorityjd形式的優(yōu)先級(jí)。在具體情況下，屬于特定視圖的所有NAL單元可以具有相同的 priority_id,從而給出了每視圖唯一的現(xiàn)有技術(shù)優(yōu)先級(jí)標(biāo)識(shí)符。這些現(xiàn)有技術(shù)優(yōu)先級(jí)標(biāo)識(shí)符可以被認(rèn)為是所謂的結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符，因?yàn)檫@些優(yōu)先級(jí)標(biāo)識(shí)符指示了來自不同媒體視圖的媒體數(shù)據(jù)的編碼相互關(guān)系。例如參照?qǐng)D2，假定攝像機(jī)視圖沈被認(rèn)為是基本視圖。這意味著，攝像機(jī)視圖26是獨(dú)立視圖，其是根據(jù)其自身的視頻數(shù)據(jù)而編碼和解碼的，而無需來自其他攝像機(jī)視圖22、24、觀的任何預(yù)測(cè)。然后，兩個(gè)相鄰攝像機(jī)視圖MJ8可以依賴于基本視圖沈，這意味著可以根據(jù)來自基本視圖沈的視頻數(shù)據(jù)來預(yù)測(cè)來自攝像機(jī)視圖M、28 的視頻數(shù)據(jù)。最后，最后一個(gè)攝像機(jī)視圖22可以依賴于相鄰攝像機(jī)視圖24。這些依賴性方面給出了如下的結(jié)構(gòu)優(yōu)先級(jí)表I-結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符
攝像機(jī)視圖‘22242628結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符3212*根據(jù)圖2的攝像機(jī)視圖參考標(biāo)號(hào)在表I中，如所建議的標(biāo)準(zhǔn)[6]中那樣，較低的結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符值指定了較高優(yōu)先級(jí)。因此，向基本視圖沈給出最低結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符，并且，依賴于基本視圖沈編碼的兩個(gè)攝像機(jī)視圖22、觀具有次最低的結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符。因此，依賴于具有次最低結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符的攝像機(jī)視圖MJ8之一編碼的攝像機(jī)視圖22具有本示例中4個(gè)攝像機(jī)視圖中最高的結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符。
因此，結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符依賴于比特流，因?yàn)樗鼈兎从沉藖碜圆煌瑪z像機(jī)視圖的視頻數(shù)據(jù)的互編碼關(guān)系。實(shí)施例提供和使用了適用于多視圖媒體但依賴于內(nèi)容的備選形式的優(yōu)先級(jí)標(biāo)識(shí)符。圖1是示意了根據(jù)實(shí)施例的產(chǎn)生多視圖媒體數(shù)據(jù)的方法的流程圖。該方法從步驟 Sl開始，在步驟Si，提供表示媒體內(nèi)容的多個(gè)媒體視圖的編碼后的數(shù)據(jù)。該多個(gè)媒體視圖中的每一個(gè)與如上所述相應(yīng)的結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)。因此，結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符指示了媒體視圖的媒體數(shù)據(jù)相對(duì)于多個(gè)媒體視圖中至少一個(gè)其他媒體視圖的媒體數(shù)據(jù)的編碼相
互關(guān)系。步驟Sl的這種多視圖媒體數(shù)據(jù)提供是可以通過從可訪問的媒體存儲(chǔ)器中取得媒體數(shù)據(jù)來實(shí)現(xiàn)的，其中，先前已經(jīng)將媒體數(shù)據(jù)輸入該媒體存儲(chǔ)器。備選地，媒體數(shù)據(jù)是從某個(gè)其他外部單元接收的，在該外部單元中存儲(chǔ)、記錄或產(chǎn)生了媒體數(shù)據(jù)。另一種可能性是實(shí)際創(chuàng)建和編碼媒體數(shù)據(jù)，例如記錄視頻序列或合成地產(chǎn)生媒體數(shù)據(jù)。下一步驟S2針對(duì)多個(gè)可用媒體視圖中的媒體視圖確定所謂的內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符。與依賴于媒體視圖之間的編碼相互關(guān)系的結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符明顯不同，步驟S2中確定的內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符指示媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級(jí)。因此，內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符與實(shí)際媒體內(nèi)容更加相關(guān)，并向媒體視圖提供了與源自媒體視圖之一的媒體數(shù)據(jù)相對(duì)于來自其他媒體視圖的媒體數(shù)據(jù)的重要程度有關(guān)的優(yōu)先級(jí)。再次參照?qǐng)D2，一般認(rèn)為，看到與足球場(chǎng)中的球門之一周圍的區(qū)域相關(guān)的視頻數(shù)據(jù)對(duì)觀看者來說更有價(jià)值。因此，典型地，攝像機(jī)視圖12被認(rèn)為從內(nèi)容和呈現(xiàn)的觀點(diǎn)來看具有最高優(yōu)先級(jí)。因此，根據(jù)組織結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符的方式，攝像機(jī)視圖12的內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符具有與最高優(yōu)先級(jí)相對(duì)應(yīng)的最低優(yōu)先級(jí)值，見表II。 表II-內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符
攝像機(jī)視圖*22242628內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符1234*根據(jù)圖2的攝像機(jī)視圖參考標(biāo)號(hào)因此，從呈現(xiàn)的觀點(diǎn)來看，攝像機(jī)視圖越接近于足球場(chǎng)的最令人感興趣的部分 (即球門)，該攝像機(jī)視圖的內(nèi)容優(yōu)先級(jí)就越高，內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符就越低。在備選方式中，媒體視圖的結(jié)構(gòu)/內(nèi)容優(yōu)先級(jí)越高，結(jié)構(gòu)/內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符值就越高。然后，在步驟S3，將步驟S2所確定的內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符關(guān)聯(lián)至并分配至多個(gè)媒體視圖中的相關(guān)媒體視圖。這種關(guān)聯(lián)是可以通過將內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符與媒體視圖的視圖標(biāo)識(shí)符一起存儲(chǔ)來實(shí)現(xiàn)的。備選地，將內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符與來自相關(guān)媒體視圖的媒體數(shù)據(jù)一起存儲(chǔ)。針對(duì)多個(gè)媒體視圖的至少一個(gè)部分來確定內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符，這由線Ll示意性地示出。這意味著步驟S2和S3形成的循環(huán)可以執(zhí)行一次，使得媒體視圖中只有一個(gè)具有內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符。優(yōu)選地，多次確定步驟S2和S3，更優(yōu)選地，針對(duì)多個(gè)媒體視圖中的每個(gè)媒體視圖確定一次。因此，如果從M個(gè)媒體視圖記錄了多視圖媒體數(shù)據(jù)，則步驟S2和S3可以執(zhí)行N次，其中1彡N彡M且M彡2。然后，該方法結(jié)束。內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符指示來自與內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)的媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)或播出重要性等級(jí)。因此，如以上結(jié)合圖2所討論的，可以基于多個(gè)媒體視圖相對(duì)于所記錄場(chǎng)景的記錄位置來確定內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符的值。因此，攝像機(jī)視圖22-28的攝像機(jī) 12-18的位置、對(duì)焦方向和/或焦距可以用于確定攝像機(jī)視圖22- 的相應(yīng)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符?？捎糜诖_定內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符的附加或備選參數(shù)是不同攝像機(jī)12-18記錄場(chǎng)景30的分辨率。一般地，與視頻數(shù)據(jù)的較低分辨率版本相比，具有場(chǎng)景30的高分辨率視頻數(shù)據(jù)具有較高的呈現(xiàn)重要性。實(shí)施例中的內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符可以由記錄和/或處理(如編碼)多視圖媒體數(shù)據(jù)的內(nèi)容提供器來確定。例如，手動(dòng)操作員可以通過檢查來自不同媒體視圖的所記錄的媒體數(shù)據(jù)，基于他/她關(guān)于哪個(gè)或哪些媒體視圖被認(rèn)為是在媒體呈現(xiàn)期間與其他媒體視圖相比對(duì)觀看用戶而言更加重要的看法，來確定和關(guān)聯(lián)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符。內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符的確定也可以是自動(dòng)確定的，即無需任何人為操作。在這種情況下，處理器或算法可以使用上述參數(shù)(如攝像機(jī)位置、對(duì)焦方向、焦距、攝像機(jī)分辨率)中的任一個(gè)，將攝像機(jī)視圖分為不同的內(nèi)容優(yōu)先級(jí)等級(jí)。與結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符一樣，所確定的內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符典型地是靜態(tài)的，這意味著為了所記錄的內(nèi)容的目的，單一內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符與攝像機(jī)視圖相關(guān)聯(lián)。然而，有時(shí)可能的情況是來自不同媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級(jí)實(shí)際上可以隨時(shí)間而改變。在這種情況下，內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符可以與所謂生存時(shí)間值相關(guān)聯(lián)，或被設(shè)計(jì)為應(yīng)用于有限時(shí)間段或應(yīng)用于有限量的媒體幀。例如，媒體視圖可以具有針對(duì)前f個(gè)媒體幀或媒體內(nèi)容的前m分鐘的第一內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符，而針對(duì)后續(xù)媒體幀或來自該媒體視圖的媒體數(shù)據(jù)的其余部分，使用不同的第二內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符。當(dāng)然，這可以擴(kuò)展至針對(duì)媒體視圖具有內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符之間的多于一次改變的情形。圖3是示意了產(chǎn)生多視圖媒體數(shù)據(jù)的方法的可選附加步驟的流程圖。該方法從圖 1的步驟S3繼續(xù)進(jìn)行。下一步驟SlO將多個(gè)媒體視圖的編碼后的媒體數(shù)據(jù)組織為媒體容器文件的至少一個(gè)媒體軌道。例如，媒體容器文件可以是所謂MVC文件或優(yōu)選地基于ISO基本媒體文件格式的某種其他文件格式。媒體容器文件可以被認(rèn)為是媒體服務(wù)器在媒體會(huì)話期間用于提供媒體內(nèi)容和將媒體數(shù)據(jù)形成為可傳輸?shù)臄?shù)據(jù)分組的完整輸入封裝。因此，除了媒體內(nèi)容本身之外，容器文件優(yōu)選地包括媒體服務(wù)器執(zhí)行處理和允許在媒體會(huì)話期間傳輸媒體內(nèi)容所需的信息和指令。在實(shí)施例中，每個(gè)媒體視圖具有容器文件中單獨(dú)分配的媒體軌道，從而提供了多個(gè)媒體視圖與多個(gè)媒體軌道之間的一對(duì)一關(guān)系。備選地，至少兩個(gè)(可能全部)媒體視圖的媒體數(shù)據(jù)可以裝入媒體容器文件的單一媒體軌道中。圖4示意性地示出了具有承載編碼后的多視圖媒體數(shù)據(jù)的一個(gè)或多個(gè)媒體軌道32的媒體容器文件30的示例。多個(gè)媒體視圖的相應(yīng)媒體數(shù)據(jù)(不論被組織為一個(gè)還是多個(gè)媒體軌道)優(yōu)選地都被分配有與媒體視圖相關(guān)聯(lián)的相應(yīng)視圖標(biāo)識(shí)符。
圖3的下一步驟Sll相對(duì)于來自步驟SlO的至少一個(gè)媒體軌道，將結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)地組織到媒體容器文件中。相關(guān)聯(lián)地組織意味著將結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符包括在媒體容器文件中，以提供結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符與該結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符所應(yīng)用于的媒體視圖之間的關(guān)聯(lián)。對(duì)應(yīng)地，這種關(guān)聯(lián)可以取而代之地在結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符與源自該結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符所應(yīng)用于的媒體視圖的媒體數(shù)據(jù)之間。關(guān)聯(lián)可以具有從媒體視圖的媒體數(shù)據(jù)在媒體容器文件內(nèi)的存儲(chǔ)位置至結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符的存儲(chǔ)位置(或者反之)的指針的形式。因此，給定特定媒體數(shù)據(jù)或其在媒體容器文件內(nèi)的位置，該指針或元數(shù)據(jù)實(shí)現(xiàn)了對(duì)相關(guān)聯(lián)的結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符或結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符在文件內(nèi)的存儲(chǔ)位置的標(biāo)識(shí)。取代采用指針，元數(shù)據(jù)可以包括媒體數(shù)據(jù)/媒體視圖的視圖標(biāo)識(shí)符。然后，使用元數(shù)據(jù)來標(biāo)識(shí)結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符所應(yīng)用于的媒體數(shù)據(jù)之一。圖4示意性地示出了將結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符36相關(guān)聯(lián)地組織到媒體容器文件30中的實(shí)施例。在本實(shí)施例中，每個(gè)結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符36與指示結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符36所應(yīng)用于的媒體數(shù)據(jù)和媒體視圖的視圖標(biāo)識(shí)符34相關(guān)聯(lián)。圖3的下一步驟S12對(duì)應(yīng)地相對(duì)于至少一個(gè)媒體軌道，將內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)地組織到媒體容器文件中。與結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符類似，可以通過元數(shù)據(jù)(例如，提供媒體容器文件中媒體數(shù)據(jù)/媒體視圖與內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符之間的聯(lián)系的視圖標(biāo)識(shí)符)來實(shí)現(xiàn)關(guān)聯(lián)。圖4中也示意了這一點(diǎn)，其中每個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符38與指示內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符36 所應(yīng)用于的媒體數(shù)據(jù)和媒體視圖的視圖標(biāo)識(shí)符34相關(guān)聯(lián)。向媒體容器文件提供內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符的非限制性示例是將“vipr”箱包括在媒體容器文件的樣本組描述箱中[6]。箱類型‘vipr，容器樣本組描述箱(‘sgpd’ )強(qiáng)制否數(shù)量0或更多
class ViewPriorityBox extends VisualSampleGroupEntry ('vipr ‘) { unsigned int( 16) view_count for (i=0; i<view_count; i++) { unsigned int(6) reserved — 0; unsigned int(10) viewjd; unsigned int(32) content_priority_id;其中view_count是媒體視圖的總數(shù)，view_id是文獻(xiàn)[6]中的ViewIdentifierBox 中指示的媒體視圖的視圖標(biāo)識(shí)符，content_priority_id是內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符。備選地，"vipr"箱可以是在媒體容器文件的樣本條目中提供的。箱類型‘vipr，
容器樣本條目(‘a(chǎn)vcl，，‘a(chǎn)vc2，，‘mvcl，)強(qiáng)制否數(shù)量精確為1個(gè)
權(quán)利要求
1.一種用于產(chǎn)生多視圖媒體數(shù)據(jù)的方法，包括-提供表示媒體內(nèi)容的多個(gè)媒體視圖的編碼后的媒體數(shù)據(jù)，每個(gè)媒體視圖與結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)，所述結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符指示所述媒體視圖的所述媒體數(shù)據(jù)相對(duì)于所述多個(gè)媒體視圖中的至少另一媒體視圖的媒體數(shù)據(jù)的編碼相互關(guān)系；-針對(duì)所述多個(gè)媒體視圖的至少一部分中的每個(gè)媒體視圖，確定內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符，所述內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符指示所述媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級(jí)；以及-將所述內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符與所述媒體視圖相關(guān)聯(lián)。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述確定步驟包括針對(duì)所述多個(gè)媒體視圖中的每個(gè)媒體視圖，確定相應(yīng)的內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述確定步驟包括基于所述多個(gè)媒體視圖相對(duì)于所記錄的場(chǎng)景的記錄位置，針對(duì)所述多個(gè)媒體視圖的所述至少一部分中的每個(gè)媒體視圖，確定所述內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符。
4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，還包括-將所述多個(gè)媒體視圖的所述編碼后的媒體數(shù)據(jù)組織為媒體容器文件的至少一個(gè)媒體軌道；-相對(duì)于所述至少一個(gè)媒體軌道，將所述結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)地組織到所述媒體容器文件中；以及-相對(duì)于所述至少一個(gè)媒體軌道，將所述至少一個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)地組織到所述媒體容器文件中。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述將所述至少一個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)地組織的步驟包括針對(duì)所述至少一個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符中的每個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符，將所述內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符與分配至相關(guān)聯(lián)媒體視圖的視圖標(biāo)識(shí)符一起組織到所述媒體容器文件中。
6.一種用于產(chǎn)生多視圖媒體數(shù)據(jù)的媒體產(chǎn)生設(shè)備，包括-媒體提供器，用于提供表示媒體內(nèi)容的多個(gè)媒體視圖的編碼后的媒體數(shù)據(jù)，每個(gè)媒體視圖與結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)，所述結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符指示所述媒體視圖的所述媒體數(shù)據(jù)相對(duì)于所述多個(gè)媒體視圖中的至少另一媒體視圖的媒體數(shù)據(jù)的編碼相互關(guān)系；-優(yōu)先級(jí)分配器，用于向所述多個(gè)媒體視圖的至少一部分中的每個(gè)媒體視圖分配內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符，所述內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符指示所述媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級(jí)。
7.根據(jù)權(quán)利要求6所述的設(shè)備，還包括優(yōu)先級(jí)確定器，基于所述多個(gè)媒體視圖相對(duì)于所記錄的場(chǎng)景的記錄位置，針對(duì)所述多個(gè)媒體視圖的所述至少一部分中的每個(gè)媒體視圖， 確定所述內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符。
8.根據(jù)權(quán)利要求6或7所述的設(shè)備，還包括-軌道組織器，將所述多個(gè)媒體視圖的所述編碼后的媒體數(shù)據(jù)組織為媒體容器文件的至少一個(gè)媒體軌道；以及-優(yōu)先級(jí)組織器，相對(duì)于所述至少一個(gè)媒體軌道，將所述結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)地組織到所述媒體容器文件中，并相對(duì)于所述至少一個(gè)媒體軌道，將所述至少一個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)地組織到所述媒體容器文件中。
9.根據(jù)權(quán)利要求8所述的設(shè)備，其中，所述優(yōu)先級(jí)組織器被配置為針對(duì)所述至少一個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符中的每個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符，將所述內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符與分配至相關(guān)聯(lián)媒體視圖的視圖標(biāo)識(shí)符一起組織到所述媒體容器文件中。
10.一種媒體容器文件，包括-至少一個(gè)媒體軌道，包括表示媒體內(nèi)容的多個(gè)媒體視圖的編碼后的媒體數(shù)據(jù)；-相對(duì)于所述至少一個(gè)媒體軌道而相關(guān)聯(lián)地組織到所述媒體容器文件中的多個(gè)結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符，其中，所述多個(gè)媒體視圖中的每個(gè)媒體視圖具有結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符，所述結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符指示所述媒體視圖的所述媒體數(shù)據(jù)相對(duì)于所述多個(gè)媒體視圖中的至少另一媒體視圖的媒體數(shù)據(jù)的編碼相互關(guān)系；-相對(duì)于所述至少一個(gè)媒體軌道而相關(guān)聯(lián)地組織到所述媒體容器文件中的至少一個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符，其中，所述多個(gè)媒體視圖的至少一部分中的每個(gè)媒體視圖具有內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符，所述內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符指示所述媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級(jí)。
11.根據(jù)權(quán)利要求10所述的媒體容器文件，其中，所述多個(gè)媒體視圖中的每個(gè)媒體視圖具有所分配的視圖標(biāo)識(shí)符，所述至少一個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符中的每個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符與分配至相關(guān)聯(lián)媒體視圖的視圖標(biāo)識(shí)符一起被組織到所述媒體容器文件中。
12.一種用于處理多視圖媒體數(shù)據(jù)的方法，包括 -接收表示媒體內(nèi)容的多個(gè)媒體視圖的編碼后的媒體數(shù)據(jù)，每個(gè)媒體視圖與結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)，所述結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符指示所述媒體視圖的所述媒體數(shù)據(jù)相對(duì)于所述多個(gè)媒體視圖中的至少另一媒體視圖的媒體數(shù)據(jù)的編碼相互關(guān)系，所述多個(gè)媒體視圖的至少一部分中的每個(gè)媒體視圖與內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)，所述內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符指示所述媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級(jí)；以及-基于所述至少一個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符來選擇所述多個(gè)媒體視圖的所述媒體數(shù)據(jù)的媒體數(shù)據(jù)子集，以進(jìn)行處理。
13.根據(jù)權(quán)利要求12所述的方法，其中，所述選擇步驟包括基于所述結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符和所述至少一個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符來選擇所述媒體數(shù)據(jù)子集，以進(jìn)行處理。
14.根據(jù)權(quán)利要求12或13所述的方法，還包括從所述編碼后的媒體數(shù)據(jù)中剪裁所選的媒體數(shù)據(jù)子集。
15.根據(jù)權(quán)利要求12至14中任一項(xiàng)所述的方法，還包括對(duì)所選的媒體數(shù)據(jù)子集進(jìn)行解碼和呈現(xiàn)。
16.根據(jù)權(quán)利要求12至15中任一項(xiàng)所述的方法，還包括-對(duì)所選的媒體數(shù)據(jù)子集應(yīng)用第一數(shù)據(jù)保護(hù)等級(jí)；以及-對(duì)未包括在所選的媒體數(shù)據(jù)子集中的其余媒體數(shù)據(jù)應(yīng)用不同的第二數(shù)據(jù)保護(hù)等級(jí)。
17.一種用于處理多視圖媒體數(shù)據(jù)的數(shù)據(jù)處理設(shè)備，包括-接收機(jī)，用于接收表示媒體內(nèi)容的多個(gè)媒體視圖的編碼后的媒體數(shù)據(jù)，每個(gè)媒體視圖與結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)，所述結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符指示所述媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級(jí)，并指示所述媒體視圖的所述媒體數(shù)據(jù)相對(duì)于所述多個(gè)媒體視圖中的至少另一媒體視圖的媒體數(shù)據(jù)的編碼相互關(guān)系，所述多個(gè)媒體視圖的至少一部分中的每個(gè)媒體視圖與內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符相關(guān)聯(lián)，所述內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符指示所述媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級(jí)；以及-媒體選擇器，基于所述至少一個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符來選擇所述多個(gè)媒體視圖的所述媒體數(shù)據(jù)的媒體數(shù)據(jù)子集，以進(jìn)行處理。
18.根據(jù)權(quán)利要求17所述的設(shè)備，其中，所述媒體選擇器被配置為基于所述結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符和所述至少一個(gè)內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符來選擇所述媒體數(shù)據(jù)子集，以進(jìn)行處理。
19.根據(jù)權(quán)利要求17或18所述的設(shè)備，還包括媒體剪裁器，從所述編碼后的媒體數(shù)據(jù)中剪裁所選的媒體數(shù)據(jù)子集。
20.根據(jù)權(quán)利要求17至19中任一項(xiàng)所述的設(shè)備，還包括解碼器，對(duì)所選的媒體數(shù)據(jù)子集進(jìn)行解碼；以及媒體播放器，呈現(xiàn)解碼后的所選媒體數(shù)據(jù)子集。
21.根據(jù)權(quán)利要求17至20中任一項(xiàng)所述的設(shè)備，還包括保護(hù)應(yīng)用器，對(duì)所選的媒體數(shù)據(jù)子集應(yīng)用第一數(shù)據(jù)保護(hù)等級(jí)，并對(duì)未包括在所選的媒體數(shù)據(jù)子集中的其余媒體數(shù)據(jù)應(yīng)用不同的第二數(shù)據(jù)保護(hù)等級(jí)。
全文摘要
通過提供媒體內(nèi)容的多個(gè)媒體視圖的編碼后的媒體數(shù)據(jù)來產(chǎn)生多視圖媒體數(shù)據(jù)。每個(gè)媒體視圖(22-28)與結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符(36)相關(guān)聯(lián)，結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符(36)指示媒體數(shù)據(jù)相對(duì)于至少另一媒體視圖(22-28)的媒體數(shù)據(jù)的編碼相互關(guān)系。優(yōu)選地，針對(duì)每個(gè)媒體視圖(22-28)，確定內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符(38)。與結(jié)構(gòu)優(yōu)先級(jí)標(biāo)識(shí)符(36)不同，內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符(38)指示媒體視圖(22-28)的媒體數(shù)據(jù)的呈現(xiàn)重要性等級(jí)。確定和包括內(nèi)容優(yōu)先級(jí)標(biāo)識(shí)符(38)提供了與例如多視圖媒體數(shù)據(jù)的選擇性剪裁、呈現(xiàn)和/或保護(hù)應(yīng)用相結(jié)合的、改進(jìn)的媒體數(shù)據(jù)處理。
文檔編號(hào)H04N7/26GK102177718SQ200880131456
公開日2011年9月7日 申請(qǐng)日期2008年12月15日 優(yōu)先權(quán)日2008年10月7日
發(fā)明者巫壯飛, 珀·福羅德亨 申請(qǐng)人:艾利森電話股份有限公司