專利名稱：用于自適應(yīng)多媒體應(yīng)用及呈現(xiàn)的自適應(yīng)多媒體綜合語(yǔ)言(amil)的制作方法
技術(shù)領(lǐng)域：
和背景一般來(lái)說(shuō)，本發(fā)明涉及用于描述自適應(yīng)移動(dòng)多媒體應(yīng)用和/或呈現(xiàn)的標(biāo)記語(yǔ)言領(lǐng)域，它們固有地與它們?cè)谄渲羞\(yùn)行的不斷變化的環(huán)境相關(guān)，這意味著這些移動(dòng)多媒體應(yīng)用和/或呈現(xiàn)需要適合移動(dòng)用戶的偏好、他們的移動(dòng)計(jì)算裝置的能力以及諸如當(dāng)前位置、時(shí)間或溫度等用戶的物理影響。
在移動(dòng)裝置上運(yùn)行的應(yīng)用遇到極動(dòng)態(tài)的環(huán)境。它們必須應(yīng)付無(wú)線網(wǎng)絡(luò)中可用的服務(wù)質(zhì)量(QoS)的固有波動(dòng)，以及它們應(yīng)當(dāng)在各種各樣的不同裝置上可用。另外，為了提供良好的服務(wù)，它們應(yīng)當(dāng)考慮到用戶的偏好以及上下文、例如他的當(dāng)前位置。為了滿足那些要求，這些應(yīng)用的開(kāi)發(fā)人員需要得到允許應(yīng)用適應(yīng)不同網(wǎng)絡(luò)、裝置及用戶情況并且隱藏一些所涉及的復(fù)雜度的平臺(tái)的支持。自適應(yīng)多媒體支持環(huán)境(AMUSE)是一種平臺(tái)，它支持自適應(yīng)分布式多媒體檢索應(yīng)用。該平臺(tái)包括三個(gè)部分客戶機(jī)端中間件；構(gòu)建在中間件之上的多媒體應(yīng)用；以及服務(wù)器端上下文認(rèn)知移動(dòng)入口。
相反，本發(fā)明的焦點(diǎn)是基于文檔的方法，其方式是，自適應(yīng)移動(dòng)應(yīng)用和/或呈現(xiàn)用基于XML的文檔來(lái)描述，由服務(wù)器端創(chuàng)作系統(tǒng)(由上下文認(rèn)知移動(dòng)入口表示)產(chǎn)生，由能夠執(zhí)行基于XML的文檔描述的處理的客戶機(jī)端中間件來(lái)處理和呈現(xiàn)。
有不同方式來(lái)實(shí)現(xiàn)多媒體應(yīng)用。首先，多媒體應(yīng)用可能是相當(dāng)特定的，對(duì)專門定義的情景來(lái)實(shí)現(xiàn)的，而且應(yīng)用本身可通過(guò)配置文件來(lái)調(diào)整，這對(duì)于特定的狹義情景是相當(dāng)好的。第二種方式是以基于文檔的方式描述多媒體應(yīng)用，并讓瀏覽器或播放器解釋文檔，這例如在“同步多媒體綜合語(yǔ)言”(SMIL，cf.SMIL 2.0，W3C Recommendation，2001年8月7日，http://www.w3.org/TR/Smil20/)中進(jìn)行，并且是更一般的方法。在本發(fā)明的范圍內(nèi)，已經(jīng)應(yīng)用后一種方法。因此，已經(jīng)評(píng)估了諸如超文本標(biāo)記語(yǔ)言(HTML)、動(dòng)態(tài)HTML(DHTML)、多媒體和超媒體信息編碼專家組(MHEG，cf.國(guó)際標(biāo)準(zhǔn)化組織，ISO/IECJTC1/SC29/WG12，http://www.mheg.org/)、SMIL和HyTime(cf.Users’Group Home Page www.hytime.org)等多媒體文檔模型，以便使用或擴(kuò)展其文檔模型，用于描述自適應(yīng)多媒體應(yīng)用。然而，這些文檔模型沒(méi)有為自適應(yīng)應(yīng)用提供足夠的建模支持。在多媒體應(yīng)用啟動(dòng)時(shí)在某種程度上進(jìn)行一次適配，但移動(dòng)自適應(yīng)多媒體應(yīng)用因它們運(yùn)行時(shí)所處的固有動(dòng)態(tài)環(huán)境而具有額外的適配要求。在啟動(dòng)時(shí)選擇適當(dāng)?shù)牧髅襟w沒(méi)有考慮應(yīng)用運(yùn)行期間無(wú)線網(wǎng)絡(luò)中象QoS波動(dòng)之類的變化。
在移動(dòng)裝置上運(yùn)行的應(yīng)用遇到極為動(dòng)態(tài)的環(huán)境。環(huán)境變化可分類為三個(gè)不同方面網(wǎng)絡(luò)QoS、移動(dòng)裝置能力以及用戶上下文。移動(dòng)應(yīng)用必須應(yīng)付全部三方面的變化。因此，術(shù)語(yǔ)“情況”用于給定的網(wǎng)絡(luò)QoS、移動(dòng)裝置能力以及用戶上下文。一種情況可由一組描述環(huán)境的不同方面的參數(shù)來(lái)表征?！爱?dāng)前情況”是目前對(duì)于移動(dòng)應(yīng)用存在的情況。如果當(dāng)前情況導(dǎo)致應(yīng)用的問(wèn)題，或者如果它允許應(yīng)用改進(jìn)其服務(wù)，則應(yīng)用可改變其行為以便更好地反映所述當(dāng)前情況。由于這對(duì)于所有移動(dòng)應(yīng)用是正確的，因此當(dāng)考慮多媒體應(yīng)用時(shí)情況尤其受到關(guān)注，因?yàn)樗鼈兙哂蟹浅?yán)格的要求，尤其是對(duì)于所應(yīng)用的網(wǎng)絡(luò)的服務(wù)質(zhì)量(QoS)條件。
本發(fā)明的目的考慮到以上說(shuō)明，本發(fā)明的目的是提出一種支持基于文檔的移動(dòng)多媒體應(yīng)用的個(gè)性化和上下文認(rèn)知適配的技術(shù)。
多媒體應(yīng)用可例如經(jīng)由移動(dòng)網(wǎng)絡(luò)、根據(jù)移動(dòng)用戶的偏好、他們的移動(dòng)裝置的能力以及不同的應(yīng)用情景從特定的內(nèi)容提供商處得到。
這個(gè)目的通過(guò)獨(dú)立權(quán)利要求的特征來(lái)實(shí)現(xiàn)。有利的特征在從屬權(quán)利要求中定義。在以下的詳細(xì)描述中，本發(fā)明的其它目的和優(yōu)點(diǎn)十分明顯。
附圖簡(jiǎn)述通過(guò)以下附圖中所描繪的本發(fā)明的優(yōu)選實(shí)施例的以下描述，本發(fā)明的其它優(yōu)點(diǎn)及可能的應(yīng)用將變得顯而易見(jiàn)

圖1提供根據(jù)本發(fā)明的一個(gè)實(shí)施例的結(jié)構(gòu)模塊，圖2提供根據(jù)一個(gè)實(shí)施例的結(jié)構(gòu)模塊，圖3提供根據(jù)一個(gè)實(shí)施例的媒體項(xiàng)模塊，圖4提供根據(jù)一個(gè)實(shí)施例的交互模塊，圖5說(shuō)明布局模塊、媒體項(xiàng)模塊、適配模塊和交互模塊之間的關(guān)系，圖6顯示典型移動(dòng)多媒體呈現(xiàn)的格式，圖7表示AMIL DOM數(shù)據(jù)結(jié)構(gòu)中的AMIL文檔的描述，圖8顯示根據(jù)本發(fā)明的一個(gè)實(shí)施例的約束模塊，圖9表示第一個(gè)表，說(shuō)明不同的適配可能性，圖10表示第二個(gè)表，說(shuō)明為適配模塊與媒體項(xiàng)模塊之間、媒體項(xiàng)模塊與布局模塊之間以及交互模塊與布局模塊之間的鏈接建模的適用關(guān)聯(lián)，圖11表示第三個(gè)表，提供適用約束標(biāo)識(shí)符，圖12表示第四個(gè)表，提供適用適配觸發(fā)標(biāo)識(shí)符，圖13表示描述不同適配可能性(AP)的一個(gè)實(shí)例，圖14表示計(jì)算優(yōu)先級(jí)的一個(gè)實(shí)例，圖15表示適配可能性(AP)的一個(gè)實(shí)例，圖16表示適配模塊與媒體項(xiàng)模塊之間、媒體項(xiàng)模塊與布局模塊之間以及交互模塊與布局模塊之間的鏈接的一個(gè)實(shí)例，圖17表示AMIL文檔的再用的一個(gè)實(shí)例，圖18表示附加功能性的一個(gè)實(shí)例，
圖19表示適配事件描述的文檔段的第一實(shí)例，圖20表示適配事件描述的文檔段的第二實(shí)例，圖21表示不同適配備選者的一個(gè)實(shí)例，圖22表示約束的定義和用法的一個(gè)實(shí)例，圖23提供第一活動(dòng)圖，表示通過(guò)采用適用AMIL DOM數(shù)據(jù)結(jié)構(gòu)確定不同適配可能性的過(guò)程，圖24提供第二活動(dòng)圖，說(shuō)明適用AMIL DOM數(shù)據(jù)結(jié)構(gòu)的變化，圖25簡(jiǎn)要說(shuō)明第一UML類圖，表示媒體項(xiàng)與區(qū)域之間的關(guān)系，圖26簡(jiǎn)要說(shuō)明第二UML類圖，表示專用接口工具集(widget)與區(qū)域之間的關(guān)系，圖27簡(jiǎn)要說(shuō)明第三UML類圖，說(shuō)明適用鏈接元素，圖28簡(jiǎn)要說(shuō)明第四UML類圖，表示適用AMIL DOM數(shù)據(jù)結(jié)構(gòu)的應(yīng)用編程接口(API)，圖29提供適配描述模塊的概況，圖30顯示一個(gè)示意圖，表示同一個(gè)媒體項(xiàng)的時(shí)變質(zhì)量，圖31顯示第一示意圖，表示不同媒體項(xiàng)的時(shí)變質(zhì)量，圖32a顯示第二示意圖，表示不同媒體項(xiàng)的時(shí)變質(zhì)量，圖32b顯示第三示意圖，表示不同媒體項(xiàng)的時(shí)變質(zhì)量，圖33顯示第四示意圖，表示不同媒體項(xiàng)的時(shí)變質(zhì)量，圖34顯示第五示意圖，表示不同媒體項(xiàng)的時(shí)變質(zhì)量，圖35簡(jiǎn)要說(shuō)明第一順序圖，表示AMIL DOM數(shù)據(jù)結(jié)構(gòu)的用法，圖36簡(jiǎn)要說(shuō)明第二順序圖，表示對(duì)AMIL文檔的可能修改，圖37說(shuō)明導(dǎo)致對(duì)AMIL文檔的鏈接結(jié)構(gòu)的修改的當(dāng)前情況的變化，圖38提供一個(gè)類圖，表示在當(dāng)前情況已經(jīng)改變的情況下的可能事件，圖39表示AMIL所支持的事件模塊的概覽圖，它允許對(duì)于當(dāng)前情況的變化采取行動(dòng)，以及圖40表示支持核心模塊的AMIL文檔的一個(gè)實(shí)例。
本發(fā)明的詳細(xì)描述下面詳細(xì)描述如圖1至40所示的本發(fā)明的優(yōu)選實(shí)施例。圖1至40中采用參考標(biāo)號(hào)表示的符號(hào)的含義可見(jiàn)于附表。
首先介紹新的AMIL文檔模型100的主要概念和特征。
如上所述，發(fā)明AMUSE文檔模型是由于以下事實(shí)現(xiàn)有技術(shù)的文檔模型未考慮或者僅在一定程度上考慮以基于文檔的應(yīng)用運(yùn)行于極動(dòng)態(tài)環(huán)境時(shí)所需的方式的適配方面。
AMIL文檔模型100是關(guān)于移動(dòng)自適應(yīng)多媒體應(yīng)用創(chuàng)作過(guò)程的技術(shù)與正進(jìn)行AMIL文檔2402的處理的AMIL播放器之間的鏈接。AMIL播放器可分為兩個(gè)獨(dú)立組件-瀏覽器和支持“客戶機(jī)端中間件”。在本發(fā)明的范圍內(nèi)，以下列方式使用這些表達(dá)又稱作“多媒體瀏覽器”的瀏覽器執(zhí)行呈現(xiàn)相關(guān)的功能和用戶交互404；而“客戶機(jī)端中間件”則提供執(zhí)行適配過(guò)程的功能性。
在以下部分將說(shuō)明根據(jù)本發(fā)明的一個(gè)實(shí)施例的AMIL文檔模型100。文檔以若干說(shuō)明性實(shí)例來(lái)結(jié)束。
模塊自適應(yīng)文檔模型100可根據(jù)其功能性分為不同的模塊。這使得能夠再用特定模塊作為其它文檔模型100的擴(kuò)展。圖17所示的實(shí)例1700說(shuō)明完整AMIL文檔的再用。這些模塊之間的關(guān)系由鏈接元素共同實(shí)現(xiàn)。AMIL文檔模型100支持“主模塊”102，它僅用作其它所有模塊的容器?！爸髂K”102本身不提供任何其它功能性；它在邏輯上用作整體聚集/容器模塊。
各模塊以下列方式來(lái)描述首先表示包含統(tǒng)一建模語(yǔ)言(UML)示意圖以及可擴(kuò)展標(biāo)記語(yǔ)言(XML)模式描述700的表，其次再詳細(xì)說(shuō)明各元素及屬性的含義/語(yǔ)義。如果需要對(duì)相似概念的清楚區(qū)分，則在說(shuō)明各元素或?qū)傩缘恼Z(yǔ)義之后記下差別。
應(yīng)當(dāng)指出，為了描述語(yǔ)法，采用UML和XML圖解。為了以UML來(lái)描述XML，應(yīng)用了UML可擴(kuò)展機(jī)制(陳規(guī)、標(biāo)記值及約束)。關(guān)于這種建模的詳細(xì)信息可見(jiàn)于D.Carlson的“采用UML對(duì)XML應(yīng)用建模。實(shí)際電子商務(wù)應(yīng)用”(ISBN 0-201-70915-5)。
AMIL(主)及核心模塊“核心模塊”104包含每個(gè)AMIL文檔2402中所需的所有模塊。擴(kuò)展模塊114能夠可選地用于適配過(guò)程的更全面描述。
圖1給出AMIL文檔模型100提出的模塊的概覽。為了建模，采用UML“將事務(wù)分組”。因此，每個(gè)模塊通過(guò)“包”來(lái)描述，如G.Booch、J.Rumbaugh及I.Jacobson的“統(tǒng)一建模語(yǔ)言”(用戶指南，ISBN 0-201-57168-4)中所述。
注意各個(gè)包在邏輯上“依靠”(UML關(guān)系“相關(guān)性”)“結(jié)構(gòu)模塊”112。這種關(guān)系沒(méi)有在圖1中示出，但依然是存在的。
“核心模塊”104和“擴(kuò)展模塊”114與“主”模塊102一樣僅用于分組。
1.AMIL結(jié)構(gòu)模塊AMIL“結(jié)構(gòu)模塊”112反映AMIL文檔2402的基礎(chǔ)結(jié)構(gòu)。與XHTML相似，它將文檔分為兩個(gè)部分“首部模塊”部分202，包含布局的聲明3702、所用的媒體項(xiàng)304、交互404和例如約束802；以及“正文模塊”部分204，集中于描述固有適配可能性1500的適配方面。
“amil”元素“amil”元素是包含其它所有元素的最外層元素。根據(jù)XML定義，這個(gè)元素的前面和后面可以是注釋和處理指令，但其前面不能是其它元素或文本節(jié)點(diǎn)。
“id”屬性根據(jù)XML用作標(biāo)識(shí)符，用于引用整個(gè)AMIL文檔2402。
“版本”屬性用于標(biāo)識(shí)AMIL文檔模型100的版本。
“首部模塊”202包括“正文模塊”204的子元素引用的所有聲明。
“正文模塊”204包含描述適配可能性的元素。
2.AMIL布局模塊AMIL“布局模塊”106取自SMIL布局模塊，如“同步多媒體綜合語(yǔ)言”(SMIL 2.0，W3C Recommendation，2001年8月7日，http://www.w3.org/TR/smil20/)中所述。因此，元素“smil布局”，“smil區(qū)域”，以及“smil根-布局”得到支持。詳細(xì)信息可見(jiàn)于SMIL文檔“SMIL 2.0布局模塊”(http://www.w3.org/TR/smil20/layout.html)。
“區(qū)域”元素502元素“smil區(qū)域”取自SMIL文檔模型。其屬性“smil填充”經(jīng)擴(kuò)展，以便考慮尺寸適配的方面。這種屬性的現(xiàn)有技術(shù)的用法是在媒體項(xiàng)304的固有高度/寬度不等于區(qū)域502的尺寸時(shí)指定行為。
在AMIL中，區(qū)域502可由不同的媒體項(xiàng)304在重放多媒體呈現(xiàn)過(guò)程中使用，這意味著具有不同格式600的媒體項(xiàng)304在具有明確定義的尺寸的區(qū)域502中顯示。因此，指定屬性“smil填充”的新屬性值。問(wèn)題在于，縮放媒體的可視尺寸在某些情況下需要許多CPU功率。尤其是按比例放大是相當(dāng)昂貴的操作。按比例縮小也耗用CPU功率，但不如按比例放大那么多。AMIL中的另一個(gè)特點(diǎn)是，區(qū)域502可由許多媒體項(xiàng)304使用，這些媒體項(xiàng)304可支持不同格式600，例如通用中間格式(CIF)或四分之一CIF(QCIF)。在特定縮放因子下，媒體的替換比媒體“無(wú)窮地”縮小更有意義。
應(yīng)當(dāng)指出a)媒體僅在媒體本身可縮放時(shí)才可被縮放(那是要求)，b)缺省行為不同于SMIL中指定的缺省行為，以及
c)據(jù)說(shuō)，當(dāng)前選取的媒體經(jīng)過(guò)縮放以適合區(qū)域的尺寸，但缺省情況下，區(qū)域的尺寸不影響媒體的選取。
“填充”屬性這個(gè)屬性通過(guò)以下值來(lái)擴(kuò)展a)“amil無(wú)縮放”表示指定區(qū)域中顯示的媒體根本沒(méi)有縮放-它在區(qū)域面積502內(nèi)居中。
b)“amil放大”表示特定區(qū)域中顯示的媒體只經(jīng)過(guò)放大而沒(méi)有縮小。這個(gè)值可應(yīng)用于特定媒體，從而放大的行為優(yōu)于縮小。
c)“amil縮小”表示特定區(qū)域中顯示的媒體只經(jīng)過(guò)縮小而沒(méi)有放大。
d)“amil替換”表示特定區(qū)域中顯示的媒體根本沒(méi)有縮放-但根據(jù)區(qū)域的尺寸以及考慮“當(dāng)前情況”來(lái)選取最適當(dāng)?shù)拿襟w。
a)“amil適配”表示基礎(chǔ)AMIL播放器決定什么是最佳方案。播放器具有最多知識(shí)，可確定什么是最佳決定。根據(jù)與媒體的縮放行為有關(guān)的元信息，更易于找到最佳方案。媒體對(duì)于“當(dāng)前情況”進(jìn)行“縮放”和“替換”。
3.AMIL媒體項(xiàng)模塊自適應(yīng)多媒體應(yīng)用必須以某種方式描述所有可能使用的媒體。由于客戶機(jī)端中間件進(jìn)行的適配決策，因此媒體可能由具有不同屬性的不同媒體來(lái)替換。
“媒體項(xiàng)模塊”108用作特定多媒體應(yīng)用中的所有可用媒體項(xiàng)304的描述700單元。媒體項(xiàng)304的內(nèi)容可以不同，取決于媒體項(xiàng)304本身的特征。一般來(lái)說(shuō)，可在以下兩類之間進(jìn)行區(qū)分-媒體項(xiàng)304描述離散媒體，它們具有通過(guò)使用屬性“src”來(lái)引用源或者提供內(nèi)容作為媒體項(xiàng)的內(nèi)容模型的一部分的可能性(例如可采用XHTML來(lái)進(jìn)行，如“XHTMLTM1.0可擴(kuò)展超文本標(biāo)記語(yǔ)言。XML 1.0中HTML 4的修訂”(W3C Recommendation，2000年1月26日，http://www.w3.org/TR/xhtml1/)中所述或者如“VoxML標(biāo)記語(yǔ)言”(The XML Cover Pages，http://www.oasis-open.org/cover/voxML.html)中所述)。
-媒體項(xiàng)304描述連續(xù)媒體項(xiàng)304必須通過(guò)使用屬性“src”來(lái)引用源。
與此特征無(wú)關(guān)，每個(gè)媒體項(xiàng)304可具有關(guān)于其自身的元信息作為其內(nèi)容模型的一部分。所支持的語(yǔ)言“資源描述框架”(RDF)，如“RDF模型和語(yǔ)法規(guī)范”(W3C Recommendation，1999年2月22日，http://www.w3.org/TR/REC-rdf-syntax/)中所述；或者“下一代會(huì)話描述協(xié)議”(SDPng)，如D.Kutscher等人的“會(huì)話描述及容量協(xié)商”(IETFInternet Draft，正在制訂中，Bormann University Bremen，2001年11月21日，<draft-ietf-mmusic-sdpng-03.txt>)中所述。
“媒體項(xiàng)”元素303“媒體項(xiàng)”元素303是“媒體項(xiàng)模塊108”的最外層元素。它在邏輯上用作AMIL文檔2402中使用的所有媒體項(xiàng)304的容器。
“id”屬性根據(jù)XML用作標(biāo)識(shí)符，用于引用整個(gè)“媒體項(xiàng)模塊”108。
“媒體項(xiàng)”元素304媒體項(xiàng)304是不同種類的媒體的抽象。在離散媒體項(xiàng)304與連續(xù)媒體項(xiàng)304(后者表示基于時(shí)間的媒體)之間進(jìn)行區(qū)分。作為元素“媒體項(xiàng)”303的子的元素“媒體項(xiàng)”304用來(lái)描述媒體項(xiàng)304的屬性/特性，例如內(nèi)容和元信息的位置。
“id”屬性根據(jù)XML用作標(biāo)識(shí)符，用于通過(guò)元素“媒體項(xiàng)”304引用媒體項(xiàng)304。標(biāo)識(shí)符“媒體項(xiàng)”用于a)媒體項(xiàng)模塊108，以及b)適配可能性描述模塊2900。
后者具有屬性“idref”，引用“媒體項(xiàng)模塊”108中的特定媒體項(xiàng)304。
“類型”屬性指定媒體的種類。屬性“類型”屬于類型“媒體項(xiàng)屬性-類型類型”308。
因此，屬性“類型”取下列值之一-“音頻”，用于音頻流，-“電影”，用于電影流，-“視頻”，用于一個(gè)音頻及任意個(gè)視頻流，-“文本”，用于文本文檔，-“幻燈片”，用于幻燈片呈現(xiàn)(例如每六秒提取影片的一幅圖片)，-“文本自動(dòng)收?qǐng)?bào)機(jī)”，(流或下載)，或者“amil-文檔”。
“src”屬性指定媒體項(xiàng)304的位置作為URI。
“區(qū)域”屬性如果媒體項(xiàng)304具有可視分量，則所述可視分量在引用區(qū)域502中顯示。區(qū)域502在布局模塊106中指定。
如圖25所示，媒體項(xiàng)304可具有多個(gè)區(qū)域，用于在不同區(qū)域502中顯示可視分量。
元素“媒體項(xiàng)”304的內(nèi)容模型元素“媒體項(xiàng)”304的內(nèi)容模型以這樣的方式定義它接受作為可擴(kuò)展超文本標(biāo)記語(yǔ)言(XHTML)、可縮放向量圖形(SVG)、下一代會(huì)話描述協(xié)議(SDPng)或資源描述框架(RDF)的文檔實(shí)例的文檔(或文檔段)。
元素“媒體項(xiàng)”304的內(nèi)容模型以這樣的方式定義它接受作為可擴(kuò)展超文本標(biāo)記語(yǔ)言(XHTML)、可縮放向量圖形(SVG)、下一代會(huì)話描述協(xié)議(SDPng)或資源描述框架(RDF)的文檔實(shí)例的文檔(或文檔段)。
4.交互模塊沒(méi)有任何交互機(jī)制的多媒體應(yīng)用對(duì)用戶來(lái)說(shuō)看上去象一個(gè)視頻流。因此，交互404是接受用戶并適應(yīng)其個(gè)人喜好及移動(dòng)裝置特性的一個(gè)相當(dāng)重要的機(jī)制。“交互模塊”110指定什么種類的控制元素用于應(yīng)用中以及它的位置和它的啟動(dòng)參數(shù)。
“專用接口工具集”元素402“專用接口工具集”元素402是交互模塊110的最外層元素。它在邏輯上用作AMIL文檔2402中使用的所有專用接口工具集元素404的容器。
“id”屬性根據(jù)XML用作標(biāo)識(shí)符，用于引用整個(gè)“專用接口工具集模塊”110。
“專用接口工具集”元素404“id”屬性根據(jù)XML用作標(biāo)識(shí)符，用于引用專用接口工具集404。
“類型”屬性根據(jù)類型的值，信息被傳遞給不同的處理器。
因此，屬性“類型”取值“類”。特定的類被下載及例示。對(duì)于其它任何值，搜索特定播放器，以及引用被傳遞給播放器。
“類”屬性如果特定專用接口工具集404屬于類型“類”，則這個(gè)屬性必須被指定，引用負(fù)責(zé)執(zhí)行交互任務(wù)的類。
“src”屬性如果特定專用接口工具集沒(méi)有被定義或者屬于類型“無(wú)類”，則這個(gè)屬性必須被指定，引用專用接口工具集的“src”。(例如，這可能是SVG文檔。)“區(qū)域”屬性502如果媒體項(xiàng)304具有可視分量，則這個(gè)可視分量被顯示在引用區(qū)域502中。因此，在布局模塊106中指定區(qū)域502。
如圖26所示，媒體項(xiàng)304可具有多個(gè)區(qū)域502，用于在不同區(qū)域502中顯示可視分量。
“param”元素406元素“param”406用來(lái)指定專用接口工具集404的初始參數(shù)。它象由表示為這個(gè)元素的屬性的鍵/值對(duì)所指定的特性(property)。
如果專用接口工具集404屬于類型“類”，則加載的類必須支持傳遞所有特性的構(gòu)造器。
“鍵”屬性指定特性的鍵。
“值”屬性指定特性的值。
5.適配模塊或適配描述模塊“適配描述模塊”109到目前為止是AMIL中最重要的模塊。它描述適配可能性1500。相比之下，上述模塊具有更多的“描述”特征。描述布局3702的外觀，各媒體項(xiàng)304的特性，交互404，等等。這個(gè)模塊通過(guò)引用其它模塊、尤其是“媒體項(xiàng)模塊”108和“交互模塊”110的元素來(lái)描述基本自適應(yīng)多媒體應(yīng)用。
“適配”元素2901“適配”元素2901是“適配描述模塊”109的最外層元素。它在邏輯上用作AMIL文檔2402中使用的適配描述2900的容器。
“id”屬性根據(jù)XML用作標(biāo)識(shí)符，用于引用整個(gè)適配可能性描述模塊。
“par”元素702作為并行的縮寫的“par”元素定義簡(jiǎn)易時(shí)間分組，其中多個(gè)元素必須同時(shí)重放。它用作容器，其中所有直接子元素同時(shí)開(kāi)始。
“seq”元素2904“seq”元素2904定義元素序列，其中元素一個(gè)接一個(gè)地播放?！皊eq”元素2904的子元素的同步基是前一個(gè)元素的活動(dòng)結(jié)束。前一個(gè)表示序列時(shí)間元素中在此元素之前出現(xiàn)的元素。對(duì)于序列的第一個(gè)子(即沒(méi)有在前的兄弟存在)，隱式同步基是序列時(shí)間元素的開(kāi)始。
“選擇”元素704選擇元素允許指定各種備選者。其中之一在重放多媒體呈現(xiàn)過(guò)程中根據(jù)環(huán)境的“當(dāng)前情況”來(lái)選擇。意味著在媒體被使用之前，根據(jù)環(huán)境波動(dòng)(資源消耗的變化)，每個(gè)媒體的特性被聚集一次，它在重放多媒體呈現(xiàn)過(guò)程中被連續(xù)監(jiān)測(cè)，從備選者中選取一個(gè)。
注意選擇元素選擇對(duì)于“當(dāng)前情況”為最佳的媒體項(xiàng)304-它不了解關(guān)于此內(nèi)容的任何情況、如當(dāng)前顯示哪個(gè)畫面。如果在特定的時(shí)間點(diǎn)“當(dāng)前情況”以這樣的方式改變---連續(xù)媒體項(xiàng)304由不同的連續(xù)媒體項(xiàng)304替換，則新的一個(gè)才根據(jù)媒體項(xiàng)的“開(kāi)始模式”屬性開(kāi)始。
實(shí)例<choose>
<mediaitem idref＝″media_A_high_quality″>
<mediaitem idref＝″media_A_middle_quality″>
<mediaitem idref＝”media_A_low_quality″>
</choose>
如圖30所示，假定開(kāi)始時(shí)的資源情況相當(dāng)良好，允許以高質(zhì)量媒體“A(hq)”開(kāi)始。當(dāng)重放時(shí)，資源條件下降，以及呈現(xiàn)必須改為具有中等質(zhì)量的媒體“A(mq)”。由于資源情況進(jìn)一步劇烈下降的事實(shí)，因此系統(tǒng)改為使用具有最低資源消耗的媒體“A(lq)”。一段時(shí)間后，資源情況改善，這再次引起呈現(xiàn)“媒體A(hq)”。在缺省情況下，該過(guò)程在第一媒體完成時(shí)即終止。
若干元素“選擇”704如上所述，選擇語(yǔ)句允許指定不同的備選者。如果只考慮了一個(gè)“選擇”元素704，則那是相當(dāng)清楚的。但是，在更一般的情況下，適配描述2900由若干并行“選擇”元素704組成<par>
<choose>
<mediaitem idref＝″m1″>
<mediaitem idref＝″m2″>
</choose>
<choose>
<mediaitem idref＝″m3″>
<mediaitem idref＝″m4″>
</choose>
</par>
因此，所附元素“par”702在邏輯上用作“AND(與)”表達(dá)式。此外，“選擇”元素704中的各元素在邏輯上由“OR(或)”表達(dá)式表示。這產(chǎn)生布爾表達(dá)式(m1 OR m2)和(m3 OR m4)，它們可由析取范式(DNF)來(lái)表示(m1 AND m3)OR(m1 AND m4)OR(m2 AND m3)OR(m2 AND m4)。
根據(jù)不斷測(cè)量的當(dāng)前資源消耗，(m1，m3)、(m1，m4)、(m2，m3)或(m2，m4)中的一個(gè)備選者被選取并重放。
圖9說(shuō)明從上述適配描述2900實(shí)例中產(chǎn)生的適配可能性1500。應(yīng)當(dāng)指出，這個(gè)表只示出一個(gè)特性，實(shí)際上，各種特性可與一個(gè)適配可能性1500關(guān)聯(lián)。
適配描述模塊2900為“選擇”元素提供用于修改其缺省行為的不同屬性。下面進(jìn)行論述。
“開(kāi)始模式”屬性這個(gè)屬性指定在哪個(gè)播放時(shí)間在適配已經(jīng)進(jìn)行之后開(kāi)始特定媒體、尤其是連續(xù)媒體。一般在媒體時(shí)間軸與所附選擇元素的時(shí)間軸之間進(jìn)行區(qū)分。下面通過(guò)以下實(shí)例說(shuō)明不同值的語(yǔ)義<choose startmode＝″attributevalue″>
<mediaitem idref＝″A″>
<！--連續(xù)媒體項(xiàng)-->
<mediaitem idref＝″B″>
<！--連續(xù)媒體項(xiàng)-->
<mediaitem idref＝″C″>
<！--離散媒體項(xiàng)-->
</choose>
因此，“A”和“B”引用的媒體項(xiàng)304假定為連續(xù)媒體項(xiàng)，“C”假定為類似圖像的離散媒體項(xiàng)。
在圖31至34中-A(tx)表示使用特定媒體項(xiàng)304的時(shí)間軸。
-A(t)表示使用所附選擇元素的時(shí)間軸。
‘A’表示特定媒體項(xiàng)304為離散媒體項(xiàng)，它沒(méi)有時(shí)間軸。
重新開(kāi)始指明媒體項(xiàng)304應(yīng)當(dāng)始終從頭開(kāi)始(參照?qǐng)D31)。
恢復(fù)(缺省)指明媒體項(xiàng)304應(yīng)當(dāng)始終從停止的位置開(kāi)始(參照?qǐng)D32a)。
上次停止指明媒體項(xiàng)304應(yīng)當(dāng)始終在相同的選擇元素中包含的上一個(gè)連續(xù)媒體項(xiàng)304停止的媒體時(shí)間處開(kāi)始(參照?qǐng)D32b)。
播放時(shí)間指明媒體項(xiàng)304應(yīng)當(dāng)始終在作為自元素“選擇”704開(kāi)始以來(lái)、元素“選擇”704中包含的所有媒體項(xiàng)304的組合播放時(shí)間的時(shí)間處開(kāi)始(參照?qǐng)D33)。
連續(xù)播放時(shí)間指明媒體項(xiàng)304應(yīng)當(dāng)始終在作為自元素“選擇”704開(kāi)始以來(lái)、元素“選擇”704中包含的所有連續(xù)媒體項(xiàng)304的組合播放時(shí)間的時(shí)間處開(kāi)始(參照?qǐng)D34)。
“開(kāi)始時(shí)間”屬性指定媒體開(kāi)始的時(shí)間點(diǎn)。缺省情況下，媒體從頭開(kāi)始(參見(jiàn)以上“開(kāi)始模式”屬性)。這個(gè)行為可采用屬性“開(kāi)始時(shí)間”來(lái)修改。屬性的值由一個(gè)數(shù)字組成，并解釋為秒。
例如，以下代碼段說(shuō)明各媒體項(xiàng)304不是從頭開(kāi)始，而是在五秒之后開(kāi)始。
<choose startmode＝″attributevalue″starttime＝″5s″>
<mediaitem idref＝″A″><！--連續(xù)媒體項(xiàng)-->
<mediaitem idref＝″B″><！--連續(xù)媒體項(xiàng)-->
<mediaitem idref＝″C″><！--離散媒體項(xiàng)-->
</choose>
應(yīng)當(dāng)指出，這個(gè)屬性只有當(dāng)存在“開(kāi)始模式”屬性并且其值為“重新開(kāi)始”時(shí)才被考慮。這個(gè)約束802無(wú)法在XML模式中表達(dá)。
“onremove”屬性這個(gè)屬性指定在連續(xù)媒體項(xiàng)304重放時(shí)發(fā)生的情況。對(duì)于這種媒體項(xiàng)的生命周期，媒體項(xiàng)304被啟動(dòng)、重放，重放的時(shí)間可能不同于影片的長(zhǎng)度，并在媒體結(jié)束時(shí)停止。這產(chǎn)生“停止”或“破壞”所有適配可能性1500，或者只是“取消”此特定媒體項(xiàng)304。如果“選擇”元素704沒(méi)有包含任何連續(xù)媒體項(xiàng)304，則該屬性值被忽略。
破壞指明當(dāng)子被取消時(shí)，整個(gè)選擇應(yīng)當(dāng)被取消。
取消(缺省)指明到達(dá)其播放時(shí)間結(jié)尾的子被取消。該選擇只有在這是選擇中最后一個(gè)剩余的子時(shí)才被取消。
“循環(huán)”屬性指明媒體項(xiàng) 304(如果它們是連續(xù)的)在媒體結(jié)束時(shí)應(yīng)當(dāng)從頭開(kāi)始。
真指明在媒體結(jié)束時(shí)從頭播放媒體。
假(缺省) 指明不再播放媒體。
“評(píng)估”屬性指定元素“選擇”704是在啟動(dòng)時(shí)評(píng)估一次，在特定時(shí)間周期重復(fù)地評(píng)估，還是在重放多媒體呈現(xiàn)時(shí)連續(xù)評(píng)估。
啟動(dòng) 指明選擇元素根據(jù)啟動(dòng)時(shí)的適應(yīng)性參數(shù)評(píng)估一次。
10s(10秒)指明選擇元素根據(jù)當(dāng)時(shí)的適應(yīng)性參數(shù)每隔指定的時(shí)間周期進(jìn)行評(píng)估。
con(缺省)指明如果超過(guò)描述當(dāng)前情況的一部分的參數(shù)的指定門限，則評(píng)估元素“選擇”704。這意味著在當(dāng)前情況變化時(shí)將發(fā)生適配。
“優(yōu)先級(jí)1400”屬性指定“選擇”的優(yōu)先級(jí)1400。
“空”屬性缺省情況下，元素“選擇”704允許指定不同的備選者。它們中的一個(gè)在重放多媒體呈現(xiàn)過(guò)程中被選取。如果屬性空設(shè)置為“真”，則根據(jù)當(dāng)前情況，可能沒(méi)有從選擇元素中選取任何媒體。
<choose empty＝″true″>
<mediaitem idref＝″m1″>
<mediaitem idref＝″m2″>
</choose>
(在特定時(shí)間點(diǎn)“m1”或“m2”或者不是在這兩者處引起重放。)真 指明沒(méi)有從適配可能性1500中選取任何媒體的備選者是有效的。
假(缺省)指明必須從所述適配可能性1500中選取一個(gè)媒體。
“媒體項(xiàng)”元素304元素“媒體項(xiàng)”元素304指定從媒體項(xiàng)模塊108所使用的媒體，它意味著適配描述模塊2900中的媒體項(xiàng)304只是占位符。在媒體項(xiàng)模塊108中描述連續(xù)媒體的特點(diǎn)以及在某種程度上描述離散媒體的內(nèi)容。由于媒體項(xiàng)模塊108與適配描述模塊109之間的區(qū)別，適配的描述700相當(dāng)容易。
“優(yōu)先級(jí)”屬性指定“媒體項(xiàng)”元素的優(yōu)先級(jí)1400。
“idref”屬性屬性“idref”屬于類型“IDREF”，如Tim Bray(Textuality andNetscape)、Jean Paoli(Microsoft)、C.M.Sperberg-McQueen(university ofIllinois，Chicago)以及Eve Maler(Sun Microsystems，Inc.)的“可擴(kuò)展標(biāo)記語(yǔ)言(XML)1.0”(第二版，http://www.w3.org/TR/REC-xml)中所述，引用“媒體項(xiàng)模塊”108的特定“媒體項(xiàng)”部分。鏈接實(shí)現(xiàn)了相關(guān)性“鏈接媒體項(xiàng)”。
“開(kāi)始時(shí)間”屬性指定媒體開(kāi)始的時(shí)間點(diǎn)。缺省情況下，媒體從頭開(kāi)始(參見(jiàn)以上“開(kāi)始模式”屬性)。這個(gè)行為可采用屬性“開(kāi)始時(shí)間”來(lái)修改。屬性的值由一個(gè)數(shù)字組成，并解釋為秒。
例如，以下代碼段說(shuō)明媒體項(xiàng)304不是從頭開(kāi)始而是在五秒之后開(kāi)始。
<mediaitem idref＝″A″starttime＝″5s″>
應(yīng)當(dāng)指出，這個(gè)屬性覆蓋來(lái)自元素“選擇”704的屬性“開(kāi)始時(shí)間”。它只在以下兩種情況中才被考慮1.如果媒體項(xiàng)304為“選擇”元素704的一部分，以及屬性“開(kāi)始模式”在這里被指定并具有值“重新開(kāi)始”，2.如果媒體項(xiàng)304不是“選擇”元素704的一部分。
在后一種情況下，該值指定媒體項(xiàng)304的初始開(kāi)始時(shí)間。
下面根據(jù)本發(fā)明的一個(gè)實(shí)施例，將SMIL中使用的“開(kāi)關(guān)”元素與AMIL的“選擇”元素704進(jìn)行比較。
a)從語(yǔ)義的角度SMIL中的選擇元素允許“作者指定一組備選元素，從其中應(yīng)當(dāng)只選取一個(gè)可接受的元素”。如果某個(gè)元素為SMIL元素，媒體類型可被解碼，以及元素的各測(cè)試屬性得到“真”，則該元素是可接受的。按照以下方式選取元素播放器以這些元素在開(kāi)關(guān)元素中出現(xiàn)的順序?qū)λ鼈冞M(jìn)行評(píng)估。在排除了開(kāi)關(guān)內(nèi)的其它所有元素之后，選取第一個(gè)可接受的元素。
這與“適配描述模塊”109中使用的元素“選擇”704的語(yǔ)義不同。如上所述，元素“選擇”704的所有可能的媒體被評(píng)估，這意味著媒體的特性(例如帶寬、持續(xù)時(shí)間等)被評(píng)估及存儲(chǔ)在內(nèi)部數(shù)據(jù)結(jié)構(gòu)中-參見(jiàn)S.Wirag、R.Steinmetz和L.C.Wolf(編者)在“自適應(yīng)多媒體文檔的建?！敝械摹芭渲昧斜怼钡拿枋?交互分布式多媒體系統(tǒng)及電信服務(wù)；4th International Workshop，IDMS’97，Darmstadt，Germany，1997年9月，第420-429頁(yè))。在啟動(dòng)時(shí)以及如果“當(dāng)前情況”變化，則適配描述2900被評(píng)估，以及對(duì)于“當(dāng)前情況”選取和重放最適當(dāng)?shù)倪m配可能性1500。
b)從SMIL文檔作者的角度在SMIL中，作者描述哪個(gè)媒體用于哪種條件中。條件(采用屬性“測(cè)試”描述的邏輯表達(dá)式)為SMIL中各媒體元素的固定部分。在啟動(dòng)時(shí)間期間，SMIL播放器依次評(píng)估各媒體元素的條件。如果條件可被滿足，則選取該媒體用于重放。
注意a)作者指定考慮哪種資源(例如帶寬、屏幕大小等)。
b)作者指定元素的條件被評(píng)估的順序。
c)如SMIL中所用的當(dāng)前情況通過(guò)條件中所用的特性來(lái)描述。
d)SMIL標(biāo)準(zhǔn)不要求在“當(dāng)前情況”變化時(shí)重新評(píng)估元素“開(kāi)關(guān)”。
e)SMIL的焦點(diǎn)在于運(yùn)行于靜態(tài)環(huán)境中的應(yīng)用。應(yīng)用在啟動(dòng)時(shí)被適配一次。
在SMIL中，特性描述一個(gè)或一組媒體項(xiàng)304必須選取的情況。在“適配描述模塊”109中，特性描述媒體項(xiàng)304的屬性，以及“AMIL播放器”采用這個(gè)信息來(lái)找出哪一組媒體項(xiàng)304用于實(shí)際情況。(實(shí)例如果可用帶寬低于1兆比特/秒，則使用兩個(gè)媒體項(xiàng)304 A和B。A需要300千比特/秒以及B需要400千比特/秒。)在SMIL中，作者必須在創(chuàng)作時(shí)手動(dòng)創(chuàng)建從媒體屬性到情況的映射。在“適配描述模塊”109中，這種映射留給瀏覽器處理，它顯著地簡(jiǎn)化了創(chuàng)作過(guò)程，尤其是由于媒體項(xiàng)特性往往可自動(dòng)創(chuàng)建，因此把元數(shù)據(jù)用于媒體或者通過(guò)檢查媒體文件。
在AMIL中，“AMIL播放器”聚集關(guān)于“當(dāng)前情況”和媒體的信息，它是適配描述2900的一部分。根據(jù)連續(xù)監(jiān)測(cè)的“當(dāng)前情況”，特定“適配可能性”1500被選取并用于重放，直到“當(dāng)前情況”變化，以及選取新的“適配可能性”1500。作者可提供提示以表達(dá)作者的偏好，它可影響關(guān)于哪個(gè)適配可能性1500用于重放的決策。在AMIL中，選取哪個(gè)媒體的決策由適配控制單元來(lái)確定，但是，文檔的作者可通過(guò)使用“適配可能性模塊”109的元素支持的屬性-例如元素“開(kāi)關(guān)”和“媒體項(xiàng)”304的優(yōu)先級(jí)屬性2810-來(lái)影響適配控制過(guò)程。
c)從適配的角度如果“當(dāng)前情況”變化，則完成適配，這意味著媒體被替換。在SMIL中沒(méi)有描述如何進(jìn)行這種操作的確切行為。AMIL采用不同屬性來(lái)支持文檔的作者，例如用于指定在影片結(jié)束時(shí)從一個(gè)媒體到另一個(gè)媒體的轉(zhuǎn)換、重新開(kāi)始及循環(huán)功能等的“開(kāi)始模式”。
優(yōu)先級(jí)屬性屬性“優(yōu)先級(jí)”2810通過(guò)元素“選擇”704和“媒體項(xiàng)”304得到支持，并實(shí)現(xiàn)適配可能性1500的加權(quán)。為了理解優(yōu)先級(jí)1400的思路，應(yīng)當(dāng)記住適配可能性1500的概念。
根據(jù)上述“適配可能性描述”，計(jì)算不同的適配可能性1500。當(dāng)重放時(shí)，選取匹配“當(dāng)前情況”的適當(dāng)適配可能性1500。此后，從這組適當(dāng)適配可能性1500中選取具有最高優(yōu)先級(jí)1400的適配可能性1500。
圖23所示的第一活動(dòng)圖表明，如果“當(dāng)前情況”已經(jīng)改變，則從所有可用適配可能性1500中濾出匹配“當(dāng)前情況”的集合。從這個(gè)集合中，選取具有最高優(yōu)先級(jí)1400的適配可能性1500。如果最終留下不止一個(gè)適配可能性1500，則或者選取具有較低資源消耗的那一個(gè)或者隨機(jī)進(jìn)行選擇。
優(yōu)先級(jí)1400的評(píng)估根據(jù)所有適配可能性1500的計(jì)算來(lái)進(jìn)行。圖15表示從圖13所示的適配可能性1500描述700中導(dǎo)出的適配可能性1500，以下有時(shí)縮寫為“AP”。適配可能性(AP)的計(jì)算方式是“選擇”元素704被視作“OR”運(yùn)算符，以及“par”元素702視作“AND”運(yùn)算符。這產(chǎn)生以下“布爾”表達(dá)式(M4 AND M2)OR(M4 AND M1)OR(M3 AND M2)OR(M3 AND M1)。
因此，一個(gè)“AND”表達(dá)式(例如M4 AND M2)(又稱作適配可能性1500)的選擇基于“當(dāng)前情況”。
適配可能性1500的相關(guān)優(yōu)先級(jí)1400的評(píng)估按照以下方式進(jìn)行1.“par”元素702的所有子根據(jù)其優(yōu)先級(jí)1400來(lái)排序。
2.前兩個(gè)子元素的配置被合并(通過(guò)AND運(yùn)算符)。所得配置的優(yōu)先級(jí)1400由附加到較低優(yōu)先級(jí)的子的優(yōu)先級(jí)1400的較高優(yōu)先級(jí)的子的優(yōu)先級(jí)1400來(lái)構(gòu)成。(從而字符“-”用作分隔符。)3.該結(jié)果反復(fù)與“par”元素702的其它所有子合并。優(yōu)先級(jí)1400始終按照步驟2進(jìn)行處理。
4.類型“選擇”的元素704不執(zhí)行任何優(yōu)先級(jí)計(jì)算。元素“選擇”704表示“OR”運(yùn)算，其中，來(lái)自子元素的結(jié)果只是被組合而沒(méi)有修改-包括優(yōu)先級(jí)1400。
最后的結(jié)果是具有從這個(gè)可能適配的所用媒體的優(yōu)先級(jí)1400計(jì)算的屬性優(yōu)先級(jí)1400的可能適配的列表。
元素之間的鏈接本文中所用的術(shù)語(yǔ)“鏈接”描述一個(gè)AMIL文檔2402中的不同元素的連接-與各種萬(wàn)維網(wǎng)資源(在不同文檔中)鏈接在一起的一般含義不同。鏈接由圖27所示的其“源錨”2702及其“目標(biāo)錨”2704來(lái)描述。錨的源2702通過(guò)使用XML屬性“id”來(lái)描述-錨的目標(biāo)2704由XML屬性“idref”來(lái)描述。兩種屬性在XML文檔的剖析過(guò)程中被驗(yàn)證(沒(méi)有使用XML模式)。
圖5說(shuō)明各種模塊之間的關(guān)聯(lián)。鏈接相當(dāng)重要，因?yàn)樾畔⒈旧矸植荚诓煌K上?！斑m配描述模塊”只描述適配可能性1500-媒體本身則在“媒體項(xiàng)模塊”108中描述，交互404在“交互模塊”110中描述，以及整體布局3702在“布局模塊”106中描述。所述模塊實(shí)現(xiàn)信息的分割，它允許對(duì)例如布局3702的修改而不接觸來(lái)自“媒體項(xiàng)模塊”108或“交互模塊”110的任何東西-只要所有被鏈接的區(qū)域仍然可用。
圖9描繪關(guān)聯(lián)的名稱以及它們用來(lái)描述AMIL模塊之間的鏈接1600的模塊。
圖16示出一個(gè)示范實(shí)例文檔。為了該例子，文檔保持為相當(dāng)簡(jiǎn)單。因此，適配描述2900簡(jiǎn)化到一個(gè)媒體項(xiàng)304，該媒體項(xiàng)304的特性在“媒體項(xiàng)模塊”108中描述并借助于屬性“idref”來(lái)鏈接。兩種元素、即“媒體項(xiàng)模塊”108的媒體項(xiàng)304和“交互模塊”110的專用接口工具集404表示顯示它們的“布局模塊”106的元素區(qū)域502。圖6表示這種多媒體呈現(xiàn)的外觀。
再用的粒度由于多媒體呈現(xiàn)的創(chuàng)作是相當(dāng)費(fèi)時(shí)且成本高的任務(wù)，因此為了效率和經(jīng)濟(jì)原因，已經(jīng)注意到再用自適應(yīng)多媒體應(yīng)用。但是，這必須經(jīng)過(guò)相當(dāng)仔細(xì)的考慮。首先，文檔是對(duì)各請(qǐng)求動(dòng)態(tài)產(chǎn)生的。因此，很難引用不是靜態(tài)可用的文檔的一部分。
此外，在使用保存在例如文件系統(tǒng)中的靜態(tài)AMIL文檔2402時(shí)沒(méi)有限制。為此，引入稱作“amil-文檔”的另一個(gè)媒體類型。類型“amil-文檔”的媒體項(xiàng)304在其指定區(qū)域中呈現(xiàn)。
圖17表示自適應(yīng)多媒體呈現(xiàn)如何可用作另一個(gè)的一部分。因此，多媒體應(yīng)用“呈現(xiàn)-B.amil”作為媒體項(xiàng)304從另一個(gè)在“呈現(xiàn)-A.amil”中描述的多媒體應(yīng)用中被調(diào)用。
AMIL名稱空間名稱空間(參見(jiàn)萬(wàn)維網(wǎng)聯(lián)盟“XML中的名稱空間”，1999年1月14日，http://www.w3.org/TR/REC-xml-names/)在XML領(lǐng)域中區(qū)分不同詞匯表是相當(dāng)普遍的。AMIL采用URI“www.sony.de/amil”查閱詞匯表的最新版本。圖40表示完整的AMIL文檔2402，其中，在整個(gè)文檔中明確地使用名稱空間。
AMIL文檔對(duì)象模型(AMIL DOM)在本發(fā)明的范圍內(nèi)，已經(jīng)引入AMIL文檔對(duì)象模型(AMIL DOM)來(lái)描述抽象文檔模型結(jié)構(gòu)中的AMIL文檔2402。它支持對(duì)AMIL文檔2402的內(nèi)容和結(jié)構(gòu)的動(dòng)態(tài)存取和更新。該文檔可經(jīng)過(guò)進(jìn)一步處理，以及處理的結(jié)果可重新結(jié)合到所提供的文檔中。AMIL DOM相當(dāng)簡(jiǎn)單。實(shí)際上，它是對(duì)W3C建議的DOM的擴(kuò)展。類似于“XHTML 306bDOM”和“WML DOM”，“AMIL DOM”只是通過(guò)AMIL相關(guān)詞匯表來(lái)擴(kuò)充基本W(wǎng)3C DOM。
在對(duì)現(xiàn)有技術(shù)文檔對(duì)象模型的擴(kuò)展中，AMIL DOM支持簡(jiǎn)化事務(wù)模型。這允許對(duì)AMIL DOM進(jìn)行一組邏輯分組處理，它引起對(duì)自適應(yīng)文檔的事務(wù)修改的支持。例如，“適配描述相關(guān)”元素“選擇”704的替換必須作為原子變化來(lái)進(jìn)行，它引起對(duì)所有適配可能性1500的重新計(jì)算。如果那不是以原子方式進(jìn)行，則修改可能是相當(dāng)關(guān)鍵的步驟，它產(chǎn)生不一致?tīng)顟B(tài)。
如圖28和圖35所示，除現(xiàn)有技術(shù)的原語(yǔ)之外，AMIL DOM通過(guò)采用“提交”原語(yǔ)增強(qiáng)接口“文檔”2806來(lái)支持用于進(jìn)行簡(jiǎn)易的面向事務(wù)的處理的原語(yǔ)。應(yīng)當(dāng)指出，這些修改在觸發(fā)“提交”原語(yǔ)之前沒(méi)有被傳遞給中間件。
在已經(jīng)創(chuàng)建AMIL文檔2402的內(nèi)部呈現(xiàn)之后，它能夠適應(yīng)“當(dāng)前情況”的變化，例如用戶交互404或者用戶的位置變化。這些修改在它們被提交之前不會(huì)變?yōu)榭梢?jiàn)的。這個(gè)事實(shí)如圖36所示。右側(cè)的圖解說(shuō)明布局3702在已經(jīng)修改文檔之后如何可改變。
以下部分介紹能夠可選地用于適配過(guò)程的更詳細(xì)描述700的模塊。它們不是必不可少的，這意味著AMIL文檔2402沒(méi)有這些模塊時(shí)在語(yǔ)義上也是有效的。
1.事件模塊“事件”3802是從任何傳感器到AMIL瀏覽器的信號(hào)，表明“當(dāng)前情況”已經(jīng)改變。如介紹中所述，“當(dāng)前情況”分類為三個(gè)不同方面網(wǎng)絡(luò)QoS、移動(dòng)裝置能力以及用戶上下文。在這種情況下，AMIL文檔2402在請(qǐng)求時(shí)根據(jù)“當(dāng)前情況”動(dòng)態(tài)生成。此后，如S.Wirag、R.Steinmetz和L.C.Wolf(編者)的文章“可適應(yīng)多媒體文檔的建?！?交互分布式多媒體系統(tǒng)及電信業(yè)務(wù)；4th International Workshop，IDMS’97，Darmstadt，Germany，1997年9月，第420-429頁(yè))中所述的支持中間件控制AMIL文檔2402中指定的媒體的適配過(guò)程-但AMIL文檔2402保持相當(dāng)靜態(tài)。通過(guò)引入AMIL“事件模型”118，“當(dāng)前情況”的變化會(huì)以不同方式影響文檔a)鏈接結(jié)構(gòu)的修改AMIL文檔2402包括詞匯表、分級(jí)結(jié)構(gòu)(它定義元素內(nèi)嵌的方式)以及非分級(jí)結(jié)構(gòu)(它描述元素鏈接的方式)?！爱?dāng)前情況”的變化可引起對(duì)鏈接結(jié)構(gòu)的修改。因此，關(guān)聯(lián)“鏈接媒體項(xiàng)與布局”和“鏈接專用接口工具集與布局”被改變(參照?qǐng)D37)。
b)整個(gè)文檔結(jié)構(gòu)的修改這產(chǎn)生更新的或完全不同的AMIL文檔2402。
圖38表示某些類型的可能的事件3802。詳細(xì)地說(shuō)，描述“當(dāng)前情況”的一部分的各參數(shù)可作為事件3802建模。圖24表示事件3802對(duì)AMIL文檔的特定實(shí)例的影響。在情況a)中，文檔的內(nèi)部鏈接結(jié)構(gòu)被改變，在情況b)中，基本分級(jí)文檔結(jié)構(gòu)和內(nèi)部鏈接1600被改變；這可能產(chǎn)生更新的或完全不同的文檔。
圖18表示條件語(yǔ)句，它可能是動(dòng)作元素的一部分。函數(shù)“diff”是一個(gè)擴(kuò)展，它用來(lái)描述，如果“當(dāng)前位置”與點(diǎn)(“47，11”、“9，34”)(它們分別表示經(jīng)度和緯度)的位置之間的差異小于500米，則測(cè)試元素的內(nèi)容應(yīng)當(dāng)被評(píng)估。
AMIL支持的事件模塊118允許對(duì)“當(dāng)前情況”的變化采取動(dòng)作。模塊本身是可選的，并且不必受到支持。
“適配事件”元素“適配事件”元素是適配事件模塊118的最外層元素。它在邏輯上用作AMIL文檔2402中使用的適配事件描述700的容器。
“id”屬性根據(jù)XML用作標(biāo)識(shí)符，用于引用整個(gè)適配可能性描述模塊。
“收聽(tīng)者”元素3906“收聽(tīng)者”元素實(shí)現(xiàn)事件3802與特定動(dòng)作的綁定，它是收聽(tīng)者具有的唯一子。
“類型”屬性屬性“類型”指定收聽(tīng)者3906要收聽(tīng)哪個(gè)事件3802。它只是一個(gè)標(biāo)識(shí)符，反映特定傳感器的特性已經(jīng)改變。沒(méi)有與事件3802關(guān)聯(lián)的任何附加信息可用。
注意a)所支持事件3802的集合在XML模式“事件類型”中描述為列舉。這不應(yīng)擔(dān)心定義附加事件3802類型?！笆录愋汀痹赬ML模式中定義，以及能夠以域相關(guān)方式進(jìn)行擴(kuò)展。
b)(名稱空間相關(guān))屬性值必須符合以下模式“傳感器”∷“事件名稱”因此，傳感器指定事件3802的源，以及名稱指定事件3802的種類。要求該模式，以及驗(yàn)證過(guò)程檢查此規(guī)則。
“動(dòng)作”元素3910“動(dòng)作”元素3910描述作為事件3802的結(jié)果的活動(dòng)。元素的內(nèi)容由“條件”和“動(dòng)作”語(yǔ)句(例如“鏈接”語(yǔ)句)組成。由于用于表達(dá)條件語(yǔ)句的詞匯表在XSLT中已經(jīng)可用，因此它被采用并結(jié)合到事件模塊118中。這意味著應(yīng)用于文檔的語(yǔ)句(例如“鏈接”語(yǔ)句)可在條件語(yǔ)句中用來(lái)更詳細(xì)地考慮“當(dāng)前情況”的變化或者直接進(jìn)行。圖19表示采用XSLT的條件語(yǔ)句的適配事件描述1900/2000的示范文檔段。圖20說(shuō)明沒(méi)有使用XSLT的條件語(yǔ)句描述動(dòng)作的文檔段。
“鏈接”元素3914“鏈接”元素3914改變文檔的鏈接結(jié)構(gòu)。它替換屬性“元素”中所述的鏈接。
注意這個(gè)屬性屬于類型“IDREF”，這意味著它們的存在是在讀取AMIL文檔2402的過(guò)程中驗(yàn)證的。
“元素”屬性通過(guò)其唯一的“id”來(lái)指定元素，它具有要修改的鏈接。
“源”元素3916
“源”元素3916指定鏈接的源。
“ref”屬性它指定屬性的名稱，其值必須修改。此屬性本身是鏈接的源。
“目標(biāo)”元素3918“目標(biāo)”元素3918指定鏈接的新目標(biāo)。
“ref”屬性它指定新的鏈接目標(biāo)。
實(shí)例在以下代碼段中，如果通過(guò)屬性“id”唯一尋址的媒體項(xiàng)304與通過(guò)屬性“id”唯一尋址的區(qū)域502之間的鏈接<region id＝″regionA″.../>
<region id＝″regionB″.../>
<mediaitem id＝″mediaitemA″region＝″regionA″>
應(yīng)當(dāng)修改，則“源”元素3916和“目標(biāo)”元素3918必須寫為如下形式<link element＝″mediaitem″>
<source ref＝″region″502/>
<target ref＝″regionB″>
</link>
這使得媒體項(xiàng)的可視分量采用“區(qū)域B”代替“區(qū)域A”。媒體的可視分量的確切行為取決于該區(qū)域的屬性“fit”。
2.約束模塊約束模塊116允許將附加約束802添加到適配描述元素，以便影響(在大部分情況下是減少)可能的適配備選者2100的集合。當(dāng)約束802被應(yīng)用時(shí)，例如能夠消除需要比相應(yīng)約束802指定的更高的“比特率”的所有適配備選者2100(每個(gè)由不同的媒體項(xiàng)304組成)。
因此，它可用來(lái)允許這類約束還用于“媒體項(xiàng)”元素304，而不管在這一級(jí)不存在任何備選者的事實(shí)。這是因?yàn)槊襟w項(xiàng)304可以能夠在不同媒體配置中運(yùn)行。媒體項(xiàng)304可顯示不同的媒體配置，這些配置可在播放媒體項(xiàng)304時(shí)動(dòng)態(tài)選取。各媒體配置可產(chǎn)生不同的媒體特性，如不同的質(zhì)量、資源要求或錯(cuò)誤健壯性。這類媒體項(xiàng)304的實(shí)例是采用分層編解碼器的視頻流，其編碼參數(shù)可受到可動(dòng)態(tài)應(yīng)用前向糾錯(cuò)(FEC)算法的接收機(jī)側(cè)或媒體項(xiàng)304的影響的實(shí)況流。當(dāng)使用約束802時(shí)，作者具有排除不想要的媒體配置的可能性。
重要的是理解應(yīng)用于媒體項(xiàng)304的約束802與另一個(gè)適配描述元素之間的語(yǔ)義差異。當(dāng)應(yīng)用于媒體項(xiàng)304時(shí)，它限制可能的媒體項(xiàng)配置。當(dāng)應(yīng)用于適配描述元素(例如，象“選擇”704)，它應(yīng)用于那個(gè)元素(各由一組媒體項(xiàng)304組成)的所有可能的適配可能性1500。在圖21所示的AMIL代碼中，最外層“par”具有至少四個(gè)適配備選者2100(m1AND M3，m1 AND m4，m2 AND m3，m2 AND m4)。如果媒體項(xiàng)304允許不同的媒體配置，則此列表還被擴(kuò)展為在一個(gè)媒體項(xiàng)304或者一個(gè)媒體配置中不同的兩個(gè)備選者。
應(yīng)用于這個(gè)“par”元素702的約束802可消除這些備選者中的一個(gè)或多個(gè)。例如，約束“比特率＜500千比特/秒”將消除其媒體項(xiàng)組合比特率更高的所有備選者。
作者必須注意，約束802是一致的，并且不導(dǎo)致所有適配備選者2100被消除的情況。
在以下部分，將介紹AMIL語(yǔ)言所支持的“約束模塊”800。
“約束”元素801“約束”元素801是約束模塊的最外層元素。它在邏輯上用作AMIL文檔2402中使用的所有“約束”元素801的容器。
“id”屬性根據(jù)XML用作標(biāo)識(shí)符，用于引用整個(gè)“約束模塊”800。
“約束”元素802“約束”元素802是若干“限制”元素804、“適配觸發(fā)”元素806和/或“適配頻率”元素808的容器。它可由希望應(yīng)用所定義的約束802的其它元素引用。
“id”屬性根據(jù)XML用作標(biāo)識(shí)符，用于引用整個(gè)“約束”802。
“限制”元素804“限制”元素804用于描述由約束802施加的實(shí)際限制。
“值”屬性“值”屬性包含實(shí)際限制的文本描述700。第一個(gè)值由不同條件組成。條件本身由“限制標(biāo)識(shí)符”之后跟隨比較運(yùn)算符、之后再跟隨一個(gè)值加可選的單位組成(實(shí)例“帶寬＜500千比特/秒)?？刹捎谩癆ND”運(yùn)算符或“OR”運(yùn)算符來(lái)組合條件。限制標(biāo)識(shí)符確定可能的比較運(yùn)算符、取值范圍和單位。圖11說(shuō)明所支持的限制標(biāo)識(shí)符。
在屬性值中而不在若干XML元素或?qū)傩灾芯哂羞@個(gè)數(shù)據(jù)的優(yōu)點(diǎn)在于，附加限制標(biāo)識(shí)符可在以后添加，而不需要改變AMIL語(yǔ)法。
“適配觸發(fā)”元素806“適配觸發(fā)”元素806用于描述其中媒體項(xiàng)304被認(rèn)為有問(wèn)題以及因此應(yīng)當(dāng)在條件變?yōu)檎鏁r(shí)執(zhí)行適配的條件。
重要的是要注意“限制”804與“適配觸發(fā)”806之間的差異?！跋拗啤?04限制可能的適配備選者2100的數(shù)量，而“適配觸發(fā)”則定義在媒體項(xiàng)304的播放時(shí)不應(yīng)出現(xiàn)的條件。
“值”屬性值屬性包含實(shí)際適配觸發(fā)的文本描述700。其值始終為不同條件組成的字符串。條件由條件標(biāo)識(shí)符之后跟隨比較運(yùn)算符、之后再跟隨值加可選單位構(gòu)成(實(shí)例“幀速率＜15幀/秒”)?？刹捎谩癆ND”運(yùn)算符或“OR”運(yùn)算符來(lái)組合條件。標(biāo)識(shí)符確定可能的比較運(yùn)算符、取值范圍和單位。
圖12表示所支持的“適配觸發(fā)標(biāo)識(shí)符”。
為了評(píng)估適配觸發(fā)，AMIL播放器需要一種在媒體項(xiàng)304播放時(shí)測(cè)量相應(yīng)值的方法。如果AMIL播放器沒(méi)有測(cè)量某個(gè)值的可能性或者指定條件不適用于該媒體項(xiàng)的類型，則相應(yīng)的適配觸發(fā)被忽略。
在屬性值中而不在若干XML元素或?qū)傩灾芯哂羞@個(gè)數(shù)據(jù)的優(yōu)點(diǎn)在于，附加限制標(biāo)識(shí)符可在以后添加，而不需要改變AMIL語(yǔ)法。
“適配頻率”元素808
元素“適配頻率”808用于描述適配應(yīng)當(dāng)出現(xiàn)的頻率。如果情況變得更壞，則適配始終是必要的。如果情況改善，則可應(yīng)用確定多快進(jìn)行反應(yīng)的不同策略。這產(chǎn)生更“穩(wěn)定的”適配行為或者“靈活的”適配行為?？刹捎眠@個(gè)元素來(lái)影響這種行為。
如果關(guān)聯(lián)到“媒體項(xiàng)”元素304或者沒(méi)有任何適配可能性1500的另一個(gè)元素，則元素“適配頻率”808沒(méi)有意義。與適配描述元素關(guān)聯(lián)的“適配頻率”元素808蓋寫與這個(gè)適配描述元素內(nèi)的元素關(guān)聯(lián)的其它所有“適配頻率”元素808。
所定義的適配頻率始終應(yīng)用于它所分配到的適配描述2900元素的所有適配備選者2100。因此，適配描述2900的一部分可設(shè)置為“靈活地”反應(yīng)而另一個(gè)部分設(shè)置為“穩(wěn)定地”反應(yīng)。然后，適配算法將嘗試在運(yùn)行時(shí)選擇適配可能性1500，其中，“靈活的”部分比“穩(wěn)定的”部分改變得更頻繁。
“值”屬性這個(gè)屬性指定適配行為應(yīng)當(dāng)是怎樣的?？赡艿闹禐椤胺€(wěn)定”、“中等”和“靈活”。
圖11提供“限制”元素804的“值”屬性中包含的限制標(biāo)識(shí)符的概覽?？赡艿谋容^運(yùn)算符為＜，＞，＜＝，＞＝。
圖12提供“適配觸發(fā)”元素806的“值”屬性中包含的適配觸發(fā)標(biāo)識(shí)符的概覽?？赡艿谋容^運(yùn)算符為＜，＞，＜＝，以及＞＝。
權(quán)利要求
1.一種用于描述自適應(yīng)移動(dòng)多媒體應(yīng)用和/或呈現(xiàn)的方法，所述應(yīng)用和/或呈現(xiàn)的重放行為固有地取決于運(yùn)行時(shí)的當(dāng)前情況，所述方法是根據(jù)基于XML的文檔模型(100)并且包括以下步驟在包含描述所述自適應(yīng)移動(dòng)應(yīng)用的適配可能性所需的詞匯表和語(yǔ)言結(jié)構(gòu)的適配模塊(109)中，描述運(yùn)行于移動(dòng)網(wǎng)絡(luò)環(huán)境中的應(yīng)用和/或呈現(xiàn)的固有適配可能性。
2.如權(quán)利要求1所述的方法，其特征在于還包括以下步驟在包含描述所述自適應(yīng)移動(dòng)應(yīng)用內(nèi)所用的媒體項(xiàng)(304)所需的詞匯表和語(yǔ)言結(jié)構(gòu)的媒體項(xiàng)模塊(108)中，描述所述應(yīng)用和/或呈現(xiàn)的可用媒體。
3.如以上權(quán)利要求中任一項(xiàng)所述的方法，其特征在于還包括以下步驟在包含描述用于所述自適應(yīng)移動(dòng)應(yīng)用的交互可能性(404)所需的詞匯表和語(yǔ)言結(jié)構(gòu)的交互模塊(110)中，描述所述應(yīng)用/呈現(xiàn)的交互參數(shù)。
4.如以上權(quán)利要求中任一項(xiàng)所述的方法，其特征在于還包括以下步驟在包含描述對(duì)于所述自適應(yīng)移動(dòng)應(yīng)用的約束(802)所需的詞匯表和語(yǔ)言結(jié)構(gòu)的約束模塊(116)中，描述適配過(guò)程的約束。
5.如以上權(quán)利要求中任一項(xiàng)所述的方法，其特征在于還包括以下步驟在包含描述所述移動(dòng)應(yīng)用中使用的事件可能性所需的詞匯表和語(yǔ)言結(jié)構(gòu)的事件模塊(118)中，改變所述模塊(106，108，109，110，116)的所述語(yǔ)言結(jié)構(gòu)和詞匯表。
6.如以上權(quán)利要求中任一項(xiàng)所述的方法，其特征在于還包括以下步驟描述所述適配模塊(109)與所述媒體項(xiàng)模塊(108)之間的關(guān)聯(lián)，由鏈接表示。
7.如以上權(quán)利要求中任一項(xiàng)所述的方法，其特征在于還包括以下步驟描述所述適配模塊(109)與所述交互模塊(110)之間的關(guān)聯(lián)，由鏈接表示。
8.一種用于描述基于XML的文檔的方法，所述基于XML的文檔用作支持移動(dòng)自適應(yīng)多媒體應(yīng)用的中間件框架與支持如權(quán)利要求1至9中任一項(xiàng)所述的移動(dòng)自適應(yīng)多媒體應(yīng)用(結(jié)構(gòu)和詞匯表)的生成的創(chuàng)作系統(tǒng)之間的連接層，其特征在于描述通過(guò)包含以下各項(xiàng)的語(yǔ)言來(lái)執(zhí)行至少一個(gè)媒體項(xiàng)模塊(108)，用作所述多媒體應(yīng)用內(nèi)的可用媒體項(xiàng)(304)的描述單元，至少一個(gè)布局模塊(106)，它將所述媒體項(xiàng)組織成移動(dòng)顯示裝置的視覺(jué)呈現(xiàn)表面上的區(qū)域(502)，以及至少一個(gè)適配模塊(109)，它通過(guò)引用所述媒體項(xiàng)模塊(108)的元素來(lái)控制所述分布式多媒體應(yīng)用的上下文認(rèn)知的適配。
9.如權(quán)利要求8所述的方法，其特征在于所述語(yǔ)言還包括至少一個(gè)約束模塊(116)，它允許將附加約束(802)添加到適配描述元素(2900)中，以及至少一個(gè)事件模塊(118)，它允許對(duì)包含用戶的物理環(huán)境(位置、溫度)、用戶的上下文、所應(yīng)用的網(wǎng)絡(luò)的服務(wù)質(zhì)量(QoS)條件以及移動(dòng)裝置能力的各種資源的變化作出反應(yīng)。
10.一種用于操作中間件框架的方法，所述中間件框架支持如權(quán)利要求8和9中任一項(xiàng)所述的自適應(yīng)移動(dòng)應(yīng)用/呈現(xiàn)(100)的基于XML的描述的處理，其特征在于所述中間件框架允許各個(gè)正運(yùn)行的移動(dòng)多媒體應(yīng)用指定它想使用的媒體以及這些媒體之間的關(guān)系，計(jì)算移動(dòng)多媒體應(yīng)用的適配可能性(1500)，以及根據(jù)當(dāng)前情況控制適配過(guò)程。
11.如權(quán)利要求10所述的方法，其特征在于若當(dāng)前情況已經(jīng)改變、則修改所述適配模塊(109)與所述媒體項(xiàng)模塊(108)之間的鏈接結(jié)構(gòu)的步驟。
12.如權(quán)利要求10所述的方法，其特征在于若當(dāng)前情況已經(jīng)改變、則修改所述媒體項(xiàng)模塊(108)與所述布局模塊(106)之間的鏈接結(jié)構(gòu)的步驟。
13.如權(quán)利要求10所述的方法，其特征在于若當(dāng)前情況已經(jīng)改變、則修改所述交互模塊(110)與所述布局模塊(106)之間的鏈接結(jié)構(gòu)的步驟。
14.如權(quán)利要求10所述的方法，其特征在于所述文檔鏈接結(jié)構(gòu)和/或所述文檔結(jié)構(gòu)和文檔詞匯表本身是通過(guò)用戶交互(404)來(lái)修改的。
15.如權(quán)利要求14所述的方法，其特征在于用來(lái)修改所述文檔鏈接結(jié)構(gòu)和所述文檔本身的用戶交互(404)是由所述交互模塊(110)來(lái)描述的。
16.如權(quán)利要求10至13中任一項(xiàng)所述的方法，其特征在于借助于所述事件模塊(118)將媒體項(xiàng)(304)動(dòng)態(tài)綁定到所述移動(dòng)顯示裝置的視覺(jué)呈現(xiàn)表面上的特定區(qū)域(502)，這由當(dāng)前情況的變化(3700)發(fā)起。
17.如權(quán)利要求11至14中任一項(xiàng)所述的方法，其特征在于借助于所述事件模塊(118)將專用接口工具集(404)動(dòng)態(tài)綁定到所述移動(dòng)顯示裝置的視覺(jué)呈現(xiàn)表面上的特定區(qū)域，這由當(dāng)前情況的變化(3700)發(fā)起。
18.如權(quán)利要求8和9中任一項(xiàng)所述的方法，其特征在于以下步驟擴(kuò)展或重新指定所述布局模塊(106)的至少一個(gè)元素的至少一個(gè)屬性，以便通過(guò)根據(jù)當(dāng)前情況放大/縮小所述媒體項(xiàng)(304)的可視大小或者替換所述媒體項(xiàng)(304)，使特定媒體項(xiàng)(304)的可視分量(600)適合所應(yīng)用的移動(dòng)顯示裝置上要用于多媒體呈現(xiàn)的那些區(qū)域(502)的尺寸。
19.如權(quán)利要求8和9中任一項(xiàng)所述的方法，其特征在于通過(guò)以下各項(xiàng)來(lái)描述(700)所述適配模塊(109)中使用的所述媒體項(xiàng)模塊(108)的備選媒體項(xiàng)(304)媒體相關(guān)信息，包含多媒體呈現(xiàn)的可視部分的帶寬和大小，元信息，在媒體項(xiàng)(304)的類型為視頻的情況下包含所述媒體的名稱、類型和演員，和/或內(nèi)嵌信息或者通過(guò)使用通用資源標(biāo)識(shí)符(URI)對(duì)外部資源的引用。
20.如權(quán)利要求8、9、10和19中任一項(xiàng)所述的方法，其特征在于包括以下步驟通過(guò)所述適配模塊(109)的“選擇”元素(704)，指定在啟動(dòng)時(shí)以及在當(dāng)前情況變化時(shí)的各種備選者。
21.如權(quán)利要求20所述的方法，其特征在于以下步驟在啟動(dòng)時(shí)選取最適當(dāng)?shù)倪m配可能性(1500)，連續(xù)地監(jiān)視網(wǎng)絡(luò)條件、可用的移動(dòng)裝置能力和/或用戶上下文，以及在變化的網(wǎng)絡(luò)條件、移動(dòng)裝置能力和/或用戶上下文的情況下，選取最適當(dāng)?shù)倪m配可能性(1500)。
22.如權(quán)利要求21所述的方法，其特征在于以下步驟通過(guò)使用所述適配模塊(109)的相應(yīng)元素所支持的優(yōu)先級(jí)屬性來(lái)影響適配控制過(guò)程。
23.如權(quán)利要求22所述的方法，其特征在于包括以下步驟采用所述適配模塊(109)的Par元素(702)，用于定義其中多個(gè)元素必須同時(shí)重放的簡(jiǎn)單時(shí)間分組。
24.如權(quán)利要求23所述的方法，其特征在于借助于析取范式(DNF)表達(dá)的布爾條件，對(duì)一組不同的媒體項(xiàng)(304)計(jì)算適配可能性(1500)，其中“選擇”元素(704)被視為“或”運(yùn)算符以及“par”元素(702)被視為“與”運(yùn)算符，根據(jù)所應(yīng)用的網(wǎng)絡(luò)的服務(wù)質(zhì)量(QoS)、移動(dòng)裝置能力以及用戶上下文從其中選取所述析取范式(DNF)的一個(gè)合取、即所述適配可能性(1500)。
25.如權(quán)利要求24所述的方法，其特征在于以下步驟采用“適配描述模塊”(2900)，它為所述“選擇”元素(704)提供用于修改其缺省行為的“開(kāi)始模式”屬性，所述“開(kāi)始模式”屬性指定在因當(dāng)前情況變化而已經(jīng)執(zhí)行適配之后在哪個(gè)播放時(shí)間開(kāi)始特定媒體、尤其是連續(xù)媒體。
26.如權(quán)利要求25所述的方法，其特征在于所述連續(xù)媒體項(xiàng)(304)因當(dāng)前情況變化而由不同的連續(xù)媒體項(xiàng)(304)代替，以及新的媒體項(xiàng)只是根據(jù)媒體項(xiàng)的“開(kāi)始模式”屬性來(lái)開(kāi)始。
27.如權(quán)利要求26所述的方法，其特征在于所述“開(kāi)始模式”屬性可取下列值之一“重新開(kāi)始”值，它指明所述媒體項(xiàng)(304)應(yīng)當(dāng)始終從頭開(kāi)始，“恢復(fù)”缺省值，它指明所述媒體項(xiàng)(304)應(yīng)當(dāng)始終從它停止的位置開(kāi)始，“上次停止”值，它指明所述媒體項(xiàng)(304)應(yīng)當(dāng)始終在相同“選擇”元素(704)中包含的上一個(gè)連續(xù)媒體項(xiàng)(304)停止時(shí)的媒體時(shí)間開(kāi)始，“播放時(shí)間”值，它指明所述媒體項(xiàng)(304)應(yīng)當(dāng)始終在作為所述“選擇”元素(704)中包含的所有媒體項(xiàng)(304)自所述“選擇”元素(704)開(kāi)始以來(lái)的組合播放時(shí)間的時(shí)間開(kāi)始，以及“連續(xù)播放時(shí)間”值，它指明所述媒體項(xiàng)(304)應(yīng)當(dāng)始終在作為所述“選擇”元素(704)中包含的所有連續(xù)媒體項(xiàng)(304)自所述“選擇”元素(704)開(kāi)始以來(lái)的組合播放時(shí)間的時(shí)間開(kāi)始。
28.如權(quán)利要求27所述的方法，其特征在于所述“適配描述模塊”(2900)為所述“選擇”元素(704)提供指定在連續(xù)媒體項(xiàng)(304)重放之后發(fā)生的情況的“onremove”屬性。
29.如權(quán)利要求28所述的方法，其特征在于所述“適配描述模塊”(2900)為所述“選擇”元素(704)提供“評(píng)估”屬性，該屬性指定所述元素“選擇”(704)的內(nèi)容模型是在啟動(dòng)時(shí)評(píng)估一次，按特定時(shí)間周期重復(fù)評(píng)估，還是在重放所述多媒體呈現(xiàn)時(shí)連續(xù)評(píng)估。
30.如權(quán)利要求28和29中任一項(xiàng)所述的方法，其特征在于所述“適配描述模塊”(2900)為所述“選擇”元素(704)提供“空”屬性，該屬性支持適合于特定當(dāng)前情況的媒體集合可以為空集的功能性。
31.如權(quán)利要求30所述的方法，其特征在于適配可能性(1500)的相關(guān)優(yōu)先級(jí)(1400)的評(píng)估通過(guò)以下步驟來(lái)進(jìn)行根據(jù)par元素的所有子的優(yōu)先級(jí)(1400)對(duì)它們排序，通過(guò)“與”運(yùn)算符來(lái)合并前兩個(gè)子元素的配置，其方式是，所得配置的優(yōu)先級(jí)(1400)由附加了較低優(yōu)先級(jí)的子的優(yōu)先級(jí)(1400)的較高優(yōu)先級(jí)的子的優(yōu)先級(jí)(1400)組成，以及將所述結(jié)果反復(fù)與par元素的其它所有子合并。
全文摘要
本發(fā)明一般涉及用于描述固有地與運(yùn)行時(shí)所處的不斷變化環(huán)境相關(guān)的自適應(yīng)移動(dòng)多媒體應(yīng)用和/或呈現(xiàn)的標(biāo)記語(yǔ)言領(lǐng)域，這意味著這些移動(dòng)多媒體應(yīng)用和/或呈現(xiàn)需要適合移動(dòng)用戶的偏好、他們的移動(dòng)計(jì)算裝置的能力以及它們的當(dāng)前環(huán)境。它使典型無(wú)線情況(例如具有變化的傳輸質(zhì)量和切換程序的無(wú)線電鏈路)中具有實(shí)時(shí)要求的基于自適應(yīng)移動(dòng)流的多媒體應(yīng)用能夠自適應(yīng)和響應(yīng)地對(duì)時(shí)變網(wǎng)絡(luò)拓?fù)浼安煌瑹o(wú)線電鏈路特點(diǎn)作出反應(yīng)。因此，本發(fā)明特別包括通過(guò)采用基于XML的多媒體呈現(xiàn)語(yǔ)言來(lái)提供用于預(yù)先分配、保留、監(jiān)測(cè)及修改動(dòng)態(tài)移動(dòng)環(huán)境中的QoS相關(guān)參數(shù)的方法，描述適配可能性(1500)、適配約束(802)和適配事件(3802)的領(lǐng)域中、針對(duì)基于文檔的多媒體應(yīng)用的個(gè)性化及上下文認(rèn)知的適配的研發(fā)問(wèn)題。在這方面，提供了由詞匯表、文檔結(jié)構(gòu)以及文檔模型元素之間的鏈接方式(1600)構(gòu)成的文檔模型(100)，它支持自適應(yīng)移動(dòng)多媒體應(yīng)用和/或呈現(xiàn)的描述(700)。另外，提出了支持簡(jiǎn)化的面向事務(wù)的訪問(wèn)的文檔對(duì)象模型。
文檔編號(hào)G06F17/30GK1685340SQ03822943
公開(kāi)日2005年10月19日 申請(qǐng)日期2003年9月16日 優(yōu)先權(quán)日2002年9月27日
發(fā)明者O·施拉姆, K·勒爾勒 申請(qǐng)人:索尼國(guó)際(歐洲)股份有限公司