專利名稱：顯示合成器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及發(fā)送內(nèi)容用戶化的領(lǐng)域。
例如，在WO 01/52099和US 2001/0014906中，已經(jīng)完成了某些涉及為了建立用于用戶觀看的用戶化的最終節(jié)目，用替代內(nèi)容覆蓋發(fā)送的視頻內(nèi)容的工作。
這些系統(tǒng)的缺點在于被覆蓋的內(nèi)容一般不十分適合現(xiàn)有的內(nèi)容，結(jié)果可能看起來是拼湊在一起的、不協(xié)調(diào)的或卡通式的。現(xiàn)有技術(shù)的系統(tǒng)的另一個缺點在于被發(fā)送的信息需要很高帶寬的信道。
以具有在接收器端合成的顯示元素的內(nèi)容描述符的形式發(fā)送至少部分內(nèi)容是有利的。
接收器端可以包括用于收集對選擇顯示元素有用的本地信息的裝置。
各種類型的本地信息可以用于通知內(nèi)容合成。這些信息可以包括用戶簡檔信息、上下文信息和/或直接用戶輸入?？梢允褂酶鞣N類型的顯示元素，如合成的人物、卡通角色、動物、對象、文本和/或音頻等。
內(nèi)容描述符可以包括如下有關(guān)的信息如內(nèi)容長度、適合于內(nèi)容的用戶情緒、適合于體驗內(nèi)容的地點、內(nèi)容類型、適合于體驗內(nèi)容的日時、表達(dá)內(nèi)容的語言和/或適合于顯示內(nèi)容的顯示設(shè)備的類型。
根據(jù)以下描述，本發(fā)明目的和優(yōu)點將變得更加清楚。
以下將參照附圖，利用非限定性的例子對本發(fā)明進(jìn)行描述。


圖1示出了可以在其中實施本發(fā)明的系統(tǒng)。
圖2A-1示出了內(nèi)容描述符。
圖2A-2作為內(nèi)容描述符發(fā)送的照片的示意圖。
圖2A-3作為內(nèi)容描述符發(fā)送的另一張照片的示意圖。
圖2B示出了說明可以隨內(nèi)容一起發(fā)送的內(nèi)容流的例子。
圖2C示出了對內(nèi)容片段的描述。
圖3示出了本發(fā)明的實施例的操作框圖。
圖4示出了一個流程圖。
圖1示出了適合于實施本發(fā)明的系統(tǒng)。該系統(tǒng)包括通過網(wǎng)絡(luò)103至少與一個遠(yuǎn)程內(nèi)容提供器105和其它遠(yuǎn)程設(shè)備106連接的本地CPU101、存儲器102和外圍設(shè)備104。
CPU可以是任何類型的，如在PC或機(jī)頂盒中發(fā)現(xiàn)的，或者如信號處理器?？梢允菃蝹€CPU或幾個CPU。
存儲器102可以是任何合適的類型的，如電子的、磁性的或光的，并且可以與CUP安裝在一起或單獨安裝。通常，將有幾個存儲器設(shè)備，如內(nèi)部RAM、硬盤驅(qū)動器、軟盤驅(qū)動器、CD/RW、DVD播放器、VCR和/或其他存儲器設(shè)備。
通常，外圍設(shè)備104將包括用于與用戶交流或用于檢測上下文的設(shè)備。用于與用戶交流的設(shè)備可以包括顯示器、打印機(jī)、鍵盤、指向設(shè)備、聲音識別設(shè)備、用于接收來自遠(yuǎn)程控制的通信的傳感器和揚(yáng)聲器等。用于檢測上下文的設(shè)備可以包括照相機(jī)、麥克風(fēng)、IR(紅外)傳感器、時鐘、室內(nèi)/室外溫度計、日光檢測器和濕度檢測器等。也可以將用于與用戶交流的設(shè)備看作用于檢測上下文的設(shè)備。
網(wǎng)絡(luò)103可以是廣播網(wǎng)、有線網(wǎng)、互聯(lián)網(wǎng)、LAN或任何其它網(wǎng)絡(luò)等。實際上，CPU 101可以同時與幾個網(wǎng)絡(luò)連接，或者可以用一個網(wǎng)絡(luò)與其他網(wǎng)絡(luò)通信。可以用網(wǎng)絡(luò)連接與其他設(shè)備，如CPU、存儲器或外部設(shè)備105通信，或者與內(nèi)容提供器106通信。
內(nèi)容描述正常情況下，在本發(fā)明中使用的內(nèi)容應(yīng)該來自附有說明的并且具有足夠信息的提供器105，以便允許在客戶機(jī)端進(jìn)行用戶化。內(nèi)容可以，但不是必須，包括傳統(tǒng)的視頻信息。相反，許多被發(fā)送的僅僅是描述，即，“內(nèi)容描述符”。內(nèi)容描述符也可以認(rèn)為是元數(shù)據(jù)。內(nèi)容描述符描述要顯示的最終內(nèi)容版本，但不包含全部最終內(nèi)容版本。在可以實現(xiàn)可見的“表演”或“節(jié)目”之前，內(nèi)容描述符需要在接收端對顯示信息進(jìn)行合成。這里，術(shù)語“最終內(nèi)容版本”也將被用于描述合成的結(jié)果。
一般來說，至少某些內(nèi)容描述符將是文本類的；但內(nèi)容描述符也可以包含多媒體數(shù)據(jù)如靜止照片、視頻剪輯或音樂，這些將被并入最終內(nèi)容版本。圖2A-1-3；2B；和2C給出了可以被發(fā)送的內(nèi)容描述符的例子。
圖2A-1的故事進(jìn)入幾個版本新聞(240)，幽默1(241)和幽默2(242)。這些版本中的一個，新聞，具有用于候選顯示的子版本。示出的子版本為長文本(243)和短文本(244)?？梢燥@示更多的候選版本和子版本?？梢郧度霕?biāo)簽，以便對節(jié)目的重要特征進(jìn)行注釋，如-“片段(故事)的妙語”；-片段的主要角色-例如布什總統(tǒng)，或者電影角色的名字；-時間、地點、事件部分-因此客戶機(jī)能夠利用它自己的處理生成另一個片段或段落的版本；-個性描述-例如，一系列外圍角色，用戶對其陳述一般選擇(男/女，年輕/年老，...)；或者-設(shè)置-例如，室外/室內(nèi)新聞、過去/現(xiàn)在/將來，例如，允許以16或22世紀(jì)為背景的肥皂劇。
本領(lǐng)域一般技術(shù)人員可以提出許多可以作為內(nèi)容描述符提供的和/或可以被加上標(biāo)簽的特性，以允許進(jìn)行用戶化。標(biāo)簽也可以被看作是一種“內(nèi)容描述符”。描述符包括標(biāo)題245。
除了不同版本的文本以外，還可以將多媒體信息作為一部分內(nèi)容描述符發(fā)送。例如，圖2A-2為一張照片的示意圖。為了使圖簡化，沒有示出照片的細(xì)節(jié)。可以將照片全部發(fā)送，或者可以用內(nèi)容描述符描述照片的若干部分。照片包括兩個人像250和251-例如布什總統(tǒng)與中國領(lǐng)導(dǎo)人談話—和標(biāo)注為“背景1”的背景—例如公園。圖2A-3示出了另一張照片的示意圖。為了使圖簡化，也忽略了照片的細(xì)節(jié)。該照片在不同的標(biāo)注為“背景2”的背景下示出了一對不同的人像252和253。在本例中，該照片可以呈現(xiàn)在中國的長城前的布什總統(tǒng)和夫人。
回到圖2A-1，可見，長版本新聞使用了兩張照片，圖2A-2和圖2A-3，涉及政治會談和旅行的觀光方面，而短版本只使用了第一張照片，圖2A-2。第一幽默版本也只使用了第一張照片，圖2A-2；而第二幽默版本只使用了第二張照片，圖2A-3。
圖2B示出了用于一段節(jié)目的內(nèi)容描述符的流描述。正常情況下，為了簡化處理并且?guī)椭邮赵O(shè)備預(yù)先判斷進(jìn)來的是什么，在發(fā)送圖2A-1到圖2A-3的詳細(xì)信息之前，應(yīng)該發(fā)送這種類型的流描述。這個具體的流圖只是一個例子。不需要涉及圖2A1-3的具體描述符。圖2B示出了能夠產(chǎn)生相同內(nèi)容的兩個基本版本(A和B)的一段節(jié)目。
最好，接收設(shè)備用這些流來確定使用數(shù)據(jù)的哪些部分。可以不止一次地使用數(shù)據(jù)和流。例如，在上午10點，用戶可以得到用于作為20分鐘的短版本觀看的被立即合成的一系列最新的電視情節(jié)。然后，可以重復(fù)使用可以被存儲在接收設(shè)備中的相同的內(nèi)容，生成在周末期間的一小時版本。
在圖2B中，首先發(fā)送內(nèi)容表格201和206并且在它們到達(dá)之前說明節(jié)目的版本。A流—左邊的—包括6個片段202、203、204、205、211和212，它們必須按照順序呈現(xiàn)；除此之外，對于全部節(jié)目的短版本，系統(tǒng)可以跳過2A(203)；4A(205)和5A(211)等片段。B流—右邊的—僅包括3個片段207/208、209和210。B流允許片段1B以兩個版本呈現(xiàn)長片段1B(208)和短片段1B’(207)。在208和207中示出的候選項與在圖2A-1中的243和244示出的長版本和短版本相似。
每個片段也可以有復(fù)雜的結(jié)構(gòu)。圖2C示出了包含4個段落220、221/222、223、224/225的片段。也可以把這些“段落”看成部分或子片段。流主要是線性的，但是，根據(jù)在(本地)接收設(shè)備中發(fā)生的并且是基于內(nèi)容和顯示方式的處理，可以有多種顯示。
通過減少接收設(shè)備需要估算的選擇的數(shù)量，片段/段落結(jié)構(gòu)能夠提高處理效率。例如，如果內(nèi)容是新聞節(jié)目，則每個片段可以是一個新聞故事。首先，接收系統(tǒng)選擇感興趣的新聞故事。然后，接收系統(tǒng)可以對每個故事中的選項進(jìn)行處理。這樣的話，接收系統(tǒng)就避免了處理所有故事中的所有選項。選擇結(jié)構(gòu)的等級的多或者少可以由熟練的技工按照設(shè)計的選擇來實施。
例如，假設(shè)片段是來自驚險電影的3分鐘的汽車追逐。段落1(220)可以是一個30秒種的部分，其中警車發(fā)現(xiàn)了一輛快速行駛的車并開始追趕該車。段落2(222)可以是一個1分30秒的部分，其中，兩車戲劇性地通過若干路口(例如6個)。如果用戶的愛好表示不欣賞汽車追逐和/或暴力，則設(shè)備可以生成一個這個段落的較短的版本(221)，其中，在20秒種以內(nèi)給出了汽車追逐的兩個代表性的，即作注解的，瞬間。然后，在段落3(223)中，警車與另一輛車發(fā)生碰撞，使追逐停止。在段落4(225)，快速行駛的汽車逃跑。例如，對于汽車追逐愛好者，可以通過生成更多的戲劇性的逃跑瞬間，例如駕駛通過林蔭道、擁擠的市場等，使段落4從30秒延長(224)到兩分鐘。
在另一個例子中，讓我們假設(shè)片段是談話節(jié)目的引導(dǎo)部分?？梢詫D2C的左側(cè)看作是“原始版本”，而右側(cè)可以是適合于可以在接收器端選擇的具體個性風(fēng)格的特定版本。例如，這種個性風(fēng)格可以是JayLeno的，一位受歡迎的談話節(jié)目主持人。如果不選擇具體個性，則可以在對內(nèi)容不做改動或者改動很少的情況下，顯示某些原始版本，例如，段落1(220)和3(223)，但可以改動其它部分，如段落2(222)和4(225)。在本例中，按照以上描述的注釋或標(biāo)簽，通過僅使用文獻(xiàn)的關(guān)鍵部分將段落2壓縮成更短的片段(221)。另一方面，按照期望的個性“風(fēng)格”，通過采用原始段落并且補(bǔ)充更多文字，將段落4延長到兩倍長度(224)。可以從當(dāng)前的傳輸或其它來源，如互聯(lián)網(wǎng)或所存儲的內(nèi)容的本地文件，獲得這些補(bǔ)充文字。例如，如果這是關(guān)于美國總統(tǒng)訪問中國的故事，則優(yōu)選的談話節(jié)目主持人應(yīng)該用這樣的介紹給它“添加香料”“你將喜歡這個故事—我只喜歡關(guān)于總統(tǒng)的故事。就像<來自以前節(jié)目的相關(guān)事件>”。在三角架中的操作員則應(yīng)該允許系統(tǒng)離開并且查詢互聯(lián)網(wǎng)或其它資源，尋找需要的信息。在圖2A1-3、2B和2C中的數(shù)據(jù)格式僅是一些例子。以表格的形式或其它數(shù)據(jù)格式可以同樣好地發(fā)送數(shù)據(jù)?？梢詫?nèi)容進(jìn)行合成，以便替換原始內(nèi)容的某些部分或者將其全部代替?？梢园凑赵试S將接收的內(nèi)容的特殊成分去掉并且補(bǔ)充其它成分的格式對接收的內(nèi)容進(jìn)行編碼。合適的格式包括MPEG-4，http://mpeg.telecomitalialab.com/standards/mpeg-4/mpeg-4.htm；和MPEG-7，http://mpeg.telecomitalialab.com/standards/mpeg-7/mpeg-7.htm。這些標(biāo)準(zhǔn)使得能夠?qū)?nèi)容進(jìn)行編碼，而內(nèi)容使得能夠?qū)梢杂锰鎿Q物部分或者全部代替的各個對象和場景進(jìn)行描述。
可以與原始節(jié)目平行地發(fā)送內(nèi)容描述符版本的節(jié)目。這可以利用不同的電視頻道或者利用單獨的互聯(lián)網(wǎng)版本實現(xiàn)。然后，用戶將選擇常規(guī)的節(jié)目或者允許進(jìn)行合成的內(nèi)容描述符版本。
或者，服務(wù)程序可以將所有版本一起發(fā)送。
對接收到的內(nèi)容描述符的處理一旦在接收器接收到內(nèi)容描述符，就要合成一個顯示，以便給出產(chǎn)生的最終內(nèi)容版本。這樣的合成是被個性化的。這樣的個性化可以基于許多事物，如一個或多個來自發(fā)送器端的說明風(fēng)格選擇的標(biāo)簽、存儲的用戶愛好、交互式用戶選擇的名稱以及檢測到的上下文。
要被合成的“顯示”可以包括產(chǎn)生的節(jié)目的各個方面，如-一個或多個顯示形象，如人、卡通角色、動物、談話對象、文本和/或音頻；-背景視頻；和/或-顯示風(fēng)格如新聞、幽默、短或長等。
圖3示出了用于根據(jù)發(fā)送的信息301、用戶簡檔304、上下文檢測308以及個性和/或風(fēng)格數(shù)據(jù)302實現(xiàn)內(nèi)容合成303的系統(tǒng)?？梢砸攒浖蛴布韺嵤﹫D3的系統(tǒng)。也可以將處理分布在不止一個處理器和/或存儲器中。
如根據(jù)圖2A到2C描述的被發(fā)送的信息被存儲在數(shù)據(jù)庫301中。
正常情況下，上下文傳感器308應(yīng)該具有外部設(shè)備(沒有示出)，如照相機(jī)、麥克風(fēng)、用于與遙控器一起使用的IR傳感器、天氣檢測設(shè)備、用戶模式檢測設(shè)備、時鐘、鍵盤和/或指向設(shè)備等?？?08可以進(jìn)行某些處理，以便將各種檢測到的上下文合并為某種完整的上下問格式，或者，它可以簡單地是從檢測設(shè)備到處理器的更傳統(tǒng)的硬件連接的集合。典型的情況是，除了收集與要被合成的內(nèi)容有關(guān)的信息以外，上下文檢測設(shè)備執(zhí)行它們的傳統(tǒng)的功能。本領(lǐng)域一般技術(shù)人員可以使用更多或更少的設(shè)備，或者不同類型的設(shè)備。上下文傳感器將上下文信息提供給簡檔和用戶分析單元306。
用戶愛好簡檔和用戶分析單元306與用戶305相互作用，建立簡檔數(shù)據(jù)庫304。與用戶305的相互作用可以采取多種形式。例如，可以利用上下文檢測設(shè)備308。它可以通過自動記錄觀看情況來與用戶相互作用，以幫助建立數(shù)據(jù)庫。
簡檔和用戶分析單元306也可以起將本地信息如上下文結(jié)尾-用戶選擇與簡檔數(shù)據(jù)庫結(jié)合起來的作用，以進(jìn)行風(fēng)格選擇。然后，將風(fēng)格選擇提供給合成單元303，以通知進(jìn)行內(nèi)容合成。例如，假設(shè)上下文和用戶模式確定由喜劇演員顯示天氣。則問題變?yōu)槭菍δ承┯^眾喜歡的真人還是某些人造角色進(jìn)行合成。必須通過用戶分析回答這個問題。
考慮用戶愛好的一種方法是具有一個用戶簡檔304。這個簡檔可以包含使簡檔和用戶分析單元306能夠確定觀眾喜歡的內(nèi)容的類型的信息，如喜劇、CNN新聞、工作地點、家庭地址以及愛好日時等。在下列專利中可以發(fā)現(xiàn)用用戶簡檔選擇內(nèi)容的一些例子，這些專利是于1999年12月17日提交，序列號為09/466406，標(biāo)題為METHOD ANDAPPARATUS FOR RECOMMENDING TELEVISION PROGRAMMING USINGDECISION TREES的美國專利申請；以及于2000年9月20日提交，序列號為09/666401，標(biāo)題為METHOD AND APPARATUS FOR GENERATINGSCORES USING IMPLICIT AND EXPLICIT VIEWING PREFERENCES的美國專利申請，這里將它們引用為參考。
內(nèi)容過濾由簡檔和用戶分析單元306執(zhí)行的一個功能是對內(nèi)容進(jìn)行過濾。正常情況下，這可以在圖2B和C的流圖的指導(dǎo)下進(jìn)行。利用用戶簡檔的信息，該簡檔和分析單元將對片段和段落進(jìn)行選擇。
可以按照在內(nèi)容描述中的標(biāo)簽、上下文、用戶愛好或者用戶選擇來對內(nèi)容進(jìn)行過濾?？梢栽O(shè)想許多不同的過濾標(biāo)準(zhǔn)。
按照時日的內(nèi)容過濾可以用外圍設(shè)備檢測本地時日。在將傳輸發(fā)送到許多時區(qū)的場合，這將是最有用的。然后，可以用時日通知風(fēng)格選擇。
例如，在一個工作日的早晨，用戶可能想知道當(dāng)日的本地天氣，圍繞上班的駕駛路線的交通報告的相關(guān)部分，以及來自CNN的標(biāo)題新聞。顯示可以按照許多格式，在電視上來自不同頻道的各位主持人，或者來自用戶的具有不同軟件話音的鬧鐘的聲音。
另一種情況可能出現(xiàn)在當(dāng)用戶從下班回到家并且收聽當(dāng)日的新聞時?，F(xiàn)在，用戶可能對五日的預(yù)報感興趣，以安排周末。用戶也可能想知道更詳細(xì)的新聞，不僅是早晨期望的標(biāo)題?？赡芗由掀渌黝}如體育；而不再關(guān)心其它信息如交通。
按照情緒的內(nèi)容過濾某些顯示風(fēng)格可以取決于用戶當(dāng)時的心情，例如，消沉的人可能想看到或聽到來自快樂的人的不同內(nèi)容。
一種心情可能使用戶需要-與喜劇演員的洋相一起呈現(xiàn)的體育得分和精彩場面；
-關(guān)于世貿(mào)中心恐怖分子襲擊的結(jié)尾愉快的故事，如某些人被營救或者某些勇敢的努力，而不是從某人被救開始已經(jīng)經(jīng)過了若干天；以及-按照溫暖的可信賴的個性的顯示。
另一種情緒可能使用戶想知道與由強(qiáng)有力的權(quán)威人士公布的追捕和抓獲世貿(mào)中心襲擊的策劃者有關(guān)的新聞。
內(nèi)容描述符或標(biāo)簽可以指定允許的適合于具體內(nèi)容的顯示情緒?？梢赃M(jìn)行這種類型的情緒說明，以便代替用戶情緒的本地決定。例如，很可能永遠(yuǎn)不讓喜劇演員示出飛機(jī)飛入世貿(mào)中心。然而，某些情緒選擇是可能的。例如，可以用憤怒的、權(quán)威的人物或者不理解為什么發(fā)生的單純的、質(zhì)樸的人物來表達(dá)該事件。那么，允許的情緒與用戶的簡檔和上下文相符，從而確定如何將新聞呈現(xiàn)給觀眾。
每種情緒和上下文的結(jié)合可以具有各自的相關(guān)的內(nèi)容長度和顯示風(fēng)格。
根據(jù)內(nèi)容描述符或標(biāo)簽的風(fēng)格選擇顯示也可以根據(jù)目前對廣播員或傳送者已知的條件。例如，在天氣預(yù)報中，可以將標(biāo)簽隨著某種合適的顯示風(fēng)格的說明一起發(fā)送?？梢杂靡粋€在海灘上的平靜的人代表晴朗、陽光充足的天氣，而用一個顫抖并且穿著愛斯基摩人服裝的人表示冬季風(fēng)暴警報。在這種情況下，可以將標(biāo)簽代替本地信息傳遞到合成器，以通知對顯示的呈現(xiàn)者的圖片部分進(jìn)行合成。
顯示個性和風(fēng)格一旦對內(nèi)容進(jìn)行了過濾并且由用戶簡檔和分析單元306確定了長度和顯示風(fēng)格，則可以由合成單元303生成風(fēng)格的細(xì)節(jié)。
數(shù)據(jù)庫或數(shù)據(jù)庫302包含一個在進(jìn)行內(nèi)容合成中使用的，包括多個入口的顯示描述符的資料庫?？梢园凑赵S多不同的方式獲得這些顯示描述符。例如，它們可以是購買的記錄在介質(zhì)上的，定時地從與內(nèi)容描述符相同的來源發(fā)送的，和/或根據(jù)請求，從與內(nèi)容描述符相同的或不同的來源的下載的。
對于每種類型或者用于單獨顯示的專門的顯示風(fēng)格，可以有多種顯示風(fēng)格。例如，可以有這樣的新聞顯示風(fēng)格，主持人一邊播送新聞，一邊躺在海灘上并且喝雞尾酒，或者一邊播送新聞，一邊躺在觀眾喜歡的情景喜劇的起居室舞臺上。
可以進(jìn)一步對顯示的每個方面進(jìn)行用戶化。例如，如果角色正在駕駛汽車，則對汽車的選擇限定于在顯示風(fēng)格的時間范圍內(nèi)可用的汽車模型。例如，如果假設(shè)內(nèi)容發(fā)生在20世紀(jì)70年代，為了一致性和真實性，該汽車應(yīng)該是在那時之前10年當(dāng)中制造的汽車。此外，還可以按照用戶的選擇對汽車本身進(jìn)行用戶化(例如，歐洲、美國、亞洲樣式，或更具體如BMW)。
也可以按照發(fā)言者的特寫頭像(用于主持人)或者黑體(用于字符)來塑造個性。
合成合成器303根據(jù)發(fā)送的信息301并且根據(jù)簡檔和用戶分析單元306的過濾和風(fēng)格選擇，利用數(shù)據(jù)庫302建立經(jīng)過合成的內(nèi)容。合成器303輸出節(jié)目310。
可以想象許多不同類型的風(fēng)格，例如，短故事/有趣的、短故事/嚴(yán)肅的、長故事/有趣的等。風(fēng)格選擇的格式可以是熟練的員工提出的任意種類。例如，可以由簡檔和用戶分析單元指定內(nèi)容描述符要求的關(guān)鍵項目如長度、時日、片段選擇、用戶要求以及存儲的用戶愛好等?；蛘?，可以有某些數(shù)字編碼方案。
合成器單元303還可以將用于顯示的個性與內(nèi)容聯(lián)系起來，例如，在有趣的版本中用小丑Bozo預(yù)報天氣，而將Bill Evans用于標(biāo)準(zhǔn)廣播。應(yīng)該根據(jù)關(guān)鍵項目、時日和用戶愛好使故事與要求的風(fēng)格相符。由此，再按照適當(dāng)?shù)膫€性為顯示選擇正確的故事。
合成器模塊可以包含多種子模塊以有利于進(jìn)行對發(fā)送的內(nèi)容進(jìn)行部分替換或者通過拼湊重新生成內(nèi)容的合成。可以在下列文獻(xiàn)中找到發(fā)言者的特寫頭像合成(實際的和卡通的)的例子，這些文獻(xiàn)是YanLi，F(xiàn)eng Yu，Ying-Qing Xu，Eric Chang，Heung-Yeung Shum，“Speech-Driven Cartoon Animation with Emotions，”ACMMultimedia 2001，The 9th ACM International MultimediaConference，Ottawa，Canada，September 30th-October 5th，2001；以及T.Ezzat and T.Poggio，“Visual Speech Synthesis by MorphingVisemes，”MIT AI Memo No.1658/CBCLMemo No.1731999。
除了發(fā)言者的特寫頭像合成以外，還可以使用其它類型的合成。例如，可以將卡通角色或動物加到顯示內(nèi)容中。同樣可以將內(nèi)容合成為文本或音樂。
可能需要將若干不同的經(jīng)過合成的元素組合。在de Sevin etal.，EPFL Computer Graphics Lab-LIG，“Towards Real-timeVirtual Human Life Simulation，”0-7695-1007-8/01；IEEE 2001中可以找到將不同的經(jīng)過合成的元素組合的例子。
適合于談話節(jié)目的內(nèi)容合成的類型可以按照不同的風(fēng)格顯示談話節(jié)目。風(fēng)格可以包括特征，如主持人的個性，節(jié)目是具有互動的方面還是被動觀看的。
例如，由簡檔和分析單元306進(jìn)行的風(fēng)格選擇可以表示用戶喜歡David Letterman的聲音、外表和風(fēng)格，但是該用戶可能對Letterman在晚會中的客串不感興趣；而該用戶可能對在另一個談話節(jié)目中出現(xiàn)的如Jay Leno的客串很感興趣。利用合成器303，可以用經(jīng)過合成的David Letterman代替Jay Leno，與Jay Leno的客串見面。由于以描述符的形式來描述內(nèi)容，因此，將不是簡單地將David Letterman粘貼在Jay Leno上，而是根據(jù)內(nèi)容描述符對整個節(jié)目重新進(jìn)行合成。
風(fēng)格選擇可以表示用戶要求節(jié)目是單向的還是根據(jù)上下文進(jìn)行互動的。例如，當(dāng)獨自觀看時，人可以只是被動地坐著并且消磨談話節(jié)目—反過來，如果觀眾與朋友一起觀看，則可以使某些節(jié)目更為互動—或者反之亦然。
用戶可能希望在內(nèi)容中插入暫停。例如，當(dāng)談話節(jié)目主持人提出這樣的問題，如“你在casaba碰到了什么？”，在談話節(jié)目的客人揭示答案之前，可以插入某些選擇內(nèi)容，甚至是死區(qū)，以給觀眾之間互相回答提供時間?？梢蕴崾竞铣善鹘o用戶根據(jù)內(nèi)容描述符中的標(biāo)簽進(jìn)行輸入創(chuàng)造機(jī)會。
適合于體育節(jié)目的內(nèi)容合成的類型體育節(jié)目轉(zhuǎn)播可以有許多不同的風(fēng)格元素，如音頻或文字的百分比；和/或播音員的身份等。
可以將具有較多聲音覆蓋并且較少文字重疊的體育節(jié)目提供給在家的單個觀眾。觀眾也可以選擇他或她喜歡的體育播音員，而不是廣播電臺提供的默認(rèn)的播音員。為了給星期一足球之夜增加刺激，可以用John Madden代替Dan Dierdorf，隨同F(xiàn)rank Gifford和A1Michaels一起播音。在酒吧里，在大屏幕電視并且具有噪音的環(huán)境中，經(jīng)營者可以選擇具有伴隨精彩場面的很多文字信息如運(yùn)動員的名字的廣播，使消費(fèi)者能夠在不聽它的情況下享受內(nèi)容。
敘述性內(nèi)容下面的例子是一出肥皂劇，然而這種類型的合成可以很容易地擴(kuò)展到許多敘述性內(nèi)容的格式。
可以按照幾個版本提供肥皂劇的每個情節(jié)和場景。例如，某些觀眾可以設(shè)法得到較短的版本，其中注意的中心是基本故事和主要角色。另一個版本可以包含附加的角色，他們對于故事情節(jié)不很重要，但是給節(jié)目傳達(dá)了不同的“滋味”。例如，可以有一個可選的角色—節(jié)目的女主人公的最好的朋友。用戶可以預(yù)先聲明對這樣的角色的愛好(例如，男的、年輕的、樂觀的)，或者可以根據(jù)情節(jié)或節(jié)目選角色。這樣，用戶就可以體驗按照幾個風(fēng)格和/或版本表述的相同的內(nèi)容。
例如，當(dāng)早晨很忙時，用戶觀看短版本，只弄清已經(jīng)發(fā)生了什么，然而在晚上，用戶可以選擇他或她喜歡的設(shè)置并且觀看早晨僅用了15分鐘觀看的節(jié)目的2小時版本。也可以按照具有不同成熟等級的版本來演出節(jié)目。臥室的場景可以具有相同的演員和情節(jié)，但是可以根據(jù)愛好對暴露內(nèi)容和/或裸體的程度進(jìn)行過濾。
廣告也可以將廣告用戶化為不同的版本。由于在每次觀看設(shè)置中的獨特體驗，因而希望在不同的場合觀看每個版本，因此應(yīng)該為多重版本的傳輸付費(fèi)。此外，可以將為了節(jié)目能夠被用戶化的非常流行的個性與生產(chǎn)安排和廣告一起使用。
可以按照許多不同的方式對內(nèi)容進(jìn)行個性化?？赡艿膫€性化類型太多了，難以在此列出，因此應(yīng)該將以上列出的看作僅是例子。例如，雖然已經(jīng)按照視頻顯示的形式給出了例子，但是，合成也可以產(chǎn)生音頻或僅是文本的顯示?？梢詫σ纛l或文本的外觀進(jìn)行個性化以適合用戶。
流程4示出了說明由圖3的設(shè)備執(zhí)行的優(yōu)選的操作順序的流程圖。在401，從發(fā)送器或廣播電臺接收內(nèi)容。在402，對描述符進(jìn)行初始分析。然后，在403，如根據(jù)圖2B討論的，根據(jù)本地信息如用戶簡檔、上下文信息或互動用戶選擇，選擇適當(dāng)?shù)牧?。然后，?04，接收可選的隨后的內(nèi)容。在405，選擇流中的片段。在406，將選擇的片段發(fā)送到合成器，在407，在簡檔和用戶分析模塊306進(jìn)行了風(fēng)格選擇的情況下，合成器合成顯示。
通過閱讀本披露，本領(lǐng)域技術(shù)人員應(yīng)該明白其它修改。這樣的修改可以包括在設(shè)計、制造和使用用于對內(nèi)容進(jìn)行用戶化的軟件和硬件的過程中已經(jīng)知道的其它特性，可以用這些特性代替或補(bǔ)償這里已經(jīng)描述過的特性。在本申請中，盡管針對特性的具體組合，已經(jīng)系統(tǒng)地表達(dá)了權(quán)利要求，但應(yīng)該理解，本申請的披露的范圍還包括在這里清楚或含蓄地披露的任何新穎的特性或新穎的特性組合或者其任何推廣，不管它是否緩和了任何或所有與本發(fā)明緩和的技術(shù)問題相同的技術(shù)問題。本申請在此申明，在本申請進(jìn)行期間或者在來源于本申請的其它申請進(jìn)行期間，可以針對這些特性系統(tǒng)地表達(dá)新的權(quán)利要求。
不應(yīng)將這里使用的詞“包括”看成排除另外的元素。不應(yīng)將這里使用的單數(shù)冠詞“一個”看作排除多個元素。
權(quán)利要求
1.一種處理內(nèi)容的方法，該方法包括在至少一個數(shù)據(jù)處理設(shè)備中執(zhí)行下列操作-接收內(nèi)容(301)，其中，至少一部分內(nèi)容表示為內(nèi)容描述符(201-212，220-225，240-245，250-253，BACKGROUND1，BACKGROUND2)；-根據(jù)所述內(nèi)容描述符合成(303，407)顯示元素；-輸出產(chǎn)生的最終內(nèi)容版本，其中，按照合成的顯示元素呈現(xiàn)由所述內(nèi)容描述符指定的部分。
2.如權(quán)利要求1所述的方法，其中-所述操作還包括收集(306)本地信息(304，305，308)；并且-根據(jù)所述本地信息進(jìn)行合成。
3.如權(quán)利要求2所述的方法，其中-所述內(nèi)容描述符描述內(nèi)容的多個版本；并且-所述方法還包括根據(jù)所述本地信息選擇(405)與期望的版本對應(yīng)的那些內(nèi)容描述符；并且-使用選擇的內(nèi)容描述符進(jìn)行合成。
4.如權(quán)利要求3所述的方法，其中，所述內(nèi)容描述符包括對需要收集的本地信息的描述，以便允許對所述多個版本中的至少一個版本進(jìn)行合成。
5.如權(quán)利要求3所述的方法，其中-所述內(nèi)容描述符需要收集涉及以下一項或多項的本地信息-在至少兩個可選版本中的期望的顯示長度；-適合于所述多個版本中的至少一個版本的用戶情緒；-適合于所述多個版本中的至少一個版本的用戶地點；-期望的內(nèi)容類型；-適合于所述多個版本中的至少一個版本的時日；-適合于所述多個版本中的至少一個版本的顯示設(shè)備；以及-表達(dá)所述多個版本中的至少一個版本的語言；并且-所述方法還包括收集需要的本地信息。
6.如權(quán)利要求3所述的方法，其中，根據(jù)存儲的用戶愛好自動進(jìn)行選擇(304)。
7.如權(quán)利要求3所述的方法，其中，根據(jù)用戶(305)對期望的版本的說明進(jìn)行選擇。
8.如權(quán)利要求2所述的方法，其中，所述本地信息至少部分從用戶簡檔(304)獲得。
9.如權(quán)利要求2所述的方法，其中，合成包括選擇至少一個從多個可選的顯示元素中選擇的顯示元素。
10.如權(quán)利要求9所述的方法，其中，所述至少一個選擇的顯示元素包括-在內(nèi)容描述符中的靜止照片信息中指定的背景(BACKGROUND1，BACKGROUND2)，或者-文本或音頻顯示，-人和動物中的至少一個。
11.如權(quán)利要求9所述的方法，其中，根據(jù)所述內(nèi)容描述符或所述本地信息自動選擇至少一個經(jīng)過選擇的顯示元素。
12.如權(quán)利要求9所述的方法，其中，根據(jù)互動的用戶(305)說明，選擇至少一個經(jīng)過選擇的顯示元素。
13.一種指定要觀看的內(nèi)容的方法，該方法發(fā)送(105)內(nèi)容描述，該內(nèi)容描述適合于通知在接收器端(101，102，104)對內(nèi)容進(jìn)行合成。
14.如權(quán)利要求13所述的方法，其中，所述內(nèi)容描述包括下列各項中的至少一項-文本類描述符(240-245)，從中至少可以合成口語材料；-攝影數(shù)據(jù)(251-253，BACKGROUD1，BACKGROUD2)，從中可以合成視頻信息；-風(fēng)格類型選項，從中可以為合成選擇要觀看的內(nèi)容的風(fēng)格；以及多個可選的流說明(201-212，220-225)，從中可以為合成選擇要觀看的內(nèi)容版本。
15.如權(quán)利要求13所述的方法，其中，所述內(nèi)容描述包括在合成之前在接收器端收集與下列各項中的一項或多項有關(guān)的本地信息-在至少兩個可選版本中的期望的顯示長度；-適合于所述多個版本中的至少一個版本的用戶情緒；-適合于所述多個版本中的至少一個版本的用戶地點；-期望的內(nèi)容類型；-適合于所述多個版本中的至少一個版本的時日；-適合于所述多個版本中的至少一個版本的顯示設(shè)備；以及-表達(dá)所述多個版本中的至少一個版本的語言；
16.一種數(shù)據(jù)處理設(shè)備，被設(shè)計為-接收內(nèi)容(301)，其中，至少將一部分內(nèi)容表示為內(nèi)容描述符(201-212，220-225，240-245，250-253，BACKGROUND1，BACKGROUND2)；-根據(jù)所述內(nèi)容描述符合成(303，407)顯示元素；-輸出產(chǎn)生的最終內(nèi)容版本，其中，按照合成的顯示元素呈現(xiàn)由所述內(nèi)容描述符指定的部分。
17.一種計算機(jī)程序產(chǎn)品，當(dāng)執(zhí)行所述計算機(jī)程序產(chǎn)品時，使一個可編程設(shè)備能夠起如權(quán)利要求16中所限定的設(shè)備的作用。
18.一種設(shè)備，用于指定要觀看的內(nèi)容，該設(shè)備被設(shè)計為發(fā)送內(nèi)容描述，該內(nèi)容描述適合于通知在權(quán)利要求16所述的數(shù)據(jù)處理設(shè)備對所述內(nèi)容進(jìn)行合成。
全文摘要
按照用內(nèi)容描述符對某些內(nèi)容進(jìn)行描述的形式發(fā)送可用戶化的多媒體內(nèi)容。在接收設(shè)備中，利用內(nèi)容描述符合成最終的內(nèi)容版本。內(nèi)容描述符可以包括與內(nèi)容程度、預(yù)期用戶情緒、預(yù)期的用戶地點、內(nèi)容類型、預(yù)期的接收時日、預(yù)期的顯示設(shè)備和/或描述內(nèi)容的語言等有關(guān)的信息?？梢杂帽镜匦畔⑼ㄖM(jìn)行合成處理。本地信息可以包括根據(jù)用戶簡檔生成的用戶愛好、自動檢測到的上下文信息或由用戶手動輸入的用戶愛好?；蛘?，某些合成指令可以是內(nèi)容描述符的一部分。合成建立可以包括合成的人物、卡通角色、動物、談話對象、文本和/或音頻等的內(nèi)容顯示。
文檔編號H04N7/16GK1656808SQ03811613
公開日2005年8月17日 申請日期2003年5月13日 優(yōu)先權(quán)日2002年5月23日
發(fā)明者A·賈內(nèi)維斯基, T·麥吉 申請人:皇家飛利浦電子股份有限公司