專利名稱：交互式視頻的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及交互式視頻。更具體地，本發(fā)明涉及用于提供交互式視頻的設(shè)備和方法。
交互式視頻是公知的，特別是用于本地生成視頻序列并且允許某些用戶交互作用的電子游戲。然而，廣播交互式視頻也受到了越來越多的關(guān)注。在幾個國家中，現(xiàn)在廣播使觀眾能夠與遠程生成的視頻序列進行少量交互的電視節(jié)目。
在美國專利申請US 2003/0013526中公開了交互式廣播視頻系統(tǒng)的例子，其中中央控制建立了一個虛擬環(huán)境，在所述環(huán)境中觀眾參與由所述觀眾控制或設(shè)計的角色。結(jié)果，使所選擇的用戶能夠控制在廣播電視節(jié)目上所出現(xiàn)的角色。然而，不存在來自視頻序列的反饋，并且結(jié)果在所控制的角色和在視頻序列中所示出的其余虛擬環(huán)境之間不存在交互作用。
美國專利US5,684,715公開了一種交互式視頻系統(tǒng)，用于使操作者能夠選擇在視頻序列中所移動的對象。當(dāng)選擇時，可以改變交互程序的流程或者可以出現(xiàn)文本消息。為此，與視頻序列中的對象同步的視頻對象信息被采用。在此現(xiàn)有技術(shù)的視頻系統(tǒng)中，用戶交互作用限于流程的改變和所顯示的消息，所述用戶并不控制所選擇的對象。
本發(fā)明的目的是克服現(xiàn)有技術(shù)的這些及其它問題并且提供一種用于交互式視頻的設(shè)備和方法，特別是廣播交互式視頻，用于允許更多用戶交互。
據(jù)此，本發(fā)明提供了用于交互式視頻的設(shè)備，所述設(shè)備包括·視頻接受裝置，用于接收視頻圖像信息，·角色產(chǎn)生裝置，用于產(chǎn)生至少一個用戶可控制的角色，·檢測裝置，用于檢測角色和與所接收的視頻圖像信息相關(guān)聯(lián)的視頻對象的任何一致性，和·觸發(fā)裝置，用于響應(yīng)于任何所檢測的一致性來觸發(fā)事件。
通過使用視頻圖像信息和與所述視頻圖像信息相關(guān)聯(lián)的視頻對象信息，可以識別在視頻信息中的單個對象并且確定它們各自的位置。視頻對象被包括在視頻對象信息中并且用于定義在視頻圖像中對象的(動態(tài)或靜態(tài))位置和/或輪廓，并且所述視頻對象典型情況下根據(jù)視頻圖像信息來產(chǎn)生并且與所述視頻對象信息一起被接收或本地產(chǎn)生。通過提供用于檢測角色和視頻對象的一致性的檢測裝置，在角色和視頻序列之間真正的交互作用變得可能。觸發(fā)裝置可以觸發(fā)任何適當(dāng)?shù)氖录?，諸如聲音、角色的特定移動甚至是角色的消失。因此事件可以包括角色控制序列。
優(yōu)選地是，視頻信息是基本上連續(xù)的廣播視頻流，所述廣播視頻流優(yōu)選包括視頻圖像信息和相關(guān)聯(lián)的視頻對象信息。然而，本發(fā)明還可以應(yīng)用于來源于諸如DVD之類的數(shù)據(jù)載體的視頻圖像信息(和任何相關(guān)聯(lián)的視頻對象信息)?？梢砸勒諊H標(biāo)準MPEG-4來定義視頻對象，這是因為此標(biāo)準已經(jīng)允許在不同視頻層中容納視頻對象。還可以使用其它標(biāo)準，特別是交互式電視標(biāo)準，例如MHP(＂多媒體家庭平臺(Multimedia Home Platform)”，用于數(shù)字視頻廣播DVB的部分標(biāo)準，如在http//www.mhp.org上所更詳細解釋)和OpenTV。典型情況下這些標(biāo)準把交互作用層添加到視頻流，所述層包含諸如所述視頻流中各個對象的位置和大小之類的視頻對象信息。依照本發(fā)明，可以把此交互作用層與視頻流動態(tài)鏈接。
有益地是，依照本發(fā)明的設(shè)備還可以包括控制輸入裝置，用于接收響應(yīng)于用戶輸入所生成的角色控制信號。這使用戶能夠控制視頻角色。結(jié)果，由用戶和視頻流的視頻對象兩者來確定角色的＂行為″因此，本發(fā)明使得能夠在角色和用戶(＂玩家″)之間以及在角色及其＂環(huán)境″(即，圍繞所述角色的視頻對象)之間進行交互作用。
在有益的實施例中，角色產(chǎn)生裝置、檢測裝置和/或觸發(fā)裝置由微處理器構(gòu)成。這使所述裝置能夠大體上由單個組件構(gòu)成。
有益地是，本發(fā)明的設(shè)備由機頂盒和/或游戲控制臺構(gòu)成。
本發(fā)明還提供了用于交互式視頻的系統(tǒng)，所述系統(tǒng)包括·視頻源，用于提供視頻圖像信息和任何相關(guān)聯(lián)的視頻對象信息，·傳輸裝置，用于發(fā)送所述視頻圖像信息和任何相關(guān)聯(lián)的視頻對象信息，·接收裝置，用于接收所發(fā)送的視頻圖像信息和任何相關(guān)聯(lián)的視頻對象信息，·顯示屏，用于顯示所接收的視頻圖像信息，和·如上面所定義的設(shè)備。
這種系統(tǒng)使得能夠進行真正的交互式廣播視頻。視頻源可以包括遠程站或本地視頻存儲部件。如果視頻對象信息可用的話，那么視頻源可以生成這種信息。傳輸裝置可以包括已知的數(shù)字電視傳輸系統(tǒng)，但是在本地視頻存儲部件的情況下可以包括本地網(wǎng)絡(luò)或電纜。接收裝置和顯示屏可以一起由電視機構(gòu)成，優(yōu)選由數(shù)字電視機構(gòu)成。本發(fā)明的設(shè)備可以由機頂盒或游戲控制臺構(gòu)成，或者可以集成到電視機中。
有益地是，本發(fā)明的系統(tǒng)還包括視頻對象信息產(chǎn)生器，用于根據(jù)所接收的視頻圖像信息來產(chǎn)生視頻對象信息。視頻對象產(chǎn)生器可以依照諸如MPEG-4或OpenTV之類的已知標(biāo)準來操作，并且可以按照在所述標(biāo)準中的定義來生成視頻對象描述符。
本發(fā)明還提供了一種提供交互式視頻的方法，所述方法包括步驟·接收視頻圖像信息，·產(chǎn)生至少一個用戶可控制的角色，·檢測角色和與所接收的視頻圖像信息相關(guān)聯(lián)的視頻對象的任何一致性，并且·響應(yīng)于任何所檢測的一致性來觸發(fā)事件。
當(dāng)在適當(dāng)?shù)娘@示屏(例如電視屏幕)上顯示包含視頻對象的視頻信息和用戶可控制的角色時，用戶控制的角色可以與所述視頻圖像真正進行交互。
本發(fā)明還提供了一種用于執(zhí)行如上面所定義的方法的計算機程序產(chǎn)品。＂計算機程序”將被理解為意指在諸如軟盤之類的計算機可讀介質(zhì)上所存儲的、可經(jīng)由諸如因特網(wǎng)之類的網(wǎng)絡(luò)下載的，或以任何其它方式銷售的任何軟件產(chǎn)品。
下面參考在附圖中所圖示的示例性實施例來進一步解釋本發(fā)明，其中

圖1示意地示出了依照本發(fā)明的交互式視頻圖像。
圖2a-d示意地示出了圖1的交互式視頻圖像的組成部分。
圖3依照本發(fā)明示意地示出了用于提供交互式視頻的設(shè)備。
圖4依照本發(fā)明示意地示出了用于提供交互式視頻的系統(tǒng)。
在圖1中僅僅借助非限制性例子示出的交互式視頻圖像1包括用戶控制的角色2、視頻對象3、3’和3”以及游戲條4。在圖2a-d中示出了所述圖像1的組成部分。在所示出的實施例中，圖2a的原始視頻圖像是電視圖像并且是基本上連續(xù)的視頻流的一部分?？梢哉沾擞^看圖2a的原始視頻圖像，但是具有適當(dāng)設(shè)備的觀眾可以欣賞利用交互式角色增強的視頻流。
為此，把如圖2b所示的視頻對象集與所述圖像相關(guān)聯(lián)。所示出的賽車構(gòu)成視頻對象3，賽車道的邊界是視頻對象3’，而在邊界另一端的草地構(gòu)成了視頻對象3”。視頻對象可以根據(jù)視頻流的內(nèi)容而是相對靜態(tài)或(非常)動態(tài)的。
典型情況下，視頻對象與視頻流一起被發(fā)送，并且在發(fā)送端遠程產(chǎn)生。然而，還可以在用戶房屋的設(shè)備中的接收端本地產(chǎn)生視頻對象。
在圖2c中示出了用戶可控制的角色。在所示出的例子中，所述角色是賽車。此角色由用戶設(shè)備本地產(chǎn)生，并且被添加到圖2a的視頻圖像以便形成圖1的合成的視頻圖像。應(yīng)當(dāng)注意在圖1中添加可選的游戲條4，此游戲條幫助跟蹤用戶控制的角色，但是這并不是必須的。
盡管在圖像1中不可見，然而視頻對象3、3’、3”是可用的并且用來在用戶控制的角色和所述圖像之間提供交互作用。為此，本發(fā)明提供了對角色和視頻對象的任何一致性的檢測。在所示出的例子中，例如這可能會包括對角色2和跑道邊界視頻對象3’的任何一致性的檢測。如果角色2和跑道邊界3’一致，那么可以觸發(fā)事件。此事件可以包括丟失點或控制序列，諸如突然移動甚至角色的毀滅(撞車)。應(yīng)當(dāng)注意此事件控制序列優(yōu)先于任何用戶控制。
可以根據(jù)重疊來檢測角色和視頻對象的一致性。在數(shù)字圖像中，可以容易地檢測角色和視頻對象包括相同的像素(圖元)。代替簡單的重疊，可以使用更高級的一致性檢測過程，所述過程考慮視角。例如在圖1的圖像中，實際賽車(視頻對象3)和虛擬賽車(角色2)可能碰撞。在俯視圖中，這可能按照如圖像所示的汽車的任何重疊來檢測。然而在具有銳角視角的圖1的視圖中，簡單的重疊會導(dǎo)致早期檢測并且更逼真的碰撞檢測可能會調(diào)整到特定的視角。例如可以通過把輔助視頻對象與視頻對象3相關(guān)聯(lián)來執(zhí)行這種調(diào)整，輔助視頻對象的尺度隨視角而改變。為此，把視角(的估算)添加到視頻流中可能是有益的。
作為替代或除檢測到任何重疊之外，也可以根據(jù)近似性來檢測角色和視頻對象的＂一致性”。即，視頻角色的行為可以取決于視頻角色的近似性，即便在沒有任何重疊的情況下?？梢远x適當(dāng)?shù)慕菩远攘?，所述度量可以取決于視頻角色和視頻對象的相對大小、特定的視頻流及其它因素。任何近似性可以是像素或任何其它適當(dāng)單元的度量，諸如屏幕大小的百分比。
在圖3中示意性示出的依照本發(fā)明的設(shè)備10包括視頻接受部件11，用于接收包括視頻信息的輸入視頻信號，其中所述視頻信息包含視頻對象3，角色產(chǎn)生部件12，用于產(chǎn)生至少一個用戶可控制的角色2，檢測部件13，用于檢測角色2和視頻對象3的任何一致性，觸發(fā)部件14，用于響應(yīng)于任何所檢測的一致性來觸發(fā)事件，和控制輸入部件15，用于接收角色控制信號。在所示出的實施例中，設(shè)備10還包括視頻組合部件16，用于組合來自視頻接受部件11和角色產(chǎn)生部件12的視頻信息以便生成輸出視頻信號。
視頻接受部件11接收包含視頻圖像信息和視頻對象信息的視頻信號。視頻圖像信息被饋送到組合部件16，而視頻對象信息被傳遞到檢測部件13?？刂戚斎氩考?5從諸如操縱桿、鼠標(biāo)或遙控部件之類的用戶設(shè)備接收用戶控制信號。適當(dāng)?shù)目刂菩盘柋粡目刂戚斎氩考?5傳遞到角色產(chǎn)生部件12以便控制用戶控制的角色。角色產(chǎn)生部件12向組合部件16和檢測部件13輸出角色信息。由于檢測部件13接收了視頻對象信息和角色信息，所以它能夠檢測到所述角色和視頻對象的任何一致性。如果檢測到這種一致性，那么檢測部件13生成檢測信號，所述檢測信號被傳遞到觸發(fā)部件14，所述觸發(fā)部件14隨后可以觸發(fā)適當(dāng)?shù)氖录?。特定類型的事件可以取決于所涉及的角色和視頻對象，并且可以包括產(chǎn)生視覺和/或聽覺消息，執(zhí)行涉及所關(guān)注的角色的控制序列，或任何其它事件。如果控制序列被激活，那么觸發(fā)部件14向角色產(chǎn)生器12傳遞適當(dāng)?shù)男盘栆员憧刂扑鼋巧?。?yīng)當(dāng)注意，在控制序列由觸發(fā)裝置14發(fā)起的情況下，此控制序列典型情況下優(yōu)先于任何用戶控制信號。組合部件16輸出視頻接受部件11和角色產(chǎn)生部件12的組合視頻信號。
盡管為了圖示的清楚起見，把設(shè)備10的各個部件示為不同的部件，然而可以設(shè)想其中把兩個或多個部件組合為單個部件的實施例。這種單個部件可以由適當(dāng)?shù)奈⑻幚砥骱拖嚓P(guān)聯(lián)的存儲器和/或由專用集成電路(ASIC)構(gòu)成。
在圖4中僅僅借助非限制性例子所示出的系統(tǒng)100包括如上所述的交互式視頻設(shè)備10、視頻源20、顯示屏30和用戶控制設(shè)備40。優(yōu)選地是，視頻源20包括諸如電纜網(wǎng)之類的傳輸信道，用于實時發(fā)送遠程生成的視頻信息。然而，視頻源20還可以包括用于再現(xiàn)所存儲的視頻信息的設(shè)備，諸如DVD播放器。
來源于視頻源20并且輸入到交互式視頻設(shè)備10中的視頻信息優(yōu)選包括視頻圖像信息和視頻對象信息。這在圖4中分別由箭頭21和22來示意地表明。應(yīng)當(dāng)理解在實際實施例中，可以使用單個電纜來傳達這兩種類型的視頻信息，不過可以使用獨立的電纜。
交互式視頻設(shè)備10接收來自用戶控制設(shè)備40的控制信號，所述用戶控制設(shè)備40可以是用于生成用戶控制信號的操縱桿、鼠標(biāo)或任何其它適當(dāng)?shù)脑O(shè)備。設(shè)備10的輸出信號(也參見圖3)被饋送到顯示設(shè)備30，所述顯示設(shè)備30可以是能夠再現(xiàn)由所述設(shè)備10所輸出的組合視頻信息的電視機、計算機、獨立的顯示屏或任何其它設(shè)備。
應(yīng)當(dāng)注意，在圖4的例子中假定遠程生成視頻對象信息，并且設(shè)備10連同視頻圖像信息一起接收此信息(箭頭22)。然而，設(shè)備10還可以本地生成視頻對象信息。為此，設(shè)備10可能需要一個視頻對象產(chǎn)生器，用于根據(jù)視頻圖像信息來產(chǎn)生視頻對象。
本發(fā)明是基于可以通過檢測在角色和與視頻流相關(guān)聯(lián)的視頻對象之間的任何一致性來在所述角色和視頻流之間添加交互作用的認識的。依照這種方式，可以由用戶和視頻流來控制角色。
應(yīng)當(dāng)注意，在此文檔中所使用的任何術(shù)語不應(yīng)當(dāng)被解釋為對本發(fā)明范圍的限制。特別地是，詞＂包括”和＂包含”并不意味著排除并未特別聲明的任何元件。單個(電路)元件可以用多個(電路)元件或其等效物來代替。
本領(lǐng)域內(nèi)技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明不局限于上面所圖示的實施例，并且在不脫離如所附權(quán)利要求所定義的本發(fā)明范圍的前提下，可以進行許多修改和補充。
權(quán)利要求
1.一種用于交互式視頻的設(shè)備(10)，所述設(shè)備包括·視頻接受裝置(11)，用于接收視頻圖像信息，·角色產(chǎn)生裝置(12)，用于產(chǎn)生至少一個用戶可控制的角色(2)，·檢測裝置(13)，用于檢測角色(2)和與所接收的視頻圖像信息相關(guān)聯(lián)的視頻對象(3)的任何一致性，和·觸發(fā)裝置(14)，用于響應(yīng)于任何所檢測的一致性來觸發(fā)事件。
2.如權(quán)利要求1所述的設(shè)備，還包括控制輸入裝置(15)，用于接收角色控制信號。
3.如權(quán)利要求1或2所述的設(shè)備，其中事件包括對用戶可控制的角色的設(shè)備控制。
4.如先前權(quán)利要求中任何一個所述的設(shè)備，其中所述視頻接受裝置(11)被配置成另外接收與所接收的視頻圖像信息相關(guān)聯(lián)的視頻對象信息。
5.如權(quán)利要求1到3中任何一個所述的設(shè)備，還包括視頻對象信息產(chǎn)生器裝置，用于產(chǎn)生與所接收的視頻圖像信息相關(guān)聯(lián)的視頻對象信息。
6.如先前權(quán)利要求中任何一個所述的設(shè)備，所述設(shè)備由機頂盒或游戲控制臺構(gòu)成。
7.如先前權(quán)利要求中任何一個所述的設(shè)備，其中所述角色產(chǎn)生裝置(12)、檢測裝置(13)和/或觸發(fā)裝置(14)由微處理器構(gòu)成。
8.如先前權(quán)利要求中任何一個所述的設(shè)備，其中用戶可控制的角色是汽車，優(yōu)選是賽車。
9.一種用于交互式視頻的系統(tǒng)(100)，所述系統(tǒng)包括·視頻源(20)，用于提供視頻圖像信息和任何相關(guān)聯(lián)的視頻對象信息，·傳輸裝置，用于發(fā)送所述視頻圖像信息和任何相關(guān)聯(lián)的視頻對象信息，·接收裝置，用于接收所發(fā)送的視頻信息和任何相關(guān)聯(lián)的視頻對象信息，·顯示屏(30)，用于顯示所接收的視頻信息和任何相關(guān)聯(lián)的視頻對象信息，和·依照先前權(quán)利要求中任何一個所述的設(shè)備(10)。
10.如權(quán)利要求9所述的系統(tǒng)，還包括視頻對象信息產(chǎn)生器，用于根據(jù)視頻信息來產(chǎn)生視頻對象信息。
11.如權(quán)利要求9或10所述的系統(tǒng)，還包括控制設(shè)備(40)，被配置成響應(yīng)于來自用戶的輸入來生成角色控制信號。
12.一種用于提供交互式視頻的方法，所述方法包括步驟·接收視頻圖像信息，·產(chǎn)生至少一個用戶可控制的角色(2)，·檢測角色(2)和與所接收的視頻圖像信息相關(guān)聯(lián)的視頻對象(3)的任何一致性，并且·響應(yīng)于任何所檢測的一致性來觸發(fā)事件。
13.如權(quán)利要求12所述的方法，還包括步驟接收與所接收的視頻圖像信息相關(guān)聯(lián)的視頻對象信息。
14.一種用于執(zhí)行如權(quán)利要求12或13所述的方法的計算機程序產(chǎn)品。
全文摘要
交互式視頻可以涉及用戶控制的角色?？梢酝ㄟ^使用視頻對象(3，3’)并且檢測在用戶控制的角色(2)和視頻對象之間的任何一致性來提供在廣播交互式視頻中的附加交互作用。如果檢測到一致性，那么可以觸發(fā)事件。這種事件可以包括對用戶控制的角色的設(shè)備控制。
文檔編號A63F13/12GK1894012SQ200480037957
公開日2007年1月10日 申請日期2004年12月3日 優(yōu)先權(quán)日2003年12月19日
發(fā)明者M·赫塞曼斯 申請人:皇家飛利浦電子股份有限公司