對(duì)媒體流進(jìn)行處理以便在多個(gè)端點(diǎn)同步輸出的制作方法
【專利摘要】用于處理媒體流的方法和通信系統(tǒng)。多個(gè)同步媒體流被提供至處于通信系統(tǒng)的相應(yīng)多個(gè)端點(diǎn)處的相應(yīng)多個(gè)通信客戶端。該通信客戶端在該端點(diǎn)輸出該媒體流，其中媒體流的所述提供和輸出所需的時(shí)間量對(duì)于多個(gè)端點(diǎn)而言有所不同。至少一個(gè)媒體流的所述提供和所述輸出中的至少一個(gè)被控制而使得多個(gè)媒體流在多個(gè)端點(diǎn)處的輸出得以同步。
【專利說(shuō)明】對(duì)媒體流進(jìn)行處理以便在多個(gè)端點(diǎn)同步輸出
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對(duì)媒體流進(jìn)行處理。特別地，本發(fā)明涉及在通信系統(tǒng)的通信客戶端對(duì)媒體流進(jìn)行處理。
【背景技術(shù)】
[0002]媒體流可以被提供至通信系統(tǒng)的多個(gè)端點(diǎn)。例如，媒體流可以通過(guò)諸如互聯(lián)網(wǎng)、電話網(wǎng)絡(luò)(例如，PSTN或移動(dòng)電話網(wǎng)絡(luò))或電視網(wǎng)絡(luò)之類的網(wǎng)絡(luò)而被廣播至通信系統(tǒng)的多個(gè)端點(diǎn)。
[0003]媒體流可以在多個(gè)端點(diǎn)處實(shí)時(shí)(即當(dāng)它們?cè)诙它c(diǎn)處被接收時(shí))輸出給相應(yīng)用戶。例如，媒體流可以是電視媒體流并且該電視媒體流的內(nèi)容例如可以是諸如體育賽事或音樂(lè)會(huì)之類的直播事件。可以當(dāng)其在多個(gè)端點(diǎn)處被接收時(shí)實(shí)時(shí)輸出的媒體流的另一個(gè)示例是游戲媒體流，例如其中多個(gè)用戶(或“玩家”)通過(guò)互聯(lián)網(wǎng)玩游戲，媒體流被輸出給不同端點(diǎn)處的玩家以由此允許他們同時(shí)與游戲進(jìn)行交互，并且甚至在游戲中與他人進(jìn)行交互。

【發(fā)明內(nèi)容】

[0004]發(fā)明人已經(jīng)意識(shí)到，在媒體流被傳送至多個(gè)端點(diǎn)的一些情況下，將媒體流傳送至端點(diǎn)并且從該端點(diǎn)輸出媒體流所需的時(shí)間量對(duì)于多個(gè)端點(diǎn)而言有所不同。這會(huì)導(dǎo)致同步的媒體流在它們從端點(diǎn)進(jìn)行輸出時(shí)變得不同步。發(fā)明人進(jìn)一步意識(shí)到，在這樣的情況下，能夠?qū)γ襟w流在多個(gè)端點(diǎn)處的輸出進(jìn)行控制以使得它們同步。
[0005]根據(jù)本發(fā)明的第一方面，提供了一種對(duì)通信系統(tǒng)中的媒體流進(jìn)行處理的方法，該方法包括:將多個(gè)同步媒體流提供至處于通信系統(tǒng)的相應(yīng)多個(gè)端點(diǎn)處的相應(yīng)多個(gè)通信客戶端；該通信客戶端在該端點(diǎn)輸出該媒體流，其中媒體流的所述提供和輸出所需的時(shí)間量對(duì)于多個(gè)端點(diǎn)而言有所不同；并且對(duì)至少一個(gè)媒體流的所述提供和所述輸出中的至少一個(gè)進(jìn)行控制而使得多個(gè)媒體流的輸出在多個(gè)端點(diǎn)處得以同步。
[0006]以這種方式，多個(gè)媒體流的輸出在多個(gè)端點(diǎn)處被同步。這意味著無(wú)論向端點(diǎn)提供媒體流以及從端點(diǎn)進(jìn)行媒體流輸出所需的時(shí)間量如何，媒體流都可以在多個(gè)端點(diǎn)處同時(shí)輸出。出于如這里所描述的多個(gè)原因這會(huì)是有益的。就以同步方式進(jìn)行輸出會(huì)有利于媒體流的意義而言，媒體流是“同步媒體流”。同步媒體流可以彼此相同，例如在同步媒體流是用于將電視媒體流傳輸至多個(gè)端點(diǎn)的電視媒體流的情況下。然而，同步媒體流并非必然彼此相同，例如在同步媒體流是要提供至多個(gè)游戲玩家的游戲媒體流的情況下，媒體流對(duì)于每個(gè)用戶而言可以有所不同，但是就它們應(yīng)當(dāng)以同步方式被輸出給用戶的意義而言，它們?nèi)匀豢梢员徽J(rèn)為是“同步的”。從端點(diǎn)提供和輸出媒體流“所需的時(shí)間量”是這些處理在它們針對(duì)每個(gè)媒體流被單獨(dú)執(zhí)行的情況下將要耗費(fèi)的時(shí)間量。然而，以上所描述的方法考慮到了每個(gè)媒體流的所需時(shí)間量并且因此對(duì)每個(gè)媒體流的處理進(jìn)行控制以使得該媒體流被同步輸出。這意味著媒體流全部都在與在各個(gè)端點(diǎn)處提供和輸出媒體流所需的最長(zhǎng)時(shí)間相等的時(shí)間量之后被輸出。以這種方式，該方法提供了對(duì)跨通信系統(tǒng)的多個(gè)端點(diǎn)進(jìn)行輸出的媒體流的全局控制。
[0007]優(yōu)選實(shí)施例涉及在兩個(gè)或更多端點(diǎn)處對(duì)諸如流傳輸?shù)摹包c(diǎn)播”視頻或立體聲視頻之類的媒體流的輸出進(jìn)行控制，以使得媒體流的輸出在端點(diǎn)處是同步的。例如，在媒體流是電視媒體流的情況下，可以對(duì)媒體流進(jìn)行控制以使得處于兩個(gè)位置(處于兩個(gè)端點(diǎn))的用戶能夠在完全相同的時(shí)間收看到相同的電視媒體。當(dāng)媒體流被輸出給端點(diǎn)處的用戶的同時(shí)在兩個(gè)用戶之間還存在著通信活動(dòng)(event)時(shí)，以這種方式對(duì)媒體流進(jìn)行同步是特別有益的。對(duì)兩個(gè)電視媒體流進(jìn)行同步能夠確保第一用戶(在同時(shí)的通信活動(dòng)中)并不會(huì)聽(tīng)到第二用戶對(duì)于第一用戶還沒(méi)有看到的電視媒體流活動(dòng)的反應(yīng)一例如，在電視媒體流的內(nèi)容是足球比賽的情況下第二用戶對(duì)于進(jìn)球的反應(yīng)。
[0008]如以上所描述的，媒體流可以是游戲媒體流。以這種方式，一些實(shí)施例允許對(duì)游戲的響應(yīng)時(shí)間進(jìn)行同步和/或補(bǔ)償。例如，如果兩個(gè)玩家在通過(guò)互聯(lián)網(wǎng)玩游戲，當(dāng)通過(guò)互聯(lián)網(wǎng)與管理兩個(gè)玩家之間的游戲的服務(wù)器進(jìn)行通信時(shí)，具有最慢延遲的玩家具有優(yōu)勢(shì)。可以在服務(wù)器對(duì)每個(gè)端點(diǎn)之間的通信等待時(shí)間(latency)進(jìn)行定期監(jiān)視并且可以延遲具有優(yōu)勢(shì)的玩家(即，具有較短等待時(shí)間的玩家)的響應(yīng)時(shí)間以對(duì)該優(yōu)勢(shì)進(jìn)行補(bǔ)償并且與第二玩家的等待時(shí)間進(jìn)行匹配。這使得游戲更多地取決于每個(gè)玩家的技巧而不是他們的端點(diǎn)和管理游戲的服務(wù)器之間的通信的響應(yīng)時(shí)間。
[0009]通信客戶端可以在媒體流在多個(gè)端點(diǎn)處進(jìn)行所述提供和輸出的同時(shí)通過(guò)通信系統(tǒng)而進(jìn)行相互的通信活動(dòng)。該方法可以進(jìn)一步包括:當(dāng)多個(gè)端點(diǎn)中的第一個(gè)的用戶向多個(gè)端點(diǎn)中的所述第一個(gè)的通信客戶端提供該通信活動(dòng)的用戶輸入時(shí)，確定當(dāng)前在多個(gè)端點(diǎn)中的所述第一個(gè)輸出的媒體流的媒體要素；將所確定的來(lái)自多個(gè)端點(diǎn)中的所述第一個(gè)的媒體要素的指示作為所述通信活動(dòng)的一部分傳送至多個(gè)端點(diǎn)中的第二個(gè)；并且對(duì)該通信活動(dòng)在多個(gè)端點(diǎn)中的第二個(gè)處的輸出進(jìn)行控制以使得所述用戶輸入在所述多個(gè)端點(diǎn)中的第二個(gè)處晚于所述指示所指示的確定的媒體要素而被輸出。
[0010]提供多個(gè)同步媒體流的步驟可以包括將多個(gè)同步媒體流中的至少一個(gè)通過(guò)通信系統(tǒng)提供至多個(gè)端點(diǎn)中相應(yīng)的至少一個(gè)。提供多個(gè)同步媒體流的步驟可以包括將多個(gè)同步媒體流從通信系統(tǒng)的服務(wù)器通過(guò)該通信系統(tǒng)而傳送至多個(gè)端點(diǎn)。可替換地，提供多個(gè)同步媒體流的步驟可以包括將多個(gè)同步媒體流中的所述至少一個(gè)從多個(gè)端點(diǎn)中的另一個(gè)通過(guò)該通信系統(tǒng)而傳送至多個(gè)端點(diǎn)中相應(yīng)的至少一個(gè)。
[0011]該方法可以進(jìn)一步包括:在媒體流中包括同步信息；并且將該媒體流在多個(gè)端點(diǎn)處進(jìn)行緩沖，其中通信客戶端依據(jù)媒體流中的同步信息而在端點(diǎn)處輸出該媒體流。
[0012]媒體流之一中所包括的同步信息可以包括時(shí)間戳，其包括在該媒體流的幀的報(bào)頭之中，其中相對(duì)應(yīng)的通信客戶端可以在該時(shí)間戳所指示的時(shí)間在相對(duì)應(yīng)的端點(diǎn)處輸出該媒體流的幀。該方法可以進(jìn)一步包括由媒體流的源將幀標(biāo)識(shí)符插入到媒體流之一之中，由此將時(shí)間戳與所述幀相關(guān)聯(lián)。該方法可以進(jìn)一步包括使用幀中的數(shù)據(jù)生成標(biāo)識(shí)符以由此將時(shí)間戳與所述幀相關(guān)聯(lián)。
[0013]該方法可以進(jìn)一步包括對(duì)媒體流在多個(gè)端點(diǎn)處的所述提供和輸出所需的時(shí)間量進(jìn)行監(jiān)視，其中對(duì)至少一個(gè)媒體流的所述提供和所述輸出中的至少一個(gè)進(jìn)行的所述控制包括向至少一個(gè)媒體流的所述提供和所述輸出中的至少一個(gè)添加延遲以使得多個(gè)媒體流在多個(gè)端點(diǎn)處的輸出得以同步。[0014]該監(jiān)視步驟可以由相應(yīng)通信客戶端來(lái)執(zhí)行，并且該方法可以進(jìn)一步包括通過(guò)通信系統(tǒng)在通信客戶端之間傳送與所監(jiān)視的時(shí)間量相關(guān)的信息，其中所述客戶端中的至少一個(gè)向至少一個(gè)媒體流的所述提供和所述輸出中的至少一個(gè)添加延遲以使得多個(gè)媒體流在多個(gè)端點(diǎn)處的輸出得以同步。
[0015]該監(jiān)視步驟可以由通信系統(tǒng)的服務(wù)器來(lái)執(zhí)行。
[0016]對(duì)至少一個(gè)媒體流的所述提供和所述輸出中的至少一個(gè)進(jìn)行控制的步驟可以至少部分基于在多個(gè)端點(diǎn)之一從用戶所接收的媒體控制輸入。
[0017]每個(gè)媒體流可以是視頻流、音頻流和多媒體流之一。每個(gè)媒體流可以是電視媒體流和游戲媒體流之一。
[0018]根據(jù)本發(fā)明的第二方面，提供了一種用于處理媒體流的通信系統(tǒng)，該通信系統(tǒng)包括:多個(gè)端點(diǎn)，其包括相應(yīng)的多個(gè)通信客戶端，該通信客戶端被配置為輸出提供至該通信客戶端的相應(yīng)多個(gè)媒體流，其中提供和輸出媒體流所需的時(shí)間量對(duì)于多個(gè)端點(diǎn)而言有所不同；和控制器，其被配置為對(duì)至少一個(gè)媒體流的所述提供和所述輸出中的至少一個(gè)進(jìn)行控制以使得多個(gè)媒體流在多個(gè)端點(diǎn)處的輸出得以同步。
[0019]該通信客戶端可以進(jìn)一步被配置為在媒體流在多個(gè)端點(diǎn)處進(jìn)行所述提供和輸出的同時(shí)通過(guò)通信系統(tǒng)而進(jìn)行相互的通信活動(dòng)。
[0020]該通信系統(tǒng)可以進(jìn)一步包括服務(wù)器，其包括所述控制器。
[0021]根據(jù)本發(fā)明的第三方面，提供了體現(xiàn)于相應(yīng)的多個(gè)非瞬時(shí)計(jì)算機(jī)可讀媒體上并且包括代碼的多個(gè)計(jì)算機(jī)程序產(chǎn)品，該代碼被配置為在通信系統(tǒng)的相應(yīng)多個(gè)端點(diǎn)上執(zhí)行時(shí)執(zhí)行依據(jù)這里所描述的方法的操作。
【專利附圖】

【附圖說(shuō)明】
[0022]為了更好地理解本發(fā)明并且示出其可以如何實(shí)施，現(xiàn)在將通過(guò)示例參考附圖，其中:
圖1示出了根據(jù)優(yōu)選實(shí)施例的通信系統(tǒng)；
圖2示出了根據(jù)優(yōu)選實(shí)施例的用戶終端的框圖；和 圖3是根據(jù)優(yōu)選實(shí)施例的對(duì)媒體流進(jìn)行處理的過(guò)程的流程圖。
【具體實(shí)施方式】
[0023]現(xiàn)在將僅通過(guò)示例而對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行描述。
[0024]圖1示出了通信系統(tǒng)，其包括具有相關(guān)聯(lián)的第一用戶終端104的第一用戶(用戶A)102、具有相關(guān)聯(lián)的第二用戶終端114的第二用戶(用戶B) 112以及具有相關(guān)聯(lián)的第三用戶終端124的第三用戶(用戶C)122。在其它實(shí)施例中，通信系統(tǒng)可以包括任意數(shù)量的用戶和相關(guān)聯(lián)用戶終端。用戶終端104、114和124能夠通過(guò)通信系統(tǒng)中的網(wǎng)絡(luò)108進(jìn)行通信，因此允許用戶102、112和122通過(guò)網(wǎng)絡(luò)108互相通信。在優(yōu)選實(shí)施例中，該通信系統(tǒng)是基于分組的P2P通信系統(tǒng)，但是也能夠使用其它類型的通信系統(tǒng)，諸如非P2P、VoIP或頂系統(tǒng)。網(wǎng)絡(luò)108例如可以是互聯(lián)網(wǎng)、電話網(wǎng)絡(luò)(諸如PSTN或移動(dòng)電話網(wǎng)絡(luò))或電視網(wǎng)絡(luò)。用戶終端104例如可以是移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、個(gè)人計(jì)算機(jī)(PC)(例如包括Windows?、Mac OS?和Linux?的PC)、游戲設(shè)備或者能夠連接至網(wǎng)絡(luò)108的其它嵌入式設(shè)備。用戶終端104被配置為從用戶終端104的用戶102接收信息并向其輸出信息。在本發(fā)明的優(yōu)選實(shí)施例中，用戶終端104包括諸如屏幕的顯示器以及諸如鍵盤(pán)、鼠標(biāo)、觸摸屏、小鍵盤(pán)和/或操縱桿之類的輸入設(shè)備。用戶終端104連接至網(wǎng)絡(luò)108。
[0025]用戶終端104執(zhí)行由與通信系統(tǒng)相關(guān)聯(lián)的軟件提供商所提供的通信客戶端106。通信客戶端106是在用戶終端104中的本地處理器上執(zhí)行的軟件程序。客戶端106在用戶終端104執(zhí)行為了使得用戶終端104通過(guò)通信系統(tǒng)傳送和接收數(shù)據(jù)的所需處理。如本領(lǐng)域已知的，客戶端106可以通過(guò)數(shù)字證書(shū)的存在而被認(rèn)證以通過(guò)通信系統(tǒng)進(jìn)行通信(例如，以證明用戶A 102是該通信系統(tǒng)的真正用戶一在W02005/009019中更為詳細(xì)地進(jìn)行描述)。
[0026]用戶終端114和124對(duì)應(yīng)于用戶終端104。用戶終端114在本地處理器上執(zhí)行與通信客戶端106相對(duì)應(yīng)的通信客戶端116。以客戶端106執(zhí)行允許用戶102通過(guò)網(wǎng)絡(luò)108進(jìn)行通信的所需處理相同的方式，客戶端116執(zhí)行允許用戶112通過(guò)網(wǎng)絡(luò)108進(jìn)行通信的所需處理。用戶終端124在本地處理器上執(zhí)行與通信客戶端106相對(duì)應(yīng)的通信客戶端126。以客戶端106執(zhí)行允許用戶102通過(guò)網(wǎng)絡(luò)108進(jìn)行通信所的所需處理相同的方式，客戶端126執(zhí)行允許用戶122通過(guò)網(wǎng)絡(luò)108進(jìn)行通信的所需處理。用戶終端104、114和124是通信系統(tǒng)中的端點(diǎn)。圖1出于簡(jiǎn)明僅示出了三個(gè)用戶(102、112和122)，但是如本領(lǐng)域中已知的，有更多用戶可以連接至通信系統(tǒng)，并且可以使用在通信系統(tǒng)的相應(yīng)端點(diǎn)上執(zhí)行的相應(yīng)通信客戶端而通過(guò)通信系統(tǒng)進(jìn)行通信。該通信系統(tǒng)包括網(wǎng)絡(luò)108上的服務(wù)器110。
[0027]圖2圖示了在其上執(zhí)行客戶端106的用戶終端104的詳細(xì)視圖。用戶終端104包括中央處理單元(CPU)202，諸如屏幕的顯示器204、諸如鍵盤(pán)(或小鍵盤(pán))206的輸入設(shè)備以及諸如鼠標(biāo)208的指示設(shè)備與之進(jìn)行連接。顯示器204可以包括用于向CPU 202輸入數(shù)據(jù)的觸摸屏。輸出音頻設(shè)備210 (例如，揚(yáng)聲器)和輸入音頻設(shè)備212 (例如，麥克風(fēng))連接至CPU 202。顯示器204、鍵盤(pán)206、鼠標(biāo)208、輸出音頻設(shè)備210和輸入音頻設(shè)備212集成到用戶終端104中。在可替換的用戶終端中，顯示器204、鍵盤(pán)206、鼠標(biāo)208、輸出音頻設(shè)備210和輸入音頻設(shè)備212中的一個(gè)或多個(gè)可以不集成到用戶終端104中并且可以經(jīng)由相應(yīng)接口連接至CPU 202。這樣的接口的一個(gè)示例是USB接口。CPU 202連接至諸如調(diào)制解調(diào)器的網(wǎng)絡(luò)接口 224以便與網(wǎng)絡(luò)108進(jìn)行通信。如圖2所示，網(wǎng)絡(luò)接口 224可以集成到用戶終端104中。在可替換的用戶終端中，網(wǎng)絡(luò)接口 224并不集成到用戶終端104中。如本領(lǐng)域已知的，用戶終端104還包括用于存儲(chǔ)數(shù)據(jù)的存儲(chǔ)器226。
[0028]圖2還圖示了在CPU 202上執(zhí)行的操作系統(tǒng)(0S)214。在OS 214頂端運(yùn)行用于客戶端106的軟件棧216。該軟件棧示出了客戶端協(xié)議層218、客戶端引擎層220和客戶端用戶界面層(UI)222。每一層負(fù)責(zé)特定的功能。由于每一層通常與其它兩層進(jìn)行通信，所以它們被視為排列于如圖2所示的堆棧之中。操作系統(tǒng)214對(duì)計(jì)算機(jī)的硬件資源進(jìn)行管理并且處理經(jīng)由網(wǎng)絡(luò)接口 224而往來(lái)于網(wǎng)絡(luò)進(jìn)行傳送的數(shù)據(jù)。客戶端軟件的客戶端協(xié)議層218與操作系統(tǒng)214進(jìn)行通信并且對(duì)通信系統(tǒng)上的連接進(jìn)行管理。需要較高級(jí)別處理的處理被送至客戶端引擎層220?？蛻舳艘?20還與客戶端用戶界面層222進(jìn)行通信?？蛻舳艘?20可以被配置為對(duì)客戶端用戶界面層222進(jìn)行控制以經(jīng)由客戶端的用戶界面向用戶102呈現(xiàn)信息并且經(jīng)由用戶界面從用戶102接收信息。
[0029]用戶終端114和124以與如以上所描述的用戶終端104相同的方式實(shí)施，其中用戶終端114和124可以具有與這里關(guān)于用戶終端104所描述的那些相對(duì)應(yīng)的部件。[0030]現(xiàn)在參考圖3對(duì)根據(jù)優(yōu)選實(shí)施例的處理媒體流的方法進(jìn)行描述。
[0031]在步驟S302，相應(yīng)多個(gè)媒體流被提供至多個(gè)客戶端(106、116和126)。例如，媒體流可以從服務(wù)器110通過(guò)網(wǎng)絡(luò)108傳送至客戶端106、116和126。可替換地，媒體流的源可以是端點(diǎn)之一，例如端點(diǎn)104。媒體流可以存儲(chǔ)在端點(diǎn)104的存儲(chǔ)器226中并且可以被提供至端點(diǎn)104中的客戶端106，并且通過(guò)網(wǎng)絡(luò)108而被傳送至客戶端116和126。
[0032]在步驟S304，客戶端106、116和126在相應(yīng)端點(diǎn)104、114和124輸出媒體流。以這種方式，媒體流被輸出至用戶102、112和122。輸出媒體流可以涉及在媒體流之前被編碼的情況下對(duì)該媒體流進(jìn)行解碼。
[0033]步驟S306表示對(duì)提供和/或輸出步驟S302和S304的時(shí)序的控制。在步驟S302中向客戶端106、116和126提供媒體流以及在步驟S304中向用戶102、112和122輸出媒體流得以被控制以使得媒體流在端點(diǎn)104、114和124被同步輸出。以下描述了可以在其中執(zhí)行步驟S306的控制的各個(gè)實(shí)施例。
[0034]在一個(gè)實(shí)施例中，客戶端106接收媒體流并且確定該媒體流的媒體要素被輸出至端點(diǎn)104的用戶102的時(shí)間的指示。類似地,客戶端116接收同步媒體流并且確定該同步媒體流的相對(duì)應(yīng)媒體要素被輸出至端點(diǎn)114的用戶112的時(shí)間的指示。以下對(duì)可以被用來(lái)對(duì)此進(jìn)行實(shí)施的兩種方法進(jìn)行描述。
[0035]第一種方法涉及向每個(gè)或一些視頻幀上的報(bào)頭添加時(shí)間戳(許多用于處理視頻信號(hào)的協(xié)議已經(jīng)具有該功能)并且將視頻信號(hào)在端點(diǎn)處進(jìn)行緩沖。該視頻信號(hào)被緩沖一定時(shí)間量以使得具有時(shí)間戳的特定幀在該時(shí)間戳所指示的時(shí)間進(jìn)行輸出。換句話說(shuō)，該視頻信號(hào)被緩沖以將給定幀的傳輸與給定時(shí)間戳相匹配。該方法依賴于幀與特定時(shí)間戳相匹配的方式，這能夠以多種方式來(lái)完成。一種簡(jiǎn)單的方式是令視頻源將具體幀標(biāo)識(shí)符插入到時(shí)間戳中以使得該時(shí)間戳能夠特別識(shí)別出與之相匹配的幀?？商鎿Q地，給定幀中的信息可以被用來(lái)生成能夠被用作該幀的標(biāo)識(shí)符的數(shù)字。該數(shù)字優(yōu)選地足夠大以使得其能夠被用作幀的臨時(shí)唯一標(biāo)識(shí)符。該數(shù)字隨后可以被包括在時(shí)間戳中以使得該時(shí)間戳能夠識(shí)別與之相匹配的幀。
[0036]第二種方法涉及對(duì)每個(gè)端點(diǎn)處相對(duì)于同步媒體流的源的等待時(shí)間進(jìn)行監(jiān)視并且針對(duì)相應(yīng)等待時(shí)間進(jìn)行調(diào)節(jié)。該方法可能比第一種方法更為簡(jiǎn)單，但是在對(duì)媒體流的輸出進(jìn)行同步的方面可能較不講究且較不嚴(yán)密。對(duì)每個(gè)端點(diǎn)處的等待時(shí)間進(jìn)行的監(jiān)視被用來(lái)確定需要應(yīng)用于從至少一個(gè)端點(diǎn)輸出的媒體流的輸出延遲以確保媒體流跨所有端點(diǎn)都是同步的。
[0037]要在每個(gè)端點(diǎn)處應(yīng)用于媒體流的延遲可以在客戶端進(jìn)行計(jì)算。例如，客戶端106能夠識(shí)別出數(shù)據(jù)要素(例如，來(lái)自媒體流中的分組編號(hào) X的數(shù)據(jù)要素)準(zhǔn)備在時(shí)間T從端點(diǎn)104輸出至用戶102。該信息可以被傳送至客戶端116(8卩，與之交換)?？蛻舳?16可以確定來(lái)自分組編號(hào)X的相對(duì)應(yīng)數(shù)據(jù)要素還沒(méi)有在端點(diǎn)114被接收，或者在時(shí)間T+t秒之前將無(wú)法從端點(diǎn)114輸出。響應(yīng)于在客戶端116確定輸出遲滯，客戶端116可以通過(guò)網(wǎng)絡(luò)108向客戶端106傳送請(qǐng)求以請(qǐng)求第一客戶端處的媒體輸出延遲t秒。以這種方式，媒體流的數(shù)據(jù)要素在端點(diǎn)104和114處的輸出得以同步。
[0038]提供至端點(diǎn)104、114和124的媒體流的數(shù)據(jù)可以包括同步信息。該同步信息可以被每個(gè)客戶端106、116和126用來(lái)識(shí)別相對(duì)應(yīng)的媒體要素(或“媒體分段”)，而不是在分組層面對(duì)同步進(jìn)行分析。以這種方式，客戶端106、116和126能夠識(shí)別出媒體流中應(yīng)當(dāng)以同步方式從端點(diǎn)104、114和124輸出的不同數(shù)據(jù)要素。
[0039]在另一個(gè)實(shí)施例中，可以在服務(wù)器110基于從客戶端(106、116和126)提供至服務(wù)器110的信息而針對(duì)每個(gè)端點(diǎn)(104、114和124)確定遲滯時(shí)間。這在服務(wù)器110是提供至客戶端(106、116和126)的媒體流的源的情況下是特別有利的。例如，在媒體流從服務(wù)器110流傳輸至客戶端(106、116和126)的情況下，服務(wù)器110可以向媒體流施加以相應(yīng)延遲以便使得該媒體流在端點(diǎn)(104、114和124)處的輸出同步。例如，如果用于向端點(diǎn)114傳送媒體流以及從其輸出媒體流的遲滯時(shí)間長(zhǎng)于端點(diǎn)104的相對(duì)應(yīng)遲滯時(shí)間，則與其將在向端點(diǎn)114進(jìn)行傳輸之前施加于媒體流的延遲相比，服務(wù)器將在向端點(diǎn)104進(jìn)行傳輸之前對(duì)媒體流施加以更大延遲。以這種方式，媒體流在端點(diǎn)104和114處的輸出得以同步。
[0040]可以通過(guò)對(duì)從對(duì)應(yīng)用戶(102、112和122)輸入的媒體控制指令進(jìn)行分析來(lái)確定每個(gè)端點(diǎn)(104、114和124)處的遲滯。用戶可以輸入的媒體控制指令的示例是播放、暫停和快進(jìn)。以這種方式，至少在一定程度上，用戶能夠?qū)κ┘佑趶钠湎鄳?yīng)端點(diǎn)所提供的媒體流的遲滯進(jìn)行控制。
[0041]在端點(diǎn)處輸出同步媒體流的同時(shí)，可能通過(guò)網(wǎng)絡(luò)而在端點(diǎn)的客戶端之間存在有通信活動(dòng)。該通信活動(dòng)例如可以是音頻呼叫或視頻呼叫。該通信活動(dòng)以及媒體流的輸出可以同時(shí)進(jìn)行。在這種情況下，令媒體流在端點(diǎn)處的輸出得以同步是特別有利的。以這種方式，正在進(jìn)行呼叫的用戶(例如，102和112)將在其呼叫期間在端點(diǎn)104和114處同步觀看媒體流。這意味著用戶102和112將在同時(shí)對(duì)媒體流作出反應(yīng)，這會(huì)是有益的。例如，如果媒體流正在播出足球比賽，則兩個(gè)用戶將同時(shí)觀看到進(jìn)球。
[0042]在一些實(shí)施例中，在通信活動(dòng)期間，用戶102向客戶端106提供一些用戶輸入(例如，語(yǔ)音輸入)。當(dāng)該用戶輸入在客戶端106被接收時(shí)，客戶端106確定當(dāng)前從端點(diǎn)104輸出的媒體流的媒體要素。該媒體要素與從用戶102所接收的用戶輸入相對(duì)應(yīng)。將該用戶輸入與相對(duì)應(yīng)媒體要素相關(guān)聯(lián)的信息作為附屬信息(side information)隨該通信活動(dòng)的內(nèi)容一起傳送至客戶端116，例如作為呼叫的編碼音頻信號(hào)的附屬信息。接收該附屬信息的端點(diǎn)終端114能夠確保通信流的輸出得到控制而至少晚于媒體流中的相對(duì)應(yīng)媒體要素而出現(xiàn)。其有用之處在于，當(dāng)兩個(gè)用戶在觀看同步媒體流的同時(shí)進(jìn)行通信活動(dòng)時(shí)，確保一個(gè)用戶在媒體流在其端點(diǎn)處輸出之前不會(huì)聽(tīng)到其它用戶對(duì)媒體流中的事件的反應(yīng)。
[0043]以上所描述的方法步驟可以在端點(diǎn)處以軟件或硬件來(lái)實(shí)施。作為示例，計(jì)算機(jī)程序產(chǎn)品(例如，以上所描述的客戶端)可以實(shí)現(xiàn)于端點(diǎn)上并且由該端點(diǎn)的CPU來(lái)執(zhí)行以便實(shí)施以上所描述的方法。
[0044]以上所描述的實(shí)施例涉及P2P通信系統(tǒng)，但是如對(duì)本領(lǐng)域技術(shù)人員顯而易見(jiàn)的，可以實(shí)現(xiàn)使用任意其它類型的通信系統(tǒng)的實(shí)施例。
[0045]此外，雖然已經(jīng)參考優(yōu)選實(shí)施例特別示出并描述了本發(fā)明，但是本領(lǐng)域技術(shù)人員將要理解的是，可以對(duì)形式和細(xì)節(jié)進(jìn)行各種改變而并不背離如所附權(quán)利要求所限定的本發(fā)明的范圍。
【權(quán)利要求】
1.一種對(duì)通信系統(tǒng)中的媒體流進(jìn)行處理的方法，該方法包括: 將多個(gè)同步媒體流提供至處于通信系統(tǒng)的相應(yīng)多個(gè)端點(diǎn)處的相應(yīng)多個(gè)通信客戶端； 該通信客戶端在該端點(diǎn)輸出該媒體流，其中媒體流的所述提供和輸出所需的時(shí)間量對(duì)于多個(gè)端點(diǎn)而言有所不同；以及 對(duì)至少一個(gè)媒體流的所述提供和所述輸出中的至少一個(gè)進(jìn)行控制以使得多個(gè)媒體流在多個(gè)端點(diǎn)處的輸出得以同步。
2.根據(jù)權(quán)利要求1的方法，進(jìn)一步包括通信客戶端在媒體流在多個(gè)端點(diǎn)處進(jìn)行所述提供和輸出的同時(shí)通過(guò)通信系統(tǒng)互相進(jìn)行通信活動(dòng)。
3.根據(jù)權(quán)利要求2的方法，進(jìn)一步包括: 當(dāng)多個(gè)端點(diǎn)中的第一個(gè)的用戶向多個(gè)端點(diǎn)中的所述第一個(gè)的通信客戶端提供該通信活動(dòng)的用戶輸入時(shí)，確定當(dāng)前在多個(gè)端點(diǎn)中的所述第一個(gè)輸出的媒體流的媒體要素； 將所確定的來(lái)自多個(gè)端點(diǎn)中的所述第一個(gè)的媒體要素的指示作為所述通信活動(dòng)的一部分傳送至多個(gè)端點(diǎn)中的第二個(gè)；以及 對(duì)該通信活動(dòng)在多個(gè)端點(diǎn)中的第二個(gè)處的輸出進(jìn)行控制以使得所述用戶輸入在多個(gè)端點(diǎn)中的第二個(gè)處晚于所述指示所指示的確定的媒體要素而被輸出。
4.根據(jù)之前任一項(xiàng)權(quán)利要求的方法，進(jìn)一步包括: 在媒體流中包括同步信息；以及 將該媒體流在多個(gè)端點(diǎn)處進(jìn)行緩沖， 其中通信客戶端依據(jù)媒體流中的同步信息而在端點(diǎn)處輸出該媒體流。
5.根據(jù)權(quán)利要求4的方法，其中媒體流之一中所包括的同步信息包括時(shí)間戳，其包括在該媒體流的幀的報(bào)頭之中，其中相對(duì)應(yīng)的通信客戶端在該時(shí)間戳所指示的時(shí)間在相對(duì)應(yīng)的端點(diǎn)處輸出該媒體流的幀。
6.根據(jù)之前任一項(xiàng)權(quán)利要求的方法，進(jìn)一步包括對(duì)媒體流在多個(gè)端點(diǎn)處的所述提供和輸出所需的時(shí)間量進(jìn)行監(jiān)視，其中對(duì)至少一個(gè)媒體流的所述提供和所述輸出中的至少一個(gè)進(jìn)行的所述控制包括向至少一個(gè)媒體流的所述提供和所述輸出中的至少一個(gè)添加延遲以使得多個(gè)媒體流在多個(gè)端點(diǎn)處的輸出得以同步。
7.根據(jù)權(quán)利要求6的方法，其中所述監(jiān)視由相應(yīng)通信客戶端來(lái)執(zhí)行，并且該方法進(jìn)一步包括通過(guò)通信系統(tǒng)在通信客戶端之間傳送與所監(jiān)視的時(shí)間量相關(guān)的信息，其中所述客戶端中的至少一個(gè)向至少一個(gè)媒體流的所述提供和所述輸出中的至少一個(gè)添加延遲以使得多個(gè)媒體流在多個(gè)端點(diǎn)處的輸出得以同步。
8.根據(jù)權(quán)利要求6的方法，其中所述監(jiān)視由通信系統(tǒng)的服務(wù)器來(lái)執(zhí)行。
9.一種用于處理媒體流的通信系統(tǒng)，該通信系統(tǒng)包括: 多個(gè)端點(diǎn)，其包括相應(yīng)的多個(gè)通信客戶端，該通信客戶端被配置為輸出提供至該通信客戶端的相應(yīng)多個(gè)媒體流，其中提供和輸出媒體流所需的時(shí)間量對(duì)于多個(gè)端點(diǎn)而言有所不同；以及 控制器，其被配置為對(duì)至少一個(gè)媒體流的所述提供和所述輸出中的至少一個(gè)進(jìn)行控制以使得多個(gè)媒體流在多個(gè)端點(diǎn)處的輸出得以同步。
10.體現(xiàn)于相應(yīng)的多個(gè)非瞬時(shí)計(jì)算機(jī)可讀媒體上并且包括代碼的多個(gè)計(jì)算機(jī)程序產(chǎn)品，該代碼被配置為在通信系統(tǒng)的相應(yīng)多個(gè)端點(diǎn)上執(zhí)行時(shí)執(zhí)行依據(jù)權(quán)利要求1至8中任一項(xiàng)的操作。
【文檔編號(hào)】H04N21/24GK103797809SQ201280021845
【公開(kāi)日】2014年5月14日 申請(qǐng)日期:2012年5月4日 優(yōu)先權(quán)日:2011年5月5日
【發(fā)明者】M.布雷涅斯 申請(qǐng)人:斯凱普公司