專利名稱：用于執(zhí)行分布式視頻會議的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及通信領(lǐng)域，更具體而言，涉及用于執(zhí)行分布式視頻會議的系統(tǒng)和方法。
背景技術(shù)：
在通信環(huán)境中，聯(lián)網(wǎng)體系結(jié)構(gòu)和視頻會議領(lǐng)域已經(jīng)變得越來越復(fù)雜。另外，想要在這種環(huán)境中通信的客戶端或終端用戶的增加已致使很多聯(lián)網(wǎng)配置和系統(tǒng)通過添加元件以適應(yīng)于聯(lián)網(wǎng)流量的增長來作出響應(yīng)。可使用通信隧道或鏈路以便建立通信流，從而終端用戶或?qū)ο罂砂l(fā)起視頻或音頻會話，以輔助特定呼叫或會議。通信體系結(jié)構(gòu)中選中的位置可被訪問或指定，以進行通信會話。然后選中的位置或網(wǎng)絡(luò)點可提供一個平臺，終端用戶可使用該平臺來執(zhí)行通信會話。
傳統(tǒng)的視頻會議方法是使用集中式多點控制單元(MCU)。這種方法建立了從端點到會議服務(wù)器的媒體流，其中流可被混合，然后作為單獨的流被發(fā)送回端點。(例如)混合可包括合成，從而創(chuàng)建四個視頻流的二乘二合成。這些子流中的每一個可在適當時被鎖定到特定用戶或被語音切換。其他可能的合成可以是一乘一、一乘二、三乘三等。在這種視頻會議場景中，定時和同步精確是很關(guān)鍵的。另外，在嘗試提供最佳視頻會議時，應(yīng)當承認和意識到帶寬考慮。因此，提供一種有效機制以適當?shù)匾龑?dǎo)終端用戶/端點的通信或提供優(yōu)化帶寬特性和參數(shù)的適當協(xié)議的能力對網(wǎng)絡(luò)操作者、組件制造者和系統(tǒng)設(shè)計者提出了重大挑戰(zhàn)。

發(fā)明內(nèi)容
本領(lǐng)域的技術(shù)人員可從前述內(nèi)容中意識到，需要一種改進的通信方法，這種方法提供更適當?shù)臄?shù)據(jù)路由選擇過程，以實現(xiàn)視頻會議環(huán)境中的最優(yōu)數(shù)據(jù)管理。根據(jù)本發(fā)明的一個實施例，可提供一種用于執(zhí)行分布式視頻會議的系統(tǒng)和方法，其大大減少了與傳統(tǒng)信息分布技術(shù)相關(guān)聯(lián)的缺點和問題。
注意為了清晰論述，理解本會議體系結(jié)構(gòu)中提供的某些組件將會是有益的。一般而言，可以提供網(wǎng)絡(luò)核心和網(wǎng)絡(luò)邊緣。一個或多個端點可經(jīng)由媒體交換機附接到分布式多點控制單元(MCU)。媒體交換機可提供從網(wǎng)絡(luò)邊緣到網(wǎng)絡(luò)核心的接口。在核心中，媒體分布可被優(yōu)化，從而這種優(yōu)化對于端點可能是透明的。核心分布可以是切換型的或固定的。
根據(jù)本發(fā)明的實施例，提供了一種用于執(zhí)行視頻會議的方法，該方法包括接收來自一個或多個端點的與視頻會議相關(guān)聯(lián)的一個或多個音頻流，并且確定與所述端點之一相關(guān)聯(lián)的活動說話者。與活動說話者相關(guān)聯(lián)的音頻信息可在一個或多個媒體交換機處被接收。除與活動說話者相關(guān)聯(lián)的被選中的視頻流之外，其他所有視頻流可被抑制，被選中的視頻流在視頻會議期間傳播到所述媒體交換機中的一個或多個媒體交換機。被選中的視頻流可被復(fù)制，以便它可被傳輸?shù)脚c所述媒體交換機中被選中的一個媒體交換機相關(guān)聯(lián)的所述端點中的一個或多個端點。
本發(fā)明的某些實施例可提供多個技術(shù)優(yōu)點。例如，根據(jù)本發(fā)明的一個實施例，提供了一種視頻會議體系結(jié)構(gòu)，其允許在視頻會議期間向參與者提供服務(wù)和特征主機。例如，端點可以在任何適當時刻選擇鎖定到會議的特定參與者。被鎖定的端點可將固定視頻(FV)流以流方式傳輸?shù)綍h。在多個端點希望鎖定到相同參與者的情況下，它們可預(yù)訂相同的流，或者信令可在媒體交換機之間被交換以建立適當?shù)膯尾チ?。從而，每個端點可接收FV和切換型視頻(SV)流的混合?；蛘撸它c可選擇不接收任何SV流，而是只接收特定參與者的FV流。在另一種場景中，端點接收到的SV流不是基于活動音頻說話者而是基于其他標準被切換的，所述其他標準例如是控制共享白板的個人。調(diào)解器也能夠選擇在適當時切換視頻源。在其他實施例中，可向視頻會議的參與者提供媒體服務(wù)主機(例如經(jīng)由媒體橋)。
與本發(fā)明的一個實施例相關(guān)聯(lián)的另一個優(yōu)點涉及體系結(jié)構(gòu)的允許更經(jīng)濟的視頻會議配置的能力。本發(fā)明的體系結(jié)構(gòu)在音頻橋和視頻橋不一定都位于同一給定網(wǎng)絡(luò)設(shè)備上時提供了視頻會議的音頻/視頻同步。本體系結(jié)構(gòu)所提供的能夠負擔得起的桌上型視頻會議將會向許多試圖執(zhí)行最優(yōu)會議場景的人提供可行的解決方案。此外，這種可負擔性可能引起視頻會議的增值，從而使這種技術(shù)普遍存在并廣為接受。
與本發(fā)明的一個實施例相關(guān)聯(lián)的另一個優(yōu)點涉及其靈活性。本體系結(jié)構(gòu)可允許適當使用已經(jīng)處于適當?shù)奈恢玫木W(wǎng)絡(luò)基礎(chǔ)設(shè)施，而不是使用指定產(chǎn)品或其他設(shè)備來實現(xiàn)視頻會議操作。另外，每個用戶可通過選擇不同的FV和SV流子集而具有會議的定制視圖。此外，利用這種配置易于支持遺留端點，同時允許增強型端點提供附加服務(wù)。在其他場景中，可支持遺留多點控制單元(MCU)以進行合成，從而保護任何初始設(shè)備投資。在其他場景中，這種實現(xiàn)方式對編解碼器是不可知的(codec-agnostic)。從而，在新編解碼器(例如H.264)的上下文中，這些編解碼器可在無需更新整個網(wǎng)絡(luò)基礎(chǔ)設(shè)施的情況下被部署。也可通過抑制流和使用多播來使帶寬利用率最小化。這種實施例將會系統(tǒng)地實現(xiàn)大型桌面視頻會議。本發(fā)明的某些實施例可享受這些優(yōu)點中的某些或全部，或不享受這些優(yōu)點。從以下附圖、描述和權(quán)利要求中，本領(lǐng)域的技術(shù)人員可以很容易看出其他技術(shù)優(yōu)點。


為了更全面地理解本發(fā)明及其特征和優(yōu)點，結(jié)合附圖參考以下描述，附圖中類似的標號代表類似的部件，其中圖1A是根據(jù)本發(fā)明一個實施例的用于執(zhí)行分布式視頻會議的通信系統(tǒng)的簡化框圖；圖1B是示出與通信系統(tǒng)中包括的一個或多個媒體交換機相關(guān)聯(lián)的示例性體系結(jié)構(gòu)的簡化框圖；圖2A-C是示出先前的體系結(jié)構(gòu)中已部署的若干個視頻會議網(wǎng)絡(luò)拓撲的簡化框圖；圖3是工作在呼叫管理器環(huán)境中的示例性組件配置的簡化框圖；以及圖4是示出與根據(jù)本發(fā)明的一個實施例的用于執(zhí)行分布式視頻會議的方法相關(guān)聯(lián)的一系列示例性步驟的流程圖。
具體實施例方式
圖1A是用于在網(wǎng)絡(luò)環(huán)境中傳輸數(shù)據(jù)的通信系統(tǒng)10的簡化框圖。通信系統(tǒng)10包括多個端點12，這些端點在圖1A中被示為代表各種設(shè)備和組件(例如音頻互聯(lián)網(wǎng)協(xié)議(IP)電話、視頻電話用具、基于個人計算機(PC)的視頻電話和流式客戶端)。通信系統(tǒng)10還可包括多個網(wǎng)關(guān)20，這些網(wǎng)關(guān)20經(jīng)由公共交換電話網(wǎng)(PSTN)30提供到彼此的連通性。通信系統(tǒng)10還可包括多個媒體交換機26(在本文獻中可將其縮寫為MS)，這些媒體交換機可耦合到彼此、耦合到網(wǎng)關(guān)20以及耦合到各種端點12。另外，通信系統(tǒng)10可包括可耦合到媒體交換機26的一組呼叫代理34(例如集中式呼叫管理器)。此外，通信系統(tǒng)10可包括任何數(shù)目的合適的應(yīng)用(例如會議管理器(CM)、視頻會議安排器、用戶會議控制、目錄服務(wù)、網(wǎng)絡(luò)管理工具等)。
在通信系統(tǒng)10的上下文中，視頻會議可定義為視頻流集合。這些流可被分類為固定視頻(FV)和切換型視頻(SV)流。在會議持續(xù)期間，F(xiàn)V流源自相同的源，而在相同的會議期間，SV流可能源自不同的源。從一個給定端點到另一個的源切換可由若干標準(例如活動音頻說話者、控制共享白板的個人、調(diào)解器的選擇等等)之一來控制。作為會議的一部分的每個端點12可接收會議中的所有流的子集。端點接收到的特定子集向用戶提供了該端點的會議體驗，并且對于不同端點可能是不同的。
圖1A一般可被配置或布置為用不同的呼叫控制協(xié)議體系結(jié)構(gòu)來布置，從而適應(yīng)于集中式發(fā)起協(xié)議(SIP)體系結(jié)構(gòu)(例如集中式呼叫處理場景)或分布式體系結(jié)構(gòu)。根據(jù)本發(fā)明的特定實施例，此體系結(jié)構(gòu)所暗示的配置變化可能影響應(yīng)用、呼叫控制和媒體層。
根據(jù)本發(fā)明的教導(dǎo)，通信系統(tǒng)10提供了能夠有效分布視頻會議數(shù)據(jù)的平臺。端點12可被給予選擇限定其用戶經(jīng)歷的固定或切換流的子集的機會?？苫诙喾N因素來切換流，所述多種因素包括活動音頻說話者、優(yōu)化帶寬利用率和其他有關(guān)參數(shù)，這些參數(shù)可能是基于特定用戶或配置需求的。網(wǎng)絡(luò)基礎(chǔ)設(shè)施可用于實現(xiàn)會議、流式傳輸或按需視頻。
可實時創(chuàng)建會議以使用任何可用MCU而不是特定MCU。通信系統(tǒng)10可以免除對中央MCU的依賴性，并且還可在整個網(wǎng)絡(luò)中分布視頻處理功能。通信系統(tǒng)10還可優(yōu)化帶寬利用率，并提供集中式MCU方法不可能實現(xiàn)的一定程度的定制化。
通信系統(tǒng)10提供了允許更經(jīng)濟的視頻會議配置的通信方法。當音頻橋和視頻橋不需要共同位于同一網(wǎng)絡(luò)設(shè)備上時，通信系統(tǒng)10提供了視頻會議的音頻/視頻同步。注意，視頻橋不是所有場景(例如由語音激活的會議)中必要的。本體系結(jié)構(gòu)所提供的能夠負擔得起的桌面視頻會議向任何試圖執(zhí)行最佳會議的實體提供了可行的解決方案。另外，這種可負擔性能夠引起視頻會議的增殖，從而使這種技術(shù)普遍存在并廣為接受。
通信系統(tǒng)10還提供了靈活的體系結(jié)構(gòu)。本體系結(jié)構(gòu)可允許適當使用已經(jīng)就位的網(wǎng)絡(luò)基礎(chǔ)設(shè)施，而不是使用指定產(chǎn)品。另外，每個用戶可通過選擇不同的FV和SV流子集而具有定制的會議視圖。此外，利用這種配置易于支持遺留端點，同時允許增強型端點提供附加服務(wù)。在其他場景中，可支持MCU合成，從而保留任何初始設(shè)備投資。在其他場景中，這種實現(xiàn)方式是編解碼方式不可知的。從而，在新編解碼方式(例如H.264)的上下文中，這些編解碼器可在無需更新整個網(wǎng)絡(luò)基礎(chǔ)設(shè)施的情況下被部署。也可通過抑制流和使用多播來使帶寬利用率最小化。這種實施例將會系統(tǒng)地實現(xiàn)大型桌面視頻會議。
在涉及媒體層的示例性實現(xiàn)方式的操作中，端點音頻和視頻流可在端點12和與它們相關(guān)聯(lián)的媒體交換機26之間傳輸。音頻和視頻流可在網(wǎng)絡(luò)核心中獨立地被路由，其中音頻流依賴于能夠訪問單個會議內(nèi)的所有音頻流的中央說話者選擇功能。視頻流遵循MS之間的優(yōu)化的路由選擇路徑，其中在會議管理應(yīng)用的控制下在必要時插入了視頻處理(即速率轉(zhuǎn)換和代碼轉(zhuǎn)換)。此體系結(jié)構(gòu)允許了基于網(wǎng)絡(luò)和基于端點的視頻處理。使用集中式音頻說話者選擇方案能夠使該體系結(jié)構(gòu)允許視頻路由選擇和切換被優(yōu)化，從而導(dǎo)致了顯著的帶寬優(yōu)化，這是因為質(zhì)量“好”的視頻流一般需要較大量的帶寬。音頻說話者選擇機制是集中式的；這不意味著音頻混合需要是完全集中式的，即使完全集中式由于其延時的減小以及對依賴于中央混合器的遺留音頻設(shè)備的服務(wù)而可能代表著最常見的部署。
根據(jù)通信系統(tǒng)10的第一實施例，實現(xiàn)了具有集中式音頻的由語音激活的會議。在此實施例中，來自所有端點12的音頻流(既有僅限音頻的(audio-only)，也有具有視頻能力的)可被發(fā)送到中央音頻混合器，在這里確定活動說話者。然后此信息被傳播到所有媒體交換機26。媒體交換機26可抑制除活動說話者的視頻流之外的所有視頻流，并且活動說話者的視頻流被用SSM(源特定多播)傳播到會議中的所有MS。每個媒體交換機26復(fù)制它自己所有的本地端點的視頻流，這些本地端點可能是會議的一部分?；蛘?，在媒體交換機26和其本地端點之間可使用多播。音頻混合可以是集中式的或分布式的；該體系結(jié)構(gòu)不要求集中式音頻。
注意通信系統(tǒng)10不必抑制音頻流它抑制視頻流。另外，抑制可以在媒體交換機26處完成，從而端點12不需要改變或被修改以適應(yīng)這種操作。另外，活動說話者可以是僅限音頻的端點，在這種情況下最后的視頻流繼續(xù)被傳播。此外，活動說話者可以接收與最后的視頻說話者相對應(yīng)的視頻流。
根據(jù)通信系統(tǒng)10的第二實施例，端點12可選擇鎖定到會議的特定參與者。此能力可通過單獨的接口來提供，或者它可以是增強型端點處的端點功能的一部分。另外，由于帶寬和其他約束，不是所有端點12都可能具有鎖定的能力?？梢员绘i定的端點12可將FV流以流方式傳輸?shù)綍h。注意FV-SV流的區(qū)別以及用于傳播此流的SSM對于端點本身是不可見的。此功能可在媒體交換機26中實現(xiàn)。在多個端點希望鎖定到相同的參與者的情況下，它們可預(yù)訂相同的SSM流，或者可以在媒體交換機26之間交換信令以建立適當?shù)膯尾チ?。從而，每個端點12可接收FV和SV流的混合。端點可選擇不接收任何SV流，而是只接收特定參與者的FV流(例如具有問題和答案會話的講課模式，其中端點可選擇只接收講課的說話者并收聽問題的音頻)。視頻合成FV流代表視頻端點可選擇不接收任何SV流的情況。
根據(jù)通信系統(tǒng)10的第三實施例，端點接收到的SV流不是基于活動音頻說話者而是基于其他標準被切換的，所述其他標準例如是控制共享白板的個人?；蛘?，調(diào)解器可選擇在適當時切換視頻源。在單個會議中可能有多個SV流，它們可使用不同的標準來切換源。端點可選擇接收會議中的一個或多個SV流，或不接收會議中的SV流。
根據(jù)通信系統(tǒng)10的第四實施例，媒體變換器(例如代碼轉(zhuǎn)換器、速率轉(zhuǎn)換器和合成服務(wù))可被包括在會議中以提供有關(guān)媒體服務(wù)。這些媒體變換器例如可用作媒體橋。支持多個速度/格式的會議可被支持。相同的會議可以有128K版本和384K版本，這些版本可能是單獨的子會議。速率轉(zhuǎn)換器可被包括在兩個子會議中，并且將一個會議的輸出的速率轉(zhuǎn)換成另一個的。這可能對SV會議起作用，但是FV流可利用其自己的速率轉(zhuǎn)換器。從而，媒體變換器可被用于此體系結(jié)構(gòu)中的方法可以依賴于變換的特定需求，并且多個方法可被同時使用。其他媒體變換器可包括用于廣播會議以及類似的服務(wù)的互聯(lián)網(wǎng)協(xié)議(IP)/電視(TV)廣播服務(wù)器。遺留MCU(例如Radvision MCU)可用作這種體系結(jié)構(gòu)中的合成服務(wù)器以提供合成服務(wù)。
端點12各自代表希望在通信系統(tǒng)10中發(fā)起通信或參與視頻會議會話的一個終端用戶、客戶端或顧客。端點12可包括用于發(fā)起(或參與)通信的設(shè)備，例如計算機、個人數(shù)字助理(PDA)、膝上型或電子筆記本、電話、移動站、音頻IP電話、視頻電話用具、基于個人計算機(PC)的視頻電話、流式客戶端或任何其他能夠發(fā)起通信系統(tǒng)10內(nèi)的語音、視頻或數(shù)據(jù)交換的設(shè)備、組件、元件或?qū)ο?。端點12還可包括適當?shù)牡饺祟愑脩舻慕涌冢琨溈孙L、顯示器、鍵盤、白板、視頻會議接口或橋或者其他終端設(shè)備。端點12還可以是任何試圖代表另一實體或元件發(fā)起(或參與)通信的設(shè)備，例如程序、數(shù)據(jù)庫、應(yīng)用、軟件片段或任何其他能夠發(fā)起通信系統(tǒng)10內(nèi)的語音、視頻或數(shù)據(jù)交換的組件、設(shè)備、元件或?qū)ο?。此文獻中使用的“數(shù)據(jù)”是指任何類型的數(shù)值、語音和音頻、視頻、視聽或腳本數(shù)據(jù)，或任何類型的源或目標代碼，或任何其他采取能夠從一個點傳輸?shù)搅硪稽c的任何適當格式的適當信息。
如上所述，在通信系統(tǒng)10的體系結(jié)構(gòu)中可支持多種端點。遺留音頻設(shè)備可以與有遺留(或新視頻)能力的端點相混合。遺留端點可以以使得其服務(wù)要求可被滿足的方式被連接。對于需要語音激活服務(wù)的端點，可利用智能媒體交換，除非存在要求視頻速率轉(zhuǎn)換器被插入在媒體路徑中或由于編解碼器不兼容而需要視頻代碼轉(zhuǎn)換器的帶寬約束。對于輔助多個并發(fā)視頻圖像的遺留端點，具有視頻合成能力的MS可基于網(wǎng)絡(luò)上的可用流提供合成視圖。
能夠處理多個視頻流的較新的端點可經(jīng)由具有多個視頻流的呼叫，以它們能夠接收若干個FV和/或SV流的方式連接到相關(guān)聯(lián)的MS。如果這些設(shè)備支持IP多播，則它們也能夠連接到位于相同網(wǎng)絡(luò)上的由單個MS服務(wù)的其他高級端點(經(jīng)由IP多播)，同時也預(yù)訂說話者選擇信息分布，以便在確定任何時刻顯示哪些視頻流方面獲得幫助。
在示例性實施例的操作中，端點12可通過呼叫或被引導(dǎo)到視頻會議應(yīng)用而加入視頻會議。端點呼叫可經(jīng)歷集中式呼叫處理。從而，通信系統(tǒng)10可支持瘦小客戶端控制協(xié)議(skinny client control protocol，縮寫為SCCP)和H.323，以及SIP端點。如果H.323端點支持空能力集，或者如果使用了媒體端接點(MTP)，則H.323端點可加入會議按鈕型會議。
每個有視頻能力的端點可將其所有音頻和視頻流發(fā)送到其本地分配的MS，或從該MS接收其所有音頻和視頻流。僅限音頻的端點可將其音頻流發(fā)送到分配給會議的中央音頻橋，或從該中央音頻橋接收音頻流。還可提供策略引導(dǎo)器，以向各個端點提供策略，以指定允許哪種類型的端點視頻定制(例如窗口數(shù)目和類型)。這與允許端點請求的帶寬預(yù)留量有直接關(guān)系。
為了保護對傳統(tǒng)網(wǎng)關(guān)(音頻和視頻)或MCU的任何投資，本體系結(jié)構(gòu)足夠靈活以至于能夠很容易地與大量元件合作。網(wǎng)關(guān)可以起類似可支持多個呼叫的H.323端點的作用。傳統(tǒng)MCU(例如思科IP/VC 35XX)也可充當提供視頻合成服務(wù)的特殊端點。
媒體交換機26(在本文獻的某些段落中縮寫為“MS”)可以是向會議管理器提供控制接口的設(shè)備。每個媒體交換機26可執(zhí)行多個功能。每個媒體交換機26可在啟動時注冊其能力，該能力可包括任何以下媒體處理功能1)音頻混合，其混合最響亮的說話者的音頻，將最響亮的說話者的信息分布到其他MS[一般，音頻橋還提供音頻代碼轉(zhuǎn)換作為混合的一部分，以便允許使用不同編解碼器的端點自然加入相同的會議，而無需外部代碼轉(zhuǎn)換器。]；2)音頻代碼轉(zhuǎn)換，其提供可被其他沒有必要資源(例如DSP)的網(wǎng)絡(luò)設(shè)備用來自行執(zhí)行音頻代碼轉(zhuǎn)換的音頻代碼轉(zhuǎn)換(編解碼器轉(zhuǎn)換)服務(wù)；3)視頻合成，其通過創(chuàng)建一組參與者的合成視頻(即好萊塢廣場場景)來處理視頻[一般，視頻合成還可提供視頻速率轉(zhuǎn)換和代碼轉(zhuǎn)換，以便允許使用不同速率或編解碼器的端點自然加入相同的會議，而無需外部速率轉(zhuǎn)換器或代碼轉(zhuǎn)換器。]；4)視頻速率轉(zhuǎn)換，其提供可被其他沒有必要資源(例如DSP)的網(wǎng)絡(luò)設(shè)備用來自行執(zhí)行視頻速率轉(zhuǎn)換的視頻速率轉(zhuǎn)換(通過改變視頻量化參數(shù)減小帶寬)服務(wù)；5)視頻代碼轉(zhuǎn)換，其提供可被其他沒有必要資源(例如DSP)的網(wǎng)絡(luò)設(shè)備用來自行執(zhí)行視頻代碼轉(zhuǎn)換的視頻代碼轉(zhuǎn)換(編解碼方式轉(zhuǎn)換)服務(wù)；6)媒體交換，其代表網(wǎng)絡(luò)邊緣(朝向端點)和網(wǎng)絡(luò)核心(朝向其他媒體交換機)之間的接口。
視頻分布和抑制功能被稱為媒體交換功能，并且此功能可在整個網(wǎng)絡(luò)內(nèi)的媒體交換機26中實現(xiàn)，或者與視頻橋14和音頻橋16結(jié)合實現(xiàn)，而無需涉及任何媒體交換機26。僅出于提供一個示例的目的，已描述了圖1A的實施例，該實施例包括媒體交換機26的潛在活動角色。還要注意，雖然后續(xù)操作和能力是參考媒體交換機26來描述的，但是這些功能也易于由音頻橋16或視頻橋14(或其任何組合)來執(zhí)行。僅出于教導(dǎo)目的，已參考媒體交換機26描述了這種能力。
另外，諸如路由器、交換機和無線接入點之類的現(xiàn)有網(wǎng)絡(luò)設(shè)備可提供MS功能，因為通信系統(tǒng)10不一定需要視頻數(shù)字信號處理器(DSP)。MS功能可作為軟件(在一個示例中)特征被包括在諸如思科IOS、思科CatOS之類的網(wǎng)絡(luò)操作系統(tǒng)中，或任何其他通用操作系統(tǒng)中。端點12可連接到離它最近的媒體交換機26，并向其發(fā)送它們的音頻和視頻流。對于給定端點，媒體交換機26可提供MCU功能，從而會議的分布式性質(zhì)對于端點是不可見的。遺留H.323端點可參與分布式會議，而在端點方不需要改變。這些端點可稱為MS的本地端點。視頻流可以以多種方式來分布。一種體系結(jié)構(gòu)可使用源特定多播(SSM)，但是通信系統(tǒng)10允許通用多播、單播隧道上的單播或多播，或其他適當?shù)挠米鞣植紮C制的協(xié)議。
基于MS設(shè)備所執(zhí)行的服務(wù)，這種應(yīng)用可能有益于視頻處理DSP、音頻處理DSP，或沒有DSP。將上述功能中的若干個結(jié)合到單個網(wǎng)絡(luò)設(shè)備中允許任何媒體傳輸中涉及的呼叫腿(call leg)的數(shù)目減小，這在某些實施例中可避免過度的延遲。
作為媒體交換功能的一部分，MS可負責復(fù)制分組，以散開單向視頻流，以便參與相同會議的所有其他MS都可接收到它們。呼叫腿(輸入或輸出)中的任何一個可使用點對點或多播呼叫腿，從而允許網(wǎng)絡(luò)基礎(chǔ)設(shè)施利用網(wǎng)絡(luò)核心處的IP多播，如果這種IP多播可用的話(或者在其他場景中允許點對點呼叫網(wǎng)的反轉(zhuǎn))。邊緣傳輸機制獨立于核心傳輸機制。
圖1B是示出與通信系統(tǒng)10中包括的一個或多個媒體交換機26相關(guān)聯(lián)的示例性體系結(jié)構(gòu)的簡化框圖?？梢蕴峁┮曨l橋14和音頻橋16，以便在適當時作為一個媒體交換機26或多個交換機的服務(wù)。這些元件可被包括在一個或多個媒體交換機26內(nèi)，或者構(gòu)建為要被包括在媒體交換機26的核心之中的單個模塊，如圖1B所示。這兩個元件在陰影框中示出，以便表示其放置和定位上的巨大靈活性。例如，這些元件可以是專用橋或其自己單獨的組件、設(shè)備或模塊的一部分。正如下文中更詳細描述的，其他應(yīng)用可將這些元件包括在媒體交換機26或網(wǎng)關(guān)20內(nèi)，或包括在任何其他適當位置中。可部署包含視頻橋接功能的端點。
根據(jù)本發(fā)明的一個實施例，每個媒體交換機26可包括視頻橋14和/或音頻橋16，或被視頻橋14和/或音頻橋16所取代?；蛘撸@兩個元件可被定位在任何適當?shù)奈恢弥?，或者在外部提供，以便視頻橋14和音頻橋16中的每一個可以是分離的(有可能是集中的)組件、設(shè)備或模塊，或者在適當時基于特定需求被組合。例如，音頻橋16和視頻橋14可被提供在路由器、網(wǎng)關(guān)、交換機、負載平衡器中，或者提供在可用于輔助其操作的任何其他適當?shù)奈恢弥?。在替換實施例中，每個媒體交換機26可包括任何其他可用于輔助視頻會議能力及其操作的適當?shù)挠布?、軟件、算法、處理器、設(shè)備、組件、對象、專用集成電路(ASIC)或元件，正如本文獻中所述。
每個音頻橋16和視頻橋14可分別配備有音頻混合器和視頻混合器。注意，在工業(yè)中的某些情況下，諸如“視頻混合器”和“音頻混合器”這樣的術(shù)語表示相同的含意，并且是可互換使用的。但是，視頻混合器(本文獻中使用的)被定義為處于術(shù)語“視頻橋14”的范圍內(nèi)。術(shù)語“音頻橋”和“音頻混合器”可以類似地解釋。在本發(fā)明的特定實施例中，每個音頻橋16和視頻橋14可包括適當?shù)能浖?，以提供分布式視頻會議的能力，或執(zhí)行如這里所描述的通信系統(tǒng)10的操作。在其他實施例中，這些功能可被提供在給定的網(wǎng)絡(luò)元件(如上所述)內(nèi)，或者由適當?shù)挠布⑺惴?、處理器、設(shè)備、ASIC、組件、對象或元件所執(zhí)行。注意，這些元件的任何組合也可被用于通信系統(tǒng)10內(nèi)的視頻會議的給定應(yīng)用中。
在僅出于示例目的而提供的特定的詳細實現(xiàn)方式的操作中，給定端點可發(fā)起與多個其他端點的通信。在此示例性場景中，三個端點試圖連接到視頻會議?？刂七@些端點的給定媒體交換機(出于簡化目的，可假定所有端點都在相同的媒體交換機處注冊)可將每個端點連接到中央音頻橋和分離的中央視頻橋。
中央音頻橋可識別每個端點的適當?shù)亩秳泳彌_器的大小，并且可將音頻數(shù)據(jù)發(fā)送到抖動緩沖器。當全部三個端點都已連接且耦合到抖動緩沖器時，音頻橋可將抖動緩沖器的輸出加在一起，從而創(chuàng)建具有唯一的輸出網(wǎng)絡(luò)時間協(xié)議(NTP)時間戳的單個經(jīng)混合的音頻流。然后音頻橋可確定每個輸入音頻流的輸入到輸出映射將每個輸入流的NTP時間戳映射到經(jīng)混合的輸出流。然后音頻橋可將映射發(fā)送到視頻混合器。
視頻混合器可接收這些流，并延遲每個流，以便輸入到輸出映射可被再現(xiàn)(并且同時通過將延遲之一設(shè)置為零來使總延遲最小化)。從而，視頻混合器可確定哪個視頻流最后到達，并適當延遲所有其他的流，以便每個視頻流的輸入到輸出映射被匹配到相應(yīng)音頻流的輸入到輸出映射。然后可通過混合經(jīng)延遲的視頻流來創(chuàng)建經(jīng)混合的輸出視頻流。來自音頻混合器和視頻混合器的輸出可被發(fā)送回媒體交換機以及每個端點，以便輔助同步視頻會議。
這種操作示出了即使在音頻混合器和視頻混合器存在于不同設(shè)備上的情況下如何實現(xiàn)同步。這是音頻和視頻混合器的行為的結(jié)果，從而音頻混合器可測量變換，而視頻混合器可利用變換數(shù)據(jù)。視頻混合器可以使輸入流偏斜，以便使視頻混合器的相對延遲與音頻混合器的相對延遲相匹配。通信系統(tǒng)10也通過視頻混合器使總延遲最小化。
在通信系統(tǒng)10的體系結(jié)構(gòu)中，具有視頻能力的端點可直接與呼叫代理交換信令消息(利用H.323、SIP、SCCP+)，但卻使其媒體流被引導(dǎo)到分配給端點位置的本地MS。音頻和視頻流都可在不了解網(wǎng)絡(luò)實際在何處路由或處理媒體的情況下連接到本地MS。這允許網(wǎng)絡(luò)核心以不同方式實現(xiàn)視頻會議服務(wù)，而不影響端點12的操作。
音頻流可被媒體交換機連續(xù)傳播到音頻混合器，以用于基于能量級別的說話者選擇。音頻分布可將點對點雙向流用于其所有連接，而視頻分發(fā)依賴于媒體交換機之間的單向連接。
PSTN 30代表世界范圍的電話系統(tǒng)，其可操作以用于執(zhí)行或輔助通信。PSTN 30可以是任何可操作以用于輔助兩個實體(例如兩個人、人和計算機、兩個計算機)之間的通信的陸地線路電話網(wǎng)絡(luò)，或者PSTN 30可以被提供在出于通信目的而交換數(shù)據(jù)的任何其他環(huán)境中。PSTN 30可以工作于無線域中，以輔助多個端點12之間的數(shù)據(jù)交換，或者通信系統(tǒng)10內(nèi)部或外部的其他適當?shù)膶嶓w之間的數(shù)據(jù)交換。PSTN還可以是任何局域網(wǎng)(LAN)、城域網(wǎng)(MAN)、廣域網(wǎng)(WAN)、無線局域網(wǎng)(WLAN)、虛擬專用網(wǎng)(VPN)、內(nèi)聯(lián)網(wǎng)或任何其他適當?shù)妮o助網(wǎng)絡(luò)環(huán)境中的通信的體系結(jié)構(gòu)或系統(tǒng)，或者與任何局域網(wǎng)(LAN)、城域網(wǎng)(MAN)、廣域網(wǎng)(WAN)、無線局域網(wǎng)(WLAN)、虛擬專用網(wǎng)(VPN)、內(nèi)聯(lián)網(wǎng)或任何其他適當?shù)妮o助網(wǎng)絡(luò)環(huán)境中的通信的體系結(jié)構(gòu)或系統(tǒng)協(xié)同工作。
圖2A-2C是示出過去已部署的若干個視頻會議網(wǎng)絡(luò)拓撲的簡化框圖。圖2A-2C分別示出了集中式單播、分布式單播和分布式多播體系結(jié)構(gòu)。這些體系結(jié)構(gòu)只是出于教導(dǎo)目的而提供的，以便提供例示通信系統(tǒng)10的某些操作和能力的基礎(chǔ)。因此，相應(yīng)的論述不應(yīng)當(以任何方式)限制通信系統(tǒng)10的原理或應(yīng)用的范圍。
圖2A-2C的傳統(tǒng)體系結(jié)構(gòu)有若干缺點。例如，在分布式單播和分布式多播體系結(jié)構(gòu)中都會經(jīng)歷相當大的帶寬擁塞。從遺留端點支持的角度來看，這兩個體系結(jié)構(gòu)也是受限制的。另外，在集中式單播系統(tǒng)中，可縮放性是有限的。在這些系統(tǒng)中的某些中，諸如唇形同步之類的特性是可接受的，但是同時也必然遭受著上述缺陷。
圖2A的集中式單播體系結(jié)構(gòu)是最常用的體系結(jié)構(gòu)。它提供了設(shè)計簡單性，但是通過向每個端點復(fù)制每個流而消耗了過量的帶寬。這限制了它對于WAN部署的可縮放性。圖2B的分布式單播體系結(jié)構(gòu)可優(yōu)化用于各個媒體流的路由選擇路徑，因此減小了網(wǎng)絡(luò)延遲，但是它卻有過量帶寬消耗的問題，這是因為所有端點一般都接收所有其他流，而不論這些元件是否需要，這不僅限制了其可縮放性，而且還不提供與遺留H.323端點和網(wǎng)關(guān)的協(xié)同工作能力。嘗試減小每個流的帶寬以補償流數(shù)目可能降低質(zhì)量。
圖2C的分布式多播體系結(jié)構(gòu)與分布式單播體系結(jié)構(gòu)類似，并且具有避免復(fù)制相同的流的額外優(yōu)點。但是，它也依賴于向某些端點發(fā)送不必要的流，這導(dǎo)致了帶寬過量和可縮放性降低。
通信系統(tǒng)10可通過提供一種分布式MCU網(wǎng)絡(luò)體系結(jié)構(gòu)來消除這些問題，該體系結(jié)構(gòu)能夠1)通過利用智能視頻分布和多播來降低WAN流量，其中智能視頻分布和多播分別避免了傳輸未被查看的流和消除了被查看的流的復(fù)制；2)通過使視頻處理減到最少并優(yōu)化其路由選擇來使視頻延遲最小化(與分布式視頻多播實現(xiàn)方式類似)；3)提供H.323遺留端點支持；4)提供獨立于端點的唇形同步(以補償獨立路由的音頻和視頻流)；以及5)支持高級網(wǎng)絡(luò)服務(wù)(例如服務(wù)質(zhì)量(QoS)、SSM)。
除了這些特性外，通信系統(tǒng)10的教導(dǎo)還允許以下能力1)對用于基礎(chǔ)服務(wù)的視頻編解碼器不可知(允許迅速部署新的視頻編解碼器)；2)將網(wǎng)絡(luò)服務(wù)更新和開發(fā)與端點開發(fā)隔離開來；3)允許一定范圍的新端點具有更高級服務(wù)；以及4)為高級服務(wù)(視頻郵件、記錄、廣播、流式傳輸?shù)鹊?提供框架。
通信系統(tǒng)10提供了一種智能網(wǎng)絡(luò)核心，這種網(wǎng)絡(luò)核心能夠向遺留的以及新的高級端點提供視頻會議服務(wù)。通信系統(tǒng)10還可將復(fù)雜性與端點隔離開來，以便允許與遺留終端的協(xié)同工作能力，而不排除可用于新的智能靈活端點的新的服務(wù)集合。此外，通信系統(tǒng)10具有除企業(yè)視頻會議之外的多個應(yīng)用，這些應(yīng)用是用此體系結(jié)構(gòu)實現(xiàn)的。例如，通信系統(tǒng)10可用于1)呼叫中心監(jiān)管者監(jiān)視和會議；2)分布式安全攝像機監(jiān)視(例如允許各個單元監(jiān)視分布在整個城鎮(zhèn)中的一組攝像機中的任何一個的警察部門應(yīng)用)；3)以流方式傳輸?shù)揭曨l會議中；以及4)視頻會議廣播。
通信系統(tǒng)10的體系結(jié)構(gòu)可適應(yīng)于不同的呼叫控制模型。例如，通信系統(tǒng)10可以是在集中式呼叫處理環(huán)境中被建模的。在這種模型中，集中式呼叫處理集群為網(wǎng)絡(luò)邊緣提供呼叫處理和呼叫控制服務(wù)，而會議管理器應(yīng)用控制MS之間的流式傳輸。這是通過與集中式呼叫處理集群(用于呼叫許可控制、帶寬預(yù)留、MS注冊和安全服務(wù))和MS(用于網(wǎng)絡(luò)核心媒體分布和處理)兩者交互的會議管理器應(yīng)用來實現(xiàn)的。在集中式呼叫處理環(huán)境的上下文中，體系結(jié)構(gòu)可包括多層a)邊緣層(其中呼叫和媒體被建立在端點和媒體設(shè)備之間)；以及b)核心層(其中會議端點所生成的媒體被分布在MS之間，以便基于會議的媒體策略最終到達對查看流感興趣的端點)。注意由于對媒體處理層而不是信令層的應(yīng)用，核心和邊緣層實施例還適用于分布式模型。媒體流還可能被中間MS所分布和處理，以適應(yīng)一個會議內(nèi)的不同端點能力(例如視頻速率轉(zhuǎn)換、視頻代碼轉(zhuǎn)換、視頻合成)。
通信系統(tǒng)10還可以很容易地被應(yīng)用到純SIP環(huán)境。在這種體系結(jié)構(gòu)中，會議管理器應(yīng)用(代表SIP焦點服務(wù))直接與SIP端點和MS(代表SIP級聯(lián)混合器)用信號進行通信。
注意，通信系統(tǒng)10一般可能不知道會議是預(yù)先安排的(安排的會議)，還是在會議啟動時建立的(自組織式會議)。由運行在最高級的應(yīng)用(例如集中式呼叫處理會議按鈕型、集中式呼叫處理Meetme(自滿足)型、安排器型、預(yù)留較少Meetme型等等)來決定將這種服務(wù)提供給終端用戶，同時與會議管理器應(yīng)用交互以便遞送它們。
圖3是用于通信系統(tǒng)10的示例性集中式呼叫處理應(yīng)用的簡化框圖。注意圖3的實施例提供了可以很容易地適應(yīng)在通信系統(tǒng)10中的多種實現(xiàn)方式中的一種實現(xiàn)方式。其他實施例包括可用于實現(xiàn)通信系統(tǒng)10提供的優(yōu)點的分布式體系結(jié)構(gòu)。這種配置可在不使用呼叫管理器的情況下工作。當在集中式呼叫處理環(huán)境中實現(xiàn)時，集中式呼叫處理內(nèi)的位置可被均衡，以管理低帶寬鏈路上的帶寬預(yù)留。注意位置之間的中心-輻條式(hub andspoke)配置可被集中式呼叫處理位置概念正確支持。圖3包括可參與視頻會議建立的一組位置(或一個中心和一組輻條配置)40a-c。位置40a可包括耦合到視頻媒體交換機44的媒體交換機音頻橋42。視頻媒體交換機44可操作以用于與集中式呼叫處理集群70以及對等視頻媒體交換機68(位置40c的一部分)和包括在位置40a內(nèi)的視頻端點48通信。
位置40b可包括視頻媒體交換機50，其可操作以用于將聚集核心視頻數(shù)據(jù)傳輸?shù)揭曨l媒體交換機44。視頻媒體交換機50還可將核心音頻數(shù)據(jù)傳輸?shù)矫襟w交換機音頻橋42。視頻媒體交換機50還可與一組視頻端點54和58交換信息或數(shù)據(jù)，該組視頻端點54和58可被包括在位置40b內(nèi)。這三個組件(視頻媒體交換機50以及視頻端點54和58)可操作以用于與集中式呼叫處理集群70通信。注意與圖3的配置的其他適當?shù)耐ㄐ乓彩强赡艿?，如圖中的連接線段所示。還要注意，已提供了密鑰以便提供系統(tǒng)中可交換的數(shù)據(jù)的某些示例性類型，但是也可以很容易地適應(yīng)其他類型的數(shù)據(jù)(或任何適當組合)。
位置40c可包括IP電話60(用于此示例性場景中)、視頻端點64和視頻媒體交換機68。IP電話60可以與集中式呼叫處理集群70以及媒體交換機音頻橋42通信。注意耦合視頻端點64和集中式呼叫處理集群70的H.323鏈路。(H.323是被國際電信聯(lián)盟(ITU)批準的促進經(jīng)由IP網(wǎng)絡(luò)的視頻會議傳輸中的兼容性的標準。H.323被視為用于音頻、視頻和數(shù)據(jù)傳輸以及因特網(wǎng)電話和IP語音(VoIP)中的協(xié)同工作性的標準，因為它解決了點對點和多播會議的呼叫控制和管理，以及媒體流量、帶寬和用戶參與的網(wǎng)關(guān)管理。H.323描述了終端網(wǎng)絡(luò)設(shè)備和服務(wù)之間如何發(fā)生多媒體通信，它是被稱為H.3x的用于多媒體協(xié)同工作性的更大的ITU建議群組的一部分)。
在集中式呼叫處理環(huán)境中，集中式呼叫處理可處理端點和系統(tǒng)應(yīng)用之間的邊緣層處的呼叫路由選擇、呼叫建立以及媒體建立。對于邊緣呼叫，呼叫信令可被系統(tǒng)應(yīng)用終止，而媒體可在具有視頻能力的端點的視頻MS處或僅限音頻的端點的MS音頻橋處被終止。對于核心層，集中式呼叫處理(至少)可以是BW管理器以及應(yīng)用和媒體設(shè)備之間的網(wǎng)關(guān)(CTI到瘦小網(wǎng)關(guān))。
會議管理器應(yīng)用充當系統(tǒng)會議的控制器和集合點。就H.323來說，此應(yīng)用充當多點控制器(MC)。它具有以下功能1)終止來自/去往端點(邊緣層)的所有呼叫[注意用于創(chuàng)建和加入會議的實際呼叫流程依賴于所創(chuàng)建的會議的類型。]；2)分配自組織式會議資源，例如視頻MS和音頻橋MS。[所安排的資源可由安排應(yīng)用來分配。]；3)控制會議的媒體策略[媒體策略確定誰能夠看到和聽到會議內(nèi)發(fā)生的內(nèi)容。]；4)管理核心層中的帶寬(與集中式呼叫處理相結(jié)合)；以及5)利用CTI控制媒體資源(視頻MS和音頻橋MS)的核心部分。
在一個涉及經(jīng)安排的會議的示例性操作的操作中，經(jīng)安排的會議是由用戶用web接口建立的。會議ID被分配給該會議。當安排會議時，用戶可指定日期/時間、會議中的用戶數(shù)目以及從何處呼叫。集中式呼叫處理位置信息可被提供給用戶。此信息可用于檢查位置中的系統(tǒng)會議橋資源和帶寬資源。用戶還可以指定用于此會議的視頻編解碼器。
在另一個涉及“預(yù)留較少meet-me型會議”的示例性實施例的操作中，這種場景與經(jīng)安排的會議類似?？捎脀eb接口創(chuàng)建會議。在預(yù)留較少會議的情況下，可在用戶加入會議可不是會議被安排時創(chuàng)建會議?！癕eetMe按鈕”型會議可以用以下方式來實現(xiàn)。第一參與者按下電話上的“MeetMe”按鈕，并撥打MeetMe號碼。MeetMe型會議被創(chuàng)建并且用戶加入會議。其他參與者可直接撥打MeetMe號碼以加入MeetMe按鈕型會議。
在另一種涉及會議按鈕型會議的示例性操作的操作中，為了將第三個參與者添加到雙方呼叫中，雙方呼叫參與者之一(會議發(fā)起者)按下會議按鈕，然后撥打第三方。一旦第三方應(yīng)答會議，發(fā)起者就按下會議按鈕?，F(xiàn)在，所有的三個參與者都可以在會議中。如果需要添加第四方，則會議參與者可以進行相同的操作序列來添加第四個參與者。
說話者選擇信息可被分布到所有MS，即使是那些不具有音頻處理能力的MS。此信息可被所有MS實時更新并用于對所有DM呼叫腿的視頻進行過濾。
邊緣呼叫路由選擇解決如何在端點及與其相關(guān)聯(lián)的MS之間建立媒體呼叫腿的問題?？梢灾苯釉诙它c(例如電話、網(wǎng)關(guān)等)和用于音頻混合的音頻媒體處理器之間建立用于沒有視頻能力的設(shè)備的音頻流。但是，對于有視頻能力的設(shè)備，可引入中間MS(與端點屬于相同區(qū)域)，以便提供更精細的音頻和視頻服務(wù)(例如唇形同步、視頻路由選擇、智能視頻分布等等)。
DM視頻流可共享出口呼叫腿。從端點的角度來看，存在單個連接，并且來自多個端點的視頻流基于所選策略(例如說話者選擇信息)依次經(jīng)過該連接。由于出口呼叫腿是分離的呼叫腿，因此其時間戳信息是由出口MS生成的，并且不直接對應(yīng)于傳入流的時間戳。
由于音頻的中央混合，因此對音頻代碼轉(zhuǎn)換器的需求是通過了解主叫端點和MS音頻橋的能力、位置和區(qū)域來確定的。此信息都是在呼叫開始時被了解的，并且在會議存在期間是靜態(tài)的。從而，音頻代碼轉(zhuǎn)換器或者可以是MS音頻橋內(nèi)暗含的，或者可以被集中式呼叫處理自動插入作為邊緣呼叫的一部分。音頻代碼轉(zhuǎn)換器可被集中式呼叫處理插入在IP電話和MS音頻橋之間的邊緣呼叫中。
從音頻觀點來看，僅限音頻端點和視頻端點之間的一個差異是終止邊緣呼叫的媒體的位置。在第一種情況下，音頻在音頻橋上被終止，因而集中式呼叫處理具有正確建立音頻代碼轉(zhuǎn)換器所需的所有信息。在第二種情況下，音頻在邊緣視頻MS上被終止，然后被應(yīng)用分布到MS音頻橋。從而，為了使集中式呼叫處理正確建立音頻代碼轉(zhuǎn)換器，邊緣MS視頻必須報告音頻部分的音頻橋的(以及視頻部分的視頻MS的)音頻能力、位置和區(qū)域信息。對于集中式呼叫處理來說，視頻MS看起來可能像兩個設(shè)備，并且集中式呼叫處理可能能夠為每個呼叫維護兩個不同的媒體路徑一個用于音頻，一個用于視頻。另一種替換方案是允許視頻流直接去到MS音頻橋。
主叫者也可用可擴展標記語言(XML)應(yīng)用加入視頻會議。用戶可在XML應(yīng)用中輸入會議ID。應(yīng)用獲得主機名和會議ID。利用主機名進行數(shù)據(jù)庫查找，以獲得電話的媒體資源群組列表(MRGL)。如果存在足夠的資源，則應(yīng)用獲得參與者ID并將被撥打的號碼發(fā)送到XML應(yīng)用。被撥打的號碼可包含會議ID和參與者ID。
利用web入口或交互式語音響應(yīng)(IVR)入口，呼叫可到達會議路由點。當呼叫到來時，應(yīng)用已經(jīng)知道電話的MRGL。應(yīng)用可從MRGL中選擇MS，并為呼叫分配MS視頻端口和MS音頻端口。應(yīng)用請求ACB(應(yīng)用控制橋)終止MS視頻端口處的呼叫，并將MS視頻能力傳遞給ACB。視頻能力可依賴于會議創(chuàng)建期間會議創(chuàng)建者所指定的內(nèi)容。應(yīng)用將呼叫和分配給參與者的音頻端口通知給MS。應(yīng)用還將呼叫通知給MS音頻橋。視頻交換MS可接收呼叫并將流傳遞給音頻橋MS。
如果主叫者不支持視頻(到應(yīng)用的新呼叫事件可具有關(guān)于端點是否支持視頻的信息)，則可分配音頻橋MS端口，并且應(yīng)用可在該端口處終止呼叫。對于涉及預(yù)留較少“Meet Me”型會議的場景，這種情況與經(jīng)安排的會議類似。會議是用web接口創(chuàng)建的，并且會議可在用戶加入會議時而不是會議被安排時被創(chuàng)建。IVR可以與經(jīng)安排的會議類似，并且呼叫流程可以與經(jīng)安排的會議類似。
端點12可將會議軟鍵用于會議按鈕型音頻會議。發(fā)起端點的設(shè)備能力(以及MRGL)可被用于確定用于會議的橋的類型(否則就是具有視頻能力的端點和音頻橋的視頻切換功能)。當會議軟鍵被按下時，會議特征查詢橋控制以獲得可用會議端口。橋控制查詢MRGL中的有序橋列表，以獲得自由會議端口。如果可獲得端口，則橋返回DN。會議特征將呼叫重定向到此DN。
類似的方法可用于安排自組織式視頻會議。當會議軟鍵被按下時，會議特征查詢有序MS列表以獲得自由會議端口。MS又查詢當前的體系結(jié)構(gòu)應(yīng)用，以獲得可用端口。如果資源可用，則應(yīng)用返回路由點的DN以及會議ID。呼叫被重定向到路由點DN，并且應(yīng)用獲得建立會議的機會。
不同機制可用于核心中的媒體分布。來自啟用視頻的端點的音頻流可被從邊緣視頻MS分布到分配給會議的音頻橋MS。混合音頻流可被從音頻橋MS分布到與啟用視頻的端點相連的邊緣視頻MS。來自僅限音頻的設(shè)備的音頻流可在邊緣層而不是核心層中被處理，因為它們可被直接傳輸?shù)揭纛l橋。
RTP/用戶數(shù)據(jù)報協(xié)議(UDP)/IP單播流可用于實現(xiàn)音頻分布。邊緣視頻MS和音頻橋MS之間的音頻連接/流的數(shù)目與發(fā)送音頻(并且連接到該邊緣MS)的啟用視頻的端點的數(shù)目相等。類似的，音頻橋MS和邊緣視頻MS之間的音頻連接/流的數(shù)目與接收音頻(并且連接到該邊緣MS)的啟用視頻的端點的數(shù)目相等。
僅限音頻的端點的音頻代碼轉(zhuǎn)換可由集中式呼叫處理在邊緣層中處理。對于視頻端點，應(yīng)用可在視頻邊緣MS和音頻橋MS之間插入必要的音頻代碼轉(zhuǎn)換器。以下是可被應(yīng)用用來確定是否需要代碼轉(zhuǎn)換器以及何處需要代碼轉(zhuǎn)換器的因素的示例如果主叫端點和音頻橋MS都在相同位置處并且不存在被兩個設(shè)備支持的滿足區(qū)域間要求的公共音頻編解碼器，則在這兩個設(shè)備之間可插入代碼轉(zhuǎn)換器。
在語音激活的會議中，除了持續(xù)看到最后的說話者的當前說話者以外，所有參與者都看到當前說話者。這意味著最后的說話者持續(xù)將其視頻流只發(fā)送到單個端點(當前說話者)。為了避免在整個網(wǎng)絡(luò)內(nèi)對兩個流進行多播(這將需要過量的帶寬預(yù)留)，最后的說話者可以只向當前說話者發(fā)送其流。最后說話者的流可遵循多播路徑到達其目的地，以便排除對進一步帶寬預(yù)留的需要。最后的說話者可發(fā)送其DM視頻流，作為遵循與先前的多播流所遵循的路徑相同的路徑的單播流。由于對于每個會議只需要單個代表最后的說話者的單播流，因此對于每個會議，可為每個媒體交換機預(yù)留單個RTP UDP端口，該端口可以是最后的說話者的視頻被單播到的端口。
網(wǎng)絡(luò)中的每個呼叫腿可使用不同的傳輸協(xié)議，而不影響網(wǎng)絡(luò)的其余部分或攜帶相同流的其他呼叫腿。通過將網(wǎng)絡(luò)核心與端點隔離開來，內(nèi)部傳輸機制的變化可不影響邊緣MS和端點之間的通信。
為了利用LAN中的網(wǎng)絡(luò)帶寬，具有IP多播能力的端點可以通過本地MS以流方式將視頻傳輸?shù)奖舜?，而不引入額外的呼叫腿。為了使得IP多播端點能夠與網(wǎng)絡(luò)中的其他參與者通信，本地MS可以是啟用了IP多播的，以便經(jīng)由網(wǎng)絡(luò)基礎(chǔ)設(shè)施轉(zhuǎn)發(fā)LAN視頻流量(以及經(jīng)由本地LAN對遠程視頻流進行多播)。注意，任何本地MS都可以向多播端點輸出說話者選擇信息，以幫助他們從多個LAN多播流中作出選擇。
視頻快速更新和流程控制消息可由邊緣呼叫腿(從端點到MS)上的標準機制(H.245和SCCP)攜帶。由于集中式呼叫處理和會議應(yīng)用都不具有關(guān)于網(wǎng)絡(luò)核心中切換的視頻源的實時知識，因此實時控制消息的中繼傳遞可繞開呼叫控制元件，而在MS之間直接流動。
在MS處可打開UDP控制端口，以便允許此控制通信。相同的控制端口可被用于快速更新、流控制、FECC(遠端攝像機控制)以及所需的任何其他MS間實時控制協(xié)議，假設(shè)該控制協(xié)議能夠攜帶多個更高層協(xié)議。在集中式呼叫處理故障恢復(fù)的情況下，快速更新和流控制可能停止工作，因為這些信號可能經(jīng)由用于邊緣呼叫腿的集中式呼叫處理傳輸。對于使用基于RTP的機制來傳輸這些信號的新的視頻端點，在故障恢復(fù)之后服務(wù)仍可用。
由于這種體系結(jié)構(gòu)導(dǎo)致源流被多個接收者所接收，因此可能不希望使用流控制消息，這是因為單個接收者可能影響所有其他會議參與者所看到的圖像。因此，體系結(jié)構(gòu)可以仍允許使用此機制，但是可以向系統(tǒng)管理員提供策略選擇選項以禁用其使用。
在(端點和MS之間的)網(wǎng)絡(luò)邊緣處的FECC消息流的上下文中，F(xiàn)ECC消息利用標準專屬格式連接流經(jīng)H.224RTP流。此單個控制信道可用于控制屬于相同呼叫的所有RTP視頻流(本地流ID被用于選擇視頻流)。H.224信道建立是初始呼叫建立消息的一部分。
在(MS之間的)網(wǎng)絡(luò)核心中，在每個MS上打開單個UDP控制端口，并且此控制端口可被共享，以便控制與此MS相關(guān)聯(lián)的所有端點。此控制端口是結(jié)合第一SSM多播呼叫腿的創(chuàng)建而建立的。
對于FM視頻流，核心視頻呼叫腿(到視頻發(fā)起MS的呼叫)和邊緣呼叫腿(到視頻接收端點的呼叫)之間的映射是靜態(tài)的且易于識別的。對于DM視頻流，映射依賴于當前活動的流，這個當前活動的流為視頻接收MS所知。FECC消息(初始和后續(xù)，即使視頻源選擇策略指示變化)可被路由到當前視頻發(fā)起MS。
如果MS FECC UDP控制端口是動態(tài)分配的，則在每個MS中可維護MS(單播IP地址)到FECC UDP控制端口映射表。此表可從負責建立核心呼叫腿的中央會議應(yīng)用下載。為了使與中央應(yīng)用的交互次數(shù)最小化并加速FECC初始通信，端點能力可被緩存在靠近端點的MS中。
在端點加入會議時，一個示例性的操作流程(由于它涉及FECC)中的事件序列如下1.當客戶端加入會議時，在端點和分配的MS之間建立邊緣呼叫腿，包括FECC信道和端口號；2.相關(guān)聯(lián)的MS加入會議并且MS UDP FECC控制端口被建立；3.會議應(yīng)用為新加入的MS更新相同會議內(nèi)的所有MS中的映射表；4.MS可取得攝像機能力，并緩存/存儲它以供后用；5.遠程端點處的用戶經(jīng)由其H.323附件Q/H.242邊緣連接調(diào)用FECC特征；6.遠程MS經(jīng)由MS之間的FECC協(xié)議從與受控端點相關(guān)聯(lián)的MS取得攝像機能力；7.然后兩個MS傳遞(利用可能的消息轉(zhuǎn)換(ISDN/H.323.Q))FECC命令；以及8.對于語音激活的會議，調(diào)用FECC以用于遠程攝像機的參與者可繼續(xù)看到選中的參與者，而不考慮由于新的說話者被選中因而其他視頻流被激活。為了避免影響正在進行的會議，單獨的單播流可被發(fā)送到調(diào)用FECC功能的參與者。此機制與最后說話者單播視頻流功能類似。
利用此體系結(jié)構(gòu)，視頻處理被簡化到最低限度的水平。如果不需要視頻速率轉(zhuǎn)換并且所有端點共享相同的編解碼器，則基礎(chǔ)設(shè)施不需要執(zhí)行媒體處理。只要可在端點之間交換呼叫建立能力，則除了相關(guān)聯(lián)的帶寬問題和在交換視頻流時需要識別I-幀以外，正在使用任何類型的視頻編解碼器這一事實不會影響網(wǎng)絡(luò)處理。視頻源切換超時的實現(xiàn)確保了如果在給定時間量(例如兩秒)中未找到I-幀，則確保在分組丟棄狀態(tài)以及使用新的視頻編解碼器的情況下操作保持可靠。
新的智能端點可能能夠接收多個流并選擇和顯示它們的子集。通過在端點中執(zhí)行此功能，用戶可定制他看到的內(nèi)容。在基于PC的軟件端點的版本中，終端用戶可能能夠建立任何數(shù)目的視頻窗口，并指定在每個窗口中看到的內(nèi)容。選項包括1)當前說話者，2)最后的說話者，3)倒數(shù)第二個說話者，以及4)特定參與者。集成會議參與者目錄服務(wù)可允許終端用戶選擇任何參與者，以便在示出單個用戶或位置的窗口中查看。
但是，對于遺留端點，網(wǎng)絡(luò)可提供合成服務(wù)。這可以通過具有視頻合成能力的集中式MS、通過分布式MS體系結(jié)構(gòu)或通過充當端點的傳統(tǒng)MCU來實現(xiàn)。對于集中式MS實現(xiàn)方式，呼叫處理服務(wù)可將所有有關(guān)流連接到視頻合成MS(用于VAS窗口的DM流和用于特定參與者的FM)，然后視頻合成MS又可創(chuàng)建新的視頻表示方式，該視頻表示方式作為單獨的視頻流對于整個網(wǎng)絡(luò)中任何需要它的端點都是可用的。此視頻合成MS還可預(yù)訂說話者選擇分布服務(wù)，以便確定任何時刻要混合的正確視頻流。
對于分布式MS實現(xiàn)方式，每個參與的MS可能需要具有視頻DSP。中央應(yīng)用可通過指示每個參與的MS創(chuàng)建合成視圖的單個子窗口來協(xié)調(diào)合成視圖。對于DM流，單個MS可預(yù)訂所有DM流，以便創(chuàng)建具有多路參與者的新的流。對于FM流，與被查看的參與者相關(guān)聯(lián)的入口MS可以是生成靠近源的子窗口的良好候選者。然后出口MS可預(yù)訂每個感興趣的窗口，并將其視頻流混合/映射到出口呼叫腿中。然后端點可具有連續(xù)的流，其中每個視頻分組只更新合成視圖的特定部分，但是不一定要意識到這一點。
對于傳統(tǒng)MCU充當端點的模型，會議管理器應(yīng)用可在網(wǎng)絡(luò)核心中創(chuàng)建新的媒體流，所述新的媒體流可以是來自H.323MCU的視頻流之一(所有視頻流看起來都應(yīng)當是相同的)，而其余視頻流和所有音頻流可以被MS丟棄。所有希望看到視頻合成的端點可接收新近可用的視頻合成作為FM流。
視頻代碼轉(zhuǎn)換和速率轉(zhuǎn)換與音頻混合和視頻合成的不同之處可能在于它們只處理單個輸入流。由于本體系結(jié)構(gòu)引入了一般不活動的動態(tài)映射(DM)流的概念，因此需要進行優(yōu)化以便使網(wǎng)絡(luò)中代碼轉(zhuǎn)換/速率轉(zhuǎn)換資源的使用達到最小限度。由于此原因，代碼轉(zhuǎn)換/速率轉(zhuǎn)換器可支持多個流可連接到單個代碼轉(zhuǎn)換/速率轉(zhuǎn)換DSP信道的情況，這將會使DSP處理功耗最小化。
這些代碼轉(zhuǎn)換/速率轉(zhuǎn)換服務(wù)可由以下設(shè)備提供1)為另一個不具有代碼轉(zhuǎn)換/速率轉(zhuǎn)換能力的MS提供代碼轉(zhuǎn)換器/速率轉(zhuǎn)換器服務(wù)的MS，2)作為MS交換/映射服務(wù)的一部分的嵌入式代碼轉(zhuǎn)換器/速率轉(zhuǎn)換器(這避免了為此服務(wù)使用專用呼叫腿)，或者3)充當特殊端點的傳統(tǒng)H.323視頻設(shè)備(MCU或速率轉(zhuǎn)換器/代碼轉(zhuǎn)換器)。
為了使傳統(tǒng)H.323視頻設(shè)備能充當速率轉(zhuǎn)換/代碼轉(zhuǎn)換端點，本體系結(jié)構(gòu)會議管理器可能知道以下事實可能存在提供這些視頻服務(wù)的特殊端點。為了使傳統(tǒng)MCU能提供速率轉(zhuǎn)換/代碼轉(zhuǎn)換服務(wù)，可建立雙方會議。對于充當專用(單個流)代碼轉(zhuǎn)換器/速率轉(zhuǎn)換器的H.323設(shè)備，可在相關(guān)聯(lián)的MS和端點之間建立單個連接、DM或FM。
本體系結(jié)構(gòu)可向啟用了RTCP或未啟用RTCP的端點提供唇形同步服務(wù)。當為未啟用RTCP的端點提供唇形同步時，網(wǎng)絡(luò)核心(入口和出口MS之間的連接和服務(wù))用于確保一起到達入口MS的相關(guān)分組也同時離開出口MS。對于具有RTCP能力的端點，RTCP可被用于端點和MS之間的邊緣連接上，或被攜帶著貫穿核心。
為了允許不同源之間的清潔視頻圖像轉(zhuǎn)換，切換可發(fā)生在I-幀邊界處。I-幀一般遠大于中間的P-幀這一事實(以及端點通常調(diào)整其比特率傳輸以符合給定最大極限這一事實)造成I-幀的傳輸花費長得多的時間并導(dǎo)致幀速率暫時下降。就在新視頻源被顯示之前，終端用戶可能注意到具有任何高度運動的視頻流凍結(jié)。這在現(xiàn)有的集中式MCU中也是常見的。
為了避免視頻源切換之前的這種凍結(jié)，可使用允許突發(fā)流量的IP通信系統(tǒng)。如果入口MS緩沖所有I-幀IP分組直到接收到最后的片段為止，則到該時刻為止它可延遲先前的流切斷通知，然后突發(fā)所有的I-幀IP分組，以便以網(wǎng)絡(luò)帶寬尖峰為代價來維護平穩(wěn)的幀速率。為了使這些重要的I-幀分組被帶寬策略代理丟棄的可能性達到最小，可以為這些分組提升DSCP優(yōu)先級。
由于本體系結(jié)構(gòu)中的視頻切換的分布式性質(zhì)，以及由于可能沒有預(yù)先得知參與者發(fā)出呼叫的位置這一事實，預(yù)留資源以用于將來的會議可能不像集中式會議的資源預(yù)留那么簡單。以下元件可能存在于本體系結(jié)構(gòu)中并且被考慮用于預(yù)留目的1)音頻混合器；2)音頻代碼轉(zhuǎn)換器；3)視頻混合器；4)視頻處理器(速率轉(zhuǎn)換器/代碼轉(zhuǎn)換器)；5)音頻/視頻網(wǎng)關(guān)；6)MS視頻切換能力；以及7)WAN帶寬。除非預(yù)先得知可能的主叫者和視頻混合器的位置，否則唯一的易于安排的資源就是集中式音頻混合器。
圖4是示出與執(zhí)行分布式視頻會議相關(guān)聯(lián)的一系列示例性步驟的簡化流程圖。該流程圖可開始于步驟100處，在這里視頻會議被與通信系統(tǒng)10的給定端點相關(guān)聯(lián)的參與者所發(fā)起。在步驟102處，來自所有端點12的音頻流(既有僅限音頻的，又有具有視頻能力的)被發(fā)送到中央音頻混合器，在這里確定活動說話者。然后此信息被傳播到所有媒體交換機26。
在步驟104處，媒體交換機26可抑制除活動說話者的視頻流外的所有視頻流，并且活動說話者的視頻流可被傳播到會議中的所有MS(例如用SSM)。在步驟106處，每個媒體交換機26復(fù)制它自己所有的本地端點的視頻流，這些本地端點可能是會議的一部分。在其他場景中，在媒體交換機26和其本地端點之間可使用多播協(xié)議。在通信系統(tǒng)10內(nèi)，音頻混合可以是集中式的或分布式的。在步驟108處，端點12可選擇鎖定到會議的特定參與者。此能力可通過單獨的接口來提供，或者它可以是增強型端點處的端點功能的一部分?？梢员绘i定的端點12可將FV流以流方式傳輸?shù)綍h。此功能可在媒體交換機26中實現(xiàn)。在多個端點希望鎖定到相同的參與者的情況下，媒體交換機26可預(yù)訂相同的SSM流，或者可在媒體交換機26之間交換信令以建立適當?shù)膯尾チ鳌亩?，每個端點12可接收FV和SV流的混合。
步驟110反映了端點的以下能力可選擇不接收任何SV流，而是只接收特定參與者的FV流(例如具有問題和答案會話的講課模式，其中端點可選擇只接收講課的說話者并收聽問題的音頻)。提供了步驟112以例示切換SV流時涉及的靈活性。端點接收到的SV流不一定是基于活動音頻說話者的，而是基于其他標準的，例如控制共享白板的個人?；蛘?，正如步驟114所反映的，調(diào)解器可選擇在適當時切換視頻源。在單個會議中可能有多個SV流，并且不同的標準可被用來切換源。端點可選擇接收會議中的一個或多個SV流，或不接收會議中的SV流。
步驟116代表一個通信系統(tǒng)10向視頻會議的參與者提供一種或多種媒體服務(wù)的能力。從而，通信系統(tǒng)10可具有媒體變換器(例如代碼轉(zhuǎn)換器、速率轉(zhuǎn)換器和合成服務(wù))以提供有關(guān)媒體服務(wù)。
圖4中示出的某些步驟在適當時可被改變或刪除，并且額外的步驟也可被添加到流程圖中。這些變化可以是基于特定通信體系結(jié)構(gòu)的，或者基于相關(guān)聯(lián)的元件的特定接口布置和配置的，而并不脫離本發(fā)明的范圍或教導(dǎo)。意識到圖4只示出通信系統(tǒng)10的多種可能的實現(xiàn)方式中的一種是很重要的。
雖然已經(jīng)參考視頻會議通信詳細描述了本發(fā)明，但是通信系統(tǒng)10可用于涉及任何通信環(huán)境中的流式信息的路由選擇、映射或重定向的任何協(xié)議。任何適當?shù)纳婕皟蓚€或多個參與實體的通信都可受益于本發(fā)明的教導(dǎo)。視頻會議通信的使用只是出于教導(dǎo)目的而提供的，而不應(yīng)當被解釋為以任何方式限制本發(fā)明的范圍。
此外，雖然本發(fā)明是參考包括在通信系統(tǒng)10內(nèi)的多個元件來描述的，但是這些元件可以以任何合適的方式被重新布置或定位，以適應(yīng)于任何適當?shù)穆酚蛇x擇配置。另外，在適當時，這些元件中的任何元件可作為通信系統(tǒng)10外部的分離組件或彼此分離的組件來提供。例如，在可操作以用于執(zhí)行這里所述的分布式視頻會議的操作的單個模塊或組件中，可在媒體交換機26內(nèi)部或外部提供視頻橋14或音頻橋16。本發(fā)明預(yù)期了這些元件及其內(nèi)部組件的布置的巨大靈活性。
本領(lǐng)域技術(shù)人員會想到多種其它的改變、替換、變化、變更和修改，并且希望本發(fā)明包含落入所附權(quán)利要求范圍內(nèi)的所有這樣的改變、替換、變化、變更和修改。為了幫助美國專利和商標局(USPTO)以及在此申請上公布的任何專利的任何讀者理解所附權(quán)利要求，申請人希望注意，申請人(a)不希望所附權(quán)利要求中的在本申請的申請日存在的任何權(quán)利要求援引35U.S.C.112條第六(6)款，除非“用于...的裝置”或“用于...的步驟”專門用在該特定權(quán)利要求中；并且(b)不希望以說明書中的任何陳述以任何沒有以其它方式反映在所附權(quán)利要求中的方式來限制本發(fā)明。
權(quán)利要求
1.一種用于執(zhí)行視頻會議的裝置，包括音頻混合器，其可操作以用于接收來自一個或多個端點的與視頻會議相關(guān)聯(lián)的一個或多個音頻流，并且確定與所述端點之一相關(guān)聯(lián)的活動說話者；以及一個或多個媒體交換機，其可操作以用于接收與所述活動說話者相關(guān)聯(lián)的音頻信息，其中所述媒體交換機中的一個或多個媒體交換機可操作以用于抑制除與所述活動說話者相關(guān)聯(lián)的被選中的視頻流之外的一個或多個視頻流，所述被選中的視頻流在所述視頻會議期間傳播到所述媒體交換機中的一個或多個媒體交換機，并且其中所述媒體交換機中被選中的一個媒體交換機可操作以用于復(fù)制所述被選中的視頻流以便它可被傳輸?shù)脚c所述被選中的媒體交換機相關(guān)聯(lián)的所述端點中的一個或多個端點。
2.如權(quán)利要求1所述的裝置，其中所述被選中的視頻流在所述視頻會議期間利用多播協(xié)議傳播到所述媒體交換機中的一個或多個媒體交換機。
3.如權(quán)利要求1所述的裝置，其中在所述被選中的媒體交換機和與所述被選中的媒體交換機相關(guān)聯(lián)的所述端點之間執(zhí)行多播和單播操作中被選中的那個操作。
4.如權(quán)利要求1所述的裝置，其中被選中的媒體交換機可操作以用于使與所述視頻會議相關(guān)聯(lián)的所述端點中的被選中的一個端點能夠鎖定到所述視頻會議的參與者，所述被選中的端點傳播與所述視頻會議相關(guān)聯(lián)的固定視頻(FV)流。
5.如權(quán)利要求1所述的裝置，其中被選中的媒體交換機可操作以用于控制所述端點中被選中的一個端點是接收FV流、切換型視頻(SV)流還是其任何組合。
6.如權(quán)利要求1所述的裝置，其中所述端點中被選中的一個端點不基于所述活動說話者接收SV流，并且其中所述媒體交換機中被選中的那個媒體交換機可操作以用于使得所述端點中被選中的一個端點能夠基于被選中的白板控制特征接收所述SV流。
7.如權(quán)利要求1所述的裝置，其中所述媒體交換機中被選中的一個媒體交換機可操作以用于使得所述視頻會議的調(diào)解器能夠控制視頻源以便所述端點中被選中的一個端點接收由所述調(diào)解器確定的被選中的視頻流。
8.如權(quán)利要求1所述的裝置，還包括媒體橋，其可操作以用于為所述視頻會議提供一種或多種媒體服務(wù)，以便所述媒體服務(wù)中的一種或多種媒體服務(wù)被遞送到所述端點中的一個或多個端點。
9.如權(quán)利要求8所述的裝置，其中所述媒體橋包括媒體變換器、代碼轉(zhuǎn)換器和速率轉(zhuǎn)換器中被選中的一個或多個。
10.如權(quán)利要求1所述的裝置，還包括網(wǎng)關(guān)，其可操作以用于提供到一個或多個媒體交換機的連通性，所述媒體交換機中的一個或多個媒體交換機可操作以用于輔助所述第一和第二端點參與所述視頻會議。
11.一種用于執(zhí)行視頻會議的方法，包括接收來自一個或多個端點的與視頻會議相關(guān)聯(lián)的一個或多個音頻流；確定與所述端點之一相關(guān)聯(lián)的活動說話者；在一個或多個媒體交換機處接收與所述活動說話者相關(guān)聯(lián)的音頻信息；抑制除與所述活動說話者相關(guān)聯(lián)的被選中的視頻流之外的一個或多個視頻流，所述被選中的視頻流在所述視頻會議期間傳播到所述媒體交換機中的一個或多個媒體交換機；以及復(fù)制所述被選中的視頻流以便它可被傳輸?shù)脚c所述媒體交換機中被選中的一個媒體交換機相關(guān)聯(lián)的所述端點中的一個或多個端點。
12.如權(quán)利要求11所述的方法，其中所述被選中的視頻流在所述視頻會議期間利用多播協(xié)議傳播到所述媒體交換機中的一個或多個媒體交換機。
13.如權(quán)利要求11所述的方法，還包括在所述被選中的媒體交換機和與所述被選中的媒體交換機相關(guān)聯(lián)的所述端點之間執(zhí)行多播和單播操作中被選中的那個操作。
14.如權(quán)利要求11所述的方法，還包括使與所述視頻會議相關(guān)聯(lián)的所述端點中的被選中的一個端點能夠鎖定到所述視頻會議的參與者，所述被選中的端點傳播與所述視頻會議相關(guān)聯(lián)的固定視頻(FV)流。
15.如權(quán)利要求11所述的方法，還包括控制所述端點中被選中的一個端點是接收FV流、切換型視頻(SV)流還是其任何組合。
16.如權(quán)利要求11所述的方法，其中所述端點中被選中的一個端點不基于所述活動說話者接收SV流，并且其中所述被選中媒體交換機可操作以用于使得所述端點中被選中的一個端點能夠基于白板控制特征和帶寬參數(shù)中被選中的那個接收所述SV流。
17.如權(quán)利要求11所述的方法，還包括使得所述視頻會議的調(diào)解器能夠控制視頻源以便所述端點中被選中的一個或多個端點接收由所述調(diào)解器確定的被選中的視頻流。
18.如權(quán)利要求11所述的方法，還包括為所述視頻會議提供一種或多種媒體服務(wù)，以便所述媒體服務(wù)中的一種或多種媒體服務(wù)被遞送到所述端點中的一個或多個端點。
19.一種用于執(zhí)行視頻會議的系統(tǒng)，包括用于接收來自一個或多個端點的與視頻會議相關(guān)聯(lián)的一個或多個音頻流的裝置；用于確定與所述端點之一相關(guān)聯(lián)的活動說話者的裝置；用于接收與所述活動說話者相關(guān)聯(lián)的音頻信息的裝置；用于抑制除與所述活動說話者相關(guān)聯(lián)的被選中的視頻流之外的一個或多個視頻流的裝置，所述被選中的視頻流在所述視頻會議期間傳播到一個或多個媒體交換機；以及用于復(fù)制所述被選中的視頻流以便它可被傳輸?shù)脚c所述媒體交換機中被選中的一個媒體交換機相關(guān)聯(lián)的所述端點中的一個或多個端點的裝置。
20.如權(quán)利要求19所述的系統(tǒng)，其中所述被選中的視頻流在所述視頻會議期間利用多播協(xié)議傳播到所述媒體交換機中的一個或多個媒體交換機。
21.如權(quán)利要求19所述的系統(tǒng)，還包括用于在所述被選中的媒體交換機和與所述被選中的媒體交換機相關(guān)聯(lián)的所述端點之間執(zhí)行多播和單播操作中被選中的那個操作的裝置。
22.如權(quán)利要求19所述的系統(tǒng)，還包括用于使與所述視頻會議相關(guān)聯(lián)的所述端點中的被選中的一個端點能夠鎖定到所述視頻會議的參與者的裝置，所述被選中的端點傳播與所述視頻會議相關(guān)聯(lián)的固定視頻(FV)流。
23.如權(quán)利要求19所述的系統(tǒng)，還包括用于控制所述端點中被選中的一個端點是接收FV流、切換型視頻(SV)流還是其任何組合的裝置。
24.如權(quán)利要求19所述的系統(tǒng)，其中所述端點中被選中的一個端點不基于所述活動說話者接收SV流，并且其中所述被選中的媒體交換機可操作以用于使得所述端點中被選中的一個端點能夠基于被選中的白板控制特征接收所述SV流。
25.如權(quán)利要求19所述的系統(tǒng)，還包括用于使得所述視頻會議的調(diào)解器能夠控制視頻源以便所述端點中被選中的一個或多個端點接收由所述調(diào)解器確定的被選中的視頻流的裝置。
26.如權(quán)利要求19所述的系統(tǒng)，還包括用于為所述視頻會議提供一種或多種媒體服務(wù)以便所述媒體服務(wù)中的一種或多種媒體服務(wù)被遞送到所述端點中的一個或多個端點的裝置。
27.一種用于執(zhí)行視頻會議的軟件，該軟件被包含在計算機可讀介質(zhì)中并且包括計算機代碼，所述代碼在被執(zhí)行時可操作以用于接收來自一個或多個端點的與視頻會議相關(guān)聯(lián)的一個或多個音頻流；確定與所述端點之一相關(guān)聯(lián)的活動說話者；接收與所述活動說話者相關(guān)聯(lián)的音頻信息；抑制除與所述活動說話者相關(guān)聯(lián)的被選中的視頻流之外的一個或多個視頻流，所述被選中的視頻流在所述視頻會議期間傳播到一個或多個媒體交換機；以及復(fù)制所述被選中的視頻流以便它可被傳輸?shù)脚c所述媒體交換機中被選中的一個媒體交換機相關(guān)聯(lián)的所述端點中的一個或多個端點。
28.如權(quán)利要求27所述的介質(zhì)，其中所述被選中的視頻流在所述視頻會議期間利用多播協(xié)議傳播到所述媒體交換機中的一個或多個媒體交換機。
29.如權(quán)利要求27所述的介質(zhì)，其中所述代碼還可操作以用于在所述被選中的媒體交換機和與所述被選中的媒體交換機相關(guān)聯(lián)的所述端點之間執(zhí)行多播和單播操作中被選中的那個操作。
30.如權(quán)利要求27所述的介質(zhì)，其中所述代碼還可操作以用于使與所述視頻會議相關(guān)聯(lián)的所述端點中的被選中的一個端點能夠鎖定到所述視頻會議的參與者，所述被選中的端點傳播與所述視頻會議相關(guān)聯(lián)的固定視頻(FV)流。
31.如權(quán)利要求27所述的介質(zhì)，其中所述代碼還可操作以用于控制所述端點中被選中的一個端點是接收FV流、切換型視頻(SV)流還是其任何組合。
32.如權(quán)利要求27所述的介質(zhì)，其中所述端點中被選中的一個端點不基于所述活動說話者接收SV流，并且其中所述被選中的媒體交換機可操作以用于使得所述端點中被選中的一個端點能夠基于被選中的白板控制特征接收所述SV流。
33.如權(quán)利要求27所述的介質(zhì)，其中所述代碼還可操作以用于使得所述視頻會議的調(diào)解器能夠控制視頻源以便所述端點中被選中的一個或多個端點接收由所述調(diào)解器確定的被選中的視頻流。
34.如權(quán)利要求27所述的介質(zhì)，其中所述代碼還可操作以用于為所述視頻會議提供一種或多種媒體服務(wù)，以便所述媒體服務(wù)中的一種或多種媒體服務(wù)被遞送到所述端點中的一個或多個端點。
35.一種用于執(zhí)行分布式視頻會議的裝置，包括音頻橋，其可操作以用于接收來自第一和第二端點的音頻數(shù)據(jù)；以及視頻橋，其可操作以用于接收來自所述第一和第二端點的視頻數(shù)據(jù)，其中所述第一和第二端點可操作以用于連接到視頻會議，所述音頻橋可操作以用于識別分別用于所述第一和第二端點的第一和第二抖動緩沖器的大小，并且將來自所述第一和第二端點的音頻數(shù)據(jù)發(fā)送到所述第一和第二抖動緩沖器，所述音頻橋還可操作以用于將所述第一和第二抖動緩沖器的輸出加在一起以創(chuàng)建單個混合音頻輸出流，所述音頻橋確定每個輸入音頻輸出流到所述混合音頻流的輸入到輸出映射，從而所述音頻橋可將所述映射傳輸?shù)剿鲆曨l橋，所述視頻橋可操作以用于接收一個或多個視頻流，并且延遲所述視頻流中的每一個視頻流以便所述映射可被再現(xiàn)，所述視頻橋可操作以用于識別所述視頻流中的哪些最后到達，并延遲所有其他視頻流以便每個視頻流的輸入到輸出映射被匹配到相應(yīng)音頻流的映射，混合輸出視頻流可通過混合經(jīng)延遲的視頻流來創(chuàng)建，從而來自所述音頻橋和所述視頻橋的混合輸出可被傳輸回所述第一和第二端點中的每一個，以輔助所述視頻會議。
36.如權(quán)利要求35所述的裝置，其中所述視頻橋可操作以用于延遲所述視頻流中的每一個視頻流以便所述映射可被再現(xiàn)，同時通過將多個延遲之一設(shè)置為零來使總延遲最小。
37.如權(quán)利要求35所述的裝置，還包括媒體交換機，其包括所述音頻橋和所述視頻橋，并且可操作以用于控制所述第一和第二端點，以及將所述第一和第二端點連接到所述音頻橋和所述視頻橋。
38.如權(quán)利要求35所述的裝置，其中所述音頻橋可操作以用于將所述第一和第二抖動緩沖器的輸出加在一起以創(chuàng)建具有網(wǎng)絡(luò)時間協(xié)議(NTP)時間戳的單個混合音頻輸出流，所述音頻橋還可操作以用于將每個輸入流的NTP時間戳映射到所述混合音頻輸出流。
39.如權(quán)利要求35所述的裝置，其中所述音頻橋還包括音頻混合器，該音頻混合器可操作以用于通過混合從所述第一和第二端點接收到的音頻數(shù)據(jù)來輔助所述音頻橋的操作。
40.如權(quán)利要求35所述的裝置，其中所述視頻橋還包括視頻混合器，該視頻混合器可操作以用于通過混合從所述第一和第二端點接收到的視頻數(shù)據(jù)來輔助所述視頻橋的操作。
41.如權(quán)利要求35所述的裝置，還包括網(wǎng)關(guān)，其可操作以用于提供到一個或多個媒體交換機的連通性，所述媒體交換機中的一個或多個媒體交換機可操作以用于輔助所述第一和第二端點對所述視頻會議的參與。
42.如權(quán)利要求35所述的裝置，還包括呼叫管理器，其可操作以用于提供通信平臺，所述第一和第二端點可從該通信平臺參與所述視頻會議。
43.一種用于執(zhí)行分布式視頻會議的方法，包括接收來自第一和第二端點的音頻數(shù)據(jù)；接收來自所述第一和第二端點的視頻數(shù)據(jù)，其中所述第一和第二端點可操作以用于連接到視頻會議；識別分別用于所述第一和第二端點的第一和第二抖動緩沖器的大??；將來自所述第一和第二端點的音頻數(shù)據(jù)傳輸?shù)剿龅谝缓偷诙秳泳彌_器；將所述第一和第二抖動緩沖器的輸出加在一起以創(chuàng)建單個混合音頻輸出流；確定每個輸入音頻輸出流到所述混合音頻流的輸入到輸出映射；接收一個或多個視頻流；延遲所述視頻流中的一個或多個視頻流以便所述映射可被再現(xiàn)；識別所述視頻流中的哪些最后到達，并延遲所有其他視頻流以便每個視頻流的輸入到輸出映射被匹配到相應(yīng)音頻流的映射；以及通過混合經(jīng)延遲的視頻流來創(chuàng)建混合輸出視頻流，從而所述混合輸出可被傳輸回所述第一和第二端點中的每一個，以輔助所述視頻會議。
44.如權(quán)利要求43所述的方法，其中延遲所述視頻流中的一個或多個視頻流是在使總延遲最小的同時被執(zhí)行的，并且是通過將多個延遲之一設(shè)置為零來執(zhí)行的。
45.如權(quán)利要求43所述的方法，還包括控制來自所述第一和第二端點的數(shù)據(jù)流；以及將所述第一和第二端點連接到所述視頻會議。
46.如權(quán)利要求43所述的方法，其中將所述第一和第二抖動緩沖器的輸出加在一起包括對所述輸出求和以創(chuàng)建具有網(wǎng)絡(luò)時間協(xié)議(NTP)時間戳的單個混合音頻輸出流，從而每個輸入流的NTP時間戳可被匹配到所述混合音頻輸出流。
47.如權(quán)利要求43所述的方法，還包括提供到一個或多個媒體交換機的連通性，所述媒體交換機中的一個或多個媒體交換機可操作以用于輔助所述第一和第二端點對所述視頻會議的參與。
48.如權(quán)利要求43所述的方法，還包括提供通信平臺，所述第一和第二端點可從該通信平臺參與所述視頻會議，所述通信平臺提供了管理功能以便輔助所述視頻會議的發(fā)起。
49.一種用于執(zhí)行分布式視頻會議的系統(tǒng)，包括用于接收來自第一和第二端點的音頻數(shù)據(jù)的裝置；用于接收來自所述第一和第二端點的視頻數(shù)據(jù)的裝置，其中所述第一和第二端點可操作以用于連接到視頻會議；用于識別分別用于所述第一和第二端點的第一和第二抖動緩沖器的大小的裝置；用于將來自所述第一和第二端點的音頻數(shù)據(jù)傳輸?shù)剿龅谝缓偷诙秳泳彌_器的裝置；用于將所述第一和第二抖動緩沖器的輸出加在一起以創(chuàng)建單個混合音頻輸出流的裝置；用于確定每個輸入音頻輸出流到所述混合音頻流的輸入到輸出映射的裝置；用于接收一個或多個視頻流的裝置；用于延遲所述視頻流中的一個或多個視頻流以便所述映射可被再現(xiàn)的裝置；用于識別所述視頻流中的哪些最后到達并延遲所有其他視頻流以便每個視頻流的輸入到輸出映射被匹配到相應(yīng)音頻流的映射的裝置；以及用于通過混合經(jīng)延遲的視頻流來創(chuàng)建混合輸出視頻流的裝置，從而所述混合輸出可被傳輸回所述第一和第二端點中的每一個，以輔助所述視頻會議。
50.如權(quán)利要求49所述的系統(tǒng)，其中延遲所述視頻流中的一個或多個視頻流是在使總延遲最小的同時被執(zhí)行的，并且是通過將多個延遲之一設(shè)置為零來執(zhí)行的。
51.如權(quán)利要求49所述的系統(tǒng)，還包括用于控制來自所述第一和第二端點的數(shù)據(jù)流的裝置；以及用于將所述第一和第二端點連接到所述視頻會議的裝置。
52.如權(quán)利要求49所述的系統(tǒng)，其中將所述第一和第二抖動緩沖器的輸出加在一起包括對所述輸出求和以創(chuàng)建具有網(wǎng)絡(luò)時間協(xié)議(NTP)時間戳的單個混合音頻輸出流，從而每個輸入流的NTP時間戳可被匹配到所述混合音頻輸出流。
53.如權(quán)利要求49所述的系統(tǒng)，還包括用于提供到一個或多個媒體交換機的連通性的裝置，所述媒體交換機中的一個或多個媒體交換機可操作以用于輔助所述第一和第二端點對所述視頻會議的參與。
54.如權(quán)利要求49所述的系統(tǒng)，還包括用于提供通信平臺的裝置，所述第一和第二端點可從該通信平臺參與所述視頻會議，所述通信平臺提供了管理功能以便輔助所述視頻會議的發(fā)起。
55.一種用于執(zhí)行分布式視頻會議的軟件，該軟件被包含在計算機可讀介質(zhì)中并且包括計算機代碼，所述代碼在被執(zhí)行時可操作以用于接收來自第一和第二端點的音頻數(shù)據(jù)；接收來自所述第一和第二端點的視頻數(shù)據(jù)，其中所述第一和第二端點可操作以用于連接到視頻會議；識別分別用于所述第一和第二端點的第一和第二抖動緩沖器的大?。粚碜运龅谝缓偷诙它c的音頻數(shù)據(jù)傳輸?shù)剿龅谝缓偷诙秳泳彌_器；將所述第一和第二抖動緩沖器的輸出加在一起以創(chuàng)建單個混合音頻輸出流；確定每個輸入音頻輸出流到所述混合音頻流的輸入到輸出映射；接收一個或多個視頻流；延遲所述視頻流中的一個或多個視頻流以便所述映射可被再現(xiàn)；識別所述視頻流中的哪些最后到達，并延遲所有其他視頻流以便每個視頻流的輸入到輸出映射被匹配到相應(yīng)音頻流的映射；以及通過混合經(jīng)延遲的視頻流來創(chuàng)建混合輸出視頻流，從而所述混合輸出可被傳輸回所述第一和第二端點中的每一個，以輔助所述視頻會議。
56.如權(quán)利要求55所述的介質(zhì)，其中延遲所述視頻流中的一個或多個視頻流是在使總延遲最小的同時被執(zhí)行的，并且是通過將多個延遲之一設(shè)置為零來執(zhí)行的。
57.如權(quán)利要求55所述的介質(zhì)，其中所述代碼還可操作以用于控制來自所述第一和第二端點的數(shù)據(jù)流；以及將所述第一和第二端點連接到所述視頻會議。
58.如權(quán)利要求55所述的介質(zhì)，其中將所述第一和第二抖動緩沖器的輸出加在一起包括對所述輸出求和以創(chuàng)建具有網(wǎng)絡(luò)時間協(xié)議(NTP)時間戳的單個混合音頻輸出流，從而每個輸入流的NTP時間戳可被匹配到所述混合音頻輸出流。
59.如權(quán)利要求55所述的介質(zhì)，其中所述代碼還可操作以用于提供到一個或多個媒體交換機的連通性，所述媒體交換機中的一個或多個媒體交換機可操作以用于輔助所述第一和第二端點對所述視頻會議的參與。
60.如權(quán)利要求55所述的介質(zhì)，其中所述代碼還可操作以用于提供通信平臺，所述第一和第二端點可從該通信平臺參與所述視頻會議，所述通信平臺提供了管理功能以便輔助所述視頻會議的發(fā)起。
全文摘要
提供了一種用于執(zhí)行視頻會議的方法，該方法包括在(26)處接收來自一個或多個端點(12)的與視頻會議(12)相關(guān)聯(lián)的一個或多個音頻流，并且確定與所述端點(12)之一相關(guān)聯(lián)的活動說話者。與活動說話者相關(guān)聯(lián)的音頻信息可在一個或多個媒體交換機處被接收。除與活動說話者相關(guān)聯(lián)的被選中的視頻流之外的一個或多個視頻流可被抑制，被選中的視頻流在視頻會議期間傳播到所述媒體交換機中的一個或多個媒體交換機。被選中的視頻流可被復(fù)制，以便它可被傳輸?shù)脚c所述媒體交換機(26)中被選中的一個媒體交換機相關(guān)聯(lián)的所述端點中的一個或多個端點。
文檔編號H04N7/15GK1849824SQ200480026120
公開日2006年10月18日 申請日期2004年10月6日 優(yōu)先權(quán)日2003年10月8日
發(fā)明者斯科特·S·費勒斯托納, 瓦爾特·R·弗里迪徹, 納敏·M·埃斯邁爾, 凱斯·A·藍茨, 尚塔努·薩卡爾, 魯克·K·蘇雷茲克, 吳端培 申請人:思科技術(shù)公司