專利名稱：具有消息傳送系統(tǒng)的視頻會議應(yīng)用用戶接口的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總的涉及視頻會議，更具體地，涉及視頻會議應(yīng)用用戶接口和消息傳送系統(tǒng)，其中該消息傳送系統(tǒng)用于控制被顯示在所述用戶接口上的視頻數(shù)據(jù)的參量。
背景技術(shù)：
視頻會議牽涉到在幾個處于計算機網(wǎng)絡(luò)上不同位置的用戶之間傳輸實況的、雙向互動的視頻。實時互動視頻需要以延時受到約束的方式來進行大量信息的傳輸。視頻會議的一個缺點是，在某些情形下實時視頻傳輸會極其消耗帶寬、以及容易耗盡可用的網(wǎng)絡(luò)資源。通過網(wǎng)絡(luò)發(fā)送的實時視頻的比特速率主要取決于視頻資源和所使用的壓縮算法。在總體環(huán)境下，網(wǎng)絡(luò)典型地包括通過一個或多個廣域網(wǎng)(WAN)耦合的多個局域網(wǎng)(LAN)。典型視頻會議系統(tǒng)的限制因素是在地理位置之間的長距離鏈路(例如，WAN)。
因此，克服現(xiàn)有技術(shù)缺陷的視頻會議應(yīng)用用戶接口是令人想要的和非常有利的。
發(fā)明概要本發(fā)明的視頻會議應(yīng)用用戶接口和用于控制被顯示在所述用戶接口上的視頻數(shù)據(jù)的參量的消息傳送系統(tǒng)解決了上述的問題和現(xiàn)有技術(shù)的其他有關(guān)的問題。
按照本發(fā)明的一個方面，提供了一種用于構(gòu)架于網(wǎng)絡(luò)之上的視頻會議系統(tǒng)的回放控制系統(tǒng)。所述回放控制系統(tǒng)包括具有多個顯示窗口的用戶接口，它允許不同的分辨率和幀速率；以及用于按照個體的顯示要求來管理顯示和輸送特性的消息傳送系統(tǒng)。
按照本發(fā)明的另一個方面，提供了一種用于視頻會議系統(tǒng)的用戶接口。所述用戶接口包括具有多個顯示窗口的視頻回放設(shè)備，這些顯示窗口能夠同時被顯示并且它們允許不同的分辨率和幀速率。
按照本發(fā)明的再一個方面，提供了一種用于構(gòu)架于網(wǎng)絡(luò)之上的視頻會議系統(tǒng)的服務(wù)器。所述服務(wù)器包括用于按照個體的顯示要求來管理顯示和輸送特性的消息傳送系統(tǒng)。
按照本發(fā)明的又一個方面，提供了一種用于顯示對應(yīng)于一個視頻會議會話的內(nèi)容的方法。所述方法包括提供多個顯示窗口的步驟，其中這些窗口能夠同時被顯示并且它們允許不同的分辨率和幀速率。
當(dāng)結(jié)合附圖閱讀以下優(yōu)選實施例的詳細(xì)說明時，將明白本發(fā)明的這些和其他方面的特性和優(yōu)點。
附圖簡述

圖1A是圖解說明按照本發(fā)明的說明性實施例的、可應(yīng)用本發(fā)明的計算機系統(tǒng)100的方框圖；圖1B是圖解說明按照本發(fā)明的說明性實施例的、單播視頻會議會話的方框圖；圖1C是圖解說明按照本發(fā)明的說明性實施例的、多播視頻會議會話的方框圖；圖2是圖解說明按照本發(fā)明的說明性實施例的、可應(yīng)用本發(fā)明的網(wǎng)絡(luò)200的方框圖；圖3是圖解說明按照本發(fā)明的說明性實施例的、圖2的視頻會議服務(wù)器205的方框圖；圖4是圖解說明按照本發(fā)明的說明性實施例的、用于被包括在圖3的數(shù)據(jù)庫實體中的成員數(shù)據(jù)庫314的成員數(shù)據(jù)庫實體400的圖；圖5是圖解說明按照本發(fā)明的說明性實施例的、用于被包括在圖3的數(shù)據(jù)庫實體302中的現(xiàn)行會話(active session)數(shù)據(jù)庫312的現(xiàn)行會話實體500的方框圖；圖6是圖解說明按照本發(fā)明的說明性實施例的、簡單網(wǎng)絡(luò)管理協(xié)議(SNMP)客戶-服務(wù)器結(jié)構(gòu)600的方框圖；圖7是圖解說明按照本發(fā)明的說明性實施例的、用于通過使用會話發(fā)起協(xié)議(SIP)來登記視頻會議會話的方法的圖；圖8A是圖解說明按照本發(fā)明的說明性實施例的、用于通過使用會話發(fā)起協(xié)議(SIP)來建立單播視頻會議會話的方法的圖；圖8B是圖解說明按照本發(fā)明的說明性實施例的、當(dāng)從客戶#1 802接收到INVITE(邀請)請求時(圖8A的步驟810)，由圖2的視頻會議服務(wù)器205所采取的步驟的圖。
圖9是進一步圖解說明按照本發(fā)明的說明性實施例的、圖8A的方法的圖；圖10是圖解說明按照本發(fā)明的另一個說明性實施例的、用于通過使用會話發(fā)起協(xié)議(SIP)來建立多播視頻會議會話的方法的圖11是圖解說明按照本發(fā)明的說明性實施例的、用于通過使用會話發(fā)起協(xié)議(SIP)來取消視頻會議會話的方法的圖；圖12是圖解說明按照本發(fā)明的說明性實施例的、用于通過使用會話發(fā)起協(xié)議(SIP)來終止在兩個客戶之間的視頻會議會話的方法的圖；圖13是圖解說明按照本發(fā)明的說明性實施例的、用于通過使用會話發(fā)起協(xié)議(SIP)來終止在三個客戶之間的視頻會議會話的方法的圖；圖14是圖解說明按照本發(fā)明的另一個說明性實施例的、用于通過使用會話發(fā)起協(xié)議(SIP)來終止在三個客戶之間的視頻會議會話的方法的圖；圖15是圖解說明按照本發(fā)明的說明性實施例的、用于分辨率與幀速率調(diào)節(jié)的信令方法的圖；圖16是圖解說明按照本發(fā)明的說明性實施例的、在分辨率與幀速率調(diào)節(jié)(客戶2和3)之前的信令的圖；圖17是圖解說明按照本發(fā)明的說明性實施例的、在分辨率與幀速率調(diào)節(jié)(客戶2和3)之后的信令的圖；圖18A是按照本發(fā)明的說明性實施例的、視頻會議客戶應(yīng)用1800的方框圖；圖18B是進一步圖解說明按照本發(fā)明的說明性實施例的、被包括在圖18A的多媒體接口層1802中的音頻混合器1899的方框圖；圖18C是進一步圖解說明按照本發(fā)明的說明性實施例的、被包括在圖18A的多媒體接口層1802中的回聲抵消模塊1898的方框圖；圖19是圖解說明按照本發(fā)明的說明性實施例的、由被包括在音頻編解碼器1804a和/或視頻編解碼器1804b任一方中的解碼器1890所采用的方法的圖；圖20是圖解說明按照本發(fā)明的說明性實施例的、用戶平面協(xié)議堆棧2000的圖；圖21是圖解說明按照本發(fā)明的說明性實施例的、控制平面協(xié)議堆棧2100的圖；圖22是圖解說明按照本發(fā)明的說明性實施例的、對應(yīng)于圖18A的用戶接口1808的屏幕快照(shot)2200的方框圖；圖23是圖解說明按照本發(fā)明的說明性實施例的、登錄界面2300的方框圖24是圖解說明按照本發(fā)明的說明性實施例的、用于會話發(fā)起的用戶選擇界面2400的方框圖；圖25是圖解說明按照本發(fā)明的說明性實施例的、用于接受或拒絕一個進入呼叫的邀請界面2500的方框圖；圖26是圖解說明按照本發(fā)明的說明性實施例的、用戶接口2600的方框圖；以及圖27是圖解說明按照本發(fā)明的另一個說明性實施例的、用戶接口2700的方框圖。
發(fā)明的詳細(xì)描述本發(fā)明是針對于視頻會議應(yīng)用用戶接口和消息傳送系統(tǒng)，其中該消息傳送系統(tǒng)用于控制被顯示在所述用戶接口上的視頻數(shù)據(jù)的參量。
應(yīng)當(dāng)明白，本發(fā)明可以以硬件、軟件、固件、專用處理器或其組合等各種形式來實施。優(yōu)選地，本發(fā)明被實施為軟件與硬件的組合。而且，所述軟件優(yōu)選地被實施為在程序存儲裝置上有形地體現(xiàn)的應(yīng)用程序。該應(yīng)用程序可被上載到包括任何適當(dāng)結(jié)構(gòu)的機器，并且被該機器執(zhí)行。優(yōu)選地，該機器可以在具有如下硬件的計算機平臺上被實施，所述硬件是諸如一個或多個中央處理器(CPU)、隨機存取存儲器(RAM)和輸入/輸出(I/O)接口。所述計算機平臺還包括操作系統(tǒng)和微指令代碼。這里描述的各種處理過程和功能可以是微指令代碼的一部分或是經(jīng)由操作系統(tǒng)執(zhí)行的應(yīng)用程序的一部分(或它們的組合)。此外，所述的計算機平臺可以連接各種其他外圍設(shè)備，諸如附加數(shù)據(jù)存儲設(shè)備和打印設(shè)備。
還應(yīng)當(dāng)看到，因為在附圖中描述的某些作為組成部份的系統(tǒng)部件和方法步驟優(yōu)選地是以軟件實施的，所以在系統(tǒng)部件(或處理步驟)之間的實際連接可以隨編程本發(fā)明的不同方式而不同。在這里給定教導(dǎo)后，本領(lǐng)域的普通技術(shù)人員將能夠設(shè)想出本發(fā)明的這些和類似的實施方案或配置。
圖1A是圖解說明按照本發(fā)明的說明性實施例的、可應(yīng)用本發(fā)明的計算機系統(tǒng)100的方框圖。計算機處理系統(tǒng)100包括至少一個處理器(CPU)102，它工作時經(jīng)由系統(tǒng)總線104被耦合到其他部件。只讀存儲器(ROM)106、隨機存取存儲器(RAM)108、顯示適配器110、I/O適配器112、用戶接口適配器114、聲音適配器199、和網(wǎng)絡(luò)適配器198工作時都被耦合到系統(tǒng)總線104。
顯示設(shè)備116工作時通過顯示適配器110被耦合到系統(tǒng)總線104。盤存儲設(shè)備(例如，磁盤或光盤存儲設(shè)備)118工作時通過I/O適配器112被耦合到系統(tǒng)總線104。
鼠標(biāo)120和鍵盤122工作時通過用戶接口適配器114被耦合到系統(tǒng)總線104。鼠標(biāo)120和鍵盤122被使用來向系統(tǒng)100輸入信息和從系統(tǒng)100輸出信息。
至少一個揚聲器(此后簡稱“揚聲器”)197工作時通過聲音適配器199被耦合到系統(tǒng)總線104。
(數(shù)字和/或模擬)調(diào)制解調(diào)器196工作時通過網(wǎng)絡(luò)適配器198被耦合到系統(tǒng)總線104。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、基于策略的網(wǎng)絡(luò)管理(PBNM)。PBNM是一種這樣的技術(shù)，它提供了定義和分布網(wǎng)絡(luò)管理策略的能力(下面參照圖2描述可應(yīng)用本發(fā)明的示例性網(wǎng)絡(luò))。這些策略允許協(xié)調(diào)控制關(guān)鍵的網(wǎng)絡(luò)資源，諸如帶寬和安全性。PBNM使得諸如基于IP的視頻會議那樣的、需要在網(wǎng)絡(luò)上區(qū)別地對待的應(yīng)用能夠?qū)崿F(xiàn)。PBNM提供了允許在單個網(wǎng)絡(luò)上共同存在著不同類型的應(yīng)用的基礎(chǔ)，以及將所需要的資源提供給這些應(yīng)用中的每一個。
更詳細(xì)地，PBNM為消耗網(wǎng)絡(luò)資源的應(yīng)用和用戶定義策略。例如，可以給予商業(yè)關(guān)鍵應(yīng)用以網(wǎng)絡(luò)上最高的優(yōu)先權(quán)和帶寬百分率，可以給予IP上的視頻會議和話音以次高優(yōu)先權(quán)，而最后可以把網(wǎng)絡(luò)上剩余的資源量給予沒有嚴(yán)格的帶寬或時間關(guān)鍵性約束的萬維網(wǎng)業(yè)務(wù)與文件傳送。對用戶和應(yīng)用的這種區(qū)分可以通過使用PBNM來完成。
視頻會議系統(tǒng)通過向網(wǎng)絡(luò)策略服務(wù)器詢問對應(yīng)于視頻會議應(yīng)用的策略而連接到PBNM系統(tǒng)中。視頻會議服務(wù)器從網(wǎng)絡(luò)策略服務(wù)器得到所述的策略，以及根據(jù)接收到的參量來確定在網(wǎng)絡(luò)中可供視頻會議使用的資源。所述的策略典型地對應(yīng)于例如這個應(yīng)用在一天的某些時間內(nèi)可利用的帶寬、或僅僅某些用戶可利用的帶寬。通過例如對所述策略和/或它們的一部分進行添加、刪除、替代、修正等，可以容易地修正配置。結(jié)果，視頻會議服務(wù)器將使用在所述策略中提供的信息來管理網(wǎng)絡(luò)上的會議會話。
圖2是圖解說明按照本發(fā)明的說明性實施例的、可應(yīng)用本發(fā)明的網(wǎng)絡(luò)200的方框圖。網(wǎng)絡(luò)200包括視頻會議服務(wù)器205；策略和QoS管理器210；MADCAP服務(wù)器215；第一多個計算機220a-f；第一局域網(wǎng)225；第一路由器240；第二多個計算機230a-f；第二局域網(wǎng)235；第二路由器245；和廣域網(wǎng)250。
現(xiàn)在描述按照本發(fā)明的說明性實施例的服務(wù)器結(jié)構(gòu)。圖3是圖解說明按照本發(fā)明的說明性實施例的、圖2的視頻會議服務(wù)器205的方框圖。視頻會議服務(wù)器205可被認(rèn)為包括以下的三個基本實體；數(shù)據(jù)庫實體302；網(wǎng)絡(luò)通信實體304；以及會話管理實體306。
會話管理實體306負(fù)責(zé)管理視頻會議會話的建立和拆除。會話管理實體306也提供對于視頻會議服務(wù)器205的大多數(shù)主要的控制。會話管理實體306包括會話管理器320，它用于實施會話管理實體306的功能。
網(wǎng)絡(luò)通信實體304負(fù)責(zé)封裝用于所述視頻會議系統(tǒng)的多種不同的協(xié)議。這些協(xié)議可包括用于遠(yuǎn)程管轄和管理的簡單網(wǎng)絡(luò)管理協(xié)議(SNMP)；公共開放策略服務(wù)(COPS)或另一個協(xié)議，諸如用于策略管理的輕型目錄訪問協(xié)議(LDAP)；用于多播地址分配的多播地址動態(tài)客戶分配協(xié)議(MADCAP)；用于視頻會議會話管理的會話發(fā)起協(xié)議(SIP)；和用于分布式視頻會議服務(wù)器管理的服務(wù)器到服務(wù)器消息傳送。因此，網(wǎng)絡(luò)通信實體304包括SNMP模塊304a；LDAP客戶模塊304b；MADCAP客戶模塊304c；SIP模塊304d；和服務(wù)器到服務(wù)器管理模塊304e。而且，上述的單元304a-e分別與以下單元通信遠(yuǎn)端管轄終端382；網(wǎng)絡(luò)策略服務(wù)器(帶寬代理)384；MADCAP服務(wù)器215；桌上會議客戶388；和其他視頻會議服務(wù)器390。這樣的通信也可以通過使用由協(xié)議模塊330集中代表的傳輸控制協(xié)議(TCP)、用戶數(shù)據(jù)報協(xié)議(UDP)、互聯(lián)網(wǎng)協(xié)議(IP)來實施。應(yīng)當(dāng)看到，上述的協(xié)議列表和相應(yīng)的單元僅僅是說明性的，因此，可以采用其他協(xié)議和相應(yīng)的單元而同時保持本發(fā)明的精神和范圍。
還應(yīng)當(dāng)看到，視頻會議服務(wù)器205的結(jié)構(gòu)也適用于便攜式設(shè)備上的用戶通過虛擬專用網(wǎng)(VPN)連接到公司基礎(chǔ)設(shè)施(corporateinfrastructure)，以便發(fā)送和接收來自視頻會議會話的內(nèi)容。
數(shù)據(jù)庫實體302包括以下四個數(shù)據(jù)庫調(diào)度數(shù)據(jù)庫310，現(xiàn)行會話數(shù)據(jù)庫312，成員數(shù)據(jù)庫314，和網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)庫316。
視頻會議系統(tǒng)服務(wù)器205還包括公司LDAP服務(wù)器(用戶信息)340和可任選的外部數(shù)據(jù)庫342，或至少與它們相連接。所述可任選的外部數(shù)據(jù)庫342包括LDAP客戶304b。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、圖3的數(shù)據(jù)庫實體302中所包括的成員數(shù)據(jù)庫314。成員數(shù)據(jù)庫314包括已登錄到所述視頻會議系統(tǒng)的每個用戶的信息。作為例子，在成員數(shù)據(jù)庫314中可為每個用戶保存以下的信息用戶名；密碼(如果可應(yīng)用的話)；支持的視頻編解碼器和捕獲分辨率；支持的音頻編解碼器；當(dāng)前的IP地址；當(dāng)前的呼叫號碼(如果當(dāng)前是一個活動呼叫的成員)；可得到性(可得到或不可得到)；視頻攝像機類型和型號；在網(wǎng)絡(luò)上的位置(每個位置通過有限帶寬廣域網(wǎng)鏈路被連接)；以及CPU類型和處理能力。應(yīng)當(dāng)看到，上述的項目僅僅是說明性的，因此在保持本發(fā)明的精神和范圍的同時，在成員數(shù)據(jù)庫314中也可以為每個用戶保存上述項目以外的、或代替了上述項目中的一部分或全部的其他項目。
圖4是圖解說明按照本發(fā)明的說明性實施例的、用于被包括在圖3的數(shù)據(jù)庫實體302中的成員數(shù)據(jù)庫314的成員數(shù)據(jù)庫實體400的方框圖。在圖4的說明性實施例中，成員數(shù)據(jù)庫314是通過使用簡單的鏈接列表被實施的。然而，應(yīng)當(dāng)看到，在本發(fā)明的其他實施例中，在保持本發(fā)明的精神和范圍的同時可以采用與成員數(shù)據(jù)庫314不同的實施方案。作為例子，LDAP類型的數(shù)據(jù)庫可以被用來存儲所述的成員信息。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、圖3的數(shù)據(jù)庫實體302中所包括的現(xiàn)行會話數(shù)據(jù)庫312?，F(xiàn)行會話數(shù)據(jù)庫312包括當(dāng)前正在進行的每個視頻會議會話的信息。作為例子，在現(xiàn)行會話數(shù)據(jù)庫312中可為每個呼叫保存以下的信息呼叫ID；說明；多播(是/否)；如果是多播，則是多播IP地址；每個參與者的網(wǎng)絡(luò)位置、當(dāng)前發(fā)送的分辨率、當(dāng)前發(fā)送的比特速率、視頻與音頻編解碼器；公共/專用呼叫(其他人能加入嗎？)；安排的會話時間；會話開始時間；以及任何附加的選項。應(yīng)當(dāng)看到，上述的項目僅僅是說明性的，因此在保持本發(fā)明的精神和范圍的同時，在現(xiàn)行會話數(shù)據(jù)庫312中也可以為每個用戶保存上述項目以外的、或代替了上述項目中的一部分或全部的其他項目。
圖5是圖解說明按照本發(fā)明的說明性實施例的、圖3的數(shù)據(jù)庫實體302中所包括的現(xiàn)行會話數(shù)據(jù)庫312的現(xiàn)行會話實體500的方框圖。在圖5的說明性實施例中，現(xiàn)行會話數(shù)據(jù)庫312是通過使用簡單的鏈接列表來實施的。然而，應(yīng)當(dāng)看到，在本發(fā)明的其他實施例中，在保持本發(fā)明的精神和范圍的同時可以采用與現(xiàn)行會話數(shù)據(jù)庫312不同的實施方案。
現(xiàn)在再次參照圖3來描述按照本發(fā)明的說明性實施例的、圖3的數(shù)據(jù)庫實體302中所包括的網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)庫316。網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)庫316包括整個網(wǎng)絡(luò)的全部映射。網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)庫316包括每個正工作的網(wǎng)絡(luò)單元(即，IP路由器，以太網(wǎng)交換機，等等)的信息和那些把路由器與交換機連接在一起的鏈路的信息。為了有效地管理網(wǎng)絡(luò)中的帶寬與服務(wù)質(zhì)量，視頻會議服務(wù)器205需要知道這個信息。
關(guān)于允許同時進行的視頻會議會話的數(shù)目、視頻會議會話比特速率、和帶寬限制的策略信息也可以在網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)庫316中被定義。網(wǎng)絡(luò)結(jié)構(gòu)可以在網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)庫316內(nèi)被表示為加權(quán)的圖。應(yīng)當(dāng)看到，網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)庫316是在視頻會議服務(wù)器205中的一個可選的數(shù)據(jù)庫。網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)庫316可被使用來超高速緩存從策略服務(wù)器210請求到的策略。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、圖3的數(shù)據(jù)庫實體302中所包括的調(diào)度數(shù)據(jù)庫310。調(diào)度數(shù)據(jù)庫310包含為用戶預(yù)留時間以使用視頻會議系統(tǒng)的調(diào)度表。這取決于策略，例如，信息系統(tǒng)部門處在關(guān)注在廣域網(wǎng)250的某些鏈路上可以同時進行的視頻會議會話的數(shù)目的位置。
現(xiàn)在描述圖3的網(wǎng)絡(luò)通信實體304。網(wǎng)絡(luò)通信實體304包括簡單網(wǎng)絡(luò)管理協(xié)議(SNMP)模塊304a；輕型目錄訪問協(xié)議(LDAP)客戶模塊304b；多播地址動態(tài)客戶分配協(xié)議(MADCAP)客戶模塊304c；會話發(fā)起協(xié)議(SIP)模塊304d；和服務(wù)器到服務(wù)器管理模塊304e。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、圖3的網(wǎng)絡(luò)通信實體304中所包括的簡單網(wǎng)絡(luò)管理協(xié)議(SNMP)模塊304a。圖6是圖解說明按照本發(fā)明的說明性實施例的、簡單網(wǎng)絡(luò)管理協(xié)議(SNMP)客戶-服務(wù)器結(jié)構(gòu)600的方框圖。結(jié)構(gòu)600代表SNMP模塊304a的一個實施方案；然而，應(yīng)當(dāng)看到，本發(fā)明并不限于圖6所示的結(jié)構(gòu)，因此在保持本發(fā)明的精神和范圍的同時也可以采用其他SNMP結(jié)構(gòu)。SNMP將被使用于視頻會議服務(wù)器的遠(yuǎn)程管轄和監(jiān)視。
簡單網(wǎng)絡(luò)管理協(xié)議(SNMP)客戶-服務(wù)器結(jié)構(gòu)600包括SNMP管理站610和SNMP管理的實體620。SNMP管理站610包括管理應(yīng)用610a和SNMP管理器610b。SNMP管理的實體620包括被管理的資源620a，被管理的對象620b，和SNMP代理620c。而且，SNMP管理站610和SNMP管理的實體620的每一個還包括UDP層630，IP層640，媒體接入控制(MAC)層650，和物理層660。
SNMP代理620c允許來自SNMP管理站610的監(jiān)視和管轄。SNMP代理620c是SNMP結(jié)構(gòu)600中的客戶。SNMP代理620c基本上起這樣的作用，即響應(yīng)來自SNMP管理站610的關(guān)于信息和動作的請求。SNMP管理站610是SNMP結(jié)構(gòu)600中的服務(wù)器。SNMP管理站610是對網(wǎng)絡(luò)中的代理進行管理的中央實體。SNMP管理站610起到這樣的功能，即允許管轄者從SNMP代理620c處收集統(tǒng)計資料和改變SNMP代理620c的配置參量。
通過使用SNMP模型，能以把視頻會議服務(wù)器205中的資源表示為對象的方式而對這些資源進行管理。每個對象是一個數(shù)據(jù)變量，它代表所述被管理的代理的一個方面。這個對象的集合通常被稱為管理信息庫(MIB)。所述的MIB在SNMP代理620c處起用于SNMP管理站610的一個接入點集合的作用。SNMP管理站610能夠通過檢索SNMP代理620c中的MIB對象的值從而執(zhí)行監(jiān)視。SNMP管理站610也能夠使一個動作在SNMP代理620c處發(fā)生，或者能夠改變SNMP代理620c處的配置設(shè)定。
SNMP在IP層640上運行，以及使用UDP層630用于它的輸送協(xié)議。
在SNMP管理協(xié)議中使用的基本消息如下GET(得到)；SET(設(shè)置)；和TRAP(捕捉)。GET消息使得SNMP管理站610能夠取回SNMP代理620c處對象的值。SET消息使得SNMP管理站610能夠設(shè)置SNMP代理620c處對象的值。TRAP消息使得SNMP代理620c能夠把重要的事件通知給SNMP管理站610。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、在SNMP管理的實體620中所包括的SNMP管理的資源620a。遠(yuǎn)程管轄可監(jiān)視和/或控制視頻會議服務(wù)器205內(nèi)以下的資源現(xiàn)行會話和相關(guān)的統(tǒng)計資料；會話日志；用于視頻會議的網(wǎng)絡(luò)策略；會話發(fā)起協(xié)議(SIP)參量和統(tǒng)計資料；以及MADCAP參量和統(tǒng)計資料。
從SNMP管理站610以管理應(yīng)用的名義發(fā)出以下三種類型的SNMP消息GetRequest(得到請求)；GetNextRequest(得到下一個請求)；和SetRequest(設(shè)置請求)。頭兩個是GET(得到)功能的變體。全部三個消息由SNMP代理620c以GetResponse(得到響應(yīng))消息的形式進行應(yīng)答，該消息被上傳到管理應(yīng)用610a。SNMP代理620c也可以響應(yīng)于在被管理的資源中發(fā)生的事件而發(fā)出一個捕捉消息。
現(xiàn)在再次參照圖3來描述按照本發(fā)明的說明性實施例的、在圖3的網(wǎng)絡(luò)通信實體304中所包括的輕型目錄訪問協(xié)議(LDAP)客戶模塊304b。LDAP模塊304b利用LDAP，LDAP是一種用于訪問公共目錄信息的基于標(biāo)準(zhǔn)IP的協(xié)議。LDAP定義了用于訪問和修正目錄項目的操作，諸如搜索滿足用戶特定準(zhǔn)則的項目；加上項目；刪除項目；修正項目；和比較項目。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、在圖3的網(wǎng)絡(luò)通信實體304中所包括的多播地址動態(tài)客戶分配協(xié)議(MADCAP)客戶模塊304c。MADCAP客戶模塊304c利用MADCAP，MADCAP是一種允許主機向多播地址分配服務(wù)器請求多播地址分配服務(wù)的協(xié)議。當(dāng)視頻會議會話被建立以便使用多播服務(wù)時，視頻會議服務(wù)器205需要得到多播地址，以便分配給該會話中的客戶。視頻會議服務(wù)器205可通過使用MADCAP協(xié)議從多播地址分配服務(wù)器動態(tài)地得到多播地址。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、在圖3的網(wǎng)絡(luò)通信實體304中所包括的會話發(fā)起協(xié)議(SIP)客戶模塊304d。SIP模塊304d利用SIP，SIP是一種用于在基于IP的網(wǎng)絡(luò)上創(chuàng)建、修正和終止具有一個或多個參與者的多媒體會話的應(yīng)用層控制協(xié)議。SIP是基于文本消息的協(xié)議。
在基于SIP的視頻會議系統(tǒng)中，每個客戶和服務(wù)器由一個SIP URL標(biāo)識。所述SIP URL采用user@host的形式，它具有與電子郵件相同的格式，并且在大多數(shù)情形下SIP URL是用戶的電子郵件地址。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、在圖3的網(wǎng)絡(luò)通信實體304中所包括的服務(wù)器到服務(wù)器管理模塊304e。服務(wù)器到服務(wù)器管理模塊304e利用那些用于在視頻會議服務(wù)器之間交換信息的消息。服務(wù)器到服務(wù)器管理模塊304e優(yōu)選地在典型的配置中被利用，其中唯一的視頻會議服務(wù)器(例如，視頻會議服務(wù)器205)在它所支持的網(wǎng)絡(luò)(例如，LAN 225)被本地建立，所以在一個公司廣域網(wǎng)(例如，網(wǎng)絡(luò)200)中可以存在幾個視頻會議服務(wù)器。用于交換信息的所述消息的某些主要用途包括同步數(shù)據(jù)庫和檢驗網(wǎng)絡(luò)資源的可用性。
定義了以下的消息QUERY-詢問在遠(yuǎn)端服務(wù)器中的一個項目；ADD-把一個項目加到遠(yuǎn)端服務(wù)器；DELETE-從遠(yuǎn)端服務(wù)器中刪除一個項目；以及UPDATE-更新遠(yuǎn)端服務(wù)器中的一個項目。
服務(wù)器到服務(wù)器消息傳送可以使用在每個服務(wù)器之間的基于TCP的連接。當(dāng)一個服務(wù)器的狀態(tài)改變時，其余的服務(wù)器用同一個信息進行更新。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、視頻會議服務(wù)器205的工作情形。首先，描述對應(yīng)于視頻會議會話建立的工作情形，接著描述對應(yīng)于在視頻會議會話期間分辨率和幀速率調(diào)節(jié)的工作情形。會話工作情形包括SIP服務(wù)器發(fā)現(xiàn)，成員登記，會話建立，會話取消，和會話終止。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、對應(yīng)于SIP服務(wù)器發(fā)現(xiàn)的會話工作情形。用戶(視頻會議客戶應(yīng)用)可以登記到預(yù)配置的視頻會議服務(wù)器(人工供應(yīng)的)或通過在啟動時發(fā)送一個REGISTER(登記)請求到熟知的“全SIP服務(wù)器”多播地址“sip.mcast.net”(224.0.1.75)而進行登記。第二種機制(REGISTER請求)是更可取的，因為它不需要每個用戶在他們的視頻會議客戶應(yīng)用中人工配置本地SIP服務(wù)器的地址。在這種情形下，所述多播地址的范圍需要被正確地劃定在該網(wǎng)絡(luò)中，以便確保用戶為了視頻會議而登記到正確的SIP服務(wù)器。除了先前的方法以外，在使供應(yīng)過程更簡單的另一個方法中，SIP技術(shù)說明建議管轄者通過使用sip.域名慣例來命名它們的SIP服務(wù)器(例如，sip.princeton.tce.com)。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、對應(yīng)于成員登記的會話工作情形。圖7是圖解說明按照本發(fā)明的說明性實施例的、用于通過使用會話發(fā)起協(xié)議(SIP)來登記視頻會議會話的方法的圖。圖7的例子包括視頻會議客戶應(yīng)用(客戶)702和視頻會議服務(wù)器(服務(wù)器)205。應(yīng)當(dāng)看到，詞組“客戶應(yīng)用”和“客戶”在這里可互換地使用。
在成員登記功能中，客戶702把SIP REGISTER請求發(fā)送到服務(wù)器205(步驟710)。服務(wù)器205接收這個消息并把客戶702的IP地址和SIP URL存儲在成員數(shù)據(jù)庫314中。
REGISTER請求可以包含消息主體，雖然在標(biāo)準(zhǔn)中并未定義它的用途。所述消息主體可包含有關(guān)正登記到服務(wù)器205的客戶702的配置選項的附加信息。
服務(wù)器205通過發(fā)送200OK(許可)消息到客戶702從而對該登記進行應(yīng)答(步驟720)。
現(xiàn)在描述按照本發(fā)明的說明性實施例的單播和多播視頻會議會話。圖1B和1C是分別圖解說明按照本發(fā)明的兩個說明性實施例的、單播視頻會議會話和多播視頻會議會話的方框圖。圖1B和1C的例子包括客戶1 130，客戶2 132，客戶3 134，以太網(wǎng)交換機136，IP路由器138，IP路由器140和WAN 142。
在單播例子中，唯一的流從每個客戶發(fā)送到每個其他客戶。這樣的方法在較多參與者加入該網(wǎng)絡(luò)時會消耗大量帶寬。相反，在多播方法中，僅僅從每個客戶處發(fā)送一個流。因此，與單播方法相比較，多播方法消耗較少的網(wǎng)絡(luò)資源，諸如帶寬。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、對應(yīng)于單播視頻會議會話建立的會話工作情形。圖8A是圖解說明按照本發(fā)明的說明性實施例的、用于通過使用會話發(fā)起協(xié)議(SIP)來建立單播視頻會議會話的方法的圖。圖8A的例子包括視頻會議客戶應(yīng)用#1(客戶#1)802，視頻會議服務(wù)器(服務(wù)器)205，和視頻會議客戶應(yīng)用#2(客戶#2)806。
從客戶#1 802把一個INVITE(邀請)請求發(fā)送到服務(wù)器205(步驟810)。從服務(wù)器205把該INVITE請求轉(zhuǎn)發(fā)到客戶#2 806(步驟815)。
從客戶#2 706把一個180振鈴消息發(fā)送到服務(wù)器205(步驟820)。從服務(wù)器205把該180振鈴消息轉(zhuǎn)發(fā)到客戶#1 702(步驟825)。
從客戶#2 706把一個200OK消息發(fā)送到服務(wù)器205(步驟830)。從服務(wù)器205把該200OK消息轉(zhuǎn)發(fā)到客戶#1 702(步驟835)。
從客戶#1 702把一個確認(rèn)消息ACK發(fā)送到客戶#2 706(步驟840)。在兩個節(jié)點(客戶#1 802與客戶#2 806)之間進行視頻會議會話(媒體會話)(步驟845)。
圖8B是圖解說明按照本發(fā)明的說明性實施例的、當(dāng)從視頻會議客戶應(yīng)用#1 802接收到INVITE(邀請)請求時(圖8A的步驟810)，由視頻會議服務(wù)器205所采取的步驟的圖。
服務(wù)器205初始地進行檢查，以查明進行請求的用戶(客戶#1 802)是否登記到服務(wù)器205，接著它再檢查，以查明正在被呼叫的用戶(客戶#2 806)是否登記到服務(wù)器205(步驟850)。
服務(wù)器205確定每個用戶在網(wǎng)絡(luò)上的位置(步驟855)并確定是否有低帶寬的WAN鏈路(例如，WAN 250)連接著它們的兩個位置(如果不同的話)(步驟860)。
如果沒有低帶寬鏈路WAN把這兩個位置連接在一起，則服務(wù)器205接下來進行呼叫(步驟865)。然而，如果在兩個用戶之間有低帶寬鏈路，則該方法進到步驟870。
在步驟870，服務(wù)器205檢查在WAN上的視頻會議會話策略；這基本上翻譯為“可以以最大比特速率Y發(fā)生X個會話”。服務(wù)器205根據(jù)這個策略來檢查可用性(步驟875)。如果沒有可用性，則服務(wù)器205通過發(fā)送以下任一消息來回絕該INVITE請求，其中所述消息有“600_到處都忙”、“486_這里忙”、“503_服務(wù)不可用”、或“603_拒絕”(步驟880)，于是該方法終止(不用繼續(xù)進到圖8A的方法的步驟815)。然而，如果有可用性，則服務(wù)器205接下來進行呼叫(步驟865)。應(yīng)當(dāng)看到，步驟865后面接著進行圖8A的方法的步驟815。
圖9是進一步圖解說明按照本發(fā)明的說明性實施例的、圖8A的方法的圖。圖9的例子包括客戶應(yīng)用1 998，客戶應(yīng)用2 997，視頻會議服務(wù)器205，和其他視頻會議服務(wù)器986。圖9上還顯示了視頻服務(wù)器205的單元，包括成員數(shù)據(jù)庫314，現(xiàn)行會話數(shù)據(jù)庫312，被包括在網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)庫316中的策略數(shù)據(jù)庫999，會話管理器320，SIP模塊304d，和服務(wù)器到服務(wù)器管理模塊304e。
圖9被提供用來描繪在視頻會議服務(wù)器205內(nèi)的內(nèi)部互動，因此只是以基本級別被顯示，以提供在視頻會議服務(wù)器205的這些實體之間的信令流的例子。
從客戶應(yīng)用1 998把一個INVITE請求發(fā)送到視頻會議服務(wù)器205內(nèi)的SIP模塊304d(步驟903)。SIP模塊304d解碼該消息，并把該INVITE請求轉(zhuǎn)發(fā)到會話管理器320(步驟906)。會話管理器320檢查網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)庫316內(nèi)的現(xiàn)行會話數(shù)據(jù)庫312、成員數(shù)據(jù)庫314、和策略數(shù)據(jù)庫999，以確保該會話能夠被正確地建立(分別為步驟909，912，和915)。如果該會話能夠被正確地建立，則現(xiàn)行會話數(shù)據(jù)庫312、成員數(shù)據(jù)庫314、和策略數(shù)據(jù)庫999發(fā)送一個OK消息到會話管理器320(步驟918，921，和924)。一旦這個驗證過程完成，視頻會議服務(wù)器205就把系統(tǒng)狀態(tài)的改變通知其他視頻會議服務(wù)器(步驟927和930)。
會話管理器320把INVITE消息轉(zhuǎn)發(fā)到SIP模塊304d(步驟933)，然后SIP模塊304d把該INVITE消息轉(zhuǎn)發(fā)到客戶應(yīng)用2 997(步驟936)。剛一接收到該INVITE消息，客戶應(yīng)用2 997就用一個表示SIP模塊304d已接收到該INVITE消息的180 Ringing(振鈴)消息來應(yīng)答SIP模塊304d(步驟939)。該180 Ringing消息被SIP模塊304d接收、解碼，然后轉(zhuǎn)發(fā)到會話管理器320(步驟942)。在視頻會議服務(wù)器205內(nèi)的如圖9所示的每個數(shù)據(jù)庫中，該客戶的狀態(tài)被更新(步驟945，948，951，954，957，和958)。
該180 Ringing消息被從會話管理器320轉(zhuǎn)發(fā)到客戶應(yīng)用1 998(步驟960和963)。然后，從客戶應(yīng)用2 997發(fā)送一個200OK消息到SIP模塊304d(步驟966)，接著該200OK消息被從SIP模塊304d轉(zhuǎn)發(fā)到會話管理器320(步驟969)。該200OK消息表示客戶應(yīng)用2 997正接受所述的視頻會議會話的邀請。
在視頻會議服務(wù)器205內(nèi)的如圖9所示的每個數(shù)據(jù)庫中，該客戶的狀態(tài)被更新(步驟972，975，978，981，984，和985)。從會話管理器320發(fā)送一個OK消息到SIP模塊304d，并從SIP模塊304d把該OK消息轉(zhuǎn)發(fā)到客戶應(yīng)用1 998(步驟988和991)。從客戶應(yīng)用1 998發(fā)送一個ACK消息到客戶應(yīng)用2 987，從而完成該會話的建立(步驟994)。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、對應(yīng)于多播視頻會議會話建立的會話工作情形。為了提供多播會話的建立，使用會話描述協(xié)議(SDP)。SDP協(xié)議能夠輸送多播地址和端口號碼。
多播會話的建立類似于單播會話的建立，只是需要一個多播地址。多播地址由該網(wǎng)絡(luò)中MADCAP服務(wù)器215分配。
圖10是圖解說明按照本發(fā)明的另一個說明性實施例的、用于通過使用會話發(fā)起協(xié)議(SIP)來建立多播視頻會議會話的方法的圖。圖10的例子包括視頻會議客戶應(yīng)用#1(客戶#1)1002，視頻會議服務(wù)器(服務(wù)器)205，視頻會議客戶應(yīng)用#2(客戶#2)1006，和MADCAP服務(wù)器215。
從客戶#1 1002發(fā)送一個INVITE請求到服務(wù)器205(步驟1010)。從服務(wù)器205發(fā)送一個MADCAP請求到MADCAP服務(wù)器215(步驟1015)。從MADCAP服務(wù)器215發(fā)送一個確認(rèn)消息ACK到服務(wù)器205(步驟1020)。從服務(wù)器205把該INVITE請求轉(zhuǎn)發(fā)到客戶#2 1006(步驟1025)。
從客戶#2 1006發(fā)送一個180振鈴消息到服務(wù)器205(步驟1030)。從服務(wù)器205把該180振鈴消息轉(zhuǎn)發(fā)到客戶#1 1002(步驟1035)。
從客戶#2 1006發(fā)送一個200OK消息到服務(wù)器205(步驟1040)。從服務(wù)器205把該200OK消息轉(zhuǎn)發(fā)到客戶#1 1002(步驟1045)。
從客戶#1 1002發(fā)送一個確認(rèn)消息ACK到客戶#2 1006(步驟1050)。在兩個節(jié)點(客戶#1 1002與客戶#2 1006)之間進行視頻會議會話(媒體會話)(步驟1055)。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、對應(yīng)于視頻會議會話取消的會話工作情形。CANCEL(取消)消息被使用來終止待決的會話建立嘗試?？蛻艨梢允褂眠@個消息來取消該客戶早先發(fā)起的待決的視頻會議會話建立嘗試。服務(wù)器把該CANCEL消息轉(zhuǎn)發(fā)到與待決請求相同的位置，該位置是INVITE被發(fā)送到的位置?？蛻舨粦?yīng)當(dāng)用“200OK”消息來應(yīng)答該CANCEL消息。如果該CANCEL消息不成功，則可以使用會話終止序列(即，BYE(再見)消息)。
圖11是圖解說明按照本發(fā)明的說明性實施例的、用于通過使用會話發(fā)起協(xié)議(SIP)來取消視頻會議會話的方法的圖。圖11的例子包括視頻會議客戶應(yīng)用#1(客戶#1)1102，視頻會議服務(wù)器(服務(wù)器)205，和視頻會議客戶應(yīng)用#2(客戶#2)1106。
從客戶#1 1102發(fā)送一個INVITE請求到服務(wù)器205(步驟1110)。從服務(wù)器205把該INVITE請求轉(zhuǎn)發(fā)到客戶#2 1106(步驟1115)。
從客戶#2 1106發(fā)送一個180振鈴消息到服務(wù)器205(步驟1120)。從服務(wù)器205把該180振鈴消息轉(zhuǎn)發(fā)到客戶#1 1102(步驟1125)。
從客戶#1 1102發(fā)送一個CANCEL消息到服務(wù)器205(步驟1130)。從服務(wù)器205把該CANCEL消息轉(zhuǎn)發(fā)到客戶#2 1106(步驟1135)。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、對應(yīng)于終止視頻會議會話的會話工作情形。圖12是圖解說明按照本發(fā)明的說明性實施例的、用于通過使用會話發(fā)起協(xié)議(SIP)來終止在兩個客戶之間的視頻會議會話的方法的圖。圖12的例子包括第一客戶(視頻會議客戶應(yīng)用#1)1202，視頻會議服務(wù)器(服務(wù)器)205，和第二客戶(視頻會議客戶應(yīng)用#2)1206。
客戶#1 1202決定中斷與客戶#2 1206的呼叫。因此客戶#1 1202發(fā)送一個BYE消息到服務(wù)器205(步驟1210)。服務(wù)器205把該BYE消息轉(zhuǎn)發(fā)到客戶#2 1206(步驟1220)。
客戶#2 1206把一個200OK消息發(fā)回到服務(wù)器205，這表示它(客戶#2 1206)已斷開連接(步驟1230)。服務(wù)器205把該200OK消息轉(zhuǎn)發(fā)到客戶#1 1202，這表示成功地斷開連接(步驟1240)。
圖13是圖解說明按照本發(fā)明的說明性實施例的、用于通過使用會話發(fā)起協(xié)議(SIP)來終止在三個客戶之間的視頻會議會話的方法的圖。圖13的例子包括第一客戶(視頻會議客戶應(yīng)用#1)1302，視頻會議服務(wù)器(服務(wù)器)205，第二客戶(視頻會議客戶應(yīng)用#2)1306，和第三客戶(視頻會議客戶應(yīng)用#3)1308。
客戶#1 1302決定中斷與客戶#2 1306和客戶#3 1308的呼叫；但這并不拆除在客戶#2 1306與客戶#3 1308之間的會話。
客戶#1 1302發(fā)送一個BYE消息到服務(wù)器205(步驟1310)。服務(wù)器205解譯該BYE消息從而知道客戶#2 1306和客戶#3 1308牽涉到與客戶#1 1302的視頻會議會話中，于是把該BYE消息轉(zhuǎn)發(fā)到客戶#2 1306和客戶#3 1308(步驟1320和1330)。
客戶#2 1306把一個200OK消息發(fā)回到服務(wù)器205(步驟1340)。服務(wù)器205把該200OK消息轉(zhuǎn)發(fā)回客戶#1 1302(步驟1350)?？蛻?3 1308把一個200OK消息發(fā)回到服務(wù)器205(步驟1360)。服務(wù)器205把該200OK消息轉(zhuǎn)發(fā)回客戶#1 1302(步驟1370)。
圖14是圖解說明按照本發(fā)明的另一個說明性實施例的、用于通過使用會話發(fā)起協(xié)議(SIP)來終止在三個客戶之間的視頻會議會話的方法的圖。圖14的例子包括第一客戶(視頻會議客戶應(yīng)用#1)1402，視頻會議服務(wù)器(服務(wù)器)205，第二客戶(視頻會議客戶應(yīng)用#2)1406，和第三客戶(視頻會議客戶應(yīng)用#3)1408。
客戶#1 1402決定中斷與客戶#2 1406和客戶#3 1408的呼叫；但這并不拆除在客戶#2 1406與客戶#3 1408之間的會話。
客戶#1 1402把一個打算給客戶#2 1406的BYE消息發(fā)送到服務(wù)器205(步驟1410)。服務(wù)器205把該BYE消息轉(zhuǎn)發(fā)到客戶#2 1406(步驟1420)?？蛻?1 1402把一個打算給客戶#3 1408的BYE消息發(fā)送到服務(wù)器205(步驟1430)。服務(wù)器205把該BYE消息轉(zhuǎn)發(fā)到客戶#3 1408(步驟1440)。
客戶#2 1406把一個200OK消息發(fā)回到服務(wù)器205(步驟1450)。服務(wù)器205把該200OK消息轉(zhuǎn)發(fā)回客戶#1 1402(步驟1460)?？蛻?3 1408把一個200OK消息發(fā)回到服務(wù)器205(步驟1470)。服務(wù)器205把該200OK消息轉(zhuǎn)發(fā)回客戶#1 1402(步驟1480)。
除了參照圖12到14所描述的以上的例子之外，終止可以通過傳送所述BYE消息到屬于所述視頻會議用戶的多播組地址從而被調(diào)用。通過使用這個方法，所述服務(wù)器與其他客戶應(yīng)用將接收該消息。由于與這個方法有關(guān)的開銷較低，所以它是用于終止會話的更通用和更有效的機制。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、對應(yīng)于分辨率與幀速率調(diào)節(jié)的工作情形。視頻會議牽涉到在計算機網(wǎng)絡(luò)的不同位置處的幾個用戶之間傳輸實況的、雙向互動的視頻。實時互動視頻需要在延時受約束的情況下傳輸大量的信息。這要求視頻會議系統(tǒng)所依賴的計算機網(wǎng)絡(luò)必須能夠為會話中涉及到的每個用戶提供適當(dāng)?shù)膸捔亢头?wù)質(zhì)量。由于帶寬有時可以是有限的資源，而服務(wù)質(zhì)量并不是在所有的網(wǎng)絡(luò)中總能得到保證，所以，將存在某些限制。在專有的公司網(wǎng)絡(luò)中，有可能保證服務(wù)質(zhì)量，但常常不能保證大的帶寬量。
基本公司計算機網(wǎng)基礎(chǔ)設(shè)施包括通過低速鏈路被連接在一起的幾個高速局域網(wǎng)(LAN)(詳見例如圖2)。所述高速LAN中的每一個通常代表在單個地理位置處的網(wǎng)絡(luò)基礎(chǔ)設(shè)施，而低速鏈路是把多個地理位置連接在一起的長距離鏈路。使用低速鏈路的原因是因為長距離鏈路的成本相當(dāng)高以及大多數(shù)網(wǎng)絡(luò)業(yè)務(wù)通常在局域網(wǎng)內(nèi)本地化，所以通常不在這些長距離鏈路上交換大量的數(shù)據(jù)。
在基于IP的網(wǎng)絡(luò)上的服務(wù)質(zhì)量的最新進展現(xiàn)在提供一種允許在這些網(wǎng)絡(luò)上傳輸其他類型的信息的手段。這為在基礎(chǔ)設(shè)施上除了傳輸非實時數(shù)據(jù)業(yè)務(wù)以外還傳輸實時信息(即，音頻和視頻)打開了大門。利用網(wǎng)絡(luò)服務(wù)質(zhì)量優(yōu)勢的視頻會議業(yè)務(wù)很適合于重疊在這個基礎(chǔ)設(shè)施上。在兩個不同的地理位置處的兩個用戶現(xiàn)在有可能出現(xiàn)在一個實時視頻會議會話中。視頻會議會話的一個缺點是，實時視頻的傳輸會消耗極大的帶寬量以及容易耗盡可用的網(wǎng)絡(luò)資源。通過網(wǎng)絡(luò)傳輸?shù)膶崟r視頻的比特速率主要取決于視頻資源和所使用的壓縮算法。典型地，在不同的地理位置處的兩個、三個、或四個用戶之間的一個視頻會議會話在具有合理的帶寬量的網(wǎng)絡(luò)上可以得到適當(dāng)?shù)闹С?。然而，存在這樣的情況，通常，由于帶寬限制，除視頻會議會話中四個用戶以外的另外的用戶不能得到支持，而且第二個視頻會議會話也不能得到支持。視頻會議系統(tǒng)的受限因素是在地理位置之間的低速長距離鏈路。
一個可能的解決方案是增加在兩個地理位置之間的長距離鏈路的帶寬，以便支持系統(tǒng)中更多的用戶。這個方法的缺點在于，帶寬是非常昂貴的。第二種解決方案是具有一個系統(tǒng)，其中只有視頻會議會話中的有限數(shù)量的用戶(即，主動用戶)被允許以高分辨率和高比特速率進行發(fā)送，而會話中的其余的用戶(即，被動用戶)只能以受限制的分辨率和受限制的比特速率進行發(fā)送。視頻會議會話組織者將控制哪些用戶以高分辨率發(fā)送和哪些用戶以低分辨率發(fā)送。如果一個用戶在會話中沒有主動談話或互動，則不需要以高分辨率發(fā)送他們的視頻。這樣的方法能夠提供帶寬的巨大數(shù)量的節(jié)省。
提前參照圖18A的視頻會議客戶應(yīng)用1800，這個方案包括在支持各種窗口尺寸(即，代表高分辨率和低分辨率解碼的視頻流的不同尺寸的顯示窗口)的視頻會議客戶應(yīng)用1800中具有用戶接口1808和消息傳送系統(tǒng)1842(被包括在網(wǎng)絡(luò)實體1806中，而網(wǎng)絡(luò)實體1806又被包括在圖18A的視頻會議客戶應(yīng)用1800中)，消息傳送系統(tǒng)1842規(guī)定在服務(wù)器205與其他客戶的應(yīng)用之間的通信。消息傳送系統(tǒng)1842將包括控制每個客戶應(yīng)用的編碼分辨率和傳輸比特速率的消息。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、對應(yīng)于分辨率與幀速率調(diào)節(jié)的消息。具體地，將描述MSG_WINDOW_SWITCH(窗口切換)消息和MSG_ADJUST_CODEC(調(diào)節(jié)編解碼器)消息。
從客戶處發(fā)送MSG_WINDOW_SWITCH消息到服務(wù)器，表示在主動用戶與被動用戶之間的切換；也就是，主動用戶變?yōu)楸粍佑脩簦约氨粍佑脩糇優(yōu)橹鲃佑脩?。視頻會議服務(wù)器將向該客戶確認(rèn)這個請求。
從服務(wù)器發(fā)送MSG_ADJUST_CODEC消息到每個客戶。MSG_ADJUST_CODEC消息將向客戶指明該客戶應(yīng)當(dāng)以什么分辨率(即，CIF或QCIF)和幀速率進行發(fā)送。MSG_ADJUST_CODEC消息由每個客戶確認(rèn)。
圖15是圖解說明按照本發(fā)明的說明性實施例的、用于分辨率與幀速率調(diào)節(jié)的信令方法的圖。圖15的例子包括視頻會議服務(wù)器(服務(wù)器)205，客戶1 1504，客戶2 1506，客戶3 1508，和客戶4 1510。
從客戶1 1504發(fā)送MSG_WINDOW_SWITCH消息到服務(wù)器205(步驟1520)。從服務(wù)器205發(fā)送確認(rèn)消息ACK到客戶1 1504(步驟1525)。
從服務(wù)器205發(fā)送MSG_ADJUST_CODEC(低)消息到客戶1 1504(步驟1530)。從客戶1 1504發(fā)送確認(rèn)消息ACK到服務(wù)器205(步驟1535)。
從服務(wù)器205發(fā)送MSG_ADJUST_CODEC(高)消息到客戶2 1506(步驟1540)。從客戶2 1506發(fā)送確認(rèn)消息ACK到服務(wù)器205(步驟1545)。
從服務(wù)器205發(fā)送MSG_ADJUST_CODEC(低)消息到客戶3 1508(步驟1550)。從客戶3 1508發(fā)送確認(rèn)消息ACK到服務(wù)器205(步驟1555)。
從服務(wù)器205發(fā)送MSG_ADJUST_CODEC(低)消息到客戶4 1510(步驟1560)。從客戶4 1510發(fā)送確認(rèn)消息ACK到服務(wù)器205(步驟1565)。
圖16是圖解說明按照本發(fā)明的說明性實施例的、在分辨率與幀速率調(diào)節(jié)(客戶2和3)之前的信令的圖。圖17是圖解說明按照本發(fā)明的說明性實施例的、在分辨率與幀速率調(diào)節(jié)(客戶2和3)之后的信令的圖。圖16和17的例子包括客戶1 1602，客戶2 1604，網(wǎng)絡(luò)路由器1606，客戶3 1608，和客戶4 1610。
從客戶1 1602處把“以低比特速率/分辨率發(fā)送”消息發(fā)送到網(wǎng)絡(luò)路由器1606(步驟1620)。從客戶3 1608處把“以高比特速率/分辨率發(fā)送”消息發(fā)送到網(wǎng)絡(luò)路由器1606(步驟1625)。從客戶2 1604處把“以低比特速率/分辨率發(fā)送”消息發(fā)遞到網(wǎng)絡(luò)路由器1606(步驟1630)。從客戶4 1610處把“以高比特速率/分辨率發(fā)送”消息發(fā)送到網(wǎng)絡(luò)路由器1606(步驟1635)。
從網(wǎng)絡(luò)路由器1606處通過使用多播地址把數(shù)據(jù)發(fā)送到客戶21604，客戶3 1608，客戶1 1602，和客戶4 1610(分別為步驟1640，1645，1650，和1655)。
進到圖17，從客戶1 1602處把“以低比特速率/分辨率發(fā)送”消息發(fā)送到網(wǎng)絡(luò)路由器1606(步驟1720)。從客戶3 1608處把“以高比特速率/分辨率發(fā)送”消息發(fā)送到網(wǎng)絡(luò)路由器1606(步驟1725)。從客戶2 1604處把“以高比特速率/分辨率發(fā)送”消息發(fā)送到網(wǎng)絡(luò)路由器1606(步驟1730)。從客戶4 1610處把“以低比特速率/分辨率發(fā)送”消息發(fā)送到網(wǎng)絡(luò)路由器1606(步驟1735)。
從網(wǎng)絡(luò)路由器1606處通過使用多播地址把數(shù)據(jù)發(fā)送到客戶21604，客戶3 1608，客戶1 1602，和客戶4 1610(分別為步驟1740，1745，1750，和1755)。
現(xiàn)在描述按照本發(fā)明的說明性實施例的客戶應(yīng)用結(jié)構(gòu)?？蛻魬?yīng)用負(fù)責(zé)與用戶互動、與其他客戶應(yīng)用交換多媒體內(nèi)容、以及負(fù)責(zé)管理與服務(wù)器應(yīng)用的呼叫。圖18A是按照本發(fā)明的說明性實施例的、視頻會議客戶應(yīng)用1800的方框圖。應(yīng)當(dāng)看到，可以在一臺計算機上發(fā)現(xiàn)視頻會議客戶應(yīng)用1800，諸如計算機220a-f中的任何一臺和/或計算機230a-c中的任何一臺。
視頻會議客戶應(yīng)用1800包括以下四個基本功能實體多媒體接口層1802；編解碼器1804(音頻編解碼器1804a與視頻編解碼器1804b)；網(wǎng)絡(luò)實體1806；和用戶接口1808。
多媒體接口層1802是視頻會議客戶應(yīng)用1800的主控制實例。所有的系統(tǒng)內(nèi)通信通過多媒體接口層1802進行路由，并被多媒體接口層1802控制。多媒體接口層1802的一個關(guān)鍵的基本特性是易于互換不同的音頻與視頻編解碼器1804的能力。除此以外，多媒體接口層1802還提供一個與取決于操作系統(tǒng)(OS)的用戶輸入/輸出實體和網(wǎng)絡(luò)子系統(tǒng)的接口。多媒體接口層1802包括成員數(shù)據(jù)庫1820，主控制模塊1822，音頻混合器1899，和回波消除模塊1898。
用戶接口1808為最終用戶提供與視頻會議客戶應(yīng)用1800的互動點。用戶接口1808優(yōu)選地但不是必須地被實施為依賴于OS的模塊。許多圖形用戶接口取決于它們正在使用的特定的OS。用戶接口1808的四個主要功能是視頻捕獲、視頻顯示、音頻捕獲、和音頻重現(xiàn)。用戶接口1808包括音頻/視頻捕獲接口1830，音頻/視頻回放模塊1832，成員視圖模塊1834，聊天模塊1836，和用戶選擇/菜單1838。音頻/視頻捕獲接口1830包括攝相機接口1830a，話筒接口1830b，和文件接口1830c。音頻/視頻回放模塊1832包括視頻顯示器1832a，音頻回放模塊1832b，和文件接口1832c。
網(wǎng)絡(luò)實體1806代表視頻會議客戶應(yīng)用1800的通信子系統(tǒng)。網(wǎng)絡(luò)實體1806的功能是基于會話發(fā)起協(xié)議(SIP)進行客戶到服務(wù)器的消息傳送，以及對音頻與視頻流進行發(fā)送與接收。網(wǎng)絡(luò)實體1806還包括用于客戶之間媒體流的鑒權(quán)和加密通信的基本安全功能。網(wǎng)絡(luò)實體1806包括安全模塊1840，消息傳送系統(tǒng)1842，視頻流模塊1844，和音頻流模塊1846，和IP套接字1848a-c。
音頻編解碼器1804a和視頻編解碼器1804b是處理數(shù)字媒體的壓縮和解壓縮的子系統(tǒng)。編解碼器的接口應(yīng)當(dāng)是簡單和通用的，以使得它們互換起來更容易。在多媒體接口層1802與編解碼器1804之間簡單的關(guān)系在此后被定義為用于實施的說明性樣本或指南。音頻編解碼器1804a和視頻編解碼器1804b各自包括編碼器1880和解碼器1890。編碼器1880和解碼器1890各自包括隊列1895。
視頻會議客戶應(yīng)用1800至少與視頻會議服務(wù)器205和其他客戶1870相連接。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、被包括在圖18A的多媒體接口層1802中的成員數(shù)據(jù)庫1820。成員數(shù)據(jù)庫1820以每個會話為基礎(chǔ)來存儲有關(guān)每個參加用戶的信息。成員數(shù)據(jù)庫1820包括關(guān)于發(fā)送/接收IP地址的信息、客戶能力、有關(guān)具體的編解碼器的信息、以及有關(guān)不同用戶的狀態(tài)的細(xì)節(jié)。應(yīng)當(dāng)看到，上述的項目僅僅是說明性的，因此，在保持本發(fā)明的精神和范圍的同時，在成員數(shù)據(jù)庫1820中也可以保存上述項目以外的、或代替了上述項目中的一部分或全部的其他項目。被包括在成員數(shù)據(jù)庫1820中的信息被用于控制去往音頻和視頻編解碼器1890的進入信息。從網(wǎng)絡(luò)進入的媒體信息需要被路由到正確的音頻和視頻解碼器1890。同樣重要地，來自音頻和視頻解碼器1890的媒體信息需要被路由到正確的單播和多播地址以便分發(fā)。被包括在成員數(shù)據(jù)庫1820中的基本信息還被路由到用戶接口1808，以使得最終用戶知道該會話的參與者和它們的能力。只要從視頻會議服務(wù)器205接收到一個INVITE請求，一個用戶就被加入成員數(shù)據(jù)庫1820，以及只要從視頻會議服務(wù)器205接收到一個BYE請求，一個用戶就被刪除。當(dāng)會話終止時，成員數(shù)據(jù)庫1820被刷新。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、被包括在圖18A的多媒體接口層1802中的主控制模塊1822。
主控制模塊1822是多媒體接口層1802的非常重要的部件。主控制模塊1822起到中央管理子系統(tǒng)的作用，并提供以下關(guān)鍵功能用于音頻與視頻解碼器和回放的同步機制；將解碼器的目的地連接到屏幕或連接到文件以便記錄；以及應(yīng)用層服務(wù)質(zhì)量。
音頻與視頻回放的同步對于最佳的視頻會議用戶感受是至關(guān)緊要的。為了精確地同步這兩個媒體流，需要使用時間戳，以及時間戳需要與媒體內(nèi)容一起發(fā)送。實時協(xié)議(RTP)提供了通用標(biāo)題以便包括時間戳和用于這一目的的序列號。所提供的時間戳并不是意在同步這兩個網(wǎng)絡(luò)節(jié)點時鐘，而是意在同步所述音頻和視頻流以便一致地回放。這些時間戳需要從捕獲時的同一個節(jié)點上的公共時鐘得出。例如，當(dāng)視頻幀被捕獲時，必須記錄視頻幀被捕獲的時間。這同樣地應(yīng)用到音頻上。關(guān)于使用RTP的另外的細(xì)節(jié)和指南在這里的其他場合進行描述。
主控制模塊1822在同步音頻和視頻時的功能是在網(wǎng)絡(luò)實體1806與編解碼器1804之間進行連接，以便正確地傳遞元數(shù)據(jù)(包括時間戳和序列號)和多媒體數(shù)據(jù)。如果分組是滯后的，則可以取決于系統(tǒng)的當(dāng)前條件在解碼之前或之后丟棄它們。所述RTP時間戳隨后被使用來創(chuàng)建呈現(xiàn)和回放時間戳。
主控制模塊1822還負(fù)責(zé)把音頻和視頻解碼器1890的輸出引導(dǎo)到屏幕以便回放，或引導(dǎo)到文件以便記錄，或引導(dǎo)到屏幕和文件二者。每個解碼器1890被獨立地對待，所以，允許在示例性情形下把一個解碼器的輸出顯示在屏幕上，把第二個解碼器的輸出記錄在文件中，以及把來自第三個解碼器的輸出同時送往文件和屏幕。
除了上述的責(zé)任以外，主控制模塊1822還牽涉到應(yīng)用層服務(wù)質(zhì)量。主控制模塊1822收集關(guān)于分組丟棄、接收的和發(fā)送的字節(jié)的信息，以及根據(jù)這個信息采取行動。這可包括發(fā)送消息到另一個客戶或視頻會議服務(wù)器205，以幫助補救在網(wǎng)絡(luò)中發(fā)生的情形。實時控制協(xié)議(RTCP)可被使用于報告統(tǒng)計資料和分組丟失，還可被使用于應(yīng)用特定的信令。
圖18B是進一步圖解說明按照本發(fā)明的說明性實施例的、被包括在圖18A的多媒體接口層1802中的音頻混合器1899的方框圖。音頻混合器1899(在這里也被稱為“增益控制模塊”)工作時被耦合到多個音頻解碼器1890。所述多個音頻解碼器1880接收壓縮的音頻流并輸出未壓縮的音頻流。未壓縮的音頻流被輸入到音頻混合器1899并作為組合的音頻流輸出。
圖18C是進一步圖解說明按照本發(fā)明的說明性實施例的、被包括在圖18A的多媒體接口層1802中的回波消除模塊1898的方框圖?；夭ㄏK1898(在這里也被稱為“回波消除器”)工作時被耦合到揚聲器1897(例如，音頻回放模塊1832b)和話筒1896(例如，話筒接口)。當(dāng)來自揚聲器1897的聲音在全雙工或雙向通信系統(tǒng)中被產(chǎn)生時，打算只讓本地收聽者聽見這個聲音。但是，所產(chǎn)生的聲音也被本地話筒1896聽見，然后，本地話筒允許信號被發(fā)回遠(yuǎn)端，并作為回聲被聽見。由于這個原因，視頻會議客戶應(yīng)用1800需要回波消除模塊1898來緩和這個效應(yīng)，由此產(chǎn)生更好的用戶感受。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、可供視頻會議客戶應(yīng)用1800的子系統(tǒng)使用的接口。該接口包括與用戶接口1808、網(wǎng)絡(luò)實體1806、以及編解碼器1804的互動點。用戶接口1808提供了用于接收所捕獲的音頻和視頻連同其相應(yīng)的時間戳的功能。除此之外，還必須提供用于向用戶接口1808發(fā)送音頻和視頻以便顯示和重現(xiàn)的功能。網(wǎng)絡(luò)實體1806接口提供了用于發(fā)信號通知進入的和外出的消息的功能，用于會話控制和安全。音頻和視頻編解碼器1804a，b提供了用于配置控制、以及用來發(fā)送和接收用于壓縮或解壓縮的分組的基本接口。
現(xiàn)在給出按照本發(fā)明的說明性實施例的、音頻和視頻編解碼器1804a，b的描述。
在視頻會議中有幾種音頻和視頻編解碼器可供使用。優(yōu)選地但不是必須地，按照本發(fā)明被采用的編解碼器是基于軟件的。按照本發(fā)明的一個說明性實施例，H.263被使用于視頻壓縮和解壓縮，這是由于典型臺式計算機的處理功率約束條件而導(dǎo)致的。由于臺式計算機在將來會變得功能更強大，使用更先進編解碼器(諸如H.26L)的能力可以被實現(xiàn)并加以利用。當(dāng)然，本發(fā)明并不限于上述類型的編解碼器，因此，可以在保持本發(fā)明的精神和范圍的同時使用其他類型的編解碼器。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、編解碼器1804a，b的接口。該描述將包括DataIn(數(shù)據(jù)入)功能，回呼功能，和編解碼器選項。編解碼器1804a，b的接口應(yīng)當(dāng)足夠靈活，以及在通用意義上被規(guī)定為允許編解碼器的可互換性并允許將來添加新的編解碼器。為實施這個靈活的和通用的接口，所建議的接口是一種非常簡單的接口，它具有提供給用戶的、有限數(shù)目的功能。
DataIn(數(shù)據(jù)入)功能僅僅被使用來存儲編碼器或解碼器級別的幀或分組。
為了提供在多媒體接口層1802與多媒體編解碼器1804之間的簡單的連接，數(shù)據(jù)輸出功能應(yīng)當(dāng)被實施為回呼。多媒體接口層1802設(shè)置這個回呼功能給接收實體的輸入功能。例如，當(dāng)編解碼器完成編碼或解碼幀時，這個功能將被編解碼器調(diào)用，以便傳遞來自編碼或解碼處理過程的預(yù)期信息。由于在這個回呼過程中編解碼器不能做任何工作的約束條件，所以這個功能應(yīng)當(dāng)盡可能快速地返回，以防止系統(tǒng)中的等待和不必要的延遲。在訪問共享資源時，在這個功能中應(yīng)當(dāng)被執(zhí)行的唯一額外等待應(yīng)當(dāng)是互斥(mutex)鎖定。
可供不同類型的編解碼器使用的選項的范圍將是變化的。為了滿足管理這些選項的需要，應(yīng)當(dāng)使用簡單的界面。基于文本的界面是優(yōu)選的(但不是強制的)，這是因為它所提供的靈活性。應(yīng)當(dāng)有一個公共命令組，諸如START(啟動)和STOP(停止)，然后是編解碼器專用命令。這個方法提供了簡單的界面，但給編解碼器添加了額外的復(fù)雜性，因為需要簡單的翻譯器。作為例子，對讀和寫選項來說選項功能可以是足夠通用的。
例子結(jié)果＝選項(“啟動”)；結(jié)果＝選項(“分辨率＝CIF”)；等等。
例如，在編解碼器之間的某些公共選項應(yīng)當(dāng)被標(biāo)準(zhǔn)化為如下啟動；停止；暫停；質(zhì)量指數(shù)(0-100)；和分辨率。
質(zhì)量指數(shù)是把編解碼器的總體質(zhì)量描述為在0％與100％之間的數(shù)值的一個因子。它遵循基本假設(shè)數(shù)值越高，視頻質(zhì)量越好。
圖19是圖解說明按照本發(fā)明的說明性實施例的、由被包括在音頻編解碼器1804a和/或視頻編解碼器1804b任一方中的解碼器1890所采用的方法的圖。該方法是針對解碼器上下文1901和呼叫器上下文1902進行描述的。該方法使用至少以下的輸入和輸出來操作“數(shù)據(jù)入”1999；“信號入”1998；“信號出回呼”1997；“設(shè)置回呼功能”1996；和“數(shù)據(jù)出回呼”1995。輸入“數(shù)據(jù)入”1999被使用來把數(shù)據(jù)存儲到輸入隊列中(步驟1905)。
執(zhí)行初始化步驟(Init)，以使得解碼器1890初始化(步驟1910)。執(zhí)行主環(huán)路，它等待啟動或退出命令(步驟1920)。如果接收到退出命令，則退出該方法(步驟1922)，并返回到例如另一個操作(1924)。
數(shù)據(jù)從輸入隊列1895被讀出，或如果輸入隊列1895是空的，則施加以等待條件(步驟1930)。數(shù)據(jù)(如果在步驟1930讀出)被解碼(步驟1940)?！皵?shù)據(jù)出回呼”1995被提供給步驟1920。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、由網(wǎng)絡(luò)200所使用的通信。該描述補充以上就網(wǎng)絡(luò)通信所提供的內(nèi)容。
消息傳送系統(tǒng)1842(被包括在圖18A的網(wǎng)絡(luò)實體1806中)提供了在視頻會議客戶應(yīng)用1800與視頻會議服務(wù)器205之間的接口。它被計劃使用于會話管理(即，會話建立和拆除)。所有的信令消息通過視頻會議服務(wù)器205被傳送，而不是直接從客戶傳送到客戶。諸如多媒體內(nèi)容和私人聊天消息那樣的數(shù)據(jù)包含直接在客戶之間發(fā)送的唯一信息。消息傳送系統(tǒng)將使用基于標(biāo)準(zhǔn)的會話發(fā)起協(xié)議(SIP)。
有幾個不同的監(jiān)管視頻會議客戶應(yīng)用1800的功能性的協(xié)議。例如，可以使用會話發(fā)起協(xié)議(SIP)，實時協(xié)議(RTP)，實時控制協(xié)議(RTCP)，和會話描述協(xié)議(SDP)。
會話發(fā)起協(xié)議(SIP)的用途是會話管理。SIP是基于文本的應(yīng)用層控制協(xié)議，用于創(chuàng)建、修正和終止在基于IP的網(wǎng)絡(luò)上的具有一個或多個參與者的多媒體會話。SIP被使用來在客戶與服務(wù)器之間實現(xiàn)這一用途。在前面還就視頻會議服務(wù)器205對SIP進行過描述。
實時協(xié)議(RTP)被使用于傳輸實時多媒體數(shù)據(jù)(即，音頻和視頻)。RTP是應(yīng)用層協(xié)議，用于提供關(guān)于它正在載送的多媒體信息的類型的附加細(xì)節(jié)。RTP位于傳輸層以上，且通常在用戶數(shù)據(jù)報協(xié)議(UDP)之上被載送。在所述客戶應(yīng)用中RTP的主要功能是用于輸送時間戳(用于音頻和視頻同步)、序列號、以及識別正在封裝的有效載荷的類型(例如，MPEG4，H.263，G.723，等等)圖20是圖解說明按照本發(fā)明的說明性實施例的、用戶平面協(xié)議堆棧2000的圖。堆棧2000包括在某一層上的視頻2010和話音2020，在另外一層上的用于視頻2010和話音2020的RTP 2030，在又一層上的UDP端口#X 2040和UDP端口#Y 2050，IP層2060，鏈路層2070，和物理層2080。除了通用RTP標(biāo)題以外，還使用編解碼器特定的RTP標(biāo)題。
實時控制協(xié)議(RTCP)是RTP標(biāo)準(zhǔn)的一部分。RTCP被用作為在發(fā)送器和接收機之間的統(tǒng)計資料報告工具。每個視頻會議客戶應(yīng)用1800將收集它們的統(tǒng)計資料，并把它們發(fā)送到另一個視頻會議客戶應(yīng)用以及服務(wù)器205。視頻會議服務(wù)器205將根據(jù)這個數(shù)據(jù)來記錄有關(guān)在所述會話中可能出現(xiàn)的問題的信息。
圖21是圖解說明按照本發(fā)明的說明性實施例的、控制平面協(xié)議堆棧2100的圖。堆棧2100包括在一層上的SIP 2110、UI編解碼器改變消息傳送2120、和RTCP 2130，TCP層2140，IP層2150，鏈路層2160，和物理層2170。
SDP的主要用途是輸送有關(guān)會話的媒體流的信息。SDP包括但不限于以下項目會話名稱和用途；會話活動的時間；包括該會話的媒體；用來接收該媒體的信息(即，地址，端口，格式等)；媒體的類型；傳輸協(xié)議(RTP/UDP/IP)；媒體的格式(H.263等)；多播；用于媒體的多播地址；用于媒體的輸送端口；單播；以及用于媒體的遠(yuǎn)端地址。
SDP信息是用于SIP消息的消息主體。它們一起被發(fā)送。
現(xiàn)在進一步描述按照本發(fā)明的說明性實施例的、圖18A的用戶接口1808。用戶接口1808是視頻會議客戶應(yīng)用1800的非常重要的單元。用戶接口1808包括幾個視圖(顯示/按鈕/菜單/...)并能處理所有的輸入數(shù)據(jù)(音頻/視頻捕獲，按鈕，按鍵擊打)。
圖22是圖解說明按照本發(fā)明的說明性實施例的、對應(yīng)于圖18A的用戶接口1808的屏幕快照2200的方框圖。屏幕快照2200包括“大視圖”2210，“小視圖”2220，聊天視圖部分2230，成員視圖部分2240，和聊天編輯部分2250。
再次參照圖18A，視頻捕獲接口1830可包括以下的任何一項萬維網(wǎng)樣板(web cam)(未示出)；捕獲卡和高質(zhì)量攝相機(未示出)；攝相機接口1830a；話筒接口1830b；文件接口1830c；等等。
所述萬維網(wǎng)樣板應(yīng)當(dāng)通過USB或Firewire(IEEE1394)接口而被支持，其中USB或Firewire(IEEE1394)接口使用由視窗(Windows)操作系統(tǒng)提供的Windows視頻(VFW)應(yīng)用編程接口(API)，或者所述萬維網(wǎng)樣板通過在諸如Linux的不同操作系統(tǒng)下使用的另一個獲取驅(qū)動器而被支持。當(dāng)然，本發(fā)明并不限于上述的接口、操作系統(tǒng)、或驅(qū)動器，因此在保持本發(fā)明的精神和范圍的同時，也可以使用其他接口、操作系統(tǒng)、和驅(qū)動器。
成員視圖模塊1834被使用來顯示參與正在進行的呼叫的成員。呼叫發(fā)起者(即，主叫方)可以丟棄不想要的成員或者選擇主動的成員。每個成員可選擇一個或多個成員以進行私人聊天消息交換。此外，成員的狀態(tài)在成員視圖模塊1834中被用信號通知。于是成員可設(shè)置它們自己的狀態(tài)為例如“不可用”，以便通知其他成員它們當(dāng)前是不可用的，但將很快返回。
除了視頻流以外，每個成員都有機會使用聊天模塊1836發(fā)送聊天消息到全部的或僅是部分的其他成員。所述消息在聊天視圖上被顯示，以及在聊天編輯視圖上被編輯。滾動條允許觀看舊消息。
現(xiàn)在描述按照本發(fā)明的說明性實施例的、客戶應(yīng)用1800的工作情形。以下的說明僅僅是客戶應(yīng)用1800的某些特性的基本指南，而并不打算描繪完整的特性表。該說明將包括登錄，呼叫發(fā)起，呼叫接受，和退出登錄。
當(dāng)客戶應(yīng)用1800初始啟動時登錄完成。登錄可以根據(jù)在啟動時被提供到操作系統(tǒng)的登錄名而自動完成，或者可以使用與登錄無關(guān)的不同的接口。它取決于當(dāng)前使用的優(yōu)選的網(wǎng)絡(luò)鑒權(quán)方法、以及對策略是如何進行管轄的。最簡單的方法就是所使用的登錄名與在視窗操作系統(tǒng)中所使用的相同，以保持命名的一致性，并且還要具有重復(fù)利用現(xiàn)有用戶數(shù)據(jù)庫的能力(如果是可應(yīng)用的)。
圖23是圖解說明按照本發(fā)明的說明性實施例的、登錄界面2300的圖。如果用戶當(dāng)前在服務(wù)器上沒有帳號，則使用簽名特性2330?？稍谌我浑娮余]件地址輸入框2340中提供電子郵件地址，以便容易接入。
為了發(fā)起呼叫，客戶應(yīng)用1800將向服務(wù)器205詢問可提供的候選人名單。客戶可以選擇他或她希望其參加到視頻會議會話中的用戶。當(dāng)牽涉到兩個參與者時，該會話被建立為單播；否則，當(dāng)牽涉到兩個以上的參與者時，該會話被建立為多播會話。
圖24是圖解說明按照本發(fā)明的說明性實施例的、用于會話發(fā)起的用戶選擇界面2400的方框圖。
一旦用戶被邀請到一個呼叫，示出發(fā)起者名字的消息就顯示在它們的屏幕上。該用戶然后可接受或拒絕該呼叫。如果該用戶接受呼叫，則客戶應(yīng)用1800發(fā)送接受(或確認(rèn))消息到服務(wù)器205。服務(wù)器205然后把新的成員告知當(dāng)前參加該呼叫的每個成員。如果用戶通過發(fā)送取消消息到服務(wù)器205而拒絕該呼叫，則所有其他的成員也被告知該事件。圖25是圖解說明按照本發(fā)明的說明性實施例的、用于接受或拒絕一個進入呼叫的邀請界面2500的方框圖。
退出登錄將把該用戶從成員數(shù)據(jù)庫314中刪除，其中成員數(shù)據(jù)庫314被包括在視頻會議服務(wù)器205的數(shù)據(jù)庫實體302中。BYE消息被發(fā)送到該會話的每個參與客戶。這可以通過多播或單播完成。多播是發(fā)送這個消息的優(yōu)選的方法。
本發(fā)明提供了一種用于視頻會議應(yīng)用的用戶接口，其中該用戶接口支持多種視頻顯示窗口尺寸(不同尺寸的顯示窗口代表高分辨率和低分辨率的解碼的視頻流)。而且，本發(fā)明提供了消息傳送系統(tǒng)，它允許服務(wù)器基于從控制著客戶或網(wǎng)絡(luò)設(shè)備的視頻會議會話發(fā)送來的消息，對每個個體客戶的視頻編碼參量進行控制。所述用戶接口和消息傳送系統(tǒng)創(chuàng)建了一種環(huán)境，該環(huán)境只允許視頻會議會話中有限數(shù)量的用戶(即，主動用戶)以高分辨率和高比特速率進行發(fā)送，而會話中的其余用戶(即，被動用戶)只能以受限的分辨率和受限的比特速率進行發(fā)送。通過不以高分辨率和高比特速率發(fā)送視頻到不是主動參加視頻會議會話的用戶，在網(wǎng)絡(luò)中帶寬可以更有效地被利用。所述用戶接口和消息傳送系統(tǒng)合在一起也被稱為“回放控制系統(tǒng)”。應(yīng)當(dāng)看到，詞組“主動用戶”和“主動參與者”在這里被交換地使用。而且，應(yīng)當(dāng)看到，詞組“被動用戶”和“被動參與者”在這里被互換地使用。與不是主動地參加視頻會議會話的被動參與者相比，主動參與者是主動地參加(例如，談話)視頻會議會話的人。
在本發(fā)明的說明性實施例中，視頻會議會話控制器(此后稱為“會話控制器”)將控制哪些用戶以高分辨率進行發(fā)送以及哪些用戶以低分辨率進行發(fā)送。在該說明性實施例中，會話控制器具有比該視頻會議會話的(其他)參與者的用戶接口更加先進的用戶接口，這樣，會話控制器可選擇哪些參與者是主動參與者以及哪些參與者是被動參與者。會話控制器可以是該視頻會議會話的發(fā)起者或某個其他人(包括該視頻會議會話的另外一個參與者或甚至非參與者)。應(yīng)當(dāng)看到，雖然本發(fā)明的說明性實施例是對于單個會話控制器來描述的，但本發(fā)明可以容易地用一個以上的會話控制器來實施。還應(yīng)當(dāng)看到，雖然主動和被動用戶的選擇是對于兩個不同的用戶接口來描述的，其一用于會話控制器而另一個用于視頻會議的(其他)參與者，但可以由本領(lǐng)域技術(shù)人員在保持本發(fā)明的精神和范圍的同時，容易地實施其他數(shù)目的用戶接口和其他配置及實施方案。會話控制器的用戶接口在下面參照圖27被描述，而(其他)參與者的用戶接口在下面參照圖26被描述。
圖26是圖解說明按照本發(fā)明的說明性實施例的、用戶接口2600的方框圖。按照本發(fā)明的說明性實施例，用戶接口2600將包括兩個不同尺寸的顯示窗口，用于支持視頻會議系統(tǒng)中不同的分辨率。出于說明性的目的，兩個不同的窗口尺寸被選擇為如下用于高分辨率的352×288窗口2630；和用于低分辨率的88×72窗口2640。應(yīng)當(dāng)看到，本發(fā)明并不限于上述數(shù)目的不同的窗口尺寸，也不限于上述的分辨率，因此，在保持本發(fā)明的精神和范圍的同時可以采用其他數(shù)目的不同的窗口尺寸和分辨率。也就是，給定在這里所提供的本發(fā)明的教導(dǎo)后，本領(lǐng)域技術(shù)人員將在保持本發(fā)明的精神和范圍的同時，容易地設(shè)想到本發(fā)明的這些和各種其他配置和實施方案。
在該說明性的例子中，兩個主要的參與者(即，主動的)以較高的分辨率進行編碼和發(fā)送，并且他們被顯示在較大的窗口上。其余的參與者(即，被動的)以較低的分辨率進行編碼和發(fā)送，并且他們被顯示在較小的窗口上。
圖27是圖解說明按照本發(fā)明的另一個說明性實施例的用戶接口2700的方框圖。按照本發(fā)明的說明性實施例，該視頻會議會話的會話控制器具有更先進的用戶接口，它允許他/她選擇哪些參與者將是該視頻會議會話中的主要(即，主動)參與者。按照本發(fā)明的說明性實施例，會話控制器通過選擇他/她的屏幕右邊的窗口2640之一(較低分辨率窗口之一)從而選擇主要參與者。通過在該圖像上雙擊，或通過一個拖放(drag-and-drop)過程，所選擇的參與者將從低分辨率模式被切換到高分辨率模式。而當(dāng)前處于高分辨率模式的一個參與者隨后將被切換到低分辨率模式。用戶接口2700除了包括用于高分辨率的352×288窗口2630和用于低分辨率的88×72窗口2640以外，還包括文本聊天窗口2750和狀態(tài)窗口2760。
諸如尋呼按鈕2790的附加性能可以被使用，以使得視頻會議會話的參與者可通知會話控制器他們想要成為主動用戶。會話控制器然后可以把這個參與者人工地切換到高分辨率模式，或者這可以通過自動化過程被完成。
回到圖15，從客戶(例如，會話控制器)發(fā)送消息“MSG_WINDOW_SWITCH”到服務(wù)器205?！癕SG_WINDOW_SWITCH”消息被使用來通知服務(wù)器兩個參與者正在切換分辨率。也就是，一個參與者正在從高分辨率切換到低分辨率，而另一個參與者正在從低分辨率切換到高分辨率。因此，兩個參與者切換角色為主動和被動參與者。當(dāng)會話控制器選擇新的主動參與者時，生成“MSG_WINDOW_SWITCH”消息。一旦服務(wù)器205接收到“MSG_WINDOW_SWITCH”消息，服務(wù)器205將處理該消息并發(fā)送出一個消息(MSG_ADJUST_CODEC)到參加該會話的每個客戶。
從服務(wù)器205發(fā)送MSG_ADJUST_CODEC消息到該視頻會議會話中的每個客戶。MSG_ADJUST_CODEC消息通知每個客戶關(guān)于他們應(yīng)當(dāng)以哪種比特速率進行發(fā)送(例如，高比特速率或低比特速率)。MSG_ADJUST_CODEC消息還包括正在以高比特速率進行發(fā)送的客戶的IP地址。該信息被使用來確定每個進入視頻流將在所述用戶接口的哪個窗口上顯示。
這樣，前面的圖16和17分別表示在2個參與者(客戶2和3)的從主動參與者到被動參與者的切換之前和之后網(wǎng)絡(luò)上的數(shù)據(jù)傳輸。圖15圖解說明為了進行所述切換而使用的信令。
雖然在這里參照附圖描述了說明性實施例，但應(yīng)當(dāng)明白，本發(fā)明并不限于這些明確的實施例，而是可以由本領(lǐng)域技術(shù)人員在不背離本發(fā)明的范圍和精神的情況下，對其進行各種其他改變和修正。所有這樣的改變和修正被計劃包括在由附屬權(quán)利要求所定義的本發(fā)明的范圍內(nèi)。
權(quán)利要求
1.一種用于視頻會議系統(tǒng)的回放控制系統(tǒng)，該視頻會議系統(tǒng)構(gòu)架于網(wǎng)絡(luò)之上，該回放控制系統(tǒng)包括具有多個顯示窗口的用戶接口，所述窗口允許不同的分辨率和幀速率；以及消息傳送系統(tǒng)，其用于按照單個的顯示要求來管理顯示和輸送特性。
2.權(quán)利要求1的回放控制系統(tǒng)，其中所述顯示和輸送特性包括編碼分辨率和傳輸比特速率。
3.權(quán)利要求1的回放控制系統(tǒng)，其中所述消息傳送系統(tǒng)包括發(fā)送消息和接收消息兩項中至少之一的能力，該消息指示相對于當(dāng)前視頻會議會話，從一主動參與者到一被動參與者以及從該被動參與者到該主動參與者這兩者之一的改變。
4.權(quán)利要求1的回放控制系統(tǒng)，其中所述用戶接口和所述消息傳送系統(tǒng)被適配成使得視頻會議會話的主動參與者以比該視頻會議會話的被動參與者更高的分辨率和更高的幀速率的至少一項發(fā)送視頻數(shù)據(jù)。
5.權(quán)利要求1的回放控制系統(tǒng)，其中所述用戶接口能夠根據(jù)相應(yīng)的參與者對于當(dāng)前視頻會議會話是主動參與者還是被動參與者，而在多個顯示窗口之間進行切換。
6.權(quán)利要求1的回放控制系統(tǒng)，其中所述消息傳送系統(tǒng)包括發(fā)送消息和接收消息兩項中至少之一的能力，該消息指示相對于當(dāng)前視頻會議會話，發(fā)送視頻數(shù)據(jù)應(yīng)被采用的分辨率和幀速率。
7.權(quán)利要求1的回放控制系統(tǒng)，其中所述用戶接口具有在視頻會議會話期間創(chuàng)建多個解碼器的能力。
8.權(quán)利要求1的回放控制系統(tǒng)，其中所述用戶接口具有為每個接收到的視頻數(shù)據(jù)流創(chuàng)建一個解碼器的能力。
9.權(quán)利要求1的回放控制系統(tǒng)，其中所述用戶接口具有在同一個視頻會議會話期間創(chuàng)建、互換和利用不同的解碼器的能力。
10.權(quán)利要求1的回放控制系統(tǒng)，其中所述用戶接口具有為不同的視頻會議會話創(chuàng)建、互換和利用不同的解碼器的能力。
11.權(quán)利要求1的回放控制系統(tǒng)，還包括音頻/視頻捕獲接口，其用于至少捕獲本地音頻數(shù)據(jù)和本地視頻數(shù)據(jù)中的至少一種。
12.權(quán)利要求11的回放控制系統(tǒng)，其中所述音頻/視頻捕獲接口包括攝相機接口、話筒接口、和文件接口中的至少一個。
13.權(quán)利要求1的回放控制系統(tǒng)，其中所述用戶接口包括尋呼按鈕，其用于指示相應(yīng)的參與者正在請求相對于當(dāng)前視頻會議會話的、從主動參與者到被動參與者以及從被動參與者到主動參與者這兩者之一的切換。
14.權(quán)利要求1的回放控制系統(tǒng)，其中所述網(wǎng)絡(luò)包括至少兩個客戶設(shè)備和至少一個服務(wù)器，以及所述用戶接口被適配以便由該至少兩個客戶設(shè)備中的任意客戶設(shè)備使用。
15.權(quán)利要求1的回放控制系統(tǒng)，其中所述網(wǎng)絡(luò)包括至少兩個客戶設(shè)備和至少一個服務(wù)器，以及所述消息傳送系統(tǒng)被適配以便由服務(wù)器和該至少兩個客戶設(shè)備中的任意客戶設(shè)備使用。
16.一種用于視頻會議系統(tǒng)的用戶接口，包括視頻回放設(shè)備，其具有多個顯示窗口，所述顯示窗口能夠同時被顯示并且它們允許不同的分辨率和幀速率。
17.權(quán)利要求16的用戶接口，其中所述視頻回放設(shè)備被適配成使得視頻會議會話的主動參與者以比視頻會議會話的被動參與者更高的分辨率和更高的幀速率的至少一項發(fā)送視頻數(shù)據(jù)。
18.權(quán)利要求16的用戶接口，其中所述視頻回放設(shè)備具有在視頻會議會話期間創(chuàng)建多個解碼器的能力。
19.權(quán)利要求16的用戶接口，其中所述視頻回放設(shè)備具有為每個接收到的視頻數(shù)據(jù)流創(chuàng)建一個解碼器的能力。
20.權(quán)利要求16的用戶接口，其中所述視頻回放設(shè)備具有在同一個視頻會議會話期間創(chuàng)建、互換和利用不同的解碼器的能力。
21.權(quán)利要求16的用戶接口，其中所述視頻回放設(shè)備具有為不同的視頻會議會話創(chuàng)建、互換和利用不同的解碼器的能力。
22.權(quán)利要求16的用戶接口，其中所述用戶接口還包括音頻/視頻捕獲接口，用于至少捕獲本地音頻數(shù)據(jù)和本地視頻數(shù)據(jù)中的至少一種。
23.權(quán)利要求22的用戶接口，其中所述音頻/視頻捕獲接口包括攝相機接口、話筒接口、和文件接口中的至少一個。
24.權(quán)利要求16的用戶接口，其中所述用戶接口包括尋呼按鈕，其用于指示相應(yīng)的參與者正在請求相對于當(dāng)前電視會議會話的、從主動參與者到被動參與者以及從被動參與者到主動參與者這兩者之一的切換。
25.一種用于構(gòu)架于網(wǎng)絡(luò)之上的視頻會議系統(tǒng)的服務(wù)器，該服務(wù)器包括消息傳送系統(tǒng)，其用于按照單個的顯示要求來管理顯示和輸送特性。
26.權(quán)利要求25的服務(wù)器，其中所述消息傳送系統(tǒng)包括發(fā)送消息和接收消息兩項中至少之一的能力，該消息指示相對于當(dāng)前視頻會議會話、從主動參與者到被動參與者以及從被動參與者到主動參與者這兩者之一的改變。
27.權(quán)利要求25的服務(wù)器，其中所述消息傳送系統(tǒng)包括發(fā)送消息和接收消息兩項中至少之一的能力，該消息指示相對于當(dāng)前的視頻會議會話、發(fā)送內(nèi)容所應(yīng)當(dāng)采用的分辨率和幀速率。
28.一種用于顯示對應(yīng)于視頻會議會話的內(nèi)容的方法，該方法包括以下步驟提供多個能夠同時被顯示、并允許不同分辨率和幀速率的顯示窗口。
9.權(quán)利要求28的方法，其中所述提供步驟還包括步驟提供根據(jù)相應(yīng)的參與者對于該視頻會議會話是主動參與者還是被動參與者而在多個顯示窗口之間進行切換的能力。
30.權(quán)利要求28的方法，還包括提供在視頻會議會話期間創(chuàng)建多個解碼器的能力的步驟。
31.權(quán)利要求28的方法，還包括提供為每個接收到的內(nèi)容流創(chuàng)建一個解碼器的能力的步驟。
32.權(quán)利要求28的方法，還包括提供在同一個視頻會議會話期間創(chuàng)建、互換和利用不同的解碼器的能力的步驟。
33.權(quán)利要求28的方法，還包括提供按照單個的顯示要求來管理顯示和輸送特性的能力的步驟。
34.權(quán)利要求33的方法，其中所述顯示和輸送特性包括編碼分辨率和傳輸比特速率。
35.權(quán)利要求33的方法，其中所述提供管理顯示和輸送特性的能力的步驟還包括步驟提供發(fā)送消息和接收消息兩項中至少之一的能力，其中該消息指示相對于視頻會議會話、從主動參與者到被動參與者以及從被動參與者到主動參與者這兩者之一的改變。
36.權(quán)利要求28的方法，還向視頻會議會話的主動參與者提供以比該視頻會議會話的被動參與者更高的分辨率對內(nèi)容進行編碼和發(fā)送的能力。
37.權(quán)利要求32的方法，其中所述提供管理顯示和輸送特性的能力的步驟還包括步驟提供發(fā)送消息和接收消息兩項中至少之一的能力，其中該消息指示用于發(fā)送對應(yīng)于該視頻會議會話的內(nèi)容的分辨率和幀速率。
38.權(quán)利要求28的方法，還包括提供輸出尋呼信號的能力的步驟，該尋呼信號指示相應(yīng)的參與者正在請求從主動參與者到被動參與者以及從被動參與者到主動參與者這兩者之一的切換。
全文摘要
提供了一種用于視頻會議系統(tǒng)的回放控制系統(tǒng)，該視頻會議系統(tǒng)構(gòu)架于廣域網(wǎng)(WAN)(142)之上。該回放控制系統(tǒng)包括具有多個顯示窗口的用戶接口，它允許不同的分辨率和幀速率；以及消息傳遞系統(tǒng)，它用于按照個體的顯示要求利用策略和QoS管理器(210)來管理顯示和輸送特性。
文檔編號G06F15/00GK1633652SQ02828105
公開日2005年6月29日 申請日期2002年12月13日 優(yōu)先權(quán)日2001年12月15日
發(fā)明者J·W·理查森, J·卡恩布利, K·拉馬斯瓦米 申請人:湯姆森許可公司