專利名稱：具有改進(jìn)多媒體能力的視頻會(huì)議的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻會(huì)議和多媒體消息傳送。
背景技術(shù)：
為了召開(kāi)涉及不在同一地區(qū)的與會(huì)者會(huì)議，有許多技術(shù)系統(tǒng)可用。這些系統(tǒng)可包括視頻會(huì)議、網(wǎng)絡(luò)會(huì)議和音頻會(huì)議。
真實(shí)會(huì)議最逼真的替代物是高端視頻會(huì)議系統(tǒng)。常規(guī)的視頻會(huì)議系統(tǒng)包括許多端點(diǎn)，它們?cè)赪AN、LAN和/或電路交換網(wǎng)絡(luò)上進(jìn)行實(shí)時(shí)視頻、音頻和/或數(shù)據(jù)流的通信。端點(diǎn)包括一個(gè)或多個(gè)監(jiān)視器、攝像機(jī)、麥克風(fēng)和/或數(shù)據(jù)捕獲裝置，以及編解碼器，它對(duì)輸出流和輸入流分別進(jìn)行編碼和解碼。此外，還需要一個(gè)集中源，被稱為多點(diǎn)控制單元(MCU)，以將多個(gè)端點(diǎn)鏈接在一起。MCU通過(guò)以下方式進(jìn)行這種鏈接在點(diǎn)對(duì)點(diǎn)連接上接收來(lái)自端點(diǎn)終端的多媒體信號(hào)(視頻、音頻和/或數(shù)據(jù))；處理所接收的信號(hào)；并將處理的信號(hào)再傳輸?shù)綍?huì)議中所選的端點(diǎn)終端。
但是，不同的會(huì)議系統(tǒng)并不是相互孤立的。隨著這種會(huì)議的日益普及以及會(huì)議技術(shù)的演進(jìn)，不同的會(huì)議技術(shù)現(xiàn)在看來(lái)正在融合。在傳統(tǒng)視頻會(huì)議中找到完全的網(wǎng)絡(luò)或音頻與會(huì)者也不是不常見(jiàn)的。
但是，由于端點(diǎn)和系統(tǒng)兩方面的限制，音頻和網(wǎng)絡(luò)與會(huì)者在加入傳統(tǒng)視頻會(huì)議時(shí)不會(huì)獲得會(huì)議能力的全部益處。音頻與會(huì)者不能看見(jiàn)會(huì)議的其它與會(huì)者或數(shù)據(jù)顯示，而視頻與會(huì)者甚至不一定知道音頻與會(huì)者的存在。后一問(wèn)題的解決有時(shí)是通過(guò)顯示音頻與會(huì)者的圖標(biāo)代替視頻圖像中的畫(huà)面以指示音頻與會(huì)者的存在。但是，這很少或不提供有關(guān)與會(huì)者本身的信息。

發(fā)明內(nèi)容
本發(fā)明的目的就是提供一種裝置和一種方法，使常規(guī)視頻會(huì)議中的音頻與會(huì)者可以獲得提高的會(huì)議性能。
所附獨(dú)立權(quán)利要求中定義的特征表征該裝置和方法。
具體地說(shuō)，本發(fā)明公開(kāi)了一種MMS引擎，其調(diào)節(jié)為將MMS能力采用到視頻會(huì)議中，該視頻會(huì)議包括與各個(gè)視頻會(huì)議端點(diǎn)相關(guān)聯(lián)的一個(gè)或多個(gè)視頻與會(huì)者，以及與各個(gè)MMS裝置相關(guān)聯(lián)的一個(gè)或多個(gè)音頻與會(huì)者。MMS引擎包括捕獲部件，其配置為從來(lái)源于一個(gè)或多個(gè)視頻會(huì)議端點(diǎn)的數(shù)據(jù)源捕獲視頻會(huì)議數(shù)據(jù)；轉(zhuǎn)換部件，配置為將所述視頻會(huì)議數(shù)據(jù)轉(zhuǎn)換成適當(dāng)?shù)母袷剑幌a(chǎn)生部件，配置為將所述轉(zhuǎn)換的視頻會(huì)議數(shù)據(jù)附加到消息上，并在所述消息中插入與各個(gè)MMS裝置相關(guān)聯(lián)的地址；以及傳輸部件，配置為根據(jù)所述插入的地址傳輸所述消息。為了在相反方向傳輸多媒體數(shù)據(jù)，MMS引擎包括MMS接收部件，其配置為接收來(lái)自各個(gè)MMS裝置的MMS消息，并分離所附加的多媒體數(shù)據(jù)；轉(zhuǎn)換部件，配置為將所述多媒體數(shù)據(jù)轉(zhuǎn)換成與視頻會(huì)議兼容的格式；以及傳輸部件，配置為將所述轉(zhuǎn)換的多媒體數(shù)據(jù)提供到各個(gè)視頻會(huì)議端點(diǎn)。
本發(fā)明還包括與MMS引擎范圍相對(duì)應(yīng)的方法。
附加圖說(shuō)明為了使本發(fā)明更易于理解，以下討論將參閱附圖

圖1示出MMS消息的格式；圖2示出常規(guī)MMS體系結(jié)構(gòu)；圖3示出連接到部分常規(guī)MMS體系結(jié)構(gòu)的視頻會(huì)議體系結(jié)構(gòu)；圖4示出根據(jù)本發(fā)明優(yōu)選實(shí)施例的MMS引擎。
具體實(shí)施例方式
在下文，通過(guò)說(shuō)明優(yōu)選實(shí)施例并通過(guò)參閱附圖來(lái)討論本發(fā)明。但業(yè)界技術(shù)人員將認(rèn)識(shí)到如所附獨(dú)立權(quán)利要求定義的本發(fā)明范圍內(nèi)的其它應(yīng)用和改動(dòng)。
本發(fā)明利用音頻與會(huì)者所連接的通信系統(tǒng)的能力，來(lái)提高混合會(huì)議中所有與會(huì)者的性能。在數(shù)字通信網(wǎng)絡(luò)中有許多多媒體功能部件。一個(gè)實(shí)例就是由第三代合作伙伴項(xiàng)目(3GPP)所標(biāo)準(zhǔn)化的多媒體消息系統(tǒng)(MMS)。
MMS已從SMS消息系統(tǒng)的普及中演進(jìn)了，并正在使用無(wú)線應(yīng)用協(xié)議(WAP)。WAP是允許移動(dòng)裝置通過(guò)移動(dòng)無(wú)線電通信網(wǎng)絡(luò)與因特網(wǎng)服務(wù)器通信的協(xié)議。由于移動(dòng)裝置上的顯示器(通常為150×150像素)比計(jì)算機(jī)監(jiān)控顯示器(通常至少為640×480像素)小得多，因此要在計(jì)算機(jī)監(jiān)視器上顯示的網(wǎng)站不能在具有任何實(shí)用性的移動(dòng)裝置上顯示。而且，移動(dòng)裝置具有比個(gè)人計(jì)算機(jī)小得多的處理能力。
于是，開(kāi)發(fā)了WAP，以允許移動(dòng)裝置訪問(wèn)設(shè)計(jì)為在移動(dòng)裝置上顯示的特殊因特網(wǎng)網(wǎng)站，并在移動(dòng)裝置和因特網(wǎng)之間提供接口。但是MMS是用于發(fā)送和接收多媒體消息的標(biāo)準(zhǔn)。多媒體消息可包括格式化的文本、圖像，照片、音頻和視頻剪輯的任何組合。圖像可以是任何標(biāo)準(zhǔn)格式，例如GIF和JPEG。MMS也支持視頻格式例如MPEG4和音頻格式例如MP3和MIDI。
圖1示出MMS消息的典型格式。MMS消息包括標(biāo)題1。標(biāo)題1提供路由信息以及MMS消息的接收人和發(fā)送人地址。消息體包括多媒體消息，它又可包括圖像，其可以是JPEG、格式化的或純文本形式；音頻，其可以是波文件形式；視頻，其可以是MPEG文件形式，還可選包括向多媒體消息接收人顯示多媒體內(nèi)容的顯示文件。
圖2示出傳統(tǒng)的對(duì)等MMS路由中MMS業(yè)務(wù)路由序列的說(shuō)明。移動(dòng)裝置的用戶有一條MMS消息，該用戶想發(fā)送給另一移動(dòng)裝置。移動(dòng)裝置通過(guò)PLMN X將MMS消息發(fā)送到MMS服務(wù)器。MMS服務(wù)器使用SMTP和電子郵件地址通過(guò)因特網(wǎng)路由這些消息。由于由移動(dòng)裝置發(fā)送的消息被尋址到接收人的MSISDN號(hào)碼，因此MMS服務(wù)器必須確定接收人的MMS服務(wù)器地址，以便將多媒體消息路由到接收人的MMS服務(wù)器。如果MMS服務(wù)器能夠由接收人的MSISDN號(hào)碼識(shí)別接收人的移動(dòng)裝置的MMS服務(wù)器，則使用SMTP和接收人的MMS服務(wù)器的電子郵件地址，將多媒體消息通過(guò)因特網(wǎng)路由到接收人的MMS服務(wù)器。MMS服務(wù)器然后發(fā)送一個(gè)多媒體消息通知給推送(Push)訪問(wèn)協(xié)議(PAP)服務(wù)器。PAP服務(wù)器是一個(gè)推送網(wǎng)關(guān)，用于使用WAP論壇標(biāo)準(zhǔn)將消息推送到移動(dòng)裝置。PAP服務(wù)器通過(guò)第二個(gè)公用陸地移動(dòng)通信網(wǎng)Y(PLMN Y)發(fā)送一個(gè)通知到移動(dòng)裝置。接收人的移動(dòng)裝置通過(guò)PLMN Y從MMS服務(wù)器拉(pull)MMS消息。響應(yīng)于移動(dòng)裝置的拉，MMS服務(wù)器通過(guò)PLMN Y將多媒體消息路由到接收人的移動(dòng)裝置。多媒體消息在移動(dòng)裝置中被接收，在此它可以被呈現(xiàn)、播放或顯示給移動(dòng)裝置的用戶。
本發(fā)明的基礎(chǔ)是利用MMS系統(tǒng)的體系結(jié)構(gòu)和多媒體能力，以便改進(jìn)視頻會(huì)議中音頻與會(huì)者的性能和益處。圖3示出一個(gè)優(yōu)選實(shí)施例。和圖2的體系結(jié)構(gòu)相比，與對(duì)等關(guān)系之一相關(guān)聯(lián)的左側(cè)MMS體系結(jié)構(gòu)用視頻會(huì)議系統(tǒng)來(lái)代替。該系統(tǒng)包括第一組多個(gè)端點(diǎn)(EP)，具有相關(guān)聯(lián)的第一MCU1，連接到局域網(wǎng)(LAN)，局域網(wǎng)又連接到網(wǎng)絡(luò)服務(wù)器，網(wǎng)絡(luò)服務(wù)器是一個(gè)嵌入式網(wǎng)關(guān)，補(bǔ)充有MMS引擎。具有相關(guān)聯(lián)的第二MCU2的第二組多個(gè)EP也通過(guò)ISDN線和網(wǎng)絡(luò)服務(wù)器通信。
EP、MCU和網(wǎng)關(guān)在視頻會(huì)議系統(tǒng)中像常規(guī)視頻會(huì)議節(jié)點(diǎn)一樣工作。EP捕獲多媒體數(shù)據(jù)、對(duì)數(shù)據(jù)編碼、并將其轉(zhuǎn)發(fā)，以在MCU中作進(jìn)一步處理。在MCU中的處理即提供視頻混合，并準(zhǔn)備編碼的多媒體數(shù)據(jù)信號(hào)，該信號(hào)被發(fā)送到每個(gè)與會(huì)的EP，與會(huì)的EP又解碼多媒體數(shù)據(jù)信號(hào)，并將其呈現(xiàn)給各個(gè)用戶。網(wǎng)關(guān)在用不同協(xié)議工作的EP和MCU之間提供通信。網(wǎng)關(guān)最重要的任務(wù)是將專用于在ISDN上傳輸?shù)亩嗝襟w數(shù)據(jù)轉(zhuǎn)換成專用于IP傳輸?shù)亩嗝襟w數(shù)據(jù)。網(wǎng)關(guān)按照慣例用于將LAN連接到外部ISDN連線，使企業(yè)EP能與外部EP通信。
在本發(fā)明的優(yōu)選實(shí)施例中，網(wǎng)關(guān)結(jié)合在網(wǎng)絡(luò)服務(wù)器中，還包括有MMS引擎，以提供視頻會(huì)議中音頻與會(huì)者提高的性能。從以下說(shuō)明中顯然可見(jiàn)，因?yàn)镸MS引擎和網(wǎng)關(guān)有一些類(lèi)似的特性，它們都安裝在同一節(jié)點(diǎn)內(nèi)。舉例來(lái)說(shuō)，MMS引擎和網(wǎng)關(guān)都提供協(xié)議轉(zhuǎn)換，并且它們都適當(dāng)?shù)胤胖迷诒镜睾凸猛ㄐ啪W(wǎng)絡(luò)之間的邊界上。
MMS引擎提供視頻會(huì)議內(nèi)容到常規(guī)MMS的轉(zhuǎn)換，常規(guī)的MMS將被傳輸?shù)绞褂美缯{(diào)節(jié)為接收MMS消息的蜂窩電話的一個(gè)或多個(gè)音頻與會(huì)者。相反，MMS引擎也提供從一個(gè)或多個(gè)音頻與會(huì)者接收的MMS內(nèi)容轉(zhuǎn)換到適用于音頻與會(huì)者參與的視頻會(huì)議的格式。
圖4示出MMS引擎的一個(gè)實(shí)施例。在數(shù)據(jù)總線的左側(cè)，除控制器和處理器外，還示出幾個(gè)臨時(shí)I/O存儲(chǔ)器，分別與常規(guī)視頻會(huì)議格式的媒體數(shù)據(jù)相關(guān)聯(lián)。在數(shù)據(jù)總線的右側(cè)，除MMS消息I/O存儲(chǔ)器外，還示出幾個(gè)臨時(shí)I/O存儲(chǔ)器，每個(gè)都與典型MMS消息格式中的相應(yīng)字段相關(guān)聯(lián)。
現(xiàn)在集中說(shuō)明首先提到的轉(zhuǎn)換方向，考慮視頻會(huì)議當(dāng)前正在觀看所捕獲的從EP1傳輸?shù)剿衅渌c會(huì)者的視頻畫(huà)面。編碼的視頻畫(huà)面經(jīng)由MCU1并通過(guò)IP網(wǎng)絡(luò)路由到網(wǎng)絡(luò)服務(wù)器。在網(wǎng)絡(luò)服務(wù)器中，編碼的視頻畫(huà)面被解碼，提供常規(guī)視頻會(huì)議格式的視頻畫(huà)面，如QCIF、CIF或4CIF。
MMS引擎配置為在某個(gè)預(yù)定義的時(shí)間間隔，或在特定事件時(shí)，捕獲視頻畫(huà)面的快照，即在構(gòu)成視頻畫(huà)面的靜止圖像流中選擇一個(gè)圖像。這是在連續(xù)存儲(chǔ)在臨時(shí)存儲(chǔ)器或在視頻I/O存儲(chǔ)器中或在MMS引擎的數(shù)據(jù)I/O存儲(chǔ)器中的圖像中實(shí)現(xiàn)的，其內(nèi)容在快照捕獲的實(shí)際時(shí)間取出，并通過(guò)數(shù)據(jù)總線轉(zhuǎn)發(fā)到處理器。取出的實(shí)際時(shí)間由控制器控制。處理器確定圖像的原始格式，并根據(jù)預(yù)先存儲(chǔ)的算法將內(nèi)容轉(zhuǎn)換成JPEG格式。轉(zhuǎn)換還可包括定標(biāo)畫(huà)面，由此將尺寸調(diào)節(jié)到小屏幕?？刂破髟賹PEG圖像傳送到JPEG存儲(chǔ)器，并當(dāng)?shù)搅藢MS傳輸?shù)揭粋€(gè)或多個(gè)音頻與會(huì)者的時(shí)間時(shí)，由處理器根據(jù)圖1所示格式創(chuàng)建MMS，其內(nèi)容由控制器決定。將MMS接收人的地址插入到MMS標(biāo)題中，并在將完整的MMS放入MMS I/O存儲(chǔ)器中時(shí)，以JPEG格式的具有來(lái)自EP1快照的MMS就準(zhǔn)備傳輸?shù)脚c接收人相關(guān)聯(lián)的MMS服務(wù)器。
插入MMS標(biāo)題中的地址是電子郵件地址，使用SMTP以常規(guī)方式將MMS路由到MMS服務(wù)器，且MMS內(nèi)容從MMS服務(wù)器被拉到接收人。在會(huì)議開(kāi)辦時(shí)，或當(dāng)具有MMS能力的新音頻與會(huì)者加入正在進(jìn)行的會(huì)議時(shí)，與會(huì)的音頻與會(huì)者的MMS電子郵件地址必須存儲(chǔ)在地址存儲(chǔ)器中。
注意，快照不限于包括來(lái)自一個(gè)單個(gè)與會(huì)者的內(nèi)容，但也可包括所謂的CP畫(huà)面(連續(xù)顯示)，其是來(lái)自幾個(gè)與會(huì)者的畫(huà)面混合。還要注意，附加在MMS消息上的圖像不限于某一格式或靜止畫(huà)面，但也可以是例如MPEG格式的視頻序列。視頻序列可以直接從視頻I/O存儲(chǔ)器中取出，或通過(guò)取出和合并靜止畫(huà)面而產(chǎn)生。
現(xiàn)轉(zhuǎn)向MMS流的相反方向，考慮視頻會(huì)議當(dāng)前正在觀看包括除CP接收人外的所有與會(huì)者的視頻畫(huà)面的連續(xù)顯示(CP)視圖，以及由視頻會(huì)議中唯一音頻與會(huì)者捕獲的定期更新的靜止畫(huà)面。該音頻與會(huì)者配有具有MMS能力的蜂窩電話和攝像機(jī)。當(dāng)音頻與會(huì)者進(jìn)入會(huì)議時(shí)，向其提供與會(huì)議和/或網(wǎng)絡(luò)服務(wù)器相關(guān)聯(lián)的電子郵件地址。電子郵件地址可以作為MMS(例如，作為包括有在相反方向傳輸?shù)囊曨l會(huì)議數(shù)據(jù)的第一MMS的傳輸?shù)刂坊颉胺祷芈窂健?從網(wǎng)絡(luò)服務(wù)器傳輸，并可供手動(dòng)使用，或可自動(dòng)插入到蜂窩電話的存儲(chǔ)器中，供在會(huì)議期間隨后使用。電子郵件地址/或其它數(shù)據(jù)也可在呼叫建立期間利用專有信令協(xié)議在網(wǎng)絡(luò)服務(wù)器和蜂窩電話/MMS服務(wù)器之間進(jìn)行交換。
當(dāng)建立從蜂窩電話到會(huì)議的呼叫時(shí)，由與蜂窩電話相關(guān)聯(lián)的攝像機(jī)捕獲畫(huà)面，且該畫(huà)面被插入到尋址到會(huì)議的MMS消息中。然后利用STMP將MMS消息經(jīng)由MMS服務(wù)器通過(guò)因特網(wǎng)傳輸?shù)骄W(wǎng)絡(luò)服務(wù)器。在接收MMS時(shí)，通過(guò)研究電子郵件地址，或通過(guò)研究在MMS標(biāo)題中找到的發(fā)送人地址，來(lái)提供會(huì)議ID。MMS插入到MMS I/O存儲(chǔ)器中，且控制器啟動(dòng)處理器，以分離消息中包含的不同媒體元素，并將它們插入到各個(gè)的存儲(chǔ)器中。JPEG存儲(chǔ)器中駐留的JPEG畫(huà)面然后被轉(zhuǎn)換成會(huì)議的CP視圖所用的適當(dāng)格式，并被插入到視頻或數(shù)據(jù)I/O存儲(chǔ)器中。畫(huà)面從存儲(chǔ)器中被取出，然后被編碼，并根據(jù)早先提供的會(huì)議ID被傳輸?shù)組CU，混合會(huì)議的CP視圖。MCU然后將蜂窩電話原來(lái)捕獲的靜止畫(huà)面連同五個(gè)其它視頻畫(huà)面一起插入在第六CP字段中。轉(zhuǎn)換的備選方案可以是，將從MMS消息分離的多媒體數(shù)據(jù)直接傳輸?shù)組CU或視頻會(huì)議端點(diǎn)。這將要求接收人是IP可尋址的，用于例如推出多媒體數(shù)據(jù)。
如果在整個(gè)會(huì)議期間由同一靜止畫(huà)面來(lái)觀看音頻與會(huì)者，重復(fù)使用較早接收的畫(huà)面會(huì)很方便，可以減少傳輸時(shí)間和成本。為此，可將從已在連接到端點(diǎn)或管理工具的目錄中注冊(cè)的某一音頻與會(huì)者接收的畫(huà)面連同有關(guān)該與會(huì)者的其它信息一起存儲(chǔ)在目錄中。當(dāng)音頻與會(huì)者以后參加包括具有該目錄的視頻會(huì)議裝置的會(huì)議時(shí)，就可將對(duì)應(yīng)的畫(huà)面取出，并用于觀看該音頻與會(huì)者，而不必重新傳輸該畫(huà)面。
本發(fā)明的上述實(shí)施例代表了和網(wǎng)關(guān)一起實(shí)現(xiàn)的或結(jié)合在網(wǎng)關(guān)內(nèi)的MMS引擎。但是，MMS引擎不一定必須連接到網(wǎng)關(guān)，而是也可以是單獨(dú)的裝置，或結(jié)合到其它視頻會(huì)議節(jié)點(diǎn)中，例如MCU中，或端點(diǎn)中。它也可以是與視頻會(huì)議系統(tǒng)相關(guān)聯(lián)的管理工具的一部分。在任何情況下，MMS引擎，或它所結(jié)合或連接到的節(jié)點(diǎn)，根據(jù)網(wǎng)際協(xié)議必須是可尋址的。而且，本說(shuō)明還集中在在視頻會(huì)議和具有多媒體能力的一個(gè)或多個(gè)音頻與會(huì)者之間捕獲和傳輸靜止畫(huà)面。但多媒體內(nèi)容不限于靜止畫(huà)面，而是也可包括視頻、文本和/或音頻，在這種情況下，在轉(zhuǎn)換時(shí)多媒體內(nèi)容被分配在MMS引擎中的各個(gè)存儲(chǔ)器中。
本發(fā)明還包括一個(gè)方面，其中利用電子郵件將多媒體數(shù)據(jù)傳送到有MMS能力的音頻與會(huì)者。在MMS引擎中，多媒體數(shù)據(jù)在此情況下在轉(zhuǎn)換后附加在常規(guī)電子郵件上，通過(guò)MMS服務(wù)器傳輸?shù)組MS裝置。MMS服務(wù)器和裝置如何處理電子郵件取決于操作員，但是眾所周知的事實(shí)是，將電子郵件傳輸?shù)組MS裝置是允許的，用phonenumber@domain尋址電子郵件。MMS裝置將接收電子郵件作為MMS消息，其中電子郵件文本和附件都插在MMS條目中。
如上所述，可在預(yù)定義時(shí)間點(diǎn)或在某些事件時(shí)捕獲并傳送快照或其它多媒體內(nèi)容。一方面，這種事件發(fā)生在當(dāng)發(fā)起本快照的源畫(huà)面(視頻或靜止畫(huà)面)的內(nèi)容中檢測(cè)到有相當(dāng)大的改變時(shí)。檢測(cè)可以在例如圖3所示的網(wǎng)絡(luò)服務(wù)器中進(jìn)行。根據(jù)本發(fā)明這方面的一個(gè)實(shí)施例，以前傳輸?shù)目煺沾鎯?chǔ)在網(wǎng)絡(luò)服務(wù)器中，并將快照連續(xù)地與源畫(huà)面進(jìn)行比較。該比較可以逐個(gè)象素的方式進(jìn)行，或者對(duì)與快照相關(guān)聯(lián)的一個(gè)或多個(gè)值和與源畫(huà)面相關(guān)聯(lián)的一個(gè)或多個(gè)對(duì)應(yīng)值進(jìn)行比較。當(dāng)這些值之間的差大于預(yù)定義閾值時(shí)，就啟動(dòng)將新快照傳輸?shù)揭粋€(gè)或多個(gè)音頻與會(huì)者。這意味著，圖4的控制器能夠通過(guò)數(shù)據(jù)總線從視頻或數(shù)據(jù)I/O存儲(chǔ)器中讀出到處理器，處理器又將快照從目前的格式轉(zhuǎn)換成JPEG，然后將JPEG圖像插入到JPEG存儲(chǔ)器中。
能夠觸發(fā)新快照傳輸?shù)囊粋€(gè)事件是在顯示中的頁(yè)面移動(dòng)。另一實(shí)例是在語(yǔ)音交換在進(jìn)行，而拍攝現(xiàn)場(chǎng)在移動(dòng)時(shí)。由于會(huì)議中的主視頻畫(huà)面以及新快照傳輸將被啟動(dòng)，因此就會(huì)出現(xiàn)完全不同的圖像。
對(duì)由事件啟動(dòng)的快照(或其它多媒體數(shù)據(jù))的備選是，捕獲新快照也可定期被傳輸，在呼叫建立時(shí)捕獲第一快照。多媒體數(shù)據(jù)在相反方向的傳輸，即從音頻與會(huì)者到視頻會(huì)議，可以相應(yīng)地啟動(dòng)，但判定機(jī)制可能是在MMS裝置或在MMS或蜂窩網(wǎng)絡(luò)體系結(jié)構(gòu)中的其它地方實(shí)現(xiàn)。如果在MMS裝置中實(shí)現(xiàn)判定機(jī)制，必須安裝某些專有軟件。
還有其它原因要在蜂窩電話中安裝特制軟件，給它提供用于參加常規(guī)視頻會(huì)議的增強(qiáng)的可能性。為了提高音頻與會(huì)者的性能和益處，實(shí)現(xiàn)本發(fā)明的增強(qiáng)MMS特征應(yīng)是盡可能直觀和少費(fèi)力的。如果用戶在會(huì)議期間必須手動(dòng)傳輸和接收畫(huà)面，則這種參與就很不方便。所以，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，MMS裝置配置有軟件，使其既能發(fā)送又能接收有關(guān)快照捕獲、傳輸和接收的信令消息，或者此外還可合并在不同時(shí)間點(diǎn)接收的內(nèi)容，以在顯示來(lái)自會(huì)議的多媒體數(shù)據(jù)方面提供連續(xù)性。軟件調(diào)節(jié)為接收和存儲(chǔ)網(wǎng)絡(luò)服務(wù)器/會(huì)議的電子郵件地址，并自動(dòng)取出該地址，且在將多媒體數(shù)據(jù)傳輸?shù)綍?huì)議時(shí)將該地址插入到MMS標(biāo)題中。軟件優(yōu)選安裝為Java-腳本，因?yàn)檫@是為小裝置提供特制特征的靈活工具。此外，大部分蜂窩電話和移動(dòng)裝置目前都配有Java技術(shù)。
優(yōu)選的是，在視頻會(huì)議側(cè)的快照捕獲也應(yīng)能從音頻與會(huì)者處手動(dòng)或自動(dòng)遙控啟動(dòng)。在本發(fā)明的優(yōu)選實(shí)施例中，安裝在蜂窩電話中的軟件因此配置為能夠產(chǎn)生并向網(wǎng)絡(luò)服務(wù)器發(fā)送快照捕獲的請(qǐng)求。作為響應(yīng)，MMS引擎從I/O存儲(chǔ)器之一中捕獲快照(或其它多媒體數(shù)據(jù))，將其轉(zhuǎn)換成適當(dāng)格式，并將快照返回到音頻與會(huì)者的MMS裝置上。
在一些情況下，在MMS裝置中在不同時(shí)間接收的多媒體內(nèi)容可以從內(nèi)容合并在一起而受益，從而提供從視頻會(huì)議經(jīng)由MMS傳輸?shù)臄?shù)據(jù)的連續(xù)性。例如，實(shí)時(shí)視頻顯示可以從來(lái)自MMS引擎的分離MMS消息中連續(xù)傳輸?shù)脑S多快照或視頻片斷來(lái)創(chuàng)建。在此情況下軟件也配置為連續(xù)接收和存儲(chǔ)輸入的多媒體數(shù)據(jù)，并將其呈現(xiàn)在MMS裝置的屏幕上，使其看起來(lái)是連續(xù)的視頻流。
但是，實(shí)時(shí)視頻顯示意味著傳輸大的和/或許多的MMS消息，且可能會(huì)要求相當(dāng)大的帶寬一直到音頻與會(huì)者。但帶寬要求可以降低，不是將視頻會(huì)議畫(huà)面轉(zhuǎn)換成MMS引擎中的JPEG格式，而是根據(jù)標(biāo)準(zhǔn)或?qū)Ｓ芯幋a技術(shù)來(lái)編碼畫(huà)面，并將各編碼畫(huà)面插入到MMS消息中的一個(gè)條目中，作為通用附件。在這種情況下，蜂窩電話中的軟件也必須配置為能夠根據(jù)MMS引擎所用的編碼技術(shù)來(lái)解碼MMS消息中的附件。
上述蜂窩電話中軟件的任務(wù)會(huì)要求MMS裝置和MMS引擎之間的一些信令和協(xié)商(negotiation)。這種信息的交換可插入在正在傳輸?shù)腗MS消息的文本或顯示字段中(臨時(shí)在MMS引擎中的文本或顯示存儲(chǔ)器中)，創(chuàng)建一個(gè)虛擬的分離的信令信道。該信息可包括快照請(qǐng)求、啟動(dòng)快照捕獲的事件類(lèi)型以及同步信息。
本發(fā)明的實(shí)施例在上述說(shuō)明中是作為在常規(guī)視頻會(huì)議中集成有MMS能力的MMS引擎出現(xiàn)的。但本發(fā)明的基本思想也可以綜合方法實(shí)施。該方法包括在一個(gè)方向捕獲視頻會(huì)議數(shù)據(jù)，例如一個(gè)或多個(gè)與會(huì)者的視頻畫(huà)面的快照或CP畫(huà)面，將數(shù)據(jù)轉(zhuǎn)換成適當(dāng)?shù)母袷?，并將轉(zhuǎn)換的數(shù)據(jù)作為附件插入在MMS消息中。MMS消息從IP可尋址裝置經(jīng)由MMS基礎(chǔ)設(shè)施傳輸?shù)揭粋€(gè)或多個(gè)有MMS能力的音頻與會(huì)者。音頻與會(huì)者取出附加在MMS消息上的視頻會(huì)議數(shù)據(jù)，并呈現(xiàn)該數(shù)據(jù)，作為音頻與會(huì)者參與的會(huì)議的一部分。
在相反方向，音頻與會(huì)者捕獲某種多媒體數(shù)據(jù)，一般是靜止畫(huà)面，或呈現(xiàn)音頻與會(huì)者的一些其它數(shù)據(jù)，并將該多媒體數(shù)據(jù)插入到MMS消息中。MMS消息被尋址，并被傳輸?shù)竭B接到視頻會(huì)議系統(tǒng)的IP可尋址節(jié)點(diǎn)。然后將附件從MMS消息中取出，并轉(zhuǎn)換成適當(dāng)?shù)囊曨l會(huì)議格式。轉(zhuǎn)換的多媒體數(shù)據(jù)然后被編碼，并傳輸?shù)揭粋€(gè)或多個(gè)常規(guī)視頻會(huì)議與會(huì)者，可選地隨后將其與來(lái)自其它與會(huì)者的數(shù)據(jù)混合。
權(quán)利要求
1.一種專用于將MMS能力采用到視頻會(huì)議中的MMS引擎，所述視頻會(huì)議包括與各個(gè)視頻會(huì)議端點(diǎn)相關(guān)聯(lián)的一個(gè)或多個(gè)視頻與會(huì)者以及與各個(gè)MMS裝置相關(guān)聯(lián)的一個(gè)或多個(gè)音頻與會(huì)者，其特征在于捕獲部件，配置為從來(lái)源于一個(gè)或多個(gè)視頻會(huì)議端點(diǎn)和/或MCU的數(shù)據(jù)源捕獲視頻會(huì)議數(shù)據(jù)，轉(zhuǎn)換部件，配置為將所述視頻會(huì)議數(shù)據(jù)轉(zhuǎn)換成可附加在MMS上的格式，消息產(chǎn)生部件，配置為將所述轉(zhuǎn)換的視頻會(huì)議數(shù)據(jù)附加在MMS消息上，并在所述MMS消息中插入與各個(gè)MMS裝置相關(guān)的地址，傳輸部件，配置為根據(jù)所述插入的地址傳輸所述MMS消息，控制器，調(diào)節(jié)為定期和/或在一個(gè)或多個(gè)預(yù)定義事件時(shí)啟動(dòng)所述捕獲、轉(zhuǎn)換、消息產(chǎn)生和傳輸部件。
2.如權(quán)利要求1所述的MMS引擎，其特征在于所述事件之一發(fā)生在所述視頻源改變時(shí)，或在之前捕獲的視頻會(huì)議數(shù)據(jù)和從所述數(shù)據(jù)源產(chǎn)生的內(nèi)容之間的差大于預(yù)定義閾值時(shí)。
3.如權(quán)利要求1所述的MMS引擎，其特征在于所述事件之一發(fā)生在從各個(gè)MMS裝置接收視頻會(huì)議數(shù)據(jù)更新請(qǐng)求時(shí)。
4.如權(quán)利要求1所述的MMS引擎，其特征在于所述事件之一發(fā)生在視頻或音頻與會(huì)者離開(kāi)或進(jìn)入所述視頻會(huì)議時(shí)。
5.如上述權(quán)利要求中任一項(xiàng)所述的MMS引擎，其特征在于所述視頻會(huì)議數(shù)據(jù)插入在所述MMS消息的對(duì)應(yīng)MMS條目中，并且所述地址是與所述各個(gè)MMS裝置相關(guān)聯(lián)的MMS服務(wù)器的地址。
6.如上述權(quán)利要求中任一項(xiàng)所述的MMS引擎，其特征在于所述視頻會(huì)議數(shù)據(jù)是快照。
7.如權(quán)利要求1-5所述的MMS引擎，其特征在于所述視頻會(huì)議數(shù)據(jù)是視頻序列。
8.如權(quán)利要求6或7所述的MMS引擎，其特征在于所述視頻會(huì)議數(shù)據(jù)合并在各個(gè)MMS裝置中，創(chuàng)建實(shí)時(shí)視頻。
9.如上述權(quán)利要求中任一項(xiàng)所述的MMS引擎，其特征在于所述MMS引擎結(jié)合在或連接到網(wǎng)關(guān)、MCU或端點(diǎn)上。
10.一種專用于將MMS能力采用到視頻會(huì)議中的MMS引擎，所述視頻會(huì)議包括與各個(gè)視頻會(huì)議端點(diǎn)相關(guān)聯(lián)的一個(gè)或多個(gè)視頻與會(huì)者以及與各個(gè)MMS裝置相關(guān)聯(lián)的一個(gè)或多個(gè)音頻與會(huì)者，其特征在于MMS接收部件，配置為接收來(lái)自各個(gè)MMS裝置的MMS消息，并分離所附加的多媒體數(shù)據(jù)，轉(zhuǎn)換部件，配置為將所述多媒體數(shù)據(jù)轉(zhuǎn)換成與所述視頻會(huì)議兼容的格式，傳輸部件，配置為向所述各個(gè)視頻會(huì)議端點(diǎn)提供所述轉(zhuǎn)換的多媒體數(shù)據(jù)，控制器，調(diào)節(jié)為定期和/或在一個(gè)或多個(gè)預(yù)定義事件時(shí)啟動(dòng)所述轉(zhuǎn)換和傳輸部件。
11.如權(quán)利要求10所述的MMS引擎，其特征在于所述MMS接收部件還配置為通過(guò)研究所述MMS消息中包含的發(fā)送人或接收人地址，來(lái)確定所述MMS消息與所述視頻會(huì)議相關(guān)聯(lián)，從所述MMS消息中找出所述視頻會(huì)議的會(huì)議ID，并且所述傳輸部件還配置為根據(jù)所述會(huì)議ID將轉(zhuǎn)換的多媒體數(shù)據(jù)傳輸?shù)剿鲆曨l會(huì)議端點(diǎn)。
12.如權(quán)利要求10或11所述的MMS引擎，其特征在于所述視頻會(huì)議涉及MCU，所述轉(zhuǎn)換的多媒體數(shù)據(jù)在到達(dá)所述各個(gè)視頻會(huì)議端點(diǎn)之前通過(guò)所述MCU傳輸。
13.如權(quán)利要求10-12中任一項(xiàng)所述的MMS引擎，其特征在于所述事件之一發(fā)生在之前接收的多媒體數(shù)據(jù)和在所述MMS裝置中產(chǎn)生的對(duì)應(yīng)多媒體數(shù)據(jù)之間的差大于預(yù)定義閾值時(shí)。
14.如權(quán)利要求10-12中任一項(xiàng)所述的MMS引擎，其特征在于所述事件之一發(fā)生在一個(gè)或多個(gè)視頻或音頻與會(huì)者離開(kāi)或進(jìn)入所述視頻會(huì)議時(shí)。
15.如權(quán)利要求10-14中任一項(xiàng)所述的MMS引擎，其特征在于所述多媒體數(shù)據(jù)是存儲(chǔ)在所述MMS裝置中的圖像，或由連接到或集成在所述MMS裝置中的攝像機(jī)捕獲的圖像。
16.如權(quán)利要求10-14中任一項(xiàng)所述的MMS引擎，其特征在于所述多媒體數(shù)據(jù)是視頻序列。
17.如權(quán)利要求15或16所述的MMS引擎，其特征在于合并轉(zhuǎn)換的多媒體數(shù)據(jù)，創(chuàng)建實(shí)時(shí)視頻。
18.如權(quán)利要求10-17中任一項(xiàng)所述的MMS引擎，其特征在于所述轉(zhuǎn)換的多媒體數(shù)據(jù)被作為與所述視頻會(huì)議相關(guān)聯(lián)的任何其它多媒體流來(lái)處理。
19.如權(quán)利要求10-18中任一項(xiàng)所述的MMS引擎，其特征在于所述MMS引擎結(jié)合在或連接到網(wǎng)關(guān)、MCU或端點(diǎn)上。
20.一種將MMS能力采用到視頻會(huì)議中的方法，所述視頻會(huì)議包括與各個(gè)視頻會(huì)議端點(diǎn)相關(guān)聯(lián)的一個(gè)或多個(gè)視頻與會(huì)者以及與各個(gè)MMS裝置相關(guān)聯(lián)的一個(gè)或多個(gè)音頻與會(huì)者，其特征在于以下步驟從來(lái)源于一個(gè)或多個(gè)視頻會(huì)議端點(diǎn)或MCU的數(shù)據(jù)源捕獲視頻會(huì)議數(shù)據(jù)；將所述視頻會(huì)議數(shù)據(jù)轉(zhuǎn)換成可附加在MMS上的格式；將所述轉(zhuǎn)換的視頻會(huì)議數(shù)據(jù)附加在MMS消息上；在所述MMS消息中插入與各個(gè)MMS裝置相關(guān)聯(lián)的地址；根據(jù)所述插入的地址傳輸所述MMS消息；定期和/或在一個(gè)或多個(gè)預(yù)定義事件時(shí)啟動(dòng)所述捕獲、轉(zhuǎn)換、附加、插入和傳輸步驟。
21.如權(quán)利要求20所述的方法，其特征在于所述視頻會(huì)議數(shù)據(jù)插入在所述MMS消息中的對(duì)應(yīng)MMS條目中，并且所述地址是與所述各個(gè)MMS裝置相關(guān)聯(lián)的MMS服務(wù)器的地址。
22.如權(quán)利要求20或21所述的方法，其特征在于所述視頻會(huì)議數(shù)據(jù)是快照。
23.如權(quán)利要求20或21所述的方法，其特征在于所述視頻會(huì)議數(shù)據(jù)是視頻序列。
24.如權(quán)利要求20-23中任一項(xiàng)所述的方法，其特征在于以下附加步驟合并在所述各個(gè)MMS裝置中連續(xù)接收的視頻會(huì)議數(shù)據(jù)，創(chuàng)建實(shí)時(shí)視頻。
25.一種將MMS能力采用到視頻會(huì)議中的方法，所述視頻會(huì)議包括與各個(gè)視頻會(huì)議端點(diǎn)相關(guān)聯(lián)的一個(gè)或多個(gè)視頻與會(huì)者以及與各個(gè)MMS裝置相關(guān)聯(lián)的一個(gè)或多個(gè)音頻與會(huì)者，其特征在于接收來(lái)自各個(gè)MMS裝置的MMS消息；分離附加到所述各個(gè)MMS裝置的多媒體數(shù)據(jù)；將所述多媒體數(shù)據(jù)轉(zhuǎn)換成與所述視頻會(huì)議兼容的格式；將所述轉(zhuǎn)換的多媒體數(shù)據(jù)提供到所述各個(gè)視頻會(huì)議端點(diǎn)；定期和/或在一個(gè)或多個(gè)預(yù)定義事件時(shí)啟動(dòng)所述轉(zhuǎn)換和傳輸步驟。
26.如權(quán)利要求25所述的方法，其特征在于以下附加步驟研究所述MMS消息中包含的發(fā)送人或接收人地址，從所述MMS消息中找出所述視頻會(huì)議的會(huì)議ID；根據(jù)所述會(huì)議ID將轉(zhuǎn)換的多媒體數(shù)據(jù)提供到所述視頻會(huì)議端點(diǎn)。
27.如權(quán)利要求25或26所述的方法，其特征在于所述多媒體數(shù)據(jù)是存儲(chǔ)在所述MMS裝置中的圖像，或由連接到或集成在所述MMS裝置中的攝像機(jī)捕獲的圖像。
28.如權(quán)利要求25或26所述的方法，其特征在于所述多媒體數(shù)據(jù)是視頻序列。
29.如權(quán)利要求25-28中任一項(xiàng)所述的方法，其特征在于以下附加步驟合并所述轉(zhuǎn)換的多媒體數(shù)據(jù)，用以創(chuàng)建實(shí)時(shí)視頻。
30.如權(quán)利要求25-29中任一項(xiàng)所述的方法，其特征在于以下附加步驟像與所述視頻會(huì)議相關(guān)聯(lián)的任何其它多媒體流一樣處理所述轉(zhuǎn)換的多媒體數(shù)據(jù)。
全文摘要
本發(fā)明涉及視頻會(huì)議和多媒體消息傳送，并利用音頻與會(huì)者所連接的通信系統(tǒng)的能力，來(lái)提高混合會(huì)議中所有與會(huì)者的性能。在優(yōu)選實(shí)施例中，音頻與會(huì)者配有MMS裝置，且MMS引擎定期或在特定事件時(shí)捕獲附在MMS消息上并尋址到MMS裝置的視頻會(huì)議數(shù)據(jù)。在相反方向，MMS裝置通過(guò)將多媒體數(shù)據(jù)附在MMS消息上，而將多媒體數(shù)據(jù)提供給常規(guī)視頻會(huì)議與會(huì)者，其中MMS消息發(fā)送到IP可尋址MMS引擎上。MMS引擎分離多媒體數(shù)據(jù)，并將其轉(zhuǎn)換成與視頻會(huì)議兼容的格式。然后將轉(zhuǎn)換的多媒體數(shù)據(jù)提供給視頻會(huì)議與會(huì)者，并像視頻會(huì)議中包括的任何其它多媒體流一樣處理。
文檔編號(hào)H04Q7/22GK1871855SQ200480031324
公開(kāi)日2006年11月29日 申請(qǐng)日期2004年10月22日 優(yōu)先權(quán)日2003年10月24日
發(fā)明者S·克耶斯布, E·克里斯滕森 申請(qǐng)人:坦德伯格電信公司