Mcu堆疊中的視頻布局及處理的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及多點(diǎn)會(huì)議技術(shù)，并且更具體地涉及在通過(guò)堆疊兩個(gè)或更多個(gè)多點(diǎn)控制 單元（MCU)進(jìn)行的會(huì)議中的視頻布局。
【背景技術(shù)】
[0002] 公司和組織越來(lái)越多地使用音頻/視頻會(huì)議技術(shù)和多點(diǎn)會(huì)議技術(shù)來(lái)提高組織內(nèi) 的通信和效率。大型組織在組織各處分布大量的多媒體終端。通常，一個(gè)或多個(gè)多點(diǎn)控制 單元（MCU)為這些端點(diǎn)的內(nèi)部多點(diǎn)多媒體會(huì)議技術(shù)的需要而服務(wù)。
[0003] 多媒體端點(diǎn)是一種聯(lián)網(wǎng)的終端，其能夠提供與其他終端或MCU (例如，Polycom? VSX8000)的實(shí)時(shí)雙向視聽通信。端點(diǎn)還可以包括MCU。MCU是位于網(wǎng)絡(luò)節(jié)點(diǎn)處或在終端中的 會(huì)議控制實(shí)體，并可以經(jīng)由訪問(wèn)端口接收來(lái)自端點(diǎn)的多個(gè)媒體信道。根據(jù)特定標(biāo)準(zhǔn)，MCU處 理視聽和數(shù)據(jù)信號(hào)，并將所處理的信號(hào)分發(fā)到所連接的信道。端點(diǎn)和MCU的更詳細(xì)的說(shuō)明 可以在國(guó)際電信聯(lián)盟（"ITU"）標(biāo)準(zhǔn)中找到，所述標(biāo)準(zhǔn)例如但不限于Η. 320、H. 324和H. 323 標(biāo)準(zhǔn)。
[0004] 幾種技術(shù)已被用于改善多點(diǎn)通信系統(tǒng)的使用和效率。這些技術(shù)中的一些通過(guò)使 得能進(jìn)行無(wú)預(yù)約呼叫、臨時(shí)呼叫（ad-hoc call)、虛擬會(huì)議室等而改善了建立通信會(huì)話的過(guò) 程。這些技術(shù)的一些在美國(guó)專利號(hào)7, 085, 243、7, 310, 320和7, 830, 824中公開，其各自通 過(guò)引用并入本文。
[0005] 其他技術(shù)通過(guò)供應(yīng)監(jiān)測(cè)和控制多個(gè)MCU的Web服務(wù)器來(lái)改善對(duì)多點(diǎn)通信網(wǎng)絡(luò)的 控制。使用快速更新的web控制技術(shù)的示例公開在美國(guó)專利號(hào)6, 760, 750中，其通過(guò)引用 而并入本文。已經(jīng)公開了附加的技術(shù)，以用于利用一個(gè)或多個(gè)MCU的資源、以用于級(jí)聯(lián)一 個(gè)或多個(gè)MCU、并且一般以用于改善一個(gè)或多個(gè)MCU的資源使用。例如，參見(jiàn)美國(guó)專利號(hào) 8, 542, 266、7, 800, 642、7, 492, 730、7, 174, 365、7, 113, 992和美國(guó)專利公開號(hào) 2012-0236111 A1，其各自通過(guò)引用并入本文。
[0006] 參考圖1，MCU 116 -般具有有限的硬件和/或軟件資源，例如，MCU 116可能只 具有對(duì)來(lái)自一定數(shù)目的端點(diǎn)114的視頻信號(hào)進(jìn)行編碼/解碼的能力。當(dāng)MCU 116可能具 有有限的處理能力（硬件或軟件）以支持視頻信號(hào)的編碼或解碼時(shí)，就可能會(huì)發(fā)生這種情 況。在另一個(gè)示例中，MCU 116可以具有有限數(shù)量的視頻輸入端口。在每種情況下，使用級(jí) 聯(lián)MCU(116a、116b)的級(jí)聯(lián)會(huì)議可用于克服資源限制。
[0007] 在級(jí)聯(lián)會(huì)議中，會(huì)議參與者可以被劃分成兩個(gè)或更多個(gè)網(wǎng)絡(luò)中的兩組或更多個(gè) 組，并且每一個(gè)與不同的MCU 116相關(guān)聯(lián)，并且其中一個(gè)MCU 116被指定為會(huì)議主MCU 116a(MMCU)，而另一個(gè)MCU 116被指定為會(huì)議從MCU 116b(SMCU)。這種技術(shù)還可以在位于 不同站點(diǎn)的參與者之間的會(huì)議中使用，每個(gè)站點(diǎn)具有其自己的MCU 116，每個(gè)參與者可以使 用他自己的本地MCU 116,并且整個(gè)會(huì)議可以通過(guò)級(jí)聯(lián)不同的本地MCU 116進(jìn)行。
[0008] 圖1是多點(diǎn)會(huì)議技術(shù)通信系統(tǒng)100的框圖。例如，系統(tǒng)100可以由具有多個(gè)區(qū)域網(wǎng) 絡(luò)110的公司或由具有多個(gè)區(qū)域網(wǎng)絡(luò)110的全球會(huì)議技術(shù)服務(wù)提供商使用。區(qū)域網(wǎng)絡(luò)110 可以對(duì)應(yīng)于單獨(dú)的會(huì)議技術(shù)站點(diǎn)，并可以經(jīng)由分組交換網(wǎng)絡(luò)120和/或電路交換網(wǎng)絡(luò)130 彼此通信。雖然區(qū)域網(wǎng)絡(luò)110可以對(duì)應(yīng)于特定的基于分組的網(wǎng)絡(luò)段或域，但是這不是必須 的，并且區(qū)域網(wǎng)絡(luò)110可以跨越多個(gè)網(wǎng)絡(luò)段或域。每個(gè)區(qū)域網(wǎng)絡(luò)110可具有多個(gè)多媒體端 點(diǎn)114和一個(gè)或多個(gè)本地或特定于站點(diǎn)的MCU 116。
[0009] -個(gè)或多個(gè)控制服務(wù)器112(CS)可以用于每個(gè)區(qū)域網(wǎng)絡(luò)110中。在每個(gè)區(qū)域網(wǎng)絡(luò) 110內(nèi)，本地端點(diǎn)114的每個(gè)可以經(jīng)由分組交換網(wǎng)絡(luò)和/或電路交換網(wǎng)絡(luò)與其相關(guān)聯(lián)的本地 MCU 116進(jìn)行通信（未示出）。在通信系統(tǒng)100的一個(gè)示例中，控制服務(wù)器112是Web服務(wù) 器，其可以通過(guò)網(wǎng)絡(luò)120使用互聯(lián)網(wǎng)協(xié)議（IP)與每個(gè)本地MCU 116進(jìn)行通信。與MCU 116 的通信可以經(jīng)由應(yīng)用程序接口（API)模塊（未示出）來(lái)完成，所述應(yīng)用程序接口模塊可以 是MCU 116的一部分?？刂品?wù)器112可以是用于執(zhí)行多站點(diǎn)會(huì)議的級(jí)聯(lián)的專用服務(wù)器， 但也可被嵌入在MCU 116中，或者可以包括共享單個(gè)Web服務(wù)器的應(yīng)用。例如，如在上文并 入的專利和專利申請(qǐng)參考中所公開的，單個(gè)Web服務(wù)器可以執(zhí)行附加的會(huì)議技術(shù)應(yīng)用，并 可以用于管理連接、呼叫、虛擬會(huì)議室、監(jiān)測(cè)和控制MCU 116等。
[0010] 在一個(gè)替代示例中，除了與MCU 116進(jìn)行通信外，控制服務(wù)器112可以與管理服務(wù) 器（未示出）進(jìn)行通信（例如，公司或全球服務(wù)提供商的服務(wù)器）。管理服務(wù)器可以包括潛 在端點(diǎn)用戶的管理數(shù)據(jù)庫(kù)（未示出），所述潛在端點(diǎn)用戶諸如是公司員工或全球服務(wù)提供 商的客戶。管理數(shù)據(jù)庫(kù)可以包括諸如姓名、不同類型的地址（例如電子郵件、電話等）、ID 號(hào)（例如員工ID號(hào)、客戶賬單號(hào)或客戶ID號(hào)）、認(rèn)證號(hào)碼和會(huì)議室號(hào)之類的信息。在另一 個(gè)實(shí)施例中，控制服務(wù)器112和/或MCU 116可以包括管理服務(wù)器。
[0011] 根據(jù)正在進(jìn)行的會(huì)議的類型，組織相關(guān)聯(lián)的會(huì)議的視頻。一種會(huì)議類型被稱為視 頻切換會(huì)議，其中每個(gè)與會(huì)者看到一個(gè)所選擇的參與者（視頻的一個(gè)端點(diǎn)114的源）。會(huì)議 期間，所選擇的參與者可以保持不變，或者可以根據(jù)會(huì)議的動(dòng)態(tài)而改變。例如，當(dāng)前活躍的 發(fā)言者可作為會(huì)議視頻而向所有的參與者（即在所有端點(diǎn)114處）示出。一旦活躍發(fā)言者 改變，則可示出一個(gè)新的活躍發(fā)言者。
[0012] 另一種會(huì)議類型是連續(xù)呈現(xiàn)會(huì)議（CP)，其中貫穿會(huì)議，來(lái)自一個(gè)或多個(gè)所選擇的 端點(diǎn)114的視頻可以被連續(xù)地示出。在連續(xù)呈現(xiàn)級(jí)聯(lián)會(huì)議中，SMCU 116b可以根據(jù)SMCU 116b相關(guān)聯(lián)的會(huì)議布局，將來(lái)自其相關(guān)聯(lián)區(qū)域網(wǎng)絡(luò)110的所選參與者的視頻信號(hào)構(gòu)成連續(xù) 呈現(xiàn)視頻。相關(guān)聯(lián)的會(huì)議的混合音頻和視頻以類似于單個(gè)參與者的視頻和音頻的方式被傳 遞到MMCU 116a。一個(gè)常見(jiàn)的連續(xù)呈現(xiàn)過(guò)程涉及縮放來(lái)自各種源用戶終端的視頻數(shù)據(jù)來(lái)改 變幀分辨率，以便在以后將其并入到連續(xù)呈現(xiàn)布局和視頻混合中。
[0013] MMCU 116a可以將從一個(gè)或多個(gè)SMCU 116b接收的音頻和視頻和來(lái)自與MMCU 116a相關(guān)聯(lián)的參與者組的所選參與者的音頻和視頻相混合。其結(jié)果是級(jí)聯(lián)會(huì)議的所混合的 音頻和視頻。然后MMCU 116a可以將級(jí)聯(lián)會(huì)議的所混合的音頻和視頻遞送到與它自已相關(guān) 聯(lián)的端點(diǎn)114a中的每一個(gè)，并且遞送到所連接的一個(gè)或多個(gè)SMCU 116b。一個(gè)或多個(gè)SMCU 116b中的每一個(gè)可將級(jí)聯(lián)會(huì)議的所混合的音頻和視頻分發(fā)到與其相關(guān)聯(lián)的端點(diǎn)114b。
[0014] 管理級(jí)聯(lián)會(huì)議的一個(gè)挑戰(zhàn)是，每個(gè)MCU 116 (MMCU 116a和SMCU 116b)從與其相關(guān) 聯(lián)的組選擇要被混合和顯示的參與者（端點(diǎn)114)，而這與所選擇的參與者與其他相關(guān)聯(lián)組 中的參與者如何相關(guān)無(wú)關(guān)。另外，與MMCU 116a相關(guān)聯(lián)的參與者的圖像的尺寸往往不同于 與SMCU 116b相關(guān)聯(lián)的參與者的圖像。
[0015] 如圖2所示，連續(xù)呈現(xiàn)布局200被用作是在與MMCU 116a相關(guān)聯(lián)的四個(gè)端點(diǎn) 114al-114a4和與SMCU 116b相關(guān)聯(lián)的四個(gè)端點(diǎn)114bl-114b4之間的會(huì)議的布局。參與者 AM、BM、CM和DM可分別與端點(diǎn)114al-114a4相關(guān)聯(lián)，而參與者AS、BS、CS和DS可分別與端 點(diǎn)114bl-114b4相關(guān)聯(lián)。最活躍的發(fā)言者可以是參與者AM、BM、DM和AS，并且期望從在2x2 的連續(xù)呈現(xiàn)布局中的最活躍的參與者中選擇和示出視頻。然而，在級(jí)聯(lián)會(huì)議中，來(lái)自SMCU 116b的視頻被當(dāng)做是來(lái)自任何其他端點(diǎn)114a的視頻。布局200示出了來(lái)自SMCU 116b (AS、 BS、CS和DS)的所構(gòu)成的視頻如何取代在級(jí)聯(lián)布局中的單個(gè)參與者的圖塊位置。其結(jié)果是， 與SMCU 116b相關(guān)聯(lián)的參與者的每一個(gè)都得到了一個(gè)更小的屏幕區(qū)域（例如，在2X2布局 中通常向參與者指派四分之一的空間）。
[0016] -種校正與MMCU 116a相關(guān)聯(lián)的參與者的圖像尺寸相比于與SMCU116b相關(guān)聯(lián)的 參與者的圖像尺寸的差別的方式是，通過(guò)迫使SMCU 116b使用視頻切換布局并遞送單個(gè)所 選參與者的視頻。單個(gè)所選參與者的圖像被放置在級(jí)聯(lián)會(huì)議的布局中。布局220圖示了迫 使SMCU 116b工作在切換模式