專利名稱：一種多流流媒體直播互動系統(tǒng)及直播互動方法
技術領域：
本發(fā)明涉及一種網(wǎng)絡信息傳輸技術領域的系統(tǒng)與方法，尤其是涉及一種多流流媒體直播互動系統(tǒng)及直播互動方法。
背景技術：
視頻監(jiān)控、網(wǎng)絡直播等網(wǎng)絡多媒體應用已經(jīng)成為當前互聯(lián)網(wǎng)上最重要的應用之一。特別是在智能移動終端和WIFI、3G無線網(wǎng)絡普及的大背景下，用戶通過智能移動終端設備在任何有網(wǎng)絡的地方觀看流媒體服務將會使得用戶獲取相關資訊、在線學習和娛樂變得更加實用便捷。如現(xiàn)有的手機電視業(yè)務是近年來全球關注的一個熱點。
現(xiàn)有的移動流媒體服務，主要有移動視頻點播和移動直播兩大類。用戶可以通過移動點播服務觀看電影、娛樂等相關影視視頻資訊；移動直播的業(yè)務，如手機電視等，也有較好的應用，如重要足球賽事的移動直播等。上述兩種較為流行的移動流媒體業(yè)務，只支持基于語音和視頻的二路媒體子流應用。在實際的諸多應用場景下，僅支持語音和視頻的傳統(tǒng)二路流媒體應用不能滿足實際應用場景的需求。如在實時的教學場景下，除了支持直播老師的語音，視頻信息外，還需要支持老師所講解的課程內容，即老師授課時的桌面圖像；在諸多的學術會議或其他相關的會議、論壇中，也有諸多類似的支持三路流以上的多流流媒體應用需求?；谥С侄嗔髁髅襟w傳輸?shù)倪@一思路，中國專利申請?zhí)?01010510111. 9，記載了一種“基于HTTP協(xié)議的多子流流媒體傳輸系統(tǒng)及其傳輸方法”。該方法提出了用HTTP協(xié)議進行多流流媒體傳輸?shù)膬?yōu)點。而基于多流流媒體的移動直播系統(tǒng)與互動方法中的傳輸服務方法不局限于采用HTTP協(xié)議進行實時傳輸，如基于RTP的流媒體服務等，實時性會較好，在網(wǎng)絡帶寬不斷發(fā)展的背景下，穩(wěn)定性也將會得到保證。甚至也可也采自定義的，更加適合多流流媒體傳輸?shù)姆諄韺崿F(xiàn)，同時實現(xiàn)實時互動的功能需要用比較適合的其他通信協(xié)議，如即時通信協(xié)議等。進一步搜索發(fā)現(xiàn)，中國專利申請?zhí)?00710074144. 1，記載了 “一種手機直播的方法”，但該方法僅實現(xiàn)了支持一個視頻流的手機直播。在大尺寸手持設備日趨流行的今天，移動辦公、移動教學的場景需求下，移動直播對辦公人員、老師等提供了更加靈活的工作環(huán)境，即信息源端支持PC端的多流流媒體信息采集與發(fā)送的同時，也支持手持設備的多流流媒體信息的采集與發(fā)送。接收端不僅支持現(xiàn)有流行的二路流多媒體業(yè)務，同時支持二路流以上的多流流媒體業(yè)務，而且接收端同時支持桌面應用和移動應用，為多流流媒體業(yè)務提供了更多的應用場景和方便。

發(fā)明內容
本發(fā)明的目的就是為了克服上述現(xiàn)有技術存在的缺陷而提供一種可支持三個以上的多流流媒體直播，同時具有實時互動功能的多流流媒體直播互動系統(tǒng)及直播互動方法。
本發(fā)明的目的可以通過以下技術方案來實現(xiàn)一種多流流媒體直播互動系統(tǒng)，包括發(fā)送多流流媒體數(shù)據(jù)及收發(fā)互動信息的發(fā)布端模塊、用于支持多流流媒體直播的直播服務模塊、用于支持實時互動的互動服務模塊、用于頻道信息管理的管理服務模塊和用戶觀看直播及收發(fā)互動信息的客戶端模塊，所述的發(fā)布端模塊和客戶端模塊均分別連接管理服務模塊、直播服務模塊和互動服務模塊，所述的發(fā)布端模塊由管理服務模塊中獲取頻道相關屬性信息并將多流流媒體數(shù)據(jù)發(fā)送到直播服務模塊，所述的客戶端模塊從直播服務模塊中獲取多流流媒體數(shù)據(jù)進行解碼同步播放，所述的發(fā)布端模塊和客戶端模塊通過互動服務模塊收發(fā)互動信息。所述的多流流媒體數(shù)據(jù)是指包含兩個及以上媒體通道的實時媒體數(shù)據(jù)源進行壓縮編碼后形成的數(shù)據(jù)，包括從麥克風采集后壓縮形成的音頻流、從攝像頭獲取后壓縮形成的視頻流和從PC或手持設備的屏幕獲取的屏幕圖像流。所述的發(fā)布端模塊的載體包括具有網(wǎng)絡功能的PC電腦，蘋果機或具有WIFI或3G 帶寬以上無線網(wǎng)絡功能的手持設備。所述的直播服務模塊中設有與頻道相對應的緩沖池，所述的緩沖池由多個與媒體通道相對應的緩沖區(qū)組成，所述的頻道指一個特定的直播場景的符號表示，如可以用全球唯一標識符GUID來標識一個特定的頻道，直播場景包括現(xiàn)場課堂，現(xiàn)場會議或論壇等。所述的直播服務模塊獲取從發(fā)布端模塊發(fā)送過來的多流流媒體數(shù)據(jù)，同時接收客戶端模塊的用戶觀看請求，并提供給客戶相應的多流流媒體數(shù)據(jù)。所述的互動服務模塊支持發(fā)布端模塊和客戶端模塊通過文本或語音的方式進行實時互動，所述的實時互動包括提問、投票和在線練習。所述的管理服務模塊中存儲有發(fā)布端模塊的相關信息和頻道相關屬性信息，所述的發(fā)布端模塊的相關信息包括用戶名和密碼，所述的頻道相關屬性信息包括互動服務模塊地址、直播服務模塊地址、頻道狀態(tài)信息和每個媒體通道的編碼參數(shù)。所述的客戶端模塊的載體包括移動智能終端。一種多流流媒體直播互動方法，包括發(fā)布端模塊的數(shù)據(jù)交換和客戶端模塊的數(shù)據(jù)交換，所述的發(fā)布端模塊的數(shù)據(jù)交換具體包括以下步驟101)發(fā)布端模塊登錄管理服務模塊，獲取直播頻道相關屬性信息；102)發(fā)布端模塊連接到直播服務模塊中的一個特定頻道，將管理服務模塊中該頻道的頻道狀態(tài)信息設為直播狀態(tài)；103)發(fā)布端模塊采集多個媒體通道的數(shù)據(jù)源；104)對每個媒體通道的數(shù)據(jù)源按對應的壓縮編碼標準和編碼參數(shù)進行壓縮形成多流流媒體數(shù)據(jù)，并通過網(wǎng)絡按照媒體通道和時間信息對將每個媒體通道的數(shù)據(jù)流按先進先出的隊列規(guī)則放入對應的緩沖區(qū)中，轉至步驟102)；所述的客戶端模塊的數(shù)據(jù)交換具體包括以下步驟201)客戶端模塊通過登錄管理服務模塊，獲取直播頻道相關屬性信息；202)客戶端模塊連接到直播服務模塊中的一個特定頻道，同時登錄到該頻道對應的交互服務模塊，與發(fā)布端模塊進行互動；203)客戶端模塊由直播服務模塊的緩沖區(qū)中按先進先出規(guī)則獲取多流流媒體數(shù)據(jù)；204)客戶端模塊對每個媒體通道的數(shù)據(jù)流進行解碼；205)客戶端模塊對解碼后形成的數(shù)據(jù)進行同步控制后對每個媒體通道分別進行渲染并播放。與現(xiàn)有技術相比，本發(fā)明既可以支持傳統(tǒng)的音視頻二路子流的直播，發(fā)布端模塊和客戶端模塊同時支持多尺寸智能移動終端設備，同時，本發(fā)明也可以廣泛應用于三個以上的多流流媒體直播中，滿足了很多場景下傳統(tǒng)二路流媒體應用所不能滿足的需求，如實時課堂、實時會議、實時論壇中。本發(fā)明所支持的實時互動功能是一般流媒體直播應用中單向的流傳輸功能所不具備的。


圖I是本發(fā)明的結構示意圖；圖2是發(fā)布端模塊數(shù)據(jù)交換的流程圖；圖3是本發(fā)明客戶端模塊數(shù)據(jù)交換的流程4是本發(fā)明實施例I的應用示意圖；圖5是實施例I的結構示意圖；圖6是實施例2的結構示意圖。
具體實施例方式下面結合附圖和具體實施例對本發(fā)明進行詳細說明。實施例I如圖I、圖4所示，一種多流流媒體直播互動系統(tǒng)，包括發(fā)送多流流媒體數(shù)據(jù)及收發(fā)互動信息的發(fā)布端模塊I、用于支持多流流媒體直播的直播服務模塊2、用于支持實時互動的互動服務模塊3、用于頻道信息管理的管理服務模塊4和用戶觀看直播及收發(fā)互動信息的客戶端模塊5，所述的發(fā)布端模塊I和客戶端模塊5均分別連接管理服務模塊4、直播服務模塊2和互動服務模塊3，所述的發(fā)布端模塊I由管理服務模塊4中獲取頻道相關屬性信息并將多流流媒體數(shù)據(jù)發(fā)送到直播服務模塊2，所述的客戶端模塊5從直播服務模塊2中獲取多流流媒體數(shù)據(jù)進行解碼同步播放，所述的發(fā)布端模塊I和客戶端模塊5通過互動服務模塊3收發(fā)互動信息。多流流媒體數(shù)據(jù)是指包含兩個及以上媒體通道的實時媒體數(shù)據(jù)源進行壓縮編碼后形成的數(shù)據(jù)，包括從麥克風采集后壓縮形成的音頻流、從攝像頭獲取后壓縮形成的視頻流和從PC或手持設備的屏幕獲取的屏幕圖像流。發(fā)布端模塊I的載體包括具有網(wǎng)絡功能的PC電腦、手機或具有WIFI或3G帶寬以上無線網(wǎng)絡功能的手持設備。本實施例中的發(fā)布端模塊I為教師端，分別采集三個媒體通道屏幕通道、視頻通道、音頻通道。所述的直播服務模塊2中設有與頻道相對應的緩沖池，所述的緩沖池由多個與媒體通道相對應的緩沖區(qū)組成，所述的頻道指一個特定的直播場景的符號表示，如可以用全球唯一標識符GUID來標識一個特定的頻道，直播場景包括現(xiàn)場課堂，現(xiàn)場會議或論壇等。所述的直播服務模塊2獲取從發(fā)布端模塊I發(fā)送過來的多流流媒體數(shù)據(jù)，同時接收客戶端模塊5的用戶觀看請求，并提供給客戶相應的多流流媒體數(shù)據(jù)。所述的互動服務模塊3遵循通用的即時通信聊天協(xié)議XMPP標準，采用定制的OpenFire服務器，支持發(fā)布端模塊5和客戶端模塊I通過文本或語音的方式進行實時互動，所述的實時互動包括提問、投票和在線練習。所述的管理服務模塊4為一個管理頻道信息的web service,存儲有發(fā)布端模塊I的相關信息和頻道相關屬性信息，所述的發(fā)布端模塊I的相關信息包括用戶名和密碼，所述的頻道相關屬性信息包括互動服務模塊地址、直播服務模塊地址、頻道狀態(tài)信息和每個媒體通道的編碼參數(shù)。所述的客戶端模塊5的載體包括傳統(tǒng)桌面或多種平臺的移動智能終端，如各大廠商生產(chǎn)的智能手機和大尺寸平板電腦等。本實施例中的戶端模塊為學生端?？蛻舳四K根據(jù)頻道號從直播服務模塊中找到對應的緩沖池，請開始從緩沖池中按先進先出的策略獲取數(shù)據(jù)，將獲得的多流流媒體數(shù)據(jù)分別進行解碼后，進行同步控制后對每個媒體通道進行渲 染。如圖2、圖3、圖5所示，一種多流流媒體直播互動方法，包括發(fā)布端模塊的數(shù)據(jù)交換和客戶端模塊的數(shù)據(jù)交換，在步驟S501中，發(fā)布端模塊I分別通過系統(tǒng)功能以一定時間分辨率或空間分辨率采集三個媒體通道的原始數(shù)據(jù)，并輔以記錄相關時間信息，以時間戳的形式。在步驟S502中，發(fā)布端模塊I將三個通道的原始數(shù)據(jù)壓縮后形成三路流的流媒體數(shù)據(jù)。在步驟s503中，發(fā)布端模塊I將從壓縮后的碼流通過網(wǎng)絡發(fā)送到直播服務模塊2，并在每個碼流中輔以記錄的時間戳信息。在步驟s504中，發(fā)布端模塊I獲取的多流流媒體數(shù)據(jù)，按照媒體通道和時間信息對每個媒體通道的數(shù)據(jù)流按先進先出的隊列規(guī)則放入對應的緩沖區(qū)中。如圖5所示，發(fā)布端模塊I將頻道N的音頻流、視頻流、屏幕流發(fā)到直播服務模塊2，直播服務模塊2對頻道N維護一個緩沖池，將接收到的多路子流分別放到緩沖池中對應的緩沖區(qū)中。每一個緩沖區(qū)只存放對應的媒體數(shù)據(jù)，且按照先進先出的隊列結構存放，可以采用循環(huán)隊列的方式來實現(xiàn)。在步驟s505中，客戶端模塊5根據(jù)頻道號從直播服務模塊2中找到對應的緩沖池，開始從緩沖池中按先進先出的策略獲取數(shù)據(jù)。在步驟s506中，客戶端模塊5將從直播服務模塊2獲取的多流流媒體數(shù)據(jù)按相關參數(shù)進行解碼后形成原始數(shù)據(jù)。在步驟s507中，客戶端模塊5對解碼后形成的數(shù)據(jù)進行同步控制后對每個通道分別進行渲染播放。實施例2如圖6所示，為一種根據(jù)本發(fā)明的可能的實施例。在此實施例中，流媒體傳輸部分由兩部分組成，多流流媒體接收子模塊和通用的WEB服務模塊，所述的多流流媒體接收子模塊即為直播服務模塊。多流流媒體接收子模塊將發(fā)布端發(fā)送的多流流媒體數(shù)據(jù)接收后，按頻道將這些數(shù)據(jù)保存成文件放在對應的文件夾中，每一路流按照先進先出的順序形成文件隊列。當客戶端模塊訪問某一個頻道時，通過HTTP協(xié)議訪問按頻道訪問特定目錄下的文件，并按照先進先出的順序獲取對應的流。所對應的步驟和實施 例I一致。
權利要求
1.一種多流流媒體直播互動系統(tǒng)，其特征在于，包括發(fā)送多流流媒體數(shù)據(jù)及收發(fā)互動信息的發(fā)布端模塊、用于支持多流流媒體直播的直播服務模塊、用于支持實時互動的互動服務模塊、用于頻道信息管理的管理服務模塊和用戶觀看直播及收發(fā)互動信息的客戶端模塊，所述的發(fā)布端模塊和客戶端模塊均分別連接管理服務模塊、直播服務模塊和互動服務模塊，所述的發(fā)布端模塊由管理服務模塊中獲取頻道相關屬性信息并將多流流媒體數(shù)據(jù)發(fā)送到直播服務模塊，所述的客戶端模塊從直播服務模塊 中獲取多流流媒體數(shù)據(jù)進行解碼同步播放，所述的發(fā)布端模塊和客戶端模塊通過互動服務模塊收發(fā)互動信息。
2.根據(jù)權利要求I所述的一種多流流媒體直播互動系統(tǒng)，其特征在于，所述的多流流媒體數(shù)據(jù)是指包含兩個及以上媒體通道的實時媒體數(shù)據(jù)源進行壓縮編碼后形成的數(shù)據(jù)，包括從麥克風采集后壓縮形成的音頻流、從攝像頭獲取后壓縮形成的視頻流和從PC或手持設備的屏幕獲取的屏幕圖像流。
3.根據(jù)權利要求2所述的一種多流流媒體直播互動系統(tǒng)，其特征在于，所述的直播服務模塊中設有與頻道相對應的緩沖池，所述的緩沖池由多個與媒體通道相對應的緩沖區(qū)組成。
4.根據(jù)權利要求I所述的一種多流流媒體直播互動系統(tǒng)，其特征在于，所述的互動服務模塊支持發(fā)布端模塊和客戶端模塊通過文本或語音的方式進行實時互動，所述的實時互動包括提問、投票和在線練習。
5.根據(jù)權利要求2所述的一種多流流媒體直播互動系統(tǒng)，其特征在于，所述的管理服務模塊中存儲有發(fā)布端模塊的相關信息和頻道相關屬性信息，所述的發(fā)布端模塊的相關信息包括用戶名和密碼，所述的頻道相關屬性信息包括互動服務模塊地址、直播服務模塊地址、頻道狀態(tài)信息和每個媒體通道的編碼參數(shù)。
6.—種如權利要求5所述的多流流媒體直播互動方法,其特征在于，包括發(fā)布端模塊的數(shù)據(jù)交換和客戶端模塊的數(shù)據(jù)交換， 所述的發(fā)布端模塊的數(shù)據(jù)交換具體包括以下步驟 101)發(fā)布端模塊登錄管理服務模塊，獲取直播頻道相關屬性信息； 102)發(fā)布端模塊連接到直播服務模塊中的一個特定頻道，將管理服務模塊中該頻道的頻道狀態(tài)信息設為直播狀態(tài)； 103)發(fā)布端模塊采集多個媒體通道的數(shù)據(jù)源； 104)對每個媒體通道的數(shù)據(jù)源按對應的壓縮編碼標準和編碼參數(shù)進行壓縮形成多流流媒體數(shù)據(jù)，并通過網(wǎng)絡按照媒體通道和時間信息對將每個媒體通道的數(shù)據(jù)流按先進先出的隊列規(guī)則放入對應的緩沖區(qū)中，轉至步驟102)； 所述的客戶端模塊的數(shù)據(jù)交換具體包括以下步驟 201)客戶端模塊通過登錄管理服務模塊，獲取直播頻道相關屬性信息； 202)客戶端模塊連接到直播服務模塊中的一個特定頻道，同時登錄到該頻道對應的交互服務模塊，與發(fā)布端模塊進行互動； 203)客戶端模塊由直播服務模塊的緩沖區(qū)中按先進先出規(guī)則獲取多流流媒體數(shù)據(jù)； 204)客戶端模塊對每個媒體通道的數(shù)據(jù)流進行解碼； 205)客戶端模塊對解碼后形成的數(shù)據(jù)進行同步控制后對每個媒體通道分別進行渲染并播放。
全文摘要
本發(fā)明涉及一種多流流媒體直播互動系統(tǒng)及直播互動方法，該系統(tǒng)包括發(fā)送多流流媒體數(shù)據(jù)及收發(fā)互動信息的發(fā)布端模塊、用于支持多流流媒體直播的直播服務模塊、用于支持實時互動的互動服務模塊、用于頻道信息管理的管理服務模塊和用戶觀看直播及收發(fā)互動信息的客戶端模塊，所述的發(fā)布端模塊和客戶端模塊均分別連接管理服務模塊、直播服務模塊和互動服務模塊。與現(xiàn)有技術相比，本發(fā)明具有可支持三個以上的多流流媒體直播、可實現(xiàn)實時互動等優(yōu)點。
文檔編號H04N21/238GK102752667SQ20121024782
公開日2012年10月24日 申請日期2012年7月17日 優(yōu)先權日2012年7月17日
發(fā)明者周文鋒, 徐禮爽, 曾垂鑫, 王加俊, 申瑞民 申請人:王加俊