專利名稱：一種基于拼接大屏幕的交互式協(xié)同系統(tǒng)及交互式協(xié)同方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于拼接大屏幕的交互式協(xié)同系統(tǒng)及交互式協(xié)同方法。
背景技術(shù)：
無論是在教育、科研領(lǐng)域還是企業(yè)工作環(huán)境下，為了能夠提高工作效率和質(zhì)量，用戶需要信息共享，需要協(xié)同工作環(huán)境的支持。從簡單的文本、視頻到3D繪制圖形，用戶渴望及時地交流大量的復雜信息，從而幫助他們在激烈的競爭環(huán)境中做出正確的分析和判斷。 在諸如軍警系統(tǒng)、航空航天系統(tǒng)、電力水利調(diào)度、應急指揮系統(tǒng)、金融、醫(yī)療、氣象乃至生物研究以及工業(yè)制造業(yè)等領(lǐng)域中海量信息的獲取、處理以及顯示都需要搭建高性能的存儲、 計算和顯示系統(tǒng)。多通道、高分辨率的拼接顯示系統(tǒng)通常能夠輔助本地的信息存儲、處理系統(tǒng)，向用戶呈現(xiàn)高精度的數(shù)據(jù)信息。清晰的輸出畫面和巨大的屏幕極大地拓寬了用戶的視野，使之能夠全面而準確地把握信息的核心。但用戶仍不能滿足于在大屏幕上只顯示本地的信息資源，他們還希望能夠同時遠程訪問異地的高性能系統(tǒng)。但是目前為止還沒有一種這樣的系統(tǒng)能夠滿足用戶的需求。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種即能顯示本地的信息資源同時還能遠程訪問異地高性能系統(tǒng)的基于拼接大屏幕的交互式協(xié)同系統(tǒng)。為了達到上述目的，本發(fā)明的一個技術(shù)方案是提供了一種基于拼接大屏幕的交互式協(xié)同系統(tǒng)，其特征在于，包括流服務器，用于捕獲異地高性能系統(tǒng)的多通道顯示輸出，并將捕獲的信號分別壓縮成多條像素流；流轉(zhuǎn)發(fā)服務器，該服務器位于流服務器的后端，用以收集來自各流服務器的像素流，根據(jù)同步時間戳將每一楨重新打包形成一條新的比特流，然后將其通過局域網(wǎng)或?qū)＞W(wǎng)轉(zhuǎn)發(fā)至客戶端系統(tǒng)；同時，流轉(zhuǎn)發(fā)服務器接受并處理來自客戶端系統(tǒng)的調(diào)整可視像素區(qū)域的消息，該消息描述當前客戶端系統(tǒng)所顯示的區(qū)域大小以及縮放比例，流轉(zhuǎn)發(fā)服務器以此消息來實時地調(diào)整前端流服務器的圖像處理過程，并向客戶端系統(tǒng)發(fā)送數(shù)據(jù)；流轉(zhuǎn)發(fā)服務器還通過接受客戶端系統(tǒng)的反饋信息動態(tài)地對前端流服務器的捕獲速率和壓縮質(zhì)量進行調(diào)控，負責轉(zhuǎn)發(fā)客戶端系統(tǒng)的交互命令至異地高性能系統(tǒng)；客戶端系統(tǒng)包括一臺大屏幕控制端和一套拼接大屏幕顯示系統(tǒng)，大屏幕控制端接收來自流轉(zhuǎn)發(fā)服務器的比特流；同時，大屏幕控制端向流轉(zhuǎn)發(fā)服務器發(fā)送調(diào)整可視像素區(qū)域的消息、反饋信息及交互命令。本發(fā)明的另一個技術(shù)方案是提供了一種基于上述系統(tǒng)的交互式協(xié)同方法，其特征在于，步驟為步驟1、一組流服務器捕獲異地高性能系統(tǒng)的多通道遠程顯示輸出的流媒體后將其分別壓縮成多條像素流；步驟2、流轉(zhuǎn)發(fā)服務器收集來自流服務器的壓縮數(shù)據(jù)，并同步得將數(shù)據(jù)每一幀重新打包形成一條新的比特流轉(zhuǎn)發(fā)至大屏幕控制端；步驟3、大屏幕控制端接收到流轉(zhuǎn)發(fā)服務器比特流數(shù)據(jù)后將比特流數(shù)據(jù)以圖像形式顯示在拼接大屏幕顯示系統(tǒng)上，若用戶在大屏幕控制端上輸入了交互指令，則大屏幕控制端通過流轉(zhuǎn)發(fā)服務器及流轉(zhuǎn)發(fā)服務器將該交互指令轉(zhuǎn)發(fā)至異地高性能系統(tǒng)，若大屏幕顯示系統(tǒng)的圖像顯示需要調(diào)整，則大屏幕控制端發(fā)送調(diào)整可視像素區(qū)域RVP消息回流轉(zhuǎn)發(fā)服務器，流轉(zhuǎn)發(fā)服務器接受該消息并處理，同時將處理完成結(jié)果反饋給流服務器進行優(yōu)化，如此往復，形成交互。本發(fā)明的優(yōu)點是系統(tǒng)中遠程繪制畫面的共享基于像素流，采用了多通道同步捕獲和異步編碼的操作，大幅度提高了服務端計算性能。依據(jù)按需的數(shù)據(jù)處理和傳輸方式降低了網(wǎng)絡帶寬的需求，客戶端的大屏幕能夠呈現(xiàn)給用戶更多的信息源。設(shè)計部署靈活的軟件系統(tǒng)，采用當前主流的主機硬件配置。本發(fā)明的另一個有益效果是為拼接大屏幕顯示系統(tǒng)直接采集流媒體信號提供了方法和依據(jù)。


圖1為本發(fā)明提供的一種基于拼接大屏幕的交互式協(xié)同系統(tǒng)的構(gòu)架；圖2為幀率對比圖；圖3為網(wǎng)絡占用率對比圖。
具體實施例方式以下結(jié)合實施例來具體說明本發(fā)明。實施例如圖1所示，為本發(fā)明提供的一種基于拼接大屏幕的交互式協(xié)同系統(tǒng)，系統(tǒng)是一種典型的C/S架構(gòu)部署，系統(tǒng)由服務端和客戶端組成，服務端由圖形繪制系統(tǒng)、流服務器、 流轉(zhuǎn)發(fā)服務器組成；客戶端由拼接大屏幕顯示系統(tǒng)、大屏幕控制服務器以及大屏幕控制客戶端組成。遠程多通道圖形繪制系統(tǒng)通常由一組集群機驅(qū)動，并且由一臺控制節(jié)點運行監(jiān)控程序，通過發(fā)送命令的方式對整個系統(tǒng)進行操控。具體的，本發(fā)明提供的系統(tǒng)包括流服務器，用于捕獲異地高性能系統(tǒng)的多通道顯示輸出，并將捕獲的信號分別壓縮成多條像素流；流轉(zhuǎn)發(fā)服務器，該服務器位于流服務器的后端，用以收集來自各流服務器的像素流，根據(jù)同步時間戳將每一楨重新打包形成一條新的比特流，然后將其通過局域網(wǎng)或?qū)＞W(wǎng)轉(zhuǎn)發(fā)至客戶端系統(tǒng)；同時，流轉(zhuǎn)發(fā)服務器接受并處理來自客戶端系統(tǒng)的調(diào)整可視像素區(qū)域的消息，該消息描述當前客戶端系統(tǒng)所顯示的區(qū)域大小以及縮放比例，流轉(zhuǎn)發(fā)服務器以此消息來實時地調(diào)整前端流服務器的圖像處理過程，并向客戶端系統(tǒng)發(fā)送數(shù)據(jù)；流轉(zhuǎn)發(fā)服務器還通過接受客戶端系統(tǒng)的反饋信息動態(tài)地對前端流服務器的捕獲速率和壓縮質(zhì)量進行調(diào)控，負責轉(zhuǎn)發(fā)客戶端系統(tǒng)的交互命令至異地高性能系統(tǒng)；客戶端系統(tǒng)包括一臺大屏幕控制端和一套拼接大屏幕顯示系統(tǒng)，大屏幕控制端接
43/4頁
收來自流轉(zhuǎn)發(fā)服務器的比特流；同時，大屏幕控制端向流轉(zhuǎn)發(fā)服務器發(fā)送調(diào)整可視像素區(qū)域的消息、反饋信息及交互命令。用戶通過所述大屏幕控制端的鼠標和鍵盤操作來發(fā)出交互命令，包括與遠程應用的交互以及大屏幕的布局管理，大屏幕控制端通過所述流轉(zhuǎn)發(fā)服務器及所述流服務器向所述異地高性能系統(tǒng)發(fā)送簡單的交互消息使異地高性能系統(tǒng)的顯示器與所述拼接大屏幕顯示系統(tǒng)的繪制行為保持一致，同時還能關(guān)閉預覽遠程內(nèi)容以減少不必要的解碼負擔。本發(fā)明還提供了一種基于上述系統(tǒng)的交互式協(xié)同方法，步驟為步驟1、異地高性能系統(tǒng)的多通道的遠程顯示輸出被一組流轉(zhuǎn)發(fā)服務器捕獲并分別壓縮成多條像素流，這些流媒體包括各種常見的圖像、視頻編碼器視頻、MPEG2、JPEG等， 服務器甚至可以直接捕獲未經(jīng)壓縮的像素流；步驟2、流服務器設(shè)計成支持硬件、軟件兩組捕獲方式。當采用硬件捕獲時，捕獲同步信號能夠由硬件觸發(fā)；采用軟件捕獲時本系統(tǒng)使用消息傳遞接口(Message Passing Interface)來觸發(fā)同步信號；流服務器除捕獲進行同步操作外其他如圖像分塊、重采樣、 壓縮以及數(shù)據(jù)傳輸過程都設(shè)計成異步進行；步驟3、流轉(zhuǎn)發(fā)服務器收集來自流服務器的壓縮數(shù)據(jù)，并同步將數(shù)據(jù)每一幀重新打包形成一條新的比特流轉(zhuǎn)發(fā)至客戶端；步驟4、客戶端由拼接大屏幕與其控制端組成，其承擔比特流的解碼以及大屏幕繪制系統(tǒng)任務，其同時可連接多個遠程圖形系統(tǒng)，大屏幕的控制端負責建立、維護和管理這些流媒體鏈接資源，通過專用的大屏幕拼接管理軟件，可實現(xiàn)多種顯示模式或?qū)懭肽Ｊ?，并對這些模式進行預存管理等?？刂贫伺c服務端任意疊加、方便、同步的顯示效果；客戶端接收到流轉(zhuǎn)發(fā)服務器比特流數(shù)據(jù)后，發(fā)送調(diào)整可視像素區(qū)域RVP(Regi0n of Visible Pixels)消息(該消息描述當前客戶端現(xiàn)實的區(qū)域大小、縮放比)回流轉(zhuǎn)發(fā)服務器，流轉(zhuǎn)發(fā)服務器接受該消息并處理，同時將處理完成結(jié)果反饋給流服務器進行優(yōu)化。如此往復，形成交互，流轉(zhuǎn)發(fā)服務器還負責轉(zhuǎn)發(fā)客戶的交互命令至交互服務器解析并執(zhí)行交互指令。因此，流轉(zhuǎn)發(fā)服務器在客戶端拼接大屏幕系統(tǒng)與流服務器端之間起到中介傳輸處理和交互的作用；達到用戶遠程控制和管理的交互功能；下面幾個步驟具體詳細說明本發(fā)明實現(xiàn)的幾個關(guān)鍵點(1)按需的圖像處理與數(shù)據(jù)傳輸實現(xiàn)在本地拼接大屏幕上其實只需要觀察局部或縮小的區(qū)域，客戶端發(fā)送RVP消息來改善服務器的運行效率，客戶端窗口的尺寸或者滾動條狀態(tài)的變化都會出發(fā)新的RVP消息；而流轉(zhuǎn)發(fā)服務器根據(jù)服務端內(nèi)部的配置自動分解RVP消息并要求相應的流服務器調(diào)整圖像處理過程；流轉(zhuǎn)發(fā)服務器根據(jù)RVP消息首先從捕獲圖像中裁剪出有效的區(qū)域，然后進行線性重采樣，最后執(zhí)行編碼操作，由于RVP中的縱橫縮放比例一般不超過1. 0，流轉(zhuǎn)發(fā)服務器會忽略放大原始圖像的請求，減少編碼開銷的同時不影響圖像精度；因此有效地提高了流服務器的輸出幀率，減少視頻流的網(wǎng)絡帶寬占用率；(2)多線程的軟件架構(gòu)實現(xiàn)拼接大屏幕控制服務器主要執(zhí)行網(wǎng)絡數(shù)據(jù)的接收、視頻解碼、大屏幕繪制等任務； 應用程序內(nèi)部包含了這三條主要的線程，線程之間通過信號或消息進行協(xié)同工作。以降低數(shù)據(jù)接收受到網(wǎng)絡帶寬和發(fā)送速率的影響，將解碼過程的CPU資源和繪制過程GPU資源分開；由圖4可見以大屏幕服務器程序為例說明了多線程工作模式的多線程工作流程；拼接大屏幕的控制客戶端除了同樣的三條線程外還包含窗口應用程序的消息響應線程；流服務器主要設(shè)計包含了視頻捕獲、圖像處理和數(shù)據(jù)發(fā)送線程；轉(zhuǎn)發(fā)服務器主要設(shè)計包含了數(shù)據(jù)接收、轉(zhuǎn)發(fā)線程、客戶端命令接受、處理線程等。(3)自適應的速率控制與系統(tǒng)性能優(yōu)化設(shè)計流服務器與流轉(zhuǎn)發(fā)服務器根據(jù)客戶端請求自動調(diào)節(jié)視頻處理速度，在客戶端沒有足夠CPU空閑時間或者網(wǎng)絡帶寬來處理高幀率實時畫面時它們將請求服務端適當降低發(fā)送幀率；反之，在客戶端空閑或者帶寬充足時請求適當提高幀率；流服務器內(nèi)部采用自適應的性能優(yōu)化機制來協(xié)調(diào)捕獲線程與編碼線程的執(zhí)行效率；設(shè)計了類似“生產(chǎn)者一消費者”的形式共享一個圖像緩存隊列以提升流服務器的處理效率，其具體工作實施如下根據(jù)圖像緩存隊列的滿溢程度以及當前CPU的占用率，流服務器動態(tài)提高或降低線程的執(zhí)行速度，避免緩存溢出而導致丟幀；在一組協(xié)同工作的流服務器中，主節(jié)點將定期地監(jiān)控其他子節(jié)點運行情況，動態(tài)地作出調(diào)整；設(shè)計的流服務器的運行速度不會超過客戶端指定的最大值。下面給出本發(fā)明的一組測試數(shù)據(jù)幀率是衡量交互性能的主要指標，網(wǎng)絡帶寬是衡量系統(tǒng)伸縮性的重要指標。我們圍繞這兩個指標進行了測試，測試系統(tǒng)分別采用JPEG和MPEG2編碼器并使用了 Intel性能優(yōu)化庫(IPP)進行了優(yōu)化，我們將這些數(shù)據(jù)和采用傳遞原始像素流(RAW pixel stream)的方式進行對比。由圖2可見壓縮和按需處理像素流的方式比直接轉(zhuǎn)發(fā)原始數(shù)據(jù)具有更好的交互性能，能夠支持更多的遠程連接；同時，我們對極端情況即客戶端顯示完整的遠程圖像時的RVP進行了測試，此時客戶端和服務端運行的負擔是最重的MPEG2和JPEG編碼器使整個系統(tǒng)能夠達到實時交互性能，兩者在最壞的情況下都能運行在15fps以上，而RAW形式的原始像素流嚴重受到網(wǎng)絡帶寬的限制，只能穩(wěn)定運行于 7. 5fps左右，由圖3可見顯示了網(wǎng)絡占有率的巨大差距，理論上原始像素流至少需要超過 40倍的網(wǎng)絡寬度，同時也顯示了本發(fā)明在網(wǎng)絡帶寬限制方面的巨大優(yōu)勢。
權(quán)利要求
1.一種基于拼接大屏幕的交互式協(xié)同系統(tǒng)，其特征在于，包括流服務器，用于捕獲異地高性能系統(tǒng)的多通道顯示輸出，并將捕獲的信號分別壓縮成多條像素流；流轉(zhuǎn)發(fā)服務器，該服務器位于流服務器的后端，用以收集來自各流服務器的像素流，根據(jù)同步時間戳將每一楨重新打包形成一條新的比特流，然后將其通過局域網(wǎng)或?qū)＞W(wǎng)轉(zhuǎn)發(fā)至客戶端系統(tǒng)；同時，流轉(zhuǎn)發(fā)服務器接受并處理來自客戶端系統(tǒng)的調(diào)整可視像素區(qū)域的消息， 該消息描述當前客戶端系統(tǒng)所顯示的區(qū)域大小以及縮放比例，流轉(zhuǎn)發(fā)服務器以此消息來實時地調(diào)整前端流服務器的圖像處理過程，并向客戶端系統(tǒng)發(fā)送數(shù)據(jù)；流轉(zhuǎn)發(fā)服務器還通過接受客戶端系統(tǒng)的反饋信息動態(tài)地對前端流服務器的捕獲速率和壓縮質(zhì)量進行調(diào)控，負責轉(zhuǎn)發(fā)客戶端系統(tǒng)的交互命令至異地高性能系統(tǒng)；客戶端系統(tǒng)包括一臺大屏幕控制端和一套拼接大屏幕顯示系統(tǒng)，大屏幕控制端接收來自流轉(zhuǎn)發(fā)服務器的比特流；同時，大屏幕控制端向流轉(zhuǎn)發(fā)服務器發(fā)送調(diào)整可視像素區(qū)域的消息、反饋信息及交互命令。
2.如權(quán)利要求1所述的一種基于拼接大屏幕的交互式協(xié)同系統(tǒng)，其特征在于，用戶通過所述大屏幕控制端的鼠標和鍵盤操作來發(fā)出交互命令，包括與遠程應用的交互以及大屏幕的布局管理，大屏幕控制端通過所述流轉(zhuǎn)發(fā)服務器及所述流服務器向所述異地高性能系統(tǒng)發(fā)送簡單的交互消息使異地高性能系統(tǒng)的顯示器與所述拼接大屏幕顯示系統(tǒng)的繪制行為保持一致，同時還能關(guān)閉預覽遠程內(nèi)容以減少不必要的解碼負擔。
3.一種基于權(quán)利要求1所述系統(tǒng)的交互式協(xié)同方法，其特征在于，步驟為步驟1、一組流服務器捕獲異地高性能系統(tǒng)的多通道遠程顯示輸出的流媒體后將其分別壓縮成多條像素流；步驟2、流轉(zhuǎn)發(fā)服務器收集來自流服務器的壓縮數(shù)據(jù)，并同步得將數(shù)據(jù)每一幀重新打包形成一條新的比特流轉(zhuǎn)發(fā)至大屏幕控制端；步驟3、大屏幕控制端接收到流轉(zhuǎn)發(fā)服務器比特流數(shù)據(jù)后將比特流數(shù)據(jù)以圖像形式顯示在拼接大屏幕顯示系統(tǒng)上，若用戶在大屏幕控制端上輸入了交互指令，則大屏幕控制端通過流轉(zhuǎn)發(fā)服務器及流轉(zhuǎn)發(fā)服務器將該交互指令轉(zhuǎn)發(fā)至異地高性能系統(tǒng)，若大屏幕顯示系統(tǒng)的圖像顯示需要調(diào)整，則大屏幕控制端發(fā)送調(diào)整可視像素區(qū)域RVP消息回流轉(zhuǎn)發(fā)服務器，流轉(zhuǎn)發(fā)服務器接受該消息并處理，同時將處理完成結(jié)果反饋給流服務器進行優(yōu)化，如此往復，形成交互。
4.如權(quán)利要求3所述的一種交互式協(xié)同方法，其特征在于，步驟1中所述流服務器的捕獲方式為硬件捕獲方式或軟件捕獲方式，當采用硬件捕獲時，捕獲同步信號能夠由硬件觸發(fā)；當采用軟件捕獲時使用消息傳遞接口來觸發(fā)同步信號。
全文摘要
本發(fā)明涉及一種基于拼接大屏幕的交互式協(xié)同系統(tǒng)，包括流服務器，用于捕獲異地高性能系統(tǒng)的多通道顯示輸出，并將捕獲的信號分別壓縮成多條像素流；流轉(zhuǎn)發(fā)服務器，該服務器位于流服務器的后端，用以收集來自各流服務器的像素流，然后將其通過局域網(wǎng)或?qū)＞W(wǎng)轉(zhuǎn)發(fā)至客戶端系統(tǒng)；客戶端系統(tǒng)包括一臺大屏幕控制端和一套拼接大屏幕顯示系統(tǒng)，大屏幕控制端接收來自流轉(zhuǎn)發(fā)服務器的比特流；同時，大屏幕控制端向流轉(zhuǎn)發(fā)服務器發(fā)送調(diào)整可視像素區(qū)域的消息、反饋信息及交互命令。本發(fā)明還提供了一種基于上述系統(tǒng)的交互式協(xié)同方法。本發(fā)明的優(yōu)點是即能顯示本地的信息資源同時還能遠程訪問異地高性能系統(tǒng)。
文檔編號H04N7/26GK102377745SQ201010256909
公開日2012年3月14日 申請日期2010年8月19日 優(yōu)先權(quán)日2010年8月19日
發(fā)明者劉紅 申請人:上海濟麗信息技術(shù)有限公司