基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控制方法
【專(zhuān)利摘要】本發(fā)明涉及一種基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控制方法，包括移動(dòng)終端和大屏顯示主機(jī)，移動(dòng)終端通過(guò)無(wú)線網(wǎng)絡(luò)與大屏顯示主機(jī)連接，移動(dòng)終端上的App客戶端軟件與大屏顯示程序建立TCP連接；大屏顯示程序生成大屏幕顯示區(qū)域布局信息以及各個(gè)區(qū)域的縮略圖，并發(fā)送給App客戶端軟件；App客戶端軟件根據(jù)布局信息和縮略圖重構(gòu)大屏顯示畫(huà)面；用戶在移動(dòng)終端上對(duì)各個(gè)區(qū)域輸入手勢(shì)和菜單交互信息，傳送并應(yīng)用到大屏顯示各個(gè)區(qū)域。本發(fā)明的移動(dòng)終端能實(shí)時(shí)顯示并控制大屏幕顯示畫(huà)面，直觀快捷，用戶體驗(yàn)好；通過(guò)無(wú)線與大屏幕連接，可以在有效連接的任意位置對(duì)大屏幕進(jìn)行控制；充分利用移動(dòng)終端觸摸操作的特點(diǎn)，操作更加自然、流暢。
【專(zhuān)利說(shuō)明】基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控制方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及移動(dòng)終端對(duì)大屏顯示進(jìn)行控制的技術(shù)，具體涉及一種基于縮略圖重構(gòu) 的移動(dòng)終端與大屏顯示互動(dòng)控制方法。

【背景技術(shù)】
[0002] 大屏幕顯示經(jīng)常被用于實(shí)時(shí)監(jiān)視、調(diào)度控制中。使用移動(dòng)終端控制大屏幕的顯示 內(nèi)容，可以實(shí)現(xiàn)對(duì)大屏幕的無(wú)線操作，便于控制、講解。大屏幕顯示的特點(diǎn)是分辨率比較高， 通常每塊顯示屏的分辨率達(dá)到1200*1024, 一般可達(dá)到9*3塊顯示屏拼接，則總的分辨率達(dá) 至IJ10800*3072,普通的筆記本或者顯示器等普通的顯示設(shè)備無(wú)法直接顯示；同時(shí)各種特殊 顯示效果可能依賴OpenGL、DirectX等技術(shù)實(shí)現(xiàn)，也無(wú)法直接在移動(dòng)終端上運(yùn)行，因而大屏 幕顯示內(nèi)容很難直接在移動(dòng)終端上運(yùn)行和顯示。目前主要的的技術(shù)方案是在移動(dòng)終端上， 使用移動(dòng)終端連接大屏幕顯示系統(tǒng)，在移動(dòng)終端上顯示控制按鈕、菜單等操作，實(shí)現(xiàn)類(lèi)似紅 外遙控器的功能。
[0003] 使用這種方法雖然能在移動(dòng)終端上實(shí)現(xiàn)對(duì)大屏幕的控制，但是，由于無(wú)法在移動(dòng) 終端上看到大屏幕當(dāng)前實(shí)際顯示的內(nèi)容，因而無(wú)法實(shí)現(xiàn)"所見(jiàn)即所得"的控制效果；同時(shí)，由 于目前移動(dòng)終端普遍支持多點(diǎn)觸摸等先進(jìn)的輸入方式，無(wú)法在顯示畫(huà)面上直接進(jìn)行操作； 當(dāng)屏幕控制特性改變后，移動(dòng)終端必須進(jìn)行重新部署才能實(shí)現(xiàn)新的控制，用戶體驗(yàn)較差。


【發(fā)明內(nèi)容】

[0004] 針對(duì)上述問(wèn)題，本發(fā)明提出了一種基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控 制方法，克服了運(yùn)行環(huán)境差異、超大顯示分辨率等問(wèn)題，實(shí)現(xiàn)了大屏幕顯示控制中的直觀化 操作。
[0005] 為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是： 一種基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控制方法，包括移動(dòng)終端和大屏顯 示主機(jī)，移動(dòng)終端通過(guò)無(wú)線網(wǎng)絡(luò)與大屏顯示主機(jī)連接，移動(dòng)終端上運(yùn)行有App客戶端軟件， App客戶端軟件與運(yùn)行在大屏顯示主機(jī)上的大屏顯示程序建立TCP連接；大屏顯示程序生 成大屏幕顯示區(qū)域布局信息以及各個(gè)區(qū)域的縮略圖，并發(fā)送給App客戶端軟件;App客戶端 軟件根據(jù)布局信息和縮略圖重構(gòu)大屏顯示畫(huà)面；用戶在移動(dòng)終端上對(duì)各個(gè)區(qū)域輸入手勢(shì)和 菜單交互信息，傳送并應(yīng)用到大屏顯示各個(gè)區(qū)域。
[0006] 根據(jù)本發(fā)明所述方法，在移動(dòng)終端上可以根據(jù)各個(gè)畫(huà)面的布局信息和實(shí)施的縮略 圖重構(gòu)大屏幕顯示畫(huà)面，因此可直接在畫(huà)面上進(jìn)行各種操作，通過(guò)觸摸型進(jìn)行多點(diǎn)觸摸操 作，實(shí)現(xiàn)諸如旋轉(zhuǎn)、縮放、移動(dòng)等畫(huà)面控制，還可以根據(jù)畫(huà)面的特性，實(shí)現(xiàn)菜單點(diǎn)選等控制輸 入?？刂浦噶畎l(fā)送到服務(wù)端，畫(huà)面改變后可以及時(shí)刷新到移動(dòng)終端，實(shí)現(xiàn)流暢的用戶體驗(yàn)。
[0007] 上述縮略圖是大屏幕上當(dāng)前實(shí)時(shí)顯示畫(huà)面壓縮后的截圖。大屏顯示程序?qū)崟r(shí)截 取大屏顯示畫(huà)面，根據(jù)大屏幕與移動(dòng)終端最佳分辨率的比例進(jìn)行各顯示區(qū)域畫(huà)面的圖像壓 縮，進(jìn)而生成縮略圖。大屏幕劃分各顯示區(qū)域，是根據(jù)具體的應(yīng)用需求決定的，一般會(huì)按照 信息類(lèi)型、顯示方式等來(lái)劃分不同區(qū)域，并且可以進(jìn)行人工調(diào)整。此為現(xiàn)有技術(shù)，在此不再 詳述。
[0008] 本發(fā)明采用XML方式對(duì)大屏幕的當(dāng)前布局信息進(jìn)行描述，所述的布局信息包括當(dāng) 前大屏幕顯示區(qū)域的數(shù)目、編號(hào)、位置及控制特性。位置以坐標(biāo)形式標(biāo)注。所述的控制特性 包括各顯示區(qū)域可接受的輸入操作類(lèi)型以及各區(qū)域支持的操作菜單。所述的可接受的輸入 操作類(lèi)型包括平移、旋轉(zhuǎn)、縮放及俯仰控制。所述的操作菜單包括命令觸發(fā)、文字輸入。大 屏顯示程序在提供布局信息時(shí)，即向客戶端指定每個(gè)區(qū)域是否允許平移、旋轉(zhuǎn)、縮放、俯仰 控制等操作，在客戶端即可根據(jù)規(guī)定執(zhí)行操作。
[0009] App客戶端軟件基于布局信息和縮略圖重構(gòu)大屏顯示畫(huà)面的具體步驟如下： (1)App客戶端軟件按照大屏顯示程序提供的布局信息為每個(gè)顯示區(qū)域創(chuàng)建一個(gè)顯示 控件； (2) 將每個(gè)顯示區(qū)域的位置坐標(biāo)結(jié)合移動(dòng)終端屏幕分辨率進(jìn)行縮放后，設(shè)定每個(gè)顯示 控件的顯示坐標(biāo)和尺寸； (3) 在每個(gè)控件上，顯示大屏顯示程序提供的對(duì)應(yīng)區(qū)域的動(dòng)態(tài)縮略圖片，并在收到后續(xù) 動(dòng)態(tài)縮率圖片時(shí)自動(dòng)刷新。
[0010] App客戶端軟件與大屏顯示程序通信主要采用請(qǐng)求/響應(yīng)式的交互模式，一般由 客戶端發(fā)起請(qǐng)求，有服務(wù)端響應(yīng)請(qǐng)求，并根據(jù)情況發(fā)送請(qǐng)求數(shù)據(jù)或者反饋執(zhí)行情況。交互內(nèi) 容采用文本方式傳輸，可以跨不同的平臺(tái)、操作系統(tǒng)、語(yǔ)言。
[0011] 優(yōu)選的，大屏顯示程序與App客戶端軟件之間傳輸?shù)臄?shù)據(jù)均采用通信密鑰進(jìn)行加 密，由移動(dòng)終端和服務(wù)端動(dòng)態(tài)協(xié)商通信密鑰，確保傳輸和控制過(guò)程的安全性。
[0012] 優(yōu)選的，移動(dòng)終端采用平板電腦。
[0013] 為實(shí)現(xiàn)對(duì)系統(tǒng)應(yīng)用的安全控制，移動(dòng)終端采用認(rèn)證登錄操作。
[0014] 本發(fā)明所用大屏顯示程序除具備原有顯示功能外，還要根據(jù)本發(fā)明方法的需求， 開(kāi)發(fā)以下新功能：網(wǎng)絡(luò)通信、通信加密/解密、縮略圖生成、命令解析。App客戶端軟件為針 對(duì)本發(fā)明方法設(shè)計(jì)的專(zhuān)用軟件，其功能包括網(wǎng)絡(luò)通信、通信加密/解密、縮略圖解析、顯示 畫(huà)面重構(gòu)、人工輸入、命令發(fā)送。
[0015] 本發(fā)明的有益效果： 1. 移動(dòng)終端能實(shí)時(shí)顯示大屏幕顯示畫(huà)面，可直接在移動(dòng)終端顯示畫(huà)面上進(jìn)行操作控 制，并能將控制指令發(fā)送到大屏幕顯示主機(jī)，實(shí)現(xiàn)對(duì)大屏幕畫(huà)面的控制，直觀快捷，用戶體 驗(yàn)好； 2. 移動(dòng)終端通過(guò)無(wú)線與大屏幕建立控制連接，可以在有效連接的任意位置對(duì)大屏幕進(jìn) 行控制，且不必直視大屏幕的實(shí)際顯示內(nèi)容也可操作； 3. 可根據(jù)需要對(duì)大屏幕的某些顯示區(qū)域進(jìn)行控制，控制特性由大屏顯示程序指定，在 控制特性改變后，不需要重新部署移動(dòng)終端的程序； 4. 充分利用移動(dòng)終端觸摸操作的特點(diǎn)，延伸了傳統(tǒng)鼠標(biāo)鍵盤(pán)操作控制方式，操作更加 自然、流暢。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0016] 圖1為系統(tǒng)架構(gòu)示意圖；

【具體實(shí)施方式】
[0017] 下文以電網(wǎng)調(diào)度自動(dòng)化綜合展示大屏幕系統(tǒng)為例說(shuō)明本發(fā)明的具體實(shí)施過(guò)程： 本發(fā)明所用系統(tǒng)包括移動(dòng)終端、無(wú)線路由器、大屏顯示主機(jī)和大屏幕，大屏顯示主機(jī)上 運(yùn)行有大屏顯示程序。移動(dòng)終端采用平板電腦，平板電腦接入無(wú)線路由器，大屏顯示主機(jī)通 過(guò)專(zhuān)用網(wǎng)絡(luò)接口與無(wú)線路由器相連，其他網(wǎng)絡(luò)接口與數(shù)據(jù)業(yè)務(wù)網(wǎng)絡(luò)連接。大屏幕顯示電力 調(diào)度自動(dòng)化相關(guān)的內(nèi)容，包括實(shí)時(shí)母線電壓排序監(jiān)視、線路負(fù)載率監(jiān)視、以地理背景為基礎(chǔ) 的廠站信號(hào)監(jiān)視等畫(huà)面。
[0018] 一、系統(tǒng)架構(gòu)及開(kāi)發(fā)環(huán)境 系統(tǒng)采用C/S(服務(wù)器/客戶端）架構(gòu)，基于TCP協(xié)議進(jìn)行通信。App客戶端軟件運(yùn)行 在平板電腦的Android系統(tǒng)，使用Android軟件開(kāi)發(fā)工具包，在Eclipse集成開(kāi)發(fā)環(huán)境中進(jìn) 行開(kāi)發(fā)；服務(wù)器端軟件用C++語(yǔ)言在MS2005環(huán)境下開(kāi)發(fā)。系統(tǒng)架構(gòu)如圖1所示。
[0019] 二、通信實(shí)現(xiàn) 客戶端和服務(wù)器端通信主要采用請(qǐng)求/響應(yīng)式的交互模式，一般由客戶端發(fā)起請(qǐng)求， 由服務(wù)器端響應(yīng)請(qǐng)求，并根據(jù)情況發(fā)送請(qǐng)求數(shù)據(jù)或者反饋執(zhí)行情況。交互內(nèi)容采用文本方 式（實(shí)際傳輸數(shù)據(jù)是采用通信密鑰加密后的文本），可以跨不同的平臺(tái)、操作系統(tǒng)、語(yǔ)言。 如下格式定義給出了請(qǐng)求初始狀態(tài)的通信模式： 客戶端：CMD,REQUEST-INIT,〈width〉，<hight> 服務(wù)端：ACK,INIT-BEGIN,〈name〉，〈number〉，〈width〉，〈height〉 服務(wù)端：DATA,CURMODE, <length-〇f-text>,〈mode-xml> 月艮務(wù)端DATA,IMAGE,〈rect_id>，〈image-format>，〈length〉,〈image_text> 服務(wù)端：ACK，INIT-END 三、大屏幕顯示區(qū)域布局信息生成 系統(tǒng)采用XML方式對(duì)大屏幕的當(dāng)前布局進(jìn)行描述，詳細(xì)給出當(dāng)前大屏幕顯示區(qū)域的數(shù) 目、編號(hào)、位置、控制特性等，這些顯示區(qū)域是動(dòng)態(tài)縮略圖傳輸?shù)幕A(chǔ)。控制特性包括制定相 應(yīng)的顯示區(qū)域是否允許平移、旋轉(zhuǎn)、縮放、俯仰控制等操作，還可以定義該區(qū)域支持的操作 菜單，如命令觸發(fā)、文字輸入等。如下是顯示場(chǎng)景布局信息描述內(nèi)容：

【權(quán)利要求】
1. 一種基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控制方法，包括移動(dòng)終端和大屏顯 示主機(jī)，移動(dòng)終端通過(guò)無(wú)線網(wǎng)絡(luò)與大屏顯示主機(jī)連接，其特征在于：移動(dòng)終端上運(yùn)行有App 客戶端軟件，App客戶端軟件與運(yùn)行在大屏顯示主機(jī)上的大屏顯示程序建立TCP連接；大 屏顯示程序生成大屏幕顯示區(qū)域布局信息以及各個(gè)區(qū)域的縮略圖，并發(fā)送給App客戶端軟 件；App客戶端軟件根據(jù)布局信息和縮略圖重構(gòu)大屏顯示畫(huà)面；用戶在移動(dòng)終端上對(duì)各個(gè) 區(qū)域輸入手勢(shì)和菜單交互信息，傳送并應(yīng)用到大屏顯示各個(gè)區(qū)域。
2. 根據(jù)權(quán)利要求1所述的基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控制方法，其特 征在于：大屏顯示程序?qū)崟r(shí)截取大屏顯示畫(huà)面，根據(jù)大屏幕與移動(dòng)終端最佳分辨率的比例 進(jìn)行各顯示區(qū)域畫(huà)面的圖像壓縮。
3. 根據(jù)權(quán)利要求2所述的基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控制方法，其特 征在于：所述的布局信息包括當(dāng)前大屏幕顯示區(qū)域的數(shù)目、編號(hào)、位置及控制特性。
4. 根據(jù)權(quán)利要求3所述的基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控制方法，其特 征在于：所述的控制特性包括各顯示區(qū)域可接受的輸入操作類(lèi)型以及各區(qū)域支持的操作菜 單。
5. 根據(jù)權(quán)利要求4所述的基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控制方法，其特 征在于：所述的可接受的輸入操作類(lèi)型包括平移、旋轉(zhuǎn)、縮放及俯仰控制。
6. 根據(jù)權(quán)利要求4所述的基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控制方法，其特 征在于：所述的操作菜單包括命令觸發(fā)、文字輸入。
7. 根據(jù)權(quán)利要求1所述的基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控制方法，其特 征在于：App客戶端軟件基于布局信息和縮略圖重構(gòu)大屏顯示畫(huà)面的具體步驟如下： (1) App客戶端軟件按照大屏顯示程序提供的布局信息為每個(gè)顯示區(qū)域創(chuàng)建一個(gè)顯示 控件； (2) 將每個(gè)顯示區(qū)域的位置坐標(biāo)結(jié)合移動(dòng)終端屏幕分辨率進(jìn)行縮放后，設(shè)定每個(gè)顯示 控件的顯示坐標(biāo)和尺寸； (3) 在每個(gè)控件上，顯示大屏顯示程序提供的對(duì)應(yīng)區(qū)域的動(dòng)態(tài)縮略圖片，并在收到后續(xù) 動(dòng)態(tài)縮略圖片時(shí)自動(dòng)刷新。
8. 根據(jù)權(quán)利要求1所述的基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控制方法，其特 征在于：大屏顯示程序與App客戶端軟件交互內(nèi)容采用文本方式傳輸。
9. 根據(jù)權(quán)利要求8所述的基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控制方法，其特 征在于：大屏顯示程序與App客戶端軟件之間傳輸?shù)臄?shù)據(jù)均采用通信密鑰進(jìn)行加密。
10. 根據(jù)權(quán)利要求1所述的基于縮略圖重構(gòu)的移動(dòng)終端與大屏顯示互動(dòng)控制方法，其 特征在于：移動(dòng)終端采用認(rèn)證登錄操作。
【文檔編號(hào)】G06F3/14GK104331243SQ201410565823
【公開(kāi)日】2015年2月4日 申請(qǐng)日期:2014年10月22日 優(yōu)先權(quán)日:2014年10月22日
【發(fā)明者】王建功 申請(qǐng)人:積成電子股份有限公司