【技術(shù)領(lǐng)域】

本發(fā)明涉及終端通信控制領(lǐng)域，具體涉及一種移動(dòng)終端遠(yuǎn)程控制方法、裝置及相應(yīng)的移動(dòng)終端。

背景技術(shù)：

遠(yuǎn)程控制，或稱遠(yuǎn)程協(xié)助，是指互相信任的至少兩個(gè)移動(dòng)終端建立無(wú)線通信連接，進(jìn)而使得一方(受助方)的用戶界面顯示于另一方(協(xié)助方)的用戶界面上，協(xié)助方通過獲取到的受助方的用戶界面，利用聲音解說(shuō)、畫筆等功能與受助方進(jìn)行交流，從而實(shí)現(xiàn)遠(yuǎn)程控制或遠(yuǎn)程協(xié)助效果。

目前的終端遠(yuǎn)程控制中，需確定一個(gè)受助方、一個(gè)協(xié)助方，在受助方向協(xié)助方請(qǐng)求遠(yuǎn)程協(xié)助后，由協(xié)助方操控受助方從而達(dá)到遠(yuǎn)程控制效果。同時(shí)，協(xié)助方在接收到受助方的畫面后，畫面占滿協(xié)助方的整個(gè)操作界面，協(xié)助方在遠(yuǎn)程控制期間無(wú)法針對(duì)本機(jī)產(chǎn)生的事件行為進(jìn)行處理，從而給用戶帶來(lái)不便。同時(shí)，受助方往往將整個(gè)終端的畫面內(nèi)容傳輸給協(xié)助方，以致在某些特殊情況下無(wú)法保證自身的隱私問題。并且，現(xiàn)有技術(shù)中往往將遠(yuǎn)程控制的功能與移動(dòng)終端綁定，限制相同品牌的移動(dòng)終端才能進(jìn)行遠(yuǎn)程控制功能。

對(duì)于一些特定的使用場(chǎng)景，由受助方將自己的畫面?zhèn)鬏斨羺f(xié)助方已不能滿足用戶的需求，例如某些需要兩個(gè)用戶同時(shí)進(jìn)行操作的使用場(chǎng)景，且目前的遠(yuǎn)程控制中，畫面固定且無(wú)法調(diào)整，給用戶帶來(lái)諸多不便。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的首要目的在于提供一種移動(dòng)終端遠(yuǎn)程控制方法及裝置。

本發(fā)明的另一目的在于提供一種實(shí)現(xiàn)遠(yuǎn)程控制方法的移動(dòng)終端。

為實(shí)現(xiàn)該目的，本發(fā)明采用如下技術(shù)方案：

第一方面，本發(fā)明提供一種移動(dòng)終端遠(yuǎn)程控制方法，包括如下步驟：

本移動(dòng)終端與相對(duì)移動(dòng)終端建立遠(yuǎn)程連接通道；

本移動(dòng)終端通過所述連接通道接收相對(duì)移動(dòng)終端傳輸?shù)谋镜亟缑鎴D像流，同步將本移動(dòng)終端的本地界面圖像流傳輸給相對(duì)移動(dòng)終端，以供所述相對(duì)移動(dòng)終端將之疊加到其本地界面圖像上輸出顯示；

本移動(dòng)終端將其所接收的所述相對(duì)移動(dòng)終端的本地界面圖像流疊加到自身本地界面圖像上輸出顯示。

優(yōu)選的，所述本移動(dòng)終端與相對(duì)移動(dòng)終端傳輸?shù)谋镜亟缑鎴D像為用戶自行選定的移動(dòng)終端用戶界面上的特定區(qū)域的圖像。

具體的，所述本移動(dòng)終端與相對(duì)移動(dòng)終端通過遠(yuǎn)程服務(wù)器確認(rèn)雙方的配置信息并依此建立所述遠(yuǎn)程連接通道。

具體的，所述配置信息包括用戶賬號(hào)信息及移動(dòng)終端的特征信息，所述移動(dòng)終端的特征信息包括移動(dòng)終端的屏幕尺寸、屏幕分辨率、唯一識(shí)別標(biāo)識(shí)碼。

進(jìn)一步的，在所述本移動(dòng)終端接收相對(duì)移動(dòng)終端傳輸?shù)谋镜亟缑鎴D像流時(shí)，所述本移動(dòng)終端執(zhí)行流媒體服務(wù)器功能，在所述本移動(dòng)終端同步將本移動(dòng)終端的本地界面圖像流傳輸給相對(duì)移動(dòng)終端時(shí)，所述本移動(dòng)終端執(zhí)行客戶機(jī)功能。

優(yōu)選的，所述本移動(dòng)終端與相對(duì)移動(dòng)終端的圖像流傳輸為點(diǎn)對(duì)點(diǎn)傳輸。

較佳的，所述本移動(dòng)終端接收到的相對(duì)移動(dòng)終端傳輸?shù)谋镜亟缑鎴D像流在本移動(dòng)終端上以懸浮窗展示。

進(jìn)一步的，所述本移動(dòng)終端接收作用于所述懸浮窗的操作指令，執(zhí)行操作指令對(duì)應(yīng)的操作。

具體的，所述操作指令包括縮放指令、移動(dòng)指令、隱藏指令及關(guān)閉指令。

更進(jìn)一步的，所述方法還包括步驟：

本移動(dòng)終端接收作用于所述相對(duì)移動(dòng)終端的界面圖像上的第一控制指令，基于建立的指令映射關(guān)系將所述第一控制指令模擬為作用于相對(duì)移動(dòng)終端上的第二控制指令，以讓所述相對(duì)移動(dòng)終端根據(jù)所述第二控制指令后執(zhí)行相應(yīng)的操作。

較佳的，在所述相對(duì)移動(dòng)終端將其控制權(quán)限授予本移動(dòng)終端后，執(zhí)行指令模擬轉(zhuǎn)化步驟。

進(jìn)一步的，通過相對(duì)移動(dòng)終端上的標(biāo)識(shí)按鈕表征相對(duì)移動(dòng)終端的控制權(quán)限授權(quán)狀態(tài)。

更進(jìn)一步的，在所述相對(duì)移動(dòng)終端根據(jù)第二控制指令執(zhí)行相應(yīng)的操作之后，還包括：

本移動(dòng)終端更新接收的相對(duì)移動(dòng)終端界面圖像的顯示內(nèi)容。

相應(yīng)的，第二方面，本發(fā)明提供一種移動(dòng)終端遠(yuǎn)程控制裝置，包括：

連接模塊：用于與相對(duì)移動(dòng)終端建立遠(yuǎn)程連接通道；

傳輸模塊：用于通過所述連接通道接收相對(duì)移動(dòng)終端傳輸?shù)谋镜亟缑鎴D像流，同步將本移動(dòng)終端的本地界面圖像流傳輸給相對(duì)移動(dòng)終端，以供所述相對(duì)移動(dòng)終端將之疊加到其本地界面圖像上輸出顯示；

顯示模塊：用于將其所接收的所述相對(duì)移動(dòng)終端的本地界面圖像流疊加到自身本地界面圖像上輸出顯示。

優(yōu)選的，所述本移動(dòng)終端與相對(duì)移動(dòng)終端傳輸?shù)谋镜亟缑鎴D像為用戶自行選定的移動(dòng)終端用戶界面上的特定區(qū)域圖像。

具體的，所述本移動(dòng)終端與相對(duì)移動(dòng)終端通過遠(yuǎn)程服務(wù)器確認(rèn)雙方的配置信息并依此建立所述遠(yuǎn)程連接通道。

具體的，所述配置信息包括用戶賬號(hào)信息及移動(dòng)終端的特征信息，所述移動(dòng)終端的特征信息包括移動(dòng)終端的屏幕尺寸、屏幕分辨率、唯一識(shí)別標(biāo)識(shí)碼。

進(jìn)一步的，在所述本移動(dòng)終端接收相對(duì)移動(dòng)終端傳輸?shù)谋镜亟缑鎴D像流時(shí)，所述本移動(dòng)終端執(zhí)行流媒體服務(wù)器功能，在所述本移動(dòng)終端同步將本移動(dòng)終端的本地界面圖像流傳輸給相對(duì)移動(dòng)終端時(shí)，所述本移動(dòng)終端執(zhí)行客戶機(jī)功能。

優(yōu)選的，所述本移動(dòng)終端與相對(duì)移動(dòng)終端的圖像流傳輸為點(diǎn)對(duì)點(diǎn)傳輸。

較佳的，所述本移動(dòng)終端接收到的相對(duì)移動(dòng)終端傳輸?shù)谋镜亟缑鎴D像流在本移動(dòng)終端上以懸浮窗展示。

進(jìn)一步的，所述本移動(dòng)終端接收作用于所述懸浮窗的操作指令，執(zhí)行操作指令對(duì)應(yīng)的操作。

具體的，所述操作指令包括縮放指令、移動(dòng)指令、隱藏指令及關(guān)閉指令。

更進(jìn)一步的，所述裝置還包括：

指令模擬模塊：用于接收作用于所述相對(duì)移動(dòng)終端的界面圖像上的第一控制指令，基于建立的指令映射關(guān)系將所述第一控制指令模擬為作用于相對(duì)移動(dòng)終端上的第二控制指令，以讓所述相對(duì)移動(dòng)終端根據(jù)所述第二控制指令后執(zhí)行相應(yīng)的操作。

較佳的，所述指令模擬模塊包括授權(quán)單元，用于在所述相對(duì)移動(dòng)終端將其控制權(quán)限授予本移動(dòng)終端后，執(zhí)行指令模擬操作。

進(jìn)一步的，通過相對(duì)移動(dòng)終端上的標(biāo)識(shí)按鈕表征相對(duì)移動(dòng)終端的控制權(quán)限授權(quán)狀態(tài)。

更進(jìn)一步的，在所述相對(duì)移動(dòng)終端根據(jù)第二控制指令執(zhí)行相應(yīng)的操作之后，顯示模塊更新接收的相對(duì)移動(dòng)終端界面圖像的顯示內(nèi)容。

第三方面，本發(fā)明還提供一種移動(dòng)終端，用于實(shí)現(xiàn)上述遠(yuǎn)程控制方法，包括：

觸敏顯示器：用于顯示該方法實(shí)現(xiàn)過程中產(chǎn)生的中間信息及結(jié)果信息；

存儲(chǔ)器：用于存儲(chǔ)上述方法實(shí)現(xiàn)過程中產(chǎn)生的候選中間數(shù)據(jù)以及結(jié)果數(shù)據(jù)；

一個(gè)或多個(gè)處理器：所述處理器被配置為用于執(zhí)行實(shí)現(xiàn)上述方法的步驟。

與現(xiàn)有技術(shù)相比，本發(fā)明具備如下優(yōu)點(diǎn)：

本發(fā)明將本移動(dòng)終端與相對(duì)移動(dòng)終端兩者的界面圖像流通過雙向傳輸，使得在進(jìn)行遠(yuǎn)程控制時(shí)終端用戶相互間可以看到對(duì)方的界面圖像，提高遠(yuǎn)程控制的直觀效果，使得遠(yuǎn)程控制所達(dá)到的諸如教學(xué)目的更加高效、便捷。同時(shí)，本移動(dòng)終端與相對(duì)移動(dòng)終端的界面圖像流的雙向傳輸，增添了多樣化的遠(yuǎn)程控制功能，如遠(yuǎn)程教學(xué)、遠(yuǎn)程分享、遠(yuǎn)程辦公等功能，為用戶帶來(lái)更多的便利。

同時(shí)，本移動(dòng)終端在接收到相對(duì)移動(dòng)終端所傳輸?shù)慕缑鎴D像后，通過懸浮窗的形式將其疊加、呈現(xiàn)在本地的用戶界面上，不僅可以觀測(cè)到相對(duì)移動(dòng)終端所傳輸?shù)漠嬅鎯?nèi)容，同時(shí)可以進(jìn)行本移動(dòng)終端上的其它操作，讓用戶更加方便地在遠(yuǎn)程控制狀態(tài)與非遠(yuǎn)程控制狀態(tài)下自由切換。并且，懸浮窗的大小顯示可由用戶自行控制，達(dá)到最協(xié)調(diào)的觀看與操作并存的效果，同時(shí)，相對(duì)移動(dòng)終端的控制權(quán)限可由用戶自行開啟或關(guān)閉，最大程序地保護(hù)用戶的隱私。

進(jìn)一步的，本發(fā)明的遠(yuǎn)程控制方法利用可實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)傳輸?shù)墓δ苣K實(shí)現(xiàn)，打破現(xiàn)有的遠(yuǎn)程控制終端限制，實(shí)現(xiàn)跨品牌移動(dòng)終端間的遠(yuǎn)程控制，讓不同品牌的終端的用戶亦可以自由地實(shí)現(xiàn)終端遠(yuǎn)程控制。同時(shí)，在本移動(dòng)終端與相對(duì)移動(dòng)終端雙向傳輸各自的界面圖像時(shí)通過點(diǎn)對(duì)點(diǎn)傳輸，降低云端服務(wù)器的負(fù)荷，提高畫面圖像的清晰度及流暢度。

顯然，上述有關(guān)本發(fā)明優(yōu)點(diǎn)的描述是概括性的，更多的優(yōu)點(diǎn)描述將體現(xiàn)在后續(xù)的實(shí)施例揭示中，以及，本領(lǐng)域技術(shù)人員也可以本發(fā)明所揭示的內(nèi)容合理地發(fā)現(xiàn)本發(fā)明的其他諸多優(yōu)點(diǎn)。

本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，這些將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。

【附圖說(shuō)明】

圖1為本發(fā)明移動(dòng)終端遠(yuǎn)程控制方法的一實(shí)施例流程示意圖。

圖2為本發(fā)明相對(duì)移動(dòng)終端截取其用戶界面上特定區(qū)域內(nèi)的圖像畫面的一實(shí)施例示意圖。

圖3為本發(fā)明本移動(dòng)終端將接收到的相對(duì)移動(dòng)終端的界面圖像流疊加到本地界面圖像上輸出顯示的一實(shí)施例示意圖。

圖4為本發(fā)明指令映射關(guān)系中本移動(dòng)終端上顯示的相對(duì)移動(dòng)終端的界面圖像的像素圖。

圖5為本發(fā)明指令映射關(guān)系中相對(duì)移動(dòng)終端截取的其本地界面圖像的像素圖。

圖6為本發(fā)明一應(yīng)用場(chǎng)景示意圖。

圖7為本發(fā)明移動(dòng)終端遠(yuǎn)程控制裝置的一實(shí)施例示意圖。

圖8為本發(fā)明的本移動(dòng)終端和相對(duì)移動(dòng)移動(dòng)終端都能夠適用的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】

下面結(jié)合附圖和示例性實(shí)施例對(duì)本發(fā)明作進(jìn)一步地描述，其中附圖中相同的標(biāo)號(hào)全部指的是相同的部件。此外，如果已知技術(shù)的詳細(xì)描述對(duì)于示出本發(fā)明的特征是不必要的，則將其省略。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式“一”、“一個(gè)”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本發(fā)明的說(shuō)明書中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。應(yīng)該理解，當(dāng)我們稱元件被“連接”或“耦接”到另一元件時(shí)，它可以直接連接或耦接到其他元件，或者也可以存在中間元件。此外，這里使用的“連接”或“耦接”可以包括無(wú)線連接或無(wú)線耦接。這里使用的措辭“和/或”包括一個(gè)或更多個(gè)相關(guān)聯(lián)的列出項(xiàng)的全部或任一單元和全部組合。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非另外定義，這里使用的所有術(shù)語(yǔ)(包括技術(shù)術(shù)語(yǔ)和科學(xué)術(shù)語(yǔ))，具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是，諸如通用字典中定義的那些術(shù)語(yǔ)，應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義，并且除非像這里一樣被特定定義，否則不會(huì)用理想化或過于正式的含義來(lái)解釋。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，這里所使用的“終端”、“終端設(shè)備”既包括無(wú)線信號(hào)接收器的設(shè)備，其僅具備無(wú)發(fā)射能力的無(wú)線信號(hào)接收器的設(shè)備，又包括接收和發(fā)射硬件的設(shè)備，其具有能夠在雙向通信鏈路上，執(zhí)行雙向通信的接收和發(fā)射硬件的設(shè)備。這種設(shè)備可以包括：蜂窩或其他通信設(shè)備，其具有單線路顯示器或多線路顯示器或沒有多線路顯示器的蜂窩或其他通信設(shè)備；pcs(personalcommunicationsservice，個(gè)人通信系統(tǒng))，其可以組合語(yǔ)音、數(shù)據(jù)處理、傳真和/或數(shù)據(jù)通信能力；pda(personaldigitalassistant，個(gè)人數(shù)字助理)，其可以包括射頻接收器、尋呼機(jī)、互聯(lián)網(wǎng)/內(nèi)聯(lián)網(wǎng)訪問、網(wǎng)絡(luò)瀏覽器、記事本、日歷和/或gps(globalpositioningsystem，全球定位系統(tǒng))接收器；常規(guī)膝上型和/或掌上型計(jì)算機(jī)或其他設(shè)備，其具有和/或包括射頻接收器的常規(guī)膝上型和/或掌上型計(jì)算機(jī)或其他設(shè)備。這里所使用的“終端”、“終端設(shè)備”可以是便攜式、可運(yùn)輸、安裝在交通工具(航空、海運(yùn)和/或陸地)中的，或者適合于和/或配置為在本地運(yùn)行，和/或以分布形式，運(yùn)行在地球和/或空間的任何其他位置運(yùn)行。這里所使用的“終端”、“終端設(shè)備”還可以是通信終端、上網(wǎng)終端、音樂/視頻播放終端，例如可以是pda、mid(mobileinternetdevice，移動(dòng)互聯(lián)網(wǎng)設(shè)備)和/或具有音樂/視頻播放功能的移動(dòng)電話，也可以是智能電視、機(jī)頂盒等設(shè)備。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，這里所使用的遠(yuǎn)端網(wǎng)絡(luò)設(shè)備，其包括但不限于計(jì)算機(jī)、網(wǎng)絡(luò)主機(jī)、單個(gè)網(wǎng)絡(luò)服務(wù)器、多個(gè)網(wǎng)絡(luò)服務(wù)器集或多個(gè)服務(wù)器構(gòu)成的云。在此，云由基于云計(jì)算(cloudcomputing)的大量計(jì)算機(jī)或網(wǎng)絡(luò)服務(wù)器構(gòu)成，其中，云計(jì)算是分布式計(jì)算的一種，由一群松散耦合的計(jì)算機(jī)集組成的一個(gè)超級(jí)虛擬計(jì)算機(jī)。本發(fā)明的實(shí)施例中，遠(yuǎn)端網(wǎng)絡(luò)設(shè)備、終端設(shè)備與wns服務(wù)器之間可通過任何通信方式實(shí)現(xiàn)通信，包括但不限于，基于3gpp、lte、wimax的移動(dòng)通信、基于tcp/ip、udp協(xié)議的計(jì)算機(jī)網(wǎng)絡(luò)通信以及基于藍(lán)牙、紅外傳輸標(biāo)準(zhǔn)的近距無(wú)線傳輸方式。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，本發(fā)明所述的用戶界面/操作界面泛指能夠用于向智能終端發(fā)送控制指令的顯示界面，例如，可以為android系統(tǒng)的設(shè)置頁(yè)面中的一個(gè)選項(xiàng)(或按鍵，由所述應(yīng)用程序添加其中，下同)，也可以是從桌面呼出的通知欄或者交互頁(yè)面中的一個(gè)選項(xiàng)，還可以是所述應(yīng)用程序的一個(gè)活動(dòng)組件所構(gòu)造的頁(yè)面中的一個(gè)選項(xiàng)。

本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明所稱的“應(yīng)用”、“應(yīng)用程序”、“應(yīng)用軟件”、“客戶端”、“客戶端軟件”以及類似表述的概念，是業(yè)內(nèi)技術(shù)人員所公知的相同概念，是指由一系列計(jì)算機(jī)指令及相關(guān)數(shù)據(jù)資源有機(jī)構(gòu)造的適于電子運(yùn)行的計(jì)算機(jī)軟件。除非特別指定，這種命名本身不受編程語(yǔ)言種類、級(jí)別，也不受其賴以運(yùn)行的操作系統(tǒng)或平臺(tái)所限制。理所當(dāng)然地，此類概念也不受任何形式的終端所限制。

本發(fā)明的實(shí)施例中，需要至少兩個(gè)均具有執(zhí)行遠(yuǎn)程控制功能的移動(dòng)終端，下述以兩個(gè)移動(dòng)終端為例進(jìn)行說(shuō)明，為了更好地區(qū)分兩者，本發(fā)明實(shí)施例將兩者分別定義為本移動(dòng)終端與相對(duì)移動(dòng)終端(亦可理解為第一移動(dòng)終端與第二移動(dòng)終端)，在實(shí)現(xiàn)本發(fā)明的遠(yuǎn)程控制方法時(shí)，本移動(dòng)終端與相對(duì)移動(dòng)終端所扮演的角色的作用其實(shí)是相同的，即本移動(dòng)終端可以實(shí)現(xiàn)的遠(yuǎn)程控制功能相對(duì)移動(dòng)終端亦可實(shí)現(xiàn)，在本發(fā)明實(shí)施例中以本移動(dòng)終端為執(zhí)行遠(yuǎn)程控制方法的主體進(jìn)行說(shuō)明。

第一方面，如圖1所示是本發(fā)明移動(dòng)終端遠(yuǎn)程控制方法的一實(shí)施例流程示意圖，包括步驟s100-s300。

步驟s100：本移動(dòng)終端與相對(duì)移動(dòng)終端建立遠(yuǎn)程連接通道。

在實(shí)現(xiàn)遠(yuǎn)程控制之前，需要建立本移動(dòng)終端與相對(duì)移動(dòng)終端的遠(yuǎn)程連接通道。具體的，本移動(dòng)終端與相對(duì)移動(dòng)終端上均配置有執(zhí)行遠(yuǎn)程控制功能的功能模塊，該功能模塊可以是安裝于移動(dòng)終端上的客戶端軟件或者內(nèi)置于移動(dòng)終端操作系統(tǒng)的插件，下述以安裝于移動(dòng)終端上的客戶端軟件為例進(jìn)行說(shuō)明。用戶通過唯一賬號(hào)登錄客戶端，客戶端相應(yīng)獲取移動(dòng)終端的特征信息如屏幕尺寸、屏幕分辨率、唯一識(shí)別標(biāo)識(shí)碼等，然后將用戶賬號(hào)關(guān)聯(lián)于移動(dòng)終端的特征信息上傳到云端服務(wù)器，云端服務(wù)器為每一個(gè)用戶賬號(hào)分配唯一的uid后與用戶賬號(hào)及移動(dòng)終端的特征信息關(guān)聯(lián)存儲(chǔ)，不同用戶通過對(duì)方用戶賬號(hào)即可查找到對(duì)方。

進(jìn)一步的，本移動(dòng)終端通過查找相對(duì)移動(dòng)終端的用戶賬號(hào)后，向云端服務(wù)器發(fā)送與相對(duì)移動(dòng)終端建立連接的請(qǐng)求，云端服務(wù)器將本移動(dòng)終端的連接請(qǐng)求發(fā)送至相對(duì)移動(dòng)終端，待所述相對(duì)移動(dòng)終端確認(rèn)后建立本移動(dòng)終端與相對(duì)移動(dòng)終端的遠(yuǎn)程連接通道。所述遠(yuǎn)程連接通道為數(shù)據(jù)報(bào)文傳輸通道，位于通道兩端的雙方分別扮演著客戶機(jī)跟流媒體服務(wù)器的角色，利用該遠(yuǎn)程連接通道實(shí)現(xiàn)雙方的數(shù)據(jù)傳輸。具體的，在建立本移動(dòng)終端與相對(duì)移動(dòng)終端的遠(yuǎn)程連接通道時(shí)，需要確認(rèn)雙方采用何種方式、何種協(xié)議來(lái)傳遞信令、建立通道，本實(shí)施例采用websocket并基于xmpp協(xié)議來(lái)傳輸信令、建立通道，通過該通道確定本移動(dòng)終端與相對(duì)移動(dòng)終端的ip地址、端口、及雙方所支持的編解碼器類別和視頻分辨率、碼率等信息。

步驟s200：本移動(dòng)終端通過所述連接通道接收相對(duì)移動(dòng)終端傳輸?shù)谋镜亟缑鎴D像流，同步將本移動(dòng)終端的本地界面圖像流傳輸給相對(duì)移動(dòng)終端，以供所述相對(duì)移動(dòng)終端將之疊加到其本地界面圖像上輸出顯示。

通過建立的遠(yuǎn)程連接通道，利用webrtc實(shí)現(xiàn)本移動(dòng)終端與相對(duì)移動(dòng)終端的視訊音訊傳輸，webrtc是網(wǎng)頁(yè)實(shí)時(shí)通信(webreal-timecommunication)的縮寫，可以支持網(wǎng)頁(yè)瀏覽器進(jìn)行實(shí)時(shí)語(yǔ)音對(duì)話和/或視頻對(duì)話，webrtc提供了視頻語(yǔ)音會(huì)話的核心技術(shù)，包括音視頻的采集、編解碼、網(wǎng)絡(luò)傳輸、顯示等功能，并且支持跨平臺(tái)如windows，linux，mac，android等平臺(tái)的使用，webrtc底層基于srtp和udp，通過瀏覽器提供簡(jiǎn)單的javascript就可以達(dá)到實(shí)時(shí)通訊能力，并且對(duì)于弱網(wǎng)情況下優(yōu)化空間大。本實(shí)施例中，通過獲取移動(dòng)終端的屏幕圖像及麥克風(fēng)采集獲得視頻、音頻的同步流，相應(yīng)的，所述安裝于移動(dòng)終端的客戶端軟件也基于webrtc進(jìn)行設(shè)計(jì)，可以理解為客戶端軟件是基于瀏覽器/web進(jìn)行設(shè)計(jì)的，本移動(dòng)終端和相對(duì)移動(dòng)終端通過該客戶端軟件實(shí)現(xiàn)音頻視頻對(duì)話。

利用webrtc實(shí)現(xiàn)本移動(dòng)終端與相對(duì)移動(dòng)終端通過遠(yuǎn)程連接通道之間的流數(shù)據(jù)傳輸，該流數(shù)據(jù)連接通道是點(diǎn)對(duì)點(diǎn)的，不需要經(jīng)過云端服務(wù)器的中轉(zhuǎn)，云端服務(wù)器在建立本移動(dòng)終端與相對(duì)移動(dòng)終端的遠(yuǎn)程連接通道、傳輸圖像流過程中，只需完成中轉(zhuǎn)信令以建立所述遠(yuǎn)程連接通道，后續(xù)本移動(dòng)終端與相對(duì)移動(dòng)終端的流數(shù)據(jù)傳輸均無(wú)需再通過云端服務(wù)器。

本發(fā)明的一種實(shí)施例，本移動(dòng)終端/相對(duì)移動(dòng)終端即充當(dāng)客戶機(jī)又充當(dāng)流媒體服務(wù)器，即相對(duì)移動(dòng)終端將其本地界面圖像流傳輸至充當(dāng)流媒體服務(wù)器的本移動(dòng)終端，同時(shí)本移動(dòng)終端也將其本地界面圖像流傳輸至充當(dāng)客戶機(jī)的相對(duì)移動(dòng)終端，以供相對(duì)移動(dòng)終端將該圖像流疊加到本地界面圖像上輸出顯示。本實(shí)施例通過將相對(duì)移動(dòng)終端的流數(shù)據(jù)通過遠(yuǎn)程連接通道直接傳輸至本移動(dòng)終端，數(shù)據(jù)流無(wú)需經(jīng)過云端服務(wù)器進(jìn)行中轉(zhuǎn)，避免客戶端軟件上傳流數(shù)據(jù)到云端服務(wù)器和云端服務(wù)器轉(zhuǎn)發(fā)流數(shù)據(jù)到客戶端軟件所造成的傳輸效率低的問題。

可以理解的是，本發(fā)明優(yōu)選采用本移動(dòng)終端與相對(duì)移動(dòng)終端之間的點(diǎn)對(duì)點(diǎn)傳輸?shù)姆桨?，?dāng)點(diǎn)對(duì)點(diǎn)傳輸失敗時(shí)，再通過云端服務(wù)器進(jìn)行數(shù)據(jù)流的中轉(zhuǎn)，即相對(duì)移動(dòng)終端將其本地界面圖像流上傳到云端服務(wù)器，本移動(dòng)終端從云端服務(wù)器上拉取相對(duì)移動(dòng)終端上傳的圖像流，并且本移動(dòng)終端同步地將自身的本地界面圖像流上傳到云端服務(wù)器，相對(duì)移動(dòng)終端亦可從云端服務(wù)器上拉取本移動(dòng)終端上傳的圖像流，并將該圖像流疊加到本地界面圖像上輸出顯示。

優(yōu)選的，所述本移動(dòng)終端或是相對(duì)移動(dòng)終端所傳輸?shù)谋镜亟缑鎴D像為移動(dòng)終端上特定區(qū)域的界面圖像，如圖2所示，相對(duì)移動(dòng)終端截取其用戶界面上箭頭指向的框線內(nèi)的圖像作為所述本地界面圖像流，然后將該本地界面圖像流通過已建立的遠(yuǎn)程連接通道傳輸至本移動(dòng)終端，本移動(dòng)終端接收該圖像流的同時(shí)，同步將本移動(dòng)終端的本地界面圖像流傳輸至相對(duì)移動(dòng)終端。

步驟s300：本移動(dòng)終端將其所接收的所述相對(duì)移動(dòng)終端的本地界面圖像流疊加到自身本地界面圖像上輸出顯示。

本移動(dòng)終端接收到相對(duì)移動(dòng)終端所傳輸?shù)慕缑鎴D像流后，將其疊加到本地界面圖像上進(jìn)行輸出顯示，優(yōu)選的，所述相對(duì)移動(dòng)終端的界面圖像在本移動(dòng)終端上以懸浮窗的形式輸出顯示。并且，優(yōu)選的，當(dāng)本移動(dòng)終端在輸出顯示相對(duì)移動(dòng)終端的界面圖像時(shí)同步將自身的本地界面圖像傳輸至相對(duì)移動(dòng)終端的時(shí)候，本移動(dòng)終端截取的本地的界面圖像不涵蓋相對(duì)移動(dòng)終端在本移動(dòng)終端上輸出顯示的懸浮窗畫面，即本移動(dòng)終端所截取的界面圖像為懸浮窗底層的本移動(dòng)終端原有的界面圖像，如圖3所示是本移動(dòng)終端將接收到的相對(duì)移動(dòng)終端的界面圖像(圖3中箭頭指向的框線內(nèi)的部分)在自身的本地界面圖像上疊加后輸出的顯示效果示意圖。

在以懸浮窗展示所接收到的相對(duì)移動(dòng)終端的界面圖像后，接收作用于懸浮窗的操作指令，懸浮窗根據(jù)所述操作指令執(zhí)行對(duì)應(yīng)的操作，所述操作指令包括如下指令：

本發(fā)明一種實(shí)施例，所述懸浮窗接收作用于其上的縮放指令，將懸浮窗的長(zhǎng)、寬等比例地放大/縮小。

本發(fā)明另一種實(shí)施例，所述懸浮穿接收作用于其上的移動(dòng)指令，將所述懸浮窗移動(dòng)到指定位置處展示。

本發(fā)明另一種實(shí)施例，所述懸浮穿接收作用于其上的隱藏指令，將懸浮窗縮小為以一個(gè)標(biāo)識(shí)圖標(biāo)展示在本移動(dòng)終端的用戶界面上，相應(yīng)地，在接收到作用于該標(biāo)識(shí)圖標(biāo)的展示指令后，將隱藏前的懸浮窗重新展現(xiàn)在本移動(dòng)終端的用戶界面上。

本發(fā)明另一種實(shí)施例，所述懸浮窗接收作用于其上的關(guān)閉指令，本移動(dòng)終端將接收到的展示相對(duì)移動(dòng)終端的本地界面圖像流的懸浮窗關(guān)閉，同時(shí)，關(guān)閉本移動(dòng)終端向相對(duì)移動(dòng)終端發(fā)送本地界面圖像的端口，更優(yōu)選的，斷開本移動(dòng)終端與相對(duì)移動(dòng)終端的遠(yuǎn)程連接。

進(jìn)一步的，在本移動(dòng)終端輸出顯示所接收到的相對(duì)移動(dòng)終端的界面圖像后，響應(yīng)作用于該界面圖像上的第一控制指令，根據(jù)預(yù)設(shè)的指令映射關(guān)系將第一控制指令模擬為作用在相對(duì)移動(dòng)終端上的第二控制指令，以讓所述相對(duì)移動(dòng)終端根據(jù)所述第二控制指令后執(zhí)行相應(yīng)的操作。具體的，所述相對(duì)移動(dòng)終端上截取的界面圖像在本移動(dòng)終端上顯示時(shí)其長(zhǎng)寬等比例放大/縮小，然后根據(jù)指令映射關(guān)系將作用在相對(duì)移動(dòng)終端界面圖像上的觸控操作、滑動(dòng)操作等模擬為作用在相對(duì)移動(dòng)終端上對(duì)應(yīng)位置的觸控操作、滑動(dòng)操作，例如本實(shí)施例中實(shí)現(xiàn)將第一控制指令模擬為第二控制指令的實(shí)施方式如下：如圖4所示是本移動(dòng)終端上顯示的相對(duì)移動(dòng)終端的界面圖像的像素圖(18px*12px)，、圖5所示是相對(duì)移動(dòng)終端截取、傳輸?shù)钠浔镜亟缑鎴D像的像素圖(9px*6px)，其中每一個(gè)方格代表一個(gè)像素點(diǎn)，本移動(dòng)終端以2倍的比例放大顯示相對(duì)移動(dòng)終端所截取、傳輸?shù)慕缑鎴D像，在本移動(dòng)終端上顯示的相對(duì)移動(dòng)終端傳輸?shù)漠嬅鎱^(qū)域，以一個(gè)二維坐標(biāo)系建立起該區(qū)域內(nèi)的每一像素點(diǎn)的確定關(guān)系，即該區(qū)域上的任何一像素點(diǎn)都對(duì)應(yīng)有唯一的一個(gè)坐標(biāo)，根據(jù)該像素點(diǎn)的坐標(biāo)與縮放比例確定該像素點(diǎn)對(duì)應(yīng)于相對(duì)終端上的所截取的特定區(qū)域內(nèi)的目標(biāo)像素點(diǎn)，假如用戶點(diǎn)擊圖4中坐標(biāo)為(8,8)的灰色像素點(diǎn)時(shí)，根據(jù)映射關(guān)系，在相對(duì)移動(dòng)終端所截取的界面圖像中即坐標(biāo)為(4,4)的目標(biāo)像素點(diǎn)，也即為圖5中的灰色像素點(diǎn)。故若在本移動(dòng)終端上點(diǎn)擊顯示區(qū)域中坐標(biāo)(8,8)的像素點(diǎn)，經(jīng)過轉(zhuǎn)化后則模擬為點(diǎn)擊相對(duì)移動(dòng)終端上所截取區(qū)域中坐標(biāo)(4,4)的像素點(diǎn)，以此就將作用于本移動(dòng)終端上的第一控制指令模擬為作用于相對(duì)移動(dòng)終端上的第二控制指令，然后相對(duì)移動(dòng)終端根據(jù)所述第二控制指令執(zhí)行相應(yīng)的操作?？梢岳斫獾氖牵鰧⒌谝豢刂浦噶钅M為第二控制指令的過程可以由本移動(dòng)終端完成、或由云端服務(wù)器完成、或由相對(duì)移動(dòng)終端完成，其實(shí)現(xiàn)原理均與上述相同。

優(yōu)選地，本發(fā)明實(shí)施例中，只有在相對(duì)移動(dòng)終端將其控制權(quán)限授予本移動(dòng)終端后，才能完成所述指令模擬轉(zhuǎn)化操作。具體的，可在相對(duì)移動(dòng)終端的客戶端軟件上提供一個(gè)諸如“授權(quán)”的按鈕，用戶通過點(diǎn)擊該按鈕可以將相對(duì)移動(dòng)終端的控制權(quán)限授予與相對(duì)移動(dòng)終端當(dāng)前建立起通信連接的本移動(dòng)終端，同時(shí)“授權(quán)”按鈕轉(zhuǎn)變?yōu)椤耙咽跈?quán)”狀態(tài)，若再次點(diǎn)擊所述“已授權(quán)”狀態(tài)的按鈕，可以撤回授予本移動(dòng)終端的控制權(quán)限。進(jìn)一步的，本發(fā)明實(shí)施例中，圖像流傳輸是雙向傳輸?shù)?，故本移?dòng)終端同樣可以將其控制權(quán)限授予相對(duì)移動(dòng)終端，以使相對(duì)移動(dòng)終端完成如前所述的指令模擬轉(zhuǎn)化功能。

進(jìn)一步的，在相對(duì)移動(dòng)終端根據(jù)第二控制指令執(zhí)行相應(yīng)的操作之后，其傳輸至本移動(dòng)終端的界面圖像流也實(shí)時(shí)更新，本移動(dòng)終端亦實(shí)時(shí)更新所接收到的相對(duì)移動(dòng)終端的界面圖像流的顯示內(nèi)容。

本發(fā)明的一種應(yīng)用場(chǎng)景為游戲場(chǎng)景，如圖6所示，用戶a與用戶b通過建立連接后互相傳輸本地特定區(qū)域內(nèi)的界面圖像內(nèi)容，在用戶a進(jìn)行游戲的時(shí)候?qū)崟r(shí)觀測(cè)用戶b的游戲畫面，在協(xié)助性、合作性較強(qiáng)的游戲中用戶a與用戶b能更好地根據(jù)對(duì)方的實(shí)時(shí)狀態(tài)作出游戲判斷和響應(yīng)。

本發(fā)明的另一應(yīng)用場(chǎng)景為教學(xué)場(chǎng)景，用戶a與用戶b通過建立連接后互相傳輸本地特定區(qū)域內(nèi)的界面圖像內(nèi)容，用戶a熟悉某一操作如軟件安裝而要教用戶b以授之以漁，此時(shí)通過實(shí)時(shí)的畫面?zhèn)鬏斠徊讲降剡M(jìn)行演示，同時(shí)用戶b在觀看用戶a的操作的同事亦可以在本地進(jìn)行同步操作，達(dá)到更好的教學(xué)效果。

本發(fā)明的另一應(yīng)用場(chǎng)景為內(nèi)容分享，用戶a與用戶b通過建立連接后互相傳輸本地特定區(qū)域內(nèi)的界面圖像內(nèi)容，用戶a跟用戶b就共同的拍攝主題進(jìn)行拍攝照片后，用戶a此刻要分享拍攝的照片給用戶b，同時(shí)用戶b亦要分享拍攝的照片給用戶a，同時(shí)將兩者的照片進(jìn)行對(duì)比，此時(shí)通過雙向傳輸?shù)慕缑鎴D像可以更好地在實(shí)現(xiàn)用戶a、用戶b間的照片相互觀看、對(duì)比。

第二方面，如圖7所示是本發(fā)明移動(dòng)終端遠(yuǎn)程控制裝置的一實(shí)施例示意圖，包括：

連接模塊100：用于與相對(duì)移動(dòng)終端建立遠(yuǎn)程連接通道。

在實(shí)現(xiàn)遠(yuǎn)程控制之前，需要連接模塊100建立本移動(dòng)終端與相對(duì)移動(dòng)終端的遠(yuǎn)程連接通道。具體的，本移動(dòng)終端與相對(duì)移動(dòng)終端上均配置有執(zhí)行遠(yuǎn)程控制功能的功能模塊，該功能模塊可以是安裝于移動(dòng)終端上的客戶端軟件或者內(nèi)置于移動(dòng)終端操作系統(tǒng)的插件，下述以安裝于移動(dòng)終端上的客戶端軟件為例進(jìn)行說(shuō)明。用戶通過唯一賬號(hào)登錄客戶端，客戶端相應(yīng)獲取移動(dòng)終端的特征信息如屏幕尺寸、屏幕分辨率、唯一識(shí)別標(biāo)識(shí)碼等，然后將用戶賬號(hào)關(guān)聯(lián)于移動(dòng)終端的特征信息上傳到云端服務(wù)器，云端服務(wù)器為每一個(gè)用戶賬號(hào)分配唯一的uid后與用戶賬號(hào)及移動(dòng)終端的特征信息關(guān)聯(lián)存儲(chǔ)，不同用戶通過對(duì)方用戶賬號(hào)即可查找到對(duì)方。

進(jìn)一步的，本移動(dòng)終端通過查找相對(duì)移動(dòng)終端的用戶賬號(hào)后，連接模塊100向云端服務(wù)器發(fā)送與相對(duì)移動(dòng)終端建立連接的請(qǐng)求，云端服務(wù)器將本移動(dòng)終端的連接請(qǐng)求發(fā)送至相對(duì)移動(dòng)終端，待所述相對(duì)移動(dòng)終端確認(rèn)后建立本移動(dòng)終端與相對(duì)移動(dòng)終端的遠(yuǎn)程連接通道。所述遠(yuǎn)程連接通道為數(shù)據(jù)報(bào)文傳輸通道，位于通道兩端的雙方分別扮演著客戶機(jī)跟流媒體服務(wù)器的角色，利用該遠(yuǎn)程連接通道實(shí)現(xiàn)雙方的數(shù)據(jù)傳輸。具體的，在建立本移動(dòng)終端與相對(duì)移動(dòng)終端的遠(yuǎn)程連接通道時(shí)，需要確認(rèn)雙方采用何種方式、何種協(xié)議來(lái)傳遞信令、建立通道，本實(shí)施例采用websocket并基于xmpp協(xié)議來(lái)傳輸信令、建立通道，通過該通道確定本移動(dòng)終端與相對(duì)移動(dòng)終端的ip地址、端口、及雙方所支持的編解碼器類別和視頻分辨率、碼率等信息。

傳輸模塊200：用于通過所述連接通道接收相對(duì)移動(dòng)終端傳輸?shù)谋镜亟缑鎴D像流，同步將本移動(dòng)終端的本地界面圖像流傳輸給相對(duì)移動(dòng)終端，以供所述相對(duì)移動(dòng)終端將之疊加到其本地界面圖像上輸出顯示。

通過建立的遠(yuǎn)程連接通道，利用webrtc實(shí)現(xiàn)本移動(dòng)終端與相對(duì)移動(dòng)終端的視訊音訊傳輸，webrtc是網(wǎng)頁(yè)實(shí)時(shí)通信(webreal-timecommunication)的縮寫，可以支持網(wǎng)頁(yè)瀏覽器進(jìn)行實(shí)時(shí)語(yǔ)音對(duì)話和/或視頻對(duì)話，webrtc提供了視頻語(yǔ)音會(huì)話的核心技術(shù)，包括音視頻的采集、編解碼、網(wǎng)絡(luò)傳輸、顯示等功能，并且支持跨平臺(tái)如windows，linux，mac，android等平臺(tái)的使用，webrtc底層基于srtp和udp，通過瀏覽器提供簡(jiǎn)單的javascript就可以達(dá)到實(shí)時(shí)通訊能力，并且對(duì)于弱網(wǎng)情況下優(yōu)化空間大。本實(shí)施例中，通過獲取移動(dòng)終端的屏幕圖像及麥克風(fēng)采集獲得視頻、音頻的同步流，相應(yīng)的，所述安裝于移動(dòng)終端的客戶端軟件也基于webrtc進(jìn)行設(shè)計(jì)，可以理解為客戶端軟件是基于瀏覽器/web進(jìn)行設(shè)計(jì)的，本移動(dòng)終端和相對(duì)移動(dòng)終端通過該客戶端軟件實(shí)現(xiàn)音頻視頻對(duì)話。

利用webrtc實(shí)現(xiàn)本移動(dòng)終端與相對(duì)移動(dòng)終端通過遠(yuǎn)程連接通道之間的流數(shù)據(jù)傳輸，該流數(shù)據(jù)連接通道是點(diǎn)對(duì)點(diǎn)的，不需要經(jīng)過云端服務(wù)器的中轉(zhuǎn)，云端服務(wù)器在建立本移動(dòng)終端與相對(duì)移動(dòng)終端的遠(yuǎn)程連接通道、傳輸圖像流過程中，只需完成中轉(zhuǎn)信令以建立所述遠(yuǎn)程連接通道，后續(xù)本移動(dòng)終端與相對(duì)移動(dòng)終端的流數(shù)據(jù)傳輸均無(wú)需再通過云端服務(wù)器。

本發(fā)明的一種實(shí)施例，本移動(dòng)終端/相對(duì)移動(dòng)終端即充當(dāng)客戶機(jī)又充當(dāng)流媒體服務(wù)器，即相對(duì)移動(dòng)終端將其本地界面圖像流傳輸至充當(dāng)流媒體服務(wù)器的本移動(dòng)終端，同時(shí)本移動(dòng)終端也將其本地界面圖像流傳輸至充當(dāng)客戶機(jī)的相對(duì)移動(dòng)終端，以供相對(duì)移動(dòng)終端將該圖像流疊加到本地界面圖像上輸出顯示。本實(shí)施例通過將相對(duì)移動(dòng)終端的流數(shù)據(jù)通過遠(yuǎn)程連接通道直接傳輸至本移動(dòng)終端，數(shù)據(jù)流無(wú)需經(jīng)過云端服務(wù)器進(jìn)行中轉(zhuǎn)，避免客戶端軟件上傳流數(shù)據(jù)到云端服務(wù)器和云端服務(wù)器轉(zhuǎn)發(fā)流數(shù)據(jù)到客戶端軟件所造成的傳輸效率低的問題。

可以理解的是，本發(fā)明優(yōu)選采用本移動(dòng)終端與相對(duì)移動(dòng)終端之間的點(diǎn)對(duì)點(diǎn)傳輸?shù)姆桨福?dāng)點(diǎn)對(duì)點(diǎn)傳輸失敗時(shí)，再通過云端服務(wù)器進(jìn)行數(shù)據(jù)流的中轉(zhuǎn)，即相對(duì)移動(dòng)終端將其本地界面圖像流上傳到云端服務(wù)器，本移動(dòng)終端從云端服務(wù)器上拉取相對(duì)移動(dòng)終端上傳的圖像流，并且本移動(dòng)終端同步地將自身的本地界面圖像流上傳到云端服務(wù)器，相對(duì)移動(dòng)終端亦可從云端服務(wù)器上拉取本移動(dòng)終端上傳的圖像流，并將該圖像流疊加到本地界面圖像上輸出顯示。

優(yōu)選的，所述本移動(dòng)終端或是相對(duì)移動(dòng)終端所傳輸?shù)谋镜亟缑鎴D像為移動(dòng)終端上特定區(qū)域的界面圖像，如圖2所示，相對(duì)移動(dòng)終端截取其用戶界面上箭頭指向的框線內(nèi)的圖像作為所述本地界面圖像流，然后將該本地界面圖像流通過已建立的遠(yuǎn)程連接通道傳輸至本移動(dòng)終端，本移動(dòng)終端接收該圖像流的同時(shí)，同步將本移動(dòng)終端的本地界面圖像流傳輸至相對(duì)移動(dòng)終端。

顯示模塊300：用于將其所接收的所述相對(duì)移動(dòng)終端的本地界面圖像流疊加到自身本地界面圖像上輸出顯示。

本移動(dòng)終端接收到相對(duì)移動(dòng)終端所傳輸?shù)慕缑鎴D像流后，將其疊加到本地界面圖像上進(jìn)行輸出顯示，優(yōu)選的，所述相對(duì)移動(dòng)終端的界面圖像在本移動(dòng)終端上以懸浮窗的形式輸出顯示。并且，優(yōu)選的，當(dāng)本移動(dòng)終端在輸出顯示相對(duì)移動(dòng)終端的界面圖像時(shí)同步將自身的本地界面圖像傳輸至相對(duì)移動(dòng)終端的時(shí)候，本移動(dòng)終端截取的本地的界面圖像不涵蓋相對(duì)移動(dòng)終端在本移動(dòng)終端上輸出顯示的懸浮窗畫面，即本移動(dòng)終端所截取的界面圖像為懸浮窗底層的本移動(dòng)終端原有的界面圖像，如圖3所示是本移動(dòng)終端將接收到的相對(duì)移動(dòng)終端的界面圖像(圖3中箭頭指向的框線內(nèi)的部分)在自身的本地界面圖像上疊加后輸出的顯示效果示意圖。

在以懸浮窗展示所接收到的相對(duì)移動(dòng)終端的界面圖像后，接收作用于懸浮窗的操作指令，懸浮窗根據(jù)所述操作指令執(zhí)行對(duì)應(yīng)的操作，所述操作指令包括如下指令：

本發(fā)明一種實(shí)施例，所述懸浮窗接收作用于其上的縮放指令，將懸浮窗的長(zhǎng)、寬等比例地放大/縮小。

本發(fā)明另一種實(shí)施例，所述懸浮穿接收作用于其上的移動(dòng)指令，將所述懸浮窗移動(dòng)到指定位置處展示。

本發(fā)明另一種實(shí)施例，所述懸浮穿接收作用于其上的隱藏指令，將懸浮窗縮小為以一個(gè)標(biāo)識(shí)圖標(biāo)展示在本移動(dòng)終端的用戶界面上，相應(yīng)地，在接收到作用于該標(biāo)識(shí)圖標(biāo)的展示指令后，將隱藏前的懸浮窗重新展現(xiàn)在本移動(dòng)終端的用戶界面上。

本發(fā)明另一種實(shí)施例，所述懸浮窗接收作用于其上的關(guān)閉指令，本移動(dòng)終端將接收到的展示相對(duì)移動(dòng)終端的本地界面圖像流的懸浮窗關(guān)閉，同時(shí)，關(guān)閉本移動(dòng)終端向相對(duì)移動(dòng)終端發(fā)送本地界面圖像的端口，更優(yōu)選的，斷開本移動(dòng)終端與相對(duì)移動(dòng)終端的遠(yuǎn)程連接。

進(jìn)一步的，所述裝置還包括指令模擬模塊400：用于在本移動(dòng)終端輸出顯示所接收到的相對(duì)移動(dòng)終端的界面圖像后，響應(yīng)作用于該界面圖像上的第一控制指令，根據(jù)預(yù)設(shè)的指令映射關(guān)系將第一控制指令模擬為作用在相對(duì)移動(dòng)終端上的第二控制指令，以讓所述相對(duì)移動(dòng)終端根據(jù)所述第二控制指令后執(zhí)行相應(yīng)的操作。

具體的，所述相對(duì)移動(dòng)終端上截取的界面圖像在本移動(dòng)終端上顯示時(shí)其長(zhǎng)寬等比例放大/縮小，然后指令模擬模塊400根據(jù)指令映射關(guān)系將作用在相對(duì)移動(dòng)終端界面圖像上的觸控操作、滑動(dòng)操作等模擬為作用在相對(duì)移動(dòng)終端上對(duì)應(yīng)位置的觸控操作、滑動(dòng)操作，例如本實(shí)施例中實(shí)現(xiàn)將第一控制指令模擬為第二控制指令的實(shí)施方式如下：如圖4所示是本移動(dòng)終端上顯示的相對(duì)移動(dòng)終端的界面圖像的像素圖(18px*12px)，、圖5所示是相對(duì)移動(dòng)終端截取、傳輸?shù)钠浔镜亟缑鎴D像的像素圖(9px*6px)，其中每一個(gè)方格代表一個(gè)像素點(diǎn)，本移動(dòng)終端以2倍的比例放大顯示相對(duì)移動(dòng)終端所截取、傳輸?shù)慕缑鎴D像，在本移動(dòng)終端上顯示的相對(duì)移動(dòng)終端傳輸?shù)漠嬅鎱^(qū)域，以一個(gè)二維坐標(biāo)系建立起該區(qū)域內(nèi)的每一像素點(diǎn)的確定關(guān)系，即該區(qū)域上的任何一像素點(diǎn)都對(duì)應(yīng)有唯一的一個(gè)坐標(biāo)，根據(jù)該像素點(diǎn)的坐標(biāo)與縮放比例確定該像素點(diǎn)對(duì)應(yīng)于相對(duì)終端上的所截取的特定區(qū)域內(nèi)的目標(biāo)像素點(diǎn)，假如用戶點(diǎn)擊圖4中坐標(biāo)為(8,8)的灰色像素點(diǎn)時(shí)，根據(jù)映射關(guān)系，在相對(duì)移動(dòng)終端所截取的界面圖像中即坐標(biāo)為(4,4)的目標(biāo)像素點(diǎn)，也即為圖5中的灰色像素點(diǎn)。故若在本移動(dòng)終端上點(diǎn)擊顯示區(qū)域中坐標(biāo)(8,8)的像素點(diǎn)，經(jīng)過轉(zhuǎn)化后則模擬為點(diǎn)擊相對(duì)移動(dòng)終端上所截取區(qū)域中坐標(biāo)(4,4)的像素點(diǎn)，以此就將作用于本移動(dòng)終端上的第一控制指令模擬為作用于相對(duì)移動(dòng)終端上的第二控制指令，然后相對(duì)移動(dòng)終端根據(jù)所述第二控制指令執(zhí)行相應(yīng)的操作?？梢岳斫獾氖?，所述將第一控制指令模擬為第二控制指令的過程可以由本移動(dòng)終端完成、或由云端服務(wù)器完成、或由相對(duì)移動(dòng)終端完成，其實(shí)現(xiàn)原理均與上述相同。

優(yōu)選地，指令模擬模塊400包括授權(quán)單元401，用于在所述相對(duì)移動(dòng)終端將其控制權(quán)限授予本移動(dòng)終端后，執(zhí)行指令模擬操作。

本發(fā)明實(shí)施例中，只有在相對(duì)移動(dòng)終端將其控制權(quán)限授予本移動(dòng)終端后，才能完成所述指令模擬轉(zhuǎn)化操作。具體的，可在相對(duì)移動(dòng)終端的客戶端軟件上提供一個(gè)諸如“授權(quán)”的按鈕，用戶通過點(diǎn)擊該按鈕可以將相對(duì)移動(dòng)終端的控制權(quán)限授予與相對(duì)移動(dòng)終端當(dāng)前建立起通信連接的本移動(dòng)終端，同時(shí)“授權(quán)”按鈕轉(zhuǎn)變?yōu)椤耙咽跈?quán)”狀態(tài)，若再次點(diǎn)擊所述“已授權(quán)”狀態(tài)的按鈕，可以撤回授予本移動(dòng)終端的控制權(quán)限。進(jìn)一步的，本發(fā)明實(shí)施例中，圖像流傳輸是雙向傳輸?shù)?，故本移?dòng)終端同樣可以將其控制權(quán)限授予相對(duì)移動(dòng)終端，以使相對(duì)移動(dòng)終端完成如前所述的指令模擬轉(zhuǎn)化功能。

進(jìn)一步的，在相對(duì)移動(dòng)終端根據(jù)第二控制指令執(zhí)行相應(yīng)的操作之后，其傳輸至本移動(dòng)終端的界面圖像流也實(shí)時(shí)更新，顯示模塊300亦實(shí)時(shí)更新所接收到的相對(duì)移動(dòng)終端的界面圖像流的顯示內(nèi)容。

另外，本發(fā)明還提供一種移動(dòng)終端，用于實(shí)現(xiàn)移動(dòng)終端遠(yuǎn)程控制方法，如圖8所示，為了便于說(shuō)明，僅示出了與本發(fā)明實(shí)施例相關(guān)的部分，具體技術(shù)細(xì)節(jié)未揭示的，請(qǐng)參照本發(fā)明實(shí)施例方法部分。該終端可以為包括手機(jī)、平板電腦、pda(personaldigitalassistant，個(gè)人數(shù)字助理)、pos(pointofsales，銷售終端)、車載電腦等任意終端設(shè)備，以移動(dòng)終端為手機(jī)為例：

圖8示出的是與本發(fā)明實(shí)施例提供的移動(dòng)終端相關(guān)的手機(jī)的部分結(jié)構(gòu)的框圖。參考圖8，手機(jī)包括：基帶處理模塊810、存儲(chǔ)器820、輸入單元830、顯示單元840、傳感器850、音頻電路860、無(wú)線保真(wirelessfidelity，wifi)模塊870、處理器880、以及電源890等部件。本領(lǐng)域技術(shù)人員可以理解，圖8中示出的手機(jī)結(jié)構(gòu)并不構(gòu)成對(duì)手機(jī)的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件布置。

基帶處理模塊810可用于合成即將發(fā)射的基帶信號(hào)，或?qū)邮盏降幕鶐盘?hào)進(jìn)行解碼。具體地說(shuō)，就是發(fā)射時(shí)把音頻信號(hào)編譯成用來(lái)發(fā)射的基帶碼；接收時(shí)，把收到的基帶碼解譯為音頻信號(hào)。同時(shí)，也負(fù)責(zé)地址信息(手機(jī)號(hào)、網(wǎng)站地址)、文字信息(短訊文字、網(wǎng)站文字)、圖片信息(彩信)的編譯。

存儲(chǔ)器820可用于存儲(chǔ)軟件程序以及模塊，處理器880通過運(yùn)行存儲(chǔ)在存儲(chǔ)器820的軟件程序以及模塊，從而執(zhí)行手機(jī)的各種功能應(yīng)用以及數(shù)據(jù)處理。存儲(chǔ)器820可主要包括存儲(chǔ)程序區(qū)和存儲(chǔ)數(shù)據(jù)區(qū)，其中，存儲(chǔ)程序區(qū)可存儲(chǔ)操作系統(tǒng)、至少一個(gè)功能所需的應(yīng)用程序(比如聲音播放功能、圖像播放功能等)等；存儲(chǔ)數(shù)據(jù)區(qū)可存儲(chǔ)根據(jù)手機(jī)的使用所創(chuàng)建的數(shù)據(jù)(比如音頻數(shù)據(jù)、電話本等)等。此外，存儲(chǔ)器820可以包括高速隨機(jī)存取存儲(chǔ)器，還可以包括非易失性存儲(chǔ)器，例如至少一個(gè)磁盤存儲(chǔ)器件、閃存器件、或其他易失性固態(tài)存儲(chǔ)器件。

輸入單元830可用于接收輸入的數(shù)字或字符信息，以及產(chǎn)生與手機(jī)的用戶設(shè)置以及功能控制有關(guān)的鍵信號(hào)輸入。具體地，輸入單元830可包括觸控面板831以及其他輸入設(shè)備832。觸控面板831，也稱為觸摸屏，可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸控面板831上或在觸控面板831附近的操作)，并根據(jù)預(yù)先設(shè)定的程式驅(qū)動(dòng)相應(yīng)的連接裝置?？蛇x的，觸控面板831可包括觸摸檢測(cè)裝置和觸摸控制器兩個(gè)部分。其中，觸摸檢測(cè)裝置檢測(cè)用戶的觸摸方位，并檢測(cè)觸摸操作帶來(lái)的信號(hào)，將信號(hào)傳送給觸摸控制器；觸摸控制器從觸摸檢測(cè)裝置上接收觸摸信息，并將它轉(zhuǎn)換成觸點(diǎn)坐標(biāo)，再送給處理器880，并能接收處理器880發(fā)來(lái)的命令并加以執(zhí)行。此外，可以采用電阻式、電容式、紅外線以及表面聲波等多種類型實(shí)現(xiàn)觸控面板831。除了觸控面板831，輸入單元830還可以包括其他輸入設(shè)備832。具體地，其他輸入設(shè)備832可以包括但不限于物理鍵盤、功能鍵(比如音量控制按鍵、開關(guān)按鍵等)、軌跡球、鼠標(biāo)、操作桿等中的一種或多種。

顯示單元840可用于顯示由用戶輸入的信息或提供給用戶的信息以及手機(jī)的各種菜單。顯示單元840可包括顯示面板841，可選的，可以采用液晶顯示器(liquidcrystaldisplay，lcd)、有機(jī)發(fā)光二極管(organiclight-emittingdiode,oled)等形式來(lái)配置顯示面板841。進(jìn)一步的，觸控面板831可覆蓋顯示面板841，當(dāng)觸控面板831檢測(cè)到在其上或附近的觸摸操作后，傳送給處理器880以確定觸摸事件的類型，隨后處理器880根據(jù)觸摸事件的類型在顯示面板841上提供相應(yīng)的視覺輸出。雖然在圖8中，觸控面板831與顯示面板841是作為兩個(gè)獨(dú)立的部件來(lái)實(shí)現(xiàn)手機(jī)的輸入和輸入功能，但是在某些實(shí)施例中，可以將觸控面板831與顯示面板841集成而實(shí)現(xiàn)手機(jī)的輸入和輸出功能。

手機(jī)還可包括至少一種傳感器850，比如光傳感器、運(yùn)動(dòng)傳感器以及其他傳感器。具體地，光傳感器可包括環(huán)境光傳感器及接近傳感器，其中，環(huán)境光傳感器可根據(jù)環(huán)境光線的明暗來(lái)調(diào)節(jié)顯示面板841的亮度，接近傳感器可在手機(jī)移動(dòng)到耳邊時(shí)，關(guān)閉顯示面板841和/或背光。作為運(yùn)動(dòng)傳感器的一種，加速計(jì)傳感器可檢測(cè)各個(gè)方向上(一般為三軸)加速度的大小，靜止時(shí)可檢測(cè)出重力的大小及方向，可用于識(shí)別手機(jī)姿態(tài)的應(yīng)用(比如橫豎屏切換、相關(guān)游戲、磁力計(jì)姿態(tài)校準(zhǔn))、振動(dòng)識(shí)別相關(guān)功能(比如計(jì)步器、敲擊)等；至于手機(jī)還可配置的陀螺儀、氣壓計(jì)、濕度計(jì)、溫度計(jì)、紅外線傳感器等其他傳感器，在此不再贅述。

音頻電路860、揚(yáng)聲器861，傳聲器862可提供用戶與手機(jī)之間的音頻接口。音頻電路860可將接收到的音頻數(shù)據(jù)轉(zhuǎn)換后的電信號(hào)，傳輸?shù)綋P(yáng)聲器861，由揚(yáng)聲器861轉(zhuǎn)換為聲音信號(hào)輸出；另一方面，傳聲器862將收集的聲音信號(hào)轉(zhuǎn)換為電信號(hào)，由音頻電路860接收后轉(zhuǎn)換為音頻數(shù)據(jù)，再將音頻數(shù)據(jù)輸出處理器880處理后，經(jīng)rf電路810以發(fā)送給比如另一手機(jī)，或者將音頻數(shù)據(jù)輸出至存儲(chǔ)器820以便進(jìn)一步處理。

wifi屬于短距離無(wú)線傳輸技術(shù)，手機(jī)通過wifi模塊870可以幫助用戶收發(fā)電子郵件、瀏覽網(wǎng)頁(yè)和訪問流式媒體等，它為用戶提供了無(wú)線的寬帶互聯(lián)網(wǎng)訪問。雖然圖8示出了wifi模塊870，但是可以理解的是，其并不屬于手機(jī)的必須構(gòu)成，完全可以根據(jù)需要在不改變發(fā)明的本質(zhì)的范圍內(nèi)而省略。

處理器880是手機(jī)的控制中心，利用各種接口和線路連接整個(gè)手機(jī)的各個(gè)部分，通過運(yùn)行或執(zhí)行存儲(chǔ)在存儲(chǔ)器820內(nèi)的軟件程序和/或模塊，以及調(diào)用存儲(chǔ)在存儲(chǔ)器820內(nèi)的數(shù)據(jù)，執(zhí)行手機(jī)的各種功能和處理數(shù)據(jù)，從而對(duì)手機(jī)進(jìn)行整體監(jiān)控?？蛇x的，處理器880可包括一個(gè)或多個(gè)處理單元；優(yōu)選的，處理器880可集成應(yīng)用處理器和調(diào)制解調(diào)處理器，其中，應(yīng)用處理器主要處理操作系統(tǒng)、用戶界面和應(yīng)用程序等，調(diào)制解調(diào)處理器主要處理無(wú)線通信?？梢岳斫獾氖?，上述調(diào)制解調(diào)處理器也可以不集成到處理器880中。

手機(jī)還包括給各個(gè)部件供電的電源890(比如電池)，優(yōu)選的，電源可以通過電源管理系統(tǒng)與處理器880邏輯相連，從而通過電源管理系統(tǒng)實(shí)現(xiàn)管理充電、放電、以及功耗管理等功能。

盡管未示出，手機(jī)還可以包括攝像頭、藍(lán)牙模塊等，在此不再贅述。

在本發(fā)明實(shí)施例中，該終端所包括的處理器880還具有以下功能：

與相對(duì)移動(dòng)終端建立遠(yuǎn)程連接通道；

通過所述連接通道接收相對(duì)移動(dòng)終端傳輸?shù)谋镜亟缑鎴D像流，同步將本移動(dòng)終端的本地界面圖像流傳輸給相對(duì)移動(dòng)終端，以供所述相對(duì)移動(dòng)終端將之疊加到其本地界面圖像上輸出顯示；

將其所接收的所述相對(duì)移動(dòng)終端的本地界面圖像流疊加到自身本地界面圖像上輸出顯示。

綜上所述，本發(fā)明將本移動(dòng)終端與相對(duì)移動(dòng)終端兩者的界面圖像流通過雙向傳輸，使得在進(jìn)行遠(yuǎn)程控制時(shí)終端用戶相互間可以看到對(duì)方的界面圖像，提高遠(yuǎn)程控制的直觀效果，使得遠(yuǎn)程控制所達(dá)到的諸如教學(xué)目的更加高效、便捷。同時(shí)，本移動(dòng)終端與相對(duì)移動(dòng)終端的界面圖像流的雙向傳輸，增添了多樣化的遠(yuǎn)程控制功能，如遠(yuǎn)程教學(xué)、遠(yuǎn)程分享、遠(yuǎn)程辦公等功能，為用戶帶來(lái)更多的便利。

同時(shí)，本移動(dòng)終端在接收到相對(duì)移動(dòng)終端所傳輸?shù)慕缑鎴D像后，通過懸浮窗的形式將其疊加、呈現(xiàn)在本地的用戶界面上，不僅可以觀測(cè)到相對(duì)移動(dòng)終端所傳輸?shù)漠嬅鎯?nèi)容，同時(shí)可以進(jìn)行本移動(dòng)終端上的其它操作，讓用戶更加方便地在遠(yuǎn)程控制狀態(tài)與非遠(yuǎn)程控制狀態(tài)下自由切換。并且，懸浮窗的大小顯示可由用戶自行控制，達(dá)到最協(xié)調(diào)的觀看與操作并存的效果，同時(shí)，相對(duì)移動(dòng)終端的控制權(quán)限可由用戶自行開啟或關(guān)閉，最大程序地保護(hù)用戶的隱私。

進(jìn)一步的，本發(fā)明的遠(yuǎn)程控制方法利用可實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)傳輸?shù)墓δ苣K實(shí)現(xiàn)，打破現(xiàn)有的遠(yuǎn)程控制終端限制，實(shí)現(xiàn)跨品牌移動(dòng)終端間的遠(yuǎn)程控制，讓不同品牌的終端的用戶亦可以自由地實(shí)現(xiàn)終端遠(yuǎn)程控制。同時(shí)，在本移動(dòng)終端與相對(duì)移動(dòng)終端雙向傳輸各自的界面圖像時(shí)通過點(diǎn)對(duì)點(diǎn)傳輸，降低云端服務(wù)器的負(fù)荷，提高畫面圖像的清晰度及流暢度。

雖然上面已經(jīng)示出了本發(fā)明的一些示例性實(shí)施例，但是本領(lǐng)域的技術(shù)人員將理解，在不脫離本發(fā)明的原理或精神的情況下，可以對(duì)這些示例性實(shí)施例做出改變，本發(fā)明的范圍由權(quán)利要求及其等同物限定。