本發(fā)明涉及通信領域中的多終端管理技術，尤其涉及一種設備控制方法及移動終端。

背景技術：

當前技術中，當對多臺設備進行控制時，只能采用其設備對應的遙控器，或者使用移動終端與各臺設備對應的遙控器同步后模擬遙控器進行控制，操作方式較為復雜和單一，用戶體驗不佳。

技術實現要素：

本發(fā)明的主要目的在于提出一種設備控制方法及移動終端，旨在解決現有技術中存在的上述問題。

為實現上述目的，

本發(fā)明提供的一種設備控制方法，應用于移動終端，包括：

采集包含有至少一個第一類設備的圖像，在顯示區(qū)域中呈現包含有所述至少一個第一類設備的畫面；其中，所述第一類設備為至少具備圖像顯示功能的終端設備；

與所述至少一個第一類設備建立第一通信連接；

通過所述至少一個第一類設備中的第一目標設備的控制界面檢測到對應的操作指令時，將所述操作指令發(fā)送至所述第一目標設備；其中，所述控制界面位于對應的第一類設備在顯示區(qū)域中的顯示位置處、且至少用于提供針對第一類設備的輸出信息或第一類設備的操作參數進行控制的界面。

本發(fā)明提供的一種移動終端，包括：

采集模塊，用于采集包含有至少一個第一類設備的圖像；其中，所述第一類設備為至少具備圖像顯示功能的終端設備；

顯示模塊，用于在顯示區(qū)域中呈現包含有所述至少一個第一類設備的畫面；

第一通信模塊，用于與所述至少一個第一類設備建立第一通信連接；

處理模塊，用于通過所述至少一個第一類設備中的第一目標設備的控制界面檢測到對應的操作指令時，將所述操作指令發(fā)送至所述第一目標設備；其中，所述控制界面位于對應的第一類設備在顯示區(qū)域中的顯示位置處、且至少用于提供針對第一類設備的輸出信息或第一類設備的操作參數進行控制的界面。

本發(fā)明提出的一種設備控制方法及移動終端，同時采集并呈現包括有多個第一類設備的畫面，與多個第一類設備建立連接之后，通過目標設備對應的操作界面檢測到操作指令，發(fā)送該操作指令至目標設備。如此，就能夠從多個第一類設備中靈活的選取目標設備，僅通過視圖就獲取到針對目標設備的操作界面，實現了靈活并且快捷的對第一類設備進行控制，豐富了設備的交互場景。

附圖說明

圖1為實現本發(fā)明各個實施例的移動終端的硬件結構示意圖；

圖2為如圖1所示的移動終端的無線通信系統(tǒng)示意圖；

圖3為本發(fā)明實施例設備控制方法流程示意圖一；

圖4為本發(fā)明實施例場景示意圖一；

圖5為本發(fā)明實施例場景示意圖二；

圖6為本發(fā)明實施例獲場景示意圖三；

圖7為本發(fā)明實施例獲場景示意圖四；

圖8為本發(fā)明實施例獲場景示意圖五；

圖9為本發(fā)明實施例獲場景示意圖六；

圖10為本發(fā)明實施例設備控制方法流程示意圖二；

圖11為本發(fā)明實施例移動終端組成結構示意圖一；

圖12為本發(fā)明實施例移動終端組成結構示意圖二；

圖13為本發(fā)明實施例第一類設備的組成結構示意圖。

本發(fā)明目的的實現、功能特點及優(yōu)點將結合實施例，參照附圖做進一步說明。

具體實施方式

應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

現在將參考附圖描述實現本發(fā)明各個實施例的移動終端。在后續(xù)的描述中，使用用于表示元件的諸如“模塊”、“部件”或“模塊”的后綴僅為了有利于本發(fā)明的說明，其本身并沒有特定的意義。因此，"模塊"與"部件"可以混合地使用。

移動終端可以以各種形式來實施。例如，本發(fā)明中描述的終端可以包括諸如移動電話、智能電話、筆記本電腦、數字廣播接收器、PDA(個人數字助理)、PAD(平板電腦)、PMP(便攜式多媒體播放器)、導航裝置等等的移動終端以及諸如數字TV、臺式計算機等等的固定終端。下面，假設終端是移動終端。然而，本領域技術人員將理解的是，除了特別用于移動目的的元件之外，根據本發(fā)明的實施方式的構造也能夠應用于固定類型的終端。

圖1為實現本發(fā)明各個實施例的移動終端的硬件結構示意。

移動終端100可以包括無線通信單元110、A/V(音頻/視頻)輸入單元120、用戶輸入單元130、輸出單元150、存儲器160、接口單元170、控制器180和電源單元190等等。圖1示出了具有各種組件的移動終端，但是應理解的是，并不要求實施所有示出的組件。可以替代地實施更多或更少的組件。將在下面詳細描述移動終端的元件。

無線通信單元110通常包括一個或多個組件，其允許移動終端100與無線通信系統(tǒng)或網絡之間的無線電通信。

A/V輸入單元120用于接收音頻或視頻信號。A/V輸入單元120可以包括相機121，相機121對在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置獲得的靜態(tài)圖片或視頻的圖像數據進行處理。處理后的圖像幀可以顯示在顯示單元151上。經相機121處理后的圖像幀可以存儲在存儲器160(或其它存儲介質)中或者經由無線通信單元110進行發(fā)送。

用戶輸入單元130可以根據用戶輸入的命令生成鍵輸入數據以控制移動終端的各種操作。用戶輸入單元130允許用戶輸入各種類型的信息，并且可以包括鍵盤、鍋仔片、觸摸板(例如，檢測由于被接觸而導致的電阻、壓力、電容等等的變化的觸敏組件)、滾輪、搖桿等等。特別地，當觸摸板以層的形式疊加在顯示單元151上時，可以形成觸摸屏。

接口單元170用作至少一個外部裝置與移動終端100連接可以通過的接口。例如，外部裝置可以包括有線或無線頭戴式耳機端口、外部電源(或電池充電器)端口、有線或無線數據端口、存儲卡端口、用于連接具有識別模塊的裝置的端口、音頻輸入/輸出(I/O)端口、視頻I/O端口、耳機端口等等。識別模塊可以是存儲用于驗證用戶使用移動終端100的各種信息并且可以包括用戶識別模塊(UIM)、客戶識別模塊(SIM)、通用客戶識別模塊(USIM)等等。另外，具有識別模塊的裝置(下面稱為"識別裝置")可以采取智能卡的形式，因此，識別裝置可以經由端口或其它連接裝置與移動終端100連接。接口單元170可以用于接收來自外部裝置的輸入(例如，數據信息、電力等等)并且將接收到的輸入傳輸到移動終端100內的一個或多個元件或者可以用于在移動終端和外部裝置之間傳輸數據。

另外，當移動終端100與外部底座連接時，接口單元170可以用作允許通過其將電力從底座提供到移動終端100的路徑或者可以用作允許從底座輸入的各種命令信號通過其傳輸到移動終端的路徑。從底座輸入的各種命令信號或電力可以用作用于識別移動終端是否準確地安裝在底座上的信號。輸出單元150被構造為以視覺、音頻和/或觸覺方式提供輸出信號(例如，音頻信號、視頻信號、警報信號、振動信號等等)。輸出單元150可以包括顯示單元151、音頻輸出模塊152、警報單元153等等。

顯示單元151可以顯示在移動終端100中處理的信息。例如，當移動終端100處于電話通話模式時，顯示單元151可以顯示與通話或其它通信(例如，文本消息收發(fā)、多媒體文件下載等等)相關的用戶界面(UI)或圖形用戶界面(GUI)。當移動終端100處于視頻通話模式或者圖像捕獲模式時，顯示單元151可以顯示捕獲的圖像和/或接收的圖像、示出視頻或圖像以及相關功能的UI或GUI等等。

同時，當顯示單元151和觸摸板以層的形式彼此疊加以形成觸摸屏時，顯示單元151可以用作輸入裝置和輸出裝置。顯示單元151可以包括液晶顯示器(LCD)、薄膜晶體管LCD(TFT-LCD)、有機發(fā)光二極管(OLED)顯示器、柔性顯示器、三維(3D)顯示器等等中的至少一種。這些顯示器中的一些可以被構造為透明狀以允許用戶從外部觀看，這可以稱為透明顯示器，典型的透明顯示器可以例如為TOLED(透明有機發(fā)光二極管)顯示器等等。根據特定想要的實施方式，移動終端100可以包括兩個或更多顯示單元(或其它顯示裝置)，例如，移動終端可以包括外部顯示單元(未示出)和內部顯示單元(未示出)。觸摸屏可用于檢測觸摸輸入壓力以及觸摸輸入位置和觸摸輸入面積。

音頻輸出模塊152可以在移動終端處于呼叫信號接收模式、通話模式、記錄模式、語音識別模式、廣播接收模式等等模式下時，將無線通信單元110接收的或者在存儲器160中存儲的音頻數據轉換音頻信號并且輸出為聲音。而且，音頻輸出模塊152可以提供與移動終端100執(zhí)行的特定功能相關的音頻輸出(例如，呼叫信號接收聲音、消息接收聲音等等)。音頻輸出模塊152可以包括揚聲器、蜂鳴器等等。

警報單元153可以提供輸出以將事件的發(fā)生通知給移動終端100。典型的事件可以包括呼叫接收、消息接收、鍵信號輸入、觸摸輸入等等。除了音頻或視頻輸出之外，警報單元153可以以不同的方式提供輸出以通知事件的發(fā)生。例如，警報單元153可以以振動的形式提供輸出，當接收到呼叫、消息或一些其它進入通信(incomingcommunication)時，警報單元153可以提供觸覺輸出(即，振動)以將其通知給用戶。通過提供這樣的觸覺輸出，即使在用戶的移動電話處于用戶的口袋中時，用戶也能夠識別出各種事件的發(fā)生。警報單元153也可以經由顯示單元151或音頻輸出模塊152提供通知事件的發(fā)生的輸出。

存儲器160可以存儲由控制器180執(zhí)行的處理和控制操作的軟件程序等等，或者可以暫時地存儲己經輸出或將要輸出的數據(例如，電話簿、消息、靜態(tài)圖像、視頻等等)。而且，存儲器160可以存儲關于當觸摸施加到觸摸屏時輸出的各種方式的振動和音頻信號的數據。

存儲器160可以包括至少一種類型的存儲介質，所述存儲介質包括閃存、硬盤、多媒體卡、卡型存儲器(例如，SD或DX存儲器等等)、隨機訪問存儲器(RAM)、靜態(tài)隨機訪問存儲器(SRAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、可編程只讀存儲器(PROM)、磁性存儲器、磁盤、光盤等等。而且，移動終端100可以與通過網絡連接執(zhí)行存儲器160的存儲功能的網絡存儲裝置協作。

控制器180通?？刂埔苿咏K端的總體操作。例如，控制器180執(zhí)行與語音通話、數據通信、視頻通話等等相關的控制和處理。另外，控制器180可以包括用于再現(或回放)多媒體數據的多媒體模塊1810，多媒體模塊1810可以構造在控制器180內，或者可以構造為與控制器180分離?？刂破?80可以執(zhí)行模式識別處理，以將在觸摸屏上執(zhí)行的手寫輸入或者圖片繪制輸入識別為字符或圖像。

電源單元190在控制器180的控制下接收外部電力或內部電力并且提供操作各元件和組件所需的適當的電力。

這里描述的各種實施方式可以以使用例如計算機軟件、硬件或其任何組合的計算機可讀介質來實施。對于硬件實施，這里描述的實施方式可以通過使用特定用途集成電路(ASIC)、數字信號處理器(DSP)、數字信號處理裝置(DSPD)、可編程邏輯裝置(PLD)、現場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、被設計為執(zhí)行這里描述的功能的電子單元中的至少一種來實施，在一些情況下，這樣的實施方式可以在控制器180中實施。對于軟件實施，諸如過程或功能的實施方式可以與允許執(zhí)行至少一種功能或操作的單獨的軟件模塊來實施。軟件代碼可以由以任何適當的編程語言編寫的軟件應用程序(或程序)來實施，軟件代碼可以存儲在存儲器160中并且由控制器180執(zhí)行。

至此，己經按照其功能描述了移動終端。下面，為了簡要起見，將描述諸如折疊型、直板型、擺動型、滑動型移動終端等等的各種類型的移動終端中的滑動型移動終端作為示例。因此，本發(fā)明能夠應用于任何類型的移動終端，并且不限于滑動型移動終端。

如圖1中所示的移動終端100可以被構造為利用經由幀或分組發(fā)送數據的諸如有線和無線通信系統(tǒng)以及基于衛(wèi)星的通信系統(tǒng)來操作。

現在將參考圖2描述其中根據本發(fā)明的移動終端能夠操作的通信系統(tǒng)。

這樣的通信系統(tǒng)可以使用不同的空中接口和/或物理層。例如，由通信系統(tǒng)使用的空中接口包括例如頻分多址(FDMA)、時分多址(TDMA)、碼分多址(CDMA)和通用移動通信系統(tǒng)(UMTS)(特別地，長期演進(LTE))、全球移動通信系統(tǒng)(GSM)等等。作為非限制性示例，下面的描述涉及CDMA通信系統(tǒng)，但是這樣的教導同樣適用于其它類型的系統(tǒng)。

參考圖2，CDMA無線通信系統(tǒng)可以包括多個移動終端100、多個基站(BS)270、基站控制器(BSC)275和移動交換中心(MSC)280。MSC280被構造為與公共電話交換網絡(PSTN)290形成接口。MSC280還被構造為與可以經由回程線路耦接到基站270的BSC275形成接口?；爻叹€路可以根據若干己知的接口中的任一種來構造，所述接口包括例如E1/T1、ATM，IP、PPP、幀中繼、HDSL、ADSL或xDSL。將理解的是，如圖2中所示的系統(tǒng)可以包括多個BSC2750。在圖2中，描繪了多個衛(wèi)星300，但是理解的是，可以利用任何數目的衛(wèi)星獲得有用的定位信息。

基于上述移動終端硬件結構以及通信系統(tǒng)，提出本發(fā)明方法各個實施例。

實施例一

本發(fā)明實施例提供了一種設備控制方法，應用于移動終端，如圖3所示，所述方法包括：

步驟301：采集包含有至少一個第一類設備的圖像，在顯示區(qū)域中呈現包含有所述至少一個第一類設備的畫面；其中，所述第一類設備為至少具備圖像顯示功能的終端設備；

步驟302：與所述至少一個第一類設備建立第一通信連接；

步驟303：通過所述至少一個第一類設備中的第一目標設備的控制界面檢測到對應的操作指令時，將所述操作指令發(fā)送至所述第一目標設備；其中，所述控制界面位于對應的第一類設備在顯示區(qū)域中的顯示位置處、且至少用于提供針對第一類設備的輸出信息或第一類設備的操作參數進行控制的界面。

這里，所述第一類設備為至少具備圖像顯示功能的終端設備，也就是說，第一類設備可以為電視、筆記本電腦、平板電腦等。移動終端可以為智能手機、還可以為平板電腦等，也就是說，移動終端可以為具備無線通信功能、圖像采集功能的設備。

另外，本實施例提供的場景，可以參見圖4，移動終端，比如，智能手機，能夠與多個圖像顯示功能的終端設備建立連接，比如，圖中一個用戶通過手機，與電視、Pad以及筆記本電腦均建立連接。

上述采集包含有至少一個第一類設備的圖像可以為通過圖像采集模塊進行采集，比如，可以為移動終端中設置的攝像頭，包括有前置和/或后置攝像頭。

進一步需要指出的是，移動終端執(zhí)行步驟301之前，可以通過開啟圖像采集模塊采集到包括有多個設備的圖像，這多個設備中可以包括有除了第一類設備之外的其他類別的設備，比如，圖5所示，移動終端采集到的圖像中，包括有電視、空調；

那么在執(zhí)行步驟301之前，所述方法還可以包括：根據包含有至少一個設備的圖像，對每一個設備進行特征識別提取得到每一個設備對應的特征信息，基于所述特征信息確定每一個設備對應的設備類型；

其中，所述設備類型至少可以包括有：第一類設備為夠建立無線通信連接、且具備圖像顯示功能的終端設備；第二類設備不具備圖像顯示功能的終端設備。

所述對每一個設備進行特征識別的方法，可以為，通過每一個設備對應的標識信息進行特征識別，比如，通過設備上貼的二維碼進行特征識別，或者，可以通過設備的序列號來進行識別；

具體來說，參見圖6，假設當前采集到的圖像中，包含有電視、空調這兩個設備，電視的下邊框處有一個二維碼1、另外空調的右側也有一個二維碼2，通過對圖像進行分析，分別識別出來這兩個二維碼1和2；然后解析這兩個二維碼1和2分別得到設備對應的信息，比如，具體可以包括有設備的名稱、設備的類型、設備的編號等等，這里不進行窮舉?？梢钥闯觯ㄟ^采用上述針對圖像中的設備的標識信息的識別來確定采集到圖像中的至少一個第一類設備。

需要說明的是，在顯示區(qū)域中呈現包含有所述至少一個第一類設備的畫面可以為，顯示區(qū)域中實時展示當前圖像采集模塊所對的區(qū)域的圖像，也就是說，當前顯示區(qū)域中并非輸出一個固定不變的圖片，而是基于移動終端或基于圖像采集模塊的位置變化而實時變化的畫面；或者，可以理解為，當前僅采集某一個區(qū)域的畫面，但是并不對采集到的畫面進行截取。

與所述至少一個第一類設備建立第一通信連接，可以為通過無線通信功能，與所述至少一個第一類設備均建立第一通信連接；當前對應的畫面中具備有電視、電腦以及空調，很明顯電視、電腦為第一類設備，將移動終端通過無線通信功能分別與電視和電腦建立通信連接，而忽略與空調之間的關系。

本實施例提供的方案中，當與第一類設備建立連接關系之后，所述通過所述至少一個第一類設備中的目標設備的控制界面檢測到對應的操作指令之前，所述方法還包括：

在顯示區(qū)域中呈現包含有所述至少一個第一類設備的畫面，并且在所述顯示區(qū)域中呈現每一個所述第一類設備對應的控制界面。

上述控制界面可以為基于第一類設備的具體信息生成或者從網絡側獲取到的控制界面；第一類設備的具體信息可以用于描述第一類設備的名稱、型號等等，比如，XX品牌的電視；相應的，基于具體信息生成的控制界面，可以為基于第一類設備的型號生成針對該設備的由至少一個控制信息組成的控制界面。

參見圖7，圖中可以看出當前的界面中顯示有電視1和2，針對電視除了顯示當前實時畫面之外，在電視1和2對應的顯示位置處，分別還可以提供至少一個控制信息的虛擬按鍵組成的控制界面，如圖所示，以電視1為例包括有下一個、快進、前一個、暫停，這些控制信息的虛擬按鍵。

可見，通過采用上述方案，就能夠同時采集并呈現包括有多個第一類設備的畫面，與多個第一類設備建立連接之后，通過目標設備對應的操作界面檢測到操作指令，發(fā)送該操作指令至目標設備。如此，就能夠能夠從多個第一類設備中靈活的選取目標設備，僅通過視圖就獲取到針對目標設備的操作界面，實現了靈活并且快捷的對第一類設備進行控制，豐富了設備的交互場景。

實施例二

本發(fā)明實施例提供了一種設備控制方法，應用于移動終端，如圖3所示，所述方法包括：

步驟301：采集包含有至少一個第一類設備的圖像，在顯示區(qū)域中呈現包含有所述至少一個第一類設備的畫面；其中，所述第一類設備為至少具備圖像顯示功能的終端設備；

步驟302：與所述至少一個第一類設備建立第一通信連接；

步驟303：通過所述至少一個第一類設備中的第一目標設備的控制界面檢測到對應的操作指令時，將所述操作指令發(fā)送至所述第一目標設備；其中，所述控制界面位于對應的第一類設備在顯示區(qū)域中的顯示位置處、且至少用于提供針對第一類設備的輸出信息或第一類設備的操作參數進行控制的界面。

這里，所述第一類設備為至少具備圖像顯示功能的終端設備，也就是說，第一類設備可以為電視、筆記本電腦、平板電腦等。移動終端可以為智能手機、還可以為平板電腦等，也就是說，移動終端可以為具備無線通信功能、圖像采集功能的設備。

與實施例一不同在于，本實施例提供的方案中，所述通過所述至少一個第一類設備中的第一目標設備的控制界面檢測到對應的操作指令，所述方法還包括：

檢測到針對所述至少一個第一類設備中的第一目標設備的選定操作時，展示針對所述目標設備的控制界面；

通過所述第一目標設備的控制界面，檢測到針對所述第一目標設備的操作指令。

也就是說，在移動終端的顯示區(qū)域中并不是實時提供針對每一個第一類設備的操控界面，而僅在確定要對第一目標設備進行操作的時候，再提供該目標設備的控制界面，如此，可以避免由于移動終端的顯示區(qū)域的尺寸較小的時候，無法提供較大的展示空間的問題。

上述選定操作可以為，檢測到用戶點擊所述第一目標設備所在的顯示位置時，確定選定第一目標設備。另外，選定操作的手勢可以根據實際情況進行設置，比如，可以為圈中第一目標設備的時候為選定操作，本實施例不再進行窮舉。

上述控制界面可以為基于第一類設備的具體信息生成或者從網絡側獲取到的控制界面；第一類設備的具體信息可以用于描述第一類設備的名稱、型號等等，比如，XX品牌的電視；相應的，基于具體信息生成的控制界面，可以為基于第一類設備的型號生成針對該設備的由至少一個控制信息組成的控制界面。

參見圖8，圖中可以看出當前的界面中顯示有電視1和2，用戶點擊電視1的時候，確定選中電視1為第一目標設備，在電視1對應的顯示位置處，還可以提供至少一個控制信息的虛擬按鍵組成的控制界面，如圖所示，包括有下一個、快進、前一個、暫停，這些控制信息的虛擬按鍵。

可見，通過采用上述方案，就能夠同時采集并呈現包括有多個第一類設備的畫面，與多個第一類設備建立連接之后，通過目標設備對應的操作界面檢測到操作指令，發(fā)送該操作指令至目標設備。如此，就能夠從多個第一類設備中靈活的選取目標設備，僅通過視圖就獲取到針對目標設備的操作界面，實現了靈活并且快捷的對第一類設備進行控制，豐富了設備的交互場景。

實施例三

在實施例一或實施例二提供的場景基礎之上，本實施例還提供針對其中某一個第一類設備進行投屏交互的處理方式，具體說明如下：

檢測到針對所述至少一個第一類設備中的第二目標設備的屏幕投影指令時，向所述第二目標設備發(fā)送獲取屏幕數據的請求；

接收到所述第二目標設備基于所述獲取屏幕數據的請求發(fā)來的流媒體信息，控制在顯示區(qū)域中由呈現包含有所述至少一個第一類設備的畫面切換為輸出所述流媒體信息；其中，所述流媒體信息與所述第二目標設備輸出的信息保持同步；

檢測到針對在所述顯示區(qū)域中輸出的所述流媒體信息的操作指令；將所述操作指令發(fā)送至所述第二目標設備側，以使得所述第二目標設備基于所述操作指令至少對其輸出的信息進行控制。

其中，所述屏幕投影指令可以為根據提供的菜單選項進行選取，或者，可以為根據顯示在界面上的某一個虛擬按鍵來觸發(fā)，或者，還可以通指定的至少一個物理按鍵來觸發(fā)，這里不進行窮舉。

上述第二目標設備輸出的信息，可以為其顯示屏輸出的任何內容，比如，參見圖9，在電視的顯示屏中正在輸出一個視頻，圖中示出的為這個視頻中的某一幀畫面，通過終端設備提供的這個交互界面可以為用戶提供可選擇的節(jié)目類型等。

上述流媒體信息可以為由第二目標設備當前輸出的視頻信息的畫面組成的流媒體信息，關于基于終端設備根據其輸出的視頻信息確定流媒體信息的方式，本實施例中不進行限定。但是，需要理解到的是，通過接收到終端設備發(fā)來的流媒體信息，并播放當前流媒體信息對應的畫面，使得移動終端輸出的畫面與終端設備相同，以使得兩者保持輸出的畫面至少保持同步。

本實施例中詳細說明如何獲取到操作指令，具體如下：

所述檢測到針對在所述顯示區(qū)域中輸出的所述流媒體信息的操作指令，包括以下兩種處理方式中至少之一：

處理方式一

在所述顯示區(qū)域中還展示針對終端設備輸出的信息的控制操作界面，其中，所述控制操作界面中至少包括有針對所述信息的播放進度的至少一個控制按鍵、以及針對所述終端設備的至少一種控制按鍵；檢測到針對所述控制操作界面的目標控制按鍵的操作時，基于所述目標控制按鍵對應的功能生成操作指令。

處理方式二

檢測到位于所述顯示區(qū)域中的至少一種操作手勢；基于所述至少一種操作手勢確定針對所述終端設備輸出的信息的操作指令。

與處理方式一的不同之處在于，本處理方式中可以不基于操作控制界面提供的幾種控制按鍵生成控制指令，而是檢測處于顯示區(qū)域中的至少一種操作手勢，進而基于預設的操作手勢與操作指令對應表來確定檢測到的操作手勢所對應的操作指令，如此，得到針對終端設備輸出的信息的操作指令。

在上述介紹的場景之上，本實施例還提供進一步的處理說明，就是根據用戶的操作，可以退出上述全屏的投影處理，重新返回至針對多個第一類設備進行交互的場景中。

也就是通過采用上述方案，能夠采用手機拍攝顯示設備，獲取顯示設備的信息,完成配對連接，用戶能夠在手機取景框中以AR(Augmented Reality，增強現實)的形式直接對其他設備進行控制,并且用戶可選的使用屏幕投影的方式獲取對方屏幕數據,使用更直觀的方式進行控制，豐富操作方式，提高可玩性，提升用戶體驗。

具體可以參見圖10提供一個實施的示例：

用戶打開手機側的攝像頭，并通過取景框對想要控制的設備進行取景，用戶通過界面確定取景內容后，開始進行圖像識別；

通過對顯示設備的邊框提供的特殊標志或者二維碼等形式識別獲取設備信息，手機與顯示設備完成wifidirect連接；

連接完成后，在底層完成屏幕分區(qū)識別，根據用戶操作所在的區(qū)域確定用戶所控制的顯示設備；

用戶在取景框中對顯示設備進行劃屏、點擊等操作；指令發(fā)送模塊根據用戶操作的設備進行發(fā)送，顯示設備接收到指令后進行響應；

在連接完成后，用戶選擇使用屏幕投影控制某一設備，手機關閉屏幕分區(qū)識別功能，手機向顯示設備發(fā)起屏幕投影請求，顯示設備發(fā)送屏幕數據，手機對接收到的數據進行解析，并進行顯示；

用戶退出屏幕投影模式后，重新使能屏幕分區(qū)識別功能，回到AR控制模式。

實施例四

本發(fā)明實施例提供了一種移動終端，如圖11所示，包括：

采集模塊1101，用于采集包含有至少一個第一類設備的圖像；其中，所述第一類設備為至少具備圖像顯示功能的終端設備；

顯示模塊1102，用于在顯示區(qū)域中呈現包含有所述至少一個第一類設備的畫面；

第一通信模塊1103，用于與所述至少一個第一類設備建立第一通信連接；

處理模塊1104，用于通過所述至少一個第一類設備中的第一目標設備的控制界面檢測到對應的操作指令時，將所述操作指令發(fā)送至所述第一目標設備；其中，所述控制界面位于對應的第一類設備在顯示區(qū)域中的顯示位置處、且至少用于提供針對第一類設備的輸出信息或第一類設備的操作參數進行控制的界面。

這里，所述第一類設備為至少具備圖像顯示功能的終端設備，也就是說，第一類設備可以為電視、筆記本電腦、平板電腦等。移動終端可以為智能手機、還可以為平板電腦等，也就是說，移動終端可以為具備無線通信功能、圖像采集功能的設備。

另外，本實施例提供的場景，可以參見圖4，移動終端，比如，智能手機，能夠與多個圖像顯示功能的終端設備建立連接，比如，圖中一個用戶通過手機，與電視、Pad以及筆記本電腦均建立連接。

上述采集包含有至少一個第一類設備的圖像可以為通過圖像采集模塊進行采集，比如，可以為移動終端中設置的攝像頭，包括有前置和/或后置攝像頭。

進一步需要指出的是，可以通過開啟圖像采集模塊采集到包括有多個設備的圖像，這多個設備中可以包括有除了第一類設備之外的其他類別的設備，比如，圖5所示，移動終端采集到的圖像中，包括有電視、空調；

所述處理模塊，用于根據包含有至少一個設備的圖像，對每一個設備進行特征識別提取得到每一個設備對應的特征信息，基于所述特征信息確定每一個設備對應的設備類型；

其中，所述設備類型至少可以包括有：第一類設備為夠建立無線通信連接、且具備圖像顯示功能的終端設備；第二類設備不具備圖像顯示功能的終端設備。

所述對每一個設備進行特征識別的方法，可以為，通過每一個設備對應的標識信息進行特征識別，比如，通過設備上貼的二維碼進行特征識別，或者，可以通過設備的序列號來進行識別；

需要說明的是，在顯示區(qū)域中呈現包含有所述至少一個第一類設備的畫面可以為，顯示區(qū)域中實時展示當前圖像采集模塊所對的區(qū)域的圖像，也就是說，當前顯示區(qū)域中并非輸出一個固定不變的圖片，而是基于移動終端或基于圖像采集模塊的位置變化而實時變化的畫面；或者，可以理解為，當前僅采集某一個區(qū)域的畫面，但是并不對采集到的畫面進行截取。

與所述至少一個第一類設備建立第一通信連接，可以為通過無線通信功能，與所述至少一個第一類設備均建立第一通信連接；比如，參見圖7，當前對應的畫面中具備有電視、電腦以及空調，很明顯電視、電腦為第一類設備，將移動終端通過無線通信功能分別與電視和電腦建立通信連接，而忽略與空調之間的關系。

本實施例提供的方案中，所述顯示模塊，用于通過所述至少一個第一類設備中的目標設備的控制界面檢測到對應的操作指令之前，在顯示區(qū)域中呈現包含有所述至少一個第一類設備的畫面，并且在所述顯示區(qū)域中呈現每一個所述第一類設備對應的控制界面。

上述控制界面可以為基于第一類設備的具體信息生成或者從網絡側獲取到的控制界面；第一類設備的具體信息可以用于描述第一類設備的名稱、型號等等，比如，XX品牌的電視；相應的，基于具體信息生成的控制界面，可以為基于第一類設備的型號生成針對該設備的由至少一個控制信息組成的控制界面。

本實施例提供的另一方案中，所述處理模塊，還用于檢測到針對所述至少一個第一類設備中的第一目標設備的選定操作時，控制顯示模塊展示針對所述目標設備的控制界面；通過所述第一目標設備的控制界面，檢測到針對所述第一目標設備的操作指令。

也就是說，在移動終端的顯示區(qū)域中并不是實時提供針對每一個第一類設備的操控界面，而僅在確定要對第一目標設備進行操作的時候，再提供該目標設備的控制界面，如此，可以避免由于移動終端的顯示區(qū)域的尺寸較小的時候，無法提供較大的展示空間的問題。

上述選定操作可以為，檢測到用戶點擊所述第一目標設備所在的顯示位置時，確定選定第一目標設備。另外，選定操作的手勢可以根據實際情況進行設置，比如，可以為圈中第一目標設備的時候為選定操作，本實施例不再進行窮舉。

上述控制界面可以為基于第一類設備的具體信息生成或者從網絡側獲取到的控制界面；第一類設備的具體信息可以用于描述第一類設備的名稱、型號等等，比如，XX品牌的電視；相應的，基于具體信息生成的控制界面，可以為基于第一類設備的型號生成針對該設備的由至少一個控制信息組成的控制界面。

可見，通過采用上述方案，就能夠同時采集并呈現包括有多個第一類設備的畫面，與多個第一類設備建立連接之后，通過目標設備對應的操作界面檢測到操作指令，發(fā)送該操作指令至目標設備。如此，就能夠從多個第一類設備中靈活的選取目標設備，僅通過視圖就獲取到針對目標設備的操作界面，實現了靈活并且快捷的對第一類設備進行控制，豐富了設備的交互場景。

實施例五

在實施例四提供的場景基礎之上，本實施例還提供針對其中某一個第一類設備進行投屏交互的處理方式，具體說明如下：

所述處理模塊，還用于檢測到針對所述至少一個第一類設備中的第二目標設備的屏幕投影指令時，通過通信模塊向所述第二目標設備發(fā)送獲取屏幕數據的請求；

所述通信模塊，用于接收到所述第二目標設備基于所述獲取屏幕數據的請求發(fā)來的流媒體信息，控制在顯示區(qū)域中由呈現包含有所述至少一個第一類設備的畫面切換為輸出所述流媒體信息；其中，所述流媒體信息與所述第二目標設備輸出的信息保持同步。

所述處理模塊，還用于檢測到針對在所述顯示區(qū)域中輸出的所述流媒體信息的操作指令；將所述操作指令發(fā)送至所述第二目標設備側，以使得所述第二目標設備基于所述操作指令至少對其輸出的信息進行控制。

其中，所述屏幕投影指令可以為根據提供的菜單選項進行選取，或者，可以為根據顯示在界面上的某一個虛擬按鍵來觸發(fā)，或者，還可以通指定的至少一個物理按鍵來觸發(fā)，這里不進行窮舉。

上述流媒體信息可以為由第二目標設備當前輸出的視頻信息的畫面組成的流媒體信息，關于基于終端設備根據其輸出的視頻信息確定流媒體信息的方式，本實施例中不進行限定。但是，需要理解到的是，通過接收到終端設備發(fā)來的流媒體信息，并播放當前流媒體信息對應的畫面，使得移動終端輸出的畫面與終端設備相同，以使得兩者保持輸出的畫面至少保持同步。

下面結合圖12，對本方案提供的移動終端的實施模塊進行說明：

A、該方案手機側由8個模塊組成，圖像采集模塊可以為攝像頭模塊，用于進行對端設備的取景，顯示模塊用于取景畫面或者顯示設備屏幕畫面的顯示；

處理模塊中還可以包括有圖像識別模塊、屏幕分區(qū)識別控制指令模塊、坐標轉換模塊、控制指令發(fā)送模塊、屏幕數據解析模塊等；

其中，圖像識別模塊用于對攝像頭捕捉到的圖像中特殊標志，類似二維碼等信息進行識別，獲取顯示設備的信息；屏幕分區(qū)識別控制指令模塊用于在屏幕上根據圖像劃分出區(qū)域，并根據用戶的操作確定出用戶所操作的區(qū)域并確定對應的設備；坐標轉換模塊是加入相機景深及所捕獲物體的大小數據，將用戶在手機屏幕上控制指令進行轉換對應到顯示設備的坐標；控制指令發(fā)送模塊用于發(fā)送用戶的控制指令；屏幕數據解析模塊用于解析顯示設備的屏幕數據并交由顯示模塊顯示。

通信模塊，可以為WIFI模塊，用于負責完成組網，以及維持底層鏈路。

顯示模塊還可以具有控制開關，在手機與顯示設備組網完成后，可讓用戶選擇是使用AR方式操作所有設備還是使用屏幕投影方式控制某一設備。

C、用戶選擇使用屏幕投影方式后，顯示模塊將全屏顯示所控制設備的屏幕內容，用戶可通過操作本機屏幕控制顯示設備，便于用戶操作，此時，屏幕分區(qū)識別控制指令功能關閉。當用戶回到AR模式時，重新使能屏幕分區(qū)識別控制指令功能。

D、手機側圖像識別成功后，獲取到顯示設備的相應信息，則直接發(fā)起連接，完成wifidirect的組網。

進一步地，針對第一類設備，比如，顯示設備，可以如圖13所示，具備以下模塊，顯示模塊提供用戶可操作的界面，并且提供手機側圖像識別的數據源；屏幕數據發(fā)送模塊在用戶選擇屏幕投影時開始發(fā)送屏幕數據；控制指令接收模塊用于接收控制指令并做出響應；wifi模塊用于完成wifidirect組網。

可見，通過采用上述方案，就能夠由移動終端側獲取到流媒體信息，通過輸出流媒體信息使得移動終端與終端設備輸出的信息達成同步，在移動終端中通過針對流媒體信息生成操作指令，來控制終端設備側的輸出信息。如此，就能夠達到更加直觀的針對終端設備輸出的信息進行控制，為用戶提供了更加豐富的交互場景，并且提升控制的準確度。

需要說明的是，在本文中，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。

上述本發(fā)明實施例序號僅僅為了描述，不代表實施例的優(yōu)劣。

通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到上述實施例方法可借助軟件加必需的通用硬件平臺的方式來實現，當然也可以通過硬件，但很多情況下前者是更佳的實施方式?；谶@樣的理解，本發(fā)明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來，該計算機軟件產品存儲在一個存儲介質(如ROM/RAM、磁碟、光盤)中，包括若干指令用以使得一臺終端設備(可以是手機，計算機，服務器，空調器，或者網絡設備等)執(zhí)行本發(fā)明各個實施例所述的方法。

以上僅為本發(fā)明的優(yōu)選實施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發(fā)明的專利保護范圍內。