本申請涉及智能終端領(lǐng)域，具體涉及可穿戴設(shè)備技術(shù)領(lǐng)域，尤其涉及虛擬現(xiàn)實設(shè)備與終端的交互方法和裝置。

背景技術(shù)：

虛擬現(xiàn)實設(shè)備是一種向用戶提供視覺、聽覺、觸覺、力覺等感官體驗的電子設(shè)備。虛擬現(xiàn)實設(shè)備已經(jīng)應(yīng)用于醫(yī)療、教育、健身、軍事、信息娛樂等領(lǐng)域。目前，用戶主要通過手柄與虛擬現(xiàn)實設(shè)備進行交互，虛擬現(xiàn)實設(shè)備接收用戶通過手柄發(fā)送的指令信息。現(xiàn)有的虛擬現(xiàn)實設(shè)備也可以與手機相連，但在這種情況下，手機通常作為虛擬現(xiàn)實設(shè)備的一部分，主要提供屏幕顯示、圖像采集、語音接收等功能。

然而，現(xiàn)有的虛擬現(xiàn)實設(shè)備不能與智能終端進行交互，以接收或發(fā)送信息，生成具有特效的三維影像。

技術(shù)實現(xiàn)要素：

本申請的目的在于提出一種虛擬現(xiàn)實設(shè)備與終端的交互方法和裝置。

第一方面，本申請?zhí)峁┝艘环N虛擬現(xiàn)實設(shè)備與終端的交互方法，所述方法包括：接收終端發(fā)送的信息；根據(jù)所述信息和第一特效信息生成具有特效的三維影像信息，其中，所述第一特效信息是預先設(shè)置的特效信息或根據(jù)所述信息從預置的特效信息列表中選取的特效信息。

在一些實施例中，所述交互方法還包括：接收所述終端發(fā)送的所述終端的運動軌跡信息；根據(jù)所述運動軌跡信息、預設(shè)的所述終端對應(yīng)的虛擬物體的信息、預設(shè)的第二特效信息，生成具有特效的所述虛擬物體的三維動畫信息。

在一些實施例中，所述交互方法還包括：通過安裝在所述虛擬現(xiàn)實設(shè)備上的傳感器采集穿戴所述虛擬現(xiàn)實設(shè)備的用戶的影像信息和肢體運動軌跡信息；根據(jù)所述影像信息和所述肢體運動軌跡信息生成所述用戶的動作特征信息；根據(jù)所述動作特征信息生成指令；發(fā)送所述指令至所述終端。

在一些實施例中，所述交互方法還包括：接收所述終端發(fā)送的指令；執(zhí)行所述指令。

在一些實施例中，所述交互方法還包括：基于Wi-Fi Direct標準與所述終端預先建立連接。

第二方面，本申請?zhí)峁┝艘环N虛擬現(xiàn)實設(shè)備與終端的交互裝置，所述裝置包括：第一接收單元，配置用于接收終端發(fā)送的信息；第一生成單元，配置用于根據(jù)所述信息和第一特效信息生成具有特效的三維影像信息，其中，所述第一特效信息是預先設(shè)置的特效信息或根據(jù)所述信息從預置的特效信息列表中選取的特效信息。

在一些實施例中，所述裝置還包括：第二接收單元，配置用于接收所述終端發(fā)送的所述終端的運動軌跡信息；第二生成單元，配置用于根據(jù)所述運動軌跡信息、預設(shè)的所述終端對應(yīng)的虛擬物體的信息、預設(shè)的第二特效信息，生成具有特效的所述虛擬物體的三維動畫信息。

在一些實施例中，所述裝置還包括：采集單元，配置用于通過安裝在所述虛擬現(xiàn)實設(shè)備上的傳感器采集穿戴所述虛擬現(xiàn)實設(shè)備的用戶的影像信息和肢體運動軌跡信息；動作特征生成單元，配置用于根據(jù)所述影像信息和所述肢體運動軌跡信息生成所述用戶的動作特征信息；指令生成單元，配置用于根據(jù)所述動作特征信息生成指令；發(fā)送單元，配置用于發(fā)送所述指令至所述終端。

在一些實施例中，所述裝置還包括：指令接收單元，配置用于接收所述終端發(fā)送的指令；指令執(zhí)行單元，配置用于執(zhí)行所述指令。

在一些實施例中，所述裝置還包括：建立連接單元，配置用于基于Wi-Fi Direct標準與所述終端預先建立連接。

本申請?zhí)峁┑奶摂M現(xiàn)實設(shè)備與終端的交互方法和裝置，通過接收終端發(fā)送的信息，然后，根據(jù)接收的消息和第一特效信息生成具有特效的三維影像信息。其中，第一特效信息可以是預先設(shè)置的特效信息或根據(jù)上述信息從預置的特效信息列表中選取的特效信息。從而實現(xiàn)了為不同的信息生成不同特效的三維影像信息，提高用戶體驗。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特征、目的和優(yōu)點將會變得更明顯：

圖1是本申請可以應(yīng)用于其中的示例性系統(tǒng)架構(gòu)圖；

圖2是根據(jù)本申請的虛擬現(xiàn)實設(shè)備與終端的交互方法的一個實施例的流程圖；

圖3是根據(jù)本申請的虛擬現(xiàn)實設(shè)備與終端的交互方法的一個應(yīng)用場景的示意圖；

圖4是根據(jù)本申請的虛擬現(xiàn)實設(shè)備與終端的交互方法的又一個實施例的流程圖；

圖5是根據(jù)本申請的虛擬現(xiàn)實設(shè)備與終端的交互方法的又一個實施例的流程圖；

圖6是根據(jù)本申請的虛擬現(xiàn)實設(shè)備與終端的交互裝置的一個實施例的結(jié)構(gòu)示意圖；

圖7是根據(jù)本申請的虛擬現(xiàn)實設(shè)備與終端的交互裝置的又一個實施例的結(jié)構(gòu)示意圖；

圖8是根據(jù)本申請的虛擬現(xiàn)實設(shè)備與終端的交互裝置的又一個實施例的結(jié)構(gòu)示意圖；

圖9是適于用來實現(xiàn)本申請實施例的虛擬現(xiàn)實設(shè)備的計算機系統(tǒng)的結(jié)構(gòu)示意圖。

具體實施方式

下面結(jié)合附圖和實施例對本申請作進一步的詳細說明?？梢岳斫獾氖?，此處所描述的具體實施例僅僅用于解釋相關(guān)發(fā)明，而非對該發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與有關(guān)發(fā)明相關(guān)的部分。

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結(jié)合實施例來詳細說明本申請。

圖1示出了可以應(yīng)用本申請的虛擬現(xiàn)實設(shè)備與終端的交互方法或虛擬現(xiàn)實設(shè)備與終端的交互裝置的實施例的示例性系統(tǒng)架構(gòu)100。

如圖1所示，系統(tǒng)架構(gòu)100可以包括終端設(shè)備101、102、103，網(wǎng)絡(luò)104和虛擬現(xiàn)實設(shè)備105。網(wǎng)絡(luò)104用以在終端設(shè)備101、102、103和虛擬現(xiàn)實設(shè)備105之間提供通信鏈路的介質(zhì)。網(wǎng)絡(luò)104可以包括各種連接類型，例如有線、無線通信鏈路或者光纖電纜等等。

用戶可以使用終端設(shè)備101、102、103通過網(wǎng)絡(luò)104與虛擬現(xiàn)實設(shè)備105交互，以接收或發(fā)送消息等。用戶也可以使用虛擬現(xiàn)實設(shè)備105通過網(wǎng)絡(luò)104與終端設(shè)備101、102、103交互，已接收或發(fā)送消息等。終端設(shè)備101、102、103上可以安裝有各種類型的客戶端應(yīng)用，例如即時通信工具、社交平臺軟件、視頻播放軟件等。

終端設(shè)備101、102、103可以是具有采集運動軌跡、采集圖像、執(zhí)行接收的指令等功能的各種電子設(shè)備，包括但不限于智能手機、平板電腦、膝上型便攜計算機和臺式計算機等等。

虛擬現(xiàn)實設(shè)備105可以是提供各種服務(wù)的虛擬現(xiàn)實設(shè)備，例如，根據(jù)終端設(shè)備101、102、103發(fā)送的信息，生成具有特效的影像信息的虛擬現(xiàn)實設(shè)備。虛擬現(xiàn)實設(shè)備可以對接收的信息進行處理，并生成具有特效的三維影像信息。其中，上述虛擬現(xiàn)實設(shè)備可以包括但不限于：頭戴式可視設(shè)備(Head Mount Display，HDM)、智能眼鏡等。

需要說明的是，本申請實施例所提供的虛擬現(xiàn)實設(shè)備與終端的交互方法一般由虛擬現(xiàn)實設(shè)備105執(zhí)行，相應(yīng)地，虛擬現(xiàn)實設(shè)備與終端的交互裝置一般設(shè)置于虛擬現(xiàn)實設(shè)備105中。

應(yīng)該理解，圖1中的終端設(shè)備、網(wǎng)絡(luò)和虛擬現(xiàn)實設(shè)備的數(shù)目僅僅是示意性的。根據(jù)實現(xiàn)需要，可以具有任意數(shù)目的終端設(shè)備、網(wǎng)絡(luò)和虛擬現(xiàn)實設(shè)備。

繼續(xù)參考圖2，示出了根據(jù)本申請的虛擬現(xiàn)實設(shè)備與終端的交互方法的一個實施例的流程200。所述的虛擬現(xiàn)實設(shè)備與終端的交互方法，包括以下步驟：

步驟201，接收終端發(fā)送的信息。

在本實施例中，虛擬現(xiàn)實設(shè)備與終端交互方法運行于其上的虛擬現(xiàn)實設(shè)備(例如圖1所示的虛擬現(xiàn)實設(shè)備105)可以通過有線連接方式或者無線連接方式接收終端設(shè)備(例如圖1所示的終端設(shè)備101、102、103)發(fā)送的信息。上述無線連接方式可以包括但不限于3G/4G連接、WiFi連接、藍牙連接、WiMAX連接、Zigbee連接、UWB(ultra wideband)連接、以及其他現(xiàn)在已知或?qū)黹_發(fā)的無線連接方式。上述信息可以是各種類型的信息，可以包括但不限于影視信息、指令信息、圖像信息、音頻信息、上述終端設(shè)備的運動軌跡信息。

步驟202，根據(jù)上述信息和第一特效信息生成具有特效的三維影像信息。

在本實施例中，上述虛擬現(xiàn)實設(shè)備根據(jù)步驟201中接收的信息和第一特效信息生成具有特殊效果的三維影像信息。其中，上述第一特效信息可以包括但不限于以下至少一項：聲音信息、燈光信息、背景圖片信息、動畫信息。作為示例，首先，頭戴式可視設(shè)備可以預先接收用戶設(shè)置的第一特效信息，該第一特效信息是表征迷霧的特效信息。然后，上述頭戴式可視設(shè)備接收智能手機發(fā)送的熱帶雨林的3D(Three Dimensions，三維)紀錄片的幀。之后，上述頭戴式可視設(shè)備可以采用粒子系統(tǒng)的不規(guī)則景物進行建模以模擬迷霧，生成表征迷霧的圖像，最后，上述頭戴式可視設(shè)備采用圖像合成技術(shù)，將上述紀錄片的幀和上述表征迷霧的圖像合成在一起并顯示。

在本實施例的一些可選的實現(xiàn)方式中，上述虛擬現(xiàn)實設(shè)備可以通過語音與用戶交互，保存用戶設(shè)置的第一特效信息。用戶也可以在上述終端的第一特效信息設(shè)置頁面設(shè)置第一特效信息，然后，將上述第一特效信息發(fā)送至虛擬現(xiàn)實設(shè)備，最后，上述虛擬現(xiàn)實設(shè)備接收并保存上述第一特效信息。

在本實施例的一些可選的實現(xiàn)方式中，虛擬現(xiàn)實設(shè)備也可以根據(jù)接收的信息確定該信息所屬的虛擬場景；然后，從預置的特效信息列表中選取與上述虛擬場景匹配的特效信息作為第一特效信息。其中，上述特效信息列表可以包括但不限于：表征懷舊的特效信息、表征浪漫的特效信息、表征恐怖的特效信息。作為示例，虛擬現(xiàn)實設(shè)備接收音頻信息和連續(xù)的幀，如果確定上述音頻信息中聲音是低頻率的聲音且連續(xù)3幀中表示黑色的像素值的數(shù)量超過預設(shè)數(shù)量，則生成表征恐怖的敲門聲音。

在本實施例的一些可選的實現(xiàn)方式中，上述虛擬現(xiàn)實設(shè)備還可以接收上述終端發(fā)送的指令，并執(zhí)行上述指令。其中，上述指令可以包括但不限于：指示播放暫停的指令、指示放大上述虛擬現(xiàn)實設(shè)備投放的虛擬物體的指令、指示旋轉(zhuǎn)上述虛擬現(xiàn)實設(shè)備投放的虛擬物體的指令。作為示例，終端是用戶的手機，當上述手機通過安裝在該手機上的傳感器，檢測到該手機向右轉(zhuǎn)動45度并前進20厘米，則上述手機向上述虛擬現(xiàn)實設(shè)備發(fā)送指示向左移動虛擬現(xiàn)實設(shè)備投放的虛擬物體的指令和放大上述虛擬物體的指令。然后，上述虛擬現(xiàn)實設(shè)備接收并執(zhí)行上述指令，將投放的虛擬物體向左移動預設(shè)的距離并按照預設(shè)的比例放大上述虛擬物體。

在本實施例的一些可選的實現(xiàn)方式中，上述虛擬現(xiàn)實設(shè)備可以基于Wi-Fi Direct標準與上述終端預先建立連接，其中，Wi-Fi Direct標準是指無線網(wǎng)絡(luò)中的設(shè)備無需通過無線路由器即可相互連接的通信標準。上述虛擬現(xiàn)實設(shè)備與上述終端可以采用RTSP(Real Time Streaming Protocol，實時流傳輸協(xié)議)交互消息以建立連接。上述建立連接的過程包括如下步驟：

第一，終端向虛擬現(xiàn)實設(shè)備發(fā)送獲取該虛擬現(xiàn)實設(shè)備所支持的RTSP方法的請求。其中，上述RTSP方法是指實現(xiàn)實時流傳輸協(xié)議的各個方法。然后，上述虛擬現(xiàn)實設(shè)備接收上述請求，并檢索本設(shè)備支持的RTSP方法。之后，上述虛擬現(xiàn)實設(shè)備將檢索到的支持的RTSP方法發(fā)送至上述終端。最后，上述終端接收并保存上述虛擬現(xiàn)實設(shè)備發(fā)送的RTSP方法。

第二，上述虛擬現(xiàn)實設(shè)備向上述終端發(fā)送獲取該終端所支持的RTSP方法的請求。然后，上述終端接收上述請求，并檢索本終端支持的RTSP方法。之后，上述終端將檢索到的支持的RTSP方法發(fā)送至上述虛擬現(xiàn)實設(shè)備。最后，上述虛擬現(xiàn)實設(shè)備接收并保存上述終端發(fā)送的RTSP方法。

第三，上述終端向上述虛擬現(xiàn)實設(shè)備發(fā)送本終端支持的RTSP方法的參數(shù)信息至上述虛擬現(xiàn)實設(shè)備，上述虛擬現(xiàn)實設(shè)備接收并保存上述參數(shù)信息。然后，上述虛擬現(xiàn)實設(shè)備發(fā)送本設(shè)備支持的RTSP方法的參數(shù)信息至上述終端，上述終端接收并保存上述虛擬現(xiàn)實設(shè)備發(fā)送的參數(shù)信息。

第四，上述終端根據(jù)本終端支持的RTSP方法及該方法的參數(shù)信息和保存的上述虛擬現(xiàn)實設(shè)備支持的RTSP方法及該RTSP方法支持的參數(shù)信息，確定通信過程中可以使用的RTSP方法及該方法的參數(shù)信息。然后，上述終端將上述確定的RTSP方法及該方法的參數(shù)信息發(fā)送至上述虛擬現(xiàn)實設(shè)備。

在本實施例的一些可選的實現(xiàn)方式中，上述虛擬現(xiàn)實設(shè)備被預置了開放應(yīng)用程序編程接口。開發(fā)者可以調(diào)用上述開放應(yīng)用編程接口控制上述虛擬現(xiàn)實設(shè)備上的各個傳感器，以開發(fā)更多的功能。

繼續(xù)參見圖3，圖3是根據(jù)本實施例的虛擬現(xiàn)實設(shè)備與終端的交互方法的應(yīng)用場景的一個示意圖。在圖3的應(yīng)用場景中，首先，用戶301通過語音與智能手機302交互，設(shè)置第一特效信息，其中，上述第一特效信息是表征生日快樂的特效信息。然后，用戶301手持智能手機302采集上述用戶301前后、左右、上下的圖像信息。之后，用戶301通過手機302將上述采集的圖像信息和設(shè)置的表征生日的特效信息經(jīng)無線網(wǎng)絡(luò)303發(fā)送至智能眼鏡304。之后，智能眼鏡304接收上述圖像信息和上述表征生日快樂的特效信息，根據(jù)接收的上述圖像信息生成用戶301的虛擬的3D影像306，并根據(jù)接收的上述表征生日快的特效信息，生成3D虛擬蛋糕307、3D虛擬鮮花308并播放音樂309。最后，用戶305通過智能眼鏡304可以看到用戶301的虛擬的影像信息306、虛擬蛋糕307、虛擬鮮花308且聽到音樂309。

本申請的上述實施例提供的方法通過為接收的信息增加特效，實現(xiàn)了根據(jù)不同的虛擬場景生成具有不同特效的三維影像信息，增加了真實性和趣味性，提高了用戶體驗。

進一步參考圖4，其示出了虛擬現(xiàn)實設(shè)備與終端的交互方法的又一個實施例的流程400。該交互方法的流程400，包括以下步驟：

步驟401，接收終端發(fā)送的信息。

在本實施中，虛擬現(xiàn)實設(shè)備與終端的交互方法運行其上的虛擬現(xiàn)實設(shè)備(例如圖1所示的虛擬現(xiàn)實設(shè)備105)可以通過無線連接的方式或者有線連接的方式接收終端發(fā)送的信息。

步驟402，根據(jù)上述信息和第一特效信息生成具有特效的三維影像信息。

在本實施例中，上述虛擬現(xiàn)實設(shè)備根據(jù)上述信息、第一特效信息生成具有特效的三維影像信息的方法可以參照步驟203，在此不再贅述。

步驟403，接收上述終端發(fā)送的上述終端的運動軌跡信息。

在本實施中，上的虛擬現(xiàn)實設(shè)備可以通過無線連接的方式或者有線連接的方式接收上述終端發(fā)送的上述終端的運動軌跡信息。其中，上述運動軌跡信息是表征上述終端在立體空間中的運動軌跡。上述終端可以通過安裝在上述終端的三軸加速度計、三軸陀螺儀等傳感器實時采集上述終端的運動軌跡信息。

步驟404，根據(jù)上述運動軌跡信息、預設(shè)的上述終端對應(yīng)的虛擬物體的信息、預設(shè)的第二特效信息，生成具有特效的上述虛擬物體的三維動畫信息。

在本實施例中，用戶可以從預設(shè)的虛擬物體列表中選擇一個虛擬物體作為上述終端對應(yīng)的虛擬物體。并獲取該虛擬物體的信息。其中，上述信息可以包括虛擬物體的唯一標識、形狀信息等。作為示例，上述虛擬物體列表可以包括以下至少一項：羽毛球拍、網(wǎng)球拍、刀、劍。用戶還可以為上述終端對應(yīng)的虛擬物體選擇第二特效信息。上述第二特效信息可以包括但不限于以下至少一項：聲音信息、圖像信息、動畫信息。上述虛擬現(xiàn)實設(shè)備根據(jù)上述運動軌跡信息、上述終端對應(yīng)的虛擬物體的信息、第二特效信息，生成具有特效的上述虛擬物體的三維動畫信息。作為示例，虛擬現(xiàn)實設(shè)備是頭戴式可視設(shè)備，終端是用戶的手機，上述頭戴式可視設(shè)備接收上述手機發(fā)送的深林過關(guān)游戲的影像信息，當前生成的三維影像的畫面是3只狼守護峽谷路口的畫面，上述三維影像畫面具有迷霧特效。然后，用戶從虛擬物體列表中，選取劍作為上述手機對應(yīng)的虛擬物體。之后，上述頭戴式可視設(shè)備對接收的上述手機的運動軌跡信息進行分析，確定上述手機是按照從上往下運動的，則以弧線形式生成從上往下增長的該劍的運動軌跡，并在弧線左右兩邊加載白光，同時生成表征劈開物體的聲音。最后，在預設(shè)的一段時間后，弧線、白光、聲音消失。

從圖4中可以看出，與圖2對應(yīng)的實施例相比，本實施例中的虛擬現(xiàn)實設(shè)備與終端的交互方法的流程400突出了根據(jù)終端的運動軌跡信息生成具有特效的虛擬物體的三維動畫，從而實現(xiàn)了用戶通過終端與虛擬現(xiàn)實中的虛擬環(huán)境進行互動，增強交互性和沉浸感。

進一步參考圖5，其示出了虛擬現(xiàn)實設(shè)備與終端的交互方法的又一個實施例的流程500。該交互方法的流程500，包括以下步驟：

步驟501，接收終端發(fā)送的信息。

在本實施中，虛擬現(xiàn)實設(shè)備與終端的交互方法運行其上的虛擬現(xiàn)實設(shè)備(例如圖1所示的虛擬現(xiàn)實設(shè)備105)可以通過無線連接的方式或者有線連接的方式接收終端發(fā)送的信息。

步驟502，根據(jù)上述信息和第一特效信息生成具有特效的三維影像信息。

在本實施例中，上述虛擬現(xiàn)實設(shè)備根據(jù)上述信息、第一特效信息生成具有特效的三維影像信息的方法可以參照步驟203，在此不再贅述。

步驟503，通過安裝在虛擬現(xiàn)實設(shè)備上的傳感器采集穿戴上述虛擬現(xiàn)實設(shè)備的用戶的影像信息和肢體運動軌跡信息。

在本實施例中，上述虛擬現(xiàn)實設(shè)備可以通過安裝在上述虛擬現(xiàn)實設(shè)備上的攝像機、紅外熱像儀等傳感器實時采集穿戴上述虛擬現(xiàn)實設(shè)備的用戶的影像信息。上述虛擬現(xiàn)實設(shè)備還可以通過安裝在上述虛擬現(xiàn)實設(shè)備上的三軸加速度計、三軸陀螺儀等傳感器實時采集上述用戶的肢體運動軌跡信息，其中，上述肢體運動軌跡信息可以包括但不限于以下至少一項：頭部運動軌跡信息、手臂運動軌跡信息。

步驟504，根據(jù)上述影像信息和上述肢體運動軌跡信息生成上述用戶的動作特征信息。

在本實施例中，上述虛擬現(xiàn)實設(shè)備可以采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)算法從上述影像信息和上述肢體運動軌跡信息中識別上述用戶的動作特征信息。其中，上述動作特征信息可以包括但不限于以下至少一項：表征頭部轉(zhuǎn)動某一角度的動作特征信息、表征身體重心前傾的動作特征信息、表征身體前進的動作特征信息、表征身體后退的動作特征信息。

在本實施例中，上述卷積神經(jīng)網(wǎng)絡(luò)可以包括輸入層、卷積層、池化層、全連接層、輸出層。其中，上述虛擬現(xiàn)實設(shè)備對每一層都預先進行了訓練。上述卷積神經(jīng)網(wǎng)絡(luò)可以按照如下步驟識別并提取上述用戶的動作特征信息：首先，輸入層對上述影像信息、上述肢體運動軌跡信息進行去噪及歸一化處理，得到歸一化后的數(shù)值矩陣。然后，卷積層將上述歸一化后的數(shù)值矩陣切分成8乘8的小矩陣，將每一個小矩陣與卷積核進行卷積計算，得到卷積矩陣。之后，池化層對上述卷積矩陣進行聚合統(tǒng)計計算，得到局部特征信息。之后，全連接層對上述局部特征信息進行處理，生成全局特征信息。最后，輸出層對上述全局特征信息進行分類處理，確定上述用戶的動作特征信息。

步驟505，根據(jù)上述動作特征信息生成指令。

在本實施例中，上述虛擬現(xiàn)實設(shè)備從預設(shè)的動作特征信息列表中檢索是否存在與步驟504中得到的動作特征信息相匹配的動作特征信息。其中，上述動作特征信息列表可以包括但不限于：表征播放下一條信息的動作特征信息、表征播放上一條信息的動作特征信息、表征播放暫停的動作特征信息。響應(yīng)于上述動作特征信息列表中存在與步驟504中得到的動作特征信息相匹配的動作特征信息，則根據(jù)該動作特征信息生成指令。作為示例，虛擬現(xiàn)實設(shè)備在步驟502中根據(jù)接收的電影的幀信息，播放上述電影。如果步驟504中生成的用戶的動作特征信息是表征右手食指水平放置且右手的其余手指處于彎曲的狀態(tài)，則與預設(shè)的動作特征信息列表中表征播放上一條信息的動作特征信息相匹配，則虛擬現(xiàn)實設(shè)備生成播放上一部電影的指令。

步驟505，發(fā)送上述指令至上述終端。

在本實施例中，上述虛擬現(xiàn)實設(shè)備將上述指令通過無線連接的方式或有線連接的方式發(fā)送至上述終端。上述終端接收上述指令，然后執(zhí)行上述指令。

從圖5中可以看出，與圖2對應(yīng)的實施例相比，本實施例中的虛擬現(xiàn)實設(shè)備與終端的交互方法的流程500突出了根據(jù)用戶的影像信息和肢體運動軌跡信息，生成指令信息，并發(fā)送上述指令至終端，實現(xiàn)了用戶通過肢體動作控制終端，控制操作更人性化。

進一步參考圖6，作為對上述各圖所示方法的實現(xiàn)，本申請?zhí)峁┝艘环N虛擬現(xiàn)實設(shè)備與終端的交互裝置的一個實施例，該裝置實施例與圖2所示的方法實施例相對應(yīng)，該裝置具體可以應(yīng)用于各種電子設(shè)備中。

如圖6所示，本實施例所述的虛擬現(xiàn)實設(shè)備與終端的交互裝置600包括：第一接收單元601、第一生成單元602。其中，第一接收單元601配置用于接收終端發(fā)送的信息；第一生成單元602配置用于根據(jù)上述信息和第一特效信息生成具有特效的三維影像信息，其中，上述第一特效信息是預先設(shè)置的特效信息或根據(jù)上述信息從預置的特效信息列表中選取的特效信息。

在本實施例中，虛擬現(xiàn)實設(shè)備與終端的交互裝置600的第一接收單元601可以通過有線連接方式或者無線連接方式接收終端設(shè)備發(fā)送的信息。上述終端可以包括但不限于智能手機、平板電腦、膝上型便攜計算機和臺式計算機。上述信息可以是各種類型的信息，可以包括但不限于影視信息、指令信息、圖像信息、音頻信息、上述終端設(shè)備的運動軌跡信息。

在本實施例中，上述第一生成單元602根據(jù)上述第一接收單元601接收的信息、第一特效信息生成具有特殊效果的三維影像信息。其中，上述第一特效信息可以包括但不限于以下至少一項：聲音信息、燈光信息、背景圖片信息、動畫信息。

在本實施例的一些可選的實現(xiàn)方式中，上述交互裝置600可以通過語音與用戶交互，保存用戶設(shè)置的第一特效信息。用戶也可以在上述終端的第一特效信息設(shè)置頁面設(shè)置第一特效信息，然后，將上述第一特效信息發(fā)送至虛擬現(xiàn)實設(shè)備，最后，上述交互裝置600接收并保存上述第一特效信息。

在本實施例的一些可選的實現(xiàn)方式中，上述交互裝置600也可以根據(jù)接收的信息確定該信息所屬的虛擬場景；然后，從預置的特效信息列表中選取與上述虛擬場景匹配的特效信息作為第一特效信息。其中，上述特效信息列表可以包括但不限于：表征懷舊的特效信息、表征浪漫的特效信息、表征恐怖的特效信息。

在本實施例的一些可選的實現(xiàn)方式中，上述交互裝置600還可以包括：指令接收單元(圖6未示出)配置用于接收上述終端發(fā)送的指令；指令執(zhí)行單元(圖6未示出)配置用于執(zhí)行上述指令。上述指令接收單元可以監(jiān)聽上述終端的指令傳輸請求，響應(yīng)于監(jiān)聽到該指令傳輸請求，則接收上述終端發(fā)送的指令。其中，上述指令可以是指示播放暫停的指令、指示放大上述虛擬現(xiàn)實設(shè)備投放的虛擬物體的指令、指示旋轉(zhuǎn)上述虛擬現(xiàn)實設(shè)備投放的虛擬物體的指令。上述指令執(zhí)行單元執(zhí)行上述接收的指令。

在本實施例的一些可選的實現(xiàn)方式中，交互裝置600還可以包括：建立連接單元(圖6未示出)配置用于基于Wi-Fi Direct標準與上述終端預先建立連接。上述虛擬現(xiàn)實設(shè)備與上述終端可以采用RTSP交互消息以建立連接。

在本實施例中，上述第一生成單元602可以根據(jù)接收的不同信息生成具有不同特效的三維影像信息，增加了真實性和趣味性，提高了用戶體驗。

進一步參考圖7，作為對上述各圖所示方法的實現(xiàn)，本申請?zhí)峁┝艘环N虛擬現(xiàn)實設(shè)備與終端的交互裝置的又一個實施例，該裝置實施例與圖4所示的方法實施例相對應(yīng)，該裝置具體可以應(yīng)用于各種電子設(shè)備中。

如圖7所示，本實施例所述的虛擬現(xiàn)實設(shè)備與終端的交互裝置700包括：第一接收單元701、第一生成單元702、第二接收單元703、第二生成單元704。其中，第一接收單元701配置用于接收終端發(fā)送的信息；第一生成單元702配置用于根據(jù)上述信息和第一特效信息生成具有特效的三維影像信息，第二接收單元701配置用于接收終端發(fā)送的上述終端的運動軌跡信息；第二生成單元702配置用于根據(jù)上述運動軌跡信息、預設(shè)的上述終端對應(yīng)的虛擬物體的信息、預設(shè)的第二特效信息，生成具有特效的上述虛擬物體的三維動畫信息。

在本實施例中，虛擬現(xiàn)實設(shè)備與終端的交互裝置700的第一接收單元701與虛擬現(xiàn)實設(shè)備與終端的交互裝置600的第一接收單元601功能一樣，在此不再贅述。

在本實施例中，虛擬現(xiàn)實設(shè)備與終端的交互裝置700的第一生成單元702與虛擬現(xiàn)實設(shè)備與終端的交互裝置600的第一生成單元602功能一樣，在此不再贅述。

在本實施例中，虛擬現(xiàn)實設(shè)備與終端的交互裝置700的第二接收單元703可以通過無線連接的方式或者有線連接的方式接收上述終端發(fā)送的上述終端的運動軌跡信息。其中，上述運動軌跡信息是表征上述終端在立體空間中的運動軌跡。上述終端可以通過安裝在上述終端的三軸加速度計、三軸陀螺儀等傳感器實時采集上述終端的運動軌跡信息。

在本實施例中，第二生成單元704可以支持用戶從預設(shè)的虛擬物體列表中選擇一個虛擬物體作為上述終端對應(yīng)的虛擬物體。并獲取該虛擬物體的信息。其中，上述信息可以包括虛擬物體的唯一標識、形狀信息等。第二生成單元704還可以支持用戶為上述終端對應(yīng)的虛擬物體選擇第二特效信息。上述第二特效信息可以包括但不限于以下至少一項：聲音信息、圖像信息、背景信息、動畫信息。上述虛擬現(xiàn)實設(shè)備根據(jù)上述運動軌跡信息、上述終端對應(yīng)的虛擬物體的信息、第二特效信息，生成具有特效的上述虛擬物體的三維動畫信息。

在本實施例中，上述第二生成單元704根據(jù)終端的運動軌跡信息生成具有特效的虛擬物體的三維動畫，從而實現(xiàn)了用戶通過終端與虛擬現(xiàn)實中的虛擬環(huán)境進行互動，增強交互性和沉浸感。

進一步參考圖8，作為對上述各圖所示方法的實現(xiàn)，本申請?zhí)峁┝艘环N虛擬現(xiàn)實設(shè)備與終端的交互裝置的又一個實施例，該裝置實施例與圖5所示的方法實施例相對應(yīng)，該裝置具體可以應(yīng)用于各種電子設(shè)備中。

如圖8所示，本實施例所述的虛擬現(xiàn)實設(shè)備與終端的交互裝置800包括：第一接收單元801、第一生成單元802、采集單元803、動作特征生成單元804、指令生成單元805、發(fā)送單元806。其中，第一接收單元801配置用于接收終端發(fā)送的信息；第一生成單元802配置用于根據(jù)上述信息和第一特效信息生成具有特效的三維影像信息，采集單元803配置用于通過安裝在上述虛擬現(xiàn)實設(shè)備上的傳感器采集穿戴上述虛擬現(xiàn)實設(shè)備的用戶的影像信息和肢體運動軌跡信息；動作特征生成單元804配置用于根據(jù)上述影像信息和上述肢體運動軌跡信息生成上述用戶的動作特征信息；指令生成單元805配置用于根據(jù)上述動作特征信息生成指令；發(fā)送單元806配置用于發(fā)送上述指令至上述終端。

在本實施例中，虛擬現(xiàn)實設(shè)備與終端的交互裝置800的第一接收單元801與虛擬現(xiàn)實設(shè)備與終端的交互裝置600的第一接收單元601功能一樣，在此不再贅述。

在本實施例中，虛擬現(xiàn)實設(shè)備與終端的交互裝置800的第一生成單元802與虛擬現(xiàn)實設(shè)備與終端的交互裝置600的第一生成單元602功能一樣，在此不再贅述。

在本實施例中，虛擬現(xiàn)實設(shè)備與終端的交互裝置800的采集單元803可以通過安裝在上述虛擬現(xiàn)實設(shè)備上的攝像機、紅外熱像儀等傳感器實時采集穿戴上述虛擬現(xiàn)實設(shè)備的用戶的影像信息。上述采集單元803還可以通過安裝在上述虛擬現(xiàn)實設(shè)備上的三軸加速度計、三軸陀螺儀等傳感器實時采集上述用戶的肢體運動軌跡信息，其中，上述肢體運動軌跡信息可以包括但不限于以下至少一項：頭部運動軌跡信息、手臂運動軌跡信息。

在本實施例中，上述動作特征生成單元804可以采用卷積神經(jīng)網(wǎng)絡(luò)或深度置信網(wǎng)絡(luò)(Deep Belief Network，DBN)從上述影像信息和上述肢體運動軌跡信息中識別上述用戶的動作特征信息。作為示例，上述動作特征生成單元804可以采用深度置信網(wǎng)絡(luò)識別用戶的動作特征信息。其中，上述深度置信網(wǎng)絡(luò)是經(jīng)大量的含標簽的樣本訓練過的網(wǎng)絡(luò)。上述動作特征生成單元804可以根據(jù)用戶的影像信息、用戶的肢體運動軌跡信息與標簽的聯(lián)合分布，選取概率值最大的標簽，其中，上述概率值最大的標簽對應(yīng)的動作特征信息是上述用戶的動作特征信息。

在本實施例中，上述指令生成單元805可以從預設(shè)的動作特征信息列表中檢索是否存在與上述動作特征生成單元804中生成的動作特征信息相匹配的動作特征信息。響應(yīng)于上述動作特征信息列表中存在與動作特征生成單元804中得到的動作特征信息相匹配的動作特征信息，則根據(jù)該動作特征信息生成指令。

在本實施例中，基于上述指令生成單元805生成指令，上述發(fā)送單元804通過無線連接的方式或有線連接的發(fā)送上述指令至上述終端。上述終端接收上述指令，然后執(zhí)行上述指令。

在本實施例中，上述動作特征生成單元804根據(jù)用戶的影像信息和肢體運動軌跡信息生成上述用戶的動作特征信息，然后，上述指令生成單元805根據(jù)上述用戶的動作特征信息生成指令信息，并發(fā)送上述指令至終端，實現(xiàn)了用戶通過肢體動作控制終端，控制操作更人性化。

下面參考圖9，其示出了適于用來實現(xiàn)本申請實施例的終端設(shè)備的計算機系統(tǒng)900的結(jié)構(gòu)示意圖，該終端設(shè)備與圖1所示的監(jiān)控終端相對應(yīng)，該終端設(shè)備可以是各種類型的可穿戴設(shè)備。

如圖9所示，終端設(shè)備900包括中央處理單元(CPU)901、存儲器902、輸入單元903、輸出單元904、通信單元905和總線906，其中，CPU 901、存儲器902、輸入單元903、輸出單元904以及通信單元905通過總線906彼此相連。在此，根據(jù)本申請的方法可以被實現(xiàn)為計算機程序，并且存儲在存儲器902中。終端設(shè)備900中的CPU 901通過調(diào)用存儲器902中存儲的上述計算機程序，來具體實現(xiàn)本申請的方法中限定的視圖顯示功能。

在一些實現(xiàn)方式中，輸入單元903可以是語音接收單元，輸出單元904可以是顯示屏、揚聲器等設(shè)備，通信單元905可以是與其他設(shè)備進行通信的設(shè)備。由此，CPU 901可以調(diào)用上述計算機程序生成具有特效的三維影像信息，可以控制輸出單元904輸出上述具有特效的三維影像信息。

附圖中的流程圖和框圖，圖示了按照本申請各種實施例的系統(tǒng)、方法和計算機程序產(chǎn)品的可能實現(xiàn)的體系架構(gòu)、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段、或代碼的一部分，所述模塊、程序段、或代碼的一部分包含一個或多個用于實現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當注意，在有些作為替換的實現(xiàn)中，方框中所標注的功能也可以以不同于附圖中所標注的順序發(fā)生。例如，兩個接連地表示的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或操作的專用的基于硬件的系統(tǒng)來實現(xiàn)，或者可以用專用硬件與計算機指令的組合來實現(xiàn)。

描述于本申請實施例中所涉及到的單元可以通過軟件的方式實現(xiàn)，也可以通過硬件的方式來實現(xiàn)。所描述的單元也可以設(shè)置在處理器中，例如，可以描述為：一種處理器包括第一接收單元、第一生成單元。其中，這些單元的名稱在某種情況下并不構(gòu)成對該單元本身的限定，例如，第一接收單元還可以被描述為“接收終端發(fā)送的信息的單元”。

作為另一方面，本申請還提供了一種非易失性計算機存儲介質(zhì)，該非易失性計算機存儲介質(zhì)可以是上述實施例中所述裝置中所包含的非易失性計算機存儲介質(zhì)；也可以是單獨存在，未裝配入終端中的非易失性計算機存儲介質(zhì)。上述非易失性計算機存儲介質(zhì)存儲有一個或者多個程序，當所述一個或者多個程序被一個設(shè)備執(zhí)行時，使得所述設(shè)備：接收終端發(fā)送的信息；根據(jù)所述信息和第一特效信息生成具有特效的三維影像信息，其中，所述第一特效信息是預先設(shè)置的特效信息或根據(jù)所述信息從預置的特效信息列表中選取的特效信息。

以上描述僅為本申請的較佳實施例以及對所運用技術(shù)原理的說明。本領(lǐng)域技術(shù)人員應(yīng)當理解，本申請中所涉及的發(fā)明范圍，并不限于上述技術(shù)特征的特定組合而成的技術(shù)方案，同時也應(yīng)涵蓋在不脫離所述發(fā)明構(gòu)思的情況下，由上述技術(shù)特征或其等同特征進行任意組合而形成的其它技術(shù)方案。例如上述特征與本申請中公開的(但不限于)具有類似功能的技術(shù)特征進行互相替換而形成的技術(shù)方案。