專利名稱：一種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的方法、裝置和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機領(lǐng)域，特別涉及一種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的方法、裝 置和系統(tǒng)。
背景技術(shù)：
伴隨著互聯(lián)網(wǎng)的高速發(fā)展，用戶可以通過互聯(lián)網(wǎng)享受到網(wǎng)上辦公、網(wǎng)上娛樂等服 務(wù)。在實現(xiàn)網(wǎng)上辦公、網(wǎng)上娛樂等服務(wù)時，為了提高用戶的使用體驗，擴大互聯(lián)網(wǎng)所提供的 服務(wù)的范圍，現(xiàn)有技術(shù)提供了一種虛擬網(wǎng)絡(luò)場景模式，例如，多個用戶在進行網(wǎng)絡(luò)游戲時， 通過虛擬的游戲網(wǎng)絡(luò)場景，用戶可以有置身其中的真實感，大大提高了用戶的使用體驗，提 高了用戶對網(wǎng)絡(luò)服務(wù)的滿意度，其中，該虛擬網(wǎng)絡(luò)場景的應(yīng)用包括但不限于網(wǎng)絡(luò)游戲、網(wǎng)絡(luò)
石隊寸。發(fā)明人在實現(xiàn)本發(fā)明的過程中，發(fā)現(xiàn)上述現(xiàn)有技術(shù)至少存在以下缺點和不足基 于上述虛擬網(wǎng)絡(luò)場景模式的網(wǎng)絡(luò)服務(wù)僅能夠給用戶提供在虛擬的場景中的交互，提供方式 單一，既不能提供用戶和現(xiàn)實結(jié)合的感官體驗，也不能提供用戶現(xiàn)實和該網(wǎng)絡(luò)服務(wù)的結(jié)合 體驗，用戶僅能夠看到虛擬場景的虛擬人物，無法看到參與該網(wǎng)絡(luò)服務(wù)的其他人的真實身 份和模樣，并且用戶無法在該網(wǎng)絡(luò)服務(wù)的過程中讓其他的人能夠通過網(wǎng)絡(luò)看到自己，導(dǎo)致 用戶的感官體驗無法和虛擬網(wǎng)絡(luò)場景模式下的網(wǎng)絡(luò)服務(wù)的交互，造成用戶較差的使用體 驗。

發(fā)明內(nèi)容
為了增加視頻和虛擬網(wǎng)絡(luò)場景模式下的網(wǎng)絡(luò)服務(wù)的相關(guān)性，實現(xiàn)視頻和網(wǎng)絡(luò)服務(wù) 的交互，提高用戶的使用體驗，本發(fā)明實施例提供了一種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的 方法、裝置和系統(tǒng)。所述技術(shù)方案如下一種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的方法，所述方法包括獲取用戶的視頻數(shù)據(jù)；根據(jù)所述視頻數(shù)據(jù)，在客戶端將所述視頻數(shù)據(jù)對應(yīng)的視頻嵌入所述虛擬網(wǎng)絡(luò)場景 中進行顯示；或，根據(jù)所述視頻數(shù)據(jù)，在客戶端將所述視頻數(shù)據(jù)對應(yīng)的視頻在虛擬網(wǎng)絡(luò)場景上進行顯不。其中，多個用戶在使用虛擬網(wǎng)絡(luò)場景的過程中，所述方法包括采集當前用戶的視頻數(shù)據(jù)；根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，在所述當前用戶的客戶端和其他用戶的客 戶端，顯示采集的所述當前用戶的視頻；根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，識別所述當前用戶的動作信息；將識別的所述當前用戶的動作信息，作用于所述虛擬網(wǎng)絡(luò)場景，實現(xiàn)所述當前用 戶的視頻和所述虛擬場景的交互。
6
其中，所述根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，識別所述當前用戶的動作信息， 包括根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，通過臉部識別技術(shù)，捕獲所述當前用戶的 臉部視頻數(shù)據(jù)，識別所述用戶的臉部動作信息；和/或，根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，通過動作分析和對象跟蹤技術(shù)，捕獲所述 當前用戶的動作視頻數(shù)據(jù)，識別所述當前用戶的肢體動作信息。其中，所述將識別的所述當前用戶的動作信息，作用于所述虛擬網(wǎng)絡(luò)場景，實現(xiàn)和 所述虛擬場景的交互，包括根據(jù)識別的所述當前用戶的動作信息，以及預(yù)設(shè)的用戶和所述虛擬網(wǎng)絡(luò)場景中虛 擬對象的映射關(guān)系，在虛擬網(wǎng)絡(luò)場景中將識別出的當前用戶的動作映射給所述當前用戶的 虛擬對象；和/或，根據(jù)識別的所述當前用戶的動作信息，控制所述虛擬網(wǎng)絡(luò)場景。進一步地，所述方法還包括在預(yù)設(shè)的采樣時刻，判斷是否捕獲到滿足預(yù)設(shè)要求的所述當前用戶的視頻數(shù)據(jù)， 如果是，則對所述當前用戶進行正反饋；否則，對所述當前用戶進行負反饋。其中，所述判斷是否捕獲到滿足預(yù)設(shè)要求的所述當前用戶的視頻數(shù)據(jù)，包括判斷是否捕獲到用戶的臉部視頻數(shù)據(jù)，如果是，捕獲到滿足預(yù)設(shè)要求的所述當前 用戶的視頻數(shù)據(jù)；否則，未捕獲到滿足預(yù)設(shè)要求的所述當前用戶的視頻數(shù)據(jù)。其中，當通過臉部識別技術(shù)，根據(jù)捕獲的所述當前用戶的臉部視頻數(shù)據(jù)，識別所述 用戶的臉部動作信息時，所述方法還包括根據(jù)捕獲到的所述當前用戶的臉部視頻數(shù)據(jù)，對能夠捕獲到的所述當前用戶的臉 部視頻數(shù)據(jù)的時長進行累計；根據(jù)累計的時長，對所述當前用戶進行獎勵；和/或，根據(jù)捕獲到的所述當前用戶的臉部視頻數(shù)據(jù)，以及預(yù)設(shè)的臉部檢測特征點，獲得 所述當前用戶的臉部檢測特征點的檢測值；根據(jù)所述檢測值，對所述用戶進行正反饋或負 反饋。其中，所述對所述當前用戶進行正反饋包括但不限于對所述當前用戶進行獎勵；所述對所述當前用戶進行負反饋包括但不限于禁止所述當前用戶繼續(xù)使用所述 虛擬網(wǎng)絡(luò)場景。進一步地，所述方法還包括接收所述當前用戶發(fā)送的虛擬物品添加信號，選擇出所述當前用戶希望添加的虛 擬物品；相應(yīng)地，所述在所述當前用戶的客戶端和其他用戶的客戶端，顯示捕獲的所述當 前用戶的視頻，還包括在所述當前用戶的客戶端和其他用戶的客戶端，顯示采集的所述當前用戶的視頻 數(shù)據(jù)和所述當前用戶希望添加的虛擬物品。其中，在對所述虛擬物品顯示時，所述虛擬物品跟隨所述當前用戶的臉部位置的 改變進行同步改變。進一步地，所述方法還包括接收所述當前用戶觸發(fā)的截圖信號；
對在所述當前用戶的客戶端所顯示的至少兩個用戶的視頻進行截圖，獲得至少兩 個截像，所述截像中包含所述用戶的臉部信息；根據(jù)獲得的至少兩個截像中包含的用戶的臉部信息，計算所述臉部信息的匹 配度，將計算結(jié)果返回給所述當前用戶。一種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的裝置，所述裝置用于獲取用戶的視頻數(shù)據(jù)； 根據(jù)所述視頻數(shù)據(jù)，在客戶端將所述視頻數(shù)據(jù)對應(yīng)的視頻嵌入所述虛擬網(wǎng)絡(luò)場景中進行顯 示；或，根據(jù)所述視頻數(shù)據(jù)，在客戶端將所述視頻數(shù)據(jù)對應(yīng)的視頻在虛擬網(wǎng)絡(luò)場景上進行顯
7J\ o其中，所述裝置包括采集模塊，用于采集當前用戶的視頻數(shù)據(jù)；顯示模塊，用于根據(jù)所述采集模塊捕獲的所述當前用戶的視頻數(shù)據(jù)，在所述當前 用戶的客戶端和其他用戶的客戶端，顯示采集的所述當前用戶的視頻；識別模塊，用于根據(jù)所述采集模塊采集的所述當前用戶的視頻數(shù)據(jù)，識別所述當 前用戶的動作信息；交互模塊，用于將所述識別模塊識別的所述當前用戶的動作信息，作用于所述虛 擬網(wǎng)絡(luò)場景，實現(xiàn)所述當前用戶的視頻和所述虛擬場景的交互。其中，所述識別模塊包括第一識別單元，用于根據(jù)所述采集模塊采集的所述當前用戶的視頻數(shù)據(jù)，通過臉 部識別技術(shù)，捕獲所述當前用戶的臉部視頻數(shù)據(jù)，識別所述用戶的臉部動作信息；和/或，第二識別單元，用于根據(jù)所述采集模塊采集的所述當前用戶的視頻數(shù)據(jù)，通過動 作分析和對象跟蹤技術(shù)，捕獲所述當前用戶的動作視頻數(shù)據(jù)，識別所述當前用戶的肢體動
作{曰息。其中，所述交互模塊包括映射單元，用于根據(jù)所述識別模塊識別的所述當前用戶的動作信息，以及預(yù)設(shè)的 用戶和所述虛擬網(wǎng)絡(luò)場景中虛擬人物的映射關(guān)系，在虛擬網(wǎng)絡(luò)場景中將識別出的當前用戶 的動作映射給所述當前用戶的虛擬對象；控制單元，用于根據(jù)所述識別模塊識別的所述當前用戶的動作信息，控制所述虛 擬網(wǎng)絡(luò)場景。進一步地，所述裝置還包括第一判斷模塊，用于在預(yù)設(shè)的采樣時刻，判斷是否捕獲到滿足預(yù)設(shè)要求的當前用 戶的視頻數(shù)據(jù)；第一獎懲模塊，用于當所述判斷模塊判斷的結(jié)果為是時，對所述當前用戶進行正 反饋；當所述判斷模塊判斷的結(jié)果為否時，則對用戶進行負反饋。其中，當所述識別模塊包括第一識別單元時，所述裝置還包括第一獎勵模塊，用于根據(jù)所述捕獲模塊捕獲到的所述當前用戶的臉部視頻數(shù)據(jù)， 對能夠捕獲到的所述當前用戶的臉部視頻數(shù)據(jù)的時長進行累計；根據(jù)所述累計模塊累計的 時長，對所述當前用戶進行獎勵；和/或，第二判斷模塊，用于根據(jù)捕獲到的所述當前用戶的臉部視頻數(shù)據(jù)，以及預(yù)設(shè)的臉 部檢測特征點，獲得到所述當前用戶的臉部檢測特征點對應(yīng)的檢測值；根據(jù)所述檢測值，對所述當前用戶進行正反饋或負反饋。進一步地，所述裝置還包括接收模塊，用于接收所述當前用戶發(fā)送的虛擬物品添加信號；選擇模塊，用于在接收模塊接收到所述物品添加信號后，選擇出所述當前用戶希 望添加的物品；相應(yīng)地，所述顯示模塊具體用于在所述當前用戶的客戶端和其他用戶的客戶端， 顯示采集的所述當前用戶的視頻數(shù)據(jù)和所述當前用戶希望添加的物品。其中，所述顯示模塊在顯示所述物品時，所述顯示的物品跟隨所述當前用戶的臉 部位置的改變進行同步改變。進一步地，所述裝置還包括截圖模塊，用于接收所述當前用戶觸發(fā)的截圖信號；對在所述當前用戶的客戶端 所顯示的至少兩個用戶的視頻進行截圖，獲得至少兩個截像；所述截像中包含所 述用戶的臉部信息；處理模塊，用于根據(jù)所述截圖模塊獲得的至少兩個截像中包含的用戶的臉部 信息，計算所述臉部信息的匹配度，將計算結(jié)果返回給所述當前用戶。一種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的系統(tǒng)，所述系統(tǒng)包括實現(xiàn)視頻和虛擬網(wǎng)絡(luò) 場景交互的服務(wù)器和實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的客戶端，其中，所述客戶端為多個；所述客戶端，用于采集當前用戶的視頻數(shù)據(jù)；根據(jù)所述當前用戶的視頻數(shù)據(jù)，在所 述當前用戶的客戶端和其他用戶的客戶端，顯示采集的所述當前用戶的視頻；根據(jù)采集的 所述當前用戶的視頻數(shù)據(jù)，識別所述當前用戶的動作信息；用于將識別的所述當前用戶的 動作信息，作用于所述虛擬網(wǎng)絡(luò)場景，實現(xiàn)所述當前用戶的視頻和所述虛擬場景的交互；所述服務(wù)器，用于中轉(zhuǎn)所述客戶端之間的視頻數(shù)據(jù)；用于中轉(zhuǎn)所述客戶端之間的 虛擬場景控制信息后，控制所述虛擬場景。一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲計算機程序，所述程序 可使得一個或多個處理器執(zhí)行如下步驟獲取用戶的視頻數(shù)據(jù)；根據(jù)所述視頻數(shù)據(jù)，在客戶端將所述視頻數(shù)據(jù)對應(yīng)的視頻嵌入所述虛擬網(wǎng)絡(luò)場景 中進行顯示；或，根據(jù)所述視頻數(shù)據(jù)，在客戶端將所述視頻數(shù)據(jù)對應(yīng)的視頻在虛擬網(wǎng)絡(luò)場景上進行顯不。其中，所述程序可使得一個或多個處理器具體執(zhí)行如下步驟采集當前用戶的視頻數(shù)據(jù)；根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，在所述當前用戶的客戶端和其他用戶的客 戶端，顯示采集的所述當前用戶的視頻；根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，識別所述當前用戶的動作信息；將識別的所述當前用戶的動作信息，作用于所述虛擬網(wǎng)絡(luò)場景，實現(xiàn)所述當前用 戶的視頻和所述虛擬場景的交互。其中，所述程序可使得一個或多個處理器具體執(zhí)行如下步驟根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，通過臉部識別技術(shù)，捕獲所述當前用戶的
9臉部視頻數(shù)據(jù)，識別所述用戶的臉部動作信息；和/或，根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，通過動作分析和對象跟蹤技術(shù)，捕獲所述 當前用戶的動作視頻數(shù)據(jù)，識別所述當前用戶的肢體動作信息。其中，所述程序可使得一個或多個處理器具體執(zhí)行如下步驟根據(jù)識別的所述當前用戶的動作信息，以及預(yù)設(shè)的用戶和所述虛擬網(wǎng)絡(luò)場景中虛 擬對象的映射關(guān)系，在虛擬網(wǎng)絡(luò)場景中將識別出的當前用戶的動作映射給所述當前用戶的 虛擬對象；和/或，根據(jù)識別的所述當前用戶的動作信息，控制所述虛擬網(wǎng)絡(luò)場景。本發(fā)明實施例提供的技術(shù)方案的有益效果是通過將視頻和虛擬網(wǎng)絡(luò)場景模式下的網(wǎng)絡(luò)服務(wù)進行關(guān)聯(lián)，增加視頻和虛擬網(wǎng)絡(luò)場 景模式下的網(wǎng)絡(luò)服務(wù)的相關(guān)性，實現(xiàn)視頻和網(wǎng)絡(luò)服務(wù)的交互，提高用戶的使用體驗。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可 以根據(jù)這些附圖獲得其他的附圖。圖1是本發(fā)明實施例提供的實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的方法流程圖；圖2是本發(fā)明實施例1提供的實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的方法的應(yīng)用場景架 構(gòu)圖；圖3是本發(fā)明實施例1提供的實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的方法流程圖；圖4是本發(fā)明實施例1提供的實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的方法的用戶交互示 意圖；圖5是本發(fā)明實施例2提供的實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的裝置的示意圖；圖6是本發(fā)明實施例3提供的實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的系統(tǒng)的示意圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明實施方 式作進一步地詳細描述。為了增加視頻和虛擬網(wǎng)絡(luò)場景模式下的網(wǎng)絡(luò)服務(wù)的相關(guān)性，實現(xiàn)視頻和上述網(wǎng)絡(luò) 服務(wù)的交互，提高用戶的使用體驗，本發(fā)明實施例提供了一種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交 互的方法，該方法內(nèi)容包括獲取用戶的視頻數(shù)據(jù)；根據(jù)該視頻數(shù)據(jù)，在客戶端將該視頻數(shù) 據(jù)對應(yīng)的視頻嵌入該虛擬網(wǎng)絡(luò)場景中進行顯示；或，根據(jù)該視頻數(shù)據(jù)，在客戶端將該視頻數(shù) 據(jù)對應(yīng)的視頻在虛擬網(wǎng)絡(luò)場景上進行顯示。所謂在客戶端將該視頻數(shù)據(jù)對應(yīng)的視頻在虛擬 網(wǎng)絡(luò)場景上進行顯示是指用戶的視頻在顯示時是浮動于該虛擬網(wǎng)絡(luò)場景上的。其中，該虛 擬網(wǎng)絡(luò)場景包括但不限于網(wǎng)絡(luò)游戲、視頻會議等等。其中，多個用戶在使用虛擬網(wǎng)絡(luò)場景的過程中，參見圖1，該方法內(nèi)容如下S1 采集當前用戶的視頻數(shù)據(jù)；S2:根據(jù)采集的當前用戶的視頻數(shù)據(jù)，在當前用戶的客戶端和其他用戶的客戶端，顯示采集的當前用戶的視頻；S3 根據(jù)采集的當前用戶的視頻數(shù)據(jù)，識別當前用戶的動作信息；S4:將識別的當前用戶的動作信息，作用于虛擬網(wǎng)絡(luò)場景，實現(xiàn)當前用戶的視頻和 虛擬場景的交互。其中，步驟S4所涉及的將識別的當前用戶的動作信息，作用于虛擬網(wǎng)絡(luò)場景，實 現(xiàn)和虛擬場景的交互，包括S4A 根據(jù)識別的當前用戶的動作信息，以及預(yù)設(shè)的用戶和虛擬網(wǎng)絡(luò)場景中虛擬 對象的映射關(guān)系，在虛擬網(wǎng)絡(luò)場景中將識別出的當前用戶的動作映射給當前用戶的虛擬對 象；和/或，S4B 根據(jù)識別的當前用戶的動作信息，控制虛擬網(wǎng)絡(luò)場景。其中，步驟S3所涉及根據(jù)采集的當前用戶的視頻數(shù)據(jù)，識別當前用戶的動作信 息，包括根據(jù)采集的當前用戶的視頻數(shù)據(jù)，通過臉部識別技術(shù)，捕獲當前用戶的臉部視頻 數(shù)據(jù)，識別用戶的臉部動作信息；和/或，根據(jù)采集的當前用戶的視頻數(shù)據(jù)，通過動作分析和對象跟蹤技術(shù)，捕獲當前用戶 的動作視頻數(shù)據(jù)，識別當前用戶的肢體動作信息。本發(fā)明實施例提供的實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的方法，通過將視頻和虛擬網(wǎng) 絡(luò)場景模式下的網(wǎng)絡(luò)服務(wù)進行關(guān)聯(lián)，增加視頻和虛擬網(wǎng)絡(luò)場景模式下的網(wǎng)絡(luò)服務(wù)的相關(guān) 性，實現(xiàn)視頻和網(wǎng)絡(luò)服務(wù)的交互，提高用戶的使用體驗。為了對本發(fā)明實施例提供的實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的方法進行詳細說明， 請參見如下實施例，其中，為了便于說明，下述實施例中虛擬網(wǎng)絡(luò)場景以用戶常用的虛擬網(wǎng) 絡(luò)游戲場景為例進行示例說明實施例1為了增加視頻和虛擬網(wǎng)絡(luò)游戲場景模式下的網(wǎng)絡(luò)服務(wù)的相關(guān)性，實現(xiàn)視頻和上述 網(wǎng)絡(luò)服務(wù)的交互，提高用戶的使用體驗，本發(fā)明實施例提供了一種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場 景交互的方法。如前所述，為了便于說明，參見圖2，為本發(fā)明實施例提供的應(yīng)用架構(gòu)示意圖，本實 施例以虛擬網(wǎng)絡(luò)游戲場景為例，以使用該虛擬網(wǎng)絡(luò)游戲場景中的用戶分別為用戶A、用戶 B、用戶C為例，該真實用戶A、用戶B和用戶C在該虛擬網(wǎng)絡(luò)游戲場景中所對應(yīng)的虛擬對象 為虛擬人物為例，相應(yīng)地，各虛擬人物分別為a、b和c進行示意說明。參見圖3，本發(fā)明實 施例提供的方法內(nèi)容如下步驟101 用戶A處的客戶端A采集用戶A的視頻數(shù)據(jù)。其中，該客戶端A具體實現(xiàn)時，可以是帶有可捕獲視頻數(shù)據(jù)裝置(如攝像頭等)的 計算機、還可以是帶有可捕獲視頻數(shù)據(jù)裝置的手持終端。本發(fā)明實施例對該客戶端A具體 實現(xiàn)時的類型和方式不做任何限制。步驟102 客戶端A根據(jù)采集的用戶A的視頻數(shù)據(jù)，識別用戶A的動作。其中，視頻數(shù)據(jù)與用戶實際展示在可捕獲視頻數(shù)據(jù)裝置前的動作相對應(yīng)，該動作 包括但不限于用戶的臉部動作、用戶的肢體動作等。如果用戶A在客戶端A前呈現(xiàn)了自己的臉部，則該客戶端A將從采集用戶A的視
11頻數(shù)據(jù)中通過臉部識別技術(shù)捕獲到用戶A的臉部視頻數(shù)據(jù)，基于該捕獲到用戶A的臉部視 頻數(shù)據(jù)，可以識別得到用戶A的臉部動作。如果用戶A在客戶端A前呈現(xiàn)了自己的肢體動作，則該客戶端A將從采集用戶A 的視頻數(shù)據(jù)中通過動作分析和對象跟蹤技術(shù)捕獲到用戶A的肢體視頻數(shù)據(jù)，基于該捕獲到 用戶A的肢體視頻數(shù)據(jù)，可以識別得到用戶A的肢體動作。步驟103 客戶端A將識別出的用戶A的動作信息，發(fā)送給預(yù)設(shè)的網(wǎng)絡(luò)服務(wù)器。其中，上述網(wǎng)絡(luò)服務(wù)器具體可以是視頻游戲服務(wù)器，在客戶端A在將識別出的用 戶A的動作信息發(fā)送給預(yù)設(shè)的網(wǎng)絡(luò)服務(wù)器時，可以通過攜帶表示具體動作標識的數(shù)據(jù)實 現(xiàn)。例如假設(shè)針對臉部動作，則設(shè)置XXl表示眨眼；XX2表示皺眉等等。步驟104 網(wǎng)絡(luò)服務(wù)器根據(jù)識別的用戶A的動作信息、以及用戶A和該虛擬網(wǎng)絡(luò)游 戲場景中虛擬人物A的映射關(guān)系，將識別出的用戶A的動作映射給該虛擬人物a。其中，如前所述，真實用戶和在該虛擬網(wǎng)絡(luò)游戲場景中的虛擬人物存在映射關(guān)系， 為了提高網(wǎng)絡(luò)服務(wù)的處理效率，如圖2所述，本實施例假設(shè)存在網(wǎng)絡(luò)服務(wù)器(即視頻游戲服 務(wù)器)，該網(wǎng)絡(luò)服務(wù)器用于為多個用戶提供該虛擬網(wǎng)絡(luò)游戲服務(wù)，其中，該網(wǎng)絡(luò)服務(wù)器內(nèi)會 保存有上述該映射關(guān)系；相應(yīng)地，當該網(wǎng)絡(luò)服務(wù)器收到客戶端A發(fā)送的用戶A的動作后(具 體可以為動作標識)，則將相應(yīng)的動作作用于與用戶A對應(yīng)的虛擬人物a。例如假設(shè)服務(wù) 器識別出的用戶A的動作為眨眼(該動作的標識為XXI)，則相應(yīng)地，在該虛擬網(wǎng)絡(luò)游戲場景 中的虛擬人物a也會做出眨眼的動作。其中，具體實現(xiàn)時，本領(lǐng)域技術(shù)人員可知道可通過動 作分析和對象跟蹤技術(shù)實現(xiàn)。通過上述步驟102至步驟104，實現(xiàn)了用戶的視頻和虛擬網(wǎng)絡(luò)游戲場景的交互，另 本領(lǐng)域技術(shù)人員可以知，還可以通過視頻實現(xiàn)，根據(jù)用戶的動作信息對虛擬網(wǎng)絡(luò)游戲場景 進行控制。本實施例以客戶端A根據(jù)用戶A的視頻數(shù)據(jù)識別并向服務(wù)器發(fā)送該用戶A的動 作為例，在具體實現(xiàn)時，為了進一步提高數(shù)據(jù)的處理效率，還可以采用客戶端A直接將獲取 的用戶A的視頻數(shù)據(jù)發(fā)送給該網(wǎng)絡(luò)服務(wù)器，由該網(wǎng)絡(luò)服務(wù)器根據(jù)接收的視頻數(shù)據(jù)獲取該用 戶A的動作信息。本發(fā)明實施例對此不做任何限制。本領(lǐng)域技術(shù)人員可以獲知，在發(fā)送視 頻數(shù)據(jù)時，為了提高網(wǎng)絡(luò)傳輸效率，還可以對傳輸?shù)臄?shù)據(jù)進行編碼、壓縮等處理，本發(fā)明實 施例對此不做任何限制。同理，用戶B和用戶C通過執(zhí)行上述步驟101-104，即可以實現(xiàn)視頻和網(wǎng)絡(luò)游戲場 景的交互，從而提高了用戶的使用體驗。可以實現(xiàn)各用戶在本地就可以看到參與該網(wǎng)絡(luò)游 戲的其他用戶的真實模樣。進一步地，各客戶端還可以為用戶提供本地自我展示的功能，即 用戶還可以在本地觀看到自己的真實模樣。進一步地，為了提高用戶的使用體驗，本發(fā)明實施例提供的方法還可以包括客戶 端A接收用戶A發(fā)送的觸發(fā)信號，對當前看到的用戶B的視頻和用戶C的視頻進行截圖，得 到用戶B的當前截圖X和用戶C的當前截圖Y ；其中，當前截圖X和當前截圖Y中分別包含 有用戶B的臉部信息和用戶C的臉部信息，根據(jù)得到的當前截圖X和當前截圖Y中分別包 含的臉部信息，計算用戶B的臉部信息和用戶C的臉部信息的匹配度，即可計算得到當前截 圖X和當前截圖Y的匹配度，相應(yīng)地，還可以將計算結(jié)果反饋給用戶，從而進一步提高用戶 的趣味性和娛樂性。進一步地，本發(fā)明實施例提供的方法，為了提高視頻和虛擬網(wǎng)絡(luò)游戲場景模式下的網(wǎng)絡(luò)服務(wù)的相關(guān)性，在進行視頻捕獲時，如果在用戶在該虛擬網(wǎng)絡(luò)游戲場景中使用該網(wǎng) 絡(luò)服務(wù)過程中，通過在預(yù)設(shè)采樣時刻，對所有的用戶進行采樣，判斷是否捕獲到該滿足預(yù)設(shè) 要求的用戶的視頻(具體可以設(shè)置為判斷是否捕獲到該用戶的臉部視頻)，如果是，則對用 戶進行正反饋，例如在網(wǎng)絡(luò)游戲中為用戶提供相應(yīng)的獎勵；如果否，則對用戶進行負反饋， 例如在網(wǎng)絡(luò)游戲中為用戶提供相應(yīng)的懲罰，如禁止用戶在該網(wǎng)絡(luò)游戲中執(zhí)行某個動作等。另外，還可以在進行視頻捕獲時，如果在用戶在該虛擬網(wǎng)絡(luò)游戲場景中使用該網(wǎng) 絡(luò)服務(wù)過程中，通過在預(yù)設(shè)采樣時刻，對所有的用戶進行采樣，判斷是否捕獲到該用戶的視 頻(具體可以設(shè)置為判斷是否捕獲到該用戶的臉部視頻)，如果是，則為用戶建立展示數(shù) 值，并可相應(yīng)的制定累計規(guī)則，如果該數(shù)值累積越大，則相應(yīng)的表示該用戶更傾向展示自 己；或者，通過對用戶在視頻中出現(xiàn)的時間長短進行累計(具體可以設(shè)置該用戶的臉部在 視頻中出現(xiàn)的時間長短進行累計)，如果時間越長，則相應(yīng)的表示該用戶更傾向展示自己。進一步地，還可以預(yù)設(shè)臉部檢測特征點，根據(jù)捕獲到的當前用戶的臉部視頻數(shù)據(jù)， 以及該預(yù)設(shè)的臉部檢測特征點，判斷是否能夠得到當前用戶的臉部檢測特征點所對應(yīng)的檢 測值，如果是，則對用戶進行正反饋，例如在網(wǎng)絡(luò)游戲中為用戶提供相應(yīng)的獎勵；如果否，則 對用戶進行負反饋，例如在網(wǎng)絡(luò)游戲中為用戶提供相應(yīng)的懲罰，如禁止用戶在該網(wǎng)絡(luò)游戲 中執(zhí)行某個動作等。示例假設(shè)上述預(yù)設(shè)的臉部檢測特征點為鼻子，則可以根據(jù)捕獲的當前 用戶A的臉部視頻數(shù)據(jù)，判斷是否存在鼻子的檢測特征點，如果能夠得到該檢測特征點所 對應(yīng)的檢測值，則在網(wǎng)絡(luò)游戲中為用戶提供相應(yīng)的獎勵；否則，禁止用戶在該網(wǎng)絡(luò)游戲中執(zhí) 行某個動作，例如中止該用戶繼續(xù)進行該網(wǎng)絡(luò)游戲，或給予用戶相應(yīng)的游戲分數(shù)懲罰，或 提示用戶將臉部對準客戶端的視頻捕獲裝置等等。進一步地，為了提高用戶的實用性和娛樂性，客戶端還可以為用戶提供配套物品 (如圖形物件等)，所提供的配套物品可通過對象跟蹤技術(shù)跟蹤用戶的臉部進行相應(yīng)的位 置改變。例如，用戶A選擇的配套物品為眼鏡，則相應(yīng)地，客戶端A接收用戶A選擇眼鏡的 觸發(fā)信號后，選擇出用戶A所選擇的眼鏡，并將該眼鏡添加在視頻窗口中，且在視頻窗口中 無論用戶A是低頭還是抬頭，該眼鏡始終跟隨用戶A的臉部位置進行相應(yīng)的變化。其中，上 述配套物品可以是預(yù)先為用戶設(shè)置好的，也可以是由用戶從其他的地方添加進來的。本發(fā) 明實施例對此不做任何限制。進一步地，為了提高用戶的實用性和娛樂性，本發(fā)明實施例提供的方法還可以支 持用戶通過在本地客戶端所觀看到的其他各用戶的視頻窗口后，根據(jù)自己的喜好選擇出目 標視頻窗口( 一個或多個)，對所選擇的目標視頻窗口執(zhí)行播放表情圖片或動作動畫，以此 可以表達用戶的心情和想要進行的動作。例如，用戶A選擇了一個笑臉的表情圖片，且選中 了在用戶B的視頻窗口內(nèi)播放該笑臉表情圖片，則相應(yīng)地，客戶端A接收到該用戶A觸發(fā)的 選擇信號后，通過網(wǎng)絡(luò)服務(wù)器實現(xiàn)在用戶B的視頻窗口內(nèi)播放該笑臉表情圖片。其中，該表 情圖片或動作動畫，可以是預(yù)先為用戶設(shè)置好的，也可以是由用戶自己定義的表情圖片或 者動作動畫。進一步地，各用戶還可以根據(jù)觀看到的其他用戶的視頻圖像，向?qū)Ψ浇o予虛擬禮 物的贈送，即為每個用戶建立一個標識，可以為每類虛擬禮物建立獨立的標識，例如，當用 戶A通過觀看到的用戶B的視頻圖像后，決定向用戶B贈送虛擬禮物(如虛擬禮物包括鮮 花和飲料兩類，則標識FFF代表鮮花；標識WWW代表飲料)，則可以在自己的視頻窗口誘發(fā)一個贈送動畫，在接收方即用戶B的視頻窗口誘發(fā)一個接受動畫(或者只在某一方誘發(fā)動 畫)。相應(yīng)地，通過數(shù)值的傳遞便可實現(xiàn)虛擬禮物贈送和接受的交互流程。進一步地，上述本發(fā)明實施例以實現(xiàn)視頻和虛擬網(wǎng)絡(luò)游戲場景模式下的網(wǎng)絡(luò)服務(wù) 的交互為例進行的說明，另，本領(lǐng)域技術(shù)人員可以獲知，同理還可以實現(xiàn)音頻和虛擬網(wǎng)絡(luò)游 戲場景模式下的網(wǎng)絡(luò)服務(wù)的交互，即通過客戶端設(shè)置的采集用戶發(fā)出的語音，識別音頻數(shù) 據(jù)得到用戶想表達的信息，然后將識別得到的用戶想表達的信息，作用到虛擬網(wǎng)絡(luò)游戲場 景中，或者作用到虛擬網(wǎng)絡(luò)游戲場景中的虛擬人物上。例如客戶端A采集到用戶A發(fā)出的 “眨眼”命令，則通過語音識別，得到該眨眼動作，將該眨眼動作作用該用戶A的虛擬人物a 中；再如，客戶端A采集到用戶A發(fā)出的“前進”命令，則通過語音識別，得到該前進動作，在 將該眨眼動作作用該用戶A的虛擬人物a上，在該虛擬人物a則在該虛擬網(wǎng)絡(luò)游戲場景中 執(zhí)行前進的動作。綜上所述，本發(fā)明實施例提供了一種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的方法，其中， 所述視頻包括但不限于影像，聲音等，參見圖4，為本發(fā)明實施例提供的該方法下的用戶交 互示意圖。其中，臉部識別技術(shù)包括但不限于OpenCv基于灰度圖像中弱特征檢測方法， Haar特征檢測方法等。通過本發(fā)明實施例提供的方法可以實現(xiàn)在虛擬網(wǎng)絡(luò)游戲場景中鑲嵌 視頻窗口，從而達到實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的目的，并且本發(fā)明實施例提供的方法， 利用臉部識別技術(shù)、動作運動分析、對象跟蹤和動作捕捉來可以實現(xiàn)基于視頻的用戶和虛 擬網(wǎng)絡(luò)場景交互，且利用視頻圖像混合技術(shù)混合動畫增加用戶間的交互；且利用視頻進行 用戶間的交互。上述本發(fā)明實施例以虛擬網(wǎng)絡(luò)游戲場景為例進行的說明，本領(lǐng)域技術(shù)人員可以 知，本發(fā)明實施例提供方法還可以應(yīng)用于虛擬網(wǎng)絡(luò)會議場景等情況，本發(fā)明實施例僅作示 例說明，對此不做任何限制。實施例2與上述方法實施例相應(yīng)地，為了增加視頻和虛擬網(wǎng)絡(luò)游戲場景模式下的網(wǎng)絡(luò)服務(wù) 的相關(guān)性，實現(xiàn)視頻和上述網(wǎng)絡(luò)服務(wù)的交互，提高用戶的使用體驗，本發(fā)明實施例提供了一 種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的裝置，該裝置用于獲取用戶的視頻數(shù)據(jù)；根據(jù)該視頻數(shù) 據(jù)，在客戶端將該視頻數(shù)據(jù)對應(yīng)的視頻嵌入該虛擬網(wǎng)絡(luò)場景中進行顯示；或，根據(jù)該視頻數(shù) 據(jù)，在客戶端將該視頻數(shù)據(jù)對應(yīng)的視頻在虛擬網(wǎng)絡(luò)場景上進行顯示。其中，所謂在客戶端將 該視頻數(shù)據(jù)對應(yīng)的視頻在虛擬網(wǎng)絡(luò)場景上進行顯示是指用戶的視頻在顯示時是浮動于該 虛擬網(wǎng)絡(luò)場景上的。參見圖5，該裝置包括采集模塊501，用于采集當前用戶的視頻數(shù)據(jù)；顯示模塊502，用于根據(jù)采集模塊501捕獲的當前用戶的視頻數(shù)據(jù)，在當前用戶的 客戶端和其他用戶的客戶端，顯示采集的當前用戶的視頻；識別模塊503，用于根據(jù)采集模塊501采集的當前用戶的視頻數(shù)據(jù)，識別當前用戶 的動作信息；交互模塊504，用于將識別模塊503識別的當前用戶的動作信息，作用于虛擬網(wǎng)絡(luò) 場景，實現(xiàn)當前用戶的視頻和虛擬場景的交互。其中，交互模塊504包括映射單元，用于根據(jù)識別模塊503識別的當前用戶的動作信息，以及預(yù)設(shè)的用戶
14和虛擬網(wǎng)絡(luò)場景中虛擬人物的映射關(guān)系，在虛擬網(wǎng)絡(luò)場景中將識別出的當前用戶的動作映 射給當前用戶的虛擬對象；控制單元，用于根據(jù)識別模塊503識別的當前用戶的動作信息，控制虛擬網(wǎng)絡(luò)場
旦
o其中，識別模塊503包括第一識別單元，用于根據(jù)采集模塊501采集的當前用戶的視頻數(shù)據(jù)，通過臉部識 別技術(shù)，捕獲當前用戶的臉部視頻數(shù)據(jù)，識別用戶的臉部動作信息；和/或，第二識別單元，用于根據(jù)采集模塊501采集的當前用戶的視頻數(shù)據(jù)，通過動作分 析和對象跟蹤技術(shù)，捕獲當前用戶的動作視頻數(shù)據(jù)，識別當前用戶的肢體動作信息。進一步地，裝置還包括第一判斷模塊，用于在預(yù)設(shè)的采樣時刻，判斷是否捕獲到滿足預(yù)設(shè)要求的當前用 戶的視頻數(shù)據(jù)；第一獎懲模塊，用于當判斷模塊判斷的結(jié)果為是時，對當前用戶進行正反饋；當判 斷模塊判斷的結(jié)果為否時，則對用戶進行負反饋。其中，當識別模塊503包括第一識別單元時，裝置還包括第一獎勵模塊，用于根據(jù)捕獲模塊捕獲到的當前用戶的臉部視頻數(shù)據(jù)，對能夠捕 獲到的當前用戶的臉部視頻數(shù)據(jù)的時長進行累計；根據(jù)累計模塊累計的時長，對當前用戶 進行獎勵；和/或，第二判斷模塊，用于根據(jù)捕獲到的當前用戶的臉部視頻數(shù)據(jù)，以及預(yù)設(shè)的臉部檢 測特征點，獲得當前用戶的臉部檢測特征點對應(yīng)的檢測值；根據(jù)檢測值，對當前用戶進行正 反饋或負反饋。進一步地，為了提高用戶的實用性和娛樂性，裝置還包括接收模塊，用于接收當前用戶發(fā)送的虛擬物品添加信號；選擇模塊，用于在接收模塊接收到物品添加信號后，選擇出當前用戶希望添加的 物品；相應(yīng)地，顯示模塊502具體用于在當前用戶的客戶端和其他用戶的客戶端，顯示 采集的當前用戶的視頻數(shù)據(jù)和當前用戶希望添加的物品。其中，顯示模塊502在顯示物品時，顯示的物品跟隨當前用戶的臉部位置的改變 進行同步改變。進一步地，為了提高用戶的實用性和娛樂性，裝置還包括截圖模塊，用于接收當前用戶觸發(fā)的截圖信號；對在當前用戶的客戶端所顯示的 至少兩個用戶的視頻進行截圖，獲得至少兩個截像；截像中包括用戶的臉部信 息；處理模塊，用于根據(jù)截圖模塊獲得的至少兩個截像中包括的用戶的臉部信 息，計算臉部信息的匹配度，將計算結(jié)果返回給當前用戶。本領(lǐng)域技術(shù)人員可知，本發(fā)明實施例提供的實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的裝置 的各模塊，具體實現(xiàn)時，所有的模塊都可以位于同一個裝置內(nèi)(如采集模塊、顯示模塊、識 別模塊、交互模塊都位于客戶端)，也可以進行相應(yīng)的變化位于不同的裝置內(nèi)(如采集模 塊、顯示模塊位于客戶端；識別模塊、交互模塊位于服務(wù)器)，上述實施例所提供的模塊可以根據(jù)需要合并為一個模塊，也可以進一步地拆分成多個子模塊。綜上所述，本發(fā)明實施例提供了一種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的裝置，通過 本發(fā)明實施例提供的裝置可以實現(xiàn)在虛擬網(wǎng)絡(luò)游戲場景中鑲嵌視頻窗口，從而達到實現(xiàn)視 頻和虛擬網(wǎng)絡(luò)場景交互的目的，并且本發(fā)明實施例提供的方法，利用臉部識別技術(shù)、動作運 動分析、對象跟蹤和動作捕捉來可以實現(xiàn)基于視頻的用戶和虛擬網(wǎng)絡(luò)場景交互，且利用視 頻圖像混合技術(shù)混合動畫增加用戶間的交互；且利用視頻進行用戶間的交互。實施例3與上述實施例相應(yīng)地，為了增加視頻和虛擬網(wǎng)絡(luò)游戲場景模式下的網(wǎng)絡(luò)服務(wù)的相 關(guān)性，實現(xiàn)視頻和上述網(wǎng)絡(luò)服務(wù)的交互，提高用戶的使用體驗，本發(fā)明實施例提供了一種實 現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的系統(tǒng)，參見圖6，該系統(tǒng)包括實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互 的服務(wù)器601和實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的客戶端602，其中，客戶端602為多個；客戶端602，用于采集當前用戶的視頻數(shù)據(jù)；根據(jù)當前用戶的視頻數(shù)據(jù)，在當前用 戶的客戶端602和其他用戶的客戶端602，顯示采集的當前用戶的視頻；根據(jù)采集的當前用 戶的視頻數(shù)據(jù)，識別當前用戶的動作信息；用于將識別的當前用戶的動作信息，作用于虛擬 網(wǎng)絡(luò)場景，實現(xiàn)當前用戶的視頻和虛擬場景的 交互；服務(wù)器601，用于中轉(zhuǎn)客戶端602之間的視頻數(shù)據(jù)；用于中轉(zhuǎn)客戶端602之間的虛 擬場景控制信息后，控制虛擬場景?？蛇x地，對于上述服務(wù)器中轉(zhuǎn)數(shù)據(jù)的情況外，還可以包括通過P2P傳輸；可選地， 還可以將視頻數(shù)據(jù)和虛擬網(wǎng)絡(luò)數(shù)據(jù)(如虛擬網(wǎng)絡(luò)游戲數(shù)據(jù))分開進行傳輸；詳見如下可選地，在具體實現(xiàn)時，考慮到實際情況，為了提高網(wǎng)絡(luò)的傳輸效率，節(jié)約網(wǎng)絡(luò)傳 輸帶寬，該系統(tǒng)的架構(gòu)還可以如下，包括客戶端、視頻服務(wù)器和游戲服務(wù)器，其中，客戶端，用于采集當前用戶的視頻數(shù)據(jù)，顯示采集的當前用戶和其他客戶端采集 的其他用戶的視頻，以及根據(jù)采集的當前用戶的視頻數(shù)據(jù)，識別當前用戶的動作信息；還用 于顯示虛擬網(wǎng)絡(luò)場景；視頻服務(wù)器，用于收集各客戶端采集的視頻數(shù)據(jù)，中轉(zhuǎn)各客戶端所采集的視頻數(shù) 據(jù)，并且還可以收集各客戶端識別的用戶的動作信息，將識別的用戶的動作信息，通過虛擬 場景服務(wù)器作用于虛擬網(wǎng)絡(luò)場景，實現(xiàn)用戶的視頻和虛擬場景的交互；虛擬場景服務(wù)器，用于執(zhí)行虛擬場景的流程，并將視頻服務(wù)器得到的用戶的動作 信息作用到虛擬網(wǎng)絡(luò)場景，實現(xiàn)用戶的視頻和虛擬場景的交互。其中，當該虛擬場景服務(wù)器 為網(wǎng)絡(luò)游戲時，則上述虛擬場景服務(wù)器為游戲服務(wù)器。進一步地，可選地，針對目前網(wǎng)絡(luò)較為流行的P2P (Peer to Peer，對等節(jié)點)網(wǎng)絡(luò) 架構(gòu)，本發(fā)明實施例提供的系統(tǒng)具體還可以包括如下客戶端，用于采集當前用戶的視頻數(shù)據(jù)，顯示采集的當前用戶和其他客戶端采集 的其他用戶的視頻，以及根據(jù)采集的當前用戶的視頻數(shù)據(jù)，識別當前用戶的動作信息；還用 于顯示虛擬網(wǎng)絡(luò)場景；視頻服務(wù)器，用于收集各客戶端采集的視頻數(shù)據(jù)，中轉(zhuǎn)各客戶端所采集的視頻數(shù) 據(jù)，并且還可以收集各客戶端識別的用戶的動作信息，將識別的用戶的動作信息，通過虛擬 場景服務(wù)器作用于虛擬網(wǎng)絡(luò)場景，實現(xiàn)用戶的視頻和虛擬場景的交互；虛擬場景服務(wù)器，用于執(zhí)行虛擬場景的流程，并將視頻服務(wù)器得到的用戶的動作信息作用到虛擬網(wǎng)絡(luò)場景，實現(xiàn)用戶的視頻和虛擬場景的交互。其中，當該虛擬場景服務(wù)器 為網(wǎng)絡(luò)游戲時，則上述虛擬場景服務(wù)器為游戲服務(wù)器。以及P2P服務(wù)器，該P2P服務(wù)器用于為上述視頻服務(wù)器和虛擬場景服務(wù)器進行數(shù) 據(jù)的備份，以實現(xiàn)容災(zāi)備份的功能。本發(fā)明實施例對本發(fā)明實施例提供的系統(tǒng)的具體實現(xiàn)架構(gòu)不做任何限制，僅做示 例說明，任何將視頻和虛擬網(wǎng)絡(luò)場景結(jié)合，實現(xiàn)視頻與虛擬網(wǎng)絡(luò)場景交互模式的技術(shù)方案 都在本發(fā)明實施例的保護范圍之內(nèi)。綜上所述，本發(fā)明實施例提供了一種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的系統(tǒng)，通過 本發(fā)明實施例提供的系統(tǒng)可以實現(xiàn)在虛擬網(wǎng)絡(luò)游戲場景中鑲嵌視頻窗口，從而達到實現(xiàn)視 頻和虛擬網(wǎng)絡(luò)場景交互的目的，并且本發(fā)明實施例提供的方法，利用臉部識別技術(shù)、動作運 動分析、對象跟蹤和動作捕捉來可以實現(xiàn)基于視頻的用戶和虛擬網(wǎng)絡(luò)場景交互，且利用視 頻圖像混合技術(shù)混合動畫增加用戶間的交互；且利用視頻進行用戶間的交互。綜上所述，本發(fā)明實施例提供的技術(shù)方案，可以滿足用戶日益對使用虛擬網(wǎng)絡(luò)場 景模式下的網(wǎng)絡(luò)服務(wù)的要求，能夠?qū)崿F(xiàn)用戶在享受虛擬網(wǎng)絡(luò)場景模式的網(wǎng)絡(luò)服務(wù)的同時， 能夠看到參與該網(wǎng)絡(luò)服務(wù)的其他人的真實身份和模樣，并且也能夠?qū)崿F(xiàn)用戶在該網(wǎng)絡(luò)服務(wù) 的過程中讓其他的人能夠通過網(wǎng)絡(luò)看到自己，增加了視頻和虛擬網(wǎng)絡(luò)場景模式下的網(wǎng)絡(luò)服 務(wù)的相關(guān)性，實現(xiàn)視頻和上述網(wǎng)絡(luò)服務(wù)的交互。本發(fā)明實施例中的“接收”一詞可以理解為主動從其他模塊獲取也可以是接收其 他模塊發(fā)送來的信息。本領(lǐng)域技術(shù)人員可以理解附圖只是一個優(yōu)選實施例的示意圖，附圖中的模塊或流 程并不一定是實施本發(fā)明所必須的。本領(lǐng)域技術(shù)人員可以理解實施例中的裝置中的模塊可以按照實施例描述分布于 實施例的裝置中，也可以進行相應(yīng)變化位于不同于本實施例的一個或多個裝置中。上述實 施例的模塊可以合并為一個模塊，也可以進一步拆分成多個子模塊。上述本發(fā)明實施例序號僅僅為了描述，不代表實施例的優(yōu)劣。本發(fā)明實施例中的部分步驟，可以利用軟件實現(xiàn)，相應(yīng)的軟件程序可以存儲在可 讀取的存儲介質(zhì)中，如光盤或硬盤等。以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和 原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
一種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的方法，其特征在于，所述方法包括獲取用戶的視頻數(shù)據(jù)；根據(jù)所述視頻數(shù)據(jù)，在客戶端將所述視頻數(shù)據(jù)對應(yīng)的視頻嵌入所述虛擬網(wǎng)絡(luò)場景中進行顯示；或，根據(jù)所述視頻數(shù)據(jù)，在客戶端將所述視頻數(shù)據(jù)對應(yīng)的視頻在虛擬網(wǎng)絡(luò)場景上進行顯示。
2.如權(quán)利要求1所述的方法，其特征在于，多個用戶在使用虛擬網(wǎng)絡(luò)場景的過程中，所 述方法具體包括采集當前用戶的視頻數(shù)據(jù)；根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，在所述當前用戶的客戶端和其他用戶的客戶 端，顯示采集的所述當前用戶的視頻；根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，識別所述當前用戶的動作信息；將識別的所述當前用戶的動作信息，作用于所述虛擬網(wǎng)絡(luò)場景，實現(xiàn)所述當前用戶的 視頻和所述虛擬場景的交互。
3.如權(quán)利要求2所述的方法，其特征在于，所述根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)， 識別所述當前用戶的動作信息，包括根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，通過臉部識別技術(shù)，捕獲所述當前用戶的臉部 視頻數(shù)據(jù)，識別所述用戶的臉部動作信息；和/或，根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，通過動作分析和對象跟蹤技術(shù)，捕獲所述當前 用戶的動作視頻數(shù)據(jù)，識別所述當前用戶的肢體動作信息。
4.如權(quán)利要求2所述的方法，其特征在于，所述將識別的所述當前用戶的動作信息，作 用于所述虛擬網(wǎng)絡(luò)場景，實現(xiàn)和所述虛擬場景的交互，包括根據(jù)識別的所述當前用戶的動作信息，以及預(yù)設(shè)的用戶和所述虛擬網(wǎng)絡(luò)場景中虛擬對 象的映射關(guān)系，在虛擬網(wǎng)絡(luò)場景中將識別出的當前用戶的動作映射給所述當前用戶的虛擬 對象；和/或，根據(jù)識別的所述當前用戶的動作信息，控制所述虛擬網(wǎng)絡(luò)場景。
5.如權(quán)利要求2所述的方法，其特征在于，所述方法還包括在預(yù)設(shè)的采樣時刻，判斷是否捕獲到滿足預(yù)設(shè)要求的所述當前用戶的視頻數(shù)據(jù)，如果 是，則對所述當前用戶進行正反饋；否則，對所述當前用戶進行負反饋。
6.如權(quán)利要求5所述的方法，其特征在于，所述判斷是否捕獲到滿足預(yù)設(shè)要求的所述 當前用戶的視頻數(shù)據(jù)，包括判斷是否捕獲到用戶的臉部視頻數(shù)據(jù)，如果是，則捕獲到滿足預(yù)設(shè)要求的所述當前用 戶的視頻數(shù)據(jù)；否則，則未捕獲到滿足預(yù)設(shè)要求的所述當前用戶的視頻數(shù)據(jù)。
7.如權(quán)利要求2所述的方法，其特征在于，當通過臉部識別技術(shù)，根據(jù)捕獲的所述當前 用戶的臉部視頻數(shù)據(jù)，識別所述用戶的臉部動作信息時，所述方法還包括根據(jù)捕獲到的所述當前用戶的臉部視頻數(shù)據(jù)，對能夠捕獲到的所述當前用戶的臉部視 頻數(shù)據(jù)的時長進行累計；根據(jù)累計的時長，對所述當前用戶進行獎勵；和/或，根據(jù)捕獲到的所述當前用戶的臉部視頻數(shù)據(jù)，以及預(yù)設(shè)的臉部檢測特征點，獲得所述 當前用戶的臉部檢測特征點的檢測值；根據(jù)所述檢測值，對所述用戶進行正反饋或負反饋。
8.如權(quán)利要求5或6或7所述的方法，其特征在于，所述對所述當前用戶進行正反饋包 括但不限于對所述當前用戶進行獎勵；所述對所述當前用戶進行負反饋包括但不限于禁止所述當前用戶繼續(xù)使用所述虛擬 網(wǎng)絡(luò)場景。
9.如權(quán)利要求2或3或4所述的方法，其特征在于，所述方法還包括接收所述當前用戶發(fā)送的虛擬物品添加信號，選擇出所述當前用戶希望添加的虛擬物Pm ；相應(yīng)地，所述在所述當前用戶的客戶端和其他用戶的客戶端，顯示捕獲的所述當前用 戶的視頻，還包括在所述當前用戶的客戶端和其他用戶的客戶端，顯示采集的所述當前用戶的視頻數(shù)據(jù) 和所述當前用戶希望添加的虛擬物品。
10.如權(quán)利要求9所述的方法，其特征在于，在對所述虛擬物品顯示時，所述虛擬物品 跟隨所述當前用戶的臉部位置的改變進行同步改變。
11.如權(quán)利要求2或3所述的方法，其特征在于，所述方法還包括 接收所述當前用戶觸發(fā)的截圖信號；對在所述當前用戶的客戶端所顯示的至少兩個用戶的視頻進行截圖，獲得至少兩個截 像，所述截像中包含所述用戶的臉部信息；根據(jù)獲得的至少兩個截像中包含的用戶的臉部信息，計算所述臉部信息的匹配 度，將計算結(jié)果返回給所述當前用戶。
12.—種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的裝置，其特征在于，所述裝置用于獲取用戶的 視頻數(shù)據(jù)；根據(jù)所述視頻數(shù)據(jù)，在客戶端將所述視頻數(shù)據(jù)對應(yīng)的視頻嵌入所述虛擬網(wǎng)絡(luò)場 景中進行顯示；或，根據(jù)所述視頻數(shù)據(jù)，在客戶端將所述視頻數(shù)據(jù)對應(yīng)的視頻在虛擬網(wǎng)絡(luò)場 景上進行顯示。
13.如權(quán)利要求12所述的裝置，其特征在于，所述裝置具體包括 采集模塊，用于采集當前用戶的視頻數(shù)據(jù)；顯示模塊，用于根據(jù)所述采集模塊捕獲的所述當前用戶的視頻數(shù)據(jù)，在所述當前用戶 的客戶端和其他用戶的客戶端，顯示采集的所述當前用戶的視頻；識別模塊，用于根據(jù)所述采集模塊采集的所述當前用戶的視頻數(shù)據(jù)，識別所述當前用 戶的動作信息；交互模塊，用于將所述識別模塊識別的所述當前用戶的動作信息，作用于所述虛擬網(wǎng) 絡(luò)場景，實現(xiàn)所述當前用戶的視頻和所述虛擬場景的交互。
14.如權(quán)利要求13述的裝置，其特征在于，所述識別模塊包括第一識別單元，用于根據(jù)所述采集模塊采集的所述當前用戶的視頻數(shù)據(jù)，通過臉部識 別技術(shù)，捕獲所述當前用戶的臉部視頻數(shù)據(jù)，識別所述用戶的臉部動作信息；和/或，第二識別單元，用于根據(jù)所述采集模塊采集的所述當前用戶的視頻數(shù)據(jù)，通過動作分 析和對象跟蹤技術(shù)，捕獲所述當前用戶的動作視頻數(shù)據(jù)，識別所述當前用戶的肢體動作信 肩、ο
15.如權(quán)利要求13所述的裝置，其特征在于，所述交互模塊包括映射單元，用于根據(jù)所述識別模塊識別的所述當前用戶的動作信息，以及預(yù)設(shè)的用戶和所述虛擬網(wǎng)絡(luò)場景中虛擬人物的映射關(guān)系，在虛擬網(wǎng)絡(luò)場景中將識別出的當前用戶的動 作映射給所述當前用戶的虛擬對象；控制單元，用于根據(jù)所述識別模塊識別的所述當前用戶的動作信息，控制所述虛擬網(wǎng) 絡(luò)場景。
16.如權(quán)利要求15所述的裝置，其特征在于，所述裝置還包括第一判斷模塊，用于在預(yù)設(shè)的采樣時刻，判斷是否捕獲到滿足預(yù)設(shè)要求的當前用戶的 視頻數(shù)據(jù)；第一獎懲模塊，用于當所述判斷模塊判斷的結(jié)果為是時，對所述當前用戶進行正反饋； 當所述判斷模塊判斷的結(jié)果為否時，則對用戶進行負反饋。
17.如權(quán)利要求15所述的裝置，其特征在于，當所述識別模塊包括第一識別單元時，所 述裝置還包括第一獎勵模塊，用于根據(jù)所述捕獲模塊捕獲到的所述當前用戶的臉部視頻數(shù)據(jù)，對能 夠捕獲到的所述當前用戶的臉部視頻數(shù)據(jù)的時長進行累計；根據(jù)所述累計模塊累計的時 長，對所述當前用戶進行獎勵；和/或，第二判斷模塊，用于根據(jù)捕獲到的所述當前用戶的臉部視頻數(shù)據(jù)，以及預(yù)設(shè)的臉部檢 測特征點，獲得所述當前用戶的臉部檢測特征點對應(yīng)的檢測值；根據(jù)所述檢測值，對所述當 前用戶進行正反饋或負反饋。
18.如權(quán)利要求13或14所述的裝置，其特征在于，所述裝置還包括接收模塊，用于接收所述當前用戶發(fā)送的虛擬物品添加信號；選擇模塊，用于在接收模塊接收到所述物品添加信號后，選擇出所述當前用戶希望添 加的物品；相應(yīng)地，所述顯示模塊具體用于在所述當前用戶的客戶端和其他用戶的客戶端，顯示 采集的所述當前用戶的視頻數(shù)據(jù)和所述當前用戶希望添加的物品。
19.如權(quán)利要求18所述的裝置，其特征在于，所述顯示模塊在顯示所述物品時，所述顯 示的物品跟隨所述當前用戶的臉部位置的改變進行同步改變。
20.如權(quán)利要求13或14所述的裝置，其特征在于，所述裝置還包括截圖模塊，用于接收所述當前用戶觸發(fā)的截圖信號；對在所述當前用戶的客戶端所顯 示的至少兩個用戶的視頻進行截圖，獲得至少兩個截像；所述截像中包含所述用 戶的臉部信息；處理模塊，用于根據(jù)所述截圖模塊獲得的至少兩個截像中包含的用戶的臉部信 息，計算所述臉部信息的匹配度，將計算結(jié)果返回給所述當前用戶。
21.一種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的系統(tǒng)，其特征在于，所述系統(tǒng)包括實現(xiàn)視頻 和虛擬網(wǎng)絡(luò)場景交互的服務(wù)器和實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的客戶端，其中，所述客戶 端為多個；所述客戶端，用于采集當前用戶的視頻數(shù)據(jù)；根據(jù)所述當前用戶的視頻數(shù)據(jù)，在所述當 前用戶的客戶端和其他用戶的客戶端，顯示采集的所述當前用戶的視頻；根據(jù)采集的所述 當前用戶的視頻數(shù)據(jù)，識別所述當前用戶的動作信息；用于將識別的所述當前用戶的動作 信息，作用于所述虛擬網(wǎng)絡(luò)場景，實現(xiàn)所述當前用戶的視頻和所述虛擬場景的交互；所述服務(wù)器，用于中轉(zhuǎn)所述客戶端之間的視頻數(shù)據(jù)；用于中轉(zhuǎn)所述客戶端之間的虛擬場景控制信息后，控制所述虛擬場景。
22.—種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲計算機程序，其特征在 于，所述程序可使得一個或多個處理器執(zhí)行如下步驟獲取用戶的視頻數(shù)據(jù)；根據(jù)所述視頻數(shù)據(jù)，在客戶端將所述視頻數(shù)據(jù)對應(yīng)的視頻嵌入所述虛擬網(wǎng)絡(luò)場景中進 行顯示；或，根據(jù)所述視頻數(shù)據(jù)，在客戶端將所述視頻數(shù)據(jù)對應(yīng)的視頻在虛擬網(wǎng)絡(luò)場景上進行顯示。
23.如權(quán)利要求22所述的計算機可讀存儲介質(zhì)，其特征在于，所述程序可使得一個或 多個處理器具體執(zhí)行如下步驟采集當前用戶的視頻數(shù)據(jù)；根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，在所述當前用戶的客戶端和其他用戶的客戶 端，顯示采集的所述當前用戶的視頻；根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，識別所述當前用戶的動作信息； 將識別的所述當前用戶的動作信息，作用于所述虛擬網(wǎng)絡(luò)場景，實現(xiàn)所述當前用戶的 視頻和所述虛擬場景的交互。
24.如權(quán)利要求23所述的計算機可讀存儲介質(zhì)，其特征在于，所述程序可使得一個或 多個處理器具體執(zhí)行如下步驟根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，通過臉部識別技術(shù)，捕獲所述當前用戶的臉部 視頻數(shù)據(jù)，識別所述用戶的臉部動作信息；和/或，根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，通過動作分析和對象跟蹤技術(shù)，捕獲所述當前 用戶的動作視頻數(shù)據(jù)，識別所述當前用戶的肢體動作信息。
25.如權(quán)利要求23所述的計算機可讀存儲介質(zhì)，其特征在于，所述程序可使得一個或 多個處理器具體執(zhí)行如下步驟根據(jù)識別的所述當前用戶的動作信息，以及預(yù)設(shè)的用戶和所述虛擬網(wǎng)絡(luò)場景中虛擬對 象的映射關(guān)系，在虛擬網(wǎng)絡(luò)場景中將識別出的當前用戶的動作映射給所述當前用戶的虛擬 對象；和/或，根據(jù)識別的所述當前用戶的動作信息，控制所述虛擬網(wǎng)絡(luò)場景。
全文摘要
本發(fā)明公開了一種實現(xiàn)視頻和虛擬網(wǎng)絡(luò)場景交互的方法、裝置和系統(tǒng)，屬于計算機領(lǐng)域。所述方法包括采集當前用戶的視頻數(shù)據(jù)；根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，在所述當前用戶的客戶端和其他用戶的客戶端，顯示采集的所述當前用戶的視頻；根據(jù)采集的所述當前用戶的視頻數(shù)據(jù)，識別所述當前用戶的動作信息；將識別的所述當前用戶的動作信息，作用于所述虛擬網(wǎng)絡(luò)場景，實現(xiàn)所述當前用戶的視頻和所述虛擬場景的交互。本發(fā)明通過將視頻和虛擬網(wǎng)絡(luò)場景模式下的網(wǎng)絡(luò)服務(wù)進行關(guān)聯(lián)，增加了視頻和虛擬網(wǎng)絡(luò)場景模式下的網(wǎng)絡(luò)服務(wù)的相關(guān)性，實現(xiàn)了視頻和網(wǎng)絡(luò)服務(wù)的交互，提高了用戶的使用體驗。
文檔編號G06F3/01GK101930284SQ20091015059
公開日2010年12月29日 申請日期2009年6月23日 優(yōu)先權(quán)日2009年6月23日
發(fā)明者李轉(zhuǎn)科 申請人:騰訊科技(深圳)有限公司