一種基于手勢(shì)識(shí)別的虛擬現(xiàn)實(shí)交互設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人機(jī)交互技術(shù)，尤其涉及一種基于手勢(shì)識(shí)別的虛擬現(xiàn)實(shí)交互設(shè)備。
【背景技術(shù)】
[0002] 隨著移動(dòng)計(jì)算設(shè)備從筆記本電腦到手機(jī)、平板電腦的演化，移動(dòng)計(jì)算設(shè)備的操控 方式也經(jīng)歷了從鍵盤、鼠標(biāo)到手機(jī)按鍵、手寫(xiě)板，再到觸摸屏、虛擬鍵盤的進(jìn)化，可以看到， 移動(dòng)設(shè)備的操控方式是朝著越來(lái)越直觀、簡(jiǎn)便，并且符合人的自然習(xí)慣的方向進(jìn)化的。
[0003] 目前在移動(dòng)計(jì)算設(shè)備上廣泛使用的基于觸摸屏的操控方式，技術(shù)上是將一塊透明 的觸摸感應(yīng)屏和顯示屏貼合在一起，觸摸感應(yīng)屏實(shí)質(zhì)上是一個(gè)定位裝置，能夠捕捉到屏幕 上的觸摸動(dòng)作并獲取其位置，同時(shí)結(jié)合時(shí)間軸信息，將動(dòng)作識(shí)別其為點(diǎn)觸、長(zhǎng)觸、滑動(dòng)等動(dòng) 作之一。進(jìn)而將位置和動(dòng)作信息作為指令傳遞給移動(dòng)計(jì)算設(shè)備，移動(dòng)計(jì)算設(shè)備基于該指令 做出相應(yīng)的操作反應(yīng)。由于觸摸感應(yīng)屏與顯示屏是疊加在一起的，因此帶給使用者"所點(diǎn)即 所想"的使用感受，相比鼠標(biāo)、觸控板等定位設(shè)備需要通過(guò)光標(biāo)反饋位置的輸入方式，屏幕 觸控方式帶來(lái)更好的使用體驗(yàn)。
[0004] 屏幕觸控方式相比鍵盤加鼠標(biāo)的方式，更加符合人的直觀反應(yīng)、更容易學(xué)習(xí)，但是 屏幕觸控方式畢竟只捕捉到了人體手指的動(dòng)作，在一些需要更多使用者本體信息輸入的場(chǎng) 合，比如運(yùn)動(dòng)游戲、模擬訓(xùn)練、復(fù)雜操控、遠(yuǎn)距離操控等，屏幕觸控方式就顯示出其捕獲人體 信息過(guò)于單一的局限性了。
[0005] 目前，現(xiàn)有的虛擬現(xiàn)實(shí)交互技術(shù)通常是利用諸如鼠標(biāo)、按鍵等常規(guī)輸入方式來(lái)與 設(shè)備進(jìn)行交互，使得輸入方式過(guò)于有限，由此導(dǎo)致用戶在進(jìn)行功能選擇或執(zhí)行時(shí)，操作較為 繁瑣，用戶體驗(yàn)較差。

【發(fā)明內(nèi)容】

[0006] 在下文中給出了關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本 理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的 關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn)化的形式給出某些概 念，以此作為稍后論述的更詳細(xì)描述的前序。
[0007] 鑒于此，本發(fā)明提供了一種基于手勢(shì)識(shí)別的虛擬現(xiàn)實(shí)交互設(shè)備，以至少解決現(xiàn)有 的虛擬現(xiàn)實(shí)交互技術(shù)的輸入方式有限以及用戶在進(jìn)行功能選擇或執(zhí)行時(shí)操作較為繁瑣的 問(wèn)題。
[0008] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于手勢(shì)識(shí)別的虛擬現(xiàn)實(shí)交互設(shè)備，該虛擬 現(xiàn)實(shí)交互設(shè)備包括3D攝像頭接口、頭盔式虛擬現(xiàn)實(shí)顯示器、信號(hào)處理組件以及移動(dòng)設(shè)備接 口，所述3D攝像頭接口連接至所述信號(hào)處理組件；所述信號(hào)處理組件連接至所述移動(dòng)設(shè)備 接口，所述移動(dòng)設(shè)備接口連接至所述頭盔式虛擬現(xiàn)實(shí)顯示器；所述3D攝像頭接口用于連接 外部的3D攝像頭，以通過(guò)該3D攝像頭來(lái)捕獲含有深度信息的使用者手部的待測(cè)圖像序列， 并將所述待測(cè)圖像序列發(fā)送給所述信號(hào)處理組件，所述信號(hào)處理組件用于基于所述待測(cè)圖 像序列來(lái)獲得所述使用者的手勢(shì)，并根據(jù)該手勢(shì)確定對(duì)應(yīng)的操作指令，以對(duì)連接至所述移 動(dòng)設(shè)備接口的移動(dòng)設(shè)備執(zhí)行該操作指令，所述頭盔式虛擬現(xiàn)實(shí)顯示器用于通過(guò)所述移動(dòng)設(shè) 備接口接收所述移動(dòng)設(shè)備的屏幕顯示信號(hào)，以將所述移動(dòng)設(shè)備的屏幕以虛擬現(xiàn)實(shí)顯示方式 呈現(xiàn)于預(yù)定顯示區(qū)域。
[0009] 進(jìn)一步地，所述頭盔式虛擬現(xiàn)實(shí)顯示器包括：佩戴部，所述佩戴部可佩戴在使用者 頭部；采集成像部，所述采集成像部設(shè)置于所述佩戴部上，并連接至所述移動(dòng)設(shè)備接口以采 集所述移動(dòng)設(shè)備的屏幕顯示信號(hào)，來(lái)將所述屏幕以虛擬現(xiàn)實(shí)顯示方式呈現(xiàn)于所述預(yù)定顯示 區(qū)域。
[0010] 進(jìn)一步地，所述采集成像部包括顯示屏和兩組透鏡組，所述顯示屏為透明材質(zhì)，所 述兩組鏡片組被設(shè)置成：當(dāng)所述虛擬現(xiàn)實(shí)交互設(shè)備被使用者佩戴于頭部時(shí)，所述兩組鏡片 組分別位于使用者對(duì)應(yīng)的視線正前方。
[0011] 進(jìn)一步地，所述信號(hào)處理組件包括：輪廓檢測(cè)單元，用于根據(jù)圖像深度信息和圖像 顏色信息，在所述待測(cè)圖像序列的每幀圖像中檢測(cè)出所述使用者的手部輪廓；特征點(diǎn)序列 確定單元，用于針對(duì)所述使用者的每只手，利用預(yù)設(shè)的手部結(jié)構(gòu)模板，在所述待測(cè)圖像序列 的每幀圖像中確定該只手的待測(cè)特征點(diǎn)序列；動(dòng)作識(shí)別單元，用于針對(duì)所述使用者的每只 手，在多個(gè)預(yù)設(shè)特征點(diǎn)序列中確定該只手的待測(cè)特征點(diǎn)序列的匹配序列，以根據(jù)所述匹配 序列確定該只手的動(dòng)作名稱和位置；手勢(shì)識(shí)別單元，用于在預(yù)設(shè)手勢(shì)表中選擇與所述使用 者雙手的動(dòng)作名稱和位置相匹配的手勢(shì)，作為已識(shí)別手勢(shì)；指令確定單元，用于根據(jù)預(yù)設(shè)操 作指令表，確定與所述已識(shí)別手勢(shì)對(duì)應(yīng)的操作指令；執(zhí)行單元，用于對(duì)與確定的操作指令相 關(guān)的設(shè)備進(jìn)行與該操作指令對(duì)應(yīng)的操作。
[0012] 進(jìn)一步地，所述特征點(diǎn)序列確定單元包括：模板存儲(chǔ)子單元，用于存儲(chǔ)預(yù)設(shè)的手部 結(jié)構(gòu)模板；模板匹配子單元，用于針對(duì)所述使用者的每只手，利用預(yù)設(shè)的手部結(jié)構(gòu)模板，在 所述待測(cè)圖像序列的每幀圖像的手部輪廓中確定該只手的預(yù)定數(shù)目個(gè)特征點(diǎn)；序列生成子 單元，用于針對(duì)所述使用者的每只手，利用該只手在所述待測(cè)圖像序列的各幀圖像中對(duì)應(yīng) 的預(yù)定數(shù)目個(gè)特征點(diǎn)，獲得該只手的待測(cè)特征點(diǎn)序列。
[0013] 進(jìn)一步地，所述模板匹配子單元包括：定位基點(diǎn)確定模塊，其用于針對(duì)所述待測(cè) 圖像序列的每幀圖像，根據(jù)該圖像中的輪廓線的曲率找到該輪廓線中的指尖點(diǎn)和指根關(guān)節(jié) 點(diǎn)，以將所述指尖點(diǎn)作為定位基點(diǎn)；縮放基準(zhǔn)確定模塊，其用于針對(duì)所述定位基點(diǎn)確定模塊 處理后的每幀圖像，基于該幀圖像中已找到的所述定位基點(diǎn)，匹配每個(gè)單指的指根關(guān)節(jié)點(diǎn)， 得到各單指的長(zhǎng)度來(lái)作為尺度縮放的基準(zhǔn)；縮放及形變模塊，其用于針對(duì)所述縮放基準(zhǔn)確 定模塊處理后的每幀圖像，基于已找到的所述指尖點(diǎn)和所述指根關(guān)節(jié)點(diǎn)的位置以及各單指 的長(zhǎng)度來(lái)對(duì)相應(yīng)的所述手部結(jié)構(gòu)模板進(jìn)行縮放和形變，通過(guò)匹配得到每只手的各指關(guān)節(jié)特 征點(diǎn)和手腕中點(diǎn)特征點(diǎn)；其中，所述模板存儲(chǔ)子單元存儲(chǔ)的所述手部結(jié)構(gòu)模板包括左手結(jié) 構(gòu)模板和右手結(jié)構(gòu)模板，所述左手結(jié)構(gòu)模板和右手結(jié)構(gòu)模板各自包括：各手指的指尖特征 點(diǎn)、各指關(guān)節(jié)特征點(diǎn)、各指根關(guān)節(jié)特征點(diǎn)、手腕中點(diǎn)特征點(diǎn)以及各特征點(diǎn)之間的拓?fù)潢P(guān)系。
[0014] 進(jìn)一步地，所述動(dòng)作識(shí)別單元包括：分割子單元，用于針對(duì)每只手的待測(cè)特征點(diǎn)序 列，根據(jù)預(yù)定時(shí)間窗將該待測(cè)特征點(diǎn)序列分割為多個(gè)子序列，并獲得每個(gè)子序列對(duì)應(yīng)的平 均位置；匹配序列確定子單元，用于針對(duì)每只手對(duì)應(yīng)的每個(gè)子序列，將該子序列與所述多個(gè) 預(yù)設(shè)特征點(diǎn)序列中的每一個(gè)分別進(jìn)行匹配，在所述多個(gè)預(yù)設(shè)特征點(diǎn)序列中選擇與該子序列 的匹配程度高于預(yù)設(shè)的匹配閾值、并且最大的預(yù)設(shè)特征點(diǎn)序列，作為該子序列的匹配序列； 關(guān)聯(lián)子單元，用于將每個(gè)子序列對(duì)應(yīng)的平均位置與該子序列的匹配序列對(duì)應(yīng)的動(dòng)作名稱相 關(guān)聯(lián)；動(dòng)作名稱確定子單元，用于針對(duì)每只手，將該只手對(duì)應(yīng)的各子序列的匹配序列作為該 只手對(duì)應(yīng)的多個(gè)匹配序列，并將該多個(gè)匹配序列各自對(duì)應(yīng)的動(dòng)作名稱作為該只手的多個(gè)動(dòng) 作名稱。
[0015] 進(jìn)一步地，所述手勢(shì)識(shí)別單元包括：手勢(shì)表存儲(chǔ)子單元，用于存儲(chǔ)如下映射列表來(lái) 作為所述預(yù)設(shè)手勢(shì)表：該映射列表中的每個(gè)映射的左端是一組動(dòng)作名稱對(duì)及每個(gè)動(dòng)作名稱 對(duì)的位置；該映射列表中的每個(gè)映射的右端是一個(gè)手勢(shì)；手勢(shì)表匹配子單元，用于將所述 預(yù)設(shè)手勢(shì)表中的每個(gè)映射的左端與所述使用者雙手的動(dòng)作名稱和位置進(jìn)行匹配，其中，動(dòng) 作名稱的匹配執(zhí)行嚴(yán)格匹配，而位置則是通過(guò)使用者雙手各自的平均位置計(jì)算得到相對(duì)位 置信息，進(jìn)而計(jì)算該相對(duì)位置信息與映射左端的位置之間的相似度來(lái)實(shí)現(xiàn)的。
[0016] 進(jìn)一步地，所述信號(hào)處理組件還用于：基于所述使用者每只手的位置獲得所述使 用者手部的模擬圖形，以通過(guò)所述移動(dòng)設(shè)備接口將該模擬圖形顯示在所述移動(dòng)設(shè)備的屏幕 上。
[0017] 進(jìn)一步地，所述信號(hào)處理組件用于：根據(jù)所述使用者每只手對(duì)應(yīng)的待測(cè)特征點(diǎn)序 列，通過(guò)連接骨骼后外延得到該只手的外輪廓圖形，作為該只手的模擬圖形；通過(guò)對(duì)所述使 用者雙手的相對(duì)位置進(jìn)行平移校準(zhǔn)和比例縮放，確定所述使用者的每只手在所述屏幕中的 顯示位置；基于所述使用者每只手的模擬圖形和顯示位置來(lái)在所述移動(dòng)設(shè)備的屏幕中顯示 所述使用者手部的模擬圖形。
[0018] 上述根據(jù)本發(fā)明實(shí)施例的基于手勢(shì)識(shí)別的虛擬現(xiàn)實(shí)交互設(shè)備，利用外接至3D攝 像頭接口頭接口的3D攝像頭來(lái)捕獲使用者手部的待測(cè)圖像序列，以識(shí)別使用者的手勢(shì)，進(jìn) 而根據(jù)已識(shí)別手勢(shì)來(lái)進(jìn)行對(duì)移動(dòng)設(shè)備的操控。該虛擬現(xiàn)實(shí)交互設(shè)備通過(guò)移動(dòng)設(shè)備接口采集 移動(dòng)設(shè)備的屏幕顯示信號(hào)，從而將其屏幕通過(guò)虛擬現(xiàn)實(shí)顯示方式呈現(xiàn)于預(yù)定顯示區(qū)域。當(dāng) 使用者頭戴該虛擬現(xiàn)實(shí)交互設(shè)備時(shí)，能夠在位于其視場(chǎng)之內(nèi)的預(yù)定顯示區(qū)域內(nèi)看到移動(dòng)設(shè) 備屏幕的虛像，并通過(guò)手勢(shì)識(shí)別的方式與移動(dòng)設(shè)備之間進(jìn)行人機(jī)交互，操控該移動(dòng)設(shè)備。與 現(xiàn)有技術(shù)不同，本發(fā)明的虛擬現(xiàn)實(shí)交互設(shè)備除了可以利用已有的鼠標(biāo)、按鍵等傳統(tǒng)輸入方 式進(jìn)行人機(jī)交互之外，還可以利用上述手勢(shì)識(shí)別技術(shù)來(lái)進(jìn)行人機(jī)交互，豐富了輸入方式種 類，且操作較為簡(jiǎn)便。
[0019] 此外，本發(fā)明的虛擬現(xiàn)實(shí)交互設(shè)備在進(jìn)行手勢(shì)識(shí)別的過(guò)程中，采用動(dòng)作模版匹配 和動(dòng)作對(duì)與手勢(shì)匹配的方式來(lái)實(shí)現(xiàn)，識(shí)別處理的精度高、速度快。
[0020] 本發(fā)明的上述虛擬現(xiàn)實(shí)交互設(shè)備采用層次化設(shè)計(jì)算法，算法復(fù)雜度低，便于實(shí)現(xiàn)。
[0021] 此外，應(yīng)用本發(fā)明的上述虛擬現(xiàn)實(shí)交互設(shè)備，當(dāng)需要改變（例如修改、增加或減少 等）對(duì)動(dòng)作和/或手勢(shì)的定義時(shí)，可以僅通過(guò)調(diào)整模板（即，通過(guò)修改預(yù)設(shè)特征點(diǎn)序列對(duì)應(yīng) 的動(dòng)作名稱來(lái)改變動(dòng)作的定義，通過(guò)增加或減少預(yù)設(shè)特征點(diǎn)序列及其對(duì)應(yīng)動(dòng)作名稱來(lái)增、 減動(dòng)作）以及預(yù)設(shè)手勢(shì)表（即，通過(guò)修改預(yù)設(shè)手勢(shì)表中手勢(shì)對(duì)應(yīng)的多個(gè)動(dòng)作來(lái)改變手勢(shì)的 定義，通過(guò)增加或減少預(yù)設(shè)手勢(shì)表中的手勢(shì)及其對(duì)應(yīng)動(dòng)作來(lái)增、減手勢(shì)），而不需改變算法 或者重新訓(xùn)練分類器，大大提高了算法的適應(yīng)性。
[0022] 此外，本發(fā)明的上述虛擬現(xiàn)實(shí)交互設(shè)備的實(shí)時(shí)性強(qiáng)，能夠適合即時(shí)交互需求的場(chǎng) 合。
[0023] 通過(guò)以下結(jié)合附圖對(duì)本發(fā)明的最佳實(shí)施例的詳細(xì)說(shuō)明，本發(fā)明的這些以及其他優(yōu) 點(diǎn)將更加明顯。
【附圖說(shuō)明】
[0024] 本發(fā)明可以通過(guò)參考下文中結(jié)合附圖所給出的描述而得到更好的理解，其中在所 有附圖中使用了相同或相似的附圖標(biāo)記來(lái)表示相同或者相似的部件。所述附圖連同下面的 詳細(xì)說(shuō)明一起包含在本說(shuō)明書(shū)中并且形成本說(shuō)明書(shū)的一部分，而且用來(lái)進(jìn)一步舉例說(shuō)明本 發(fā)明的優(yōu)選實(shí)施例和解釋本發(fā)明的原理和