靶向和按壓自然用戶輸入的制作方法
【專利說明】
【背景技術】
[0001]經由自然用戶輸入在圖形用戶界面中選擇和激活對象是困難的。用戶自然傾向于通過執(zhí)行按壓手勢來選擇對象，但常常在非故意的方向上意外地按壓。這可導致無意的脫離和/或錯誤的選擇。

【發(fā)明內容】

[0002]這個
【發(fā)明內容】
被提供來以簡化的形式介紹下文在詳細描述中進一步描述的一系列概念。這個
【發(fā)明內容】
并不打算標識所主張的主題的關鍵特征或必要特征，它也不打算用于限制所主張的主題的范圍。此外，所主張的主題并不限于解決在本公開的任何部分中提到的任何或所有缺點的實施方式。
[0003]提出了用于經由自然用戶輸入在圖形用戶界面中靶向并選擇對象的實施例。在一個實施例中，虛擬骨架模擬由深度相機成像的人受試者?；谔摂M骨架的關節(jié)的位置來移動在用戶界面中的光標。用戶界面包括在按壓模式中可按壓但在靶向模式中不可按壓的對象。如果光標位置接合對象，且在模式測試周期內的所有緊接在前的光標位置都位于以該光標位置為中心的定時邊界內，則操作轉變到按壓模式。如果光標位置接合對象，但在模式測試周期內的一個或多個緊接在前的光標位置位于定時邊界之外，則操作繼續(xù)處于靶向模式。
【附圖說明】
[0004]圖1示意性示出控制環(huán)境的非限制性例子。
[0005]圖2示意性示出深度分析系統(tǒng)的簡化骨架跟蹤流水線的例子。
[0006]圖3示出用于接收按壓手勢并將按壓手勢解析為自然用戶輸入的方法。
[0007]圖4示意性示出其中操作模式被確定的情形的例子。
[0008]圖5示意性示出根據本公開的實施例的約束形狀的例子。
[0009]圖6示意性示出根據本公開的實施例的圖5的約束形狀的修改例子。
[0010]圖7示意性示出根據本公開的實施例的圖形用戶界面的例子。
[0011]圖8示意性示出根據本公開的用于接收并解析按壓輸入的計算系統(tǒng)的非限制性例子。
【具體實施方式】
[0012]本公開針對在自然用戶界面中的對象的靶向和按壓。如下面更詳細描述的，自然用戶輸入手勢可被分支為靶向和按壓操作模式。用戶按壓對象的意圖被評估為用戶在開始按壓手勢之前短暫地猶豫。一旦這個意圖被辨識出，操作模式就從靶向模式轉變到按壓模式，且采取措施以幫助用戶完成按壓而不從對象滑出。
[0013]圖1示出控制環(huán)境100的非限制性例子。特別是，圖1示出可用于玩各種不同的游戲、播放一個或多個不同的媒體類型和/或控制或操縱非游戲應用和/或操作系統(tǒng)的娛樂系統(tǒng)102。圖1還示出顯示設備104，例如電視機或計算機監(jiān)視器，其可用于向用戶呈現(xiàn)媒體內容、游戲畫面等。作為一個例子，顯示設備104可用于視覺地呈現(xiàn)由娛樂系統(tǒng)102接收的媒體內容。在圖1中圖示的例子中，顯示設備104正顯示從娛樂系統(tǒng)102接收的可按壓用戶界面105。在圖示的例子中，可按壓用戶界面105呈現(xiàn)關于由娛樂系統(tǒng)102接收的媒體內容的可選擇的信息?？刂骗h(huán)境100可包括捕獲設備，例如視覺地監(jiān)控或跟蹤在所觀察的場景內的對象和用戶的深度相機106。
[0014]顯示設備104可經由娛樂系統(tǒng)的顯示輸出操作地連接到娛樂系統(tǒng)102。例如，娛樂系統(tǒng)102可包括HDMI或其它適當?shù)挠芯€或無線顯示輸出。顯示設備104可從娛樂系統(tǒng)102接收視頻內容，和/或它可包括配置成直接從內容提供者接收視頻內容的單獨接收機。
[0015]深度相機106可經由一個或多個接口操作地連接到娛樂系統(tǒng)102。作為非限制性的例子，娛樂系統(tǒng)102可包括深度相機106可連接到的通用串行總線。深度相機106可用于辨識、分析和/或跟蹤在物理空間內的一個或多個人受試者和/或對象，例如用戶108。深度相機106可包括紅外燈以將紅外光投影到物理空間和配置成接收紅外光的深度相機上。
[0016]娛樂系統(tǒng)102可配置成與未在圖1中示出的一個或多個遠程計算設備通信。例如，娛樂系統(tǒng)102可直接從廣播電臺、第三方媒體分發(fā)服務或其它內容提供者接收視頻內容。娛樂系統(tǒng)102也可經由互聯(lián)網或另一網絡與一個或多個遠程服務通信，例如以便分析從深度相機106接收的圖像信息。
[0017]雖然在圖1中描繪的實施例將娛樂系統(tǒng)102、顯示設備104和深度相機106示為單獨的元件，在一些實施例中，該元件中的一個或多個可集成到公共設備中。
[0018]可經由無線或有線控制設備來控制娛樂系統(tǒng)102和/或顯示設備104的一個或多個方面。例如，可基于從遠程控制設備、計算設備(例如移動計算設備)、手持游戲控制器等接收的輸入來選擇由娛樂系統(tǒng)102輸出到顯示設備104的媒體內容。此外，在下面詳細說明的實施例中，可基于自然用戶輸入，例如由用戶執(zhí)行并由娛樂系統(tǒng)102基于從深度相機106接收的圖像信息解析的手勢命令來控制娛樂系統(tǒng)102和/或顯示設備104的一個或多個方面。
[0019]圖1示出一種情形，其中深度相機106跟蹤用戶108，使得用戶108的運動可被娛樂系統(tǒng)102解析。特別是，用戶108的運動被解析為可用于控制顯示在顯示設備104上的作為可按壓用戶界面105的部分的光標110的控制。除了使用他的運動來控制光標運動以夕卜，用戶108還可例如通過激活對象112來選擇呈現(xiàn)在可按壓用戶界面105中的信息。
[0020]圖2用圖形示出可用于跟蹤并解析用戶108的運動的深度分析系統(tǒng)的簡化骨架跟蹤流水線200。為了解釋的簡單，參考圖1的娛樂系統(tǒng)102和深度相機106來描述骨架跟蹤流水線200。然而，可在任何適當?shù)挠嬎阆到y(tǒng)上實施骨架跟蹤流水線200，而不偏離本公開的范圍。例如，可在圖8的計算系統(tǒng)800上實施骨架跟蹤流水線200。此外，可使用不同于骨架跟蹤流水線200的骨架跟蹤流水線，而不偏離本公開的范圍。
[0021]在202，圖2從跟蹤設備的觀點示出用戶108。跟蹤設備例如深度相機106可包括配置成觀察人受試者(例如用戶108)的一個或多個傳感器。
[0022]在204，圖2示出由跟蹤設備(例如深度相機106)收集的觀察數(shù)據的示意性表示206。所收集的觀察數(shù)據的類型將根據包括在跟蹤設備中的傳感器的數(shù)量和類型來改變。在圖示例子中，跟蹤設備包括深度相機、可見光(例如彩色)相機和麥克風。
[0023]深度相機可針對深度相機的每個像素確定在所觀察的場景中的表面相對于深度相機的深度?？舍槍ι疃认鄼C的每個像素記錄三維x/y/z坐標。圖2示意性示出針對深度相機的DPixel [v, h]觀察的三維x/y/z坐標208。可針對深度相機的每個像素記錄類似的三維x/y/z坐標。所有像素的三維x/y/z坐標共同構成深度圖?？梢杂萌魏芜m當?shù)姆绞酱_定三維x/y/z坐標，而不偏離本公開的范圍。參考圖8更詳細討論示例的測深技術。
[0024]可見光相機可針對可見光相機的每個像素確定在一個或多個光通道(例如紅、綠、藍、灰度級等)的所觀察的場景中的表面的相對光強度。圖2示意性示出對可見光相機的V-LPixel [v, h]觀察的紅/綠/藍色值210?？舍槍梢姽庀鄼C的每個像素記錄紅/綠/藍色值。所有像素的紅/綠/藍色值共同構成數(shù)字彩色圖像。可以用任何適當?shù)姆绞酱_定紅/綠/藍色值，而不偏離本公開的范圍。參考圖8更詳細討論示例的顏色成像技術。
[0025]深度相機和可見光相機可具有相同的分辨率，雖然這并不是要求的。不管相機是具有相同還是不同的分辨率，可見光相機的像素都可與深度相機的像素配準。以這種方式，可通過考慮來自可見光相機和深度相機的已配準像素(例如V-LPixel [v, h]和DPixel [v, h])來針對所觀察的場景的每個部分確定顏色和深度信息兩者。
[0026]一個或多個麥克風可確定來自用戶108和/或其它源的定向和/或非定向聲音。圖2示意性示出由麥克風記錄的音頻數(shù)據212。音頻數(shù)據可由深度相機106的麥克風記錄?？梢杂萌魏芜m當?shù)姆绞酱_定這樣的音頻數(shù)據，而不偏離本公開的范圍。參考圖8更詳細討論示例的聲音記錄技術。
[0027]所收集的數(shù)據可采取實質上任何適當?shù)臄?shù)據結構的形式，包括但不限于包括由深度相機成像的每個像素的三維x/y/z坐標、由可見光相機成像的每個像素的紅/綠/藍色值和/或時間分辨的數(shù)字音頻數(shù)據的一個或多個矩陣。用戶108可被連續(xù)地觀察和模擬(例如以每秒30幀)。相應地，可針對每個這樣觀察的幀收集數(shù)據。所收集的數(shù)據可經由一個或多個應用編程接口(API)變得可用和/或如下所述被進一步分析。
[0028]深度相機106、娛樂系統(tǒng)102和/或遠程服務可分析深度圖以在所觀察的深度圖中將待跟蹤的人受試者和/或其它目標從非目標元素區(qū)分開。深度圖的每個像素可被分配用戶指數(shù)214，用戶指數(shù)214將該像素識別為對特定的目標或非目標元素進行成像。作為例子，對應于第一用戶的像素可被分配等于一的用戶指數(shù)，對應于第二用戶的像素可被分配等于二的用戶指數(shù)，以及不對應于目標用戶的像素可被分配等于零的用戶指數(shù)。可以用任何適當?shù)姆绞酱_定、分配和保存這樣的用戶指數(shù)，而不偏離本公開的范圍。
[0029]深度相機106、娛樂系統(tǒng)102和/或遠程服務可選地可以進一步分析用戶108的深度圖的像素，以便確定每個這樣的像素可能對用戶身體的什么部位進行成像。具有適當?shù)挠脩糁笖?shù)的深度圖的每個像素可被分配身體部位指數(shù)216。身體部位指數(shù)可包括分立標識符、置信值和/或指示該像素可能成像的一個或多個身體部位的身體部位概率分布。可以用任何適當?shù)姆绞酱_定、分配和保存身體部位指數(shù)，而不偏離本公開的范圍。
[0030]在218，圖2示出用作用戶108的機器可讀表示的虛擬骨架220的示意性表示。虛擬骨架220包括二十個虛擬關節(jié)