專利名稱：與基于計(jì)算機(jī)的應(yīng)用的交互的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于計(jì)算機(jī)的應(yīng)用，尤其涉及與基于計(jì)算機(jī)的應(yīng)用的交互。
背景技術(shù)：
視頻游戲持續(xù)變得越來越流行，且現(xiàn)在有越來越多的家庭擁有視頻游戲控制臺和 /或運(yùn)行視頻游戲的個(gè)人計(jì)算機(jī)。當(dāng)一個(gè)或多個(gè)人正在玩視頻游戲時(shí)，多個(gè)人在背景中觀看 并非是不常見的。盡管玩視頻游戲可能非常有趣，但看視頻游戲可能不像參與那樣有趣。

發(fā)明內(nèi)容
公開了允許未主動參與視頻游戲(例如，未玩游戲)的用戶與游戲交互并影響游 戲的技術(shù)。該技術(shù)可用于除了視頻游戲之外的基于計(jì)算機(jī)的應(yīng)用。一個(gè)實(shí)施例包括執(zhí)行基于計(jì)算機(jī)的應(yīng)用，包括與一個(gè)或多個(gè)主動參與的用戶交 互、自動傳感未主動參與基于計(jì)算機(jī)的應(yīng)用的一個(gè)或多個(gè)實(shí)體的一個(gè)或多個(gè)物理特性、確 定未主動參與基于計(jì)算機(jī)的應(yīng)用的一個(gè)或多個(gè)實(shí)體執(zhí)行了預(yù)定動作、響應(yīng)于確定未主動參 與基于計(jì)算機(jī)應(yīng)用的一個(gè)或多個(gè)實(shí)體執(zhí)行了預(yù)定動作來自動改變基于計(jì)算機(jī)的應(yīng)用的運(yùn) 行時(shí)狀況、以及自動在基于計(jì)算機(jī)的應(yīng)用的用戶界面中報(bào)告運(yùn)行時(shí)狀況的改變。一個(gè)實(shí)施例包括執(zhí)行基于計(jì)算機(jī)的視頻游戲，包括與被綁定到基于計(jì)算機(jī)的視頻 游戲的一個(gè)或多個(gè)用戶交互、從第一傳感器接收關(guān)于移動對象的信息、以及自動確定并表 征移動對象的移動。移動對象包括一個(gè)或多個(gè)綁定用戶，以及未綁定到基于計(jì)算機(jī)的視頻 游戲的一個(gè)或多個(gè)人。該過程還包括響應(yīng)于一個(gè)或多個(gè)綁定用戶以及未綁定到基于計(jì)算機(jī) 的視頻游戲的一個(gè)或多個(gè)人的移動來自動改變基于計(jì)算機(jī)的視頻游戲。一個(gè)實(shí)施例包括具 有包含在一個(gè)或多個(gè)處理器可讀存儲設(shè)備上的處理器可讀代碼的一個(gè)或多個(gè)處理器可讀 存儲設(shè)備。處理器可讀代碼對一個(gè)或多個(gè)處理器編程來執(zhí)行此處所描述的方法中的任一 個(gè)。一個(gè)實(shí)施例包括照相機(jī)(或其他類型的傳感器)以及(直接或間接)連接到該照 相機(jī)的計(jì)算機(jī)。該計(jì)算機(jī)包括跟蹤引擎、軟件應(yīng)用、識別器引擎以及多個(gè)過濾器。跟蹤引擎 從照相機(jī)接收數(shù)據(jù)，并基于所接收的數(shù)據(jù)來跟蹤一個(gè)或多個(gè)移動對象。跟蹤引擎提供指示 對一個(gè)或多個(gè)移動對象的跟蹤的輸出信息。軟件應(yīng)用與跟蹤引擎進(jìn)行通信。軟件應(yīng)用基于 來自跟蹤引擎的輸出信息來與一個(gè)或多個(gè)主動參與的用戶交互。識別器引擎接收來自照相 機(jī)的數(shù)據(jù)和來自跟蹤引擎的輸出信息，并選擇性地將來自照相機(jī)的數(shù)據(jù)和來自跟蹤引擎的 輸出信息提供給一個(gè)或多個(gè)過濾器來作為對相應(yīng)的一個(gè)或多個(gè)過濾器的輸入數(shù)據(jù)。多個(gè)過 濾器中的每一過濾器接收關(guān)于照相機(jī)可感知的移動的輸入數(shù)據(jù)。多個(gè)過濾器中的每一過濾 器確定并向軟件應(yīng)用輸出未主動參與軟件應(yīng)用的一個(gè)或多個(gè)實(shí)體是否執(zhí)行了預(yù)定動作。軟 件應(yīng)用響應(yīng)于過濾器指示未主動參與軟件應(yīng)用的一個(gè)或多個(gè)實(shí)體執(zhí)行了預(yù)定動作，對在軟 件應(yīng)用的用戶界面中報(bào)告的運(yùn)行時(shí)狀況作出改變。提供本概述是為了以簡化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并非旨在標(biāo)識所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫 助確定所要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決在本發(fā)明的任一部 分中提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。


圖IA和IB示出了其中用戶在玩游戲的跟蹤系統(tǒng)的示例實(shí)施方式。圖2示出可用作跟蹤系統(tǒng)的一部分的捕捉設(shè)備的示例實(shí)施方式。圖3描繪骨架的示例。圖4示出可被用來跟蹤運(yùn)動并基于所跟蹤的運(yùn)動來更新應(yīng)用的計(jì)算系統(tǒng)的示例 實(shí)施方式。圖5示出可被用來跟蹤運(yùn)動并基于所跟蹤的運(yùn)動來更新應(yīng)用的計(jì)算系統(tǒng)的另一 示例實(shí)施方式。圖6是描述用于與基于計(jì)算機(jī)的應(yīng)用交互的過程的一個(gè)實(shí)施例的流程圖。圖7是描述用于自動傳感環(huán)境的一個(gè)或多個(gè)物理特性的過程的一個(gè)實(shí)施例的流 程圖。圖8是描述用于基于所傳感的一個(gè)或多個(gè)物理特性來標(biāo)識動作或狀況的過程的 一個(gè)實(shí)施例的流程圖。圖9是描述用于基于所傳感的一個(gè)或多個(gè)物理特性來標(biāo)識動作或狀況的過程的 一個(gè)實(shí)施例的流程圖。圖10是描述用于基于所傳感的一個(gè)或多個(gè)物理特性來標(biāo)識動作或狀況的過程的 一個(gè)實(shí)施例的流程圖。圖11是描述用于基于所傳感的一個(gè)或多個(gè)物理特性來標(biāo)識動作或狀況的過程的 一個(gè)實(shí)施例的流程圖。圖12是描述用于基于所傳感的一個(gè)或多個(gè)物理特性來標(biāo)識動作或狀況的過程的 一個(gè)實(shí)施例的流程圖。
具體實(shí)施例方式計(jì)算機(jī)系統(tǒng)運(yùn)行與一個(gè)或多個(gè)主動參與的用戶進(jìn)行交互的應(yīng)用(例如，視頻游 戲)。另外，傳感一組人和/或環(huán)境的一個(gè)或多個(gè)物理特性。該組人可包括一個(gè)或多個(gè)主動 參與的用戶和/或未主動參與該應(yīng)用的一個(gè)或多個(gè)實(shí)體。例如，系統(tǒng)可傳感在背景中且未 在玩視頻游戲的人(例如，看其他人玩游戲的人)的移動。計(jì)算系統(tǒng)將確定該組(或未主 動參與應(yīng)用的一個(gè)或多個(gè)實(shí)體)執(zhí)行了預(yù)定動作。響應(yīng)于確定該組(或未主動參與基于計(jì) 算機(jī)的應(yīng)用的一個(gè)或多個(gè)實(shí)體)執(zhí)行了預(yù)定動作，改變應(yīng)用的運(yùn)行時(shí)狀況。改變運(yùn)行時(shí)狀 況的示例包括移動對象、改變得分、或改變視頻游戲的環(huán)境狀況。在一個(gè)實(shí)施例中，視頻游戲系統(tǒng)(或其他數(shù)據(jù)處理系統(tǒng))使用深度圖像和/或視 覺圖像來跟蹤用戶和對象。該跟蹤隨后被用來更新應(yīng)用(例如，視頻游戲)。因此，用戶可 以通過使用用戶身體的移動和/或物體繞用戶的移動而非(或除了)使用控制器、遙控器、 鍵盤、鼠標(biāo)等來操縱游戲角色或應(yīng)用的其他方面。例如，視頻游戲系統(tǒng)將基于物體的新位置 來更新在視頻中顯示的圖像的位置或基于用戶的運(yùn)動來更新化身。如果房間中未在玩游戲的人執(zhí)行了特定姿勢，作出了各種運(yùn)動或發(fā)出特定聲音，則視頻游戲?qū)⑼ㄟ^對游戲作出改 變來對該房間中未在玩游戲的人的姿勢、運(yùn)動和/或聲音作出反應(yīng)。雖然以下示例包括視頻游戲系統(tǒng)，但本文描述的技術(shù)也適用于其他類型的數(shù)據(jù)處 理系統(tǒng)和/或其他類型的應(yīng)用。圖IA和IB示出了其中用戶18在玩拳擊游戲的系統(tǒng)10的示例實(shí)施方式。在一示 例實(shí)施方式中，系統(tǒng)10可被用來識別、分析和/或跟蹤人類目標(biāo)，如跟蹤系統(tǒng)10范圍內(nèi)的 用戶18或其他物體。如圖IA所示，跟蹤系統(tǒng)10可包括計(jì)算系統(tǒng)12。計(jì)算系統(tǒng)12可以是計(jì)算機(jī)、游戲 系統(tǒng)或控制臺等等。根據(jù)一示例實(shí)施方式，計(jì)算系統(tǒng)12可包括硬件組件和/或軟件組件，從 而使得計(jì)算系統(tǒng)12可用于執(zhí)行諸如游戲應(yīng)用、非游戲應(yīng)用等的應(yīng)用。在一個(gè)實(shí)施方式中， 計(jì)算系統(tǒng)12可包括可執(zhí)行存儲在用于執(zhí)行本文描述的過程的處理器可讀存儲設(shè)備上的指 令的諸如標(biāo)準(zhǔn)化處理器、專用處理器、微處理器等處理器。如圖IA所示，跟蹤系統(tǒng)10還可包括捕捉設(shè)備20。捕捉設(shè)備20可以是，例如可用 于在視覺上監(jiān)視諸如用戶18的一個(gè)或多個(gè)用戶從而可以捕捉、分析并跟蹤一個(gè)或多個(gè)用 戶所執(zhí)行的姿勢和/或移動，來執(zhí)行應(yīng)用中的一個(gè)或多個(gè)控制或動作和/或動畫化化身或 屏上角色的照相機(jī)，下面將更詳細(xì)地描述。根據(jù)一實(shí)施例，跟蹤系統(tǒng)10可連接到可向諸如用戶18等的用戶提供游戲或應(yīng)用 視覺和/或音頻的音頻/視覺設(shè)備16，如電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等。例如，計(jì) 算系統(tǒng)12可包括諸如圖形卡等視頻適配器和/或諸如聲卡等音頻適配器，這些適配器可提 供與游戲應(yīng)用、非游戲應(yīng)用等相關(guān)聯(lián)的音頻/視覺信號。音頻/視覺設(shè)備16可從計(jì)算系統(tǒng) 12接收音頻/視覺信號，然后可向用戶18輸出與該音頻/視覺信號相關(guān)聯(lián)的游戲或應(yīng)用 視覺和/或音頻。根據(jù)一實(shí)施例，音頻/視覺設(shè)備16可經(jīng)由例如，S-視頻電纜、同軸電纜、 HDMI電纜、DVI電纜、VGA電纜、分量視頻電纜等連接到計(jì)算系統(tǒng)12。如圖IA和IB所示，跟蹤系統(tǒng)10可用于識別、分析和/或跟蹤諸如用戶18等的人 類目標(biāo)。例如，可使用捕捉設(shè)備20來跟蹤用戶18，從而可以捕捉用戶18的姿勢和/或移動 來動畫化化身或屏幕上人物，和/或可將用戶18的姿勢和/或移動解釋為可用于影響計(jì)算 環(huán)境12所執(zhí)行的應(yīng)用的控制。因此，根據(jù)一實(shí)施例，用戶18可移動他的或她的身體來控制 應(yīng)用和/或動畫化化身或屏幕上人物。類似地，跟蹤系統(tǒng)10可用于識別、分析和/或跟蹤 正在觀看用戶18玩游戲的人，使得這些正在觀看用戶18玩游戲的人的移動將在顯示在音 頻/視覺設(shè)備16上的拳擊游戲上控制觀眾中的移動化身。在圖IA和IB中描繪的示例中，在計(jì)算系統(tǒng)12上執(zhí)行的應(yīng)用可以是用戶18正在 玩的拳擊游戲。例如，計(jì)算系統(tǒng)12可使用音頻/視覺設(shè)備16來向用戶18提供拳擊對手22 的視覺表示。計(jì)算系統(tǒng)12還可使用音頻/視覺設(shè)備16來提供用戶18可用他或她的移動 來控制的用戶化身M的視覺表示。例如，如圖IB所示，用戶18可在物理空間中揮拳猛擊 來使得用戶化身M在游戲空間中揮拳猛擊。因此，根據(jù)一示例實(shí)施例，計(jì)算機(jī)系統(tǒng)12和捕 捉設(shè)備20識別和分析物理空間中用戶18的重拳，從而使得該重拳可被解釋為對游戲空間 中的用戶化身M的游戲控制和/或該重拳的運(yùn)動可用于動畫化游戲空間中的用戶化身24。用戶18的其他移動也可被解釋為其他控制或動作，和/或用于動畫化用戶化身， 如上下快速擺動、閃避、滑步、封堵、用拳猛擊或揮動各種不同的有力重拳的控制。此外，某些移動可被解釋為可對應(yīng)于除控制用戶化身M之外的動作的控制。例如，在一實(shí)施例中， 用戶可使用移動來結(jié)束、暫停或保存游戲、選擇級別、查看高分、與朋友交流等。根據(jù)另一實(shí) 施例，用戶可使用移動來從主用戶界面選擇游戲或其他應(yīng)用。因此，在示例實(shí)施例中，用戶 18的全范圍運(yùn)動可以用任何合適的方式來獲得、使用并分析以與應(yīng)用進(jìn)行交互。在各示例實(shí)施例中，諸如用戶18等的人類目標(biāo)可具有一物體。在這些實(shí)施例中， 電子游戲的用戶可手持物體，從而可以使用用戶和該物體的運(yùn)動來調(diào)整和/或控制游戲的 參數(shù)。例如，可以跟蹤并利用用戶手持球拍的運(yùn)動來控制電子運(yùn)動游戲中的屏幕上球拍。在 另一示例實(shí)施例中，可以跟蹤并利用用戶手持物體的運(yùn)動來控制電子格斗游戲中的屏幕上 武器。用戶沒有手持的物體也可被跟蹤，如該用戶(或一不同用戶)扔出、推出或滾出的物 體或自推進(jìn)的物體。除拳擊之外，也可實(shí)現(xiàn)其他游戲。根據(jù)其他示例實(shí)施方式，跟蹤系統(tǒng)10還可用于將目標(biāo)移動解釋為游戲領(lǐng)域之外 的操作系統(tǒng)和/或應(yīng)用控制。例如，事實(shí)上操作系統(tǒng)和/或應(yīng)用的任何可控方面可由諸如 用戶18等目標(biāo)的移動來控制。圖2示出可在跟蹤系統(tǒng)10中使用的捕捉設(shè)備20的示例實(shí)施方式。根據(jù)一示例實(shí) 施例，捕捉設(shè)備20可被配置成捕捉包括深度圖像的帶有深度信息的視頻，該深度圖像可包 括經(jīng)由任何合適的技術(shù)，包括例如飛行時(shí)間、結(jié)構(gòu)化光、立體圖像等的深度值。根據(jù)一實(shí)施 例，捕捉設(shè)備20可將深度信息組織為“Z層”，即可與Z軸正交的從深度相機(jī)沿著其視線延 伸的層。如圖2所示，捕捉設(shè)備20可包括圖像相機(jī)組件23。根據(jù)一示例實(shí)施方式，圖像相 機(jī)組件23可以是可捕捉場景的深度圖像的深度相機(jī)。深度圖像可包括所捕捉的場景的二 維(2-D)像素區(qū)域，其中2-D像素區(qū)域中的每一像素可表示深度值，諸如例如以厘米、毫米 等計(jì)的、所捕捉的場景中的物體距相機(jī)的距離。如圖2所示，根據(jù)一示例實(shí)施方式，圖像相機(jī)組件23可包括可用于捕捉場景的深 度圖像的紅外(IR)光組件25、三維(3-D)相機(jī)洸、和RGB相機(jī)沘。例如，在飛行時(shí)間分析 中，捕捉設(shè)備20的頂光組件25可將紅外光發(fā)射到場景上，然后可使用傳感器(未示出)， 使用例如3-D相機(jī)沈和/或RGB相機(jī)觀，來檢測來自場景中的一個(gè)或多個(gè)目標(biāo)和物體的表 面的反向散射光。在某些實(shí)施例中，可以使用脈沖式紅外光從而可以測量出射光脈沖和相 應(yīng)的入射光脈沖之間的時(shí)間差并將其用于確定從捕捉設(shè)備20到場景中的目標(biāo)或?qū)ο笊系?特定位置的物理距離。另外，在其他示例實(shí)施例中，可將入射光波的相位與出射光波的相位 進(jìn)行比較來確定相移。然后可以使用相移來確定從捕捉設(shè)備到對象或目標(biāo)上的特定位置的 距離。根據(jù)另一示例實(shí)施例，可使用飛行時(shí)間分析，通過經(jīng)由包括例如快門式光脈沖成 像的各種技術(shù)來分析反射光束隨時(shí)間的強(qiáng)度變化以間接地確定從捕捉設(shè)備20到目標(biāo)或?qū)?象上的特定位置的物理距離。在另一示例實(shí)施例中，捕捉設(shè)備20可使用結(jié)構(gòu)化光來捕捉深度信息。在這樣的分 析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案、條紋圖案等已知圖案或不同圖案的光)可經(jīng) 由例如頂光組件25被投影到場景上。在撞擊到場景中的一個(gè)或多個(gè)目標(biāo)或?qū)ο蟮谋砻鏁r(shí)， 作為響應(yīng)，圖案可變形。圖案的這種變形可由例如3-D相機(jī)沈和/或RGB相機(jī)28 (和/或 其他傳感器)來捕捉，然后可被分析以確定從捕捉設(shè)備到目標(biāo)或物體上的特定位置的物理距離。在一些實(shí)現(xiàn)中，頂光組件25與照相機(jī)M和沈分開，使得可以使用三角測量來確定 離開照相機(jī)26和觀的距離。在一些實(shí)現(xiàn)中，捕捉設(shè)備20將包括傳感頂光的專用頂傳感 器或具有頂濾波器的傳感器。根據(jù)另一實(shí)施例，捕捉設(shè)備20可包括兩個(gè)或更多物理上分開的照相機(jī)，這些照相 機(jī)可從不同角度查看場景來獲得可被解析以生成深度信息的視覺立體數(shù)據(jù)。其他類型的深 度圖像傳感器也可被用來創(chuàng)建深度圖像。捕捉設(shè)備20還可包括話筒30。話筒30可包括可接收聲音并將其轉(zhuǎn)換成電信號的 變換器或傳感器。根據(jù)一個(gè)實(shí)施方式，話筒30可用于減少目標(biāo)識別、分析和跟蹤系統(tǒng)10中 的捕捉設(shè)備20與計(jì)算系統(tǒng)12之間的反饋。另外，話筒30可用于接收也可被提供給計(jì)算系 統(tǒng)12的音頻信號。在一示例實(shí)施方式中，捕捉設(shè)備20還可包括可與圖像相機(jī)組件23進(jìn)行通信的處 理器32。處理器32可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專用處理器、微處理器等，這些指令包 括用于接收深度圖像、生成適當(dāng)?shù)臄?shù)據(jù)格式(例如，幀)并將該數(shù)據(jù)傳送到計(jì)算系統(tǒng)12的 指令。捕捉設(shè)備20還可包括存儲器組件34，存儲器組件34可存儲由處理器32執(zhí)行的指 令、3-D相機(jī)和/或RGB相機(jī)所捕捉的圖像或圖像的幀、或任何其他合適的信息、圖像等等。 根據(jù)一示例實(shí)施例，存儲器組件34可包括隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、高速 緩存、閃存、硬盤、或任何其他合適的存儲組件。如圖2所示，在一個(gè)實(shí)施方式中，存儲器組 件34可以是與圖像捕捉組件23和處理器32進(jìn)行通信的單獨(dú)的組件。根據(jù)另一實(shí)施方式， 存儲器組件34可被集成到處理器32和/或圖像捕捉組件23中。如圖2所示，捕捉設(shè)備20可經(jīng)由通信鏈路36與計(jì)算系統(tǒng)12進(jìn)行通信。通信鏈 路36可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無線 802. lib,802. llg、802. Ila或802. Iln連接等無線連接。根據(jù)一個(gè)實(shí)施方式，計(jì)算系統(tǒng)12 可經(jīng)由通信鏈路36向捕捉設(shè)備20提供可用于確定例如何時(shí)捕捉場景的時(shí)鐘。另外，捕捉 設(shè)備20將由例如3-D相機(jī)沈和/或RGB相機(jī)觀捕捉的深度信息和視覺(例如，RGB)圖 像經(jīng)由通信鏈路36提供給計(jì)算系統(tǒng)12。在一個(gè)實(shí)施方式中，深度圖像和視覺圖像以每秒 30幀的速率傳送。計(jì)算系統(tǒng)12然后可使用該模型、深度信息、以及所捕捉的圖像來例如控 制諸如游戲或文字處理程序等的應(yīng)用和/或動畫化化身或屏上人物。計(jì)算系統(tǒng)12包括深度圖像處理和骨架跟蹤模塊50，該模塊使用深度圖像來跟蹤 由深度相機(jī)可檢測到的一個(gè)或多個(gè)人。深度圖像處理和骨架跟蹤模塊50向應(yīng)用52提供跟 蹤信息，該應(yīng)用可以是視頻游戲、生產(chǎn)性應(yīng)用、通信應(yīng)用或其他軟件應(yīng)用等。音頻數(shù)據(jù)和視 覺圖像數(shù)據(jù)也被提供給應(yīng)用52和深度圖像處理和骨架跟蹤模塊50。應(yīng)用52將跟蹤信息、 音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)提供給識別器引擎M。在另一實(shí)施例中，識別器引擎M從深度 圖像處理和骨架跟蹤模塊50直接接收跟蹤信息，并從捕捉設(shè)備20直接接收音頻數(shù)據(jù)和視 覺圖像數(shù)據(jù)。識別器引擎討與過濾器60、62、64、……、66的集合相關(guān)聯(lián)，每一過濾器包括 關(guān)于可由捕捉設(shè)備20可檢測的任何人或?qū)ο髨?zhí)行的姿勢或其他動作或事件。例如，來自捕 捉設(shè)備20的數(shù)據(jù)可由過濾器60、62、64、……、66來處理，以便標(biāo)識一個(gè)用戶或一組用戶何 時(shí)執(zhí)行了一個(gè)或多個(gè)姿勢或其他動作。那些姿勢可與應(yīng)用52的各種控制、對象或狀況相關(guān) 聯(lián)。由此，計(jì)算環(huán)境12可借助過濾器使用識別器引擎M來解釋移動。
圖2的捕捉設(shè)備20向計(jì)算系統(tǒng)12提供RGB圖像(或其他格式或色彩空間的視覺 圖像)和深度圖像。深度圖像可以是多個(gè)觀測到的像素，其中每個(gè)觀測到的像素具有觀測 到的深度值。例如，深度圖像可包括所捕捉的場景的二維O-D)像素區(qū)域，其中2-D像素區(qū) 域中的每一像素可具有深度值，如所捕捉的場景中的對象距捕捉設(shè)備的距離。系統(tǒng)將使用RGB圖像和深度圖像來跟蹤用戶的移動。例如，系統(tǒng)將使用深度圖像 來跟蹤人的骨架?？梢允褂迷S多方法來使用深度圖像跟蹤人的骨架。使用深度圖像來跟 蹤骨架的一個(gè)合適的示例在2009年10月21日提交的美國專利申請12/603,437 "Pose Tracking Pipeline (姿勢跟蹤流水線)”(以下稱為’ 437申請)中提供，該申請通過整體 引用合并于此?！?37申請的過程包括獲取深度圖像，對數(shù)據(jù)進(jìn)行降采樣，移除和/或平滑高 變度噪聲數(shù)據(jù)，標(biāo)識并移除背景，以及將前景像素中的每一個(gè)分配給身體的不同部位。基于 這些步驟，系統(tǒng)將使使用該數(shù)據(jù)來擬合一模型并創(chuàng)建骨架。該骨架將包括一組關(guān)節(jié)和這些 關(guān)節(jié)之間的連接。圖3示出了具有15個(gè)關(guān)節(jié)(j0、jl、j2、j3、j4、j5、j6、j7、j8、j9、jlO、 jll、jl2、jl3和jl4)的示例骨架。這些關(guān)節(jié)中的每一個(gè)表示骨架中該骨架可以在x、y、ζ 方向上樞轉(zhuǎn)的位置或身體上關(guān)注的位置。也可使用用于跟蹤的其他方法。合適的跟蹤技 術(shù)也在以下專利申請中公開2009年5月四日提交的美國專利申請12/475，308 "Device for Identifying and Tracking MultipleHumans Over Time (用于隨時(shí)間標(biāo)識并足艮 蹤多個(gè)人的設(shè)備)”，該申請通過整體引用合并于此；2010年1月四日提交的美國專利 申請12/696,282 "VisualBased Identity Tracking(基于視覺的身份跟蹤)”，該申請 通過整體引用合并于此；2009年12月18日提交的美國專利申請12/641,788 "Motion DetectionUsing Depth Images (使用深度圖像的運(yùn)動檢測)”，該申請通過整體引用結(jié)合于 此；以及2009年10月7日提交的美國專利申請12/575，388 "Human TrackingSystem(人 類跟蹤系統(tǒng))”，該申請通過整體引用合并于此。(圖2所示的計(jì)算系統(tǒng)12的)姿勢識別器引擎54與多個(gè)過濾器60、62、64、……、 66相關(guān)聯(lián)來標(biāo)識姿勢或動作。過濾器包括定義姿勢、動作或狀況以及該姿勢、動作或狀況的 參數(shù)或元數(shù)據(jù)的信息。例如，包括一只手從身體背后到身體前方的運(yùn)動的投擲可被實(shí)現(xiàn)為 包括表示用戶的一只手從身體背后到身體前方的運(yùn)動的信息的姿勢，該移動將由深度相機(jī) 來捕捉。然后可為該姿勢設(shè)定參數(shù)。在姿勢是投擲的情況下，參數(shù)可以是該手必須達(dá)到的 閾值速度、該手必須行進(jìn)的距離(絕對的，或相對于用戶的整體大小)、以及識別器引擎對 發(fā)生了該姿勢的置信評級。用于姿勢的這些參數(shù)可以隨著時(shí)間在各應(yīng)用之間、在單個(gè)應(yīng)用 的各上下文之間、或在一個(gè)應(yīng)用的一個(gè)上下文內(nèi)變化。在一個(gè)實(shí)施例中，過濾器具有多個(gè)輸 入和多個(gè)輸出。過濾器可以是模塊化或可互換的，使得第一過濾器可用具有與第一過濾器相同數(shù) 量和類型的輸入和輸出的第二過濾器來替換而不更改識別器引擎體系結(jié)構(gòu)的任何其他方 面。例如，可以有用于駕駛的第一過濾器，該第一過濾器取骨架數(shù)據(jù)作為輸入并輸出與該 過濾器相關(guān)聯(lián)的姿勢正在發(fā)生的置信度以及轉(zhuǎn)向角。在希望用第二駕駛過濾器來替換該 第一駕駛過濾器的情況下——這可能是因?yàn)榈诙{駛過濾器更高效且需要更少的處理資 源——?jiǎng)t可以通過簡單地用第二過濾器替換第一過濾器來這樣做，只要第二過濾器具有相 同的輸入和輸出一骨架數(shù)據(jù)類型的一個(gè)輸入，以及置信度類型和角度類型的兩個(gè)輸出。過濾器不需要具有參數(shù)。例如，返回用戶的高度的“用戶高度”過濾器可能不允許任何可調(diào)節(jié)的參數(shù)。替換的“用戶高度”過濾器可具有可調(diào)節(jié)參數(shù)，如在確定用戶的高度時(shí) 是否考慮用戶的鞋、發(fā)型、頭飾以及體態(tài)。對過濾器的輸入可包括諸如關(guān)于用戶的關(guān)節(jié)位置的關(guān)節(jié)數(shù)據(jù)，像在關(guān)節(jié)處相交的 骨所形成的角度、來自場景的RGB色彩數(shù)據(jù)、以及用戶的某一方面的變化速率等內(nèi)容。來自 過濾器的輸出可包括諸如正作出給定姿勢的置信度、作出姿勢運(yùn)動的速度、以及作出姿勢 運(yùn)動的時(shí)間等內(nèi)容。姿勢識別器引擎M向過濾器提供功能。在一實(shí)施例中，識別器引擎M實(shí)現(xiàn)的功 能包括跟蹤所識別的姿勢和其他輸入的隨時(shí)間輸入(input-over-time)存檔、隱馬爾可夫 模型實(shí)現(xiàn)(其中模型化系統(tǒng)被假定為馬爾可夫過程-其中當(dāng)前狀態(tài)封裝了確定將來狀態(tài)所 需的任何過去狀態(tài)信息，因此不必為此目的而維護(hù)任何其他過去狀態(tài)信息的過程-該過程 具有未知參數(shù)，并且隱藏參數(shù)是從可觀察數(shù)據(jù)來確定的)、以及求解姿勢識別的特定實(shí)例所 需的其他功能。過濾器60、62、64、……、66在識別器引擎M之上加載并實(shí)現(xiàn)，并且可利用識別器 引擎M提供給所有過濾器60、62、64、……、66的服務(wù)。在一個(gè)實(shí)施例中，識別器引擎54 接收數(shù)據(jù)來確定該數(shù)據(jù)是否滿足任何過濾器60、62、64、……、66的要求。由于這些所提供 的諸如解析輸入等服務(wù)是由識別器引擎討一次性提供而非由每一過濾器60、62、64、……、 66提供的，因此這一服務(wù)在一段時(shí)間內(nèi)只需被處理一次而不是在該時(shí)間段對每一過濾器處 理一次，因此減少了確定姿勢所需的處理。應(yīng)用52可使用識別器引擎M所提供的過濾器60、62、64、……、66，或者它可提供 其自己的、插入到識別器引擎M的過濾器。在一實(shí)施例中，所有過濾器具有啟用該插入特 性的通用接口。此外，所有過濾器可利用參數(shù)，因此可使用以下單個(gè)姿勢工具來診斷并調(diào)節(jié) 整個(gè)過濾器系統(tǒng)。關(guān)于識別器引擎M的更多信息可在2009年4月13日提交的美國專利申請 12/422, 661 "Gesture Recognizer System Architecture (姿勢識別器系統(tǒng)體系結(jié)構(gòu))，，中 找到，該申請通過整體引用合并于此。關(guān)于識別姿勢的更多信息可在2009年2月23日提 交的美國專利申請12/391，150‘。tandard Gestures (標(biāo)準(zhǔn)姿勢)”；以及2009年5月29日 提交的美國專利申請12/474，655 "Gesture Tool (姿勢工具)”中找到。這兩個(gè)申請都通 過整體引用合并于此。圖4示出了計(jì)算系統(tǒng)的一示例實(shí)施例，該計(jì)算系統(tǒng)可以是圖1A-2所示的用于跟蹤 應(yīng)用所顯示的化身或其他屏幕上對象的運(yùn)動和/或動畫化(或以其他方式更新)化身或其 他屏幕上對象的計(jì)算系統(tǒng)12。諸如上面參考圖1A-2所描述的計(jì)算系統(tǒng)12等的計(jì)算系統(tǒng)可 以是諸如游戲控制臺等的多媒體控制臺100。如圖4所示，多媒體控制臺100具有含有1級 高速緩存102、2級高速緩存104和閃存R0M(只讀存儲器)106的中央處理單元(CPU) 101。 1級高速緩存102和2級高速緩存104臨時(shí)存儲數(shù)據(jù)并因此減少存儲器訪問周期數(shù)，由此改 進(jìn)處理速度和吞吐量。CPU 101可以設(shè)置成具有一個(gè)以上的核，以及由此的附加的1級和2 級高速緩存102和104。閃存ROM 106可存儲在多媒體控制臺100通電時(shí)在引導(dǎo)進(jìn)程初始 化階段加載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形 成用于高速、高分辨率圖形處理的視頻處理流水線。數(shù)據(jù)經(jīng)由總線從圖形處理單元108輸送到視頻編碼器/視頻編解碼器114。視頻處理流水線將數(shù)據(jù)輸出到A/V (音頻/視頻)端 口 140以傳輸?shù)诫娨暀C(jī)或其他顯示器。存儲器控制器110連接到GPU 108以方便處理器訪 問各種類型的存儲器112，諸如但不局限于RAM(隨機(jī)存取存儲器)。多媒體控制臺100包括較佳地在模塊118上實(shí)現(xiàn)的I/O控制器120、系統(tǒng)管理控 制器122、音頻處理單元123、網(wǎng)絡(luò)接口控制器124、第一 USB主控制器126、第二 USB控制器 1 和前面板I/O子部件130。USB控制器126和1 用作外圍控制器142⑴-142 O)、無 線適配器148、和外置存儲器設(shè)備146 (例如閃存、外置⑶/DVD ROM驅(qū)動器、可移動介質(zhì)等) 的主機(jī)。網(wǎng)絡(luò)接口 1 和/或無線適配器148提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的 訪問并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有 線和無線適配器組件中任何一種。提供系統(tǒng)存儲器143來存儲在引導(dǎo)進(jìn)程期間加載的應(yīng)用數(shù)據(jù)。提供媒體驅(qū)動器 144且其可包括DVD/⑶驅(qū)動器、藍(lán)光驅(qū)動器、硬盤驅(qū)動器、或其它可移動媒體驅(qū)動器等。媒 體驅(qū)動器144對于多媒體控制臺100可以內(nèi)置或外置的。應(yīng)用程序數(shù)據(jù)可經(jīng)由媒體驅(qū)動器 144訪問，以由多媒體控制臺100執(zhí)行、回放等。媒體驅(qū)動器144經(jīng)由諸如串行ATA總線或 其他高速連接(例如IEEE 1394)等總線連接到I/O控制器120。系統(tǒng)管理控制器122提供涉及確保多媒體控制臺100的可用性的各種服務(wù)功能。 音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的對應(yīng)的音頻處理 流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻 處理流水線將數(shù)據(jù)輸出到A/V端口 140以供外部音頻用戶或具有音頻能力的設(shè)備再現(xiàn)。前面板I/O子部件130支持暴露在多媒體控制臺100的外表面上的電源按鈕150 和彈出按鈕152以及任何LED(發(fā)光二極管)或其它指示器的功能。系統(tǒng)供電模塊136向 多媒體控制臺100的組件供電。風(fēng)扇138冷卻多媒體控制臺100內(nèi)的電路。CPU 101、GPU 108、存儲器控制器110、和多媒體控制臺100內(nèi)的各個(gè)其它組件經(jīng) 由一條或多條總線互連，包括串行和并行總線、存儲器總線、外圍總線、和使用各種總線架 構(gòu)中任一種的處理器或局部總線。作為示例，這種架構(gòu)可以包括外圍部件互連(PCI)總線、 PCI-Express 總線等。當(dāng)多媒體控制臺100通電時(shí)，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲器143加載到存儲器112和/ 或高速緩存102、104中并在CPU 101上執(zhí)行。應(yīng)用可呈現(xiàn)在導(dǎo)航到多媒體控制臺100上可 用的不同媒體類型時(shí)提供一致的用戶體驗(yàn)的圖形用戶界面。在操作中，媒體驅(qū)動器144中 包含的應(yīng)用和/或其它媒體可從媒體驅(qū)動器144啟動或播放，以向多媒體控制臺100提供 附加功能。多媒體控制臺100可通過將該系統(tǒng)簡單地連接到電視機(jī)或其它顯示器而作為獨(dú) 立系統(tǒng)來操作。在該獨(dú)立模式中，多媒體控制臺100允許一個(gè)或多個(gè)用戶與該系統(tǒng)交互、看 電影、或聽音樂。然而，隨著通過網(wǎng)絡(luò)接口 1 或無線適配器148可用的寬帶連接的集成， 多媒體控制臺100還可作為較大網(wǎng)絡(luò)社區(qū)中的參與者來操作。當(dāng)多媒體控制臺100通電時(shí)，可以保留設(shè)定量的硬件資源以供多媒體控制臺操作 系統(tǒng)作系統(tǒng)使用。這些資源可以包括存儲器保留(例如，16MB)、CPU和GPU周期(例如， 5%)、網(wǎng)絡(luò)帶寬(例如，SlAs)等。因?yàn)檫@些資源是在系統(tǒng)引導(dǎo)時(shí)保留的，所以所保留的資 源對應(yīng)用而言是不存在的。
具體地，存儲器保留較佳地足夠大，以包含啟動內(nèi)核、并發(fā)系統(tǒng)應(yīng)用和驅(qū)動程序。 CPU保留較佳地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用，則空閑線程將消耗任 何未使用的周期。對于GPU保留，通過使用GPU中斷來顯示由系統(tǒng)應(yīng)用生成的輕量消息(例如，彈出 窗口)，以調(diào)度代碼來將彈出窗口呈現(xiàn)為覆蓋圖。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大 小，并且覆蓋圖較佳地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用使用完整用戶界面的情 況下，優(yōu)選使用獨(dú)立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而無需改變頻 率，也就不會引起TV重新同步。在多媒體控制臺100引導(dǎo)且系統(tǒng)資源被保留之后，就執(zhí)行并發(fā)系統(tǒng)應(yīng)用來提供系 統(tǒng)功能。系統(tǒng)功能被封裝在一組在上述所保留的系統(tǒng)資源中執(zhí)行的系統(tǒng)應(yīng)用中。操作系統(tǒng) 內(nèi)核標(biāo)識是系統(tǒng)應(yīng)用線程而非游戲應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時(shí)間 并以預(yù)定時(shí)間間隔在CPU 101上運(yùn)行，以便為應(yīng)用提供一致的系統(tǒng)資源視圖。進(jìn)行調(diào)度是 為了把由在控制臺上運(yùn)行的游戲應(yīng)用所引起的高速緩存分裂最小化。當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時(shí)，則由于時(shí)間敏感性而異步調(diào)度音頻處理給游戲應(yīng) 用。多媒體控制臺應(yīng)用管理器(如下所述)在系統(tǒng)應(yīng)用活動時(shí)控制游戲應(yīng)用的音頻水平 (例如，靜音、衰減)。輸入設(shè)備(例如，控制器142(1)和142( )由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè) 備不是所保留的資源，但卻在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點(diǎn)。 應(yīng)用管理器較佳地控制輸入流的切換，而無需知曉游戲應(yīng)用的知識，并且驅(qū)動程序維持有 關(guān)焦點(diǎn)切換的狀態(tài)信息。照相機(jī)26J8和捕捉設(shè)備20可經(jīng)由USB控制器1 或其他接口 來定義控制臺100的附加輸入設(shè)備。圖5示出了計(jì)算系統(tǒng)200的另一示例實(shí)施例，該計(jì)算系統(tǒng)可用于實(shí)現(xiàn)圖1A-2所示 的用于跟蹤應(yīng)用所顯示的化身或其他屏幕上對象的運(yùn)動和/或動畫化(或以其他方式更 新)化身或其他屏幕上對象的計(jì)算系統(tǒng)12。計(jì)算系統(tǒng)環(huán)境220只是合適的計(jì)算系統(tǒng)的一 個(gè)示例，并且不旨在對所公開的主題的使用范圍或功能提出任何限制。也不應(yīng)該將計(jì)算系 統(tǒng)220解釋為對示例性操作系統(tǒng)220中示出的任一組件或其組合有任何依賴性或要求。在 某些實(shí)施方式中，所描繪的各種計(jì)算元素可包括被配置成實(shí)例化本公開的各具體方面的電 路。例如，本公開中使用的術(shù)語電路可包括被配置成通過固件或開關(guān)來執(zhí)行功能的專用硬 件組件。在其他示例實(shí)施方式中，術(shù)語電路可包括由實(shí)施可用于執(zhí)行功能的邏輯的軟件指 令配置的通用處理單元、存儲器等。在電路包括硬件與軟件組合的示例實(shí)施方式中，實(shí)現(xiàn)者 可編寫實(shí)施邏輯的源代碼且該源代碼可被編譯成可由通用處理單元處理的機(jī)器可讀代碼。 因?yàn)楸绢I(lǐng)域技術(shù)人員可以明白現(xiàn)有技術(shù)已經(jīng)進(jìn)化到硬件、軟件或硬件/軟件組合之間幾乎 沒有差別的地步，因而選擇硬件或是軟件來實(shí)現(xiàn)具體功能是留給實(shí)現(xiàn)者的設(shè)計(jì)選擇。更具 體地，本領(lǐng)域技術(shù)人員可以明白軟件進(jìn)程可被變換成等價(jià)的硬件結(jié)構(gòu)，而硬件結(jié)構(gòu)本身可 被變換成等價(jià)的軟件進(jìn)程。因此，對于硬件實(shí)現(xiàn)還是軟件實(shí)現(xiàn)的選擇是設(shè)計(jì)選擇并留給實(shí) 現(xiàn)者。計(jì)算系統(tǒng)220包括計(jì)算機(jī)Ml，計(jì)算機(jī)241通常包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī) 可讀介質(zhì)可以是能由計(jì)算機(jī)241訪問的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、 可移動和不可移動介質(zhì)。系統(tǒng)存儲器222包括易失性和/或非易失性存儲器形式的計(jì)算機(jī)存儲介質(zhì)，如只讀存儲器(ROM) 223和隨機(jī)存取存儲器(RAM) 2600基本輸入/輸出系統(tǒng) 224 (BIOS)包括如在啟動時(shí)幫助在計(jì)算機(jī)Ml內(nèi)的元件之間傳輸信息的基本例程，它通常 儲存在ROM 223中。RAM 260通常包含處理單元259可以立即訪問和/或目前正在操作的 數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖5示出了操作系統(tǒng)225、應(yīng)用程序226、其它程 序模塊227和程序數(shù)據(jù)228。計(jì)算機(jī)241還可以包括其他可移動/不可移動、易失性/非易失性計(jì)算機(jī)存儲介 質(zhì)。僅作為示例，圖5示出了對不可移動、非易失性磁介質(zhì)進(jìn)行讀寫的硬盤驅(qū)動器238，對可 移動、非易失性磁盤2M進(jìn)行讀寫的磁盤驅(qū)動器239，以及對諸如CD ROM或其它光學(xué)介質(zhì) 等可移動、非易失性光盤253進(jìn)行讀寫的光盤驅(qū)動器M0?？梢栽谑纠圆僮鳝h(huán)境中使用 的其他可移動/不可移動、易失性/非易失性計(jì)算機(jī)存儲介質(zhì)包括但不限于，磁帶盒、閃存 卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等等。硬盤驅(qū)動器238通常由諸如接口 234等不可移動存儲器接口連接至系統(tǒng)總線221，磁盤驅(qū)動器239和光盤驅(qū)動器240通常由 諸如接口 235等可移動存儲器接口連接至系統(tǒng)總線221。以上描述和在圖5中示出的驅(qū)動器及其相關(guān)聯(lián)的計(jì)算機(jī)存儲介質(zhì)為計(jì)算機(jī)241提 供對計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲。例如，在圖5中，硬盤驅(qū)動器 238被示為存儲操作系統(tǒng)258、應(yīng)用程序257、其它程序模塊256和程序數(shù)據(jù)255。注意，這 些組件可以與操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)2 相同，也可以 與它們不同。操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256和程序數(shù)據(jù)255在這里被標(biāo) 注了不同的標(biāo)號是為了說明至少它們是不同的副本。用戶可以通過輸入設(shè)備，諸如鍵盤251 和定點(diǎn)設(shè)備252 (通常被稱為鼠標(biāo)、跟蹤球或觸摸墊)，向計(jì)算機(jī)241輸入命令和信息。其他 輸入設(shè)備(未示出)可以包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等等。這些 和其他輸入設(shè)備通常由耦合至系統(tǒng)總線的用戶輸入接口 236連接至處理單元259，但也可 以由其他接口和總線結(jié)構(gòu)，諸如并行端口、游戲端口或通用串行總線(USB)，來連接。照相 機(jī)沈、觀和捕捉設(shè)備20可經(jīng)由用戶輸入接口 236來定義控制臺100的附加輸入設(shè)備。監(jiān) 視器242或其他類型的顯示設(shè)備也經(jīng)由接口，諸如視頻接口 232，連接至系統(tǒng)總線221。除 監(jiān)視器以外，計(jì)算機(jī)也可以包括其它外圍輸出設(shè)備，諸如揚(yáng)聲器244和打印機(jī)M3，它們可 以通過輸出外圍接口 233連接。捕捉設(shè)備20可經(jīng)由輸出外圍接口 233、網(wǎng)絡(luò)接口 237或其 他接口連接到計(jì)算系統(tǒng)220。計(jì)算機(jī)241可使用至一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)，諸如遠(yuǎn)程計(jì)算機(jī)M6的邏輯連接 在網(wǎng)絡(luò)化環(huán)境中操作。遠(yuǎn)程計(jì)算機(jī)246可以是個(gè)人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等 設(shè)備或其他常見網(wǎng)絡(luò)節(jié)點(diǎn)，且通常包括上文相對于計(jì)算機(jī)241描述的許多或所有元件，但 在圖5中只示出存儲器存儲設(shè)備M7。圖中所示邏輯連接包括局域網(wǎng)(LAN) 245和廣域網(wǎng) (WAN) M9，但也可以包括其它網(wǎng)絡(luò)。這樣的聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián) 網(wǎng)和因特網(wǎng)中是常見的。當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通過網(wǎng)絡(luò)接口或適配器237連接至LAN 2450當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時(shí)，計(jì)算機(jī)241通常包括調(diào)制解調(diào)器250或用于通過諸如因 特網(wǎng)等WAN 249建立通信的其他裝置。調(diào)制解調(diào)器250可以是內(nèi)置或外置的，它可以經(jīng)由 用戶輸入接口 236或其他適當(dāng)?shù)臋C(jī)制連接至系統(tǒng)總線221。在網(wǎng)絡(luò)化環(huán)境中，相對于計(jì)算機(jī) 241所描述的程序模塊或其部分可被儲存在遠(yuǎn)程存儲器存儲設(shè)備中。作為示例而非局限，圖5示出應(yīng)用程序248駐留在存儲器設(shè)備247上?？梢岳斫猓镜木W(wǎng)絡(luò)連接是示例性的，且 可以使用在計(jì)算機(jī)之間建立通信鏈路的其他手段。圖4或5的系統(tǒng)中的任一個(gè)或不同計(jì)算系統(tǒng)可用于實(shí)現(xiàn)圖2的計(jì)算系統(tǒng)12。如 上所述，計(jì)算系統(tǒng)12確定用戶的運(yùn)動，并采用這些檢測到的運(yùn)動來控制視頻游戲或其他應(yīng) 用。例如，用戶的運(yùn)動可用于控制視頻游戲中的化身和/或?qū)ο?。在某些?shí)施例中，系統(tǒng)可 同時(shí)跟蹤多個(gè)用戶，并允許多個(gè)用戶的運(yùn)動來控制或影響應(yīng)用。在一個(gè)實(shí)施例中，為了使用戶的運(yùn)動用于控制應(yīng)用，用戶必須首先加入或綁定到 該應(yīng)用。例如，當(dāng)玩視頻游戲時(shí)，系統(tǒng)可詢問多少用戶將玩該游戲。在用戶用用戶數(shù)量來響 應(yīng)之后，系統(tǒng)將要求每一用戶標(biāo)識他或她自身。在一個(gè)實(shí)施例中，將要求每一用戶通過站在 系統(tǒng)前方以使得可從該用戶的多個(gè)角度獲得深度圖像和/或視覺圖像來標(biāo)識他或她自身。 例如，在獲得深度圖像和視覺圖像時(shí)，可要求用戶站在照相機(jī)前方、轉(zhuǎn)身、并作出各種姿態(tài)。 在系統(tǒng)獲得了足夠的深度和/或視覺圖像之后，系統(tǒng)將從圖像中創(chuàng)建一組唯一地標(biāo)識用戶 的標(biāo)識數(shù)據(jù)。系統(tǒng)將創(chuàng)建唯一標(biāo)識，并將該唯一標(biāo)識與游戲/應(yīng)用中的實(shí)體(例如，化身) 或其他對象相關(guān)聯(lián)。在用戶加入(或綁定到)應(yīng)用之后，系統(tǒng)將在該用戶主動參與應(yīng)用(例 如，玩游戲或使用該應(yīng)用)時(shí)跟蹤該用戶的運(yùn)動。然而，在過去，房間中未主動參與應(yīng)用(例 如，未綁定到應(yīng)用、綁定到應(yīng)用但未玩當(dāng)前游戲、或綁定到應(yīng)用但當(dāng)前沒有輪到玩)的其他 人沒有辦法與應(yīng)用交互。圖6是描述用于運(yùn)行/實(shí)現(xiàn)允許未主動參與應(yīng)用的人與該應(yīng)用交互的應(yīng)用的過程 的一個(gè)實(shí)施例的流程圖。在圖6的步驟340，應(yīng)用52與主動參與應(yīng)用52的一個(gè)或多個(gè)綁定 用戶交互。計(jì)算系統(tǒng)12將傳感、檢測并計(jì)算各種用戶的移動，且該移動將用于控制視頻游 戲或其它類型的應(yīng)用。例如，用戶的移動可用于控制化身?；蛘?，游戲控制器可用于控制化 身。在圖6的步驟342，系統(tǒng)將自動傳感可由捕捉設(shè)備20檢測的環(huán)境的一個(gè)或多個(gè)物 理特性。這包括檢測作為主動參與應(yīng)用52的綁定用戶的一個(gè)或多個(gè)實(shí)體的物理特性，傳感 未主動參與應(yīng)用52的一個(gè)或多個(gè)實(shí)體的一個(gè)或多個(gè)特性，和/或其它環(huán)境狀況(例如，光 照、對象的移動等)。在步驟344，系統(tǒng)將基于來自步驟342的所傳感的一個(gè)或多個(gè)物理特 性來標(biāo)識發(fā)生了動作或存在狀況。在步驟346，系統(tǒng)將響應(yīng)于步驟344中標(biāo)識動作或狀況來自動改變應(yīng)用52的運(yùn)行 時(shí)狀況。例如，系統(tǒng)將確定房間中的一個(gè)或多個(gè)人做出了特定運(yùn)動或執(zhí)行了特定動作。響 應(yīng)于該運(yùn)動或動作，系統(tǒng)將改變關(guān)于游戲的某些東西?？身憫?yīng)于識別動作或狀況來做出的 對游戲或應(yīng)用的改變的示例包括(但不限于)基于背景中的一組人的歡呼或移動的水平來 改變用戶之一的得分，基于房間中背景狀況(例如，光照或移動)來改變環(huán)境中的背景狀況 (例如，天氣或光照)，響應(yīng)于房間中的人的移動來移動化身或其它對象(例如，如果一個(gè)或 多個(gè)綁定用戶正在玩涉及船上的運(yùn)輸?shù)囊曨l游戲，且房間中的多個(gè)背景人站起來，則這可 導(dǎo)致視頻游戲中該船搖晃)，由于玩游戲的人的背景中的移動或狀況(例如，歡呼的量)而 改變視頻游戲中的化身的能力(例如，增加擊球手或拳擊手的力量)?；蛘?，視頻游戲中的 人群噪聲可與玩該視頻游戲的人的房間中的噪聲成比例。在另一替換方案中，視頻游戲中 的人群噪聲可響應(yīng)于在坐在或站在玩該視頻游戲的用戶的背景中的一個(gè)或多個(gè)人中檢測 到的情感。在非視頻游戲示例中，用戶界面的亮度可基于房間中的亮度或一個(gè)或多個(gè)人離捕捉設(shè)備20的距離來改變?；蛘?，字體大小可以響應(yīng)于人接近或遠(yuǎn)離捕捉設(shè)備20行走來 改變。在圖6的步驟348，在應(yīng)用52的用戶界面中報(bào)告對應(yīng)用52的改變。例如，如果得 分改變，則將在用戶界面中更新該得分。如果視頻游戲中的任何對象移動或以其它方式改 變外觀，則將在該視頻游戲的用戶界面中描繪外觀改變。類似地，字體大小或亮度可在應(yīng)用 52的用戶界面中改變。在其它實(shí)施例中，應(yīng)用中的改變也可經(jīng)由電子郵件、文本消息、打印 輸出、揚(yáng)聲器等來報(bào)告。圖6所描繪的步驟的次序僅是一個(gè)可能的示例。圖6的步驟也可按其它次序來執(zhí) 行。或者，許多步驟可同時(shí)執(zhí)行。例如，包括應(yīng)用與綁定用戶交互的步驟340可在一段延長 的時(shí)間內(nèi)執(zhí)行，在該段時(shí)間期間，重復(fù)執(zhí)行步驟342-348。圖7是描述用于自動傳感環(huán)境的一個(gè)或多個(gè)物理特性的一個(gè)實(shí)施例的流程圖，這 些物理特性包括未主動參與應(yīng)用的一個(gè)或多個(gè)實(shí)體以及主動參與的綁定用戶的特性。圖7 的過程是圖6的步驟342的一個(gè)示例實(shí)現(xiàn)。在圖7的步驟402中，捕捉設(shè)備20將傳感深度 圖像。在步驟404，該深度圖像將發(fā)送到計(jì)算系統(tǒng)12。在步驟406，捕捉設(shè)備20將傳感視覺 圖像。在步驟408，該視覺圖像將發(fā)送到計(jì)算系統(tǒng)12。在步驟410，捕捉設(shè)備20將傳感音頻 數(shù)據(jù)。在步驟412，該音頻數(shù)據(jù)將發(fā)送到計(jì)算系統(tǒng)12。在步驟414，深度圖像處理和骨架跟 蹤50將基于深度圖像、視覺圖像和/或音頻數(shù)據(jù)來更新運(yùn)動跟蹤。在步驟416，深度圖像、 視覺圖像和/或音頻數(shù)據(jù)以及跟蹤信息將提供給識別器引擎M。在步驟418，識別器引擎 54將處理所接收的數(shù)據(jù)，然后在步驟420中調(diào)用適當(dāng)?shù)囊粋€(gè)或多個(gè)過濾器?；仡^參考圖6，步驟344包括基于來自步驟342的所傳感的一個(gè)或多個(gè)物理特性來 標(biāo)識動作或狀況。在一個(gè)實(shí)施例中，步驟344由過濾器60、62、64、……、66(參見圖2)來 執(zhí)行。在一個(gè)示例中，對于應(yīng)用希望檢測的每一動作，將有一個(gè)單獨(dú)的過濾器。在其它實(shí)現(xiàn) 中，一個(gè)過濾器可確定一個(gè)以上姿勢或動作。如關(guān)于圖7所解釋的，識別器引擎M將在應(yīng) 用的整個(gè)執(zhí)行期間接收數(shù)據(jù)。所采用的每一過濾器將向識別器引擎M注冊，包括指示它期 待什么數(shù)據(jù)。當(dāng)識別器引擎M看見對特定過濾器的數(shù)據(jù)可用時(shí)，識別器引擎M將調(diào)用適 當(dāng)?shù)倪^濾器(圖7的步驟420)。有可能同時(shí)或以重疊的方式調(diào)用許多過濾器。識別器引 擎M調(diào)用來尋找特定一組一個(gè)或多個(gè)姿勢或動作的每一過濾器將自動基于所傳感的物理 特性來標(biāo)識動作或狀況。當(dāng)過濾器確定它所尋找的特定姿勢或動作已經(jīng)發(fā)生時(shí)，該過濾器 將向應(yīng)用52報(bào)告該信息。圖8-12是描述可用于實(shí)現(xiàn)圖6的步驟344的各種過濾器60、62、 64、……、66的操作的流程圖。圖8是描述檢測一組人的移動的過濾器的操作的流程圖。在一個(gè)實(shí)施例中，該過 濾器的輸出告知應(yīng)用52捕捉設(shè)備20前面的一組人是否向左移動、向右移動、向前移動或向 后移動。在某些實(shí)施例中，該過濾器還將提供移動的幅度的指示。在步驟502，該過濾器將 接收新的深度圖像信息、跟蹤數(shù)據(jù)和視覺圖像信息。在其它實(shí)施例中，將該信息的一子集提 供給過濾器。例如，過濾器可以只對深度圖像信息、只對跟蹤數(shù)據(jù)、只對視覺圖像、或?qū)@三 者中的兩者進(jìn)行操作。在步驟504，過濾器將標(biāo)識前景色塊(blob)的位置。例如，使用本領(lǐng) 域已知的技術(shù)，該系統(tǒng)可以在深度圖像或視覺圖像中在前景和背景像素之間進(jìn)行區(qū)分。一 個(gè)示例是扣除連續(xù)圖像。正在移動的色塊是前景像素，且被假定為是在捕捉設(shè)備20前面的 人。在步驟506，過濾器將訪問關(guān)于圖8的過程的先前的色塊以及先前的迭代的位置數(shù)據(jù)。在步驟508，過濾器將基于當(dāng)前和先前數(shù)據(jù)來標(biāo)識集體組的移動。由此，系統(tǒng)將查看圖像歷 史，并確定集體色塊集合是否正在向左、向右、向前和/或向后移動。在步驟510 (任選)，系統(tǒng)將試圖標(biāo)識對應(yīng)于特定一人的特定色塊。這與查看色塊 的集體并確定色塊的集體是否正在特定方向上移動的先前步驟相反。如果在房間中有一個(gè) 人在與該組的其余人不同的方向上移動，則將在步驟510中標(biāo)識該人，并且先前數(shù)據(jù)將與 該色塊相關(guān)聯(lián)來確定該人移動的方向。在步驟512，確定該組(或特定一人)的移動是否大于閾值。閾值可以基于應(yīng)用的 要求或基于實(shí)驗(yàn)來設(shè)置。如果移動大于閾值，則在步驟514報(bào)告該移動。在一個(gè)實(shí)現(xiàn)中，過 濾器將報(bào)告集體組是否向左移動、向右移動、向前移動或向后移動。任選地，過濾器可報(bào)告 移動的幅度。另外(且任選地)，系統(tǒng)將報(bào)告特定一人是否在與該組的其余人不同的方向上 移動。如果在步驟512確定該移動不大于閾值移動量，則過濾器將不向應(yīng)用52報(bào)告任何東 西。在另一替換方案中，該系統(tǒng)將對每一可能的移動方向使用單獨(dú)的過濾器。例如，將 有試圖檢測向左移動的一個(gè)過濾器，用于檢測向右移動的第二過濾器，用于檢測朝向照相 機(jī)的移動的第三過濾器，以及用于檢測遠(yuǎn)離照相機(jī)的移動的第四過濾器。這些過濾器中的 每一個(gè)將如圖8的流程圖中所述的那樣來操作，除了步驟508中對移動的標(biāo)識將僅在對應(yīng) 于該過濾器的單個(gè)方向上且步驟514的報(bào)告將僅針對與該過濾器相關(guān)聯(lián)的特定方向。除了跟蹤移動之外，過濾器還可用于標(biāo)識特定姿勢。例如，如果一組中的多個(gè)人在 空中舉起他們的手，則這可觸發(fā)視頻游戲中的動作?；蛘?，如果背景中的多個(gè)人以某一次 序站起來，則這可觸發(fā)視頻棒球游戲(或其它體育賽事)中的狂熱者在運(yùn)動場中表演波浪 (按序站起來)。在一個(gè)實(shí)施例中，該系統(tǒng)可具有用于跟蹤若干姿勢的若干過濾器，其中每 一過濾器試圖標(biāo)識一不同的姿勢。圖9描繪了描述標(biāo)識一特定姿勢的過濾器的操作的一個(gè) 實(shí)施例的流程圖。在圖9的步驟602，該過濾器如上所述從深度圖像處理和骨架跟蹤50接 收骨架跟蹤數(shù)據(jù)。在步驟604，該過濾器將訪問先前的跟蹤數(shù)據(jù)。在步驟606，該過濾器將 試圖標(biāo)識與該特定過濾器相關(guān)聯(lián)的姿勢。在步驟608，確定是否識別了該姿勢。如果該姿勢 被識別，則在步驟610，將該姿勢報(bào)告給應(yīng)用52。如果該姿勢未被識別，則過濾器將不向應(yīng) 用52報(bào)告(步驟612)。在一個(gè)實(shí)施例中，每次從捕捉設(shè)備20提供深度圖像時(shí)，深度圖像處理和骨架跟蹤 50將更新骨架跟蹤并將骨架跟蹤數(shù)據(jù)提供給執(zhí)行圖9的過程的過濾器。每次過濾器接收到 該骨架跟蹤數(shù)據(jù)時(shí)，將啟動圖9的過程。注意，關(guān)于姿勢的更多信息可以在以下三個(gè)通過整 體引用合并于此的專利申請中找到2009年5月四日提交的美國專利申請第12/475，208 號“Gestures Beyond Skeletal (骨架外姿勢)” ；2009年2月23日提交的美國專利申請 12/391, 150 "MandardGestures(標(biāo)準(zhǔn)姿勢)”；以及2009年5月29日提交的美國專利申 請 12/474，655 "Gesture Tool (姿勢工具)”。圖10是描述確定房間中的亮度等級是否改變的過濾器的一個(gè)實(shí)施例的流程圖。 例如，應(yīng)用52可使用該亮度變化來改變應(yīng)用52的亮度、字體大小或其它特性。在步驟652， 過濾器從識別器引擎M接收視覺圖像。在步驟654，過濾器訪問先前一組接收到的視覺圖 像。在步驟656，過濾器將當(dāng)前視覺圖像的亮度與先前視覺圖像的亮度進(jìn)行比較來查看是否 有亮度變化。如果亮度變化大于閾值(步驟658)，則過濾器將亮度變化報(bào)告給應(yīng)用52。在
16一個(gè)實(shí)施例中，過濾器將報(bào)告視覺圖像比先前圖像亮還是暗。如果亮度變化不大于閾值，則 過濾器不向應(yīng)用52報(bào)告(步驟662)。圖11是描述由確定房間中是否產(chǎn)生了某些聲音的過濾器執(zhí)行的過程的一個(gè)實(shí)施 例的流程圖。如果檢測到這樣的聲音，則應(yīng)用52可改變視頻游戲中的聲音(增加或減小背 景噪聲/歡呼)，改變在視頻游戲中進(jìn)行一事件的化身的物理能力，在生產(chǎn)性軟件程序中執(zhí) 行命令，等等。在圖11的步驟682中，過濾器從識別器引擎討接收聲音數(shù)據(jù)。在步驟684， 該過濾器訪問先前的聲音數(shù)據(jù)。在步驟686，過濾器將當(dāng)前聲音數(shù)據(jù)的音量與先前聲音數(shù)據(jù) 的音量進(jìn)行比較。如果音量差異大于閾值(步驟688)，則在步驟690將該音量變化報(bào)告給 應(yīng)用52。如果音量變化不大于閾值，則過濾器不向應(yīng)用52報(bào)告(步驟692)。在一替換實(shí)施例中，代替試圖標(biāo)識音量是否改變達(dá)某一閾值，過濾器可檢測是否 出現(xiàn)了某種聲音(例如，預(yù)定的音高范圍或預(yù)定的音調(diào)范圍)，并基于檢測預(yù)定聲音來報(bào)
生 I=I O在另一實(shí)施例中，過濾器可檢測捕捉設(shè)備20前面的一個(gè)或多個(gè)人(包括綁定到游 戲的人和未綁定且未主動參與游戲的人)是否經(jīng)歷預(yù)定義情感。如果檢測到一個(gè)或多個(gè)人 展示了該預(yù)定義情感，則應(yīng)用可改變一個(gè)或多個(gè)特性，如增加視頻游戲的背景中的人群的 歡呼，改變化身的情感，撤消對文字處理程序做出的改變，等等。圖12描繪了描述由過濾器執(zhí)行來檢測并報(bào)告情感的過程的一個(gè)實(shí)施例的流程 圖。在圖12的步驟702，過濾器將接收視覺圖像。在步驟704，該系統(tǒng)將訪問先前的視覺圖 像。在步驟706，過濾器將搜索來自步驟702和704的視覺圖像中的臉部。本領(lǐng)域中已知 有許多用于搜索臉部的過程，許多過程適用于本實(shí)現(xiàn)。在步驟708，確定在當(dāng)前圖像和足夠 數(shù)量的先前圖像中是否找到臉部。如果在當(dāng)前視覺圖像和/或足夠的先前視覺圖像中未找 到臉部，則系統(tǒng)中止且不報(bào)告任何東西(步驟710)。如果在當(dāng)前視覺圖像和足夠數(shù)量的先 前圖像中找到臉部，則在步驟712，過濾器將檢查臉部的表情。存在許多過濾器能查找的表 情。圖12提供了三個(gè)示例。在第一示例中，在步驟712A，系統(tǒng)可檢查嘴來查找微笑。在第 二示例中，在步驟712B，系統(tǒng)將檢查眼睛來查找睜大。在第三示例中，在步驟712C，過濾器 將檢查嘴來查找向下彎曲以及眉毛的皺起(例如，指示皺眉)。在一個(gè)實(shí)施例中，系統(tǒng)將查 找所有三個(gè)表情。在另一實(shí)施例中，每一過濾器將僅查找一個(gè)表情。在其它實(shí)施例中，可標(biāo) 識其它表情。每一表情對應(yīng)于一情感。例如，微笑對應(yīng)于高興，眼睛睜大對應(yīng)于驚訝，以及 皺眉對應(yīng)于不高興。如果標(biāo)識了表情(步驟714)，則在步驟716將該對應(yīng)的情感報(bào)告給應(yīng) 用。如果未標(biāo)識表情(步驟714)，則不向應(yīng)用52報(bào)告任何東西(步驟718)。在另一實(shí)施 例中，對所搜索的每一運(yùn)動可以有單獨(dú)的過濾器。使用以上技術(shù)，系統(tǒng)將使用深度圖像、視覺圖像和/或音頻信息來觀察并標(biāo)識容 納捕捉設(shè)備20的房間中的各種動作、姿勢或狀況。以此方式，未主動參與并與應(yīng)用交互 的一個(gè)或多個(gè)人將使其動作或姿勢引起對應(yīng)用的改變；由此，向這些本來未主動參與應(yīng)用 (例如，視頻游戲)的人提供了對正在發(fā)生的事情的更大興趣。盡管用結(jié)構(gòu)特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權(quán) 利要求書中定義的主題不必限于上述具體特征或動作。相反，上述具體特征和動作是作為 實(shí)現(xiàn)權(quán)利要求的示例形式公開的。本發(fā)明的范圍旨在由所附權(quán)利要求書來定義。
權(quán)利要求
1.一種用于與基于計(jì)算機(jī)的應(yīng)用交互的方法，包括執(zhí)行所述基于計(jì)算機(jī)的應(yīng)用，包括與一個(gè)或多個(gè)主動參與的用戶交互(340)； 自動傳感一個(gè)或多個(gè)未主動參與所述基于計(jì)算機(jī)的應(yīng)用的實(shí)體的一個(gè)或多個(gè)物理特 性(342)；確定所述一個(gè)或多個(gè)未主動參與所述基于計(jì)算機(jī)的應(yīng)用的實(shí)體執(zhí)行了預(yù)定動作 (344)；響應(yīng)于確定一個(gè)或多個(gè)未主動參與所述基于計(jì)算機(jī)的應(yīng)用的實(shí)體執(zhí)行了預(yù)定動作，自 動改變所述基于計(jì)算機(jī)的應(yīng)用的運(yùn)行時(shí)狀況(346)；以及在所述基于計(jì)算機(jī)的應(yīng)用的用戶界面中自動報(bào)告所述運(yùn)行時(shí)狀況的改變(348)。
2.如權(quán)利要求1所述的方法，其特征在于所述自動傳感一個(gè)或多個(gè)物理特性包括傳感深度圖像； 所述預(yù)定動作是姿勢；以及所述確定所述一個(gè)或多個(gè)未主動參與所述基于計(jì)算機(jī)的應(yīng)用的實(shí)體執(zhí)行了預(yù)定動作 包括使用所述深度圖像來標(biāo)識所述姿勢。
3.如權(quán)利要求1所述的方法，其特征在于所述自動傳感一個(gè)或多個(gè)物理特性包括傳感深度圖像和傳感視覺圖像； 所述預(yù)定動作是姿勢；以及所述確定所述一個(gè)或多個(gè)未主動參與所述基于計(jì)算機(jī)的應(yīng)用的實(shí)體執(zhí)行了預(yù)定動作 包括使用所述深度圖像和所述視覺圖像來標(biāo)識所述姿勢。
4.如權(quán)利要求1所述的方法，其特征在于所述自動傳感一個(gè)或多個(gè)物理特性包括傳感一個(gè)或多個(gè)聲音；以及 所述確定所述一個(gè)或多個(gè)未主動參與所述基于計(jì)算機(jī)的應(yīng)用的實(shí)體執(zhí)行了預(yù)定動作 包括使用所述一個(gè)或多個(gè)聲音來確定預(yù)定聲音事件已發(fā)生。
5.如權(quán)利要求1-4中的任一項(xiàng)所述的方法，其特征在于 所述基于計(jì)算機(jī)的應(yīng)用是視頻游戲；以及所述改變所述基于計(jì)算機(jī)的應(yīng)用的運(yùn)行時(shí)狀況包括改變所述視頻游戲中的項(xiàng)目的外觀。
6.如權(quán)利要求1-4中的任一項(xiàng)所述的方法，其特征在于 所述基于計(jì)算機(jī)的應(yīng)用是視頻游戲；以及所述改變所述基于計(jì)算機(jī)的應(yīng)用的運(yùn)行時(shí)狀況包括改變所述視頻游戲的得分。
7.如權(quán)利要求1-4中的任一項(xiàng)所述的方法，其特征在于，還包括使用還傳感關(guān)于一個(gè)或多個(gè)未主動參與的用戶的信息的傳感器來檢測所述一個(gè)或多 個(gè)未主動參與所述基于計(jì)算機(jī)的應(yīng)用的實(shí)體的情感，所述自動改變運(yùn)行時(shí)狀況是響應(yīng)于檢 測到所述情感來執(zhí)行的。
8.如權(quán)利要求1-4中的任一項(xiàng)所述的方法，其特征在于所述確定所述一個(gè)或多個(gè)未主動參與所述基于計(jì)算機(jī)的應(yīng)用的實(shí)體執(zhí)行了預(yù)定動作 包括標(biāo)識作為一個(gè)組來執(zhí)行的動作。
9.如權(quán)利要求1所述的方法，其特征在于所述傳感一個(gè)或多個(gè)未主動參與所述基于計(jì)算機(jī)的應(yīng)用的實(shí)體的一個(gè)或多個(gè)物理特性包括傳感一個(gè)組的運(yùn)動；所述確定所述一個(gè)或多個(gè)未主動參與所述基于計(jì)算機(jī)的應(yīng)用的實(shí)體執(zhí)行了預(yù)定動作 包括標(biāo)識所述組的個(gè)人的動作；以及所述改變運(yùn)行時(shí)狀況是基于所述個(gè)人的動作來執(zhí)行的。
10.一種計(jì)算系統(tǒng)，包括 照相機(jī)00)；以及連接到所述照相機(jī)的計(jì)算機(jī)(12)，所述計(jì)算機(jī)包括從所述照相機(jī)接收數(shù)據(jù)并跟蹤一個(gè)或多個(gè)移動對象的跟蹤引擎(50)，所述跟蹤引擎提 供指示所述一個(gè)或多個(gè)移動對象的跟蹤的輸出信息，與所述跟蹤引擎通信的軟件應(yīng)用(52)，所述軟件應(yīng)用基于來自所述跟蹤引擎的輸出信 息與一個(gè)或多個(gè)主動參與的用戶進(jìn)行交互，多個(gè)過濾器(60、62、64、66)，所述多個(gè)過濾器中的每一過濾器接收關(guān)于所述照相機(jī)能 感知的移動的輸入數(shù)據(jù)，且所述多個(gè)過濾器中的每一過濾器確定并向所述軟件應(yīng)用輸出一 個(gè)或多個(gè)未主動參與所述軟件應(yīng)用的實(shí)體是否執(zhí)行了預(yù)定動作，響應(yīng)于所述過濾器指示一 個(gè)或多個(gè)未主動參與所述軟件應(yīng)用的實(shí)體執(zhí)行了預(yù)定動作，所述軟件應(yīng)用對在所述軟件應(yīng) 用的用戶界面中報(bào)告的運(yùn)行時(shí)狀況做出改變，以及識別器引擎(M)，所述識別器引擎接收來自所述照相機(jī)的數(shù)據(jù)和來自所述跟蹤引擎的 輸出信息，并選擇性地將來自所述照相機(jī)的數(shù)據(jù)和來自所述跟蹤引擎的輸出信息提供給所 述過濾器中的一個(gè)或多個(gè)作為用于相應(yīng)的一個(gè)或多個(gè)過濾器的輸入數(shù)據(jù)。
11.如權(quán)利要求10所述的計(jì)算系統(tǒng)，其特征在于 所述照相機(jī)包括深度傳感器；以及來自所述照相機(jī)的數(shù)據(jù)包括深度圖像。
12.如權(quán)利要求11所述的計(jì)算系統(tǒng)，其特征在于 所述軟件應(yīng)用是視頻游戲；以及對所述運(yùn)行時(shí)狀況的改變是響應(yīng)于一個(gè)或多個(gè)未主動參與所述視頻游戲的實(shí)體的移 動的一對象的移動。
13.如權(quán)利要求10所述的計(jì)算系統(tǒng)，其特征在于 所述軟件應(yīng)用是視頻游戲；以及所述多個(gè)過濾器中的每一過濾器確定并向所述視頻游戲輸出一個(gè)或多個(gè)未主動參與 軟件應(yīng)用的實(shí)體是否執(zhí)行了不同姿勢。
14.如權(quán)利要求10所述的計(jì)算系統(tǒng)，其特征在于 所述軟件應(yīng)用是視頻游戲；以及所述多個(gè)過濾器中的一個(gè)特定過濾器確定并向所述視頻游戲輸出一個(gè)組是否作為集 體執(zhí)行了預(yù)定運(yùn)動，所述組包括未主動參與所述軟件應(yīng)用的實(shí)體和主動參與所述軟件應(yīng)用 的實(shí)體。
全文摘要
本發(fā)明公開了一種與基于計(jì)算機(jī)的應(yīng)用的交互系統(tǒng)和方法。計(jì)算系統(tǒng)運(yùn)行與一個(gè)或多個(gè)主動參與的用戶交互的應(yīng)用(例如，視頻游戲)。傳感一組的一個(gè)或多個(gè)物理特性。該組可包括一個(gè)或多個(gè)主動參與的用戶和/或一個(gè)或多個(gè)未主動參與應(yīng)用的實(shí)體。計(jì)算系統(tǒng)將確定該組(或一個(gè)或多個(gè)未主動參與應(yīng)用的實(shí)體)執(zhí)行了預(yù)定動作。響應(yīng)于確定該組(或一個(gè)或多個(gè)未主從參與基于計(jì)算機(jī)的應(yīng)用的實(shí)體)執(zhí)行了預(yù)定動作，改變應(yīng)用的運(yùn)行時(shí)狀況。改變運(yùn)行時(shí)狀況的示例包括移動對象、改變得分、或改變視頻游戲的環(huán)境狀況。
文檔編號G06F3/01GK102135799SQ20111006593
公開日2011年7月27日 申請日期2011年3月11日 優(yōu)先權(quán)日2010年3月12日
發(fā)明者C·維勞比, D·本納特, J·T·斯蒂德, K·蓋斯那, M·T·米赫利趣, M·庫希爾, R·馬爾科維奇, S·C·賴特, S·G·拉塔 申請人:微軟公司