專利名稱：用于為目標(biāo)跟蹤處理圖像的系統(tǒng)和方法
用于為目標(biāo)跟蹤處理圖像的系統(tǒng)和方法
背景技術(shù)：
諸如計算機游戲、多媒體應(yīng)用程序等的許多計算應(yīng)用程序使用控制命令來允許用 戶操縱游戲角色或應(yīng)用程序的其他方面。通常這些控制命令是使用例如，控制器、遙控器、 鍵盤、鼠標(biāo)等來輸入的。不幸的是，這些控制命令可能是難以學(xué)習(xí)的，由此造成了用戶和這 些游戲及應(yīng)用程序之間的障礙。此外，這些控制命令可能與這些控制命令所用于的實際游 戲動作或其他應(yīng)用程序動作不同或者從其中進(jìn)行抽象。例如，使得游戲角色旋轉(zhuǎn)棒球拍的 游戲控制命令可能不與旋轉(zhuǎn)棒球拍的實際動作相對應(yīng)。

發(fā)明內(nèi)容
本文公開了可用于跟蹤場景中的一個或多個用戶的處理場景的圖像的系統(tǒng)和方 法。例如，可以接收或觀察諸如場景的深度圖像等的圖像。隨后可以處理該圖像。例如，可 以對該圖像進(jìn)行降采樣，可以確定圖像中的陰影、噪聲、和/或丟失部分和/或可以估計與 其相關(guān)聯(lián)的值，可以確定可以在與圖像相關(guān)聯(lián)的捕捉設(shè)備所限定的范圍之外的圖像中的像 素，和/或可以檢測與諸如地板、墻等的平坦表面相關(guān)聯(lián)的圖像的一部分。另外，可以分析 圖像來判定目標(biāo)是否可被包括在其中，且基于該判定，可以掃描目標(biāo)。還可以通過例如從圖 像中的諸如非目標(biāo)對象等的環(huán)境中分割目標(biāo)以便可以創(chuàng)建諸如目標(biāo)的二進(jìn)制掩碼等的掩 碼且可以移除或丟棄與該環(huán)境相關(guān)聯(lián)的一個或多個像素來處理圖像。還可以基于已處理的圖像來呈現(xiàn)細(xì)化的圖像。根據(jù)一實施例，細(xì)化的圖像可以是 已移除和/或平滑了噪聲、丟失部分、陰影等，已隔離了目標(biāo)，已標(biāo)識了諸如地板、墻等的平 坦表面，或已在其上執(zhí)行了任何其他合適的處理的圖像。在一實施例中，隨后可以處理與目標(biāo)相關(guān)聯(lián)的細(xì)化的圖像和/或諸如二進(jìn)制掩碼 等掩碼。例如，目標(biāo)識別、分析和跟蹤系統(tǒng)可處理與目標(biāo)相關(guān)聯(lián)的細(xì)化的圖像和/或二進(jìn)制 掩碼從而可以生成所捕捉的場景中的目標(biāo)的模型，如骨架模型、網(wǎng)格模型等。提供本概述以便以簡化形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本 發(fā)明內(nèi)容并不旨在標(biāo)識出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于限定所 要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決在本發(fā)明的任一部分中提及 的任何或所有缺點的實現(xiàn)。


圖IA和IB示出伴隨用戶玩游戲的目標(biāo)識別、分析和跟蹤系統(tǒng)的示例實施例。圖2示出可在目標(biāo)識別、分析和跟蹤系統(tǒng)中使用的捕捉設(shè)備的示例實施例。圖3示出可用于解釋目標(biāo)識別、分析和跟蹤系統(tǒng)中的一個或多個姿勢和/或動畫 化目標(biāo)識別、分析和跟蹤系統(tǒng)所顯示的化身或屏幕上人物的計算環(huán)境的示例實施例。圖4示出可用于解釋目標(biāo)識別、分析和跟蹤系統(tǒng)中的一個或多個姿勢和/或動畫 化目標(biāo)識別、分析和跟蹤系統(tǒng)所顯示的化身或屏幕上人物的計算環(huán)境的另一示例實施例。圖5描繪了用于處理場景的圖像來跟蹤可被包括在該場景中的目標(biāo)的示例方法
4的流程圖。圖6示出可被捕捉或觀察的深度圖像的示例實施例。圖7描繪了用于處理場景的圖像來跟蹤可被包括在該場景中的目標(biāo)的示例方法 的流程圖。圖8示出可包括紅外陰影的深度圖像的示例實施例。圖9示出可包括一個或多個丟失部分或孔洞的深度圖像的示例實施例。圖10示出可基于對可被捕捉或觀察的圖像的處理來呈現(xiàn)的細(xì)化的深度圖像的示 例實施例。
具體實施例方式圖IA和IB示出伴隨用戶18玩拳擊游戲的目標(biāo)識別、分析和跟蹤系統(tǒng)10的配置 的示例實施例。在一示例實施例中，目標(biāo)識別、分析和跟蹤系統(tǒng)10可用于識別、分析和/或 跟蹤諸如用戶18等的人類目標(biāo)。如圖IA所示，目標(biāo)識別、分析和跟蹤系統(tǒng)10可包括計算環(huán)境12。計算環(huán)境12可 以是計算機、游戲系統(tǒng)或控制臺等等。根據(jù)一示例實施例，計算環(huán)境12可包括硬件組件和/ 或軟件組件，從而使得計算環(huán)境12可用于執(zhí)行諸如游戲應(yīng)用程序、非游戲應(yīng)用程序等的應(yīng) 用程序。在一實施例中，計算環(huán)境12可包括可執(zhí)行各種指令的諸如標(biāo)準(zhǔn)化處理器、專用處 理器、微處理器等的處理器，這些指令包括，例如，接收圖像的指令、處理圖像來確定場景的 一個或多個特性的指令、基于場景的一個或多個特性來呈現(xiàn)細(xì)化的圖像的指令、或任何其 他合適的指令，這些將在下面更詳細(xì)地描述。如圖IA所示，目標(biāo)識別、分析和跟蹤系統(tǒng)10還可包括捕捉設(shè)備20。捕捉設(shè)備20 可以是，例如可用于在視覺上監(jiān)視諸如用戶18等的一個或多個用戶從而可以捕捉、分析并 跟蹤一個或多個用戶所執(zhí)行的姿勢和/或移動，來執(zhí)行應(yīng)用程序中的一個或多個控制命令 或動作和/或動畫化化身或屏幕上人物的照相機，如將在下面更詳細(xì)地描述的。根據(jù)一實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)10可連接到可向諸如用戶18等的用戶 提供應(yīng)用程序視覺形象和/或音頻的視聽設(shè)備16，如電視機、監(jiān)視器、高清電視機(HDTV) 等。例如，計算環(huán)境12可包括可提供與游戲應(yīng)用程序、非游戲應(yīng)用程序等相關(guān)聯(lián)的視聽信 號的諸如圖形卡等的視頻適配器和/或諸如聲卡等的音頻適配器。視聽設(shè)備16可從計算 環(huán)境12接收視聽信號然后可向用戶18輸出與該視聽信號相關(guān)聯(lián)的游戲或應(yīng)用程序視覺形 象和/或音頻。根據(jù)一實施例，視聽設(shè)備16可經(jīng)由例如，S-視頻電纜、同軸電纜、HDMI電 纜、DVI電纜、VGA電纜等連接到計算環(huán)境12。如圖IA和IB所示，目標(biāo)識別、分析和跟蹤系統(tǒng)10可用于識別、分析和/或跟蹤諸 如用戶18等的人類目標(biāo)。例如，可使用捕捉設(shè)備20來跟蹤用戶18，從而可以捕捉用戶18 的姿勢和/或移動來動畫化化身或屏幕上人物，和/或可將用戶18的姿勢和/或移動解釋 為可用于影響計算環(huán)境12所執(zhí)行的應(yīng)用程序的控制命令。因此，根據(jù)一實施例，用戶18可 移動他的或她的身體來控制應(yīng)用程序和/或動畫化化身或屏幕上人物。如圖IA和IB所示，在一示例實施例中，在計算環(huán)境12上執(zhí)行的應(yīng)用程序可以是 用戶18可能正在玩的拳擊游戲。例如，計算環(huán)境12可使用視聽設(shè)備16來向用戶18提供 拳擊對手38的視覺表示。計算環(huán)境12還可使用視聽設(shè)備16來提供用戶18可用他的或她的移動來控制的玩家化身40的視覺表示。例如，如圖IB所示，用戶18可在物理空間中用 拳猛擊來使得玩家化身40在游戲空間中用拳猛擊。因此，根據(jù)一示例實施例，目標(biāo)識別、分 析和跟蹤系統(tǒng)10的計算環(huán)境12和捕捉設(shè)備20可用于識別和分析物理空間中用戶18的重 拳從而使得該重拳可被解釋為對游戲空間中的玩家化身40的游戲控制和/或該重拳的運 動可用于動畫化游戲空間中的玩家化身40。用戶18的其他移動也可被解釋為其他控制命令或動作，和/或用于動畫化玩家化 身，如上下快速擺動、閃避、滑步、封堵、用拳猛擊或揮動各種不同的有力重拳的控制命令。 此外，某些移動可被解釋為可對應(yīng)于除控制玩家化身40之外的動作的控制命令。例如，在 一實施例中，玩家可使用移動來結(jié)束、暫停或保存游戲、選擇級別、查看高分、與朋友交流 等。根據(jù)另一實施例，玩家可使用移動來從主用戶界面選擇游戲或其他應(yīng)用程序。因此，在 示例實施例中，用戶18的全范圍運動可以用任何合適的方式來獲得、使用并分析以與應(yīng)用 程序進(jìn)行交互。在示例實施例中，諸如用戶18等的人類目標(biāo)可具有對象。在這些實施例中，電子 游戲的用戶可手持對象從而可以使用玩家的運動和對象來調(diào)整和/或控制游戲的參數(shù)。例 如，可以跟蹤并利用玩家手持球拍的運動來控制電子運動游戲中的屏幕上球拍。在另一示 例實施例中，可以跟蹤并利用玩家手持對象的運動來控制電子格斗游戲中的屏幕上武器。根據(jù)其他示例實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)10還可用于將目標(biāo)移動解釋為 游戲領(lǐng)域之外的操作系統(tǒng)和/或應(yīng)用程序控制命令。例如，事實上操作系統(tǒng)和/或應(yīng)用程 序的任何可控方面可由諸如用戶18等的目標(biāo)的移動來控制。圖2示出可在目標(biāo)識別、分析和跟蹤系統(tǒng)10中使用的捕捉設(shè)備20的示例實施例。 根據(jù)一示例實施例，捕捉設(shè)備20可被配置成捕捉包括深度圖像的帶有深度信息的視頻，該 深度圖像可包括經(jīng)由任何合適的技術(shù)，包括例如飛行時間、結(jié)構(gòu)化光、立體圖像等的深度 值。根據(jù)一實施例，捕捉設(shè)備20可將深度信息組織為“Z層”，即可與Z軸正交的從深度照 相機沿著其視線延伸的層。如圖2所示，捕捉設(shè)備20可包括圖像照相機組件22。根據(jù)一示例實施例，圖像照 相機組件22可以是可捕捉場景的深度圖像的深度照相機。深度圖像可包括所捕捉的場景 的二維O-D)像素區(qū)域，其中2-D像素區(qū)域中的每一像素可表示諸如按照以厘米、毫米等為 單位的所捕捉的場景中的對象離照相機的長度或距離等的深度值。如圖2所示，根據(jù)一示例實施例，圖像照相機組件22可包括可用于捕捉場景的深 度圖像的頂光組件對、三維(3-D)照相機沈、和RGB照相機觀。例如，在飛行時間分析中， 捕捉設(shè)備20的頂光組件M可將紅外光發(fā)射到場景中，然后可使用傳感器(未示出)，使用 例如3-D照相機沈和/或RGB照相機觀，來檢測來自場景中的一個或多個目標(biāo)和對象的表 面的反向散射光。在某些實施例中，可以使用脈沖式紅外光從而可以測量出射光脈沖和相 應(yīng)的入射光脈沖之間的時間差并將其用于確定從捕捉設(shè)備20到場景中的目標(biāo)或?qū)ο笊系?特定位置的物理距離。另外，在其他示例實施例中，可將出射光波的相位與入射光波的相位 進(jìn)行比較來確定相移。然后可以使用相移來確定從捕捉設(shè)備到對象或目標(biāo)上的特定位置的 距離。根據(jù)另一示例實施例，可使用飛行時間分析，通過經(jīng)由包括例如快門式光脈沖成 像的各種技術(shù)來分析反射光束隨時間的強度變化以間接地確定從捕捉設(shè)備20到目標(biāo)或?qū)ο笊系奶囟ㄎ恢玫奈锢砭嚯x。在另一示例實施例中，捕捉設(shè)備20可使用結(jié)構(gòu)化光來捕捉深度信息。在該分析 中，圖案化光(即，被顯示為諸如網(wǎng)格圖案或條紋圖案等的已知圖案的光)可經(jīng)由例如頂 光組件M被投影到場景上。在撞擊到場景中的一個或多個目標(biāo)或?qū)ο蟮谋砻鏁r，作為響 應(yīng)，圖案可變形。圖案的這種變形可由例如3-D照相機沈和/或RGB照相機觀來捕捉，然 后可被分析來確定從捕捉設(shè)備到目標(biāo)或?qū)ο笊系奶囟ㄎ恢玫奈锢砭嚯x。根據(jù)另一實施例，捕捉設(shè)備20可包括兩個或更多物理上分開的照相機，這些照相 機可從不同角度查看場景來獲得可被解析以生成深度信息的視覺立體數(shù)據(jù)。捕捉設(shè)備20還可包括話筒30。話筒30可包括可接收聲音并將其轉(zhuǎn)換成電信號的 變換器或傳感器。根據(jù)一實施例，話筒30可用于減少目標(biāo)識別、分析和跟蹤系統(tǒng)10中的捕 捉設(shè)備20和計算環(huán)境12之間的反饋。另外，話筒30可用于接收也可由用戶提供的音頻信 號來控制可由計算環(huán)境12執(zhí)行的諸如游戲應(yīng)用程序、非游戲應(yīng)用程序等的應(yīng)用程序。在一示例實施例中，捕捉設(shè)備20還可包括可與圖像照相機組件22進(jìn)行有效通信 的處理器32。處理器32可包括可執(zhí)行各種指令的標(biāo)準(zhǔn)化處理器、專用處理器、微處理器等， 這些指令包括例如接收圖像的指令、處理圖像來確定場景的一個或多個特性的指令、基于 場景的一個或多個特性來呈現(xiàn)細(xì)化的圖像的指令、或任何其他合適的指令，這些將在下面 更詳細(xì)地描述。捕捉設(shè)備20還可包括存儲器組件34，存儲器組件34可存儲可由處理器32執(zhí)行的 指令、3-D照相機或RGB照相機所捕捉的圖像或圖像的幀、或任何其他合適的信息、圖像等 等。根據(jù)一示例實施例，存儲器組件34可包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、 高速緩存、閃存、硬盤、或任何其他合適的存儲組件。如圖2所示，在一實施例中，存儲器組 件34可以是與圖像捕捉組件22和處理器32進(jìn)行通信的單獨的組件。根據(jù)另一實施例，存 儲器組件34可被集成到處理器32和/或圖像捕捉組件22中。如圖2所示，捕捉設(shè)備20可經(jīng)由通信鏈路36與計算環(huán)境12進(jìn)行通信。通信鏈 路36可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無線 802. lib,802. llg、802. Ila或802. Iln等的無線連接。根據(jù)一實施例，計算環(huán)境12可經(jīng)由 通信鏈路36向捕捉設(shè)備20提供可用于確定例如何時捕捉場景的時鐘。另外，捕捉設(shè)備20可經(jīng)由通信鏈路36向計算環(huán)境12提供深度信息和由例如3-D 照相機沈和/或RGB照相機觀捕捉的圖像，和/或可由捕捉設(shè)備20生成的骨架模型。計 算環(huán)境12然后可使用該模型、深度信息、以及所捕捉的圖像來例如控制諸如游戲或文字處 理程序等的應(yīng)用程序和/或動畫化化身或屏幕上人物。例如，如圖2所示，計算環(huán)境12可 包括姿勢庫190。姿勢庫190可包括姿勢過濾器集合，每一姿勢過濾器包括關(guān)于骨架模型可 執(zhí)行(在用戶移動時)的姿勢的信息?？梢詫⒄障鄼C沈、觀和捕捉設(shè)備20所捕捉的骨架 模型形式的數(shù)據(jù)以及與其相關(guān)聯(lián)的移動與姿勢庫190中的姿勢過濾器進(jìn)行比較來標(biāo)識用 戶(如骨架模型所表示的)何時執(zhí)行了一個或多個姿勢。那些姿勢可與應(yīng)用程序的各種控 制命令相關(guān)聯(lián)。因此，計算環(huán)境12可使用姿勢庫190來解釋骨架模型的移動并基于該移動 來控制應(yīng)用程序。圖3示出可用于解釋目標(biāo)識別、分析和跟蹤系統(tǒng)中的一個或多個姿勢和/或動畫 化目標(biāo)識別、分析和跟蹤系統(tǒng)所顯示的化身或屏幕上的人物的計算環(huán)境的示例實施例。上面參考圖1A-2所描述的諸如計算環(huán)境12等的計算環(huán)境可以是諸如游戲控制臺等的多媒體 控制臺100。如圖3所示，多媒體控制臺100具有含有1級高速緩存102、2級高速緩存104 和閃存R0M(只讀存儲器)106的中央處理單元(CPU) 101。1級高速緩存102和2級高速緩 存104臨時存儲數(shù)據(jù)并因此減少存儲器訪問周期數(shù)，從而改進(jìn)處理速度和吞吐量。CPU 101 可以設(shè)置成具有一個以上的核，以及附加的1級和2級高速緩存102和104。閃存ROM 106 可存儲在多媒體控制臺100通電時在引導(dǎo)進(jìn)程的初始化階段加載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形 成用于高速、高分辨率圖形處理的視頻處理流水線。數(shù)據(jù)經(jīng)由總線從圖形處理單元108輸 送到視頻編碼器/視頻編解碼器114。視頻處理流水線將數(shù)據(jù)輸出到A/V (音頻/視頻)端 口 140以傳輸?shù)诫娨暀C或其它顯示器。存儲器控制器110連接到GPU 108以方便處理器訪 問各種類型的存儲器112，諸如但不局限于RAM(隨機存取存儲器)。多媒體控制臺100包括較佳地在模塊118上實現(xiàn)的I/O控制器120、系統(tǒng)管理控 制器122、音頻處理單元123、網(wǎng)絡(luò)接口控制器124、第一 USB主控制器126、第二 USB控制器 1 和前面板I/O子部件130。USB控制器126和1 用作外圍控制器142⑴-142 O)、無 線適配器148、和外置存儲器設(shè)備146 (例如閃存、外置⑶/DVD ROM驅(qū)動器、可移動介質(zhì)等) 的主機。網(wǎng)絡(luò)接口 1 和/或無線適配器148提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的 訪問并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有 線和無線適配器組件中任何一種。提供系統(tǒng)存儲器143來存儲在引導(dǎo)進(jìn)程期間加載的應(yīng)用程序數(shù)據(jù)。提供媒體驅(qū)動 器144且其可包括DVD/CD驅(qū)動器、硬盤驅(qū)動器、或其它可移動媒體驅(qū)動器等。媒體驅(qū)動器 144對于多媒體控制臺100可以內(nèi)置或外置。應(yīng)用程序數(shù)據(jù)可經(jīng)由媒體驅(qū)動器144訪問，以 由多媒體控制臺100執(zhí)行、回放等。媒體驅(qū)動器144經(jīng)由諸如串行ATA總線或其它高速連 接(例如IEEE 1394)等總線連接到I/O控制器120。系統(tǒng)管理控制器122提供涉及確保多媒體控制臺100的可用性的各種服務(wù)功能。 音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的對應(yīng)的音頻處理 流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻 處理流水線將數(shù)據(jù)輸出到A/V端口 140以供外置音頻播放器或具有音頻能力的設(shè)備再現(xiàn)。前面板I/O子部件130支持暴露在多媒體控制臺100的外表面上的電源按鈕150 和彈出按鈕152以及任何LED(發(fā)光二極管)或其它指示器的功能。系統(tǒng)供電模塊136向 多媒體控制臺100的組件供電。風(fēng)扇138冷卻多媒體控制臺100內(nèi)的電路。CPU 101、GPU 108、存儲器控制器110、和多媒體控制臺100內(nèi)的各個其它組件經(jīng) 由一條或多條總線互連，包括串行和并行總線、存儲器總線、外圍總線、和使用各種總線架 構(gòu)中任一種的處理器或局部總線。作為示例，這種架構(gòu)可以包括外圍部件互連(PCI)總線、 PCI-快速總線等。當(dāng)多媒體控制臺100通電時，應(yīng)用程序數(shù)據(jù)可從系統(tǒng)存儲器143加載到存儲器112 和/或高速緩存102、104中并在CPU 101上執(zhí)行。應(yīng)用程序可呈現(xiàn)在導(dǎo)航到多媒體控制臺 100上可用的不同媒體類型時提供一致的用戶體驗的圖形用戶界面。在操作中，媒體驅(qū)動 器144中包含的應(yīng)用程序和/或其它媒體可從媒體驅(qū)動器144啟動或播放，以向多媒體控 制臺100提供附加功能。
多媒體控制臺100可通過將該系統(tǒng)簡單地連接到電視機或其它顯示器而作為獨 立系統(tǒng)來操作。在該獨立模式中，多媒體控制臺100允許一個或多個用戶與該系統(tǒng)交互、看 電影、或聽音樂。然而，隨著通過網(wǎng)絡(luò)接口 1 或無線適配器148可用的寬帶連接的集成， 多媒體控制臺100還可作為較大網(wǎng)絡(luò)社區(qū)中的參與者來操作。當(dāng)多媒體控制臺100通電時，可以保留設(shè)定量的硬件資源以供多媒體控制臺操作 系統(tǒng)作系統(tǒng)使用。這些資源可以包括存儲器保留(例如，16MB)、CPU和GPU周期(例如， 5%)、網(wǎng)絡(luò)帶寬(例如，SlAs)等。因為這些資源是在系統(tǒng)引導(dǎo)時保留的，所以所保留的資 源對應(yīng)用程序而言是不存在的。具體地，存儲器保留較佳地足夠大，以包含啟動內(nèi)核、并發(fā)系統(tǒng)應(yīng)用程序和驅(qū)動程 序。CPU保留較佳地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用程序使用，則空閑線程 將消耗任何未使用的周期。對于GPU保留，通過使用GPU中斷來顯示由系統(tǒng)應(yīng)用程序生成的輕量消息(例如， 彈出窗口)，以調(diào)度代碼來將彈出窗口呈現(xiàn)為覆蓋圖。覆蓋圖所需的存儲器量取決于覆蓋區(qū) 域大小，并且覆蓋圖較佳地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用程序使用完整用戶 界面的情況下，優(yōu)選使用獨立于應(yīng)用程序分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從 而無需改變頻率，也就不會引起TV重新同步。在多媒體控制臺100引導(dǎo)且系統(tǒng)資源被保留之后，就執(zhí)行并發(fā)系統(tǒng)應(yīng)用程序來提 供系統(tǒng)功能。系統(tǒng)功能被封裝在一組在上述所保留的系統(tǒng)資源中執(zhí)行的系統(tǒng)應(yīng)用程序中。 操作系統(tǒng)內(nèi)核標(biāo)識是系統(tǒng)應(yīng)用程序線程而非游戲應(yīng)用程序線程的線程。系統(tǒng)應(yīng)用程序優(yōu)選 地被調(diào)度為在預(yù)定時間并以預(yù)定時間間隔在CPUlOl上運行，以便為應(yīng)用程序提供一致的 系統(tǒng)資源視圖。進(jìn)行調(diào)度是為了把由在控制臺上運行的游戲應(yīng)用程序所引起的高速緩存分 裂最小化。當(dāng)并發(fā)系統(tǒng)應(yīng)用程序需要音頻時，則由于時間敏感性而異步調(diào)度音頻處理給游戲 應(yīng)用程序。多媒體控制臺應(yīng)用程序管理器(如下所述)在系統(tǒng)應(yīng)用程序活動時控制游戲應(yīng) 用程序的音頻水平(例如，靜音、衰減)。輸入設(shè)備(例如，控制器142(1)和142( )由游戲應(yīng)用程序和系統(tǒng)應(yīng)用程序共 享。輸入設(shè)備不是所保留的資源，但卻在系統(tǒng)應(yīng)用程序和游戲應(yīng)用程序之間切換以使其各 自具有設(shè)備的焦點。應(yīng)用程序管理器較佳地控制輸入流的切換，而無需知曉游戲應(yīng)用程序 的知識，并且驅(qū)動程序維持有關(guān)焦點切換的狀態(tài)信息。照相機沈、觀和捕捉設(shè)備20可為控 制臺100定義附加輸入設(shè)備。圖4示出計算環(huán)境220的另一示例實施例，該計算環(huán)境可以是用于解釋目標(biāo)識別、 分析和跟蹤系統(tǒng)中的一個或多個姿勢和/或動畫化目標(biāo)識別、分析和跟蹤系統(tǒng)所顯示的化 身或屏幕上人物的圖1A-2中示出的計算環(huán)境12。計算系統(tǒng)環(huán)境220只是合適的操作環(huán)境 的一個示例，并且不旨在對所公開的主題的使用范圍或功能提出任何限制。也不應(yīng)該將計 算環(huán)境220解釋為對示例性操作環(huán)境220中示出的任一組件或其組合有任何依賴性或要 求。在某些實施例中，所描繪的各種計算元素可包括被配置成實例化本公開的具體方面的 電路。例如，本公開中使用的術(shù)語電路可包括被配置成執(zhí)行固件或開關(guān)的功能的專用硬件 組件。在其他示例實施例中，術(shù)語電路可包括由軟件指令配置的實施可用于執(zhí)行功能的邏 輯的通用處理單元、存儲器等。在電路包括硬件和軟件的組合的示例實施例中，實現(xiàn)者可編
9寫實施邏輯的源代碼且該源代碼可被編譯成可由通用處理單元處理的機器可讀代碼。因為 本領(lǐng)域技術(shù)人員可以明白現(xiàn)有技術(shù)已經(jīng)進(jìn)化到硬件、軟件或硬件/軟件的組合之間幾乎沒 有差別的地步，因而選擇硬件或是軟件來實現(xiàn)具體功能是留給實現(xiàn)者的設(shè)計選擇。更具體 地，本領(lǐng)域技術(shù)人員可以明白軟件進(jìn)程可被變換成等價的硬件結(jié)構(gòu)，而硬件結(jié)構(gòu)本身可被 變換成等價的軟件進(jìn)程。因此，對于硬件實現(xiàn)還是軟件實現(xiàn)的選擇是設(shè)計選擇之一并留給 實現(xiàn)者。在圖4中，計算環(huán)境220包括計算機Ml，計算機241通常包括各種計算機可讀介 質(zhì)。計算機可讀介質(zhì)可以是能由計算機241訪問的任何可用介質(zhì)，而且包含易失性和非易 失性介質(zhì)、可移動和不可移動介質(zhì)。系統(tǒng)存儲器222包括易失性和/或非易失性存儲器形 式的計算機存儲介質(zhì)，如只讀存儲器(ROM) 223和隨機存取存儲器(RAM06O?；据斎?輸 出系統(tǒng)2M(BI0S)包括如在啟動時幫助在計算機Ml內(nèi)的元件之間傳輸信息的基本例程， 它通常儲存在ROM 223中。RAM 260通常包含處理單元259可以立即訪問和/或目前正在 操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖4示出操作系統(tǒng)225、應(yīng)用程序226、其 他程序模塊227和程序數(shù)據(jù)228。計算機241也可以包括其他可移動/不可移動、易失性/非易失性計算機存儲介 質(zhì)。僅作為示例，圖4示出了從不可移動、非易失性磁介質(zhì)中讀取或向其寫入的硬盤驅(qū)動器 238，從可移動、非易失性磁盤2M中讀取或向其寫入的磁盤驅(qū)動器239，以及從諸如⑶ROM 或其他光學(xué)介質(zhì)等可移動、非易失性光盤253中讀取或向其寫入的光盤驅(qū)動器M0?？梢?在示例性操作環(huán)境中使用的其他可移動/不可移動、易失性/非易失性計算機存儲介質(zhì)包 括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等等。硬盤驅(qū) 動器238通常由諸如接口 234等不可移動存儲器接口連接至系統(tǒng)總線221，磁盤驅(qū)動器239 和光盤驅(qū)動器240通常由諸如接口 235等可移動存儲器接口連接至系統(tǒng)總線221。以上討論并在圖4中示出的驅(qū)動器及其相關(guān)聯(lián)的計算機存儲介質(zhì)為計算機241提 供了對計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲。在圖4中，例如，硬盤驅(qū)動 器238被示為存儲操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256和程序數(shù)據(jù)255。注意， 這些組件可以與操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)2 相同，也可 以與它們不同。操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256和程序數(shù)據(jù)255在這里被 標(biāo)注了不同的標(biāo)號是為了說明至少它們是不同的副本。用戶可以通過輸入設(shè)備，諸如鍵盤 251和定點設(shè)備252(通常被稱為鼠標(biāo)、跟蹤球或觸摸墊)向計算機241輸入命令和信息。 其他輸入設(shè)備(未示出)可以包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等。這 些和其他輸入設(shè)備通常由耦合至系統(tǒng)總線的用戶輸入接口 236連接至處理單元259，但也 可以由其他接口和總線結(jié)構(gòu)，諸如并行端口、游戲端口或通用串行總線(USB)連接。照相機 26,28和捕捉設(shè)備20可為控制臺100定義附加輸入設(shè)備。監(jiān)視器242或其他類型的顯示設(shè) 備也經(jīng)由接口，諸如視頻接口 232連接至系統(tǒng)總線221。除監(jiān)視器以外，計算機也可以包括 其它外圍輸出設(shè)備，諸如揚聲器244和打印機對3，它們可以通過輸出外圍接口 233連接。計算機241可使用至一個或多個遠(yuǎn)程計算機，如遠(yuǎn)程計算機M6的邏輯連接在網(wǎng) 絡(luò)化環(huán)境中操作。遠(yuǎn)程計算機246可以是個人計算機、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或 其他常見網(wǎng)絡(luò)節(jié)點，并且通常包括許多或所有以上關(guān)于計算機241所描述的元件，盡管在 圖4中僅示出了存儲器存儲設(shè)備M7。圖4中所示的邏輯連接包括局域網(wǎng)(LAN) 245和廣域網(wǎng)(WAN049，但也可以包括其他網(wǎng)絡(luò)。這樣的聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍計算機網(wǎng)絡(luò)、內(nèi) 聯(lián)網(wǎng)和因特網(wǎng)中是常見的。當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時，計算機241通過網(wǎng)絡(luò)接口或適配器237連接至LAN 2450當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時，計算機241通常包括調(diào)制解調(diào)器250或用于通過諸如因 特網(wǎng)等WAN 249建立通信的其他裝置。調(diào)制解調(diào)器250可以是內(nèi)置或外置的，它可以經(jīng)由 用戶輸入接口 236或其他適當(dāng)?shù)臋C制連接至系統(tǒng)總線221。在網(wǎng)絡(luò)化環(huán)境中，關(guān)于計算機 241所描述的程序模塊或其部分可被儲存在遠(yuǎn)程存儲器存儲設(shè)備中。作為示例而非限制， 圖4示出遠(yuǎn)程應(yīng)用程序248駐留在存儲器設(shè)備247上。可以理解，所示的網(wǎng)絡(luò)連接是示例 性的，且可以使用在計算機之間建立通信鏈路的其他手段。圖5描繪了用于處理場景的圖像來跟蹤可在該場景中的用戶的示例方法300的流 程圖。示例方法300可使用例如，參考圖1A-4所描述的目標(biāo)識別、分析和跟蹤系統(tǒng)10的捕 捉設(shè)備20和/或計算環(huán)境12來實現(xiàn)。在一示例實施例中，示例方法300可采取可由例如 參考圖1A-4所描述的目標(biāo)識別、分析和跟蹤系統(tǒng)10的捕捉設(shè)備20和/或計算環(huán)境12執(zhí) 行的程序代碼(即指令)的形式。根據(jù)一實施例，在305處，可以接收圖像，如深度圖像、RGB圖像、IR圖像等。例如， 目標(biāo)識別、分析和跟蹤系統(tǒng)可包括諸如參考圖1A-2描述的捕捉設(shè)備20等的捕捉設(shè)備。捕 捉設(shè)備可捕捉或觀察可包括一個或多個目標(biāo)的場景。在一示例實施例中，捕捉設(shè)備可以是 被配置成使用諸如飛行時間分析、結(jié)構(gòu)化光分析、立體視覺分析等的任何合適的技術(shù)來獲 得場景的諸如深度圖像、RGB圖像、頂圖像等的圖像的深度照相機。在一實施例中，圖像可包括多個觀察到的像素，其中每一觀察到的像素具有觀察 到的深度值、RGB信息、深度信息等。例如，圖像可以是包括所捕捉的場景的二維O-D)像 素區(qū)域的深度圖像，其中2-D像素區(qū)域中的每一像素可具有諸如以例如厘米、毫米等為單 位的所捕捉的場景中的對象離捕捉設(shè)備的長度或距離之類的深度值。圖6示出可在305處被接收的深度圖像400a的示例實施例。根據(jù)一示例實施例， 深度圖像400a可以是由例如參考圖2所描述的捕捉設(shè)備20的3-D照相機沈和/或RGB照 相機觀所捕捉的場景的圖像或幀。如圖6所示，深度圖像400a可包括與例如諸如參考圖 IA和IB所描述的用戶18等的用戶對應(yīng)的人類目標(biāo)40 以及諸如所捕捉的場景中的墻、桌 子、監(jiān)視器等的一個或多個非人類目標(biāo)404。如上所述，深度圖像400a可包括多個觀察到的 像素，其中每一觀察到的像素具有與其相關(guān)聯(lián)的觀察到的深度值。例如，深度圖像400a可 包括所捕捉的場景的二維O-D)像素區(qū)域，其中2-D像素區(qū)域中的特定X值和Y值處的每 一像素可具有諸如以例如厘米、毫米等為單位的所捕捉的場景中的目標(biāo)或?qū)ο箅x捕捉設(shè)備 的長度或距離之類的深度值。在一實施例中，深度圖像400a可被著色從而使得深度圖像的像素的不同顏色對 應(yīng)于和/或從視覺上描繪了人類目標(biāo)40 和非人類目標(biāo)404離捕捉設(shè)備的不同距離。例 如，與深度圖像中最接近捕捉設(shè)備的目標(biāo)相關(guān)聯(lián)的像素可用紅色和/或橙色陰影來著色， 而與深度圖像中較遠(yuǎn)的目標(biāo)相關(guān)聯(lián)的像素可用綠色和/或藍(lán)色陰影來著色?；仡^參考圖5，在310處，可以處理圖像。根據(jù)一實施例，目標(biāo)識別、分析和跟蹤系 統(tǒng)可處理圖像從而可以確定和/或定義與所捕捉的圖像相關(guān)聯(lián)的場景的一個或多個特性。 例如，可以對圖像進(jìn)行降采樣；可以估計陰影或遮擋區(qū)域；可以檢測諸如深度值等的范圍外信息；可以移除和/或平滑圖像的一個或多個高變度/或高噪聲部分；可以填充和/或重 構(gòu)諸如圖像的深度值等的丟失部分和/或移除的信息；可以檢測包括諸如地板、墻等的平 坦表面的圖像的部分；可以識別、掃描對象并將其與圖像隔離；和/或可以對所接收的深度 圖像執(zhí)行任何其他合適的處理，這些將在以下更詳細(xì)地描述。圖7描繪了在圖5中示出的在310處處理圖像的示例方法的流程圖。例如，如圖 5所示，在305處接收圖像之后，可以在310處處理圖像。為了在310處處理圖像，可如圖7 所示那樣在405處對圖像進(jìn)行降采樣。例如，目標(biāo)識別、分析和跟蹤系統(tǒng)可對所接收的圖像 進(jìn)行降采樣，從而可以減小包括與其相關(guān)聯(lián)的像素數(shù)量的圖像大小，且可以過濾并從圖像 中移除一部分無效像素，如帶有零深度值的像素、先前在310處由本文所描述的一個或多 個處理技術(shù)標(biāo)識為無效的像素等。例如，如上所述，圖像可以是可包括所捕捉的場景的2-D 像素區(qū)域的深度圖像，其中每一像素具有與其相關(guān)聯(lián)的X值、Y值和深度值(或Z值)。在 一實施例中，深度圖像可通過將2-D像素區(qū)域中的像素減少為更少的像素來降采樣。例如， 目標(biāo)識別、分析和跟蹤系統(tǒng)可選擇可被組合來對圖像進(jìn)行降采樣的降采樣核，如包括
像素塊、4x4像素塊等的像素塊。目標(biāo)識別、分析和跟蹤系統(tǒng)然后可以使用降采樣核來掃描圖像從而可將深度圖像 分成與降采樣核相關(guān)聯(lián)的各個部分或塊。然后可處理每一部分或塊來為深度圖像生成可表 示每一部分或塊的經(jīng)降采樣的核像素。例如，在一實施例中，目標(biāo)識別、分析和跟蹤系統(tǒng)可 分析與降采樣核相關(guān)聯(lián)的部分或塊中的每一像素?；谠摲治?，目標(biāo)識別、分析和跟蹤系統(tǒng) 可為經(jīng)降采樣的核像素生成諸如X值、Y值或深度值等的一個或多個值。例如，目標(biāo)識別、 分析和跟蹤系統(tǒng)可基于與包括在關(guān)聯(lián)于降采樣核的部分或塊中的有效像素相關(guān)聯(lián)的深度 值來生成經(jīng)降采樣的核像素的深度值。根據(jù)示例實施例，為經(jīng)降采樣的核像素所生成的深 度值可包括該部分或塊中的有效像素或可具有有效、非零深度值的像素的最小深度值、該 部分或塊中的有效像素的最大深度值、該部分或塊中的有效像素的深度值的模式、該部分 或塊中的有效像素的深度值的中間值、或基于該部分或塊中的有效像素的深度值的任何其 他合適的深度值。根據(jù)一實施例，如果與降采樣核相關(guān)聯(lián)的部分或塊中的每一像素可以是 無效的或可以具有諸如零深度值等的無效深度值，則目標(biāo)識別、分析和跟蹤系統(tǒng)可將諸如 零深度值等的無效深度值分配給為該部分或塊所生成的經(jīng)降采樣的核像素。因此，根據(jù)一示例實施例，在405處，目標(biāo)識別、分析和跟蹤系統(tǒng)可對圖像進(jìn)行降 采樣，從而可以減小圖像中的像素數(shù)量且可以基于包括在關(guān)聯(lián)于降采樣核的像素部分或像 素塊中的有效像素來過濾或從圖像中移除一部分無效像素。在410處，可以估計可在所接收的圖像中的陰影和/或遮擋部分。例如，在410處， 目標(biāo)識別、分析和跟蹤系統(tǒng)可標(biāo)識圖像中可與諸如紅外陰影、立體陰影等的陰影或遮擋相 關(guān)聯(lián)的無效像素。為了標(biāo)識可與陰影或遮擋相關(guān)聯(lián)的無效像素，目標(biāo)識別、分析和跟蹤系統(tǒng) 可水平地按從左到右或從右到左的方向從例如圖像的頂部或底部開始掃描圖像來標(biāo)識或 尋找圖像中的無效像素。根據(jù)一示例實施例，如果無效像素的范圍或組可通過掃描來標(biāo)識， 則目標(biāo)識別、分析和跟蹤系統(tǒng)可確定諸如可由基于第一有效像素和第二有效像素的無效像 素所定義的X距離等的距離或區(qū)域，其中第一有效像素可與無效像素的范圍或組的開始處 的第一無效像素相鄰，而第二有效像素可與無效像素的范圍或組的結(jié)尾處的第二無效像素 相鄰，以此類推。目標(biāo)識別、分析和跟蹤系統(tǒng)然后基于例如，可定義無效像素的范圍或組的開始和結(jié)尾的第一有效像素和第二有效像素來確定離捕捉設(shè)備最遠(yuǎn)的深度值和離捕捉設(shè) 備最近的深度值。目標(biāo)識別、分析和跟蹤系統(tǒng)還可基于最遠(yuǎn)和最近的深度值來確定第一和 第二有效像素之間的像素數(shù)量以及離捕捉設(shè)備的距離。根據(jù)一示例實施例，如果從最遠(yuǎn)深 度值和最近深度值所確定的距離處的第一和第二有效像素之間的像素數(shù)量與對應(yīng)于存儲 在例如目標(biāo)識別、分析和跟蹤系統(tǒng)中相同距離處的陰影或遮擋的預(yù)定像素數(shù)量匹配，這可 取決于基于相鄰有效像素、物理透鏡、和/或捕捉設(shè)備的頂發(fā)射器偏移量的深度函數(shù)，則目 標(biāo)識別、分析和跟蹤系統(tǒng)可以將無效像素的范圍或組標(biāo)識為陰影或遮擋。因此，根據(jù)一實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)可標(biāo)識無效像素區(qū)域以及該區(qū)域 離捕捉設(shè)備的近似距離。目標(biāo)識別、分析和跟蹤系統(tǒng)然后可將區(qū)域中的像素數(shù)量與對應(yīng)于 近似距離處的陰影或遮擋的預(yù)定像素數(shù)量進(jìn)行比較。在一示例實施例中，如果區(qū)域中的像 素數(shù)量與對應(yīng)于該區(qū)域離捕捉設(shè)備的近似距離處的陰影或遮擋的預(yù)定像素數(shù)量匹配，則目 標(biāo)識別、分析和跟蹤系統(tǒng)可將該區(qū)域標(biāo)識為陰影或遮擋。圖8示出可包括紅外陰影的深度圖像400b的示例實施例。深度圖像400b可包括 與例如以上參考圖IA和IB所描述的用戶18相關(guān)聯(lián)的人類目標(biāo)402b。如圖8所示，右手 702和左手705可在人類目標(biāo)40 的一部分的前方延伸。根據(jù)一示例實施例，可在人類目標(biāo)402b的一部分的前方延伸的右手702和左手 705可生成相應(yīng)的第一和第二紅外陰影708和710。第一和第二紅外陰影708和710可包 括諸如以上參考圖1A-2所描述的捕捉設(shè)備20等的捕捉設(shè)備所觀察或捕捉的深度圖像700 的部分，其中身體部分可在場景上投射陰影。根據(jù)一示例實施例，捕捉設(shè)備可觀察或捕捉無 效深度值，如與深度圖像中其中身體部分可在場景上投射陰影的部分相關(guān)聯(lián)的像素的零深 度值。回頭參考圖7，在410處，在確定可與陰影或遮擋相關(guān)聯(lián)的無效像素之后，可替換 或填充諸如與諸如紅外陰影708等的陰影或遮擋區(qū)域相關(guān)聯(lián)的像素的深度值等的值。例 如，目標(biāo)識別、分析和跟蹤系統(tǒng)可估計諸如陰影或遮擋區(qū)域的深度值等的一個或多個值，這 些值可替換所接收的圖像中的與陰影或遮擋區(qū)域相關(guān)聯(lián)的無效像素的無效或丟失值。根據(jù)一實施例，可基于相鄰有效像素來估計與陰影或遮擋區(qū)域相關(guān)聯(lián)的無效像素 的值。例如，如果與關(guān)聯(lián)于陰影或遮擋區(qū)域的無效像素相鄰的一個或多個像素可具有有效 深度值，則與陰影或遮擋區(qū)域相關(guān)聯(lián)的無效像素的深度值可基于相鄰像素的有效深度值來 生成。因此，在一實施例中，目標(biāo)識別、分析和跟蹤系統(tǒng)可估計或內(nèi)插與關(guān)聯(lián)于陰影或遮擋 區(qū)域的無效像素相鄰的有效像素的深度值。目標(biāo)識別、分析和跟蹤系統(tǒng)還可為與陰影或遮 擋區(qū)域相關(guān)聯(lián)的無效像素分配可具有有效深度值的相鄰像素之一的深度值。根據(jù)一實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)可標(biāo)識并計算與陰影或遮擋區(qū)域相關(guān) 聯(lián)的每一無效像素的深度值，直到無效像素中的每一個可具有與其相關(guān)聯(lián)的深度值。另外， 在另一示例實施例中，目標(biāo)識別、分析和跟蹤系統(tǒng)可以不為與陰影或遮擋區(qū)域相關(guān)聯(lián)的無 效像素內(nèi)插值，或者可以為與陰影或遮擋區(qū)域相關(guān)聯(lián)的無效像素的部分或一部分內(nèi)插值。 例如，陰影或遮擋區(qū)域可包括第一數(shù)量的無效像素。如果第一數(shù)量的無效像素可比預(yù)定閾 值的無效像素更多，則目標(biāo)識別、分析和跟蹤系統(tǒng)可確定陰影或遮擋區(qū)域可包括太多的像 素以致于無法基于可具有有效深度值的相鄰或鄰近像素來正確地內(nèi)插或估計每一無效像 素的深度值。基于該判定，目標(biāo)識別、分析和跟蹤系統(tǒng)可以不為無效像素估計或內(nèi)插值，或者目標(biāo)識別、分析和跟蹤系統(tǒng)可以只為部分無效像素估計或內(nèi)插值。另外，在另一示例實施例中，目標(biāo)識別、分析和跟蹤系統(tǒng)可基于先前幀的深度圖像 為與陰影或遮擋區(qū)域相關(guān)聯(lián)的一個或多個無效像素計算深度值。如上所述，諸如以上參考 圖1A-2所描述的捕捉設(shè)備20等的捕捉設(shè)備可捕捉幀中的場景。每一幀可包括一深度圖像。 例如，目標(biāo)識別、分析和跟蹤系統(tǒng)可判定先前幀的相應(yīng)像素是否具有有效深度值?；谠撆?定，目標(biāo)識別、分析和跟蹤系統(tǒng)可用先前幀的相應(yīng)像素的深度值來替換當(dāng)前深度圖像中的 無效像素的深度值。在一示例實施例中，在415處可以確定圖像中的噪聲并將其從圖像中移除。例如， 在305處接收的圖像可包括諸如圖像中的一個或多個對象周圍的模糊邊等的噪聲。諸如模 糊邊等的噪聲可與圖像中可具有諸如可能無法準(zhǔn)確表示場景中的一個或多個對象的深度 值等的一個或多個值的像素相關(guān)聯(lián)。例如，如上所述，圖像可包括人類目標(biāo)和墻。人類目 標(biāo)的手臂可包括可具有近似1米的深度值的像素，而墻可具有近似2米的深度值。在一實 施例中，手臂的邊緣處的像素可包括噪聲或者可以是模糊的，從而使得像素可具有例如1. 5 米或手臂和墻的深度值之間的任何其他合適的值的深度值。在415處，目標(biāo)識別、分析和跟蹤系統(tǒng)可確定噪聲且可平滑諸如這些像素的模糊 深度值等的模糊值來移除圖像中的噪聲。根據(jù)一實施例，為了平滑與噪聲相關(guān)聯(lián)的模糊值， 目標(biāo)識別、分析和跟蹤系統(tǒng)可選擇一噪聲窗口核。噪聲核窗口可包括包含3x3像素塊、5x5 像素塊等的像素塊。根據(jù)一實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)然后可基于該噪聲窗口核來 分析圖像中的像素。例如，目標(biāo)識別、分析和跟蹤系統(tǒng)可基于噪聲核來選擇在例如圖形的左 上角、右上角、左下角、右下角等處開始的像素集。目標(biāo)識別、分析和跟蹤系統(tǒng)然后可以分析 每一像素集中的像素來確定該像素是否可包括噪聲。例如，基于噪聲核窗口，像素集可包括3x3像素塊。目標(biāo)識別、分析和跟蹤系統(tǒng)然 后可基于與3x3像素塊中的中間像素相鄰的有效像素來確定每一 3x3像素塊中的中間像素 的噪聲方差。根據(jù)一實施例，噪聲方差可包括例如中間像素的深度值和與中間像素相鄰的 有效像素中的每一個的深度值之差。如果噪聲方差可大于預(yù)定噪聲方差閾值而小于最大方 差閾值，則目標(biāo)識別、分析和跟蹤系統(tǒng)可確定中間像素的深度值可能是模糊的。目標(biāo)識別、 分析和跟蹤系統(tǒng)然后可用基于與中間像素相鄰的像素計算的平均深度值、基于與中間像素 相鄰的像素計算的模式深度值、基于與中間像素相鄰的像素計算的中值深度值來替換可能 模糊的中間像素的深度值。根據(jù)另一實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)可用無效深度值來 替換可能模糊的中間像素的深度值，和/或?qū)⒅虚g像素標(biāo)記為無效的、可能模糊的、可能對 分割和/或泛色填充(flood fill)危險的、或可指示該中間像素可影響例如310處所描述 的可在下游執(zhí)行的一個或多個處理技術(shù)的任何其他合適的標(biāo)志、值、標(biāo)記等。參考圖7，在420處，可以檢測圖像中可在范圍之外的一個或多個像素來處理315 處的圖像。例如，可被包括在目標(biāo)識別、分析和跟蹤系統(tǒng)中的諸如以上參考圖1A-2所描述 的捕捉設(shè)備20等的捕捉設(shè)備可具有有限深度范圍。例如，捕捉設(shè)備可具有可為場景中的對 象所捕捉或觀察的最大距離和/或可為場景中的對象所捕捉或觀察的最小距離。如果對象 離捕捉設(shè)備的距離比最小距離更近或比最大距離更遠(yuǎn)，則可以將關(guān)聯(lián)于離捕捉設(shè)備的距離 比最小距離更近或比最大距離更遠(yuǎn)的對象的像素與圖像中諸如無效深度值等的無效值相 關(guān)聯(lián)。
在一示例實施例中，目標(biāo)識別、分析和跟蹤系統(tǒng)可包括可具有與圖像相同數(shù)量的 像素的圖像陣列。目標(biāo)識別、分析和跟蹤系統(tǒng)可使用圖像陣列來檢測無效像素是否可在深 度范圍之外。例如，目標(biāo)識別、分析和跟蹤系統(tǒng)可基于為每一幀的圖像中的像素所觀察的諸 如深度值等的值來更新與圖像陣列中的每一像素相關(guān)聯(lián)的計數(shù)。根據(jù)一實施例，對于每一 幀，如果像素可以是無效的或可包括諸如無效深度值等的無效值，則目標(biāo)識別、分析和跟蹤 系統(tǒng)可遞增與圖像陣列中的像素相關(guān)聯(lián)的計數(shù)。另外，對于每一幀，如果像素可以是有效的 或可包括諸如有效深度值等的有效值，則目標(biāo)識別、分析和跟蹤系統(tǒng)可將與圖像陣列中的 像素相關(guān)聯(lián)的計數(shù)重置或遞減到零。在更新了圖像陣列中的計數(shù)之后，目標(biāo)識別、分析和跟 蹤系統(tǒng)可分析與圖像陣列中的每一像素相關(guān)聯(lián)的計數(shù)。如果基于該分析，計數(shù)可大于范圍 閾值，則目標(biāo)識別、分析和跟蹤系統(tǒng)可將圖像中的像素標(biāo)記為無窮大或可指示該像素可在 捕捉設(shè)備的范圍之外的任何其他值。根據(jù)一實施例，然后可在425處填充圖像中的丟失部分。例如，可被捕捉或觀察的 圖像可包括一個或多個孔洞。這些孔洞可包括深度圖像中這樣的區(qū)域在該區(qū)域中，例如捕 捉設(shè)備可能由于例如光照條件、諸如圖案、顏色等的材料性質(zhì)等而不能確定目標(biāo)或?qū)ο蟮?深度值或到它們的距離。根據(jù)一示例實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)可水平地和/或垂 直地掃描圖像來確定可與一個或多個孔洞相關(guān)聯(lián)的無效深度值的跨度或區(qū)域。圖9示出諸如可包括一個或多個丟失部分或孔洞806的深度圖像400c等的圖像 的示例實施例。如圖9所示，部分或孔洞806可以是深度圖像400c中可具有無效像素或空 像素的區(qū)域，無效像素或空像素諸如不具有諸如深度值等的值的像素、先前被在310處描 述的一個或多個處理技術(shù)標(biāo)識為無效的像素，等等。如上所述，在一示例實施例中，諸如深 度圖像400c等的深度圖像可被著色，從而使得深度圖像的像素的不同顏色對應(yīng)于和/或在 視覺上描繪了諸如人類目標(biāo)402c等的目標(biāo)或?qū)ο箅x捕捉設(shè)備的不同距離。如圖9所示，部 分或孔洞806可被著色為黑色以在視覺上指示一個或多個無效或空像素。回頭參考圖7，如果圖像包括一個或多個丟失部分或孔洞，則目標(biāo)識別、分析和跟 蹤系統(tǒng)可在425處為丟失部分或孔洞估計諸如深度值等的一個或多個值。根據(jù)一實施例， 可以使用相鄰像素或圍繞孔洞的可具有有效深度值的像素來估計與孔洞相關(guān)聯(lián)的無效像 素的深度值。例如，目標(biāo)識別、分析和跟蹤系統(tǒng)可標(biāo)識可定義丟失部分或孔洞邊緣的最外部 的無效像素。在標(biāo)識最外部的無效像素之后，目標(biāo)識別、分析和跟蹤系統(tǒng)可判定與最外部的 無效像素相鄰的一個或多個像素是否可以是有效的或是否可具有非零深度值。如果與無效 像素相鄰的一個或多個像素可以是有效的，則無效像素的深度值可基于相鄰像素的有效、 非零的深度值來生成。例如，無效深度值可被分配一個或多個值，如與無效像素相鄰的有效 像素的深度值、諸如與無效像素相鄰的有效像素的平均深度值等的平均值、諸如與無效像 素相鄰的有效像素的深度值等的值的線性內(nèi)插、諸如與無效像素相鄰的有效像素的深度值 等的值的曲線內(nèi)插等，從而使得丟失部分或孔洞中的無效像素的值可從丟失部分或孔洞的 外邊緣生長到其中心。另外，目標(biāo)識別、分析和跟蹤系統(tǒng)可限制孔洞或丟失部分中可被估計或填充的無 效像素的數(shù)量。例如，目標(biāo)識別、分析和跟蹤系統(tǒng)可生成孔洞嚴(yán)重性值，該值可包括無效像 素的數(shù)量除以圖像中所有像素數(shù)量的比率。目標(biāo)識別、分析和跟蹤系統(tǒng)然后可使用該孔洞 嚴(yán)重性值來限制對其估計值的丟失部分或孔洞中的無效像素的數(shù)量從而可以減少圖像中的滲色。例如，目標(biāo)識別、分析和跟蹤系統(tǒng)可限制可被執(zhí)行來估計諸如圖像的丟失部分或孔 洞中的無效像素的深度值等的值的從外部邊緣到中央的迭代的數(shù)量。在430處，可以檢測圖像中可與地板、墻、或任何其他平坦表面相關(guān)聯(lián)的一個或多 個部分。例如，目標(biāo)識別、分析和跟蹤系統(tǒng)可在430處確定圖像中的哪些像素可與地板相關(guān) 聯(lián)。根據(jù)示例實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)可使用屏幕空間地板檢測技術(shù)、逐像素分 析、或可檢測與地板相關(guān)聯(lián)的像素的任何其他合適的技術(shù)或分析來確定與地板相關(guān)聯(lián)的像
ο例如，在一實施例中，目標(biāo)識別、分析和跟蹤系統(tǒng)可標(biāo)識諸如圖像的下半部分等的 圖像的較低部分或區(qū)域來確定可與地板相關(guān)聯(lián)的部分或像素。目標(biāo)識別、分析和跟蹤系統(tǒng) 然后可分析諸如在305處所接收的圖像的較低部分或區(qū)域中的像素的深度值等的值以及 諸如先前通過一系列先前的幀所捕捉的所接收的圖像的較低部分或區(qū)域中的像素的深度 值等的值。在一實施例中，目標(biāo)識別、分析和跟蹤系統(tǒng)可逐行或在屏幕空間掃描行中掃描在 305處所接收的圖像以及先前所接收的圖像的較低部分或區(qū)域，以將一個或多個行擬合到 諸如深度值等的值。例如，目標(biāo)識別、分析和跟蹤系統(tǒng)可逐行或在屏幕空間掃描行中掃描在 305處所接收的圖像以及先前所接收的圖像的較低部分或區(qū)域，以將第一行和第二行擬合 到諸如深度值等的值。目標(biāo)識別、分析和跟蹤系統(tǒng)然后可掃描諸如從圖像底部到圖像的頂 部的第一和第二行等的所擬合的行來判定該行是否可具有這樣的斜率該斜率可定義大于 預(yù)定角度閾值的角度，或具有可大于預(yù)定角度閾值的變化斜率。當(dāng)該行可具有可定義大于 預(yù)定角度閾值的角度或具有可大于預(yù)定角度閾值的變化的斜率時，目標(biāo)識別、分析和跟蹤 系統(tǒng)可停止掃描并可選擇可具有小于閾值角度的角度或斜率變化的行以及與該行相關(guān)聯(lián) 的像素。目標(biāo)識別、分析和跟蹤系統(tǒng)隨后可使地板平面擬合到像素的行從而可以標(biāo)識圖像 中的地板。因此，根據(jù)一示例實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)可分析在430處可由圖像的 較低部分或區(qū)域中的像素的值所定義的行的一個或多個角度。如果角度可基本水平從而使 得角度可在例如0-10度、0-15度、0-20度等的范圍內(nèi)，則目標(biāo)識別、分析和跟蹤系統(tǒng)可將與 這些角度相關(guān)聯(lián)的像素的行標(biāo)識為地板的一部分。例如，如果諸如第一和第二行等的行的 斜率在斜率閾值或預(yù)定范圍以內(nèi)，則目標(biāo)識別、分析和跟蹤系統(tǒng)可對第一和第二行的斜率 求平均。目標(biāo)識別、分析和跟蹤系統(tǒng)然后可判定平均斜率是否可在捕捉設(shè)備的傾斜范圍之 內(nèi)，從而使得當(dāng)平均斜率可在該傾斜范圍之外時與第一和第二行相關(guān)聯(lián)的像素可不被標(biāo)識 為地板的一部分。目標(biāo)識別、分析和跟蹤系統(tǒng)還可在430處確定圖像中的哪些像素可與墻或其他平 坦表面相關(guān)聯(lián)。根據(jù)示例實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)可使用屏幕空間檢測技術(shù)、逐 像素分析、或可檢測與墻或其他平坦表面相關(guān)聯(lián)的像素的任何其他合適的技術(shù)或分析來確 定與墻或其他平坦表面相關(guān)聯(lián)的像素。在一示例實施例中，在435處，可以做出關(guān)于圖像是否可包括目標(biāo)的判定。例如， 在435處，目標(biāo)識別、分析和跟蹤系統(tǒng)可判定圖像是否包括諸如參考圖6和8-9所描述的人 類目標(biāo)40h-C等的人類目標(biāo)、沙發(fā)、桌子、椅子、或目標(biāo)識別、分析和跟蹤系統(tǒng)可以跟蹤的 任何其他對象等的目標(biāo)。為了判定圖像是否包括目標(biāo)，根據(jù)一實施例，目標(biāo)識別、分析和跟 蹤系統(tǒng)可對圖像中的每一對象進(jìn)行泛色填充。目標(biāo)識別、分析和跟蹤系統(tǒng)然后可將每一泛
16色填充的對象與圖案進(jìn)行比較來判定圖像是否包括目標(biāo)。根據(jù)一實施例，為了進(jìn)行泛色填充，可以選擇圖像上的預(yù)定點或區(qū)域來判定圖像 是否包括特定目標(biāo)。例如，可以比較諸如圖像的所選區(qū)域或點中的像素的深度值等的各種 值來確定可定義目標(biāo)或?qū)ο蟮倪叀８鶕?jù)一示例實施例，可以通過將與例如圖像中的相鄰或 鄰近的像素相關(guān)聯(lián)的各種深度值進(jìn)行比較來確定這些邊。如果正被比較的各種深度值可大 于預(yù)定邊容差，則這些像素可定義一條邊。在一實施例中，預(yù)定邊容差可以是例如100毫 米。如果表示1000毫米的深度值的像素可與表示1200毫米的深度值的相鄰像素進(jìn)行比較， 則這些像素可定義目標(biāo)的一條邊，因為像素之間的長度或距離之差大于IOOmm的預(yù)定邊容 差?？苫谒_定的邊來對Z層的可能Z值進(jìn)行泛色填充。例如，與所確定的邊相關(guān)聯(lián)的 像素以及該邊內(nèi)的區(qū)域的像素可互相關(guān)聯(lián)來定義可與圖案進(jìn)行比較的場景中的對象。根據(jù)一示例實施例，圖案可包括一個或多個數(shù)據(jù)結(jié)構(gòu)，這些數(shù)據(jù)結(jié)構(gòu)可具有可共 同定義目標(biāo)識別、分析和跟蹤系統(tǒng)可能想要在場景的圖像中隔離或標(biāo)識的特定目標(biāo)的維數(shù) 的變量集。例如，在一實施例中，目標(biāo)識別、分析和跟蹤系統(tǒng)可能想要在圖像中隔離或標(biāo)識 的特定目標(biāo)可以是人類目標(biāo)，從而使得圖案可包括可具有可共同定義人類的典型身體的變 量集的一個或多個數(shù)據(jù)結(jié)構(gòu)?？梢詫⑴c泛色填充的對象相關(guān)聯(lián)的值與圖案中的值進(jìn)行比較來判定目標(biāo)是否是 目標(biāo)識別、分析和跟蹤系統(tǒng)可能想要隔離或標(biāo)識的目標(biāo)以及目標(biāo)中的哪些是目標(biāo)識別、分 析和跟蹤系統(tǒng)可能想要隔離或標(biāo)識的目標(biāo)。在一實施例中，集合中的每一變量可基于目標(biāo) 識別、分析和跟蹤系統(tǒng)可能想要隔離或標(biāo)識的特定目標(biāo)的部分或各部分的重要性來加權(quán)。 例如，如果目標(biāo)識別、分析和跟蹤系統(tǒng)可能想要隔離或標(biāo)識人類目標(biāo)，則圖案中的諸如頭部 和/或肩膀等的各種身體部位可具有與其相關(guān)聯(lián)的可比諸如腿等的其他身體部位大的權(quán) 重值?；谠摫容^，目標(biāo)識別、分析和跟蹤系統(tǒng)可計算與圖案中可匹配泛色填充的對象 的變量的各部分相關(guān)聯(lián)的值的加權(quán)和。如果和可大于匹配閾值，則目標(biāo)識別、分析和跟蹤系 統(tǒng)可將對象標(biāo)記或標(biāo)識為諸如目標(biāo)識別、分析和跟蹤系統(tǒng)可能想要隔離或標(biāo)識的特定目標(biāo) 等的目標(biāo)。例如，目標(biāo)識別、分析和跟蹤系統(tǒng)可創(chuàng)建可具有大于匹配閾值的和的泛色填充的 目標(biāo)的位掩碼。在440處，如果圖像可能不包括目標(biāo)，則可在305處接收場景的新圖像。例如，如 果圖像中所標(biāo)識的每一對象的和可小于匹配閾值，則目標(biāo)識別、分析和跟蹤系統(tǒng)可提供該 圖像可能不包括目標(biāo)的指示并且可在305處接收新圖像。根據(jù)一實施例，在440處，如果圖像可包括目標(biāo)，則可在445處掃描目標(biāo)從而可以 確定目標(biāo)的一個或多個量度。例如，如果和可大于匹配閾值，則在435處，目標(biāo)識別、分析和 跟蹤系統(tǒng)可將對象標(biāo)記或標(biāo)識為諸如目標(biāo)識別、分析和跟蹤系統(tǒng)可能想要標(biāo)識的特定目標(biāo) 等的目標(biāo)。目標(biāo)隨后可在445處被掃描從而可確定目標(biāo)的一個或多個量度。例如，目標(biāo)識 別、分析和跟蹤系統(tǒng)可從上到下和/或從左到右地掃描位掩碼來確定目標(biāo)的寬、高等。根據(jù)一示例實施例，目標(biāo)可包括人類目標(biāo)。可以在445處為一個或多個身體部位 掃描與人類目標(biāo)相關(guān)聯(lián)的位掩碼來提供與諸如以上參考圖IA和IB所描述的用戶18等的 用戶的一個或多個身體部位相關(guān)聯(lián)的諸如長、寬等的量度。為了為一個或多個身體部位掃 描人類目標(biāo)的位掩碼，目標(biāo)識別、分析和跟蹤系統(tǒng)可確定人類目標(biāo)的位掩碼的頂部。目標(biāo)識別、分析和跟蹤系統(tǒng)然后可將位掩碼的頂部與頭部的頂部的位置相關(guān)聯(lián)。在確定了頭部的 頂部之后，可以向下掃描位掩碼繼而確定目標(biāo)的頸部的位置、人類目標(biāo)的肩膀的位置，以此 類推。為了確定人類目標(biāo)的頸部、肩膀等的位置，可以將例如被掃描的位置處的位掩碼 的寬度與關(guān)聯(lián)于例如頸部、肩膀等的典型寬度的閾值進(jìn)行比較。在替換實施例中，可以使用 離位掩碼中先前掃描的并與身體部位相關(guān)聯(lián)的位置的距離來確定頸部、肩膀等的位置。為了確定肩膀的位置，可將各個方位或位置處的位掩碼的寬度與閾值肩膀值進(jìn)行 比較。例如，可以將各個方位或位置處的位掩碼的X值處的兩個最外部Y值之間的距離與 例如人類肩膀之間的典型距離的閾值肩膀值進(jìn)行比較。在另一實施例中，為了確定肩膀的 位置，可從頭部向下解析一特定距離的位掩碼。例如，可與頭部的頂部相關(guān)聯(lián)的位掩碼的頂 部可具有與其相關(guān)聯(lián)的X值。然后可以將所存儲的與從頭部的頂部到人類身體的肩膀的頂 部的典型距離相關(guān)聯(lián)的值加到頭部的頂部的X值來確定肩膀的X值。另外，根據(jù)一示例實施例，諸如腿、腳等的某些身體部位可基于例如其他身體部位 的位置來計算。例如，如上所述，可以掃描諸如與人類目標(biāo)相關(guān)聯(lián)的位、像素等的信息來確 定諸如頭部、頸部、肩膀、臀部等的各個身體部位的位置。基于這些位置，隨后可以為人類目 標(biāo)計算諸如腿、腳等的后續(xù)身體部位。在一實施例中，在確定例如諸如身體部位等的部分的值后，可以創(chuàng)建可包括諸如 與目標(biāo)的位掩碼的掃描相關(guān)聯(lián)的部分的長度、寬度等的度量值的數(shù)據(jù)結(jié)構(gòu)。在一實施例中， 該數(shù)據(jù)結(jié)構(gòu)可包括從多個深度圖像平均的掃描結(jié)果。例如，如上所述，諸如以上參考圖1A-2 所描述的捕捉設(shè)備20等的捕捉設(shè)備可捕捉幀中的場景。每一幀可包括一圖像?？梢苑治?每一幀的圖像來確定是否包括諸如人類目標(biāo)等的目標(biāo)。如果幀的圖像包括目標(biāo)，則可以在 445處掃描與該幀相關(guān)聯(lián)的圖像的人類目標(biāo)的位掩碼。然后可以對為每一幀所確定的諸如 身體部位等的部分的值求平均，從而使得該數(shù)據(jù)結(jié)構(gòu)可包括諸如與每一幀的掃描相關(guān)聯(lián)的 身體部位等的部分的諸如長度、寬度等的平均度量值。隨后可以在450處從圖像中分割目標(biāo)。例如，目標(biāo)識別、分析和跟蹤系統(tǒng)可從包括 圖像中可以不是目標(biāo)的背景和/或前景對象的環(huán)境中分割目標(biāo)。為了從環(huán)境中分割目標(biāo)， 目標(biāo)識別、分析和跟蹤系統(tǒng)可移除或丟棄不可與深度圖像中的目標(biāo)相關(guān)聯(lián)的像素。例如，在 445處對人類目標(biāo)的掃描期間，目標(biāo)識別、分析和跟蹤系統(tǒng)可基于為泛色填充的目標(biāo)創(chuàng)建的 位掩碼來確定或標(biāo)識可與目標(biāo)相關(guān)聯(lián)的像素。目標(biāo)識別、分析和跟蹤系統(tǒng)然后可基于不可 與目標(biāo)相關(guān)聯(lián)的像素來確定或標(biāo)識諸如非目標(biāo)對象等的與環(huán)境相關(guān)聯(lián)的像素。在標(biāo)識與目標(biāo)和環(huán)境相關(guān)聯(lián)的像素后，目標(biāo)識別、分析和跟蹤系統(tǒng)可構(gòu)建深度歷 史或歷史地圖。目標(biāo)識別、分析和跟蹤系統(tǒng)可對帶有與環(huán)境相關(guān)聯(lián)的值的每一幀更新深度 歷史或歷史地圖。根據(jù)一示例實施例，深度歷史或歷史可被更新來包括經(jīng)過一系列幀所觀 察的圖像中的環(huán)境的最大值、最小值、中間值、平均值、標(biāo)準(zhǔn)差值、等等。在一實施例中，目標(biāo)識別、分析和跟蹤系統(tǒng)可隨后對目標(biāo)進(jìn)行泛色填充且可移除 或丟棄與環(huán)境相關(guān)聯(lián)的像素以從環(huán)境中分割目標(biāo)。例如，目標(biāo)識別、分析和跟蹤系統(tǒng)可選擇 與目標(biāo)的矩心或中心的位置相關(guān)聯(lián)的點和/或可圍繞矩心或中心的位置處的預(yù)定點。目標(biāo) 識別、分析和跟蹤系統(tǒng)然后可在每一幀中對這些點進(jìn)行泛色填充?；谠摲荷畛洌繕?biāo)識 別、分析和跟蹤系統(tǒng)可創(chuàng)建目標(biāo)的二進(jìn)制掩碼。目標(biāo)識別、分析和跟蹤系統(tǒng)還可基于深度歷
18史或歷史地圖，通過為與環(huán)境相關(guān)聯(lián)的像素分配例如無效深度值來移除或丟棄它們。根據(jù)另一實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)可在450處判定目標(biāo)是否正在運動 或移動并可移除或丟棄與環(huán)境相關(guān)聯(lián)的像素以從環(huán)境中分割目標(biāo)。例如，目標(biāo)識別、分析和 跟蹤系統(tǒng)可包括諸如場景的基準(zhǔn)圖像等基準(zhǔn)平面，該基準(zhǔn)平面可包括例如諸如每一像素的 非運動深度值等的非運動信息。根據(jù)一實施例，非運動信息平面可包括與場景中的每一像 素相關(guān)聯(lián)的移動平均值。移動平均值可包括例如通過一系列先前所接收的幀所確定的像素 的平均深度值。根據(jù)一實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)可將諸如場景中的對象中的每一 像素的深度值等的值與包括在基準(zhǔn)平面中的每一對應(yīng)的像素的移動平均值進(jìn)行比較?；?該比較，目標(biāo)識別、分析和跟蹤系統(tǒng)可將像素標(biāo)識為移動。例如，在一實施例中，如果像素的 深度值可小于基準(zhǔn)平面中對應(yīng)的像素的移動平均值從而使得像素可在移動平均值前方，則 像素可被標(biāo)識為移動。另外，例如，如果像素的深度值和基準(zhǔn)平面中的對應(yīng)像素的移動平均 值之差可大于運動閾值，則該體素可由目標(biāo)識別、分析和跟蹤系統(tǒng)標(biāo)識為移動。目標(biāo)識別、分析和跟蹤系統(tǒng)然后基于移動像素的百分比為每一所標(biāo)識的對象計算 前景分?jǐn)?shù)。在一實施例中，目標(biāo)識別、分析和跟蹤系統(tǒng)可以用可被標(biāo)識為移動的對象中的體 素像素的數(shù)量除以包括在對象中的像素總數(shù)來計算前景分?jǐn)?shù)。根據(jù)一實施例，目標(biāo)識別、分 析和跟蹤系統(tǒng)可為可具有可超過分?jǐn)?shù)閾值的前景分?jǐn)?shù)的目標(biāo)創(chuàng)建二進(jìn)制掩碼?；谏疃葰v 史或歷史地圖，目標(biāo)識別、分析和跟蹤系統(tǒng)還可通過為與環(huán)境相關(guān)聯(lián)的像素分配例如諸如 如上所述的零深度值等的無效深度值來移除或丟棄它們?；仡^參考圖5，在310處使用例如以上參考圖7所描述的方法處理圖像之后，目標(biāo) 識別、分析和跟蹤系統(tǒng)可在315處呈現(xiàn)細(xì)化的圖像。根據(jù)一實施例，細(xì)化的圖像可以是已移 除和/或平滑了噪聲、丟失部分、陰影的，已隔離了目標(biāo)的，已標(biāo)識了地板等的圖像。因此， 在一示例實施例中，在310處使用以上參考圖7所描述的處理的示例方法的至少一部分來 處理圖像之后，細(xì)化的圖像可以是在305處接收的圖像。圖10示出可基于對可被捕捉或觀察的圖像的處理而呈現(xiàn)的細(xì)化的圖像406的示 例實施例。如圖10所示，在310處使用以上參考圖7所描述的處理的示例方法的至少一部 分來處理深度圖像400c之后，細(xì)化406可以是圖9中示出的深度圖像400c?；仡^參考圖5，可以在320處處理與目標(biāo)相關(guān)聯(lián)的細(xì)化的圖像和/或二進(jìn)制掩碼。 在一實施例中，目標(biāo)識別、分析和跟蹤系統(tǒng)可在330處處理與目標(biāo)相關(guān)聯(lián)的細(xì)化的圖像和/ 或二進(jìn)制掩碼，從而可以生成目標(biāo)的模型，如骨架模型、網(wǎng)格模型等。根據(jù)一示例實施例，可 以跟蹤該模型、可以呈現(xiàn)與該模型相關(guān)聯(lián)的化身、和/或可以控制在計算機環(huán)境上執(zhí)行的 一個或多個應(yīng)用程序。應(yīng)該理解，此處所述的配置和/或方法在本質(zhì)上是示例性的，且這些具體實施例 或示例不被認(rèn)為是限制性的。另外，此處所述的方法或過程可表示任何數(shù)量的處理策略中 的一個或多個。由此，此處所述的方法或過程可按照所示步驟的順序、按照其他順序、并行 地等來執(zhí)行。同樣，可以更改上述方法或所述過程所示的步驟的次序和/或按任何合適的 次序來執(zhí)行上述方法或所述過程所示的步驟。本發(fā)明的主題包括各種方法、過程、系統(tǒng)和配置的所有新穎和非顯而易見的組合 和子組合、和此處所公開的其它特征、功能、動作、和/或特性、以及其任何和全部等效物。
權(quán)利要求
1.一種用于處理場景的圖像的方法，所述方法包括接收所述圖像；處理所述圖像來確定所述場景的一個或多個特性；以及基于所述場景的一個或多個特性來呈現(xiàn)細(xì)化的圖像。
2.如權(quán)利要求1所述的方法，其特征在于，處理所述圖像來確定所述場景的一個或多 個特性包括對所述圖像進(jìn)行降采樣。
3.如權(quán)利要求1所述的方法，其特征在于，處理所述圖像來確定所述場景的一個或多 個特性包括判定所述圖像是否包括陰影；并為包括在所述圖像中的與所述陰影相關(guān)聯(lián)的像 素估計一個或多個值。
4.如權(quán)利要求1所述的方法，其特征在于，處理所述圖像來確定所述場景的一個或多 個特性包括判定所述圖像是否包括噪聲；并移除所述圖像中的噪聲。
5.如權(quán)利要求1所述的方法，其特征在于，處理所述圖像來確定所述場景的一個或多 個特性包括檢測所述圖像中的一個或多個像素是否可在捕捉設(shè)備所定義的范圍之外，其中 所述捕捉設(shè)備捕捉所述圖像。
6.如權(quán)利要求1所述的方法，其特征在于，處理所述圖像來確定所述場景的一個或多 個特性包括判定所述圖像是否包括丟失部分；以及為與所述丟失部分相關(guān)聯(lián)的無效像素估 計一個或多個值。
7.如權(quán)利要求1所述的方法，其特征在于，處理所述圖像來確定所述場景的一個或多 個特性包括檢測與所述場景中的地板相關(guān)聯(lián)的所述圖像的一部分。
8.如權(quán)利要求1所述的方法，其特征在于，處理所述圖像來確定所述場景的一個或多 個特性包括判定所述圖像是否包括目標(biāo)；以及如果基于所述判定所述圖像包括所述目標(biāo)，則掃描所述目標(biāo)。
9.如權(quán)利要求8所述的方法，其特征在于，處理所述圖像來確定所述場景的一個或多 個特性包括從所述圖像中分割所述目標(biāo)。
10.一種其上存儲有用于處理圖像的計算機可執(zhí)行指令的計算機可讀存儲介質(zhì)，所述 計算機可執(zhí)行指令包括用于以下操作的指令接收圖像，其中所述圖像包括多個像素；處理所述圖像，其中處理所述圖像包括以下的至少一個對所述圖像進(jìn)行降采樣，判定 所述圖像是否包括陰影、噪聲和丟失部分中的一個，判定所述圖像是否包括目標(biāo)，以及如果 基于所述判定所述圖像包括所述目標(biāo)則掃描所述目標(biāo)；以及基于所處理的深度圖像來呈現(xiàn)細(xì)化的圖像。
11.如權(quán)利要求10所述的計算機可讀存儲介質(zhì)，其特征在于，用于處理所述圖像的所 述指令還包括用于檢測所述圖像中的一個或多個像素是否在與所述圖像相關(guān)聯(lián)的捕捉設(shè) 備所定義的范圍之外的指令。
12.如權(quán)利要求10所述的計算機可讀存儲介質(zhì)，其特征在于，用于確定所述圖像中的 一個或多個像素是否在與所述圖像相關(guān)聯(lián)的捕捉設(shè)備所定義的范圍之外的所述指令包括 用于以下操作的指令提供圖像陣列，其中所述圖像陣列具有與所述圖像中的像素總數(shù)相 等的像素數(shù)量；如果與所述圖像中對應(yīng)的像素相關(guān)聯(lián)的值是無效的，則遞增與所述圖像陣列中的像素相關(guān)聯(lián)的計數(shù)；分析與所述圖像陣列中的像素相關(guān)聯(lián)的計數(shù)；以及如果基于所 述分析，與所述圖像陣列中的對應(yīng)的像素相關(guān)聯(lián)的所述計數(shù)大于范圍閾值，則以無窮大值 來標(biāo)記所述圖像中的像素。
13.如權(quán)利要求10所述的計算機可讀存儲介質(zhì)，其特征在于，用于處理所述圖像的所 述指令還包括用于檢測與所述場景中的地板相關(guān)聯(lián)的所述圖像的一部分的指令。
14.如權(quán)利要求10所述的計算機可讀存儲介質(zhì)，其特征在于，用于檢測與所述場景中 的地板相關(guān)聯(lián)的所述圖像的一部分的所述指令還包括用于標(biāo)識所述圖像的較低區(qū)域；以及 用于分析所述較低區(qū)域以將與所述地板相關(guān)聯(lián)的地板平面擬合到所述較低區(qū)域的指令。
15.如權(quán)利要求10所述的計算機可讀存儲介質(zhì)，其特征在于，用于處理所述圖像的所 述指令還包括用于從所述圖像中分割所述目標(biāo)的指令。
16.如權(quán)利要求15所述的計算機可讀存儲介質(zhì)，其特征在于，用于從所述圖像中分割 所述目標(biāo)的所述指令包括用于創(chuàng)建所述目標(biāo)的二進(jìn)制掩碼，以及丟棄包括在所述圖像中的 環(huán)境的指令。
17.如權(quán)利要求10所述的計算機可讀存儲介質(zhì)，其特征在于，所述圖像包括多個像素， 以及所述用于對所述深度圖像進(jìn)行降采樣的指令包括用于減少所述多個像素的數(shù)量并過 濾所述多個像素中的一個或多個無效像素的指令。
18.如權(quán)利要求10所述的計算機可讀存儲介質(zhì)，其特征在于，用于判定所述圖像是否 包括陰影、噪聲和丟失部分中的一個的所述指令還包括用于為所述圖像中與陰影、噪聲和 丟失部分中的一個相關(guān)聯(lián)的像素估計一個或多個值的指令。
19.如權(quán)利要求10所述的計算機可讀存儲介質(zhì)，其特征在于，用于掃描所述目標(biāo)的所 述指令包括用于確定所述目標(biāo)的一個或多個量度的指令。
20.一種用于處理場景的圖像的系統(tǒng)，所述系統(tǒng)包括捕捉設(shè)備，其中所述捕捉設(shè)備包括接收所述場景的深度圖像的照相機組件，其中所述 深度圖像包括像素；以及與所述捕捉設(shè)備有效通信的處理器，其中所述處理器對所述圖像進(jìn)行降采樣；判定所 述圖像是否包括陰影、噪聲和丟失部分中的一個；檢測所述圖像中的一個或多個像素是否 在所述捕捉設(shè)備所定義的范圍之外；檢測與所述場景中的平坦表面相關(guān)聯(lián)的所述圖像的一 部分；判定所述圖像是否包括目標(biāo)；如果基于所述判定所述深度圖像包括所述目標(biāo)則掃描 所述目標(biāo)；以及從所述圖像中分割所述目標(biāo)。
全文摘要
本發(fā)明描述了用于為目標(biāo)跟蹤處理圖像的系統(tǒng)和方法?？捎稍O(shè)備接收、觀察或捕捉諸如場景的深度圖像等的圖像。然后可處理該圖像。例如，可以對圖像進(jìn)行降采樣，可以確定圖像中的陰影、噪聲和/或丟失部分，可以確定圖像中可在由與圖像相關(guān)聯(lián)的捕捉設(shè)備所定義的范圍之外的像素、可以檢測圖像中與地板相關(guān)聯(lián)的一部分。另外，可以確定并掃描圖像中的目標(biāo)。隨后可基于已處理的圖像來呈現(xiàn)細(xì)化的圖像。然后可處理細(xì)化的圖像來例如跟蹤用戶。
文檔編號G06F3/01GK102087738SQ20101054435
公開日2011年6月8日 申請日期2010年11月4日 優(yōu)先權(quán)日2009年11月5日
發(fā)明者C·C·馬萊斯, C·佩珀, J·柏托爾拉米, R·M·蓋斯, Z·馬特 申請人:微軟公司