專利名稱：用于視覺顯示器的虛擬控制器的制作方法
用于視覺顯示器的虛擬控制器
些旦 冃豕
手移動和手信號是人類表達和交流的自然形式。該知識對人機交互的應(yīng)用 導(dǎo)致了允許人類手勢作為計算機輸入的基于視覺的計算機技術(shù)的開發(fā)。計算機 視覺是能夠以捕捉一個人的手或身體的不受阻礙的運動為目標(biāo)來實現(xiàn)人類手 勢輸入系統(tǒng)的技術(shù)。然而，當(dāng)前正在開發(fā)的許多基于視覺的技術(shù)涉及需要非自 然手勢和附加設(shè)備的難以使用的運用。這些技術(shù)可以是復(fù)雜且龐大的，從而導(dǎo) 致由于遠離標(biāo)準的計算機使用位置的重復(fù)的手移動而降低效率。
當(dāng)前計算機輸入方法一般涉及使用鍵盤的文本輸入和經(jīng)由鼠標(biāo)或指示筆 的光標(biāo)操縱兩者。鍵盤和鼠標(biāo)之間的反復(fù)切換隨著時間的推移降低了用戶的效 率。計算機視覺技術(shù)已試圖通過利用手移動作為輸入來對人機輸入任務(wù)的效率 低下進行改進。在檢測發(fā)生在諸如鍵盤等計算機使用期間的常見手位置的情況 下，該利用將會是最有效的。許多現(xiàn)有的基于視覺的計算機技術(shù)將對定點或伸 出的手指的使用用作輸入手勢。由于定點手勢與打字期間的自然手定位類似， 難以檢測位于或在鍵盤位置附近的手勢。
大多數(shù)現(xiàn)有計算機視覺技術(shù)利用手勢檢測和跟蹤范例來傳感手勢和移動。 這些檢測和跟蹤范例是復(fù)雜的，其使用復(fù)雜的模式識別技術(shù)來恢復(fù)手的形狀和 位置。檢測和跟蹤受到若干因素的限制，包括難以實現(xiàn)合理的計算復(fù)雜性，由 于人類手移動和手勢中的歧義而導(dǎo)致的實際檢測中的問題，以及缺乏對允許多 于一個用戶交互的技術(shù)的支持。
6概述
提供本概述以便介紹將在以下詳細描述中進一步描述的用于視覺顯示器 的虛擬控制器的簡化概念。本概述并不旨在標(biāo)識所要求保護的主題的必要特 征，也不旨在用于幫助確定所要求保護的主題的范圍。
在用于視覺顯示器的虛擬控制器的一個實現(xiàn)中，照相機或其他傳感器檢測 相對于背景的一個或多個手的圖像。該圖像被分割成手區(qū)域和背景區(qū)域，并且 在各間隔處對在該圖像中通過拇指和一手指做出封閉的環(huán)形成的不同的、獨立 的背景區(qū)域一 "洞"進行計數(shù)(例如，每個手可創(chuàng)建一個洞)。拇指和食指在
以此方式使用時被稱作"拇指和食指接口" (TAFFI)。其他類型的手和手指 接口也是有可能的。至少一個控制參數(shù)然后被分配到每一個經(jīng)識別的洞，或捕 捉到的圖像中的獨立背景區(qū)域，該控制參數(shù)通常允許用戶的手操縱屏幕或監(jiān)視 器上所顯示的圖像的某一方面。例如，鼠標(biāo)點擊功能可以在手的拇指和食指互 相接觸以創(chuàng)建在視覺上獨立的背景區(qū)域時被分配為控制參數(shù)?？梢苑峙淇刂茀?數(shù)以使得顯示的圖像與同該控制參數(shù)相關(guān)聯(lián)的獨立區(qū)域的形狀和/或位置的每 一改變相關(guān)地，或與正在形成或展開(拇指和食指接觸時的高狀態(tài)以及拇指和 食指打開時的低狀態(tài))的獨立區(qū)域相關(guān)地改變。
7附閱條;古 m w ibj
在各附圖中，使用相同的標(biāo)號來指示相同的特征和組件


圖1是其中可實現(xiàn)用于視覺顯示器的示例性虛擬控制器的示例性基于計
算機的系統(tǒng)的圖示。
圖2是示例性虛擬控制器系統(tǒng)的框圖。
圖3是圖2的虛擬控制器系統(tǒng)的示例性分割器中所使用的圖像分割的圖示。
圖4是示例性拇指和食指接口控制的圖示。
圖5是用手和手指姿勢來控制視覺顯示器的示例性方法的流程圖。
8詳細描述 概覽
本發(fā)明描述了用于視覺顯示器的虛擬控制器。在一個實現(xiàn)中，示例性系統(tǒng) 通過利用應(yīng)用于手和手指姿勢的基于視覺的計算機技術(shù)來提供諸如計算機監(jiān) 視器所特有的視覺用戶界面等顯示器的導(dǎo)航。在一個實現(xiàn)中，用戶在鍵盤上打 字并且然后例如，通過暫停鍵盤鍵入并僅將一個手的拇指和食指碰在一起(猶
如拿著一小指示筆)來調(diào)用"拇指和食指接口"即"TAFFI"。該示例性系統(tǒng)
傳感該事件并將控制參數(shù)分配給由該手指姿勢形成的獨立背景區(qū)域的各屬性 以便控制虛擬顯示器上的圖像。
"虛擬"或"虛擬控制器"指的是裝置與用戶的手缺少物理接觸。因此， 在一個實現(xiàn)中，虛擬控制器由定位在手和鍵盤上方的照相機以及從用戶的手的 視覺圖像中導(dǎo)出一個或多個接口的相關(guān)聯(lián)的邏輯組成。分割將手對象與背景
(例如，包括鍵盤)分離開。如果用戶將食指與拇指接觸(上文中的TAFFI)， 則該系統(tǒng)識別由該手勢創(chuàng)建的獨立背景區(qū)域并將其制表。即，該系統(tǒng)識別背景 的一片段已通過拇指和食指接觸以形成封入背景區(qū)域的橢圓形"環(huán)形洞"的完 全封閉的"環(huán)"而在視覺上與主背景的剩余部分隔離開。通過除了計算機照相 機之外的裝置來檢測視覺圖像也是有可能的。例如，嵌入在鍵盤或桌子中的2D 電極或天線陣列可使用靜電或射頻技術(shù)來對手勢"成像"并且以類似于從照相 機捕捉圖像的方式來處理。
在一個實現(xiàn)中，獨立背景區(qū)域在其在視覺上由手區(qū)域或在一個變型中由圖 像和/或圖像邊界中的手區(qū)域來與背景的其它部分斷開或隔離開時被認為是不 同的視覺對象。當(dāng)手和手指的圖像是用于確定獨立背景區(qū)域的邊界的定界實體 時，于是在拇指和食指"閉合"(互相接觸)時創(chuàng)建的手的拇指和食指之間的 橢圓區(qū)域就在大約拇指和食指接觸的時刻被計作一新的獨立背景區(qū)域。該新的 獨立背景區(qū)域可被認為是連接分量分析技術(shù)中的"連接分量"。這些連接分量 或新的獨立背景區(qū)域一 "洞" 一此處將被稱為"獨立背景區(qū)域"或僅為"獨立 區(qū)域"。應(yīng)當(dāng)理解，該術(shù)語指的是例如，連接分量分析技術(shù)中的、被認為是不 同的視覺對象。
當(dāng)拇指和食指"打開"時，新形成的獨立背景區(qū)域消失并再次變成較大的獨立背景區(qū)域的一部分。
就連接分量分析技術(shù)而言，連接分量是二值圖像中具有類似屬性的、由于 屬性相似性而分組在一起的一組像素。每一個連接分量通常對應(yīng)于如由人類觀 察者觀察到的不同的視覺對象。通過圖像的手或手指區(qū)域的一部分而在視覺上 獨立于背景的其他部分的該背景的每一部分都可被定義為獨立區(qū)域，或者在連 接分量分析的語言中，被定義為與背景連接分量不同的新形成的連接分量。
當(dāng)然，其他實現(xiàn)可以使用手的其他手指的移動或接觸來形成"洞"或"獨
立區(qū)域"。因此，"TAFFI"應(yīng)被寬泛地解釋為是指在視覺上將背景的一部分
與一般背景的剩余部分隔離開的手指和手的配置。例如，人手的拇指和任何其
他手指，或僅僅不是拇指的兩個手指也可形成"TAFFI"接口。然而，為了簡 化描述，各實現(xiàn)通常將按照"拇指和食指"來描述。
一旦檢測模塊將新的獨立背景區(qū)域與一般背景區(qū)域區(qū)分開來，系統(tǒng)就將該 新識別的獨立區(qū)域與使得用戶能夠操縱視覺用戶界面上所顯示的圖像的一個 或多個控制參數(shù)相關(guān)聯(lián)。視覺用戶界面上所顯示的圖像可以在跟蹤獨立背景區(qū) 域的位置、形狀、以及甚至存在時經(jīng)由控制參數(shù)來改變。
在一個實現(xiàn)中， 一示例性系統(tǒng)能夠檢測多于一個獨立區(qū)域，從而允許用戶 通過其中一個或兩個手可參與的多個控制參數(shù)來控制顯示的圖像。多個控制參 數(shù)與多個獨立區(qū)域的關(guān)聯(lián)使得對顯示的圖像的控制與每一檢測到的獨立區(qū)域 的形狀、位置、和存在的改變相關(guān)。因此，對顯示的圖像的操縱可包括對點擊、 選擇、執(zhí)行、水平移動、垂直移動、巻屏、拖拽、旋轉(zhuǎn)移動、縮放、最大化和 最小化、文件功能、菜單部署和使用等的控制。此外，控制參數(shù)還可被分配給 多個識別出的獨立區(qū)域之間的關(guān)系。即，例如，在兩個獨立區(qū)域相對于彼此移 動時，各種控制參數(shù)可被附加到它們之間的距離。例如，當(dāng)每個手的獨立區(qū)域 遠離彼此移動時，圖像可縮放或拉伸，或可以按其中獨立區(qū)域之間的距離改變 的維度或向量拉伸。
雖然所描述的用于虛擬控制器的系統(tǒng)和方法的特征和概念可以在許多不 同的環(huán)境中實現(xiàn)，但是虛擬控制器的實現(xiàn)是在以下示例性系統(tǒng)和環(huán)境的上下文 中描述的。示例性環(huán)境
圖1示出了其中可實現(xiàn)諸如以上所介紹的拇指和食指接口，即TAFFI等 虛擬控制器接口技術(shù)的示例性系統(tǒng)100。示例性系統(tǒng)100包括視覺用戶界面(監(jiān) 視器、屏幕或"顯示器"103)上的"顯示圖像"102、與計算設(shè)備105耦合的 照相機104、鼠標(biāo)106、鍵盤108、在上下文中示出的用戶的手110 (當(dāng)然不是 該系統(tǒng)的硬件的一部分)、以及由正用作TAFFI的用戶的手110(1)形成的視覺 上的獨立區(qū)域112。照相機獲得將由示例性TAFFI引擎115使用的捕捉到的手 的圖像114。(捕捉到的圖像114僅出于描述的目的而示出，示例性系統(tǒng)IOO 不必顯示該照相機捕捉到了什么。)主存TAFFI引擎115的計算設(shè)備105可以 是臺式機、膝上型計算機、PDA、或能夠成功地結(jié)合來自照相機104的輸入以 使得TAFFI引擎115能夠檢測特定手勢并將其用作用戶界面輸入的其他計算設(shè) 備105。
照相機104捕捉一個手llO(l)構(gòu)成TAFFI而另一個手110(2)仍然處于"常 規(guī)"(非TAFFI)打字位置的圖像。捕捉到的圖像114展示檢測到對于形成 TAFFI的手110(1)的獨立區(qū)域112，但是沒有檢測到對于仍然在打字或使用鼠 標(biāo)以獲得附加輸入條目的手110(2)的獨立區(qū)域。由照相機104對獨立區(qū)域112 的檢測被顯示為捕捉到的圖像114中的暗區(qū)(112)。該捕捉到的圖像114展 示了將在以下進一步描述的過程中的一個階段，其中示例性系統(tǒng)100將手110 和背景分隔成連續(xù)的、分割的區(qū)域，諸如大背景區(qū)域、手區(qū)域、以及構(gòu)成由手 llO(l)的TAFFI形成的獨立區(qū)域112的較小的背景區(qū)域。
系統(tǒng)100可以是提供通過由照相機104或其他傳感器檢測到的手勢輸入來 控制視覺用戶界面的基于視覺的("計算機視覺")系統(tǒng)。換言之，示例性系 統(tǒng)100可控制可以在包括基于web的顯示器的計算設(shè)備上操作的許多不同類型 的程序或應(yīng)用的視覺用戶界面顯示輸出。由此，示例性系統(tǒng)100可替換常規(guī)用 戶輸入設(shè)備，諸如鼠標(biāo)106，且如果需要的話，鍵盤108，包括它們的選擇、 移動、和改變視覺用戶界面102中所顯示的對象，或甚至輸入文本的功能。
虛擬控制器將特定手勢和移動檢測為用戶輸入。在所示實施例中，用于檢 測的照相機104被放置在附連到顯示器103的手和鍵盤上方的某處。放置在該 位置的照相機104處理覆蓋鍵盤108的至少大部分的視場并且大致聚焦于處于
11正常打字位置的用戶的手110的平面。在一個實現(xiàn)中，可放置諸如紅外或可見
LED等燈以照亮手110和鍵盤108，并且也可定位這些燈以緩解改變環(huán)境照明 的影響。在某些情況下，環(huán)境光線可能是充足的，以使得照相機無需額外的燈 來獲取圖像。在各變型中，照相機104和/或額外的燈可被放置在鍵盤108的各 鍵之間，以使得照相機104面朝上并能夠檢測鍵盤108上方的手勢和手的移動。
可以在所示示例性系統(tǒng)100中使用的照相機104的示例是以30 Hz的速率 獲取全分辨率灰度圖像的羅技網(wǎng)絡(luò)攝像頭104 (加利福尼亞州弗里蒙特市)。 照相機104可被附到或者鍵盤108或者顯示器103或者任何合適的地方。
在示例性系統(tǒng)100中，用戶的手110(1)可形成TAFFI，其在拇指和食指接 觸時創(chuàng)建獨立于背景區(qū)域的剩余部分的視覺區(qū)域。在一個實現(xiàn)中，潛在的 TAFFI以及一個或多個獨立區(qū)域112的存在或缺失由實時圖像處理例程來檢 測，該例程在計算設(shè)備105中執(zhí)行以持續(xù)地監(jiān)視并確定兩個手110的狀態(tài)，例 如，手110是在打字還是在形成用于輸入的姿勢。該處理例程可首先確定用戶 的拇指和食指是否接觸。如果手指接觸而導(dǎo)致識別出TAFFI形成的獨立區(qū)域 112，則可二維地跟蹤該接觸的位置。例如，拇指和食指接觸的位置可以在計 算機105中被注冊為定點箭頭的位置或光標(biāo)位置。由此在一個實現(xiàn)中，可以使 用該TAFFI形成位置及其相關(guān)聯(lián)的獨立區(qū)域112的識別來建立光標(biāo)位置并且控 制顯示的圖像。
其中在一時間間隔內(nèi)形成、展開并然后再次形成獨立區(qū)域112的產(chǎn)生獨立 區(qū)域112的快速手移動可模擬或模仿鼠標(biāo)的"點擊"并允許用戶選擇正在顯示 的項目。獨立區(qū)域112的快速形成、展開、并再次形成還可使得用戶能夠拖拽 或滾動所顯示項目的所選部分，以水平、垂直或?qū)欠较蛞苿訉ο?，對顯示的 圖像102進行旋轉(zhuǎn)，縮放等。此外，在一個實現(xiàn)中，移動形成更靠近或更遠離 照相機104的獨立區(qū)域112的TAFn可產(chǎn)生對顯示的圖像的放大和縮小。
經(jīng)由多個TAFFI來控制顯示的圖像可涉及多于一個手110。圖1所示的示 例性系統(tǒng)100是TAFFI控制的一實施例，其中圖像操縱從一個手llO(l)的 TAFFI繼續(xù)而另一個手110(2)打字并在鍵盤108處執(zhí)行其他輸入任務(wù)。但在 TAFFI控制的另一實施例中，兩個手IIO都可形成各自的TAFFI，從而導(dǎo)致照 相機104檢測到至少兩個獨立區(qū)域112。雙手TAFFI控制可提供用于視覺用戶界面的精細調(diào)整的導(dǎo)航的輸入控制。該雙手方法提供了除了放大、縮小和旋轉(zhuǎn) 移動之外的多方向圖像操縱，其中該操縱因為多個TAFFI的獨立區(qū)域112相對 于彼此的交互而變得更復(fù)雜。
示例性系統(tǒng)
圖2示出了示例性虛擬控制器系統(tǒng)100的各種組件。虛擬控制器系統(tǒng)100 的所示配置僅僅是一個示例安排。所示組件或其他類似組件的許多安排在本主 題的范圍內(nèi)也是可能的。示例性虛擬控制器系統(tǒng)100具有一些組件，諸如可以 用硬件、軟件、或硬件、軟件、固件等的組合來執(zhí)行的TAFFI引擎115等。
示例性系統(tǒng)100包括硬件202，如照相機104或其他圖像傳感器、鍵盤108 和顯示器103。 TAFFI引擎115包括其他組件，如圖像分割器204、獨立區(qū)域 跟蹤器206、包括鏈接模塊210的控制參數(shù)引擎208。
在一個實現(xiàn)中，照相機104檢測被解釋為相對于背景的一個或多個手110 的圖像。捕捉到的圖像114的像素包括將用于將圖像中的手IIO與該圖像中的 背景區(qū)分開來的對比度值屬性。對于與背景形成對比的手的適用的屬性可包括 亮度、灰度、色彩分量強度、色彩平面值、向量像素值、色彩圖索引值等。在 各變型中，照相機104可利用這些屬性中的任何一個來將手像素與背景像素區(qū) 分開來，例如，取決于是否使用紅外照明來代替典型的可見光譜。有時，使用 紅外線來獲得捕捉到的圖像114導(dǎo)致不同膚色的大多數(shù)人的手以與背景類似的 對比度出現(xiàn)，而不管由于種族、日曬等的不同而導(dǎo)致的在可見光譜中的皮膚顏 色和色調(diào)的變化。因此，相對于圖像中的背景的手的檢測在不管可見的膚色的 情況下在紅外線中可以是容易實現(xiàn)的。
分割器204由此例如通過根據(jù)上述對比度或亮度屬性的二值圖像分割來 將捕捉到的圖像114分隔成一個或多個手區(qū)域IIO和背景區(qū)域。該二值圖像分 割將背景區(qū)域像素與呈現(xiàn)在捕捉到的圖像114中的任何其他(前景)對象或區(qū) 域的像素區(qū)分開來。在一個實現(xiàn)中，分割器204通過首先確定對應(yīng)于背景區(qū)域 的像素來分隔圖像。背景區(qū)域像素各自被分配到一個值，比如二進制值"一" (1)。捕捉到的圖像114中的剩余像素各自被分配到一個不同的值，比如"零" (0)。
13圖3示出了由分割器204執(zhí)行的二值圖像分割的示例300。捕捉到的圖像 114包括背景對象302和前景中的手對象304。存在用于產(chǎn)生分割的圖像的各 種技術(shù)，其中大多數(shù)技術(shù)在本領(lǐng)域內(nèi)是公知的。在一個實現(xiàn)中，分割器204將 背景區(qū)域像素與呈現(xiàn)在捕捉到的圖像114或示例300中的任何其他對象或區(qū)域 的像素辨別開來。區(qū)分二值圖像中的像素是通過將對應(yīng)于背景的每一像素認為 是"開"或比如"一"的特定值來實現(xiàn)的。然后可將圖像中的每一個其他像素 與存儲的背景圖像的值進行比較。顯著地亮于相應(yīng)的背景像素的任何其他像素 值都被認為是新的區(qū)域或圖像對象的一部分，并且被標(biāo)記為"關(guān)"，或被給予 一不同的值，比如"零"。
示例300還可將背景區(qū)域302與圖像的其他區(qū)域的區(qū)別示為色差。背景區(qū) 域302被示為等同于第一個值的較暗的顏色。被示為較亮顏色的手對象304等 同于第二個值，從而將其與背景區(qū)域302區(qū)分開來。
回到圖2，獨立區(qū)域跟蹤器206以固定的時間間隔確定背景的多個獨立區(qū) 域112。通過至少一部分非背景手區(qū)域(或圖像邊界)在視覺上獨立于背景的 其他部分的該背景的每一部分都被定義為獨立區(qū)域112。對于傳感的每一個獨 立區(qū)域112，獨立區(qū)域跟蹤器206找到完全被"0"像素包圍(即，不再連續(xù)地 連接到構(gòu)成主背景的"1"像素的剩余部分)的"1"像素區(qū)域。換言之，獨立 區(qū)域跟蹤器206找到由TAFFI的接觸的拇指和食指姿勢來劃定邊界的隔離的背 景區(qū)域。
例如，當(dāng)獨立區(qū)域112完全位于由照相機104傳感的捕捉到的圖像114 之內(nèi)，即，在獨立區(qū)域112未有任何一部分位于捕捉到的圖像114的邊界上時， 可以確保準確地將該獨立區(qū)域檢測為指示用戶選擇顯示器103上的對象的意圖 的單獨的背景區(qū)域。
然而，在一個實現(xiàn)中，獨立區(qū)域跟蹤器206的變型即使在獨立區(qū)域112 的一部分在"屏幕之外" 一未作為捕捉到的圖像114的一部分來包括時也可傳 感獨立區(qū)域112。這可通過將獨立區(qū)域112定義為由手110的一部分或捕捉到 的圖像114的邊界的-部分從主背景中剪切下來的背景區(qū)域。但這僅僅是如何 劃定獨立背景區(qū)域的界限的變型。
一旦確立了一個或多個獨立區(qū)域的存在，鏈接模塊210就將用于操縱用戶
14界面上的視覺圖像顯示102的控制參數(shù)與每一個計數(shù)的獨立區(qū)域相關(guān)聯(lián)。操縱 可包括多個機制，包括視覺用戶界面中的光標(biāo)控制。視覺圖像顯示102的光標(biāo) 控制可以，且僅當(dāng)檢測到獨立區(qū)域并將其與控制參數(shù)相關(guān)聯(lián)時實現(xiàn)。如果對獨 立區(qū)域的檢測停止，則控制參數(shù)關(guān)聯(lián)停止，并且禁用光標(biāo)控制和操縱。光標(biāo)控 制可包括多個操縱，包括模仿來自鼠標(biāo)的輸入的"點擊"動作。該點擊動作允
許選擇視覺圖像顯示102的所需部分，跟蹤和拖拽，以及多方向移動和光標(biāo)控制。
鏈接模塊210能夠?qū)⑻囟刂茀?shù)與手或手指姿勢或與手勢改變相關(guān)聯(lián)。 一旦控制參數(shù)被分配或與手或手指姿勢相關(guān)聯(lián)，于是控制參數(shù)引擎208就可進 一步細察(nuance)該手勢與該控制參數(shù)是如何彼此相關(guān)的。例如，僅僅是拇 指與食指的接觸就可用作"開-關(guān)"、二值、高-低、或其他二狀態(tài)接口或開關(guān)。 然而可連續(xù)地改變的手勢屬性可被分配來提供對諸如顯示圖像102在連續(xù)區(qū)上 的逐步移動等顯示圖像操縱的可變控制。
當(dāng)鏈接模塊210將可變控制參數(shù)分配給例如與相應(yīng)的獨立區(qū)域的形狀或 位置的改變相關(guān)的顯示圖像102的控制時，該可變性方面可通過計算屬于每一 個獨立區(qū)域的所有像素的平均位置并且然后跟蹤在一個手形成TAFFI時創(chuàng)建 的形狀的位置的改變來實現(xiàn)。手的移動更改橢圓形的獨立區(qū)域的方向并導(dǎo)致與 所分配的控制參數(shù)相關(guān)聯(lián)的顯示屬性的相應(yīng)改變。
對顯示的圖像的控制
圖4示出了在捕捉到的圖像114的上下文中示出的示例TAFFI400。捕捉 到的圖像114的所示部分包括背景區(qū)域302、手對象區(qū)域110、獨立區(qū)域112 和圖像邊界408。區(qū)域302、 110和406中的每一個都可被描述為不同的連接區(qū) 域或連接分量。TAFFI引擎115將獨立區(qū)域112與其他連接分量302和110區(qū) 分開來。
TAFFI引擎115由此可將圖像的連接分量的計算用作實現(xiàn)用于視覺顯示 器的虛擬控制器的基礎(chǔ)。更詳細而言，連接分量是圖像中的一像素子集或區(qū)域， 其中每一像素都"連接"至該子集中的每一個其他像素。術(shù)語"連接"表示這 樣一個像素集對于該像素集有可能通過遍歷屬于該集合的像素從任何其他像素到達每一個像素。當(dāng)前存在用于計算圖像中的一組連接分量的高效的技術(shù)。 連接分量技術(shù)對于確定圖像中的形狀的特性而言可以是高效的途徑，因為它們 允許檢查由整個圖像的像素中的許多像素組成的小分量集合。
計算連接分量的過程可引起對無關(guān)連接分量的檢測。這些不需要的檢測可 能混淆由TAFFI或其他示例性接口形成的相關(guān)獨立區(qū)域的判定，并且因此阻礙 虛擬控制器的實現(xiàn)。在一個實現(xiàn)中，額外的連接分量的無關(guān)檢測可通過丟棄具 有的像素數(shù)量比預(yù)定可允許閾值少的連接分量來克服。
在一個實現(xiàn)中，TAFFI引擎115驗證一經(jīng)識別的獨立區(qū)域112完全位于圖 像的邊界內(nèi)，即，完全在背景區(qū)域302的范圍之內(nèi)。有時，對大小足夠并且不 包括圖像的邊界408上的像素的獨立區(qū)域112的該有限的檢測加強了對所需獨 立區(qū)域406的可靠的標(biāo)識。在這一個實現(xiàn)中，適當(dāng)?shù)臋z測通過避免假連接分量 候選獨立區(qū)域，或不是完全位于圖像內(nèi)以及包含該圖像的邊界408上的部分的 獨立區(qū)域來實現(xiàn)。
但是，在另一實現(xiàn)中，TAFFI引擎115通過檢測獨立區(qū)域112位于捕捉到 的圖像114中的一部分以及位于越過該圖像的邊界408的屏幕之外的一部分來 檢測獨立區(qū)域112。在該實現(xiàn)中，只要獨立區(qū)域112連續(xù)到遇到和/或超過圖像 的邊界408的點，連接分量分析就繼續(xù)。這可能在形成TAFFI的手和獨立區(qū)域 112只是部分地位于照相機的視場內(nèi)，并因此只是部分地位于檢測到的圖像內(nèi) 時發(fā)生。
在一個實現(xiàn)中，TAFFI引擎115使用獨立區(qū)域112的中心來建立顯示的圖 像102中的光標(biāo)位置和光標(biāo)控制。TAFFI引擎115可以對每一個識別出的獨立 區(qū)域112執(zhí)行靜態(tài)分析，其中獨立區(qū)域跟蹤器206計算屬于每一個獨立區(qū)域112 的所有像素的"形心"或平均像素位置。該計算出的位置是對許多像素位置的 概括，導(dǎo)致對于該實現(xiàn)的穩(wěn)定性和精度。平均像素位置可以在與計算連接分量 相同的階段計算，從而產(chǎn)生以低處理成本提供快速結(jié)果的高效技術(shù)。
關(guān)于作為控制視覺顯示器的手段的獨立區(qū)域406的出現(xiàn)和消失，在一個實 現(xiàn)中屬于獨立區(qū)域112的所有像素的平均像素位置僅在獨立區(qū)域112是在重復(fù) 的檢測過程的一個間隔期間新檢測到的時候才建立光標(biāo)位置和控制。
用對獨立區(qū)域406的檢測進行的光標(biāo)控制可模仿鼠標(biāo)輸入設(shè)備106。類似于鼠標(biāo)106，用于光標(biāo)操縱的相對運動可以從由TAFFI 400形成的檢測到的獨 立區(qū)域112的當(dāng)前和過去的位置中計算出。拇指和食指聯(lián)接在一起是允許如同 鼠標(biāo)輸入設(shè)備一樣的不費力的離合(clutching)行為的自然運動。將卡爾曼過 濾器與TAFFI檢測一起使用可平滑光標(biāo)在視覺顯示器103上的運動。
示例性TAFFI引擎115支持通過在閾值時間間隔內(nèi)快速形成、展開、并 重新形成獨立區(qū)域112來選擇顯示的圖像102的對象。這些動作模仿用于"選 擇"或"執(zhí)行"功能的鼠標(biāo)按鈕的"點擊"，并且還支持從跟蹤到拖拽所選對 象的轉(zhuǎn)換。例如，拖拽可通過緊接著獨立區(qū)域112的最近一次形成模仿"鼠標(biāo) 按下"事件來實現(xiàn)。相應(yīng)的"鼠標(biāo)松開"事件在獨立區(qū)域112通過打開拇指和 食指消失時生成。例如，在獨立區(qū)域形成的時刻，可以選擇諸如視覺用戶界面 顯示上的文檔中的滾動條等對象。緊接著該選擇，可以按與可移動鼠標(biāo)106以 便在文檔中向下滾動相同的方式移動形成獨立區(qū)域112的手的位置。
TAFFI引擎115能夠提供比只模仿常規(guī)的基于鼠標(biāo)的功能更多的對視覺 顯示102的控制。獨立區(qū)域112 (連接分量)的各像素位置的均值和協(xié)方差可 通過計算像素位置的協(xié)方差矩陣的本征向量來與獨立區(qū)域112的形狀的定向橢 圓模型相關(guān)。本征值大小的平方根給出其長軸和短軸大小的空間范圍，而橢圓 的方向被確定為多至180度歧義的本征向量中的一個的反正切。所產(chǎn)生的歧義 可通過采用計算出的方向或+180度旋轉(zhuǎn)的方向來最小化與前一幀的方向差別 來解決。
TAFFI引擎115可以從由示例性TAFFI 400創(chuàng)建的獨立區(qū)域112的橢圓模
型中計算出位置、方向和縮放的同時改變。在各種實現(xiàn)中，縮放的改變也可用 于檢測手朝照相機或遠離照相機的移動。這假設(shè)形成獨立區(qū)域112的用戶的手 一般保持在與照相機104的固定距離范圍內(nèi)以使得獨立區(qū)域112的大小和形狀 僅在容差范圍內(nèi)變化，使得方向上的視覺改變對于背景區(qū)域302或鍵盤的平面 在某種程度上是有限的。在一個實現(xiàn)中， 一重要的考慮是，在整個交互過程中， 用戶必須在該用戶將手相對于照相機或鍵盤移上移下時維持獨立區(qū)域的大小 一由TAFFI400形成的橢圓形洞的大小(即，在某些實現(xiàn)中，高度的改變與獨 立區(qū)域的形狀的實際改變相混淆)。在其他實現(xiàn)中，TAFFI引擎115使用計算 機視覺邏輯來在手移上移下時補償獨立區(qū)域大小的改變。
17在一個示例性實現(xiàn)中，TAFFI引擎115使用獨立區(qū)域112的橢圓模型來單 手導(dǎo)航諸如由WINDOWS LIVE VIRTUAL EARTH web服務(wù)或其他類似的 因特網(wǎng)地圖服務(wù)(華盛頓州雷蒙德市)提供的鳥瞰和衛(wèi)星影像。通過在虛擬地 圖的整個視圖中移動而進行的導(dǎo)航可由具有在諸如桌子或鍵盤等背景區(qū)域302 中移動的獨立區(qū)域112的TAFFI 400來實現(xiàn)。整張地圖的旋轉(zhuǎn)可通過在鍵盤的 2維平面中旋轉(zhuǎn)形成該獨立區(qū)域112的手來實現(xiàn)，而放大和縮小功能可通過將 手移近或遠離照相機104來實現(xiàn)。
TAFFI引擎115可實現(xiàn)兩個或更多手對于光標(biāo)控制和導(dǎo)航的使用。逐幀對 應(yīng)策略允許每一個獨立區(qū)域112被連續(xù)地跟蹤為被照相機檢測到以供輸入的第 一、第二、第三等區(qū)域中的任一個。兩個手為了被照相機檢測而相對于背景區(qū) 域302的放置，以及手相對于背景區(qū)域302的隨后的移動更改獨立區(qū)域406的 橢圓模型的方向，并且導(dǎo)致與經(jīng)由鏈接模塊210所分配的控制參數(shù)的手部移動 的定位和位置相關(guān)聯(lián)的視覺用戶界面顯示的移動。
對與多個手或手指姿勢相對應(yīng)的多個控制參數(shù)的同時跟蹤允許各種雙手 交互。再次參考因特網(wǎng)虛擬地圖示例，用于導(dǎo)航該虛擬地圖的雙手輸入允許同 時改變顯示器103上的地圖視圖的旋轉(zhuǎn)、轉(zhuǎn)換和縮放。因為獨立區(qū)域406的位 置估算是從手的位置中導(dǎo)出的，所以該雙手技術(shù)能夠提供比單手技術(shù)所能提供 的更穩(wěn)定的運動估算。該雙手技術(shù)因此允許順時針和逆時針旋轉(zhuǎn)，其中兩個 手同時在旋轉(zhuǎn)方向上移動；在垂直或水平方向上移動整個視覺用戶界面顯示視 圖，其中兩個手在所需方向上移動；以及縮放功能，其中放大視覺用戶界面顯 示在兩個手開始靠在一起并且稍后伸展遠離另一個手時實現(xiàn)，而縮小視覺用戶 界面顯示通過將手從分開的起始位置拉攏在一起來執(zhí)行。
從獨立區(qū)域112的橢圓模型中計算出的位置、方向和縮放的同時改變可以 在除了標(biāo)準計算設(shè)備環(huán)境之外的實現(xiàn)中使用。例如，TAFFI引擎115可控制包 括桌子上的照相機和投影儀，但沒有諸如鼠標(biāo)、觸摸屏或鍵盤等附加輸入設(shè)備 的交互式桌面系統(tǒng)。用戶將手放在桌面上方，從而形成獨立區(qū)域406以便提供 操縱以及與該桌面和該表面上所顯示的材料的交互。類似的實現(xiàn)可包括將顯示 圖像投影到墻上的系統(tǒng)，其中用戶可通過擔(dān)當(dāng)TAFFI400的手和手指來控制該 顯示圖像并與其交互。例如，TAFFI引擎115可允許該用戶在投影儀演示期間更改幻燈片。
示例性方法
圖5示出了經(jīng)由手或手指姿勢來控制視覺顯示器的示例性方法500。在該 流程圖中，操作被概括成單獨的框。取決于實現(xiàn)，示例性方法500可以由硬件、 軟件、或硬件、軟件、固件等的組合來執(zhí)行，例如，由示例性虛擬控制器系統(tǒng) 100的組件和/或示例性TAFFI引擎115來執(zhí)行。
在框502處，經(jīng)由照相機104捕捉相對于背景的一個或多個手110的圖像。 對比度、色彩或亮度可以是使得能夠在手和周圍背景區(qū)域之間進行區(qū)分的像素 屬性。手相對于對比背景可更容易地傳感。傳感手的一個場景是在鍵盤108處 打字時。照相機104捕捉手110和傳感為背景區(qū)域的一部分的鍵盤108的圖像。 紅外LED照明也可用于該方法，其提供使得大多數(shù)手的膚色對于照相機104 看似相似的受控光照。
在框504處，通過二值分割將圖像分割成手對象和背景區(qū)域。例如，從圖 像中的任何其他對象或區(qū)域的像素中標(biāo)識并區(qū)分出背景區(qū)域像素。背景區(qū)域像 素然后用一值來標(biāo)記。隨后標(biāo)識圖像中的其他對象或區(qū)域的像素并將其與存儲 的背景圖像的像素值進行比較。顯著地亮于相應(yīng)的背景像素值的任何像素值都 被標(biāo)記為新的區(qū)域或圖像的一部分，并被給予不同于背景區(qū)域像素的值。圖像 的不同區(qū)域的這一區(qū)分和標(biāo)記是該圖像的二值分割。
在框506處，以重復(fù)的檢測間隔對背景的多個獨立區(qū)域進行計數(shù)。獨立區(qū) 域406被定義為通過手對象110中的一個的至少一部分在視覺上獨立于背景的 其他部分的背景302的每一部分。例如，當(dāng)一個手擔(dān)當(dāng)拇指和食指接口，即 TAFFI時，這個手的拇指和食指創(chuàng)建獨立于一般背景區(qū)域的剩余部分的封閉區(qū) 域。該封閉區(qū)域形成可向其附加用于操縱視覺顯示器的控制參數(shù)的新的獨立區(qū) 域112。在一個實現(xiàn)中，該方法測試所檢測到的獨立區(qū)域是否真正獨立，艮P， 在一種情況下，獨立區(qū)域是否具有圖像邊界上的像素。
在框508處，將用于操縱顯示器上的圖像的控制參數(shù)與每一計數(shù)的獨立區(qū) 域或其屬性相關(guān)聯(lián)。例如，由用作TAFFI的手創(chuàng)建的獨立區(qū)域112由照相機 104來傳感并且與使得用戶能夠選擇用戶界面顯示上的對象的控制參數(shù)相關(guān)。隨后，第二傳感的獨立區(qū)域112與使得用戶能夠?qū)⑾惹八x對象移至該用戶界 面顯示上的不同位置的用戶界面控制參數(shù)相關(guān)。該第一和第二獨立區(qū)域112的
快速連續(xù)傳感可能由快速形成、展開和重新形成獨立區(qū)域406產(chǎn)生，從而導(dǎo)致 與傳感的獨立區(qū)域112相關(guān)聯(lián)的類似鼠標(biāo)的"點擊"功能。
在框510處，顯示的圖像經(jīng)由控制參數(shù)與被分配給該控制參數(shù)的獨立區(qū)域 的屬性的每一改變相關(guān)地改變。例如，獨立區(qū)域112的位置可相對于傳感照相 機104向左或向右移動，并且顯示的圖像102可跟著移動。傳感的獨立區(qū)域112 與控制參數(shù)的關(guān)聯(lián)允許根據(jù)正用作TAFFI的手的移動、位置和關(guān)系來操縱顯示 的視覺圖像102。
上述方法500以及其他相關(guān)方法可以在計算機可執(zhí)行指令的一般上下文 中實現(xiàn)。 一般而言，計算機可執(zhí)行指令可包括執(zhí)行特定功能或?qū)崿F(xiàn)特定的抽象 數(shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)、過程、模塊、功能等。這些 方法還能在其中功能由通過通信網(wǎng)絡(luò)鏈接的遠程處理設(shè)備完成的分布式計算 環(huán)境中實現(xiàn)。在分布式計算環(huán)境中，計算機可執(zhí)行指令可以位于包括存儲器存 儲設(shè)備在內(nèi)的本地和遠程計算機存儲介質(zhì)中。
結(jié)論
盡管已用對結(jié)構(gòu)特征和/或方法動作專用的語言描述了示例性系統(tǒng)和方 法，但可以理解，所附權(quán)利要求書中定義的主題不必限于所述具體特征或動作。 相反，上述具體特征和動作是作為實現(xiàn)所要求保護的方法、設(shè)備、系統(tǒng)等的示 例性形式而公開的。
權(quán)利要求
1. 一種方法，包括經(jīng)由照相機檢測相對于背景的一個或多個手的圖像(502)；將所述圖像分割成手區(qū)域和背景區(qū)域(504)；每隔一段時間對所述背景的多個獨立區(qū)域進行計數(shù)(506)，其中通過所述手區(qū)域中的一個的至少一部分而在視覺上獨立于所述背景的其他部分的所述背景的每一部分都被定義為獨立區(qū)域；將用于操縱用戶界面上的顯示的圖像的控制參數(shù)與每一計數(shù)的獨立區(qū)域相關(guān)聯(lián)(508)；經(jīng)由所述控制參數(shù)與同所述控制參數(shù)相關(guān)聯(lián)的所述獨立區(qū)域的形狀和/或位置的每一改變相關(guān)地改變所述顯示的圖像(510)。
2. 如權(quán)利要求1所述的方法，其特征在于，還包括在一相關(guān)聯(lián)的獨立區(qū)域 再次變?yōu)檫B接時將控制參數(shù)與該獨立區(qū)域分離。
3. 如權(quán)利要求1所述的方法，其特征在于，所述控制參數(shù)包括當(dāng)獨立區(qū)域 在閾值時間間隔內(nèi)形成、展開、并重新形成時仿真鼠標(biāo)按鈕的動作。
4. 如權(quán)利要求1所述的方法，其特征在于，所述控制參數(shù)包括鼠標(biāo)指針的 仿真和移動。
5. 如權(quán)利要求1所述的方法，其特征在于，所述控制參數(shù)包括光標(biāo)的移動。
6. 如權(quán)利要求1所述的方法，其特征在于，所述控制參數(shù)包括所述顯示的 圖像相對于所述用戶界面的移動。
7. 如權(quán)利要求6所述的方法，其特征在于，所述移動包括以下各項之一 垂直移動、水平移動、或者旋轉(zhuǎn)移動。
8. 如權(quán)利要求1所述的方法，其特征在于，所述控制參數(shù)包括放大或縮小 所述用戶界面上的顯示的圖像的大小。
9. 如權(quán)利要求1所述的方法，其特征在于，還包括將所述控制參數(shù)與兩個 獨立區(qū)域之間的關(guān)系相關(guān)聯(lián)，每一個獨立區(qū)域都由相應(yīng)的手的圖像形成。
10. 如權(quán)利要求9所述的方法，其特征在于，所述控制參數(shù)包括與所述兩個獨立區(qū)域之間的變化的距離相關(guān)地拉伸所述顯示圖像。
11. 如權(quán)利要求9所述的方法，其特征在于，與兩個獨立區(qū)域之間的關(guān)系相關(guān)聯(lián)的控制參數(shù)控制以下動作之一 與所述兩個獨立區(qū)域之間的線的 旋轉(zhuǎn)相關(guān)地旋轉(zhuǎn)所述顯示圖像；當(dāng)兩個獨立區(qū)域都以類似的弧方向移動時以順時針或逆時針方向旋轉(zhuǎn)所述顯示的圖像；當(dāng)兩個獨立區(qū)域以相同的方向同時移動時移動整個顯示的圖像；以及 當(dāng)獨立區(qū)域之間的距離改變時縮放所述顯示的圖像。
12. 如權(quán)利要求l所述的方法，其特征在于，所述手區(qū)域中的一個的拇 指區(qū)域和食指區(qū)域定義拇指和食指接口 (TAFFI)，所述拇指區(qū)域和所述食指 區(qū)域在視覺上互相接觸以便在視覺上將所述背景的一部分與所述背景的其他 部分斷開，以便形成獨立區(qū)域。
13. —種系統(tǒng)，包括 檢測包括相對于背景的一個或多個手的圖像的圖像傳感器(104); 將所述圖像分割成一個或多個手區(qū)域和所述背景的圖像分割器(204); 每隔一段時間對所述背景的多個獨立區(qū)域進行計數(shù)的跟蹤器(206)，其中通過所述手區(qū)域中的一個的至少一部分在視覺上獨立于所述背景的其他 部分的所述背景的每-一部分都被定義為獨立區(qū)域；將用于操縱用戶界面上的顯示的圖像的控制參數(shù)與每一計數(shù)的獨立區(qū)域相關(guān)聯(lián)的鏈接模塊(210);并且其中與所述控制參數(shù)相關(guān)聯(lián)的所述獨立區(qū)域的形狀、位置或兩者的每一 改變都經(jīng)由所述控制參數(shù)修改所述顯示的圖像。
14. 如權(quán)利要求13所述的系統(tǒng)，其特征在于，當(dāng)所述獨立區(qū)域 再次變?yōu)檫B接時所述鏈接模塊分離相應(yīng)的控制參數(shù)。
15. 如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述鏈接模塊關(guān)聯(lián)當(dāng)獨立區(qū)域在閾值時間間隔內(nèi)形成、展開、并重新形成時仿真鼠標(biāo)按鈕的動作的控 制參數(shù)。
16. 如權(quán)利要求13所述的系統(tǒng)，其特征在于，所述鏈接模塊關(guān)聯(lián)仿真 視覺指示符的移動的控制參數(shù)，所述視覺指示符選自由鼠標(biāo)指針圖像、光標(biāo)圖 像和所述顯示圖像的至少一部分組成的一組視覺指示符，并且其中所述移動包 括選自由垂直移動、水平移動、旋轉(zhuǎn)移動、放大移動、以及縮小移動組成的一 組移動的移動。
17. 如權(quán)利要求13所述的方法，其特征在于，所述鏈接模塊將所述控 制參數(shù)與兩個獨立區(qū)域之間的關(guān)系相關(guān)聯(lián)，每一個獨立區(qū)域都由相應(yīng)的手的圖 像形成。
18. 如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述鏈接模塊 關(guān)聯(lián)與所述兩個獨立區(qū)域之間的變化的距離相關(guān)地拉伸所述顯示的圖像的控制參數(shù)。
19. 如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述鏈接模塊 關(guān)聯(lián)與所述兩個獨立區(qū)域之間的線的旋轉(zhuǎn)相關(guān)地旋轉(zhuǎn)所述顯示的圖像的控制參數(shù)。
20. —種用于經(jīng)由分配給手的移動的控制參數(shù)來改變用戶界面上的顯 示的圖像的系統(tǒng)，所述系統(tǒng)包括用于檢測相對于背景的一個或多個手的圖像的裝置(104);用于將所述圖像分割成一個或多個手區(qū)域和所述背景的裝置(204); 用于每隔一段時間對所述背景的多個獨立區(qū)域進行計數(shù)的裝置(206)，其中通過手區(qū)域的至少一部分在視覺上獨立于所述背景的其他部分的所述背 景的每一部分都被定義為獨立區(qū)域；用于將用于操縱用戶界面上的顯示的圖像的控制參數(shù)與每一計數(shù)的獨 立區(qū)域相關(guān)聯(lián)并且經(jīng)由所述控制參數(shù)與同所述控制參數(shù)相關(guān)聯(lián)的所述獨立區(qū) 域的形狀和/或位置的每一改變相關(guān)地改變所述顯示的圖像的裝置(210)。
全文摘要
描述了用于視覺顯示的虛擬控制器。在一個實現(xiàn)中，照相機捕捉相對于背景的手的圖像。該圖像被分割成手區(qū)域和背景區(qū)域。各種手和手指姿勢將背景的各部分隔離成各獨立區(qū)域，然后將用于操縱視覺顯示的控制參數(shù)分配給這些區(qū)域。多個控制參數(shù)可以與由兩個手形成的、用于高級控制的多個獨立區(qū)域的屬性相關(guān)聯(lián)，該高級控制包括點擊、選擇、執(zhí)行、水平移動、垂直移動、卷屏、拖拽、旋轉(zhuǎn)移動、縮放、最大化、最小化、執(zhí)行文件功能、以及執(zhí)行菜單選項的同時發(fā)生的功能。
文檔編號G06F3/033GK101501614SQ200780029522
公開日2009年8月5日 申請日期2007年5月29日 優(yōu)先權(quán)日2006年8月8日
發(fā)明者A·D·威爾森, M·J·辛格萊爾 申請人:微軟公司