帶有多個(gè)視圖、顯示器以及物理學(xué)的姿勢(shì)輸入的制作方法【專(zhuān)利摘要】本發(fā)明描述了帶有多個(gè)顯示器、視圖，以及物理學(xué)的姿勢(shì)輸入。在一個(gè)示例中，方法包括生成在相對(duì)于用戶和要由用戶操縱的虛擬對(duì)象的不同的位置具有多個(gè)對(duì)象的三維空間，在顯示器上呈現(xiàn)具有多個(gè)不同的對(duì)象的至少一部分的顯示區(qū)，檢測(cè)用戶針對(duì)虛擬對(duì)象的懸浮姿勢(shì)，虛擬對(duì)象位于顯示區(qū)之外，基于懸浮姿勢(shì)，生成虛擬對(duì)象在三維空間的軌跡，軌跡包括與三維空間中的多個(gè)對(duì)象的對(duì)象的交互，以及，在顯示區(qū)，呈現(xiàn)生成的軌跡的一部分?！緦?zhuān)利說(shuō)明】帶有多個(gè)視圖、顯示器以及物理學(xué)的姿勢(shì)輸入[0001]領(lǐng)域[0002]本描述涉及計(jì)算機(jī)系統(tǒng)中的用戶輸入方法和顯示，尤其涉及在多個(gè)顯示器或三維顯示系統(tǒng)中表示用戶姿勢(shì)。[0003]背景[0004]開(kāi)發(fā)了計(jì)算機(jī)系統(tǒng)輸入以包括懸浮姿勢(shì)（airgesture)和觸摸屏姿勢(shì)作為輸入。懸浮姿勢(shì)會(huì)涉及用戶移動(dòng)他們的身體并讓對(duì)應(yīng)的動(dòng)作在顯示器上發(fā)生或使對(duì)應(yīng)的命令由計(jì)算系統(tǒng)執(zhí)行。當(dāng)前懸浮姿勢(shì)技術(shù)的一種形式使用可移動(dòng)傳感器作為控制器或作為游戲控制臺(tái)。傳感器被持握在手中，附接到身體，或由手、腳或身體的其他部位操縱（諸如在任天堂公司的Wii遙控器中，Sony公司的PlayStationMove(移動(dòng)游戲站）中，以及各種智能電話，以及手持式游戲設(shè)備中）。懸浮姿勢(shì)技術(shù)的另一形式使用3D相機(jī)和麥克風(fēng)技術(shù)（諸如在微軟公司的MicrosoftKinect中以及Sony公司的PlayStationEye(游戲站之眼）中），以將人體運(yùn)動(dòng)近似為模態(tài)輸入源。[0005]電視機(jī)，計(jì)算機(jī)，以及便攜式設(shè)備顯示器是用于查看懸浮姿勢(shì)模態(tài)輸入對(duì)圖形環(huán)境的影響的典型反饋機(jī)制。相機(jī)收集用于姿勢(shì)檢測(cè)的視頻輸入，并且利用在游戲控制臺(tái)或個(gè)人計(jì)算機(jī)上運(yùn)行的軟件來(lái)解釋視頻輸入。相機(jī)陣列可允許相機(jī)感應(yīng)深度。這提供了識(shí)別人的身體相對(duì)于相機(jī)的位置或距離的能力。相機(jī)陣列允許朝向相機(jī)移動(dòng)以及遠(yuǎn)離相機(jī)移動(dòng)的附加懸浮姿勢(shì)。[0006]作為另一形式的姿勢(shì)，游戲控制臺(tái)和諸如臺(tái)式機(jī)、筆記本、平板和智能電話之類(lèi)的計(jì)算機(jī)的屏幕結(jié)合了對(duì)觸摸輸入作出響應(yīng)的觸摸屏技術(shù)。顯示屏幕上的觸摸和掃掠姿勢(shì)被用作用于執(zhí)行將對(duì)象從一個(gè)屏幕（例如，手持式控制臺(tái)屏幕）移動(dòng)到另一屏幕（例如，電視屏幕）的命令的用戶輸入。例如，當(dāng)與PlayStation3(游戲站3)控制臺(tái)一起使用PlayStationPortable(便攜式游戲站）游戲控制臺(tái)時(shí)，實(shí)現(xiàn)了這樣的特征，兩者都是由Sony公司銷(xiāo)售的。在筆記本電腦的跟蹤板上，以及在外設(shè)鼠標(biāo)或外部跟蹤板上的表面上也提供了觸摸和掃掠姿勢(shì)。[0007]附圖簡(jiǎn)述[0008]本發(fā)明的各實(shí)施例是作為示例說(shuō)明的，而不僅限于各個(gè)附圖的圖形，在附圖中，類(lèi)似的參考編號(hào)引用類(lèi)似的元件。[0009]圖1A是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的應(yīng)用程序的第一視圖和應(yīng)用于該視圖的用戶姿勢(shì)的顯示器的圖示。[0010]圖1B是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的應(yīng)用程序的第二視圖和應(yīng)用于該視圖的用戶姿勢(shì)的顯示器的圖示。[0011]圖1B是同時(shí)示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的應(yīng)用程序的第一和第二視圖和應(yīng)用于視圖中的一個(gè)的用戶姿勢(shì)的兩個(gè)顯示器的圖示。[0012]圖2A是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的應(yīng)用程序的第三視圖和應(yīng)用于該視圖的用戶姿勢(shì)的顯示器的圖示。[0013]圖2B是同時(shí)示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的應(yīng)用程序的第三視圖的不同的部分和應(yīng)用于該視圖的用戶姿勢(shì)的兩個(gè)顯示器的圖示。[0014]圖3是根據(jù)本發(fā)明的一個(gè)實(shí)施例的基于應(yīng)用程序的選擇的視圖來(lái)解釋姿勢(shì)的流程圖。[0015]圖4是根據(jù)本發(fā)明的一個(gè)實(shí)施例的基于應(yīng)用程序的選擇的視圖和選擇的顯示來(lái)解釋姿勢(shì)的流程圖。[0016]圖5是根據(jù)本發(fā)明的另一個(gè)實(shí)施例的基于應(yīng)用程序的選擇的視圖和選擇的顯示來(lái)解釋姿勢(shì)的流程圖。[0017]圖6是根據(jù)本發(fā)明的一個(gè)實(shí)施例的使用應(yīng)用程序的交互物理學(xué)來(lái)解釋多個(gè)顯示器上的姿勢(shì)的流程圖。[0018]圖7是根據(jù)本發(fā)明的另一個(gè)實(shí)施例的使用應(yīng)用程序的交互物理學(xué)來(lái)解釋多個(gè)顯示器上的姿勢(shì)的流程圖。[0019]圖8是根據(jù)本發(fā)明的一個(gè)實(shí)施例的適用于實(shí)現(xiàn)本發(fā)明的過(guò)程的計(jì)算機(jī)系統(tǒng)的框圖。[0020]圖9是根據(jù)本發(fā)明的一個(gè)實(shí)施例的適用于實(shí)現(xiàn)本發(fā)明的過(guò)程的圖8的計(jì)算機(jī)系統(tǒng)的替換的視圖的框圖。[0021]詳細(xì)描述[0022]盡管姿勢(shì)，無(wú)論是懸浮姿勢(shì)還是觸摸姿勢(shì)，在計(jì)算環(huán)境中都得到越來(lái)越多的應(yīng)用，但是，它們?nèi)匀狈χ甘驹O(shè)備的共同特征。它們不一定指出姿勢(shì)指向哪里。對(duì)于多個(gè)窗口，屏幕，或顯示器，并不總是清楚，姿勢(shì)指向哪里。在下面所描述的示例中，取決于由應(yīng)用程序或計(jì)算系統(tǒng)呈現(xiàn)的當(dāng)前視圖，計(jì)算系統(tǒng)以不同的方式解釋用戶姿勢(shì)。計(jì)算系統(tǒng)確定用戶正在面向或查看的設(shè)備、窗口，或屏幕來(lái)確定姿勢(shì)指向的對(duì)象。可以使用多個(gè)顯示器來(lái)同時(shí)示出同一應(yīng)用程序或游戲的不同的視圖，從而允許用戶從不同的角度協(xié)調(diào)姿勢(shì)輸入。類(lèi)似方法可以應(yīng)用于語(yǔ)音命令。[0023]盡管可以使用眼睛跟蹤來(lái)配對(duì)語(yǔ)音命令與計(jì)算機(jī)顯示器上的對(duì)象，但是，多個(gè)設(shè)備可以具有同時(shí)呈現(xiàn)不同的對(duì)象的顯示器。顯示器也可以以不同的方式呈現(xiàn)相同對(duì)象。取決于正在顯示在屏幕上的應(yīng)用程序的當(dāng)前視圖并取決于用戶正在看著哪一個(gè)屏幕，系統(tǒng)可以不同地對(duì)用戶懸浮、觸摸，或語(yǔ)音姿勢(shì)作出反應(yīng)。然后，可以將懸浮和語(yǔ)音姿勢(shì)指向合適的視圖。[0024]另外，還可以使用懸浮、觸摸，以及語(yǔ)音姿勢(shì)來(lái)在未被顯示的虛擬對(duì)象和屏幕上導(dǎo)致虛擬對(duì)象上的物理效應(yīng)的元素之間創(chuàng)建交互。在這樣的情況下，虛擬對(duì)象可以在三維空間中在所顯示的屏幕平面的前面和后面交互。顯示的對(duì)象可以顯示在多個(gè)不同的屏幕中的任何一個(gè)上。[0025]三維空間可被表征為例如計(jì)算機(jī)游戲環(huán)境中的目標(biāo)、障礙物，以及場(chǎng)地，其中，由于那些對(duì)象的物理學(xué)特征，它們與應(yīng)用于虛擬對(duì)象的用戶姿勢(shì)進(jìn)行交互。三維物理效應(yīng)可以在此三維空間中被表示。在此三維空間中，游戲及其他應(yīng)用程序可以將來(lái)自目標(biāo)、障礙物，以及場(chǎng)地的力與來(lái)自懸浮姿勢(shì)的力相組合，以提供與用戶的更復(fù)雜的交互性或逼真的交互。[0026]圖1A是具有耦合到相機(jī)103的陣列和麥克風(fēng)105的陣列的顯示器101的懸浮姿勢(shì)系統(tǒng)的圖示。在所示示例中，有兩個(gè)相機(jī)和兩個(gè)麥克風(fēng)，然而，也可以使用更大或更小數(shù)量的相機(jī)或麥克風(fēng)，以便更精確地或較不精確地感應(yīng)位置和方向。顯示器可以是基于任何類(lèi)型的顯示技術(shù)的直接視圖或投影顯示器。如圖所示，相機(jī)麥克風(fēng)陣列被定位在顯示器上并附接到顯示器。然而，可以使用任何其他位置。相機(jī)和麥克風(fēng)可以彼此分開(kāi)，并與顯示器分開(kāi)。可在具有顯示器的位置的知識(shí)下校準(zhǔn)或配置陣列，以便補(bǔ)償偏置位置。顯示器可以是便攜式計(jì)算機(jī)、游戲控制臺(tái)、手持式智能電話、個(gè)人數(shù)字助理，或媒體播放器的一部分?？闪磉x地，顯示器可以是大平板電視顯示器或計(jì)算機(jī)監(jiān)視器。[0027]在所示出的示例中，顯示器示出了側(cè)視圖中的海面下的環(huán)境的三艘潛水艇109。被示為手107的用戶執(zhí)行懸浮姿勢(shì)以指示所顯示的潛水艇處的魚(yú)雷111。由相機(jī)檢測(cè)用戶懸浮姿勢(shì)，以執(zhí)行發(fā)射魚(yú)雷的命令。系統(tǒng)使用包含可能的姿勢(shì)的海面下的環(huán)境的姿勢(shì)庫(kù)。當(dāng)手執(zhí)行姿勢(shì)時(shí)，系統(tǒng)將觀察到的姿勢(shì)與姿勢(shì)庫(kù)進(jìn)行比較，查找最近的姿勢(shì)，然后，查詢相關(guān)聯(lián)的命令，諸如發(fā)射魚(yú)雷。[0028]圖1B示出了帶有相同相機(jī)和麥克風(fēng)陣列和相同潛水艇109的相同顯示器101。然而，在圖1B中，潛水艇是從頂部查看的，例如，從水面或從淺的深度向下朝著潛水艇查看。用戶107正在執(zhí)行相同懸浮姿勢(shì)，該懸浮姿勢(shì)相反導(dǎo)致向下朝潛水艇釋放深水炸彈（depthcharge)113?？梢钥闯?，取決于潛水艇的視圖是從側(cè)面觀看的，如在圖1A中，或從頂部觀看的，如在圖1B中，如圖所示的，相同手指夾緊-釋放姿勢(shì)可以導(dǎo)致不同的動(dòng)作。在圖1A的示例中，從側(cè)面觀看的用戶姿勢(shì)可以作出帶有夾緊和釋放的投擲姿勢(shì)，以導(dǎo)致魚(yú)雷朝著目標(biāo)進(jìn)攻。在圖1B中，相同夾緊釋放會(huì)導(dǎo)致深水炸彈朝向屏幕上的目標(biāo)丟放。盡管姿勢(shì)相同，但是，系統(tǒng)可以確定當(dāng)前視圖是從側(cè)面觀看的還是從頂部觀看的，以判斷姿勢(shì)是否被解釋為魚(yú)雷的釋放或解釋為深水炸彈的釋放。結(jié)果，用戶可以使用執(zhí)行起來(lái)簡(jiǎn)單的直觀的姿勢(shì)，以導(dǎo)致不同的命令由系統(tǒng)執(zhí)行。[0029]圖1C并排示出了相同的兩個(gè)顯示器。在所示示例中，兩個(gè)顯示器都具有相機(jī)和麥克風(fēng)陣列，然而，也可以使用單個(gè)相機(jī)和麥克風(fēng)陣列。這些陣列可以連接到顯示器或位于不同的位置。在此示例中，每一個(gè)顯示器l〇la和101b都示出了相同的三艘潛水艇，一個(gè)示出了從側(cè)面觀看的潛水艇l〇9a，而另一個(gè)示出了從頂部觀看的潛水艇109b。用戶可以對(duì)相同潛水艇投擲魚(yú)雷或投放深水炸彈113,這取決于正在使用哪一個(gè)屏幕，或當(dāng)時(shí)哪一個(gè)屏幕是活躍的。如圖所示，環(huán)境呈現(xiàn)兩個(gè)顯示器，兩個(gè)顯示器同時(shí)呈現(xiàn)相同的三艘潛水艇。諸如夾緊-釋放姿勢(shì)之類(lèi)的姿勢(shì)不會(huì)指出用戶針對(duì)哪一個(gè)顯示器，以致于系統(tǒng)不知道是產(chǎn)生魚(yú)雷命令還是深水炸彈命令。在此示例中，一個(gè)或兩個(gè)屏幕上的相機(jī)陣列可以確定用戶針對(duì)哪一個(gè)屏幕。例如，通過(guò)跟蹤用戶臉部、眼睛聚焦，或語(yǔ)音方向，系統(tǒng)可以確定用戶正在將注意力集中在哪一個(gè)屏幕，然后，對(duì)于該屏幕，激活對(duì)應(yīng)的命令。[0030]相同方法也可以和觸摸屏和觸摸表面姿勢(shì)一起使用，以及與語(yǔ)音命令一起使用，而并非徒手懸浮姿勢(shì)。用戶可以具有觸摸屏或觸摸表面并對(duì)這些表面執(zhí)行姿勢(shì)。再次，為了確定姿勢(shì)將應(yīng)用于哪一個(gè)視圖，系統(tǒng)可以確定用戶向哪里聚焦。如果用戶正在聚焦于側(cè)視圖，那么，對(duì)觸摸表面上的姿勢(shì)會(huì)導(dǎo)致魚(yú)雷被啟動(dòng)。而如果用戶正在聚焦于頂視圖，那么，姿勢(shì)會(huì)導(dǎo)致深水炸彈被啟動(dòng)。圖1A和圖1B的兩個(gè)視圖可以表示單個(gè)應(yīng)用程序的兩個(gè)不同的視圖。在圖1C中，應(yīng)用程序同時(shí)生成兩個(gè)視圖，而在圖1A和1B中，一次只能看到一個(gè)視圖。在任一示例中，系統(tǒng)可以確定當(dāng)前視圖正被用戶和當(dāng)前顯示器使用。[0031]如果只有一個(gè)顯示器，那么，使用單個(gè)視圖，然而，單個(gè)顯示器可以在一個(gè)顯示器上呈現(xiàn)不同的窗口。例如，圖1A的顯示器可以呈現(xiàn)于顯示器的一個(gè)窗口中，而圖1B的顯示器可以呈現(xiàn)于顯示器的另一窗口中。在這樣的示例中，103的相機(jī)陣列可以確定用戶聚焦于兩個(gè)窗口中的哪一個(gè)，然后，執(zhí)行用戶的姿勢(shì)的合適的命令。[0032]圖2A示出了不同的屏幕顯示。在圖2A中，帶有相同相機(jī)103和麥克風(fēng)105陣列的相同顯示器101呈現(xiàn)不同的視圖。在此示例中，用戶107正在使用懸浮姿勢(shì)來(lái)在屏幕上投擲虛擬宇宙飛船。宇宙飛船在它從用戶的懸浮姿勢(shì)行駛某個(gè)距離之后出現(xiàn)在屏幕上，并且其行為由諸如投擲之類(lèi)的用戶的姿勢(shì)以及由屏幕上的對(duì)象來(lái)管制。在所示示例中，有被若干個(gè)月球123圍繞的大行星121。已經(jīng)向用戶呈現(xiàn)了行星上的目標(biāo)125,正在飛行的宇宙飛船127正在逼近該目標(biāo)125。[0033]在圖2A的示例中，行星和月球中的每一個(gè)都具有相對(duì)于彼此的大小，當(dāng)宇宙飛船被朝向目標(biāo)125投擲時(shí)，大小決定其重力。月球和行星由于它們的重力場(chǎng)而改變宇宙飛船的行駛的速度和方向。結(jié)果，用戶可以打算直接向目標(biāo)投擲這些宇宙飛船，但是，它們可能會(huì)因附近的月球而偏離航向，或者它們可能會(huì)進(jìn)入圍繞行星或月球的軌道，而不實(shí)際直接到達(dá)目標(biāo)。[0034]在圖2A的示例中，屏幕顯示可以呈現(xiàn)由系統(tǒng)所生成的三維空間的一部分。在此三維空間中，對(duì)象出現(xiàn)在屏幕上的前景和背景中。這些可以使用導(dǎo)致針對(duì)對(duì)象的感知更接近于和遠(yuǎn)離用戶的快門(mén)式眼鏡或透鏡狀像素呈現(xiàn)在三維顯示器上。對(duì)象也可以使用透視呈現(xiàn)在二維顯示器上。在兩個(gè)示例中，屏幕表面表示z軸上朝向或遠(yuǎn)離用戶的特定平面。屏幕位于此z軸上的一個(gè)點(diǎn)，并且由用戶投射的對(duì)象在距屏幕的平面的某個(gè)距離處開(kāi)始。[0035]當(dāng)用戶朝著屏幕投擲對(duì)象時(shí)，它首先是用戶看不見(jiàn)的虛擬對(duì)象。隨著它到達(dá)三維空間中的屏幕的平面，它在屏幕上表現(xiàn)為顯示的對(duì)象。在它到達(dá)屏幕的平面之后，它持續(xù)到可以被表示為屏幕上的遙遠(yuǎn)的點(diǎn)的背景。[0036]與屏幕上的對(duì)象的交互可以通過(guò)在三維空間中包括在屏幕上未示出的附加的對(duì)象來(lái)進(jìn)一步增強(qiáng)。結(jié)果，用戶可以朝向目標(biāo)125投擲宇宙飛船127,并發(fā)現(xiàn)其航向和速度在它到達(dá)屏幕的平面之前已經(jīng)改變。這些對(duì)象以及航向的改變將不會(huì)在屏幕上示出。然而，當(dāng)宇宙飛船到達(dá)屏幕的平面時(shí)，將示出效果。[0037]圖2B是圖2A的相同的顯示器和屏幕的圖示。然而，添加了附加的屏幕131。此屏幕被示為諸如智能電話或便攜式游戲系統(tǒng)之類(lèi)的便攜式設(shè)備，然而，它可以是任何其他類(lèi)型的顯示器，包括與主顯示器101相同類(lèi)型的顯示器。在此示例中，小顯示器131被置于主大顯示器101的前面。系統(tǒng)可以確定小屏幕131的位置，并呈現(xiàn)位于小屏幕的平面中的三維空間的一部分。如此，例如，在圖2B中，用戶107朝向行星121發(fā)射宇宙飛船127,并特別是向該行星上的目標(biāo)125處。在宇宙飛船被投擲之后，它首先出現(xiàn)在小屏幕131上。[0038]如圖所示，在主屏幕101上不可見(jiàn)的對(duì)象129在小屏幕上可見(jiàn)。此對(duì)象129是可以向宇宙飛船127施加重力或其他力的另一月球的形式。隨著宇宙飛船在三維空間中持續(xù)，它將離開(kāi)小顯示器131，且不久之后，在大顯示器101上顯示出來(lái)。小屏幕的添加給此特定類(lèi)型的游戲添加了新維度。相機(jī)陣列103或某種其他接近度感應(yīng)系統(tǒng)可實(shí)時(shí)地確定小屏幕的位置。然后，用戶可以四處移動(dòng)小屏幕以看到未顯示在主屏幕101上的對(duì)象。結(jié)果，在圖2A的示例中，在投擲宇宙飛船127時(shí)，如果宇宙飛船的航向和速度顯著改變，則用戶可以使用小屏幕131來(lái)查找哪些對(duì)象影響了其路徑并相應(yīng)地補(bǔ)償?？梢栽趜軸上的不同的平面中移動(dòng)小屏幕，以看到什么位于大屏幕101的前面?？梢允褂妙?lèi)似方法來(lái)看到什么在大屏幕的芳邊或后面。[0039]在圖2B的示例中也可以使用上文參考圖1C所討論的方法。在例如智能電話的情況下，小屏幕131也將配備有面向用戶的一個(gè)或多個(gè)相機(jī)和麥克風(fēng)。盡管這些通常用于視頻會(huì)議和電話語(yǔ)音呼叫中，但是，相機(jī)和麥克風(fēng)可以用于確定用戶的位置、其他顯示器的位置，看見(jiàn)和解釋姿勢(shì)。類(lèi)似地，可以使用小屏幕131和大屏幕101上的相機(jī)來(lái)確定用戶的注意力被聚焦哪里，并根據(jù)所使用的特定顯示器，解釋?xiě)腋∽藙?shì)或其他姿勢(shì)。如此，例如，代替示出三維空間的不同的部分，小屏幕131可以用于示出不同的視圖，如在圖1C的示例中那樣。[0040]圖3是用于使用如圖1和2所示的顯示器和用戶配置的示例處理流程。在圖3中，過(guò)程開(kāi)始，且用戶啟動(dòng)應(yīng)用程序，該應(yīng)用程序可以是游戲或可以對(duì)其使用姿勢(shì)和多個(gè)顯示器的任何其他應(yīng)用程序。在303,系統(tǒng)呈現(xiàn)應(yīng)用程序的默認(rèn)視圖。此默認(rèn)可以以各種不同的方式來(lái)確定。在305,系統(tǒng)激活默認(rèn)視圖的姿勢(shì)庫(kù)。在此情況下，當(dāng)前視圖是默認(rèn)視圖，如此，此姿勢(shì)庫(kù)可以默認(rèn)地加載?？梢砸愿鞣N不同的方式形成姿勢(shì)庫(kù)。在一個(gè)示例中，姿勢(shì)庫(kù)是查詢表形式的，其中，特定相機(jī)傳感器點(diǎn)連接到程序可以執(zhí)行的不同的命令。在上文所討論的示例中，類(lèi)似的姿勢(shì)可以作為投擲魚(yú)雷、啟動(dòng)深水炸彈，或投擲宇宙飛船的命令來(lái)執(zhí)行，這取決于向用戶呈現(xiàn)的特定視圖?？梢允褂脦?kù)中的范圍廣泛的不同的姿勢(shì)來(lái)執(zhí)行不同的命令。[0041]在307,系統(tǒng)等待以判斷是否已經(jīng)接收到姿勢(shì)。此姿勢(shì)可以通過(guò)相機(jī)、通過(guò)觸摸表面、通過(guò)觸摸屏接收，或者可以在麥克風(fēng)中接收語(yǔ)音姿勢(shì)。如果接收到姿勢(shì)，那么，過(guò)程行進(jìn)至框311，在那里，將姿勢(shì)與加載的當(dāng)前庫(kù)匹配。系統(tǒng)將姿勢(shì)與庫(kù)中的一個(gè)姿勢(shì)匹配，然后，查找對(duì)應(yīng)的命令。[0042]在313,執(zhí)行此命令，而在315,修改顯示，以在執(zhí)行的命令的屏幕上顯示動(dòng)作。在執(zhí)行姿勢(shì)的命令之后，在317,系統(tǒng)檢測(cè)視圖中是否有變化。視圖的變化對(duì)應(yīng)于顯示器上的不同的窗口或不同的顯示器。如果檢測(cè)到視圖的變化，那么，過(guò)程著手呈現(xiàn)視圖中的變化，然后，返回到框305,以改變姿勢(shì)庫(kù)以對(duì)應(yīng)于視圖中的變化。如果沒(méi)有檢測(cè)到視圖中的變化，那么，在307,系統(tǒng)繼續(xù)等待新用戶姿勢(shì)。如果接收到用戶姿勢(shì)，那么，如前所述，在311，將姿勢(shì)與當(dāng)前加載的庫(kù)匹配。如果沒(méi)有接收到姿勢(shì)，那么，系統(tǒng)轉(zhuǎn)到317以判斷是否檢測(cè)到視圖中的變化。此周期可以重復(fù)以接收附加的用戶姿勢(shì)，并查看變化，以在系統(tǒng)的使用過(guò)程提供用戶交互。[0043]圖4示出了用于在應(yīng)用程序中使用多個(gè)視圖和多個(gè)顯示器的替換的流程圖。在401，啟動(dòng)系統(tǒng)，并啟動(dòng)應(yīng)用程序。在403,呈現(xiàn)應(yīng)用程序的默認(rèn)視圖。在405,確定活動(dòng)顯示器。這可以通過(guò)確定用戶的焦點(diǎn)或注意力來(lái)確定。在一個(gè)示例中，相機(jī)陣列確定用戶正看著哪個(gè)方向。例如，相機(jī)可以檢測(cè)臉并確定臉的角度以判斷用戶是否正在直接看一個(gè)顯示器或另一個(gè)顯示器。如在圖1C的示例中，這可以使用每一個(gè)顯示器的單獨(dú)的相機(jī)陣列進(jìn)行?？闪磉x地，單個(gè)相機(jī)陣列可以判斷用戶是否正在看一個(gè)顯示器或另一個(gè)顯示器。在一個(gè)示例中，相機(jī)陣列確定用戶的瞳孔的位置以確定用戶正在向哪個(gè)方向看。在另一個(gè)示例中，相機(jī)陣列確定臉正在指向哪一方向?？梢允褂闷渌脩魟?dòng)作來(lái)確定哪一個(gè)顯示器是活動(dòng)顯示器。例如，用戶可以指向不同的顯示器，在空中作出刷的運(yùn)動(dòng)或各種其他姿勢(shì)來(lái)指出哪一個(gè)顯示器應(yīng)該是活躍顯示器。[0044]在407,激活當(dāng)前視圖的姿勢(shì)庫(kù)和當(dāng)前顯示器。系統(tǒng)加載適用于該顯示器和該視圖的輸入識(shí)別庫(kù)。在409,系統(tǒng)判斷是否已經(jīng)接收到用戶姿勢(shì)，如果已經(jīng)接收到用戶姿勢(shì)，那么，在411，將此姿勢(shì)與當(dāng)前庫(kù)匹配。在413執(zhí)行對(duì)應(yīng)的命令，而在415生成修改的顯示。如果沒(méi)有接收到用戶姿勢(shì)，那么，過(guò)程快進(jìn)以在417判斷是否檢測(cè)到視圖的變化。如果沒(méi)有檢測(cè)到視圖的變化，那么，系統(tǒng)返回以在405確定活動(dòng)顯示器。如果檢測(cè)到視圖的變化，那么，在419呈現(xiàn)改變的視圖，且過(guò)程返回以確定顯示器的動(dòng)作。[0045]圖4的處理流程可使系統(tǒng)將姿勢(shì)庫(kù)與特定視圖以及特定顯示器匹配。結(jié)果，應(yīng)用程序可以呈現(xiàn)多個(gè)視圖和多個(gè)顯示器，并改變用戶姿勢(shì)的效果，這取決于當(dāng)前視圖和當(dāng)前顯示器。在替換實(shí)施例中，可以只向用戶呈現(xiàn)不同的視圖或不同的顯示，但不是兩者，這取決于實(shí)現(xiàn)。[0046]圖5示出了用于與不同的顯示器一起使用懸浮姿勢(shì)的簡(jiǎn)化處理流程。在501，過(guò)程啟動(dòng)，接收顯示器選擇。顯示器選擇可以通過(guò)利用臉部檢測(cè)或眼睛跟蹤來(lái)確定用戶正在看著哪里，或確定用戶正在通過(guò)麥克風(fēng)陣列向哪一個(gè)方向說(shuō)話來(lái)進(jìn)行，或者用戶可以通過(guò)語(yǔ)音或懸浮命令來(lái)指出特定顯示器。在503,接收懸浮姿勢(shì)。在505,確定選擇的顯示器的當(dāng)前視圖。在507,基于所選顯示器的當(dāng)前視圖，選擇命令，且在509,執(zhí)行所選命令。重復(fù)此過(guò)程，以提供用戶與顯示器以及與所提供的視圖中的應(yīng)用程序的重復(fù)的交互。[0047]參考圖6,應(yīng)用程序可以包括與姿勢(shì)庫(kù)的各種交互物理學(xué)以呈現(xiàn)用戶與不同的視圖的交互。在601，啟動(dòng)應(yīng)用程序。在603,呈現(xiàn)默認(rèn)視圖。在605,激活當(dāng)前視圖的姿勢(shì)庫(kù)。在檢測(cè)到姿勢(shì)時(shí)，與要執(zhí)行的對(duì)應(yīng)的命令一起，將相關(guān)姿勢(shì)模板加載到存儲(chǔ)器中。[0048]在607,系統(tǒng)判斷是否可以檢測(cè)到任何附加的顯示器。如果是，那么，在621確定此附加的顯示器的位置。使用相機(jī)RF(射頻）或IR(紅外線）傳感器來(lái)計(jì)算它。在623,基于其位置，在此附加的顯示器上呈現(xiàn)視圖。過(guò)程返回，以在609判斷是否接收到用戶姿勢(shì)。如果沒(méi)有接收到用戶姿勢(shì)，那么，當(dāng)過(guò)程繼續(xù)在后臺(tái)等待時(shí)，另外的過(guò)程可以繼續(xù)檢測(cè)附加的顯示器和檢測(cè)當(dāng)前視圖。其他過(guò)程也可以同時(shí)運(yùn)行以檢測(cè)哪一個(gè)顯示器是活躍的，如在上面的示例中所描述的。[0049]當(dāng)在609接收到姿勢(shì)時(shí)，隨后，在611，將姿勢(shì)與當(dāng)前庫(kù)匹配。用戶可以使用姿勢(shì)來(lái)選擇拋射體、啟動(dòng)拋射體，改變配置設(shè)置等等。當(dāng)姿勢(shì)已經(jīng)匹配當(dāng)前加載的姿勢(shì)庫(kù)時(shí)，那么，選擇命令，且在613,根據(jù)姿勢(shì)的參數(shù)，修改命令。如此，例如，系統(tǒng)可以使用其他類(lèi)型的懸浮姿勢(shì)或觸摸表面姿勢(shì)，來(lái)測(cè)量手的速度、手的移動(dòng)的角度，以及手的釋放點(diǎn)，或類(lèi)似的參數(shù)。然后，將這些參數(shù)與來(lái)自姿勢(shì)庫(kù)的命令相加，并且在615,使用交互物理學(xué)，確定結(jié)果產(chǎn)生的動(dòng)作。[0050]通過(guò)用戶的姿勢(shì)給予由懸浮姿勢(shì)啟動(dòng)的虛擬對(duì)象以速度和方向。它也可以擁有虛擬質(zhì)量、空氣阻力、加速度及其他可能的物理學(xué)參數(shù)。然后，系統(tǒng)計(jì)算由姿勢(shì)參數(shù)所生成的虛擬對(duì)象和三維空間中所顯示的對(duì)象之間的交互物理學(xué)（physics)?？梢詾槲达@示的對(duì)象但是仍存在于三維空間中的對(duì)象計(jì)算附加的交互。作為示例，圖2B的月球129是未顯示在主屏幕101上的三維空間中的對(duì)象。用戶在沒(méi)有附加的屏幕131的情況下將不會(huì)將該對(duì)象視為顯示的對(duì)象。然而，該對(duì)象會(huì)對(duì)由懸浮姿勢(shì)所生成的虛擬對(duì)象施加交互。在617,這些命令被執(zhí)行，在619,修改顯示以當(dāng)虛擬對(duì)象到達(dá)顯示器時(shí)示出該虛擬對(duì)象。也修改顯示，以示出其與三維空間中的其他對(duì)象的交互的結(jié)果，包括顯示的對(duì)象以及或許還有三維空間中的未顯示的附加的對(duì)象。執(zhí)行了命令之后，在609,系統(tǒng)返回以接收附加的用戶姿勢(shì)。[0051]圖7示出了用于與用戶姿勢(shì)一起使用對(duì)象和力的三維空間的簡(jiǎn)化處理流程。在701，過(guò)程開(kāi)始，且應(yīng)用程序被啟動(dòng)。在703,生成包括一個(gè)或多個(gè)對(duì)象和一個(gè)或多個(gè)力的三維空間。在圖2B的示例中，這些對(duì)象是帶有重力的行星和月球。然而，可以生成范圍廣泛的不同種類(lèi)的對(duì)象，并可以使用不同種類(lèi)的力。在705,系統(tǒng)確定可供系統(tǒng)使用的顯示器。在707,確定這些可用的顯示器的相對(duì)位置和朝向，并且在709,在可用的顯示器上呈現(xiàn)三維空間的一部分。可以基于顯示器的大小和位置以及顯示器是否允許呈現(xiàn)三維視圖或二維視圖，來(lái)確定在顯示器上呈現(xiàn)的三維空間的量。在711，系統(tǒng)判斷是否已經(jīng)接收到用戶姿勢(shì)。如果沒(méi)有，則它等待用戶姿勢(shì)。如果接收到用戶姿勢(shì)，那么，在713,在三維空間中生成所產(chǎn)生的虛擬對(duì)象的軌跡。在715,在可用的顯示器上示出了所生成的軌跡的一部分。如上文所提及的，作為姿勢(shì)的結(jié)果而啟動(dòng)的虛擬對(duì)象可以遍歷三維空間的一部分，而不會(huì)在任何顯示器上可見(jiàn)，并且可以遍歷在顯示器上可見(jiàn)的三維空間的另一部分。系統(tǒng)可以在它遍歷三維空間時(shí)確定虛擬對(duì)象的位置，并將該位置與三維空間的在可用的顯示器上呈現(xiàn)的部分進(jìn)行比較。如此，對(duì)象可以進(jìn)入并離開(kāi)顯示器，而仍遍歷三維空間中的一致的軌跡。在呈現(xiàn)所生成的軌跡之后，在711，過(guò)程返回以接收附加的用戶姿勢(shì)。[0052]取決于特定實(shí)現(xiàn)，有可以提供的各種不同的效果和交互。表示出了這些中的某些，然而，本發(fā)明的各實(shí)施例不僅限于此。[0053]【權(quán)利要求】1.一種方法，包括：在計(jì)算系統(tǒng)的用戶界面系統(tǒng)中接收懸浮姿勢(shì)；確定顯示器上的當(dāng)前視圖；對(duì)所確定的視圖加載姿勢(shì)庫(kù)；從所加載的姿勢(shì)庫(kù)中選擇對(duì)應(yīng)于所述當(dāng)前視圖的所述姿勢(shì)的命令；以及執(zhí)行所選擇的命令。2.如權(quán)利要求1所述的方法，其特征在于，還包括對(duì)于所述姿勢(shì)，確定顯示器選擇，并且其中選擇命令包括選擇用于所選擇的顯示器的命令。3.如權(quán)利要求2所述的方法，其特征在于，確定顯示器選擇包括通過(guò)利用相機(jī)來(lái)觀察所述用戶的位置，確定用戶方向。4.如權(quán)利要求3所述的方法，其特征在于，觀察位置包括確定用戶的臉部指向的方向。5.如權(quán)利要求2所述的方法，其特征在于，觀察位置包括確定所述用戶的眼睛指向的方向。6.如權(quán)利要求1所述的方法，其特征在于，確定顯示器選擇包括通過(guò)利用麥克風(fēng)來(lái)觀察所述用戶的所述語(yǔ)音的方向，確定用戶方向。7.如權(quán)利要求1所述的方法，其特征在于，還包括對(duì)于每一個(gè)顯示器，加載姿勢(shì)庫(kù)，并且其中選擇命令包括從所選擇的顯示器的所述姿勢(shì)庫(kù)中選擇命令。8.如權(quán)利要求1所述的方法，其特征在于，所述懸浮姿勢(shì)包括手指移動(dòng)、手移動(dòng)、臂部移動(dòng)、身體移動(dòng)，以及口頭命令中的至少一個(gè)。9.如權(quán)利要求1所述的方法，其特征在于，還包括接收語(yǔ)音命令，其中確定顯示器上的當(dāng)前視圖包括感測(cè)用戶的臉部指向的方向，并且其中選擇命令包括選擇所述姿勢(shì)的命令和所述語(yǔ)音命令。10.如權(quán)利要求1所述的方法，其特征在于，所述顯示器將圖像呈現(xiàn)為三維圖像。11.一種在其上存儲(chǔ)了指令的機(jī)器可讀介質(zhì)，所述指令在由所述計(jì)算機(jī)執(zhí)行時(shí)，使所述計(jì)算機(jī)執(zhí)行包括下列各項(xiàng)的操作：在計(jì)算系統(tǒng)的用戶界面系統(tǒng)中接收懸浮姿勢(shì)；確定顯示器上的當(dāng)前視圖；對(duì)所確定的視圖加載姿勢(shì)庫(kù)；從所加載的姿勢(shì)庫(kù)中選擇對(duì)應(yīng)于所述當(dāng)前視圖的所述姿勢(shì)的命令；以及執(zhí)行所選擇的命令。12.如權(quán)利要求11所述的介質(zhì)，其特征在于，所述操作還包括對(duì)于所述姿勢(shì)，確定顯示器選擇，并且其中選擇命令包括選擇用于所選擇的顯示器的命令。13.如權(quán)利要求11所述的介質(zhì)，其特征在于，所述操作還包括對(duì)于每一種顯示，加載姿勢(shì)庫(kù)，并且其中選擇命令包括從所選擇的顯示器的所述姿勢(shì)庫(kù)中選擇命令。14.一種設(shè)備，包括：用于接收懸浮姿勢(shì)的對(duì)象和姿勢(shì)識(shí)別系統(tǒng)；用于確定顯示器上的當(dāng)前視圖并對(duì)所確定的視圖加載姿勢(shì)庫(kù)的姿勢(shì)與視圖和屏幕同步豐吳塊；用于從所加載的姿勢(shì)庫(kù)中選擇對(duì)應(yīng)于所述當(dāng)前視圖的所述姿勢(shì)的命令的所述對(duì)象和姿勢(shì)識(shí)別模塊；以及用于執(zhí)行所選擇的命令的命令執(zhí)行模塊。15.如權(quán)利要求14所述的設(shè)備，其特征在于，還包括用于通過(guò)確定用戶的臉部指向的方向來(lái)確定所述姿勢(shì)與視圖和同步模塊的顯示器選擇的注意力方向模塊。16.如權(quán)利要求15所述的設(shè)備，其特征在于，所述注意力方向模塊確定所述用戶的眼睛指向的方向。17.-種方法，包括：在計(jì)算系統(tǒng)的用戶界面系統(tǒng)中接收懸浮姿勢(shì)；對(duì)于多個(gè)顯示器中的每一個(gè)，加載姿勢(shì)庫(kù)；針對(duì)所述姿勢(shì)，確定對(duì)所述多個(gè)顯示器中的一個(gè)的選擇；從所述姿勢(shì)庫(kù)中選擇對(duì)應(yīng)于所選擇的顯示器的所述姿勢(shì)的命令；以及執(zhí)行所選擇的命令。18.如權(quán)利要求17所述的方法，其特征在于，確定顯示器選擇包括確定用戶的臉部指向的方向。19.如權(quán)利要求3所述的方法，其特征在于，觀察方向包括確定所述用戶的眼睛指向的方向。20.如權(quán)利要求17所述的方法，其特征在于，確定顯示器選擇包括通過(guò)利用麥克風(fēng)來(lái)觀察所述用戶的所述語(yǔ)音的方向，確定用戶方向。21.-種方法，包括：生成在相對(duì)于用戶和要由所述用戶操縱的虛擬對(duì)象的不同的位置具有多個(gè)對(duì)象的三維空間；在顯示器上呈現(xiàn)具有多個(gè)不同的對(duì)象的至少一部分的顯示區(qū)；檢測(cè)所述用戶針對(duì)所述虛擬對(duì)象的懸浮姿勢(shì)，所述虛擬對(duì)象位于所述顯示區(qū)之外；基于所述懸浮姿勢(shì)，生成所述虛擬對(duì)象在所述三維空間中的軌跡，所述軌跡包括與所述三維空間中的所述多個(gè)對(duì)象中的對(duì)象的交互；以及在所述顯示區(qū)上呈現(xiàn)所生成的軌跡的一部分。22.如權(quán)利要求21所述的方法，其特征在于，所述顯示區(qū)對(duì)應(yīng)于所述三維空間中與所述用戶相距的距離范圍，并且其中呈現(xiàn)所生成的軌跡的一部分包括呈現(xiàn)所述虛擬對(duì)象的所述軌跡的在所述距離范圍內(nèi)的所述部分。23.如權(quán)利要求21所述的方法，其特征在于，生成所述三維空間包括生成具有比在所述顯示區(qū)上呈現(xiàn)的所述對(duì)象更接近于所述用戶的對(duì)象的三維空間，并且其中生成軌跡包括，包括與所述顯示區(qū)中沒(méi)有呈現(xiàn)的對(duì)象的交互。24.如權(quán)利要求21所述的方法，其特征在于，所包括的交互包括加速力的模型。25.如權(quán)利要求24所述的方法，其特征在于，所述加速力包括重力、電磁，以及彈力中的至少一個(gè)。26.如權(quán)利要求24所述的方法，其特征在于，呈現(xiàn)顯示區(qū)包括呈現(xiàn)歸屬于所述顯示區(qū)的對(duì)象的加速力的相對(duì)量的表示。27.如權(quán)利要求21所述的方法，其特征在于，所包括的交互包括表面張力的模型。28.如權(quán)利要求21所述的方法，其特征在于，所包括的交互包括固體碰撞。29.如權(quán)利要求21所述的方法，其特征在于，生成三維空間包括確定隨著時(shí)間的推移在所述多個(gè)對(duì)象中的對(duì)象之間的交互，以及在所述顯示區(qū)上呈現(xiàn)由所述三維空間中的隨著時(shí)間的推移的所述交互所引起的位置變化。30.如權(quán)利要求21所述的方法，其特征在于，還包括：確定第二顯示器的位置；將所確定的位置與所述三維空間相關(guān)聯(lián)；以及在所述第二顯示器上呈現(xiàn)具有所述三維空間的所述多個(gè)不同的對(duì)象的第二部分的第二顯示區(qū)。31.如權(quán)利要求30所述的方法，其特征在于，確定所述第二顯示器的所述位置包括使用相機(jī)和所述第一顯示器的所述位置來(lái)確定所述第二顯示器的所述位置。32.如權(quán)利要求30所述的方法，其特征在于，確定所述第二顯示器的所述位置包括使用耦合到所述第二顯示器的無(wú)線電收發(fā)器來(lái)確定所述第二顯示器的所述位置。33.如權(quán)利要求21所述的方法，其特征在于，所述顯示區(qū)被所述顯示器呈現(xiàn)為三維圖像。34.-種在其上存儲(chǔ)了指令的機(jī)器可讀介質(zhì)，所述指令在由所述計(jì)算機(jī)執(zhí)行時(shí)，使所述計(jì)算機(jī)執(zhí)行包括下列各項(xiàng)的操作：生成在相對(duì)于用戶和要由所述用戶操縱的虛擬對(duì)象的不同的位置具有多個(gè)對(duì)象的三維空間；在顯示器上呈現(xiàn)具有多個(gè)不同的對(duì)象的至少一部分的顯示區(qū)；檢測(cè)所述用戶針對(duì)所述虛擬對(duì)象的懸浮姿勢(shì)，所述虛擬對(duì)象位于所述顯示區(qū)之外；基于所述懸浮姿勢(shì)，生成所述虛擬對(duì)象在所述三維空間中的軌跡，所述軌跡包括與所述三維空間中的所述多個(gè)對(duì)象中的對(duì)象的交互；以及在所述顯示區(qū)上呈現(xiàn)所生成的軌跡的一部分。35.如權(quán)利要求34所述的介質(zhì)，其特征在于，所述操作還包括：確定第二顯示器的位置；將所確定的位置與所述三維空間相關(guān)聯(lián)；以及在所述第二顯示器上呈現(xiàn)具有所述三維空間的所述多個(gè)不同的對(duì)象的第二部分的第二顯示區(qū)。36.如權(quán)利要求35所述的介質(zhì)，其特征在于，所述顯示區(qū)被所述顯示器呈現(xiàn)為三維圖像。37.-種設(shè)備，包括：用于生成在相對(duì)于用戶和要由所述用戶操縱的虛擬對(duì)象的不同的位置具有多個(gè)對(duì)象的三維空間的對(duì)象速度和方向模塊；用于在顯示器上呈現(xiàn)具有多個(gè)不同的對(duì)象的至少一部分的顯示區(qū)的屏幕呈現(xiàn)模塊；用于檢測(cè)所述用戶針對(duì)所述虛擬對(duì)象的懸浮姿勢(shì)的對(duì)象和姿勢(shì)識(shí)別系統(tǒng)，所述虛擬對(duì)象位于所述顯示區(qū)之外；用于基于所述懸浮姿勢(shì)生成所述虛擬對(duì)象在所述三維空間中的軌跡的虛擬對(duì)象行為模塊，所述軌跡包括與所述三維空間中的所述多個(gè)對(duì)象中的對(duì)象的交互；以及用于在所述顯示區(qū)上呈現(xiàn)所生成的軌跡的一部分的所述屏幕呈現(xiàn)模塊。38.如權(quán)利要求37所述的設(shè)備，其特征在于，所述顯示區(qū)對(duì)應(yīng)于所述三維空間中與所述用戶相距的距離范圍，所述設(shè)備還包括用于呈現(xiàn)所述虛擬對(duì)象的所述軌跡在所述距離范圍內(nèi)的所述部分的3-D圖像交互和效果模塊。39.如權(quán)利要求38所述的設(shè)備，其特征在于，所述對(duì)象速度和方向模塊生成具有比在所述顯示區(qū)上呈現(xiàn)的所述對(duì)象更接近于所述用戶的對(duì)象的三維空間，并且其中所述虛擬對(duì)象行為模塊生成包括與所述顯示區(qū)中沒(méi)有呈現(xiàn)的對(duì)象的交互的軌跡。【文檔編號(hào)】G06F3/14GK104067201SQ201180076283【公開(kāi)日】2014年9月24日申請(qǐng)日期:2011年11月23日優(yōu)先權(quán)日:2011年11月23日【發(fā)明者】G·安德森申請(qǐng)人:英特爾公司