在可穿戴計(jì)算系統(tǒng)上操縱和顯示圖像的制作方法
【專利摘要】公開了用于在可穿戴計(jì)算系統(tǒng)上操縱和顯示實(shí)時(shí)圖像和/或照片的示例方法和系統(tǒng)?？纱┐饔?jì)算系統(tǒng)可提供可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖?？纱┐饔?jì)算系統(tǒng)可對真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像。可穿戴計(jì)算系統(tǒng)可接收與對實(shí)時(shí)圖像的期望操縱相關(guān)聯(lián)的至少一個(gè)輸入命令。該至少一個(gè)輸入命令可以是手部姿勢。然后，基于接收到的至少一個(gè)輸入命令，可穿戴計(jì)算系統(tǒng)可依據(jù)期望操縱來操縱實(shí)時(shí)圖像。在操縱實(shí)時(shí)圖像之后，可穿戴計(jì)算系統(tǒng)可在可穿戴計(jì)算系統(tǒng)的顯示器中顯示被操縱的實(shí)時(shí)圖像。
【專利說明】在可穿戴計(jì)算系統(tǒng)上操縱和顯示圖像
[0001]相關(guān)申請的交叉引用
[0002]本申請要求于2011年7月20日遞交的題為“Method and System forManipulating and Displaying an Image on a Wearable Computing System(用于在可穿戴計(jì)算系統(tǒng)上操縱和顯示圖像的方法和系統(tǒng))”的第61/509，833號美國臨時(shí)專利申請和于2011 年 11 月 8 日遞交的題為 “Manipulating and Displaying an Image on a WearableComputing System (在可穿戴計(jì)算系統(tǒng)上操縱和顯示圖像)”的第12/291，416號美國專利申請的優(yōu)先權(quán)，這里通過引用并入這些申請中的每一個(gè)的全部內(nèi)容。
【背景技術(shù)】
[0003]除非本文另外指出，否則本部分中描述的材料并不是本申請中的權(quán)利要求的現(xiàn)有技術(shù)，并且并不因?yàn)楸话ㄔ诒静糠种芯捅怀姓J(rèn)為是現(xiàn)有技術(shù)。
[0004]諸如個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、蜂窩電話和無數(shù)類型的具備聯(lián)網(wǎng)能力的設(shè)備之類的計(jì)算設(shè)備在現(xiàn)代生活的許多方面中正越來越普遍。隨著計(jì)算機(jī)變得更先進(jìn)，預(yù)期將計(jì)算機(jī)生成的信息與用戶對物理世界的感知相混合的增強(qiáng)現(xiàn)實(shí)設(shè)備會(huì)變得更普遍。

【發(fā)明內(nèi)容】

[0005]在一個(gè)方面中，一種示例方法包括:(i)可穿戴計(jì)算系統(tǒng)提供可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖；(ii)對真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像；(iii)可穿戴計(jì)算系統(tǒng)接收與對實(shí)時(shí)圖像的期望操縱相關(guān)聯(lián)的輸入命令；(iv)基于接收到的輸入命令，可穿戴計(jì)算系統(tǒng)依據(jù)期望操縱來操縱實(shí)時(shí)圖像；以及(V)可穿戴計(jì)算系統(tǒng)在可穿戴計(jì)算系統(tǒng)的顯示器中顯示被操縱的實(shí)時(shí)圖像。
[0006]在示例實(shí)施例中，對圖像的期望操縱可從由以下各項(xiàng)構(gòu)成的組中選擇:在實(shí)時(shí)圖像的至少一部分上拉近(zoom in)、在實(shí)時(shí)圖像的至少一部分上平移(pan)、旋轉(zhuǎn)實(shí)時(shí)圖像的至少一部分以及編輯實(shí)時(shí)圖像的至少一部分。
[0007]在示例實(shí)施例中，該方法可包括:可穿戴計(jì)算系統(tǒng)提供可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖；(i)對真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像；(ii)可穿戴計(jì)算系統(tǒng)接收與對實(shí)時(shí)圖像的期望操縱相關(guān)聯(lián)的至少一個(gè)輸入命令，其中，至少一個(gè)輸入命令包括識別實(shí)時(shí)圖像的要被操縱的部分的輸入命令，其中，識別實(shí)時(shí)圖像的要被操縱的部分的輸入命令包括在真實(shí)世界環(huán)境的一區(qū)域中檢測到的手部姿勢，其中，該區(qū)域?qū)?yīng)于實(shí)時(shí)圖像的要被操縱的部分；(iii)基于所接收到的至少一個(gè)輸入命令，可穿戴計(jì)算系統(tǒng)依據(jù)期望操縱來操縱實(shí)時(shí)圖像；以及(iv)可穿戴計(jì)算系統(tǒng)在可穿戴計(jì)算系統(tǒng)的顯示器中顯示被操縱的實(shí)時(shí)圖像。
[0008]在另一方面中，公開了一種非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其上存儲有指令，所述指令響應(yīng)于被處理器執(zhí)行而使得該處理器執(zhí)行操作。根據(jù)示例實(shí)施例，所述指令包括:(i)用于提供可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖的指令；(ii)用于對真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像的指令；(iii)用于接收與對實(shí)時(shí)圖像的期望操縱相關(guān)聯(lián)的輸入命令的指令；(iv)用于基于接收到的輸入命令，依據(jù)期望操縱來操縱實(shí)時(shí)圖像的指令；以及(V)用于在可穿戴計(jì)算系統(tǒng)的顯示器中顯示被操縱的實(shí)時(shí)圖像的指令。
[0009]在另外一方面中，公開了一種可穿戴計(jì)算系統(tǒng)。示例可穿戴計(jì)算系統(tǒng)包括:(i)頭戴式顯示器，其中，頭戴式顯示器被配置為提供可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖，其中，提供真實(shí)世界環(huán)境的視圖包括顯示由計(jì)算機(jī)生成的信息并允許對真實(shí)世界環(huán)境的視覺感知；(ii)成像系統(tǒng)，其中，成像系統(tǒng)被配置為對真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像；(iii)控制器，其中，控制器被配置為(a)接收與對實(shí)時(shí)圖像的期望操縱相關(guān)聯(lián)的輸入命令，以及(b)基于所接收到的輸入命令，依據(jù)期望操縱來操縱實(shí)時(shí)圖像；以及(iv)顯示系統(tǒng)，其中，顯示系統(tǒng)被配置為在可穿戴計(jì)算系統(tǒng)的顯示器中顯示被操縱的實(shí)時(shí)圖像。
[0010]通過閱讀在適當(dāng)時(shí)參考附圖的以下詳細(xì)描述，本領(lǐng)域普通技術(shù)人員將清楚這些以及其他方面、優(yōu)點(diǎn)和替換。
【專利附圖】

【附圖說明】
[0011]圖1是依據(jù)示例實(shí)施例的用于接收、發(fā)送和顯示數(shù)據(jù)的可穿戴計(jì)算設(shè)備的第一視圖。
[0012]圖2是依據(jù)示例實(shí)施例的圖1的可穿戴計(jì)算設(shè)備的第二視圖。
[0013]圖3是依據(jù)示例實(shí)施例的計(jì)算機(jī)網(wǎng)絡(luò)基礎(chǔ)設(shè)施的簡化框圖。
[0014]圖4是圖示根據(jù)示例實(shí)施例的方法的流程圖。
[0015]圖5a是根據(jù)示例實(shí)施例的可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的示例視圖的圖示。
[0016]圖5b是根據(jù)示例實(shí)施例的用于選擇實(shí)時(shí)圖像的一部分來操縱的示例輸入命令的圖示。
[0017]圖5c是根據(jù)示例實(shí)施例的示例的所顯示的被操縱的實(shí)時(shí)圖像的圖示。
[0018]圖5d是根據(jù)另一示例實(shí)施例的另一示例所顯示被操縱實(shí)時(shí)圖像的圖示。
[0019]圖6a是根據(jù)示例實(shí)施例的示例手部姿勢的圖示。
[0020]圖6b是根據(jù)示例實(shí)施例的另一示例手部姿勢的圖示。
【具體實(shí)施方式】
[0021]以下詳細(xì)描述參考附圖描述了所公開的系統(tǒng)和方法的各種特征和功能。在圖中，相似的符號一般識別相似的成分，除非上下文另有規(guī)定。本文描述的說明性系統(tǒng)和方法實(shí)施例并不打算進(jìn)行限定。將容易理解，所公開的系統(tǒng)和方法的某些方面可按許多種不同的配置來布置和組合，所有這些在本文都已被設(shè)想到。
[0022]1.概沭
[0023]可穿戴計(jì)算設(shè)備可被配置為允許對真實(shí)世界環(huán)境的視覺感知并且顯示與對真實(shí)世界環(huán)境的視覺感知有關(guān)的計(jì)算機(jī)生成的信息。有利地，計(jì)算機(jī)生成的信息可與用戶對真實(shí)世界環(huán)境的感知相集成。例如，計(jì)算機(jī)生成的信息可利用與用戶在給定時(shí)刻正在感知或經(jīng)歷的東西有關(guān)的有用的計(jì)算機(jī)生成信息或視圖來補(bǔ)充用戶對物理世界的感知。
[0024]在一些情形中，操縱真實(shí)世界環(huán)境的視圖對于用戶可能是有益的。例如，放大真實(shí)世界環(huán)境的視圖的一部分對于用戶可能是有益的。例如，用戶可能正看著一路標(biāo)，但用戶可能沒有足夠靠近該路標(biāo)到能夠清楚閱讀路標(biāo)上顯示的街道名稱。從而，能夠在路標(biāo)上拉近以便清楚閱讀街道名稱對于用戶可能是有益的。作為另一個(gè)示例，旋轉(zhuǎn)真實(shí)世界環(huán)境的視圖的一部分對于用戶可能是有益的。例如，用戶可能正查看具有顛倒的或向著側(cè)面的文本的某個(gè)東西。在這種情形中，旋轉(zhuǎn)該視圖的一部分使得文本正向直立對于用戶可能是有益的。
[0025]本文描述的方法和系統(tǒng)可促進(jìn)操縱用戶對真實(shí)世界環(huán)境的視圖的至少一部分以便實(shí)現(xiàn)用戶期望的環(huán)境的視圖。具體地，所公開的方法和系統(tǒng)可依據(jù)期望的操縱來操縱真實(shí)世界環(huán)境的實(shí)時(shí)圖像。示例方法可包括:(i)可穿戴計(jì)算系統(tǒng)提供可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖；(ii)對真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像；
(iii)可穿戴計(jì)算系統(tǒng)接收與對實(shí)時(shí)圖像的期望操縱相關(guān)聯(lián)的輸入命令；(iv)基于接收到的輸入命令，可穿戴計(jì)算系統(tǒng)依據(jù)期望操縱來操縱實(shí)時(shí)圖像；以及(V)可穿戴計(jì)算系統(tǒng)在可穿戴計(jì)算系統(tǒng)的顯示器中顯示被操縱的實(shí)時(shí)圖像。
[0026]依據(jù)示例實(shí)施例，可穿戴計(jì)算系統(tǒng)可以以多種方式操縱實(shí)時(shí)圖像。例如，可穿戴計(jì)算系統(tǒng)可在實(shí)時(shí)圖像的至少一部分上拉近，在實(shí)時(shí)圖像的至少一部分上平移，旋轉(zhuǎn)實(shí)時(shí)圖像的至少一部分，和/或編輯實(shí)時(shí)圖像的至少一部分。通過提供以這樣的方式操縱實(shí)時(shí)圖像的能力，用戶可以有益地實(shí)時(shí)實(shí)現(xiàn)用戶期望的環(huán)境的視圖。
[0027]I1.示例系統(tǒng)和設(shè)各
[0028]圖1圖示了用于接收、發(fā)送和顯示數(shù)據(jù)的示例系統(tǒng)100。系統(tǒng)100是以可穿戴計(jì)算設(shè)備的形式示出的。盡管圖1圖示了眼鏡102作為可穿戴計(jì)算設(shè)備的示例，但可以額外地或可替換地使用其他類型的可穿戴計(jì)算設(shè)備。如圖1中圖示的，眼鏡102包括框架元件、透鏡元件110和112以及延伸側(cè)臂114和116，其中框架元件包括透鏡框架104和106以及中央框架支撐108。中央框架支撐108以及延伸側(cè)臂114和116被配置為分別經(jīng)由用戶的鼻子和耳朵將眼鏡102固定到用戶的臉部?？蚣茉?04、106和108以及延伸側(cè)臂114和116中的每一個(gè)可由塑料和/或金屬的實(shí)心結(jié)構(gòu)形成，或者可由類似材料的中空結(jié)構(gòu)形成，以允許配線和組件互連在內(nèi)部按一定路線經(jīng)過眼鏡102。透鏡元件110和112中的每一個(gè)可由能夠適當(dāng)?shù)仫@示投影的圖像或圖形的任何材料形成。此外，透鏡元件110和112中的每一個(gè)的至少一部分也可充分地透明以允許用戶看穿透鏡元件。結(jié)合透鏡元件的這兩個(gè)特征可促進(jìn)增強(qiáng)現(xiàn)實(shí)或抬頭顯示，其中投影的圖像或圖形被疊加在用戶透過透鏡元件感知到的真實(shí)世界視圖上或者連同該真實(shí)世界視圖一起來提供。
[0029]延伸側(cè)臂114和116各自是分別從框架元件104和106延伸開的突起物，并且可被定位在用戶的耳后以將眼鏡102固定到用戶。延伸側(cè)臂114和116還可通過繞著用戶的頭的后部延伸來將眼鏡102固定到用戶。額外地或可替換地，例如，系統(tǒng)100可連接到頭戴式頭盔結(jié)構(gòu)或附于頭戴式頭盔結(jié)構(gòu)內(nèi)。其他可能性也是存在的。
[0030]系統(tǒng)100還可包括機(jī)載計(jì)算系統(tǒng)118、視頻相機(jī)120、傳感器122以及手指可操作觸摸板124和126。機(jī)載計(jì)算系統(tǒng)118被示為定位在眼鏡102的延伸側(cè)臂114上；然而，機(jī)載計(jì)算系統(tǒng)118可設(shè)在眼鏡102的其他部分上或者甚至遠(yuǎn)離眼鏡(例如，計(jì)算系統(tǒng)118可無線或有線地連接到眼鏡102)。機(jī)載計(jì)算系統(tǒng)118例如可包括處理器和存儲器。機(jī)載計(jì)算系統(tǒng)118可被配置為接收和分析來自視頻相機(jī)120、手指可操作觸摸板124和126、傳感器122 (以及可能來自其他傳感設(shè)備、用戶接口元素或者這兩者)的數(shù)據(jù)并且生成用于輸出到透鏡元件110和112的圖像。
[0031]視頻相機(jī)120被示為定位在眼鏡102的延伸側(cè)臂114上；然而，視頻相機(jī)120可設(shè)在眼鏡102的其他部分上。視頻相機(jī)120可被配置為以各種分辨率或者以不同的幀率捕捉圖像。例如，許多具有小外形參數(shù)的視頻相機(jī)——比如蜂窩電話或網(wǎng)絡(luò)攝像頭中使用的那些一可被包含到系統(tǒng)100的示例中。雖然圖1圖示了一個(gè)視頻相機(jī)120，但可以使用更多視頻相機(jī)，并且每一個(gè)可被配置為捕捉相同的視圖，或者捕捉不同的視圖。例如，視頻相機(jī)120可以是前向的以捕捉用戶感知到的真實(shí)世界視圖的至少一部分。這個(gè)由視頻相機(jī)120捕捉到的前向圖像隨后可用于生成增強(qiáng)現(xiàn)實(shí)，其中計(jì)算機(jī)生成的圖像看起來與用戶感知到的真實(shí)世界視圖交互。
[0032]傳感器122被示為安裝在眼鏡102的延伸側(cè)臂116上；然而，傳感器122可設(shè)在眼鏡102的其他部分上。傳感器122例如可包括加速度計(jì)或陀螺儀中的一個(gè)或多個(gè)。傳感器122內(nèi)可包括其他感測設(shè)備，或者傳感器122可執(zhí)行其他感測功能。
[0033]手指可操作觸摸板124和126被示為安裝在眼鏡102的延伸側(cè)臂114、116上。手指可操作觸摸板124和126中的每一個(gè)可被用戶用來輸入命令。手指可操作觸摸板124和126可經(jīng)由電容感測、電阻感測或表面聲波過程等等來感測手指的位置和移動(dòng)中的至少一者。手指可操作觸摸板124和126可能夠感測在與板表面平行或在同一平面內(nèi)的方向上、在與板表面垂直的方向上或者在這兩個(gè)方向上的手指移動(dòng)，并且還可能夠感測施加的壓力的水平。手指可操作觸摸板124和126可由一個(gè)或多個(gè)半透明或透明絕緣層和一個(gè)或多個(gè)半透明或透明導(dǎo)電層形成。手指可操作觸摸板124和126的邊緣可形成為具有凸起的、凹陷的或粗糙的表面，從而在用戶的手指到達(dá)手指可操作觸摸板124和126的邊緣時(shí)向用戶提供觸覺反饋。手指可操作觸摸板124和126中的每一個(gè)可被獨(dú)立操作，并且可提供不同的功能。另外，系統(tǒng)100可包括被配置為從用戶接收語音命令的麥克風(fēng)。此外，系統(tǒng)100可包括允許各種類型的外部用戶接口設(shè)備連接到可穿戴計(jì)算設(shè)備的一個(gè)或多個(gè)通信接口。例如，系統(tǒng)100可被配置用于與各種手持鍵盤和/或指點(diǎn)設(shè)備的連通。
[0034]圖2圖示了圖1的系統(tǒng)100的替換視圖。如圖2中所示，透鏡元件110和112可充當(dāng)顯示元件。眼鏡102可包括第一投影儀128，該第一投影儀128耦合到延伸側(cè)臂116的內(nèi)表面并且被配置為將顯示130投影到透鏡元件112的內(nèi)表面上。額外地或可替換地，第
二投影儀132可耦合到延伸側(cè)臂114的內(nèi)表面并被配置為將顯示134投影到透鏡元件110的內(nèi)表面上。
[0035]透鏡元件110和112可充當(dāng)光投影系統(tǒng)中的組合器并且可包括涂層，該涂層反射從投影儀128和132投影到其上的光?；蛘撸队皟x128和132可以是與用戶的視網(wǎng)膜直接交互的掃描激光設(shè)備。
[0036]在替換實(shí)施例中，也可使用其他類型的顯示元件。例如，透鏡元件110、112本身可包括:諸如電致發(fā)光顯示器或液晶顯示器之類的透明或半透明的矩陣顯示器，用于將圖像輸送到用戶的眼睛的一個(gè)或多個(gè)波導(dǎo)，或者能夠?qū)⒔裹c(diǎn)對準(zhǔn)的近眼圖像輸送到用戶的其他光學(xué)元件。相應(yīng)的顯示驅(qū)動(dòng)器可布置在框架元件104和106內(nèi)以用于驅(qū)動(dòng)這種矩陣顯示器?？商鎿Q地或額外地，可以用激光或LED源和掃描系統(tǒng)來將光柵顯示直接繪制到用戶的一只或兩只眼睛的視網(wǎng)膜上。其他可能性也是存在的。[0037]圖3圖示了計(jì)算機(jī)網(wǎng)絡(luò)基礎(chǔ)設(shè)施的示例示意圖。在示例系統(tǒng)136中，設(shè)備138能夠利用通信鏈路140 (例如，有線或無線連接)與遠(yuǎn)程設(shè)備142通信。設(shè)備138可以是任何類型的可接收數(shù)據(jù)并顯示與數(shù)據(jù)相對應(yīng)或相關(guān)聯(lián)的信息的設(shè)備。例如，設(shè)備138可以是抬頭顯示系統(tǒng)，比如參考圖1和圖2描述的眼鏡102。
[0038]設(shè)備138可包括顯不系統(tǒng)144,顯不系統(tǒng)144包括處理器146和顯不器148。顯示器148例如可以是光學(xué)透視顯示器(optical see-through display)、光學(xué)環(huán)視顯示器(optical see-around display)或視頻透視顯示器。處理器146可從遠(yuǎn)程設(shè)備142接收數(shù)據(jù)，并且將該數(shù)據(jù)配置用于在顯示器148上顯示。處理器146可以是任何類型的處理器，諸如例如微處理器或數(shù)字信號處理器。
[0039]設(shè)備138還可包括機(jī)載數(shù)據(jù)存儲裝置，比如耦合到處理器146的存儲器150。存儲器150例如可存儲可被處理器146訪問和執(zhí)行的軟件。
[0040]遠(yuǎn)程設(shè)備142可以是被配置為向設(shè)備138發(fā)送數(shù)據(jù)的任何類型的計(jì)算設(shè)備或發(fā)送器，包括膝上型計(jì)算機(jī)、移動(dòng)電話等等。遠(yuǎn)程設(shè)備142也可以是服務(wù)器或服務(wù)器的系統(tǒng)。遠(yuǎn)程設(shè)備142和設(shè)備138可包含用于使能通信鏈路140的硬件，比如處理器、發(fā)送器、接收器，
天線等等。
[0041]在圖3中，通信鏈路140被圖示為無線連接；然而，也可使用有線連接。例如，通信鏈路140可以是經(jīng)由諸如通用串行總線之類的串行總線或者并行總線的有線鏈路。有線連接也可以是專有連接。通信鏈路140也可以是使用例如藍(lán)牙?無線電技術(shù)、IEEE802.11(包括任何IEEE802.11修訂版)中描述的通信協(xié)議、蜂窩技術(shù)(比如GSM、CDMA、UMTS、EV_DO、WiMAX或LTE)或紫蜂⑧技術(shù)等等的無線連接。遠(yuǎn)程設(shè)備142可經(jīng)由因特網(wǎng)來訪問并且例如可對應(yīng)于與特定的web服務(wù)(例如，社交網(wǎng)絡(luò)、照片共享、地址簿，等等)相關(guān)聯(lián)的計(jì)算集群。
[0042]II1.示范件方法
[0043]示范性方法可包括比如系統(tǒng)100這樣的可穿戴計(jì)算系統(tǒng)以期望的方式操縱用戶對真實(shí)世界環(huán)境的視圖。圖4是圖示根據(jù)示例實(shí)施例的方法的流程圖。更具體而言，示例方法400包括可穿戴計(jì)算系統(tǒng)提供可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖，如塊402所示?？纱┐饔?jì)算系統(tǒng)可對真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像，如塊404所示。另外，可穿戴計(jì)算系統(tǒng)可接收與對實(shí)時(shí)圖像的期望操縱相關(guān)聯(lián)的輸入命令，如塊406所示。
[0044]基于接收到的輸入命令，可穿戴計(jì)算系統(tǒng)可依據(jù)期望操縱來操縱實(shí)時(shí)圖像，如塊408所示?？纱┐饔?jì)算系統(tǒng)隨后可在可穿戴計(jì)算系統(tǒng)的顯示器中顯示被操縱的實(shí)時(shí)圖像，如塊410所示。雖然示范性方法400被以示例方式描述為由可穿戴計(jì)算系統(tǒng)100執(zhí)行，但應(yīng)當(dāng)理解示例方法可由可穿戴計(jì)算設(shè)備與一個(gè)或多個(gè)其他實(shí)體相結(jié)合來執(zhí)行，所述其他實(shí)體比如是與可穿戴計(jì)算系統(tǒng)通信的遠(yuǎn)程服務(wù)器。
[0045]參考圖3，設(shè)備138可執(zhí)行方法400的步驟。具體地，方法400可對應(yīng)于由處理器146在執(zhí)行非暫態(tài)計(jì)算機(jī)可讀介質(zhì)中存儲的指令時(shí)執(zhí)行的操作。在示例中，非暫態(tài)計(jì)算機(jī)可讀介質(zhì)可以是存儲器150的一部分。非暫態(tài)計(jì)算機(jī)可讀介質(zhì)上可存儲有指令，所述指令響應(yīng)于被處理器146執(zhí)行而使得處理器146執(zhí)行各種操作。所述指令可包括:(i)用于提供可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖的指令；(ii)用于對真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像的指令；(iii)用于接收與對實(shí)時(shí)圖像的期望操縱相關(guān)聯(lián)的輸入命令的指令；(iv)用于基于接收到的輸入命令依據(jù)期望操縱來操縱實(shí)時(shí)圖像的指令；以及(V)用于在可穿戴計(jì)算系統(tǒng)的顯示器中顯示被操縱的實(shí)時(shí)圖像的指令。
[0046]A.提供可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖
[0047]如上所敘述的，在塊402，可穿戴計(jì)算系統(tǒng)可提供可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖。如上所敘述的，參考圖1和圖2，可穿戴計(jì)算系統(tǒng)的顯示器148例如可以是光學(xué)透視(see-through)顯示器、光學(xué)環(huán)視(see-around)顯示器或視頻透視顯示器。這樣的顯示器可允許用戶感知可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖并且還可能夠顯示看起來與用戶感知到的真實(shí)世界視圖交互的計(jì)算機(jī)生成圖像。具體地，“透視”可穿戴計(jì)算系統(tǒng)可在透明表面上顯示圖形，以使得用戶看到覆蓋在物理世界上的圖形。另一方面，“環(huán)視”可穿戴計(jì)算系統(tǒng)可通過將不透明顯示器放置得靠近用戶的眼睛來將圖形覆蓋在物理世界上，以便利用用戶的雙眼之間的視覺共享并且產(chǎn)生顯示是用戶看到的世界的一部分的效果。
[0048]在一些情形中，修改或操縱所提供的真實(shí)世界環(huán)境的視圖的至少一部分對于用戶可能是有益的。通過操縱所提供的真實(shí)世界環(huán)境的視圖，用戶將能夠以期望的方式控制用戶對真實(shí)世界的感知。因此，依據(jù)示范性實(shí)施例的可穿戴計(jì)算系統(tǒng)向用戶提供了可使得用戶對真實(shí)世界的視圖對于用戶的需求更有用的功能。
[0049]真實(shí)世界環(huán)境504的示例提供視圖502在圖5a中示出。具體地，此示例說明了當(dāng)可穿戴計(jì)算系統(tǒng)的用戶在駕駛汽車并且正接近一紅燈506時(shí)該用戶看到的視圖502。鄰近紅燈506的是路標(biāo)508。在一示例中，路標(biāo)可能離用戶太遠(yuǎn)以至于用戶不能清楚辨認(rèn)出路標(biāo)508上顯示的街道名稱510。在路標(biāo)508上拉近以便閱讀路標(biāo)508上顯示了什么街道名稱510，對于用戶可能是有益的。從而，診據(jù)示范性實(shí)施例，用戶可輸入一個(gè)或多個(gè)輸入命令以指示可穿戴計(jì)算系統(tǒng)操縱該視圖以使得用戶能夠閱讀街道名稱510。示例輸入命令和期望的操縱在接下來的小節(jié)中描述。
[0050]B.獲得真實(shí)世界視圖的至少一部分的實(shí)時(shí)圖像、接收與期望操縱相關(guān)聯(lián)的輸入命令并且操縱實(shí)時(shí)圖像
[0051]為了操縱真實(shí)世界環(huán)境的視圖，可穿戴計(jì)算系統(tǒng)可在塊404對真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像。可穿戴計(jì)算系統(tǒng)隨后可依據(jù)用戶期望的操縱來操縱實(shí)時(shí)圖像。具體地，在塊406，可穿戴計(jì)算系統(tǒng)可接收與對實(shí)時(shí)圖像的期望操縱相關(guān)聯(lián)的輸入命令，并且在塊408，可穿戴計(jì)算系統(tǒng)可依據(jù)該期望操縱來操縱實(shí)時(shí)圖像。通過獲得真實(shí)世界環(huán)境的視圖的至少一部分的實(shí)時(shí)圖像并且操縱該實(shí)時(shí)圖像，用戶可以選擇性地實(shí)時(shí)補(bǔ)充用戶對真實(shí)世界的視圖。
[0052]在一示例中，對真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像的步驟404發(fā)生在用戶輸入與對實(shí)時(shí)圖像的期望操縱相關(guān)聯(lián)的命令之前。例如，視頻相機(jī)120可在取景器模式中操作。從而，相機(jī)可連續(xù)地對真實(shí)世界環(huán)境的至少一部分成像以獲得實(shí)時(shí)圖像，并且可穿戴計(jì)算系統(tǒng)可在可穿戴計(jì)算系統(tǒng)的顯示器中顯示該實(shí)時(shí)圖像。
[0053]然而，在另一示例中，可穿戴計(jì)算系統(tǒng)可在可穿戴計(jì)算系統(tǒng)對真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像之前接收與對實(shí)時(shí)圖像的期望操縱(例如，拉近)相關(guān)聯(lián)的輸入命令。在這種示例中，輸入命令可發(fā)起視頻相機(jī)在取景器模式中操作以獲得真實(shí)世界環(huán)境的視圖的至少一部分的實(shí)時(shí)圖像。用戶可向可穿戴計(jì)算系統(tǒng)指出用戶想要操縱用戶的真實(shí)世界視圖502的哪個(gè)部分?？纱┐饔?jì)算系統(tǒng)隨后可確定與用戶的真實(shí)世界視圖相關(guān)聯(lián)的實(shí)時(shí)圖像的那部分是什么。
[0054]在另一示例中，用戶可能正在查看實(shí)時(shí)圖像(例如，來自相機(jī)的取景器可能正在向用戶顯示實(shí)時(shí)圖像)。在這種情況下，用戶可以指示可穿戴計(jì)算系統(tǒng)用戶想要操縱實(shí)時(shí)圖像的哪個(gè)部分。
[0055]可穿戴計(jì)算系統(tǒng)可被配置為從用戶接收指出對圖像的期望操縱的輸入命令。具體地，該輸入命令可指示可穿戴計(jì)算系統(tǒng)如何操縱用戶的視圖的至少一部分。此外，該輸入命令可指示可穿戴計(jì)算系統(tǒng)用戶想要操縱該視圖的哪個(gè)部分。在一示例中，單個(gè)輸入命令既可指示可穿戴計(jì)算系統(tǒng)(i)要操縱視圖的哪個(gè)部分，又可指示(ii)如何操縱所識別的部分。然而，在另一示例中，用戶可輸入第一輸入命令來識別要操縱視圖的哪個(gè)部分，并且輸入第二輸入命令來指出如何操縱所識別的部分。可穿戴計(jì)算系統(tǒng)可被配置為以多種方式從用戶接收輸入命令，這些方式的示例在下文論述。
[0056]1.示例觸摸板輸入命令
[0057]在一示例中，用戶可經(jīng)由可穿戴計(jì)算系統(tǒng)的觸摸板——比如觸摸板124或觸摸板126——來輸入輸入命令。用戶可以以各種方式與觸摸板交互以便輸入用于操縱圖像的命令。例如，用戶可在觸摸板上執(zhí)行捏拉縮放(Pinch-zoom)動(dòng)作以在圖像上拉近。視頻相機(jī)可配備有光學(xué)變焦能力和數(shù)字變焦能力兩者，視頻相機(jī)利用這些能力來在圖像上拉近。
[0058]在一示例中，當(dāng)用戶執(zhí)行捏拉縮放動(dòng)作時(shí)，可穿戴計(jì)算系統(tǒng)朝著實(shí)時(shí)圖像的中心拉近給定量(例如，2X倍率、3X倍率等等)。然而，在另一示例中，不是朝著圖像的中心拉近，而是用戶可指示系統(tǒng)朝著實(shí)時(shí)圖像的特定部分拉近。用戶可以以多種方式來指出要操縱(例如拉近)的圖像的特定部分，并且指出要操縱圖像的哪個(gè)部分的示例在下文論述。
[0059]作為另一示例觸摸板輸入命令，用戶可在觸摸板用兩根手指作出轉(zhuǎn)動(dòng)動(dòng)作?？纱┐饔?jì)算系統(tǒng)可將這樣的輸入命令等同為將圖像旋轉(zhuǎn)給定度數(shù)(例如，與用戶轉(zhuǎn)動(dòng)手指的度數(shù)相對應(yīng)的度數(shù))的命令。作為另一示例觸摸板輸入命令，可穿戴計(jì)算系統(tǒng)可將觸摸板上的雙叩擊等同為在圖像上拉近預(yù)定量(例如，2x倍率)的命令。作為又一個(gè)示例，可穿戴計(jì)算系統(tǒng)可將觸摸板上的三叩擊等同為在圖像上拉近另一預(yù)定量(例如，3x倍率)的命令。
[0060]i1.示例姿勢輸入命令
[0061]在另一示例中，用戶可通過利用給定姿勢(例如，手部運(yùn)動(dòng))來輸入操縱圖像的命令。因此，可穿戴計(jì)算系統(tǒng)可被配置為跟蹤用戶的姿勢。例如，用戶可在可穿戴計(jì)算系統(tǒng)前方進(jìn)行手部運(yùn)動(dòng)，比如在真實(shí)世界環(huán)境的區(qū)域周圍形成邊界。例如，用戶可圈出用戶想要操縱(例如，拉近)的區(qū)域。在圈出該區(qū)域之后，可穿戴計(jì)算系統(tǒng)可以以期望的方式操縱圈出的區(qū)域(例如，在圈出的區(qū)域上拉近給定量)。在另一示例中，用戶可在用戶想要操縱的區(qū)域周圍形成框(例如，矩形框)。用戶可用單手或用雙手形成邊界。另外，所述邊界可以是多種形狀(例如，圓形或基本為圓形的邊界；矩形或基本為矩形的邊界；等等)。
[0062]為了檢測用戶的姿勢，可穿戴計(jì)算系統(tǒng)可包括姿勢跟蹤系統(tǒng)。依據(jù)一實(shí)施例，姿勢跟蹤系統(tǒng)可跟蹤并分析各種移動(dòng)，比如手部移動(dòng)和/或附于用戶手部的物體(例如，諸如戒指之類的物體)或者握在用戶手中的物體(例如，諸如手寫筆之類的物體)的移動(dòng)。
[0063]姿勢跟蹤系統(tǒng)可以以多種方式跟蹤并分析用戶的姿勢。在一示例中，姿勢跟蹤系統(tǒng)可包括視頻相機(jī)。例如，姿勢跟蹤系統(tǒng)可包括視頻相機(jī)120。這種姿勢跟蹤系統(tǒng)可記錄與用戶的姿勢有關(guān)的數(shù)據(jù)。此視頻相機(jī)可以是與用于捕捉真實(shí)世界的實(shí)時(shí)圖像的那個(gè)相機(jī)相同的視頻相機(jī)。可穿戴計(jì)算系統(tǒng)可分析記錄的數(shù)據(jù)以便確定姿勢，隨后可穿戴計(jì)算系統(tǒng)可識別出哪個(gè)操縱與所確定的姿勢相關(guān)聯(lián)?？纱┐饔?jì)算系統(tǒng)可執(zhí)行光流分析以便跟蹤并分析用戶的姿勢。為了執(zhí)行光流分析，可穿戴計(jì)算系統(tǒng)可分析所獲得的圖像以確定用戶是否在作出手部姿勢。具體地，可穿戴計(jì)算系統(tǒng)可分析圖像幀以確定幀中什么在移動(dòng)以及什么沒有在移動(dòng)。系統(tǒng)還可分析圖像幀以確定用戶正在作出的手部姿勢的類型(例如，形狀)。為了確定手部姿勢的形狀，可穿戴計(jì)算系統(tǒng)可執(zhí)行形狀識別分析。例如，可穿戴計(jì)算系統(tǒng)可識別手部姿勢的形狀并將所確定的形狀與各種手部姿勢形狀的數(shù)據(jù)庫中的形狀相比較。
[0064]在另一示例中，手部姿勢檢測系統(tǒng)可以是激光二極管檢測系統(tǒng)。例如，手部姿勢檢測系統(tǒng)可以是基于衍射圖樣來檢測手部姿勢的類型的激光二極管系統(tǒng)。在此示例中，激光二極管系統(tǒng)可包括被配置為產(chǎn)生給定衍射圖樣的激光二極管。當(dāng)用戶執(zhí)行手部姿勢時(shí)，手部姿勢可中斷該衍射圖樣?？纱┐饔?jì)算系統(tǒng)可分析中斷的衍射圖樣以便確定手部姿勢。在一示例中，傳感器122可包括激光二極管檢測系統(tǒng)。另外，激光二極管系統(tǒng)可放置在可穿戴計(jì)算系統(tǒng)上的任何適當(dāng)位置。
[0065]可替換地，手部姿勢檢測系統(tǒng)可包括閉環(huán)激光二極管檢測系統(tǒng)。這種閉環(huán)激光二極管檢測系統(tǒng)可包括激光二極管和光子檢測器。在此示例中，激光二極管可發(fā)出光，該光隨后可從用戶的手反射回到激光二極管檢測系統(tǒng)。光子檢測器隨后可檢測到反射的光?；诜瓷涞墓?，系統(tǒng)可確定手部姿勢的類型。
[0066]在另一示例中，姿勢跟蹤系統(tǒng)可包括被配置為識別用戶的姿勢的掃描儀系統(tǒng)(例如，具有激光掃描鏡的3D掃描儀系統(tǒng))。作為又一個(gè)示例，手部姿勢檢測系統(tǒng)可包括紅外相機(jī)系統(tǒng)。紅外相機(jī)系統(tǒng)可被配置為檢測來自手部姿勢的移動(dòng)并且可分析該移動(dòng)以確定手部姿勢的類型。
[0067]作為一具體操縱示例，參考圖5b，用戶可能想要在路標(biāo)508上拉近以便獲得更好的路標(biāo)508中顯示的街道名稱510的視圖。用戶可作出手部姿勢以圈出路標(biāo)508周圍的區(qū)域520。用戶可在可穿戴計(jì)算機(jī)前方并且在用戶對真實(shí)世界環(huán)境的視圖中作出此畫圈手部姿勢。如上所論述的，可穿戴計(jì)算系統(tǒng)隨后可對真實(shí)世界環(huán)境的與用戶圈出的區(qū)域相對應(yīng)的至少一部分成像或者已經(jīng)有了該部分的圖像?？纱┐饔?jì)算系統(tǒng)隨后可識別實(shí)時(shí)圖像的與視圖502的圈出區(qū)域520相對應(yīng)的區(qū)域。計(jì)算系統(tǒng)隨后可在實(shí)時(shí)圖像的該部分上拉近并且顯示實(shí)時(shí)圖像的被拉近部分。例如，圖5c示出了所顯示的被操縱(例如，被放大)的部分540。所顯示的被放大部分540極詳細(xì)地示出了路標(biāo)508,從而使得用戶能夠容易地閱讀街道名稱510。
[0068]在一示例中，圈出區(qū)域520可以是僅僅識別出真實(shí)世界視圖或?qū)崟r(shí)圖像中用戶想要操縱的的部分的輸入命令。用戶隨后可輸入第二命令來指出期望的操縱。例如，在圈出區(qū)域520之后，為了在部分520上拉近，用戶可捏拉縮放或叩擊(例如雙叩擊、三叩擊等等)觸摸板。在另一示例中，用戶可輸入語音命令(例如，用戶可以說出“放大”)以指示可穿戴計(jì)算系統(tǒng)在區(qū)域520上拉近。另一方面，在另一示例中，圈出區(qū)域520的動(dòng)作可充當(dāng)既指出
(i)要操縱視圖的哪個(gè)部分、又指出(ii)如何操縱所識別的部分的輸入命令。例如，可穿戴計(jì)算系統(tǒng)可將用戶圈出視圖的一區(qū)域視為拉近到圈出的區(qū)域中的命令。其他手部姿勢可指出其他期望操縱。例如，可穿戴計(jì)算系統(tǒng)可將用戶在給定區(qū)域周圍繪出一方形視為將該給定區(qū)域旋轉(zhuǎn)90度的命令。其他示例輸入命令也是可能的。圖6a和圖6b描繪了可穿戴計(jì)算系統(tǒng)可檢測的示例手部姿勢。具體地，圖6a描繪了真實(shí)世界視圖602，其中用戶在真實(shí)世界環(huán)境的一區(qū)域中利用手604和606作出手部姿勢。該手部姿勢是形成一矩形框，該矩形框形成真實(shí)世界環(huán)境的一部分610周圍的邊界608。另外，圖6b描繪了真實(shí)世界視圖620，其中用戶利用手622作出手部姿勢。該手部姿勢是用戶的手622的畫圈運(yùn)動(dòng)(開始于位置(I)并朝著位置(4)移動(dòng))，并且該姿勢形成真實(shí)世界環(huán)境的一部分626周圍的橢圓邊界624。在這些示例中，所形成的邊界包圍真實(shí)世界環(huán)境中的一區(qū)域，并且實(shí)時(shí)圖像的要被操縱的部分可對應(yīng)于所包圍的區(qū)域。例如，參考圖6a，實(shí)時(shí)圖像的要被操縱的部分可對應(yīng)于被包圍的區(qū)域610。類似地，參考圖6b，實(shí)時(shí)圖像的要被操縱的部分可對應(yīng)于被包圍的區(qū)域626。
[0069]如上所敘述的，手部姿勢還可識別出期望的操縱。例如，手部姿勢的形狀可指出期望的操縱。例如，可穿戴計(jì)算系統(tǒng)可將用戶圈出視圖的一區(qū)域視為拉近到所圈出的區(qū)域中的命令。作為另一示例，手部姿勢可以是捏拉縮放手部姿勢。捏拉縮放手部姿勢可用于既指出用戶想要拉近的區(qū)域，又指出用戶想要在該區(qū)域上拉近。作為又一個(gè)示例，期望的操縱可以是在實(shí)時(shí)圖像的至少一部分上平移。在這種情況下，手部姿勢可以是揮掃手部運(yùn)動(dòng)，其中揮掃手部運(yùn)動(dòng)識別期望的平移的方向。揮掃手部姿勢可包括看起來像兩指滾動(dòng)的手部姿勢。作為又一個(gè)示例，期望的操縱可以是旋轉(zhuǎn)實(shí)時(shí)圖像的給定部分。在這種情況下，手部姿勢可包括(i )在真實(shí)世界環(huán)境中的一區(qū)域周圍形成邊界，其中，實(shí)時(shí)圖像的要被操縱的給定部分對應(yīng)于被包圍的區(qū)域，以及(ii)在期望旋轉(zhuǎn)的方向旋轉(zhuǎn)所形成的邊界。指出期望的操縱和/或要操縱的圖像的部分的其他示例手部姿勢也是可能的。
[0070]ii1.確定用戶所聚焦的區(qū)域
[0071]在另一示例實(shí)施例中，可穿戴計(jì)算系統(tǒng)可通過確定用戶正聚焦于其上的圖像區(qū)域來確定要操縱實(shí)時(shí)圖像的哪個(gè)區(qū)域。從而，可穿戴計(jì)算系統(tǒng)可被配置為識別真實(shí)世界視圖或?qū)崟r(shí)圖像中的用戶所聚焦的區(qū)域。為了確定用戶正聚焦在圖像的哪個(gè)部分上，可穿戴計(jì)算系統(tǒng)可配備有眼睛跟蹤系統(tǒng)。能夠確定用戶所聚焦的圖像區(qū)域的眼睛跟蹤系統(tǒng)是本領(lǐng)域公知的。給定的輸入命令可與對用戶所聚焦的區(qū)域的給定操縱相關(guān)聯(lián)。例如，觸摸板上的
三叩擊可與放大用戶所聚焦的區(qū)域相關(guān)聯(lián)。作為另一示例，語音命令可與對用戶所聚焦的區(qū)域的給定操縱相關(guān)聯(lián)。
[0072]iv.示例語音輸入命令
[0073]在又一示例中，用戶可基于指出要操縱什么區(qū)域的語音命令來識別要操縱的區(qū)域。例如，參考圖5a，用戶可以簡單地說出“在路標(biāo)上拉近”?？纱┐饔?jì)算系統(tǒng)一一可能聯(lián)合外部服務(wù)器——可分析實(shí)時(shí)圖像(或者可替換地基于實(shí)時(shí)圖像的靜止圖像)以識別路標(biāo)在圖像中的何處。在識別出路標(biāo)之后，系統(tǒng)可操縱圖像以在路標(biāo)上拉近，如圖5c中所示。
[0074]在一示例中，基于語音命令可能不清楚要操縱什么區(qū)域。例如，可穿戴計(jì)算系統(tǒng)可在其上拉近的路標(biāo)可能有兩個(gè)或更多個(gè)。在這種示例中，系統(tǒng)可拉近到所有這些路標(biāo)中?？商鎿Q地，在另一示例中，系統(tǒng)可向用戶發(fā)送消息以詢問用戶想要在哪個(gè)路標(biāo)上縮放。
[0075]V.示例遠(yuǎn)程設(shè)備輸入命令
[0076]在又一個(gè)示例中，用戶可經(jīng)由遠(yuǎn)程設(shè)備輸入操縱圖像的輸入命令。例如，關(guān)于圖3，用戶可使用遠(yuǎn)程設(shè)備142來執(zhí)行圖像的操縱。例如，遠(yuǎn)程設(shè)備142可以是具有觸摸屏的電話，其中該電話與可穿戴計(jì)算系統(tǒng)無線地配對。遠(yuǎn)程設(shè)備142可顯示實(shí)時(shí)圖像，并且用戶可使用觸摸屏來輸入操縱該實(shí)時(shí)圖像的輸入命令。遠(yuǎn)程設(shè)備和/或可穿戴計(jì)算系統(tǒng)隨后可依據(jù)(一個(gè)或多個(gè))輸入命令來操縱圖像。在圖像被操縱之后，可穿戴計(jì)算系統(tǒng)和/或遠(yuǎn)程設(shè)備可顯示被操縱的圖像。除了無線電話以外，其他示例遠(yuǎn)程設(shè)備也是可能的。
[0077]應(yīng)當(dāng)理解，上述輸入命令和用于跟蹤或識別輸入命令的方法只打算作為示例。其他輸入命令和用于跟蹤輸入命令的方法也是可能的。
[0078]C.在可穿戴計(jì)算系統(tǒng)的顯示器中顯示被操縱的圖像
[0079]在以期望的方式操縱實(shí)時(shí)圖像之后，可穿戴計(jì)算設(shè)備可在可穿戴計(jì)算系統(tǒng)的顯示器中顯示被操縱的實(shí)時(shí)圖像，如塊410所示。在一示例中，可穿戴計(jì)算系統(tǒng)可將被操縱的實(shí)時(shí)圖像覆蓋在用戶對真實(shí)世界環(huán)境的視圖上。例如，圖5c描繪了所顯示的被操縱實(shí)時(shí)圖像540。在此示例中，所顯示的被操縱實(shí)時(shí)圖像被覆蓋在路標(biāo)510上。在另一示例中，所顯示的被操縱實(shí)時(shí)圖像可被覆蓋在用戶的真實(shí)世界視圖的另一部分上，比如被覆蓋在在用戶的真實(shí)世界視圖的外圍上。
[0080]D.實(shí)時(shí)圖像的其他示例操縱
[0081]除了在圖像的期望部分上拉近以外，對實(shí)時(shí)圖像的其他操縱也是可能的。例如，其他示例可能操縱包括平移圖像、編輯圖像和旋轉(zhuǎn)圖像。
[0082]例如，在在圖像的一區(qū)域上拉近之后，用戶可平移圖像以看到被拉近的部分周圍的區(qū)域。參考圖5a，鄰近路標(biāo)508的可以有用戶不能閱讀的某種類型的另一標(biāo)志514。用戶隨后可指示可穿戴計(jì)算系統(tǒng)平移被拉近的實(shí)時(shí)圖像540。圖5d描繪了被平移的圖像542 ；這個(gè)被平移的圖像542揭示了另一路標(biāo)514的細(xì)節(jié)，以便用戶可以清楚地閱讀路標(biāo)514的文本。有益地，通過在被拉近的部分周圍平移，用戶將不需要指示可穿戴計(jì)算系統(tǒng)拉遠(yuǎn)然后又在圖像的鄰近部分上拉近。實(shí)時(shí)平移圖像的能力從而可在實(shí)時(shí)操縱圖像時(shí)節(jié)省用戶的時(shí)間。
[0083]為了在圖像上平移，用戶可輸入各種輸入命令，比如觸摸板輸入命令、姿勢輸入命令和/或語音輸入命令。作為示例觸摸板輸入命令，用戶可在用戶想要在圖像上平移的方向上、在觸摸板上作出揮掃運(yùn)動(dòng)。作為示例姿勢輸入命令，用戶可在用戶視圖的用戶想要平移的區(qū)域上用用戶的手部作出揮掃姿勢(例如，從左向右移動(dòng)手指)。在一示例中，揮掃姿勢可包括兩指滾動(dòng)。
[0084]作為示例語音輸入命令，用戶可以大聲說出“平移圖像”。另外，用戶可給出具體的平移指示，例如“平移路標(biāo)”、“向右平移兩英尺”和“向上平移三英寸”。從而，用戶可以以期望的具體度來指示可穿戴計(jì)算系統(tǒng)。應(yīng)當(dāng)理解，上述輸入命令只打算作為示例，而其他輸入命令和輸入命令的類型也是可能的。
[0085]作為另一示例，用戶可通過調(diào)整圖像的對比度來編輯圖像。例如，如果圖像昏暗并且由于圖像的昏暗難以解讀細(xì)節(jié)，則編輯圖像可能是有益的。為了旋轉(zhuǎn)圖像，用戶可輸入各種輸入命令，比如觸摸板輸入命令、姿勢輸入命令和/或語音輸入命令。例如，用戶可以大聲說出“增大圖像的對比度”。其他示例也是可能的。
[0086]作為另一示例，如果需要，用戶可旋轉(zhuǎn)圖像。例如，用戶可能正看著顛倒的或向著側(cè)面的文本。用戶隨后可旋轉(zhuǎn)圖像使得該文本正向直立。為了旋轉(zhuǎn)圖像，用戶可輸入各種輸入命令，比如觸摸板輸入命令、姿勢輸入命令和/或語音輸入命令。作為示例觸摸板輸入命令，用戶可在觸摸板上用用戶的手指作出轉(zhuǎn)動(dòng)動(dòng)作。作為示例姿勢輸入命令，用戶可識別要旋轉(zhuǎn)的區(qū)域，然后作出與期望的旋轉(zhuǎn)量相對應(yīng)的轉(zhuǎn)動(dòng)或扭曲動(dòng)作。作為示例語音輸入命令，用戶可大聲說出“將圖像旋轉(zhuǎn)X度”，其中X是期望的旋轉(zhuǎn)度數(shù)。應(yīng)當(dāng)理解，上述輸入命令只打算作為示例，而其他輸入命令和輸入命令的類型也是可能的。
[0087]E.照片的操縱和顯示
[0088]除了操縱實(shí)時(shí)圖像并顯示被操縱的實(shí)時(shí)圖像以外，可穿戴計(jì)算系統(tǒng)還可被配置為操縱照片并且利用被操縱的照片來補(bǔ)充用戶對物理世界的視圖。
[0089]可穿戴計(jì)算系統(tǒng)可拍攝給定圖像的照片，并且可穿戴計(jì)算系統(tǒng)可在可穿戴計(jì)算系統(tǒng)的顯示器中顯示該照片。用戶隨后可根據(jù)需要操縱該照片。操縱照片在許多方面可與操縱實(shí)時(shí)圖像類似。從而，以上論述的關(guān)于操縱實(shí)時(shí)圖像的許多可能性對于操縱照片也是可能的。對于流式視頻也可執(zhí)行類似的操縱。
[0090]操縱照片并且在用戶對物理世界的視圖中顯示被操縱的照片可基本上實(shí)時(shí)地發(fā)生。操縱靜止圖像時(shí)的延遲可稍長于操縱實(shí)時(shí)圖像時(shí)的延遲。然而，因?yàn)殪o止圖像可具有比實(shí)時(shí)圖像更高的分辨率，所以靜止圖像的分辨率可以有益地更大。例如，如果用戶在在實(shí)時(shí)圖像上拉近時(shí)不能實(shí)現(xiàn)期望的放大質(zhì)量，則用戶可指示計(jì)算系統(tǒng)改為操縱該視圖的照片以便改善放大質(zhì)量。
[0091]IV.結(jié)論
[0092]應(yīng)當(dāng)理解，本文描述的布置只是為了示例。這樣，本領(lǐng)域技術(shù)人員將會(huì)明白，可以改為使用其他布置和其他元素(例如，機(jī)器、接口、功能、順序和功能的分組等等)，并且根據(jù)期望的結(jié)果可以完全省略一些元素。另外，所描述的元素中許多是可按任何適當(dāng)?shù)慕M合和位置實(shí)現(xiàn)為分立或分布的組件或者與其他組件結(jié)合實(shí)現(xiàn)的功能實(shí)體。
[0093]應(yīng)當(dāng)理解，對于本文論述的系統(tǒng)和方法收集和/或使用關(guān)于用戶的任何個(gè)人信息或者可能與用戶的個(gè)人信息有關(guān)的信息的情形，可以向用戶提供選擇參與或不參與涉及這種個(gè)人信息(例如，關(guān)于用戶的偏好的信息)的項(xiàng)目或特征的機(jī)會(huì)。此外，在存儲或使用某些數(shù)據(jù)之前，可通過一種或多種方式使其匿名，從而去除個(gè)人可識別信息。例如，可以隱匿用戶的身份，從而不能對用戶確定個(gè)人可識別信息，并且從而任何所識別的用戶偏好或用戶交互都是一般化的(例如，基于用戶人口統(tǒng)計(jì)資料來一般化的)，而不是與特定用戶相關(guān)聯(lián)的。
[0094]盡管本文已公開了各種方面和實(shí)施例，但本領(lǐng)域技術(shù)人員將會(huì)清楚其他方面和實(shí)施例。本文公開的各種方面和實(shí)施例是為了說明，而并不打算進(jìn)行限定，真實(shí)的范圍和精神由權(quán)利要求以及這種權(quán)利要求所應(yīng)享有的完整等同范圍來指出。還要理解，本文使用的術(shù)語只是為了描述特定實(shí)施例，而并不打算進(jìn)行限定。
【權(quán)利要求】
1.一種方法，包括: 可穿戴計(jì)算系統(tǒng)，提供所述可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖； 對所述真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像； 所述可穿戴計(jì)算系統(tǒng)接收與對所述實(shí)時(shí)圖像的期望操縱相關(guān)聯(lián)的至少一個(gè)輸入命令，其中，所述至少一個(gè)輸入命令包括識別所述實(shí)時(shí)圖像的要被操縱的部分的輸入命令，其中，識別所述實(shí)時(shí)圖像的要被操縱的部分的輸入命令包括在所述真實(shí)世界環(huán)境的一區(qū)域中檢測到的手部姿勢，其中，所述區(qū)域?qū)?yīng)于所述實(shí)時(shí)圖像的要被操縱的部分； 基于所接收到的所述至少一個(gè)輸入命令，所述可穿戴計(jì)算系統(tǒng)依據(jù)所述期望操縱來操縱所述實(shí)時(shí)圖像；以及 所述可穿戴計(jì)算系統(tǒng)在所述可穿戴計(jì)算系統(tǒng)的顯示器中顯示被操縱的實(shí)時(shí)圖像。
2.如權(quán)利要求1所述的方法，其中，所述手部姿勢還識別所述期望操縱。
3.如權(quán)利要求1所述的方法，其中，所述手部姿勢形成邊界。
4.如權(quán)利要求3所述的方法，其中，所述邊界包圍所述真實(shí)世界環(huán)境中的一區(qū)域，并且其中，所述實(shí)時(shí)圖像的要被操縱的部分對應(yīng)于被包圍的區(qū)域。
5.如權(quán)利要求4所述的方法，其中，所述手部姿勢的形狀識別所述期望操縱。
6.如權(quán)利要求3所述的方 法，其中，所述邊界是從由基本為圓形的邊界和基本為矩形的邊界構(gòu)成的組中選擇的。
7.如權(quán)利要求1所述的方法，其中，所述手部姿勢包括捏拉縮放手部姿勢。
8.如權(quán)利要求1所述的方法，其中，所述期望操縱是從由以下各項(xiàng)構(gòu)成的組中選擇的:在所述實(shí)時(shí)圖像的至少一部分上拉近、在所述實(shí)時(shí)圖像的至少一部分上平移、旋轉(zhuǎn)所述實(shí)時(shí)圖像的至少一部分以及編輯所述實(shí)時(shí)圖像的至少一部分。
9.如權(quán)利要求1所述的方法，其中，所述期望操縱是在所述實(shí)時(shí)圖像的至少一部分上平移，并且其中，所述手部姿勢包括揮掃手部運(yùn)動(dòng)，其中，所述揮掃手部運(yùn)動(dòng)識別期望平移的方向。
10.如權(quán)利要求1所述的方法，其中，所述期望操縱是旋轉(zhuǎn)所述實(shí)時(shí)圖像的給定部分，并且其中，所述手部姿勢包括(i)在所述真實(shí)世界環(huán)境中的一區(qū)域周圍形成邊界，其中，所述實(shí)時(shí)圖像的要被操縱的給定部分對應(yīng)于被包圍的區(qū)域，和(ii )在期望旋轉(zhuǎn)的方向上旋轉(zhuǎn)所形成的邊界。
11.如權(quán)利要求1所述的方法，其中，所述可穿戴計(jì)算系統(tǒng)接收與對所述實(shí)時(shí)圖像的期望操縱相關(guān)聯(lián)的至少一個(gè)輸入命令包括: 手部姿勢檢測系統(tǒng)接收與所述手部姿勢相對應(yīng)的數(shù)據(jù)； 所述手部姿勢檢測系統(tǒng)分析接收到的數(shù)據(jù)以確定所述手部姿勢。
12.如權(quán)利要求11所述的方法，其中，所述手部姿勢檢測系統(tǒng)包括被配置為檢測所述手部姿勢的激光二極管系統(tǒng)。
13.如權(quán)利要求11所述的方法，其中，所述手部姿勢檢測系統(tǒng)包括從由視頻相機(jī)和紅外相機(jī)構(gòu)成的組中選擇的相機(jī)。
14.如權(quán)利要求1所述的方法，其中，所述至少一個(gè)輸入命令還包括語音命令，其中，所述語音命令識別對所述實(shí)時(shí)圖像的期望操縱。
15.如權(quán)利要求1所述的方法，其中，對所述真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像包括視頻相機(jī)在取景器模式中操作以獲得實(shí)時(shí)圖像。
16.如權(quán)利要求1所述的方法，其中，在所述可穿戴計(jì)算系統(tǒng)的顯示器中顯示被操縱的實(shí)時(shí)圖像包括把被操縱的實(shí)時(shí)圖像覆蓋在所述可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖上。
17.一種非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，其上存儲有指令，所述指令響應(yīng)于被處理器執(zhí)行而使得該處理器執(zhí)行操作，所述指令包括: 用于提供可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖的指令； 用于對所述真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像的指令； 用于接收與對所述實(shí)時(shí)圖像的期望操縱相關(guān)聯(lián)的至少一個(gè)輸入命令的指令，其中，所述至少一個(gè)輸入命令包括識別所述實(shí)時(shí)圖像的要被操縱的部分的輸入命令，其中識別所述實(shí)時(shí)圖像的要被操縱的部分的輸入命令包括在所述真實(shí)世界環(huán)境的一區(qū)域中檢測到的手部姿勢，其中，所述區(qū)域?qū)?yīng)于所述實(shí)時(shí)圖像的要被操縱的部分； 用于基于所接收到的所述至少一個(gè)輸入命令，依據(jù)所述期望操縱來操縱所述實(shí)時(shí)圖像的指令；以及 用于在所述可穿戴計(jì)算系統(tǒng)的顯示器中顯示被操縱的實(shí)時(shí)圖像的指令。
18.一種可穿戴計(jì)算系統(tǒng)，包括: 頭戴式顯示器，其中，所述頭戴式顯示器被配置為提供所述可穿戴計(jì)算系統(tǒng)的真實(shí)世界環(huán)境的視圖，其中，提供所述真實(shí)世界環(huán)境的視圖包括顯示由計(jì)算機(jī)生成的信息并允許對所述真實(shí)世界環(huán)境的視覺感知； 成像系統(tǒng)，其中，所述成像系統(tǒng)被配置為對所述真實(shí)世界環(huán)境的視圖的至少一部分實(shí)時(shí)成像以獲得實(shí)時(shí)圖像； 控制器，其中，所述控制器被配置為(i )接收與對所述實(shí)時(shí)圖像的期望操縱相關(guān)聯(lián)的至少一個(gè)輸入命令，以及(ii)基于所接收到的所述至少一個(gè)輸入命令，依據(jù)所述期望操縱來操縱所述實(shí)時(shí)圖像，其中，所述至少一個(gè)輸入命令包括識別所述實(shí)時(shí)圖像的要被操縱的部分的輸入命令，其中，識別所述實(shí)時(shí)圖像的要被操縱的部分的輸入命令包括在所述真實(shí)世界環(huán)境的一區(qū)域中檢測到的手部姿勢，其中，所述區(qū)域?qū)?yīng)于所述實(shí)時(shí)圖像的要被操縱的部分；以及 顯示系統(tǒng)，其中所述顯示系統(tǒng)被配置為在所述可穿戴計(jì)算系統(tǒng)的顯示器中顯示被操縱的實(shí)時(shí)圖像。
19.如權(quán)利要求18所述的可穿戴計(jì)算系統(tǒng)，還包括手部姿勢檢測系統(tǒng)，其中，所述手部姿勢檢測系統(tǒng)被配置為檢測手部姿勢。
20.如權(quán)利要求19所述的可穿戴計(jì)算系統(tǒng)，其中，所述手部姿勢檢測系統(tǒng)包括激光二極管。
【文檔編號】G02B27/01GK103814343SQ201280045891
【公開日】2014年5月21日 申請日期:2012年7月10日 優(yōu)先權(quán)日:2011年7月20日
【發(fā)明者】X.苗, M.J.海因里希 申請人:谷歌公司