對由應(yīng)用產(chǎn)生的共享狀態(tài)信息進行管理的制作方法
【專利說明】
【背景技術(shù)】
[0001]增強現(xiàn)實應(yīng)用通常提供將從環(huán)境捕獲的信息與若干類型的補充信息相合并的輸出呈現(xiàn)。例如，一種類型的增強現(xiàn)實應(yīng)用將環(huán)境的圖像連同在該圖像中的對對象進行注釋的標簽一起呈現(xiàn)。另一種類型的增強現(xiàn)實應(yīng)用提供了圖片，該圖片將人類用戶的實際運動連同該用戶可以與之交互的虛擬對象一起復(fù)制。
[0002]用于從周圍環(huán)境捕獲信息的應(yīng)用引起了隱私問題。例如，上文描述的增強現(xiàn)實應(yīng)用捕獲環(huán)境的圖像或視頻;該信息轉(zhuǎn)而會有可能包括敏感項目，諸如人臉、個人筆跡、賬戶號碼等等。此種私人信息的“所有者”常常會傾向于或堅持要求不將該信息發(fā)布給未經(jīng)授權(quán)的各方。這樣的不期望的發(fā)布會在各種不同的情況下發(fā)生。在第一種情形下，未經(jīng)授權(quán)的應(yīng)用可從其通過計算設(shè)備的感測機制(例如，視頻攝像機、麥克風(fēng)等)獲取的信息提取私人信息。在第二種情形下，未經(jīng)授權(quán)的應(yīng)用可從另一增強現(xiàn)實應(yīng)用獲取私人信息。
[0003]在實踐中，開發(fā)者可以將增強現(xiàn)實應(yīng)用作為“一次性的(one-off)”自足(self-contained) 代碼單元來創(chuàng)建。 同樣地 ，計算設(shè)備可以將應(yīng)用作為單獨的 (standalone) 功能單元來執(zhí)行。如果用戶希望在相同的計算設(shè)備上運行另一增強現(xiàn)實應(yīng)用，他或她可以關(guān)閉第一應(yīng)用并且啟動第二應(yīng)用。根據(jù)此方法，每個開發(fā)者都可以以分開(separate)的方式(典型地以自組織(ad hoc)的方式)在應(yīng)用代碼自身以內(nèi)解決上文描述的隱私問題。

【發(fā)明內(nèi)容】

[0004]在本文中描述了共享清染器(sharedrenderer)，其對共享狀態(tài)信息進行管理。共享狀態(tài)信息是由兩個或更多個增強現(xiàn)實應(yīng)用產(chǎn)生的，每個增強現(xiàn)實應(yīng)用將對象和其它信息貢獻給共享狀態(tài)信息。例如，兩個或更多個增強現(xiàn)實應(yīng)用可以感測相同的環(huán)境并創(chuàng)建與該環(huán)境內(nèi)的實體相關(guān)聯(lián)的兩組不同的標簽。共享渲染器能夠?qū)⑦@些標簽表示成共享狀態(tài)信息的部分。輸出清染器(output renderer)基于該共享狀態(tài)信息給出單個輸出呈現(xiàn)。
[0005]根據(jù)一個示例方面，每個對象可以具有零個、一個或者多個特性。此外，共享渲染器能夠?qū)⒃S可信息與每個對象特性相關(guān)聯(lián)。共享渲染器包括這樣的機制:任何應(yīng)用通過該機制都能夠基于許可信息來與另一應(yīng)用共享關(guān)于對象特性的信息。
[0006]根據(jù)另一示例特征，共享渲染器可以包括物理引擎。物理引擎被配置為基于來自至少一個應(yīng)用的指令對在共享狀態(tài)信息中表示的至少一個對象的運動進行仿真。
[0007]根據(jù)另一示例特征，共享渲染器可以包括注釋引擎。注釋引擎被配置為管理對由多個應(yīng)用產(chǎn)生的注釋進行的呈現(xiàn)。
[0008]根據(jù)另一示例特征，共享渲染器可以包括遮擋引擎。遮擋引擎被配置為，當(dāng)由兩個或更多個應(yīng)用產(chǎn)生的兩個或更多個對象在輸出呈現(xiàn)內(nèi)交疊時，對該輸出呈現(xiàn)的行為進行管理。
[0009]上述功能可以被體現(xiàn)在各種類型的系統(tǒng)、組件、方法、計算機可讀存儲介質(zhì)、數(shù)據(jù)結(jié)構(gòu)、圖形用戶界面呈現(xiàn)、制品等等中。
[0010]本
【發(fā)明內(nèi)容】
被提供來以簡化的形式介紹概念的選集;這些概念在下文在【具體實施方式】中被進一步描述。該
【發(fā)明內(nèi)容】
不旨在識別所要求保護的主題的關(guān)鍵特征或必要特征，也不旨在被用來限制所要求保護的主題的范圍。
【附圖說明】
[0011]圖1示出了示例場景，在其中多個增強現(xiàn)實應(yīng)用聯(lián)合地對增強現(xiàn)實體驗做貢獻。
[0012]圖2示出了用于遞送圖1中示出的增強現(xiàn)實體驗的示例現(xiàn)實感測框架的概況。
[0013]圖3示出了用于實現(xiàn)圖2中的現(xiàn)實感測框架的示例計算功能。
[0014]圖4示出了用于管理辨識系統(tǒng)的示例管理模塊，其中，該管理模塊和辨識系統(tǒng)是圖2中的現(xiàn)實感測框架的組件。
[0015]圖5示出了圖4中的辨識系統(tǒng)的一個示例實施方式。
[0016]圖6示出了圖5中的辨識系統(tǒng)的一個示例實例化(instantiat1n)。
[0017]圖7示出了可以由可視化模塊給出的一個示例用戶界面呈現(xiàn)。該可視化模塊是圖4中的管理模塊的組件。
[0018]圖8示出了可以由可視化模塊給出的另一示例用戶界面呈現(xiàn)。
[0019]圖9示出了可以由可視化模塊給出的另一示例用戶界面呈現(xiàn)。這里，該呈現(xiàn)展現(xiàn)了應(yīng)用在其執(zhí)行期間可以嘗試訪問的對象。
[0020]圖10示出了一個示例糾錯機制連同相關(guān)聯(lián)的辨識器。該糾錯機制被設(shè)計成降低由辨識器生成的誤報(false positive)的發(fā)生率。
[0021]圖11示出了另一示例糾錯機制連同其相關(guān)聯(lián)的辨識器。
[0022]圖12示出了示例場景，在其中一個增強現(xiàn)實應(yīng)用可以經(jīng)由共享渲染器與另一增強現(xiàn)實應(yīng)用共享信息。
[0023]圖13示出了另一個示例場景，在其中一個增強現(xiàn)實應(yīng)用可以經(jīng)由共享渲染器與另一增強現(xiàn)實應(yīng)用共享信息。
[0024]圖14示出了可以遞送圖12和13中的體驗的共享渲染器的一個示例實施方式。
[0025]圖15是對可以構(gòu)成如由共享渲染器維護的共享狀態(tài)信息的不同類型的信息項目進行識別的圖表。
[0026]圖16示出了一種表現(xiàn)作為共享狀態(tài)信息的部分的許可信息的方法。
[0027]圖17示出了一種用戶可以用于檢查并設(shè)置許可信息的方法。
[0028]圖18和19一起示出了用戶可以經(jīng)由小工具的使用來手動檢查并設(shè)置許可信息的方法。
[0029]圖20示出了遮擋引擎可以給出用以指示在輸出呈現(xiàn)內(nèi)兩個或更多個對象交疊的可視化指示器。該遮擋弓I擎是共享渲染器的組件。
[0030]圖21示出了操控機制的操作。用戶可以與操控機制交互，以對發(fā)生交疊的對象取得不同的視角(perspective)。
[0031]圖22是示出圖4的管理模塊的一種操作方式的流程圖。
[0032]圖23是示出圖5的辨識系統(tǒng)的一種操作方式的流程圖。
[0033]圖24是示出設(shè)置與特定的對象特性相關(guān)聯(lián)的許可信息的兩種方法的流程圖。該許可信息管控應(yīng)用間共享。
[0034]圖25是示出圖14中的共享渲染器的一種操作方式的流程圖。
[0035]圖26是示出共享渲染器的各組件可以藉以貢獻共享狀態(tài)信息的一種方式以及輸出渲染器可以基于共享狀態(tài)信息如何產(chǎn)生輸出呈現(xiàn)的流程圖。
[0036]圖27示出了可用以實現(xiàn)前述附圖中示出的特征的任何方面的示例計算功能。
[0037]在本申請公開和附圖中通篇使用的相同附圖標記指代相同的組件和特征。100系列的附圖標記指在圖1中最初發(fā)現(xiàn)的特征，200系列的附圖標記指在圖2中最初發(fā)現(xiàn)的特征，300系列的附圖標記指在圖3中最初發(fā)現(xiàn)的特征等等。
【具體實施方式】
[0038]本申請公開是按如下組織的。第A節(jié)提供了現(xiàn)實感測框架的概況，其中多個應(yīng)用感測來自環(huán)境的信息并對共享輸出呈現(xiàn)做貢獻。這些應(yīng)用可以對應(yīng)于增強現(xiàn)實應(yīng)用和/或若干其它類型的環(huán)境感測應(yīng)用。第B節(jié)給出了對第A節(jié)中的功能的操作進行解釋的示例方法。第C節(jié)描述了能被用以實現(xiàn)在第A和B節(jié)中描述的特征的任何方面的示例計算功能。
[0039]作為初步事項，一些附圖描述了在一個或多個結(jié)構(gòu)組件背景下的概念，其以不同的方式被稱為功能、模塊、特征、元件等等。在附圖中示出的各種組件能以任何方法通過任何物理的和有形的機制(例如，通過在計算機裝置(computer equipment)上運行的軟件、硬件(例如，以芯片實現(xiàn)的邏輯功能)等和/或其任意組合)來實現(xiàn)。在一種情形下，在附圖中將示出的各種組件分成不同的單元，可以反映對應(yīng)的不同的物理和有形組件在實際的實施方式中的使用。替代地或者另外地，在附圖中對任何兩個或更多個分開的組件的描繪可以反映由單個實際物理組件執(zhí)行的不同的功能。如待要依次描述的圖27提供了與在附圖中示出的功能的一種示例物理實施方式有關(guān)的額外細節(jié)。
[0040]其它附圖描述了在流程圖中的概念。以此形式，特定的操作被描述成構(gòu)成以特定次序執(zhí)行的不同方框。這樣的實施方式是示例性的且是非限定性的。在本文中描述的特定方框能被組合在一起并以單個操作來執(zhí)行，特定方框能被分裂成多個組件方框，以及特定方框能以本文所例示的次序不同的次序(包括執(zhí)行方框的并行方法)來執(zhí)行。在流程圖中示出的方框可以以任何方法通過任何物理和有形機制(例如，通過在計算機裝置上運行的軟件、硬件(例如，以芯片實現(xiàn)的邏輯功能)等和/或其任意組合)來實現(xiàn)。
[0041]關(guān)于術(shù)語，短語“被配置為”涵蓋能被用于構(gòu)造以執(zhí)行識別的操作的任何方法的任何類別的物理和有形功能。該功能能被配置為使用例如在計算機裝置上運行的軟件、硬件(例如，以芯片實現(xiàn)的邏輯功能)等和/或其任意組合來執(zhí)行操作。
[0042]術(shù)語“邏輯”涵蓋用于執(zhí)行任務(wù)的任何物理和有形功能。例如，在流程圖中示出的每個操作對應(yīng)用于執(zhí)行該操作的邏輯組件。一項操作能使用例如在計算機裝置上運行的軟件、硬件(例如，以芯片實現(xiàn)的邏輯功能)等和/或其任意組合來執(zhí)行。當(dāng)被計算裝置執(zhí)行時，邏輯組件表示作為計算系統(tǒng)的一個物理部分的電氣組件，無論其是如何被實現(xiàn)的。
[0043]在權(quán)利要求書中使用的短語“用于……的單元”旨在援引《美國法典》第35卷第112節(jié)第六段落的規(guī)定。除了此專用短語之外的其它語言并不是想要援引該法典的那個部分的規(guī)定。
[0044]下面的解釋可以將一個或多個特征識別為“可選地”。此種類型的聲明不是要被解釋為對可被視為可選地的特征的排他指示;也即，其它特征也能被視為可選地，即使其在本文中未被明確地識別。最后，術(shù)語“例示”或“示例”指在潛在地多種實施方式當(dāng)中的一個實施方式。
[0045]A.示例現(xiàn)實感測框架
[0046]A.1.該框架的概況
[0047]本節(jié)描述了為一個或多個增強現(xiàn)實應(yīng)用做主機的現(xiàn)實感測框架。如上所示，增強現(xiàn)實應(yīng)用通過使用一個或多個感測機制以捕獲環(huán)境的任何方面來運作。該應(yīng)用然后生成若干種類的補充信息，諸如標簽、虛擬對象(例如，頭像)等等。然后該應(yīng)用提供輸出呈現(xiàn)，所述輸出呈現(xiàn)將關(guān)于環(huán)境的信息與補充信息合并。
[0048]在其它情形下，現(xiàn)實感測框架可以為一個或多個其它類型的環(huán)境感測應(yīng)用做主機。這些其它類型的環(huán)境感測應(yīng)用捕獲環(huán)境的各方面，但不會以在上文描述的相同方式將對環(huán)境的表示與補充信息合并。不過，為了便于并簡化描述，在本文將主要參照增強現(xiàn)實應(yīng)用來描述現(xiàn)實感測框架。
[0049]從高層次角度，現(xiàn)實感測框架包括用于基于由一個或多個感測機制提供的感知信息來從環(huán)境提取不同的對象的辨識系統(tǒng)。不同的增強現(xiàn)實應(yīng)用訂閱并接收由辨識系統(tǒng)產(chǎn)生的不同類型的對象。單個共享渲染器接收并管理由增強現(xiàn)實應(yīng)用產(chǎn)生的信息?，F(xiàn)實感測框架基于由共享渲染器維護的共享狀態(tài)信息來提供輸出呈現(xiàn)。
[0050]然而在探究現(xiàn)實感測框架的示例細節(jié)前，考慮在圖1中描繪的具體場景，其中現(xiàn)實感測框架被用以提供增強現(xiàn)實體驗。該場景將在本申請公開中通篇用作運行例子。
[0051]在圖1中示出的真實世界102包括站在白板106前面的第一個人104。第一個人104具有的特性包括但不限于人臉108和證章(badge) 110。此外，第一個人104將其手臂112伸出，好像指向特定方向。白板106包括各種筆跡實例，諸如筆跡114和筆跡116。
[0052]第二個人118使用諸如智能手機等計算設(shè)備120捕獲上文描述的景象。更具體而言，第二個人118朝向計算設(shè)備120，使得其攝像機(未示出)捕獲至少第一個人104和白板106的視頻呈現(xiàn)。計算設(shè)備120還能夠包括一個或多個其它環(huán)境感測機制，諸如但不限于一個或多個麥克風(fēng)、一個或多個動作感測設(shè)備(諸如加速度計、陀螺儀等)等等。這些其它感測機制可以捕獲真實世界102的其它方面。
[0053]計算設(shè)備120還可以包括一個或多個輸出設(shè)備，諸如顯示機制122。顯示機制122提供由增強現(xiàn)實應(yīng)用產(chǎn)生的輸出呈現(xiàn)。在圖1中示出的場景中，顯示機制122充當(dāng)從第二個人118的有利位置(vantage point)到真實世界102的“窗口”。換言之，在顯示機制122上給出的內(nèi)容反映(mirror)出計算設(shè)備120前方的真實世界，好像用戶通過窗口面對著世界。
[0054]然而，其它設(shè)置可以被用以遞送增強現(xiàn)實體驗。在另一情形下，例如，第二個人118可以在由一個或多個感測機制創(chuàng)建的空間內(nèi)與增強現(xiàn)實應(yīng)用交互。例如，第二個人118可以在由多個視頻攝像機創(chuàng)建的視野內(nèi)工作，每個攝像機從不同的有利位置捕獲第二個人118。第二個人118可以消費由增強現(xiàn)實應(yīng)用在諸如位于第二個人118前方的顯示監(jiān)視器之類的任何輸出設(shè)備上產(chǎn)生的輸出呈現(xiàn)。
[0055]在另一情形下，第二個人118可以經(jīng)由任何類型的可穿戴計算設(shè)備來與增強現(xiàn)實應(yīng)用互動。例如，這種計算設(shè)備可以附到眼鏡、服裝、手表、首飾或其它可穿戴項目。任何類型的感測機制和輸出設(shè)備可以附到或以其它方式關(guān)聯(lián)于可穿戴項目。例如，附到眼鏡的攝像機可以捕獲對第二個人118前方的景象的視頻表示，而附到眼鏡的顯示機制可以遞送由增強現(xiàn)實應(yīng)用提供的輸出呈現(xiàn)。上文描述的形狀要素是通過舉例而非限制地提出的；此外