信息處理設(shè)備、信息處理方法和程序的制作方法
【專利摘要】[問(wèn)題]為了降低關(guān)于識(shí)別在圖像中顯示的另一設(shè)備的圖像的處理的負(fù)荷。[解決方案]提供了一種信息處理設(shè)備，其包括：用于獲取與捕獲圖像相對(duì)應(yīng)的捕獲圖像信息的捕獲圖像信息獲取單元；用于獲取與顯示屏幕上顯示的第一圖像相對(duì)應(yīng)的顯示圖像信息的顯示圖像信息獲取單元；以及使用顯示圖像信息和捕獲圖像信息以檢測(cè)捕獲圖像中的第一圖像的位置和定向的對(duì)象識(shí)別單元。
【專利說(shuō)明】信息處理設(shè)備、信息處理方法和程序

【技術(shù)領(lǐng)域】
[0001]本公開(kāi)涉及一種信息處理設(shè)備、信息處理方法和程序。

【背景技術(shù)】
[0002]近年來(lái)，圖像識(shí)別技術(shù)的發(fā)展使得能夠例如使用包含在獲取了真實(shí)空間的圖像的圖像中的各種對(duì)象的位置和姿勢(shì)來(lái)識(shí)別該對(duì)象。對(duì)象識(shí)別技術(shù)已經(jīng)用于例如被稱為增強(qiáng)現(xiàn)實(shí)(AR)的技術(shù)，增強(qiáng)現(xiàn)實(shí)(AR)包括將附加信息疊加在真實(shí)空間的圖像上，并且然后將結(jié)果圖像呈現(xiàn)給用戶等。作為AR技術(shù)的示例，專利文獻(xiàn)I描述了如下技術(shù):該技術(shù)包括將模仿諸如家具的真實(shí)對(duì)象的虛擬對(duì)象的圖像疊加在真實(shí)空間的圖像上，并且然后呈現(xiàn)結(jié)果圖像以從而便于試驗(yàn)家具的布置等。
[0003]引用列表_4] 專利文獻(xiàn)
[0005]專利文獻(xiàn)I JP 2003-256876A


【發(fā)明內(nèi)容】

[0006]摶術(shù)問(wèn)是頁(yè)
[0007]當(dāng)利用上述AR技術(shù)時(shí)，可以對(duì)包含在捕獲了真實(shí)空間的圖像的圖像中的另外的設(shè)備的圖像進(jìn)行操作。然而，例如使用終端設(shè)備執(zhí)行識(shí)別包含在圖像中的另外的設(shè)備的圖像的處理的負(fù)荷高。仍然難以說(shuō)提出了充分降低負(fù)荷的技術(shù)。
[0008]從而，本公開(kāi)提出了允許降低識(shí)別圖像中顯示的另外的設(shè)備的圖像的處理的負(fù)荷的新穎且改進(jìn)的信息處理設(shè)備、信息處理方法和程序。
_9] 問(wèn)題的解決方案
[0010]根據(jù)本公開(kāi)，提供了一種信息處理設(shè)備，包括:捕獲圖像信息獲取部分，其獲取與捕獲圖像相對(duì)應(yīng)的捕獲圖像信息；顯示圖像信息獲取部分，其獲取與顯示在顯示屏幕上的第一圖像相對(duì)應(yīng)的顯示圖像信息；以及對(duì)象識(shí)別部分，其使用顯示圖像信息和捕獲圖像信息來(lái)檢測(cè)第一圖像在捕獲圖像中的位置和姿勢(shì)。
[0011]根據(jù)本公開(kāi)，提供了一種信息處理方法，包括:獲取與捕獲圖像相對(duì)應(yīng)的捕獲圖像信息；獲取與顯示在顯示屏幕上的第一圖像相對(duì)應(yīng)的顯示圖像信息；以及使用顯示圖像信息和捕獲圖像信息來(lái)檢測(cè)第一圖像在捕獲圖像中的位置和姿勢(shì)。
[0012]根據(jù)本公開(kāi)，提供了一種用于使計(jì)算機(jī)實(shí)現(xiàn)以下功能的程序:獲取與捕獲圖像相對(duì)應(yīng)的捕獲圖像信息的功能；獲取與顯示在顯示屏幕上的第一圖像相對(duì)應(yīng)的顯示圖像信息的功能；以及使用顯示圖像信息和捕獲圖像信息來(lái)檢測(cè)第一圖像在捕獲圖像中的位置和姿勢(shì)的功能。
[0013]根據(jù)上述配置，使用與第一圖像對(duì)應(yīng)的信息來(lái)檢測(cè)捕獲圖像中的、在顯示屏幕上顯示的第一圖像的位置和姿勢(shì)。更具體地，可以在預(yù)先獲取與第一圖像相對(duì)應(yīng)的信息之后執(zhí)行包含第一圖像的捕獲圖像的對(duì)象識(shí)別。因此，可以降低對(duì)象處理的處理負(fù)荷。
[0014]本發(fā)明的有益效果
[0015]如上所述，根據(jù)本公開(kāi)，可以降低識(shí)別在圖像中顯示的另外的設(shè)備的圖像的處理的負(fù)荷。

【專利附圖】

【附圖說(shuō)明】
[0016]圖1是用于解釋本公開(kāi)第一實(shí)施例的概要的圖；
[0017]圖2是用于解釋本公開(kāi)第一實(shí)施例的設(shè)備配置的圖；
[0018]圖3是示出根據(jù)本公開(kāi)第一實(shí)施例的系統(tǒng)的功能配置的示意性框圖。
[0019]圖4是示出本公開(kāi)第一實(shí)施例中的處理的數(shù)據(jù)流程圖。
[0020]圖5是用于解釋本公開(kāi)第一實(shí)施例中的圖像信息獲取的定時(shí)的圖。
[0021]圖6A是用于解釋本公開(kāi)第二實(shí)施例的設(shè)備配置的圖。
[0022]圖6B是用于解釋本公開(kāi)第二實(shí)施例的設(shè)備配置的圖。
[0023]圖7是示出根據(jù)本公開(kāi)第二實(shí)施例的系統(tǒng)的功能配置的示意性框圖。
[0024]圖8是示出本公開(kāi)第二實(shí)施例中的處理的數(shù)據(jù)流程圖。
[0025]圖9A是用于解釋本公開(kāi)第三實(shí)施例的設(shè)備配置的圖。
[0026]圖9B是用于解釋本公開(kāi)第三實(shí)施例的設(shè)備配置的圖。
[0027]圖9C是用于解釋本公開(kāi)第三實(shí)施例的設(shè)備配置的圖。
[0028]圖10是示出根據(jù)本公開(kāi)第三實(shí)施例的系統(tǒng)的功能配置的示意性框圖。
[0029]圖11是示出本公開(kāi)第三實(shí)施例中的處理的數(shù)據(jù)流程圖。
[0030]圖12是用于解釋信息處理設(shè)備的硬件配置的框圖。

【具體實(shí)施方式】
[0031]下文中，將參照附圖詳細(xì)地描述本發(fā)明的優(yōu)選實(shí)施例。請(qǐng)注意:在本說(shuō)明書(shū)和附圖中，使用相同的附圖標(biāo)記來(lái)表示具有基本上相同功能和結(jié)構(gòu)的元件，并且省略重復(fù)說(shuō)明。
[0032]將以如下順序給出描述。
[0033]1.第一實(shí)施例
[0034]1-1.概要
[0035]1-2.設(shè)備配置
[0036]1-3.處理流程
[0037]1-4.圖像信息獲取定時(shí)
[0038]2.第二實(shí)施例
[0039]2-1.設(shè)備配置
[0040]2-2.處理流程
[0041]3.第三實(shí)施例
[0042]3-1設(shè)備配置
[0043]3-2處理流程
[0044]4.補(bǔ)充
[0045](1.第一實(shí)施例)
[0046](1-1.概要)
[0047]首先，參照?qǐng)D1來(lái)描述本公開(kāi)的第一實(shí)施例的概要。該概要類似地還適用于本公開(kāi)的其它實(shí)施例。
[0048]圖1是用于解釋該實(shí)施例的概要的圖。當(dāng)參照?qǐng)D1時(shí)，該實(shí)施例涉及終端設(shè)備100和顯示設(shè)備200。終端設(shè)備100獲取包含顯示設(shè)備200的真實(shí)空間的捕獲圖像，并且然后基于該捕獲圖像將圖像151顯示在顯示部分150上。終端設(shè)備100具有識(shí)別包含在捕獲圖像中的對(duì)象的功能并且可以在如在后面描述的顯示圖像151時(shí)利用該捕獲圖像的對(duì)象識(shí)別結(jié)果。
[0049]另一方面，顯示設(shè)備200具有顯示屏幕250，圖像251被顯示在顯示屏幕250上。由于顯示設(shè)備200包含在由終端設(shè)備100獲取的捕獲圖像中，所以顯示在顯示屏幕250上的圖像251也包含在該捕獲圖像中。終端設(shè)備100從捕獲圖像中識(shí)別圖像251，然后將與圖像251對(duì)應(yīng)的虛擬圖像153顯示在圖像151中。虛擬圖像153可以是對(duì)包含在捕獲圖像中的圖像251進(jìn)行原樣繪制的圖像，或者是利用捕獲圖像的對(duì)象識(shí)別結(jié)果重新繪制的圖像。
[0050]在本文中，終端設(shè)備100主要是例如由用戶持有并操作的設(shè)備，諸如蜂窩式電話(智能手機(jī))、平板個(gè)人計(jì)算機(jī)(PC)或者便攜式游戲機(jī)或媒體播放器。顯示設(shè)備200主要是例如固定設(shè)備，諸如電視機(jī)、桌上型PC或筆記本式PC或者PC監(jiān)視器。然而，本公開(kāi)的實(shí)施例不限于這些示例。作為另一個(gè)示例，終端設(shè)備100和顯示設(shè)備200 二者均可以是智能手機(jī)。
[0051]如上所述，終端設(shè)備100具有識(shí)別包含在捕獲圖像中的對(duì)象的功能。在圖中所示的示例中，終端設(shè)備100識(shí)別包含在捕獲圖像中的圖像251。因此，例如終端設(shè)備100可以獲取對(duì)圖像151中的虛擬圖像153進(jìn)行的操作，并且然后可以以與在對(duì)真實(shí)圖像251執(zhí)行相同操作的情況下的相同方式來(lái)改變虛擬圖像153。
[0052]例如，終端設(shè)備100可以通過(guò)將顯示部分150上的坐標(biāo)轉(zhuǎn)換為顯示屏幕250上的坐標(biāo)，來(lái)將與圖像251的GUI (圖形用戶界面)部件(按鈕、鏈接、滾動(dòng)條等)的功能相同的功能分配給包含在虛擬圖像153中的GUI部件。在這種情況下，當(dāng)用戶通過(guò)設(shè)置在顯示部分150上的接觸面板來(lái)執(zhí)行對(duì)包含在虛擬圖像153中的GUI部件的按壓、輕敲、拖動(dòng)、滑動(dòng)等操作時(shí)，虛擬圖像153以與在對(duì)圖像251的GUI部件執(zhí)行相同操作的情況下的相同方式而改變。
[0053]然而，檢測(cè)包含在捕獲圖像中的圖像251的位置和姿勢(shì)的處理是具有相對(duì)高的負(fù)荷的處理。由于圖像251根據(jù)例如顯示設(shè)備200的操作狀態(tài)、內(nèi)容的再現(xiàn)狀態(tài)等來(lái)改變，所以不容易通過(guò)預(yù)先準(zhǔn)備的靜態(tài)數(shù)據(jù)識(shí)別圖像251。因此，有時(shí)需要使用例如網(wǎng)絡(luò)上的大量數(shù)據(jù)來(lái)搜索圖像251。從例如終端設(shè)備100的性能的觀點(diǎn)來(lái)看，不期望通過(guò)執(zhí)行這種處理而產(chǎn)生的負(fù)荷。然后，本公開(kāi)的實(shí)施例提出了降低從終端設(shè)備100的捕獲圖像中識(shí)別圖像251的處理的負(fù)荷的技術(shù)。
[0054](1-2.設(shè)備配置)
[0055]接著，參照?qǐng)D2和圖3來(lái)描述本公開(kāi)的第一實(shí)施例的設(shè)備配置。圖2是用于解釋該實(shí)施例的設(shè)備配置的圖。圖3是示出根據(jù)該實(shí)施例的系統(tǒng)的功能配置的示意性框圖。為簡(jiǎn)單起見(jiàn)，在圖3中，通過(guò)單個(gè)顯示設(shè)備200來(lái)表示圖2中例示的多個(gè)顯示設(shè)備200a至200c。
[0056]當(dāng)參照?qǐng)D2時(shí)，該實(shí)施例的設(shè)備配置包括終端設(shè)備100、顯示設(shè)備200a至200c以及服務(wù)器設(shè)備300 (信息處理設(shè)備的一個(gè)示例)。顯示設(shè)備200的數(shù)目可以不為如在圖中例示的示例中的3而可以為1、2或4或者更多。如以上參照?qǐng)D1所述的，即使當(dāng)顯示設(shè)備200的數(shù)目為I時(shí)，識(shí)別包含在捕獲圖像中的圖像251的處理的負(fù)荷相對(duì)高。如在圖中例示的示例中，當(dāng)存在多個(gè)顯示設(shè)備200時(shí)，識(shí)別圖像251的處理的負(fù)荷可能更高。
[0057]服務(wù)器設(shè)備300可能不總是通過(guò)單個(gè)設(shè)備來(lái)實(shí)現(xiàn)。例如，可以通過(guò)網(wǎng)絡(luò)協(xié)同多個(gè)設(shè)備的資源來(lái)實(shí)現(xiàn)服務(wù)器設(shè)備的功能。
[0058]在圖中所示的示例中，終端設(shè)備100向服務(wù)器設(shè)備300發(fā)送與捕獲圖像對(duì)應(yīng)的捕獲圖像信息155。在本文中，捕獲圖像信息155可以是捕獲圖像本身的圖像數(shù)據(jù)，但不限于此。捕獲圖像信息155可以為適用于后面描述的服務(wù)器設(shè)備300中的對(duì)象識(shí)別處理的信息，并且例如可以是壓縮圖像數(shù)據(jù)、用于對(duì)象識(shí)別的特征點(diǎn)的數(shù)據(jù)陣列等。
[0059]另一方面，顯示設(shè)備200a至200c分別向服務(wù)器設(shè)備300發(fā)送與在顯示設(shè)備200a至200c的顯示屏幕250上顯示的圖像251對(duì)應(yīng)的顯示圖像信息253a至253c。在本文中，顯示圖像信息253a至253c可以是圖像251的圖像數(shù)據(jù)本身，但不限于此。顯示圖像信息253a至253c可以為適用于隨后描述的服務(wù)器設(shè)備300中的對(duì)象識(shí)別處理的信息，并且例如可以是壓縮圖像數(shù)據(jù)、用于對(duì)象識(shí)別的特征點(diǎn)的數(shù)據(jù)陣列等。
[0060]顯示圖像信息253a至253c可能不總是與捕獲圖像信息155相同種類的信息。例如，捕獲圖像信息155可以是捕獲圖像的圖像數(shù)據(jù)本身，而顯示圖像信息253a至253c可以是特征點(diǎn)的數(shù)據(jù)陣列。顯示設(shè)備200a至200c可能不總是發(fā)送相同種類的顯示圖像信息253a至253c。例如，顯示圖像信息253a可以是圖像251a的圖像數(shù)據(jù)本身，而顯示圖像信息253b和253c可以是特征點(diǎn)的數(shù)據(jù)陣列。在這種情況下，服務(wù)器設(shè)備300可以將顯示圖像信息253a轉(zhuǎn)換為與顯示圖像信息253b和253c的特征點(diǎn)的數(shù)據(jù)陣列相同的特征點(diǎn)的數(shù)據(jù)陣列以使用。
[0061]服務(wù)器設(shè)備300使用從終端設(shè)備100獲取的捕獲圖像信息155和從顯示設(shè)備200a至200c獲取的顯示圖像信息253a至253c來(lái)執(zhí)行對(duì)象識(shí)別處理。通過(guò)該處理來(lái)判斷在顯示設(shè)備200a至200c的任何一個(gè)顯示設(shè)備上顯示的圖像251是否被包含在終端設(shè)備100的捕獲圖像中。當(dāng)圖像251被包含在捕獲圖像中時(shí)，位置和姿勢(shì)也被檢測(cè)。服務(wù)器設(shè)備300向終端設(shè)備100發(fā)送包括示出檢測(cè)到的圖像251的位置和姿勢(shì)的信息的識(shí)別結(jié)果信息157。終端設(shè)備100使用識(shí)別結(jié)果信息157來(lái)將虛擬圖像153顯示在圖像151中。
[0062](終端設(shè)備的功能配置)
[0063]參照?qǐng)D3來(lái)進(jìn)一步描述終端設(shè)備100的配置。終端設(shè)備100包括圖像拍攝部分110、顯示控制部分120以及顯示部分150。
[0064]圖像拍攝部分110可以通過(guò)例如內(nèi)置或連接終端設(shè)備100的圖像拍攝設(shè)備來(lái)實(shí)現(xiàn)，并且圖像拍攝部分110獲取捕獲圖像。圖像拍攝部分110可以輸出捕獲圖像作為動(dòng)態(tài)圖像或可以輸出捕獲圖像作為靜止圖像。如上所述，要在顯示設(shè)備200的顯示屏幕250上顯示的圖像251被包含在捕獲圖像中。圖像拍攝部分110將生成的捕獲圖像提供至顯示控制部分120，并且還將與該捕獲圖像相對(duì)應(yīng)的捕獲圖像信息155發(fā)送至服務(wù)器設(shè)備300。
[0065]盡管未示出，終端設(shè)備100還可以包括用于根據(jù)捕獲圖像的圖像數(shù)據(jù)生成捕獲圖像信息155的處理電路、用于發(fā)送捕獲圖像信息155的通信設(shè)備等。
[0066]顯示控制部分120例如通過(guò)終端設(shè)備100的中央處理單元(CPU)、隨機(jī)存取存儲(chǔ)器(RAM)以及只讀存儲(chǔ)器(ROM)根據(jù)存儲(chǔ)在存儲(chǔ)設(shè)備或者可移動(dòng)存儲(chǔ)介質(zhì)中的程序進(jìn)行的操作來(lái)實(shí)現(xiàn)。顯示控制部分120基于從圖像拍攝部分110提供的捕獲圖像的圖像數(shù)據(jù)將圖像151顯示在顯示部分150上。如上所述，從捕獲圖像中識(shí)別的與圖像251對(duì)應(yīng)的虛擬圖像153被包含在圖像151中。顯示控制部分120通過(guò)通信設(shè)備(未示出)接收來(lái)自服務(wù)器設(shè)備300的識(shí)別結(jié)果信息157。關(guān)于圖像251的位置和姿勢(shì)的信息可以包含在識(shí)別結(jié)果信息157中。此外，關(guān)于圖像251的內(nèi)容的信息可以包含在識(shí)別結(jié)果信息157中。顯示控制部分120可以利用識(shí)別結(jié)果信息157來(lái)顯示虛擬圖像153。
[0067]顯示部分150通過(guò)例如終端設(shè)備100具有的作為輸出設(shè)備的或者連接至終端設(shè)備100作為外部連接設(shè)備的液晶顯示器(IXD)、有機(jī)電致發(fā)光顯示器等來(lái)實(shí)現(xiàn)。顯示部分150不總是限于平面顯示器，而是例如可以是頭戴式顯示器(HMD)。顯示部分150根據(jù)顯示控制部分120的控制來(lái)顯示圖像151。
[0068](顯示設(shè)備的功能配置)
[0069]然后，參照?qǐng)D3來(lái)進(jìn)一步描述顯示設(shè)備200的配置。顯示設(shè)備200包含顯示控制部分210和顯示屏幕250。
[0070]例如通過(guò)顯示設(shè)備200的CPU、RAM以及ROM根據(jù)程序進(jìn)行的操作來(lái)實(shí)現(xiàn)顯示控制部分210。顯示控制部分210對(duì)存儲(chǔ)在顯示設(shè)備200的存儲(chǔ)設(shè)備中的圖像或者使用通信設(shè)備(未示出)通過(guò)顯示設(shè)備200接收的圖像進(jìn)行顯示作為顯示屏幕250上的圖像251。顯示控制部分210向服務(wù)器設(shè)備300發(fā)送與圖像251對(duì)應(yīng)的顯示圖像信息253。
[0071]盡管未示出，顯示設(shè)備200還可以包括用于根據(jù)顯示的圖像的圖像數(shù)據(jù)生成顯示圖像信息253的處理電路、用于發(fā)送顯示圖像信息253的通信設(shè)備等。
[0072]例如由終端設(shè)備200具有的作為輸出設(shè)備的顯示器(諸如IXD或有機(jī)EL顯示器)來(lái)實(shí)現(xiàn)顯示屏幕250。顯示屏幕250根據(jù)顯示控制部分210的控制來(lái)顯示圖像251。
[0073](服務(wù)器設(shè)備的功能配置)
[0074]然后，參照?qǐng)D3來(lái)進(jìn)一步描述服務(wù)器設(shè)備300的配置。服務(wù)器設(shè)備300包括捕獲圖像信息獲取部分310、顯示圖像信息獲取部分320以及對(duì)象識(shí)別部分330。這些部分均是例如通過(guò)服務(wù)器設(shè)備300的CPU、RAM以及ROM根據(jù)程序進(jìn)行的操作來(lái)實(shí)現(xiàn)。
[0075]捕獲圖像信息獲取部分310通過(guò)通信設(shè)備(未示出)來(lái)獲取從終端設(shè)備100發(fā)送的捕獲圖像信息155。如上所述，捕獲圖像信息155與通過(guò)終端設(shè)備100獲取的捕獲圖像對(duì)應(yīng)。捕獲圖像信息155可以為例如捕獲圖像的圖像數(shù)據(jù)本身、壓縮圖像數(shù)據(jù)、用于對(duì)象識(shí)別的特征點(diǎn)的數(shù)據(jù)陣列等。捕獲圖像信息獲取部分310向?qū)ο笞R(shí)別部分330提供獲取的捕獲圖像信息155。
[0076]顯示圖像信息獲取部分320通過(guò)通信設(shè)備(未示出)來(lái)獲取從顯示設(shè)備200發(fā)送的顯示圖像信息253。如上所述,顯示圖像信息253與由顯示設(shè)備200顯示的圖像251對(duì)應(yīng)。顯示圖像信息253可以為例如捕獲圖像的圖像數(shù)據(jù)本身、壓縮圖像數(shù)據(jù)、用于對(duì)象識(shí)別的特征點(diǎn)的數(shù)據(jù)陣列等。顯示圖像信息獲取部分320向?qū)ο笞R(shí)別部分330提供獲取的顯示圖像信息253。
[0077]對(duì)象識(shí)別部分330使用從捕獲圖像信息獲取部分310提供的捕獲圖像信息155來(lái)識(shí)別包含在捕獲圖像中的對(duì)象。例如，對(duì)象識(shí)別部分330將從捕獲圖像中提取的一組特征點(diǎn)與通過(guò)模型數(shù)據(jù)定義的對(duì)象的形狀進(jìn)行比較。對(duì)象識(shí)別部分330可以將圖像數(shù)據(jù)(諸如通過(guò)模型數(shù)據(jù)定義的符號(hào)標(biāo)記或文本標(biāo)簽)與捕獲圖像進(jìn)行比較。此外，對(duì)象識(shí)別部分330可以將通過(guò)模型數(shù)據(jù)定義的已知對(duì)象圖像的特征的量與從捕獲圖像中提取的特征的量進(jìn)行比較。
[0078]模型數(shù)據(jù)包括定義每個(gè)對(duì)象的形狀的數(shù)據(jù)、圖像數(shù)據(jù)(諸如附接至每個(gè)對(duì)象的預(yù)定符號(hào)標(biāo)記或文本標(biāo)簽)、從已知圖像中提取的關(guān)于每個(gè)對(duì)象的特征量集合的數(shù)據(jù)等。例如從存儲(chǔ)在存儲(chǔ)設(shè)備中的模型DB中獲取模型數(shù)據(jù)?；蛘?，可以通過(guò)通信設(shè)備(未示出)從網(wǎng)絡(luò)中獲取模型數(shù)據(jù)。
[0079]如上所述，對(duì)象識(shí)別部分330識(shí)別包含在捕獲圖像中的圖像251。例如可以通過(guò)搜索圖像251的內(nèi)容來(lái)執(zhí)行圖像251的識(shí)別。例如，當(dāng)圖像251為顯示在瀏覽器上的萬(wàn)維網(wǎng)網(wǎng)頁(yè)時(shí)，對(duì)象識(shí)別部分330獲取示出萬(wàn)維網(wǎng)網(wǎng)頁(yè)運(yùn)行狀態(tài)的統(tǒng)一資源標(biāo)識(shí)符(URI)和萬(wàn)維網(wǎng)網(wǎng)頁(yè)的統(tǒng)一資源定位符(URL)。當(dāng)假設(shè)從顯示設(shè)備200中未提供信息時(shí)，對(duì)象識(shí)別部分330需要僅基于捕獲圖像的內(nèi)容來(lái)識(shí)別上述信息。在這種情況下，識(shí)別處理負(fù)荷變得繁重并且識(shí)別準(zhǔn)確度也降低。
[0080]因此，在該實(shí)施例中，對(duì)象識(shí)別部分330使用從顯示圖像信息獲取部分320提供的顯示圖像信息253來(lái)獲取關(guān)于上述圖像251的內(nèi)容的信息。關(guān)于顯示圖像信息253，對(duì)象識(shí)別部分330可以通過(guò)使用顯示圖像信息253來(lái)容易地獲取關(guān)于圖像251的內(nèi)容的信息，該顯示圖像信息253為從顯示圖像251的顯示設(shè)備200本身提供的信息。因此，對(duì)象識(shí)別部分330可以以較低的處理負(fù)荷和較高的準(zhǔn)確度來(lái)識(shí)別圖像251。
[0081]對(duì)象識(shí)別部分330通過(guò)通信設(shè)備(未示出)向終端設(shè)備100發(fā)送上述對(duì)象識(shí)別結(jié)果作為識(shí)別結(jié)果信息157。識(shí)別結(jié)果信息157包括例如示出出現(xiàn)(包含)在捕獲圖像中的對(duì)象以及出現(xiàn)在捕獲圖像中的對(duì)象的位置和姿勢(shì)的信息。因此，當(dāng)圖像251出現(xiàn)在捕獲圖像中時(shí)，識(shí)別結(jié)果信息157包括示出圖像251的位置和姿勢(shì)的信息。識(shí)別結(jié)果信息157還可以進(jìn)一步包含關(guān)于圖像251的內(nèi)容的信息。
[0082](對(duì)象識(shí)別處理)
[0083]在此，進(jìn)一步描述在該實(shí)施例中的對(duì)象識(shí)別處理。通過(guò)對(duì)象識(shí)別部分330執(zhí)行的對(duì)象識(shí)別處理包括例如以下兩種處理。第一處理為判斷哪個(gè)對(duì)象出現(xiàn)(包含)在捕獲圖像中的處理。第二處理為檢測(cè)包含在捕獲圖像中的對(duì)象的出現(xiàn)方式(在捕獲圖像中的對(duì)象的位置和姿勢(shì)(傾斜、旋轉(zhuǎn)等))的處理。
[0084]當(dāng)捕獲圖像為動(dòng)態(tài)圖像時(shí)，通過(guò)對(duì)象識(shí)別部分330執(zhí)行的對(duì)象識(shí)別處理包括例如以下兩種處理。第一處理為搜索處理。例如在還未獲取到關(guān)于出現(xiàn)在捕獲圖像中的對(duì)象的信息時(shí)，來(lái)執(zhí)行搜索處理。在這種情況下，任何對(duì)象具有出現(xiàn)在捕獲圖像中的可能性。在對(duì)象出現(xiàn)在捕獲圖像中時(shí)，存在該對(duì)象出現(xiàn)在捕獲圖像中的任何位置處的可能性。此外，存在該對(duì)象以任何姿勢(shì)出現(xiàn)的可能性。
[0085]另一方面，第二處理為跟蹤處理。例如在已經(jīng)獲取了關(guān)于在捕獲圖像的幀之前的幀中出現(xiàn)的對(duì)象的信息時(shí)，來(lái)執(zhí)行跟蹤處理。在這種情況下，出現(xiàn)在在前幀中的對(duì)象具有出現(xiàn)在當(dāng)前幀中的高的可能性。因此，這些對(duì)象可以優(yōu)先進(jìn)行識(shí)別處理。此外，對(duì)象出現(xiàn)在當(dāng)前幀中、在該對(duì)象出現(xiàn)在在前幀中的位置附近的位置的可能性高。因此，關(guān)于這些對(duì)象，待執(zhí)行識(shí)別處理的區(qū)域可以在一定程度上變窄。因此，可以以與搜索處理的負(fù)荷相比較低的處理負(fù)荷來(lái)執(zhí)行跟蹤處理。
[0086]根據(jù)上述定義，在本說(shuō)明書(shū)中進(jìn)行了如下定義:例如當(dāng)執(zhí)行“檢測(cè)對(duì)象的位置和姿勢(shì)”的處理時(shí)，當(dāng)然還執(zhí)行“判斷是否包含對(duì)象”的處理；并且然后在判斷包含對(duì)象時(shí)，檢測(cè)位置和姿勢(shì)。在以下描述中，可以在描述對(duì)象識(shí)別處理時(shí)區(qū)分“搜索”和“跟蹤”。在“搜索”的處理中，預(yù)定對(duì)象出現(xiàn)在捕獲圖像中的判斷還表示如下:對(duì)象被“找到”。
[0087](1-3.處理流程)
[0088]接著，參照?qǐng)D4來(lái)描述本公開(kāi)的第一實(shí)施例的處理流程。圖4為示出該實(shí)施例中的處理的數(shù)據(jù)流程圖。在圖4中，為簡(jiǎn)單起見(jiàn)，將在圖2中所示的多個(gè)顯示設(shè)備200a至200c中的兩個(gè)設(shè)備示出為顯示設(shè)備200a和200b。
[0089]當(dāng)參照?qǐng)D4時(shí)，首先，在步驟SlOl中終端設(shè)備100向服務(wù)器設(shè)備300發(fā)送捕獲圖像信息155。顯示設(shè)備200a和200b分別向服務(wù)器300發(fā)送顯示圖像信息253a和253b。
[0090]接著，在步驟S103中，對(duì)象識(shí)別部分330使用服務(wù)器設(shè)備300中的捕獲圖像信息155以及顯示圖像信息253a和253b來(lái)分別搜索在顯示設(shè)備200a和200b上顯示的圖像251 (在下文中被稱為圖像A和圖像B)。在圖中所示的示例中，在步驟S103中找到圖像A。然后，服務(wù)器設(shè)備300向終端設(shè)備100發(fā)送示出捕獲圖像中的圖像A的位置和姿勢(shì)的識(shí)別結(jié)果信息157。終端設(shè)備100使用接收到的識(shí)別結(jié)果信息157將與圖像A對(duì)應(yīng)的虛擬圖像153顯示在圖像151中。
[0091]接著，在步驟S105中，終端設(shè)備100向服務(wù)器設(shè)備300發(fā)送捕獲圖像信息155。如上所述，捕獲圖像在該實(shí)施例中為動(dòng)態(tài)圖像。在步驟S105中發(fā)送的捕獲圖像信息155與如下幀對(duì)應(yīng)，該幀位于與步驟SlOl中發(fā)送的捕獲圖像信息155對(duì)應(yīng)的幀之后。捕獲圖像信息155未必總被發(fā)送至捕獲圖像的所有幀。因此，在步驟S105中發(fā)送的捕獲圖像信息155可以與例如如下幀對(duì)應(yīng)，該幀跟在與在步驟SlOl中發(fā)送的捕獲圖像信息155對(duì)應(yīng)的幀的若干幀之后。
[0092]另一方面，類似地在步驟S105中，顯示設(shè)備200b向服務(wù)器設(shè)備300發(fā)送顯示圖像信息253b。在該過(guò)程中，顯示設(shè)備200a未必發(fā)送顯示圖像信息253a。這是因?yàn)樵谝陨喜襟ES103中找到了圖像A，并且在以下步驟中，可以使用在該過(guò)程中獲得的檢測(cè)結(jié)果來(lái)執(zhí)行對(duì)包含在捕獲圖像中的圖像A的跟蹤。
[0093]接著，在步驟S107中，對(duì)象識(shí)別部分330執(zhí)行對(duì)已經(jīng)找到的圖像A的跟蹤并且還使用服務(wù)器設(shè)備300中的捕獲圖像信息155和顯示圖像信息253b來(lái)搜索圖像B。在圖中所示的示例中，在步驟S107中還未找到顯示屏幕B。因此，服務(wù)器設(shè)備300向終端設(shè)備100發(fā)送示出通過(guò)跟蹤而檢測(cè)到的圖像A的位置和姿勢(shì)的識(shí)別結(jié)果信息157。終端設(shè)備100還可以使用接收到的識(shí)別結(jié)果信息157來(lái)更新與圖像A對(duì)應(yīng)的虛擬圖像153。
[0094]接著，在步驟S109中，終端設(shè)備100向服務(wù)器設(shè)備300發(fā)送捕獲圖像信息155。與以上步驟S105中所述的類似，在步驟S109中發(fā)送的捕獲圖像信息155與進(jìn)一步遠(yuǎn)離步驟105中的幀的幀對(duì)應(yīng)。
[0095]另一方面，類似地在步驟109中，顯示設(shè)備200a和200b分別向服務(wù)器設(shè)備300發(fā)送顯示圖像信息253a和253b。在此，待在顯示屏幕250上顯示的圖像251 (圖像A)在顯示設(shè)備200a中在步驟S105與步驟S109之間改變。然后，在步驟S109中，顯示設(shè)備200a還向服務(wù)器設(shè)備300發(fā)送顯示圖像信息253a。這是因?yàn)楫?dāng)圖像A改變時(shí)，在對(duì)象識(shí)別部分330中跟蹤圖像A失敗的可能性高。
[0096]接著，在步驟Slll中，對(duì)象識(shí)別部分330使用服務(wù)器設(shè)備300中的捕獲圖像信息155以及顯示圖像信息253a和253b來(lái)搜索圖像A和圖像B?？梢栽谕ㄟ^(guò)對(duì)象識(shí)別部分330跟蹤圖像A實(shí)際上已經(jīng)失敗之后來(lái)執(zhí)行圖像A的搜索。在圖中所示的示例中，在步驟111中找到了圖像A和圖像B 二者。然后，服務(wù)器設(shè)備300向終端設(shè)備100發(fā)送示出捕獲圖像中的圖像A和圖像B的位置和姿勢(shì)的識(shí)別結(jié)果信息157。終端設(shè)備100使用接收到的識(shí)別結(jié)果信息157將與圖像A和圖像B對(duì)應(yīng)的兩個(gè)虛擬圖像153顯示在圖像151中。
[0097](1-4.圖像信息獲取定時(shí))
[0098]接著，參照?qǐng)D5來(lái)描述該實(shí)施例中的圖像信息獲取的定時(shí)。圖5是用于解釋該實(shí)施例中的圖像信息獲取的定時(shí)的圖。
[0099]在圖5中，將用于六幀(其并不總是構(gòu)成動(dòng)態(tài)圖像的連續(xù)幀)的捕獲圖像信息155以及用于使用捕獲圖像信息155來(lái)識(shí)別顯示屏幕250的顯示圖像信息253-1至253-3以相應(yīng)的方式示出在時(shí)間軸上。
[0100]在圖中所示的示例中，以幾乎固定的間隔周期性地獲取捕獲圖像信息155。另一方面，在與捕獲圖像信息155的獲取定時(shí)不同的定時(shí)獲取顯示圖像信息253-1至253-3。例如，可以在圖像251按照例如圖4的示例所示而改變時(shí)，來(lái)獲取顯示圖像信息253-1至253-3。
[0101]在本文中，期望以比捕獲圖像信息155的間隔長(zhǎng)的間隔來(lái)獲取顯示圖像信息253。通常針對(duì)每個(gè)捕獲圖像信息155來(lái)執(zhí)行對(duì)象識(shí)別。因此，即使在以比捕獲圖像信息155的頻率高的頻率獲取顯示圖像信息253時(shí)，存在顯示圖像信息253因而可能變得無(wú)用的可能性。
[0102]在圖中所示的示例中，關(guān)于用于六幀的捕獲圖像信息155，顯示圖像信息253-1用于第一幀，顯示圖像信息253-2用于接下來(lái)的三幀，然后顯示圖像信息253-3用于接下來(lái)的兩幀。因此，在獲取到捕獲圖像信息155但未獲取到顯示圖像信息253的情況下，對(duì)象識(shí)別部分330可以連續(xù)地使用之前所獲取的顯示圖像信息253。
[0103]如上所述，當(dāng)捕獲圖像信息獲取部分310和顯示圖像信息獲取部分320均按照時(shí)間順序獲取信息時(shí)，例如基于包含在捕獲圖像信息155和顯示圖像信息253中的至少一個(gè)中的同步信息來(lái)確定彼此待匹配的顯示圖像信息253和捕獲圖像信息155。該同步信息包括例如關(guān)于生成每個(gè)信息的時(shí)間的信息。
[0104]在上述示例中，例如當(dāng)由于在終端設(shè)備100與顯示設(shè)備200之間幾乎不發(fā)生時(shí)滯的原因而獲取到精確的同步信息時(shí)，對(duì)象識(shí)別部分330可以原樣使用該同步信息來(lái)將顯示圖像信息253與捕獲圖像信息155進(jìn)行同步。
[0105]或者，對(duì)象識(shí)別部分330可以根據(jù)捕獲圖像信息155與顯示圖像信息253之間的延遲來(lái)選擇待與捕獲圖像信息155 —起使用的顯示圖像信息253。該延遲可能由于例如每個(gè)設(shè)備之間的時(shí)滯、由于每個(gè)設(shè)備之間的通信的延遲、每個(gè)設(shè)備的處理延遲等而發(fā)生。
[0106]例如，對(duì)象識(shí)別部分330可以通過(guò)將由顯示圖像信息253指示的圖像251的改變的定時(shí)與從捕獲圖像識(shí)別的圖像251的內(nèi)容改變的定時(shí)進(jìn)行比較來(lái)檢測(cè)延遲。當(dāng)檢測(cè)到延遲時(shí)，對(duì)象識(shí)別部分330可以例如通過(guò)對(duì)捕獲圖像信息155的同步信息或者顯示圖像信息253的同步信息中的任一個(gè)施加偏移來(lái)針對(duì)捕獲圖像信息155使用合適的顯示圖像信息253。
[0107](實(shí)施例的結(jié)論)
[0108]在上述本公開(kāi)的第一實(shí)施例中，從顯示圖像的顯示設(shè)備本身提供關(guān)于可以包含在終端設(shè)備的捕獲圖像中的圖像的信息。通過(guò)服務(wù)器設(shè)備來(lái)執(zhí)行包含在捕獲圖像中的顯示圖像的識(shí)別處理，并且然后將結(jié)果發(fā)送至終端設(shè)備。從而，例如可以利用對(duì)包含在捕獲圖像中的另外的設(shè)備的顯示圖像進(jìn)行識(shí)別的結(jié)果，并且將終端設(shè)備中的負(fù)荷抑制至最小。
[0109](2.第二實(shí)施例)
[0110](2-1.設(shè)備配置)
[0111]接著，參照?qǐng)D6A、圖6B和圖7來(lái)描述本公開(kāi)的第二實(shí)施例的設(shè)備配置。圖6A和圖6B是用于解釋該實(shí)施例的設(shè)備配置的圖。圖7是示出根據(jù)該實(shí)施例的系統(tǒng)的功能配置的示意性框圖。為簡(jiǎn)單起見(jiàn)，通過(guò)圖7中的單個(gè)顯示設(shè)備400來(lái)表示圖6A和圖6B中例示的多個(gè)顯示設(shè)備400a至400c。
[0112]當(dāng)參照?qǐng)D6A時(shí)，該實(shí)施例涉及終端設(shè)備100和顯示設(shè)備400a至400c (信息處理設(shè)備的一個(gè)示例)。顯示設(shè)備400的數(shù)目可以不為如圖中所示的示例中的3而可以為1、2或4或者更多。
[0113]在圖中所示的示例中，終端設(shè)備100向顯示設(shè)備400a至400c中的每個(gè)顯示設(shè)備發(fā)送與捕獲圖像對(duì)應(yīng)的捕獲圖像信息155。捕獲圖像信息155的內(nèi)容與在第一實(shí)施例的情況下的內(nèi)容相同。
[0114]另一方面,顯示設(shè)備400a至400c分別內(nèi)部地(internally)獲取與在顯示屏幕250上顯示的圖像251a至251c對(duì)應(yīng)的顯示圖像信息253a至253c。更具體地，顯示設(shè)備400a內(nèi)部地獲取顯示圖像信息253a，顯示設(shè)備400b內(nèi)部地獲取顯示圖像信息253b，顯示設(shè)備400c內(nèi)部地獲取顯示圖像信息253c。在此，顯示圖像信息253的內(nèi)容與在第一實(shí)施例的情況下的內(nèi)容相同。
[0115]顯示設(shè)備400a至400c分別使用從終端設(shè)備100獲取的捕獲圖像信息155和由顯示設(shè)備400a至400c內(nèi)部地獲取的顯示圖像信息253a至253c來(lái)執(zhí)行對(duì)象識(shí)別處理。通過(guò)該處理判斷圖像251a至251c中的任何一個(gè)圖像是否包含在終端設(shè)備100的捕獲圖像中。在圖像251a至251c中的任何一個(gè)圖像包含在捕獲圖像中時(shí)，還檢測(cè)其位置和姿勢(shì)。
[0116]在圖中所示的示例中，顯示設(shè)備400a檢測(cè)包含在捕獲圖像中的圖像251a，并且然后向終端設(shè)備100發(fā)送包括示出圖像251a的位置和姿勢(shì)的信息的識(shí)別結(jié)果信息157a。顯示設(shè)備400c檢測(cè)包含在捕獲圖像中的圖像251c，并且然后向終端設(shè)備100發(fā)送包括示出圖像251c的位置和姿勢(shì)的信息的識(shí)別結(jié)果信息157c。終端設(shè)備100使用識(shí)別結(jié)果信息157a和157c將與圖像251a和圖像251c對(duì)應(yīng)的兩個(gè)虛擬圖像153顯示在圖像151中。
[0117]圖6B例示顯示設(shè)備400a丟失了(未識(shí)別到)在圖6A的狀態(tài)中包含在捕獲圖像中的圖像251a的狀態(tài)。在該過(guò)程中，顯示設(shè)備400a搜索并檢測(cè)包含在捕獲圖像中的圖像251a，并且然后對(duì)圖像251a連續(xù)執(zhí)行跟蹤。當(dāng)跟蹤失敗時(shí)，顯示設(shè)備400a向終端設(shè)備100通知該失敗。然后，顯示設(shè)備400a改變對(duì)圖像251a的處理以根據(jù)跟蹤進(jìn)行搜索。響應(yīng)于該通知，終端設(shè)備100可以終止與圖像251a對(duì)應(yīng)的虛擬圖像153在圖像151中的顯示。
[0118]另一方面，顯示設(shè)備400c在圖6B的狀態(tài)中連續(xù)成功跟蹤包含在捕獲圖像中的圖像251c。因此，顯示設(shè)備400c連續(xù)向終端設(shè)備100發(fā)送根據(jù)跟蹤結(jié)果而更新的識(shí)別結(jié)果信息157c。終端設(shè)備100可以使用接收到的識(shí)別結(jié)果信息157c來(lái)更新與圖像521c對(duì)應(yīng)的虛擬圖像153在圖像151中的顯示。
[0119](功能配置)
[0120]當(dāng)參照?qǐng)D7時(shí)，終端設(shè)備100包括圖像拍攝部分110、顯示控制部分120以及顯示部分150。顯示設(shè)備400包括顯示控制部分210、顯示屏幕250、捕獲圖像信息獲取部分310、顯示圖像信息獲取部分320以及對(duì)象識(shí)別部分430。
[0121]上述每個(gè)部分為與參照?qǐng)D3描述的第一實(shí)施例中描述的部件相同的部件。更具體地，可以說(shuō)該實(shí)施例的功能配置為通過(guò)顯示設(shè)備400替代性地實(shí)現(xiàn)由第一實(shí)施例中的服務(wù)器設(shè)備300實(shí)現(xiàn)的功能的配置。
[0122]然而，包含在本實(shí)施例的顯示設(shè)備400中的對(duì)象識(shí)別部分430與第一實(shí)施例中的服務(wù)器設(shè)備300的對(duì)象識(shí)別部分330不同在于:對(duì)于主要由顯示設(shè)備400本身顯示的圖像251 (在顯示設(shè)備400a中的圖像251a，在顯示設(shè)備400b中的圖像251b，在顯示設(shè)備400c中的圖像251c)執(zhí)行對(duì)象識(shí)別處理。
[0123](2-2.處理流程)
[0124]接著，參照?qǐng)D8來(lái)描述本公開(kāi)的第二實(shí)施例的處理流程。圖8是示出該實(shí)施例的處理的數(shù)據(jù)流程圖。
[0125]當(dāng)參照?qǐng)D8時(shí)，在步驟S201中終端設(shè)備100首先向顯示設(shè)備400a至400c中的每個(gè)顯示設(shè)備發(fā)送捕獲圖像信息155。
[0126]接著，在步驟S203中，對(duì)象識(shí)別部分430使用捕獲圖像信息155和在顯示設(shè)備400a中內(nèi)部地獲取的顯示圖像信息253a來(lái)搜索圖像251a (在下文中被稱為圖像A)。在圖中所示的示例中，在步驟S203中找到了圖像A。顯示設(shè)備400a向終端設(shè)備100發(fā)送示出捕獲圖像中的圖像A的位置和姿勢(shì)的識(shí)別結(jié)果信息157a。終端設(shè)備100使用接收到的識(shí)別結(jié)果信息157a將與圖像A對(duì)應(yīng)的虛擬圖像153顯示在圖像151中。
[0127]類似地在步驟S203中，對(duì)象識(shí)別部分430使用捕獲圖像信息155和在顯示設(shè)備400b中內(nèi)部地獲取的顯示圖像信息253b來(lái)搜索圖像251b (在下文中被稱為圖像B)。在圖中例示的示例中未找到圖像B。
[0128]另一方面，對(duì)象識(shí)別部分430使用捕獲圖像信息155和在顯示設(shè)備400c中內(nèi)部地獲取的顯示圖像信息253c來(lái)搜索圖像251c (在下文中被稱為圖像C)。在圖中例示的示例的步驟S203中找到了圖像C。然后，顯示設(shè)備400c向終端設(shè)備100發(fā)送示出圖像C的位置和姿勢(shì)的識(shí)別結(jié)果信息157c。終端設(shè)備100使用接收到的識(shí)別結(jié)果信息157c將與圖像C對(duì)應(yīng)的虛擬圖像153顯示在圖像151中。
[0129]接著，在步驟S205中，終端設(shè)備100向顯示設(shè)備400a至400b中的每個(gè)顯示設(shè)備發(fā)送捕獲圖像信息155。由于捕獲圖像在該實(shí)施例中為動(dòng)態(tài)圖像，所以在步驟S205中發(fā)送的捕獲圖像信息155與這樣的幀對(duì)應(yīng):該幀位于與步驟S201中發(fā)送的捕獲圖像信息155對(duì)應(yīng)的幀之后。
[0130]接著，在步驟S207中，對(duì)象識(shí)別部分430在顯示設(shè)備400a中對(duì)已經(jīng)找到的圖像A執(zhí)行跟蹤。在圖中例示的示例中，成功地執(zhí)行圖像A的跟蹤。然后，顯示設(shè)備400a向終端設(shè)備100發(fā)送示出根據(jù)跟蹤結(jié)果而更新的圖像A的位置和姿勢(shì)的識(shí)別結(jié)果信息157a。終端設(shè)備100使用接收到的識(shí)別結(jié)果信息157a來(lái)更新包含在圖像151中的虛擬圖像153的顯
/Jn ο
[0131]類似地在步驟S207中，顯示設(shè)備400b以與步驟S203中相同的方式搜索圖像B，但是未找到圖像B。另一方面，顯示設(shè)備400c以與顯示設(shè)備400a中相同的方式執(zhí)行圖像C的跟蹤，并且然后向終端設(shè)備100發(fā)送識(shí)別結(jié)果信息157c。終端設(shè)備100使用接收到的識(shí)別結(jié)果信息157c來(lái)更新包含在圖像151中的虛擬圖像153的顯示。
[0132]接著，在步驟S209中，終端設(shè)備100向顯示設(shè)備400a至400c中的每個(gè)顯示設(shè)備發(fā)送捕獲圖像信息155。類似地如以上步驟S205所述，在步驟S209中發(fā)送的捕獲圖像信息155與進(jìn)一步遠(yuǎn)離步驟S205中的幀的幀對(duì)應(yīng)。
[0133]接著，在步驟S211中，對(duì)象識(shí)別部分430在顯示設(shè)備400a中對(duì)圖像A連續(xù)執(zhí)行跟蹤。在圖中所示的示例中，在步驟S211中圖像A的跟蹤失敗，S卩，顯示設(shè)備400a已經(jīng)丟失了圖像A。然后，顯示設(shè)備400a向終端設(shè)備100發(fā)送圖像A已經(jīng)丟失的通知。接收通知的終端設(shè)備100終止與圖像A對(duì)應(yīng)的虛擬圖像153在圖像151中的顯示。另一方面，顯示設(shè)備400a使用在步驟S209中接收的捕獲圖像信息155和內(nèi)部地獲取的顯示圖像信息253a來(lái)再次搜索圖像A。
[0134]類似地在步驟S211中，顯示設(shè)備400b以與步驟S203中相同的方式搜索圖像B，但是未找到圖像B。另一方面，顯示設(shè)備400c以與以上步驟S207中相同的方式對(duì)圖像C執(zhí)行跟蹤，并且然后向終端設(shè)備100發(fā)送識(shí)別結(jié)果信息157c。終端設(shè)備100使用接收到的識(shí)別結(jié)果信息157c來(lái)更新包含在圖像151中的虛擬圖像153的顯示。
[0135](實(shí)施例的結(jié)論)
[0136]在上述本公開(kāi)的第二實(shí)施例中，通過(guò)顯示圖像的顯示設(shè)備本身來(lái)執(zhí)行包含在捕獲圖像中的圖像的搜索處理和跟蹤處理，并且然后將結(jié)果發(fā)送至終端設(shè)備。從而，例如，可以高效地利用顯示設(shè)備的計(jì)算資源，由此可以抑制終端設(shè)備中的處理負(fù)荷。此外，例如由于顯示圖像信息未必在設(shè)備之間進(jìn)行發(fā)送的事實(shí)，所以可以節(jié)約通信資源。
[0137](3.第三實(shí)施例)
[0138](3-1.設(shè)備配置)
[0139]接著，參照?qǐng)D9A至圖9C以及圖10來(lái)描述本公開(kāi)的第三實(shí)施例的設(shè)備配置。圖9A至圖9C是用于解釋該實(shí)施例的設(shè)備配置的圖。圖10是示出根據(jù)該實(shí)施例的系統(tǒng)的功能配置的示意性框圖。在圖10中，為簡(jiǎn)單起見(jiàn)，通過(guò)單個(gè)設(shè)備600來(lái)表示在圖9A至圖9C中例示的多個(gè)顯示設(shè)備600a至600c。
[0140]當(dāng)參照?qǐng)D9A時(shí)，該實(shí)施例涉及終端設(shè)備500和顯示設(shè)備600a至600c (信息處理設(shè)備的一個(gè)示例)。顯示設(shè)備600的數(shù)目可以不為如圖中所示的示例中的3而可以為1、2或4或者更多。
[0141]在圖中例示的示例中，終端設(shè)備500向顯示設(shè)備600a至600c中的每個(gè)顯示設(shè)備發(fā)送與捕獲圖像對(duì)應(yīng)的捕獲圖像信息155。捕獲圖像信息155的內(nèi)容與在第一實(shí)施例的情況下的內(nèi)容相同。
[0142]另一方面，顯示設(shè)備600a至600c分別內(nèi)部地獲取與在顯示屏幕250上顯示的圖像251a至251c對(duì)應(yīng)的顯示圖像信息253a至253c。更具體地，顯示設(shè)備600a內(nèi)部地獲取顯示圖像信息253a，顯示設(shè)備600b內(nèi)部地獲取顯示圖像信息253b，顯示設(shè)備600c內(nèi)部地獲取顯示圖像信息253c。在此，顯示圖像信息253的內(nèi)容與在第一實(shí)施例的情況下的內(nèi)容相同。
[0143]此外，顯示設(shè)備600a至600c分別使用從終端設(shè)備500獲取的捕獲圖像信息155和通過(guò)顯示設(shè)備600a至600c內(nèi)部地獲取的顯示圖像信息253a至253c來(lái)執(zhí)行對(duì)象識(shí)別處理。通過(guò)該處理來(lái)判斷圖像251a至251c中的任何一個(gè)圖像是否包含在終端設(shè)備100的捕獲圖像中。當(dāng)圖像251a至251c中的任何一個(gè)圖像包含在捕獲圖像中時(shí)，還檢測(cè)位置和姿勢(shì)。
[0144]在圖中所示的示例中，顯示設(shè)備600a找到包含在捕獲圖像中的圖像251a。然后，顯示設(shè)備600a向終端設(shè)備500發(fā)送可以用于跟蹤圖像251a的跟蹤信息653a。跟蹤信息653a可以包括例如關(guān)于捕獲圖像中的圖像251a的位置和姿勢(shì)以及圖像251a的內(nèi)容的信息。終端設(shè)備100使用跟蹤信息653a來(lái)對(duì)圖像251a執(zhí)行跟蹤，并且然后將與圖像251a對(duì)應(yīng)的虛擬圖像153顯示在圖像151中。
[0145]圖9B示出在圖9A中檢測(cè)到圖像251a之后的狀態(tài)。在檢測(cè)(搜索)到包含在捕獲圖像中的圖像251a的位置和姿勢(shì)之后，顯示設(shè)備600a將圖像251a的位置和姿勢(shì)的檢測(cè)(跟蹤)委托給終端設(shè)備。更具體地，終端設(shè)備500不向顯示設(shè)備600a發(fā)送捕獲圖像信息155。顯示設(shè)備600a也不向終端設(shè)備發(fā)送跟蹤信息653a。終端設(shè)備500使用之前接收到的跟蹤信息653a來(lái)連續(xù)地對(duì)包含在捕獲圖像中的圖像251a執(zhí)行跟蹤，并且然后使用跟蹤結(jié)果來(lái)更新圖像151中的虛擬圖像153的顯示。
[0146]另一方面，終端設(shè)備500向顯示設(shè)備600b和600c連續(xù)發(fā)送捕獲圖像信息155。與圖9A的狀態(tài)類似，顯示設(shè)備600b和600c分別搜索圖像251b和251c。
[0147]圖9C例示顯示在顯示設(shè)備400a上的圖像251a改變或者在圖9B的狀態(tài)中由終端設(shè)備500對(duì)圖像251a的跟蹤失敗的狀態(tài)。在該處理中，顯示設(shè)備400a再次檢測(cè)(搜索)圖像251a的位置和姿勢(shì)，并且然后向終端設(shè)備500發(fā)送新的跟蹤信息653a。終端設(shè)備500使用最新接收到的跟蹤信息653a來(lái)對(duì)圖像251a執(zhí)行跟蹤，并且然后更新圖像151中的虛擬圖像153的顯示。
[0148](功能配置)
[0149]當(dāng)參照?qǐng)D10時(shí)，終端設(shè)備500包括圖像拍攝部分110、顯示控制部分120、顯示部分150以及對(duì)象識(shí)別部分530。顯示設(shè)備600包括顯示控制部分210、顯示屏幕250、捕獲圖像信息獲取部分310、顯示圖像信息獲取部分320以及對(duì)象識(shí)別部分430。
[0150]上述每個(gè)部分為與參照?qǐng)D7的第二實(shí)施例中描述的部件相同的部件。在該實(shí)施例中，對(duì)象識(shí)別部分包括在終端設(shè)備500和顯示設(shè)備600 二者中。
[0151]顯示設(shè)備600的對(duì)象識(shí)別部分430主要執(zhí)行對(duì)由顯示設(shè)備600本身顯示的圖像251的搜索處理。如以上參照?qǐng)D9A至圖9C所述，顯示設(shè)備600的對(duì)象識(shí)別部分430針對(duì)圖像251執(zhí)行搜索處理直至在捕獲圖像中找到圖像251為止。當(dāng)找到圖像251時(shí)，對(duì)象識(shí)別部分430向終端設(shè)備500的對(duì)象識(shí)別部分530發(fā)送例如包含關(guān)于圖像251的位置和姿勢(shì)以及圖像251的內(nèi)容的信息的跟蹤信息653。此后，對(duì)象識(shí)別部分430可以停止圖像251的識(shí)別處理直至由終端設(shè)備500對(duì)圖像251的跟蹤失敗或者圖像251的內(nèi)容改變?yōu)橹埂?br> [0152]另一方面，當(dāng)在捕獲圖像中找到圖像251時(shí)，終端設(shè)備500的對(duì)象識(shí)別部分530執(zhí)行對(duì)圖像251執(zhí)行跟蹤的處理?？梢詮挠娠@示設(shè)備600的對(duì)象識(shí)別部分430發(fā)送的跟蹤信息653中獲取以前找到的關(guān)于圖像251的位置和姿勢(shì)的信息和待用于跟蹤處理的圖像251的內(nèi)容。因此，即使當(dāng)未執(zhí)行具有相對(duì)高的處理負(fù)荷的搜索處理時(shí)，對(duì)象識(shí)別部分530可以以相對(duì)低的處理負(fù)荷來(lái)啟動(dòng)跟蹤處理。
[0153]可以通過(guò)上述對(duì)象識(shí)別部分430或者對(duì)象識(shí)別部分530中的任一個(gè)來(lái)執(zhí)行對(duì)除了圖像251以外的對(duì)象的識(shí)別處理。類似地，對(duì)除了圖像251以外的對(duì)象執(zhí)行識(shí)別處理的對(duì)象識(shí)別部分還可以包括在第一實(shí)施例和第二實(shí)施例的終端設(shè)備100中。
[0154](3-2.處理流程)
[0155]接著，參照?qǐng)D11描述本公開(kāi)的第三實(shí)施例的處理流程。圖11是示出該實(shí)施例中的處理的數(shù)據(jù)流程圖。
[0156]當(dāng)參照?qǐng)D11時(shí)，在步驟S301中終端設(shè)備500首先向顯示設(shè)備600a至600c中的每個(gè)顯示設(shè)備發(fā)送捕獲圖像信息155。
[0157]接著，在步驟S303中，對(duì)象識(shí)別部分430使用捕獲圖像信息155和在顯示設(shè)備600a中內(nèi)部地獲取的顯示圖像信息253a來(lái)搜索圖像251a (在下文中被稱為圖像A)。在圖中所示的示例中，在步驟S303中找到了圖像A。顯示設(shè)備600a向終端設(shè)備500發(fā)送可以用于跟蹤圖像251a的跟蹤信息653a。終端設(shè)備100的對(duì)象識(shí)別部分530使用接收到的跟蹤信息653a來(lái)對(duì)圖像A執(zhí)行跟蹤，并且然后將與圖像A對(duì)應(yīng)的虛擬圖像153顯示在圖像151中。另一方面，在顯示設(shè)備600b和600c中，對(duì)象識(shí)別部分430搜索圖像251b (在下文中被稱為圖像B)和圖像251c (在下文中被稱為圖像C)，但是未找到所述圖像。
[0158]接著，在步驟S305中，終端設(shè)備500向顯示設(shè)備600a至600c中的每個(gè)顯示設(shè)備發(fā)送捕獲圖像信息155。在該實(shí)施例中，由于捕獲圖像為動(dòng)態(tài)圖像，所以在步驟S305中發(fā)送的捕獲圖像信息155與這樣的幀對(duì)應(yīng):該幀位于與在步驟S301中發(fā)送的捕獲圖像信息155對(duì)應(yīng)的幀之后。如上所述，在這一點(diǎn)上由于終端設(shè)備500識(shí)別了圖像A，所以終端設(shè)備500不向顯示設(shè)備600a發(fā)送捕獲圖像信息155。
[0159]接著，在步驟S307中，對(duì)象識(shí)別部分530在終端設(shè)備500中對(duì)圖像A執(zhí)行跟蹤。另一方面，在顯示設(shè)備600b和600c中，對(duì)象識(shí)別部分430搜索圖像B和圖像C，但是未找到所述圖像。
[0160]接著，在步驟S309中，終端設(shè)備500以與步驟S305中相同的方式向顯示設(shè)備600b和600c中的每個(gè)顯示設(shè)備發(fā)送捕獲圖像信息155。
[0161]接著，在步驟S311中，顯示設(shè)備600a檢測(cè)圖像251a的改變。然后，顯示設(shè)備600a在該改變之后向終端設(shè)備500發(fā)送與圖像251a對(duì)應(yīng)的跟蹤信息653a。在終端設(shè)備500中，對(duì)象識(shí)別部分530使用最新接收到的跟蹤信息653a來(lái)對(duì)圖像251a執(zhí)行跟蹤，并且然后使用跟蹤結(jié)果來(lái)更新圖像151中的虛擬圖像153的顯示。
[0162](實(shí)施例的結(jié)論)
[0163]在上述本公開(kāi)的第三實(shí)施例中，當(dāng)通過(guò)顯示圖像的顯示設(shè)備本身來(lái)執(zhí)行包含在捕獲圖像中的圖像的搜索時(shí)，由獲取捕獲圖像的終端設(shè)備來(lái)執(zhí)行通過(guò)搜索找到顯示圖像之后的跟蹤。更具體地，由終端設(shè)備來(lái)執(zhí)行具有較低處理負(fù)荷的跟蹤處理，并且分散來(lái)自終端設(shè)備的具有最高處理負(fù)荷的搜索的處理負(fù)荷。從而，例如防止了顯示設(shè)備的計(jì)算資源的不必要的消耗。此外，例如可以通過(guò)消除向所有顯示設(shè)備發(fā)送捕獲圖像信息的必要性來(lái)節(jié)省通信資源。
[0164](4.補(bǔ)充)
[0165]盡管上述內(nèi)容主要相對(duì)于信息處理設(shè)備、由信息處理設(shè)備執(zhí)行的方法、使這些信息處理設(shè)備實(shí)現(xiàn)功能的程序描述了本公開(kāi)的實(shí)施例，但是可以將記錄這樣的程序的記錄介質(zhì)實(shí)現(xiàn)為本公開(kāi)的實(shí)施例。
[0166]此外，盡管以上描述描述了服務(wù)器設(shè)備或顯示設(shè)備用作信息處理設(shè)備的示例，但是例如終端設(shè)備可以用作信息處理設(shè)備。另外在這種情況下，由于提供了與由顯示設(shè)備顯示的圖像對(duì)應(yīng)的信息的事實(shí)，所以降低了在終端設(shè)備中的對(duì)象識(shí)別的處理負(fù)荷。
[0167](硬件配置)
[0168]最終，參照?qǐng)D12來(lái)描述根據(jù)本公開(kāi)的實(shí)施例的信息處理設(shè)備900的硬件配置，該硬件配置可以實(shí)現(xiàn)終端設(shè)備100、終端設(shè)備500、顯示設(shè)備200、顯示設(shè)備400、顯示設(shè)備600以及服務(wù)器設(shè)備300。圖12是用于解釋信息處理設(shè)備的硬件配置的框圖。
[0169]信息處理設(shè)備900包含中央處理單元(CPU)901、只讀存儲(chǔ)器(ROM)903以及隨機(jī)存取存儲(chǔ)器(RAM)905。此外，信息處理設(shè)備900還可以包括主機(jī)總線907、橋909、外部總線911、接口 913、輸入設(shè)備915、輸出設(shè)備917、存儲(chǔ)設(shè)備919、驅(qū)動(dòng)器921、連接端口 923以及通信設(shè)備925。信息處理設(shè)備900可以具有代替CPU 901或與CPU 901在一起的處理電路，諸如數(shù)字信號(hào)處理器(DSP)。
[0170]CPU 901用作算術(shù)處理設(shè)備和控制設(shè)備并且根據(jù)記錄在ROM 903、RAM 905、存儲(chǔ)設(shè)備919或可移動(dòng)記錄介質(zhì)927中的各種程序來(lái)控制信息處理設(shè)備900中的所有操作或一些操作。ROM 903存儲(chǔ)由CPU 901使用的程序、操作參數(shù)等。RAM 905主要存儲(chǔ)待用于CPU901執(zhí)行的程序、在CPU 901執(zhí)行中適當(dāng)改變的參數(shù)等。CPU 90KROM 903以及RAM 905通過(guò)由內(nèi)部總線(諸如CPU總線)構(gòu)成的主機(jī)總線907相互連接。此外，主機(jī)總線907通過(guò)橋909連接至外部總線911，諸如外圍部件互連/接口(PCI)總線。
[0171]輸入設(shè)備915為例如由用戶操作的設(shè)備，諸如鼠標(biāo)、鍵盤、觸摸面板、按鍵、開(kāi)關(guān)、手柄等。輸入設(shè)備915可以為例如利用紅外線或其它電波的遠(yuǎn)程控制設(shè)備，或者可以為與信息處理設(shè)備900的操作對(duì)應(yīng)的外部連接設(shè)備929，諸如蜂窩式電話。輸入設(shè)備915包括基于由用戶輸入的信息而生成輸入信號(hào)的輸入控制電路，并且然后向CPU 901輸出輸入信號(hào)。用戶操作輸入設(shè)備915以從而向信息處理設(shè)備900輸入各種數(shù)據(jù)或者引導(dǎo)對(duì)信息處理設(shè)備900的處理操作。
[0172]輸出設(shè)備917由能夠在視覺(jué)上或聽(tīng)覺(jué)上向用戶通知所獲取的信息的設(shè)備構(gòu)成。輸出設(shè)備917可以為:例如顯示設(shè)備，諸如液晶顯示器(LCD)、等離子體顯示面板(PDP)以及有機(jī)電致發(fā)光(EL)顯示器；聲音輸出設(shè)備，諸如揚(yáng)聲器和耳機(jī)；以及打印機(jī)設(shè)備等。輸出設(shè)備917將通過(guò)信息處理設(shè)備900的處理而獲得的結(jié)果輸出為諸如文本或圖像的圖片，或者將該結(jié)果輸出為諸如語(yǔ)音或聲音的聲音。
[0173]存儲(chǔ)設(shè)備919為構(gòu)成信息處理設(shè)備900的存儲(chǔ)部分的一個(gè)示例的數(shù)據(jù)存儲(chǔ)設(shè)備。存儲(chǔ)設(shè)備919由半導(dǎo)體存儲(chǔ)設(shè)備、光學(xué)存儲(chǔ)設(shè)備、磁光存儲(chǔ)設(shè)備或諸如硬盤驅(qū)動(dòng)器(HDD)的磁存儲(chǔ)設(shè)備等構(gòu)成。存儲(chǔ)設(shè)備919存儲(chǔ)待由CPU 901執(zhí)行的程序和各種數(shù)據(jù)以及從外部獲取的各種數(shù)據(jù)等。
[0174]驅(qū)動(dòng)器921是用于可移動(dòng)記錄介質(zhì)927的讀取器/與入器，可移動(dòng)記錄介質(zhì)927諸如是磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器，并且驅(qū)動(dòng)器921被構(gòu)建在信息處理設(shè)備900中或從外部附接至信息處理設(shè)備900。驅(qū)動(dòng)器921讀取記錄在所附接的可移動(dòng)記錄介質(zhì)927上的信息，并且然后向RAM905輸出所讀取的信息。驅(qū)動(dòng)器921在所附接的可移動(dòng)記錄介質(zhì)927中與入記錄。
[0175]連接端口 923為用于直接將設(shè)備連接至信息處理設(shè)備900的端口。連接端口 923可以為例如通用串行總線(USB)端口、IEEE1394端口、小型計(jì)算機(jī)系統(tǒng)接口(SCSI)端口等。連接端口 923還可以為RS-232C端口、光學(xué)音頻端子、高分辨率多媒體界面(HDMI)端口等?？梢酝ㄟ^(guò)將外部連接設(shè)備929連接至連接端口 923，來(lái)在信息處理設(shè)備900與外部連接設(shè)備929之間交換各種數(shù)據(jù)。
[0176]通信設(shè)備925為由例如用于連接通信網(wǎng)絡(luò)931等的通信設(shè)備構(gòu)成的通信接口。通信設(shè)備925可以為用于有線或無(wú)線局域網(wǎng)(LAN)、藍(lán)牙(注冊(cè)商標(biāo))、無(wú)線USB (WUSB)等的通信卡。通信設(shè)備925還可以為用于光通信的路由器、用于非對(duì)稱數(shù)字用戶線路(ADSL)的路由器或用于各種通信的調(diào)制解調(diào)器。通信設(shè)備925使用例如預(yù)定協(xié)議例如TCP/IP在因特網(wǎng)或其它的通信設(shè)備之間來(lái)發(fā)送和接收信號(hào)等。連接至通信設(shè)備925的通信網(wǎng)絡(luò)931為有線或無(wú)線連接的網(wǎng)絡(luò)，并且可以為例如因特網(wǎng)、家庭LAN、紅外數(shù)據(jù)通信、無(wú)線電波數(shù)據(jù)通信或衛(wèi)星數(shù)據(jù)通信。
[0177]圖像拍攝設(shè)備933為如下設(shè)備，該設(shè)備使用各種構(gòu)件例如圖像拍攝元件以及透鏡來(lái)獲取真實(shí)空間的圖像，該圖像拍攝元件例如為電荷耦合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)器件，該透鏡用于控制到達(dá)圖像拍攝元件的目標(biāo)圖像的圖像形成以生成例如捕獲圖像。圖像拍攝設(shè)備933可以為捕獲靜止圖像的設(shè)備，或者可以為捕獲動(dòng)態(tài)圖像的設(shè)備。
[0178]傳感器935包括例如各種傳感器，例如加速度計(jì)、陀螺儀傳感器、地磁傳感器、光學(xué)傳感器以及聲音傳感器。傳感器935獲取例如關(guān)于信息處理設(shè)備900的狀態(tài)的信息,例如信息處理設(shè)備900本身的情況下的姿勢(shì)；以及關(guān)于信息處理設(shè)備900周圍環(huán)境的信息，例如信息處理設(shè)備900周圍的亮度、噪聲等。傳感器935還可以包括接收GPS信號(hào)以測(cè)量緯度、經(jīng)度以及設(shè)備的高度的全球定位系統(tǒng)(GPS)傳感器。
[0179]上述內(nèi)容描述了信息處理設(shè)備900的硬件配置的一個(gè)示例。上述部件中的每個(gè)部件可以被配置成使用通用構(gòu)件或者可以通過(guò)根據(jù)每個(gè)部件的功能定制的硬件進(jìn)行配置。當(dāng)實(shí)施所述實(shí)施例時(shí)，可以根據(jù)科技水平適當(dāng)?shù)馗淖冞@樣的配置。
[0180]如上所述，參照附圖詳細(xì)描述了本公開(kāi)的合適的實(shí)施例，但本公開(kāi)并不限于所述實(shí)施例。清楚的是，在權(quán)利要求中描述的技術(shù)構(gòu)思的范圍內(nèi)、本領(lǐng)域的普通技術(shù)人員能夠容易地構(gòu)思出與本公開(kāi)有關(guān)的各種修改和變更，并且應(yīng)當(dāng)理解的是，所述示例應(yīng)當(dāng)包括在本公開(kāi)的技術(shù)范圍內(nèi)。
[0181]另外，本技術(shù)還可以被如下配置。
[0182](I) 一種信息處理設(shè)備,包括:
[0183]捕獲圖像信息獲取部分，其獲取與捕獲圖像相對(duì)應(yīng)的捕獲圖像信息；
[0184]顯示圖像信息獲取部分，其獲取與顯示在顯示屏幕上的第一圖像相對(duì)應(yīng)的顯示圖像信息；以及
[0185]對(duì)象識(shí)別部分，其使用顯示圖像信息和捕獲圖像信息來(lái)檢測(cè)第一圖像在捕獲圖像中的位置和姿勢(shì)。
[0186](2)根據(jù)(I)所述的信息處理設(shè)備，其中，顯示圖像信息獲取部分在與捕獲圖像信息的獲取的定時(shí)不同的定時(shí)獲取顯示圖像信息。
[0187](3)根據(jù)(2)所述的信息處理設(shè)備，其中，當(dāng)?shù)谝粓D像改變時(shí)，顯示圖像信息獲取部分獲取顯示圖像信息。
[0188](4)根據(jù)⑵或(3)所述的信息處理設(shè)備，其中，顯示圖像信息獲取部分以比捕獲圖像信息的獲取的間隔長(zhǎng)的間隔來(lái)獲取顯示圖像信息。
[0189](5)根據(jù)(4)所述的信息處理設(shè)備，其中，當(dāng)捕獲圖像信息被獲取而顯示圖像信息未被獲取時(shí)，對(duì)象識(shí)別部分使用先前獲取的顯示圖像信息來(lái)檢測(cè)第一圖像的位置和姿勢(shì)。
[0190](6)根據(jù)(2)至(5)中任一項(xiàng)所述的信息處理設(shè)備，其中，當(dāng)?shù)谝粓D像的位置和姿勢(shì)未被檢測(cè)時(shí)，顯示圖像信息獲取部分獲取顯示圖像信息。
[0191](7)根據(jù)⑴至(6)中任一項(xiàng)所述的信息處理設(shè)備，其中，
[0192]捕獲圖像信息獲取部分和顯示圖像信息獲取部分按照時(shí)間順序分別獲取捕獲圖像信息和顯示圖像信息，以及
[0193]同步捕獲圖像信息與顯示圖像信息的同步信息被包含在捕獲圖像信息和顯示圖像信息獲取部分的至少任意一個(gè)中。
[0194](8)根據(jù)⑴至(7)中任一項(xiàng)所述的信息處理設(shè)備，其中，
[0195]捕獲圖像信息獲取部分和顯示圖像信息獲取部分按照時(shí)間順序分別獲取捕獲圖像信息和顯示圖像信息，以及
[0196]對(duì)象識(shí)別部分根據(jù)捕獲圖像信息與顯示圖像信息之間的延遲來(lái)選擇與捕獲圖像信息一起使用的顯示圖像信息。
[0197](9)根據(jù)⑴至⑶中任一項(xiàng)所述的信息處理設(shè)備，其中，對(duì)象識(shí)別部分向已捕獲捕獲圖像的圖像拍攝設(shè)備發(fā)送指示第一圖像的位置和姿勢(shì)的信息。
[0198](10)根據(jù)(9)所述的信息處理設(shè)備，其中，當(dāng)已經(jīng)檢測(cè)第一圖像的位置和姿勢(shì)時(shí)，對(duì)象識(shí)別部分將第一圖像的位置和姿勢(shì)的后續(xù)檢測(cè)委托給圖像拍攝設(shè)備。
[0199](11)根據(jù)(10)所述的信息處理設(shè)備，其中，當(dāng)圖像拍攝設(shè)備未檢測(cè)第一圖像的位置和姿勢(shì)時(shí)，對(duì)象識(shí)別部分再次檢測(cè)第一圖像的位置和姿勢(shì)。
[0200](12)根據(jù)(10)或(11)所述的信息處理設(shè)備，其中，當(dāng)?shù)谝粓D像已改變時(shí)，對(duì)象識(shí)別部分再次檢測(cè)第一圖像的位置和姿勢(shì)。
[0201](13)根據(jù)(I)至(12)中任一項(xiàng)所述的信息處理設(shè)備，其是還包括顯示屏幕的顯示設(shè)備。
[0202](14) 一種信息處理方法,包括:
[0203]獲取與捕獲圖像相對(duì)應(yīng)的捕獲圖像信息；
[0204]獲取與顯示在顯示屏幕上的第一圖像相對(duì)應(yīng)的顯示圖像信息；以及
[0205]使用顯示圖像信息和捕獲圖像信息來(lái)檢測(cè)第一圖像在捕獲圖像中的位置和姿勢(shì)。
[0206](15) 一種用于使計(jì)算機(jī)實(shí)現(xiàn)以下功能的程序:
[0207]獲取與捕獲圖像相對(duì)應(yīng)的捕獲圖像信息的功能；
[0208]獲取與顯示在顯示屏幕上的第一圖像相對(duì)應(yīng)的顯示圖像信息的功能；以及
[0209]使用顯示圖像信息和捕獲圖像信息來(lái)檢測(cè)第一圖像在捕獲圖像中的位置和姿勢(shì)的功能。
[0210]附圖標(biāo)記列表
[0211]100、500 終端設(shè)備
[0212]110圖像拍攝部分
[0213]120顯示控制部分
[0214]150顯示部分
[0215]155捕獲圖像信息
[0216]157識(shí)別結(jié)果信息
[0217]200、400、600 顯示設(shè)備
[0218]210顯示控制部分
[0219]250顯示屏幕
[0220]251圖像(第一圖像)
[0221]253顯示圖像信息
[0222]300服務(wù)器設(shè)備
[0223]310捕獲圖像信息獲取部分
[0224]320顯示圖像信息獲取部分
[0225]330、430、530對(duì)象識(shí)別部分
[0226]653跟蹤信息
【權(quán)利要求】
1.一種信息處理設(shè)備,包括: 捕獲圖像信息獲取部分，其獲取與捕獲圖像相對(duì)應(yīng)的捕獲圖像信息； 顯示圖像信息獲取部分，其獲取與顯示在顯示屏幕上的第一圖像相對(duì)應(yīng)的顯示圖像信息；以及 對(duì)象識(shí)別部分，其使用所述顯示圖像信息和所述捕獲圖像信息來(lái)檢測(cè)所述第一圖像在所述捕獲圖像中的位置和姿勢(shì)。
2.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述顯示圖像信息獲取部分在與所述捕獲圖像信息的獲取的定時(shí)不同的定時(shí)獲取所述顯示圖像信息。
3.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中，當(dāng)所述第一圖像改變時(shí)，所述顯示圖像信息獲取部分獲取所述顯示圖像信息。
4.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中，所述顯示圖像信息獲取部分以比所述捕獲圖像信息的獲取的間隔長(zhǎng)的間隔來(lái)獲取所述顯示圖像信息。
5.根據(jù)權(quán)利要求4所述的信息處理設(shè)備，其中，當(dāng)所述捕獲圖像信息被獲取而所述顯示圖像信息未被獲取時(shí)，所述對(duì)象識(shí)別部分使用先前獲取的所述顯示圖像信息來(lái)檢測(cè)所述第一圖像的位置和姿勢(shì)。
6.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中，當(dāng)所述第一圖像的位置和姿勢(shì)未被檢測(cè)時(shí)，所述顯示圖像信息獲取部分獲取所述顯示圖像信息。
7.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中， 所述捕獲圖像信息獲取部分和所述顯示圖像信息獲取部分按照時(shí)間順序分別獲取所述捕獲圖像信息和所述顯示圖像信息，以及 同步所述捕獲圖像信息與所述顯示圖像信息的同步信息被包含在所述捕獲圖像信息和所述顯示圖像信息獲取部分的至少任意一個(gè)中。
8.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中， 所述捕獲圖像信息獲取部分和所述顯示圖像信息獲取部分按照時(shí)間順序分別獲取所述捕獲圖像信息和所述顯示圖像信息，以及 所述對(duì)象識(shí)別部分根據(jù)所述捕獲圖像信息與所述顯示圖像信息之間的延遲來(lái)選擇與所述捕獲圖像信息一起使用的所述顯示圖像信息。
9.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中，所述對(duì)象識(shí)別部分向已捕獲所述捕獲圖像的圖像拍攝設(shè)備發(fā)送指示所述第一圖像的位置和姿勢(shì)的信息。
10.根據(jù)權(quán)利要求9所述的信息處理設(shè)備，其中，當(dāng)已經(jīng)檢測(cè)所述第一圖像的位置和姿勢(shì)時(shí)，所述對(duì)象識(shí)別部分將所述第一圖像的位置和姿勢(shì)的后續(xù)檢測(cè)委托給所述圖像拍攝設(shè)備。
11.根據(jù)權(quán)利要求10所述的信息處理設(shè)備，其中，當(dāng)所述圖像拍攝設(shè)備未檢測(cè)所述第一圖像的位置和姿勢(shì)時(shí)，所述對(duì)象識(shí)別部分再次檢測(cè)所述第一圖像的位置和姿勢(shì)。
12.根據(jù)權(quán)利要求10所述的信息處理設(shè)備，其中，當(dāng)所述第一圖像已改變時(shí)，所述對(duì)象識(shí)別部分再次檢測(cè)所述第一圖像的位置和姿勢(shì)。
13.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其是還包括所述顯示屏幕的顯示設(shè)備。
14.一種信息處理方法,包括: 獲取與捕獲圖像相對(duì)應(yīng)的捕獲圖像信息； 獲取與顯示在顯示屏幕上的第一圖像相對(duì)應(yīng)的顯示圖像信息；以及使用所述顯示圖像信息和所述捕獲圖像信息來(lái)檢測(cè)所述第一圖像在所述捕獲圖像中的位置和姿勢(shì)。
15.一種用于使計(jì)算機(jī)實(shí)現(xiàn)以下功能的程序: 獲取與捕獲圖像相對(duì)應(yīng)的捕獲圖像信息的功能； 獲取與顯示在顯示屏幕上的第一圖像相對(duì)應(yīng)的顯示圖像信息的功能；以及使用所述顯示圖像信息和所述捕獲圖像信息來(lái)檢測(cè)所述第一圖像在所述捕獲圖像中的位置和姿勢(shì)的功能。
【文檔編號(hào)】G06F3/01GK104205012SQ201380015411
【公開(kāi)日】2014年12月10日 申請(qǐng)日期:2013年2月8日 優(yōu)先權(quán)日:2012年3月26日
【發(fā)明者】笠原俊一 申請(qǐng)人:索尼公司