用于控制顯示的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本文所討論的實施方式涉及用于以在圖像數(shù)據(jù)上疊加另外的圖像數(shù)據(jù)的方式來顯示該圖像數(shù)據(jù)的技術(shù)。
【背景技術(shù)】
[0002]下述增強(qiáng)現(xiàn)實(AR)技術(shù)是已知的:在該技術(shù)中，當(dāng)在顯示器上顯示現(xiàn)實世界對象的圖像時，使現(xiàn)實世界中不存在的內(nèi)容以疊加的方式顯示在顯示器上所顯示的圖像上，使得提供該內(nèi)容看起來好像存在于現(xiàn)實世界中的組合圖像。在下文中，該內(nèi)容被稱為“AR內(nèi)容”。觀看組合圖像的用戶可以獲取被顯示為AR內(nèi)容的信息，并且可以捕捉到與該用戶直接觀看和認(rèn)識現(xiàn)實世界時相比更多的信息。要指出的是，AR內(nèi)容有時是通過使用其形狀和顏色來使自身表示獨特意義的圖像數(shù)據(jù)，而有時是包括文本數(shù)據(jù)的圖像數(shù)據(jù)。
[0003]AR包括被稱為基于位置的AR的技術(shù)和被稱為基于視覺的AR的技術(shù)?；谖恢玫腁R從全球定位系統(tǒng)(GPS)傳感器等獲取配備有相機(jī)的終端的位置信息和關(guān)于該終端的方位的信息，并且根據(jù)該位置信息和該方位信息來確定要以疊加的方式進(jìn)行顯示的AR內(nèi)容的細(xì)節(jié)和要以此方式進(jìn)行顯示的AR內(nèi)容的位置。
[0004]基于視覺的AR對從相機(jī)獲取的圖像數(shù)據(jù)執(zhí)行對象識別和空間感知。在識別到圖像數(shù)據(jù)為捕獲有特定對象的圖像的數(shù)據(jù)時，基于視覺的AR根據(jù)空間感知結(jié)果以疊加的方式顯示與該特定對象相對應(yīng)的AR內(nèi)容(例如，日本公開特許公報第2002-092647號和日本公開特許公報第2004-048674號)。要指出的是，其中標(biāo)記為要識別的對象的AR有時被稱為“基于視覺的標(biāo)記式AR”，而其中除標(biāo)記之外的對象為要識別的對象的AR有時被稱為“基于視覺的無標(biāo)記式AR”。
[0005]另外，下述技術(shù)是已知的:在該技術(shù)中，對于包括基于視覺的AR功能的游戲機(jī)，當(dāng)包含在游戲機(jī)中的成像設(shè)備捕獲到標(biāo)記的圖像時，在游戲機(jī)的顯示器上顯示用于菜單選擇的選擇對象(例如日本公開特許公報第2012-068984號)。此外，當(dāng)用戶使游戲機(jī)傾斜并且成像設(shè)備的成像方向因此與選擇對象的沖突區(qū)域交叉時，游戲機(jī)確定該選擇對象已被選擇。

【發(fā)明內(nèi)容】

[0006]技術(shù)問題
[0007]配備有基于視覺的AR技術(shù)的計算機(jī)對圖像數(shù)據(jù)執(zhí)行對象識別處理。如果識別到特定對象，則計算機(jī)執(zhí)行用于使AR內(nèi)容以疊加的方式顯示在圖像數(shù)據(jù)上的顯示控制處理。在顯示控制處理中，計算機(jī)通過對從相機(jī)獲取的圖像數(shù)據(jù)執(zhí)行對象識別和空間感知來估計要識別的對象與相機(jī)之間的位置關(guān)系。對于AR內(nèi)容，相對于要識別的對象的位置關(guān)系(布置位置和布置姿勢)是預(yù)先確定的。因此，通過使用以上估計的相機(jī)與要識別的對象之間的位置關(guān)系來確定相機(jī)與AR內(nèi)容之間的位置關(guān)系。
[0008]此處，根據(jù)現(xiàn)有技術(shù)，當(dāng)在作為要識別的對象的特定對象呈現(xiàn)在圖像中的假定下執(zhí)行顯示控制處理時，在一些情況下不會顯示正常要以疊加的方式與特定對象相對應(yīng)地進(jìn)行顯示的AR內(nèi)容。對此的一個示例為通過以AR方式顯示指示具體工作的AR內(nèi)容來提供對工作的支持的系統(tǒng)。利用該系統(tǒng)的工作者在顯示器上所顯示的組合圖像中識別出給出關(guān)于具體工作的指令的AR內(nèi)容，并且該工作者根據(jù)該指令執(zhí)行具體工作。然而，如果AR內(nèi)容未顯示在顯示器上所示的組合圖像中，則工作者當(dāng)然不可能獲取AR內(nèi)容的信息。也就是說，工作者不可能認(rèn)識到其必須執(zhí)行與通過AR內(nèi)容給出的指令相關(guān)的工作。
[0009]因此，本公開內(nèi)容的目的是確定AR技術(shù)中AR內(nèi)容實際上是否顯示在顯示器上并且報告未顯示在顯示器上的AR內(nèi)容的存在性。
[0010]問題的解決方案
[0011]根據(jù)本發(fā)明的一個方面，一種信息處理設(shè)備包括控制單元，所述控制單元被配置成:獲取由圖像捕獲單元捕獲的圖像數(shù)據(jù)；基于在所述圖像數(shù)據(jù)中檢測到的對象來獲取內(nèi)容和與所述內(nèi)容相對應(yīng)的顯示位置信息，所述顯示位置信息指示所述內(nèi)容相對于所述對象的顯示位置；確定所述內(nèi)容是否能夠以疊加的方式在所述圖像數(shù)據(jù)上顯示在由所述顯示位置信息指示的顯示位置處；以及在確定所述內(nèi)容不能顯示在由所述顯示位置信息指示的位置處時指示要輸出的告警。
【附圖說明】
[0012]圖1示出了相機(jī)坐標(biāo)系與標(biāo)記坐標(biāo)系之間的關(guān)系；
[0013]圖2示出了 AR內(nèi)容的示例；
[0014]圖3描繪了從標(biāo)記坐標(biāo)系到相機(jī)坐標(biāo)系的變換矩陣T以及變換矩陣T中的旋轉(zhuǎn)矩陣R;
[0015]圖4描繪了旋轉(zhuǎn)矩陣R1、R2和R3 ;
[0016]圖5是從一個視點看到的現(xiàn)實世界的概念性圖示；
[0017]圖6是從另一視點看到的現(xiàn)實世界的概念性圖示；
[0018]圖7是基于由用戶110捕獲的圖像的AR顯不的概念性圖不；
[0019]圖8是基于由用戶120捕獲的圖像的AR顯示的概念性圖示；
[0020]圖9是根據(jù)每個實施方式的系統(tǒng)配置圖；
[0021]圖10是信息處理設(shè)備I的功能框圖；
[0022]圖11示出了存儲AR內(nèi)容信息的數(shù)據(jù)表的配置的示例；
[0023]圖12示出了存儲模板信息的數(shù)據(jù)表的配置的示例；
[0024]圖13是根據(jù)第一實施方式的顯示控制處理的流程圖(I);
[0025]圖14是根據(jù)第一實施方式的顯示控制處理的流程圖(2);
[0026]圖15是用于報告不能以疊加的方式進(jìn)行顯示的AR內(nèi)容的屏幕的概念性圖示；
[0027]圖16是用于報告不能以疊加的方式進(jìn)行顯示的AR內(nèi)容的另一屏幕的概念性圖示;
[0028]圖17是在顯示器上顯示由用戶110捕獲的圖像時的屏幕的概念性圖示；
[0029]圖18是在顯示器上顯示由用戶120捕獲的圖像時的屏幕的概念性圖示；
[0030]圖19是根據(jù)第二實施方式的信息處理設(shè)備20的功能框圖；
[0031]圖20描繪了在式3中使用的決定因子；
[0032]圖21是根據(jù)第二實施方式的顯示控制處理的流程圖(I);
[0033]圖22是根據(jù)第二實施方式的顯示控制處理的流程圖(2);
[0034]圖23示出了實施方式中的每個實施方式的信息處理設(shè)備的硬件配置的示例；
[0035]圖24示出了在計算機(jī)上操作的程序的配置的示例；以及
[0036]圖25是管理設(shè)備的硬件配置的示例。
【具體實施方式】
[0037]在下文中，將對本公開內(nèi)容的詳細(xì)實施方式進(jìn)行描述。要指出的是，只要在處理細(xì)節(jié)之間不出現(xiàn)矛盾，以下描述的實施方式可以適當(dāng)?shù)剡M(jìn)行組合。
[0038]作為開始，將對基于視覺的AR技術(shù)進(jìn)行描述。要指出的是，特別地，下面將給出使用標(biāo)記的基于視覺的標(biāo)記式AR的示例。然而，在實施方式中公開的技術(shù)可以應(yīng)用于基于視覺的無標(biāo)記式AR。在此情況下，在對象識別處理中，預(yù)先準(zhǔn)備定義要識別的對象的形狀的字典。通過使用該字典，對圖像數(shù)據(jù)執(zhí)行對象識別處理。
[0039]首先，對以相機(jī)為中心的相機(jī)坐標(biāo)系與以標(biāo)記為中心的標(biāo)記坐標(biāo)系之間的關(guān)系進(jìn)行描述。圖1是示出相機(jī)坐標(biāo)系與標(biāo)記坐標(biāo)系之間的關(guān)系的圖。要指出的是，標(biāo)記為例如具有獨特形狀的、印刷在附接至建筑物中的墻壁、天花板或裝備等的紙上的圖案。在基于視覺的標(biāo)記式AR中，識別目標(biāo)為標(biāo)記，并且因而在圖像數(shù)據(jù)中包括指示標(biāo)記特有的形狀的特定圖像數(shù)據(jù)時識別到標(biāo)記。
[0040]在圖1中，相機(jī)坐標(biāo)系的原點為Oc (O, O, O)。相機(jī)坐標(biāo)系包括三個維度(Xe，Yc，Zc)。相機(jī)坐標(biāo)系的Xc-Yc平面為與相機(jī)的成像設(shè)備的面并行的面。Zc軸為與成像設(shè)備的面垂直的軸。要指出的是，原點Oc可以是實際相機(jī)的焦點，或者可以被設(shè)置在Zc方向上距相機(jī)的焦點預(yù)定距離處的位置。
[0041]接下來，如圖1所示，標(biāo)記坐標(biāo)系的原點為0m(0，O, O)。要指出的是，原點Om為標(biāo)記M的中心。標(biāo)記坐標(biāo)系包括三個維度(Xm, Ym, Zm)。例如，標(biāo)記坐標(biāo)系的Xm-Ym平面為與標(biāo)記M平行的面，并且Zm軸為與標(biāo)記M的面垂直的軸。要指出的是，在標(biāo)記坐標(biāo)統(tǒng)中，假定與圖像數(shù)據(jù)中的一個標(biāo)記相對應(yīng)的大小為單位坐標(biāo)。
[0042]相反，假定標(biāo)記坐標(biāo)系的原點Om在相機(jī)坐標(biāo)系下由(Xlc，Ylc，Zlc)表示。通過對從相機(jī)獲取的圖像數(shù)據(jù)執(zhí)行對象識別和空間感知來計算Om在相機(jī)坐標(biāo)系下的坐標(biāo)(Xlc, Ylc, Zlc) ο
[0043]此處，為了執(zhí)行對象識別和空間感知，采用可以用其對標(biāo)記與相機(jī)之間的關(guān)系進(jìn)行標(biāo)識的形狀作為標(biāo)記的形狀。標(biāo)記的大小也是預(yù)先決定的。因而，可以通過對圖像數(shù)據(jù)執(zhí)行對象識別來識別標(biāo)記，并且可以根據(jù)圖像數(shù)據(jù)中標(biāo)記的圖形的形狀和大小來確定標(biāo)記相對于相機(jī)的位置關(guān)系。例如，標(biāo)記M具有正方形形狀，其中該正方形形狀的每個邊為5cm長。
[0044]另外，標(biāo)記坐標(biāo)系(Xm，Ym，Zm)相對于相機(jī)坐標(biāo)系(Xe，Yc，Zc)旋轉(zhuǎn)的角度由旋轉(zhuǎn)坐標(biāo)G1C(P1C，Q1C，R1C)表示。Plc為繞Xe軸旋轉(zhuǎn)的角度，Qlc為繞Yc軸旋轉(zhuǎn)的角度，以及Rlc為繞Zc軸旋轉(zhuǎn)的角度。圖1所示的標(biāo)記坐標(biāo)系僅繞Yc軸旋轉(zhuǎn)，因此Plc和Rlc均為零。要指出的是，每個旋轉(zhuǎn)角度是基于已知的標(biāo)記形狀與所捕獲圖像中標(biāo)記的圖形的形狀之間的比較來計算的。
[0045]圖2示出了 AR內(nèi)容的示例。圖2所示的AR內(nèi)容C為具有對話氣泡形狀的圖像數(shù)據(jù)，并且該AR內(nèi)容C在對話氣泡中包含文本信息“執(zhí)行工作X”。另外，針對AR內(nèi)容C預(yù)先設(shè)置了相對于標(biāo)記的位置信息和旋轉(zhuǎn)信息。也就是說，設(shè)置了 AR內(nèi)容在標(biāo)記坐標(biāo)系下的位置信息和旋轉(zhuǎn)信息。
[0046]此處，將對位置信息和旋轉(zhuǎn)信息進(jìn)行詳細(xì)描述。在AR內(nèi)容C的對話氣泡的尖端處的黑色圓圈指示用于AR內(nèi)容C的參考點V2m(X2m，Y2m, Z2m)。另外，AR內(nèi)容C的姿勢由旋轉(zhuǎn)坐標(biāo)G2m(P2m，Q2m，R2m)定義，并且AR內(nèi)容C的大小由放大因子D(Jx，Jy，Jz)定義。要指出的是，AR內(nèi)容C的旋轉(zhuǎn)坐標(biāo)G2m指示在布置AR內(nèi)容時AR內(nèi)容相對于標(biāo)記坐標(biāo)系旋轉(zhuǎn)多少。例如，在G2m為(0，0，0)——這與圖2的示例不同——的情況下，AR內(nèi)容以AR方式與標(biāo)記平行地進(jìn)行顯示。
[0047]接下來，分別對形成AR內(nèi)容C的除參考點之外的點的坐標(biāo)進(jìn)行設(shè)置，從而對AC內(nèi)容C的形狀進(jìn)行設(shè)置。在本實施方式中，在還將預(yù)先創(chuàng)建的模板用于AR內(nèi)容C的形狀的假定下給出描述。也就是說，在作為用于構(gòu)造AR內(nèi)容C的形狀的模型的模板中定義了形成AR內(nèi)容C的點的坐標(biāo)。然而，在該模板中，參考點具有坐標(biāo)(0，O, O)，并且除參考點之外的每個點被定義為相對于參考點的坐標(biāo)的值。因此，當(dāng)設(shè)置AR內(nèi)容C的參考點V2m時，形成模板的每個點的坐標(biāo)經(jīng)受基于坐標(biāo)V2m進(jìn)行的平移。
[0048]包含在模板中的每個點的坐標(biāo)還經(jīng)受基于所設(shè)置的旋轉(zhuǎn)坐標(biāo)G2m進(jìn)行的旋轉(zhuǎn)，并且相鄰點之間的距離通過放大因子D進(jìn)行擴(kuò)展或收縮。也就是說，圖2的AR內(nèi)容C指示該AR內(nèi)容C是基于下述點來形成的狀態(tài):所述點是通過基于參考點的坐標(biāo)V2m、旋轉(zhuǎn)坐標(biāo)G2m和放大因子D對在模板中所定義的所有點進(jìn)行調(diào)節(jié)而獲得的。
[0049]如上所述，AR內(nèi)容相對于標(biāo)記的布置是基于AR內(nèi)容的位置信息和旋轉(zhuǎn)信息來確定的。因此，一旦用戶已經(jīng)使用相機(jī)對標(biāo)記拍攝照片，計算機(jī)就假定相機(jī)對具有相對于標(biāo)記所確定的布置的AR內(nèi)容拍攝了照片來生成表示AR內(nèi)容的圖形的圖像數(shù)據(jù)。在生成表示AR內(nèi)容的圖形的圖像數(shù)據(jù)的過程中，執(zhí)行以下處理:將在標(biāo)記坐標(biāo)系下定義的點中的每個點的坐標(biāo)變換成在相機(jī)坐標(biāo)系下的坐標(biāo)的處理；以及將變換到相機(jī)坐標(biāo)系下的每個點投影到顯示平面上以用于將該點繪制在顯示器上的處理。此外，將表示AR內(nèi)容的圖形的圖像數(shù)據(jù)繪制在從相機(jī)獲取的圖像數(shù)據(jù)的頂部，因而使AR內(nèi)容以疊加的方式顯示在從相機(jī)獲取的圖像數(shù)據(jù)上。下面將對每個處理進(jìn)行描述。
[0050]首先，圖3描繪了從標(biāo)記坐標(biāo)系到相機(jī)坐標(biāo)系的變換矩陣T以及旋轉(zhuǎn)矩陣R。變換矩陣T為下述決定因