專利名稱：信息顯示裝置和信息顯示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及重疊地顯示現(xiàn)實(shí)世界影像和有關(guān)映出在現(xiàn)實(shí)世界影像中的對象物的信息的信息顯示裝置和信息顯示方法。
背景技術(shù)：
在風(fēng)景的攝影影像這種現(xiàn)實(shí)世界影像中，各種設(shè)施等的對象物被映出。在一個(gè)畫面上重疊地顯示現(xiàn)實(shí)世界影像和有關(guān)映出在該現(xiàn)實(shí)世界影像中的對象物的信息(以下稱為“對象物信息”)的圖像顯示裝置被應(yīng)用于各個(gè)領(lǐng)域。這種技術(shù)稱為“增強(qiáng)現(xiàn)實(shí)感”(Augmented Reality)，另外還稱為“突出現(xiàn)實(shí)感”、“強(qiáng)化現(xiàn)實(shí)”等。應(yīng)用了這種技術(shù)的增強(qiáng)現(xiàn)實(shí)感裝置在移動的同時(shí)隨時(shí)獲取信息時(shí)非常方便。例如，在專利文獻(xiàn)1和專利文獻(xiàn)2中記載了由重疊地顯示現(xiàn)實(shí)世界影像和對象物信息的裝置(以下簡稱為“信息顯示裝置”)控制要顯示的對象物信息的技術(shù)。圖1是表示專利文獻(xiàn)1記載的信息顯示裝置的結(jié)構(gòu)的圖。圖2是表示一例專利文獻(xiàn)1記載的信息顯示裝置輸入的現(xiàn)實(shí)世界影像的圖。圖3是表示一例圖1所示的信息顯示裝置對應(yīng)于圖2所示的輸入影像而顯示的、重疊了現(xiàn)實(shí)世界影像和對象物信息的影像(以下稱為“信息重疊影像”)的圖。如圖2所示，在對象物11的附近，預(yù)先配置有用于識別該對象物的、獨(dú)立的已知的標(biāo)記(mark) 12。在圖1中，信息顯示裝置20包括輸入現(xiàn)實(shí)世界的圖像的圖像輸入單元21 ；從輸入圖像提取標(biāo)記12的標(biāo)記提取單元22 ；以及使用提取了的標(biāo)記12運(yùn)算位置姿態(tài)的標(biāo)記識別單元23。進(jìn)而，信息顯示裝置20還包括獲取與標(biāo)記12預(yù)先進(jìn)行了關(guān)聯(lián)對應(yīng)的對象物信息的關(guān)聯(lián)信息獲取單元M ；進(jìn)行對象物信息的加工處理的模型數(shù)據(jù)生成單元25 ；以及重疊顯示輸入圖像和加工了的信息的顯示單元沈。其結(jié)果如圖3所示，顯示出圖像33，該圖像33重疊了包含對象物11的圖像的現(xiàn)實(shí)世界的圖像31、以及有關(guān)對象物11的對象物信息 32。另外，專利文獻(xiàn)1記載的信息顯示裝置的模型數(shù)據(jù)生成單元25使正在顯示的信息的描繪位置與輸入圖像的變化同步地變化，使其追隨對象物的顯示位置。因此，專利文獻(xiàn)1 記載的信息顯示裝置例如即使在環(huán)繞標(biāo)本的周圍轉(zhuǎn)的同時(shí)進(jìn)行攝影的情況下，也能夠與輸入圖像的視點(diǎn)的移動(照相機(jī)的用戶的移動)準(zhǔn)確地同步而顯示信息。圖4是表示專利文獻(xiàn)2記載的信息顯示裝置的結(jié)構(gòu)的圖。在圖4中，信息顯示裝置40包括檢測用戶的視點(diǎn)的位置的視點(diǎn)位置檢測單元41 ；檢測顯示器47的位置的顯示器位置檢測單元42 ；以及檢測映出的對象物的對象位置檢測單元43。并且，信息顯示裝置 40包括用于確定位于連結(jié)用戶視點(diǎn)與顯示器47的中心位置的線上的對象物的對象確定單元44 ；以及從存儲裝置獲取對象物信息的對象信息檢索單元45。進(jìn)而，信息顯示裝置40 包括根據(jù)用戶視點(diǎn)與顯示器47之間的距離，選擇要顯示的參照信息的詳細(xì)程度的影像生成單元46。其結(jié)果是在用戶視點(diǎn)接近顯示器時(shí)，顯示更詳細(xì)的信息。
專利文獻(xiàn)1日本專利特開2004-48674號公報(bào)專利文獻(xiàn)2日本專利特開平8-190640號公報(bào)

發(fā)明內(nèi)容
發(fā)明所要解決的課題然而，在專利文獻(xiàn)1記載的技術(shù)和專利文獻(xiàn)2記載的技術(shù)中，存在無法易于觀察地顯示用戶想知道的信息的課題。在專利文獻(xiàn)1記載的信息顯示裝置中，例如，在現(xiàn)實(shí)世界影像中配置了標(biāo)記的對象物存在多個(gè)時(shí)，不僅顯示的信息的量增多，信息變得繁雜，而且不易觀察現(xiàn)實(shí)世界影像。對專利文獻(xiàn)2記載的信息顯示裝置而言，雖然能夠限制作為信息顯示的對象的對象物，但在對于對象物的關(guān)注度與用戶視點(diǎn)對于顯示器的接近程度不對應(yīng)時(shí)，可能會導(dǎo)致信息過多或者過少。本發(fā)明的目的在于，提供能夠易于觀察地顯示有關(guān)在現(xiàn)實(shí)世界影像中映出的對象物的信息中用戶想知道的信息的信息顯示裝置和信息顯示方法。解決問題的方案本發(fā)明的信息顯示裝置包括影像輸入單元，其輸入現(xiàn)實(shí)世界影像；距離獲取單元，其獲取在所輸入的所述現(xiàn)實(shí)世界影像中映出的對象物和所述現(xiàn)實(shí)世界影像的視點(diǎn)之間的距離；對象物重疊單元，其輸出重疊了有關(guān)所述對象物的信息與所述現(xiàn)實(shí)世界影像的影像；以及信息輸出控制單元，其控制所述對象物重疊單元顯示的所述信息，所述信息輸出控制單元根據(jù)獲取了的所述距離，確定所述對象物重疊單元輸出的所述信息的提示方式。本發(fā)明的信息顯示方法包括以下步驟輸入現(xiàn)實(shí)世界影像；獲取在所輸入的所述現(xiàn)實(shí)世界影像中映出的對象物和所述現(xiàn)實(shí)世界影像的視點(diǎn)之間的距離；根據(jù)獲取了的所述距離，確定與所述對象物有關(guān)的信息的提示方式；以及重疊并輸出所述信息與所述現(xiàn)實(shí)世界影像，以使其以確定了的提示方式被提示。發(fā)明效果根據(jù)本發(fā)明，以對應(yīng)于現(xiàn)實(shí)世界影像的視點(diǎn)和對象物之間的距離的提示方式，提示與對象物有關(guān)的信息，因此，能夠易于觀察地提示與對象物有關(guān)的信息中用戶想知道的 fn息ο


圖1是表示現(xiàn)有的信息顯示裝置的結(jié)構(gòu)的第一圖。圖2是表示一例現(xiàn)有的信息顯示裝置的輸入影像的圖。圖3是表示一例現(xiàn)有的信息顯示裝置的信息重疊影像的圖。圖4是表示現(xiàn)有的信息顯示裝置的結(jié)構(gòu)的第二圖。圖5是本發(fā)明的實(shí)施方式1的信息顯示裝置的外觀圖。圖6是表示實(shí)施方式1的信息顯示裝置的結(jié)構(gòu)的方框圖。圖7是表示一例實(shí)施方式1的對象物信息表的內(nèi)容的圖。圖8是表示一例實(shí)施方式1的顯示信息確定規(guī)則的內(nèi)容的圖。圖9是表示實(shí)施方式1的信息顯示裝置的動作的流程圖。
圖10是表示一例實(shí)施方式1的輸入影像的圖。圖11是表示一例實(shí)施方式1的信息重疊影像的圖。圖12是表示實(shí)施方式2的信息顯示裝置的結(jié)構(gòu)的方框圖。圖13是表示實(shí)施方式2的信息顯示裝置的動作的流程圖。圖14是表示一例實(shí)施方式2中在hfo模式下進(jìn)行了變焦(zoom)操作時(shí)的顯示影像的變化的圖。圖15A 圖15C是表示一例實(shí)施方式2中在Wioto+hfo模式下進(jìn)行了變焦操作時(shí)的顯示影像的變化的圖。圖16A 圖16C是表示一例實(shí)施方式2中在Wioto+hfo模式下進(jìn)行了光圈操作時(shí)的顯示影像的變化的圖。圖17A 圖17C是表示一例在hfo模式下進(jìn)行了鎖焦(focus lock)操作時(shí)的、 顯示影像的變化的圖。圖18是表示本發(fā)明的實(shí)施方式3的信息顯示裝置的結(jié)構(gòu)的方框圖。圖19是表示本發(fā)明的實(shí)施方式4的信息顯示裝置的結(jié)構(gòu)的方框圖。圖20A 圖20C是表示一例實(shí)施方式4中在Wioto+hfo模式下進(jìn)行了觸摸操作時(shí)的顯示影像的變化的圖。圖21是表示本發(fā)明的實(shí)施方式5的信息顯示裝置的結(jié)構(gòu)的方框圖。圖22是表示實(shí)施方式5的對象物信息表的內(nèi)容的一個(gè)例子的圖。圖23A 圖23C是表示一例實(shí)施方式5中在Wwto+hfo模式下進(jìn)行了觸摸操作時(shí)的顯示影像的變化的圖。標(biāo)號說明100、100a、100b、100c、IOOd 信息顯示裝置200主體單元300影像輸入單元400影像顯示單元400c、400d影像顯示/操作輸入單元500操作接口單元510操作輸入單元511操縱桿512 按鈕
520模式切換輸入單元521 開關(guān)522滑動單元610a動作控制單元620透鏡控制單元630、630a影像識別單元640自身位置姿態(tài)計(jì)算單元650距離獲取單元660對象物測位單元
670終端通信單元680對象物信息檢索單元690、690a、690d信息輸出控制單元700信息位置確定單元710、710a對象物重疊單元720通信網(wǎng)730對象物信息數(shù)據(jù)庫740信息服務(wù)器750b存儲介質(zhì)760b記錄/讀出單元
具體實(shí)施例方式以下，參照附圖詳細(xì)地說明本發(fā)明的實(shí)施方式。(實(shí)施方式1)本發(fā)明的實(shí)施方式1是將本發(fā)明適用于一邊顯示現(xiàn)實(shí)世界影像時(shí)，一邊等待攝影操作的數(shù)字靜像照相機(jī)的例子。首先，說明本發(fā)明的實(shí)施方式1的信息顯示裝置的操作接口的概要。圖5是表示本實(shí)施方式的信息顯示裝置的外觀圖。圖5是從上方觀察了處于操作狀態(tài)的信息顯示裝置時(shí)的俯視圖。在圖5中，信息顯示裝置100包括薄長方體的主體單元200、配置在主體單元200 的外側(cè)的影像輸入單元300、影像顯示單元400、以及操作接口單元500。操作接口單元500 包括操作輸入單元510和模式切換輸入單元520。影像輸入單元300包括透鏡、快門、以及攝像元件(均未圖示)，其輸入現(xiàn)實(shí)世界影像。影像輸入單元300具有能操作聚焦、光圈、以及變焦的結(jié)構(gòu)。影像顯示單元400例如具有液晶顯示器(未圖示)，進(jìn)行圖像和影像的顯示。主體單元200將影像輸入單元300輸入的現(xiàn)實(shí)世界影像顯示到影像顯示單元400， 并進(jìn)行攝影。另外，主體單元200將重疊了現(xiàn)實(shí)世界圖像與在該現(xiàn)實(shí)世界影像中映出的對象物信息的信息重疊影像顯示到影像顯示單元400。此時(shí)，主體單元200獲取現(xiàn)實(shí)世界影像的視點(diǎn)(信息顯示裝置100的位置)和對象物之間的距離，根據(jù)獲取了的距離，確定顯示的對象物信息的提示方式。操作輸入單元510接受用戶操作，將接受了的用戶操作反映在主體單元200輸入的現(xiàn)實(shí)世界影像、和顯示的對象物信息中。操作輸入單元510包括操縱桿511和按鈕512。 操縱桿511是能夠以按鈕512為中心進(jìn)行弧形旋轉(zhuǎn)的旋鈕。按鈕512能夠進(jìn)行半按和全按的兩級的按下操作。模式切換輸入單元520包括開關(guān)521、以及使開關(guān)521在3處卡止位置之間滑動的滑動單元522，其接受用戶對三種模式的切換操作，在該三種模式中主體單元200的動作不同。在本實(shí)施方式中，第一模式是僅顯示現(xiàn)實(shí)世界影像的模式(以下稱為“Photo模式”)。 第二模式是僅顯示對象物信息的模式(以下稱為“Info模式”)。第三模式是顯示重疊了現(xiàn)實(shí)世界影像和對象物信息的影像的模式(以下稱為“Wioto+hfo模式”)。
接著，說明信息顯示裝置100的結(jié)構(gòu)。圖6是表示信息顯示裝置100的結(jié)構(gòu)的方框圖。對與圖5相同的部分標(biāo)注相同的標(biāo)號，適當(dāng)省略對該部分的說明。在圖6中，信息顯示裝置100包括操作輸入單元510、模式切換輸入單元520、動作控制單元610、透鏡控制單元620、影像輸入單元300、影像識別單元630、自身位置姿態(tài)計(jì)算單元640、距離獲取單元650、對象物測位單元660、終端通信單元670、對象物信息檢索單元680、信息輸出控制單元690、信息位置確定單元700、對象物重疊單元710、以及影像顯示單元400。操作輸入單元510將表示用戶操作的內(nèi)容的信息(以下稱為“操作信息”)輸出到動作控制單元610。模式切換單元520將表示設(shè)定的模式的信息(以下稱為“模式信息”)輸出到動作控制單元610。動作控制單元610根據(jù)所輸入的模式信息，控制透鏡控制單元620、信息輸出控制單元690、以及對象物重疊單元710的動作。具體而言，動作控制單元610在Photo模式時(shí)，一方面對于透鏡控制單元620輸出操作信息，另一方面停止信息輸出控制單元690的動作，以使對象物重疊單元710僅進(jìn)行現(xiàn)實(shí)世界影像的顯示。另外，動作控制單元610在Wwto+hfo模式時(shí)，對于透鏡控制單元620 輸出操作信息，并且使信息輸出控制單元690動作，以使對象物重疊單元710進(jìn)行信息重疊影像的顯示。另外，動作控制單元610在hfo模式時(shí)，停止透鏡控制單元620的動作，并且停止信息輸出控制單元690的動作，以使對象物重疊單元710固定顯示正在顯示中的信息重疊影像。透鏡控制單元620控制影像輸入單元300的透鏡。具體而言，透鏡控制單元620根據(jù)輸入的操作信息，控制影像輸入單元300輸入的現(xiàn)實(shí)世界影像的變焦的倍率、聚焦位置、 以及光圈值。影像輸入單元300將輸入的現(xiàn)實(shí)世界影像(以下稱為“輸入影像”)輸入到影像識別單元630、信息位置確定單元700、以及對象物重疊單元710。另外，影像輸入單元300將表示透鏡的合焦點(diǎn)(以下稱為“焦點(diǎn)”)的信息輸入到影像識別單元630和對象物重疊單元 710。影像識別單元630識別映出在輸入影像中的對象物。具體而言，影像識別單元630 對于輸入影像進(jìn)行模式匹配(pattern matching)處理等圖像識別處理，提取建筑物、廣告牌等的對象物映出的輸入影像上的區(qū)域(以下稱為“對象物區(qū)域”)。然后，影像識別單元 630將表示提取的對象物區(qū)域在輸入影像上的位置的信息(以下稱為“區(qū)域信息”)輸出到距離獲取單元650、對象物測位單元660、以及信息位置確定單元700。再者，在存在多個(gè)對象物區(qū)域時(shí)，影像識別單元630為了對每個(gè)對象物進(jìn)行后級的處理，優(yōu)選對每個(gè)區(qū)域信息附加識別信息而進(jìn)行輸出。自身位置姿態(tài)計(jì)算單元640計(jì)算輸入現(xiàn)實(shí)世界影像的時(shí)刻的、信息顯示裝置100 的位置和姿態(tài)。具體而言，自身位置姿態(tài)計(jì)算單元640使用角速度傳感器和GPS(global positioning system，全球定位系統(tǒng))傳感器等，計(jì)算影像輸入單元300的視點(diǎn)的位置和光軸方向。然后，自身位置姿態(tài)計(jì)算單元640將計(jì)算結(jié)果(以下稱為“位置姿態(tài)信息”)輸出到距離獲取單元650和對象物測位單元660。距離獲取單元650獲取從輸入影像的視點(diǎn)到由影像識別單元630識別的對象物為止的水平距離(以下稱為“對象物距離”)。具體而言，距離獲取單元650使用激光式的測距傳感器等，分別測量從影像識別單元630到與各個(gè)對象物的區(qū)域信息對應(yīng)的各個(gè)對象物為止的實(shí)際距離。然后，距離獲取單元650將測得的實(shí)際距離，基于從位置姿態(tài)信息計(jì)算的對象物的方向的仰角換算成水平距離，并作為對象物距離輸出到對象物測位單元660和信息輸出控制單元690。再者，例如在地面的傾斜較大的區(qū)域的用途等，根據(jù)不同的用途，對象物距離也可以不采用水平距離而直接采用實(shí)際距離。對象物測位單元660獲取來自自身位置姿態(tài)計(jì)算單元640的位置姿態(tài)信息、來自影像識別單元630的區(qū)域信息、以及來自距離獲取單元650的對象物距離。接著，對象物測位單元660從獲取了的信息測量在輸入影像中映出的對象物在現(xiàn)實(shí)世界中的位置(以下簡稱為“對象物的位置”)。進(jìn)而，對象物測位單元660將通過緯度和經(jīng)度表示測量結(jié)果的信息 (以下稱為“緯度經(jīng)度信息”)輸出到對象物信息檢索單元680和信息輸出控制單元690。終端通信單元670通過因特網(wǎng)等通信網(wǎng)720，與具有對象物信息數(shù)據(jù)庫(DB) 730的信息服務(wù)器740進(jìn)行通信。對象物信息數(shù)據(jù)庫730預(yù)先存儲有對象物信息表，該對象物信息表與對象物的位置對應(yīng)關(guān)聯(lián)地、對每個(gè)對象物信息存儲了各種對象物信息。圖7是表示一例對象物信息數(shù)據(jù)庫730存儲的對象物信息表的內(nèi)容的圖。如圖7所示，對象物信息表810與對象物的ID811和對象物的位置812對應(yīng)關(guān)聯(lián)， 描述了詳細(xì)程度不同的等級1 等級4的對象物信息813 816。上述信息服務(wù)器740能夠以位置812為索引，從對象物信息表810獲取對應(yīng)的ID811和等級1 等級4的對象物信息813 816。等級1的對象物信息813是表示設(shè)施類別的記號。等級2的對象物信息814是設(shè)施的名稱。等級3的對象物信息815是設(shè)施的話題信息。另外，等級4的對象物信息816 是設(shè)施的詳細(xì)信息。也就是說，等級1 等級4的對象物信息813 816按照該順序，信息的詳細(xì)程度提高。例如，存在于“緯度XXX1、經(jīng)度ΧΧΧ2”這一位置的對象物分別與作為設(shè)施類別的 “B”、作為設(shè)施名稱的“X塔”對應(yīng)關(guān)聯(lián)。另外，存在于“緯度ΧΧΧ1、經(jīng)度ΧΧΧ2”這一位置的對象物還分別與話題信息和詳細(xì)信息對應(yīng)關(guān)聯(lián)。具體而言，分別與作為話題信息的“正在舉辦廊井降雪活動”、和作為詳細(xì)信息的“13:00、15:00、17:00降雪...”對應(yīng)關(guān)聯(lián)。因此，在將“緯度ΧΧΧ1、經(jīng)度ΧΧΧ2”這一緯度經(jīng)度信息作為檢索關(guān)鍵詞時(shí)，能檢索出這些對象物信肩、ο圖6的對象物信息檢索單元680以表示對象物的位置的緯度經(jīng)度信息作為搜索關(guān)鍵詞，檢索對象物信息。具體而言，對象物信息檢索單元680通過終端通信單元670，將輸入的緯度經(jīng)度信息作為對于對象物信息數(shù)據(jù)庫730的檢索查詢，發(fā)送到信息服務(wù)器740。然后，對象物信息檢索單元680將從信息服務(wù)器740回送了的對象物信息，發(fā)送到信息輸出控制單元690。這里回送的對象物信息為ID811和等級1 等級4的對象物信息813 816的所有。再者， 在信息顯示裝置100事先確定作為顯示對象的對象物信息的詳細(xì)程度的等級時(shí)，對象物信息檢索單元680也可以僅檢索并獲取該等級的對象物信息。信息輸出控制單元690根據(jù)對象物距離，控制對象物信息的提示方式。具體而言，信息輸出控制單元690預(yù)先存儲顯示信息確定規(guī)則，根據(jù)該顯示信息確定規(guī)則，確定與作為顯示對象的對象物有關(guān)的對象物信息、和作為顯示對象的信息量不同的對象物信息。也就是說，信息輸出控制單元690確定對象物、以及信息量的程度作為顯示對象。然后，信息輸出控制單元690將確定了作為顯示對象的對象物信息(以下稱為“顯示對象物信息”)輸出到信息位置確定單元700和對象物重疊單元710。這里，顯示信息確定規(guī)則假設(shè)進(jìn)行以下的規(guī)定，即對象物距離越短的對象物，將詳細(xì)程度的等級(level)越高的對象物信息確定為顯示對象。圖8是表示一例顯示信息確定規(guī)則的內(nèi)容的圖。如圖8所示，顯示信息確定規(guī)則820對于每個(gè)對象物距離821的范圍，規(guī)定對象物信息的顯示與不顯示、以及進(jìn)行顯示時(shí)的對象物信息的等級作為確定內(nèi)容822。例如，對于 "300m以上且不足400m”這一對象物距離821，規(guī)定了“等級1”這一確定內(nèi)容822。這意味著在對象物距離為300m以上且不足400m時(shí)，將等級1的對象物信息(這里為表示設(shè)施類別的記號)確定為顯示對象物信息。另外，在顯示信息確定規(guī)則820中，在某范圍內(nèi)，對象物距離821越短，與詳細(xì)程度的等級越高的對象物信息對應(yīng)關(guān)聯(lián)。因此，通過遵循顯示信息確定規(guī)則820，對象物距離越短，所顯示的對象物信息為越詳細(xì)的內(nèi)容。圖6的信息位置確定單元700檢測輸入影像的進(jìn)深方向，確定各個(gè)顯示對象物信息的顯示位置，以在檢測出的進(jìn)深方向上對齊。接著，信息位置確定單元700將確定結(jié)果 (以下稱為“顯示布局信息”)輸出到對象物重疊單元710。具體而言，信息位置確定單元 700從輸入影像中包含的直線分量檢測消失點(diǎn)。然后，信息位置確定單元700基于消失點(diǎn)、 區(qū)域信息、以及顯示對象物信息，沿著從消失點(diǎn)呈放射狀延伸的線段、并且不與對象物區(qū)域重疊地確定各個(gè)顯示對象物信息的顯示位置。再者，信息位置確定單元700也可以沿著連結(jié)多個(gè)對象物區(qū)域的邊緣的線地確定各個(gè)顯示對象物信息的顯示位置。由此，信息位置確定單元700能夠不與對象物區(qū)域重疊地、并且在與對象物在現(xiàn)實(shí)世界的配置關(guān)系對應(yīng)的狀態(tài)下，簡單地確定各個(gè)顯示對象物信息的顯示位置。對象物重疊單元710生成在輸入影像上顯示信息重疊影像的影像數(shù)據(jù)，并將生成的影像數(shù)據(jù)輸出到影像顯示單元400，該信息重疊影像在顯示布局信息顯示的位置上配置了顯示對象物信息。具體而言，對象物重疊單元710在Photo模式時(shí)，生成僅顯示輸入影像的影像數(shù)據(jù)，在hfo模式時(shí)、或者Wioto+hfo模式時(shí)，生成顯示信息重疊影像的影像數(shù)據(jù)。影像顯示單元400將由對象物重疊單元710生成了的影像數(shù)據(jù)影像化后顯示在液晶顯不器上。信息顯示裝置100例如具有CPU (central processing unit，中央處理單元)、存儲了控制程序的ROM (read only memory，只讀存儲器)等存儲介質(zhì)、RAM (random access memory，隨機(jī)接入存儲器)等工作用存儲器等。此時(shí)，上述各個(gè)部分的功能通過CPU執(zhí)行控制程序而實(shí)現(xiàn)。根據(jù)這種信息顯示裝置100，能夠?qū)⑴c對象物有關(guān)的信息以對應(yīng)于輸入影像的視點(diǎn)與對象物之間的距離的信息的提示方式，重疊在輸入影像重疊上顯示。
接著，說明具有以上說明的結(jié)構(gòu)的信息顯示裝置100的動作。這里，說明 Photo+Info模式下的動作。圖9是表示信息顯示裝置100的動作的流程圖。首先，在步驟S1010中，影像輸入單元300輸入現(xiàn)實(shí)世界影像，將輸入影像傳送到影像識別單元630、信息位置確定單元700、以及對象物重疊單元710。圖10是表示影像輸入單元300所輸入的輸入影像的一個(gè)例子的圖。這里，如圖10 所示，假設(shè)在輸入影像830中，位于沿著道路831按從眼前往遠(yuǎn)的順序排列的第一 第三對象物832-1 832-3被映出。第一對象物832-1 第三對象物832-3是不同設(shè)施的建筑物。并且，在圖9的步驟S1020中，影像識別單元630從輸入影像提取和識別一個(gè)以上的對象物區(qū)域。例如，影像識別單元630從圖10所示的輸入影像830，提取并識別第一對象物區(qū)域833-1 第三對象物區(qū)域833-3作為第一對象物832-1 第三對象物832-3的各自的對象物區(qū)域。然后，影像識別單元630從所識別的對象物區(qū)域，選擇其所有或者任意的對象物區(qū)域作為處理對象。影像識別單元630例如在預(yù)先設(shè)定的閾值的數(shù)的范圍內(nèi)，或者優(yōu)先選擇識別率高的對象物區(qū)域，或者僅選擇對準(zhǔn)焦點(diǎn)的對象物區(qū)域和其前后的某個(gè)范圍所包含的對象物區(qū)域。所謂識別率，例如是指當(dāng)在一個(gè)影像中提取了 100的對象物區(qū)域時(shí)，為了按照優(yōu)先順序進(jìn)行處理而不是對它們進(jìn)行均等的處理，表示基于對象物區(qū)域的特征的對象物區(qū)域的幾率的指標(biāo)。對象物區(qū)域的特征例如是背景與對象物的邊界的像素值的傾斜的陡峭度、或者是對象物區(qū)域內(nèi)的像素值較高的脊線的部分(邊緣)圍繞的區(qū)域的面積的大小等。這樣，通過限制實(shí)際成為處理對象的對象物區(qū)域，能夠減輕后級的處理負(fù)荷。然后，在步驟S1030中，影像識別單元630從作為處理對象進(jìn)行了選擇的對象物區(qū)域中選擇一個(gè)對象物區(qū)域。然后，影像識別單元630將選擇了的對象物區(qū)域的區(qū)域信息發(fā)送到距離獲取單元650、對象物測位單元660、以及信息位置確定單元700。然后，在步驟S1040中，距離獲取單元650基于從自身位置姿態(tài)計(jì)算單元640和影像識別單元630輸入的信息，計(jì)算選擇的對象物的對象物距離。然后，距離獲取單元650將計(jì)算出的對象物距離發(fā)送到對象物測位單元660和信息輸出控制單元690。具體而言，首先，自身位置姿態(tài)計(jì)算單元640生成使用角速度傳感器和GPS傳感器等計(jì)算出的、影像輸入單元300的視點(diǎn)的位置和光軸方向作為位置姿態(tài)信息，并發(fā)送到距離獲取單元650和對象物測位單元660。然后，距離獲取單元650使用激光式的測距傳感器等，基于來自影像識別單元630的區(qū)域信息，分別測量到各個(gè)對象物為止的實(shí)際距離。 然后，距離獲取單元650將測得的實(shí)際距離基于從位置姿態(tài)信息計(jì)算的對象物的方向的仰角，換算成水平距離，作為對象物距離輸出。然后，在步驟S1050中，對象物測位單元660使用位置姿態(tài)信息、從位置姿態(tài)信息計(jì)算的對象物的方向的方位、以及對象物距離，計(jì)算與對象物區(qū)域?qū)?yīng)的對象物的位置。接著，對象物測位單元660將計(jì)算出的對象物的位置的緯度經(jīng)度信息傳送到對象物信息檢索單元680和信息輸出控制單元690。然后，在步驟S1060中，對象物信息檢索單元680將以緯度經(jīng)度信息作為檢索關(guān)鍵詞的檢索查詢發(fā)送到信息服務(wù)器740，獲取對應(yīng)的對象物信息。然后，對象物信息檢索單元 680將獲取了的對象物信息，傳送到信息輸出控制單元690。
然后，在步驟S1070中，信息輸出控制單元690確定作為顯示對象物的對象物(以下稱為“顯示對象物”)。信息輸出控制單元690例如確定與獲取的對象物信息的所有對象物區(qū)域、焦點(diǎn)對準(zhǔn)了的對象物區(qū)域?qū)?yīng)的對象物，或者與包含在其周圍范圍中的對象物區(qū)域?qū)?yīng)的對象物等。另外，例如，在指定了作為顯示的對象物的對象物的屬性(酒店、百貨店等)時(shí)，信息輸出控制單元690也可以將與指定了的屬性對應(yīng)的對象物確定為顯示對象物。然后，在步驟S1080中，信息輸出控制單元690使用上述顯示信息確定規(guī)則，以對象物距離越短，詳細(xì)程度的等級越高的方式確定信息量。這里確定的信息量為提示顯示對象物的對象物信息時(shí)的信息量。然后，信息輸出控制單元690將確定了的顯示對象物、與符合確定了的信息量的對象物信息作為顯示對象物信息，傳送到信息位置確定單元700和對象物重疊單元710。然后，在步驟S1090中，信息位置確定單元700從多個(gè)對象物區(qū)域的配置類型、包含在輸入影像中的直線分量，計(jì)算表示輸入影像的進(jìn)深的線段。然后，在步驟Sl 100中，信息位置確定單元700基于在步驟S1090中計(jì)算出的線段確定顯示布局，將顯示布局信息傳送到對象物重疊單元710。然后，在步驟Sl 110中，對象物重疊單元710生成根據(jù)顯示布局信息配置了顯示對象物信息的信息重疊影像的影像數(shù)據(jù)。然后，在步驟S1120中，影像識別單元630判斷在步驟S1020中作為處理對象選擇了的對象物區(qū)域中，是否剩余未處理的對象物區(qū)域。在剩余未處理的對象物區(qū)域時(shí)(S1120 “是”)，影像識別單元630返回到步驟S1030，選擇未處理的對象物區(qū)域，執(zhí)行步驟S1030 SlllO的處理。在其結(jié)果為存在多個(gè)顯示對象物信息時(shí)，在步驟SlllO中，生成重疊了多個(gè)對象物信息的影像數(shù)據(jù)。另外，在未剩余未處理的對象物區(qū)域時(shí)(S1120:“否”)，影像識別單元630進(jìn)至步驟S1130。在步驟S1130中，對象物重疊單元710將生成了的影像數(shù)據(jù)輸出到影像顯示單元
400，顯示信息重疊影像。然后，在步驟S1140中，信息顯示裝置100判斷是否通過用戶操作等(例如，切換為Photo模式的操作等)指示了停止信息重疊影像的顯示。信息顯示裝置100在未被指示停止信息重疊影像的顯示時(shí)(S1140 “否”)，返回到步驟S1010，在指示了停止信息重疊影像的顯示時(shí)(S1140 “是”)，結(jié)束一系列的處理。圖11是表示一例影像顯示單元400所顯示的信息重疊影像的圖。這里，基于圖7 所示的對象物信息表810和圖8所示的顯示信息規(guī)則820，顯示與圖10所示的輸入影像對應(yīng)地顯示的信息重疊影像。另外，圖10所示的第一對象物832-1 第三對象物832-3是分別與圖7所示的ID “001”、ID “002”、ID “003”相適應(yīng)的對象物。這里，假設(shè)第一對象物832-1 第三對象物832-3各自的對象物距離為150m、 250m、以及350m。在這種情況下，對于第一對象物區(qū)域833-1 第三對象物區(qū)域833-3，分別確定等級3 (話題信息)、等級2 (設(shè)施名稱)、等級1 (表示設(shè)施類別的記號)的對象物信息的等級。然后，對于第一對象物區(qū)域833-1 第三對象物區(qū)域833-3，依序確定ID“001” 的等級3的對象物信息、ID “002”的等級2的對象物信息、以及ID “003”的等級1的對象物信息作為顯示對象物信息。
如圖11所示，在信息重疊影像840中，與第一對象物區(qū)域833-1 第三對象物區(qū)域833-3對應(yīng)的第一對象物信息841-1 第三對象物信息841-3被重疊描繪在輸入影像 830上。另外，第一對象物信息841-1 第三對象物信息841-3配置成沿著表示輸入圖像的進(jìn)深的線段842 (實(shí)際不顯示)，并且不與第一對象物信息841-1 第三對象物信息841-3重疊。另外，越接近輸入圖像830的視點(diǎn)，也就是說越靠近眼前，第一對象物信息 841-1 第三對象物信息841-3的內(nèi)容越詳細(xì)。具體而言，例如，最靠近眼前的第一對象物信息841-1的信息量較多為20字符，遠(yuǎn)方的第三對象物信息841-3的信息量較少為1字符。用戶在移動的同時(shí)進(jìn)行逐次的信息獲取的情況下，通常，先對位于更近的位置的設(shè)施進(jìn)行是否途經(jīng)設(shè)施等的判斷。為此，可以認(rèn)為用戶想詳細(xì)地了解與位于更近的位置的設(shè)施有關(guān)的信息。另外，對于位于較遠(yuǎn)的位置的設(shè)施，顯示某些信息，便于確定要進(jìn)展的方面等。另一方面，若也詳細(xì)地顯示與位于較遠(yuǎn)的位置的設(shè)施有關(guān)的信息，則用戶希望詳細(xì)地了解的信息和輸入圖像不易觀察。因此，根據(jù)圖11所示的信息重疊影像，能夠使用戶易于觀察地顯示用戶想知道的信息，能夠更適當(dāng)?shù)剌o助用戶的移動、行動。再者，當(dāng)輸入影像中映出的對象物的像連續(xù)地移動時(shí)，信息顯示裝置100也可以追隨對象物區(qū)域的圖像，使顯示中的對象物信息在畫面上移動。通過這樣設(shè)計(jì)，信息顯示裝置100能夠省略步驟S1020 S1070的處理，減輕處理負(fù)荷。另外，在對象物是建筑物等的固定物體時(shí)，信息顯示裝置100能夠基于位置姿態(tài)信息的變化，重新計(jì)算表示對象物區(qū)域、對象物距離、進(jìn)深的線段。由此，信息顯示裝置100 能夠簡化步驟S1080 SllOO的處理，減輕處理負(fù)荷。另外，當(dāng)存在多個(gè)對象物區(qū)域時(shí)，信息顯示裝置100也可以將步驟S1030 SlllO 一次性地匯總處理。另外，信息顯示裝置100也可以同時(shí)并行進(jìn)行步驟S1030 S1080的處理和步驟 S1090的處理等的、可同時(shí)并行進(jìn)行的多個(gè)處理。如上所述，本實(shí)施方式的信息顯示裝置100能夠以對應(yīng)于現(xiàn)實(shí)世界影像的視點(diǎn)與對象物之間的距離的信息量，將與對象物有關(guān)的信息重疊顯示在現(xiàn)實(shí)世界影像上。也就是說，本實(shí)施方式的信息顯示裝置100根據(jù)從攜帶信息顯示裝置100的用戶到對象物為止的距離，在改變對象物信息的提示方式的同時(shí)，進(jìn)行與現(xiàn)實(shí)世界影像的重疊顯示。由此，本實(shí)施方式的信息顯示裝置100能進(jìn)行如下的對應(yīng)于進(jìn)深的顯示，即較近的對象物的信息顯示得較多，較遠(yuǎn)的對象物的信息顯示得較少。因此，本實(shí)施方式的信息顯示裝置100能夠進(jìn)行不因顯示信息過多而造成混亂的顯示，能夠易于觀察地顯示用戶想知道的信息。再者，本實(shí)施方式的信息顯示裝置100也可以使用專利文獻(xiàn)1記載的方法等、其他的方式，進(jìn)行緯度經(jīng)度信息的獲取、對象物的確定或者對象物信息的確定。(實(shí)施方式2)本發(fā)明的實(shí)施方式2是使顯示的對象物信息基于用戶操作而改變的例子。照相機(jī)的用戶在關(guān)注到在輸入影像中映出的某個(gè)對象物時(shí)，大多進(jìn)行對該對象物的變焦操作、聚焦操作、光圈操作、以及鎖焦操作等操作。反言之，成為這些操作的對象的對象物，是用戶希望得到更詳細(xì)的信息的對象物的可能性高。于是，本實(shí)施方式的信息顯示裝置使操作單元510的用戶操作反映在輸入的現(xiàn)實(shí)世界影像中(影像的變焦、聚焦等)，并且與該現(xiàn)實(shí)世界影像聯(lián)動地改變對象物信息。首先，說明本實(shí)施方式的信息顯示裝置的結(jié)構(gòu)。圖12是表示本實(shí)施方式的信息顯示裝置的結(jié)構(gòu)的方框圖，與實(shí)施方式1的圖6對應(yīng)。對與圖6相同的部分附加相同的標(biāo)號，并省略對這些部分的說明。在圖12中，在本實(shí)施方式的信息顯示裝置IOOa中，代替圖6的動作控制單元610、 影像識別單元630、信息輸出控制單元690，以及對象物重疊單元710而包括與它們不同的動作控制單元610a、影像識別單元630a、信息輸出控制單元690a、以及對象物重疊單元 710a。動作控制單元610a根據(jù)由模式切換輸入單元520設(shè)定的模式，控制如何使操作輸入單元510的用戶操作反映于顯示在所輸入的現(xiàn)實(shí)世界影像的對象物信息上。具體而言，動作控制單元610在Photo模式時(shí)，使用戶操作反映在輸入影像中，在 Photo+Info模式時(shí)，進(jìn)而使所顯示的對象物信息與輸入影像聯(lián)動地變化。另外，在hfo模式時(shí)，顯示控制單元610僅使用戶操作反映于所顯示的對象物信息中，而不反映于輸入影像(也就是透鏡控制)中。影像識別單元630a識別在輸入影像中映出的對象物，并且選擇位于焦點(diǎn)位置的對象物的對象物區(qū)域、或者包含其周圍的對象物的對象物區(qū)域，輸出對應(yīng)的區(qū)域信息。具體而言，影像識別單元630a選擇位于景深的范圍內(nèi)，對準(zhǔn)了焦點(diǎn)的對象物的對象物區(qū)域。也就是說，影像識別單元630a通過變焦操作、聚焦操作、以及光圈操作，能夠接受用戶對顯示對象物信息的對象物的選擇。信息輸出控制單元690a根據(jù)對象物距離，控制要顯示的對象物信息及其信息量。 另外，信息輸出控制單元690a在進(jìn)行了光圈操作時(shí)，將位于景深的范圍內(nèi)的對象物確定為顯示對象，在進(jìn)行了變焦操作時(shí)，根據(jù)變焦的倍率，控制要顯示的對象物信息。對象物重疊單元710a根據(jù)顯示布局信息配置顯示對象物信息，并且，生成重疊了表示聚焦位置的圖標(biāo)的信息重疊影像的影像數(shù)據(jù)。另外，對象物重疊單元710a在進(jìn)行了鎖焦操作時(shí)，切換顯示中的對象物信息的顯示方式。另外，動作控制單元610a在通過設(shè)置在信息顯示裝置100a的光圈調(diào)節(jié)單元(例如，使用操作輸入單元510的操縱桿511)進(jìn)行了影像輸入單元300的光圈操作時(shí)，檢測該操作，生成表示光圈操作的操作信息。接著，說明信息顯示裝置100a的動作。圖13是表示信息顯示裝置100a的動作的流程圖，與實(shí)施方式1的圖9對應(yīng)。對與圖9相同的部分附加相同的步驟標(biāo)號，省略對這些部分的說明。在輸入現(xiàn)實(shí)世界影像時(shí)(S1010)，在步驟S2010中，動作控制單元610a判斷是否從操作輸入單元510輸入了操作信息。動作控制單元610a在輸入了操作信息時(shí)(S2010: “是”)，進(jìn)至步驟S2020，在未輸入操作信息時(shí)(S2010:“否”)，進(jìn)至圖9的步驟S1020。操作信息例如是表示將操作輸入單元510的操縱桿511向右移動了 30度的信息。在步驟S2020中，動作控制單元610a判斷是否為Wioto+hfo模式或者Photo模式，也就是說，是否為進(jìn)行透鏡控制的模式。動作控制單元610a在為Wioto+hfo模式或者Photo模式時(shí)(S2020 “是”)，進(jìn)至步驟S2030，在為Info模式時(shí)(S2020 “否”)，進(jìn)至步驟 S2040。在步驟S2040中，動作控制單元610a判斷是否為Wioto+hfo模式或者h(yuǎn)fo模式， 也就是說，是否為包含對象物信息顯示的模式。動作控制單元610a在為Wioto+hfo模式或者Info模式時(shí)(S2040 “是”)，進(jìn)至步驟S2050，在為Photo模式時(shí)(S2040 “否”)，進(jìn)至圖9的步驟S1020。在步驟S2050中，動作控制單元610a基于輸入了的操作信息，判斷是否進(jìn)行了聚焦操作。動作控制單元610a在進(jìn)行了聚焦操作時(shí)(S2050 “是”)，進(jìn)至步驟S2060，在未進(jìn)行聚焦操作時(shí)(S2050 “否”)，進(jìn)至步驟S2070。在步驟S2060中，動作控制單元610a使影像識別單元630a獲取表示焦點(diǎn)的合焦距離的合焦距離信息，進(jìn)至步驟S2070。影像識別單元630a例如獲取透鏡的變焦值和聚焦值，通過參照將這些值和合焦距離預(yù)先對應(yīng)關(guān)聯(lián)地進(jìn)行了描述的距離表，獲取合焦位置信肩、ο在步驟S2070中，動作控制單元610a基于輸入了的操作信息，判斷是否進(jìn)行了光圈操作。動作控制單元610a在進(jìn)行了光圈操作時(shí)(S2070 “是”)，進(jìn)至步驟S2080，在未進(jìn)行光圈操作時(shí)(S2070 “否”)，進(jìn)至步驟S2090。在步驟S2080中，動作控制單元610a使信息輸出控制單元690a獲取表示透鏡的景深的景深信息，進(jìn)至步驟S2090。信息輸出單元690a例如獲取透鏡的變焦值、聚焦值、以及光圈值，通過參照將這些值和景深預(yù)先對應(yīng)關(guān)聯(lián)地進(jìn)行了描述的景深表，獲取景深信息。在步驟S2090中，動作控制單元610a基于輸入了的操作信息，判斷是否進(jìn)行了變焦操作。動作控制單元610a在進(jìn)行了變焦操作時(shí)(S2090:“是”)，進(jìn)至步驟S2100，在未進(jìn)行變焦操作時(shí)(S2090 “否”)，進(jìn)至步驟S2110。在步驟S2100中，動作控制單元610a使信息輸出控制單元690a獲取表示變焦倍率的倍率信息，進(jìn)至步驟S2110。信息輸出控制單元690a例如獲取透鏡的變焦值，通過參照將該值和變焦倍率預(yù)先對應(yīng)關(guān)聯(lián)地進(jìn)行了描述的倍率表，以獲取倍率信息。在步驟S2100中，動作控制單元610a基于輸入了的操作信息，判斷是否進(jìn)行了鎖焦操作。動作控制單元610a在進(jìn)行了鎖焦操作時(shí)(S2110:“是”)，進(jìn)至步驟S2120，在未進(jìn)行鎖焦操作時(shí)(S2110 “否”)，進(jìn)至圖9的步驟S1020。在步驟S2120中，動作控制單元610a使對象物重疊單元710a獲取表示作為鎖焦的對象物的合焦對象物信息，進(jìn)至圖9的步驟S1020。對象物重疊單元710a例如基于位于焦點(diǎn)的對象物的區(qū)域信息，獲取合焦對象物信息。然后，信息顯示裝置100a執(zhí)行圖9的步驟S1020 S1140，顯示信息重疊影像。其中，各個(gè)步驟的處理根據(jù)上述步驟S2060、S2080、S2100、S2120的信息獲取，進(jìn)行與實(shí)施方式1不同的內(nèi)容的處理。以下，說明與實(shí)施方式1不同的處理內(nèi)容。在步驟S1030中，影像識別單元630a基于在步驟S2060中獲取了的合焦距離信息，判定以焦點(diǎn)或者焦點(diǎn)周圍的對象物區(qū)域?yàn)榇淼暮蜓a(bǔ)點(diǎn)或者候補(bǔ)區(qū)域。然后，影像識別單元630a使對象物重疊單元710a顯示表示判定了的候補(bǔ)點(diǎn)或候補(bǔ)區(qū)域的標(biāo)記。該標(biāo)記顯示例如影像識別單元630a僅選擇焦點(diǎn)的周圍的對象物區(qū)域，信息位置確定單元700基于區(qū)域信息確定標(biāo)記的位置，對象物重疊單元710a將標(biāo)記重疊在確定了的位置上。
然后，影像識別單元630a從候補(bǔ)點(diǎn)或候補(bǔ)區(qū)域確定可顯示的信息量、提示方式。 例如，影像識別單元630a基于對象物數(shù)量、對象物區(qū)域占所有輸入影像的比率、以及所有輸入影像中的對象物區(qū)域之外的區(qū)域的亮度和顏色的變化的程度等，確定包含可顯示的信息量的提示方式。然后，影像識別單元630a比較對象物數(shù)量和各個(gè)對象物信息的信息量， 選擇候補(bǔ)點(diǎn)或候補(bǔ)區(qū)域，以使提示的信息量不過多。可顯示對象物信息的區(qū)域是對象物區(qū)域之外的區(qū)域、或者對象物區(qū)域之外的區(qū)域除了對象物區(qū)域的一部分的區(qū)域。 再者，影像識別單元630a也可以接受用戶的操作而指定候補(bǔ)點(diǎn)或候補(bǔ)點(diǎn)區(qū)域。此時(shí)，例如，影像顯示單元400兼具有觸摸板式的輸入單元，根據(jù)用戶所觸摸的區(qū)域接受用戶的選擇。另外，影像識別單元630a也可以接受對方向鍵(cross-key)等其他操作單元的用戶操作，進(jìn)行操作的候補(bǔ)點(diǎn)或候補(bǔ)區(qū)域的移動、以及確定是選擇還是非選擇。然后，影像識別單元630a將提取了的對象物區(qū)域的區(qū)域信息傳送到距離獲取單元650、對象物測位單元660、以及信息位置確定單元700，進(jìn)至步驟S1040。在自動地或者通過用戶操作選擇了候補(bǔ)點(diǎn)或候補(bǔ)區(qū)域時(shí)，影像識別單元630a傳送與選擇了的點(diǎn)或區(qū)域?qū)?yīng)的對象物區(qū)域的區(qū)域信息。另外，在步驟S1070中，信息輸出控制單元690a基于在步驟S2080中獲取了的景深信息，將與位于景深的范圍內(nèi)的對象物對應(yīng)的對象物信息確定為顯示對象物信息。其結(jié)果，在Photo+Info模式時(shí)，顯示焦點(diǎn)附近的鮮明地映出了的對象物的對象物
fn息ο另外，在步驟S1080中，信息輸出控制單元690a基于在步驟S2100中獲取了的倍率信息，確定顯示對象物信息，以使變焦的倍率越高，詳細(xì)程度的等級越高。例如，信息輸出控制單元690a根據(jù)變焦的倍率變更詳細(xì)程度的等級，確定顯示對象物信息。具體而言，將顯示信息確定規(guī)則所規(guī)定的詳細(xì)程度的等級，在為較小的變焦放大(zoom up)時(shí)提高一級， 在為較大的變焦放大時(shí)提高兩級。其結(jié)果，在Photo+Info模式時(shí)，對象物信息的詳細(xì)程度和對輸入影像的變焦操作聯(lián)動(同步)地改變，在Info模式時(shí)，僅對象物信息的詳細(xì)程度改變。另外，在步驟SlllO中，對象物重疊單元710a基于在步驟S2120中獲取了的合焦對象物信息，變更顯示中的對象物信息的顯示形態(tài)，將其和輸入影像重疊輸出。例如，對象物重疊單元710a提高顯示中的對象物信息的透過率，使得能夠透過對象物信息觀察輸入圖像。其結(jié)果，在Photo+Info模式時(shí)，對象物信息的顯示形態(tài)和對于輸入影像的鎖焦操作聯(lián)動(同步)地改變。另一方面，在Info模式時(shí)，僅對象物信息的顯示形態(tài)改變。另外，在Photo模式時(shí)，信息輸出控制單元690a的動作被停止，因此，不進(jìn)行對象物信息的顯示。再者，圖13所示的流程圖中，對可同時(shí)并行進(jìn)行的處理也可以同時(shí)并行執(zhí)行，這與圖9的流程圖相同。以下，說明進(jìn)行各種操作時(shí)的顯示影像的變化的例子。圖14是表示一例在Info模式下進(jìn)行了變焦操作時(shí)的、顯示影像的變化的圖，與實(shí)施方式1的圖11對應(yīng)。首先，如圖14A所示，假設(shè)焦點(diǎn)851位于第一對象物區(qū)域833-1，并僅顯示第一對象物信息841-1。在該狀態(tài)下，如圖14B所示，當(dāng)在Info模式下進(jìn)行變焦放大的操作時(shí)，如圖 14C所示，在輸入影像不被變焦放大的狀態(tài)下，第一對象物信息841-1的詳細(xì)程度的等級提高這樣，通過僅可操作對象物信息的詳細(xì)程度，用戶能夠在保持輸入圖像的狀態(tài)的情況下，獲得與所希望的對象物有關(guān)的更詳細(xì)的信息。圖15是表示一例在Photo+Info模式下進(jìn)行了變焦操作時(shí)的、顯示影像的變化的圖，與圖14對應(yīng)。首先，如圖15A所示，假設(shè)焦點(diǎn)851位于第一對象物區(qū)域833_1，僅顯示第一對象物信息841-1。在該狀態(tài)下，如圖15B所示，在Photo+Info模式下進(jìn)行變焦放大操作時(shí)，如圖15C所示，輸入影像被變焦放大。進(jìn)而，如圖15C所示，第一對象物信息841-1的詳細(xì)程度的等級以與輸入影像的變焦放大聯(lián)動的形式提高。這樣，通過與普通的變焦操作聯(lián)動地改變對象物信息的詳細(xì)程度，用戶以對要關(guān)注的對象物的變焦放大操作這種自然的操作，能夠獲得與所希望的對象物有關(guān)的更詳細(xì)的 fn息ο圖16是表示一例在Photo+Info模式下進(jìn)行了光圈操作時(shí)的、顯示影像的變化的圖，與圖11對應(yīng)。首先，如圖16A所示，假設(shè)顯示第一 第三對象物信息841-1 841_3。在該狀態(tài)下，如圖16B所示，假設(shè)在Photo+Info模式下進(jìn)行了打開光圈的操作。于是，如圖16C所示， 例如，在焦點(diǎn)851的附近引導(dǎo)顯示第一候補(bǔ)點(diǎn)852-1和第二候補(bǔ)點(diǎn)852-2。然后，最終的顯示縮小為僅顯示位于通過打開光圈的操作而被收窄的景深的范圍內(nèi)的顯示、即縮小為僅顯示與第二候補(bǔ)點(diǎn)852-2對應(yīng)的對象物信息841-2。這樣，在本實(shí)施方式中，能夠使對象物信息的詳細(xì)程度與普通的光圈操作聯(lián)動 (同步)地改變。由此，用戶通過在限定了關(guān)注的對象物時(shí)打開光圈這種自然的操作，能夠獲得與所希望的對象物有關(guān)的更詳細(xì)的信息。另外，用戶通過調(diào)整光圈，能夠調(diào)整所顯示的對象物信息的數(shù)量。圖17是表示一例在Info模式下進(jìn)行了鎖焦操作時(shí)的、顯示影像的變化的圖，與圖 15對應(yīng)。首先，圖17A所示的例子假設(shè)僅顯示第一對象物信息841-1。在該狀態(tài)下，如圖17B 所示，在Info模式下進(jìn)行鎖焦的操作時(shí)，如圖17C所示，第一對象物信息841-1為透過率 50%。這樣，在本實(shí)施方式中，能夠使對象物信息的顯示形態(tài)和普通的鎖焦操作聯(lián)動地改變。由此，用戶能夠更準(zhǔn)確地知道對該對象物進(jìn)行了鎖焦。另外，在透過的情況下，用戶能夠確認(rèn)對象物信息，同時(shí)識別輸入圖像的整體。這樣，在本實(shí)施方式的信息顯示裝置100a中，用戶能夠簡單地選擇作為顯示對象的對象物信息、所顯示的對象物信息的詳細(xì)程度。另外，在本實(shí)施方式的信息顯示裝置100a 中，用戶能夠任意地選擇是使所顯示的對象物信息和對于輸入影像的操作、也就是普通的照相機(jī)操作聯(lián)動地改變；還是使其能獨(dú)立地操作。因此，本實(shí)施方式的信息顯示裝置100a 能夠在現(xiàn)實(shí)世界影像的對象物信息中，更進(jìn)一步易于觀察、并且更進(jìn)一步準(zhǔn)確地顯示用戶想知道的信息。另外，本實(shí)施方式的信息顯示裝置100a能夠簡單地顯示關(guān)于所希望的多個(gè)對象的對象物信息。也就是說，本實(shí)施方式的信息顯示裝置IOOa能夠?qū)崿F(xiàn)對于用戶想知道的對象和用戶要求的信息量的直觀的控制，能夠以適當(dāng)?shù)男畔⒘恐惶峁┯脩敉ㄟ^簡單的操作想看的信息。再者，本實(shí)施方式的信息顯示裝置IOOa的操作輸入單元510的具體的操作內(nèi)容， 與調(diào)焦等的內(nèi)部的調(diào)整內(nèi)容的對應(yīng)關(guān)系并無特殊的限制。另外，對象物信息的詳細(xì)程度也可以使其可連續(xù)地改變。尤其是在操作輸入單元510能任意地設(shè)定時(shí)間長度、旋轉(zhuǎn)角度等連續(xù)的變量的情況下，信息顯示裝置IOOa也可以使對象物信息的詳細(xì)程度與所設(shè)定的變量聯(lián)動而連續(xù)地改變并顯示。通常，變焦操作能夠連續(xù)地改變變焦率。因此，可認(rèn)為信息顯示裝置IOOa使對象物信息的詳細(xì)程度與變焦率聯(lián)動地改變。另外，在本實(shí)施方式的信息顯示裝置IOOa中，設(shè)定為操作輸入單元510的操縱桿 511向右轉(zhuǎn)時(shí)使對象物信息更詳細(xì)，但本發(fā)明并不限于此。例如，本實(shí)施方式的信息顯示裝置IOOa既可以是在操縱桿向左撥時(shí)設(shè)定更粗略的詳細(xì)程度，向右轉(zhuǎn)時(shí)以更細(xì)的間隔設(shè)定詳細(xì)程度，也可以使其具有與此左右相反的功能。另外，操作輸入單元510的形態(tài)并不限于上述內(nèi)容，只要是能調(diào)整變焦的倍率等的形態(tài)即可。具體而言，操作輸入單元510的形態(tài)例如也可以是使用影像輸入單元300的透鏡的光圈環(huán)等的形態(tài)、使用方向鍵等的形態(tài)等，能夠進(jìn)行與變焦操作獨(dú)立的操作的形態(tài)。 用戶例如能夠觀察影像顯示單元400所顯示的光圈值，同時(shí)操作方向鍵等。另外，模式切換輸入單元520的形態(tài)并不限于上述內(nèi)容，既可以使用“Info、 Vide0+Inf0、Vide0”、“導(dǎo)航、移動、照相機(jī)”等其他標(biāo)記，也可以采用刻度盤(dial)方式。
另外，進(jìn)行了鎖焦操作時(shí)的對象物信息的顯示形態(tài)的變化，并不限于上述內(nèi)容。例如，顯示形態(tài)的變化也可以是變更到任意的透過率，或信息的突出顯示等。突出顯示例如包括字符的顏色、濃淡、亮度、粗細(xì)、以及字體的變化；字符的閃爍；圍繞字符的框線的顯示； 突出對象物信息顯示區(qū)域的邊緣；以及變更背景的顏色和亮度。另外，信息顯示裝置IOOa也可以根據(jù)作為顯示對象的對象物的數(shù)量，改變對象物信息的詳細(xì)程度的等級。具體而言，例如，在作為顯示對象的對象物的數(shù)量少時(shí)，信息顯示裝置IOOa將對象物信息的詳細(xì)程度的等級提高到高于顯示信息確定規(guī)則規(guī)定的等級。另外，信息顯示裝置IOOa也可以根據(jù)快門速度控制對象物信息的有效時(shí)間段。具體而言，例如，信息顯示裝置IOOa通過選擇快的快門速度，提示與當(dāng)前時(shí)刻或指定的時(shí)刻的前后或者之前或者之后的時(shí)間段較窄的時(shí)間內(nèi)進(jìn)行了關(guān)聯(lián)對應(yīng)的信息?；蛘撸畔@示裝置IOOa通過選擇慢的快門速度，連續(xù)地控制是否提示與當(dāng)前時(shí)刻或指定的時(shí)刻的前后或者之前或者之后的時(shí)間段較寬的時(shí)間內(nèi)進(jìn)行了關(guān)聯(lián)對應(yīng)的信息。另外，信息顯示裝置IOOa也可以對應(yīng)于其他的照相機(jī)操作和照相機(jī)設(shè)定(例如曝光補(bǔ)償(感光度調(diào)整)的程度)，改變對象物信息的詳細(xì)程度、顯示形態(tài)。具體而言，例如， 信息顯示裝置IOOa控制是提示從視點(diǎn)能觀察的范圍的設(shè)施的信息，還是連包含從視點(diǎn)無法觀察的建筑物的背面的設(shè)施的信息都進(jìn)行提示。另外，信息顯示裝置IOOa也可以能夠通過與照相機(jī)的攝影菜單同樣的、刻度盤方式或者同等的菜單，選擇餐廳信息、娛樂信息等作為顯示的對象的對象物信息的類型。另外，信息顯示裝置IOOa也可以能夠改變指針對準(zhǔn)的對象物區(qū)域、對象物信息的顏色。進(jìn)而，信息顯示裝置IOOa也可以具有對象物信息的檢索接口，將檢索結(jié)果的對象物信息，改變其顏色、或者使其閃爍、或者以箭頭標(biāo)記等的指針進(jìn)行指示，同時(shí)將其重疊在影像上顯 示。(實(shí)施方式3)本發(fā)明的實(shí)施方式3是將信息重疊影像記錄到可裝拆的存儲介質(zhì)的例子。記錄信息重疊影像，只要將生成了的信息重疊影像能夠隨后在其他場所使用，則易于將設(shè)施的場所、評價(jià)等的信息傳遞給第三者，便于使用。因此，在本實(shí)施方式中，不只是顯示所生成的信息重疊影像，還將所生成的信息重疊影像記錄到可裝拆的存儲介質(zhì)中。圖18是表示本實(shí)施方式的信息顯示裝置的結(jié)構(gòu)的方框圖，與實(shí)施方式1的圖6對應(yīng)。對與圖6相同的部分附加相同的標(biāo)號，省略對其的說明。在圖18中，本實(shí)施方式的信息顯示裝置IOOb包括存儲介質(zhì)750b、以及記錄/讀出單元760b。存儲介質(zhì)750b與記錄/讀出單元760b連接。記錄/讀出單元760b配置在對象物重疊單元710與影像顯示單元400之間。存儲介質(zhì)750b是可裝拆的記錄介質(zhì)，例如是SD存儲卡。記錄/讀出單元760b在為信息重疊影像記錄模式時(shí)，將信息重疊影像的影像數(shù)據(jù)傳輸?shù)接跋耧@示單元400，同時(shí)將其記錄到記錄介質(zhì)750b。另外，記錄/讀出單元760b在為信息重疊影像再現(xiàn)模式時(shí)，從記錄介質(zhì)750b讀出記錄介質(zhì)750b所記錄的信息重疊影像的影像數(shù)據(jù)，傳送到影像顯示單元400。信息重疊影像記錄模式和信息重疊影像再現(xiàn)模式的設(shè)定，例如只需通過操作輸入單元510和動作控制單元610進(jìn)行即可。另外，信息重疊影像的影像數(shù)據(jù)，既可以是合并了輸入影像與對象物信息的圖像的影像數(shù)據(jù)，或者也可以是以可再現(xiàn)信息重疊影像的狀態(tài)分離為輸入影像的數(shù)據(jù)和有關(guān)對象物信息的數(shù)據(jù)的數(shù)據(jù)。例如，有關(guān)對象物信息的數(shù)據(jù)，是關(guān)聯(lián)對應(yīng)于影像數(shù)據(jù)重疊時(shí)的、表示影像內(nèi)的空間位置的坐標(biāo)(顯示布局信息)和表示影像的時(shí)間位置的時(shí)間碼，記錄了對象物信息的數(shù)據(jù)。這種信息顯示裝置同時(shí)記錄所拍攝的現(xiàn)實(shí)世界影像、和拍攝時(shí)的對象物信息，另夕卜，能夠通過其他的信息顯示裝置等讀出并顯示記錄了的這些信息。再者，作為記錄介質(zhì)，能夠適用光盤、半導(dǎo)體存儲器、⑶(compact disc，光盤)、 DVD (digital versatile disk，數(shù)字多用途光盤)、以及BD (blu-ray disk，藍(lán)光光盤)等存儲設(shè)備、硬盤、網(wǎng)絡(luò)上的任意的存儲器、以及光存儲器等新型存儲器等各種存儲介質(zhì)。(實(shí)施方式4)本發(fā)明的實(shí)施方式4是使用觸摸板接受用戶操作的例子。在通過顯示器而不是取景器確認(rèn)輸入影像的同時(shí)進(jìn)行攝影的用戶也很多。對這樣的用戶而言，當(dāng)關(guān)注到輸入影像中映出的對象物時(shí)，若能夠直接指定顯示器上的對象物進(jìn)行對于該對象物的聚焦操作和鎖焦操作等，則使用方便性會更佳。因此，本實(shí)施方式的信息顯示裝置安裝以觸摸板構(gòu)成的操作輸入單元，實(shí)現(xiàn)上述操作。首先，說明本實(shí)施方式的信息顯示裝置的結(jié)構(gòu)。圖19是表示本實(shí)施方式的信息顯示裝置的結(jié)構(gòu)的方框圖，與實(shí)施方式2的圖12 對應(yīng)。對與圖12相同的部分附加相同的標(biāo)號，并省略對其的說明。在圖19中，在本實(shí)施方式的信息顯示裝置IOOc中，代替圖12的影像顯示單元400 而具有影像顯示/操作輸入單元400c。
影像顯示/操作輸入單元400c具有與液晶顯示器(相當(dāng)于實(shí)施方式2的影像顯示單元400) —體型的觸摸板(未圖示)。影像顯示/操作輸入單元400c通過用戶的觸摸操作，至少接受將焦點(diǎn)設(shè)定在畫面上的任意的位置的聚焦操作、以及保持現(xiàn)狀的焦點(diǎn)距離的鎖焦操作。然后，影像顯示/操作輸入單元400c將表示接受了的觸摸操作的內(nèi)容的操作信息輸出到動作控制單元610a。更具體而言，在進(jìn)行了指定焦點(diǎn)的操作時(shí)，影像顯示/操作輸入單元400c將指示使透鏡合焦在該被指定了的位置的操作信息，輸出到動作控制單元610a。 另外，在進(jìn)行了鎖焦操作時(shí)，影像顯示/操作輸入單元400c將表示進(jìn)行了鎖焦操作的操作信息，輸出到動作控制單元610a。接著，說明信息顯示裝置IOOc的動作。 用戶例如用指尖觸摸到觸摸板的、想要確認(rèn)對象物信息的對象物的影像的附近。 于是，影像顯示/操作輸入單元400c將指定被觸摸了的部位的位置作為焦點(diǎn)的操作信息輸出到動作控制單元610a(圖13的步驟S2010 “是”)。之后的動作與實(shí)施方式2相同。也就是說，影像識別單元630a識別在輸入影像中映出的對象物。然后，影像識別單元630a選擇位于焦點(diǎn)位置的對象物的對象物區(qū)域、或者包含其周圍的對象物的對象物區(qū)域，并輸出對應(yīng)的區(qū)域信息。其結(jié)果，由影像顯示/操作輸入單元400c顯示聚焦在用戶用指尖觸摸了的部位的附近的影像、以及其附近的對象物的對象物信息。這樣，信息顯示裝置IOOc能夠通過觸摸操作，接受用戶對于顯示對象物信息的對象物的選擇。圖20是表示一例在Photo+Info模式下進(jìn)行了觸摸操作時(shí)的、顯示影像的變化的圖，與圖16對應(yīng)。首先，如圖20A所示，假設(shè)存在第一對象物區(qū)域833-1 第三對象物區(qū)域833_3。在該狀態(tài)下，如圖20B和圖20C所示，在Photo+Info模式下，用手指861對影像顯示/操作輸入單元400c進(jìn)行觸摸操作，在第一對象物區(qū)域833-1中指定了焦點(diǎn)的位置。于是，如圖20C 所示，例如，被指定了的位置862成為焦點(diǎn)并被引導(dǎo)顯示，同時(shí)顯示第一對象物信息841-1。這樣，本實(shí)施方式的信息顯示裝置100c通過對顯示器的直接的指定操作，接受對于對象物的聚焦操作和鎖焦操作等。由此，用戶通過在顯示畫面上觸摸要關(guān)注的對象物這種自然的操作，能夠獲得與所希望的對象物有關(guān)的更詳細(xì)的信息。再者，在不使觸摸板操作反映在輸入的現(xiàn)實(shí)世界影像中時(shí)，信息顯示裝置100c也可以將觸摸板操作的操作信息輸入到影像識別單元630。在這種情況下，例如，影像識別單元630只需提取被觸摸了的位置的對象物區(qū)域，僅將提取了的對象物區(qū)域選擇為處理對象即可。另外，即使在沒有大樓等明確的對象物的狀況下，影像識別單元630也可以將影像整體或者影像的一部分作為對象物區(qū)域進(jìn)行同樣的處理。例如，在拍攝了大海和天空的影像或者僅拍攝了天空的影像中，也可以將天空的部分作為對象物，將與空間坐標(biāo)進(jìn)行了關(guān)聯(lián)對應(yīng)的信息顯示為對象物信息。(實(shí)施方式5)本發(fā)明的實(shí)施方式5是使用觸摸板接受更詳細(xì)的用戶操作的例子。
有時(shí)與顯示器上的同一位置或者較窄的范圍對應(yīng)地注冊了較多的對象物信息。因此，本實(shí)施方式的信息顯示裝置通過在觸摸板上，從用戶接受顯示對象物的條件的提煉操作，進(jìn)行顯示對象物信息的提煉。首先，說明本實(shí)施方式的信息顯示裝置的結(jié)構(gòu)。圖21是表示本實(shí)施方式的信息顯示裝置的結(jié)構(gòu)的方框圖，與實(shí)施方式4的圖19 對應(yīng)。對與圖19相同的部分附加相同的標(biāo)號，并省略對這些部分的說明。
在圖21中，在本實(shí)施方式的信息顯示裝置IOOd中，代替圖19的影像顯示/操作輸入單元400c、信息輸出控制單元690a而具有與它們不同的影像顯示/操作輸入單元400d、 信息輸出控制單元690d。影像顯示/操作輸入單元400d接受指定顯示對象的條件的條件指定操作。這里， 條件指定操作至少包括指定對象物距離的操作、以及指定對象物信息的有效時(shí)間的操作。 所謂對象物信息的有效時(shí)間(以下，簡稱為“有效時(shí)間”)是代表對象物信息為有效的期間的日期時(shí)刻。在進(jìn)行了條件指定操作時(shí)，影像顯示/操作輸入單元400d將表示條件指定操作的內(nèi)容的操作信息輸出到信息輸出控制單元690d。在后面敘述關(guān)于條件指定操作的接受的詳情。信息輸出控制單元690d根據(jù)從影像顯示/操作輸入單元400d輸入的操作信息表示的條件指定操作，控制要顯示的對象物信息。更具體而言，在進(jìn)行了指定對象物距離的操作時(shí)，信息輸出控制單元690d將與指定了的對象物距離符合的對象物的對象物信息確定為顯示對象物信息。另外，在進(jìn)行了指定有效時(shí)間的操作時(shí)，信息輸出控制單元690d將與指定了的有效時(shí)間符合的對象物信息確定為顯示對象物信息。另外，在本實(shí)施方式中，假設(shè)在對象物信息數(shù)據(jù)庫730中存儲有與實(shí)施方式1 實(shí)施方式4不同的內(nèi)容的對象物信息表。圖22是表示一例本實(shí)施方式的對象物信息表的內(nèi)容的圖。如圖22所示，對象物信息表810d不僅與對象物的ID811和對象物的位置812對應(yīng)關(guān)聯(lián)，而且與有效時(shí)間817d也對應(yīng)關(guān)聯(lián)地描述了對象物信息813 816。另外，在這里， 對象物信息813 816的屬性與實(shí)施方式1 實(shí)施方式4不同。等級1的對象物信息813是與設(shè)施有關(guān)的普通使用者的投稿(口碑信息)的標(biāo)簽信息。等級2的對象物信息814是口碑信息的詳細(xì)信息。等級3的對象物信息815是與設(shè)施有關(guān)的評語、話題信息。另外，等級4的對象物信息816是表示關(guān)于設(shè)施進(jìn)一步參照外部的信息的參照源的URL (uniform resource locator，統(tǒng)一資源定位器)等的參照信息。也就是說，在等級1的對象物信息813 等級4的對象物信息816中，對于等級的數(shù)量、各個(gè)等級記載的信息能夠自由地設(shè)定信息的粒度。例如，“因代替輸送而滯留”作為口碑信息的標(biāo)簽，與“緯度xxl，經(jīng)度yy2”這一位置、和“2009/11/4、8:30”這一有效時(shí)間的組合對應(yīng)關(guān)聯(lián)。例如“舉辦現(xiàn)場直播”作為口碑信息的標(biāo)簽，與“緯度xxl，經(jīng)度yy2”這一位置、和“2009/11/4，20:30”這一有效時(shí)間的組合對應(yīng)關(guān)聯(lián)。也就是說，即使是同一對象物，在有效時(shí)間不同時(shí)，與不同的對象物信息對應(yīng)關(guān)聯(lián)。接著，說明信息顯示裝置IOOd的動作。用戶例如通過觸摸到觸摸板的、后述的指示符，進(jìn)行條件指定操作。于是，影像顯示/操作輸入單元400d將表示條件指定操作的內(nèi)容(對象物距離、有效時(shí)間)的操作信息輸出到信息輸出控制單元690d。在輸入了指定對象物距離的條件指定操作的操作信息時(shí)，信息輸出控制單元690d 將與指定了的對象物距離符合的對象物信息確定為顯示對象物信息。另外，在輸入了指定有效時(shí)間的條件指定操作的操作信息時(shí)，信息輸出控制單元690d將與指定了的有效時(shí)間符合的對象物信息確定為顯示對象物信息。

確定了顯示對象物后的動作與實(shí)施方式4相同。其結(jié)果，影像顯示/操作輸入單元400d所顯示的對象物信息縮小為與用戶指定了的條件(對象物距離、有效時(shí)間)符合的對象物信息。再者，也可以由對象物信息檢索單元680進(jìn)行對象物信息的提煉。在這種情況下， 對象物信息檢索單元680輸入表示條件指定操作的內(nèi)容的操作信息，進(jìn)行以下的動作。在輸入了指定對象物距離的條件指定操作的操作信息時(shí)，對象物信息檢索單元 680例如計(jì)算以自身位置為中心并以所指定的對象物距離為半徑的范圍作為緯度經(jīng)度信息。然后，對象物信息檢索單元680將緯度經(jīng)度信息作為搜索關(guān)鍵詞，與實(shí)施方式2同樣地， 檢索對象物信息。具體而言，對象物信息檢索單元680通過終端通信單元670，將緯度經(jīng)度范圍信息作為對于對象物信息數(shù)據(jù)庫730d的檢索查詢，發(fā)送到信息服務(wù)器740。然后，對象物信息檢索單元680將從信息服務(wù)器740回送了的對象物信息，輸出到信息輸出控制單元690。對象物信息檢索單元680對于有效時(shí)間也同樣地輸出到信息輸出控制單元690。以下，說明進(jìn)行各種操作時(shí)的顯示影像的變化的例子。圖23是表示在Photo+Info模式下進(jìn)行了觸摸操作時(shí)的、顯示影像的變化的一個(gè)例子的圖，與圖16對應(yīng)。對與圖16相同的部分附加相同的標(biāo)號，并省略有關(guān)這些部分的說明。 如圖23所示，影像顯示/操作輸入單元400d顯示的信息重疊影像840d具有距離指示符871和有效時(shí)間指示符872。距離指示符通過距離標(biāo)記873顯示目前被聚焦的各個(gè)對象物區(qū)域的對象物距離。有效時(shí)間指示符872通過時(shí)間標(biāo)記874顯示目前被聚焦的對象物區(qū)域的對象物信息的有效時(shí)間。這里，所謂被聚焦的對象物區(qū)域是指焦點(diǎn)或者焦點(diǎn)的周圍的對象物區(qū)域。影像顯示/操作輸入單元400d為了顯示距離標(biāo)記873和時(shí)間標(biāo)記874，從信息輸出控制單元690d預(yù)先獲取被聚焦的各個(gè)對象物區(qū)域的對象物信息。這里，假設(shè)第一對象物區(qū)域833-1和第二對象物區(qū)域833_2是被聚焦的對象物區(qū)域。此時(shí)，距離指示符871顯示分別與第一對象物區(qū)域833-1和第二對象物區(qū)域833-2 對應(yīng)的、表示150m的第一距離標(biāo)記873-1、表示250m的第二距離標(biāo)記873-2。另外，有效時(shí)間指示符872顯示與第一對象物區(qū)域833-1和第二對象物區(qū)域833-2 對應(yīng)地存在的各個(gè)對象物信息的、表示有效時(shí)間第一時(shí)間標(biāo)記874-1和第二時(shí)間標(biāo)記 874-2。影像顯示/操作輸入單元400d以默認(rèn)方式成為各選擇了一個(gè)任意的距離標(biāo)記873和時(shí)間標(biāo)記874的狀態(tài)。這里，假設(shè)顯示對象物信息的等級為等級1，默認(rèn)選擇了第一距離標(biāo)記873-1。另外，假設(shè)與第一對象物區(qū)域833-1對應(yīng)的第一時(shí)間標(biāo)記873-1和第二時(shí)間標(biāo)記873-2分別表示“8:30”、“20:30”，以默認(rèn)方式選擇第一時(shí)間標(biāo)記873-1。

此時(shí)，如圖23A所示，顯示的對象物信息縮小為作為第一對象物區(qū)域833-1的對象物信息中，與有效時(shí)間“8 30”對應(yīng)的信息的“因代替輸送而滯留”。假設(shè)在該狀態(tài)下，如圖23B和圖23C所示，通過手指861觸摸了第二時(shí)間標(biāo)記 873-2。于是，如圖23C所示，顯示的對象物信息變更為作為與有效時(shí)間“20:30”對應(yīng)的信息的“舉辦現(xiàn)場直播”。再者，優(yōu)選信息重疊影像840d顯示目前正在顯示與哪個(gè)對象物距離和有效時(shí)間對應(yīng)的對象物信息。這里，表示通過距離指示符871和有效時(shí)間指示符872的顏色進(jìn)行該顯示的例子，但也可以使用距離標(biāo)記873和時(shí)間標(biāo)記874的顏色變化、閃爍等。這樣，本實(shí)施方式的信息顯示裝置能夠通過顯示器的觸摸操作進(jìn)行所顯示的對象物信息的提煉。另外，本實(shí)施方式的信息顯示裝置，能夠通過從顯示器所顯示的對象物距離和有效時(shí)間中選擇來進(jìn)行提煉的條件的指定。因此，即使在同一對象物被賦予多個(gè)對象物信息的情況、畫面中的同一坐標(biāo)或較窄的范圍被賦予多個(gè)對象物信息的情況下，本實(shí)施方式的信息顯示裝置也易于進(jìn)行閱覽。 并且，即使在畫面上對象物未映出的情況下，本實(shí)施方式的信息顯示裝置也能對焦點(diǎn)位置周圍的任意的對象的對象物信息進(jìn)行檢索、選擇、以及閱覽。也就是說，用戶通過在顯示畫面上觸摸要關(guān)注的對象物這種自然的操作，能夠獲得與所希望的對象物有關(guān)的更詳細(xì)的信肩、ο再者，可指定的條件并不限于對象物距離和有效時(shí)間，可以采用與對象物信息表中包含的信息有關(guān)的各種條件。例如，可指定的條件也可以采用對象物信息的注冊時(shí)間和設(shè)定時(shí)間等。再者，在以上說明的各個(gè)實(shí)施方式中，說明了從預(yù)先確定了的信息服務(wù)器獲取對象物信息，也可以使用搜索引擎在通信網(wǎng)上檢索適當(dāng)?shù)膶ο笪镄畔ⅰＡ硗?，在各個(gè)實(shí)施方式中，雖然說明了將對象物信息數(shù)據(jù)庫配置在外部裝置，經(jīng)由通信網(wǎng)獲取對象物信息，也可以采用信息顯示裝置預(yù)先具有對象物數(shù)據(jù)庫的結(jié)構(gòu)。另外， 信息顯示裝置也可以僅在未保持所需的對象物信息的情況下，從外部裝置獲取該對象物信肩、ο另外，采用信息顯示裝置也可以采用將一次獲取了的對象物信息存儲在緩存器中，不再次從外部獲取的結(jié)構(gòu)。也可以不預(yù)先對每個(gè)詳細(xì)程度的等級準(zhǔn)備對象物信息，而是信息顯示裝置使用文章概括功能等，編輯對象物信息以使其符合所指定的詳細(xì)程度的等級。另外，根據(jù)不同的用途，也可以設(shè)計(jì)成對象物距離越遠(yuǎn)為越詳細(xì)的信息，或者聚焦位置越近為越詳細(xì)的信息。另外，在后者的情況下，相對于從聚焦位置起算的距離既可以使信息的簡化(詳細(xì)化)的比率對稱，也可以使其非對稱。具體而言，例如，根據(jù)景深，對于比聚焦位置更靠近眼前的對象物減小簡化(詳細(xì)化)的比率，對于比聚焦位置處于更深位置的對象物擴(kuò)大簡化(詳細(xì)化)的比率。2008年12月25日提交的特愿第2008-331451號的日本專利申請所包含的說明書、附圖以及說明書摘要的公開內(nèi)容被全部引用在本申請。工業(yè)實(shí)用性本發(fā)明的信息顯示裝置和信息顯示方法，作為能夠易于觀察地顯示與在現(xiàn)實(shí)世界影像中映出的對象物有關(guān)的信息中用戶想知道的信息的信息顯示裝置和信息顯示方法是有用的。具體而言，本發(fā)明作為進(jìn)行現(xiàn)實(shí)世界影像和信息的重疊顯示的增強(qiáng)現(xiàn)實(shí)感系統(tǒng)是有用的，例如能夠應(yīng)用于訓(xùn)練、教育、宇宙開發(fā)、穿戴式(Wearable)系統(tǒng)、娛樂系統(tǒng)等用途。 另外，本發(fā)明作為用戶對希望想要得到的信息的對象及其信息量進(jìn)行直觀的控制的現(xiàn)實(shí)世界信息檢索系統(tǒng)是有用的，例如能夠應(yīng)用于數(shù)字靜像照相機(jī)、數(shù)字?jǐn)z像機(jī)、汽車導(dǎo)航系統(tǒng)、 用于移動電話的導(dǎo)航系統(tǒng)、計(jì)測測量系統(tǒng)等用途。
權(quán)利要求
1.信息顯示裝置，包括影像輸入單元，其輸入現(xiàn)實(shí)世界影像；距離獲取單元，其獲取在輸入的所述現(xiàn)實(shí)世界影像中映出的對象物和所述現(xiàn)實(shí)世界影像的視點(diǎn)之間的距離；對象物重疊單元，其輸出重疊了有關(guān)所述對象物的信息和所述現(xiàn)實(shí)世界影像的影像；以及信息輸出控制單元，其控制所述對象物重疊單元輸出的所述信息， 所述信息輸出控制單元根據(jù)獲取了的所述距離，確定所述對象物重疊單元輸出的所述信息的提示方式。
2.如權(quán)利要求1所述的信息顯示裝置，所述距離越短，所述信息輸出控制單元對于所述對象物重疊單元輸出的所述信息，確定越多的信息量和越突出的提示形態(tài)中的至少一者。
3.如權(quán)利要求1所述的信息顯示裝置，還包括自身位置姿態(tài)獲取單元，其獲取所述現(xiàn)實(shí)世界影像的視點(diǎn)的位置；以及對象物測位單元，其獲取在輸入的所述現(xiàn)實(shí)世界影像中映出的對象物在現(xiàn)實(shí)世界中的位置，所述對象物測位單元基于獲取了的所述視點(diǎn)的位置、以所述視點(diǎn)為基準(zhǔn)的對象物的距離、方位以及仰角，獲取所述對象物的位置。
4.如權(quán)利要求3所述的信息顯示裝置，還包括影像識別單元，其從輸入的所述現(xiàn)實(shí)世界影像識別在所述現(xiàn)實(shí)世界影像中映出的對象物，所述信息輸出控制單元在與識別了的所述對象物有關(guān)的信息中，使所述對象物重疊單元輸出與確定了的所述信息的提示方式對應(yīng)的信息。
5.如權(quán)利要求3所述的信息顯示裝置，所述對象物測位單元基于識別了的所述對象物在所述現(xiàn)實(shí)世界影像上的區(qū)域、所述現(xiàn)實(shí)世界影像的視點(diǎn)以及視野，獲取所述對象物的位置。
6.如權(quán)利要求2所述的信息顯示裝置，還包括 透鏡控制單元，其改變所述影像輸入單元輸入的所述現(xiàn)實(shí)世界影像的變焦的倍率， 所述現(xiàn)實(shí)世界影像的變焦的倍率越大，所述信息輸出控制單元確定越多的信息量。
7.如權(quán)利要求2所述的信息顯示裝置，作為信息顯示的對象的對象物的數(shù)量越少，所述信息輸出控制單元對于每個(gè)對象物的所述信息確定越多的信息量。
8.如權(quán)利要求1所述的信息顯示裝置，所述信息輸出控制單元從在輸入的所述現(xiàn)實(shí)世界影像中映出的對象物中，確定作為信息顯示的對象的對象物。
9.如權(quán)利要求8所述的信息顯示裝置，所述信息輸出控制單元在規(guī)定的對象物數(shù)量的范圍內(nèi)，確定作為信息顯示的對象的對象物。
10.如權(quán)利要求8所述的信息顯示裝置，還包括透鏡控制單元，其改變所述影像輸入單元輸入的所述現(xiàn)實(shí)世界影像的合焦位置， 所述信息輸出控制單元將接近所述合焦位置的對象物確定為信息顯示的對象。
11.如權(quán)利要求10所述的信息顯示裝置，所述透鏡控制單元接受規(guī)定的操作并固定所述合焦位置，所述對象物重疊單元改變在所述合焦位置被固定了時(shí)提示的信息的提示方式。
12.如權(quán)利要求8所述的信息顯示裝置，還包括透鏡控制單元，其改變所述影像輸入單元輸入的所述現(xiàn)實(shí)世界影像的景深，所述信息輸出控制單元將位于所述景深的范圍內(nèi)的對象物確定為信息顯示的對象。
13.如權(quán)利要求3所述的信息顯示裝置，所述對象物重疊單元在識別了的所述對象物的所述現(xiàn)實(shí)世界影像上的區(qū)域?qū)?yīng)關(guān)聯(lián)地顯示與該對象物有關(guān)的信息。
14.如權(quán)利要求4所述的信息顯示裝置，還包括信息位置確定單元，在顯示多個(gè)對象物的信息時(shí)，在與所述多個(gè)對象物的現(xiàn)實(shí)世界的配置關(guān)系對應(yīng)的位置上，確定所述多個(gè)對象物的信息的顯示位置。
15.如權(quán)利要求14所述的信息顯示裝置，所述信息位置確定單元檢測輸入的所述現(xiàn)實(shí)世界影像的進(jìn)深方向，確定所述多個(gè)對象物的信息的顯示位置，以在顯示多個(gè)對象物的信息時(shí)與所述進(jìn)深方向一致。
16.如權(quán)利要求1所述的信息顯示裝置，還包括操作輸入單元，其接受用戶操作；以及動作控制單元，其切換并設(shè)定下列模式使所述用戶操作反映在輸入的所述現(xiàn)實(shí)世界影像中的模式；使所述用戶操作反映在提示的所述對象物的信息中的模式；以及使所述用戶操作反映在輸入的所述現(xiàn)實(shí)世界影像中并且與輸入的所述現(xiàn)實(shí)世界影像聯(lián)動地改變所述對象物的信息的模式。
17.如權(quán)利要求1所述的信息顯示裝置，還包括操作輸入單元，其通過對由所述對象物重疊單元顯示的所述現(xiàn)實(shí)世界影像的觸摸板操作，接受用戶操作。
18.信息顯示方法，其包括以下步驟輸入現(xiàn)實(shí)世界影像；獲取在輸入的所述現(xiàn)實(shí)世界影像中映出的對象物和所述現(xiàn)實(shí)世界影像的視點(diǎn)之間的距離；根據(jù)獲取了的所述距離，確定與所述對象物有關(guān)的信息的提示方式；以及重疊并輸出所述信息與所述現(xiàn)實(shí)世界影像，以使其以確定了的提示方式被提示。
全文摘要
公開了能夠易于觀察地顯示有關(guān)在現(xiàn)實(shí)世界影像中映出的對象物的信息中用戶想知道的信息的信息顯示裝置。該信息顯示裝置(100)包括輸入現(xiàn)實(shí)世界影像的影像輸入單元(300)；獲取在輸入的現(xiàn)實(shí)世界影像中映出的對象物和現(xiàn)實(shí)世界影像的視點(diǎn)之間的距離的距離獲取單元(650)；輸出重疊了有關(guān)對象物的信息與現(xiàn)實(shí)世界影像的影像的對象物重疊單元(710)；以及控制對象物重疊單元(710)輸出的信息的信息輸出控制單元(690)，信息輸出控制單元(690)根據(jù)獲取了的距離，確定對象物重疊單元(710)輸出的信息的提示方式。
文檔編號H04N5/225GK102246121SQ20098015001
公開日2011年11月16日 申請日期2009年12月22日 優(yōu)先權(quán)日2008年12月25日
發(fā)明者上田純子, 江村恒一, 稻富康朗, 金原壽樹 申請人:松下電器產(chǎn)業(yè)株式會社