專利名稱：圖像顯示裝置、移動終端和圖像顯示方法
技術領域：
本發(fā)明涉及圖像顯示裝置、移動終端和圖像顯示方法。
背景技術：
已知一種在具有打印機、復印機、掃描儀等功能的圖像處理裝置中將圖像處理裝置的操作狀態(tài)(例如，發(fā)生卡紙或出紙的錯誤)通知給用戶或管理員的技術。具體地，將發(fā)生錯誤的消息顯示在設置于圖像處理裝置中的顯示面板上(JP-A-2010-67093(專利文獻I)等)
發(fā)明內(nèi)容
本發(fā)明的一個目的是輔助用戶理解裝置的操作狀態(tài)。根據(jù)本發(fā)明的第一方案，提供一種圖像顯示裝置，包括成像單元；設備指定單元，其指定由所述成像單元成像的對象設備；狀態(tài)獲取單元，其獲取所述設備的操作狀態(tài)；圖像生成單元，其生成對應于所指定的設備和所獲取的操作狀態(tài)的圖像；定位單元，其確定由所述成像單元獲取的對象設備的圖像的基準位置；組合單元，其利用所述基準位置將所生成的圖像與由所述成像單元獲取的圖像進行組合；以及顯示器，其顯示組合的圖像。根據(jù)本發(fā)明的第二方案，在根據(jù)本發(fā)明的第一方案所述的圖像顯示裝置中，所述裝置可以為圖像形成設備。根據(jù)本發(fā)明的第三方案，在根據(jù)本發(fā)明的第一方案所述的圖像顯示裝置中，所述成像單元可以獲取從多個視點拍攝的設備的圖像，并且所述組合單元可以將所獲取的圖像中的對應于所述操作狀態(tài)的一個與所生成的圖像進行組合。根據(jù)本發(fā)明的第四方案，還提供了 用戶指定單元，其指定所述設備的用戶；以及存儲器，其存儲針對一個操作狀態(tài)的多個圖像，并且所述組合單元可以參照所述存儲器將對應于所指定的用戶的圖像確定為組合處理的對象。根據(jù)本發(fā)明的第五方案，在根據(jù)本發(fā)明的第一方案所述的圖像顯示裝置中，所述定位單元可以從通過所述成像單元獲取的圖像中檢測片狀記錄介質(zhì)，所述片狀記錄介質(zhì)附著到所述裝置并且形成有示出所述基準位置的圖像的片狀記錄介質(zhì)。根據(jù)本發(fā)明的第六方案，根據(jù)本發(fā)明的第一方案所述的圖像顯示裝置可以進一步包括輸出單元，所述輸出單元將所述圖像作為視頻數(shù)據(jù)或靜止圖像數(shù)據(jù)進行輸出。根據(jù)本發(fā)明的第七方案，在根據(jù)本發(fā)明的第一方案所述的圖像顯示裝置中，所述狀態(tài)指定單元可以請求所述設備發(fā)送所述操作狀態(tài)。根據(jù)本發(fā)明的第八方案，在根據(jù)本發(fā)明的第一方案所述的圖像顯示裝置中，當未檢測到位置信息時，存儲預定時間段和在所述顯示器上顯示的圖像。根據(jù)本發(fā)明的第九方案，在根據(jù)本發(fā)明的第一方案所述的圖像顯示裝置中，所生成的圖像可以為示意性地示出與所述設備的用戶難以識別的部位相關的操作狀態(tài)的圖像。根據(jù)本發(fā)明的第十方案，提供一種圖像顯示方法，包括從輸入圖像中指定待成像裝置；獲取所述裝置的操作狀態(tài)；生成對應于所指定的裝置和所獲取的操作狀態(tài)的圖像；確定輸入圖像的基準位置；以及利用所述基準位置將所生成的圖像與輸入圖像進行組合。根據(jù)本發(fā)明的第十一方案，提供一種移動終端，包括成像單元；設備指定單元，其指定通過所述成像單元成像的對象設備；狀態(tài)獲取單元，其獲取所述設備的操作狀態(tài)；發(fā)送單元，其將所指定的設備和操作狀態(tài)發(fā)送給服務器；接收單元，其從所述服務器接收對應于所指定的設備和所獲取的操作狀態(tài)的圖像；定位單元，其確定通過所述成像單元獲取的對象設備的圖像的基準位置；組合單元，其利用所述基準位置將所接收到的圖像與通過所述成像單元獲取的圖像進行組合；以及顯示器，其顯示組合的圖像。根據(jù)本發(fā)明的第一方案、第十方案和第十一方案，輔助用戶對設備的操作狀態(tài)的理解。根據(jù)本發(fā)明的第二方案，提供了反映圖像形成設備的操作狀態(tài)的圖像。根據(jù)本發(fā)明的第三方案，提供了對應于操作狀態(tài)在視點處拍攝的圖像。 根據(jù)本發(fā)明的第四方案，提供了對應于用戶而拍攝的圖像。根據(jù)本發(fā)明的第五方案，無需妨礙圖像形成設備的功能即可獲取位置。根據(jù)本發(fā)明的第六方案，將圖像的內(nèi)容提供給其他人以及設備的用戶。根據(jù)本發(fā)明的第七方案，圖像顯示裝置不需要搜索要將操作狀態(tài)提供到的一方。根據(jù)本發(fā)明的第八方案，即使由于用戶操作裝置使得設備的一個部位的位置發(fā)生變化，在提供圖像時也不出現(xiàn)中斷。根據(jù)本發(fā)明的第九方案，提供了用戶不能看到的與設備內(nèi)部的操作狀態(tài)有關的信
肩、O


基于下列附圖，詳細地說明本發(fā)明的示例性實施例，其中圖I是圖像顯示系統(tǒng)的示意圖；圖2是示出移動終端的功能構造的示圖；圖3是示出存儲在打印機管理表中的信息的示例的示圖；圖4是示出存儲在組合信息管理表中的信息的示例的示圖；圖5是示出顯示在移動終端上的拍攝圖像的示例的示圖；圖6是示出打印機選擇屏幕的示圖；圖7是示出指定圖像形成設備及其操作狀態(tài)的操作的示圖；圖8A是示出組合源的圖像、待組合圖像和組合處理之后的圖像的示例的示圖；圖SB是示出組合源的圖像、待組合圖像和組合處理之后的圖像的示例的示圖；圖SC是示出組合源的圖像、待組合圖像和組合處理之后的圖像的示例的示圖；圖9是示出組合處理操作的示圖；圖10是示出(在正常操作狀態(tài)下)組合之后的圖像的示例的示圖；圖11是示出(當發(fā)生錯誤時)組合之后的圖像的示例的示圖；圖12是示出(當發(fā)生錯誤時)組合之后的圖像的另一示例的示圖；圖13是示出(在正常操作狀態(tài)下)組合之后的圖像的另一示例的示圖；圖14是圖像顯示系統(tǒng)的示意圖15是示出移動終端的功能構造的示圖；以及圖16是示出服務器裝置的功能構造的示圖。
具體實施例方式<實施例>圖I是示出根據(jù)本發(fā)明的示例性實施例的圖像顯示系統(tǒng)100的輪廓的示圖。圖像顯示系統(tǒng)100包括圖像形成設備200和移動終端300。圖像形成設備200為具有通信功能的打印機，其利用電子照相方法、熱轉(zhuǎn)印方法、噴墨方法等。另外，盡管在圖I中顯示了一個圖像形成設備200，但可以存在多個(多種)圖 像形成設備200，后面將對此進行說明。圖像形成設備200包括用戶接口，例如觸摸板，其接收要形成圖像的文檔、打印命令、打印條件等并且顯示內(nèi)容；圖像處理器；供紙機構；圖像形成機構(例如，在作為電子照相型打印機的情況下，包括充電單元、光電導體單元、曝光單元、顯影單元、轉(zhuǎn)印單元、定影單元等)；以及出紙機構。圖像形成設備200根據(jù)指定的待打印復件數(shù)量、指定的打印條件等來基于圖像數(shù)據(jù)在記錄介質(zhì)(例如，紙張或膜片)上形成圖像。另外，圖像形成設備200可以具有與圖像形成功能相關的功能。例如，圖像形成設備200可以具有掃描儀功能或具有設置在主體周圍并且獨立于主體容納紙張的裝置(大容量容納單元)、或?qū)Υ蛴〕龅募垙垐?zhí)行諸如折縫或裝訂等后處理的裝置(所謂的修整機)。另外，圖像形成設備200為用于實現(xiàn)設定功能的各種類型電子設備的示例。另外，圖像形成設備200包括傳感器或分析來自傳感器的輸出信號的控制器，所述控制器具有監(jiān)測該設備的操作狀態(tài)并且必要時通過無線電通信單元WU向外部發(fā)送通知的功能。該通知功能是通過例如在圖像顯示系統(tǒng)100中設置紅外通信模塊、IEEE模塊和藍牙(注冊商標)模塊來實現(xiàn)的。通知可以(在設定的時刻)自動地發(fā)送出去或者可以在通過無線電通信單元WU接收到來自外部(例如，移動終端300)的請求時發(fā)送出去。操作狀態(tài)為與設備的當前狀態(tài)有關的信息，例如，設備是否正常地操作、即使當前不存在錯誤但是設備是否可能很快出現(xiàn)故障、是否已經(jīng)發(fā)生錯誤、如果已經(jīng)發(fā)生錯誤是哪種類型的錯誤、或當存在多個可選操作時正在執(zhí)行哪種操作。移動終端300為便攜式終端,例如移動電話、智能電話、平板PC或PDA(個人數(shù)字助理)。具體地，移動終端300包括輸入單元(觸摸面板、鍵盤等)，當用戶執(zhí)行各種類型的操作時使用所述輸入單元；顯示屏D (液晶顯示器等)，其顯示各種類型的信息；無線電通信模塊(例如，紅外通信模塊、基于IEEE802. 11方法的通信模塊、和藍牙(注冊商標)模塊；圖I中未示出)，其用于與另一設備進行無線電通信；以及攝像機C。圖2是示出移動終端300的功能的示圖。移動終端300在功能上構造為包括成像單元301、狀態(tài)獲取單元302、設備指定單元303、位置指定單元304、圖像生成單元305、組合單元306、顯示器307和存儲器308。存儲器308為存儲裝置，例如ROM或硬盤。用戶信息數(shù)據(jù)庫DU、打印機管理表TP和組合信息管理表TM存儲在存儲器308中。而且，盡管未示出，除了上面所述的那些之外，用于實現(xiàn)移動終端300的功能的程序，例如OS程序，以及實現(xiàn)移動終端300的每個單元中的功能所需的各種類型的數(shù)據(jù)臨時或永久性地存儲在存儲器308中。圖3示出了存儲在打印機管理表TP中的信息的示例。在打印機管理表TP中，存儲了與圖像形成設備200有關的詳細信息，以便匹配用于唯一標識圖像形成設備200的標識符。詳細信息包括圖像形成設備200的名稱(顯示名稱)、類型、圖像形成設備200的安裝地點(位置)、和設備構造。存儲在設備構造的項中的信息為與圖像形成設備200是否具有標準功能(打印機功能、掃描儀功能和FAX功能)、以及除了標準功能之外圖像形成設備200是否具有大容量紙張容納單元的容納功能或折縫功能有關的信息。因此，參照打印機管理表TP，可以通過不同的設備構造或功能來唯一地識別圖像形成設備200。圖4示出了存儲在組合信息管理表TM中的信息的示例。在組合信息管理表TM中，用于標識在組合處理中使用的圖像(在下文中，當通過組合兩個或多個圖像部分來生成該圖像時，該圖像或每個圖像部分稱為組合對象)的圖像ID和與組合圖像的方法有關的信息被存儲以匹配標識符、操作狀態(tài)和用戶的組合。組合對象為存儲在圖像文件IF中的圖像數(shù)據(jù)。例如，組合對象為示意性地示出圖像形成設備200中的紙張流的圖像數(shù)據(jù)(這被稱為組合對象I)。另外，組合對象為示出每個紙張容納單元中容納的紙張尺寸的圖像(例如，根據(jù)紙張尺寸比的多個立方體物體；這被稱為組合對象2)。另外，組合對象為示出已經(jīng)發(fā)生卡紙的圖像(例如，顯示弄皺的紙張的 圖像；這被稱為組合對象3)。作為操作狀態(tài)和圖像ID之間匹配的示例，當操作狀態(tài)為“正?！睍r匹配組合對象1，當操作狀態(tài)為“打印”時匹配組合對象2，而當操作狀態(tài)為“卡紙”時匹配組合對象3。另夕卜，多個圖像可與一組設備標識符、用戶和操作狀態(tài)進行匹配(參照圖4中從上方起的第三條記錄)。例如，當操作狀態(tài)為“紙張容納單元2無紙張并且剩余墨粉的量少”時，表示“紙張用盡”的組合對象和表示剩余墨粉的量少的狀態(tài)的組合對象與操作狀態(tài)匹配。簡言之，優(yōu)選地執(zhí)行匹配以使得為每個圖像形成設備200選擇對應于操作狀態(tài)的待組合圖像。與組合方法有關的信息例如為在生成將與另一圖像組合的圖像并且將該圖像與另一圖像組合時所需的信息。也就是說，與組合方法有關的信息為表示使得組合對象的形狀或尺寸在圖像的哪個位置(區(qū)域)重疊的信息。具體地，與組合方法有關的信息包括表示作為疊加基準的位置(待組合圖像在另一圖像上相對于圖像形成設備200的位置的相對位置)、所述設備和對象的尺寸比以及所述設備的方向和組合對象的方向(相對方向)的信息。也就是說，當通過參照組合方法信息給出作為待成像對象的圖像形成設備200的位置、尺寸和方向時，確定重疊另一圖像的圖像的布置位置、尺寸和方向。例如，當利用附著到圖像形成設備200的二維圖像作為標記來根據(jù)成像標記的狀態(tài)(圖像上標記的尺寸或形狀的扭曲度)來確定圖像形成設備200的圖像上的位置等時，相對位置可表示為當將標記放置在三維虛擬空間的原點上時組合對象的三維坐標(x，y，z)。組合對象的尺寸可表示為對應于標記的圖像區(qū)域的面積和待組合圖像的繪制區(qū)域的面積(或邊長)。所述方向可表示為成像標記的方向(例如，由法向量限定的方向)和設定在圖像上的基準方向之間的角度
(θ, φ ) ο以如上所述的三維方式顯示對象是指，當標記的尺寸或方向(即，攝像機C的位置)變化時，根據(jù)該變化顯示的表示為對象的二維圖像的形狀也變化。因此，根據(jù)攝像機位置生成合成圖像期待用戶的正確理解。另外，對于同一操作狀態(tài)基于不同的攝像機位置生成的多個合成圖像被呈現(xiàn)給用戶，以使用戶更佳地理解操作狀態(tài)。另外，與組合方法有關的信息可不必包括與位置、尺寸和方向有關的所有信息項，而是可以至少包括位置。例如，當對象的尺寸小或者對象具有球形形狀時或者當不需要表示方向時，與尺寸或方向有關的信息可以省略。也就是說，組合對象可以不具有三維信息。簡言之，優(yōu)選的是，通過在圖像上將組合對象布置在與圖像形成設備200的每個單元的位置相對應的位置處，至少指定位置以使看到組合之后的圖像的用戶借助于組合之后的圖像來理解圖像形成設備200的操作狀態(tài)。因為適當?shù)慕M合對象和適當?shù)慕M合方法是根據(jù)取決于圖像形成設備200而不同的整體尺寸(外部形狀)、內(nèi)部結構和功能而確定的，所以進行圖像ID和組合方法與每個設備標識符的匹配。另外，根據(jù)操作狀態(tài)將不同的圖像ID和不同的組合方法與同一設備標識符進行匹配要考慮的是，需要吸引用戶注意的操作狀態(tài)不同的部分(例如，關于特定功能的單元、使用特定材料的部分和部件、或者發(fā)生錯誤的地點)可能不同。例如，優(yōu)選的是，在正常操作狀態(tài)下可容易地選擇用于描述整個圖像形成設備200的操作的圖像，而僅選擇與已經(jīng)發(fā)生錯誤的部位相關的圖像，以使得當發(fā)生錯誤時用戶注意到該部位。另外，根據(jù)操作移動終 端300的用戶(還可以為圖像形成設備200的用戶)來改變組合圖像或組合方法要考慮到，輔助理解操作狀態(tài)的方法和內(nèi)容因用戶而改變。例如，普通用戶不具有與圖像形成設備200的內(nèi)部結構有關的更多信息。因此，認為作為輔助方法優(yōu)選的是，使用相對簡單的圖像盡可能容易地表示操作狀態(tài)，而不是使用許多圖像詳細地表示操作狀態(tài)。另一方面，由于具有管理員特權的用戶期望擁有與內(nèi)部結構有關的足量信息，因此認為作為輔助方法優(yōu)選的是，使用多個圖像呈現(xiàn)大量的信息或者在組合圖像上包括詳細信息。另外，同一設備標識符、操作狀態(tài)、圖像ID、和組合方法信息的組合可分配給多個用戶(參照圖4中的第四條記錄)。因此，如果至少給出了設備標識符和操作狀態(tài)，則通過參照打印機管理表TP來指定待組合圖像及其組合方法。然后，通過將組合之后的圖像呈現(xiàn)給用戶，實現(xiàn)了根據(jù)圖像形成設備200及其操作狀態(tài)(或者可以添加用戶項)輔助理解適當?shù)牟僮鳡顟B(tài)。在圖像文件IF中，存儲有上述待組合圖像(組合對象)的圖像數(shù)據(jù)。另外，圖像數(shù)據(jù)可仍為圖像數(shù)據(jù)或視頻數(shù)據(jù)。另外，圖像數(shù)據(jù)可以為繪制多個對象所需的向量數(shù)據(jù)。在這種情況下，圖像數(shù)據(jù)可以為基于諸如JPEG、位圖或tiff等格式的二維圖像數(shù)據(jù)。另外，圖像數(shù)據(jù)可以為形成視頻圖像所需的運動數(shù)據(jù)或者可以為生成其它3D(三維)圖像的程序。簡言之，優(yōu)選的是，圖像數(shù)據(jù)為對待顯示圖像執(zhí)行繪制處理以重疊圖像所需的信息。在用戶信息數(shù)據(jù)庫DU中，用戶所具有的與使用圖像形成設備200有關的權限或權限分類被存儲以匹配對圖像顯示系統(tǒng)100的用戶進行標識的諸如用戶名、用戶ID或密碼之類的信息。例如，權限分類為“正常用戶(ALL)”、“管理員(Admin)”和“超級用戶”。這是為了滿足條件“圖像形成設備200具有用戶可根據(jù)權限執(zhí)行的限制功能的功能”。例如，這是接受來自正常用戶的單色復印的指令而拒絕彩色復印的指令的功能?？蛇x擇地，這是這樣的功能即，圖像形成設備200控制觸摸板的顯示內(nèi)容，以使得對于屬于“管理員”的用戶可以自由地改變打印設置而對于其它用戶來說不可以執(zhí)行打印設置。成像單元301為數(shù)字攝像機，其包括透鏡、成像裝置和圖像處理器并且將拍攝的圖像作為數(shù)字數(shù)據(jù)(視頻數(shù)據(jù)或靜止圖像數(shù)據(jù))輸出。圖5示出了輸出的數(shù)字數(shù)據(jù)被顯示在顯示屏D上的示例。在該示例中，方形的片狀標記M附著于圖像形成設備。狀態(tài)獲取單元302是由無線電通信模塊實現(xiàn)的并且接收與從無線電通信單元WU發(fā)送的操作狀態(tài)(下文中簡稱為操作狀態(tài))有關的信息。獲取的操作狀態(tài)被提供給圖像生成單元305。操作狀態(tài)的示例包括空閑狀態(tài)(不執(zhí)行打印(等待來自用戶的指令))、打印和卡紙。設備指定單元303是由接收來自用戶的指令并且顯示信息的諸如觸摸板之類的單元、從存儲器308讀取信息或?qū)⑿畔懺诖鎯ζ?08上的控制處理器等實現(xiàn)的，并且設備指定單元303指定待成像的圖像形成設備200。如上所述，本示例性實施例中的圖像組合處理的對象可以為多個圖像形成設備200。在這種情況下，需要指定要生成其圖像待組合的圖像形成設備200，并且通過設備指定單元303來執(zhí)行設備的識別。具體地，作為圖像構造候選的多個圖像形成設備200的名稱被提前登記在存儲器308中，并且設備指定單元303在顯示屏D上顯示一列登記名，從而提示用戶選擇待成像的圖像形成設備200中的一個。圖6示出了提示選擇的屏幕的示例。設備指定單元303顯示待選擇的圖像形成設備200的列表。另外，當一個圖像形成設備200被指定時，設備指定單元303讀取并顯示存儲在打印機管理表TP中的與該設備相關聯(lián)的設備信息。通過顯示該信息，設備指定單元303輔助用戶指定本身要成像的圖像形成設備200?？吹斤@示屏的用戶指定要被成像的一個圖像形成設 備200，并且在屏幕上選擇所述圖像形成設備200。然后，輸出所選的圖像形成設備200的標識符。可選地，圖像形成設備200可以基于位置指定單元304的圖像分析的結果而被指定，而不是使用戶指定圖像形成設備200。具體地，與每個圖像形成設備200的外觀有關的圖像數(shù)據(jù)或從圖像數(shù)據(jù)中提取的表示圖像形成設備200的特征的信息可以提前登記到存儲器308中，并且可以通過從通過成像獲得的圖像數(shù)據(jù)中確定最相似的已登記圖像數(shù)據(jù)來確定要被成像的圖像形成設備200。圖7是示出待成像圖像形成設備200的處理和操作狀態(tài)指定的流程的示圖。下面，假設當圖像形成設備200發(fā)送信息時，在信息中至少包含設備標識符。另夕卜，當圖像形成設備200檢測到操作狀態(tài)的變化時，圖像形成設備200通過無線電通信單元WU將當前操作狀態(tài)(即，變化之后的操作狀態(tài))與存儲在圖像形成設備200中的設備標識符一起發(fā)送。當移動終端300接收到來自圖像形成設備200的標識符和操作狀態(tài)時，判定該標識符是否已經(jīng)被登記在存儲器308上(S201)。當該標識符未被登記時，設備指定單元303在顯示屏D上顯示圖6所示的屏幕以提示用戶進行選擇(S202)。用戶參照顯示在顯示屏D上的信息(例如，打印機名稱和安裝地點)來指定要被成像的圖像形成設備200，并且選擇所指定的圖像形成設備200。結果，設備指定單元303獲取由用戶指定的圖像形成設備200的設備標識符。然后，判定設備信息是否被存儲以匹配標識符(S203)。當設備信息未被包含在接收到的信息中并且設備信息未被包含在已存儲的信息中時，發(fā)送請求將設備信息發(fā)送到圖像形成設備200的信號。然后，從接收到的信息中所包含的設備信息中提取操作狀態(tài)(S205)。另外，操作狀態(tài)可不包含在接收到的信息中，這取決于圖像形成設備200的操作狀態(tài)發(fā)送時刻。在這種情況下，可以從移動終端300向圖像形成設備200發(fā)送請求操作狀態(tài)的信號，或者移動終端300可以等待直到接收到操作狀態(tài)。可選地，當之前從設備標識符所指定的設備接收到操作狀態(tài)時，可以認為這次接收到了相同的操作狀態(tài)?？蛇x地，可以認為獲取到了預先設定為缺省操作狀態(tài)的狀態(tài)(例如，“等待打印”)。以此方式，在移動終端300中唯一地識別待成像的圖像形成設備200，并且指定了操作狀態(tài)。另外，當需要時，可以更新設備信息。例如，當未存儲在打印機管理表TP中的信息包含在從圖像形成設備200接收到的設備信息中時，可將該信息添加到打印機管理表TP中。另外，當包含與存儲在接收到的設備信息項中的信息不同的信息時，存儲的信息可以被重寫到接收到的信息中。因此，通過允許重寫，當設備安裝位置或相關的設備構造發(fā)生變化時，可以在組合信息管理表TM的存儲內(nèi)容上反映出變化。位置指定單元304由圖像處理器實現(xiàn)，并且通過分析從狀態(tài)獲取單元302輸出的圖像數(shù)據(jù)來判定圖像形成設備200是否包含在待成像對象中。當圖像形成設備200包含在待成像對象中時，位置指定單元304指定圖像形成設備200的模型并且確定攝像機C和作為待成像對象的圖像形成設備200之間的位置關系(換句話說，拍照的視點位置)。具體地，形成有預先設定的模式圖像的片狀記錄介質(zhì)(所謂的標記)被附著到圖像形成設備200，以表示基準位置，并且圖像模式的內(nèi)容或與實際尺寸有關的信息被存儲在存儲器308中。然后，位置指定單元304執(zhí)行圖像分析以便判定模式圖像是否包含在由成像單元301獲取的 圖像中(即，標記是否被附著到待成像對象)。結果，判定是否要對被成像裝置進行組合處理。當包含了對應于模式圖像的圖像時，位置指定單元304根據(jù)圖像數(shù)據(jù)來計算成像標記的尺寸、標記方向沿四個方向(上、下、左和右)上的方向(標記形狀的扭曲條件)等。然后，位置指定單元304基于計算結果和預先登記的標記的實際形狀和尺寸來確定成像的視點位置(換句話說，攝像機C和待成像對象之間的位置關系(具體地，距離和方向))。另外，代替利用標記的尺寸來指定視點位置，標記本身還可以包括位置信息并且根據(jù)獲取的圖像數(shù)據(jù)來檢測位置信息。例如，使得移動終端300具有利用GPS (全球定位系統(tǒng))等來測量其自身位置的功能以及利用陀螺傳感器等檢測設備的方向(即，攝像機C的方向)的功能，并且使用將表示位置信息(例如，經(jīng)度和緯度)的二維條碼印制為標記的記號(seal)。位置指定單元304基于從標記獲取的位置信息和關于其自身設備的位置信息來確定從攝像機C到標記的距離以及方向。可選地，由二維條碼表示的信息可以為存儲有關于圖像形成設備200的位置信息的位置信息服務器的URL，并且移動終端300可以通過訪問服務器來獲取關于圖像形成設備200的位置信息。可選地，當關于圖像形成設備200的位置信息包含在通過狀態(tài)獲取單元302獲取的信息中時，可以利用該信息來確定視點位置。圖像生成單元305是由圖像處理器等來實現(xiàn)的，并且基于由設備指定單元303獲取的設備標識符、由狀態(tài)獲取單元302獲取的操作狀態(tài)和預先獲取的用戶信息來生成將要與通過成像單元301獲取的圖像進行組合(合并)的圖像。具體地，參照組合信息管理表TM來指定對應于所獲取的一組設備標識符、操作狀態(tài)和用戶的圖像ID和組合方法。例如，如果在圖3所示的示例中設備標識符為“打印機01”并且用戶為“ALL”，則指定利用由圖像GL I指定的圖像數(shù)據(jù)來執(zhí)行組合處理。圖像生成單元305生成作為組合基準位置的標記的圖像。另外，圖像生成單元305從圖像文件IF中讀取對應的圖像數(shù)據(jù)，執(zhí)行根據(jù)組合方法改變組合對象的位置、尺寸、方向等的圖像處理，并且輸出作為基于JPEG或位圖之類格式的圖像數(shù)據(jù)的結果。組合單元306是由圖像處理器實現(xiàn)的，并且用于將從成像單元301提供的圖像數(shù)據(jù)與從圖像生成單元305提供的圖像數(shù)據(jù)進行組合。
顯示器307是由顯示屏D及其驅(qū)動電路實現(xiàn)的，顯示屏D具有液晶面板等，并且顯示器307顯示從組合單元306提供的組合之后的圖像數(shù)據(jù)。圖8A至圖8C示出了在圖像生成單元305和組合單元306中執(zhí)行的組合處理的示例。圖8A示出了當圖像形成設備200的操作狀態(tài)為“正?！睍r由攝像機C拍攝的圖像。此處，標記M附著到大容量紙張容納單元的右上部。圖SB示出了基于由指定圖像ID指定的組合對象和組合方法而生成的圖像(包括組合對象0B11、0B12、0B13和0B14)以及當組合上述圖像時用作基準位置的圖像RP(即，被顯示以匹配成像標記M的位置的圖像)。圖SC 是通過組合圖8A和圖8B獲得的，并且被顯示在顯示屏D上。此處，OBlU 0B12和0B13為用于使用戶在視覺上易于識別圖像形成設備200的主體中的每個紙張容納單元中所容納的紙張的存在、尺寸和量(紙張的頁數(shù))的對象。0B14為對應于大容量紙張容納單元中容納的紙張的對象。因此，通過將組合對象的存在放置在圖像上，用戶可以直觀地看到在正常使用狀態(tài)無法看到的與裝置內(nèi)部有關的信息(在這種情況下，為紙張的尺寸或剩余紙張的數(shù)量)。圖9是示出組合處理的流程的示圖。在下面的示例中，假設將標記附著到圖像形成設備200，并且攜帶移動終端300的用戶已經(jīng)靠近圖像形成設備200。首先，例如，用戶將用戶ID輸入移動終端300以便進行用戶認證。參照用戶信息數(shù)據(jù)庫DU，移動終端300基于輸入ID來指定與用戶對圖像形成設備200的使用有關的權限(SlOl)。用戶執(zhí)行操作來運行移動終端300上的攝像機功能并且通過將攝像機C轉(zhuǎn)到作為期望對象的圖像形成設備200的方向上來進行成像(S102)。圖像數(shù)據(jù)是通過成像單元301獲取的。成像單元301將獲取的圖像顯示在顯示屏D上并且將圖像數(shù)據(jù)提供給設備指定單元303。設備指定單元303對圖像數(shù)據(jù)進行圖像分析(S103)。當位置指定單元304未檢測到標記時(S104:否)，不執(zhí)行組合處理，并且所拍攝的圖像按原樣連續(xù)地顯示在顯示屏D上(S109)。當檢測到標記時(S104，是)，圖像形成設備200及其操作狀態(tài)由設備指定單元303指定(S105)。圖像生成單元305確定組合對象和組合方法(S106)，并且生成在組合處理中使用的圖像(S107)。組合單元306將生成的圖像與圖像數(shù)據(jù)進行組合(S108)。組合之后的圖像顯示在顯示屏D上(S109)。當來自用戶的結束指令輸入到移動終端300時(S110，是)，移動終端300結束一系列處理。然后，重復步驟S102至S109的處理，直到來自用戶的結束指令被輸入。結果，實時地更新了拍攝的圖像以及與拍攝的圖像組合并且反映操作狀態(tài)的圖像。下面，將對組合之后的圖像的一些示例進行說明。圖10是當操作狀態(tài)為“正常”時圖像形成設備200的合成圖像的示例。另外，在圖10中未示出標記圖像。圖像形成設備200的成像點幾乎在前側，執(zhí)行成像以使得涵蓋整個圖像形成設備200。圖像形成設備200示意性地構造為包括形成圖像的主體(RA2)、大容量容納單元(RAl)、以及修整機(RA3)。對象0B21、0B22、0B23、0B24、0B25、0B26和0B27包含在顯示的合成圖像中。0B26和0B27表示在每個紙張容納單元中所容納的紙張的存在和尺寸。0B21、0B22、0B23和0B24表示正常地執(zhí)行一系列紙張流程，即，從紙張容納單元取出的紙張被傳送到0B22，利用表示為0B25的墨粉來在0B22中執(zhí)行圖像形成處理并且然后形成有圖像的紙張被傳送以到達0B23，并且紙張最終到達表示為0B24的排出口。另一方面，圖11示出了當在同一圖像形成設備200中操作狀態(tài)為“由于卡紙引起的錯誤”時基于從相同視點成像的圖像數(shù)據(jù)生成的合成圖像的示例。圖11中所示的合成圖像與圖10中所示的合成圖像的不同之處在于，用OB31、OB32和OB33分別代替OB21、OB22和OB23。具體地，替代對象的位置、形狀和尺寸相同，但是具有不同的顏色(例如，紅色)。因此，通過根據(jù)正常操作狀態(tài)和卡紙狀態(tài)之間的差別來匹配組合之后的圖像的內(nèi)容，錯誤發(fā)生情形或錯誤的內(nèi)容和位置(在這種情況下，傳送過程存在錯誤，而紙張容納單元或與轉(zhuǎn)印有關的部件不存在錯誤)被直觀地傳達給用戶。另外，可以進行顏色改變，或者當表示不同的操作狀態(tài)時可以連同顏色改變一起改變形狀或尺寸。圖12是當從左斜前方對圖像形成設備200進行成像時獲得的合成圖像的示例。在該示例中，示出紙張彎曲的情形的對象0B41與對應于在圖像形成設備200中發(fā)生卡紙的圖像相結合。在該情況下，根據(jù)通過照相獲取的標記M的圖像的扭曲度，指定攝像機視角為待成像裝置的左斜前側45°。根據(jù)標記M上的信息和存儲在組合信息管理表TM中的組合方法，確定0B41的位置、尺寸和方向。因此，無論視點的位置如何，以適當?shù)男螤罱M合適當?shù)膱D像以便匹配拍攝的圖像。
圖13是基于通過對圖像形成設備200進行成像獲得的圖像而生成的合成圖像的另一示例。圖13中所示的合成圖像與圖10中所示的合成圖像的不同之處在于增加了 0B51、0B52、0B53、0B54、0B55和0B56。0B51和0B52為示出計算機的圖像，所述計算機通過通信線路(在圖13中表示為0B55和0B56)與圖像形成設備200連接并且指示圖像形成設備200執(zhí)行打印。0B53和0B54為從計算機輸出的打印命令，并且表示尚未完全打印的處理。0B53和0B54之間的差別為，0B53是從移動終端的用戶輸出的打印命令，而0B54是從除了上述用戶之外的用戶輸出的打印命令。這是通過如下過程實現(xiàn)的存儲如下信息，所述信息指定從0B52和0B54發(fā)送給圖像形成設備200的所有打印命令和發(fā)送每個打印命令的人員，并且將與打印命令有關的信息包含在與從圖像形成設備200發(fā)送的操作狀態(tài)有關的信息中。因此，還可以生成示出與圖像形成設備200的操作狀態(tài)相關但是位于物理上遠離圖像形成設備200的位置處的計算機的圖像、或生成示出眼睛難以看到的無形的內(nèi)容的圖像(例如包含圖像形成設備200接收到的打印命令的信息)，并且將圖像與所拍攝的圖像數(shù)據(jù)進行組合。也就是，本示例性實施例中的組合處理不一定限于示出在所拍攝的圖像形成設備200中實際存在的部位的圖像，并且圖像形成設備200在圖像上的位置和對象的顯示位置在組合之后的圖像上不必彼此重疊。<其它實施例>圖14是示出根據(jù)另一示例性實施例的圖像顯示系統(tǒng)100A的輪廓的示圖。圖像顯示系統(tǒng)100A包括圖像形成設備200A、移動終端300A、服務器裝置400和通信中繼裝置500。圖像形成設備200A通過有線網(wǎng)絡N與服務器裝置400連接。圖像形成設備200A與圖像形成設備200的不同之處在于，圖像形成設備200A不具有與移動終端300A進行無線電通信的功能而是具有接收來自服務器裝置400的打印命令并且執(zhí)行打印的功能。圖像形成設備200A通過通信中繼裝置500將設備標識符、設備信息和操作狀態(tài)發(fā)送給移動終端300A。通信中繼裝置500與有線網(wǎng)絡N連接。通信中繼裝置500利用無線電通信發(fā)送信息到移動終端300A或者接收來自移動終端300A的信息，而且通過有線網(wǎng)絡N發(fā)送信息給圖像形成設備200A和服務器裝置400或者接收來自圖像形成設備200A和服務器裝置400的信息。也就是說，通信中繼裝置500具有中繼移動終端300A和圖像形成設備200A或服務器裝置400之間的通信的功能。圖15是示出移動終端300A的功能構造的圖。而且，在圖15中，與移動終端300中相同的部件由相同的附圖標記表示。移動終端300A包括成像單元301、狀態(tài)獲取單元302、設備指定單元303、位置指定單元304、圖像生成單元305、組合單元306、顯示器307、存儲器308A、發(fā)送單元311和接收單元312。發(fā)送單元311和接收單元312是由無線電通信模塊實現(xiàn)的。移動終端300A與移動終端300的相同之處在于，利用攝像機功能對圖像形成設備200A進行成像，并且指定設備標識符、操作狀態(tài)和用戶。然而，移動終端300A不具有生成待組合圖像的功能。移動終端300A利用發(fā)送單元311將設備標識符和操作狀態(tài)發(fā)送給服務器裝置400。也就是說，在圖像顯示系統(tǒng)100A中，服務器裝置400具有生成待組合圖像的功能。當接收到由服務器裝置400生成的待組合圖像時，接收單元312將其提供給組合單元306。組合單元306中的組合處理的內(nèi)容和顯示器307的操作與移動終端300的相同。圖16是示出服務器裝置400的功能構造的示圖。服務器裝置400包括接收單元401、圖像生成單元402、發(fā)送單元403、打印命令單元404和存儲器405。接收單元401和 發(fā)送單元403是由通過有線網(wǎng)絡N與另一裝置進行通信的通信接口實現(xiàn)的。圖像生成單元402是由圖像處理器等實現(xiàn)的。存儲器405為存儲裝置，例如ROM或硬盤，并且存儲打印機管理表TP和圖像文件IF。打印命令單元404是由處理器等形成的，并且打印命令單元404通過發(fā)送單元403和有線網(wǎng)絡N將打印指令的打印執(zhí)行命令或取消命令發(fā)送給圖像形成設備200A、以及必要時接收圖像形成設備200A的狀態(tài)來控制圖像形成設備200A的操作。由于圖像生成單元402參照組合信息管理表TM通過訪問圖像文件IF生成待組合圖像的處理與由組合單元306、組合信息管理表TM和圖像文件IF實現(xiàn)的處理相同，因此將省略詳細的說明。因此，在圖像顯示系統(tǒng)100A中，移動終端之外的裝置具有生成待組合圖像的功能。換句話說，執(zhí)行成像的裝置(或位置)之外的設備(位置)可以生成待組合圖像?？蛇x地，如果移動終端至少具有顯示從外部設備發(fā)送的組合之后的圖像的功能，則外部設備不僅可以執(zhí)行生成待組合圖像的處理，而且可以執(zhí)行組合處理。在上述實施例中，不管攝像機的視點如何，所拍攝的所有圖像都是待組合對象。然而，可以僅組合在特定照相條件下拍攝的圖像。例如，用戶從不同的視點對相同操作狀態(tài)下的同一圖像形成設備200進行成像，并且移動終端300將獲取的每一個圖像數(shù)據(jù)提供給位置指定單元304從而選擇一個圖像數(shù)據(jù)。具體地，位置指定單元304執(zhí)行圖像分析，如上所述指定基準位置，并且選擇利用設定的圖像評估算法被確定為具有最佳質(zhì)量的圖像(例如，具有最輕手抖的圖像)?？蛇x擇地，可以選擇在操作狀態(tài)下最正確地表達的一個圖像。例如，當操作狀態(tài)為“在出紙單元中發(fā)生錯誤”時，移動終端300選擇出紙單元被拍攝得最大的圖像。具體地，與圖像形成設備200的結構有關的信息(例如，表示整個圖像形成設備200中的出紙單元所在的位置(區(qū)域)的信息)預先存儲在存儲器308中。利用該信息，位置指定單元304根據(jù)對每一個圖像數(shù)據(jù)的圖像分析結果來在圖像上指定出紙單元所在的區(qū)域并且確定具有最大指定區(qū)域的圖像。僅對確定的圖像執(zhí)行組合處理。在上述實施例中，待成像對象為圖像形成設備。然而，這僅為示例，除了該示例以外也可以將所有類型的電子設備作為待成像對象。換句話說，上述操作狀態(tài)不限于與圖像生成相關的操作狀態(tài)。簡言之，可以是這樣的圖像顯示裝置，包括成像單元；設備指定單元，其指定由成像單元成像的對象設備；狀態(tài)獲取單元，其獲取設備的操作狀態(tài)；圖像生成單元，其生成對應于指定設備和獲取的操作狀態(tài)的圖像；定位單元，其確定由成像單元獲取的圖像的基準位置；組合單元，其利用基準位置將生成的圖像與通過成像單元獲取的圖像進行組合；以及顯示器，其顯示組合圖像。作為當移動終端300獲取操作狀態(tài)時使用的方法，移動終端300可以按設定周期將請求信號(輪詢)發(fā)送給圖像形成設備200?？蛇x擇地，當圖像形成設備200檢測到操作狀態(tài)的變化時，圖像形成設備200可以自發(fā)地將該變化發(fā)送給移動終端300?！爱敳僮鳡顟B(tài)變化時”是指錯誤發(fā)生之前瞬間的情形，例如“當電源接通(關斷)時”、“當發(fā)生諸如卡紙等錯誤時”、“當剩余墨粉的量小于設定閾值時”、“當感光鼓的消耗程度超過設定閾值時”、以及“當接收到的紙張的數(shù)量小于設定閾值時”。附著標記的位置或標記的數(shù)量是任意的。例如，多個標記可以設置在不同位置處。在這種情況下，即使由于用戶的操作(例如，開門或關門)使得一個標記未反映在圖像上，也可以利用其它成像標記上的信息來執(zhí)行組合處理。另外，當檢測到多個標記時，可以利 用已知的算法和來自多個標記的位置信息來計算攝像機視角或設備位置，從而提高計算精度。另外，當由于用戶開門或關門的操作使得不再檢測到之前檢測到的標記時，當前顯示的組合之后的圖像可以在預先設定的時間段內(nèi)連續(xù)地顯示，而不是停止組合處理。另外，移動終端300可以具有用于外部輸出的接口，該接口將從組合單元306輸出的組合之后的圖像數(shù)據(jù)按原樣或按處理之后的狀態(tài)發(fā)送到外部設備，或者將組合之后的圖像數(shù)據(jù)按原樣或按處理之后的狀態(tài)發(fā)送到存儲介質(zhì)(例如，USB存儲器)。處理的示例包括當圖像為視頻圖像時截取一幀使其為靜止圖像的處理以及截取組合之后的圖像的局部區(qū)域的處理。如果用戶將如上所述反映操作狀態(tài)的圖像顯示給另一人員(例如，負責圖像形成設備200的維護的人員)，則可以快速且精確地發(fā)送操作狀態(tài)(故障位置等)，而不是用言語解釋情形。另外，可以為多個圖像形成設備200共同地設定用戶項，或者可以根據(jù)例如模型來不同地設定用戶項。不指定被稱為用戶項的用戶屬性(分類信息)，而是可以指定每個用戶并且設定對應于每個用戶的圖像ID和組合方法。簡言之，移動終端可以包括指定待成像設備的用戶的用戶指定單元和對于一個操作狀態(tài)存儲多個圖像的存儲器，并且對應于指定用戶的圖像可參照存儲器被確定為組合處理的對象。反之，例如，當在待成像設備中執(zhí)行的功能與操作用戶不相關時，當確定組合處理的內(nèi)容時，可以省略使用與用戶有關的信息。另夕卜，獲取與用戶有關的信息(例如，用戶項)的時刻是任意的。用于實現(xiàn)上述移動終端300和300A以及服務器裝置400的功能的硬件構造為示例，并且可以采用任意安裝方法和硬件的任意形狀。例如，上述多種功能可通過一個處理器來實現(xiàn)，或者多個處理器可以彼此協(xié)作來實現(xiàn)一種功能。另外，在存儲于計算機可讀存儲介質(zhì)中的狀態(tài)下可以設置用于將服務器裝置400和移動終端300(移動終端300A)的功能實現(xiàn)為計算機的程序，計算機可讀存儲介質(zhì)為例如磁存儲介質(zhì)(例如，磁帶、磁盤(HDD;硬盤驅(qū)動器)、和FDD (軟盤驅(qū)動器))、光學存儲介質(zhì)(例如，光盤(CD ;壓縮盤)和DVD (數(shù)字多功能盤))、磁光存儲介質(zhì)、和半導體存儲器。另外，該程序還可通過諸如互聯(lián)網(wǎng)的通信線路下載。
出于解釋和說明的目的提供了本發(fā)明的示例性實施例的前面的說明。不意在窮舉或?qū)⒈景l(fā)明限制為所公開的確切形式。顯然，對于本技術領域的技術人員可以進行許多修改和變型。選擇和說明本示例性實施例是為了更好地解釋本發(fā)明的原理及其實際應用，因 此使得本技術領域的其他人能夠為實現(xiàn)各種實施例理解本發(fā)明和各種適合于所構想的特定應用的修改。目的在于通過所附權利要求及其等同內(nèi)容限定本發(fā)明的范圍。
權利要求
1.ー種圖像顯示裝置，包括 成像單元； 設備指定単元，其指定由所述成像単元成像的對象設備； 狀態(tài)獲取単元，其獲取所述設備的操作狀態(tài)； 圖像生成単元，其生成對應于所指定的設備和所獲取的操作狀態(tài)的圖像； 定位単元，其確定由所述成像單元獲取的對象設備的圖像的基準位置； 組合單元，其利用所述基準位置將所生成的圖像與由所述成像單元獲取的圖像進行組合；以及 顯示器，其顯示組合的圖像。
2.根據(jù)權利要求I所述的圖像顯示裝置， 其中，所述設備為圖像形成設備。
3.根據(jù)權利要求I所述的圖像顯示裝置， 其中，所述成像單元獲取從多個視點拍攝的設備的圖像，并且所述組合単元將所獲取的圖像中的對應于所述操作狀態(tài)的ー個與所生成的圖像進行組合。
4.根據(jù)權利要求3所述的圖像顯示裝置，進ー步包括 用戶指定単元，其指定所述設備的用戶；以及 存儲器，其存儲針對ー個操作狀態(tài)的多個圖像， 其中，所述組合單元參照所述存儲器將對應于所指定的用戶的圖像確定為組合處理的對象。
5.根據(jù)權利要求I所述的圖像顯示裝置， 其中，所述定位單元從通過所述成像單元獲取的圖像中檢測片狀記錄介質(zhì)，所述片狀記錄介質(zhì)附著到所述設備并且形成有示出所述基準位置的圖像。
6.根據(jù)權利要求I所述的圖像顯示裝置，進ー步包括 輸出單元，其將所述圖像作為視頻數(shù)據(jù)或靜止圖像數(shù)據(jù)進行輸出。
7.根據(jù)權利要求I所述的圖像顯示裝置， 其中，所述狀態(tài)指定單元請求所述設備發(fā)送所述操作狀態(tài)。
8.根據(jù)權利要求I所述的圖像顯示裝置， 其中，當未檢測到位置信息吋，存儲預定時間段和在所述顯示器上顯示的圖像。
9.根據(jù)權利要求I所述的圖像顯示裝置， 其中，所生成的圖像為示意性地示出與所述設備的用戶難以識別的部位相關的操作狀態(tài)的圖像。
10.ー種圖像顯示方法，包括 從輸入圖像中指定待成像設備； 獲取所述設備的操作狀態(tài)； 生成對應于所指定的設備和所獲取的操作狀態(tài)的圖像； 確定輸入圖像的基準位置；以及 利用所述基準位置將所生成的圖像與輸入圖像進行組合。
11.一種移動終端，包括成像單元； 設備指定単元，其指定通過所述成像単元成像的對象設備； 狀態(tài)獲取単元，其獲取所述設備的操作狀態(tài)； 發(fā)送單元，其將所指定的設備和所述操作狀態(tài)發(fā)送給服務器； 接收單元，其從所述服務器接收對應于所指定的設備和所獲取的操作狀態(tài)的圖像； 定位単元，其確定通過所述成像單元獲取的對象設備的圖像的基準位置； 組合單元，其利用所述基準位置將所接收到的圖像與通過所述成像單元獲取的圖像進行組合；以及 顯示器，其顯示組合的圖像。
全文摘要
本發(fā)明提供了圖像顯示裝置、移動終端和圖像顯示方法，其中圖像顯示裝置包括成像單元；設備指定單元，其指定通過所述成像單元成像的對象設備；狀態(tài)獲取單元，其獲取設備的操作狀態(tài)；圖像生成單元，其生成對應于所指定設備和所獲取的操作狀態(tài)的圖像；定位單元，其確定通過成像單元獲取的圖像的基準位置；組合單元，其利用基準位置將所生成的圖像與通過成像單元獲取的圖像進行組合；以及顯示器，其顯示組合的圖像。
文檔編號G06F3/12GK102694937SQ20111040948
公開日2012年9月26日 申請日期2011年12月9日 優(yōu)先權日2011年3月25日
發(fā)明者巖瀬和壽 申請人:富士施樂株式會社