專利名稱：圖像顯示設(shè)備、圖像顯示方法、圖像顯示程序和記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像顯示設(shè)備、圖像顯示方法、圖像顯示程序和記錄介質(zhì)。
背景技術(shù)：
常規(guī)地，通常通過指定與圖像預(yù)關(guān)聯(lián)的文本數(shù)據(jù)，通過關(guān)鍵字搜索圖像。 然而，在沒有與圖像關(guān)聯(lián)的文本數(shù)據(jù)，或這樣的關(guān)聯(lián)文本數(shù)據(jù)無效的情況下， 在一般實踐中以列表格式顯示圖像的縮略圖，并且通過眼睛視覺地搜索圖像。
例如，當存在接受眼睛搜索的大量圖像時使用的一般方法是將在監(jiān)視器
上顯示的圖像的數(shù)量限制到30或其它數(shù)目，并且通過在垂直和水平二者方向 上滾動來觀看所有圖像(見圖1 )。圖1顯示用于圖像搜索的常規(guī)屏幕顯示的 第一示例。由于以足夠大的大小顯示每個圖像，因此該技術(shù)具有提供高級可 視性的優(yōu)點；然而，也具有不能一次提供所有的圖像的視圖的缺點。
如圖2所示，存在其中減少每個圖像的顯示尺寸(display dimension), 由此一次顯示所有圖像。圖2顯示用于圖像搜索的常規(guī)屏幕顯示的第二示例。 該技術(shù)提供所有圖像的宏觀的、同時的概覽，并且特別地，如果基于視覺特 性分類圖像，則很容易發(fā)現(xiàn)目標圖像。具體地，例如，可以在具有所有圖像 的宏觀概覽的同時，通過根據(jù)圖像特性認出(spot )特定圖像來發(fā)現(xiàn)目標圖 像，然后通過縮放操作在圖像附近進行放大(這里，考慮同時放大多個圖像 的情況)。然而，根據(jù)該技術(shù)，存在隨著屏幕上的圖像總數(shù)的增加，每個圖像 的顯示尺寸變得更低的缺點。如果屏幕上的圖像數(shù)量進一步增加，則圖像可 能相互重疊。
因此，每個圖像的可視性和所有圖像的宏觀可視性相互阻礙；然而，例 如，在基于視覺特性分類圖像的情況下，可以在二者之間實現(xiàn)良好的平衡。
例如，如圖3所示，考慮其中將圖像分類為一些組的情況(存在用于不 同目的的各種可能的組分類，諸如基于圖像的視覺特性的相似性的分類、基 于創(chuàng)建圖像文件的日期的接近程度的分類和根據(jù)圖像文件的創(chuàng)建者的分類)。 圖3顯示用于圖像搜索的常規(guī)屏幕的第三示例。如果存在大量圖像，則如圖4所示，該技術(shù)使得能夠針對每一組僅顯示 代表圖像，或針對每一組僅顯示前景圖像(即，不在其上疊加其它圖像的圖
像)。圖4顯示用于圖像搜索的常規(guī)屏幕的第四示例。該技術(shù)允許基于組的宏 觀可視性和代表圖像的可視性之間的良好平衡。因此，利用該技術(shù)，可以在 具有基于代表圖像的所有圖像的宏觀概覽的同時，根據(jù)圖像特性等挑出特定 圖像。
已經(jīng)在上面描述了常規(guī)屏幕顯示技術(shù)，并且例如，專利文獻l公開了屬 于內(nèi)容搜索方法等的技術(shù)，其允許搜索所期望的內(nèi)容，同時提供大量內(nèi)容的 全面的概覽，而不變窄顯示屏幕上的宏觀可視性。
專利文獻2公開屬于信息搜索方法的技術(shù)，其允許在短時間段內(nèi)容易地 搜索目標信息。專利文獻3公開了屬于信息搜尋方法等的技術(shù)，用于有效地 搜索大量信息。
專利文獻l:日本公開專利申請出版物No. 2004-178384
專利文獻2:日本公開專利申請出版物No. 2004-258838
專利文獻3:日本專利出版物No. 3614235。
在采用如圖2或圖4所示的屏幕顯示配置(也就是根據(jù)圖像特性允許用 戶挑出特定圖像，同時具有所有圖像的宏觀概覽，然后通過縮放搡作對所認 出的圖像周圍進行放大(這里，考慮其中同時放大多個圖像的情況))的情況 下，在代表圖像之間形成空白空間(即，不具有圖像顯示的區(qū)域)。常規(guī)地， 未有效地使用由于圖像縮放操作產(chǎn)生的這樣的非顯示區(qū)域，因此，不能實現(xiàn) 單一 圖像的可視性和多個圖像的宏觀可^L性的進一步改進。

發(fā)明內(nèi)容
本發(fā)明目的在于解決上述問題，并且目的在于提供實現(xiàn)單一圖像的可視 性和多個圖像的宏觀可視性的進一步改進的圖像顯示設(shè)備、圖像顯示方法、 圖像顯示程序和記錄介質(zhì)。
為了實現(xiàn)上述目的，本發(fā)明的一個實施例可以是用于在單一屏幕上顯示 多個圖像的圖像顯示設(shè)備。圖像顯示設(shè)備包括放大單元，配置用來響應(yīng)于屏 幕上的縮放操作放大包含在多個圖像中的第一組圖像的質(zhì)心(centroid)之 間的距離，并且放大第一組圖像；和顯示控制單元，配置用來在放大的距離 的空間中顯示與所述多個圖像不同的一個或多個圖像。質(zhì)心之間的距離的放大率具有與第一組圖像的放大率的非線性關(guān)系，并且在非線性關(guān)系的程度內(nèi)， 質(zhì)心之間的距離的放大率具有其中第一組圖像的放大率大于質(zhì)心之間的距離 的放大率的預(yù)定范圍。


圖l顯示用于圖像搜索的常規(guī)屏幕顯示的第一示例； 圖2顯示用于圖像搜索的常規(guī)屏幕顯示的第二示例； 圖3顯示用于圖像搜索的常規(guī)屏幕顯示的第三示例； 圖4顯示用于圖像搜索的常規(guī)屏幕顯示的第四示例； 圖5顯示JPEG2000編碼處理的流程的示例；
圖6顯示圖像、標題、子帶(sub-band )、區(qū)(precinct)和碼塊的概念 間的關(guān)系的示例；
圖7顯示分解級和分辨率級之間的關(guān)系的示例；
圖8顯示層和分組的示例；
圖9顯示前進順序(progression order )。
圖IO是顯示分辨率級前進編碼的示意圖11顯示才艮據(jù)RLCP前進順序的分組布置的示例；
圖12(a)-(b)顯示SOT標記片段的細節(jié)。
圖13顯示通過在R邊界劃分RLCP前進代碼順序創(chuàng)建的片部分 (tile-part)的示例；
圖14(a)-(c)顯示用在本實施例中的JPEG2000的COD標記片段的細節(jié)。
圖15顯示本實施例的圖像顯示系統(tǒng)的結(jié)構(gòu)示例。
圖16顯示根據(jù)本實施例的圖像顯示系統(tǒng)的功能示例；
圖17圖解本實施例中用于圖像顯示的坐標系統(tǒng)；
圖18顯示初始圖像顯示的示例；
圖19圖解根據(jù)縮放操作的空白空間和圖像尺寸的放大；
圖20顯示在縮放操作之后的顯示屏幕的示例；
圖21顯示根據(jù)本實施例的在縮放操作之后的顯示屏幕的第一示例；
圖22顯示根據(jù)本實施例的在縮放操作之后的顯示屏幕的第二示例；
圖23顯示根據(jù)本實施例圖像顯示處理的第一示例；和
圖24顯示根據(jù)本實施例的用于計算分辨率級的操作。
具體實施例方式
接下來參照附圖描述本發(fā)明的優(yōu)選實施例。 [實施例]
下面描述本發(fā)明的實施例。在本實施例中，儲存在網(wǎng)絡(luò)上的圖像顯示設(shè) 備(服務(wù)器設(shè)備)的壓縮編碼圖像被傳送到客戶設(shè)備，在該客戶設(shè)備上解壓 縮并然后顯示圖像。
當在客戶設(shè)備上顯示圖像時，與圖像編組一起執(zhí)行圖像縮放操作。為了
改善縮放操作的響應(yīng)速度，本實施例采用JPEG2000格式的圖像數(shù)據(jù)，并且為 了圖像顯示設(shè)備和客戶設(shè)備之間的通信，采用稱為KPIP (JPEG 2000交互協(xié) 議)的傳送協(xié)議，所述協(xié)議允許部分圖像的傳送。以下解釋JPEG2000和JPIP。 然而，應(yīng)該注意的是，本發(fā)明的可應(yīng)用范圍不限于KPEG2000和JPIP，并且 本發(fā)明可以采用不同格式的圖像數(shù)據(jù)和不同的通信協(xié)議。 JPEG2000
圖5顯示JPEG2000編碼處理的流程的示例。通常根據(jù)圖5所示的流程圖 執(zhí)行JPEG2000編碼處理。以下給出圖5的流程的描述。
首先，在步驟S1，對每一片(tile)執(zhí)行DC電平移動操作和顏色空間 變換(S1)。在該步驟中，將要被編碼的圖像劃分為一個或多個矩形片，并且 對每一 片執(zhí)行顏色空間轉(zhuǎn)換來產(chǎn)生諸如亮度和色差之類的分量。
在步驟S2，對每一片執(zhí)行小波變換(wavelet transform) ( S2 )。在該 步驟中，小波變換將在步驟Sl轉(zhuǎn)換過的每個分量(稱為"片分量")劃分為 簡稱為LL、 HL、 LH和HH的四個子帶。重復(fù)地和遞歸地將小波變換(分解) 應(yīng)用到LL子帶，其最終產(chǎn)生一個LL子帶和多個HL、 LH和HH子帶(見圖6)。 圖6顯示圖像、片、子帶、區(qū)和碼塊的概念間的關(guān)系。
在步驟S3，為每一個子帶執(zhí)行量化(調(diào)整)(S3)。在該步驟中，通過將 在步驟S2產(chǎn)生的每個子帶劃分為被稱為"區(qū)"的矩形區(qū)域來實現(xiàn)子帶的量化。 位于在步驟S2產(chǎn)生的子帶HL、 LH和HH中的每一個的相同區(qū)域的三個區(qū)被處 理為單一的區(qū)段(precinct partition)。另 一方面/通過劃分LL子帶獲得 的區(qū)被處理為單一的區(qū)段，每個區(qū)用于指示圖像中的位置。區(qū)可以具有與子 帶相同的大小。每個區(qū)進一步被劃分為稱為"碼塊"的矩形區(qū)域(見圖6)。 也就是說，存在圖像2片>子帶2區(qū)2碼塊的物理大小關(guān)系。在圖7中顯示分辨率級和將小波變換應(yīng)用到圖像(分解級)的次數(shù)之間的關(guān)系。圖7顯示分解 級和分辨率級之間的關(guān)系的示例。
返回參照圖5,在步驟S4，位平面編碼(bit plane code )每個碼塊(S4 )。 在該步驟中，關(guān)于在步驟S3劃分出來的每個碼塊以位平面順序執(zhí)行位平面編 碼(系數(shù)的墑編碼)。下面提供進一步的細節(jié)。
通過將分組首標附加到從包含在步驟S3中產(chǎn)生的區(qū)中的每個碼塊提取 的位平面碼的多個部分(在這種情況下該"部分，，可以是空的)的集合(例 如，來自MSB面(最高有效位平面)的頭三個位平面的代碼的集合)來獲得 被稱為"分組"的實體。分組首標包括屬于包含在分組中的代碼的信息，并 且可以獨立處理每個分組。在某種程度上，分組是編碼的單位(unit )。
通過集合所有區(qū)(=所有碼塊=所有子帶)的分組獲得整個圖像的所有 代碼的一部分(例如，從MSB位平面到第三級位平面的整個圖像的小波系數(shù) 的代碼)。該所獲得的部分被稱為"層"。由于層是整個圖像的位平面的代碼 的一部分，因此隨著解碼的層的數(shù)量的增加，圖像質(zhì)量變得更高。也就是， 層是圖像質(zhì)量的單位。
可以通過集合所有的層來獲得整個圖像的所有位平面的代碼。圖8顯示 層和分組的示例。圖8的示例圖解在其中"分解級=2"和"區(qū)大小=子帶大 小"的情況下，層和包含在層中的分組。由于關(guān)于區(qū)形成分組，因此當"區(qū) 大小-子帶大小，，時分組跨越同一分解級的HL、 LH和HH子帶。在圖8中， 由粗線方框指示某些分組。
通過才艮據(jù)其中劃分分組和層的方式布置所產(chǎn)生的分組來形成最終碼。因 此，每個分組具有分組的分量(標記為"C")、分辨率級("R，，)、分組的區(qū)(位 置，"P")和層("L")的四個屬性(下面簡稱為"前進屬性")。在每個組分 的開始提供分組首標，并且分組首標之后為MQ碼(分組數(shù)據(jù))。分組的布置 表示根據(jù)前進屬性的所定義的順序的分組首標和分組數(shù)據(jù)的層級布置。確定 分組布置的前進屬性的順序被稱為前進順序，并且定義了如圖9所示的5種 不同類型的前進順序。圖9顯示5個前進順序。
下面描述其中編碼器根據(jù)前進順序布置分組的方式以及其中解碼器根據(jù) 前進順序解釋分組的屬性的方式。
下面是描述其中前進順序是LRCP的情況的ITU-T Rec. T. 800| ISO/15444-l中的摘錄。及".丄J i為、辦舉i^為、JVjil^遽
^為、辨畢J^、jy^r裙遽被;t乂^以7"/{//貌孕的為、邀的^織
尸or J =《......，丄一7
尸or esc力i"=《......,乂
fo了 eac力= ......， Cs/Z"/
尸or eac/ ir = 。,......，/ w/H/ rec/;2c/^—7
/>aciret /"or co邵oneC /， reso/wf/oo 7eKe/ r, /ayer 7，
這_^， Z^fi的炎量，而l^f^在^的任辨》量哞的為、庠斂的j^ 義教。該類型的#迷在處希望/庶^摔橫確^好^"然 ^的，但乂對f摩有 為、量,要L惑。
也就是，以下列順序執(zhí)行分組布置(在編碼時)和分組屬性解釋(在解 碼時)
for (layer) { for (resolution) { for (component) { for (precinct) {
during encoding: packet arrangement
during decoding: packet attribute interpretation
如上所述，每個分組具有分組首標，并且利用指示下列條目的數(shù)據(jù)寫該 首標
(1)分組的內(nèi)容是否為空； (2 )在分組中包含那些碼塊； (3)包含在分組中的每個碼塊的零位平面的數(shù)量； (4 )包含在分組中的每個碼塊的代碼的編碼傳送(coding pass )數(shù)(位 平面數(shù))；和
(5)包含在分組中的每個碼塊的代碼長度。然而，分組首標不包含指示層號、分辨率級等的任何數(shù)據(jù)。因此，為了在解
碼時確定每個分組的層和分辨率級，需要基于被(例如)寫入主首標的COD 標記片段中的前進順序產(chǎn)生for循環(huán)(諸如上面顯示的那個)，然后根據(jù)包含 在分組中的每個碼塊的代碼長度之和來識別分組的邊界，并且確定在其上處 理分組的for循環(huán)的部分。因此，通過簡單地讀取寫在分組首標中的代碼長 度，可以檢測下一分組，也就是可以訪問給定分組而無需解碼熵碼。
圖IO是顯示分辨率級前進編碼的示意圖。圖IO顯示分辨率級前進碼的 概念，其中如在RLCP前進中，分辨率級屬性(R )被定位在for循環(huán)的最外 部。圖11顯示根據(jù)RLCP前進順序的分組布置的示例。圖11的示例顯示在 32 x 32區(qū)大小的情況下，根據(jù)RLCP前進順序的36個分組布置的示例。
用于每一片的代碼可以在分組的邊界被進一步劃分為多個部分。這些所 劃分的部分被稱為"片部分"。每個片部分包括從SOP (片部分的開始)標記 片段開始并在SOD (日期的開始)標記結(jié)束的首標。該首標被稱為"片部分 首標"。圖12顯示SOT標記片段的細節(jié)。其中的圖12 (B)圖解片部分首標 中的S0T標記片段(包括標記和屬于標記的參數(shù)的部分被稱為"標記片段") 的細節(jié)。通過讀取包含在SOT標記片段中的參數(shù)"Psot，，的內(nèi)容確定特定片 部分的長度。因此，通過讀取SOT標記片段，可以逐片部分地對片部分上的 代碼進行訪問，而無需解碼分組首標。應(yīng)該注意，圖10顯示片部分的數(shù)量為 1的情況。
JPIP
如上所述，JPEG2000碼允許逐分組地(或更簡單地逐片部分地)訪問。 這意味著僅從原始碼提取必要的代碼來創(chuàng)建新代碼。這還意味著當需要時可 以僅從原始碼解碼部分代碼。例如，在客戶設(shè)備上顯示儲存在圖像顯示設(shè)備 (服務(wù)器設(shè)備)中儲存的大量圖像的情況下，客戶設(shè)備能夠從圖像顯示設(shè)備 僅接收和解碼用于所要求的圖像質(zhì)量的代碼、用于所要求的分辨率的代碼、 用于圖像的所期望的部分的代碼或用于所期望的分量的代碼。用于僅接收儲 存在圖像顯示設(shè)備中的JPEG2000碼的所需部分代碼的協(xié)議被稱為JPIP。
在JPIP協(xié)議中，提出客戶設(shè)備向圖像顯示設(shè)備指定特定圖像的所期望的 分辨率級以及用于描述圖像的實際窗口大小。當接收到這樣的指定時，圖像 顯示設(shè)備傳送轉(zhuǎn)換具有被指定的分辨率的圖像的對應(yīng)區(qū)域的區(qū)的分組，或簡 單地傳送轉(zhuǎn)換對應(yīng)區(qū)域的片部分。本實施例使用用于傳送片部分的JPIP系統(tǒng)(稱為"JPT系統(tǒng)")。
這樣的JPT系統(tǒng)以下列方式從整個圖像的片部分中提取轉(zhuǎn)換對應(yīng)的部分 的片部分。在這種情況下，假定圖像顯示設(shè)備知道如何劃分圖像顯示設(shè)備本 身管理的代碼的片部分。
例如，在其中在所有分辨率級的邊界劃分如圖11所示的與一個片和兩個 層對應(yīng)的RLCP前進順序碼的分組的情況下，獲得如圖13所示的三個片部分。 圖13顯示通過在R邊界劃分RLCP前進順序創(chuàng)建的片部分的示例。
假設(shè)圖像顯示設(shè)備從客戶設(shè)備接收用于"在20 x 20窗口大小中顯示對應(yīng) 于25 x 25個像素的分辨率部分"的請求。"對應(yīng)于25 x 25像素的分辨率部分" 指示分辨率級為O的部分，而"20 x 20窗口大小"指示具有分辨率級O的像 素內(nèi)的20 x 20個j象素。
圖像顯示設(shè)備從圖像顯示設(shè)備本身管理的代碼中4是取覆蓋分辨率級0的 片部分，并且將所提取的片部分連同代碼的主首標信息一起傳送到客戶設(shè)備。 由于每個片部分在其起始部分具有SOT標記片段，并且可以理解片部分的長 度，因此總是可以確定片部分的邊界?？梢詮膱D13-15清楚地看出，通過兩 個參數(shù)-代碼的前進順序和將代碼劃分為片部分的方法來確定要被傳送的片 部分(即，從第x片部分到第y片部分)。由于前進順序被寫入主首標或片部 分首標的COD標記片段中，因此可以從代碼本身讀取前進順序。4艮定已經(jīng)知 道劃分為片部分的劃分方法。
圖14顯示用在本實施例中的JPEG2000的COD標記片段的細節(jié)。其中的 圖14(c)的默認前進順序被寫入主首標中的COD標記片段中的SGcod中(見 圖14 (B))，并且在需要時還被寫入片部分的COD標記片段中。
因此，完成JPEG2000和JPIP的描述。
圖像顯示設(shè)備的結(jié)構(gòu)示例
接下來描述根據(jù)本實施例的圖像顯示設(shè)備。圖15顯示本實施例的圖像顯 示系統(tǒng)的結(jié)構(gòu)示例。
在圖15中，圖像顯示系統(tǒng)1是包括圖像顯示設(shè)備(服務(wù)器設(shè)備)2和客 戶設(shè)備3的客戶端服務(wù)器系統(tǒng)。例如，圖像顯示設(shè)備2具有CPU (中央處理 器)21、 RAM (隨機存取存儲器)22和經(jīng)由數(shù)據(jù)總線4連接的HDD 23。注意， HDD 23可以是外部地連接到圖像顯示設(shè)備2的設(shè)備。此外，作為具有CPU、 RAM等的通用計算機設(shè)備的客戶設(shè)備3經(jīng)由數(shù)據(jù)總線4連接到圖像顯示設(shè)備
12
在具有上述結(jié)構(gòu)的圖像顯示系統(tǒng)1中，當圖像顯示設(shè)備2從客戶設(shè)備3 接收用于圖像代碼、圖像分辨率級(fsize)、顯示窗口等的規(guī)格時，在圖像 顯示設(shè)備2中執(zhí)行下列處理(1)根據(jù)來自CPU21的指令將儲存在HDD 23的 原始圖像的代碼讀到RAM22; ( 2 ) CPU 21讀取RAM22中的代碼；("CPU 21 從原始圖像提取所期望的代碼；和(4)根據(jù)來自CPU 21的指令將所提取的 代碼傳送到客戶設(shè)備3 (或HDD 23)。注意，在本實施例中，顯示多個圖像， 因此將處理(1)到(4)執(zhí)行與要被顯示的圖像數(shù)相同的次數(shù)。
注意，這里提供其中服務(wù)器設(shè)備2是圖像顯示設(shè)備的實施例的描述；然 而，本發(fā)明不限于該情況。實際顯示圖像的客戶設(shè)備3可以是本發(fā)明的圖像 顯示設(shè)備的實施例，或者實現(xiàn)服務(wù)器設(shè)備2和客戶設(shè)備3兩者功能的圖像顯 示系統(tǒng)可以是本發(fā)明的廣泛地限定的圖像顯示設(shè)備的實施例。
圖像顯示設(shè)備的功能示例
圖16顯示根據(jù)本實施例的圖像顯示系統(tǒng)的功能示例。
在圖16中，圖像顯示設(shè)備2包括通信單元210、控制單元220和圖像存
儲單元230,而客戶設(shè)備3包括通信單元310、顯示控制單元320、指令輸入
單元33Q等。
通信單元210執(zhí)行與客戶機設(shè)備3的各種通信。這里"各種通信"包括 用于接收圖像代碼、圖像分辨率級(fsize)和顯示窗口的規(guī)格的處理?；?由通信單元210接收到的規(guī)格，控制單元220獲得儲存在圖像存儲單元230 中的圖^象的對應(yīng)信息，諸如圖像代碼信息。經(jīng)由通信單元210將所獲得的信 息傳送到客戶機設(shè)備3。圖像存儲單元230在其中存儲圖像、或更具體地是 上述JPEG2000格式的圖像數(shù)據(jù)。
通信單元310執(zhí)行與圖像顯示設(shè)備2的各種通信。這里，"各種通信"包 括用于從圖像顯示設(shè)備2接收諸如圖像代碼信息之類的信息的處理。
顯示控制單元320執(zhí)行各種顯示相關(guān)控制，諸如促使顯示設(shè)備340 (如, 顯示監(jiān)視器)顯示圖像。顯示控制單元320還具有作為質(zhì)心到質(zhì)心距離放大 裝置的功能。當在單一的屏幕上顯示的多個圖像中間，根據(jù)由將在下面描述 的輸入單元330輸入的放大指令或居中(centering )指令顯示第一圖像組的 圖像時，使用該功能。該功能允許以這些圖像的質(zhì)心之間的距離(也就是質(zhì) 心到質(zhì)心距離)被放大的方式顯示第一圖像組的圖像。指令輸入單元330輸入在輸入設(shè)備350 (如，鼠標)上作出的各種指令， 諸如關(guān)于用于圖像代碼、圖像分辨率級(fsize)和顯示窗口的指定的輸入。
根據(jù)上述功能結(jié)構(gòu)，在本實施例的圖像顯示系統(tǒng)1中，儲存在網(wǎng)絡(luò)上的 圖像顯示設(shè)備2中的壓縮編碼的圖像被傳送到客戶設(shè)備3，在該客戶設(shè)備3 上解壓縮然后顯示圖像。
用于圖像顯示的坐標系統(tǒng)
圖17圖解本實施例中用于圖像顯示的坐標系統(tǒng)。這里利用圖16的顯示 設(shè)備340的示例描述用于圖像顯示的坐標系統(tǒng)，所示顯示設(shè)備340是具有1280 x 1024點的分辨率級的顯示監(jiān)視器。
圖17顯示范圍從左上的原點(0, 0)到右下的點(1280, 1024 )的坐標 系統(tǒng)。在顯示設(shè)備340上顯示的每個圖像分別具有質(zhì)心坐標G和水平和垂直 方向上的顯示尺寸w和h。注意，在圖17中，點0(0, 0)和點C( 640, 512 ) 被提供為固定點。
初始圖像顯示的示例
圖18顯示初始圖像顯示的示例。由圖16的顯示控制單元320在顯示設(shè) 備340上顯示圖18中顯示的屏幕。
如上所述，對于圖18中顯示的每個圖像，定義初始質(zhì)心坐標G和水平和 垂直尺寸w和h。這里注意，在初始圖像顯示的本示例中，圖18的所有圖像 具有相同的水平和垂直尺寸w和h。此外，在圖18中，圖像是第一圖像組的 圖像，其為由用戶初步選擇的代表圖像，并且將這些圖像劃分為多個組(在 該示例中，6個組)。
在顯示初始圖像顯示的圖18中，同一組的兩個圖像之間的空白空間的水 平和垂直尺寸被分別設(shè)置為w/2和h/2 (在各組之間提供較大的空白空間)。
在圖18中，虛線矩形還表示實際的圖像；然而，在圖20 (要在下面詳 細描述)，這些虛線圖像被定位在顯示區(qū)域之外。
縮放操作
如圖18所示，接下來描述在顯示設(shè)備340上顯示初始圖像顯示的圖像期 間，用于顯示根據(jù)(例如)在圖16的輸入設(shè)備350 (如，鼠標)上作出的縮 放操作放大和縮小的圖像的操作。
〃假設(shè)圖18中給定圖像具有初始質(zhì)心坐標GO、初始水平尺寸wO和初始垂 直尺寸hO,并且根據(jù)縮放操作的質(zhì)心到質(zhì)心距離放大(率)和圖像縮放放大(率)分別是Zm和Zi。在這種情況下，可以由下面的方程(l)、 (2)和(3) 分別表示每個圖像的質(zhì)心坐標Gl和水平和垂直尺寸wl和hl。應(yīng)該注意，在 圖像顯示的本示例中，利用在中心的點C執(zhí)行所有縮放操作。
5^1 = 55 + Zm.^5 …方程(1)
wl-ZiwO ...方程(2)
hl = ZihO …方程(3)
圖19圖解根據(jù)縮放操作的質(zhì)心到質(zhì)心距離和圖像尺寸的放大。如圖19 所示，在兩個圖像的質(zhì)心之間的垂直方向距離(質(zhì)心到質(zhì)心距離)在初始圖 像顯示中為1.5h0。這里，假設(shè)，利用在質(zhì)心到質(zhì)心距離的放大Zm率上的放 大，這兩個圖像的質(zhì)心被移動，并且質(zhì)心到質(zhì)心距離增加到Zm倍(Zm-fold)， 而在圖像縮放率Zi上放大每個圖像的水平和垂直尺寸。然后，進一步假設(shè)在 圖像縮放放大率Zi上放大的一個圖像連同其擴展的空白空間正好適合被延 長的質(zhì)心到質(zhì)心距離。在這種情況下，在Zm和Zi之間建立如下關(guān)系 1. 5hO'Zm=3-hO'Zi。
也就是，通過建立Zm=2.Zi的關(guān)系，可以響應(yīng)于用戶的縮放操作創(chuàng)建允 許一個圖像放入其中的空白空間。例如，在Zi = l. 1 (即，圖像放大)的情 況下，在圖18的初始圖像顯示中的顯示屏幕被改變到如圖20所示的顯示屏 幕。圖20顯示在縮放操作之后的顯示屏幕的示例。當Zi超過l.l時，例如， 可以在圖20所示的空白空間中顯示如圖21所示的陰影圖像。此外，可以如 圖22所示那樣顯示6個新組。應(yīng)該注意，陰影圖像是與用戶初步選擇的代表 圖像不同的非代表圖像。圖21和22分別顯示根據(jù)本實施例的在縮放操作之 后的顯示屏幕的第一和第二示例。因此，通過有效地使用空白空間可以改善 單一圖像的可視性和多個圖像的宏觀可視性，而根據(jù)常規(guī)技術(shù)，在縮放操作 后在空白空間中不顯示圖像。
在縮放操作之后，將具有第 一 圖像組的初始圖像顯示改變到具有第二圖 像組的圖像顯示的一種優(yōu)選方式是，當在目標點上執(zhí)行縮放操作時，代表圖 像之間的空白空間擴展，然后在擴展過的空白空間中出現(xiàn)非代表圖像和非前 景圖像(或這樣的圖像的部分)。也就是，雖然當執(zhí)行縮放操作時，空白空間 和圖像均被擴展，但是，特別在顯示第二圖像組之前，最好質(zhì)心到質(zhì)心距離 放大率Zm大于圖像縮放放大率Zi。
下面描述本實施例的質(zhì)心到質(zhì)心距離放大率Zm和圖像縮放放大率Zi之間的關(guān)系的示例。
Z i和Zm之間的關(guān)系的示例1
Zm = 2'Zi(BZi^U) …方程(4)
Zm = Zi(0<Zi<l,l.l<Zi) ...方程(5)
當滿足以上關(guān)系時(也就是，質(zhì)心到質(zhì)心距離放大率Zm具有與圖像縮放
放大率Zi的非線性關(guān)系，并且在質(zhì)心到質(zhì)心距離放大率Zm被設(shè)置到大于圖
像縮放放大率Zi時，非線性關(guān)系具有(l^Zi^L 1 )的范圍)，在圖21的縮小
操作和放大操作中，圖像尺寸對空白空間的比值保持恒定。
Zi和Zm之間的關(guān)系的示例2 Zm = 2(Zi = l) Zm = Zi(0<Zi<l)
當Zi是l或更少時，如果滿足以上關(guān)系，則可以僅擴展圖像之間的空白
空間，而不放大圖像。因此，可以防止擴展不必要的空白空間。
Zi和Zm之間的關(guān)系的示例3 Zm = 2.Zi(l《ZiSU) Zm = Zi(0<Zi<l)
Zm = k.Zi(U<Zi) (k是小于l的常數(shù))
如果滿足以上關(guān)系，在圖21的放大操作中，質(zhì)心到質(zhì)心距離放大率Zm
變得小于圖像縮放放大率Zi。因此，隨著圖像顯示尺寸變大，空白空間變得
更小，由此能夠增加顯示圖像的總數(shù)，因此提供合理的圖像顯示。
Zi和Zm之間的關(guān)系的示例4 Zm = 2.Zi(lSZ"l.l) Zm = Zi(0<Zi<l)
Zm = k.Zi(l.l<p) (k是小于l的常數(shù)，p是大于l.l的常數(shù))
Zm = Zi (P < Zi)
在其中k<l的之前示例3的情況下中，圖像可能在某些放大操作中相互 重疊。為了防止這些圖像重疊，以上的關(guān)系是有效的。 Zi和Zra之間的關(guān)系的示例5
以上示例1到4圖解根據(jù)例如在圖16的輸入設(shè)備350 (如，鼠標)上作 出的縮放操作用于放大和縮小顯示的Zi和Zm之間的關(guān)系。
示例5涉及圖16的輸入設(shè)備350 (如，鼠標)上作出居中操作來將焦點 (如，鼠標指針的位置)移動到屏幕的中心的情況。在這種情況下，可以滿 足下面的關(guān)系Zm = 2， Zi = 1 …方程(6 )
并且可以執(zhí)行并行位移來將焦點移動到點C。
Zi和Zm之間的關(guān)系的示例6 "組選擇，，下面表示選擇任意一組，并且例如通過右鍵點擊組成組的圖 像的外切矩形實現(xiàn)。在這種情況下，滿足下面的關(guān)系
Zm = 2， Zi = 1 …方程(7 )
并且可以不執(zhí)行像居中操作那樣的并行位移。
圖像顯示處理的示例
利用顯示屏幕的示例在上面描述了圖像顯示。接下來參照圖23描述圖像 顯示處理的示例。圖23顯示根據(jù)本實施例圖像的顯示處理的示例。
在圖23的描述之前，解釋在圖像顯示處理的本示例中使用的DHTML (Dy畫icHTML)。
如用于網(wǎng)頁那樣，用于在單一屏幕中顯示多個圖像的典型方法是通過指 定每個圖像的位置和顯示尺寸，在一個HTML文件中嵌入多個圖像。此外，用 于檢測事件(諸如用戶作出的鼠標運動)并根據(jù)所檢測到的事件動態(tài)地改變 嵌入在HTML文件中的對象的外觀的典型方法正在采用的DynamicHTML (DHTML )。 DynamicHTML用在圖像顯示處理的本示例中。
在HTML和DHTML中，可以嵌入圖像的觀看器(用于顯示圖像的組成部分) 而不是圖像本身(該典型示例是嵌入視頻觀看器的網(wǎng)站)。在DHTML中，可以 改變觀看器和要被顯示的圖像的位置和顯示尺寸。
公知的ActiveX控制是嵌入HTML或DHTML中并經(jīng)由網(wǎng)絡(luò)瀏覽器使用(例 如，顯示圖像)的這種組成部分的典型實現(xiàn)示例。允許JPEG2000碼的解碼和 解碼之后的圖像顯示的ActiveX控制被實現(xiàn)為圖像顯示處理的本示例的圖像 觀看器。每個圖像觀看器具有與要顯示的圖像相同的顯示尺寸(根據(jù)圖像顯 示尺寸確定觀看器尺寸)。
本示例中使用的觀看器(viewer )還能夠向JPIP服務(wù)器設(shè)備(對應(yīng)于圖 16的圖像顯示設(shè)備2 )傳送JPIP請求，并且接收和分析來自JPIP服務(wù)器設(shè) 備的JPIP應(yīng)答。也就是，觀看器還具有解釋JPT流的JPIP客戶端(對應(yīng)于 圖16的客戶設(shè)備3)的功能。
在圖像顯示處理的本示例中，將圖18的三十個圖像預(yù)定為第一圖像組的 圖像，并且對于每個圖像，預(yù)定質(zhì)心坐標以及垂直和水平尺寸的默認值。此外，在圖21中的被添加陰影的28個圖像被預(yù)定為非第一圖像組的圖像，并 且對于每個圖像，預(yù)定質(zhì)心坐標以及水平和垂直尺寸的默認值。如果根據(jù)它 們的默認值同時顯示第一和非第一圖像組，則它們的圖像相互重疊，因此最 初僅顯示第 一 圖像組作為代表。
圖23顯示由DHTML、觀看器和JPIP服務(wù)器執(zhí)行的處理流程。接下來參 照圖23描述圖像顯示處理的本示例。
首先，DHTML確定用于顯示第一圖像組的圖像的每個觀看器的默認顯示 位置、默認尺寸和顯示圖像(S101 )。構(gòu)成網(wǎng)頁的DHTML從配置文件讀取用于 每個觀看器的默認顯示位置、默認尺寸和顯示圖像的(URL)。
在步驟S102， DHTML關(guān)于需要在其上顯示圖像的所有觀看器設(shè)置顯示位 置、顯示尺寸和顯示圖像(S102)。在該步驟中，針對所有的觀看器設(shè)置在步 驟S102中確定的默認值。然后，在步驟S103,每個觀看器檢測在步驟102 設(shè)置的對應(yīng)顯示位置、顯示尺寸和顯示圖像(S103)。
在步驟S104,當指定對應(yīng)圖像的顯示尺寸時，每個觀看器使用JPIP請 求來向JPIP服務(wù)器請求部分編碼(S104)。在該點上，與圖17不同，每個觀 看器不需要對應(yīng)的圖像的完全分辨率級；然而，經(jīng)常存在每個觀看器需要整 個圖像區(qū)域而不是部分圖像區(qū)域的情況。因此，每個觀看器將整個區(qū)域指定 為在JPIP協(xié)議定義的窗口區(qū)域。
接下來，在步驟S105, JPIP服務(wù)器解釋在步驟S104接收到的每個JPIP 請求，提取與顯示尺寸最接近(或最接近但大于顯示尺寸)的分辨率級的代 碼，并且將代碼傳送到作為JPIP客戶端的每個觀看器(S105)。在步驟S106, 每個觀看器通過解碼從JPIP服務(wù)器接收到的代碼并將所解碼的圖像的大小 改變到所要求的顯示尺寸來顯示對應(yīng)圖像(S106)。
然后，在步驟S107， DHTML等待由用戶執(zhí)行的縮放操作的檢測(S107)。 更具體地，在每個觀看器根據(jù)上述步驟S101到S106完成第一圖像顯示之后 (或在步驟S102之后)，DHTML等待用戶的縮放操作(如，鼠標滾輪的旋轉(zhuǎn) 或縮放按鈕的點擊)。
在步驟S107的"是，，的情況下，也就是，在其中DHTML檢測由用戶執(zhí)行 的縮放操作的情況下(在S107的"是，，)，處理前進到步驟S108。
在步驟S108，對于第一圖像組的圖像的每個觀看器，更新圖像顯示位置 和顯示尺寸(S108)。在該點上，例如，在步驟S107鼠標滾輪的旋轉(zhuǎn)量被轉(zhuǎn)換為圖像縮放放大率Zi。然后，對于第一圖像組的每個觀看器，使用上述方
程(l)到(5)計算圖像顯示位置和顯示尺寸。注意，該步驟用于第一圖像 組，并且不對顯示圖像本身執(zhí)行更新。
在步驟S109，作出在步驟S108所計算出的圖像縮放放大率是否超過l. 1 的判斷(S109)。在步驟S109中Zi>l. 1的情況下(在S109的"是")，處理 前進到步驟SllO。在步驟S109中Zi<l. 1的情況下(在S109的"否，，)，處 理返回到步驟SI02。
在步驟S110， DHTML從配置文件讀取用于不同于用于第一圖像組的觀看 器的所有觀看器中的每一個的顯示位置、顯示尺寸和顯示圖像，并且使用上 述方程(1)、 (2)、 (3)、 (4)和(5)計算用于非第一圖像組的圖像的每個觀 看器的圖像顯示位置和顯示尺寸。當結(jié)束步驟SllO時，處理返回到步驟S102, 并且DHTML針對需要在其上顯示所有觀看器設(shè)置在步驟SI 10讀出的顯示位置 等的值。然后，重復(fù)下列步驟向JPIP服務(wù)器傳送請求；接收響應(yīng)；解碼部 分代碼；和在改變圖像大小后顯示對應(yīng)圖像。
分辨率級的計算示例
在JPIP協(xié)議中，由參數(shù)"rsiz"指定顯示窗口大小，并且通過由x方向 大小"fx"、 y方向大小"fy，，等定義的參數(shù)"fsiz"指定所要求的分辨率級。 從每個JPIP客戶端向JPIP服務(wù)器傳送顯示窗口大小和分辨率級。下面顯示 用在該點上的格式的示例
fsiz ="fsiz" " = ，， x-方向大小","y-方向大小["，""最接近"]" rsiz ="rsiz" " = ，， x方向上的窗口大小","y方向上的窗口大小" 當從JPIP客戶端傳送要顯示的文件及其分辨率級(fsiz )的規(guī)格時，JPIP 服務(wù)器根據(jù)圖24所示的流程計算所要求的分辨率級。這里，"min[a，b]"是 計算a和b中較小的數(shù)字的函數(shù)，而"log2 ()"指示2是對數(shù)的基。圖24 顯示根據(jù)本實施例的用于計算分辨率級的操作。
注意，在圖23的步驟S107中，在檢測用戶執(zhí)行的居中操作(而不是縮 放操作)的情況下，替代上述方程(4 )和(5 )使用方程(6 )。此外，在檢 測到組選擇的情況下，替代上述方程(4 )和(5 )使用方程(7 )。
可以通過檢測初步與居中操作相關(guān)聯(lián)的事件(如，雙擊)和事件出現(xiàn)時 鼠標指針的位置來實現(xiàn)居中操作的檢測。類似地，可以通過檢測初步與組選 擇操作相關(guān)聯(lián)的事件(如，在組成每一組的圖像的外切矩形(circumscribedrectangle)上的右鍵點擊)和事件出現(xiàn)時鼠標指針的位置實現(xiàn)檢測組選擇的 檢測，然后位于最接近鼠標指針的圖像的類別被確定為所選擇的類別。
因此，雖然這里已經(jīng)參照其優(yōu)選實施例描述了本發(fā)明，但是其不應(yīng)該被 限制到本實施例的描述。應(yīng)該理解，可以對特定示例進行各種改變和修改， 而不背離本發(fā)明的廣義精神的范圍和范圍。
本發(fā)明的實施例提供實現(xiàn)單一圖像的可視性和多個圖像的宏觀可視性的 改進的圖像顯示設(shè)備、圖像顯示方法、圖像顯示程序以及記錄介質(zhì)。
本申請基于2007年11月6日向日本專利局提交的日本專利申請 No. 2007-288555，通過引用將其全部內(nèi)容合并在此。
權(quán)利要求
1. 一種用于在單一屏幕上顯示多個圖像的圖像顯示設(shè)備，包括放大單元，配置用來響應(yīng)于所述屏幕上的縮放操作放大包含在所述多個圖像中的第一組圖像的質(zhì)心之間的距離，并且放大所述第一組圖像；和顯示控制單元，配置用來在所放大的距離的空間中顯示與所述多個圖像不同的一個或多個圖像，其中所述質(zhì)心之間的距離的放大率具有與所述第一組圖像的放大率的非線性關(guān)系，并且在所述非線性關(guān)系的程度內(nèi)，所述質(zhì)心之間的距離的放大率具有其中所述第一組圖像的放大率大于所述質(zhì)心之間的距離的放大率的預(yù)定范圍。
2. 如權(quán)利要求1所述的圖像顯示設(shè)備，其中在所述非線性關(guān)系的程度內(nèi)， 所述質(zhì)心之間的距離的放大率具有其中所述第一組圖像的放大率等于所述質(zhì) 心之間的距離的放大率的預(yù)定范圍。
3. 如權(quán)利要求l所述的圖像顯示設(shè)備，其中所述放大單元基于放大指令 和居中指令之一放大所述質(zhì)心之間的距離。
4. 如權(quán)利要求1所述的圖像顯示設(shè)備，還包括 圖像選擇單元，配置用來從多個圖像選擇所述第一組圖像。
5. 如權(quán)利要求1所述的圖像顯示設(shè)備，其中所述多個圖像被劃分為多個 組，并且所述第一組圖像包括從每個組選擇的一個或多個預(yù)定的圖像。
6. 如權(quán)利要求5所述的圖像顯示設(shè)備，其中所述放大單元基于從各組中 作出的選擇放大所述質(zhì)心之間的距離。
7. —種在單一屏幕上顯示多個圖像的圖像顯示設(shè)備中使用的圖像顯示方 法，所述圖像顯示方法包括步驟響應(yīng)于所述屏幕上的縮放操作，放大包含在所述多個圖像中的第一組圖 像的質(zhì)心之間的距離，并且放大所述第一組圖像；和在所放大的距離的空間中顯示與所述多個圖像不同的一個或多個圖像， 其中所述質(zhì)心之間的距離的放大率具有與所述第一組圖像的放大率的非 線性關(guān)系，并且在所述非線性關(guān)系的程度內(nèi)，所述質(zhì)心之間的距離的放大率 具有其中所述第一組圖像的放大率大于所述質(zhì)心之間的距離的放大率的預(yù)定范圍。
全文摘要
公開了用于在單一屏幕上顯示多個圖像的圖像顯示設(shè)備，包括放大單元，配置用來響應(yīng)于屏幕上的縮放操作放大包含在多個圖像中的第一組圖像的質(zhì)心之間的距離，并且放大第一組圖像；和顯示控制單元，配置用來在放大的距離的空間中顯示與所述多個圖像不同的一個或多個圖像。質(zhì)心之間的距離的放大率具有與第一組圖像的放大率的非線性關(guān)系，并且在非線性關(guān)系的程度內(nèi)，質(zhì)心之間的距離的放大率具有其中第一組圖像的放大率大于質(zhì)心之間的距離的放大率的預(yù)定范圍。
文檔編號H04N1/387GK101431591SQ20081017041
公開日2009年5月13日 申請日期2008年11月3日 優(yōu)先權(quán)日2007年11月6日
發(fā)明者作山宏幸, 兒玉卓, 原潤一, 大根田章吾, 小林幸二, 木原酉華, 濱谷千尋, 稻本浩久, 竹中麻衣子, 貞末多聞 申請人:株式會社理光