專利名稱：在壓縮域中的圖像局部檢索方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于在客戶與服務(wù)器之間發(fā)送圖像的方法和系統(tǒng)。本方法和系統(tǒng)尤其適合于對存儲在服務(wù)器中的圖像的局部發(fā)送。
背景技術(shù)：
和已有技術(shù)數(shù)字圖像能夠存儲在服務(wù)器中并在電信網(wǎng)絡(luò)上分配。圖像還可以存儲在用于例如一個CD-ROM的物理介質(zhì)上。如果是大規(guī)模的圖像，則發(fā)送圖像將可能要占一段時間。為了加速該發(fā)送，客戶可以選擇更重要的一個圖像區(qū)域，并因此僅接收該區(qū)域。此方式被稱為感性趣區(qū)域(ROI)編碼。
在當(dāng)今的客戶-服務(wù)器系統(tǒng)中，如果客戶要從服務(wù)器存取一個圖像，則要在客戶方的用戶程序和該服務(wù)器之間建立一個連接。用戶程序隨即發(fā)送請求以便得到期望的圖像。服務(wù)器通過檢出該文件作出反應(yīng)并開始發(fā)送。用戶程序能夠在任何時候把一個新請求發(fā)送到該服務(wù)器，例如發(fā)送針對文件一部分的一個請求。當(dāng)發(fā)送結(jié)束時，該連接關(guān)閉。這樣的一個系統(tǒng)在Fielding等人的“超文本傳送協(xié)議HTTP/1.105版”(HTTP工作組，互聯(lián)網(wǎng)絡(luò)-草案)1998年9月11日(工作仍在進(jìn)行中)中有說明。
但是問題在于大部分靜止圖像壓縮技術(shù)，例如JPEG，產(chǎn)生的比特?cái)?shù)據(jù)流是不能分割的編碼單元。因此，如果選擇一個感性趣區(qū)域，可獨(dú)立解碼單元的缺乏將迫使服務(wù)器執(zhí)行一個全部解碼，隨后是整個比特?cái)?shù)據(jù)流的新編碼。依據(jù)該服務(wù)器軟件，有時甚至必須從該存儲介質(zhì)再裝入該圖像。此方式的缺點(diǎn)是耗時和需要復(fù)雜的計(jì)算方案，故將對于服務(wù)器的計(jì)算能力有很高要求。
此外，新出現(xiàn)的靜止圖像標(biāo)準(zhǔn)JPEG2000使用了所謂編碼單元(CU)的獨(dú)立熵編碼。一個編碼單元可以是例如在該變換域中的一個子頻帶(即在子波變換的情況下)、可以是一個子頻帶的一部分，例如確定尺寸(實(shí)例16×16)的比特平面或數(shù)據(jù)塊、或可以是針對一個子頻帶之內(nèi)的一個區(qū)域的比特平面。
發(fā)明概要本發(fā)明的一個目的是克服上面描述的問題，尤其是當(dāng)客戶請求一個ROI時，即當(dāng)請求圖像的一部分時，減少在服務(wù)器中的處理和編碼量。
此目的和其它目的是通過把圖像作為可獨(dú)立解碼的單元(CU)組存儲在一個服務(wù)器上而達(dá)到的。當(dāng)客戶僅請求圖像的一確定部分時，從尚未發(fā)送的CU來的信息被隨即重新編碼，這將在服務(wù)器中節(jié)省許多處理時間。
例如，一個客戶正在發(fā)出一系列針對圖像信息的請求。每一請求包含請求號碼、有關(guān)客戶隨后想要看的圖像信息種類的信息和有關(guān)當(dāng)請求發(fā)出時客戶已接收的圖像信息種類的信息。該服務(wù)器不必存儲任何狀態(tài)信息(例如先前請求)。接收一個請求時，服務(wù)器發(fā)送一個再起動標(biāo)記、一個請求號碼的確認(rèn)以及對應(yīng)于該請求的增加的圖像信息。
在此描述的方法和系統(tǒng)的使用將導(dǎo)致在該服務(wù)器中不需要對整個比特?cái)?shù)據(jù)流進(jìn)行解碼。由于不需要執(zhí)行該數(shù)據(jù)流的全解碼，所以這將在發(fā)送一側(cè)(服務(wù)器方)節(jié)省許多時間。
附圖的簡要描述現(xiàn)將參照附圖更詳細(xì)地描述本發(fā)明，其中

圖1示出在一個客戶服務(wù)器處理中執(zhí)行的基本步驟。
圖2示出在根據(jù)第一實(shí)施例的客戶服務(wù)器處理中執(zhí)行的步驟。
圖3示出在根據(jù)第二實(shí)施例的客戶服務(wù)器處理中執(zhí)行的步驟。
圖4示出在根據(jù)第三實(shí)施例的客戶服務(wù)器處理中執(zhí)行的步驟。
圖5示出在根據(jù)第三實(shí)施例的第一可選方案的客戶服務(wù)器處理中執(zhí)行的步驟。
圖6示出根據(jù)第三實(shí)施例的第二可選方案的一個客戶服務(wù)器處理中執(zhí)行的步驟。
圖7示出根據(jù)第三實(shí)施例的第三可選方案的一個客戶服務(wù)器處理中執(zhí)行的步驟。
圖8示出在根據(jù)第四實(shí)施例的客戶服務(wù)器處理中執(zhí)行的步驟。
詳細(xì)描述圖1中示出客戶和服務(wù)器之間的一個基本交互作用。步驟101中，客戶首先請求一個圖像。下一步驟103中，服務(wù)器開始把圖像發(fā)送到客戶。步驟105中，客戶隨即在發(fā)送過程的一段時間中請求正在發(fā)送的圖像的一部分。響應(yīng)請求步驟105，服務(wù)器隨即在步驟107開始發(fā)送該請求的部分。如在步驟109中表明，客戶還可以在任何時候請求圖像的另外的部分。在一個較低協(xié)議等級中，比如TCP或HTTP中，發(fā)送隨時能夠被中斷。
在下面的描述和相應(yīng)的附圖中使用下列定義、句法和注釋-編碼單元(CU)是可被獨(dú)立解碼的比特?cái)?shù)據(jù)流的一個部分。因此，有可能解碼比特?cái)?shù)據(jù)流的一個確定部分而不必解碼整個數(shù)據(jù)流。
-TAG，即重新同步標(biāo)記是不能從該熵編碼器產(chǎn)生的比特的一個組合。
在該客戶服務(wù)器處理中的句法成分一個基本客戶服務(wù)器處理的幾個詳細(xì)實(shí)例在下面描述。它們對應(yīng)于在該客戶服務(wù)器處理中的該句法成分的各種具體格式。
<Image data request>(圖像數(shù)據(jù)請求)可以具有下列格式-<Image data request 1>＝發(fā)送第一<數(shù)目>子頻帶-<Image data request 2>＝發(fā)送第一<數(shù)目>比特平面-<Image data request 3>＝發(fā)送該ROI<ROI數(shù)目><ROI描述>的第一<數(shù)目>子頻帶-<Image data request 4>＝發(fā)送該ROI<ROI數(shù)目><ROI描述)的第一<數(shù)目>比特平面-<Image data request 5>＝發(fā)送<CU序列>(描述何種CU被請求)<Image data acknowledge>(圖像數(shù)據(jù)確認(rèn))可以具有下列格式-<Image data acknowledge 1>＝<圖像數(shù)據(jù)確認(rèn)標(biāo)記>接收的比特/字節(jié)/CU<數(shù)目>
-<Image data acknowledge 2>＝<圖像數(shù)據(jù)確認(rèn)標(biāo)記>接收的CU<數(shù)目><CUn1>…<CUnn>，其中<CUn>是指定到一個已收CU的數(shù)目版本1與一個重新發(fā)送和數(shù)據(jù)包排序發(fā)送通信協(xié)議，比如TCP，一起使用。版本2與一個無接點(diǎn)最佳成果發(fā)送通信協(xié)議，比如UDP，一起使用。
<Image data>(圖像數(shù)據(jù))可以具有下列格式-<Image data 1>＝對應(yīng)于其余子頻帶的第一<數(shù)目>的<CU數(shù)據(jù)流>
-<Image data 2>＝對應(yīng)于其余比特平面的第一<數(shù)目>的<CU數(shù)據(jù)流>
-<Image data 3>＝對應(yīng)于ROI<ROI號碼>的第一<數(shù)目>的其余子頻帶的<CU數(shù)據(jù)流>
-<Image data 4>＝對應(yīng)于ROI<ROI號碼>的第一其余<數(shù)目>比特平面的<CU數(shù)據(jù)流>
-<Image data 5>＝對應(yīng)于在<Image data request 5>中規(guī)定的該CU的<CU數(shù)據(jù)流>
<CU stream>(CU數(shù)據(jù)流)的幾個可能的不同格式-<CU stream 1>＝<標(biāo)題><長度CU1><長度CU2>…<長度CUN><CU1><CU2>…<CUN>
-<CU stream 2>＝<標(biāo)題><長度CU1><CU1><長度CU2><CU2>…<長度CUN><CUN>
-<CU stream 3>＝<標(biāo)題><Tag1><CU1><Tag2><CU2>…<TagN><CUN>
-<CU stream4>＝<標(biāo)題><CU1><Tag1><CU2><Tag2>…<CUN><TagN>
如果圖像標(biāo)題已經(jīng)由該客戶接收，則該圖像標(biāo)題是不需要的。
<Image transcoding header>(圖像代碼轉(zhuǎn)換標(biāo)題)包含一種代碼轉(zhuǎn)換操作的描述，即為了產(chǎn)生代碼轉(zhuǎn)換圖像而對于原始圖像執(zhí)行的代碼轉(zhuǎn)換的操作的描述?？蛻羰褂么诵畔袰U從原始圖像映射到代碼轉(zhuǎn)換圖像，以及把CU從代碼轉(zhuǎn)換圖像映射到原始圖像。
<image posting notification>(圖像傳遞提示)被用于告訴客戶該代碼轉(zhuǎn)換的圖像存儲在該服務(wù)器。它給出該代碼轉(zhuǎn)換的圖像的URL?？蛇x擇包括一個時限，指示該圖像將僅被保存一個規(guī)定的時間。
圖2示出的是本發(fā)明第一實(shí)施例。在此情況中該客戶想要存取存儲圖像的一部分。此圖像能夠是確定的比特平面、子頻帶即預(yù)先存儲的感性趣區(qū)域。除了在通信協(xié)議(例如HTTP)中使用的操作之外，在此情況中的該服務(wù)器不使用任何特殊的功能來響應(yīng)該請求。針對此實(shí)施例的處理在圖2中示出。
步驟201中，客戶發(fā)送針對存儲圖像的請求。該圖像被作為壓縮比特?cái)?shù)據(jù)流并且以包括獨(dú)立編碼的編碼單元(CU)的格式存儲。步驟203中，服務(wù)器響應(yīng)和開始該發(fā)送。步驟205中，客戶決定更重要的一個圖像部分?？蛻魪膱D像標(biāo)題得到其被存儲的所在之處的信息，并且發(fā)送針對該期望部分的請求到服務(wù)器。該部分能夠是一個ROI或圖像數(shù)據(jù)，其增加整個圖像的質(zhì)量。步驟207中，服務(wù)器可以發(fā)送一個重新起始標(biāo)記，并且開始發(fā)送所需要的CU。
該重新起始標(biāo)記的功能還可以通過堆棧中較低的通信協(xié)議提供，例如由TCP或HTTP通信協(xié)議提供。如果能夠從該較低協(xié)議等級中的信息獲得，該重新起始標(biāo)記能夠被可選擇地排除。
圖3示出另一類型的客戶服務(wù)器處理。在圖3所示的處理中，在服務(wù)器側(cè)不執(zhí)行進(jìn)一步的處理。在結(jié)合圖3描述的實(shí)例中，客戶開始接收一個圖像，然后在該發(fā)送中決定該圖像的某些部分更重要，并且僅希望發(fā)送該部分圖像。此圖像可以是若干比特平面、子頻帶或感性趣區(qū)域。應(yīng)該注意，在此情況中的該圖像能夠以一個感性趣區(qū)域(ROI)存儲，但用戶要選擇另一ROI。
在此情況中，服務(wù)器必須使用某些附加功能，以便找到該壓縮圖像的請求部分?？蛻艉头?wù)器之間的交互作用以及在每一側(cè)的操作如下所述，為了清楚起見，沒示出確認(rèn)信息以及類似信息。針對這種信息可以使用例如IP、TCP/UDP、HTTP或類似通信協(xié)議。
步驟301中，客戶發(fā)送針對存儲圖像的請求。該圖像被作為壓縮比特?cái)?shù)據(jù)流并且以具有獨(dú)立編碼的編碼單元(CU)的格式存儲。步驟303中，服務(wù)器響應(yīng)和開始該發(fā)送。步驟305中，客戶決定該圖像部分更重要，并且如果選擇一個感性趣區(qū)域，則還要發(fā)送所選區(qū)域的形狀以及其它需要的信息。這可以是例如該請求的時間數(shù)字、CU或接收字節(jié)的數(shù)量，圖4中以(*)標(biāo)記表示。在此時，客戶已經(jīng)在該變換域中創(chuàng)建了一個屏蔽，例如使用在Charilaos Christopoulos(編輯)的“JPEG 2000驗(yàn)證?；姹?.2，ISO/IEC JTC1/SC29/WG1，N982(1998年8月14日)中描述的方法，選擇該服務(wù)器所需要的系數(shù)，以便確定需要從該服務(wù)器得到何種CU。
步驟307中，服務(wù)器得到該請求。服務(wù)器使用這比特?cái)?shù)據(jù)流中的信息，比如TAGS信息，以便找到期望的CU。服務(wù)器發(fā)送重新開始標(biāo)記，如果需要還發(fā)送其余CU的長度。隨后該服務(wù)器發(fā)送請求的CU。
在下列情形中，客戶開始接收一個圖像，然后在該發(fā)送中決定該圖像的某些部分更重要，并且僅希望發(fā)送該涉及部分圖像。這也被稱之為感性趣區(qū)域的選擇。應(yīng)該注意，在此情況中的該圖像能夠以一個感性趣區(qū)域(ROI)存儲，但用戶要選擇另一ROI。在本例如中使用的是JPEG2000下的清晰度漸進(jìn)(PBR)方案。但是可以執(zhí)行類似方法的精確度漸進(jìn)(PBA)方案，如在CharilaosChristopoulos(編輯)的“JPEG 2000驗(yàn)證?；姹?.2，ISO/IEC JTCI/SC29/WG1N982，(1998年8月14日)”中描述的方案。
在圖4中示出JPEG 2000中的清晰度漸進(jìn)方案。JPEG 2000的PBR模式中的每一子頻帶以簡化方式可以被視為一個編碼單元CU，因?yàn)檎麄€子頻帶是被獨(dú)立熵編碼的。這是如果使用所謂的非自適應(yīng)模式的情況，因?yàn)樵诖饲闆r中的一個子頻帶與一個序列是同一回事。如果客戶知道在該比特?cái)?shù)據(jù)流中的何處找到該子頻帶的話，將有可能實(shí)現(xiàn)對任何子頻帶的獨(dú)立熵解碼。在JPEG 2000的最基本的模式中，這是由一個陣列支持的，該陣列存儲在包含每一CU比特/字節(jié)長度的圖像標(biāo)題中。因此該客戶有可能解析該比特?cái)?shù)據(jù)流，因?yàn)槠湟阎恳混鼐幋a的子頻帶的長度。
該客戶發(fā)送一個請求到服務(wù)器，并且請求存儲的圖像。該圖像被存為一個壓縮比特?cái)?shù)據(jù)流。該服務(wù)器得到該比特?cái)?shù)據(jù)流并且開始發(fā)送。在一個最佳實(shí)施例中，客戶和服務(wù)器之間的交互作用以及在每一側(cè)的操作如下所述，為了清楚起見，確認(rèn)信息以及類似信息被省去。
-客戶首先發(fā)送針對一個存儲圖像的請求。圖像被存為一個壓縮比特?cái)?shù)據(jù)流并且是以CU格式存儲。
-服務(wù)器隨即響應(yīng)和開始該發(fā)送。
-在發(fā)送過程中的某點(diǎn)，客戶決定該圖像一部分更重要并且發(fā)送該選擇區(qū)域的形狀以及其它需要的信息。這可以是例如該請求的時間數(shù)字、CU或接收字節(jié)的數(shù)量，圖4中以(*)標(biāo)記表示。
-服務(wù)器隨即得到針對該ROI的請求并且對該還沒發(fā)送的CU執(zhí)行熵解碼。在此情況中，是該子頻帶尚未發(fā)送。該熵解碼將給出該量化的變換系數(shù)。服務(wù)器創(chuàng)建該變換域中的一個屏蔽。隨即該服務(wù)器能夠所選該感性趣區(qū)域所需要的系數(shù)，例如使用在Charilaos Christopoulos(編輯)“JPEG2000驗(yàn)證?；姹?.2ISO/IEC JTC1/SC29/WGI N982(1998年8月14日)”中描述的方法。因此，該服務(wù)器通過使用該屏蔽而選擇哪個系數(shù)是每一個剩余子頻帶中所需要的。屬于該感性趣區(qū)域的量化系數(shù)即同樣屬于熵編碼的子頻帶。因此保持同一個CU結(jié)構(gòu)。服務(wù)器可以發(fā)送一個重新起始標(biāo)記以及將要發(fā)送的CU的長度，并且開始發(fā)送CU。
-客戶從服務(wù)器得到描述已經(jīng)使用的代碼轉(zhuǎn)換類型的響應(yīng)?？蛻綦S即創(chuàng)建在該變換域中的期望的屏蔽，例如使用在Charilaos Christopoulos(編輯)的“JPEG2000驗(yàn)證?；姹?.2，ISO/IEC JTC1/SC29/WG1 N982(1998年8月14日)”中描述的方法，從服務(wù)器選擇針對該響應(yīng)所需要的系數(shù)。
從客戶的角度看，結(jié)果是該感性趣區(qū)域?qū)⒕哂型暾逦?，而背景將具有降低的清晰?如果使用上述利用移位的方法則將能夠在后級有所改進(jìn))。清晰度降低的程度當(dāng)然取決于做出感性趣區(qū)域請求的時間。
如果針對感性趣區(qū)域的請求選中在一個CU的中間，這也是最可能的情況，則有兩個處理方式。或者是把選中的CU重新發(fā)送，或者是完成該CU的傳輸然后開始重新編碼。
在JPEG2000中的精度漸進(jìn)的情況下，能夠使用與先前實(shí)例相同的概念而不做任何大的改變。在此情況中的CU是一個比特平面。因此，該比特?cái)?shù)據(jù)流是通過精確度排序的。首先發(fā)送最高的比特平面，然后發(fā)送次高的比特平面等等。
客戶和服務(wù)器之間的交互作用以及在每一側(cè)的操作如下所述，其中省去確認(rèn)信息以及類似信息。
-客戶首先發(fā)送針對一個存儲圖像的請求。圖像被存為一個壓縮比特?cái)?shù)據(jù)流，并且是以CU格式存儲。
-服務(wù)器響應(yīng)并且開始該發(fā)送。
-客戶決定該圖像一部分更重要并且發(fā)送該選擇區(qū)域的形狀以及其它需要的信息。這可以是例如該請求的時間數(shù)字、CU或接收字節(jié)的數(shù)量，圖4中以(*)標(biāo)記表示。在此時，客戶已經(jīng)在該變換域中創(chuàng)建了一個屏蔽，例如使用在Charilaos Christopoulos(編輯)的“JPEG 2000驗(yàn)證?；姹?.2，ISO/IECJTC1/SC29/WG1，N982(1998年8月14日)中描述的方法，選擇針對來自該服務(wù)器的響應(yīng)所需要的系數(shù)。
-服務(wù)器得到針對該ROI的請求并且對該還沒發(fā)送的CU執(zhí)行熵解碼。在此情況中，是該比特平面尚未發(fā)送。該熵解碼將給出該量化變換系數(shù)的剩余部分。服務(wù)器創(chuàng)建該變換域中的一個屏蔽。隨即該服務(wù)器能夠所選該感性趣區(qū)域所需要的系數(shù)，例如使用在Charilaos Christopoulos(編輯)“JPEG2000驗(yàn)證?；姹?.2ISO/IEC JTC1/SC29/WGI N982(1998年8月14日)”中描述的方法。因此，該服務(wù)器通過使用該屏蔽而選擇哪個系數(shù)是每一個比特平面中所需要的。屬于該感性趣區(qū)域的量化系數(shù)的剩余部分即同樣屬于熵編碼的比特平面。因此保持同一個CU結(jié)構(gòu)。服務(wù)器現(xiàn)在可以發(fā)送一個重新起始標(biāo)記以及將要發(fā)送的CU的長度，并且開始發(fā)送CU。
不象先前例子中那樣具有該背景中的清晰度的降低，而是減小不屬于該感性趣區(qū)域的像素的精確度。這是通過簡單地跳過用于屬于該背景的比特平面的其余比特平面實(shí)現(xiàn)的。
接收一個請求時，服務(wù)器對該原始圖像做代碼轉(zhuǎn)換。代碼轉(zhuǎn)換的圖像或者被發(fā)送到一個輸出緩沖器(下面的處理C1和C2)或作為一個新圖像遞送(下面的處理C3)。新的客戶請求將總是參考一個遞送圖像，或是參考C1和C2中的原始圖像(參見下面內(nèi)容)，或是參考在C3中遞送的代碼轉(zhuǎn)換的圖像(參見下面內(nèi)容)。客戶負(fù)責(zé)在圖像格式之間進(jìn)行變換，以使參考該原始圖像的已收圖像信息能夠在客戶對該代碼轉(zhuǎn)換的圖像的復(fù)制中能夠被再使用。成功的再使用被在<Image data acknowledge>(圖像數(shù)據(jù)確認(rèn))信息中報(bào)告給該服務(wù)器。
客戶服務(wù)器處理C1(下載速度的優(yōu)化)能夠在沒有任何先前圖像信息的傳輸?shù)臈l件下開始處理。但是，根據(jù)上述情況的結(jié)合圖2或3的上述客戶服務(wù)器處理可能已經(jīng)出現(xiàn)。在此處理過程中，原始圖像的某些CU可能已經(jīng)轉(zhuǎn)移到該客戶。該客戶知道此預(yù)先的活動，但是該服務(wù)器不存儲任何這種狀態(tài)信息。
-客戶請求1)<request number><Image data acknowledge><Image data request>(<請求數(shù)目><圖像數(shù)據(jù)確認(rèn)><圖像數(shù)據(jù)請求>)-服務(wù)器響應(yīng)1)<restart marker><request number><image transcodingheader><image header><CU stream>(<再起動標(biāo)記><請求數(shù)目><圖像代碼轉(zhuǎn)換標(biāo)題><圖像標(biāo)題><CU數(shù)據(jù)流>)(發(fā)送該代碼轉(zhuǎn)換的圖像的標(biāo)題)如果該客戶不懂該新格式，則其能夠以TCP電平中斷該數(shù)據(jù)流?？梢岳^續(xù)新的一組客戶服務(wù)器交換。它們將總是參考該原始圖像，因?yàn)樵摯a轉(zhuǎn)換的圖像通常不被該服務(wù)器保持。如果根據(jù)該情況出現(xiàn)一個新請求，則服務(wù)器將通常隨即重復(fù)該代碼轉(zhuǎn)換操作。該服務(wù)器可能決定保存該代碼轉(zhuǎn)換圖像的一個緩存的復(fù)制圖像，但是這不能由該客戶設(shè)定。
客戶服務(wù)器處理C2(針對低帶寬的優(yōu)化)還可以在沒有任何先前圖像信息的傳輸?shù)臈l件下開始這個處理。但是，根據(jù)上述情況的結(jié)合圖2或3的上述客戶服務(wù)器處理可能已經(jīng)出現(xiàn)。在此處理過程中，原始圖像的某些CU可以已經(jīng)轉(zhuǎn)移到該客戶。該客戶知道此預(yù)先的活動，但是該服務(wù)器不存儲任何這種狀態(tài)信息。
-客戶請求1)<request number><Image data acknowledge><Image datarequest>
-服務(wù)器響應(yīng)1)<restart marker><request number><image transcodingheader><image header>(<再起動標(biāo)記><請求數(shù)目><圖像代碼轉(zhuǎn)換標(biāo)題><圖像標(biāo)題>)(該服務(wù)器僅計(jì)算了該代碼轉(zhuǎn)換圖像的標(biāo)題。還沒執(zhí)行一個完整的代碼轉(zhuǎn)換)-客戶請求2)<request number><Image header acknowledge><Image dataacknowledge><Image data request>(<請求號碼><圖像標(biāo)題確認(rèn)><圖像數(shù)據(jù)確認(rèn)><圖像數(shù)據(jù)請求>)(該客戶確認(rèn)其能夠操作該代碼轉(zhuǎn)換格式。由于該服務(wù)器不保存該舊請求的所以該請求被重復(fù))-服務(wù)器響應(yīng)2)<restart marker><request number><CU stream>(<再起動標(biāo)記><請求數(shù)目><CU數(shù)據(jù)流>)(該服務(wù)器執(zhí)行一個完整的代碼轉(zhuǎn)換并且把該圖像文件的主體送到該輸出緩沖器)客戶服務(wù)器處理C3(由服務(wù)器傳遞的一個代碼轉(zhuǎn)換的圖像)能夠在沒有任何先前圖像信息的傳輸?shù)臈l件下開始處理。但是，根據(jù)上述情況的結(jié)合圖2或3的上述客戶服務(wù)器處理可能已經(jīng)出現(xiàn)。在此處理過程中，原始圖像的某些CU可以已經(jīng)轉(zhuǎn)移到該客戶。該客戶知道此預(yù)先的活動，但是該服務(wù)器不存儲任何這種狀態(tài)信息。
-客戶請求1)<request number><Image dataacknowledge><Image data request>(<請求數(shù)目><圖像數(shù)據(jù)確認(rèn)><圖像數(shù)據(jù)請求>)-服務(wù)器響應(yīng)1)<restart marker><request number><image transcodingheader><image header><image posting notification>(<再起動標(biāo)記><請求數(shù)目><圖像代碼轉(zhuǎn)換標(biāo)題><圖像標(biāo)題><圖像傳遞提示>)-客戶請求2)(客戶現(xiàn)在以http協(xié)議等級尋址該傳遞的代碼轉(zhuǎn)換圖像)<requestnumber><Image header acknowledge><Image data acknowledge><Image data Imagedata request>(<請求號碼><圖像標(biāo)題確認(rèn)><圖像數(shù)據(jù)確認(rèn)><圖像數(shù)據(jù)請求>)(客戶負(fù)責(zé)把該CU從原始圖像變換到代碼轉(zhuǎn)換圖像的格式。操作的結(jié)果被放進(jìn)該<Image data acknowledge>)-服務(wù)器響應(yīng)2)<restart marker><request number><CU stream>(<再起動標(biāo)記><請求數(shù)目><CU數(shù)據(jù)流>)
可以繼續(xù)新的一組客戶服務(wù)器交換。根據(jù)由客戶作出的判定，能夠參考原始或代碼轉(zhuǎn)換圖像。
應(yīng)該注意，在某些情形中不需要該接收CU或比特/字節(jié)的數(shù)量。如果客戶在請求已經(jīng)發(fā)送之后繼續(xù)接收圖像數(shù)據(jù)即屬于這種情況。服務(wù)器發(fā)送該重新起始標(biāo)記以及其它可能的信息，以便通知客戶從現(xiàn)在起該請求的比特平面、子頻帶或感性趣區(qū)域正在到來。
下面描述的是當(dāng)數(shù)據(jù)流不包括期望的感性趣區(qū)域時在從比特?cái)?shù)據(jù)流傳輸過程中交互性地選擇感性趣區(qū)域附加實(shí)例。該實(shí)例示出不同比特?cái)?shù)據(jù)流格式<CU數(shù)據(jù)流1>-<CU數(shù)據(jù)流4>。
結(jié)合圖4，先描述JPEG2000編碼器的PBR模式。上述方案的一個改進(jìn)將把CU的長度與該數(shù)據(jù)一起發(fā)送。因此，當(dāng)服務(wù)器得到針對該ROI的請求時對該還沒發(fā)送的CU執(zhí)行熵解碼。不是傳送將要被發(fā)送的該CU的重新起始標(biāo)記和長度以及開始該CU的發(fā)送，而是該服務(wù)器現(xiàn)在可以發(fā)送一個重新起始標(biāo)記以及隨后CU的長度。
圖5示出了產(chǎn)生的客戶服務(wù)器處理。這將導(dǎo)致不需要重新發(fā)送如圖4所示的CU長度陣列。
也有可能在該比特?cái)?shù)據(jù)流中使用TAGS或重新同步標(biāo)記。因此不是具有上面結(jié)合圖4的描述每一CU長度的一個陣列，而是該CU能夠通過一個不是由該熵編碼器產(chǎn)生的比特碼型在該比特?cái)?shù)據(jù)流中標(biāo)出。以順序方式搜索該比特?cái)?shù)據(jù)流，以便找到不同的編碼單元?？蛻襞c服務(wù)器之間的交互作用以及在每一方面的操作被改變，以便不送出一個重新起始標(biāo)記以及將要被送出的該CU的長度，而是該服務(wù)器在能夠發(fā)送在對應(yīng)CU之前的一個重新起始標(biāo)記以及一個TAG。圖6示出該產(chǎn)生的客戶服務(wù)器處理。
應(yīng)該注意，如圖7所示，一個可選方法是使用在每一CU之后發(fā)送的TAGS或標(biāo)題，而不是使用在該CU之前的TAGS或標(biāo)題。因此，客戶與該服務(wù)器之間的交互作用以及在每一側(cè)的操作被改變，以便不發(fā)送該將要被發(fā)送的該CU的重新起始標(biāo)記和長度以及開始該CU的發(fā)送，而是該服務(wù)器發(fā)送在該對應(yīng)CU之后的一個重新起始標(biāo)記和一個TAG。
能夠被使用的另一解決方案是＂定標(biāo)基礎(chǔ)方法＂，在JPEG2000中用于其余子頻帶。這意味著仍然產(chǎn)生用于其余子頻帶的ROI屏蔽，但是不必須執(zhí)行的ROI屏蔽系數(shù)的不同編碼。該ROI屏蔽系數(shù)按照一個確定因數(shù)按比例放大。隨即將不改變地繼續(xù)該子頻帶的編碼。移動值必須存儲在比特?cái)?shù)據(jù)流中，使得該客戶能夠下移。因此，客戶與該服務(wù)器之間的交互作用以及在每一側(cè)的操作被改變，以便不發(fā)送該將要被發(fā)送的該CU的重新起始標(biāo)記和長度以及開始該CU的發(fā)送，而是該服務(wù)器發(fā)送在該對應(yīng)CU之后的一個重新起始標(biāo)記和一個TAG。
在上面結(jié)合圖4-7描述的方案中，服務(wù)器需要執(zhí)行一個熵解碼，然后執(zhí)行量化系數(shù)的熵編碼。如果期望真正地快速存取圖像的不同部分，這不是一個好的方案。
對于此問題的解決方案是把該圖像分成獨(dú)立解碼的數(shù)據(jù)塊。這些數(shù)據(jù)塊將是該CU。客戶和服務(wù)器之間的交互作用以及在每一側(cè)的操作如圖8所示。應(yīng)該注意，該確認(rèn)信息以及類似信息被省去。
-步驟801中，客戶發(fā)送針對存儲圖像的請求。該圖像被存為一個壓縮比特?cái)?shù)據(jù)流。
-步驟803中，服務(wù)器響應(yīng)和開始該發(fā)送。
-步驟805中，客戶決定圖像的一部分更重要并且創(chuàng)建變換域中的一個屏蔽，參見參考文獻(xiàn)1，選擇需要的CU。該期望的CU被送到該服務(wù)器。
-步驟807中，服務(wù)器得到針對該CU的請求。服務(wù)器現(xiàn)在可以發(fā)送一個重新起始標(biāo)記和針對該重新起始標(biāo)記的在其對應(yīng)CU之前的TAG。
與在此之前的用于檢索圖像的客戶-服務(wù)器系統(tǒng)比較，在此描述的方法和系統(tǒng)提供了若干優(yōu)點(diǎn)。因此，服務(wù)器不需要任何存儲器來存儲其已經(jīng)發(fā)送的部分的信息。無論什么原因希望把比特?cái)?shù)據(jù)流的希望的一部分供給到該客戶，在第一實(shí)施例中的服務(wù)器都不需要執(zhí)行任何處理?？蛻魧脑搱D像標(biāo)題中獲得請求部分存儲的位置的信息。在第一和第二實(shí)施例中，服務(wù)器不需要執(zhí)行任何熵解碼，僅必須發(fā)送該請求的CU。因此，極大地減少該傳輸時間。在該第三實(shí)施例中，服務(wù)器不必解碼整個比特?cái)?shù)據(jù)流。由于不需要執(zhí)行該數(shù)據(jù)流的全解碼，所以這將在發(fā)送一側(cè)(服務(wù)器方)節(jié)省許多時間。
在此描述的方法和系統(tǒng)還可以被延伸與一個視頻壓縮算法一起使用，該算法具有在該壓縮視頻數(shù)據(jù)流中的可獨(dú)立解碼的單元。
權(quán)利要求
1.在服務(wù)器和客戶之間發(fā)送被存儲為若干可獨(dú)立地解碼的編碼單元的一個圖像的方法，其特征在于包括以下步驟-從該客戶發(fā)送一個針對圖像數(shù)據(jù)的請求到該服務(wù)器，-從該服務(wù)器開始發(fā)送該請求的圖像數(shù)據(jù)到該客戶，-在發(fā)送過程中或之后發(fā)送針對該圖像的一個新部分的請求，以及-僅使用還未發(fā)送的編碼單元把該圖像的該請求的新部分從服務(wù)器發(fā)送到客戶。
2.根據(jù)權(quán)利要求1的方法，其特征在于，該圖像被存儲在該變換域中。
3.根據(jù)權(quán)利要求1-2任何之一的方法，其特征在于，來自該客戶的每一請求包括一個請求號碼。
4.根據(jù)權(quán)利要求1-3任何之一的方法，其特征在于，來自該客戶的每一請求包括關(guān)于該客戶感興趣的圖像的信息以及關(guān)于該客戶已經(jīng)接入的圖像的信息。
5.根據(jù)權(quán)利要求1-4任何之一的方法，其特征在于，在把請求信息發(fā)送到該客戶之后，該服務(wù)器直接放棄用客戶提供的全部信息。
6.根據(jù)權(quán)利要求1-5任何之一的方法，其特征在于，在發(fā)送請求的編碼單元之前，該服務(wù)器發(fā)送一個標(biāo)記碼。
7.根據(jù)權(quán)利要求1-6任何之一的方法，其特征在于，在發(fā)送該新圖像部分之前，該服務(wù)器執(zhí)行一個代碼轉(zhuǎn)換。
8.一個客戶-服務(wù)器系統(tǒng)，其中在該服務(wù)器中的圖像被存為若干編碼單元，特征是-在服務(wù)器中用于從客戶接收針對圖像數(shù)據(jù)的一個請求的裝置，-用于從該服務(wù)器發(fā)送該請求的圖像數(shù)據(jù)到該客戶的裝置，-在該服務(wù)器中用于在發(fā)送期間或之后接收針對該圖像一個新部分的請求的裝置，以及-在該服務(wù)器中僅使用未被發(fā)送的編碼單元用于把該請求的該圖像的新部分從服務(wù)器發(fā)送到客戶的裝置。
9.根據(jù)權(quán)利要求8的一個系統(tǒng)，特征在于用于把該圖像存儲在該變換域中的裝置。
10.根據(jù)權(quán)利要求8-9任何之一的系統(tǒng)，其特征在于，來自該客戶的每一請求包括一個請求號碼。
11.根據(jù)權(quán)利要求8-10任何之一的系統(tǒng)，其特征在于，來自該客戶的每一請求包括關(guān)于該客戶感興趣的圖像的信息以及關(guān)于該客戶已經(jīng)接入的圖像的信息。
12.根據(jù)權(quán)利要求8-11任何之一的系統(tǒng)，其特征在于，在客戶提供的信息已經(jīng)被處理之后，該服務(wù)器被用于直接放棄由客戶提供的全部信息。
13.根據(jù)權(quán)利要求8-12任何之一的系統(tǒng)，其特征在于，在發(fā)送請求的編碼單元之前，該服務(wù)器被用于發(fā)送一個標(biāo)記碼。
14.根據(jù)權(quán)利要求8-13任何之一的系統(tǒng)，其特征在于，在發(fā)送該新圖像部分之前，該服務(wù)器被用于執(zhí)行尚未發(fā)送的該編碼單元的一個代碼轉(zhuǎn)換。
全文摘要
用于在客戶－服務(wù)器系統(tǒng)中檢索圖像的方法和系統(tǒng),圖像被存儲在該服務(wù)器上的一組獨(dú)立解碼的單元(CU)中。一個客戶發(fā)出一系列針對圖像信息的請求。每一請求包含請求號碼、有關(guān)客戶隨后想要看的圖像信息種類的信息和有關(guān)當(dāng)請求發(fā)出時客戶已接收的圖像信息種類的信息。該服務(wù)器不必存儲任何狀態(tài)信息(例如先前請求)。接收一個請求時,服務(wù)器發(fā)送一個再起動標(biāo)記、一個請求號碼的確認(rèn)以及對應(yīng)于該請求的增加的圖像信息。在此描述的方法和系統(tǒng)的使用將導(dǎo)致在該服務(wù)器中不需要對整個比特?cái)?shù)據(jù)流進(jìn)行解碼。由于不需要執(zhí)行該數(shù)據(jù)流的全解碼,所以這將在發(fā)送一側(cè)(服務(wù)器方)節(jié)省許多時間。
文檔編號H04N7/173GK1326637SQ9981237
公開日2001年12月12日 申請日期1999年10月13日 優(yōu)先權(quán)日1998年10月21日
發(fā)明者M·拉松, C·克里托普魯斯, M·讓德爾, D·桑塔克魯茨, T·埃布拉希米 申請人:艾利森電話股份有限公司