專利名稱：：用于編碼圖像的方法和裝置的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一般編碼和代碼轉(zhuǎn)換多重圖像對(duì)象，特別是涉及控制采用了可變時(shí)間分辨率的多重圖像對(duì)象的編碼和代碼轉(zhuǎn)換的系統(tǒng)。這些標(biāo)準(zhǔn)，是以圖像序列的空間和時(shí)間壓縮為主來(lái)使用的較低級(jí)的技術(shù)規(guī)范。作為共同的特征，這些標(biāo)準(zhǔn)，是對(duì)每個(gè)幀進(jìn)行壓縮。通過(guò)采用這些標(biāo)準(zhǔn)，對(duì)于范圍很廣的應(yīng)用可以實(shí)現(xiàn)高壓縮比。在MPEG-4(多媒體應(yīng)用)等新的圖像編碼標(biāo)準(zhǔn)中(參照“InformationTechnology--GenericCodingofaudio/visualobjects”ISO/IECFDIS14496-2(MPEG4Visual)、1998年11月)，可以作為個(gè)別的圖像對(duì)象平面(VOP)編碼和譯碼任意形狀的對(duì)象。對(duì)象可以是可視的、語(yǔ)音、自然的、合成的、圖元、復(fù)合的或它們的組合。圖像對(duì)象被構(gòu)成為能形成復(fù)合對(duì)象或“景物”。新近浮出水面的MPEG-4標(biāo)準(zhǔn)，意欲使集成自然和合成材料的、訪問(wèn)是很普遍的交互式圖像等多媒體應(yīng)用成為可能。MPEG-4考慮了基于內(nèi)容的相互作用。例如，有時(shí)想從一個(gè)圖像將移動(dòng)的人物或?qū)ο蟆凹糍N”到其他圖像上。在這種類型的應(yīng)用中，假定多媒體內(nèi)容中的對(duì)象，是用某種類型的分割處理來(lái)進(jìn)行識(shí)別的。例如，可參照由Lin等人在1999年6月4日所提出的美國(guó)專利申請(qǐng)第09/326,750號(hào)、“MethodforOrderingImageSpacestoSearchforObjectSurfaces”。在圖像發(fā)送中，這些壓縮標(biāo)準(zhǔn)是為減低網(wǎng)絡(luò)所需帶寬(可利用的位速率)的量所必要的。網(wǎng)絡(luò)可以表示無(wú)線通道或因特網(wǎng)。無(wú)論在哪種情況下，網(wǎng)絡(luò)，在要發(fā)送內(nèi)容的時(shí)候由于必須要分解資源，所以，限定容量和內(nèi)容。長(zhǎng)年以來(lái)，在使設(shè)備能穩(wěn)定發(fā)送圖像內(nèi)容、使內(nèi)容的質(zhì)量適應(yīng)于可利用的網(wǎng)絡(luò)資源的體系結(jié)構(gòu)和處理過(guò)程方面付出了巨大努力。為了分配每個(gè)編碼時(shí)間的位(Bit)數(shù)采用速率控制。速率控制，要確保由編碼器所生成的位流滿足緩沖器制約。速率控制過(guò)程，試圖使被編碼過(guò)的信號(hào)的質(zhì)量為最好，同時(shí)，要提供一定的位速率。關(guān)于基于MPEG-2等幀的編碼，請(qǐng)參照1998年12月8日由Uz等人所發(fā)布的美國(guó)專利第5,847,761號(hào)“Methodforperformingratecontrolinavideoencoderwhichprovidesabitbudgetforeachframewhileemployingvirtualbuffersandvirtualbufferverifiers”。關(guān)于基于MPEG-4等對(duì)象的編碼，請(qǐng)參照1999年10月19日由Sun和Vetro所發(fā)布的美國(guó)專利第5,969,764號(hào)“Adaptivevideocodingmethod”。在內(nèi)容已經(jīng)被編碼了的場(chǎng)合，流，例如，為了對(duì)付可利用的位速率的減少在通過(guò)網(wǎng)絡(luò)被發(fā)送之前，有時(shí)還要變換已經(jīng)壓縮過(guò)的位流。位流變換或“代碼轉(zhuǎn)換”，可以分類成位速率變換、分辨率變換、以及語(yǔ)法變換。在位速率變換中，包含有恒定的位速率(CBR)與可變的位速率(VBR)之間的位速率換算和變換。位速率換算的基本功能，是接收輸入位流、生成符合接收設(shè)備的新的負(fù)荷制約的被換算過(guò)的輸出位流。位流定標(biāo)器，是使源位流與接收負(fù)荷一致的代碼轉(zhuǎn)換器或過(guò)濾器。如圖7所示，通常，換算可由代碼轉(zhuǎn)換器100來(lái)完成。在完美的情況下，代碼轉(zhuǎn)換器擁有譯碼器110和編碼器120。被壓縮的輸入位流101，由輸入速率Rin完全譯碼，由新的輸出速率Rout102編碼，生成輸出位流103。通常，輸出速率比輸入速率還低。但是，實(shí)際上，將被譯碼過(guò)的位流編碼是非常復(fù)雜的，所以，不進(jìn)行在代碼轉(zhuǎn)換器中的完全譯碼和完全編碼、而代之以對(duì)被壓縮過(guò)的或部分被譯碼過(guò)的位流進(jìn)行代碼轉(zhuǎn)換。在“ArchitecturesforMPEGcompressedbitstreamscaLing”、IEEETransactionsonCircuitsandSystemsforVideoTechnology、1996年4月刊中，由Sun等人公布了對(duì)MPEG-2的初期研究。在這個(gè)文獻(xiàn)中，示出了改變了復(fù)雜性和體系結(jié)構(gòu)的4個(gè)速率降低方法。圖8示出了例示的方法。在這個(gè)體系結(jié)構(gòu)中，圖像位流只是部分的被譯碼。具體的說(shuō)，輸入位流201的宏塊，被210可變長(zhǎng)譯碼(VLD)。輸入位流，還被220延遲、被230逆量化(IQ)、生成離散余弦變換(DCT)系數(shù)。一旦給與了所希望的輸出位速率，部分被譯碼過(guò)的數(shù)據(jù)被240分析、將新的量化器的設(shè)定在250中應(yīng)用于DCT宏塊。這些被再量化的宏塊，接著，被260可變長(zhǎng)編碼(VLC)，可形成較低速率的新輸出位流203。這個(gè)方式，比圖7所示的方式還要簡(jiǎn)單得多。原因是再次使用運(yùn)動(dòng)向量，而不必要逆DCT操作。在由Assuncao等人所作的最新研究中，在1998年12月刊載于IEEETransactionsonCircuitsandSystemsforVideoTechnology、953到957頁(yè)的“Afrequencydomainvideotranscoderfordynamicbit-ratereductionofMPEG-2bitstreams”中，對(duì)于相同任務(wù)的被簡(jiǎn)化了的體系結(jié)構(gòu)，作了描述。Assuncao等人，采用了在頻域中工作的移動(dòng)補(bǔ)償(MC)回路用于漂移補(bǔ)償。為進(jìn)行頻域內(nèi)的宏塊的迅速計(jì)算得到了近似矩陣。拉格朗日最優(yōu)化被應(yīng)用在用于代碼轉(zhuǎn)換的最佳量化器換算。Sorial等人的其他研究、“JointtranscodingofmultipleMPEGVideobitstreams”、ProceedingsoftheInternationalSymposiumonCircuitsandSystems、1999年5月刊，示出了共同代碼轉(zhuǎn)換多重MPEG-2位流的方法。也請(qǐng)參照由Vetro等人于1999年10月1日所提出的美國(guó)專利申請(qǐng)第09/410，552號(hào)“EstimatingRate-DistortionCharacteristicsofBinaryShapeDate”。若依據(jù)現(xiàn)有的壓縮標(biāo)準(zhǔn)，為了編碼紋理信息所分配的位(Bit)數(shù)，由量化參數(shù)(QP)來(lái)控制。上述的文獻(xiàn)也是同樣的。根據(jù)原來(lái)位流中所包含的信息變更QP，這樣，來(lái)降低紋理位的速率。為了高效的實(shí)施，信息，通常在被壓縮過(guò)的域內(nèi)被直接抽取，它可包含有關(guān)宏塊的移動(dòng)或DCT宏塊的殘余能量的度量。這個(gè)類型的分析，在圖8的位分配分析器240中可以找到。除了上述現(xiàn)有的代碼轉(zhuǎn)換法外，還刊載出了幾個(gè)新的代碼轉(zhuǎn)換法。請(qǐng)參照例如，2000年2月14日由Vetro等人所提出的美國(guó)專利申請(qǐng)第09/504,323號(hào)“Object-BasedBitstreamTranscoder”。在這個(gè)文獻(xiàn)中，對(duì)于克服現(xiàn)有代碼轉(zhuǎn)換系統(tǒng)的限制的信息發(fā)送系統(tǒng)，作了闡述?，F(xiàn)有的系統(tǒng)，在可降低的速率的量中受到某些制約。另外，現(xiàn)有的系統(tǒng)，不考慮整體的感知質(zhì)量，說(shuō)得更確切些，是控制PSNR等客觀的量度。在由Vetro等人所闡述的系統(tǒng)中，變換更加靈活，質(zhì)量的測(cè)量也從現(xiàn)有的每位不同中掙脫出來(lái)。Vetro，用非常特有的方法歸納整理圖像內(nèi)容。在基于對(duì)象的幀結(jié)構(gòu)內(nèi)，各個(gè)圖像對(duì)象用不同的質(zhì)量被代碼轉(zhuǎn)換。質(zhì)量的區(qū)別，可以與空間質(zhì)量或時(shí)間上的分辨率(質(zhì)量)相關(guān)聯(lián)。時(shí)間分辨率在景物內(nèi)的對(duì)象間變化時(shí)，重要的是，所有的對(duì)象相互要維持某種類型的時(shí)間同步。若能維持時(shí)間同步，接收設(shè)備就能這樣構(gòu)成對(duì)象能規(guī)定所重新構(gòu)筑的景物內(nèi)的所有的像素。在景物內(nèi)沒(méi)有規(guī)定的像素，可以由背景和前景對(duì)象來(lái)生成。或者，重復(fù)的對(duì)象，用不同的時(shí)間分辨率被取樣，在所重新構(gòu)成的景物內(nèi)出現(xiàn)“空洞(holes)”。因此，在改變編碼或代碼轉(zhuǎn)換中的多重對(duì)象的時(shí)間分辨率的場(chǎng)合，維持同步，是至關(guān)重要的。為了進(jìn)一步例示這點(diǎn)，讓我們來(lái)考慮這樣的景物有比較靜止的背景對(duì)象(例如，空白的墻壁)和正在移動(dòng)的人等活動(dòng)的前景對(duì)象。背景，由比較低的時(shí)間分辨率(例如，每1秒10幀)可以編碼。前景對(duì)象，由每秒30幀的比較高的時(shí)間分辨率編碼。只要前景對(duì)象不大移動(dòng)，這是良好的。但是，萬(wàn)一前景對(duì)象相對(duì)于背景一移動(dòng)，在背景的部分就出現(xiàn)“空洞”，不能由前景對(duì)象堵住。本發(fā)明的目的，是要解決上述問(wèn)題，使其能夠用可變時(shí)間分辨率進(jìn)行多重對(duì)象的編碼和代碼轉(zhuǎn)換。面向由MPEG標(biāo)準(zhǔn)委員會(huì)所進(jìn)行的最近的標(biāo)準(zhǔn)化的機(jī)構(gòu)，正式上是被叫做“MultimediaContentDescriptionInterface”的MPEG-7。請(qǐng)參照“MPEG-7Context、ObjectivesandTechnicalRoadmap”、ISO/IECN2861、1999年7月號(hào)。實(shí)質(zhì)上，這個(gè)標(biāo)準(zhǔn)，計(jì)劃要導(dǎo)入可以用來(lái)描述各種類型的多媒體內(nèi)容的描述符集和描述方式。描述符和描述方式，與內(nèi)容本身相關(guān)連，并考慮特定用戶所關(guān)心的材料的迅速而高效的檢索。重要的是要注意，這個(gè)標(biāo)準(zhǔn)，不是取代以前的編碼標(biāo)準(zhǔn)，而是將它構(gòu)筑在其它標(biāo)準(zhǔn)(特別是，MPEG-4)表述之上。這是由于，將多媒體內(nèi)容分解為不同的對(duì)象、將特有的描述符集合分配給了各對(duì)象的緣故。另外，這個(gè)標(biāo)準(zhǔn)，與保存內(nèi)容的形式是獨(dú)立的。期望MPEG-7的主要應(yīng)用，是在檢索和取得方面的應(yīng)用。請(qǐng)參照“MPEG-7Applications”、ISO/IECN2861、1999年7月。在簡(jiǎn)單的應(yīng)用中，用戶要指定特定對(duì)象的幾個(gè)屬性。在這個(gè)低級(jí)的表現(xiàn)中，這些屬性，可以包含記述特定對(duì)象的紋理、移動(dòng)、以及形狀的描述符。表現(xiàn)、比較形狀的方法，在由Lin等人于1999年6月4日所提出的美國(guó)專利申請(qǐng)第09/326,759號(hào)“MethodforOrderingImageSpacestoRepresentObjectShapes”中，作了闡述，描述移動(dòng)動(dòng)作的方法，在由Divakaran等人于1999年9月27日所提出的美國(guó)專利申請(qǐng)第09/406,444號(hào)“ActivityDescriptorforVideoSequences”中，作了闡述。為了得到較高級(jí)的表現(xiàn)，可以考慮將幾個(gè)低級(jí)的描述符組合起來(lái)的更復(fù)雜的記述方式。事實(shí)上，這些記述方式，可以包含其它的記述方式。請(qǐng)參照“MPEG-7MultimediaDescriptionSchemesWD(V1.0)”ISO/IECN3113、1999年12月和由Lin等人于1999年8月30日所提出的美國(guó)專利申請(qǐng)第09/385,169號(hào)“Methodforrepresentingandcomparingmultimediacontent”。用這些描述符和描述方式，用戶可以訪問(wèn)用編碼器或代碼轉(zhuǎn)換器在過(guò)去不能得到的圖像內(nèi)容的特性。例如，這些特性，可以表示被假定為是代碼轉(zhuǎn)換器不能訪問(wèn)的未來(lái)預(yù)測(cè)信息。編碼器或代碼轉(zhuǎn)換器訪問(wèn)這些特性，是僅在起初由內(nèi)容得到這些特性的場(chǎng)合，亦即，在預(yù)先處理內(nèi)容、并將其存儲(chǔ)到擁有相關(guān)的元數(shù)據(jù)的數(shù)據(jù)庫(kù)的場(chǎng)合。信息本身可以是語(yǔ)法或語(yǔ)義。所謂語(yǔ)法信息，是指內(nèi)容的物理上的和邏輯上的信號(hào)方式，而所謂語(yǔ)義信息，是指內(nèi)容的概念上的意思。對(duì)于圖像序列，語(yǔ)法要素可以與特定對(duì)象的顏色、形狀、以及移動(dòng)有關(guān)。另一方面，語(yǔ)義要素則可指事件的時(shí)間和場(chǎng)所、圖像序列內(nèi)的人名等不能從低級(jí)描述符中抽出的信息。希望維持基于用于擁有可變時(shí)間分辨率的景物中的圖像對(duì)象的對(duì)象的編碼器或代碼轉(zhuǎn)換器內(nèi)的同步。再者，希望用圖像內(nèi)容元數(shù)據(jù)來(lái)識(shí)別這樣的變化。圖像是未被壓縮的數(shù)據(jù)的場(chǎng)合，在編碼器中進(jìn)行分割、組合、以及編碼。對(duì)于被壓縮過(guò)的圖像，多路分解、組合、以及編碼是在代碼轉(zhuǎn)換器中進(jìn)行。后者的場(chǎng)合，壓縮圖像中的對(duì)象的邊界塊，被用來(lái)抽出形狀特征。在本發(fā)明的一個(gè)模式中，不同的對(duì)象可以有不同的時(shí)間分辨率或幀速率。圖4是本發(fā)明的代碼轉(zhuǎn)換器的方框圖，圖5是本發(fā)明的編碼方法的流程圖，圖6是由圖5的方法所采用的例示的編碼方法的流程圖，圖7是現(xiàn)有的代碼轉(zhuǎn)換器的方框圖，圖8是現(xiàn)有的部分譯碼器/編碼器的方框圖。希望為對(duì)人的面部等更感興趣的對(duì)象提供更高的空間質(zhì)量。這同樣也適用于時(shí)間分辨率。但是，在時(shí)間分辨率中，存在有重大的微妙性。即，必須要維持景物內(nèi)的對(duì)象間的同步，以便于能規(guī)定所再構(gòu)筑的景物內(nèi)的所有的畫素。需要注意的是，壓縮圖像的圖像再構(gòu)筑，是由大部分的圖像標(biāo)準(zhǔn)(MPEG-1/2/4)的技術(shù)規(guī)范部分來(lái)規(guī)定，是由現(xiàn)有的譯碼器來(lái)處理。因此，對(duì)于譯碼器，在本說(shuō)明書中不再贅述。本說(shuō)明書中記載的方法和裝置，可適用于基于對(duì)象的編碼和代碼轉(zhuǎn)換系統(tǒng)、以及實(shí)時(shí)性和非實(shí)時(shí)性應(yīng)用。輸入圖像，在編碼過(guò)程中不壓縮、而在代碼轉(zhuǎn)換過(guò)程中被壓縮。輸出圖像，在編碼過(guò)程中和代碼轉(zhuǎn)換過(guò)程被壓縮。在本說(shuō)明書中記載的機(jī)構(gòu)和技巧，可以無(wú)縫地集成到現(xiàn)有設(shè)備的總體結(jié)構(gòu)中。結(jié)構(gòu)問(wèn)題圖1表示2個(gè)圖像對(duì)象、即被分割成了前景對(duì)象301和后景對(duì)象302的景物303。景物，通過(guò)組合2個(gè)對(duì)象可以進(jìn)行再構(gòu)筑。在這個(gè)簡(jiǎn)單的例子中，前景對(duì)象是移動(dòng)的人，后景對(duì)象是靜止的墻壁。需要注意的是前景對(duì)象和后景對(duì)象的畫素，在初始的幀中，規(guī)定景物內(nèi)的所有的畫素。在將這2個(gè)對(duì)象用同樣的時(shí)間分辨率編碼的場(chǎng)合，在接收設(shè)備內(nèi)的圖像再構(gòu)筑中在對(duì)象的構(gòu)成方面沒(méi)有問(wèn)題。所再構(gòu)筑的景物303內(nèi)的畫素都被規(guī)定了。但是，在對(duì)象用不同的時(shí)間分辨率被編碼的場(chǎng)合，要產(chǎn)生問(wèn)題。例如，用15Hz的幀速率編碼背景，而前景，用第1速率的2倍30Hz的幀速率被編碼。一般，2個(gè)對(duì)象具有獨(dú)立的移動(dòng)，在各幀中改變與各自相關(guān)連的畫素。再者，需要注意的是，盡管前景對(duì)象還可以做到相對(duì)比較靜止，但卻具有較背景對(duì)象更高的內(nèi)部移動(dòng)。例如，前景紋理豐富，具有移動(dòng)的雙眼、嘴唇以及其他移動(dòng)的面部的特征部分，相反，背景是空白的墻壁。因此，希望要用比背景更高的空間和時(shí)間分辨率來(lái)編碼前景。在本實(shí)施例子中，如圖2的圖像序列所示，前景對(duì)象相對(duì)于背景對(duì)象在移動(dòng)。在從序列401到403中，時(shí)間從左移向右。此處，序列401，是用比較低的時(shí)間分辨率所編碼過(guò)的背景對(duì)象；序列402，是用比較高的時(shí)間分辨率所編碼過(guò)的前景對(duì)象；序列403，是被再構(gòu)筑過(guò)的景物。在序列403中，在每隔1幀中產(chǎn)生空洞404。這些空洞，在不更新相鄰的對(duì)象或重復(fù)的對(duì)象的場(chǎng)合，是由1個(gè)對(duì)象的移動(dòng)而產(chǎn)生的。空洞，是與哪個(gè)對(duì)象都不能關(guān)聯(lián)的景物的未被覆蓋的區(qū)域，且畫素未被規(guī)定。當(dāng)再同步(例如隔1幀)對(duì)象時(shí)空洞就消失。形狀變形度量用于控制和執(zhí)行關(guān)于本發(fā)明的對(duì)象的時(shí)間分辨率的決定的方法和裝置，表示在景物中的形狀變化(變形)量。在本說(shuō)明書中，對(duì)于為此目的所能抽出的許多的形狀特征作了闡述。例如，1個(gè)形狀特征，測(cè)定即時(shí)的對(duì)象的形狀差。在抽出和比較了各種各樣的對(duì)象的形狀特征之后，編碼器，可以決定在編碼過(guò)程中或代碼轉(zhuǎn)換過(guò)程中對(duì)于各對(duì)象所使用的時(shí)間分辨率的量。要即時(shí)地測(cè)定關(guān)于各對(duì)象的形狀差。形狀差，與對(duì)象間的時(shí)間分辨率中的變動(dòng)量成反比。在固定的時(shí)間量中，小的差，表示較大的變動(dòng)，而大的差，則表示較小的變動(dòng)。如果再同步對(duì)象的間隔的持續(xù)時(shí)間變的更長(zhǎng)，所保存的位(Bit)，可以被分配給要求更好質(zhì)量的對(duì)象。時(shí)間度量最佳合成對(duì)象的方法按如下的方式動(dòng)作。定期的對(duì)圖像進(jìn)行采樣，即時(shí)地找出各對(duì)象形狀間的差。在對(duì)象的形狀差即時(shí)地小的場(chǎng)合，增加用于測(cè)定差的采樣周期。將采樣周期一直持續(xù)增加到差比指定的閾值D還大。在這個(gè)時(shí)刻，輸出幀，決定再同步擁有該差的圖像對(duì)象，或者要合成對(duì)象的新的頻率。頻率可以是基于同步幀之間的平均、最小、或中間時(shí)間間隔的。這個(gè)頻率，可以用來(lái)決定對(duì)于每個(gè)各種圖像對(duì)象的最佳的時(shí)間速率?；诓畹男螤钐卣鳛榱撕?jiǎn)單起見，考慮僅在2個(gè)景物之間的、即從1個(gè)幀到下個(gè)幀的形狀特征的差。但是，這樣的形狀特征，還可能與在各種各樣的輔助提示級(jí)別上的景物相關(guān)聯(lián)。輔助提示級(jí)別，在2000年4月11日由Vetro等人所提出的美國(guó)專利申請(qǐng)第09/546,717號(hào)、“AdaptableBitstreamVideoDeliverySystem”中被定義了。在本申請(qǐng)中參照這個(gè)文獻(xiàn)作了引用。用抽出形狀特征的輔助提示級(jí)別(cuelevel)，時(shí)間控制器，可以提供用于達(dá)到景物內(nèi)的對(duì)象的時(shí)間分辨率的各種各樣的方法。這些方法，可以適用于編碼器和代碼轉(zhuǎn)換器雙方。漢明距離在本申請(qǐng)中考慮的第1個(gè)差，就是眾所周知的漢明距離。漢明距離測(cè)定作為2個(gè)形狀間的差的畫素個(gè)數(shù)。首先，考慮2元形狀，即，分割(α)值僅可以是0或1的場(chǎng)合。此處，0指的是分段面中的透明畫素；1指的是分段面中的不透明畫素。這種情況下，漢明距離d，由下式定義d=Σn=0N-1Σm=0M-1|α1(m,n)-α2(m,n)|]]>其中，α1(m，n)和α2(m，n)是不同時(shí)間中對(duì)應(yīng)的分段面。豪斯多夫距離另一個(gè)被廣泛采用的形狀差測(cè)定，是豪斯多夫距離。豪斯多夫距離，是作為2個(gè)畫素集合間的最大函數(shù)來(lái)被定義的。h(A，B)＝max{min{d(a，b)}}其中，a和b，分別是2個(gè)圖像對(duì)象的集合A和B的畫素，d(a，b)是這些畫素間的歐幾里德距離。上述的度量，表示到集合B最近似畫素的集合A中的畫素的最大距離。原因是這個(gè)度量不是對(duì)稱的。即，h(A，B)和h(B，A)是不等的，更一般定義，用下式表示。H(A，B)＝max{h(A，B)，h(B，A)}需要注意的是這些差的測(cè)定，在畫素-域內(nèi)計(jì)算時(shí)是最準(zhǔn)確的，但在上述的計(jì)算中還可以采用來(lái)自壓縮-域的近似數(shù)據(jù)。畫素-域數(shù)據(jù)，雖然在編碼器中容易得到，但對(duì)于代碼轉(zhuǎn)換器來(lái)說(shuō)，譯碼形狀數(shù)據(jù)，在計(jì)算上不能實(shí)現(xiàn)。而代之以，用某種計(jì)算上有效的方法可以近似數(shù)據(jù)?；诤陦K的形狀特征例如，在MPEG-4中，形狀，用各種各樣不同的摸式編碼、在宏塊級(jí)別上進(jìn)行。例如，在模式內(nèi)，形狀宏塊，作為不透明宏塊、透明宏塊、或邊界宏塊被編碼。不言而喻，邊界塊來(lái)規(guī)定對(duì)象的形狀。這些編碼模式，可以用來(lái)再構(gòu)筑2元形狀的宏塊級(jí)別的輪廓。不言而喻，不如畫素級(jí)別的量度準(zhǔn)確，但在復(fù)雜性觀點(diǎn)上來(lái)看是完全可以實(shí)現(xiàn)的。編碼器的結(jié)構(gòu)圖3表示基于本發(fā)明的對(duì)象的編碼器500。編碼器具有開關(guān)510、形狀編碼器520、移動(dòng)預(yù)估器530、移動(dòng)補(bǔ)償器540、移動(dòng)編碼器550、紋理編碼器560、VOP存儲(chǔ)器570、多路轉(zhuǎn)換器580、輸出緩沖器590、以及元數(shù)據(jù)存儲(chǔ)單元591。編碼器，還具有用于進(jìn)行QP紋理分析器、時(shí)間分析器、形狀分析器、以及元數(shù)據(jù)分析器593～596的速率控制單元(RCU)592。向編碼器500的輸入，是基于對(duì)象的圖像(輸入)501。圖像由圖像序列數(shù)據(jù)、以及規(guī)定各圖像對(duì)象的邊界的分段面(α)構(gòu)成。編碼器的動(dòng)作形狀編碼器520，處理各對(duì)象的形狀，通過(guò)MUX580和緩沖器590將形狀編碼的結(jié)果寫入輸出位流(輸出)509。形狀數(shù)據(jù)還可用于移動(dòng)預(yù)估器530、移動(dòng)補(bǔ)償器540、以及紋理編碼器560。特別是形狀數(shù)據(jù)還被用來(lái)抽出關(guān)于各對(duì)象的形狀特征。將對(duì)象及其關(guān)聯(lián)的形狀和移動(dòng)特征，存儲(chǔ)到VOP存儲(chǔ)器570。在移動(dòng)預(yù)估器530中，對(duì)于個(gè)各宏塊決定移動(dòng)向量。移動(dòng)向量還被編碼、并通過(guò)MUX和緩沖器將其寫入到輸出位流。用從移動(dòng)預(yù)估器所得到的移動(dòng)向量，由存儲(chǔ)在VOP存儲(chǔ)器570中的圖像對(duì)象數(shù)據(jù)形成移動(dòng)被補(bǔ)償過(guò)的預(yù)測(cè)。由輸入對(duì)象被541減去這個(gè)預(yù)測(cè)、并生成殘余宏塊的集合。這些殘余的宏塊，被加到紋理編碼器，并將相應(yīng)的數(shù)據(jù)寫入輸出位流。紋理編碼依據(jù)由RCU提供的QP控制信號(hào)來(lái)動(dòng)作。RCU592的量化參數(shù)(QP)，參與對(duì)各圖像對(duì)象選擇適當(dāng)?shù)牧炕瘏?shù)QP。這是用模式、通過(guò)依據(jù)所分配的速率預(yù)估表預(yù)估對(duì)應(yīng)的量化參數(shù)QP來(lái)進(jìn)行的。下面詳細(xì)闡述時(shí)間分析。簡(jiǎn)單說(shuō)來(lái)，時(shí)間分析參與在編碼過(guò)程中和代碼轉(zhuǎn)換過(guò)程中控制各對(duì)象的時(shí)間分辨率。在現(xiàn)有技術(shù)中，如上所述(參照?qǐng)D8)，為了避免構(gòu)成問(wèn)題，所有圖像對(duì)象的時(shí)間分辨率都是同樣的。因此，在現(xiàn)有技術(shù)中，關(guān)于各種各樣的對(duì)象的時(shí)間分辨率，并未被分開獨(dú)立考慮。另外在現(xiàn)有技術(shù)中，時(shí)間分析，在緩沖器有溢出危險(xiǎn)的情況下提供了用來(lái)跳過(guò)所有圖像對(duì)象的信號(hào)。本發(fā)明，提供更良好的解決方法。例如，比較靜止的對(duì)象，用比較快移動(dòng)對(duì)象還慢的幀速率編碼，可以降低整個(gè)位速率。在本發(fā)明中，考慮可變時(shí)間質(zhì)量。在本發(fā)明中，用可變時(shí)間分辨率可以進(jìn)行圖像對(duì)象的編碼和代碼轉(zhuǎn)換。形狀分析595，抽出由時(shí)間分析所用的形狀特征，參與決定可變時(shí)間分辨率是否能不發(fā)生問(wèn)題的完成、即，即使在各種各樣的對(duì)象的的時(shí)間編碼速率不同的場(chǎng)合下能否避免空洞。形狀分析，可以在實(shí)時(shí)編碼模式中作用。此處，數(shù)據(jù)，是由VOP存儲(chǔ)器570取得。但是，在編碼器還從與形狀特征(即，已經(jīng)存在的內(nèi)容的記述)相關(guān)聯(lián)的元數(shù)據(jù)存儲(chǔ)單元591接收元數(shù)據(jù)的場(chǎng)合，這樣的元數(shù)據(jù)，可以用來(lái)替代來(lái)自VOP存儲(chǔ)器570的形狀數(shù)據(jù)，或可以與形狀數(shù)據(jù)一起使用。元數(shù)據(jù)由元數(shù)據(jù)分析處理，與形狀分析同樣，元數(shù)據(jù)，幫助決定對(duì)各圖像對(duì)象的最佳的時(shí)間分辨率時(shí)的時(shí)間分析。代碼轉(zhuǎn)換器的結(jié)構(gòu)圖4表示基于本發(fā)明的另一種實(shí)施方式的對(duì)象的代碼轉(zhuǎn)換器600高級(jí)方框圖。此處，輸入圖像是已經(jīng)被壓縮過(guò)的。代碼轉(zhuǎn)換器600，具有信號(hào)分離器(DE-MUX)601、多路轉(zhuǎn)換器(MUX)602、以及輸出緩沖器603。代碼轉(zhuǎn)換器600，還具有基于依據(jù)控制信息604由代碼轉(zhuǎn)換控制單元(TCU)610所作用的一個(gè)或1個(gè)以上對(duì)象的代碼轉(zhuǎn)換器630。單元TCU，具有現(xiàn)狀分析器、QP紋理分析器、時(shí)間分析器、以及元數(shù)據(jù)分析器611～614。被壓縮過(guò)的輸入位流605，由信號(hào)分離器分割成基于1個(gè)或1個(gè)以上對(duì)象的基本位流。基于對(duì)象的位流，可以是串行或并行的。位流605的整體位速率是Rin。來(lái)自代碼轉(zhuǎn)換器600的被壓縮過(guò)的位流606具有整體位速率Rout，且Rout＜Rin。信號(hào)分離器601，將1個(gè)或1個(gè)以上的基本位流提供給基于對(duì)象的各代碼轉(zhuǎn)換器630，基于對(duì)象的代碼轉(zhuǎn)換器，將對(duì)象數(shù)據(jù)給與TCU610。代碼轉(zhuǎn)換器，換算基本位流。在被轉(zhuǎn)交給輸出緩沖器603之前，由多路轉(zhuǎn)換器602構(gòu)成被換算過(guò)的基本位流，并由此將其轉(zhuǎn)交給接收設(shè)備。輸出緩沖器603，還將速率反饋信息608給與TCU。如上所述，由TCU提供被轉(zhuǎn)交給各代碼轉(zhuǎn)換器的控制信息604。如圖4所示，TCU擔(dān)負(fù)著形狀數(shù)據(jù)和紋理的分析611、612。在分析過(guò)程中，TCU還可以使用網(wǎng)絡(luò)數(shù)據(jù)609。TCU還進(jìn)行元數(shù)據(jù)分析614。通過(guò)時(shí)間質(zhì)量的分析，使采用可變時(shí)間分辨率的代碼轉(zhuǎn)換成為可能。編碼/代碼轉(zhuǎn)換方法圖5表示本發(fā)明的用于編碼和代碼轉(zhuǎn)換圖像輸入701的方法700的步驟。在這個(gè)方法中所使用的圖像輸入701，在編碼器500的情況下，是未被壓縮的圖像，在代碼轉(zhuǎn)換器600的情況下，是被壓縮過(guò)的圖像。在步驟710中，圖像輸入701被分割成對(duì)象711。步驟720中，從各對(duì)象中即時(shí)地抽出形狀特征721。形狀抽出，如上所述，可以是根據(jù)距離和宏塊進(jìn)行。步驟730中，即時(shí)地從各對(duì)象有選擇的抽出移動(dòng)特征。在為決定最佳的時(shí)間分辨率所抽出的可考慮的其它特征中，包括有編碼復(fù)雜性、例如，空間復(fù)雜性、DCT復(fù)雜性、紋理復(fù)雜性等。在步驟740中，組合所抽出的特征，在步驟750中，在編碼和代碼轉(zhuǎn)換各種對(duì)象711的時(shí)候，來(lái)決定所用的時(shí)間分辨率741。例示的編碼方案圖6表示幾個(gè)基于即時(shí)分析圖像對(duì)象的展開形狀的例示的編碼方案。此處，輸入是第1和第2所抽出的對(duì)象序列801～802。圖線810和820，畫出了形狀特征，例如，在時(shí)間(t)內(nèi)的形狀差(Δ)。需要注意的是時(shí)間t1和t2間的對(duì)象性狀是比較一定的。圖線811和821，有選擇的畫出了經(jīng)過(guò)一定時(shí)間的各對(duì)象內(nèi)部移動(dòng)特征。要注意的是第1對(duì)象內(nèi)部移動(dòng)非常小，而第2對(duì)象內(nèi)部移動(dòng)卻非常高。結(jié)合器850(RCU592或TCU610)，考慮用大致是最大、合計(jì)、比較、或其他的組合函數(shù)所抽出的特征，來(lái)決定在實(shí)際編碼中如何將所得到的位最好地在各對(duì)象間進(jìn)行分配。在方案831中，在時(shí)間區(qū)間[t1、t2]中，第1對(duì)象完全不編碼，將所得到的所有位分配給第2對(duì)象。這可以有在時(shí)間t1和t2中圖像的質(zhì)量達(dá)到可觀察的顯著突然變化的效果。在較好的方案832中，在時(shí)間區(qū)間[t1、t2]中，可以用更低的時(shí)間分辨率，或者最好是逐漸減少分辨率，而后逐漸增加。在方案833中，在時(shí)間區(qū)間[t0、t1]和[t2、tend]中將更多的位分配給第2對(duì)象，接著，在時(shí)間區(qū)間[t1、t2]中，反映第2對(duì)象的更高的內(nèi)部移動(dòng)。上述的新的自由度，使基于對(duì)象的代碼轉(zhuǎn)換框架對(duì)于網(wǎng)絡(luò)應(yīng)用成為非常富有特色且是熱切希望的。正如MPEG-2和H.263編碼標(biāo)準(zhǔn)那樣，MPEG-4應(yīng)用移動(dòng)補(bǔ)償和DCT來(lái)活用圖像的空間-時(shí)間冗余。結(jié)果，基于本發(fā)明的對(duì)象的代碼轉(zhuǎn)換器的核心，是適應(yīng)上述的MPEG-2代碼轉(zhuǎn)換器。主要的區(qū)別是，形狀信息被包含在位流內(nèi)，關(guān)于紋理編碼，為了預(yù)測(cè)關(guān)于塊內(nèi)的DC和AC要配置工具。要注意到紋理的代碼轉(zhuǎn)換實(shí)際上依賴于形狀數(shù)據(jù)，這點(diǎn)也很重要。換句話說(shuō)，不能簡(jiǎn)單的分析、忽視形狀數(shù)據(jù)。順應(yīng)位流的文法依賴于編碼形狀數(shù)據(jù)。顯然，基于本發(fā)明的對(duì)象的輸入和輸出位流605、606，與基于現(xiàn)有的幀的圖像程序截然不同。另外，MPEG-2不容許動(dòng)態(tài)的幀跳躍。在MPEG-2中，GOP結(jié)構(gòu)和基準(zhǔn)幀通常都是被固定的。非實(shí)時(shí)方案的場(chǎng)合，內(nèi)容651和對(duì)應(yīng)的內(nèi)容描述符652被存儲(chǔ)在數(shù)據(jù)庫(kù)中。內(nèi)容描述符，由特征抽出器640生成，這個(gè)特征抽出器640，接收基于輸入對(duì)象的位流605。一到了發(fā)送內(nèi)容的時(shí)間，輸入位流，如上所述，被給與信號(hào)分離器601和代碼轉(zhuǎn)換器。元數(shù)據(jù)，在TCU內(nèi)被發(fā)送給元數(shù)據(jù)分析器614。時(shí)間分析的功能性基于對(duì)象的編碼器和代碼轉(zhuǎn)換器中的時(shí)間控制器的主要目的，是要避免上述的(參照?qǐng)D2)結(jié)構(gòu)問(wèn)題、使接收設(shè)備側(cè)的構(gòu)成景物的質(zhì)量為最高。為了在這些制約之下使質(zhì)量最好，要盡量活用信號(hào)內(nèi)的時(shí)間冗余。根據(jù)大部分的圖像編碼方式，在移動(dòng)補(bǔ)償過(guò)程中，要除去時(shí)間冗余。但是，對(duì)于所有的編碼單元或宏塊要指定移動(dòng)向量，可能是超出了實(shí)際需要。除了對(duì)于移動(dòng)向量的位，還必須要編碼移動(dòng)補(bǔ)償差的殘余。重要的是，為了要使質(zhì)量為最高，沒(méi)有必要在每個(gè)時(shí)間來(lái)編碼所有的對(duì)象。這樣，這些保存位，在不同的時(shí)間中，還可以用于其他重要的對(duì)象。在非實(shí)時(shí)的方案中，時(shí)間控制器，用形狀變形量度(規(guī)格)，來(lái)表示景物內(nèi)的形狀中的移動(dòng)量。這個(gè)測(cè)定，可以與在美國(guó)專利申請(qǐng)第09/546,717號(hào)中所規(guī)定那樣的各種輔助提示級(jí)別上的景物有關(guān)連。時(shí)間控制器可以提供給與景物內(nèi)的對(duì)象的時(shí)間分辨率沖擊的各種方法。這些方法，可以適用于編碼器和代碼轉(zhuǎn)換器。在實(shí)時(shí)的方案中，時(shí)間控制器以同樣的方式作用。但是，由于潛在的制約限定了觀察，所以只考慮因果數(shù)據(jù)。故此，時(shí)間編碼決定，是被當(dāng)即進(jìn)行的。如上所述，形狀變形量度的抽出，可以在畫素或壓縮域中進(jìn)行。需要注意的是，不管變形信息是從何處抽出，在時(shí)間控制的決定過(guò)程中可以導(dǎo)入容許誤差。換言之，在規(guī)定領(lǐng)域中的增益是相當(dāng)大的場(chǎng)合，有的應(yīng)用，也可以容許少量沒(méi)有被規(guī)定的領(lǐng)域。這種場(chǎng)合，規(guī)定間的加權(quán)值。此處，0意味著在形狀的邊界沒(méi)有移動(dòng)；1意味著形狀邊界完全不同。加權(quán)值是先前所規(guī)定過(guò)的形狀變形度量的函數(shù)，可以對(duì)應(yīng)于百分?jǐn)?shù)或規(guī)格化值。另一方面，在全然不考慮結(jié)構(gòu)問(wèn)題的應(yīng)用中，這個(gè)加權(quán)值，不存在。更確切的說(shuō)，只有極端的加權(quán)值(即，0或1)是有效的。在接收沒(méi)有規(guī)定某種可容許量的畫素的狀況下，利用簡(jiǎn)單的后處理插補(bǔ)技術(shù)或基于誤差-隱蔽的其他技術(shù)可以回收這些畫素?？勺儠r(shí)間分辨率編碼的效果和優(yōu)點(diǎn)本發(fā)明的時(shí)間控制器提供以下效果和優(yōu)點(diǎn)。決定利用可變時(shí)間分辨率可以編碼或代碼轉(zhuǎn)換對(duì)象的瞬間。將被固定的不均勻的幀速率分配給圖像分割的對(duì)象。抽出或找出關(guān)鍵幀，以便可進(jìn)行內(nèi)容的摘要。改善位分配或?qū)τ趯?duì)象形狀的變化大的圖像的部分(幀)保存位。這樣的幀，要求比形狀信息需要的更多的位。為了維持紋理信息的質(zhì)量還可以要求附加位。通過(guò)例示上述實(shí)施方式說(shuō)明了本發(fā)明，不言而喻，在本發(fā)明的精神和范圍內(nèi)，可以進(jìn)行各種適應(yīng)性修改和改變。因此，附加的權(quán)利要求范圍的目的在于，涵蓋在本發(fā)明的真正精神和范圍內(nèi)的這樣的所有的變形和修改。權(quán)利要求1.一種用于編碼圖像的方法，包含將上述圖像分割成多個(gè)對(duì)象的步驟；從各對(duì)象中即時(shí)地抽出形狀特征的步驟；將上述形狀特征即時(shí)地組合、并即時(shí)地決定關(guān)于各對(duì)象的時(shí)間分辨率的步驟；根據(jù)上述對(duì)象對(duì)應(yīng)的時(shí)間分辨率對(duì)各對(duì)象進(jìn)行編碼的步驟。2.權(quán)利要求1記載的用于編碼圖像的方法，其中上述圖像是未經(jīng)壓縮的數(shù)據(jù)，在編碼器中進(jìn)行上述分割、組合以及編碼。3.權(quán)利要求1記載的用于編碼圖像的方法，其中上述圖像是壓縮過(guò)的數(shù)據(jù)，在代碼轉(zhuǎn)換器中進(jìn)行上述分割、組合以及編碼。4.權(quán)利要求1記載的用于編碼圖像的方法，其中依據(jù)不同的相應(yīng)的時(shí)間分辨率來(lái)編碼至少2個(gè)對(duì)象。5.權(quán)利要求1記載的用于編碼圖像的方法，還包含即時(shí)地測(cè)定各對(duì)象的形狀差，進(jìn)而抽出各對(duì)象的形狀特征的步驟。6.權(quán)利要求5記載的用于編碼圖像的方法，其中被編碼過(guò)的對(duì)象的時(shí)間分辨率，與上述被編碼過(guò)的對(duì)象相關(guān)的形狀差成比例。7.權(quán)利要求5記載的用于編碼圖像的方法，其中上述形狀差，是測(cè)定作為上述對(duì)象間的差的畫素?cái)?shù)的漢明距離。8.權(quán)利要求3記載的用于編碼圖像的方法，其中上述被分割過(guò)的對(duì)象，有2元形狀，由下式來(lái)定義漢明距離dd=Σn=0N-1Σm=0M-1|α1(m,n)-α2(m,n)|]]>其中，α1(m，n)和α2(m，n)是不同時(shí)間內(nèi)對(duì)應(yīng)的分段面。9.權(quán)利要求5記載的用于編碼圖像的方法，其中上述形狀差，是作為與上述對(duì)象相關(guān)的畫素集合間的最大函數(shù)所定義的豪斯多夫距離。10.權(quán)利要求9記載的用于編碼圖像的方法，其中上述最大函數(shù)是h(A，B)＝max{min{d(a，b)}}其中，a和b是第1和第2對(duì)象集合A和B的各自的畫素，d(a，b)是上述畫素間的歐幾里德距離。11.權(quán)利要求1記載的用于編碼圖像的方法，其中上述圖像包含多個(gè)幀，各個(gè)幀包含多個(gè)宏塊，上述宏塊作為不透明塊、透明塊以及邊界塊被編碼。12.權(quán)利要求1記載的用于編碼圖像的方法，還包含將上述對(duì)象的形狀特征作為元數(shù)據(jù)來(lái)編碼的步驟。13.權(quán)利要求1記載的用于編碼圖像的方法，還包含即時(shí)地抽出來(lái)自各對(duì)象的移動(dòng)特征的步驟；將上述移動(dòng)特征和上述形狀特征即時(shí)地組合起來(lái)、進(jìn)而即時(shí)地決定關(guān)于各對(duì)象的時(shí)間分辨率的步驟。14.權(quán)利要求1記載的用于編碼圖像的方法，還包含從各對(duì)象即時(shí)地抽出編碼的復(fù)雜性的步驟；將上述編碼的復(fù)雜性和上述形狀特征組合起來(lái)、進(jìn)而即時(shí)地決定關(guān)于各對(duì)象的時(shí)間分辨率的步驟。15.權(quán)利要求1記載的用于編碼圖像的方法，其中可從上述圖像的多個(gè)輔助提示級(jí)別抽出上述對(duì)象的上述形狀特征。16.一種用于編碼圖像的裝置，包括將上述圖像分割成多個(gè)對(duì)象的裝置；從各對(duì)象即時(shí)地抽出形狀特征的裝置；即時(shí)地組合上述形狀特征、并即時(shí)地決定有關(guān)各對(duì)象的時(shí)間分辨率的裝置；根據(jù)上述對(duì)象對(duì)應(yīng)的時(shí)間分辨率對(duì)各對(duì)象進(jìn)行編碼的步驟。17.權(quán)利要求16記載的用于編碼圖像的裝置，其中上述分割和抽出的裝置，具有形狀編碼器、移動(dòng)預(yù)估器、移動(dòng)補(bǔ)償器以及紋理編碼器。18.權(quán)利要求16記載的用于編碼圖像的裝置，其中將上述對(duì)象和形狀特征存儲(chǔ)到存儲(chǔ)器內(nèi)。19.權(quán)利要求16記載的用于編碼圖像的裝置，其中上述圖像不被壓縮，上述組合的裝置是速率控制單元。20.權(quán)利要求16記載的用于編碼圖像的裝置，其中上述圖像被壓縮，上述組合的裝置是代碼轉(zhuǎn)換控制單元。全文摘要圖像首先被分割成圖像對(duì)象。在圖像未被壓縮的場(chǎng)合,分割是用分段面進(jìn)行。在圖像被壓縮的場(chǎng)合,分割是采用信號(hào)分離器。即時(shí)地、從被分割過(guò)的各對(duì)象抽出形狀特征。組合所抽出的形狀特征,對(duì)各對(duì)象即時(shí)地決定時(shí)間分辨率。隨后,時(shí)間分辨率被用于作為被壓縮過(guò)的輸出圖像編碼或代碼轉(zhuǎn)換各種圖像對(duì)象。文檔編號(hào)H04N7/26GK1386376SQ01802111公開日2002年12月18日申請(qǐng)日期2001年3月8日優(yōu)先權(quán)日2000年5月26日發(fā)明者A·維特羅,H·孫申請(qǐng)人:三菱電機(jī)株式會(huì)社