專利名稱：圖像域的變換方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及到圖像域的變換方法和裝置。
在[1]中已知具有從屬裝置的一種這樣的方法。將已知方法在MPEG-標(biāo)準(zhǔn)中用于作為編碼方法和原則上是建立在運動補償?shù)幕旌螪CT(離散的余弦變換)基礎(chǔ)上的。將類似的方法使用在具有n×64kbit/s(CCITT建議H.261)的圖像電話上，具有34或者45Mbit/s的TV-繳費上和具有1，2Mbit/s(ISO-MPEG-1)的多媒體應(yīng)用上。混合的DCT是由充分利用連續(xù)圖像從屬關(guān)系的時間處理階段和充分利用圖像內(nèi)相關(guān)的位置處理階段組成的。
位置處理(幀內(nèi)進(jìn)行編碼)原則上對應(yīng)于分等級的DCT-編碼。將圖像分成為8×8圖像點，將這些圖像點各自借助于DCT變換為頻域。結(jié)果是8×8系數(shù)的矩陣，這些近似地反應(yīng)了在變換的圖像塊中的二維位置頻率。具有頻率0的系數(shù)(直流部分)代表圖像塊的平均灰值。
在變換之后進(jìn)行數(shù)據(jù)膨脹。當(dāng)然在自然的圖像模型時圍繞直流部分(DC-值)出現(xiàn)能量集中，而最高頻率的系數(shù)常常是零。
在下一個步驟中進(jìn)行系數(shù)的頻譜加權(quán)，這樣高頻系數(shù)的幅值精確度減少。此外人們充分利用人眼特性，對高位置頻率分辨的精確度小于低的位置頻率分辨的精確度。
數(shù)據(jù)減少的第二個步驟是用匹配量化形式進(jìn)行的，通過匹配量化繼續(xù)減少系數(shù)的幅值精確度或者通過匹配量化將小的幅值設(shè)置為零。此時量化的尺度與輸出緩沖存儲的填滿水平有關(guān)當(dāng)空的緩沖存儲時進(jìn)行細(xì)量化，而當(dāng)充滿緩沖存儲時進(jìn)行粗量化，從而減少數(shù)據(jù)量。
在量化之后將塊進(jìn)行對角掃描(“交叉”掃描)，然后進(jìn)行熵編碼，熵編碼的作用是真正的數(shù)據(jù)減少。為此充分利用兩個效應(yīng)1.)幅值的統(tǒng)計(高幅值比低幅值出現(xiàn)的少和短編碼字從屬于經(jīng)常的事件(可變長度編碼，VLC))。用這種方法比用固定字長的編碼平均產(chǎn)生比較小的數(shù)據(jù)率。然后將VCL的可變比率在緩沖存儲器中進(jìn)行平正。
2.)人們充分利用以下事實，在大多數(shù)場合從確定的數(shù)值開始后面只還跟隨著歸零。代替所有的歸零人們只傳輸EOB-編碼(塊結(jié)束)，這在圖像數(shù)據(jù)壓縮時導(dǎo)致顯著的編碼獲益。在現(xiàn)實的例子中對于這個塊代替512比特的輸出比率只傳輸46比特，這對應(yīng)于壓縮比超過11。
人們通過數(shù)據(jù)處理得到另外的壓縮獲益(幀之間編碼)。對差別圖像進(jìn)行編碼需要比原始圖像比較少的數(shù)據(jù)率，因為幅值非常小。
如果在圖像中的運動很小時，當(dāng)然時間的差別只是很小。如果相反在圖像中的運動很大，則產(chǎn)生比較大的差別，這又是很難編碼的。由于這個原因?qū)D像-到-圖像-運動進(jìn)行測量(運動評估)和在構(gòu)成差別之前進(jìn)行壓縮(運動補償)。此時將運動信息隨著圖像信息進(jìn)行傳輸，其中一般來說只使用單個的宏塊(例如四個8×8圖像塊)的運動矢量。
如果使用運動壓縮的雙向評價代替所使用的評價，得到更小一些幅值的差別圖像。
在運動壓縮混合編碼器中不僅將圖像信息本身進(jìn)行變換，而且將時間差別信號進(jìn)行變換。由于這個原因編碼器還具有一個時間的回歸回路，因為評價器必須從已經(jīng)被傳輸?shù)?被編碼的)圖像數(shù)值中計算出評價值。一個同樣的時間回歸回路位于解碼器中，這樣編碼器和解碼器是完全同步的。
在MPEG-2-編碼方法中主要有可以處理圖像的三個不同的方法I-圖像在I-圖像中不使用時間評價，也就是說將圖像值直接變換和編碼，如附

圖1表示的。將I-圖像使用在，當(dāng)不知道過去的時間時可以新開始解碼過程，或者在傳輸誤差時達(dá)到重新同步化。
P-圖像借助于P-圖像進(jìn)行時間的評價，時間的評價將DCT使用在時間的評價誤差上。
B-圖像在B-圖像時計算時間的雙向評價誤差和然后進(jìn)行變換。雙向評價原則上是相互匹配地工作，也就是說允許前進(jìn)評價，后退評價或者中間插補。
將MPEG-2-編碼中的圖像序列分成所謂的GOPs(圖像組)。將兩個I-圖像之間的n圖像構(gòu)成一個GOP。將P-圖像之間的距離稱為m，其中各個m-1 B-圖像位于P圖像之間。然而MPEG-語句允許用戶如何選擇m和n。m＝1表示不使用B-圖像，和n＝1表示只將I-圖像編碼。
優(yōu)異的是在解碼器方面在DCT-變換的幀上進(jìn)行分類的變換或者逐行的變換。其中所有圖像數(shù)據(jù)的變換方式是同樣進(jìn)行的，這對于一定的圖像數(shù)據(jù)是缺點。
本發(fā)明的任務(wù)在于將圖像域進(jìn)行變換，其中垂直和水平變換的順序與預(yù)先規(guī)定的條件有關(guān)，將這些條件有目的地考慮。
此時可以達(dá)到圖像質(zhì)量的明顯改善。
為了解決此任務(wù)規(guī)定了圖像域變換的方法，在其中由決策單元首先進(jìn)行圖像域的垂直變換和然后進(jìn)行圖像域的水平變換或者相反首先進(jìn)行水平變換和隨后進(jìn)行垂直變換。
一種擴(kuò)展結(jié)構(gòu)在于圖像域有不規(guī)則的結(jié)構(gòu)。
其中特別的優(yōu)點是，在決策單元中或者由決策單元依賴于預(yù)先規(guī)定的數(shù)值或者平均值可以求出變換的順序。這樣就可以依賴準(zhǔn)備變化的圖像域和依賴專門為其標(biāo)志的特征通過決策單元這樣預(yù)先規(guī)定水平和垂直變換的順序，涉及到圖像域的壓縮達(dá)到盡可能好的結(jié)果。
特別是當(dāng)圖像域的不規(guī)則結(jié)構(gòu)時變換的順序是決定性的，因為在每個垂直或者水平變換之后將不規(guī)則圖像域的圖像點進(jìn)行重新分類和因此在位置域可以失去圖像點的相關(guān)。特別是這種重新分類可以是沿著水平或者垂直軸(線)的對齊。
有益地由決策單元借助于圖像域的一些專門特征或者一個專門特征，借助于其傳輸方式或者借助于對于其有代表性的特征求出變換的順序。
一種結(jié)構(gòu)在于沿著水平或者垂直線對齊圖像域或者沿著垂直或者水平線對齊圖像域。其中將圖像域的行的圖像點在垂直線上對齊或者將圖像域的列的圖像點在水平線上對齊。特別是在每次變換之后(垂直或者水平)進(jìn)行相應(yīng)的對齊。通過對齊，也就是說將圖像域的行或者列運動，有時失去在位置域上的相關(guān)(當(dāng)圖像域是不規(guī)則的結(jié)構(gòu)時)，因為原來相互靠在一起的圖像點在對齊之后不再是必然的靠在一起(例如在位置域上的相關(guān))。特別是利用這個信息在決策單元內(nèi)決策關(guān)于變換的順序，以便最佳地充分利用位置域或者時間域中相互靠在一起的圖像點的相關(guān)。
此外一種結(jié)構(gòu)在于，由決策單元確定垂直和水平變換的順序至少考慮下面的機(jī)理之一a)當(dāng)用隔行方法(交錯的)進(jìn)行傳輸時只表示(和傳輸)圖像的各個第二行。通過各自另外第二行的交替變化產(chǎn)生代表運動圖像的時間錯位的圖像，其中補充各自兩個時間連續(xù)圖像的行成為完整圖像。例如在決策單元中借助于圖像標(biāo)題求出是否出現(xiàn)用隔行方法的這種傳輸，則首先進(jìn)行水平變換和然后進(jìn)行垂直變換。其中在隔行方法時充分利用只傳輸各個第二行和因此在行內(nèi)圖像點的相關(guān)大于沿著列的圖像點的相關(guān)。
b)另外的機(jī)理在于，如上所述沿著其方向準(zhǔn)備變換圖像域的圖像點比較大相關(guān)的那個首先進(jìn)行變換。
另外的擴(kuò)展結(jié)構(gòu)在于，在變換時考慮一個附加的維，其中將涉及到在附加維的圖像點的附加維的相關(guān)進(jìn)行分析。一個例子在于附加的維是一個時間軸(3維變換)。
另外的結(jié)構(gòu)在于，由決策單元產(chǎn)生包括變換的順序的側(cè)信息，其中側(cè)信息對應(yīng)于一個信號，將信號有益地傳輸給接收器(解碼器)和借助于這個解碼器有能力獲悉關(guān)于變換的順序的信息，當(dāng)進(jìn)行解碼的逆變操作時相應(yīng)地考慮這個順序。
在另外的擴(kuò)展結(jié)構(gòu)的幀內(nèi)從水平變換出發(fā)進(jìn)行垂直變換，如果在變換之前在45°-軸上進(jìn)行映像。相應(yīng)地從垂直變換出發(fā)進(jìn)行水平變換。通過映像(虛擬地)將變換順序進(jìn)行交換。
本方法適合于使用在用于壓縮圖像數(shù)據(jù)的編碼器上，例如MPEG-圖像編碼器。將相應(yīng)的解碼器有益地進(jìn)行擴(kuò)展以便使側(cè)信息信號的計算成為可能，以便當(dāng)進(jìn)行圖像域解碼時可以進(jìn)行垂直和水平變換的正確的順序(或者各個為此逆變的操作)。
有益的是編碼器和解碼器按照MPEG-標(biāo)準(zhǔn)或者按照H.26x-標(biāo)準(zhǔn)工作。
一個擴(kuò)展結(jié)構(gòu)在于變換是DCT-變換或者為此逆變的IDCT-變換。
此外為了解決此任務(wù)規(guī)定了用于圖像域變換的具有決策單元的裝置，借助于決策單元可以進(jìn)行圖像域的垂直變換和然后可以進(jìn)行圖像域的水平變換或者相反可以首先進(jìn)行圖像域的水平變換和然后可以進(jìn)行垂直變換。
這種裝置特別適合于執(zhí)行按照本發(fā)明的方法或者執(zhí)行其上述的擴(kuò)展結(jié)構(gòu)之一。
下面借助于附圖表示和敘述本發(fā)明的實施例。
附圖表示附圖1表示圖像域變換步驟的簡圖；附圖2表示決策單元的和從其中生成信號/數(shù)值的簡圖；附圖3表示用于圖像壓縮的發(fā)送器和接收器的簡圖；附圖4具有圖像編碼器和圖像解碼器的比較詳細(xì)的簡圖；附圖5以處理器單元形式的決策單元的可能的特點。
在附圖1上是變換的步驟，特別是預(yù)先規(guī)定的圖像域的DCT-變換的步驟，這個圖像域有不規(guī)則的結(jié)構(gòu)。步驟101表示在隔行方法中的圖像域的不規(guī)則結(jié)構(gòu)，通過各個第二個被占據(jù)的行表示的。在其中圖像域是由行105，106，107和108組合成的。在步驟102中表示了真正用隔行方法表示的還是行105至108的圖像。具有不規(guī)則結(jié)構(gòu)的這個圖像域的相關(guān)沿著行特別高。相對應(yīng)的在隔行方法中首先變換行在這之后首先沿著垂直線109將其對齊。通過對齊得出以列為基礎(chǔ)的相互靠在一起的圖像點的運動。在步驟103中進(jìn)行垂直變換。事前沿著水平線110進(jìn)行水平對齊。
也有可能考慮沿著時間軸(附加地)進(jìn)行變換。這樣也可以將步驟101解釋成表示多個行105至108或者多個圖像域105至108，將這些沿著行軸111在各個不同的時間點上進(jìn)行掃描。各個行105至108或者各個圖像域105至108上的位置信息是高的，相反通過沿著時間軸111在時間維方向上的掃描在單個的行105至108之間或者單個的圖像域105至108之間有比較低的相關(guān)。
在附圖2上表示了決策單元和從其中生成的信號/數(shù)值的簡圖。一個輸入信號或者多個輸入信號200的作用是使決策單元201求出，應(yīng)該將多個變換(水平的，垂直的，時間的)中的那些在什么樣的順序中進(jìn)行變換，以便可能最好地充分利用在位置域或者時間域中的各個相關(guān)，也就是說這樣考慮高相關(guān)，首先進(jìn)行一個所屬的變換。將附圖1上離散的隔行方法使用作為例子，借助于隔行方法決策單元201在垂直變換之前進(jìn)行水平變換。將原來的變換在單元202中進(jìn)行，在其中同樣將圖像域?qū)R。從中產(chǎn)生的系數(shù)203是變換單元202的結(jié)果(也比較在步驟104中的表示)。此外由決策單元201產(chǎn)生包括變換順序的一個側(cè)信息203。
特別在附圖2上表示的裝置是發(fā)送器(編碼器)301的一部分，如在附圖3上表示的。從發(fā)送器301將圖像數(shù)據(jù)303，有益的是以壓縮形式，傳輸?shù)浇邮掌?解碼器)302。將附圖2上敘述的側(cè)信息203同樣(在這里是由連接304表示的)從發(fā)送器301傳輸?shù)浇邮掌?02。在那里將側(cè)信息304解碼和從中得到關(guān)于變換順序的信息。
還應(yīng)該指出的是，原則上有兩種進(jìn)行變換的可能性或者真正將兩個變換(水平的和垂直的)交換。這在程序技術(shù)方面導(dǎo)致很大的費用。另外可以確定變換的順序(借助于決策單元201)，其中垂直變換是從水平變換出發(fā)的，如果將圖像域在45°-軸上(左上向右下)映像。通過映像將(虛擬的)變換順序交換。相應(yīng)地將映像操作安排在接收器302一邊。
附圖4表示了以比較高細(xì)化程度的從屬的圖像解碼器的圖像編碼器(按照H.263-標(biāo)準(zhǔn)以塊為基礎(chǔ)的圖像編碼方法)。
將具有時間連續(xù)數(shù)字化圖像的準(zhǔn)備編碼的視頻數(shù)據(jù)流輸入給圖像編碼單元201。將數(shù)字化圖像分成宏塊202，其中每個宏塊有16×16圖像點。宏塊202包括4圖像塊203，204，205和206，其中每個圖像塊包括8×8圖像點，流明值(亮度值)從屬于圖像點。此外每個宏塊202包括從屬于圖像點色度值的兩個色度塊207和208(顏色信息，顏色飽和度)。
一個圖像的塊包括流明值(＝亮度)，第一個色度值(＝色調(diào))和第二個色度值(＝色飽和)。在其中將流明值，第一個色度值和第二個色度值稱為色值。
將圖像塊輸入給變換編碼單元209。在差別圖像編碼時將準(zhǔn)備編碼的時間連續(xù)圖像的圖像塊的數(shù)值從現(xiàn)實的準(zhǔn)備編碼的圖像塊中減去，只將差別圖像信息210輸入給變換編碼單元(離散的余弦變換DCT)209。此外經(jīng)過連接234將現(xiàn)實的宏塊202通知給運動評估單元229。在變換編碼單元209中將準(zhǔn)備編碼的圖像塊或者差別圖像塊構(gòu)成譜系數(shù)211和輸入給量化單元212。這個量化單元212相當(dāng)于按照本發(fā)明的量化裝置。
將被量化的譜系數(shù)213不僅輸入給掃描單元214而且在返回路徑上輸入給逆變的量化單元215。按照掃描方法，例如“交叉的”-掃描方法，將被掃描的譜系數(shù)232在為此安排的熵編碼單元216中進(jìn)行熵編碼。將被熵編碼的譜系數(shù)作為編碼的圖像數(shù)據(jù)217經(jīng)過一個信道，有益的是一條導(dǎo)線或者一個無線路段，傳輸給解碼器。
逆變的量化單元215中將被量化的譜系數(shù)213進(jìn)行逆變量化。將這樣得到的譜系數(shù)218輸入給逆變的變換編碼單元219(逆變的離散余弦變換，IDCT)。將被改造的編碼值(還有差別編碼值)220用差別圖像模式輸入給加法器221。此外加法器得到一個圖像塊的編碼值，編碼值是由時間連續(xù)的圖像在已經(jīng)進(jìn)行運動補償之后得到的。用加法器221構(gòu)成被改造的圖像塊222和存儲在圖像存儲器223中。
將被改造的圖像塊222的色值224從圖像存儲器223輸入給運動補償單元225。在為此安排的插補單元227中對于亮度值進(jìn)行插補。借助于插補將包括在各個圖像塊中的亮度值的數(shù)目有益地加倍。將所有亮度值228不僅輸入給運動補償單元225而且輸入給運動評估單元229。此外運動評估單元229經(jīng)過連接234得到各個準(zhǔn)備編碼的宏塊(16×16圖像點)的圖像塊。在運動評估單元229中考慮到被插補的亮度值(“在半象素基礎(chǔ)上”)進(jìn)行運動評估。有益的是當(dāng)運動評估時從時間連續(xù)的圖像中求出現(xiàn)實準(zhǔn)備編碼的宏塊202中的和被改造的宏塊中的單個的亮度值的絕對差別。
運動評估的結(jié)果是一個運動矢量230，通過運動矢量表達(dá)了在時間連續(xù)圖像中被選定的宏塊相對于準(zhǔn)備編碼的宏塊202的位置運動。
將涉及到由運動評估單元229求出的宏塊的不僅亮度信息而且色值信息移位一個運動矢量230和被宏塊202的編碼值減去(見數(shù)據(jù)路徑231)。
附圖5表示了適合于進(jìn)行變換和/或壓縮/解壓縮的處理器單元PRZE。處理器單元PRZE包括處理器CPU，存儲器SPE和輸入/輸出-接口IOS，這些經(jīng)過各種方式和方法的接口IFC被利用經(jīng)過圖像接口將輸出顯示在監(jiān)視器MON上和/或在打印機(jī)PRT上輸出。經(jīng)過鼠標(biāo)器MAS或鍵盤TAST進(jìn)行輸入。處理器單元PRZE也有一個數(shù)據(jù)總線BUS，數(shù)據(jù)總線保證與存儲器MEM，處理器CPU和輸入/輸出-接口IOS的連接。此外在數(shù)據(jù)總線BUS上可以連接附加的部件，例如附加的存儲器，數(shù)據(jù)存儲器(固定盤)或者掃描機(jī)。
參考文獻(xiàn)[1]J.De Lameillieure，R，Schaefer“數(shù)字化電視機(jī)MPEG-2-圖像編碼”，電視電影技術(shù)，第48年度，3/1994號，99-107頁。
權(quán)利要求
1.圖像域的變換方法，在其中依賴決策單元首先將圖像域進(jìn)行垂直變換和然后將圖像域進(jìn)行水平變換或者相反首先進(jìn)行水平變換和然后進(jìn)行垂直變換。
2.按照權(quán)利要求1的方法，在其中圖像域有一個不規(guī)則的結(jié)構(gòu)。
3.按照權(quán)利要求1或2的方法，a)在其中在垂直變換之前或者之后沿著水平線將圖像域?qū)R；b)在其中在水平變換之前或者之后沿著垂直線將圖像域?qū)R。
4.按照權(quán)利要求1至3之一的方法，在其中由決策單元執(zhí)行至少以下機(jī)理中的一個a)如果出現(xiàn)隔行方法的圖像域時，首先進(jìn)行水平變換和然后進(jìn)行垂直變換；b)首先將沿著圖像域的圖像點相關(guān)比較強(qiáng)的那個(水平的或者垂直的)進(jìn)行變換。
5.按照上述權(quán)利要求之一的方法，在其中在變換時考慮一個附加的維。
6.按照權(quán)利要求5的方法，在其中沿著時間維進(jìn)行附加變換。
7.按照上述權(quán)利要求之一的方法，在其中由決策單元產(chǎn)生一個側(cè)信息，在其中包括變換的順序。
8.按照上述權(quán)利要求之一的方法，在其中水平變換是由垂直變換出發(fā)的，其中在變換之前進(jìn)行45°-軸映像。
9.按照上述權(quán)利要求之一的方法，在其中垂直變換是由水平變換出發(fā)的，其中在變換之前進(jìn)行45°-軸映像。
10.按照上述權(quán)利要求之一的方法使用在編碼器中為了壓縮圖像數(shù)據(jù)。
11.按照權(quán)利要求7至10之一的方法，在其中在解碼器中使用側(cè)信息作為解壓縮圖像域。
12.按照權(quán)利要求10或11的方法，在其中編碼器和/或解碼器的工作方法是按照MPEG-標(biāo)準(zhǔn)或者按照H.26x-標(biāo)準(zhǔn)確定的。
13.按照上述權(quán)利要求之一的方法，在其中變換是DCT-變換或者附加的逆變的IDCT-變換。
14.用于圖像域變換的裝置，具有一個決策單元，決策單元是這樣安排的，依賴決策單元求出的數(shù)值首先可以進(jìn)行圖像域的垂直變換和然后可以進(jìn)行圖像域的水平變換或者相反首先可以進(jìn)行水平變換和隨后可以進(jìn)行垂直變換。
全文摘要
規(guī)定了圖像域的變換方法,在其中由決策單元首先進(jìn)行圖像域的垂直變換和然后進(jìn)行圖像域的水平變換或者相反首先進(jìn)行水平變換和隨后進(jìn)行垂直變換。
文檔編號H04N1/41GK1339225SQ00803213
公開日2002年3月6日 申請日期2000年2月1日 優(yōu)先權(quán)日1999年2月1日
發(fā)明者A·考普 申請人:西門子公司