專利名稱：用于率失真優(yōu)化的圖像編碼/解碼方法和用于執(zhí)行該方法的裝置的制作方法
技術領域：
本發(fā)明涉及圖像的編碼和解碼，并且更具體地，涉及用于率失真優(yōu)化的圖像編碼/解碼方法和用于執(zhí)行該方法的裝置。
背景技術：
在一般圖像壓縮方法中，通過將一個圖片分成每個均具有預定大小的多個塊來執(zhí)行編碼。此外，為了增加壓縮效率，使用幀間預測和幀內預測技術來消除圖片之間的冗余?；趲g預測的圖像編碼方法通過去除圖片之間的空間冗余來壓縮圖像，并且其典型示例是運動補償預測編碼方法。運動補償預測編碼搜索與在當前編碼的圖片之前和/或之后的至少一個參考圖片中的當前編碼的塊相似的區(qū)域，以產生運動向量，并且使用產生的運動向量執(zhí)行運動補償，從而獲得預測塊。然后，預測塊和當前塊的殘差經(jīng)過DCT (離散余弦變換)、量化和熵編碼，然后被發(fā)送。通常，將諸如16X 16、8X 16和8X8像素的各種大小的宏塊用于運動補償預測，并且將大小為8X8或4X4像素的塊用于變換和量化。

幀內預測是通過使用一個圖片中的塊之間的像素相關性去除空間冗余的壓縮圖像的方法，并且該方法根據(jù)將被編碼的當前塊和與該當前塊相鄰的編碼像素產生該當前塊的預測值，然后壓縮當前塊的像素的殘差和產生的預測值。在a 264/AVC中，幀內預測使用的塊的大小是4X4、8X8或16X16，具有4X4或8X8像素大小的塊中的每一個經(jīng)受使用9個幀內預定模式的幀內預測，具有16X 16像素大小的塊經(jīng)受使用4個幀內預定模式的幀內預測。如上所述，幀內預測產生的殘差經(jīng)過變換和量化。然而，傳統(tǒng)的變換方法不考慮每個塊的特性，并且在率失真方面不能最大化變換性能。

發(fā)明內容
技術問題本發(fā)明的目的在于提供一種可以最大化變換性能的用于率失真優(yōu)化的圖像編碼和解碼方法。本發(fā)明的另一目的是提供一種執(zhí)行上述變換方法的圖像編碼裝置和圖像解碼裝置。技術方案為了實現(xiàn)本發(fā)明的目的，根據(jù)本發(fā)明的一方面，一種圖像編碼方法包括步驟:接收將被編碼的編碼單元；對該編碼單元執(zhí)行幀間預測和幀內預測中的一個以產生預測塊；基于產生的預測塊和該編碼單元產生殘差預測塊；以及將在多個預定變換矩陣中具有最高編碼效率的變換矩陣應用到產生的殘差預測塊以對該殘差預測塊進行變換。為了實現(xiàn)本發(fā)明的目的，根據(jù)本發(fā)明的一方面，一種通過將在多個預定變換矩陣中具有最高編碼效率的變換矩陣應用到殘差預測塊對編碼的比特流進行解碼的圖像解碼方法包括步驟:對比特流進行熵解碼，以提取運動向量信息、量化的殘差預測塊信息、運動向量信息、幀內預測模式信息和變換矩陣信息中的至少一個；對量化的殘差預測塊進行逆量化；通過應用變換矩陣對逆量化的殘差預測塊進行逆變換以重建該殘差預測塊；執(zhí)行運動補償和幀內預測中的一個以產生預測塊；以及將重建的殘差預測塊與產生的預測塊相加以重建原始編碼單元。有益效果根據(jù)上述用于率失真優(yōu)化的圖像編碼/解碼方法和執(zhí)行該方法的裝置，對應于將被變換的塊的大小，多個預定變換矩陣都應用到通過幀內預測或幀間預測產生的殘差預測塊，從而執(zhí)行變換，并且然后通過應用具有最高編碼效率的變換矩陣變換殘差預測塊，因此優(yōu)化了率失真并增加了圖像質量。


圖1是示出根據(jù)本發(fā)明的實施例的使用加權預測的圖像編碼裝置的配置的框圖。圖2是示出根據(jù)本發(fā)明的實施例的使用加權預測的圖像編碼方法的流程圖。圖3是示出根據(jù)本發(fā)明的實施例的使用加權預測的圖像解碼裝置的配置的框圖。圖4是示出根據(jù)本發(fā)明的實施例的使用加權預測的圖像解碼方法的流程圖。
具體實施例方式
可以對本發(fā)明作 出各種修改和變型。以下，將參照附圖詳細描述一些特定實施例。然而，應該理解，本發(fā)明不限于這些實施例，并且本發(fā)明的所有變型或替換或其等同物包括在本發(fā)明的技術精神和范圍內。將理解，盡管在此可以使用術語第一、第二、第三等描述各個元件、組件、區(qū)域、層和/或部分，但是這些元件、組件、區(qū)域、層和/或部分不受這些術語的限制。這些術語僅用于將一個元件、組件、區(qū)域、層或部分與另一個元件、組件、區(qū)域、層或部分相區(qū)分。因此，在不脫離本發(fā)明的教導的情況下，下面討論的第一元件、組件、區(qū)域、層或部分可以被稱為第二元件、組件、區(qū)域、層或部分。將理解，當提到元件或層在另一元件或層上、連接到另一元件或層或者稱合到另一元件或層時,該元件或層可以直接在該另一元件或層上、連接到該另一元件或層或者率禹合到該另一元件或層，或者可以存在中間元件或層。相反，當提到元件直接在另一元件或層上、直接連接到另一元件或層或者直接耦合到另一元件或層時，沒有中間元件或層。在整個附圖中，相同的附圖標記涉及相同的元件。如在此使用，術語“和/或”包括相關的列出的項目中的一個或多個的任何和全部組合。在此使用的技術術語僅是為了描述特定示例性實施例，而不是意在成為本發(fā)明的限制。如在此使用的，單數(shù)形式“一個”、“該”和“所述”意在也包括復數(shù)形式，除非上下文另有明確指示。還可以理解，術語“包括”和/或“包含”當在該說明書中使用時，指示存在陳述的特征、整體、步驟、操作、元件和/或組件，但是不排除存在或添加一個或多個其他特征、整體、步驟、操作、元件和/或組件。除非另有限定，在此使用的所有術語(包括技術和科學術語)具有與本發(fā)明所屬的領域的普通技術人員通常理解的含義相同的含義。還可以理解，諸如在通常使用的字典中定義的術語的術語應該被解釋為具有與相關領域的語境中的含義一致的含義，并且將不被解釋為理想化或過于正式的意義，除非在此明確限定。以下，將參照附圖詳細描述本發(fā)明的實施例，其中，在整個說明書和附圖中，相同的附圖標記用于表示相同或基本相同的元件，并且將不重復關于相同元件的描述。通過幀內預測產生的殘差經(jīng)過變換和量化，并且在變換過程中，通過對所有塊同樣應用一個變換矩陣或者通過應用與選擇的幀內預測模式對應的預定變換矩陣來執(zhí)行變換。例如，為了減少通過幀內預測產生的殘差，在MDDT (模式依賴的方向變換)的情況下，關于執(zhí)行幀內預測之后產生的殘差(即，預測誤差塊)，根據(jù)幀內預測方法的方向性通過使用基于KLT (Karhunen-Loeve變換)設計的基本向量，在頻域壓縮預測誤差塊的能量。由于MDDT技術根據(jù)幀內預測模式應用變換編碼，因此量化之后產生的量化變換系數(shù)的特性也取決于方向性而具有不同形式，并且使用自適應掃描以對系數(shù)有效地編碼。以下，在本發(fā)明的實施例中，擴展宏塊是指具有32 X 32像素或64 X 64像素或更大的大小的塊。圖1是示出根據(jù)本發(fā)明的實施例的圖像編碼裝置的配置的框圖。
·
參照圖1，根據(jù)本發(fā)明的實施例的編碼裝置100包括編碼控制單元101、運動預測單元103、運動補償單元105、幀內預測單元107、第一加法器109、變換單元111、量化單元113、逆量化單元115、逆變換單元117、第二加法器119、緩沖器121和熵編碼單元125。編碼控制單元101將輸入編碼單元的編碼模式確定為幀間預測模式和幀內預測模式中的一個，并且基于確定的編碼模式將運動補償單元105和幀內預測單元107中的一個連接到第一加法器109和第二加法器119。此外，編碼控制單元101向熵編碼單元125提供包括用于變換的變換矩陣的、與編碼相關的開銷信息(overhead information),并且控制編碼裝置中包括的組件。在此，輸入編碼單元可以具有正方形，并且每個編碼單元可以具有可變大小，諸如2NX2N (單位:像素)?？梢曰诿總€編碼單元執(zhí)行幀間預測、幀內預測、變換、量化和熵編碼。編碼單元可以包括最大編碼單元(IXU)和最小編碼單元(S⑶)，最大編碼單元(IXU)和最小編碼單元(SCU)可以具有被表示為2的冪的大小，該2的冪可以為8或者更大。例如，輸入編碼單元可以是擴展宏塊，其具有16 X 16像素或更小或32 X 32像素或64 X 64像素或更大的大小。擴展宏塊可以具有32 X 32像素或更大，即，64X 64像素、128 X 128像素或更大的大小，從而適合于具有超HD (高清晰度)或更高分辨率的高分辨率圖像。在具有超HD(高清晰度)或更高分辨率的高分辨率圖像的情況下，考慮到編碼器和解碼器的復雜度，擴展宏塊可以被限制為具有最大64X64像素或更小的大小。編碼單元可以具有遞歸樹結構?？梢酝ㄟ^一系列標記表示遞歸結構。例如，在分層等級或分層深度為k的編碼單元CUk具有標記值0的情況下，在當前分層等級或分層深度執(zhí)行對編碼單元的CUk的編碼，在標記值為I的情況下，其當前分層等級或分層深度為k的編碼單元CUk被分割為四個獨立的編碼單元CUk+1，分割的編碼單元CUk+1的分層等級或分層深度變?yōu)閗+1，并且其大小變?yōu)镹k+lXNk+1。在此情況下，編碼單元⑶k+1可以被表示為編碼單元CUk的子編碼單元。編碼單元CUk+1可以被遞歸處理，直到編碼單元CUk+1的分層等級或分層深度達到最大可允許分層等級或分層深度。在編碼單元CUk+1的分層等級或分層深度與最大可允許分層等級或分層深度相同的情況下，不再允許分割。最大編碼單元(LCU)的大小和最小編碼單元(SCU)的大小可以包括在序列參數(shù)集(SPS)中。序列參數(shù)集(SPS)可以包括最大編碼單元(IXU)的最大可允許分層等級或分層深度。例如，最大可允許分層等級或分層深度是5，并且在最大編碼單元(LCU)側的大小是128 (單位:像素)的情況下，五種類型的編碼單元大小可用，諸如128X128(IXU)、64X64、32X 32、16X 16和8X8 (SOT)。也就是說，如果給出最大編碼單元(IXU)的大小和最大可允許分層等級或分層深度，則可以確定編碼單元的可允許大小。在具有超HD (高清晰度)或更高分辨率的高分辨率圖像的情況下，考慮到編碼器和解碼器的復雜度，可以將編碼單元的大小限制到最大64X64像素或更小。使用根據(jù)本發(fā)明的實施例的上述遞歸編碼單元結構提供了下列優(yōu)點。第一，可以支持比現(xiàn)有16X16宏塊的大小更大的大小。如果感興趣的圖像區(qū)域是同質的，則與使用多個較小塊時相比，最大編碼單元(LCU)可以使用更少數(shù)量的符號顯示感興趣的圖像區(qū)域。第二，與使用固定大小宏塊時相比，可以支持具有各種大小的最大編碼單元(LCU)，從而可以很容易地對于各種內容、應用和設備優(yōu)化編解碼器。也就是說，可以適當?shù)剡x擇最大編碼單元(LCU)的大小和最大分層等級或最大分層深度，從而可以對于目標應用進一步優(yōu)化分層塊結構。第三，在不識別宏塊、子宏塊和擴展宏塊的情況下，使用一個單一的單元形式的編碼單元LCT以能夠通過使用最大編碼單元(LCU)大小、最大分層等級(或最大分層深度)和一系列標記非常簡單 地表示多級分層結構。當一起使用大小獨立的語法表示時，對于剩余編碼工具，足以指定具有一般大小的語法項，并且這種一致性幫助簡化實際解析過程。分層等級的最大值(或最大分層深度)可以是任意值，并且與現(xiàn)有H.264/AVC編碼方案允許的值相比，分層等級的最大值(或最大分層深度)可以更大。通過使用大小獨立的語法表示，通過與編碼單元CU的大小獨立的一致性方法指定所有語法元素?？梢赃f歸地指定對編碼單元CU的分割過程，并且葉編碼單元上的其他語法元素——分層等級的最后編碼單元——可以被定義為具有相同的大小，而不考慮編碼單元大小。上述方法在減小解析復雜度方面非常有效，并且當分層等級或分層深度大時可以增加表示的清晰度。如果上述分層分割過程完成，在沒有進一步分割的情況下，可以對編碼單元分層樹中的葉節(jié)點執(zhí)行幀間或幀內預測，并且將此葉編碼單元用作預測單元(PU)，其為用于幀間或幀內預測的基本單元。對葉編碼單元執(zhí)行分區(qū)，從而進行幀間或幀內預測。對預測單元(PU)進行分區(qū)。在此，預測單元(PU)意思是用于幀間或幀內預測的基本單元，可以使用現(xiàn)有宏塊單元或子宏塊單元，或者具有32X32像素或更大的大小的編碼單元基礎或擴展宏塊單元作為預測單元(PU)。用于幀間預測或幀內預測的分區(qū)可以是不對稱分區(qū)或者具有除了正方形之外的任何形狀的幾何分區(qū)，或者沿邊緣方向的分區(qū)。
再參照圖1，運動預測單元103基于已經(jīng)被重建且存儲在緩沖器121中的多個參考圖片和輸入編碼單元執(zhí)行幀間預測，從而產生運動向量。在此，將產生的運動向量提供給運動補償單元105和熵編碼單元125。運動補償單元105將由運動預測單元103提供的運動向量應用于在緩沖器121中存儲的相應參考圖片的參考塊，從而產生運動補償?shù)念A測塊。幀內預測單元107根據(jù)與輸入編碼單元相鄰的編碼像素產生當前塊的預測值。在此，幀內預測單元107可以將輸入編碼單元分成具有4X4、8X8或16X 16像素大小的塊，根據(jù)與每個分開的塊相鄰的像素產生預測塊，對具有4X4像素或8X8像素大小的塊執(zhí)行幀內預測時，通過應用在a 264//AVC中定義的九個幀間預測模式中的一個執(zhí)行幀間預測，并且通過應用四個幀內預測模式中的一個對具有16X16像素大小的塊執(zhí)行幀內預測。在根據(jù)本發(fā)明的實施例的解碼裝置100中，對于通過運動預測單元103和運動補償單元105的幀間預測以及通過幀內預測單元107的幀內預測，可以根據(jù)編碼控制單元101的控制僅執(zhí)行任意一種預測模式，在選擇幀間預測和幀內預測中的一個的情況下，編碼控制單元101切換連接路徑，從而在運動補償單元105的輸出和幀內預測單元107的輸出之間，可以將與選擇的預測模式相應的一個提供給第一加法器109和第二加法器119。當執(zhí)行幀間預測編碼時，第一加法器109對輸入編碼單元和從運動補償單元105提供的預測塊進行運算，以產生殘差(殘差預測塊)，并且當執(zhí)行幀內預測編碼時，對輸入編碼單元和從幀內預測單元107提供的預測塊進行運算，以產生殘差。

對于從第一加法器109提供的殘差預測塊(即，殘差)，變換單元111考慮編碼效率以及經(jīng)過變換的每個殘差預測塊的大小，通過使用多個預定變換矩陣中的一個來執(zhí)行變換。具體地，在執(zhí)行幀內預測編碼且將被變換的塊的大小為4X4像素或8X8像素的情況下，將預定數(shù)量(例如，9)的變換矩陣應用到每個變換塊，然后通過應用具有最高編碼效率的變換矩陣來執(zhí)行編碼，并且在執(zhí)行幀內預測編碼且將被變換的塊的大小為16X16像素的情況下，將預定數(shù)量(例如，4)的變換矩陣應用到每個變換塊，然后通過應用具有最高編碼效率的變換矩陣來執(zhí)行編碼。在此，可以使用在MDDT (模式依賴的方向變換)中定義的變換矩陣作為該預定數(shù)量的變化矩陣。MDDT應用沿幀內編碼特定方向——例如，用于編碼的幀內模式(或幀內編碼)方向的變換。例如，在通過九個幀內模式中的水平方向模式對4X4塊進行幀內編碼的情況下，可以沿水平方向執(zhí)行變換。變換的塊的大小可以是4X 4塊、8 X 8塊、16 X 16塊或32 X 32塊?？梢詫⒂糜谧儞Q的塊實現(xiàn)為變換單元(TU)，并且變換單元可以具有遞歸樹結構。例如，變換單元可以具有2級樹結構。例如，在分層等級或分層深度為k的變換單元具有標記值0的情況下，對于當前分層等級或分層深度對變換單元執(zhí)行變換，在標記值為I的情況下，將其分割為四個獨立的編碼單元CUk+1，并且分割的編碼單元CUk+1具有分層等級或分層深度k+1,并且大小可以是Nk+1 X Nk+1?；蛘?，即使在執(zhí)行幀間預測編碼且將被變換的塊的大小為32X32像素或更大的情況下，變換單元111應用與幀間預測編碼相應的全部預定數(shù)量的編碼矩陣，然后通過應用具有最高編碼效率的變換矩陣來執(zhí)行編碼。
如上所述，在多個變換矩陣之中，關于用于變換的變換矩陣的信息被提供給熵編碼單元125，并且經(jīng)過熵編碼，并且然后提供給解碼裝置用于解碼。量化單元113對從變換單元111提供的變換數(shù)據(jù)進行量化，并且然后將量化的數(shù)據(jù)提供給逆量化單元115和熵編碼單元125。逆量化單元115對從量化單元113提供的量化數(shù)據(jù)進行逆量化，并且然后將結果提供給逆變換單元117，并且逆變換單元117通過使用由變換單元111使用的變換矩陣信息對逆量化數(shù)據(jù)進行逆變換，從而重建殘差預測塊，然后將重建的殘差預測塊提供給第二加法器119。第二加法器119將從運動補償單元105或幀內預測單元107提供的預測塊與逆變換單元117提供的預測塊相加，從而重建編碼單元，并且然后將其存儲在緩沖器121中。緩沖器121可以存儲圖片，該圖片為一組重建的編碼單元，并且使用存儲在緩沖器121中多個圖片作為用于運動補償和預測的參考圖片。熵編碼單元125對量化的殘差預測塊、用于幀間預測的運動向量信息、用于幀內預測的預測模式信息和用于變換的變換矩陣信息進行熵編碼，從而產生比特流。圖2是示出根據(jù)本發(fā)明的實施例的使用塊合并的圖像編碼方法的流程圖。參照圖2，如果將編碼單元輸入到編碼裝置(步驟201)，則編碼裝置在幀間預測和幀內預測之間選擇預測編碼模式(步驟203)。輸入編碼單元具有16X16像素或更小的大小，或者輸入編碼單元可以是具有32 X 32像素或64 X 64像素或更大的大小的擴展宏塊。輸入編碼單元可以具有上述遞歸編碼單元結構。當執(zhí)行幀間預測時，基于已經(jīng)重建且存儲在緩沖器中的多個參考圖片和輸入編碼單元執(zhí)行運動預測，從而產生運動向量(步驟205)，并且使用產生的運動向量來執(zhí)行運動補償，從而產生與當前塊相應的預測塊(步驟207)。或者，當執(zhí)行幀內預測時，根據(jù)與輸入編碼單元相鄰的編碼像素產生當前塊的預測值(步驟209)。在此，幀內預測可以將輸入編碼單元分成具有4X4、8X8或16X16像素的大小的塊，并且將幀內預測模式應用于與分開的塊中的每一個相鄰的像素，從而產生預測塊。在對具有4X4像素或8X8像素的大小的塊執(zhí)行幀內預測的情況下，通過應用在
H.264//AVC中定義的九個幀內預測模式中的一個執(zhí)行幀內預測，對具有16X16像素的大小的塊，可以應用四個幀內預測模式中的一個以執(zhí)行幀內預測。其后，編碼裝置對幀內預測或幀間預測產生的預測塊和輸入編碼單元進行運算，以由此產生殘差預測塊(步驟211)。然后，對于產生的殘差預測塊，編碼裝置考慮編碼效率以及殘差預測塊的大小，通過使用多個預定變換矩陣中的一個來執(zhí)行變換(步驟213)。也就是說，在執(zhí)行幀內預測編碼且將被變換的塊的大小為4X4像素或8X8像素的情況下，將全部預定數(shù)量(例如，9)的變換矩陣應用到每個變換塊，并且然后通過應用具有最高編碼效率的變換矩陣來執(zhí)行編碼，并且在執(zhí)行幀內預測編碼且將被變換的塊的大小為16X16像素的情況下，將全部預定數(shù)量(例如，4)的變換矩陣應用到每個變換塊，并且通過應用具有最高編碼效率的變換矩陣來執(zhí)行編碼。在此，對于預定數(shù)量的變化矩陣，可以使用MDDT中定義的變換矩陣。

或者，在執(zhí)行幀間預測編碼且將被變換的塊的大小為32X32像素的情況下，編碼裝置可以應用與幀間預測編碼相應的預定數(shù)量的編碼矩陣的全部，然后通過應用具有最高編碼效率的變換矩陣來執(zhí)行編碼。其后，編碼裝置對變換的數(shù)據(jù)進行量化(步驟215)，并且對量化的數(shù)據(jù)進行熵編碼，從而產生比特流(步驟217)。在此，熵編碼的信息可以包括量化的殘差預測塊、用于幀間預測的運動向量信息、用于幀內預測的預測模式信息和用于變換的變換矩陣信息。在如圖1和圖2所示的根據(jù)本發(fā)明的實施例的編碼方法中，通過將與變換的塊的大小相應的多個變換矩陣的全部應用于通過幀間預測或幀內預測產生的殘差預測塊來執(zhí)行變換，并且通過應用具有最高編碼效率的變換矩陣對殘差預測塊執(zhí)行變換，從而增加編碼效率。圖3是示出根據(jù)本發(fā)明的實施例的解碼裝置的配置的框圖。圖3是示出對由圖1所示的編碼裝置編碼的圖像進行解碼的解碼裝置的配置。參照圖3，根據(jù)本發(fā)明的實施例的解碼裝置300包括熵解碼單元301、逆量化單元303、逆變換單元305、運動補償單元307、幀內預測單元309、緩沖器311和第三加法器313。熵解碼單元301對從解碼裝置提供的比特流進行熵解碼，并且提取量化的殘差預測塊、用于幀間預測的運動向量、用于幀內預測的預測模式信息和用于變換的變換矩陣。逆量化單元303對從熵解碼單元301提供的量化的殘差預測塊進行逆量化，并且逆變換單元305對從逆量化單元303提供的數(shù)據(jù)進行逆變換。在此,逆變換單元305基于從熵解碼單元301提供的變換矩陣信息執(zhí)行逆變換，從而重建殘差預測塊。運動補償單元307將從熵解碼單元301提供的運動向量應用于緩沖器311中存儲的參考圖片的參考塊，從而產生預測塊。

幀內預測單元309基于從熵解碼單元301提供的幀內預測模式，根據(jù)與當前要解碼的塊相鄰的像素產生當前塊的預測值。在此，幀內預測單元309將當前要解碼的塊劃分為具有4X4、8X8或16X16像素大小的塊，并且使用幀內預測模式信息，以能夠根據(jù)與每個劃分的塊相鄰的像素產生預測塊在根據(jù)本發(fā)明的實施例的解碼裝置300中，基于從熵解碼單元301提取的選擇信息僅可以產生通過運動補償單元307和幀內預測單元309產生的預測塊中的一個，并且僅運動補償單元307和幀內預測單元309中的一個可以通過路徑切換連接到第三加法器313。也就是說，在解碼裝置300中，對應于在編碼裝置中執(zhí)行的編碼模式，可以僅執(zhí)行幀間預測和幀內預測中的一個。重建的圖像被存儲在緩沖器311中并且被用作參考圖片。第三加法器313將從運動補償單元307或幀內預測單元309提供的預測塊與從逆變換單元305提供的殘差預測塊相加，從而重建原始塊。圖4是示出根據(jù)本發(fā)明的實施例的圖像解碼方法的流程圖。參照圖4，如果從編碼裝置輸入編碼的比特流(步驟401)，則解碼裝置對該比特流進行熵量化，從而提取量化的殘差預測塊信息、運動向量信息、變換矩陣信息和幀內預測模式信息(步驟403)。在此，當編碼裝置已經(jīng)執(zhí)行幀內預測時，可以僅提取幀內預測模式，并且熵解碼的數(shù)據(jù)可以包括解碼模式信息(幀間預測或幀內預測)。其后，解碼裝置對熵解碼的殘差進行逆量化(步驟405)，并且使用提取的變換矩陣信息，以對逆量化的數(shù)據(jù)進行逆變換，從而重建殘差預測塊(步驟407)。此外，解碼裝置基于在熵解碼信息中包括的編碼模式確定解碼模式(步驟409)，并且當解碼模式被確定為運動補償時，通過使用運動向量執(zhí)行運動補償，從而產生預測塊(步驟 411)?；蛘撸斀獯a模式被確定為幀內預測時，解碼裝置將提取的幀內預測模式應用于與要被解碼的當前塊相鄰的像素，從而產生預測塊(步驟413)。其后，解碼裝置將重建的殘差預測塊與在步驟411或413中產生的預測塊相加，從而重建原始塊，即，編碼單元(步驟415)。盡 管已經(jīng)描述了本發(fā)明的實施例，但是本領域的普通技術人員將理解，在不脫離在權利要求中要求保護的本發(fā)明的精神和范圍的情況下，可以對實施例進行各種變型和修改。
權利要求
1.一種圖像編碼方法，包括步驟: 接收將被編碼的編碼單元； 對所述編碼單元執(zhí)行幀間預測和幀內預測中的一個以產生預測塊； 基于產生的預測塊和所述編碼單元產生殘差預測塊；以及 將在多個預定變換矩陣中具有最高編碼效率的變換矩陣應用到產生的殘差預測塊以對所述殘差預測塊進行變換。
2.根據(jù)權利要求1所述的圖像編碼方法，其中，將在多個預定變換矩陣中具有最高編碼效率的變換矩陣應用到產生的殘差預測塊以對所述殘差預測塊進行變換的步驟包括:在執(zhí)行幀內預測且變換的殘差預測塊具有4X4或8X8像素的大小的情況下，對每個殘差預測塊應用全部9個變換矩陣，然后通過應用具有最高編碼效率的變換矩陣對所述殘差預測塊進行變換。
3.根據(jù)權利要求1所述的圖像編碼方法，其中，將在多個預定變換矩陣中具有最高編碼效率的變換矩陣應用到產生的殘差預測塊以對所述殘差預測塊進行變換的步驟包括:在執(zhí)行幀內預測且變換的殘差預測塊具有16X16像素的大小的情況下，對每個殘差預測塊應用全部4個變換矩陣，然后通過應用具有最高編碼效率的變換矩陣對所述殘差預測塊進行變換。
4.根據(jù)權利要求1所述的圖像編碼，其中，所述多個預定變換矩陣使用在MDDT(模式依賴的方向變換)中定義的變換矩陣。
5.根據(jù)權利要求1所述的圖像編碼，其中，將在多個預定變換矩陣中具有最高編碼效率的變換矩陣應用到產生的殘差預測塊以對所述殘差預測塊進行變換的步驟包括通過使用沿幀內預測的特定方向的所述多個預定變換矩陣執(zhí)行變換。
6.根據(jù)權利要求1所述的圖像編碼方法，其中，將在多個預定變換矩陣中具有最高編碼效率的變換矩陣應用到產生的殘差預測塊以對所述殘差預測塊進行變換的步驟包括:在所述殘差預測塊具有4X4像素的大小且在9個幀內預測模式中，在水平方向模式中執(zhí)行幀內預測情況下，通過使用沿水平方向的所述多個預定變換矩陣執(zhí)行變換。
7.根據(jù)權利要求1所述的圖像編碼方法，其中，用于變換的所述殘差預測塊被實現(xiàn)為變換單元(TU),并且所述變換單元具有遞歸樹結構。
8.根據(jù)權利要求1所述的圖像編碼方法，其中，所述預測單元是具有32X32像素或更大的大小的擴展宏塊。
9.一種通過將在多個預定變換矩陣中具有最高編碼效率的變換矩陣應用到殘差預測塊來對編碼的比特流進行解碼的圖像解碼方法，所述圖像解碼方法包括步驟: 對所述比特流進行熵解碼，以提取運動向量信息、量化的殘差預測塊信息、運動向量信息、幀內預測模式信息和變換矩陣信息中的至少一個； 對量化的殘差預測塊進行逆量化； 通過應用所述變換矩陣對逆量化的殘差預測塊進行逆變換以重建所述殘差預測塊； 執(zhí)行運動補償和幀內預測中的一個以產生預測塊；以及 將重建的殘差預測塊與產生的預測塊相加以重建原始編碼單元。
10.根據(jù)權利要求9所述的圖像解碼方法，其中，在執(zhí)行幀內預測且變換的殘差預測塊大小為4X 4或8 X 8像素的情況下,對每個殘差預測塊應用全部9個變換矩陣,然后使用具有最高編碼效率的變換矩陣。
11.根據(jù)權利要求9所述的圖像解碼方法，其中，在執(zhí)行幀內預測且變換的殘差預測塊大小為16X 16像素的情況下，對每個殘差預測塊應用全部4個變換矩陣，然后使用具有最高編碼效率的變換矩陣。
12.根據(jù)權利要求9所述的圖像解碼方法，其中，所述變換矩陣使用在MDDT(模式依賴的方向變換)中定義的變換矩陣。
13.根據(jù)權利要求9所述的圖像解碼方法，其中，通過應用所述變換矩陣對逆量化的殘差預測塊進行逆變換以重建所述殘差預測塊的步驟包括基于幀內預測模式通過使用所述變換矩陣來執(zhí)行逆變換。
14.根據(jù)權利要求9所述的圖像解碼方法，其中，通過應用所述變換矩陣對逆量化的殘差預測塊進行逆變換以重建所述殘差預測塊的步驟包括:在殘差預測塊具有4X4像素的大小且在9個幀內預測模式中，使用水平方向模式來執(zhí)行幀內預測情況下，通過使用沿水平方向的所述變換矩陣執(zhí)行逆變換。
15.根據(jù)權利要求9所述的圖像解碼方法，其中，用于變換的所述殘差預測塊被實現(xiàn)為變換單元(TU),并且所述變換單元具有遞歸樹結構。
16.根據(jù)權利要求9所述的圖像解碼方法，其中，所述編碼單元是具有32X 32像素或更大的大小的 擴展宏塊。
全文摘要
公開了一種用于率失真優(yōu)化的圖像編碼/解碼方法和執(zhí)行該方法的裝置。提供將被編碼的宏塊，執(zhí)行幀間預測和幀內預測中的任意一個以產生預測宏塊，基于產生的預測宏塊和提供的宏塊產生殘差預測塊，然后通過將多個預定變換矩陣中具有最高編碼效率的變換矩陣應用到產生的殘差預測塊對產生的殘差預測塊進行變換。因此，可以優(yōu)化率失真且因此提高圖像的質量。
文檔編號H04N7/26GK103250412SQ201180011743
公開日2013年8月14日 申請日期2011年1月25日 優(yōu)先權日2010年2月2日
發(fā)明者李忠九, 樸浚盛, 李乙浩 申請人:數(shù)碼士有限公司