專利名稱：通過使用平滑插值濾波器對圖像進行插值的方法和裝置的制作方法
技術領域：
本發(fā)明涉及使用運動補償?shù)念A測編碼。
背景技術：
在典型的圖像編碼和解碼方法中，為了對圖像進行編碼，將一幅畫面劃分為宏塊。隨后，通過使用幀間預測或幀內預測來對每個宏塊執(zhí)行預測編碼。幀間預測指的是通過去除畫面之間的時間冗余來壓縮圖像的方法，幀間預測的代表性示例是運動估計編碼。在運動估計編碼中，通過使用至少一個參考畫面來預測當前畫面的每個塊。通過使用預定估計函數(shù)在預定搜索范圍內找出與當前塊最相似的參考塊?；趨⒖級K預 測當前塊，并對通過從當前塊減去作為預測結果產生的預測塊而獲得的殘差塊進行編碼。在這種情況下，為了更精確地執(zhí)行預測，在搜索參考畫面的范圍上執(zhí)行插值，產生小于整數(shù)像素單位像素的子像素單位像素，并且對產生的子像素單位像素執(zhí)行幀間預測。

發(fā)明內容
技術問題本發(fā)明提供一種用于考慮圖像特征確定適當插值濾波器系數(shù)以通過對整數(shù)像素單位像素進行插值來產生子像素單位像素的方法和設備。技術方案根據(jù)本發(fā)明的一方面，提供了一種考慮平滑來對圖像進行插值的方法，所述方法包括:基于子像素單位插值位置和平滑度，從用于產生位于整數(shù)像素單位像素之間的至少一個子像素單位像素值的插值濾波器中不同地選擇插值濾波器；通過使用選擇的插值濾波器對整數(shù)像素單位像素的像素值進行插值，來產生所述至少一個子像素單位像素值。有益效果當對視頻進行編碼和解碼時，由于通過對參考幀進行插值來產生高質量圖像并基于高質量圖像執(zhí)行運動估計和補償，因此可提高幀間預測的精確度。此外，由于使用平滑插值濾波器來減少插值結果中的高頻分量并因而獲得更平滑的插值結果，因此可去除高頻分量，并可提高圖像編碼和圖像解碼的效率。


圖1是根據(jù)本發(fā)明的實施例的圖像插值設備的框圖；圖2是用于描述整數(shù)像素單位和子像素單位之間的關系的示圖；圖3是示出根據(jù)本發(fā)明的實施例的將被參考以確定子像素單位像素值的鄰近整數(shù)像素單位像素的示圖；圖4a至圖4c是示出根據(jù)本發(fā)明的實施例的將被參考以確定子像素單位像素值的整數(shù)像素單位像素的示例的示圖5是根據(jù)本發(fā)明的實施例的平滑插值濾波器的平滑參數(shù)的曲線圖；圖6是根據(jù)本發(fā)明的實施例的由平滑插值濾波器可使用的樣條函數(shù)的曲線圖；圖7是根據(jù)本發(fā)明的實施例的圖像插值方法的流程圖；圖8a至圖Sc是示出根據(jù)本發(fā)明的實施例的基于平滑參數(shù)和插值位置確定的12抽頭插值濾波器的濾波器系數(shù)的表；圖9a至圖9c是示出根據(jù)本發(fā)明的實施例的基于平滑參數(shù)和插值位置確定的6抽頭插值濾波器的濾波器系數(shù)的表；圖10是示出根據(jù)本發(fā)明的實施例的基于平滑參數(shù)和插值位置針對色度像素確定的6抽頭插值濾波器的濾波器系數(shù)的表；圖11是示出根據(jù)本發(fā)明的實施例的基于彩色分量和圖像插值位置不同地確定的平滑插值濾波器的濾波器系數(shù)的表；圖12a至圖12c是示出根據(jù)本發(fā)明的實施例的基于圖像插值位置和縮放因子的平滑插值濾波器的濾波器系數(shù)的表；圖13a是根據(jù)本發(fā)明的實施例的使用平滑插值濾波器的視頻編碼設備的框圖；圖13b是根據(jù)本發(fā)明的實施例的使用平滑插值濾波器的視頻解碼設備的框圖；圖14a是根據(jù)本發(fā)明的實施例的使用平滑插值濾波器的圖像編碼方法的流程圖；圖14b是根據(jù)本發(fā)明的實施例的使用平滑插值濾波器的圖像解碼方法的流程圖；圖15是用于描述根據(jù)本發(fā)明的實施例的編碼單元的概念的示圖；圖16是根據(jù)本發(fā)明的實施例的基于編碼單元的圖像編碼器的框圖；圖17是根據(jù)本發(fā)明的實施例的基于編碼單元的圖像解碼器的框圖；圖18是示出根據(jù)本發(fā)明的實施例的根據(jù)深度的較深層編碼單元以及分區(qū)的示圖；圖19是用于描述根據(jù)本發(fā)明的實施例的編碼單元和變換單元之間的關系的示圖；圖20是用于描述根據(jù)本發(fā)明的實施例的與編碼深度相應的編碼單元的編碼信息的示圖；圖21是根據(jù)本發(fā)明的實施例的根據(jù)深度的較深層編碼單元的示圖；圖22至圖24是用于描述根據(jù)本發(fā)明的實施例的編碼單元、預測單元和變換單元之間的關系的不圖；圖25是用于描述根據(jù)表I的編碼模式信息的在編碼單元、預測單元或分區(qū)以及變換單元之間的關系的示圖；圖26是根據(jù)本發(fā)明的實施例的基于具有樹結構的編碼單元使用平滑插值濾波器的視頻編碼方法的流程圖；圖27是根據(jù)本發(fā)明的實施例的基于具有樹結構的編碼單元使用平滑插值濾波器的視頻解碼方法的流程圖。最佳實施方式根據(jù)本發(fā)明的一方面，提供了一種考慮平滑對圖像進行插值的方法，所述方法包括:基于子像素單位插值位置和平滑度，從用于產生位于整數(shù)像素單位像素之間的至少一個子像素單位像素值的插值 濾波器中不同地選擇插值濾波器；通過使用選擇的插值濾波器對整數(shù)像素單位像素的像素值進行插值來產生所述至少一個子像素單位像素值。插值濾波器可包括濾波器系數(shù)，所述濾波器系數(shù)用于基于多個基函數(shù)對整數(shù)像素單位像素進行變換，并對作為變換的結果而產生的多個系數(shù)進行反變換。插值濾波器可包括具有基于插值位置和整數(shù)像素單位像素之間的距離確定的平滑度的濾波器系數(shù)。插值濾波器包括具有基于插值位置和與所述插值位置鄰近的整數(shù)像素單位像素之間的距離確定的平滑度的濾波器系數(shù)。為了對空間域中的整數(shù)像素單位像素進行插值，插值濾波器可包括通過將用于使用多個基函數(shù)執(zhí)行變換和反變換的濾波器與窗函數(shù)結合而獲得的濾波器系數(shù)，并且窗函數(shù)可關于插值位置而對稱。為了對空間域中的整數(shù)像素單位像素進行插值，插值濾波器可包括通過將用于使用多個基函數(shù)執(zhí)行變換和反變換的濾波器與平滑參數(shù)結合而獲得的濾波器系數(shù)，并且平滑參數(shù)可控制平滑速度和平滑范圍中的至少一個。插值濾波器可包括基于樣條函數(shù)的濾波器系數(shù)。插值濾波器可包括用于基于多項式函數(shù)最大化插值濾波器的低頻響應的濾波器系數(shù)。選擇插值濾波器的步驟可包括:從插值濾波器中選擇包括被縮放為整數(shù)的濾波器系數(shù)的插值濾波器，并且產生所述至少一個子像素單位像素值的步驟可包括:基于縮放因子，對通過使用選擇的插值濾波器而產生的所述至少一個子像素單位像素值進行歸一化。選擇插值濾波器的步驟可包括:基于像素特征從插值濾波器中不同地選擇插值濾波器，并且產生所述至少一 個子像素單位像素值的步驟可包括:通過使用基于像素特征不同地選擇的插值濾波器來產生所述至少一個子像素單位像素值。根據(jù)本發(fā)明的另一方面，提供了一種用于考慮平滑對圖像進行插值的設備，所述設備包括:濾波器選擇器，基于子像素單位插值位置和平滑度，從用于產生位于整數(shù)像素單位像素之間的至少一個子像素單位像素值的插值濾波器中不同地選擇插值濾波器；插值器，通過使用選擇的插值濾波器對整數(shù)像素單位像素的像素值進行插值來產生所述至少一個子像素單位像素值。根據(jù)本發(fā)明的另一方面，提供了一種考慮彩色分量對圖像進行插值的方法，所述方法包括:基于子像素單位插值位置和當前像素的彩色分量，從用于產生位于整數(shù)像素單位像素之間的至少一個子像素單位像素值的插值濾波器中不同地選擇插值濾波器；通過使用選擇的插值濾波器對整數(shù)像素單位像素的像素值進行插值來產生所述至少一個子像素單位像素值。選擇插值濾波器的步驟包括:為了對色度像素進行插值，從插值濾波器中選擇具有比用于亮度像素的插值濾波器的平滑度更強的平滑度的插值濾波器。具有比用于亮度像素的插值濾波器的平滑度更強的平滑度的插值濾波器可以是以下濾波器中的一個:包括用于對整數(shù)像素單位像素進行平滑、通過使用多個基函數(shù)對平滑的整數(shù)像素單位像素進行變換、并對作為變換的結果而產生的多個系數(shù)進行反變換的濾波器系數(shù)的濾波器；通過將用于使用多個基函數(shù)執(zhí)行變換和反變換的濾波器系數(shù)與用于執(zhí)行低通濾波的窗函數(shù)系數(shù)進行結合而獲得的濾波器；包括用于基于樣條函數(shù)的邊界條件對邊界整數(shù)像素單位像素進行最強有力的平滑的濾波器系數(shù)的濾波器；包括用于基于樣條函數(shù)最大化插值濾波器的低頻響應的濾波器系數(shù)的濾波器。
根據(jù)本發(fā)明的另一方面，提供一種用于考慮彩色分量對圖像進行插值的設備，所述設備包括:濾波器選擇器，基于子像素單位插值位置和當前像素的彩色分量，從用于產生位于整數(shù)像素單位像素之間的至少一個子像素單位像素值的插值濾波器中不同地選擇插值濾波器；通過使用選擇的插值濾波器對整數(shù)像素單位像素的像素值進行插值來產生所述至少一個子像素單位像素值。根據(jù)本發(fā)明的另一方面，提供一種使用圖像插值濾波器的視頻編碼器，所述視頻編碼器包括:編碼器，針對輸入圖像的每個塊，基于子像素單位插值位置和平滑度從存儲在視頻編碼器中的插值濾波器中不同地選擇插值濾波器，通過使用選擇的插值濾波器來對整數(shù)像素單位像素的像素值進行插值來執(zhí)行預測編碼以產生至少一個子像素單位像素值，并且對預測編碼的預測結果執(zhí)行變換和量化；輸出單元，輸出通過對量化的變換系數(shù)和編碼信息執(zhí)行熵編碼而產生的比特流；存儲器，存儲插值濾波器的濾波器系數(shù)。根據(jù)本發(fā)明的另一方面，提供一種使用圖像插值濾波器的視頻解碼器，所述視頻解碼器包括:接收器和提取器，接收視頻的編碼的比特流，并通過對比特流執(zhí)行熵解碼和解析來提取視頻的畫面的編碼信息和編碼的數(shù)據(jù)；解碼器，對畫面的當前塊的編碼數(shù)據(jù)的量化的變換系數(shù)執(zhí)行反量化和反變換，基于子像素單位插值位置和平滑度從存儲在視頻解碼器中的插值濾波器中不同地選擇插值濾波器，通過使用選擇的插值濾波器對整數(shù)像素單位像素的像素值進行插值來執(zhí)行預測解碼以產生至少一個子像素單位像素值，并重建畫面；存儲器，存儲插值濾波器的濾波器系數(shù)。根據(jù)本發(fā)明的另一方面，提供一種計算機可讀記錄介質，其中，所述計算機可讀記錄介質記錄有用于執(zhí)行上述方法的計算機程序。
具體實施例方式在下面的描述中，“圖像”可全面地表示運動圖像(諸如視頻)以及靜止圖像。參照圖1至圖12c公開了根據(jù)本發(fā)明的實施例的考慮平滑的圖像插值。此外，參照圖13a至圖27公開了根據(jù)本發(fā)明的實施例的使用平滑插值濾波器的視頻編碼和解碼。具體地，參照圖15至圖27公開了根據(jù)本發(fā)明的實施例的基于具有樹結構的編碼單元的使用平滑插值濾波器的視頻編碼和解碼。現(xiàn)在將參照圖1至圖12c詳細描述根據(jù)本發(fā)明的實施例的考慮平滑的圖像插值和平滑插值濾波器。圖1是根據(jù)本發(fā)明的實施例的圖像插值設備10的框圖?？紤]平滑的圖像插值設備10包括濾波器選擇器12和插值器14?？赏ㄟ^視頻編碼處理器、中央處理器(CPU)和圖形處理器來協(xié)同控制圖像插值設備10的濾波器選擇器12和插值器14的操作。圖像插值設備10可接收輸入圖像，并可通過對整數(shù)像素單位像素進行插值來產生子像素單位像素值。輸入圖像可以是視頻的畫面序列、畫面、幀或塊。濾波器選擇器12可基于子像素單位插值位置和平滑度，不同地選擇用于產生位于整數(shù)像素單元之間的至少一個子像素單位像素值的插值濾波器。插值器14可 通過使用由濾波器選擇器12選擇的插值濾波器對與子像素單位插值位置鄰近的整數(shù)像素單位像素進行插值，從而產生子像素單位像素值。對整數(shù)像素單位像素進行插值濾波以產生子像素單位像素值的步驟可包括:對在由插值濾波器支持的區(qū)域中的包括與子像素單位插值位置鄰近的整數(shù)像素單位像素的整數(shù)像素單位參考像素值進行插值濾波。根據(jù)實施例的插值濾波器可包括這樣的濾波器系數(shù)，所述濾波器系數(shù)用于基于多個基函數(shù)對整數(shù)像素單位參考像素進行變換，并用于對作為變換結果而產生的多個系數(shù)進行反變換。插值濾波器可以是一維濾波器或二維濾波器。如果選擇的插值濾波器是一維濾波器，則插值器14可通過在兩個或更多方向上使用一維插值濾波器來順序地執(zhí)行濾波，從而產生當前子像素單位像素值。根據(jù)實施例的平滑插值濾波器可具有基于插值位置和整數(shù)像素單位像素之間的距離確定的平滑度。根據(jù)實施例的插值濾波器可包括基于子像素單位插值位置和平滑度的不同濾波器系數(shù)。以下，考慮子像素單位插值位置和平滑度而確定的插值濾波器被稱為平滑插值濾波器。根據(jù)實施例的平滑插值濾波器可具有插值位置和與所述插值位置鄰近的整數(shù)像素單位像素之間的距離而確定的平滑度。此外，平滑插值濾波器可包括這樣的濾波器系數(shù)，所述濾波器系數(shù)用于更強有力地對遠離插值位置的整數(shù)像素單位參考像素進行平滑。為了在空間域中對整數(shù)像素單位像素進行插值，可通過將濾波器系數(shù)和窗函數(shù)系數(shù)進行結合來獲得平滑插值濾波器，其中，濾波器系數(shù)用于通過使用多個基函數(shù)來執(zhí)行變換和反變換，窗函數(shù)系數(shù)用于執(zhí)行低通濾波。根據(jù)實施例的窗函數(shù) 可以關于插值位置而對稱。通過將用于執(zhí)行變換和反變換的濾波器系數(shù)和用于執(zhí)行低通濾波的窗函數(shù)系數(shù)進行結合而獲得的平滑插值濾波器可包括這樣的濾波器系數(shù):該濾波器系數(shù)用于將大的權重給予接近插值位置的整數(shù)像素單位參考像素，并將小的權重給予遠離插值位置的整數(shù)像素單位參考像素。平滑插值濾波器可包括這樣的濾波器系數(shù)，其中，所述濾波器系數(shù)用于對整數(shù)像素單位參考像素進行平滑、通過使用多個基函數(shù)對平滑的整數(shù)像素單位參考像素進行變換，并對作為變換結果而產生的多個系數(shù)進行反變換。平滑插值濾波器是空間域中的插值濾波器，并可包括通過將用于執(zhí)行變換和反變換的插值濾波器與平滑參數(shù)進行結合而獲得的濾波器系數(shù)。平滑參數(shù)可控制平滑速度和平滑范圍中的至少一個。平滑插值濾波器可包括基于樣條函數(shù)的濾波器系數(shù)。也就是說，用于確定插值濾波器系數(shù)的變換和反變換的基函數(shù)可以是樣條函數(shù)。為了獲得更平滑的插值結果，平滑插值濾波器可包括通過使用樣條函數(shù)而確定的濾波器系數(shù)。根據(jù)實施例，基于樣條函數(shù)的平滑插值濾波器可包括這樣的濾波器系數(shù)，其中，所述濾波器系數(shù)用于基于樣條函數(shù)的邊界條件來對邊界整數(shù)像素單位參考像素進行最強有力的平滑。根據(jù)另一實施例，如果變換和反變換的基函數(shù)是多項式函數(shù)，則平滑插值濾波器可包括這樣的濾波器系數(shù)，其中，所述濾波器系數(shù)用于基于多項式函數(shù)最大化插值濾波器的低頻響應。根據(jù)實施例的平滑插值濾波器可基于濾波器長度以及子像素單位插值位置和平滑度，包括不同的濾波器系數(shù)。此外，平滑插值濾波器可基于插值結果的縮放因子以及子像素單位插值位置、平滑度和濾波器長度，包括不同的濾波器系數(shù)。濾波器選擇器12可選擇包括被縮放到整數(shù)的濾波器系數(shù)的平滑插值濾波器。插值器14對通過使用由濾波器選擇器12選擇的平滑插值濾波器而產生的像素值進行歸一化。此外，濾波器選擇器12可基于像素特征來不同地選擇插值濾波器。插值器14可通過使用基于像素特征不同地選擇的插值濾波器來產生子像素單位像素值。由濾波器選擇器12可選擇的插值濾波器可包括平滑插值濾波器和不考慮平滑的普通插值濾波器。因此，基于圖像特征，濾波器選擇器12可選擇完全不考慮平滑的普通插值濾波器。例如，根據(jù)另 一實施例，圖像插值設備10可通過根據(jù)彩色分量使用不同的插值濾波器來執(zhí)行圖像插值。根據(jù)另一實施例，濾波器選擇器12可基于子像素單位插值位置和當前像素的彩色分量來不同地選擇插值濾波器。根據(jù)另一實施例，插值器14可通過使用選擇的插值濾波器來對整數(shù)像素單位像素進行插值，從而產生至少一個子像素單位像素值。例如，濾波器選擇器12可不同地確定用于亮度分量的插值濾波器和用于色度分量的插值濾波器。為了對色度像素進行插值，濾波器選擇器12可選擇具有比用于亮度像素的插值濾波器的平滑度更強的平滑度的平滑插值濾波器。例如，為了對色度像素進行插值，可選擇包括基于樣條函數(shù)確定的濾波器系數(shù)的插值濾波器或者包括基于多項式函數(shù)確定的濾波器系數(shù)的插值濾波器?；跇訔l函數(shù)確定的濾波器系數(shù)可基于所述樣條函數(shù)的邊界條件來對邊界整數(shù)像素單位像素進行最強有力的平滑?；诙囗検胶瘮?shù)確定的插值濾波器可包括用于最大化低頻響應的濾波器系數(shù)。此外，為了對色度像素進行插值，可選擇包括基于平滑參數(shù)確定的濾波器系數(shù)的并具有比用于亮度像素的插值濾波器的平滑度更強的平滑度的插值濾波器，或者包括與用于比亮度像素的插值濾波器去除更多的高頻分量的窗函數(shù)結合的濾波器系數(shù)的插值濾波器。為了獲得色度分量的平滑插值結果，可選擇通過將濾波器系數(shù)和窗函數(shù)系數(shù)進行結合而獲得的平滑插值濾波器，其中，濾波器系數(shù)用于基于多個基函數(shù)執(zhí)行變換和反變換，窗函數(shù)系數(shù)用于執(zhí)行低通濾波。圖像插值用于將低質量圖像變換為高質量圖像，將隔行掃描圖像變換為逐行掃描圖像，或將低質量圖像上采樣為高質量圖像。此外，當視頻編碼設備對圖像進行編碼時，運動估計器和補償器可通過使用插值的參考幀來執(zhí)行幀間預測。通過對參考幀進行插值來產生高質量圖像，并基于所述高質量圖像執(zhí)行運動估計和補償，可提高幀間預測的精確度。類似地，當圖像解碼設備對圖像進行解碼時，運動補償器可通過使用插值的參考幀來執(zhí)行運動補償，從而提高幀間預測的精確度。此外，由圖像插值設備10使用的平滑插值濾波器可通過在使用插值濾波器的插值結果中減少高頻分量來獲得平滑插值結果。由于高頻分量降低了圖像壓縮的效率，因此還可通過執(zhí)行平滑度可調的圖像插值來提高圖像編碼和解碼的效率。圖2是用于描述整數(shù)像素單位和子像素單位之間的關系的示圖。參照圖2，圖像插值設備10通過在空間域中對預定塊20的位置“〇”的整數(shù)像素單位像素值進行插值，來產生位置“ X ”的像素值。位置“ X ”的像素值是由CIy確定的插值位置的子像素單位像素值。雖然圖2示出預定塊20是4X4塊，但本領域的普通技術人員容易理解，塊尺寸不限于4X4，并且可以比4X4更大或更小。在視頻處理中，運動矢量用于對當前圖像執(zhí)行運動補償和預測?；陬A測編碼，參考先前解碼的圖像來預測當前圖像，并且運動矢量指示參考圖像的預定點。因此，運動矢量指示參考圖像的整數(shù)像素單位像素。然而，將被當前圖像參考的像素可位于參考圖像的整數(shù)像素單位像素之間。這樣的位置被稱為子像素單位位置。由于在子像素單位位置不存在像素，因此僅通過使用整數(shù)像素單位像素值來預測子像素單位像素值。換句話說，通過對整數(shù)像素單位像素進行插值來估計子像素單位像素值?，F(xiàn)在將參照圖3和圖4a至圖4c來描述對整數(shù)像素單位像素進行插值的方法。圖3是示出根據(jù)本發(fā)明的實施例的將被參考以確定子像素單位像素值的鄰近整數(shù)像素單位像素的示圖。

參照圖3，圖像插值設備10通過在空間域中對整數(shù)像素單位像素值31和33進行插值，產生插值位置的子像素單位像素值35。圖4a至圖4c是示出根據(jù)本發(fā)明的實施例的將被參考以確定子像素單位像素值的整數(shù)像素單位像素的示例的示圖。參照圖4a，為了通過對兩個整數(shù)像素單位像素值31和33進行插值來產生子像素單位像素值35，使用包括整數(shù)像素單位像素值31和33的多個鄰近整數(shù)像素單位像素值37和39。換句話說，可通過對從第-(M-1)像素值到第M像素值的2M個像素值執(zhí)行一維插值濾波，來對第O像素和第I像素進行插值。此外，雖然圖4a示出在水平方向上的像素值被插值，但是可通過使用在垂直方向或對角線方向上的像素值來執(zhí)行一維插值濾波。參照圖4b，可通過對在垂直方向上彼此鄰近的像素Pq41和P03進行插值來產生插值位置α的像素值PU)。當比較圖4a和圖4b時，它們的插值濾波方法是相似的，并且它們之間的差別僅在于:在圖4b中，在垂直方向上排列的像素值47和49被插值，而在圖4a中，在水平方向上排列的像素值37和39被插值。參照圖4c，類似地，通過對兩個鄰近像素值40和42進行插值來產生插值位置α的像素值44。與圖4a的差別僅在于:使用在對角線方向上排列的像素值46和48，而不是使用在水平方向上排列的像素值37和39。除了在圖4a至圖4c中示出的方向之外，還可在各種方向上執(zhí)行一維插值濾波?？蓤?zhí)行插值濾波來對整數(shù)像素單位像素進行插值，從而產生子像素單位像素值?？赏ㄟ^下面的等式來表示插值濾波。P(CX) = f(a) Xp = Σ-Μ+itm-Pm
通過基于2M個整數(shù)像素單位參考像素{pm} = {p-M+l, p-M+2,..., p0, pi,..., pM}的矢量P和濾波器系數(shù){fm} = {f-M+l, f-M+2,..., f0, f I,..., fM}的矢量f (x)的點積執(zhí)行插值，來產生像素值P(x)。由于濾波器系數(shù)f(a)基于插值位置α而改變，并且基于濾波器系數(shù)f (α )來確定通過執(zhí)行插值而獲得的像素值Ρ(α )，因此選擇的插值濾波器(即，確定的濾波器系數(shù)f(x))大大影響了插值濾波的性能?，F(xiàn)在將詳細描述使用基于基函數(shù)的變換和反變換的圖像插值以及確定插值濾波器的方法。使用變換和反變換的插值濾波器首先通過使用具有不同頻率分量的多個基函數(shù)來對像素值進行變換。變換可包括從空間域中的像素值到變換域中的系數(shù)的所有類型的變換，并可以是離散余弦變換(DCT)。通過使用多個基函數(shù)來對整數(shù)像素單位像素值進行變換。像素值可以是亮度像素值或色度像素值?；瘮?shù)不限于特定基函數(shù)，并可包括用于將空間域中的像素值變換為變換域中的像素值的所有基函數(shù)。例如，基函數(shù)可以是用于執(zhí)行DCT和反DCT (IDCT)的余弦函數(shù)或正弦函數(shù)。可選地，可使用各種基函數(shù)(諸如樣條函數(shù)和多項式函數(shù))。此外，DCT可以是改進DCT (MDCT)或開窗的MDCT。使用變換 和反變換的插值濾波器移動用于執(zhí)行變換的基函數(shù)的相位，并對通過使用相移的基函數(shù)產生的多個系數(shù)的值進行反變換。作為反變換的結果，空間域中的像素值被輸出，并且輸出的值可以是插值位置的像素值。<使用基于正交基函數(shù)的正交變換和反變換的濾波器系數(shù)>現(xiàn)在將詳細描述當使用基于正交基函數(shù)的變換和反變換的插值器14執(zhí)行插值濾波時的情況。具體地，DCT被描述為變換的示例。例如，參照圖4a，為了通過使用包括整數(shù)像素單位像素值31和33的多個鄰近整數(shù)像素單位像素值37和39對兩個整數(shù)像素單位像素值31和33進行插值來產生子像素單位像素值35，可通過對從第-(M-1)像素值到第M像素值的2M個像素值執(zhí)行一維DCT，并基于相移的基函數(shù)來執(zhí)行一維IDCT，以對第O像素和第一像素進行插值。插值器14首先對整數(shù)像素單位像素值執(zhí)行一維DCT?？扇绲仁絀所示來執(zhí)行一維DCT。[等式I]
權利要求
1.一種考慮平滑對圖像進行插值的方法，所述方法包括: 基于子像素單位插值位置和平滑度，從用于產生位于整數(shù)像素單位像素之間的至少一個子像素單位像素值的插值濾波器中不同地選擇插值濾波器； 通過使用選擇的插值濾波器對整數(shù)像素單位像素的像素值進行插值來產生所述至少一個子像素單位像素值。
2.如權利要求1所述的方法，其中，插值濾波器包括濾波器系數(shù)，所述濾波器系數(shù)用于基于多個基函數(shù)對整數(shù)像素單位像素進行變換，并對作為變換的結果而產生的多個系數(shù)進行反變換。
3.如權利要求1所述的方法，其中，插值濾波器包括具有基于插值位置和整數(shù)像素單位像素之間的距離確定的平滑度的濾波器系數(shù)。
4.如權利要求1所述的方法，其中，插值濾波器包括具有基于插值位置和與所述插值位置鄰近的整數(shù)像素單位像素之間的距離確定的平滑度的濾波器系數(shù)。
5.如權利要求2所述的方法，其中，為了對空間域中的整數(shù)像素單位像素進行插值，插值濾波器包括通過將用于使用多個基函數(shù)執(zhí)行變換和反變換的濾波器與窗函數(shù)結合而獲得的濾波器系數(shù)， 其中，窗函數(shù)關于插值位置而對稱。
6.如權利要求2所述的方法，其中，為了對空間域中的整數(shù)像素單位像素進行插值，插值濾波器包括通過將用于使用多個基函數(shù)執(zhí)行變換和反變換的濾波器與平滑參數(shù)結合而獲得的濾波器系數(shù)， 其中，平滑參數(shù)控制平滑速度和平滑范圍中的至少一個?！?br> 7.如權利要求2所述的方法，其中，插值濾波器包括用于基于作為基函數(shù)的樣條函數(shù)的邊界條件對邊界整數(shù)像素單位像素進行最強有力的平滑的濾波器系數(shù)。
8.如權利要求2所述的方法，其中，插值濾波器包括用于基于作為基函數(shù)的多項式函數(shù)最大化插值濾波器的低頻響應的濾波器系數(shù)。
9.如權利要求1所述的方法，其中，選擇插值濾波器的步驟包括:從插值濾波器中選擇包括被縮放為整數(shù)的濾波器系數(shù)的插值濾波器， 其中，產生所述至少一個子像素單位像素值的步驟包括:基于縮放因子，對通過使用選擇的插值濾波器而產生的所述至少一個子像素單位像素值進行歸一化。
10.如權利要求1所述的方法，其中，選擇插值濾波器的步驟包括:為了對色度像素進行插值，從插值濾波器中選擇具有比用于亮度像素的插值濾波器的平滑度更強的平滑度的插值濾波器， 其中，產生所述至少一個子像素單位像素值的步驟包括:通過使用根據(jù)色度像素和亮度像素不同地選擇的插值濾波器，來產生所述至少一個子像素單位像素值。
11.如權利要求1所述的方法，其中，插值濾波器包括以下插值濾波器中的至少一個:(i )縮放因子為26并且包括濾波器系數(shù){-1，4，-10，57，19，-7，3，-1}的8抽頭1/4像素單位插值濾波器、(ii)縮放因子為26并且包括濾波器系數(shù){-1,4,-11,40,40,-11,4,-1}的8抽頭1/2像素單位插值濾波器、(iii)縮放因子為26并且包括濾波器系數(shù){_3，60，8，-1}的4抽頭1/8像素單位插值濾波器、(iv)縮放因子為26并且包括濾波器系數(shù){_4，54，16，-2}的4抽頭1/4像素單位插值濾波器、(V)縮放因子為26并且包括濾波器系數(shù){-5，46，27，-4}的4抽頭3/8像素單位插值濾波器和(vi)縮放因子為26并且包括濾波器系數(shù){_4，36，36，-4}的4抽頭1/2像素單位插值濾波器。
12.如權利要求1所述的方法，包括: 通過視頻編碼器，針對輸入畫面的每個塊，基于子像素單位插值位置和平滑度，從存儲在視頻編碼器中的插值濾波器中不同地選擇插值濾波器，通過使用選擇的插值濾波器對整數(shù)像素單位像素的像素值進行插值來執(zhí)行預測編碼以產生至少一個子像素單位像素值，并且對預測編碼的預測結果執(zhí)行變換和量化； 輸出通過對量化的變換系數(shù)和編碼信息執(zhí)行熵編碼而產生的比特流。
13.如權利要求1所述的方法，包括: 通過視頻解碼器，接收視頻的編碼的比特流，并通過對比特流執(zhí)行熵解碼和解析來提取視頻的畫面的編碼信息和編碼的數(shù)據(jù)； 對畫面的當前塊的編碼數(shù)據(jù)的量化的變換系數(shù)執(zhí)行反量化和反變換，基于子像素單位插值位置和平滑度從存儲在視頻解碼器中的插值濾波器不同地選擇插值濾波器，通過使用選擇的插值濾波器對整數(shù)像素單位像素的像素值進行插值來執(zhí)行預測解碼以產生至少一個子像素單位像素值，并重建畫面。
14.一種用于考慮平滑對圖像進行插值的設備，所述設備包括: 濾波器選擇器，基于子像素單位插值位置和平滑度，從用于產生位于整數(shù)像素單位像素之間的至少一個子像素單位像素值的插值濾波器中不同地選擇插值濾波器； 插值器，通過使用選擇的 插值濾波器對整數(shù)像素單位像素的像素值進行插值來產生所述至少一個子像素單位像素值。
15.—種計算機可讀記錄介質,其中,所述計算機可讀記錄介質記錄有用于執(zhí)行如權利要求I所述的方法的計算機程序。
全文摘要
提供了一種通過確定插值濾波器系數(shù)來對圖像進行插值的方法。一種考慮平滑對圖像進行插值的方法，所述方法包括基于子像素單位插值位置和平滑度，從用于產生位于整數(shù)像素單位像素之間的至少一個子像素單位像素值的插值濾波器中不同地選擇插值濾波器；通過使用選擇的插值濾波器對整數(shù)像素單位像素的像素值進行插值，來產生所述至少一個子像素單位像素值。
文檔編號H04N7/26GK103238320SQ201180057602
公開日2013年8月7日 申請日期2011年9月30日 優(yōu)先權日2010年9月30日
發(fā)明者亞歷山大·阿爾辛, 埃琳娜·阿爾辛娜, 陳建樂, 韓宇鎮(zhèn), 尼古拉·斯利亞科夫, 洪允美 申請人:三星電子株式會社