專利名稱：圖像編碼裝置、方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及按照H.264標(biāo)準(zhǔn)對高清晰度電視廣播進(jìn)行編碼的圖像編碼裝置以及方法。
背景技術(shù)：
近年來，模擬電視廣播(SDTVStandard Definition TeleVision)向著數(shù)字化方向發(fā)展，而且，對運動圖像進(jìn)行壓縮編碼，并記錄到硬盤(Harddisc)、DVD-RAM(Digital Versatile Disk-Random Access Memory)等光盤上的數(shù)字視頻記錄器逐漸普及，進(jìn)一步，能夠記錄衛(wèi)星、地面波數(shù)字高清晰度電視廣播(HDTVHigh Definition TeleVision)的數(shù)字視頻記錄器開始商品化。
在HDTV廣播中，發(fā)送以MPEG2(Moving Picture Experts Group 2)標(biāo)準(zhǔn)編碼的流，在記錄該流時，仍以MPEG2流的格式記錄?；蛘?，通常的方法是，將解碼圖像轉(zhuǎn)換為DVD標(biāo)準(zhǔn)規(guī)定的圖像尺寸，然后以MPEG2標(biāo)準(zhǔn)再壓縮并記錄。另外還有一種方法是，使用比MPEG2編碼效率高的H.264標(biāo)準(zhǔn)，降低比特率(bit rate)，然后以HDTV圖像尺寸且抑制圖像質(zhì)量惡化的方式記錄。
HDTV圖像尺寸中，水平像素數(shù)是1920或者1440像素，有效行(line)數(shù)是1080行。由于H.264標(biāo)準(zhǔn)的編碼適用于像素數(shù)和行數(shù)均為16的倍數(shù)的圖像，所以對HDTV圖像尺寸的原圖像進(jìn)行編碼時，需要考慮將行數(shù)擴(kuò)充為1088行的擴(kuò)充圖像。
同樣的圖像擴(kuò)充，還利用于以下情況例如為了使編碼圖像中顯示的塊噪音(Block noise)不明顯，故意打亂編碼單位塊的排列時的情況。
日本專利申請公開號為特開平1-168165號公報的專利文獻(xiàn)1中，公開了帶有圖像擴(kuò)充的圖像數(shù)據(jù)編碼技術(shù)的一個例子。其概要為當(dāng)未滿單位塊大小的部分在圖像邊緣時，補充推測的像素生成單位塊，并對該單位塊進(jìn)行編碼。根據(jù)專利文獻(xiàn)1，具體可以對所述推測的像素，使用最邊緣的像素值。
但是，例如，如果將現(xiàn)有技術(shù)中的圖像擴(kuò)充，單純地應(yīng)用于使用H.264標(biāo)準(zhǔn)的圖像數(shù)據(jù)的編碼，則會產(chǎn)生擴(kuò)充部分無法獲得良好的編碼效率的問題。該問題的起因在于，針對H.264標(biāo)準(zhǔn)規(guī)定的幀內(nèi)預(yù)測編碼以及幀間預(yù)測編碼，現(xiàn)有技術(shù)的圖像擴(kuò)充不一定對減少上述編碼的預(yù)測誤差起作用。
為了解決上述問題，本發(fā)明的圖像編碼裝置包括編碼單元，用于通過預(yù)測，生成表示擴(kuò)充圖像的符號，所述擴(kuò)充圖像是將輸入圖像擴(kuò)充為編碼塊的自然數(shù)倍大小的圖像；控制單元，用于控制所述編碼單元，使所述編碼單元生成將擴(kuò)充部分的預(yù)測誤差表示為0的符號，所述擴(kuò)充部分是為成為所述擴(kuò)充圖像的一部分而在所述輸入圖像擴(kuò)充的部分。
而且，所述控制單元包括圖像擴(kuò)充單元，用于無論所述輸入圖像包含的像素值的大小，通過使用參考值擴(kuò)充所述輸入圖像，生成所述擴(kuò)充圖像，該參考值是為用于按照H.264標(biāo)準(zhǔn)進(jìn)行幀內(nèi)預(yù)測時周圍像素不存在的情況而規(guī)定的值；所述編碼單元可以通過對由所述圖像擴(kuò)充部分生成的所述擴(kuò)充圖像，按照H.264標(biāo)準(zhǔn)，采用幀內(nèi)預(yù)測進(jìn)行編碼，生成將所述擴(kuò)充部分的預(yù)測誤差表示為0的符號。
另外，所述輸入圖像的行數(shù)為1080；所述圖像擴(kuò)充單元可以通過使用像素值128，對所述輸入圖像在上側(cè)擴(kuò)充8行，生成行數(shù)為1088的擴(kuò)充圖像。
另外，所述控制單元進(jìn)一步包括圖像擴(kuò)充參數(shù)輸出單元，用于輸出表示所述擴(kuò)充部分位于所述輸入圖像的上方還是下方的圖像擴(kuò)充參數(shù)；所述圖像擴(kuò)充單元，當(dāng)表示所述位置為上方時，可以無論所述輸入圖像包含的像素值的大小，使用參考值，對所述輸入圖像在上側(cè)擴(kuò)充，該參考值是為用于按照H.264標(biāo)準(zhǔn)進(jìn)行幀內(nèi)預(yù)測時周圍像素不存在的情況而規(guī)定的值，當(dāng)表示所述位置為下方時，可以使用所述輸入圖像的最下方行的像素值，對所述輸入圖像在下側(cè)擴(kuò)充。
另外，所述控制單元進(jìn)一步包括圖像擴(kuò)充參數(shù)輸出單元，用于輸出表示所述輸入圖像為構(gòu)成運動圖像的幀還是半幀的圖像擴(kuò)充參數(shù)；所述圖像擴(kuò)充單元，當(dāng)表示所述輸入圖像為幀時，可以與表示所述輸入圖像為半幀的情況下的擴(kuò)充行數(shù)相比，對所述輸入圖像擴(kuò)充2倍的行數(shù)。
另外，所述編碼單元采用幀內(nèi)預(yù)測及幀間預(yù)測中的任何一種，都可以對所述擴(kuò)充圖像進(jìn)行編碼；所述控制單元進(jìn)一步包括圖像擴(kuò)充參數(shù)輸出單元，用于輸出表示在所述擴(kuò)充圖像的編碼中，所述編碼單元采用幀內(nèi)預(yù)測及幀間預(yù)測中的哪一種的圖像擴(kuò)充參數(shù)；所述圖像擴(kuò)充單元，當(dāng)表示采用幀內(nèi)預(yù)測時，可以無論所述輸入圖像包含的像素值的大小，使用參考值擴(kuò)充所述輸入圖像，該參考值是為用于按照H.264標(biāo)準(zhǔn)進(jìn)行幀內(nèi)預(yù)測時周圍像素不存在的情況而規(guī)定的值，當(dāng)表示采用幀間預(yù)測時，可以使用所述用于幀間預(yù)測的參考圖像的擴(kuò)充部分的像素值，擴(kuò)充所述輸入圖像。
另外，所述控制單元包括圖像擴(kuò)充參數(shù)輸出單元，用于輸出表示所述擴(kuò)充部分相對于所述輸入圖像的位置和行數(shù)的圖像擴(kuò)充參數(shù)；所述編碼單元包括0值生成單元，用于生成作為所述圖像擴(kuò)充參數(shù)表示的所述擴(kuò)充部分的預(yù)測誤差的0值；所述編碼單元可以對所述生成的0值和有關(guān)所述輸入圖像的預(yù)測誤差，按照H.264標(biāo)準(zhǔn)進(jìn)行編碼，生成將所述擴(kuò)充部分的預(yù)測誤差表示為0的符號。
另外，所述編碼單元可以對所述擴(kuò)充部分的0值和有關(guān)所述輸入圖像的預(yù)測誤差，分別作為不同的編碼塊進(jìn)行編碼。
再有，本發(fā)明不僅可以通過上述圖像編碼裝置實現(xiàn)，還能通過將上述圖像編碼裝置所包含的特征性單元執(zhí)行的處理作為步驟的圖像編碼方法實現(xiàn)，另外，還可以通過圖像編碼處理的集成電路裝置實現(xiàn)。
本發(fā)明的圖像編碼裝置，使用參考值擴(kuò)充輸入圖像，并對擴(kuò)充得到的擴(kuò)充圖像進(jìn)行編碼，該參考值是為用于按照H.264標(biāo)準(zhǔn)進(jìn)行幀內(nèi)預(yù)測時周圍像素不存在的情況而規(guī)定的值，或者通過插入作為擴(kuò)充部分的預(yù)測誤差的0值，生成將所述擴(kuò)充圖像的擴(kuò)充部分相關(guān)的預(yù)測誤差表示為0的符號，從而生成的編碼量得到抑制，其結(jié)果，可以獲得比現(xiàn)有技術(shù)更好的編碼效率。


圖1是實施方式1中圖像編碼裝置的一個例子的框圖。
圖2是直觀地示出向輸入圖像的上側(cè)進(jìn)行圖像擴(kuò)充的一個例子的圖。
圖3是直觀地示出向輸入圖像的下側(cè)進(jìn)行圖像擴(kuò)充的一個例子的圖。
圖4是實施方式1中編碼單元的一個例子的框圖。
圖5是說明幀內(nèi)預(yù)測模式的圖。
圖6是說明運動補償?shù)膯挝怀叽绲膱D。
圖7是確定擴(kuò)充行數(shù)的處理過程的一個例子的流程圖。
圖8是對輸入圖像進(jìn)行的擴(kuò)充處理的一個例子的流程圖。
圖9是對輸入圖像進(jìn)行的擴(kuò)充處理的其他例子的流程圖。
圖10是實施方式2中圖像編碼裝置的一個例子的框圖。
圖11是實施方式2中編碼單元的一個例子的框圖。
圖12是直觀地示出對向上側(cè)擴(kuò)充的擴(kuò)充圖像進(jìn)行編碼的一個例子的圖。
圖13是直觀地示出對向下側(cè)擴(kuò)充的擴(kuò)充圖像進(jìn)行編碼的一個例子的圖。
具體實施例方式
以下，參照附圖對本發(fā)明的實施方式進(jìn)行說明。
(實施方式1)
圖1是本發(fā)明實施方式1中，圖像編碼裝置10的功能性結(jié)構(gòu)的一個例子的框圖。
圖像編碼裝置10，用于使用參考值擴(kuò)充輸入圖像，并對擴(kuò)充得到的擴(kuò)充圖像進(jìn)行編碼，生成將所述擴(kuò)充圖像的擴(kuò)充部分的預(yù)測誤差表示為0的符號，其中，該參考值是為用于按照H.264標(biāo)準(zhǔn)進(jìn)行幀內(nèi)預(yù)測時周圍像素不存在的情況而規(guī)定的值；該裝置由控制單元11及編碼單元12構(gòu)成。控制單元11由圖像擴(kuò)充參數(shù)輸出單元111、編碼參數(shù)輸出單元112及圖像擴(kuò)充單元113構(gòu)成。
作為具體的一個例子，控制單元11及編碼單元12，可以是通過計算機(jī)執(zhí)行程序而實現(xiàn)的軟件功能，也可以是構(gòu)成集成電路裝置的電路塊。另外，輸入圖像可以是以1080i解像度表示的HDTV圖像。
控制單元11中，圖像擴(kuò)充參數(shù)輸出單元111輸出圖像擴(kuò)充參數(shù)，該圖像擴(kuò)充參數(shù)包含至少表示以下內(nèi)容中的一個內(nèi)容的信息(A)所述擴(kuò)充部分位于所述輸入圖像的上方還是下方；(B)所述輸入圖像是構(gòu)成運動圖像的幀還是半幀(field)；以及(C)在所述擴(kuò)充圖像的編碼中，編碼單元12采用幀內(nèi)預(yù)測還是幀間預(yù)測。
該圖像擴(kuò)充參數(shù)另外還可以包含以下信息，即，表示輸入圖像以具有相同數(shù)目的亮度像素和色差像素的YUV422方式，還是以具有亮度像素和像素數(shù)目為亮度像素一半的色差像素的YUV420方式顯示的信息。
該圖像擴(kuò)充參數(shù)的內(nèi)容，例如，根據(jù)無圖示的用戶發(fā)來的指示信息確定。
圖像擴(kuò)充單元113根據(jù)圖像擴(kuò)充參數(shù)，擴(kuò)充輸入圖像，生成擴(kuò)充圖像。對該擴(kuò)充處理的詳細(xì)內(nèi)容，在后面敘述。
編碼參數(shù)輸出單元112輸出編碼參數(shù)，該編碼參數(shù)包含表示編碼單元12在所述擴(kuò)充圖像的編碼中，采用幀內(nèi)預(yù)測還是幀間預(yù)測的信息。編碼參數(shù)另外還可以包含以下信息，即，規(guī)定編碼率的壓縮率信息、與幀內(nèi)預(yù)測的預(yù)測方向相關(guān)的模式信息。
編碼單元12根據(jù)編碼參數(shù)，對擴(kuò)充圖像進(jìn)行編碼，生成流，該流包含表示圖像的符號，同時向圖像擴(kuò)充單元113輸出參考像素值。在幀內(nèi)預(yù)測中，該參考像素值是與其他編碼塊的像素進(jìn)行比較的像素值，而在幀間預(yù)測(表示幀間或者半幀間的預(yù)測)中，該參考像素值是與其他幀或者半幀的像素進(jìn)行比較的像素值。
下面，對圖像擴(kuò)充單元113進(jìn)行的圖像擴(kuò)充處理進(jìn)行說明。
圖2及圖3是直觀地示出該圖像擴(kuò)充處理內(nèi)容的一個例子的圖。
圖像擴(kuò)充單元113從圖像擴(kuò)充參數(shù)輸出單元111接收圖像擴(kuò)充參數(shù)，并根據(jù)該圖像擴(kuò)充參數(shù)的內(nèi)容，按照規(guī)定方向，使用規(guī)定行數(shù)、規(guī)定像素值擴(kuò)充輸入圖像。
圖2示出的是，對輸入圖像在上側(cè)擴(kuò)充8行，獲得擴(kuò)充圖像的例子，該例子具體適用于，將1080行的輸入圖像擴(kuò)充為1088行的擴(kuò)充圖像時的情況。
當(dāng)輸入圖像分別為構(gòu)成幀的540行的前半幀(Top field)或者后半幀(Bottom field)時，如圖2左側(cè)所示，圖像擴(kuò)充單元113在每半幀，對輸入圖像擴(kuò)充4行，相當(dāng)于在每幀擴(kuò)充8行。當(dāng)輸入圖像為1080行的幀時，如圖2右側(cè)所示，圖像擴(kuò)充單元113對輸入圖像擴(kuò)充8行。
換言之，輸入圖像為幀時擴(kuò)充的行數(shù)是，輸入圖像為半幀時擴(kuò)充的行數(shù)的2倍。
另外，當(dāng)編碼單元12在所述擴(kuò)充圖像的編碼中采用幀內(nèi)預(yù)測時，圖像擴(kuò)充單元113將參考值128作為圖像擴(kuò)充部分的像素值，該參考值128是為用于按照H.264標(biāo)準(zhǔn)進(jìn)行幀內(nèi)預(yù)測時周圍像素不存在的情況而規(guī)定的值。在所述擴(kuò)充圖像的編碼中，當(dāng)編碼單元12在所述擴(kuò)充圖像的編碼中采用幀間預(yù)測時，圖像擴(kuò)充單元113將編碼單元12提供的參考像素值作為圖像擴(kuò)充部分的像素值。
圖3示出了對輸入圖像在下側(cè)擴(kuò)充8行，獲得擴(kuò)充圖像的例子。根據(jù)輸入圖像是半幀還是幀的不同，擴(kuò)充的行數(shù)與前述相同。
另外，當(dāng)編碼單元12在所述擴(kuò)充圖像的編碼中采用幀內(nèi)預(yù)測時，圖像擴(kuò)充單元113將輸入圖像的最下方行的像素的像素值作為圖像擴(kuò)充部分的像素值。當(dāng)編碼單元12在所述擴(kuò)充圖像的編碼中采用幀間預(yù)測時，圖像擴(kuò)充單元113將編碼單元12提供的參考像素值作為圖像擴(kuò)充部分的像素值。
到此為止的說明，未對表示亮度信息的亮度像素及表示色差信息的色差像素加以區(qū)別。作為一個例子，上述說明均適用于以YUV422方式表示的輸入圖像的亮度像素和色差像素雙方。另外，上述說明適用于以YUV420方式表示的輸入圖像的亮度像素的同時，上述說明中用一半行數(shù)進(jìn)行的擴(kuò)充適用于該輸入圖像的色差像素。
下面，對編碼單元12的詳細(xì)內(nèi)容進(jìn)行說明。
圖4是編碼單元12的功能性結(jié)構(gòu)的一個例子的框圖。眾所周知，該結(jié)構(gòu)是遵循H.264標(biāo)準(zhǔn)的編碼器的一般模型，所以在此非常簡單地說明。
編碼單元12對圖像擴(kuò)充單元113輸出的擴(kuò)充圖像，以每個編碼塊的宏塊為單位進(jìn)行編碼，并編碼成為流。編碼單元12在幀內(nèi)預(yù)測及幀間預(yù)測之中，采用與編碼參數(shù)輸出單元112提供的編碼參數(shù)對應(yīng)的預(yù)測方式，進(jìn)行所述編碼。
加法單元121計算出擴(kuò)充圖像的像素值與用于預(yù)測的參考像素值之間的誤差；正交變換單元122將該誤差轉(zhuǎn)換為例如離散余弦(cosine)系數(shù)；量化單元123對該離散余弦系數(shù)進(jìn)行量化。
逆量化單元124及逆正交變換單元125通過解碼所述量化結(jié)果，局部求與播放器中計算出的誤差同等的誤差。加法單元126通過相加該誤差和參考像素值，得到局部解碼結(jié)果的像素值。
加法單元126得到的像素值，輸出到幀內(nèi)預(yù)測單元127，與此同時，經(jīng)過環(huán)路濾波器(loop filter)存儲到幀存儲器129，更進(jìn)一步，還輸出到圖像擴(kuò)充單元113。
當(dāng)編碼中采用幀內(nèi)預(yù)測時，幀內(nèi)預(yù)測單元127根據(jù)加法單元126提供的所述像素值，生成規(guī)定的參考像素值。根據(jù)H.264標(biāo)準(zhǔn)，該參考像素值是為了用于與相鄰宏塊之間的對比而規(guī)定的值。
然后，開關(guān)(switch)132選擇幀內(nèi)預(yù)測單元127輸出的參考像素值；加法單元121計算擴(kuò)充圖像包含的相鄰宏塊的像素值與所選擇的參考像素值之間的誤差，由此執(zhí)行后續(xù)的編碼。
當(dāng)編碼中采用幀間預(yù)測時，運動檢測單元130根據(jù)對先行的幀或者半幀(即參考圖像)計算并存儲于幀存儲器129的參考像素值，計算出表示后續(xù)的幀或者半幀的擴(kuò)充圖像中的宏塊的運動矢量。運動補償單元131將參考圖像中以計算出的運動矢量表示的范圍的像素值，作為參考像素值輸出。
然后，開關(guān)132選擇運動補償單元131輸出的參考像素值；加法單元121計算后續(xù)的幀或者半幀中的宏塊的像素值與所選擇的參考像素值之間的誤差，由此執(zhí)行后續(xù)的編碼。
圖5是在H.264標(biāo)準(zhǔn)中，為了取得與幀內(nèi)預(yù)測對象的單位塊內(nèi)的各像素之間的差分，而規(guī)定使用的參考像素的示意圖。如圖所示，H.264標(biāo)準(zhǔn)規(guī)定，在9種預(yù)測模式中，分別取得箭頭記號的起點所在的參考像素與該箭頭記號方向所在的各像素之間的差分。
此圖中，給出了以4×4像素表示該單位塊的大小的例子。圖中，白色圓表示該單位塊內(nèi)的各像素，斜線填充的圓表示位于該單位塊的左方及上方的幾個參考像素。
預(yù)測模式0中，取得位于單位塊的上側(cè)的若干個參考像素與單位塊內(nèi)位于各參考圖像的正下方的像素之間的差分。
預(yù)測模式1中，取得位于單位塊的左側(cè)的若干個參考像素與單位塊內(nèi)位于各參考圖像的右側(cè)的像素之間的差分。
預(yù)測模式3～8中，取得若干個參考圖像與從各參考像素出發(fā)的位于箭頭記號方向上的單位塊內(nèi)的各像素之間的差分。
位于圖像的最上方的單位塊，由于上側(cè)的參考像素不存在，所以采用預(yù)測模式1、2及8中的任意模式。特別是，位于圖像的最左上方的單位塊，由于所有的參考像素都不存在，所以假定參考像素的平均值為128并采用預(yù)測模式2。該值128是為了用于按照H.264標(biāo)準(zhǔn)進(jìn)行幀內(nèi)預(yù)測時周圍像素不存在的情況而規(guī)定的參考值的一個例子。
還有，幀內(nèi)預(yù)測也能以8×8像素及16×16像素大小的單位塊為對象進(jìn)行。
圖6是H.264標(biāo)準(zhǔn)中的運動補償?shù)膯挝坏氖疽鈭D?，F(xiàn)有的MPEG標(biāo)準(zhǔn)中，運動補償?shù)膯挝还潭?6×16像素大小的宏塊，與此相對，H.264標(biāo)準(zhǔn)中，如圖6(A)所示，能夠利用16×16像素、16×8像素、8×16像素、8×8像素這4種大小的宏塊，作為運動補償?shù)膯挝唬?，如圖6(B)所示，能夠利用通過分割8×8像素的宏塊得到的8×4像素、4×8像素、4×4像素這3種子宏塊。
下面，參照流程圖，對圖像擴(kuò)充單元113的處理的主要部分進(jìn)行說明。
圖7是確定擴(kuò)充行數(shù)的處理過程的一個例子的流程圖。
當(dāng)圖像擴(kuò)充參數(shù)輸出單元111提供的圖像擴(kuò)充參數(shù)表示輸入圖像為幀時(S11中為幀)，圖像擴(kuò)充單元113將Ny(用于亮度的擴(kuò)充行數(shù))確定為8(S12)；當(dāng)圖像擴(kuò)充參數(shù)表示輸入圖像為半幀時(S11中為半幀)，圖像擴(kuò)充單元113將Ny確定為4(S13)。
然后，當(dāng)所述圖像擴(kuò)充參數(shù)表示輸入圖像以YUV420方式顯示時(S14中4:2:0)，圖像擴(kuò)充單元113將Nc(用于色差的擴(kuò)充行數(shù))確定為Ny/2(S15)；當(dāng)所述圖像擴(kuò)充參數(shù)表示輸入圖像以YUV422方式顯示時(S14中4:2:2)，圖像擴(kuò)充單元113將Nc確定為Ny(S16)。
圖8是圖像擴(kuò)充處理的一個例子的流程圖。
當(dāng)所述圖像擴(kuò)充參數(shù)表示擴(kuò)充部分的位置在輸入圖像的上方時(S31中為上)，圖像擴(kuò)充單元113對所述輸入圖像，使用像素值128在所述輸入圖像的上側(cè)，擴(kuò)充按照圖7所示的流程圖確定的行數(shù)，生成擴(kuò)充圖像(S32及圖2)。另一方面，當(dāng)所述圖像擴(kuò)充參數(shù)表示擴(kuò)充部分的位置在輸入圖像的下方時(S31中為下)，圖像擴(kuò)充單元113對所述輸入圖像，使用所述輸入圖像的最下方行的像素值，在所述輸入圖像的下側(cè)擴(kuò)充所確定的行數(shù)，生成擴(kuò)充圖像(S33及圖3)。
圖9是考慮預(yù)測中采用幀內(nèi)預(yù)測還是幀間預(yù)測的情況下，將圖8所示的處理擴(kuò)展后的流程圖。
該擴(kuò)展的處理中，當(dāng)圖像擴(kuò)充參數(shù)輸出單元111提供的圖像擴(kuò)充參數(shù)表示預(yù)測中采用幀內(nèi)預(yù)測時(S41中為幀內(nèi)預(yù)測)，圖像擴(kuò)充單元113執(zhí)行圖8所示的處理。而當(dāng)圖像擴(kuò)充參數(shù)表示預(yù)測中采用幀間預(yù)測時(S41中為幀間預(yù)測)，圖像擴(kuò)充單元113使用編碼單元12提供的參考像素值，對所述輸入圖像進(jìn)行擴(kuò)充(S42)。此時擴(kuò)充的方向及行數(shù)根據(jù)所述圖像擴(kuò)充參數(shù)及所述確定的行數(shù)得到。
在到此為止說明的結(jié)構(gòu)中，如果使用像素值128，對輸入圖像在上側(cè)擴(kuò)充得到擴(kuò)充圖像，并采用幀內(nèi)預(yù)測對該擴(kuò)充圖像進(jìn)行編碼，則對于圖像的左上方的宏塊，由于使用像素值128進(jìn)行幀內(nèi)預(yù)測，所以預(yù)測誤差全部為0。而且，對其他上方的宏塊，也由于使用左相鄰的像素值進(jìn)行幀內(nèi)預(yù)測，所以預(yù)測誤差全部為0。
另外，如果對輸入圖像，使用所述輸入圖像的最下方行的像素值，在下側(cè)擴(kuò)充得到擴(kuò)充圖像，并采用幀內(nèi)預(yù)測對所述擴(kuò)充圖像進(jìn)行編碼，則對于圖像下方的宏塊，由于使用上相鄰的像素值進(jìn)行預(yù)測，所以可以將預(yù)測誤差變?yōu)?。
另一方面，如果使用編碼單元12輸出的參考像素值(即參考圖像的像素值)，擴(kuò)充得到擴(kuò)充圖像，并采用將運動矢量設(shè)為0的幀間預(yù)測，對所述擴(kuò)充圖像進(jìn)行編碼，也可以將預(yù)測誤差變?yōu)?。在這種情況下，特別希望通過選擇例如16×8像素的宏塊、8×4像素的子宏塊等作為運動補償?shù)膯挝?，對擴(kuò)充圖像中的擴(kuò)充部分與其他部分，分別作為各個不同的編碼塊進(jìn)行編碼。這樣，對于擴(kuò)充部分僅產(chǎn)生與編碼條件相關(guān)的編碼量，可以為抑制生成的編碼量作出很大的貢獻(xiàn)。
(實施方式2)圖10是本發(fā)明實施方式2中，圖像編碼裝置20的功能性結(jié)構(gòu)的一個例子的框圖。
圖像編碼裝置20生成作為擴(kuò)充部分的預(yù)測誤差的0值，所述擴(kuò)充部分是為成為擴(kuò)充圖像的一部分而在輸入圖像擴(kuò)充的部分，并對所述生成的0值和所述輸入圖像相關(guān)的預(yù)測誤差，按照H.264標(biāo)準(zhǔn)進(jìn)行編碼，生成將所述擴(kuò)充部分的預(yù)測誤差表示為0的符號。圖像編碼裝置20與圖像編碼裝置10相比，圖像編碼裝置20具有省略了圖像擴(kuò)充單元113的控制單元21，同時編碼單元22的內(nèi)容由編碼單元12變更得到。
與實施方式1相同，控制單元21及編碼單元22，例如可以是通過計算機(jī)執(zhí)行程序而實現(xiàn)的軟件功能，也可以是構(gòu)成集成電路裝置的電路塊。另外，輸入圖像可以是以1080i解像度表示的HDTV圖像。
以下，對與實施方式1說明的圖像編碼裝置10中的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素，標(biāo)記相同的符號，并省略說明。
控制單元21向編碼單元22輸出與實施方式1相同的圖像擴(kuò)充參數(shù)及編碼參數(shù)。
在實施方式2中，該圖像擴(kuò)充參數(shù)與實施方式1中不同，僅用于確定所述擴(kuò)充部分相對于所述輸入圖像的位置及行數(shù)。該圖像擴(kuò)充參數(shù)不用于為了向編碼單元22輸入而對確定的擴(kuò)充部分生成具體的像素值。
圖11是編碼單元22的功能性結(jié)構(gòu)的一個例子的框圖。與圖4所示的編碼單元12的結(jié)構(gòu)相比，編碼單元22具有0值生成單元221，用于生成作為所述擴(kuò)充部分的預(yù)測誤差的0值；編碼單元22對所述生成的0值和所述輸入圖像的預(yù)測誤差，按照H.264標(biāo)準(zhǔn)進(jìn)行編碼。
圖12和圖13是直觀地示出該編碼處理內(nèi)容的一個例子的圖。
圖12是擴(kuò)充部分為輸入圖像的上側(cè)8行時的例子。
如圖所示，圖上方的宏塊中，上面的8行為擴(kuò)充的區(qū)域。對于將宏塊的擴(kuò)充部分設(shè)為虛擬數(shù)據(jù)(dummy data)(不在意(don’t care)的值)的擴(kuò)充宏塊，進(jìn)行如下所述的編碼。
幀內(nèi)預(yù)測單元127按照H.264標(biāo)準(zhǔn)，分別對圖5所示的9種模式生成各個評價值，選擇生成的評價值最佳的模式，并以選擇的模式進(jìn)行幀內(nèi)預(yù)測。例如，將用參考圖像與宏塊之間的對應(yīng)像素的差分絕對值和表示的預(yù)測誤差作為評價值，選擇該值最小的模式。
特別是，當(dāng)對擴(kuò)充宏塊進(jìn)行幀內(nèi)預(yù)測時，將擴(kuò)充部分A1及A2的預(yù)測誤差強(qiáng)制地設(shè)為0后評價，并確定模式。在幀內(nèi)預(yù)測中，位于圖像左上方的塊中，只能使用像素值128的平均值預(yù)測(預(yù)測模式2)，位于除此以外的圖像上方的塊中，只能使用預(yù)測模式1、2、8，而對與相鄰塊中選擇的最小編號的預(yù)測模式相同的預(yù)測模式，可以用1比特表示，若考慮以上因素，則在抑制編碼量的方面上，較佳地，例如對所有的擴(kuò)充宏塊選擇預(yù)測模式2。
運動檢測單元130及運動補償單元131按照H.264標(biāo)準(zhǔn)，在圖6所示的每個運動補償?shù)膯挝怀叽缰猩稍u價值，選擇評價值最佳的運動單位尺寸，并以選擇的單位尺寸進(jìn)行運動補償。例如，將用參考圖像與宏塊之間的對應(yīng)像素的差分絕對值和表現(xiàn)的預(yù)測誤差設(shè)為評價值，選擇該值最小的單位尺寸。
特別是，當(dāng)對擴(kuò)充宏塊進(jìn)行幀間預(yù)測時，將擴(kuò)充部分B1及B2的預(yù)測誤差強(qiáng)制地設(shè)為0后評價，選擇運動補償?shù)膯挝怀叽纭?br> 作為一個例子，當(dāng)選擇16×16像素作為單位尺寸時，將上側(cè)塊B1及B2的預(yù)測誤差設(shè)為0后求評價值。該評價值中，僅包括擴(kuò)充宏塊的下側(cè)塊B3、B4的預(yù)測誤差。
作為其他例子，當(dāng)選擇16×8像素作為單位尺寸時，將位于擴(kuò)充部分的塊的預(yù)測誤差設(shè)為0的同時，確定用最少的編碼量表示運動矢量。若考慮用運動矢量與由周圍運動矢量生成的預(yù)測矢量之間的差分表示，則在抑制編碼量的方面上，較佳地，可以認(rèn)為運動矢量與預(yù)測矢量相等，并將差分矢量設(shè)為0。
然后，加法單元121按照如上所述確定的幀內(nèi)預(yù)測模式、運動補償?shù)膯挝怀叽缂斑\動矢量，對輸入圖像的各塊計算出的預(yù)測誤差，以及0值生成單元221對擴(kuò)充部分的塊A1、A2、B1和B2生成的0值，通過正交變換單元122、量化單元123以及熵編碼單元133，編碼成為流。
圖13是擴(kuò)充部分為輸入圖像的下側(cè)8行時的例子。
如圖所示，圖下方的宏塊中，下面的8行為擴(kuò)充的區(qū)域?？紤]將宏塊的擴(kuò)充部分設(shè)為任意(不在意)的像素值的擴(kuò)充宏塊，進(jìn)行編碼。編碼的基本思想，與圖12所示的擴(kuò)充部分在上側(cè)時的情況相同。
幀內(nèi)預(yù)測單元127在對擴(kuò)充宏塊進(jìn)行幀內(nèi)預(yù)測時，將擴(kuò)充部分C3及C4的預(yù)測誤差強(qiáng)制地設(shè)為0后評價的同時，選擇預(yù)測模式。對塊C3，從塊C1的預(yù)測模式以及預(yù)測模式2之中，選擇編號小的預(yù)測模式。這是因為塊C3的左側(cè)不存在塊，所以采用上述選擇方法。對塊C4，從塊C2的預(yù)測模式以及塊C3的預(yù)測模式之中，選擇編號小的預(yù)測模式。
另外，運動檢測單元130及運動補償單元131與上側(cè)擴(kuò)充的情況相對稱地，將下側(cè)的塊D3及D4的預(yù)測誤差強(qiáng)制地設(shè)為0后進(jìn)行幀間預(yù)測，并選擇運動補償?shù)膯挝怀叽?，同時求運動矢量。
然后，加法單元121按照如上所述確定的幀內(nèi)預(yù)測模式、運動補償?shù)膯挝怀叽缂斑\動矢量，對輸入圖像的各塊計算出的預(yù)測誤差，以及0值生成單元221對擴(kuò)充部分的塊C3、C4、D3和D4生成的0值，通過正交變換單元122、量化單元123以及熵編碼單元133，編碼成為流。
本發(fā)明的圖像編碼裝置及其方法，可以利用于采用幀內(nèi)預(yù)測及幀間預(yù)測對圖像進(jìn)行編碼的裝置，特別有用于按照H.264標(biāo)準(zhǔn)對以1080i解像度表示的HDTV圖像進(jìn)行編碼。
以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種圖像編碼裝置，其特征在于，該裝置包括編碼單元，用于通過預(yù)測擴(kuò)充圖像，生成表示所述擴(kuò)充圖像的符號，所述擴(kuò)充圖像是將輸入圖像擴(kuò)充為編碼塊的自然數(shù)倍大小的圖像；控制單元，用于控制所述編碼單元，使所述編碼單元生成將擴(kuò)充部分的預(yù)測誤差表示為0的符號，所述擴(kuò)充部分是為成為所述擴(kuò)充圖像的一部分而在所述輸入圖像擴(kuò)充的部分。
2.根據(jù)權(quán)利要求1所述的圖像編碼裝置，其特征在于，所述控制單元包括圖像擴(kuò)充單元，用于無論所述輸入圖像包含的像素值的大小，通過使用參考值擴(kuò)充所述輸入圖像，生成所述擴(kuò)充圖像，該參考值是為用于按照H.264標(biāo)準(zhǔn)進(jìn)行幀內(nèi)預(yù)測時周圍像素不存在的情況而規(guī)定的值；所述編碼單元通過對由所述圖像擴(kuò)充部分生成的所述擴(kuò)充圖像，按照H.264標(biāo)準(zhǔn)，采用幀內(nèi)預(yù)測進(jìn)行編碼，生成將所述擴(kuò)充部分的預(yù)測誤差表示為0的符號。
3.根據(jù)權(quán)利要求2所述的圖像編碼裝置，其特征在于，所述輸入圖像的行數(shù)為1080；所述圖像擴(kuò)充單元通過使用像素值128，對所述輸入圖像在上側(cè)擴(kuò)充8行，生成行數(shù)為1088的擴(kuò)充圖像。
4.根據(jù)權(quán)利要求2所述的圖像編碼裝置，其特征在于，所述控制單元進(jìn)一步包括圖像擴(kuò)充參數(shù)輸出單元，用于輸出表示所述擴(kuò)充部分位于所述輸入圖像的上方還是下方的圖像擴(kuò)充參數(shù)；所述圖像擴(kuò)充單元，當(dāng)表示所述位置為上方時，無論所述輸入圖像包含的像素值的大小，使用參考值，對所述輸入圖像在上側(cè)擴(kuò)充，該參考值是為用于按照H.264標(biāo)準(zhǔn)進(jìn)行幀內(nèi)預(yù)測時周圍像素不存在的情況而規(guī)定的值，當(dāng)表示所述位置為下方時，使用所述輸入圖像的最下方行的像素值，對所述輸入圖像在下側(cè)擴(kuò)充。
5.根據(jù)權(quán)利要求2所述的圖像編碼裝置，其特征在于，所述控制單元進(jìn)一步包括圖像擴(kuò)充參數(shù)輸出單元，用于輸出表示所述輸入圖像為構(gòu)成運動圖像的幀還是半幀的圖像擴(kuò)充參數(shù)；所述圖像擴(kuò)充單元，當(dāng)表示所述輸入圖像為幀時，與表示所述輸入圖像為半幀的情況下的擴(kuò)充行數(shù)相比，對所述輸入圖像擴(kuò)充2倍的行數(shù)。
6.根據(jù)權(quán)利要求2所述的圖像編碼裝置，其特征在于，所述編碼單元采用幀內(nèi)預(yù)測及幀間預(yù)測中的任何一種，都可以對所述擴(kuò)充圖像進(jìn)行編碼；所述控制單元進(jìn)一步包括圖像擴(kuò)充參數(shù)輸出單元，用于輸出表示在所述擴(kuò)充圖像的編碼中，所述編碼單元采用幀內(nèi)預(yù)測及幀間預(yù)測中的哪一種的圖像擴(kuò)充參數(shù)；所述圖像擴(kuò)充單元，當(dāng)表示采用幀內(nèi)預(yù)測時，無論所述輸入圖像包含的像素值的大小，使用參考值擴(kuò)充所述輸入圖像，該參考值是為用于按照H.264標(biāo)準(zhǔn)進(jìn)行幀內(nèi)預(yù)測時周圍像素不存在的情況而規(guī)定的值，當(dāng)表示采用幀間預(yù)測時，使用所述用于幀間預(yù)測的參考圖像的擴(kuò)充部分的像素值，擴(kuò)充所述輸入圖像。
7.根據(jù)權(quán)利要求1所述的圖像編碼裝置，其特征在于，所述控制單元包括圖像擴(kuò)充參數(shù)輸出單元，用于輸出表示所述擴(kuò)充部分相對于所述輸入圖像的位置和行數(shù)的圖像擴(kuò)充參數(shù)；所述編碼單元包括0值生成單元，用于生成作為所述圖像擴(kuò)充參數(shù)表示的所述擴(kuò)充部分的預(yù)測誤差的0值；所述編碼單元對所述生成的0值和有關(guān)所述輸入圖像的預(yù)測誤差，按照H.264標(biāo)準(zhǔn)進(jìn)行編碼，生成將所述擴(kuò)充部分的預(yù)測誤差表示為0的符號。
8.根據(jù)權(quán)利要求7所述的圖像編碼裝置，其特征在于，所述編碼單元對所述擴(kuò)充部分的0值和有關(guān)所述輸入圖像的預(yù)測誤差，分別作為不同的編碼塊進(jìn)行編碼。
9.一種集成電路裝置，其特征在于，該裝置包括編碼電路，用于生成表示擴(kuò)充圖像的符號，所述擴(kuò)充圖像是將輸入圖像擴(kuò)充為編碼塊的自然數(shù)倍大小的圖像；控制電路，用于控制所述編碼電路，使所述編碼電路生成將擴(kuò)充部分的預(yù)測誤差表示為0的符號，所述擴(kuò)充部分是為成為所述擴(kuò)充圖像的一部分而在所述輸入圖像擴(kuò)充的部分。
10.一種圖像編碼方法，用于對圖像進(jìn)行編碼，其特征在于，該方法包括編碼步驟，用于通過預(yù)測擴(kuò)充圖像，生成表示所述擴(kuò)充圖像的符號，所述擴(kuò)充圖像是將輸入圖像擴(kuò)充為編碼塊的自然數(shù)倍大小的圖像；控制步驟，用于控制所述編碼步驟，使所述編碼步驟生成將擴(kuò)充部分的預(yù)測誤差表示為0的符號，所述擴(kuò)充部分是為成為所述擴(kuò)充圖像的一部分而在所述輸入圖像擴(kuò)充的部分。
11.一種程序，是計算機(jī)能夠執(zhí)行的用于對圖像進(jìn)行編碼的程序，其特征在于，該程序讓計算機(jī)執(zhí)行以下步驟編碼步驟，用于通過預(yù)測擴(kuò)充圖像，生成表示所述擴(kuò)充圖像的符號，所述擴(kuò)充圖像是將輸入圖像擴(kuò)充為編碼塊的自然數(shù)倍大小的圖像；控制步驟，用于控制所述編碼步驟，使所述編碼步驟生成將擴(kuò)充部分的預(yù)測誤差表示為0的符號，所述擴(kuò)充部分是為成為所述擴(kuò)充圖像的一部分而在所述輸入圖像擴(kuò)充的部分。
全文摘要
本發(fā)明提供了一種圖像編碼裝置，在采用H.264標(biāo)準(zhǔn)進(jìn)行圖像數(shù)據(jù)的編碼時，減少編碼量。該裝置包括圖像擴(kuò)充單元，用于通過使用參考值擴(kuò)充輸入圖像，生成擴(kuò)充圖像，該參考值是為用于按照H.264標(biāo)準(zhǔn)進(jìn)行幀內(nèi)預(yù)測時周圍像素不存在的情況而規(guī)定的值；編碼單元，用于通過對由所述圖像擴(kuò)充部分生成的所述擴(kuò)充圖像，按照H.264標(biāo)準(zhǔn)，采用幀內(nèi)預(yù)測進(jìn)行編碼，生成將所述擴(kuò)充部分的預(yù)測誤差表示為0的符號。
文檔編號H04N7/26GK1960495SQ20061013763
公開日2007年5月9日 申請日期2006年10月31日 優(yōu)先權(quán)日2005年10月31日
發(fā)明者大古瀨秀之 申請人:松下電器產(chǎn)業(yè)株式會社