專利名稱：圖像處理設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和方法，且更具體地涉及可以改善編碼效率同時(shí)防止負(fù)荷增加的圖像處理設(shè)備和方法。
背景技術(shù)：
通常，使用運(yùn)動(dòng)補(bǔ)償和比如離散余弦變換、Karhunen-Loeve變換或者小波變換之類的正交變換的編碼方案(包括MPEG(運(yùn)動(dòng)圖像專家組)、H. 26x等)通常已經(jīng)用作在處理運(yùn)動(dòng)圖像的情況下的編碼方案。在這些運(yùn)動(dòng)圖像編碼方案中，通過利用要編碼的輸入圖像信號(hào)的特性當(dāng)中的空間方向和時(shí)間方向上的相關(guān)性來實(shí)現(xiàn)代碼量的減少。例如，在H. 264中，當(dāng)利用時(shí)間方向上的相關(guān)性產(chǎn)生作為要經(jīng)歷幀間預(yù)測(cè)(幀間預(yù)測(cè))的幀的幀間時(shí)使用單向預(yù)測(cè)或者雙向預(yù)測(cè)。設(shè)計(jì)幀間預(yù)測(cè)以產(chǎn)生基于在不同時(shí)間的幀的預(yù)測(cè)圖像。此外，在作為H. 264的標(biāo)準(zhǔn)擴(kuò)展的SVC(可縮放視頻編碼)中，已經(jīng)建立考慮空間可縮放性的編碼方案。SVC (H. 264/AVC附錄G)是在2007年11月由ITU-T (國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門)和IS0/IEC(用于標(biāo)準(zhǔn)化的國(guó)際組織/國(guó)際電工委員會(huì))標(biāo)準(zhǔn)化的最新的視頻編碼標(biāo)準(zhǔn)。圖1圖示在SVC中考慮空間可縮放性的創(chuàng)建用于壓縮的預(yù)測(cè)圖像的參考關(guān)系。在 SVC中，例如，如圖1所示，以基層和增強(qiáng)層中的多個(gè)分辨率執(zhí)行編碼。在圖1中的示例的情況下，作為基層，使用空間可縮放性編碼具有nXm[像素(Pix)] (η和m是整數(shù))的分辨率的圖像。與此一起，使用空間可縮放性編碼具有NXM[像素(pix)] (N和M是整數(shù))的分辨率的圖像(其中N>n且M>m)作為增強(qiáng)層。在基層的情況下，與基于H. 264標(biāo)準(zhǔn)的編碼的情況類似地，利用幀內(nèi)預(yù)測(cè)或者幀間預(yù)測(cè)編碼當(dāng)前幀。在圖1中的示例的情況下，當(dāng)執(zhí)行基層的編碼時(shí)，使用兩個(gè)基準(zhǔn)面 (Ref0,Refl)o提取來自單獨(dú)的基準(zhǔn)面的運(yùn)動(dòng)補(bǔ)償圖像(MCO，MCl)，并執(zhí)行幀間預(yù)測(cè)。同樣在增強(qiáng)層的情況下，與基本層的情況類似，可以利用幀內(nèi)預(yù)測(cè)或者幀間預(yù)測(cè)編碼當(dāng)前幀。在幀內(nèi)預(yù)測(cè)的情況下，利用當(dāng)前幀的增強(qiáng)層中的空間相關(guān)性執(zhí)行預(yù)測(cè)。在時(shí)間方向上的相關(guān)性低時(shí)，比如當(dāng)對(duì)象少量移動(dòng)時(shí)，幀內(nèi)預(yù)測(cè)在要編碼的運(yùn)動(dòng)圖像中是有效的。但是，通常，在一般的運(yùn)動(dòng)圖像中，在多數(shù)情況下，時(shí)間方向上的相關(guān)性高于空間方向上的預(yù)測(cè)，且?guī)瑑?nèi)預(yù)測(cè)不能被認(rèn)為就編碼效率而言是最適宜的。在幀間預(yù)測(cè)的情況下，在時(shí)間上在前或在后的幀的增強(qiáng)層中的解碼圖像用作基準(zhǔn)面。幀間預(yù)測(cè)使用時(shí)間方向上的相關(guān)性，因此使得高編碼效率是可行的。但是，需要預(yù)先解碼在用作基準(zhǔn)面的增強(qiáng)層中的高分辨率幀圖像。此外，還需要在存儲(chǔ)器中保存高分辨率圖像以利用它們作為參考。此外，需要從存儲(chǔ)器讀取具有大量數(shù)據(jù)的高分辨率圖像。因此，幀間預(yù)測(cè)可以被認(rèn)為是就處理量和實(shí)現(xiàn)成本而言施加大負(fù)荷的方案。在這點(diǎn)上，在增強(qiáng)層的情況下，除上述兩個(gè)方案之外，基于基層的空間上采樣(上
5轉(zhuǎn)換)的預(yù)測(cè)方法(以下稱為上轉(zhuǎn)換預(yù)測(cè))可用于編碼當(dāng)前幀。 在基層中的圖像是增強(qiáng)層中的圖像的低分辨率版本，因此可以被認(rèn)為包括與增強(qiáng)層中的圖像的低頻分量對(duì)應(yīng)的信號(hào)。就是說，可以通過將高頻分量加到基層中的圖像來獲得增強(qiáng)層中的圖像。上轉(zhuǎn)換預(yù)測(cè)是用于利用這種層之間的相關(guān)性執(zhí)行預(yù)測(cè)的方法，且特別在幀內(nèi)預(yù)測(cè)或者幀間預(yù)測(cè)不適用的情況下是對(duì)改善編碼效率有用的預(yù)測(cè)方法。此外，該預(yù)測(cè)方法僅通過在基層中同時(shí)解碼圖像來解碼當(dāng)前幀的增強(qiáng)層中的圖像，因此可以被認(rèn)為是就處理量而言同樣優(yōu)秀的(施加小負(fù)荷)的預(yù)測(cè)方案。同時(shí)，用于增大分辨率的處理包括用于執(zhí)行運(yùn)動(dòng)補(bǔ)償和像素值的FIR濾波以將時(shí)間方向上的相關(guān)性轉(zhuǎn)換為用于使用的空間分辨率的技術(shù)。(例如，參見，NPL 1)。在NPL 1中描述的方法中，時(shí)間方向上的相關(guān)性用于增加輸入圖像序列的分辨率的處理。具體地說，計(jì)算在當(dāng)前圖像和先前圖像之間的有關(guān)已運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償?shù)膱D像的差別信息，且將其反饋到目標(biāo)當(dāng)前圖像以恢復(fù)輸入圖像中包括的高頻分量。引文列表非專利文獻(xiàn)NPL 1 “Improving Resolution by Image Registration，，，MICHAL IRANI 禾口 SHMUEL PELEG，計(jì)算機(jī)科學(xué)系，耶路撒冷希伯來大學(xué)，耶路撒冷91904，以色列，由Rama Chellapa傳送，在1989年6月16日接收；1990年5月25日接受。

發(fā)明內(nèi)容
技術(shù)問題但是，上轉(zhuǎn)換低分辨率圖像使得由于線性內(nèi)插濾波器的影響而產(chǎn)生具有少量高頻分量的圖像。因此，在上轉(zhuǎn)換預(yù)測(cè)中，僅可以獲得具有少量高頻分量的預(yù)測(cè)圖像。就是說， 在上轉(zhuǎn)換預(yù)測(cè)中，不能說已經(jīng)發(fā)送的基層中的像素信息充分地用于執(zhí)行預(yù)測(cè)。因此，在增強(qiáng)層中，可能需要大量代碼來編碼殘差信號(hào)。如上，在現(xiàn)有的編碼和解碼方法中，難以實(shí)現(xiàn)編碼效率的改善以及防止負(fù)荷增加兩者。因此，可以設(shè)想通過應(yīng)用如NPL 1描述的用于將運(yùn)動(dòng)圖像的時(shí)間相關(guān)性轉(zhuǎn)換為空間分辨率的圖像處理技術(shù)來實(shí)現(xiàn)編碼效率的改善的方法。但是，NPLl中描述的方法不能簡(jiǎn)單地應(yīng)用于SVC。例如，在幀間預(yù)測(cè)中，從基準(zhǔn)面獲得的運(yùn)動(dòng)補(bǔ)償圖像的分辨率與產(chǎn)生的預(yù)測(cè)圖像的相同，且NPL 1中描述的方法不能應(yīng)用于上轉(zhuǎn)換預(yù)測(cè)。此外，在上轉(zhuǎn)換預(yù)測(cè)中，因?yàn)閮H從基層中當(dāng)前幀的圖像產(chǎn)生預(yù)測(cè)圖像，所以其中使用三個(gè)圖像增加分辨率的NPL 1中描述的方法不能應(yīng)用于上轉(zhuǎn)換預(yù)測(cè)。已經(jīng)考慮上述情況而提出本發(fā)明，且本發(fā)明意在通過更有效地利用運(yùn)動(dòng)圖像的信號(hào)序列中包括的時(shí)間相關(guān)性來執(zhí)行考慮空間可縮放性的編碼，由此使得能夠改善編碼效率同時(shí)防止比如編碼和解碼的處理的負(fù)荷的增加。技術(shù)方案本發(fā)明的一個(gè)方面提供了圖像處理設(shè)備，包括解碼裝置，用于解碼編碼圖像；產(chǎn)生裝置，用于將由解碼裝置解碼的圖像和預(yù)測(cè)圖像相加，并用于產(chǎn)生解碼圖像；提取裝置，用于使用由產(chǎn)生裝置產(chǎn)生的解碼圖像形成的幀作為基準(zhǔn)幀并使用已經(jīng)編碼的圖像中的運(yùn)動(dòng)矢量來執(zhí)行運(yùn)動(dòng)補(bǔ)償，并用于從與預(yù)測(cè)圖像對(duì)應(yīng)的基準(zhǔn)幀提取具有比預(yù)測(cè)圖像更低分辨率的運(yùn)動(dòng)補(bǔ)償圖像；和預(yù)測(cè)圖像產(chǎn)生裝置，用于通過利用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性，執(zhí)行用于補(bǔ)償由提取裝置提取的運(yùn)動(dòng)補(bǔ)償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比運(yùn)動(dòng)補(bǔ)償圖像更高分辨率的預(yù)測(cè)圖像。編碼圖像已經(jīng)分級(jí)地分解為具有不同分辨率的多個(gè)層中的圖像且圖像已經(jīng)被編碼；解碼裝置可以解碼每一層中的編碼圖像；產(chǎn)生裝置可以產(chǎn)生每一層中的解碼圖像；當(dāng)要執(zhí)行高分辨率層的解碼時(shí)，提取裝置可以使用具有比該層更低分辨率的層中的幀作為基準(zhǔn)幀，并從在具有更低分辨率的層中的基準(zhǔn)幀提取運(yùn)動(dòng)補(bǔ)償圖像；且預(yù)測(cè)圖像產(chǎn)生裝置可以通過關(guān)于從具有更低分辨率的層中的基準(zhǔn)幀提取的運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行濾波處理，來產(chǎn)生高分辨率層中的預(yù)測(cè)圖像。預(yù)測(cè)圖像產(chǎn)生裝置可以包括分辨率轉(zhuǎn)換裝置，用于轉(zhuǎn)換由提取裝置提取的多個(gè)運(yùn)動(dòng)補(bǔ)償圖像之間的差別圖像的分辨率并增加分辨率；第一濾波器裝置，用于將低通濾波器應(yīng)用于其分辨率已經(jīng)由分辨率轉(zhuǎn)換裝置增加的差別圖像；第二濾波器裝置，用于將高通濾波器應(yīng)用于通過由第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像；和相加裝置，用于將通過由第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像與由第二濾波器裝置應(yīng)用高通濾波器而獲得的圖像與由提取裝置提取的多個(gè)運(yùn)動(dòng)補(bǔ)償圖像之一相加，并用于產(chǎn)生預(yù)測(cè)圖像。相加裝置可以將通過由第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像和通過由第二濾波器裝置應(yīng)用高通濾波器而獲得的圖像與從關(guān)于預(yù)測(cè)圖像的時(shí)間的在前幀提取的運(yùn)動(dòng)補(bǔ)償圖像相加。圖像處理設(shè)備可以進(jìn)一步包括單向預(yù)測(cè)裝置，用于使用多個(gè)運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行單向預(yù)測(cè)，并用于產(chǎn)生預(yù)測(cè)圖像；雙向預(yù)測(cè)裝置，用于使用多個(gè)運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行雙向預(yù)測(cè)，并用于產(chǎn)生預(yù)測(cè)圖像；和判斷裝置，用于通過使用編碼圖像的報(bào)頭中包括的標(biāo)識(shí)標(biāo)記， 來判斷是要由單向預(yù)測(cè)裝置通過單向預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像、要由雙向預(yù)測(cè)裝置通過雙向預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像還是要由預(yù)測(cè)圖像產(chǎn)生裝置通過濾波處理產(chǎn)生預(yù)測(cè)圖像。本發(fā)明的一個(gè)方面進(jìn)一步提供圖像處理方法，包括解碼編碼圖像；將解碼圖像和預(yù)測(cè)圖像相加并產(chǎn)生解碼圖像；使用由產(chǎn)生的解碼圖像形成的幀作為基準(zhǔn)幀并使用已經(jīng)編碼的圖像中的運(yùn)動(dòng)矢量來執(zhí)行運(yùn)動(dòng)補(bǔ)償，和從與預(yù)測(cè)圖像對(duì)應(yīng)的基準(zhǔn)幀提取具有比預(yù)測(cè)圖像更低分辨率的運(yùn)動(dòng)補(bǔ)償圖像；和通過利用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性，執(zhí)行用于補(bǔ)償提取的運(yùn)動(dòng)補(bǔ)償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比運(yùn)動(dòng)補(bǔ)償圖像更高分辨率的預(yù)測(cè)圖像。本發(fā)明的另一方面提供了圖像處理設(shè)備，包括編碼裝置，用于編碼作為要編碼的圖像的原始圖像，并用于產(chǎn)生編碼圖像；檢測(cè)裝置，基于多個(gè)圖像和原始圖像檢測(cè)運(yùn)動(dòng)矢量，該多個(gè)圖像中的每一個(gè)是通過基于指示原始圖像和預(yù)測(cè)圖像之間的差別的殘差信號(hào)執(zhí)行本地解碼而獲得的；提取裝置，用于使用由通過執(zhí)行本地解碼獲得的圖像形成的幀作為基準(zhǔn)幀并使用由檢測(cè)裝置檢測(cè)的運(yùn)動(dòng)矢量來執(zhí)行運(yùn)動(dòng)補(bǔ)償，和用于從與預(yù)測(cè)圖像對(duì)應(yīng)的基準(zhǔn)幀提取具有比預(yù)測(cè)圖像更低分辨率的運(yùn)動(dòng)補(bǔ)償圖像；和產(chǎn)生裝置，用于通過利用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性，執(zhí)行用于補(bǔ)償由提取裝置提取的運(yùn)動(dòng)補(bǔ)償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比運(yùn)動(dòng)補(bǔ)償圖像更高分辨率的預(yù)測(cè)圖像。
編碼裝置可以產(chǎn)生具有不同分辨率的多個(gè)層中的編碼圖像；當(dāng)要執(zhí)行高分辨率層的解碼時(shí)，提取裝置可以使用具有比該層更低分辨率的層中的幀作為基準(zhǔn)幀，并使用由檢測(cè)裝置在具有更低分辨率的層中檢測(cè)到的運(yùn)動(dòng)矢量，從具有更低分辨率的層中的基準(zhǔn)幀提取運(yùn)動(dòng)補(bǔ)償圖像；和產(chǎn)生裝置，可以通過關(guān)于從具有更低分辨率的層中的基準(zhǔn)幀提取的運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行濾波處理，來產(chǎn)生高分辨率層中的預(yù)測(cè)圖像。產(chǎn)生裝置可以包括分辨率轉(zhuǎn)換裝置，用于轉(zhuǎn)換由提取裝置提取的多個(gè)運(yùn)動(dòng)補(bǔ)償圖像之間的差別圖像的分辨率并增加分辨率；第一濾波器裝置，用于將低通濾波器應(yīng)用于其分辨率已經(jīng)由分辨率轉(zhuǎn)換裝置增加的差別圖像；第二濾波器裝置，用于將高通濾波器應(yīng)用于通過由第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像；和相加裝置，用于將通過由第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像與由第二濾波器裝置應(yīng)用高通濾波器而獲得的圖像與由提取裝置提取的多個(gè)運(yùn)動(dòng)補(bǔ)償圖像之一相加，并產(chǎn)生預(yù)測(cè)圖像。相加裝置可以將通過由第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像和通過由第二濾波器裝置應(yīng)用高通濾波器而獲得的圖像與從關(guān)于預(yù)測(cè)圖像的時(shí)間的在前幀提取的運(yùn)動(dòng)補(bǔ)償圖像相加。編碼裝置可以使得報(bào)頭包括標(biāo)識(shí)標(biāo)記，該標(biāo)識(shí)標(biāo)記標(biāo)識(shí)是否要與由解碼設(shè)備解碼的圖像相加的預(yù)測(cè)圖像是通過單向預(yù)測(cè)產(chǎn)生、通過雙向預(yù)測(cè)產(chǎn)生還是通過濾波處理產(chǎn)生。本發(fā)明的另一方面進(jìn)一步提供了圖像處理方法，包括編碼作為要編碼的圖像的原始圖像，并產(chǎn)生編碼圖像；基于多個(gè)圖像和原始圖像檢測(cè)運(yùn)動(dòng)矢量，該多個(gè)圖像中的每一個(gè)是通過基于指示原始圖像和預(yù)測(cè)圖像之間的差別的殘差信號(hào)執(zhí)行本地解碼而獲得的；使用由通過執(zhí)行本地解碼獲得的圖像形成的幀作為基準(zhǔn)幀并使用所檢測(cè)到的運(yùn)動(dòng)矢量來執(zhí)行運(yùn)動(dòng)補(bǔ)償，和從與預(yù)測(cè)圖像對(duì)應(yīng)的基準(zhǔn)幀提取具有比預(yù)測(cè)圖像更低分辨率的運(yùn)動(dòng)補(bǔ)償圖像；和通過利用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性，執(zhí)行用于補(bǔ)償所提取的運(yùn)動(dòng)補(bǔ)償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比運(yùn)動(dòng)補(bǔ)償圖像更高分辨率的預(yù)測(cè)圖像。在本發(fā)明的一個(gè)方面中，解碼編碼圖像；將解碼圖像和預(yù)測(cè)圖像相加并產(chǎn)生解碼圖像；使用由產(chǎn)生的解碼圖像形成的幀作為基準(zhǔn)幀并使用已經(jīng)編碼的圖像中的運(yùn)動(dòng)矢量來執(zhí)行運(yùn)動(dòng)補(bǔ)償，和從與預(yù)測(cè)圖像對(duì)應(yīng)的基準(zhǔn)幀提取具有比預(yù)測(cè)圖像更低分辨率的運(yùn)動(dòng)補(bǔ)償圖像；和通過利用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性，執(zhí)行用于補(bǔ)償提取的運(yùn)動(dòng)補(bǔ)償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比運(yùn)動(dòng)補(bǔ)償圖像更高分辨率的預(yù)測(cè)圖像。在本發(fā)明的另一方面中，編碼作為要編碼的圖像的原始圖像，并產(chǎn)生編碼圖像；基于多個(gè)圖像和原始圖像檢測(cè)運(yùn)動(dòng)矢量，該多個(gè)圖像中的每一個(gè)是通過基于指示原始圖像和預(yù)測(cè)圖像之間的差別的殘差信號(hào)執(zhí)行本地解碼而獲得的；使用由通過執(zhí)行本地解碼獲得的圖像形成的幀作為基準(zhǔn)幀并使用所檢測(cè)到的運(yùn)動(dòng)矢量來執(zhí)行運(yùn)動(dòng)補(bǔ)償，和從與預(yù)測(cè)圖像對(duì)應(yīng)的基準(zhǔn)幀提取具有比預(yù)測(cè)圖像更低分辨率的運(yùn)動(dòng)補(bǔ)償圖像；和通過利用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性，執(zhí)行用于補(bǔ)償所提取的運(yùn)動(dòng)補(bǔ)償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比運(yùn)動(dòng)補(bǔ)償圖像更高分辨率的預(yù)測(cè)圖像。技術(shù)效果根據(jù)本發(fā)明，可以處理信息。具體來說，可以產(chǎn)生高精度的預(yù)測(cè)圖像并可以改善編碼效率而不增加多于必要的負(fù)荷。


圖1是解釋考慮現(xiàn)有的空間可縮放性的編碼方案的解碼的圖；圖2是解釋應(yīng)用本發(fā)明的預(yù)測(cè)圖像的產(chǎn)生的概述的圖；圖3是圖示應(yīng)用本發(fā)明的解碼設(shè)備的主要部分的示例配置的框圖；圖4是圖示圖3中的無損解碼電路的主要部分的示例配置的框圖；圖5是圖示圖3中的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路的主要部分的示例配置的框圖；圖6是圖示圖5中的濾波預(yù)測(cè)電路的主要部分的示例配置的框圖；圖7是解釋解碼處理的流程的示例的流程圖；圖8是解釋無損解碼處理的流程的示例的流程圖；圖9是解釋當(dāng)執(zhí)行解碼時(shí)濾波預(yù)測(cè)處理的流程的示例的流程圖；圖10是圖示應(yīng)用本發(fā)明的編碼設(shè)備的主要部分的示例配置的框圖；圖11是圖示圖10中的模式確定電路的主要部分的示例配置的框圖；圖12是圖示運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路的主要部分的示例配置的框圖；圖13是解釋編碼處理的流程的示例的流程圖；圖14是解釋模式確定處理的流程的示例的流程圖；圖15是解釋當(dāng)執(zhí)行編碼時(shí)濾波預(yù)測(cè)處理的流程的示例的流程圖；圖16是解釋應(yīng)用本發(fā)明的解碼處理的概述的另一示例的圖；圖17是圖示圖6中的濾波電路的另一示例配置的框圖；圖18是解釋應(yīng)用本發(fā)明的解碼處理的概述的又一示例的圖；圖19是解釋當(dāng)執(zhí)行解碼時(shí)的濾波預(yù)測(cè)處理的流程的另一示例的流程圖；圖20是解釋當(dāng)執(zhí)行編碼時(shí)的濾波預(yù)測(cè)處理的另一示例的流程圖；圖21是圖示應(yīng)用本發(fā)明的個(gè)人計(jì)算機(jī)的主要部分的示例配置的框圖；圖22是圖示應(yīng)用本發(fā)明的電視接收機(jī)的主要部分的示例配置的框圖；圖23是圖示應(yīng)用本發(fā)明的移動(dòng)電話的主要部分的示例配置的框圖；圖M是圖示應(yīng)用本發(fā)明的硬盤記錄器的主要部分的示例配置的框圖；圖25是圖示應(yīng)用本發(fā)明的相機(jī)的主要部分的示例配置的框圖；圖沈是圖示宏塊大小的示例的圖。
具體實(shí)施例方式在下文中將解釋本發(fā)明的具體實(shí)施方式
(在下文中，實(shí)施例)。注意將以以下次序給出說明1.第一實(shí)施例(解碼處理)2.第二實(shí)施例(編碼處理)3.第三實(shí)施例(具有三個(gè)或更多運(yùn)動(dòng)補(bǔ)償圖像的解碼處理)4.第四實(shí)施例(使用相同層中的運(yùn)動(dòng)補(bǔ)償圖像的解碼處理和編碼處理)<1.第一實(shí)施例〉[預(yù)測(cè)的概述]圖2是解釋應(yīng)用本發(fā)明的預(yù)測(cè)圖像產(chǎn)生方法的概況的圖。如圖2所示，在這種情況下，關(guān)于基層中多個(gè)基準(zhǔn)面的圖像執(zhí)行濾波以產(chǎn)生增強(qiáng)層中的當(dāng)前塊(在當(dāng)時(shí)的處理目
9標(biāo)塊)的預(yù)測(cè)圖像。用這樣的方式，使用時(shí)間方向上的分析使得可以比使用空間上采樣濾波器更有效地利用圖像序列中的信號(hào)分量。因此，由本發(fā)明的技術(shù)(以下稱為濾波預(yù)測(cè))產(chǎn)生的預(yù)測(cè)圖像可以減少預(yù)測(cè)殘差，同時(shí)具有比通過利用基層中當(dāng)前幀(當(dāng)時(shí)的處理目標(biāo)幀)的圖像的現(xiàn)有上轉(zhuǎn)換預(yù)測(cè)產(chǎn)生的預(yù)測(cè)圖像在空間上更高頻的分量。也就是說，可以減少用于要在增強(qiáng)層中編碼的畫面的代碼量，且可以有助于編碼效率的改善。此外，在該濾波預(yù)測(cè)中，不參考在時(shí)間上不同的幀的增強(qiáng)層中的解碼圖像。因此， 可以減少編碼所需的處理量、臨時(shí)存儲(chǔ)器容量、從存儲(chǔ)器讀出的信息量等，且可以減少實(shí)現(xiàn)所需的成本。此外，還可以減少功耗。[解碼設(shè)備的配置]圖3是圖示根據(jù)本發(fā)明的實(shí)施例的解碼設(shè)備1的示例配置的框圖。由如下所述的編碼設(shè)備編碼的圖像信息經(jīng)由線纜、網(wǎng)絡(luò)或者可拆卸介質(zhì)輸入到解碼設(shè)備1。壓縮圖像信息的示例包括根據(jù)H. 264/SVC標(biāo)準(zhǔn)編碼的圖像信息。在SVC中，壓縮圖像信息由多個(gè)分辨率的層組成。最低分辨率的層是基層，且比基層更高分辨率的層是增強(qiáng)層。注意，層的數(shù)目是任意的；但是，在下面的描述中，假定壓縮圖像信息由兩個(gè)層組成。也就是說，輸入到解碼設(shè)備1的壓縮圖像信息具有基層和一個(gè)增強(qiáng)層。每個(gè)幀的壓縮圖像信息被順序地輸入到解碼設(shè)備1。在每個(gè)幀中，順序地輸入從低分辨率側(cè)到高分辨率側(cè)的各個(gè)層的位流。也就是說，基層中的位流被較早地輸入到解碼設(shè)備1。以類似于在基于H. ^4/AVC標(biāo)準(zhǔn)的壓縮圖像信息的情況下的方式解碼基層中的位流，因此這里省略其說明。在解碼基層中的位流之后，將增強(qiáng)層中的位流輸入到解碼設(shè)備 1?；旧希谙挛闹袑⒔忉岅P(guān)于在增強(qiáng)層中的位流的處理。存儲(chǔ)緩沖器11順序地存儲(chǔ)作為壓縮圖像信息輸入的位流。在存儲(chǔ)緩沖器11中存儲(chǔ)的信息適當(dāng)?shù)赜蔁o損解碼電路12以特定單元的圖像(比如形成幀的宏塊)為單位讀取。 在H. 264標(biāo)準(zhǔn)中，還可以以將宏塊進(jìn)一步劃分所得的塊(比如8X8像素或者4X4像素的塊)為單位而不是以16X16像素的宏塊為單位執(zhí)行處理。無損解碼電路12關(guān)于從存儲(chǔ)緩沖器11讀取的圖像執(zhí)行與編碼方案對(duì)應(yīng)的解碼處理，比如可變長(zhǎng)度解碼處理或者算術(shù)解碼處理。無損解碼電路12將通過執(zhí)行解碼處理獲得的已量化變換系數(shù)輸出到反量化電路13。此外，無損解碼電路12基于要解碼的圖像的報(bào)頭中包括的標(biāo)識(shí)標(biāo)記來識(shí)別預(yù)測(cè)方法。在判定要解碼的圖像是幀內(nèi)編碼圖像的情況下，無損解碼電路12將存儲(chǔ)在圖像的報(bào)頭中的幀內(nèi)預(yù)測(cè)模式信息輸出到幀內(nèi)預(yù)測(cè)電路22。幀內(nèi)預(yù)測(cè)模式信息包括關(guān)于幀內(nèi)預(yù)測(cè)的信息，比如用作所述處理單元的塊的大小。在判斷要解碼的圖像是幀間編碼信息的情況下，無損解碼電路12將存儲(chǔ)在圖像的報(bào)頭中的運(yùn)動(dòng)矢量和標(biāo)識(shí)標(biāo)記輸出到運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21。使用標(biāo)識(shí)標(biāo)記識(shí)別其中通過幀間預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像的預(yù)測(cè)模式。例如，以宏塊或者幀為單位設(shè)置標(biāo)識(shí)標(biāo)記。除單向預(yù)測(cè)模式、雙向預(yù)測(cè)模式和上轉(zhuǎn)換預(yù)測(cè)模式之外，準(zhǔn)備的預(yù)測(cè)模式包括用于通過關(guān)于從基層中位于一個(gè)或者兩個(gè)時(shí)間方向上的多個(gè)基準(zhǔn)幀提取的運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行濾波來產(chǎn)生預(yù)測(cè)圖像的濾波預(yù)測(cè)模式。在下文中，其中從位于一個(gè)方向上的多個(gè)基準(zhǔn)幀提取的運(yùn)動(dòng)補(bǔ)償圖像當(dāng)中一個(gè)運(yùn)動(dòng)補(bǔ)償圖像中的像素值被設(shè)置為預(yù)測(cè)圖像中的像素值的預(yù)測(cè)模式被簡(jiǎn)單地稱為單向預(yù)測(cè)模式。此外，其中從位于兩個(gè)方向上的多個(gè)基準(zhǔn)幀單獨(dú)地提取的運(yùn)動(dòng)補(bǔ)償圖像中的像素值的平均值被設(shè)置為預(yù)測(cè)圖像中的像素值的預(yù)測(cè)模式被簡(jiǎn)單地稱為雙向預(yù)測(cè)模式。此外，其中將從基層中的當(dāng)前幀提取的運(yùn)動(dòng)補(bǔ)償圖像上轉(zhuǎn)換以確定預(yù)測(cè)圖像中的像素值的預(yù)測(cè)模式被簡(jiǎn)單地稱為上轉(zhuǎn)換預(yù)測(cè)模式。如圖2所示的其中通過執(zhí)行濾波確定預(yù)測(cè)圖像中的像素值的預(yù)測(cè)的第四模式被稱為濾波預(yù)測(cè)模式，該濾波包括關(guān)于從位于基層的一個(gè)或者兩個(gè)方向上的多個(gè)基準(zhǔn)幀提取的每一運(yùn)動(dòng)補(bǔ)償圖像的上轉(zhuǎn)換。反量化電路13使用與在編碼側(cè)使用的量化方案對(duì)應(yīng)的方案關(guān)于從無損解碼電路 12提供的已量化變換系數(shù)執(zhí)行反量化。反量化電路13輸出通過執(zhí)行反量化獲得的變換系數(shù)到逆正交變換電路14。例如，逆正交變換電路14使用與編碼側(cè)上的正交變換方案(比如離散余弦變換或者Karhimen-Lc^ve變換)對(duì)應(yīng)的方案，關(guān)于從反量化電路13提供的變換系數(shù)執(zhí)行四階逆正交變換，并輸出所獲得的圖像到加法器電路15。加法器電路15將從逆正交變換電路14提供的解碼圖像與從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路 21或者從幀內(nèi)預(yù)測(cè)電路22經(jīng)由開關(guān)23提供的預(yù)測(cè)圖像組合，并輸出合成圖像到解塊濾波器16。解塊濾波器16除去從加法器電路15提供的圖像中包括的塊噪聲，并輸出已經(jīng)除去塊噪聲的圖像。從解塊濾波器16輸出的圖像被提供到重排緩沖器17和幀存儲(chǔ)器19。重排緩沖器17臨時(shí)存儲(chǔ)從解塊濾波器16提供的圖像。重排緩沖器17例如從存儲(chǔ)的每個(gè)宏塊的圖像產(chǎn)生單獨(dú)的幀，并在將產(chǎn)生的幀輸出到D/A(數(shù)字/模擬)轉(zhuǎn)換器電路 18之前以比如顯示次序的某個(gè)次序重排產(chǎn)生的幀。D/A轉(zhuǎn)換器電路18關(guān)于從重排緩沖器17提供的每一幀執(zhí)行D/A轉(zhuǎn)換，并輸出幀的信號(hào)到外部。幀存儲(chǔ)器19臨時(shí)存儲(chǔ)從解塊濾波器16提供的圖像。存儲(chǔ)在幀存儲(chǔ)器19中的信息被經(jīng)由開關(guān)20提供到運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21或者幀內(nèi)預(yù)測(cè)電路22。注意，幀存儲(chǔ)器19 還存儲(chǔ)在增強(qiáng)層的解碼之前已經(jīng)解碼的基層中的圖像，且存儲(chǔ)的圖像用于增強(qiáng)層的解碼， 如下所述。開關(guān)20在要通過幀間預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像的情況下連接到端子al，且在要通過幀內(nèi)預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像的情況下連接到端子bl。開關(guān)20的切換例如由控制電路31控制。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21根據(jù)從無損解碼電路12提供的標(biāo)識(shí)標(biāo)記確定預(yù)測(cè)模式， 并根據(jù)預(yù)測(cè)模式從存儲(chǔ)在幀存儲(chǔ)器19中的解碼幀當(dāng)中選擇要用作基準(zhǔn)幀的幀。運(yùn)動(dòng)預(yù)測(cè)/ 補(bǔ)償電路21基于從無損解碼電路12提供的運(yùn)動(dòng)矢量，從形成基準(zhǔn)幀的宏塊當(dāng)中確定與目標(biāo)預(yù)測(cè)圖像對(duì)應(yīng)的宏塊，并提取所確定的宏塊作為運(yùn)動(dòng)補(bǔ)償圖像。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21 根據(jù)預(yù)測(cè)模式從運(yùn)動(dòng)補(bǔ)償圖像中的像素值確定預(yù)測(cè)圖像中的像素值，并將已經(jīng)確定了像素值的預(yù)測(cè)圖像經(jīng)由開關(guān)23輸出到加法器電路15。幀內(nèi)預(yù)測(cè)電路22根據(jù)從無損解碼電路12提供的幀內(nèi)預(yù)測(cè)模式信息執(zhí)行幀內(nèi)預(yù)
1測(cè)，并產(chǎn)生預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)電路22將產(chǎn)生的預(yù)測(cè)圖像經(jīng)由開關(guān)23輸出到加法器電路 15。開關(guān)23在已經(jīng)由運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21產(chǎn)生預(yù)測(cè)圖像的情況下連接到端子a2， 并在已經(jīng)由幀內(nèi)預(yù)測(cè)電路22產(chǎn)生預(yù)測(cè)圖像的情況下連接到端子1^2。開關(guān)23的切換例如也由控制電路31控制。控制電路31例如通過切換開關(guān)20和23的連接來控制解碼設(shè)備1的整體操作?？梢杂煽刂齐娐?1執(zhí)行用于處理目標(biāo)圖像的預(yù)測(cè)方法的識(shí)別。圖4是圖示圖3中的無損解碼電路12的主要部分的示例配置的框圖。如圖4所示，無損解碼電路12包括預(yù)測(cè)判定電路41和解碼處理電路42。預(yù)測(cè)判定電路41判斷用于從存儲(chǔ)緩沖器11提供的圖像的預(yù)測(cè)方法。預(yù)測(cè)判定電路41例如基于要解碼的圖像的報(bào)頭中包括的標(biāo)識(shí)標(biāo)記來識(shí)別預(yù)測(cè)方法。注意，預(yù)測(cè)判定電路41當(dāng)然可以通過分析位流來識(shí)別預(yù)測(cè)方法。在這種情況下，可以省略標(biāo)識(shí)標(biāo)記，且可以減少壓縮圖像信息的fn息里。在判斷要解碼的圖像是幀內(nèi)編碼圖像的情況下，預(yù)測(cè)判定電路41將存儲(chǔ)在圖像的報(bào)頭中的幀內(nèi)預(yù)測(cè)模式信息輸出到幀內(nèi)預(yù)測(cè)電路22。此外，在判斷要解碼的圖像是幀間編碼信息的情況下，預(yù)測(cè)判定電路41將存儲(chǔ)在圖像的報(bào)頭中的運(yùn)動(dòng)矢量和標(biāo)識(shí)標(biāo)記輸出到運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21。預(yù)測(cè)判定電路41進(jìn)一步將已經(jīng)對(duì)其判斷了預(yù)測(cè)方法的圖像的位流提供到解碼處理電路42。解碼處理電路42關(guān)于圖像執(zhí)行與編碼方案對(duì)應(yīng)的解碼處理，比如可變長(zhǎng)度解碼處理或者算術(shù)解碼處理。預(yù)測(cè)判定電路41將通過執(zhí)行解碼處理獲得的已量化變換系數(shù)輸出到反量化電路13。圖5是圖示圖3中的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路的主要部分的示例配置的框圖。如圖5所示，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21包括預(yù)測(cè)選擇電路51、單向預(yù)測(cè)電路61、雙向預(yù)測(cè)電路62、上轉(zhuǎn)換預(yù)測(cè)電路63和濾波預(yù)測(cè)電路64。將從無損解碼電路12(預(yù)測(cè)判定電路41)提供的運(yùn)動(dòng)矢量和標(biāo)識(shí)標(biāo)記輸入到預(yù)測(cè)選擇電路51。預(yù)測(cè)選擇電路51根據(jù)從預(yù)測(cè)判定電路41提供的標(biāo)識(shí)標(biāo)記選擇預(yù)測(cè)模式。在確定要通過單向預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像的情況下，預(yù)測(cè)選擇電路51輸出運(yùn)動(dòng)矢量到單向預(yù)測(cè)電路 61。此外，在確定要通過雙向預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像的情況下，預(yù)測(cè)選擇電路51輸出運(yùn)動(dòng)矢量到雙向預(yù)測(cè)電路62。此外，在確定要通過上轉(zhuǎn)換預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像的情況下，預(yù)測(cè)選擇電路 51輸出為此的指令到上轉(zhuǎn)換預(yù)測(cè)電路63。此外，在確定要通過濾波預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像的情況下，預(yù)測(cè)選擇電路51輸出運(yùn)動(dòng)矢量到濾波預(yù)測(cè)電路64。用這樣的方式，為了允許濾波預(yù)測(cè)的標(biāo)識(shí)，可以將與現(xiàn)有標(biāo)準(zhǔn)中定義的表示單向預(yù)測(cè)的值、表示雙向預(yù)測(cè)的值和表示上轉(zhuǎn)換預(yù)測(cè)的值不同的值設(shè)置為標(biāo)識(shí)標(biāo)記的值。單向預(yù)測(cè)電路61設(shè)置位于增強(qiáng)層中一個(gè)時(shí)間方向上的多個(gè)幀作為基準(zhǔn)幀，并基于運(yùn)動(dòng)矢量確定在與預(yù)測(cè)圖像對(duì)應(yīng)的基準(zhǔn)幀中的宏塊。此外，單向預(yù)測(cè)電路61通過從幀存儲(chǔ)器19讀取基準(zhǔn)幀中每一確定的宏塊作為運(yùn)動(dòng)補(bǔ)償圖像，并設(shè)置在運(yùn)動(dòng)補(bǔ)償圖像之一中的像素值作為預(yù)測(cè)圖像中的像素值，來產(chǎn)生預(yù)測(cè)圖像。單向預(yù)測(cè)電路61輸出所產(chǎn)生的預(yù)測(cè)圖像到加法器電路15。由單向預(yù)測(cè)電路61執(zhí)行的單向預(yù)測(cè)的示例包括以H. 264/SVC標(biāo)準(zhǔn)(或者H. 264標(biāo)準(zhǔn))定義的單向預(yù)測(cè)。雙向預(yù)測(cè)電路62設(shè)置位于增強(qiáng)層中兩個(gè)時(shí)間方向上的多個(gè)幀作為基準(zhǔn)幀，并基于運(yùn)動(dòng)矢量確定在與預(yù)測(cè)圖像對(duì)應(yīng)的基準(zhǔn)幀中的宏塊。此外，雙向預(yù)測(cè)電路62通過從幀存儲(chǔ)器19讀取基準(zhǔn)幀中每一確定的宏塊作為運(yùn)動(dòng)補(bǔ)償圖像，并設(shè)置在讀取運(yùn)動(dòng)補(bǔ)償圖像中的像素值的平均值作為預(yù)測(cè)圖像中的像素值，來產(chǎn)生預(yù)測(cè)圖像。雙向預(yù)測(cè)電路62輸出所產(chǎn)生的預(yù)測(cè)圖像到加法器電路15。由雙向預(yù)測(cè)電路62執(zhí)行的雙向預(yù)測(cè)的示例包括以H. 264/ SVC標(biāo)準(zhǔn)(或者H. 264標(biāo)準(zhǔn))定義的雙向預(yù)測(cè)。如圖1所示，上轉(zhuǎn)換預(yù)測(cè)電路63將基層中的當(dāng)前幀設(shè)置為基準(zhǔn)幀。上轉(zhuǎn)換預(yù)測(cè)電路63從基層中的基準(zhǔn)幀提取在與增強(qiáng)層中的當(dāng)前幀中的處理目標(biāo)宏塊相同位置處的宏塊。也就是說，上轉(zhuǎn)換預(yù)測(cè)電路63從幀存儲(chǔ)器19讀取與處理目標(biāo)宏塊對(duì)應(yīng)的基層中基準(zhǔn)幀的宏塊。所提取的宏塊是基層中的宏塊，因此具有比處理目標(biāo)宏塊更低的分辨率。上轉(zhuǎn)換預(yù)測(cè)電路63上轉(zhuǎn)換基層中提取的宏塊以產(chǎn)生處理目標(biāo)宏塊的預(yù)測(cè)圖像。上轉(zhuǎn)換預(yù)測(cè)電路63輸出所產(chǎn)生的預(yù)測(cè)圖像到加法器電路15。由上轉(zhuǎn)換預(yù)測(cè)電路 63執(zhí)行的雙向預(yù)測(cè)的示例包括以H. 264/SVC標(biāo)準(zhǔn)定義的上轉(zhuǎn)換預(yù)測(cè)。如圖2所示，濾波預(yù)測(cè)電路64確定位于基層中的一個(gè)或者兩個(gè)時(shí)間方向上的多個(gè)幀作為基準(zhǔn)幀。可以預(yù)先確定或者可以由與標(biāo)識(shí)標(biāo)記一起從編碼側(cè)發(fā)送的信息指定哪個(gè)幀用作基準(zhǔn)幀。例如，關(guān)于當(dāng)前幀的時(shí)間上在前的幀和進(jìn)一步在前的幀(即，兩個(gè)幀)可以被設(shè)置為基準(zhǔn)幀。此外，例如，關(guān)于當(dāng)前幀的時(shí)間上在前的幀和在后的幀(即，兩個(gè)幀)可以被設(shè)置為基準(zhǔn)幀。當(dāng)然，其他幀可以用作基準(zhǔn)幀。濾波預(yù)測(cè)電路64基于從預(yù)測(cè)選擇電路51提供的運(yùn)動(dòng)矢量，確定與預(yù)測(cè)圖像對(duì)應(yīng)的以上述方式確定的基層中的基準(zhǔn)幀的宏塊。濾波預(yù)測(cè)電路64從幀存儲(chǔ)器19讀取基準(zhǔn)幀的每一確定的宏塊作為運(yùn)動(dòng)補(bǔ)償圖像。注意，可以以宏塊進(jìn)一步劃分所得的塊為單位代替以16X16像素等的宏塊為單位來確定運(yùn)動(dòng)矢量。運(yùn)動(dòng)補(bǔ)償圖像是基層中的圖像，因此具有比增強(qiáng)層中的處理目標(biāo)宏塊更低的分辨率。濾波預(yù)測(cè)電路64使用運(yùn)動(dòng)補(bǔ)償圖像作為輸入執(zhí)行涉及上轉(zhuǎn)換的濾波，并輸出通過執(zhí)行濾波而獲得的預(yù)測(cè)圖像到加法器電路15。預(yù)測(cè)圖像已經(jīng)被上轉(zhuǎn)換為增強(qiáng)層中的宏塊的分辨率。濾波預(yù)測(cè)電路64輸出所產(chǎn)生的預(yù)測(cè)圖像到加法器電路15。圖6是圖示圖5中的濾波預(yù)測(cè)電路64的主要部分的示例配置的框圖。在具有圖 6中的配置的濾波預(yù)測(cè)電路64中，關(guān)于時(shí)域中的信號(hào)執(zhí)行濾波。如圖6所示，濾波預(yù)測(cè)電路64包括提取電路71和濾波電路72。提取電路71基于從預(yù)測(cè)選擇電路51提供的信息指定基層中的基準(zhǔn)幀，并從基層中的基準(zhǔn)幀提取運(yùn)動(dòng)補(bǔ)償圖像(例如，運(yùn)動(dòng)補(bǔ)償圖像MCO和運(yùn)動(dòng)補(bǔ)償圖像MCl)。用于識(shí)別用于本發(fā)明的多個(gè)低分辨率圖像的一個(gè)可想到的方式是利用基層中的流中的信號(hào)而不添加新的信號(hào)。也就是說，該方法是兩個(gè)圖像用作隨后的濾波處理的輸入，其中第一輸入是在當(dāng)時(shí)的低分辨率圖像中的空間上相同位置的解碼圖像，且第二輸入是已經(jīng)用于時(shí)間預(yù)測(cè)的時(shí)間上過去或未來的低分辨率圖像。就是說，在這種情況下，提取電路71提取在與增強(qiáng)層中的處理目標(biāo)宏塊相同的位
1置處的基層中當(dāng)前幀的宏塊作為一個(gè)運(yùn)動(dòng)補(bǔ)償圖像，并使用已經(jīng)用于基層中宏塊的解碼的運(yùn)動(dòng)矢量來進(jìn)一步提取另一運(yùn)動(dòng)補(bǔ)償圖像。該技術(shù)的優(yōu)點(diǎn)是不向流添加新的信號(hào)，這對(duì)于編碼效率是有益的。此時(shí)，在低分辨率圖像的情況下，關(guān)于多個(gè)基準(zhǔn)幀的信息用于解碼，具體地說，在正在執(zhí)行雙向預(yù)測(cè)等的情況下，全部預(yù)測(cè)圖像可以用作第二和第三輸入。通常，使用具有高相關(guān)性的時(shí)間信息越多，則作為隨后的濾波處理的結(jié)果可以產(chǎn)生的分辨率越高。因此，上述方法是有效的。此外，為了通過濾波處理更精確地產(chǎn)生高分辨率圖像，還可以使用新編碼一個(gè)或者多個(gè)運(yùn)動(dòng)矢量的方法。就是說，在這種情況下，對(duì)于增強(qiáng)層的解碼，編碼與用于基層的解碼的運(yùn)動(dòng)矢量分離的新的運(yùn)動(dòng)矢量。在該方法中，新的信號(hào)被添加到流；但是，增加增強(qiáng)層的預(yù)測(cè)精度使得可以減少增強(qiáng)層中的殘差信號(hào)。因此，該方法就編碼效率而言是有效的。提取電路71以上述方式指定運(yùn)動(dòng)補(bǔ)償圖像MCO和運(yùn)動(dòng)補(bǔ)償圖像MC1，并從幀存儲(chǔ)器19獲取關(guān)于它們的信息。提取電路71將提取的運(yùn)動(dòng)補(bǔ)償圖像MCO和運(yùn)動(dòng)補(bǔ)償圖像MCl 提供到濾波電路72。濾波電路72關(guān)于提供的運(yùn)動(dòng)補(bǔ)償圖像MCO和運(yùn)動(dòng)補(bǔ)償圖像MCl執(zhí)行涉及上轉(zhuǎn)換的濾波，并產(chǎn)生預(yù)測(cè)圖像。就是說，濾波電路72利用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性對(duì)于高頻分量執(zhí)行用于補(bǔ)償由提取電路71提取的多個(gè)運(yùn)動(dòng)補(bǔ)償圖像的濾波處理， 以產(chǎn)生具有比運(yùn)動(dòng)補(bǔ)償圖像更高分辨率的預(yù)測(cè)圖像。已經(jīng)補(bǔ)償了用這樣的方式產(chǎn)生的預(yù)測(cè)圖像的高頻分量。因此，改善了預(yù)測(cè)精度。因此，改善了編碼效率。如圖6所示，濾波電路72包括差別計(jì)算電路81、上轉(zhuǎn)換電路82、低通濾波器電路 83、增益調(diào)節(jié)電路84、高通濾波器電路85、增益調(diào)節(jié)電路86、加法器電路87、上轉(zhuǎn)換電路88 和加法器電路89。將從提取電路71提供的運(yùn)動(dòng)補(bǔ)償圖像MCO輸入到差別計(jì)算電路81和上轉(zhuǎn)換電路 88，且將運(yùn)動(dòng)補(bǔ)償圖像MCl輸入到差別計(jì)算電路81。在要通過單向預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像的情況下，例如，從接近于當(dāng)前幀的基準(zhǔn)幀RO提取的圖像可以被認(rèn)為具有比預(yù)測(cè)圖像更高的相關(guān)性，其用作運(yùn)動(dòng)補(bǔ)償圖像MC0，且從遠(yuǎn)離當(dāng)前幀的基準(zhǔn)幀Rl提取的圖像用作運(yùn)動(dòng)補(bǔ)償圖像MC1。從基準(zhǔn)幀RO提取的圖像可以被設(shè)計(jì)為用作運(yùn)動(dòng)補(bǔ)償圖像MC1，且從基準(zhǔn)幀Rl提取的圖像可以被設(shè)計(jì)為用作運(yùn)動(dòng)補(bǔ)償圖像MC0。此外，在要通過雙向預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像的情況下，例如，從在前的基準(zhǔn)幀LO提取的圖像用作運(yùn)動(dòng)補(bǔ)償圖像MC0，且從在后的基準(zhǔn)幀Ll提取的圖像用作運(yùn)動(dòng)補(bǔ)償圖像MC1。從基準(zhǔn)幀LO提取的圖像可以被設(shè)計(jì)以用作運(yùn)動(dòng)補(bǔ)償圖像MC1，且從基準(zhǔn)幀Ll提取的圖像可以被設(shè)計(jì)以用作運(yùn)動(dòng)補(bǔ)償圖像MC0。差別計(jì)算電路81例如使用以下公式(1)計(jì)算運(yùn)動(dòng)補(bǔ)償圖像MCO和運(yùn)動(dòng)補(bǔ)償圖像 MCl之間的差別，并輸出差別圖像D到上轉(zhuǎn)換電路82。D(i, j) = A(i, j)-B(i, j) . .. (1)在公式(1)中，(i，j)表示運(yùn)動(dòng)補(bǔ)償圖像中像素的相對(duì)位置。例如，在配置以 16X16像素的宏塊為單位執(zhí)行處理的情況下，設(shè)置0 < i < 16和0 < j < 16。這類似地適用于以下描述。
上轉(zhuǎn)換電路82關(guān)于由差別計(jì)算電路81計(jì)算的差別圖像D執(zhí)行分辨率轉(zhuǎn)換。分辨率轉(zhuǎn)換比率基于基層的空間分辨率與增強(qiáng)層的空間分辨率的比率。例如，在基層的分辨率是η X m [像素](η和m是整數(shù))而增強(qiáng)層的分辨率是N X M [像素](N和M是整數(shù)，其中N > η且M > m)的情況下，水平方向上的放大倍率H_kale和垂直方向上的放大倍率V_kale 由公式(2)和公式(3)給出。H_Scale = Ν/η . . . (2)V_Scale = M/m …(3)上轉(zhuǎn)換電路82將已經(jīng)用這樣的方式經(jīng)歷了分辨率轉(zhuǎn)換(已經(jīng)上變換)的差別圖像D'輸出到低通濾波器電路83。低通濾波器電路83包括HR濾波器電路。低通濾波器電路83將低通濾波器應(yīng)用于從上轉(zhuǎn)換電路82提供的差別圖像D'，并輸出所獲得的圖像到增益調(diào)節(jié)電路84和高通濾波器電路85。作為通過將應(yīng)用低通濾波器而獲得的圖像的差別圖像D"由如下公式(4)表不。D〃 = LPF (D' ) . . . (4)在公式中，LPF(X)表示使用二維HR濾波器的低通濾波器到輸入圖像X的應(yīng)用。增益調(diào)節(jié)電路84調(diào)節(jié)從低通濾波器電路83提供的差別圖像D"的增益，并輸出已調(diào)節(jié)增益的圖像到加法器電路87。如果設(shè)置0彡i彡16XH_Scale并設(shè)置0彡j ^ 16XV_ kale，則增益調(diào)節(jié)電路84的輸出圖像X(I，J)由如下公式(5)表示。X(I，J) = aD" (I, J) · · · (5)高通濾波器電路85包括HR濾波器電路。高通濾波器電路85將高通濾波器應(yīng)用于從低通濾波器電路83提供的差別圖像D"，并將所獲得的圖像輸出到增益調(diào)節(jié)電路86。 作為通過應(yīng)用高通濾波器獲得的圖像的差別圖像D'“由如下公式(6)表示。D' “ = HPF(D〃 ) ... (6)在公式(6)中，HPF(X)表示使用二維HR濾波器關(guān)于輸入圖像X執(zhí)行高通濾波處理。增益調(diào)節(jié)電路86調(diào)節(jié)從高通濾波器電路85提供的差別圖像D'丨'的增益，并將已調(diào)節(jié)增益的圖像輸出到加法器電路87。增益調(diào)節(jié)電路86的輸出圖像Y(I，J)由如下公式 (7)表示。Y(I,J) =‘‘ (I，J) ... (7)作為公式(5)中的值α和公式(7)中的值β，例如，選擇比如a = 0. 8和β = 0.2的值。但是，可以使用其它值以增加預(yù)測(cè)像素的精度。此外，可以根據(jù)輸入序列的性質(zhì)等自適應(yīng)地改變值。加法器電路87將已調(diào)節(jié)增益圖像X(I，J)和圖像Y(I，J)相加，并輸出通過相加獲得的圖像。加法器電路87的輸出圖像Z(I，J)由以下公式⑶表示。Z(I,J) =X(I, J)+Y(I, J) · · · (8)輸出圖像Z(I，J)是可以從運(yùn)動(dòng)補(bǔ)償圖像MCO和運(yùn)動(dòng)補(bǔ)償圖像MCl之間的差別， 即，相關(guān)性確定的圖像的高頻分量的表示。上轉(zhuǎn)換電路88關(guān)于運(yùn)動(dòng)補(bǔ)償圖像MCO執(zhí)行分辨率轉(zhuǎn)換。與上轉(zhuǎn)換電路82的情況的類似，分辨率轉(zhuǎn)換比率基于基層的空間分辨率與增強(qiáng)層的空間分辨率的比率。就是說，水平方向上的放大倍率H_kale和垂直方向上的放大倍率由以上公式(2)和公式 (3)給出。上轉(zhuǎn)換電路88輸出作為以上述方式經(jīng)歷分辨率轉(zhuǎn)換(上變換)的運(yùn)動(dòng)補(bǔ)償圖像 MCO的圖像A‘到加法器電路89。加法器電路89將從加法器電路87提供的輸出圖像Z (I，J)與從上轉(zhuǎn)換電路88提供的圖像A'相加，并輸出所獲得的圖像到加法器電路15作為預(yù)測(cè)圖像。最后從加法器電路89輸出的預(yù)測(cè)圖像S(I，J)由如下公式(9)表示。S(I,J) =A' (I，J)+Z(I，J) · · · (9)用這樣的方式，根據(jù)濾波預(yù)測(cè)模式，表示高頻分量并通過上轉(zhuǎn)換基層中的圖像而產(chǎn)生的圖像與通過上轉(zhuǎn)換運(yùn)動(dòng)補(bǔ)償圖像MCO而獲得的圖像相加。由此，產(chǎn)生預(yù)測(cè)圖像。通過以如上的濾波預(yù)測(cè)模式產(chǎn)生預(yù)測(cè)圖像，解碼設(shè)備1可以獲得包括比通過上轉(zhuǎn)換基層中的當(dāng)前幀的圖像而獲得的上轉(zhuǎn)換預(yù)測(cè)中的預(yù)測(cè)圖像更多高頻分量的預(yù)測(cè)圖像。此外，因?yàn)楫?dāng)從多個(gè)運(yùn)動(dòng)補(bǔ)償圖像產(chǎn)生預(yù)測(cè)圖像時(shí)以如上所述的方式執(zhí)行濾波，所以解碼設(shè)備1可以獲得包括比簡(jiǎn)單地將多個(gè)運(yùn)動(dòng)補(bǔ)償圖像的各個(gè)像素的平均值作為每一像素值的預(yù)測(cè)圖像更多高頻分量的預(yù)測(cè)圖像。此外，要參考的圖像的分辨率小于用于其中通過參考增強(qiáng)層中的幀來產(chǎn)生預(yù)測(cè)圖像的幀間預(yù)測(cè)的圖像的分辨率。因此，不需要在幀存儲(chǔ)器19中保存增強(qiáng)層中的高分辨率圖像或者從幀存儲(chǔ)器19讀取它們。此外，例如，就像運(yùn)動(dòng)矢量，在增強(qiáng)層的解碼時(shí)可以使用在基層的解碼時(shí)的信息。因此，可以減少用于壓縮圖像信息的代碼量。就是說，解碼設(shè)備1可以改善壓縮效率。用這樣的方式，解碼設(shè)備1可以改善編碼效率同時(shí)防止負(fù)荷增加。[解碼處理的流程的解釋]接下來，將解釋具有上述配置的解碼設(shè)備1的處理。首先，將參考圖7中的流程圖解釋用于增強(qiáng)層的解碼處理的流程的示例。與用于基層的解碼處理的情況類似，基本上使用符合H. 264標(biāo)準(zhǔn)的方法來執(zhí)行用于增強(qiáng)層的解碼。在這點(diǎn)上，用于增強(qiáng)層的解碼處理與用于基層的解碼處理或者H. 264標(biāo)準(zhǔn)的很大不同在于，存在其中基層中的圖像同時(shí)用于產(chǎn)生預(yù)測(cè)圖像的模式。此外，在應(yīng)用本發(fā)明的用于增強(qiáng)層的解碼處理的情況下，添加使用時(shí)間上與當(dāng)前幀同時(shí)或者與當(dāng)前幀不同時(shí)間的基層中的多個(gè)圖像用于增強(qiáng)層的解碼的功能。例如，當(dāng)由無損解碼電路12從在存儲(chǔ)緩沖器11中存儲(chǔ)的信息讀取比如16X 16像素的宏塊的某個(gè)大小的圖像時(shí)開始圖9中的處理。與另一步驟的處理并行地或通過重新安排步驟來適當(dāng)?shù)貓?zhí)行圖9中每個(gè)步驟的處理。這類似地適用于如下所述的每個(gè)流程圖中每個(gè)步驟的處理。在步驟Si，無損解碼電路12關(guān)于從存儲(chǔ)緩沖器11讀取的圖像開始無損解碼處理。 無損解碼處理的細(xì)節(jié)將如下所述。無損解碼電路12將使用無損解碼處理產(chǎn)生的已量化變換系數(shù)輸出到反量化電路13。此外，無損解碼電路12在要解碼的圖像是幀內(nèi)編碼圖像的情況下輸出幀內(nèi)預(yù)測(cè)模式信息到幀內(nèi)預(yù)測(cè)電路22，并在無損解碼處理中圖像是幀間編碼圖像的情況下輸出運(yùn)動(dòng)矢量和標(biāo)識(shí)標(biāo)記到運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21。在步驟S2，反量化電路13使用與在編碼側(cè)使用的量化方案對(duì)應(yīng)的方案執(zhí)行反量化，并輸出變換系數(shù)到逆正交變換電路14。在步驟S3，逆正交變換電路14關(guān)于從反量化電路13提供的變換系數(shù)執(zhí)行逆正交變換，并輸出所獲得的圖像到加法器電路15。在步驟S4，加法器電路15組合從逆正交變換電路14提供的解碼圖像和從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21或者幀內(nèi)預(yù)測(cè)電路22提供的預(yù)測(cè)圖像，并輸出合成圖像到解塊濾波器16。 在步驟S5，解塊濾波器16執(zhí)行濾波以除去合成圖像中包括的塊噪聲，并輸出已經(jīng)從其除去塊噪聲的圖像。在步驟S6，幀存儲(chǔ)器19臨時(shí)地存儲(chǔ)從解塊濾波器16提供的圖像。此外，此時(shí)，還在重排緩沖器17中保持圖像。在步驟S7，控制電路31判斷是否已經(jīng)關(guān)于一整個(gè)幀中的宏塊執(zhí)行了前述處理。在判斷還沒有執(zhí)行處理的情況下，關(guān)注另一宏塊，且重復(fù)地執(zhí)行從步驟Sl開始的處理。此外，在步驟S7判斷已經(jīng)關(guān)于一整個(gè)幀中的宏塊執(zhí)行處理的情況下，處理進(jìn)行到步驟S8。在步驟S8，重排緩沖器17根據(jù)控制電路31的控制輸出產(chǎn)生的幀到D/A轉(zhuǎn)換器電路18。在步驟S9，D/A轉(zhuǎn)換器電路18關(guān)于從重排緩沖器17提供的幀執(zhí)行D/A轉(zhuǎn)換，并輸出模擬信號(hào)到外部。關(guān)于每個(gè)幀執(zhí)行前述處理。接下來，將參考圖8中的流程圖解釋無損解碼處理的流程的示例。當(dāng)開始無損解碼處理時(shí)，在步驟S21，預(yù)測(cè)判定電路41參考從存儲(chǔ)緩沖器11提供的壓縮圖像信息的報(bào)頭。在步驟S22，預(yù)測(cè)判定電路41基于報(bào)頭中包括的指示由編碼設(shè)備指定的預(yù)測(cè)模式的信息來判斷是否要執(zhí)行幀內(nèi)預(yù)測(cè)。在已經(jīng)由編碼設(shè)備指定幀內(nèi)預(yù)測(cè)模式的情況下，處理進(jìn)行到步驟S23。在步驟S23，幀內(nèi)預(yù)測(cè)電路22執(zhí)行幀內(nèi)預(yù)測(cè)以產(chǎn)生預(yù)測(cè)圖像，并將預(yù)測(cè)圖像提供到加法器電路15。預(yù)測(cè)圖像與在圖7中的步驟S4從逆正交變換電路14提供的解碼圖像組
I=I O當(dāng)完成步驟S23的處理時(shí)，處理進(jìn)行到步驟S29。此外，如果在步驟S22判斷不執(zhí)行幀內(nèi)預(yù)測(cè)，則處理進(jìn)行到步驟S24。在步驟S24，預(yù)測(cè)判定電路41基于報(bào)頭中包括的指示由編碼設(shè)備指定的預(yù)測(cè)模式的信息來判斷是否要執(zhí)行上轉(zhuǎn)換預(yù)測(cè)。在已經(jīng)由編碼設(shè)備指定上轉(zhuǎn)換預(yù)測(cè)模式的情況下， 處理進(jìn)行到步驟S25。在步驟S25，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21的上轉(zhuǎn)換預(yù)測(cè)電路63執(zhí)行上轉(zhuǎn)換預(yù)測(cè)以產(chǎn)生預(yù)測(cè)圖像，并提供預(yù)測(cè)圖像到加法器電路15。預(yù)測(cè)圖像與在圖7中的步驟S4從逆正交變換電路14提供的解碼圖像組合。當(dāng)完成步驟S25的處理時(shí)，處理進(jìn)行到步驟S29。此外，在步驟SM判斷不執(zhí)行上轉(zhuǎn)換預(yù)測(cè)的情況下，處理進(jìn)行到步驟S26。在步驟S26，預(yù)測(cè)判定電路41基于報(bào)頭中包括的指示由編碼設(shè)備指定的預(yù)測(cè)模式的信息來判斷是否要執(zhí)行幀間預(yù)測(cè)。在已經(jīng)由編碼設(shè)備指定幀間預(yù)測(cè)模式的情況下，處理進(jìn)行到步驟S27。在步驟S27，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21的單向預(yù)測(cè)電路61或者雙向預(yù)測(cè)電路62執(zhí)行幀間預(yù)測(cè)(單向預(yù)測(cè)或者雙向預(yù)測(cè))以產(chǎn)生預(yù)測(cè)圖像，并提供預(yù)測(cè)圖像到加法器電路15。 預(yù)測(cè)圖像與在圖7中的步驟S4從逆正交變換電路14提供的解碼圖像組合。當(dāng)完成步驟S27的處理時(shí)，處理進(jìn)行到步驟S29。此外，在步驟S^判斷已經(jīng)由編碼設(shè)備指定濾波預(yù)測(cè)模式且不執(zhí)行幀間預(yù)測(cè)的情況下，處理進(jìn)行到步驟S28。在步驟S28，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路21的濾波預(yù)測(cè)電路64基于報(bào)頭中包括的指示濾波預(yù)測(cè)模式的信息而執(zhí)行濾波預(yù)測(cè)以產(chǎn)生預(yù)測(cè)圖像，并提供預(yù)測(cè)圖像到加法器電路15。預(yù)測(cè)圖像與在圖7中的步驟S4從逆正交變換電路14提供的解碼圖像組合。當(dāng)完成步驟S^ 的處理時(shí)，處理進(jìn)行到步驟S29。在步驟S29，解碼處理電路42解碼壓縮圖像信息的殘差信號(hào)，并輸出已量化變換系數(shù)到反量化電路13。當(dāng)完成步驟幻9的處理時(shí)，無損解碼處理結(jié)束。然后，處理返回到圖 7中的步驟Si，且執(zhí)行步驟S2之后的處理。注意，已經(jīng)解釋了基于要在步驟S21參考的壓縮圖像信息的報(bào)頭中包括的信息選擇預(yù)測(cè)模式。但是，這不是限制性的，且預(yù)測(cè)判定電路41可以配置為能夠例如通過分析壓縮圖像信息的位流來選擇適當(dāng)?shù)念A(yù)測(cè)模式。在這種情況下，在步驟S21，代替參考報(bào)頭，預(yù)測(cè)判定電路41分析壓縮圖像信息，并在步驟S22和后續(xù)步驟的處理中基于分析結(jié)果選擇預(yù)測(cè)模式。接下來，將參考圖9中的流程圖解釋圖8中的步驟S28的處理中執(zhí)行的濾波預(yù)測(cè)處理的流程的示例。當(dāng)開始濾波預(yù)測(cè)處理時(shí)，在步驟S41，提取電路71從當(dāng)前幀或者基層中的基準(zhǔn)幀提取運(yùn)動(dòng)補(bǔ)償圖像。在步驟S42，差別計(jì)算電路81計(jì)算運(yùn)動(dòng)補(bǔ)償圖像之間的差別。在步驟 S43，上轉(zhuǎn)換電路82上變換在步驟S42計(jì)算的運(yùn)動(dòng)補(bǔ)償圖像之間的差別。在步驟S44，低通濾波器電路83將低通濾波器應(yīng)用于在步驟S43上變換的差別。在步驟S45，增益調(diào)節(jié)電路84將在步驟S44的處理中的低通濾波器的輸出乘以系數(shù)α以執(zhí)行增益調(diào)節(jié)。在步驟S46，高通濾波器電路85將高通濾波器應(yīng)用于在步驟S44的處理中低通濾波器的輸出。在步驟S47，增益調(diào)節(jié)電路86將在步驟S46的處理中高通濾波器的輸出乘以系數(shù)β以執(zhí)行增益調(diào)節(jié)。在步驟S48，加法器電路87將在步驟S45的處理中低通濾波器的已調(diào)節(jié)增益的輸出與在步驟S47的處理中高通濾波器的已調(diào)節(jié)增益的輸出相加以確定高頻分量。在步驟S49，上轉(zhuǎn)換電路88上變換從基層提取的運(yùn)動(dòng)補(bǔ)償圖像MCO。在步驟S50， 加法器電路89將在步驟S48確定的高頻分量與在步驟S49上變換的運(yùn)動(dòng)補(bǔ)償圖像相加以產(chǎn)生預(yù)測(cè)圖像。加法器電路89提供所產(chǎn)生的預(yù)測(cè)圖像到加法器電路15。當(dāng)完成步驟S50的處理時(shí)，濾波預(yù)測(cè)處理結(jié)束。然后，處理返回到圖8中的步驟 S28，且執(zhí)行步驟S^之后的處理。如上，使用通過濾波預(yù)測(cè)產(chǎn)生的預(yù)測(cè)圖像執(zhí)行解碼，因此可以獲得高清晰度的解碼圖像而不增加處理負(fù)荷。就是說，解碼設(shè)備1可以改善編碼效率同時(shí)防止負(fù)荷增加。注意，已經(jīng)解釋了由同一解碼設(shè)備1執(zhí)行基層的解碼和增強(qiáng)層的解碼。但是，這不是限制性的，且可以由不同的解碼設(shè)備1執(zhí)行兩個(gè)層的解碼。在這點(diǎn)上，同樣在這種情況下，幀存儲(chǔ)器19對(duì)全部解碼設(shè)備是公共的，且基層中的幀可以配置為在增強(qiáng)層的解碼時(shí)讀取。<2.第二實(shí)施例〉[編碼設(shè)備的配置]圖10是圖示應(yīng)用本發(fā)明的編碼設(shè)備的主要部分的示例配置的框圖。編碼設(shè)備101
18是與圖3中的解碼設(shè)備1對(duì)應(yīng)的編碼設(shè)備。就是說，將通過由編碼設(shè)備101執(zhí)行編碼而獲得的壓縮圖像信息輸入到圖3中的解碼設(shè)備1。編碼設(shè)備101包括A/D轉(zhuǎn)換器電路111、重排緩沖器112、加法器電路113、正交變換電路114、量化電路115、無損編碼電路116和存儲(chǔ)緩沖器117。編碼設(shè)備101進(jìn)一步包括比率控制電路118、反量化電路119、逆正交變換電路120、解塊濾波器121、幀存儲(chǔ)器122和模式確定電路123。此外，編碼設(shè)備101包括開關(guān)124、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125、幀內(nèi)預(yù)測(cè)電路126、開關(guān)127和控制電路131。圖像信息被分為兩層(或者多于兩層的多層)，即，低分辨率基層和高分辨率增強(qiáng)層，且低分辨率的基層中每幀的圖像信息被較早地提供到編碼設(shè)備101并編碼。以與H. 264 標(biāo)準(zhǔn)的情況下的方式類似的方式執(zhí)行基層的編碼。當(dāng)完成基層的編碼時(shí)，由編碼設(shè)備101 編碼增強(qiáng)層中的圖像信息。將在下文中解釋增強(qiáng)層的編碼。A/D轉(zhuǎn)換器電路111關(guān)于輸入信號(hào)執(zhí)行A/D轉(zhuǎn)換，并輸出圖像到重排緩沖器112。 重排緩沖器112根據(jù)壓縮圖像信息的GOP (畫面組)結(jié)構(gòu)重排幀，并輸出比如宏塊之類的某個(gè)單元的圖像。從重排緩沖器112輸出的圖像被提供到加法器電路113、模式確定電路123、 運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125和幀內(nèi)預(yù)測(cè)電路126。加法器電路113確定從重排緩沖器112提供的圖像和由運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125 或者幀內(nèi)預(yù)測(cè)電路126產(chǎn)生并經(jīng)由開關(guān)127提供的預(yù)測(cè)圖像之間的差別，并輸出殘差到正交變換電路114。預(yù)測(cè)圖像越接近原始圖像且這里確定的殘差的數(shù)量越小，則要分配給殘差的代碼量越小，因此可以說編碼效率越高。正交變換電路114關(guān)于從加法器電路113提供的殘差執(zhí)行正交變換，比如離散余弦變換或者Karhimen-Lc^ve變換，并將通過執(zhí)行正交變換獲得的變換系數(shù)輸出到量化電路 115。量化電路115根據(jù)比率控制電路118的控制來量化從正交變換電路114提供的變換系數(shù)，并輸出已量化變換系數(shù)。由量化電路115量化的變換系數(shù)被提供到無損編碼電路 116和反量化電路119。無損編碼電路116通過執(zhí)行比如可變長(zhǎng)度編碼或者算術(shù)編碼之類的無損編碼，來壓縮從量化電路115提供的變換系數(shù)，并輸出信息到存儲(chǔ)緩沖器117。此外，無損編碼電路116根據(jù)從模式確定電路123提供的信息設(shè)置標(biāo)識(shí)標(biāo)記的值， 并在圖像的報(bào)頭中描述標(biāo)識(shí)標(biāo)記。如上所述，解碼設(shè)備1基于由無損編碼電路116描述的標(biāo)識(shí)標(biāo)記來確定預(yù)測(cè)模式。無損編碼電路116還在圖像的報(bào)頭中描述從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125或者幀內(nèi)預(yù)測(cè)電路1 提供的信息。從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125提供當(dāng)執(zhí)行幀間預(yù)測(cè)時(shí)檢測(cè)的運(yùn)動(dòng)矢量等，且從幀內(nèi)預(yù)測(cè)電路1 提供關(guān)于應(yīng)用的幀內(nèi)預(yù)測(cè)模式的信息。存儲(chǔ)緩沖器117臨時(shí)地存儲(chǔ)從無損編碼電路116提供的信息，并在某個(gè)定時(shí)將其作為壓縮圖像信息輸出。存儲(chǔ)緩沖器117輸出關(guān)于產(chǎn)生的代碼量的信息到比率控制電路 118。比率控制電路118基于從存儲(chǔ)緩沖器117輸出的代碼量計(jì)算量化比例，并控制量化電路115以使得可以以計(jì)算的量化比例來執(zhí)行量化。反量化電路119關(guān)于由量化電路115量化的變換系數(shù)執(zhí)行反量化，并輸出變換系數(shù)到逆正交變換電路120。逆正交變換電路120關(guān)于從反量化電路119提供的變換系數(shù)執(zhí)行逆正交變換，并輸出所獲得的圖像到解塊濾波器121。解塊濾波器121除去在本地解碼的圖像中出現(xiàn)的塊噪聲，并將已經(jīng)從其除去塊噪聲的圖像輸出該幀存儲(chǔ)器122。幀存儲(chǔ)器122存儲(chǔ)從解塊濾波器121提供的圖像。存儲(chǔ)在幀存儲(chǔ)器122中的圖像由模式確定電路123適當(dāng)?shù)刈x取。模式確定電路123基于存儲(chǔ)在幀存儲(chǔ)器122中的圖像和從重排緩沖器112提供的原始圖像，確定要執(zhí)行幀內(nèi)編碼或者要執(zhí)行幀間編碼。此外，在判斷要執(zhí)行幀間編碼的情況下，模式確定電路123確定單向預(yù)測(cè)模式、雙向預(yù)測(cè)模式、上轉(zhuǎn)換預(yù)測(cè)模式和濾波預(yù)測(cè)模式當(dāng)中的一個(gè)模式。模式確定電路123將指示確定結(jié)果的信息作為模式信息輸出到無損編碼電路116。在判斷要執(zhí)行幀間編碼的情況下，模式確定電路123將存儲(chǔ)在幀存儲(chǔ)器122中并通過本地解碼獲得的幀經(jīng)由開關(guān)1 輸出到運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125。此外，在判斷要執(zhí)行幀內(nèi)編碼的情況下，模式確定電路123將存儲(chǔ)在幀存儲(chǔ)器122 中并通過本地解碼而獲得的幀輸出到幀內(nèi)預(yù)測(cè)電路1 。開關(guān)IM在要執(zhí)行幀間編碼的情況下連接到端子all，并在要執(zhí)行幀內(nèi)編碼的情況下連接到端子bll。開關(guān)124的切換例如由控制電路131控制。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125基于從重排緩沖器112提供的原始圖像和從幀存儲(chǔ)器 122讀取的基準(zhǔn)幀來檢測(cè)運(yùn)動(dòng)矢量，并輸出檢測(cè)到的運(yùn)動(dòng)矢量到無損編碼電路116。此外， 運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125通過使用檢測(cè)到的運(yùn)動(dòng)矢量和基準(zhǔn)幀執(zhí)行運(yùn)動(dòng)補(bǔ)償來產(chǎn)生預(yù)測(cè)圖像，并經(jīng)由開關(guān)127輸出所產(chǎn)生的預(yù)測(cè)圖像到加法器電路113。幀內(nèi)預(yù)測(cè)電路1 基于從重排緩沖器112提供的原始圖像和本地解碼并存儲(chǔ)在幀存儲(chǔ)器122中的基準(zhǔn)幀來執(zhí)行幀內(nèi)預(yù)測(cè)，并產(chǎn)生預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)電路1 經(jīng)由開關(guān)127 輸出所產(chǎn)生的預(yù)測(cè)圖像到加法器電路113，并輸出幀內(nèi)預(yù)測(cè)模式信息到無損編碼電路116。開關(guān)127連接到端子al2或者端子bl2，并將由運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125或者幀內(nèi)預(yù)測(cè)電路1 產(chǎn)生的預(yù)測(cè)圖像輸出到加法器電路113?？刂齐娐?31例如通過根據(jù)由模式確定電路123確定的模式切換開關(guān)124和127 的連接來控制編碼設(shè)備101的總體操作。圖11是圖示圖10中的模式確定電路123的主要部分的示例配置的框圖。如圖11所示，模式確定電路123包括幀內(nèi)預(yù)測(cè)電路141、單向預(yù)測(cè)電路142、雙向預(yù)測(cè)電路143、上轉(zhuǎn)換預(yù)測(cè)電路144、濾波預(yù)測(cè)電路145、預(yù)測(cè)誤差計(jì)算電路146和確定電路 147。在模式確定電路123中，關(guān)于具有不同尺寸的塊執(zhí)行幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)中的每一個(gè)，并根據(jù)獲得的結(jié)果確定要執(zhí)行哪個(gè)預(yù)測(cè)模式預(yù)測(cè)。對(duì)于幀間預(yù)測(cè)，以每一預(yù)測(cè)模式 (即，單向預(yù)測(cè)模式、雙向預(yù)測(cè)模式、上轉(zhuǎn)換預(yù)測(cè)模式和濾波預(yù)測(cè)模式)執(zhí)行處理。幀內(nèi)預(yù)測(cè)電路141、單向預(yù)測(cè)電路142、雙向預(yù)測(cè)電路143、上轉(zhuǎn)換預(yù)測(cè)電路144和濾波預(yù)測(cè)電路145使用各個(gè)方法執(zhí)行預(yù)測(cè)以基于原始圖像和從幀存儲(chǔ)器122讀取的圖像產(chǎn)生預(yù)測(cè)圖像，并輸出所產(chǎn)生的預(yù)測(cè)圖像到預(yù)測(cè)誤差計(jì)算電路146。
幀內(nèi)預(yù)測(cè)電路141使用與解碼設(shè)備1的幀內(nèi)預(yù)測(cè)電路22的方法類似的方法來執(zhí)行幀內(nèi)預(yù)測(cè)。單向預(yù)測(cè)電路142檢測(cè)運(yùn)動(dòng)矢量，基于所檢測(cè)的運(yùn)動(dòng)矢量從基準(zhǔn)幀提取運(yùn)動(dòng)補(bǔ)償圖像，并使用運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行單向預(yù)測(cè)以產(chǎn)生預(yù)測(cè)圖像。就是說，單向預(yù)測(cè)電路142 基于所檢測(cè)的運(yùn)動(dòng)矢量，使用與解碼設(shè)備1的單向預(yù)測(cè)電路61的方法類似的方法產(chǎn)生預(yù)測(cè)圖像。雙向預(yù)測(cè)電路143檢測(cè)運(yùn)動(dòng)矢量，基于所檢測(cè)的運(yùn)動(dòng)矢量從基準(zhǔn)幀提取運(yùn)動(dòng)補(bǔ)償圖像，并使用運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行雙向預(yù)測(cè)以產(chǎn)生預(yù)測(cè)圖像。就是說，雙向預(yù)測(cè)電路143基于所檢測(cè)的運(yùn)動(dòng)矢量，使用與解碼設(shè)備1的雙向預(yù)測(cè)電路62的方法類似的方法產(chǎn)生預(yù)測(cè)圖像。上轉(zhuǎn)換預(yù)測(cè)電路144將在與增強(qiáng)層中當(dāng)前幀的處理目標(biāo)宏塊相同位置的基層中當(dāng)前幀的宏塊設(shè)置為運(yùn)動(dòng)補(bǔ)償圖像，并上變換運(yùn)動(dòng)補(bǔ)償圖像以產(chǎn)生增強(qiáng)層中的預(yù)測(cè)圖像。 就是說，上轉(zhuǎn)換預(yù)測(cè)電路144使用與解碼設(shè)備1的上轉(zhuǎn)換預(yù)測(cè)電路63的方法類似的方法來產(chǎn)生預(yù)測(cè)圖像。濾波預(yù)測(cè)電路145檢測(cè)基層中的運(yùn)動(dòng)矢量，基于所檢測(cè)的運(yùn)動(dòng)矢量從基準(zhǔn)幀提取基層中的運(yùn)動(dòng)補(bǔ)償圖像，并使用基層中的運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行濾波預(yù)測(cè)以產(chǎn)生預(yù)測(cè)圖像。就是說，濾波預(yù)測(cè)電路145基于所檢測(cè)的運(yùn)動(dòng)矢量，使用與解碼設(shè)備1的濾波預(yù)測(cè)電路145的方法類似的方法產(chǎn)生預(yù)測(cè)圖像。注意，幀內(nèi)預(yù)測(cè)電路141到濾波預(yù)測(cè)電路145例如以4X4像素的塊、8X8像素的塊和16X16像素的塊為單位檢測(cè)運(yùn)動(dòng)矢量或者執(zhí)行預(yù)測(cè)。用作處理單位的塊的大小是任意的。此外，要關(guān)于其執(zhí)行預(yù)測(cè)的塊的類型的數(shù)目也是任意的。幀內(nèi)預(yù)測(cè)電路141到濾波預(yù)測(cè)電路145對(duì)于每個(gè)塊產(chǎn)生預(yù)測(cè)圖像，并輸出所產(chǎn)生的各個(gè)預(yù)測(cè)圖像到預(yù)測(cè)誤差計(jì)算電路 146。將從重排緩沖器112提供的原始圖像輸入到幀內(nèi)預(yù)測(cè)電路141到濾波預(yù)測(cè)電路 145并輸入到預(yù)測(cè)誤差計(jì)算電路146。預(yù)測(cè)誤差計(jì)算電路146確定從幀內(nèi)預(yù)測(cè)電路141中的各個(gè)電路提供的每一預(yù)測(cè)圖像和原始圖像之間的差別，并輸出表示所確定的差別的殘差信號(hào)到確定電路147。類似地， 預(yù)測(cè)誤差計(jì)算電路146確定從單向預(yù)測(cè)電路142、雙向預(yù)測(cè)電路143、上轉(zhuǎn)換預(yù)測(cè)電路144 和濾波預(yù)測(cè)電路145提供的每一預(yù)測(cè)圖像和原始圖像之間的差別，并輸出表示所確定的差別的殘差信號(hào)到確定電路147。確定電路147測(cè)量從預(yù)測(cè)誤差計(jì)算電路146提供的殘差信號(hào)的強(qiáng)度，并將已經(jīng)用于產(chǎn)生具有與原始圖像小的差別的預(yù)測(cè)圖像的預(yù)測(cè)方法確定為用于產(chǎn)生要用于編碼的預(yù)測(cè)圖像的預(yù)測(cè)方法。確定電路147輸出表示確定結(jié)果的信息到無損編碼電路116作為模式信息。模式信息還包括表示要用作處理單位的塊的大小的信息，等等。此外，在確定要通過幀間預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像的情況下(在確定要執(zhí)行幀間編碼的情況下)，確定電路147與模式信息一起將從幀存儲(chǔ)器122讀取的基準(zhǔn)幀輸出到運(yùn)動(dòng)預(yù)測(cè)/ 補(bǔ)償電路125。在確定要通過幀內(nèi)預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像的情況下(在確定要執(zhí)行幀內(nèi)編碼的情況下)，確定電路147將從幀存儲(chǔ)器122讀取的用于幀內(nèi)預(yù)測(cè)的圖像與模式信息一起輸出到幀內(nèi)預(yù)測(cè)電路126。圖12是圖示圖10中的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125的主要部分的示例配置的框圖。
如圖12所示，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125包括運(yùn)動(dòng)矢量檢測(cè)電路151、單向預(yù)測(cè)電路 152、雙向預(yù)測(cè)電路153、上轉(zhuǎn)換預(yù)測(cè)電路巧4和濾波電路155。除了提供運(yùn)動(dòng)矢量檢測(cè)電路 151代替預(yù)測(cè)選擇電路51之外，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125具有與如圖5所示的運(yùn)動(dòng)預(yù)測(cè)/ 補(bǔ)償電路21類似的配置。運(yùn)動(dòng)矢量檢測(cè)電路151通過基于從重排緩沖器112提供的原始圖像和從模式確定電路123提供的基準(zhǔn)幀執(zhí)行塊匹配等來檢測(cè)運(yùn)動(dòng)矢量。運(yùn)動(dòng)矢量檢測(cè)電路151參考從模式確定電路123提供的模式信息，并輸出基準(zhǔn)幀到單向預(yù)測(cè)電路152到濾波預(yù)測(cè)電路155之一。此外，運(yùn)動(dòng)矢量檢測(cè)電路151還適當(dāng)?shù)貙⑦\(yùn)動(dòng)矢量輸出到基準(zhǔn)幀要輸出的目的地。運(yùn)動(dòng)矢量檢測(cè)電路151在已經(jīng)選擇單向預(yù)測(cè)的情況下，將運(yùn)動(dòng)矢量與基準(zhǔn)幀一起輸出到單向預(yù)測(cè)電路152，并在已經(jīng)選擇要執(zhí)行雙向預(yù)測(cè)的情況下將這些信息輸出到雙向預(yù)測(cè)電路153。此外，在已經(jīng)選擇上轉(zhuǎn)換預(yù)測(cè)的情況下，運(yùn)動(dòng)矢量檢測(cè)電路151將作為基準(zhǔn)幀的基層中當(dāng)前幀的圖像輸出到上轉(zhuǎn)換預(yù)測(cè)電路154。此外，在已經(jīng)選擇濾波預(yù)測(cè)的情況下，運(yùn)動(dòng)矢量檢測(cè)電路151將運(yùn)動(dòng)矢量與基層中的基準(zhǔn)幀一起輸出到濾波預(yù)測(cè)電路155。單向預(yù)測(cè)電路152通過與圖5中的單向預(yù)測(cè)電路61類似地執(zhí)行單向預(yù)測(cè)來產(chǎn)生預(yù)測(cè)圖像。單向預(yù)測(cè)電路152將所產(chǎn)生的預(yù)測(cè)圖像輸出到加法器電路113。雙向預(yù)測(cè)電路 153通過與圖5中的雙向預(yù)測(cè)電路62類似地執(zhí)行雙向預(yù)測(cè)來產(chǎn)生預(yù)測(cè)圖像。雙向預(yù)測(cè)電路 153將所產(chǎn)生的預(yù)測(cè)圖像輸出到加法器電路113。上轉(zhuǎn)換預(yù)測(cè)電路巧4通過與圖5中的上轉(zhuǎn)換預(yù)測(cè)電路63類似地執(zhí)行上轉(zhuǎn)換預(yù)測(cè)來產(chǎn)生預(yù)測(cè)圖像。上轉(zhuǎn)換預(yù)測(cè)電路巧4將所產(chǎn)生的預(yù)測(cè)圖像輸出到加法器電路113。濾波預(yù)測(cè)電路155通過與圖5中的濾波預(yù)測(cè)電路64類似地從基層中的多個(gè)基準(zhǔn)幀中的每一個(gè)提取運(yùn)動(dòng)補(bǔ)償圖像，并關(guān)于多個(gè)提取的運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行涉及上轉(zhuǎn)換的濾波預(yù)測(cè)來產(chǎn)生預(yù)測(cè)圖像。濾波預(yù)測(cè)電路155將所產(chǎn)生的預(yù)測(cè)圖像輸出到加法器電路113。注意，濾波預(yù)測(cè)電路巧5具有與如圖6所示的濾波預(yù)測(cè)電路64的配置類似的配置。在下文中， 將適當(dāng)?shù)赝ㄟ^參考如圖6所示的濾波預(yù)測(cè)電路64的配置來解釋濾波預(yù)測(cè)電路155的配置。通過濾波預(yù)測(cè)產(chǎn)生的預(yù)測(cè)圖像可以是包括比通過單向預(yù)測(cè)、雙向預(yù)測(cè)或者上轉(zhuǎn)換預(yù)測(cè)產(chǎn)生的預(yù)測(cè)圖像更多高頻分量并具有與原始圖像小的差別的圖像。因此，濾波預(yù)測(cè)僅需要將少量代碼分配給殘差，由此使得可以增加編碼效率。此外，在濾波預(yù)測(cè)中，基準(zhǔn)幀的分辨率比其中參考增強(qiáng)層中的幀的單向預(yù)測(cè)或者雙向預(yù)測(cè)的情況下的分辨率更低，造成比如在幀存儲(chǔ)器122中保存基準(zhǔn)幀和從幀存儲(chǔ)器122讀取基準(zhǔn)幀之類的處理的小的負(fù)荷。就是說，通過使用濾波預(yù)測(cè)，編碼設(shè)備101可以改善編碼效率同時(shí)防止編碼或者解碼的負(fù)荷增加。此外，可以使用至少兩個(gè)基準(zhǔn)幀執(zhí)行濾波預(yù)測(cè)。因此，使得這種編碼效率的增加是可行的而不增加處理的復(fù)雜性。例如，還可以通過增加要在幀間預(yù)測(cè)中使用的基準(zhǔn)幀的數(shù)目以產(chǎn)生高精度預(yù)測(cè)圖像并通過使用該預(yù)測(cè)圖像，來減少與原始圖像的殘差并增加編碼效率。但是，在這種情況下，使用的基準(zhǔn)幀的數(shù)目增加，且處理的復(fù)雜性增加。注意，當(dāng)選擇預(yù)測(cè)方法時(shí)，可以通過考慮用于預(yù)測(cè)所需的比如運(yùn)動(dòng)矢量的信息的代碼量和編碼方式，并通過將與代碼量對(duì)應(yīng)的權(quán)重加到殘差信號(hào)的強(qiáng)度來選擇最佳預(yù)測(cè)方法。這使得可以進(jìn)一步改進(jìn)編碼效率。此外，對(duì)于簡(jiǎn)化的編碼處理，可以利用在時(shí)間和空間方向上的輸入原始圖像的特征值來自適應(yīng)地選擇預(yù)測(cè)方法。
[編碼處理的流程的說明1接下來，將解釋具有上述配置的編碼設(shè)備101的處理。將參考圖13中的流程圖解釋由編碼設(shè)備101執(zhí)行的用于增強(qiáng)層的編碼處理。當(dāng)從重排緩沖器112輸出比如宏塊的某個(gè)單元的圖像時(shí)開始該處理。注意，如上所述，用于基層的編碼處理類似于基于H. 264要求的方法且因此省略其說明。在步驟S101，加法器電路113確定從重排緩沖器112提供的圖像和由運(yùn)動(dòng)預(yù)測(cè)/ 補(bǔ)償電路125或者幀內(nèi)預(yù)測(cè)電路1 產(chǎn)生的預(yù)測(cè)圖像之間的差別，并輸出殘差到正交變換電路114。在步驟S102，正交變換電路114關(guān)于從加法器電路113提供的殘差執(zhí)行正交變換， 并輸出變換系數(shù)到量化電路115。在步驟S103，量化電路115量化從正交變換電路114提供的變換系數(shù)，并輸出已量化變換系數(shù)。在步驟S104，反量化電路119關(guān)于由量化電路115量化的變換系數(shù)執(zhí)行反量化，并輸出變換系數(shù)到逆正交變換電路120。在步驟S105，逆正交變換電路120關(guān)于從反量化電路119提供的變換系數(shù)執(zhí)行逆正交變換，并輸出所獲得的圖像到解塊濾波器121。在步驟S106，解塊濾波器121通過執(zhí)行濾波除去塊噪聲，并輸出已經(jīng)從其除去塊噪聲的圖像到幀存儲(chǔ)器122。在步驟S107，幀存儲(chǔ)器122存儲(chǔ)從解塊濾波器121提供的圖像。在步驟S108，模式確定電路123執(zhí)行模式確定處理。通過該模式確定處理，確定要以哪個(gè)預(yù)測(cè)模式產(chǎn)生預(yù)測(cè)圖像。模式確定處理的細(xì)節(jié)將如下所述。在步驟S109，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125或者幀內(nèi)預(yù)測(cè)電路126以在步驟S108確定的模式產(chǎn)生預(yù)測(cè)圖像。在步驟SlOl的處理中使用該預(yù)測(cè)圖像。在步驟S110，無損編碼電路116壓縮從量化電路115提供的變換系數(shù)，并將壓縮的變換系數(shù)輸出到存儲(chǔ)緩沖器117。此外，無損編碼電路116根據(jù)從模式確定電路123提供的信息，在圖像的報(bào)頭中描述標(biāo)識(shí)標(biāo)記或者在圖像的報(bào)頭中描述從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路 125提供的運(yùn)動(dòng)矢量。在步驟S111，存儲(chǔ)緩沖器117臨時(shí)存儲(chǔ)從無損編碼電路116提供的信息。在步驟S112，控制電路31判斷是否已經(jīng)關(guān)于一整個(gè)幀中的宏塊執(zhí)行了前述處理。 在判斷還沒有執(zhí)行處理的情況下，關(guān)注另一宏塊，且重復(fù)地執(zhí)行從步驟SlOl開始的處理。相對(duì)地，在步驟S112判斷已經(jīng)關(guān)于一整個(gè)幀中的宏塊執(zhí)行了處理的情況下，然后在步驟S113，存儲(chǔ)緩沖器117根據(jù)控制電路131的控制輸出壓縮圖像信息。關(guān)于每個(gè)幀執(zhí)行上述處理。接下來，將參考圖14的流程圖解釋在圖13的步驟S108中執(zhí)行的模式確定處理。在步驟S131，幀內(nèi)預(yù)測(cè)電路141到濾波預(yù)測(cè)電路145中的每一個(gè)關(guān)于具有不同尺寸的塊執(zhí)行幀內(nèi)預(yù)測(cè)或者幀間預(yù)測(cè)，并產(chǎn)生預(yù)測(cè)圖像。將所產(chǎn)生的預(yù)測(cè)圖像提供到預(yù)測(cè)誤差計(jì)算電路146。在步驟S132，預(yù)測(cè)誤差計(jì)算電路146確定原始圖像和從幀內(nèi)預(yù)測(cè)電路141到濾波預(yù)測(cè)電路145提供的每一預(yù)測(cè)圖像之間的差別。預(yù)測(cè)誤差計(jì)算電路146輸出殘差信號(hào)到確定電路147。在步驟S133，確定電路147基于從預(yù)測(cè)誤差計(jì)算電路146提供的殘差信號(hào)的強(qiáng)度， 確定用于產(chǎn)生要提供到加法器電路113的預(yù)測(cè)圖像的預(yù)測(cè)方法。在步驟S134，確定電路147輸出作為關(guān)于確定的預(yù)測(cè)方法的模式信息到無損編碼電路116。此后，處理返回到圖13中的步驟S108，并執(zhí)行后續(xù)處理。接下來，將參考圖15中的流程圖解釋用于通過執(zhí)行濾波預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像的濾波預(yù)測(cè)處理的流程的示例，作為在圖13中的步驟S109執(zhí)行的用于產(chǎn)生預(yù)測(cè)圖像的處理的例子。如上所述，在圖13中的步驟S109，使用在步驟S108的模式確定處理中確定的模式產(chǎn)生預(yù)測(cè)圖像。因此，在步驟S108確定濾波預(yù)測(cè)模式的情況下，在步驟S109，執(zhí)行如圖15 所示的濾波預(yù)測(cè)處理。當(dāng)開始濾波預(yù)測(cè)處理時(shí)，在步驟S151，運(yùn)動(dòng)矢量檢測(cè)電路151基于原始圖像和基準(zhǔn)幀來檢測(cè)運(yùn)動(dòng)矢量。當(dāng)檢測(cè)到運(yùn)動(dòng)矢量時(shí)，分別以類似于圖9中的步驟S41到S50的處理的方式，使用所檢測(cè)的運(yùn)動(dòng)矢量執(zhí)行步驟S152到S161的處理。就是說，基于運(yùn)動(dòng)矢量以基層中的基準(zhǔn)幀產(chǎn)生運(yùn)動(dòng)補(bǔ)償圖像，并關(guān)于運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行涉及上轉(zhuǎn)換的濾波處理以產(chǎn)生增強(qiáng)層中的預(yù)測(cè)圖像。當(dāng)完成步驟S161的處理時(shí)，濾波預(yù)測(cè)處理結(jié)束。然后，處理返回到圖13中的步驟 S109，且執(zhí)行步驟SllO之后的處理。注意，在步驟S108的處理中選擇不同模式的情況下，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125或者幀內(nèi)預(yù)測(cè)電路126使用所選的不同模式產(chǎn)生預(yù)測(cè)圖像。根據(jù)H. 264/SVC標(biāo)準(zhǔn)執(zhí)行上述處理，并因此省略其說明。如上所述，通過更有效地利用運(yùn)動(dòng)圖像中的信號(hào)序列中包括的時(shí)間相關(guān)性來執(zhí)行考慮空間可縮放性的編碼，因此例如使得能夠改善編碼效率同時(shí)防止比如編碼和解碼之類的處理的負(fù)荷增加。<3.第三實(shí)施例>[解碼處理的概述]圖16是解釋應(yīng)用本發(fā)明的解碼處理的概述的另一示例的圖。如圖16所示，基準(zhǔn)幀的數(shù)目可以是三個(gè)或更多。在圖16中的示例中，關(guān)于當(dāng)前幀的時(shí)間上在前的幀、進(jìn)一步在前的幀和更進(jìn)一步在前的幀(即，三個(gè)幀(RefO、Refl、Ref2))被設(shè)置為基準(zhǔn)幀。關(guān)于當(dāng)前幀的在前幀被設(shè)置為基準(zhǔn)幀RefO，關(guān)于基準(zhǔn)幀RefO的在前幀被設(shè)置為基準(zhǔn)幀Ref 1，且關(guān)于基準(zhǔn)幀Refl的在前幀被設(shè)置為基準(zhǔn)幀Ref2。[濾波電路的配置]圖17是圖示在這種參考三個(gè)幀的情況下圖6中的濾波電路的示例配置的框圖。如圖17所示，濾波電路211包括濾波電路221和濾波電路222。濾波電路221和濾波電路222中的每一個(gè)具有如圖6所示的配置。也就是說，濾波電路211被配置以通過級(jí)聯(lián)連接用于兩輸入和一輸出設(shè)計(jì)的濾波電路72，而作為三輸入和一輸出電路工作。注意，此時(shí)，提取電路71從三個(gè)基準(zhǔn)幀(RefO、Ref 1、Ref^)中的每一個(gè)提取運(yùn)動(dòng)補(bǔ)償圖像。就是說，例如，提取電路71從基準(zhǔn)幀RefO提取運(yùn)動(dòng)補(bǔ)償圖像MC0。此外，例如，提取電路71從基準(zhǔn)幀Refl提取運(yùn)動(dòng)補(bǔ)償圖像MC1。此外，例如，提取電路71從基準(zhǔn)幀Ref2 提取運(yùn)動(dòng)補(bǔ)償圖像MC2。運(yùn)動(dòng)補(bǔ)償圖像MCl和MC2輸入到濾波電路221，且運(yùn)動(dòng)補(bǔ)償圖像MCO輸入到濾波電路 222 ο濾波電路221在圖6等中分別使用運(yùn)動(dòng)補(bǔ)償圖像MCl和MC2作為運(yùn)動(dòng)補(bǔ)償圖像 MCO和MCl來執(zhí)行濾波，并將作為濾波結(jié)果的中間輸出X輸出到濾波電路222。濾波電路221在圖6等中分別使用中間輸出X和運(yùn)動(dòng)補(bǔ)償圖像MCO作為運(yùn)動(dòng)補(bǔ)償圖像MCO和MCl來執(zhí)行濾波，并輸出濾波結(jié)果作為預(yù)測(cè)圖像。代替濾波電路72，處理這三個(gè)基準(zhǔn)幀的濾波電路211還可以在圖3中的解碼設(shè)備 1或者圖10中的編碼設(shè)備101中提供。注意，濾波電路221和濾波電路222可以不必具有相同配置，且可以具有不同配置。此外，還可以通過考慮在濾波之前和之后獲得的輸入/輸出特性，而使得用于濾波器的參數(shù)(例如，α，β)彼此不同。濾波電路211可以不關(guān)于從位于一個(gè)時(shí)間方向上的基準(zhǔn)幀提取的運(yùn)動(dòng)補(bǔ)償圖像而是關(guān)于從位于前向和后向上的三個(gè)基準(zhǔn)幀提取的運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行濾波。注意，在關(guān)于當(dāng)前幀的時(shí)間的在前和在后幀用作基準(zhǔn)幀的情況下，比如濾波期間的抽頭系數(shù)(tap coefficient)之類的參數(shù)可以根據(jù)時(shí)間方向或者基準(zhǔn)幀的距離而動(dòng)態(tài)地改變。壓縮圖像信息被經(jīng)由包括記錄介質(zhì)的各種介質(zhì)(比如光盤、磁盤、和閃存、衛(wèi)星廣播、有線電視、因特網(wǎng)和移動(dòng)電話網(wǎng)絡(luò))從編碼設(shè)備101發(fā)送到解碼設(shè)備1。注意，已經(jīng)解釋了在增強(qiáng)層的編碼和解碼的情況下，從基層中的基準(zhǔn)幀提取運(yùn)動(dòng)補(bǔ)償圖像。但是，可以從基層以外的任意層提取運(yùn)動(dòng)補(bǔ)償圖像。例如，假定壓縮圖像信息形成具有第一層到第三層的三層結(jié)構(gòu)，其中第一層是作為具有最低分辨率的層的基層，第二層是具有第二低的分辨率的層，且第三層是具有最高分辨率的層。在這種情況下，在第三層的濾波預(yù)測(cè)中，可以從不是基層的第二層中的基準(zhǔn)幀提取運(yùn)動(dòng)補(bǔ)償圖像。當(dāng)然，可以從作為基層的第一層中的基準(zhǔn)幀提取運(yùn)動(dòng)補(bǔ)償圖像。<4.第四實(shí)施例〉[解碼處理的概述]此外，也可以從與其中要產(chǎn)生預(yù)測(cè)圖像的層相同的層中的基準(zhǔn)幀提取運(yùn)動(dòng)補(bǔ)償圖像。例如，在如上所述的三層結(jié)構(gòu)的情況下，在第三層的濾波預(yù)測(cè)中，可以從第三層中的基準(zhǔn)幀提取低分辨率的運(yùn)動(dòng)補(bǔ)償圖像。圖18是解釋在這種情況下的解碼處理的概述的圖。在如圖18所示的示例的情況下，基準(zhǔn)幀RefO和基準(zhǔn)幀Refl是與預(yù)測(cè)圖像的幀相同的增強(qiáng)層中的幀。在這點(diǎn)上，從各個(gè)基準(zhǔn)幀提取的運(yùn)動(dòng)補(bǔ)償圖像的分辨率低于預(yù)測(cè)圖像的分辨率。例如，與符合H. 264標(biāo)準(zhǔn)的現(xiàn)有方法類似，與增強(qiáng)層中的基準(zhǔn)幀中的處理目標(biāo)宏塊對(duì)應(yīng)的位置(范圍)由運(yùn)動(dòng)矢量指定，以特定數(shù)目抽取(decimate)該范圍中的像素值， 并提取運(yùn)動(dòng)補(bǔ)償圖像。此外，例如，與符合H. 264標(biāo)準(zhǔn)的現(xiàn)有方法類似，與增強(qiáng)層中的基準(zhǔn)幀中的處理目標(biāo)宏塊對(duì)應(yīng)的位置由運(yùn)動(dòng)矢量指定，且提取以該位置為中心并小于處理目標(biāo)宏塊的大小的范圍作為運(yùn)動(dòng)補(bǔ)償圖像。當(dāng)然，可以使用任何其他方法。就是說，要提取的運(yùn)動(dòng)補(bǔ)償圖像的分辨率可以低于預(yù)測(cè)圖像的分辨率，且為此的提取方法是任意的。此外，可以從任何層提取運(yùn)動(dòng)補(bǔ)償圖像。用這樣的方式提取的低分辨率運(yùn)動(dòng)補(bǔ)償圖像以類似于如上所述的其他情況的方式經(jīng)歷包括上轉(zhuǎn)換的濾波處理，且產(chǎn)生具有要求的分辨率的預(yù)測(cè)圖像。僅僅要從其產(chǎn)生運(yùn)動(dòng)補(bǔ)償圖像的層不同，且在這種情況下編碼設(shè)備1的配置基本上類似于在參考圖3到圖6解釋的情況中的配置。在這點(diǎn)上，幀存儲(chǔ)器19保持在增強(qiáng)層中的幀，且提取電路71從幀存儲(chǔ)器19讀取增強(qiáng)層中的圖像。[解碼處理的流程的解釋]因此，也以基本上與參考圖7和圖8的流程圖解釋的情況中的方式類似的方式執(zhí)行解碼處理和無損解碼處理的流程。將參考圖19中的流程圖解釋在這種情況下由濾波預(yù)測(cè)電路64執(zhí)行的濾波預(yù)測(cè)處理的流程。該流程圖對(duì)應(yīng)于圖9中的流程圖。當(dāng)開始濾波預(yù)測(cè)處理時(shí)，在步驟S341，提取電路71從增強(qiáng)層中的基準(zhǔn)幀提取在低分辨率的運(yùn)動(dòng)補(bǔ)償圖像。分別以與圖9中步驟S42到S50的處理中的方式類似的方式執(zhí)行步驟S342到S350的處理，且以與圖9的情況下的方式類似的方式產(chǎn)生預(yù)測(cè)圖像。當(dāng)完成步驟S350的處理時(shí)，濾波預(yù)測(cè)處理結(jié)束。然后，處理返回到圖8中的步驟 S28，且處理進(jìn)行到步驟S29。用這樣的方式，即使在從增強(qiáng)層中的幀提取運(yùn)動(dòng)補(bǔ)償圖像的情況下，解碼設(shè)備1 可以通過更有效地利用運(yùn)動(dòng)圖像中的信號(hào)序列中包括的時(shí)間相關(guān)性來產(chǎn)生高分辨率和高精度的預(yù)測(cè)圖像，且可以改善編碼效率。此外，因?yàn)榭梢允沟眠\(yùn)動(dòng)補(bǔ)償圖像具有比預(yù)測(cè)圖像更低的分辨率，例如，解碼設(shè)備1可以減少要從幀存儲(chǔ)器讀取的圖像信息量，且可以改善編碼效率同時(shí)防止比如編碼和解碼之類的處理的負(fù)荷增加。[編碼處理的流程的說明]注意，與在這種情況下的解碼設(shè)備1對(duì)應(yīng)的編碼設(shè)備101的配置基本上類似于在參考圖10到圖12解釋的情況下的配置。在這點(diǎn)上，幀存儲(chǔ)器122保持增強(qiáng)層中的幀，且模式確定處理123從幀存儲(chǔ)器19讀取增強(qiáng)層中的圖像。即使在這種情況下，與圖11和圖12的情況類似，模式確定處理123的濾波預(yù)測(cè)電路145和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路125的濾波預(yù)測(cè)電路155的配置也與如圖6所示的濾波預(yù)測(cè)電路64的配置類似。在這點(diǎn)上，與解碼設(shè)備1的情況類似，提取電路71從增強(qiáng)層中的幀提取運(yùn)動(dòng)補(bǔ)償圖像。因此，以基本上與參考圖13和圖14中的流程圖解釋的情況下的方式類似的方式執(zhí)行編碼處理或者模式確定處理的流程。將參考圖20中的流程圖解釋在這種情況下由濾波預(yù)測(cè)電路巧5執(zhí)行的濾波預(yù)測(cè)處理的流程。該流程圖對(duì)應(yīng)于圖15中的流程圖。當(dāng)開始濾波預(yù)測(cè)處理時(shí)，在步驟S451，與圖15中的步驟S151的情況類似，運(yùn)動(dòng)矢量檢測(cè)電路151檢測(cè)運(yùn)動(dòng)矢量。在步驟S452，提取電路71從增強(qiáng)層中的基準(zhǔn)幀提取在低分辨率的運(yùn)動(dòng)補(bǔ)償圖像。分別以與圖15中的步驟S153到S161的處理類似的方式執(zhí)行步驟 S453到S461的處理，且以與圖15中的方式類似的方式產(chǎn)生預(yù)測(cè)圖像。當(dāng)完成步驟S461的處理時(shí)，濾波預(yù)測(cè)處理結(jié)束。然后，處理返回到圖13中的步驟S109，且處理進(jìn)行到步驟S110。用這樣的方式，即使在從增強(qiáng)層中的幀提取運(yùn)動(dòng)補(bǔ)償圖像的情況下，編碼設(shè)備101 可以通過更有效地利用運(yùn)動(dòng)圖像中的信號(hào)序列中包括的時(shí)間相關(guān)性來產(chǎn)生高分辨率和高精度的預(yù)測(cè)圖像，且可以改善編碼效率。此外，因?yàn)榭梢允沟眠\(yùn)動(dòng)補(bǔ)償圖像具有比預(yù)測(cè)圖像更低的分辨率，例如，編碼設(shè)備101可以減少要從幀存儲(chǔ)器讀取的圖像信息量，且可以改善編碼效率同時(shí)防止比如編碼和解碼之類的處理的負(fù)荷增加。也就是說，上述方法還可以應(yīng)用于使用不考慮空間可縮放性的單層結(jié)構(gòu)來編碼和解碼圖像信息的情況。就是說，上述方法還可以應(yīng)用于以H. 264/AVC標(biāo)準(zhǔn)的編碼和解碼。注意，如上所述，當(dāng)提取運(yùn)動(dòng)補(bǔ)償圖像時(shí)，可以將分辨率調(diào)節(jié)為低分辨率。因此，可以以多個(gè)層執(zhí)行運(yùn)動(dòng)補(bǔ)償圖像的提取。在這點(diǎn)上，濾波預(yù)測(cè)處理需要確定運(yùn)動(dòng)補(bǔ)償圖像之間的差別。因此，到此時(shí)，需要使得各個(gè)運(yùn)動(dòng)補(bǔ)償圖像的分辨率彼此匹配?？梢酝ㄟ^硬件或者軟件執(zhí)行如上所述的一系列處理。在這種情況下，一系列處理可以實(shí)現(xiàn)為例如如圖21所示的個(gè)人計(jì)算機(jī)。在圖21中，個(gè)人計(jì)算機(jī)500的CPU(中央處理單元)501根據(jù)存儲(chǔ)在R0M(只讀存儲(chǔ)器)502中的程序或者根據(jù)從存儲(chǔ)單元513載入RAM(隨機(jī)存取存儲(chǔ)器)503中的程序執(zhí)行各種處理。RAM 503還適當(dāng)?shù)卮鎯?chǔ)CPU 501執(zhí)行各種處理所需的數(shù)據(jù)等。CPU 50UROM 502和RAM 503經(jīng)由總線504彼此連接。輸入/輸出接口 510還連接到總線504。包括鍵盤、鼠標(biāo)等的輸入單元511、包括比如CRT(陰極射線管)顯示器或者 LCD (液晶顯示器)之類的顯示器、揚(yáng)聲器等的輸出單元512、由硬盤等組成的存儲(chǔ)單元513 和由調(diào)制解調(diào)器等組成的通信單元514連接到輸入/輸出接口 510。通信單元514經(jīng)由包括因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動(dòng)器515也根據(jù)需要連接到輸入/輸出接口 510，且比如磁盤、光盤、磁光盤或者半導(dǎo)體存儲(chǔ)器之類的可拆卸介質(zhì)521適當(dāng)?shù)馗接隍?qū)動(dòng)器515。從可拆卸介質(zhì)521讀取的計(jì)算機(jī)程序根據(jù)需要安裝到存儲(chǔ)單元513中。在通過軟件執(zhí)行如上所述的一系列處理的情況下，從網(wǎng)絡(luò)或者記錄介質(zhì)安裝構(gòu)成軟件的程序。如圖21所示，記錄介質(zhì)不僅由例如與設(shè)備主體分開地分布以傳送程序給用戶并具有在其上記錄的程序的可拆卸介質(zhì)521 (比如磁盤(包括軟盤)、光盤(包括⑶-R0M(致密盤-只讀存儲(chǔ)器)和DVD (數(shù)字多用途盤))、磁光盤(包括MD (微型盤))或者半導(dǎo)體存儲(chǔ)器)組成，而且可以由以預(yù)先并入設(shè)備主體的狀態(tài)分發(fā)給用戶并具有在其上記錄的程序的ROM 502、存儲(chǔ)單元513中包括的硬盤等組成。注意，由計(jì)算機(jī)執(zhí)行的程序可以是其中根據(jù)在這里描述的次序以時(shí)間序列方式執(zhí)行處理的程序，或者可以是其中并行執(zhí)行處理或者在比如調(diào)用時(shí)的所需定時(shí)執(zhí)行處理的程序。此外，如在這里使用的，描述記錄在記錄介質(zhì)上的程序的步驟當(dāng)然包括以在這里描述的次序以時(shí)間序列方式執(zhí)行的處理，且還包括作為不必以時(shí)間序列方式而是并行或者單獨(dú)地執(zhí)行的處理。此外，如在這里使用的，術(shù)語(yǔ)系統(tǒng)是指由多個(gè)裝置(設(shè)備)構(gòu)成的總體設(shè)備。
此外，上述作為單個(gè)設(shè)備(或者處理單元)的配置可以被劃分以構(gòu)造多個(gè)設(shè)備 (或者處理單元)。相反地，上述作為多個(gè)設(shè)備(或者處理單元)的配置可以集中以構(gòu)造單個(gè)設(shè)備(或者處理單元)。此外，當(dāng)然，除了如上所述的之外的配置可以加到每個(gè)設(shè)備(或者每個(gè)處理單元)的配置。此外，如果作為整個(gè)系統(tǒng)的配置或操作實(shí)質(zhì)上相同，則某個(gè)設(shè)備 (或者處理單元)的配置的一部分可以包括在另一設(shè)備(或者另一處理單元)的配置中。 就是說，本發(fā)明的實(shí)施例不限于如上所述的實(shí)施例，且可以在不脫離本發(fā)明的精神的情況下做出各種改變。例如，如上所述的解碼設(shè)備1或者編碼設(shè)備101可以應(yīng)用于任何電子設(shè)備。在下文中將解釋其示例。圖22是圖示使用應(yīng)用本發(fā)明的解碼設(shè)備1的電視接收機(jī)的主要部分的示例配置的框圖。如圖22所示的電視接收機(jī)1000包括地面調(diào)諧器1013、視頻解碼器1015、視頻信號(hào)處理電路1018、圖形產(chǎn)生電路1019、面板驅(qū)動(dòng)電路1020和顯示面板1021。地面調(diào)諧器1013經(jīng)由天線接收地面模擬廣播的廣播波信號(hào)，將其解調(diào)，獲得視頻信號(hào)，并將視頻信號(hào)提供到視頻解碼器1015。視頻解碼器1015關(guān)于從地面調(diào)諧器1013提供的視頻信號(hào)執(zhí)行解碼處理，并將所獲得的數(shù)字分量信號(hào)提供到視頻信號(hào)處理電路1018。視頻信號(hào)處理電路1018關(guān)于從視頻解碼器1015提供的視頻數(shù)據(jù)執(zhí)行比如噪聲去除的某個(gè)處理，并提供所獲得的視頻數(shù)據(jù)到圖形產(chǎn)生電路1019。圖形產(chǎn)生電路1019產(chǎn)生要在顯示面板1021上顯示的節(jié)目的視頻數(shù)據(jù)、通過基于經(jīng)由網(wǎng)絡(luò)等提供的應(yīng)用程序的處理獲得的圖像數(shù)據(jù)等，并將所產(chǎn)生的視頻數(shù)據(jù)或者圖像數(shù)據(jù)提供到面板驅(qū)動(dòng)電路1020。此外，圖形產(chǎn)生電路1019還適當(dāng)?shù)貓?zhí)行以下處理，比如產(chǎn)生用于顯示由用戶使用以選擇項(xiàng)目等的屏幕的視頻數(shù)據(jù)(圖形)，將其重疊到節(jié)目的視頻數(shù)據(jù)上以獲得視頻數(shù)據(jù)，和將所獲得的視頻數(shù)據(jù)提供到面板驅(qū)動(dòng)電路1020。面板驅(qū)動(dòng)電路1020基于從圖形產(chǎn)生電路1019提供的數(shù)據(jù)來驅(qū)動(dòng)顯示面板1021， 并使得如上所述的節(jié)目的視頻或者各種屏幕顯示在顯示面板1021上。顯示面板1021由IXD (液晶顯示器)等形成，并使得根據(jù)面板驅(qū)動(dòng)電路1020的控制來顯示節(jié)目等的視頻。此外，電視接收機(jī)1000還包括音頻A/D (模擬/數(shù)字)轉(zhuǎn)換器電路1014、音頻信號(hào)處理電路1022、回波抵消/音頻合成電路1023、音頻放大器電路IOM和揚(yáng)聲器1025。地面調(diào)諧器1013解調(diào)所接收的廣播波信號(hào)以獲取視頻信號(hào)以及音頻信號(hào)。地面調(diào)諧器1013提供所獲取的音頻信號(hào)到音頻A/D轉(zhuǎn)換器電路1014。音頻A/D轉(zhuǎn)換器電路1014關(guān)于從地面調(diào)諧器1013提供的音頻信號(hào)執(zhí)行A/D轉(zhuǎn)換處理，并提供所獲得的數(shù)字音頻信號(hào)到音頻信號(hào)處理電路1022。音頻信號(hào)處理電路1022關(guān)于從音頻A/D轉(zhuǎn)換器電路1014提供的音頻數(shù)據(jù)執(zhí)行比如噪聲去除的某個(gè)處理，并提供所獲得的音頻數(shù)據(jù)到回波抵消/音頻合成電路1023。回波抵消/音頻合成電路1023將從音頻信號(hào)處理電路1022提供的音頻數(shù)據(jù)提供到音頻放大器電路10M。音頻放大器電路IOM關(guān)于從回波抵消/音頻合成電路1023提供的音頻數(shù)據(jù)執(zhí)行 D/A轉(zhuǎn)換處理和放大處理，并在從揚(yáng)聲器1025輸出音頻之前將其調(diào)節(jié)到某個(gè)音量。
另外，電視接收機(jī)1000還包括數(shù)字調(diào)諧器1016和MPEG解碼器1017。數(shù)字調(diào)諧器1016經(jīng)由天線接收數(shù)字廣播(地面數(shù)字廣播、BS (廣播衛(wèi)星)/CS (通信衛(wèi)星)數(shù)字廣播)的廣播波信號(hào)，將其解調(diào)，獲取MPEG-TS (運(yùn)動(dòng)圖像專家組-傳輸流)， 并將其提供到MPEG解碼器1017。MPEG解碼器1017解擾從數(shù)字調(diào)諧器1016提供的MPEG-TS，并提取包括要再現(xiàn)(要觀看和收聽)的節(jié)目的數(shù)據(jù)的流。MPEG解碼器1017解碼形成所提取的流的音頻分組，并提供所獲得的音頻數(shù)據(jù)到音頻信號(hào)處理電路1022。并且，MPEG解碼器1017解碼形成流的視頻分組，并提供所獲得的視頻數(shù)據(jù)到視頻信號(hào)處理電路1018。此外，MPEG解碼器1017將從 MPEG-TS提取的EPG(電子節(jié)目指南)數(shù)據(jù)經(jīng)由在附圖中未示出的路徑提供到CPU1032。電視接收機(jī)1000使用如上所述的解碼設(shè)備1作為以上述方式解碼視頻分組的 MPEG解碼器1017。注意，已經(jīng)由編碼設(shè)備101編碼從廣播站等發(fā)送的MPEG-TS。與解碼設(shè)備1的情況類似，MPEG解碼器1017關(guān)于基層中多個(gè)基準(zhǔn)面的圖像執(zhí)行濾波以產(chǎn)生增強(qiáng)層中當(dāng)前塊的預(yù)測(cè)圖像。因此，MPEG解碼器1017可以比空間上采樣濾波器更有效地利用圖像序列中的信號(hào)分量。因此，預(yù)測(cè)圖像可以比通過利用基層中的當(dāng)前幀的圖像的現(xiàn)有的上轉(zhuǎn)換預(yù)測(cè)產(chǎn)生的預(yù)測(cè)圖像具有空間上更高頻的分量，同時(shí)可以減少預(yù)測(cè)殘差。就是說，可以減少用于要在增強(qiáng)層中編碼的畫面的代碼量，且可以有助于編碼效率的改善。此外，在該濾波預(yù)測(cè)中，不參考在時(shí)間上不同的幀的增強(qiáng)層中的解碼圖像。因此， 可以減少編碼所需的處理量、臨時(shí)存儲(chǔ)器容量、從存儲(chǔ)器讀出的信息量等，且可以減少實(shí)現(xiàn)所需的成本。此外，還可以減少功耗。與從視頻解碼器1015提供的視頻數(shù)據(jù)的情況類似，從MPEG解碼器1017提供的視頻數(shù)據(jù)經(jīng)歷視頻信號(hào)處理電路1018的某個(gè)處理，且由圖形產(chǎn)生電路1019將所產(chǎn)生的視頻數(shù)據(jù)等疊加在其上。所產(chǎn)生的數(shù)據(jù)被經(jīng)由面板驅(qū)動(dòng)電路1020提供到顯示面板1021，并顯示其圖像。與從音頻A/D轉(zhuǎn)換器電路1014提供的音頻數(shù)據(jù)的情況類似，從MPEG解碼器1017 提供的音頻數(shù)據(jù)經(jīng)歷音頻信號(hào)處理電路1022的確定處理，被經(jīng)由回波抵消/音頻合成電路1023提供到音頻放大器電路1024，并經(jīng)歷D/A轉(zhuǎn)換處理或者放大處理。因此，從揚(yáng)聲器 1025輸出其音量已經(jīng)調(diào)節(jié)到某個(gè)值的音頻。此外，電視接收機(jī)1000還包括麥克風(fēng)10 和A/D轉(zhuǎn)換器電路1027。A/D轉(zhuǎn)換器電路1027接收由在電視接收機(jī)1000中提供的麥克風(fēng)10 捕捉到的、
用于音頻會(huì)話的用戶的音頻的信號(hào)，關(guān)于接收的音頻信號(hào)執(zhí)行A/D轉(zhuǎn)換處理，并將獲得的數(shù)字音頻數(shù)據(jù)提供給回波抵消/音頻合成電路ΙΟΜ。在已經(jīng)從A/D轉(zhuǎn)換器電路1027提供電視接收機(jī)1000的用戶(用戶A)的音頻數(shù)據(jù)的情況下，回波抵消/音頻合成電路1023關(guān)于用戶A的音頻數(shù)據(jù)執(zhí)行回波抵消，并使得例如通過與其他音頻數(shù)據(jù)組合而獲得的音頻的數(shù)據(jù)經(jīng)由音頻放大器電路IOM從揚(yáng)聲器1025 輸出。另外，電視接收機(jī)1000還包括音頻編解碼器1028、內(nèi)部總線1(^9、SDRAM(同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)1030、閃存1031、CPU 1032、USB (通用串行總線)I/F 1033和網(wǎng)絡(luò)I/F 1034。
29
A/D轉(zhuǎn)換器電路1027接收由在電視接收機(jī)1000中提供的麥克風(fēng)10 捕捉的、用于音頻回話的用戶的音頻的信號(hào)，關(guān)于接收的音頻信號(hào)執(zhí)行A/D轉(zhuǎn)換處理，并將獲得的數(shù)字音頻數(shù)據(jù)提供給音頻編解碼器1(^8。音頻編解碼器10 將從A/D轉(zhuǎn)換器電路1027提供的音頻數(shù)據(jù)轉(zhuǎn)換為用于通過網(wǎng)絡(luò)發(fā)送的某個(gè)格式的數(shù)據(jù)，并經(jīng)由內(nèi)部總線10 將其提供到網(wǎng)絡(luò)I/F1034。網(wǎng)絡(luò)I/F 1034經(jīng)由附于網(wǎng)路端子1035的線纜連接到網(wǎng)絡(luò)。網(wǎng)絡(luò)I/F 1034發(fā)送從音頻編解碼器10 提供的音頻數(shù)據(jù)到例如連接到網(wǎng)絡(luò)的另一設(shè)備。此外，例如，網(wǎng)絡(luò)I/ F 1034接收從經(jīng)由網(wǎng)絡(luò)端子1035在網(wǎng)絡(luò)上連接的另一設(shè)備發(fā)送的音頻數(shù)據(jù)，并將其經(jīng)由內(nèi)部總線10 提供到音頻編解碼器1(^8。音頻編解碼器10 將從網(wǎng)絡(luò)I/F 1034提供的音頻數(shù)據(jù)轉(zhuǎn)換為某個(gè)格式的數(shù)據(jù)， 并將其提供到回波抵消/音頻合成電路1023?；夭ǖ窒?音頻合成電路1023關(guān)于從音頻編解碼器10 提供的音頻數(shù)據(jù)執(zhí)行回波抵消，并使得通過例如與其他音頻數(shù)據(jù)結(jié)合而獲得的音頻的數(shù)據(jù)經(jīng)由音頻放大器電路 IOM從揚(yáng)聲器1025輸出。SDRAM 1030存儲(chǔ)CPU 1032執(zhí)行處理所需的各種數(shù)據(jù)。閃存1031存儲(chǔ)由CPU 1032執(zhí)行的程序。存儲(chǔ)在閃存1031中的程序由CPU 1032 在比如啟動(dòng)電視接收機(jī)1000時(shí)的某個(gè)定時(shí)讀取。閃存1031還存儲(chǔ)經(jīng)由數(shù)字廣播獲取的 EPG數(shù)據(jù)、經(jīng)由網(wǎng)絡(luò)從某個(gè)服務(wù)器獲取的數(shù)據(jù)等。例如，閃存1031在CPU 1032的控制下存儲(chǔ)包括從在網(wǎng)絡(luò)上的某個(gè)服務(wù)器獲取的內(nèi)容數(shù)據(jù)的MPEG-TS。閃存1031通過例如CPU 1032的控制經(jīng)由內(nèi)部總線10 將MPEG-TS 提供到MPEG解碼器1017。MPEG解碼器1017以與從數(shù)字調(diào)諧器1016提供的MPEG-TS的情況下的方式類似的方式處理MPEG-TS。用這樣的方式，電視接收機(jī)1000可以接收由在網(wǎng)絡(luò)上的視頻、音頻等構(gòu)成的內(nèi)容數(shù)據(jù)，使用MPEG解碼器1017解碼內(nèi)容數(shù)據(jù)，顯示內(nèi)容數(shù)據(jù)的視頻，并輸出音頻。此外，電視接收機(jī)1000還包括接收從遙控器1051發(fā)送的紅外信號(hào)的光的光接收單元1037。光接收單元1037從遙控器1051接收紅外光，并將指示通過解調(diào)獲得的用戶操作的內(nèi)容的控制代碼輸出到CPU 1032。CPU 1032執(zhí)行存儲(chǔ)在閃存1031中的程序，并根據(jù)從光接收單元1037等提供的控制代碼控制電視接收機(jī)1000的總體操作。CPU 1032經(jīng)由在附圖中未示出的路徑連接到電視接收機(jī)1000的每個(gè)單元。USB I/F 1033發(fā)送數(shù)據(jù)到經(jīng)由附加到USB端子1036的USB線纜連接的電視接收機(jī)1000的外部設(shè)備，并從其接收數(shù)據(jù)。網(wǎng)絡(luò)I/F 1034經(jīng)由附加到網(wǎng)絡(luò)端子1035的線纜連接到網(wǎng)絡(luò)，且還將除了音頻數(shù)據(jù)之外的數(shù)據(jù)發(fā)送到連接到網(wǎng)絡(luò)的各種設(shè)備，并從其接收數(shù)據(jù)。通過使用解碼設(shè)備1作為MPEG解碼器1017，電視接收機(jī)1000能夠在關(guān)于形成流的視頻分組的解碼期間獲得高分辨率解碼圖像而不增加負(fù)荷。就是說，電視接收機(jī)1000可以改進(jìn)編碼效率同時(shí)防止負(fù)荷增加。圖23是圖示使用應(yīng)用本發(fā)明的解碼設(shè)備1和編碼設(shè)備101的移動(dòng)電話的主要部分的示例配置的框圖。如圖23所示的移動(dòng)電話1100包括被配置以總體地控制各個(gè)單元的主控制單元 1150、電源電路單元1151、操作輸入控制單元1152、圖像編碼器1153、相機(jī)I/F單元1154、 IXD控制單元1155、圖像解碼器1156、復(fù)用/解復(fù)用單元1157、記錄/再現(xiàn)單元1162、調(diào)制 /解調(diào)電路單元1158和音頻編解碼器1159。它們經(jīng)由總線1160互連。此外，移動(dòng)電話1100包括操作按鍵1119、CXD(電荷耦合器件)相機(jī)1116、液晶顯示器1118、存儲(chǔ)單元1123、發(fā)送/接收電路單元1163、天線1114、麥克風(fēng)(mic) 1121和揚(yáng)聲器 1117。當(dāng)呼叫結(jié)束且通過用戶操作接通電源按鍵時(shí)，電源電路單元1151從電池組提供電能到每個(gè)單元，由此啟動(dòng)移動(dòng)電話1100從而能夠操作。移動(dòng)電話1100基于由CPU、ROM、RAM等構(gòu)成的主控制單元1150的控制，以比如音頻呼叫模式和數(shù)據(jù)通信模式之類的各種模式執(zhí)行各種操作，比如發(fā)送和接收音頻信號(hào)、發(fā)送和接收電子郵件和圖像數(shù)據(jù)、捕捉圖像和記錄數(shù)據(jù)。例如，在音頻呼叫模式中，移動(dòng)電話1100使用音頻編解碼器1159將由麥克風(fēng) (mic) 1121收集的音頻信號(hào)轉(zhuǎn)換為數(shù)字音頻數(shù)據(jù)，使用調(diào)制/解調(diào)電路單元1158關(guān)于數(shù)字音頻數(shù)據(jù)執(zhí)行擴(kuò)頻處理，并使用發(fā)送/接收電路單元1163執(zhí)行數(shù)字模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動(dòng)電話1100將通過轉(zhuǎn)換處理獲得的傳輸信號(hào)經(jīng)由天線1114發(fā)送到在附圖中未示出的基站。被發(fā)送到基站的傳輸信號(hào)(音頻信號(hào))被經(jīng)由公共電話線路網(wǎng)提供到在呼叫的另一端的移動(dòng)電話。此外，例如，在音頻呼叫模式中，移動(dòng)電話1100使用發(fā)送/接收電路單元1163放大已經(jīng)由天線1114接收的接收信號(hào)，進(jìn)一步執(zhí)行頻率轉(zhuǎn)換處理和模擬數(shù)字轉(zhuǎn)換處理，使用調(diào)制/解調(diào)電路單元1158執(zhí)行逆擴(kuò)頻處理，并使用音頻編解碼器1159將產(chǎn)生的信號(hào)轉(zhuǎn)換為模擬音頻信號(hào)。移動(dòng)電話1100從揚(yáng)聲器1117輸出通過轉(zhuǎn)換獲得的模擬音頻信號(hào)。此外，例如，在以數(shù)據(jù)通信模式發(fā)送電子郵件的情況下，移動(dòng)電話1100使用操作輸入控制單元1152接受通過操作操作按鍵1119輸入的電子郵件的文本數(shù)據(jù)。移動(dòng)電話 1100使用主控制單元1150處理文本數(shù)據(jù)，并經(jīng)由IXD控制單元1155使得產(chǎn)生的數(shù)據(jù)作為圖像顯示在液晶顯示器1118上。此外，移動(dòng)電話1100基于用戶指令等使用主控制單元1150產(chǎn)生基于由操作輸入控制單元1152接受的文本數(shù)據(jù)的電子郵件數(shù)據(jù)。移動(dòng)電話1100使用調(diào)制/解調(diào)電路單元 1158關(guān)于電子郵件數(shù)據(jù)執(zhí)行擴(kuò)頻處理，并使用發(fā)送/接收電路單元1163執(zhí)行數(shù)字模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動(dòng)電話1100將通過轉(zhuǎn)換處理獲得的傳輸信號(hào)經(jīng)由天線1114發(fā)送到在附圖中未示出的基站。發(fā)送到基站的傳輸信號(hào)(電子郵件)被經(jīng)由網(wǎng)絡(luò)、郵件服務(wù)器等提供到某個(gè)目的地。此外，例如，在以數(shù)據(jù)通信模式接收電子郵件的情況下，移動(dòng)電話1100使用發(fā)送/ 接收電路單元1163接收經(jīng)由天線1114從基站發(fā)送的信號(hào)，將其放大，并進(jìn)一步執(zhí)行頻率轉(zhuǎn)換處理和模擬數(shù)字轉(zhuǎn)換處理。移動(dòng)電話1100使用調(diào)制/解調(diào)電路單元1158關(guān)于接收的信號(hào)執(zhí)行逆擴(kuò)頻處理以恢復(fù)初始的電子郵件數(shù)據(jù)。移動(dòng)電話1100經(jīng)由LCD控制單元1155在液晶顯示器1118上顯示恢復(fù)的電子郵件數(shù)據(jù)。注意，移動(dòng)電話1100還能夠經(jīng)由記錄/再現(xiàn)單元1162在存儲(chǔ)單元1123上記錄(存儲(chǔ))接收的電子郵件數(shù)據(jù)。存儲(chǔ)單元1123是任何可重寫存儲(chǔ)介質(zhì)。例如，存儲(chǔ)單元1123可以是比如RAM或者內(nèi)置閃存的半導(dǎo)體存儲(chǔ)器，或者可以是硬盤，或者比如磁盤、磁光盤、光盤、USB存儲(chǔ)器或者存儲(chǔ)卡之類的可拆卸介質(zhì)。當(dāng)然，可以使用任何其他類型的介質(zhì)。另外，例如，在以數(shù)據(jù)通信模式發(fā)送圖像數(shù)據(jù)的情況下，移動(dòng)電話1100使用CXD相機(jī)1116通過捕捉圖像產(chǎn)生圖像數(shù)據(jù)。CXD相機(jī)1116包括比如鏡頭和光圈的光學(xué)器件和用作光電轉(zhuǎn)換元件的CCD，捕捉對(duì)象的圖像，將接收的光的強(qiáng)度轉(zhuǎn)換為電信號(hào)，并產(chǎn)生對(duì)象的圖像的圖像數(shù)據(jù)。C⑶相機(jī)1116經(jīng)由相機(jī)I/F單元IlM使用圖像編碼器1153編碼圖像數(shù)據(jù)，并將圖像數(shù)據(jù)轉(zhuǎn)換為編碼圖像數(shù)據(jù)。移動(dòng)電話1100使用如上所述的編碼設(shè)備101作為執(zhí)行上述處理的圖像編碼器 1153。與編碼設(shè)備101的情況類似地，圖像編碼器1153使用用于產(chǎn)生預(yù)測(cè)圖像的濾波預(yù)測(cè)。 通過此，可以獲得包括比通過單向預(yù)測(cè)、雙向預(yù)測(cè)或者上轉(zhuǎn)換預(yù)測(cè)產(chǎn)生的預(yù)測(cè)圖像更多高頻分量并具有與原始圖像小的差別的預(yù)測(cè)圖像。因此，可以需要僅將少量代碼分配給殘差， 且可以增加編碼效率。因?yàn)榛鶞?zhǔn)幀的分辨率低于在其中參考增強(qiáng)層中的幀的單向預(yù)測(cè)或者雙向預(yù)測(cè)的情況下的分辨率，所以比如在幀存儲(chǔ)器122中保存基準(zhǔn)幀和從幀存儲(chǔ)器122讀取基準(zhǔn)幀之類的處理的負(fù)荷很小。此外，可以使用至少兩個(gè)基準(zhǔn)幀執(zhí)行濾波預(yù)測(cè)。因此，使得這種編碼效率的增加是可行的而不增加處理的復(fù)雜性。注意，此時(shí)，移動(dòng)電話1100在使用C⑶相機(jī)1116的圖像捕捉期間使用音頻編解碼器1159同時(shí)關(guān)于由麥克風(fēng)(mic)1121收集的音頻執(zhí)行模擬數(shù)字轉(zhuǎn)換，并進(jìn)一步將其編碼。移動(dòng)電話1100使用確定方案，使用復(fù)用/解復(fù)用單元1157復(fù)用從圖像編碼器 1153提供的已編碼圖像數(shù)據(jù)和從音頻編解碼器1159提供的數(shù)字音頻數(shù)據(jù)。移動(dòng)電話1100 使用調(diào)制/解調(diào)電路單元1158關(guān)于因此獲得的復(fù)用的數(shù)據(jù)執(zhí)行擴(kuò)頻處理，并使用發(fā)送/接收電路單元1163執(zhí)行數(shù)字模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動(dòng)電話1100將通過轉(zhuǎn)換處理獲得的傳輸信號(hào)經(jīng)由天線1114發(fā)送到在附圖中未示出的基站。發(fā)送到基站的傳輸信號(hào)(圖像數(shù)據(jù))被經(jīng)由網(wǎng)絡(luò)等提供到通信的另一端。注意，在不發(fā)送圖像數(shù)據(jù)的情況下，移動(dòng)電話1100也可以使得使用C⑶相機(jī)1116 產(chǎn)生的圖像數(shù)據(jù)經(jīng)由IXD控制單元1155顯示在液晶顯示器1118上而沒有圖像編碼器1153 的介入。此外，例如，在要以數(shù)據(jù)通信模式接收具有到簡(jiǎn)化的主頁(yè)等的鏈接的運(yùn)動(dòng)圖像文件的數(shù)據(jù)的情況下，移動(dòng)電話1100經(jīng)由天線1114使用發(fā)送/接收電路單元1163接收從基站發(fā)送的信號(hào)，將其放大，并進(jìn)一步執(zhí)行頻率轉(zhuǎn)換處理和模擬數(shù)字轉(zhuǎn)換處理。移動(dòng)電話1100 使用調(diào)制/解調(diào)電路單元1158關(guān)于接收的信號(hào)執(zhí)行逆擴(kuò)頻處理以恢復(fù)初始的復(fù)用數(shù)據(jù)。移動(dòng)電話1100使用復(fù)用/解復(fù)用單元1157解復(fù)用該復(fù)用的數(shù)據(jù)以將其分離為已編碼圖像數(shù)據(jù)和音頻數(shù)據(jù)。移動(dòng)電話1100使用圖像解碼器1156解碼已編碼圖像數(shù)據(jù)以產(chǎn)生再現(xiàn)運(yùn)動(dòng)圖像數(shù)據(jù)，并經(jīng)由IXD控制單元1155在液晶顯示器1118上顯示再現(xiàn)運(yùn)動(dòng)圖像數(shù)據(jù)。例如，這允許包括在鏈接到簡(jiǎn)化的主頁(yè)的運(yùn)動(dòng)圖像文件中的運(yùn)動(dòng)圖像數(shù)據(jù)顯示在液晶顯示器1118上。移動(dòng)電話1100使用如上所述的解碼設(shè)備1作為執(zhí)行上述處理的圖像解碼器1156。 就是說，與解碼設(shè)備1的情況類似，圖像解碼器1156關(guān)于基層中多個(gè)基準(zhǔn)面的圖像執(zhí)行濾波以產(chǎn)生增強(qiáng)層中當(dāng)前塊的預(yù)測(cè)圖像。因此，圖像解碼器1156可以比空間上采樣濾波器更有效地利用圖像序列中的信號(hào)分量。因此，預(yù)測(cè)圖像可以比通過利用基層中的當(dāng)前幀的圖像的現(xiàn)有的上轉(zhuǎn)換預(yù)測(cè)產(chǎn)生的預(yù)測(cè)圖像具有空間上更高頻的分量，同時(shí)可以減少預(yù)測(cè)殘差。就是說，可以減少用于要在增強(qiáng)層中編碼的畫面的代碼量，且可以有助于編碼效率的改
口 ο此外，在該濾波預(yù)測(cè)中，不參考在時(shí)間上不同的幀的增強(qiáng)層中的解碼圖像。因此， 可以減少編碼所需的處理量、臨時(shí)存儲(chǔ)器容量、從存儲(chǔ)器讀出的信息量等，且可以減少實(shí)現(xiàn)所需的成本。此外，還可以減少功耗。此時(shí)，移動(dòng)電話1100同時(shí)使用音頻編解碼器1159將數(shù)字音頻數(shù)據(jù)轉(zhuǎn)換為模擬音頻信號(hào)，并使得其從揚(yáng)聲器1117輸出。例如，這允許再現(xiàn)包括在鏈接到簡(jiǎn)化的主頁(yè)的運(yùn)動(dòng)圖像文件中的音頻數(shù)據(jù)。注意，與電子郵件的情況類似，移動(dòng)電話1100也能夠使得鏈接到簡(jiǎn)化的主頁(yè)等的接收的數(shù)據(jù)經(jīng)由記錄/再現(xiàn)單元1162記錄在(存儲(chǔ)在)存儲(chǔ)單元1123上。此外，移動(dòng)電話1100還可以使用主控制單元1150分析由CXD相機(jī)1116通過捕捉其圖像而獲得的二維碼，并獲取二維碼中記錄的信息。此外，移動(dòng)電話1100可以使用紅外通信單元1181經(jīng)由紅外光與外部設(shè)備通信。移動(dòng)電話1100使用編碼設(shè)備101作為圖像編碼器1153。因此，例如，通過更有效地利用運(yùn)動(dòng)圖像中的信號(hào)序列中包括的時(shí)間相關(guān)性，實(shí)現(xiàn)當(dāng)編碼并發(fā)送由C⑶相機(jī)1116產(chǎn)生圖像數(shù)據(jù)時(shí)考慮空間可縮放性的編碼。由此，例如，可以改進(jìn)編碼效率同時(shí)防止比如編碼和解碼之類的處理負(fù)荷的增加。此外，移動(dòng)電話1100使用解碼設(shè)備1作為圖像解碼器1156，因此使得可以獲得高清晰度的解碼圖像而不增加例如當(dāng)接收鏈接到簡(jiǎn)化主頁(yè)等的運(yùn)動(dòng)圖像文件的數(shù)據(jù)(編碼數(shù)據(jù))時(shí)的解碼期間的處理負(fù)荷。就是說，移動(dòng)電話1100可以改善編碼效率同時(shí)防止負(fù)荷增加。注意，雖然已經(jīng)解釋了移動(dòng)電話1100使用C⑶相機(jī)1116。但是，移動(dòng)電話1100可以使用采用CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)的圖像傳感器(CMOS圖像傳感器)代替CCD相機(jī)1116。同樣在這種情況下，與使用CCD相機(jī)1116的情況類似，移動(dòng)電話1100可以捕捉對(duì)象的圖像并產(chǎn)生對(duì)象的圖像的圖像數(shù)據(jù)。此外，雖然已經(jīng)在移動(dòng)電話1100的情況下給出了上述說明，但是與移動(dòng)電話1100 的情況類似，解碼設(shè)備1和編碼設(shè)備101可以應(yīng)用于例如具有與移動(dòng)電話1100的功能類似的圖像捕捉功能或者通信功能的任何設(shè)備，比如PDA(個(gè)人數(shù)字助理)、智能電話、UMPC(超移動(dòng)個(gè)人計(jì)算機(jī))、網(wǎng)絡(luò)本或者筆記本式個(gè)人計(jì)算機(jī)。圖M是圖示使用應(yīng)用本發(fā)明的解碼設(shè)備1和編碼設(shè)備101的硬盤記錄器的主要部分的示例配置的框圖。如圖M所示的硬盤記錄器(HDD記錄器)1200是在其內(nèi)置硬盤中保存包括在從衛(wèi)星、地面天線等發(fā)送的、已經(jīng)由調(diào)諧器接收的廣播波信號(hào)(電視信號(hào))中的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)，并在根據(jù)用戶指令的定時(shí)向用戶提供保存的數(shù)據(jù)的設(shè)備。硬盤記錄器1200例如可以從廣播波信號(hào)提取音頻數(shù)據(jù)和視頻數(shù)據(jù)，適當(dāng)?shù)亟獯a它們，并將其存儲(chǔ)在內(nèi)置硬盤中。此外，硬盤記錄器1200還可以例如經(jīng)由網(wǎng)絡(luò)從另一設(shè)備獲取音頻數(shù)據(jù)或者視頻數(shù)據(jù)，適當(dāng)?shù)貙⑵浣獯a，并將解碼的數(shù)據(jù)存儲(chǔ)在內(nèi)置硬盤中。另外，硬盤記錄器1200可以解碼例如記錄在內(nèi)置硬盤上的音頻數(shù)據(jù)和視頻數(shù)據(jù)， 將其提供到監(jiān)視器1260，在監(jiān)視器1260的屏幕上顯示其圖像，并從監(jiān)視器1260的揚(yáng)聲器輸出其音頻。此外，硬盤記錄器1200還可以例如解碼從經(jīng)由調(diào)諧器獲取的廣播波信號(hào)提取的音頻數(shù)據(jù)和視頻數(shù)據(jù)，或者經(jīng)由網(wǎng)絡(luò)從另一設(shè)備獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)，將其提供到監(jiān)視器1沈0，在監(jiān)視器1260的屏幕上顯示其圖像，并從監(jiān)視器1260的揚(yáng)聲器輸出其音頻。當(dāng)然，其他操作也是可能的。如圖M所示，硬盤記錄器1200包括接收單元1221、解調(diào)單元1222、解復(fù)用器 1223、音頻解碼器1224、視頻解碼器1225和記錄器控制單元12沈。硬盤記錄器1200另外包括EPG數(shù)據(jù)存儲(chǔ)器1227、程序存儲(chǔ)器1228、工作存儲(chǔ)器1229、顯示轉(zhuǎn)換器1230、OSD (在屏顯示)控制單元1231、顯示控制單元1232、記錄/再現(xiàn)單元1233、D/A轉(zhuǎn)換器1234和通信單元1235。此外，顯示轉(zhuǎn)換器1230包括視頻編碼器1241。記錄/再現(xiàn)單元1233包括編碼器 1251和解碼器1252。接收單元1221從遙控器(未示出)接收紅外信號(hào)，將其轉(zhuǎn)換為電信號(hào)，并輸出到記錄器控制單元1226。記錄器控制單元12 由例如微處理器等組成，并根據(jù)存儲(chǔ)在程序存儲(chǔ)器12 中的程序執(zhí)行各種處理。此時(shí)，記錄器控制單元12 根據(jù)需要使用工作存儲(chǔ)器 1229。通信單元1235連接到網(wǎng)絡(luò)，并經(jīng)由網(wǎng)絡(luò)與另一設(shè)備執(zhí)行通信處理。例如，通信單元1235由記錄器控制單元12 控制以與調(diào)諧器(未示出)通信并主要輸出信道選擇控制信號(hào)到調(diào)諧器。解調(diào)單元1222解調(diào)從調(diào)諧器提供的信號(hào)，并將其輸出到解復(fù)用器1223。解復(fù)用器 1223將從解調(diào)單元1222提供的數(shù)據(jù)解復(fù)用為音頻數(shù)據(jù)、視頻數(shù)據(jù)和EPG數(shù)據(jù)，并將其分別輸出到音頻解碼器1224、視頻解碼器1225和記錄器控制單元12沈。音頻解碼器12M解碼輸入音頻數(shù)據(jù)并輸出已解碼的音頻數(shù)據(jù)到記錄/再現(xiàn)單元 1233。視頻解碼器1225解碼輸入視頻數(shù)據(jù)并將已解碼的視頻數(shù)據(jù)輸出到顯示轉(zhuǎn)換器1230。 記錄器控制單元12 提供輸入EPG數(shù)據(jù)到EPG數(shù)據(jù)存儲(chǔ)器1227以存儲(chǔ)EPG數(shù)據(jù)。顯示轉(zhuǎn)換器1230使用視頻編碼器1241將從視頻解碼器1225或者記錄器控制單元12 提供的視頻數(shù)據(jù)編碼為例如NTSC (國(guó)家電視制式委員會(huì))方案的視頻數(shù)據(jù)，并將其輸出到記錄/再現(xiàn)單元1233。此外，顯示轉(zhuǎn)換器1230將從視頻解碼器1225或者記錄器控制單元12 提供的視頻數(shù)據(jù)的屏幕大小轉(zhuǎn)換為與監(jiān)視器1260的大小對(duì)應(yīng)的大小，使用視頻編碼器1241將視頻數(shù)據(jù)轉(zhuǎn)換為NTSC方案的視頻數(shù)據(jù)，將其轉(zhuǎn)換為模擬信號(hào)，并將其輸出到顯示控制單元1232。在記錄器控制單元12 的控制下，顯示控制單元1232將從OSD (在屏顯示)控制單元1231輸出的OSD信號(hào)疊加到從顯示轉(zhuǎn)換器1230輸入的視頻信號(hào)上，并將其輸出到監(jiān)視器1260的顯示器以顯示它。從音頻解碼器12M輸出的音頻數(shù)據(jù)已經(jīng)由D/A轉(zhuǎn)換器1234轉(zhuǎn)換為模擬信號(hào)，其也被提供到監(jiān)視器1260。監(jiān)視器1260從其內(nèi)置的揚(yáng)聲器輸出音頻信號(hào)。記錄/再現(xiàn)單元1233包括硬盤作為在其上記錄視頻數(shù)據(jù)、音頻數(shù)據(jù)等的存儲(chǔ)介質(zhì)。記錄/再現(xiàn)單元1233使用編碼器1251編碼例如從音頻解碼器12M提供的音頻數(shù)據(jù)。此外，記錄/再現(xiàn)單元1233使用編碼器1251編碼從顯示轉(zhuǎn)換器1230的視頻編碼器 1241提供的視頻數(shù)據(jù)。記錄/再現(xiàn)單元1233使用復(fù)用器組合音頻數(shù)據(jù)的編碼數(shù)據(jù)和視頻數(shù)據(jù)的編碼數(shù)據(jù)。記錄/再現(xiàn)單元1233關(guān)于產(chǎn)生的合成數(shù)據(jù)執(zhí)行信道編碼，將其放大，并經(jīng)由記錄磁頭將數(shù)據(jù)寫到硬盤。記錄/再現(xiàn)單元1233經(jīng)由再現(xiàn)磁頭再現(xiàn)記錄在硬盤上的數(shù)據(jù)，將其放大，并使用解復(fù)用器將其分離為音頻數(shù)據(jù)和視頻數(shù)據(jù)。記錄/再現(xiàn)單元1233使用解碼器1252解碼音頻數(shù)據(jù)和視頻數(shù)據(jù)。記錄/再現(xiàn)單元1233關(guān)于解碼的音頻數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換，并將其輸出到監(jiān)視器1260的揚(yáng)聲器。此外，記錄/再現(xiàn)單元1233關(guān)于解碼的視頻數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換， 并將其輸出到監(jiān)視器1260的顯示器。記錄器控制單元12 基于由經(jīng)由接收單元1221接收的來自遙控器的紅外信號(hào)指示的用戶指令，從EPG數(shù)據(jù)存儲(chǔ)器1227讀取最新的EPG數(shù)據(jù)，并提供EPG數(shù)據(jù)到OSD控制單元1231。OSD控制單元1231產(chǎn)生與輸入EPG數(shù)據(jù)對(duì)應(yīng)的圖像數(shù)據(jù)，并將其輸出到顯示控制單元1232。顯示控制單元1232將從OSD控制單元1231輸入的視頻數(shù)據(jù)輸出到監(jiān)視器 1260的顯示器以顯示它。這允許在監(jiān)視器1260的顯示器上顯示EPG(電子節(jié)目指南)。此外，硬盤記錄器1200還可以經(jīng)由比如因特網(wǎng)的網(wǎng)絡(luò)獲取從另一設(shè)備提供的各種數(shù)據(jù)，比如視頻數(shù)據(jù)、音頻數(shù)據(jù)和EPG數(shù)據(jù)。通信單元1235由記錄器控制單元12 控制以獲取經(jīng)由網(wǎng)絡(luò)從另一設(shè)備發(fā)送的比如視頻數(shù)據(jù)、音頻數(shù)據(jù)和EPG數(shù)據(jù)之類的編碼數(shù)據(jù)，并將其提供到記錄器控制單元1226。記錄器控制單元12 例如將獲取的視頻數(shù)據(jù)和音頻數(shù)據(jù)的編碼數(shù)據(jù)提供到記錄/再現(xiàn)單元 1233以在硬盤中進(jìn)行存儲(chǔ)。此時(shí)，記錄器控制單元12 和記錄/再現(xiàn)單元1233可以根據(jù)需要執(zhí)行比如重編碼的處理。此外，記錄器控制單元12 解碼獲取的視頻數(shù)據(jù)和音頻數(shù)據(jù)的編碼數(shù)據(jù)，并提供獲得的視頻數(shù)據(jù)到顯示轉(zhuǎn)換器1230。顯示轉(zhuǎn)換器1230以與從視頻解碼器1225提供的視頻數(shù)據(jù)的方式類似的方式處理從記錄器控制單元12 提供的視頻數(shù)據(jù)，并將產(chǎn)生的視頻數(shù)據(jù)經(jīng)由顯示控制單元1232提供到監(jiān)視器1260以顯示其圖像。此外，與圖像的顯示一起，記錄器控制單元12 可以經(jīng)由D/A轉(zhuǎn)換器12；34將解碼的音頻數(shù)據(jù)提供到監(jiān)視器1260并從揚(yáng)聲器輸出其音頻。另外，記錄器控制單元12 解碼獲取的EPG數(shù)據(jù)的編碼數(shù)據(jù)，并提供解碼的EPG 數(shù)據(jù)到EPG數(shù)據(jù)存儲(chǔ)器1227。如上的硬盤記錄器1200使用解碼設(shè)備1作為視頻解碼器1225、解碼器1252和記錄器控制單元12 的內(nèi)置解碼器中的每一個(gè)。就是說，與解碼設(shè)備1的情況類似，視頻解碼器1225、解碼器1252和記錄器控制單元12 的內(nèi)置解碼器關(guān)于基層中多個(gè)基準(zhǔn)面的圖像執(zhí)行濾波，以產(chǎn)生增強(qiáng)層中當(dāng)前塊的預(yù)測(cè)圖像。因此，視頻解碼器1225、解碼器1252和記錄器控制單元12 內(nèi)置解碼器可以比空間上采樣濾波器更有效地利用圖像序列中的信號(hào)分量。因此，預(yù)測(cè)圖像可以比通過利用基層中的當(dāng)前幀的圖像的現(xiàn)有的上轉(zhuǎn)換預(yù)測(cè)產(chǎn)生的預(yù)測(cè)圖像具有空間上更高頻的分量，同時(shí)可以減少預(yù)測(cè)殘差。就是說，可以減少用于要在增強(qiáng)層中編碼的畫面的代碼量，且可以有助于編碼效率的改善。此外，在該濾波預(yù)測(cè)中，不參考在時(shí)間上不同的幀的增強(qiáng)層中的解碼圖像。因此， 可以減少編碼所需的處理量、臨時(shí)存儲(chǔ)器容量、從存儲(chǔ)器讀出的信息量等，且可以減少實(shí)現(xiàn)所需的成本。此外，還可以減少功耗。因此，硬盤記錄器1200可以獲得高清晰度的解碼圖像而不增加當(dāng)例如調(diào)諧器或者通信單元1235接收視頻數(shù)據(jù)(編碼數(shù)據(jù))時(shí)或者當(dāng)記錄/再現(xiàn)單元1233從硬盤再現(xiàn)視頻數(shù)據(jù)(編碼數(shù)據(jù))時(shí)的解碼期間的處理負(fù)荷。就是說，硬盤記錄器1200可以改進(jìn)編碼效率同時(shí)防止負(fù)荷增加。此外，硬盤記錄器1200使用編碼設(shè)備101作為編碼器1251。因此，與編碼設(shè)備 101的情況類似，編碼器1251獲得比通過雙向預(yù)測(cè)或者上轉(zhuǎn)換預(yù)測(cè)產(chǎn)生的預(yù)測(cè)圖像包括更多高頻分量且具有與原始圖像小的差別的預(yù)測(cè)圖像。因此，可以減少要分配給殘差的僅少量代碼，且可以增加編碼效率。因?yàn)榛鶞?zhǔn)幀的分辨率低于在其中參考增強(qiáng)層中的幀的單向預(yù)測(cè)或者雙向預(yù)測(cè)的情況下的分辨率，所以比如在幀存儲(chǔ)器122中保存基準(zhǔn)幀和從幀存儲(chǔ)器122讀取基準(zhǔn)幀之類的處理的負(fù)荷很小。此外，可以使用至少兩個(gè)基準(zhǔn)幀執(zhí)行濾波預(yù)測(cè)。 因此，使得這種編碼效率的增加是可行的而不增加處理的復(fù)雜性。因此，硬盤記錄器1200通過更有效地利用運(yùn)動(dòng)圖像中信號(hào)序列中包括的時(shí)間相關(guān)性，來執(zhí)行當(dāng)例如編碼數(shù)據(jù)記錄在硬盤上時(shí)考慮空間可縮放性的編碼，且因此例如可以改進(jìn)編碼效率同時(shí)防止比如編碼和解碼之類的處理的負(fù)荷增加。注意，雖然已經(jīng)解釋了在硬盤上記錄視頻數(shù)據(jù)和音頻數(shù)據(jù)的硬盤記錄器1200，但是當(dāng)然可以使用任何類型的記錄介質(zhì)。例如，即使使用除了硬盤之外的記錄介質(zhì)(比如閃存、光盤或者錄像帶)的記錄器也可以以與如上所述硬盤記錄器1200的情況下的方式類似的方式使用解碼設(shè)備1和編碼設(shè)備101。圖25是圖示使用應(yīng)用本發(fā)明的解碼設(shè)備1和編碼設(shè)備101的相機(jī)的主要部分的示例配置的框圖。如圖25所示的相機(jī)1300捕捉對(duì)象的圖像，并使得對(duì)象的圖像顯示在IXD 1316 上，或者將其作為圖像數(shù)據(jù)記錄在記錄介質(zhì)1333上。鏡頭塊1311使得光(也就是說，對(duì)象的視頻)入射在(XD/CM0S 1312上。CCD/ CMOS 1312是使用CCD或者CMOS，將接收的光的強(qiáng)度轉(zhuǎn)換為電信號(hào)，并將其提供到相機(jī)信號(hào)處理單元1313的圖像傳感器。相機(jī)信號(hào)處理單元1313將從CCD/CMOS 1312提供的電信號(hào)轉(zhuǎn)換為Y、Cr和Cb色差信號(hào)，并將其提供到圖像信號(hào)處理單元1314。在控制器1321的控制下，圖像信號(hào)處理單元1314關(guān)于從相機(jī)信號(hào)處理單元1313提供的圖像信號(hào)執(zhí)行某個(gè)圖像處理，或者使用編碼器1341編碼圖像信號(hào)。圖像信號(hào)處理單元1314將通過編碼圖像信號(hào)產(chǎn)生的編碼數(shù)據(jù)提供到解碼器1315。另外，圖像信號(hào)處理單元1314獲取通過在屏顯示(OSD) 1320產(chǎn)生的顯示數(shù)據(jù)，并將其提供到解碼器1315。在上述處理中，相機(jī)信號(hào)處理單元1313利用經(jīng)由總線1317連接的DRAM(動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)1318，并根據(jù)需要使得圖像數(shù)據(jù)、通過編碼圖像數(shù)據(jù)獲得的編碼數(shù)據(jù)等保持在 DRAM 1318 中。解碼器1315解碼從圖像信號(hào)處理單元1314提供的編碼數(shù)據(jù)，并提供獲得的圖像數(shù)據(jù)(解碼圖像數(shù)據(jù))到IXD 1316。此外，解碼器1315將從圖像信號(hào)處理單元1314提供的顯示數(shù)據(jù)提供到IXD 1316。IXD 1316適當(dāng)?shù)亟M合從解碼器1315提供的解碼的圖像數(shù)據(jù)的圖像和顯示數(shù)據(jù)的圖像，并顯示產(chǎn)生的合成圖像。在控制器1321的控制下，在屏顯示1320將比如由符號(hào)、字符或者圖形形成的菜單屏幕和圖標(biāo)之類的顯示數(shù)據(jù)經(jīng)由總線1317輸出到圖像信號(hào)處理單元1314。控制器1321基于指示由用戶使用操作單元1322發(fā)布的命令的內(nèi)容的信號(hào)執(zhí)行各種處理，且還經(jīng)由總線1317控制圖像信號(hào)處理單元1314、DRAM1318、外部接口 1319、在屏顯示1320、介質(zhì)驅(qū)動(dòng)器1323等。閃速ROM 1324存儲(chǔ)控制器1321執(zhí)行各種處理所需的程序、 數(shù)據(jù)等。例如，控制器1321可以代表圖像信號(hào)處理單元1314或者解碼器1315編碼存儲(chǔ)在 DRAM 1318中的圖像數(shù)據(jù)或者解碼存儲(chǔ)在DRAM 1318中的編碼數(shù)據(jù)。此時(shí)，控制器1321可以使用與圖像信號(hào)處理單元1314或者解碼器1315的編碼或者解碼方案類似的方案執(zhí)行編碼或者解碼處理，或者可以使用圖像信號(hào)處理單元1314或者解碼器1315不支持的方案來執(zhí)行編碼或者解碼處理。此外，例如，在已經(jīng)從操作單元1322發(fā)布用于開始打印圖像的指令的情況下，控制器1321從DRAM 1318讀取圖像數(shù)據(jù)，并將其提供到經(jīng)由總線1317連接到外部接口 1319 的打印機(jī)1334以打印它。另外，例如，在已經(jīng)從操作單元1322發(fā)布了用于記錄圖像的指令的情況下，控制器1321從DRAM 1318讀取編碼數(shù)據(jù)，并經(jīng)由總線1317將其提供到附于介質(zhì)驅(qū)動(dòng)器1323的記錄介質(zhì)1333以存儲(chǔ)它。例如，記錄介質(zhì)1333是比如磁盤、磁光盤、光盤或者半導(dǎo)體存儲(chǔ)器之類的任何可讀和可重寫可拆卸介質(zhì)。當(dāng)然，記錄介質(zhì)1333也可以是任何類型的可拆卸介質(zhì)，且可以是磁帶裝置、盤、或存儲(chǔ)卡。當(dāng)然，也可以使用無接觸IC卡等。此外，例如，介質(zhì)驅(qū)動(dòng)器1323和記錄介質(zhì)1333也可以整體地形成為非便攜式存儲(chǔ)介質(zhì)，比如內(nèi)置硬盤驅(qū)動(dòng)器或者SSD(固態(tài)驅(qū)動(dòng)器)。例如，外部接口 1319由USB輸入輸出端子等組成，且在要打印圖像的情況下連接到打印機(jī)1334。此外，驅(qū)動(dòng)器1331根據(jù)需要連接到外部接口 1319，且適當(dāng)?shù)馗郊颖热绱疟P、 光盤或者磁光盤之類的可拆卸介質(zhì)1332，以使得根據(jù)需要將從其讀取的計(jì)算機(jī)程序安裝到閃速ROM 1324中。另外，外部接口 1319包括連接到比如LAN或者因特網(wǎng)的某個(gè)網(wǎng)絡(luò)的網(wǎng)絡(luò)接口?？刂破?321可以根據(jù)例如來自操作單元1322的指令從DRAM 1318讀取編碼數(shù)據(jù)，并將其從外部接口 1319提供到經(jīng)由網(wǎng)絡(luò)連接的另一設(shè)備。此外，控制器1321可以經(jīng)由外部接口 1319 獲取經(jīng)由網(wǎng)絡(luò)從另一設(shè)備提供的編碼數(shù)據(jù)或者圖像數(shù)據(jù)，并將其保持在DRAM 1318中或者將其提供到圖像信號(hào)處理單元1314。如上的相機(jī)1300使用解碼設(shè)備1作為解碼器1315。就是說，與解碼設(shè)備1的情況類似，解碼器1315關(guān)于基層中多個(gè)基準(zhǔn)面的圖像執(zhí)行濾波以產(chǎn)生增強(qiáng)層中當(dāng)前塊的預(yù)測(cè)圖像。因此，解碼器1315可以比空間上采樣濾波器更有效地利用圖像序列中的信號(hào)分量。 因此，預(yù)測(cè)圖像可以比通過利用基層中的當(dāng)前幀的圖像的現(xiàn)有的上轉(zhuǎn)換預(yù)測(cè)產(chǎn)生的預(yù)測(cè)圖像具有空間上更高頻的分量，同時(shí)可以減少預(yù)測(cè)殘差。就是說，可以減少用于要在增強(qiáng)層中
37編碼的畫面的代碼量，且可以有助于編碼效率的改善。因此，相機(jī)1300可以改進(jìn)編碼效率同時(shí)防止例如當(dāng)從DRAM 1318或者記錄介質(zhì)1333讀取視頻數(shù)據(jù)的編碼數(shù)據(jù)時(shí)，或者當(dāng)經(jīng)由網(wǎng)絡(luò)獲取視頻數(shù)據(jù)的編碼數(shù)據(jù)時(shí)由CCD/ CMOS 1312產(chǎn)生的圖像數(shù)據(jù)的負(fù)荷增加。此外，相機(jī)1300使用編碼設(shè)備101作為編碼器1341。與編碼設(shè)備101的情況類似， 編碼器1341可以獲得比通過雙向預(yù)測(cè)或者上轉(zhuǎn)換預(yù)測(cè)產(chǎn)生的預(yù)測(cè)圖像包括更多高頻分量且具有與原始圖像小的差別的預(yù)測(cè)圖像。因此，可以減少要分配給殘差的僅少量代碼，且可以增加編碼效率。因?yàn)榛鶞?zhǔn)幀的分辨率低于在其中參考增強(qiáng)層中的幀的單向預(yù)測(cè)或者雙向預(yù)測(cè)的情況下的分辨率，所以比如在幀存儲(chǔ)器122中保存基準(zhǔn)幀和從幀存儲(chǔ)器122讀取基準(zhǔn)幀之類的處理的負(fù)荷很小。此外，可以使用至少兩個(gè)基準(zhǔn)幀執(zhí)行濾波預(yù)測(cè)。因此，使得這種編碼效率的增加是可行的而不增加處理的復(fù)雜性。因此，相機(jī)1300通過更有效地利用運(yùn)動(dòng)圖像中的信號(hào)序列中包括的時(shí)間相關(guān)性， 執(zhí)行例如當(dāng)編碼數(shù)據(jù)記錄在DRAM 1318或者記錄介質(zhì)1333上時(shí)，或者當(dāng)編碼數(shù)據(jù)提供到另一設(shè)備時(shí)考慮空間可縮放性的編碼，且因此例如可以改進(jìn)編碼效率同時(shí)防止比如編碼和解碼之類的處理的負(fù)荷增加。注意，解碼設(shè)備1的解碼方法可以應(yīng)用于由控制器1321執(zhí)行的解碼處理。類似地， 編碼設(shè)備101的編碼方法可以應(yīng)用于由控制器1321執(zhí)行的編碼處理。此外，由相機(jī)1300捕捉的圖像數(shù)據(jù)可以是運(yùn)動(dòng)圖像或者靜止圖像的圖像數(shù)據(jù)。當(dāng)然，解碼設(shè)備1和編碼設(shè)備101還可以應(yīng)用于除了如上所述的設(shè)備之外的設(shè)備或者系統(tǒng)。此外，宏塊的尺寸是任意的。例如，本發(fā)明可以應(yīng)用于如圖沈所示的具有任何尺寸的宏塊。例如，本發(fā)明不僅可以應(yīng)用于16X16像素的普通宏塊，而且可以應(yīng)用于比如 32X32像素的宏塊的擴(kuò)展的宏塊(擴(kuò)展宏塊)。在圖沈中，在上部，從左側(cè)開始依次圖示由32X32像素、32X 16像素、16X32像素和16X16像素的塊(分區(qū))劃分的由32X32像素構(gòu)成的宏塊。此外，在中部，從左側(cè)依次圖示由16X16像素、16X8像素、8X16像素和8X8像素的塊劃分的由16X 16像素構(gòu)成的塊。此外，在下部，從左側(cè)依次圖示由8X8像素、8X4像素、4X8像素和4X4像素的塊劃分的由8X8像素構(gòu)成的塊。也就是說，32X32像素的宏塊可以由上部中圖示的32 X 32像素、32 X 16像素、 16X32像素和16X16像素的塊處理。與H. ^4/AVC方案類似，在上部的右側(cè)圖示的16 X 16像素的塊可以由在中部圖示的16X 16像素、16X8像素、8X 16像素和8X 8像素的塊處理。與H. ^4/AVC方案類似，在中部的右側(cè)圖示的8X8像素的塊可以由在下部圖示的 8X8像素、8X4像素、4X8像素和4X4像素的塊處理。上述塊可以分類為以下三個(gè)分級(jí)層。也就是說，圖沈中上部圖示的32X32像素， 32X16像素和16X32像素的塊被稱為的第一分級(jí)層中的塊。上部的右側(cè)圖示的16X 16像素的塊和中部圖示的16X16像素、16X8像素和8X16像素的塊被稱為第二分級(jí)層中的塊。 中部的右側(cè)圖示的8X8像素的塊以及下部圖示的8X8像素、8X4像素、4X8像素和4X4 像素的塊被稱為第三分級(jí)層中的塊。
通過采用上述分級(jí)層結(jié)構(gòu)，關(guān)于等于或者低于16X16像素的塊的塊，更大的塊可以被定義為其超集同時(shí)保持與H. 264/AVC方案的兼容性。例如，解碼設(shè)備1和編碼設(shè)備101可以被配置以產(chǎn)生每個(gè)分級(jí)層的預(yù)測(cè)圖像。此外，例如，解碼設(shè)備1和編碼設(shè)備101可以被配置以對(duì)于第二分級(jí)層，也利用在具有比第二分級(jí)層更大的塊大小的第一分級(jí)層中產(chǎn)生的預(yù)測(cè)圖像。要對(duì)于其使用相對(duì)大的塊大小執(zhí)行編碼的宏塊(比如第一分級(jí)層和第二分級(jí)層) 不包括相對(duì)高頻的分量。相反，要對(duì)于其使用相對(duì)小的塊大小執(zhí)行編碼的宏塊(比如第三分級(jí)層)被認(rèn)為包括相對(duì)高頻的分量。由此，根據(jù)具有不同塊大小的各個(gè)分級(jí)層分別產(chǎn)生預(yù)測(cè)圖像，由此使得適于圖像的局部特性的編碼性能的改善是可以的。附圖標(biāo)記列表1解碼設(shè)備、12無損解碼電路、15加法器電路、19幀存儲(chǔ)器、21運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路、41預(yù)測(cè)判定電路、51預(yù)測(cè)選擇電路、64濾波預(yù)測(cè)電路、71提取電路、72濾波電路、81差別計(jì)算電路、82上轉(zhuǎn)換電路、83低通濾波器電路、84增益調(diào)節(jié)電路、85高通濾波器電路、86 增益調(diào)節(jié)電路、87加法器電路、88上轉(zhuǎn)換電路、89加法器電路、101編碼設(shè)備、112重排緩沖器、123模式確定電路、125運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償電路、126幀內(nèi)預(yù)測(cè)電路、145濾波預(yù)測(cè)電路、155 濾波預(yù)測(cè)電路、211濾波電路
權(quán)利要求
1.一種圖像處理設(shè)備，包括 解碼裝置，用于解碼編碼圖像；產(chǎn)生裝置，用于將由所述解碼裝置解碼的圖像與預(yù)測(cè)圖像相加并用于產(chǎn)生解碼圖像； 提取裝置，用于使用由所述產(chǎn)生裝置產(chǎn)生的解碼圖像形成的幀作為基準(zhǔn)幀并使用已經(jīng)編碼的圖像中的運(yùn)動(dòng)矢量來執(zhí)行運(yùn)動(dòng)補(bǔ)償，并用于從與所述預(yù)測(cè)圖像對(duì)應(yīng)的基準(zhǔn)幀提取具有比預(yù)測(cè)圖像更低分辨率的運(yùn)動(dòng)補(bǔ)償圖像；和預(yù)測(cè)圖像產(chǎn)生裝置，用于通過利用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性，執(zhí)行用于補(bǔ)償由所述提取裝置提取的運(yùn)動(dòng)補(bǔ)償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比所述運(yùn)動(dòng)補(bǔ)償圖像更高分辨率的預(yù)測(cè)圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述編碼圖像已經(jīng)被分級(jí)地分解為具有不同分辨率的多個(gè)層中的圖像且圖像已經(jīng)被編碼，其中，所述解碼裝置解碼每一層中的編碼圖像， 其中，所述產(chǎn)生裝置產(chǎn)生每一層中的解碼圖像，其中，當(dāng)要執(zhí)行高分辨率層的解碼時(shí)，所述提取裝置使用具有比該層更低分辨率的層中的幀作為基準(zhǔn)幀，并從具有更低分辨率的層中的基準(zhǔn)幀提取運(yùn)動(dòng)補(bǔ)償圖像，和其中，所述預(yù)測(cè)圖像產(chǎn)生裝置通過關(guān)于從具有更低分辨率的層中的基準(zhǔn)幀提取的運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行濾波處理，來產(chǎn)生高分辨率層中的預(yù)測(cè)圖像。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，所述預(yù)測(cè)圖像產(chǎn)生裝置包括分辨率轉(zhuǎn)換裝置，用于轉(zhuǎn)換由所述提取裝置提取的多個(gè)運(yùn)動(dòng)補(bǔ)償圖像之間的差別圖像的分辨率并增加分辨率，第一濾波器裝置，用于將低通濾波器應(yīng)用于分辨率已經(jīng)由所述分辨率轉(zhuǎn)換裝置增加的差別圖像，第二濾波器裝置，用于將高通濾波器應(yīng)用于通過由所述第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像，和相加裝置，用于將通過由所述第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像和通過由所述第二濾波器裝置應(yīng)用高通濾波器而獲得的圖像與由所述提取裝置提取的多個(gè)運(yùn)動(dòng)補(bǔ)償圖像之一相加，并用于產(chǎn)生預(yù)測(cè)圖像。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，所述相加裝置將通過由所述第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像和通過由所述第二濾波器裝置應(yīng)用高通濾波器而獲得的圖像與從關(guān)于預(yù)測(cè)圖像的時(shí)間的在前幀提取的運(yùn)動(dòng)補(bǔ)償圖像相加。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，進(jìn)一步包括單向預(yù)測(cè)裝置，用于使用多個(gè)運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行單向預(yù)測(cè)，并用于產(chǎn)生預(yù)測(cè)圖像； 雙向預(yù)測(cè)裝置，用于使用多個(gè)運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行雙向預(yù)測(cè)，并用于產(chǎn)生預(yù)測(cè)圖像； 判斷裝置，通過使用包括在編碼圖像的報(bào)頭中的標(biāo)識(shí)標(biāo)記，判斷要通過所述單向預(yù)測(cè)裝置的單向預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像、要通過所述雙向預(yù)測(cè)裝置的雙向預(yù)測(cè)產(chǎn)生預(yù)測(cè)圖像還是要通過所述預(yù)測(cè)圖像產(chǎn)生裝置的濾波處理產(chǎn)生預(yù)測(cè)圖像。
6.一種圖像處理方法，包括 解碼編碼圖像；將解碼圖像和預(yù)測(cè)圖像相加并產(chǎn)生解碼圖像；使用由產(chǎn)生的解碼圖像形成的幀作為基準(zhǔn)幀并使用已經(jīng)編碼的圖像中的運(yùn)動(dòng)矢量來執(zhí)行運(yùn)動(dòng)補(bǔ)償，并從與預(yù)測(cè)圖像對(duì)應(yīng)的基準(zhǔn)幀提取具有比預(yù)測(cè)圖像更低分辨率的運(yùn)動(dòng)補(bǔ)償圖像；和通過利用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性，執(zhí)行用于補(bǔ)償所提取的運(yùn)動(dòng)補(bǔ)償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比運(yùn)動(dòng)補(bǔ)償圖像更高分辨率的預(yù)測(cè)圖像。
7.一種圖像處理設(shè)備，包括編碼裝置，用于編碼作為要編碼的圖像的原始圖像，并用于產(chǎn)生編碼圖像； 檢測(cè)裝置，用于基于圖像和原始圖像檢測(cè)運(yùn)動(dòng)矢量，所述圖像中的每一個(gè)是通過基于指示原始圖像和預(yù)測(cè)圖像之間的差別的殘差信號(hào)來執(zhí)行本地解碼而獲得的；提取裝置，用于使用由通過執(zhí)行本地解碼而獲得的圖像形成的幀作為基準(zhǔn)幀并使用由所述檢測(cè)裝置檢測(cè)的運(yùn)動(dòng)矢量來執(zhí)行運(yùn)動(dòng)補(bǔ)償，并用于從與預(yù)測(cè)圖像對(duì)應(yīng)的基準(zhǔn)幀提取具有比預(yù)測(cè)圖像更低分辨率的運(yùn)動(dòng)補(bǔ)償圖像；和產(chǎn)生裝置，用于通過利用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性，執(zhí)行用于補(bǔ)償由所述提取裝置提取的運(yùn)動(dòng)補(bǔ)償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比所述運(yùn)動(dòng)補(bǔ)償圖像更高分辨率的預(yù)測(cè)圖像。
8.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，其中，所述編碼裝置產(chǎn)生具有不同分辨率的多個(gè)層中的編碼圖像， 其中，當(dāng)要執(zhí)行高分辨率層的解碼時(shí)，所述提取裝置使用具有比該層更低分辨率的層中的幀作為基準(zhǔn)幀，并使用由所述檢測(cè)裝置在具有更低分辨率的層中檢測(cè)到的運(yùn)動(dòng)矢量從具有更低分辨率的層中的基準(zhǔn)幀提取運(yùn)動(dòng)補(bǔ)償圖像，和其中，所述產(chǎn)生裝置通過關(guān)于從具有更低分辨率的層中的基準(zhǔn)幀提取的運(yùn)動(dòng)補(bǔ)償圖像執(zhí)行濾波處理，來產(chǎn)生高分辨率層中的預(yù)測(cè)圖像。
9.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備， 其中，所述產(chǎn)生裝置包括分辨率轉(zhuǎn)換裝置，用于轉(zhuǎn)換由所述提取裝置提取的多個(gè)運(yùn)動(dòng)補(bǔ)償圖像之間的差別圖像的分辨率并增加分辨率，第一濾波器裝置，用于將低通濾波器應(yīng)用于分辨率已經(jīng)由所述分辨率轉(zhuǎn)換裝置增加的差別圖像，第二濾波器裝置，用于將高通濾波器應(yīng)用于通過由所述第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像，和相加裝置，用于將通過由所述第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像和通過由所述第二濾波器裝置應(yīng)用高通濾波器而獲得的圖像與由所述提取裝置提取的多個(gè)運(yùn)動(dòng)補(bǔ)償圖像之一相加，并用于產(chǎn)生預(yù)測(cè)圖像。
10.根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其中，所述相加裝置將通過由所述第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像和通過由所述第二濾波器裝置應(yīng)用高通濾波器而獲得的圖像與從關(guān)于預(yù)測(cè)圖像的時(shí)間的在前幀提取的運(yùn)動(dòng)補(bǔ)償圖像相加。
11.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，其中，所述編碼裝置使得報(bào)頭包括標(biāo)識(shí)標(biāo)記，所述標(biāo)識(shí)標(biāo)記標(biāo)識(shí)要與由解碼設(shè)備解碼的圖像相加的預(yù)測(cè)圖像是通過單向預(yù)測(cè)產(chǎn)生、通過雙向預(yù)測(cè)產(chǎn)生還是通過濾波處理產(chǎn)生。
12.—種圖像處理方法，包括編碼作為要編碼的圖像的原始圖像，和產(chǎn)生編碼圖像；基于圖像和原始圖像檢測(cè)運(yùn)動(dòng)矢量，所述圖像中的每一個(gè)是通過基于指示原始圖像和預(yù)測(cè)圖像之間的差別的殘差信號(hào)來執(zhí)行本地解碼而獲得的；使用由通過執(zhí)行本地解碼而獲得的圖像形成的幀作為基準(zhǔn)幀并使用檢測(cè)到的運(yùn)動(dòng)矢量來執(zhí)行運(yùn)動(dòng)補(bǔ)償，和從與預(yù)測(cè)圖像對(duì)應(yīng)的基準(zhǔn)幀提取具有比預(yù)測(cè)圖像更低分辨率的運(yùn)動(dòng)補(bǔ)償圖像；和通過利用運(yùn)動(dòng)補(bǔ)償圖像中包括的時(shí)間方向上的相關(guān)性，執(zhí)行用于補(bǔ)償所提取的運(yùn)動(dòng)補(bǔ)償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比運(yùn)動(dòng)補(bǔ)償圖像更高分辨率的預(yù)測(cè)圖像。
全文摘要
提供了可以改進(jìn)編碼效率同時(shí)防止負(fù)荷增加的圖像處理設(shè)備和方法。濾波預(yù)測(cè)電路(64)的提取電路(71)從低分辨率的基層中的基準(zhǔn)幀提取運(yùn)動(dòng)補(bǔ)償圖像，所述運(yùn)動(dòng)補(bǔ)償圖像是用于在高分辨率的增強(qiáng)層中的預(yù)測(cè)圖像產(chǎn)生的圖像。使用時(shí)間方向分析和與上轉(zhuǎn)換相關(guān)聯(lián)的濾波預(yù)測(cè)電路(64)的濾波電路(72)關(guān)于由提取電路(71)提取的多個(gè)基層運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行濾波，并產(chǎn)生增強(qiáng)層中的預(yù)測(cè)圖像。本發(fā)明例如可以應(yīng)用于編碼和解碼設(shè)備。
文檔編號(hào)H04N7/32GK102396228SQ201080016310
公開日2012年3月28日 申請(qǐng)日期2010年2月12日 優(yōu)先權(quán)日2009年2月19日
發(fā)明者中神央二, 矢崎陽(yáng)一 申請(qǐng)人:索尼公司