圖像處理裝置及方法
【專利摘要】本公開內(nèi)容涉及能夠抑制由于編碼/解碼造成的圖像質(zhì)量下降的圖像處理設備和方法。圖像處理設備包括：量化單元，當正交變換處理針對當前塊被跳過時，利用一個加權系統(tǒng)量化當前塊的所有分量，并且當正交變換處理針對當前塊執(zhí)行時，利用量化矩陣來量化當前塊的每個分量；編碼單元，編碼被量化單元量化的當前塊的系數(shù)；以及發(fā)送單元，發(fā)送通過編碼單元編碼所獲得的當前塊的編碼數(shù)據(jù)。本公開內(nèi)容可以應用到例如圖像處理設備。
【專利說明】
圖像處理裝置及方法

【技術領域】
[0001]本公開內(nèi)容涉及圖像處理設備及方法，更具體而言涉及能夠抑制圖像退化的圖像處理設備及方法。

【背景技術】
[0002]近年來，為了執(zhí)行信息的高效傳輸和存儲，通過采用編碼系統(tǒng)把圖像信息處理為數(shù)字的而且此時通過諸如離散余弦變換等正交變換以及利用作為圖像信息的特征的冗余性的運動補償來壓縮圖像而讓圖像接受壓縮編碼的設備已經(jīng)被廣泛使用。這種編碼系統(tǒng)的例子包括運動圖片專家組(MPEG)等。
[0003]特別地，MPEG2(IS0/IEC 13818-2)被定義為通用圖像編碼系統(tǒng)，并且覆蓋隔行(interlaced)掃描圖像和逐行(progressive)掃描圖像以及標準分辨率圖像和高清晰度圖像的標準。例如，MPEG2目前廣泛用在專業(yè)使用和消費者使用的廣泛應用中。通過使用MPEG2壓縮方法，在例如720X480像素的標準分辨率隔行掃描圖像的情況下，分配4至8Mbps的編碼量(位率)。此外，通過使用MPEG2壓縮方法，在例如1920 X 1088像素的高分辨率隔行掃描圖像的情況下，分配18至22Mbps的編碼量(位率)。由于這個原因，有可能實現(xiàn)高壓縮率和有利的圖像質(zhì)量。
[0004]MPEG2主要用于適于廣播的高圖像質(zhì)量編碼，但與具有低于MPEGl編碼量的編碼量(位率)(換句話說，更高壓縮率)的編碼系統(tǒng)不兼容。隨著移動終端的廣泛使用，預期對這種編碼系統(tǒng)的需求在未來將增加，響應于此，MPEG4編碼系統(tǒng)的標準化已經(jīng)執(zhí)行。關于圖像編碼系統(tǒng)，規(guī)范是作為如ISO-1EC 14496-2的國際標準在1998年12月被批準。
[0005]另外，近年來，稱為H.26L(ITU-T(國際電信聯(lián)盟電信標準化部門)Q6/16VCEG (視頻編碼專家組))的標準的標準化已經(jīng)發(fā)展，其目標最初是視頻會議用途的圖像編碼。關于H.26L，已知它雖然與諸如MPEG2或MPEG4的常規(guī)編碼系統(tǒng)相比而言對于其編碼和解碼要求更大的計算量，但是實現(xiàn)了更高的編碼效率。而且，目前，作為MPEG4活動的一部分，包括未被H.26L支持的功能的標準化已經(jīng)作為增強壓縮視頻編碼的聯(lián)合模型(Joint Model ofEnhanced-Compress1n Video Coding)而被執(zhí)行,其中這個H.26L被作為實現(xiàn)更高編碼效率的基礎。
[0006]作為標準化時間表，2003年3月確立了被稱為H.264和MPEG-4部分10 (高級視頻編碼，下文中稱為AVC)的國際標準。
[0007]此外，作為H.264/AVC的擴展，F(xiàn)RExt (保真度范圍擴展)的標準化在2005年2月完成，其中FRExt包括商業(yè)使用必需的編碼工具，諸如RGB、4:2:2或4:4:4，以及在MPEG-2中定義的8 X 8DCT和量化度量。從而能夠利用H.264/AVC有利地表示甚至包括在電影中的電影噪聲的編碼系統(tǒng)已經(jīng)確立，這種系統(tǒng)用于諸如Blu-Ray Disc (注冊商標)的廣泛應用。
[0008]但是，近年來對于以更高壓縮速率進行編碼有增長的需求，例如，對壓縮具有大約4000X2000像素的圖像的需求，這種圖像是高清晰圖像的四倍，或者對在諸如互聯(lián)網(wǎng)之類具有有限傳輸能力的環(huán)境中分發(fā)高清晰圖像的需求。因此，以上描述的ITU-T下的視頻編碼專家組(VCEG)，對提高編碼效率的研究已在持續(xù)地進行。
[0009]因此，為了與AVC相比而言進一步提高編碼效率，被稱為高效視頻編碼(HEVC)的編碼系統(tǒng)的標準化目前正由聯(lián)合協(xié)作團隊-視頻編碼(JCTVC)進行，該團隊是ITU-T和IS0/IEC的聯(lián)合標準化團隊(參見例如非專利文檔I)。
[0010]但是，非專利文檔I公開的HEVC標準，采用稱為“幀內(nèi)變換跳過(Intra TransformSkipping) ”的技術(參見例如非專利文檔2)。
[0011]S卩，首先，關于變換跳過(Transform Skip，也稱為“正交變換跳過”)是否在序列中可被應用的標記，被發(fā)送到序列參數(shù)集(SPS)。
[0012]當值為I是，有可能對4X4的亮度和色度正交變換塊應用變換跳過。
[0013]關于TransformSkip的開/關的標記發(fā)送到每個塊。
[0014]關于對其應用TransformSkip的塊,在熵編碼、量化、回路過濾處理等中沒有變化。
[0015]引用列表
[0016]非專利文檔
[0017]非專利文檔1:Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, GaryJ.Sullivan,Thomas Wiegandj “Working Draft 4of High-Efficiency VideoCoding”，JCTVC_F803—d2，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and IS0/IEC JTCl/SC29/WG116th Meeting:Torino, IT, 14_22July，2011
[0018]非專利文檔2:Cuiling Lanj Jizheng Xuj Gary J.Sullivan, FengWuj “Intra transform skipping”，JCTVC-10408，Joint Collaborative Team onVideo Coding (JCT-VC) of ITU-T SG 16WP 3and IS0/IEC JTC 1/SC 29/WG 119thMeeting:Geneva, CHj27April-7May 2012


【發(fā)明內(nèi)容】

[0019]本發(fā)明要解決的問題
[0020]但是，對其應用TransformSkip的塊的系數(shù)是關于空間域的值，對其不應用TransformSkip的塊的系數(shù)是關于頻率域的值，因而兩個特性彼此不同。
[0021]為此，當不考慮這些特性的區(qū)別的情況下,對應用了 TransformSkip的塊和不應用TransformSkip的塊都執(zhí)行編碼過程時，存在編碼效率退化的問題。
[0022]本公開內(nèi)容就是考慮這種情形而開發(fā)，并且可以抑制由于編碼/解碼過程造成的圖像質(zhì)量下降。
[0023]對問題的解決辦法
[0024]根據(jù)本公開內(nèi)容的一方面，提供了一種圖像處理設備，包括:
[0025]量化單元，使用被應用到正交變換跳過塊的加權系數(shù)并且量化所述正交變換跳過塊，其中所述正交變換跳過塊中正交變換處理被跳過 '及
[0026]編碼單元，編碼由所述量化單元量化的所述正交變換跳過塊的系數(shù)。
[0027]量化單元可以使用一個加權系數(shù)。
[0028]量化單元可以利用該加權系數(shù)來量化具有4X4塊尺寸的正交變換跳過塊。
[0029]圖像處理設備還可以包括發(fā)送單元，該發(fā)送單元發(fā)送指示是否許可正交變換處理的跳過的跳過許可信息作為圖片參數(shù)集。
[0030]發(fā)送單元還可以發(fā)送該加權系數(shù)。
[0031]量化單元可以利用量化矩陣來量化非正交變換跳過塊，在所述非正交變換跳過塊中正交變換處理被執(zhí)行，所述量化矩陣與通過對所述加權系數(shù)執(zhí)行矩陣處理獲得的加權系數(shù)矩陣不同。
[0032]圖像處理設備還可以包括發(fā)送單元，該發(fā)送單元調(diào)制通過由所述量化單元執(zhí)行量化并且由編碼單元編碼圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)，以便把編碼數(shù)據(jù)作為發(fā)送信號發(fā)送。
[0033]圖像處理設備還可以包括多路復用器，該多路復用多路復用通過由所述量化單元執(zhí)行量化并且由編碼單元編碼圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)與音頻編碼數(shù)據(jù)。
[0034]圖像處理設備還可以包括成像單元，該成像單元捕捉物體的圖像以生成圖像數(shù)據(jù)，其中量化單元量化所述成像單元利用成像所獲得的所述圖像數(shù)據(jù)的正交變換跳過塊。
[0035]圖像處理設備還可以包括對音頻數(shù)據(jù)執(zhí)行編碼和解碼的音頻編解碼器單元。
[0036]圖像處理設備還可以包括記錄單元,該記錄單元在存儲介質(zhì)上記錄通過由所述量化單元執(zhí)行量化并且由編碼單元編碼圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)。
[0037]根據(jù)本公開內(nèi)容的一方面，一種圖像處理方法包括:利用被應用到正交變換跳過塊的加權系數(shù)來量化所述正交變換跳過塊，其中在所述正交變換跳過塊中正交變換處理被跳過；以及編碼所述被量化的正交變換跳過塊的系數(shù)。
[0038]在本公開內(nèi)容的另一方面，所述正交變換跳過塊是利用被應用到正交變換跳過塊的加權系數(shù)來量化的，其中在所述正交變換跳過塊中正交變換處理被跳過，以及所述被量化的正交變換跳過塊的系數(shù)被編碼。
[0039]另外，以上所述圖像處理設備可以是獨立設備或者可以是構(gòu)成一個圖像編碼設備的內(nèi)部塊。
[0040]本發(fā)明的效果
[0041]根據(jù)本公開內(nèi)容，可以解碼圖像。特別地，有可能抑制由于解碼造成的圖像質(zhì)量下降。

【專利附圖】

【附圖說明】
[0042]圖1是說明圖像編碼設備的主要配置實例的框圖。
[0043]圖2是用于描述編碼單元的配置實例的圖。
[0044]圖3是說明量化矩陣發(fā)送實例的圖。
[0045]圖4是說明序列參數(shù)集實例的圖。
[0046]圖5是說明接著圖4的序列參數(shù)集實例的圖。
[0047]圖6是說明圖片參數(shù)集實例的圖。
[0048]圖7是說明接著圖6的圖片參數(shù)集實例的圖。
[0049]圖8是用于描述量化條件實例的圖。
[0050]圖9是說明序列參數(shù)集實例的圖。
[0051]圖10是說明接著圖9的序列參數(shù)集實例的圖。
[0052]圖11是說明圖片參數(shù)集實例的圖。
[0053]圖12是說明接著圖11的圖片參數(shù)集實例的圖。
[0054]圖13是說明正交變換跳過等的主要配置實例的框圖。
[0055]圖14是用于描述編碼過程的流程實例的流程圖。
[0056]圖15是用于描述正交變換跳過控制處理流程實例的流程圖。
[0057]圖16是用于描述正交變換處理流程實例的流程圖。
[0058]圖17用于描述量化處理流程實例的流程圖。
[0059]圖18用于描述去塊過濾處理流程實例的流程圖。
[0060]圖19是說明圖像解碼設備的主要配置實例的框圖。
[0061]圖20是說明逆正交變換跳過單元等的主要配置實例的框圖。
[0062]圖21是用于描述解碼過程的流程實例的流程圖。
[0063]圖22是用于描述逆量化處理流程實例的流程圖。
[0064]圖23是用于描述逆正交變換處理流程實例的流程圖。
[0065]圖24是說明序列參數(shù)集的另一個實例的圖。
[0066]圖25是說明圖片參數(shù)集的實例的圖。
[0067]圖26是用于描述跳過許可信息生成處理流程實例的流程圖。
[0068]圖27是用于描述跳過許可信息接收處理流程實例的流程圖。
[0069]圖28是說明多視點圖像編碼系統(tǒng)的實例的圖。
[0070]圖29是說明本技術適用的多視點圖像編碼設備的主要配置實例的圖。
[0071]圖30是說明本技術適用的多視點圖像解碼設備的主要配置實例的圖。
[0072]圖31是說明分級圖像編碼系統(tǒng)實例的圖。
[0073]圖32是說明本技術適用的分級圖像編碼設備的主要配置實例的圖。
[0074]圖33是說明本技術適用的分級圖像解碼設備的主要配置實例的圖。
[0075]圖34是說明計算機的主要配置實例的框圖。
[0076]圖35是說明電視裝置的示意性配置實例的框圖。
[0077]圖36是說明移動電話的示意性配置實例的框圖。
[0078]圖37是說明記錄和再現(xiàn)設備的示意性配置實例的框圖。
[0079]圖38是說明成像設備的示意性配置實例的框圖。
[0080]圖39是說明可伸縮編碼利用實例的框圖。
[0081]圖40是說明可伸縮編碼利用的另一個實例的框圖。
[0082]圖41是說明可伸縮編碼利用的還有另一個實例的框圖。
[0083]圖42是說明視頻機(video set)的示意性配置實例的框圖。
[0084]圖43是說明視頻處理器的示意性配置實例的框圖。
[0085]圖44是說明視頻處理器的示意性配置的另一個實例的框圖。

【具體實施方式】
[0086]下文中將描述用于執(zhí)行本公開內(nèi)容的模式(下文中稱為實施例)。另外，描述以以下次序給出。
[0087]1.第一實施例(圖像編碼設備)
[0088]2.第二實施例(圖像解碼設備)
[0089]3.第三實施例(跳過許可信息的發(fā)送控制)
[0090]4.第四實施例(多視點圖像編碼/多視點圖像解碼設備)
[0091]5.第五實施例(分級圖像編碼/分級圖像解碼設備)
[0092]6.第六實施例(計算機)
[0093]7.第七實施例(應用實例)
[0094]8.第八實施例(可伸縮編碼的應用實例)
[0095]9.第九實施例(集合/單元/模塊/處理器)
[0096]〈1.第一實施例>
[0097][圖像編碼設備]
[0098]圖1是說明圖像編碼設備的主要配置實例的框圖。
[0099]在I說明圖像編碼設備100利用例如高效視頻編碼(HEVC)的預測處理或者與其相符的系統(tǒng)編碼圖像數(shù)據(jù)。
[0100]如圖1所說明的，圖像編碼設備100包括A/D轉(zhuǎn)換器101、屏幕重新布置緩沖區(qū)102、計算單元103、正交變換單元104、量化單元105、無損編碼單元106、累積緩沖區(qū)107、逆量化單元108,以及逆正交變換單元109。此外，圖像編碼設備100還包括計算單元110、去塊過濾器111、幀存儲器112、選擇單元113、幀內(nèi)預測單元114、運動預測/補償單元115、預測圖像選擇單元116，以及速率控制單元117。
[0101]圖像編碼設備100還包括正交變換跳過單元121。
[0102]A/D轉(zhuǎn)換器101對輸入的圖像數(shù)據(jù)執(zhí)行A/D轉(zhuǎn)換，把轉(zhuǎn)換獲得的圖像數(shù)據(jù)(數(shù)字數(shù)據(jù))提供給屏幕重新布置緩沖區(qū)102，并且在其中存儲該圖像數(shù)據(jù)。屏幕重新布置緩沖區(qū)102把按顯示次序存儲的幀圖像重新布置成用于根據(jù)圖片組(GOP)結(jié)構(gòu)進行編碼的幀的次序，并且把其中幀次序已經(jīng)重新布置的圖像提供給計算單元103。此外，屏幕重新布置緩沖區(qū)102把其中幀次序已經(jīng)重新布置的圖像提供給幀內(nèi)預測單元114和運動預測/補償單元115。
[0103]計算單元103從從屏幕重新布置緩沖區(qū)102讀出的圖像減去從幀內(nèi)預測單元114或運動預測/補償單元115提供的預測圖像，并且把差異信息提供給正交變換單元104。例如，在對圖像執(zhí)行幀內(nèi)編碼的情況下，計算單元103從從屏幕重新布置緩沖區(qū)102讀出的圖像減去從幀內(nèi)預測單元114提供的預測圖像。另外，在對圖像執(zhí)行幀間編碼的情況下，例如，計算單元103從從屏幕重新布置緩沖區(qū)102讀出的圖像減去從運動預測/補償單元115提供的預測圖像。
[0104]正交變換單元104對從計算單元103提供的差異信息執(zhí)行諸如離散余弦變換和Karhunen-Loeve變換的正交變換，并且把其變換系數(shù)提供給量化單元105。
[0105]量化單元105量化從正交變換單元104提供的變換系數(shù)。量化單元105基于從速率控制單元117提供的編碼量的目標值的信息，設置量化參數(shù)并且執(zhí)行其量化。量化單元105把量化的變換系數(shù)提供給無損編碼單元106。
[0106]無損編碼單元106利用任何編碼系統(tǒng)來編碼被量化單元105量化的變換系數(shù)。由于系數(shù)數(shù)據(jù)是在速率控制單元117的控制下被量化，因此其編碼量是速率控制單元117設置的目標值(或者近似該目標值)。
[0107]此外，無損編碼單元106從幀內(nèi)預測單元114獲取指示幀內(nèi)預測模式等的信息并且從運動預測/補償單元115獲取指示幀間預測模式或差異運動矢量的信息。
[0108]無損編碼單元106根據(jù)編碼系統(tǒng)編碼這各種信息，包含(多路復用)這各種信息片段被作為編碼數(shù)據(jù)(也稱為編碼流)的首部信息的部分。無損編碼單元106把通過編碼獲得的編碼數(shù)據(jù)提供給累積緩沖區(qū)107并且在其中累積編碼數(shù)據(jù)。
[0109]例如，無損編碼單元106的編碼系統(tǒng)包括可變長度編碼或計算編碼。例如，可變長度編碼包括由H.264/AVC系統(tǒng)定義的上下文自適應變長編碼(CAVLC)等。例如，計算編碼包括上下文自適應二進制算術編碼(CABAC)等。
[0110]累積緩沖區(qū)107暫時保持從無損編碼單元106提供的編碼數(shù)據(jù)。累積緩沖區(qū)107在預定時間把所保持的編碼數(shù)據(jù)輸出到例如在后面部分中未說明的記錄設備(記錄介質(zhì))或傳輸路徑。即，累積緩沖區(qū)107也是用于發(fā)送編碼數(shù)據(jù)的發(fā)送單元。
[0111]被量化單元105量化的變換系數(shù)還提供給逆量化單元108。逆量化單元108以對應于量化單元105進行量化的方法來逆量化被量化的變換系數(shù)。逆量化單元108把獲得的變換系數(shù)提供給逆正交變換單元109。
[0112]逆正交變換單元109以對應于正交變換單元104進行正交變換處理的方法對從逆量化單元108提供的變換系數(shù)執(zhí)行逆正交變換。通過逆向正交變換處理獲得的輸出(恢復的差異值信息)提供給計算單元110。
[0113]計算單元110把通過預測圖像選擇單元116從幀內(nèi)預測單元114或運動預測/補償單元115提供的預測圖像添加到恢復的差異信息，該恢復的差異信息是從逆正交變換單元109提供的逆正交變換處理的結(jié)果，由此獲得本地解碼圖像(解碼圖像)。解碼圖像提供給去塊過濾器111或幀存儲器112。
[0114]去塊過濾器111適當?shù)貙挠嬎銌卧?10提供的解碼圖像執(zhí)行去塊過濾處理。例如,去塊過濾器111對解碼圖像執(zhí)行去塊過濾處理,除去解碼圖像的塊失真。
[0115]去塊過濾器111把過濾處理結(jié)果(過濾處理之后的解碼圖像)提供給幀存儲器112。另外，如上所述，從計算單元110輸出的解碼圖像可以不經(jīng)過去塊過濾器111就提供給幀存儲器112。即，有可能略去去塊過濾器111進行的過濾處理。
[0116]幀存儲器112存儲要提供的解碼圖像并且在預定時間把所存儲的解碼圖像作為參考圖像提供給選擇單元113。
[0117]選擇單元113選擇從幀存儲器112提供的參考圖像的供應目的地。例如，在幀間預測的情況下，選擇單元113把從幀存儲器112提供的參考圖像提供給運動預測/補償單元 115。
[0118]幀內(nèi)預測單元114利用當前圖片內(nèi)的像素值執(zhí)行幀內(nèi)預測(屏幕內(nèi)預測)，以生成預測圖像，當前圖片是通過選擇單元113從幀存儲器112提供的參考圖像。幀內(nèi)預測單元114以事先準備的多種幀內(nèi)預測模式執(zhí)行幀內(nèi)預測。
[0119]幀內(nèi)預測單元114在所有幀內(nèi)預測模式下生成預測圖像作為候選，并且利用從屏幕重新布置緩沖區(qū)102提供的輸入圖像來評估每個預測圖像的成本函數(shù)值，以選擇最優(yōu)模式。在選擇最優(yōu)幀內(nèi)預測模式后，幀內(nèi)預測單元114把在最優(yōu)模式下生成的預測圖像提供給預測圖像選擇單元116。
[0120]此外，如上所述，幀內(nèi)預測單元114適當?shù)匕阎甘舅捎玫膸瑑?nèi)預測模式的幀內(nèi)預測模式信息提供給無損編碼單元106，以編碼所提供的幀內(nèi)預測模式信息。
[0121]運動預測/補償單元115利用從屏幕重新布置緩沖區(qū)102提供的輸入圖像和選擇單元113從幀存儲器112提供的參考圖像執(zhí)行運動預測(幀間預測)。運動預測/補償單元115根據(jù)檢測到的運動矢量執(zhí)行運動補償處理并且生成預測圖像(幀間預測圖像信息)。運動預測/補償單元115在事先準備的多種幀間預測模式下執(zhí)行這種幀間預測。
[0122]運動預測/補償單元115在所有幀間預測模式下生成預測圖像作為候選。運動預測/補償單元115利用從屏幕重新布置緩沖區(qū)102提供的輸入圖像和所生成的差異運動矢量的信息來評估每個預測圖像的成本函數(shù)值，以選擇最優(yōu)模式。在選擇最優(yōu)幀間預測模式后，運動預測/補償單元115把最優(yōu)模式下生成的預測圖像提供給預測圖像選擇單元116。
[0123]運動預測/補償單元115把指示所采用的幀間預測模式的信息、在解碼編碼數(shù)據(jù)時在幀間預測模式下執(zhí)行處理所需信息等提供給無損編碼單元106，并且編碼所提供的信息。例如，所需信息可以包括:生成的差異運動矢量的信息、指示預測運動矢量的索引的標記(作為預測運動矢量信息)等等。
[0124]預測圖像選擇單元116選擇要提供給計算單元103或計算單元110的預測圖像的供應源。例如，在幀內(nèi)編碼的情況下，預測圖像選擇單元116選擇幀內(nèi)預測單元114作為預測圖像的供應源并且提供從幀內(nèi)預測單元114向計算單元103或計算單元110提供的預測圖像。此外，例如，在幀間編碼的情況下，預測圖像選擇單元116選擇運動預測/補償單元115作為預測圖像的供應源并且提供從運動預測/補償單元115向計算單元103或計算單元110提供的預測圖像。
[0125]基于在累積緩沖區(qū)107累積的編碼數(shù)據(jù)的編碼量，速率控制單元117控制量化單元105的量化速率,使得上溢或下溢不發(fā)生。
[0126]正交變換跳過單元121控制正交變換單元104中正交變換處理的執(zhí)行。此外，根據(jù)該控制，正交變換跳過單元121控制由量化單元105進行的量化處理、逆量化單元108進行的逆量化處理、逆正交變換單元109進行的逆正交變換處理，以及去塊過濾器111進行的去塊過濾處理。另外，正交變換跳過單元121向無損編碼單元106提供正交變換處理的跳過所必需的信息以及關于量化或去塊過濾器的信息，并且把所提供的信息從累積緩沖區(qū)107發(fā)送到解碼側(cè)。
[0127][編碼單元]
[0128]在AVC系統(tǒng)，規(guī)定了包括宏塊和子宏塊的分層結(jié)構(gòu)。但是，16像素X 16像素的宏塊對于大圖像巾貞(諸如超聞清晰(UHD ;4000像素X2000像素))不是最合適，這種大圖像幀是下一代編碼系統(tǒng)的主題。
[0129]因而，例如，在HEVC系統(tǒng)中規(guī)定如圖2所說明的編碼單元(CU)。
[0130]⑶也被稱為編碼樹塊(CTB)，并且是圖片單元中圖像的部分區(qū)域，它充當與AVC系統(tǒng)的宏塊相似的角色。AVC系統(tǒng)的宏塊具有16X16像素的固定尺寸，而CU的尺寸不是固定的，因此在每個序列中的圖像壓縮信息中規(guī)定。
[0131]例如，CU的最大尺寸(最大編碼單元(LCU))和最小尺寸(最小編碼單元(SCU))在要輸出的編碼數(shù)據(jù)所包括的序列參數(shù)集(序列參數(shù)集(SPS))中規(guī)定。
[0132]通過設置split_flag = 1、且不降至低于S⑶尺寸的范圍內(nèi)，每個IXU可以被進一步劃分成更小的⑶。在圖2所說明的例子，IXU的尺寸是128 X 128像素，而最大分層深度變成5。當split_flag的值為“I”時，尺寸為2NX2N像素的⑶被分成多個⑶，其下一層且尺寸為NXN。
[0133]另外，⑶被劃分成預測單元扔，？I是作為幀內(nèi)預測或幀間預測的處理單元的區(qū)域(圖片單元中圖像的部分區(qū)域)，并且還被劃分成變換單元(幾)，幾是作為正交變換的處理單元的區(qū)域(圖片單元中圖像的部分區(qū)域目前，除了 4X4和8X8正交變換，冊系統(tǒng)還可以執(zhí)行16X16和32X32正交變換。
[0134]就像在以上的系統(tǒng)，在⑶被定義并且各種類型的處理以⑶為單位執(zhí)行的編碼系統(tǒng)的情況下，考慮撕系統(tǒng)的宏塊對應于[⑶、塊(子塊)對應于⑶。此外，考慮撕系統(tǒng)的運動補償塊對應于但是，由于⑶具有分層結(jié)構(gòu)，因此其最上層[⑶的尺寸通常設置得比抓系統(tǒng)的宏塊大，例如，128X128像素。
[0135]因此，下文，假設[⑶也包括系統(tǒng)的宏塊并且⑶也包括系統(tǒng)的塊(子塊即，在以下描述中使用的“塊”指示圖片中的任何部分區(qū)域，并且對塊的尺寸、形狀、特性等沒有限制。換句話說，任何區(qū)域(處理單元)，例如幾、？13⑶、⑶、[⑶、子塊、宏塊或者片，都包括在“塊”中。當然，除這些區(qū)域之外的部分區(qū)域(處理單元)也包括在其中。必要的時候，適當?shù)卦谙拗瞥叽缁蛱幚韱卧那闆r下給出說明。
[0136]接下來，將描述關于本技術的基本技術要素。
[0137][量化矩陣]
[0138]就像在-(:中一樣，正交變換系數(shù)的量化對冊中的每個正交變換處理單元執(zhí)行。量化矩陣用于量化，但量化矩陣是為每個尺寸的正交變換處理單元準備的。但是，例如，當諸如16乂 16矩陣或32X32矩陣的大量化矩陣被發(fā)送時，存在編碼效率降低的問題。
[0139]這里，如圖3所說明的，大量化矩陣(或者大于預定尺寸的量化矩陣)，例如16X16矩陣或32X32矩陣，以8X8的尺寸發(fā)送并且被適用于每個正交變換尺寸的零階保持上采樣。另外，00分量單獨地發(fā)送到對其應用上采樣的矩陣。
[0140]在冊VI如圖4至7所說明的，關于量化矩陣的信息(縮放列表)發(fā)送到序列參數(shù)集(--)或者圖片參數(shù)集。圖4和5是說明序列參數(shù)集實例的圖。圖6和7是說明圖片參數(shù)集實例的圖。
[0141][去塊過濾器]
[0142]就像在撕中一樣，去塊過濾器在中的運動補償回路中定義。去塊過濾器執(zhí)行過濾處理，以減少在塊邊界發(fā)生的塊失真。
[0143]即，在去塊過濾處理，塊邊界被檢測，過濾器的類型或強度、偏移量等是基于在塊邊界的量化參數(shù)等決定的，由此執(zhí)行過濾處理。
[0144][模式選擇]
[0145]但是，選擇適當?shù)念A測模式以便在抓和編碼系統(tǒng)中實現(xiàn)更高的編碼效率是很重要的。
[0146]作為選擇方法的例子，可以使用被稱為11.264/1^26-4/^0的聯(lián)合模型(廁)的參考軟件中實現(xiàn)的方法(可以在 111:1:1)://11)1101116.沾丨.(16/8116111-1118/1:1111/111(16^.卜飽獲得)。
[0147]廁軟件使模式?jīng)Q定方法能夠從高復雜度模式和低復雜度模式這兩種模式當中選擇，這些模式將在以下描述。任何模式下，都為每種預測模式“10(16”計算成本函數(shù)值，并且最小化成本函數(shù)值的預測模式被選作用于塊或宏塊的最優(yōu)模式。
[0148]在高復雜度模式下，成本函數(shù)由以下表達式(1)表示。
[0149]0081: (10(16 ^ ^ ) =0+人氺尺…⑴
[0150]這里，“ ^ ”代表用于編碼塊或宏塊的候選模式的通用集合，而“0”代表在預測模式下編碼被執(zhí)行時解碼圖像與輸入圖像之間的能量差。“、”代表作為量化參數(shù)的函數(shù)給出的拉格朗日倍數(shù)?！?”代表在該模式下編碼被執(zhí)行時包括正交變換系數(shù)在內(nèi)的總編碼量。
[0151]即，為了在高復雜度模式下執(zhí)行編碼，需要更大計算量，因為暫時的編碼處理需要在所有候選模式下都執(zhí)行一遍，以計算參數(shù)0和尺。
[0152]在低復雜度模式下，成本函數(shù)由以下表達式(2)表示。
[0153]0081: (10(16 ^ ^ ) = 0+0^20118111: ^68(161-8(2)
[0154]這里，“0”代表預測圖像與輸入圖像之間的能量差并且與高復雜度模式不同?！啊弊鳛榱炕瘏?shù)0？的函數(shù)給出，而“0621(161*811:”是關于諸如運動矢量或模式之類屬于首部的信息的編碼量，不包括正交變換系數(shù)。
[0155]即，在低復雜度模式下，雖然有必要對相應的候選模式執(zhí)行預測過程，但是，由于無需獲得解碼圖像，因此沒必要執(zhí)行編碼過程。因而，低復雜度模式可以利用比高復雜度模式更低的計算量來實現(xiàn)。
[0156][正交變換跳過]
[0157]順便提一下，非專利文檔2建議的“幀內(nèi)變換跳過”技術在標準中被采用。正交變換跳過(變換跳過)是略去(即，跳過)正交變換處理的技術。
[0158]一般而言，正交變換處理是對每塊的圖像數(shù)據(jù)(差異圖像數(shù)據(jù))執(zhí)行，以便把塊中的空間域信息轉(zhuǎn)換成頻率域信息，由此允許塊中的系數(shù)集中到較低的頻率，因此有可能增加偏置。因而，編碼效率提高。
[0159]但是，還可以考慮:根據(jù)塊中的設計，這種偏置不太有可能發(fā)生的情況。例如，與自然圖像相比，灰度或強邊很容易在諸如⑶圖像或字幕的人工圖像中出現(xiàn)。為此，高頻成分很容易出現(xiàn)，并且即使執(zhí)行正交變換處理偏置也不可能出現(xiàn)。因此，通過允許在這種塊中跳過正交變換處理，有可能進一步提高編碼效率。
[0160]另外，在以下的描述，正交變換處理的跳過被稱為正交變換跳過(變換跳過)，并且對其應用正交變換跳過的塊也被稱為正交變換跳過塊。此外，對其不應用正交變換跳過(執(zhí)行正交變換)的塊也被稱為非正交變換跳過塊。
[0161]這種技術，首先，指示正交變換跳過(變換跳過)是否可以在序列中應用的標記被發(fā)送到序列參數(shù)集(--)。
[0162]標記發(fā)送到序列參數(shù)集(393),如圖5 所說明的，這個標記是指示是否許可/禁用正交變換跳過(?拙的跳過許可信息。
[0163]這個跳過許可信息是例如用戶等設置的。當這個值為1時，正交變換跳過可以應用到4X4的亮度正交變換塊、或者4X4的色度正交變換塊。
[0164]然后,對每個塊確定正交變換跳過的開/關，并且發(fā)送其開/關的標記。
[0165][編碼效率]
[0166]不管正交變換的這種跳過控制，統(tǒng)一執(zhí)行熵編碼過程、量化處理、回路過濾處理等。即，就像非正交變換跳過塊一樣，熵編碼過程、量化處理、回路過濾處理等也對正交變換跳過塊執(zhí)行。
[0167]但是，量化矩陣是關于頻率域的加權系數(shù)。即，量化矩陣設計成應用到正交變換系數(shù)塊。從而，當這種量化矩陣應用到具有空間域值(差異圖像數(shù)據(jù))的塊時，編碼效率會降低。即，圖像質(zhì)量會退化。
[0168]此外，如上所述，正交變換跳過應用到其中高頻成分易于出現(xiàn)的圖像。因此，存在圖像在正交變換跳過塊上的內(nèi)容與非正交變換跳過塊上的內(nèi)容有很大區(qū)別的高可能性。即，塊失真在正交變換跳過塊與非正交變換跳過塊之間的邊界很容易發(fā)生。
[0169]因此，就像其它邊界一樣，當去塊過濾處理對正交變換跳過塊與非正交變換跳過塊之間的邊界執(zhí)行時，編碼效率會降低。即，圖像質(zhì)量會退化。
[0170]〔根據(jù)正交變換跳過的控制〕
[0171]因而，根據(jù)當前塊是否是正交變換跳過(了以仙作謂級如)塊，編碼過程被控制。更具體而言，編碼過程的量化處理(逆量化處理)和去塊處理被控制。
[0172][量化處理的控制]
[0173]例如，在量化處理的情況下，量化處理是利用量化矩陣、對其中正交變換執(zhí)行的非正交變換跳過塊執(zhí)行的，以及量化處理是利用一個加權系數(shù)代替量化矩陣、對其中正交變換被跳過的正交變換跳過塊執(zhí)行的。即，作為當前塊的正交變換跳過塊的所有系數(shù)都是利用這一個加權系數(shù)量化的。
[0174]其條件在圖8說明。例如，如圖8所說明的，量化就像現(xiàn)有技術中那樣利用量化矩陣對非正交變換跳過塊(正交變換系數(shù)矩陣)執(zhí)行。
[0175]另一方面，4X4正交變換跳過塊(正交變換前的差值的矩陣)利用加權系數(shù)矩陣量化，該加權系數(shù)矩陣是通過一個加權系數(shù)的量化獲得的。當然，真正的計算方法是任意的，但基本執(zhí)行與使用加權系數(shù)矩陣等效的計算。
[0176]加權系數(shù)是任意的。例如，加權系數(shù)可以包括標量值。例如，量化矩陣的％分量可以是加權系數(shù)。量化矩陣是關于頻率域的加權系數(shù)，但％分量既是關于頻率域的值也是關于空間域的值。如果只存在具有這些特性的量化矩陣的％分量，即使量化被應用到正交變換跳過塊的每個系數(shù)也不可能導致編碼效率的降低，其中所述系數(shù)是關于空間域的值。
[0177]這種情況下，如圖8所說明的，IX:分量從量化矩陣提取，并且加權系數(shù)矩陣通過以4X4重新布置提取的IX:分量而生成，由此利用該加權系數(shù)矩陣量化4X4正交變換跳過塊(正交變換前的差值的矩陣)。
[0178]另外，例如，與量化矩陣不同，加權系數(shù)可以任意生成。生成加權系數(shù)的方法是任意的。即使這種情況下，如圖8所說明的，加權系數(shù)矩陣也是通過以4X4重新布置加權系數(shù)而生成的，由此利用該加權系數(shù)矩陣量化4X4正交變換跳過塊(正交變換前的差值的矩陣以這種方式，例如，與另外的部分相比，只有對其應用正交變換跳過塊的一部分(例如，06圖像)易于獨立于量化矩陣而利用加權系數(shù)來控制，以提高圖像質(zhì)量等。
[0179]另外，這種情況下，加權系數(shù)可以以相同方式計算，使得編碼側(cè)的值與解碼側(cè)的值相同，并且可以從編碼側(cè)發(fā)送到解碼側(cè)。
[0180]在發(fā)送加權系數(shù)的情況下，當跳過許可信息的值是許可正交變換跳過的值(例如，1)時，應用到正交變換跳過塊的標量量化值(加權系數(shù))被傳送。為此，參考圖4至7描述的序列參數(shù)集和圖片參數(shù)集如下改變。
[0181]作為第一個變化，跳過許可信息比量化矩陣(8081111^1181:)更早發(fā)送。
[0182]作為第二個變化,跳過許可信息還發(fā)送到？？3，使得就解析而言獨立于？？3。
[0183]即，8？8如圖9和10所說明的那樣配置，？？8如圖11和12所說明的那樣配置。
[0184]另外，利用例如應用到位于當前塊外圍的外圍塊的量化的量化矩陣的IX:分量，力口權系數(shù)可以通過平均值等的計算生成。這種計算方法是任意的，并且可以不是平均值。
[0185]即使這種情況下，如圖8所說明的，加權系數(shù)矩陣也是通過以4X4重新布置加權系數(shù)生成的，由此利用加權系數(shù)矩陣來量化4X4正交變換跳過塊(正交變換前的差值的矩陣)。以這種方式，加權系數(shù)是利用外圍塊的量化矩陣計算的，并且因此還有可能容易地在解碼側(cè)以與編碼側(cè)相同方式計算加權系數(shù)。即，加權系數(shù)的發(fā)送可以略去，編碼效率可以提高那個比率。
[0186][去塊過濾器的控制]
[0187]接下來將描述去塊過濾器的控制。為了讓正交變換跳過提高包括⑶圖像或字幕的區(qū)域的編碼效率，考慮塊失真有可能發(fā)生在正交變換跳過塊與非正交變換跳過塊之間的邊界。
[0188]因而，執(zhí)行正交變換跳過塊與非正交變換跳過塊是否跨塊邊界彼此接觸的檢測，并且按以下方式對正交變換跳過塊與非正交變換跳過塊之間的邊界執(zhí)行去塊過濾器的強度調(diào)整，以便使去塊過濾容易執(zhí)行。
[0189]例如，當去塊過濾處理應用到正交變換跳過塊與非正交變換跳過塊之間的邊界時，充當塊邊界強度的邊界強度(匕)的值設置成“+1”。通過以這種方式增加匕值，進行控制，以便應用更強的過濾。即，更強的去塊過濾可以應用到正交變換跳過塊與非正交變換跳過塊之間的邊界。另外，代替把匕值設置成+1，138值可以固定到例如2等大值。
[0190]此外，例如，過濾器強度調(diào)整是根據(jù)諸如匕值、0和的參數(shù)來執(zhí)行的，但是強過濾器可以應用到正交變換跳過塊與非正交變換跳過塊之間的邊界，而不考慮這種過濾器強度的控制結(jié)果。因而，有可能對正交變換跳過塊與非正交變換跳過塊之間的邊界更直接地應用強去塊過濾器。
[0191]另外，例如，與@和化相比，正交變換跳過塊與非正交變換跳過塊之間的邊界可以設置為較小的偏移量。因而，有可能對正交變換跳過塊與非正交變換跳過塊之間的邊界容易地應用去塊過濾器。
[0192]通過如上所述應用去塊過濾器的強度調(diào)整，有可能對正交變換跳過塊與非正交變換跳過塊之間的邊界容易地應用去塊過濾器、并且提高要輸出的圖像壓縮信息的效率。
[0193]另外，如上所述地考慮應用去塊過濾器的多種方法，可以結(jié)合多種方法使用。當然，除以上所述的那些方法之外的方法也可以包括在此類方法中。
[0194][正交變換跳過等的配置實例]
[0195]圖13是說明正交變換跳過單元121等的主要配置實例的框圖。
[0196]如圖13所說明的，正交變換跳過單元121配置為包括跳過編碼單元131和跳過確定單元132。
[0197]當前塊是4X4塊時，跳過編碼單元131從正交變換單元104獲取當前塊的正交變換系數(shù)和正交變換前的差值。不應用正交變換跳過的情況下，跳過編碼單元131利用所提供的正交變換系數(shù)執(zhí)行編碼過程，生成其成本函數(shù)值。此外，在應用正交變換跳過的情況下，跳過編碼單元131利用所提供的正交變換前的差值執(zhí)行編碼過程，生成其成本函數(shù)值。跳過編碼單元131把成本函數(shù)值提供給跳過確定單元132。
[0198]另外，當前塊比4X4塊大時，跳過編碼單元131略去這種處理。這種情況下，跳過確定單元132向正交變換單元104提供發(fā)布執(zhí)行正交變換的指令的控制信號。正交變換單元104基于該控制執(zhí)行當前塊的正交變換。
[0199]跳過確定單元132從無損編碼單元106獲取指示是否許可正交變換處理的跳過的跳過許可信息這種跳過許可信息6^16(1^1^)是事先由例如用戶等設置的、并且存儲在無損編碼單元106。跳過確定單元132向正交變換單元104提供指示是否許可對應于跳過許可信息6118)316(1^188)的正交變換跳過的控制信號。
[0200]例如，當跳過許可信息指示正交變換跳過(例如，值為1)被許可時，跳過確定單元132向正交變換單元104提供許可正交變換跳過的控制信號。此外，當跳過許可信息指示正交變換跳過(例如，值為0)被禁用時，跳過確定單元132向正交變換單元104提供禁止正交變換跳過的控制信號。
[0201]此外，跳過確定單元132基于跳過編碼單元131提供的成本函數(shù)值確定最優(yōu)模式。即，它確定是否對當前塊應用正交變換跳過。跳過確定單元132向正交變換單元104、量化單元105、去塊過濾器111、逆量化單元108及逆正交變換單元109提供所確定的結(jié)果(指示確定的最優(yōu)模式的信息)作為控制信號。
[0202]此外，跳過確定單元132生成用于識別所確定的結(jié)果(正交變換跳過是否應用到當前塊)的跳過標識信息并且向無損編碼單元106提供和發(fā)送該跳過標識信息。
[0203]關于從計算單元103獲取的正交變換前的差值，正交變換單元104生成在所有模式下都沒有被從跳過編碼單元131提供的控制信號禁用的當前塊的正交變換系數(shù)和正交變換前的差值。正交變換單元104把生成的當前塊的正交變換系數(shù)和正交變換前的差值提供給跳過編碼單元131。另外，當正交變換跳過被控制信號禁用時，正交變換單元104僅把當前塊的正交變換系數(shù)提供給跳過編碼單元131。
[0204]如上所述，當在正交變換跳過單元121中確定了模式時，正交變換單元104獲取從跳過確定單元132提供的控制信號并且根據(jù)該控制執(zhí)行指定模式的處理。即，正交變換單元104執(zhí)行或跳過正交變換處理。執(zhí)行的情況下，正交變換單元向量化單元105提供正交變換系數(shù)，而跳過的情況下，向量化單元105提供正交變換前的差值。
[0205]以這種方式，正交變換單元104可以必要時適當?shù)貓?zhí)行正交變換，以抑制編碼效率的降低，因此有可能抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0206]另外，正交變換單元104保持所有模式下要提供給跳過編碼單元131的當前塊的正交變換系數(shù)和正交變換前的差值，并且根據(jù)這些系數(shù)和值，可以根據(jù)跳過確定單元132提供的控制信號，選擇在一個模式下提供給量化單元105的正交變換系數(shù)和正交變換前的差值。因而，有可能略去該處理并減小負載。
[0207]如圖13所說明的，量化單元105配置為包括量化矩陣設置單元141、加權系數(shù)生成單元142和量化處理單元143。
[0208]量化矩陣設置單元141向加權系數(shù)生成單元142提供量化矩陣，該量化矩陣是由用戶等設置的。
[0209]加權系數(shù)生成單元142獲取從跳過確定單元132提供的控制信號。加權系數(shù)生成單元142基于該控制信號的控制向量化處理單元143提供量化矩陣或加權系數(shù)。
[0210]例如，當不應用正交變換跳過時，加權系數(shù)生成單元142向量化處理單元143提供量化矩陣，該量化矩陣在控制信號指定的模式下從量化矩陣設置單元141提供。
[0211]此外，例如，當應用正交變換跳過時，加權系數(shù)生成單元142生成加權系數(shù)并且把生成的加權系數(shù)提供給量化處理單元143。如上所述，生成加權系數(shù)的方法是任意的。例如，除了量化矩陣設置單元141提供的量化矩陣之外，從量化矩陣設置單元141提供的量化矩陣提取的％分量可以設置為加權系數(shù)，還可以設置另一個加權系數(shù)，并且加權系數(shù)可以從外圍塊的量化矩陣的IX:分量計算。
[0212]量化處理單元143利用從加權系數(shù)生成單元142提供的量化矩陣或加權系數(shù)以及從速率控制單元117提供的量化參數(shù)等，量化從正交變換單元104提供的正交變換系數(shù)或正交變換前的差值。
[0213]即，當正交變換系數(shù)從正交變換單元104提供時，量化處理單元143利用量化矩陣、量化參數(shù)等量化當前塊的正交變換系數(shù)。此外，當正交變換前的差值從正交變換單元104提供時，量化處理單元143利用加權系數(shù)、量化參數(shù)等量化當前塊的正交變換前的差值。
[0214]量化處理單元143把量化系數(shù)提供給無損編碼單元106和逆量化單元108。此外，必要時，量化處理單元143把關于例如加權系數(shù)等的量化參數(shù)提供和發(fā)送到無損編碼單元106。
[0215]因而，量化處理單元143可以適當?shù)貓?zhí)行量化，以便抑制圖像質(zhì)量退化。從而，圖像編碼設備100可以抑制由于編碼/解碼造成的圖像質(zhì)量退化。換句話說，圖像編碼設備100可以提聞編碼效率。
[0216]另外，量化處理單元143可以向逆量化單元108提供:量化矩陣或被應用到量化處理的加權系數(shù)，連同例如量化系數(shù)。
[0217]另外，類似于逆量化單元108和逆正交變換單元109的處理單元也在以下描述的圖像解碼設備中形成，因此其描述也適用于逆量化單元108和逆正交變換單元109，因此對逆量化單元108和逆正交變換單元109的具體描述將不給出。
[0218]如圖13所說明的，去塊過濾器111配置為包括邊界確定單元151、強度調(diào)整單元152以及過濾單元153。
[0219]邊界確定單元151獲取從跳過確定單元132提供的關于當前塊的控制信號。另夕卜，邊界確定單元151獲取識別正交變換跳過是否應用到當前塊的外圍塊的跳過標識信息
。邊界確定單元151基于這種信息確定當前塊邊界是否是正交變換跳過塊與非正交變換跳過塊之間的邊界，并且把指示所確定的結(jié)果的控制信號提供給強度調(diào)整單元152。
[0220]強度調(diào)整單元152生成各種參數(shù)，諸如88值、0和化，并且基于這些值和從邊界確定單元151提供的控制信號來確定去塊過濾器的強度。即，當前塊邊界不是正交變換跳過塊與非正交變換跳過塊之間的邊界時，強度調(diào)整單元152基于各種參數(shù)的值(諸如生成的88值、0、13和化)確定去塊過濾器的強度。此外，當前塊邊界是正交變換跳過塊與非正交變換跳過塊之間的邊界時，例如，強度調(diào)整單元152還以如上所述任何方式基于控制信號使過濾器強度變強。
[0221]以這種方式，強度調(diào)整單元152通知過濾單元153所設定的過濾器強度。
[0222]利用強度調(diào)整單元152提供的過濾器強度，過濾單元153對計算單元110提供的塊邊界的去塊前過濾器像素值丨丨1丨61~ 1)1x61執(zhí)行去塊過濾處理。過濾單元153向幀存儲器112提供去塊后的過濾器像素值以存儲在其中。這種信息在幀內(nèi)或幀間預測處理時使用。
[0223]因而，去塊過濾器111可以對正交變換跳過塊與非正交變換跳過塊之間的邊界執(zhí)行過濾器處理，使更強的去塊過濾器被應用。從而，圖像質(zhì)量退化被進一步抑制。即，圖像編碼設備100可以抑制由于編碼/解碼造成的圖像質(zhì)量退化。換句話說，圖像編碼設備100可以提聞編碼效率。
[0224]〔編碼過程流程〕
[0225]接下來，描述如上所述由圖像編碼設備100執(zhí)行的個別處理操作流程。首先，將參考圖14的流程圖描述編碼過程流程實例。
[0226]在步驟3101，無損編碼單元106基于用戶的指令等生成指示是否許可正交變換處理的跳過的跳過許可信息。例如，跳過許可信息

發(fā)送至I』8？80
[0227]在步驟3102，八/0轉(zhuǎn)換器101對輸入的圖像執(zhí)行八/0轉(zhuǎn)換。在步驟3103，屏幕重新布置緩沖區(qū)102存儲通過八/0轉(zhuǎn)換獲得的圖像并且把相應的圖片從顯示次序重新布置成編碼次序。在步驟3104，幀內(nèi)預測單元114在幀內(nèi)預測模式下執(zhí)行幀內(nèi)預測處理。
[0228]在步驟3105，運動預測/補償單元115執(zhí)行幀間運動預測處理，其中運動預測或運動補償是在幀間預測模式下執(zhí)行的。
[0229]在步驟3106，預測圖像選擇單元116基于從幀內(nèi)預測單元114和運動預測/補償單元115輸出的每個成本函數(shù)值確定最優(yōu)模式。即，預測圖像選擇單元116選擇由幀內(nèi)預測單元114生成的預測圖像和運動預測/補償單元115生成的預測圖像之一
[0230]在步驟3107，計算單元103計算通過步驟3103的處理獲得的重新布置的圖像與通過步驟3106的處理選擇的預測圖像之間的差異。與原始圖像數(shù)據(jù)相比，差異數(shù)據(jù)的數(shù)據(jù)量減少了。從而，與圖像被直接編碼的情況相比，數(shù)據(jù)量可以壓縮。
[0231]在步驟3108，正交變換跳過單元121執(zhí)行正交變換跳過控制處理。
[0232]在步驟3109，根據(jù)步驟3108的處理結(jié)果，正交變換單元104對由步驟3107處理生成的差異信息執(zhí)行正交變換處理。
[0233]在步驟3110，根據(jù)步驟3108的處理結(jié)果，利用從速率控制單元117提供的量化參數(shù)，量化單元105量化通過步驟3109處理獲得的正交變換系數(shù)或正交變換前的差值。
[0234]通過步驟3110的處理被量化的差異信息是如下本地解碼的。即，在步驟3111，根據(jù)步驟3108的處理結(jié)果，逆量化單元108對通過步驟3111的處理生成的量化系數(shù)(也稱為量化系數(shù))執(zhí)行逆量化，其中量化系數(shù)具有對應于量化單元105的那些特性。在步驟3112，根據(jù)步驟3108的處理結(jié)果，逆正交變換單元109對通過步驟3111的處理獲得的正交變換系數(shù)或正交變換前的差值執(zhí)行逆正交變換。
[0235]由于步驟3111和步驟3112中的每個處理操作的描述對應于要在解碼過程執(zhí)行的類似處理操作，因此其具體描述將不給出。
[0236]在步驟3113，計算單元110把預測圖像添加到本地解碼的差異信息，以生成本地解碼圖像(對應于輸入到計算單元103的圖像的圖像)。
[0237]在步驟3114，根據(jù)步驟3108的處理結(jié)果，去塊過濾器111適當?shù)貙νㄟ^步驟3113的處理獲得的本地解碼圖像執(zhí)行去塊過濾處理。
[0238]在步驟3115，幀存儲器112存儲接受通過步驟3114進行的去塊過濾處理的解碼圖像。另外，不接受由去塊過濾器111過濾的圖像也從計算單元110提供并存儲在幀存儲器112 中。
[0239]在步驟3116，無損編碼單元106通過步驟3110編碼量化系數(shù)。即，針對對應于差異圖像的數(shù)據(jù)執(zhí)行諸如可變長度編碼或計算編碼的無損編碼。
[0240]此外，這個時候，無損編碼單元106編碼關于通過步驟3106選擇的預測圖像的預測模式的信息，并且把編碼信息添加到通過編碼差異圖像獲得的編碼數(shù)據(jù)。即，無損編碼單元106還編碼諸如從幀內(nèi)預測單元114提供的最優(yōu)幀內(nèi)預測模式信息或者根據(jù)從運動預測/補償單元115提供的最優(yōu)幀間預測模式信息的信息，并且把編碼信息添加到編碼數(shù)據(jù)。
[0241]另外，無損編碼單元106還適當?shù)鼐幋a關于正交變換或量化的信息并且把編碼信息添加到編碼數(shù)據(jù)。
[0242]在步驟3117，累積緩沖區(qū)107累積通過步驟3116獲得的編碼數(shù)據(jù)。在累積緩沖區(qū)107中累積的編碼數(shù)據(jù)被適當?shù)刈x出并通過傳輸路徑或記錄介質(zhì)發(fā)送到解碼側(cè)。
[0243]在步驟3118，速率控制單元117基于通過步驟3117在累積緩沖區(qū)107中累積的編碼數(shù)據(jù)的編碼量(生成的編碼量)來控制量化單元105的量化操作速率，以便不造成上溢或下溢。此外，速率控制單元117把關于量化參數(shù)的信息提供給量化單元105。
[0244]當步驟3118的處理結(jié)束時，編碼過程完成。
[0245]〔正交變換跳過控制處理流程〕
[0246]接下來，將參考圖15的流程圖描述在圖14的步驟3108執(zhí)行的正交變換跳過控制處理流程實例。
[0247]當正交變換跳過控制處理開始時，跳過確定單元132在步驟3131基于跳過許可信息確定是否許可執(zhí)行正交變換跳過的模式。
[0248]當確定許可模式時，處理前進到步驟3132。在步驟3132，跳過確定單元132允許模式被包括在候選模式中。當步驟3132的處理結(jié)束時,處理前進到步驟3134。
[0249]另外，當在步驟3132中確定不許可模式時，處理前進到步驟3133。在步驟3133，跳過確定單元132從候選模式中除去模式。當步驟3133的處理結(jié)束時，處理前進到步驟3134。
[0250]在步驟3134，跳過編碼單元131選擇未處理的候選模式。在步驟3135，跳過編碼單元131確定選定模式是否是正交變換跳過模式。
[0251]當確定是正交變換跳過模式時，處理前進到步驟3136。在步驟3136，跳過編碼單元131生成加權系數(shù)。當步驟3136的處理結(jié)束時，處理前進到步驟3139。
[0252]當在步驟3135確定選定模式不是正交變換跳過模式時，處理前進到步驟3137。在步驟3137，跳過編碼單元131對當前塊執(zhí)行正交變換。
[0253]在步驟3138，跳過編碼單元131獲取量化矩陣。
[0254]在步驟3139，跳過編碼單元131利用正交變換單元104獲得的正交變換系數(shù)或者正交變換前的差值來執(zhí)行編碼操作，并且生成關于當前模式的成本函數(shù)值。
[0255]在步驟3140，跳過編碼單元131確定是否所有候選模式都已經(jīng)被處理。當存在未處理的候選模式時，處理返回步驟3134并且重復執(zhí)行后續(xù)的處理操作。即，步驟3134至步驟3140中的每個處理都重復地執(zhí)行，直到關于所有模式都生成成本函數(shù)值。
[0256]當步驟3140中確定所有候選模式都被處理時，處理前進到步驟3141。在步驟3141，跳過確定單元132基于成本函數(shù)值確定最優(yōu)模式。
[0257]在步驟3142，跳過確定單元132基于最優(yōu)模式生成跳過標識信息
[0258]當步驟3142的處理結(jié)束時，正交變換跳過控制處理完成，并且處理返回到圖14所說明的處理操作。
[0259]〔正交變換處理流程〕
[0260]接下來，將參考圖16的流程圖描述要在圖14的步驟3108執(zhí)行的正交變換處理流程實例。
[0261]當正交變換處理開始時，正交變換單元104在步驟3151中確定由跳過確定單元132選擇的最優(yōu)模式是否是正交變換跳過模式。當確定是正交變換跳過
模式時，處理前進到步驟3152。
[0262]在步驟3152，正交變換單元104跳過正交變換處理并且輸出當前塊的正交變換前的差值。當步驟3152的處理結(jié)束時，處理返回圖14所說明的過程。
[0263]另外，在圖16的步驟3151，當確定不是正交變換跳過模式時，處理前進到步驟3153。
[0264]在步驟3153，正交變換單元104對當前塊的正交變換前的差值執(zhí)行正交變換。在步驟3154，正交變換單元104輸出所獲得的正交變換系數(shù)。當步驟3154的處理結(jié)束時，處理返回圖14所說明的過程。
[0265]〔量化處理流程〕
[0266]接下來，將參考圖17的流程圖描述要在圖14的步驟3110執(zhí)行的量化處理流程實例。
[0267]當量化處理開始時，加權系數(shù)生成單元142在步驟3161中確定由跳過確定單元132選擇的最優(yōu)模式是否是正交變換跳過模式。當確定是正交變換跳過
模式時，處理前進到步驟3162。
[0268]在步驟3162，加權系數(shù)生成單元142生成加權系數(shù)。當步驟3162的處理結(jié)束時，處理前進到步驟3164。
[0269]另外，當在步驟3161中確定不是正交變換跳過模式時，處理前進到步驟3163。
[0270]在步驟3163，加權系數(shù)生成單元142獲取量化矩陣。當步驟3163的處理結(jié)束時，處理前進到步驟3164。
[0271]在步驟3164，量化處理單元143利用在步驟3162中生成的加權系數(shù)和在步驟8163中獲取的量化矩陣，執(zhí)行當前塊的正交變換系數(shù)或者正交變換前的系數(shù)差值的量化。在步驟3165，量化處理單元143把量化矩陣和所應用的加權系數(shù)提供并發(fā)送到無損編碼單元106。當步驟3165的處理結(jié)束時，量化處理完成，并且處理返回圖14所說明的過程。
[0272]〔去塊過濾處理流程〕
[0273]接下來，將參考圖18的流程圖描述要在圖14的步驟3114執(zhí)行的去塊過濾處理流程實例。
[0274]當去塊過濾處理開始時，強度調(diào)整單元152在步驟3171中獲取模式信息、運動矢量、參考幀信息等。
[0275]在步驟3172，強度調(diào)整單元152檢測IV、等的塊邊界。在步驟3173，強度調(diào)整單元152基于這種信息確定88值。在步驟3174，通過把兩個塊的量化參數(shù)定義為職」3和職—0，強度調(diào)整單元152計算塊邊界中的量化參數(shù)(邊界職)，如以下等式(3)那樣。
[0276]0？ =?..(3)
[0277]在步驟3175，強度調(diào)整單元152利用如上所述計算的邊界確定偏移量值和^0偏移量值。在步驟3176，強度調(diào)整單元152通過處理計算出的偏移量值而確定過濾器(強、弱和關閉
[0278]在步驟3177，邊界確定單元151從跳過確定單元132獲取當前塊的控制信號并且從無損編碼單元106獲取外圍塊的跳過標識信息。
[0279]在步驟3178，邊界確定單元151確定當前塊邊界是否是正交變換跳過塊與非正交變換跳過塊之間的邊界。
[0280]當確定當前塊邊界是正交變換跳過塊與非正交變換跳過塊之間的邊界時，處理前進到步驟3179。在步驟3179，強度調(diào)整單元152調(diào)整去塊過濾器的強度。當步驟3179的處理結(jié)束時，處理前進到步驟3180。
[0281]另外，當步驟5178中確定當前塊邊界不是正交變換跳過塊與非正交變換跳過塊之間的邊界時，處理前進到步驟3180。
[0282]在步驟3180，過濾單元153執(zhí)行去塊過濾處理。當步驟3180的處理結(jié)束時，去塊過濾處理完成，并且處理返回圖14所說明的過程。
[0283]通過執(zhí)行如上所述的每個處理操作，圖像編碼設備100可以抑制編碼效率的下降，并且抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0284]〈2丨第二實施例?
[0285]〔圖像解碼設備〕
[0286]接下來，將描述如上所述編碼的編碼數(shù)據(jù)(編碼流)的解碼。圖19是說明對應于圖1圖像編碼設備100的圖像解碼設備的主要配置實例的框圖。
[0287]圖19說明的圖像解碼設備200利用對應于其編碼系統(tǒng)的解碼方法解碼由圖像編碼設備100生成的編碼數(shù)據(jù)。
[0288]如圖19所說明的，圖像解碼設備200包括累積緩沖區(qū)201、無損解碼單元202、逆量化單元203、逆正交變換單元204、計算單元205、去塊過濾器206、屏幕重新布置緩沖區(qū)207，以及0/八轉(zhuǎn)換器208。此外，圖像解碼設備200還包括幀存儲器209、選擇單元210、幀內(nèi)預測單元211、運動預測丨補償單元212以及選擇單元213。
[0289]此外，圖像解碼設備200還包括逆正交變換跳過單元221。
[0290]累積緩沖區(qū)201還是接收發(fā)送到其的編碼數(shù)據(jù)的接收單元。累積緩沖區(qū)201接收并累積發(fā)送到其中的編碼數(shù)據(jù)，并且在預定時間把編碼數(shù)據(jù)提供給無損解碼單元202。解碼必需的信息片段，諸如預測模式信息，被添加到編碼數(shù)據(jù)。無損解碼單元202利用對應于無損編碼單元106的編碼系統(tǒng)的方法，解碼從累積緩沖區(qū)201提供并由圖1的無損編碼單元106編碼的信息。無損解碼單元202把通過解碼獲得的差異圖像的量化系數(shù)數(shù)據(jù)提供給逆量化單元203。
[0291]此外，無損解碼單元202確定是選擇了幀內(nèi)預測模式還是選擇了幀間預測模式作為最優(yōu)預測模式，并且把關于最優(yōu)預測模式的信息提供給幀內(nèi)預測單元211和運動預測/補償單元212之一，其中最優(yōu)預測模式是被確定要選擇的模式。換句話說，例如，在圖像編碼設備100中選擇幀內(nèi)預測模式作為最優(yōu)預測模式的情況下，關于最優(yōu)預測模式的信息提供給幀內(nèi)預測單元211。此外，例如，在圖像編碼設備100中選擇幀間預測模式作為最優(yōu)預測模式的情況下，關于最優(yōu)預測模式的信息提供給運動預測/補償單元212。
[0292]另外，無損解碼單元202向逆量化單元203提供諸如像量化矩陣或量化參數(shù)的信息，這些信息是逆量化所需的。另外，無損解碼單元202向逆正交變換跳過單元221提供諸如像跳過許可信息或跳過標識信息
的信息，這些信息是逆正交變換所需的。
[0293]利用對應于圖1量化單元105的量化方法的方法，逆量化單元203基于逆正交變換跳過單元221的控制，對通過無損解碼單元202的解碼獲得的量化系數(shù)數(shù)據(jù)執(zhí)行逆量化。另外，逆量化單元203是類似于圖1圖像編碼設備100的逆量化單元108的處理單元。即，逆量化單元203的描述也可以適用于逆量化單元108的描述。但是，有必要通過依賴于設備適當?shù)馗淖兤鋪碜x取數(shù)據(jù)的輸入/輸出目的地。
[0294]逆量化單元203向逆正交變換單元204提供所獲得的系數(shù)數(shù)據(jù)。
[0295]基于逆正交變換跳過單元221的控制，必要時，利用對應于圖1中正交變換單元104的正交變換方法的方法，逆正交變換單元204執(zhí)行對要從逆量化單元203提供的系數(shù)數(shù)據(jù)(正交變換系數(shù)或者正交變換前的差值)的逆正交變換。另外，逆正交變換單元204是類似于圖1圖像編碼設備100的逆正交變換單元109的處理單元。即，逆正交變換單元204的描述也可以適用于逆正交變換單元109的描述。但是，有必要通過依賴于設備適當?shù)馗淖兤鋪碜x取數(shù)據(jù)的輸入/輸出目的地。
[0296]通過圖像編碼設備100的逆正交變換處理，逆正交變換單元204獲得對應于正交變換之前的殘余數(shù)據(jù)的解碼殘余數(shù)據(jù)。通過逆正交變換獲得的解碼殘余數(shù)據(jù)被提供給計算單元205。另外，預測圖像通過選擇單元213從幀內(nèi)預測單元211或運動預測/補償單元212提供給計算單元205。
[0297]計算單元205把解碼殘余數(shù)據(jù)和預測圖像相加，并且獲得對應于預測圖像被圖像編碼設備100的計算單元103減去之前的圖像數(shù)據(jù)的解碼圖像數(shù)據(jù)。計算單元205把解碼圖像數(shù)據(jù)提供給去塊過濾器206。
[0298]去塊過濾器206對所提供的解碼圖像適當?shù)貓?zhí)行去塊過濾處理并且把它提供給屏幕重新布置緩沖區(qū)207。通過對解碼圖像執(zhí)行去塊過濾處理，去塊過濾器206除去解碼圖像的塊失真。另外，去塊過濾器206是類似于圖1圖像編碼設備100的去塊過濾器111的處理單元。
[0299]去塊過濾器206向屏幕重新布置緩沖區(qū)207和幀存儲器209提供過濾處理結(jié)果(過濾處理之后的解碼圖像)。此外，從計算單元205輸出的解碼圖像可以不經(jīng)過去塊過濾器206就提供給屏幕重新布置緩沖區(qū)207或幀存儲器209。換句話說，去塊過濾器206執(zhí)行的過濾處理可以被略去。
[0300]屏幕重新布置緩沖區(qū)207重新布置圖像。換句話說，對于圖1中屏幕重新布置緩沖區(qū)102的編碼次序重新布置的幀次序以原始顯示次序被重新布置。0/八轉(zhuǎn)換器2080/八轉(zhuǎn)換從屏幕重新布置緩沖區(qū)207提供的圖像并且把該圖像輸出到圖中未示出的顯示器，以在其上顯示該圖像。
[0301]幀存儲器209存儲所提供的解碼圖像并且在預定時間或者基于來自外部(諸如幀內(nèi)預測單元211或者運動預測/補償單元212)的請求把所存儲的解碼圖像作為參考圖像提供給選擇單元210。
[0302]選擇單元210選擇從幀存儲器209提供的參考圖像的供應目的地。在解碼幀內(nèi)編碼的圖像的情況下，選擇單元210把從幀存儲器209提供的參考圖像提供給幀內(nèi)預測單元211。此外，在解碼幀間編碼的圖像的情況下，選擇單元210把從幀存儲器209提供的參考圖像提供給運動預測/補償單元212。
[0303]向幀內(nèi)預測單元211提供的是適當?shù)貋碜詿o損解碼單元202的、指示幀內(nèi)預測模式的信息等，這種信息是通過解碼首部信息獲得的。以圖1幀內(nèi)預測單元114中所使用的幀內(nèi)預測模式，幀內(nèi)預測單元211利用從幀存儲器209獲取的參考圖像執(zhí)行幀內(nèi)預測，并且生成預測圖像。幀內(nèi)預測單元211把生成的預測圖像提供給選擇單元213。
[0304]運動預測丨補償單元212從無損解碼單元202獲取通過解碼首部信息獲得的信息(最優(yōu)預測模式信息、參考圖像信息，等等)。
[0305]以從無損解碼單元202獲取的最優(yōu)預測模式指示的幀間預測模式，運動預測/補償單元212利用從幀存儲器209獲取的參考圖像執(zhí)行幀間預測，并且生成預測圖像。
[0306]選擇單元213把來自幀內(nèi)預測單元211的預測圖像或者來自運動預測/補償單元212的預測圖像提供給計算單元205。此外，在計算單元205，利用運動矢量生成的預測圖像和來自逆正交變換單元204的解碼殘余數(shù)據(jù)(差異圖像信息)相加，并且原始圖像被解碼。換句話說，運動預測/補償單元212、無損解碼單元202、逆量化單元203、逆正交變換單元204和計算單元205也是利用運動矢量解碼編碼數(shù)據(jù)并且生成原始圖像的解碼單元。
[0307]逆正交變換跳過單元221通過無損解碼單元202獲取從編碼側(cè)提供的信息，并且基于該信息控制逆正交變換單元204中逆正交變換處理的執(zhí)行。此外，逆正交變換跳過單元221還控制由逆量化單元203進行的逆量化處理和由去塊過濾器206進行的去塊過濾處理。
[0308]因而，圖像解碼設備200可以適當?shù)亟獯a編碼數(shù)據(jù)。從而，圖像解碼設備200可以實現(xiàn)編碼效率下降的抑制，并且可以實現(xiàn)由于編碼/解碼造成的圖像質(zhì)量退化的抑制。
[0309]〔逆正交變換跳過單元等的配置實例〕
[0310]圖20是說明逆正交變換跳過單元221等的主要配置實例的框圖。
[0311]如圖20所說明的，逆正交變換跳過單元221配置為包括緩沖區(qū)231和控制信號生成單元232。
[0312]緩沖區(qū)231獲取并在無損解碼單元202中保持從編碼數(shù)據(jù)(位流)提取出的跳過許可信息或跳過標識信息(11-8118^01118^11)^18?)。1^51118緩沖區(qū)231在預定時間或者基于需求向控制信號生成單元232提供所保持的跳過許可信息或跳過標識信；窗、(11-8118^01118^11)^18?)。
[0313]控制信號生成單元232依賴于從1以11叫緩沖區(qū)231提供的跳過許可信息或跳過標識信息生成控制信號，并且把該控制信號提供給逆量化單元203、逆正交變換單元204和去塊過濾器206。
[0314]例如，當正交變換跳過被跳過許可信息禁用時，控制信號生成單元232如下方式提供控制信號。即，控制信號生成單元232提供指示逆量化單元203利用量化矩陣執(zhí)行逆量化的控制信號。此外，控制信號生成單元232提供指示逆正交變換單元204執(zhí)行逆正交變換的控制信號。另外，控制信號生成單元232提供通知去塊過濾器206當前塊不是正交變換跳過塊的控制信號。
[0315]此外，例如，當正交變換跳過被跳過許可信息許可、并且通過跳過標識信息叫)識別出在當前塊編碼時沒有應用正交變換跳過時，控制信號生成單元232以如下方式提供控制信號。即，控制信號生成單元232提供指示逆量化單元203利用量化矩陣執(zhí)行逆量化的控制信號。此外，控制信號生成單元232提供指示逆正交變換單元204執(zhí)行逆正交變換的控制信號。另外，控制信號生成單元232提供通知去塊過濾器206當前塊不是正交變換跳過塊的控制信號。即，控制信號生成單元232可以把跳過標識信息叫)作為控制信號提供給去塊過濾器206。
[0316]此外，例如，當正交變換跳過被跳過許可信息許可、并且通過跳過標識信息識別出在當前塊編碼時應用正交變換跳過時，控制信號生成單元232以如下方式提供控制信號。即，控制信號生成單元232提供指示逆量化單元203利用加權系數(shù)執(zhí)行逆量化的控制信號。此外，控制信號生成單元232提供指示逆正交變換單元204不執(zhí)行逆正交變換的控制信號。另外，控制信號生成單元232提供通知去塊過濾器206當前塊是正交變換跳過塊的控制信號。即，控制信號生成單元232可以把跳過標識信息作為控制信號提供給去塊過濾器206。
[0317]如圖20所說明的，逆量化單元203配置為包括量化矩陣緩沖區(qū)241、加權系數(shù)生成單元242、量化參數(shù)緩沖區(qū)243，以及逆量化單元244。
[0318]量化矩陣緩沖區(qū)241獲取并保持由無損解碼單元202從編碼數(shù)據(jù)的等提取的量化矩陣。量化矩陣從編碼側(cè)發(fā)送并且在編碼時使用。量化矩陣緩沖區(qū)241在預定時間或者按需把所保持的量化矩陣提供給加權系數(shù)生成單元242。另外，當編碼時應用的加權系數(shù)從編碼側(cè)發(fā)送時，量化矩陣緩沖區(qū)241獲取加權系數(shù)并且把它提供給加權系數(shù)生成單元242，就像在量化矩陣中一樣。
[0319]加權系數(shù)生成單元242獲取從控制信號生成單元232提供的控制信號。加權系數(shù)生成單元242基于控制信號的控制掌握正交變換跳過是否在編碼時應用到當前塊，基于所掌握的信息把量化矩陣或加權系數(shù)提供給逆量化單元244。
[0320]例如，當正交變換跳過在編碼時沒有應用到當前塊時，加權系數(shù)生成單元242向逆量化單元244提供由控制信號指定的模式的量化矩陣，這個量化矩陣是從量化矩陣緩沖區(qū)241提供的。
[0321]此外，例如，當正交變換跳過在編碼時應用到當前塊時，加權系數(shù)生成單元242生成加權系數(shù)并且把生成的加權系數(shù)提供給逆量化單元244。
[0322]另外，生成加權系數(shù)的方法是任意的，只要該方法與編碼側(cè)的方法相同就可以。即，例如，在圖像編碼設備100，當加權系數(shù)生成單元142提取從量化矩陣設置單元141提供的量化矩陣的IX:分量并且把提取出的IX:分量設置成加權系數(shù)時，加權系數(shù)生成單元242也類似地提取從量化矩陣緩沖區(qū)241提供的量化矩陣的IX:分量并且也把提取出的IX:分量設置成加權系數(shù)。
[0323]另外，在圖像編碼設備100，當加權系數(shù)生成單元142設置與從量化矩陣設置單元141提供的量化矩陣分離的加權系數(shù)時，加權系數(shù)生成單元242也以相同方式設置與從量化矩陣緩沖區(qū)241提供的量化矩陣分離的加權系數(shù)。同時，當編碼時應用的加權系數(shù)從編碼側(cè)提供時，應用該加權系數(shù)。
[0324]另外，在圖像編碼設備100，當加權系數(shù)生成單元142從外圍塊的量化矩陣的％分量計算加權系數(shù)時，加權系數(shù)生成單元242也以相同方式從外圍塊的量化矩陣的IX:分量計算加權系數(shù)。
[0325]量化參數(shù)緩沖區(qū)243獲取并保持由無損解碼單元202從編碼數(shù)據(jù)的等提取出的量化參數(shù)。量化參數(shù)從編碼側(cè)提供并且在編碼時使用。量化參數(shù)緩沖區(qū)243在預定時間或者按需把所保持的量化參數(shù)提供給逆量化單元244。
[0326]逆量化單元244獲取由無損解碼單元202從編碼數(shù)據(jù)提取的量化系數(shù)。逆量化單元244還從量化參數(shù)緩沖區(qū)243獲取量化參數(shù)并且從加權系數(shù)生成單元242獲取量化矩陣或加權系數(shù)。逆量化單元244利用它們逆量化量化系數(shù)。這種逆量化的方法對應于圖像編碼設備100的量化處理單元143進行量化的方法。
[0327]即，例如，當正交變換跳過在編碼時沒有應用到當前塊時，逆量化單元利用量化矩陣和量化參數(shù)來逆量化量化系數(shù)，并且把所獲得的正交變換系數(shù)提供給逆正交變換單元204。
[0328]此外，例如，當正交變換跳過在編碼時應用到當前塊時，逆量化單元利用加權系數(shù)和量化參數(shù)來逆量化量化系數(shù)，并且把所獲得的正交變換前的差值提供給逆正交變換單元204。
[0329]因而，逆量化單元203可以利用對應于編碼時的量化方法適當?shù)貓?zhí)行逆量化。即，逆量化單元203可以通過圖像編碼設備100的量化單元105適當?shù)啬媪炕炕禂?shù)。從而，逆量化單元203可以適當?shù)貓?zhí)行逆量化，以便抑制圖像質(zhì)量退化。因此，圖像解碼設備200可以實現(xiàn)由于編碼/解碼造成的圖像質(zhì)量退化的抑制。換句話說，圖像解碼設備200可以提高編碼效率。
[0330]基于從控制信號生成單元232提供的控制信號，逆正交變換單元204對從逆量化單元244提供的逆量化系數(shù)適當?shù)貓?zhí)行逆正交變換。
[0331]例如，當前塊是在編碼時沒有對其應用正交變換跳過的塊時，逆正交變換單元204基于控制信號掌握從逆量化單元244提供的逆量化系數(shù)是正交變換系數(shù)。即，以對應于圖像編碼設備100中正交變換單元104的正交變換的方法，逆正交變換單元204對正交變換系數(shù)執(zhí)行逆正交變換。因而，充當頻率域的值的逆量化系數(shù)被轉(zhuǎn)換成充當空間域的值的正交變換前的差值(解碼殘余數(shù)據(jù)逆正交變換單元204把解碼殘余數(shù)據(jù)提供給計算單元205。
[0332]此外，例如，當前塊是在編碼時對其應用正交變換跳過的塊時，逆正交變換單元204基于控制信號掌握從逆量化單元244提供的逆量化系數(shù)是正交變換前的差值。逆正交變換單元204把充當空間域的值的正交變換前的差值提供給計算單元205，作為解碼殘余數(shù)據(jù)。
[0333]因而，以對應于編碼時的正交變換方法，逆正交變換單元204可以適當?shù)貓?zhí)行逆正交變換。即，例如，逆正交變換單元204可以對圖像編碼設備100的正交變換單元104生成的系數(shù)執(zhí)行適當?shù)奶幚?。從而，逆正交變換單元204可以適當?shù)貓?zhí)行逆正交變換，以便抑制圖像質(zhì)量退化。因此，圖像解碼設備200可以實現(xiàn)由于編碼/解碼造成的圖像質(zhì)量退化的抑制。換句話說，圖像解碼設備200可以提高編碼效率。
[0334]如圖20所說明的，去塊過濾器206配置為包括邊界確定單元251、強度調(diào)整單元252，以及過濾單元253。
[0335]邊界確定單元251是類似于圖像編碼設備100的邊界確定單元151的處理單元。指示正交變換跳過是否在編碼時應用到當前塊的控制信號(例如，跳過標識信息
)提供給邊界確定單元251。邊界確定單元251保持這種信息，確定當前塊邊界是否是正交變換跳過塊與非正交變換跳過塊之間的邊界，并且把指示所確定結(jié)果的控制信號提供給強度調(diào)整單元252。
[0336]強度調(diào)整單元252是類似于圖像編碼設備100的強度調(diào)整單元152的處理單元。強度調(diào)整單元252生成各種參數(shù)，諸如88值、0、13和化，并且基于這種值和從邊界確定單元251提供的控制信號確定去塊過濾器的強度。即，當前塊邊界不是正交變換跳過塊與非正交變換跳過塊之間的邊界時，強度調(diào)整單元252基于諸如生成的88值、0、13和化的各種參數(shù)確定去塊過濾器的強度。此外，當前塊邊界是正交變換跳過塊與非正交變換跳過塊之間的邊界時，強度調(diào)整單元252附加地基于控制信號，例如以類似于以上方式的任何方式，強化過濾器的強度。與強度調(diào)整單元152相同的方法可以用于過濾器強度的確定和調(diào)整。即，在編碼時所應用的過濾器強度被再現(xiàn)。
[0337]強度調(diào)整單元252通知過濾單元253以這種方式設置的過濾器強度。
[0338]過濾單元253是類似于圖像編碼單元100的過濾單元153的處理單元。利用從強度調(diào)整單元252提供的過濾器強度，過濾單元253對從計算單元205提供的塊邊界的解碼殘余數(shù)據(jù)(去塊前的過濾器像素值)執(zhí)行去塊過濾處理。過濾單元253向屏幕重新布置緩沖區(qū)207或幀存儲器209提供去塊后的過濾器像素值，這個值是執(zhí)行去塊過濾處理獲得的。
[0339]因而，去塊過濾器206可以對正交變換跳過塊與非正交變換跳過塊之間的邊界執(zhí)行過濾處理，應用更強的去塊過濾。從而，圖像質(zhì)量退化被進一步抑制。即，圖像解碼設備200可以實現(xiàn)由于編碼/解碼造成的圖像質(zhì)量退化的抑制。換句話說，圖像解碼設備200可以實現(xiàn)編碼效率的提聞。
[0340]〔解碼過程流程〕
[0341]接下來，將描述由以上所述圖像解碼設備200執(zhí)行的每個處理操作流程。首先，將參考圖21所說明的流程圖描述解碼過程的流程實例。
[0342]當解碼操作開始時，累積緩沖區(qū)201在步驟3201中累積所發(fā)送的編碼數(shù)據(jù)。在步驟3202，無損解碼單元202解碼從累積緩沖區(qū)201提供的位流(編碼的差異圖像信息)。即，圖1所說明的無損編碼單元106編碼的I圖片、？圖片和8圖片被解碼。
[0343]此時，包括在位流中的除差異圖像信息之外的各種類型的信息，諸如首部信息，也被解碼。在步驟3203，逆正交變換跳過單元221的緩沖區(qū)231獲取在無損解碼單元202中提取出的跳過標識信息逆正交變換跳過單元221的控制信號生成單元232基于跳過標識信息叫)生成控制信號并且把該控制信號提供給加權系數(shù)生成單元242、逆正交變換單元204和邊界確定單元251。
[0344]在步驟3204，逆量化單元203逆量化通過步驟3202的處理操作獲得的量化系數(shù)。在步驟3205，必要時，逆正交變換單元204對在步驟3204中獲得的逆量化系數(shù)執(zhí)行逆正交變換。
[0345]在步驟3206，幀內(nèi)預測單元211或運動預測/補償單元212執(zhí)行預測處理操作并且生成預測圖像。即，預測處理操作是在無損解碼單元202確定、并在編碼時應用的預測模式下執(zhí)行的。更具體而言，例如，當幀內(nèi)預測在編碼時被應用時，幀內(nèi)預測單元211在幀內(nèi)預測模式下生成預測圖像，其中幀內(nèi)預測模式在編碼時被認為是最優(yōu)模式。此外，例如，當幀間預測在編碼時被應用時，運動預測/補償單元212在幀間預測模式下生成預測圖像，其中幀間預測模式在編碼時被認為是最優(yōu)模式。
[0346]在步驟3207，計算單元205把在步驟3206生成的預測圖像添加到通過步驟3205中的逆正交變換獲得的差異圖像信息。以這種方式，原始圖像被解碼。
[0347]在步驟3208，去塊過濾器206對在步驟3205獲得的解碼圖像適當?shù)貓?zhí)行去塊過濾處理操作。另外，去塊過濾處理操作是以與編碼時的去塊過濾處理操作相同方式執(zhí)行的。即，操作是與參考圖18所說明流程圖描述操作的情況下相同方式執(zhí)行的，因此去塊過濾處理的具體描述不給出。換句話說，以上參考圖18所說明流程圖的描述可以用作去塊過濾處理的描述。
[0348]在步驟3209，屏幕重新布置緩沖區(qū)207重新布置在步驟3208中接受過濾處理的圖像。即，圖像編碼設備100的屏幕重新布置緩沖區(qū)102以原始顯示次序重新布置幀次序，以進行編碼。
[0349]在步驟3210，0/八轉(zhuǎn)換器208對其中幀次序在步驟3209中重新布置的圖像執(zhí)行0/八轉(zhuǎn)換。圖像輸出到顯示器(未說明)并且圖像被顯示。
[0350]在步驟3211，幀存儲器209存儲在步驟3209中接受過濾處理的圖像。
[0351]當步驟3211的處理操作結(jié)束時，解碼過程完成。
[0352]〔逆量化處理流程〕
[0353]接下來，將參考圖22所說明的流程圖描述在圖21的步驟3204執(zhí)行的逆量化處理流程實例。
[0354]當逆量化處理開始時，加權系數(shù)生成單元242在步驟3231中確定當前塊是否是正交變換跳過模式。
[0355]當確定當前塊是正交變換跳過模式時，處理前進到步驟3232。在步驟3232，加權系數(shù)生成單元242生成加權系數(shù)。當步驟3232的處理結(jié)束時，處理前進到步驟3234。
[0356]另外，當在步驟3231中確定當前塊不是正交變換跳過模式時，處理前進到步驟3233。在步驟3233，加權系數(shù)生成單元242通過了以]!8:^0:011? 1奸1叫緩沖區(qū)231獲取量化矩陣。當步驟3233的處理結(jié)束時，處理前進到步驟3234。
[0357]在步驟3234，逆量化單元244利用在步驟3232中生成的加權系數(shù)或者在步驟8233中生成的量化矩陣執(zhí)行逆量化。
[0358]當步驟3234的處理結(jié)束時，逆量化處理完成，并且處理返回圖21所說明的處理操作。
[0359]〔逆正交變換處理流程〕
[0360]接下來，將參考圖23所說明的流程圖描述在圖21的步驟3205執(zhí)行的逆正交變換處理流程實例。
[0361]當逆正交變換處理開始時，逆正交變換單元204在步驟3251中確定當前塊是否是正交變換跳過模式。
[0362]當確定當前塊是正交變換跳過(了以仙作謂級如)模式時，逆正交變換處理結(jié)束，并且處理返回圖21所說明的處理操作。
[0363]另外，當在步驟3251中確定當前塊不是正交變換跳過模式時，處理前進到步驟5252。在步驟3252，逆正交變換單元204對逆量化系數(shù)執(zhí)行逆正交變換。
[0364]當步驟3252的處理結(jié)束時，逆正交變換處理完成，處理返回圖21所說明的處理操作。
[0365]通過執(zhí)行如上所述的每個處理操作，圖像解碼設備200可以正確地解碼編碼數(shù)據(jù)，由此實現(xiàn)編碼效率下降的抑制和由于編碼/解碼造成的圖像質(zhì)量退化的抑制。
[0366]另外，上文描述了跳過許可信息被發(fā)送到但是發(fā)送跳過許可信息的方法不限于此。
[0367]例如，當在一個序列中存在正交變換跳過無效的諸如像自然圖像的圖片、和諸如包括包含對其應用正交變換跳過的塊的字幕的圖像的圖片時，如果正交變換跳過在序列單元中許可，則跳過標識信息必須發(fā)送到該序列中所有圖片的所有塊，因此是低效的。如果正交變換跳過被禁用，則不需要發(fā)送跳過標識信息。為此，特別地，隨著包含對其應用正交變換跳過的塊的圖片比例變小，存在不必要地降低編碼效率的問題。
[0368]因而，正交變換跳過不限于在序列單元中許可，優(yōu)選地在比序列單元更小的單元中許可。為此，跳過許可信息可以發(fā)送到位流的任何位置，諸如像除之外的？？3或片首部。當然，跳過許可信息可以與位流分開發(fā)送。
[0369]另外，上文描述了跳過許可信息由用戶等設置，但是跳過許可信息的設置方法(許可/禁用正交變換跳過的控制方法)是任意的。例如，跳過許可信息可以根據(jù)要編碼的圖像內(nèi)容來設置。
[0370]例如，當正交變換跳過在初始狀態(tài)下被禁用并且在電子節(jié)目指南伍⑶)等中檢測到節(jié)目類型時，如果檢測到的類型是動畫，則優(yōu)選地設置跳過許可信息611^16(1^1^)，以便許可正交變換跳過。因而，正交變換跳過的許可/禁用的控制可以基于移動圖像之外的信息來執(zhí)行。
[0371]此外，例如，01(商業(yè)廣播)的檢測在許可正交變換跳過的狀態(tài)下(例如，節(jié)目是動畫的情況下)執(zhí)行，正交變換跳過可以在⑶廣播期間被禁用，并且正交變換跳過可以在節(jié)目廣播期間被許可。因而，正交變換跳過的許可/禁用的控制可以基于分析移動圖圖像的內(nèi)容所獲得的分析結(jié)果來執(zhí)行。
[0372]當然，接受這種控制處理的內(nèi)容(移動圖像)不限于廣播內(nèi)容。例如，它可以是記錄在諸如像硬盤或(注冊商標)盤的記錄介質(zhì)中的內(nèi)容、以及通過諸如互聯(lián)網(wǎng)的電通信線路從外部下載(或者流化再現(xiàn)的)內(nèi)容。
[0373]?3^第三實施例?
[0374]〔跳過許可信息的發(fā)送控制〕
[0375]但是，如上所述，正交變換跳過可以應用到4X4亮度正交變換塊(亮度成分的I'⑴或者4X4色度正交變換塊(色度成分的抑。
[0376]相反，例如，XII的最小尺寸由在冊％等中被稱為
8126^1111111182的語法指定。例如，在圖4所說明的序列參數(shù)集(393),111的最小尺寸是由從底部起第六行中指不的指定的。
[0377]當指定的最小尺寸大于 4X4 時，4X4的正交變換塊(1⑴不存在。即，這種情況下，不可能應用正交變換跳過。從而，不需要發(fā)送指示是否許可/禁用正交變換跳過的跳過許可信息(1:1-8118^01-111^8^11)^61181316(1^18?)。換句話說，當不管IV的最小尺寸大于4X4而發(fā)送跳過許可信息時，信息量不必要地增加，因此編碼效率會不必要地降低。
[0378]這里，如上所述，當I口的最小尺寸大于4X4時，跳過許可信息的發(fā)送可以被略去。換句話說，跳過許可信息可以只在幾的最小尺寸是4X4^或者更小)的情況下(只在存在具有尺寸4X4的幾的情況下)發(fā)送。
[0379]〔序列參數(shù)集中的發(fā)送〕
[0380]跳過許可信息的發(fā)送方法是任意的。例如，跳過許可信息可以發(fā)送到序列參數(shù)集(--)。這種情況下的語法的一些例子在圖24中說明。
[0381]如圖24所說明的，指示正交變換塊(111)的最小尺寸的1310(^1^8126^111111182 在圖 24 中從頂部起第五行中設置。10^2^111111^1:1~8118？01~1113100^8126^1111111182是指示對應于的序列中正交變換塊(111)的最小尺寸的語法。
[0382]相反，如在圖24中從底部起第五行中所指示的，確認幾的最小尺寸是否是 4^4(1:^(1082^111-1:1^118:^0:011310(31^8126^1111182 = = 0))，并且跳過許可信息(1:1-8118^01-111^8^11)^61181316(1^18?)只在！'II的最小尺寸是4X4的情況下設置，如在圖24中從底部起第四行中所指示的。即，跳過許可信息只在幾的最小尺寸是4X4的情況下發(fā)送；否則，它被控制成使其不發(fā)送。另外，這種情況下，跳過許可信息6118)316(1^18?)只在中發(fā)送。此外，當跳過許可信息被設置時，該值是基于諸如任何信息(如，用戶指令)設置的。
[0383]此外，跳過許可信息的發(fā)送控制是由無損編碼單元106執(zhí)行的。從而，圖像編碼設備100可以僅必要時發(fā)送跳過許可信息，由此抑制編碼效率的下降，并且抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0384][到圖片參數(shù)集的發(fā)送]
[0385]此外，跳過許可信息可以發(fā)送到例如圖片參數(shù)集⑴--)。這種情況下的？？3的語法的一些例子在圖25中說明。
[0386]如圖25所說明的，指示正交變換塊(111)的最小尺寸的卯1310(^1^8126^111111182是在圖25中從頂部起第三行中設置的。卯131001^8126^111111182是指示對應于？?3的圖片中正交變換塊(111)的最小尺寸的語法。即，即使當上述皿82 在中設置時，￠￠8^10^2^111111^1:1-8118^01-1113100^8126^1111111182也可以在？?3中設置。但是，這種情況下，跳過許可信息(1:1-8118^01-111^8^11)^61181316(1^18?)只在？？3 中發(fā)送。
[0387]相反，如在圖25中從頂部起第四行中指示的，確認的最小尺寸是否是4X4 (1^ (￠￠8^10^2^111111^1:1-8118^01-1113100^8126^1111111182 = = 0)),并且跳過許可信息(1:1-8118^01-111^8^11)^61181316(1^18?)只在！'II的最小尺寸是4X4的情況下設置，如在圖25中從頂部起第五行中指示的。即，即使這種情況下，跳過許可信息也只在幾的最小尺寸是4X4的情況下發(fā)送；否則，它被控制成使其不發(fā)送。當跳過許可信息6^16(1^1^)被設置時，該值是基于諸如任何信息(像用戶指令)設置的。
[0388]即使這種情況下，跳過許可信息的發(fā)送控制也是由無損編碼單元106執(zhí)行的。從而，圖像編碼設備100可以僅必要時發(fā)送跳過許可信息，由此抑制編碼效率的下降，并且抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0389]另外，？？8中卯皿82 的語法的位置不限于圖25的例子。卯皿82可以在跳過許可信息(1:1-8118^01-111^8^11)^61181316(1^18?)位置前面的位置設置。因而，它使得和？？3就解析而言是獨立的，并且它們都可以獨立地被解碼。
[0390][發(fā)送到片首部]
[0391]另外，雖然沒有說明，但是跳過許可信息可以發(fā)送到例如片首部。
[0392]在片首部，沒有設置。在片中，設置該片所屬的圖片。即，引用的卯皿82。
[0393]在片首部，跳過許可信息是如下設置的。
[0394]1？ (￠￠8^10^2^111111^1:1-8118^01-1113100^8126^1111111182 = = 0)(
[0395]1:1-8118001-111^8^11)^61181316(1^18?
[0396]I
[0397]即，這種情況下，跳過許可信息以與？？3情況下相同方式設置。但是，這種情況下，跳過許可信息只在片首部中發(fā)送。
[0398]即使這種情況下，跳過許可信息也只在切的最小尺寸是4X4的情況下發(fā)送；否貝1]，它被控制成使其不發(fā)送。此外，當跳過許可信息被設置時，該值是基于諸如任何信息(像用戶指令)設置的。另外，跳過許可信息的發(fā)送控制是由無損編碼單元106執(zhí)行的。
[0399]從而，圖像編碼設備100可以僅必要時發(fā)送跳過許可信息，由此抑制編碼效率的降低，并且抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0400] 如上所述，跳過許可信息的發(fā)送控制可以在任意單元中執(zhí)行。當然，它可以是除上述實例之外的單元。
[0401〕〔跳過許可信息生成處理流程〕
[0402]接下來，將參考圖26中的流程圖描述跳過許可信息生成處理流程實例，該處理如上所述控制跳過許可信息的發(fā)送。
[0403]如果在正交變換處理之前執(zhí)行，這個處理操作可以在任何時間執(zhí)行，但是，例如，它可以在圖14中編碼過程的步驟3101中執(zhí)行。
[0404]當跳過許可信息生成處理開始時，無損編碼單元106在步驟3301中設置1082—
[0405]在步驟3302，無損編碼單元106確定正交變換塊(幾)的最小尺寸是否是4父4 (或更小)。
[0406]如果“0”被步驟3301 的處理設置成的值，并且確定正交變換塊(幾)的最小尺寸是4X4^或更小)，則處理前進到步驟3303。
[0407]在步驟3303，無損編碼單元106設置跳過許可信息
。當步驟3303的處理結(jié)束時，跳過許可信息生成處理完成，并且處理操作返回例如圖14中的編碼過程。
[0408]另外，如果“1”或更大被圖26的步驟3301的處理設置成
13100^8126.1111111182的值，并且確定正交變換塊(1⑴的最小尺寸大于4 X 4，則步驟3303的處理(跳過許可信息的設置)被略去，跳過許可信息生成處理完成，并且處理操作返回例如圖14中的編碼過程。
[0409]如上所述，通過跳過許可信息生成處理，圖像編碼設備100可以抑制編碼效率的下降，并且抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0410]另外，圖26說明了當跳過許可信息發(fā)送到時跳過許可信息生成處理流程的描述，但是該處理即使在跳過許可信息發(fā)送到？？3或片首部的時候也可以應用。在跳過許可信息發(fā)送到？？3或片首部的情況下，由于處理操作的流程基本上與參考圖26所描述的處理操作的流程相似(除了在步驟3301中設置的語法是？？3的卯13100^8126^1111111182之外)，因此對其的描述將不給出。
[0411]〔圖像解碼設備中跳過許可信息的接收〕
[0412]當跳過許可信息的發(fā)送在圖像編碼設備100中如上所述地被控制時，存在跳過許可信息被發(fā)送的情況和跳過許可信息不被發(fā)送的情況。因此，以類似方式，圖像解碼設備200可以根據(jù)正交變換塊(幾)的最小尺寸的設置控制是否接受(是否接收)跳過許可信息。因而，圖像解碼設備200可以抑制不必要等待時間(例如等待未發(fā)送的跳過許可信息的時間)的增加。
[0413]即，就像在圖像編碼設備一樣，參考發(fā)送到的
8126^1111111182 和發(fā)送到？？3 的卯丨0^—8丨皿82，圖像解碼設備200基于值(依賴于幾的最小尺寸是否是4X4〉控制是否接收跳過許可信息。例如，這種控制是由圖像解碼設備200的無損解碼單元202執(zhí)行的。
[0414]〔跳過許可信息接收處理流程〕
[0415]接下來，將參考圖27的流程圖描述跳過許可信息接收處理流程實例，該處理控制如上所述跳過許可信息的發(fā)送。這個處理操作可以在獲取跳過標識信息之前(例如，在圖21的步驟8203之前)執(zhí)行。
[0416]當跳過許可信息接收處理開始時，無損解碼單元202在步驟3321中接收1082—111111^1:1~8118？01~1113100^8126^11111111820在步驟3322，無損解碼單元202基于接收到的值確定IV的最小尺寸是否是4 X 4 (或更小)。
[041 7]如果皿82 的值是“0”并且確定 111 的最小尺寸是4 X 4 (或更小)，則處理前進到步驟3323。在步驟3323，無損解碼單元202執(zhí)行跳過許可信息的接收。當步驟3323的處理結(jié)束時，跳過許可信息接收處理完成，并且處理操作返回例如圖21中的解碼過程。
[0418]另外，如果在圖27 的步驟 3322 中皿82 的值是“ 1 ”或更大并且確定IV的最小尺寸大于4X4，則跳過許可信息接收處理完成，并且處理操作返回例如圖21中的解碼過程。
[0419]如上所述，通過跳過許可信息接收處理，圖像解碼設備200可以抑制編碼效率的下降，并且抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0420]另外，圖27說明了當跳過許可信息發(fā)送到時跳過許可信息接收處理的流的描述，并且該描述即使在跳過許可信息發(fā)送到？？3或片首部的時候也適用，因為處理操作的流程基本上與參考圖27描述的處理操作的流程相似(除步驟3321中接收的語法是？?3的￠￠8^10^2^111111^1:1-8118^01-1113100^8126^1111111182 之外)，因而對其的描述將不給出。
[0421]以上描述是基于冊編碼系統(tǒng)進行的，但是本技術的范圍不限于此，本技術可以應用到基于如非專利文檔2中建議的利用正交變換跳過的編碼系統(tǒng)的所有圖像信息編碼設備和解碼設備。
[0422]〈4第四實施例〉
[0423]〔對多圖像點編碼/多視點圖像解碼的應用〕
[0424]以上所述的處理操作序列可以應用到多視點圖像編碼/多視點圖像解碼。圖28說明了多視點圖像編碼系統(tǒng)的實例。
[0425]如圖28所說明的，多視點圖像包括來自多個視點的圖像，并且來自多個視點當中預定視點的圖像被指定為基本視圖圖像。來自基本視圖圖像之外的每個視點的圖像被看作非基本視圖圖像。
[0426]在執(zhí)行像圖28這種多視點圖像編碼的情況下，量化參數(shù)的差異可以在單個的視圖(相同的視圖)中取得。
[0427](1)基本視圖:
[0428](1-1)收？(基本視圖)=0111-1-611^.00？(基本視圖)-[⑶』？(基本視圖)
[0429](1-2)收？(基本視圖)=0111-1-6111:^011^0？(基本視圖)6V180118^011^0？(基本視圖)
[0430](1-3)收？(基本視圖)=0111-1-611^.00？(基本視圖)-81106.0？(基本視圖)
[0431](2)非基本視圖:
[0432](2-1)收？(非基本視圖)=0111-1-611^.00？(非基本視圖)-1X10？(非基本視圖)
[0433](2-2)收？(非基本視圖)=0111-1-0111:0？(非基本視圖)~？^6^1801180？(非基本視圖)
[0434](2-3)(1^ (非基本視圖)=⑶(非基本視圖)-31化6』？(非基本視圖)
[0435]在執(zhí)行多視點圖像編碼的情況下，量化參數(shù)的差異可以在單個的視圖(不同的視圖)中取得。
[0436](3)基本視圖/非基本視圖:
[0437](3-1)(1^(幀間視圖)=311(^0？(基本視圖(非基本視圖)
[0438](3-2)收？(幀間視圖)=[⑶(基本視圖)~1^？(非基本視圖)
[0439](4)非基本視圖/非基本視圖:
[0440](4-1)(1^(幀間視圖)=311⑶(非基本視圖1)-311⑶(非基本視圖
[0441](4-2)收？(幀間視圖)=[⑶(非基本視圖1)(非基本視圖1
[0442]這種情況下，以上所述的項⑴至⑷可以組合使用。例如，在非基本視圖，可以考慮以片級為基礎取得基本視圖與非基本視圖之間量化參數(shù)的差異的技術(組合使用3-1和2-3)和以1X1級為基礎取得基本視圖與非基本視圖之間量化參數(shù)的差異的技術(組合使用3-2和2-1)。從而，即使在執(zhí)行多視點編碼的情況下，也有可能通過重復應用差異來提高編碼效率。
[0443]類似于以上所述的技術，還有可能設置關于上述每個收？識別其值非0的收？是否存在的標記。
[0444][多視點圖像編碼設備]
[0445]圖29是說明執(zhí)行上述多視點圖像編碼的多視點圖像編碼設備的圖。如圖29所說明的，多視點圖像編碼設備600包括編碼單元601、編碼單元602以及多路復用器603。
[0446]編碼單兀601編碼基本視圖圖像并且生成基本視圖圖像編碼流。編碼單兀602編碼非基本視圖圖像并且生成非基本視圖圖像編碼流。多路復用器603多路復用在編碼單元601中生成的基本視圖圖像編碼流和在編碼單元602中生成的非基本視圖圖像編碼流，并且生成多視點圖像編碼流。
[0447]圖像編碼設備100 (圖1)可以應用到多視點圖像編碼設備600的編碼單元601和編碼單元602。這種情況下，多視點圖像編碼設備600設置由編碼單元601設置的量化參數(shù)與由編碼單元602設置的量化參數(shù)之間的差值，并且發(fā)送該差值。
[0448]此外，正交變換跳過處理可以在編碼單元601和編碼單元602中各自對每個視圖獨立地執(zhí)行。此外，量化處理、去塊過濾處理等也可以在編碼單元601和編碼單元602中各自對每個視圖獨立地執(zhí)行。這種情況下，諸如量化矩陣、各種標記和加權系數(shù)的信息包括在例如用于每個視圖的編碼流，因此信息從編碼單元601和編碼單元602提供給多路復用器603。所提供的信息在多路復用器603中多路復用，然后在被包括在多視點圖像編碼流中的狀態(tài)下發(fā)送到解碼側(cè)。
[0449]另外，關于一些或全部正交變換跳過處理、量化處理和去塊過濾處理，編碼單元601和編碼單元602某個的處理可以在另一個的處理中反映。另外，一些或全部信息，諸如包括跳過許可信息或跳過標識信息在內(nèi)的關于正交變換處理的跳過的信息、關于量化的信息以及關于去塊過濾器的信息，可以在編碼單元601和編碼單元602中共享。例如，對編碼單元601中的基本視圖圖像執(zhí)行正交變換跳過處理、量化處理和去塊過濾處理獲得的一些或全部處理后的結(jié)果(或者所獲得的信息等)可以提供給編碼單元602、并且在編碼單元602執(zhí)行非基本視圖圖像的這種處理操作中反映。當然，反過來，對編碼單元602中的非基本視圖圖像執(zhí)行正交變換跳過處理、量化處理和去塊過濾處理獲得的一些或全部處理后的結(jié)果(或者所獲得的信息等)可以提供給編碼單元601、并且在編碼單元601執(zhí)行的基本視圖圖像的這種處理操作中反映。
[0450][多視點圖像解碼設備]
[0451]圖30是說明執(zhí)行上述多視點圖像解碼的多視點圖像解碼設備的圖。如圖30所說明的，多視點圖像解碼設備610包括多路分解器611、解碼單元612以及解碼單元613。
[0452]多路分解器611解除多視點圖像編碼流的多路復用，其中基本視圖圖像編碼流和非基本視圖圖像編碼流被多路復用，并且提取基本視圖圖像編碼流和非基本視圖圖像編碼流。解碼單元612解碼由多路分解器611提取的基本視圖圖像編碼流并且獲得基本視圖圖像。解碼單元613解碼由多路分解器611提取的非基本視圖圖像編碼流并且獲得非基本視圖圖像。
[0453]圖像解碼設備200(圖19)可以應用到多視點圖像解碼設備610的解碼單元612和解碼單元613。這種情況下，多視點圖像解碼設備610的解碼單元612和解碼單元613利用多視點圖像編碼設備的編碼單元601設置的量化參數(shù)與編碼單元602設置的量化參數(shù)之間的差值設置量化參數(shù)，并且執(zhí)行逆量化。
[0454]此外，正交變換跳過處理可以在解碼單元612和解碼單元613中各自對每個視圖獨立地執(zhí)行。此外，逆量化處理、去塊過濾處理等也可以在解碼單元612和解碼單元613中各自對每個視圖獨立地執(zhí)行。這種情況下，諸如包括在多視點圖像編碼流中并且從編碼側(cè)發(fā)送的量化矩陣、各種標記和加權系數(shù)的信息在多路分解器611中對每個視圖分離，然后在被包括在用于每個視圖的編碼流中的狀態(tài)下提供給解碼單元612和解碼單元613。
[0455]另外，關于一些或全部逆正交變換跳過處理、逆量化處理和去塊過濾處理，解碼單元612和解碼單元613可以彼此反映。另外，一些或全部信息，諸如包括跳過許可信息或跳過標識信息在內(nèi)的關于逆正交變換處理的跳過的信息、關于逆量化的信息以及關于逆去塊過濾器的信息，可以在解碼單元612和解碼單元613中共享。例如，通過對解碼單元612中的基本視圖圖像編碼流執(zhí)行逆正交變換跳過處理、逆量化處理和去塊過濾處理獲得的一些或全部處理后的結(jié)果(或者所獲得的信息等)可以提供給解碼單元613、并且在解碼單元613執(zhí)行的非基本視圖圖像的這種處理操作中反映(例如，重復處理略去當然，反過來，通過對解碼單元613中的非基本視圖圖像執(zhí)行逆正交變換跳過處理、逆量化處理和去塊過濾處理獲得的一些或全部處理過的結(jié)果(或者所獲得的信息等)可以提供給解碼單元612、并且在解碼單元612執(zhí)行的基本視圖圖像的這種處理操作中反映(例如，重復處理略去)。
[0456]?5^第五實施例?
[0457]〔對分級圖像點編碼丨分級圖像解碼的應用〕
[0458]以上所述處理操作的序列可以應用到分級圖像編碼/分級圖像解碼。圖31說明了多視點圖像編碼系統(tǒng)的實例。
[0459]如圖31所說明的，分級圖像包括處于多個層(分辨率)中的圖像，并且多個分辨率中預定層的圖像被指定為基本層圖像。除基本層圖像之外的每層圖像被視為非基本層圖像。
[0460]在執(zhí)行如圖31所說明的分級圖像編碼(空間可伸縮性)的情況下，量化參數(shù)的差異可以在每一層(相同的層)中取得。
[0461](1)基本層:
[0462](1-1)收？(基本層)=0111-1-611^,00？(基本層)-1X^0？(基本層)
[0463](1-2)收？(基本層)=0111-1-6111:^011^0？(基本層)6V180118^011^0？(基本層)
[0464](1-3)收？(基本層)=0111-1-611^,00？(基本層)-511(36』？(基本層)
[0465](2)非基本層:
[0466](2-1)收？(非基本層)=0111-1-611^.00？(非基本層)-1X^0？(非基本層)
[0467](2-2)收？(非基本層)=0111-1-0111:0？(非基本層)~？^6^1801180？(非基本層)
[0468](2-3)收？(非基本層)=0111-1-6111:^011^0？(非基本層)~81106^0？(非基本層)
[0469]在分層編碼的情況下，量化參數(shù)的差異可以在每一層(不同的層)中取得。
[0470](3)基本層/非基本層:
[0471](3-1)(1^(幀間層)=311⑶基本層)-311⑶(非基本層)
[0472](3-2)收？(幀間層)=[⑶(基本層)-1X^0？(非基本層)
[0473](4)非基本層/非基本層
[0474](4-1)(1^ (幀間層)=311⑶(非基本層1)-311⑶(非基本層
[0475](4-2)收？(幀間層)=[⑶(非基本層1)-[⑶』？(非基本層
[0476]這種情況下，以上所述的項⑴至⑷可以組合使用。例如，在非基本層，可以考慮以片級為基礎取得基本層與非基本層之間量化參數(shù)的差異的技術(組合使用3-1和2-3)和以[⑶級為基礎取得基本層與非基本層之間量化參數(shù)的差異的技術(組合使用3-2和2-1)。從而，即使在執(zhí)行分層編碼的情況下也有可能通過重復應用差異來提高編碼效率。
[0477]類似于以上所述技術，還有可能設置關于上述每個收？識別其值非0的收？是否存在的標記。
[0478][分級圖像編碼設備]
[0479]圖32是說明執(zhí)行上述分級圖像編碼的分級圖像編碼設備的圖。如圖32所說明的，分級圖像編碼設備620包括編碼單元621、編碼單元622和多路復用器623。
[0480]編碼單元621編碼基本層圖像并且生成基本層圖像編碼流。編碼單元622編碼非基本層圖像并且生成非基本層圖像編碼流。多路復用器623多路復用在編碼單元621中生成的基本層圖像編碼流和在編碼單元622中生成的非基本層圖像編碼流，并且生成分級圖像編碼流。
[0481]圖像編碼設備100(圖1)可以應用到分級圖像編碼設備620的編碼單兀621和編碼單元622。這種情況下，分級圖像編碼設備620設置由編碼單元621設置的量化參數(shù)與由編碼單元622設置的量化參數(shù)之間的差值，并且發(fā)送該差值。
[0482]此外，正交變換跳過處理可以在編碼單元621和編碼單元622中各自對每一層獨立地執(zhí)行。此外，量化處理、去塊過濾處理等也可以在編碼單元621和編碼單元622中各自對每一層獨立地執(zhí)行。這種情況下，諸如量化矩陣、各種標記和加權系數(shù)的信息包括在例如用于每一層的編碼流，因此信息從編碼單元621和編碼單元622提供給多路復用器623。所提供的信息在多路復用器623中被多路復用，然后在包括在分級圖像編碼流中的狀態(tài)下發(fā)送到解碼側(cè)。
[0483]另外，關于一些或全部正交變換跳過處理、量化處理和去塊過濾處理，編碼單元621和編碼單元622某個的處理可以在另一個當中反映。另外，一些或全部信息，諸如包括跳過許可信息或跳過標識信息在內(nèi)的關于正交變換處理的跳過的信息、關于量化的信息以及關于去塊過濾器的信息，可以在編碼單元621和編碼單元622中共享。例如，對編碼單元621中的基本層圖像執(zhí)行正交變換跳過處理、量化處理和去塊過濾處理獲得的一些或全部處理后的結(jié)果(或者所獲得的信息等)可以提供給編碼單元622、并且在編碼單元622執(zhí)行的非基本層圖像的這種處理操作中反映(例如，重復處理略去當然，反過來，對編碼單元622中的非基本層圖像執(zhí)行正交變換跳過處理、量化處理和去塊過濾處理獲得的一些或全部處理后的結(jié)果(或者所獲得的信息等)可以提供給編碼單元621、并且在編碼單元621執(zhí)行的基本層圖像的這種處理操作中反映(例如，重復處理略去)。
[0484][分級圖像解碼設備]
[0485]圖33是說明執(zhí)行上述分級圖像解碼的分級圖像解碼設備的圖。如圖33所說明的，分級圖像解碼設備630包括多路分解器631、解碼單元632以及解碼單元633。
[0486]多路分解器631多路分解分級圖像編碼流，其中基本層圖像編碼流和非基本層圖像編碼流在其中被多路復用，并且提取基本層圖像編碼流和非基本層圖像編碼流。解碼單元632解碼多路分解器631提取的基本層圖像編碼流并且獲得基本層圖像。解碼單元613解碼多路分解器631提取的非基本層圖像編碼流并且獲得非基本層圖像。
[0487]圖像解碼設備200 (圖19)可以應用到分級圖像解碼設備630的解碼單元632和解碼單元633。這種情況下，分級圖像解碼設備630的解碼單元632和解碼單元633利用由分級圖像編碼設備620的編碼單元621設置的量化參數(shù)與編碼單元622設置的量化參數(shù)之間的差值設置量化參數(shù)，并且執(zhí)行逆量化。
[0488]此外，正交變換跳過處理可以在解碼單元632和解碼單元633中各自對每個視圖獨立地執(zhí)行。此外，逆量化處理、去塊過濾處理等也可以在解碼單元632和解碼單元633中獨立地執(zhí)行。這種情況下，諸如包括在分級圖像編碼流中并且從編碼側(cè)發(fā)送的量化矩陣、各種標記和加權系數(shù)的信息在多路分解器631中對每一層分離,然后在被包括在每一層的編碼流中的狀態(tài)下提供給解碼單元632和解碼單元633。
[0489]另外，關于一些或全部逆正交變換跳過處理、逆量化處理和去塊過濾處理，解碼單元632和解碼單元633可以彼此反映。另外，一些或全部信息，諸如包括跳過許可信息或跳過標識信息之內(nèi)的關于逆正交變換處理的跳過的信息、關于逆量化的信息以及關于逆去塊過濾器的信息，可以在解碼單元632和解碼單元633中共享。例如，通過對解碼單元632中的基本層圖像編碼流執(zhí)行逆正交變換跳過處理、逆量化處理和去塊過濾處理獲得的一些或全部處理后的結(jié)果(或者所獲得的信息等)可以提供給解碼單元633、并且在解碼單元633執(zhí)行的對非基本層圖像的這種處理操作中反映(例如，重復處理略去當然，反過來，通過對解碼單元633中的非基本層圖像執(zhí)行逆正交變換跳過處理、逆量化處理和去塊過濾處理獲得的一些或全部處理后的結(jié)果(或者所獲得的信息等)可以提供給解碼單元632、并且在解碼單元632執(zhí)行的對基本層圖像的這種處理操作中反映(例如，重復處理略去)。
[0490]此外，例如，通過諸如衛(wèi)星廣播、有線電視、互聯(lián)網(wǎng)或移動電話的網(wǎng)絡介質(zhì)，本技術可以應用到接收圖像信息(位流)的圖像編碼設備和圖像解碼設備，其中圖像信息是通過像在1？%、札261等中那樣諸如離散余弦變換的正交變換和運動補償來壓縮的。另外，本技術還可以應用到壓縮圖像信息在諸如光或磁盤和閃存存儲器的存儲介質(zhì)上被處理時所使用的圖像編碼設備和圖像解碼設備。另外，本技術還可以應用到包括在圖像編碼設備、圖像解碼設備等中的量化設備或逆量化設備。
[0491]〈6^第六實施例〉
[0492]〔計算機〕
[0493]以上所述處理操作序列可以由硬件執(zhí)行或者由軟件執(zhí)行。在處理操作序列由軟件執(zhí)行的情況下，構(gòu)成軟件的程序安裝到計算機中。這里，計算機的實例包括結(jié)合到專用硬件中的計算機、通過安裝各種程序而能夠執(zhí)行各種功能的通用個人計算機，等等。
[0494]圖34是說明計算機的硬件配置實例的框圖，在該計算機，上述處理操作序列由程序執(zhí)行。
[0495]圖34所說明的計算機800，中央處理單元(⑶⑴801、只讀存儲器￠01) 802和隨機存取存儲器(狀1)803通過總線804彼此連接。
[0496]輸入/輸出接口 810也連接到總線804。輸入/輸出接口 810連接到輸入單元811、輸出單元812、存儲單元813、通信單元814和驅(qū)動器815。
[0497]輸入單元811包括鍵盤、鼠標、麥克風、觸摸面板、輸入終端等。輸出單元812包括例如顯示器、揚聲器、輸出終端等。存儲單元813包括例如硬盤、狀1盤、非易失性存儲器等。通信單元814包括例如網(wǎng)絡接口。驅(qū)動器815驅(qū)動諸如磁盤、光盤、磁光盤或半導體存儲器的可移動介質(zhì)821。
[0498]具有上述配置的計算機，0^ 801可以例如通過輸入/輸出接口 810和總線804把存儲在存儲單元813中的程序加載到麵803中并執(zhí)行，由此執(zhí)行上述處理操作序列。讓0？^ 801執(zhí)行各種處理操作所必要的數(shù)據(jù)等也適當?shù)卮鎯υ跔? 803中。
[0499]計算機(或801)執(zhí)行的程序可以通過記錄在例如可移動介質(zhì)821中來應用，其中可移動介質(zhì)可以用作包裝介質(zhì)等。此外，程序可以通過諸如局域網(wǎng)、互聯(lián)網(wǎng)或數(shù)字衛(wèi)星廣播的有線或無線傳輸介質(zhì)提供。
[0500]計算機中，響應于可移動介質(zhì)821到驅(qū)動器815的附連，程序可以通過輸入/輸出接口 810安裝到存儲單元813中。程序還可以由通信單元814通過有線或無線傳輸介質(zhì)接收并且可以安裝到存儲單元813中?；蛘撸绦蚩梢蕴崆鞍惭b到802或存儲單元813中。
[0501]另外，計算機執(zhí)行的程序可以按本文解釋的時間次序或者以并行方式或者按需(諸如在它們被調(diào)用的時候)被處理。
[0502]另外，在本說明書，描述要記錄在記錄介質(zhì)中的程序的步驟不僅包括按本文所公開的時間次序執(zhí)行的處理操作，還包括以并行方式或者單獨執(zhí)行(如果沒必要隨時間執(zhí)行的話)的處理操作。
[0503]此外，在本說明書，一種系統(tǒng)代表多個部件元件(設備、模塊(部件)等)的集合，不是全部部件元件都需要布置在相同外殼中。因此，容納在不同外殼中并且通過網(wǎng)絡互連的多個設備是系統(tǒng)；并且其中多個模塊容納在單個外殼中的一個設備也是系統(tǒng)。
[0504]而且，以上所述例子中，描述為一個設備(或者一個處理單元)的任何配置都可以劃分成多個設備(或處理單元反過來，描述為多個設備(或處理單元)的任何配置都可以組合，以形成一個設備(或者一個處理單元而且，除以上所述配置之外的任何配置都當然可以添加到每個設備(或者每個處理單元)的配置中。另外，一個設備(或者一個處理單元)的配置的一部分可以包括在另一個設備(或者另一個處理單元)的配置，只要作為整個系統(tǒng)的配置或操作基本上相同就可以。
[0505]本公開內(nèi)容的優(yōu)選實施例已經(jīng)參考附圖具體進行了描述，但是本公開內(nèi)容的技術范圍不限于以上例子。本領域技術人員應當理解，在權利要求中所述的技術主旨的范圍內(nèi)可以發(fā)生各種修改或變更、并且它們在本發(fā)明的技術范圍內(nèi)。
[0506]例如，本技術可以采用云計算的配置，其中一個功能以共享方式被多個設備通過網(wǎng)絡合作處理。
[0507]另外，上述流程圖中描述的每個步驟不僅可以被一個設備執(zhí)行而且可以被多個設備以共享方式執(zhí)行。
[0508]此外，如果一個步驟包括多個處理操作，包括在一個步驟中的多個處理操作不僅可以被一個設備執(zhí)行、而且可以被多個設備以共享方式執(zhí)行。
[0509]根據(jù)以上實施例的圖像編碼設備和圖像解碼設備可以適用于諸如衛(wèi)星廣播的發(fā)送器或接收器的各種電子設備，諸如有線電視的有線廣播，通過互聯(lián)網(wǎng)的分發(fā)以及通過蜂窩通信到終端的分發(fā)，在諸如光盤、磁盤和閃存存儲器的介質(zhì)中記錄圖像的記錄設備，以及從這些存儲介質(zhì)再現(xiàn)圖像的再現(xiàn)設備。以下將描述四個應用實例。
[0510](,1.第七實施例?
[0511][第一應用實例:電視接收器]
[0512]圖35說明了上述實施例適用的電視裝置的示意性配置實例。電視裝置900包括天線901、調(diào)諧器902、多路分解器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚聲器908、外部接口 909、控制單元910、用戶接口 911以及總線912。
[0513]調(diào)諧器902從通過天線901接收的廣播信號提取期望的通道信號，并且多路分解提取出的信號。調(diào)諧器902把通過解調(diào)獲得的編碼位流輸出到多路分解器903。即，調(diào)諧器902扮演電視裝置900的發(fā)送單元的角色，它接收通過編碼圖像獲得的編碼流。
[0514]多路分解器903從編碼的位流分離觀看的目標節(jié)目的視頻流和音頻流，并且把每個分離出的流輸出到解碼器904。另外，多路分解器903從編碼位流提取諸如電子節(jié)目指南(￡^6)的輔助數(shù)據(jù)，并且把提取出的數(shù)據(jù)提供給控制單元910。此外，在編碼位流被擾頻的時候，多路分解器903可以執(zhí)行解擾。
[0515]解碼器904解碼從多路分解器903輸入的視頻流和音頻流。另外，解碼器904把通過解碼過程生成的視頻數(shù)據(jù)輸出到視頻信號處理單元905。此外，解碼器904把通過解碼過程生成的音頻數(shù)據(jù)輸出到音頻信號處理單元907。
[0516]視頻信號處理單元905再現(xiàn)從解碼器904輸入的視頻數(shù)據(jù)，并且在顯示單元906上顯示視頻圖像。另外，視頻信號處理單元905可以在顯示單元906上顯示通過網(wǎng)絡提供的應用屏幕。此外，視頻信號處理單元905可以根據(jù)設置對視頻數(shù)據(jù)執(zhí)行附加的處理操作，諸如像噪聲去除。另外，視頻信號處理單元905可以生成圖形用戶界面(⑶1)圖像的圖像，諸如像菜單、按鈕、光標，并且把生成的圖像疊加到輸出圖像上。
[0517]顯示單元906被從視頻信號處理單元905提供的驅(qū)動信號驅(qū)動，并且在顯示設備(例如，液晶顯示器、等離子體顯示器或者有機電致發(fā)光顯示器(020))(有機此顯示器))的視頻顯示表面上顯示視頻圖像或圖像。
[0518]音頻信號處理單元907對從解碼器904輸入的音頻數(shù)據(jù)執(zhí)行諸如0/八轉(zhuǎn)換和放大的再現(xiàn)操作，并且從揚聲器908輸出音頻。另外，音頻信號處理單元907可以對音頻數(shù)據(jù)執(zhí)行諸如噪聲去除的附加處理操作。
[0519]外部接口 909是配置為彼此連接電視裝置900和外部設備或網(wǎng)絡的接口。例如，通過外部接口 909接收的視頻流或音頻流可以被解碼器904解碼。即，外部接口 909還在電視裝置900中扮演發(fā)送單元的角色，它接收編碼的圖像的編碼流。
[0520]控制單元910具有諸如0^的處理器以及諸如狀1和的存儲器。存儲器存儲要0^執(zhí)行的程序、節(jié)目數(shù)據(jù)、2？6數(shù)據(jù)，以及通過網(wǎng)絡獲取的數(shù)據(jù)。在電視裝置900被激活時，存儲在存儲器中的程序被0^讀取并執(zhí)行。通過執(zhí)行程序，0？^根據(jù)例如從用戶接口911輸入的操作信號控制電視裝置900的操作。
[0521]用戶接口 911連接到控制單元910。用戶接口 911具有例如用戶用來操作電視裝置900的按鈕和開關，以及接收遙控信號的接收單元。用戶接口 911檢測用戶通過這些部件的操作、生成操作信號并且把生成的操作信號輸出到控制單元910。
[0522]總線912配置為把調(diào)諧器902、多路分解器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚聲器908、外部接口 909和控制單元910彼此連接。
[0523]具有這種配置的電視裝置900中，解碼器904具有根據(jù)以上實施例的圖像解碼設備的功能。因而，當電視裝置900解碼圖像時，有可能實現(xiàn)編碼效率下降的抑制，并實現(xiàn)編碼/解碼造成的圖像質(zhì)量退化的抑制。
[0524]〔第二應用實例:移動電話]
[0525]圖36說明了以上實施例適用的蜂窩電話的示意性配置實例。移動電話920包括天線921、通信單元922、音頻編解碼器923、揚聲器924、麥克風925、相機單元926、圖像處理單元927、多路復用/分離單元928、記錄/再現(xiàn)單元929、顯示單元930、控制單元931、操作單元932以及總線933。
[0526]天線921連接到通信單元922。揚聲器924和麥克風925連接到音頻編解碼器923。操作單元932連接到控制單元931?？偩€933配置為把通信單元922、音頻編解碼器923、相機單元926、圖像處理單元927、多路復用/分離單元928、記錄/再現(xiàn)單元929、顯示單元930和控制單元931彼此連接。
[0527]移動電話920以各種模式(諸如音頻通信模式、數(shù)據(jù)通信模式、拍攝模式和視頻電話模式)執(zhí)行各種操作，諸如音頻信號的發(fā)送和接收、電子郵件和圖像數(shù)據(jù)的發(fā)送和接收、圖像捕捉以及數(shù)據(jù)記錄。
[0528]在音頻通信模式，在麥克風925生成的模擬音頻信號被提供給音頻編解碼器923。音頻編解碼器923把模擬音頻信號轉(zhuǎn)換成音頻數(shù)據(jù)，并且對轉(zhuǎn)換后的音頻數(shù)據(jù)執(zhí)行八/0轉(zhuǎn)換并壓縮其。另外，音頻編解碼器923把壓縮后的音頻數(shù)據(jù)輸出到通信單元922。通信單元922編碼并調(diào)制音頻數(shù)據(jù)并且生成發(fā)送信號。另外，通信單元922通過天線921把所生成的發(fā)送信號發(fā)送到基站(未說明此外，通信單元922放大通過天線921接收的無線電信號并且對其執(zhí)行頻率轉(zhuǎn)換，并且獲得接收的信號。還有，通信單元922解調(diào)并解碼接收的信號、生成音頻數(shù)據(jù)并且把生成的音頻數(shù)據(jù)輸出到音頻編解碼器923。音頻編解碼器923解壓音頻數(shù)據(jù)并且對音頻數(shù)據(jù)執(zhí)行0/八轉(zhuǎn)換，并且生成模擬音頻信號。另外，音頻編解碼器923把生成的音頻信號提供給揚聲器924并且輸出音頻。
[0529]此外，在數(shù)據(jù)通信模式，例如，控制單元931根據(jù)用戶通過操作單元932的操作生成構(gòu)成電子郵件的文字數(shù)據(jù)。另外，控制單元931在顯示單元930上顯示文字。而且，控制單元931根據(jù)通過操作單元932來自用戶的發(fā)送指令生成電子郵件數(shù)據(jù)，并且把生成的電子郵件數(shù)據(jù)輸出到通信單元922。通信單元922編碼并調(diào)制電子郵件數(shù)據(jù)并且生成發(fā)送信號。另外，通信單元922把生成的發(fā)送信號通過天線921發(fā)送到基站(未說明此外，通信單元922放大通過天線921接收的無線電信號并且對其執(zhí)行頻率轉(zhuǎn)換，并且獲取接收的信號。還有，通信單元922解調(diào)并解碼接收的信號、恢復電子郵件數(shù)據(jù)，并且把恢復的電子郵件數(shù)據(jù)輸出到控制單元931?？刂茊卧?31在顯示單元930上顯示電子郵件的內(nèi)容，并且把電子郵件數(shù)據(jù)提供給記錄/再現(xiàn)單元929，以允許把數(shù)據(jù)寫到存儲介質(zhì)中。
[0530]記錄丨再現(xiàn)單元929具有任意的可讀丨可寫存儲介質(zhì)。例如，存儲介質(zhì)可以是內(nèi)置的存儲介質(zhì)，諸如狀1或閃存存儲器，還可以是外部附連的存儲介質(zhì)，諸如硬盤、磁盤、磁光盤、光盤和未分配空間位圖⑴38)存儲器或者存儲卡。
[0531〕 另外，在拍攝模式中，例如，相機單元926捕捉物體的圖像、生成圖像數(shù)據(jù)，并且把生成的圖像數(shù)據(jù)輸出到圖像處理單元927。圖像處理單元927編碼從相機單元926輸入的圖像數(shù)據(jù)，并且把編碼流提供給記錄/再現(xiàn)單元929，以允許流寫到存儲介質(zhì)中。而且，在圖像顯示模式，記錄/再現(xiàn)單元929讀取存儲在存儲介質(zhì)中的編碼流并且把它輸出到圖像處理單元927。圖像處理單元927解碼從記錄/再現(xiàn)單元929輸入的編碼流并且把圖像數(shù)據(jù)提供給顯示單元930，以便在其上顯示圖像。
[0532]另外，在視頻電話模式，例如，多路復用/分離單元928多路復用圖像處理單元927編碼的視頻流和從音頻編解碼器923輸入的音頻流，并且把多路復用的流輸出到通信單元922。通信單元922編碼和調(diào)制該流，并生成發(fā)送信號。另外，通信單元922通過天線921把生成的發(fā)送信號發(fā)送到基站(未說明此外，通信單元922放大通過天線921接收的無線電信號并且對其執(zhí)行頻率轉(zhuǎn)換，并且獲取接收信號。這些發(fā)送信號和接收的信號可以包括編碼位流。另外，通信單元922解調(diào)并解碼接收信號、恢復流并且把恢復的流輸出到多路復用/分離單元928。多路復用/分離單元928從輸入流分離視頻流和音頻流，把視頻流輸出到圖像處理單元927并且把音頻流輸出到音頻編解碼器923。圖像處理單元927解碼視頻流并生成視頻數(shù)據(jù)。視頻數(shù)據(jù)提供給顯示單元930，顯示單元930顯示一系列圖像。音頻編解碼器923解壓音頻流并對其執(zhí)行0/八轉(zhuǎn)換，并且生成模擬音頻信號。另外，音頻編解碼器923把生成的音頻信號提供給揚聲器924并輸出音頻。
[0533]具有以上配置的移動電話920中，圖像處理單元927具有根據(jù)以上實施例的圖像編碼設備和圖像解碼設備的功能。從而，當移動電話920編碼和解碼圖像時，有可能抑制編碼效率的下降，并且抑制編碼/解碼造成的圖像質(zhì)量退化。
[0534][第三應用實例:記錄和再現(xiàn)設備]
[0535]圖37說明了以上實施例適用的記錄和再現(xiàn)設備的示意性配置實例。記錄和再現(xiàn)設備940編碼例如接收的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)并且在記錄介質(zhì)中記錄數(shù)據(jù)。另夕卜，記錄和再現(xiàn)設備940可以編碼例如從另一設備獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)并且在記錄介質(zhì)中記錄數(shù)據(jù)。此外，記錄和再現(xiàn)設備940根據(jù)例如用戶的指令在監(jiān)視器和揚聲器上再現(xiàn)記錄在記錄介質(zhì)中的數(shù)據(jù)。此時，記錄和再現(xiàn)設備940解碼音頻數(shù)據(jù)和視頻數(shù)據(jù)。
[0536]記錄和再現(xiàn)設備940包括調(diào)諧器941、外部接口 942、編碼器943、硬盤驅(qū)動器￠100) 944、盤驅(qū)動器945、選擇器946、解碼器947、屏幕上顯示器(030) 948、控制單元949以及用戶接口 950。
[0537]調(diào)諧器941從通過天線(未說明)接收的廣播信號提取期望的通信信號，并且解調(diào)提取出的信號。另外，調(diào)諧器941把通過解調(diào)獲得的編碼位流輸出到選擇器946。即，調(diào)諧器941在記錄和再現(xiàn)設備940中扮演發(fā)送單元的角色。
[0538]外部接口 942是彼此連接記錄和再現(xiàn)設備940與外部設備或網(wǎng)絡的接口。外部接口 942可以是12現(xiàn)1394接口、網(wǎng)絡接口、…8接口、閃存存儲器接口等。例如，通過外部接口 942接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)輸入到編碼器943。即，外部接口 942在記錄和再現(xiàn)設備940中扮演發(fā)送單元的角色。
[0539]當從外部接口 942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未編碼時，編碼器943編碼視頻數(shù)據(jù)和音頻數(shù)據(jù)。另外，編碼器943把編碼的位流輸出到選擇器946。
[0540]匪)944在內(nèi)部硬盤中記錄通過壓縮內(nèi)容數(shù)據(jù)，諸如視頻和音頻、各種節(jié)目以及其它數(shù)據(jù)，獲得的編碼的位流。另外，在視頻和音頻再現(xiàn)的時候，冊0 944從硬盤讀出這些類型的數(shù)據(jù)。
[0541]盤驅(qū)動器945在附連的記錄介質(zhì)中記錄數(shù)據(jù)并從中讀出數(shù)據(jù)。附連到盤驅(qū)動器945的記錄介質(zhì)可以是例如070盤(例如070-視頻、070-狀1、070-1？、070-鼎、070+1？及070+鼎)或者注冊商標)盤。
[0542]在視頻和音頻記錄的時候，選擇器946選擇從調(diào)諧器941或編碼器943輸入的編碼位流并且把選定的編碼位流輸出到冊0 944或盤驅(qū)動器945。另外，在視頻和音頻再現(xiàn)的時候，選擇器946把從944或盤驅(qū)動器945輸入的編碼位流輸出到解碼器947。
[0543]解碼器947解碼編碼的位流并且生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。另外，解碼器947把生成的視頻數(shù)據(jù)輸出到030 948。此外，解碼器904把生成的音頻數(shù)據(jù)輸出到外部揚聲器。
[0544]080 948再現(xiàn)從解碼器947輸入的視頻數(shù)據(jù)并且顯示視頻圖像。另外，030 948可以在要顯示的視頻圖像上疊加⑶I圖像，諸如菜單、按鈕或光標。
[0545]控制單元949具有諸如0^的處理器以及諸如狀1和的存儲器。存儲器存儲要由0^執(zhí)行的程序，以及節(jié)目數(shù)據(jù)。例如，在記錄和再現(xiàn)設備940激活的時候，存儲在存儲器中的程序被0^讀取并執(zhí)行。通過執(zhí)行程序，0^根據(jù)例如從用戶接口 950輸入的操作信號控制記錄和再現(xiàn)設備940的操作。
[0546]用戶接口 950連接到控制單元949。用戶接口 950具有例如用來由用戶操作記錄和再現(xiàn)設備940的按鈕和開關，以及接收遙控信號的接收單元。用戶接口 950檢測用戶通過這些部件的操作、生成操作信號并且把生成的操作信號輸出到控制單元949。
[0547]具有以上配置的記錄和再現(xiàn)設備940中，編碼器943具有根據(jù)以上實施例的圖像編碼設備的功能。另外，解碼器947具有根據(jù)以上實施例的圖像解碼設備的功能。因而，當在記錄和再現(xiàn)設備940中編碼和解碼圖像時，有可能抑制編碼效率的下降并抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0548]〔第四應用實例:成像設備〕
[0549]圖38說明了以上實施例適用的成像設備的示意性配置實例。成像設備960捕捉物體的圖像、生成圖像、編碼圖像數(shù)據(jù)并且在記錄介質(zhì)中記錄圖像數(shù)據(jù)。
[0550]成像設備960包括光學塊961、成像單元962、信號處理單元963、圖像處理單元964、顯示單元965、外部接口 966、存儲器967、媒體驅(qū)動器968、080 969、控制單元970、用戶接口 971以及總線972。
[0551]光學塊961連接到成像單元962。成像單元962連接到信號處理單元963。顯示單元965連接到圖像處理單元964。用戶接口 971連接到控制單元970?？偩€972配置為把圖像處理單元964、外部接口 966、存儲器967、媒體驅(qū)動器968、080 969和控制單元970彼此連接。
[0552]光學塊961具有聚焦透鏡、光圈等。光學塊961在成像單元962的成像表面上形成物體的光學圖像。成像單元962具有諸如電荷耦合設備￠0))或互補金屬氧化物半導體
(0108)的圖像傳感器并且通過光電轉(zhuǎn)換把在成像表面上形成的光學圖像轉(zhuǎn)換成作為電信號的圖像信號。另外，成像單元962把圖像信號輸出到信號處理單元963。
[0553]信號處理單兀963對從成像單兀962輸入的圖像信號執(zhí)行各種相機信號處理操作，諸如拐點校正、伽瑪校正和顏色校正。信號處理單元963把其中執(zhí)行了相機信號處理操作的圖像數(shù)據(jù)輸出到圖像處理單元964。
[0554]圖像處理單元964編碼從信號處理單元963輸入的圖像數(shù)據(jù)并且生成編碼數(shù)據(jù)。另外，圖像處理單元964把生成的編碼數(shù)據(jù)輸出到外部接口 966或者媒體驅(qū)動器968。此外，圖像處理單元964解碼從外部接口 966或者媒體驅(qū)動器968輸入的編碼數(shù)據(jù)并且生成圖像數(shù)據(jù)。還有，圖像處理單元964把生成的圖像數(shù)據(jù)輸出到顯示單元965。而且，圖像處理單元964可以把從信號處理單元963輸入的圖像數(shù)據(jù)輸出到顯示單元965并且顯示圖像。另夕卜，圖像處理單元964可以把從030 969獲取的顯示數(shù)據(jù)疊加到要輸出到顯示單元965的圖像上。
[0555]080 969生成諸如菜單、按鈕或光標的⑶I圖像，并且把生成的圖像輸出到圖像處理單元964。
[0556]外部接口 966配置為例如…8輸入/輸出終端。例如，打印圖像時，外部接口 966把成像設備960和打印機彼此連接。另外，如果必要的話，外部接口 966與驅(qū)動器彼此連接。驅(qū)動器與諸如磁盤或光盤的可移動介質(zhì)附連，并且從可移動介質(zhì)讀出的程序可以安裝在成像設備960中。另外，外部接口 966可以配置為連接到諸如或互聯(lián)網(wǎng)的網(wǎng)絡的網(wǎng)絡接口。即，外部接口 966在成像設備960中扮演發(fā)送單元的角色。
[0557]附連到媒體驅(qū)動器968的記錄介質(zhì)可以是可讀/可寫可移動介質(zhì)，諸如磁盤、磁光盤、光盤或半導體存儲器。另外，記錄介質(zhì)固定地附連到媒體驅(qū)動器968，并且例如，諸如內(nèi)置硬盤驅(qū)動器或固態(tài)驅(qū)動器(330)的非便攜式存儲單元也可以配置。
[0558]控制單元970具有諸如0^的處理器以及諸如狀1和的存儲器。存儲器存儲要由0^執(zhí)行的程序，以及節(jié)目數(shù)據(jù)。例如，在成像設備960激活的時候，存儲在存儲器中的程序被0^讀取并執(zhí)行。通過執(zhí)行程序，0^根據(jù)例如從用戶接口 971輸入的操作信號控制成像設備960的操作。
[0559]用戶接口 971連接到控制單元970。用戶接口 971具有例如用來由用戶操作成像設備960的按鈕和開關。用戶接口 971檢測用戶通過這些部件的操作、生成操作信號并且把生成的操作信號輸出到控制單元970。
[0560]具有以上配置的成像設備960中，圖像處理單元964具有根據(jù)以上實施例的圖像編碼設備和圖像解碼設備的功能。從而，當在成像設備960中編碼和解碼圖像時，有可能抑制編碼效率的下降，并且抑制由于編碼/解碼造成的圖像質(zhì)量退化。
[0561]〈8丨第八實施例〉
[0562]〔可伸縮編碼的應用實例:第一系統(tǒng)〕
[0563]接下來，將描述已接受可伸縮編碼(或分級(圖像)編碼)的可伸縮編碼數(shù)據(jù)的應用具體實例?？缮炜s編碼可以用于例如要發(fā)送的數(shù)據(jù)的選擇，就像圖39所說明的例子那樣。
[0564]圖39所說明的數(shù)據(jù)發(fā)送系統(tǒng)1000，分發(fā)服務器1002讀出存儲在可伸縮編碼數(shù)據(jù)存儲單元1001中的可伸縮的編碼數(shù)據(jù)并且通過網(wǎng)絡1003把可伸縮的編碼數(shù)據(jù)分發(fā)到終端設備，諸如個人計算機1004、—設備1005、平板設備1006以及移動電話1007。
[0565]此時，分發(fā)服務器1002根據(jù)終端設備和通信環(huán)境的性能選擇具有適當質(zhì)量的編碼數(shù)據(jù)，并且發(fā)送選定的編碼數(shù)據(jù)。即使分發(fā)服務器1002發(fā)送具有比所需要的更高質(zhì)量的數(shù)據(jù)，終端設備也不一定獲得高質(zhì)量圖像，并且會造成延遲或上溢。此外，這種數(shù)據(jù)會占用比所需要的更多通信帶寬，或者會增加比所需要的更多的終端設備負載。相反，如果分發(fā)服務器1002發(fā)送具有比所需要的更低質(zhì)量的數(shù)據(jù)，終端設備不能在設備中獲得具有足夠質(zhì)量的圖像。因而，如果必要的話，分發(fā)服務器1002讀出存儲在可伸縮編碼數(shù)據(jù)存儲單元1001中的可伸縮編碼數(shù)據(jù)，作為具有適于某些條件的質(zhì)量的編碼數(shù)據(jù)，發(fā)送讀出的編碼數(shù)據(jù)，其中所述條件諸如終端設備和通信環(huán)境的性能。
[0566]例如，可伸縮編碼數(shù)據(jù)存儲單元1001存儲已接受可伸縮編碼的可伸縮編碼數(shù)據(jù)(81+201011可伸縮編碼數(shù)據(jù)(81+20 1011是既包括基本層又包括增強層的編碼數(shù)據(jù)，是為了獲得基本層圖像和增強層圖像而被解碼的數(shù)據(jù)。
[0567]分發(fā)服務器1002根據(jù)發(fā)送數(shù)據(jù)的終端設備以及通信環(huán)境的性能選擇適當?shù)膶?，并且讀出該層的數(shù)據(jù)。例如，分發(fā)服務器1002從可伸縮編碼數(shù)據(jù)存儲單元1001讀出可伸縮編碼數(shù)據(jù)(81+20 1011，并且把讀出的可伸縮編碼數(shù)據(jù)按照原樣發(fā)送到具有高處理能力的個人計算機1004或平板設備1006。相反，例如，分發(fā)服務器1002從擴展編碼數(shù)據(jù)(81+201011提取基本層的數(shù)據(jù)，并且把提取出的基本層的數(shù)據(jù)發(fā)送到具有低處理能力的—設備1005或移動電話1007，作為與可伸縮編碼數(shù)據(jù)(81+21)1011具有相同內(nèi)容但是比可伸縮編碼數(shù)據(jù)(81+20 1011具有更低質(zhì)量的可伸縮編碼數(shù)據(jù)(801012,
[0568]以這種方式，可伸縮編碼數(shù)據(jù)的使用可以方便數(shù)據(jù)量的調(diào)整，由此抑制延遲或者上溢的發(fā)生，并且抑制終端設備或通信介質(zhì)上不必要的負載增加。此外，由于可伸縮編碼數(shù)據(jù)(81+20 1011在各層之間具有減小的冗余性，因此，與具有相應層的獨立編碼數(shù)據(jù)的情況相比，有可能減少數(shù)據(jù)量。因此，可伸縮編碼數(shù)據(jù)存儲單元1001的存儲區(qū)域可以更高效地被利用。
[0569]另外，諸如個人計算機1004和移動電話1007的各種設備可以應用到終端設備，因此終端設備的硬件性能可以是依賴設備的。此外，各種應用還可以由終端設備執(zhí)行，因此應用的軟件能力可以變化。此外，充當通信介質(zhì)的網(wǎng)絡1003可以被用作任何通信線路網(wǎng)絡，這可以是有線的、無線的或者二者兼有，諸如互聯(lián)網(wǎng)或局域網(wǎng)(1燦0，并且具有各種數(shù)據(jù)傳輸能力。而且，這種性能和能力可以隨其它通信等變化。
[0570]因此，在數(shù)據(jù)發(fā)送開始之前，分發(fā)服務器1002可以與數(shù)據(jù)要發(fā)送到其的終端設備通信，可以獲得關于該終端設備的能力的信息，諸如終端設備的硬件性能或者由終端設備執(zhí)行的應用(軟件)的性能，以及關于通信環(huán)境的信息，諸如網(wǎng)絡1003的可用帶寬。然后，分發(fā)服務器1002可以基于所獲得的信息選擇適當?shù)膶印?br> [0571]層的提取可以由終端設備執(zhí)行。例如。個人計算機1004可以解碼所發(fā)送的可伸縮編碼數(shù)據(jù)(81+20 1011并且顯示基本層圖像或增強層圖像?；蛘?，例如，個人計算機1004可以從所發(fā)送的可伸縮編碼數(shù)據(jù)(81+20 1011提取可伸縮編碼數(shù)據(jù)(80 1012、存儲提取出的可伸縮編碼數(shù)據(jù)或者把該數(shù)據(jù)發(fā)送到另一個設備，或者解碼數(shù)據(jù)，以顯示基本層圖像。
[0572]當然，可伸縮編碼數(shù)據(jù)存儲單元1001的數(shù)目、分發(fā)服務器1002的數(shù)目、網(wǎng)絡1003的數(shù)目以及終端設備的數(shù)目是任意的。此外，雖然以上描述了分發(fā)服務器1002把數(shù)據(jù)發(fā)送到終端設備的實例，但是應用實例不限于此。數(shù)據(jù)發(fā)送系統(tǒng)1000可以應用到任何系統(tǒng)，只要該系統(tǒng)根據(jù)諸如終端設備和通信環(huán)境的能力的某些條件選擇并發(fā)送適當?shù)膶樱渲邢蚪K端設備發(fā)送已被可伸縮編碼的編碼數(shù)據(jù)。
[0573]與以上參考圖1至31所述效果相同的效果可以通過圖39所說明的數(shù)據(jù)發(fā)送系統(tǒng)1000應用與對參考圖1至31所描述的分層編碼/分層解碼應用的相同技術來獲得。
[0574]〔可伸縮編碼的應用實例:第二系統(tǒng)〕
[0575]可伸縮編碼還可以用于通過多種通信介質(zhì)發(fā)送，就像在例如圖40所說明的例子中。
[0576]圖40所說明的數(shù)據(jù)發(fā)送系統(tǒng)1100，廣播站1101通過地面廣播111發(fā)送基本層的可伸縮編碼數(shù)據(jù)〈81)1121。此外，廣播站1101通過任意網(wǎng)絡1112發(fā)送增強層的可伸縮編碼數(shù)據(jù)(￡1)1122,該任意網(wǎng)絡由有線通信網(wǎng)絡、無線通信網(wǎng)絡或者有線和無線通信網(wǎng)絡這二者配置(例如，數(shù)據(jù)被分組并發(fā)送)。
[0577]終端設備1102具有接收廣播站1101廣播的地面廣播1111并且接收通過地面廣播1111發(fā)送的基本層的可伸縮編碼數(shù)據(jù)(80 1121的功能。終端設備1102還具有用于通過網(wǎng)絡1112執(zhí)行通信并且接收通過網(wǎng)絡1112發(fā)送的增強層的可伸縮編碼數(shù)據(jù)(￡1) 1122的通信功能。
[0578]例如，根據(jù)用戶指令等，通過解碼通過地面廣播1111獲取的基本層的可伸縮編碼數(shù)據(jù)(80 1121，終端設備1102獲取基本層的圖像，存儲所獲取的可伸縮編碼數(shù)據(jù)，或者把所獲取的數(shù)據(jù)發(fā)送到另一設備。
[0579]此外，根據(jù)用戶指令等，終端設備1102合成通過地面廣播1111獲取的基本層的可伸縮編碼數(shù)據(jù)(81) 1121與通過網(wǎng)絡1112獲取的增強層的可伸縮編碼數(shù)據(jù)(￡1) 1122，以便獲取可伸縮編碼數(shù)據(jù)(81+20，解碼可伸縮編碼數(shù)據(jù)，以獲取或存儲增強層的圖像，或者把可伸縮編碼數(shù)據(jù)發(fā)送到另一設備。
[0580]如上所述，可伸縮編碼數(shù)據(jù)可以通過例如對每層不同的通信介質(zhì)發(fā)送。因而，負載可以分布，延遲或上溢的發(fā)生可以被抑制。
[0581]此外，依賴于情況，用于發(fā)送的通信介質(zhì)可以配置為對每一層是可選擇的。例如，它可以配置為:使其數(shù)據(jù)量相對大的基本層的可伸縮編碼數(shù)據(jù)(81) 1121通過具有寬帶寬的通信介質(zhì)發(fā)送，而其數(shù)據(jù)量相對小的增強層的可伸縮編碼數(shù)據(jù)(￡01122通過具有窄帶寬的通信介質(zhì)發(fā)送。此外，例如，發(fā)送增強層的可伸縮編碼數(shù)據(jù)(￡1)1122的通信介質(zhì)可以配置為:根據(jù)網(wǎng)絡1112的可用帶寬，在網(wǎng)絡1112和地面廣播1111之間切換。這種相似性適用于任意層的數(shù)據(jù)。
[0582]通過這樣進行控制，可以進一步抑制數(shù)據(jù)發(fā)送負載的增加。
[0583]這里，層的數(shù)目是任意的，并且用于發(fā)送的通信介質(zhì)的數(shù)目也是任意的。此外，作為數(shù)據(jù)輸送目的地的終端設備1102的數(shù)目也是任意的。此外，雖然在以上給出的描述中已經(jīng)描述了廣播從廣播站1101執(zhí)行的例子，但是使用的例子不限于此。數(shù)據(jù)發(fā)送系統(tǒng)1100可以應用到任意系統(tǒng)，只要該系統(tǒng)把被編碼(以可伸縮編碼的方式)的編碼數(shù)據(jù)分成以層為單位的多個部分，并且通過多條線路發(fā)送劃分的數(shù)據(jù)就可以。
[0584]于是，即使在圖40所說明的數(shù)據(jù)發(fā)送系統(tǒng)1100，通過以與參考圖1至31所描述的對分層編碼/分層解碼的應用相同方式來應用本技術，也有可能獲得類似于以上參考圖1至31所述效果的效果。
[0585][可伸縮編碼的應用實例:第三系統(tǒng)]
[0586]可伸縮編碼還可以用于存儲編碼數(shù)據(jù)，就像圖41所說明的例子那樣。
[0587]圖41所說明的成像系統(tǒng)1200中，成像設備1201把主體1211成像所獲取的圖像數(shù)據(jù)進行可伸縮編碼并且把得到的圖像數(shù)據(jù)提供給可伸縮編碼數(shù)據(jù)存儲設備1202，作為可伸縮編碼數(shù)據(jù)(81+20 12020
[0588]根據(jù)情況，可伸縮編碼數(shù)據(jù)存儲設備1202以不同質(zhì)量存儲從成像設備1201提供的可伸縮編碼數(shù)據(jù)(81+20 1202,例如，在正常時間的情況下，可伸縮編碼數(shù)據(jù)存儲設備1202從可伸縮編碼數(shù)據(jù)(81+20 1202提取基本層的數(shù)據(jù)并且把提取出的基本層的數(shù)據(jù)存儲為具有低質(zhì)量和小數(shù)據(jù)量的基本層的可伸縮編碼數(shù)據(jù)(80 1222。相反，例如，在關注時間的情況下，可伸縮編碼數(shù)據(jù)存儲設備1202按照原樣存儲具有高質(zhì)量和大數(shù)據(jù)量的可伸縮編碼數(shù)據(jù)(81+201221
[0589]以這種方式，可伸縮編碼數(shù)據(jù)存儲設備1202可以僅必要時以高圖像質(zhì)量存儲圖像。從而，在圖像質(zhì)量退化造成的圖像價值減小被抑制的同時，數(shù)據(jù)量的增加可以被抑制，由此存儲區(qū)域的使用效率可以提高。
[0590]例如，成像設備1201可以是監(jiān)控相機。當被監(jiān)控的對象(例如，入侵者)在捕捉圖像中不可見時(例如，在正常時間的情況下)，有可能捕捉到的圖像的內(nèi)容不重要。因而，數(shù)據(jù)量減小是優(yōu)先的，圖像的圖像數(shù)據(jù)(可伸縮編碼數(shù)據(jù))以低質(zhì)量存儲。相反，當被監(jiān)控的對象作為主體1211在捕捉到的圖像中可見時(在關注時間的情況下)，有可能捕捉到的圖像具有重要的內(nèi)容。因而，圖像質(zhì)量是優(yōu)先的，圖像的圖像數(shù)據(jù)(可伸縮編碼數(shù)據(jù))以高質(zhì)量存儲。
[0591]正常時間還是關注時間可以由例如可伸縮編碼數(shù)據(jù)存儲設備1202通過分析圖像來確定。此外，成像設備1201可以確定正常時間或者關注時間，并且可以向可伸縮編碼數(shù)據(jù)存儲設備1202發(fā)送確定結(jié)果。
[0592]這里，正常時間還是關注時間的確定標準可以是任意的，被認為是確定標準的圖像可以具有任何內(nèi)容。當然，圖像內(nèi)容之外的其它條件可以用作確定標準。例如，確定的標準可以根據(jù)所記錄的語音的尺寸、波形等來改變，可以對每個預定的時間改變，或者可以根據(jù)從外部提供的指令(諸如用戶的指令)來改變。
[0593]此外，雖然已經(jīng)給出了對兩種狀態(tài)(即，正常時間和關注時間)之間改變的例子的描述，但是狀態(tài)數(shù)目是任意的，狀態(tài)改變可以在三種或更多種狀態(tài)之間進行，諸如正常時間、低關注時間、中等關注時間和高關注時間。但是，改變狀態(tài)的上限數(shù)目依賴于可伸縮編碼數(shù)據(jù)的層數(shù)。
[0594]另外，成像設備1201可以根據(jù)狀態(tài)確定可伸縮編碼的層數(shù)。例如，在正常時間，成像設備1201可以生成具有低質(zhì)量和小數(shù)據(jù)量的基本層的可伸縮編碼數(shù)據(jù)(80 1222，并且把生成的可伸縮編碼數(shù)據(jù)(80 1222提供給可伸縮編碼數(shù)據(jù)存儲設備1202。另外，例如，在關注時間，成像設備1201可以生成具有高質(zhì)量和大數(shù)據(jù)量的基本層的可伸縮編碼數(shù)據(jù)(81+21) 1221，并且把生成的可伸縮編碼數(shù)據(jù)(81+20 1221提供給可伸縮編碼數(shù)據(jù)存儲設備 1202。
[0595]以上描述中，雖然監(jiān)控相機作為例子進行了描述，但是成像系統(tǒng)1200可以在任何應用中使用，應用不限于監(jiān)控相機。
[0596]于是，即使在圖41所說明的成像系統(tǒng)1200，通過以與參考圖1至31描述的應用到分層編碼/分層解碼相同方式來應用本技術，也有可能獲得類似于以上參考圖1至31所述效果的效果。
[0597]另外，本技術是以分段單元、從事先準備的具有不同分辨率等的多種編碼數(shù)據(jù)選擇適當?shù)臄?shù)據(jù)來使用，但還適用于諸如像腿的肌1？流數(shù)據(jù)。即，關于編碼和解碼的信息可以在多種編碼數(shù)據(jù)之間共享。
[0598]0.第九實施例?
[0599]〔其它例子〕
[0600]雖然在以上給出的描述中已經(jīng)描述了本技術適用的設備、系統(tǒng)等的例子，但是本技術不限于此。因而，本技術可以作為安裝到這種設備的所有配置來應用，所述配置把這種系統(tǒng)配置為，例如作為系統(tǒng)[31(大規(guī)模集成)等的處理器、使用多個處理器等的模塊、使用多個模塊等的單元，或者通過把其它功能添加到單元所獲取的裝置等(換句話說，設備配置的一部分
[0601][視頻機]
[0602]本技術作為裝置應用的一種例子將參考圖42來描述。圖42說明了本技術適用的視頻機的示意性配置實例。
[0603]最近，電子設備的多種功能的實現(xiàn)在發(fā)展，在制造或開發(fā)中，在配置的一部分為了出售、供應等而提供的情況下，不僅具有一個功能的配置被應用，而且具有多個功能的裝置被應用，這種裝置是通過組合具有相關功能的多種配置獲取的，這是常見的。
[0604]圖42所說明的視頻機1300具有這種多功能配置、并且是通過組合具有圖像編碼或圖像解碼(任意一個或二者兼有)功能的設備與具有該功能的其它功能的設備來獲得的。
[0605]如圖42所說明的，視頻機1300包括模塊組，模塊組包括視頻模塊1311、外部存儲器1312、電源管理模塊1313、前端模塊1314等，以及具有連接模塊1321、相機1322、傳感器1323等相關功能的設備。
[0606]模塊被形成為具有功能的部件，通過把彼此相關的幾個部件功能布置到一起而具有統(tǒng)一性。雖然具體物理配置是任意的，但是，例如也可以考慮通過在配線板等上布置各自都具有功能的多個處理器、諸如電阻器或電容器的電子電路以及其它設備等以便集成到一起所獲得的模塊。此外，還可以考慮通過組合模塊與其它模塊、處理器等構(gòu)成新模塊。
[0607]在圖42所說明的例子，視頻模塊1311是通過組合具有圖像處理功能的配置而獲得的，包括:應用處理器；視頻處理器；寬帶調(diào)制解調(diào)器1333 ；及即模塊1334。
[0608]處理器是通過在半導體芯片上集成具有預定功能的配置作為30“片上系統(tǒng))獲得的，并且例如還存在被稱為系統(tǒng)[31(大規(guī)模集成)等的處理器。具有預定功能的配置可以是邏輯電路(硬件配置)，包括0^301、狀1等以及利用它們執(zhí)行的程序(軟件配置)的配置，或者組合上述兩種配置的配置。例如，它可以配置為使得處理器包括邏輯電路、0^、尺01、狀1等，有些功能由邏輯電路(硬件配置)實現(xiàn)，其它功能由0^執(zhí)行的程序(軟件配置)實現(xiàn)。
[0609]圖42所說明的應用處理器1331是執(zhí)行關于圖像處理應用的處理器。為了實現(xiàn)預定功能，應用處理器1331執(zhí)行的應用可以不僅執(zhí)行計算過程，而且必要時控制視頻模塊1311內(nèi)部和外部(諸如視頻處理器1332)的配置。
[0610]視頻處理器1332是具有圖像編碼和圖像解碼(任何一個或二者兼有)功能的處理器。
[0611]寬帶調(diào)制解調(diào)器1333通過數(shù)字調(diào)制等把通過諸如互聯(lián)網(wǎng)或公共電話網(wǎng)絡的公共線路執(zhí)行的有線或無線(或者有線和無線)寬帶通信發(fā)送的數(shù)據(jù)(數(shù)字信號)轉(zhuǎn)換成模擬信號，或者把寬帶通信接收的模擬信號解調(diào)，以轉(zhuǎn)換成數(shù)據(jù)(數(shù)字信號例如，寬帶調(diào)制解調(diào)器1333處理任意信息，諸如視頻處理器1332處理的圖像數(shù)據(jù)、其中圖像數(shù)據(jù)被編碼的流、應用程序以及設置數(shù)據(jù)。
[0612]即模塊1334是對通過天線發(fā)送/接收的即(射頻)信號執(zhí)行頻率轉(zhuǎn)換、調(diào)制/解調(diào)、放大、過濾器過程等的模塊。例如，即模塊1334通過對由寬帶調(diào)制解調(diào)器1333生成的基帶信號執(zhí)行頻率轉(zhuǎn)換等生成即信號。此外，例如，即模塊1334通過對經(jīng)前端模塊1314接收的即信號執(zhí)行頻率轉(zhuǎn)換等生成基帶信號。
[0613]此外，如圖42的虛線1341指示的，應用處理器1331和視頻處理器1332可以集成，以便配置為一個處理器。
[0614]外部存儲器1312是部署在視頻模塊1311外面并且包括由視頻模塊1311使用的存儲設備的模塊。外部存儲器1312的存儲設備可以由任何物理配置實現(xiàn)。但是，一般而言，由于存儲設備被頻繁地用于存儲具有大容量的數(shù)據(jù)，如以幀為單位配置的圖像數(shù)據(jù)，因此存儲設備優(yōu)選地由以相對低成本具有大容量的半導體存儲器實現(xiàn)，諸如01^1(動態(tài)隨機存取存儲器)。
[0615]電源管理模塊1313管理并控制電力向視頻模塊1311(視頻模塊1311中的每種配置)的供應。
[0616]前端模塊1314是為即模塊1334提供前端功能(天線側(cè)的發(fā)送/接收端電路)的模塊。如在圖42所說明的，例如，前端模塊1314包括天線單元1351、過濾器1352和放大單元1353。
[0617]天線單元1351包括發(fā)送/接收無線信號的天線及其外圍配置。天線單元1351發(fā)送作為無線信號從放大單元1353提供的信號并且向過濾器1352提供作為電信號(即信號)接收到的無線信號。過濾器1352對通過天線單元1351接收的即信號執(zhí)行過濾器過程等并且把該過程之后的即信號提供給即模塊1334。放大單元1353放大從即模塊1334提供的即信號并且把放大的即信號提供給天線單元1351。
[0618]連接模塊1321是具有與到外部的連接相關功能的模塊。連接模塊1321的物理配置是任意的。例如，連接模塊1321包括具有寬帶調(diào)制解調(diào)器1333對應的通信規(guī)范之外的通信功能、外部輸入丨輸出端子等配置。
[0619]例如，連接模塊1321可以配置為包括具有與無線電通信規(guī)范相符的通信功能的模塊以及發(fā)送/接收與這些規(guī)范相符的信號的天線，其中無線電通信規(guī)范諸如8111的⑷訪(注冊商標)、臓802.11(例如，(無線保真度；注冊商標))、即“近場通信)和紅外線數(shù)據(jù)聯(lián)盟此外，例如，連接模塊1321可以配置為包括具有與有線通信規(guī)范相符的通信功能的模塊以及與這些規(guī)范相符的端子，其中有線通信規(guī)范諸如
(通用串行總線)和(注冊商標)(高清晰度多媒體接口)。此外，例如，連接模塊1321可以配置為具有模擬輸入/輸出端子等的附加數(shù)據(jù)(信號)發(fā)送功能等。
[0620]此外，連接模塊1321可以配置為包括是數(shù)據(jù)(信號)發(fā)送目的地的設備。例如，連接模塊1321可以配置為包括對諸如磁盤、光盤、磁光盤或半導體存儲器的記錄介質(zhì)執(zhí)行數(shù)據(jù)讀取或數(shù)據(jù)寫入的驅(qū)動器(不僅包括可移動介質(zhì)的驅(qū)動器，而且還包括硬盤、880(固態(tài)驅(qū)動器〉、嫩3(網(wǎng)絡附連儲存器)等此外，連接模塊1321可以配置為包括圖像或音頻的輸出設備(監(jiān)視器、揚聲器等)。
[0621]相機1322是具有給主體成像而獲取主體的圖像數(shù)據(jù)的功能的模塊。例如，通過相機1322執(zhí)行的成像過程獲取的圖像數(shù)據(jù)提供給視頻處理器1332并且被編碼。
[0622]傳感器1323是具有任意傳感器功能的模塊，其中傳感器諸如音頻處理器、超聲波傳感器、光學傳感器、亮度傳感器、紅外線傳感器、圖像傳感器、旋轉(zhuǎn)傳感器、角度傳感器、角速度傳感器、速度傳感器、加速度傳感器、傾斜傳感器、磁性識別傳感器、碰撞傳感器或者溫度傳感器。例如，被傳感器1323檢測的數(shù)據(jù)提供給應用處理器1331并且被應用等使用。
[0623]在以上給出的描述，描述為模塊的每種配置都可以由處理器實現(xiàn)，描述為處理器的每種配置都可以由模塊實現(xiàn)。
[0624]如隨后將描述的，本技術可以應用到具有如上所述配置的視頻機1300的視頻處理器1332。從而，視頻機1300可以配置為本技術適用的裝置。
[0625]〔視頻處理器的配置〕
[0626]圖43說明了本技術適用的視頻處理器1332(圖42)的示意性配置實例。
[0627]在圖43所說明的例子，視頻處理器1332具有接收視頻信號和音頻信號的輸入并且根據(jù)預定系統(tǒng)和功能編碼接收信號的功能，以及解碼編碼的視頻數(shù)據(jù)和編碼的音頻數(shù)據(jù)并且輸出視頻信號和音頻信號的功能。
[0628]如圖43所說明的，視頻處理器1332包括:視頻輸入處理單元1401 ；第一圖像放大/減小單元1402 ；第二圖像放大/減小單元1403 ；視頻輸出處理單元1404 ；幀存儲器1405 ；以及存儲器控制單元1406。此外，視頻處理器1332還包括:編碼/解碼引擎1407 ；視頻￡3(基本流)緩沖區(qū)1408八和14088，以及音頻￡3(基本流)緩沖區(qū)1409八和14098。此外，視頻處理器1332還包括:音頻編碼器1410 ；音頻解碼器1411 ；多路復用器(1^()1412 ；多路分解器(01 口^)1413 ；以及流緩沖區(qū)1414。
[0629]例如，視頻輸入處理單元1401獲取從連接模塊1321 (圖42)等輸入的視頻信號并且把獲取的視頻信號轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)。第一圖像放大/減小單元1402對圖像數(shù)據(jù)執(zhí)行格式轉(zhuǎn)換以及圖像放大/減小過程。第二圖像放大/減小單元1403通過視頻輸出處理單元1404根據(jù)輸出目的地的格式對圖像數(shù)據(jù)執(zhí)行圖像放大/減小過程、或者執(zhí)行類似于第一圖像放大/減小單元1402的格式轉(zhuǎn)換和圖像放大/減小過程等。視頻輸出處理單元1404對圖像數(shù)據(jù)執(zhí)行格式轉(zhuǎn)換、到模擬信號的轉(zhuǎn)換等等，并且把得到的信號作為再現(xiàn)視頻信號輸入到例如連接模塊1321 (圖42)等。
[0630]幀存儲器1405是用于圖像數(shù)據(jù)的存儲器，該存儲器被視頻輸入處理單元1401、第一圖像放大丨減小單元1402、第二圖像放大丨減小單元1403、視頻輸出處理單元1404和編碼/解碼引擎1407共享。幀存儲器1405實現(xiàn)為諸如0狀1的半導體存儲器。
[0631]存儲器控制單元1406接收從編碼/解碼引擎1407提供的同步信號并且控制對幀存儲器1405的訪問，以便根據(jù)寫入到訪問管理表1406八中的對幀存儲器1405的訪問時間表進行寫入/讀取。訪問管理表1406八由存儲器控制單元1406根據(jù)由編碼/解碼引擎1407、第一圖像放大/減小單元1402、第二圖像放大/減小單元1403等執(zhí)行的過程來更新。
[0632]編碼/解碼引擎1407執(zhí)行圖像數(shù)據(jù)的編碼過程并且執(zhí)行視頻流的解碼過程，其中視頻流是通過編碼圖像數(shù)據(jù)獲取的數(shù)據(jù)。例如，編碼/解碼引擎1407編碼從幀存儲器1405讀取的圖像數(shù)據(jù)并且順序地把讀出的圖像數(shù)據(jù)作為視頻流寫入視頻￡3緩沖區(qū)14081此夕卜，例如，編碼/解碼引擎1407順序地從視頻￡3緩沖區(qū)14088讀取視頻流、解碼讀出的視頻流，并且順序地把解碼的視頻流作為圖像數(shù)據(jù)寫入幀存儲器1405。在這種編碼或解碼過程，編碼/解碼引擎1407使用幀存儲器1405作為工作區(qū)域。此外，例如，在開始每個宏塊的過程時，編碼/解碼引擎1407向存儲器控制單元1406輸出同步信號。
[0633]視頻￡3緩沖區(qū)1408八緩沖由編碼/解碼引擎1407生成的視頻流并把視頻流提供給多路復用器1412。視頻￡3緩沖區(qū)14088緩沖從多路分解器1413提供的視頻流并且把視頻流提供給編碼/解碼引擎1407。
[0634]音頻￡3緩沖區(qū)1409八緩沖由音頻編碼器1410生成的音頻流并且把音頻流提供給多路復用器1412。音頻￡3緩沖區(qū)14098緩沖從多路分解器1413提供的音頻流并且把音頻流提供給音頻解碼器1411。
[0635]音頻編碼器1410數(shù)字交換例如從連接模塊1321 (圖42)等輸入的音頻信號，并且例如根據(jù)諸如腿3)系統(tǒng)的預定系統(tǒng)編碼該數(shù)字信號。音頻編碼器1410順序地把通過編碼音頻信號獲取的數(shù)據(jù)的音頻流寫入音頻￡3緩沖區(qū)1409八。音頻解碼器1411解碼從音頻￡3緩沖區(qū)14098提供的音頻流、執(zhí)行解碼音頻流到例如模擬信號等的轉(zhuǎn)換，并且把轉(zhuǎn)換后的信號作為再現(xiàn)音頻信號例如提供給連接模塊1321(圖 42)等。
[0636]多路復用器(1^() 1412多路復用視頻流和音頻流。多路復用方法(換句話說，通過多路復用生成的位流的格式)是任意的。此外，在多路復用時，多路復用器(1^() 1412可以把預定首部信息等添加到位流。換句話說，多路復用器1412可以通過多路復用過程轉(zhuǎn)換流格式。例如，通過多路復用視頻流和音頻流，多路復用器1412把視頻流和音頻流轉(zhuǎn)換成作為具有發(fā)送格式的位流的傳輸流。此外，例如，通過多路復用視頻流和音頻流，多路復用器1412把視頻流和音頻流轉(zhuǎn)換成具有用于記錄格式的數(shù)據(jù)(文件數(shù)據(jù)
[0637]多路分解器1413多路分解位流，在位流中，視頻流和音頻流以對應于多路復用器1412執(zhí)行的多路復用過程的方法被去多路復用。換句話說，多路分解器
1413從流緩沖區(qū)1414讀取的位流提取視頻流和音頻流(視頻流和音頻流被分離換句話說，多路分解器1413可以通過多路分解過程轉(zhuǎn)換流格式(多路復用器(1^() 1412執(zhí)行轉(zhuǎn)換的逆轉(zhuǎn)換)。例如，多路分解器1413通過流緩沖區(qū)1414獲取例如從連接模塊1321^ (圖42)等提供的傳輸流并且多路分解所獲取的傳輸流，由此把傳輸流轉(zhuǎn)換成視頻流和音頻流。此外，例如，多路分解器(01^() 1413獲取例如連接模塊1321 (圖42)通過流緩沖區(qū)1414從各種記錄介質(zhì)讀取的文件數(shù)據(jù)并且多路分解所獲取的文件數(shù)據(jù)，由此把文件數(shù)據(jù)轉(zhuǎn)換成視頻流和音頻流。
[0638]流緩沖區(qū)1414緩沖位流。例如，流緩沖區(qū)1414緩沖從多路復用器(1^() 1412提供的傳輸流并且在預定時間或者基于從外部發(fā)送的請求把傳輸流例如提供給連接模塊1321(圖42)、寬帶調(diào)制解調(diào)器1333(圖42)等。
[0639]此外，例如，流緩沖區(qū)1414緩沖從多路復用器(11? 1412提供的文件數(shù)據(jù)，并且在預定時間或者基于從外部發(fā)送的請求把文件數(shù)據(jù)例如提供給連接模塊1321(圖42)等。
[0640]此外，流緩沖區(qū)1414緩沖例如通過連接模塊1321(圖42)、寬帶調(diào)制解調(diào)器1333(圖42)等獲取的傳輸流，并且在預定時間或者基于從外部發(fā)送的請求等把傳輸流提供給多路分解器(01^01413^
[0641]此外，流緩沖區(qū)1414緩沖例如連接模塊1321(圖42)等從各種記錄介質(zhì)讀取的文件數(shù)據(jù)，并且在預定時間或者基于從外部發(fā)送的請求等把文件數(shù)據(jù)提供給多路分解器(畫 X〉1413。
[0642]接下來，將描述具有這種配置的視頻處理器1332的操作例子。例如，從連接模塊1321(圖42)等輸入到視頻處理器1332的視頻信號被視頻輸入處理單元1401根據(jù)諸如4:2:21/(^/0系統(tǒng)的預定系統(tǒng)轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)，并且順序地寫入幀存儲器1405。這種數(shù)字圖像數(shù)據(jù)被第一圖像放大/減小單元1402或第二圖像放大/減小單元1403讀取，并且格式轉(zhuǎn)換成諸如4:2:系統(tǒng)等的預定系統(tǒng)，并且對數(shù)字圖像數(shù)據(jù)執(zhí)行放大/減小過程，處理后的數(shù)字圖像數(shù)據(jù)再次寫入幀存儲器1405。這種圖像數(shù)據(jù)被編碼/解碼引擎1407編碼并且作為視頻流寫入視頻￡3緩沖區(qū)1408八。
[0643]此外，從連接模塊1321 (圖42)等輸入到視頻處理器1332的音頻信號被音頻編碼器1410編碼并且作為音頻流寫入音頻￡3緩沖區(qū)1409八。
[0644]存儲在視頻￡3緩沖區(qū)1408八中的視頻流和存儲在音頻￡3緩沖區(qū)1409八中的音頻流被多路復用器1412讀取、被多路復用，轉(zhuǎn)換成傳輸流、文件數(shù)據(jù)等。多路復用器
1412生成的傳輸流緩沖到流緩沖區(qū)1414，然后例如通過連接模塊1321 (圖42)、寬帶調(diào)制解調(diào)器1333(圖42)等輸出到外部網(wǎng)絡。此外，多路復用器(1①01412生成的文件數(shù)據(jù)緩沖到流緩沖區(qū)1414，然后輸出到例如連接模塊1321 (圖42)等，并且記錄在各種記錄介質(zhì)中。
[0645]此外，例如通過連接模塊1321(圖42)、寬帶調(diào)制解調(diào)器1333(圖42)等從外部網(wǎng)絡輸入到視頻處理器1332的傳輸流緩沖到流緩沖區(qū)1414，然后被多路分解器(01^()1413多路分解。此外，例如通過連接模塊1321(圖42)等從那各種記錄介質(zhì)讀取并輸入到視頻處理器1332的文件數(shù)據(jù)緩沖到流緩沖區(qū)1414，然后被多路分解器(01^()1413多路分解。換句話說，輸入到視頻處理器1332的傳輸流或文件數(shù)據(jù)被多路分解器1413分離成視頻流和音頻流。
[0646]音頻流通過音頻￡3緩沖區(qū)14098提供給音頻解碼器1411并且被解碼，音頻信號被再現(xiàn)。此外，視頻流寫入視頻￡3緩沖區(qū)14088，然后被編碼/解碼引擎1407順序讀取，被解碼并寫入幀存儲器1405。解碼圖像數(shù)據(jù)被第二圖像放大/減小單元1403放大或減小并且被寫入幀存儲器1405。然后，解碼圖像數(shù)據(jù)被視頻輸出處理單元1404讀取，具有轉(zhuǎn)換成諸如4:2:21/(^/0系統(tǒng)的預定系統(tǒng)的格式，被進一步轉(zhuǎn)換成模擬信號，視頻信號被再現(xiàn)并輸出。
[0647]本技術應用到如此配置的視頻處理器1332的情況下，根據(jù)以上所述每種實施例的本技術可以應用到編碼/解碼引擎1407。換句話說，例如，編碼/解碼引擎1407可以配置為具有根據(jù)第一實施例的圖像編碼設備100(圖1)或者根據(jù)第二實施例的圖像解碼設備200(圖19)的功能。通過如此配置，視頻處理器1332可以獲取與以上參考圖1至31所描述的優(yōu)點相同的優(yōu)點。
[0648]此外，在編碼/解碼引擎1407，本技術(換句話說，根據(jù)以上所述每種實施例的圖像編碼設備和圖像解碼設備的功能)可以由諸如邏輯電路的硬件實現(xiàn)，可以由諸如內(nèi)置程序的軟件實現(xiàn)，或者可以同時由硬件和軟件實現(xiàn)。
[0649]〔視頻處理器的另一配置實例〕
[0650]圖44是說明本技術適用的視頻處理器1332(圖42)的示意性配置的另一實例圖。在圖44所說明的例子的情況下，視頻處理器1332具有根據(jù)預定系統(tǒng)編碼/解碼視頻數(shù)據(jù)的功能。
[0651]更具體而言，如圖44所說明的，視頻處理器1332包括:控制單元1511 ；顯示接口1512 ；顯示引擎1513 ；圖像處理引擎1514 ；以及內(nèi)部存儲器1515。此外，視頻處理器1332還包括:編解碼器引擎1516 ；存儲器接口 1517 ；多路復用器/多路分解器01^)1518 ；網(wǎng)絡接口 1519 ；以及視頻接口 1520。
[0652]控制單元1511控制布置在視頻處理器1332的處理單元的操作，其中處理單元諸如顯示接口 1512、顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516。
[0653]如在圖44所說明的，例如，控制單元1511包括主1531、子1532以及系統(tǒng)控制器1533。主0^ 1531執(zhí)行控制位于視頻處理器1332中每個處理單元的程序。主0^1531根據(jù)程序等生成控制信號并且把該控制信號提供給每個處理單元(換句話說，控制每個處理單元的操作子0^ 1532對主0^ 1531實現(xiàn)輔助角色。例如，子0^ 1532執(zhí)行主0？^ 1531執(zhí)行程序的子過程、子例程等。系統(tǒng)控制器1533控制主0^ 1531和子0^ 1532的操作，諸如要主0^ 1531和子0^ 1532執(zhí)行程序的指定。
[0654]顯示接口 1512在控制單元1511的控制下把圖像數(shù)據(jù)輸出到例如連接模塊1321(圖42)等。例如，顯示接口 1512把作為數(shù)字數(shù)據(jù)的圖像數(shù)據(jù)轉(zhuǎn)換成模擬信號并且把圖像數(shù)據(jù)輸出到連接模塊1321(圖42)的監(jiān)控設備等，作為數(shù)字數(shù)據(jù)的再現(xiàn)視頻信號或圖像數(shù)據(jù)。
[0655]在控制單元1511的控制下，顯示引擎1513對圖像數(shù)據(jù)執(zhí)行各種轉(zhuǎn)換過程，諸如格式轉(zhuǎn)換、尺寸轉(zhuǎn)換以及色域轉(zhuǎn)換，以調(diào)整到顯示圖像等的監(jiān)控設備的硬件規(guī)范。
[0656]在控制單元1511的控制下，為了提高圖像數(shù)據(jù)的圖像質(zhì)量等，圖像處理引擎154執(zhí)行預定圖像處理，諸如過濾過程。
[0657]內(nèi)部存儲器1515是視頻處理器1332內(nèi)部的存儲器，被顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516共享。例如，內(nèi)部存儲器1515用于在顯示引擎1513、圖像處理引擎1514和編解碼器引擎1516中執(zhí)行的數(shù)據(jù)互換。例如，內(nèi)部存儲器1515存儲從顯示引擎1513、圖像處理引擎1514或編解碼器引擎1516提供的數(shù)據(jù)、并且必要時(例如，根據(jù)請求)把數(shù)據(jù)提供給顯示引擎1513、圖像處理引擎1514或編解碼器引擎1516。雖然這個內(nèi)部存儲器1515可以由任何存儲設備實現(xiàn)，但是一般而言，內(nèi)部存儲器1515常用于存儲具有小容量的數(shù)據(jù)，諸如以塊或參數(shù)為單位配置的圖像數(shù)據(jù)，因而它優(yōu)選地由具有相對小容量(例如，與外部存儲器1312相比)和高響應速度的半導體存儲器實現(xiàn)，諸如靜態(tài)隨機存取存儲器)。
[0658]編解碼器引擎1516執(zhí)行與編碼或解碼圖像數(shù)據(jù)相關的過程。編解碼器引擎1516對應的編碼/解碼系統(tǒng)是任意的，其數(shù)目可以是一個或兩個或更多個。例如，編解碼器引擎1516可以包括多個編碼/解碼系統(tǒng)的編解碼器功能、并且通過使用多個編碼/解碼系統(tǒng)中選定的一個來執(zhí)行圖像數(shù)據(jù)編碼或者編碼圖像數(shù)據(jù)的解碼。
[0659]在圖44所說明的例子，例如，編解碼器引擎1516包括腿^郎-2視頻1541、―以只.2641542、2651543、265 (可伸縮)1544、265 (多視圖)1545和1？26~0^8！1 1551，作為關于編解碼器的過程的功能塊。
[0660]1？26~2視頻1541是根據(jù)即％-2系統(tǒng)編碼或解碼圖像數(shù)據(jù)的功能塊。酬只.2641542是根據(jù)抓系統(tǒng)編碼或解碼圖像數(shù)據(jù)的功能塊。此外，2651543是根據(jù)
系統(tǒng)編碼或解碼圖像數(shù)據(jù)的功能塊。265 (可伸縮)1544是根據(jù)系統(tǒng)可伸縮編碼或可伸縮解碼圖像數(shù)據(jù)的功能塊。265 (多視圖)1545是根據(jù)系統(tǒng)多視點編碼或多視點解碼圖像數(shù)據(jù)的功能塊。
[0661〕 1？26~0^8！1 1551是根據(jù)(經(jīng)耵1？的動態(tài)自適應流媒體)系統(tǒng)發(fā)送丨接收圖像數(shù)據(jù)的功能塊。是通過使用肌1？(超文本傳輸協(xié)議)流化視頻的技術、并且具有從彼此不同分辨率等的多個編碼數(shù)據(jù)片段中適當選擇其一的特性，其中數(shù)據(jù)是事先以片段為單位準備并發(fā)送的。1551執(zhí)行與規(guī)范相符的流生成、流發(fā)送控制等，對于編碼丨解碼圖像數(shù)據(jù)，使用上述腿^郎-2視頻1541或冊乂以!!.265 (多視圖)1545。
[0662]存儲器接口 1517是外部存儲器1312的接口。從圖像處理引擎1514或編解碼器引擎1516提供的數(shù)據(jù)通過存儲器接口 1517提供給外部存儲器1312。此外，從外部存儲器1312讀出的數(shù)據(jù)通過存儲器接口 1517提供給視頻處理器1332(圖像處理引擎1514或編解碼器引擎1516〉。
[0663]多路復用器/多路分解器1)^1) 1518多路復用或多路分解關于圖像的各種數(shù)據(jù)，諸如編碼數(shù)據(jù)、圖像數(shù)據(jù)或視頻信號的位流。多路復用/多路分解方法是任意的。例如，在多路復用過程時，多路復用器/多路分解器011幻1518不僅可以把多個數(shù)據(jù)片段布置成一個、而且可以向數(shù)據(jù)添加預定首部信息等。此外，在多路分解過程時，多路復用器/多路分解器01^0 1518不僅可以把一個數(shù)據(jù)片段分成多個部分、而且可以向劃分的數(shù)據(jù)添加預定首部信息等。換句話說，多路復用器/多路分解器01^0 1518通過多路復用/多路分解過程轉(zhuǎn)換數(shù)據(jù)格式。例如，通過多路復用位流，多路復用器/多路分解器(1^( 01^0 1518可以把位流轉(zhuǎn)換成用于發(fā)送的格式的傳輸流、或者用于記錄的文件格式的數(shù)據(jù)(文件數(shù)據(jù)很顯然，逆轉(zhuǎn)換可以通過多路分解過程執(zhí)行。
[0664]網(wǎng)絡接口 1519是專用接口，諸如寬帶調(diào)制解調(diào)器1333(圖42)或者連接模塊1321 (圖42)。視頻接口 1520是諸如連接模塊1321 (圖42)或相機1322(圖42)的專用接0。
[0665]接下來，將描述這種視頻處理器1332的操作例子。例如，當傳輸流通過連接模塊1321(圖42)、寬帶調(diào)制解調(diào)器1333(圖42)等從外部網(wǎng)絡接收時，傳輸流通過網(wǎng)絡接口1519提供給多路復用器/多路分解器01^0 1518，被多路分解，被編解碼器引擎1516解碼。對于通過編解碼器引擎1516執(zhí)行的解碼過程獲取的圖像數(shù)據(jù)，例如，預定圖像處理由圖像處理引擎1514執(zhí)行，預定轉(zhuǎn)換由顯示引擎1513執(zhí)行，得到的圖像數(shù)據(jù)通過顯示接口1512提供給例如連接模塊1321 (^42)等，圖像顯示在監(jiān)視器上。此外，例如，通過由編解碼器引擎1516執(zhí)行的解碼過程獲取的圖像數(shù)據(jù)被編解碼器引擎1516重新編碼，被多路復用器/多路分解器01^0 1518多路復用，轉(zhuǎn)換成文件數(shù)據(jù)，通過視頻接口 1520輸出到例如連接模塊1321(圖42)等，在各種記錄介質(zhì)上記錄。
[0666]此外，例如，通過由連接模塊1321 (^42)等從圖中未示出的記錄介質(zhì)讀取的圖像數(shù)據(jù)獲取的編碼數(shù)據(jù)的文件數(shù)據(jù)，通過視頻接口 1520被提供給多路復用器/多路分解器(歷01^0 1518，被多路分解，并且被編解碼器引擎1516解碼。通過由編解碼器引擎1516執(zhí)行的解碼過程獲取的圖像數(shù)據(jù)接受圖像處理引擎1514執(zhí)行的預定圖像處理，預定轉(zhuǎn)換由顯示引擎1513執(zhí)行，得到的圖像數(shù)據(jù)通過顯示接口 1512提供給例如連接模塊1321(圖42)等，圖像顯示在監(jiān)視器上。此外，例如，通過由編解碼器引擎1516執(zhí)行的解碼過程獲取的圖像數(shù)據(jù)被編解碼器引擎1516重新編碼，被多路復用器/多路分解器01^)1518多路復用，轉(zhuǎn)換成傳輸流，通過網(wǎng)絡接口 1519提供給例如連接模塊1321 (圖42)、寬帶調(diào)制解調(diào)器1333(圖42)等，發(fā)送到圖中未示出的另一設備。
[0667]此外，例如，視頻處理器1332的處理單元之間的圖像數(shù)據(jù)或其它數(shù)據(jù)的互換是利用內(nèi)部存儲器1515或外部存儲器1312執(zhí)行的。此外，例如，電源管理模塊1313控制電力向控制單元1511的供應。
[0668]本技術應用到如此配置的視頻處理器1332的情況下，根據(jù)以上所述每種實施例的本技術可以應用到編解碼器引擎1516。換句話說，例如，編解碼器引擎1516可以包括實現(xiàn)根據(jù)第一實施例的圖像編碼設備100(圖1)或者根據(jù)第二實施例的圖像解碼設備200(圖19)的功能塊。通過如此配置，視頻處理器1332可以獲取與以上參考圖1至31所描述的那些相同的優(yōu)點。
[0669]此外，在編解碼器引擎1516中，本技術(換句話說，根據(jù)以上所述每種實施例的圖像編碼設備和圖像解碼設備的功能)可以由諸如邏輯電路的硬件實現(xiàn)，可以由諸如內(nèi)置程序的軟件實現(xiàn)，或者可以同時由硬件和軟件實現(xiàn)。
[0670]如上所述，雖然已經(jīng)作為例子描述了視頻處理器1332的兩種配置，但是視頻處理器1332的配置是任意的、并且可以是以上所述兩種配置之外的配置。此外，這種視頻處理器1332可以由一個半導體芯片或多個半導體芯片配置。例如，視頻處理器1332可以由多個半導體被層壓的三維層壓131配置。此外，視頻處理器1332可以由多個131實現(xiàn)。
[0671][對設備的應用實例]
[0672]視頻機1300可以在處理圖像數(shù)據(jù)的各種設備中設置。例如，視頻機1300可以在電視裝置900 (圖35)、移動電話920 (圖36)、記錄和再現(xiàn)設備940 (圖37)、成像設備960 (圖38)等中設置。通過在其中設置視頻機1300，設備可以獲取與以上參考圖1至31所描述的優(yōu)點相同的優(yōu)點。
[0673]此外，例如，視頻機1300可以在圖39說明的數(shù)據(jù)發(fā)送系統(tǒng)1000的終端設備，諸如個人計算機1004、奶設備1005、平板設備1006和移動電話1007，以及圖40所說明的數(shù)據(jù)發(fā)送系統(tǒng)1100的廣播站1101和終端設備1102中以及圖41所說明的成像系統(tǒng)1200的成像設備1201和可伸縮編碼數(shù)據(jù)存儲設備1202中設置。通過在其中設置視頻機1300，設備可以獲取與以上參考圖1至31所描述的優(yōu)點相同的優(yōu)點。
[0674]此外，即使上述視頻機1300的一些配置是包括視頻處理器1332的，但還可以實現(xiàn)為本技術在其它情況下應用的配置。例如，只有視頻處理器1332配置為本技術適用的視頻處理器。此外，如上所述，由虛線1341指示的處理器、視頻模塊1311等可以配置為本技術適用的處理器、模塊等。此外，例如，視頻模塊1311、外部存儲器1312、電源管理模塊1313和前端模塊1314可以組合，以便配置為本技術適用的視頻單元1361。在任何配置，都可以獲取與以上參考圖1至31所描述的優(yōu)點相同的優(yōu)點。
[0675]換句話說，類似于視頻機1300的情況，包括視頻處理器1332的任何配置可以在處理圖像數(shù)據(jù)的各種設備中設置。例如，虛線1341指示的視頻處理器1332、處理器和視頻模塊1311，或者視頻單元1361，可以在電視裝置900 (圖35)、移動電話920 (圖36)、記錄和再現(xiàn)設備940 (圖37)、成像設備960 (圖38)、圖39中說明的數(shù)據(jù)發(fā)送系統(tǒng)1000的終端設備，諸如個人計算機1004、^設備1005、平板設備1006和移動電話1007，圖40所說明的數(shù)據(jù)發(fā)送系統(tǒng)1100的廣播站1101和終端設備1102中以及圖41所說明的成像系統(tǒng)1200的成像設備1201和可伸縮編碼數(shù)據(jù)存儲設備1202等中設置。類似于視頻機1300的情況，通過設置本技術適用的任何配置，設備可以獲取與以上參考圖1至31所描述的優(yōu)點相同的優(yōu)點。
[0676]另外，本說明書已經(jīng)描述了諸如跳過許可信息或跳過標識信息的各種信息被多路復用到編碼流中、并且編碼流從編碼側(cè)發(fā)送到解碼側(cè)的例子。但是，發(fā)送信息的技術不限于此。例如，信息可以作為與編碼位流關聯(lián)的獨立數(shù)據(jù)發(fā)送或記錄，而不多路復用到編碼的位流中。這里，術語“關聯(lián)”代表包括在位流中的圖像(片、塊等；可以是圖像的一部分)和對應于該圖像的信息在解碼過程時彼此鏈接。換句話說，信息可以在與圖像(或位流)的傳輸線路不同的傳輸線路上發(fā)送。此外，信息可以記錄在與圖像(或位流)的記錄介質(zhì)不同的記錄介質(zhì)(或者相同記錄介質(zhì)的不同存儲區(qū)域)上。此外，信息和圖像(或位流)可以在任意單元(諸如多個幀、一個幀或者幀的一部分)中彼此關聯(lián)。
[0677]本公開內(nèi)容的優(yōu)選實施例已經(jīng)參考附圖具體描述，但是本公開內(nèi)容的技術范圍不限于以上例子。本領域技術人員應當理解，各種修改或變更可以在權利要求所述的技術主旨的范圍內(nèi)發(fā)生、并且它們在本發(fā)明的技術范圍內(nèi)。
[0678]本技術還可以具有以下配置:
[0679](1) 一種圖像處理設備，包括:量化單元，使用被應用到正交變換跳過塊的加權系數(shù)以及量化所述正交變換跳過塊，其中在所述正交變換跳過塊中正交變換處理被跳過；以及編碼單元，編碼被量化單元量化的正交變換跳過塊的系數(shù)。
[0680](2) (1)中所描述的圖像處理設備，其中量化單元使用空間域值作為所述加權系數(shù)。
[0681](3) (2)中所描述的圖像處理設備，其中量化單元使用一個加權系數(shù)。
[0682](4) (2)中所描述的圖像處理設備，其中量化單元使用在量化正交變換塊時使用的量化矩陣的IX:分量作為加權系數(shù)，其中在所述正交變換塊中執(zhí)行正交變換處理。
[0683](5) (2)中所描述的圖像處理設備，其中量化單元利用加權系數(shù)矩陣來量化所述正交變換跳過塊，所述加權系數(shù)矩陣是通過對量化矩陣的IX:分量執(zhí)行矩陣處理所獲得的。
[0684](6) (1)中所描述的圖像處理設備，其中量化單元利用加權系數(shù)矩陣來量化所述正交變換跳過塊，所述加權系數(shù)矩陣是通過對所述加權系數(shù)執(zhí)行矩陣處理所獲得的。
[0685](7) (1)中所描述的圖像處理設備，還包括發(fā)送單元，該發(fā)送單元把所述加權系數(shù)作為序列參數(shù)集或圖片參數(shù)集發(fā)送。
[0686](8)⑴中所描述的圖像處理設備，還包括發(fā)送單元，該發(fā)送單元發(fā)送指示是否許可正交變換處理的跳過的跳過許可信息，作為圖片參數(shù)集或者作為片首部。
[0687](9) (8)中所描述的圖像處理設備，其中發(fā)送單元只在執(zhí)行正交變換的最小塊尺寸是4X4時才發(fā)送跳過許可信息。
[0688](10)⑴中所描述的圖像處理設備，還包括發(fā)送單元，該發(fā)送單元只在執(zhí)行正交變換的最小塊尺寸是4X4時才發(fā)送跳過許可信息作為序列參數(shù)集。
[0689](11) (10)中所描述的圖像處理設備，其中當跳過許可信息是許可正交變換處理的跳過的值時，發(fā)送單元在跳過許可信息之后發(fā)送所述加權系數(shù)。
[0690](12) 一種圖像處理設備的圖像處理方法，其中圖像處理設備使用加權系數(shù)應用到正交變換跳過塊，量化所述正交變換跳過塊，以及編碼所述量化的正交變換跳過塊的系數(shù)，其中在所述正交變換跳過塊中正交變換處理被跳過。
[0691](13) 一種圖像處理設備，包括:過濾單元，當圖像經(jīng)歷編碼過程時，對局部解碼圖像執(zhí)行去塊過濾；控制單元，控制由過濾單元進行的去塊過濾，以便針對正交變換處理被跳過的正交變換跳過塊與執(zhí)行了正交變換的正交變換塊之間的邊界增加去塊過濾的強度；以及編碼單元，使用過濾單元執(zhí)行了去塊過濾的圖像，并且編碼該圖像。
[0692](14) 一種圖像處理設備的圖像處理方法，其中當圖像經(jīng)歷編碼過程時，圖像處理設備對局部解碼圖像執(zhí)行去塊過濾，控制由過濾單元進行的去塊過濾，以便針對正交變換處理被跳過的正交變換跳過塊與執(zhí)行了正交變換的正交變換塊之間的邊界增加去塊過濾的強度，使用過濾單元執(zhí)行了去塊過濾的圖像，并且編碼該圖像。
[0693](15) 一種圖像處理設備，包括:解碼單元，對位流執(zhí)行解碼過程，以生成圖像；過濾單元，對解碼單元生成的圖像執(zhí)行去塊過濾；及控制單元，控制由過濾單元進行的去塊過濾，以便針對正交變換處理被跳過的正交變換跳過塊與執(zhí)行了正交變換的正交變換塊之間的邊界增加去塊過濾的強度。
[0694](16) 一種圖像處理設備的圖像處理方法，其中圖像處理設備對位流執(zhí)行解碼過程，以生成圖像，對所生成的圖像執(zhí)行去塊過濾，并且控制去塊過濾，以便針對正交變換處理被跳過的正交變換跳過塊與執(zhí)行了正交變換的正交變換塊之間的邊界增加去塊過濾的強度。
[0695](21) —種圖像處理設備，包括:
[0696]量化單元，使用加權系數(shù)應用到正交變換跳過塊以及量化該正交變換跳過塊，其中在所述正交變換跳過塊中正交變換處理被跳過；及
[0697]編碼單元，編碼由量化單元量化的正交變換跳過塊的系數(shù)。
[0698](22)根據(jù)(21)的圖像處理設備，其中量化單元使用一個加權系數(shù)。
[0699](23)根據(jù)(22)的圖像處理設備，其中量化單元利用所述加權系數(shù)來量化具有4X4塊尺寸的正交變換跳過塊。
[0700](24)根據(jù)(23)的圖像處理設備，還包括發(fā)送單元，該發(fā)送單元發(fā)送指示是否許可正交變換處理的跳過的跳過許可信息作為圖片參數(shù)集。
[0701](25)根據(jù)(24)的圖像處理設備，其中發(fā)送單元還發(fā)送所述加權系數(shù)。
[0702](26)根據(jù)(21)的圖像處理設備，其中量化單元利用量化矩陣來量化其中正交變換處理被執(zhí)行的非正交變換跳過塊，所述量化矩陣與通過對所述加權系數(shù)執(zhí)行矩陣處理獲得的加權系數(shù)矩陣不同。
[0703](27)根據(jù)(24)的圖像處理設備，還包括發(fā)送單元，該發(fā)送單元調(diào)制通過由所述量化單元執(zhí)行量化并且由編碼單元編碼圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)，以便把編碼數(shù)據(jù)作為發(fā)送信號發(fā)送。
[0704](28)根據(jù)(24)的圖像處理設備，還包括多路復用器，該多路復用器多路復用通過由所述量化單元執(zhí)行量化并且由編碼單元編碼圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)與音頻編碼數(shù)據(jù)。
[0705](29)根據(jù)(24)的圖像處理設備，還包括成像單元，該成像單元捕捉物體的圖像，以生成圖像數(shù)據(jù)，
[0706]其中量化單元量化所述成像單元利用成像所獲得的所述圖像數(shù)據(jù)的所述正交變換跳過塊。
[0707](30)根據(jù)(24)的圖像處理設備，還包括對音頻數(shù)據(jù)執(zhí)行編碼和解碼的音頻編解碼器單元。
[0708](31)根據(jù)(24)的圖像處理設備，還包括記錄單元，該記錄單元在存儲介質(zhì)上記錄通過由所述量化單元執(zhí)行量化并且由編碼單元編碼圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)。
[0709](32) —種圖像處理方法，包括:
[0710]使用加權系數(shù)應用到正交變換跳過塊，以量化所述正交變換跳過塊，其中所述正交變換跳過塊中正交變換處理被跳過；及
[0711]編碼所述被量化的所述正交變換跳過塊的系數(shù)。
[0712]標號列表
[0713]100圖像編碼設備
[0714]104正交變換單元
[0715]105量化單元
[0716]106無損編碼單元
[0717]108逆量化單元
[0718]109逆正交變換單元
[0719]111去塊過濾器
[0720]121正交變換跳過單元
[0721]131跳過編碼單元
[0722]132跳過確定單元
[0723]141量化矩陣設置單元
[0724]142加權系數(shù)生成單元
[0725]143量化處理單元
[0726]151邊界確定單元
[0727]152強度調(diào)整單元
[0728]153過濾單元
[0729]200圖像解碼設備
[0730]202無損解碼單元
[0731]203逆量化單元
[0732]204逆正交變換單元
[0733]206去塊過濾器
[0734]221逆正交變換跳過單元
[0735]231丁以仙作現(xiàn)級如打叫緩沖區(qū)
[0736]232控制信號生成單元
[0737]241量化矩陣緩沖區(qū)
[0738]242加權系數(shù)生成單元
[0739]243量化參數(shù)緩沖區(qū)
[0740]244逆量化單元
[0741]251邊界確定單元
[0742]252強度調(diào)整單元
[0743]253過濾單元
【權利要求】
1.一種圖像處理設備，包括: 量化單元，使用被應用到正交變換跳過塊的加權系數(shù)并且量化該正交變換跳過塊，其中在所述正交變換跳過塊中正交變換處理被跳過；及 編碼單元，編碼由所述量化單元量化的所述正交變換跳過塊的系數(shù)。
2.如權利要求1所述的圖像處理設備，其中量化單元使用一個加權系數(shù)。
3.如權利要求2所述的圖像處理設備，其中量化單元利用所述加權系數(shù)來量化具有4X4塊尺寸的正交變換跳過塊。
4.如權利要求3所述的圖像處理設備，還包括發(fā)送單元，該發(fā)送單元發(fā)送指示是否許可正交變換處理的跳過的跳過許可信息作為圖片參數(shù)集。
5.如權利要求4所述的圖像處理設備，其中發(fā)送單元還發(fā)送所述加權系數(shù)。
6.如權利要求1所述的圖像處理設備，其中量化單元利用量化矩陣來量化非正交變換跳過塊，在所述非正交變換跳過塊中正交變換處理被執(zhí)行，所述量化矩陣與通過對所述加權系數(shù)執(zhí)行矩陣處理獲得的加權系數(shù)矩陣不同。
7.如權利要求4所述的圖像處理設備，還包括發(fā)送單元，該發(fā)送單元調(diào)制通過由量化單元執(zhí)行量化并且由編碼單元編碼圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)，以把編碼數(shù)據(jù)作為發(fā)送信號發(fā)送。
8.如權利要求4所述的圖像處理設備，還包括多路復用器，該多路復用器多路復用通過由所述量化單元執(zhí)行量化并且由編碼單元編碼圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)與音頻編碼數(shù)據(jù)。
9.如權利要求4所述的圖像處理設備，還包括成像單元，該成像單元捕捉物體的圖像，以生成圖像數(shù)據(jù)， 其中量化單元量化所述成像單元利用成像所獲得的所述圖像數(shù)據(jù)的正交變換跳過塊。
10.如權利要求4所述的圖像處理設備，還包括對音頻數(shù)據(jù)執(zhí)行編碼和解碼的音頻編解碼器單元。
11.如權利要求4所述的圖像處理設備,還包括記錄單元,該記錄單元在存儲介質(zhì)上記錄通過由所述量化單元執(zhí)行量化并且由編碼單元編碼圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)。
12.—種圖像處理方法，包括: 使用被應用到正交變換跳過塊的加權系數(shù)來量化所述正交變換跳過塊，其中在所述正交變換跳過塊中正交變換處理被跳過；以及 編碼所述被量化的正交變換跳過塊的系數(shù)。
【文檔編號】H04N19/597GK104429068SQ201380032800
【公開日】2015年3月18日 申請日期:2013年6月21日 優(yōu)先權日:2012年6月29日
【發(fā)明者】佐藤數(shù)史, 森上義崇, 陸碩 申請人:索尼公司