專利名稱：圖像編碼裝置以及圖像編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種使用編碼標準JPEG2000對圖像數(shù)據(jù)進行壓縮的圖像編碼裝置、圖像編碼方法以及圖像編碼程序。
在使用JPEG2000的圖像編碼裝置中，使用單元分割器對輸入圖像進行單元分割。圖3是進行了單元分割的輸入圖像10的簡圖。該輸入圖像10被分割為多個單元區(qū)11，各個單元區(qū)11由邊界線12劃分。被單元分割的圖像數(shù)據(jù)通過子波變換運算器，在各個單元區(qū)11內(nèi)被子波變換。
產(chǎn)生上述單元噪聲的原因是，在單元邊界線12附近，子波變換運算器利用了被稱為“對稱周期擴張”的方法來進行子波變換。圖4是關(guān)于該“對稱周期擴張”的說明圖。
圖4示出了利用“實數(shù)型”子波變換對高頻成分的變換對象像素a0進行運算的情況，對位于單元區(qū)11中央的變換對象像素a0進行的子波變換，由于是利用以變換對象像素a0為中心左右對稱排列的像素a1～a4以及像素a5～a8來進行的，所以不會有問題。
但是，在變換對象像素a0鄰近單元邊界線12的情況下，在變換對象像素a0的一側(cè)(圖示實施例的左側(cè))存在像素a1～a4，而在另一側(cè)(圖示實施例的右側(cè))不存在像素(實際上，像素存在于另一個單元區(qū)內(nèi)，但由于各單元區(qū)必須獨立進行變換，所以無法使用屬于相鄰單元區(qū)的像素)，這樣，子波變換運算器無法進行運算。
在這種情況下，子波變換運算器將一側(cè)的像素a1～a4翻轉(zhuǎn)，作為虛擬像素排列在另一側(cè)，使其與a0對稱，然后使用上述一側(cè)的實際像素a1～a4的數(shù)據(jù)和另一側(cè)的虛擬像素a4～a1的數(shù)據(jù)進行假想運算。上述運算方法稱為“對稱周期擴張”，在該對稱周期擴張中，由于使用非實際像素的虛擬像素a4～a1，所以與使用超過單元區(qū)的實際像素時相比，運算精度當然降低。
在壓縮率低于一定水平的狀態(tài)下，上述運算精度的下降不是很明顯，但當壓縮率高于一定水平時，在輝度值、亮度、色差等方面與源數(shù)據(jù)的差別就會很明顯，此外在各單元區(qū)之間，由于數(shù)據(jù)沒有關(guān)聯(lián)，所以該差別在單元邊界線12附近易于引人關(guān)注，從而在畫面上顯示出沿單元邊界線12的線。這就是上述的單元噪聲。
作為避免發(fā)生上述單元噪聲的方法，可以考慮在單元邊界線12附近設(shè)置平均值濾波器，但設(shè)置平均值濾波器本身就會導致圖像劣化，對于提高畫質(zhì)的目的而言不是一個好辦法。此外，可以考慮由像素a1～a4的數(shù)據(jù)推算出與虛擬像素a4～a1對應(yīng)的數(shù)據(jù)的方法，但由于運算復雜，會對處理速度產(chǎn)生影響。
本發(fā)明就是鑒于上述問題提出的，其目的是，提供一種對畫質(zhì)和處理速度不產(chǎn)生影響，且能容易地防止單元噪聲的發(fā)生的圖像編碼裝置和圖像編碼方法。
為了解決上述問題，本發(fā)明提供以下圖像編碼裝置和圖像編碼方法。
一種對輸入圖像進行壓縮的圖像編碼裝置，其特征在于，包括單元分割裝置，將輸入圖像分割為多個單元區(qū)；子波變換運算裝置，對由上述單元分割裝置分割的各單元區(qū)進行子波變換；關(guān)注區(qū)指定裝置，對由上述子波變換運算裝置運算處理的變換數(shù)據(jù)指定關(guān)注區(qū)；系數(shù)位建模裝置，對被指定了上述關(guān)注區(qū)的上述變換數(shù)據(jù)進行系數(shù)位建模；位舍棄·算數(shù)編碼裝置，對由上述系數(shù)位建模裝置進行了系數(shù)位建模的位系數(shù)，進行位舍棄和算數(shù)編碼；以及位流生成裝置，根據(jù)由上述位舍棄·算數(shù)編碼裝置進行了位舍棄和算數(shù)編碼的位系數(shù)，生成位流，其中，上述關(guān)注區(qū)指定裝置將各單元區(qū)內(nèi)的單元邊界線周邊部分指定為關(guān)注區(qū)。
一種對輸入圖像進行壓縮的圖像編碼方法，其特征在于，包括以下步驟將輸入圖像分割為多個單元區(qū)；對被分割的各單元區(qū)進行子波變換；對被進行了上述子波變換的變換數(shù)據(jù)指定關(guān)注區(qū)；
對被指定了上述關(guān)注區(qū)的上述變換數(shù)據(jù)進行系數(shù)位建模；對被進行了系數(shù)位建模的位系數(shù)進行位舍棄和算數(shù)編碼；以及根據(jù)被進行了位舍棄和算數(shù)編碼的位系數(shù)生成位流，其中，在指定上述關(guān)注區(qū)的步驟中，將各單元區(qū)內(nèi)的單元邊界線周邊部分指定為關(guān)注區(qū)。
圖2是表示本發(fā)明的圖像編碼裝置的構(gòu)成的方框圖。
圖3是進行單元分割時的輸入圖像10的示意圖。
圖4是對圖2的子波變換運算器4進行的“對稱周期擴張”的說明圖。
以下對圖2的裝置的動作進行說明。首先，輸入圖像被輸入至DC電平移位器1，DC電平被移位。所謂的DC電平移位，是以DC(直流)成分即零成分為基準，將輸入圖像數(shù)據(jù)的電平移位。例如，如果輸入圖像數(shù)據(jù)以8位表示，則該數(shù)據(jù)是0～255其中的某個數(shù)值，但通過DC電平移位，以0為中心，將該數(shù)據(jù)的值變換為一128～127其中的數(shù)值。進行上述DC電平移位的原因是，由于在一般輸入圖像的頻率分布中，零成分比其他成分多，以零成分為基準的數(shù)據(jù)配置方式可以提高編碼效率。
然后，從DC電平移位器1輸出的輸入圖像數(shù)據(jù)被輸入到色彩變換器2，在其中將RGB色彩空間的值變換為YUV色彩空間的值。該變換也是為了提高編碼效率。
在色彩變換器2中進行色彩變換后的輸入圖像數(shù)據(jù)被輸入至單元分割器3，在其中進行單元分割，將其分割為多個單元區(qū)。進行上述單元分割的原因是，通過使各單元區(qū)之間不相關(guān)，從而可以并行處理，提高子波變換時的變換速度。如果不進行上述單元分割，當進行其后的子波變換時，由于運算量增大，導致變換速度下降，而且會導致所需要的存儲器容量增大。如圖3所說明的，輸入圖像10被分割為多個單元區(qū)11，各單元區(qū)11被單元邊界線12所劃分。
通過單元分割器3被單元分割的圖像數(shù)據(jù)被輸入至子波變換運算器4，對各單元區(qū)11進行子波變換。
子波變換是進行復雜振動波形的解析等時使用的變換，是有效地利用傅里葉解析的特征，可以同時得到時間和空間的變動的波形數(shù)據(jù)解析方法。上述子波變換將圖像分為低頻成分和高頻成分進行變換，變換系數(shù)為整數(shù)的稱為“整數(shù)型”，變換系數(shù)為實數(shù)的稱為“實數(shù)型”。前者的優(yōu)點是能進行可逆變換，電路構(gòu)成小，而后者的優(yōu)點是雖然不能進行可逆變換，但在提高壓縮率時能得到良好的畫質(zhì)。在一般圖像處理的子波變換中，可以設(shè)定變換系數(shù)和參考像素數(shù)的值，因此可以使用各種變換濾波器。
在JPEG2000中，由于考慮了畫質(zhì)和電路構(gòu)成等因素，其結(jié)果，在“整數(shù)型”變換中采用低頻用參考像素數(shù)為5、高頻用參考像素數(shù)為3的5×3濾波器，而在“實數(shù)型”變換中采用低頻用參考像素數(shù)為9、高頻用參考像素數(shù)為7的9×7濾波器。
標量量化器5通過將來自子波變換運算器4的變換數(shù)據(jù)除以某一數(shù)值，從而以標量值將該變換數(shù)據(jù)量化。關(guān)注區(qū)指定器6對由標量量化器5量化的數(shù)據(jù)(在不進行量化的情況下，對子波變換數(shù)據(jù)指定ROI(指定關(guān)注區(qū)Region of Interest))。其中，所謂的關(guān)注區(qū)是指，在為了使進行圖像數(shù)據(jù)的壓縮處理過程中損失的源數(shù)據(jù)比其他區(qū)域少而進行編碼，使解碼后的圖像數(shù)據(jù)的畫質(zhì)不易劣化的區(qū)域(即比其他區(qū)域的壓縮率低或不進行壓縮的區(qū)域)。
例如在數(shù)碼相機等的畫面中，人物或其他重要的被攝物體通常位于背景畫面的中央附近，如果將上述重要的被攝物體所處的區(qū)域指定為關(guān)注區(qū)，則由于編碼時不會將該關(guān)注區(qū)的數(shù)據(jù)切除，所以在解碼后能忠實地再現(xiàn)與重要的被攝物體相關(guān)的源圖像數(shù)據(jù)。對于圖像數(shù)據(jù)的壓縮率，雖然可以由該標量量化器5在一定程度上指定，但不能正確地指定。正確的指定可以通過后述的位舍棄·算數(shù)編碼器8的位切除來進行。
系數(shù)位建模器7對由標量量化器5進行量化并且由關(guān)注區(qū)指定器6指定了關(guān)注區(qū)的數(shù)據(jù)，進行系數(shù)位建模。所謂的系數(shù)位建模是指，為了使例如以2進制數(shù)表示的某量級的多位數(shù)據(jù)在位方向上分段，以位面為單位對其進行分割，使其排列成層狀構(gòu)造的處理。在JPEG2000中，在指定關(guān)注區(qū)的情況下，在該系數(shù)位建模中采用被稱為最大移位(Max Shift)的方式，使由關(guān)注區(qū)指定器6所指定的關(guān)注區(qū)的數(shù)據(jù)(位系數(shù))向MSB一側(cè)移位。
位舍棄·算數(shù)編碼器8對由系數(shù)位建模器7進行了系數(shù)位建模的位系數(shù)，進行位舍棄和算數(shù)編碼。所謂的位舍棄是指，對進行了上述系數(shù)位建模的位系數(shù)，舍棄某幾位數(shù)的位。一般，在圖像數(shù)據(jù)中，如果舍棄最高位(MSB)的位系數(shù)，則圖像明顯劣化，而如果舍棄最低位(LSB)的位，則圖像不會發(fā)生明顯的劣化。
因此，通常從最低位的位舍棄指定位數(shù)的位，可以通過舍棄到哪一位的位來指定壓縮率。但是，位舍棄·算數(shù)編碼器8對由關(guān)注區(qū)指定器6所指定的的關(guān)注區(qū)的位系數(shù)不進行舍棄(此時，位舍棄·算數(shù)編碼器8根據(jù)有無向上述MSB一側(cè)的移位來判別是否是關(guān)注區(qū)的位系數(shù))。
此外，所謂的算數(shù)編碼是幾種圖像壓縮方法中的一種，在本例中，位舍棄·算數(shù)編碼器8使用被稱為MQ-Decoder的編碼器，將從系數(shù)位建模器7輸出的位系數(shù)編碼為字節(jié)碼。
位流生成器9利用從位舍棄·算數(shù)編碼器8輸出的位系數(shù)，生成位流。然后根據(jù)預先設(shè)定的優(yōu)先度，來決定此時的Y、U、V各色彩成分、析像度、SNR等的順序。
以數(shù)碼相機的圖像編碼裝置為例，上述關(guān)注區(qū)指定器6具有對不希望畫質(zhì)劣化的重要被攝物體指定關(guān)注區(qū)的功能。本發(fā)明在上述功能的基礎(chǔ)上，具有為了除去單元噪聲而將各單元區(qū)內(nèi)的單元邊界線附近的規(guī)定區(qū)域指定為關(guān)注區(qū)的功能。


圖1是對根據(jù)用于除去上述單元噪聲的關(guān)注區(qū)指定功能而對設(shè)定了關(guān)注區(qū)的畫面的說明圖。如圖所示，輸入圖像10被分割為多個單元區(qū)11，各單元區(qū)11被單元邊界線11劃分。在個單元區(qū)11內(nèi)設(shè)定沿單元邊界線12形成的關(guān)注區(qū)13。優(yōu)選該關(guān)注區(qū)13的寬度，在使用5×3濾波器進行整數(shù)型子波變換的情況下，為3個像素以上的寬度，在使用9×7濾波器進行實數(shù)型子波變換的情況下，為5個像素的寬度，但不特別進行限定，可以設(shè)定為各種寬度。
對于根據(jù)關(guān)注區(qū)指定器6進行設(shè)定的上述關(guān)注區(qū)13，即使由子波變換運算器4進行運算后，再由標量量化器5、關(guān)注區(qū)指定器6以及位舍棄·算數(shù)編碼器8等各構(gòu)成要素進行圖像壓縮處理，至少關(guān)注區(qū)13內(nèi)的像素沒有損失數(shù)據(jù)(或者與其他區(qū)域相比，損失數(shù)據(jù)非常少)。因此，即使以低的位速率(高壓縮率)進行圖像壓縮處理，在解碼時也可以恢復沒有單元噪聲的良好圖像。
在本實施方式中，用于除去上述單元噪聲的關(guān)注區(qū)指定功能，原則上假定不管圖像壓縮率的數(shù)值如何，在編碼時總是不變動。即，在JPEG2000中，假定解碼處理總是以一定水平以上的位速率進行，由于可以認為單元噪聲僅在以一定水平以下的低位速率進行圖像壓縮處理時才發(fā)生，所以僅在上述情況時需要進行指定關(guān)注區(qū)13。
但是，在例如對象設(shè)備為攝像機的情況下(在其他重放設(shè)備中重放數(shù)碼相機的運動圖像數(shù)據(jù)的情況也同樣)，由于可以以一定水平以下的低位速率進行解碼處理，所以為了防止單元噪聲的發(fā)生，不管編碼時的壓縮率的數(shù)值如何，總是優(yōu)選進指定行關(guān)注區(qū)13。
與此相對，當通過在數(shù)碼相機主體設(shè)置的液晶畫面上重放數(shù)碼相機的靜止圖像數(shù)據(jù)或運動圖像數(shù)據(jù)時，在解碼時的位速率為固定值的情況下，可以僅在以一定水平以下的低位速率進行圖像壓縮處理的情況下進行指定關(guān)注區(qū)13。
在本發(fā)明中，關(guān)注區(qū)指定功能除了用于其本來的目的，還用于單元噪聲除去，因此與現(xiàn)有技術(shù)相比，其最大壓縮率當然會降低。但是，相對于畫面整體而言，關(guān)注區(qū)13的面積非常小，所以即使最大壓縮率降低，其數(shù)值也是非常小的。因此，在實際應(yīng)用上不會有問題。
此外，在上述實施方式中，由于假定所處理的輸入圖像為彩色圖像，所以還包括色彩變換器2，但當輸入圖像為黑白圖像時，可以省略該色彩變換器2(根據(jù)情況，DC電平移位器1也可以省略)。
此外，本發(fā)明還包含把計算機作為上述圖像編碼裝置而工作的程序。該程序可以從插入計算機的記錄介質(zhì)讀出而執(zhí)行，或者可以通過通信網(wǎng)絡(luò)進行通信，將其讀入計算機進行處理。
如上所述，在本發(fā)明中，通過有效地利用原作為可選功能而包含在JPEG2000中的關(guān)注區(qū)(ROI)指定器，在不影響畫質(zhì)和處理速度的情況下，可以容易地解決對各單元區(qū)進行子波變換而導致發(fā)生單元噪聲的JPEG2000特有的問題。即，本發(fā)明根據(jù)從完全不同側(cè)面的構(gòu)思，即活用現(xiàn)有技術(shù)中對不希望發(fā)生畫質(zhì)劣化的重要被攝物體使用的關(guān)注區(qū)指定功能，防止單元噪聲的問題。
如上所述，根據(jù)本發(fā)明，關(guān)注區(qū)指定器將各單元區(qū)內(nèi)的單元邊界線周邊部分指定為關(guān)注區(qū)，從而在不影響畫質(zhì)和處理速度的情況下，可以容易地防止單元噪聲的發(fā)生。
權(quán)利要求
1.一種對輸入圖像進行壓縮的圖像編碼裝置，其特征在于，包括單元分割裝置，將輸入圖像分割為多個單元區(qū)；子波變換運算裝置，對由上述單元分割裝置分割的各單元區(qū)進行子波變換；關(guān)注區(qū)指定裝置，對由上述子波變換運算裝置運算處理的變換數(shù)據(jù)指定關(guān)注區(qū)；系數(shù)位建模裝置，對被指定了上述關(guān)注區(qū)的上述變換數(shù)據(jù)進行系數(shù)位建模；位舍棄·算數(shù)編碼裝置，對由上述系數(shù)位建模裝置進行了系數(shù)位建模的位系數(shù)，進行位舍棄和算數(shù)編碼；以及位流生成裝置，根據(jù)由上述位舍棄·算數(shù)編碼裝置進行了位舍棄和算數(shù)編碼的位系數(shù)，生成位流，其中，上述關(guān)注區(qū)指定裝置將各單元區(qū)內(nèi)的單元邊界線周邊部分指定為關(guān)注區(qū)。
2.根據(jù)權(quán)利要求1所述的圖像編碼裝置，其特征在于，上述關(guān)注區(qū)指定裝置僅在壓縮率高于一定水平以上的情況下，才進行上述關(guān)注區(qū)的指定。
3.一種對輸入圖像進行壓縮的圖像編碼方法，其特征在于，包括以下步驟將輸入圖像分割為多個單元區(qū)；對被分割的各單元區(qū)進行子波變換；對被進行了上述子波變換的變換數(shù)據(jù)指定關(guān)注區(qū)；對被指定了上述關(guān)注區(qū)的上述變換數(shù)據(jù)進行系數(shù)位建模；對被進行了系數(shù)位建模的位系數(shù)進行位舍棄和算數(shù)編碼；以及根據(jù)被進行了位舍棄和算數(shù)編碼的位系數(shù)生成位流，其中，在指定上述關(guān)注區(qū)的步驟中，將各單元區(qū)內(nèi)的單元邊界線周邊部分指定為關(guān)注區(qū)。
4.根據(jù)權(quán)利要求3所述的圖像編碼方法，其特征在于，在指定上述關(guān)注區(qū)的步驟中，僅在壓縮率高于一定水平以上的情況下，才進行上述關(guān)注區(qū)的指定。
全文摘要
本發(fā)明提供一種圖像編碼裝置以及圖像編碼方法。本發(fā)明在不影響畫質(zhì)和處理速度的情況下，可以容易地防止單元噪聲的發(fā)生。為了除去單元噪聲，關(guān)注區(qū)指定器具有將各單元區(qū)11內(nèi)的單元邊界線12附近的規(guī)定區(qū)域指定為關(guān)注區(qū)13的功能。對于該關(guān)注區(qū)13，子波變換運算器進行運算之后，即使由各構(gòu)成要素進行圖像壓縮處理，至少關(guān)注區(qū)13內(nèi)的像素沒有損失數(shù)據(jù)。因此，即使以低位速率(高壓縮率)進行圖像壓縮處理，在解碼時也可以恢復沒有單元噪聲的良好圖像。
文檔編號H04N7/26GK1420633SQ02146850
公開日2003年5月28日 申請日期2002年10月15日 優(yōu)先權(quán)日2001年10月29日
發(fā)明者和田祐司 申請人:日本勝利株式會社