對(duì)圖像進(jìn)行編碼的制作方法
【專利摘要】本發(fā)明的各實(shí)施方式總體上涉及對(duì)圖像進(jìn)行編碼。具體地，一種圖像處理器，包括圖像預(yù)處理塊以及用于對(duì)圖像進(jìn)行處理和編碼的編碼器處理塊。該圖像預(yù)處理塊接收?qǐng)D像數(shù)據(jù)并對(duì)所其進(jìn)行處理以提供包括均包括像素的圖像部分的圖像。針對(duì)每個(gè)圖像部分，分析像素以估計(jì)該圖像部分的復(fù)雜度指示，并且基于所估計(jì)的圖像部分的復(fù)雜度指示確定元數(shù)據(jù)。該元數(shù)據(jù)被送至編碼器處理塊，該編碼器處理塊使用其來確定用于在對(duì)圖像進(jìn)行編碼時(shí)使用的量化水平。該編碼器處理塊隨后能夠使用所確定的量化水平對(duì)圖像進(jìn)行編碼。便利地，圖像預(yù)處理塊106對(duì)圖像數(shù)據(jù)進(jìn)行處理以提供圖像，并且因此訪問其能夠分析的圖像以確定元數(shù)據(jù)而并不需要單獨(dú)的圖像讀取操作。
【專利說明】對(duì)圖像進(jìn)行編碼

【技術(shù)領(lǐng)域】
[0001]本發(fā)明的各實(shí)施方式總體上涉及圖像處理。具體地，涉及對(duì)圖像進(jìn)行編碼。

【背景技術(shù)】
[0002]諸如相機(jī)之類的圖像傳感器可以被用來捕獲圖像數(shù)據(jù)。圖像數(shù)據(jù)可以由圖像處理器進(jìn)行處理以提供包括多個(gè)像素的圖像。表示圖像的像素值的初始圖像數(shù)據(jù)隨后可以被進(jìn)行編碼。對(duì)圖像編碼的目標(biāo)通常是減少用來表示圖像的數(shù)據(jù)量。因此，圖像的編碼可能會(huì)涉及到圖像的一些壓縮。無損編碼算法可以被用來在不損失圖像中的任何信息的情況下對(duì)圖像進(jìn)行編碼。與之相比，有損編碼算法可以用來對(duì)圖像進(jìn)行編碼，并且在編碼時(shí)與使用無損編碼算法進(jìn)行的壓縮相比以更大程度對(duì)圖像進(jìn)行壓縮。然而，當(dāng)使用有損編碼算法對(duì)圖像編碼時(shí)，圖像中的一些信息可能會(huì)丟失。
[0003]由于圖像中的像素值之間經(jīng)常存在某些關(guān)聯(lián)，例如對(duì)于圖像中彼此相鄰或者至少接近的像素而言，所以初始圖像數(shù)據(jù)中經(jīng)常存在著表示圖像中每個(gè)像素的值的冗余，例如，通過將顏色連同一些群組信息一起一次性地存儲(chǔ)以表示該群組的所有像素的顏色而不是多次存儲(chǔ)顏色(即，針對(duì)每個(gè)像素存儲(chǔ)一次)，所有具有相同顏色的像素群組的顏色能夠得以被(無損)壓縮。圖像中存在的冗余越多，圖像就能夠在不損失圖像中的任何信息的情況下被壓縮的更多。編碼器所使用的量化參數(shù)(QP)管控著有多少細(xì)節(jié)得以被保存。當(dāng)編碼器所使用的QP非常小時(shí)，幾乎圖像中的所有細(xì)節(jié)都被保留。當(dāng)編碼器所使用的QP有所增大時(shí)，圖像中的一些細(xì)節(jié)被整合而使得編碼圖像的比特率下降，但是其代價(jià)是一定的失真增加以及編碼圖像質(zhì)量的一定下降。
[0004]對(duì)于編碼器而言，以跨圖像并且在圖像是包括多個(gè)幀的視頻流內(nèi)的一幀時(shí)跨該視頻流的不同幀以恒定(或近似恒定)的比特率提供編碼圖像是有利的?？梢允褂镁彌_器并且將其作為“漏桶(leaky bucket) ”進(jìn)行操作，其以恒定速率被排空并且以可變速率被填充來自編碼器的編碼圖像數(shù)據(jù)。速率控制器可以被用來根據(jù)目標(biāo)比特率調(diào)節(jié)編碼器所使用的QP，從而使得緩沖器并不被耗盡或飽和。速率控制器從編碼器接收指示已經(jīng)通過對(duì)之前圖像和/或當(dāng)前所編碼圖像的之前部分進(jìn)行編碼而生成的比特?cái)?shù)的反饋。該速率控制器可以使用該反饋來確定QP應(yīng)當(dāng)針對(duì)后續(xù)圖像和/或當(dāng)前所編碼圖像的后續(xù)部分的編碼如何變化。
[0005]圖像中的冗余可以隨圖像以及隨該相同圖像的不同部分而大幅變化。該圖像可能僅被編碼一次(例如，在該圖像被實(shí)時(shí)編碼時(shí))，而使得如果通過對(duì)該圖像進(jìn)行編碼而生成的比特相對(duì)于目標(biāo)比特率過少或過多也并不對(duì)該圖像重新編碼。此外，為了降低緩沖器的存儲(chǔ)要求并且將圖像編碼的延時(shí)保持在可接受的低水平，緩沖器的大小是受限的。此外，用來編碼相同圖像的不同部分的QP的較大變化會(huì)導(dǎo)致感知上更低質(zhì)量的編碼圖像。因此，該速率控制器可能并不允許QP的變化超出圖像編碼的閾值數(shù)量。
[0006]以上所提到的約束會(huì)導(dǎo)致速率控制器并未最優(yōu)地(或者甚至近似最優(yōu)地)對(duì)編碼器用來對(duì)圖像部分編碼的QP進(jìn)行控制的情形(例如，當(dāng)圖像被實(shí)時(shí)編碼時(shí))。例如，圖像中的細(xì)節(jié)數(shù)量可能是局部化的，例如圖像的底部四分之一可能包括比圖像的其余部分更多的細(xì)節(jié)。在這種情況下，用盡比特預(yù)算的四分之三，速率控制器可能針對(duì)圖像的四分之三而言在比特預(yù)算內(nèi)進(jìn)行良好操作。然而，當(dāng)編碼器對(duì)該圖像中包含高細(xì)節(jié)水平的底部的四分之一進(jìn)行編碼時(shí)，速率控制器被迫使提高QP (與將妥善適用于編碼圖像的底部四分之一中的細(xì)節(jié)水平的QP相比)以便編碼器保持在比特預(yù)算之內(nèi)。以這種方式改變QP會(huì)導(dǎo)致感知上更低質(zhì)量的編碼圖像。


【發(fā)明內(nèi)容】

[0007]提供該
【發(fā)明內(nèi)容】
以引入以下在【具體實(shí)施方式】中進(jìn)一步進(jìn)行描述的簡(jiǎn)化形式中的概念選擇。該
【發(fā)明內(nèi)容】
并非旨在標(biāo)識(shí)所請(qǐng)求保護(hù)主題的關(guān)鍵特征或必要特征，也并非旨在被用來對(duì)所請(qǐng)求保護(hù)主題的范圍加以限制。
[0008]提供了一種根據(jù)目標(biāo)比特?cái)?shù)確定編碼器在對(duì)圖像進(jìn)行編碼時(shí)所使用的量化水平的方法，其中該圖像包括一個(gè)或多個(gè)均包括多個(gè)像素的圖像部分，該方法包括:針對(duì)圖像中一個(gè)或多個(gè)圖像部分中的每個(gè)圖像部分，分析該圖像部分中的像素以估計(jì)該圖像部分的復(fù)雜度指示；針對(duì)多個(gè)候選量化水平中的每個(gè)候選量化水平，使用一個(gè)或多個(gè)圖像部分的一個(gè)或多個(gè)所估計(jì)的復(fù)雜度指示以及關(guān)系來估計(jì)通過使用相應(yīng)候選量化水平的編碼器對(duì)圖像中的一個(gè)或多個(gè)圖像部分進(jìn)行編碼生成的比特?cái)?shù)指示，其中所述關(guān)系是編碼器所使用的量化水平的函數(shù)，并且其中所述關(guān)系在將(i)圖像部分的復(fù)雜度指示與(ii)通過編碼器對(duì)該圖像部分進(jìn)行編碼生成的比特?cái)?shù)指示的估計(jì)相關(guān)時(shí)使用；并且基于目標(biāo)比特?cái)?shù)以及基于所估計(jì)的通過使用相應(yīng)候選量化水平的編碼器對(duì)圖像中的一個(gè)或多個(gè)圖像部分進(jìn)行編碼生成的比特?cái)?shù)指示來選擇多個(gè)候選量化水平中的一個(gè)候選量化水平，其中所述所選擇的量化水平由編碼器在對(duì)圖像進(jìn)行編碼時(shí)使用。
[0009]提供了一種處理塊，其被配置為根據(jù)目標(biāo)比特?cái)?shù)而確定編碼器在對(duì)圖像進(jìn)行編碼時(shí)所要使用的量化水平，其中該圖像包括一個(gè)或多個(gè)均包括多個(gè)像素的圖像部分，其中該處理塊被配置為:針對(duì)圖像中的一個(gè)或多個(gè)圖像部分中的每個(gè)圖像部分，分析該圖像部分中的像素以估計(jì)該圖像部分的復(fù)雜度指示；針對(duì)多個(gè)候選量化水平中的每個(gè)候選量化水平，使用一個(gè)或多個(gè)圖像部分的一個(gè)或多個(gè)所估計(jì)的復(fù)雜度指示以及關(guān)系來估計(jì)通過使用相應(yīng)候選量化水平的編碼器對(duì)圖像中的一個(gè)或多個(gè)圖像部分進(jìn)行編碼生成的比特?cái)?shù)指示，其中所述關(guān)系是編碼器所使用的量化水平的函數(shù)，并且其中所述關(guān)系在將(i)圖像部分的復(fù)雜度指示與(ii)通過編碼器對(duì)該圖像部分進(jìn)行編碼生成的比特?cái)?shù)指示的估計(jì)相關(guān)時(shí)使用；并且基于目標(biāo)比特?cái)?shù)以及基于所估計(jì)的通過使用相應(yīng)候選量化水平的編碼器對(duì)圖像中的一個(gè)或多個(gè)圖像部分進(jìn)行編碼生成的比特?cái)?shù)指示來選擇多個(gè)候選量化水平中的一個(gè)候選量化水平，其中所述所選擇的量化水平由編碼器在對(duì)圖像進(jìn)行編碼時(shí)使用。
[0010]提供了一種處理塊，其被配置為根據(jù)目標(biāo)比特?cái)?shù)而確定編碼器在對(duì)圖像進(jìn)行編碼時(shí)所要使用的量化水平，其中該圖像包括一個(gè)或多個(gè)均包括多個(gè)像素的圖像部分，其中該處理塊包括:圖像分析模塊，其被配置為針對(duì)圖像中的一個(gè)或多個(gè)圖像部分中的每個(gè)圖像部分，分析該圖像部分中的像素以估計(jì)該圖像部分的復(fù)雜度指示；比特估計(jì)模塊，其被配置為針對(duì)多個(gè)候選量化水平中的每個(gè)候選量化水平，使用一個(gè)或多個(gè)圖像部分的一個(gè)或多個(gè)所估計(jì)的復(fù)雜度指示以及關(guān)系來估計(jì)通過使用相應(yīng)候選量化水平的編碼器對(duì)圖像中的一個(gè)或多個(gè)圖像部分進(jìn)行編碼生成的比特?cái)?shù)指示，其中所述關(guān)系是編碼器所使用的量化水平的函數(shù)，并且其中所述關(guān)系在將(i)圖像部分的復(fù)雜度指示與(ii)通過編碼器對(duì)該圖像部分進(jìn)行編碼生成的比特?cái)?shù)指示的估計(jì)相關(guān)時(shí)使用；以及量化水平選擇模塊，其被配置為基于目標(biāo)比特?cái)?shù)以及基于所估計(jì)的利用使用相應(yīng)候選量化水平的編碼器對(duì)圖像中的一個(gè)或多個(gè)圖像部分進(jìn)行編碼生成的比特?cái)?shù)指示來選擇多個(gè)候選量化水平中的一個(gè)候選量化水平，其中所述所選擇的量化水平由編碼器在對(duì)圖像進(jìn)行編碼時(shí)使用。
[0011]提供了一種計(jì)算機(jī)程序產(chǎn)品，其被配置為根據(jù)目標(biāo)比特?cái)?shù)而確定編碼器在對(duì)圖像進(jìn)行編碼時(shí)所要使用的量化水平，該計(jì)算機(jī)程序產(chǎn)品被體現(xiàn)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上并且被配置為當(dāng)在處理器上執(zhí)行時(shí)用來執(zhí)行這里所描述的任意方法。還可以提供一種具有在其上編碼有計(jì)算機(jī)可讀程序代碼的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀程序代碼用于生成被配置為執(zhí)行這里所描述的任意方法的處理塊。
[0012]提供了一種圖像處理器，其包括圖像預(yù)處理塊和編碼器處理塊，其中該圖像預(yù)處理塊被配置為:接收?qǐng)D像數(shù)據(jù)；對(duì)所接收的圖像數(shù)據(jù)進(jìn)行處理以提供包括一個(gè)或多個(gè)均包括多個(gè)像素的圖像部分的圖像；針對(duì)圖像中的一個(gè)或多個(gè)圖像部分中的每個(gè)圖像部分，分析該圖像部分中的像素以估計(jì)該圖像部分的復(fù)雜度指示；基于一個(gè)或多個(gè)圖像部分的一個(gè)或多個(gè)所估計(jì)的復(fù)雜度指示確定元數(shù)據(jù)；并且輸出所確定的元數(shù)據(jù)，并且其中該編碼器處理塊被配置為接收該圖像預(yù)處理塊所確定的元數(shù)據(jù)；使用所接收的元數(shù)據(jù)來確定用于在對(duì)圖像進(jìn)行編碼時(shí)使用的量化水平；以及使用所確定的量化水平對(duì)圖像進(jìn)行編碼。
[0013]提供了一種使用圖像處理器對(duì)圖像進(jìn)行處理的方法，該圖像處理器包括圖像預(yù)處理塊和編碼器處理塊，其中該方法包括:在圖像預(yù)處理塊接收?qǐng)D像數(shù)據(jù)；在圖像預(yù)處理塊對(duì)所接收的圖像數(shù)據(jù)進(jìn)行處理以提供包括一個(gè)或多個(gè)均包括多個(gè)像素的圖像部分的圖像；針對(duì)圖像中的一個(gè)或多個(gè)圖像部分中的每個(gè)圖像部分，圖像預(yù)處理塊分析該圖像部分中的像素以估計(jì)該圖像部分的復(fù)雜度指示；圖像預(yù)處理塊基于一個(gè)或多個(gè)圖像部分的一個(gè)或多個(gè)所估計(jì)的復(fù)雜度指示確定元數(shù)據(jù)；在編碼器處理塊使用該元數(shù)據(jù)來確定用于在對(duì)圖像進(jìn)行編碼時(shí)使用的量化水平；并且在編碼器處理塊使用所確定的量化水平對(duì)圖像進(jìn)行編碼。
[0014]本領(lǐng)域技術(shù)人員容易理解，以上特征可以適當(dāng)進(jìn)行組合，并且可以與這里所描述示例的任意方面進(jìn)行組合。

【專利附圖】

【附圖說明】
[0015]現(xiàn)在將參考附圖對(duì)示例進(jìn)行更為詳細(xì)地描述，其中:
[0016]圖1示出了圖像處理系統(tǒng)；
[0017]圖2示出了對(duì)圖像進(jìn)行編碼的處理的流程圖；
[0018]圖3示出了圖像分區(qū)的delta值的柱狀圖；
[0019]圖4示出了 HEVC編碼器所生成的比特/像素相對(duì)簡(jiǎn)單模型所預(yù)測(cè)的比特/像素的圖形表不;
[0020]圖5示出了不同量化水平的拉普拉斯(Laplacian)分布的熵相對(duì)處于最小量化水平的拉普拉斯分布的熵的圖形；
[0021]圖6示出了不同量化水平的拉普拉斯分布的熵的對(duì)數(shù)相對(duì)處于最小量化水平的拉普拉斯分布的熵的對(duì)數(shù)的圖形；
[0022]圖7示出了使用不同量化水平的HEVC編碼器所生成的比特?cái)?shù)的對(duì)數(shù)相對(duì)簡(jiǎn)單模型所預(yù)測(cè)的比特?cái)?shù)的對(duì)數(shù)的圖形；以及
[0023]圖8示出了將HEVC編碼器所生成的比特?cái)?shù)的對(duì)數(shù)與簡(jiǎn)單模型所預(yù)測(cè)的比特?cái)?shù)的對(duì)數(shù)相關(guān)的二次等式的系數(shù)相對(duì)HEVC編碼器所使用的量化參數(shù)的圖形。

【具體實(shí)施方式】
[0024]現(xiàn)在將僅通過示例對(duì)實(shí)施方式進(jìn)行描述。首先，對(duì)涉及要根據(jù)內(nèi)在(Intra)編碼進(jìn)行編碼的圖像的示例進(jìn)行描述，在該內(nèi)在編碼中，對(duì)圖像進(jìn)行編碼不需要參考其它圖像(例如，視頻序列的其它幀)。如隨后所描述的，類似的原則應(yīng)用于根據(jù)交互(或“非內(nèi)在”)編碼進(jìn)行編碼的圖像，在該交互編碼中，對(duì)圖像進(jìn)行編碼需要參考其它圖像(例如，視頻序列的其它幀)。
[0025]在這里所描述的示例中，對(duì)圖像進(jìn)行分析以便確定該圖像的復(fù)雜度指示(例如，圖像的熵)。這里所描述的圖像分析是在對(duì)圖像進(jìn)行編碼之前所執(zhí)行的簡(jiǎn)單處理。圖像的復(fù)雜度指示被用來估計(jì)編碼器是以多種不同量化水平中的每個(gè)量化水平對(duì)圖像進(jìn)行編碼所生成的比特?cái)?shù)。量化水平中的一個(gè)量化水平基于該估計(jì)并且基于所編碼數(shù)據(jù)的目標(biāo)比特?cái)?shù)進(jìn)行選擇。以此方式，用來對(duì)特定圖像進(jìn)行編碼的量化水平基于該相同的特定圖像的復(fù)雜度進(jìn)行估計(jì)。在對(duì)圖像進(jìn)行編碼之前選擇量化水平。以此方式，在確定用于對(duì)圖像進(jìn)行編碼的適當(dāng)量化水平的估計(jì)之前無需對(duì)該圖像進(jìn)行編碼。所選擇量化水平的指示被發(fā)送至速率控制器，該速率控制器能夠?qū)幋a器用來對(duì)圖像進(jìn)行編碼的量化水平進(jìn)行控制。該速率控制器可以基于其可獲得的信息，例如基于來自編碼器的反饋，而改變編碼器所使用的量化水平。然而，所選擇的量化水平非常適于編碼器在對(duì)圖像進(jìn)行編碼時(shí)使用，因?yàn)樗x擇的量化水平是基于特定圖像的復(fù)雜度(例如，基于圖像內(nèi)不同圖像部分的復(fù)雜度)所確定的。此外，量化水平的選擇可以取決于要用來對(duì)圖像進(jìn)行編碼的編碼器的類型。例如，編碼器可以為高效視頻編碼(HEVC)編碼器，其被配置為根據(jù)HEVC壓縮標(biāo)準(zhǔn)對(duì)圖像進(jìn)行編碼。被選擇供HEVC編碼器使用的量化水平可以不同于被選擇供根據(jù)其它一些壓縮標(biāo)準(zhǔn)(例如，根據(jù)
H.264壓縮標(biāo)準(zhǔn))對(duì)圖像進(jìn)行編碼的編碼器所使用的量化水平。
[0026]圖1示出了圖像處理系統(tǒng)，其包括圖像傳感器102和圖像處理器104，該圖像處理器104包括圖像預(yù)處理塊106和編碼器處理塊108。該圖像處理系統(tǒng)還包括存儲(chǔ)器110。圖像預(yù)處理塊106包括圖像處理模塊112、圖像分析模塊114、比特估計(jì)模塊116和量化水平選擇模塊118。編碼器處理塊108包括速率控制器120和編碼器模塊122。圖像傳感器102的輸出耦合至圖像處理模塊112的輸入。圖像處理模塊112的輸出耦合至存儲(chǔ)器110以及圖像分析模塊114的輸入。圖像分析模塊114的輸出耦合至比特估計(jì)模塊116的輸入。比特估計(jì)模塊116的輸出耦合至量化水平選擇模塊118的輸入。量化水平選擇模塊118被配置為接收目標(biāo)比特預(yù)算的指示。量化水平選擇模塊118的輸出耦合至速率控制器120的第一輸入。速率控制器120被配置為接收目標(biāo)比特預(yù)算的指示。速率控制器120的輸出耦合至編碼器模塊122的輸入。編碼器模塊122的第一輸出耦合至速率控制器120的第二輸入。編碼器模塊122被配置為從存儲(chǔ)器110接收(未編碼)圖像并且向存儲(chǔ)器110輸出編碼圖像。在一個(gè)示例中，編碼器模塊122所執(zhí)行的“編碼”是數(shù)字圖像壓縮。圖1所示的圖像處理系統(tǒng)的所有元件可以在例如相機(jī)、移動(dòng)電話、平板計(jì)算機(jī)、膝上計(jì)算機(jī)或者可以接收并處理圖像數(shù)據(jù)的任意其它設(shè)備的相同設(shè)備內(nèi)實(shí)施。備選地，圖1所示的圖像處理系統(tǒng)的一個(gè)或多個(gè)元件可以在與圖1所示的圖像處理系統(tǒng)的其它元件分開的設(shè)備中實(shí)施。例如，圖像傳感器102可以在與圖像處理器104和存儲(chǔ)器110分開的設(shè)備上實(shí)施，其中圖像傳感器102可以經(jīng)由適當(dāng)接口連接至圖像處理器104，例如通過有線或無線連接，僅給出一些示例，例如USB連接、W1-Fi連接、藍(lán)牙連接或者互聯(lián)網(wǎng)上的連接。
[0027]針對(duì)根據(jù)內(nèi)在編碼對(duì)圖像進(jìn)行編碼的方法，參考圖2所示的流程圖對(duì)圖1所示的圖像處理系統(tǒng)的操作進(jìn)行描述。圖像傳感器102感測(cè)圖像。有關(guān)圖像傳感器可以如何感測(cè)圖像的細(xì)節(jié)對(duì)于本領(lǐng)域技術(shù)人員而言是已知的，并且因此將不在這里給出。在步驟S202，在圖像預(yù)處理塊106從圖像傳感器102接收?qǐng)D像數(shù)據(jù)。具體地，圖像處理模塊112接收該圖像數(shù)據(jù)。圖像處理模塊112被配置為對(duì)該圖像數(shù)據(jù)進(jìn)行處理以提供包括多個(gè)像素的圖像。
[0028]在步驟S204，圖像處理模塊112對(duì)在步驟S202所接收的圖像數(shù)據(jù)進(jìn)行處理以提供包括像素的圖像。圖像處理模塊112所執(zhí)行的處理的細(xì)節(jié)超出了該描述的范圍并且對(duì)于本領(lǐng)域技術(shù)人員而言是已知的。然而，例如，圖像處理模塊112可以執(zhí)行諸如去拜耳算法(debayering)、降噪和/或白平衡校正之類的已知處理。來自圖像處理模塊112的輸出是包括由數(shù)據(jù)值所表示的多個(gè)像素的圖像，上述值例如(YUV顏色空間中的)亮度和色度值或者紅色值、綠色值和藍(lán)色值(RGB值)。從圖像處理模塊112輸出的圖像被存儲(chǔ)在存儲(chǔ)器110中以便隨后由編碼器處理塊108的編碼器模塊122所獲取。
[0029]從圖像處理模塊112輸出的圖像還被送至圖像分析模塊114。在步驟S206，圖像分析模塊114對(duì)該圖像的一個(gè)或多個(gè)部分中的像素進(jìn)行分析。即，圖像包括一個(gè)或多個(gè)圖像部分并且對(duì)該一個(gè)或多個(gè)圖像部分進(jìn)行分析以估計(jì)每個(gè)圖像部分的復(fù)雜度指示。例如，可以使用圖像部分的熵作為該圖像部分的復(fù)雜度指示。圖像部分的熵表示為了對(duì)該圖像部分進(jìn)行無損編碼將需要多少比特。
[0030]作為示例，圖像分析模塊114可以使用基于2x2亮度內(nèi)核的模型，其中預(yù)測(cè)剩余(或“delta值” AiJ是個(gè)體像素亮度值與其所屬的2x2內(nèi)核的平均值(例如，均值或中值)之間的差。即，針對(duì)圖像部分中的每個(gè)像素，確定該像素的值(例如，亮度值)和包括該像素的圖像塊中的像素塊(例如，2x2塊)內(nèi)的像素值的平均值(例如，均值)之間的差。
這在以下等式(I)中示出，其中是像素的2x2塊的亮度值的均值，其中該2x2塊的原點(diǎn)在像素坐標(biāo)中的位置X，Y處，并且其中Yy是具有距2x2塊的原點(diǎn)的偏移量i，j的像素的亮度值:
( ￡=ii=l \
η I \ \ VI
2W-叫
i=0 J=O/
A ^f—γ/I Λ
[0032]等式⑴所示的計(jì)算以整數(shù)算術(shù)來執(zhí)行，并且括號(hào)內(nèi)的因數(shù)“2”用作取整為最接近整數(shù)的的均值，而并非始終向下取整。在該示例中，該模型考慮像素值與2x2塊內(nèi)包括該像素的其它像素值的平均值之間的差。更一般地，在其它示例中，可以確定像素值與從包括一個(gè)或多個(gè)臨近像素的像素群組的值所得出的針對(duì)該像素的預(yù)測(cè)之間的差。針對(duì)特定像素所考慮的像素群組可以包括或不包括該特定群組本身。在其它示例中，該模型可以考慮不同大小和/或形狀的像素塊(例如，3x3、4x2或nxl的像素塊，其中η是整數(shù))。
[0033]針對(duì)圖像的分區(qū)，(帶符號(hào)的)delta值Λ “可以以直方圖繪出，其示例在圖3中示出。圖像分區(qū)包括多個(gè)塊。例如，圖像分區(qū)可以是圖像的一對(duì)像素行(即，一行2x2的像素塊)。當(dāng)根據(jù)光柵掃描對(duì)圖像進(jìn)行處理時(shí)，這是特別有用的圖像分區(qū)選擇。僅一個(gè)存儲(chǔ)像素?cái)?shù)量(等于圖像的行中的像素?cái)?shù)量)的素質(zhì)的行存儲(chǔ)就足以確定一對(duì)像素行的delta值。在其它示例中，圖像分區(qū)可以包括能夠被劃分為模型(例如，2x2塊)中所使用的塊的不同像素布置，例如圖像內(nèi)的矩形(包括正方形)像素分區(qū)。作為有用的一般性示例，其有效利用了少量的行存儲(chǔ)，圖像分區(qū)包括圖像內(nèi)的一個(gè)或多個(gè)像素行，其中圖像分區(qū)中的像素行的數(shù)量等于像素群組的高度。在圖3所示的示例中，該直方圖在零的delta值上取得峰值并以此為中心。該直方圖中的峰值的銳利度(sharpness)根據(jù)圖像的內(nèi)容而變化并且給出了該圖像分區(qū)的熵(即，復(fù)雜度)的指示，其寬泛地反映了以很大程度上編解碼器不可知的方式對(duì)圖像進(jìn)行編碼所將需要的比特?cái)?shù)。該直方圖中零處的尖銳峰值指示該分區(qū)中的像素與其相鄰像素非常相似，即該圖像中的熵很低。與之相比，該直方圖中的寬幅峰值則指示該分區(qū)中的像素并非與其相鄰像素非常相似，即，該圖像中的熵很高。通常，可以存在多個(gè)不同寬度的直方圖峰值，但是這里所描述的方法的原則在那些情況下仍然能夠得以應(yīng)用。
[0034]根據(jù)以下等式，圖像分區(qū)的熵HEJ能夠根據(jù)熵的標(biāo)準(zhǔn)定義進(jìn)行估計(jì):

【權(quán)利要求】
1.一種圖像處理器，包括圖像預(yù)處理塊和編碼器處理塊， 其中所述圖像預(yù)處理塊被配置為: 接收?qǐng)D像數(shù)據(jù)； 對(duì)所接收的圖像數(shù)據(jù)進(jìn)行處理以提供包括一個(gè)或多個(gè)均包括多個(gè)像素的圖像部分的圖像； 針對(duì)所述圖像中的所述一個(gè)或多個(gè)圖像部分中的每個(gè)圖像部分，分析所述圖像部分中的所述像素以估計(jì)所述圖像部分的復(fù)雜度指示； 基于所述一個(gè)或多個(gè)圖像部分的一個(gè)或多個(gè)所估計(jì)的復(fù)雜度指示確定元數(shù)據(jù)；以及 輸出所確定的元數(shù)據(jù)， 并且其中所述編碼器處理塊被配置為: 接收由所述圖像預(yù)處理塊所確定的元數(shù)據(jù)； 使用所接收的元數(shù)據(jù)來確定用于在對(duì)所述圖像進(jìn)行編碼時(shí)使用的量化水平；以及 使用所確定的量化水平對(duì)所述圖像進(jìn)行編碼。
2.根據(jù)權(quán)利要求1所述的圖像處理器，其中所述圖像預(yù)處理塊被配置為將所述圖像發(fā)送至存儲(chǔ)器以便在其中進(jìn)行存儲(chǔ)，并且其中所述編碼器處理塊被配置為從所述存儲(chǔ)器接收所述圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理器，其中所述存儲(chǔ)器處于所述圖像處理器之外。
4.根據(jù)權(quán)利要求1所述的圖像處理器，其中所述圖像預(yù)處理塊被配置為將所述圖像發(fā)送至所述編碼器處理塊。
5.根據(jù)之前任一項(xiàng)權(quán)利要求所述的圖像處理器，其中所述編碼器處理塊包括速率控制器和編碼器模塊，其中所述速率控制器被配置為接收由所述圖像預(yù)處理塊所確定的元數(shù)據(jù)并且使用所接收的元數(shù)據(jù)來確定用于在對(duì)所述圖像進(jìn)行編碼時(shí)使用的量化水平，并且其中所述編碼器模塊被配置為使用所確定的量化水平對(duì)所述圖像進(jìn)行編碼。
6.根據(jù)之前任一項(xiàng)權(quán)利要求所述的圖像處理器，其中所述元數(shù)據(jù)包括所述一個(gè)或多個(gè)圖像部分的所述一個(gè)或多個(gè)所估計(jì)的復(fù)雜度指示，并且其中所述編碼器處理塊被配置為: 針對(duì)多個(gè)候選量化水平中的每個(gè)候選量化水平，使用所述一個(gè)或多個(gè)圖像部分的一個(gè)或多個(gè)所估計(jì)的復(fù)雜度指示來估計(jì)通過使用相應(yīng)候選量化水平對(duì)所述圖像中的所述一個(gè)或多個(gè)圖像部分進(jìn)行編碼生成的比特?cái)?shù)的指示；以及 基于目標(biāo)比特?cái)?shù)并且基于所估計(jì)的通過使用所述相應(yīng)候選量化水平對(duì)所述圖像中的所述一個(gè)或多個(gè)圖像部分進(jìn)行編碼生成的比特?cái)?shù)的指示來選擇所述多個(gè)候選量化水平中的一個(gè)候選量化水平，其中所述編碼器處理塊被配置為在對(duì)所述圖像進(jìn)行編碼時(shí)使用所述所選擇的量化水平。
7.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的圖像處理器，其中所述圖像預(yù)處理塊被配置為通過以下操作確定所述元數(shù)據(jù): 針對(duì)多個(gè)候選量化水平中的每個(gè)候選量化水平，使用所述一個(gè)或多個(gè)圖像部分的一個(gè)或多個(gè)所估計(jì)的復(fù)雜度指示來估計(jì)通過使用所述相應(yīng)候選量化水平對(duì)所述圖像中的所述一個(gè)或多個(gè)圖像部分進(jìn)行編碼生成的比特?cái)?shù)的指示；以及 基于目標(biāo)比特?cái)?shù)并且基于所估計(jì)的通過使用所述相應(yīng)候選量化水平對(duì)所述圖像中的所述一個(gè)或多個(gè)圖像部分進(jìn)行編碼生成的比特?cái)?shù)的指示來選擇所述多個(gè)候選量化水平中的一個(gè)候選量化水平，其中所述元數(shù)據(jù)包括所選擇的量化水平。
8.根據(jù)引用權(quán)利要求5時(shí)權(quán)利要求7所述的圖像處理器，其中所述速率控制器通過接收所述元數(shù)據(jù)中的所選擇的量化水平并且將所選擇的量化水平的指示送至所述編碼器模塊來確定所述量化水平。
9.根據(jù)權(quán)利要求6至8中任一項(xiàng)所述的圖像處理器，其中所述所選擇的量化水平是所述多個(gè)候選量化水平中的一個(gè)候選量化水平，針對(duì)所述一個(gè)候選量化水平，所估計(jì)的通過使用所述候選量化水平對(duì)所述圖像中的所述一個(gè)或多個(gè)圖像部分進(jìn)行編碼生成的比特?cái)?shù)的指示與所述目標(biāo)比特?cái)?shù)最為接近。
10.根據(jù)權(quán)利要求6至9中任一項(xiàng)所述的圖像處理器，其中所述多個(gè)候選量化水平包括:(i)所述編碼器處理塊被配置為能夠用來對(duì)所述圖像進(jìn)行編碼的所有所述量化水平，或者(ii)所述編碼器處理塊被配置為能夠用來對(duì)所述圖像進(jìn)行編碼的所有所述量化水平的子集。
11.根據(jù)之前任一項(xiàng)權(quán)利要求所述的圖像處理器，其中圖像部分的復(fù)雜度指示是所述圖像部分的熵。
12.根據(jù)之前任一項(xiàng)權(quán)利要求所述的圖像處理器，其中所述編碼器處理塊被配置為根據(jù)高效視頻編碼壓縮標(biāo)準(zhǔn)對(duì)所述圖像進(jìn)行編碼。
13.根據(jù)之前任一項(xiàng)權(quán)利要求所述的圖像處理器，其中所接收的圖像數(shù)據(jù)涉及以下各項(xiàng)的至少一種: (i)由圖像傳感器所捕獲的圖像； (?)由圖形處理單元渲染的計(jì)算機(jī)生成的圖像； (iii)設(shè)備的顯示器的截屏；以及 (iv)從存儲(chǔ)器獲取的圖像。
14.根據(jù)權(quán)利要求13所述的圖像處理器， 其中所接收的圖像數(shù)據(jù)與被圖像傳感器所捕獲的圖像有關(guān)，并且其中所述圖像預(yù)處理塊被配置為從所述圖像傳感器接收所述圖像數(shù)據(jù)；或者 其中所接收的圖像數(shù)據(jù)與由圖形處理單元渲染的計(jì)算機(jī)生成的圖像有關(guān)，并且其中所述圖像預(yù)處理塊被配置為從所述圖形處理單元接收所述圖像數(shù)據(jù)。
15.一種使用圖像處理器對(duì)圖像進(jìn)行處理的方法，所述圖像處理器包括圖像預(yù)處理塊和編碼器處理塊，其中所述方法包括: 在所述圖像預(yù)處理塊接收?qǐng)D像數(shù)據(jù)； 在所述圖像預(yù)處理塊對(duì)所接收的圖像數(shù)據(jù)進(jìn)行處理以提供包括一個(gè)或多個(gè)均包括多個(gè)像素的圖像部分的圖像； 針對(duì)所述圖像中的一個(gè)或多個(gè)圖像部分中的每個(gè)圖像部分，所述圖像預(yù)處理塊分析所述圖像部分中的所述像素以估計(jì)所述圖像部分的復(fù)雜度指示； 所述圖像預(yù)處理塊基于所述一個(gè)或多個(gè)圖像部分的一個(gè)或多個(gè)所估計(jì)的復(fù)雜度指示確定元數(shù)據(jù)； 在所述編碼器處理塊使用所述元數(shù)據(jù)來確定用于在對(duì)所述圖像進(jìn)行編碼時(shí)使用的量化水平；以及 在所述編碼器處理塊使用所確定的量化水平對(duì)所述圖像進(jìn)行編碼。
16.根據(jù)權(quán)利要求15所述的方法，進(jìn)一步包括: 將所述圖像從所述圖像預(yù)處理塊發(fā)送至存儲(chǔ)器以便在其中進(jìn)行存儲(chǔ)；以及 在所述編碼器處理塊從所述存儲(chǔ)器接收所述圖像。
17.根據(jù)權(quán)利要求16所述的方法，其中所述存儲(chǔ)器處于所述圖像處理器之外。
18.根據(jù)權(quán)利要求15所述的方法，進(jìn)一步包括將所述圖像從所述圖像預(yù)處理塊發(fā)送至所述編碼器處理塊。
19.根據(jù)權(quán)利要求15至18中任一項(xiàng)所述的方法，進(jìn)一步包括: 針對(duì)多個(gè)候選量化水平中的每個(gè)候選量化水平，使用所述一個(gè)或多個(gè)圖像部分的一個(gè)或多個(gè)所估計(jì)的復(fù)雜度指示來估計(jì)通過使用相應(yīng)候選量化水平對(duì)所述圖像中的所述一個(gè)或多個(gè)圖像部分進(jìn)行編碼生成的比特?cái)?shù)的指示；以及 基于目標(biāo)比特?cái)?shù)并且基于所估計(jì)的通過使用所述相應(yīng)候選量化水平對(duì)所述圖像中的所述一個(gè)或多個(gè)圖像部分進(jìn)行編碼生成的比特?cái)?shù)的指示選擇所述多個(gè)候選量化水平中的一個(gè)候選量化水平，其中所述所選擇的量化水平供所述編碼器處理塊在對(duì)所述圖像進(jìn)行編碼時(shí)使用。
20.根據(jù)權(quán)利要求15至19中任一項(xiàng)所述的方法，其中所接收的圖像數(shù)據(jù)與以下各項(xiàng)中的至少一種有關(guān): (i)由圖像傳感器所捕獲的圖像； (?)由圖形處理單元渲染的計(jì)算機(jī)生成的圖像； (iii)設(shè)備的顯示器的截屏；以及 (iv)從存儲(chǔ)器獲取的圖像。
【文檔編號(hào)】H04N19/124GK104135663SQ201410178316
【公開日】2014年11月5日 申請(qǐng)日期:2014年4月29日 優(yōu)先權(quán)日:2013年5月3日
【發(fā)明者】J·迪金斯, P·布拉斯內(nèi)特 申請(qǐng)人:想象技術(shù)有限公司