專利名稱：圖像處理裝置、圖像處理方法和計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法和計(jì)算機(jī)程序。更具體地，本
發(fā)明涉及生成用于圖像的超分辨率(super-resolution)處理、編解碼處理等等 的運(yùn)動(dòng)補(bǔ)償(MC)圖像的圖像處理裝置、圖像處理方法和計(jì)算機(jī)程序。
背景技術(shù)：
對(duì)于從低分辨率圖像生成高分辨率圖像的方法，已知超分辨率處理。超 分辨率處理是一種從多個(gè)重疊的低分辨率圖像來獲得一個(gè)幀的高分辨率圖像 的各個(gè)像素的像素值的處理。
通過超分辨率處理，變得能夠重建具有比由諸如例如CCD (電荷耦合器 件)、CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)等等的成像設(shè)備捕獲的原始圖像的分 辨率更高的分辨率的圖像。具體地，當(dāng)生成具有高分辨率的衛(wèi)星照片等時(shí)使 用超分辨率。在這點(diǎn)上，例如，對(duì)于超分辨率處理，已經(jīng)由1990年5月25 日接受的、19卯年6月16日接收的由Rama Chellapa通信的Israel 91904 Jerusalem Jerusalem的Hebrew大學(xué)計(jì)算機(jī)科學(xué)學(xué)院MICHAL IRANI和 SHMUEL PELEG的"Improving Resolution by Image Registration"給出了描述。
將參考圖1和2給出超分辨率的原理的描述。在圖IA和IB中的上部所 示的字母a、 b、 c、 d、 e、 f指示要從通過拍攝某個(gè)物體而獲得的低分辨率圖 像(LR圖像)中獲得的高分辨率圖像(SR (超分辨率)圖像)的像素值。 也就是說，這些字母指示了當(dāng)由具有與SR圖像的分辨率相同的分辨率的像 素來表示物體時(shí)的各個(gè)像素的像素值。
例如，如果假設(shè)成像設(shè)備的一個(gè)像素的寬度是組成物體圖像的像素的寬 度的兩倍，則難以用該分辨率來直接捕獲物體圖像。如圖1A所示，成像設(shè) 備的三個(gè)像素中的左邊像素捕獲了 A的像素值，其結(jié)合了 a和b的像素值。 中央的像素捕獲了 B的像素值，其結(jié)合了c和d的像素值。而且，右邊像素 捕獲了 C的像素值，其結(jié)合了 e和f的像素值。在此，A、 B和C指示組成 通過拍攝而獲得的LR圖像的像素的像素值。
與圖1A中的物體圖像一起，假設(shè)基于圖1A中的物體圖像的位置，通過 攝像機(jī)抖動(dòng)等捕獲(在偏移的同時(shí)捕獲)在偏移了組成物體的像素的0.5像 素的寬度的位置處的物體圖像，如圖1B所示。成像設(shè)備的三個(gè)像素中的左邊 像素捕獲了D的像素值，其結(jié)合了a的一半、b的全部、和c的一半的像素 值。中央像素捕獲了 E的像素值，其結(jié)合了 c的一半、d的全部和e的一半 的像素值。而且，右邊像素捕獲了 F的像素值，其結(jié)合了e的一半和f的全 部的像素值。在此，D、 E和F指示組成通過拍攝而獲得的LR圖像的像素的 像素值。
從這種LR圖像的拍攝結(jié)果獲得以下表達(dá)式(表達(dá)式1 )。通過從表達(dá)式 l分別獲得a、 b、 c、 d、 e和f,變得能夠獲得具有比成像設(shè)備的分辨率更高 的分辨率的圖像。
<formula>formula see original document page 7</formula>......(表達(dá)式1)
將參考圖2,給出通過目前公知的作為超分辨率處理的方法的背面投影 (back projection)的超分辨率處理的描述。圖2所示的圖像處理裝置1被布 置在例如數(shù)字?jǐn)z像機(jī)中，并對(duì)通過拍攝獲得的靜態(tài)圖像進(jìn)行處理。
如圖2所示，圖像處理裝置1包括超分辨率處理部分lla到llc、求和處 理部分12、加法處理部分13和SR圖像緩沖器14。例如，作為通過拍攝而 獲得的LR圖像且具有低分辨率的LR0被輸入到超分辨率處理部分lla中， 并且LR1被輸入到超分辨率處理部分lib中。而且，LR2被輸入到超分辨率 處理部分llc中。LR0到LR2是連續(xù)捕獲的圖像，并且各自具有重疊的拍攝 范圍。 一般而言，當(dāng)連續(xù)捕獲圖像時(shí)，由于攝像機(jī)抖動(dòng)等等，對(duì)拍攝結(jié)果圖 像所拍攝的物體的范圍各自稍有偏移，且因此它們不完全匹配，而是部分地
相互重疊。
超分辨率處理部分lla基于低分辨率圖像LRO和在SR圖像緩沖器14中 存儲(chǔ)的高分辨率圖像即SR圖像來生成示出其差別的差別圖像(difference image),并向求和處理部分12輸出反饋值。該反饋值指示表示具有與SR圖 像相同的分辨率的差別圖像的值。
在這點(diǎn)上，SR圖像緩沖器14存儲(chǔ)SR圖像，該SR圖像是由先前剛進(jìn)行 的超分辨率處理而生成的高分辨率圖像。例如，當(dāng)剛開始處理且還沒有生成 SR圖像的一幀時(shí)，通過上采樣(up-sampling) LR0到具有與SR圖像相同的 分辨率的圖像而獲得的圖像被存儲(chǔ)到SR圖像緩沖器14中。
以相同的方式，超分辨率處理部分llb基于下一幀的低分辨率圖像LRl 和存儲(chǔ)在SR圖像緩沖器14中的高分辨率圖像即SR圖像，來生成示出其差 別的差別圖像，并向求和處理部分12輸出表示所生成的差別圖像的反饋值。
另外，超分辨率處理部分11c基于下一低分辨率圖像LR2和存儲(chǔ)在SR 圖像緩沖器14中的高分辨率圖像即SR圖像，來生成示出其差別的差別圖像， 并向求和處理部分12輸出表示所生成的差別圖像的反饋值。
求和處理部分12平均化從超分辨率處理部分lla到llc供應(yīng)的反饋值， 并向加法處理部分13輸出具有與SR圖像的分辨率相同的分辨率的圖像。加 法處理部分13將存儲(chǔ)在SR圖像緩沖器14中的SR圖像和從求和處理部分12 供應(yīng)的SR圖像相加，并輸出通過加法而獲得的SR圖像。加法處理部分13 的輸出被供應(yīng)給圖像處理裝置1的外部，而且還被供應(yīng)給SR圖像緩沖器14
以:帔存4諸。
圖3是圖示超分辨率處理部分11 (超分辨率處理器lla到11c)的配置 例子的方塊圖。如圖3所示，超分辨率處理部分11包括運(yùn)動(dòng)向量^f企測(cè)部分 21、運(yùn)動(dòng)補(bǔ)償處理部分22、下采樣處理部分23、加法處理部分24、上采樣 處理部分25、和反向運(yùn)動(dòng)補(bǔ)償處理部分26。
已經(jīng)從SR圖像緩沖器14讀出的高分辨率圖像即SR圖像被輸入到運(yùn)動(dòng) 向量檢測(cè)部分21和運(yùn)動(dòng)補(bǔ)償處理部分22。通過拍攝獲得的低分辨率圖像LRn -故輸入到運(yùn)動(dòng)向量檢測(cè)部分21和加法處理部分24。
運(yùn)動(dòng)向量檢測(cè)部分21基于所輸入的高分辨率圖像即SR圖像和低分辨率 圖像LRn來檢測(cè)基于SR圖像的運(yùn)動(dòng)向量，并向運(yùn)動(dòng)補(bǔ)償處理部分22和反向 運(yùn)動(dòng)補(bǔ)償處理部分26輸出所檢測(cè)的運(yùn)動(dòng)向量。例如，通過在基于過去捕獲的
圖像而生成的SR圖像和新輸入的LRn圖像之間的塊匹配，運(yùn)動(dòng)向量檢測(cè)部 分21生成指示在新輸入的LRn圖像中的SR圖像的每個(gè)塊的運(yùn)動(dòng)目的地的向量。
運(yùn)動(dòng)補(bǔ)償處理部分22基于從運(yùn)動(dòng)向量檢測(cè)部分21供應(yīng)的運(yùn)動(dòng)向量來對(duì) 高分辨率圖像即SR圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償，以生成運(yùn)動(dòng)補(bǔ)償(MC)圖像，并向 下采樣處理部分23輸出所生成的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)。運(yùn)動(dòng)補(bǔ)償處理 是如下處理其根據(jù)運(yùn)動(dòng)處理來移動(dòng)SR圖像的像素位置，以生成具有對(duì)應(yīng) 于新輸入的LRn圖像的位置的補(bǔ)償后的SR圖像。也就是說，運(yùn)動(dòng)補(bǔ)償處理 部分22移動(dòng)SR圖像的像素位置以生成運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)，在該運(yùn)動(dòng) 補(bǔ)償圖像中關(guān)在于SR圖像上的物體的位置與LRn上的物體的位置相匹配。
下采樣處理部分23通過下采樣從運(yùn)動(dòng)補(bǔ)償處理部分22供應(yīng)的圖像，來 生成具有與LRn的分辨率相同的分辨率的圖像，并向加法處理部分24輸出 所生成的圖像。從SR圖像和LRn獲得運(yùn)動(dòng)向量，并使得通過使用所獲得的 運(yùn)動(dòng)向量進(jìn)行補(bǔ)償而獲得的圖像具有與LR圖像的分辨率相同的分辨率，這 等同于基于被存儲(chǔ)在SR圖像緩沖器14中的SR圖像進(jìn)行通過拍攝而獲得的 圖像的模擬。
加法處理部分24生成示出LRn與以該方式而模擬的圖像之間的差別的 差別圖像，并向上采樣處理部分25輸出所生成的差別圖像。
上采樣處理部分25通過上采樣從發(fā)處理部分24供應(yīng)的差別圖像來生成 具有與SR圖像的分辨率相同的分辨率的圖像，并反向運(yùn)動(dòng)補(bǔ)償處理部分26 輸出所生成的圖像。反向運(yùn)動(dòng)補(bǔ)償處理部分26基于從運(yùn)動(dòng)向量檢測(cè)部分21 供應(yīng)的運(yùn)動(dòng)向量，對(duì)從上采樣處理部分25供應(yīng)的圖像進(jìn)行反方向上的運(yùn)動(dòng)補(bǔ) 償，并向圖2所示的求和處理部分12輸出指示通過進(jìn)行反向運(yùn)動(dòng)補(bǔ)償而獲得 的圖像的反饋值。在通過進(jìn)行反向運(yùn)動(dòng)補(bǔ)償而獲得的圖像中示出的物體的位 置變成與被存儲(chǔ)在SR圖像緩沖器14中的SR圖像中所示的物體的位置靠近 的位置。
發(fā)明內(nèi)容
如上所述，在接收低分辨率圖像的輸入并獲得高分辨率圖像的超分辨率 處理中，變得需要進(jìn)行運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的生成處理。在這點(diǎn)上， 不僅在上述超分辨率處理中進(jìn)行運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的生成處理，而
且有時(shí)還在圖像的壓縮編碼處理等中進(jìn)行。然而，在運(yùn)動(dòng)補(bǔ)償圖像(MC圖 像)的生成中，變得需要計(jì)算對(duì)應(yīng)于像素的運(yùn)動(dòng)位置的像素值，其中基于運(yùn)
動(dòng)向量而計(jì)算所述像素值。因此，存在如下問題計(jì)算成本變高，且處理時(shí)
間變長(zhǎng)，以便計(jì)算組成圖像的所有像素的目的地和像素值。
已經(jīng)考慮到上述問題，做出本發(fā)明。期望提供一種圖像處理裝置、圖像
處理方法和計(jì)算機(jī)程序，其使得能夠以高速有效地生成運(yùn)動(dòng)補(bǔ)償圖像(MC 圖像)。
根據(jù)本發(fā)明的實(shí)施例，提供一種用于生成運(yùn)動(dòng)補(bǔ)償(MC)圖像的圖像處 理裝置，包括像素相對(duì)位置計(jì)算部分，基于運(yùn)動(dòng)向量信息來計(jì)算在組成所 述運(yùn)動(dòng)#卜償圖像的像素的像素位置與參考圖像的參考像素的像素位置之間的 相對(duì)位置，其中所述參考圖像的參考像素用于計(jì)算所述像素的像素值；相對(duì) 位置量化部分，進(jìn)行由所述像素相對(duì)位置計(jì)算部分計(jì)算的相對(duì)位置信息的量 化處理，并生成量化后相對(duì)位置信息；以及運(yùn)動(dòng)補(bǔ)償圖像生成部分，通過基 于所述量化后相對(duì)位置信息和所述參考像素的像素值而計(jì)算運(yùn)動(dòng)補(bǔ)償圖像的 組成像素的像素值，來生成運(yùn)動(dòng)補(bǔ)償圖像。
另外，根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置還可以包括相對(duì)位置平均 處理部分，接收所述量化后相對(duì)位置信息的輸入，并進(jìn)行與所述運(yùn)動(dòng)補(bǔ)償圖 像的多個(gè)像素相對(duì)應(yīng)的所述量化后相對(duì)位置信息的平均處理，其中，所述相 對(duì)位置平均處理部分可以進(jìn)行所述量化后相對(duì)位置信息的平均處理，以便所 述量化后相對(duì)位置變得對(duì)于根據(jù)能夠在所述運(yùn)動(dòng)補(bǔ)償圖像生成部分中并行操 作的位數(shù)而確定的每種數(shù)量的像素來說是相同的，以及所述運(yùn)動(dòng)補(bǔ)償圖像生 成部分可以通過基于所述量化后相對(duì)位置信息和所述參考像素的像素值而計(jì) 算所述運(yùn)動(dòng)補(bǔ)償圖像的組成像素的像素值，來生成所述運(yùn)動(dòng)補(bǔ)償圖像，其中 所述量化后相對(duì)位置信息被設(shè)置為對(duì)于由所述相對(duì)位置平均處理部分生成的 多個(gè)像素的每個(gè)像素具有相同值。
另外，在根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置中，所述運(yùn)動(dòng)補(bǔ)償圖像生 成部分可以應(yīng)用SIMD (單指令多數(shù)據(jù))處理器來進(jìn)行像素值計(jì)算，可以對(duì) 于具有被設(shè)置為具有相同值的所述量化后相對(duì)位置信息的多個(gè)像素的每個(gè)像 素進(jìn)行并行計(jì)算，并可以計(jì)算對(duì)應(yīng)于所述多個(gè)像素的像素值。
另外，根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置還可以包括相對(duì)位置復(fù)制 處理部分，其中，所述像素相對(duì)位置計(jì)算部分可以僅部分地對(duì)從組成所述運(yùn)
動(dòng)補(bǔ)償圖像的像素中選擇的處理像素計(jì)算與所述參考圖像的參考像素的像素 位置的相對(duì)位置，所述相對(duì)位置量化部分進(jìn)行與所述處理像素相對(duì)應(yīng)的所述 相對(duì)位置信息的量化處理，其中所述處理像素的相對(duì)位置是由所述像素相對(duì) 位置計(jì)算部分所計(jì)算的，所述相對(duì)位置復(fù)制處理部分可以對(duì)于不計(jì)算其量化 后相對(duì)位置的非處理像素進(jìn)行與所述處理像素相同的量化后相對(duì)位置的設(shè)置 處理，其中計(jì)算了所述處理像素的量化后相對(duì)位置，以及所述運(yùn)動(dòng)補(bǔ)償圖像
生成部分可以通過基于從所述相對(duì)位置復(fù)制處理部分輸入的所述量化后相對(duì) 位置信息和所述參考像素的像素值而計(jì)算所述運(yùn)動(dòng)補(bǔ)償圖像的組成像素的像 素值，來生成運(yùn)動(dòng)補(bǔ)償圖像。
另外，在根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置中，所述像素相對(duì)位置計(jì) 算部分可以基于作為被包括在圖像幀中的多個(gè)塊共同的運(yùn)動(dòng)向量的全局運(yùn)動(dòng)
向量(GMV)來計(jì)算在組成所述運(yùn)動(dòng)補(bǔ)償圖像的像素的像素位置與所述參考 圖像的參考像素的像素位置之間的相對(duì)位置，其中所述參考圖像的參考像素 用于計(jì)算所述像素的像素值。
根據(jù)本發(fā)明的另一實(shí)施例，提供一種處理圖像的方法，用于在圖像處理 裝置中生成運(yùn)動(dòng)補(bǔ)償(MC)圖像，所述方法包括步驟像素相對(duì)位置計(jì)算， 由像素相對(duì)位置計(jì)算部分基于運(yùn)動(dòng)向量信息來計(jì)算在組成所述運(yùn)動(dòng)補(bǔ)償圖像
的像素的像素位置與參考圖像的參考像素的像素位置之間的相對(duì)位置，其中 所述參考圖像的參考像素用于計(jì)算所述像素的像素值；相對(duì)位置量化，由相 對(duì)位置量化部分進(jìn)行由所述像素相對(duì)位置計(jì)算部分計(jì)算的相對(duì)位置信息的量 化處理，并生成量化后相對(duì)位置信息；以及運(yùn)動(dòng)補(bǔ)償圖像生成，由運(yùn)動(dòng)補(bǔ)償 圖像生成部分通過基于所述量化后相對(duì)位置信息和所述參考像素的像素值而 計(jì)算所述運(yùn)動(dòng)補(bǔ)償圖像的組成像素的像素值，來生成所述運(yùn)動(dòng)補(bǔ)償圖像。
另外，根據(jù)本發(fā)明的實(shí)施例的處理圖像的方法還可以包括相對(duì)位置平 均處理，由相對(duì)位置平均處理部分接收所述量化后相對(duì)位置信息的輸入，并 進(jìn)行與所述運(yùn)動(dòng)補(bǔ)償圖像的多個(gè)像素相對(duì)應(yīng)的所述量化后相對(duì)位置信息的平 均處理，其中，所述相對(duì)位置平均處理的步驟進(jìn)行所述量化后相對(duì)位置信息 的平均處理，以便所述量化后相對(duì)位置變得對(duì)于根據(jù)能夠在所述運(yùn)動(dòng)補(bǔ)償圖 像生成中并行操作的位數(shù)而確定的每種數(shù)量的像素來說是相同的，以及所述 運(yùn)動(dòng)補(bǔ)償圖像生成的步驟通過基于所述量化后相對(duì)位置信息和所述參考像素 的像素值而計(jì)算所述運(yùn)動(dòng)補(bǔ)償圖像的組成像素的像素值，來生成所述運(yùn)動(dòng)補(bǔ)
償圖像，所述參考像素的像素值被設(shè)置為對(duì)于由所述相對(duì)位置平均處理的步 驟生成的多個(gè)像素的每個(gè)像素具有相同值。
另外，在根據(jù)本發(fā)明的實(shí)施例的處理圖像的方法中，所述運(yùn)動(dòng)補(bǔ)償圖像
生成的步驟可以應(yīng)用SIMD (單指令多數(shù)據(jù))處理器來進(jìn)行像素值計(jì)算，對(duì)
于具有被設(shè)置為具有相同值的所述量化后相對(duì)位置信息的多個(gè)像素的每個(gè)像 素進(jìn)行并行計(jì)算，并計(jì)算對(duì)應(yīng)于所述多個(gè)像素的像素值。
另外，在根據(jù)本發(fā)明的實(shí)施例的處理圖像的方法中，圖像處理裝置還可 以包括相對(duì)位置復(fù)制處理部分，以及所述像素相對(duì)位置計(jì)算的步驟僅部分地 對(duì)從組成所述運(yùn)動(dòng)補(bǔ)償圖像的像素中選擇的處理像素來計(jì)算與所述參考圖像 的參考像素的像素位置的相對(duì)位置，所述相對(duì)位置量化的步驟進(jìn)行與所述處 理像素相對(duì)應(yīng)的所述相對(duì)位置信息的量化處理，其中所述處理像素的相對(duì)位
置是由所述像素相對(duì)位置計(jì)算部分所計(jì)算的，所述相對(duì)位置復(fù)制處理部分對(duì) 于不計(jì)算其量化后相對(duì)位置的非處理像素進(jìn)行與所述處理像素相同的量化后
相對(duì)位置的設(shè)置處理，其中計(jì)算了所述處理像素的量化后相對(duì)位置，以及所 述運(yùn)動(dòng)補(bǔ)償圖像生成的步驟通過基于從所述相對(duì)位置復(fù)制處理部分輸入的所 述量化后相對(duì)位置信息和所述參考像素的像素值而計(jì)算所述運(yùn)動(dòng)補(bǔ)償圖像的 所述組成像素的像素值，來生成運(yùn)動(dòng)補(bǔ)償圖像。
另外，在根據(jù)本發(fā)明的實(shí)施例的處理圖像的方法中，所述像素相對(duì)位置 計(jì)算的步驟可以基于作為被包括在圖像幀中的多個(gè)塊共同的運(yùn)動(dòng)向量的全局
運(yùn)動(dòng)向量(GMV)來計(jì)算在組成所述運(yùn)動(dòng)補(bǔ)償圖像的像素的像素位置與所述 參考圖像的參考像素的像素位置之間的相對(duì)位置，其中所述參考圖像的參考 像素用于計(jì)算所述像素的像素值。
另外，根據(jù)本發(fā)明的另一實(shí)施例，提供一種計(jì)算機(jī)程序，用于使得圖像 處理裝置生成運(yùn)動(dòng)補(bǔ)償(MC)圖像，所述計(jì)算機(jī)程序包括步驟像素相對(duì)位 置計(jì)算，使得像素相對(duì)位置計(jì)算部分基于運(yùn)動(dòng)向量信息來計(jì)算在組成所述運(yùn) 動(dòng)補(bǔ)償圖像的像素的像素位置與參考圖像的參考像素的像素位置之間的相對(duì) 位置，其中所述參考圖像的參考像素用于計(jì)算所述像素的像素值；相對(duì)位置 量化，使得相對(duì)位置量化部分進(jìn)行由所述像素相對(duì)位置計(jì)算部分計(jì)算的相對(duì) 位置信息的量化處理，并生成量化后相對(duì)位置信息；以及運(yùn)動(dòng)補(bǔ)償圖像生成， 使得運(yùn)動(dòng)補(bǔ)償圖像生成部分通過基于所述量化后相對(duì)位置信息和所述參考像 素的像素值而計(jì)算所述運(yùn)動(dòng)補(bǔ)償圖像的組成像素的像素值，來生成所述運(yùn)動(dòng)
補(bǔ)償圖像。
在這點(diǎn)上，本發(fā)明的計(jì)算機(jī)程序是能夠以計(jì)算機(jī)可讀形式通過存儲(chǔ)介質(zhì) 和通信介質(zhì)而提供給執(zhí)行各種程序代碼的通用計(jì)算機(jī)系統(tǒng)的計(jì)算機(jī)程序。通 過提供計(jì)算機(jī)可讀形式的這種程序，在計(jì)算機(jī)系統(tǒng)上進(jìn)行根據(jù)程序的處理。
通過基于本發(fā)明的以下實(shí)施例和附圖的詳細(xì)描述，本發(fā)明的其他和進(jìn)一 步的目的、特征和優(yōu)點(diǎn)將變得明顯。在這點(diǎn)上，在本說明書中，系統(tǒng)是多個(gè) 裝置的邏輯集，且不限于在相同外殼中包含的組成裝置的集。
根據(jù)本發(fā)明的實(shí)施例，在用于生成運(yùn)動(dòng)補(bǔ)償(MC)圖像的圖像處理裝置
中，在組成運(yùn)動(dòng)補(bǔ)償圖像的像素位置與參考像素的像素位置之間計(jì)算相對(duì)位 置以用于計(jì)算這些像素的像素值，量化計(jì)算后的相對(duì)位置，并計(jì)算運(yùn)動(dòng)補(bǔ)償 圖像的組成像素的像素值，以生成運(yùn)動(dòng)補(bǔ)償圖像。另外，變得能夠通過使用 量化后相對(duì)位置信息的平均處理和復(fù)制處理而對(duì)多個(gè)像素的每個(gè)設(shè)置相同的
量化后相對(duì)位置以用SIMD的應(yīng)用來計(jì)算像素值，來以高速計(jì)算運(yùn)動(dòng)補(bǔ)償圖 像的像素值。因此，實(shí)現(xiàn)了運(yùn)動(dòng)補(bǔ)償圖像的有效生成。
圖1A和1B是圖示用于從低分辨率圖像生成高分辨率圖像的超分辨率處 理的圖2是圖示其中進(jìn)行用于從低分辨率圖像生成高分辨率圖像的超分辨率 處理的配置例子的圖3是圖示其中進(jìn)行用于從低分辨率圖像生成高分辨率圖像的超分辨率 處理的配置例子的圖4A、 4B和4C是圖示全局運(yùn)動(dòng)向量(GMV)的圖5是圖示在當(dāng)前幀和參考幀中的對(duì)應(yīng)點(diǎn)與全局運(yùn)動(dòng)向量(GMV)之間 的關(guān)系的圖6A和6B是圖示運(yùn)動(dòng)補(bǔ)償(MC)圖像的生成處理的例子的圖7是圖示根據(jù)本發(fā)明的運(yùn)動(dòng)補(bǔ)償(MC)圖像的生成處理的基本思想的
圖8是圖示在本發(fā)明的圖像處理裝置中設(shè)置的運(yùn)動(dòng)補(bǔ)償(MC)圖像生成 部件的配置例子(第一實(shí)施例)的圖9是圖示根據(jù)本發(fā)明的實(shí)施例的運(yùn)動(dòng)補(bǔ)償(MC)圖像生成處理的細(xì)節(jié)
的圖10是圖示根據(jù)本發(fā)明的實(shí)施例的運(yùn)動(dòng)補(bǔ)償(MC)圖像生成處理的細(xì)
節(jié)的圖11是圖示根據(jù)本發(fā)明的實(shí)施例的運(yùn)動(dòng)補(bǔ)償(MC)圖像生成處理的細(xì) 節(jié)的圖12是圖示在本發(fā)明的圖像處理裝置中設(shè)置的運(yùn)動(dòng)補(bǔ)償(MC)圖像生 成部件的配置例子(第二實(shí)施例)的圖13是圖示根據(jù)本發(fā)明的實(shí)施例的運(yùn)動(dòng)補(bǔ)償(MC)圖像生成處理的細(xì) 節(jié)的圖14是圖示在本發(fā)明的圖像處理裝置中設(shè)置的運(yùn)動(dòng)補(bǔ)償(MC)圖像生 成部件的配置例子(第三實(shí)施例)的圖15是圖示根據(jù)本發(fā)明的實(shí)施例的運(yùn)動(dòng)補(bǔ)償(MC)圖像生成處理的細(xì) 節(jié)的圖16是圖示根據(jù)本發(fā)明的實(shí)施例的運(yùn)動(dòng)補(bǔ)償(MC)圖像生成處理的細(xì) 節(jié)的圖；以及
圖17是圖示根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的硬件配置的例子的圖。
具體實(shí)施例方式
以下，將參考附圖給出根據(jù)本發(fā)明的圖像處理裝置、圖像處理方法和計(jì) 算機(jī)程序的細(xì)節(jié)的描述。
本發(fā)明的圖像處理裝置是使能有效且快速地生成運(yùn)動(dòng)補(bǔ)償(MC)圖像的 圖像處理裝置。例如，如上所述，使用運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)，從低分辨 率圖像生成高分辨率圖像的超分辨率處理、例如MPEG編碼處理的其他圖像 編碼處理等。
運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)等同于用于基于從多個(gè)圖像而獲得的運(yùn)動(dòng)向 量來運(yùn)動(dòng)要進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)膱D像的處理。例如，在MPEG方法中，已知為圖 像編碼系統(tǒng)，每個(gè)幀被劃分為塊，并進(jìn)行檢測(cè)對(duì)于當(dāng)前幀和參考幀的每個(gè)對(duì) 應(yīng)塊的運(yùn)動(dòng)向量的處理。然而，如果每個(gè)塊的運(yùn)動(dòng)向量信息被包括在補(bǔ)償數(shù) 據(jù)中，則數(shù)據(jù)量增加。因此，在上述超分辨率處理中和作為圖像編碼處理的 MPEG-4中，進(jìn)行使用全局運(yùn)動(dòng)向量(GMV)作為對(duì)應(yīng)于一幀的一個(gè)運(yùn)動(dòng)向
量的處理。
當(dāng)例如通過搖動(dòng)、傾斜、攝像機(jī)抖動(dòng)等來移動(dòng)攝像機(jī)時(shí)，每個(gè)塊的運(yùn)動(dòng) 向量是基本共同的。在這種情況下，變得能夠減少數(shù)據(jù)量并不使用每個(gè)塊的
運(yùn)動(dòng)向量而使用全局運(yùn)動(dòng)向量(GMV )有效進(jìn)行處理，該全局運(yùn)動(dòng)向量(GMV) 是對(duì)應(yīng)于一幀的一個(gè)運(yùn)動(dòng)向量。
每一個(gè)塊的運(yùn)動(dòng)向量被稱為局部運(yùn)動(dòng)向量(LMV),且對(duì)應(yīng)于一幀的一 個(gè)運(yùn)動(dòng)向量被稱為全局運(yùn)動(dòng)向量(GMV)。
將參考圖4給出全局運(yùn)動(dòng)向量(GMV)的描述。例如，如圖4A所示， 假設(shè)存在分別在時(shí)刻t0和tl處拍攝的兩個(gè)圖像幀30和31。這兩個(gè)幀是當(dāng)例 如通過搖動(dòng)、傾斜、攝像機(jī)抖動(dòng)等移動(dòng)攝像機(jī)時(shí)所拍攝的幀，因此如圖所示， 所捕獲的圖像總體上被移動(dòng)。
當(dāng)編碼這種圖像時(shí)，目前已經(jīng)以如下方式進(jìn)行了處理每個(gè)幀被劃分為 多個(gè)塊，例如n像素xn像素，檢測(cè)每個(gè)塊的運(yùn)動(dòng)向量(MV)也就是局部運(yùn) 動(dòng)向量(LMV)，然后進(jìn)行使用每個(gè)塊的每個(gè)運(yùn)動(dòng)向量的處理。然而，當(dāng)通 過例如搖動(dòng)、傾斜、攝像機(jī)抖動(dòng)等來移動(dòng)攝像機(jī)時(shí)，每個(gè)塊的運(yùn)動(dòng)向量變得 與圖4B所示的基本相同。
在這種情況下，通過使用表達(dá)如圖4C所示的整個(gè)屏幕的運(yùn)動(dòng)的一個(gè)運(yùn)動(dòng) 向量41也就是全局運(yùn)動(dòng)向量(GMV)進(jìn)行圖像編碼，能夠顯著提高編碼效 率。
例如，在MPEG-4中，采納通過應(yīng)用全局運(yùn)動(dòng)向量(GMV)并使用全局 運(yùn)動(dòng)補(bǔ)償(GMC)來編碼圖像的方法作為標(biāo)準(zhǔn)。因此，在編碼器側(cè)檢測(cè)全局 運(yùn)動(dòng)向量(GMV),并在解碼器側(cè)使用所傳送的全局運(yùn)動(dòng)向量(GMV)來進(jìn)通過全局運(yùn)動(dòng)補(bǔ)償(GMC)的重構(gòu)(reconstruction )。
除了圖中所示的簡(jiǎn)單平移(translation)以外，全局運(yùn)動(dòng)向量(GMV)可 以被表達(dá)為使用多個(gè)參數(shù)的具有旋轉(zhuǎn)、放大、縮小、仿射(affine)變換和投 影變換的數(shù)據(jù)。
如圖5所示，通過全局運(yùn)動(dòng)向量(GMV),分別對(duì)應(yīng)于當(dāng)前幀和參考幀 的相似像素位置(x， y)和(x，， y，)之間的關(guān)系被表達(dá)為使用平移、旋轉(zhuǎn)、 放大、縮小、仿射變換、投影變換等的數(shù)據(jù)。 一般而言， 一個(gè)全局運(yùn)動(dòng)向量 (GMV)被應(yīng)用于一個(gè)圖像幀。在這點(diǎn)上，例如，屏幕可以被劃分為具有比 通常塊尺寸更大的尺寸的塊，且可以為每個(gè)塊設(shè)置全局運(yùn)動(dòng)向量(GMV)。
也就是說，全局運(yùn)動(dòng)向量(GMV)不局限于一個(gè)全局運(yùn)動(dòng)向量(GMV)用于 一個(gè)圖像幀， 一個(gè)全局運(yùn)動(dòng)向量(GMV)可以被設(shè)置為對(duì)于被包括在圖像幀 中的多個(gè)塊的共同運(yùn)動(dòng)向量，且可以為一個(gè)幀設(shè)置多個(gè)全局運(yùn)動(dòng)向量 (GMV )。
當(dāng)全局運(yùn)動(dòng)向量(GMV)是僅指示例如平移(平移移動(dòng))的向量時(shí)，使 用兩個(gè)參數(shù)[ao,a,]將全局運(yùn)動(dòng)向量(GMV)表達(dá)為如下 x' = x + a0 y' = y + a,
使用三個(gè)參數(shù)[ao， a,， a2]將考慮平移(平移移動(dòng))和旋轉(zhuǎn)的全局運(yùn)動(dòng)向量 (GMV)表達(dá)為如下
x' = sina0x - cosa。y + a2 y' ■= cosa0x + sina0y + a3 使用六個(gè)參數(shù)[ao, al, a2, a3, a4, a5]將對(duì)應(yīng)于仿射變換的全局運(yùn)動(dòng)向量 (GMV)表達(dá)為如下 x' = a0x - a,y + a2 y' = a3x + a4y + a5
使用八個(gè)參數(shù)[ao, a1 ， a2, a3，a4，a5， a6， a7 ]將對(duì)應(yīng)于投影變換的全局運(yùn)動(dòng)向
量(GMV)表達(dá)為如下
x' = ((a0x + a,y + a2)/(a6x + a7y + l)) y' = ((a3x + a4y + a5)/(a6x + a7y + l))
在這點(diǎn)上，當(dāng)從移動(dòng)的圖像幀獲得全局運(yùn)動(dòng)向量(GMV)時(shí)，如圖5所 示，通過例如塊匹配等來計(jì)算來自兩個(gè)幀、也就是當(dāng)前幀和參考幀的相應(yīng)像 素的位置關(guān)系，來進(jìn)行各幀之間的像素移動(dòng)狀態(tài)的^r驗(yàn)處理。
當(dāng)在上述超分辨率處理或其他圖像編碼處理中生成運(yùn)動(dòng)補(bǔ)償圖像(MC 圖像)時(shí)，進(jìn)行使用上述全局運(yùn)動(dòng)向量(GMV)的處理。在描述本發(fā)明的處 理之前，將參考圖6給出一般的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)生成處理的例子 的描述。
圖6是圖示考慮平移(平移移動(dòng))和旋轉(zhuǎn)、基于全局運(yùn)動(dòng)向量(GMV) 的運(yùn)動(dòng)補(bǔ)償(MC圖像)的一般生成處理的例子的圖。如上所述，使用三個(gè) 參數(shù)[a。，a,，a2]將考慮平移(平移移動(dòng))和旋轉(zhuǎn)的全局運(yùn)動(dòng)向量(GMV)表達(dá)
為如下。
<formula>formula see original document page 17</formula>
假設(shè)用于生成圖6A所示的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)102的原始圖像是 參考圖像101。在這點(diǎn)上，基于參考圖像101和圖中未示出的當(dāng)前幀圖像來 檢測(cè)全局運(yùn)動(dòng)向量(GMV)，且其全局運(yùn)動(dòng)向量(GMV)是使用上述的三個(gè) 參數(shù)[a。，a,，a2]而表達(dá)的向量(GMV)。
通過根據(jù)全局運(yùn)動(dòng)向量(GMV)而移動(dòng)參考圖像101的像素位置以將參 考圖像101的像素基本與圖中未示出的當(dāng)前幀圖像的像素位置匹配而產(chǎn)生的 圖像是圖6A中示出的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)102。
用于從由圖6A中的白圈表達(dá)的參考圖像101生成由黑圈表達(dá)的運(yùn)動(dòng)補(bǔ) 償圖像(MC圖像)102的一般處理過程包括以下步驟1到4的處理。
步驟l:計(jì)算運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)102與參考圖像101之間的相對(duì) 位置。
步驟2:基于步驟1中計(jì)算的參考位置，在創(chuàng)建參考圖像101的像素(MC 圖像像素)時(shí)，確定參考圖像101的參考目的地像素。
步驟3:基于相對(duì)位置，計(jì)算具有小于原始像素寬度的子像素精度的相 對(duì)位置(在水平方向和在垂直方向上的相對(duì)位置)。
步驟4:從具有子像素的精度的水平方向和垂直方向相對(duì)位置，通過加 權(quán)平均來計(jì)算運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的像素值。
在這點(diǎn)上，不是必須計(jì)算用于計(jì)算運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)102的像素 值的加權(quán)平均。例如，如果計(jì)算成本允許，則可以通過進(jìn)一步參考周圍像素， 使用過濾操作來創(chuàng)建像素。
將參考圖6B給出該處理的具體例子的描述。當(dāng)確定MC圖像像素103 即運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的像素的像素值時(shí)，通過上述步驟1和2確定 原始參考圖像的像素a00、 a01、 alO和all是參考目的地像素。
接下來，在上述步驟3中，對(duì)于具有子像素精度的水平方向和垂直方向 相對(duì)位置，計(jì)算
水平方向相對(duì)位置[HorPos]和
垂直方向相對(duì)位置[VerPos],
如圖6B所示。
接下來，如步驟4的處理，使用以下表達(dá)式(表達(dá)式2)，通過應(yīng)用水平
方向相對(duì)位置[HorPos]和垂直方向相對(duì)位置[VerPos]的加權(quán)平均來計(jì)算運(yùn)動(dòng)補(bǔ) 償圖像(MC圖像)102的像素值[outpuU3ixe1]。
output_pixel = (a00 x (1 - HorPos) + a01 x HorPos) x (1畫VerPos) + (a10 x (1 - HorPos) + al 1 x HorPos) x VerPos ...(表達(dá)式2)
然而，在組成運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)102的每個(gè)像素與在參考圖像 101中的對(duì)應(yīng)的參考像素之間的相對(duì)位置是不同的，因此需要計(jì)算運(yùn)動(dòng)補(bǔ)償 圖像(MC圖像)102的每個(gè)像素的相對(duì)位置，這導(dǎo)致了巨大的計(jì)算成本和處 理時(shí)間。而且，具有子像素的精度的在水平方向和垂直方向上的相對(duì)位置
水平方向相對(duì)位置[HorPos]和
垂直方向相對(duì)位置[VerPos]
的數(shù)據(jù)對(duì)于每個(gè)像素是不同的。因此，需要對(duì)于每個(gè)像素計(jì)算這些值， 從而導(dǎo)致巨大的計(jì)算成本和處理時(shí)間。
以此方式，本發(fā)明的圖像處理裝置實(shí)現(xiàn)了有效且高速的運(yùn)動(dòng)補(bǔ)償圖像 (MC圖像)的生成處理，其中該運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的生成處理一般 被認(rèn)為是高計(jì)算成本的處理。在以下，將給出本發(fā)明的運(yùn)動(dòng)補(bǔ)償圖像(MC 圖像)的生成處理的詳細(xì)描述。
如參考圖4等所述，全局運(yùn)動(dòng)向量(GMV)是與多個(gè)塊共同設(shè)置的運(yùn)動(dòng) 向量，例如，組成圖像幀的所有塊共同的一個(gè)運(yùn)動(dòng)向量。當(dāng)使用全局運(yùn)動(dòng)向 量(GMV)時(shí)， 一個(gè)幀的組成像素被確定為以基本相同的方式移動(dòng)。因此， 例如，對(duì)于生成圖6A所示的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)來說是必須的具有子 像素的精度的在水平方向和垂直方向上的相對(duì)位置
水平方向相對(duì)位置[HorPos]和
垂直方向相對(duì)位置[VerPos],
在空間方向上具有很強(qiáng)的相關(guān)性。本發(fā)明的方法使用在空間方向上的相 關(guān)性來改進(jìn)計(jì)算速度。
以與圖6A相同的方式，圖7圖示了參考圖像201和使用全局運(yùn)動(dòng)向量 (GMV)基手參考圖像201生成的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)202。在例如圖 7所示的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)202的組成像素中的一個(gè)像素a和相鄰于 a的八個(gè)周圍像素也就是b、 c、 d、 e、 f、 g、 h和i與用于計(jì)算各個(gè)像素值所
需的參考像素之間的相對(duì)位置是實(shí)質(zhì)上相同的。具有子像素精度的在水平方
向和垂直方向上的相對(duì)位置
水平方向相對(duì)位置[HorPos]和 垂直方向相對(duì)位置[VerPos]
的值變成基本共同的值。本發(fā)明的方法使用在空間方向上的相關(guān)性改進(jìn)
了計(jì)算速度。 第一實(shí)施例
將參考圖8到11給出根據(jù)本發(fā)明的第一實(shí)施例的運(yùn)動(dòng)補(bǔ)償圖像(MC圖 像)的生成處理的詳細(xì)描述。圖8圖示了在本發(fā)明的圖像處理裝置中設(shè)置的 運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)生成部件的配置的例子。
輸入是全局運(yùn)動(dòng)向量(GMV)和參考圖像，輸出是通過根據(jù)全局運(yùn)動(dòng)向 量(GMV)改變參考圖像的像素位置而產(chǎn)生的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)。在 這點(diǎn)上，全局運(yùn)動(dòng)向量(GMV)是例如基于當(dāng)前幀圖像和參考幀圖像而生成 的全局運(yùn)動(dòng)向量(GMV)。輸出的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)是通過將參考圖 像的像素位置改變到與當(dāng)前幀圖像的像素位置對(duì)應(yīng)的位置而產(chǎn)生的圖像。
如圖8所示，在本實(shí)施例的圖像處理裝置中設(shè)置的運(yùn)動(dòng)補(bǔ)償圖像(MC 圖像)生成部件具有參考像素相對(duì)位置計(jì)算部分251、相對(duì)位置量化部分252 和運(yùn)動(dòng)補(bǔ)償圖像生成部分253。
參考像素相對(duì)位置計(jì)算部分251基于從外部輸入的全局運(yùn)動(dòng)向量(GMV) 來計(jì)算用于生成運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)所需的像素位于參考圖像上的哪 個(gè)點(diǎn)處。
將參考圖9給出由參考像素相對(duì)位置計(jì)算部分251進(jìn)行的處理的描述。 以與圖7所示的參考圖像201和運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)202相同的方式， 在圖9中，白圈表示參考圖像的組成像素，黑圈表示運(yùn)動(dòng)補(bǔ)償圖像(MC圖 像)的組成像素。例如，當(dāng)確定運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)301的組成像素的 像素值時(shí)，以先前參考圖6B所述的相同的方式，參考在圖9所示的運(yùn)動(dòng)補(bǔ)償 圖像(MC圖像)301周圍的參考圖像的組成像素的像素值。也就是說，圖9 所示的四個(gè)像素、參考像素Pl到P4變成參考像素302。
參考像素相對(duì)位置計(jì)算部分251計(jì)算例如如圖9所示的具有子像素的精 度的在水平方向和垂直方向上的相對(duì)位置
水平方向相對(duì)位置[HorPos]和
垂直方向相對(duì)位置[VerPos]
作為運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的組成像素301的參考圖像的參考像素 相對(duì)位置。
參考像素相對(duì)位置計(jì)算部分251對(duì)于運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的每個(gè) 組成像素來計(jì)算具有子像素精度的在水平方向和垂直方向上的相對(duì)位置，并 將其輸出到相對(duì)位置量化部分252。
相對(duì)位置量化部分252從參考像素相對(duì)位置計(jì)算部分251接收與運(yùn)動(dòng)補(bǔ) 償圖像(MC圖像)的每個(gè)組成像素相對(duì)應(yīng)的參考像素的相對(duì)位置信息的輸 入，并量化它們。也就是說，相對(duì)位置量化部分252用預(yù)設(shè)精度來量化參考 像素的相對(duì)位置信息，并向運(yùn)動(dòng)補(bǔ)償圖像生成部分253輸出量化后的參考像 素相對(duì)位置信息。
將參考圖10給出由相對(duì)位置量化部分252執(zhí)行的處理的描述。在圖10 中，白圈表示參考圖像的組成像素，白虛線圈表示運(yùn)動(dòng)補(bǔ)償圖像(MC圖像) 的組成像素(與圖9中的黑圈相同)。除了這些像素位置以外，由黑圈表示通 過量化參考像素的相對(duì)位置而獲得的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的組成像素。
也就是說，相對(duì)位置量化部分252對(duì)于運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的每 個(gè)組成像素接收關(guān)于具有子像素的精度的在水平方向和垂直方向上的像素位 置
水平方向相對(duì)位置[HorPos]和 垂直方向相對(duì)位置[VerPos]的信息的輸入，并 用預(yù)設(shè)精度量化相對(duì)位置信息。
在圖10所示的例子中，量化寬度(步長(zhǎng)(step)) Q被設(shè)置為一個(gè)像素寬 度的1/4。也就是說，量化寬度(步長(zhǎng))Q=l/4pel, 其中pel是像素寬度。
在這點(diǎn)上，圖IO所示的量化寬度(步長(zhǎng))Q是一個(gè)例子，并且諸如量化 寬度Q=l pel、 1/2 pel等的各種設(shè)置是可能的。
在圖10所示的例子中，例如，在參考位置的量化之后，在量化之前的運(yùn) 動(dòng)補(bǔ)償圖像(MC圖像)的組成像素311被確定處于在量化之后的運(yùn)動(dòng)補(bǔ)償 圖像(MC圖像)的組成像素312的位置處。如圖IO中右下圖所示，使用以 下量化寬度Q，將運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的組成像素312與參考像素之 間在水平方向和垂直方向上的相對(duì)位置變換成量化后的信息
水平方向相對(duì)位置[HorPos;h2Q且 垂直方向相對(duì)位置[VerPos^2Q。
相對(duì)位置量化部分252量化在運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的所有組成像 素與參考像素之間在水平方向和垂直方向上的相對(duì)位置，并向運(yùn)動(dòng)補(bǔ)償圖像 生成部分253輸出量化后相對(duì)位置信息。
運(yùn)動(dòng)補(bǔ)償圖像生成部分253從相對(duì)位置量化部分252接收量化后的相對(duì) 位置信息的輸入，進(jìn)一步接收參考圖像作為運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的原 始圖像，并基于所輸入的信息來生成運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)。
將參考圖11給出在運(yùn)動(dòng)補(bǔ)償圖像生成部分253中的運(yùn)動(dòng)補(bǔ)償圖像(MC 圖像)的生成處理的描述。運(yùn)動(dòng)補(bǔ)償圖像生成部分253將從相對(duì)位置量化部 分252輸入的具有相同的量化后的相對(duì)位置信息的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像) 的組成像素一起分組，并進(jìn)行像素值計(jì)算處理，以生成運(yùn)動(dòng)補(bǔ)償圖像(MC 圖像)。
在圖11所示的例子中，示出了在相對(duì)位置的量化之后的運(yùn)動(dòng)補(bǔ)償圖像 (MC圖像)的組成像素Pml到Pm6。在這些像素中，Pml到Pm3具有如下 相同的量化后相對(duì)位置信息
水平方向相對(duì)位置[HorPos]=2Q以及 垂直方向相對(duì)位置[VerPos^2Q。
因此，運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的組成像素Pml到Pm3被一起分組到 一個(gè)組(組A)中。
以相同的方式，量化后的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的組成像素Pm4到 Pm6具有如下相同的量化后相對(duì)位置信息
水平方向相對(duì)位置[HorPosp3Q以及
垂直方向相對(duì)位置[VerPos;^lQ。
因此，運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的組成像素Pm4到Pm6被一起分組到 一個(gè)組(組B)中。
運(yùn)動(dòng)補(bǔ)償圖像生成部分253對(duì)于每個(gè)組進(jìn)行運(yùn)動(dòng)補(bǔ)償圖像(MC圖像) 的組成像素的像素值的計(jì)算。在圖ll所示的例子中，運(yùn)動(dòng)補(bǔ)償圖像生成部分 253對(duì)組A的三個(gè)像素和組B的三個(gè)像素進(jìn)行處理。在這點(diǎn)上，如上所述， 根據(jù)上述表達(dá)式(2)也就是通過如下表達(dá)式來進(jìn)行每個(gè)像素的像素值 (output_pixel)的計(jì)算處理。
<formula>formula see original document page 22</formula>
目前，已經(jīng)需要對(duì)于每個(gè)像素通過順序地替換以下值來計(jì)算像素值:. 水平方向相對(duì)位置[HorPos]和
垂直方向相對(duì)位置[VerPos]。然而，在該處理中，變得能夠通過將相同的 量化后的數(shù)據(jù)應(yīng)用于多個(gè)像素來計(jì)算像素值，并因此顯著地降低了計(jì)算成本 以實(shí)現(xiàn)高速處理。
第二實(shí)施例
接下來，將參考圖12和13給出根據(jù)本發(fā)明的第二實(shí)施例的運(yùn)動(dòng)補(bǔ)償圖 像(MC圖像)的生成處理的詳細(xì)描述。圖12圖示了本實(shí)施例的運(yùn)動(dòng)補(bǔ)償(MC) 圖像生成部件的配置的例子。
圖12所示的運(yùn)動(dòng)補(bǔ)償(MC)圖像生成部件如具有如下配置其中相對(duì) 位置平均處理部分403被添加到之前參考圖8描述的第一實(shí)施例的配置。參 考像素相對(duì)位置計(jì)算部分401和相對(duì)位置量化部分402進(jìn)行與第一實(shí)施例中 相同的處理。運(yùn)動(dòng)補(bǔ)償圖像生成部分404從相對(duì)位置平均處理部分403接收 處理數(shù)據(jù)的輸入，以生成運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)。
以與上述第一實(shí)施例相同的方式，在本實(shí)施例中，輸入是全局運(yùn)動(dòng)向量 (GMV)和參考圖像，并且輸出是通過根據(jù)全局運(yùn)動(dòng)向量(GMV)來改變參 考圖像的像素位置而產(chǎn)生的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)。在這點(diǎn)上，全局運(yùn)動(dòng) 向量(GMV)是例如基于當(dāng)前幀圖像和參考幀圖像而生成的全局運(yùn)動(dòng)向量 (GMV)。所輸出的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)是通過將參考圖像的像素位置 改變到與當(dāng)前幀圖像的像素位置對(duì)應(yīng)的位置而產(chǎn)生的圖像。
在圖12所示的配置中，參考像素相對(duì)位置計(jì)算部分401基于從外部輸入 的全局運(yùn)動(dòng)向量(GMV)來計(jì)算用于生成運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)所需的 像素位于參考圖像上的哪個(gè)點(diǎn)處。該處理是之前參考圖9描述的處理。
相對(duì)位置量化部分402從參考像素相對(duì)位置計(jì)算部分401接收與運(yùn)動(dòng)補(bǔ) 償圖像(MC圖像)的每個(gè)組成像素相對(duì)應(yīng)的參考像素的相對(duì)位置信息的輸 入，并量化它們。也就是說，相對(duì)位置量化部分402用預(yù)設(shè)精度來量化參考. 像素的相對(duì)位置信息。該處理是之前參考圖IO描述的處理。相對(duì)位置量化部 分402向相對(duì)位置平均處理部分403輸出量化了的參考像素的相對(duì)位置信息。
相對(duì)位置平均處理部分403對(duì)來自相對(duì)位置量化部分402的每預(yù)設(shè)數(shù)量
的像素的輸入信息、也就是與運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的每個(gè)組成像素相 對(duì)應(yīng)的量化后的參考像素的相對(duì)位置信息，具體地是
水平方向相對(duì)位置[HorPos)=nQ以及 垂直方向相對(duì)位置[VerPos]=mQ
進(jìn)行平均處理。
例如，相對(duì)位置平均處理部分403對(duì)與SIMD (單指令多數(shù)據(jù)(Single Instruction Multiple Data))處理器的計(jì)算處理功率相對(duì)應(yīng)的每個(gè)預(yù)設(shè)數(shù)量的像 素的量化后信息進(jìn)行平均處理，該SIMD處理器是計(jì)算在圖像處理裝置中的 運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的組成像素的像素值的處理單元。
一般而言，SIMD具有用于對(duì)以32位或64位為單位的輸入數(shù)據(jù)進(jìn)行并 行計(jì)算的配置。例如，如果運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的一個(gè)組成像素的像 素值是8位數(shù)據(jù)，則能夠通過進(jìn)行32位數(shù)據(jù)處理的SIMD來計(jì)算四個(gè)像素的 像素值，即4x8=32位數(shù)據(jù)。因此，變得能夠通過將四個(gè)像素放在一起來進(jìn) 行有效的操作。從而，實(shí)現(xiàn)了高速處理。
如圖13所示，相對(duì)位置平均處理部分403對(duì)于來自相對(duì)位置量化部分 402的輸入信息、也就是運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的每四個(gè)像素(Pml到 Pm4)的量化后的相對(duì)位置信息進(jìn)行平均處理。在這點(diǎn)上，輸出的信息也是 量化后的信息。
在圖13所示的例子中，量化后相對(duì)位置信息作為在圖13 (a)中的輸入 信息，像素pml到pm3具有
水平方向相對(duì)位置[HorPos]-2Q且 垂直方向相對(duì)位置[VerPos]-2Q。 像素pm4具有
水平方向相對(duì)位置[HorPosh3Q且 垂直方向相對(duì)位置[VerPos]=1Q 。 在這種情況下，量化后數(shù)據(jù)的簡(jiǎn)單平均變成
水平方向相對(duì)位置[HorPos] = ((2Q x 3) + (3Q x 1))/4 = 9Q/4 = 2.25Q和 垂直方向相對(duì)位置[VerPos] = ((2Q x 3) + (1Q x 1))/4 = 7Q/4 = 1.75Q。 另外，通過量化平均后的數(shù)據(jù)，像素pml到pm4具有 水平方向相對(duì)位置[HorPosh2Q且 垂直方向相對(duì)位置[VerPos]=2Q 。
量化后相對(duì)位置數(shù)據(jù)是如圖13 (b)所示的具有相同量化后位置信息的
像素pml，到pm4，。這些被一起放到一組中，并從相對(duì)位置平均處理部分403 輸出到運(yùn)動(dòng)補(bǔ)償圖像生成部分404 。
在這點(diǎn)上，參考圖13描述的處理是如下情況的例子其中一個(gè)像素是8 位數(shù)據(jù)且通過32位SIMD進(jìn)行運(yùn)動(dòng)補(bǔ)償圖像生成部分404中的運(yùn)動(dòng)補(bǔ)償圖像 (MC圖像)的像素值的計(jì)算。例如，如果一個(gè)像素是8位數(shù)據(jù)，且通過64 位SIMD進(jìn)行運(yùn)動(dòng)補(bǔ)償圖像生成部分404中的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的 像素值的計(jì)算，則能夠?qū)藗€(gè)像素設(shè)置為并行計(jì)算的單位。在此情況下，八 個(gè)像素將被平均。
在這點(diǎn)上，在圖13中的例子中，在水平方向上的四個(gè)像素被選擇為要被 平均的像素。然而，能夠?qū)σ黄骄南袼氐淖龀龈鞣N選擇。例如，可以選 擇在垂直方向上的四個(gè)像素。
運(yùn)動(dòng)補(bǔ)償圖像生成部分404從相對(duì)位置平均處理部分403接收每多個(gè)像 素的平均后的量化后相對(duì)位置信息的輸入，并計(jì)算運(yùn)動(dòng)補(bǔ)償圖像(MC圖像) 的組成像素的像素值。
運(yùn)動(dòng)補(bǔ)償圖像生成部分404使用SIMD (單指令多數(shù)據(jù))處理器來計(jì)算 每個(gè)像素的像素值，該SIMD處理器是計(jì)算運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的組 成像素的像素值的計(jì)算處理單元。如上所述，例如，對(duì)以32位為單位的輸入 數(shù)據(jù)進(jìn)行并行計(jì)算，以并行地計(jì)算四個(gè)像素的像素值。以此方式，通過用被 一起放到 一組中的多個(gè)像素的計(jì)算來實(shí)現(xiàn)高速處理。
第三實(shí)施例
接下來，將參考圖14和17給出根據(jù)本發(fā)明的第三實(shí)施例的運(yùn)動(dòng)補(bǔ)償圖 像(MC圖像)的生成處理的詳細(xì)描述。圖14圖示了本實(shí)施例的運(yùn)動(dòng)補(bǔ)償(MC) 圖像生成部件的配置的例子。
圖14所示的運(yùn)動(dòng)補(bǔ)償(MC)圖像生成部件具有如下配置其中，相對(duì) 位置復(fù)制處理部分503被添加到之前參考圖8描述的第一實(shí)施例的配置。參 考像素相對(duì)位置計(jì)算部分501和相對(duì)位置量化部分502進(jìn)行第一實(shí)施例中的 處理的簡(jiǎn)化處理。該處理不對(duì)運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的所有組成像素進(jìn) 行。通過部分地選擇處理像素、例如對(duì)于每四個(gè)像素選擇一個(gè)像素來進(jìn)行該 簡(jiǎn)化的處理。運(yùn)動(dòng)補(bǔ)償圖像生成部分504從相對(duì)位置復(fù)制處理部分503接收 處理數(shù)據(jù)的輸入以生成運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)。
以與上述第一實(shí)施例相同的方式，在本實(shí)施例中，輸入是全局運(yùn)動(dòng)向量
(GMV)和參考圖像，且輸出是通過根據(jù)全局運(yùn)動(dòng)向量(GMV)來改變參考 圖像的像素位置而產(chǎn)生的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)。在這點(diǎn)上，全局運(yùn)動(dòng)向 量(GMV)是例如基于當(dāng)前幀圖像和參考幀圖像而生成的全局運(yùn)動(dòng)向量 (GMV)。所輸出的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)是通過將參考圖像的像素位置 改變到與當(dāng)前幀圖像的像素位置對(duì)應(yīng)的位置而產(chǎn)生的圖像。
在圖14所示的配置中，參考像素相對(duì)位置計(jì)算部分501基于從外部輸入 的全局運(yùn)動(dòng)向量(GMV)來計(jì)算用于生成運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)所需的 像素位于參考圖像上的哪個(gè)點(diǎn)處。該處理是之前參考圖9描述的處理。然而， 在該處理例子中，不對(duì)運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的組成像素的所有參考像 素計(jì)算相對(duì)位置信息。僅對(duì)于預(yù)設(shè)的選擇像素進(jìn)行處理，且不對(duì)未選擇像素 計(jì)算相對(duì)位置信息。
例如，如圖15所示，^義在水平方向上的四個(gè)^f象素中的一個(gè)^f象素被選擇為 處理像素521。對(duì)于處理像素521，通過之前參考圖9描述的處理來計(jì)算以下 相對(duì)位置信息作為相比于參考像素的相對(duì)位置
水平方向相對(duì)位置[HorPos]和
垂直方向相對(duì)位置[VerPos]。
然而，不對(duì)該像素右側(cè)的三個(gè)未處理像素531計(jì)算相對(duì)位置信息。對(duì)于 剩下的像素，即從計(jì)算了相對(duì)位置的一個(gè)像素之后的三個(gè)連續(xù)像素，不以相 同方式計(jì)算相對(duì)位置。
也就是說，參考像素相對(duì)位置計(jì)算部分501僅對(duì)于四個(gè)像素中的一個(gè)像 素計(jì)算相對(duì)位置，從而與第一實(shí)施例相比，將處理量降低到25%。
相對(duì)位置量化部分502從參考像素相對(duì)位置計(jì)算部分501接收與從運(yùn)動(dòng) 補(bǔ)償圖像(MC圖像)的組成像素中選擇的處理像素相對(duì)應(yīng)的參考像素的相 對(duì)位置信息的輸入，并量化它們。該處理是之前參考圖IO描述的處理。然而， 對(duì)進(jìn)行了量化處理的像素僅是已經(jīng)由參考像素相對(duì)位置計(jì)算部分501計(jì)算了 其相對(duì)位置的像素。僅四個(gè)像素中的一個(gè)像素是此實(shí)施例中的那些像素。以 與參考像素相對(duì)位置計(jì)算部分501相同的方式，相對(duì)位置量化部分502僅對(duì) 于四個(gè)像素中的一個(gè)像素計(jì)算量化后相對(duì)位置，從而與第一實(shí)施例相比，將
處理量降低到25%。在這點(diǎn)上，在該例子中，處理像素與非處理像素的比率 被設(shè)置為1: 3。但是，允許以各種方式進(jìn)行設(shè)置。
相對(duì)位置量化部分502向相對(duì)位置復(fù)制處理部分503輸出參考像素的量 化后相對(duì)位置信息。
相對(duì)位置復(fù)制處理部分503進(jìn)行來自相對(duì)位置量化部分502的輸入信息、 也就是與從運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的組成像素選擇的每個(gè)處理像素相對(duì) 應(yīng)的量化后的參考像素的相對(duì)位置，具體地是以下位置的信息復(fù)制到非處理 像素的順序復(fù)制處理
水平方向相對(duì)位置[HorPoshnQ且
垂直方向相對(duì)位置[VerPos]-mQ。
如圖16所示，來自相對(duì)位置量化部分502的輸入信息是僅從運(yùn)動(dòng)補(bǔ)償圖 像(MC圖像)的組成像素部分選擇的處理像素的量化后相對(duì)位置信息。在 圖16所示的例子中，像素pml是四個(gè)像素(pml到pm4)中的處理像素， 且pm2到pm4是非處理像素。在這種情況下，像素pml具有量化后相對(duì)位 置信息，即
水平方向相對(duì)位置[HorPos;h2Q且
垂直方向相對(duì)位置[VerPos]=2Q 。
然而，非處理像素pm2到pm4不具有量化后的相對(duì)位置信息。 相對(duì)位置復(fù)制處理部分503進(jìn)行與處理像素相對(duì)應(yīng)的量化后相對(duì)位置信 息，即
水平方向相對(duì)位置[HorPoshnQ且 垂直方向相對(duì)位置[VerPos]=mQ 到非處理像素的順序復(fù)制處理。
在圖中的例子中，關(guān)于pml的量化相對(duì)位置信息，也就是 水平方向相對(duì)位置[HorPos^2Q和
垂直方向相對(duì)位置[VerPos^2Q 4皮復(fù)制到與非處理像素pm2到pm4相對(duì) 應(yīng)的量化后相對(duì)位置信息。因此，所有像素pml到pm4具有相同的量化后相 對(duì)位置信息，即
水平方向相對(duì)位置[HorPos^2Q且
垂直方向相對(duì)位置[VerPos]=2Q 。
對(duì)于剩余像素以相同的方式，具有量化后相對(duì)位置信息的運(yùn)動(dòng)補(bǔ)償圖像 (MC圖像)的相鄰組成像素的量化后相對(duì)位置信息被復(fù)制到不具有量化后 相對(duì)位置信息的運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的組成像素。
運(yùn)動(dòng)補(bǔ)償圖像生成部分504從相對(duì)位置復(fù)制處理部分503接收對(duì)于每多 個(gè)像素的被復(fù)制的量化后相對(duì)位置信息的輸入，并計(jì)算運(yùn)動(dòng)補(bǔ)償圖像(MC 圖像)的組成像素的像素值。在這點(diǎn)上，以與上述第二實(shí)施例相同的方式， 在該處理中，運(yùn)動(dòng)補(bǔ)償圖像生成部分504使用SIMD (單指令多數(shù)據(jù))處理 器來計(jì)算每個(gè)像素的像素值，該SIMD處理器是計(jì)算運(yùn)動(dòng)補(bǔ)償圖像(MC圖 像)的組成像素的像素值的計(jì)算處理單元。例如，能夠?qū)σ?2位為單位的輸 入數(shù)據(jù)進(jìn)行并行計(jì)算，以并行地計(jì)算四個(gè)像素的像素值。以與第二實(shí)施例相 同的方式，通過用被一起放到 一組中的多個(gè)像素的計(jì)算來實(shí)現(xiàn)高速處理。
最后，將參考圖17給出作為進(jìn)行上述處理的裝置的硬件配置的例子的個(gè) 人計(jì)算機(jī)的硬件配置的例子的描述。CPU (中央處理單元)701根據(jù)被存儲(chǔ)在 ROM (只讀存儲(chǔ)器)702或存儲(chǔ)部分708中的程序來進(jìn)行各種處理。例如， CPU執(zhí)行在上述實(shí)施例中描述的生成運(yùn)動(dòng)補(bǔ)償圖像(MC圖像)的程序。RAM (隨機(jī)存取存儲(chǔ)器)703適當(dāng)?shù)卮鎯?chǔ)由CPU701執(zhí)行的程序、數(shù)據(jù)等等。CPU 301 、 ROM 702和RAM 703通過總線704相互連接。
CPU 701通過總線704連接于輸入/輸出接口 705。包括鍵盤、鼠標(biāo)、麥 克風(fēng)等的輸入部分706和包括顯示器、揚(yáng)聲器等的輸出部分連接于輸入/輸出 接口 705。 CPU 701纟艮據(jù)從輸入部分706輸入的指令來執(zhí)行各種處理。CPU 701 向輸出部分707輸出處理的結(jié)果。
連接于輸入/輸出接口 705的存儲(chǔ)部分708包括例如硬盤，并存儲(chǔ)由CPU 701執(zhí)行的程序和各種數(shù)據(jù)。通信部分709通過諸如因特網(wǎng)、局域網(wǎng)等的網(wǎng) 絡(luò)來與外部裝置通信。
連接于輸入/輸出接口 705的驅(qū)動(dòng)器710驅(qū)動(dòng)諸如磁盤、光盤、磁光盤或 半導(dǎo)體存儲(chǔ)器等的可移動(dòng)介質(zhì)711,并獲得記錄在那里的程序、數(shù)據(jù)等等。 所獲得的程序和數(shù)據(jù)在需要時(shí)被傳輸給存儲(chǔ)部分708,并被存儲(chǔ)在那里。
已經(jīng)通過參考具體實(shí)施例詳細(xì)說明了本發(fā)明。但是，很明顯，本領(lǐng)域技 術(shù)人員可以在不脫離本發(fā)明的精神的情況下進(jìn)行修改和替換。也就是說，已 經(jīng)以例子的形式公開了本發(fā)明，且本發(fā)明不應(yīng)該被限制地解釋。為了確定本 發(fā)明的范圍，應(yīng)該考慮所附權(quán)利要求。
而且，可以由硬件或由軟件或由它們兩個(gè)的組合來執(zhí)行說明書中描述的 處理序列。當(dāng)由軟件執(zhí)行處理時(shí)，記錄處理序列的程序可以被安裝到在專用 硬件中內(nèi)置的計(jì)算機(jī)的存儲(chǔ)器中?？商鎿Q地，可以在能夠執(zhí)行各種處理的通
用計(jì)算機(jī)中安裝并執(zhí)行各種程序。例如，可以預(yù)先在記錄介質(zhì)中記錄程序。 除了從記錄介質(zhì)安裝到計(jì)算機(jī)以外，還可以通過諸如LAN (局域網(wǎng))和因特 網(wǎng)的網(wǎng)絡(luò)來接收程序，并可以安裝在諸如內(nèi)部硬盤等的記錄介質(zhì)中。
在這點(diǎn)上，不僅可以根據(jù)說明書以時(shí)間順序來執(zhí)行本說明書中描述的各 種處理，還可以根據(jù)執(zhí)行處理的裝置的能力或根據(jù)需要來并行或單獨(dú)地執(zhí)行。 而且，在本說明書中的系統(tǒng)是多個(gè)裝置的邏輯集，且不局限于在相同外殼中 包含的組成裝置的集。
相關(guān)申請(qǐng)的交叉引用
本發(fā)明包含與2007年9月5日在日本專利局提交的日本專利申請(qǐng) JP2007-230054相關(guān)的主題，其全部?jī)?nèi)容被引用附于此。
權(quán)利要求
1. 一種用于生成運(yùn)動(dòng)補(bǔ)償(MC)圖像的圖像處理裝置，包括:像素相對(duì)位置計(jì)算部分，基于運(yùn)動(dòng)向量信息計(jì)算在組成所述運(yùn)動(dòng)補(bǔ)償圖像的像素的像素位置與參考圖像的參考像素的像素位置之間的相對(duì)位置，其中所述參考圖像的參考像素用于計(jì)算所述像素的像素值；相對(duì)位置量化部分，進(jìn)行由所述像素相對(duì)位置計(jì)算部分計(jì)算的相對(duì)位置信息的量化處理，并生成量化后相對(duì)位置信息；以及運(yùn)動(dòng)補(bǔ)償圖像生成部分，通過基于所述量化后相對(duì)位置信息和所述參考像素的像素值而計(jì)算運(yùn)動(dòng)補(bǔ)償圖像的組成像素的像素值，來生成運(yùn)動(dòng)補(bǔ)償圖像。
2. 根據(jù)權(quán)利要求1的圖像處理裝置，還包括相對(duì)位置平均處理部分，接收所述量化后相對(duì)位置信息的輸入，并進(jìn)行 與所述運(yùn)動(dòng)補(bǔ)償圖像的多個(gè)像素相對(duì)應(yīng)的所述量化后相對(duì)位置信息的平均處 理，其中，所述相對(duì)位置平均處理部分進(jìn)行所述量化后相對(duì)位置信息的平均處理，以便所述量化后相對(duì)位置變得對(duì) 于根據(jù)能夠在所述運(yùn)動(dòng)補(bǔ)償圖像生成部分中并行操作的位數(shù)而確定的每個(gè)像 素來說是相同的，以及所述運(yùn)動(dòng)補(bǔ)償圖像生成部分通過基于所述量化后相對(duì)位置信息和所述參 考像素的像素值而計(jì)算所述運(yùn)動(dòng)補(bǔ)償圖像的組成像素的像素值，來生成所述 運(yùn)動(dòng)補(bǔ)償圖像，其中所述量化后相對(duì)位置信息被設(shè)置為對(duì)于由所述相對(duì)位置 平均處理部分生成的多個(gè)像素的每個(gè)像素具有相同值。
3. 根據(jù)權(quán)利要求2的圖像處理裝置，其中，所述運(yùn)動(dòng)補(bǔ)償圖像生成部分應(yīng)用SIMD (單指令多數(shù)據(jù))處理器 來進(jìn)行像素值計(jì)算，對(duì)于具有被設(shè)置為具有相同值的所述量化后相對(duì)位置信 息的多個(gè)像素的每個(gè)像素進(jìn)行并行計(jì)算，并計(jì)算對(duì)應(yīng)于所述多個(gè)像素的像素值。
4. 根據(jù)權(quán)利要求1的圖像處理裝置，還包括 相對(duì)位置復(fù)制處理部分，其中，所述像素相對(duì)位置計(jì)算部分僅部分地對(duì)從組成所述運(yùn)動(dòng)補(bǔ)償圖像 的像素中選擇的處理像素計(jì)算與所述參考圖像的參考像素的像素位置的相對(duì) 位置，所述相對(duì)位置量化部分進(jìn)行與所述處理像素相對(duì)應(yīng)的所述相對(duì)位置信息 的量化處理，其中所述處理像素的相對(duì)位置是由所述像素相對(duì)位置計(jì)算部分 所計(jì)算的，所述相對(duì)位置復(fù)制處理部分對(duì)于不計(jì)算其量化后相對(duì)位置的非處理像素 進(jìn)行與所述處理像素相同的量化后相對(duì)位置的設(shè)置處理，其中計(jì)算了所述處 理像素的量化后相對(duì)位置，以及所述運(yùn)動(dòng)補(bǔ)償圖像生成部分通過基于從所述相對(duì)位置復(fù)制處理部分輸入 的所述量化后相對(duì)位置信息和所述參考像素的像素值而計(jì)算所述運(yùn)動(dòng)補(bǔ)償圖 像的組成像素的像素值，來生成運(yùn)動(dòng)補(bǔ)償圖像。
5. 根據(jù)權(quán)利要求1到4的任何一項(xiàng)的圖像處理裝置，其中，所述像素相對(duì)位置計(jì)算部分基于作為被包括在圖像幀中的多個(gè)塊 共同的運(yùn)動(dòng)向量的全局運(yùn)動(dòng)向量(GMV)來計(jì)算在組成所述運(yùn)動(dòng)補(bǔ)償圖像的 像素的像素位置與所述參考圖像的參考像素的像素位置之間的相對(duì)位置，其 中所述參考圖像的參考像素用于計(jì)算所述像素的像素值。
6. —種處理圖像的方法，用于在圖像處理裝置中生成運(yùn)動(dòng)補(bǔ)償(MC) 圖像，所述方法包括步驟像素相對(duì)位置計(jì)算，由像素相對(duì)位置計(jì)算部分基于運(yùn)動(dòng)向量信息來計(jì)算 在組成所述運(yùn)動(dòng)補(bǔ)償圖像的像素的像素位置與參考圖像的參考像素的像素位 置之間的相對(duì)位置，其中所述參考圖像的參考像素用于計(jì)算所述像素的像素 值；相對(duì)位置量化，由相對(duì)位置量化部分進(jìn)行由所述像素相對(duì)位置計(jì)算部分 計(jì)算的相對(duì)位置信息的量化處理，并生成量化后相對(duì)位置信息；以及運(yùn)動(dòng)補(bǔ)償圖像生成，由運(yùn)動(dòng)補(bǔ)償圖像生成部分通過基于所述量化后相對(duì) 位置信息和所述參考像素的像素值而計(jì)算所述運(yùn)動(dòng)補(bǔ)償圖像的組成像素的像 素值，來生成所述運(yùn)動(dòng)補(bǔ)償圖像。
7. 根據(jù)權(quán)利要求6的處理圖像的方法，還包括相對(duì)位置平均處理，由相對(duì)位置平均處理部分接收所述量化后相對(duì)位置 信息的輸入，并進(jìn)行與所述運(yùn)動(dòng)補(bǔ)償圖像的多個(gè)像素相對(duì)應(yīng)的所述量化后相 對(duì)位置信息的平均處理，其中，所述相對(duì)位置平均處理的步驟進(jìn)行所述量化后相對(duì)位置信息的平均處理，以便所述量化后相對(duì)位置變得對(duì) 于根據(jù)能夠在所述運(yùn)動(dòng)補(bǔ)償圖像生成中并行操作的位數(shù)而確定的每個(gè)像素來 說是相同的，以及所述運(yùn)動(dòng)補(bǔ)償圖像生成的步驟通過基于所述量化后相對(duì)位置信息和所述 參考像素的像素值而計(jì)算所述運(yùn)動(dòng)補(bǔ)償圖像的組成像素的像素值，來生成所 述運(yùn)動(dòng)補(bǔ)償圖像，其中所述量化后相對(duì)位置信息被設(shè)置為對(duì)于由所述相對(duì)位 置平均處理的步驟生成的多個(gè)像素的每個(gè)像素具有相同值。
8. 根據(jù)權(quán)利要求7的處理圖像的方法，其中，所述運(yùn)動(dòng)補(bǔ)償圖像生成的步驟應(yīng)用SIMD (單指令多數(shù)據(jù))處理 器來進(jìn)行像素值計(jì)算，對(duì)于具有被設(shè)置為具有相同值的所述量化后相對(duì)位置 信息的多個(gè)像素的每個(gè)像素進(jìn)行并行計(jì)算，并計(jì)算對(duì)應(yīng)于所述多個(gè)像素的像 素值。
9. 根據(jù)權(quán)利要求6的處理圖像的方法，其中，所述圖像處理裝置還包括相對(duì)位置復(fù)制處理部分，以及 所述像素相對(duì)位置計(jì)算的步驟僅部分地對(duì)從組成所述運(yùn)動(dòng)補(bǔ)償圖像的像素中選擇的處理像素來計(jì)算與所述參考圖像的參考像素的像素位置的相對(duì)位置，所述相對(duì)位置量化的步驟進(jìn)行與所述處理像素相對(duì)應(yīng)的所述相對(duì)位置信 息的量化處理，其中所述處理像素的相對(duì)位置是由所述像素相對(duì)位置計(jì)算部 分所計(jì)算的，所述相對(duì)位置復(fù)制處理部分對(duì)于不計(jì)算其量化后相對(duì)位置的非處理像素 進(jìn)行與所述處理像素相同的量化后相對(duì)位置的設(shè)置處理，其中計(jì)算了所述處 理像素的量化后相對(duì)位置，以及所述運(yùn)動(dòng)補(bǔ)償圖像生成的步驟通過基于從所述相對(duì)位置復(fù)制處理部分輸 入的所述量化后相對(duì)位置信息和所述參考像素的像素值而計(jì)算所述運(yùn)動(dòng)補(bǔ)償 圖像的所述組成像素的像素值，來生成運(yùn)動(dòng)補(bǔ)償圖像。
10. 根據(jù)權(quán)利要求6到9的任意一項(xiàng)的處理圖像的方法，其中，所述像素相對(duì)位置計(jì)算的步驟基于作為被包括在圖像幀中的多個(gè) 塊共同的運(yùn)動(dòng)向量的全局運(yùn)動(dòng)向量(GMV)來計(jì)算在組成所述運(yùn)動(dòng)補(bǔ)償圖像 的像素的像素位置與所述參考圖像的參考像素的像素位置之間的相對(duì)位置， 其中所述參考圖像的參考像素用于計(jì)算所述像素的像素值。
11. 一種計(jì)算機(jī)程序，用于使得圖像處理裝置生成運(yùn)動(dòng)補(bǔ)償(MC)圖像， 所述計(jì)算機(jī)程序包括步驟像素相對(duì)位置計(jì)算，使得像素相對(duì)位置計(jì)算部分基于運(yùn)動(dòng)向量信息來計(jì) 算在組成所述運(yùn)動(dòng)補(bǔ)償圖像的像素的像素位置與參考圖像的參考像素的像素 位置之間的相對(duì)位置，其中所述參考圖像的參考像素用于計(jì)算所述像素的像素值；相對(duì)位置量化，使得相對(duì)位置量化部分進(jìn)行由所述像素相對(duì)位置計(jì)算部 分計(jì)算的相對(duì)位置信息的量化處理，并生成量化后相對(duì)位置信息；以及運(yùn)動(dòng)補(bǔ)償圖像生成，使得運(yùn)動(dòng)補(bǔ)償圖像生成部分通過基于所述量化后相 對(duì)位置信息和所述參考像素的像素值而計(jì)算所述運(yùn)動(dòng)補(bǔ)償圖像的組成像素的 像素值，來生成所述運(yùn)動(dòng)補(bǔ)償圖像。
全文摘要
在此提供了圖像處理裝置、圖像處理方法和計(jì)算機(jī)程序。用于生成運(yùn)動(dòng)補(bǔ)償圖像的圖像處理裝置包括像素相對(duì)位置計(jì)算部分，基于運(yùn)動(dòng)向量信息來計(jì)算在組成所述運(yùn)動(dòng)補(bǔ)償圖像的像素的像素位置與參考圖像的參考像素的像素位置之間的相對(duì)位置，其中參考圖像的參考像素用于計(jì)算所述像素的像素值；相對(duì)位置量化部分，進(jìn)行由所述像素相對(duì)位置計(jì)算部分計(jì)算的相對(duì)位置信息的量化處理，并生成量化后相對(duì)位置信息；以及運(yùn)動(dòng)補(bǔ)償圖像生成部分，通過基于所述量化后相對(duì)位置信息和所述參考像素的像素值而計(jì)算運(yùn)動(dòng)補(bǔ)償圖像的組成像素的像素值，來生成運(yùn)動(dòng)補(bǔ)償圖像。
文檔編號(hào)H04N7/26GK101383897SQ20081021281
公開日2009年3月11日 申請(qǐng)日期2008年9月5日 優(yōu)先權(quán)日2007年9月5日
發(fā)明者名云武文, 市橋英之 申請(qǐng)人:索尼株式會(huì)社