專(zhuān)利名稱(chēng)：用于圖像處理的裝置和方法、以及計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于圖像處理的裝置和方法、以及計(jì)算機(jī)程序，并且尤其涉 及用于檢測(cè)圖像中的運(yùn)動(dòng)矢量的圖像處理裝置和方法、以及計(jì)算機(jī)程序。
背景技術(shù)：
在如運(yùn)動(dòng)圖像壓縮的圖像編碼中，檢測(cè)運(yùn)動(dòng)矢量并且基于運(yùn)動(dòng)矢量信息
執(zhí)行數(shù)據(jù)壓縮。例如，根據(jù)已知為圖像編碼系統(tǒng)的MPEG系統(tǒng)，執(zhí)行用于將 每幀分割成各塊并且使用基準(zhǔn)幀的相應(yīng)塊檢測(cè)當(dāng)前幀的每塊中的運(yùn)動(dòng)矢量的 處理。然而，當(dāng)各塊單元中的運(yùn)動(dòng)矢量信息包括在壓縮數(shù)據(jù)中時(shí)，數(shù)據(jù)量增 加。當(dāng)相才幾通過(guò)例如搖鏡頭(panning)或傾斜動(dòng)作或手運(yùn)動(dòng)而纟皮移動(dòng)時(shí)，各 個(gè)塊的運(yùn)動(dòng)矢量基本是相同的。在此情況下，設(shè)置與一幀相關(guān)聯(lián)的單個(gè)運(yùn)動(dòng) 矢量代替每塊的運(yùn)動(dòng)矢量，并且使用以此方式獲得的運(yùn)動(dòng)矢量執(zhí)行編碼處理， 使得數(shù)據(jù)量可以減少。
每塊的運(yùn)動(dòng)矢量被稱(chēng)為局部運(yùn)動(dòng)矢量(LMV),而與一幀相關(guān)聯(lián)的運(yùn)動(dòng) 矢量被稱(chēng)為全局運(yùn)動(dòng)矢量(GMV)。在例如MPEG-4中利用使用全局運(yùn)動(dòng)矢 量的數(shù)據(jù)編碼。
例如，如圖1A所示，假設(shè)存在兩個(gè)圖像幀，即在時(shí)間tO捕獲的圖像幀 10和在時(shí)間tl捕獲的圖像幀11。在相機(jī)由于搖^鏡頭或傾斜動(dòng)作或手運(yùn)動(dòng)而 被移動(dòng)時(shí)捕獲這兩幀。如圖所示，捕獲的圖像完全偏移。
通常，為了編碼這些圖像，每幀被分割為多塊，每塊包括例如nxn像素 的矩陣，檢測(cè)每塊的運(yùn)動(dòng)矢量(MV)(即，局部運(yùn)動(dòng)矢量)，并且使用各個(gè)塊 的運(yùn)動(dòng)矢量執(zhí)行數(shù)據(jù)壓縮和解壓縮。然而，如圖1B所示，如果通過(guò)搖鏡頭或 傾斜動(dòng)作或手運(yùn)動(dòng)而移動(dòng)相機(jī)，則各個(gè)塊的運(yùn)動(dòng)矢量基本相同。
在此情況下，使用如圖1C所示的描述整體圖像的運(yùn)動(dòng)的一個(gè)運(yùn)動(dòng)矢量 21執(zhí)行圖像編碼。因此，可以顯著提高編碼效率。這種表示整體圖像的運(yùn)動(dòng) 的矢量被稱(chēng)為全局運(yùn)動(dòng)矢量。
全局運(yùn)動(dòng)矢量可以使用多個(gè)參數(shù)表示為描述如圖1C所示的簡(jiǎn)單平移
(translation )、旋轉(zhuǎn)、放大、縮小、仿射變換、或才殳影變換的數(shù)據(jù)。如上所 述，在MPEG-4中利用使用全局運(yùn)動(dòng)矢量的編碼。
MPEG-4使用應(yīng)用全局運(yùn)動(dòng)矢量并且使用全局運(yùn)動(dòng)補(bǔ)償(GMC)作為標(biāo) 準(zhǔn)的圖像編碼技術(shù)。編碼器檢測(cè)全局運(yùn)動(dòng)矢量，而解碼器利用使用接收的全 局運(yùn)動(dòng)矢量的全局運(yùn)動(dòng)補(bǔ)償執(zhí)行解碼。
全局運(yùn)動(dòng)矢量表示為描述當(dāng)前幀中的像素位置(x, y)和圖2所示的作為平 移、旋轉(zhuǎn)、放大、縮小、仿射變換、或投影變換的基準(zhǔn)幀中的相應(yīng)像素位置 (x'，y')之間關(guān)系的數(shù)據(jù)。通常，分配單個(gè)全局運(yùn)動(dòng)矢量給一個(gè)圖像幀。 一幀可 以分割為多段(segment),每段具有大于例如正常塊的大小，并且可以為每 段設(shè)置全局運(yùn)動(dòng)矢量。換句話說(shuō)，每個(gè)圖像幀的全局運(yùn)動(dòng)矢量的數(shù)目不限于 一。單個(gè)全局運(yùn)動(dòng)矢量可以設(shè)置為包括在單個(gè)圖像幀中的多個(gè)塊公用的運(yùn)動(dòng) 矢量，并且可以為單個(gè)圖像幀設(shè)置多個(gè)全局運(yùn)動(dòng)矢量。
當(dāng)全局運(yùn)動(dòng)矢量例如只描述平移(平行位移)時(shí)，該矢量使用兩個(gè)參數(shù) [a0, a,]表示如下。
x'=x+a0
描述具有旋轉(zhuǎn)的平移(平行位移)的全局運(yùn)動(dòng)矢量使用三個(gè)參數(shù)[ao， a,, a2] 表示如下。
x'=sina0x-cosaoy+a2
y'=co sa0x+sinaoy+a i
描述仿射變換的全局運(yùn)動(dòng)矢量使用六個(gè)參數(shù)[ao, al5 a2, a3, a4， 35]表示如下。
x'=aoX-aiy+a2 y'=a3x+a4y+a5
描述投影變換的全局運(yùn)動(dòng)矢量使用八個(gè)參數(shù)[ao, a,, a2, a3， a4, a5， a6， 37]表 示如下。
x'=((a0x+a1y+a2)/(a6x+a7y+1))
y'=((a3x+a4y+a5)/(a6x+a7y+1))
為了從運(yùn)動(dòng)圖像幀獲得全局運(yùn)動(dòng)矢量，如圖2所示使用當(dāng)前幀和基準(zhǔn)幀
執(zhí)行處理。存在一些用于獲得全局運(yùn)動(dòng)矢量的技術(shù)。根據(jù)一個(gè)技術(shù)，獲得每 塊的局部運(yùn)動(dòng)矢量，然后使用各局部運(yùn)動(dòng)矢量獲得全局運(yùn)動(dòng)矢量。這種技術(shù)
于在IEEE Transactions on Consumer Electronics, Vol. 52， No. 2, 2006年5月中公開(kāi)。
根據(jù)該技術(shù)，獲得每塊的局部運(yùn)動(dòng)矢量，從與各個(gè)塊相關(guān)聯(lián)的各局部運(yùn) 動(dòng)矢量中選擇具有高可靠性的各局部運(yùn)動(dòng)矢量，并且基于選擇的具有高可靠 性的各局部運(yùn)動(dòng)矢量獲得全局運(yùn)動(dòng)矢量。
例如，假設(shè)獲得與p塊相關(guān)聯(lián)的p個(gè)局部運(yùn)動(dòng)矢量，并且從p個(gè)局部運(yùn) 動(dòng)矢量選擇具有高可靠性的q個(gè)局部運(yùn)動(dòng)矢量?；诰哂懈呖煽啃缘膓個(gè)局 部運(yùn)動(dòng)矢量而不使用具有低可靠性的另外(p-q)個(gè)局部運(yùn)動(dòng)矢量，獲得單個(gè) 全局運(yùn)動(dòng)矢量。
對(duì)于有關(guān)局部運(yùn)動(dòng)矢量的可靠性的信息，例如使用了指示是否在當(dāng)前幀 和基準(zhǔn)幀之間的匹配塊中獲得清楚的特征匹配信息的信息。對(duì)于用于基于具 有高可靠性的各局部運(yùn)動(dòng)矢量獲得單個(gè)全局運(yùn)動(dòng)矢量的技術(shù)，例如可以使用 最小平方的方法。
這種用于使用各局部運(yùn)動(dòng)矢量得到全局運(yùn)動(dòng)矢量的技術(shù)可以執(zhí)行為相關(guān) 技術(shù)的局部運(yùn)動(dòng)矢量估計(jì)的擴(kuò)展。有利地，可以使用已有的各組件。然而， 當(dāng)具有高可靠性的局部運(yùn)動(dòng)矢量的數(shù)量小時(shí)，全局運(yùn)動(dòng)矢量的可靠性顯著降 低。
發(fā)明內(nèi)容
考慮到上述問(wèn)題做出了本發(fā)明。期望提供一種即使在具有高可靠性的局 部運(yùn)動(dòng)矢量的數(shù)量小時(shí)、也能夠使用局部運(yùn)動(dòng)矢量獲得全局運(yùn)動(dòng)矢量而不顯 著降低全局運(yùn)動(dòng)矢量的可靠性的圖像處理裝置和方法、以及計(jì)算機(jī)程序。
根據(jù)本發(fā)明的第一實(shí)施例， 一種圖像處理裝置包括以下元件。局部運(yùn)動(dòng) 矢量估計(jì)單元估計(jì)與每個(gè)塊相關(guān)聯(lián)的運(yùn)動(dòng)矢量作為局部運(yùn)動(dòng)矢量，各塊用作 構(gòu)成運(yùn)動(dòng)圖像的圖像幀的各段。塊權(quán)重計(jì)算單元計(jì)算塊權(quán)重作為與每塊相關(guān) 聯(lián)的局部運(yùn)動(dòng)矢量的可靠性的指標(biāo)。全局運(yùn)動(dòng)矢量估計(jì)單元接收各局部運(yùn)動(dòng) 矢量和各塊權(quán)重，以便估計(jì)作為包括在圖像幀中的各塊公用的運(yùn)動(dòng)矢量的全 局運(yùn)動(dòng)矢量。全局運(yùn)動(dòng)矢量估計(jì)單元配置為計(jì)算與各個(gè)塊相關(guān)聯(lián)的各局部運(yùn)
動(dòng)矢量與全局運(yùn)動(dòng)矢量之間的差、與分配給經(jīng)歷差計(jì)算的各個(gè)塊的塊權(quán)重的 乘積的和作為成本(cost)，計(jì)算最小化該成本的全局運(yùn)動(dòng)矢量的各配置參數(shù)，
并且生成其中設(shè)置計(jì)算的參數(shù)的全局運(yùn)動(dòng)矢量。
在該實(shí)施例中，塊權(quán)重計(jì)算單元可以配置為基于不同的數(shù)據(jù)元素獲得多 個(gè)塊相關(guān)的權(quán)重?cái)?shù)據(jù)元素，并且基于各塊相關(guān)的權(quán)重?cái)?shù)據(jù)元素計(jì)算與每塊相 關(guān)聯(lián)的塊權(quán)重。
在該實(shí)施例中，塊權(quán)重計(jì)算單元可以配置為基于不同的數(shù)據(jù)元素獲得多 個(gè)塊相關(guān)的權(quán)重?cái)?shù)據(jù)元素，并且計(jì)算各塊相關(guān)的權(quán)重?cái)?shù)據(jù)元素的乘積作為與 每塊相關(guān)聯(lián)的塊權(quán)重。
在該實(shí)施例中，塊權(quán)重計(jì)算單元可以使用以下各值的至少一個(gè)執(zhí)行用于
計(jì)算塊權(quán)重的處理，各值包括(a)與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量的大小、(b) 與每塊相關(guān)聯(lián)的絕對(duì)差的和、(c)與每塊相關(guān)聯(lián)的各像素值的方差、(d)從 與處理目標(biāo)幀的每塊相關(guān)聯(lián)的各像素值和與基準(zhǔn)幀的相應(yīng)塊相關(guān)聯(lián)的各像素 值獲得的協(xié)方差、(e)與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量和與鄰近該塊的各塊相 關(guān)聯(lián)的局部運(yùn)動(dòng)矢量之間的相關(guān)、以及(f)從與處理目標(biāo)幀的每塊相關(guān)聯(lián)的 各像素值和與基準(zhǔn)幀的相應(yīng)塊相關(guān)聯(lián)的各像素值獲得的相關(guān)系數(shù)。
在該實(shí)施例中，全局運(yùn)動(dòng)矢量估計(jì)單元可以配置為接收各局部運(yùn)動(dòng)矢量 和各塊權(quán)重，并且估計(jì)與圖像幀相關(guān)聯(lián)的單個(gè)全局運(yùn)動(dòng)矢量作為包括在該圖 像幀中的所有塊公用的運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明的第二實(shí)施例，提供一種用于在圖像處理裝置中執(zhí)行運(yùn)動(dòng)矢 量檢測(cè)的圖像處理方法。該方法包括以下各步驟(A)估計(jì)與每個(gè)塊相關(guān)聯(lián) 的運(yùn)動(dòng)矢量作為局部運(yùn)動(dòng)矢量，各塊用作構(gòu)成運(yùn)動(dòng)圖像的圖像幀的各段；(B) 計(jì)算塊權(quán)重作為與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量的可靠性的指標(biāo)；以及(C )接 收各局部運(yùn)動(dòng)矢量和各塊權(quán)重，以便估計(jì)作為包括在圖像幀中的各塊公用的 運(yùn)動(dòng)矢量的全局運(yùn)動(dòng)矢量。在步驟(C)中，計(jì)算與各個(gè)塊相關(guān)聯(lián)的各局部運(yùn) 動(dòng)矢量與全局運(yùn)動(dòng)矢量之間的差、與分配給經(jīng)歷差計(jì)算的各個(gè)塊的塊權(quán)重的 乘積的和作為成本，計(jì)算最小化該成本的全局運(yùn)動(dòng)矢量的各配置參數(shù)，并且 生成其中設(shè)置計(jì)算的參數(shù)的全局運(yùn)動(dòng)矢量。
在該實(shí)施例中，優(yōu)選地，在步驟(B)中，基于不同的數(shù)據(jù)元素獲得多 個(gè)塊相關(guān)的權(quán)重?cái)?shù)據(jù)元素，并且基于各塊相關(guān)的權(quán)重?cái)?shù)據(jù)元素計(jì)算與每塊相 關(guān)聯(lián)的塊權(quán)重。
在該實(shí)施例中，優(yōu)選地，在步驟(B)中，基于不同的數(shù)據(jù)元素獲得多 個(gè)塊相關(guān)的權(quán)重?cái)?shù)據(jù)元素，并且計(jì)算各塊相關(guān)的權(quán)重?cái)?shù)據(jù)元素的乘積作為與 每塊相關(guān)聯(lián)的塊權(quán)重。
在該實(shí)施例中，優(yōu)選地，在步驟(B)中，使用以下各值的至少一個(gè)執(zhí) 行用于計(jì)算塊權(quán)重的處理，各值包括(a)與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量的 大小、(b)與每塊相關(guān)聯(lián)的絕對(duì)差的和、(c)與每塊相關(guān)聯(lián)的各像素值的方 差、(d)從與處理目標(biāo)幀的每塊相關(guān)聯(lián)的各像素值和與基準(zhǔn)幀的相應(yīng)塊相關(guān) 聯(lián)的各像素值獲得的協(xié)方差、(e)與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量和與鄰近該 塊的各塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量之間的相關(guān)、以及(f)從與處理目標(biāo)幀的每 塊相關(guān)聯(lián)的各像素值和與基準(zhǔn)幀的相應(yīng)塊相關(guān)聯(lián)的各像素值獲得的相關(guān)系 數(shù)。
根據(jù)該實(shí)施例，優(yōu)選地，在步驟(C)中，接收各局部運(yùn)動(dòng)矢量和各塊 權(quán)重，并且估計(jì)與圖像幀相關(guān)聯(lián)的單個(gè)全局運(yùn)動(dòng)矢量作為包括在該圖像幀中 的所有塊公用的運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明的第三實(shí)施例，提供了一種計(jì)算機(jī)程序，其允許圖像處理裝 置執(zhí)行運(yùn)動(dòng)矢量檢測(cè)。該程序包括各步驟(A)估計(jì)與每個(gè)塊相關(guān)聯(lián)的運(yùn)動(dòng) 矢量作為局部運(yùn)動(dòng)矢量，各塊用作構(gòu)成運(yùn)動(dòng)圖像的圖像幀的各段；(B)計(jì)算 塊權(quán)重作為與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量的可靠性的指標(biāo)；以及(C)接收各 局部運(yùn)動(dòng)矢量和各塊權(quán)重，以便估計(jì)作為包括在圖像幀中的各塊公用的運(yùn)動(dòng) 矢量的全局運(yùn)動(dòng)矢量。在步驟(C)中，計(jì)算與各個(gè)塊相關(guān)聯(lián)的各局部運(yùn)動(dòng)矢 量與全局運(yùn)動(dòng)矢量之間的差、與分配給經(jīng)歷差計(jì)算的各個(gè)塊的塊權(quán)重的乘積 的和作為成本，計(jì)算最小化該成本的全局運(yùn)動(dòng)矢量的各配置參數(shù)，并且生成 其中設(shè)置計(jì)算的參數(shù)的全局運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明的該實(shí)施例的計(jì)算機(jī)程序可以被提供到例如通用計(jì)算機(jī)系 統(tǒng)，其能夠執(zhí)行來(lái)自計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和通信介質(zhì)的各種程序代碼。以計(jì) 算機(jī)可讀形式提供該計(jì)算機(jī)程序?qū)崿F(xiàn)根據(jù)逸種計(jì)算機(jī)系統(tǒng)上的程序的處理操 作。
本發(fā)明的其它特征和優(yōu)點(diǎn)從以下基于將在下面描述的本發(fā)明的實(shí)施例和 各附圖的更詳細(xì)描述將變得更明顯。本說(shuō)明中的術(shù)語(yǔ)"系統(tǒng)"指各設(shè)備的邏輯 組，并且每個(gè)用作組件的各設(shè)備不必容納在單個(gè)機(jī)殼中。
根據(jù)本發(fā)明的實(shí)施例，獲得了與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量(LMV)和
作為與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量的可靠性的指標(biāo)的塊權(quán)重，各塊用作構(gòu)成 運(yùn)動(dòng)圖像的圖像幀的各段，并且根據(jù)相應(yīng)的塊權(quán)重設(shè)置每塊的貢獻(xiàn)率，以便
估計(jì)全局運(yùn)動(dòng)矢量(GMV)。為了計(jì)算每塊的塊權(quán)重，使用了來(lái)自各種視角 的指標(biāo)，例如，局部運(yùn)動(dòng)矢量(LMV)的大小、絕對(duì)差的和(SAD)、構(gòu)成 每塊的各像素的像素值的方差、以及從構(gòu)成處理目標(biāo)幀中的每塊的各像素的 像素值和構(gòu)成基準(zhǔn)幀中的相應(yīng)塊的各像素的像素值獲得的協(xié)方差。有利地， 可以獲得具有高可靠性的全局運(yùn)動(dòng)矢量(GMV)。
圖1A到1C是解釋全局運(yùn)動(dòng)矢量的圖;
圖2是解釋全局運(yùn)動(dòng)矢量和當(dāng)前和基準(zhǔn)幀中的各點(diǎn)之間的關(guān)系的圖，各 點(diǎn)相互對(duì)應(yīng)；
圖3A和3B是解釋用于在根據(jù)本發(fā)明實(shí)施例的圖像處理裝置中導(dǎo)出全局 運(yùn)動(dòng)矢量的技術(shù)的概要的圖4是圖示在根據(jù)本發(fā)明實(shí)施例的圖像處理裝置中設(shè)置的全局運(yùn)動(dòng)矢量 生成機(jī)制的結(jié)構(gòu)的圖5是解釋塊權(quán)重計(jì)算單元的詳細(xì)結(jié)構(gòu)和處理的圖6是解釋基于LMV的權(quán)重計(jì)算表的結(jié)構(gòu)的圖，基于LMV的權(quán)重計(jì)算 部分使用該基于LMV的權(quán)重計(jì)算表以便計(jì)算基于LMV的權(quán)重；
圖7A是由基于LMV的權(quán)重計(jì)算部分執(zhí)行的處理的流程圖7B是解釋設(shè)置基于LMV的權(quán)重的示例的圖8A是由基于殘差(residual)的權(quán)重計(jì)算部分執(zhí)行的處理的流程圖； 圖8B是解釋設(shè)置基于殘差的權(quán)重的示例的圖9A是由基于方差(variance)的權(quán)重計(jì)算部分執(zhí)行的處理的流程圖9B是解釋該處理的圖9C是解釋設(shè)置基于方差的權(quán)重的示例的圖10A是由基于協(xié)方差(covariance )的權(quán)重計(jì)算部分執(zhí)行的處理的流程
圖IOB是解釋該處理的圖IOC是解釋設(shè)置基于協(xié)方差的權(quán)重的示例的圖11A是用于計(jì)算基于相關(guān)系數(shù)的權(quán)重的處理的流程圖IIB是解釋設(shè)置基于相關(guān)系數(shù)的權(quán)重的示例的圖12A是由基于LMV相關(guān)的權(quán)重計(jì)算部分執(zhí)行的處理的流程圖12B是解釋該處理的圖12C是解釋設(shè)置基于LMV相關(guān)的權(quán)重的示例的圖； 圖13A和13B是解釋通過(guò)全局運(yùn)動(dòng)矢量估計(jì)單元獲得全局運(yùn)動(dòng)矢量的處 理的圖；以及
圖14是顯示根據(jù)本發(fā)明實(shí)施例的圖像處理裝置的硬件配置的示例的圖。
具體實(shí)施例方式
將參照附圖詳細(xì)描述根據(jù)本發(fā)明實(shí)施例的圖像處理裝置、其圖像處理方 法、及其計(jì)算機(jī)程序
根據(jù)本發(fā)明實(shí)施例的圖像處理裝置輸入運(yùn)動(dòng)圖像數(shù)據(jù)，并且執(zhí)行用于獲 得與該運(yùn)動(dòng)圖像數(shù)據(jù)相關(guān)聯(lián)的全局運(yùn)動(dòng)矢量的處理。具體地，根據(jù)本實(shí)施例 的圖像處理裝置首先獲得每塊的局部運(yùn)動(dòng)矢量，并且使用該局部運(yùn)動(dòng)矢量獲 得全局運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明，為與局部運(yùn)動(dòng)矢量相關(guān)聯(lián)的每塊設(shè)置可靠性，定義對(duì)應(yīng)于 該可靠性的權(quán)重，并且考慮各個(gè)局部運(yùn)動(dòng)矢量的權(quán)重獲得全局運(yùn)動(dòng)矢量。
現(xiàn)在將參照?qǐng)D3A和3B描述用于在根據(jù)本實(shí)施例的圖像處理裝置中取得 全局運(yùn)動(dòng)矢量的技術(shù)的概要。圖3A是解釋上述相關(guān)技術(shù)的圖，而圖3B是解 釋根據(jù)本發(fā)明的實(shí)施例的技術(shù)的圖。
根據(jù)圖3A中所示的技術(shù)，獲得與通過(guò)分割一個(gè)圖像幀獲得的p塊相關(guān) 聯(lián)的p個(gè)局部運(yùn)動(dòng)矢量，從該p個(gè)局部運(yùn)動(dòng)矢量中選擇具有高可靠性的q個(gè) 局部運(yùn)動(dòng)矢量，并且基于具有高靠性的q個(gè)局部運(yùn)動(dòng)矢量而不使用其它(p-q) 個(gè)具有低可靠性的局部運(yùn)動(dòng)矢量獲得單個(gè)全局運(yùn)動(dòng)矢量。對(duì)于指示局部運(yùn)動(dòng) 矢量的可靠性的信息，使用指示是否在例如當(dāng)前幀和基準(zhǔn)幀之間的塊匹配中 獲得清楚的特征匹配信息的信息。對(duì)于用于基于具有高可靠性的各局部運(yùn)動(dòng) 矢量獲得單個(gè)全局運(yùn)動(dòng)矢量的技術(shù)，例如使用最小平方的方法。
這種用于使用各局部運(yùn)動(dòng)矢量得到全局運(yùn)動(dòng)矢量的技術(shù)可以執(zhí)行為相關(guān) 技術(shù)的局部運(yùn)動(dòng)矢量估計(jì)的擴(kuò)展。有利地，可以使用已有的各組件。然而， 當(dāng)具有高可靠性的局部運(yùn)動(dòng)矢量的數(shù)量小時(shí)，全局運(yùn)動(dòng)矢量的可靠性顯著降低。
根據(jù)在圖3B所示的本發(fā)明的實(shí)施例的技術(shù)，獲得與通過(guò)分割一個(gè)圖像 幀獲得的n塊相關(guān)聯(lián)的n個(gè)局部運(yùn)動(dòng)矢量，并且為每塊設(shè)置對(duì)應(yīng)于可靠性的 權(quán)重。此后，考慮各個(gè)局部運(yùn)動(dòng)矢量的權(quán)重獲得全局運(yùn)動(dòng)矢量。
現(xiàn)在將描述根據(jù)本實(shí)施例的技術(shù)的具體示例。當(dāng)全局運(yùn)動(dòng)矢量只描述例 如平移(平行位移)時(shí)，使用兩個(gè)參數(shù)[ao， a,]將當(dāng)前幀圖像中的坐標(biāo)(x, y)基 準(zhǔn)圖像中的相應(yīng)坐標(biāo)(x', y')之間的關(guān)系表示為如所述的以下表達(dá)式1 。
<formula>formula see original document page 12</formula>對(duì)于在圖3B所示的圖像幀中的指示在n的任何塊，當(dāng)局部運(yùn)動(dòng)矢量 [LMVn]在局部運(yùn)動(dòng)矢量[LMVn]氣MVXn, MVYn)的條件下只描述平移(平行位 移)時(shí)，在當(dāng)前幀圖像中的塊[n]的坐標(biāo)(Xn, yn)和基準(zhǔn)圖像中的相應(yīng)塊[n]的坐
標(biāo)(U。， Vj之間的關(guān)系由以下表達(dá)式2表示。
<formula>formula see original document page 12</formula>當(dāng)塊的數(shù)目是例如p時(shí)，設(shè)置與p個(gè)局部運(yùn)動(dòng)矢量相關(guān)聯(lián)的關(guān)系表達(dá)式 [LMV]=(MVXn， MVYn)。
與一個(gè)幀圖像相關(guān)聯(lián)的全局運(yùn)動(dòng)矢量和包括在該幀中的塊[n]的局部運(yùn) 動(dòng)矢量[LMVn]之間的差[en]由如下表達(dá)式3定義。
<formula>formula see original document page 12</formula>使用與每塊[n]相關(guān)聯(lián)的矢量差[ej和為塊[n]設(shè)置的權(quán)重[Wn]根據(jù)以下表 達(dá)式4計(jì)算全局運(yùn)動(dòng)矢量成本(GMV成本)[Q]。
<formula>formula see original document page 12</formula>
獲得最小化由上面的表達(dá)式4計(jì)算的GMV成本[Q]的兩個(gè)參數(shù)[ao, a,]。 獲得的參數(shù)[ao, a,]用于確定如下由前述表達(dá)式1表示的上述全局運(yùn)動(dòng)矢量 x'=x+ao y'=y+ai
對(duì)于根據(jù)上面的表達(dá)式3和4獲得最小化成本[Q]的參數(shù)[a。， aj的處理， 該處理使用基于與各個(gè)塊相關(guān)聯(lián)的權(quán)重的最小平方的方法。
在上述處理示例中，全局運(yùn)動(dòng)矢量只描述平移(平行位移)，并且獲得兩 個(gè)參數(shù)[ao，a,]。如上所示，全局運(yùn)動(dòng)矢量可以設(shè)置為包含平移、旋轉(zhuǎn)、放大、 縮小、仿射變換、或投影變換的信息。參數(shù)的數(shù)目根據(jù)設(shè)置變化。在此情況
中的每塊[n]的局部運(yùn)動(dòng)矢量[LMV丄基于與各個(gè)塊相關(guān)聯(lián)的權(quán)重獲得最小化 GMV成本[Q]的參數(shù)[ao, ah a2, a3,...],并且使用該參數(shù)確定全局運(yùn)動(dòng)矢量。
現(xiàn)在將參照?qǐng)D4和5詳細(xì)描述根據(jù)本發(fā)明的實(shí)施例獲得全局運(yùn)動(dòng)矢量的 處理。圖4圖示了在根據(jù)本實(shí)施例的圖像處理裝置中設(shè)置的全局運(yùn)動(dòng)矢量 (GMV)生成機(jī)制的結(jié)構(gòu)。輸入當(dāng)前幀圖像和基準(zhǔn)幀圖像，并且輸出全局運(yùn) 動(dòng)矢量。
如圖4中所示，在根據(jù)本實(shí)施例的圖像處理裝置中設(shè)置的全局運(yùn)動(dòng)矢量 生成機(jī)制包括局部運(yùn)動(dòng)矢量估計(jì)單元(LME) 101、塊權(quán)重計(jì)算單元102、 以及全局運(yùn)動(dòng)矢量估計(jì)單元(GME) 103。
局部運(yùn)動(dòng)矢量估計(jì)單元101接收當(dāng)前幀圖像和基準(zhǔn)幀圖像，以便估計(jì)與 通過(guò)分割一幀獲得的每塊相關(guān)聯(lián)的運(yùn)動(dòng)矢量，即局部運(yùn)動(dòng)矢量(LMV)。對(duì) 于用在局部運(yùn)動(dòng)矢量估計(jì)單元101中的處理，使用公知處理(例如塊匹配) 來(lái)估計(jì)與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量。
由局部運(yùn)動(dòng)矢量估計(jì)單元101獲得的每個(gè)局部運(yùn)動(dòng)矢量輸入到塊權(quán)重計(jì) 算單元102和全局運(yùn)動(dòng)矢量估計(jì)單元103。
另外，經(jīng)歷運(yùn)動(dòng)補(bǔ)償(MC)和最小殘差(SAD:絕對(duì)差的和)的運(yùn)動(dòng)補(bǔ) 償圖像被提供到塊權(quán)重計(jì)算單元102。當(dāng)在局部運(yùn)動(dòng)矢量估計(jì)單元101中估 計(jì)局部運(yùn)動(dòng)矢量時(shí)，生成運(yùn)動(dòng)補(bǔ)償(MC)圖像。最小殘差(SAD)用作涉及 當(dāng)前圖像幀中的塊的像素信息元素和涉及基準(zhǔn)圖像幀中相應(yīng)塊的像素信息元 素之間的差的絕對(duì)值的和。
塊權(quán)重計(jì)算單元102為在當(dāng)前幀中設(shè)置的每塊計(jì)算權(quán)重?，F(xiàn)在將參照?qǐng)D 5描述塊權(quán)重計(jì)算單元102的詳細(xì)結(jié)構(gòu)和處理。
參照?qǐng)D5，塊權(quán)重計(jì)算單元102包括塊方差計(jì)算部分211、圖像間協(xié)方 差計(jì)算部分212、以及鄰近LMV相關(guān)計(jì)算部分213。塊^L重計(jì)算單元102還
包括以下組件
(a) 基于LMV的權(quán)重計(jì)算部分221;
(b) 基于殘差的權(quán)重計(jì)算部分222;
(c) 基于方差的權(quán)重計(jì)算部分223;
(d) 基于協(xié)方差的權(quán)重計(jì)算部分224;以及
(e) 基于LMV相關(guān)的權(quán)重計(jì)算部分225。 塊權(quán)重計(jì)算單元102還包括乘法部分213。
根據(jù)本實(shí)施例，塊權(quán)重計(jì)算單元102配置為基于通過(guò)上述部分(a)到(e) 獲得的五個(gè)不同的數(shù)據(jù)元素計(jì)算塊權(quán)重，并且將這五個(gè)不同的塊權(quán)重相乘以 獲得最終的塊權(quán)重?，F(xiàn)在將在下面順序描述基于通過(guò)上述部分(a)到(e) 獲得的五個(gè)不同的數(shù)據(jù)元素獲得塊權(quán)重的處理。 (a)基于LMV的權(quán)重計(jì)算部分221
基于LMV的權(quán)重計(jì)算部分221從在圖4中示出的局部運(yùn)動(dòng)矢量估計(jì)單 元(LME) 101接收與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量(LMV)，以便基于接收的 局部運(yùn)動(dòng)矢量計(jì)算權(quán)重。
基于LMV的權(quán)重計(jì)算部分221具有基于LMV的權(quán)重計(jì)算表，并且根據(jù) 該表計(jì)算基于LMV的權(quán)重。圖6圖示基于LMV的權(quán)重計(jì)算表的結(jié)構(gòu)。圖6 的表包含值[LMV"和相應(yīng)的數(shù)據(jù)元素，每個(gè)值[LMV^基于局部運(yùn)動(dòng)矢量的標(biāo) 量(scalar)計(jì)算，每個(gè)相應(yīng)的數(shù)據(jù)元素代表基于LMV的權(quán)重。
在本處理示例中，值[LMV勺是如下獲得。
LMV2=LMVx2+LMVy2 LMVx代表局部運(yùn)動(dòng)矢量(LMV )的x分量，而LMVy代表其y分量。
在圖6所示的基于LMV的權(quán)重計(jì)算表中設(shè)置的權(quán)重范圍從1.0到0.0。 最大權(quán)重是[l.O]。該表是示例。權(quán)重可以設(shè)置在從0.0到l.O的范圍。例如， 權(quán)重可以設(shè)置在從0.5到l.O的范圍。
基于LMV的權(quán)重計(jì)算部分221可以配置為根據(jù)圖7A所示的流程圖計(jì)算 基于LMV的權(quán)重。首先，在步驟S101中，基于局部運(yùn)動(dòng)矢量的水平分量 (LMVx)和垂直分量(LMVy),計(jì)算與從圖4所示的局部運(yùn)動(dòng)矢量估計(jì)單 元101接收的每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量(LMV)的大小[LmvSize]。局部運(yùn) 動(dòng)矢量的大小[LmvSize]通過(guò)以下表達(dá)式5計(jì)算。<formula>formula see original document page 15</formula>(5)
隨后，在步驟S102中，基于在步驟SIOI中獲得的局部運(yùn)動(dòng)矢量的大小 [LmvSize]、根據(jù)預(yù)定變換計(jì)算基于LMV的權(quán)重。例如，根據(jù)圖7B所示的變 換表通過(guò)變換計(jì)算權(quán)重。
如圖7B所示設(shè)置如上所述獲得的基于LMV的權(quán)重，使得局部運(yùn)動(dòng)矢量 的大小[LmvSize]越小，基于LMV的權(quán)重越大，而局部運(yùn)動(dòng)矢量的大小 [LmvSize]越大，基于LMV的權(quán)重越小。在圖7B的設(shè)置示例中，依賴(lài)于局部 運(yùn)動(dòng)矢量的大小[LmvSize]， 4又重以逐級(jí)(stepwise)方式改變。 (b)基于殘差的權(quán)重計(jì)算部分222
基于殘差的權(quán)重計(jì)算部分222從在圖4中示出的局部運(yùn)動(dòng)矢量估計(jì)單元 101接收與每塊相關(guān)聯(lián)的最小殘差(SAD),以便基于該最小殘差(SAD)計(jì) 算權(quán)重?，F(xiàn)在將參照?qǐng)D8A和8B描述該處理。
圖8A是解釋基于最小殘差(SAD)在基于殘差的權(quán)重計(jì)算部分222中 計(jì)算基于最小殘差的權(quán)重(下文中，"基于殘差的權(quán)重")的處理序列的流程 圖。圖8B圖示最小殘差(SAD)和基于殘差的權(quán)重之間的關(guān)系的示例。
如上所述，最小殘差(SAD)是涉及當(dāng)前圖像幀中的塊的像素信息元素 與基準(zhǔn)幀中的相應(yīng)塊的像素信息元素之間的差的絕對(duì)值的和?；跉埐畹臋?quán) 重計(jì)算部分222基于與從圖4所示的局部運(yùn)動(dòng)矢量估計(jì)單元101提供的與每 塊相關(guān)聯(lián)的最小殘差(SAD)、根據(jù)圖8A的流程圖執(zhí)行處理，以便計(jì)算基于 殘差的權(quán)重。
首先，在步驟S201中，基于局部運(yùn)動(dòng)矢量的水平分量(LMVx)和垂直 分量(LMVy )，計(jì)算與從圖4所示的局部運(yùn)動(dòng)矢量估計(jì)單元101提供的每塊 相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量(LMV)的大小[LmvSize]。局部運(yùn)動(dòng)矢量的大小 [LmvSize]通過(guò)前述的表達(dá)式5計(jì)算。
隨后，在步驟S202中，基于在步驟S201中計(jì)算的局部運(yùn)動(dòng)矢量的大小 [LmvSize]、通過(guò)預(yù)定變換計(jì)算基于殘差的權(quán)重。例如，根據(jù)圖8B所示的變 換表通過(guò)變換計(jì)算權(quán)重。
如圖8B所示設(shè)置如上所迷獲得的基于殘差的權(quán)重，使得最小殘差(SAD)
越小，權(quán)重越大，以及最小殘差(SAD)越大，權(quán)重越小。在圖8B的示例中， 1.0的最大權(quán)重分配給預(yù)定值[Tha]或更小的最小殘差(SAD),而0.0的最小 權(quán)重分配給預(yù)定值[Thb]或更大的最小殘差(SAD)。 (c )基于方差的權(quán)重計(jì)算部分223
基于方差的權(quán)重計(jì)算部分223從塊方差計(jì)算部分211接收與當(dāng)前幀的每 塊相關(guān)聯(lián)的塊方差，以便計(jì)算基于該塊方差的權(quán)重(下文中，基于方差的權(quán) 重)。現(xiàn)在將參照9A到9C描述該處理。
圖9A是解釋用于計(jì)算基于方差的權(quán)重的處理序列的流程圖，該處理序 列由塊方差計(jì)算部分2H和基于方差的權(quán)重計(jì)算部分223執(zhí)行。圖9B是解釋 在塊方差計(jì)算部分211中計(jì)算塊方差的處理的圖。圖9C是圖示塊方差和基于 方差的權(quán)重之間的關(guān)系的圖。
首先，圖9A中的流程圖的步驟S301對(duì)應(yīng)于通過(guò)塊方差計(jì)算部分211的 處理。在步驟S301中，輸入當(dāng)前幀圖像，并且計(jì)算與該當(dāng)前幀圖像的每塊相 關(guān)聯(lián)的塊方差[VarBlk]。根據(jù)以下表達(dá)式6計(jì)算該塊方差[VarBlk]:
其中pi代表塊中第i個(gè)像素值,有上劃線的pi代表塊中的各像素值的平均值， 而n代表塊中的像素?cái)?shù)目。
圖9B是解釋在步驟S301中的處理(即，用于在塊方差計(jì)算部分211中 計(jì)算塊方差的處理)的圖。參照?qǐng)D9B，獲得當(dāng)前幀301的處理目標(biāo)塊302中 的像素值[pi]和該塊中的各像素的平均像素值[有上劃線的pi],并且根據(jù)上述 表達(dá)式6計(jì)算塊方差[VarBlk]。
步驟S302中的處理對(duì)應(yīng)于由基于方差的權(quán)重計(jì)算部分223執(zhí)行的處理。 基于方差的權(quán)重計(jì)算部分223接收由塊方差計(jì)算部分211在步驟S301中獲得 的塊方差[VarBlk]，并且基于該塊方差[VarBlk]通過(guò)預(yù)定變換計(jì)算基于方差的 權(quán)重。例如，根據(jù)圖9C中所示的變換通過(guò)變換執(zhí)行權(quán)重計(jì)算。
如圖9C所示，以此方式設(shè)置計(jì)算的基于方差的權(quán)重，使得塊方差越小， 權(quán)重越小，而塊方差越大，權(quán)重越大。在圖9C所示的示例中，依賴(lài)于塊方差 [VarBlk],權(quán)重以逐級(jí)方式改變。(d)基于協(xié)方差的權(quán)重計(jì)算部分224
基于協(xié)方差的權(quán)重計(jì)算部分224從圖像間協(xié)方差計(jì)算部分212接收協(xié)方 差，以便計(jì)算基于協(xié)方差的權(quán)重，該協(xié)方差通過(guò)分析當(dāng)前幀中的塊和運(yùn)動(dòng)補(bǔ) 償(MC)圖像中的相應(yīng)塊來(lái)獲得?，F(xiàn)在將參照IOA、 IOB和IOC描述該處理。
圖IOA是解釋用于計(jì)算基于協(xié)方差的權(quán)重的處理序列的流程圖，該處理 序列由圖像間協(xié)方差計(jì)算部分212和基于協(xié)方差的權(quán)重計(jì)算部分224執(zhí)行。 圖10B是解釋在圖像間協(xié)方差計(jì)算部分212中計(jì)算協(xié)方差的處理的圖。圖10C 是圖示協(xié)方差和基于協(xié)方差的權(quán)重之間的關(guān)系的圖。
首先，圖10A的流程圖中的步驟S401對(duì)應(yīng)于通過(guò)圖像間協(xié)方差計(jì)算部 分212的處理。根據(jù)該處理，輸入當(dāng)前幀圖像和運(yùn)動(dòng)補(bǔ)償(MC)基準(zhǔn)幀圖像， 并且計(jì)算與當(dāng)前幀圖像中的每塊相關(guān)聯(lián)的協(xié)方差[CoVarBlk]。協(xié)方差 [CoVarBlk]通過(guò)以下過(guò)程計(jì)算?，F(xiàn)在將參照?qǐng)DIOB描述該處理。
首先，計(jì)算當(dāng)前幀圖像321中的處理目標(biāo)塊331中各像素[pi]的平均值[有 上劃線的pi]。
隨后，計(jì)算在運(yùn)動(dòng)補(bǔ)償基準(zhǔn)圖像(MC圖像)322中的相應(yīng)塊332中各像 素[qi]的平均值[有上劃線的qi]。
基于這些計(jì)算的值，根據(jù)以下表達(dá)式7獲得協(xié)方差
<formula>formula see original document page 17</formula>
(7)
其中pi代表當(dāng)前幀的塊中第i個(gè)像素值，有上劃線的pi代表當(dāng)前幀的塊中的 各像素值的平均值，qi代表運(yùn)動(dòng)補(bǔ)償基準(zhǔn)圖像(MC圖像)中相應(yīng)塊的第i 個(gè)像素值，有上劃線的qi代表運(yùn)動(dòng)補(bǔ)償基準(zhǔn)圖像(MC圖像)中的各像素值 的平均值，而n代表每塊中的像素?cái)?shù)目。
步驟S402對(duì)應(yīng)于通過(guò)基于協(xié)方差的權(quán)重計(jì)算部分224的處理?；趨f(xié)方 差的權(quán)重計(jì)算部分224接收由圖像間協(xié)方差計(jì)算部分212在步驟S401中獲得 的協(xié)方差[CoVarBlk]，并且基于該協(xié)方差[CoVarBlk]根據(jù)預(yù)定變換計(jì)算基于協(xié) 方差的權(quán)重。例如，根據(jù)在圖10C中所示的變換表通過(guò)變換執(zhí)行權(quán)重計(jì)算。
如例如圖10C所示，以此方式設(shè)置計(jì)算的基于協(xié)方差的權(quán)重，使得協(xié)方 差越小，權(quán)重越小，而協(xié)方差越大，權(quán)重越大。在圖IOC所示的示例中，依
賴(lài)于協(xié)方差[CoVarBlk]，權(quán)重以逐級(jí)方式改變。
在上述處理中，確定協(xié)方差，并且基于協(xié)方差使用變換計(jì)算基于協(xié)方差 的權(quán)重?？商娲兀梢詮纳婕皹?gòu)成當(dāng)前幀圖像的像素值數(shù)據(jù)和涉及構(gòu)成運(yùn) 動(dòng)補(bǔ)償(MC)基準(zhǔn)圖像的相應(yīng)塊的像素值數(shù)據(jù)計(jì)算相關(guān)系數(shù)，并且可以基于 獲得的相關(guān)系數(shù)計(jì)算基于相關(guān)系數(shù)的權(quán)重?，F(xiàn)在將參照?qǐng)D11A和11B描述該 處理。
圖11A是解釋用于從涉及構(gòu)成當(dāng)前幀圖像的每塊的像素值數(shù)據(jù)和涉及構(gòu) 成運(yùn)動(dòng)補(bǔ)償(MC)基準(zhǔn)幀圖像的相應(yīng)塊的像素值數(shù)據(jù)、計(jì)算相關(guān)系數(shù)的處理 序列的流程圖。圖IIB是圖示相關(guān)系數(shù)和基于相關(guān)系數(shù)的權(quán)重之間的關(guān)系的圖。
首先，在圖11A所示的流程圖的步驟S421中，輸入當(dāng)前幀圖像和運(yùn)動(dòng) 補(bǔ)償(MC)基準(zhǔn)幀圖像，并且根據(jù)以下表達(dá)式8，從涉及構(gòu)成當(dāng)前幀圖像的 每塊的數(shù)據(jù)和涉及構(gòu)成運(yùn)動(dòng)補(bǔ)償基準(zhǔn)幀圖像的相應(yīng)塊的數(shù)據(jù)計(jì)算相關(guān)系數(shù)
相關(guān)系數(shù)- , Z"—(8)
其中pi代表當(dāng)前幀的塊中第i個(gè)像素值，有上劃線的pi代表當(dāng)前幀的塊中的 各像素值的平均值，qi代表運(yùn)動(dòng)補(bǔ)償基準(zhǔn)圖像(MC圖像)中相應(yīng)塊的第i 個(gè)像素值，有上劃線的qi代表運(yùn)動(dòng)補(bǔ)償基準(zhǔn)圖像(MC圖像)中的各像素值 的平均值，而n代表每塊中的像素?cái)?shù)目。
在步驟S422中，輸入在步驟S421中獲得的相關(guān)系數(shù)，并且基于該相關(guān) 系數(shù)根據(jù)預(yù)定變換計(jì)算基于相關(guān)系數(shù)的權(quán)重。例如，根據(jù)圖IIB所示的變換 表通過(guò)變換執(zhí)行權(quán)重計(jì)算。
如例如圖11B所示，以此方式設(shè)置計(jì)算的基于相關(guān)系數(shù)的權(quán)重，使得相 關(guān)系數(shù)越小，權(quán)重越小，而相關(guān)系數(shù)越大，權(quán)重越大。在圖11B所示的示例 中，權(quán)重根據(jù)相關(guān)系數(shù)平滑地變化。
(e)基于LMV相關(guān)的權(quán)重計(jì)算部分225
基于LMV相關(guān)的權(quán)重計(jì)算部分225從鄰近LMV相關(guān)計(jì)算部分213接收 與當(dāng)前幀的每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量(LMV)相關(guān)，并且計(jì)算基于LMV 相關(guān)的權(quán)重?，F(xiàn)在將參照?qǐng)D12A和12B描述該處理。
圖12A是解釋用于計(jì)算基于LMV相關(guān)的權(quán)重的處理序列的流程圖，該 處理序列由鄰近LMV相關(guān)計(jì)算部分213和基于LMV相關(guān)的權(quán)重計(jì)算部分
225執(zhí)行。圖12B是解釋用于通過(guò)鄰近LMV相關(guān)計(jì)算部分213計(jì)算與鄰近 LMV的相關(guān)的處理的圖。圖12C是圖示在與鄰近LMV的相關(guān)[LMV一cor]和 基于LMV相關(guān)的權(quán)重之間的關(guān)系的圖。
圖12A中的流程圖的步驟S501對(duì)應(yīng)于通過(guò)鄰近LMV相關(guān)計(jì)算部分213 的處理。根據(jù)該處理，輸入在當(dāng)前幀圖像中的處理目標(biāo)塊的局部運(yùn)動(dòng)矢量和 鄰近該目標(biāo)塊的每塊的局部運(yùn)動(dòng)矢量，并且計(jì)算涉及當(dāng)前幀圖像中的每塊的 LMV相關(guān)[LMV—cor]。
現(xiàn)在將參照?qǐng)D12B描述該處理。計(jì)算當(dāng)前幀圖像551的處理目標(biāo)塊552 中的各像素的像素值的平均值。隨后，使用該平均值和塊中的每個(gè)像素的像 素值，根據(jù)以下表達(dá)式9計(jì)算LMV相關(guān)[LMV—cor]:
<formula>formula see original document page 19</formula>
AveLmvy代表鄰近目標(biāo)塊的各鄰近塊的LMV的平均值(垂直方向)，LMVx 代表目標(biāo)塊LMV (水平方向)，而LMVy代表目標(biāo)塊LMV (垂直方向)。
步驟S502對(duì)應(yīng)于通過(guò)基于LMV相關(guān)的權(quán)重計(jì)算部分225的處理。根據(jù) 該處理，輸入由鄰近LMV相關(guān)計(jì)算部分213在步驟S501中獲得的LMV相 關(guān)[LMV^or]，并且基于該LMV相關(guān)[LMV^or]使用預(yù)定變換計(jì)算基于LMV 相關(guān)的權(quán)重。例如，根據(jù)圖12C所示的變換通過(guò)變換執(zhí)行權(quán)重計(jì)算。
如圖12C所示設(shè)置以此方式獲得的基于LMV相關(guān)的權(quán)重，使得LMV 相關(guān)越小，權(quán)重越大，而LMV相關(guān)越大，權(quán)重越小。在圖12C所示的示例 中，為預(yù)定值[Tha]或更小的LMV相關(guān)設(shè)置1.0的最大權(quán)重，而為預(yù)定值[Thb] 或更大的LMV相關(guān)設(shè)置0.0的最小權(quán)重。
已經(jīng)描述了由圖4所示的全局運(yùn)動(dòng)矢量生成機(jī)制中的塊權(quán)重計(jì)算單元 102執(zhí)行的各處理。換句話說(shuō)，已經(jīng)解釋了由圖5所示的那些權(quán)重計(jì)算部分， 即，(a)基于LMV的權(quán)重計(jì)算部分221; (b )基于殘差的權(quán)重計(jì)算部分222;
(c)基于方差的權(quán)重計(jì)算部分223 (以及塊方差計(jì)算部分211); (d)基于協(xié) 方差的權(quán)重計(jì)算部分224 (以及圖像間協(xié)方差計(jì)算部分212);以及(e)基于 LMV相關(guān)的權(quán)重計(jì)算部分225 (以及鄰近LMV相關(guān)計(jì)算部分213 )執(zhí)行的處理。
如圖5所示，在塊權(quán)重計(jì)算單元102中，那些不同的塊相關(guān)權(quán)重?cái)?shù)據(jù)元 素(a)到(e)被提供給乘法部分231以便計(jì)算最終的塊權(quán)重，并且該塊權(quán) 重被輸出到圖4中所示的全局運(yùn)動(dòng)矢量估計(jì)單元103。
當(dāng)讓[W—Imv]代表由(a )基于LMV的權(quán)重計(jì)算部分221計(jì)算的基于LMV 的權(quán)重，讓[W—sad]是由(b)基于殘差的權(quán)重計(jì)算部分222計(jì)算的基于殘差 的權(quán)重，讓[W—var]代表由(c)基于方差的權(quán)重計(jì)算部分223獲得的基于方 差的權(quán)重，讓[W—cor]是由(d)基于協(xié)方差的權(quán)重計(jì)算部分224計(jì)算的基于 協(xié)方差的權(quán)重，并且讓[W一lmvcor]代表由(e )基于LMV相關(guān)的權(quán)重計(jì)算部 分225獲得的基于LMV相關(guān)的權(quán)重時(shí)，乘法部分231接收這些權(quán)重，以便 根據(jù)以下表達(dá)式10計(jì)算塊權(quán)重<formula>formula see original document page 20</formula>
<formula>formula see original document page 20</formula>
再次參照?qǐng)D4,全局運(yùn)動(dòng)矢量估計(jì)單元103接收由塊權(quán)重計(jì)算單元102 計(jì)算的塊權(quán)重[W一block]、以及由局部運(yùn)動(dòng)矢量估計(jì)單元101計(jì)算的與每塊相 關(guān)聯(lián)的局部運(yùn)動(dòng)矢量，并且基于接收的數(shù)據(jù)元素計(jì)算與該幀相關(guān)聯(lián)的全局運(yùn) 動(dòng)矢量。
現(xiàn)在將參照?qǐng)D13A和13B描述用于在全局運(yùn)動(dòng)矢量估計(jì)單元103中計(jì)算 全局運(yùn)動(dòng)矢量的處理。
全局運(yùn)動(dòng)矢量估計(jì)單元103接收由塊權(quán)重計(jì)算單元102計(jì)算的關(guān)于塊權(quán) 重[W—block]的數(shù)據(jù)，例如圖13A所示的數(shù)據(jù)。該凄t據(jù)基于上述與各個(gè)塊相關(guān) 聯(lián)的不同權(quán)重?cái)?shù)據(jù)元素指示與各個(gè)塊相關(guān)聯(lián)的權(quán)重的計(jì)算的結(jié)果，各個(gè)塊用 作在一幀中設(shè)置的小區(qū)域。換句話說(shuō)，使用由(a)基于LMV的權(quán)重計(jì)算部 分221計(jì)算的基于LMV的權(quán)重[W一lmv]、由(b)基于殘差的權(quán)重計(jì)算部分 222計(jì)算的基于殘差的權(quán)重[W—sad]、由(c)基于方差的權(quán)重計(jì)算部分223 計(jì)算的基于方差的權(quán)重[W一var]、由(d)基于協(xié)方差的權(quán)重計(jì)算部分224計(jì) 算的基于協(xié)方差的權(quán)重[W—cor]、以及由(e)基于LMV相關(guān)的權(quán)重計(jì)算部分 225計(jì)算的基于LMV相關(guān)的權(quán)重[W—lmvcor],根據(jù)以下表達(dá)式計(jì)算分配給每 塊的權(quán)重
<formula>formula see original document page 20</formula> 除圖13A所示的塊權(quán)重外，全局運(yùn)動(dòng)矢量估計(jì)單元103還接收由局部運(yùn) 動(dòng)矢量估計(jì)單元101獲得的與各個(gè)塊相關(guān)聯(lián)的各局部運(yùn)動(dòng)矢量，并且考慮各
個(gè)局部運(yùn)動(dòng)矢量的權(quán)重獲得全局運(yùn)動(dòng)矢量。
現(xiàn)在將參照?qǐng)D13B所示的流程圖描述由全局運(yùn)動(dòng)矢量估計(jì)單元103執(zhí)行 的處理。例如，假設(shè)每個(gè)全局運(yùn)動(dòng)矢量和與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量是只 描述平移的矢量(平行位移)。
最初，在步驟S601中，計(jì)算與構(gòu)成處理目標(biāo)幀的每塊[n]相關(guān)聯(lián)的局部 運(yùn)動(dòng)矢量[LMV。]和全局運(yùn)動(dòng)矢量之間的差[en]。
在全局運(yùn)動(dòng)矢量值描述例如平移(平行位移)的情況下，如上所述，當(dāng) 前幀中的坐標(biāo)(x, y)和基準(zhǔn)幀中的坐標(biāo)(x', y')之間的關(guān)系使用兩個(gè)參數(shù)[ao， a,]
表示為icr下表達(dá)式。
x'=x+ao
當(dāng)與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量[LMVn]只代表平移(平行位移)，并且 局部運(yùn)動(dòng)矢量[LMVn]表示為[LMVn]= (MVXn, MVYJ時(shí)，當(dāng)前幀圖像中的塊[n]
的坐標(biāo)(Xn， yn)和基準(zhǔn)圖像中的相應(yīng)塊[n]的坐標(biāo)(Un, V。)由以下表達(dá)式表示。
un=xn+MVXn vn=yn+MVYn
如上所述，與一幀相關(guān)聯(lián)的全局運(yùn)動(dòng)矢量和包^^在該幀中的塊[n]的局部 運(yùn)動(dòng)矢量[LMVJ之間的差[e。]由以下表達(dá)式11表示。
=I - ("。 + J + (V" - ("1 + J
(11)
在步驟S602中，計(jì)算用作指示塊[n]的塊權(quán)重[Wn]和差[en]的乘積的和的 成本[Q]。換句話說(shuō)，使用通過(guò)上述表達(dá)式11獲得的與每塊[n]相關(guān)聯(lián)的矢量 差[en]和根據(jù)每塊[n]設(shè)置的權(quán)重，根據(jù)以下表達(dá)式12計(jì)算全局運(yùn)動(dòng)矢量成本 (GMV成本)[Q]。200810212814.6
說(shuō)明書(shū)第18/20頁(yè)
<formula>formula see original document page 22</formula>
(12)
隨后，在步驟S603中，計(jì)算最小化通過(guò)上述表達(dá)式12獲得的GMV成 本[Q]的參數(shù)ao到ak。在該示例中，全局運(yùn)動(dòng)矢量只代表平移(平行位移)， 并且使用兩個(gè)參數(shù)ao和a！表示為以下表達(dá)式。
x'=x+ao
y'=y+a1
因?yàn)槭褂眠@兩個(gè)參數(shù)ao和ai通過(guò)上述表達(dá)式表示全局運(yùn)動(dòng)矢量，所以獲 得最小化通過(guò)表達(dá)式12獲得的GMV成本[Q]的兩個(gè)參數(shù)a。和a"
最后，在步驟S604中，使用獲得參數(shù)ao到ak表示的全局運(yùn)動(dòng)矢量確定 為與處理目標(biāo)幀相關(guān)聯(lián)的全局運(yùn)動(dòng)矢量。當(dāng)該矢量只描述平移(平行位移) 時(shí)，使用最小化GMV成本[Q]的兩個(gè)參數(shù)ao和ai根據(jù)以下表達(dá)式確定全局運(yùn) 動(dòng)矢量。
x'=x+ao
y'=y+a1
如上所述，根據(jù)前述表達(dá)式11和12計(jì)算最小化GMV成本[Q]的參數(shù)a0 和a,的處理，考慮分配給各個(gè)塊的權(quán)重利用最小平方的方法。上述處理示例 涉及這種情況，其中全局運(yùn)動(dòng)矢量是只描述平移(平行位移)的矢量，并且 根據(jù)該處理獲得兩個(gè)參數(shù)ao和a"如上所述，全局運(yùn)動(dòng)矢量可以被設(shè)置為包 含平移、旋轉(zhuǎn)、放大、縮小、仿射變換、或投影變換的信息。參數(shù)的數(shù)目依 賴(lài)于設(shè)置變化。在此情況下，計(jì)算與幀相關(guān)聯(lián)的全局運(yùn)動(dòng)矢量和與包括在該 幀中的每塊[n]相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量[LMVJ之間的差[en]，考慮各權(quán)重，為 各個(gè)塊計(jì)算最小化GMV成本[Q]的參數(shù)[a。， ah a2, a3,…]，并且使用計(jì)算的參數(shù) 確定全局運(yùn)動(dòng)矢量。
如上所述，根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置配置來(lái)計(jì)算對(duì)應(yīng)于與每 塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量的可靠性的塊權(quán)重，根據(jù)相應(yīng)的塊權(quán)重設(shè)置與每塊 相關(guān)^:的局部運(yùn)動(dòng)矢量的貢獻(xiàn)率，并且確定全局運(yùn)動(dòng)矢量。因此，可以確定 具有高可靠性的全局運(yùn)動(dòng)矢量，該高可靠性當(dāng)然反映了與各個(gè)塊相關(guān)聯(lián)的局
部運(yùn)動(dòng)矢量的可靠性。
現(xiàn)在將參照?qǐng)D14描述作為用于執(zhí)行上述處理的裝置的硬件配置的示例
的個(gè)人計(jì)算機(jī)的硬件配置。中央處理單元(CPU ) 701根據(jù)存儲(chǔ)在只讀存儲(chǔ)器 (ROM) 702或存儲(chǔ)單元708中的程序執(zhí)行各種處理。例如，CPU 701執(zhí)行 用于確定在上述實(shí)施例中解釋的全局運(yùn)動(dòng)矢量的程序。隨機(jī)存取存儲(chǔ)器 (RAM) 703充分地存儲(chǔ)由CPU 701執(zhí)行的程序和凝:據(jù)。CPU 701、 ROM 702 和RAM 703連接到總線704,使得這些組件相互連接。
CPU701通過(guò)總線704連接到輸入/輸出接口 705。輸入/輸出接口 705連 接到輸入單元706和輸出單元707。輸入單元706包括鍵盤(pán)、鼠標(biāo)和麥克風(fēng)。 輸出單元707包括顯示器和揚(yáng)聲器。CPU 701根據(jù)^A輸入單元706提供的指 令執(zhí)行各種處理，并且將處理的結(jié)果輸出到例如^T出單元707。
連接到輸入/輸出接口 705的存儲(chǔ)單元708包4舌例如硬盤(pán)，并且存儲(chǔ)由 CPU 701執(zhí)行的程序和各種數(shù)據(jù)塊。通信單元709經(jīng)由網(wǎng)絡(luò)(如因特網(wǎng)或局 域網(wǎng))與外部設(shè)備通信。
連接到輸入/輸出接口 705的驅(qū)動(dòng)710驅(qū)動(dòng)可移除介質(zhì)711 (如磁盤(pán)、光
盤(pán)、磁光盤(pán)或半導(dǎo)體存儲(chǔ)器)，并且獲得記錄在介質(zhì)上的程序或數(shù)據(jù)。獲得的
程序或數(shù)據(jù)根據(jù)需要傳輸并且存儲(chǔ)到存儲(chǔ)單元708。
已經(jīng)參照具體實(shí)施例詳細(xì)描述了本發(fā)明。然而，顯而易見(jiàn)的是本領(lǐng)域的
技術(shù)人員可以進(jìn)行實(shí)施例的修改和/或替換而不背離本發(fā)明的精神和范圍。也 就是說(shuō)，只是為了說(shuō)明的目的描述了本發(fā)明的實(shí)施例，并且本說(shuō)明書(shū)的內(nèi)容 不應(yīng)被限制性地理解。為了理解本發(fā)明的范圍，應(yīng)該考慮權(quán)利要求。
在本說(shuō)明書(shū)中解釋的一系列處理可以由硬件、專(zhuān)欠件、或其任何組合來(lái)執(zhí) 行。當(dāng)由軟件執(zhí)行該系列處理時(shí)，包括處理序列的程序可以被安裝到并入專(zhuān) 用硬件的計(jì)算機(jī)的存儲(chǔ)器中，并且被執(zhí)行?？商鎿Q地，程序可以安裝到能夠 執(zhí)行各種功能的多用計(jì)算機(jī)中，并且被執(zhí)行。例如，程序可以被預(yù)存在記錄 介質(zhì)上。程序可以從該記錄介質(zhì)安裝到計(jì)算機(jī)。可替換地，計(jì)算機(jī)可以經(jīng)由 網(wǎng)絡(luò)(如局域網(wǎng)(LAN)或因特網(wǎng))接收程序，并且將程序安裝在記錄介質(zhì) (如內(nèi)置的硬盤(pán))上。
在本說(shuō)明書(shū)中描述的各種處理不但可以以如這里描述的時(shí)間序列的方式 執(zhí)行，而且可以平行地或根據(jù)執(zhí)行各處理的裝置的處理性能、或根據(jù)需要執(zhí) 行。本說(shuō)明書(shū)中的術(shù)語(yǔ)"系統(tǒng)"是設(shè)備的邏輯組，并且每個(gè)用作組件的各設(shè)
備不必容納在單個(gè)才幾殼內(nèi)。 相關(guān)申請(qǐng)的交叉引用
本申請(qǐng)包含涉及于2007年9月5日向日本專(zhuān)利局提交的日本專(zhuān)利申請(qǐng) JP 2007-230053的主題，在此通過(guò)引用并入其全部?jī)?nèi)容。
權(quán)利要求
1. 一種圖像處理裝置，包括:局部運(yùn)動(dòng)矢量估計(jì)單元，其估計(jì)與每個(gè)塊相關(guān)聯(lián)的運(yùn)動(dòng)矢量作為局部運(yùn)動(dòng)矢量，各塊用作構(gòu)成運(yùn)動(dòng)圖像的圖像幀的各段；塊權(quán)重計(jì)算單元，其計(jì)算塊權(quán)重作為與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量的可靠性的指標(biāo)；以及全局運(yùn)動(dòng)矢量估計(jì)單元，其接收各局部運(yùn)動(dòng)矢量和各塊權(quán)重，以便估計(jì)作為包括在圖像幀中的各塊公用的運(yùn)動(dòng)矢量的全局運(yùn)動(dòng)矢量，其中所述全局運(yùn)動(dòng)矢量估計(jì)單元配置為計(jì)算與各個(gè)塊相關(guān)聯(lián)的各局部運(yùn)動(dòng)矢量與全局運(yùn)動(dòng)矢量之間的差、與分配給經(jīng)歷差計(jì)算的各個(gè)塊的塊權(quán)重的乘積的和作為成本，計(jì)算最小化該成本的全局運(yùn)動(dòng)矢量的各配置參數(shù)，并且生成其中設(shè)置了計(jì)算的各參數(shù)的全局運(yùn)動(dòng)矢量。
2. 如權(quán)利要求l所述的裝置，其中所述塊權(quán)重計(jì)算單元配置為基于不同的數(shù)據(jù)元素獲得多個(gè)塊相關(guān)的權(quán)重?cái)?shù)據(jù)元素，并且基于各塊相關(guān)的權(quán)重?cái)?shù)據(jù) 元素計(jì)算與每塊相關(guān)聯(lián)的塊權(quán)重。
3. 如權(quán)利要求l所述的裝置，其中所述塊權(quán)重計(jì)算單元配置為基于不同 的數(shù)據(jù)元素獲得多個(gè)塊相關(guān)的權(quán)重?cái)?shù)據(jù)元素，并且計(jì)算各塊相關(guān)的權(quán)重?cái)?shù)據(jù) 元素的乘積作為與每塊相關(guān)聯(lián)的塊權(quán)重。
4. 如權(quán)利要求l所述的裝置，其中所述塊權(quán)重計(jì)算單元使用以下各值的至少一個(gè)執(zhí)行用于計(jì)算塊權(quán)重的處理(a) 與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量的大?。?b) 與每塊相關(guān)聯(lián)的絕對(duì)差的和；(c) 與每塊相關(guān)聯(lián)的各像素值的方差；(d )從與處理目標(biāo)幀的每塊相關(guān)聯(lián)的各像素值和與基準(zhǔn)幀的相應(yīng)塊相關(guān) 聯(lián)的各像素值獲得的協(xié)方差；(e) 與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量和與鄰近該塊的各塊相關(guān)聯(lián)的局部運(yùn) 動(dòng)矢量之間的相關(guān)；以及(f) 從與處理目標(biāo)幀的每塊相關(guān)聯(lián)的各像素值和與基準(zhǔn)幀的相應(yīng)塊相關(guān) 聯(lián)的各像素值獲得的相關(guān)系數(shù)。
5. 如權(quán)利要求l所述的裝置，其中所述全局運(yùn)動(dòng)矢量估計(jì)單元配置為接收各局部運(yùn)動(dòng)矢量和各塊權(quán)重，并且估計(jì)與圖像幀相關(guān)聯(lián)的單個(gè)全局運(yùn)動(dòng)矢 量作為包括在該圖像幀中的所有塊公用的運(yùn)動(dòng)矢量。
6. —種用于在圖像處理裝置中執(zhí)行運(yùn)動(dòng)矢量檢測(cè)的圖像處理方法，該方 法包括各步驟(A) 估計(jì)與每個(gè)塊相關(guān)聯(lián)的運(yùn)動(dòng)矢量作為局部運(yùn)動(dòng)矢量，各塊用作構(gòu) 成運(yùn)動(dòng)圖像的圖像幀的各段；(B) 計(jì)算塊權(quán)重作為與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量的可靠性的指標(biāo)；以及(C) 接收各局部運(yùn)動(dòng)矢量和各塊權(quán)重，以便估計(jì)作為包括在圖像幀中 的各塊公用的運(yùn)動(dòng)矢量的全局運(yùn)動(dòng)矢量，其中在步驟(C)中，計(jì)算與各個(gè)塊相關(guān)聯(lián)的各局部運(yùn)動(dòng)矢量與全局運(yùn)動(dòng)矢 量之間的差、與分配給經(jīng)歷差計(jì)算的各個(gè)塊的塊權(quán)重的乘積的和作為成本， 計(jì)算最小化該成本的全局運(yùn)動(dòng)矢量的各配置參數(shù)，并且生成其中設(shè)置計(jì)算的 各參數(shù)的全局運(yùn)動(dòng)矢量。
7. 如權(quán)利要求6所述的方法，其中在步驟(B)中，基于不同的數(shù)據(jù)元 素獲得多個(gè)塊相關(guān)的權(quán)重?cái)?shù)據(jù)元素，并且基于各塊相關(guān)的權(quán)重?cái)?shù)據(jù)元素計(jì)算 與每塊相關(guān)聯(lián)的塊權(quán)重。
8. 如權(quán)利要求6所述的方法，其中在步驟(B)中，基于不同的凄t據(jù)元 素獲得多個(gè)塊相關(guān)的權(quán)重?cái)?shù)據(jù)元素，并且計(jì)算各塊相關(guān)的權(quán)重?cái)?shù)據(jù)元素的乘 積作為與每塊相關(guān)聯(lián)的塊權(quán)重。
9. 如權(quán)利要求6所述的方法，其中在步驟(B)中，使用以下各值的至 少一個(gè)執(zhí)行用于計(jì)算塊權(quán)重的處理(a) 與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量的大??；(b) 與每塊相關(guān)聯(lián)的絕對(duì)差的和；(c) 與每塊相關(guān)聯(lián)的各像素值的方差；(d )從與處理目標(biāo)幀的每塊相關(guān)聯(lián)的各像素值和與基準(zhǔn)幀的相應(yīng)塊相關(guān) 聯(lián)的各像素值獲得的協(xié)方差；(e) 與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量和與鄰近該塊的各塊相關(guān)聯(lián)的局部運(yùn) 動(dòng)矢量之間的相關(guān)；以及(f) 從與處理目標(biāo)幀的每塊相關(guān)聯(lián)的各像素值和與基準(zhǔn)幀的相應(yīng)塊相關(guān)聯(lián)的各像素值獲得的相關(guān)系數(shù)。
10. 如權(quán)利要求6所述的方法，其中在步驟(C)中，接收各局部運(yùn)動(dòng) 矢量和各塊權(quán)重，并且估計(jì)與圖像幀相關(guān)聯(lián)的單個(gè)全局運(yùn)動(dòng)矢量作為包括在 該圖像幀中的所有塊公用的運(yùn)動(dòng)矢量。
11. 一種計(jì)算機(jī)程序，其允許圖像處理裝置執(zhí)行運(yùn)動(dòng)矢量檢測(cè)，該程序 包括以下各步驟(A) 估計(jì)與每個(gè)塊相關(guān)聯(lián)的運(yùn)動(dòng)矢量作為局部運(yùn)動(dòng)矢量，各塊用作構(gòu) 成運(yùn)動(dòng)圖像的圖像幀的各段；(B) 計(jì)算塊權(quán)重作為與每塊相關(guān)聯(lián)的局部運(yùn)動(dòng)矢量的可靠性的指標(biāo)；以及(C) 接收各局部運(yùn)動(dòng)矢量和各塊權(quán)重，以便估計(jì)作為包括在圖像幀中 的各塊公用的運(yùn)動(dòng)矢量的全局運(yùn)動(dòng)矢量，其中在步驟(C)中，計(jì)算與各個(gè)塊相關(guān)聯(lián)的各局部運(yùn)動(dòng)矢量與全局運(yùn)動(dòng)矢 量之間的差、與分配給經(jīng)歷差計(jì)算的各個(gè)塊的塊權(quán)重的乘積的和作為成本， 計(jì)算最小化該成本的全局運(yùn)動(dòng)矢量的各配置參數(shù)，并且生成其中設(shè)置計(jì)算的 參數(shù)的全局運(yùn)動(dòng)矢量。<
全文摘要
提供了一種用于圖像處理的裝置和方法、以及計(jì)算機(jī)程序。該圖像處理裝置包括以下元件。局部運(yùn)動(dòng)矢量估計(jì)單元估計(jì)與每個(gè)塊相關(guān)聯(lián)的運(yùn)動(dòng)矢量作為局部運(yùn)動(dòng)矢量，各塊用作構(gòu)成運(yùn)動(dòng)圖像的圖像幀的各段。塊權(quán)重計(jì)算單元計(jì)算塊權(quán)重作為每塊的局部運(yùn)動(dòng)矢量的可靠性的指標(biāo)。全局運(yùn)動(dòng)矢量估計(jì)單元接收各局部運(yùn)動(dòng)矢量和各權(quán)重，以便估計(jì)作為包括在幀中的各塊公用的運(yùn)動(dòng)矢量的全局運(yùn)動(dòng)矢量。全局運(yùn)動(dòng)矢量估計(jì)單元計(jì)算與各個(gè)塊相關(guān)聯(lián)的各局部運(yùn)動(dòng)矢量與全局運(yùn)動(dòng)矢量之間的差、與分配給經(jīng)歷差計(jì)算的各個(gè)塊的塊權(quán)重的乘積的和作為成本，并且計(jì)算最小化該成本的全局運(yùn)動(dòng)矢量的各配置參數(shù)。
文檔編號(hào)H04N5/14GK101383966SQ20081021281
公開(kāi)日2009年3月11日 申請(qǐng)日期2008年9月5日 優(yōu)先權(quán)日2007年9月5日
發(fā)明者名云武文, 市橋英之 申請(qǐng)人:索尼株式會(huì)社