專利名稱：運(yùn)動(dòng)矢量檢測(cè)裝置、運(yùn)動(dòng)矢量處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及運(yùn)動(dòng)矢量檢測(cè)裝置，更具體地，涉及使用塊匹配方法來檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)裝置和運(yùn)動(dòng)矢量的處理方法以及用于促使計(jì)算機(jī)執(zhí)行該方法的程序。

背景技術(shù)：
當(dāng)處理動(dòng)態(tài)畫面時(shí)，執(zhí)行壓縮信息以便減小信息量的圖像編碼處理。在剛才提及的這種圖像編碼處理中，基于形成動(dòng)態(tài)畫面的各幀之間的對(duì)象的運(yùn)動(dòng)矢量來執(zhí)行信息的壓縮。作為用于檢測(cè)運(yùn)動(dòng)矢量的技術(shù)，已經(jīng)提出了塊匹配方法，并且例如將其公開于日本專利特開2004-206638號(hào)(圖1)。根據(jù)該技術(shù)，一幀被分為多個(gè)塊，并且以塊為單元將不同幀的這些塊相互進(jìn)行比較，以便檢測(cè)對(duì)象的運(yùn)動(dòng)矢量。


發(fā)明內(nèi)容
根據(jù)上述的現(xiàn)有技術(shù)，可以使用塊匹配方法來檢測(cè)包含在幀中的對(duì)象的運(yùn)動(dòng)矢量。然而，在背景變化或者多個(gè)移動(dòng)對(duì)象的位置彼此相鄰或處于類似情形的情況下，由于各塊之間的的相關(guān)度較低，因而有時(shí)難以精確地檢測(cè)運(yùn)動(dòng)矢量。
因此，期望提供可以改善運(yùn)動(dòng)矢量的檢測(cè)精度的運(yùn)動(dòng)矢量檢測(cè)裝置和運(yùn)動(dòng)矢量的處理方法以及程序。
根據(jù)本發(fā)明的實(shí)施例，提供了如下的運(yùn)動(dòng)矢量檢測(cè)裝置，其包括基準(zhǔn)亮度值產(chǎn)生部分、有效計(jì)算部分、相關(guān)計(jì)算部分、位置獲取部分和運(yùn)動(dòng)矢量計(jì)算部分。所述基準(zhǔn)亮度值產(chǎn)生部分配置為基于設(shè)置在基準(zhǔn)幀中的基準(zhǔn)塊的各像素中預(yù)定一個(gè)的亮度值，來產(chǎn)生所述基準(zhǔn)塊的基準(zhǔn)亮度值。所述有效計(jì)算部分配置為基于所述基準(zhǔn)塊的各像素的亮度值以及所述基準(zhǔn)亮度值，來計(jì)算所述基準(zhǔn)塊的每個(gè)像素的有效度。所述相關(guān)計(jì)算部分配置為基于所述基準(zhǔn)塊的各像素的亮度值、設(shè)置在參考幀中的與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的多個(gè)參考?jí)K中的各像素的亮度值、以及與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的有效度，來為每個(gè)所述參考?jí)K計(jì)算所述參考?jí)K與所述基準(zhǔn)塊的相關(guān)度。所述位置獲取部分配置為獲取設(shè)置在所述參考幀中的各參考?jí)K的、呈現(xiàn)與所述基準(zhǔn)塊的最高相關(guān)度的那個(gè)參考?jí)K的位置。所述運(yùn)動(dòng)矢量計(jì)算部分配置為基于所述位置獲取部分獲取的所述參考?jí)K的位置以及所述基準(zhǔn)塊的位置來計(jì)算運(yùn)動(dòng)矢量。此外提供了用于所述運(yùn)動(dòng)矢量檢測(cè)裝置的處理方法和用于促使計(jì)算機(jī)執(zhí)行所述處理方法的程序。利用所述運(yùn)動(dòng)矢量檢測(cè)裝置、處理方法和程序，基于與基準(zhǔn)塊的所述各像素位置中的每個(gè)對(duì)應(yīng)的有效度來計(jì)算基準(zhǔn)塊與每個(gè)參考?jí)K之間的相關(guān)度。
所述有效計(jì)算部分可以計(jì)算有效度以使得在基準(zhǔn)亮度值和基準(zhǔn)塊的每個(gè)像素的亮度值之間的差絕對(duì)值低于預(yù)定閾值的情況下，有效度呈現(xiàn)比任何其他情形下的值更高的值。利用所述運(yùn)動(dòng)矢量檢測(cè)裝置，將具有鄰近所述基準(zhǔn)亮度值的亮度值的像素的有效度設(shè)置為比較高的值。在這種情形下，所述有效計(jì)算部分可以計(jì)算有效度以使得在基準(zhǔn)亮度值和基準(zhǔn)塊的每個(gè)像素的亮度值之間的差絕對(duì)值低于該預(yù)定閾值的情況下，有效度呈現(xiàn)固定值。利用所述運(yùn)動(dòng)矢量檢測(cè)裝置，將具有鄰近所述基準(zhǔn)亮度值的亮度值的像素的有效度設(shè)置為固定值。
在所述有效計(jì)算部分計(jì)算有效度以使得在基準(zhǔn)亮度值和基準(zhǔn)塊的每個(gè)像素的亮度值之間的差絕對(duì)值低于預(yù)定閾值時(shí)、有效度呈現(xiàn)比任何其他情形下的值更高的值的情況下，所述有效計(jì)算部分可以計(jì)算有效度以使得在基準(zhǔn)亮度值和基準(zhǔn)塊的每個(gè)像素的亮度值之間的差絕對(duì)值低于預(yù)定閾值的情況下，有效度呈現(xiàn)反比于所述差絕對(duì)值而增大的值。利用所述運(yùn)動(dòng)矢量檢測(cè)裝置，隨著像素的亮度值變得更接近于所述基準(zhǔn)亮度值，所述像素的有效度呈現(xiàn)更高的值。
所述基準(zhǔn)亮度值產(chǎn)生部分可以基于基準(zhǔn)塊中預(yù)定像素的亮度值來產(chǎn)生統(tǒng)計(jì)值，作為基準(zhǔn)亮度值。利用所述運(yùn)動(dòng)矢量檢測(cè)裝置，根據(jù)基準(zhǔn)塊中預(yù)定像素的亮度值計(jì)算統(tǒng)計(jì)值，以便產(chǎn)生基準(zhǔn)亮度值。在該情形下，所述基準(zhǔn)亮度值產(chǎn)生部分可以基于位于基準(zhǔn)塊的中心附近的預(yù)定像素的亮度值來產(chǎn)生統(tǒng)計(jì)值。利用所述運(yùn)動(dòng)矢量檢測(cè)裝置，根據(jù)位于基準(zhǔn)塊的中心附近的預(yù)定像素的亮度值來計(jì)算統(tǒng)計(jì)值，以便產(chǎn)生基準(zhǔn)亮度值。
所述基準(zhǔn)亮度值產(chǎn)生部分可以產(chǎn)生基準(zhǔn)塊中各像素之一的亮度值，作為基準(zhǔn)亮度值。利用所述運(yùn)動(dòng)矢量檢測(cè)裝置，從基準(zhǔn)塊中一個(gè)像素的亮度值產(chǎn)生基準(zhǔn)亮度值。
所述相關(guān)度計(jì)算部分可以基于所述基準(zhǔn)塊的各像素的亮度值、與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的參考?jí)K的各像素的亮度值、以及與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的有效度，來計(jì)算所述參考?jí)K的每個(gè)像素的相關(guān)值，并且對(duì)各像素的值執(zhí)行總和算數(shù)運(yùn)算，以便計(jì)算所述參考?jí)K的相關(guān)度。利用所述運(yùn)動(dòng)矢量檢測(cè)裝置，根據(jù)基準(zhǔn)塊的各像素和與該基準(zhǔn)塊的各像素位置對(duì)應(yīng)的參考?jí)K的各像素之間的相關(guān)值的總和，來計(jì)算參考?jí)K的相關(guān)度。在該情形下，所述相關(guān)度計(jì)算部分可以將所述基準(zhǔn)塊中每個(gè)像素的亮度值和參考?jí)K中的、與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的每個(gè)像素的亮度值之間的差絕對(duì)值乘以與所述基準(zhǔn)塊的像素位置對(duì)應(yīng)的有效度，以便計(jì)算相關(guān)值。利用所述運(yùn)動(dòng)矢量檢測(cè)裝置，將所述基準(zhǔn)塊中每個(gè)像素的亮度值和參考?jí)K中的、與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的每個(gè)像素的亮度值之間的差絕對(duì)值乘以與所述基準(zhǔn)塊的像素位置對(duì)應(yīng)的有效度，以便計(jì)算相關(guān)值。
所述運(yùn)動(dòng)矢量檢測(cè)裝置、處理方法和程序可以實(shí)現(xiàn)可改善運(yùn)動(dòng)矢量的檢測(cè)精度的卓越優(yōu)點(diǎn)。



圖1是示出根據(jù)本發(fā)明第一實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置的功能配置的示例的框圖； 圖2A和圖2B是在基準(zhǔn)(base)幀和參考幀中包括相同的兩個(gè)移動(dòng)物體的情況下、圖示圖1的運(yùn)動(dòng)矢量檢測(cè)裝置對(duì)于運(yùn)動(dòng)矢量的檢測(cè)的示例的示意圖； 圖3A和圖3B是圖示圖1的運(yùn)動(dòng)矢量檢測(cè)裝置的基準(zhǔn)亮度值產(chǎn)生部分產(chǎn)生基準(zhǔn)亮度值的示例的圖解視圖； 圖4是圖示圖1的運(yùn)動(dòng)矢量檢測(cè)裝置的有效度計(jì)算部分對(duì)于有效度的計(jì)算的示例的圖解視圖； 圖5A和圖5B是圖示圖1的運(yùn)動(dòng)矢量檢測(cè)裝置的亮度值差計(jì)算部分所計(jì)算的差絕對(duì)值與加權(quán)計(jì)算部分所計(jì)算的加權(quán)之間的關(guān)系的示例的圖解視圖； 圖6是圖示圖1的運(yùn)動(dòng)矢量檢測(cè)裝置對(duì)于運(yùn)動(dòng)矢量計(jì)算處理的處理過程的流程圖； 圖7是示出根據(jù)本發(fā)明第二實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置的配置的框圖； 圖8是圖示圖7的運(yùn)動(dòng)矢量檢測(cè)裝置所定義的參考幀的檢索區(qū)域的示例的圖解視圖； 圖9是示出圖7的運(yùn)動(dòng)矢量檢測(cè)裝置的檢索范圍產(chǎn)生部分的配置的第一示例的框圖； 圖10是圖示圖7的運(yùn)動(dòng)矢量檢測(cè)裝置非對(duì)稱地定義的參考幀的檢索范圍的示例的圖解視圖； 圖11是在非對(duì)稱地設(shè)置檢索范圍的情況下而示出圖7的運(yùn)動(dòng)矢量檢測(cè)裝置的檢索范圍產(chǎn)生部分的配置的第二示例的框圖； 圖12是示出圖11中所示的檢索范圍產(chǎn)生部分的配置的第二示例的修改的框圖； 圖13是圖示圖7的運(yùn)動(dòng)矢量檢測(cè)裝置的處理方法的處理過程的示例的流程圖； 圖14是示出根據(jù)本發(fā)明第三實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置的配置的示例的框圖； 圖15是圖示圖14的運(yùn)動(dòng)矢量檢測(cè)裝置的分級(jí)檢索方法的示意圖； 圖16是示出根據(jù)本發(fā)明第四實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置的配置的示例的框圖；以及 圖17是示出根據(jù)本實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置中使用的圖像拾取裝置的配置的示例的框圖。

具體實(shí)施例方式 以下結(jié)合本發(fā)明的優(yōu)選實(shí)施例來描述本發(fā)明。以如下順序給出描述 1.第一實(shí)施例(塊匹配計(jì)算控制將有效度應(yīng)用于每個(gè)像素的示例) 2.第二實(shí)施例(運(yùn)動(dòng)矢量檢測(cè)控制向上、向下、向左以及向右控制檢索區(qū)域的示例) 3.第三實(shí)施例(運(yùn)動(dòng)矢量檢測(cè)控制分級(jí)ME(motion estimation，運(yùn)動(dòng)估算))的應(yīng)用的示例) 4.第四實(shí)施例(運(yùn)動(dòng)矢量檢測(cè)控制將有效度應(yīng)用于每個(gè)像素的示例與控制檢索區(qū)域的示例的組合) <1.第一實(shí)施例> [運(yùn)動(dòng)矢量檢測(cè)裝置的功能配置的示例] 圖1示出根據(jù)本發(fā)明第一實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置的功能配置的示例。參考圖1，所示的運(yùn)動(dòng)矢量檢測(cè)裝置100包括基準(zhǔn)幀緩沖器110、基準(zhǔn)塊確定部分120、參考幀緩沖器130、參考?jí)K確定部分140、基準(zhǔn)亮度值產(chǎn)生部分150、有效計(jì)算部分160和塊匹配計(jì)算部分170。
基準(zhǔn)幀緩沖器110將通過信號(hào)線101向其提供的圖像暫存為當(dāng)前幀。該當(dāng)前幀是目前幀(例如，動(dòng)態(tài)畫面)的圖像?；鶞?zhǔn)幀緩沖器110將當(dāng)前幀提供給基準(zhǔn)塊確定部分120。
基準(zhǔn)塊確定部分120確定關(guān)于從基準(zhǔn)幀緩沖器110向其提供的當(dāng)前幀的基準(zhǔn)塊的位置，并且提取所確定基準(zhǔn)塊中的每個(gè)像素的亮度。注意，當(dāng)前塊例如是由基準(zhǔn)塊確定部分120提前定義的全部當(dāng)前幀或者部分當(dāng)前幀的大小的區(qū)域。進(jìn)一步，基準(zhǔn)塊確定部分120例如在當(dāng)前幀中以一個(gè)像素為單位來移動(dòng)當(dāng)前塊，以便確定當(dāng)前塊的位置。進(jìn)一步，基準(zhǔn)塊確定部分120例如在當(dāng)前幀中以塊為單元來移動(dòng)當(dāng)前塊，以便確定當(dāng)前塊的位置。進(jìn)一步，基準(zhǔn)塊確定部分120將所確定的當(dāng)前塊中每個(gè)像素的亮度值提供給基準(zhǔn)亮度值產(chǎn)生部分150、有效計(jì)算部分160和塊匹配計(jì)算部分170。進(jìn)一步，基準(zhǔn)塊確定部分120將所確定的當(dāng)前塊的位置提供給參考?jí)K確定部分140和塊匹配計(jì)算部分170。
參考幀緩沖器130將通過信號(hào)線102向其提供的圖像暫存為參考幀。該參考幀是是當(dāng)前幀的前一幀的圖像(前向參考)。參考幀緩沖器130將參考幀提供給參考?jí)K確定部分140。
參考?jí)K確定部分140基于從基準(zhǔn)塊確定部分120提供給其的當(dāng)前塊的位置，來確定從參考幀緩沖器130提供給其的參考幀的參考?jí)K的位置。參考?jí)K確定部分140基于從基準(zhǔn)塊確定部分120提供給其的當(dāng)前塊的位置，在參考幀中定義用于檢索關(guān)于基準(zhǔn)塊的運(yùn)動(dòng)矢量的檢索區(qū)域。然后，參考?jí)K確定部分140確定所定義檢索區(qū)域中的參考?jí)K的位置。注意，檢索區(qū)域例如是由參考?jí)K確定部分140參考當(dāng)前塊的位置所定義的固定大小的區(qū)域。注意，參考?jí)K確定部分140例如可以連續(xù)地確定參考?jí)K的位置，同時(shí)圍繞對(duì)應(yīng)于當(dāng)前塊的位置而將其進(jìn)行螺旋地移動(dòng)。參考?jí)K確定部分140將以上述這種方式確定的參考?jí)K的每個(gè)像素的亮度值以及參考?jí)K的位置提供給塊匹配計(jì)算部分170。
基準(zhǔn)亮度值產(chǎn)生部分150基于從基準(zhǔn)塊確定部分120向其提供的整個(gè)當(dāng)前塊中或者預(yù)先確定的部分當(dāng)前塊中的各像素的亮度值來產(chǎn)生參考亮度值。這里的基準(zhǔn)亮度值是要用作用以識(shí)別包括基準(zhǔn)塊中的移動(dòng)物體的那些像素的基準(zhǔn)的亮度值?；鶞?zhǔn)亮度值產(chǎn)生部分150產(chǎn)生基準(zhǔn)塊中所有像素或者某些像素的統(tǒng)計(jì)值來作為基準(zhǔn)亮度值。該統(tǒng)計(jì)值例如可以是平均值或者中間值。進(jìn)一步，基準(zhǔn)亮度值產(chǎn)生部分150例如產(chǎn)生基準(zhǔn)塊中的一個(gè)像素的亮度值來作為基準(zhǔn)亮度值。進(jìn)一步，基準(zhǔn)亮度值產(chǎn)生部分150將由此產(chǎn)生的基準(zhǔn)亮度值提供給有效計(jì)算部分160。
有效計(jì)算部分160基于基準(zhǔn)塊的每個(gè)像素的亮度值和基準(zhǔn)亮度值，來計(jì)算基準(zhǔn)塊的每個(gè)像素的有效度。有效計(jì)算部分160包括亮度值差計(jì)算部分161和加權(quán)計(jì)算部分162。
亮度值差計(jì)算部分161為基準(zhǔn)塊的每個(gè)像素計(jì)算從基準(zhǔn)亮度值產(chǎn)生部分150提供給其的的基準(zhǔn)亮度值與從基準(zhǔn)塊確定部分120提供的基準(zhǔn)塊的像素的亮度值之間的差絕對(duì)值。亮度值差計(jì)算部分161根據(jù)下列表達(dá)式來計(jì)算差絕對(duì)值D(i，j) D(i，j)＝|Ibase-Ic(i，j)|表達(dá)式1 其中，Ibase是從基準(zhǔn)亮度值產(chǎn)生部分150提供的基準(zhǔn)亮度，Ic(i，j)是從基準(zhǔn)塊確定部分120提供的基準(zhǔn)塊的每個(gè)像素的亮度值。注意，(i，j)表示像素的位置，i表示垂直方向上的位置，而j表示水平方向上的位置。
亮度值差計(jì)算部分161將以上述這種方式計(jì)算的基準(zhǔn)塊的每個(gè)像素的差絕對(duì)值提供給加權(quán)計(jì)算部分162。
加權(quán)計(jì)算部分162為基準(zhǔn)塊的每個(gè)像素計(jì)算加權(quán)。具體地，加權(quán)計(jì)算部分162基于從亮度值差計(jì)算部分161提供的基準(zhǔn)塊的像素的差絕對(duì)值，來計(jì)算作為基準(zhǔn)塊的每個(gè)像素的有效度的加權(quán)。加權(quán)計(jì)算部分162將以這種方式計(jì)算的基準(zhǔn)塊的每個(gè)像素的加權(quán)提供給塊匹配計(jì)算部分170。
塊匹配計(jì)算部分170基于基準(zhǔn)塊和參考?jí)K之間的相關(guān)度來執(zhí)行塊匹配，以便計(jì)算關(guān)于基準(zhǔn)塊的運(yùn)動(dòng)矢量。塊匹配計(jì)算部分170包括相關(guān)計(jì)算部分171、相關(guān)圖存儲(chǔ)部分172、位置獲取部分173和運(yùn)動(dòng)矢量計(jì)算部分174。
相關(guān)計(jì)算部分171計(jì)算關(guān)于基準(zhǔn)塊的每個(gè)參考?jí)K的加權(quán)SAD(Sum ofAbsolute Difference，絕對(duì)差之和)作為相關(guān)度。具體地，相關(guān)計(jì)算部分171將參考?jí)K的每個(gè)像素的亮度值與對(duì)應(yīng)于該基準(zhǔn)塊的像素位置的參考?jí)K的每個(gè)像素的亮度值之間的差絕對(duì)值乘以與像素位置對(duì)應(yīng)的加權(quán)，以便計(jì)算像素的相關(guān)值。然后，相關(guān)計(jì)算部分171將這些相關(guān)值相加以便計(jì)算加權(quán)SAD。隨著加權(quán)SAD的值減小，其表示更高的相關(guān)度。具體地，相關(guān)計(jì)算部分171根據(jù)下列表達(dá)式來計(jì)算加權(quán)SAD 加權(quán)表達(dá)式2 其中，Ir(i，j)表示與基準(zhǔn)塊的每個(gè)像素位置對(duì)應(yīng)的像素的亮度值，W(i，j)表示與基準(zhǔn)塊的每個(gè)像素位置對(duì)應(yīng)的加權(quán)。
進(jìn)一步，相關(guān)計(jì)算部分171將所計(jì)算的每個(gè)參考?jí)K的加權(quán)SAD作為相關(guān)度提供給相關(guān)圖存儲(chǔ)部分172。
相關(guān)圖存儲(chǔ)部分172將從相關(guān)計(jì)算部分171提供給其的參考?jí)K的相關(guān)度與從參考?jí)K確定部分140提供給其的參考?jí)K的位置以彼此關(guān)聯(lián)的關(guān)系進(jìn)行暫存。相關(guān)圖存儲(chǔ)部分172將存儲(chǔ)在其之中的所有參考?jí)K的相關(guān)度和位置提供給位置獲取部分173。
位置獲取部分173獲取從相關(guān)圖存儲(chǔ)部分172提供給其的所有參考?jí)K中具有最高相關(guān)度的那個(gè)參考?jí)K的位置。換言之，位置獲取部分173獲取具有最低加權(quán)SAD的參考?jí)K的位置。在將所有參考?jí)K的相關(guān)度和位置存儲(chǔ)在相關(guān)圖存儲(chǔ)部分172中的情況下，位置獲取部分173獲取具有最高相關(guān)度的參考?jí)K的位置。位置獲取部分173將所獲取的參考?jí)K位置提供給運(yùn)動(dòng)矢量計(jì)算部分174。
運(yùn)動(dòng)矢量計(jì)算部分174基于從位置獲取部分173提供給其的最高相關(guān)度的參考?jí)K的位置以及從基準(zhǔn)塊確定部分120提供給其的參考?jí)K的位置，來計(jì)算運(yùn)動(dòng)矢量。運(yùn)動(dòng)矢量計(jì)算部分174將計(jì)算出的運(yùn)動(dòng)矢量提供給信號(hào)線103。
現(xiàn)在描述本發(fā)明實(shí)施例中的基準(zhǔn)幀和參考幀的設(shè)置。
[運(yùn)動(dòng)矢量的檢測(cè)的示例] 圖2A和圖2B在基準(zhǔn)幀和參考幀中包括相同的兩個(gè)移動(dòng)物體的情況下、圖示了根據(jù)本發(fā)明第一實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置100對(duì)于運(yùn)動(dòng)矢量的檢測(cè)的示例。具體地，圖2A圖示了作為動(dòng)態(tài)畫面的當(dāng)前幀的基準(zhǔn)幀200，而圖2B圖示了作為該基準(zhǔn)幀的前一幀(在前向參考的情況下)的幀的參考幀220。
基準(zhǔn)幀200包括在其之中顯示的移動(dòng)體A 201、另一移動(dòng)體B 202以及基準(zhǔn)塊210。移動(dòng)體A 201和另一移動(dòng)體B 202隨著時(shí)間流逝而以幀來移動(dòng)?；鶞?zhǔn)塊210是由基準(zhǔn)塊確定部分120確定的區(qū)域?；鶞?zhǔn)塊210包括移動(dòng)體A201的右下部分以及背景圖像。
參考幀220包括在其上顯示的、包括在基準(zhǔn)幀200中的移動(dòng)體A 201和另一移動(dòng)體B 202以及檢索區(qū)域221和參考?jí)K230。檢索區(qū)域221是檢索參考?jí)K確定部分140所定義的基準(zhǔn)塊210的移動(dòng)源的區(qū)域。參考?jí)K230包括移動(dòng)體A 201的右下部分以及移動(dòng)體B 202的一部分。
在該情形下，運(yùn)動(dòng)矢量檢測(cè)裝置100將與基準(zhǔn)塊210中包括的移動(dòng)體A201對(duì)應(yīng)的像素的有效度設(shè)置為高級(jí)，以便使得基準(zhǔn)塊210和參考?jí)K230之間的相關(guān)度最大。從而，運(yùn)動(dòng)矢量檢測(cè)裝置100可以在隨后精確地檢測(cè)移動(dòng)體A201的運(yùn)動(dòng)矢量。
[基準(zhǔn)亮度值的產(chǎn)生的示例] 圖3A和圖3B圖示根據(jù)本發(fā)明第一實(shí)施例的基準(zhǔn)亮度值產(chǎn)生部分150產(chǎn)生基準(zhǔn)亮度值的示例。
圖3A圖示將基準(zhǔn)塊210的中心像素的亮度值用作基準(zhǔn)亮度值的示例，其中，基準(zhǔn)塊210每側(cè)的像素?cái)?shù)目為“5”?；鶞?zhǔn)塊210包括基準(zhǔn)塊的像素#1～#25以及位于來自像素#1～#25之中的基準(zhǔn)塊210的中心的基準(zhǔn)像素211。在每個(gè)像素#1～#25中以括號(hào)表示的值是該像素的亮度值。這里，由于像素#13是基準(zhǔn)像素211，因此作為像素#13的亮度值的“150”是基準(zhǔn)亮度值。
圖3B圖示將基準(zhǔn)塊中心附近的像素的亮度值的統(tǒng)計(jì)值用作基準(zhǔn)亮度值的示例，其中，基準(zhǔn)塊210每側(cè)的像素?cái)?shù)目為“4”。這里，基準(zhǔn)亮度值是從像素#7、#8、#12和#13產(chǎn)生的。例如，作為像素#7、#8、#12和#13的亮度值的平均值的“151.5”被確定為基準(zhǔn)亮度。
以此方式，基準(zhǔn)亮度值產(chǎn)生部分150基于來自基準(zhǔn)塊確定部分120的基準(zhǔn)塊的所有像素或者預(yù)先定義的一些像素的亮度值而產(chǎn)生基準(zhǔn)亮度值，并且將該基準(zhǔn)亮度值提供給有效計(jì)算部分160。
[有效度的計(jì)算的示例] 圖4圖示根據(jù)本發(fā)明第一實(shí)施例的有效計(jì)算部分160對(duì)于有效度的計(jì)算的示例。這里，以圖3A中所示的基準(zhǔn)塊210作為示例來描述將有效度設(shè)置為高值的像素的分類技術(shù)。進(jìn)一步，將基準(zhǔn)亮度值Ibase設(shè)置為“150”，將閾值Dth設(shè)置為“20”。
在該情形下，亮度值差計(jì)算部分161根據(jù)在上文中給出的表達(dá)式(1)，計(jì)算像素#1～#25中每一個(gè)的亮度值Ic(i，j)與從基準(zhǔn)亮度值產(chǎn)生部分150提供給其的基準(zhǔn)亮度值Ibase之間的差絕對(duì)值D(i，j)。然后，加權(quán)計(jì)算部分162判定像素#1～#25中每一個(gè)的差絕對(duì)值D(i，j)是否低于閾值Dth。
在本示例中，像素#1、#4和#15～#25被判定為具有高于閾值Dth的亮度值的像素，而其他像素#2、#3和#5～#14被判定為具有低于閾值Dth的亮度值的像素。
以此方式，基于基準(zhǔn)塊的每個(gè)像素的亮度值與基準(zhǔn)亮度值之間的差絕對(duì)值而將有效度被設(shè)置為高值的像素進(jìn)行區(qū)分。
[差絕對(duì)值與加權(quán)之間的關(guān)系的示例] 圖5A和圖5B圖示根據(jù)本發(fā)明第一實(shí)施例的亮度值差計(jì)算部分161計(jì)算的差絕對(duì)值與加權(quán)計(jì)算部分162計(jì)算的加權(quán)之間的關(guān)系的示例。具體地，圖5A和圖5B示出橫坐標(biāo)軸表示差絕對(duì)值D、而縱坐標(biāo)軸表示加權(quán)W的曲線圖。
更具體地，圖5A圖示亮度值差計(jì)算部分161計(jì)算的差絕對(duì)值D低于閾值Dth并且加權(quán)W為固定值的示例。這里，在差絕對(duì)值D(i，j)低于閾值Dth的情況下，加權(quán)計(jì)算部分162將值Wmax作為加權(quán)W(i，j)提供給相關(guān)計(jì)算部分171。另一方面，在差絕對(duì)值D(i，j)高于閾值Dth的情況下，將低于值Wmax的另一值Wmin作為加權(quán)W(i，j)提供給相關(guān)計(jì)算部分171。例如，分別將值Wmax和值Wmin設(shè)置為“1”和“0”。
具體地，加權(quán)計(jì)算部分162根據(jù)下列表達(dá)式來計(jì)算基準(zhǔn)塊的每個(gè)像素的加權(quán)W(i，j)

表達(dá)式3 其中，Wmin和Wmax是常數(shù)。
以此方式，為差絕對(duì)值D低于閾值Dth的像素計(jì)算了固定加權(quán)。從而，在相關(guān)計(jì)算部分171的相關(guān)度計(jì)算中，對(duì)于來自參考?jí)K的每個(gè)像素的有效度的亮度值的差絕對(duì)值低于閾值的基準(zhǔn)塊，可以將該基準(zhǔn)塊的每個(gè)像素的有效度升高。
圖5B在亮度值差計(jì)算部分161計(jì)算的差絕對(duì)值D低于閾值Dth的情況下、圖示加權(quán)W反比于差絕對(duì)值D而增大的示例。這里，在差絕對(duì)值D(i，j)低于閾值Dth的情況下，將反比于差絕對(duì)值D而增大的加權(quán)W作為加權(quán)W(i，j)從加權(quán)計(jì)算部分162提供給相關(guān)計(jì)算部分171。另一方面，在差絕對(duì)值D(i，j)高于閾值Dth的情況下，將表示最低值的值Wmin作為加權(quán)W(i，j)提供給相關(guān)計(jì)算部分171。
在本示例中，加權(quán)計(jì)算部分162根據(jù)下列表達(dá)式來計(jì)算基準(zhǔn)塊的每個(gè)像素的加權(quán)W(i，j)

表達(dá)式4 其中，Wmin和Wc是常數(shù)。
以此方式，關(guān)于差絕對(duì)值D低于閾值Dth的像素，可以為該像素計(jì)算反比于差絕對(duì)值D而增大的加權(quán)。從而，在相關(guān)計(jì)算部分171的相關(guān)度計(jì)算中，當(dāng)基準(zhǔn)塊的每個(gè)像素的亮度值與參考?jí)K中每個(gè)像素的亮度值之間的差絕對(duì)值減小時(shí)，可以將有效度設(shè)置為較高值。
[運(yùn)動(dòng)矢量檢測(cè)裝置的操作的示例] 現(xiàn)在參考附圖，描述本發(fā)明實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置100的操作。
圖6圖示根據(jù)本發(fā)明第一實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置100的運(yùn)動(dòng)矢量計(jì)算處理的處理過程的示例。
首先，在步驟S911處，基準(zhǔn)塊確定部分120在來自基準(zhǔn)幀緩沖器110的基準(zhǔn)幀中確定基準(zhǔn)塊。然后，在步驟S912處，基準(zhǔn)亮度值產(chǎn)生部分150基于來自基準(zhǔn)塊確定部分120的全部基準(zhǔn)塊或者預(yù)先定義的部分基準(zhǔn)塊的像素的亮度值，來產(chǎn)生基準(zhǔn)亮度值。換言之，步驟S912處的處理是基準(zhǔn)亮度值產(chǎn)生過程的示例。然后，在步驟S913處，亮度值差計(jì)算部分161計(jì)算來自基準(zhǔn)亮度值產(chǎn)生部分150的基準(zhǔn)亮度值與基準(zhǔn)塊的每個(gè)像素的亮度值之間的差絕對(duì)值。然后，在步驟S914處，加權(quán)計(jì)算部分162基于來自亮度值差計(jì)算部分161的、基準(zhǔn)塊的每個(gè)像素的基絕對(duì)值，來為基準(zhǔn)塊的每個(gè)像素計(jì)算加權(quán)。具體地，步驟S914處的處理是有效度計(jì)算過程的示例。
然后，在步驟S915處，參考?jí)K確定部分140在來自參考幀緩沖器130的參考幀中確定參考?jí)K。然后，在步驟S916處，相關(guān)計(jì)算部分171基于參考?jí)K的各像素的加權(quán)、基準(zhǔn)塊的各像素的亮度值和參考?jí)K的各像素的亮度值，來計(jì)算基準(zhǔn)塊和參考?jí)K之間的相關(guān)度。具體地，步驟S916處的處理是相關(guān)度計(jì)算過程。
然后，在步驟S917處，將相關(guān)計(jì)算部分171計(jì)算的相關(guān)度與參考?jí)K的位置以彼此關(guān)聯(lián)的關(guān)系存儲(chǔ)在相關(guān)圖存儲(chǔ)部分172中。然后，在步驟S918處，位置獲取部分173判定是否將與檢索范圍中確定的所有參考?jí)K有關(guān)的相關(guān)度和位置都存儲(chǔ)在相關(guān)圖存儲(chǔ)部分172中。然后，如果尚未存儲(chǔ)與所有參考?jí)K有關(guān)的相關(guān)度和位置，那么處理返回到步驟S915，從而重復(fù)上述處理，直到存儲(chǔ)了與檢索區(qū)域中設(shè)置的所有參考?jí)K有關(guān)的相關(guān)度和位置為止。
另一方面，如果存儲(chǔ)了與所有相關(guān)塊有關(guān)的相關(guān)度和位置，那么在步驟S919處，位置獲取部分173獲取其相關(guān)度最高的參考?jí)K的位置。注意，步驟S919處的處理是位置獲取過程的示例。然后，在步驟S920處，運(yùn)動(dòng)矢量計(jì)算部分174基于來自位置獲取部分173的參考?jí)K的位置以及基準(zhǔn)塊的位置，來計(jì)算運(yùn)動(dòng)矢量。注意，步驟S920處的處理是矢量計(jì)算過程的示例。
然后，在步驟S921處判定運(yùn)動(dòng)矢量計(jì)算部分174是否對(duì)所有基準(zhǔn)塊計(jì)算了運(yùn)動(dòng)矢量。然后，如果尚未對(duì)所有基準(zhǔn)塊完成運(yùn)動(dòng)矢量的計(jì)算，那么處理返回到步驟S911處，在該步驟S911處，新的基準(zhǔn)塊被確定以便此后執(zhí)行以步驟S912開始的步驟處的處理。另一方面，如果對(duì)所有基準(zhǔn)塊計(jì)算了運(yùn)動(dòng)矢量，那么運(yùn)動(dòng)矢量計(jì)算處理結(jié)束。
以此方式，利用本發(fā)明的第一實(shí)施例，將有效計(jì)算部分160計(jì)算的基準(zhǔn)塊的每個(gè)像素的有效度反映在基準(zhǔn)塊和參考?jí)K之間的相關(guān)度的計(jì)算上。因此，可以改善運(yùn)動(dòng)矢量的檢測(cè)精度。
<2.第二實(shí)施例> 圖7示出根據(jù)本發(fā)明第二實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置的配置。參考圖7，所示的運(yùn)動(dòng)矢量檢測(cè)裝置300包括對(duì)應(yīng)塊提取部分310、檢索范圍產(chǎn)生部分320、基準(zhǔn)幀緩沖器110、基準(zhǔn)塊確定部分120、參考幀緩沖器130、參考?jí)K確定部分140和塊匹配計(jì)算部分870。塊匹配計(jì)算部分870包括相關(guān)計(jì)算部分871、相關(guān)圖存儲(chǔ)部分872、位置獲取部分873和運(yùn)動(dòng)矢量計(jì)算部分874。這里，基準(zhǔn)幀緩沖器110、基準(zhǔn)塊確定部分120和參考幀緩沖器130與在上文中參考圖1描述的那些類似，因此，為了避免重復(fù)，此處省略對(duì)其的重疊描述。
對(duì)應(yīng)塊提取部分310提取與基準(zhǔn)塊的位置對(duì)應(yīng)的參考幀中的對(duì)應(yīng)塊的預(yù)定亮度值。具體地，對(duì)應(yīng)塊提取部分310基于從基準(zhǔn)塊確定部分120提供給其的基準(zhǔn)塊的位置來設(shè)置對(duì)應(yīng)塊的位置。然后，對(duì)應(yīng)塊提取部分310從自參考幀緩沖器130提供給其的參考幀中像素的亮度值之中提取由此設(shè)置的對(duì)應(yīng)塊中的像素的亮度值。進(jìn)一步，對(duì)應(yīng)塊提取部分310通過信號(hào)線311而將所提取的對(duì)應(yīng)塊中像素的亮度值提供給檢索范圍產(chǎn)生部分320。
檢索范圍產(chǎn)生部分320基于對(duì)應(yīng)塊中預(yù)定像素的亮度值以及基準(zhǔn)塊中預(yù)定像素的亮度值，來產(chǎn)生用于計(jì)算關(guān)于基準(zhǔn)塊的運(yùn)動(dòng)矢量的基準(zhǔn)幀中的檢索區(qū)域。具體地，檢索范圍產(chǎn)生部分320對(duì)于從基準(zhǔn)塊確定部分120提供的基準(zhǔn)塊中的預(yù)定像素計(jì)算各像素之間的空間亮度差(其為空間上的亮度差)的絕對(duì)值的總和。進(jìn)一步，檢索范圍產(chǎn)生部分320計(jì)算來自基準(zhǔn)塊確定部分120的基準(zhǔn)塊和來自對(duì)應(yīng)塊提取部分310的對(duì)應(yīng)塊的對(duì)應(yīng)各像素之間的時(shí)間亮度差(其為時(shí)基上的亮度差)的絕對(duì)值的總和。然后，檢索范圍產(chǎn)生部分320基于空間亮度差的絕對(duì)值的總和與時(shí)間亮度差的絕對(duì)值的總和，計(jì)算參考幀的檢索范圍。進(jìn)一步，檢索范圍產(chǎn)生部分320通過信號(hào)線329將計(jì)算出的參考幀的檢索范圍提供給參考?jí)K確定部分140。
參考?jí)K確定部分140基于從基準(zhǔn)塊確定部分120提供的基準(zhǔn)塊的位置以及從檢索范圍產(chǎn)生部分320提供的檢索范圍來定義參考幀中的檢索區(qū)域。然后，參考?jí)K確定部分140以在上文中參考圖1描述的這種方式來在檢索范圍內(nèi)連續(xù)地確定參考?jí)K。進(jìn)一步，參考?jí)K確定部分140將所確定參考?jí)K中各像素的亮度值提供給相關(guān)計(jì)算部分871，并且將參考?jí)K的位置存儲(chǔ)在相關(guān)圖存儲(chǔ)部分872中。
塊匹配計(jì)算部分870基于參考?jí)K和基準(zhǔn)塊之間的相關(guān)度來執(zhí)行塊匹配，以便計(jì)算參考?jí)K的運(yùn)動(dòng)矢量。相關(guān)計(jì)算部分871在來自基準(zhǔn)塊確定部分120的基準(zhǔn)塊和來自參考?jí)K確定部分140的參考?jí)K的的對(duì)應(yīng)像素之間，為每個(gè)參考?jí)K計(jì)算作為亮度差的絕對(duì)值的總和的SAD來作為相關(guān)度。相關(guān)計(jì)算部分871將為每個(gè)參考?jí)K計(jì)算的相關(guān)度存儲(chǔ)在相關(guān)圖存儲(chǔ)部分872中。
相關(guān)圖存儲(chǔ)部分872將從相關(guān)計(jì)算部分871提供的參考?jí)K的相關(guān)度與從參考?jí)K確定部分140提供的參考?jí)K的位置以彼此相關(guān)的關(guān)系進(jìn)行暫存。相關(guān)圖存儲(chǔ)部分872將存儲(chǔ)在其之中的所有參考?jí)K的相關(guān)度和位置提供給位置獲取部分873。
位置獲取部分873獲取從相關(guān)圖存儲(chǔ)部分872提供至其的所有基準(zhǔn)塊中呈現(xiàn)最高相關(guān)度的那個(gè)基準(zhǔn)塊的位置。具體地，當(dāng)將關(guān)于所有參考?jí)K的相關(guān)性和位置存儲(chǔ)在相關(guān)圖存儲(chǔ)部分872中時(shí)，位置獲取部分873獲取呈現(xiàn)最高相關(guān)性的參考?jí)K的位置。進(jìn)一步，位置獲取部分873將所獲取的參考?jí)K的位置提供給運(yùn)動(dòng)矢量計(jì)算部分874。
運(yùn)動(dòng)矢量計(jì)算部分874基于從位置獲取部分873提供至其的并且具有最高相關(guān)度的參考矢量的位置以及從基準(zhǔn)塊確定部分120提供的基準(zhǔn)塊的位置來計(jì)算運(yùn)動(dòng)矢量。
這里，參考附圖描述基于檢索范圍產(chǎn)生部分320產(chǎn)生的檢索范圍以及基準(zhǔn)塊的位置而定義的參考幀中的檢索區(qū)域的示例。
[檢索區(qū)域的定義的示例] 圖8示出根據(jù)本發(fā)明第二實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置100所定義的參考幀中的檢索區(qū)域的示例。參考圖8，示出了參考幀中的檢索區(qū)域410和最大檢索區(qū)域430。這里，將基準(zhǔn)塊的水平方向和垂直方向分別定義為x方向和y方向。
檢索區(qū)域410是由檢索范圍產(chǎn)生部分320和檢索區(qū)域基準(zhǔn)塊240產(chǎn)生的x方向上的檢索范圍Lx和y方向上的檢索范圍Ly所定義的區(qū)域。檢索區(qū)域基準(zhǔn)塊240是處于與參考幀中的基準(zhǔn)塊的位置相同的位置的塊。具體地，將檢索區(qū)域基準(zhǔn)塊240設(shè)置為關(guān)于基準(zhǔn)塊的運(yùn)動(dòng)矢量為“0”的位置。
x方向上的檢索范圍Lx表示以基準(zhǔn)塊210為參考、可以將參考?jí)K向x方向上的右側(cè)和左側(cè)移動(dòng)的最大范圍。y方向上的檢索范圍Ly表示以檢索區(qū)域基準(zhǔn)塊240為參考、可以將參考?jí)K向y方向上的上側(cè)和下側(cè)移動(dòng)的最大范圍。
最大檢索區(qū)域430表示基于最大檢索范圍Lmax和檢索區(qū)域基準(zhǔn)塊240所定義的區(qū)域。最大檢索范圍Lmax是基于圖像的分辨率和壓縮比而確定的，并且例如被設(shè)置為32像素。
由于檢索范圍產(chǎn)生部分320以此方式產(chǎn)生x方向上的檢索范圍Lx以及y方向上的檢索范圍Ly，因此，運(yùn)動(dòng)矢量檢測(cè)裝置300可以在檢索區(qū)域內(nèi)彼此獨(dú)立地定義x方向上和y方向上的檢索范圍。進(jìn)一步，運(yùn)動(dòng)矢量檢測(cè)裝置300通過提供最大檢索范圍Lmax，可以防止檢索區(qū)域的擴(kuò)展超過所定義的最大區(qū)域?，F(xiàn)在參考圖9，描述產(chǎn)生x方向上的檢索范圍Lx和y方向上的檢索范圍Ly的檢索范圍產(chǎn)生部分320的配置的示例。
[檢索范圍產(chǎn)生部分的配置的第一示例] 圖9示出本發(fā)明第二實(shí)施例中的檢索范圍產(chǎn)生部分320的配置的第一示例。參考圖9，檢索范圍產(chǎn)生部分320包括Ft計(jì)算部分330、Fs計(jì)算部分340和L計(jì)算部分370。
Ft計(jì)算部分330計(jì)算各時(shí)間亮度差(其為從信號(hào)線311提供的對(duì)應(yīng)塊中的以及從信號(hào)線121提供的基準(zhǔn)塊中的對(duì)應(yīng)各像素之間的亮度差)的總和，作為時(shí)間亮度差總和Ft。Ft計(jì)算部分330根據(jù)下列表達(dá)式計(jì)算時(shí)間亮度差總和Ft，并且將計(jì)算出的時(shí)間亮度差總和Ft提供給L計(jì)算部分370。
表達(dá)式5 其中，It(i，j)表示時(shí)間亮度差，Ic(i，j)表示基準(zhǔn)塊中像素的亮度值，Ir(i，j)表示參考?jí)K中像素的亮度值，i和j分別是每個(gè)塊在x方向上的像素位置以及y方向上的像素位置，N是通過從每個(gè)塊中不同像素的像素?cái)?shù)目中減去“1”而得到的值。
以此方式，隨著移動(dòng)體移動(dòng)的速度增大，基準(zhǔn)塊中包括的移動(dòng)體以及對(duì)應(yīng)塊中包括的相同移動(dòng)體之間的位置差、并且進(jìn)而根據(jù)上面給出的表達(dá)式所計(jì)算出的時(shí)間亮度差總和Ft有可能具有高值。另一方面，由于基準(zhǔn)塊和對(duì)應(yīng)塊之間的移動(dòng)體的位置差隨著移動(dòng)體移動(dòng)速度減小而減小，因此，時(shí)間亮度差總和Ft有可能變得低。據(jù)此，可以估算基準(zhǔn)塊中包括的移動(dòng)體的速度。
Fs計(jì)算部分340計(jì)算空間亮度差(其為從信號(hào)線121提供的基準(zhǔn)塊中相鄰的像素到像素之間的亮度差)的絕對(duì)值的總和，作為空間亮度差總和。
Fs計(jì)算部分340包括Fx計(jì)算部分350和Fy計(jì)算部分360。Fx計(jì)算部分350對(duì)基準(zhǔn)塊中各像素計(jì)算水平方向上的空間亮度差的絕對(duì)值的總和，作為x方向上的空間亮度差總和。具體地，F(xiàn)x計(jì)算部分350計(jì)算x方向上相鄰像素到基準(zhǔn)塊中像素之間的亮度差的總和，作為x方向上的空間亮度差總和Fx。x方向上的空間亮度差總和Fx是表示空間亮度差總和Fs在x方向上的分量的值。Fx計(jì)算部分350將所計(jì)算出x方向上的空間亮度差總和Fx提供給Lx計(jì)算部分380。
Fy計(jì)算部分360對(duì)基準(zhǔn)塊中各像素計(jì)算垂直方向上的空間亮度差的絕對(duì)值的總和，作為y方向上的空間亮度差總和。具體地，F(xiàn)y計(jì)算部分360計(jì)算y方向上相鄰像素到基準(zhǔn)塊中像素之間的亮度差的總和，作為y方向上的空間亮度差總和Fy。y方向上的空間亮度差總和Fy是表示空間亮度差總和Fs在y方向上的分量的值。Fy計(jì)算部分360將所計(jì)算出y方向上的空間亮度差總和Fy提供給Ly計(jì)算部分390。
可以由下列表達(dá)式來給出上述的x方向上的空間亮度差總和Fx和y方向上的空間亮度差總和Fy 表達(dá)式6 其中，Ix(i，j)是關(guān)于基準(zhǔn)塊的每個(gè)像素在x方向上的空間亮度差，Iy(i，j)是關(guān)于基準(zhǔn)塊的每個(gè)像素在y方向上的空間亮度差。
隨著移動(dòng)體移動(dòng)的速度增大，基準(zhǔn)塊中包括的移動(dòng)體的圖像開始具有越來越大的模糊量，因此，根據(jù)以上給出的表達(dá)式而計(jì)算出的空間亮度差總和Fs有可能具有低的值。另一方面，隨著移動(dòng)體移動(dòng)的速度減小，基準(zhǔn)塊中包括的移動(dòng)體的圖像開始具有越來越小的模糊量，因此，空間亮度差總和Fs有可能具有高的值。從而，可以估算基準(zhǔn)塊中包括的移動(dòng)體的速度。
L計(jì)算部分370基于來自Ft計(jì)算部分330的時(shí)間亮度差總和Ft以及來自Fs計(jì)算部分340的空間亮度差總和Fs，對(duì)基準(zhǔn)塊計(jì)算用于檢索運(yùn)動(dòng)矢量的參考幀中的檢索范圍。隨著空間亮度差總和Fs增大，控制L計(jì)算部分370在參考幀中設(shè)置越來越小的檢索范圍，而隨著空間亮度差總和Ft增大，在參考幀中設(shè)置越來越大的檢索范圍。換言之，L計(jì)算部分370計(jì)算反比于空間亮度差總和Fs而增大、但正比于時(shí)間亮度差總和Ft而增大的檢索范圍。然后，L計(jì)算部分370計(jì)算以此方式計(jì)算出的檢索范圍之一以及預(yù)定的范圍，作為參考幀中的檢索范圍。具體地，L計(jì)算部分370基于下列函數(shù)G來計(jì)算檢索范圍L 表達(dá)式7 其中，Lmax是圖8中所示的最大檢索范圍，α是固定值并且例如將其設(shè)置為“1”。根據(jù)上面的表達(dá)式，如果將α設(shè)置為低的值，那么檢索范圍變得較小，因此，可以抑制塊匹配的處理量。
L計(jì)算部分370通過信號(hào)線329而將計(jì)算出的檢索范圍L提供給參考?jí)K確定部分140。
L計(jì)算部分370包括Lx計(jì)算部分380和Ly計(jì)算部分390。Lx計(jì)算部分380計(jì)算圖8中所示的x方向上的檢索范圍Lx。具體地，Lx計(jì)算部分380基于來自Ft計(jì)算部分330的時(shí)間亮度差總和Ft以及來自Fx計(jì)算部分350的x方向上的空間亮度差總和Fx來計(jì)算x方向上的檢索范圍Lx。Lx計(jì)算部分380通過信號(hào)線329而將計(jì)算出的x方向上的檢索范圍Lx提供給參考?jí)K確定部分140。
Ly計(jì)算部分390計(jì)算圖8中所示的y方向上的檢索范圍Ly。具體地，Ly計(jì)算部分390基于來自Ft計(jì)算部分330的時(shí)間亮度差總和Ft以及來自Fy計(jì)算部分350的y方向上的空間亮度差總和Fy來計(jì)算y方向上的檢索范圍Ly。Ly計(jì)算部分390通過信號(hào)線329而將計(jì)算出的y方向上的檢索范圍Ly提供給參考?jí)K確定部分140。
這里，作為用于上述x方向上的檢索范圍Lx和y方向上的檢索范圍Ly的計(jì)算的示例，可以應(yīng)用下列表達(dá)式 表達(dá)式8 由于可以以此方式使用時(shí)間亮度差總和Ft與空間亮度差總和Fs這兩個(gè)參數(shù)來估算基準(zhǔn)塊中包括的移動(dòng)體的移動(dòng)范圍，因此，可以高精確度地定義參考幀中的檢索范圍。進(jìn)一步，通過彼此單獨(dú)地計(jì)算x方向上的檢索范圍和y方向上的檢索范圍，可以定義最優(yōu)檢索范圍。這里注意，雖然對(duì)稱地產(chǎn)生了上述的x方向和y方向上的檢索范圍，但是下面描述對(duì)檢索區(qū)域基準(zhǔn)塊240單獨(dú)地產(chǎn)生向上和向下方向上的檢索范圍以及向左和向右方向上的檢索范圍的示例。
[檢索范圍的定義的示例] 圖10圖示本發(fā)明第二實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置300非對(duì)稱地定義的參考幀中的檢索區(qū)域的示例。在圖10中圖示了參考幀中的檢索區(qū)域420和最大檢索區(qū)域430。順便提及，除了參考幀中檢索區(qū)域420之外的組件與上文中參考圖8描述的那些類似，因此，為了避免重復(fù)，在此省略對(duì)其的重疊描述。
檢索區(qū)域420是由檢索區(qū)域基準(zhǔn)塊240、x方向上正側(cè)的檢索范圍Lx+和負(fù)側(cè)的檢索范圍Lx-、以及y方向上正側(cè)的檢測(cè)范圍Ly+和負(fù)側(cè)的檢索范圍Ly-所定義的區(qū)域。x方向上正側(cè)的檢索范圍Lx+和負(fù)側(cè)的檢索范圍Lx-、以及y方向上正側(cè)的檢測(cè)范圍Ly+和負(fù)側(cè)的檢索范圍Ly-是由檢索范圍產(chǎn)生部分320產(chǎn)生的。
x方向上正側(cè)的檢索范圍Lx+表示參考?jí)K以檢索區(qū)域基準(zhǔn)塊240為參考可以移動(dòng)到x方向上右側(cè)的最大范圍。x方向上負(fù)側(cè)的檢索范圍Lx-表示參考?jí)K以檢索區(qū)域基準(zhǔn)塊240為參考可以移動(dòng)到x方向上左側(cè)的最大范圍。
y方向上正側(cè)的檢索范圍Ly+表示參考?jí)K以檢索區(qū)域基準(zhǔn)塊240為參考可以移動(dòng)到y(tǒng)方向上下側(cè)的最大范圍。y方向上負(fù)側(cè)的檢索范圍Ly-表示參考?jí)K以檢索區(qū)域基準(zhǔn)塊240為參考可以移動(dòng)到y(tǒng)方向上上側(cè)的最大范圍。
通過以此方式依靠檢索范圍產(chǎn)生部分320分別在不同方向上產(chǎn)生正和負(fù)側(cè)檢索范圍，以檢索區(qū)域基準(zhǔn)塊240為參考在各方向上非對(duì)稱地定義了檢索范圍。現(xiàn)在，下面描述非對(duì)稱地定義檢索區(qū)域的檢索范圍產(chǎn)生部分320的配置的示例。
[檢索范圍產(chǎn)生部分的配置的第二示例] 圖11示出根據(jù)本發(fā)明第二實(shí)施例來非對(duì)稱地產(chǎn)生檢索范圍的檢索范圍產(chǎn)生部分320的配置的第二示例。參考圖11，檢索范圍產(chǎn)生部分320包括Ft計(jì)算部分330、Fx計(jì)算部分350、Fy計(jì)算部分360、Lx計(jì)算部分380和Ly計(jì)算部分390。
Ft計(jì)算部分330包括Ftx-計(jì)算部分331、Ftx+計(jì)算部分332、Fty-計(jì)算部分333和Fty+計(jì)算部分334。Fx計(jì)算部分350包括Fx-計(jì)算部分351和Fx+計(jì)算部分352。Fy計(jì)算部分360包括Fy-計(jì)算部分361和Fy+計(jì)算部分362。Lx計(jì)算部分380包括Lx-計(jì)算部分381和Lx+計(jì)算部分382。Ly計(jì)算部分390包括Ly-計(jì)算部分391和Ly+計(jì)算部分392。
Ft計(jì)算部分330將x方向和y方向兩者上的時(shí)間亮度差的絕對(duì)值加到不同方向上的正側(cè)時(shí)間亮度差總和與負(fù)側(cè)時(shí)間亮度差總和中的一個(gè)。具體地，F(xiàn)t計(jì)算部分330基于不同方向上關(guān)于基準(zhǔn)塊中預(yù)定像素的時(shí)間亮度差的符號(hào)以及空間亮度差的符號(hào)，將關(guān)于基準(zhǔn)塊中預(yù)定像素的不同方向上的時(shí)間亮度差的絕對(duì)值進(jìn)行相加。
Ftx-計(jì)算部分331基于x方向上關(guān)于各像素的時(shí)間亮度差的符號(hào)以及空間亮度差的符號(hào)，將關(guān)于基準(zhǔn)塊中各像素在x方向上的時(shí)間亮度差的絕對(duì)值加到x方向上的負(fù)側(cè)時(shí)間亮度差總和Ftx-。Ftx-計(jì)算部分331將計(jì)算出的x方向上的負(fù)側(cè)時(shí)間亮度差總和Ftx-提供給Lx-計(jì)算部分381。
Ftx+計(jì)算部分332基于x方向上關(guān)于各像素的時(shí)間亮度差的符號(hào)以及空間亮度差的符號(hào)，將關(guān)于基準(zhǔn)塊中各像素在x方向上的時(shí)間亮度差的絕對(duì)值加到x方向上的正側(cè)時(shí)間亮度差總和Ftx+。Ftx+計(jì)算部分332將計(jì)算出的x方向上的正側(cè)時(shí)間亮度差總和Ftx+提供給Lx+計(jì)算部分382。
Fty-計(jì)算部分333基于y方向上關(guān)于各像素的時(shí)間亮度差的符號(hào)以及空間亮度差的符號(hào)，將關(guān)于基準(zhǔn)塊中各像素在y方向上的時(shí)間亮度差的絕對(duì)值加到y(tǒng)方向上的負(fù)側(cè)時(shí)間亮度差總和Fty-。Fty-計(jì)算部分333將計(jì)算出的y方向上的負(fù)側(cè)時(shí)間亮度差總和Fty-提供給Ly-計(jì)算部分391。
Fty+計(jì)算部分334基于y方向上關(guān)于各像素的時(shí)間亮度差的符號(hào)以及空間亮度差的符號(hào)，將關(guān)于基準(zhǔn)塊中各像素在y方向上的時(shí)間亮度差的絕對(duì)值加到y(tǒng)方向上的正側(cè)時(shí)間亮度差總和Fty+。Fty+計(jì)算部分334將計(jì)算出的y方向上的正側(cè)時(shí)間亮度差總和Fty+提供給Ly+計(jì)算部分392。
這里，為了計(jì)算x方向上的負(fù)側(cè)時(shí)間亮度差總和Ftx-、x方向上的正側(cè)時(shí)間亮度差總和Ftx+、y方向上的負(fù)側(cè)時(shí)間亮度差總和Fty-和y方向上的正側(cè)時(shí)間亮度差總和Fty+，可以使用下列表達(dá)式 表達(dá)式9 其中，Itx-(i，j)、Itx+(i，j)、Ity-(i，j)和Ity-(i，j)可以由下列表達(dá)式來表示

表達(dá)式10
以此方式，F(xiàn)t計(jì)算部分330使用基于關(guān)于基準(zhǔn)塊中每個(gè)像素的空間亮度差的符號(hào)和時(shí)間亮度差的符號(hào)所估算的移動(dòng)體的速度的方向，來計(jì)算各方向上正側(cè)和負(fù)側(cè)的時(shí)間亮度差的絕對(duì)值的總和。
Fx計(jì)算部分350將x方向上關(guān)于基準(zhǔn)塊中預(yù)定像素的空間亮度差的絕對(duì)值加到x方向上的正側(cè)時(shí)間亮度差總和與負(fù)側(cè)時(shí)間亮度差總和中的一個(gè)。具體地，F(xiàn)x計(jì)算部分350基于不同方向上關(guān)于該預(yù)定像素的時(shí)間亮度差的符號(hào)以及空間亮度差的符號(hào)，將x方向上關(guān)于基準(zhǔn)塊中該預(yù)定像素的空間亮度差進(jìn)行相加。
Fx-計(jì)算部分351基于x方向上關(guān)于像素的時(shí)間亮度差的符號(hào)以及空間亮度差的符號(hào)，將x方向上關(guān)于基準(zhǔn)塊中每個(gè)像素的空間亮度差的絕對(duì)值加到x方向上的負(fù)側(cè)空間亮度差總和Fx-。Fx-計(jì)算部分351將計(jì)算出的x方向上的負(fù)側(cè)空間亮度差總和Fx-提供給Lx-計(jì)算部分381。
Fx+計(jì)算部分352基于x方向上關(guān)于像素的時(shí)間亮度差的編碼以及空間亮度差的符號(hào)，將x方向上關(guān)于基準(zhǔn)塊中每個(gè)像素的空間亮度差的絕對(duì)值加到x方向上的正側(cè)空間亮度差總和Fx+。Fx+計(jì)算部分352將計(jì)算出的x方向上的正側(cè)空間亮度差總和Fx+提供給Lx+計(jì)算部分382。
Fy計(jì)算部分360將y方向上關(guān)于基準(zhǔn)塊中預(yù)定像素的空間亮度差的絕對(duì)值加到y(tǒng)方向上的正側(cè)時(shí)間亮度差總和與負(fù)側(cè)時(shí)間亮度差總和中的一個(gè)。具體地，F(xiàn)y計(jì)算部分360基于不同方向上關(guān)于該預(yù)定像素的時(shí)間亮度差的符號(hào)以及空間亮度差的符號(hào)，將y方向上關(guān)于基準(zhǔn)塊中該預(yù)定像素的空間亮度差進(jìn)行相加。
Fy-計(jì)算部分361基于y方向上關(guān)于像素的時(shí)間亮度差的符號(hào)以及空間亮度差的符號(hào)，將y方向上關(guān)于基準(zhǔn)塊中每個(gè)像素的空間亮度差的絕對(duì)值加到y(tǒng)方向上的負(fù)側(cè)空間亮度差總和Fy-。Fy-計(jì)算部分361將計(jì)算出的y方向上的負(fù)側(cè)空間亮度差總和Fy-提供給Ly-計(jì)算部分391。
Fy+計(jì)算部分362基于y方向上關(guān)于像素的時(shí)間亮度差的符號(hào)以及空間亮度差的符號(hào)，將y方向上關(guān)于基準(zhǔn)塊中每個(gè)像素的空間亮度差的絕對(duì)值加到y(tǒng)方向上的正側(cè)空間亮度差總和Fy+。Fy+計(jì)算部分362將計(jì)算出的y方向上的正側(cè)空間亮度差總和Fy+提供給Ly+計(jì)算部分392。
可以根據(jù)下列的表達(dá)式來計(jì)算x方向上的負(fù)側(cè)空間亮度差總和Fx-、x方向上的正側(cè)空間亮度差總和Fx+、y方向上的負(fù)側(cè)空間亮度差總和Fy-、以及y方向上的正側(cè)空間亮度差總和Fy+ 表達(dá)式11 其中，可以由下列表達(dá)式來表示Ix-(i，j)、Ix+(i，j)、Iy-(i，j)和Iy+(i，j)

表達(dá)式12
以此方式，F(xiàn)x計(jì)算部分350和Fy計(jì)算部分360使用基于關(guān)于基準(zhǔn)塊中每個(gè)像素的空間亮度差的符號(hào)和時(shí)間亮度差的符號(hào)所估算的移動(dòng)體的速度的方向，來計(jì)算正側(cè)和負(fù)側(cè)的空間亮度差的絕對(duì)值的總和。
Lx計(jì)算部分380計(jì)算x方向上的負(fù)側(cè)的檢測(cè)范圍Lx-和正側(cè)的檢測(cè)范圍Lx+。Lx-計(jì)算部分381基于x方向上的負(fù)側(cè)空間亮度差總和Fx-以及x方向上的負(fù)側(cè)時(shí)間亮度差總和Ftx-，計(jì)算x方向上負(fù)側(cè)的檢索范圍Lx-。Lx-計(jì)算部分381通過信號(hào)線329而將計(jì)算出的x方向上負(fù)側(cè)的檢索范圍Lx-提供給參考?jí)K確定部分140。
Lx+計(jì)算部分382基于x方向上的正側(cè)空間亮度差總和Fx+以及x方向上的正側(cè)時(shí)間亮度差總和Ftx+，計(jì)算x方向上正側(cè)的檢索范圍Lx+。Lx+計(jì)算部分382通過信號(hào)線329而將計(jì)算出的x方向上的正側(cè)的檢索范圍Lx+提供給參考?jí)K確定部分140。
Ly計(jì)算部分390計(jì)算y方向上的負(fù)側(cè)的檢測(cè)范圍Ly-和正側(cè)的檢測(cè)范圍Ly+。Ly-計(jì)算部分391基于y方向上的負(fù)側(cè)空間亮度差總和Fy-以及y方向上的負(fù)側(cè)時(shí)間亮度差總和Fty-，計(jì)算y方向上負(fù)側(cè)的檢索范圍Ly-。Ly-計(jì)算部分391通過信號(hào)線329而將計(jì)算出的y方向上負(fù)側(cè)的檢索范圍Ly-提供給參考?jí)K確定部分140。
Ly+計(jì)算部分392基于y方向上的正側(cè)空間亮度差總和Fy+以及y方向上的正側(cè)時(shí)間亮度差總和Fty+，計(jì)算y方向上正側(cè)的檢索范圍Ly+。Ly+計(jì)算部分392通過信號(hào)線329而將計(jì)算出的y方向上正側(cè)的檢索范圍Ly+提供給參考?jí)K確定部分140。
可以根據(jù)下列表達(dá)式來計(jì)算x方向上的負(fù)側(cè)的檢索范圍Lx-和正側(cè)的檢索范圍Lx+、以及y方向上的負(fù)側(cè)的檢索范圍Ly-和正側(cè)的檢索范圍Ly+ 表達(dá)式13 以此方式，通過依靠檢索范圍產(chǎn)生部分320產(chǎn)生不同方向上的正側(cè)和負(fù)側(cè)的檢索范圍，可以在不同方向上非對(duì)稱地定義檢索區(qū)域。從而，由于可以比圖9的配置更適當(dāng)?shù)囟x檢索范圍，因此，可以更高精確度地檢測(cè)運(yùn)動(dòng)矢量。進(jìn)一步，由于可以將檢索區(qū)域抑制到最小，因此可以將塊匹配的處理量最小化。注意，利用該配置，運(yùn)動(dòng)矢量檢測(cè)裝置300中的寄存器的數(shù)目很大。因此，將下面描述的修改進(jìn)行改善，以便減少寄存器的數(shù)目。
[對(duì)于檢索范圍產(chǎn)生部分的配置的第二示例的修改] 圖12示出對(duì)于本發(fā)明第二實(shí)施例中的、檢索區(qū)域被非對(duì)稱地設(shè)置的檢索范圍產(chǎn)生部分320的配置的第二示例的修改。
參考圖12，基準(zhǔn)塊確定部分120包括替代上文中參考圖11所述配置中的Ft計(jì)算部分330的ρx計(jì)算部分510和ρy計(jì)算部分520、并且進(jìn)一步包括上文中參考圖9描述的Ft計(jì)算部分330、Fx計(jì)算部分350和Fy計(jì)算部分360。由于Fx-計(jì)算部分351、Fx+計(jì)算部分352、Fy-計(jì)算部分361和Fy+計(jì)算部分362與上文中參考圖11描述的那些類似，因此為了避免重復(fù)，省略對(duì)于其的重疊描述。此外，F(xiàn)t計(jì)算部分330、Fx計(jì)算部分350和Fy計(jì)算部分360與上文中參考圖9描述的那些類似，因此為了避免重復(fù)，省略對(duì)于其的重疊描述。
ρx計(jì)算部分510基于x方向上的負(fù)側(cè)空間亮度差總和Fx-和正側(cè)空間亮度差總和Fx+，計(jì)算x方向上的正側(cè)似然性(likelihood)和負(fù)側(cè)似然性。ρx計(jì)算部分510包括ρx-計(jì)算部分511和ρx+計(jì)算部分512。
ρx-計(jì)算部分511基于x方向上的負(fù)側(cè)空間亮度差總和Fx-和正側(cè)空間亮度差總和Fx+，計(jì)算x方向上的負(fù)側(cè)似然性ρx-。ρx-計(jì)算部分511將計(jì)算出的x方向上的負(fù)側(cè)似然性ρx-提供給Lx-計(jì)算部分381。
ρx+計(jì)算部分512基于x方向上的負(fù)側(cè)空間亮度差總和Fx-和正側(cè)空間亮度差總和Fx+，計(jì)算x方向上的正側(cè)似然性ρx+。ρx+計(jì)算部分512將計(jì)算出的x方向上的正側(cè)似然性ρx+提供給Lx+計(jì)算部分382。
ρy計(jì)算部分520基于y方向上的負(fù)側(cè)空間亮度差總和Fy-和正側(cè)空間亮度差總和Fy+，計(jì)算y方向上的正側(cè)似然性和負(fù)側(cè)似然性。ρy計(jì)算部分520包括ρy-計(jì)算部分521和ρy+計(jì)算部分522。
ρy-計(jì)算部分521基于y方向上的負(fù)側(cè)空間亮度差總和Fy-和正側(cè)空間亮度差總和Fy+，計(jì)算y方向上的ρy-。ρy-計(jì)算部分521將計(jì)算出的y方向上的負(fù)側(cè)似然性ρy-提供給Ly-計(jì)算部分391。
ρy+計(jì)算部分522基于y方向上的負(fù)側(cè)空間亮度差總和Fy-和正側(cè)空間亮度差總和Fy+，計(jì)算y方向上的正側(cè)似然性ρy+。ρy+計(jì)算部分522將計(jì)算出的y方向上的正側(cè)似然性ρy+提供給Ly+計(jì)算部分392。
可以根據(jù)下列的表達(dá)式來計(jì)算x方向上的負(fù)側(cè)似然性ρx-、x方向上的正側(cè)似然性ρx+、y方向上的負(fù)側(cè)似然性ρy-和y方向上的正側(cè)似然性ρy+ 表達(dá)式14 以此方式，ρx計(jì)算部分510和ρy計(jì)算部分520使用正側(cè)亮度差總和與負(fù)側(cè)亮度差總和，來計(jì)算基準(zhǔn)塊中包括的移動(dòng)體的向上或向下方向上以及向左或向右方向上的似然性。
Lx-計(jì)算部分381基于x方向上的負(fù)側(cè)空間亮度差總和Fx-、x方向上的負(fù)側(cè)時(shí)間亮度差總和Ftx-、以及x方向上的負(fù)側(cè)似然性ρx-，來計(jì)算x方向上的負(fù)側(cè)的檢索范圍Lx-。Lx-計(jì)算部分381通過信號(hào)線329而將計(jì)算出的x方向上負(fù)側(cè)的檢索范圍Lx-提供給參考?jí)K確定部分140。
Lx+計(jì)算部分382基于x方向上的正側(cè)空間亮度差總和Fx+、x方向上的正側(cè)時(shí)間亮度差總和Ftx+、以及x方向上的正側(cè)似然性ρx+，來計(jì)算x方向上的正側(cè)的檢索范圍Lx+。Lx+計(jì)算部分382通過信號(hào)線329而將計(jì)算出的x方向上正側(cè)的檢索范圍Lx+提供給參考?jí)K確定部分140。
Ly-計(jì)算部分391基于y方向上的負(fù)側(cè)空間亮度差總和Fy-、y方向上的負(fù)側(cè)時(shí)間亮度差總和Fty-、以及y方向上的負(fù)側(cè)似然性ρy-，來計(jì)算y方向上的負(fù)側(cè)的檢索范圍Ly-。Ly-計(jì)算部分391通過信號(hào)線329而將計(jì)算出的y方向上負(fù)側(cè)的檢索范圍Ly-提供給參考?jí)K確定部分140。
Ly+計(jì)算部分392基于y方向上的正側(cè)空間亮度差總和Fy+、y方向上的正側(cè)時(shí)間亮度差總和Fty+、以及y方向上的正側(cè)似然性ρy+，計(jì)算y方向上的正側(cè)的檢索范圍Ly+。Ly+計(jì)算部分392通過信號(hào)線329而將計(jì)算出的y方向上正側(cè)的檢索范圍Ly+提供給參考?jí)K確定部分140。
可以根據(jù)下列表達(dá)式來計(jì)算上文中所述的x方向上的負(fù)側(cè)的檢索范圍Lx-和正側(cè)的檢索范圍Lx+、y方向上的負(fù)側(cè)的檢索范圍Ly-和正側(cè)的檢索范圍Ly+ 表示式15 以此方式，通過提供ρx計(jì)算部分510和ρy計(jì)算部分520，與上文中參考圖11描述的配置相比，可以將不同方向上的負(fù)側(cè)和正側(cè)的檢索范圍的計(jì)算的處理量減小。
[運(yùn)動(dòng)矢量檢測(cè)裝置的操作的示例] 現(xiàn)在參考附圖，描述運(yùn)動(dòng)矢量檢測(cè)裝置300的操作。
圖13圖示根據(jù)本發(fā)明第二實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置300的處理方法的處理過程的示例。
參考圖13，在步驟S931處，基準(zhǔn)塊確定部分120首先在來自基準(zhǔn)幀緩沖器110的基準(zhǔn)幀中確定基準(zhǔn)塊。然后，在步驟S932處，F(xiàn)s計(jì)算部分340計(jì)算空間亮度差總和，作為空間亮度差(來自基準(zhǔn)塊確定部分120的基準(zhǔn)塊中的各像素之間的亮度差)的絕對(duì)值的總和。然后，在步驟S933處，F(xiàn)t計(jì)算部分330計(jì)算時(shí)間亮度差總和，作為時(shí)間亮度差(來自對(duì)應(yīng)塊提取部分310的對(duì)應(yīng)塊與來自基準(zhǔn)塊確定部分120的基準(zhǔn)塊中彼此對(duì)應(yīng)的各像素之間的亮度差)的總和。然后，在步驟S934處，L計(jì)算部分370基于來自Ft計(jì)算部分330的空間亮度差總和和來自Fs計(jì)算部分340的時(shí)間亮度差總和，為參考幀計(jì)算檢索范圍。
然后，在步驟S935處，參考?jí)K確定部分140在來自參考幀緩沖器130的參考幀中確定參考?jí)K。然后，在步驟S936處，相關(guān)計(jì)算部分871基于基準(zhǔn)塊的各像素的亮度值和參考?jí)K的各像素的亮度值，來計(jì)算基準(zhǔn)塊和參考?jí)K之間的相關(guān)度。然后，在步驟S937處，將相關(guān)計(jì)算部分871計(jì)算的相關(guān)度與參考?jí)K的位置以彼此關(guān)聯(lián)的關(guān)系存儲(chǔ)在相關(guān)圖存儲(chǔ)部分872中。其后，在步驟S938處，位置獲取部分873判定是否將關(guān)于檢索范圍中確定的所有參考?jí)K的相關(guān)度和位置都存儲(chǔ)在相關(guān)圖存儲(chǔ)部分872中。然后，如果尚未存儲(chǔ)關(guān)于所有參考?jí)K的相關(guān)度和位置，那么處理返回到步驟S935。從而，重復(fù)上述處理，直到存儲(chǔ)了關(guān)于在檢索區(qū)域中設(shè)置的所有參考?jí)K的相關(guān)度和位置為止。
另一方面，如果存儲(chǔ)了關(guān)于所有相關(guān)塊的相關(guān)度和位置，那么在步驟S939處，位置獲取部分873獲取各參考?jí)K中呈現(xiàn)最低相關(guān)度的那個(gè)參考?jí)K的位置。然后，在步驟S940處，運(yùn)動(dòng)矢量計(jì)算部分874基于來自位置獲取部分873的參考?jí)K的位置以及基準(zhǔn)塊的位置，來計(jì)算運(yùn)動(dòng)矢量。
然后，在步驟S941處，判定運(yùn)動(dòng)矢量計(jì)算部分874是否對(duì)所有基準(zhǔn)塊計(jì)算了運(yùn)動(dòng)矢量。然后，如果尚未對(duì)所有基準(zhǔn)塊完成運(yùn)動(dòng)矢量的計(jì)算，那么處理返回到確定新的基準(zhǔn)塊的步驟S941處。另一方面，如果對(duì)所有基準(zhǔn)塊計(jì)算了運(yùn)動(dòng)矢量，那么運(yùn)動(dòng)矢量計(jì)算處理結(jié)束。
以此方式，利用本發(fā)明的第二實(shí)施例，由于通過提供檢索范圍產(chǎn)生部分320可以適當(dāng)?shù)囟x關(guān)于基準(zhǔn)塊的運(yùn)動(dòng)矢量的檢索區(qū)域，因此可以改善運(yùn)動(dòng)矢量的檢測(cè)精度。進(jìn)一步，由于可以將檢索區(qū)域抑制到最小區(qū)域，因此可以將快匹配的處理量減小。從而，可以減小運(yùn)動(dòng)矢量檢測(cè)裝置300的功耗。
<3.第三實(shí)施例> [運(yùn)動(dòng)檢測(cè)器的配置的示例] 圖14示出根據(jù)本發(fā)明第三實(shí)施例的運(yùn)動(dòng)檢測(cè)器600的配置的示例。參考圖14，運(yùn)動(dòng)檢測(cè)器600通過使用簡(jiǎn)化圖像(reduced image)分級(jí)地檢測(cè)運(yùn)動(dòng)矢量，來執(zhí)行估算運(yùn)動(dòng)的分級(jí)運(yùn)動(dòng)估算。運(yùn)動(dòng)檢測(cè)器600包括基準(zhǔn)幀簡(jiǎn)化圖像產(chǎn)生部分610、幀存儲(chǔ)器620、參考幀簡(jiǎn)化圖像產(chǎn)生部分630、第一運(yùn)動(dòng)矢量檢測(cè)部分640和第二運(yùn)動(dòng)矢量檢測(cè)部分650。
基準(zhǔn)幀簡(jiǎn)化圖像產(chǎn)生部分610產(chǎn)生從信號(hào)線601提供的基準(zhǔn)幀的預(yù)定放大倍數(shù)的簡(jiǎn)化圖像。基準(zhǔn)幀簡(jiǎn)化圖像產(chǎn)生部分610將產(chǎn)生的簡(jiǎn)化圖像作為基準(zhǔn)幀簡(jiǎn)化圖像而提供給第一運(yùn)動(dòng)矢量檢測(cè)部分640。
幀存儲(chǔ)器620將從信號(hào)線601提供至其的基準(zhǔn)幀進(jìn)行暫時(shí)保留。幀存儲(chǔ)器620將所保留的基準(zhǔn)幀作為參考幀而提供給參考幀簡(jiǎn)化圖像產(chǎn)生部分630和第二運(yùn)動(dòng)矢量檢測(cè)部分650。
參考幀簡(jiǎn)化圖像產(chǎn)生部分630產(chǎn)生從幀存儲(chǔ)器620提供至其的參考幀的預(yù)定放大倍數(shù)的簡(jiǎn)化圖像。參考幀簡(jiǎn)化圖像產(chǎn)生部分630將產(chǎn)生的簡(jiǎn)化圖像作為參考幀簡(jiǎn)化圖像而提供給第一運(yùn)動(dòng)矢量檢測(cè)部分640。
第一運(yùn)動(dòng)矢量檢測(cè)部分640基于設(shè)置在基準(zhǔn)幀簡(jiǎn)化圖像中的基準(zhǔn)塊以及設(shè)置在參考幀簡(jiǎn)化圖像中的多個(gè)參考?jí)K，來檢測(cè)關(guān)于基準(zhǔn)塊的基準(zhǔn)簡(jiǎn)化圖像(base reduced image)的運(yùn)動(dòng)矢量。例如，可以將上文中參考圖1描述的運(yùn)動(dòng)矢量檢測(cè)裝置100應(yīng)用于第一運(yùn)動(dòng)矢量檢測(cè)部分640。以此方式，由于簡(jiǎn)化圖像的分辨率較低，因此，由于單元塊包括大量的信息，故來自多個(gè)對(duì)象的運(yùn)動(dòng)矢量的檢測(cè)誤差有可能變得很大。所以，期望將加權(quán)計(jì)算部分162中的閾值Dth設(shè)置為低的值。這使得僅具有鄰近于基準(zhǔn)亮度值的亮度值的那些像素為高有效度的像素，從而，由于多個(gè)移動(dòng)體以混合狀態(tài)而存在的事實(shí)，因此可以減小檢測(cè)誤差。
第一運(yùn)動(dòng)矢量檢測(cè)部分640將檢測(cè)到的關(guān)于基準(zhǔn)幀簡(jiǎn)化圖像中的基準(zhǔn)塊的運(yùn)動(dòng)矢量提供給第二運(yùn)動(dòng)矢量檢測(cè)部分650。
第二運(yùn)動(dòng)矢量檢測(cè)部分650基于設(shè)置為基準(zhǔn)幀的基準(zhǔn)塊與設(shè)置為參考幀的多個(gè)參考?jí)K之間的相關(guān)度，來檢測(cè)關(guān)于基準(zhǔn)塊的運(yùn)動(dòng)矢量。具體地，第二運(yùn)動(dòng)矢量檢測(cè)部分650基于來自第一運(yùn)動(dòng)矢量檢測(cè)部分640的運(yùn)動(dòng)矢量來定義檢索區(qū)域。然后，第二運(yùn)動(dòng)矢量檢測(cè)部分650基于設(shè)置在定義的檢索區(qū)域中的多個(gè)參考?jí)K與設(shè)置在基準(zhǔn)幀中的基準(zhǔn)塊之間的相關(guān)度，檢測(cè)關(guān)于基準(zhǔn)幀中基準(zhǔn)塊的運(yùn)動(dòng)矢量。例如，可以將上文中參考圖1描述的運(yùn)動(dòng)矢量檢測(cè)裝置100應(yīng)用于第二運(yùn)動(dòng)矢量檢測(cè)部分650。在該情形下，因?yàn)槊繋膱D像具有高分辨率，因此由于單元塊中包括的信息量小，所以關(guān)于多個(gè)移動(dòng)體的運(yùn)動(dòng)矢量的檢測(cè)誤差不是非常大。因而，優(yōu)選地將加權(quán)計(jì)算部分162中的閾值Dth設(shè)置為高值。從而，可以高精確度地檢測(cè)移動(dòng)體的運(yùn)動(dòng)矢量。
進(jìn)一步，第二運(yùn)動(dòng)矢量檢測(cè)部分650將檢測(cè)到的關(guān)于基準(zhǔn)幀的基準(zhǔn)塊的運(yùn)動(dòng)矢量提供給信號(hào)線609。
這里，參考圖15，簡(jiǎn)要描述由第二運(yùn)動(dòng)矢量檢測(cè)部分650基于來自第一運(yùn)動(dòng)矢量檢測(cè)部分640的運(yùn)動(dòng)矢量來檢測(cè)關(guān)于基準(zhǔn)幀的基準(zhǔn)塊的運(yùn)動(dòng)矢量的分級(jí)檢索技術(shù)。
[運(yùn)動(dòng)矢量的檢測(cè)的示例] 圖15圖示本發(fā)明第三實(shí)施例中的運(yùn)動(dòng)檢測(cè)器600的分級(jí)檢索技術(shù)。參考圖15，圖示了基準(zhǔn)幀602、參考幀621、估算塊654、基準(zhǔn)簡(jiǎn)化幀611、參考簡(jiǎn)化幀631以及運(yùn)動(dòng)矢量641和651～653?；鶞?zhǔn)幀602是動(dòng)態(tài)畫面的當(dāng)前幀的圖像。參考幀621是幀存儲(chǔ)器620中存儲(chǔ)的基準(zhǔn)幀602之前的圖像?；鶞?zhǔn)塊603是用于檢測(cè)運(yùn)動(dòng)矢量的基準(zhǔn)幀602的塊。
基準(zhǔn)簡(jiǎn)化幀611是基準(zhǔn)幀簡(jiǎn)化圖像產(chǎn)生部分610產(chǎn)生的基準(zhǔn)幀602的簡(jiǎn)化圖像。參考簡(jiǎn)化幀631是參考幀簡(jiǎn)化圖像產(chǎn)生部分630產(chǎn)生的參考幀621的簡(jiǎn)化圖像。基準(zhǔn)幀612是與基準(zhǔn)塊603對(duì)應(yīng)的基準(zhǔn)簡(jiǎn)化幀611的塊。這里，假設(shè)基準(zhǔn)簡(jiǎn)化幀611和參考簡(jiǎn)化幀631分別從基準(zhǔn)幀602和參考幀621簡(jiǎn)化到1/N倍。
在該情形下，第一運(yùn)動(dòng)矢量檢測(cè)部分640檢測(cè)關(guān)于設(shè)置為基準(zhǔn)簡(jiǎn)化幀611的基準(zhǔn)幀612的運(yùn)動(dòng)矢量641。然后，第二運(yùn)動(dòng)矢量檢測(cè)部分650基于通過將第一運(yùn)動(dòng)矢量檢測(cè)部分640檢測(cè)到的運(yùn)動(dòng)矢量641增大到n倍而獲得的運(yùn)動(dòng)矢量651，來確定估算塊654的位置。然后，第二運(yùn)動(dòng)矢量檢測(cè)部分650檢測(cè)關(guān)于估算塊654的位置的運(yùn)動(dòng)矢量652，并且基于運(yùn)動(dòng)矢量651和運(yùn)動(dòng)矢量652來計(jì)算關(guān)于基準(zhǔn)幀602的基準(zhǔn)塊603的運(yùn)動(dòng)矢量653。
通過以此方式將運(yùn)動(dòng)矢量檢測(cè)裝置100應(yīng)用于第一運(yùn)動(dòng)矢量檢測(cè)部分640和第二運(yùn)動(dòng)矢量檢測(cè)部分650，同樣在多個(gè)移動(dòng)體在幀中移動(dòng)的情況下，可以高精確度地檢測(cè)運(yùn)動(dòng)矢量。
<4.第四實(shí)施例> [運(yùn)動(dòng)矢量檢測(cè)裝置的配置的示例] 圖16示出根據(jù)本發(fā)明第四實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置700的配置的示例。參考圖16，運(yùn)動(dòng)矢量檢測(cè)裝置700除了包括在上文中參考圖1描述的組件之外，還包括在上文中參考圖7描述的對(duì)應(yīng)塊提取部分310和檢索范圍產(chǎn)生部分320。運(yùn)動(dòng)矢量檢測(cè)裝置700中的對(duì)應(yīng)塊提取部分310和檢索范圍產(chǎn)生部分320與上文中參考圖7描述的那些類似，因此，為了避免重復(fù)，在此省略對(duì)其的重疊描述。進(jìn)一步，運(yùn)動(dòng)矢量檢測(cè)裝置700的其他組件與上文中參考圖1描述的那些類似，因此，為了避免重復(fù)，在此省略對(duì)其的重疊描述。
以此方式，在本發(fā)明的第四實(shí)施例中，由于提供了有效計(jì)算部分160，因此即使幀中包括多個(gè)移動(dòng)體，也可以高精確度地檢測(cè)運(yùn)動(dòng)矢量。進(jìn)一步，可以優(yōu)化檢索區(qū)域，以便減小塊匹配的相關(guān)度計(jì)算處理。
以此方式，利用本發(fā)明的實(shí)施例，可以計(jì)算出與基準(zhǔn)塊的每個(gè)像素位置對(duì)應(yīng)的有效度，以便改善關(guān)于基準(zhǔn)塊的運(yùn)動(dòng)矢量的檢測(cè)精度。
注意，參考圖17描述將根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置100和700應(yīng)用于圖像拾取裝置710的示例。
圖17示出本發(fā)明實(shí)施例的圖像拾取裝置710的配置的示例。參考圖17，圖像拾取裝置710包括控制部分711、圖像拾取部分712、信號(hào)處理部分715、面部檢測(cè)部分716和運(yùn)動(dòng)矢量檢測(cè)部分717。圖像拾取裝置710進(jìn)一步包括模糊校正部分718、圖像存儲(chǔ)部分719、總線721、用戶接口722、圖像壓縮-解壓縮部分725、存儲(chǔ)介質(zhì)726、輸入/輸出端子727、存儲(chǔ)器728和抖動(dòng)傳感器729。注意，通過直接通信或者通過經(jīng)由圖像存儲(chǔ)部分719或總線721的通信來執(zhí)行不同塊之間的圖像信號(hào)的傳輸。
控制部分711基于存儲(chǔ)在存儲(chǔ)器中的各種控制程序(未示出)來控制圖像拾取裝置710的各組件。
圖像拾取部分712包括光學(xué)系統(tǒng)713和圖像拾取器件714，并且將來自圖像拾取對(duì)象的入射光光電地轉(zhuǎn)換為電信號(hào)，且將該電信號(hào)輸出到信號(hào)處理部分715。光學(xué)系統(tǒng)713包括含有聚焦鏡頭、變焦鏡頭、模糊校正鏡頭以及模糊校正棱鏡的多個(gè)鏡頭組，并且將通過鏡頭組輸入的、來自圖像拾取對(duì)象的入射光輸出到圖像拾取器件714。圖像拾取器件714將光學(xué)系統(tǒng)713輸出的入射光進(jìn)行光電轉(zhuǎn)換，并且將得到的電信號(hào)輸出至信號(hào)處理部分715。注意，圖像拾取部分712可以對(duì)模糊校正鏡頭的移動(dòng)或傾斜、模糊校正棱鏡的變形或傾斜、圖像拾取器件714的移動(dòng)等引起的和檢測(cè)到的模糊進(jìn)行光校正。這種光校正是在控制部分711的控制之下來執(zhí)行的。
信號(hào)處理部分715對(duì)圖像拾取器件714輸出的電信號(hào)執(zhí)行各種信號(hào)處理，并且將信號(hào)處理得到的圖像數(shù)據(jù)輸出至圖像存儲(chǔ)部分719、圖像壓縮-解壓縮部分725、用戶接口722和面部檢測(cè)部分716。信號(hào)處理部分715的信號(hào)處理包括噪聲降低處理、電平校正處理、A/D轉(zhuǎn)換處理以及色彩校正處理。進(jìn)一步，信號(hào)處理部分715根據(jù)來自控制部分711的指令，對(duì)從相關(guān)聯(lián)的塊輸入的圖像執(zhí)行各種圖像處理。
面部檢測(cè)部分716檢測(cè)與輸入的圖像數(shù)據(jù)對(duì)應(yīng)的圖像中包括的人的面部。
運(yùn)動(dòng)矢量檢測(cè)部分717檢測(cè)通過圖像處理而將對(duì)應(yīng)于所輸入圖像數(shù)據(jù)的圖像劃分到每個(gè)塊的運(yùn)動(dòng)矢量，并且將對(duì)應(yīng)于檢測(cè)到的運(yùn)動(dòng)矢量的值輸出至控制部分711?？梢詫⒏鶕?jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置100和700應(yīng)用于運(yùn)動(dòng)矢量檢測(cè)部分717。
模糊校正部分718基于在運(yùn)動(dòng)矢量檢測(cè)部分717檢測(cè)到的運(yùn)動(dòng)矢量的基礎(chǔ)上計(jì)算的模糊校正量等，移動(dòng)與所輸入圖像對(duì)應(yīng)的圖像的位置，以便校正圖像的模糊。注意，模糊校正部分718包括電模糊校正部件和光模糊校正部件。
注意，將模糊校正部分718校正了模糊的圖像輸出至圖像壓縮-解壓縮部分725。然后，圖像壓縮-解壓縮部分725對(duì)校正了模糊的圖像執(zhí)行圖像壓縮處理，并且將得到的圖像記錄在存儲(chǔ)介質(zhì)726上。進(jìn)一步，在顯示部分723上顯示校正了模糊的圖像。
圖像存儲(chǔ)部分719將通過圖像拾取裝置710的處理的對(duì)象的圖像數(shù)據(jù)進(jìn)行存儲(chǔ)。
總線721是用于傳送圖像數(shù)據(jù)的共享總線。用戶接口722包括顯示部分723和選擇接受部分724，并且向使用圖像拾取裝置710的用戶提供接口。
顯示部分723將從信號(hào)處理部分715或圖像壓縮-解壓縮部分725輸出的圖像數(shù)據(jù)所對(duì)應(yīng)的圖像進(jìn)行顯示。顯示部分723例如顯示作為圖像拾取裝置710拾取的圖像拾取對(duì)象的圖像的已拾取圖像。
選擇接受部分724將用戶輸入的選擇信息轉(zhuǎn)換為電信號(hào)，并且將該電信號(hào)輸出至控制部分711。例如，如果面部檢測(cè)部分716從輸出自圖像拾取部分712的拾取圖像中檢測(cè)面部，那么由圖像拾取裝置710執(zhí)行基于從拾取圖像中檢測(cè)到的面部的模糊校正處理。以此方式，在拾取的圖像包括面部的情況下，可以建立對(duì)面部執(zhí)行模糊校正處理的模式(開啟(ON)設(shè)置)或者不對(duì)面部執(zhí)行模糊校正處理的另一模式(關(guān)閉(OFF)設(shè)置)。
注意，可以配置用戶接口722以使得例如將顯示部分723和選擇接受部分724集成地形成為觸摸板，或者從液晶顯示設(shè)備(LCD)形成顯示部分723以及將選擇接受部分724形成為硬件按鍵。
圖像壓縮-解壓縮部分725對(duì)響應(yīng)于各種圖像處理而向其輸入的各種圖像數(shù)據(jù)進(jìn)行壓縮和解壓縮。例如，將用于圖像壓縮-解壓縮部分725執(zhí)行壓縮處理的圖像數(shù)據(jù)輸出至存儲(chǔ)介質(zhì)726，并且將其存儲(chǔ)在存儲(chǔ)介質(zhì)726上。進(jìn)一步，將用于圖像壓縮-解壓縮部分725執(zhí)行解壓縮處理的圖像數(shù)據(jù)輸出至圖像存儲(chǔ)部分719、顯示部分723和面部檢測(cè)部分716。注意，壓縮方法例如可以是JPEG(聯(lián)合圖象專家組)方法。
存儲(chǔ)介質(zhì)726是存儲(chǔ)從圖像壓縮-解壓縮部分725輸出的圖像數(shù)據(jù)以及將輸入到其之中的圖像數(shù)據(jù)輸出至圖像壓縮-解壓縮部分725的圖像存儲(chǔ)介質(zhì)。注意，作為圖像存儲(chǔ)介質(zhì)，磁盤、光盤、半導(dǎo)體存儲(chǔ)介質(zhì)、磁帶等是可用的。進(jìn)一步，圖像存儲(chǔ)介質(zhì)包括外部移動(dòng)式存儲(chǔ)介質(zhì)和內(nèi)建存儲(chǔ)介質(zhì)中至少之一。
輸入/輸出端子727用于將從圖像壓縮-解壓縮部分725輸出的圖像數(shù)據(jù)通過其輸出至諸如外部存儲(chǔ)介質(zhì)之類的外部裝置，并且將從外部存儲(chǔ)介質(zhì)輸入的圖像數(shù)據(jù)通過其輸出至圖像壓縮-解壓縮部分725。
存儲(chǔ)器728是用于存儲(chǔ)各種類型信息的易失性/非易失性存儲(chǔ)介質(zhì)。
抖動(dòng)傳感器729檢測(cè)圖像拾取裝置710的抖動(dòng)并檢測(cè)不依賴于圖像的模糊分量(即，圖像拾取裝置710的主體(body)的模糊分量)，并且將各種檢測(cè)到的信息輸出至控制部分711。例如，可以使用陀螺傳感器、速度傳感器或加速度傳感器來實(shí)現(xiàn)抖動(dòng)傳感器729。
以此方式，通過將根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置100和700應(yīng)用于圖像拾取裝置710，可以改善圖像拾取裝置710對(duì)于運(yùn)動(dòng)矢量的檢測(cè)精度。
注意，雖然在本發(fā)明實(shí)施例的上述描述中，參考幀是基準(zhǔn)幀的前一幀的幀，但是也可以將本發(fā)明應(yīng)用于參考幀是當(dāng)前幀、而基準(zhǔn)幀是參考幀的前一幀的幀。
注意，雖然在上述本發(fā)明實(shí)施例中，使用了關(guān)于基準(zhǔn)塊的所有像素的亮度值，但是可替代地，可以僅使用基準(zhǔn)塊的某些像素的亮度值。
進(jìn)一步，注意，可以將本發(fā)明的實(shí)施例應(yīng)用于用以在圖像拾取裝置或圖像存儲(chǔ)裝置(諸如便攜式攝像機(jī)或錄像機(jī))中壓縮存儲(chǔ)處理中的動(dòng)態(tài)圖片的圖像編碼處理。
進(jìn)一步，注意，可以將本發(fā)明的實(shí)施例應(yīng)用于檢測(cè)動(dòng)態(tài)圖像被拾取時(shí)的模糊的圖像拾取裝置或圖像存儲(chǔ)裝置(諸如便攜式攝像機(jī)或錄像機(jī))中的再現(xiàn)處理的模糊緩和處理或者存儲(chǔ)處理。
進(jìn)一步，注意，可以將本發(fā)明的實(shí)施例應(yīng)用于檢測(cè)由圖像拾取處理部分產(chǎn)生的隨機(jī)噪聲的圖像拾取裝置或圖像存儲(chǔ)裝置(諸如便攜式攝像機(jī)或錄像機(jī))中的再現(xiàn)處理的噪聲降低處理或者存儲(chǔ)處理。
進(jìn)一步，注意，可以將本發(fā)明的實(shí)施例應(yīng)用于圖像存儲(chǔ)裝置(諸如錄像機(jī))中的再現(xiàn)處理的幀內(nèi)插處理，以便減小由于幀的不足而引起的時(shí)間方向上的分辨率的不足。
進(jìn)一步，本發(fā)明的實(shí)施例表示用于體現(xiàn)本發(fā)明的示例，并且具有與所附權(quán)利要求中描述的本發(fā)明的不同特征的對(duì)應(yīng)關(guān)系。然而，本發(fā)明不限于這些實(shí)施例，而是可以在不脫離本發(fā)明的精神和范圍的情況下進(jìn)行各種修改。
進(jìn)一步，可以將本發(fā)明實(shí)施例的描述中所述的處理過程理解為具有如上所述的這一系列步驟的方法，或者可以將其理解為用于促使計(jì)算機(jī)執(zhí)行這一系列的步驟的程序或者用于存儲(chǔ)該程序的存儲(chǔ)介質(zhì)。作為存儲(chǔ)介質(zhì)，CD(光盤)、MD(迷你盤)、DVD(數(shù)字多功能盤)、存儲(chǔ)器卡、藍(lán)光盤(Blu-ray Disc(注冊(cè)商標(biāo)))等是可用的。
本申請(qǐng)包含涉及于2008年11月5日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP 2008-284627中公開的主題，在此通過引用并入其全部?jī)?nèi)容。
權(quán)利要求
1.一種運(yùn)動(dòng)矢量檢測(cè)裝置，包含
基準(zhǔn)亮度值產(chǎn)生部分，其配置為基于設(shè)置在基準(zhǔn)幀中的基準(zhǔn)塊的各像素中預(yù)定一個(gè)的亮度值，來產(chǎn)生所述基準(zhǔn)塊的基準(zhǔn)亮度值；
有效計(jì)算部分，其配置為基于所述基準(zhǔn)塊的各像素的亮度值以及所述基準(zhǔn)亮度值，來計(jì)算所述基準(zhǔn)塊的每個(gè)像素的有效度；
相關(guān)計(jì)算部分，其配置為基于所述基準(zhǔn)塊的各像素的亮度值、設(shè)置在參考幀中的多個(gè)參考?jí)K中的、與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的各像素的亮度值、以及與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的有效度，來為每個(gè)所述參考?jí)K計(jì)算所述參考?jí)K與所述基準(zhǔn)塊的相關(guān)度；
位置獲取部分，其配置為獲取設(shè)置在所述參考幀中的各參考?jí)K的、呈現(xiàn)與所述基準(zhǔn)塊的最高相關(guān)度的那個(gè)參考?jí)K的位置；以及
運(yùn)動(dòng)矢量計(jì)算部分，其配置為基于所述位置獲取部分獲取的所述參考?jí)K的位置以及所述基準(zhǔn)塊的位置來計(jì)算運(yùn)動(dòng)矢量。
2.如權(quán)利要求1所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述有效計(jì)算部分計(jì)算有效度以使得在基準(zhǔn)亮度值和基準(zhǔn)塊的每個(gè)像素的亮度值之間的差的絕對(duì)值低于預(yù)定閾值的情況下，有效度呈現(xiàn)比任何其他情形下的值更高的值。
3.如權(quán)利要求2所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述有效計(jì)算部分計(jì)算有效度以使得在基準(zhǔn)亮度值和基準(zhǔn)塊的每個(gè)像素的亮度值之間的差的絕對(duì)值低于該預(yù)定閾值的情況下，有效度呈現(xiàn)固定值。
4.如權(quán)利要求2所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述有效計(jì)算部分計(jì)算有效度以使得在基準(zhǔn)亮度值與基準(zhǔn)塊的每個(gè)像素的亮度值之間的差絕對(duì)值低于該預(yù)定閾值的情況下，有效度呈現(xiàn)反比于所述差的絕對(duì)值而增大的值。
5.如權(quán)利要求1所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述基準(zhǔn)亮度值產(chǎn)生部分基于基準(zhǔn)塊中預(yù)定像素的亮度值來產(chǎn)生統(tǒng)計(jì)值，作為基準(zhǔn)亮度值。
6.如權(quán)利要求5所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述基準(zhǔn)亮度值產(chǎn)生部分基于位于基準(zhǔn)塊的中心附近的預(yù)定像素的亮度值來產(chǎn)生統(tǒng)計(jì)值。
7.如權(quán)利要求1所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述基準(zhǔn)亮度值產(chǎn)生部分產(chǎn)生基準(zhǔn)塊中各像素之一的亮度值，作為基準(zhǔn)亮度值。
8.如權(quán)利要求1所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述相關(guān)度計(jì)算部分基于所述基準(zhǔn)塊的各像素的亮度值、與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的參考?jí)K的各像素的亮度值、以及與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的有效度，來計(jì)算所述參考?jí)K的每個(gè)像素的相關(guān)值，并且對(duì)各像素的值執(zhí)行總和算術(shù)運(yùn)算，以便計(jì)算所述參考?jí)K的相關(guān)度。
9.如權(quán)利要求8所述的運(yùn)動(dòng)矢量檢測(cè)裝置，其中，所述相關(guān)度計(jì)算部分將所述基準(zhǔn)塊中每個(gè)像素的亮度值和參考?jí)K中的、與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的每個(gè)像素的亮度值之間的差的絕對(duì)值乘以與所述基準(zhǔn)塊的像素位置對(duì)應(yīng)的有效度，以便計(jì)算相關(guān)值。
10.一種運(yùn)動(dòng)矢量檢測(cè)方法，包括以下步驟
基于設(shè)置在基準(zhǔn)幀中的基準(zhǔn)塊的各像素中預(yù)定一個(gè)的亮度值，來產(chǎn)生所述基準(zhǔn)塊的基準(zhǔn)亮度值；
基于所述基準(zhǔn)塊的各像素的亮度值以及所述基準(zhǔn)亮度值，來計(jì)算所述基準(zhǔn)塊的每個(gè)像素的有效度；
基于所述基準(zhǔn)塊的各像素的亮度值、設(shè)置在參考幀中的多個(gè)參考?jí)K中的、與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的各像素的亮度值、以及與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的有效度，來為每個(gè)所述參考?jí)K計(jì)算所述參考?jí)K與所述基準(zhǔn)塊的相關(guān)度；
獲取設(shè)置在所述參考幀中的各參考?jí)K的、呈現(xiàn)與所述基準(zhǔn)塊的最高相關(guān)度的那個(gè)參考?jí)K的位置；以及
基于在所述位置獲取步驟處獲取的所述參考?jí)K的位置以及所述基準(zhǔn)塊的位置來計(jì)算運(yùn)動(dòng)矢量。
11.一種用于促使計(jì)算機(jī)執(zhí)行以下步驟的程序，所述步驟包括
基于設(shè)置在基準(zhǔn)幀中的基準(zhǔn)塊的各像素中預(yù)定一個(gè)的亮度值，來產(chǎn)生所述基準(zhǔn)塊的基準(zhǔn)亮度值；
基于所述基準(zhǔn)塊的各像素的亮度值以及所述基準(zhǔn)亮度值，來計(jì)算所述基準(zhǔn)塊的每個(gè)像素的有效度；
基于所述基準(zhǔn)塊的各像素的亮度值、設(shè)置在參考幀中的多個(gè)參考?jí)K中的、與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的各像素的亮度值、以及與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的有效度，來為每個(gè)所述參考?jí)K計(jì)算所述參考?jí)K與所述基準(zhǔn)塊的相關(guān)度；
獲取設(shè)置在所述參考幀中的各參考?jí)K的、呈現(xiàn)與所述基準(zhǔn)塊的最高相關(guān)度的那個(gè)參考?jí)K的位置；以及
基于在所述位置獲取步驟處獲取的所述參考?jí)K的位置以及所述基準(zhǔn)塊的位置來計(jì)算運(yùn)動(dòng)矢量。
12.一種運(yùn)動(dòng)矢量檢測(cè)裝置，包含
基準(zhǔn)亮度值產(chǎn)生部件，其配置為基于設(shè)置在基準(zhǔn)幀中的基準(zhǔn)塊的各像素中預(yù)定一個(gè)的亮度值，來產(chǎn)生所述基準(zhǔn)塊的基準(zhǔn)亮度值；
有效計(jì)算部件，其配置為基于所述基準(zhǔn)塊的各像素的亮度值以及所述基準(zhǔn)亮度值，來計(jì)算所述基準(zhǔn)塊的每個(gè)像素的有效度；
相關(guān)計(jì)算部件，其配置為基于所述基準(zhǔn)塊的各像素的亮度值、設(shè)置在參考幀中的多個(gè)參考?jí)K中的、與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的各像素的亮度值、以及與所述基準(zhǔn)塊的各像素位置對(duì)應(yīng)的有效度，來為每個(gè)所述參考?jí)K計(jì)算所述參考?jí)K與所述基準(zhǔn)塊的相關(guān)度；
位置獲取部件，其配置為獲取設(shè)置在所述參考幀中的各參考?jí)K的、呈現(xiàn)與所述基準(zhǔn)塊的最高相關(guān)度的那個(gè)參考?jí)K的位置；以及
運(yùn)動(dòng)矢量計(jì)算部件，其配置為基于所述位置獲取部件獲取的所述參考?jí)K的位置以及所述基準(zhǔn)塊的位置來計(jì)算運(yùn)動(dòng)矢量。
全文摘要
公開了運(yùn)動(dòng)矢量檢測(cè)裝置、運(yùn)動(dòng)矢量處理方法和程序。所述運(yùn)動(dòng)矢量檢測(cè)裝置包含基準(zhǔn)亮度值產(chǎn)生部分，其配置為產(chǎn)生基準(zhǔn)塊的基準(zhǔn)亮度值；有效計(jì)算部分，其配置為基于所述基準(zhǔn)塊的各像素的亮度值以及所述基準(zhǔn)亮度值，來計(jì)算所述基準(zhǔn)塊的每個(gè)像素的有效度；相關(guān)計(jì)算部分，其配置為為每個(gè)所述參考?jí)K計(jì)算所述參考?jí)K與所述基準(zhǔn)塊的相關(guān)度；位置獲取部分，其配置為獲取設(shè)置在所述參考幀中的各參考?jí)K的、呈現(xiàn)與所述基準(zhǔn)塊的最高相關(guān)度的那個(gè)參考?jí)K的位置；以及運(yùn)動(dòng)矢量計(jì)算部分，其配置為基于所述位置獲取部分獲取的所述參考?jí)K的位置以及所述基準(zhǔn)塊的位置來計(jì)算運(yùn)動(dòng)矢量。
文檔編號(hào)H04N7/26GK101742310SQ200910211858
公開日2010年6月16日 申請(qǐng)日期2009年11月5日 優(yōu)先權(quán)日2008年11月5日
發(fā)明者橫山正幸 申請(qǐng)人:索尼株式會(huì)社