專利名稱：圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于檢測(cè)兩個(gè)不同畫面之間的運(yùn)動(dòng)矢量的圖像處理裝置和圖像處理方法。更具體而言，本發(fā)明適于檢測(cè)如下畫面之間的運(yùn)動(dòng)矢量的情形，所述畫面在通過(guò)使用諸如數(shù)字照相機(jī)或攝像機(jī)等的圖像拾取裝置執(zhí)行的圖像拾取過(guò)程中所獲得的圖像信息中包括所謂的手顫抖(hand-trembling)分量。
背景技術(shù)：
一般而言，在通過(guò)使用手持的諸如數(shù)字照相機(jī)(或攝像機(jī))等圖像拾取設(shè)備執(zhí)行圖像拾取操作時(shí)，圖像拾取設(shè)備由于圖像拾取操作期間的手顫抖而抖動(dòng)，導(dǎo)致所拍攝圖像的每個(gè)畫面的抖動(dòng)。一種已知的針對(duì)作為所拍攝圖像的抖動(dòng)的由手顫抖導(dǎo)致的抖動(dòng)，對(duì)所拍攝圖像進(jìn)行補(bǔ)償?shù)姆椒ㄊ菣z測(cè)所拍攝圖像的每個(gè)畫面的運(yùn)動(dòng)矢量，并且基于檢測(cè)出的運(yùn)動(dòng)矢量，圖像存儲(chǔ)器中存在的作為圖像拾取數(shù)據(jù)讀取位置的位置被偏移，以便針對(duì)手的顫抖導(dǎo)致的抖動(dòng)，對(duì)圖像進(jìn)行補(bǔ)償。
此外，作為檢測(cè)所拍攝圖像的每個(gè)畫面的運(yùn)動(dòng)矢量的方法，已知一種用于找出兩畫面的所拍攝圖像之間的相關(guān)性的塊匹配技術(shù)。由于塊匹配技術(shù)不需要諸如充當(dāng)角速度傳感器的陀螺儀傳感器(gyro sensor)等的機(jī)械組件，因此該技術(shù)提供了可以實(shí)現(xiàn)體積小、重量輕的圖像拾取設(shè)備的優(yōu)點(diǎn)。
圖42和圖43是描述塊匹配技術(shù)的概況時(shí)參考的示圖。圖44示出了表示采用塊匹配技術(shù)的典型處理的流程圖。
塊匹配技術(shù)是這樣的方法，其中，由圖像拾取單元輸出的所拍攝圖像的原始畫面上的單位塊和所拍攝圖像的參考畫面上的同一單位塊之間的運(yùn)動(dòng)矢量被與原始畫面上的塊和參考畫面上的相同塊之間的相關(guān)性相關(guān)聯(lián)。由圖像拾取單元輸出的所拍攝圖像的參考畫面被定義為當(dāng)前正被處理的畫面，而也被稱為目標(biāo)畫面的原始畫面被定義為緊挨參考畫面的前一畫面或在參考畫面之前隔了一個(gè)畫面間隔的畫面。
應(yīng)當(dāng)注意，在此情形下，畫面是由一幀或一場(chǎng)圖像數(shù)據(jù)組成的圖像。但是在本發(fā)明說(shuō)明書中，畫面被定義為由一幀圖像數(shù)據(jù)組成的圖像，以便使得說(shuō)明易于理解。因此，畫面也被稱為幀。也就是說(shuō)，參考畫面和原始畫面也分別被稱為參考幀和原始幀。
例如，參考幀的圖像數(shù)據(jù)是這樣的圖像數(shù)據(jù)，其已被圖像拾取單元輸出，并作為當(dāng)前幀的圖像數(shù)據(jù)，自當(dāng)前幀的顯現(xiàn)，在幀存儲(chǔ)器中存儲(chǔ)了與出現(xiàn)一幀相對(duì)應(yīng)的延遲時(shí)間。另一方面，原始幀的圖像數(shù)據(jù)是這樣的圖像數(shù)據(jù)，其作為緊挨著的前一幀的圖像，自當(dāng)前幀的顯現(xiàn)，在幀存儲(chǔ)器中存儲(chǔ)了與出現(xiàn)兩幀相對(duì)應(yīng)的延遲時(shí)間。
如上所述，圖42和圖43是在描述塊匹配技術(shù)的概況時(shí)參考的圖形。圖44示出了代表采用塊匹配技術(shù)的典型處理的流程圖。
根據(jù)塊匹配技術(shù)，如圖42所示，在原始幀101(也被稱為目標(biāo)幀101)上的任意預(yù)定位置處設(shè)置目標(biāo)塊103。目標(biāo)塊103是具有預(yù)定大小的矩形區(qū)域。目標(biāo)塊103具有多個(gè)像素，這些像素在水平方向上排列為形成行，多個(gè)這種行在垂直方向上排列。
另一方面，在參考幀102上與目標(biāo)塊103的位置(或坐標(biāo))相同的位置(或相同的坐標(biāo))處，如果手不顫抖，則目標(biāo)塊投影圖像塊104將充當(dāng)目標(biāo)塊103。在圖42中，目標(biāo)塊投影圖像塊104被繪制為被虛線圍繞的塊。于是，搜索范圍105被設(shè)置為其中心與目標(biāo)塊投影圖像塊104重合。在圖42中，搜索范圍105被繪制為被點(diǎn)劃線圍繞的塊。此外，參考?jí)K106被假設(shè)為在搜索范圍105上要從一個(gè)位置到另一個(gè)位置移動(dòng)的塊，如下面將描述的。當(dāng)參考?jí)K106位于參考幀102上存在的下述位置時(shí)，移動(dòng)的參考?jí)K106和目標(biāo)塊103之間的相關(guān)性變?yōu)樽顝?qiáng)所述位置是沒(méi)有由于手顫抖而從原始幀101上的目標(biāo)塊103的位置偏移的位置，如圖所示。
然后，參考幀102上的參考?jí)K106的位置在搜索范圍105上改變，努力搜索搜索范圍105以便找出表現(xiàn)出該位置的參考?jí)K106中包括的圖像數(shù)據(jù)與目標(biāo)塊103中包括圖像數(shù)據(jù)之間的最強(qiáng)相關(guān)性的位置，即，找出移動(dòng)的參考?jí)K106和目標(biāo)塊103之間的相關(guān)性變?yōu)樽顝?qiáng)的位置。表現(xiàn)出最強(qiáng)相關(guān)性的位置被檢測(cè)為參考?jí)K106的最強(qiáng)相關(guān)性位置，或者目標(biāo)塊103在參考幀102上的實(shí)際位置。檢測(cè)出的參考?jí)K106的最強(qiáng)相關(guān)性位置或目標(biāo)塊103在參考幀102上的實(shí)際位置從目標(biāo)塊投影圖像塊104的位置的偏移量值被檢測(cè)為運(yùn)動(dòng)矢量110，其包括移動(dòng)方向。
在搜索搜索范圍105以找出表現(xiàn)出最強(qiáng)相關(guān)性的位置的過(guò)程中，參考?jí)K106在參考幀102上的位置在搜索范圍105上一般以一次對(duì)應(yīng)于一個(gè)像素或多個(gè)像素的距離，在垂直和水平方向上改變。因此，多個(gè)參考?jí)K位置中的每一個(gè)都被預(yù)先設(shè)置在搜索范圍105中，作為參考?jí)K106要在搜索過(guò)程期間被移動(dòng)到的位置。
在搜索范圍105上從一個(gè)位置移動(dòng)到另一個(gè)位置的參考?jí)K106和目標(biāo)塊103之間的最強(qiáng)相關(guān)性基本上是在參考?jí)K106的每個(gè)目前位置處的參考?jí)K106的像素和目標(biāo)塊103的相應(yīng)像素的基礎(chǔ)上計(jì)算的。作為計(jì)算移動(dòng)的參考?jí)K106和目標(biāo)塊103之間的最強(qiáng)相關(guān)性的方法，已經(jīng)提出了多種技術(shù)，包括均方方法。通過(guò)使用將在后面作為用于存儲(chǔ)通過(guò)采用將相關(guān)性表達(dá)為SAD(絕對(duì)差之和)的典型方法來(lái)找到最強(qiáng)相關(guān)性的過(guò)程的結(jié)果的表而被描述的表，上述運(yùn)動(dòng)矢量110被檢測(cè)為代表從目標(biāo)塊投影圖像塊104的位置到參考?jí)K106的最強(qiáng)相關(guān)性位置的距離的大小和方向的參考矢量。SAD是參考?jí)K106中的所有像素和目標(biāo)塊103中的所有相應(yīng)像素之間的亮度值之差的絕對(duì)值的和。最強(qiáng)相關(guān)性由用于從目標(biāo)塊投影圖像塊104的位置開始的運(yùn)動(dòng)矢量110所指示的最強(qiáng)相關(guān)性位置的最小SAD代表。
如果SAD值被用于代表相關(guān)性值，則SAD值越小，相關(guān)性越強(qiáng)。因此，在將參考?jí)K106在搜索范圍105上從一個(gè)位置移動(dòng)到另一個(gè)位置的過(guò)程中，搜索范圍105中的位置被檢測(cè)作為參考?jí)K106的最強(qiáng)相關(guān)性位置，即，作為表現(xiàn)出參考?jí)K106和目標(biāo)塊103之間的最強(qiáng)相關(guān)性的位置，或具有參考?jí)K106和目標(biāo)塊103之間的最小SAD值的位置。運(yùn)動(dòng)矢量110是代表從原始幀101上的目標(biāo)塊103的位置或參考幀102上的目標(biāo)塊投影圖像塊104的位置到表現(xiàn)出最強(qiáng)相關(guān)性的檢測(cè)出的位置或具有最小SAD值的檢測(cè)出的位置的偏移的矢量。
根據(jù)塊匹配技術(shù)，參考?jí)K106將在搜索范圍105上移動(dòng)到的多個(gè)位置被預(yù)先設(shè)置，這些位置被搜索，以找出表現(xiàn)出參考?jí)K106和目標(biāo)塊103之間的最強(qiáng)相關(guān)性的特定位置，或具有參考?jí)K106和目標(biāo)塊103之間的最小SAD值的特定位置，并且包括偏移方向的參考矢量107被用作代表從原始幀101上的目標(biāo)塊103的位置或參考幀102上的目標(biāo)塊投影圖像塊104的位置到表現(xiàn)出參考?jí)K106和目標(biāo)塊103之間的最強(qiáng)相關(guān)性的特定位置，或到具有參考?jí)K106和目標(biāo)塊103之間的最小SAD值的特定位置的偏移的矢量，如圖42所示。因此，指向參考?jí)K106的參考矢量107具有由參考幀102上的參考?jí)K106的最強(qiáng)相關(guān)性位置確定的值，并且在塊匹配技術(shù)的情形下，參考?jí)K106的最強(qiáng)相關(guān)性位置是表現(xiàn)出最小SAD值的位置。
根據(jù)塊匹配技術(shù)，對(duì)于參考?jí)K106要在搜索范圍105上移動(dòng)到的多個(gè)位置中的每一個(gè)位置，計(jì)算出的參考?jí)K106和目標(biāo)塊103之間的SAD值通過(guò)被與指向參考?jí)K106的位置的參考矢量107相關(guān)聯(lián)而被記錄為存儲(chǔ)在存儲(chǔ)器中的相關(guān)性值表108中的表元素，如圖43所示。為了簡(jiǎn)化說(shuō)明，在下文中，參考?jí)K106和目標(biāo)塊103之間的SAD值也被稱為參考?jí)KSAD值，而指向參考?jí)K106的位置的參考矢量107也被稱為運(yùn)動(dòng)矢量110。因此，可以通過(guò)搜索在存儲(chǔ)器中存儲(chǔ)的所有參考?jí)KSAD值以找出最小參考?jí)KSAD值，來(lái)從相關(guān)性值表108找到與最小參考?jí)KSAD值相關(guān)聯(lián)的運(yùn)動(dòng)矢量110。
如上所述，對(duì)于參考?jí)K106要在搜索范圍105上移動(dòng)到的多個(gè)位置中的每一個(gè)位置，通過(guò)被與參考矢量107相關(guān)聯(lián)，參考?jí)K106和目標(biāo)塊103之間的參考?jí)KSAD值被記錄為相關(guān)性值表108中的表元素，相關(guān)性值表10g以后也稱為SAD表108。參考?jí)KSAD值代表參考?jí)K106和目標(biāo)塊103之間的相關(guān)性。由于參考?jí)KSAD值是參考?jí)K106中的所有像素和目標(biāo)塊103中的所有相應(yīng)像素之間的亮度值之差的絕對(duì)值的和，因此用于記錄這種差的絕對(duì)值的每個(gè)和的相關(guān)性值表108也稱為SAD表108。
如圖43所示，相關(guān)性值表108中的每個(gè)元素都是相關(guān)性值，該相關(guān)性值是與該元素的地址相對(duì)應(yīng)的位置處的參考?jí)K106的相關(guān)性值，或者是該位置的參考?jí)KSAD值。
應(yīng)當(dāng)注意，在上文中，目標(biāo)塊103或參考?jí)K106的位置分別是目標(biāo)塊103或參考?jí)K106的特定部分的位置。特定部分的示例是目標(biāo)塊103或參考?jí)K106的中心。同樣如上所述，包括偏移方向的參考矢量107是代表從原始幀101上的目標(biāo)塊103的位置或參考幀102上的目標(biāo)塊投影圖像塊104的位置到表現(xiàn)出最強(qiáng)相關(guān)性的位置或具有最小SAD值的位置的偏移量的矢量。在圖42和圖43所示的示例中，目標(biāo)塊103和目標(biāo)塊投影圖像塊104都位于幀的中心。
指向參考?jí)K106并且包括偏移方向的參考矢量107是代表從目標(biāo)塊103的位置或目標(biāo)塊投影圖像塊104的位置到表現(xiàn)出最強(qiáng)相關(guān)性的位置或具有最小SAD值的位置的偏移量的矢量。因此，如果識(shí)別出了表現(xiàn)出參考?jí)K106和目標(biāo)塊103之間的最強(qiáng)相關(guān)性的位置或具有參考?jí)K106和目標(biāo)塊103之間的最小SAD值的位置，那么也就識(shí)別出了參考矢量107的值。也就是說(shuō)，如果識(shí)別出了存儲(chǔ)器中的相關(guān)性值表108的元素的地址，那么也就識(shí)別出了參考矢量107的值。
下面通過(guò)參考圖44所示的流程圖，更詳細(xì)地說(shuō)明上述現(xiàn)有技術(shù)中的塊匹配處理。
該流程圖開始于步驟S1，在這里，圖42中的標(biāo)號(hào)106所標(biāo)示的參考?jí)KIi被指定為在搜索范圍105中具有坐標(biāo)(vx，vy)的位置處。在搜索范圍105中指定參考?jí)KIi的操作等同于指定與參考?jí)KIi相對(duì)應(yīng)的參考矢量107的操作。在圖44所示的流程圖所代表的典型處理中，坐標(biāo)(vx，vy)是在以坐標(biāo)(0，0)為原點(diǎn)位置坐標(biāo)的情況下，指定的參考矢量107所指向的位置的坐標(biāo)。坐標(biāo)(0，0)是原始幀101上的目標(biāo)塊103的位置坐標(biāo)或參考幀102上的目標(biāo)塊投影圖像塊104的位置坐標(biāo)。坐標(biāo)vx代表指定的參考矢量107所指向的位置從原點(diǎn)位置開始的水平方向偏移，而坐標(biāo)vy代表指定的參考矢量107所指向的位置從具有坐標(biāo)(0，0)的原點(diǎn)位置開始的垂直方向偏移。
每個(gè)偏移量(vx，vy)都是以像素為單位表達(dá)的量。例如，表達(dá)式vx＝+1表達(dá)了從原點(diǎn)位置(0，0)在水平方向向右偏移等于一個(gè)像素的距離的位置。另一方面，表達(dá)式vx＝-1表達(dá)了從原點(diǎn)位置(0，0)在水平方向向左偏移等于一個(gè)像素的距離的位置。此外，表達(dá)式vy＝+1表達(dá)了從原點(diǎn)位置(0，0)在垂直向下方向偏移等于一個(gè)像素的距離的位置。另一方面，表達(dá)式vy＝-1表達(dá)了從原點(diǎn)位置(0，0)在垂直向上方向偏移等于一個(gè)像素的距離的位置。
如上所述，坐標(biāo)(vx，vy)是作為相對(duì)于原點(diǎn)位置(0，0)的位置的由參考矢量107指向的位置的坐標(biāo)。在下文中，作為相對(duì)于原點(diǎn)位置(0，0)的位置的由參考矢量107指向的位置被簡(jiǎn)稱為參考矢量107指向的位置，以便使得說(shuō)明易于理解。參考矢量107指向的每個(gè)位置被說(shuō)成是與參考矢量107相對(duì)應(yīng)的位置。即，量(vx，vy)(其中標(biāo)記vx和vy都是整數(shù))代表參考矢量107本身。因此，在下文中，指向位置(vx，vy)(具有坐標(biāo)(vx，vy)的位置)的參考矢量107被表達(dá)為參考矢量(vx，vy)。
如前所述，以搜索范圍105的中心位置作為目標(biāo)塊投影圖像塊104的中心位置或原點(diǎn)位置(0，0)。在水平方向上根據(jù)定義了搜索范圍105的水平限度的范圍±Rx中的距離，并在垂直方向上根據(jù)定義了搜索范圍105的垂直限度的范圍±Ry中的距離，參考?jí)K106在搜索范圍105上從一個(gè)位置移動(dòng)到另一個(gè)位置。在此情形下，量(vx，vy)滿足以下關(guān)系-Rx≤vx≤+Rx并-Ry≤vy≤+Ry在下一步驟S2中，具有坐標(biāo)(x，y)的點(diǎn)(或像素)被指定為圖42中由標(biāo)號(hào)103標(biāo)示的目標(biāo)塊Io中的點(diǎn)。令標(biāo)記Io(x，y)標(biāo)示指定的點(diǎn)(x，y)處的像素值，令標(biāo)記Ii(x+vx，y+vy)標(biāo)示在步驟S1中在塊位置(vx，vy)處設(shè)置的參考?jí)KIi中的點(diǎn)(x+vx，y+vy)處的像素值。在下文中，參考?jí)KIi中的點(diǎn)(x+vx，y+vy)被說(shuō)成是與目標(biāo)塊Io中的點(diǎn)(x，y)相對(duì)應(yīng)的點(diǎn)。然后，在下一步驟S3中，根據(jù)以下的等式(1)計(jì)算像素值Io(x，y)和像素值Ii(x+vx，y+vy)之間的差的絕對(duì)值αα＝|Io(x，y)-Ii(x+vx，y+vy)| ——(1)對(duì)于目標(biāo)塊Io中的所有點(diǎn)(x，y)和它們?cè)趨⒖級(jí)KIi中的所有相應(yīng)點(diǎn)(x+vx，y+vy)，計(jì)算上述差的絕對(duì)值α，并且代表對(duì)目標(biāo)塊Io和參考?jí)KIi計(jì)算的差的絕對(duì)值α的和的SAD值被存儲(chǔ)在與指向參考?jí)KIi的當(dāng)前位置的參考矢量(vx，vy)相關(guān)聯(lián)的表元素的地址處。也就是說(shuō)，SAD作為與參考?jí)KIi相關(guān)聯(lián)的參考值表元素109被存儲(chǔ)為相關(guān)性值表108的元素。為了計(jì)算這樣的SAD值，在下一步驟S4，在步驟S3找到的差的絕對(duì)值α被累積地添加到已被存儲(chǔ)為與參考矢量(vx，vy)所指向的參考?jí)KIi相關(guān)聯(lián)的參考值表元素109的臨時(shí)SAD值，以作為目前為止計(jì)算得到的SAD值。作為對(duì)所有差的絕對(duì)值α累積求和的過(guò)程的結(jié)果，獲得最終SAD值SAD(vx，vy)，所述所有差的絕對(duì)值α是如上所述地對(duì)目標(biāo)塊Io中的所有點(diǎn)(x，y)和它們?cè)趨⒖級(jí)KIi中的所有相應(yīng)點(diǎn)(x+vx，y+vy)計(jì)算的。因此，最終SAD值SAD(vx，vy)可以由以下等式(2)表達(dá)SAD(vx，vy)＝∑α＝∑|Io(x，y)-Ii(x+vx，y+vy)|——(2)然后，現(xiàn)有技術(shù)中的塊匹配處理的流程進(jìn)行到下一步驟S5，產(chǎn)生關(guān)于是否已經(jīng)對(duì)目標(biāo)塊Io中的所有點(diǎn)(x，y)和它們?cè)趨⒖級(jí)KIi中的所有相應(yīng)點(diǎn)(x+vx，y+vy)都執(zhí)行了步驟S3和S4的過(guò)程的判斷結(jié)果。如果判斷結(jié)果指示尚未對(duì)目標(biāo)塊Io中的所有點(diǎn)(x，y)和它們?cè)趨⒖級(jí)KIi中的所有相應(yīng)點(diǎn)(x+vx，y+vy)都執(zhí)行步驟S3和S4的過(guò)程的判斷結(jié)果，則現(xiàn)有技術(shù)中的塊匹配處理的流程返回步驟S2，在步驟S2，具有坐標(biāo)(x，y)的另一個(gè)點(diǎn)被指定為目標(biāo)塊Io中的另一個(gè)點(diǎn)。然后，重復(fù)步驟S2之后的步驟S3和S4的過(guò)程。
如果在步驟S5產(chǎn)生的判斷結(jié)果指示已經(jīng)對(duì)目標(biāo)塊Io中的所有點(diǎn)(x，y)和它們?cè)趨⒖級(jí)KIi中的所有相應(yīng)點(diǎn)(x+vx，y+vy)都執(zhí)行了步驟S3和S4的過(guò)程，則參考矢量(vx，vy)的最終SAD值SAD(vx，vy)已經(jīng)被找到?，F(xiàn)有技術(shù)中的塊匹配處理的流程進(jìn)行到步驟S6，產(chǎn)生關(guān)于是否對(duì)搜索范圍105中的所有參考?jí)K位置(即對(duì)所有參考矢量(vx，vy))都已執(zhí)行了步驟S2到S5的過(guò)程的判斷結(jié)果。
如果在步驟S6處產(chǎn)生的判斷結(jié)果指示尚未對(duì)所有參考矢量(vx，vy)執(zhí)行步驟S2到S5的過(guò)程，則相關(guān)有技術(shù)中的塊匹配處理的流程返回步驟S1，在步驟S1，另一參考矢量(vx，vy)所指向的另一參考?jí)KIi被設(shè)置在搜索范圍105中的另一塊位置(vx，vy)處。然后，重復(fù)步驟S1和后續(xù)步驟的過(guò)程。
如果在步驟S6產(chǎn)生的判斷結(jié)果指示對(duì)搜索范圍105中的所有參考?jí)K位置或?qū)λ袇⒖际噶?vx，vy)都已執(zhí)行了步驟S2到S5的過(guò)程，則相關(guān)性值表108的所有元素都已被填充以最終SAD值(vx，vy)?，F(xiàn)有技術(shù)中的塊匹配處理的流程進(jìn)行到步驟S7。在相關(guān)性值表108的所有元素中存儲(chǔ)的所有最終SAD值(vx，vy)之中的最小值被檢測(cè)為代表目標(biāo)塊103和參考?jí)K106之間的最強(qiáng)相關(guān)性的最小值。然后，在下一步驟S8，指向包括在相關(guān)性值表108中的作為用于存儲(chǔ)最小的最終SAD值(vx，vy)的元素的元素地址的參考矢量(vx，vy)被識(shí)別為前述運(yùn)動(dòng)矢量110。令標(biāo)記SAD(mx，my)標(biāo)示最小的最終SAD值(vx，vy)，而標(biāo)記矢量(mx，my)標(biāo)示指向包括在相關(guān)性值表108中的作為存儲(chǔ)SAD(mx，my)的元素的元素地址的參考矢量(vx，vy)或標(biāo)示運(yùn)動(dòng)矢量110。
如上所述，執(zhí)行用于目標(biāo)塊103的現(xiàn)有技術(shù)中的塊匹配處理，以確定目標(biāo)塊103的矢量(mx，my)。
現(xiàn)有技術(shù)中的塊匹配處理技術(shù)具有很長(zhǎng)的歷史。該技術(shù)最初是在20世紀(jì)80年代末作為用于針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像拾取裝置的無(wú)傳感器技術(shù)而被引入的。因此，在發(fā)明數(shù)字消費(fèi)品之前，該技術(shù)本身已經(jīng)被使用了很長(zhǎng)時(shí)間。
此后，雖然已經(jīng)提出了很多發(fā)明，包括諸如USP 3303312(專利文獻(xiàn)1)和日本專利申請(qǐng)?jiān)缙诠_No.Hei 6-86149(專利文獻(xiàn)2)等文獻(xiàn)中描述的發(fā)明，但是針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像拾取裝置的無(wú)傳感器技術(shù)被開發(fā)來(lái)在某種程度上提供攝像機(jī)的成功結(jié)果。但是，由于具有更好性能和更小體積的低成本陀螺儀傳感器已經(jīng)進(jìn)入市場(chǎng)，所以目前用于針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像拾取裝置的無(wú)傳感器技術(shù)的市場(chǎng)位置已經(jīng)幾乎完全被作為利用陀螺儀傳感器的技術(shù)的用于針對(duì)該影響來(lái)補(bǔ)償圖像拾取裝置的技術(shù)所取代。
用于針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像拾取裝置的無(wú)傳感器技術(shù)的市場(chǎng)位置漸失的最大原因是難以提高從通過(guò)采用塊匹配技術(shù)識(shí)別出的運(yùn)動(dòng)矢量檢測(cè)誤差的過(guò)程的精度，以及通過(guò)利用陀螺儀傳感器獲得的方便性的顯著提高。
另一個(gè)原因是以下事實(shí)被認(rèn)為是作為利用陀螺儀傳感器的技術(shù)的用來(lái)針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像拾取裝置的技術(shù)的缺點(diǎn)的普通檢測(cè)精度，在作為該技術(shù)的主要應(yīng)用的運(yùn)動(dòng)圖片拍攝領(lǐng)域并不造成問(wèn)題。也就是說(shuō)，即使諸如陀螺儀傳感器等傳感器不能提供顯示出高精度(例如像素精度)的特性，但是，檢測(cè)運(yùn)動(dòng)矢量的過(guò)程并不需要以像素精度所提供的高精度執(zhí)行。另一方面，在拍攝運(yùn)動(dòng)圖片的操作期間，在沒(méi)有傳感器的情況下針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像拾取裝置的過(guò)程中，有時(shí)被錯(cuò)誤地識(shí)別的運(yùn)動(dòng)矢量導(dǎo)致的大誤差并不造成問(wèn)題。
另一方面，近年來(lái)，數(shù)字照相機(jī)的迅速普及和提高組成圖片的像素?cái)?shù)的潮流中的飛速進(jìn)展，已經(jīng)開始造成由以下需要導(dǎo)致的新問(wèn)題需要針對(duì)手顫抖的影響來(lái)補(bǔ)償在具有低光照的環(huán)境中拍攝(因此需要長(zhǎng)曝光時(shí)間)的靜止圖片，盡管利用諸如陀螺儀傳感器等傳感器的圖像拾取裝置是可用的。也就是說(shuō)，近年來(lái)在工業(yè)中逐漸暴露的新問(wèn)題是先前作為陀螺儀傳感器的缺點(diǎn)而說(shuō)明的缺點(diǎn)所導(dǎo)致的問(wèn)題，或者說(shuō)陀螺儀傳感器的缺點(diǎn)逐漸成為問(wèn)題。
在針對(duì)手顫抖的影響來(lái)補(bǔ)償當(dāng)前市場(chǎng)中可獲得的消費(fèi)裝置的過(guò)程中，手顫抖的量通過(guò)使用傾斜陀螺儀傳感器或加速度傳感器而被測(cè)量，并被反饋到執(zhí)行高速控制的機(jī)械系統(tǒng)，以防止投射在諸如CCD(電荷耦合器件)成像器或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)成像器等成像器上的圖像顫抖。
作為機(jī)械系統(tǒng)，已經(jīng)提出了包括透鏡、棱鏡和成像器的系統(tǒng)(或包括其中集成有成像器的模塊)。透鏡、棱鏡和成像器被分別稱為透鏡偏移、棱鏡偏移和成像器偏移。
如果通過(guò)采用上述方法針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像拾取裝置，則該過(guò)程將產(chǎn)生到機(jī)械系統(tǒng)的反饋的延遲誤差，或用于避免反饋延遲的估計(jì)誤差和控制誤差。反饋延遲誤差和控制誤差被疊加在作為陀螺儀傳感器本身的誤差的前述精度誤差上。因此，在針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像拾取裝置的過(guò)程中，基于像素精度的補(bǔ)償是非常困難的。
盡管存在嚴(yán)重的問(wèn)題，即，通常，通過(guò)僅執(zhí)行前述通過(guò)利用同時(shí)代的傳感器來(lái)針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像拾取裝置的過(guò)程很難獲得精度，但是如果不能擺脫手顫抖的影響的話，市場(chǎng)喜歡這樣的經(jīng)補(bǔ)償?shù)膱D像拾取裝置，因?yàn)樗軌驕p少手顫抖的影響。
但是，隨著像素大小減小以應(yīng)對(duì)未來(lái)預(yù)期的越來(lái)越多的像素?cái)?shù)增加，市場(chǎng)意識(shí)到以下事實(shí)僅僅是個(gè)時(shí)間問(wèn)題，所述事實(shí)是，通過(guò)利用同時(shí)代的傳感器來(lái)針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像拾取裝置的過(guò)程的限制，與像素大小減小和像素?cái)?shù)增加而造成的像素精度提高之間的差距越來(lái)越大。
在無(wú)傳感器手顫抖補(bǔ)償技術(shù)試圖不使用傳感器來(lái)針對(duì)手顫抖的影響來(lái)補(bǔ)償攝像機(jī)時(shí)體驗(yàn)到苦澀的失敗的情形下，另一方面，通常，可以實(shí)現(xiàn)對(duì)包括滾動(dòng)軸(roll-axis)方向上的旋轉(zhuǎn)分量的具有高像素精度的手顫抖矢量的檢測(cè)，還可以去掉傳感器和諸如透鏡偏移等機(jī)械。因此，從成本角度看來(lái)，無(wú)傳感器手顫抖補(bǔ)償技術(shù)是非常出色的。
盡管如此，在依賴于現(xiàn)有技術(shù)的塊匹配技術(shù)的技術(shù)的擴(kuò)展中，組成前述相關(guān)性值表108(或SAD表108)的元素?cái)?shù)量與一個(gè)畫面上的像素?cái)?shù)成比例地增加。因此，很難通過(guò)使用具有可實(shí)現(xiàn)的規(guī)模的電路來(lái)實(shí)現(xiàn)用于檢測(cè)大小超過(guò)五百萬(wàn)像素的同時(shí)代顯示畫面上顯現(xiàn)的靜止圖片的運(yùn)動(dòng)矢量的過(guò)程。
在過(guò)去圖像拾取裝置制造商嘗試各種努力來(lái)試圖去掉用于檢測(cè)在大小不超過(guò)170,000個(gè)像素的顯示畫面上顯現(xiàn)的NTSC(國(guó)家電視系統(tǒng)委員會(huì))運(yùn)動(dòng)圖片的手顫抖矢量的電路時(shí)遭遇苦澀失敗的背景下，在檢測(cè)以60fps(幀每秒)的速率產(chǎn)生的NTSC運(yùn)動(dòng)圖片的手顫抖矢量的過(guò)程中可以使用窄的手顫抖搜索范圍，但是在靜止圖片的情形下，3fps的速率被當(dāng)作先決條件，使得手顫抖搜索范圍變得非常大，這使得已經(jīng)存在的問(wèn)題變得更難以解決。這是因?yàn)榻M成相關(guān)性值表108的元素?cái)?shù)與一個(gè)畫面上的像素?cái)?shù)和手顫抖搜索范圍的大小成比例地增加。
一些文獻(xiàn)已經(jīng)公開了實(shí)現(xiàn)用于靜止圖片的無(wú)傳感器手顫抖補(bǔ)償技術(shù)的方法，具體而言，所述文獻(xiàn)是日本專利申請(qǐng)?jiān)缙诠_No.Hei 7-283999(專利文獻(xiàn)3)。根據(jù)專利文獻(xiàn)3中公開的技術(shù)，公開了一種算法，其中在不發(fā)生手顫抖的短曝光時(shí)間期間拍攝一些連續(xù)的靜止圖片。靜態(tài)圖片之間的手顫抖矢量被找到，并且在曝光期間連續(xù)拍攝的多個(gè)靜止圖片在被根據(jù)它們的手顫抖矢量平行移動(dòng)的同時(shí)被彼此疊加(或被疊加在曝光期間連續(xù)拍攝的靜止圖片的平均值上)，以產(chǎn)生沒(méi)有手顫抖的影響和沒(méi)有低光照噪聲的最終高質(zhì)量靜止圖像。
日本專利申請(qǐng)?jiān)缙诠_No.2005-38396(專利文獻(xiàn)4)提出了在可以實(shí)現(xiàn)的水平上的可實(shí)現(xiàn)技術(shù)。專利文獻(xiàn)4公開的技術(shù)包括用于找到用于作為縮減原始圖片的轉(zhuǎn)換處理的結(jié)果而獲得的圖片大小的運(yùn)動(dòng)矢量的裝置，以及允許公共SAD表被多個(gè)塊共享的裝置?？s減原始圖片和允許公共SAD表被多個(gè)塊共享的技術(shù)是實(shí)現(xiàn)減小SAD表108的大小的非常好的方法，該方法也用于諸如檢測(cè)MPEG(運(yùn)動(dòng)圖像專家組)圖片壓縮系統(tǒng)中的運(yùn)動(dòng)矢量和檢測(cè)畫面改變等其他領(lǐng)域。
但是，專利文獻(xiàn)4中公開的算法具有這樣的問(wèn)題，即它花費(fèi)很多時(shí)間來(lái)執(zhí)行縮減原始圖片的轉(zhuǎn)換過(guò)程和進(jìn)行對(duì)在該過(guò)程中使用的具有很大大小的存儲(chǔ)器的訪問(wèn)。存儲(chǔ)器的一個(gè)示例是DRAM(動(dòng)態(tài)RAM(隨機(jī)訪問(wèn)存儲(chǔ)器))。由于該算法使用被配置為在時(shí)間共享的基礎(chǔ)上由多個(gè)塊共享的相關(guān)性值表108(或SAD表108)進(jìn)行訪問(wèn)的裝置，因此對(duì)存儲(chǔ)器進(jìn)行訪問(wèn)的時(shí)間變得非常長(zhǎng)。對(duì)存儲(chǔ)器進(jìn)行訪問(wèn)的非常長(zhǎng)的時(shí)間還不可避免地增加了執(zhí)行基于該算法的處理的時(shí)間。由于為了縮短系統(tǒng)延遲時(shí)間，針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像拾取裝置的過(guò)程是以實(shí)時(shí)方式執(zhí)行的，因此執(zhí)行基于該算法的處理所花費(fèi)的長(zhǎng)時(shí)間造成了問(wèn)題。
此外，為了執(zhí)行縮減原始圖片的轉(zhuǎn)換處理，必須在轉(zhuǎn)換處理之前使用低通濾波器執(zhí)行預(yù)處理，以便去除折疊(aliasing)和低光照噪聲。由于低通濾波器的特性根據(jù)轉(zhuǎn)換過(guò)程的縮減因子而改變，具體而言，在垂直方向低通濾波器的情形下，多抽頭數(shù)字濾波器被使用，但是，若干個(gè)行存儲(chǔ)器和處理邏輯電路是必要的，造成了電路大小增加的問(wèn)題。
另一方面，諸如日本專利申請(qǐng)?jiān)缙诠_No.Hei 6-86149(專利文獻(xiàn)5)和日本專利申請(qǐng)?jiān)缙诠_No.2004-343843(專利文獻(xiàn)6)等文獻(xiàn)已經(jīng)提出了不使用塊匹配技術(shù)的算法。所提出的算法中的每一個(gè)都利用被配置為檢測(cè)多個(gè)點(diǎn)(每個(gè)點(diǎn)都由于某些原因而被當(dāng)作兩幀圖像上的特性點(diǎn))并在檢測(cè)出的特性點(diǎn)的基礎(chǔ)上將兩幀圖像彼此相關(guān)聯(lián)以便找到全局矢量的裝置，所述全局矢量是用于每幀圖像的整個(gè)面貌的手顫抖矢量。或者，檢測(cè)兩個(gè)幀圖像之一的特性點(diǎn)，并且對(duì)于每個(gè)都圍繞檢測(cè)出的一個(gè)特性點(diǎn)的多個(gè)區(qū)域，相對(duì)于另一幀圖像執(zhí)行塊匹配處理。
專利文獻(xiàn)5和6公開的算法都減小了處理電路的大小，并且都是非常有效的因此也是理想的。但是，這些算法的效果非常依賴于有多少個(gè)真正充當(dāng)兩幀圖像的整個(gè)面貌的特性和兩幀圖像公共的特性的識(shí)別出的特性點(diǎn)能夠被高效地高程度地減少。只要宇宙中的所有事物都被當(dāng)作消費(fèi)圖像拾取裝置的圖像拾取對(duì)象，塊匹配技術(shù)就會(huì)在魯棒性方面被認(rèn)為是稍微領(lǐng)先于專利文獻(xiàn)5和6公開的算法。

發(fā)明內(nèi)容
如前所述，在諸如數(shù)字照相機(jī)等圖像拾取裝置中，在預(yù)期到對(duì)更好性能的要求時(shí)，未來(lái)將投入越來(lái)越多的努力來(lái)增加圖像的像素密度。在此情況下，通過(guò)采用不使用陀螺儀(或加速器)傳感器的無(wú)傳感器技術(shù)來(lái)實(shí)現(xiàn)針對(duì)在拍攝靜止圖片的操作中發(fā)生的手顫抖的影響來(lái)補(bǔ)償圖像拾取裝置的過(guò)程是很有意義的。
為了實(shí)現(xiàn)這樣的過(guò)程，如前所述，采用作為通過(guò)采用塊匹配技術(shù)以無(wú)傳感器方式識(shí)別手顫抖運(yùn)動(dòng)矢量并且通過(guò)使用識(shí)別出的矢量來(lái)針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像拾取裝置的方法被認(rèn)為是很有前途的方法。但是，在當(dāng)前情況下，采用塊匹配技術(shù)的解決方案具有這樣的問(wèn)題，即尚未作出滿足小處理電路規(guī)模、高處理速度和出色的魯棒性的所有要求的提案。
塊匹配技術(shù)的最大問(wèn)題是由相關(guān)性值表的增大的大小引起的。在上述示例中，相關(guān)性值表是SAD表。如前所述，在目前在數(shù)字照相機(jī)中生成的圖像必須具有至少五百萬(wàn)像素的大小這個(gè)前提下，相關(guān)性值表的大小的不可避免地與組成圖像的像素?cái)?shù)量成比例地增加，另外，在靜止圖片的情形下采用大約3fps的速率。因此，對(duì)于靜止圖片而言，大小大約為以60fps的速率生成的運(yùn)動(dòng)圖片的手顫抖搜索范圍的大小的10倍的手顫抖搜索范圍是必要的。手顫抖搜索范圍的大小增加等同于相關(guān)性值表大小的增加，相關(guān)性值表的大小增加被認(rèn)為是塊匹配技術(shù)出現(xiàn)的最大問(wèn)題。
許多用戶給出的評(píng)估結(jié)果很明顯地指示，假設(shè)幀的整個(gè)面積是100，則手顫抖搜索范圍的大小大約是±10％。在高性能圖像拾取裝置的情形下，組成圖像的像素?cái)?shù)量已經(jīng)被假設(shè)為12,000,000，并且原樣利用被采用的現(xiàn)有技術(shù)，必要的相關(guān)性值表的大小被估計(jì)為大約80兆比特。此外，如果試圖滿足理想的處理速度，則必須使用SRAM(靜態(tài)RAM(隨機(jī)訪問(wèn)存儲(chǔ)器))作為用于存儲(chǔ)相關(guān)性值表的存儲(chǔ)器。盡管半導(dǎo)體工藝規(guī)程據(jù)說(shuō)已經(jīng)取得了進(jìn)展，但是大約80兆比特的大小還是遠(yuǎn)遠(yuǎn)超出了現(xiàn)實(shí)的水平，其比現(xiàn)實(shí)的值高大約3個(gè)數(shù)位。
為了解決上述問(wèn)題，本發(fā)明的發(fā)明者提供了這樣的圖像處理方法和裝置，其允許在通過(guò)采用塊匹配技術(shù)來(lái)識(shí)別兩幀之間的運(yùn)動(dòng)矢量的過(guò)程中所使用的相關(guān)性值表的大小顯著縮小。
此外，在塊匹配領(lǐng)域的現(xiàn)有技術(shù)中建議的方法中，關(guān)于作為通過(guò)執(zhí)行圖像轉(zhuǎn)換過(guò)程來(lái)縮減圖像以縮小相關(guān)性值表的大小的技術(shù)的在專利文獻(xiàn)4中公開的技術(shù)，發(fā)明人指出了以下兩個(gè)問(wèn)題。一個(gè)問(wèn)題是增加了處理時(shí)間和增大了存儲(chǔ)器大小，它們是由縮減圖像的圖像轉(zhuǎn)換過(guò)程導(dǎo)致的。另一個(gè)問(wèn)題是實(shí)現(xiàn)如下的適當(dāng)魯棒的濾波器導(dǎo)致處理電路大小的增大，該濾波器用于避免在執(zhí)行縮減圖像的圖像轉(zhuǎn)換過(guò)程中的折疊。因此，希望解決這些問(wèn)題。
為了解決上述問(wèn)題，作為根據(jù)實(shí)施例的發(fā)明，一種用于識(shí)別運(yùn)動(dòng)矢量的圖像處理裝置執(zhí)行以下步驟在參考畫面上設(shè)置的搜索范圍中設(shè)置多個(gè)參考?jí)K作為這樣的參考?jí)K，所述參考?jí)K中的每一個(gè)具有與目標(biāo)塊相等的大小，所述目標(biāo)塊作為具有覆蓋多個(gè)像素的預(yù)定大小的目標(biāo)塊被設(shè)置在目標(biāo)畫面上的預(yù)定位置處；搜索特定參考?jí)K，所述特定參考?jí)K具有在參考?jí)K和目標(biāo)塊之間的相關(guān)性中的最強(qiáng)相關(guān)性；以及基于在參考畫面上的搜索范圍上特定參考?jí)K從與目標(biāo)畫面上的目標(biāo)塊的預(yù)定位置相對(duì)應(yīng)的位置的偏移，檢測(cè)運(yùn)動(dòng)矢量。該圖像處理裝置具有
相關(guān)性值計(jì)算裝置，其被配置為基于位于每個(gè)參考?jí)K上的點(diǎn)處的多個(gè)像素的像素值和位于目標(biāo)塊上的相應(yīng)點(diǎn)處的多個(gè)像素的像素值，計(jì)算相關(guān)性值，每個(gè)相關(guān)性值代表參考?jí)K中的一個(gè)和目標(biāo)塊之間的相關(guān)性；表生成裝置，其被配置為通過(guò)以下操作生成經(jīng)縮減相關(guān)性值表將由相關(guān)性值計(jì)算裝置針對(duì)參考矢量計(jì)算得到的相關(guān)性值原樣存儲(chǔ)在被包括在經(jīng)縮減相關(guān)性值表中的表元素中，作為與作為以預(yù)定縮減因子縮減參考矢量的結(jié)果而獲得的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素，所述參考矢量代表在參考畫面上參考?jí)K從與目標(biāo)畫面上的目標(biāo)塊的預(yù)定位置相對(duì)應(yīng)的位置的偏移；或者通過(guò)劃分由相關(guān)性值計(jì)算裝置針對(duì)被縮減以產(chǎn)生經(jīng)縮減參考矢量的參考矢量計(jì)算得到的相關(guān)性值，找到多個(gè)分量相關(guān)性值，所述多個(gè)分量相關(guān)性值中的每一個(gè)與位置接近經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量中的特定一個(gè)相關(guān)聯(lián)，并且將分量相關(guān)性值中的每一個(gè)存儲(chǔ)在被包括在經(jīng)縮減相關(guān)性值表中的表元素中，作為與特定的接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素；以及運(yùn)動(dòng)矢量計(jì)算裝置，其被配置為基于存儲(chǔ)在經(jīng)縮減相關(guān)性值表中的分量相關(guān)性值，找到目標(biāo)畫面和參考畫面之間的運(yùn)動(dòng)矢量。
根據(jù)另一實(shí)施例的第二發(fā)明是根據(jù)上述實(shí)施例的發(fā)明。表生成裝置還具有分量相關(guān)性值計(jì)算裝置，其被配置為如果存在位置接近經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量，則通過(guò)劃分由相關(guān)性值計(jì)算裝置針對(duì)被縮減以產(chǎn)生經(jīng)縮減參考矢量的前述參考矢量計(jì)算得到的相關(guān)性值，找到多個(gè)分量相關(guān)性值，所述分量相關(guān)性值中的每一個(gè)與位置接近經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量中特定一個(gè)相關(guān)聯(lián)，并且將分量相關(guān)性值中的每一個(gè)存儲(chǔ)在被包括在經(jīng)縮減相關(guān)性值表中的表元素中，作為與特定的接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素；以及最終分量相關(guān)性值計(jì)算裝置，其被配置為找到最終分量相關(guān)性值，所述最終分量相關(guān)性值代表通過(guò)將由分量相關(guān)性值計(jì)算裝置新計(jì)算得到的新分量相關(guān)性值累加到作為由分量相關(guān)性值計(jì)算裝置先前計(jì)算得到的分量相關(guān)性值而已經(jīng)被存儲(chǔ)在經(jīng)縮減相關(guān)性值表的表元素中的先前分量相關(guān)性值上而獲得的累積和。
具有根據(jù)上述本發(fā)明的配置的圖像處理裝置中采用的相關(guān)性值計(jì)算裝置以與現(xiàn)有技術(shù)中的圖像處理裝置相同的方式，計(jì)算代表目標(biāo)幀上的目標(biāo)塊和參考幀上的搜索范圍中的每個(gè)參考?jí)K之間的相關(guān)性的相關(guān)性值。
但是，具有根據(jù)本發(fā)明的配置的圖像處理裝置包括表生成裝置，用于計(jì)算與作為對(duì)縮減前原始參考矢量進(jìn)行縮減的過(guò)程的結(jié)果而獲得的經(jīng)縮減參考矢量相關(guān)聯(lián)的分量相關(guān)性值，并且存儲(chǔ)作為對(duì)縮減前原始相關(guān)性值表進(jìn)行縮減的過(guò)程的結(jié)果而獲得的計(jì)算得到的分量相關(guān)性值，而不是存儲(chǔ)代表目標(biāo)塊和參考?jí)K之間的相關(guān)性的相關(guān)性值作為與對(duì)應(yīng)于參考?jí)K的縮減前原始參考矢量相關(guān)聯(lián)的表元素。
對(duì)縮減前原始相關(guān)性值表進(jìn)行縮減的過(guò)程是縮小表的大小的過(guò)程，其得到了更少的表元素。另一方面，對(duì)縮減前原始參考矢量進(jìn)行縮減的過(guò)程是縮小縮減前原始參考矢量的過(guò)程，其得到了與該過(guò)程之前的原始參考矢量一樣多的經(jīng)縮減參考矢量。因此，經(jīng)縮減相關(guān)性值表的每個(gè)表元素都與經(jīng)縮減參考矢量或位置接近經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量之一相關(guān)聯(lián)。經(jīng)縮減相關(guān)性值表中的表元素?cái)?shù)量是由對(duì)相關(guān)性值表進(jìn)行縮減的過(guò)程中所使用的縮減因子確定的。
換言之，經(jīng)縮減相關(guān)性值表是用于經(jīng)縮減的幀圖像的表，該經(jīng)縮減的幀圖像將是作為以經(jīng)縮減參考矢量的縮減因子來(lái)對(duì)原始幀圖像進(jìn)行縮減的假定過(guò)程的結(jié)果而獲得的。但是，實(shí)際上，目標(biāo)幀圖像、參考幀圖像、目標(biāo)塊和每個(gè)參考?jí)K的大小并不改變。相關(guān)性值表的大小和每個(gè)參考矢量的長(zhǎng)度縮小了。
經(jīng)縮減相關(guān)性值表被搜索，以找出用于存儲(chǔ)代表目標(biāo)塊和參考?jí)K之間的最強(qiáng)相關(guān)性的最終分量相關(guān)性值的特定表元素。一般地，代表目標(biāo)塊和參考?jí)K之間的最強(qiáng)相關(guān)性的最終分量相關(guān)性值是存儲(chǔ)在經(jīng)縮減相關(guān)性值表中的所有最終分量相關(guān)性值中的最小值。如上所述，經(jīng)縮減相關(guān)性值表的每個(gè)表元素與經(jīng)縮減參考矢量或位置接近經(jīng)縮減參考矢量的多個(gè)經(jīng)縮減參考矢量之一相關(guān)聯(lián)。因此，從與特定的表元素相關(guān)聯(lián)的經(jīng)縮減參考矢量或與特定的表元素相關(guān)聯(lián)的接近的經(jīng)縮減參考矢量之一，選擇所需的經(jīng)縮減參考矢量，并且通過(guò)將所需的經(jīng)縮減參考矢量乘以縮減因子來(lái)找到原始運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明，縮減圖像的過(guò)程是不必要的。因此，既沒(méi)有縮減圖像的過(guò)程，也沒(méi)有該過(guò)程所需的存儲(chǔ)器容量增加。
如上所述，經(jīng)縮減相關(guān)性值表的每個(gè)表元素與經(jīng)縮減參考矢量或位置接近經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量之一相關(guān)聯(lián)。因此，經(jīng)縮減參考矢量不在一對(duì)一基礎(chǔ)上與經(jīng)縮減相關(guān)性值表的表元素相對(duì)應(yīng)。如果表元素不與經(jīng)縮減參考矢量相對(duì)應(yīng)，即，如果表元素與位置接近經(jīng)縮減參考矢量的多個(gè)經(jīng)縮減參考矢量中特定的一個(gè)相對(duì)應(yīng)，則根據(jù)另一實(shí)施例的本發(fā)明所采用的表生成裝置計(jì)算對(duì)于該特定的接近的經(jīng)縮減參考矢量的分量相關(guān)性值。然后，表生成裝置將計(jì)算得到的分量相關(guān)性值存儲(chǔ)在與該特定的接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素中。
以與現(xiàn)有技術(shù)的塊匹配技術(shù)相同的方式，相關(guān)性值計(jì)算裝置通過(guò)執(zhí)行累加過(guò)程，重復(fù)地將計(jì)算得到的值累加到臨時(shí)和，直到與經(jīng)縮減參考矢量相關(guān)聯(lián)的參考?jí)K中的所有像素都被考慮，從而找到任何經(jīng)縮減參考矢量的相關(guān)性值。
如上所述，通過(guò)執(zhí)行將計(jì)算得到的值累加到臨時(shí)和的累加過(guò)程，針對(duì)與參考?jí)K相關(guān)聯(lián)的任何特定的經(jīng)縮減參考矢量，計(jì)算了代表原始幀中的目標(biāo)塊和參考幀中的參考?jí)K之間的相關(guān)性的相關(guān)性值。代替將針對(duì)特定經(jīng)縮減參考矢量計(jì)算的相關(guān)性值原樣存儲(chǔ)在經(jīng)縮減相關(guān)性值表的表元素中，可以通過(guò)劃分針對(duì)特定的經(jīng)縮減參考矢量計(jì)算的相關(guān)性值，來(lái)針對(duì)位置接近特定的經(jīng)縮減參考矢量的經(jīng)縮減參考矢量，找到多個(gè)分量相關(guān)性值。通過(guò)劃分針對(duì)特定的經(jīng)縮減參考矢量計(jì)算的相關(guān)性值來(lái)針對(duì)位置接近特定的經(jīng)縮減參考矢量的經(jīng)縮減參考矢量來(lái)找到分量相關(guān)性值的過(guò)程本身等同于適應(yīng)于縮減因子的合適過(guò)濾過(guò)程。因此，類似于對(duì)圖像進(jìn)行縮減所必需的濾波器的低通濾波器實(shí)現(xiàn)不是必要的。
根據(jù)本發(fā)明，在通過(guò)采用塊匹配技術(shù)檢測(cè)代表參考幀從目標(biāo)幀的偏移的運(yùn)動(dòng)矢量的過(guò)程中，在過(guò)程中使用的相關(guān)性值表的大小可以明顯縮小。此外，由于對(duì)圖像進(jìn)行縮減的過(guò)程不是必要的，所以既沒(méi)有對(duì)圖像進(jìn)行縮減的過(guò)程導(dǎo)致的處理時(shí)間增加，也沒(méi)有縮減過(guò)程導(dǎo)致的存儲(chǔ)器容量增加。另外，由于可以在目標(biāo)幀的目標(biāo)塊中的所有像素的基礎(chǔ)上找到相關(guān)性值，所以類似于對(duì)圖像進(jìn)行縮減所必需的濾波器的低通濾波器實(shí)現(xiàn)是不必要的，因此不會(huì)產(chǎn)生處理電路規(guī)模增加這樣的問(wèn)題。


圖1是在描述根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的概況時(shí)參考的說(shuō)明圖；圖2A和圖2B都是在描述根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的概況時(shí)參考的說(shuō)明圖；圖3是在描述根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的概況時(shí)參考的說(shuō)明圖；圖4A和圖4B都是在描述依據(jù)根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的第一典型實(shí)現(xiàn)的用于檢測(cè)準(zhǔn)確運(yùn)動(dòng)矢量的過(guò)程時(shí)參考的說(shuō)明圖；圖5是在描述依據(jù)根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的第一典型實(shí)現(xiàn)的用于檢測(cè)準(zhǔn)確運(yùn)動(dòng)矢量的過(guò)程時(shí)參考的說(shuō)明圖；圖6是在描述根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的概況時(shí)參考的說(shuō)明圖；圖7是在描述根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的概況時(shí)參考的說(shuō)明圖；圖8A和圖8B都是在描述依據(jù)根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的第一典型實(shí)現(xiàn)的用于檢測(cè)準(zhǔn)確運(yùn)動(dòng)矢量的過(guò)程時(shí)參考的說(shuō)明圖；圖9是在描述依據(jù)根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的第一典型實(shí)現(xiàn)的用于檢測(cè)準(zhǔn)確運(yùn)動(dòng)矢量的過(guò)程時(shí)參考的說(shuō)明圖；圖10是在描述依據(jù)根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的第一典型實(shí)現(xiàn)的用于檢測(cè)準(zhǔn)確運(yùn)動(dòng)矢量的過(guò)程時(shí)參考的說(shuō)明圖；圖11A和圖11B都是在描述依據(jù)根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的第一典型實(shí)現(xiàn)的用于檢測(cè)準(zhǔn)確運(yùn)動(dòng)矢量的過(guò)程時(shí)參考的說(shuō)明圖；
圖12A、圖12B、圖12C和圖12D都是在描述依據(jù)根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的第一典型實(shí)現(xiàn)的用于檢測(cè)準(zhǔn)確運(yùn)動(dòng)矢量的過(guò)程時(shí)參考的說(shuō)明圖；圖13是在描述依據(jù)根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的第一典型實(shí)現(xiàn)的用于檢測(cè)準(zhǔn)確運(yùn)動(dòng)矢量的過(guò)程時(shí)參考的說(shuō)明圖；圖14是在描述依據(jù)根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的第一典型實(shí)現(xiàn)的用于檢測(cè)準(zhǔn)確運(yùn)動(dòng)矢量的過(guò)程時(shí)參考的說(shuō)明圖；圖15A和圖15B都是在描述依據(jù)根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的第二典型實(shí)現(xiàn)的用于檢測(cè)準(zhǔn)確運(yùn)動(dòng)矢量的過(guò)程時(shí)參考的說(shuō)明圖；圖16是在描述依據(jù)根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的第二典型實(shí)現(xiàn)的用于檢測(cè)準(zhǔn)確運(yùn)動(dòng)矢量的過(guò)程時(shí)參考的說(shuō)明圖；圖17是在描述依據(jù)根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的第二典型實(shí)現(xiàn)的用于檢測(cè)準(zhǔn)確運(yùn)動(dòng)矢量的過(guò)程時(shí)參考的說(shuō)明圖；圖18A、圖18B、圖18C和圖18D都是在描述依據(jù)根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的第二典型實(shí)現(xiàn)的用于檢測(cè)準(zhǔn)確運(yùn)動(dòng)矢量的過(guò)程時(shí)參考的說(shuō)明圖；圖19是在描述根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的性能時(shí)參考的說(shuō)明圖；圖20是在描述根據(jù)本發(fā)明的另一實(shí)施例的圖像處理方法的概況時(shí)參考的說(shuō)明圖；圖21是將根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的特性與現(xiàn)有技術(shù)中的方法的特性進(jìn)行比較的說(shuō)明圖；圖22是將根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的特性與現(xiàn)有技術(shù)中的方法的特性進(jìn)行比較的說(shuō)明圖；圖23是將根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的特性與現(xiàn)有技術(shù)中的方法的特性進(jìn)行比較的說(shuō)明圖；圖24是示出了根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置的典型配置的框圖；圖25示出了代表依據(jù)根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置中的第一典型實(shí)現(xiàn)的被執(zhí)行來(lái)檢測(cè)運(yùn)動(dòng)矢量的處理的流程圖；圖26示出了代表依據(jù)根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置中的第一典型實(shí)現(xiàn)的被執(zhí)行來(lái)檢測(cè)運(yùn)動(dòng)矢量的處理的流程圖的繼續(xù)部分；圖27示出了代表依據(jù)根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置中的第二典型實(shí)現(xiàn)的被執(zhí)行來(lái)檢測(cè)運(yùn)動(dòng)矢量的處理的流程圖；圖28示出了代表依據(jù)根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置中的第二典型實(shí)現(xiàn)的被執(zhí)行來(lái)檢測(cè)運(yùn)動(dòng)矢量的處理的流程圖的繼續(xù)部分；圖29示出了代表依據(jù)根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置中的第三典型實(shí)現(xiàn)的被執(zhí)行來(lái)檢測(cè)運(yùn)動(dòng)矢量的處理的流程圖；圖30示出了代表依據(jù)根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置中的第三典型實(shí)現(xiàn)的被執(zhí)行來(lái)檢測(cè)運(yùn)動(dòng)矢量的處理的流程圖的繼續(xù)部分；圖31示出了代表依據(jù)根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置中的第三典型實(shí)現(xiàn)的被執(zhí)行來(lái)檢測(cè)運(yùn)動(dòng)矢量的處理的流程圖的另一繼續(xù)部分；圖32示出了代表依據(jù)根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置中的第三典型實(shí)現(xiàn)的被執(zhí)行來(lái)檢測(cè)運(yùn)動(dòng)矢量的處理的流程圖的又一繼續(xù)部分；圖33是示出了根據(jù)本發(fā)明的第二實(shí)施例的圖像處理裝置的典型配置的框圖；圖34是在描述根據(jù)本發(fā)明的第二實(shí)施例的圖像處理裝置中的檢測(cè)運(yùn)動(dòng)矢量的處理時(shí)參考的說(shuō)明圖；圖35是在描述根據(jù)本發(fā)明的第二實(shí)施例的圖像處理裝置中的檢測(cè)運(yùn)動(dòng)矢量的處理時(shí)參考的說(shuō)明圖；圖36示出了代表在根據(jù)本發(fā)明的第二實(shí)施例的圖像處理裝置中被執(zhí)行來(lái)檢測(cè)運(yùn)動(dòng)矢量的處理的流程圖；圖37示出了代表在根據(jù)本發(fā)明的第二實(shí)施例的圖像處理裝置中被執(zhí)行來(lái)檢測(cè)運(yùn)動(dòng)矢量的處理的流程圖的繼續(xù)部分；圖38是示出了根據(jù)本發(fā)明的第三實(shí)施例的圖像處理裝置的典型配置的框圖；圖39是在描述根據(jù)本發(fā)明的第三實(shí)施例的圖像處理裝置中針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像的處理時(shí)參考的說(shuō)明圖；
圖40是示出了根據(jù)本發(fā)明的第四實(shí)施例的圖像處理裝置的典型配置的框圖；圖41是在描述根據(jù)本發(fā)明的另一實(shí)施例的圖像處理裝置時(shí)參考的說(shuō)明圖；圖42是在描述通過(guò)采用現(xiàn)有技術(shù)的塊匹配技術(shù)來(lái)檢測(cè)運(yùn)動(dòng)矢量的處理時(shí)參考的說(shuō)明圖；圖43是在描述通過(guò)采用現(xiàn)有技術(shù)的塊匹配技術(shù)來(lái)檢測(cè)運(yùn)動(dòng)矢量的處理時(shí)參考的說(shuō)明圖；以及圖44是在描述通過(guò)采用現(xiàn)有技術(shù)的塊匹配技術(shù)來(lái)檢測(cè)運(yùn)動(dòng)矢量的處理時(shí)參考的說(shuō)明圖。
具體實(shí)施例方式
下面參考

實(shí)現(xiàn)本發(fā)明提供的圖像處理方法和圖像處理裝置的實(shí)施例。
在實(shí)現(xiàn)本發(fā)明提供的圖像處理方法的實(shí)施例中，兩幀之間的運(yùn)動(dòng)矢量也是通過(guò)采用上述塊匹配技術(shù)識(shí)別的。不是將代表目標(biāo)塊和參考?jí)K之間的相關(guān)性的相關(guān)性值存儲(chǔ)為與對(duì)應(yīng)于參考?jí)K的參考矢量相關(guān)聯(lián)的表元素，而是相關(guān)性值表被縮減為較少的表元素，并且每個(gè)參考矢量被縮減為經(jīng)縮減參考矢量。經(jīng)縮減相關(guān)性值表和每個(gè)參考矢量的過(guò)程獲得了較少的表元素和與該過(guò)程之前的矢量同樣多的經(jīng)縮減參考矢量。因此，不是把針對(duì)特定的經(jīng)縮減參考矢量計(jì)算得到的相關(guān)性值原樣存儲(chǔ)在表元素中，而是通過(guò)分割相關(guān)性值，多個(gè)分量相關(guān)性值可能必須針對(duì)位置接近特定的經(jīng)縮減參考矢量的經(jīng)縮減參考矢量而被找到，并且作為與接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的元素被存儲(chǔ)在不同的表元素中。
根據(jù)實(shí)施例的相關(guān)性值表的大小與現(xiàn)有技術(shù)中的圖像處理裝置中使用的相關(guān)性值表的大小相比是相當(dāng)小的。應(yīng)當(dāng)注意，在下文說(shuō)明的實(shí)施例中，相關(guān)性值是SAD值，因此，SAD表被生成作為相關(guān)性值表。因此，在實(shí)施例中，代表目標(biāo)塊和參考?jí)K之間的最強(qiáng)相關(guān)性的相關(guān)性值是最小SAD值。
圖1到圖3是在說(shuō)明根據(jù)實(shí)施例的圖像處理方法的概況時(shí)參考的圖。更具體而言，圖1是示出了現(xiàn)有技術(shù)中的相關(guān)性值表TBLo(在本實(shí)施例中是SAD表)和由根據(jù)實(shí)施例的圖像處理方法生成的作為經(jīng)縮減相關(guān)性值表TBLs的經(jīng)縮減SAD表的關(guān)系圖。
如前面參考圖42所述，同樣在本實(shí)施例中，搜索范圍被設(shè)置為該范圍的中心與參考幀的中心重合，并且參考幀的中心與要與參考矢量比較的目標(biāo)幀的中心相對(duì)應(yīng)。目標(biāo)幀的中心還與目標(biāo)幀中包括的作為要與在搜索范圍上從一個(gè)位置移動(dòng)到另一個(gè)位置的參考?jí)K比較的塊的目標(biāo)塊的中心重合。位于一個(gè)位置處的參考?jí)K的SAD值是目標(biāo)塊上的每個(gè)像素的像素值和參考?jí)K上的相應(yīng)像素的像素值之間的差的絕對(duì)值之和。
在現(xiàn)有技術(shù)的圖像處理裝置中，計(jì)算出的相關(guān)性值作為位于與正被處理的參考?jí)K的參考矢量RV相對(duì)應(yīng)的地址處的表元素tb1被存儲(chǔ)在SAD表TBLo中，如圖1所示。
因此，在塊匹配技術(shù)中，代表幀圖像上從目標(biāo)塊到參考?jí)K的偏移的量值的參考矢量RV被與相關(guān)性值相關(guān)聯(lián)，所述相關(guān)性值在一對(duì)一基礎(chǔ)上在相關(guān)性值表TBLo中被存儲(chǔ)為用于參考?jí)K的表元素。也就是說(shuō)，現(xiàn)有技術(shù)中組成相關(guān)性值表TBLo的表元素的數(shù)量等于可在搜索范圍中設(shè)置的參考矢量RV的數(shù)量。
另一方面，在根據(jù)本實(shí)施例的塊匹配技術(shù)中，如圖1，圖2A和圖2B所示，指向正被處理的參考?jí)K的每個(gè)參考矢量RV都以縮減因子1/n被縮減為經(jīng)縮減參考矢量CV，其中標(biāo)記n標(biāo)示一個(gè)整數(shù)。
在下文中，為了使說(shuō)明易于理解，水平方向縮減因子被假設(shè)為等于垂直方向縮減因子。但是，水平方向縮減因子和垂直方向縮減因子也可以彼此獨(dú)立地被設(shè)置為彼此不同的值。此外，如下文所述，水平方向縮減因子和垂直方向縮減因子甚至被彼此獨(dú)立地設(shè)置為任意分?jǐn)?shù)(例如1/m和1/n，其中標(biāo)記m和n都標(biāo)示整數(shù))，以便提供更高程度的靈活性和更高程度的方便性。
此外，在本實(shí)施例中，與現(xiàn)有技術(shù)中的圖像處理方法非常類似，目標(biāo)塊的位置被作為搜索范圍的中心處的原點(diǎn)位置(0，0)。參考矢量RV的水平方向和垂直方向分量(vx，vy)分別是代表從原點(diǎn)位置(0，0)測(cè)量的水平方向和垂直方向的量值的整數(shù)。在下文中，具有水平方向和垂直方向分量(vx，vy)的參考矢量RV被稱為參考矢量RV(vx，vy)。
參考矢量RV(vx，vy)以縮減因子1/n被縮減為經(jīng)縮減參考矢量CV(vx/n，vy/n)。因此，經(jīng)縮減參考矢量CV(vx/n，vy/n)的水平方向和垂直方向分量(vx/n，vy/n)未必是整數(shù)。也就是說(shuō)，在某些情形下，它們都可以是包括分?jǐn)?shù)部分的值。因此，如果僅僅將針對(duì)縮減前的原始參考矢量RV計(jì)算出的相關(guān)性值作為與本實(shí)施例中的經(jīng)縮減參考矢量CV的非整數(shù)vx/n和vy/n值最接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的元素被存儲(chǔ)為經(jīng)縮減相關(guān)性值表中包括的元素，則將會(huì)生成誤差。此外，雖然經(jīng)縮減相關(guān)性值表中的元素?cái)?shù)量小于原始相關(guān)性值表中的元素?cái)?shù)量，但是經(jīng)縮減參考矢量CV的數(shù)量等于縮減前的原始參考矢量RV的數(shù)量。因此，經(jīng)縮減參考矢量CV不是在一對(duì)一的基礎(chǔ)上與經(jīng)縮減相關(guān)性值表中的元素相關(guān)聯(lián)。
接近的參考矢量NV(vx/n，vy/n)被定義為這樣的經(jīng)縮減參考矢量其具有與被縮減的參考矢量RV(vx/n，vy/n)的非整數(shù)vx/n值最接近的整數(shù)vx/n值，或與被縮減的參考矢量RV(vx/n，vy/n)的非整數(shù)vy/n值最接近的整數(shù)vy/n值。每個(gè)被縮減的參考矢量RV存在多個(gè)接近的參考矢量NV。由于如上所述，經(jīng)縮減參考矢量CV不在一對(duì)一基礎(chǔ)上與元素相關(guān)聯(lián)，因此在本實(shí)施例中，針對(duì)經(jīng)縮減參考矢量CV的縮減前的原始參考矢量計(jì)算出的SAD值不被原樣存儲(chǔ)在經(jīng)縮減相關(guān)性值表的元素中。而是，通過(guò)采用線性加權(quán)分配技術(shù)，針對(duì)經(jīng)縮減參考矢量CV的縮減前的原始參考矢量計(jì)算得到的SAD值被分割為與位置接近經(jīng)縮減參考矢量CV的接近的參考矢量NV一樣多的分量SAD值。
具有非整數(shù)vx/n和vy/n值的經(jīng)縮減參考矢量CV(vx/n，vy/n)不與經(jīng)縮減表元素的表元素tb1相關(guān)聯(lián)。但是，每個(gè)都具有整數(shù)vx/n和vy/n值的接近的參考矢量NV(vx/n，vy/n)在一對(duì)一基礎(chǔ)上與經(jīng)縮減表元素的表元素tb1相關(guān)聯(lián)。因此，在本實(shí)施例中，在以與根據(jù)現(xiàn)有技術(shù)的塊匹配技術(shù)的將SAD值存儲(chǔ)為與縮減前的原始參考矢量相關(guān)聯(lián)的元素的過(guò)程相同的方式執(zhí)行的累加過(guò)程中，通過(guò)采用線性加權(quán)分配技術(shù)計(jì)算得到的分量SAD值被存儲(chǔ)在與接近的參考矢量NV相關(guān)聯(lián)的表元素tb1中。線性加權(quán)分配技術(shù)是基于由經(jīng)縮減參考矢量CV指向的位置和由位置接近經(jīng)縮減參考矢量CV的接近的參考矢量NV指向的位置之間的距離的方法。
更具體而言，用于在通過(guò)采用線性加權(quán)分配技術(shù)來(lái)找到接近的參考矢量NV的分量相關(guān)性值的過(guò)程中使用的權(quán)重是在由經(jīng)縮減參考矢量CV指向的位置和由位置接近經(jīng)縮減參考矢量CV的接近的參考矢量NV指向的位置之間的距離的基礎(chǔ)上確定的，如上所述。因此，以與前述向臨時(shí)的和累加當(dāng)前計(jì)算得到的值的現(xiàn)有技術(shù)的塊匹配技術(shù)相同的方式，找到每個(gè)接近的參考矢量NV的最終分量相關(guān)性值。
應(yīng)當(dāng)注意，如果經(jīng)縮減參考矢量CV(vx/n，vy/n)的值(vx/n，vy/n)都是整數(shù)，則經(jīng)縮減參考矢量CV(vx/n，vy/n)本身在一對(duì)一基礎(chǔ)上與經(jīng)縮減相關(guān)性值表的元素相關(guān)聯(lián)。因此，在與經(jīng)縮減參考矢量CV(vx/n，vy/n)相關(guān)聯(lián)的表元素中，可以存儲(chǔ)與參考矢量RV(vx，vy)本身相對(duì)應(yīng)的SAD值。此外，在這種經(jīng)縮減參考矢量CV(vx/n，vy/n)的情形下，沒(méi)有必要確定經(jīng)縮減參考矢量CV(vx/n，vy/n)的多個(gè)接近的參考矢量NV。
接下來(lái)通過(guò)給出以下示例說(shuō)明上述處理。如前所述，目標(biāo)塊被防治在原點(diǎn)位置(0，0)處。在此情形下，假設(shè)圖2A所示的參考矢量RV(-3，-5)以縮減因子1/n(＝1/4)在水平和垂直兩個(gè)方向上縮減，以得到圖2B所示的經(jīng)縮減參考矢量CV(-0.75，-1.25)。
如上所述，每個(gè)得到的經(jīng)縮減參考矢量CV的值都包括分?jǐn)?shù)部分，指示有必要確定經(jīng)縮減參考矢量CV的多個(gè)接近的參考矢量NV。
在圖3所示的示例中，針對(duì)經(jīng)縮減參考矢量CV(-0.75，-1.25)，確定出四個(gè)接近的參考矢量NV1(-1，-1)、NV2(-1，-2)、NV3(0，-1)和NV4(0，-2)。從圖3的示例可以很明顯地看出，多個(gè)這種接近的參考矢量被選擇，從而每個(gè)接近的參考矢量的值都是與經(jīng)縮減參考矢量的值最接近的整數(shù)。
在圖3所示的示例中，四個(gè)接近的參考矢量NV1、NV2、NV3和NV4是從原點(diǎn)位置(0，0)分別指向位置P1、P2、P3和P4(每個(gè)都被示為一個(gè)圓)的矢量。另一方面，經(jīng)縮減參考矢量CV是從原點(diǎn)位置(0，0)指向示為標(biāo)記X的點(diǎn)P0的矢量。
因此，在本實(shí)施例的情形下，通過(guò)采用上述線性加權(quán)分配技術(shù)計(jì)算了四個(gè)接近的參考矢量NV1、NV2、NV3和NV4中每一個(gè)的分量相關(guān)性值，并且以與向臨時(shí)的和累加當(dāng)前計(jì)算得到的值的現(xiàn)有技術(shù)的塊匹配技術(shù)相同的方式，找到每個(gè)接近的參考矢量NV的最終分量相關(guān)性值。
接下來(lái)，如下所述地確定找到接近的參考矢量NV1、NV2、NV3和NV4的分量相關(guān)性值的過(guò)程中使用的權(quán)重。如上所述，經(jīng)縮減參考矢量CV指向點(diǎn)P0(-0.75，-1.25)，而接近的參考矢量NV1、NV2、NV3和NV4分別指向位置P1(-1，-1)、P2(-1，-2)、P3(0，-1)和P4(0，-2)。因此，(位置P0和P1之間的距離)∶(位置P0和P2之間的距離)∶(位置P0和P3之間的距離)∶(位置P0和P4之間的距離)＝1∶3∶3∶9。因?yàn)闄?quán)重與距離成反比，因此典型權(quán)重9/16、3/16、3/16和1/16被分別指派給四個(gè)接近的參考矢量NV1、NV2、NV3和NV4。
假設(shè)針對(duì)充當(dāng)經(jīng)縮減參考矢量CV的原始值的縮減前的原始參考矢量RV計(jì)算得到的相關(guān)性值是Sα。在此情形下，分別指向位置P1、P2、P3和P4的接近的參考矢量NV1、NV2、NV3和NV4的分量相關(guān)性值SADp1、SADp2、SADp3和SADp4被找到如下SADp1＝Sα×9/16SADp2＝Sα×3/16SADp3＝Sα×3/16SADp4＝Sα×1/16以與向臨時(shí)的和累加當(dāng)前計(jì)算得到的值的現(xiàn)有技術(shù)的塊匹配技術(shù)相同的方式，四個(gè)接近的參考矢量NV1、NV2、NV3和NV4的分量相關(guān)性值SADp1、SADp2、SADp3和SADp4的最終分量相關(guān)性值被計(jì)算，并被存儲(chǔ)在經(jīng)縮減相關(guān)性值表中包括的表元素中，作為為分別指向位置P0、P1、P2、P3和P4的四個(gè)接近的參考矢量NV1、NV2、NV3和NV4提供的元素。
在本實(shí)施例中，為每個(gè)都指向在搜索范圍中設(shè)置的參考?jí)K的所有參考矢量，執(zhí)行將參考矢量縮減為經(jīng)縮減參考矢量的過(guò)程，和為在經(jīng)縮減相關(guān)性值表中所包括的作為與接近的參考矢量相關(guān)聯(lián)的元素的元素計(jì)算分量SAD的過(guò)程。
從已經(jīng)給出的描述可以很清楚地看出，在本實(shí)施例中，以縮減因子1/n執(zhí)行將每個(gè)參考矢量RV縮減為經(jīng)縮減參考矢量CV的過(guò)程，以伴隨以相同的縮減因子1/n在水平和垂直兩個(gè)方向上對(duì)相關(guān)性值表TBLo縮減的過(guò)程，以便生成具有被縮減的大小的經(jīng)縮減相關(guān)性值表TBLs。相關(guān)性值表TBLo具有原始大小，并且包括在一對(duì)一基礎(chǔ)上與參考矢量RV相關(guān)聯(lián)的元素。然后，為經(jīng)縮減相關(guān)性值表TBLs的每個(gè)元素計(jì)算分量SAD值，該計(jì)算是通過(guò)分割針對(duì)由充當(dāng)與該元素相關(guān)聯(lián)的經(jīng)縮減參考矢量CV的原始值的參考矢量RV所指向的參考?jí)K而計(jì)算的SAD值來(lái)執(zhí)行的。讀者可參考圖1以獲得更多信息。
因此，在本實(shí)施例中，組成經(jīng)縮減相關(guān)性值表TBLs的元素?cái)?shù)量是組成原始相關(guān)性值表TBLo的元素?cái)?shù)量的(1/n2)倍。也就是說(shuō)，相關(guān)性值表的大小可以顯著減小。
根據(jù)上述實(shí)施例，對(duì)于經(jīng)縮減相關(guān)性值表TBLs的每個(gè)元素而言，接近的經(jīng)縮減參考矢量CV中的四個(gè)接近的參考矢量NV被選擇，于是，從針對(duì)由充當(dāng)經(jīng)縮減參考矢量CV的原始值的參考矢量RV所指向的被處理的參考?jí)K而計(jì)算的相關(guān)性值，找到所選擇的接近的參考矢量NV的分量相關(guān)性值。在基于所謂的線性加權(quán)分配技術(shù)來(lái)分割針對(duì)由充當(dāng)經(jīng)縮減參考矢量CV的原始值的參考矢量RV所指向的參考?jí)K而計(jì)算的相關(guān)性值的過(guò)程中，找到了位置接近經(jīng)縮減參考矢量CV的接近的參考矢量NV的分量相關(guān)性值。但是應(yīng)當(dāng)注意，選擇接近經(jīng)縮減參考矢量CV的接近的參考矢量NV的方法和為經(jīng)縮減相關(guān)性值表TBLs的每個(gè)元素找到分量相關(guān)性值的線性加權(quán)分配技術(shù)絕不限于本發(fā)明所采用的那些。
例如，作為替換，對(duì)應(yīng)經(jīng)縮減相關(guān)性值表TBLs的每個(gè)元素而言，接近經(jīng)縮減參考矢量CV的9個(gè)或16個(gè)接近的參考矢量NV被選擇，然后，從針對(duì)由充當(dāng)經(jīng)縮減參考矢量CV的原始值的參考矢量RV所指向的被處理的參考?jí)K而計(jì)算的相關(guān)性值，找到所選擇的接近的參考矢量NV的分量相關(guān)性值。但是，在此情形下，在基于所謂的三次插值(cubicinterpolation)技術(shù)來(lái)分割針對(duì)由充當(dāng)經(jīng)縮減參考矢量CV的原始值的參考矢量RV所指向的參考?jí)K而計(jì)算的相關(guān)性值的過(guò)程中，找到位置接近經(jīng)縮減參考矢量CV的接近的參考矢量NV的分量相關(guān)性值。通過(guò)執(zhí)行這些過(guò)程，分量相關(guān)性值的精度提高了。如果更加強(qiáng)調(diào)實(shí)時(shí)的必要性和降低處理電路數(shù)，則找到四個(gè)接近的參考矢量NV的分量相關(guān)性值的過(guò)程將更有效。
此外，在本實(shí)施例的情形下，分量相關(guān)性值在以與現(xiàn)有技術(shù)相同的方式執(zhí)行的累加過(guò)程中，被存儲(chǔ)作為經(jīng)縮減相關(guān)性值表(經(jīng)縮減SAD表)的元素，在現(xiàn)有技術(shù)中，對(duì)于作為參考?jí)K要被移動(dòng)到的位置的在搜索范圍中包括的位置中的每一個(gè)，相關(guān)性值被存儲(chǔ)為原始相關(guān)性值表的元素。
但是，在現(xiàn)有技術(shù)的塊匹配技術(shù)中，參考矢量在一對(duì)一基礎(chǔ)上與組成相關(guān)性值表的元素的地址相關(guān)聯(lián)，從而為對(duì)應(yīng)于參考矢量的每個(gè)參考?jí)K計(jì)算相關(guān)性值，并且所述相關(guān)性值僅被存儲(chǔ)在相關(guān)性值表中作為與參考矢量相關(guān)聯(lián)的元素。另一方面，在根據(jù)本實(shí)施例的技術(shù)的情況中，參考矢量不在一對(duì)一基礎(chǔ)上與組成經(jīng)縮減相關(guān)性值表(或經(jīng)縮減SAD表)的元素的地址相關(guān)聯(lián)。因此，為參考?jí)K計(jì)算的相關(guān)性值被分為多個(gè)分量參考值，然后每個(gè)分量參考值都被存儲(chǔ)在經(jīng)縮減相關(guān)性值表中，作為與和分量參考值相關(guān)聯(lián)的接近的參考矢量之一相對(duì)應(yīng)的元素。非常類似于相關(guān)性值表中的每個(gè)元素，每個(gè)都用于存儲(chǔ)計(jì)算得到的分量參考值的存儲(chǔ)器位置中的每一個(gè)在最初也被初始化為0。
如前所述，根據(jù)現(xiàn)有技術(shù)的塊匹配技術(shù)作為相關(guān)性值表的元素而被存儲(chǔ)在相關(guān)性值表中的相關(guān)性值是SAD值。然后，在現(xiàn)有技術(shù)的塊匹配技術(shù)的情況中，相關(guān)性值表被搜索，以找出用于存儲(chǔ)指示目標(biāo)幀上的目標(biāo)塊和參考幀上的參考?jí)K之間的最強(qiáng)相關(guān)性的最小SAD值的表元素。然后，指向用于存儲(chǔ)最小SAD值的表元素的地址的參考矢量被當(dāng)作代表了從目標(biāo)幀的位置到參考幀的位置的移動(dòng)的運(yùn)動(dòng)矢量。
另一方面，在實(shí)施例的情況中，根據(jù)實(shí)施例作為經(jīng)縮減相關(guān)性值表的元素而被存儲(chǔ)在經(jīng)縮減相關(guān)性值表中的相關(guān)性值是分量相關(guān)性值，它也是SAD值。然后，經(jīng)縮減相關(guān)性值表被搜索，以找出用于存儲(chǔ)最小SAD值的表元素和參考幀中包括的作為由它們各自的接近的參考矢量所指向的塊的多個(gè)參考?jí)K，從這些接近的參考矢量識(shí)別出運(yùn)動(dòng)矢量，因?yàn)檫@些接近的參考矢量中的每一個(gè)不必是準(zhǔn)確的運(yùn)動(dòng)矢量。
作為從與經(jīng)縮減相關(guān)性值表的這種表元素相關(guān)聯(lián)的接近的參考矢量識(shí)別運(yùn)動(dòng)矢量的最合理的技術(shù)，通過(guò)把經(jīng)縮減相關(guān)性值表的大小乘以整數(shù)n(縮減因子1/n的倒數(shù))，經(jīng)縮減相關(guān)性值表被恢復(fù)為原始相關(guān)性值表。然后，識(shí)別作為與經(jīng)縮減相關(guān)性值表的檢測(cè)出的元素相對(duì)應(yīng)的元素的被包括在原始相關(guān)性值表中的元素。最后，確定指向原始相關(guān)性值表的所選擇的元素的運(yùn)動(dòng)矢量。但是，這種技術(shù)可以用于在某種程度上容許誤差的圖像處理裝置。
為了以較高程度的準(zhǔn)確性檢測(cè)運(yùn)動(dòng)矢量，必須在存儲(chǔ)在經(jīng)縮減相關(guān)性值表中的元素值上執(zhí)行下述典型插值過(guò)程之一。通過(guò)執(zhí)行典型插值過(guò)程之一，可以以原始程度的精度檢測(cè)準(zhǔn)確的運(yùn)動(dòng)矢量。
具有較高程度的準(zhǔn)確性的用于檢測(cè)運(yùn)動(dòng)矢量的第一典型插值過(guò)程采用這樣的技術(shù)，其中通過(guò)使用二次曲面來(lái)近似在經(jīng)縮減相關(guān)性值表的元素中存儲(chǔ)的多個(gè)相關(guān)性值。該技術(shù)是通過(guò)向經(jīng)縮減相關(guān)性值表應(yīng)用前面引用的專利文獻(xiàn)1中描述的方法而獲得的技術(shù)。
在本實(shí)施例中，由于SAD值被用作相關(guān)性值，因此相關(guān)性值越小，相關(guān)性值所指示的相關(guān)性越強(qiáng)。因此，在本實(shí)施例中，經(jīng)縮減相關(guān)性值表被搜索，以找出用于存儲(chǔ)指示最強(qiáng)相關(guān)性的最小相關(guān)性值的特定表元素，和作為由其各自的接近的參考矢量指示的塊的在參考幀中包括的多個(gè)參考?jí)K?？梢砸员淼刂肪龋阉鹘?jīng)縮減相關(guān)性值表的表元素，所述表地址精度是整數(shù)級(jí)別的精度。此外，作為經(jīng)縮減相關(guān)性值表中的區(qū)域的如下表區(qū)域中的多個(gè)接近的表元素中的每一個(gè)也以整數(shù)級(jí)別的精度被識(shí)別，所述表區(qū)域以已經(jīng)以整數(shù)級(jí)別的精度被檢測(cè)出的特定表元素為中心。然后，通過(guò)采用最小二乘法，找到二次曲面作為代表作為特定表元素和在表區(qū)域中檢測(cè)出的接近的表元素而存儲(chǔ)在經(jīng)縮減相關(guān)性值表中的相關(guān)性值的曲面。接下來(lái)，代表相關(guān)性值的二次曲面的最小值被確定，并且被確定為最小值的相關(guān)性值的位置被識(shí)別為從原點(diǎn)位置(0，0)偏移的位置。識(shí)別出的被確定為最小值的相關(guān)性值的位置與作為顯示出與目標(biāo)塊的最強(qiáng)相關(guān)性的參考?jí)K的位置的在參考幀上的搜索區(qū)域中包括的位置相對(duì)應(yīng)。識(shí)別出的位置是作為具有分?jǐn)?shù)級(jí)別的精度的地址處的位置而包括在經(jīng)縮減相關(guān)性值表(或經(jīng)縮減SAD表)中的位置。最后，指向識(shí)別出的位置的經(jīng)縮減參考矢量被檢測(cè)為指向以分?jǐn)?shù)級(jí)別的精度識(shí)別出的位置的矢量。
圖4A或圖4B示出了設(shè)置二次曲面的過(guò)程的示例。在其中的任一示例中，標(biāo)記tm標(biāo)示作為代表最小相關(guān)性值的表元素的以整數(shù)級(jí)別的精度識(shí)別出的特定表元素。另一方面，標(biāo)記t1、t2、t3和t4中的每一個(gè)都標(biāo)示在以特定表元素tm為中心的表區(qū)域中也以整數(shù)級(jí)別的精度識(shí)別出的表元素。需要在兩個(gè)方向上夾住特定表元素tm的至少四個(gè)表元素。
然后，如圖5所示，坐標(biāo)空間被假設(shè)在經(jīng)縮減參考矢量的范圍內(nèi)(或經(jīng)縮減相關(guān)性值表的范圍內(nèi))。經(jīng)縮減參考矢量的范圍與參考幀的搜索范圍相對(duì)應(yīng)。目標(biāo)幀的位置(嚴(yán)格地說(shuō)，是圖42所示的目標(biāo)塊投影圖像塊104的位置)被當(dāng)作坐標(biāo)空間的原點(diǎn)位置(0，0)。垂直Z軸(或相關(guān)性值軸)被當(dāng)作代表相關(guān)性值的軸，其隨參考?jí)K和目標(biāo)塊之間的相關(guān)性呈反比地減小。水平x軸(或vx/n軸)被當(dāng)作代表參考?jí)K在x方向上從目標(biāo)塊的偏移的軸，或代表經(jīng)縮減參考矢量的值vx/n的軸。同樣地，水平y(tǒng)軸(或vy/n軸)被當(dāng)作代表參考?jí)K在垂直于x方向的y方向上從目標(biāo)塊的偏移的軸，或代表經(jīng)縮減參考矢量的值vy/n的軸。
因此，從以整數(shù)級(jí)別的精度識(shí)別出的最小值表元素tm的相關(guān)性值以及作為在特定方向上夾住最小值表元素tm的表元素的也以整數(shù)級(jí)別的精度識(shí)別出的兩個(gè)表元素t1和t3的相關(guān)性值，在圖5所示的坐標(biāo)空間中創(chuàng)建了二次曲線。同樣地，從最小值表元素tm的相關(guān)性值以及在垂直于該特定方向的另一方向上作為夾住最小值表元素tm的表元素的也以整數(shù)級(jí)別的精度識(shí)別出的兩個(gè)表元素t2和t4的相關(guān)性值，在坐標(biāo)空間中創(chuàng)建了另一條二次曲線。然后，通過(guò)采用最小二乘法，在圖5所示的坐標(biāo)空間中找到包括這兩條二次曲線的近似二次曲面201。
接下來(lái)，在X-Y平面上的作為具有坐標(biāo)(vx/n，vy/n)的位置的位置203處，檢測(cè)出近似二次曲面201的最小值點(diǎn)202，如圖5所示。位置(vx/n，vy/n)是作為具有經(jīng)縮減相關(guān)性值表中的最小相關(guān)性值的表元素(或表元素地址)的位置，以分?jǐn)?shù)級(jí)別的精度識(shí)別出的的位置。最后，確定指向以分?jǐn)?shù)級(jí)別的精度識(shí)別出的位置(vx/n，vy/n)的最小值矢量204，并且通過(guò)用縮減因子的倒數(shù)值n乘最小值矢量204，來(lái)計(jì)算具有原始大小和原始方向的運(yùn)動(dòng)矢量205，如圖6所示。
例如，通過(guò)縮減原始相關(guān)性值表以伴隨以縮減因子1/4對(duì)參考矢量進(jìn)行縮減的過(guò)程，來(lái)獲得圖7所示的經(jīng)縮減相關(guān)性值表TBLs，并從以分?jǐn)?shù)級(jí)別的精度識(shí)別出的最小值表元素的地址，找到運(yùn)動(dòng)矢量204(-0.777，-1.492)。在此情形下，最小值矢量204被乘以4，以獲得原始運(yùn)動(dòng)矢量205(-3.108，-5.968)。運(yùn)動(dòng)矢量205是圖像的原始比例的運(yùn)動(dòng)矢量。
根據(jù)上述本發(fā)明，經(jīng)縮減相關(guān)性值表被搜索，以找出用于存儲(chǔ)指示最強(qiáng)相關(guān)性的最小相關(guān)性值的特定表元素tm，和以特定表元素tm為中心的表區(qū)域中的四個(gè)接近的表元素。但是，為了設(shè)置相關(guān)性值的近似二次曲面，最好找出在這樣的表區(qū)域中的更多數(shù)量的接近的表元素。因此，一般地，找出如下矩形表區(qū)域中的接近的表元素，所述矩形區(qū)域包括水平和垂直方向上的m×m個(gè)表元素(其中標(biāo)記m標(biāo)示至少等于3的整數(shù))，其中心在以整數(shù)級(jí)別的精度檢測(cè)出的特定表元素tm處。
但是，更大數(shù)量的接近的表元素不一定更好。這是因?yàn)檫@種大的表區(qū)域中的接近的表元素導(dǎo)致處理量增加。此外，如果接近的表元素的數(shù)量增加，則很有可能不可避免地檢測(cè)出依賴于圖像模式的錯(cuò)誤的局部最小值。因此，選擇包括適當(dāng)數(shù)量的接近的表元素的矩形表區(qū)域中的表元素。
下文說(shuō)明了作為包含適當(dāng)數(shù)量的接近的表元素的區(qū)域的被包括在經(jīng)縮減相關(guān)性值表中的矩形表區(qū)域的兩個(gè)示例。根據(jù)該實(shí)施例的一個(gè)示例是這樣的矩形表區(qū)域，其中心在以整數(shù)級(jí)別的精度找到的最小值表元素tm處，并包含在水平和垂直方向上圍繞該最小值表元素tm的3×3個(gè)接近的表元素。根據(jù)該實(shí)施例的另一示例是中心在以整數(shù)級(jí)別的精度找到的最小值表元素tm處的作為包含在水平和垂直方向上圍繞該最小值表元素tm的4×4個(gè)接近的表元素的區(qū)域的矩形表區(qū)域。
圖8A和圖8B是示出了通過(guò)使用如下矩形表區(qū)域來(lái)找到運(yùn)動(dòng)矢量的技術(shù)的圖，該舉行區(qū)域的中心在以整數(shù)級(jí)別的精度找到的最小值表元素tm處，并包含在水平和垂直方向上圍繞該最小值表元素tm的3×3個(gè)接近的表元素。在圖8A中，表區(qū)域被示為灰色塊。
根據(jù)圖8A和圖8B所示的技術(shù)，通過(guò)采用基于以整數(shù)級(jí)別的精度找到的最小值表元素tm和圍繞最小值表元素tm的8個(gè)接近的表元素(如圖8A所示)的相關(guān)性值的最小二乘法，設(shè)置圖8B所示的近似二次曲面201。接下來(lái)，如圖8B所示，在作為具有坐標(biāo)(vx/n，vy/n)的位置的X-Y平面上的位置203處，檢測(cè)出近似二次曲面201的最小值點(diǎn)202。位置(vx/n，vy/n)是作為與具有經(jīng)縮減相關(guān)性值表中的最小相關(guān)性值的表元素(或表元素地址)相對(duì)應(yīng)的位置，以分?jǐn)?shù)級(jí)別的精度識(shí)別出的位置。
最后，確定指向作為表元素的位置的以分?jǐn)?shù)級(jí)別的精度識(shí)別出的位置203的最小值矢量204，并且通過(guò)用縮減因子的倒數(shù)值n乘最小值矢量204，來(lái)計(jì)算具有原始大小和原始方向的運(yùn)動(dòng)矢量205(或最小值矢量)，如圖6所示。
通過(guò)采用下文所述的方法，執(zhí)行找到與近似二次曲面201上的最小值點(diǎn)202相對(duì)應(yīng)的位置203的過(guò)程。如圖9所示，坐標(biāo)(x，y)系統(tǒng)被設(shè)計(jì)為這樣的系統(tǒng)，其中以整數(shù)級(jí)別的精度找到的最小值表元素tm的中心的位置被當(dāng)作原點(diǎn)位置(0，0)。在此情形下，圍繞以整數(shù)級(jí)別的精度找到的最小值表元素tm的8個(gè)接近的表元素位于具有在水平方向上由x＝-1、x＝0和x＝+1代表的x軸坐標(biāo)以及在垂直方向由y＝-1、y＝0和y＝+1代表的y軸坐標(biāo)的位置處，坐標(biāo)(x＝0和y＝0)的位置除外。也就是說(shuō)，圍繞以整數(shù)級(jí)別的精度找到的最小值表元素tm的8個(gè)接近的表元素位于坐標(biāo)(-1，-1)、(0，-1)、(1，-1)、(-1，0)、(0，1)、(-1，1)、(0，1)和(1，1)處。
令標(biāo)記Sxy標(biāo)示圖9所示的坐標(biāo)系中的表元素的相關(guān)性值。例如，以整數(shù)級(jí)別的精度在原點(diǎn)位置(0，0)找到的最小值表元素tm的相關(guān)性值由符號(hào)S00標(biāo)記，而在最小值表元素tm的右側(cè)并且低于最小值表元素tm的位置(1，1)處的接近的表元素的相關(guān)性值由符號(hào)S11標(biāo)記。
因此，根據(jù)圖10所示的等式(A)和(B)，可以找到利用以整數(shù)級(jí)別的精度在(x，y)坐標(biāo)系的原點(diǎn)位置(0，0)處找到的最小值表元素tm，以分?jǐn)?shù)級(jí)別的精度在(x，y)坐標(biāo)系中觀察到的位置的坐標(biāo)(dx，dy)。
在圖10所示的等式(A)和(B)中，Kx和Ky的值給出如下對(duì)于x＝-1，Kx＝-1；對(duì)于x＝0，Kx＝0；對(duì)于x＝1，Kx＝1；對(duì)于y＝-1，Ky＝-1；對(duì)于y＝0，Ky＝0；以及對(duì)于y＝1，Ky＝1。
坐標(biāo)(dx，dy)是從分?jǐn)?shù)級(jí)別的精度的位置(dx，dy)和以整數(shù)級(jí)別的精度在原點(diǎn)位置(0，0)處找到的最小值表元素tm的位置，利用以整數(shù)級(jí)別的精度在原點(diǎn)位置(0，0)處找到的最小值表元素tm，以分?jǐn)?shù)級(jí)別的精度在(x，y)坐標(biāo)系中觀察到的位置的坐標(biāo)。位置203可以被檢測(cè)為與識(shí)別出的最小值表元素tm的中心分離的位置。
圖11A和圖11B是通過(guò)使用如下矩形表區(qū)域來(lái)找到運(yùn)動(dòng)矢量的技術(shù)的圖，該矩形區(qū)域的中心在以整數(shù)級(jí)別的精度找到的最小值表元素tm處，并包含在水平和垂直方向上圍繞該最小值表元素tm的4×4個(gè)接近的表元素。在圖11A中，表區(qū)域被示為灰色塊。
在m×m表區(qū)域(包括m×m個(gè)接近的表元素，其中m是奇數(shù))(例如上述包括9個(gè)(＝3×3)接近的表元素的表區(qū)域和包括25＝5×5個(gè)接近的表元素的表區(qū)域)的情形下，以整數(shù)級(jí)別的精度找到的最小值表元素tm位于作為接近的表元素的中心表元素處。因此，可以很容易地設(shè)置用于確定運(yùn)動(dòng)矢量的矩形表區(qū)域。
另一方面，在m×m表區(qū)域(包括m×m個(gè)接近的表元素，其中m是偶數(shù))(例如包括以整數(shù)級(jí)別的精度找到的最小值表元素tm和15個(gè)接近的表元素的包括4×4個(gè)表元素的表區(qū)域)的情形下，最小值表元素tm不位于作為接近的表元素的中心表元素處。因此，很難容易地設(shè)置用于確定運(yùn)動(dòng)矢量的矩形表區(qū)域，因此可以進(jìn)行下面設(shè)計(jì)的一些努力。
在此情形下，在經(jīng)縮減相關(guān)性值表的與以整數(shù)級(jí)別的精度找到的最小值表元素tm同一行上的包括最小值表元素tm的接近的表元素的相關(guān)性值(在本實(shí)施例中，它們都是最終分量SAD值)被彼此比較。作為比較的結(jié)果，這樣的矩形表區(qū)域被設(shè)置，其中最小值表元素tm充當(dāng)該行中的第二個(gè)表元素。在包括最小值表元素tm的四個(gè)相鄰的接近的表元素中的具有最小相關(guān)性值的表元素充當(dāng)該行的第四接近的表元素。同樣地，在經(jīng)縮減相關(guān)性值表的與以整數(shù)級(jí)別的精度找到的最小值表元素tm同一列上的包括最小值表元素tm的接近的表元素的相關(guān)性值被彼此比較。作為比較的結(jié)果，這樣的矩形表區(qū)域被設(shè)置，其中最小值表元素tm充當(dāng)該列中的第二個(gè)表元素。在包括最小值表元素tm的四個(gè)相鄰的接近的表元素中的具有最小相關(guān)性值的表元素充當(dāng)該列的第四接近的表元素。
在圖11A和圖11B所示的示例中，以整數(shù)級(jí)別的精度找到的最小值表元素tm被同一行上分別具有相關(guān)性值177和173的兩個(gè)相鄰的接近的表元素夾住。在此情形下，最小值表元素tm被當(dāng)作該行的第二表元素，而在具有較小的相關(guān)性值173的接近的表元素右側(cè)的接近的表元素被當(dāng)作該行的第四接近的表元素。同樣地，以整數(shù)級(jí)別的精度找到的最小值表元素tm被同一列上分別具有SAD值168和182的兩個(gè)相鄰的接近的表元素夾住。在此情形下，最小值表元素tm被當(dāng)作該列的第二表元素，而在具有較小的相關(guān)性值168的接近的表元素上方的接近的表元素被當(dāng)作該列的第四接近的表元素。
然后，在圖11A和圖11B所示的示例中，基于以整數(shù)級(jí)別的精度找到的最小值表元素tm和圍繞最小值表元素tm的15個(gè)接近的表元素(如圖11A所示)的相關(guān)性值，通過(guò)采用最小二乘法，設(shè)置圖11B所示的近似二次曲面201。接下來(lái)，如圖11B所示，在作為具有坐標(biāo)(vx/n，vy/n)的位置的X-Y平面上的位置203處，檢測(cè)出近似二次曲面201的最小值點(diǎn)202。位置(vx/n，vy/n)是作為與具有經(jīng)縮減相關(guān)性值表中的最小相關(guān)性值的表元素(或表元素地址)相對(duì)應(yīng)的位置，以分?jǐn)?shù)級(jí)別的精度識(shí)別出的的位置。
最后，確定指向作為表元素的位置的以分?jǐn)?shù)級(jí)別的精度識(shí)別出的位置203的最小值矢量204，并且通過(guò)用縮減因子的倒數(shù)值n乘最小值矢量204，來(lái)計(jì)算具有原始大小和原始方向的運(yùn)動(dòng)矢量205(或最小值矢量)，如圖6所示。
通過(guò)采用下文所述的方法執(zhí)行找到與近似二次曲面201上的最小值點(diǎn)202相對(duì)應(yīng)的位置203的過(guò)程。如圖9所示，坐標(biāo)(x，y)系統(tǒng)被設(shè)計(jì)為這樣的系統(tǒng)，其中以整數(shù)級(jí)別的精度找到的最小值表元素tm的中心的位置被當(dāng)作原點(diǎn)位置(0，0)。
在圖11A和圖11B所示的示例的情形下，如圖12A、圖12B、圖12C和圖12D所示，以不同方式布局的包括16個(gè)表元素的四個(gè)矩形表區(qū)域產(chǎn)生了以整數(shù)級(jí)別的精度找到的最小值表元素tm的不同位置。以整數(shù)級(jí)別的精度找到的最小值表元素tm在矩形表區(qū)域中的位置依賴于前述包括最小值表元素tm的行的第四表元素是在最小值表元素tm的右側(cè)還是左側(cè)的接近的表元素，以及前述包括最小值表元素tm的列的第四表元素是在最小值表元素tm的上方還是下方的接近的表元素。
在此情形下，從圖12A、圖12B、圖12C和圖12D可以很明顯地看出，以整數(shù)級(jí)別的精度找到的最小值表元素tm的位置固定在坐標(biāo)系的位置(0，0)處。位置接近最小值表元素tm的15個(gè)接近的表元素的位置具有在水平方向上的由x＝-2或x＝-1、x＝0和x＝+1或x＝+2代表的x軸坐標(biāo)，和和垂直方向上的由y＝-2或y＝-1、y＝0和y＝+1或y＝+2代表的y軸坐標(biāo)。
令標(biāo)記Sxy標(biāo)示圖12A到圖12D所示的坐標(biāo)系中的表元素的相關(guān)性值。例如，以整數(shù)級(jí)別的精度在原點(diǎn)位置(0，0)處找到的最小值表元素tm的相關(guān)性值由符號(hào)S00標(biāo)示，而在最小值表元素tm的右側(cè)并且低于最小值表元素tm的位置(1，1)處的表元素的相關(guān)性值由符號(hào)S11標(biāo)記。
因此，根據(jù)圖13所示的等式(C)和(D)，可以找到利用以整數(shù)級(jí)別的精度在(x，y)坐標(biāo)系的原點(diǎn)位置(0，0)處找到的最小值表元素tm，以分?jǐn)?shù)級(jí)別的精度在(x，y)坐標(biāo)系中觀察到的位置的坐標(biāo)(dx，dy)。(x，y)坐標(biāo)系的原點(diǎn)位置(0，0)與覆蓋包括以整數(shù)級(jí)別的精度在(x，y)坐標(biāo)系的原點(diǎn)位置(0，0)處找到的最小值表元素tm在內(nèi)的16個(gè)表元素的矩形區(qū)域的中心重合。
在圖13所示的等式(C)和(D)中，Kx和Ky的值是分別由圖14所示的(Kx，Ky)坐標(biāo)系的水平和垂直軸代表的值，該坐標(biāo)系作為放置在一個(gè)矩形表區(qū)域上的坐標(biāo)系，所示矩形表區(qū)域包括以整數(shù)級(jí)別的精度找到的最小值表元素tm和位置接近該最小值表元素tm的15個(gè)接近的表元素。該矩形區(qū)域的中心與(Kx，Ky)坐標(biāo)系的原點(diǎn)位置(0，0)重合。Kx和Ky的值是依賴于作為表元素的布局的圖12A到圖12D所示的4種不同布局的值。
具體而言，在圖12A所示的坐標(biāo)系的情形下，圖14所示的(Kx，Ky)坐標(biāo)系的坐標(biāo)Kx和Ky具有以下值對(duì)于x＝-2，Kx＝-1.5；對(duì)于x＝-1，Kx＝-0.5；對(duì)于x＝0，Kx＝0.5；對(duì)于x＝1，Kx＝1.5；對(duì)于y＝-2，Ky＝-1.5；對(duì)于y＝-1，Ky＝-0.5；對(duì)于y＝0，Ky＝0.5；以及對(duì)于y＝1，Ky＝1.5。
在圖12B所示的坐標(biāo)系的情形下，圖14所示的(Kx，Ky)坐標(biāo)系的坐標(biāo)Kx和Ky具有以下值
對(duì)于x＝-2，Kx＝-1.5；對(duì)于x＝-1，Kx＝-0.5；對(duì)于x＝0，Kx＝0.5；對(duì)于x＝1，Kx＝1.5；對(duì)于y＝-1，Ky＝-1.5；對(duì)于y＝0，Ky＝-0.5；對(duì)于y＝1，Ky＝0.5；以及對(duì)于y＝2，Ky＝1.5。
在圖12C所示的坐標(biāo)系的情形下，圖14所示的(Kx，Ky)坐標(biāo)系的坐標(biāo)Kx和Ky具有以下值對(duì)于x＝-1，Kx＝-1.5；對(duì)于x＝0，Kx＝-0.5；對(duì)于x＝1，Kx＝0.5；對(duì)于x＝2，Kx＝1.5；對(duì)于y＝-2，Ky＝-1.5；對(duì)于y＝-1，Ky＝-0.5；對(duì)于y＝0，Ky＝0.5；以及對(duì)于y＝1，Ky＝1.5。
在圖12D所示的坐標(biāo)系的情形下，圖14所示的(Kx，Ky)坐標(biāo)系的坐標(biāo)Kx和Ky具有以下值對(duì)于x＝-1，Kx＝-1.5；對(duì)于x＝0，Kx＝-0.5；對(duì)于x＝1，Kx＝0.5；對(duì)于x＝2，Kx＝1.5；對(duì)于y＝-1，Ky＝-1.5；對(duì)于y＝0，Ky＝-0.5；對(duì)于y＝1，Ky＝0.5；以及對(duì)于y＝2，Ky＝1.5。
圖13所示的等式(C)中使用的標(biāo)記Δx是圖12A、圖12B、圖12C或圖12D所示的(x，y)坐標(biāo)系中的表元素的位置的坐標(biāo)x相對(duì)圖14所示的(Kx，Ky)坐標(biāo)系中的坐標(biāo)Kx的偏移。同樣地，圖13所示的等式(D)中使用的標(biāo)記Δy是圖12A、圖12B、圖12C或圖12D所示的(x，y)坐標(biāo)系中的表元素的位置的坐標(biāo)y相對(duì)圖14所示的(Kx，Ky)坐標(biāo)系中的坐標(biāo)Ky的偏移。偏移Δx和Δy具有以下值在圖12A的情形下，Δx＝-0.5，Δy＝-0.5；在圖12B的情形下，Δx＝-0.5，Δy＝0.5；在圖12C的情形下，Δx＝0.5，Δy＝-0.5；以及在圖12D的情形下，Δx＝0.5，Δy＝0.5。
坐標(biāo)(dx，dy)是利用以整數(shù)級(jí)別的精度在(x，y)坐標(biāo)系的原點(diǎn)位置(0，0)處找到的最小值表元素tm，以分?jǐn)?shù)級(jí)別的精度在(x，y)坐標(biāo)系中觀察到的位置的坐標(biāo)。從以分?jǐn)?shù)級(jí)別的精度在(x，y)坐標(biāo)系中觀察到的位置(dx，dy)和以整數(shù)級(jí)別的精度在(x，y)坐標(biāo)系的原點(diǎn)位置(0，0)處找到的最小值表元素tm的位置，位置203可被檢測(cè)為與識(shí)別出的最小值表元素tm的中心相分離的位置。
具有較高程度的準(zhǔn)確性的檢測(cè)運(yùn)動(dòng)矢量的第二典型插值過(guò)程采用以下技術(shù)。在經(jīng)縮減相關(guān)性值表中包括以整數(shù)級(jí)別的精度找到的最小值表元素tm的行上的以水平方向布置的元素中所存儲(chǔ)的多個(gè)相關(guān)性值(其中在本實(shí)施例中，每個(gè)都是最終分量SAD值)被用來(lái)創(chuàng)建定向于水平方向上的平面上的三次曲線。在經(jīng)縮減相關(guān)性值表中包括最小值表元素tm的列上以垂直方向布置的元素中所存儲(chǔ)的多個(gè)相關(guān)性值被用來(lái)創(chuàng)建定向于垂直方向上的平面上的三次曲線。然后，三次曲線的最小值的位置(vx，vy)被檢測(cè)，并被當(dāng)作具有分?jǐn)?shù)級(jí)別的精度的最小值地址。
圖15A和圖15B是在下面描述具有較高程度的準(zhǔn)確性的檢測(cè)運(yùn)動(dòng)矢量的第二典型插值過(guò)程時(shí)參考的說(shuō)明圖。非常類似于具有較高程度的準(zhǔn)確性的檢測(cè)運(yùn)動(dòng)矢量的第一典型插值過(guò)程，通過(guò)使用如下矩形表區(qū)域，第二典型插值過(guò)程被執(zhí)行以找到運(yùn)動(dòng)矢量，所述矩形表區(qū)域以整數(shù)級(jí)別的精度找到的最小值表元素tm為中心，并包括在水平和垂直方向上圍繞最小值表元素tm的接近的表元素。在圖15A和圖15B所示的示例中，接近的表元素的數(shù)量被設(shè)置為16(＝4×4)。在圖15A中，表區(qū)域被示為灰色塊。
接下來(lái)，非常類似于具有較高程度的準(zhǔn)確性的檢測(cè)運(yùn)動(dòng)矢量的第一典型插值過(guò)程，如圖15B所示，坐標(biāo)空間被假設(shè)為在經(jīng)縮減參考矢量的范圍(或經(jīng)縮減相關(guān)性值表的范圍)內(nèi)。經(jīng)縮減參考矢量的范圍對(duì)應(yīng)于參考幀的搜索范圍。目標(biāo)幀的位置(或者更嚴(yán)格地說(shuō)，圖42所示的目標(biāo)塊投影圖像塊104的位置)被當(dāng)作坐標(biāo)空間的原點(diǎn)位置(0，0)。垂直Z軸(或相關(guān)性值軸)被當(dāng)作代表相關(guān)性值的軸，其隨參考?jí)K和目標(biāo)塊之間的相關(guān)性成反比地減小。在本實(shí)施例中，相關(guān)性值是最終分量SAD值。水平x軸(或vx/n軸)被當(dāng)作代表在x方向上參考?jí)K從目標(biāo)塊的偏移的軸，或代表經(jīng)縮減參考矢量的值vx/n的軸。同樣地，垂直y軸(或vy/n軸)被當(dāng)作代表在垂直于x方向的y方向上參考?jí)K從目標(biāo)塊的偏移的軸，或代表經(jīng)縮減參考矢量的值vy/n的軸。
然后，從接近以整數(shù)級(jí)別的精度找到的最小值表元素tm的16個(gè)表元素中選擇包括最小值表元素tm的水平方向行上的四個(gè)表元素。接下來(lái)，四個(gè)被選擇的表元素的相關(guān)性值(其中每個(gè)都是最終分量SAD值)被用來(lái)創(chuàng)建坐標(biāo)系中定向于水平方向上的平面上的水平三次曲線206。然后，以分?jǐn)?shù)級(jí)別的精度在表元素的區(qū)域中選擇水平三次曲線206上的最小值的水平方向位置vx/n。
同樣地，從接近以整數(shù)級(jí)別的精度找到的最小值表元素tm的16個(gè)表元素中選擇包括最小值表元素tm的垂直方向列上的四個(gè)表元素。接下來(lái)，四個(gè)被選擇的表元素的相關(guān)性值(其中每個(gè)都是最終分量SAD值)被用來(lái)創(chuàng)建坐標(biāo)系中定向于垂直方向上的平面上的垂直三次曲線207。然后，以分?jǐn)?shù)級(jí)別的精度在表元素的區(qū)域中選擇垂直三次曲線207上的最小值的垂直方向位置vy/n。
然后，從以分?jǐn)?shù)級(jí)別的精度選擇的水平方向位置vx/n和以分?jǐn)?shù)級(jí)別的精度選擇的垂直方向位置vy/n，以分?jǐn)?shù)級(jí)別的精度找到最小值表地址208。分?jǐn)?shù)精度最小值表地址208是與水平三次曲線206和垂直三次曲線207上的最小值相對(duì)應(yīng)的表元素地址。最后，確定作為表元素的位置的指向以分?jǐn)?shù)級(jí)別的精度識(shí)別出的分?jǐn)?shù)精度最小值表地址208的最小值矢量209。通過(guò)用縮減因子的倒數(shù)值n乘最小值矢量209，計(jì)算具有原始大小和原始方向的運(yùn)動(dòng)矢量(或最小值矢量)，如圖6所示。
也就是說(shuō)，第二典型插值過(guò)程采用這樣的技術(shù)，其中通過(guò)采用與第一典型插值過(guò)程相同的技術(shù)在定向于水平方向上的行和定向于垂直方向上的列的每一個(gè)中選擇四個(gè)表元素。然后，基于在行上選擇的四個(gè)表元素創(chuàng)建定向于水平方向上的平面上的三次曲線，而基于在列上選擇的四個(gè)表元素創(chuàng)建定向于垂直方向上的平面上的三次曲線，如圖15B所示。
通過(guò)下述方法執(zhí)行找到與水平三次曲線206和垂直三次曲線207上的最小值點(diǎn)202相對(duì)應(yīng)的分?jǐn)?shù)精度最小值表地址208的過(guò)程。令標(biāo)記S0、S1、S2和S3標(biāo)示在定向于水平方向上的行或定向于垂直方向上的列上選擇的四個(gè)表元素的相關(guān)性值。如上所述，在本實(shí)施例中，相關(guān)性值是最終分量SAD值。相關(guān)性值S0、S1、S2和S3對(duì)應(yīng)于連續(xù)地沿水平方向上的水平三次曲線206或垂直方向上的垂直三次曲線207布局的四個(gè)相鄰點(diǎn)。如圖16所示，標(biāo)記Ra、Rb和Rc分別標(biāo)示代表點(diǎn)S0和S1之間的軸向距離的線段、代表點(diǎn)S1和S2之間的軸向距離的線段，和代表點(diǎn)S2和S3之間的軸向距離的線段。線段部分u是最小相關(guān)性值的位置的坐標(biāo)值中包括的分?jǐn)?shù)部分。根據(jù)依賴于圖16所示的三個(gè)線段Ra、Rb和Rc中的哪個(gè)包括充當(dāng)最小相關(guān)性值的位置的坐標(biāo)值中所包括的分?jǐn)?shù)部分的線段部分u的等式，來(lái)找到線段部分u。
如上所述，線段Ra是與相關(guān)性值(或SAD值)S0相對(duì)應(yīng)的位置和與相關(guān)性值S1的相對(duì)應(yīng)的位置之間的線段。線段Rb是與相關(guān)性值S1相對(duì)應(yīng)的位置和與相關(guān)性值S2的相對(duì)應(yīng)的位置之間的線段。線段Rc是與相關(guān)性值S2相對(duì)應(yīng)的位置和與相關(guān)性值S3的相對(duì)應(yīng)的位置之間的線段。如上所述，在本實(shí)施例中，相關(guān)性值是最終分量SAD值。
如果最小相關(guān)性值的分?jǐn)?shù)精度位置存在于圖16所示的線段Ra中，則通過(guò)使用圖17所示的等式(E)，找到作為分?jǐn)?shù)的代表了從線段Ra的開始處到該位置的距離的線段部分u。
同樣地，如果最小相關(guān)性值的分?jǐn)?shù)精度位置存在于圖16所示的線段Rb中，則通過(guò)使用圖17所示的等式(F)，找到作為分?jǐn)?shù)的代表了從線段Rb的開始處到該位置的距離的線段部分u。
以相同的方式，如果最小相關(guān)性值的分?jǐn)?shù)精度位置存在于圖16所示的線段Rc中，則通過(guò)使用圖17所示的等式(G)，找到作為分?jǐn)?shù)的代表了從線段Rc的開始處到該位置的距離的線段部分u。
下文描述了用于確定圖16所示的三條線段Ra、Rb和Rc中的哪一條包括分?jǐn)?shù)部分u的技術(shù)。
圖18A到圖18D是在描述用于確定圖16所示的三條線段Ra、Rb和Rc中的哪一條包括分?jǐn)?shù)部分u的技術(shù)時(shí)參考的說(shuō)明圖。首先，標(biāo)記Smin標(biāo)示以整數(shù)級(jí)別的精度檢測(cè)出的位置的最小相關(guān)性值。標(biāo)記Sn2標(biāo)示位于整數(shù)精度位置處的這樣的相關(guān)性值其在所有四個(gè)表元素的整數(shù)精度位置處的相關(guān)性值中，與最小相關(guān)性值Smin的相差最小。圖18A、圖18B和圖18C中的符號(hào)x所標(biāo)示的真實(shí)的最小相關(guān)性值可以存在于以分?jǐn)?shù)級(jí)別的精度檢測(cè)出的這樣的位置處在最小相關(guān)性值Smin的位置和相關(guān)性值Sn2的位置之間的位置。然后，通過(guò)辨別圖16所示的相關(guān)性值S0、S1、S2和S3中的哪個(gè)充當(dāng)最小相關(guān)性值Smin和相關(guān)性值Sn2，可以確定三條線段Ra、Rb和Rc中的哪條包括分?jǐn)?shù)部分u。
應(yīng)當(dāng)注意，還存在這種情形，其中最小相關(guān)性值Smin的整數(shù)精度位置是包括四個(gè)表元素的相關(guān)性值的位置的范圍的邊緣，如圖18D所示。在此情形下，真實(shí)的最小相關(guān)性值x的位置很難確定，并且該實(shí)施例不找出真實(shí)的最小相關(guān)性值x的位置，將該情況處理為誤差。但是，即使在如圖18D所示的情形下，也能找到真實(shí)的最小相關(guān)性值x的位置。
如上所述，根據(jù)上述實(shí)施例，通過(guò)使用利用縮小因子1/n2縮小了大小的經(jīng)縮減相關(guān)性值表，可以檢測(cè)出原始圖像比例的運(yùn)動(dòng)矢量。圖19是示出了以下事實(shí)的圖，即雖然使用了利用縮小因子1/n2縮小了大小的經(jīng)縮減相關(guān)性值表，但是能獲得幾乎與現(xiàn)有技術(shù)的圖像處理裝置相同的矢量檢測(cè)結(jié)果。
圖19的水平軸代表在水平或垂直方向上對(duì)相關(guān)性值表進(jìn)行縮減時(shí)使用的一維縮減因子1/n。另一方面，垂直軸代表矢量誤差，即檢測(cè)出的運(yùn)動(dòng)矢量的誤差。圖19所示的矢量誤差的值是以像素表達(dá)的。
在圖19中，曲線301代表針對(duì)不同的縮減因子檢測(cè)出的矢量誤差的平均值。曲線302代表針對(duì)不同的縮減因子檢測(cè)出的矢量誤差的方差σ的三倍值(3σ[99.7％]值)。曲線303是曲線302的近似曲線。
圖19所示的曲線代表以不同的一維縮減因子1/n檢測(cè)出的矢量誤差。但是，由于相關(guān)性值表是二維表，因此表的大小(即組成相關(guān)性值表的元素?cái)?shù)量)以如下比率縮小，該比率等于圖19中使用的一維縮減因子1/n的平方。但是，從指示矢量誤差的平均值沒(méi)有改變并且矢量誤差的方差隨縮減因子變化而線性增加的曲線，可以很明顯地看出根據(jù)本實(shí)施例的技術(shù)的作用。
此外，即使對(duì)于n＝64(或縮減因子1/64)來(lái)說(shuō)，矢量誤差的平均值也是很小的，證明了不存在不正確的運(yùn)動(dòng)矢量的檢測(cè)所導(dǎo)致的失敗。因此，可以說(shuō)相關(guān)性值表的大小可以利用縮小因子1/4096縮小。
另外，如前所述，在針對(duì)手顫抖的影響來(lái)補(bǔ)償運(yùn)動(dòng)圖片的過(guò)程中，實(shí)時(shí)響應(yīng)和減小時(shí)間延遲是非常必要的。但是，只要檢測(cè)出的運(yùn)動(dòng)矢量的誤差不是由不完全的不正確的運(yùn)動(dòng)矢量的檢測(cè)造成的失敗，該誤差就是在某種程度上可容忍的。因此，相關(guān)性值表的大小可以顯著減小，而不導(dǎo)致失敗。因此，這些實(shí)施例可以說(shuō)是非常有用的。
在用于針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像的實(shí)際系統(tǒng)中，參考幀102被劃分為多個(gè)局部區(qū)域，并且對(duì)于每個(gè)局部區(qū)域檢測(cè)運(yùn)動(dòng)矢量205。這是因?yàn)閳D像拾取的移動(dòng)對(duì)象非常有可能被包括在參考幀102中。例如，在一個(gè)參考幀102中檢測(cè)出16個(gè)運(yùn)動(dòng)矢量205，如圖20所示。然后，在考慮到轉(zhuǎn)變(每個(gè)轉(zhuǎn)變由從過(guò)去的圖像開始的一個(gè)運(yùn)動(dòng)矢量205指示)的同時(shí)，執(zhí)行統(tǒng)計(jì)過(guò)程，以便確定參考幀102的全局矢量，即參考幀102的手顫抖運(yùn)動(dòng)矢量。
在此情形下，如圖20所示，預(yù)先分別設(shè)置要檢測(cè)的16個(gè)運(yùn)動(dòng)矢量205的以原點(diǎn)位置PO1，PO2，…，和PO16為中心的16個(gè)搜索范圍SR1，SR2，…，和SR16，并且目標(biāo)塊投影圖像塊IB1，IB2，…，和IB16被假設(shè)為分別存在于搜索范圍SR1，SR2，…，和SR16的中心處。
然后，在搜索范圍SR1，SR2，…，和SR16中的每一個(gè)中，將與目標(biāo)塊投影圖像塊IB1，IB2，…，和IB16中的每一個(gè)具有相同大小的參考?jí)K分別設(shè)置為要在搜索范圍SR1，SR2，…，和SR16上從一個(gè)位置移動(dòng)到另一個(gè)位置的塊。然后，生成經(jīng)縮減SAD表，以便以與前述本發(fā)明提供的技術(shù)相同的方式，在搜索范圍SR1，SR2，…，和SR16中的每一個(gè)中找到運(yùn)動(dòng)矢量205。
與作為用于檢測(cè)具有縮小了的大小的圖像的運(yùn)動(dòng)矢量的方法的在專利文獻(xiàn)4中公開的現(xiàn)有技術(shù)方法相比，根據(jù)上述實(shí)施例的圖像處理方法具有不同于現(xiàn)有技術(shù)方法的以下顯著優(yōu)點(diǎn)。
首先，與專利文獻(xiàn)4公開的現(xiàn)有技術(shù)方法不同，根據(jù)實(shí)施例的圖像處理方法根本不需要縮減圖像的過(guò)程。這是因?yàn)楦鶕?jù)實(shí)施例所提供的圖像處理方法，在將為參考?jí)K計(jì)算的分量相關(guān)性值作為表元素存儲(chǔ)在經(jīng)縮減相關(guān)性值表的過(guò)程中，同時(shí)執(zhí)行轉(zhuǎn)換元素地址的過(guò)程。如上所述，為參考?jí)K計(jì)算的相關(guān)性值實(shí)際上是為參考?jí)K計(jì)算的最終分量SAD值。
因此，與專利文獻(xiàn)4公開的現(xiàn)有技術(shù)方法相比，根據(jù)實(shí)施例的圖像處理方法提供了如下優(yōu)點(diǎn)，例如去掉了縮減圖像的邏輯、用于在存儲(chǔ)器中存儲(chǔ)被縮減圖像所需的時(shí)間、用于在存儲(chǔ)器中存儲(chǔ)被縮減圖像的過(guò)程的帶寬，以及用于存儲(chǔ)被縮減圖像的存儲(chǔ)器。
其次，專利文獻(xiàn)4公開的現(xiàn)有技術(shù)方法產(chǎn)生了另一嚴(yán)重問(wèn)題，如前所述，該方法需要低通濾波器來(lái)消除在縮減圖像的過(guò)程中生成的折疊和低光照噪聲。也就是說(shuō)，在縮減圖像的過(guò)程中，圖像數(shù)據(jù)可能在被重采樣之前被提供給適當(dāng)?shù)牡屯V波器。否則將會(huì)發(fā)生折疊，并且使用縮減的圖像檢測(cè)出的運(yùn)動(dòng)矢量的精度將會(huì)顯著惡化。
作為類似sinc函數(shù)的函數(shù)的在縮減圖像的過(guò)程中使用的低通濾波器所展現(xiàn)的功能已在理論上被證明為是低通濾波器的理想特性。sinc函數(shù)本身是具有由sin(x∏)/(x∏)表達(dá)的截止頻率f/2的無(wú)限抽頭(infinite-tap)FIR(有限脈沖響應(yīng))濾波器的函數(shù)。在對(duì)于縮減因子1/n具有理想截止頻率f/(2n)的低通濾波器的情形下，截止頻率由sin(x∏/n)/(x∏/n)表達(dá)，雖然其也可被用作sinc函數(shù)的形式。
圖21、圖22和圖23的上方的圖分別示出了用于縮減因子1/2、1/4和1/8的sinc函數(shù)的形狀(或低通濾波器的理想特性)。從圖21到圖23可以很明顯地看出，縮減因子越大，函數(shù)在抽頭軸(tap-axis)方向上擴(kuò)展的因子越大。換言之，即使對(duì)于用主系數(shù)來(lái)近似無(wú)限抽頭sinc函數(shù)的情形下，也可以說(shuō)FIR濾波器的抽頭數(shù)可能增加。
此外，已知如果頻帶中的截止頻率越低，則抽頭數(shù)對(duì)低通濾波器的性能的影響相比于濾波器形狀的影響就越大。
因此，使用根據(jù)專利文獻(xiàn)4公開的現(xiàn)有技術(shù)方法生成的被縮減圖像的運(yùn)動(dòng)矢量識(shí)別方法一般顯示出這樣的矛盾盡管圖像的縮減因子越大，縮小相關(guān)性值表的大小的效果就越大，但是我們遇到了這樣的事實(shí)，即成本隨縮減因子的增大成比例地增大。
一般地，在實(shí)現(xiàn)高階抽頭FIR濾波器時(shí)，處理邏輯的成本隨抽頭數(shù)量的平方成比例地增加，從而造成很大的問(wèn)題。但是，用于實(shí)現(xiàn)垂直濾波器的行存儲(chǔ)器的數(shù)量增加造成了更大的問(wèn)題。在近年來(lái)制造的數(shù)字照相機(jī)中，為了縮小行存儲(chǔ)器的大小以便跟上不斷增加的像素?cái)?shù)量，執(zhí)行所謂的帶(strap)處理。但是，即使例如每存儲(chǔ)器行的大小被縮小，但是行存儲(chǔ)器本身數(shù)量增加了，如果物理布局區(qū)域被轉(zhuǎn)換為成本的話，則總成本會(huì)顯著增加。
如上所述，已知基于根據(jù)專利文獻(xiàn)4公開的現(xiàn)有技術(shù)方法的圖像縮減的手段面臨很大的障礙，尤其是在實(shí)現(xiàn)垂直低通濾波器時(shí)。另一方面，根據(jù)本實(shí)施例的圖像處理方法以完全不同的方式有效地解決了這個(gè)問(wèn)題。
圖21到圖23的下方的圖分別示出了根據(jù)本發(fā)明實(shí)施例提供的圖像處理方法的低通濾波器的圖像。根據(jù)本發(fā)明實(shí)施例提供的圖像處理方法，不執(zhí)行縮減圖像的處理。但是，生成經(jīng)縮減相關(guān)性值表的過(guò)程包括低通濾波器的處理，其圖像在這些圖中的任一圖中示出。
從圖21到圖23的下方的圖可以很明顯地看出，該低通濾波器的特性是簡(jiǎn)單濾波器特性，其中sinc函數(shù)的主系數(shù)部分可以被線性近似，而抽頭數(shù)量以與縮減因子聯(lián)鎖的方式增加。簡(jiǎn)單濾波器特性和抽頭數(shù)的增加方式適合于這樣的事實(shí)截止頻率越低，抽頭數(shù)對(duì)低通濾波器的性能的影響越大。也就是說(shuō)，根據(jù)本發(fā)明實(shí)施例找到分量相關(guān)性值(其中每個(gè)都是分量SAD值)的過(guò)程等同于以與縮減因子聯(lián)鎖的方式將展現(xiàn)高性能的低通濾波器實(shí)現(xiàn)為簡(jiǎn)單電路。如前所述，找到分量相關(guān)性值的過(guò)程是作為基于用于找到分量相關(guān)性值的線性加權(quán)分配技術(shù)的過(guò)程的根據(jù)實(shí)施例執(zhí)行的處理。
實(shí)現(xiàn)低通濾波器的簡(jiǎn)單電路相比于專利文獻(xiàn)4公開的現(xiàn)有技術(shù)方法提供了另一優(yōu)點(diǎn)。也就是說(shuō)，根據(jù)專利文獻(xiàn)4公開的現(xiàn)有技術(shù)方法，圖像在通過(guò)低通濾波器之后在采樣過(guò)程中被縮減。在縮減過(guò)程中，丟失了很多圖像信息。更具體而言，在低通濾波器執(zhí)行的處理中，圖像信息的亮度值的字長(zhǎng)在圖像信息被存儲(chǔ)在存儲(chǔ)器中之前被顯著地舍入。因此，像素信息的大多數(shù)低位對(duì)縮減圖像沒(méi)有影響。
另一方面，依據(jù)根據(jù)實(shí)施例的圖像處理技術(shù)，目標(biāo)塊中的所有像素的亮度值都在用于計(jì)算作為表元素存儲(chǔ)于經(jīng)縮減相關(guān)性值表中的最終分量相關(guān)性值的過(guò)程中被同等地使用。也就是說(shuō)，最終分量相關(guān)性是相關(guān)性值的累積和，所述相關(guān)性值中的每一個(gè)是針對(duì)目標(biāo)塊中的像素之一被找到的。因此，通過(guò)僅增加經(jīng)縮減相關(guān)性值表的每個(gè)元素的字長(zhǎng)，可以執(zhí)行這樣的相關(guān)性值計(jì)算過(guò)程即使最后計(jì)算得到的最終相關(guān)性值也根本不包括舍入處理誤差。由于經(jīng)縮減相關(guān)性值表的大小與幀存儲(chǔ)器的大小相比很小，因此組成經(jīng)縮減相關(guān)性值表的每個(gè)元素的字長(zhǎng)擴(kuò)展不會(huì)產(chǎn)生大問(wèn)題。結(jié)果，經(jīng)縮減相關(guān)性值表和確定運(yùn)動(dòng)矢量的處理可以以較高程度的精度實(shí)現(xiàn)。
參考附圖，下文說(shuō)明了其中每個(gè)都實(shí)現(xiàn)了作為采用本發(fā)明實(shí)施例提供的圖像處理方法的圖像處理裝置的圖像拾取裝置的實(shí)施例。
圖24是示出了實(shí)現(xiàn)了作為采用本發(fā)明實(shí)施例提供的圖像處理方法的圖像處理裝置的圖像拾取裝置的第一實(shí)施例。
如圖24所示，根據(jù)本實(shí)施例的圖像拾取裝置10包括圖像拾取信號(hào)處理系統(tǒng)、CPU(中央處理單元)1、用戶操作輸入單元3、圖像存儲(chǔ)器單元4，和記錄/再現(xiàn)裝置5，它們通過(guò)系統(tǒng)總線2彼此相連。圖像拾取信號(hào)處理系統(tǒng)包括圖像拾取透鏡10L、圖像拾取器件11、定時(shí)信號(hào)生成單元12、預(yù)處理單元13、數(shù)據(jù)轉(zhuǎn)換單元14、手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15、分辨率轉(zhuǎn)換單元16、編碼/解碼單元17、NTSC編碼器18，以及監(jiān)視顯示單元6。應(yīng)當(dāng)注意，本專利說(shuō)明書中描述的CPU1包括用于存儲(chǔ)作為處理程序的供CPU1執(zhí)行的各種軟件的ROM(只讀存儲(chǔ)器)和被CPU1用作工作區(qū)的RAM(隨機(jī)訪問(wèn)存儲(chǔ)器)。
在接收到作為開始圖像拾取和記錄過(guò)程的命令的經(jīng)由用戶操作輸入單元3由用戶輸入的操作命令時(shí)，圖24所示的圖像拾取裝置10執(zhí)行下文將描述的記錄圖像拾取數(shù)據(jù)的過(guò)程。在接收到作為開始再現(xiàn)已記錄的圖像拾取數(shù)據(jù)的過(guò)程的命令的經(jīng)由用戶操作輸入單元3由用戶輸入的操作命令時(shí)，圖24所示的圖像拾取裝置10執(zhí)行再現(xiàn)在記錄/再現(xiàn)裝置5中使用的記錄介質(zhì)上記錄的圖像拾取數(shù)據(jù)的過(guò)程。
如圖24所示，經(jīng)由使用圖像拾取透鏡10L的照相機(jī)光學(xué)系統(tǒng)從圖像拾取對(duì)象進(jìn)入的光束被照射到用于對(duì)光束上執(zhí)行圖像拾取過(guò)程的圖像拾取器件11。應(yīng)當(dāng)注意，照相機(jī)光學(xué)系統(tǒng)本身未在圖中示出。在本實(shí)施例中，圖像拾取器件11被配置為CCD(電荷耦合器件)成像器。應(yīng)當(dāng)注意，圖像拾取器件11也可以被配置為CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)成像器。
在根據(jù)本實(shí)施例的圖像拾取裝置中，當(dāng)用戶經(jīng)由用戶操作輸入單元3向圖像拾取裝置10輸入作為開始圖像拾取和記錄過(guò)程的命令的操作命令時(shí)，圖像拾取器件11輸出包括三原色(即紅色(R)、綠色(G)和藍(lán)色(B))的bayer陣列的原始信號(hào)。作為模擬圖像拾取信號(hào)的原始信號(hào)是作為根據(jù)定時(shí)信號(hào)生成單元12生成的定時(shí)信號(hào)的采樣過(guò)程的結(jié)果獲得的信號(hào)。圖像拾取器件11將模擬圖像拾取信號(hào)提供給預(yù)處理單元13，以便執(zhí)行諸如檢測(cè)補(bǔ)償過(guò)程和γ補(bǔ)償過(guò)程等預(yù)處理。數(shù)據(jù)轉(zhuǎn)換單元14將預(yù)處理的結(jié)果輸出到數(shù)據(jù)轉(zhuǎn)換單元14。
數(shù)據(jù)轉(zhuǎn)換單元14將提供給它的模擬圖像拾取信號(hào)轉(zhuǎn)換為包括亮度信號(hào)分量Y和色度信號(hào)分量Cb/Cr的數(shù)字圖像拾取信號(hào)(YC數(shù)據(jù))，通過(guò)系統(tǒng)總線2將數(shù)字圖像拾取信號(hào)提供給圖像存儲(chǔ)器單元4。
在圖24所示的實(shí)施例中，圖像存儲(chǔ)器單元4包括兩個(gè)幀存儲(chǔ)器41和42。首先，從數(shù)據(jù)轉(zhuǎn)換單元14接收的數(shù)字圖像拾取信號(hào)被存儲(chǔ)在幀存儲(chǔ)器41中。然后，在對(duì)應(yīng)于一幀的時(shí)間過(guò)去之后，存儲(chǔ)在幀存儲(chǔ)器41中的數(shù)字圖像拾取信號(hào)被傳送到幀存儲(chǔ)42，并且從數(shù)據(jù)轉(zhuǎn)換單元14接收的新數(shù)字圖像拾取信號(hào)被存儲(chǔ)在幀存儲(chǔ)器41中。因此，由存儲(chǔ)在幀存儲(chǔ)器42中的數(shù)字圖像拾取信號(hào)代表的幀是剛好前一幀，它比由存儲(chǔ)在幀存儲(chǔ)器41中的數(shù)字圖像拾取信號(hào)代表的幀領(lǐng)先一幀。
然后，手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15通過(guò)系統(tǒng)總線2訪問(wèn)這兩個(gè)幀存儲(chǔ)器41和42，以便從幀存儲(chǔ)器41和42讀出數(shù)字圖像拾取信號(hào)。然后，手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15執(zhí)行用于如前所述地檢測(cè)數(shù)字圖像拾取信號(hào)之間的運(yùn)動(dòng)矢量的過(guò)程。在該運(yùn)動(dòng)矢量檢測(cè)過(guò)程中，存儲(chǔ)在幀存儲(chǔ)41中的數(shù)字圖像拾取信號(hào)所代表的幀被當(dāng)作參考幀，而存儲(chǔ)在幀存儲(chǔ)器42中的數(shù)字圖像拾取信號(hào)所代表的幀被當(dāng)作充當(dāng)目標(biāo)幀的原始幀。
然后，手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15將作為運(yùn)動(dòng)矢量檢測(cè)過(guò)程的結(jié)果而獲得的檢測(cè)出的運(yùn)動(dòng)矢量作為控制信號(hào)提供給分辨率轉(zhuǎn)換單元16。
根據(jù)從手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15接收的運(yùn)動(dòng)矢量，分辨率轉(zhuǎn)換單元16執(zhí)行用于裁剪出由存儲(chǔ)在幀存儲(chǔ)器42中的數(shù)字圖像拾取信號(hào)所代表的延遲幀的圖像數(shù)據(jù)，并將幀轉(zhuǎn)換為具有必要的分辨率和必要的大小的幀的過(guò)程。通過(guò)根據(jù)從手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15接收的運(yùn)動(dòng)矢量，裁剪出存儲(chǔ)在幀存儲(chǔ)器42中的數(shù)字圖像拾取信號(hào)所代表的幀的圖像數(shù)據(jù)，作為轉(zhuǎn)換過(guò)程的結(jié)果獲得的圖像是沒(méi)有手顫抖的影響的圖像。
作為不包括手顫抖的影響的圖像數(shù)據(jù)的由分辨率轉(zhuǎn)換單元16產(chǎn)生的圖像數(shù)據(jù)被提供給NTSC(國(guó)家電視系統(tǒng)委員會(huì))編碼器18，以便將圖像數(shù)據(jù)轉(zhuǎn)換為符合NTSC系統(tǒng)的標(biāo)準(zhǔn)彩色視頻信號(hào)。然后，NTSC編碼器18將標(biāo)準(zhǔn)彩色視頻信號(hào)提供監(jiān)視顯示單元6，該監(jiān)視顯示單元6充當(dāng)用于在屏幕上顯示所拍攝圖像以供監(jiān)視目的的電子取景器。
與在監(jiān)視顯示單元6的屏幕上顯示所拍攝圖像以供監(jiān)視目的的過(guò)程同時(shí)地，分辨率轉(zhuǎn)換單元16還將不包括手顫抖影響的圖像數(shù)據(jù)提供給編碼/解碼單元17，以便執(zhí)行諸如調(diào)制記錄等編碼過(guò)程。然后，編碼/解碼單元17將作為編碼過(guò)程的結(jié)果獲得的圖像數(shù)據(jù)提供給記錄/再現(xiàn)裝置5，以便在記錄介質(zhì)上記錄圖像數(shù)據(jù)。記錄介質(zhì)的示例是諸如DVD(數(shù)字多功能盤)等的光盤和硬盤。
當(dāng)用戶經(jīng)由用戶操作輸入單元3向圖像拾取裝置10輸入作為開始再現(xiàn)被記錄的圖像拾取數(shù)據(jù)的過(guò)程命令的操作命令時(shí)，從記錄/再現(xiàn)裝置5的記錄介質(zhì)再現(xiàn)數(shù)據(jù)，并該數(shù)據(jù)被提供給編碼/解碼單元17。此時(shí)，編碼/解碼單元17對(duì)圖像拾取數(shù)據(jù)執(zhí)行解碼/再現(xiàn)過(guò)程。然后，編碼/解碼單元17將作為解碼/再現(xiàn)過(guò)程的結(jié)果而獲得的圖像數(shù)據(jù)通過(guò)NTSC編碼器18提供給監(jiān)視顯示單元6，以便在屏幕上顯示被再現(xiàn)的圖像。應(yīng)當(dāng)注意，NTSC編碼器18也能夠通過(guò)視頻輸出端將從其輸出的視頻信號(hào)提供給外部信號(hào)接收者，雖然這個(gè)特征未在圖24中示出。
手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15可被實(shí)現(xiàn)為硬件或DSP(數(shù)字信號(hào)處理器)。或者，手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15也可被實(shí)現(xiàn)為由CPU1執(zhí)行的軟件。
<第一典型實(shí)現(xiàn)>
下面參考圖25和圖26所示的流程圖，說(shuō)明實(shí)現(xiàn)手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15的操作的第一典型實(shí)現(xiàn)的處理流程。
該流程圖開始于步驟S101，在這里，圖42中的標(biāo)號(hào)106所標(biāo)示的參考?jí)KIi被指定在搜索范圍105中的具有坐標(biāo)(vx，vy)的位置處。在搜索范圍105中指定參考?jí)KIi的操作也是指定與參考?jí)KIi相對(duì)應(yīng)的參考矢量(vx，vy)的操作。如前所述，坐標(biāo)(vx，vy)是在以坐標(biāo)(0，0)為原點(diǎn)位置坐標(biāo)的情況下，指定的參考矢量107所指向的位置的坐標(biāo)。坐標(biāo)(0，0)是原始幀101上的目標(biāo)塊103的位置坐標(biāo)或參考幀102上的目標(biāo)塊投影圖像塊104的位置坐標(biāo)。坐標(biāo)vx代表指定的參考矢量107所指向的位置從具有坐標(biāo)(0，0)的原點(diǎn)位置的水平方向偏移。坐標(biāo)vy代表指定的參考矢量107所指向的位置從原點(diǎn)位置的垂直方向偏移。非常類似于前述現(xiàn)有技術(shù)方法，偏移vx和vy是以像素形式表達(dá)的。
如前所述，以搜索范圍105的中心位置作為目標(biāo)塊投影圖像塊104的中心位置或原點(diǎn)位置(0，0)。在水平方向上以定義了搜索范圍105的水平限度的范圍±Rx中的距離和在垂直方向上以定義了搜索范圍105的垂直限度的范圍±Ry中的距離，參考?jí)K106在搜索范圍105上從一個(gè)位置移動(dòng)到另一個(gè)位置。在此情形下，量(vx，vy)滿足以下關(guān)系-Rx≤vx≤+Rx并且-Ry≤vy≤+Ry在下一步驟S102中，具有坐標(biāo)(x，y)的點(diǎn)(或像素)被指定為圖42中由標(biāo)號(hào)103標(biāo)示的目標(biāo)塊Io中的點(diǎn)。令標(biāo)記Io(x，y)標(biāo)示指定的點(diǎn)(x，y)處的像素值，令標(biāo)記Ii(x+vx，y+vy)標(biāo)示在步驟S101在塊位置(vx，vy)處設(shè)置的參考?jí)KIi中的點(diǎn)(x+vx，y+vy)處的像素值。在下文中，參考?jí)KIi中的點(diǎn)(x+vx，y+vy)被說(shuō)成是與目標(biāo)塊Io中的點(diǎn)(x，y)相對(duì)應(yīng)的點(diǎn)。然后，在下一步驟S103中，根據(jù)以下的等式(1)計(jì)算像素值Io(x，y)和像素值Ii(x+vx，y+vy)之間的差的絕對(duì)值αα＝|Io(x，y)-Ii(x+vx，y+vy)| ——(1)對(duì)于目標(biāo)塊Io中的所有點(diǎn)(x，y)以及它們?cè)趨⒖級(jí)KIi中的所有相應(yīng)點(diǎn)(x+vx，y+vy)，計(jì)算上述差的絕對(duì)值α，并且代表對(duì)目標(biāo)塊Io和參考?jí)KIi計(jì)算的差的絕對(duì)值α的和的SAD值被存儲(chǔ)在與指向參考?jí)KIi的當(dāng)前位置的參考矢量(vx，vy)相關(guān)聯(lián)的臨時(shí)存儲(chǔ)器位置處。為了計(jì)算這樣的SAD值，在下一步驟S104，在步驟S103找到的差的絕對(duì)值α被累加到已被存儲(chǔ)在臨時(shí)存儲(chǔ)器位置處的臨時(shí)SAD值上，以作為目前計(jì)算得到的SAD值。作為對(duì)所有差的絕對(duì)值α累積求和的過(guò)程的結(jié)果，獲得最終SAD值SAD(vx，vy)，所述所有差的絕對(duì)值α是如上所述地對(duì)目標(biāo)塊Io中的所有點(diǎn)(x，y)和它們?cè)趨⒖級(jí)KIi中的所有相應(yīng)點(diǎn)(x+vx，y+vy)計(jì)算的。因此，最終SAD值SAD(vx，vy)可以由以下等式(2)表達(dá)SAD(vx，vy)＝∑α＝∑|Io(x，y)-Ii(x+vx，y+vy)| ——(2)然后，根據(jù)第一典型實(shí)現(xiàn)的處理的流程進(jìn)行到下一步驟S105，產(chǎn)生關(guān)于是否已經(jīng)對(duì)目標(biāo)塊Io中的所有像素(x，y)和它們?cè)趨⒖級(jí)KIi中的所有相應(yīng)像素(x+vx，y+vy)都執(zhí)行了步驟S103和S104的過(guò)程的判斷結(jié)果。如果判斷結(jié)果指示尚未對(duì)目標(biāo)塊Io中的所有像素(x，y)和它們?cè)趨⒖級(jí)KIi中的所有相應(yīng)像素(x+vx，y+vy)都執(zhí)行了步驟S103和S104的過(guò)程，則根據(jù)第一典型實(shí)現(xiàn)的處理的流程返回步驟S102。具有坐標(biāo)(x，y)的另一個(gè)像素被指定為目標(biāo)塊Io中的另一個(gè)像素。然后，重復(fù)步驟S102之后的步驟S103和S104的過(guò)程。
步驟S101到S105的過(guò)程分別剛好與圖44所示的流程圖的步驟S1到S5的過(guò)程相同，除了在步驟S103和S104的情形下，SAD值被存儲(chǔ)在臨時(shí)存儲(chǔ)器位置。
另一方面，如果在步驟S105產(chǎn)生的判斷結(jié)果指示已經(jīng)對(duì)目標(biāo)塊Io中的所有點(diǎn)(x，y)和它們?cè)趨⒖級(jí)KIi中的所有相應(yīng)點(diǎn)(x+vx，y+vy)都執(zhí)行了步驟S103和S104的過(guò)程，即如果當(dāng)前參考矢量(vx，vy)的最終SAD值SAD(vx，vy)已被找到，則根據(jù)第一典型實(shí)現(xiàn)的處理的流程進(jìn)行到步驟S106。通過(guò)對(duì)參考矢量(vx，vy)進(jìn)行縮減，計(jì)算經(jīng)縮減參考矢量(vx/n，vy/n)。具體而言，通過(guò)將參考矢量(vx，vy)乘以縮減因子1/n，計(jì)算經(jīng)縮減參考矢量(vx/n，vy/n)。一般地，經(jīng)縮減參考矢量(vx/n，vy/n)的x方向和y方向的值(vx/n，vy/n)都具有分?jǐn)?shù)部分。
然后，在下一步驟107，識(shí)別位置接近經(jīng)縮減參考矢量(vx/n，vy/n)的多個(gè)接近的參考矢量。每個(gè)接近的參考矢量都是具有整數(shù)vx/n值和整數(shù)vy/n值的經(jīng)縮減參考矢量。在本實(shí)施例中，接近的參考矢量的數(shù)量被設(shè)置為4。然后，在下一步驟S108，通過(guò)采用前述基于接近的參考矢量所指向的位置和經(jīng)縮減參考矢量(vx/n，vy/n)所指向的位置之間的關(guān)系的線性加權(quán)分配技術(shù)，在步驟S104處存儲(chǔ)在臨時(shí)位置的SAD值被劃分為四個(gè)分量SAD值。接下來(lái)，在下一步驟S109，四個(gè)分量值在經(jīng)縮減相關(guān)性值表中包括的四個(gè)表元素之間分配，作為分別與四個(gè)接近的參考矢量相關(guān)聯(lián)的四個(gè)表元素。
在步驟S109的過(guò)程完成之后，根據(jù)第一典型實(shí)現(xiàn)的處理的流程進(jìn)行到圖26所示的流程圖的步驟S111，以產(chǎn)生關(guān)于是否已經(jīng)對(duì)搜索范圍105中的所有參考?jí)K位置(即對(duì)所有參考矢量(vx，vy))執(zhí)行了步驟S102到S109的過(guò)程的判斷結(jié)果。
如果在步驟S111產(chǎn)生的判斷結(jié)果指示尚未對(duì)搜索范圍105中的所有參考?jí)K(即對(duì)所有參考矢量(vx，vy))執(zhí)行步驟S102到S109的過(guò)程，則根據(jù)第一典型實(shí)現(xiàn)的處理的流程返回步驟S101。另一參考矢量(vx，vy)所指向的另一參考?jí)KIi被設(shè)置在搜索范圍105中的另一塊位置(vx，vy)處。然后，重復(fù)步驟S102和后續(xù)步驟的過(guò)程。
如果在步驟S111產(chǎn)生的判斷結(jié)果指示對(duì)搜索范圍105中的所有參考?jí)K位置或?qū)λ袇⒖际噶?vx，vy)都已執(zhí)行了步驟S102到S109的過(guò)程，即，如果經(jīng)縮減相關(guān)性值表的所有元素都已被填充了最終分量SAD值，則根據(jù)第一典型實(shí)現(xiàn)的處理的流程進(jìn)行到步驟S112。在表元素地址(mx，my)處檢測(cè)出存儲(chǔ)在經(jīng)縮減相關(guān)性值表的所有元素中的所有分量最終SAD值中的最小值。
然后，在下一步驟S113，創(chuàng)建作為近似如下相關(guān)性值的曲面的二次曲面，所述相關(guān)性值是在表元素地址(mx，my)處檢測(cè)到的最小相關(guān)性值以及作為接近表元素地址(mx，my)的表元素的存儲(chǔ)在經(jīng)縮減相關(guān)性值表中的多個(gè)相關(guān)性值。如上所述，每個(gè)相關(guān)性值都是SAD值。在本實(shí)施例中，作為接近表元素地址(mx，my)的表元素的存儲(chǔ)在經(jīng)縮減相關(guān)性值表中的相關(guān)性值的數(shù)量被設(shè)置為15。然后，在下一步驟S114，指向分?jǐn)?shù)級(jí)別的精度的X-Y平面上的位置的最小值矢量(px，py)被檢測(cè)為與二次曲面上的最小SAD值相對(duì)應(yīng)的矢量。最小值矢量(px，py)指向的位置是與二次曲面上的最小SAD值相對(duì)應(yīng)的位置。
然后，在最后一個(gè)步驟S115，通過(guò)將最小值矢量(px，py)乘以縮減因子的倒數(shù)值n，計(jì)算具有原始大小和原始方向的運(yùn)動(dòng)矢量(px×n，py×n)，如圖6所示。
圖25和圖26所示的流程圖代表了依據(jù)根據(jù)第一典型實(shí)現(xiàn)的塊匹配技術(shù)執(zhí)行的用于檢測(cè)用于一個(gè)目標(biāo)塊的運(yùn)動(dòng)矢量的處理。對(duì)于分段的幀來(lái)說(shuō)，如圖20所示，需要對(duì)幀片段檢測(cè)多個(gè)運(yùn)動(dòng)矢量。在此情形下，對(duì)于要被檢測(cè)的每個(gè)運(yùn)動(dòng)矢量或每個(gè)幀片段來(lái)說(shuō)，搜索范圍和縮減因子1/n可以被重新設(shè)置，以便執(zhí)行圖25和圖26所示的流程圖代表的處理。
請(qǐng)注意，不言而喻，除了上述二次曲面方法以外，三次曲線方法也可被用作用于找到指向以分?jǐn)?shù)級(jí)別的精度在搜索范圍上檢測(cè)出的位置的最小值矢量(px，py)的技術(shù)。
<第二典型實(shí)現(xiàn)>
在上述第一典型實(shí)現(xiàn)的情況中，找到用于參考?jí)K和參考矢量的SAD值，并且通過(guò)采用線性加權(quán)分配技術(shù)，SAD值然后被劃分為用于多個(gè)接近的參考矢量的多個(gè)分量SAD值，所述接近的參考矢量中的每一個(gè)的位置接近作為對(duì)參考矢量進(jìn)行縮減的結(jié)果而獲得的經(jīng)縮減參考矢量。也就是說(shuō)，SAD值代表目標(biāo)塊和參考?jí)K之間的相關(guān)性值。在上述第一典型實(shí)現(xiàn)的情況中，對(duì)于與參考矢量相關(guān)聯(lián)的參考?jí)K找到相關(guān)性值，并且通過(guò)采用線性加權(quán)分配技術(shù)，相關(guān)性值隨后被劃分為用于多個(gè)接近的參考矢量的多個(gè)分量相關(guān)性值，所述接近的參考矢量中的每一個(gè)的位置接近作為對(duì)參考矢量進(jìn)行縮減的結(jié)果而獲得的經(jīng)縮減參考矢量。
另一方面，在第二典型實(shí)現(xiàn)的情況中，相關(guān)性值被計(jì)算為目標(biāo)塊上的像素和參考?jí)K上的相應(yīng)像素之間的像素值之差。因此，計(jì)算得到的相關(guān)性值不是SAD值。然后，通過(guò)采用線性加權(quán)分配技術(shù)，計(jì)算得到的相關(guān)性值被劃分為用于多個(gè)接近的參考矢量的多個(gè)分量相關(guān)性值，所述接近的參考矢量中的每一個(gè)的位置接近作為對(duì)指向參考?jí)K的參考矢量進(jìn)行縮減的結(jié)果而獲得的經(jīng)縮減參考矢量。對(duì)目標(biāo)塊中的所有像素(或參考?jí)K中的所有相應(yīng)像素)，重復(fù)計(jì)算相關(guān)性值的過(guò)程，和將計(jì)算得到的相關(guān)性值劃分為多個(gè)分量相關(guān)性值的過(guò)程，以通過(guò)采用累加技術(shù)，找到多個(gè)最終分量相關(guān)性值。當(dāng)對(duì)參考?jí)K中的所有像素完成了計(jì)算相關(guān)性值的過(guò)程和將計(jì)算得到的相關(guān)性值劃分為多個(gè)分量相關(guān)性值的過(guò)程時(shí)，得到的經(jīng)縮減相關(guān)性值表(或得到的經(jīng)縮減SAD表)的狀態(tài)與通過(guò)第一典型實(shí)現(xiàn)生成的經(jīng)縮減相關(guān)性值表(或經(jīng)縮減SAD表相同)。
下面通過(guò)參考圖27和圖28所示的流程圖說(shuō)明實(shí)現(xiàn)手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15的操作的第二典型實(shí)現(xiàn)的處理流程。
由于圖27所示的流程圖的步驟S121到S123的過(guò)程分別與圖25所示的流程圖的步驟S101到S103相同，因此不詳細(xì)說(shuō)明步驟S121到S123的過(guò)程。
在第二典型實(shí)現(xiàn)的流程圖的下一步驟S123中，根據(jù)等式(1)計(jì)算目標(biāo)塊Io上的像素(x，y)的像素值Io(x，y)和參考?jí)KIi上的相應(yīng)像素的像素值Ii(x+vx，y+vy)之間的差的絕對(duì)值α。然后，在步驟S124，通過(guò)以縮減因子1/n縮減指向參考?jí)KIi的參考矢量(vx，vy)，來(lái)計(jì)算經(jīng)縮減參考矢量(vx/n，vy/n)。
接下來(lái)，在下一步驟S125，識(shí)別位置接近經(jīng)縮減參考矢量(vx/n，vy/n)的多個(gè)接近的參考矢量。接近的參考矢量中的每個(gè)都是具有整數(shù)vx/n值和整數(shù)vy/n值的經(jīng)縮減參考矢量。在本實(shí)施例中，接近的參考矢量的數(shù)量被設(shè)置為4。然后，在下一步驟S126，通過(guò)采用前述基于接近的參考矢量所指向的位置和經(jīng)縮減參考矢量(vx/n，vy/n)所指向的位置之間的關(guān)系的線性加權(quán)分配技術(shù)，作為像素值之差的絕對(duì)值的在步驟S123找到的絕對(duì)值α被劃分為四個(gè)分量差。
接下來(lái)，在下一步驟S127，在經(jīng)縮減相關(guān)性值表中包括的四個(gè)表元素之間分配四個(gè)分量差，作為分別與四個(gè)接近的參考矢量相關(guān)聯(lián)的四個(gè)表元素。
在步驟S127的過(guò)程完成之后，根據(jù)第二典型實(shí)現(xiàn)的處理的流程圖進(jìn)行到下一步驟S128，以產(chǎn)生關(guān)于是否已經(jīng)對(duì)目標(biāo)塊Io中的所有點(diǎn)(x，y)和它們?cè)趨⒖級(jí)KIi中的所有相應(yīng)點(diǎn)(x+vx，y+vy)執(zhí)行了步驟S123到S127的過(guò)程的判斷結(jié)果。如果判斷結(jié)果指示尚未對(duì)目標(biāo)塊Io中的所有像素(x，y)和它們?cè)趨⒖級(jí)KIi中的所有相應(yīng)像素(x+vx，y+vy)執(zhí)行了步驟S123到S127的過(guò)程，則根據(jù)第二典型實(shí)現(xiàn)的處理的流程返回步驟S122。具有坐標(biāo)(x，y)的另一像素被指定為目標(biāo)塊Io中的另一像素。然后，重復(fù)步驟S122之后的步驟S123到S127的過(guò)程。
如果步驟S128產(chǎn)生的判斷結(jié)果指示已經(jīng)對(duì)目標(biāo)塊Io中的所有像素(x，y)執(zhí)行了這些過(guò)程，即已經(jīng)找到了用于當(dāng)前參考矢量(vx，vy)的最終SAD值SAD(vx，vy)，則處理的流程進(jìn)行到圖28所示的流程圖的步驟S131，以產(chǎn)生關(guān)于是否已經(jīng)對(duì)所有參考矢量(vx，vy)執(zhí)行了步驟S122到S128的過(guò)程的判斷結(jié)果。
如果在步驟S131產(chǎn)生的判斷結(jié)果指示尚未對(duì)所有參考?jí)K(即對(duì)所有參考矢量(vx，vy))執(zhí)行步驟S122到S128的過(guò)程，則處理的流程返回步驟S121。在搜索范圍105的另一塊位置(vx，vy)處設(shè)置由另一參考矢量(vx，vy)指向的另一參考?jí)KIi。然后，重復(fù)步驟S122和后續(xù)步驟的過(guò)程。
如果在步驟S131產(chǎn)生的判斷結(jié)果指示已經(jīng)對(duì)所有參考?jí)K位置或?qū)λ袇⒖际噶?vx，vy)執(zhí)行了這些過(guò)程，即，如果經(jīng)縮減相關(guān)性值表的所有元素都已被填充了最終分量SAD值，則處理的流程進(jìn)行到步驟S132。在表元素地址(mx，my)處檢測(cè)到存儲(chǔ)在經(jīng)縮減相關(guān)性值表或經(jīng)縮減SAD表的所有元素中的所有分量最終SAD值中的最小值。
然后，在下一步驟S133，創(chuàng)建二次曲面，作為近似在表元素地址(mx，my)處檢測(cè)到的最小相關(guān)性值和作為接近表元素地址(mx，my)的表元素而存儲(chǔ)在經(jīng)縮減相關(guān)性值表中的多個(gè)相關(guān)性值的曲面。如上所述，每個(gè)相關(guān)性值都是SAD值。在本實(shí)施例的情況中，作為接近表元素地址(mx，my)的表元素而存儲(chǔ)在經(jīng)縮減相關(guān)性值表中的相關(guān)性值的數(shù)量被設(shè)置為15。然后，在下一步驟S134，指向分?jǐn)?shù)級(jí)別的精度的X-Y平面上的位置的最小值矢量(px，py)被檢測(cè)為與二次曲面上的最小SAD值相對(duì)應(yīng)的矢量。最小值矢量(px，py)所指向的位置是與二次曲面上的最小SAD值相對(duì)應(yīng)的位置。
然后，在最后一個(gè)步驟S135，通過(guò)將最小值矢量(px，py)乘以縮減因子的倒數(shù)值n，計(jì)算具有原始大小和原始方向的運(yùn)動(dòng)矢量(px×n，py×n)，如圖6所示。
圖27和圖28所示的流程圖代表了依據(jù)根據(jù)第二典型實(shí)現(xiàn)的塊匹配技術(shù)執(zhí)行的用于檢測(cè)用于一個(gè)目標(biāo)塊的運(yùn)動(dòng)矢量的處理。對(duì)于分段幀來(lái)說(shuō)，如圖20所示，需要對(duì)幀片段檢測(cè)多個(gè)運(yùn)動(dòng)矢量。在此情形下，對(duì)于要被檢測(cè)的每個(gè)運(yùn)動(dòng)矢量或每個(gè)幀片段來(lái)說(shuō)，搜索范圍和縮減因子1/n可以被重新設(shè)置，以便執(zhí)行圖27和圖28所示的流程圖代表的處理。
請(qǐng)注意，不言而喻，即使在第二典型實(shí)現(xiàn)的情況中，除了上述二次曲面方法以外，基于分別在定向于垂直和水平方向上的平面上的兩條三次曲線的三次曲線方法也可被用作用于找到指向以分?jǐn)?shù)級(jí)別的精度在搜索范圍上檢測(cè)出的位置的最小值矢量(px，py)的技術(shù)。
<第三典型實(shí)現(xiàn)>
如果采用根據(jù)實(shí)施例的確定運(yùn)動(dòng)矢量的任一方法，則即使對(duì)于用于縮減參考矢量的一維縮減因子1/64，確定運(yùn)動(dòng)矢量的過(guò)程不會(huì)以例如檢測(cè)出完全不正確的運(yùn)動(dòng)矢量這樣的失敗而結(jié)束，如從圖19所示的方法展現(xiàn)的效果可以很明顯地看出。因此，本質(zhì)上，被用作典型相關(guān)性值表的SAD表的大小可以成功地以二維縮減因子1/4096(＝1/64×1/64)縮小。
事實(shí)上，可以嘗試進(jìn)一步縮小經(jīng)縮減SAD表(用作為典型相關(guān)性值表)的大小，所述經(jīng)縮減SAD表是作為使用二維縮減因子1/4096或一維縮減因子1/64的縮減過(guò)程而獲得的。也就是說(shuō)，首先，通過(guò)執(zhí)行以一維縮減因子1/64檢測(cè)運(yùn)動(dòng)矢量的第一過(guò)程來(lái)獲得經(jīng)縮減SAD表。然后，在執(zhí)行以一維縮減因子(典型值是1/8)檢測(cè)運(yùn)動(dòng)矢量的第二過(guò)程之前，搜索范圍(對(duì)應(yīng)于相關(guān)性值表)的大小被進(jìn)一步縮小，以得到中心與檢測(cè)出的運(yùn)動(dòng)矢量所指向的位置重合的新搜索范圍。因此，通過(guò)縮小一維縮減因子(即增加1/n的量值)來(lái)執(zhí)行檢測(cè)運(yùn)動(dòng)矢量的過(guò)程，以便將得到的矢量誤差縮小到容限范圍之內(nèi)的值。通過(guò)適當(dāng)?shù)卦O(shè)置一維縮減因子以便第二過(guò)程以適當(dāng)值檢測(cè)運(yùn)動(dòng)矢量，可以以高程度的精度檢測(cè)運(yùn)動(dòng)矢量。
下面通過(guò)參考圖29和圖32的流程圖，說(shuō)明實(shí)現(xiàn)手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15的操作的第三典型實(shí)現(xiàn)的處理流程。
作為根據(jù)第三典型實(shí)現(xiàn)的處理的圖29和圖32所示的流程圖所代表的處理基本上是基于根據(jù)第一典型實(shí)現(xiàn)的檢測(cè)運(yùn)動(dòng)矢量的處理。因此，圖29所示的流程圖的步驟S141到S149的過(guò)程分別與圖25所示的流程圖的步驟S101到S109的過(guò)程正好相同，而圖30所示的流程圖的步驟S151到S155的過(guò)程分別與圖26所示的流程圖的步驟S111到S115的過(guò)程正好相同。
但是，在第三典型實(shí)現(xiàn)的情形下，檢測(cè)運(yùn)動(dòng)矢量的處理沒(méi)有在圖30所示的流程圖的步驟S155處結(jié)束。而是，在步驟S155檢測(cè)出的運(yùn)動(dòng)矢量被用作第一運(yùn)動(dòng)矢量。然后，在下一步驟S156，通過(guò)使用由檢測(cè)出的運(yùn)動(dòng)矢量所指向的位置作為具有縮小了大小的新搜索范圍的中心，并且通過(guò)將一維縮減因子從第一處理中使用的用于檢測(cè)運(yùn)動(dòng)矢量的1/na縮小到第二處理中使用的1/nb(其中na＞nb)，同一參考幀中的搜索范圍的大小被進(jìn)一步縮小，以得到新搜索范圍。
具體而言，在第一運(yùn)動(dòng)矢量檢測(cè)處理中檢測(cè)出的運(yùn)動(dòng)矢量指向包括在某種程度上與目標(biāo)塊具有相關(guān)性的參考?jí)K的近似塊范圍。然后，可以新設(shè)置以包括在某種程度上與目標(biāo)塊具有相關(guān)性的參考?jí)K的近似塊范圍為中心的更窄的搜索范圍，作為要在檢測(cè)另一運(yùn)動(dòng)矢量的第二處理中使用的新的塊范圍。通過(guò)使用更小的縮減矢量，可以預(yù)期，可以檢測(cè)出具有更小誤差的第二運(yùn)動(dòng)矢量。
這樣，如上所述，在步驟S156，更窄的搜索范圍和縮小了的一維縮減因子被用來(lái)以與圖30所示的流程圖的步驟S157和S158、圖31所示的流程圖的步驟S161到S168、以及圖32所示的流程圖的步驟S171到S174的第一運(yùn)動(dòng)矢量檢測(cè)處理完全相同的方式，執(zhí)行檢測(cè)另一運(yùn)動(dòng)矢量的第二處理。這些步驟的過(guò)程與圖25所示的流程圖的步驟S101到S109的過(guò)程以及圖26所示的流程圖的步驟S111到S115的過(guò)程完全相同。
通過(guò)執(zhí)行上述第二運(yùn)動(dòng)矢量檢測(cè)處理，最終在步驟S174檢測(cè)出第二運(yùn)動(dòng)矢量，作為所需的最終運(yùn)動(dòng)矢量。
通過(guò)重復(fù)兩次執(zhí)行根據(jù)第一典型實(shí)現(xiàn)的檢測(cè)運(yùn)動(dòng)矢量的方法，實(shí)現(xiàn)了根據(jù)第三典型實(shí)現(xiàn)的檢測(cè)運(yùn)動(dòng)矢量的方法。但是，不言而喻，可以利用逐漸減小的搜索范圍(如有必要的話利用逐漸減小的縮減因子)，多于兩次地重復(fù)執(zhí)行根據(jù)第一典型實(shí)現(xiàn)的檢測(cè)運(yùn)動(dòng)矢量的方法。
此外，不言而喻，在實(shí)現(xiàn)根據(jù)第三典型實(shí)現(xiàn)的檢測(cè)運(yùn)動(dòng)矢量(px，py)的方法時(shí)，根據(jù)第二典型實(shí)現(xiàn)的檢測(cè)運(yùn)動(dòng)矢量的方法可以被執(zhí)行，來(lái)取代根據(jù)第一典型實(shí)現(xiàn)的檢測(cè)運(yùn)動(dòng)矢量(px，py)的方法。此外，與前述第一和第二典型實(shí)現(xiàn)的情形一樣，基于分別定向于垂直和水平方向上的平面上的兩條三次曲線的三次曲線方法可以取代上述二次曲面方法而被用作用于檢測(cè)指向分?jǐn)?shù)級(jí)別的精度的位置的運(yùn)動(dòng)矢量(px，py)的方法。
在實(shí)現(xiàn)作為如圖24所示的圖像拾取裝置的圖像處理裝置的第一實(shí)施例中，作為前提，被手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15訪問(wèn)的圖像存儲(chǔ)器單元4包括分別用于存儲(chǔ)原始幀(充當(dāng)目標(biāo)幀)和參考幀兩者的圖像的兩個(gè)幀存儲(chǔ)器。因此，利用從目標(biāo)幀延遲了對(duì)應(yīng)于一幀的時(shí)間段的定時(shí)，檢測(cè)運(yùn)動(dòng)矢量。
另一方面，在第二實(shí)施例中，圖像處理裝置具有這樣的配置，其中來(lái)自圖像拾取器件11的當(dāng)前圖像數(shù)據(jù)被當(dāng)作參考幀，從而對(duì)于光柵掃描儀的流數(shù)據(jù)來(lái)說(shuō)，可以以實(shí)時(shí)方式計(jì)算SAD值。
圖33是示出了實(shí)現(xiàn)作為圖像拾取裝置的圖像處理裝置的第二實(shí)施例的框圖。從圖33可以很明顯地看出，圖像拾取裝置10的配置與圖24所示的第一實(shí)施例實(shí)現(xiàn)的圖像拾取裝置10的配置相同，除了在第二實(shí)施例中，圖像存儲(chǔ)器單元4包括一個(gè)幀存儲(chǔ)器43。
在第二實(shí)施例中，充當(dāng)目標(biāo)幀的原始幀被存儲(chǔ)在幀存儲(chǔ)器43中，并且從數(shù)據(jù)轉(zhuǎn)換單元14作為流輸出的幀充當(dāng)參考幀。前述第一實(shí)施例中采用的手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15基于分別存儲(chǔ)在幀存儲(chǔ)器41和42中的兩個(gè)幀的圖像數(shù)據(jù)，執(zhí)行計(jì)算作為代表參考?jí)K和參考?jí)K之間的相關(guān)性的典型相關(guān)性值的SAD值的過(guò)程。另一方面，在圖33所示的第二實(shí)施例中，存儲(chǔ)在幀存儲(chǔ)器43中的圖像數(shù)據(jù)被當(dāng)作充當(dāng)參考幀的原始幀的圖像。來(lái)自數(shù)據(jù)轉(zhuǎn)換單元14的流圖像數(shù)據(jù)被用作參考幀的圖像數(shù)據(jù)，并且手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15基于這兩幀的圖像數(shù)據(jù)，執(zhí)行計(jì)算作為代表目標(biāo)幀上的目標(biāo)塊和參考幀上的參考?jí)K之間的相關(guān)性值的典型相關(guān)性值的SAD值的過(guò)程。
然后，分辨率轉(zhuǎn)換單元16基于由手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15檢測(cè)出的運(yùn)動(dòng)矢量，從幀存儲(chǔ)器43裁剪出幀圖像數(shù)據(jù)。以此方式，可以輸出沒(méi)有手顫抖的影響的圖像數(shù)據(jù)。其余的配置和其他的操作與第一實(shí)施例相同。
如上所述，在該第二實(shí)施例的情形下，來(lái)自數(shù)據(jù)轉(zhuǎn)換單元14的流圖像數(shù)據(jù)被用作參考幀的圖像數(shù)據(jù)。因此，對(duì)于傳入的參考幀上的某個(gè)像素來(lái)說(shuō)，包括充當(dāng)某個(gè)像素的拷貝的像素的多個(gè)參考?jí)K在參考幀上同時(shí)存在。參考圖34說(shuō)明這種參考?jí)K的存在。
從圖34可以很明顯地看出，參考幀102上的搜索范圍105包括輸入像素Din，它是原始幀101上的目標(biāo)塊103上的像素D2的拷貝像素。輸入像素Din是在參考矢量1071所指向的參考?jí)K1061的左側(cè)上包括的像素，也是在參考矢量1072所指向的參考?jí)K1062的右上角包括的像素。
因此，在計(jì)算像素之間的像素值差的過(guò)程期間處理參考?jí)K1061時(shí)，輸入像素Din的像素值被與目標(biāo)塊103上的像素D1比較。另一方面，在計(jì)算像素之間的像素值差的過(guò)程期間處理參考?jí)K1062時(shí)，輸入像素Din的像素值被與目標(biāo)塊103上的像素D2比較。
為了使說(shuō)明便于理解，下面描述圖34和圖35，它們都示出了兩個(gè)參考幀。但是，事實(shí)上，存在包括輸入像素的多個(gè)參考?jí)K。
在根據(jù)該第二實(shí)施例計(jì)算目標(biāo)塊和參考?jí)K之間的SAD值時(shí)，通過(guò)找到被處理的參考?jí)K106上的輸入像素Din的亮度值Y和作為與輸入像素Din的點(diǎn)相對(duì)應(yīng)的點(diǎn)的在目標(biāo)塊103上的點(diǎn)處的像素值的亮度值Y之間的差的絕對(duì)值，計(jì)算像素值差。每次計(jì)算這種差的絕對(duì)值，差的絕對(duì)值就被累加到先前存儲(chǔ)在表元素中的臨時(shí)和上，作為這些差的絕對(duì)值之和，所述表元素被包括在SAD表108中作為根據(jù)與參考?jí)K106相關(guān)聯(lián)的參考矢量107的表元素。對(duì)與包括輸入像素Din的參考幀106相關(guān)聯(lián)的每個(gè)參考矢量107，執(zhí)行計(jì)算像素值差的絕對(duì)值的過(guò)程和在表元素中存儲(chǔ)絕對(duì)值的過(guò)程。
例如，假設(shè)參考?jí)K1061是當(dāng)前被處理的參考?jí)K。在此情形下，通過(guò)找到參考?jí)K1061上的輸入像素Din的亮度值Y和作為與輸入像素Din的點(diǎn)相對(duì)應(yīng)的點(diǎn)的在目標(biāo)塊103上的點(diǎn)處的像素D1的亮度值Y之間的差的絕對(duì)值，計(jì)算像素值差。然后，計(jì)算出的差的絕對(duì)值被累加到先前存儲(chǔ)在相關(guān)性值表元素(或SAD表元素)1091中的臨時(shí)和上，作為這些差的絕對(duì)值之和，所述表元素被包括在圖35所示的相關(guān)性值表(或SAD表)108中作為根據(jù)與參考?jí)K1061相關(guān)聯(lián)的參考?jí)K1071的表元素。對(duì)與包括輸入像素Din的參考幀106相關(guān)聯(lián)的每個(gè)參考矢量107，執(zhí)行計(jì)算像素值差的絕對(duì)值的過(guò)程和將計(jì)算得到的絕對(duì)值累加到計(jì)算得到的并在先前存儲(chǔ)在SAD表元素1091中的臨時(shí)和的過(guò)程。例如，參考矢量1072與也包括輸入像素Din的參考?jí)K1062相關(guān)聯(lián)。在此情形下，如下所述，對(duì)與參考?jí)K1062相關(guān)聯(lián)的參考矢量參考矢量1072，執(zhí)行計(jì)算像素值差的絕對(duì)值的過(guò)程和將計(jì)算得到的絕對(duì)值累加到計(jì)算得到的并在先前存儲(chǔ)在SAD表元素1092中的臨時(shí)和的過(guò)程，所述表元素被包括在圖35所示的相關(guān)性值表(或SAD表)108中作為根據(jù)參考矢量1072的表元素。
當(dāng)參考?jí)K1062被處理時(shí)，通過(guò)找到參考?jí)K1062上的輸入像素Din的亮度值Y和作為與輸入像素Din的點(diǎn)相對(duì)應(yīng)的點(diǎn)的在目標(biāo)塊103上的點(diǎn)處的像素D2的亮度值Y之間的差的絕對(duì)值，計(jì)算像素值差。然后，計(jì)算得到的差的絕對(duì)值被累加到先前存儲(chǔ)在SAD表元素1092中的臨時(shí)和上，作為這些差的絕對(duì)值之和，該表元素被包括在圖35所示的SAD表108中作為根據(jù)與參考?jí)K1062相關(guān)聯(lián)的參考矢量1072的表元素。
上述對(duì)其中每個(gè)都包含輸入像素Din的所有參考?jí)K106(例如參考?jí)K1061和1062)執(zhí)行的處理對(duì)搜索范圍105中的所有輸入像素Din執(zhí)行，并且，當(dāng)對(duì)搜索范圍105中的所有輸入像素Din完成該處理時(shí)，SAD表108的每個(gè)表元素109都包含最終SAD值，SAD表108的創(chuàng)建完成。
參考圖35的說(shuō)明對(duì)于如下情況同樣成立將現(xiàn)有技術(shù)的技術(shù)應(yīng)用到以實(shí)時(shí)方式計(jì)算SAD值的過(guò)程。如前面參考圖35所述，SAD表元素1091和1092中的每一個(gè)是作為分別與參考矢量1071和參考矢量1072相關(guān)聯(lián)的元素的在SAD表108中包括的典型SAD表元素109。另一方面，在該第二實(shí)施例中，相關(guān)性值表(或SAD表)108的每個(gè)表元素109不是最終SAD值，所述最終SAD值是上述像素值差的絕對(duì)值的累積和。而是，非常類似于上述第一實(shí)施例，SAD表108被縮減為經(jīng)縮減相關(guān)性值表(或經(jīng)縮減SAD表)，并且經(jīng)縮減相關(guān)性值表(或經(jīng)縮減SAD表)的每個(gè)表元素都是通過(guò)執(zhí)行以下步驟獲得的值
計(jì)算參考幀106上的搜索范圍中的輸入像素和目標(biāo)幀上的相應(yīng)像素之間的像素值差的絕對(duì)差；以縮減因子1/n縮減指向參考?jí)K106的參考矢量107；通過(guò)采用線性加權(quán)分配技術(shù)，將計(jì)算得到的絕對(duì)差劃分為多個(gè)分量絕對(duì)差；以及將分量絕對(duì)差累加到先前計(jì)算和存儲(chǔ)在多個(gè)表元素中的臨時(shí)和，所述多個(gè)表元素與多個(gè)相應(yīng)的接近的經(jīng)縮減參考矢量相關(guān)聯(lián)，所述接近的經(jīng)縮減參考矢量接近作為對(duì)參考矢量107進(jìn)行縮減的結(jié)果而獲得的經(jīng)縮減矢量而存在。
對(duì)于指向包括輸入像素的參考?jí)K106的每個(gè)參考矢量107，執(zhí)行上述步驟，以獲得存儲(chǔ)在表元素中的值。對(duì)每個(gè)輸入像素重復(fù)對(duì)指向共享輸入像素的參考?jí)K106的所有參考矢量107執(zhí)行的步驟。當(dāng)對(duì)搜索范圍中包括的每個(gè)輸入像素都完成了這些步驟的執(zhí)行時(shí)，經(jīng)縮減相關(guān)性值表(或經(jīng)縮減SAD表)被完成。
在經(jīng)縮減SAD表完成之后，可以通過(guò)采用與第一實(shí)施例完全相同的技術(shù)，執(zhí)行根據(jù)第二實(shí)施例的檢測(cè)準(zhǔn)確的運(yùn)動(dòng)矢量的過(guò)程。如前所述，第一實(shí)施例采用的典型技術(shù)是二次曲面技術(shù)和基于定向于垂直和水平方向上的平面上的三次曲線的技術(shù)。
圖36和圖37示出了代表用于檢測(cè)運(yùn)動(dòng)矢量的根據(jù)第二實(shí)施例的圖像拾取裝置10中采用的手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15所執(zhí)行的處理的流程圖。
流程圖開始于步驟S181，在步驟S181，手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15接收作為參考幀的輸入圖像中包括的幀上的任意點(diǎn)(x，y)處的像素的像素?cái)?shù)據(jù)Din(x，y)。然后，在下一步驟S182，指定指向多個(gè)參考?jí)KIi之一的參考矢量(vx，vy)，其中每個(gè)參考?jí)KIi都包括位置(x，y)處的輸入像素Din(x，y)。
令標(biāo)記Ii(x，y)標(biāo)示由參考矢量(vx，vy)所指向的參考?jí)KIi上的點(diǎn)(x，y)處的像素的像素值，令標(biāo)記Io(x-vx，y-vy)標(biāo)示目標(biāo)塊Io上的點(diǎn)(x-vx，y-vy)處的像素的像素值。在下文中，目標(biāo)塊Io中的點(diǎn)(x-vx，y-vy)被說(shuō)成是與參考?jí)KIi中的點(diǎn)(x，y)相對(duì)應(yīng)的點(diǎn)。然后，在下一步驟S183，根據(jù)以下等式(3)計(jì)算像素值Ii(x，y)和像素值Io(x-vx，y-vy)之間的差的絕對(duì)值αα＝|Ii(x，y)-Io(x-vx，y-vy)| ——(3)然后，在下一步驟S184，通過(guò)以縮減因子1/n縮減指向參考?jí)KIi的參考矢量(vx，vy)，計(jì)算經(jīng)縮減參考矢量(vx/n，vy/n)。一般地，每個(gè)得到的經(jīng)縮減參考矢量的x方向和y方向值(vx/n，vy/n)都包括分?jǐn)?shù)部分。
接下來(lái)，在下一步驟S185，識(shí)別出多個(gè)位置接近經(jīng)縮減參考矢量(vx/n，vy/n)的接近的參考矢量。如前所述，每個(gè)接近的參考矢量都是具有整數(shù)vx/n值和整數(shù)vy/n值的經(jīng)縮減參考矢量。在本實(shí)施例中，接近的參考矢量的數(shù)量被設(shè)置為4。然后，在下一步驟S186，通過(guò)采用如前所述的基于接近的參考矢量指向的位置和經(jīng)縮減參考矢量(vx/n，vy/n)指向的位置之間的關(guān)系的線性加權(quán)分配技術(shù)，作為像素值差在步驟S183找到的絕對(duì)值α被劃分為四個(gè)分量差。接下來(lái)，在下一步驟S187，四個(gè)分量差在被包括在經(jīng)縮減相關(guān)性值表中的四個(gè)表元素之間分配，作為分別與四個(gè)接近的參考矢量相關(guān)聯(lián)的四個(gè)表元素。
在完成步驟S187的過(guò)程之后，根據(jù)第二實(shí)施例的處理的流程進(jìn)行到下一步驟S188，以產(chǎn)生關(guān)于判斷是否已經(jīng)對(duì)其中每個(gè)都指向包括輸入像素Din(x，y)的參考?jí)KIi的所有參考矢量(vx，vy)都執(zhí)行了步驟S183到S187的過(guò)程的判斷結(jié)果。如果判斷結(jié)果指示尚未對(duì)其中每個(gè)都指向包括輸入像素Din(x，y)的參考?jí)KIi的所有參考矢量(vx，vy)都執(zhí)行步驟S183到S187的過(guò)程，則處理的流程返回步驟S182。指定指向其中每個(gè)都包括輸入像素Din(x，y)的多個(gè)參考?jí)KIi之一的另一參考矢量(vx，vy)。然后，重復(fù)步驟S182之后的步驟S183到S187的過(guò)程。
另一方面，如果在步驟S188產(chǎn)生的判斷結(jié)果指示已經(jīng)對(duì)其中每個(gè)都指向包括輸入像素Din(x，y)的參考?jí)KIi的所有參考矢量(vx，vy)都執(zhí)行了步驟S183到S187的過(guò)程，則根據(jù)第二實(shí)施例的處理流進(jìn)行到圖37所示流程圖的步驟S191，以產(chǎn)生關(guān)于是否已經(jīng)對(duì)搜索范圍105中的所有輸入像素Din(x，y)都執(zhí)行了步驟S182到S188的過(guò)程的判斷結(jié)果。如果判斷結(jié)果指示尚未對(duì)搜索范圍105中的所有輸入像素Din(x，y)都執(zhí)行步驟S182到S188的過(guò)程，則根據(jù)第二實(shí)施例的處理的流程返回步驟S181，在步驟S181，接收一幀上另一點(diǎn)(x，y)處的另一像素的像素?cái)?shù)據(jù)Din(x，y)。然后，執(zhí)行后續(xù)步驟的過(guò)程。
另一方面，如果在步驟S191產(chǎn)生的判斷結(jié)果指示已經(jīng)對(duì)搜索范圍105中的所有輸入像素Din(x，y)都執(zhí)行了步驟S182到S188的過(guò)程，則根據(jù)第二實(shí)施例的處理的流程進(jìn)行到步驟S192。在表元素地址(mx，my)處檢測(cè)出經(jīng)縮減相關(guān)性值表或經(jīng)縮減SAD表的所有元素中存儲(chǔ)的所有分量最終SAD值中的最小值。
然后，在下一步驟S193，創(chuàng)建作為近似如下相關(guān)性值的曲面的二次曲面，所述相關(guān)性值是在表元素地址(mx，my)處檢測(cè)到的最小相關(guān)性值和作為接近表元素地址(mx，my)的表元素的存儲(chǔ)在經(jīng)縮減相關(guān)性值表中的多個(gè)相關(guān)性值。如上所述，每個(gè)相關(guān)性值都是SAD值。在第二實(shí)施例中，作為接近表元素地址(mx，my)的表元素的存儲(chǔ)在經(jīng)縮減相關(guān)性值表中的相關(guān)性值的數(shù)量被設(shè)置為15。然后，在下一步驟S194，指向分?jǐn)?shù)級(jí)別的精度的X-Y平面上的位置的最小值矢量(px，py)被檢測(cè)為與二次曲面上的最小SAD值相對(duì)應(yīng)的矢量。最小值矢量(px，py)所指向的位置是與二次曲面上的最小SAD值相對(duì)應(yīng)的位置。
然后，在最后一個(gè)步驟S195，通過(guò)將最小值矢量(px，py)乘以縮減因子的倒數(shù)值n，計(jì)算具有原始大小和原始方向的運(yùn)動(dòng)矢量(px×n，py×n)，如圖6所示。
應(yīng)當(dāng)注意，同樣在第二實(shí)施例的情況中，與前述第一實(shí)施例的第一到第三典型實(shí)現(xiàn)的情形一樣，取代上述二次曲面方法，基于分別定向于垂直和水平方向上的平面上的兩條三次曲線的三次曲線方法也可以被用作檢測(cè)指向分?jǐn)?shù)級(jí)別的精度的位置的運(yùn)動(dòng)矢量(px，py)的方法。
此外，不言而喻，同樣在第二實(shí)施例的情況中，與前述第一實(shí)施例的第三典型實(shí)現(xiàn)一樣，可以在縮窄搜索范圍以及如果有必要的話改變縮減因子的同時(shí)，在兩個(gè)或多個(gè)階段重復(fù)執(zhí)行通過(guò)使用經(jīng)縮減SAD表檢測(cè)運(yùn)動(dòng)矢量的處理。
第二實(shí)施例提供了這樣的優(yōu)點(diǎn)與第一實(shí)施例相比，幀存儲(chǔ)器的大小可以減小一幀，因此，可以縮短在幀存儲(chǔ)器中存儲(chǔ)輸入圖像所需的時(shí)間。不言而喻，可以說(shuō)明存儲(chǔ)器大小縮小的效果。但是，在幀存儲(chǔ)器中存儲(chǔ)輸入圖像所需的短時(shí)間也在近年來(lái)被認(rèn)為是重要的特征。具體而言，在處理運(yùn)動(dòng)圖片的系統(tǒng)中，在幀存儲(chǔ)器中存儲(chǔ)輸入圖像所需的短時(shí)間本身使得系統(tǒng)延遲縮短。因此，消除圖片拾取的實(shí)際對(duì)象與其在顯示面板上顯現(xiàn)的圖像之間的差異所導(dǎo)致的不相適應(yīng)的感覺(jué)對(duì)引起用戶對(duì)產(chǎn)品的興趣有很大效果。
在上述第一和第二實(shí)施例中，假設(shè)了用于針對(duì)手顫抖的影響來(lái)補(bǔ)償運(yùn)動(dòng)圖片的系統(tǒng)，并通過(guò)將該假設(shè)作為前提給出了對(duì)實(shí)施例的描述。但是，本發(fā)明實(shí)施例提供的塊匹配技術(shù)也可以很容易地?cái)U(kuò)展到該技術(shù)對(duì)用于針對(duì)手顫抖的影響來(lái)補(bǔ)償靜止圖片的系統(tǒng)的應(yīng)用。第三實(shí)施例是將本發(fā)明應(yīng)用于針對(duì)手顫抖的影響來(lái)補(bǔ)償靜止圖片的系統(tǒng)的實(shí)施例。
在第三實(shí)施例中，非常類似于第二實(shí)施例，利用被當(dāng)作要被處理的參考幀的輸入圖像幀，檢測(cè)這樣的運(yùn)動(dòng)矢量，其指示與比輸入圖像幀領(lǐng)先了對(duì)應(yīng)于一幀的時(shí)間段的目標(biāo)圖像幀有關(guān)的輸入圖像幀的移動(dòng)。但是，在第三實(shí)施例中，通過(guò)在針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像時(shí)，將以典型速率為3fps的圖像拾取操作中連續(xù)拍攝的多個(gè)圖像彼此疊加，來(lái)執(zhí)行針對(duì)手顫抖的影響來(lái)補(bǔ)償靜止圖片的過(guò)程。
由于可以通過(guò)在針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像時(shí)，將圖像拾取操作中連續(xù)拍攝的多個(gè)圖像彼此疊加，來(lái)執(zhí)行根據(jù)第三實(shí)施例的針對(duì)手顫抖的影響補(bǔ)償來(lái)靜止圖片的過(guò)程，因此不允許大于一個(gè)像素的誤差的像素精度是必要的。也就是說(shuō)，在第三實(shí)施例的情況中，作為手顫抖運(yùn)動(dòng)矢量，除了代表水平和垂直方向上的平行移動(dòng)的分量之外，還有必要檢測(cè)旋轉(zhuǎn)分量。
圖38是根據(jù)第三實(shí)施例的圖像拾取裝置的典型配置的框圖。通過(guò)向作為第二實(shí)施例的配置的圖33所示的配置添加在手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15和分辨率轉(zhuǎn)換單元16之間的旋轉(zhuǎn)添加單元19，以及向已包括幀存儲(chǔ)器43的圖像存儲(chǔ)器單元4添加幀存儲(chǔ)器44，獲得了圖38所示的典型配置。幀存儲(chǔ)器44被用作檢測(cè)運(yùn)動(dòng)矢量的旋轉(zhuǎn)分量和將幀圖像彼此疊加的存儲(chǔ)器。其余部分與圖33所示的配置相同。
以與作為處理運(yùn)動(dòng)圖片的實(shí)施例的前述第二實(shí)施例相同的方式，通過(guò)將從數(shù)據(jù)轉(zhuǎn)換單元14接收的輸入像素?cái)?shù)據(jù)作為參考幀的圖像數(shù)據(jù)，并使用存儲(chǔ)在幀存儲(chǔ)器43中的圖像數(shù)據(jù)作為充當(dāng)目標(biāo)幀的原始幀的圖像數(shù)據(jù)，來(lái)執(zhí)行檢測(cè)運(yùn)動(dòng)矢量的處理。在第三實(shí)施例的情況中，對(duì)于一幀，檢測(cè)類似于圖20所示的多個(gè)運(yùn)動(dòng)矢量。
此外，在第三實(shí)施例的情況中，手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15將手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15檢測(cè)出的多個(gè)運(yùn)動(dòng)矢量的信息提供給旋轉(zhuǎn)添加單元19。旋轉(zhuǎn)添加單元19綜合處理這些運(yùn)動(dòng)矢量，以便檢測(cè)出代表平行移動(dòng)分量和旋轉(zhuǎn)角度的手顫抖運(yùn)動(dòng)矢量。
然后，在一幀延遲之后，旋轉(zhuǎn)添加單元19根據(jù)手顫抖運(yùn)動(dòng)矢量和旋轉(zhuǎn)角度，裁剪出存儲(chǔ)在幀存儲(chǔ)器43中的圖像幀，同時(shí)，在旋轉(zhuǎn)裁剪出的幀的同時(shí)，將裁剪出的幀添加到存儲(chǔ)在幀存儲(chǔ)器44中的圖像幀上，或計(jì)算裁剪出的幀和存儲(chǔ)在幀存儲(chǔ)器44中的圖像幀的平均。通過(guò)重復(fù)執(zhí)行這些過(guò)程，可以將圖像幀120存儲(chǔ)在幀存儲(chǔ)器44中，作為不表現(xiàn)出手顫抖的影響和具有較高S/N比以及較高圖像分辨率的靜止圖像。圖39示出了在旋轉(zhuǎn)和平移疊加幀的同時(shí)將幀彼此疊加的過(guò)程。
然后，分辨率轉(zhuǎn)換單元16從存儲(chǔ)在幀存儲(chǔ)器44中的幀圖像，裁剪出具有預(yù)定的圖像分辨率和預(yù)定的圖像大小的圖像部分，被如前所述地將該部分提供給編碼/解碼單元17，作為要記錄的所拍攝圖像的數(shù)據(jù)。分辨率轉(zhuǎn)換單元16還將該圖像部分提供給NTSC編碼器18，作為要被監(jiān)視的圖像的數(shù)據(jù)。
同樣在第三實(shí)施例的情況中，通過(guò)使用經(jīng)縮減相關(guān)性值表(或經(jīng)縮減SAD表)來(lái)檢測(cè)每個(gè)運(yùn)動(dòng)矢量的處理可以在縮窄搜索范圍并且如果有必要的話改變縮減因子的同時(shí)，在兩個(gè)或更多階段重復(fù)執(zhí)行。在根據(jù)第三實(shí)施例檢測(cè)靜止圖片的手顫抖運(yùn)動(dòng)矢量的過(guò)程中和針對(duì)手顫抖的影響來(lái)補(bǔ)償靜止圖片的過(guò)程中，對(duì)過(guò)程的實(shí)時(shí)特性幾乎沒(méi)有限制。像素?cái)?shù)量增加使得有必要以高程度的精度檢測(cè)運(yùn)動(dòng)矢量，但是，對(duì)于這樣的必要性，在多個(gè)階段檢測(cè)分層的運(yùn)動(dòng)矢量的處理變得很有效。
在上述第三實(shí)施例中，通過(guò)采用與第二實(shí)施例相同的方法檢測(cè)運(yùn)動(dòng)矢量。但是應(yīng)當(dāng)注意，也可以通過(guò)采用與第一實(shí)施例相同的方法，在第三實(shí)施例中檢測(cè)運(yùn)動(dòng)矢量。
上述第三實(shí)施例采用通過(guò)將輸入圖像與領(lǐng)先輸入圖像一幀的圖像進(jìn)行比較來(lái)檢測(cè)手顫抖運(yùn)動(dòng)矢量和旋轉(zhuǎn)角度的方法。但是，事實(shí)上，第一幀被當(dāng)作基礎(chǔ)，后續(xù)幀如圖39所示被疊加在該基礎(chǔ)上。因此，第一幀作為檢測(cè)運(yùn)動(dòng)矢量的過(guò)程中的基礎(chǔ)被更加謹(jǐn)慎地對(duì)待，以便減小誤差。第四實(shí)施例是考慮到這一點(diǎn)的實(shí)施例。圖40是示出了根據(jù)第四實(shí)施例的圖像拾取裝置的典型配置的框圖。
在第四實(shí)施例中，除了幀存儲(chǔ)器43和44之外，圖像存儲(chǔ)器單元4還包括的額外的幀存儲(chǔ)器45。數(shù)據(jù)轉(zhuǎn)換單元14輸出的圖像數(shù)據(jù)被存儲(chǔ)在幀存儲(chǔ)器43和45中。
第四實(shí)施例是具有這樣的配置的系統(tǒng)，其中幀存儲(chǔ)器45被用于存儲(chǔ)第一幀來(lái)充當(dāng)目標(biāo)幀，目標(biāo)幀也被稱為原始幀，并且作為代表與基礎(chǔ)幀的圖像有關(guān)的輸入圖像的移動(dòng)的矢量的運(yùn)動(dòng)矢量被檢測(cè)。在該配置中，圖像添加過(guò)程的結(jié)果被存儲(chǔ)在幀存儲(chǔ)器44中。其余部分與第三實(shí)施例相同。
通過(guò)將輸入圖像的第一幀當(dāng)作基礎(chǔ)圖像，第四實(shí)施例實(shí)現(xiàn)了能夠執(zhí)行無(wú)限添加過(guò)程或無(wú)限平均/添加過(guò)程的系統(tǒng)。但是應(yīng)當(dāng)注意，如果存儲(chǔ)器充分可用或者允許在記錄/再現(xiàn)裝置5中臨時(shí)保存數(shù)據(jù)的操作，則要經(jīng)歷無(wú)限添加過(guò)程或無(wú)限平均/添加過(guò)程的所有圖像可以被預(yù)先保存在存儲(chǔ)器或記錄/再現(xiàn)裝置5中，然后在競(jìng)賽(tournament)基礎(chǔ)上對(duì)圖像執(zhí)行過(guò)程。
通過(guò)組合根據(jù)第一到第四實(shí)施例的針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像的無(wú)傳感器方法和在當(dāng)代技術(shù)基礎(chǔ)上針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像的技術(shù)，可以獲得更好的效果。
本專利說(shuō)明書的開始部分說(shuō)明了通過(guò)使用陀螺儀傳感器針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像的過(guò)程僅得到粗略的補(bǔ)償，而旋轉(zhuǎn)補(bǔ)償技術(shù)難于實(shí)現(xiàn)。另一方面，通過(guò)采用塊匹配技術(shù)針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像的無(wú)傳感器過(guò)程提供了包括旋轉(zhuǎn)補(bǔ)償?shù)母叱潭鹊木?。但是，如果搜索范圍變寬，則SAD表的成本迅速升高，或者，即使采用根據(jù)實(shí)施例的塊匹配方法，在多個(gè)階段執(zhí)行檢測(cè)運(yùn)動(dòng)矢量的過(guò)程也延長(zhǎng)了執(zhí)行整個(gè)處理所需的時(shí)間。
為了解決上述問(wèn)題，必須通過(guò)執(zhí)行以下步驟來(lái)提供以低成本、很高程度的精度和高處理速度的針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像的系統(tǒng)針對(duì)手顫抖的光學(xué)影響來(lái)補(bǔ)償圖像，以獲得粗略補(bǔ)償；縮小在檢測(cè)用于在傳感器級(jí)別針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像的運(yùn)動(dòng)矢量時(shí)使用的搜索范圍的大小；檢測(cè)搜索范圍中的運(yùn)動(dòng)矢量；以及以無(wú)傳感器方式針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像。
如上所述，通過(guò)采用根據(jù)第一到第五實(shí)施例的塊匹配技術(shù)，可以解決針對(duì)手顫抖的影響來(lái)補(bǔ)償圖像的現(xiàn)有技術(shù)系統(tǒng)所產(chǎn)生的問(wèn)題?，F(xiàn)有技術(shù)系統(tǒng)產(chǎn)生的問(wèn)題包括相關(guān)性值表規(guī)模大以及由于相關(guān)性值表規(guī)模大導(dǎo)致幾乎難以進(jìn)行靜止圖像補(bǔ)償。但是，根據(jù)實(shí)施例，不僅可以顯著縮小相關(guān)性值表的大小，而且可以很容易地實(shí)現(xiàn)針對(duì)手顫抖的影響補(bǔ)償靜止圖片的方法。
此外，與目前提出的用于針對(duì)手顫抖的影響來(lái)補(bǔ)償靜止圖片的各種無(wú)傳感器技術(shù)相比，根據(jù)第一到第五實(shí)施例的基于塊匹配技術(shù)的無(wú)傳感器手顫抖補(bǔ)償方法的實(shí)現(xiàn)提供了包括如下的優(yōu)點(diǎn)低成本、高程度的精度、短的處理時(shí)間以及很好的魯棒性。
作為針對(duì)手顫抖的影響來(lái)補(bǔ)償靜止圖像的裝置的當(dāng)前市場(chǎng)上可獲得的每種裝置都是采用包括陀螺儀傳感器方法和透鏡偏移方法的組合光學(xué)補(bǔ)償技術(shù)的系統(tǒng)。但是，這樣的系統(tǒng)引入了大的誤差和不理想的圖片質(zhì)量。但是，另一方面，根據(jù)本發(fā)明實(shí)施例提供的技術(shù)，可以去掉傳感器和其他機(jī)械組件，以便允許系統(tǒng)被實(shí)現(xiàn)為以低成本和很高程度的精度針對(duì)手顫抖的影響來(lái)補(bǔ)償靜止圖像的裝置。
在上述實(shí)施例的情況中，參考矢量以相同的縮減因子在垂直和水平方向上被縮減。但是，參考矢量也可以以不同的縮減因子在垂直和水平方向上被縮減。
此外，在上述實(shí)施例中，在參考?jí)K和目標(biāo)塊中的所有像素的像素值的基礎(chǔ)上計(jì)算SAD值，其被用作代表參考和目標(biāo)塊之間的相關(guān)性的相關(guān)性值。但是，也可以在參考?jí)K中的每個(gè)像素和目標(biāo)塊中的每k個(gè)像素(其中k是整數(shù))的像素值的基礎(chǔ)上計(jì)算SAD值，其被用作代表參考和目標(biāo)塊之間的相關(guān)性的相關(guān)性值。
另外，被用作以實(shí)時(shí)方式檢測(cè)運(yùn)動(dòng)矢量的系統(tǒng)縮小了執(zhí)行處理所需的處理成本和時(shí)間。因此，在這樣的系統(tǒng)中，常常必須搜索目標(biāo)塊，以找出上述有代表性的點(diǎn)，并在目標(biāo)塊中的有代表性的點(diǎn)處的像素值和在參考?jí)K中包括的點(diǎn)處的像素值的基礎(chǔ)上，計(jì)算諸如SAD值之類的相關(guān)性值。
具體而言，例如，目標(biāo)塊103被劃分為多個(gè)子塊，每個(gè)子塊包括a×b個(gè)像素，或者每個(gè)包括“a”個(gè)像素列和“b”個(gè)像素行，如圖41所示，其中a和b都是至少等于1的整數(shù)。然后，每個(gè)子塊中的多個(gè)像素之一被當(dāng)作子塊的有代表性的點(diǎn)(或目標(biāo)點(diǎn))TP。然后，在目標(biāo)塊103中包括的被選擇的有代表性的點(diǎn)TP的像素值和參考?jí)K106中包括的點(diǎn)處的像素值的基礎(chǔ)上，計(jì)算諸如SAD值之類的相關(guān)性值。
但是，參考?jí)K106中的所有像素的像素值仍在計(jì)算諸如SAD值等相關(guān)性值的過(guò)程中被使用。具體而言，參考?jí)K106被劃分為多個(gè)像素范圍AR，每個(gè)像素范圍AR包括作為目標(biāo)塊103中的子塊(或目標(biāo)點(diǎn)TP)的a×b個(gè)像素，并且像素范圍AR中的所有a×b個(gè)像素都與對(duì)應(yīng)于像素范圍AR的子塊中的目標(biāo)點(diǎn)TP處的像素值結(jié)合起來(lái)在計(jì)算諸如SAD值等相關(guān)性值的過(guò)程中被使用。
更具體而言，計(jì)算目標(biāo)塊103上的子塊中的目標(biāo)點(diǎn)TP和參考?jí)K106上的像素范圍AR中的a×b個(gè)像素中的每個(gè)像素之間的像素值差的絕對(duì)值，然后找到針對(duì)a×b個(gè)像素計(jì)算的這種絕對(duì)值的子塊和。對(duì)目標(biāo)塊103上的每個(gè)子塊(或每個(gè)目標(biāo)點(diǎn)TP)找到該子塊和，然后，計(jì)算針對(duì)目標(biāo)塊103上的所有子塊(或所有目標(biāo)點(diǎn)TP)找到的這種子塊和的塊和。計(jì)算得到的塊和是目標(biāo)塊103和參考?jí)K106的SAD值，并且被存儲(chǔ)在相關(guān)性值表(或SAD表)108中作為表108的元素。
然后，對(duì)為目標(biāo)塊103提供的搜索范圍105中的每個(gè)參考?jí)K106，如上所述地在目標(biāo)塊103中的目標(biāo)點(diǎn)TP的基礎(chǔ)上，找到目標(biāo)塊103和參考?jí)K106的塊和(或SAD值)，并將其存儲(chǔ)在相關(guān)性值表(或SAD表)108中作為表108的元素，以便填充表108，即以便完成表108的創(chuàng)建。但是，在這種另外的實(shí)施例的情況中，由于在搜索范圍105中設(shè)置的多個(gè)參考?jí)K106中的每一個(gè)都包括a×b個(gè)像素，因此參考?jí)K106的中心彼此偏移了與a×b個(gè)像素或a×b的倍數(shù)個(gè)像素相對(duì)應(yīng)的距離。
在其中目標(biāo)塊中的有代表性的點(diǎn)被用于計(jì)算充當(dāng)代表目標(biāo)塊和參考?jí)K之間的相關(guān)性的值的SAD值的裝置的情況中，對(duì)于包括參考?jí)K中的多個(gè)像素的每個(gè)像素范圍AR，訪問(wèn)存儲(chǔ)器一次，以找出目標(biāo)塊上的目標(biāo)點(diǎn)TP。因此，對(duì)存儲(chǔ)器的訪問(wèn)次數(shù)可以被大大減少，因?yàn)槟繕?biāo)塊上的目標(biāo)點(diǎn)TP需要被訪問(wèn)。
此外，在使用目標(biāo)塊中的有代表性的點(diǎn)的裝置的情況中，目標(biāo)塊上的目標(biāo)點(diǎn)TP處的像素的圖像數(shù)據(jù)需要被存儲(chǔ)在存儲(chǔ)器中。也就是說(shuō)，不需要存儲(chǔ)目標(biāo)塊上的所有像素的圖像數(shù)據(jù)。因此，用于存儲(chǔ)充當(dāng)包括目標(biāo)塊的目標(biāo)幀的原始幀的幀存儲(chǔ)器的大小也可以大大縮小。
另外，除了幀存儲(chǔ)器以外，被實(shí)現(xiàn)為SRAM的有代表性的點(diǎn)存儲(chǔ)器也可以在本地被提供，作為用于存儲(chǔ)用作目標(biāo)幀的原始幀上的目標(biāo)塊的圖像數(shù)據(jù)的本地存儲(chǔ)器。以此方式，可以減小對(duì)被實(shí)現(xiàn)為DRAM的圖像存儲(chǔ)器單元4的訪問(wèn)的帶寬。
上面通過(guò)參考圖42到圖44，針對(duì)前面說(shuō)明的技術(shù)，描述了采用使用目標(biāo)塊的有代表性的點(diǎn)的技術(shù)的過(guò)程。但是，不言而喻，對(duì)采用使用有代表性的點(diǎn)的技術(shù)的過(guò)程的說(shuō)明也適用于作為根據(jù)第二實(shí)施例的方法的前面通過(guò)參考圖34到圖37描述的方法。
通過(guò)執(zhí)行以下步驟，使用目標(biāo)塊的有代表性的點(diǎn)的技術(shù)被應(yīng)用于根據(jù)第二實(shí)施例的方法對(duì)于整個(gè)搜索范圍中的每個(gè)輸入像素，檢測(cè)共享包括了輸入?yún)⒖紟南袼?稱為輸入像素)的像素范圍AR的所有參考?jí)K；以及確定目標(biāo)塊上的多個(gè)有代表性的點(diǎn)作為這樣的點(diǎn)，其中每個(gè)點(diǎn)對(duì)應(yīng)于所有檢測(cè)出的參考?jí)K中每個(gè)參考?jí)K中的像素范圍AR之一。應(yīng)當(dāng)注意，像素范圍AR中的輸入像素的位置隨AR而異。
然后，對(duì)于像素范圍AR中的輸入像素，位于目標(biāo)塊的有代表性的點(diǎn)之一處的像素的像素值被從用于存儲(chǔ)充當(dāng)目標(biāo)幀的原始幀的圖像數(shù)據(jù)的存儲(chǔ)器讀出，并且被與輸入像素的像素值一起用于計(jì)算位于有代表性的點(diǎn)處的像素的像素值和輸入像素的像素值之間的差的絕對(duì)值。然后，絕對(duì)值的每個(gè)分量值被累加到在充當(dāng)相關(guān)性值表的SAD表中所包括的元素中所存儲(chǔ)的先前計(jì)算得到的分量值，作為與指向參考?jí)K的參考矢量相對(duì)應(yīng)的元素。
在上述處理中，對(duì)存儲(chǔ)器進(jìn)行訪問(wèn)以讀出其中每個(gè)都位于有代表性的點(diǎn)之一處的像素的像素值。因此，對(duì)存儲(chǔ)器的訪問(wèn)次數(shù)可以顯著減少。
注意，不言而喻，在已經(jīng)描述的實(shí)施例的情況中，基于有代表性的點(diǎn)的處理被應(yīng)用到使用經(jīng)縮減相關(guān)性值表(或經(jīng)縮減SAD表)的情況中。
此外，在上述實(shí)施例中，像素值之差的絕對(duì)值和SAD值每個(gè)通過(guò)處理亮度值Y而作為相關(guān)性值被計(jì)算。但是，為了檢測(cè)運(yùn)動(dòng)矢量，被處理的像素值不限于亮度值Y。也就是說(shuō)，色度值Cb/Cr也可被當(dāng)作被處理的像素值。此外，被轉(zhuǎn)換為亮度值Y和色度值Cb/Cr之前的原始數(shù)據(jù)也可在檢測(cè)運(yùn)動(dòng)矢量的處理中被當(dāng)作被處理的像素值。
另外，如前所述，手顫抖運(yùn)動(dòng)矢量檢測(cè)單元15不限于由硬件執(zhí)行檢測(cè)運(yùn)動(dòng)矢量的處理的配置。也就是說(shuō)，檢測(cè)運(yùn)動(dòng)矢量的處理也可由軟件執(zhí)行。
根據(jù)任一實(shí)施例的檢測(cè)運(yùn)動(dòng)矢量的處理在所拍攝圖像上執(zhí)行。但是注意，不言而喻，本發(fā)明的實(shí)施例被應(yīng)用到的信息不限于所拍攝圖像。
此外，如在本發(fā)明說(shuō)明書開始處所述的，代表目標(biāo)塊和參考?jí)K之間的相關(guān)性的值不限于SAD值。
此外，已經(jīng)給出的描述說(shuō)明了向檢測(cè)由圖像拾取裝置拍攝的圖像的手顫抖運(yùn)動(dòng)矢量的情形應(yīng)用本發(fā)明實(shí)施例的示例。但是，本發(fā)明的范圍不限于檢測(cè)由圖像拾取裝置拍攝的圖像的手顫抖運(yùn)動(dòng)矢量。也就是說(shuō)，本發(fā)明也可應(yīng)用于檢測(cè)代表從任一畫面位置到畫面的另一位置的移動(dòng)的手顫抖運(yùn)動(dòng)矢量。將該位置和另一位置處的畫面分別稱為目標(biāo)和參考畫面(或目標(biāo)和參考幀)。在此情形下，目標(biāo)畫面或參考畫面中的任一個(gè)可被當(dāng)作時(shí)間軸上的在先畫面，而另一畫面被當(dāng)作在后畫面。在上述實(shí)施例中，因?yàn)槭诸澏哆\(yùn)動(dòng)矢量被檢測(cè)，所目標(biāo)畫面被當(dāng)作在先畫面。但是，在參考畫面被當(dāng)作在先畫面時(shí)，也可針對(duì)臨時(shí)記錄的畫面檢測(cè)運(yùn)動(dòng)矢量。
此外，本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，依賴于設(shè)計(jì)需要和其他因素，可能發(fā)生多種修改、組合、子組合和替換，它們落在所附權(quán)利要求或其等同物的范圍內(nèi)。
本發(fā)明包含與分別于2005年12月1日和2006年7月18日向日本專利局提交的日本專利申請(qǐng)JP 2005-347437和JP 2006-195047相關(guān)的主題，這兩份申請(qǐng)的全部?jī)?nèi)容都通過(guò)引用被包含于此。
權(quán)利要求
1.一種用于通過(guò)執(zhí)行以下步驟識(shí)別運(yùn)動(dòng)矢量的圖像處理裝置在參考畫面上設(shè)置的搜索范圍中設(shè)置多個(gè)參考?jí)K作為這樣的參考?jí)K，所述參考?jí)K中的每一個(gè)具有與目標(biāo)塊相等的大小，所述目標(biāo)塊作為具有覆蓋多個(gè)像素的預(yù)定大小的目標(biāo)塊被設(shè)置在目標(biāo)畫面上的預(yù)定位置處；搜索特定參考?jí)K，所述特定參考?jí)K具有在所述多個(gè)參考?jí)K和所述目標(biāo)塊之間的相關(guān)性中的最強(qiáng)相關(guān)性；以及基于所述特定參考?jí)K從與所述目標(biāo)畫面上的所述目標(biāo)塊的所述預(yù)定位置相對(duì)應(yīng)的位置的偏移，檢測(cè)所述運(yùn)動(dòng)矢量，所述圖像處理裝置包括相關(guān)性值計(jì)算裝置，所述相關(guān)性值計(jì)算裝置被配置為基于位于每個(gè)所述參考?jí)K上的點(diǎn)處的多個(gè)像素的像素值和位于所述目標(biāo)塊上的相應(yīng)點(diǎn)處的多個(gè)像素的像素值，計(jì)算相關(guān)性值，每個(gè)相關(guān)性值代表所述參考?jí)K中的一個(gè)和所述目標(biāo)塊之間的相關(guān)性；表生成裝置，所述表生成裝置被配置為通過(guò)以下操作生成經(jīng)縮減相關(guān)性值表將由所述相關(guān)性值計(jì)算裝置針對(duì)參考矢量計(jì)算得到的相關(guān)性值原樣存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與作為以預(yù)定縮減因子縮減所述參考矢量的結(jié)果而獲得的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素，所述參考矢量代表在所述參考畫面上參考?jí)K從與所述目標(biāo)畫面上的所述目標(biāo)塊的所述預(yù)定位置相對(duì)應(yīng)的位置的偏移；或者通過(guò)劃分由所述相關(guān)性值計(jì)算裝置針對(duì)被縮減以產(chǎn)生所述經(jīng)縮減參考矢量的所述參考矢量計(jì)算得到的相關(guān)性值，找到多個(gè)分量相關(guān)性值，所述多個(gè)分量相關(guān)性值中的每一個(gè)與位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量中的特定一個(gè)相關(guān)聯(lián)，并且將所述分量相關(guān)性值中的每一個(gè)累積存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與所述特定的接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素；以及運(yùn)動(dòng)矢量計(jì)算裝置，所述運(yùn)動(dòng)矢量計(jì)算裝置被配置為基于存儲(chǔ)在所述經(jīng)縮減相關(guān)性值表中的所述分量相關(guān)性值，找到所述目標(biāo)畫面和所述參考畫面之間的運(yùn)動(dòng)矢量。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述表生成裝置還包括分量相關(guān)性值計(jì)算裝置，所述分量相關(guān)性值計(jì)算裝置被配置為如果存在位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量，則通過(guò)劃分由所述相關(guān)性值計(jì)算裝置針對(duì)被縮減以產(chǎn)生所述經(jīng)縮減參考矢量的所述參考矢量計(jì)算得到的相關(guān)性值，找到多個(gè)分量相關(guān)性值，所述分量相關(guān)性值中的每一個(gè)與位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量中特定一個(gè)相關(guān)聯(lián)，并且將所述分量相關(guān)性值中的每一個(gè)存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與所述特定的接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素，所述存儲(chǔ)操作是通過(guò)將所述分量相關(guān)性值添加到所述表元素來(lái)進(jìn)行的；以及最終分量相關(guān)性值計(jì)算裝置，所述最終分量相關(guān)性值計(jì)算裝置被配置為找到最終分量相關(guān)性值，所述最終分量相關(guān)性值代表通過(guò)將由所述分量相關(guān)性值計(jì)算裝置新計(jì)算得到的新分量相關(guān)性值累加到作為由所述分量相關(guān)性值計(jì)算裝置先前計(jì)算得到的分量相關(guān)性值而已經(jīng)被存儲(chǔ)在所述經(jīng)縮減相關(guān)性值表的表元素中的先前分量相關(guān)性值上而獲得的累積和。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述相關(guān)性值計(jì)算裝置針對(duì)每個(gè)所述參考?jí)K計(jì)算相關(guān)性值，所述計(jì)算是通過(guò)找到位于所述參考?jí)K上的點(diǎn)處的多個(gè)像素的像素值和位于所述目標(biāo)塊上的相應(yīng)點(diǎn)處的多個(gè)像素的像素值之間的差的絕對(duì)值之和來(lái)進(jìn)行的。
4.一種用于通過(guò)執(zhí)行以下步驟識(shí)別運(yùn)動(dòng)矢量的圖像處理裝置在參考畫面上設(shè)置的搜索范圍中設(shè)置多個(gè)參考?jí)K作為這樣的參考?jí)K，所述參考?jí)K中的每一個(gè)具有與目標(biāo)塊相等的大小，所述目標(biāo)塊作為具有覆蓋多個(gè)像素的預(yù)定大小的目標(biāo)塊被設(shè)置在目標(biāo)畫面上的預(yù)定位置處；搜索特定參考?jí)K，所述特定參考?jí)K具有在所述多個(gè)參考?jí)K和所述目標(biāo)塊之間的相關(guān)性中的最強(qiáng)相關(guān)性；以及基于所述特定參考?jí)K從與所述目標(biāo)畫面上的所述目標(biāo)塊的所述預(yù)定位置相對(duì)應(yīng)的位置的偏移，檢測(cè)所述運(yùn)動(dòng)矢量，所述圖像處理裝置包括相關(guān)性值計(jì)算裝置，所述相關(guān)性值計(jì)算裝置被配置為針對(duì)位于每個(gè)所述參考?jí)K上的點(diǎn)處的多個(gè)像素中每一個(gè)像素的像素值和位于所述目標(biāo)塊上的相應(yīng)點(diǎn)處的多個(gè)像素中每一個(gè)像素的像素值，計(jì)算相關(guān)性值；表生成裝置，所述表生成裝置被配置為通過(guò)以下操作生成經(jīng)縮減相關(guān)性值表將由所述相關(guān)性值計(jì)算裝置針對(duì)參考矢量所指向的參考?jí)K上的像素的像素值計(jì)算得到的相關(guān)性值原樣存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與作為以預(yù)定縮減因子縮減所述參考矢量的結(jié)果而獲得的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素，所述參考矢量代表在所述參考畫面上參考?jí)K從與所述目標(biāo)畫面上的所述目標(biāo)塊的所述預(yù)定位置相對(duì)應(yīng)的位置的偏移；或者通過(guò)劃分由所述相關(guān)性值計(jì)算裝置針對(duì)被縮減以產(chǎn)生所述經(jīng)縮減參考矢量的所述參考矢量所指向的參考?jí)K上的像素的像素值計(jì)算得到的相關(guān)性值，找到多個(gè)分量相關(guān)性值，所述分量相關(guān)性值中的每一個(gè)與位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量中的特定一個(gè)相關(guān)聯(lián)，并且將所述分量相關(guān)性值中的每一個(gè)累積存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與所述特定的接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素；以及運(yùn)動(dòng)矢量計(jì)算裝置，所述運(yùn)動(dòng)矢量計(jì)算裝置被配置為基于存儲(chǔ)在所述經(jīng)縮減相關(guān)性值表中的所述分量相關(guān)性值，找到所述目標(biāo)畫面和所述參考畫面之間的運(yùn)動(dòng)矢量。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述表生成裝置還具有分量相關(guān)性值計(jì)算裝置，所述分量相關(guān)性值計(jì)算裝置被配置為如果存在位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量，則通過(guò)劃分由所述相關(guān)性值計(jì)算裝置針對(duì)被縮減以產(chǎn)生所述經(jīng)縮減參考矢量的所述參考矢量所指向的參考?jí)K上的像素的像素值計(jì)算得到的相關(guān)性值，找到多個(gè)分量相關(guān)性值，所述分量相關(guān)性值中的每一個(gè)與位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量中的特定一個(gè)相關(guān)聯(lián)，并且將所述分量相關(guān)性值中的每一個(gè)存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與所述特定的接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素，所述存儲(chǔ)操作是通過(guò)將所述分量相關(guān)性值添加到所述表元素來(lái)進(jìn)行的；以及最終分量相關(guān)性值計(jì)算裝置，所述最終分量相關(guān)性值計(jì)算裝置被配置為找到最終分量相關(guān)性值，所述最終分量相關(guān)性值代表通過(guò)將由所述分量相關(guān)性值計(jì)算裝置新計(jì)算得到的新分量相關(guān)性值累加到作為由所述分量相關(guān)性值計(jì)算裝置先前計(jì)算得到的分量相關(guān)性值而已經(jīng)被存儲(chǔ)在所述經(jīng)縮減相關(guān)性值表的表元素中的先前分量相關(guān)性值上而獲得的累積和。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述相關(guān)性值計(jì)算裝置針對(duì)位于每個(gè)所述參考?jí)K上的點(diǎn)處的多個(gè)像素中每一個(gè)像素的像素值和位于所述目標(biāo)塊上的相應(yīng)點(diǎn)處的多個(gè)像素中每一個(gè)像素的像素值，計(jì)算相關(guān)性值，所述計(jì)算是通過(guò)找到所述參考?jí)K上的所述像素的像素值和所述目標(biāo)塊上的所述像素的像素值之間的差的絕對(duì)值來(lái)進(jìn)行的。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述目標(biāo)畫面和參考畫面每個(gè)是作為由圖像拾取裝置執(zhí)行的圖像拾取操作的結(jié)果而獲得的畫面，并且所述目標(biāo)畫面是領(lǐng)先于所述參考畫面的畫面。
8.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述目標(biāo)畫面和參考畫面每個(gè)是作為由圖像拾取裝置執(zhí)行的圖像拾取操作的結(jié)果而獲得的畫面，并且所述目標(biāo)畫面是領(lǐng)先于所述參考畫面的畫面。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中基于由所述運(yùn)動(dòng)矢量計(jì)算裝置找到的所述運(yùn)動(dòng)矢量，所述參考畫面上的所述搜索范圍被縮窄，并且所述預(yù)定縮減因子被縮??；并且通過(guò)使用所述被縮窄的搜索區(qū)域和所述被縮小的縮減因子，由所述相關(guān)性值計(jì)算裝置、所述表生成裝置和所述運(yùn)動(dòng)矢量計(jì)算裝置所執(zhí)行的過(guò)程被重復(fù)。
10.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中基于由所述運(yùn)動(dòng)矢量計(jì)算裝置找到的運(yùn)動(dòng)矢量，所述參考畫面上的所述搜索范圍被縮窄，并且所述預(yù)定縮減因子被縮?。徊⑶彝ㄟ^(guò)使用所述被縮窄的搜索區(qū)域和所述被縮小的縮減因子，由所述相關(guān)性值計(jì)算裝置、所述表生成裝置和所述運(yùn)動(dòng)矢量計(jì)算裝置所執(zhí)行的過(guò)程被重復(fù)。
11.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述分量相關(guān)性值計(jì)算裝置基于所述經(jīng)縮減參考矢量所指向的位置和所述接近的經(jīng)縮減參考矢量所指向的位置之間的距離，找到所述分量相關(guān)性值，所述分量相關(guān)性值中的每一個(gè)與位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量中的一個(gè)相關(guān)聯(lián)。
12.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，所述分量相關(guān)性值計(jì)算裝置基于所述經(jīng)縮減參考矢量所指向的位置和所述接近的經(jīng)縮減參考矢量所指向的位置之間的距離，找到所述分量相關(guān)性值，所述分量相關(guān)性值中的每一個(gè)與位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量中的一個(gè)相關(guān)聯(lián)。
13.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述預(yù)定縮減是可以彼此獨(dú)立設(shè)置的垂直方向縮減因子和水平方向縮減因子。
14.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述預(yù)定縮減是可以彼此獨(dú)立設(shè)置的垂直方向縮減因子和水平方向縮減因子。
15.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述相關(guān)性值與由所述相關(guān)性值代表的相關(guān)性成反比地減小，并且所述運(yùn)動(dòng)矢量計(jì)算裝置包括曲面生成裝置，所述曲面生成裝置被配置為基于在所述經(jīng)縮減相關(guān)性值表中存儲(chǔ)的相關(guān)性值中的最小值和作為與用于存儲(chǔ)所述最小值的元素位置接近的元素而被存儲(chǔ)在所述相關(guān)性值表中的接近的相關(guān)性值，創(chuàng)建近似高階曲面；最小點(diǎn)檢測(cè)裝置，所述最小點(diǎn)檢測(cè)裝置被配置為檢測(cè)與所述近似高階曲面的最小值相對(duì)應(yīng)的點(diǎn)；以及矢量檢測(cè)裝置，所述矢量檢測(cè)裝置被配置為檢測(cè)代表從與所述目標(biāo)塊相對(duì)應(yīng)的位置到作為與所述最小值相對(duì)應(yīng)的所述檢測(cè)出的點(diǎn)的被所述最小點(diǎn)檢測(cè)裝置檢測(cè)出的點(diǎn)的位置偏移的矢量，并從所述檢測(cè)出的矢量計(jì)算運(yùn)動(dòng)矢量。
16.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述相關(guān)性值與由所述相關(guān)性值代表的相關(guān)性成反比地減小，并且所述運(yùn)動(dòng)矢量計(jì)算裝置包括曲面生成裝置，所述曲面生成裝置被配置為基于在所述經(jīng)縮減相關(guān)性值表中存儲(chǔ)的相關(guān)性值中的最小值和作為與用于存儲(chǔ)所述最小值的元素位置接近的元素而被存儲(chǔ)在所述相關(guān)性值表中的接近的相關(guān)性值，創(chuàng)建近似高階曲面；最小點(diǎn)檢測(cè)裝置，所述最小點(diǎn)檢測(cè)裝置被配置為檢測(cè)與所述近似高階曲面的最小值相對(duì)應(yīng)的點(diǎn)；以及矢量檢測(cè)裝置，所述矢量檢測(cè)裝置被配置為檢測(cè)代表從與所述目標(biāo)塊相對(duì)應(yīng)的位置到作為與所述最小值相對(duì)應(yīng)的所述檢測(cè)出的點(diǎn)的被所述最小點(diǎn)檢測(cè)裝置檢測(cè)出的點(diǎn)的位置偏移的矢量，并從所述檢測(cè)出的矢量計(jì)算運(yùn)動(dòng)矢量。
17.根據(jù)權(quán)利要求15所述的圖像處理裝置，其中，所述近似高階曲面是由所述曲面生成裝置，基于所述最小值和所述接近的相關(guān)性值，通過(guò)采用最小二乘法而創(chuàng)建的二次曲面。
18.根據(jù)權(quán)利要求16所述的圖像處理裝置，其中，所述近似高階曲面是由所述曲面生成裝置，基于所述最小值和所述接近的相關(guān)性值，通過(guò)采用最小二乘法而創(chuàng)建的二次曲面。
19.根據(jù)權(quán)利要求17所述的圖像處理裝置，其中，所述接近的相關(guān)性值是分別存儲(chǔ)在以用于存儲(chǔ)所述最小值的元素為中心的8個(gè)元素中的8個(gè)相關(guān)性值。
20.根據(jù)權(quán)利要求18所述的圖像處理裝置，其中，所述接近的相關(guān)性值是分別存儲(chǔ)在以用于存儲(chǔ)所述最小值的元素為中心的8個(gè)元素中的8個(gè)相關(guān)性值。
21.根據(jù)權(quán)利要求19所述的圖像處理裝置，其中，所述接近的相關(guān)性值是分別存儲(chǔ)在以用于存儲(chǔ)所述最小值的元素為中心的8個(gè)元素中的15個(gè)相關(guān)性值。
22.根據(jù)權(quán)利要求20所述的圖像處理裝置，其中，所述接近的相關(guān)性值是分別存儲(chǔ)在以用于存儲(chǔ)所述最小值的元素為中心的8個(gè)元素中的15個(gè)相關(guān)性值。
23.根據(jù)權(quán)利要求1所述圖像處理裝置，其中，所述相關(guān)性值與由所述相關(guān)性值代表的相關(guān)性成反比地減小，并且所述運(yùn)動(dòng)矢量計(jì)算裝置包括水平方向曲線生成裝置，所述水平方向曲線生成裝置被配置為基于在所述經(jīng)縮減相關(guān)性值表中存儲(chǔ)的相關(guān)性值中的最小值和作為在水平方向上包括的與用于存儲(chǔ)所述最小值的元素接近的元素而被存儲(chǔ)在所述相關(guān)性值表中的水平方向接近的相關(guān)性值，創(chuàng)建水平方向近似高階曲線；水平方向最小點(diǎn)檢測(cè)裝置，所述水平方向最小點(diǎn)檢測(cè)裝置被配置為檢測(cè)與所述水平方向近似高階曲線的水平方向最小值相對(duì)應(yīng)的點(diǎn)；垂直方向曲線生成裝置，所述垂直方向曲線生成裝置被配置為基于在所述經(jīng)縮減相關(guān)性值表中存儲(chǔ)的相關(guān)性值中的最小值和作為在垂直方向上包括的與用于存儲(chǔ)所述最小值的元素接近的元素而被存儲(chǔ)在所述相關(guān)性值表中的水平方向接近的相關(guān)性值，創(chuàng)建垂直方向近似高階曲線；垂直方向最小點(diǎn)檢測(cè)裝置，所述垂直方向最小點(diǎn)檢測(cè)裝置被配置為檢測(cè)與所述垂直方向近似高階曲線的垂直方向最小值相對(duì)應(yīng)的點(diǎn)；以及運(yùn)動(dòng)矢量檢測(cè)裝置，所述運(yùn)動(dòng)矢量檢測(cè)裝置被配置為檢測(cè)代表從與所述目標(biāo)塊相對(duì)應(yīng)的位置到與雙方向最小值相對(duì)應(yīng)的點(diǎn)的位置偏移的矢量，并從所述檢測(cè)出的矢量計(jì)算運(yùn)動(dòng)矢量，所述雙方向最小值被認(rèn)為是基于作為與所述水平方向最小值相對(duì)應(yīng)的點(diǎn)而被所述水平方向最小點(diǎn)檢測(cè)裝置檢測(cè)出的點(diǎn)和作為與所述垂直方向最小值相對(duì)應(yīng)的點(diǎn)而被所述垂直方向最小點(diǎn)檢測(cè)裝置檢測(cè)出的點(diǎn)的水平和垂直方向最小值。
24.根據(jù)權(quán)利要求4所述圖像處理裝置，其中，所述相關(guān)性值與由所述相關(guān)性值代表的相關(guān)性成反比地減小，并且所述運(yùn)動(dòng)矢量計(jì)算裝置包括水平方向曲線生成裝置，所述水平方向曲線生成裝置被配置為基于在所述經(jīng)縮減相關(guān)性值表中存儲(chǔ)的相關(guān)性值中的最小值和作為在水平方向上包括的與用于存儲(chǔ)所述最小值的元素接近的元素而被存儲(chǔ)在所述相關(guān)性值表中的水平方向接近的相關(guān)性值，創(chuàng)建水平方向近似高階曲線；水平方向最小點(diǎn)檢測(cè)裝置，所述水平方向最小點(diǎn)檢測(cè)裝置被配置為檢測(cè)與所述水平方向近似高階曲線的水平方向最小值相對(duì)應(yīng)的點(diǎn)；垂直方向曲線生成裝置，所述垂直方向曲線生成裝置被配置為基于在所述經(jīng)縮減相關(guān)性值表中存儲(chǔ)的相關(guān)性值中的最小值和作為在垂直方向上包括的與用于存儲(chǔ)所述最小值的元素接近的元素而被存儲(chǔ)在所述相關(guān)性值表中的水平方向接近的相關(guān)性值，創(chuàng)建垂直方向近似高階曲線；垂直方向最小點(diǎn)檢測(cè)裝置，所述垂直方向最小點(diǎn)檢測(cè)裝置被配置為檢測(cè)與所述垂直方向近似高階曲線的垂直方向最小值相對(duì)應(yīng)的點(diǎn)；以及運(yùn)動(dòng)矢量檢測(cè)裝置，所述運(yùn)動(dòng)矢量檢測(cè)裝置被配置為檢測(cè)代表從與所述目標(biāo)塊相對(duì)應(yīng)的位置到與雙方向最小值相對(duì)應(yīng)的點(diǎn)的位置偏移的矢量，并從所述檢測(cè)出的矢量計(jì)算運(yùn)動(dòng)矢量，所述雙方向最小值被認(rèn)為是基于作為與所述水平方向最小值相對(duì)應(yīng)的點(diǎn)而被所述水平方向最小點(diǎn)檢測(cè)裝置檢測(cè)出的點(diǎn)和作為與所述垂直方向最小值相對(duì)應(yīng)的點(diǎn)而被所述垂直方向最小點(diǎn)檢測(cè)裝置檢測(cè)出的點(diǎn)的水平和垂直方向最小值。
25.根據(jù)權(quán)利要求23所述的圖像處理裝置，其中，所述水平方向近似高階曲線是由所述水平方向曲線生成裝置基于所述最小值和3個(gè)所述水平方向接近的相關(guān)性值而創(chuàng)建的三次曲線，而所述垂直方向近似高階曲線是所述垂直方向曲線生成裝置基于所述最小值和3個(gè)所述垂直方向接近的相關(guān)性值而創(chuàng)建的三次曲線。
26.根據(jù)權(quán)利要求24所述的圖像處理裝置，其中，所述水平方向近似高階曲線是由所述水平方向曲線生成裝置基于所述最小值和3個(gè)所述水平方向接近的相關(guān)性值而創(chuàng)建的三次曲線，而所述垂直方向近似高階曲線是所述垂直方向曲線生成裝置基于所述最小值和3個(gè)所述垂直方向接近的相關(guān)性值而創(chuàng)建的三次曲線。
27.一種用于通過(guò)執(zhí)行以下步驟識(shí)別運(yùn)動(dòng)矢量的圖像處理方法在參考畫面上設(shè)置的搜索范圍中設(shè)置多個(gè)參考?jí)K作為這樣的參考?jí)K，所述參考?jí)K中的每一個(gè)具有與目標(biāo)塊相等的大小，所述目標(biāo)塊作為具有覆蓋多個(gè)像素的預(yù)定大小的目標(biāo)塊被設(shè)置在目標(biāo)畫面上的預(yù)定位置處；搜索特定參考?jí)K，所述特定參考?jí)K具有在所述多個(gè)參考?jí)K和所述目標(biāo)塊之間的相關(guān)性中的最強(qiáng)相關(guān)性；以及基于所述特定參考?jí)K從與所述目標(biāo)畫面上的所述目標(biāo)塊的所述預(yù)定位置相對(duì)應(yīng)的位置的偏移，檢測(cè)所述運(yùn)動(dòng)矢量，所述圖像處理方法還包括以下步驟基于位于每個(gè)所述參考?jí)K上的點(diǎn)處的多個(gè)像素的像素值和位于所述目標(biāo)塊上的相應(yīng)點(diǎn)處的多個(gè)像素的像素值，計(jì)算相關(guān)性值，每個(gè)相關(guān)性值代表所述參考?jí)K中的一個(gè)和所述目標(biāo)塊之間的相關(guān)性；通過(guò)以下操作生成經(jīng)縮減相關(guān)性值表將由所述相關(guān)性值計(jì)算裝置針對(duì)參考矢量計(jì)算得到的相關(guān)性值原樣存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與作為以預(yù)定縮減因子縮減所述參考矢量的結(jié)果而獲得的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素，所述參考矢量代表在所述參考畫面上參考?jí)K從與所述目標(biāo)畫面上的所述目標(biāo)塊的所述預(yù)定位置相對(duì)應(yīng)的位置的偏移；或者通過(guò)劃分由所述相關(guān)性值計(jì)算裝置針對(duì)被縮減以產(chǎn)生所述經(jīng)縮減參考矢量的所述參考矢量計(jì)算得到的相關(guān)性值，找到多個(gè)分量相關(guān)性值，所述多個(gè)分量相關(guān)性值中的每一個(gè)與位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量中的特定一個(gè)相關(guān)聯(lián)，并且將所述分量相關(guān)性值中的每一個(gè)累積存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與所述特定的接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素；以及基于存儲(chǔ)在所述經(jīng)縮減相關(guān)性值表中的所述分量相關(guān)性值，找到所述目標(biāo)畫面和所述參考畫面之間的運(yùn)動(dòng)矢量。
28.根據(jù)權(quán)利要求27所述的圖像處理方法，其中，所述生成經(jīng)縮減相關(guān)性值表的步驟還包括以下步驟如果存在位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量，則通過(guò)劃分由所述相關(guān)性值計(jì)算裝置針對(duì)被縮減以產(chǎn)生所述經(jīng)縮減參考矢量的所述參考矢量計(jì)算得到的相關(guān)性值，找到多個(gè)分量相關(guān)性值，所述分量相關(guān)性值中的每一個(gè)與位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量中特定一個(gè)相關(guān)聯(lián)，并且將所述分量相關(guān)性值中的每一個(gè)存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與所述特定的接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素，所述存儲(chǔ)操作是通過(guò)將所述分量相關(guān)性值添加到所述表元素來(lái)進(jìn)行的；以及找到最終分量相關(guān)性值，所述最終分量相關(guān)性值代表通過(guò)將由所述分量相關(guān)性值計(jì)算裝置新計(jì)算得到的新分量相關(guān)性值累加到作為由所述分量相關(guān)性值計(jì)算裝置先前計(jì)算得到的分量相關(guān)性值而已經(jīng)被存儲(chǔ)在所述經(jīng)縮減相關(guān)性值表的表元素中的先前分量相關(guān)性值上而獲得的累積和。
29.一種用于通過(guò)執(zhí)行以下步驟識(shí)別運(yùn)動(dòng)矢量的圖像處理方法在參考畫面上設(shè)置的搜索范圍中設(shè)置多個(gè)參考?jí)K作為這樣的參考?jí)K，所述參考?jí)K中的每一個(gè)具有與目標(biāo)塊相等的大小，所述目標(biāo)塊作為具有覆蓋多個(gè)像素的預(yù)定大小的目標(biāo)塊被設(shè)置在目標(biāo)畫面上的預(yù)定位置處；搜索特定參考?jí)K，所述特定參考?jí)K具有在所述多個(gè)參考?jí)K和所述目標(biāo)塊之間的相關(guān)性中的最強(qiáng)相關(guān)性；以及基于所述特定參考?jí)K從與所述目標(biāo)畫面上的所述目標(biāo)塊的所述預(yù)定位置相對(duì)應(yīng)的位置的偏移，檢測(cè)所述運(yùn)動(dòng)矢量，所述圖像處理方法還包括以下步驟針對(duì)位于每個(gè)所述參考?jí)K上的點(diǎn)處的多個(gè)像素中每一個(gè)像素的像素值和位于所述目標(biāo)塊上的相應(yīng)點(diǎn)處的多個(gè)像素中每一個(gè)像素的像素值，計(jì)算相關(guān)性值；通過(guò)以下操作生成經(jīng)縮減相關(guān)性值表將由所述相關(guān)性值計(jì)算裝置針對(duì)參考矢量所指向的參考?jí)K上的像素的像素值計(jì)算得到的相關(guān)性值原樣存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與作為以預(yù)定縮減因子縮減所述參考矢量的結(jié)果而獲得的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素，所述參考矢量代表在所述參考畫面上參考?jí)K從與所述目標(biāo)畫面上的所述目標(biāo)塊的所述預(yù)定位置相對(duì)應(yīng)的位置的偏移；或者通過(guò)劃分由所述相關(guān)性值計(jì)算裝置針對(duì)被縮減以產(chǎn)生所述經(jīng)縮減參考矢量的所述參考矢量所指向的參考?jí)K上的像素的像素值計(jì)算得到的相關(guān)性值，找到多個(gè)分量相關(guān)性值，所述分量相關(guān)性值中的每一個(gè)與位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量中的特定一個(gè)相關(guān)聯(lián)，并且將所述分量相關(guān)性值中的每一個(gè)累積存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與所述特定的接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素；以及基于存儲(chǔ)在所述經(jīng)縮減相關(guān)性值表中的所述分量相關(guān)性值，找到所述目標(biāo)畫面和所述參考畫面之間的運(yùn)動(dòng)矢量。
30.根據(jù)權(quán)利要求29所述的圖像處理方法，其中，所述生成經(jīng)縮減相關(guān)性值表的步驟還包括以下步驟如果存在位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量，則通過(guò)劃分由所述相關(guān)性值計(jì)算裝置針對(duì)被縮減以產(chǎn)生所述經(jīng)縮減參考矢量的所述參考矢量所指向的參考?jí)K上的像素的像素值計(jì)算得到的相關(guān)性值，找到多個(gè)分量相關(guān)性值，所述分量相關(guān)性值中的每一個(gè)與位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量中的特定一個(gè)相關(guān)聯(lián)，并且將所述分量相關(guān)性值中的每一個(gè)存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與所述特定的接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素，所述存儲(chǔ)操作是通過(guò)將所述分量相關(guān)性值添加到所述表元素來(lái)進(jìn)行的；以及找到最終分量相關(guān)性值，所述最終分量相關(guān)性值代表通過(guò)將由所述分量相關(guān)性值計(jì)算裝置新計(jì)算得到的新分量相關(guān)性值累加到作為由所述分量相關(guān)性值計(jì)算裝置先前計(jì)算得到的分量相關(guān)性值而已經(jīng)被存儲(chǔ)在所述經(jīng)縮減相關(guān)性值表的表元素中的先前分量相關(guān)性值上而獲得的累積和。
31.根據(jù)權(quán)利要求27所述的圖像處理方法，其中基于在所述運(yùn)動(dòng)矢量計(jì)算步驟中找到的運(yùn)動(dòng)矢量，所述參考畫面上的所述搜索范圍被縮窄，并且所述預(yù)定縮減因子被縮??；并且通過(guò)使用所述被縮窄的搜索區(qū)域和所述被縮小的縮減因子，所述相關(guān)性值計(jì)算、所述表生成和所述運(yùn)動(dòng)矢量計(jì)算的步驟被重復(fù)。
32.根據(jù)權(quán)利要求29所述的圖像處理方法，其中基于在所述運(yùn)動(dòng)矢量計(jì)算步驟中找到的運(yùn)動(dòng)矢量，所述參考畫面上的所述搜索范圍被縮窄，并且所述預(yù)定縮減因子被縮??；并且通過(guò)使用所述被縮窄的搜索區(qū)域和所述被縮小的縮減因子，所述相關(guān)性值計(jì)算、所述表生成和所述運(yùn)動(dòng)矢量計(jì)算的步驟被重復(fù)。
33.一種用于通過(guò)執(zhí)行以下步驟識(shí)別運(yùn)動(dòng)矢量的圖像處理裝置在參考畫面上設(shè)置的搜索范圍中設(shè)置多個(gè)參考?jí)K作為這樣的參考?jí)K，所述參考?jí)K中的每一個(gè)具有與目標(biāo)塊相等的大小，所述目標(biāo)塊作為具有覆蓋多個(gè)像素的預(yù)定大小的目標(biāo)塊被設(shè)置在目標(biāo)畫面上的預(yù)定位置處；搜索特定參考?jí)K，所述特定參考?jí)K具有在所述多個(gè)參考?jí)K和所述目標(biāo)塊之間的相關(guān)性中的最強(qiáng)相關(guān)性；以及基于所述特定參考?jí)K從與所述目標(biāo)畫面上的所述目標(biāo)塊的所述預(yù)定位置相對(duì)應(yīng)的位置的偏移，檢測(cè)所述運(yùn)動(dòng)矢量，所述圖像處理裝置包括相關(guān)性值計(jì)算部分，所述相關(guān)性值計(jì)算部分被配置為基于位于每個(gè)所述參考?jí)K上的點(diǎn)處的多個(gè)像素的像素值和位于所述目標(biāo)塊上的相應(yīng)點(diǎn)處的多個(gè)像素的像素值，計(jì)算相關(guān)性值，每個(gè)相關(guān)性值代表所述參考?jí)K中的一個(gè)和所述目標(biāo)塊之間的相關(guān)性；表生成部分，所述表生成部分被配置為通過(guò)以下操作生成經(jīng)縮減相關(guān)性值表將由所述相關(guān)性值計(jì)算部分針對(duì)參考矢量計(jì)算得到的相關(guān)性值原樣存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與作為以預(yù)定縮減因子縮減所述參考矢量的結(jié)果而獲得的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素，所述參考矢量代表在所述參考畫面上參考?jí)K從與所述目標(biāo)畫面上的所述目標(biāo)塊的所述預(yù)定位置相對(duì)應(yīng)的位置的偏移；或者通過(guò)劃分由所述相關(guān)性值計(jì)算部分針對(duì)被縮減以產(chǎn)生所述經(jīng)縮減參考矢量的所述參考矢量計(jì)算得到的相關(guān)性值，找到多個(gè)分量相關(guān)性值，所述多個(gè)分量相關(guān)性值中的每一個(gè)與位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量中的特定一個(gè)相關(guān)聯(lián)，并且將所述分量相關(guān)性值中的每一個(gè)累積存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與所述特定的接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素；以及運(yùn)動(dòng)矢量計(jì)算部分，所述運(yùn)動(dòng)矢量計(jì)算部分被配置為基于存儲(chǔ)在所述經(jīng)縮減相關(guān)性值表中的所述分量相關(guān)性值，找到所述目標(biāo)畫面和所述參考畫面之間的運(yùn)動(dòng)矢量。
34.一種用于通過(guò)執(zhí)行以下步驟識(shí)別運(yùn)動(dòng)矢量的圖像處理裝置在參考畫面上設(shè)置的搜索范圍中設(shè)置多個(gè)參考?jí)K作為這樣的參考?jí)K，所述參考?jí)K中的每一個(gè)具有與目標(biāo)塊相等的大小，所述目標(biāo)塊作為具有覆蓋多個(gè)像素的預(yù)定大小的目標(biāo)塊被設(shè)置在目標(biāo)畫面上的預(yù)定位置處；搜索特定參考?jí)K，所述特定參考?jí)K具有在所述多個(gè)參考?jí)K和所述目標(biāo)塊之間的相關(guān)性中的最強(qiáng)相關(guān)性；以及基于所述特定參考?jí)K從與所述目標(biāo)畫面上的所述目標(biāo)塊的所述預(yù)定位置相對(duì)應(yīng)的位置的偏移，檢測(cè)所述運(yùn)動(dòng)矢量，所述圖像處理裝置包括相關(guān)性值計(jì)算部分，所述相關(guān)性值計(jì)算部分被配置為針對(duì)位于每個(gè)所述參考?jí)K上的點(diǎn)處的多個(gè)像素中每一個(gè)像素的像素值和位于所述目標(biāo)塊上的相應(yīng)點(diǎn)處的多個(gè)像素中每一個(gè)像素的像素值，計(jì)算相關(guān)性值；表生成部分，所述表生成部分被配置為通過(guò)以下操作生成經(jīng)縮減相關(guān)性值表將由所述相關(guān)性值計(jì)算部分針對(duì)參考矢量所指向的參考?jí)K上的像素的像素值計(jì)算得到的相關(guān)性值原樣存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與作為以預(yù)定縮減因子縮減所述參考矢量的結(jié)果而獲得的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素，所述參考矢量代表在所述參考畫面上參考?jí)K從與所述目標(biāo)畫面上的所述目標(biāo)塊的所述預(yù)定位置相對(duì)應(yīng)的位置的偏移；或者通過(guò)劃分由所述相關(guān)性值計(jì)算部分針對(duì)被縮減以產(chǎn)生所述經(jīng)縮減參考矢量的所述參考矢量所指向的參考?jí)K上的像素的像素值計(jì)算得到的相關(guān)性值，找到多個(gè)分量相關(guān)性值，所述分量相關(guān)性值中的每一個(gè)與位置接近所述經(jīng)縮減參考矢量的多個(gè)接近的經(jīng)縮減參考矢量中的特定一個(gè)相關(guān)聯(lián)，并且將所述分量相關(guān)性值中的每一個(gè)累積存儲(chǔ)在被包括在所述經(jīng)縮減相關(guān)性值表中的表元素中，作為與所述特定的接近的經(jīng)縮減參考矢量相關(guān)聯(lián)的表元素；以及運(yùn)動(dòng)矢量計(jì)算部分，所述運(yùn)動(dòng)矢量計(jì)算部分被配置為基于存儲(chǔ)在所述經(jīng)縮減相關(guān)性值表中的所述分量相關(guān)性值，找到所述目標(biāo)畫面和所述參考畫面之間的運(yùn)動(dòng)矢量。
全文摘要
本發(fā)明提供了一種圖像處理裝置，其用于通過(guò)執(zhí)行設(shè)置多個(gè)參考?jí)K、搜索特定參考?jí)K和檢測(cè)運(yùn)動(dòng)矢量的步驟來(lái)識(shí)別運(yùn)動(dòng)矢量。該圖像處理裝置包括相關(guān)性值計(jì)算裝置、表生成裝置和運(yùn)動(dòng)矢量計(jì)算裝置。
文檔編號(hào)H04N5/232GK1976399SQ20061016094
公開日2007年6月6日 申請(qǐng)日期2006年12月1日 優(yōu)先權(quán)日2005年12月1日
發(fā)明者倉(cāng)田徹 申請(qǐng)人:索尼株式會(huì)社