專利名稱：運(yùn)動(dòng)矢量場(chǎng)校正的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及運(yùn)動(dòng)矢量校正單元，其用于校正包括圖像各個(gè)區(qū)域 的運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量場(chǎng)。
本發(fā)明還涉及包括這種運(yùn)動(dòng)矢量校正單元的圖像處理設(shè)備，涉 及校正包括圖像各個(gè)區(qū)域的運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量場(chǎng)的方法，并且涉及 由計(jì)算機(jī)裝置所裝載的計(jì)算機(jī)程序產(chǎn)品，其包括用以校正包括圖像各 個(gè)區(qū)域的運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量場(chǎng)的指令。
背景技術(shù)：
區(qū)域的運(yùn)動(dòng)矢量通常指示一個(gè)圖像序列中從一個(gè)圖像到下一個(gè) 圖像或從下一個(gè)圖像到前一個(gè)圖像的區(qū)域的運(yùn)動(dòng)的方向和大小。包括 一組運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量場(chǎng)用于實(shí)質(zhì)性地限定輸入圖像中的所有運(yùn) 動(dòng)。該運(yùn)動(dòng)矢量場(chǎng)對(duì)從圖像序列的前一個(gè)圖像預(yù)測(cè)下一個(gè)圖像是有用 的，所述圖像序列涉及在場(chǎng)景(例如，視頻序列)中的物體的運(yùn)動(dòng)。 當(dāng)有比背景物體更靠近攝像機(jī)的前景物體的運(yùn)動(dòng)時(shí)，背景物體的一些 區(qū)域被覆蓋，而背景物體的其它一些區(qū)域沒(méi)有被覆蓋。覆蓋和未覆蓋 的區(qū)域通常被稱為閉合區(qū)域。
從G. de. Haan等人所著的論文"True-motion estimation with 3D陽(yáng)recursive Search Block Matching" in IEEE Transactions on Circuits and Systems for Video Technology, vol. 3, no. 5, October 1993, pages 368-379中，可以知道基于對(duì)成對(duì)圖像的像素值所進(jìn)行的比較，設(shè)計(jì) 由運(yùn)動(dòng)估計(jì)單元所進(jìn)行的運(yùn)動(dòng)矢量場(chǎng)的估計(jì)，來(lái)估計(jì)運(yùn)動(dòng)矢量。其它 的運(yùn)動(dòng)矢量估計(jì)單元也是可行的。對(duì)在視頻序列的兩個(gè)連續(xù)圖像之間 的運(yùn)動(dòng)進(jìn)行估計(jì)的運(yùn)動(dòng)估計(jì)單元不能在閉合區(qū)域中很好地執(zhí)行，這是 由于對(duì)于這些區(qū)域，通常在兩個(gè)圖像中的任何一個(gè)中都可以獲得一部 分背景信息的區(qū)域。因此，被估計(jì)的運(yùn)動(dòng)矢量場(chǎng)可能包括由覆蓋和/或非覆蓋區(qū)域引起的錯(cuò)誤的運(yùn)動(dòng)矢量。
對(duì)非閉合區(qū)域估計(jì)和分配運(yùn)動(dòng)矢量，即，校正圖像的運(yùn)動(dòng)矢量 場(chǎng)，是主動(dòng)搜索區(qū)域。通過(guò)正確地分配運(yùn)動(dòng)矢量，意味著，對(duì)前一個(gè) 圖像中的覆蓋區(qū)域分配背景物體的運(yùn)動(dòng)矢量和對(duì)下一個(gè)圖像中的非 覆蓋區(qū)域分配背景物體的運(yùn)動(dòng)矢量。對(duì)前一個(gè)圖像中的非覆蓋區(qū)域分 配前景物體的運(yùn)動(dòng)矢量和對(duì)下一個(gè)圖像中的覆蓋區(qū)域分配前景物體 的運(yùn)動(dòng)矢量，也可以被認(rèn)為是正確分配。當(dāng)從前一個(gè)圖像或兩個(gè)連續(xù) 圖像之間的插入圖像中預(yù)測(cè)下一個(gè)圖像，例如用于時(shí)序上變換時(shí)，錯(cuò) 誤地分配運(yùn)動(dòng)矢量可以導(dǎo)致諸如在物體邊界的"光圈效應(yīng)"之類的偽 像。
通過(guò)選擇從當(dāng)前圖像到前一個(gè)圖像和從當(dāng)前圖像到下一個(gè)圖像 所估計(jì)的合適的運(yùn)動(dòng)矢量，確定當(dāng)前圖像的閉合區(qū)域中的正確運(yùn)動(dòng)矢
量的方法和單元已經(jīng)是現(xiàn)有技術(shù)。在專利申請(qǐng)公開WO 03/067523中 描述了這種方法的一個(gè)實(shí)施例。在該專利申請(qǐng)中，描述了一種方法， 該方法用于為當(dāng)前圖像中的覆蓋區(qū)域分配從當(dāng)前圖像到前一個(gè)圖像 所估計(jì)的運(yùn)動(dòng)矢量，以及用于向當(dāng)前圖像中的未覆蓋區(qū)域分配從當(dāng)前 圖像到下一個(gè)圖像所估計(jì)的運(yùn)動(dòng)矢量。因此，向圖像的閉合區(qū)域分配 正確的運(yùn)動(dòng)矢量，需要三個(gè)連續(xù)的圖像，相比較于用兩個(gè)連續(xù)圖像的 運(yùn)動(dòng)估計(jì)和校正，這將導(dǎo)致較高的等待時(shí)間。在一些聲音必須和視頻 流同步的消費(fèi)者應(yīng)用(例如電視)中，不希望出現(xiàn)較高的等待時(shí)間。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是為了提供一種在開篇中提到的運(yùn)動(dòng)矢量校 正單元，相比較于在現(xiàn)有技術(shù)中描述的單元，該單元的等待時(shí)間減小 了。
為了實(shí)現(xiàn)該目的，該運(yùn)動(dòng)矢量校正單元包括
分析器，其用于分析圖像的閉合區(qū)域的圖像內(nèi)容和閉合區(qū)域的 鄰域中的多個(gè)非閉合區(qū)域的圖像內(nèi)容，獲得閉合區(qū)域和非閉合區(qū)域的 各個(gè)圖像屬性值；
評(píng)估器，其評(píng)估基于閉合區(qū)域的圖像屬性值和另外各個(gè)非閉合區(qū)域的圖像屬性值的相似度值；
選擇器，其基于對(duì)應(yīng)的相似度值，從所述多個(gè)非閉合區(qū)域中選 擇一個(gè)特定非閉合區(qū)域；
矢量替換單元，其用被選的特定非閉合區(qū)域的運(yùn)動(dòng)矢量來(lái)替換 閉合區(qū)域的運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元能夠利用兩個(gè)連續(xù)的圖像來(lái)校 正所估計(jì)的運(yùn)動(dòng)矢量場(chǎng)。關(guān)于校正運(yùn)動(dòng)矢量，意味著用最可能正確的 運(yùn)動(dòng)矢量，來(lái)替換之前分配給閉合區(qū)域的錯(cuò)誤運(yùn)動(dòng)矢量。換句話說(shuō)， 校正運(yùn)動(dòng)矢量場(chǎng)意味著用前一個(gè)圖像中的背景物體的運(yùn)動(dòng)矢量來(lái)替 換覆蓋區(qū)域的運(yùn)動(dòng)矢量，以及用當(dāng)前圖像中的背景物體的運(yùn)動(dòng)矢量來(lái) 替換未覆蓋區(qū)域的運(yùn)動(dòng)矢量。在當(dāng)前圖像中出現(xiàn)覆蓋區(qū)域的情況下， 必須分配前景圖像的運(yùn)動(dòng)矢量。在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元的 輸入處可以得到所估計(jì)的具有已檢測(cè)到的閉合區(qū)域的運(yùn)動(dòng)矢量場(chǎng)。在
G. de. Haan 所著的"Video processing for multimedia systems", University Press Eindhoven, 2000， ISBN， 90-9014015-8 —書的第四章 中，描述了用于檢測(cè)閉合區(qū)域和被優(yōu)選使用的覆蓋/未覆蓋分類的方 法。然而，還可以采用其它文獻(xiàn)中公布的從兩個(gè)連續(xù)圖像估計(jì)運(yùn)動(dòng)矢 量場(chǎng)的其它方法。
為閉合區(qū)域計(jì)算的運(yùn)動(dòng)矢量通常包括對(duì)應(yīng)于前景運(yùn)動(dòng)的運(yùn)動(dòng)矢 量(即前景運(yùn)動(dòng)矢量)和對(duì)應(yīng)于背景運(yùn)動(dòng)的運(yùn)動(dòng)矢量(即背景運(yùn)動(dòng)矢 量)。然而，最初并不知道哪一個(gè)運(yùn)動(dòng)矢量對(duì)應(yīng)于背景物體，哪一個(gè) 運(yùn)動(dòng)矢量對(duì)應(yīng)于前景物體。通過(guò)提供分析器來(lái)分析閉合區(qū)域和閉合區(qū) 域的鄰域中的多個(gè)非閉合區(qū)域的圖像內(nèi)容來(lái)提取每個(gè)區(qū)域的圖像屬 性值，本發(fā)明提供了對(duì)這個(gè)問(wèn)題的解決方案?；陂]合區(qū)域的圖像屬 性值，評(píng)估器計(jì)算與每一個(gè)非閉合區(qū)域的相似度值。選擇器基于所述 相似度值來(lái)選擇最匹配的非閉合區(qū)域。矢量替換單元用由選擇器選擇 的特定的非閉合區(qū)域的運(yùn)動(dòng)矢量來(lái)替換閉合區(qū)域的錯(cuò)誤的運(yùn)動(dòng)矢量。
本發(fā)明基于這樣的認(rèn)識(shí)圖像的覆蓋區(qū)域的圖像內(nèi)容與前一個(gè) 圖像的背景物體的圖像內(nèi)容大體上匹配，未覆蓋區(qū)域的圖像屬性與當(dāng) 前圖像的背景區(qū)域大體上匹配。從而，可以在閉合區(qū)域的預(yù)定鄰域內(nèi)選擇匹配得最好的非閉合區(qū)域。矢量替換單元用選定的非閉合區(qū)域的 運(yùn)動(dòng)矢量來(lái)替換閉合區(qū)域的運(yùn)動(dòng)矢量。以這種方式，根據(jù)本發(fā)明的運(yùn) 動(dòng)矢量校正單元正確地將背景運(yùn)動(dòng)矢量分配給前一個(gè)圖像中的覆蓋 區(qū)域，將背景運(yùn)動(dòng)矢量分配給當(dāng)前圖像中的未覆蓋區(qū)域?？梢栽诔蓪?duì) 的圖像上進(jìn)行運(yùn)動(dòng)矢量估計(jì)、閉合檢測(cè)和分類。從而，運(yùn)動(dòng)矢量校正 單元通常需要圖像序列中的兩個(gè)連續(xù)圖像，并從而以相對(duì)于需要三個(gè) 連續(xù)圖像的現(xiàn)有技術(shù)的單元減小的等待時(shí)間工作。
在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元的一個(gè)實(shí)施例中，分析器用 于獲得作為圖像屬性值的紋理參數(shù)。
通過(guò)分析區(qū)域的內(nèi)容，可以獲得指示區(qū)域紋理測(cè)量結(jié)果的圖像 屬性值。基于圖像的紋理內(nèi)容的相似度值是一種用以將區(qū)域與選擇的 匹配區(qū)域的目標(biāo)進(jìn)行比較的有用的量度指標(biāo)。諸如DCT系數(shù)、 Hadamard變換系數(shù)之類的紋理屬性量度指標(biāo)或諸如平均值、方差、 密度峰值和/或檢測(cè)邊緣的強(qiáng)度中的任何一個(gè)都可以優(yōu)選地作為相似 度值。 —
在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元的一個(gè)實(shí)施例中，分析器用 于獲得作為圖像屬性值的亮度參數(shù)。
可以從容易地從區(qū)域中計(jì)算出基于像素亮度值的圖像屬性值。 以諸如RGB、 HIS或YUV之類的已知格式的一種表示的像素的亮度 值可以用于比較。區(qū)域的簡(jiǎn)單有用的亮度屬性是平均色調(diào)和/或色彩 飽和度。
在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元的一個(gè)實(shí)施例中，鄰域是空 間鄰域。
選擇作為候選區(qū)域的閉合區(qū)域的鄰域中的一組非閉合區(qū)域，以 利于正確的運(yùn)動(dòng)矢量。在閉合區(qū)域的空間鄰域中發(fā)現(xiàn)最相似的非閉合 區(qū)域是非?？赡艿摹?br> 在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元的一個(gè)實(shí)施例中，基于閉合 區(qū)域的運(yùn)動(dòng)矢量和閉合區(qū)域的另一個(gè)運(yùn)動(dòng)矢量的組合，運(yùn)動(dòng)矢量校正 單元用于定位閉合區(qū)域的空間鄰域中的多個(gè)非閉合區(qū)域中的一個(gè)，用 以分析、評(píng)估和選擇特定的非閉合區(qū)域?？紤]到閉合區(qū)域來(lái)對(duì)運(yùn)動(dòng)矢量進(jìn)行的選擇包括背景運(yùn)動(dòng)矢量和 前景運(yùn)動(dòng)矢量^和K2。根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元用于利用這 些運(yùn)動(dòng)矢量來(lái)選擇鄰域中的多個(gè)非閉合區(qū)域。從閉合區(qū)域開始，投射 背景運(yùn)動(dòng)矢量和前景運(yùn)動(dòng)矢量的組合，例如，作為第一組合的Fd = F廠^和作為第二組和的rc2 = Fp通常，可以選擇兩個(gè)非閉合區(qū) 域，以對(duì)圖像內(nèi)容做進(jìn)一步的分析。組合這些運(yùn)動(dòng)矢量，并將它們投 射回圖像，有助于方便地對(duì)閉合區(qū)域外的鄰域進(jìn)行容易地識(shí)別。
在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元的一個(gè)實(shí)施例中，鄰域指的 是時(shí)間鄰域。
關(guān)于時(shí)間鄰域，意味著在圖像中所認(rèn)為的鄰域是在時(shí)間上鄰近 于被考察的圖像。這意味著，圖像序列中的前一個(gè)圖像或下一個(gè)圖像。 考慮來(lái)自一個(gè)時(shí)間鄰域的圖像的多個(gè)非閉合區(qū)域。顯然，在相同坐標(biāo) 處不能獲得非閉合區(qū)域，但是由于運(yùn)動(dòng)，在時(shí)間圖像的空間鄰域中可 以得到非閉合區(qū)域。希望這種區(qū)域的圖像特性充分接近于被考察的區(qū) 域的圖像特性。
在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元的實(shí)施例中，基于閉合區(qū)域 的運(yùn)動(dòng)矢量，運(yùn)動(dòng)矢量校正單元用于在包括該圖像和另一個(gè)圖像的時(shí) 間鄰域的多個(gè)非閉合區(qū)域中定位一個(gè)非閉合區(qū)域，該圖像和另一個(gè)圖 像是圖像序列中的連續(xù)圖像，以對(duì)特定非閉合區(qū)域進(jìn)行分析、評(píng)估和 選擇。
通常對(duì)閉合區(qū)域所計(jì)算的背景運(yùn)動(dòng)矢量和前景運(yùn)動(dòng)矢量F;和& 被投射回時(shí)間上臨近的圖像，以選擇時(shí)間鄰域。從而，滿足對(duì)閉合區(qū) 域外的區(qū)域進(jìn)行選擇的需要，該區(qū)域是閉合區(qū)域的時(shí)間鄰域。通常， 可在時(shí)間圖像的空間鄰域中發(fā)現(xiàn)所選擇的區(qū)域。
在根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元中的一個(gè)實(shí)施例中，基于來(lái) 自選擇器的請(qǐng)求，評(píng)估器用于更進(jìn)一步地評(píng)估相似度值，相似度值基 于閉合區(qū)域的第二圖像屬性值和各個(gè)非閉合區(qū)域的對(duì)應(yīng)圖像屬性值。
可能發(fā)生以下情況兩個(gè)或多個(gè)相似度值基本相等，并且選擇 器不能選擇匹配得最好的非閉合區(qū)域。如果基于圖像屬性值的一組相 似度值不足以辨別和選擇特定的非閉合區(qū)域，則選擇器向評(píng)估器發(fā)送一個(gè)信號(hào)，以基于第二圖像屬性值來(lái)計(jì)算第二組相似度值。這種方法 的優(yōu)點(diǎn)是，如果該組相似度值由于基本相等的值而不足以選擇特定的 非閉合區(qū)域，則可以由系統(tǒng)計(jì)算出第二組相似度值，從而避免特定非 閉合區(qū)域的選擇的不明確性。
本發(fā)明的另一個(gè)目的是為了提供在開篇中提到的那種圖像處理 設(shè)備，其包括運(yùn)動(dòng)矢量校正單元，用減小了的等待時(shí)間來(lái)校正所估計(jì) 的運(yùn)動(dòng)矢量場(chǎng)中的閉合區(qū)域的運(yùn)動(dòng)矢量。為了實(shí)現(xiàn)了本發(fā)明的目的， 該圖像處理設(shè)備包括
接收器，其接收表示包括一個(gè)圖像的一個(gè)圖像序列的信號(hào)；
運(yùn)動(dòng)估計(jì)器，其估計(jì)所述圖像的運(yùn)動(dòng)矢量場(chǎng)； 閉合檢測(cè)器，其檢測(cè)所述圖像的閉合區(qū)域；
運(yùn)動(dòng)矢量校正單元，其校正根據(jù)本發(fā)明的所估計(jì)的運(yùn)動(dòng)矢量場(chǎng)；
以及
運(yùn)動(dòng)補(bǔ)償圖像處理單元，其基于校正的運(yùn)動(dòng)矢量場(chǎng)，對(duì)圖像進(jìn) 行運(yùn)動(dòng)補(bǔ)償。 —
根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元接收一個(gè)圖像序列的兩個(gè)連續(xù) 圖像，分析與閉合區(qū)域的鄰近的多個(gè)非閉合區(qū)域的圖像內(nèi)容，提取圖 像屬性值，并基于從圖像屬性值中計(jì)算出的相似度值，選擇非閉合區(qū) 域。選擇的非閉合區(qū)域的運(yùn)動(dòng)矢量被分配給閉合區(qū)域，從而校正所估 計(jì)的運(yùn)動(dòng)矢量場(chǎng)。基于被校正的運(yùn)動(dòng)矢量場(chǎng)，圖像處理設(shè)備對(duì)圖像序 列執(zhí)行運(yùn)動(dòng)補(bǔ)償處理。
圖像處理設(shè)備可以被用于支持下列圖像處理類型中的一個(gè)或多個(gè).
去交織交織表示用以交替地傳輸奇數(shù)或偶數(shù)圖像線的普通視 頻廣播格式。去交織意味著試圖恢復(fù)全垂直分辨率，即，計(jì)算每個(gè)圖 像同時(shí)可用的偶數(shù)線和奇數(shù)線。
圖像速率的上變換從一系列原始輸入圖像中計(jì)算更大系列的 輸出圖像。輸出圖像時(shí)間上位于兩個(gè)原始輸入圖像之間。發(fā)生圖像序 列的時(shí)間上變換。
多視像變換從2D輸入圖像序列計(jì)算3D圖像序列。這些3D圖像被插入了與由輸入圖像序列所表示的3D場(chǎng)景的多個(gè)定位的
攝像機(jī)位置相對(duì)應(yīng)的視圖。
降噪對(duì)輸入圖像的原始序列進(jìn)行降噪處理。處理這些圖像， 以降低空間-時(shí)間噪聲。
該圖像處理設(shè)備可以包括其它的組件，該組件用以，例如，顯 示輸出圖像的顯示裝置，或者它可以向連接的顯示器提供圖像。通過(guò) 合并其它的設(shè)施，該圖像處理設(shè)備可以支持下列類型的消費(fèi)者設(shè)備和
專業(yè)設(shè)備中的一種或幾種TV、機(jī)頂盒、VCR/VCP、衛(wèi)星調(diào)諧器、 DVD播放器/刻錄機(jī)?？蛇x擇地，該圖像處理設(shè)備包括類似硬盤的存
儲(chǔ)設(shè)施或用以在諸如光盤之類的可移除介質(zhì)上存儲(chǔ)的設(shè)施。該圖像處 理設(shè)備還可以是電影制片廠或廣播電臺(tái)或轉(zhuǎn)播發(fā)射機(jī)所采用的系統(tǒng)。 本發(fā)明的另一個(gè)目的是為了提供一種以減小了的等待時(shí)間來(lái)對(duì) 運(yùn)動(dòng)矢量場(chǎng)進(jìn)行校正的方法。為了實(shí)現(xiàn)本發(fā)明的這個(gè)目的，提供校正 圖像的運(yùn)動(dòng)矢量場(chǎng)的方法，所述運(yùn)動(dòng)矢量場(chǎng)包括圖像的各個(gè)區(qū)域的運(yùn)
動(dòng)矢量，該方法包括
分析圖像的閉合區(qū)域的圖像內(nèi)容和閉合區(qū)域的鄰域中的多個(gè)非 閉合區(qū)域的圖像內(nèi)容，并獲得閉合區(qū)域和非閉合區(qū)域的各個(gè)圖像屬性
值；
評(píng)估相似度值，相似度值基于閉合區(qū)域的圖像屬性值和各個(gè)非
閉合區(qū)域的另外的圖像屬性值；
基于對(duì)應(yīng)的相似度值，從所述多個(gè)非閉合區(qū)域中選擇特定的非 閉合區(qū)域；
用選擇的特定的非閉合區(qū)域的運(yùn)動(dòng)矢量來(lái)替換閉合區(qū)域的運(yùn)動(dòng)
根據(jù)本發(fā)明的方法校正了來(lái)自被考察圖像的運(yùn)動(dòng)矢量場(chǎng)。對(duì)于 估計(jì)運(yùn)動(dòng)矢量場(chǎng)、發(fā)現(xiàn)閉合區(qū)域并對(duì)它們進(jìn)行分類，通?？梢圆捎脙?個(gè)連續(xù)的圖像。從而，該方法通?？刹捎脙蓚€(gè)圖像來(lái)執(zhí)行運(yùn)動(dòng)矢量校 正處理，并從而以相比較于現(xiàn)有技術(shù)的方法的減小了的等待時(shí)間工 作。
本發(fā)明的另一個(gè)目的是為了提供在開篇中描述了的那種計(jì)算機(jī)程序產(chǎn)品，該程序產(chǎn)品包括校正運(yùn)動(dòng)矢量場(chǎng)的指令，這些矢量場(chǎng)包括 一個(gè)圖像的各個(gè)區(qū)域的運(yùn)動(dòng)矢量，在被裝載之后，該計(jì)算機(jī)程序產(chǎn)品 提供了所述的處理手段，這些處理手段具有執(zhí)行下列功能的能力
分析圖像的閉合區(qū)域的圖像內(nèi)容和該閉合區(qū)域的鄰域中的多個(gè) 非閉合區(qū)域的圖像內(nèi)容，并獲得閉合區(qū)域和非閉合的各個(gè)圖像屬性 值；
評(píng)估相似度值，所述相似度值基于閉合區(qū)域的圖像屬性值和各 個(gè)非閉合區(qū)域的另外的圖像屬性值；
基于對(duì)應(yīng)的屬性值，從多個(gè)非閉合區(qū)域中選擇特定的非閉合區(qū) 域；以及
用選擇的特定的非閉合區(qū)域的運(yùn)動(dòng)矢量來(lái)替換閉合區(qū)域的運(yùn)動(dòng)
運(yùn)動(dòng)矢量校正單元的修改以及它的變型可以對(duì)應(yīng)于描述的圖像 處理設(shè)備、方法和計(jì)算機(jī)程序產(chǎn)品的修改和變型。


相對(duì)于下文描述的實(shí)現(xiàn)和實(shí)施例，并參考附圖，根據(jù)本發(fā)明的 運(yùn)動(dòng)矢量校正單元、方法、圖像處理設(shè)備以及計(jì)算機(jī)程序產(chǎn)品的這些 和其它一些方面將變得清楚并得到說(shuō)明。
圖1A示意性地示出了包括運(yùn)動(dòng)物體的一對(duì)連續(xù)圖像；
圖1B示意性地示出了在圖1A中描述的情景的2D表示；
圖2示意性地示出了根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元的一個(gè)實(shí)
施例；
圖3示意性地示出了閉合區(qū)域的空間鄰域中的非閉合區(qū)域示圖4示意性地示出了閉合區(qū)域的時(shí)間鄰域中的非閉合區(qū)域示圖5示意性地示出了根據(jù)本發(fā)明的方法的概念；并且
圖6示意性地示出了根據(jù)本發(fā)明的圖像處理設(shè)備的實(shí)施例。
具體實(shí)施例方式
圖1A示意性地示出了一對(duì)包括連續(xù)的運(yùn)動(dòng)物體的圖像100、102。示出了兩個(gè)連續(xù)的輸入圖像100、 102，其具有橢圓形物體104， 該物體分別在時(shí)間點(diǎn)n-l位于第一點(diǎn)，在時(shí)間點(diǎn)n位于隨后的點(diǎn)。縱 坐標(biāo)與軸110—致，橫坐標(biāo)與軸130—致。還示出了對(duì)應(yīng)于時(shí)間的時(shí) 間軸120。如軌跡124所指示，橢圓形物體104在前景中從左移動(dòng)至 右。同時(shí)，背景以箭頭126所指示的相對(duì)方向移動(dòng)。
圖1B示意性地示出了在圖1A中描述的情景的2D表示。旋轉(zhuǎn) 圖1B，以便可以看到時(shí)間軸120和橫軸130。在圖像100和102中， 以黑色的長(zhǎng)方形示出了移動(dòng)的前景物體104。背景物體矢量126被分 配了速度K，前景物體矢量124被分配了速度K。對(duì)圖像100和圖 像102分別計(jì)算了運(yùn)動(dòng)矢量場(chǎng)AT"和Jl^.;。由于背景和前景物體的運(yùn) 動(dòng)，導(dǎo)致出現(xiàn)了被示為灰色三角形的閉合區(qū)域。在這些區(qū)域中，由于 這些信息沒(méi)有出現(xiàn)在兩個(gè)圖像的一個(gè)中，通常運(yùn)動(dòng)矢量是不正確的。 在未覆蓋區(qū)域A中，在時(shí)刻"，在圖像102中出現(xiàn)了新的信息，而 在時(shí)刻"-7，這個(gè)信息并沒(méi)有在圖像100中出現(xiàn)。在覆蓋區(qū)域i c中， 在時(shí)刻出現(xiàn)在圖像100中的信息在時(shí)刻"在圖像102中消失了。 在這兩種情況下，在閉合區(qū)域中的運(yùn)動(dòng)矢量場(chǎng)M"是錯(cuò)誤的。將閉合 區(qū)域檢測(cè)和分類為覆蓋區(qū)域和未覆蓋區(qū)域。
圖2示意性地示出了根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元的一個(gè)實(shí) 施例。該運(yùn)動(dòng)矢量校正單元200包括分析器210、評(píng)估器220、選擇 器230以及運(yùn)動(dòng)矢量替換單元240。在連接器201處施加了一個(gè)圖像 序列。在輸入端201處還對(duì)各個(gè)區(qū)域施加了運(yùn)動(dòng)矢量場(chǎng)和已分類的閉 合區(qū)域。通常，通過(guò)比較兩個(gè)圖像的區(qū)域，可以估計(jì)像素群或區(qū)域的 運(yùn)動(dòng)矢量場(chǎng)。在G. de. Haan等人所著的文章"True-motion estimation with 3D-recursive Search Block Matching" in IEEE Transactions on Circuits and Systems for Video Technology, vol. 3， no. 5. October 1993, pages 368-379中描述了這樣一種運(yùn)動(dòng)估計(jì)單元。運(yùn)動(dòng)矢量屬于被考 察的像素的區(qū)域或塊。
在G. de. Haan所著的"Video processing for multimedia systems", University Press Eindhoven, 2000, ISBN, 90-9014015-8 —書的第四章 中，描述了一種用以用于檢測(cè)閉合區(qū)域和可以優(yōu)選使用的覆蓋/未覆蓋分類的方法。對(duì)于每一個(gè)閉合區(qū)域而言，通常計(jì)算一組包括例如前 景運(yùn)動(dòng)矢量和背景運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量。然而，并不能直接知道哪一 個(gè)組對(duì)應(yīng)于前景或背景。提供了根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元來(lái)檢 測(cè)背景運(yùn)動(dòng)矢量，將它分配給對(duì)應(yīng)的區(qū)域，例如，在前一個(gè)圖像中的 覆蓋區(qū)域，并檢測(cè)背景運(yùn)動(dòng)矢量，將它分配給對(duì)應(yīng)的區(qū)域，例如，在 當(dāng)前圖像中的未覆蓋區(qū)域?？梢垣@得估計(jì)的運(yùn)動(dòng)矢量場(chǎng)和分類的閉合 區(qū)域，作為根據(jù)本發(fā)明的運(yùn)動(dòng)矢量校正單元的輸入。在一些情況下， 在估計(jì)運(yùn)動(dòng)矢量的遞歸搜索中，一些區(qū)域不可能收斂于特定的運(yùn)動(dòng)矢 量。本發(fā)明可以在這種情況下用于解決最可能正確的運(yùn)動(dòng)矢量的分配 問(wèn)題。
分析器210用于分析閉合區(qū)域的圖像內(nèi)容和該閉合區(qū)域的鄰域 中的多個(gè)非閉合區(qū)域的圖像內(nèi)容，并計(jì)算各個(gè)區(qū)域的圖像屬性值。從 空間域或諸如頻域之類的轉(zhuǎn)換域中的像素值來(lái)計(jì)算圖像屬性值。圖像 屬性可以是紋理參數(shù)或亮度參數(shù)。可以從一個(gè)或多個(gè)在以某些標(biāo)準(zhǔn)格
式(例如RGB、 HIS或YUV)表示的區(qū)域的像素的強(qiáng)度值的分量中 導(dǎo)出亮度參數(shù)?？梢詮囊粋€(gè)或多個(gè)強(qiáng)度值(例如，Y、 U和V分量的 一個(gè)或多個(gè)的平均值，或Y或U或V的方差)中導(dǎo)出圖像屬性量度。 可以從Y或YUV、離散余弦變換系數(shù)或傅立葉變換系數(shù)的直方圖比 較中獲得基于紋理的相似度值。計(jì)算紋理參數(shù)的另一方法是利用統(tǒng) 計(jì)模型并估計(jì)模型的參數(shù)，來(lái)對(duì)區(qū)域中的紋理進(jìn)行建模。
評(píng)估器220用于接收各個(gè)區(qū)域的圖像屬性值，并計(jì)算閉合區(qū)域 的圖像屬性值與每一個(gè)非閉合區(qū)域的圖像屬性值的相似度量度。評(píng)估 器220可以采用匹配方法或差值方法來(lái)獲得相似度值。每個(gè)區(qū)域的多 個(gè)圖像屬性值的選擇可用于評(píng)估一個(gè)區(qū)域的相似度值。如果多個(gè)圖像 屬性值用于相似度值的計(jì)算，那么，可能是諸如絕對(duì)差值的和或平方 差的和之類的比較量度。
基于對(duì)應(yīng)的相似度值，選擇器230選擇與閉合區(qū)域匹配得最好 的特定的非閉合區(qū)域。如果相似度值是基于錯(cuò)誤量度的，則相似度量 度的最小值對(duì)應(yīng)于匹配得最好的非閉合區(qū)域。如果相似度量度是諸如 矢量點(diǎn)積之類的匹配記分，則最大值對(duì)應(yīng)于匹配得最好的非閉合區(qū)域。如果選擇器不能發(fā)現(xiàn)與可用相似度值匹配得最好的非閉合區(qū)域， 則它發(fā)送請(qǐng)求250，基于評(píng)估器的另一個(gè)圖像屬性量度，對(duì)一組新的 相似度值進(jìn)行再次計(jì)算。
矢量替換單元240用所選擇的特定的非閉合區(qū)域的運(yùn)動(dòng)矢量來(lái)
替換閉合區(qū)域的運(yùn)動(dòng)矢量。該運(yùn)動(dòng)矢量屬于被考察的像素的區(qū)域或
塊。在輸出連接器241處提供了輸入圖像的校正的運(yùn)動(dòng)矢量場(chǎng)，用以 控制更進(jìn)一步的處理。
圖3示意性地示出了閉合區(qū)域的空間鄰域中的多個(gè)非閉合區(qū)域 的圖示說(shuō)明。示出了在時(shí)間和w時(shí)刻的具有運(yùn)動(dòng)物體104的圖像 100和圖像102。示出了作為^的前景物體速度124，示出了作為^ 的背景物體速度126。在檢測(cè)到閉合區(qū)域之后， 一個(gè)閉合區(qū)域(例如 可以具有分配給它的矢量P^或者閉合區(qū)域A還被分配了備選矢 量^和^中的一個(gè)。通常，當(dāng)評(píng)估運(yùn)動(dòng)矢量時(shí)，兩個(gè)運(yùn)動(dòng)矢量可以 成為單個(gè)區(qū)域的有力競(jìng)爭(zhēng)者，迭代過(guò)程可以不收斂。本發(fā)明適于解決 這種沖突情況。關(guān)于閉合區(qū)域選擇空間鄰域，該空間鄰域包括明顯落 在閉合區(qū)域&之外的區(qū)域和在圖像邊界內(nèi)的區(qū)域。選擇這種空間鄰 域的一種方法是組合閉合區(qū)域i e可用的兩個(gè)運(yùn)動(dòng)矢量[和F2，并將 該組合投射回兩個(gè)非閉合區(qū)域被選為備選區(qū)域以對(duì)內(nèi)容進(jìn)行分析的 圖像。換句話說(shuō)，將矢量K投射回圖像100中的背景區(qū)域i 3，從背 景區(qū)域中識(shí)別另一矢量。。利用矢量F;，將區(qū)域i 2識(shí)別為一個(gè)備選 區(qū)域，其運(yùn)動(dòng)矢量可以用來(lái)替換錯(cuò)誤分配給區(qū)域i 。的矢量。存在組 合這兩個(gè)矢量以抵達(dá)圖像102中的兩個(gè)不同區(qū)域的兩種可能性，如下
所示
<formula>formula see original document page 16</formula>(l)
<formula>formula see original document page 16</formula>(2)
如圖3所示，例如，巧-^組合識(shí)別區(qū)域i 2， 72-)^組合識(shí)別區(qū)域 A，以進(jìn)行更進(jìn)一步的分析。在這個(gè)例子中，A碰巧是前景區(qū)域。分 析這兩個(gè)區(qū)域，計(jì)算圖像屬性值，并選擇與閉合區(qū)域匹配得最好的區(qū)
域。在這個(gè)例子中，匹配得最好的區(qū)域可能是(例如)區(qū)域/ 2。因此，
區(qū)域i 2的運(yùn)動(dòng)矢量是背景運(yùn)動(dòng)矢量，其取代了未覆蓋區(qū)域&的錯(cuò)誤的運(yùn)動(dòng)矢量。雖然在這個(gè)示圖中描述了圖像102中未覆蓋區(qū)域的運(yùn)動(dòng)矢 量的校正，但是，相同的方案還可以適用于校正圖像100中的覆蓋區(qū) 域的運(yùn)動(dòng)矢量。遵循相同的步驟，技術(shù)人員可以將正確的(例如)背 景運(yùn)動(dòng)矢量分配給前一個(gè)圖像中的覆蓋區(qū)域。它還遵循，在覆蓋區(qū)域 出現(xiàn)在當(dāng)前圖像中的情況下，通過(guò)類似的方案，可以分配前景運(yùn)動(dòng)矢 量。
圖4示意性地示出了位于閉合區(qū)域的時(shí)間鄰域中的非閉合區(qū)域的 示圖。示出了在時(shí)刻n和時(shí)刻n-l的運(yùn)動(dòng)物體的圖像102和100。在時(shí) 間鄰域中的非閉合區(qū)域可以被認(rèn)為是對(duì)圖像內(nèi)容的分析。區(qū)域A是閉 合區(qū)域。最初，區(qū)域&被錯(cuò)誤地分配了矢量K，或者在估計(jì)的時(shí)候， 可以識(shí)別出兩個(gè)備選矢量K和F2，但由于不確定，而沒(méi)有分配這兩 個(gè)中的一個(gè)。利用^和^，可以識(shí)別圖像100中的備選區(qū)域。將運(yùn) 動(dòng)矢量PO和^投射回圖像100，以識(shí)別時(shí)間鄰域中的兩個(gè)區(qū)域，艮P， ^和i 2。圖像是時(shí)間圖像，但這些區(qū)域是空間相鄰的。分析i c、 & 和A的圖像內(nèi)容，計(jì)算各個(gè)圖像屬性值，并且計(jì)算相似度值，以選 擇未覆蓋區(qū)域&的匹配非閉合區(qū)域。希望區(qū)域i 2的圖像屬性值與 &的圖像屬性值匹配良好。這樣，可以實(shí)現(xiàn)識(shí)別備選區(qū)域的一個(gè)可 替換實(shí)施例。
當(dāng)閉合區(qū)域與在空間鄰域或時(shí)間鄰域中的非閉合區(qū)域基本相似 時(shí)，存在選擇器選擇了錯(cuò)誤的非閉合區(qū)域的可能性。在一些情況下， 相似度值彼此可能基本相等，選擇器在選擇特定的非閉合區(qū)域時(shí)可能 遇到問(wèn)題。該運(yùn)動(dòng)矢量校正單元提供了兩種方案來(lái)解決這種不明確的 情況。在第一種方案中，選擇器向評(píng)估器220發(fā)送反饋信號(hào)250，以 基于每一個(gè)閉合區(qū)域和非閉合區(qū)域的其它的圖像屬性量度，來(lái)評(píng)估一 組新的相似度值。期望這組新的相似度值具有更好的辨別力，以決定 匹配得最好的非閉合區(qū)域。在第二種方案中，通過(guò)擴(kuò)展前景矢量和背 景矢量，來(lái)選擇一組新的非閉合區(qū)域。對(duì)每個(gè)矢量增加其各個(gè)值的一 個(gè)預(yù)定分量。矢量中的這種增大將產(chǎn)生不同的組的非閉合區(qū)域，其可 以被選擇為備選區(qū)域。這種增大要盡可能地小，以保持空間相關(guān)性， 但要足夠大，以便可以識(shí)別出新的非閉合區(qū)域，其中，期望計(jì)算出的圖像屬性值可以給出一個(gè)更好分辨和選擇的相似度值?？梢詫?duì)矢量進(jìn) 行迭代增大，直到獲得有差別的相似度值。如果增大的次數(shù)超過(guò)了預(yù) 先分配的數(shù)值，則用以替換閉合區(qū)域的運(yùn)動(dòng)矢量的矢量校正單元240 可以采用之前選擇的非閉合區(qū)域。相似地，在覆蓋區(qū)域出現(xiàn)在當(dāng)前圖 像中的情況下，遵循相似的步驟，執(zhí)行最可能正確的(例如)前景運(yùn) 動(dòng)矢量的分配。
圖5示意性地示出了根據(jù)本發(fā)明的圖像處理設(shè)備的示圖，其包
括
接收器510，其接收表示圖像序列的信號(hào)，該圖像序列包括一個(gè)
圖像；
運(yùn)動(dòng)估計(jì)器520，其估計(jì)圖像的運(yùn)動(dòng)矢量場(chǎng)； 閉合檢測(cè)器530，其檢測(cè)圖像的閉合區(qū)域；
運(yùn)動(dòng)矢量校正單元540，其基于閉合和非閉合區(qū)域的圖像內(nèi)容的 分析，校正所估計(jì)的運(yùn)動(dòng)矢量場(chǎng)，基于圖像屬性值，評(píng)估相似度值， 基于相似度值，選擇特定的非閉合區(qū)域，用所選擇的特定的非閉合區(qū) 域的運(yùn)動(dòng)矢量來(lái)替換閉合區(qū)域的錯(cuò)誤的運(yùn)動(dòng)矢量；
運(yùn)動(dòng)補(bǔ)償圖像處理單元550，其基于校正的運(yùn)動(dòng)矢量場(chǎng)，對(duì)圖像 進(jìn)行運(yùn)動(dòng)補(bǔ)償。將作為輸入的圖像序列提供到輸入連接器501處的設(shè) 備，從輸出連接器551獲得用于其它用途的輸出。
圖6示意性地示出了根據(jù)本發(fā)明的方法。在方法600中，在分 析步驟610中，接收連同圖像運(yùn)動(dòng)矢量場(chǎng)的圖像序列，并對(duì)閉合區(qū)域 進(jìn)行分類。分析步驟610的輸出包括各個(gè)閉合區(qū)域和非閉合區(qū)域的圖 像屬性值，這些值用于計(jì)算相似度值的評(píng)估步驟620中。在選擇步驟 630中，基于相似度值來(lái)選擇匹配得最好的非閉合區(qū)域。在矢量替換 步驟640中，用所選擇的特定的非閉合區(qū)域的運(yùn)動(dòng)矢量來(lái)替換閉合區(qū) 域的運(yùn)動(dòng)矢量。在相似度值沒(méi)有足夠的分辨力來(lái)選擇特定值的情況 下，選擇器630向評(píng)估器發(fā)送請(qǐng)求650，以基于各個(gè)區(qū)域的第二圖像 屬性值，來(lái)評(píng)估第二組相似度值。
在標(biāo)準(zhǔn)包含的存儲(chǔ)器或可分離的存儲(chǔ)器(例如在閃存或硬盤中) 中操作計(jì)算機(jī)程序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品可以作為嵌入式軟件被嵌入在諸如集成電路或計(jì)算機(jī)器中，或者被從一個(gè)標(biāo)準(zhǔn)存儲(chǔ)器或存儲(chǔ)器 裝置中預(yù)裝載或裝載。該計(jì)算機(jī)程序產(chǎn)品可以以任何一種已知代碼表 示，例如機(jī)器級(jí)代碼或匯編語(yǔ)言或高級(jí)語(yǔ)言中，可以工作在任何一種 可獲得的平臺(tái)上，例如手持裝置或個(gè)人計(jì)算機(jī)或服務(wù)器上。
應(yīng)當(dāng)注意的是，上述實(shí)施例只是為了對(duì)本發(fā)明進(jìn)行說(shuō)明而不是 為了對(duì)本發(fā)明進(jìn)行限制，在不脫離附屬權(quán)利要求的范圍的情況下，本 領(lǐng)域技術(shù)人員可以設(shè)計(jì)出可替換的實(shí)施例。在這些權(quán)利要求中，任何
在括號(hào)中的參考標(biāo)號(hào)不應(yīng)當(dāng)被解釋為對(duì)權(quán)利要求的限制。詞"包括" 不排除沒(méi)有在權(quán)利要求中列出的元件的出現(xiàn)。在元件之前的詞"一個(gè)"
或"一種"不排除多個(gè)這種器件的出現(xiàn)。通過(guò)被適當(dāng)編程的計(jì)算機(jī)可
以實(shí)現(xiàn)本發(fā)明。在單元權(quán)利要求中枚舉了一些裝置，這些裝置中的一
些可以由一個(gè)和硬件相同的項(xiàng)目實(shí)現(xiàn)。
權(quán)利要求
1.一種運(yùn)動(dòng)矢量校正單元(200)，其用于校正運(yùn)動(dòng)矢量場(chǎng)(Mn)，該運(yùn)動(dòng)矢量場(chǎng)(Mn)包括圖像(100)的各個(gè)區(qū)域的運(yùn)動(dòng)矢量，該運(yùn)動(dòng)矢量校正單元包括分析器(210)，用于分析圖像(100)的閉合區(qū)域(R0)的圖像內(nèi)容和該閉合區(qū)域的鄰域中的多個(gè)非閉合區(qū)域(R1，R2)的圖像內(nèi)容，并獲取該閉合區(qū)域和非閉合區(qū)域(R0，R1，R2)的各個(gè)圖像屬性值；評(píng)估器(220)，其評(píng)估相似度值，所述相似度值基于閉合區(qū)域(R0)的圖像屬性值和其它各個(gè)非閉合區(qū)域(R1，R2)的圖像屬性值；選擇器(230)，其基于對(duì)應(yīng)的相似度值，從所述多個(gè)非閉合區(qū)域(R1，R2)中選擇一個(gè)特定的非閉合區(qū)域(R2)；以及矢量替換單元(240)，其用被選的特定的非閉合區(qū)域(R2)的運(yùn)動(dòng)矢量來(lái)替換閉合區(qū)域(R0)的運(yùn)動(dòng)矢量。
2. 根據(jù)權(quán)利要求l所述的運(yùn)動(dòng)矢量校正單元(200)，其中，所 述分析器(210)用于獲得作為圖像屬性值的紋理參數(shù)。
3. 根據(jù)權(quán)利要求l所述的運(yùn)動(dòng)矢量校正單元(200)，其中，所 述分析器(210)用于獲得作為圖像屬性值的亮度參數(shù)。
4. 根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)矢量校正單元(200)，其中，所 述鄰域是空間鄰域。
5. 根據(jù)權(quán)利要求4所述的運(yùn)動(dòng)矢量校正單元(200)，其中，基 于閉合區(qū)域(A)的運(yùn)動(dòng)矢量(^)和閉合區(qū)域(A)的另一個(gè)運(yùn)動(dòng) 矢量(F2)，運(yùn)動(dòng)矢量校正單元(200)對(duì)閉合區(qū)域(&)的空間鄰 域中的多個(gè)非閉合區(qū)域(&,i 2)中的一個(gè)進(jìn)行定位，以對(duì)特定的非 閉合區(qū)域進(jìn)行分析、評(píng)估和選擇。
6. 根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)矢量校正單元(200)，其中，所 述的鄰域是時(shí)間鄰域。
7. 根據(jù)權(quán)利要求6所述的運(yùn)動(dòng)矢量校正單元(200)，其中，基 于閉合區(qū)域(i 。)的運(yùn)動(dòng)矢量(K，K)，所述運(yùn)動(dòng)矢量校正單元(200) 對(duì)在包括圖像(102)和另一個(gè)圖像(100)的時(shí)間鄰域中的多個(gè)非閉 合區(qū)域(A,i 2)中的一個(gè)進(jìn)行定位，以對(duì)特定的非閉合區(qū)域進(jìn)行分 析、評(píng)估和選擇，圖像(102)和另一個(gè)圖像(100)是一個(gè)圖像序列 中的連續(xù)圖像。
8. 根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)矢量校正單元(200)，其中，基 于來(lái)自選擇器(230)的請(qǐng)求，評(píng)估器(220)用于評(píng)估其它的相似度 值，所述相似度值基于閉合區(qū)域(i "的第二圖像屬性值和各個(gè)非閉 合區(qū)域(A,i 2)的對(duì)應(yīng)的圖像屬性值—。
9. 一種圖像處理設(shè)備(500)，其包括接收器(510)，其接收一個(gè)表示圖像序列的信號(hào)，該圖像序列 包括一個(gè)圖像；運(yùn)動(dòng)估計(jì)器(520),其估計(jì)所述圖像的運(yùn)動(dòng)矢量場(chǎng)；閉合檢測(cè)器(530)，其檢測(cè)圖像的閉合區(qū)域；如權(quán)利要求1-8中的任何一項(xiàng)中所述的運(yùn)動(dòng)矢量校正單元 (540)，其校正所估計(jì)的運(yùn)動(dòng)矢量場(chǎng)；以及運(yùn)動(dòng)補(bǔ)償圖像處理單元(550)，其基于校正的運(yùn)動(dòng)矢量場(chǎng)，對(duì) 圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償。
10. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備(500)，其中，所述 運(yùn)動(dòng)補(bǔ)償圖像處理單元(550)基于已校正的運(yùn)動(dòng)矢量場(chǎng)，對(duì)接收到 的圖像序列進(jìn)行去交織。
11. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備(500)，其中，所述運(yùn)動(dòng)補(bǔ)償圖像處理單元(550)基于已校正的運(yùn)動(dòng)矢量場(chǎng)，對(duì)接收到 的圖像序列進(jìn)行時(shí)間上變換。
12. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備(500)，其中，所述 運(yùn)動(dòng)補(bǔ)償圖像處理單元(550)基于已校正的運(yùn)動(dòng)矢量場(chǎng)，將圖像序 列變換為多視像。
13. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備(500)，其中，所述 運(yùn)動(dòng)補(bǔ)償圖像處理單元(550)基于已校正的運(yùn)動(dòng)矢量場(chǎng)，來(lái)減小接 收到的圖像序列中的噪聲。
14. 根據(jù)權(quán)利要求9-13中的任何一項(xiàng)權(quán)利要求所述的圖像處理 設(shè)備(500)，其還包括顯示運(yùn)動(dòng)補(bǔ)償了的圖像的顯示裝置。
15. —種校正圖像的運(yùn)動(dòng)矢量場(chǎng)的方法(600)，該圖像包括圖 像各個(gè)區(qū)域的運(yùn)動(dòng)矢量，所述方法包括對(duì)圖像(102)的閉合區(qū)域的圖像內(nèi)容和閉合區(qū)域(i 0) 的鄰域中的多個(gè)非閉合區(qū)域(i ;,i 2)的圖像內(nèi)容進(jìn)行分析(610)， 獲得閉合區(qū)域和非閉合區(qū)域(i o,尺;,i 2)的各個(gè)圖像屬性值；評(píng)估(620)相似度值，所述相似度值基于閉合區(qū)域(&)的圖 像屬性值和各個(gè)非閉合區(qū)域(i /,i 》的其它圖像屬性值；基于對(duì)應(yīng)的相似度值，從所述多個(gè)非閉合區(qū)域(A,i 2)中選擇 (630)特定的非閉合區(qū)域(i 2);以及用選擇的特定的非閉合區(qū)域(i 2)的運(yùn)動(dòng)矢量替換(640)閉合 區(qū)域(i c)的運(yùn)動(dòng)矢量。
16. —種計(jì)算機(jī)程序產(chǎn)品(700)，其被裝載在計(jì)算機(jī)裝置中， 包括用以校正運(yùn)動(dòng)矢量場(chǎng)的指令，該運(yùn)動(dòng)矢量場(chǎng)包括圖像的各個(gè)區(qū)域 的運(yùn)動(dòng)矢量，在被裝載之后，該計(jì)算機(jī)程序產(chǎn)品提供了具有執(zhí)行下述 方法步驟能力的所述處理手段，所述方法步驟包括對(duì)圖像(102)的閉合區(qū)域(i "的圖像內(nèi)容和閉合區(qū)域(7 o)的鄰域中的多個(gè)非閉合區(qū)域(A，i 2)的圖像內(nèi)容進(jìn)行分析，獲得閉 合區(qū)域和非閉合區(qū)域(i^,A，A)的各個(gè)圖像屬性值；評(píng)估相似度值，所述相似度值基于閉合區(qū)域(&)的圖像屬性 值和各個(gè)非閉合區(qū)域(A,i 2)的其它圖像屬性值；基于對(duì)應(yīng)的相似度值，從多個(gè)非閉合區(qū)域(i /，i 2)中選擇特定的非閉合區(qū)域(A);以及用選擇的特定的非閉合區(qū)域(i^)的運(yùn)動(dòng)矢量替換閉合區(qū)域(i^) 的運(yùn)動(dòng)矢量。
全文摘要
本發(fā)明公布了一種用以校正運(yùn)動(dòng)矢量場(chǎng)的運(yùn)動(dòng)矢量校正單元(200)，該運(yùn)動(dòng)矢量場(chǎng)包括圖像的各個(gè)區(qū)域的運(yùn)動(dòng)矢量。該運(yùn)動(dòng)矢量校正單元包括分析器(210)，用于分析圖像的閉合區(qū)域的圖像內(nèi)容和閉合區(qū)域的鄰域中的多個(gè)非閉合區(qū)域的圖像內(nèi)容，并獲取該閉合區(qū)域和非閉合區(qū)域的各個(gè)圖像屬性值；評(píng)估器(220)，其評(píng)估基于閉合區(qū)域的圖像屬性值和另外各個(gè)非閉合區(qū)域的圖像屬性值的相似度值；選擇器(230)，其基于對(duì)應(yīng)的相似度值，從所述多個(gè)非閉合區(qū)域中選擇一個(gè)特定非閉合區(qū)域；和矢量替換單元(240)，其用被選的特定非閉合區(qū)域的運(yùn)動(dòng)矢量來(lái)替換閉合區(qū)域的運(yùn)動(dòng)矢量。該運(yùn)動(dòng)矢量校正單元可以利用圖像序列的兩個(gè)連續(xù)圖像來(lái)校正運(yùn)動(dòng)矢量場(chǎng)。
文檔編號(hào)H04N5/14GK101322409SQ200680044420
公開日2008年12月10日 申請(qǐng)日期2006年11月24日 優(yōu)先權(quán)日2005年11月30日
發(fā)明者魯伊·F·C·格雷羅 申請(qǐng)人:Nxp股份有限公司