專利名稱：用于視覺信號外插或內(nèi)插的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明總體涉及用于視覺信號外插或內(nèi)插的系統(tǒng)和方法。更具體地，本 發(fā)明使用統(tǒng)計(jì)學(xué)相似性估計(jì)用于改進(jìn)的視覺信號外插或內(nèi)插。
背景技術(shù)：
諸如圖像、視頻和圖形的視覺信號的外插和內(nèi)插已經(jīng)被廣泛地用于各種 情境中，所述情境包括但不局限于視頻編碼、代碼轉(zhuǎn)換、錯(cuò)誤隱藏、預(yù)處理 和交互渲染。
1"歹'H口, Aaron等的7bwaraf /Vac"ca/吵"er-Zz'v CoA'"g o/K'Gfeo， Proc. IEEE INT. CONF ON IMAGE PROCESSING,第869到872頁，巴塞羅那，西班牙， 9月(2003)、 Pur等的尸i ZS7k/:, ^ 7Vewi o6MW Kcfeo Coc z>7g Jrc/7"e"M/^ 6ased
COAfMWV/C47Y(9;v; CCW77 (9丄^VD COM尸LT/iVG, (2002)、以及Yaman等的 j Z/CW-Comp/ex/(y P cieo五"cocfer vv"/z Decoder M f/ow五W顧？Zow, Proc. ICASSP，蒙特利爾,加拿大，(2004)描述了在視頻編碼應(yīng)用中外插和內(nèi)插的技 術(shù)。2000年5月2日授權(quán)給Golin的美國專利No.6058143 "Motion Vector Extrapolation for Transcoding Video Sequences" 已纟至4^述了在壽爭4奐^f戈石馬應(yīng)用 中夕卜插和內(nèi)插的技術(shù)。另夕卜，Peng等的5/ocA:-Ba"(i re7"pora/五rrar Ccwceo/me/^ybr 尸acA:ef t/w."g factor Ex:^v3p0/a"0"' /",ema"owa/
Cow/ ow Cowmwm'ca"om1, C7rcw扭5y他ms 恥W 5Vwo ￡!x_po, 10-14頁，6月 29曰到7月1日，(2002 )和2001年9月4日授權(quán)給Ozcelik的美國專利 No.6285715 "Methods and Apparatus for Error Goncealment While Decoding a Coded Video Bit Stream"描述了用于視頻解碼或后期處理(post-processing ) 應(yīng)用的錯(cuò)誤隱藏中的外插和內(nèi)插的技術(shù)。在視頻編碼、轉(zhuǎn)換代碼、錯(cuò)誤隱藏、 視頻解碼和后期處理應(yīng)用中使用的視覺信號外插和內(nèi)插方法典型地基于運(yùn) 動(dòng)信息，且因此分別被稱為基于運(yùn)動(dòng)的外插和內(nèi)插方法。
不基于運(yùn)動(dòng)的外插/內(nèi)插方法一一其典型地用在其他應(yīng)用中一一包括用
于虛擬現(xiàn)實(shí)渲染(rendering)的基于模型的視圖外插方法、用于預(yù)壓縮的特 征外插方法和視頻衰減場景預(yù)測方法。例如，在2002年4月23日授柏J會 Acres的美國專利No.6375567 "Model-Based View Extrapolation for Interactive Virtual Reality Systems"描述了基于模型的視圖外插方法。在1999年9月7 曰發(fā)布給Chen的美國專利No,5949919 "Precompression Extrapolation Method"描述了特征外插方法。Koto等的」^zp"ve 5/-7Ve^'c"ve KV/eo Cod/wg 7fempora/￡xZra/ o/a"o", ICIP (2003)描述了視頻衰減場景預(yù)測。
基于運(yùn)動(dòng)的外插/內(nèi)插方法的一個(gè)例子是Wyner-Ziv ^L頻編碼技術(shù)。典型 的Wyner-Ziv視頻編碼系統(tǒng)包括視頻編碼器和視頻解碼器。該視頻編碼器是 低復(fù)雜度和低功率編碼器，因此改為由解碼器來執(zhí)行諸如運(yùn)動(dòng)估計(jì)的大計(jì)算 量的信號處理任務(wù)。為了實(shí)現(xiàn)高效率，Wyner-Ziv解碼器需要采用僅解碼器 知道的源和側(cè)面信息之間的相關(guān)性，以便解碼接收到的視頻信號并重構(gòu)該視 頻。源信息是要在編碼器處被編碼且被傳輸?shù)浇獯a器用于解碼的視頻信號 (例如畫面)，且側(cè)面信息本質(zhì)上是要被解碼的畫面的估計(jì)。由于Wyner-Ziv 系統(tǒng)的性能很大程度上取決于側(cè)面信息的可靠性，因此由解碼器使用用于生 成側(cè)面信息的機(jī)制在Wyner-Ziv視頻編碼系統(tǒng)中扮演至關(guān)重要的角色。典型 地，解碼器首先在先前重構(gòu)的畫面上進(jìn)行運(yùn)動(dòng)估計(jì)，以生成一組運(yùn)動(dòng)向量， 然后使用該運(yùn)動(dòng)向量由外插或內(nèi)插來生成當(dāng)前解碼的畫面的估計(jì)。該估計(jì)作 為側(cè)面信息被解碼器使用來解碼和重構(gòu)當(dāng)前畫面。
圖1是圖示公知的基于運(yùn)動(dòng)的時(shí)間外插處理的圖。具體地，為了外插當(dāng) 前畫面N，首先對至少兩個(gè)先前重構(gòu)的畫面、即畫面N-2和N-l進(jìn)行運(yùn)動(dòng)估 計(jì)，以生成針對畫面N-1中的每個(gè)像素或像素塊的一組運(yùn)動(dòng)向量，運(yùn)動(dòng)向量 指示畫面N-l和畫面N-2之間的像素或像素塊的運(yùn)動(dòng)(即，"相反的(reverse)" 運(yùn)動(dòng))。然后，根據(jù)在底層運(yùn)動(dòng)模型或假設(shè)上建立的預(yù)定功能來操縱運(yùn)動(dòng)向 量。例如，如果假設(shè)恒定線性位移(displacement)運(yùn)動(dòng)模型，則反轉(zhuǎn)運(yùn)動(dòng) 向量，且與運(yùn)動(dòng)向量相關(guān)的像素或像素塊從畫面N-1中的其位置被外插(即， 映射)到在當(dāng)前畫面N的估計(jì)中由反轉(zhuǎn)后的運(yùn)動(dòng)向量所定義的位置，如圖1 所示。注意，還可以對于畫面N-2中的每個(gè)像素或像素塊來構(gòu)造運(yùn)動(dòng)向量， 以指示畫面N-2到畫面N-l之間的運(yùn)動(dòng)。在這種情況下，然后該運(yùn)動(dòng)向量應(yīng) 該被平移(shift),與該運(yùn)動(dòng)向量有關(guān)的像素或像素塊應(yīng)該從在畫面N-l中的 其位置被外插或映射到由在當(dāng)前畫面N的估計(jì)中的縮放(scale)的運(yùn)動(dòng)向量所定義的位置。因此，在映射了畫面N-1 (或畫面N-2)中的所有像素或像素 塊之后，如上所述的基于運(yùn)動(dòng)的時(shí)間外插處理創(chuàng)建當(dāng)前畫面N的估計(jì)。
圖2進(jìn)一步圖示了公知的基于運(yùn)動(dòng)的時(shí)間內(nèi)插處理。首先對至少兩個(gè)先 前重構(gòu)的畫面、即畫面N-l和N+l進(jìn)行運(yùn)動(dòng)估計(jì)，以獲得在畫面N-l中的 每個(gè)像素或像素塊的一組運(yùn)動(dòng)向量，其指示從畫面N-l到畫面N+l的^f象素 或像素塊的運(yùn)動(dòng)。然后，基于恒定線性位移運(yùn)動(dòng)模型的底層假設(shè)縮小運(yùn)動(dòng)向 量(例如通過因子2)，且與該運(yùn)動(dòng)向量有關(guān)的像素或〗象素塊從畫面N-l和/ 或N+l中的其位置被內(nèi)插到在當(dāng)前畫面N的估計(jì)中的由縮放的運(yùn)動(dòng)向量所 定義的位置，如圖2所示。注意，還可以對于在畫面N+1中的每個(gè)1"象素或 像素塊重構(gòu)運(yùn)動(dòng)向量，以指示在畫面N+l和畫面N-l之間的運(yùn)動(dòng)。在這種 情況下，也應(yīng)該縮小運(yùn)動(dòng)向量(例如通過因子2),且與運(yùn)動(dòng)向量有關(guān)的像 素或像素塊應(yīng)該從在畫面N-l和/或畫面N+l中的其位置被內(nèi)插到在當(dāng)前畫 面N的估計(jì)中的由縮放的運(yùn)動(dòng)向量所定義的位置。在映射了畫面N+1中的 所有像素或像素塊之后，如上所述的基于運(yùn)動(dòng)的時(shí)間內(nèi)插處理也創(chuàng)建了當(dāng)前 畫面N的估計(jì)。
圖3是描述用于實(shí)現(xiàn)公知的基于運(yùn)動(dòng)的外插和內(nèi)插的處理步驟的流程 圖。具體地，首先對從先前重構(gòu)的畫面獲得的畫面信號進(jìn)行運(yùn)動(dòng)估計(jì)，以生 成一組運(yùn)動(dòng)向量。然后根據(jù)底層運(yùn)動(dòng)模型或假設(shè)，來操縱該運(yùn)動(dòng)向量通過內(nèi) 插或外插生成要解碼的畫面的估計(jì)，外插或內(nèi)插依賴于要被解碼的畫面和先 前重構(gòu)的畫面之間的時(shí)間關(guān)系。
上述傳統(tǒng)的基于運(yùn)動(dòng)的外插和內(nèi)插方法具有許多嚴(yán)重的缺點(diǎn)，包括
1. 物體在畫面間遵循恒定運(yùn)動(dòng)模型(通常地，線性位移模型)的底層 假設(shè)對真實(shí)的視覺信號經(jīng)常不成立；以及
2. 外插或內(nèi)插可能不能得到在先前重構(gòu)的(多個(gè))畫面和估計(jì)畫面之 間的——映射。在被外插或內(nèi)插的畫面(即，估計(jì))中的某些4象素 位置可能得不到來自先前重構(gòu)的(多個(gè))畫面的任何映射，即留下 空洞，而在被外插或內(nèi)插的(多個(gè))畫面中的其他像素位置可能具 有來自先前重構(gòu)的(多個(gè))畫面的多個(gè)映射，即留下重疊的點(diǎn)。
因此期望提供用于視覺信號外插和內(nèi)插的改進(jìn)的系統(tǒng)和方法，而沒有傳 統(tǒng)的基于運(yùn)動(dòng)的外插和內(nèi)插方法的缺點(diǎn)。

發(fā)明內(nèi)容
本發(fā)明涉及一種用于視覺信號外插或內(nèi)插的基于計(jì)算機(jī)的方法，包括 提供至少第一和第二參考畫面；
在所述第一和第二參考畫面上進(jìn)行運(yùn)動(dòng)估計(jì)，以生成指示所述第一和第 二參考畫面的至少一個(gè)相對于另一個(gè)的運(yùn)動(dòng)的運(yùn)動(dòng)向量；以及
使用所述運(yùn)動(dòng)向量通過外插或內(nèi)插來從該第一或第二參考畫面生成估計(jì) 畫面；以及
細(xì)^^斤述^古i十畫面，
其中在運(yùn)動(dòng)估計(jì)中或在細(xì)化所述估計(jì)畫面中、或在兩者的組合中，^f吏用 統(tǒng)計(jì)相似性估計(jì)。
在本發(fā)明中使用的參考畫面是可以用于經(jīng)由外插或內(nèi)插來構(gòu)造估計(jì)畫面 的、先前重構(gòu)的畫面。
當(dāng)在運(yùn)動(dòng)估計(jì)中使用統(tǒng)計(jì)相似性估計(jì)時(shí)，在所述第一參考畫面上的^f象素 塊的統(tǒng)計(jì)特征被計(jì)算并與所述第二參考畫面上的一個(gè)或多個(gè)像素塊的統(tǒng)計(jì)特 征相比較。在所述第二參考畫面上的最佳匹配像素塊至少部分地基于其與在 所述第一參考畫面上的像素塊的統(tǒng)計(jì)相似性來確定，且對于在所述第一參考 畫面上的像素塊來生成運(yùn)動(dòng)向量，指示其相對于在所述第二參考畫面上的最 佳匹配像素塊的運(yùn)動(dòng)。
當(dāng)在細(xì)化所述估計(jì)畫面中使用統(tǒng)計(jì)相似性估計(jì)時(shí)，其可以用于填充在所 述估計(jì)畫面上的空像素位置或解決對所述估計(jì)畫面上的相同像素位置的多個(gè) 映射。
優(yōu)選地，但并非必須，采取下列步驟來填充在所述估計(jì)畫面上的空像素 位置
計(jì)算圍繞所述估計(jì)畫面上的空像素位置的相鄰塊的統(tǒng)計(jì)特征；
標(biāo)識從其生成所述估計(jì)畫面的參考畫面上的搜索區(qū)域；
在所述搜索區(qū)域內(nèi)搜索最佳匹配塊，其中所述最佳匹配塊圍繞所述參考
畫面上的具體像素，且具有與圍繞所述估計(jì)畫面上的所述空像素位置的相鄰
塊的最高統(tǒng)計(jì)相似性；以及
利用由所述參考畫面上的所述最佳匹配塊圍繞的具體像素來填充所述空
像素位置。
在多個(gè)映射的情況下，即存在從其生成估計(jì)畫面的參考畫面上的多個(gè)像 素，所有像素外插或內(nèi)插到估計(jì)畫面上的具體像素位置，以下步驟是可選但_
并非必須的，用于選擇對于在估計(jì)畫面上的具體像素位置的最佳匹配像素 計(jì)算圍繞所述估計(jì)畫面上的具體像素位置的相鄰塊的統(tǒng)計(jì)特征； 計(jì)算每個(gè)都圍繞所述參考畫面上的該多個(gè)像素之一的多個(gè)像素塊的統(tǒng)計(jì)
特征；
標(biāo)識圍繞所述參考畫面上的多個(gè)像素的多個(gè)塊中的最佳匹配塊，其中所 述最佳匹配塊具有與圍繞所述估計(jì)畫面上的具體像素位置的相鄰塊的最高統(tǒng) 計(jì)相似性；以及
選擇由在所述參考畫面上的最佳匹配塊所圍繞的像素，作為在所述估計(jì) 畫面上的具體像素位置的最佳匹配像素。
可以在本發(fā)明中使用的統(tǒng)計(jì)特征包括但不局限于塊采樣平均、塊采樣 方差和相鄰參數(shù)等等。
在本發(fā)明的優(yōu)選但并非必須的實(shí)施例中，通過根據(jù)下式計(jì)算統(tǒng)計(jì)相似性 指標(biāo)來確定兩個(gè)像素塊之間的統(tǒng)計(jì)相似性
其中P是一個(gè)像素塊，Q是另一個(gè)像素塊，SSI(P, Q)是指示塊P和Q之 間的統(tǒng)計(jì)相似性的統(tǒng)計(jì)相似性指標(biāo)，M(P)是塊P的塊采樣平均，M(Q)是塊Q 的塊采樣平均，Var(P)是塊P的塊采樣方差，Var(Q)是塊Q的塊采樣方差， Cov(P,Q)是塊P和Q之間的協(xié)方差，且a和卩是加權(quán)因子。
可以使用上述統(tǒng)計(jì)相似性指標(biāo)用于運(yùn)動(dòng)估計(jì)，用于填充估計(jì)畫面上的空 像素，和/或用于解決多個(gè)映射問題。
本發(fā)明的另 一方面涉及一種用于視覺信號外插或內(nèi)插的基于計(jì)算機(jī)的系 統(tǒng)，包括
用于獲得和存儲至少第一和第二參考畫面的裝置； 用于在所述第一和第二參考畫面上進(jìn)行運(yùn)動(dòng)估計(jì)，以生成指示所述第一 和第二參考畫面的至少一個(gè)相對于另一個(gè)的運(yùn)動(dòng)的運(yùn)動(dòng)向量的裝置；
用于使用所述運(yùn)動(dòng)向量通過從所述第 一或所述第二參考畫面的外插或內(nèi) 插來生成估計(jì)畫面的裝置；以及 用于細(xì)化所述估計(jì)畫面的裝置，
其中在運(yùn)動(dòng)估計(jì)中或在細(xì)化所述估計(jì)畫面中、或在兩者的組合中，使用 統(tǒng)計(jì)相似性估計(jì)。
從所附公開和附圖將完全更清楚本發(fā)明的其他方面、特征和優(yōu)點(diǎn)。


現(xiàn)在將通過參考附圖，僅用示例的方式來描述本發(fā)明，在附圖中 圖1是圖示傳統(tǒng)的基于運(yùn)動(dòng)的時(shí)間外插方法的圖； 圖2是圖示傳統(tǒng)的基于運(yùn)動(dòng)的時(shí)間內(nèi)插方法的圖3是描述在傳統(tǒng)的基于運(yùn)動(dòng)的外插和內(nèi)插方法中使用的處理步驟的流 程圖4是描述根據(jù)本發(fā)明的一個(gè)實(shí)施例、通過使用統(tǒng)計(jì)相似性估計(jì)的改進(jìn) 的視覺信號外插或內(nèi)插的系統(tǒng)和方法的流程圖5是圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例、在運(yùn)動(dòng)估計(jì)中使用統(tǒng)計(jì)相似性度 量來生成用于通過外插或內(nèi)插來構(gòu)建估計(jì)畫面的運(yùn)動(dòng)向量的示范處理步驟的 流程圖6是圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例、用于計(jì)算兩個(gè)像素塊P和Q的統(tǒng) 計(jì)相似性指標(biāo)的示范處理步驟的流程圖7是圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例、用于通過使用統(tǒng)計(jì)相似性估計(jì)來 填充在估計(jì)畫面上的空像素位置的方法的圖；以及
圖8是圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例、用于通過使用統(tǒng)計(jì)相似性估計(jì)來 解決(resolve)在估計(jì)畫面上的像素位置的多個(gè)映射。
具體實(shí)施例方式
本發(fā)明提供用于通過使用統(tǒng)計(jì)相似性估計(jì)的外插和內(nèi)插的改進(jìn)的方法和 系統(tǒng)。
具體地，首先對從先前重構(gòu)的畫面、即參考畫面獲得的畫面信號進(jìn)行運(yùn) 動(dòng)估計(jì)，以生成一組運(yùn)動(dòng)向量，該組運(yùn)動(dòng)向量然后被用于通過從參考畫面之 一外插或內(nèi)插來生成估計(jì)畫面，同時(shí)使用統(tǒng)計(jì)相似性估計(jì)來用于進(jìn)行運(yùn)動(dòng)估 計(jì)或用于細(xì)化估計(jì)畫面，或用于進(jìn)行兩者的組合，如圖4所示。更具體地， 通過比較兩個(gè)或更多像素塊的統(tǒng)計(jì)特征一一包括但不限于塊采樣平均、塊采 樣方差、諸如圍繞該塊的近鄰的同質(zhì)性(homogeneity)的相鄰參數(shù)、和在兩個(gè) 或更多像素塊之間的協(xié)方差一 一來進(jìn)行統(tǒng)計(jì)相似性估計(jì)。
圖5圖示根據(jù)本發(fā)明的一個(gè)實(shí)施例、在運(yùn)動(dòng)估計(jì)中使用統(tǒng)計(jì)相似性估計(jì)
來生成用于通過外插或內(nèi)插來構(gòu)建估計(jì)畫面的運(yùn)動(dòng)向量的示范處理步驟的流 程圖。
首先，由解碼器獲得并存儲此后被稱為參考畫面的至少兩個(gè)先前解石馬和
重構(gòu)的畫面。這兩個(gè)參考畫面被稱為N-l和N-2，用于基于外插的估計(jì)(或 N-1和N+1，用于基于內(nèi)插的估計(jì))。
對于參考畫面N-1中的每個(gè)像素塊，進(jìn)行搜索處理以找到在另一參考畫 面N-2(或N+1)中的其最佳匹配。為了找到參考畫面N-1中的具體塊Bi在 參考畫面N-2 (或N+1)中的最佳匹配塊B氣搜索處理從參考畫面N-2 (或 N+l )挑選相同尺寸的像素塊Bp,并計(jì)算統(tǒng)計(jì)相似性指標(biāo)SSI—一其指示在 Bi和Bp之間的統(tǒng)計(jì)相似性一 一 以及可選地計(jì)算預(yù)測誤差E，其是在Bi和Bp 之間的像素值中的差。統(tǒng)計(jì)相似性指標(biāo)SSI和預(yù)測誤差E可以被組合以確定 在參考畫面N-1 (或N+1)中的最佳匹配塊B氣如圖5所示。替換地，可以 僅基于統(tǒng)計(jì)相似性指標(biāo)SSI來選擇在參考畫面N-2 (或N+l )中的最佳匹配 塊B承。
一旦確定了在參考畫面N+2 (或N+l )中的最佳匹配塊B^可以對于在 參考畫面N-1中的塊Bi生成一組運(yùn)動(dòng)向量，其指示塊Bi相對于B+的運(yùn)動(dòng)。 可以從與塊Bi和B^目關(guān)聯(lián)的各種參數(shù)生成運(yùn)動(dòng)向量。優(yōu)選地，但并非必須， 通過采用塊Bi和BW々空間差(即水平和垂直坐標(biāo))來生成它們。然后^喿縱 (例如反轉(zhuǎn)、縮放、平移或變更)運(yùn)動(dòng)向量，用于外插或內(nèi)插該塊Bi的估計(jì) 所在的要被解碼和重構(gòu)的畫面(此后被稱為估計(jì)畫面N)中的位置。從塊Bi 和B*的像素值— 一 例如通過對這些塊的像素值進(jìn)行平均或其它操縱這些像 素值一一來導(dǎo)出估計(jì)塊的像素值。
對于在參考畫面N-1中的每個(gè)像素塊來重復(fù)上述處理步驟，以便在參考 畫面N-1中的每個(gè)像素塊的估計(jì)^皮映射，由此形成完整的估計(jì)畫面N。
圖6進(jìn)一步描述的用于確定在兩個(gè)像素塊P和Q之間的統(tǒng)計(jì)相似性的示 范處理步驟。首先，獲得與塊P和Q直接相關(guān)的信息，包括但不局限于像 素值、亮度、對比度、結(jié)構(gòu)等等。優(yōu)選地，但并非必須，還獲得與塊P和Q 所在處的近鄰有關(guān)的信息(即相鄰信息)。
然后基于這些與塊P和Q直接相關(guān)的信息和可選的相鄰信息來計(jì)算塊P 和Q的各種統(tǒng)計(jì)特征，然后將它們進(jìn)行比較以確定在塊P和Q之間的統(tǒng)計(jì)相 似性。例如，可以使用諸如塊采樣平均、塊采樣方差、相鄰參數(shù)以及塊P和
Q之間的協(xié)方差之類的統(tǒng)計(jì)特征來確定統(tǒng)計(jì)相似性。還可以使用其他公知的 統(tǒng)計(jì)特征。
更具體地，假設(shè)塊P和Q都有的特征是塊尺寸n x m,塊p中的像素值可
以被稱為P小且塊Q中的像素值可以被稱為Qij,其中i=l、 2.......n,且j = l、
2....... m。 P的塊采樣平均被定義為
p(尸)-丄tg《 且Q的塊采樣平均被定義為 Mm產(chǎn)i ,=i
w0二丄zSa。 p的塊采樣方差被定義為
nm 乂=1 ,=i
)^吖尸)=~^~￡￡^,-^)2,且Q的塊采樣方差^皮定義為 KaK0 =t-zO2 。塊P和Q的協(xié)方差被估計(jì)為
C《0 = "^7過(化-^)(& - A)。
顧一l "i mi j'j -
另外，還可以使用塊P和Q的相鄰參數(shù)，諸如圍繞塊P和Q的相鄰的同 質(zhì)性，來確定塊P和Q之間的統(tǒng)計(jì)相似性?？梢曰诶鐗KP或Q的運(yùn)動(dòng)向 量和圍繞塊P或Q的一個(gè)或多個(gè)已有相鄰塊的運(yùn)動(dòng)向量之間的差，來確定相 鄰?fù)|(zhì)性。
基于塊P和Q的統(tǒng)計(jì)特征來計(jì)算統(tǒng)計(jì)相似性指標(biāo)，以提供塊P和Q之間的統(tǒng) 計(jì)相似性的定量度量，如圖6所示?？梢砸愿鞣N方式加^l和組合統(tǒng)計(jì)特4正， 用于計(jì)算統(tǒng)計(jì)相似性指標(biāo)。
在優(yōu)選但并非必須的本發(fā)明的實(shí)施例中，可以通過使用下列公式來對塊 p和Q計(jì)算統(tǒng)計(jì)相似性指標(biāo)SSI:
m/(p, g) = "V[c。v(尸必2 _ x 一0]2 + P[a(尸)- Mg)]2
其中，如上所述，m (p)是塊p的塊采樣平均，m (q)是塊q的塊采 樣平均，Var(P)是塊P的塊采樣方差，Var(Q)是塊Q的塊采樣方差，Cov(P,Q) 是塊P和Q之間的協(xié)方差，且a和f3是加權(quán)因子。統(tǒng)計(jì)相似性指標(biāo)的值越小， 兩個(gè)塊越相似。
更具體地，當(dāng)確定多個(gè)像素塊的統(tǒng)計(jì)相似性以生成多個(gè)統(tǒng)計(jì)相似性指標(biāo) 時(shí)，歸一化這些指標(biāo)，以便每個(gè)指標(biāo)值落在O和l之間。
如上所述，由于外插和內(nèi)插不生成對于估計(jì)畫面的——映射，在估計(jì)位
置之中可能存在得不到任何映射的像素位置，即留下空洞。另一方面，在估
計(jì)位置中還可能存在得到多個(gè)映射的像素位置，即留下重疊點(diǎn)(spot)?？斩椿?br> 重疊點(diǎn)的存在負(fù)面影響估計(jì)畫面的質(zhì)量。
因此，本發(fā)明通過使用統(tǒng)計(jì)相似性估計(jì)來細(xì)化估計(jì)畫面，即填充空j象素 位置和/或解決多個(gè)映射，而提供對于這些問題的解決方案。
圖7示出了如何使用統(tǒng)計(jì)相似性估計(jì)來填充估計(jì)畫面N上的空像素位置。
首先，計(jì)算圍繞估計(jì)畫面N上的空像素位置的相鄰像素塊的統(tǒng)計(jì)特征。 可以使用在相鄰塊中的像素的運(yùn)動(dòng)向量來確定參考畫面N-l上的初始點(diǎn)，從 參考畫面N-l上的初始點(diǎn)，通過外插或內(nèi)插來生成估計(jì)畫面。然后標(biāo)識圍繞 初始點(diǎn)的適當(dāng)?shù)乃阉鞔?。在該搜索窗中，進(jìn)行搜索處理來找到最匹配估計(jì)畫 面N上的相鄰塊的塊。最佳匹配塊的特征在于，對于估計(jì)畫面N上的相鄰塊 的最高統(tǒng)計(jì)相似性和可選的最低像素值差。然后使用如圖7所示的在參考畫 面N-l上的該最佳匹配塊所圍繞的具體像素，來填充估計(jì)畫面N中的空^象素 位置。
另外，圖8示出在參考畫面N-l上的多個(gè)像素都映射到(即，通過外插 或內(nèi)插)估計(jì)畫面N上的相同像素位置的情況下，可以如何使用統(tǒng)計(jì)相似性 估計(jì)來選擇對于估計(jì)畫面N上的具體像素位置的最佳匹配像素。
首先，計(jì)算圍繞估計(jì)畫面N上的具體像素位置的相鄰像素塊的統(tǒng)計(jì)特征。 接下來，計(jì)算每個(gè)都圍繞參考畫面N-l上的多個(gè)像素之一的多個(gè)像素塊的統(tǒng) 計(jì)特征。在參考畫面N-l上的這多個(gè)塊之中，標(biāo)識最匹配估計(jì)畫面N上的相 鄰塊的一個(gè)塊。如上所述，最佳匹配塊的特征在于對于估計(jì)畫面N上的相鄰 塊的最高統(tǒng)計(jì)相似性和可選的最低像素值差。然后選擇參考畫面N-l上的該 最佳匹配塊所圍繞的具體像素，作為對于在估計(jì)畫面N中的具體像素位置的 最佳匹配像素。
通過基于計(jì)算機(jī)的視覺信號分析器可以容易地進(jìn)行如上所述的各種計(jì)算 步驟，該基于計(jì)算機(jī)的視覺信號分析器可以包括被布置并構(gòu)造以收集和處理 視覺信號數(shù)據(jù)的通用計(jì)算機(jī)、專用計(jì)算機(jī)、中央處理器單元(CPU)、微處理 器、或集成電路。根據(jù)本發(fā)明，這種視覺信號分析器優(yōu)選地包括視覺信號外 插或內(nèi)插協(xié)議，用于計(jì)算地進(jìn)行上述視覺信號外插或內(nèi)插方法，以生成并細(xì) 化估計(jì)畫面?？梢砸匀魏芜m當(dāng)?shù)男问健⒅T如在通用計(jì)算才幾、專用計(jì)算才幾或中
央處理器單元(CPU)中可操作的軟件來實(shí)現(xiàn)視覺信號外插或內(nèi)插協(xié)議。^齊 換地，該協(xié)議可以在被實(shí)現(xiàn)為固件的微電子計(jì)算模塊的電路中硬件配線
(hard-wire),或該協(xié)議作為在因特網(wǎng)站點(diǎn)上的可操作小程序用于階段分析可在 線獲得。
雖然在此已經(jīng)參考所示實(shí)施例和特征公開了本發(fā)明，但要理解，上述實(shí) 施例和特征不意圖局限本發(fā)明，且本領(lǐng)域技術(shù)人員將容易地得到其他變化、 修改和替換實(shí)施例。因此，在所附權(quán)利要求的精神和范圍
權(quán)利要求
1.一種用于視覺信號外插或內(nèi)插的基于計(jì)算機(jī)的方法，包括提供至少第一和第二參考畫面；在所述第一和第二參考畫面上進(jìn)行運(yùn)動(dòng)估計(jì)，以生成指示所述第一和第二參考畫面的至少一個(gè)相對于另一個(gè)的運(yùn)動(dòng)的運(yùn)動(dòng)向量；以及使用所述運(yùn)動(dòng)向量通過外插或內(nèi)插來生成估計(jì)畫面；以及細(xì)化所述估計(jì)畫面，其中在運(yùn)動(dòng)估計(jì)中或在細(xì)化所述估計(jì)畫面中、或在兩者的組合中，使用統(tǒng)計(jì)相似性估計(jì)。
2. 根據(jù)權(quán)利要求1所述的基于計(jì)算機(jī)的方法，其中在運(yùn)動(dòng)估計(jì)中使用統(tǒng) 計(jì)相似性估計(jì)。
3. 根據(jù)權(quán)利要求1所述的基于計(jì)算機(jī)的方法，其中在所述第一參考畫面 上的像素塊的統(tǒng)計(jì)特征被計(jì)算并與所述第二參考畫面上的一個(gè)或多個(gè)像素塊 的統(tǒng)計(jì)特征相比較，其中在所述第二參考畫面上的最佳匹配像素塊至少部分 地基于其與在所述第一參考畫面上的像素塊的統(tǒng)計(jì)相似性來確定，且其中對 于在所述第一參考畫面上的像素塊來生成運(yùn)動(dòng)向量，指示其相對于在所述第 二參考畫面上的最佳匹配像素塊的運(yùn)動(dòng)。
4. 根據(jù)權(quán)利要求3所述的基于計(jì)算機(jī)的方法，其中所述像素塊的統(tǒng)計(jì)特 征包括塊采樣平均、塊采樣方差和相鄰參數(shù)。
5. 根據(jù)權(quán)利要求3所述的基于計(jì)算機(jī)的方法，其中通過根據(jù)下式計(jì)算統(tǒng) 計(jì)相似性指標(biāo)來確定在所述第一參考畫面上的像素塊和在所述第二參考畫面 上的 一個(gè)或多個(gè)^f象素塊之間的統(tǒng)計(jì)相似性<formula>formula see original document page 2</formula>其中，P是在所述第一參考畫面上的像素塊，Q是在所述第二參考畫面 上的像素塊，SSI(P， Q)是指示塊P和塊Q之間的統(tǒng)計(jì)相似性的統(tǒng)計(jì)相似性指 標(biāo)，y (P)是塊P的塊采樣平均，M (Q)是塊Q的塊采樣平均，Var(P)是塊P的 塊采樣方差，Var(Q)是塊Q的塊采樣方差，Cov(P, Q)是塊P和Q之間的協(xié)方 差，且a和卩是加權(quán)因子。
6. 根據(jù)權(quán)利要求5所述的基于計(jì)算機(jī)的方法，其中歸一化所述統(tǒng)計(jì)相似 性指標(biāo)。
7. 根據(jù)權(quán)利要求1所述的基于計(jì)算機(jī)的方法，其中在細(xì)化所述估計(jì)畫面 中使用統(tǒng)計(jì)相似性估計(jì)。
8. 根據(jù)權(quán)利要求7所述的基于計(jì)算機(jī)的方法，其中使用統(tǒng)計(jì)相似性估計(jì)用于填充在所述估計(jì)畫面上的空像素位置，包括計(jì)算所述估計(jì)畫面上圍繞該空像素位置的相鄰塊的統(tǒng)計(jì)特征；標(biāo)識從其生成所述估計(jì)畫面的參考畫面上的搜索區(qū)域；在所述搜索區(qū)域內(nèi)搜索最佳匹配塊，其中所述最佳匹配塊圍繞所述參考畫面上的具體像素，且具有與所述估計(jì)畫面上圍繞所述空像素位置的相鄰塊的最高統(tǒng)計(jì)相似性；以及利用所述參考畫面上由所述最佳匹配塊圍繞的具體像素來填充所述空像素位置。
9. 根據(jù)權(quán)利要求8所述的基于計(jì)算機(jī)的方法，其中所述相鄰塊的統(tǒng)計(jì)特 征包括塊采樣平均、塊采樣方差和相鄰參數(shù)。
10. 根據(jù)權(quán)利要求8所述的基于計(jì)算機(jī)的方法，其中通過根據(jù)下式計(jì)算 統(tǒng)計(jì)相似性指標(biāo)來確定所述估計(jì)畫面上圍繞所述空像素位置的相鄰塊和所述 搜索區(qū)域內(nèi)的一個(gè)或多個(gè)像素塊之間的統(tǒng)計(jì)相似性其中P是所述估計(jì)畫面上圍繞所述空像素位置的相鄰塊，Q是所述搜索 區(qū)域內(nèi)的像素塊，SSI(P， Q)是指示塊P和Q之間的統(tǒng)計(jì)相似性的統(tǒng)計(jì)相似性 指標(biāo)，M(P)是塊P的塊采樣平均，M(Q)是塊Q的塊采樣平均，Var(P)是塊P 的塊采樣方差，Var(Q)是塊Q的塊采樣方差，Cov(P， Q)是塊P和Q之間的協(xié) 方差，且a和(3是加權(quán)因子。
11. 根據(jù)權(quán)利要求7所述的方法，其中使用統(tǒng)計(jì)相似性估計(jì)，用于從由 其生成所述估計(jì)畫面的參考畫面上的多個(gè)像素之中選擇針對所述估計(jì)畫面上 的具體像素位置的最佳匹配象素，所述多個(gè)像素都外插或內(nèi)插到所述估計(jì)畫 面上的具體像素位置，包括計(jì)算所述估計(jì)畫面上圍繞該具體像素位置的相鄰塊的統(tǒng)計(jì)特征；計(jì)算所述參考畫面上每個(gè)都圍繞該多個(gè)像素之一的多個(gè)像素塊的統(tǒng)計(jì)特征；標(biāo)識在所述參考畫面上圍繞該多個(gè)像素的多個(gè)塊中的最佳匹配塊，其中 所述最佳匹配塊具有與所述估計(jì)畫面上圍繞該具體像素位置的相鄰塊的最高統(tǒng)計(jì)相似性；以及選擇在所述參考畫面上由該最佳匹配塊所圍繞的像素，作為在所述估計(jì) 畫面上的該具體像素位置的最佳匹配像素。
12. 根據(jù)權(quán)利要求11所述的基于計(jì)算機(jī)的方法，其中所述相鄰塊的統(tǒng)計(jì) 特征包括塊采樣平均、塊采樣方差和相鄰參數(shù)。
13. 根據(jù)權(quán)利要求11所述的基于計(jì)算機(jī)的方法，其中通過根據(jù)下式計(jì)算統(tǒng)計(jì)相似性指標(biāo)來確定所述估計(jì)畫面上圍繞該具體像素位置的相鄰塊和所述參考畫面上圍繞該多個(gè)像素的多個(gè)塊之間的統(tǒng)計(jì)相似性W/(尸,Q) = aV[C。v(尸，2)2 -呵尸)x呵0]2 +-//(0]2, 其中P是所述估計(jì)畫面上圍繞該具體像素位置的相鄰塊，Q是所述參考 畫面上圍繞該多個(gè)像素的多個(gè)塊之一，SSI(P, Q)是指示塊P和Q之間的統(tǒng)計(jì) 相似性的統(tǒng)計(jì)相似性指標(biāo)，m (p)是塊p的塊采樣平均，m (q)是塊q的塊采 樣平均，Var(P)是塊P的塊釆樣方差，Var(Q)是塊Q的塊采樣方差，Cov(P, Q) 是塊P和Q之間的協(xié)方差，且a和(3是加權(quán)因子。
14. 根據(jù)權(quán)利要求1所述的基于計(jì)算機(jī)的方法，其中在運(yùn)動(dòng)估計(jì)和細(xì)化 所述估計(jì)畫面中都使用統(tǒng)計(jì)相似性估計(jì)。
15. —種用于視覺信號外插或內(nèi)插的基于計(jì)算機(jī)的系統(tǒng)，包括 用于獲得和存儲至少第一和第二參考畫面的裝置；用于在所述第一和第二參考畫面上進(jìn)行運(yùn)動(dòng)估計(jì)，以生成指示所述第一 和第二參考畫面的至少一個(gè)相對于另一個(gè)的運(yùn)動(dòng)的運(yùn)動(dòng)向量的裝置；用于使用所述運(yùn)動(dòng)向量通過從所述第一或所述第二參考畫面的外插或內(nèi) 插來生成估計(jì)畫面的裝置；以及 用于細(xì)化所述估計(jì)畫面的裝置，其中在運(yùn)動(dòng)估計(jì)中或在細(xì)化所述估計(jì)畫面中、或在兩者的組合中，使用 統(tǒng)計(jì)相似性估計(jì)。
16. 根據(jù)權(quán)利要求15所述的基于計(jì)算機(jī)的系統(tǒng)，其中在運(yùn)動(dòng)估計(jì)中使用 統(tǒng)計(jì)相似性估計(jì)，其中在所述第一參考畫面上的像素塊的統(tǒng)計(jì)特征被計(jì)算并 與所述第二參考畫面上的一個(gè)或多個(gè)像素塊的統(tǒng)計(jì)特征相比較，其中在所述 第二參考畫面上的最佳匹配像素塊基于其與在所述第一參考畫面上的像素塊的統(tǒng)計(jì)相似性來確定，且其中對于在所述第一參考畫面上的像素塊來生成運(yùn) 動(dòng)向量，指示其相對于在所述第二參考畫面上的最佳匹配像素塊的運(yùn)動(dòng)。
17. 根據(jù)權(quán)利要求15所述的基于計(jì)算機(jī)的系統(tǒng)，其中使用統(tǒng)計(jì)相似性估 計(jì)用于細(xì)化所述估計(jì)畫面。
18. 根據(jù)權(quán)利要求17所述的基于計(jì)算機(jī)的系統(tǒng)，其中使用統(tǒng)計(jì)相似性估計(jì)用于填充在所述估計(jì)畫面上的空像素位置，且其中所述系統(tǒng)進(jìn)一步包括 用于計(jì)算所述估計(jì)畫面上的圍繞該空像素位置的相鄰塊的統(tǒng)計(jì)特征的裝置；用于在所述搜索區(qū)域內(nèi)搜索最佳匹配塊的裝置，其中所述最佳匹配塊圍 繞所述參考畫面上的具體像素，且具有與所述估計(jì)畫面上圍繞所述空像素位 置的相鄰塊的最高統(tǒng)計(jì)相似性；以及用于利用所述參考畫面上由所述最佳匹配塊圍繞的具體像素來填充所述 空像素位置的裝置。
19. 根據(jù)權(quán)利要求17所述的基于計(jì)算機(jī)的系統(tǒng)，其中使用統(tǒng)計(jì)相似性估 計(jì)，用于從由其生成所述估計(jì)畫面的參考畫面上的多個(gè)像素之中選擇針對所 述估計(jì)畫面上的具體像素位置的最佳匹配象素，所述多個(gè)像素都外插或內(nèi)插 到所述估計(jì)畫面上的具體像素位置，且其中所述系統(tǒng)進(jìn)一步包括用于計(jì)算所述估計(jì)畫面上圍繞該具體像素位置的相鄰塊的統(tǒng)計(jì)特征的裝置； '用于計(jì)算所述參考畫面上每個(gè)都圍繞該多個(gè)像素之一的多個(gè)像素塊的統(tǒng)計(jì)特征的裝置；用于標(biāo)識所述參考畫面上圍繞該多個(gè)像素的多個(gè)塊中的最佳匹配塊的裝 置，其中所述最佳匹配塊具有與所述估計(jì)畫面上圍繞該具體像素位置的相鄰 塊的最高統(tǒng)計(jì)相似性；以及用于選擇在所述參考畫面上由該最佳匹配塊所圍繞的像素、作為在所述 估計(jì)畫面上的該具體像素位置的最佳匹配像素的裝置。
20. 根據(jù)權(quán)利要求15所述的基于計(jì)算機(jī)的系統(tǒng)，其中在運(yùn)動(dòng)估計(jì)和細(xì)化 所述估計(jì)畫面中都使用統(tǒng)計(jì)相似性估計(jì)。
全文摘要
本發(fā)明涉及一種用于基于統(tǒng)計(jì)相似性估計(jì)的視覺信號外插或內(nèi)插的基于計(jì)算機(jī)的系統(tǒng)和方法。具體地，提供至少第一和第二參考畫面，且在第一和第二參考畫面上進(jìn)行運(yùn)動(dòng)估計(jì)，以生成指示第一和第二參考畫面的至少一個(gè)相對于另一個(gè)的運(yùn)動(dòng)的運(yùn)動(dòng)向量。然后使用運(yùn)動(dòng)向量通過從第一和/或第二參考畫面的外插或內(nèi)插來生成估計(jì)畫面，然后可選地細(xì)化估計(jì)畫面。在運(yùn)動(dòng)估計(jì)或在細(xì)化估計(jì)畫面、或在兩者的組合中，使用統(tǒng)計(jì)相似性估計(jì)，以便提供改進(jìn)的視覺信號。
文檔編號H04N7/46GK101361369SQ200780001774
公開日2009年2月4日 申請日期2007年1月3日 優(yōu)先權(quán)日2006年1月6日
發(fā)明者瓦迪姆·希寧, 陸立綱 申請人:國際商業(yè)機(jī)器公司