專利名稱:用于遮斷區(qū)檢測的遮斷檢測器和遮斷區(qū)檢測方法
技術(shù)領(lǐng)域:
本發(fā)明涉及到遮斷檢測器,其根據(jù)一組移動向量來檢測第一圖象中的遮斷區(qū),第一圖象屬于一系列連續(xù)圖象。
本發(fā)明還涉及到根據(jù)一組移動向量來檢測第一圖象中遮斷區(qū)的方法,第一圖象屬于一系列連續(xù)圖象。
本發(fā)明還涉及到移動估算器,其包括-移動向量估算器,用來計算一組移動向量;-遮斷檢測器,根據(jù)該移動向量組對第一圖象中的遮斷區(qū)進(jìn)行檢測,第一圖象屬于一系列連續(xù)圖象;及-移動向量分配單元,根據(jù)遮斷檢測器的輸出將一特定移動向量分配給一特定象素。
本發(fā)明進(jìn)一步涉及到圖象處理設(shè)備,其包括-接收裝置,用來接收代表要顯示第一圖象的信號;-移動估算器,其包括根據(jù)一組移動向量對第一圖象中遮斷區(qū)進(jìn)行檢測的遮斷檢測器,第一圖象屬于一系列連續(xù)圖象;及-移動補償圖象處理單元。
遮斷區(qū)是指與正在拍攝的一部分景物相應(yīng)的區(qū)域,該區(qū)域在一系列連續(xù)圖象的某一圖象中是可見的,但在下一個或前一個圖象中是看不見的。這是由于比背景對象處于更靠近照相機的景物中前景對象能夠覆蓋部分背景對象而引起的。在移動的情況下,例如前景對象移動的情況下,背景對象的某些部分就被遮斷,而背景對象的其他部分則顯露出來。
遮斷區(qū)可能在臨時插入中引起一些非有意安排的東西。例如,在向上轉(zhuǎn)換的情況下。遮斷區(qū)能夠引起所謂的暈輪。那么,就要對移動向量進(jìn)行估算以便借助臨時插入來計算向上轉(zhuǎn)換的輸出圖象。對于臨時插入而言,要從連續(xù)圖象中取出若干象素。這些象素最好涉及到同一個對象。在遮斷區(qū)的情況下,不能直接做到這一點,因為在連續(xù)圖象中找不到相關(guān)的象素。需要有其他的插入策略。
從WO 0011863了解到開頭一段中所說的那種遮斷檢測器的一個實施方案。按照WO 0011863中說明的遮斷檢測器是用來根據(jù)在正對該圖象計算的移動向量場中所檢測到的邊緣來識別圖象中的問題區(qū),即遮斷區(qū)。不過結(jié)果是非常粗略的。第一,粗略性是由下述事實所造成的即,盡管前景對象邊緣的位置通常是知道的,但是暈輪區(qū)的范圍是不知道的。第二,移動向量場本身可能產(chǎn)生位移。這一位移甚至可能會如此之大以致能出現(xiàn)遺漏和偽假的遮斷邊緣。
本發(fā)明的第一個目的是提供在開頭一段中所說明的那種象素基本準(zhǔn)確的遮斷檢測器。
本發(fā)明的第二個目的是提供開頭一段中所說的那種遮斷區(qū)的檢測方法,該方法使檢測的遮斷區(qū)具有基本的象素準(zhǔn)確度。
本發(fā)明的第三個目的是提供開頭一段中所說的那種移動估算器。其包括遮斷檢測器,遮斷檢測器為象素基本準(zhǔn)確的遮斷檢測器。
本發(fā)明的第四個目的是提供開頭一段中所說的那種圖象處理設(shè)備,其包括含遮斷檢測器的移動估算器,遮斷檢測器為象素基本準(zhǔn)確的遮斷檢測器。
實現(xiàn)本發(fā)明第一目的的遮斷檢測器包括-移動向量選擇器,其根據(jù)第一移動向量與第二移動向量之間的基本向量差從移動向量組中選出第一移動向量和第二移動向量;-象素數(shù)值比較器,其用來計算第二圖象第一象素第一數(shù)值與第三圖象第二象素第二數(shù)值之間的第一象素數(shù)值差,第一象素與第二象素之間的第一關(guān)系由第一移動向量給出,其還用來計算第二圖象第三象素第三數(shù)值與第三圖象第四象素第四數(shù)值之間的第二象素的值差,第三象素與第四象素之間的第二關(guān)系由第二移動向量給出;及-判定單元,通過檢查是否第一象素數(shù)值差大于第一預(yù)定閾值和第二象素數(shù)值差大于第二預(yù)定閾值來確定與第一移動向量和第二移動向量交叉點相對應(yīng)的第一圖象某一特定象素是否屬于遮斷區(qū)的其中之一。
在移動估算方面,匹配準(zhǔn)則常常是以使連續(xù)圖象相應(yīng)象素數(shù)值間的差值最小為基礎(chǔ),而相應(yīng)象素之間的關(guān)系則由移動向量給出。為計算這些差值,將某一圖象的一組象素與另一圖象的多組象素加以比較。根據(jù)本發(fā)明的遮斷檢測器,不是使象素數(shù)值間的差最小,而是確定象素數(shù)值間的差是否大于預(yù)定閾值,即是否第一象素數(shù)值差大于第一預(yù)定閾值及第二象素數(shù)值差大于第二預(yù)定閾值。對某一遮斷區(qū)來說,不可能通過將該區(qū)被遮斷,即被遮蓋的某一圖象的多組象素與該區(qū)不被遮斷的另一圖象的多組象素進(jìn)行比較來直接地計算出正確的移動向量。換句話說,不可能使在此圖象中可見而其在另一圖象中不可見的東西實現(xiàn)匹配,反過來也是一樣。因此,對一組象素所估算的、部分或基本上與遮斷區(qū)相對應(yīng)的移動向量,其是錯誤移動向量的概率高。根據(jù)本發(fā)明的遮斷檢測器用來檢驗?zāi)骋惶囟ㄏ笏氐闹辽賰蓚€估算出的相關(guān)移動向量。檢驗裝置將象素數(shù)值差與預(yù)定閾值進(jìn)行比較。如果差值大于閾值,那么就假定移動向量對該特定象素來說是不正確的,而將此特定象素標(biāo)記為遮斷區(qū)的一部分。第一預(yù)定閾值和第二預(yù)定閾值可以彼此相等。
使用根據(jù)本發(fā)明的遮斷檢測器,能夠根據(jù)照相機所得到的圖象通過臨時插入來檢測正在計算或?qū)⒁嬎愕膱D象中的遮斷區(qū)。例如,首先得到第二圖象,后面跟隨第三圖象。第一圖象必須通過第二和第三圖象的臨時插入來計算。但是,使用根據(jù)本發(fā)明的遮斷檢測器還能夠檢測由照相機所得到的圖象中的遮斷區(qū)。那么第一和第二圖象就是同一圖象,而該特定象素則與第一象素和第三象素相一致。下面,將利用這一情況來闡述根據(jù)本發(fā)明的遮斷檢測器的工作。
根據(jù)本發(fā)明的遮斷檢測器工作情況可以通過監(jiān)測應(yīng)用的簡單實例予以說明。假定一個圖象表示出一個房間及在此房間內(nèi)第一位置的一個人,而下一個圖象則表示出同一房間以及同一個人,但人在第二位置。在拍攝這兩幅圖象期間,拍攝這兩幅圖象的照相機沒有移動。變焦鏡頭也未調(diào)節(jié)。這樣就有理由假定只存在有兩個移動向量,即移動向量組只包括兩個移動向量與房間象素相關(guān)的背景移動向量和與人物象素相關(guān)的前景移動向量。但是,對處在遮斷區(qū)中的象素來說。這兩個移動向量中沒有一個是正確的。象素數(shù)值差將比較大。
在上述實例中,假定只有兩個移動向量。不過,必須是假定,例如由于噪聲而在移動向量組中有多個前景移動向量。那么,必須通過比較向量差,即比較該組移動向量之間在長度和方向上的差來選定第一和第二移動向量。為了選擇第一和第二移動向量,最好這些差值比較大。要不然也可以選擇與一個對象,例如本實例中的人物相對應(yīng)的兩個移動向量。最好是,第一移動向量與背景前的對象相對應(yīng),而第二移動向量與背景相對應(yīng),或者反過來也可以。
根據(jù)本發(fā)明的遮斷檢測器的主要優(yōu)點是它能夠使向上轉(zhuǎn)換中象素準(zhǔn)確的暈輪減少。但是,檢測遮斷區(qū)以使控制圖象放大,例如提高在檢測到遮斷的區(qū)域中的圖象放大水平,也是令人感興趣的。
在根據(jù)本發(fā)明遮斷檢測器的一個實施方案中,移動向量選擇器用來根據(jù)該特定象素與另一象素間的距離來選出第一移動向量,而此另一象素屬于第一移動向量所對應(yīng)的特定象素組。一組象素可以形成一個象素塊或其可以與任意形狀的對象相對應(yīng)。在上述具有房間和人物的實例中,移動向量組有兩個元素,即有兩個移動向量。但是,如果移動向量組有不止兩個移動向量,那么得到選擇第一和第二移動向量的準(zhǔn)則就很重要。特定象素與另一象素之間的空間距離就是這樣的準(zhǔn)則。特定象素與另一個象素間的空間距離比較小就意味著,與另一象素所屬的特定象素組相對應(yīng)的移動向量是相關(guān)的。最好是從特定象素所屬象素組的相鄰象素組中選擇移動向量。另外,特定象素所屬象素組的移動向量也是進(jìn)行選擇的很好的候選向量。
在根據(jù)本發(fā)明遮斷檢測器的一個實施方案中,移動向量選擇器用來確定移動向量組中移動向量的出現(xiàn)頻率并根據(jù)此出現(xiàn)頻率選出第一移動向量。選擇第一移動向量和第二移動向量的準(zhǔn)則是出現(xiàn)頻率。如果一個圖象的象素組比較少,已經(jīng)用特定數(shù)值,例如長度和方向?qū)σ苿酉蛄孔髁斯浪?。那么移動向量是相關(guān)的概率就比較高,應(yīng)當(dāng)選擇出來。可以確定某一圖象的移動向量直方圖或部分該圖象的移動向量直方圖。在后一種情況下,最好這部分圖象在特定象素的附近。
在根據(jù)本發(fā)明遮斷檢測器的一個實施方案中,象素數(shù)值比較器用來計算第一數(shù)值與第二數(shù)值間的絕對差值。還可以計算例如均方差。計算絕對差值的優(yōu)點是計算比較順利。
在根據(jù)本發(fā)明遮斷檢測器的一個實施方案中,移動向量選擇器用來從移動向量組中選出第一移動向量,該組包括對第一圖象和第三圖象各象素組所估算出的移動向量。移動向量組可能包括已經(jīng)為第一圖象各象素組所估算的移動向量。但是,移動向量組還可能包括對其他圖象,例如,第三圖象各象素組所估算的移動向量。
在根據(jù)本發(fā)明遮斷檢測器的一個實施方案中,遮斷檢測器包括測量單元來測量第一預(yù)定閾值。這一實施方案的優(yōu)點是遮斷的檢測可以調(diào)整得適合于圖象的內(nèi)容。
遮斷檢測器的修改及其變動可以與所說的移動估算器的修改及其變動,與遮斷區(qū)檢測方法的修改及其變動,以及與圖象處理設(shè)備的修改及其變動相一致。圖象處理設(shè)備可以包括附加的部件,例如顯示處理圖象的顯示裝置。移動補償圖象處理單元可以支持一種或多種下述類型的圖象處理-去除隔行掃描隔行掃描是交替地傳輸圖象的奇數(shù)和偶數(shù)行的通用電視廣播程序。去除隔行掃描試圖恢復(fù)全垂直分辨率,即使得可同時得到每個圖象的奇數(shù)行和偶數(shù)行;-向上轉(zhuǎn)換根據(jù)一系列原輸入圖象計算出更大系列的輸出圖象。輸出圖象暫時處在兩個原輸入圖象之間;及-暫時噪聲減小。這可能還涉及空間處理,使得空間的暫時噪聲減小。
在圖象壓縮方面,高質(zhì)量的移動向量和遮斷檢測也是重要的。因此,檢測遮斷區(qū)對圖象壓縮應(yīng)用來說也是相關(guān)的。
根據(jù)本發(fā)明遮斷檢測器、移動估算器、遮斷區(qū)檢測方法以及圖象顯示設(shè)備的上述特點和其他特點,從以下所述實施方法和實施方案并參照附圖將會變得顯而易見并將對其予以說明,其中
圖1A表示出有遮斷區(qū)的兩個圖象,以便大略地說明根據(jù)本發(fā)明遮斷檢測器的工作情況;圖1B表示圖1A所示移動向量與象素之間的一維關(guān)系;圖1C表示出在三個圖象情況下移動向量與象素間的一維關(guān)系;圖2A概略地表示出遮斷檢測器的實施方案;圖2B概略地表示出遮斷檢測器的實施方案,遮斷檢測器包括計算象素間距離的裝置;圖2C概略地表示出遮斷檢測器的實施方案,遮斷檢測器包括計算移動向量出現(xiàn)頻率的裝置;圖2D概略地表示出遮斷檢測器的實施方案,遮斷檢測器包括確定第一預(yù)定閾值的測量單元;
圖2E概略地表示出遮斷檢測器的實施方案,遮斷檢測器包括關(guān)閉間隙濾波器;圖3概略地表示出移動估算器的實施方案;及圖4概略地表示出圖象處理設(shè)備的實施方案。
在所有的圖中,相同的參考數(shù)字具有同一含義。
圖1A表示出具有遮斷區(qū)108,110的兩個圖象100,102,以便概略地說明根據(jù)本發(fā)明遮斷檢測器200的工作情況。圖象100表示出有人物104的房間,人物在房間內(nèi)的第一位置,另一圖象102表示出有同一人物104的同一房間,但人物在第二位置。拍攝這兩幅圖象100,102的照相機沒有移動。變焦鏡頭也未調(diào)節(jié)。只存在有兩個移動向量118,120,即移動向量組只包括兩個移動向量與房間之象素有關(guān)的背景移動向量120和與人物104之象素有關(guān)的前景移動向量118。為了計算背景移動向量120,使用一組象素122。注意,所畫箭頭的長度與背景移動向量120的長度無關(guān),后者等于零。對位于遮斷區(qū)108,110中的象素來說,這兩個移動向量118,120都是不正確的。這是在下述測試已完成之后得出的結(jié)論。第一,將象素111的亮度值與象素114的亮度值之差與第一預(yù)定閾值加以比較。象素111和114的象素坐標(biāo)彼此相等,因為所用的移動向量為等于零的背景移動向量120。亮度差大于第一預(yù)定閾值的概率高象素111屬于房間,象素114屬于人物104。第二,將象素111的亮度值與象素116的亮度值之差與第二預(yù)定閾值加以比較。象素111和114的象素坐標(biāo)不同所用的移動向量是背景移動向量118,其與人物第一和第二位置之間的空間距離有關(guān)。亮度差大于第二預(yù)定閾值的概率高象素111屬于房間,象素116屬于房間的另一部分。根據(jù)這些比較結(jié)果,假定象素111處于遮斷區(qū)。第一預(yù)定閾值和第二預(yù)定閾值可以彼此相等。
圖1B表示出圖1A所示移動向量118,120與象素111,114及116之間的一維關(guān)系。圖1C表示出在三個圖象100,101,102,其中兩個為拍攝圖象100,102,一個為內(nèi)插圖象101的情況下,移動向量118,120與象素112-116之間的一維關(guān)系。將圖1B與圖1C進(jìn)行比較,顯然圖1A所描述的實例是一種特殊情況第一圖象101和第二圖象100為同一個圖象;象素111,113及115也是同一個象素。在圖2A中,所描述的遮斷檢測器200也工作于這種情況。
在圖1C中,概略地說明了后繼圖象象素之間的關(guān)系。它與向上轉(zhuǎn)換的情況相對應(yīng)內(nèi)插圖象101根據(jù)至少兩個原圖象100,102借助暫時內(nèi)插進(jìn)行計算。根據(jù)本發(fā)明的遮斷檢測器200用來確定這一內(nèi)插圖象101的象素是否處在遮斷區(qū)。遮斷檢測器200包括-移動向量選擇器202,其根據(jù)第一移動向量118與第二移動向量120之間的基本向量差從移動向量組中選出第一移動向量118和第二移動向量120;-象素數(shù)值比較器206,其用來計算第一原圖象100第一象素115第一數(shù)值與第二原圖象102第二象素116第二數(shù)值之間的第一象素數(shù)值差,第一移動向量118從第一象素115到第二象素116,其還用來計算第一原圖象100第三象素113第三數(shù)值與第二原圖象102第四象素114第四數(shù)值之間的第二象素數(shù)值差,第二移動向量120從第三象素113到第四象素114;及-判定單元204,其通過檢驗是否第一象素數(shù)值差大于第一預(yù)定閾值以及第二象素數(shù)值差大于第二預(yù)定閾值來確定與第一移動向量118和第二移動向量120交叉點相對應(yīng)的內(nèi)插圖象101的特定象素112是否屬于遮斷區(qū)的其中之一。
象素112-116之間的關(guān)系由第一移動向量118和第二移動向量120給出。第一原圖象100與內(nèi)插圖象101間的時間差T1以及第二原圖象102與內(nèi)插圖象101間的時間差T2是非常重要的。例如,第一移動向量118指出了第一原圖象100與第二原圖象102象素之間的垂直偏移Vy(T1+T2)和水平偏移Vx(T1+T2),即在時間T1+T2期間的移動。假定T1=T2,那么就能夠很容易計算出第一原圖象100與內(nèi)插圖象101象素之間的垂直偏移Vy(T1)和水平偏移Vx(T1)為Vy(T1)=Vy(T1+T2)/2;Vx(T1)=Vx(T1+T2)/2。對其他數(shù)值的T1和T2,可以進(jìn)行類似的計算。因此,給定某一圖象中某一象素的坐標(biāo),借助移動向量和時間差值就能夠計算另一圖象中另一象素的坐標(biāo)。直接地應(yīng)用移動向量或計算分偏移就可以做到這點。例如-將移動向量118應(yīng)用到第一原圖象100的象素115上,就能直接求出第二原圖象102的象素116;
-將移動向量118的倒數(shù)應(yīng)用到第二原圖象102的象素116上,能夠直接求出第一原圖象100的象素115;-根據(jù)移動向量118和時間差T1及T2對分偏移進(jìn)行計算,用內(nèi)插圖象101的已知象素112能夠計算出第一原圖象100中的象素115;-根據(jù)移動向量118和時間差T1及T2對分偏移進(jìn)行計算,用內(nèi)插圖象101的已知象素112能夠計算出第二原圖象102中的象素116。
移動向量可從一象素開始,并在該象素終止或與其相交。如果兩個移動向量從一個象素開始或在一個象素終止,這種情況也可視為交叉。如果已經(jīng)計算了適當(dāng)象素的坐標(biāo),那么可以取出相應(yīng)的象素數(shù)值以便計算第一象素數(shù)值差和第二象素數(shù)值差。然后將這兩個象素數(shù)值差與預(yù)定閾值進(jìn)行比較。
圖2A概略地表示出遮斷檢測器200的實施方案,遮斷檢測器200包括-移動向量選擇器202,其根據(jù)第一移動向量118和第二移動向量120之間的基本向量差從移動向量組中選出第一移動向量118和第二移動向量120;-象素數(shù)值比較器206,其用來計算圖象100特定象素111特定數(shù)值與另一圖象102第二象素116第二數(shù)值之間的第一象素數(shù)值差,特定象素111與第二象素116之間的第一關(guān)系由第一移動向量118給出,其還用來計算圖象100特定象素111特定數(shù)值與另一圖象102第三象素114第三數(shù)值之間的第二象素數(shù)值差,特定象素111與第三象素114之間的第二關(guān)系由第二移動向量120給出;-判定單元204,其通過檢驗是否第一象素數(shù)值差大于第一預(yù)定閾值以及第二象素數(shù)值差大于第二預(yù)定閾值來確定特定象素111是否屬于遮斷區(qū)108,110的其中之一。
在第一輸入連接端210提供圖象,例如圖象100,102。在第二連接端208通過移動估算器(見圖3)提供移動向量,例如118,120。在輸出連接端212通過遮斷檢測器提供表示圖象100各象素的二進(jìn)制標(biāo)記,而不管它屬于遮斷區(qū),例如108,還是不屬于這一遮斷區(qū)。遮斷檢測器200的工作情況如關(guān)于圖1A的說明。
圖2B概略地表示出遮斷檢測器201的實施方案,遮斷檢測器201包括計算象素間距離的計算裝置214。移動向量選擇器202根據(jù)特定象素111,112與另一象素117間的距離來選擇第一移動向量118,象素117屬于第一移動向量118所對應(yīng)的特定象素組123。根據(jù)同樣原理進(jìn)行第二移動向量120的選擇。如果提供的移動向量組有幾個移動向量,那么得到選擇第一移動向量118和第二移動向量的選擇準(zhǔn)則就很重要。特定象素111,112與另一象素117之間的空間距離就是這樣的準(zhǔn)則。特定象素111,112與另一象素117間的空間距離比較小意味著,與特定象素組123相對應(yīng)的移動向量118是相關(guān)的。許多移動估算器,例如估算器300,是以塊為基礎(chǔ)的。這就意味著將圖象100分成為若干個塊,例如有8×8象素的塊。對這些塊中的每一塊都要估算出各自的移動向量。在以塊為基礎(chǔ)的移動估算器向遮斷檢測器201提供移動估算器組的情況下,就從特定象素111,112所屬塊的相鄰塊中選出第一移動向量118和/或第二移動向量120。另外,從特定象素111,112所屬塊中選出移動向量的概率也非常高。
圖2C概略地表示出遮斷檢測器203的實施方案,遮斷檢測器203包括計算移動向量,例如移動向量118,120出現(xiàn)頻率的計算裝置216。遮斷檢測器203用來確定移動向量組中移動向量的出現(xiàn)頻率并根據(jù)出現(xiàn)頻率來選擇第一移動向量118。第二移動向量120也根據(jù)同樣的原理選擇。計算出現(xiàn)頻率的計算裝置216計算出一個二維的移動向量直方圖,其中一個維度對應(yīng)于第一方向上,例如水平方向上的轉(zhuǎn)換,而另一維度對應(yīng)于與第一方向交叉的第二方向上的轉(zhuǎn)換。二維移動向量直方圖中的第一局部最大值對應(yīng)于第一移動向量118,二維移動向量直方圖中的第二局部最大值對應(yīng)于第二移動向量120。計算象素間距離的計算裝置214為可選裝置,但是最好是考慮與象素組相應(yīng)的象素之間的距離。這點在二維移動向量直方圖包括不止兩個局部最大值的情況下特別重要。選擇的不是與局部最大值相對應(yīng)的移動向量,而是其數(shù)值與對應(yīng)于局部最大值之移動向量數(shù)值相接近的移動向量也是可能的。
圖2D概略地表示出遮斷檢測器205的實施方案,遮斷檢測器205包括確定第一預(yù)定閾值的測量單元218。第一預(yù)定閾值和第二預(yù)定閾值受遮斷檢測器218的靈敏度的影響。假定在第二輸入連接端208提供的移動向量根據(jù)象素的亮度值進(jìn)行計算,而且亮度值范圍在0-255。那么第一預(yù)定閾值也在0-255范圍內(nèi)。如果第一預(yù)定閾值比較低,那么,不在遮斷區(qū)108,110的象素被錯誤地標(biāo)記成在遮斷區(qū)108,110的概率就高。另一方面,如果第一預(yù)定閾值比較高,那么,在遮斷區(qū)的象素被錯誤地標(biāo)記成在遮斷區(qū)的概率就高。通過測量例如圖象100的噪聲水平,或?qū)Ρ榷然蝾l率特性,可以推導(dǎo)出第一預(yù)定閾值的適當(dāng)數(shù)值。同樣,可以推導(dǎo)出第二預(yù)定閾值的適當(dāng)數(shù)值。測量可以以必須對其遮斷區(qū)108,110進(jìn)行檢測的圖象100為基礎(chǔ)。對其圖象,例如圖象102也能夠進(jìn)行這些測量。計算象素數(shù)值的標(biāo)準(zhǔn)偏差或快速傅里葉變換可以用來得到第一和第二預(yù)定閾值。計算出現(xiàn)頻率的裝置216和計算象素間距離的裝置214為了選裝置。
圖2E概略地表示出遮斷非檢測器207的實施方案,遮斷檢測器207包括關(guān)閉間隙濾波器220。判定單元204的輸出為二進(jìn)制標(biāo)記,其對圖象100的每個象素指示出該象素是否屬于遮斷區(qū),例如遮斷區(qū)108,還是不屬于這一遮斷區(qū)。這個二進(jìn)制標(biāo)記用關(guān)閉間隙濾波器220進(jìn)行后處理。關(guān)閉間隙濾波器220工作情況如下。屬于遮斷區(qū)的象素定值為1,不屬于遮斷區(qū)的象素定值為0。定值為1的象素被關(guān)閉間隙濾波器220保留。如果在高層為H,寬度為W的感興趣區(qū)域內(nèi),在“0定值”象素的左側(cè)和右側(cè)至少有9個數(shù)值為1的象素,那么關(guān)閉間隙濾波器220就把“0定值”象素改成“1定值”象素。
圖3概略地表示出根據(jù)本發(fā)明移動估算器300的實施方案,移動估算器300包括-移動向量估算器302,用來計算某一圖象,例如圖象100的各象素組的移動向量組;-遮斷檢測器314,其根據(jù)移動向量組來檢測圖象100中的遮斷區(qū);及-移動向量分配單元304,其根據(jù)遮斷檢測器200,201,203,205,207的輸出將特定移動向量分配給特定象素111,112。
移動向量估算器302的工作情況,例如,如G.de.Hann等人的文章“使用3-D遞回搜索塊匹配的真移動估算”中所述。該文在IEEE學(xué)報關(guān)于電視技術(shù)的電路和系統(tǒng)部分,1993.10第3卷,第5期,368-379頁。其他移動估算器也是可能的。遮斷檢測器314的工作情況分別如關(guān)于圖2A,2B,2C,2D,2E描述。移動向量分配單元304包括前景/背景檢測器,例如,如在申請?zhí)朎P 0104647(代理人附案號PHNL 010095EEP)下提出的國際專利申請文件中所說明的或D.Gao,J.Zhou和L.Xin在ICIP學(xué)報2001年395-398頁的文章“自適應(yīng)背景估算的新算法”中所說明的前景/背景檢測器。移動向量分配單元304要確定標(biāo)記成為部分遮斷區(qū)108,110的象素是處在下一圖象102中將被遮蓋的區(qū)域108還是處在下一圖象102中將被顯露的區(qū)域110。這分別相應(yīng)于屬于背景或前景。由后一種分類型式所決定,移動向量分配單元304將移動向量分配給被標(biāo)記成為是部分遮斷區(qū)108,110的象素。這一移動向量可能是例如第一移動向量118或第二移動向量120。注意,雖然已經(jīng)確定了第一移動向量118和第二移動向量120是不正確的,但是它們對進(jìn)一步的處理還是合適的。它們不正確,因為它們不代表實際的物理事件某事為另一事所取代。移動向量是同一對象移動的表示。第一移動向量118或第二移動向量120可能是合適的,因為通過利用這兩個移動向量其中的一個向量就可以計算出基本正確的重新定時象素,例如在向上轉(zhuǎn)換的情況下就是如此。
圖4概略地表示出圖象處理設(shè)備400的元件,該設(shè)備包括-接收裝置401,用來在已完成某種處理之后接收代表要顯示圖象的信號。信號可以是通過無線或電線接收的廣播信號,但也可以是來自存儲裝置像VCR(盒式錄像機)或數(shù)字視頻光盤(DVD)的信號。在輸入端407提供信號。
-移動估算器單元300,如關(guān)于圖3所述;-移動補償圖象處理單元403;及-顯示裝置405,用來顯示處理過的圖象。此顯示裝置為可選裝置。
移動補償圖象處理單元403要求圖象和移動向量作為其輸入。
應(yīng)當(dāng)指出,上述實施方案說明的不是對本發(fā)明的限制,本領(lǐng)域中的熟練技術(shù)人員將能夠設(shè)計出其他的實施方案而又不偏離所附權(quán)利要求的范圍。在權(quán)利要求中,置于括號內(nèi)的任何參考符號都不構(gòu)成對權(quán)利要求的限制。詞語“包括”并不排除未列在權(quán)利要求中之元件或步驟的存在。元件前面的詞語“一個”并不排除多個這類元件的存在。本發(fā)明通過包括幾個不同元件的硬件以及適合的編程計算機來實現(xiàn)。在列舉幾個裝置的單元權(quán)利要求中,這幾個裝置可以由同一個硬件來體現(xiàn)。某些功能分配在幾個裝置上也是可能的。例如可能有兩個象素數(shù)值比較器而不是一個。
權(quán)利要求
1.遮斷檢測器(200,201,203,205,207),根據(jù)一組移動向量(118,120)來檢測第一圖象(101)中的遮斷區(qū)(110),其中第一圖象(101)屬于一系列連續(xù)的圖象(100,101,102),其特征在于遮斷檢測器(200,201,203,205,207)包括-移動向量選擇器(202),其根據(jù)第一移動向量(118)與第二移動向量(120)之間的基本向量差從移動向量組中選出第一移動向量(118)和第二移動向量(120);-象素數(shù)值比較器(206),其用來計算第二圖象(100)的第一象素(115)的第一數(shù)值與第三圖象(102)的第二象素(116)的第二數(shù)值之間的第一象素數(shù)值差,其中第一象素(115)與第二象素(116)之間的第一關(guān)系由第一移動向量(118)給出,其還用來計算第二圖象的第三象素(113)的第三數(shù)值與第三圖象(102)的第四象素(114)的第四數(shù)值之間的第二象素數(shù)值差,其中第三象素(113)與第四象素(114)之間的第二關(guān)系由第二移動向量(120)給出;及-判定單元(204),其通過檢驗是否第一象素數(shù)值差大于第一預(yù)定閾值及第二象素數(shù)值差大于第二預(yù)定閾值來確定對應(yīng)于第一移動向量(118)與第二移動向量(120)交叉點的第一圖象(101)的特定象素(112)是否屬于遮斷區(qū)(108,110)的其中之一。
2.按權(quán)利要求1中所要求的遮斷檢測器(201),其特征在于,移動向量選擇器(202)根據(jù)特定象素(112)與另一象素(117)間的距離來選擇第一移動向量(118),象素(117)屬于第一移動向量(118)所對應(yīng)的特定象素組(123)。
3.權(quán)利要求1所要求的遮斷檢測器(203),其特征在于,移動向量選擇器(202)用來確定移動向量組中的移動向量的出現(xiàn)頻率并根據(jù)出現(xiàn)頻率選出第一移動向量(118)。
4.按權(quán)利要求1中所要求的遮斷檢測器,其特征在于,象素數(shù)值比較器(206)用來計算第一數(shù)值與第二數(shù)值間的絕對差值。
5.按權(quán)利要求1中所要求的遮斷檢測器(200,201,203,205,207),其特征在于移動向量選擇器(202)用來從移動向量組中選出第一移動向量(118),其中移動向量組包括對第一圖象和第三圖象各自象素組所估算的移動向量。
6.按權(quán)利要求1中所要求的遮斷檢測器(205),其特征在于,遮斷檢測器(205)包括確定第一預(yù)定閾值的測量單元(218)。
7.根據(jù)一組移動向量(118,120)檢測第一圖象(101)中遮斷區(qū)(108,110)的方法,其中第一圖象(101)屬于一系列連續(xù)圖象(100,101,102),其特征在于,該方法包括-移動向量選擇步驟(202),其根據(jù)第一移動向量(118)與第二移動向量(120)之間的基本向量差從移動向量組中選出第一移動向量(118)和第二移動向量(120);-象素數(shù)值比較步驟(206),其用來計算第二圖象(100)的第一象素(115)的第一數(shù)值與第三圖象(102)的第二象素(116)的第二數(shù)值之間的第一象素數(shù)值差,其中第一象素(115)與第二象素(116)之間的第一關(guān)系由第一移動向量(118)給出,其還用來計算第二圖象的第三象素(113)的第三數(shù)值與第三圖象(102)的第四象素(114)第四數(shù)值之間的第二象素數(shù)值差,其中第三象素(113)與第四象素(114)之間的第二關(guān)系由第二移動向量(120)給出;及-判定步驟(204),其通過檢驗是否第一象素數(shù)值差大于第一預(yù)定閾值和第二象素數(shù)值差大于第二預(yù)定閾值來確定對應(yīng)于第一移動向量(118)與第二移動向量(120)交叉點的第一圖象的特定象素(112)是否屬于遮斷區(qū)(108,110)的其中之一。
8.移動估算器(300),包括一移動向量估算器(302),用來計算移動向量組;-遮斷檢測器(200,201,203,205,207),其根據(jù)移動向量組來檢測第一圖象(101)中的遮斷區(qū)(108,110);及-移動向量分配單元(304),其根據(jù)遮斷檢測器(200,201,203,205,207)的輸出將特定移動向量分配給特定象素(112),其特征在于,遮斷檢測器(200,201,203,205,207)包括-移動向量選擇器(202),其根據(jù)第一移動向量(118)與第二移動向量(120)之間的基本向量差從移動向量組中選出第一移動向量(118)和第二移動向量(120);-象素數(shù)值比較器(206),其用來計算第二圖象(100)的第一象素(115)的第一數(shù)值與第三圖象(102)的第二象素(116)的第二數(shù)值之間的第一象素數(shù)值差,其中第一象素(115)與第二象素(116)之間的第一關(guān)系由第一移動向量(118)給出,其還用來計算第二圖象的第三象素(113)的第三數(shù)值與第三圖象(102)的第四象素(114)的第四數(shù)值之間的第二象素數(shù)值差,其中第三象素(113)與第四象素(114)之間的第二關(guān)系由第二移動向量(120)給出;及-判定單元(204),其通過檢驗是否第一象素數(shù)值差大于第一預(yù)定閾值和第二象素數(shù)值差大于第二預(yù)定閾值來確定對應(yīng)于第一移動向量(118)與第二移動向量(120)交叉點的第一圖象的特定象素(112)是否屬于遮斷區(qū)(108,110)的其中之一。
9.圖象處理設(shè)備(400),包括-接收裝置(401),其接收代表要顯示第一圖象(101)的信號;-移動估算器(300),其包括根據(jù)移動向量組(118,120)來檢測第一圖象(101)中遮斷區(qū)(108,110)的遮斷檢測器(200,201,203,205,207),其中第一圖象(101)屬于一系列連續(xù)圖象(100,101,102);及-移動補償圖象處理單元(403),其特征在于,遮斷檢測器(200,201,203,205,207)包括-移動向量選擇器(202),其根據(jù)第一移動向量(118)與第二移動向量(120)之間的基本向量差從移動向量組中選出第一移動向量(118)和第二移動向量(120);-象素數(shù)值比較器(206),其用來計算第二圖象(100)的第一象素(115)的第一數(shù)值與第三圖象(102)的第二象素(116)的第二數(shù)值之間的第一象素數(shù)值差,其中第一象素(115)與第二象素(116)之間的第一關(guān)系由第一移動向量(118)給出,其還用來計算第二圖象的第三象素(113)的第三數(shù)值與第三圖象(102)的第四象素(114)的第四數(shù)值之間的第二象素數(shù)值差,其中第三象素(113)與第四象素(114)之間的第二關(guān)系由第二移動向量(120)給出;及-判定單元(204),其通過檢驗是否第一象素數(shù)值差大于第一預(yù)定閾值和第二象素數(shù)值差大于第二預(yù)定閾值來確定對應(yīng)于第一移動向量(118)與第二移動向量(120)交叉點的第一圖象的特定象素(112)是否屬于遮斷區(qū)(108,110)的其中之一。
全文摘要
用于檢測圖象(100)中遮斷區(qū)(108,110)的遮斷檢測器(200,201,203,205,207)包括移動向量選擇器(202),選擇器從一組移動向量中選擇至少兩個移動向量(118,120)。它還包括象素數(shù)值比較器(206),用來計算圖象(100)之特定象素(112)的特定數(shù)值與另一圖象(102)之第二象素(116)的第二數(shù)值以及第三象素(114)的第三數(shù)值之間的第一象素數(shù)值差和第二象素數(shù)值差。遮斷檢測器(200,201,203,205,207)還包括判定單元(204),其分別通過檢驗第一和第二象素數(shù)值差是否大于第一預(yù)定閾值和第二預(yù)定閾值來決定該特定象素(112)是否屬于遮斷區(qū)(108,110)其中之一。
文檔編號G06T7/20GK1582582SQ02822030
公開日2005年2月16日 申請日期2002年10月24日 優(yōu)先權(quán)日2001年11月7日
發(fā)明者M·J·W·梅坦斯 申請人:皇家飛利浦電子股份有限公司