專利名稱：具有電影模式適應(yīng)性的運(yùn)動(dòng)補(bǔ)償去交錯(cuò)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種利用至少一個(gè)用于內(nèi)插像素的估計(jì)運(yùn)動(dòng)矢量來(lái)去交錯(cuò)混合視頻序列的方法、顯示設(shè)備和計(jì)算機(jī)程序。
去交錯(cuò)是高端視頻顯示系統(tǒng)主分辨率的確定，大量浮現(xiàn)的非線性定標(biāo)技術(shù)只能給高端視頻顯示系統(tǒng)增加更細(xì)微的細(xì)節(jié)。隨著像液晶顯示器(LCD)和等離子顯示器(PDP)新技術(shù)的出現(xiàn)，圖像分辨率上的局限性就不再是顯示設(shè)備本身，而是源系統(tǒng)或傳輸系統(tǒng)。同時(shí)，這些顯示器要求逐行(progressively)掃描視頻輸入。因此，在這樣的顯示設(shè)備中，高質(zhì)量去交錯(cuò)是高級(jí)圖像質(zhì)量的一個(gè)重要的先決條件。
人們最先了解去交錯(cuò)是從P.Delonge等人的“ImprovedInterpolation，Motion Estimation and Compensation for InterlacedPictures”，IEEE Tr.on Im.Proc.第3卷第5期第482頁(yè)至第491頁(yè)，1994年9月。為了從交錯(cuò)序列中獲得逐行掃描，去交錯(cuò)算法被應(yīng)用。作為去交錯(cuò)算法輸入的交錯(cuò)視頻序列，是奇偶相位交替的一連串視場(chǎng)。
Delonge建議只使用垂直內(nèi)插器，這樣只在y方向上使用內(nèi)插器。
在這個(gè)方法中，提出一個(gè)廣義采樣原理GST濾波器。當(dāng)使用一階線性內(nèi)插器時(shí)，GST濾波器有三個(gè)抽頭。該內(nèi)插器利用幀格上的兩個(gè)相鄰像素。將樣本從前一時(shí)間幀移動(dòng)到當(dāng)前時(shí)間幀就完成了濾波器系數(shù)的導(dǎo)出。同樣的，用于一階線性內(nèi)插器的線性區(qū)域開(kāi)始于運(yùn)動(dòng)補(bǔ)償樣本位置。當(dāng)把線性區(qū)域集中到最近的原始樣本和運(yùn)動(dòng)補(bǔ)償樣本兩者間距的中心時(shí)，所得到的GST濾波器可有4個(gè)抽頭。因此，GST濾波器的魯棒性得到了增強(qiáng)。這也已知于E.B.Bellers和G.de Haan的“De-interlacinga key technology for scan rate conversion”，ElsevierScience叢書“Advances in Image Communications”，第9卷，2000年。
水平內(nèi)插法和GST垂直內(nèi)插法在一個(gè)2維不可分的GST濾波器中的結(jié)合導(dǎo)致一個(gè)魯棒性更好的內(nèi)插器。由于視頻信號(hào)是時(shí)間和兩個(gè)空間方向的函數(shù)，所以兩個(gè)空間方向都處理的去交錯(cuò)導(dǎo)致一個(gè)更好的內(nèi)插。圖像質(zhì)量被提高了。用在該內(nèi)插法中的像素的分布比僅垂直內(nèi)插的分布更緊湊。這就意味著用于內(nèi)插的像素被定位于在空間上更接近被內(nèi)插的像素。從內(nèi)插補(bǔ)入的區(qū)域像素可以更少。通過(guò)利用基于GST的去交錯(cuò)，內(nèi)插器的性價(jià)比提高了，其中所述基于GST的去交錯(cuò)利用水平和垂直兩個(gè)方向上的相鄰像素。
可從視頻信號(hào)中像素的運(yùn)動(dòng)分量得到運(yùn)動(dòng)矢量。運(yùn)動(dòng)矢量表示視頻信號(hào)中像素的運(yùn)動(dòng)方向。輸入像素的當(dāng)前視場(chǎng)可以是一組像素，這些像素被當(dāng)前瞬時(shí)顯示或被在視頻信號(hào)中接收。根據(jù)內(nèi)插參數(shù)，通過(guò)對(duì)輸入像素的亮度值和色度值加權(quán)可以得到該輸入像素的一個(gè)加權(quán)和。
與垂直GST濾波器內(nèi)插相結(jié)合在水平方向進(jìn)行內(nèi)插，可得到一個(gè)10抽頭濾波器。這可被稱為1維GST，4抽頭內(nèi)插器，這里4僅指垂直方向的GST濾波器。如上所述的線性區(qū)域可由一個(gè)2維線性區(qū)域定義用于垂直和水平內(nèi)插。數(shù)學(xué)上，這可以通過(guò)找到該頻譜的一個(gè)互逆點(diǎn)陣來(lái)實(shí)現(xiàn)，用一個(gè)簡(jiǎn)單等式公式化f→x→=1]]>在此f→=(fh,fv)]]>是在x→(x,y)]]>方向上的頻率。該線性區(qū)域是對(duì)角線等于一個(gè)像素大小的正方形。在2維情況下，點(diǎn)陣的位置可在水平方向上被自由移動(dòng)。三角波內(nèi)插器的中心位置可處在水平方向x+p+δx，其中p是一個(gè)任意整數(shù)。通過(guò)移動(dòng)2維線性區(qū)域，GST濾波器在水平方向上的孔徑可被增大。通過(guò)將三角波內(nèi)插器中心的垂直坐標(biāo)移動(dòng)到y(tǒng)+m位置，可以實(shí)現(xiàn)一個(gè)5抽頭內(nèi)插器。
圖2分別描述了一個(gè)在頻率域的互逆點(diǎn)陣12和一個(gè)在空間域的相應(yīng)點(diǎn)陣。目前點(diǎn)陣12定義的線性區(qū)域是一個(gè)平行四邊形。在 方向上間距為 的像素之間建立了一種線性關(guān)系。此外，在一維內(nèi)插器中所用的三角內(nèi)插器可以采用錐形內(nèi)插器的形狀。在垂直和水平方向上移動(dòng)線性區(qū)域會(huì)導(dǎo)致不同數(shù)目的濾波器抽頭。尤其是，如果錐狀濾波器被集中在(x+p，y)位置，其中p是任意整數(shù)，那么就可產(chǎn)生1維的情況。
通常，在已有的視頻素材中區(qū)分三種不同的視頻模式是可能的。所謂的50Hz電影模式包括源于相同圖像的兩個(gè)連續(xù)視場(chǎng)對(duì)。這種電影模式也被稱為2-2幀頻轉(zhuǎn)換(2-2pull-down)模式。當(dāng)一個(gè)速率為25畫面/秒的電影放到50Hz的電視上播放時(shí)，這種模式經(jīng)常出現(xiàn)。如果已知哪些視場(chǎng)屬于同一個(gè)圖像，那么去交錯(cuò)迫使視場(chǎng)插入。
在電源為60Hz的國(guó)家中，電影以24畫面/秒的速率播放。在這種情況下，需要所謂的3-2幀頻轉(zhuǎn)換(3-2pull-down)模式用于在電視上播放電影。在這種情況下，連續(xù)單個(gè)視場(chǎng)圖像分別在3個(gè)視場(chǎng)和2個(gè)視場(chǎng)中被重復(fù)，結(jié)果平均比例為60/24＝2.5。此外，如果已知重復(fù)模式，那么一個(gè)視場(chǎng)插入可被施用于去交錯(cuò)。
如果一個(gè)電影的任意兩個(gè)連續(xù)視場(chǎng)屬于不同的圖像，那么序列處于視頻模式中，并且必須利用特定算法來(lái)應(yīng)用去交錯(cuò)以用來(lái)獲得一個(gè)逐行序列。
在一個(gè)序列中電影模式和視頻模式聯(lián)合出現(xiàn)也是已知的。在這樣一個(gè)所謂的混合模式中，必須使用不同的去交錯(cuò)方法。在一個(gè)混合模式中，序列的一些區(qū)域?qū)儆谝曨l模式，而互補(bǔ)區(qū)域?qū)儆陔娪澳Ｊ?。如果使用視?chǎng)插入來(lái)去交錯(cuò)一個(gè)混合序列，所得到的結(jié)果序列在視頻模式區(qū)域中顯示出所謂的齒狀假象(teeth artifact)。另一方面，如果使用了一個(gè)視頻去交錯(cuò)算法，在電影模式區(qū)域中就會(huì)引入討厭的假象，例如閃爍。
在美國(guó)專利US6,340,990中，描述了去交錯(cuò)混合序列。公開(kāi)了一種方法，該方法建議利用多運(yùn)動(dòng)檢測(cè)器去區(qū)別不同模式并相應(yīng)地適應(yīng)去交錯(cuò)。因?yàn)樗ㄗh的方法沒(méi)有利用運(yùn)動(dòng)補(bǔ)償，所以在運(yùn)動(dòng)視頻部分的效果很差。
因此，本發(fā)明的目的在于提供能夠提供高的質(zhì)量效果的混合視頻序列去交錯(cuò)。本發(fā)明的另一個(gè)目的在于提供一個(gè)用于混合視頻序列的去交錯(cuò)，考慮在場(chǎng)景中的視頻模式和運(yùn)動(dòng)。
本發(fā)明的這些和其它目的是通過(guò)利用至少一個(gè)用于內(nèi)插入像素的估計(jì)運(yùn)動(dòng)矢量來(lái)去交錯(cuò)一個(gè)混合視頻序列的方法實(shí)現(xiàn)的，包括步驟為第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量定義值，利用前一圖像的至少一個(gè)像素和所述第一運(yùn)動(dòng)矢量計(jì)算至少一個(gè)第一像素，利用下一圖像的至少一個(gè)像素和一個(gè)第二運(yùn)動(dòng)矢量計(jì)算至少一個(gè)所述第二像素，通過(guò)對(duì)至少一個(gè)所述第一像素和至少一個(gè)所述第二像素進(jìn)行比較來(lái)計(jì)算所述第一和所述第二運(yùn)動(dòng)矢量的可靠性，所述第一和所述第二運(yùn)動(dòng)矢量被預(yù)定義用以計(jì)算可靠性，并且為已經(jīng)證明對(duì)于去交錯(cuò)所述圖像是最可靠的運(yùn)動(dòng)矢量估計(jì)一個(gè)實(shí)際值。
本發(fā)明方法的一個(gè)優(yōu)點(diǎn)在于可以檢測(cè)到不同模式，并且去交錯(cuò)可被適應(yīng)于各自模式。可以給一個(gè)去交錯(cuò)器提供一個(gè)電影/視頻模式適應(yīng)性。同樣，運(yùn)動(dòng)補(bǔ)償也可用于去交錯(cuò)。已經(jīng)發(fā)現(xiàn)對(duì)于運(yùn)動(dòng)補(bǔ)償去交錯(cuò)，必須弄清楚運(yùn)動(dòng)矢量相對(duì)于前一視場(chǎng)和下一視場(chǎng)之間的關(guān)系。對(duì)于一個(gè)像素塊，可通過(guò)將已計(jì)算的像素和取自前一視場(chǎng)、下一視場(chǎng)的運(yùn)動(dòng)矢量進(jìn)行比較并通過(guò)比較這些像素來(lái)計(jì)算一個(gè)序列的視頻模式。根據(jù)像素塊的模式，不同運(yùn)動(dòng)矢量產(chǎn)生不同結(jié)果，并可計(jì)算可靠性。
如果一個(gè)序列處于視頻模式，那么前一視場(chǎng)和下一視場(chǎng)的運(yùn)動(dòng)矢量的絕對(duì)值相等，并且運(yùn)動(dòng)矢量被反向，這時(shí)假設(shè)在兩視場(chǎng)期間呈線性運(yùn)動(dòng)。這意味著v→n=-v→p.]]>如果該序列處于電影模式，那么或者v→n=0→]]>并且v→p≠0→,]]>或者v→n≠0→]]>并且v→p=0→.]]>最后，如果該序列包括一個(gè)非運(yùn)動(dòng)的物體，或者如果該序列處于3-2幀頻轉(zhuǎn)換階段中的一個(gè)階段，那么v→n=v→p=0→.]]>因此，運(yùn)動(dòng)矢量可被預(yù)定義以解釋不同模式。利用這些預(yù)定義的運(yùn)動(dòng)矢量，可從前一圖像和下一圖像計(jì)算像素。通過(guò)比較這些像素，可以發(fā)現(xiàn)所計(jì)算的像素對(duì)于哪些預(yù)定義運(yùn)動(dòng)矢量相等或相似，又對(duì)于哪些預(yù)定義運(yùn)動(dòng)矢量不同。對(duì)于這些運(yùn)動(dòng)矢量，其中所計(jì)算的像素之間的差值是最小的，相應(yīng)模式可被估計(jì)出。
用來(lái)推導(dǎo)第一矢量和第二矢量的預(yù)定義值可從所述估計(jì)矢量中來(lái)定義。
由于理論上，去交錯(cuò)當(dāng)前視場(chǎng)可用前一視場(chǎng)，同樣也可用下一視場(chǎng)，所以就可以檢查出對(duì)于上述情形中的哪一種情形下兩個(gè)去交錯(cuò)結(jié)果彼此是最相似的。通過(guò)逐塊地構(gòu)造判定，使當(dāng)前視場(chǎng)和用于去交錯(cuò)最優(yōu)化的3視場(chǎng)運(yùn)動(dòng)估計(jì)量相結(jié)合是可能的。
基于廣義采樣原理，包括具有運(yùn)動(dòng)補(bǔ)償去交錯(cuò)器的模式檢測(cè)是可能的。因此，對(duì)于一個(gè)廣義采樣原理去交錯(cuò)算法，電影檢測(cè)可以被最優(yōu)化。不過(guò)，仍可應(yīng)用任何其他去交錯(cuò)算法。
根據(jù)權(quán)利要求2和權(quán)利要求3，可使用運(yùn)動(dòng)矢量之間的關(guān)系。更具體而言，運(yùn)動(dòng)矢量可被反向。通過(guò)這樣，可檢測(cè)視頻模式，因?yàn)樵谝曨l模式之內(nèi)具有線性運(yùn)動(dòng)，v→n=-v→p.]]>如果運(yùn)動(dòng)矢量對(duì)于預(yù)定義值彼此相關(guān)，那么在視頻模式中這兩像素彼此最相似。對(duì)于其它模式，將運(yùn)動(dòng)矢量預(yù)定義為彼此相關(guān)，導(dǎo)致從這些運(yùn)動(dòng)矢量計(jì)算出的像素之間的差值更大。預(yù)定義的矢量可分別是-1和1，并且第一和第二矢量可從所估計(jì)的矢量和其預(yù)定義值相乘得到。
當(dāng)使用根據(jù)權(quán)利要求4的方法時(shí)，電影模式可被檢測(cè)到，因?yàn)樵谝曨l模式中至少2個(gè)連續(xù)的圖像是彼此的一個(gè)拷貝，于是運(yùn)動(dòng)矢量是零。另一個(gè)運(yùn)動(dòng)矢量可擁有一個(gè)與零矢量不同的值。這意味著預(yù)定義值可是1或0。
為了分析一個(gè)序列的模式，提出了權(quán)利要求5中的方法。通過(guò)為不同的估計(jì)運(yùn)動(dòng)矢量計(jì)算一個(gè)誤差準(zhǔn)則，可檢測(cè)出序列的模式。因此，基于取自當(dāng)前視場(chǎng)的像素、取自前一視場(chǎng)在所述第一運(yùn)動(dòng)矢量上移動(dòng)的像素以及取自下一視場(chǎng)在所述第二運(yùn)動(dòng)矢量上移動(dòng)的像素來(lái)計(jì)算第一誤差準(zhǔn)則是可能的。第二運(yùn)動(dòng)矢量可以是第一運(yùn)動(dòng)矢量的逆矢量。此外，基于取自當(dāng)前視場(chǎng)的像素、取自前一視場(chǎng)在所述第一運(yùn)動(dòng)矢量上移動(dòng)的像素以及取自下一視場(chǎng)在所述具有零值的第二運(yùn)動(dòng)矢量上移動(dòng)的像素可以計(jì)算第二誤差準(zhǔn)則。基于取自當(dāng)前視場(chǎng)的像素、取自前一視場(chǎng)在所述具有零值的第一運(yùn)動(dòng)矢量上移動(dòng)的像素以及取自下一視場(chǎng)在所述第二運(yùn)動(dòng)矢量上移動(dòng)的像素還可以計(jì)算第三誤差準(zhǔn)則?；谌∽援?dāng)前視場(chǎng)的像素、取自前一視場(chǎng)在所述具有零值的第一運(yùn)動(dòng)矢量上移動(dòng)的像素以及取自下一視場(chǎng)在所述具有零值的第二運(yùn)動(dòng)矢量上移動(dòng)的像素還可以計(jì)算第四誤差準(zhǔn)則。
如果第一誤差準(zhǔn)則是最小值，視頻模式可能被檢測(cè)到，并可從當(dāng)前視場(chǎng)中的像素、在前一視場(chǎng)中在所述第一運(yùn)動(dòng)矢量上移動(dòng)的像素和在下一視場(chǎng)中在所述第二運(yùn)動(dòng)矢量上移動(dòng)的像素來(lái)計(jì)算被內(nèi)插的像素，第二運(yùn)動(dòng)矢量是第一運(yùn)動(dòng)矢量的逆矢量。
如果第二誤差準(zhǔn)則是最小值，電影模式可能被檢測(cè)到，并可從當(dāng)前視場(chǎng)中的像素、在前一視場(chǎng)中在第一運(yùn)動(dòng)矢量上移動(dòng)的像素和在下一視場(chǎng)中在零運(yùn)動(dòng)矢量上移動(dòng)的像素來(lái)計(jì)算被內(nèi)插的像素。
在第三誤差準(zhǔn)則是最小值的情況，視頻模式可能再被檢測(cè)到，并可從當(dāng)前視場(chǎng)中的像素、在前一視場(chǎng)中在零運(yùn)動(dòng)矢量上移動(dòng)的像素和在下一視場(chǎng)中在第二運(yùn)動(dòng)矢量上移動(dòng)的像素來(lái)計(jì)算被內(nèi)插的像素。
最后，如果第四誤差準(zhǔn)則是最小值，零模式可能被檢測(cè)到，并可從當(dāng)前視場(chǎng)中的像素、在前一視場(chǎng)中在零運(yùn)動(dòng)矢量上移動(dòng)的像素和在下一視場(chǎng)中在零運(yùn)動(dòng)矢量上移動(dòng)的像素來(lái)計(jì)算被內(nèi)插的像素。
每個(gè)誤差準(zhǔn)則定義一種不同的模式，并且可被用來(lái)計(jì)算合適的被內(nèi)插的圖像。根據(jù)哪一種模式被檢測(cè)到，不同的運(yùn)動(dòng)矢量及其不同值可被用來(lái)去交錯(cuò)圖像，取得最好的效果。
為了找到誤差準(zhǔn)則，提出了權(quán)利要求6的方法。通過(guò)計(jì)算一個(gè)像素塊上的絕對(duì)和，不止一個(gè)像素可考慮用于估計(jì)正確模式。
根據(jù)權(quán)利要求7的方法考慮懲罰某個(gè)誤差準(zhǔn)則。通過(guò)對(duì)結(jié)果增加一個(gè)偏差，可以通過(guò)各自的誤差準(zhǔn)則來(lái)懲罰一個(gè)被檢測(cè)到的但不是每個(gè)圖像的主要模式的模式或由于其他一些原因是最不想要的模式的模式。如果有偏差的誤差準(zhǔn)則仍然是最小值，那么就應(yīng)用合適的去交錯(cuò)。
根據(jù)權(quán)利要求8，可解釋在直接相鄰的時(shí)空環(huán)境中的矢量模式。如果為當(dāng)前塊所計(jì)算的誤差準(zhǔn)則與時(shí)空相鄰的誤差準(zhǔn)則不一致，那么為當(dāng)前塊所計(jì)算的誤差準(zhǔn)則通過(guò)增加一個(gè)偏差而被懲罰。只有在這個(gè)誤差準(zhǔn)則在帶有這個(gè)懲罰時(shí)仍然是最小值之時(shí)，才可以應(yīng)用合適的去交錯(cuò)。
本發(fā)明的另一方面是一種用于顯示一個(gè)已去交錯(cuò)的視頻信號(hào)的顯示設(shè)備，包括為第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量定義值的定義裝置，利用前一圖像的至少一個(gè)像素和所述第一運(yùn)動(dòng)矢量來(lái)計(jì)算至少一個(gè)第一像素的第一計(jì)算裝置，利用下一圖像的至少一個(gè)像素和所述第二運(yùn)動(dòng)矢量來(lái)計(jì)算至少一個(gè)第二像素的第二計(jì)算裝置，通過(guò)將至少所述第一像素和至少所述第二像素進(jìn)行比較來(lái)計(jì)算所述第一和所述第二運(yùn)動(dòng)矢量的可靠性的第三計(jì)算裝置，所述第一和所述第二運(yùn)動(dòng)矢量被預(yù)定義用以計(jì)算可靠性，以及為已經(jīng)證明對(duì)于去交錯(cuò)所述圖像是最可靠的運(yùn)動(dòng)矢量估計(jì)一個(gè)實(shí)際值的估計(jì)裝置。
本發(fā)明還有一個(gè)方面是一種用于去交錯(cuò)一個(gè)視頻信號(hào)的計(jì)算機(jī)程序，可操作地使處理器為第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量定義值，利用前一圖像的至少一個(gè)像素和所述第一運(yùn)動(dòng)矢量來(lái)計(jì)算至少一個(gè)第一像素，利用下一圖像的至少一個(gè)像素和所述第二運(yùn)動(dòng)矢量來(lái)計(jì)算至少一個(gè)第二像素，通過(guò)將至少所述第一像素和至少所述第二像素進(jìn)行比較計(jì)算所述第一和所述第二運(yùn)動(dòng)矢量的可靠性，所述第一和所述第二運(yùn)動(dòng)矢量被預(yù)定義用以計(jì)算可靠性，和為已經(jīng)證明對(duì)于去交錯(cuò)所述圖像是最可靠的一個(gè)運(yùn)動(dòng)矢量估計(jì)一個(gè)實(shí)際值。
參照下圖，本發(fā)明的這些和其它方面將是顯而易見(jiàn)的，并將被說(shuō)明。在附圖中示出

圖1是一個(gè)GST去交錯(cuò)；圖2是一個(gè)線性區(qū)域；圖3是一個(gè)用GST運(yùn)動(dòng)補(bǔ)償去交錯(cuò)的去交錯(cuò)的線性區(qū)域網(wǎng)格；圖4a是一個(gè)視頻模式；圖4b是一個(gè)電影模式；圖4c是另一個(gè)電影模式；圖4d是一個(gè)零模式。
一種可能的去交錯(cuò)方法也被稱為廣義采樣原理(GST)去交錯(cuò)方法。該方法在圖1中被描述。圖1示出了一個(gè)像素2在一個(gè)n-1到n時(shí)間順序中在y+4到y(tǒng)-4的偶數(shù)垂直位置上的一個(gè)垂直線中的視場(chǎng)。為了去交錯(cuò)，需要兩組獨(dú)立的像素樣本。第一組獨(dú)立的像素樣本是通過(guò)從前一視場(chǎng)n-1在運(yùn)動(dòng)矢量4上移動(dòng)像素2到當(dāng)前時(shí)間時(shí)刻n進(jìn)入運(yùn)動(dòng)補(bǔ)償像素樣本6中而創(chuàng)建的。第二組像素8位于奇數(shù)垂直線y+3到y(tǒng)-3。除非運(yùn)動(dòng)矢量6足夠的小，例如，除非出現(xiàn)所謂的“臨界速度”，即，在兩個(gè)連續(xù)像素視場(chǎng)之間導(dǎo)致一個(gè)奇整數(shù)像素位移的速度，像素樣本6和像素8被稱為是獨(dú)立的。通過(guò)對(duì)來(lái)自當(dāng)前視場(chǎng)的像素樣本6和像素8進(jìn)行加權(quán)，輸出像素樣本10結(jié)果是一個(gè)樣本加權(quán)和(GST濾波器)。
數(shù)學(xué)上，輸出樣本像素10可被如下描述。用 表示像素在圖像數(shù)n中的位置 處的亮度值，用Fi表示內(nèi)插像素在遺漏行(例如奇數(shù)行)的亮度值，GST去交錯(cuò)方法的輸出為Fi(x→,n)=ΣkF(x→-(2k+1)u→y,n)h1(k,δy)+]]>ΣmF(x→-e→(x→,n)-2mu→yn-1)h2(m,δy)]]>其中h1和h2定義GST濾波器系數(shù)。第一項(xiàng)代表當(dāng)前視場(chǎng)n，第二項(xiàng)代表前一視場(chǎng)n-1。該運(yùn)動(dòng)矢量 被定義為
e→(x→,n)=dx(x→,n)2Round(dy(x→,n)2),]]>用Round()舍入到最接近的整數(shù)值，并且垂直運(yùn)動(dòng)分量δy定義如下δy(x→,n)=|dy(x→,n)-2Round(dy(x→,n)2)|.]]>由線性GST濾波器h1和h2組成的GST濾波器，取決于垂直運(yùn)動(dòng)分量 和子像素內(nèi)插器類型。
當(dāng)使用一個(gè)不可分離的GST濾波器，該線性區(qū)域可在水平方向上被延伸。這種GST濾波器的不可分離性對(duì)于本發(fā)明的方法來(lái)說(shuō)不是必須的。然而，更大的水平孔徑增加該方法的魯棒性。此外，GST濾波器的不可分離性對(duì)于兩個(gè)空間方向處理是同樣的，因此更適合視頻序列的去交錯(cuò)。
一個(gè)圖像中像素的亮度值可被寫成P(x，y，n)。利用δx和δy作為水平和垂直子像素分量，在第n視場(chǎng)中位于位置(x，y)處的這個(gè)像素P可被內(nèi)插。然后一個(gè)像素的亮度值可被寫成P(x,y,n)=11-|δy|{δy2(1-|δy2|)Ahoriz]]>-δy2(1-|δy2|)Bhoriz+(1-|δy2|)2Cav-(δy2)2Dav},]]>其中Ahoriz＝δx(1-|δx|)A(x-1，y+sign(δy)，n)+((δx)2+(1-|δx|)2A(x，y+sign(δy)，n)+δx(1-|δx|)A(x+1，y+sign(δy)，n)Bhoriz＝δx(1-|δx|)B(x-1，y-sign(δy)，n)+((δx)2+(1-|δx|)2)B(x，y-sign(δy)，n)+δx(1-|δx|)B(x+1，y-sign(δy)，n)和
Cav＝(1-|δx|)C(x+δx，y+δy，n-1)+|δx|C(x+sign(δx)+δx，y+δy，n-1)，Dav＝(1-|δx|)D(x+δx，y-2sign(δy)+δy，n-1)+|δx|D(x+sign(δx)+δx，y-2sign(δy)+δy，n-1)，給出了GST濾波器的水平孔徑。A，B，C，D的值可從相鄰像素導(dǎo)出，如圖2中所示。
圖3描述了2維線性區(qū)域，用粗線框出。在不可分離的GST濾波器中所用的像素被包圍。
從這些方程式中，可以看出從前一視場(chǎng)和當(dāng)前視場(chǎng)可獲得P(x，y，n)。然而，利用來(lái)自下一(n+1)視場(chǎng)和當(dāng)前n視場(chǎng)的樣本內(nèi)插一個(gè)像素也是可能的。這種從下一個(gè)樣本計(jì)算出的像素可被寫成N(x,y,n)=11-|δy|{δy2(1-|δy2|)Ahoriz]]>-δy2(1-|δy2|)Bhoriz+(1-|δy2|)2Cav-(δy2)2Dav},]]>附以說(shuō)明Cav和Dav被從下一視場(chǎng)移動(dòng)，Cav＝(1-|δx|)C(x+δx，y+δy，n+1)+|δx|C(x+sign(δx)+δx，y+δy，n+1)，Dav＝(1-|δx|)D(x+δx，y-2sign(δy)+δy，n+1)+|δx|D(x+sign(δx)+δx，y-2sign(δy)+δy，n+1)。
假如在兩個(gè)視場(chǎng)上運(yùn)動(dòng)矢量是線性的，對(duì)于都屬于8*8像素塊的所有 而言，一個(gè)給定像素塊的具有對(duì)應(yīng)矢量分量δx和δy的運(yùn)動(dòng)矢量的視頻序列的可靠性Rv可通過(guò)下式計(jì)算出Rv=Σx→|Nv→N=-v→p=-v→(x,y,n)-Pv→p=v→(x,y,n)|.]]>然而，為了固有地實(shí)現(xiàn)電影/視頻模式適應(yīng)去交錯(cuò)，對(duì)于不同矢量，例如，對(duì)于在一個(gè)序列中可出現(xiàn)的4個(gè)可能位置必須檢查這種可靠性。
這些不同位置是對(duì)于視頻模式，v→n=-v→p;]]>對(duì)于2種可能的電影模式，v→=0→]]>并且v→p≠0→,]]>或v→n≠0→]]>并且v→p=0→;]]>對(duì)于零模式，v→p=0→.]]>并且v→n=0→.]]>圖4a描述了一種視頻模式，其中v→n=-v→p.]]>從圖4a中可以看出，v→n=-v→p,]]>(利用來(lái)自前一視場(chǎng)n-1和下一視場(chǎng)n+1在運(yùn)動(dòng)矢量4上移動(dòng)的運(yùn)動(dòng)補(bǔ)償樣本6的)2個(gè)GST內(nèi)插的像素8(P和N)彼此非常相似。因此，當(dāng)去交錯(cuò)這樣一個(gè)序列時(shí)，就可認(rèn)為是視頻模式。
從圖4b，可以看出在電影模式中，在v→n=0→]]>并且 取自一個(gè)實(shí)際值的情況下，(利用取自前一視場(chǎng)和下一視場(chǎng)的運(yùn)動(dòng)補(bǔ)償樣本6的)2個(gè)GST內(nèi)插的像素8(P和N)最相似。
上述同樣也適用于圖4c，其中 等于零，而 是從實(shí)際值估計(jì)得到的。
圖4d描述了一種零模式，在v→p=0→]]>并且v→n=0→]]>的情況下，取自前一視場(chǎng)和下一視場(chǎng)的運(yùn)動(dòng)補(bǔ)償樣本最相似。
當(dāng)選擇適當(dāng)?shù)娜ソ诲e(cuò)算法時(shí)，必須考慮這些不同的情況。考慮到這些情況，對(duì)于在8*8的像素塊中的任意像素位置(x，y)，可靠性值可從下式計(jì)算MIN{Rv=|Nv→N=-v→(x,y,n)-Pv→P=v→(x,y,n)|]]>Rf1=|Nv→N=0(x,y,n)-Pv→P=v→(x,y,n)|]]>Rf2=|Nv→N=0(x,y,n)-Pv→P=0(x,y,n)|,]]>Rf3=|Nv→N=0(x,y,n)-Pv→P=0(x,y,n)|}]]> 通過(guò)取這個(gè)等式的最小值，可計(jì)算出對(duì)于各塊似乎是最適當(dāng)?shù)哪Ｊ剑⑶乙虼丝蛇x擇出用于去交錯(cuò)視頻的運(yùn)動(dòng)矢量估計(jì)。
在一個(gè)改進(jìn)中，如果通過(guò)差|N(x，y，n)-P(x，y，n)|所測(cè)試的模式不是每個(gè)圖像的主要模式，或者如果該模式與在直接毗相時(shí)-空環(huán)境中的矢量模式不一致，那么取自上述等式的最小值可通過(guò)加上一個(gè)正值給該差加上一個(gè)懲罰。
通過(guò)利用所建議的固有地適應(yīng)去交錯(cuò)算法，去交錯(cuò)混合視頻序列的可能性就打通了，對(duì)此還沒(méi)有一個(gè)現(xiàn)有技術(shù)算法是適合的。這種方法不依賴任何有關(guān)序列所屬模式的附加信息，為正確地完成去交錯(cuò)提供了可能性。本發(fā)明固有地適應(yīng)去交錯(cuò)算法具有的優(yōu)點(diǎn)在于對(duì)于所使用的GST內(nèi)插方法，該算法可被最優(yōu)化，因此本發(fā)明固有地適應(yīng)去交錯(cuò)算法相對(duì)于這個(gè)方法具有很好的魯棒性。
權(quán)利要求
1.一種利用至少一個(gè)用于內(nèi)插像素估計(jì)運(yùn)動(dòng)矢量來(lái)去交錯(cuò)混合視頻序列的方法，包括步驟為第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量定義預(yù)定義值，利用前一圖像的至少一個(gè)像素和所述第一運(yùn)動(dòng)矢量來(lái)計(jì)算至少一個(gè)第一像素，利用下一圖像的至少一個(gè)像素和所述第二運(yùn)動(dòng)矢量來(lái)計(jì)算至少一個(gè)第二像素，通過(guò)將至少一個(gè)所述第一像素和至少一個(gè)所述第二像素進(jìn)行比較，計(jì)算所述第一和所述第二運(yùn)動(dòng)矢量的可靠性，所述第一和所述第二運(yùn)動(dòng)矢量被預(yù)定義用以計(jì)算可靠性，和為已經(jīng)證明對(duì)于去交錯(cuò)所述圖像是最可靠的運(yùn)動(dòng)矢量估計(jì)一個(gè)實(shí)際值。
2.如權(quán)利要求1所述的方法，其中，所述運(yùn)動(dòng)矢量的所述預(yù)定義值彼此相關(guān)。
3.如權(quán)利要求1所述的方法，其中，所述運(yùn)動(dòng)矢量的所述預(yù)定義值被反向。
4.如權(quán)利要求1所述的方法，其中，所述運(yùn)動(dòng)矢量的一個(gè)所述預(yù)定義值有一個(gè)零值，并且所述運(yùn)動(dòng)矢量的一個(gè)所述預(yù)定義值有一個(gè)從所述前一個(gè)和/或當(dāng)前和/或下一圖像計(jì)算出的實(shí)際估計(jì)值。
5.如權(quán)利要求1所述的方法，其中，通過(guò)計(jì)算至少2個(gè)誤差準(zhǔn)則來(lái)計(jì)算所述運(yùn)動(dòng)矢量的可靠性，其中對(duì)于每個(gè)所述誤差準(zhǔn)則，為所述運(yùn)動(dòng)矢量的所述預(yù)定義值選擇不同值。
6.如權(quán)利要求5所述的方法，其中，從像素塊上的絕對(duì)和來(lái)計(jì)算所述誤差準(zhǔn)則。
7.如權(quán)利要求5所述的方法，其中，所述誤差準(zhǔn)則和/或所述和被根據(jù)估計(jì)在所述圖像的至少部分中出現(xiàn)最頻繁的一個(gè)誤差準(zhǔn)則和/或要修改的各自誤差準(zhǔn)則來(lái)修改。
8.如權(quán)利要求5所述的方法，其中，所述誤差準(zhǔn)則和/或所述和被根據(jù)為時(shí)間和/或空間相鄰塊所計(jì)算的誤差準(zhǔn)則來(lái)修改。
9.一種用來(lái)顯示一個(gè)已去交錯(cuò)的視頻信號(hào)的顯示設(shè)備，包括為第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量定義值的定義裝置，利用前一圖像的至少一個(gè)像素和所述第一運(yùn)動(dòng)矢量來(lái)計(jì)算至少一個(gè)第一像素的第一計(jì)算裝置，利用下一圖像的至少一個(gè)像素和所述第二運(yùn)動(dòng)矢量來(lái)計(jì)算至少一個(gè)第二像素的第二計(jì)算裝置，通過(guò)將至少一個(gè)所述第一像素和至少一個(gè)所述第二像素進(jìn)行比較來(lái)計(jì)算所述第一和所述第二運(yùn)動(dòng)矢量的可靠性的第三計(jì)算裝置，用于所述可靠性計(jì)算的所述第一和所述第二運(yùn)動(dòng)矢量被預(yù)定義，以及為已經(jīng)證明對(duì)于去交錯(cuò)所述圖像是最可靠的運(yùn)動(dòng)矢量估計(jì)一個(gè)實(shí)際值的估計(jì)裝置。
10.一種用于去交錯(cuò)一個(gè)視頻信號(hào)的計(jì)算機(jī)程序，可操作來(lái)使處理器去為第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量定義值，利用前一圖像的至少一個(gè)像素和所述第一運(yùn)動(dòng)矢量來(lái)計(jì)算至少一個(gè)第一像素，利用下一圖像的至少一個(gè)像素和所述第二運(yùn)動(dòng)矢量來(lái)計(jì)算至少一個(gè)第二像素，通過(guò)將至少一個(gè)所述第一像素和至少一個(gè)所述第二像素進(jìn)行比較來(lái)計(jì)算所述第一和所述第二運(yùn)動(dòng)矢量的可靠性，所述第一和所述第二運(yùn)動(dòng)矢量被預(yù)定義用以計(jì)算可靠性，以及為已經(jīng)證明對(duì)于去交錯(cuò)所述圖像是最可靠的運(yùn)動(dòng)矢量估計(jì)一個(gè)實(shí)際值。
全文摘要
本發(fā)明涉及一種利用至少一個(gè)用于內(nèi)插像素的估計(jì)運(yùn)動(dòng)矢量來(lái)去交錯(cuò)一個(gè)混合視頻序列的方法。所申請(qǐng)專利的視場(chǎng)典型地出現(xiàn)在取材于視頻材料的電影中，該視場(chǎng)妨礙了被設(shè)計(jì)用來(lái)將交錯(cuò)視頻信號(hào)轉(zhuǎn)換為逐行掃描視頻的去交錯(cuò)算法功能。因此，必須使用一個(gè)用于局部適應(yīng)電影/視頻模式的模式判定，這通過(guò)如下方式來(lái)實(shí)現(xiàn)為第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量定義值，利用前一圖像的至少一個(gè)像素和第一運(yùn)動(dòng)矢量計(jì)算至少一個(gè)第一像素，利用下一圖像的至少一個(gè)像素和第二運(yùn)動(dòng)矢量計(jì)算至少一個(gè)第二像素，通過(guò)將至少一個(gè)所述第一像素和至少一個(gè)所述第二像素進(jìn)行比較來(lái)計(jì)算所述第一和所述第二運(yùn)動(dòng)矢量的可靠性，所述第一和所述第二運(yùn)動(dòng)矢量被預(yù)定義用以計(jì)算可靠性，和為已經(jīng)證明對(duì)于去交錯(cuò)所述圖像是最可靠的運(yùn)動(dòng)矢量估計(jì)一個(gè)實(shí)際值。
文檔編號(hào)H04N5/44GK1914913SQ200580003966
公開(kāi)日2007年2月14日 申請(qǐng)日期2005年1月24日 優(yōu)先權(quán)日2004年2月4日
發(fā)明者G·德哈恩, C·西尤胡 申請(qǐng)人:皇家飛利浦電子股份有限公司