一種基于貝葉斯理論的視頻拼接方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明設(shè)及一種基于貝葉斯理論的視頻拼接方法。
【背景技術(shù)】
[0002] 視頻拼接，就是給定一系列有限重疊區(qū)域的視頻圖像序列，通過算法處理，拼接成 一個(gè)高分辨率、寬視角的全景視頻圖像。一般來說，全景視頻拼接技術(shù)根據(jù)獲取方式不同， 可分為兩類:一類是通過單個(gè)特殊攝像機(jī)鏡頭獲得C全景視頻圖像;另一類是通過普通攝 像機(jī)獲取不同視角的視頻，再通過拼接算法獲得全景圖像。前者雖然能夠快速的獲得全景 視頻圖像，但是價(jià)格昂貴，并且輸出的視頻質(zhì)量不高；后者對場景和拍攝者的約束較少，實(shí) 用性更強(qiáng)，因此更多用戶使用多個(gè)視角的視頻流創(chuàng)建全景視頻圖像。目前，全景視頻拼接技 術(shù)已經(jīng)廣泛用在軍隊(duì)監(jiān)視，航空拍攝，視頻會議等。
[0003] 全景視頻拼接在時(shí)間和空間上需要質(zhì)量保證:時(shí)間上要保證視頻輸出的穩(wěn)定性， 確保亮度恒定，不會出現(xiàn)閃爍或者是抖動?？臻g上需要保證視頻拼接的質(zhì)量，盡量消除奇異 點(diǎn)。在視頻拼接過程中，產(chǎn)生奇異點(diǎn)的原因有很多種，例如，相機(jī)標(biāo)定誤差，遮擋現(xiàn)象，運(yùn)動 目標(biāo)的移動，歸根結(jié)底是視頻配準(zhǔn)不精確。圖像配準(zhǔn)矩陣的獲取方法大致可W分為兩種，一 種通過特征點(diǎn)配準(zhǔn)獲取，一種直接通過像素點(diǎn)獲取。傳統(tǒng)的方法通過對圖像進(jìn)行幾何校正， 精確計(jì)算變換矩陣，去除特征點(diǎn)匹配中錯(cuò)誤匹配對來減小配準(zhǔn)誤差，但是，誤差不可能被完 全消除，去除由配準(zhǔn)誤差引起的奇異點(diǎn)仍然是當(dāng)今的挑戰(zhàn)性問題。
[0004] 視頻拼接可W看成重疊區(qū)域圖像重構(gòu)問題，通常可W模擬到MAP的框架中。 H. Y.化um et al.將合成圖像看成一個(gè)可W從新的視角觀測到的圖像，同時(shí)應(yīng)用圖像先驗(yàn) 條件控制新的視角能夠產(chǎn)生于文理比較穩(wěn)定的輸入視頻序列。Lu化ng et al.提出基于可 靠性理論消除自由視點(diǎn)合成圖像中的奇異點(diǎn)。通過正確標(biāo)注不同視點(diǎn)可靠與不可靠區(qū)域， 將由一個(gè)視點(diǎn)的不可靠像素點(diǎn)通過另一個(gè)視點(diǎn)的可靠像素代替，從而消除奇異點(diǎn)。另外，有 人提出了一種基于概率可靠性推理的考慮深度誤差的自由視點(diǎn)的虛擬視角合成方法，通過 近似深度誤差，將新視角圖像的恢復(fù)通過求解最大后驗(yàn)概率實(shí)現(xiàn)。
[0005] 光流是反映時(shí)序連續(xù)的兩幅圖像的像素之間的對應(yīng)關(guān)系矢量場。光流計(jì)算是計(jì)算 機(jī)視覺領(lǐng)域的一個(gè)基本問題，它在運(yùn)動分析、立體視覺、增強(qiáng)現(xiàn)實(shí)、醫(yī)學(xué)成像等方面有廣泛 的應(yīng)用。有許多方法可W估計(jì)運(yùn)些矢量場。運(yùn)些方法著力計(jì)算從時(shí)序上稍早的一幅圖像到 時(shí)序上稍晚的另一幅圖像的有向配準(zhǔn)圖，也就是時(shí)序上的前向光流。傳統(tǒng)的光流矢量估計(jì) 需要稠密采樣，當(dāng)然由粗到精的變換在某種程度上降低了運(yùn)種限制，但是人物運(yùn)動的細(xì)節(jié) 問題一直沒有解決。Thomas化OX等人將大量的描述符整合到變分光流中。能夠估計(jì)高精確 度的密集光流場，同時(shí)能夠?qū)崿F(xiàn)運(yùn)動分析的新區(qū)域，不再需要滿足密集采樣的需求。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種高質(zhì)量的基于貝葉斯理論的視 頻拼接方法，對重疊區(qū)域少的視頻有更好的魯棒性，從而實(shí)現(xiàn)高質(zhì)量視頻的穩(wěn)定的輸出。
[0007] 本發(fā)明的目的是通過W下技術(shù)方案來實(shí)現(xiàn)的：一種基于貝葉斯理論的視頻拼接方 法，它包括W下步驟：
[0008] SI:獲取視頻流對應(yīng)帖重疊區(qū)域，并分別W兩幅圖像作為基準(zhǔn)圖，估計(jì)前向后向流 場:令I(lǐng)tL和ItR分別是兩幅當(dāng)前待拼接視頻對應(yīng)帖圖像的重疊區(qū)域，通過分別對帶拼接視頻 帖作用前向流場和后向流場，獲得四個(gè)虛擬視角：
[0009] I托二 1：扣二乂,，產(chǎn)
[0010] 其中，巧A與分別為作用在左圖的前向流場與后向流場，巧分別為作用 在右圖上的前向流場與后向流場；
[0011] S2:構(gòu)建基于貝葉斯原理的視頻融合能量函數(shù)結(jié)構(gòu)：分別對視頻在空間和時(shí)間上 進(jìn)行貝葉斯推理，提出基于貝葉斯模型的視頻拼接框架，通過優(yōu)化后驗(yàn)概率能量函數(shù)獲得 拼接結(jié)果;其中，在空間上保證視頻拼接奇異點(diǎn)的有效消除，質(zhì)量較高，在時(shí)間上去除視頻 閃爍，保證視頻穩(wěn)定輸出，同時(shí)采用先驗(yàn)概率支持最近鄰平滑，包括W下子步驟：
[001^ S21:獲得后驗(yàn)概率能量函數(shù)ELikelihood(V):根據(jù)步驟Sl通過變換得到的四個(gè)虛擬 視角，采用貝葉斯原理重新生成視頻對應(yīng)帖的融合部分，理想的融合結(jié)果V構(gòu)建成如下形 式：
[001引 ELikelihood(V)= ?l(Vt廣I(tl)i)2+?2(Vt廣I 怕)i)2
[0014] + O 3(Vti_I(t3)i)2+ O 4(Vti_I(t4)i)2+ O 5(Vti-V(t-l)i)2
[0015] 其中，前四項(xiàng)函數(shù)的建立是基于流場估計(jì)誤差所產(chǎn)生的像素強(qiáng)度差值;為了消除 視頻輸出的閃爍，增強(qiáng)視頻的穩(wěn)定性，將時(shí)間域的平滑即第五項(xiàng)函數(shù)加入似然能量函數(shù)數(shù) 據(jù)項(xiàng)，其中Vt-I為視頻流對應(yīng)前一帖拼接結(jié)果，式中《表示待拼接圖像中每個(gè)像素對應(yīng)的可 靠性，i表示圖像中對應(yīng)的像素點(diǎn)，具體地：
[0016] c〇i = a/((ItR廣I(ti)i)2+b); 〇2 = a/((Itiu-I(t2)i)2+b); 〇3 = a/((I化廣I(t3)i)2+b);
[0017] 〇4=a/((I化廣I(t4)i)2+b); 〇5 = a/((V(t-i)i-V(t-2)i)2+b);
[0018] 式中a和b取決于Gamma分布中的高階參數(shù)a,0，在本專利中，根據(jù)實(shí)驗(yàn)，取值為a = b 二 160〇
[0019] S22:獲得圖像先驗(yàn)?zāi)芰亢瘮?shù)Eprior(V):
[0021] S23:根據(jù)步驟S31和S32得到能量函數(shù)E(V):
[0022] E(V)=ELikelihood(V)+Eprior(V);
[0023] S3:將能量函數(shù)等效為標(biāo)簽問題最小化，構(gòu)件圖模型，采用graph-cuts進(jìn)行求解；
[0024] S4:視頻拼接輸出顯示:對視頻每一對應(yīng)帖拼接，獲得連續(xù)的全景視頻序列。
[0025] 在步驟Sl的配準(zhǔn)過程中，選擇計(jì)算時(shí)序上的后向光流，即獲得時(shí)序上稍晚的圖像 的像素點(diǎn)到時(shí)序上稍早的圖像像素點(diǎn)之間的對應(yīng)關(guān)系的矢量場。
[00%] -種基于貝葉斯理論的視頻拼接方法還包括一個(gè)步驟SO:視頻帖進(jìn)行預(yù)處理，對 圖像進(jìn)行矯正，使得圖像中屯、在同一個(gè)水平線上。
[0027]本發(fā)明的有益效果是:本發(fā)明采用對應(yīng)帖估計(jì)的流場作為視頻配準(zhǔn)矢量矩陣，同 時(shí)考慮流場估計(jì)不精確引起的圖像誤差;通過在時(shí)間上和空間上應(yīng)用貝葉斯原理，將圖像 誤差作為自適應(yīng)可靠性，得到后驗(yàn)概率模型;通過優(yōu)化方法求解最大后驗(yàn)?zāi)Ｐ?，得到穩(wěn)定的 高質(zhì)量視頻輸出結(jié)果。本文提出的方法能夠在空間上有效的去除由于流場估計(jì)不準(zhǔn)確產(chǎn)生 的奇異點(diǎn)，時(shí)間上保證視頻穩(wěn)定性，從而得到高質(zhì)量的視頻輸出結(jié)果。
【附圖說明】
[00%]圖1為本發(fā)明方法流程圖；
[0029] 圖2為本發(fā)明為步驟Sl待拼接變換示意圖。
【具體實(shí)施方式】
[0030] 下面結(jié)合附圖進(jìn)一步詳細(xì)描述本發(fā)明的技術(shù)方案:如圖1所示，一種基于貝葉斯理 論的視頻拼接方法，它包括W下步驟：
[0031] SO:視頻帖進(jìn)行預(yù)處理，對圖像進(jìn)行矯正，使得圖像中屯、在同一個(gè)水平線上。
[0032] 在全景圖像拼接過程中，圖像矯正是一個(gè)非常普遍的步驟，通過圖像矯正使得圖 像的中屯、在同一個(gè)水平線上。我們通常根據(jù)攝像機(jī)標(biāo)定計(jì)算它們的位置。矯正后的圖像平 面能夠準(zhǔn)確的成對出現(xiàn)在輸入圖像中。如果攝像機(jī)參數(shù)是未知的，提取幾何極線的多種多 樣的技術(shù)都可W應(yīng)用。
[0033] 攝像機(jī)，S維空間W及圖像之間的幾何關(guān)系，C和表示S維空間的一對攝像機(jī);W 和W'是S維空間中的一點(diǎn)M通過攝像機(jī)分別在圖像I和中的對應(yīng)點(diǎn)。
[0034] 定義極線的限制：
[003引 m'T Fm=O;
[0036] 令H和IT分別為應(yīng)用在圖像I與中的單應(yīng)矩陣，令mel和心滿足等式的一對 對應(yīng)點(diǎn)。
[003引