專利名稱：基于全景圖拼接的視頻編輯方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻序列處理方法，具體地說，涉及一種通過合成視頻全景圖，以對全景圖的圖像編輯來代替?zhèn)鹘y(tǒng)視頻編輯的新方法。

背景技術(shù)：
傳統(tǒng)的視頻編輯中，鏡頭拍攝、剪輯通常以錄像帶為存儲介質(zhì)，由于素材在錄像帶上是順序存放的，要完成編輯必須反復(fù)搜索和復(fù)制，并在另一錄像帶重新安排這些素材，這種編輯方法被稱之為線性編輯方法。自數(shù)字技術(shù)發(fā)展起來之后出現(xiàn)了專用的非線性編輯機(jī)，可以不按照素材在磁帶上的線性位置進(jìn)行更方便的處理。實(shí)際上PC也可以作為一臺非線性編輯機(jī)，因?yàn)樗械乃夭亩疾蹲降酱疟P上，可以隨時處理任何時間線位置上的內(nèi)容。
非線性視頻編輯很大程度上方便視頻編輯工作，但它仍然是一件很繁瑣的工作，這是因?yàn)楝F(xiàn)有的非線性視頻編輯是將視頻文件逐幀展開，以幀為精度來進(jìn)行編輯。由于視頻數(shù)據(jù)量極大，因此對視頻的逐幀編輯需要耗費(fèi)大量的人工交互以及計(jì)算機(jī)的計(jì)算量。
由于視頻中的物體通常會出現(xiàn)在很多幀，如果直接修改視頻，需要逐幀進(jìn)行，有大量重復(fù)工作。如果將整段視頻信息用一幅圖像來表示，根據(jù)需要對這幅圖像進(jìn)行編輯，然后再根據(jù)編輯后的圖像重新得到視頻，不僅使手工參與的工作量大大減小(甚至可以完全由計(jì)算機(jī)自動完成)，還節(jié)省了計(jì)算時間，提高了工作效率。由此本發(fā)明提出了基于全景圖拼接的視頻編輯新方法。


發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于全景圖拼接的視頻編輯方法，解決現(xiàn)有的視頻編輯方法對視頻逐幀地編輯，不直觀，計(jì)算量大，耗時長等缺陷，提供一種能夠快速、直觀地對視頻內(nèi)容進(jìn)行編輯的方法。
為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是 1、本發(fā)明提供了一種基于全景圖拼接的視頻內(nèi)容編輯方法，用于對一段運(yùn)動視頻序列的編輯。該方法包括 1)用多個視頻幀生成一描述運(yùn)動視頻全貌的視頻全景圖； 2)對得到的視頻全景圖進(jìn)行圖像內(nèi)容編輯； 3)由編輯后的視頻全景圖逆投影回各視頻幀坐標(biāo)系，生成編輯后的視頻序列。
2、所述的視頻全景圖生成包括下列步驟 1)對多個視頻幀之間相對的全局運(yùn)動進(jìn)行全局運(yùn)動估計(jì)，得出各視頻幀圖像之間的平面投影關(guān)系； 2)如果運(yùn)動視頻序列中包含有運(yùn)動物體，則首先將其去除； 3)根據(jù)各視頻幀圖像之間的平面投影關(guān)系，以第一幀圖像作為參考幀，建立全景圖坐標(biāo)系，將各視頻幀圖像投影到該全景圖坐標(biāo)系中，并估計(jì)出全景圖的尺寸； 4)根據(jù)各視頻幀之間的平面投影關(guān)系，計(jì)算全景圖上每個像點(diǎn)在多個視頻幀圖像中的對應(yīng)點(diǎn)，將這多個對應(yīng)點(diǎn)進(jìn)行排序，取中值作為全景圖上的值，構(gòu)成視頻全景圖； 3、所述的全局運(yùn)動估計(jì)包括 1)匹配步驟提取各視頻幀圖像的角點(diǎn)，并進(jìn)行相關(guān)匹配，得到初始匹配點(diǎn)集； 2)參數(shù)估計(jì)步驟利用Ransac剔除初始匹配點(diǎn)集中的錯誤匹配，并用最小二乘估計(jì)出透視投影下的變換參數(shù)。
4、所述運(yùn)動物體去除方法包括 1)利用幀差法確定運(yùn)動物體的大致范圍； 2)利用基于顏色的區(qū)域分割將圖像劃分為顏色不同的區(qū)域； 3)用圖切割法將二者結(jié)合，并用前一幀分割結(jié)果作為約束進(jìn)行優(yōu)化求解。
5、還包括對各視頻幀圖像進(jìn)行顏色亮度校正，以消除拍攝時由于曝光和白平衡不一樣造成的顏色差異。
6、所述的全景圖內(nèi)容編輯方法包括 1)圖像移植通過手工選擇一塊區(qū)域，再將此塊區(qū)域的信息放到需要填充的區(qū)域中，根據(jù)被填充區(qū)域外部的信息改變原區(qū)域信息的顏色，使這種填充變得自然； 2)基于信息繁衍的圖像編輯利用圍繞著待編輯區(qū)域邊界的已知信息，沿著梯度最小的方向?qū)⑦吔缟系幕叶刃畔ⅰ胺敝场钡酱庉媴^(qū)域內(nèi)來實(shí)現(xiàn)； 3)紋理圖像的半自動填充自動填充有紋理的區(qū)域。
7、所述的編輯后的視頻序列生成包括下列步驟 1)計(jì)算從視頻全景圖到各視頻幀坐標(biāo)系的逆投影矩陣； 2)根據(jù)逆投影矩陣從視頻全景圖生成各視頻幀圖象，完成視頻編輯過程。
本發(fā)明具有的有益效果是 1.本發(fā)明將傳統(tǒng)視頻編輯方法的逐幀編輯轉(zhuǎn)化為對合成的視頻全景圖像的一次性編輯，極大地減小了編輯所需的人工交互以及計(jì)算量； 2.由于用戶的編輯工作在得到的視頻全景圖上完成，因此更直觀、準(zhǔn)確。



圖1為本發(fā)明方法的流程圖。
圖2為圖像移植的示意圖。
圖3為紋理圖像半自動填充示意圖。
圖4本發(fā)明用于對視頻場景內(nèi)容編輯的示例，其中(a)為原始的視頻序列各幀，(b)為生成的視頻全景圖，(c)對視頻全景圖進(jìn)行編輯后的結(jié)果，(d)由編輯后的視頻序列逆投影回各視頻幀坐標(biāo)系的結(jié)果，即最終結(jié)果。

具體實(shí)施例方式 下面結(jié)合附圖和具體實(shí)施方式
對本發(fā)明作進(jìn)一步詳細(xì)描述。
圖1給出了依照本發(fā)明進(jìn)行視頻編輯的方法流程圖。
在運(yùn)動視頻的拍攝過程中，攝像機(jī)的運(yùn)動會造成視頻圖像背景的運(yùn)動，這種運(yùn)動形式被稱為全局運(yùn)動。與全局運(yùn)動相對應(yīng)的為局部運(yùn)動，局部運(yùn)動指運(yùn)動物體動作造成的前景運(yùn)動。考慮到運(yùn)動物體可以是剛體或非剛體，因此采用基于時域的幀差法做初始的分割。幀差法基于背景靜止或者具有統(tǒng)一的全局運(yùn)動，而運(yùn)動物體具有不同于此全局運(yùn)動的性質(zhì)這一假設(shè)。在背景具有統(tǒng)一全局運(yùn)動的情況下，只需求取得到全局運(yùn)動參數(shù)，即能求出不服從此參數(shù)的運(yùn)動物體區(qū)域。
如圖1所示，在步驟101中，對視頻序列各幀之間相對的全局運(yùn)動進(jìn)行全局運(yùn)動估計(jì)，得到全局運(yùn)動參數(shù)。基于視頻編輯的要求，對視頻幀中的每相鄰兩幀之間的全局運(yùn)動進(jìn)行估計(jì)，從而可通過遞推計(jì)算出視頻各幀對于前述參照幀的全局運(yùn)動，由此可以得到視頻各幀坐標(biāo)系相對于參考幀坐標(biāo)系的變換參數(shù)。通常情況下，參考幀可選場景中的第一幀。
相鄰圖像幀之間的全局運(yùn)動的規(guī)律可由全局運(yùn)動參數(shù)表征，根據(jù)全局運(yùn)動估計(jì)所針對的場景不同，可選用不同的參數(shù)模型。在本發(fā)明中，為了體現(xiàn)出場景深度的變化，選用的是八自由度的透視變換模型 透視變換的矩陣形式可表示為 它是齊次坐標(biāo)系下非奇異線性變換的一般形式。透視變換矩陣有9個參數(shù)，但是齊次坐標(biāo)系中有意義的是其比值，因此這種變換實(shí)際上是有8個參數(shù)。對于同一視頻序列的每相鄰兩幀圖象，只需要有四對點(diǎn)的對應(yīng)，就可以求出此參數(shù)。
求解變換參數(shù)，本發(fā)明采用了特征點(diǎn)匹配算法，它包含下面三個步驟 ①分別對相鄰的視頻幀圖像提取角點(diǎn)，如用Harris角點(diǎn)，SUSAN角點(diǎn)等。
②用所提取的角點(diǎn)鄰域信息的相關(guān)匹配得到粗匹配結(jié)果。
對于序列圖像n中的特征點(diǎn)x，相關(guān)窗口設(shè)置為(2n+1)×(2m+1)。在圖像n+1中的搜索區(qū)域定為(2du+1)×(2dv+1)。計(jì)算搜索區(qū)域中每一點(diǎn)x′和x的相關(guān)系數(shù)ρ(x，x′) 其中Cov(x，x′)是x′和x的協(xié)方差 σ(x)是點(diǎn)x＝(u，v)相關(guān)窗口的標(biāo)準(zhǔn)偏差 E(x)是點(diǎn)x＝(u，v)相關(guān)窗口的均值 選擇相關(guān)系數(shù)ρ(x，x′)最大的匹配點(diǎn)作為最佳匹配，為了保證匹配點(diǎn)的正確性，還應(yīng)設(shè)置一個閾值T，最佳匹配的相關(guān)系數(shù)應(yīng)大于此閾值。
③由于②中的匹配存在誤匹配的可能，且即使匹配沒有出錯，但匹配點(diǎn)如果恰好位于運(yùn)動物體上，通過這些匹配點(diǎn)所求得的攝像機(jī)運(yùn)動參數(shù)也是錯誤的。因此，必須有對匹配結(jié)果進(jìn)行檢驗(yàn)的手段，以確保匹配結(jié)果的魯棒性。本發(fā)明采用的方法是利用透視變換矩陣為約束，用RANSAC進(jìn)行投票，去掉粗匹配結(jié)果中不符合攝像機(jī)全局運(yùn)動參數(shù)的點(diǎn)對。
關(guān)于RANSAC算法可參考文獻(xiàn)1Fischler M.A.and Bolles R.C.RandomSample ConsensusA Paradigm for Model Fitting with Applications to ImageAnalysis and Automated Cartography.Communications of the ACM，1981，Vol.24381-395. 對RANSAC算法進(jìn)行簡單描述 假設(shè)點(diǎn)x的齊次坐標(biāo)表示為(x1，x2，1)T，則經(jīng)過透視矩陣投影后的坐標(biāo)x′為

則投影后兩個對應(yīng)點(diǎn)之間的歐氏距離為 其中 x1′＝h11x1+h12x2+h13 x2′＝h21x1+h22x2+h23 x3′＝h31x1+h32x2+h33 假設(shè)角點(diǎn)匹配得到的對應(yīng)點(diǎn)組數(shù)為P，賦最大匹配點(diǎn)組Pmax的初始值為0，迭代的次數(shù)N的初始值設(shè)為200。
a)從P中隨機(jī)選取4組點(diǎn)對，求出透視矩陣HPi； b)計(jì)算每個匹配點(diǎn)到模型之間的距離，如果距離小于閾值d，將此點(diǎn)標(biāo)記為true，否則標(biāo)記為false，記下當(dāng)前模型下所有點(diǎn)對中，標(biāo)記為true的點(diǎn)對的組數(shù)PG； c)如果Pmax＜PG，則令Pmax＝PG，并保存下當(dāng)前標(biāo)記為true的所有點(diǎn)對，轉(zhuǎn)到步驟d；否則，回到步驟a； d)計(jì)算迭代次數(shù)其中T為預(yù)測的粗匹配結(jié)果中正確匹配結(jié)果所占比例的先驗(yàn)概率； e)如果N＞kP，則令N＝kP，與當(dāng)前總共迭代次數(shù)k進(jìn)行比較，如果k＜N，令k＝k+1，返回步驟a；否則到步驟f； f)如果Pmax≥4，則轉(zhuǎn)到④用最小二乘法求解滿足當(dāng)前模型的所有點(diǎn)對的最優(yōu)透視矩陣HP，而此前記錄下的匹配點(diǎn)對也就是用RANSAC方法去掉所有的粗差點(diǎn)對之后剩下的結(jié)果。
利用透視變換作為RANSAC的約束條件，不僅可以消除匹配中的錯誤點(diǎn)，同時也給匹配增加了參數(shù)方程的約束。
④通常情況下，匹配點(diǎn)對數(shù)目比求8個自由度的透視變換矩陣所要求的的4組點(diǎn)對要多，本發(fā)明用最小二乘法求此超定線性方程的解，其過程如下 假設(shè)有n組對應(yīng)的匹配點(diǎn)x，x′，其對應(yīng)的透視矩陣為HP，則最小二乘法的解HP應(yīng)下式具有最小值 令對HP求導(dǎo)可以通過對其每個元素求導(dǎo)推出。
例如，對h11求偏導(dǎo)，展開得到 ∑2(h11x1+h12x2+h13x3-x1′)x1＝0 對HP中的每個元素都如上式對h11求偏導(dǎo)一樣展開，再將結(jié)果合并在一起可以得到 即 令左右兩邊兩個3×1和1×3的列矢量和行矢量相乘得到的矩陣分別為和則HPA＝B，可求出HP的解為 HP＝BA-1 如圖1所示，在步驟102中，當(dāng)視頻序列中存在運(yùn)動物體時，應(yīng)將其去除。本發(fā)明采用幀差法來確定運(yùn)動物體的大致范圍，以此作為初始值，結(jié)合幀內(nèi)及幀間各像素之間的相關(guān)性，定義能量方程，利用圖切割方法解此能量方程而得到最終的分割結(jié)果。
步驟101已經(jīng)介紹了求取攝像機(jī)全局運(yùn)動參數(shù)的方法。利用此參數(shù)，可將一幀圖像Ii+1投影到相鄰幀Ii的坐標(biāo)系中，得到新圖像Ii+1′。此圖像相對于Ii的背景靜止。假設(shè)圖像Ii+1和Ii滿足投影關(guān)系P，即xi+1＝Pxi，其中xi和xi+1分別表示圖像Ii和Ii+1上對應(yīng)點(diǎn)的坐標(biāo)，則新圖像Ii+1′的計(jì)算過程為 ①生成一幅大小和原圖像相同的空白圖像Ii+1′； ②對于x∈Ii+1′，求出其在原圖像中的對應(yīng)點(diǎn)坐標(biāo)x′＝P-1x(P-1為P的逆投影)； ③求出的對應(yīng)坐標(biāo)x′，該坐標(biāo)通常不是整數(shù)，用雙線性插值法進(jìn)行插值。
需要說明的是由于二幀圖像的范圍并不完全相同，因此在把一幀圖像投影到另一幀圖像的坐標(biāo)系時，會出現(xiàn)一些“盲區(qū)”(計(jì)算所得的坐標(biāo)值超出了圖像邊界)，盲區(qū)的點(diǎn)像素值置為0。
理想情況下，當(dāng)序列中不存在運(yùn)動物體時，Ii+1′和Ii是同樣的圖像。若序列中存在運(yùn)動物體，Ii+1′和Ii會在有運(yùn)動物體的區(qū)域內(nèi)有差別。因此，可定義Ii中的運(yùn)動物體區(qū)域?yàn)? {xi|xi∈Ii，|f(xi)-f(xi+1′)|＞T} 上式中，f(xi)表示Ii中位置為xi的點(diǎn)的象素值，f(x+1′)則是由Ii+1投影到Ii所生成的新圖像Ii+1′中坐標(biāo)為xi+1′的象素值，T是所設(shè)定的閾值。當(dāng)對應(yīng)點(diǎn)相減的結(jié)果大于此閾值T時，認(rèn)為此點(diǎn)是運(yùn)動物體上的點(diǎn)，否則視為靜止的背景點(diǎn)。
為了盡可能多地保留每幀圖像中靜止背景圖像的信息，可再加入第三幀的信息，即用前后幀圖像來估計(jì)當(dāng)前幀中的運(yùn)動物體，因此對上式進(jìn)行了修改， {xi|xi∈Ii，|f(xi)-f(xi+1′)|＞T&|f(xi)-f(xi-1′)|＞T} 受到噪聲等因素的影響，直接由上式得到的結(jié)果常常會出現(xiàn)一些錯誤孤立點(diǎn)或者小塊區(qū)域，可用形態(tài)學(xué)算子做簡單的處理。
如果圖切割法以像素點(diǎn)為節(jié)點(diǎn)則計(jì)算量較大，會影響算法的效率。因此，在運(yùn)用圖切割算法之前，本發(fā)明先用均值偏移方法對圖像做預(yù)分割，用分割后得到的各區(qū)域作為圖的節(jié)點(diǎn)。這樣不僅可以減小計(jì)算量，而且由于均值偏移能夠較準(zhǔn)確的定位各顏色區(qū)域的邊緣，還可以保證分割結(jié)果的準(zhǔn)確性。
關(guān)于均值偏移算法可參考文獻(xiàn)2Fukunaga K.and Hostetler L.D.Theestimation of the gradient of a density function，with applications in patternrecognition，IEEE Transactions on Information Theory，1975，21(1)32～40. 基于均值偏移的顏色分割算法主要分兩個步驟首先，圖像在聯(lián)合域中進(jìn)行均值偏移濾波，該濾波具有不連續(xù)保持性，將每個像素都劃分至聯(lián)合域中最近的模式，并將相應(yīng)模式中的三維彩色分量替換各像素原先值。然后，采用迭代方法融合位于色彩空間中hr/2范圍內(nèi)的模式吸引域，直至收斂，最終得到分割后圖像。
基于均值偏移的顏色分割算法利用彩色信息和空間位置將圖像劃分成小塊區(qū)域。但是分割的結(jié)果不具有語義上的知識，根據(jù)此結(jié)果無法區(qū)分運(yùn)動物體和背景。因此我們用圖切割的方法建立起運(yùn)動物體區(qū)域和彩色均值偏移算法結(jié)果的關(guān)系，從而可以將時域和空域信息結(jié)合起來，得到比較準(zhǔn)確的分割結(jié)果。
關(guān)于圖切割算法可參考文獻(xiàn)3Yuri Boykov，Olga Veksler，Ramin Zabih.Efficient Approximate Energy Minimization via Graph Cuts.IEEE transactions onPatternAnalysis andMachine Intelligence，2001，20(12)1222-1239. 如圖1所示，在步驟103中，全景圖拼接采用平面拼接方法，選取其中一幀所在平面為參考幀，利用平面投影模型，將其它所有幀都投影到此幀所在平面，構(gòu)造出全景圖。步驟101已經(jīng)詳細(xì)介紹了利用匹配估計(jì)全局運(yùn)動參數(shù)的方法。假設(shè)xi代表第i幀圖像上點(diǎn)的坐標(biāo)，Pi，j代表i，j兩幀間的透視投影矩陣，幀間的投影關(guān)系公式表示為 xi＝Pi，i+1xi+1 利用相鄰幀之間的傳遞性，可以得到各幀圖像與第一幀圖像間的投影關(guān)系，即 x1＝P1，2x2 x2＝P2，3x3  xn-1＝Pn-1，nxn 由此可以計(jì)算出每幀圖像和第一幀圖像之間的投影關(guān)系 x1＝P1，2x2＝P1，2P2，3x3＝P1，3x3(其中，P1，3＝P1，2P2，3)  x1＝P1，2P2，3…Pn-1，nxn＝P1，nxn(其中，P1，n＝P1，2P2，3…Pn-1，n) 選取第一幀圖像為參考幀，就可得到每幀圖像與全景圖的投影關(guān)系。
確定各幀與全景圖坐標(biāo)系之間的投影關(guān)系后，接下來需要計(jì)算全景圖的大小計(jì)算出每幀圖像的四個頂點(diǎn)在全景圖坐標(biāo)系下的投影位置，記其坐標(biāo)為(x，y)。比較其坐標(biāo)的大小，得到xmax、xmin和ymax、ymin，則全景圖的大小可確定為W×H，其中W＝xmax-xmin，H＝y(tǒng)max-ymin。
由于透視變換是一種線性可逆變換，因此全景圖上的點(diǎn)到各幀的投影關(guān)系可表示為其中矩陣P1，n-1是P1，n的逆矩陣。在此投影關(guān)系下，可求出全景圖上的像素點(diǎn){x，y}在第n幀圖像上的坐標(biāo){xn，yn}。由于得到的{xn，yn}可能不是整數(shù)，可通過雙線性插值計(jì)算此點(diǎn)的像素值。
當(dāng)視頻序列中相鄰幀間的攝像機(jī)運(yùn)動比較小時，全景圖上點(diǎn)通常情況下與多視頻幀圖像上的點(diǎn)相對應(yīng)。假設(shè)與其對應(yīng)的視頻幀數(shù)為M，可取對應(yīng)的這M個點(diǎn)的像素值的中值為全景圖上點(diǎn)的像素值。
如圖1所示，在步驟104中，根據(jù)視頻編輯的具體要求，對由步驟103生成的全景圖進(jìn)行圖像內(nèi)容編輯，對圖像編輯的方法很多，本發(fā)明中，采用了下列三種方法 ①圖像移植圖2中給出了圖像移植的示意圖，將選中的左邊區(qū)域的圖像g移植到右邊的區(qū)域Ω中，Ω′表示Ω的內(nèi)部邊界。令所求的移植后的合成圖像為u，被移植的圖像為g，而被移植到的區(qū)域Ω的原始圖像為f。
為了引入移植圖像的信息，令合成圖像的一階微分與移植圖像相同u＝g，即 同時，移植后的合成圖像還會受到移植區(qū)域邊界上的約束。通常情況下，為了保持圖像的連續(xù)性，要滿足u＝f for u∈Ω′。
上面兩個約束條件可以用同一個能量函數(shù)J(u)來表示 能使此能量函數(shù)J(u)值最小的u就是合成后的圖像。其中λ(λ＞0)是Lagrange乘數(shù)，它調(diào)節(jié)上面兩個條件在整個約束中所占比重。
②基于信息繁衍的圖像編輯利用圍繞著待編輯區(qū)域邊界的已知信息，沿著梯度最小的方向?qū)⑦吔缟系幕叶刃畔ⅰ胺敝场钡酱庉媴^(qū)域內(nèi)來實(shí)現(xiàn)。
令I(lǐng)o(i，j)
×
→R表示一幅大小為M×N的圖像。圖像修復(fù)算法會通過迭代得到一系列的圖像I(i，j，n)
×
×N→R，滿足I(i，j，0)＝Io(i，j)且是輸出圖像)，其數(shù)學(xué)表達(dá)式寫為 上式中，n表示修復(fù)的時間，即迭代的次數(shù)，(i，j)表示像素的坐標(biāo)，而Δt是每次迭代的步長，Itn(i，j)表示圖像In(i，j)的更新對象，而In+1(i，j)則為In(i，j)在Itn(i，j)的約束下經(jīng)過一次迭代后得到的結(jié)果。這個等式的有效區(qū)域?yàn)槭止ぶ付ǖ拇薷膮^(qū)域Ω的內(nèi)部。在n次迭代后可以得到修復(fù)好的圖像。
算法的關(guān)鍵在于找一個合適的Itn(i，j)。在人工修復(fù)技術(shù)中，人們通常會將損壞區(qū)域外部的信息沿著損壞區(qū)域的外部邊界慢慢的擴(kuò)充到損壞區(qū)域內(nèi)，。因此在用計(jì)算機(jī)模仿人工修復(fù)時，可以借用此思想，將Ω外部信息平滑擴(kuò)充到Ω內(nèi)部。假設(shè)Ln(i，j)是待擴(kuò)充的信息，而

是擴(kuò)充的方向，可得到Itn(j，j)的表達(dá)式為 其中

是信息Ln(i，j)的變化量。在此等式中可以估計(jì)出圖像的信息Ln(i，j)并可計(jì)算出其在方向

上的變化量。在穩(wěn)定后的狀態(tài)也就是算法收斂時，滿足In+1(i，j)＝In(i，j)，也就是意味著信息量L已經(jīng)完全擴(kuò)充到

方向中。
因?yàn)橄Ｍ畔⑹瞧交財U(kuò)散到圖像中，故Ln(i，j)是一個平滑算子，可以選取拉普拉斯算子，其表示為當(dāng)然，其它的平滑算子也是適用的。
由于等照度線的連續(xù)性總是沿著邊界的法線方向，故選擇邊界Ω的法線方向?yàn)槠交畔⒆兓姆较?

。對于Ω內(nèi)的每個點(diǎn)(i，j)，

的方向垂直此點(diǎn)所在的邊界Ω。修復(fù)區(qū)域是任意的，故Ω的方向與原圖像本身無關(guān)。如果等照度線的方向和

一致，則選取

時，最好的方向就是等照度線的方向。對任意點(diǎn)(i，j)，梯度In(i，j)是變化最大的方向，因此與梯度垂直的方向⊥In(i，j)是變化最小的方向。定義⊥In(i，j)為等照度線的方向，從而方向矢量

的表達(dá)式為 ③紋理圖像半自動填充上述提供的二種方法主要針對平滑的圖像區(qū)域，對于紋理豐富的區(qū)域要用紋理圖像的半自動填充來解決。用圖像中未損壞的區(qū)域?yàn)椴蓸訕?biāo)本，以塊為單位對圖像進(jìn)行修復(fù)。定義每“塊”的大小為w×w，以w為標(biāo)準(zhǔn)將損壞區(qū)域劃分為n塊，{B1，B2，...，Bn}，然后依次修復(fù)每一小塊。
如圖3所示，對當(dāng)前要修補(bǔ)的損壞塊Bk，在它周圍已知的區(qū)域中取一個寬度wB的帶EBk，圖3中陰影所示的部分。對圖中所示的當(dāng)前損壞塊Bk，它右邊的圖像仍屬于損壞部分，故右邊的帶狀區(qū)域的信息為未知，所以取的帶狀區(qū)域?yàn)樽?、上、下三邊。同樣，對于其它的損壞塊，也只考慮四邊中信息已知的帶狀區(qū)域。對采樣區(qū)域中(這里就是圖像中未損壞的部分)的任一采樣標(biāo)本B(x，y)(B(x，y)表示左下角的點(diǎn)為(x，y)的塊)，取同樣位置和大小的帶狀區(qū)域EB(x，y)，如圖3中未損壞區(qū)域內(nèi)用陰影所表示的部分。計(jì)算兩個帶狀區(qū)域的距離，可以得到與當(dāng)前損壞塊Bk距離小于某一給定閾值的塊的集合ψB。定義集合ψB為 其中，dmax為給定的閾值。在集合ψB中隨機(jī)選擇一塊，把這塊中每點(diǎn)的灰度值依次拷貝到當(dāng)前損壞塊Bk中。按照同樣的方法處理剩下的損壞塊(已經(jīng)修補(bǔ)好的區(qū)域可能為下一塊要修補(bǔ)的區(qū)域提供邊界約束條件)。直到最后一塊的值確定，整幅圖像即修補(bǔ)完畢。
如圖1所示，在步驟105中，根據(jù)視頻編輯的具體要求，對由步驟104進(jìn)行編輯后的全景圖中恢復(fù)出視頻序列。
各視頻幀圖像和全景圖之間的投影關(guān)系表示為 x＝P1，nxn 由于透視變換是一種線性可逆變換，因此可得到 其中P1，n-1是P1，n的逆矩陣。
在此投影關(guān)系下，即可各視頻幀上的像素點(diǎn)在全景圖上的坐標(biāo)，如果改坐標(biāo)點(diǎn)為非整數(shù)，則可通過雙線性插值計(jì)算得到該點(diǎn)的像素值。
圖4本發(fā)明用于對視頻場景內(nèi)容編輯的示例，其中(a)為原始的視頻序列各幀，(b)為生成的視頻全景圖，(c)對視頻全景圖進(jìn)行編輯后的結(jié)果，(d)由編輯后的視頻序列逆投影回各視頻幀坐標(biāo)系的結(jié)果，即最終結(jié)果。
權(quán)利要求
1.一種基于全景圖拼接的視頻編輯方法，其特征在于，該方法的步驟如下
1)用多個視頻幀生成一描述運(yùn)動視頻全貌的視頻全景2)對得到的視頻全景圖進(jìn)行圖像內(nèi)容編輯；
3)由編輯后的視頻全景圖逆投影回各視頻幀坐標(biāo)系，生成編輯后的視頻序列。
2.根據(jù)權(quán)利要求1所述的一種基于全景圖拼接的視頻編輯方法，其特征在于，所述的視頻全景圖生成包括下列步驟
1)對多個視頻幀之間相對的全局運(yùn)動進(jìn)行全局運(yùn)動估計(jì)，得出各視頻幀圖像之間的平面投影關(guān)系；
2)如果運(yùn)動視頻序列中包含有運(yùn)動物體，則首先將其去除；
3)根據(jù)各視頻幀圖像之間的平面投影關(guān)系，以第一幀圖像作為參考幀，建立全景圖坐標(biāo)系，將各視頻幀圖像投影到該全景圖坐標(biāo)系中，并估計(jì)出全景圖的尺寸；
4)根據(jù)各視頻幀之間的平面投影關(guān)系，計(jì)算全景圖上每個像點(diǎn)在多個視頻幀圖像中的對應(yīng)點(diǎn)，將這多個對應(yīng)點(diǎn)進(jìn)行排序，取中值作為全景圖上的值，構(gòu)成視頻全景圖。
3.根據(jù)權(quán)利要求2所述的一種基于全景圖拼接的視頻編輯方法，其特征在于，所述的全局運(yùn)動估計(jì)包括
1)匹配步驟提取各視頻幀圖像的角點(diǎn)，并進(jìn)行相關(guān)匹配，得到初始匹配點(diǎn)集；
2)參數(shù)估計(jì)步驟利用Ransac剔除初始匹配點(diǎn)集中的錯誤匹配，并用最小二乘估計(jì)出透視投影下的變換參數(shù)。
4.根據(jù)權(quán)利要求2所述的一種基于全景圖拼接的視頻編輯方法，其特征在于，所述運(yùn)動物體去除方法包括
1)利用幀差法確定運(yùn)動物體的大致范圍；
2)利用基于顏色的區(qū)域分割將圖像劃分為顏色不同的區(qū)域；
3)用圖切割法將二者結(jié)合，并用前一幀分割結(jié)果作為約束進(jìn)行優(yōu)化求解。
5.根據(jù)權(quán)利要求2所述的一種基于全景圖拼接的視頻編輯方法，其特征在于，還包括對各視頻幀圖像進(jìn)行顏色亮度校正，以消除拍攝時由于曝光和白平衡不一樣造成的顏色差異。
6.根據(jù)權(quán)利要求1所述的一種基于全景圖拼接的視頻編輯方法，其特征在于，所述的全景圖內(nèi)容編輯方法包括
1)圖像移植通過手工選擇一塊區(qū)域，再將此塊區(qū)域的信息放到需要填充的區(qū)域中，根據(jù)被填充區(qū)域外部的信息改變原區(qū)域信息的顏色，使這種填充變得自然；
2)基于信息繁衍的圖像編輯利用圍繞著待編輯區(qū)域邊界的已知信息，沿著梯度最小的方向?qū)⑦吔缟系幕叶刃畔ⅰ胺敝场钡酱庉媴^(qū)域內(nèi)來實(shí)現(xiàn)；
3)紋理圖像的半自動填充自動填充有紋理的區(qū)域。
7.根據(jù)權(quán)利要求1所述的一種基于全景圖拼接的視頻編輯方法，其特征在于，所述的編輯后的視頻序列生成包括下列步驟
1)計(jì)算從視頻全景圖到各視頻幀坐標(biāo)系的逆投影矩陣；
2)根據(jù)逆投影矩陣從視頻全景圖生成各視頻幀圖象，完成視頻編輯過程。
全文摘要
本發(fā)明公開了一種基于全景圖拼接的視頻編輯方法。用于對一段運(yùn)動視頻序列的編輯或者修復(fù)。該方法首先對視頻序列各幀圖像進(jìn)行特征點(diǎn)匹配，計(jì)算出各幀之間的投影矩陣，然后對各幀圖像進(jìn)行拼接，得到視頻全景圖；根據(jù)視頻編輯的具體要求，利用人工交互和計(jì)算機(jī)相結(jié)合的方法對視頻全景圖進(jìn)行圖像編輯；最后根據(jù)投影關(guān)系，從編輯后的全景圖中恢復(fù)出視頻序列。本發(fā)明通過以視頻全景圖為中介，將視頻編輯簡化成為對視頻全景圖的圖像編輯，不僅可使使用者直觀地了解全部場景的信息，還能夠大大減少計(jì)算量和人工交互。
文檔編號G03B37/00GK101119442SQ20071007074
公開日2008年2月6日 申請日期2007年8月10日 優(yōu)先權(quán)日2007年8月10日
發(fā)明者歆 杜, 朱云芳 申請人:浙江大學(xué)