專利名稱：：視頻對象剪切和粘貼的制作方法視頻對象剪切和粘貼
背景技術(shù)：
：從視頻序列剪切移動對象和向視頻序列粘貼移動對象在視頻處理領(lǐng)域具有許多應(yīng)用。允許這種剪切和粘貼的對象的數(shù)字分割成為了視頻處理中越來越流行的研究領(lǐng)域。通常，對視頻對象的剪切和粘貼由色度摳像(chormakeying)執(zhí)行，色度摳像也稱為藍屏摳圖(matting)或"藍屏"。在色度摳像中，前景對象是在單色背景(通常為藍色或綠色)前方記錄的視頻，接著使用利用已知背景色的摳圖技術(shù)從背景分離出來。這些技術(shù)的簡單性使得能夠進行快速的前景分離。一些系統(tǒng)甚至實時地計算色度摳像。然而，這些方法被限于簡單的單色背景。當(dāng)前景對象包含類似于背景的色彩時通常會發(fā)生錯誤。視頻對象剪切的一些傳統(tǒng)方式涉及輪廓跟蹤。雖然可以將這些現(xiàn)有的方法應(yīng)用到一般背景，以便在跟蹤過程中得到更高的健壯性，但是它們使用不準(zhǔn)確和粗糙地表示對象邊界的平滑曲線。由于粗糙邊界描述器不能捕捉輪廓的細節(jié)，所以這些技術(shù)對于多數(shù)剪切和粘貼應(yīng)用是不夠的。這些粗略的邊界技術(shù)可由自動摳像交互地精細化，這提供了用于通過樣條曲線編輯的詳細的邊界調(diào)整的用戶界面。然而，由于每個視頻幀必須由用戶個別地修改，適當(dāng)?shù)孛枥L邊界細節(jié)的手動工作是非常昂貴的。最近，常規(guī)的視頻摳圖技術(shù)放松了單色背景要求，以允許平滑的色彩改變而非單個背景色。這種情況下視頻摳圖的成功與否取決于各種技術(shù)，諸如可多準(zhǔn)確地傳播三分圖以及貝葉斯摳圖能多良好地在每個個別的幀中執(zhí)行。當(dāng)背景是復(fù)雜的時，對于一般的視頻序列視頻摳圖有兩個主要的難點。第一，許多視頻包含快速移動、漸變輪廓以及經(jīng)常改變的拓撲，這對于要現(xiàn)有技術(shù)光流算法要用于雙向傳播三分圖是非常有挑戰(zhàn)性的。第二，即使可以使用相當(dāng)多的用戶交互獲取準(zhǔn)確的三分圖，當(dāng)前景/背景包含復(fù)雜的紋理時或者前景色彩類似于背景色彩時，貝葉斯摳圖技術(shù)通常產(chǎn)生不令人滿意的結(jié)果。換而言之，當(dāng)背景比僅簡單的單色要復(fù)雜時，那么在視頻播放期間隨著視頻對象的改變和移動自動確定哪里是視頻對象的視覺邊緣是復(fù)雜且處理器密集型的任務(wù)。
發(fā)明內(nèi)容提供本概述以用簡化的形式引入在以下詳細描述中進一步描述的一系列概念。本概述并不旨在標(biāo)識所作權(quán)利要求的主題的關(guān)鍵特征或必要特征，也不旨在用于協(xié)助確定所作權(quán)利要求的主題的范圍?？紤]到上述，描述了視頻對象剪切和粘貼。在一個實現(xiàn)中，在3-D圖形剪切分割之前，會將視頻幀預(yù)分割成區(qū)域。3-D圖形剪切分割使用時間相干性和全局色彩模型來實現(xiàn)視頻對象邊界的準(zhǔn)確度。接著可使用2-D局部圖形剪切分割來精細化邊界。邊界可以在用戶選定的窗口序列中跟蹤，并且使用局部色彩模型來精細化。附圖簡述圖1是示例性視頻剪切和粘貼系統(tǒng)的圖示。圖2是示例性視頻剪切和粘貼過程的概觀的圖示。圖3是示例性視頻剪切和粘貼引擎的框圖。圖4是示例性3-D圖表構(gòu)造的圖示。圖5是用于精細化視頻對象的邊界的示例性技術(shù)的圖示。圖6是示例性3-D和2-D分割結(jié)果的圖示。圖7是從視頻序列分割視頻對象的示例性方法的流程圖。詳細描述概觀描述了用于從移動視頻序列(視頻剪輯)有時復(fù)雜的背景自動分離(即"剪切")移動和改變的視覺對象，使得它能夠被粘貼在例如不同的移動背景上的系統(tǒng)和方法。重要的是，該系統(tǒng)和方法可以保存被剪切的視頻對象的精細的外邊界細節(jié)。該系統(tǒng)和方法可以采用具有在常規(guī)技術(shù)上改進的特征的3-維(3-D)圖形剪切分割來使用僅少量關(guān)鍵幀遮片的用戶輸入來捕捉復(fù)雜的形狀變形。而且，使用局部色彩模型，即使當(dāng)色彩模糊或指定的前景和背景的對比度較低時仍能正確地定位視頻對象邊界。設(shè)計出雙向特征跟蹤技術(shù)以使用局部色彩模型準(zhǔn)確地跟蹤視覺區(qū)域。得到的剪切視頻對象序列準(zhǔn)備好被組合到其他背景上。示例性系統(tǒng)圖1示出了示例性系統(tǒng)100，其中視頻剪切和粘貼引擎102駐留在計算設(shè)備104中。視頻剪切和粘貼引擎102可以從視頻剪輯108中剪切出按時間排列的視頻對象106(在該例中為移動舞者)，這樣使得視頻對象106可以被粘貼到不同的移動背景中。系統(tǒng)IOO通過用更快、更易于使用并且相比常規(guī)技術(shù)更高效的方式來區(qū)分(即"分割")要從周圍背景"遮片"110剪切出的視頻對象106來執(zhí)行這種"圖形剪切"。3-D圖形剪切操作從表示時間間隔的2-維(2-D)表面(視頻幀)的時間序列(視頻剪輯108)剪切出視頻對象106，其中視頻對象106在此期間移動并且會在逐個2-D幀上改變其在幀上的覆蓋區(qū)域。3-D圖形剪切不同于2-D圖形剪切，2-D圖形剪切中從單個2-D表面分離出視覺對象，如同從一張紙上剪切出對象。3-D圖形剪切的"三維"是指(視頻幀的)兩個空間維度移動通過第三個時間維度(即被播放)，而非長度、寬度和深度三個空間維度。然而，此處所描述的示例性技術(shù)并不限于3-D圖形剪切，各方面也可應(yīng)用于4維圖形剪切，其中例如在空間上將全息對象從其周圍環(huán)境中剪切出來，并將其插入到具有不同周圍環(huán)境的不同空間中。此處所描述的系統(tǒng)和方法具有在應(yīng)用相干摳圖(coherentmatting)之前生成準(zhǔn)確的二值分割的優(yōu)勢。即經(jīng)修改的相干摳圖在產(chǎn)生正被剪切的視頻對象106的Alpha遮片之前使用二值分割。例如，相干摳圖可以比常規(guī)的貝葉斯摳圖產(chǎn)生更好的結(jié)果，因為它使用alpha遮片的規(guī)則化項來充分地利用二值分割中的信息。而且，在提供二值視頻分割時，示例性系統(tǒng)獲取相比輪廓跟蹤和三分圖傳播的常規(guī)技術(shù)更為準(zhǔn)確的結(jié)果，并使用易于使用的用戶界面(UI)來進行邊界精細化。本主題的一個實現(xiàn)另外使用2-D圖像分割方法，通過這種方法可使用簡單的用戶交互結(jié)合圖形剪切算法來容易地獲取準(zhǔn)確的對象邊界。此處所描述的系統(tǒng)和方法將常規(guī)的象素級的3-D圖形剪切擴展成基于區(qū)域的3-D圖形剪切，以處理視頻對象106而非僅是象素。示例性局部精細化方法也使用跟蹤特征。圖2示出了由視頻剪切和粘貼引擎102實現(xiàn)的示例性圖形剪切過程的一個實現(xiàn)的概觀200。在概觀200中，在3-D圖形剪切204之前發(fā)生預(yù)分割202。對輸入視頻序列執(zhí)行"分水嶺"劃分(即使用"分水嶺算法")。這極大地加速了分割，即通過在3-D圖形剪切發(fā)生前執(zhí)行該分水嶺分割極大地加快了視頻剪切和粘貼操作。該分水嶺劃分由使用能量評估的粗略的到圖形區(qū)域的二值預(yù)分割組成。8接著，3-D圖形剪切204將選自視頻剪輯的少量模型視頻幀用作分割過程的初始點。可以由于這些模型視頻幀在顯示視頻對象106和背景之間對比的功效而選擇它們。示例性圖形剪切過程接著自動興盛跨相鄰視頻幀的相應(yīng)"候選"圖像區(qū)域的幀間連接，以便隨著對象經(jīng)過時間跨視頻幀移動和改變保持準(zhǔn)確的對象分割。用戶可以使用局部色彩模型用局部2-D圖形剪切206進一步精細化自動生成的視頻對象邊界。也可以提供關(guān)鍵幀之間的雙向特征跟蹤來允許用戶對自動生成的視頻對象邊界作出局部修正。也提供了用于覆蓋(override)自動分割以指定或修正對象邊界中的精細細節(jié)的邊界精細208的手動工具。示例性經(jīng)修改的相干摳圖過程210自動地為視頻剪輯108的幀生成遮片序列。示例性經(jīng)修改的相干摳圖過程210使用遮片序列從視頻剪輯108提取指定的視頻對象106并提取視頻對象的前景色。其他特征包括圖的保存，用戶可以用此來將用戶的交互以及剪切和粘貼設(shè)置保存到文件中以供以后使用和修改；以及對象粘貼，用戶可以用此來將分割的對象放置到新的背景中。示例性引擎圖3更詳細地示出了圖1的視頻剪切和粘貼引擎102。圖3中所示的視頻剪切和粘貼引擎102旨在為了概觀而提供一個示例性安排。所示組件或相似組件的許多其他安排也是可能的。這種視頻剪切和粘貼引擎102可以用硬件、軟件或硬件、軟件和固件的組合等來執(zhí)行。示例性引擎102包括旨在找到視頻對象106及其背景之間的邊界的二值分割器302。即，二值分割器302旨在為每個象素確定，象素是在前景(正被剪切的視頻對象106)中還是在背景(遮片的部分)中。理想上，視頻對象106中的象素和視頻對象106之外下一個相鄰象素之間會有完美的剪切或"分割"。然而，示例性引擎102通過考慮3-D視頻巻的時間上改變的視頻幀的區(qū)域而非個別的象素來獲取超過常規(guī)技術(shù)的速度和準(zhǔn)確性。二值分割器302包括3-D圖形剪切分割引擎304，用于執(zhí)行找到視頻對象邊界的總體處理；以及2-D局部邊界精細化器306，用于精細化3-D圖形剪切分割引擎304獲取的結(jié)果。這些組件都與用戶界面308交互。3-D圖形剪切分割引擎304還包括幀預(yù)分割引擎310以及3-D圖形引擎312。幀預(yù)分割引擎310還包括3-D巻緩沖區(qū)314、分水嶺劃分器316以及用于由分水嶺劃分器316確定的區(qū)域318的存儲區(qū)。3-D圖形引擎312還包括全局色彩能量評估器320、幀內(nèi)連接器324以及幀間連接器326。全局色彩能量評估器320還可以包括色彩比較器322。2-D局部邊界精細化器306可以包括局部2-D圖形剪切器328以及分割覆蓋器(overrider)320。局部2-D圖形剪切器328還包括雙向特征跟蹤器332、視頻管道引擎334以及局部色彩建模器336。視頻管道引擎包括窗口指定器338。分割覆蓋器330通常包括用戶工具340，例如用戶界面刷工具，用于指定視頻幀的前景和背景區(qū)。用戶界面308可以包括視頻顯示342、顯示控件344、關(guān)鍵幀輸入器346以及對象選擇器348。圖保存器350可以保存由二值分割器302獲得的二值分割。這可以包括用戶使用局部2-D圖形分割器328以及用戶工具340等以某種程度的手動干預(yù)執(zhí)行的邊界修改。使用來自二值分割器302的二值分割結(jié)果，遮片提取器352可以應(yīng)用經(jīng)修改的相干摳圖算法354，以獲取視頻剪輯108中每個幀的alpha遮片，即"遮片序列"356。前景色提取器358提取3-D視頻對象106作為對象序列360。對象粘貼器362可以將對象序列360置于多個新背景364之一中。在一個實現(xiàn)中，示例性視頻剪切和粘貼引擎102的操作可以如下總結(jié)。視頻幀的預(yù)分割區(qū)域318由分水嶺劃分器316來確定。3-D圖形剪切分割引擎304接著將分割應(yīng)用到空間一時間視頻巻的預(yù)分割區(qū)域，該巻可以保存在緩沖器314中。3-D圖形引擎312以保存視頻對象106的時間相干性的方式連接預(yù)分割區(qū)域318。2-D局部邊界精細化器306可以取得該初始分割結(jié)果并允許用戶指定要局部精細化的區(qū)域318，其中局部2-D圖形剪切器328具有使用局部色彩而非來自整個背景的色彩的局部色彩建模器336。以下是對視頻對象剪切和粘貼引擎102更為詳細的描述。在典型的情況下，用戶首先使用關(guān)鍵幀輸入器346從視頻剪輯108選擇一些關(guān)鍵幀，并使用可包括常規(guī)的圖像快照工具的對象選擇器348提供它們精確的前景/背景分割。在一個實現(xiàn)中，引擎102以十幀的間隔請求關(guān)鍵幀采樣，并生成介于中間的幀的背景遮片，但是根據(jù)具體視頻剪輯108中的對象移動采樣率可能不同。對于較慢的移動和形變的對象，可用使用較低的采樣率。3-D圖形剪切分割引擎304對視頻剪輯108的空間時間巻起作用，該巻可以存儲在3-D巻緩沖器314中。為了使得優(yōu)化過程易于處理，幀預(yù)分割引擎310使用分水嶺技術(shù)(諸如Vincent和Soille分水嶺算法)將視頻剪輯108中的每個幀預(yù)分割成多個原子區(qū)域318。3-D圖形引擎312基于這些原子區(qū)域318構(gòu)造3-D圖形?？梢允褂弥T如Mortensen和Barrett的急劇下降(tobogganing)的替換預(yù)分割技術(shù)。在任一情況下，3-D圖形剪切分割引擎304形成保存逐個幀的一組區(qū)域候選的時間上的連接，并由此嵌入時間一致性而無需顯式的移動估計。圖4示出了從中可以分割和剪切出3-D視頻對象106的3-D圖形400的示例性構(gòu)造的概觀。在一個實現(xiàn)中，對于區(qū)域r318，3-D圖形引擎312使用三個能量來構(gòu)造3-D圖形400。首先，3-D圖形引擎312按照能項El將區(qū)域318連接到前景虛擬節(jié)點(例如404)以及背景虛擬節(jié)點(例如406)。第二，幀內(nèi)連接器324按照能項E2在單個幀(t)內(nèi)將區(qū)域318連接到鄰近區(qū)域(例如408、410、412、414)。接著，幀間連接器326使用能項E3將區(qū)域318連接到相鄰幀上的候選區(qū)域(例如前一幀t-l上的候選區(qū)域414、416和418;以及后續(xù)的幀t+l上的候選區(qū)域422、424、426、428和430)。候選區(qū)域于是是表示鄰近幀上可能在不同的時間點上(即在相鄰視頻幀上)成為當(dāng)前區(qū)域402的區(qū)域。'回到圖3的引擎組件，3-D圖形引擎312在每對選定的關(guān)鍵幀之間構(gòu)造3-D圖形400，在由幀預(yù)分割引擎310獲得的"原子"區(qū)域318上構(gòu)造，而非常規(guī)技術(shù)中的個別象素上。3-D圖形引擎312通過使用色彩比較器322比較每個區(qū)域318與關(guān)鍵幀中的前景/背景色彩分布的色彩一致性，并接著在視頻對象106的前景/背景邊界上最大化各區(qū)域中間的色彩差異來執(zhí)行分割。此外，3-D圖形引擎312通過使用三個能量的優(yōu)化來利用嵌入在3-D圖形中的時間相干性。實際上，3-D圖形剪切分割引擎304可以準(zhǔn)確地定位視頻對象的輪廓的大部分。更詳細地，3-D圖形引擎312將唯一的標(biāo)簽xE(l(前景)，0(背景)}分配給每個區(qū)域318。關(guān)鍵幀中的區(qū)域318已經(jīng)具有標(biāo)簽，例如來自對象選擇器34S，而3-D圖形引擎312將標(biāo)簽分配給其他幀中的區(qū)域。3-D圖形引擎312構(gòu)造由來自關(guān)鍵幀輸入器346的兩個連續(xù)的關(guān)鍵幀界定的3-D巻F=《，A〉。節(jié)點集S包含由分水嶺劃分器316生成的原子區(qū)域(例如318)?；〖疉包含兩種弧連接一個幀內(nèi)的節(jié)點的幀內(nèi)弧A,，以及跨幀連接節(jié)點的幀間為了構(gòu)造幀內(nèi)弧A"幀內(nèi)連接器324將每個區(qū)域。318連接到同一幀(7')中的每個相鄰區(qū)域(例如402、404、406和408)。為了構(gòu)造幀間弧A"幀間連接11器326將每個區(qū)域"'318連接到相鄰幀(^")中位于給定范圍內(nèi)(通常為15個象素)中的每個候選區(qū)域(例如422、424、426、428、430)，拍簇明顯不相關(guān)的區(qū)域，它的平均色與區(qū)域"'318的顏色的差異大于閥值Tc(通常為30象素)。為了處理具有不同形狀的區(qū)域，諸如"L"形和細長區(qū)域，使用形態(tài)學(xué)擴大(morphologicaldilation)而非區(qū)域中心之間的歐幾里德距離來計算區(qū)域之間的鄰近性。3-D圖形引擎312對相鄰幀上可能的對應(yīng)關(guān)系保存一組這種候選連接，并且由色彩比較器322提供的優(yōu)化決定應(yīng)該切掉哪個。保存跨幀的可能的對應(yīng)區(qū)域之間的候選連接導(dǎo)致比僅確定一個對應(yīng)關(guān)系的傳統(tǒng)跟蹤方法更高的健壯性。3-D圖形生成器312通過使得色彩比較器322最小化在3-D圖形「上定義的如在公式(1)中所示的能量函數(shù)來標(biāo)記對應(yīng)的區(qū)域其中^是區(qū)域r318的前景/背景標(biāo)簽，而義={、、}。第一項是"可能性能量"EP它表示區(qū)域r318的色彩與從關(guān)鍵幀中的色彩信息構(gòu)造的前景/背景色彩模型的一致性程度。第二和第三項是"優(yōu)先(prior)能量"E2和E3。E2表示同一幀中兩個相鄰區(qū)域之間的色差，并且由幀內(nèi)連接器324用于鼓勵兩個相似的相鄰區(qū)域在前景中或在背景中待在一起。第三項E3表示兩個相鄰幀中兩個相鄰區(qū)域之間的色差，并且由幀間連接器326用于通過幀間弧AT將時間相干性嵌入到圖形剪切優(yōu)化過程中。幀間連接器326形成幀之間的時間連接，即通過將一個幀中的單個區(qū)域連接到后續(xù)幀中的多個候選區(qū)域，而在最終優(yōu)化中維護若干個連接。全局色彩能量評估器320對關(guān)鍵幀中的色彩采樣，以為Ei構(gòu)造前景/背景色彩模型。在一個實現(xiàn)中，全局色彩能量評估器320使用高斯混合模型(GMM)來描述前景/背景色彩分布。前景GMM的第m個分量被示為(^，^《K)，表示權(quán)重、平均色彩和協(xié)方差矩陣。全局色彩能量評估器320使用M個分量來描述前景或背景色，因此，me[l，M]，通常似=6。對于給定的色彩c，它到^景GMM的距離如公式(2)中定義:W(c)=—,S二)+",K)](2)其中，如在公式(3)中所示:f)(w，2)=-logw+丄logdetI]2，(3)且其中，如在公式(4)中所示萬(c,〃,s)=丄(c-p)rir1(c-a)、"'2"、(4)對于區(qū)域r318，它到前景GMM的距離被定義為該區(qū)域內(nèi)所有象素的距離的期望值，表示為〈"0、類似地定義到背景色彩的距離〈^》。接著，如表(1)中定義可能性能量￡1(、)表(1):可能性能量<table>tableseeoriginaldocumentpage13</column></row><table>&}和{^是分別是關(guān)鍵幀中前景區(qū)域和背景區(qū)域的集合，它們的標(biāo)簽被輸入。將0和oo分配給E,在優(yōu)化中實施這些硬性限制。關(guān)于兩個區(qū)域r和s之間的色彩相似性定義兩個能量E2和E3，如在公式(5)中所示其中k-^是RGB色差的丄2模。健壯參數(shù)"對色彩對比度加權(quán)，并且可以被設(shè)置成"=(2〈^—^A，其中〈'〉是期望算子。全局色彩能量評估器320為E2和E3單獨來計算"。因數(shù)^—、l允許只為跨分割邊界的連接考慮能量。當(dāng)相鄰節(jié)點被分配不同的標(biāo)簽時，優(yōu)先能量E2和E3是懲罰項。3-D圖形引擎312通過使用高效的圖形剪切算法全局最小化公式(1)的目標(biāo)函數(shù)，并且每個區(qū)域的所得標(biāo)簽確定視頻巻中的分割。在3-D圖形構(gòu)造中，到圖形中虛擬前景(或背景)節(jié)點的弧的邊成本是A(G)(A(l))，而幀內(nèi)或幀間弧的邊成本是e—*、|2。具有類似色彩的節(jié)點之間的弧~—^應(yīng)該具有較高的成本。在一個實現(xiàn)中，全局色彩能量評估器320將默認參數(shù)固定為^=24，^=12。有了這些值，3-D圖形剪切分割引擎304可以以合理的速度成功地計算視頻對象106的邊界。由于全局色彩能量評估器320從關(guān)鍵幀中全局地構(gòu)造前景/背景色彩分布，因此在前景色彩與視頻剪輯108的不同部分的背景色彩匹配(反之亦然)的區(qū)域中，3-D圖形剪切分割結(jié)果較差。因此，2-D局部邊界精細化器306包括視頻管道引擎334，允許用戶應(yīng)用非常局部化的邊界精細化。"視頻管道"是跨時間的視頻幀所占面積的較小的區(qū)域(所顯示的、移動視頻的較小的部分)，其中在圖形剪切分割中僅使用局部色彩模型。通過隔離局部色彩，可以顯著地改進分割邊界。視頻管道引擎334包括窗口指定器338，允許用戶指定視頻幀中會進行局部化的邊界精細化的區(qū)域。在一個實現(xiàn)中，用戶畫出跨幀傳播并將分割限制在其自身邊界內(nèi)的矩形(窗口)。經(jīng)由窗口指定器338畫出矩形可以經(jīng)由用戶界面308和顯示控件344完成。在一個實現(xiàn)中，視頻管道引擎334的窗口指定器338將視頻管道定義成矩形窗口{『'，即跨T幀的視頻幀的子部分。為了指定視頻管道，用戶僅需選擇兩個關(guān)鍵窗口^和『r，它們是正選擇的視頻管道的第一和最后一個窗口。中間的剩余窗口由雙向特征跟蹤器332自動地定位。在一個實現(xiàn)中，視頻管道引擎334確定在^和^之間至少有一個關(guān)鍵幀，使得局部色彩建模器336能夠獲取局部前景/背景色彩模型以供精細化。同樣地，視頻管道引擎334確定管邊界在分割邊沿處(在視頻對象106的邊緣處的前景和背景之間)是正確的，因為交叉點提供了優(yōu)化中的硬性限制。當(dāng)2-D局部邊界精細化器306執(zhí)行跟蹤之后，局部2-D圖形剪切器328使用從關(guān)鍵幀上相應(yīng)的視頻管道窗口構(gòu)造的局部前景和背景色彩模型將限制的2-D象素層圖形剪切分割應(yīng)用到每個視頻管道窗口。最后，2-D局部邊界精細化器306無縫地將從每個視頻管道得出的該精細化的分割結(jié)果連接到與視頻管道窗口相鄰的現(xiàn)有視頻對象邊界上。圖5示出了使用剛描述的視頻管道的示例性2-D邊界精細化。視頻管道窗口502被用戶放置在現(xiàn)有分割結(jié)果506的邊界504上。局部2-D圖形剪切器328使用由局部色彩建模器336找到的局部色彩執(zhí)行分割。在該邊界精細化中，依照現(xiàn)有分割結(jié)果，窗口502的邊緣上的最外面的象素被標(biāo)記為前景/背景硬性限制，這樣使得為窗口502的內(nèi)部象素確定的無論什么都可以無縫地與來自3-D圖形剪切分割的現(xiàn)有分割結(jié)果506連接。在窗口選擇開始時，窗口502的每個內(nèi)部象素的前景/背景狀態(tài)是不確定的，并且要根據(jù)與更為精細的邊界508的關(guān)系來確定。該2-D圖形剪切分割結(jié)果即，精細化的邊界508(被示為虛線)被用于替換先前的分割邊界504。兩個交叉點510和512(視頻管道窗口502與先前的分割邊界504在該處相交)保持在它們相同的位置中，但是剩余的精細化邊界508可以不同于先前的邊界504。雙向特征跟蹤現(xiàn)在更詳細地描述雙向特征跟蹤器332。給定兩個關(guān)鍵窗口^和^，即視頻管道的第一個窗口和最后一個窗口，雙向特征跟蹤器332跟蹤中間幀中窗口的位置。^和^的大小可以不同，并可由用戶調(diào)整。在跟蹤之前，中間的窗口是從^和^線性內(nèi)插的(位置和大小)。視頻管道引擎334將A表示為視頻管道中每個窗口『r的中心位置。視頻管道引擎334也為每個窗口的位置定義搜索范圍&。窗口的所有位置"J可以通過最小化以下公式(6)中所示的目標(biāo)函數(shù)來解出}=argminJ]min(DO,,)，DO,,pr))+tfei-A-i)-(》，-》")|+w"O,，A-i)}w,(6)其中，)是當(dāng)窗口『"和『'2的中心&和&對準(zhǔn)時，兩個窗口『"和『"在它們的重疊區(qū)域內(nèi)之間的色彩距離的平方和。項》,—t和》,是優(yōu)化之前窗口和『'的位置，這是通過線性內(nèi)插計算的。在一個實現(xiàn)中，？71=0'1而;72=1。公式(6)中的第一項被設(shè)計成對于關(guān)鍵窗口優(yōu)化的窗口的色彩一致性。視頻管道引擎334選擇最匹配的關(guān)鍵窗口用于計算該成本，以允許特征隨著時間改變。第二項實施視頻管道的平滑。第三項用于最小化相鄰窗口之間的色差。注意，關(guān)鍵窗口的位置在該優(yōu)化過程中是固定的，因為它們是由用戶放置的。跟蹤被稱為是"雙向的"，因為每個窗口從兩個方向上的兩個關(guān)鍵窗口接收信息。在一個實現(xiàn)中，可以使用動態(tài)規(guī)劃(DP)算法來優(yōu)化公式(6)的目標(biāo)函數(shù)。雙向特征跟蹤器332可以將通用換算方法用于優(yōu)化。首先，雙向特征跟蹤器332為視頻剪輯108中的每個幀構(gòu)造高斯金字塔(pyramid)，且每個較高的層具有其緊靠著的較低的層的一半的幀大小。雙向特征跟蹤器332相應(yīng)地調(diào)整窗口的位置和大小。接著它從金字塔的頂端開始在每個層執(zhí)行最優(yōu)化，搜索范圍&以先前級別中的優(yōu)化位置為中心。對于頂層，雙向特征跟蹤器332從關(guān)鍵窗口線性地內(nèi)插^的初始位置。通常，對于NTSC視頻(720x480象素)，有丄=4層，在每個層處^是7x7的方形窗口。一旦定位了視頻管道,2-D局部邊界精細化器306在每個窗口內(nèi)執(zhí)行2-D圖形15剪切分割，以精細化現(xiàn)有分割邊界。在象素級構(gòu)造2-D圖形，如公式(7)中所示:五(X盧J^(x,)+i;5>2(x,.,~)(7)其中x,是象素/的標(biāo)簽，s'是所有被跟蹤的象素，而A:是象素之間的八鄰域關(guān)系。A和五2具有與公式(1)中類似的定義，除了現(xiàn)在由象素代替區(qū)域。在一個實現(xiàn)中，義;的值通常被設(shè)置為io。為了將精細化無縫地嵌入到現(xiàn)有分割中，局部2-'D圖形剪切器328依照現(xiàn)有分割結(jié)果自動地生成前景和背景硬性限制。如圖5中所示，窗口內(nèi)除窗口邊界上的象素之外的所有象素的標(biāo)簽由局部2-D圖形剪切器328解出。如果位于現(xiàn)有分割的前景中，窗口邊界上的象素被標(biāo)記為前景硬性限制。否則，它們被標(biāo)記為背景硬性限制。由于這些硬性限制，局部2-D圖形剪切器328在產(chǎn)生無縫地連接到正好在窗口之外的現(xiàn)有邊界的窗口內(nèi)結(jié)果，如圖5中所示。如所述的，在視頻管道中必須至少有一個關(guān)鍵幀。視頻管道引擎334收集關(guān)鍵幀中窗口內(nèi)的象素，以計算視頻管道的前景/背景GMM模型以得到上述^項。與3-D圖形剪切分割引擎304所使用的全局色彩模型相比，局部2-D圖形剪切器328在局部窗口中使用更準(zhǔn)確的色彩模型，并獲得顯著改進的結(jié)果，這就是它為什么被用于2-D局部邊界精細化。圖6示出了在局部精細化之前和之后的分割結(jié)果。由2-D局部邊界精細化器306對3-D圖形剪切分割引擎304產(chǎn)生的精細化無需準(zhǔn)確的用戶交互，實際上用戶僅需要以排除不相關(guān)的色彩的方式將視頻管道窗口置于幀上。在幀602a中，在所示人員制服上的臂章具有與背景中旗幟類似的紅色。因為3-D圖形剪切分割引擎304使用全局色彩能量評估器320，因為3-D圖形引擎312決定紅色臂章是背景的部分一一因為臂章在制服的視覺外邊上，并且與綠色制服的剩余部分具有顯著不同的色彩而可能引入邊界錯誤(如幀602b中所示)。實際上，全局色彩能量評估器320將紅色考慮為強背景色彩，因為在幀602a中紅旗的顯著出現(xiàn)。然而在幀604中，2-D局部邊界精細化器306在較小的矩形視頻管道窗口606中使用局部色彩建模器336。采用排除不相關(guān)的全局色彩信息的局部色彩模型，由此可以更為精確地精細化邊界。示例性分割覆蓋器當(dāng)在實際視頻對象邊界周圍有模糊的邊緣或者邊界的對比度很低時，局部2-D16圖形剪切器328可能不能產(chǎn)生正確的視頻對象邊界。對于諸如人的手指的視頻的細的視覺結(jié)構(gòu)尤其如此，其中可能不能自動地區(qū)分精細的結(jié)構(gòu)。可以提供分割覆蓋器330以手動地克服這些困難。在一個實現(xiàn)中，分割覆蓋器330具有允許用戶能夠例如使用用于標(biāo)識明確的前景和明確的背景區(qū)域兩個覆蓋刷來非常精確地直接控制對象邊界的的用戶工具340。而且，可以將用戶的覆蓋操作保存到盤中，并將其載入以供以后使用。一旦示例性二值分割器302分割了視頻剪輯108，那么遮片提取器352即提取視頻對象106以供粘貼。在一個實現(xiàn)中，遮片提取器352采用經(jīng)修改的相干摳圖算法354以為視頻對象邊界計算部分alpha遮片。在一個實現(xiàn)中，遮片提取器352通過引入alpha的規(guī)則化項來改進常規(guī)的Bayesian摳圖。因此，它產(chǎn)生符合先前的二值分割邊界的alpha遮片，并且即使當(dāng)前景/背景色彩相似時也能很好地執(zhí)行。遮片提取器352通過(通常按10個象素)擴大二值視頻對象邊界來處理不確定的邊界區(qū)域。對于前景中的小洞或細縫，該擴大會導(dǎo)致在附近不會采樣背景色。在這種情況下，遮片提取器352改為采樣來自鄰近幀的背景色。遮片提取器352獲取視頻對象的alpha遮片以組成遮片序列356，并且具有前景色彩提取器358以獲取視頻對象序列360的前景色彩。接著，對象粘貼器362能夠?qū)⒓羟谐龅囊曨l對象序列360粘貼到新的背景364上。實驗結(jié)果在示例實驗中，在3.1GHz的計算機上執(zhí)行測試。使用DV攝像機在逐行掃描模式下以12.5幀/秒的速率拍攝源視頻剪輯108。每個視頻剪輯108被分成大約每段30個幀，并且個別地加載和處理每個段。通常每IO個幀采樣關(guān)鍵幀，而有些視頻剪輯108由于快速移動和陰影改變需要更為密集的采樣。處理時間大約為對每個上述的視頻剪輯108的分段半個小時。在一個示例實驗中，大約該時間的200%由幀預(yù)分割引擎310用于預(yù)處理和其他計算；大約40%的時間被視頻管道引擎334用于跟蹤和調(diào)整，而另外40%的時間被分割覆蓋器330用于覆蓋操作。保存中間結(jié)果通過對于每個分段僅執(zhí)行一次預(yù)處理，而來自分水嶺劃分器316和3-D圖形剪切分割引擎304的結(jié)果通?？梢杂蓤D保存器350保存，并按需重新使用。3-D圖形引擎312通常不負責(zé)許多所使用的處理時間。示例性方法'圖7描述了從視頻序列中分割出視頻對象的示例性方法700。在流程圖中，使用各個框來概括操作。示例性方法700的部分可以由硬件、軟件或兩者的組合來執(zhí)行，例如由示例性視頻剪切和粘貼引擎102的組件來執(zhí)行。在框702處，在視頻序列的幀內(nèi)建立區(qū)域。例如，幀預(yù)分割引擎310可以應(yīng)用分水嶺算法，以將視頻幀呈現(xiàn)成原子區(qū)域。使用區(qū)域而非象素具有很多優(yōu)勢。首先，對區(qū)域操作會需要較少的處理能力并加快視頻剪切和粘貼操作。由于在視頻序列播放期間給定的區(qū)域會改變位置、形狀和顏色等，定義這種移動對象的邊界的一個難題是在視頻序列的幀中準(zhǔn)確地跟蹤區(qū)域。因此，在框704處，將時間相干性嵌入到區(qū)域的3-D圖形中。舉例而言，3-D圖形引擎312不僅通過在同一幀上的相鄰區(qū)域之間形成關(guān)聯(lián)而且在該區(qū)域和時間上相鄰的視頻幀上的可能的"候選"區(qū)域之間形成關(guān)聯(lián)來構(gòu)造3-D圖形。這導(dǎo)致當(dāng)標(biāo)識序列的幀之間的給定區(qū)域時的一致性，并且這又導(dǎo)致了對視頻序列中視頻對象的更加清晰地劃界，因為隨著區(qū)域跨多個幀移動和變形，對于給定的區(qū)域是視頻對象106的部分還是背景的部分不確定性較少。在框706處，基于全局色彩模型應(yīng)用3-D圖形剪切分割。舉例而言，3-D圖形剪切分割引擎304可以通過使用少量關(guān)鍵幀(即選定作為要剪切出的視頻對象的好的模型)開始尋找視頻對象的視覺邊界。在視頻序列中從這些關(guān)鍵模型幀到其他幀操作，全局色彩模型允許從背景色中從區(qū)分出視頻對象的視覺邊緣。由于是在區(qū)域上而非個別象素上構(gòu)造3-D圖形的，因此該分割要比常規(guī)的分割技術(shù)要快。在框708處，基于局部色彩模型應(yīng)用2-D圖形剪切分割。舉例而言，2-D局部邊界精細化器306可以將邊界精細化限制于包含在視頻幀中用戶選定的窗口中的邊界?？梢钥缫曨l序列的幀自動傳播選定窗口，并且要用于作出有關(guān)精細化視頻對象邊界的決定的色彩可以被限于窗口序列內(nèi)的那些色彩。當(dāng)視頻對象在其視覺邊緣處具有精細細節(jié)時，這可以產(chǎn)生更為精確的視頻對象邊界。結(jié)論以上討論描述了用于視頻對象剪切和粘貼的示例性系統(tǒng)和方法。雖然用結(jié)構(gòu)化特征和/或方法動作專用的語言描述了本主題，但是應(yīng)該理解在所附權(quán)利要求書中定義的本主題并不必限于上述的特定特征和動作。而是上述特定的特征和動作是作為用于實現(xiàn)本權(quán)利要求的示例性形式來公開的。權(quán)利要求1.一種方法，包括在應(yīng)用3-D圖形剪切分割(204)之前將視頻序列(108)的幀(702)分割成區(qū)域(318)，以便指定所述視頻序列(108)中視頻對象(106)的輪廓(504)；通過在相鄰視頻幀中的對應(yīng)區(qū)域(318)之間形成關(guān)聯(lián)來構(gòu)造(704)3維圖形(400)，包括將時間相干性(326)嵌入到所述3維圖形(400)中；依照全局色彩模型(706)將所述3-D圖形剪切分割(204)應(yīng)用到所述3維圖形(400)，以導(dǎo)出表示所述視頻對象的輪廓(504)的二值分割；以及依照局部色彩模型將2-D圖形剪切分割(708)應(yīng)用到至少某些二值分割上，以導(dǎo)出所述視頻對象(106)的精細化的輪廓(508)。2.如權(quán)利要求1所述的方法，其特征在于，將視頻序列(108)的幀分成區(qū)域(318)包括使用分水嶺技術(shù)(316)預(yù)分割(202)所述視頻序列(108)。3.如權(quán)利要求l所述的方法，還包括將經(jīng)修改的相干摳圖技術(shù)(210)(354)應(yīng)用到二值分割(302)(706)以獲取用于從所述視頻序列(108)剪切所述視頻對象(106)的遮片序列(356)。4.如權(quán)利要求3所述的方法，還包括從所述視頻序列(108)剪切所述視頻對象(106)，并將所述視頻對象(106)粘貼到不同的視頻序列(364)中。5.如權(quán)利要求1所述的方法，還包括接收窗口選擇輸入(338)，其中所述窗口選擇輸入(338)指定所述視頻序列的視頻幀的部分(502);基于所述窗口選擇輸入(338)在所述視頻序列(108)內(nèi)自動生成窗口(334)的時間序列；以及在所述窗口(334)的序列內(nèi)應(yīng)用所述2-D圖形剪切分割(328);以及將所述局部色彩模型(336)限制于所述窗口(334)的序列內(nèi)的色彩。6.—種方法，包括將視頻序列(108)的幀預(yù)分割(202)成區(qū)域(318);選擇所述視頻序列(108)的兩個模型幀(110)，其中所述兩個模型幀(110)中的每個具有表示視頻對象(106)的前景和背景；從由所述兩個模型幀在時間上界定的幀的3-D巻構(gòu)造3維(3-D)圖形(400)，包括將單個幀上的區(qū)域(318)與同一幀上的相鄰區(qū)域(408、410、412、414)相關(guān)聯(lián)，和將單個幀上的區(qū)域(318)與相鄰幀上的候選對應(yīng)區(qū)域(416、418、420)(422、424、426、428、430)相關(guān)聯(lián)；以及依照全局色彩模型(706)將3-D圖形(400)分割成相關(guān)聯(lián)的前景區(qū)域和相關(guān)聯(lián)的背景區(qū)域，其中所述相關(guān)聯(lián)的前景區(qū)域表示所述視頻序列(108)的幀中的視頻對象(106)。7.如權(quán)利要求6所述的方法，其特征在于，預(yù)分割(202)幀使用分水嶺技術(shù)(316)或急劇下滑技術(shù)之一。8.如權(quán)利要求6所述的方法，其特征在于，將單個幀上的區(qū)域(318)與相鄰幀上的候選對應(yīng)區(qū)域(416、418、420)(422、424、426、428、430)相關(guān)聯(lián)還包括將所述單個幀上的區(qū)域(318)與所述相鄰幀上位于所述區(qū)域在所述相鄰幀上的的可能的對應(yīng)位置的給定范圍內(nèi)的區(qū)域相關(guān)聯(lián)。9.如權(quán)利要求6所述的方法，其特征在于，將單個幀上的區(qū)域(318)與相鄰幀上的候選對應(yīng)區(qū)域(416、418、420)(422、424、426、428、430)相關(guān)聯(lián)還包括依照所述單個幀上的區(qū)域和所述相鄰幀上的區(qū)域之間的色彩能量比較(320)來將所述單個幀上的區(qū)域與所述相鄰幀上的區(qū)域相關(guān)聯(lián)。10.如權(quán)利要求6所述的方法，其特征在于，所述將3-D圖形(400)分割成相關(guān)聯(lián)的前景區(qū)域和相關(guān)聯(lián)的背景區(qū)域是通過將所述3-D圖形(400)的能量函數(shù)最小化(322)來實現(xiàn)的。11.如權(quán)利要求IO所述的方法，其特征在于，所述要最小化的能量函數(shù)(322)如下表示其中x,和jc,分別是區(qū)域r和s的前景/背景》示簽；；r^k:VJ;A表示區(qū)域r的色彩同與所述兩個模型幀內(nèi)的色彩信息相關(guān)聯(lián)的前景/背景色彩模型的一致性；￡2表示同一幀內(nèi)兩個相鄰區(qū)域之間的色差；￡3表示兩個相鄰幀內(nèi)兩個區(qū)域之間的色差；凡和A是常數(shù)。12.如權(quán)利要求6所述的方法，其特征在于，所述全局色彩模型(320)包括從兩個模型幀(110)全局導(dǎo)出的前景/背景色彩分布。13.如權(quán)利要求6所述的方法，還包括指定所述3-D圖形(400)的視頻管道部分(334)，其中所述視頻管道(334)包括視頻幀的部分(502)和所述視頻序列(108)的其他視頻幀的相應(yīng)部分；以及將局部色彩模型(336)應(yīng)用到所述視頻管道部分(334)內(nèi)的2維(2-D)圖形剪切分割(328)，以精細化帶有所述視頻管道(334)的所述前景區(qū)域和所述背景區(qū)域之間的邊界(504)。14.如權(quán)利要求13所述的方法，其特征在于，指定視頻管道部分(334)還包括指定第一幀上的第一視頻管道窗口(502)和第二幀上的第二視頻管道窗口(502)，其中所述兩個模型幀(110)至少之一是在所述第一幀和所述第二幀之間的。15.如權(quán)利要求14所述的方法，還包括在所述視頻序列(108)的一部分中雙向地跟蹤(332)所述第一或第二窗口(502)之一，以在所述第一幀和所述第二幀之間的幀上自動地生成所述視頻管道(334)的其他窗口。16.如權(quán)利要求13所述的方法，還包括使用從所述兩個模型幀之一中所述視頻管道窗口(502)之一的色彩導(dǎo)出的局部前景和背景色彩模型(336)，將2-D圖形剪切分割(206)應(yīng)用到所述視頻管道部分(334)的每個窗口(502)上。17.如權(quán)利要求16所述的方法，還包括將視頻管道窗口(502)內(nèi)的精細化邊界(508)無縫地連接到與所述視頻管道窗口(502)相鄰的之前存在的邊界(510，512)上。18.如權(quán)利要求15所述的方法，還包括在所述3-D分割或所述2-D分割之一發(fā)生后，通過手動地分配(340)視頻幀的前景和背景象素，來覆蓋(330)所述3-D分割和所述2-D分割。-19.如權(quán)利要求6所述的方法，還包括應(yīng)用經(jīng)修改的相關(guān)摳圖技術(shù)(210，354)以從所述背景區(qū)域分離出所述前景區(qū)域。20.—種系統(tǒng)，包括用于確定在視頻序列中在各幀之間持續(xù)的視覺區(qū)域(318)的裝置；用于從所述視頻序列的所述區(qū)域(318)構(gòu)造3維圖形(400)的裝置；用于通過包括所述視頻序列(108)的相鄰幀中對應(yīng)區(qū)域(318);(416，418，420)(422，424，426，428，430)之間的關(guān)聯(lián)來將時間相關(guān)性(326)嵌入到3維圖形(400)中的裝置；用于基于所述視頻序列(108)的全局色彩，將3維圖形剪切分割(204)應(yīng)用到3維圖形(400)上，以獲取分割結(jié)果的裝置；用于指定所述分割結(jié)果的局部部分(502)的裝置；以及用于基于所述局部部分(502)局部色彩(336)將2維圖形剪切分割(206)應(yīng)用到局部部分(502)的裝置。全文摘要描述了視頻對象剪切和粘貼(100)。在一個實現(xiàn)中，在3-D圖形剪切分割(204)之前，執(zhí)行視頻幀(108)到區(qū)域(318)的預(yù)分割(202)。3-D圖形剪切分割(204)使用時間相干性(326)和全局色彩模型(320)來實現(xiàn)視頻對象邊界(504)的準(zhǔn)確度。接著可使用2-D局部圖形剪切分割(206)來精細化(508)邊界。邊界可以在用戶選定的窗口序列(502)中跟蹤，并且使用局部色彩模型(336)來精細化。文檔編號G11B27/00GK101501776SQ200680032200公開日2009年8月5日申請日期2006年6月29日優(yōu)先權(quán)日2005年7月1日發(fā)明者H-Y·沈,J·孫,Y·李申請人:微軟公司