專利名稱：交互式圖像遮片的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理，尤其涉及交互式圖像遮片。
背景技術(shù)：
在圖像合成中，合成圖像可通過將第一圖像的一部分與第二圖像的一部分組合來創(chuàng)建。例如，第一圖像的前景部分，諸如一個(gè)人或物件，可以從該第一圖像提起并放置在用作合成圖像中的新背景的第二圖像上。為了正確地組合這些圖像，使用包含覆蓋信息(例如，正在進(jìn)行合成的一個(gè)或多個(gè)部分的形狀)的相關(guān)聯(lián)的遮片(例如，阿爾法遮片)來在各圖像部分之間進(jìn)行區(qū)分。這種被稱為“圖像遮片”或簡(jiǎn)稱為“遮片”的技術(shù)常見于靜止圖像合成、視頻特效、計(jì)算機(jī)視覺以及各種其他圖形和圖像操縱應(yīng)用中。公知的遮片技術(shù)包括藍(lán)屏或綠屏遮片，其中圖像的阿爾法遮片和前景部分能夠容易地與該圖像的背景部分分隔開，因?yàn)樵摫尘笆怯脩艨刂频膯蝹€(gè)色彩。相反，對(duì)于其中背景不是單個(gè)色彩的自然圖像遮片，使用統(tǒng)計(jì)技術(shù)來估計(jì)和標(biāo)識(shí)阿爾法遮片、前景和背景。此外，由于遮片等式中的未知量，自然圖像遮片是固有地?zé)o定解的問題。因此，使用常規(guī)遮片技術(shù)的給定圖像的阿爾法遮片、前景和背景的分割可能是相當(dāng)計(jì)算密集的。此外，因?yàn)閳D像遮片是無定解的問題，所以大多數(shù)現(xiàn)有方法依靠與圖像一起提供或從圖像中生成的、標(biāo)識(shí)明確前景、明確背景和/或未知區(qū)域中的至少某一些的“三重圖”。 充分定義的三重圖可幫助通過減少未知元素的數(shù)量來獲得高質(zhì)量遮片。此外，當(dāng)用戶使用用戶界面來交互式地執(zhí)行遮片時(shí)，向用戶提供即時(shí)反饋的能力可以是有幫助的，因?yàn)橛脩裟軌蛟诔尸F(xiàn)遮片時(shí)細(xì)化三重圖直到獲取令人滿意的結(jié)果。例如，向用戶提供實(shí)時(shí)反饋可以顯著地縮短遮片處理總時(shí)間并減少用戶工作，因?yàn)橛脩裟軌蚩焖贅?biāo)識(shí)需要潤色的位置。同樣，一種具有高度響應(yīng)性的系統(tǒng)可提供更流暢的用戶體驗(yàn)并且避免用戶沮喪。不幸的是，大多數(shù)常規(guī)高質(zhì)量遮片方法在計(jì)算上是昂貴的并且無法實(shí)時(shí)提供響應(yīng)。

發(fā)明內(nèi)容
提供本發(fā)明內(nèi)容是為了以簡(jiǎn)化的形式介紹將在以下具體實(shí)施方式
中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵特征或必要特征；也不旨在用于確定或限制所要求保護(hù)的主題的范圍。此處所公開的某些實(shí)現(xiàn)允許基于通過用戶界面接收到的輸入來進(jìn)行交互式圖像遮片。例如，用戶界面可提供用于標(biāo)識(shí)圖像中供用作三重圖(trimap)的一個(gè)或多個(gè)區(qū)域的輸入工具。另外，某些實(shí)現(xiàn)可以在遮片處理期間采用可變大小的核來快速傳播遮片信息并向用戶界面提供實(shí)時(shí)反饋或結(jié)果。此外，因?yàn)榉答伩砂▽?shí)時(shí)提供的結(jié)果，所以該用戶界面還使得用戶能夠交互式地細(xì)化或修改遮片。


參考附圖來闡明具體實(shí)施方式
。在附圖中，附圖標(biāo)記中最左邊的數(shù)字標(biāo)識(shí)該附圖標(biāo)記首次出現(xiàn)的附圖。在不同附圖中使用同一附圖標(biāo)記指示相似或相同的項(xiàng)或特征。圖1示出了根據(jù)此處的某些實(shí)現(xiàn)的核的示例。圖2是根據(jù)某些實(shí)現(xiàn)的用于圖像遮片的框架的框圖。圖3A-3C描繪了根據(jù)某些實(shí)現(xiàn)的圖像遮片的示例。圖4是根據(jù)某些實(shí)現(xiàn)的用于圖像遮片的示例過程的流程圖。圖5是示出根據(jù)某些實(shí)現(xiàn)的相對(duì)于收斂迭代數(shù)的半徑大小的示例的圖。圖6是根據(jù)某些實(shí)現(xiàn)的用于用三重圖分割來進(jìn)行圖像遮片的框架的框圖。圖7A-7B示出了根據(jù)某些實(shí)現(xiàn)的三重圖分割的示例。圖8是根據(jù)某些實(shí)現(xiàn)的用于三重圖分割的示例過程的流程圖。圖9A-9H示出了根據(jù)某些實(shí)現(xiàn)的局部-全局-局部處理的效果。圖10是根據(jù)某些實(shí)現(xiàn)的用于用三重圖分割和局部-全局-局部處理來進(jìn)行圖像遮片的示例過程的流程圖。圖11A-11D示出了根據(jù)某些實(shí)現(xiàn)的用于交互式圖像遮片的用戶界面和畫筆類型的示例。圖12A-12B示出了根據(jù)某些實(shí)現(xiàn)的用于交互式圖像遮片的自動(dòng)畫筆選擇機(jī)制。圖13是根據(jù)某些實(shí)現(xiàn)的用于交互式圖像遮片的框架的框圖。圖14是根據(jù)某些實(shí)現(xiàn)的用于交互式圖像遮片的示例過程的流程圖。圖15示出了根據(jù)某些實(shí)現(xiàn)的局部積分圖像處理的示例。圖16A-16D示出了根據(jù)某些實(shí)現(xiàn)的基于可變核大小的前景估計(jì)的示例。圖17是根據(jù)某些實(shí)現(xiàn)的用于用局部積分圖像處理、粗略到精細(xì)逼近、和/或前景估計(jì)來進(jìn)行交互式圖像遮片的框架的框圖。圖18是根據(jù)某些實(shí)現(xiàn)的用于用局部積分圖像處理、粗略到精細(xì)逼近、和/或前景估計(jì)來進(jìn)行交互式圖像遮片的示例過程的流程圖。圖19是根據(jù)某些實(shí)現(xiàn)的合適的計(jì)算系統(tǒng)環(huán)境的示例的框圖。
具體實(shí)施例方式快速圖像遮片此處所描述的技術(shù)一般涉及用于使得能夠?qū)D像的前景部分與圖像的背景部分分開的圖像遮片。例如，可從輸入圖像中提取或拉取前景對(duì)象并將其置于由另一圖像提供的背景之上。此處的實(shí)現(xiàn)可應(yīng)用于其中難以將背景與所提取的前景區(qū)分開來的自然圖像遮片。例如，當(dāng)前景和背景之間的邊界是諸如在頭發(fā)或其他復(fù)雜結(jié)構(gòu)在明顯是前景和背景的圖像部分之間的邊界區(qū)域中延伸時(shí)產(chǎn)生的軟邊界時(shí)，可應(yīng)用某些實(shí)現(xiàn)。此外，可以在各種應(yīng)用中采用此處用于圖像遮片的某些實(shí)現(xiàn)，諸如圖像/視頻分割、分層提取、新視圖合成、交互式圖像編輯、以及電影制作等等。某些實(shí)現(xiàn)提供用于從高分辨率圖像中提取高質(zhì)量阿爾法遮片的交互式工具和技術(shù)。這些實(shí)現(xiàn)可包括基于繪圖的用戶界面以及實(shí)時(shí)地將結(jié)果作為反饋提供給用戶的非常高效的遮片過程。該用戶界面可無縫地集成兩種類型的畫筆工具，即選擇畫筆以及一個(gè)或多個(gè)遮片畫筆，以便有效地處理不同種類的對(duì)象邊界。此處的高效遮片計(jì)算技術(shù)允許遮片過程期間的即時(shí)反饋。因此，能夠在一定范圍的多兆像素圖像上快速“繪制”或“畫出”高質(zhì)量阿爾法遮片和新合成圖。根據(jù)某些實(shí)現(xiàn)，選擇畫筆可用于固定寬度的邊界，因?yàn)橹豢墒褂眠h(yuǎn)離對(duì)象邊界的因果筆畫。此外，遮片畫筆可適用于復(fù)雜的邊界區(qū)域，諸如用于標(biāo)識(shí)多毛的、模糊的或其他復(fù)雜或軟邊界區(qū)域。使用此處的不同的畫筆類型和用戶界面，可以在每一次鼠標(biāo)拖拽操作或其他用戶輸入后幾乎立即計(jì)算出高質(zhì)量阿爾法遮片和/或新合成圖并顯示為反饋。這兩種畫筆類型可以無縫集成以使得用戶能夠在任何時(shí)刻使用任一種來有效地處理所有種類的邊界。對(duì)于高分辨率圖像提供實(shí)時(shí)反饋是不同尋常的，因?yàn)槔?，畫筆的半徑可以容易地是數(shù)百個(gè)像素。另外，使用較小的畫筆大小來進(jìn)行圖像交互可能是不合需要的，因?yàn)樵谔〉膮^(qū)域中局部地對(duì)阿爾法遮片求解可導(dǎo)致糟糕的局部最小值、誤差或偽像。此外，為了支持該用戶界面并進(jìn)一步加速遮片優(yōu)化，此處的實(shí)現(xiàn)可包括局部積分圖像處理、自適應(yīng)粗略到精細(xì)逼近、以及相對(duì)較大核前景估計(jì)，如將在下文中進(jìn)一步描述的。因?yàn)檎谄瑔栴}是高度成問題的，所以在某些實(shí)現(xiàn)中，可由用戶或應(yīng)用程序提供指示明確前景、明確背景、以及未知區(qū)域的三重圖(或筆畫)。效率也是圖像遮片的考慮事項(xiàng)， 尤其是在應(yīng)用于由常規(guī)數(shù)碼相機(jī)產(chǎn)生的較大多兆像素圖像的時(shí)候。此處的實(shí)現(xiàn)能夠快速且高效地推斷出圖像的未知區(qū)域內(nèi)的阿爾法遮片，并且能夠處理類似頭發(fā)的復(fù)雜情況。某些實(shí)現(xiàn)可應(yīng)用于其中當(dāng)用戶在顯示器上指示三重圖的區(qū)域時(shí)實(shí)時(shí)形成遮片的交互式圖像遮片。此處的某些實(shí)現(xiàn)提供比常規(guī)技術(shù)快得多的、使用相對(duì)較大核遮片拉普拉斯矩陣來進(jìn)行高質(zhì)量圖像遮片的技術(shù)。拉普拉斯矩陣(有時(shí)被稱為導(dǎo)納矩陣)是基于色彩的像素之間的仿射的矩陣表示。某些實(shí)現(xiàn)基于使用較大核遮片拉普拉斯來對(duì)線性系統(tǒng)求解的高效方法。核大小指的是所處理的圖像部分的大小，即，包括感興趣的像素周圍的多個(gè)像素。根據(jù)此處的某些實(shí)現(xiàn)，使用相對(duì)較大的核大小加速約束傳播，減少線性解算機(jī)收斂時(shí)間，并提高遮片質(zhì)量。為了進(jìn)一步加速遮片過程并減少計(jì)算時(shí)間，某些實(shí)現(xiàn)采用分割技術(shù)來將三重圖分解成子三重圖并且允許將自適應(yīng)核大小分配給每一子三重圖。由此，可提前固定迭代次數(shù)并且整個(gè)過程的運(yùn)行時(shí)間對(duì)于未知像素的數(shù)量可以基本上是線性的。測(cè)試已展示此處的實(shí)現(xiàn)可以比常規(guī)技術(shù)快5到20倍同時(shí)實(shí)現(xiàn)高遮片質(zhì)量。各實(shí)現(xiàn)對(duì)于諸如薄霧移除、空間變化白平衡、以及稟性圖像等采用遮片拉普拉斯的其他應(yīng)用也可以是有用的。大核遮片拉普拉斯對(duì)于彩色圖像，前景F和背景B可被指定為具有阿爾法通道遮片α的色彩分量。 例如，在紅、綠、藍(lán)(RGB)色彩模型中，圖像可被表達(dá)為矩陣，如下
權(quán)利要求
1.一種方法，包括接收標(biāo)識(shí)圖像(1100)的一部分(1112)的用戶輸入(1108)；響應(yīng)于所述用戶輸入，由處理器標(biāo)識(shí)與前景(1102)區(qū)域相鄰的未知區(qū)域(1114)；以及顯示在所述未知區(qū)域(1114)中將前景(1102)元素與背景(1104)元素區(qū)分開的阿爾法遮片(1116)。
2.如權(quán)利要求1所述的方法，其特征在于所述用戶輸入是標(biāo)識(shí)所述前景區(qū)域的一部分的畫筆筆畫；所述前景區(qū)域的其他部分基于在統(tǒng)計(jì)上確定的與所述前景區(qū)域的所標(biāo)識(shí)部分的色彩相似性來自動(dòng)標(biāo)識(shí)；并且所述未知區(qū)域是在所述前景區(qū)域和背景區(qū)域之間生成的指定寬度的邊界。
3.如權(quán)利要求1所述的方法，其特征在于，所述用戶輸入是使用第一畫筆類型來形成的第一畫筆筆畫，并且所述方法還包括接收使用第二畫筆類型來形成的第二畫筆筆畫作為第二用戶輸入，所述第二畫筆筆畫標(biāo)識(shí)要被包括在所述未知區(qū)域中的背景區(qū)域的一部分；響應(yīng)于所述第二畫筆輸入來實(shí)時(shí)提供包括所述未知區(qū)域的更新后部分的經(jīng)修改的阿爾法遮片。
4.如權(quán)利要求3所述的方法，其特征在于，還包括在所述第一畫筆類型和所述第二畫筆類型之間自動(dòng)切換，其中當(dāng)輸入設(shè)備的光標(biāo)位于所述前景區(qū)域上時(shí)，自動(dòng)選擇所述第一畫筆類型；并且當(dāng)所述光標(biāo)位于所述未知區(qū)域上時(shí)，自動(dòng)選擇所述第二畫筆類型。
5.如權(quán)利要求1所述的方法，其特征在于，還包括通過以下操作對(duì)所述阿爾法遮片求解采用覆蓋所述未知區(qū)域的多個(gè)矩形，所述多個(gè)矩形具有基于所述未知區(qū)域的對(duì)應(yīng)的多個(gè)分段中的未知像素的數(shù)量的大?。灰约笆褂梅e分圖像技術(shù)來在所述多個(gè)矩形上對(duì)所述阿爾法遮片求解。
6.如權(quán)利要求1所述的方法，其特征在于，還包括通過以下操作來對(duì)所述阿爾法遮片求解將所述圖像二次采樣成用于對(duì)所述未知區(qū)域求解的粗略分辨率，并且隨后執(zhí)行雙線性內(nèi)插以便基于所述圖像的分辨率來以更精細(xì)的分辨率生成所述阿爾法遮片。
7.如權(quán)利要求1所述的方法，其特征在于，還包括與所述阿爾法遮片的計(jì)算并行地計(jì)算前景色彩以便將所述前景放置在新背景上作為合成圖像。
8.如權(quán)利要求1所述的方法，其特征在于，所述用戶輸入是使用第一畫筆類型來形成的第一畫筆筆畫，并且所述方法還包括接收使用第二畫筆類型來形成的第二畫筆筆畫作為第二用戶輸入，所述第二畫筆筆畫標(biāo)識(shí)要被包括在所述未知區(qū)域中的背景區(qū)域的一部分；提供自動(dòng)化的畫筆選擇機(jī)制，以使得當(dāng)輸入設(shè)備的光標(biāo)位于所述前景區(qū)域上時(shí)自動(dòng)選擇所述第一畫筆類型，而當(dāng)所述光標(biāo)位于所述未知區(qū)域上時(shí)自動(dòng)選擇所述第二畫筆類型； 以及提供用于標(biāo)識(shí)背景區(qū)域的第三畫筆類型，所述自動(dòng)化的畫筆選擇機(jī)制使得當(dāng)所述光標(biāo)位于所述背景區(qū)域上時(shí)自動(dòng)選擇所述第三畫筆類型。
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包含將由處理器執(zhí)行以用于執(zhí)行如權(quán)利要求1所述的方法的處理器可執(zhí)行指令。
10.一種系統(tǒng)，包括與計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(1904)通信的處理器(1902)；用戶界面組件(1302、1702、1922)，所述用戶界面組件在所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中維護(hù)并且在所述處理器上執(zhí)行，以便接收指示圖像(1100)的前景(110 區(qū)域的用戶輸入 (1108)，所述用戶界面組件在所指示的所述前景區(qū)域附近生成未知區(qū)域(1114)；以及遮片組件(1310、1710、1916)，所述遮片組件提供在所述未知(1114)區(qū)域中將前景 (1102)部分與背景(1104)部分區(qū)分開的阿爾法遮片(1116、1314、1714)。
11.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述遮片組件使用相對(duì)于所述未知區(qū)域的大小選擇的核大小來對(duì)所述圖像的所述未知區(qū)域求解。
12.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述用戶界面組件還包括畫筆組件，所述畫筆組件提供第一畫筆類型，用于選擇所述前景區(qū)域以便在所述前景區(qū)域附近提供固定寬度的邊界區(qū)域，所述固定寬度的邊界區(qū)域包含所述未知區(qū)域；以及第二畫筆類型，用于標(biāo)識(shí)所述圖像中供包括在所述未知區(qū)域中的各部分。
13.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述遮片組件還包括局部積分圖像組件， 所述局部積分圖像組件采用覆蓋所述未知區(qū)域的多個(gè)局部窗口使用積分圖像技術(shù)來對(duì)所述阿爾法遮片求解。
14.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述遮片組件還包括粗略到精細(xì)逼近組件，所述粗略到精細(xì)逼近組件將所述圖像二次采樣成用于對(duì)所述未知區(qū)域求解的粗略分辨率，并且隨后執(zhí)行雙線性內(nèi)插以便基于所述圖像的分辨率來以更精細(xì)的分辨率生成所述阿爾法遮片。
15.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述遮片組件還包括用于并行地估計(jì)前景色彩和所述阿爾法遮片的前景估計(jì)組件。
全文摘要
本發(fā)明涉及交互式圖像遮片。一種用戶界面使得能夠在圖像上執(zhí)行交互式圖像遮片。該用戶界面可以實(shí)時(shí)提供包括阿爾法遮片的結(jié)果作為反饋。該用戶界面可提供用于選擇圖像的一部分的交互式工具，并且供進(jìn)行阿爾法遮片處理的未知區(qū)域可以在所選區(qū)域附近自動(dòng)生成。用戶可以按需交互式地細(xì)化阿爾法遮片以獲取令人滿意的結(jié)果。
文檔編號(hào)G06F3/048GK102289796SQ20111021631
公開日2011年12月21日 申請(qǐng)日期2011年7月20日 優(yōu)先權(quán)日2010年7月21日
發(fā)明者何愷明, 劉江宇, 孫劍 申請(qǐng)人:微軟公司