專利名稱：圖像和視頻的內(nèi)容感知大小調(diào)整的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及圖像處理，并且更具體地說(shuō)，涉及對(duì)圖像和視頻進(jìn)行大小調(diào)整。
背景技術(shù)：
接縫焊接(seam carving)是用于對(duì)內(nèi)容感知(content aware)圖像進(jìn)行大小調(diào) 整(resizing)的有效技術(shù)。可能需要針對(duì)顯示設(shè)備利用不同高寬比或不同分辨率對(duì)圖像 進(jìn)行大小調(diào)整。以類似的方式，應(yīng)該可以通過(guò)改變視頻的高寬比、分辨率和時(shí)間跨度三者的 任意組合來(lái)針對(duì)電視機(jī)、計(jì)算機(jī)終端、蜂窩電話和其他手持顯示設(shè)備對(duì)視頻進(jìn)行大小調(diào)整。對(duì)視頻進(jìn)行接縫焊接的樸素?cái)U(kuò)展(naive extention)是將各視頻幀視為圖像， 并獨(dú)立于其他幀來(lái)對(duì)各幀進(jìn)行大小調(diào)整。然而，由于缺少時(shí)間相關(guān)性，這導(dǎo)致抖動(dòng)偽影 (artifact)0常規(guī)的接縫焊接還具有其他限制。在出現(xiàn)凸顯(salient)空間結(jié)構(gòu)的圖像中，接 縫焊接可能生成令人生厭的偽影。這些偽影會(huì)在視頻中被放大，其中，空間偽影可能被時(shí)間 偽影放大和增加。實(shí)際上，由于人類的感知方式，在視頻中時(shí)間偽影甚至可能更加令人生 厭，因?yàn)槿说难劬?duì)運(yùn)動(dòng)高度敏感。對(duì)于圖像和視頻的大小調(diào)整，已知有多種方法和技術(shù)。已經(jīng)將基于人的時(shí)空感知 的注意模型用來(lái)檢測(cè)圖像和視頻中的感興趣區(qū)域(ROI)。然后，ROI用來(lái)限定要在設(shè)備上使 用的顯示路徑，其中，顯示大小小于視頻(或圖像)大小。視頻的最不重要的內(nèi)容被裁剪， 以較大比例保留重要特征，基本上產(chǎn)生類似放大的效果。虛擬攝像機(jī)運(yùn)動(dòng)或者偽放大/縮小效果已經(jīng)被用于以視覺(jué)愉悅的方式呈現(xiàn)內(nèi)容。 類似地，裁剪和縮放已經(jīng)與虛擬攝像機(jī)運(yùn)動(dòng)一起用來(lái)模仿使寬屏特征的膠片和DVD適應(yīng)標(biāo) 準(zhǔn)電視格式的處理。一種系統(tǒng)基于圖像中的對(duì)象和諸如面部這樣的檢測(cè)到的對(duì)象來(lái)最小化 信息損失。然而，裁剪丟棄了相當(dāng)大的信息量，并且例如在重要的特征位于視頻幀的邊緣附 近的情況下會(huì)有問(wèn)題可能是有問(wèn)題的，而這在寬鏡頭或肩上鏡頭中是普遍的，因?yàn)檫@些鏡 頭通常用于拍攝兩個(gè)演員之間的對(duì)話。一種替代方式是將圖像分割成背景層和前景層，然后對(duì)各層獨(dú)立地進(jìn)行縮放。然 后，這些層被重新組合來(lái)產(chǎn)生大小調(diào)整后的圖像。該技術(shù)關(guān)鍵是依賴于分割的質(zhì)量，而這就 其本身而言是困難且復(fù)雜的任務(wù)。另一種方法是基于對(duì)象。輸入視頻被分割成對(duì)象和活動(dòng)。然后，短視頻提要可以 由分割成的對(duì)象構(gòu)成。該方法僅處理重新定時(shí)的視頻，而不改變其空間范圍。
另一種方法使用非均勻的全局彎折(warping)，并關(guān)注于對(duì)包括空間的邊、面部檢 測(cè)和運(yùn)動(dòng)檢測(cè)的視頻的有效凸顯度圖。一種替代方法將2D流形映射到新視頻序列中的幀。被稱為演進(jìn)時(shí)間前部 (Evolving Time Fronts)的該方法使得能夠操縱動(dòng)態(tài)視頻場(chǎng)景中的時(shí)間。圖劃分和基于圖的代價(jià)最小化技術(shù)被廣泛用于圖像和視頻處理應(yīng)用，例如，圖像 恢復(fù)、圖像分割、對(duì)象識(shí)別以及形狀重建。基于相似度測(cè)度和約束將表示圖像的圖劃分成兩 個(gè)不相交的子集。一種方法使用圖切割來(lái)將2D或3D紋理修補(bǔ)成圖像。

發(fā)明內(nèi)容
本發(fā)明的實(shí)施方式提供了用于內(nèi)容感知圖像和視頻的大小調(diào)整的方法和系統(tǒng)。所 述方法針對(duì)2D圖像去除或者插入ID像素接縫，并針對(duì)諸如視頻這樣的3D空時(shí)體去除或插 入2D流形。本發(fā)明使用適合于3D體的圖切割。在網(wǎng)格圖中，表示輸入圖像中的像素的節(jié)點(diǎn)通 過(guò)有向弧來(lái)連接。在該形式中，接縫由網(wǎng)格圖中的弧上的切割來(lái)定義，從而所產(chǎn)生的接縫中 的像素是單調(diào)且相連的(即直接相鄰)。另外，本發(fā)明提供了能夠改善經(jīng)過(guò)大小調(diào)整后的圖像和視頻的可視質(zhì)量的能量函 數(shù)。本發(fā)明使用前向能量，并將接縫應(yīng)用于輸入圖像以產(chǎn)生輸出圖像，從而與輸入圖像相 比，輸出圖像的能量變化(ΔΕ)被最小化。該準(zhǔn)則可以表示為ΔΕ = IE (I0)-[E (I1)-E (Ci)]其中，E是能量函數(shù)，例如逐個(gè)像素強(qiáng)度差，I1是輸入圖像，I0是輸出圖像，Ci是具 有相關(guān)聯(lián)代價(jià)的像素的接縫。


圖1是用于根據(jù)本發(fā)明的一個(gè)實(shí)施方式的內(nèi)容感知大小調(diào)整方法的流程圖；圖2是包括接縫的示例性輸入圖像，該接縫用于不同網(wǎng)格圖構(gòu)建；圖3A-3D是圖像劃分和圖2的對(duì)應(yīng)網(wǎng)格圖的框圖；圖3Ε是根據(jù)本發(fā)明的實(shí)施方式的網(wǎng)格圖的框圖；圖4A-4C是根據(jù)本發(fā)明的實(shí)施方式的圖切割的示意圖；圖5是空時(shí)視頻體和形成2D流形的接縫的框圖；圖6是作為被去除接縫的函數(shù)的輸出圖像能量變化圖；圖7A-7C示出了垂直接縫的三種可能的方向；圖8A-8C比較了分別針對(duì)輸入圖像的現(xiàn)有技術(shù)的輸出圖像和根據(jù)本發(fā)明的一個(gè) 實(shí)施方式的由輸入圖像獲得的輸出圖像；圖9Α-9Β示出了具有現(xiàn)有技術(shù)的接縫的圖像和具有根據(jù)本發(fā)明的一個(gè)實(shí)施方式 的接縫的圖像；以及圖IOA和IOB示出了圖9Α-9Β的對(duì)應(yīng)能量圖像。
具體實(shí)施例方式本發(fā)明的實(shí)施方式提供了使用從圖切割獲得的像素的接縫來(lái)對(duì)圖像和視頻進(jìn)行 大小調(diào)整的方法。如本文所定義的，“接縫”是像素從圖像的頂邊到相對(duì)的底邊或者從左邊 到相對(duì)的右邊的單調(diào)且相連的路徑。對(duì)于視頻(即圖像的時(shí)間序列)來(lái)說(shuō)，接縫可以是時(shí) 間維度上的2D流形。通過(guò)去除或者插入一個(gè)接縫，圖像的大小在水平、垂直或者時(shí)間維度 上被減小或者增大1個(gè)像素?？梢灾貜?fù)地去除或插入接縫，以產(chǎn)生期望大小的輸出圖像。在視頻中，我們確定幀序列中的2D接縫(流形)。可以反復(fù)應(yīng)用接縫來(lái)增大或減 小輸出圖像的大小或者去除輸入圖像中的特定部分來(lái)實(shí)現(xiàn)對(duì)象去除。可以通過(guò)復(fù)制接縫的 像素并可選地將大小調(diào)整后的像素混合到輸出圖像中，來(lái)增大輸入圖像的大小。在一些實(shí)施方式中，圖像中的能量與像素強(qiáng)度、顏色或在視頻情況下的運(yùn)動(dòng)有關(guān)。 可以根據(jù)能量函數(shù)來(lái)確定圖像中的能量。例如，如本文所描述的，能量函數(shù)可以考慮局部凸 顯性的測(cè)度，包括強(qiáng)度、亮度、顏色、視運(yùn)動(dòng)(apparent motion)以及象似性(iconicity)的 變化。我們構(gòu)建通過(guò)有向弧連接的節(jié)點(diǎn)的網(wǎng)格圖。對(duì)于輸入圖像中的各像素存在一個(gè)節(jié) 點(diǎn)，并且基于像素的能量對(duì)有向弧指派代價(jià)(cost)。具有無(wú)窮大代價(jià)的有向弧被用來(lái)施加 單調(diào)性和連接性約束，如下面更詳細(xì)描述的。或者，我們搜索視頻幀中具有低重要性的區(qū)域。這通過(guò)獨(dú)立地評(píng)估各幀上的能量 函數(shù)并隨后在各像素位置取最大能量來(lái)實(shí)現(xiàn)。該能量用來(lái)對(duì)所有幀進(jìn)行大小調(diào)整。我們稱 通過(guò)該靜態(tài)方法確定的接縫為“靜態(tài)”接縫，因?yàn)樗鼈冊(cè)诟鲙g不隨時(shí)間變化。在我們較早于2007年3月6日由Avidan等遞交的序列號(hào)為11/682，521的已轉(zhuǎn) 讓給 Mitsubishi Electric Research Laboratories 公司的美國(guó)專利申請(qǐng) “Method for Retargeting Images”中，我們描述了基于內(nèi)容的圖像重定目標(biāo)方法，該方法使用動(dòng)態(tài)規(guī)劃 來(lái)從輸入圖像中去除最小代價(jià)的接縫。然而，一些輸出圖像仍然具有令人生厭的偽影。我 們認(rèn)識(shí)到這些偽影的出現(xiàn)是由于我們未考慮接縫去除對(duì)大小調(diào)整后的輸出圖像的能量的 影響。在我們較早的工作中，我們使由于接縫去除造成的輸入圖像的能量(即，后向能量) 變化最小化。現(xiàn)在，我們最小化輸出圖像中的能量(即，前向能量)變化。我們還認(rèn)識(shí)到， 我們之前的方法對(duì)于對(duì)視頻進(jìn)行大小調(diào)整來(lái)說(shuō)并不實(shí)際。本發(fā)明通過(guò)使用對(duì)多維網(wǎng)格圖進(jìn)行切割而非之前的動(dòng)態(tài)規(guī)劃來(lái)解決這些問(wèn)題。另 外，作為對(duì)最小代價(jià)的接縫進(jìn)行去除的替代，當(dāng)與輸入圖像進(jìn)行比較時(shí)，我們現(xiàn)在對(duì)大小調(diào) 整后的輸出圖像的能量變化進(jìn)行最小化。我們將輸入視頻視為3D圖像體(按時(shí)間排序的幀序列)，并將接縫焊接從2D圖像 上的ID接縫擴(kuò)展到3D體上的2D流形。這些流形與各幀的相交部限定了幀上的接縫。使 用前向能量函數(shù)來(lái)找到流形，該前向能量函數(shù)在大小調(diào)整后的輸出視頻中顯著地減少了空 間和時(shí)間偽影。因?yàn)槲覀兺ㄟ^(guò)3D空時(shí)體來(lái)構(gòu)建2D的相連接流形103，所以Avidan等用于 圖像大小調(diào)整的動(dòng)態(tài)規(guī)劃法是不可行的。因此，我們的方法使用圖切割。然而，常規(guī)的圖切割并不總是限定了在我們的新穎單調(diào)性和連接性約束下的有效 接縫。我們定義了新穎的圖切割，其生成單調(diào)且相連的接縫。這意味著接縫為1個(gè)像素 寬，并且接縫中的像素是相連的，即，在水平或垂直方向上直接相鄰。使用該定義，我們將接縫焊接擴(kuò)展到視頻，并且通過(guò)視頻體來(lái)定義單調(diào)且相連的2D流形接縫。我們還描述了多分 辨率法，其降低了對(duì)視頻進(jìn)行大小調(diào)整的處理時(shí)間。另外，我們定義了接縫焊接準(zhǔn)則，其更好地保護(hù)了在空間以及時(shí)間上凸顯的內(nèi)容。 這相當(dāng)大地提高了我們進(jìn)行大小調(diào)整后的圖像和視頻的可視質(zhì)量。該新準(zhǔn)則最小化了大小 調(diào)整后的圖像的能量變化，而不是最小化在現(xiàn)有技術(shù)中去除或插入的接縫的代價(jià)。最小化前向能量變化對(duì)能量變化進(jìn)行最小化的以上準(zhǔn)則可以表達(dá)為ΔΕ = IE (I0)-[E (I1)-E (Ci)]其中，E是能量函數(shù)，例如逐個(gè)像素的強(qiáng)度差，I1是輸入圖像，I0是輸出圖像，Ci是 具有相關(guān)代價(jià)的像素的接縫。視頻大小調(diào)整使用接縫焊接對(duì)視頻進(jìn)行大小調(diào)整的難點(diǎn)可以表征為過(guò)程上的難點(diǎn)、維度上的難 點(diǎn)和基本(cardinal)難點(diǎn)。過(guò)程上的難點(diǎn)來(lái)自于以下事實(shí)，我們不能將現(xiàn)有技術(shù)中的Avidan等的動(dòng)態(tài)規(guī)劃 方法直接擴(kuò)展到3D視頻體。維度上的難點(diǎn)來(lái)自于視頻的附加的時(shí)間上的維度，這增加了空間偽影并且引入了 運(yùn)動(dòng)相關(guān)的偽影?；倦y點(diǎn)來(lái)自于以下事實(shí)視頻是幀序列，并因此視頻序列的任何處理都涉及大 量數(shù)據(jù)。例如，整個(gè)視頻所需的數(shù)據(jù)不能存儲(chǔ)在隨機(jī)存取存儲(chǔ)器中。因此，這些數(shù)據(jù)在輸出 幀被呈現(xiàn)之前存儲(chǔ)在盤上并且按需而加載。我們解決了這些難點(diǎn)，并且描述了視頻大小調(diào)整應(yīng)用，例如，針對(duì)交互式大小操縱 和對(duì)象去除的大小縮小和擴(kuò)大、多尺寸視頻。方法操作圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的方法的步驟。從輸入圖像101或者在視 頻的情況下的圖像(幀)序列構(gòu)建(110)網(wǎng)格圖111。對(duì)于單個(gè)圖像，網(wǎng)格圖是(X，Y)平 面中的二維圖，而對(duì)于圖像序列，如在視頻中，網(wǎng)格圖是三維體(X，Y，T)。網(wǎng)格圖包括針對(duì)各圖像中的每個(gè)像素的一個(gè)節(jié)點(diǎn)。網(wǎng)格圖中的相鄰節(jié)點(diǎn)由有向弧112 連接。有向弧在水平方向上向前和向后，在垂直方向上向上和向下，而在對(duì)角線方向上向后。使用能量函數(shù)E(f)對(duì)網(wǎng)格圖111中的弧112指派(120)代價(jià)。對(duì)輸入圖像計(jì)算 能量函數(shù)。這些代價(jià)可以用來(lái)構(gòu)建代價(jià)矩陣或圖121，其基本上反映了圖像中的全局能量。 在一個(gè)圖像的情況下，代價(jià)圖在(X，Y)平面內(nèi)。在視頻的情況下，代價(jià)圖可以在(Χ，Τ)平面 內(nèi)或者在(Y，Τ)平面內(nèi)。代價(jià)被指派給連接相鄰節(jié)點(diǎn)的有向弧。在優(yōu)選實(shí)施方式中，代價(jià) 是基于輸入圖像中相鄰像素之間的強(qiáng)度的梯度幅度。即，對(duì)連接相鄰節(jié)點(diǎn)的弧定義代價(jià)。根據(jù)代價(jià)函數(shù)132使用代價(jià)圖M來(lái)切割(400)弧。對(duì)應(yīng)于與該切割的一側(cè)相鄰的 節(jié)點(diǎn)的像素形成接縫。各接縫中像素的坐標(biāo)施加單調(diào)性和連接性約束。在下面更詳細(xì)地描 述由弧上的代價(jià)施加的約束。然后，根據(jù)接縫400對(duì)輸入圖像101進(jìn)行大小調(diào)整(140)以產(chǎn)生輸出圖像104，從 而輸出圖像的能量變化相對(duì)于輸入圖像被最小化，同時(shí)在輸出圖像中保留來(lái)自輸入圖像的 凸顯的可視內(nèi)容。該大小調(diào)整可以添加或者去除像素。然后，輸出圖像可以被呈現(xiàn)、存儲(chǔ)、傳送或者進(jìn)一步處理(150)。以下方法可以應(yīng)用于利用靜態(tài)攝像機(jī)獲取的視頻。對(duì)于一般的視頻而言，參見(jiàn)下 面描述的基于圖切割的接縫方法。在N幀的視頻序列中，各幀具有{It (i，j)}個(gè)像素，其中水平坐標(biāo)和垂直坐標(biāo)為i 和j，時(shí)間步長(zhǎng)為t(幀)，t = 1到N。在一個(gè)實(shí)施方式中，能量函數(shù)基于L1范數(shù)。對(duì)于L1 范數(shù)，兩個(gè)相鄰像素之間的弧的代價(jià)是它們強(qiáng)度(能量)的絕對(duì)差之和。L1范數(shù)也被稱為 直線(rectilinear)距離、街區(qū)距離或曼哈頓距離。我們將空間L1范數(shù)梯度幅度能量Espatial與時(shí)間梯度幅度能量EtMp。Ml組合以產(chǎn)生 如下的空時(shí)L1范數(shù)梯度幅度能量Egl。bal^spatialC^i)=〒%{丨基厶(《 ’補(bǔ)+丨懸厶仏州}Stemporai(^J) = 1^ilEglobal (i，j) = α · Espatial+(1-α ) Etemporal其中 α e
。對(duì)于視頻，能量測(cè)度是空間L1范數(shù)梯度幅度能量到2D的最大(max)投影，其中α 是對(duì)空間和時(shí)間能量貢獻(xiàn)進(jìn)行平衡的參數(shù)。實(shí)際上，因?yàn)檫\(yùn)動(dòng)偽影更值得注意，所以我們將 能量偏向于時(shí)間重要性，例如α =0.3。我們使用最大投影而非平均值以在能量計(jì)算中守 恒。有利之處在于，我們的靜態(tài)方法是簡(jiǎn)單且快速的。當(dāng)視頻是通過(guò)固定攝像機(jī)獲取 時(shí)，其給出了良好的結(jié)果，并且容易識(shí)別出前景和背景。然而，在更復(fù)雜場(chǎng)景的視頻中，或者 在攝像機(jī)移動(dòng)的情況下，或者當(dāng)存在多個(gè)運(yùn)動(dòng)時(shí)，我們的接縫可能隨時(shí)間而動(dòng)態(tài)自適應(yīng)。為此，我們將視頻接縫定義為空時(shí)中的相連2D流形，其“切割”過(guò)3D視頻體。表面 與各幀的相交部定義了該幀中的一個(gè)接縫。由此，從各視頻幀去除該流形的一個(gè)接縫。因 為流形是相連的，所以這些接縫保持了視頻的時(shí)間一致性。使用圖切割的接縫焊接我們首先將我們的接縫焊接的一般構(gòu)想描述為對(duì)圖像的圖切割問(wèn)題，然后將該接 縫焊接擴(kuò)展到視頻。出于描述的簡(jiǎn)便，我們搜索圖像中的垂直接縫。對(duì)于水平接縫，所有圖 構(gòu)建都是相同的，只不過(guò)進(jìn)行了適當(dāng)?shù)?0°旋轉(zhuǎn)。如圖3Α-Ε中所示，網(wǎng)格圖中的節(jié)點(diǎn)通過(guò)有向弧連接。我們由輸入圖像101構(gòu)建網(wǎng) 格圖，其中，各節(jié)點(diǎn)301表示一個(gè)像素Piij，該圖中的直接相鄰的節(jié)點(diǎn)通過(guò)弧302連接，見(jiàn)圖 3Α-3Ε。在圖中通過(guò)將無(wú)窮大(①)代價(jià)的弧針對(duì)水平接縫而連接到與圖像的最左和最 右列的像素相對(duì)應(yīng)的所有邊節(jié)點(diǎn)并針對(duì)垂直接縫而連接到與頂部及底部的行相對(duì)應(yīng)的邊 節(jié)點(diǎn)，來(lái)構(gòu)建虛擬端節(jié)點(diǎn)S(源)和τ(目標(biāo))。端節(jié)點(diǎn)用作圖和圖像的邊上的不可移動(dòng)的 “錨”。如本文所定義的，切割從網(wǎng)格圖的一個(gè)邊延伸到網(wǎng)格圖的正對(duì)的邊。因此，網(wǎng)格圖 上的源到目標(biāo)(s/τ)切割(或者簡(jiǎn)稱為“切割”)C 400被定義為如下劃分其將圖中的節(jié) 點(diǎn)(以及由這些節(jié)點(diǎn)表示的對(duì)應(yīng)像素)劃分為兩個(gè)不相交的子集S311和Τ312，使得s e S且t e T，見(jiàn)圖3A-3E和4A-4C。實(shí)際上，該切割經(jīng)過(guò)了連接這些節(jié)點(diǎn)的弧。在切割并去除 (或者插入)與切割的一側(cè)相鄰的接縫之后，然后可以用新的弧和代價(jià)來(lái)重新連接網(wǎng)格圖， 并且可以計(jì)算新的代價(jià)圖。切割C= {S，T}的總代價(jià)被定義為被切割的單獨(dú)弧(p，q)的代價(jià)之和，其中P e S 且q e T。這里要注意，代價(jià)被指派給弧，而非我們之前由Avidan等進(jìn)行的工作那樣指派 給像素。僅針對(duì)前向切割對(duì)代價(jià)求和。即，后向的弧的無(wú)窮大代價(jià)并不影響切割的總代價(jià)。 為了由切割確定(130)接縫，我們選擇與切割的一側(cè)(例如，與對(duì)于從頂邊延伸到底邊的切 割而言的切割的左側(cè))直接相鄰的像素。圖切割是已知的。在圖論中，切割是將圖的頂點(diǎn)劃分成兩個(gè)集合。在形式上，令 G(V, E)表示圖。切割是將頂點(diǎn)V劃分成兩個(gè)集合S和T。任何u e S且ν e T(或者在有 向圖的情況下，u e T且ν e S)的邊(u，ν) e E被稱為與切割相交，并且是切割邊。然而，在我們的方法和常規(guī)的圖切割之間存在多個(gè)關(guān)鍵的差別。常規(guī)的圖切割已 經(jīng)被用于紋理合成，而未用于內(nèi)容感知圖像大小調(diào)整。另外，常規(guī)的網(wǎng)格圖是沒(méi)有方向性的 非常簡(jiǎn)單的4聯(lián)通圖，見(jiàn)圖3A。該圖未針對(duì)我們的接縫焊接定義有效接縫，因?yàn)樗粷M足我 們的單調(diào)性和連接性約束。單調(diào)性約束接縫中的像素ρ的坐標(biāo)i和j在接縫的所選則方向上必須單調(diào)增加，例如[ρ" —Pi+nJ，[Pi,j —Pi,j+n]，或者[Pijj-Pi^jJo連接性約束表示接縫中的像素的節(jié)點(diǎn)必須相鄰并且通過(guò)一條弧直接連接，S卩，在上面的單調(diào) 性約束中η = 1。單調(diào)性約束和連接性約束相結(jié)合使得接縫恰好為一個(gè)像素寬，并且將接縫連續(xù)地 從圖像的一條邊延伸到圖像的正對(duì)的邊。因此，挑戰(zhàn)是構(gòu)建如下網(wǎng)格圖，其確保產(chǎn)生的接縫滿足這些約束。針對(duì)圖像的圖切割在我們的網(wǎng)格圖中，各節(jié)點(diǎn)(像素是8連通到其直接相鄰的鄰居。根據(jù)1^范 數(shù)梯度幅度E1能量，我們將弧的代價(jià)定義為在水平方向上或者在垂直方向上圖像中的代價(jià) 對(duì)應(yīng)像素之間的前向差分，如圖3E中所示
權(quán)利要求
一種用于對(duì)圖像進(jìn)行大小調(diào)整的方法，該方法包括以下步驟根據(jù)輸入圖像構(gòu)建網(wǎng)格圖，所述網(wǎng)格圖針對(duì)所述輸入圖像中的各個(gè)像素分別包括一個(gè)節(jié)點(diǎn)，其中，所述網(wǎng)格圖中的相鄰節(jié)點(diǎn)由弧連接，并且各弧是有向的并且與一個(gè)代價(jià)相關(guān)聯(lián)；使用代價(jià)函數(shù)對(duì)所述網(wǎng)格圖的所述弧應(yīng)用切割；根據(jù)所述切割確定像素的接縫，其中，所述接縫中的像素對(duì)應(yīng)于所述網(wǎng)格圖中與所述切割的一側(cè)直接相鄰的節(jié)點(diǎn)，并且其中，所述接縫中的像素的坐標(biāo)施加單調(diào)性約束和連接性約束；以及根據(jù)所述接縫對(duì)所述輸入圖像進(jìn)行大小調(diào)整以產(chǎn)生輸出圖像，同時(shí)與所述輸入圖像相比使所述輸出圖像的能量變化最小化。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述網(wǎng)格圖是由圖像的時(shí)間序列構(gòu)建的，且所述 網(wǎng)格圖是三維的，并且所述接縫形成所述網(wǎng)格圖的空間維度為χ和y且時(shí)間維度為t的流形。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述能量是基于像素的強(qiáng)度，并且所述代價(jià)由能量函數(shù)確定。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述能量函數(shù)考慮強(qiáng)度的局部變化。
5.根據(jù)權(quán)利要求1所述的方法，該方法進(jìn)一步包括以下步驟 使用所述弧的代價(jià)來(lái)施加所述單調(diào)性約束和所述連接性約束。
6.根據(jù)權(quán)利要求1所述的方法，其中，將所述最小化表示為 ΔΕ = E (I0)-[E (I1)-E (Ci)]其中，E是能量函數(shù)，I1是輸入圖像，I。是輸出圖像，Ci是具有與所述切割相關(guān)聯(lián)的代 價(jià)的像素的接縫。
7.根據(jù)權(quán)利要求1所述的方法，該方法進(jìn)一步包括以下步驟 呈現(xiàn)所述輸出圖像。
8.根據(jù)權(quán)利要求1所述的方法，其中，所述能量根據(jù)下式將空間L1范數(shù)梯度幅度能量Espatial與時(shí)間梯度幅度能量Et p。ral進(jìn)行組合，以產(chǎn)生空時(shí)L1范數(shù)梯度幅度能量Egl。bal ^spatial(O) =+^temporal(U) = 1^f U^MhEgiobai (土，J*) 一 α Espatial+(1_ ct) Etemporal其中，It(i，j)對(duì)應(yīng)于像素，t表示時(shí)間，而參數(shù)α e
對(duì)空間代價(jià)的貢獻(xiàn)和時(shí)間 代價(jià)的貢獻(xiàn)進(jìn)行平衡。
9.根據(jù)權(quán)利要求1所述的方法，其中，所述網(wǎng)格圖中的邊節(jié)點(diǎn)借助于具有無(wú)窮大代價(jià) 的弧連接到其他節(jié)點(diǎn)。
10.根據(jù)權(quán)利要求1所述的方法，該方法進(jìn)一步包括以下步驟 確定多個(gè)接縫；以及根據(jù)所述多個(gè)接縫來(lái)對(duì)所述輸入圖像進(jìn)行大小調(diào)整。
11.根據(jù)權(quán)利要求1所述的方法，其中，所述切割的總代價(jià)C是被切割的弧的代價(jià)之和。
12.根據(jù)權(quán)利要求1所述的方法，其中，所述接縫中的像素ρ的坐標(biāo)i和j在所述接縫 的所選擇的方向上單調(diào)增加，并且根據(jù)[Pi,j —pi+1,j]，[Pi,j —Pi,j+1]或[Pi,j —pi+1,j+1]而 直接相鄰。
13.根據(jù)權(quán)利要求1所述的方法，其中，所述單調(diào)性約束和所述連接性約束使得所述接 縫恰好為一個(gè)像素寬，并且將所述接縫從所述輸入圖像的一個(gè)邊連續(xù)地延伸到所述輸入圖 像的正對(duì)的邊。
14.根據(jù)權(quán)利要求1所述的方法，該方法進(jìn)一步包括以下步驟 在從粗糙到精細(xì)的多個(gè)分辨率上構(gòu)建所述網(wǎng)格圖；在具有最低分辨率的網(wǎng)格圖上對(duì)所述切割進(jìn)行近似，然后以更高的分辨率改進(jìn)所述切割。
15.根據(jù)權(quán)利要求1所述的方法，其中，從所述輸入圖像中去除所述接縫中的像素，以 產(chǎn)生更小的輸出圖像。
16.根據(jù)權(quán)利要求1所述的方法，其中，在所述輸入圖像中復(fù)制所述接縫中的像素，以 產(chǎn)生更大的輸出圖像。
17.根據(jù)權(quán)利要求1所述的方法，該方法進(jìn)一步包括以下步驟 最小化所述切割的代價(jià)。
全文摘要
本發(fā)明涉及對(duì)輸入圖像進(jìn)行大小調(diào)整的方法，該方法首先構(gòu)建網(wǎng)格圖。所述網(wǎng)格圖包括分別針對(duì)所述輸入圖像中的各像素的一個(gè)節(jié)點(diǎn)，并且所述網(wǎng)格圖中的相鄰節(jié)點(diǎn)由弧連接。各弧是有向的并且具有相關(guān)聯(lián)的代價(jià)。使用代價(jià)函數(shù)對(duì)所述網(wǎng)格圖的所述弧應(yīng)用切割。由所述切割確定像素的接縫，使得所述接縫中的像素的坐標(biāo)施加單調(diào)性約束和連接性約束。然后，根據(jù)所述接縫對(duì)所述輸入圖像進(jìn)行大小調(diào)整以產(chǎn)生輸出圖像，同時(shí)與所述輸入圖像相比使所述輸出圖像的能量變化最小化。
文檔編號(hào)G06T15/20GK101981592SQ200880118338
公開(kāi)日2011年2月23日 申請(qǐng)日期2008年11月12日 優(yōu)先權(quán)日2007年11月30日
發(fā)明者什穆埃爾·阿維丹, 邁克爾·魯賓斯坦, 阿里埃勒·沙米爾, 馬修·E·布蘭德 申請(qǐng)人:三菱電機(jī)株式會(huì)社