本公開涉及圖像創(chuàng)建，更具體地，涉及創(chuàng)建組合來自圖像序列的基礎(chǔ)圖像與來自所述圖像序列的重新定位的對(duì)象的新圖像。

背景技術(shù)：

記錄最佳照片會(huì)是挑戰(zhàn)性的任務(wù)。例如，可能難以在一群人注視相機(jī)、微笑并且沒有眨眼的精確時(shí)刻記錄圖像。另外，相機(jī)具有不同的自動(dòng)對(duì)焦速度。如果所描繪的場(chǎng)景快速地改變，則當(dāng)相機(jī)聚焦于對(duì)象上時(shí)，對(duì)于記錄期望的圖像而言可能太晚了。一些相機(jī)裝置使得用戶能夠快速拍攝一組順序照片作為“連拍”，這可有助于解決上面討論的一些問題。然而，用戶可能希望組合多個(gè)圖像的多個(gè)方面。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本公開的一個(gè)方面，公開了一種由計(jì)算裝置實(shí)現(xiàn)的方法。公開了一種由計(jì)算裝置實(shí)現(xiàn)的方法。將來自描繪場(chǎng)景的圖像序列的圖像顯示在電子顯示器上。接收從所述序列選擇圖像以用作基礎(chǔ)圖像的用戶輸入。還接收從所述圖像序列選擇對(duì)象的用戶輸入。根據(jù)所述圖像序列確定所選對(duì)象的移動(dòng)軌跡。基于將所選對(duì)象沿著所確定的移動(dòng)軌跡從初始位置拖曳至新位置的用戶輸入，對(duì)所選對(duì)象重新定位。通過組合所述基礎(chǔ)圖像與重新定位的對(duì)象來創(chuàng)建新圖像。

在一些實(shí)施方式中，所述方法還包括：接收從所述圖像序列選擇附加對(duì)象的用戶輸入，執(zhí)行基于相位的視頻運(yùn)動(dòng)處理算法以確定所述附加對(duì)象的夸大(exaggerated)移動(dòng)，并且在電子顯示器上顯示所述附加對(duì)象的所述夸大移動(dòng)。基于所述夸大移動(dòng)的顯示，接收所述附加對(duì)象的夸大移動(dòng)的所選描繪，并且將所述附加對(duì)象的所選描繪包括在所述新圖像中。

根據(jù)本公開的另一方面，公開了一種計(jì)算裝置，其包括電子顯示器和一個(gè)或更多個(gè)處理電路。所述一個(gè)或更多個(gè)處理電路被配置為在所述電子顯示器上顯示來自描繪場(chǎng)景的圖像序列的圖像。所述一個(gè)或更多個(gè)處理電路還被配置為接收從所述序列選擇圖像以用作基礎(chǔ)圖像的用戶輸入，并且接收從所述圖像序列選擇對(duì)象的用戶輸入。所述一個(gè)或更多個(gè)處理電路還被配置為根據(jù)所述圖像序列確定所選對(duì)象的移動(dòng)軌跡，并且基于將所選對(duì)象沿著所確定的移動(dòng)軌跡從初始位置拖曳至新位置的用戶輸入將所選對(duì)象重新定位。所述一個(gè)或更多個(gè)處理電路還被配置為通過組合所述基礎(chǔ)圖像與重新定位的對(duì)象來創(chuàng)建新圖像。

在一些實(shí)施方式中，所述一個(gè)或更多個(gè)處理電路還被配置為接收從所述圖像序列選擇附加對(duì)象的用戶輸入，執(zhí)行基于相位的視頻運(yùn)動(dòng)處理算法以確定所述附加對(duì)象的夸大移動(dòng)，并且在電子顯示器上顯示所述附加對(duì)象的所述夸大移動(dòng)。在這樣的實(shí)施方式中，所述一個(gè)或更多個(gè)處理電路還被配置為基于所述夸大移動(dòng)的顯示，接收所述附加對(duì)象的夸大移動(dòng)的所選描繪，并且將所述附加對(duì)象的所選描繪包括在所述新圖像中。

附圖說明

圖1A至圖1F示出描繪場(chǎng)景的圖像序列。

圖2示出組合圖1A至圖1F的圖像中的兩個(gè)圖像的方面的新圖像。

圖3是組合圖像序列中的多個(gè)圖像的方面的示例方法的流程圖。

圖4A至圖4F是說明圖2的方法可如何實(shí)現(xiàn)的一系列圖像。

圖5示出可與圖2的方法結(jié)合使用的附加方法，其包括執(zhí)行基于相位的視頻運(yùn)動(dòng)處理算法。

圖6A至圖6D是說明圖6的方法可如何實(shí)現(xiàn)的一系列圖像。

圖7示出作為圖2的圖像的變型的新圖像。

圖8示出可工作以實(shí)現(xiàn)圖2的方法的示例計(jì)算裝置。

具體實(shí)施方式

本公開描述了一種基于描繪場(chǎng)景的圖像序列創(chuàng)建圖像的方法和設(shè)備。例如，所述圖像序列可以是視頻幀。來自所述序列的圖像被顯示在電子顯示器(例如，智能電話的觸摸屏)上。選擇來自所述序列的圖像中的一個(gè)作為基礎(chǔ)圖像。接收從圖像序列選擇對(duì)象的用戶輸入。根據(jù)圖像序列確定所選對(duì)象的移動(dòng)軌跡。不管照片中的其它全局移動(dòng)，基于沿著所確定的移動(dòng)軌跡將所選對(duì)象從初始位置拖曳至新位置的用戶輸入(例如，使用直接視頻操縱)將所選對(duì)象重新定位。通過組合基礎(chǔ)圖像與重新定位的對(duì)象來創(chuàng)建新圖像。可選地，還可執(zhí)行基于相位的視頻運(yùn)動(dòng)處理算法以確定在來自所述序列的圖像中的一個(gè)中對(duì)象的夸大移動(dòng)(否則的話其可能僅具有細(xì)微移動(dòng))。

圖1A至圖1F示出描繪場(chǎng)景的圖像序列。這些圖像可被記錄為例如視頻幀。在第一圖像10A中，高爾夫球手正在嘗試將高爾夫球擊入插有旗桿18的洞16中。在圖像10B中，高爾夫球手12將他的身體位置改變?yōu)槊嫦蚱鞐U18，并且高爾夫球14正在朝著洞16移動(dòng)。在圖像10C、10D和10E中，高爾夫球繼續(xù)朝著洞16移動(dòng)，同時(shí)高爾夫球手12保持在相同的位置。在圖像10F中，高爾夫球14進(jìn)入洞16并且不再可見，高爾夫球手12處于慶祝的位置。

用戶可能希望組合圖像10A至圖F的各個(gè)方面。例如，用戶可能希望描繪圖像10F中的正在慶祝的高爾夫球手12，但是同時(shí)高爾夫球14仍可見。為此，用戶可選擇圖像10F作為基礎(chǔ)圖像。然后，用戶可從前一圖像(例如，圖像10C)選擇高爾夫球14，將高爾夫球沿其軌跡拖曳至期望的位置(例如，其在圖10E中靠近洞16的描繪)，創(chuàng)建新圖像20，新圖像20組合了處于慶祝位置的高爾夫球手12與處于靠近洞16的位置的高爾夫球14(參見圖2的圖像20)。

圖3是組合可用于創(chuàng)建圖2的圖像20的多個(gè)圖像的方面的示例方法100的流程圖。在電子顯示器上，顯示來自描繪場(chǎng)景的圖像序列的圖像(框102)。接收從圖像序列選擇要用作基礎(chǔ)圖像的圖像的用戶輸入(框104)。還接收從圖像序列選擇對(duì)象的用戶輸入(框106)。根據(jù)圖像序列確定所選對(duì)象的移動(dòng)軌跡(框108)?；趯⑺x對(duì)象沿著所確定的移動(dòng)軌跡從初始位置拖曳至新位置的用戶輸入，將所選對(duì)象重新定位(框110)。通過組合基礎(chǔ)圖像與重新定位的對(duì)象來創(chuàng)建新的圖像(框112)。

現(xiàn)在將結(jié)合圖1A至圖1F以及圖4A至圖4F的示例討論圖3的方法100。顯示來自所述序列的圖像(框102)，這方便用戶提供從序列選擇要用作基礎(chǔ)圖像的圖像的輸入(框104)。對(duì)于該討論，假設(shè)圖像10F被選為基礎(chǔ)圖像，因?yàn)楦郀柗蚯蚴?2處于慶祝位置。還接收從圖像序列選擇高爾夫球14作為所選對(duì)象的用戶輸入(框106)。根據(jù)圖像序列10A至10F確定高爾夫球14的移動(dòng)軌跡(框108)。

參照?qǐng)D像10F(在圖1F中)，未示出高爾夫球14，因?yàn)樗烟幱诙?6中。因此，為了選擇高爾夫球，用戶改變至多個(gè)圖像中的另一個(gè)圖像，例如圖像10B(在圖1B和圖4A中示出)。用戶通過在電子顯示器上執(zhí)行適當(dāng)?shù)挠|摸手勢(shì)(例如，雙擊、敲擊并保持等)來選擇高爾夫球。然后，將所選對(duì)象顯示在基礎(chǔ)圖像上，如圖4B中的圖像30A所示，其中，處于慶祝位置的高爾夫球手12連同高爾夫球14一起被示出。然后，顯示高爾夫球14的移動(dòng)軌跡32的表示，以幫助用戶沿著該軌跡選擇高爾夫球14的期望位置。

用戶沿著軌跡32將高爾夫球從初始位置拖曳至新位置，如圖4C、圖4D和圖4E所示。隨著用戶拖曳高爾夫球14，顯示高爾夫球的重新定位的版本(框110)。在到達(dá)對(duì)象的期望位置時(shí)(參見圖4E中的圖像30D)，用戶可將手指從觸摸屏松開。

如圖4E所示，高爾夫球14的新位置將高爾夫球14重新定位到接近洞16的位置。計(jì)算裝置實(shí)現(xiàn)的方法100通過組合基礎(chǔ)圖像與重新定位的高爾夫球來創(chuàng)建新的圖像(框112)。新的圖像30E示出于圖4F中。如圖4F所示，新的圖像示出接近洞16的高爾夫球14，同時(shí)高爾夫球手12處于慶祝位置。在此示例中，新圖像30E組合圖像10F和10E的多個(gè)方面。

如上所述，在一個(gè)或更多個(gè)實(shí)施方式中，在所選對(duì)象處于軌跡上的給定點(diǎn)處并且接收到拖曳對(duì)象的用戶輸入的同時(shí)，顯示所選對(duì)象的整個(gè)軌跡32的表示。該表示在圖4B至圖4E的示例中為虛線。這種表示對(duì)于用戶想象軌跡而言會(huì)是有用的，因?yàn)樗鼈兲峁┧x對(duì)象的期望位置。在一個(gè)或更多個(gè)實(shí)施方式中，允許用戶略微偏離軌跡，但是如果新位置偏離移動(dòng)軌跡超過預(yù)定義的偏離閾值(例如，一定數(shù)量的像素)，則拒絕所選對(duì)象的新位置。如果拒絕，則可給予用戶另一機(jī)會(huì)來沿著移動(dòng)軌跡32為所選對(duì)象選擇位置。實(shí)現(xiàn)偏離閾值的一個(gè)原因在于用戶可能期望在一定程度上偏離移動(dòng)軌跡，偏離閾值在一定程度上允許這種偏離，但是防止將所選對(duì)象完全移離所確定的軌跡32，因?yàn)檫@樣的移動(dòng)可造成光影方面的問題并且會(huì)產(chǎn)生圖像序列中描繪的場(chǎng)景的不真實(shí)的渲染。

在一些實(shí)施方式中，偏離閾值是靜態(tài)預(yù)定值。在一些實(shí)施方式中，基于移動(dòng)軌跡動(dòng)態(tài)地確定偏離閾值(例如，根據(jù)移動(dòng)軌跡的長(zhǎng)度允許或多或少的偏離)。在一些實(shí)施方式中，基于所描繪的場(chǎng)景動(dòng)態(tài)地確定偏離閾值。在這些實(shí)施方式中，對(duì)于較勻質(zhì)的背景，可允許較大偏離，因?yàn)檩^容易填充可能由所選對(duì)象的重新定位導(dǎo)致的基礎(chǔ)圖像中的“洞”，對(duì)于較不勻質(zhì)的背景，允許較小偏離，因?yàn)楸普娴靥畛溥@些“洞”較困難。勻質(zhì)背景的示例可包括均勻的草地。

在一些實(shí)施方式中，重新定位的對(duì)象不僅包括所選對(duì)象的不同位置，而且包括不同取向。例如，如果移動(dòng)對(duì)象在其沿著移動(dòng)軌跡32移動(dòng)期間旋轉(zhuǎn)，則可能可取的是重新定位的對(duì)象也呈現(xiàn)該旋轉(zhuǎn)的取向。例如，考慮當(dāng)投擲非圓形的對(duì)象時(shí)，這種對(duì)象在落地之前將很有可能旋轉(zhuǎn)。在諸如這樣的示例中，所選對(duì)象的修改版本還可包括所選對(duì)象的不同取向。在一些實(shí)施方式中，用戶可在沿著移動(dòng)軌跡32拖曳所選對(duì)象時(shí)凍結(jié)所選對(duì)象的旋轉(zhuǎn)。在一些實(shí)施方式中，對(duì)象將隨著其沿著移動(dòng)軌跡32被拖曳而旋轉(zhuǎn)。

因此，在一個(gè)或更多個(gè)實(shí)施方式中，對(duì)所選對(duì)象重新定位包括確定所選對(duì)象的新位置、所選對(duì)象的新取向、或者這二者。另外，在一個(gè)或更多個(gè)實(shí)施方式中，在沿著所確定的移動(dòng)軌跡拖曳所選對(duì)象的同時(shí)(例如，隨著對(duì)象越來越近或者越來越遠(yuǎn))所選對(duì)象的大小可變化。在一些實(shí)施方式中，將對(duì)象重新定位包括重新定位所選對(duì)象的陰影，使得處于新位置的對(duì)象的陰影顯示在新位置附近，而非留在初始位置附近。在一個(gè)或更多個(gè)實(shí)施方式中，除了對(duì)陰影重新定位以外，執(zhí)行其它陰影調(diào)節(jié)。一些示例中的附加陰影調(diào)節(jié)包括陰影比例、亮度、形狀、角度和/或顏色的改變的任何組合。這些陰影調(diào)節(jié)可基于若干因素來執(zhí)行，諸如所選對(duì)象的新位置、在重新定位至新位置時(shí)所選對(duì)象的大小和/或所選對(duì)象的新位置附近的其它東西的陰影。

在還對(duì)所選對(duì)象的陰影重新定位的一些實(shí)施方式中，可利用例如立體相機(jī)3D地記錄圖像序列，并且利用來自3D圖像序列的3D數(shù)據(jù)分析陰影的移動(dòng)。例如，可分析構(gòu)成給定立體圖像的各個(gè)分量圖像以確定陰影與所選對(duì)象沿其移動(dòng)軌跡一起移動(dòng)的程度。

在一些實(shí)施方式中，所選對(duì)象在沿著移動(dòng)軌跡32的不同位置處的多個(gè)副本可被包括在最終的新圖像中。例如，圖2的新圖像20可進(jìn)一步修改以在高爾夫球14沿著移動(dòng)軌跡32在不同位置處增加額外的副本。這可通過重復(fù)方法100來實(shí)現(xiàn)，使得方法100的前一迭代中的框112的“新圖像”充當(dāng)方法100的后續(xù)迭代中的基礎(chǔ)圖像。方法100可被重復(fù)期望次數(shù)，以使得期望數(shù)量的所選對(duì)象被包括在最終的新圖像中。

在這些實(shí)施方式中，所選對(duì)象可在最終圖像中被復(fù)制(可選地，還可被縮放)。例如，考慮這樣的視頻，即，滑雪者進(jìn)行滑降跳臺(tái)滑雪的翻轉(zhuǎn)，直至滑雪者到達(dá)著陸位置。利用上述技術(shù)，滑雪者在沿其移動(dòng)軌跡的各種位置處的多個(gè)副本可被包括在最終圖像中。這可被執(zhí)行以得到類似于多次曝光圖像那樣的圖像(例如，從單個(gè)相機(jī)位置記錄的滑雪者在沿著運(yùn)動(dòng)軌跡的各種位置處的多次曝光)。

如圖4B至圖4E所示，在沿著移動(dòng)軌跡32拖曳移動(dòng)所選對(duì)象的同時(shí)，可顯示基礎(chǔ)圖像的方面。為此，識(shí)別序列中的任何圖像中未被所選對(duì)象占據(jù)的圖像區(qū)域，并且隨著所選對(duì)象沿著移動(dòng)軌跡被拖曳，顯示基礎(chǔ)圖像的那些識(shí)別的圖像區(qū)域。在圖4B至圖4E的示例中，所選對(duì)象為非常小的高爾夫球14，因此所識(shí)別的未被所選對(duì)象占據(jù)的圖像區(qū)域包括圖像30A至30D的大部分。

在上述示例中，所選對(duì)象不在基礎(chǔ)圖像中。然而，如果所選對(duì)象在基礎(chǔ)圖像中(例如，如果圖像10F中顯示高爾夫球14)，則組合基礎(chǔ)圖像與所選對(duì)象的修改版本包括當(dāng)所選對(duì)象被重新定位至新位置時(shí)確定基礎(chǔ)圖像中不再被占據(jù)的像素(即，基礎(chǔ)圖像中的“洞”)。然后，基于所確定的像素周圍的圖像區(qū)域(例如，利用最近鄰點(diǎn)、克隆和/或內(nèi)容感知填充)來填充所確定的基礎(chǔ)圖像的像素。另選地或附加地，可基于來自所述序列的除基礎(chǔ)圖像以外的一個(gè)或更多個(gè)圖像來填充所確定的像素(例如，通過復(fù)制來自序列中的其它圖像的像素)。

在一些實(shí)施方式中，為了方便將所選對(duì)象沿其移動(dòng)軌跡拖曳的用戶輸入，執(zhí)行插值。在這些實(shí)施方式中，如果所選對(duì)象在圖像序列的第一圖像中的第一位置與在圖像序列的連續(xù)第二圖像中的第二位置之間的移動(dòng)超過差別閾值，則可觸發(fā)插值的執(zhí)行。如果這發(fā)生，則執(zhí)行插值以確定所選對(duì)象在沿著移動(dòng)軌跡的第一位置與第二位置之間的附加位置；并且在第一位置與第二位置之間沿著所確定的移動(dòng)軌跡拖曳所選對(duì)象的同時(shí)，所選對(duì)象被顯示在附加位置處。如果對(duì)象快速地移動(dòng)和/或如果圖像序列未被足夠快速地記錄以捕獲運(yùn)動(dòng)中的所選對(duì)象的期望數(shù)量的圖像，則這可對(duì)所選對(duì)象的移動(dòng)提供更大控制。

使用圖1D和圖1E作為示例，高爾夫球14在這些圖像之間移動(dòng)可觀的距離。執(zhí)行插值可使得用戶能夠沿著移動(dòng)軌跡32將高爾夫球設(shè)置在介于圖1D至圖1E所示的那些位置之間的一個(gè)或更多個(gè)位置處。因此，隨著用戶在基礎(chǔ)圖像上來回拖曳所選對(duì)象，與沒有執(zhí)行插值的情況相比，可向他們提供對(duì)象的更精細(xì)的控制。在一個(gè)或更多個(gè)實(shí)施方式中，如果圖像序列是視頻，則插值的執(zhí)行涉及生成附加視頻幀。在一個(gè)或更多個(gè)實(shí)施方式中，如果圖像序列是靜止照片序列，則插值的執(zhí)行涉及生成附加靜止照片。在其它實(shí)施方式中，執(zhí)行插值不是生成整個(gè)幀和/或照片，而是僅生成沿著所選對(duì)象的運(yùn)動(dòng)軌跡32的圖像區(qū)域。

在一個(gè)或更多個(gè)實(shí)施方式中，圖像序列通過執(zhí)行方法100的同一裝置記錄。在一些這樣的實(shí)施方式中，基于用戶對(duì)相機(jī)快門的驅(qū)動(dòng)來執(zhí)行記錄。例如，這種用戶驅(qū)動(dòng)可包括用戶按壓實(shí)際的快門按鈕，或者可包括用戶選擇觸摸屏上的快門用戶界面元素。在一個(gè)或更多個(gè)實(shí)施方式中，多個(gè)圖像被記錄為視頻幀(例如，標(biāo)清、高清或4K視頻)。在其它實(shí)施方式中，它們被獲得為一系列靜止照片(例如，作為照片連拍)。在一個(gè)或更多個(gè)實(shí)施方式中，多個(gè)圖像的記錄在快門實(shí)際被驅(qū)動(dòng)之前(例如，在相機(jī)智能電話應(yīng)用被打開并且進(jìn)行聚焦之后)開始，并且在快門被驅(qū)動(dòng)之后完成。當(dāng)然，將理解，這些是非限制性示例，執(zhí)行方法100的計(jì)算裝置可從不同的裝置獲取圖像作為靜止圖像或視頻幀(例如，膝上型計(jì)算裝置可從數(shù)碼相機(jī)或視頻相機(jī)獲得圖像)。

再參照?qǐng)D3，選擇圖像的用戶輸入(框104)可對(duì)應(yīng)于用戶穿過多個(gè)圖像向前和/或向后拖曳，直至選擇了基礎(chǔ)圖像。例如，這種用戶輸入可包括光標(biāo)移動(dòng)或者在基于觸摸的輸入裝置(例如，觸摸屏或觸摸板)上檢測(cè)到的手指運(yùn)動(dòng)。從圖像序列選擇對(duì)象的用戶輸入(框106)可類似地包括在基于觸摸的輸入裝置上檢測(cè)到的手指觸摸。例如，這可包括在觸摸屏或觸摸板上檢測(cè)到的手指雙擊或敲擊并保持(參見例如圖5A，表示提供這種選擇的手28的輪廓)。另選地，框106的用戶輸入可包括來自光標(biāo)(例如，通過手寫筆、鼠標(biāo)、觸摸板等控制)的類似輸入。

執(zhí)行方法100的計(jì)算裝置確定所選對(duì)象的邊界以便確定移動(dòng)軌跡。例如，這可利用邊緣檢測(cè)來執(zhí)行。在圖4A的示例中，這包括確定高爾夫球14的邊界。

可選地，可執(zhí)行附加調(diào)節(jié)。這可包括在新圖像中再定位附加對(duì)象(例如，如果多個(gè)圖像具有多個(gè)圖像中的移動(dòng)軌跡)。在一個(gè)示例中，附加調(diào)節(jié)包括執(zhí)行基于相位的視頻處理算法，如圖5所示。

圖5示出示例方法200，該方法200可與方法100結(jié)合執(zhí)行以執(zhí)行附加調(diào)節(jié)，并且涉及執(zhí)行基于相位的視頻運(yùn)動(dòng)處理算法。接收從圖像序列選擇附加對(duì)象的用戶輸入(框202)。執(zhí)行基于相位的視頻運(yùn)動(dòng)處理算法以確定附加對(duì)象的夸大移動(dòng)(框204)。在電子顯示器上，顯示所選附加對(duì)象的夸大移動(dòng)(框206)?；诳浯笠苿?dòng)的顯示，接收包括附加對(duì)象的所選描繪的附加用戶輸入(框208)，并且將附加對(duì)象的所選描繪包括在新的圖像中(方框210)。

現(xiàn)在將結(jié)合圖6A至圖6D討論方法200。下面的討論假設(shè)所選擇的附加對(duì)象是旗桿18與旗19的組合(統(tǒng)稱為旗組件40)。在圖1A至圖1F所示的描繪的場(chǎng)景中，旗桿18的第一端42被固定在洞16中，旗桿18的相對(duì)的第二端44被固定到旗19。貫穿所描繪的場(chǎng)景，旗19被稍稍地吹動(dòng)，但是不足以引起旗桿18的任何可察覺的撓曲。然而，旗桿18可能仍呈現(xiàn)出一定程度的撓曲和/或振動(dòng)?；谙辔坏囊曨l運(yùn)動(dòng)處理算法的執(zhí)行可檢測(cè)并且逼真地夸大諸如旗桿18的振動(dòng)的細(xì)微移動(dòng)。

對(duì)于框202的對(duì)象選擇和/或?qū)τ诳?06的對(duì)象選擇，接收對(duì)象選擇的計(jì)算裝置可執(zhí)行邊緣檢測(cè)以確定所選擇的對(duì)象的范圍。如果對(duì)象看起來包括多個(gè)元件(例如，旗組件40的旗桿18和旗19)，則計(jì)算裝置可要求確認(rèn)用戶意在選擇多個(gè)元件中的每一個(gè)。如果未接收到確認(rèn)，則可基于其選擇向用戶建議元件的其它組合(或單個(gè)元件)。

根據(jù)方法200，執(zhí)行基于相位的視頻運(yùn)動(dòng)處理算法(例如，如http://people.csail.mit.edu/nwadhwa/phase-video中所討論的)以確定附加對(duì)象(在這種情況下，為旗組件40)的夸大移動(dòng)(框204)。由于本領(lǐng)域普通技術(shù)人員將理解如何執(zhí)行基于相位的視頻運(yùn)動(dòng)處理算法以獲得對(duì)象的夸大移動(dòng)，所以本文中不詳細(xì)討論該算法的執(zhí)行。

在電子顯示器上，顯示所選附加對(duì)象的夸大移動(dòng)(框206)。圖6B至圖6D中示出了一些示例夸大移動(dòng)，其中，虛線輪廓表示旗桿組件40的未夸大位置。圖6B至圖6D示出旗組件40的越來越大的夸大移動(dòng)，其中圖6D示出描繪的最大夸大位置?；诳浯笠苿?dòng)的顯示，接收包括附加對(duì)象的所選描繪的用戶輸入(框208)。將附加對(duì)象的所選描繪包括在新圖像中(框210)。假設(shè)所選描繪是圖6D的描繪，圖7示出修改后的新圖像20'(圖2的圖像20，但是被修改為包括旗組件40的所選描繪)。

在圖6A至圖6D的示例中，附加的選擇對(duì)象(旗組件40)存在于基礎(chǔ)圖像中，但是在修改的新圖像20'中被更改，這可在圖像中形成“洞”，因?yàn)樵陲@示附加的選擇對(duì)象的期望描繪時(shí)，可能存在不再被占據(jù)的像素。為了解決這一問題，確定這樣的像素，并且基于所確定的像素周圍的圖像區(qū)域、基于多個(gè)圖像中的被選擇附加對(duì)象的圖像以外的一個(gè)或更多個(gè)圖像、或者基于這二者來填充這些像素。如上所述，例如，填充時(shí)可使用的一些技術(shù)可包括最近鄰點(diǎn)、克隆和/或內(nèi)容感知填充。另選地或附加地，可簡(jiǎn)單地從多個(gè)圖像中的其它圖像復(fù)制像素。

圖8示出工作為實(shí)現(xiàn)本所討論的技術(shù)的示例計(jì)算裝置300。例如，該計(jì)算裝置可以是智能電話、個(gè)人數(shù)字助理(PDA)或者平板計(jì)算裝置。當(dāng)然，也可使用其它類型的計(jì)算裝置，例如膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)等。在一些實(shí)施方式中，計(jì)算裝置300是數(shù)碼相機(jī)、視頻相機(jī)或者一些其它的成像裝置。

計(jì)算裝置300包括處理器302和電子顯示器304。處理器302包括一個(gè)或更多個(gè)處理器電路(包括例如一個(gè)或更多個(gè)微處理器、微控制器等)，并且還配置有適當(dāng)?shù)能浖?或固件以執(zhí)行以上討論的一個(gè)或更多個(gè)技術(shù)。例如，電子顯示器可被集成在計(jì)算裝置300中或者在計(jì)算裝置300外部。處理器302被配置為在電子顯示器上顯示來自描繪場(chǎng)景的圖像序列的圖像。處理器302還被配置為接收從該序列選擇要用作基礎(chǔ)圖像的圖像的用戶輸入，接收從圖像序列選擇對(duì)象的用戶輸入以及根據(jù)圖像序列確定所選對(duì)象的移動(dòng)軌跡。處理器302還被配置為基于將所選對(duì)象沿著所確定的移動(dòng)軌跡從初始位置拖曳至新位置的用戶輸入來重新定位所選對(duì)象；并且通過組合基礎(chǔ)圖像與重新定位的對(duì)象來創(chuàng)建新圖像。

計(jì)算裝置300還包括輸入裝置306和存儲(chǔ)器電路308。在一些實(shí)施方式中，輸入裝置306包括與電子顯示器304結(jié)合工作以提供觸摸屏接口的一個(gè)或更多個(gè)觸摸傳感器。當(dāng)然，可使用其它基于觸摸的輸入裝置，例如觸摸板。在一個(gè)示例中，輸入裝置是從外部裝置(例如，無線鼠標(biāo)或有線鼠標(biāo))接收輸入的通信接口。輸入裝置306可用于接收表示圖像選擇的用戶輸入和/或選擇并沿其移動(dòng)軌跡拖曳對(duì)象的用戶輸入。

存儲(chǔ)器電路308是工作為存儲(chǔ)圖像序列(例如，圖1A至圖1F所示的圖像)的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。在一個(gè)或更多個(gè)實(shí)施方式中，非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)可包括任何計(jì)算機(jī)可讀介質(zhì)，僅有的例外是暫時(shí)性傳播信號(hào)。在一個(gè)或更多個(gè)實(shí)施方式中，存儲(chǔ)器電路308包括基于電子、磁、光、電磁或半導(dǎo)體的存儲(chǔ)系統(tǒng)中的一個(gè)或更多個(gè)。

可選地，計(jì)算裝置300還可包括被配置為記錄圖像序列(例如，圖1A至圖1F的那些)的鏡頭310和成像傳感器312。計(jì)算裝置300還可包括無線收發(fā)器314以發(fā)送和/或接收?qǐng)D像。這些可選部件以虛線示出，以表示它們不是必需的。

計(jì)算裝置300可被配置為實(shí)現(xiàn)上述技術(shù)的任何組合。因此，在一個(gè)或更多個(gè)實(shí)施方式中，處理器302被配置為如果所選對(duì)象的新位置偏離移動(dòng)軌跡超過預(yù)定義的偏離閾值，則拒絕該新位置。在同一實(shí)施方式或另一實(shí)施方式中，處理器302被配置為在所選對(duì)象處于軌跡上的給定點(diǎn)處并且正在接收拖曳對(duì)象的用戶輸入的同時(shí)，顯示所選對(duì)象的整個(gè)軌跡的表示。在同一實(shí)施方式或者另一實(shí)施方式中，如上所述，處理器302被配置為執(zhí)行插值。

在一個(gè)或更多個(gè)實(shí)施方式中，計(jì)算裝置300還工作為執(zhí)行圖5的方法200。在這樣的實(shí)施方式中，處理器302被配置為接收從圖像序列選擇附加對(duì)象的用戶輸入；執(zhí)行基于相位的視頻運(yùn)動(dòng)處理算法以確定附加對(duì)象的夸大移動(dòng)；并且在電子顯示器304上顯示附加對(duì)象的夸大移動(dòng)。處理器302還被配置為基于夸大移動(dòng)的顯示，接收附加對(duì)象的所選描繪；并且將附加對(duì)象的所選描繪包括在新圖像中。

可選地，計(jì)算機(jī)程序產(chǎn)品可被存儲(chǔ)在包括計(jì)算機(jī)程序代碼的存儲(chǔ)器電路308中，計(jì)算機(jī)程序代碼在計(jì)算裝置300上執(zhí)行時(shí)配置計(jì)算裝置300以執(zhí)行上述任何技術(shù)。

在現(xiàn)有技術(shù)中，照片操縱常常是留給攝影和圖形設(shè)計(jì)專業(yè)人員的復(fù)雜任務(wù)。諸如ADOBE PHOTOSHOP的工具具有復(fù)雜的用戶界面，其允許通?；趩蝹€(gè)圖像的自由形式的編輯。最近，諸如來自SCALADO的REWIND的軟件使得用戶能夠?qū)碜远鄠€(gè)照片的面部表情組合成單個(gè)圖像。然而，這些工具均沒有從對(duì)象的序列確定所選對(duì)象的移動(dòng)軌跡并且基于將所選對(duì)象沿著所確定的移動(dòng)軌跡從初始位置拖曳至新位置的用戶輸入來重新定位所選對(duì)象。此外，這些工具不包括執(zhí)行基于相位的視頻運(yùn)動(dòng)處理算法以確定所選對(duì)象的夸大移動(dòng)。這些現(xiàn)有技術(shù)的工具中也不包括上述插值技術(shù)。

通過沿確定的移動(dòng)軌跡拖曳所選對(duì)象的直接視頻操縱的使用，可提供非常適用于觸摸屏計(jì)算裝置(其接口元件可能受限)的有利用戶接口。另外，上述偏離閾值的使用可用于避免看起來不切實(shí)際的照片操縱。

當(dāng)然，在不脫離本公開的基本特性的情況下，本公開可按照本文具體闡述的那些方式以外的其它方式來實(shí)現(xiàn)。例如，還應(yīng)該注意的是，在一些另選實(shí)現(xiàn)方式中，框中所指示的功能可不按圖中所指示的順序發(fā)生。例如，根據(jù)所涉及的功能，順序示出的兩個(gè)框?qū)嶋H上可基本上同時(shí)執(zhí)行，或者框有時(shí)可按照相反的順序執(zhí)行。因此，本發(fā)明實(shí)施方式將被認(rèn)為在所有方面均為例示性的，而非限制性的，旨在將落入所附權(quán)利要求書的含義和等同范圍內(nèi)的所有改變涵蓋于其中。