本申請要求2015年6月10日提交的名稱為“用于生成用戶定制的計算機生成動畫的方法和系統(tǒng)(METHOD AND SYSTEM FOR GENERATING A USER-CUSTOMIZED COMPUTER-GENERATED ANIMATION)”美國專利申請序號14/735,960的優(yōu)先權(quán)，該申請的全部內(nèi)容因所有目的合并于本文中。

技術(shù)領(lǐng)域

本申請一般地涉及用戶生成內(nèi)容，更具體地涉及用于生成用戶定制版本的預(yù)存在內(nèi)容如計算機生成動畫或視頻片段的系統(tǒng)和方法。

背景技術(shù)：

計算機動畫是利用計算機圖形來生成動畫圖像的過程。圖1描繪了計算機生成圖像的示例。計算機生成場景可包括虛擬環(huán)境，虛擬環(huán)境包含各種對象(例如，樹、石頭、云等)以及人物(例如，動物、人等)。例如，人物的模型可以被創(chuàng)建且隨后移動或變形而模擬運動。場景的圖像在選定的時刻或幀被渲染以創(chuàng)建動畫視頻。

當(dāng)前的技術(shù)允許用戶在交互式計算機圖形環(huán)境中控制一些視覺方面。例如，在當(dāng)前的視頻游戲中，用戶可以選擇可控人物的一些視覺特性(例如，人物頭發(fā)、皮膚或衣物的顏色)。然而，用戶經(jīng)常被限制于從多種預(yù)定特性(例如，顏色、樣式等)選擇?，F(xiàn)有技術(shù)也不提供定制先前已經(jīng)創(chuàng)建的內(nèi)容的能力，諸如現(xiàn)有的動畫電影、展覽等。

發(fā)明概述

下面描述了用于生成諸如計算機生成動畫或現(xiàn)場錄制視頻片段的用戶定制版本的預(yù)存在數(shù)字內(nèi)容的技術(shù)。

在一些實施例中，用于生成用戶定制的計算機生成動畫的方法包括：接收數(shù)字內(nèi)容，以及確定所述數(shù)字內(nèi)容的可修改部分。數(shù)字內(nèi)容包括計算機生成動畫。確定數(shù)字內(nèi)容的可修改部分，并且接收包括數(shù)字內(nèi)容的可修改部分的表示的設(shè)計模板。通過對數(shù)字內(nèi)容的可修改部分的表示執(zhí)行圖像分析來生成模板圖像數(shù)據(jù)?；谀０鍒D像數(shù)據(jù)來生成數(shù)字內(nèi)容的修正部分，其中修正部分是數(shù)字內(nèi)容的可修改部分的修正版本。生成且使得顯示包括具有數(shù)字內(nèi)容的修正部分的計算機生成動畫的版本的更新的數(shù)字內(nèi)容。

在一些實施例中，在接收到設(shè)計模板之前，提供設(shè)計模板用于編輯，并且接收所提供的設(shè)計模板的編輯版本。在一些實施例中，提供設(shè)計模板包括提供包含設(shè)計模板的用戶界面。任選地，接收表示用戶界面上的用戶輸入的數(shù)據(jù)，并且根據(jù)所述用戶輸入來編輯設(shè)計模板。

在一些實施例中，生成模板圖像數(shù)據(jù)包括：確定數(shù)字內(nèi)容的可修改部分的表示的顏色輪廓。在一些實施例中，生成數(shù)字內(nèi)容的修正部分包括：基于可修改部分的表示的顏色輪廓來確定修正部分的顏色輪廓。在一些實施例中，生成數(shù)字內(nèi)容的修正部分包括：基于所述數(shù)字內(nèi)容的可修改部分的表示的顏色輪廓來渲染修正部分。、

在一些實施例中，生成更新后的數(shù)字內(nèi)容包括：將修正版本映射到數(shù)字內(nèi)容的可修改部分上。在一些實施例中，生成更新后的數(shù)字內(nèi)容包括：利用修正部分來渲染數(shù)字內(nèi)容。在一些實施例中，生成沒有可修改部分的數(shù)字內(nèi)容的版本，并且修正部分覆蓋到?jīng)]有可修改部分的數(shù)字內(nèi)容的版本上。

附圖說明

專利或申請文件包含了按顏色執(zhí)行的至少一幅圖。該專利或?qū)＠暾埞_的帶有彩色圖的副本將應(yīng)請求且支付必要費用的情況下由官方來提供。

圖1描繪了根據(jù)一些實施例的數(shù)字內(nèi)容的示范性的實施例。

圖2A描繪了根據(jù)一些實施例的示范性的設(shè)計模板。

圖2B描繪了根據(jù)一些實施例的編輯后的設(shè)計模板。

圖3A描繪了根據(jù)一些實施例的修正的數(shù)字內(nèi)容的示范性的圖像。

圖3B描繪了根據(jù)一些實施例的修正的數(shù)字內(nèi)容的另一示范性的圖像。

圖4描繪了根據(jù)一些實施例的用于生成用戶定制內(nèi)容的示范性的過程的流程圖。

圖5描繪了根據(jù)一些實施例的用于生成用戶定制內(nèi)容的示范性的合成圖像。

圖6描繪了根據(jù)一些實施例的示范性的計算系統(tǒng)。

在圖中描繪的實施例僅為示范性的。本領(lǐng)域技術(shù)人員將易于根據(jù)下面的論述認(rèn)識到，本文示出的結(jié)構(gòu)和方法的替選實施例能夠被采用，而不偏離本文所描述的原理。

發(fā)明詳述

下面的說明闡述了具體的配置、參數(shù)等。然而，應(yīng)當(dāng)認(rèn)識到，該描述不旨在限制本公開，而是被提供作為示范性的實施例的描述。

圖1描繪了包括圖像102的數(shù)字內(nèi)容100的示例。圖像102是計算機生成圖像，包括背景104、女孩106、動物108和虛構(gòu)人物110。在圖示的實施例中，數(shù)字內(nèi)容100是計算機生成動畫，其中圖像102是單幀。然而，應(yīng)當(dāng)認(rèn)識到，在一些實施例中，數(shù)字內(nèi)容100可以至少部分地包括其它類型的內(nèi)容(例如，現(xiàn)場錄制視頻片段或非計算機生成內(nèi)容)并且可以包括獨立圖像或多個圖像(例如，視頻)。

數(shù)字內(nèi)容100包括能夠修改的至少一部分。該部分可稱為可修改部分。在一些實施例中，由于下文將清楚論述的原因，可修改部分可稱為用戶可編輯部分或顏色使能部分。數(shù)字內(nèi)容100的任意部分能夠被確定為可修改部分。在本示例中，數(shù)字內(nèi)容100的可修改部分包括圖像102所描繪的虛構(gòu)人物110所占據(jù)的部分。在一些實施例中，可修改部分包括背景104的部分、女孩106或動物108?？尚薷牟糠挚砂跀?shù)字內(nèi)容100中所包括的圖像中的一些或全部中(例如，計算機生成動畫或現(xiàn)場錄制視頻片段的一個或多個幀。

圖2A描繪了包括數(shù)字內(nèi)容100的可修改部分的表示202的可編輯設(shè)計模板200的示例。更具體地，設(shè)計模板200包括虛構(gòu)人物110的表示202。在圖2A中，表示202全部著白色的虛構(gòu)人物110的空白行繪圖，而沒有任何陰影、紋理等。在一些實施例中，表示202均勻地著以除了白色之外的顏色或者部分地著色(例如，僅一些部分保留為空白以表明僅空白部分可供編輯)。在圖2A中，表示202周圍的背景空間也是白色的。在一些實施例中，背景是與表示202不同的顏色或樣式。

圖2B描繪了設(shè)計模板200的編輯版本210的示例。在一些實施例中，能夠通過例如添加顏色或特征到設(shè)計模板200的部分或者改變設(shè)計模板200的部分的顏色來編輯設(shè)計模板200。在圖2B中，不同的顏色已經(jīng)添加到表示202的各部分，并且綠色S形符號204已經(jīng)添加到對應(yīng)于人物110所穿的背心的位置。

所編輯的設(shè)計模板210能夠用于修改數(shù)字內(nèi)容100中的虛構(gòu)人物110的外觀。圖3A示出了除了虛構(gòu)人物110替換成修正后的虛構(gòu)人物302之外與圖1所示的圖像102幾乎系統(tǒng)的圖像300的示范性的修正版本。修正的虛構(gòu)人物302是表現(xiàn)為在編輯的設(shè)計模板210中提供的虛構(gòu)人物110的修改后的版本。更特別地，修正的虛構(gòu)人物302包括添加到設(shè)計模板200中的表示202的顏色和特征。修正后的虛構(gòu)人物302能夠在整個數(shù)字內(nèi)容100中使用。圖3B示出了數(shù)字內(nèi)容100的計算機生成動畫中的另一示范性的圖像310，其中修正的虛構(gòu)人物302從不同的視角顯示，同時保持與編輯后的設(shè)計模板210一致的外觀。

上文所描述的技術(shù)可用于基于預(yù)存在內(nèi)容來創(chuàng)建用戶生成內(nèi)容。例如，用戶可以編輯設(shè)計模板，然后，設(shè)計模板用于修改現(xiàn)有內(nèi)容的部分，諸如電影。通過這種方式，消費者可以例如對電影人物進(jìn)行重著色或添加圖形特征，然后觀看有他或她所設(shè)計的人物的電影。該技術(shù)可應(yīng)用于電影的各部分。例如，使用不同的模板消費者可能定制女孩106的頭發(fā)顏色、動物108上的標(biāo)記物的顏色和樣式、背景104的顏色、電影中虛構(gòu)人物110所生活的房屋的特征(未示出)、或者在模板上表示的數(shù)字內(nèi)容100的任何其它部分。這些技術(shù)因此可允許用戶創(chuàng)建電影的定制版本，從而對用戶而言提高娛樂價值。

現(xiàn)在轉(zhuǎn)到圖4，上文所描述的技術(shù)的附加的實施例和任選的特征參考示范性的過程400進(jìn)行論述。圖4描繪了示出用于修改數(shù)字內(nèi)容的過程400的流程圖。在一些實施例中，過程400的部分在一個或多個計算系統(tǒng)上執(zhí)行，諸如下文參考圖6所描述的計算系統(tǒng)600。過程400的部分可在用戶本地的計算系統(tǒng)上執(zhí)行。過程400的一些部分可由遠(yuǎn)程計算系統(tǒng)(例如，因特網(wǎng)上的服務(wù)器)提供作為服務(wù)。過程400中的一些操作可組合，一些操作的次序可改變，一些操作可省去。

在框402中，接收數(shù)字內(nèi)容(例如，數(shù)字內(nèi)容100)。在一些實施例中，數(shù)字內(nèi)容包括一個或多個圖像、視頻、電影、計算機生成環(huán)境、背景、場景、計算機生成動畫資產(chǎn)(例如，人物、對象或其部分)、計算機生成圖像、計算機生成動畫、二維影像、三維影像或其組合或部分。在一些實施例中，從本地計算系統(tǒng)(例如，智能手機、平板設(shè)備或計算機)或者從遠(yuǎn)程計算系統(tǒng)(例如，通過因特網(wǎng)訪問的服務(wù)器)的存儲器中接收數(shù)字內(nèi)容。

在框404中，確定數(shù)字內(nèi)容的一部分(例如，虛構(gòu)人物110)。所確定的部分可稱為可修改部分。在一些實施例中，該部分包括圖像的指定區(qū)域(例如，圖像的邊緣周圍的邊界)、圖像中的普通區(qū)域(例如，背景或表面，諸如湖或草地)、或特定的對象、人物、人等所占據(jù)的圖像的區(qū)域。對于包括多個圖像的數(shù)字內(nèi)容，可修改部分所占據(jù)的位置可以在各圖像中相同或者從一個圖像到一個圖像變化(例如，可修改部分可以隨著視頻中對象移動而移動)。在計算機生成動畫的背景下，可修改部分可包括例如計算機生成的動畫資產(chǎn)(例如，人物、對象或其部分)、計算機生成環(huán)境、背景、或場景、或計算機生成圖像或動畫中的區(qū)域、對象或人物。電影、視頻、計算機生成動畫等的一幀或多幀可包括可修改部分的至少部分。在一些實施例中，內(nèi)容的多于一個的部分被確定為可修改部分的部分。

在框406中，接收設(shè)計模板(例如，設(shè)計模板200)。設(shè)計模板包括可修改部分的表示(例如，表示202)。在一些實施例中，從本地存儲器或遠(yuǎn)程設(shè)備接收設(shè)計模板。任選地，設(shè)計模板包括多于一個表示，其中每個表示代表了數(shù)字內(nèi)容的不同的可修改部分或者可修改部分的不同的部分。

在一些實施例中，設(shè)計模板200是物理模板，諸如紙張，其能夠利用例如鉛筆、標(biāo)記器、粉筆等來編輯。任選地，編輯的模板經(jīng)過掃描，轉(zhuǎn)換成數(shù)字圖像，并且發(fā)送且由計算系統(tǒng)接收。在一些實施例中，物理模板通過掃描機來掃描或者通過拍攝模板的數(shù)字照片來掃描(例如，通過智能手機)。如圖2A-2B所示，設(shè)計模板可包括快速響應(yīng)(QR)碼206或能夠用于確定與設(shè)計模板相關(guān)聯(lián)的特定的樞轉(zhuǎn)內(nèi)容或可修改部分的其它指示。

在一些實施例中，設(shè)計模板200是電子模板。電子模板可被顯示以便在電子顯示器(例如，電視、計算機監(jiān)視器、觸摸屏等)上進(jìn)行數(shù)字編輯。任選地，設(shè)計模板顯示在提供模板編輯能力的計算機應(yīng)用的圖形用戶界面上。在一些實施例中，應(yīng)用運行于臺式或膝上型計算機、平板設(shè)備、智能手機或其它電子設(shè)備上，它們可以本地地或者從遠(yuǎn)程計算系統(tǒng)訪問設(shè)計模板。在一些實施例中，根據(jù)在圖形用戶界面上檢測到的用戶輸入來編輯模板。例如，用戶可以執(zhí)行輸入以編輯模板?？山邮毡硎居脩糨斎氲臄?shù)據(jù)，然后可根據(jù)用戶輸入來修改設(shè)計模板。

在框408中，通過對包括可修改部分的表示的設(shè)計模板執(zhí)行圖像分析來生成模板圖像數(shù)據(jù)。圖像分析可包括圖像處理以確定設(shè)計模板的顏色內(nèi)容和/或空間特性。模板圖像數(shù)據(jù)可包括模板中的表示的顏色輪廓。在一些實施例中，顏色輪廓是通過在各位置對設(shè)計模板采樣且確定每個采樣點的顏色值來確定的。表示的顏色輪廓可因此包括與設(shè)計模板上的位置相關(guān)聯(lián)的顏色值(例如，可修改部分的表示所占據(jù)的位置)。

任選地，圖像分析包括確定與設(shè)計模板相關(guān)聯(lián)的數(shù)字內(nèi)容或可修改部分。該確定可基于圖像處理的結(jié)果以識別快速響應(yīng)(QR)碼206的表示或分析或者關(guān)于設(shè)計模板的其它標(biāo)識信息。

在框410中，基于在框408處由設(shè)計模板生成的模板圖像數(shù)據(jù)來生成數(shù)字內(nèi)容的可修改部分的修正版本。因此，修正部分基于接收到的設(shè)計模板的特性。

在一些實施例中，基于設(shè)計模板中的表示的顏色輪廓來確定修正版本的顏色輪廓。生成修正部分可包括例如，將模板圖像數(shù)據(jù)的顏色值映射到可修改部分的對應(yīng)點上?？尚薷牟糠值谋硎旧系狞c的顏色值可以映射到實際的可修改部分的對應(yīng)位置上。設(shè)計模板上的對應(yīng)采樣點不存在的修正部分上的點處的顏色值可被內(nèi)插或外推。所使用的外推的程度可取決于設(shè)計模板上表示(或未表示)的可修改部分的量。在諸如圖2A，2B，3A和3B所示的情況下，例如，可修改部分的很大部分沒有表示在設(shè)計模板上(例如，圖3B顯示出虛構(gòu)人物110的背部，而表示202主要包括前視圖)。

在一些實施例中，模板圖像數(shù)據(jù)映射到數(shù)字內(nèi)容的每個圖像或幀的二維坐標(biāo)系上。也即，對于每個幀，確定可修改部分的可視部分(例如，虛構(gòu)人物110的可視部分)，并且僅對應(yīng)于可視部分的顏色值映射到平面上。

在一些實施例中，模板數(shù)據(jù)映射到計算機生成資產(chǎn)的三維模型上。對于模型的整個表面可以確定顏色值，然后顏色值能夠用于渲染修正(例如，重新著色)的計算機生成資產(chǎn)的圖像。

在一些實施例中，生成可修改部分的修正版本還包括：確定可修改部分的修正版本的紋理和/或陰影。在已經(jīng)根據(jù)設(shè)計模板對可修改部分著色之后，利用各種已知技術(shù)來確定和添加紋理和/或陰影。在一些實施例中，來自原始可修改部分的紋理和陰影信息應(yīng)用于重新著色的版本。再使用紋理和陰影數(shù)據(jù)可具有減少生成修正版本所需的計算資源和時間的益處。

還應(yīng)當(dāng)認(rèn)識到，為美感或其它原因，從設(shè)計模板映射到可修改部分的顏色值中的至少一些可被去除、增強、移位或以其它方式更改。

在框412中，生成數(shù)字內(nèi)容的更新版本(例如，圖像300)。更新的數(shù)字內(nèi)容包括修正后的可修改部分(例如，修正的虛構(gòu)人物302)。

在一些實施例中，生成更新后的數(shù)字內(nèi)容包括將修正部分映射到初始數(shù)字內(nèi)容的可修改部分上。

在一些實施例中，生成更新后的數(shù)字內(nèi)容包括生成諸如圖5所示的合成圖，圖5示出了具有子圖像502、504、506和508的示范的圖像500。利用計算機生成圖像102和在框404中確定的可修改部分底層的數(shù)據(jù)(例如，計算機生成動畫資產(chǎn)、模型、燈光、顏色、紋理等)來渲染圖像500。

子圖像502包括除了可修改部分110之外包含在圖像102中的全部的數(shù)字內(nèi)容100。在缺少可修改部分110的情況下，子圖像502包括數(shù)字內(nèi)容100的于圖像102中不可見的部分，諸如例如虛構(gòu)人物110的腳下的陰影以及虛構(gòu)人物110后面的背景的部分。子圖像504僅包括可修改部分110的原始版本(例如，在圖像102中可見的虛構(gòu)人物110的部分)。在一些實施例中，子圖像504僅生成為保留可修改部分110的原始版本。子圖像506包括包含了用于修正的可修改部分(例如，修正的虛構(gòu)人物302)的紋理和陰影數(shù)據(jù)的表示510。在一些實施例中，子圖像506包括來自原始可修改部分110的紋理和陰影信息。子圖像508是指示可修改部分的位置的二進(jìn)制圖像。由可修改部分占據(jù)的區(qū)域512是白色的，而圖像的其余部分是黑色的，其中黑色指示沒有內(nèi)容。

在一些實施例中，通過將修正后的可修改部分的顏色值映射到子圖像508中的占據(jù)的區(qū)域512上來生成更新后的數(shù)字內(nèi)容。然后，來自子圖像506的紋理和陰影能夠應(yīng)用于子圖像208中的區(qū)域512。顯然，在該實施例中，加紋理和加陰影被執(zhí)行為框412的部分，而不是如上所述的框410的部分。在應(yīng)用了陰影和紋理后，子圖像508(現(xiàn)在包含了修改部分的著色的、加紋理的和加陰影的修正版本)被覆蓋或者應(yīng)用到子圖像502之上，得到圖3A所示的圖像300。

雖然此處參考框412描述了圖像500，但是應(yīng)當(dāng)認(rèn)識到，在確定了可修改部分之后的任意時間能夠生成圖像500(例如，作為框404的部分)。而且，應(yīng)當(dāng)認(rèn)識到可以將子圖像502、504、506和508處置(例如，存儲，訪問或處理)為獨立的圖像，而不影響執(zhí)行上述技術(shù)的能力。

在一些實施例中，不是如上所述將修正版本映射到子圖像508上且從子圖像506添加紋理和陰影，能夠渲染修正后的可修改部分的圖像。這對于模板圖像數(shù)據(jù)已經(jīng)映射到計算機生成資產(chǎn)的三維模型上的實施例而言是可能的。然后，修正后的可修改部分的渲染圖像應(yīng)用于子圖像502之上，再次得到圖3A所示的圖像300。在又一實施例中，連同修正后的可修改部分一起重新渲染整個圖像300。渲染(或重新渲染)修正部分或整個圖像可能需要額外的時間和/或計算資源，但是也可以提供更高品質(zhì)的影像(例如，更高分辨率)。

在框414，顯示數(shù)字內(nèi)容的更新后的版本。在一些實施例中，更新后的數(shù)字內(nèi)容顯示在本地設(shè)備的本地顯示器上。在一些實施例中，更新后的數(shù)字內(nèi)容發(fā)送到遠(yuǎn)程設(shè)備以供顯示(例如，作為圖像文件、視頻文件、多媒體文件或經(jīng)由流視頻)。

圖6描繪了被配置為執(zhí)行上述過程中的任一個的示范性的計算系統(tǒng)600的組件。在一些實施例中，計算系統(tǒng)600是臺式計算機、平板計算機、智能手機、服務(wù)器、媒體播放器(例如，DVD播放器)、視頻游戲控制臺等。計算系統(tǒng)600可以包括例如處理單元，處理單元包括一個或多個處理器、存儲器、存儲設(shè)備以及輸入/輸出設(shè)備(例如，監(jiān)視器、觸摸屏、鍵盤、照相機、觸針、繪圖設(shè)備、盤驅(qū)動器、USB、因特網(wǎng)連接、近場無線通信、藍(lán)牙等)。然而，計算系統(tǒng)600可以包括用于實施過程(例如，過程400)的一些或全部方面的電路系統(tǒng)或其它專用硬件。在一些操作設(shè)置中，計算系統(tǒng)600可以配置為包括一個或多個單元的系統(tǒng)，每個單元被配置為以軟件、硬件、固件或其某種組合來實施過程的一些方面。

在計算系統(tǒng)600中，主系統(tǒng)602可包括帶總線的主板604，總線連接輸入/輸出(“I/O”)部606、一個或多個中央處理單元(“CPU”)608以及存儲器部610，存儲器部可具有與其相關(guān)的閃存卡612。存儲器部610可包含用于實施過程400的至少部分的計算機可執(zhí)行指令和/或數(shù)據(jù)。I/O部606任選地連接到顯示器624、照相機626、鍵盤614、磁盤存儲單元616或媒體驅(qū)動單元618。媒體驅(qū)動單元618能夠?qū)梢园绦?22和/或數(shù)據(jù)的非暫態(tài)性的計算機可讀存儲介質(zhì)620進(jìn)行讀/寫。

基于上述過程的結(jié)果的至少一些值能夠被保存以便后來使用。另外，非暫態(tài)性的計算機可讀存儲介質(zhì)能夠用來存儲(例如，有形地體現(xiàn))用于借助計算機執(zhí)行上述任一過程的一個或多個計算機程序。計算機程序可通過例如通用編程語言(例如，Pascal、C、C++、Java等)或者某專業(yè)化的專用語言來編寫。

為示例和說明的目的已經(jīng)提供了具體實施例的前文描述。這些描述不意在窮盡或?qū)?quán)利要求的范圍限制為公開的精確形式，并且應(yīng)當(dāng)理解的是，根據(jù)上述的教導(dǎo)，許多修改和變型例是可能的。