專利名稱：自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)與方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)與方法，特別是有關(guān)一種通過聲音分析配置臉部表情變化以自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)與方法，通過聲音分析的資料自動(dòng)配合臉部表情調(diào)整參數(shù)，以產(chǎn)生具備聲音及表情變化動(dòng)畫效果的系統(tǒng)及方法。
背景技術(shù)：
在傳統(tǒng)的動(dòng)畫技術(shù)中，常利用語音分析技術(shù)，產(chǎn)生對(duì)應(yīng)于聲音時(shí)間軸的嘴型資料，再以此資料驅(qū)動(dòng)影像以產(chǎn)生擬似說話的角色。雖然這樣的處理可以自動(dòng)化，但是所產(chǎn)生的動(dòng)畫只有嘴型，沒有豐富的表情變化，因此缺乏生命感及真實(shí)感。在現(xiàn)有的方法中，為了增加表情變化，使用者必須在對(duì)應(yīng)于聲音的時(shí)間軸上透過適當(dāng)?shù)闹谱鞴ぞ?-例如Timeline Editor進(jìn)行動(dòng)畫編輯(此為KeyFrame Animation方法)，以產(chǎn)生表情變化的效果。這樣的制作工具通常包含聲音波形以時(shí)間軸圖像顯示的制作接口、可在畫面上點(diǎn)選一個(gè)時(shí)間點(diǎn)、可在該時(shí)間點(diǎn)上加入Key Frame(動(dòng)畫格)，編輯該Key Frame(動(dòng)畫格)的內(nèi)容、以及指定Transition等等，前述步驟重復(fù)數(shù)次的后，便能完成具備豐富表情的動(dòng)畫編輯，通常，為了方便制作，一些基本的編輯功能也必須包含于該制作工具中，例如刪除、復(fù)制等。
然而，前述的動(dòng)畫編輯制作方式有三項(xiàng)缺點(diǎn)；(一)在時(shí)間軸上進(jìn)行表情變化的編輯相當(dāng)復(fù)雜，通常使用者必須具備高度制作動(dòng)畫的專業(yè)知識(shí)；(二)在時(shí)間軸上進(jìn)行動(dòng)畫的編輯需要繁瑣的編輯工具以及輸入裝置，產(chǎn)出結(jié)果的時(shí)間非常長，且亦不易在有限的輸入裝置(如手機(jī))上實(shí)現(xiàn)這樣的功能；(三)因?yàn)榫庉嫿Y(jié)果是對(duì)應(yīng)于特定的聲音時(shí)間軸進(jìn)行編輯，因此當(dāng)聲音資料改變時(shí)即需重新編輯，資料無法重復(fù)利用。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)與方法，特別是有關(guān)一種通過聲音分析配置臉部表情變化以自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)與方法，通過聲音分析自動(dòng)配合臉部表情調(diào)整參數(shù)，以產(chǎn)生具備聲音及表情變化動(dòng)畫效果。
根據(jù)本發(fā)明的一個(gè)方面，提供了一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)，通過聲音或事件驅(qū)動(dòng)，并依據(jù)使用者選擇的情境自動(dòng)產(chǎn)生動(dòng)畫，包括一情境選擇接口，用于使用者選擇情境模板；一情境模板數(shù)據(jù)庫，用以儲(chǔ)存情境模板資料；一情境模板處理模塊，用以配置一人像影像資料及一選取的情境模板資料；一動(dòng)畫產(chǎn)生模塊，用以配置一人像影像資料及一選取的情境模板資料以配置關(guān)鍵幀(Key Frame)資料，并依據(jù)配置完成的關(guān)鍵幀資料以產(chǎn)生動(dòng)畫資料。
根據(jù)本發(fā)明的另一個(gè)方面，一種自動(dòng)產(chǎn)生動(dòng)畫的方法，至少包含以下步驟(a)輸入及分析人像影像，并依據(jù)該影像的特征配置動(dòng)態(tài)屬性；(b)經(jīng)由一聲音分析模塊辨識(shí)及分析一聲音數(shù)據(jù)；(c)經(jīng)由一情境模板處理模塊，配對(duì)該辨識(shí)及分析完畢的聲音資料及一自情境模板數(shù)據(jù)庫中經(jīng)手動(dòng)或自動(dòng)選取的情境模板資料；(d)經(jīng)由一動(dòng)畫產(chǎn)生模塊，依據(jù)該配置完成的聲音數(shù)據(jù)及情境模板數(shù)據(jù)調(diào)整該動(dòng)態(tài)屬性以產(chǎn)生動(dòng)畫數(shù)據(jù)；及(e)輸出該動(dòng)畫資料。
本發(fā)明的經(jīng)由聲音或事件驅(qū)動(dòng)的情境模板套用系統(tǒng)及方法，在輸入聲音后，使用者只需選擇想要的“情境”(Scenario)，便會(huì)自動(dòng)產(chǎn)生有豐富表情的動(dòng)畫。
本發(fā)明的情境模板將原本的Key Frame(動(dòng)畫格)中的臉部表情調(diào)整參數(shù)資料依據(jù)不同情境加以分類，分類后的資料形成情境模板，放置于情境模板數(shù)據(jù)庫中，使用者選取情境以后，對(duì)輸入的聲音進(jìn)行分析，找出不同特性的區(qū)段，再依據(jù)選取的情境套入不同的動(dòng)畫變化，如此使同樣的模板可以運(yùn)用于長度不同的聲音。
利用本發(fā)明的系統(tǒng)及方法，使用者只需輸入照片→輸入聲音→點(diǎn)選模板，就可以完成豐富的動(dòng)畫輸出，相當(dāng)適合在有限的輸入裝置頻繁使用的狀況下操作使用(例如以手機(jī)傳遞短訊息)。
為了便于了解本發(fā)明的結(jié)構(gòu)特征及所達(dá)成的功效，下面結(jié)合附圖以較佳的實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。


圖1A是本發(fā)明的系統(tǒng)架構(gòu)圖；圖2B是本發(fā)明的一實(shí)施例的系統(tǒng)架構(gòu)圖；圖2是本發(fā)明的人像特征辨識(shí)的一實(shí)施例的示意圖；圖3是本發(fā)明的人像特征辨識(shí)的一實(shí)施例的另一示意圖；圖4是本發(fā)明的聲音辨識(shí)的一實(shí)施例的示意圖；圖5是本發(fā)明的情境模板與聲音配置的一實(shí)施例的示意圖；圖6是本發(fā)明的情境模板的示意圖；圖7是本發(fā)明的情境模板的一實(shí)施例的示意圖；圖8是本發(fā)明的情境模板處理模塊的流程圖；圖9是本發(fā)明的情境模板的動(dòng)畫區(qū)段配對(duì)的示意圖；圖10是本發(fā)明的情境模板的動(dòng)畫狀態(tài)配對(duì)的示意圖；圖11是本發(fā)明的系統(tǒng)流程圖。
附圖標(biāo)記說明012特征點(diǎn)檢出模塊；013特征點(diǎn)映射模塊；014聲音分析模塊；015情境模板處理模塊；016情境模板數(shù)據(jù)庫；017動(dòng)畫產(chǎn)生模塊；0121、0122原始人像影像；0131通用臉部網(wǎng)紋資料；0141聲音輸入；0151模板選擇接口；018動(dòng)畫輸出；041、042、043、044、045聲音轉(zhuǎn)折點(diǎn)；050、051、052、05N、05N+1情境模板狀態(tài)；061動(dòng)畫區(qū)段；062動(dòng)畫狀態(tài)；063動(dòng)畫資料；091、092配對(duì)步驟；101、102配對(duì)步驟；111、112、113、114、115、116、117步驟。
具體實(shí)施例方式
請(qǐng)參閱圖1A所示的本發(fā)明的系統(tǒng)架構(gòu)圖。由圖1A可知，本發(fā)明的自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)01包括一情境選擇接口0151，用于使用者選擇情境模板；一情境模板數(shù)據(jù)庫016，用以儲(chǔ)存情境模板資料；一情境模板處理模塊015，用以處理使用者所選取的情境模板資料；及一動(dòng)畫產(chǎn)生模塊017，用以配置情境模板及人像資料完成關(guān)鍵幀(Key Frame)資料以產(chǎn)生動(dòng)畫資料。首先，本發(fā)明的自動(dòng)產(chǎn)生動(dòng)畫系統(tǒng)外部的一影像讀取單元先讀取的一原始人像影像0122，該原始人像影像0122經(jīng)讀取后，使用者可使用本發(fā)明系統(tǒng)中的一情境選擇接口0151自本發(fā)明中的一情境模板數(shù)據(jù)庫016中選擇一情境模板，爾后，該原始人像影像0122及該選取的情境模板經(jīng)由本發(fā)明的一情境模板處理模塊015的處理，最后本發(fā)明的一動(dòng)畫產(chǎn)生模塊017將進(jìn)行該情境模板及該原始人像資料的配置以產(chǎn)生關(guān)鍵幀(Key Frame)資料并產(chǎn)生動(dòng)畫資料018。
請(qǐng)?jiān)賲㈤唸D1B所示的本發(fā)明另一實(shí)施例的系統(tǒng)架構(gòu)圖。由圖1B可知，本發(fā)明的自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)01可包括一特征點(diǎn)檢出模塊(Feature DetectionModule)012、一特征點(diǎn)映射模塊(Feature Mapping Module)013、一聲音分析模塊(Voice Analysis Module)014。
首先，本發(fā)明的自動(dòng)產(chǎn)生動(dòng)畫系統(tǒng)外部的一影像讀取單元先讀取的一原始人像影像0121，該原始人像影像0121經(jīng)讀取后便輸入至本發(fā)明系統(tǒng)中的特征點(diǎn)檢出模塊012中進(jìn)行特征點(diǎn)的辨識(shí)，辨識(shí)完成后，相關(guān)的人像特征將被定位完畢。爾后，本發(fā)明中的特征點(diǎn)映射模塊(Feature Mapping Module)013利用特征點(diǎn)檢出模塊產(chǎn)生的特征點(diǎn)對(duì)一組已預(yù)先內(nèi)置的通用網(wǎng)紋(Generic Mesh)0131進(jìn)行比對(duì)調(diào)整，使其成為可進(jìn)行動(dòng)畫處理的網(wǎng)紋(mesh)資料。如圖2所示，本系統(tǒng)采用漸進(jìn)式特征點(diǎn)映射方式(Progressive Feature Mapping)，其做法為將特征點(diǎn)依據(jù)五官特性區(qū)分群組，再依精細(xì)度區(qū)分為數(shù)個(gè)等級(jí)(Level)，并建立各等級(jí)間的對(duì)應(yīng)關(guān)系。而通用網(wǎng)紋(Generic Mesh)亦有與特征點(diǎn)(Feature Point)對(duì)應(yīng)的分組，處理時(shí)特征點(diǎn)(Feature Point)即負(fù)責(zé)調(diào)整對(duì)應(yīng)的通用網(wǎng)紋(GenericMesh)。通過不斷調(diào)整運(yùn)算便可以得到正確的網(wǎng)紋輸出。上述的調(diào)整運(yùn)算，若在運(yùn)算資源充足的系統(tǒng)中執(zhí)行(如在桌上型計(jì)算機(jī))，可以利用特征點(diǎn)將完全被檢出，而得到精細(xì)的結(jié)果；而在運(yùn)算資源有限的手持式裝置上(如手機(jī)及PDA)，也可以只檢出至較低的等級(jí)，仍能得到近似的結(jié)果。在實(shí)際應(yīng)用情境中，前者可能是來自內(nèi)容供貨商所提供的預(yù)制資料，而后者則是使用者在手持設(shè)備上實(shí)時(shí)操作而得。該原始人像影像0121經(jīng)本發(fā)明特征點(diǎn)檢出模塊012及特征點(diǎn)映射模塊013的處理后產(chǎn)生的結(jié)果可如圖3所示。
本發(fā)明的聲音分析模塊014(如圖1B中所示)包含以習(xí)知技術(shù)所制作的語音辨識(shí)單元，以及分析聲音特性的特性分析單元。使用者可錄下一段語音資料并經(jīng)由本發(fā)明的聲音分析模塊014進(jìn)行語音的辨識(shí)及分析。語音分析單元將輸入的語音辨識(shí)為音標(biāo)，并包含每一個(gè)音標(biāo)發(fā)生的時(shí)間。特性分析單元?jiǎng)t是依據(jù)語音的特性，將語音分成不同特性的區(qū)段，并記錄該區(qū)段的特性資料(如聲音強(qiáng)度)及時(shí)間信息(如起始時(shí)間、聲音長度)。語音經(jīng)辨識(shí)及分析的結(jié)果可如圖4所示。如圖4所示，語音資料經(jīng)本發(fā)明中聲音分析模塊014(如圖1B中所示)辨識(shí)完畢后，共有五個(gè)聲音轉(zhuǎn)折點(diǎn)041、042、043、044及045可代表一個(gè)人在某些狀況下(如生氣、高興)時(shí)說話聲音變化的情形。
在聲音數(shù)據(jù)經(jīng)過本發(fā)明的聲音分析模塊處理切割為數(shù)個(gè)包含特性資料的聲音區(qū)間后(如圖5所示)，本發(fā)明的情境處理模塊即負(fù)責(zé)進(jìn)行聲音區(qū)間與情境模板中資料的配對(duì)(match)。
如圖6所示，情境模板資料共區(qū)分為三個(gè)主要的階層，061動(dòng)畫區(qū)段(Animation Part)、062動(dòng)畫狀態(tài)(Animation State)以及063動(dòng)畫資料(AnimationData)。動(dòng)畫區(qū)段用于表示動(dòng)畫的順序性，一個(gè)動(dòng)畫區(qū)段可能配對(duì)至一個(gè)或一個(gè)以上的聲音區(qū)間。動(dòng)畫狀態(tài)則是用于構(gòu)成所屬的動(dòng)畫區(qū)段，在該動(dòng)畫區(qū)段中一個(gè)動(dòng)畫狀態(tài)僅會(huì)對(duì)應(yīng)至一個(gè)聲音區(qū)間，但可重復(fù)出現(xiàn)，動(dòng)畫狀態(tài)中包含一索引值。動(dòng)畫資料則用于表示所屬動(dòng)畫狀態(tài)位于相對(duì)時(shí)間軸上的關(guān)鍵幀資料(KeyFrame Data)，用于產(chǎn)生可驅(qū)動(dòng)動(dòng)畫產(chǎn)生模塊的動(dòng)畫資料。請(qǐng)參考圖7，圖7中顯示了一個(gè)“喜極而泣”的情境模板的結(jié)構(gòu)。
情境模板處理模塊通過三項(xiàng)主要步驟進(jìn)行情境模板與聲音區(qū)間的配對(duì)，一是動(dòng)畫區(qū)段配對(duì)、二是動(dòng)畫狀態(tài)配對(duì)、三是動(dòng)畫資料展開，其流程如圖8所示。
動(dòng)畫區(qū)段配對(duì)是依據(jù)情境模板中動(dòng)畫區(qū)段的數(shù)量，先將生音區(qū)間做等量分割，再計(jì)算聲音區(qū)間的能量差異，的后移動(dòng)分割點(diǎn)再重新計(jì)算聲音區(qū)間的能量差異，反復(fù)運(yùn)算至取得能量最大差異為止，此時(shí)的分割點(diǎn)視為最佳的分割點(diǎn)。經(jīng)此配對(duì)處理的結(jié)果動(dòng)畫區(qū)段順序不變，且切割點(diǎn)位于最佳位置。
請(qǐng)?jiān)賲⒖紙D9，圖9說明一個(gè)”喜極而泣”的情境模板的動(dòng)畫區(qū)段配對(duì)的情形，其中含有“喜”與“泣”兩組動(dòng)畫區(qū)段，091表示經(jīng)由等量分割的配對(duì)結(jié)果，092則表示取得最佳分割后的配對(duì)結(jié)果。
動(dòng)畫狀態(tài)配對(duì)是對(duì)每一組動(dòng)畫區(qū)段中的動(dòng)畫狀態(tài)進(jìn)行處理，其目的為使動(dòng)畫區(qū)段中的每一個(gè)聲音區(qū)間均對(duì)應(yīng)至一個(gè)動(dòng)畫狀態(tài)，且動(dòng)畫狀態(tài)可重復(fù)出現(xiàn)。處理方式可依據(jù)索引、以聲音特性所分析的機(jī)率模型等方法。
請(qǐng)?jiān)賲⒖紙D10，圖10說明一組”喜極而泣”的動(dòng)畫狀態(tài)配對(duì)結(jié)果，101為配對(duì)完成的動(dòng)畫區(qū)段，102為依據(jù)索引值配對(duì)的動(dòng)畫狀態(tài)，103則為以聲音特性配合機(jī)率模型配對(duì)的動(dòng)畫狀態(tài)。
動(dòng)畫資料展開是將配對(duì)后的動(dòng)畫狀態(tài)轉(zhuǎn)換為時(shí)間軸上的動(dòng)畫關(guān)鍵幀。在情境模板中每一個(gè)動(dòng)畫狀態(tài)均包含一段位于相對(duì)時(shí)間軸上的動(dòng)畫軌(AnimationTrack)，以及一個(gè)該段動(dòng)畫是否重復(fù)的標(biāo)記，在動(dòng)畫狀態(tài)配對(duì)后，將其所表示的動(dòng)畫軌移動(dòng)至所配對(duì)的聲音區(qū)間起始時(shí)間，即可完成該段動(dòng)畫資料，并可依據(jù)該動(dòng)畫資料是否重復(fù)的標(biāo)記重復(fù)復(fù)制動(dòng)畫資料至聲音區(qū)間結(jié)束。
如前所述，本發(fā)明情境模板處理模塊(Scenario Template...)的功能在于將人像影像與語音資料做一適當(dāng)?shù)呐鋵?duì)(match)以便于產(chǎn)生動(dòng)畫，其中，情境模板(Scenario Template)是一種模板(Template)，其用于表示一種特定的臉部表情動(dòng)畫情境，其中包含動(dòng)畫區(qū)段(Animation Part)、動(dòng)畫狀態(tài)(Animation State)以及動(dòng)畫資料(Animation Data)。情境模板(Scenario Template)亦是一種利用工具預(yù)先制作的資料，可以儲(chǔ)存于本發(fā)明的情境模板數(shù)據(jù)庫(Scenario Template Database)中或一般常用的儲(chǔ)存裝置中，在經(jīng)由模板選擇接口0151選擇后于本發(fā)明的系統(tǒng)中使用。在實(shí)際的狀況中，可依據(jù)不同的應(yīng)用需求設(shè)計(jì)不同的情境模板，其數(shù)量視應(yīng)用情況而定。另外，情境模板(Scenario Template)也可以利用網(wǎng)絡(luò)(如網(wǎng)際網(wǎng)絡(luò))或其它傳輸方式(如手機(jī))下載至應(yīng)用的設(shè)備中，達(dá)成資料可擴(kuò)充的系統(tǒng)。
當(dāng)人像影像資料與語音資料經(jīng)由上述的程序處理后便輸入至本發(fā)明的動(dòng)畫產(chǎn)生模塊，產(chǎn)生最終的動(dòng)畫影像。
本發(fā)明的動(dòng)畫產(chǎn)生模塊所產(chǎn)生的動(dòng)畫資料輸出，包含關(guān)鍵幀(key frame)、以及聲音資料。因此適用于可以播放聲音且以key frame產(chǎn)生動(dòng)畫的系統(tǒng)。另外，本系統(tǒng)動(dòng)畫模塊也可以是一個(gè)2D或3D的模塊，配合聲音播放及Key frameData，產(chǎn)生動(dòng)畫輸出。
為了更進(jìn)一步了解本發(fā)明的一種聲音驅(qū)動(dòng)的自動(dòng)表情動(dòng)畫產(chǎn)生系統(tǒng)中各工作單元相互間的系統(tǒng)關(guān)系，故更進(jìn)一步介紹本發(fā)明的一種聲音驅(qū)動(dòng)的自動(dòng)表情動(dòng)畫產(chǎn)生系統(tǒng)的操作流程如下所示，請(qǐng)參閱圖11，圖11是本發(fā)明的系統(tǒng)操作流程圖。由圖11可知，首先，本發(fā)明的聲音驅(qū)動(dòng)的自動(dòng)表情動(dòng)畫產(chǎn)生系統(tǒng)可經(jīng)由外部的一影像讀取單元先讀取的一原始人像影像(步驟111)，該原始人像影像經(jīng)讀取后便輸入至本發(fā)明系統(tǒng)中的特征點(diǎn)檢出模塊(Feature DetectionModule)中進(jìn)行特征點(diǎn)的辨識(shí)(步驟112)，辨識(shí)完成后，相關(guān)的人像特征將被定位完畢。爾后，本發(fā)明中的特征點(diǎn)映射模塊(Feature Mapping Module)利用特征點(diǎn)檢出模塊產(chǎn)生的特征點(diǎn)對(duì)一組已預(yù)先內(nèi)建的通用網(wǎng)紋(Generic Mesh)資料進(jìn)行比對(duì)調(diào)整，使其成為可進(jìn)行動(dòng)畫處理的網(wǎng)紋(mesh)資料(步驟113)。
于上述原始人像影像辨識(shí)程序處理之前，之后或同時(shí)，使用者可錄下一段語音資料并經(jīng)由本發(fā)明的聲音分析模塊進(jìn)行語音的辨識(shí)及分析(步驟114)。語音分析單元將輸入的語音辨識(shí)為音標(biāo)，并包含每一個(gè)音標(biāo)發(fā)生的時(shí)間。特性分析單元是依據(jù)語音的特性，將語音分成不同特性的區(qū)段，并包含該區(qū)段的時(shí)間信息。
當(dāng)人像影像經(jīng)特征點(diǎn)檢出及特征點(diǎn)映射的處理程序處理完畢，且語音資料亦經(jīng)由聲音分析模塊的辨識(shí)及分析完畢后，處理完畢的人像影像資料及語音資料便進(jìn)一步輸入至本發(fā)明情境模板處理模塊(Scenario Template Unit)。本發(fā)明情境模板處理模塊的情境模板(Scenario Template)是一種模板(Template)，其用于表示一種特定的動(dòng)畫情境。在此程序中，使用者可以手動(dòng)或自動(dòng)的方式自情境模板數(shù)據(jù)庫中(Scenario Template Database)選取一特定的情境，被選取的情境將自動(dòng)依據(jù)辨識(shí)完畢的語音資料進(jìn)行配對(duì)(Match)的處理(步驟115)，例如，使用者可能選擇“喜極而泣”的情境，則本發(fā)明的情境模板處理模塊將自動(dòng)將語音資料中的抑揚(yáng)頓挫的聲音變化配合“喜”以及“泣”情境中臉部影像調(diào)整參數(shù)，形成聲音播放時(shí)同時(shí)具備臉部“喜極而泣”的影像變化。
當(dāng)人像影像資料與語音資料經(jīng)由上述的程序處理后便輸入至本發(fā)明的動(dòng)畫產(chǎn)生模塊(步驟116)進(jìn)行下一步的處理，并產(chǎn)生最終的動(dòng)畫影像(步驟117)。
于以上所描述的系統(tǒng)中，若忽略聲音分析模塊的聲音特性資料，則可簡化為一個(gè)僅具有三個(gè)動(dòng)畫區(qū)間的系統(tǒng)，分別為初始區(qū)間(Intro Part)、放映區(qū)間(Play Part)、結(jié)束區(qū)間(Ending Part)，并利用聲音開始以及聲音結(jié)束作為切割點(diǎn)，進(jìn)行情境模板處理模塊的區(qū)間配對(duì)。在這種簡易系統(tǒng)中，初始區(qū)間以及結(jié)束區(qū)間可僅包含一個(gè)動(dòng)畫狀態(tài)，且不重復(fù)，放映區(qū)間則為一個(gè)或數(shù)個(gè)動(dòng)畫狀態(tài)，可索引或重復(fù)配置。這樣的系統(tǒng)非常適合在有限運(yùn)算資源的系統(tǒng)，如手持式設(shè)備、行動(dòng)電話等，應(yīng)用于聲音長度較短的聲音資料。
由前述系統(tǒng)中可知，若不進(jìn)行聲音分析也可以達(dá)到隨聲音播放產(chǎn)生豐富臉部動(dòng)畫的效果，其運(yùn)作方式是以事件驅(qū)動(dòng)(Event Driven)，也就是將事件視為切割點(diǎn)，用以進(jìn)行情境模板處理模塊的區(qū)間配對(duì)。
本發(fā)明所述的參考例子是在特定領(lǐng)域中的特定實(shí)施，因此本領(lǐng)域熟練技術(shù)人員應(yīng)能明了本發(fā)明要義所在，進(jìn)行適當(dāng)、細(xì)微調(diào)整和應(yīng)用，仍將不失本發(fā)明的要義所在。本發(fā)明的范圍由所附的權(quán)利要求確定。
權(quán)利要求
1.一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)，通過聲音或事件驅(qū)動(dòng)，并依據(jù)使用者選擇的情境自動(dòng)產(chǎn)生動(dòng)畫，包括一情境選擇接口，用于使用者選擇情境模板；一情境模板數(shù)據(jù)庫，用以儲(chǔ)存情境模板資料；一情境模板處理模塊，用以配置一人像影像資料及一選取的情境模板資料；及一動(dòng)畫產(chǎn)生模塊，用以配置一人像影像資料及一選取的情境模板資料以配置關(guān)鍵幀(Key Frame)資料，并依據(jù)配置完成的關(guān)鍵幀資料以產(chǎn)生動(dòng)畫資料。
2.如權(quán)利要求1所述的一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)，還包括一特征點(diǎn)辨識(shí)模塊，用來辨識(shí)一人像影像的特征點(diǎn)；一特征點(diǎn)映射模塊，將該辨識(shí)完畢的該人像影像的特征點(diǎn)形成網(wǎng)紋資料；一聲音分析模塊，用以辨識(shí)及分析一聲音資料。
3.如權(quán)利要求2所述的一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)，其中該情境模板處理模塊可用以配置該辨識(shí)及分析完畢的聲音數(shù)據(jù)及一選取的模板資料。
4.如權(quán)利要求2所述的一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)，其中該動(dòng)畫產(chǎn)生模塊用來依據(jù)該配置完成的臉部調(diào)整參數(shù)調(diào)整網(wǎng)紋資料并配合聲音播放及嘴形資料以產(chǎn)生動(dòng)畫。
5.如權(quán)利要求2所述的一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)，該特征點(diǎn)映射模塊采用漸進(jìn)式特征點(diǎn)映射方式(Progressive Feature Mapping)，其包括以下的步驟(a)將人像影像臉部的特征點(diǎn)依據(jù)五官特性區(qū)分為不同的群組；(b)依精細(xì)度區(qū)分為數(shù)個(gè)等級(jí)(Level)，并建立各等級(jí)間的對(duì)應(yīng)關(guān)系；(c)利用該等特征點(diǎn)調(diào)整對(duì)應(yīng)的通用網(wǎng)紋(Generic Mesh)；及(d)重復(fù)步驟(a)至步驟(c)以得到正確的網(wǎng)紋輸出。
6.如權(quán)利要求1或2所述的一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)，其中該情境模板資料還包括(a)數(shù)組動(dòng)畫區(qū)段的資料，用于表示循序的動(dòng)畫；(b)數(shù)組動(dòng)畫狀態(tài)的資料，用于以索引或機(jī)率配對(duì)至聲音區(qū)間；(c)對(duì)應(yīng)于每一組動(dòng)畫狀態(tài)的動(dòng)畫資料；及(d)紀(jì)錄以上各類型資料的數(shù)據(jù)結(jié)構(gòu)，并以階層配置。
7.如權(quán)利要求1或2所述的一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)，其中該情境模板處理模塊的處理流程包括以下的步驟(a)配對(duì)情境模板資料中的動(dòng)畫區(qū)段，用以取得動(dòng)畫區(qū)段最佳分割，維持動(dòng)畫區(qū)段順序不變。(b)配對(duì)情境模板資料中的動(dòng)畫狀態(tài)，用以依據(jù)索引或機(jī)率模型配對(duì)，以組成動(dòng)畫區(qū)段。(c)展開情境模板資料中的動(dòng)畫資料，用以將各動(dòng)畫狀態(tài)所對(duì)應(yīng)的關(guān)鍵幀資料展開并輸出為結(jié)果。
8.如權(quán)利要求1或2所述的一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)，其中該情境模板為一動(dòng)態(tài)串連的臉部表情變化的情境模板。
9.如權(quán)利要求1或2所述的一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)，其中該情境模板可為一人像五官比例及相對(duì)位置變化的情境模板。
10.如權(quán)利要求1或2所述的一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)，其中該情境模板為一人像皮膚紋理質(zhì)感或影像色調(diào)、明暗變化的情境模板。
11.如權(quán)利要求1或2所述的一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)，其中該情境模板可搭配一動(dòng)態(tài)串聯(lián)的漫畫符號(hào)效果組合的情境模板。
12.一種自動(dòng)產(chǎn)生動(dòng)畫的方法，至少包含以下步驟(a)輸入及分析人像影像，并依據(jù)該影像的特征配置動(dòng)態(tài)屬性；(b)經(jīng)由一聲音分析模塊辨識(shí)及分析一聲音數(shù)據(jù)；(c)經(jīng)由一情境模板處理模塊，配對(duì)該辨識(shí)及分析完畢的聲音資料及一自情境模板數(shù)據(jù)庫中經(jīng)手動(dòng)或自動(dòng)選取的情境模板資料；(d)經(jīng)由一動(dòng)畫產(chǎn)生模塊，依據(jù)該配置完成的聲音數(shù)據(jù)及情境模板數(shù)據(jù)調(diào)整該動(dòng)態(tài)屬性以產(chǎn)生動(dòng)畫數(shù)據(jù)；及(e)輸出該動(dòng)畫資料。
13.如權(quán)利要求12中所述的一種自動(dòng)產(chǎn)生動(dòng)畫的方法，其中該動(dòng)態(tài)屬性可為網(wǎng)紋數(shù)據(jù)。
14.如權(quán)利要求12中所述的一種自動(dòng)產(chǎn)生動(dòng)畫的方法，其中，步驟(a)包括以下步驟(a1)加載一人像影像；(a2)經(jīng)由一特征點(diǎn)辨識(shí)模塊辨識(shí)及定位該人像影像的人像特征；(a3)經(jīng)由一特征點(diǎn)映射模塊將該辨識(shí)完畢的該人像影像的特征點(diǎn)形成網(wǎng)紋資料。
15.如權(quán)利要求14中所述的一種自動(dòng)產(chǎn)生動(dòng)畫的方法，其中，步驟(a3)與步驟(d)的處理順序可對(duì)調(diào)。
16.如權(quán)利要求12所述的一種自動(dòng)產(chǎn)生動(dòng)畫的方法，其中該情境模板為一動(dòng)態(tài)串連的臉部表情變化的情境模板。
17.如權(quán)利要求12所述的一種自動(dòng)產(chǎn)生動(dòng)畫的方法，其中該情境模板為人像五官比例及相對(duì)位置變化的情境模板。
18.如權(quán)利要求12所述的一種自動(dòng)產(chǎn)生動(dòng)畫的方法，其中該情境模板為人像皮膚紋理質(zhì)感或影像色調(diào)、明暗變化的情境模板。
19.如權(quán)利要求12所述的一種聲音驅(qū)動(dòng)的自動(dòng)表情動(dòng)畫產(chǎn)生的方法，其中該情境模板為動(dòng)態(tài)串聯(lián)的漫畫符號(hào)效果組合的情境模板。
全文摘要
本發(fā)明公開了一種自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)與方法，特別是一種通過聲音分析配置臉部表情變化以自動(dòng)產(chǎn)生動(dòng)畫的系統(tǒng)與方法，通過分析聲音變化的資料自動(dòng)配合儲(chǔ)存于一情境模板數(shù)據(jù)庫中的臉部表情調(diào)整參數(shù)，將一臉部表情隨時(shí)間軸加以調(diào)整以自動(dòng)產(chǎn)生具備聲音及表情變化動(dòng)畫效果，該情境模板數(shù)據(jù)庫包含數(shù)筆臉部表情調(diào)整參數(shù)，通過不同臉部表情調(diào)整參數(shù)的排列組合可產(chǎn)生不同的表情變化情境，再配合聲音起伏轉(zhuǎn)折的變化，可自動(dòng)產(chǎn)生豐富多變的動(dòng)畫效果。
文檔編號(hào)G06T15/70GK1710613SQ200410048270
公開日2005年12月21日 申請(qǐng)日期2004年6月16日 優(yōu)先權(quán)日2004年6月16日
發(fā)明者盧澤人 申請(qǐng)人:甲尚股份有限公司