一種實(shí)時(shí)的人臉變形方法及其系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本公開設(shè)及計(jì)算機(jī)圖形圖像處理領(lǐng)域，特別是一種實(shí)時(shí)的人臉變形方法及其系 統(tǒng)。
【背景技術(shù)】
[0002] 隨著科技的發(fā)展，硬件設(shè)備的性能提升和圖像處理技術(shù)的增強(qiáng)，使得很多攝像頭 設(shè)備可W自身進(jìn)行圖像處理，而其中一些圖像處理可W產(chǎn)生哈哈鏡的效果，但是當(dāng)前運(yùn)類 處理都是基于靜態(tài)圖片，不能對(duì)視頻進(jìn)行實(shí)時(shí)處理，且大多存在圖片中變化區(qū)域和不變區(qū) 域的連接不自然的問題，使得處理后的圖像整體效果不自然。

【發(fā)明內(nèi)容】

[0003] 針對(duì)上述部分問題，本公開提供了一種實(shí)時(shí)的人臉變形方法及系統(tǒng)，所述方法能 夠?qū)?shí)時(shí)視頻中的人臉進(jìn)行變形處理，并且處理后的人臉圖像整體效果自然。所述系統(tǒng)基 于所述方法實(shí)現(xiàn)，方便方法的應(yīng)用。
[0004] 提供了一種實(shí)時(shí)的人臉變形方法，所述方法包括下述步驟：
[0005] S100、檢測圖像中的人臉，通過自動(dòng)識(shí)別方式確定要提取的特征點(diǎn)的數(shù)量；
[0006] S200、將檢測的圖像作為級(jí)聯(lián)回歸模型的輸入，獲取人臉特征點(diǎn)；
[0007] S300、確定多個(gè)要變形五官的特征點(diǎn)，基于確定的特征點(diǎn)及其影響半徑，在各個(gè)變 形五官的影響半徑不完全相同的情況下，計(jì)算受變形影響的每個(gè)像素點(diǎn)的新位置和新灰度 值；
[000引S400、利用步驟S300中計(jì)算得到的每個(gè)像素點(diǎn)的新位置和新灰度值更新圖像上相 關(guān)的像素點(diǎn)。
[0009] 基于所述方法，實(shí)現(xiàn)了一種實(shí)時(shí)的人臉變形系統(tǒng)，所述系統(tǒng)包括下述模塊：
[0010] M100、人臉檢測模塊:檢測圖像中的人臉，通過自動(dòng)識(shí)別方式確定要提取的特征點(diǎn) 的數(shù)量；
[0011] M200、人臉特征點(diǎn)提取模塊:將檢測的圖像作為級(jí)聯(lián)回歸模型的輸入，獲取人臉特 征點(diǎn)；
[0012] M300、變形模塊：確定多個(gè)要變形五官的特征點(diǎn)，基于確定的特征點(diǎn)及其影響半 徑，在各個(gè)變形五官的影響半徑不完全相同的情況下，計(jì)算受變形影響的每個(gè)像素點(diǎn)的新 位置和新灰度值；
[0013] M400、圖像更新模塊:利用M300中計(jì)算得到的每個(gè)像素點(diǎn)的新位置和新灰度值更 新圖像上相關(guān)的像素點(diǎn)。
【附圖說明】
[0014] 圖1本公開一個(gè)實(shí)施例中的方法流程示意圖；
[0015] 圖2本公開一個(gè)實(shí)施例中使用OpenGL GPU進(jìn)行擅染的原理示意圖。
【具體實(shí)施方式】
[0016] 在一個(gè)基礎(chǔ)的實(shí)施例中，提供了一種實(shí)時(shí)的人臉變形方法，所述方法包括下述步 驟，如圖1所示：
[0017] S100、檢測圖像中的人臉，通過自動(dòng)識(shí)別方式確定要提取的特征點(diǎn)的數(shù)量；
[0018] S200、將檢測的圖像作為級(jí)聯(lián)回歸模型的輸入，獲取人臉特征點(diǎn)；
[0019] S300、確定多個(gè)要變形五官的特征點(diǎn)，基于確定的特征點(diǎn)及其影響半徑，在各個(gè)變 形五官的影響半徑不完全相同的情況下，計(jì)算受變形影響的每個(gè)像素點(diǎn)的新位置和新灰度 值；
[0020] S400、利用步驟S300中計(jì)算得到的每個(gè)像素點(diǎn)的新位置和新灰度值更新圖像上相 關(guān)的像素點(diǎn)。
[0021] 在運(yùn)個(gè)實(shí)施例中，采用上述方法可W對(duì)實(shí)時(shí)視頻中的人臉進(jìn)行變形處理，并且處 理后的人臉圖像整體效果自然。若處理的圖像來自視頻，可實(shí)時(shí)播放，因此可應(yīng)用于手機(jī)、 平板、帶攝像頭的廣告機(jī)、帶攝像頭的電腦等場合。
[0022] 在通過攝像頭拍攝獲得人臉后，檢測人臉，并對(duì)人臉進(jìn)行跟蹤，對(duì)體現(xiàn)五官、人臉 輪廓的特征點(diǎn)進(jìn)行提取，所述特征點(diǎn)的數(shù)量可W是21點(diǎn)，106點(diǎn)，或者是196點(diǎn)。在提取到特 征點(diǎn)后，可W基于多個(gè)要變形的五官的特征點(diǎn)，按照不同影響半徑，計(jì)算變形區(qū)域像素點(diǎn)的 幾何位置變化，制作出一些變形效果，比如五官的放大縮小，臉型正反S角，方形圓形，嘴角 上揚(yáng)下垂等等，類似哈哈鏡，可W變成獨(dú)眼龍、始膜嘴，大方臉，大鼻子，等等搞笑的結(jié)果。攝 像機(jī)拍攝的同時(shí)，就對(duì)屏幕上的視頻作出效果，完全實(shí)時(shí)。
[0023] 運(yùn)里的變形是指在人臉圖像的一小部分區(qū)域內(nèi)做變形，只改變某些范圍的特征， 但是保持其它區(qū)域不發(fā)生變化。在現(xiàn)有技術(shù)中常用的變形方法有:基于網(wǎng)格的變形，即在圖 像上嵌入一張網(wǎng)格，通過改變網(wǎng)格的形狀實(shí)現(xiàn)圖像變形，包括后續(xù)發(fā)展出的自由變形(FFD) 和建立網(wǎng)格的層次結(jié)構(gòu)等;基于特征線的變形，如Beier和化ely等人提出的根據(jù)像素點(diǎn)相 對(duì)于圖像中一系列線段的位置而決定變形的方法;基于散亂點(diǎn)插值的變形，即在圖像上指 定一系列點(diǎn)后，用徑向基函數(shù)方法完成指定點(diǎn)對(duì)的插值。對(duì)后一個(gè)問題，主要使用插值技術(shù) 來解決，包括=次卷積、S inc函數(shù)、線性函數(shù)和=次B樣條等。
[0024] 優(yōu)選的，所述步驟S300中新灰度值計(jì)算使用雙線性插值進(jìn)行求解，可使變形自然。 設(shè)(x，y)的4個(gè)最鄰近像素為A，B，C，D，它們的坐標(biāo)分別為（i，j)，（i+l，j)，（i，j+l)，（i+l，j+ 1)，它們的灰度值分別為g(A)，g(B)，g(C)，g(D)，則插值點(diǎn)(x，y)的灰度值為：
[0025] G(x,y) = (x-i){(y-j)[g(D)-g(B)]+g(B)-(y-j)[g(C)-g(A)]-g(A)}
[00%] +(y-j)[g(C)-g(A)]-g(A)
[0027]可選的，所述步驟S400中更新使用化en化GPU對(duì)視頻帖圖像進(jìn)行擅染，加快圖像 更新。使用化en化GPU可W能夠幫助得到更加流楊的界面體驗(yàn)，其處理過程如圖2所示:像 素和頂點(diǎn)數(shù)據(jù)可W選擇存儲(chǔ)在顯示列表中，我們可W把顯示列表看成是存儲(chǔ)數(shù)據(jù)的媒介， 用于加速擅染速度。頂點(diǎn)數(shù)據(jù)經(jīng)過求值器，產(chǎn)生法向量、紋理坐標(biāo)、點(diǎn)的空間坐標(biāo)等，通過頂 點(diǎn)操作和圖元裝配，生成相應(yīng)的像素信息，進(jìn)行光柵化處理，光柵化是把幾何和像素?cái)?shù)據(jù)轉(zhuǎn) 化成片段，每個(gè)片段塊對(duì)應(yīng)帖緩沖區(qū)中的一個(gè)像素。其中，頂點(diǎn)操作和圖元裝配中又可W細(xì) 分出一條擅染管線，運(yùn)里稱為頂點(diǎn)處理管線。在光柵化完成后，還可W根據(jù)命令，對(duì)每個(gè)像 素進(jìn)行處理，最后寫入帖緩沖區(qū)內(nèi)。
[0028] 優(yōu)選的，所述自動(dòng)識(shí)別方式根據(jù)檢測到的人臉區(qū)域的清晰度來確定要采集的特征 點(diǎn)的數(shù)量，W滿足實(shí)時(shí)性的要求。更優(yōu)地，所述人臉區(qū)域的清晰度通過采用圖像模糊檢測方 法來度量。本申請(qǐng)不限制具體的方法，可W采用現(xiàn)有技術(shù)中的適當(dāng)圖像模糊檢測方法。
[0029] 可選的，所述自動(dòng)識(shí)別方式考慮實(shí)施本公開方法的硬件性能確定，W滿足實(shí)時(shí)性 的要求。
[0030] 在一個(gè)實(shí)施例中，所述步驟Sioo在檢測到圖像中的人臉之后，還包括進(jìn)行跟蹤檢 測;所述跟蹤檢測，用于判斷當(dāng)前檢測到的人臉是否與先前檢測到的人臉相同。
[0031] 優(yōu)選的，所述步驟S300在跟蹤檢測到相同人臉時(shí)，利用之前已提取的同一人臉的 特征點(diǎn)結(jié)合當(dāng)前人臉角度進(jìn)行特征點(diǎn)匹配。對(duì)同一人臉提高人臉特征提取速度，W保證人 臉變形的呈現(xiàn)實(shí)時(shí)流楊。
[0032] 可選的，所述跟蹤檢測的步驟包括：
[0033] S311、計(jì)算當(dāng)前檢測到人臉的人臉區(qū)域與先前檢測到人臉的人臉區(qū)域的面積重合 度；
[0034] S312、若所述面積重合度大于指定闊值，則認(rèn)為當(dāng)前檢測到人臉與先前檢測到的 人臉相同。
[0035] 在一個(gè)實(shí)施例中，所述步驟S300中的級(jí)聯(lián)回歸模型包括N個(gè)回歸器，每個(gè)回歸器上 的參數(shù)矩陣Wi需滿下列要求：
[0036]
[0037] 其中；
[0038] K是輸入的人臉圖片樣本數(shù)目；
[0039] Xj是標(biāo)定第j張人臉圖片樣本中的人臉形狀；
[0040] 乂是第j張人臉圖片樣本經(jīng)過第i個(gè)回歸器后的人臉形狀；
[0041] 與i是在人臉形狀?下的SURF特征；
[0042] A是正則化參數(shù)。
[0043] 所述SURF特征采用SURF算子提取，具有速度快，穩(wěn)定性好的特點(diǎn)。所述回歸器能夠 防止人臉形狀過渡擬合匹配;通過多個(gè)回歸器級(jí)聯(lián)使用可W減少匹配時(shí)的偏差。優(yōu)選的，A 取值0.1。
[0044] 優(yōu)選的，所述級(jí)聯(lián)回歸模型通過下述步驟進(jìn)行訓(xùn)練：
[0045] S301、采集大量人臉圖片樣本數(shù)據(jù)，并對(duì)人臉圖片進(jìn)行人工特征點(diǎn)標(biāo)記，所標(biāo)記的 特征點(diǎn)包括眼球中屯、點(diǎn)、眼角、鼻尖、嘴角9個(gè)特征點(diǎn)；
[0046] S302、根據(jù)標(biāo)記的眼球中屯、點(diǎn)、眼角、鼻尖、嘴角9個(gè)特征點(diǎn)評(píng)估圖片中的人臉角 度；
[0047] S303、根據(jù)人臉角度范圍判別正臉樣本、左側(cè)臉樣本、右側(cè)臉樣本；
[004引S304、將屬于同一類型的樣本作為級(jí)聯(lián)回歸模型的輸入進(jìn)行訓(xùn)練，分別獲得正臉 級(jí)聯(lián)回歸模型、左側(cè)臉級(jí)聯(lián)回歸模型W及右側(cè)臉級(jí)聯(lián)回歸模型。
[0049] 在一個(gè)實(shí)施例中，基于所述方法，實(shí)現(xiàn)了一種實(shí)時(shí)的人臉變形系統(tǒng)，其特征在于， 所述系統(tǒng)包括下述模塊：
[0050] M100、人臉檢測模塊:檢測圖像中的人臉，通過自動(dòng)識(shí)別方式確定要提取的特征點(diǎn) 的數(shù)量；
[0051] M200、人臉特征點(diǎn)提取模塊:將檢測的圖像作為級(jí)聯(lián)回歸模型的輸入，獲取人臉特 征點(diǎn)；
[0052] M300、變形模塊：確定多個(gè)要變形五官的特征點(diǎn)，基于確定的特征點(diǎn)及其影響半 徑，在各個(gè)變形五官的影響半徑不完全相同的情況下，計(jì)算受變形影響的每個(gè)像素點(diǎn)的新 位置和新灰度值；
[0053] M400、圖像更新模塊:利用M300中計(jì)算得到的每個(gè)像素點(diǎn)的新位置和新灰度值更 新圖像上相關(guān)的像素點(diǎn)。
[0054] 在運(yùn)個(gè)實(shí)施例中，所述系統(tǒng)可W對(duì)實(shí)時(shí)視頻中的人臉進(jìn)行變形處理，并且處理后 的人臉圖像整體效果自然。若處理的圖像來自視頻，可實(shí)時(shí)播放，因此可應(yīng)用于手機(jī)、平板、 帶攝