一種圖像處理方法及裝置的制造方法
【專(zhuān)利摘要】本發(fā)明實(shí)施例提供了一種圖像處理方法及裝置，當(dāng)系統(tǒng)接收到虛擬道具素材映射指令后，對(duì)當(dāng)前視頻碼流中目標(biāo)面部所處的區(qū)域進(jìn)行捕捉，獲得目標(biāo)面部；對(duì)目標(biāo)面部區(qū)域進(jìn)行標(biāo)記，生成多個(gè)目標(biāo)標(biāo)記點(diǎn)，并獲得目標(biāo)標(biāo)記點(diǎn)對(duì)應(yīng)的坐標(biāo)；根據(jù)目標(biāo)標(biāo)記點(diǎn)坐標(biāo)和標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)，計(jì)算出視角仿射變換矩陣；再根據(jù)視角仿射變換矩陣和標(biāo)準(zhǔn)虛擬道具素材及其對(duì)應(yīng)坐標(biāo)，計(jì)算出目標(biāo)虛擬道具素材及其對(duì)應(yīng)于目標(biāo)面部的坐標(biāo)；將目標(biāo)虛擬道具素材映射到當(dāng)前視頻碼流中，完成目標(biāo)虛擬道具的映射。應(yīng)用本發(fā)明實(shí)施例，能夠提高對(duì)直播視頻進(jìn)行虛擬道具穿戴時(shí)的虛擬道具與對(duì)應(yīng)部位的疊加準(zhǔn)確性，進(jìn)而提高用戶體驗(yàn)。
【專(zhuān)利說(shuō)明】
一種圖像處理方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種圖像處理方法及裝置。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)科技的飛速發(fā)展以及互聯(lián)網(wǎng)網(wǎng)速的大幅提升，互聯(lián)網(wǎng)視頻直播隨之興 起?；ヂ?lián)網(wǎng)視頻直播與傳統(tǒng)的廣播電視視頻直播不同，在互聯(lián)網(wǎng)視頻直播過(guò)程中，通過(guò)互聯(lián) 網(wǎng)能接受到用戶反饋的信息并加載到信息源中，提高了視頻直播的觀賞性和互動(dòng)性，因此 互聯(lián)網(wǎng)視頻直播已被人們廣泛的接受和喜愛(ài)。
[0003] 目前，互聯(lián)網(wǎng)視頻直播多采用虛擬道具作為視頻直播互動(dòng)的載體，在進(jìn)行視頻直 播時(shí)，通過(guò)客戶端向服務(wù)器發(fā)送穿戴虛擬道具的指令，服務(wù)器接收到指令后，根據(jù)接收到的 指令將預(yù)設(shè)的標(biāo)準(zhǔn)虛擬道具直接通過(guò)圖像合成的方式疊加到原始視頻中，使觀看者能夠觀 看到完成虛擬道具穿戴后的視頻。但是，由于不同用戶在進(jìn)行視頻直播時(shí)其特征部位也是 不同的，又由于在視頻直播的過(guò)程中，視頻拍攝的角度也是不斷變化的，因此，在對(duì)直播視 頻進(jìn)行虛擬道具穿戴時(shí)，虛擬道具很難準(zhǔn)確地與對(duì)應(yīng)特征部位疊加，用戶體驗(yàn)不高。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明實(shí)施例公開(kāi)了一種圖像處理方法及裝置，以提高對(duì)直播視頻進(jìn)行虛擬道具 穿戴時(shí)的虛擬道具與對(duì)應(yīng)部位的疊加準(zhǔn)確性，進(jìn)而提高用戶體驗(yàn)。
[0005] 為例達(dá)到上述目的，本發(fā)明實(shí)施例提供了一種圖像處理方法，應(yīng)用于視頻直播系 統(tǒng)，所述方法包括：
[0006] 接收到虛擬道具素材映射指令后，對(duì)當(dāng)前視頻碼流中目標(biāo)面部所處的區(qū)域進(jìn)行捕 捉，獲得目標(biāo)面部；
[0007] 對(duì)所述目標(biāo)面部進(jìn)行標(biāo)記，生成預(yù)設(shè)數(shù)量的目標(biāo)面部標(biāo)記點(diǎn)，并確定所述目標(biāo)面 部標(biāo)記點(diǎn)所對(duì)應(yīng)的目標(biāo)標(biāo)記點(diǎn)坐標(biāo)；
[0008] 根據(jù)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)和預(yù)設(shè)的關(guān)于標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)，對(duì)目標(biāo)標(biāo)記 點(diǎn)坐標(biāo)與標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)之間的變換關(guān)系進(jìn)行計(jì)算，獲得視角仿射變換矩陣；
[0009] 根據(jù)所述視角仿射變換矩陣、所述虛擬道具素材映射指令所對(duì)應(yīng)的標(biāo)準(zhǔn)虛擬道具 素材和所述標(biāo)準(zhǔn)虛擬道具素材所對(duì)應(yīng)標(biāo)準(zhǔn)面部的坐標(biāo)，確定所述虛擬道具素材映射指令所 對(duì)應(yīng)的目標(biāo)虛擬道具素材以及所述目標(biāo)虛擬道具素材所對(duì)應(yīng)目標(biāo)面部的坐標(biāo)；
[0010] 基于所述目標(biāo)面部坐標(biāo)，將所述目標(biāo)虛擬道具素材映射到當(dāng)前視頻碼流中，完成 所述目標(biāo)虛擬道具素材的映射。
[0011]可選的，所述對(duì)當(dāng)前視頻碼流中目標(biāo)面部所處的區(qū)域進(jìn)行捕捉，獲得目標(biāo)面部，包 括：
[0012] 對(duì)當(dāng)前視頻碼流中目標(biāo)面部所處區(qū)域的像素點(diǎn)顏色特征進(jìn)行識(shí)別，獲得目標(biāo)面 部。
[0013] 可選的，所述對(duì)所述目標(biāo)面部進(jìn)行標(biāo)記，包括：
[0014] 對(duì)所述目標(biāo)面部中特征部位上的像素點(diǎn)進(jìn)行標(biāo)記，所述特征部位包含與所述標(biāo)準(zhǔn) 虛擬道具素材對(duì)應(yīng)的部位。
[0015] 可選的，所述根據(jù)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)和預(yù)設(shè)的關(guān)于標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐 標(biāo)，對(duì)目標(biāo)標(biāo)記點(diǎn)坐標(biāo)與標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)之間的變換關(guān)系進(jìn)行計(jì)算，獲得視角 仿射變換矩陣，包括：
[0016] 建立所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程;所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式 為:qi= = 1，2,...，n)，式中，η為目標(biāo)面部標(biāo)記點(diǎn)的總個(gè)數(shù)；
[0017] 建立所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程;所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐 標(biāo)的齊次方程表達(dá)式為:Pi= [Xi，yi，l]T(i = l，2,.. .，η)，式中，η為標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn) 的總個(gè)數(shù)，且所述目標(biāo)面部標(biāo)記點(diǎn)的總個(gè)數(shù)與所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)的總個(gè)數(shù)相同；
[0018] 對(duì)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程與標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程之 間的變換關(guān)系進(jìn)行計(jì)算，獲得視角仿射變換矩陣。
[0019] 可選的，所述對(duì)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程與標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的 齊次方程之間的變換關(guān)系進(jìn)行計(jì)算，獲得視角仿射變換矩陣，包括：
[0020] 令所述視角仿射變換矩陣
^ljHpi = qi(i = l，2, · · ·，η)，得
[0021] 對(duì)所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式進(jìn)行轉(zhuǎn)化，得到標(biāo)準(zhǔn)面部的 標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣
對(duì)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表 達(dá)式進(jìn)行轉(zhuǎn)化，得到目標(biāo)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣Βι?χ、，y、，...，Χ'η η] Τ;對(duì)視角仿射變換 矩陣進(jìn)行轉(zhuǎn)化，得到視角仿射變換矩陣的轉(zhuǎn)化矩陣X = [3，13，0，(1，6，；^1';其中4乂=8;
[0022] 對(duì)所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣Α求偽逆矩陣Α+，得Χ = Α+Β，進(jìn)而求得 視角仿射變換矩陣Η。
[0023]為了達(dá)到上述目的，本發(fā)明實(shí)施例還提供了一種圖像處理裝置，應(yīng)用于視頻直播 系統(tǒng)，所述裝置包括：
[0024] 目標(biāo)面部獲得模塊，用于在接收到虛擬道具素材映射指令后，對(duì)當(dāng)前視頻碼流中 目標(biāo)面部所處的區(qū)域進(jìn)行捕捉，獲得目標(biāo)面部；
[0025] 目標(biāo)標(biāo)記點(diǎn)坐標(biāo)獲得模塊，用于對(duì)所述目標(biāo)面部進(jìn)行標(biāo)記，生成預(yù)設(shè)數(shù)量的目標(biāo) 面部標(biāo)記點(diǎn)，并確定所述目標(biāo)面部標(biāo)記點(diǎn)所對(duì)應(yīng)的目標(biāo)標(biāo)記點(diǎn)坐標(biāo)；
[0026] 視角仿射變換矩陣計(jì)算模塊，用于根據(jù)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)和預(yù)設(shè)的關(guān)于標(biāo)準(zhǔn)面 部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)，對(duì)目標(biāo)標(biāo)記點(diǎn)坐標(biāo)與標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)之間的變換關(guān)系進(jìn) 行計(jì)算，獲得視角仿射變換矩陣；
[0027] 目標(biāo)虛擬道具素材確定模塊，用于根據(jù)所述視角仿射變換矩陣、所述虛擬道具素 材映射指令所對(duì)應(yīng)的標(biāo)準(zhǔn)虛擬道具素材和所述標(biāo)準(zhǔn)虛擬道具素材所對(duì)應(yīng)標(biāo)準(zhǔn)面部的坐標(biāo)， 確定所述虛擬道具素材映射指令所對(duì)應(yīng)的目標(biāo)虛擬道具素材以及所述目標(biāo)虛擬道具素材 所對(duì)應(yīng)目標(biāo)面部的坐標(biāo)；
[0028] 圖像合成模塊，用于將所述目標(biāo)虛擬道具素材映射到當(dāng)前視頻碼流中，完成所述 目標(biāo)虛擬道具素材的映射。
[0029] 可選的，所述目標(biāo)面部獲得模塊，包括：
[0030]目標(biāo)面部獲得子模塊，用于在接收到虛擬道具素材映射指令后，對(duì)當(dāng)前視頻碼流 中目標(biāo)面部所處區(qū)域的像素點(diǎn)特征進(jìn)行識(shí)別，獲得目標(biāo)面部。
[0031 ]可選的，所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)獲得模塊，包括：
[0032] 特征部位標(biāo)記點(diǎn)獲得子模塊，用于對(duì)所述目標(biāo)面部中特征部位上的像素點(diǎn)進(jìn)行標(biāo) 記，所述特征部位包含與所述標(biāo)準(zhǔn)虛擬道具素材對(duì)應(yīng)的部位。
[0033] 可選的，所述視角仿射變換矩陣計(jì)算模塊，包括：
[0034] 第一齊次方程建立子模塊，用于建立所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程;所述目標(biāo) 標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式為:qi=IV i，/ i，l]T(i = l，2, . . .，n)，式中，η為目標(biāo)面部標(biāo) 記點(diǎn)的總個(gè)數(shù)；
[0035] 第二齊次方程建立子模塊，用于建立所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方 程;所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式為$1 = [11，71，1]1'(1 = 1，2，...， η)，式中，η為標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)的總個(gè)數(shù)，且所述目標(biāo)面部標(biāo)記點(diǎn)的總個(gè)數(shù)與所述標(biāo) 準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)的總個(gè)數(shù)相同；
[0036] 視角仿射變換矩陣計(jì)算子模塊，用于對(duì)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程與標(biāo)準(zhǔn)面 部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程之間的變換關(guān)系進(jìn)行計(jì)算，獲得視角仿射變換矩陣。
[0037] 可選的，所述視角仿射變換矩陣計(jì)算子模塊，包括：
[0038] 視覺(jué)仿射變換矩陣建立單元，用于建立視角仿射變換矩陣 ，則 Hpi = qi(i = l，2, · · ·，η)
[0039] 轉(zhuǎn)化矩陣獲得單元，用于對(duì)所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式進(jìn) 行轉(zhuǎn)化，得到標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣
；對(duì)所述目標(biāo)標(biāo) 記點(diǎn)坐標(biāo)的齊次方程表達(dá)式進(jìn)行轉(zhuǎn)化，得到目標(biāo)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣Β= [X7 by' 1，...，χ 視角仿射變換矩陣進(jìn)行轉(zhuǎn)化，得到視角仿射變換矩陣的轉(zhuǎn)化矩陣X=[a，b，c，d， e，f]T;其中 AX = B;
[0040] 視覺(jué)仿射變換矩陣計(jì)算單元，用于對(duì)所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣A 求偽逆矩陣A+，得X = A+B，進(jìn)而求得視角仿射變換矩陣Η。
[0041] 本發(fā)明實(shí)施例提供了一種圖像處理方法及裝置，當(dāng)系統(tǒng)接收到虛擬道具素材映射 指令后，對(duì)當(dāng)前視頻碼流中目標(biāo)面部所處的區(qū)域進(jìn)行捕捉，獲得目標(biāo)面部;對(duì)目標(biāo)面部區(qū)域 進(jìn)行標(biāo)記，生成多個(gè)目標(biāo)標(biāo)記點(diǎn)，并獲得目標(biāo)標(biāo)記點(diǎn)對(duì)應(yīng)的坐標(biāo);根據(jù)目標(biāo)標(biāo)記點(diǎn)坐標(biāo)和標(biāo) 準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)，計(jì)算出視角仿射變換矩陣;再根據(jù)視角仿射變換矩陣和標(biāo)準(zhǔn)虛 擬道具素材及其對(duì)應(yīng)坐標(biāo)，計(jì)算出目標(biāo)虛擬道具素材及其對(duì)應(yīng)于目標(biāo)面部的坐標(biāo);將目標(biāo) 虛擬道具素材映射到當(dāng)前視頻碼流中，完成目標(biāo)虛擬道具的映射。應(yīng)用本發(fā)明實(shí)施例，由于 針對(duì)于視頻碼流中的目標(biāo)面部來(lái)確定虛擬道具素材映射指令所對(duì)應(yīng)的目標(biāo)虛擬道具素材 以及該目標(biāo)虛擬道具素材所對(duì)應(yīng)目標(biāo)面部的坐標(biāo)，并非簡(jiǎn)單將虛擬道具素材映射指令所對(duì) 應(yīng)的標(biāo)準(zhǔn)虛擬道具素材直接疊加到視頻碼流中，因此，能夠提高對(duì)直播視頻進(jìn)行虛擬道具 穿戴時(shí)的虛擬道具與對(duì)應(yīng)部位的疊加準(zhǔn)確性，進(jìn)而提高用戶體驗(yàn)。
【附圖說(shuō)明】
[0042]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0043]圖1為本發(fā)明實(shí)施例提供的一種圖像處理方法的流程示意圖；
[0044] 圖2為本發(fā)明實(shí)施例提供的一種具體數(shù)量個(gè)目標(biāo)標(biāo)記點(diǎn)的參考圖；
[0045] 圖3為本發(fā)明實(shí)施例提供的四種具體的獲得目標(biāo)虛擬道具素材示意圖；
[0046] 圖4為本發(fā)明實(shí)施例提供的目標(biāo)虛擬道具素材映射到直播者面部后的圖像；
[0047]圖5為本發(fā)明實(shí)施例提供的一種圖像處理裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0048] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；?本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0049] 圖1為本發(fā)明實(shí)施例提供的一種圖像處理方法流程示意圖，應(yīng)用于視頻直播系統(tǒng)， 方法可以包括步驟：
[0050] S100:接收到虛擬道具素材映射指令后，對(duì)當(dāng)前視頻碼流中目標(biāo)面部所處的區(qū)域 進(jìn)行捕捉，獲得目標(biāo)面部；
[0051] 可知的是，視頻直播系統(tǒng)獲得攝像頭所采集的關(guān)于直播者的視頻碼流，并接收訪 問(wèn)用戶對(duì)視頻碼流的訪問(wèn)。可以理解的是，在直播者進(jìn)行視頻直播的時(shí)候，直播畫(huà)面的背景 一般都是不變或者說(shuō)是靜止的，在整個(gè)的視頻碼流中只有直播者的面部在變化，因此，可以 很容易的通過(guò)當(dāng)前視頻碼流對(duì)直播者的面部進(jìn)行識(shí)別。本領(lǐng)域技術(shù)人員可以理解的是，視 頻碼流實(shí)際上是動(dòng)態(tài)的直播圖像，一幅圖像是由大量的像素點(diǎn)構(gòu)成，且每個(gè)像素點(diǎn)都有對(duì) 應(yīng)的顏色。
[0052] 當(dāng)視頻直播系統(tǒng)接收到虛擬道具素材映射指令后，對(duì)當(dāng)前視頻碼流中目標(biāo)面部所 處區(qū)域的像素點(diǎn)特征進(jìn)行識(shí)別，獲得目標(biāo)面部，例如:視頻直播系統(tǒng)在接收到頭冠、腮紅、目艮 睛以及胡子所對(duì)應(yīng)的虛擬道具素材映射指令后，由于人的面部區(qū)域的像素分布具有相對(duì)固 定的特征，即便直播者在視頻流中所呈現(xiàn)的面部的姿態(tài)、大小、位置等都是不相同的，卻依 舊可以通過(guò)識(shí)別這些特征來(lái)識(shí)別直播者的面部，也就是所說(shuō)的目標(biāo)面部，即虛擬道具素材 將要佩戴的面部。值得強(qiáng)調(diào)的是，本發(fā)明實(shí)施例中視頻直播系統(tǒng)所接收到的虛擬道具素材 映射指令還可以有很多種，比如，眉毛、鼻子、耳機(jī)等所對(duì)應(yīng)的虛擬道具素材映射指令，并且 視頻直播系統(tǒng)所接收到的虛擬道具素材個(gè)數(shù)以及順序也可以為多種形式，本發(fā)明實(shí)施例不 對(duì)視頻直播系統(tǒng)所接收到的虛擬道具素材映射指令形式、個(gè)數(shù)以及順序做進(jìn)一步限定。
[0053]除此之外，視頻直播系統(tǒng)在接收到虛擬道具素材映射指令后，對(duì)當(dāng)前視頻流中的 每一幅直播圖像中的所有子圖像塊進(jìn)行分析，進(jìn)而識(shí)別出目標(biāo)面部，可以理解的是，對(duì)于每 一幅直播圖像而言，可以根據(jù)現(xiàn)有圖像分割方法來(lái)將其劃分多個(gè)子圖像，進(jìn)而基于子圖像 來(lái)識(shí)別面部;其中，由于實(shí)際應(yīng)用中對(duì)目標(biāo)面部的識(shí)別方式多樣，這里就不一一列舉，因此， 本申請(qǐng)也不對(duì)目標(biāo)面部獲得的方式做明確限定。
[0054] S200:對(duì)所述目標(biāo)面部進(jìn)行標(biāo)記，生成預(yù)設(shè)數(shù)量的目標(biāo)面部標(biāo)記點(diǎn)，并確定所述目 標(biāo)面部標(biāo)記點(diǎn)所對(duì)應(yīng)的目標(biāo)標(biāo)記點(diǎn)坐標(biāo)；
[0055] 實(shí)際中，當(dāng)視頻直播系統(tǒng)確定當(dāng)前視頻碼流中的目標(biāo)面部后，將根據(jù)目標(biāo)面部的 特征進(jìn)一步的對(duì)目標(biāo)面部進(jìn)行像素點(diǎn)提取，所提取的像素點(diǎn)將作為目標(biāo)面部標(biāo)記點(diǎn)，例如， 本實(shí)施例中，在視頻直播系統(tǒng)確定當(dāng)前視頻碼流中的目標(biāo)面部后，對(duì)目標(biāo)面部的輪廓及五 官進(jìn)行像素點(diǎn)的提取，選取68個(gè)像素點(diǎn)，這68個(gè)被提取的像素點(diǎn)作為目標(biāo)面部的標(biāo)記點(diǎn)，如 圖2中所示人臉面部標(biāo)記點(diǎn)，為了更加準(zhǔn)確的標(biāo)記目標(biāo)面部，選取的像素點(diǎn)在目標(biāo)面部的分 布盡可能均勻，同時(shí)，為了緩解數(shù)據(jù)計(jì)算壓力，通常情況下，在保證能夠準(zhǔn)確的標(biāo)記目標(biāo)面 部的情況下，選取的像素點(diǎn)個(gè)數(shù)越少越好，所以，本發(fā)明實(shí)施例對(duì)目標(biāo)面部標(biāo)記點(diǎn)的分布以 及目標(biāo)面部標(biāo)記點(diǎn)的個(gè)數(shù)不做具體的限定。
[0056] 對(duì)獲得的68個(gè)目標(biāo)面部標(biāo)記點(diǎn)分別在當(dāng)前直播圖像中的坐標(biāo)進(jìn)行計(jì)算，得到關(guān)于 這68個(gè)目標(biāo)面部標(biāo)記點(diǎn)所對(duì)應(yīng)的目標(biāo)標(biāo)記點(diǎn)坐標(biāo)。
[0057] 本實(shí)施例所提供的方案還可以對(duì)目標(biāo)面部中特征部位上的像素點(diǎn)進(jìn)行標(biāo)記，所述 特征部位包含與所述標(biāo)準(zhǔn)虛擬道具素材對(duì)應(yīng)的部位，例如，系統(tǒng)對(duì)目標(biāo)面部中特征部位，如 眼睛、臉頰、胡子以及額頭對(duì)應(yīng)的特征部位進(jìn)行像素點(diǎn)的提取，當(dāng)然，這里的特征部位僅為 本實(shí)施例的具體示例，除此外還可以是嘴巴、耳朵、鼻子等等，同時(shí)也可以是其中的一個(gè)或 多個(gè)組合，這里值得強(qiáng)調(diào)的是，在對(duì)目標(biāo)面部的特征部位進(jìn)行標(biāo)記的時(shí)候需要系統(tǒng)預(yù)設(shè)的 有與所標(biāo)記的特征部位對(duì)應(yīng)的標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)，所以本申請(qǐng)不對(duì)標(biāo)準(zhǔn)面部的特征部 位的形式及數(shù)量做明確限定。
[0058] S300:根據(jù)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)和預(yù)設(shè)的關(guān)于標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)，對(duì)目 標(biāo)標(biāo)記點(diǎn)坐標(biāo)與標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)之間的變換關(guān)系進(jìn)行計(jì)算，獲得視角仿射變換 矩陣；
[0059] 本領(lǐng)域技術(shù)人員可以理解的是，在同一平面內(nèi)的預(yù)設(shè)的標(biāo)準(zhǔn)標(biāo)記點(diǎn)與目標(biāo)面部標(biāo) 記點(diǎn)之間進(jìn)行對(duì)應(yīng)的時(shí)，有一種對(duì)應(yīng)關(guān)系，通常情況下稱(chēng)這種對(duì)應(yīng)關(guān)系為視角仿射變換，本 申請(qǐng)?zhí)岢龅姆桨缚赏ㄟ^(guò)如下步驟求得視角仿射變換矩陣，具體如下：
[0060] a、建立所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程;所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式 為:qi= = 1，2,...，n)，式中，η為目標(biāo)面部標(biāo)記點(diǎn)的總個(gè)數(shù)；
[0061 ]實(shí)際計(jì)算時(shí)，根據(jù)具體的目標(biāo)面部標(biāo)記點(diǎn)的數(shù)目來(lái)建立目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方 程，針對(duì)上述所選取的68個(gè)目標(biāo)面部標(biāo)記點(diǎn)為例，可建立這68個(gè)目標(biāo)標(biāo)記點(diǎn)坐標(biāo)所對(duì)應(yīng)的 齊次方程表達(dá)式為沖=1^/：1，7/：1，1]1'(1 = 1，2，...，68)。
[0062 ] b、建立所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程;所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn) 坐標(biāo)的齊次方程表達(dá)式為:Pi= [xi，yi，l]T(i = l，2,. ..，n)，式中，η為標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記 點(diǎn)的總個(gè)數(shù)，且所述目標(biāo)面部標(biāo)記點(diǎn)的總個(gè)數(shù)與所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)的總個(gè)數(shù)相 同；
[0063]與建立目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程對(duì)應(yīng)的，可建立標(biāo)準(zhǔn)面部的68個(gè)標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐 標(biāo)對(duì)應(yīng)的齊次方程表達(dá)式為:？1=[11，71，1]'1 = 1，2，...，68)，這里需要強(qiáng)調(diào)的是，標(biāo)準(zhǔn)面 部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)的數(shù)量需要與目標(biāo)面部標(biāo)記點(diǎn)的數(shù)量相等，這樣是保證在尋找對(duì)應(yīng)關(guān)系的 時(shí)候能夠--對(duì)應(yīng)，不會(huì)造成對(duì)應(yīng)關(guān)系不明確的現(xiàn)象。
[0064] c、對(duì)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程與標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程 之間的變換關(guān)系進(jìn)行計(jì)算，獲得視角仿射變換矩陣。
[0065]針對(duì)上述步驟a中所建立的目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式為:qi= [χ\，/ i， l]T(i = l，2,. . .，n)，以及步驟b中所建立的標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式 為$1=[11，7 1，1]'1 = 1，2，...，11)，本發(fā)明實(shí)施例提出了一種具體的視角仿射變換矩陣的 求解過(guò)程，具體可以為：
[0066] 令所述視角仿射變換矩陣 ，則Hpi = qi(i = l，2, · · .，n)，得
[0067] 對(duì)所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式進(jìn)行轉(zhuǎn)化，得到標(biāo)準(zhǔn)面部的 標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣
；對(duì)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表 達(dá)式進(jìn)行轉(zhuǎn)化，得到目標(biāo)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣Βι?χ、，y、，...，Χ'η η] T;對(duì)視角仿射變換 矩陣進(jìn)行轉(zhuǎn)化，得到視角仿射變換矩陣的轉(zhuǎn)化矩陣X = [3，13，0，(1，6，；^1';其中4乂=8;
[0068] 對(duì)所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣Α求偽逆矩陣Α+，得X = Α+Β，進(jìn)而求得 視角仿射變換矩陣H。
[0069] S400:根據(jù)所述視角仿射變換矩陣、所述虛擬道具素材映射指令所對(duì)應(yīng)的標(biāo)準(zhǔn)虛 擬道具素材和所述標(biāo)準(zhǔn)虛擬道具素材所對(duì)應(yīng)標(biāo)準(zhǔn)面部的坐標(biāo)，確定所述虛擬道具素材映射 指令所對(duì)應(yīng)的目標(biāo)虛擬道具素材以及所述目標(biāo)虛擬道具素材所對(duì)應(yīng)目標(biāo)面部的坐標(biāo)；
[0070] 不難理解的是，在同一視角仿射變換矩陣Η下，可通過(guò)該視角仿射變換矩陣Η和標(biāo) 準(zhǔn)虛擬道具素材計(jì)算出與標(biāo)準(zhǔn)虛擬道具素材所對(duì)應(yīng)的目標(biāo)虛擬道具素材，對(duì)于本實(shí)施例來(lái) 說(shuō)，可以通過(guò)S300中所得到的視角仿射變換矩陣Η以及系統(tǒng)預(yù)設(shè)的標(biāo)準(zhǔn)虛擬道具素材，對(duì)應(yīng) 求得標(biāo)準(zhǔn)虛擬道具素材對(duì)應(yīng)的目標(biāo)虛擬道具素材。
[0071] 如圖3所示，為本發(fā)明實(shí)施例提供的幾種具體的目標(biāo)虛擬道具素材獲得示意圖，圖 3中提供了4組對(duì)應(yīng)與同一視角仿射變換矩陣Η的目標(biāo)虛擬道具素材獲得示意圖，如:根據(jù)標(biāo) 準(zhǔn)虛擬道具素材1和視角仿射變換矩陣Η，對(duì)應(yīng)獲得目標(biāo)虛擬道具素材1，具體的，根據(jù)在標(biāo) 準(zhǔn)面部上對(duì)應(yīng)的標(biāo)準(zhǔn)虛擬道具素材1的大小，通過(guò)視角仿射變換矩陣Η的對(duì)應(yīng)關(guān)系，確定對(duì) 應(yīng)目標(biāo)虛擬道具素材1的大小，并將獲得的目標(biāo)虛擬道具素材1提取出來(lái)。這樣可以保證獲 得的目標(biāo)虛擬道具素材1的大小將匹配于目標(biāo)面部對(duì)應(yīng)特殊部位的大??；同樣的，分別可以 根據(jù)其他幾組對(duì)應(yīng)關(guān)系，依次獲得目標(biāo)虛擬道具素材2-4，完成目標(biāo)虛擬道具素材的獲得。 圖3中所示的幾組對(duì)應(yīng)關(guān)系僅為本發(fā)明實(shí)施例的具體表征，本申請(qǐng)并不對(duì)虛擬道具素材的 數(shù)量以及順序做進(jìn)一步的限定。
[0072]不僅如此，還可以通過(guò)該視角仿射變換矩陣Η和標(biāo)準(zhǔn)的虛擬道具素材1-4所對(duì)應(yīng)標(biāo) 準(zhǔn)面部的坐標(biāo)，獲得對(duì)應(yīng)目標(biāo)虛擬道具素材所對(duì)應(yīng)目標(biāo)面部的坐標(biāo)。
[0073] S500:基于所述目標(biāo)面部坐標(biāo)，將所述目標(biāo)虛擬道具素材映射到當(dāng)前視頻碼流中， 完成所述目標(biāo)虛擬道具素材的映射。
[0074]可以理解的是，由步驟S400獲得的標(biāo)準(zhǔn)虛擬道具素材對(duì)應(yīng)的目標(biāo)虛擬道具素材， 可確定對(duì)應(yīng)目標(biāo)虛擬道具素材的大小，再由步驟S400獲得的目標(biāo)虛擬道具素材的坐標(biāo)，可 確定對(duì)應(yīng)目標(biāo)虛擬道具素材相對(duì)于直播圖像中目標(biāo)面部的位置;根據(jù)所確定的目標(biāo)虛擬道 具素材的大小以及目標(biāo)虛擬道具素材相對(duì)于直播圖像中目標(biāo)面部的位置，通過(guò)圖像疊加技 術(shù)，可將該目標(biāo)虛擬道具素材唯一的疊加在直播圖像中，如圖4所示，為本發(fā)明實(shí)施例提供 的目標(biāo)虛擬道具素材映射到直播者面部后的圖像。通過(guò)圖像疊加技術(shù)將目標(biāo)虛擬道具素材 映射到當(dāng)前視頻碼流中，完成對(duì)目標(biāo)虛擬道具素材的映射。
[0075] 應(yīng)用本發(fā)明實(shí)施例，根據(jù)目標(biāo)標(biāo)記點(diǎn)坐標(biāo)和標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)，計(jì)算出 視角仿射變換矩陣;再根據(jù)視角仿射變換矩陣和標(biāo)準(zhǔn)虛擬道具素材及其對(duì)應(yīng)坐標(biāo)，可唯一 獲得目標(biāo)虛擬道具素材及其對(duì)應(yīng)于目標(biāo)面部的坐標(biāo);再將目標(biāo)虛擬道具素材映射到當(dāng)前視 頻碼流中，完成目標(biāo)虛擬道具的映射。應(yīng)用本發(fā)明實(shí)施例，在對(duì)直播視頻進(jìn)行虛擬道具穿戴 時(shí)，虛擬道具能夠準(zhǔn)確地與對(duì)應(yīng)特征部位疊加，進(jìn)而提高用戶體驗(yàn)。
[0076] 圖5為本發(fā)明實(shí)施例提供的一種圖像處理裝置的結(jié)構(gòu)示意圖，裝置可以包括：目標(biāo) 面部獲得模塊1〇〇、目標(biāo)標(biāo)記點(diǎn)坐標(biāo)獲得模塊200、視角仿射變換矩陣計(jì)算模塊300、目標(biāo)虛 擬道具素材確定模塊400和圖像合成模塊500;
[0077] 其中，目標(biāo)面部獲得模塊100,用于在接收到虛擬道具素材映射指令后，對(duì)當(dāng)前視 頻碼流中目標(biāo)面部所處的區(qū)域進(jìn)行捕捉，獲得目標(biāo)面部；
[0078] 具體的，所述目標(biāo)面部獲得模塊100，可以包括：
[0079] 目標(biāo)面部獲得子模塊，用于接收到虛擬道具素材映射指令后，對(duì)當(dāng)前視頻碼流中 目標(biāo)面部所處區(qū)域的像素點(diǎn)特征進(jìn)行識(shí)別，獲得目標(biāo)面部。
[0080] 目標(biāo)標(biāo)記點(diǎn)坐標(biāo)獲得模塊200，用于對(duì)所述目標(biāo)面部進(jìn)行標(biāo)記，生成預(yù)設(shè)數(shù)量的目 標(biāo)面部標(biāo)記點(diǎn)，并確定所述目標(biāo)面部標(biāo)記點(diǎn)所對(duì)應(yīng)的目標(biāo)標(biāo)記點(diǎn)坐標(biāo)。
[0081] 在本發(fā)明所提供的實(shí)施例中，目標(biāo)標(biāo)記點(diǎn)坐標(biāo)獲得模塊200可以包括:特征部位標(biāo) 記點(diǎn)獲得子模塊，具體用于對(duì)所述目標(biāo)面部中特征部位上的像素點(diǎn)進(jìn)行標(biāo)記，所述特征部 位包含與所述標(biāo)準(zhǔn)虛擬道具素材對(duì)應(yīng)的部位。
[0082] 視角仿射變換矩陣計(jì)算模塊300，用于根據(jù)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)和預(yù)設(shè)的關(guān)于標(biāo) 準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)，對(duì)目標(biāo)標(biāo)記點(diǎn)坐標(biāo)與標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)之間的變換關(guān) 系進(jìn)行計(jì)算，獲得視角仿射變換矩陣；
[0083] 實(shí)際應(yīng)用中，視角仿射變換矩陣計(jì)算模塊300可以包括：
[0084] 第一齊次方程建立子模塊，用于建立所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程;所述目標(biāo) 標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式為:qi=IV i，/ i，l]T(i = l，2, . . .，n)，式中，η為目標(biāo)面部標(biāo) 記點(diǎn)的總個(gè)數(shù)；
[0085] 第二齊次方程建立子模塊，用于建立所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方 程;所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式為$1 = [11，71，1]1'(1 = 1，2，...， η)，式中，η為標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)的總個(gè)數(shù)，且所述目標(biāo)面部標(biāo)記點(diǎn)的總個(gè)數(shù)與所述標(biāo) 準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)的總個(gè)數(shù)相同；
[0086] 視角仿射變換矩陣計(jì)算子模塊，用于對(duì)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程與標(biāo)準(zhǔn)面 部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的標(biāo)準(zhǔn)齊次方程之間的變換關(guān)系進(jìn)行計(jì)算，獲得視角仿射變換矩陣。
[0087] 具體的，視角仿射變換矩陣計(jì)算子模塊可以包括有：
[0088] 視覺(jué)仿射變換矩陣建立單元，用于建立視角仿射變換矩陣
，則 Hpi = qi(i = l，2，···，]!)，
[0089] 轉(zhuǎn)化矩陣獲得單元，用于對(duì)所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式進(jìn) 行轉(zhuǎn)化，得到標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣
吋所述目標(biāo)標(biāo) 記點(diǎn)坐標(biāo)的齊次方程表達(dá)式進(jìn)行轉(zhuǎn)化，得到目標(biāo)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣B= [X7 by' 1，...，x 視角仿射變換矩陣進(jìn)行轉(zhuǎn)化，得到視角仿射變換矩陣的轉(zhuǎn)化矩陣X=[a，b，c，d， e，f]T;其中 AX = B;
[0090] 視覺(jué)仿射變換矩陣計(jì)算單元，用于對(duì)所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣A 求偽逆矩陣A+，得X = A+B，進(jìn)而求得視角仿射變換矩陣Η。
[0091] 目標(biāo)虛擬道具素材確定模塊400,用于根據(jù)所述視角仿射變換矩陣、所述虛擬道具 素材映射指令所對(duì)應(yīng)的標(biāo)準(zhǔn)虛擬道具素材和所述標(biāo)準(zhǔn)虛擬道具素材所對(duì)應(yīng)標(biāo)準(zhǔn)面部的坐 標(biāo)，確定所述虛擬道具素材映射指令所對(duì)應(yīng)的目標(biāo)虛擬道具素材以及所述目標(biāo)虛擬道具素 材所對(duì)應(yīng)目標(biāo)面部的坐標(biāo)；
[0092] 圖像合成模塊500,用于將所述目標(biāo)虛擬道具素材映射到當(dāng)前視頻碼流中，完成所 述目標(biāo)虛擬道具素材的映射。
[0093] 應(yīng)用本發(fā)明實(shí)施例，根據(jù)目標(biāo)標(biāo)記點(diǎn)坐標(biāo)和標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)，計(jì)算出 視角仿射變換矩陣;再根據(jù)視角仿射變換矩陣和標(biāo)準(zhǔn)虛擬道具素材及其對(duì)應(yīng)坐標(biāo)，可唯一 獲得目標(biāo)虛擬道具素材及其對(duì)應(yīng)于目標(biāo)面部的坐標(biāo);再將目標(biāo)虛擬道具素材映射到當(dāng)前視 頻碼流中，完成目標(biāo)虛擬道具的映射。應(yīng)用本發(fā)明實(shí)施例，在對(duì)直播視頻進(jìn)行虛擬道具穿戴 時(shí)，虛擬道具能夠準(zhǔn)確地與對(duì)應(yīng)特征部位疊加，進(jìn)而提高用戶體驗(yàn)。
[0094] 需要說(shuō)明的是，在本文中，諸如第一和第二等之類(lèi)的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí) 體或者操作與另一個(gè)實(shí)體或操作區(qū)分開(kāi)來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存 在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)"包括"、"包含"或者其任何其他變體意在涵蓋 非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要 素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者設(shè)備 所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句"包括一個(gè)……"限定的要素，并不排除在 包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。
[0095] 本說(shuō)明書(shū)中的各個(gè)實(shí)施例均采用相關(guān)的方式描述，各個(gè)實(shí)施例之間相同相似的部 分互相參見(jiàn)即可，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處。尤其，對(duì)于裝置實(shí) 施例而言，由于其基本相似于方法實(shí)施例，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例 的部分說(shuō)明即可。
[0096]本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述方法實(shí)施方式中的全部或部分步驟是可 以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可以存儲(chǔ)于計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中， 這里所稱(chēng)得的存儲(chǔ)介質(zhì)，如:R0M/RAM、磁碟、光盤(pán)等。
[0097]以上所述僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍。凡在 本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換、改進(jìn)等，均包含在本發(fā)明的保護(hù)范圍 內(nèi)。
【主權(quán)項(xiàng)】
1. 一種圖像處理方法，應(yīng)用于視頻直播系統(tǒng)，其特征在于，所述方法包括： 接收到虛擬道具素材映射指令后，對(duì)當(dāng)前視頻碼流中目標(biāo)面部所處的區(qū)域進(jìn)行捕捉， 獲得目標(biāo)面部； 對(duì)所述目標(biāo)面部進(jìn)行標(biāo)記，生成預(yù)設(shè)數(shù)量的目標(biāo)面部標(biāo)記點(diǎn)，并確定所述目標(biāo)面部標(biāo) 記點(diǎn)所對(duì)應(yīng)的目標(biāo)標(biāo)記點(diǎn)坐標(biāo)； 根據(jù)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)和預(yù)設(shè)的關(guān)于標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)，對(duì)目標(biāo)標(biāo)記點(diǎn)坐 標(biāo)與標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)之間的變換關(guān)系進(jìn)行計(jì)算，獲得視角仿射變換矩陣； 根據(jù)所述視角仿射變換矩陣、所述虛擬道具素材映射指令所對(duì)應(yīng)的標(biāo)準(zhǔn)虛擬道具素材 和所述標(biāo)準(zhǔn)虛擬道具素材所對(duì)應(yīng)標(biāo)準(zhǔn)面部的坐標(biāo)，確定所述虛擬道具素材映射指令所對(duì)應(yīng) 的目標(biāo)虛擬道具素材以及所述目標(biāo)虛擬道具素材所對(duì)應(yīng)目標(biāo)面部的坐標(biāo)； 基于所述目標(biāo)面部坐標(biāo)，將所述目標(biāo)虛擬道具素材映射到當(dāng)前視頻碼流中，完成所述 目標(biāo)虛擬道具素材的映射。2. 根據(jù)權(quán)利要求1所述方法，其特征在于，所述對(duì)當(dāng)前視頻碼流中目標(biāo)面部所處的區(qū)域 進(jìn)行捕捉，獲得目標(biāo)面部，包括： 對(duì)當(dāng)前視頻碼流中目標(biāo)面部所處區(qū)域的像素點(diǎn)顏色特征進(jìn)行識(shí)別，獲得目標(biāo)面部。3. 根據(jù)權(quán)利要求1或2所述方法，其特征在于，所述對(duì)所述目標(biāo)面部進(jìn)行標(biāo)記，包括： 對(duì)所述目標(biāo)面部中特征部位上的像素點(diǎn)進(jìn)行標(biāo)記，所述特征部位包含與所述標(biāo)準(zhǔn)虛擬 道具素材對(duì)應(yīng)的部位。4. 根據(jù)權(quán)利要求1所述方法，其特征在于，所述根據(jù)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)和預(yù)設(shè)的關(guān)于 標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)，對(duì)目標(biāo)標(biāo)記點(diǎn)坐標(biāo)與標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)之間的變換 關(guān)系進(jìn)行計(jì)算，獲得視角仿射變換矩陣，包括： 建立所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程;所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式為:= IV i，' i，I]T( i = 1，2，…，），式中，η為目標(biāo)面部標(biāo)記點(diǎn)的總個(gè)數(shù)； 建立所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程;所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的 齊次方程表達(dá)式為$1=[11，71，1]1'(1 = 1，2，~，]1)，式中，11為標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)的總 個(gè)數(shù)，且所述目標(biāo)面部標(biāo)記點(diǎn)的總個(gè)數(shù)與所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)的總個(gè)數(shù)相同； 對(duì)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程與標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程之間的 變換關(guān)系進(jìn)行計(jì)算，獲得視角仿射變換矩陣。5. 根據(jù)權(quán)利要求4所述方法，其特征在于，所述對(duì)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程與標(biāo) 準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程之間的變換關(guān)系進(jìn)行計(jì)算，獲得視角仿射變換矩陣， 包括： 令所述視角仿射變換矩陣 則H ρ i = q i ( i = 1，2，…，η )，得對(duì)所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式進(jìn)行轉(zhuǎn)化，得到標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn) 標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣對(duì)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式 進(jìn)行轉(zhuǎn)化，得到目標(biāo)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣B= IV 1，/ 1，…，x\，/n]T;對(duì)視角仿射變換矩陣 進(jìn)行轉(zhuǎn)化，得到視角仿射變換矩陣的轉(zhuǎn)化矩陣X = [3，13，(3，(1，6彳]1';其中4乂 = 8; 對(duì)所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣A求偽逆矩陣A+，得X = A+B，進(jìn)而求得視角 仿射變換矩陣Η。6. -種圖像處理裝置，應(yīng)用于視頻直播系統(tǒng)，其特征在于，所述裝置包括： 目標(biāo)面部獲得模塊，用于在接收到虛擬道具素材映射指令后，對(duì)當(dāng)前視頻碼流中目標(biāo) 面部所處的區(qū)域進(jìn)行捕捉，獲得目標(biāo)面部； 目標(biāo)標(biāo)記點(diǎn)坐標(biāo)獲得模塊，用于對(duì)所述目標(biāo)面部進(jìn)行標(biāo)記，生成預(yù)設(shè)數(shù)量的目標(biāo)面部 標(biāo)記點(diǎn)，并確定所述目標(biāo)面部標(biāo)記點(diǎn)所對(duì)應(yīng)的目標(biāo)標(biāo)記點(diǎn)坐標(biāo)； 視角仿射變換矩陣計(jì)算模塊，用于根據(jù)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)和預(yù)設(shè)的關(guān)于標(biāo)準(zhǔn)面部的 標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)，對(duì)目標(biāo)標(biāo)記點(diǎn)坐標(biāo)與標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)之間的變換關(guān)系進(jìn)行計(jì) 算，獲得視角仿射變換矩陣； 目標(biāo)虛擬道具素材確定模塊，用于根據(jù)所述視角仿射變換矩陣、所述虛擬道具素材映 射指令所對(duì)應(yīng)的標(biāo)準(zhǔn)虛擬道具素材和所述標(biāo)準(zhǔn)虛擬道具素材所對(duì)應(yīng)標(biāo)準(zhǔn)面部的坐標(biāo)，確定 所述虛擬道具素材映射指令所對(duì)應(yīng)的目標(biāo)虛擬道具素材以及所述目標(biāo)虛擬道具素材所對(duì) 應(yīng)目標(biāo)面部的坐標(biāo)； 圖像合成模塊，用于將所述目標(biāo)虛擬道具素材映射到當(dāng)前視頻碼流中，完成所述目標(biāo) 虛擬道具素材的映射。7. 根據(jù)權(quán)利要求6所述裝置，其特征在于，所述目標(biāo)面部獲得模塊，包括： 目標(biāo)面部獲得子模塊，用于在接收到虛擬道具素材映射指令后，對(duì)當(dāng)前視頻碼流中目 標(biāo)面部所處區(qū)域的像素點(diǎn)特征進(jìn)行識(shí)別，獲得目標(biāo)面部。8. 根據(jù)權(quán)利要求6或7所述裝置，其特征在于，所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)獲得模塊，包括： 特征部位標(biāo)記點(diǎn)獲得子模塊，用于對(duì)所述目標(biāo)面部中特征部位上的像素點(diǎn)進(jìn)行標(biāo)記， 所述特征部位包含與所述標(biāo)準(zhǔn)虛擬道具素材對(duì)應(yīng)的部位。9. 根據(jù)權(quán)利要求6所述裝置，其特征在于，所述視角仿射變換矩陣計(jì)算模塊，包括： 第一齊次方程建立子模塊，用于建立所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程;所述目標(biāo)標(biāo)記 點(diǎn)坐標(biāo)的齊次方程表達(dá)式為Ni = Iix' i, l]T(i = l，2,…，η)，式中，η為目標(biāo)面部標(biāo)記點(diǎn) 的總個(gè)數(shù)； 第二齊次方程建立子模塊，用于建立所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程;所 述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式為:Pi=[xi，yi，l]T(i = l，2，~，n)，S*， η為標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)的總個(gè)數(shù)，且所述目標(biāo)面部標(biāo)記點(diǎn)的總個(gè)數(shù)與所述標(biāo)準(zhǔn)面部的 標(biāo)準(zhǔn)標(biāo)記點(diǎn)的總個(gè)數(shù)相同； 視角仿射變換矩陣計(jì)算子模塊，用于對(duì)所述目標(biāo)標(biāo)記點(diǎn)坐標(biāo)的齊次方程與標(biāo)準(zhǔn)面部的 標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程之間的變換關(guān)系進(jìn)行計(jì)算，獲得視角仿射變換矩陣。10.根據(jù)權(quán)利要求9所述裝置，其特征在于，所述視角仿射亦拖管，包括： 視覺(jué)仿射變換矩陣建立單元，用于建立視角仿射變換籠i'jHpi = qi，. 轉(zhuǎn)化矩陣獲得單元，用于對(duì)所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)的齊次方程表達(dá)式進(jìn)行轉(zhuǎn) 化，得到標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣對(duì)所述目標(biāo)標(biāo)記點(diǎn) 坐標(biāo)的齊次方程表達(dá)式進(jìn)行轉(zhuǎn)化，得到目標(biāo)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣B= [X71 ,y' 1，…，X7 n,y' η ]Τ;對(duì)視角仿射變換矩陣進(jìn)行轉(zhuǎn)化，得到視角仿射變換矩陣的轉(zhuǎn)化矩陣X=[a，b，C，d，e，f] T; 其中AX = B; 視覺(jué)仿射變換矩陣計(jì)算單元，用于對(duì)所述標(biāo)準(zhǔn)面部的標(biāo)準(zhǔn)標(biāo)記點(diǎn)坐標(biāo)轉(zhuǎn)化矩陣A求偽 逆矩陣A+，得X = A+B，進(jìn)而求得視角仿射變換矩陣H。
【文檔編號(hào)】H04N21/44GK106028136SQ201610371695
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2016年5月30日
【發(fā)明人】李典
【申請(qǐng)人】北京奇藝世紀(jì)科技有限公司