一種基于移動(dòng)終端的眼鏡虛擬試戴方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視覺(jué)與虛擬穿戴相結(jié)合的技術(shù)領(lǐng)域，尤其涉及一種基于移動(dòng)終端的虛擬眼鏡試戴方法和系統(tǒng)。
【背景技術(shù)】
[0002]隨著移動(dòng)互聯(lián)網(wǎng)的深入發(fā)展，越來(lái)越多的用戶開始使用手機(jī)、平板電腦等移動(dòng)終端進(jìn)行網(wǎng)絡(luò)購(gòu)物。與傳統(tǒng)店鋪購(gòu)物相比，基于移動(dòng)終端的網(wǎng)絡(luò)購(gòu)物有不受時(shí)間地點(diǎn)約束、種類齊全、價(jià)格低廉等優(yōu)點(diǎn)，但是網(wǎng)絡(luò)購(gòu)物最大的缺點(diǎn)是對(duì)商品的觀察不如傳統(tǒng)店鋪全面直觀。網(wǎng)上商城通常只能通過(guò)圖片或視頻對(duì)商品進(jìn)行展示，顧客難以利用這種方式精確選擇適合自己的個(gè)性化商品。
[0003]眼鏡是一種典型的個(gè)性化商品，受到網(wǎng)上展示不直觀的影響，用戶難以在網(wǎng)絡(luò)購(gòu)物的過(guò)程中體驗(yàn)到真實(shí)的試戴感覺(jué)，從而難以選擇適合自己的個(gè)性化眼鏡。
[0004]為了解決上述問(wèn)題，一些方案提出了自己的解決辦法，但目前已知的解決方案在精度、速度和硬件依賴上都有短板，難以有效地應(yīng)用到手機(jī)、平板電腦等移動(dòng)終端上。
[0005]基于人臉識(shí)別技術(shù)的混合顯示眼鏡交互展示方法(公開號(hào):CN1034000119A)利用主動(dòng)外觀模型對(duì)人臉圖像進(jìn)行標(biāo)定，而后利用標(biāo)定結(jié)果進(jìn)行頭部姿態(tài)估計(jì)，最后根據(jù)頭部姿態(tài)估計(jì)的結(jié)果，將虛擬眼鏡顯示到原始圖像上。該方法的主要問(wèn)題在于主動(dòng)外觀模型的計(jì)算量大，且精度不高，不能較好的運(yùn)用在手機(jī)、平板電腦等移動(dòng)終端的嵌入式系統(tǒng)中，另外該方法也無(wú)法準(zhǔn)確獲得人臉的尺寸信息，因此無(wú)法得到人臉和眼鏡大小合適程度的判斷，即無(wú)法解決眼鏡虛擬試戴合不合適的問(wèn)題；虛擬試穿試戴系統(tǒng)和虛擬試穿試戴方法(公開號(hào):CN104021590A)利用多組攝像頭和深度信息傳感器共同捕獲人體姿態(tài)信息，再通過(guò)虛擬現(xiàn)實(shí)技術(shù)將眼鏡等虛擬物體展示到原始圖像上，得益于多視角視覺(jué)信息和深度信息，該方法理論上能達(dá)到的精度較高，缺點(diǎn)是計(jì)算量大，且需要多組攝像頭和額外的深度信息傳感器，移動(dòng)終端的硬件條件不符合要求。眼鏡虛擬試戴方法、裝置及系統(tǒng)(公開號(hào):CN104408764A)根據(jù)獲得的人臉圖像建立三維坐標(biāo)系，將選取的預(yù)建立的三維眼鏡模型定位于預(yù)建立的三維人臉模型上，再將三維人臉模型定位于三維坐標(biāo)系中的人臉圖像模型上，并縮放三維人臉模型使得三維人臉模型與三維坐標(biāo)系中的人臉圖像模型相匹配，顯示三維眼鏡模型及人臉圖像模型。該方法缺點(diǎn)明顯，首先大量工作需要消費(fèi)者人工干預(yù)，且不支持人側(cè)臉大角度情況下的眼鏡佩戴。通常的眼鏡試戴解決方案當(dāng)擺頭和側(cè)頭時(shí)，眼鏡會(huì)消失或者所戴位置完全錯(cuò)誤，導(dǎo)致試戴失敗。我們能很好解決這個(gè)問(wèn)題，是因?yàn)槲覀儾捎昧薈LM人臉模型并通過(guò)機(jī)器學(xué)習(xí)得到的人臉訓(xùn)練庫(kù)，能確保在側(cè)臉和擺頭是仍然可獲取人臉的特征點(diǎn)坐標(biāo)。通常的眼鏡試戴解決方案沒(méi)有臉部尺度計(jì)算，無(wú)法判斷眼鏡合不合適。虛擬試戴方法及裝置(公開號(hào):CN104299143A)從實(shí)景視頻中檢測(cè)出人眼瞳孔，再將眼鏡模型和人眼瞳孔位置相融合，完成眼鏡虛擬試戴。該方法僅僅靠左右瞳孔兩個(gè)點(diǎn)確定三維眼鏡的6個(gè)自由度，坐標(biāo)一一融合的原理就不通，實(shí)際的佩戴效果可以想象。眼鏡虛擬試戴互動(dòng)服務(wù)系統(tǒng)與方法(公開號(hào):CN102867321A)先透過(guò)畫面內(nèi)的框架來(lái)定位人臉，取得相應(yīng)的人臉影像中的某些特征點(diǎn)位置，后續(xù)每一張都和第一張圖像特征點(diǎn)進(jìn)行對(duì)比判斷人臉的位置、移動(dòng)狀態(tài)與縮放比例，再將預(yù)設(shè)的眼鏡模型合成于該位置。這個(gè)方法相當(dāng)于虛擬眼鏡是靠消費(fèi)者自己調(diào)整臉而湊上去的，不是通過(guò)算法添加上去的，所有試戴的效果只和第一張圖像湊的結(jié)果有關(guān)，這個(gè)方法試戴效果難以保證。實(shí)現(xiàn)虛擬試戴的方法和裝置(公開號(hào):CN104217350A)對(duì)于人臉特征的提取速度慢，滿足不了實(shí)時(shí)試戴的要求，且沒(méi)有人臉尺寸，無(wú)法判斷試戴合不合適。

【發(fā)明內(nèi)容】

[0006]針對(duì)現(xiàn)有技術(shù)中的眼鏡虛擬試戴方法計(jì)算量大，無(wú)法在移動(dòng)終端上實(shí)現(xiàn)的技術(shù)問(wèn)題，本發(fā)明公開了一種基于移動(dòng)終端的眼鏡虛擬試戴方法，本發(fā)明還公開了一種基于移動(dòng)終端的眼鏡虛擬試戴系統(tǒng)。
[0007]本發(fā)明的具體實(shí)現(xiàn)方式如下:
一種基于移動(dòng)終端的眼鏡虛擬試戴方法，其具體包括以下的步驟:步驟一、用戶將已知尺寸的識(shí)別物貼合于臉部的固定位置，移動(dòng)終端上的攝像頭獲取此時(shí)用戶的臉部圖像，并采用臉部識(shí)別算法得到用戶的臉部輪廓，再?gòu)脑撃槻繄D像中提取出識(shí)別物的邊緣圖像，根據(jù)已知的識(shí)別物的尺寸計(jì)算出用戶的臉部尺寸；步驟二、用戶取下識(shí)別物，將臉部面對(duì)攝像頭，攝像頭獲取實(shí)時(shí)的臉部圖像，采用快速臉部識(shí)別算法對(duì)實(shí)時(shí)的臉部圖像中的人臉特征點(diǎn)進(jìn)行標(biāo)注，根據(jù)標(biāo)注的結(jié)果估計(jì)出頭部的姿態(tài)信息和臉型信息，并結(jié)合步驟一得到的臉部尺寸確定虛擬眼鏡的位置坐標(biāo)；步驟三、獲取選中的眼鏡的信息，得到眼鏡的圖像，并將該圖像疊加到步驟二確定的坐標(biāo)上，然后將該疊加了眼鏡的人臉圖像實(shí)時(shí)顯示在移動(dòng)終端的顯示屏上。
[0008]更進(jìn)一步地，上述的識(shí)別物為標(biāo)準(zhǔn)卡，所述標(biāo)準(zhǔn)卡的邊緣為直線，采用霍夫變換檢測(cè)出圖像中的直線，再根據(jù)標(biāo)準(zhǔn)卡直線的位置及角度識(shí)別出圖像中的標(biāo)準(zhǔn)卡的邊緣線，根據(jù)檢測(cè)出的邊緣長(zhǎng)度估計(jì)出用戶臉部的尺寸。
[0009]更進(jìn)一步地，上述方法還包括當(dāng)該方法啟動(dòng)時(shí)，采用語(yǔ)音提示用戶將標(biāo)準(zhǔn)卡貼合在人臉的下巴處，當(dāng)帶有標(biāo)準(zhǔn)卡的圖像采集成功后，提示用戶將標(biāo)準(zhǔn)卡移走，將人臉面對(duì)攝像頭。
[0010]更進(jìn)一步地，上述方法還包括根據(jù)用戶的選擇，判斷是否對(duì)人臉進(jìn)行美圖處理。
[0011]更進(jìn)一步地，上述方法還包括存儲(chǔ)用戶選中的眼鏡的試帶效果圖，并將多個(gè)試帶效果圖采用對(duì)比方式顯示在用戶的顯示屏上。
[0012]更進(jìn)一步地，上述步驟二中的臉部識(shí)別采用約束局部模型進(jìn)行人臉特征點(diǎn)標(biāo)注，并利用前幀的預(yù)測(cè)位置對(duì)后幀進(jìn)行初始化。
[0013]更進(jìn)一步地，上述方法還包括集成多種標(biāo)準(zhǔn)臉型的參考數(shù)據(jù)，比對(duì)當(dāng)前用戶臉型和多種標(biāo)準(zhǔn)臉型之間的相似度，然后選擇最相似的臉型作為當(dāng)前用戶的臉型。
[0014]更進(jìn)一步地，上述方法還包括利用頭部的姿態(tài)和尺寸信息來(lái)估計(jì)眼鏡的俯仰角、旋轉(zhuǎn)角和尺寸信息，利用色差信息對(duì)虛擬眼鏡模型的顏色進(jìn)行調(diào)整。
[0015]本發(fā)明還公開了一種基于移動(dòng)終端的眼鏡虛擬試戴系統(tǒng)，其具體包括已知尺寸的識(shí)別物、帶有攝像頭的移動(dòng)終端、以及設(shè)置在移動(dòng)終端內(nèi)部的臉部識(shí)別模塊、眼鏡圖像獲取模塊、圖像疊加模塊和顯示模塊；所述已知尺寸的識(shí)別物用于貼合于臉部的固定位置，以計(jì)算得到當(dāng)前用戶的臉部尺寸；所述攝像頭用于獲取當(dāng)前用戶實(shí)時(shí)的臉部圖像；所述臉部識(shí)別模塊用于從實(shí)時(shí)的臉部圖像中識(shí)別出人臉，并根據(jù)已知尺寸的識(shí)別物計(jì)算得到當(dāng)前用戶的臉部尺寸；所述眼鏡圖像獲取模塊用于獲取眼鏡的圖像；所述圖像疊加模塊用于將獲取的眼鏡的圖像疊加在當(dāng)前用戶的實(shí)時(shí)圖像上；所述顯示模塊用于將疊加后的圖像顯示在用戶的顯示屏上。
[0016]通過(guò)采用以上的技術(shù)方案，本發(fā)明具有以下的有益效果:為了適應(yīng)And