本發(fā)明涉及智能識別，特別是指一種基于多視覺深度信息的人臉關(guān)鍵點(diǎn)識別方法及裝置、電子設(shè)備和計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)：

1、目前傳統(tǒng)技術(shù)中，常見的人臉關(guān)鍵點(diǎn)識別技術(shù)有：

2、基于傳統(tǒng)算法，如active?shape?model?(asm)，基于統(tǒng)計(jì)形狀模型，通過大量標(biāo)注的人臉圖像構(gòu)建一個(gè)平均形狀模型。檢測時(shí)，將輸入圖像與平均形狀模型進(jìn)行匹配。問題：魯棒性不足：對光照變化、遮擋、姿態(tài)變化等情況敏感，檢測效果不穩(wěn)定；

3、基于神經(jīng)網(wǎng)絡(luò)算法，如convolutional?neural?networks?(cnns)，cnns通過層級結(jié)構(gòu)自動提取圖像特征，能夠捕捉到不同層次的圖像信息，從而在關(guān)鍵點(diǎn)檢測中表現(xiàn)出色。但是需要大量標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，并且模型設(shè)計(jì)和訓(xùn)練過程復(fù)雜，需要精心調(diào)整參數(shù)和結(jié)構(gòu)。

4、而在進(jìn)行皮膚形態(tài)設(shè)計(jì)時(shí)，經(jīng)常需要設(shè)計(jì)并識別一些特殊的人臉關(guān)鍵點(diǎn)，例如鼻尖點(diǎn)。而在對鼻尖點(diǎn)的識別中，鼻尖點(diǎn)的rgb特征不夠明顯，利用上述傳統(tǒng)技術(shù)對這些人臉關(guān)鍵特征點(diǎn)的識別通常不夠精確（精度不夠高），缺乏人臉關(guān)鍵點(diǎn)的深度信息特征，從而導(dǎo)致識別得到的人臉關(guān)鍵點(diǎn)產(chǎn)生更大誤差，模型與現(xiàn)實(shí)之間存在較多差異。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明提供了如下技術(shù)方案：

2、一方面，提供了一種基于多視覺深度信息的人臉關(guān)鍵點(diǎn)識別方法，該方法由電子設(shè)備實(shí)現(xiàn)，該方法包括：

3、s1、收集人臉關(guān)鍵點(diǎn)的圖像大數(shù)據(jù)，包括rgb數(shù)據(jù)以及多視覺深度掃描數(shù)據(jù)；

4、s2、對所述人臉關(guān)鍵點(diǎn)的圖像大數(shù)據(jù)進(jìn)行特征工程，分別提取對應(yīng)rgb數(shù)據(jù)以及多視覺深度掃描數(shù)據(jù)的rgb圖像特征和多視覺深度圖像特征；

5、s3、將所述rgb圖像特征和所述多視覺深度圖像特征進(jìn)行特征融合，構(gòu)建得到多視覺深度圖像融合特征，并將所述多視覺深度圖像融合特征輸入預(yù)設(shè)的resnet模型中，進(jìn)行特征訓(xùn)練學(xué)習(xí)，構(gòu)建對應(yīng)識別人臉關(guān)鍵點(diǎn)的多視覺深度檢測模型；

6、s4、采集用戶的人臉圖像并輸入所述多視覺深度檢測模型，由所述多視覺深度檢測模型識別并輸出所述人臉圖像上的人臉關(guān)鍵點(diǎn)的識別結(jié)果。

7、進(jìn)一步地，步驟s1中，所述多視覺深度掃描數(shù)據(jù)，包括如下至少一種視覺下的掃描數(shù)據(jù)：

8、人臉關(guān)鍵點(diǎn)的周圍環(huán)境數(shù)據(jù)；

9、人臉關(guān)鍵點(diǎn)在xyz三維空間中的軸向深度數(shù)據(jù)；

10、或，

11、人臉關(guān)鍵點(diǎn)的點(diǎn)云數(shù)據(jù)。

12、進(jìn)一步地，s2、對所述人臉關(guān)鍵點(diǎn)的圖像大數(shù)據(jù)進(jìn)行特征工程，分別提取對應(yīng)rgb數(shù)據(jù)以及多視覺深度掃描數(shù)據(jù)的rgb圖像特征和多視覺深度圖像特征，包括：

13、分別對所述rgb數(shù)據(jù)以及所述多視覺深度掃描數(shù)據(jù)進(jìn)行圖像預(yù)處理；

14、采用resnet模型提取所述rgb數(shù)據(jù)的rgb圖像特征；

15、采用cnn模型，依次提取所述多視覺深度掃描數(shù)據(jù)中各視覺下的深度掃描數(shù)據(jù)的深度圖像特征，得到由各視覺下的深度圖像特征組成的深度掃描特征集；

16、分別保存所述rgb圖像特征和所述深度掃描特征集至后臺數(shù)據(jù)庫。

17、進(jìn)一步地，s3、將所述rgb圖像特征和所述多視覺深度圖像特征進(jìn)行特征融合，構(gòu)建得到多視覺深度圖像融合特征，并將所述多視覺深度圖像融合特征輸入預(yù)設(shè)的resnet模型中，進(jìn)行特征訓(xùn)練學(xué)習(xí)，構(gòu)建對應(yīng)識別人臉關(guān)鍵點(diǎn)的多視覺深度檢測模型，包括：

18、遍歷所述深度掃描特征集，依次提取所述深度掃描特征集中各視覺下的深度圖像特征；

19、將提取到的每一視覺下的所述深度圖像特征，與所述rgb圖像特征輸入至cnn模型的深層卷積層；

20、在所述深層卷積層上，通過將人臉關(guān)鍵點(diǎn)上的對應(yīng)特征元素進(jìn)行卷積融合，使得所述深度圖像特征與所述rgb圖像特征進(jìn)行卷積層上的特征融合，得到每一視覺下的卷積融合特征：

21、按照上述方式，獲得由各視覺下的所述卷積融合特征組成的所述多視覺深度圖像融合特征，即rgbd數(shù)據(jù)；

22、對所述rgbd數(shù)據(jù)進(jìn)行預(yù)處理，并將預(yù)處理后的所述rgbd數(shù)據(jù)輸入預(yù)設(shè)的resnet模型中，基于resnet網(wǎng)絡(luò)對所述rgbd數(shù)據(jù)中的所述多視覺深度圖像融合特征進(jìn)行特征訓(xùn)練學(xué)習(xí)，構(gòu)建生成所述多視覺深度檢測模型。

23、進(jìn)一步地，s3、將所述rgb圖像特征和所述多視覺深度圖像特征進(jìn)行特征融合，構(gòu)建由多視覺深度圖像融合特征構(gòu)成的rgbd數(shù)據(jù)，并將所述rgbd數(shù)據(jù)輸入預(yù)設(shè)的resnet模型中，進(jìn)行特征訓(xùn)練學(xué)習(xí)，構(gòu)建對應(yīng)識別人臉關(guān)鍵點(diǎn)的多視覺深度檢測模型，包括：

24、遍歷所述深度掃描特征集，依次提取所述深度掃描特征集中各視覺下的深度圖像特征；

25、將提取到的每一視覺下的所述深度圖像特征，與所述rgb圖像特征輸入至cnn模型的深層卷積層；

26、在所述深層卷積層上，通過將人臉關(guān)鍵點(diǎn)上的對應(yīng)特征元素進(jìn)行卷積融合，使得所述深度圖像特征與所述rgb圖像特征進(jìn)行卷積層上的特征融合，得到當(dāng)前視覺下的卷積融合特征：

27、將下一視覺下的所述深度圖像特征，按照上述步驟，在所述深層卷積層上，將下一視覺下的所述深度圖像特征上的特征元素與當(dāng)前視覺下的輸送卷積融合特征進(jìn)行卷積層上的特征融合，得到下一視覺下的所述卷積融合特征：

28、按照上述方式，依次對剩余視覺下的所述深度圖像特征進(jìn)行特征融合，得到最終的所述卷積融合特征；

29、對最終的所述卷積融合特征進(jìn)行預(yù)處理，并將預(yù)處理后的最終的所述卷積融合特征輸入預(yù)設(shè)的resnet模型中，基于resnet網(wǎng)絡(luò)對最終的所述卷積融合特征進(jìn)行特征訓(xùn)練學(xué)習(xí)；

30、對最終的所述卷積融合特征進(jìn)行預(yù)處理，并將預(yù)處理后的最終的所述卷積融合特征輸入預(yù)設(shè)的resnet模型中，基于resnet網(wǎng)絡(luò)對最終的所述卷積融合特征進(jìn)行特征訓(xùn)練學(xué)習(xí)，構(gòu)建生成所述多視覺深度檢測模型。

31、另一方面，提供了一種基于多視覺深度信息的人臉關(guān)鍵點(diǎn)識別裝置，所述基于多視覺深度信息的人臉關(guān)鍵點(diǎn)識別裝置用于實(shí)現(xiàn)所述基于多視覺深度信息的人臉關(guān)鍵點(diǎn)識別方法，所述裝置包括：

32、圖像采集模塊，用于采集用戶的人臉圖像并輸入人臉關(guān)鍵點(diǎn)識別模塊；

33、人臉關(guān)鍵點(diǎn)識別模塊，用于利用預(yù)先訓(xùn)練的多視覺深度檢測模型，識別并輸出所述人臉圖像上的人臉關(guān)鍵點(diǎn)的識別結(jié)果；

34、所述圖像采集模塊與所述人臉關(guān)鍵點(diǎn)識別模塊通信連接。

35、另一方面，提供一種電子設(shè)備，所述電子設(shè)備包括：處理器；存儲器，所述存儲器上存儲有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)如上述基于多視覺深度信息的人臉關(guān)鍵點(diǎn)識別方法中的任一項(xiàng)方法。

36、另一方面，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)中存儲有至少一條指令，所述至少一條指令由處理器加載并執(zhí)行以實(shí)現(xiàn)上述基于多視覺深度信息的人臉關(guān)鍵點(diǎn)識別方法中的任一項(xiàng)方法。

37、本發(fā)明實(shí)施例提供的技術(shù)方案帶來的有益效果至少包括：

38、本發(fā)明通過收集人臉關(guān)鍵點(diǎn)的圖像大數(shù)據(jù)，包括rgb數(shù)據(jù)以及多視覺深度掃描數(shù)據(jù)；對所述人臉關(guān)鍵點(diǎn)的圖像大數(shù)據(jù)進(jìn)行特征工程，分別提取對應(yīng)rgb數(shù)據(jù)以及多視覺深度掃描數(shù)據(jù)的rgb圖像特征和多視覺深度圖像特征；將所述rgb圖像特征和所述多視覺深度圖像特征進(jìn)行特征融合，構(gòu)建得到多視覺深度圖像融合特征，并將所述多視覺深度圖像融合特征輸入預(yù)設(shè)的resnet模型中，進(jìn)行特征訓(xùn)練學(xué)習(xí)，構(gòu)建對應(yīng)識別人臉關(guān)鍵點(diǎn)的多視覺深度檢測模型，并由多視覺深度檢測模型識別并輸出人臉圖像上的人臉關(guān)鍵點(diǎn)的識別結(jié)果。能夠在已有的關(guān)鍵點(diǎn)識別模型的基礎(chǔ)上，加入圖像的深度信息進(jìn)行再次訓(xùn)練優(yōu)化，來達(dá)到更高的人臉關(guān)鍵點(diǎn)識別精度。

39、本發(fā)明在基于resnet模型結(jié)構(gòu)的基礎(chǔ)上，通過增加深度數(shù)據(jù)和優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，使其通過深度數(shù)據(jù)更加適應(yīng)關(guān)鍵點(diǎn)識別任務(wù)。深度信息的加入可以提供額外的三維空間特征，增強(qiáng)網(wǎng)絡(luò)的識別能力。

40、采用本發(fā)明，能夠提供以下幾個(gè)方面的改進(jìn)，從而進(jìn)一步提升模型的精度：

41、1.補(bǔ)充視覺信息并提高魯棒性：深度信息與rgb圖像相結(jié)合，可以提供更豐富的環(huán)境信息，幫助模型在復(fù)雜場景中更準(zhǔn)確地識別關(guān)鍵點(diǎn)。深度信息能夠減少光照變化、陰影和顏色相似性對模型的影響，使模型在不同環(huán)境下具有更好的魯棒性。深度數(shù)據(jù)提供的幾何特征更加穩(wěn)定，不易受外界干擾，從而提高模型的整體表現(xiàn)。

42、2.多模態(tài)融合：將深度信息與rgb圖像特征進(jìn)行融合，可以提升特征表達(dá)的豐富性和區(qū)分度。通過多模態(tài)數(shù)據(jù)的協(xié)同作用，模型能夠更全面地理解和解析輸入數(shù)據(jù)，提高關(guān)鍵點(diǎn)識別的精度。