本發(fā)明涉及三維模型領(lǐng)域，特別涉及一種基于圖片的3d虛擬模特姿勢生成方法及其系統(tǒng)。

背景技術(shù)：

1、三維模型是物體的多邊形表示，通常用計(jì)算機(jī)或者其它視頻設(shè)備進(jìn)行顯示，任何物理自然界存在的東西都可以用三維模型表示。隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，三維模型已經(jīng)成為了各行各業(yè)的重要工具。在游戲、電影、建筑、產(chǎn)品設(shè)計(jì)等領(lǐng)域中，三維模型被廣泛用于創(chuàng)造逼真的場景、視覺效果和交互體驗(yàn)。

2、虛擬模特是三維模型的一種具體應(yīng)用，其是指使用計(jì)算機(jī)技術(shù)生成的模特，可以在數(shù)字環(huán)境中進(jìn)行換裝和表演。這種技術(shù)可以用于服裝設(shè)計(jì)和銷售，也可以用于娛樂和藝術(shù)表演。虛擬模特通常是通過三維建模和動(dòng)畫技術(shù)創(chuàng)建的，可以使用各種軟件工具進(jìn)行制作和編輯。和真實(shí)模特相比，虛擬模特不受時(shí)間和地點(diǎn)限制，可以隨時(shí)進(jìn)行換裝和表演，同時(shí)還可以進(jìn)行更精確的數(shù)據(jù)分析和測試。因此，虛擬模特在數(shù)字時(shí)代的服裝行業(yè)中發(fā)揮著越來越重要的作用。

3、然而，虛擬模特的構(gòu)建極為復(fù)雜，原因包括：

4、復(fù)雜的建模技術(shù)：虛擬模特需要精細(xì)的三維模型來保證其真實(shí)感。在建模過程中，需要掌握高級的建模技術(shù)，如subdivision?surface、free?form?deformation等，才能創(chuàng)建出精細(xì)的模型。

5、復(fù)雜的動(dòng)畫技術(shù)：虛擬模特需要進(jìn)行各種動(dòng)作，如行走、跑步、跳躍等。在動(dòng)畫過程中，需要掌握各種動(dòng)畫技術(shù)，如關(guān)鍵幀動(dòng)畫、骨骼動(dòng)畫、肌肉系統(tǒng)等。

6、巨大的計(jì)算資源：由于虛擬模特需要處理大量的數(shù)據(jù)和算法，因此需要巨大的計(jì)算資源，如多核處理器、高性能顯卡等。

7、現(xiàn)有技術(shù)中存在借助傳感器或捕捉設(shè)備來實(shí)現(xiàn)虛擬模特姿勢的調(diào)整，但這些傳感器和捕捉設(shè)備造價(jià)極高，并且使用復(fù)雜，需要不斷進(jìn)行細(xì)節(jié)調(diào)整，如調(diào)整面部表情、手臂和腿部的位置、衣褶和紋理等，以保證虛擬模特的真實(shí)感和美觀度。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提出了一種基于圖片的3d虛擬模特姿勢生成方法及其系統(tǒng)，具體方案如下：

2、一種基于圖片的3d虛擬模特姿勢生成方法，包括：

3、獲取包含完整人體結(jié)構(gòu)的輸入圖片；

4、基于所述輸入圖片預(yù)測關(guān)于人體各部位的關(guān)鍵點(diǎn)，從各關(guān)鍵點(diǎn)中提取人體的骨骼節(jié)點(diǎn)的旋轉(zhuǎn)信息和相對于其父節(jié)點(diǎn)在三維空間的相對位移，以分析得到人體的姿勢表示；

5、基于所述姿勢表示和所述輸入圖片，構(gòu)建由一系列關(guān)節(jié)和骨骼組成、并能反映人體的身體結(jié)構(gòu)和姿勢的解析骨骼；

6、預(yù)先指定解析骨骼與預(yù)設(shè)3d虛擬模特之間的映射關(guān)系，基于所述映射關(guān)系通過骨骼姿勢重定向方法將所述解析骨骼的形態(tài)映射到所述3d虛擬模特模型的骨骼上，得到3d虛擬模特的姿勢。

7、在一個(gè)具體實(shí)施例中，若基于預(yù)測出的關(guān)鍵點(diǎn)解析出至少兩個(gè)人體結(jié)構(gòu)，則對關(guān)鍵點(diǎn)進(jìn)行分割，使得每個(gè)人體結(jié)構(gòu)對應(yīng)一組關(guān)鍵點(diǎn)。

8、在一個(gè)具體實(shí)施例中，所述關(guān)鍵點(diǎn)的獲取具體包括：

9、在所述輸入圖片中篩選出與人體有關(guān)的像素?cái)?shù)據(jù)，通過預(yù)設(shè)深度神經(jīng)網(wǎng)絡(luò)從所述像素?cái)?shù)據(jù)中提取人體特征；

10、基于人體特征預(yù)測包括頭部、軀干、四肢在內(nèi)的人體部位，并基于人體部位篩選出主要的骨骼節(jié)點(diǎn)作為關(guān)鍵點(diǎn)，確定關(guān)鍵點(diǎn)的2d坐標(biāo)。

11、在一個(gè)具體實(shí)施例中，所述相對位移的獲取包括：

12、預(yù)定義一個(gè)用位移向量來表示每個(gè)骨骼節(jié)點(diǎn)相對于其父節(jié)點(diǎn)的位置的人體關(guān)節(jié)樹結(jié)構(gòu)，位移向量的方向表示每個(gè)骨骼節(jié)點(diǎn)指向其父節(jié)點(diǎn)的方向，位移向量的大小表示每個(gè)骨骼節(jié)點(diǎn)與其父節(jié)點(diǎn)之間的距離；

13、基于相鄰兩個(gè)關(guān)鍵點(diǎn)的2d坐標(biāo)，計(jì)算各骨骼節(jié)點(diǎn)在二維空間相對于其父節(jié)點(diǎn)的位移，得到二維位移數(shù)據(jù)；

14、基于深度學(xué)習(xí)將所述二維位移數(shù)據(jù)轉(zhuǎn)換為三維空間下的相對位移。

15、在一個(gè)具體實(shí)施例中，所述旋轉(zhuǎn)信息的獲取包括：

16、在三維空間中定義一個(gè)關(guān)于人體整體的全局坐標(biāo)系；

17、預(yù)測每個(gè)骨骼節(jié)點(diǎn)相對于其父關(guān)節(jié)的位移，通過合并這些位移得出每個(gè)骨骼節(jié)點(diǎn)在所述全局坐標(biāo)系的位置；

18、知曉每個(gè)骨骼節(jié)點(diǎn)的位置后，通過預(yù)測每個(gè)骨骼節(jié)點(diǎn)相對于其父關(guān)節(jié)的旋轉(zhuǎn)，即可得出每個(gè)骨骼節(jié)點(diǎn)在全局坐標(biāo)系下的旋轉(zhuǎn)。

19、在一個(gè)具體實(shí)施例中，所述3d虛擬模特模型由網(wǎng)格和骨骼組成，網(wǎng)格包含頂點(diǎn)和面，每個(gè)頂點(diǎn)與骨骼綁定并有一定的權(quán)重；

20、將解析骨骼的形態(tài)映射到3d虛擬模特的骨骼上，使得兩者具有相同或相近的姿勢；

21、根據(jù)每個(gè)頂點(diǎn)的權(quán)重和所屬的骨骼，計(jì)算每個(gè)頂點(diǎn)的新位置，并更新3d虛擬模特的形狀，得到最終的3d虛擬模特的姿勢。

22、一種基于圖片的3d虛擬模特姿勢生成系統(tǒng)，包括：

23、輸入單元，用于獲取包含完整人體結(jié)構(gòu)的輸入圖片；

24、姿勢分析單元，用于基于所述輸入圖片預(yù)測關(guān)于人體各部位的關(guān)鍵點(diǎn)，從各關(guān)鍵點(diǎn)中提取人體的骨骼節(jié)點(diǎn)的旋轉(zhuǎn)信息和相對于其父節(jié)點(diǎn)在三維空間的相對位移，以分析得到人體的姿勢表示；

25、解析骨骼單元，用于基于所述姿勢表示和所述輸入圖片，構(gòu)建由一系列關(guān)節(jié)和骨骼組成、并能反映人體的身體結(jié)構(gòu)和姿勢的解析骨骼；

26、輸出單元，用于預(yù)先指定解析骨骼與預(yù)設(shè)3d虛擬模特之間的映射關(guān)系，基于所述映射關(guān)系通過骨骼姿勢重定向方法將所述解析骨骼的形態(tài)映射到所述3d虛擬模特模型的骨骼上，得到3d虛擬模特的姿勢。

27、在一個(gè)具體實(shí)施例中，所述姿勢分析單元包括：

28、節(jié)點(diǎn)估計(jì)網(wǎng)絡(luò)，用于通過多層卷積、激活和池化操作從所述輸入圖片中與人體有關(guān)的像素?cái)?shù)據(jù)中提取人體特征；基于人體特征預(yù)測包括頭部、軀干、四肢在內(nèi)的人體部位，并基于人體部位篩選出主要的骨骼節(jié)點(diǎn)作為關(guān)鍵點(diǎn)，確定關(guān)鍵點(diǎn)的2d坐標(biāo)；

29、姿態(tài)估計(jì)網(wǎng)絡(luò)，用于從關(guān)鍵點(diǎn)中提取人體的骨骼節(jié)點(diǎn)的旋轉(zhuǎn)信息和相對于其父節(jié)點(diǎn)在三維空間的相對位移。

30、在一個(gè)具體實(shí)施例中，所述相對位移的獲取包括：預(yù)定義一個(gè)用位移向量來表示每個(gè)骨骼節(jié)點(diǎn)相對于其父節(jié)點(diǎn)的位置的人體關(guān)節(jié)樹結(jié)構(gòu)，位移向量的方向表示每個(gè)骨骼節(jié)點(diǎn)指向其父節(jié)點(diǎn)的方向，位移向量的大小表示每個(gè)骨骼節(jié)點(diǎn)與其父節(jié)點(diǎn)之間的距離；基于相鄰兩個(gè)關(guān)鍵點(diǎn)的2d坐標(biāo)，計(jì)算各骨骼節(jié)點(diǎn)在二維空間相對于其父節(jié)點(diǎn)的位移，得到二維位移數(shù)據(jù)；基于深度學(xué)習(xí)將所述二維位移數(shù)據(jù)轉(zhuǎn)換為三維空間下的相對位移。

31、在一個(gè)具體實(shí)施例中，所述旋轉(zhuǎn)信息的獲取包括：在三維空間中定義一個(gè)關(guān)于人體整體的全局坐標(biāo)系；預(yù)測每個(gè)骨骼節(jié)點(diǎn)相對于其父關(guān)節(jié)的位移，通過合并這些位移得出每個(gè)骨骼節(jié)點(diǎn)在所述全局坐標(biāo)系的位置；知曉每個(gè)骨骼節(jié)點(diǎn)的位置后，通過預(yù)測每個(gè)骨骼節(jié)點(diǎn)相對于其父關(guān)節(jié)的旋轉(zhuǎn)，即可得出每個(gè)骨骼節(jié)點(diǎn)在全局坐標(biāo)系下的旋轉(zhuǎn)。

32、有益效果：

33、本發(fā)明提供了一種基于圖片的3d虛擬模特姿勢生成方法及其系統(tǒng)，利用輸入圖片中的人物姿勢來驅(qū)動(dòng)3d虛擬模特的姿勢，借助深度神經(jīng)網(wǎng)絡(luò)來預(yù)測姿勢表示，使3d虛擬模特能夠復(fù)現(xiàn)輸入圖片中的人物姿勢，生成流程簡單高效，使用成本低。并且全程無需使用復(fù)雜的傳感器或捕捉設(shè)備，無需手動(dòng)對圖片進(jìn)行標(biāo)準(zhǔn)，也無需手動(dòng)調(diào)整3d虛擬模特姿勢數(shù)據(jù)，盡可能的減少外部輸入，只保留輸入圖片作為驅(qū)動(dòng)。