本技術(shù)涉及三維模型生成，具體而言，涉及一種設(shè)施三維模型的生成方法、生成裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、空間布局以及場(chǎng)景生成往往是建筑空間設(shè)計(jì)的重要環(huán)節(jié)，通過(guò)合理設(shè)計(jì)設(shè)施的色彩搭配，來(lái)提升空間的美觀性，是營(yíng)造氛圍、提升美感的重要一環(huán)。

2、目前，大多數(shù)的建筑空間布局生成方法主要側(cè)重于布局合理性，而使用者往往沒(méi)有細(xì)節(jié)真實(shí)豐富的設(shè)施模型可以挑選，無(wú)法通過(guò)設(shè)施模型直觀的了解到空間整體的設(shè)計(jì)風(fēng)格。因此，如何生成真實(shí)的設(shè)施三維模型成為了不容小覷的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)的目的在于提供一種設(shè)施三維模型的生成方法、生成裝置、設(shè)備及介質(zhì)，融合文本描述和多視角圖像的特征信息，生成精準(zhǔn)的設(shè)施語(yǔ)義特征表示，接著通過(guò)擴(kuò)散模型對(duì)輸入的語(yǔ)義特征向量進(jìn)行形狀生成和優(yōu)化，生成符合描述的設(shè)施三維形狀模型。最后，使用紋理生成對(duì)抗網(wǎng)絡(luò)，實(shí)現(xiàn)設(shè)施紋理的高保真再現(xiàn)，提升了所生成的設(shè)施三維模型的細(xì)節(jié)豐富度和視覺(jué)真實(shí)感。

2、第一方面，本技術(shù)實(shí)施例提供了一種設(shè)施三維模型的生成方法，所述生成方法包括：

3、獲取目標(biāo)設(shè)施對(duì)應(yīng)的原始模型在多個(gè)視角下的圖像，以及所述目標(biāo)設(shè)施對(duì)應(yīng)的信息文本數(shù)據(jù)；

4、對(duì)多個(gè)所述圖像進(jìn)行視覺(jué)特征提取得到視覺(jué)風(fēng)格特征向量，對(duì)所述信息文本數(shù)據(jù)進(jìn)行文本特征提取得到文本特征向量；

5、將所述視覺(jué)風(fēng)格特征向量和所述文本特征向量輸入到預(yù)先訓(xùn)練好的跨模態(tài)特征融合模型中進(jìn)行跨模態(tài)特征融合，以得到跨模態(tài)特征向量；

6、將所述跨模態(tài)特征向量輸入到預(yù)先訓(xùn)練好的擴(kuò)散模型中，得到所述目標(biāo)設(shè)施的初始三維模型；

7、將所述初始三維模型和所述跨模態(tài)特征向量輸入到預(yù)先訓(xùn)練好的紋理生成對(duì)抗網(wǎng)絡(luò)中，得到所述目標(biāo)設(shè)施的目標(biāo)三維模型；其中，所述目標(biāo)三維模型的表面設(shè)置有所述目標(biāo)設(shè)施的設(shè)施紋理圖。

8、進(jìn)一步的，所述對(duì)多個(gè)所述圖像進(jìn)行視覺(jué)特征提取得到視覺(jué)風(fēng)格特征向量，對(duì)所述信息文本數(shù)據(jù)進(jìn)行文本特征提取得到文本特征向量，包括：

9、針對(duì)于每個(gè)圖像，將該圖像轉(zhuǎn)化為多個(gè)圖像標(biāo)記序列，并將多個(gè)所述圖像標(biāo)記序列輸入到圖像編碼器中，得到圖像嵌入向量；

10、將所述圖像嵌入向量輸入至vit模型中進(jìn)行編碼，得到圖像特征，并對(duì)所述圖像特征進(jìn)行平均池化處理，得到該圖像的圖像特征向量；

11、對(duì)多個(gè)所述圖像的圖像特征向量進(jìn)行向量拼接，得到目標(biāo)特征向量，并對(duì)所述目標(biāo)特征向量進(jìn)行歸一化處理，得到所述視覺(jué)風(fēng)格特征向量；

12、將所述信息文本數(shù)據(jù)轉(zhuǎn)化為多個(gè)文本標(biāo)記序列，并將多個(gè)所述文本標(biāo)記序列輸入到文本編碼器進(jìn)行嵌入，得到文本嵌入向量；

13、將所述文本嵌入向量輸入至transformer模型中進(jìn)行編碼，得到文本特征，并對(duì)所述文本特征進(jìn)行平均池化處理，得到所述信息文本數(shù)據(jù)的初始特征向量；

14、對(duì)所述初始特征向量進(jìn)行歸一化處理，得到所述信息文本數(shù)據(jù)的文本特征向量。

15、進(jìn)一步的，所述將所述跨模態(tài)特征向量輸入到預(yù)先訓(xùn)練好的擴(kuò)散模型中，得到所述目標(biāo)設(shè)施的初始三維模型，包括：

16、將所述跨模態(tài)特征向量與第一隨機(jī)噪聲向量作為第一輸入數(shù)據(jù)，將所述第一輸入數(shù)據(jù)輸入至所述擴(kuò)散模型中，得到所述擴(kuò)散模型中每個(gè)擴(kuò)散階段輸出的擴(kuò)散結(jié)果；其中，所述擴(kuò)散階段包括低分辨階段、中分辨率階段和高分辨率階段；

17、對(duì)每個(gè)擴(kuò)散階段輸出的擴(kuò)散結(jié)果進(jìn)行融合，以得到所述初始三維模型。

18、進(jìn)一步的，所述將所述初始三維模型和所述跨模態(tài)特征向量輸入到預(yù)先訓(xùn)練好的紋理生成對(duì)抗網(wǎng)絡(luò)中，得到所述目標(biāo)設(shè)施的目標(biāo)三維模型，包括：

19、將所述跨模態(tài)特征向量以及第二隨機(jī)噪聲向量作為第二輸入數(shù)據(jù)，將所述第二輸入數(shù)據(jù)輸入到所述紋理生成對(duì)抗網(wǎng)絡(luò)的生成器中，得到所述設(shè)施紋理圖；

20、利用所述設(shè)施紋理圖以及所述初始三維模型生成所述目標(biāo)三維模型。

21、進(jìn)一步的，通過(guò)下述步驟訓(xùn)練所述紋理生成對(duì)抗網(wǎng)絡(luò)：

22、初始化所述紋理生成對(duì)抗網(wǎng)絡(luò)中生成器的參數(shù)和判別器的參數(shù)；

23、將第一樣本輸入數(shù)據(jù)輸入至所述生成器中，得到第一生成紋理圖，并將所述第一生成紋理圖和真實(shí)紋理圖輸入至所述判別器中，計(jì)算所述判別器的梯度懲罰損失值，并基于所述梯度懲罰損失值使用梯度下降法更新所述判別器的參數(shù)；

24、將第二樣本輸入數(shù)據(jù)輸入至所述生成器中，得到第二生成紋理圖，將所述第二生成紋理圖輸入至所述判別器中，基于所述判別器的判別結(jié)果計(jì)算所述生成器的損失值，并基于所述損失值使用梯度下降法更新所述生成器的參數(shù)；

25、反復(fù)交替訓(xùn)練所述生成器和所述判別器，直至所述生成器和所述判別器達(dá)到收斂，得到所述紋理生成對(duì)抗網(wǎng)絡(luò)。

26、第二方面，本技術(shù)實(shí)施例還提供了一種設(shè)施三維模型的生成裝置，所述生成裝置包括：

27、獲取模塊，用于獲取目標(biāo)設(shè)施對(duì)應(yīng)的原始模型在多個(gè)視角下的圖像，以及所述目標(biāo)設(shè)施對(duì)應(yīng)的信息文本數(shù)據(jù)；

28、特征向量提取模塊，用于對(duì)多個(gè)所述圖像進(jìn)行視覺(jué)特征提取得到視覺(jué)風(fēng)格特征向量，對(duì)所述信息文本數(shù)據(jù)進(jìn)行文本特征提取得到文本特征向量；

29、特征融合模塊，用于將所述視覺(jué)風(fēng)格特征向量和所述文本特征向量輸入到預(yù)先訓(xùn)練好的跨模態(tài)特征融合模型中進(jìn)行跨模態(tài)特征融合，以得到跨模態(tài)特征向量；

30、初始三維模型生成模塊，用于將所述跨模態(tài)特征向量輸入到預(yù)先訓(xùn)練好的擴(kuò)散模型中，得到所述目標(biāo)設(shè)施的初始三維模型；

31、目標(biāo)三維模型生成模塊，用于將所述初始三維模型和所述跨模態(tài)特征向量輸入到預(yù)先訓(xùn)練好的紋理生成對(duì)抗網(wǎng)絡(luò)中，得到所述目標(biāo)設(shè)施的目標(biāo)三維模型；其中，所述目標(biāo)三維模型的表面設(shè)置有所述目標(biāo)設(shè)施的設(shè)施紋理圖。

32、進(jìn)一步的，所述特征向量提取模塊在用于對(duì)多個(gè)所述圖像進(jìn)行視覺(jué)特征提取得到視覺(jué)風(fēng)格特征向量，對(duì)所述信息文本數(shù)據(jù)進(jìn)行文本特征提取得到文本特征向量時(shí)，所述特征向量提取模塊還用于：

33、針對(duì)于每個(gè)圖像，將該圖像轉(zhuǎn)化為多個(gè)圖像標(biāo)記序列，并將多個(gè)所述圖像標(biāo)記序列輸入到圖像編碼器中，得到圖像嵌入向量；

34、將所述圖像嵌入向量輸入至vit模型中進(jìn)行編碼，得到圖像特征，并對(duì)所述圖像特征進(jìn)行平均池化處理，得到該圖像的圖像特征向量；

35、對(duì)多個(gè)所述圖像的圖像特征向量進(jìn)行向量拼接，得到目標(biāo)特征向量，并對(duì)所述目標(biāo)特征向量進(jìn)行歸一化處理，得到所述視覺(jué)風(fēng)格特征向量；

36、將所述信息文本數(shù)據(jù)轉(zhuǎn)化為多個(gè)文本標(biāo)記序列，并將多個(gè)所述文本標(biāo)記序列輸入到文本編碼器進(jìn)行嵌入，得到文本嵌入向量；

37、將所述文本嵌入向量輸入至transformer模型中進(jìn)行編碼，得到文本特征，并對(duì)所述文本特征進(jìn)行平均池化處理，得到所述信息文本數(shù)據(jù)的初始特征向量；

38、對(duì)所述初始特征向量進(jìn)行歸一化處理，得到所述信息文本數(shù)據(jù)的文本特征向量。

39、進(jìn)一步的，所述初始三維模型生成模塊在用于將所述跨模態(tài)特征向量輸入到預(yù)先訓(xùn)練好的擴(kuò)散模型中，得到所述目標(biāo)設(shè)施的初始三維模型時(shí)，所述初始三維模型生成模塊還用于：

40、將所述跨模態(tài)特征向量與第一隨機(jī)噪聲向量作為第一輸入數(shù)據(jù)，將所述第一輸入數(shù)據(jù)輸入至所述擴(kuò)散模型中，得到所述擴(kuò)散模型中每個(gè)擴(kuò)散階段輸出的擴(kuò)散結(jié)果；其中，所述擴(kuò)散階段包括低分辨階段、中分辨率階段和高分辨率階段；

41、對(duì)每個(gè)擴(kuò)散階段輸出的擴(kuò)散結(jié)果進(jìn)行融合，以得到所述初始三維模型。

42、第三方面，本技術(shù)實(shí)施例還提供一種電子設(shè)備，包括：處理器、存儲(chǔ)器和總線，所述存儲(chǔ)器存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)電子設(shè)備運(yùn)行時(shí)，所述處理器與所述存儲(chǔ)器之間通過(guò)總線通信，所述機(jī)器可讀指令被所述處理器執(zhí)行時(shí)執(zhí)行如上述的設(shè)施三維模型的生成方法的步驟。

43、第四方面，本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行如上述的設(shè)施三維模型的生成方法的步驟。

44、本技術(shù)實(shí)施例所提供的一種設(shè)施三維模型的生成方法、生成裝置、設(shè)備及介質(zhì)，首先，獲取目標(biāo)設(shè)施對(duì)應(yīng)的原始模型在多個(gè)視角下的圖像，以及所述目標(biāo)設(shè)施對(duì)應(yīng)的信息文本數(shù)據(jù)；然后，對(duì)多個(gè)所述圖像進(jìn)行視覺(jué)特征提取得到視覺(jué)風(fēng)格特征向量，對(duì)所述信息文本數(shù)據(jù)進(jìn)行文本特征提取得到文本特征向量；將所述視覺(jué)風(fēng)格特征向量和所述文本特征向量輸入到預(yù)先訓(xùn)練好的跨模態(tài)特征融合模型中進(jìn)行跨模態(tài)特征融合，以得到跨模態(tài)特征向量；將所述跨模態(tài)特征向量輸入到預(yù)先訓(xùn)練好的擴(kuò)散模型中，得到所述目標(biāo)設(shè)施的初始三維模型；最后，將所述初始三維模型和所述跨模態(tài)特征向量輸入到預(yù)先訓(xùn)練好的紋理生成對(duì)抗網(wǎng)絡(luò)中，得到所述目標(biāo)設(shè)施的目標(biāo)三維模型；其中，所述目標(biāo)三維模型的表面設(shè)置有所述目標(biāo)設(shè)施的設(shè)施紋理圖。

45、本技術(shù)利用設(shè)施的自然語(yǔ)言描述作為輸入，結(jié)合跨模態(tài)的特征提取和多層次的生成策略，提供高質(zhì)量的設(shè)施三維模型的生成。首先，融合文本描述和多視角圖像的特征信息，生成精準(zhǔn)的設(shè)施語(yǔ)義特征表示，接著通過(guò)擴(kuò)散模型對(duì)輸入的語(yǔ)義特征向量進(jìn)行形狀生成和優(yōu)化，生成符合描述的設(shè)施三維形狀模型。最后，使用紋理生成對(duì)抗網(wǎng)絡(luò)，實(shí)現(xiàn)設(shè)施紋理的高保真再現(xiàn)，提升了所生成的設(shè)施三維模型的細(xì)節(jié)豐富度和視覺(jué)真實(shí)感。

46、為使本技術(shù)的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說(shuō)明如下。