本申請(qǐng)涉及三維重建，尤其涉及一種基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、近年來(lái)，隨著虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)、數(shù)字地球、高精度地圖、城市規(guī)劃設(shè)計(jì)等眾多領(lǐng)域的發(fā)展，數(shù)字地面模型和場(chǎng)景三維模型作為重要的基礎(chǔ)數(shù)據(jù)，其重建技術(shù)在這些領(lǐng)域中顯得更加關(guān)鍵并且呈現(xiàn)出多樣化的趨勢(shì)。

2、當(dāng)前三維重建的主流手段包括基于激光點(diǎn)云和基于光學(xué)影像的方法?；诩す恻c(diǎn)云的采集設(shè)備通常價(jià)格昂貴、采集成本高，相比之下光學(xué)影像則有著更加經(jīng)濟(jì)、便捷、靈活的優(yōu)勢(shì)?；诠鈱W(xué)影像的傳統(tǒng)數(shù)字地面模型重建方法，主要依賴于基于立體視差的攝影測(cè)量技術(shù)。然而，這種方法在影像紋理較差或存在遮擋的區(qū)域（如水體、建筑陰影等）容易失效，導(dǎo)致數(shù)字地面模型的重建精度受限，模型重建精度也有待提升。

3、因此，如何有效提高地面三維重建的數(shù)字地面模型精度，成為一個(gè)亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的主要目的在于提供一種基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在解決如何有效提高地面三維重建的數(shù)字地面模型精度的技術(shù)問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)岢鲆环N基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，該方法包括：

3、將目標(biāo)地區(qū)對(duì)應(yīng)的衛(wèi)星采樣光線數(shù)據(jù)輸入預(yù)設(shè)神經(jīng)輻射場(chǎng)模型獲得所述目標(biāo)地區(qū)對(duì)應(yīng)的場(chǎng)景信息；

4、根據(jù)所述場(chǎng)景信息構(gòu)建基于雙向反射分布函數(shù)的物理成像模型；

5、基于所述物理成像模型對(duì)所述預(yù)設(shè)神經(jīng)輻射場(chǎng)模型進(jìn)行優(yōu)化，獲得目標(biāo)神經(jīng)輻射場(chǎng)模型；

6、通過(guò)所述目標(biāo)神經(jīng)輻射場(chǎng)模型確定所述目標(biāo)地區(qū)的場(chǎng)景高程信息，生成所述目標(biāo)地區(qū)對(duì)應(yīng)的地面三維重建模型。

7、在一實(shí)施例中，所述根據(jù)所述場(chǎng)景信息構(gòu)建基于雙向反射分布函數(shù)的物理成像模型的步驟，包括：

8、根據(jù)所述場(chǎng)景信息對(duì)應(yīng)的密度場(chǎng)信息確定所述目標(biāo)地區(qū)內(nèi)場(chǎng)景物體對(duì)應(yīng)的初始法向量；

9、基于所述目標(biāo)地區(qū)對(duì)應(yīng)的衛(wèi)星影像數(shù)據(jù)和所述密度場(chǎng)信息對(duì)所述初始法向量進(jìn)行優(yōu)化，獲得優(yōu)化法向量；

10、根據(jù)所述優(yōu)化法向量構(gòu)建基于雙向反射分布函數(shù)的物理成像模型。

11、在一實(shí)施例中，所述基于所述目標(biāo)地區(qū)對(duì)應(yīng)的衛(wèi)星影像數(shù)據(jù)和所述密度場(chǎng)信息對(duì)所述初始法向量進(jìn)行優(yōu)化，獲得優(yōu)化法向量的步驟，包括：

12、基于所述目標(biāo)地區(qū)對(duì)應(yīng)的衛(wèi)星影像數(shù)據(jù)和所述密度場(chǎng)信息確定目標(biāo)射線方向；

13、根據(jù)所述目標(biāo)射線方向?qū)λ龀跏挤ㄏ蛄窟M(jìn)行方向優(yōu)化，獲得優(yōu)化法向量。

14、在一實(shí)施例中，所述根據(jù)所述優(yōu)化法向量構(gòu)建基于雙向反射分布函數(shù)的物理成像模型的步驟，包括：

15、基于所述優(yōu)化法向量確定球諧函數(shù)基；

16、根據(jù)所述場(chǎng)景信息對(duì)應(yīng)的反照率、所述密度場(chǎng)信息和所述球諧函數(shù)基構(gòu)建基于雙向反射分布函數(shù)的物理成像模型。

17、在一實(shí)施例中，所述根據(jù)所述場(chǎng)景信息對(duì)應(yīng)的反照率、所述密度場(chǎng)信息和所述球諧函數(shù)基構(gòu)建基于雙向反射分布函數(shù)的物理成像模型的步驟，包括：

18、根據(jù)所述場(chǎng)景信息對(duì)應(yīng)的陰影標(biāo)量和所述密度場(chǎng)信息確定所述目標(biāo)地區(qū)對(duì)應(yīng)的目標(biāo)光照系數(shù)；

19、基于所述場(chǎng)景信息對(duì)應(yīng)的反照率和所述密度場(chǎng)信息確定所述目標(biāo)地區(qū)內(nèi)場(chǎng)景物體表面對(duì)應(yīng)的點(diǎn)反射率；

20、根據(jù)點(diǎn)反射率、所述球諧函數(shù)基和所述目標(biāo)光照系數(shù)構(gòu)建所述物理成像模型。

21、在一實(shí)施例中，所述根據(jù)所述場(chǎng)景信息對(duì)應(yīng)的陰影標(biāo)量和所述密度場(chǎng)信息確定所述目標(biāo)地區(qū)對(duì)應(yīng)的目標(biāo)光照系數(shù)的步驟，包括：

22、基于所述密度場(chǎng)信息確定所述采樣射線的采樣點(diǎn)權(quán)重；

23、根據(jù)所述場(chǎng)景信息對(duì)應(yīng)的陰影標(biāo)量和所述采樣點(diǎn)權(quán)重確定所述采樣射線對(duì)應(yīng)目標(biāo)像素處的像素陰影量；

24、基于所述像素陰影量確定所述目標(biāo)地區(qū)對(duì)應(yīng)的目標(biāo)光照系數(shù)。

25、在一實(shí)施例中，所述基于所述物理成像模型對(duì)所述預(yù)設(shè)神經(jīng)輻射場(chǎng)模型進(jìn)行優(yōu)化，獲得目標(biāo)神經(jīng)輻射場(chǎng)模型的步驟，還包括：

26、基于所述物理成像模型生成所述目標(biāo)地區(qū)對(duì)應(yīng)的場(chǎng)景合成圖像；

27、根據(jù)所述場(chǎng)景信息生成所述目標(biāo)地區(qū)對(duì)應(yīng)的場(chǎng)景渲染圖像；

28、基于所述衛(wèi)星影像數(shù)據(jù)對(duì)應(yīng)的真值圖像、所述場(chǎng)景合成圖像和所述場(chǎng)景渲染圖像確定初步重建損失；

29、根據(jù)預(yù)設(shè)法向優(yōu)化約束和所述初步重建損失對(duì)所述預(yù)設(shè)神經(jīng)輻射場(chǎng)模型進(jìn)行模型迭代，獲得目標(biāo)神經(jīng)輻射場(chǎng)模型。

30、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建裝置，基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建裝置包括：

31、密度場(chǎng)分析模塊，用于將目標(biāo)地區(qū)對(duì)應(yīng)的衛(wèi)星采樣光線數(shù)據(jù)輸入預(yù)設(shè)神經(jīng)輻射場(chǎng)模型獲得所述目標(biāo)地區(qū)對(duì)應(yīng)的場(chǎng)景信息；

32、場(chǎng)景分析模塊，用于根據(jù)所述場(chǎng)景信息構(gòu)建基于雙向反射分布函數(shù)的物理成像模型；

33、優(yōu)化模塊，用于基于所述物理成像模型對(duì)所述預(yù)設(shè)神經(jīng)輻射場(chǎng)模型進(jìn)行優(yōu)化，獲得目標(biāo)神經(jīng)輻射場(chǎng)模型；

34、三維重建模塊，用于通過(guò)所述目標(biāo)神經(jīng)輻射場(chǎng)模型確定所述目標(biāo)地區(qū)的場(chǎng)景高程信息，生成所述目標(biāo)地區(qū)對(duì)應(yīng)的地面三維重建模型。

35、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建設(shè)備，設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的地面三維重建程序，地面三維重建程序配置為實(shí)現(xiàn)如上文的基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法的步驟。

36、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種存儲(chǔ)介質(zhì)，存儲(chǔ)介質(zhì)為存儲(chǔ)介質(zhì)，存儲(chǔ)介質(zhì)上存儲(chǔ)有地面三維重建程序，地面三維重建程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文的基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法的步驟。

37、本申請(qǐng)?zhí)峁┝艘环N基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：將目標(biāo)地區(qū)對(duì)應(yīng)的衛(wèi)星采樣光線數(shù)據(jù)輸入預(yù)設(shè)神經(jīng)輻射場(chǎng)模型獲得目標(biāo)地區(qū)對(duì)應(yīng)的場(chǎng)景信息；根據(jù)場(chǎng)景信息構(gòu)建基于雙向反射分布函數(shù)的物理成像模型；基于物理成像模型對(duì)預(yù)設(shè)神經(jīng)輻射場(chǎng)模型進(jìn)行優(yōu)化，獲得目標(biāo)神經(jīng)輻射場(chǎng)模型；通過(guò)目標(biāo)神經(jīng)輻射場(chǎng)模型確定目標(biāo)地區(qū)的場(chǎng)景高程信息，生成目標(biāo)地區(qū)對(duì)應(yīng)的地面三維重建模型。本申請(qǐng)首先獲取目標(biāo)地區(qū)的衛(wèi)星影像數(shù)據(jù)對(duì)應(yīng)的多視角采樣光線數(shù)據(jù)，即上述衛(wèi)星采樣光線數(shù)據(jù)，再將衛(wèi)星采樣光線數(shù)據(jù)輸入預(yù)設(shè)神經(jīng)輻射場(chǎng)模型以對(duì)目標(biāo)地區(qū)的衛(wèi)星影像數(shù)據(jù)的三維場(chǎng)景信息進(jìn)行分析，獲得目標(biāo)地區(qū)對(duì)應(yīng)的場(chǎng)景信息來(lái)優(yōu)化圖像紋理，然后基于場(chǎng)景信息構(gòu)建基于雙向反射分布函數(shù)的物理成像模型，以基于物理成像模型對(duì)預(yù)設(shè)神經(jīng)輻射場(chǎng)模型進(jìn)行優(yōu)化，最后基于優(yōu)化后的目標(biāo)神經(jīng)輻射場(chǎng)模型預(yù)測(cè)精準(zhǔn)的場(chǎng)景信息，進(jìn)而基于精準(zhǔn)的場(chǎng)景信息確定目標(biāo)地區(qū)對(duì)應(yīng)的高精度高程信息，從而顯著提升最終生成的數(shù)字地面三維重建模型的精度。

技術(shù)特征：

1.一種基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，其特征在于，所述方法包括：

2.如權(quán)利要求1所述的基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，其特征在于，所述根據(jù)所述場(chǎng)景信息構(gòu)建基于雙向反射分布函數(shù)的物理成像模型的步驟，包括：

3.如權(quán)利要求2所述的基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，其特征在于，所述基于所述目標(biāo)地區(qū)對(duì)應(yīng)的衛(wèi)星影像數(shù)據(jù)和所述密度場(chǎng)信息對(duì)所述初始法向量進(jìn)行優(yōu)化，獲得優(yōu)化法向量的步驟，包括：

4.如權(quán)利要求2所述的基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，其特征在于，所述根據(jù)所述優(yōu)化法向量構(gòu)建基于雙向反射分布函數(shù)的物理成像模型的步驟，包括：

5.如權(quán)利要求4所述的基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，其特征在于，所述根據(jù)所述場(chǎng)景信息對(duì)應(yīng)的反照率、所述密度場(chǎng)信息和所述球諧函數(shù)基構(gòu)建基于雙向反射分布函數(shù)的物理成像模型的步驟，包括：

6.如權(quán)利要求5所述的基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，其特征在于，所述根據(jù)所述場(chǎng)景信息對(duì)應(yīng)的陰影標(biāo)量和所述密度場(chǎng)信息確定所述目標(biāo)地區(qū)對(duì)應(yīng)的目標(biāo)光照系數(shù)的步驟，包括：

7.如權(quán)利要求1所述的基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法，其特征在于，所述基于所述物理成像模型對(duì)所述預(yù)設(shè)神經(jīng)輻射場(chǎng)模型進(jìn)行優(yōu)化，獲得目標(biāo)神經(jīng)輻射場(chǎng)模型的步驟，還包括：

8.一種基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建裝置，其特征在于，所述基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建裝置包括：

9.一種基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建設(shè)備，其特征在于，所述基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的地面三維重建程序，所述地面三維重建程序配置為實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法的步驟。

10.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)為存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有地面三維重建程序，所述地面三維重建程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種基于神經(jīng)輻射場(chǎng)和雙向反射分布函數(shù)的數(shù)字地面三維重建方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，本申請(qǐng)涉及三維重建技術(shù)領(lǐng)域，該方法包括：將目標(biāo)地區(qū)對(duì)應(yīng)的衛(wèi)星采樣光線數(shù)據(jù)輸入預(yù)設(shè)神經(jīng)輻射場(chǎng)模型獲得場(chǎng)景信息；根據(jù)場(chǎng)景信息構(gòu)建基于雙向反射分布函數(shù)的物理成像模型；基于物理成像模型對(duì)預(yù)設(shè)神經(jīng)輻射場(chǎng)模型進(jìn)行優(yōu)化，獲得目標(biāo)神經(jīng)輻射場(chǎng)模型；通過(guò)目標(biāo)神經(jīng)輻射場(chǎng)模型確定目標(biāo)地區(qū)的場(chǎng)景高程信息，生成目標(biāo)地區(qū)對(duì)應(yīng)的地面三維重建模型。本申請(qǐng)基于衛(wèi)星影像光線數(shù)據(jù)獲取的場(chǎng)景信息構(gòu)建物理成像模型，再通過(guò)物理成像模型優(yōu)化預(yù)設(shè)神經(jīng)輻射場(chǎng)模型，從而基于優(yōu)化后的目標(biāo)神經(jīng)輻射場(chǎng)模型確定高精度的場(chǎng)景高程信息，提升地面三維模型的重建精度。

技術(shù)研發(fā)人員：李雨順,胡志華,潘志庚,張考,蔡創(chuàng)新
受保護(hù)的技術(shù)使用者：南京信息工程大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2