本發(fā)明涉及基礎設施，特別是涉及基于隱式編碼與幾何先驗的室內三維場景重建方法及系統(tǒng)。

背景技術：

1、基于多視圖立體視覺的場景重建方案：可以產(chǎn)生稠密的三維點云，此類方法依賴于多視圖一致性假設，通過視圖間的特征匹配來估計場景的三維結構，因此在遮擋區(qū)域、弱紋理區(qū)域以及強反射區(qū)域表現(xiàn)較差，難以獲得高置信度的深度值，使得最終輸出的點云存在大片空洞區(qū)域，影響場景重建完整性。

2、基于深度神經(jīng)網(wǎng)絡的重建方法：使用神經(jīng)網(wǎng)絡預測三維空間中點的屬性，通過融合深度圖來構建表面。此類方法無需在每個關鍵幀上單獨估計單視圖深度，直接通過稀疏體順序重建每個視頻片段的局部表面，無需深度融合。這些技術可以較為準確地預測場景的幾何形狀，但是不關注場景的渲染質量，無法輸出高質量的渲染圖片，并不適合直接應用于場景繪制。

3、基于純神經(jīng)輻射場與符號距離函數(shù)的方案：結合神經(jīng)輻射場和符號距離函數(shù)兩種隱式表征的優(yōu)點，可以精細地重建場景幾何表面的同時，渲染高分辨率的圖片。相較于傳統(tǒng)的多視圖立體視覺算法，隱式表征蘊含了整個場景的信息，所以有潛力重建出低紋理區(qū)域的三維結構，在小尺度和豐富紋理的場景中取得了令人驚嘆的重建效果，但在具有無紋理平面區(qū)域的大規(guī)模室內場景中往往產(chǎn)生較差的效果。

4、現(xiàn)有技術缺點：

5、1)對于無紋理區(qū)域重建效果差：目前已有的重建方案都是基于多視圖之間的特征匹配與約束重建場景幾何。而室內場景中具有大面的無紋理區(qū)域，例如墻面，在此類區(qū)域中難以進行精準的特征提取和匹配，并且不包含像素級優(yōu)化所需的足夠視覺特征。因此現(xiàn)有方案在無紋理區(qū)域中表現(xiàn)較差，難以恢復準確的幾何信息。大多數(shù)神經(jīng)方法無法重建具有大量無紋理區(qū)域的室內場景。

6、2)要求數(shù)據(jù)光度一致性強：現(xiàn)有的方法都是基于多視角一致性完成三維重建任務，它們假設場景在不同圖片中的外觀是一致的，這也稱之為光度一致性假設。然而在真實情境中，場景中的同一個點在不同圖片中往往顏色會發(fā)生變化，這是由于不同的成像過程(如曝光、光圈大小、白平衡等)和不同的采集時間導致的。在這種不滿足廣度一致性假設的情境中，現(xiàn)有算法效果會發(fā)生大幅度退化。

技術實現(xiàn)思路

1、本發(fā)明旨在至少在一定程度上解決相關技術中的技術問題之一。

2、為此，針對室內場景三維重建技術方案現(xiàn)階段存在的問題，即無紋理區(qū)域重建和數(shù)據(jù)光度一致性問題時，本發(fā)明提出了一種基于隱式編碼與幾何先驗的室內三維場景重建方法，該方法基于隱式編碼和幾何先驗，利用神經(jīng)輻射場模型對場景進行重建，顯著提升重建效果并克服現(xiàn)有方法的局限性。

3、本發(fā)明的另一個目的在于提出一種基于隱式編碼與幾何先驗的室內三維場景重建系統(tǒng)。

4、為達上述目的，本發(fā)明一方面提出一種基于隱式編碼與幾何先驗的室內三維場景重建方法，包括：

5、對待重建圖像數(shù)據(jù)進行數(shù)據(jù)處理得到對應的預處理數(shù)據(jù)；其中，所述預處理數(shù)據(jù)至少包括相機內外參和初始化的隱式外觀編碼；

6、根據(jù)相機內外參計算圖像數(shù)據(jù)上需要訓練的像素對應的世界坐標系下的射線；

7、將射線上的采樣點的三維坐標編碼和觀測角度編碼以及對應圖像的隱式外觀編碼輸入神經(jīng)輻射場模型得到預測的密度值和顏色值，并利用基于符號距離函數(shù)的體渲染預測得到像素值，以得到訓練好的神經(jīng)輻射場模型；

8、基于所述密度值和顏色值得到標準隱式外觀編碼，并將至少包括所述標準隱式外觀編碼的數(shù)據(jù)輸入訓練好的神經(jīng)輻射場模型獲取場景幾何信息以進行場景重建。

9、本發(fā)明實施例的基于隱式編碼與幾何先驗的室內三維場景重建方法還可以具有以下附加技術特征：

10、在本發(fā)明的一個實施例中，對待重建圖像數(shù)據(jù)進行數(shù)據(jù)處理得到對應的預處理數(shù)據(jù)，包括：

11、獲取待重建圖像數(shù)據(jù)；其中，所述待重建圖像數(shù)據(jù)，包括待重建室內三維場景的rgb圖像；

12、利用sfm運動恢復結構技術計算每一張rgb圖像的相機內外參；

13、將所有rgb圖像輸入預訓練的深度估計網(wǎng)絡和法線估計網(wǎng)絡以獲取對應的深度圖和法線圖，并將所述深度圖和法線圖作為監(jiān)督信號為神經(jīng)輻射場模型的訓練提供幾何先驗信息；

14、對每張rgb圖像隨機初始化一個可學習的隱式外觀編碼。

15、在本發(fā)明的一個實施例中，采用多層感知機作為所述神經(jīng)輻射場模型，所述方法，還包括：

16、將每條射線的采樣點輸入基于符號距離函數(shù)和隱式外觀編碼的神經(jīng)輻射場模型進行體渲染得到網(wǎng)絡估計結果；其中，所述網(wǎng)絡估計結果，包括最終成像平面上的估計rgb值、估計深度值和估計法線值；

17、獲取所述rgb圖像對應的rgb真值標簽、所述深度圖對應的深度偽標簽和所述法線圖的法線偽標簽；

18、基于所述網(wǎng)絡估計結果利用所述rgb真值標簽、所述深度偽標簽和所述法線偽標簽進行監(jiān)督，并通過反向傳播更新多層感知機的參數(shù)和隱式外觀編碼的數(shù)值以訓練多層感知機。

19、在本發(fā)明的一個實施例中，將至少包括所述標準隱式外觀編碼的數(shù)據(jù)輸入訓練好的神經(jīng)輻射場模型獲取場景幾何信息以進行場景重建，包括：

20、獲取用于測試的rgb圖像對應射線上的采樣點的三維坐標編碼和觀測角度編碼；

21、將用于測試的rgb圖像對應射線上的采樣點的三維坐標編碼和觀測角度編碼和所述標準隱式外觀編碼輸入訓練好的神經(jīng)輻射場以通過水平集方法提取符號距離場的零勢面；

22、將所述零勢面作為室內三維場景的幾何表面以進行室內三維場景重建。

23、在本發(fā)明的一個實施例中，所述獲取待重建圖像數(shù)據(jù)，包括：

24、利用攝像設備對待重建的室內場景進行拍攝以采集待重建室內三維場景的rgb圖像；其中，采集的所述rgb圖像覆蓋整個場景的所有物體表面，并且對同一處物體表面采集多個不同角度的圖片。

25、為達上述目的，本發(fā)明另一方面提出一種基于隱式編碼與幾何先驗的室內三維場景重建系統(tǒng)，包括：

26、數(shù)據(jù)預處理模塊，用于對待重建圖像數(shù)據(jù)進行數(shù)據(jù)處理得到對應的預處理數(shù)據(jù)；其中，所述預處理數(shù)據(jù)至少包括相機內外參和初始化的隱式外觀編碼；

27、射線數(shù)據(jù)計算模塊，用于根據(jù)相機內外參計算圖像數(shù)據(jù)上需要訓練的像素對應的世界坐標系下的射線；

28、網(wǎng)絡模型訓練模塊，用于將射線上的采樣點的三維坐標編碼和觀測角度編碼以及對應圖像的隱式外觀編碼輸入神經(jīng)輻射場模型得到預測的密度值和顏色值，并利用基于符號距離函數(shù)的體渲染預測得到像素值，以得到訓練好的神經(jīng)輻射場模型；

29、室內場景重建模塊，用于基于所述密度值和顏色值得到標準隱式外觀編碼，并將至少包括所述標準隱式外觀編碼的數(shù)據(jù)輸入訓練好的神經(jīng)輻射場模型獲取場景幾何信息以進行場景重建。

30、本發(fā)明實施例的基于隱式編碼與幾何先驗的室內三維場景重建方法和系統(tǒng)，首先使用預訓練模型提供更多的幾何先驗，通過使用預訓練的深度估計神經(jīng)網(wǎng)絡和法線估計神經(jīng)網(wǎng)絡，為三維重建引入額外的幾何先驗信息，改善室內場景中間對于大面積無紋理區(qū)域的建模效果，提升幾何重建結果的準確性和完整性。然后通過引入隱式外觀編碼，對不同采集圖片之間可能存在的外觀差異進行建模，可以減輕現(xiàn)有三維重建方案對于采集數(shù)據(jù)三維一致性的依賴，以提高算法在復雜情景下的魯棒性和表征能力。

31、本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。