本發(fā)明涉及機器人仿真，尤其涉及一種基于點云的機器人環(huán)境仿真重建方法、裝置、設備和介質(zhì)。

背景技術(shù)：

1、在現(xiàn)代化倉儲和物流行業(yè)中，amr和agv等自主移動機器人設備的性能和可靠性對于確保物流機器人安全、穩(wěn)定運行至關(guān)重要。然而在真實的運行環(huán)境中進行機器人性能測試往往需要大量資源，包括設備、人工和時間成本。另一方面，在有些極端場景下，比如測試機器人防止跌落功能，如在實際場景中測試風險較大；

2、相比之下，仿真平臺允許機器人在虛擬環(huán)境中進行大量測試和優(yōu)化，無需占用實際倉儲或物流場地，大幅降低機器人測試成本。在仿真場景中快速準確重建與實際運行場景相同的環(huán)境至關(guān)重要。

3、對于本領(lǐng)域技術(shù)人員來說，如何有效地從點云數(shù)據(jù)中提取環(huán)境信息并在仿真平臺快速準確的重建與實際運行環(huán)境相同的仿真環(huán)境，是一個具有挑戰(zhàn)性的任務。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種基于點云的機器人環(huán)境仿真重建方法、裝置、設備和介質(zhì)，利用訓練好的機器模型對環(huán)境點云進行識別，能夠快速準確確定環(huán)境點云類型，實現(xiàn)在仿真軟件中快速重建與機器人實際運行環(huán)境相同的仿真環(huán)境，使得測試結(jié)果更能反映機器人在實際運行場景中的表現(xiàn)，減少了因環(huán)境差異導致的誤差，提高了測試結(jié)果的可信度。

2、根據(jù)本發(fā)明的一方面，提供了一種基于點云的機器人環(huán)境仿真重建方法，包括：

3、通過機器人配置的至少一個激光雷達獲取周圍環(huán)境原始點云；

4、對原始點云進行預處理得到參考環(huán)境點云；利用訓練好的occupancy?networks模型對輸入的每個參考環(huán)境點云進行識別，得到參考環(huán)境點云類型信息，其中occupancynetworks模型采用多層感知機結(jié)構(gòu)，包含setabstraction層和特征提取層；

5、根據(jù)每個參考環(huán)境點云類型信息，在仿真平臺進行加載得到機器人的仿真重建環(huán)境。

6、可選的，將原始點云進行預處理得到參考環(huán)境點云，包括：

7、基于時間序列算法，檢測并過濾原始點云中的動態(tài)障礙物點云，得到靜態(tài)環(huán)境點云；

8、將靜態(tài)環(huán)境點云映射到第一柵格圖中，得到靜態(tài)環(huán)境點云柵格；

9、計算各靜態(tài)環(huán)境點云柵格的點云密度，對點云密度小于預設閾值的柵格進行點云過濾，得到參考環(huán)境柵格，參考環(huán)境柵格內(nèi)包括參考環(huán)境點云；

10、利用訓練好的occupancynetworks模型對參考環(huán)境柵格內(nèi)的參考環(huán)境點云進行識別，確定參考環(huán)境點云類型信息。

11、可選的，利用訓練好的occupancynetworks模型對參考環(huán)境柵格內(nèi)的參考環(huán)境點云進行識別，確定參考環(huán)境點云類型信息；包括：

12、隨機選取參考環(huán)境柵格中的任一參考環(huán)境點云為中心點，保存中心點的位置信息，使用滑動窗口法分別沿世界坐標系的x軸、y軸和z軸方向按照預設步長進行滑動；每滑動一次獲取第一預設半徑范圍內(nèi)的點云信息，作為參考環(huán)境點云子數(shù)據(jù)集，直至全部參考環(huán)境點云數(shù)據(jù)統(tǒng)計完成；其中，預設步長小于第一預設半徑值；

13、根據(jù)訓練好的occupancynetworks模型對參考環(huán)境點云子數(shù)據(jù)集進行識別，確定參考環(huán)境點云類型；

14、通過泊松重建算法把不同類型的參考環(huán)境點云轉(zhuǎn)換成mesh格式。

15、可選的，通過泊松重建算法把不同類型的參考環(huán)境點云轉(zhuǎn)換為mesh格式，包括：

16、構(gòu)建向量場：根據(jù)參考環(huán)境點云中的每個點及法向量，構(gòu)建一個向量場v；

17、向量場

18、其中v(q)是q處的向量場，pi是輸入點云中第i個點的位置，ni為點pi的法向量，f為方向敏感的核函數(shù)，(q-pi)表示從點pi到點q的向量，d為核函數(shù)的維度，||q-pi||表示點q到pi的歐式距離，n是點云中點的總數(shù)；

19、f是方向敏感的核函數(shù)，f(r)＝max(0,r-r)3/r3,r是支持半徑，r表示點q到點pi的距離；

20、求解泊松方程：將所述向量場作為源項，構(gòu)建泊松方程▽2χ＝▽·v，確定指示函數(shù)χ的近似值，其中χ在曲面內(nèi)部為正，在曲面外部為負，曲面上為零或接近零；其中▽2表示拉普拉斯算子，▽·表示散度算子。

21、等值面提?。豪胢arching?cubes算法，從求解得到的指示函數(shù)χ中提取等值面，作為最終的mesh模型進行存儲。

22、可選的，利用訓練好的occupancynetworks模型對輸入的每個參考環(huán)境點云進行識別步驟之前，包括：

23、通過仿真軟件搭建機器人的仿真環(huán)境，至少包括墻壁、柱子、托盤、配置有激光雷達的機器人；

24、通過仿真軟件獲取所述仿真環(huán)境點云的類型信息；

25、將所述仿真環(huán)境點云映射到第二柵格中，得到帶有仿真環(huán)境點云類型信息的第二柵格；

26、根據(jù)仿真環(huán)境點云和帶有仿真環(huán)境點云類型信息的第二柵格構(gòu)建得到訓練數(shù)據(jù)集。

27、可選的，根據(jù)仿真環(huán)境點云和帶有仿真環(huán)境點云類型信息的第二柵格構(gòu)建得到訓練數(shù)據(jù)集之后，包括：

28、隨機選取訓練數(shù)據(jù)集中的任一點云，以點云為中心點，使用滑動窗口法分別沿世界坐標系的x軸、y軸和z軸方向按照第二預設步長滑動，獲取第二半徑范圍內(nèi)的點云，作為occupancynetworks模型的輸入點，得到第二半徑范圍內(nèi)每個柵格的類型，通過標注的標簽進行監(jiān)督訓練；

29、重復選取點云進行模型訓練，迭代優(yōu)化模型參數(shù)，直到模型輸出結(jié)果滿足損失函數(shù)要求。

30、可選的，occupancynetworks模型，包括：

31、點云輸入模塊，用于接收機器人環(huán)境點云，包括周圍環(huán)境原始點云和/或仿真環(huán)境點云；

32、set?abstraction層，包含多個下采樣層和特征提取層，其中：

33、下采樣層使用最遠點采樣算法選擇關(guān)鍵點；

34、特征提取層包含多個連接層和池化層，在所述每個關(guān)鍵點周圍選擇鄰域點，用于從所述set?abstraction層輸出的特征集合中通過pointnet++結(jié)構(gòu)提取局部特征；

35、編碼器模塊，使用全局池化操作，將所述特征圖轉(zhuǎn)換為全局特征向量；

36、多層感知機(mlp)層，用于融合查詢點(x,y,z)坐標和所述全局特征向量；

37、輸出層，輸出所述每個查詢點的類型預測概率，形成三維空間的預測類型概率圖；

38、損失計算與優(yōu)化模塊，采用交叉熵損失函數(shù)評估預測類型與實際類型之間的差異，并通過優(yōu)化算法調(diào)整網(wǎng)絡參數(shù)。

39、根據(jù)本發(fā)明的另一方面，提供了一種基于點云的機器人環(huán)境仿真重建裝置，包括：

40、環(huán)境點云采集模塊，用于通過機器人配置的至少一個激光雷達獲取周圍環(huán)境原始點云數(shù)據(jù)；

41、點云處理模塊，用于對原始點云數(shù)據(jù)進行預處理得到參考環(huán)境點云；

42、點云類型預測模塊，用于利用訓練好的occupancynetworks模型對輸入的每個參考環(huán)境點云數(shù)據(jù)進行識別，得到參考環(huán)境點云類型預測信息；

43、環(huán)境加載確定模塊，用于根據(jù)每個參考環(huán)境點云類型預測信息，在仿真平臺進行加載得到機器人的仿真重建環(huán)境。

44、根據(jù)本發(fā)明的另一方面，提供了一種電子設備，電子設備包括：

45、至少一個處理器；以及

46、與至少一個處理器通信連接的存儲器；其中，

47、存儲器存儲有可被至少一個處理器執(zhí)行的計算機程序，計算機程序被至少一個處理器執(zhí)行，以使至少一個處理器能夠執(zhí)行本發(fā)明任一實施例所述的基于點云的機器人環(huán)境仿真重建方法。

48、根據(jù)本發(fā)明的另一方面，提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機指令，所述計算機指令用于使處理器執(zhí)行時實現(xiàn)本發(fā)明任一實施例所述的基于點云的機器人環(huán)境仿真重建方法。

49、本發(fā)明實施例的技術(shù)方案，通過機器人配置的至少一個激光雷達獲取周圍環(huán)境原始點云；對原始點云進行預處理得到參考環(huán)境點云；利用訓練好的occupancynetworks模型對輸入的每個參考環(huán)境點云進行識別，得到參考環(huán)境點云類型信息，其中occupancynetworks模型采用多層感知機結(jié)構(gòu)，包含set?abstraction層和特征提取層；根據(jù)每個參考環(huán)境點云類型信息，在仿真平臺進行加載得到機器人的仿真重建環(huán)境。本技術(shù)方案，基于點云的機器人環(huán)境仿真重建方法，利用訓練好的機器模型對環(huán)境點云進行識別，能夠快速準確確定環(huán)境點云類型，實現(xiàn)在仿真軟件中快速重建與機器人實際運行環(huán)境相同的仿真環(huán)境，使得測試結(jié)果更能反映機器人在實際運行場景中的表現(xiàn)，減少了因環(huán)境差異導致的誤差，提高了測試結(jié)果的可信度。

50、應當理解，本部分所描述的內(nèi)容并非旨在標識本發(fā)明的實施例的關(guān)鍵或重要特征，也不用于限制本發(fā)明的范圍。本發(fā)明的其它特征將通過以下的說明書而變得容易理解。