本發(fā)明屬于三維視覺領(lǐng)域，具體涉及一種基于場景引導(dǎo)的點(diǎn)云分割方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、近期，隨著三維雷達(dá)傳感技術(shù)和數(shù)據(jù)采集手段的進(jìn)步，三維點(diǎn)云數(shù)據(jù)在自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)等多個(gè)領(lǐng)域得到了廣泛應(yīng)用，這不僅推動(dòng)了點(diǎn)云處理技術(shù)的發(fā)展，也加強(qiáng)了對三維場景的深入理解。三維點(diǎn)云語義分割，已成為實(shí)現(xiàn)三維視覺任務(wù)的關(guān)鍵。此外，隨著深度神經(jīng)網(wǎng)絡(luò)的飛速發(fā)展，基于深度學(xué)習(xí)的方法如開創(chuàng)性的pointnet通過多層感知機(jī)學(xué)習(xí)點(diǎn)云的全局特征，以及利用卷積神經(jīng)網(wǎng)絡(luò)和基于自注意力機(jī)制的transformer網(wǎng)絡(luò)，已在三維點(diǎn)云分割任務(wù)中取得顯著進(jìn)展。

2、盡管基于神經(jīng)網(wǎng)絡(luò)的策略在三維點(diǎn)云分割任務(wù)中已取得顯著成就，但它們依然面臨著三維雷達(dá)點(diǎn)云數(shù)據(jù)所固有的挑戰(zhàn)性問題，如點(diǎn)云數(shù)據(jù)在細(xì)節(jié)紋理上的缺失及其不規(guī)則性、非結(jié)構(gòu)化和無序性的問題。

3、首先，點(diǎn)云在細(xì)節(jié)紋理上的缺失使得算法在淺層細(xì)節(jié)的表現(xiàn)上存在不足，這對于算法在捕獲上下文信息及聚合局部特征方面造成了顯著的困難。其次，點(diǎn)云數(shù)據(jù)的稀疏特性不僅導(dǎo)致了高顯存占用和計(jì)算時(shí)間的增長，也嚴(yán)重制約了網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的靈活性。

4、現(xiàn)有研究主要集中于優(yōu)化特征提取的主干網(wǎng)絡(luò)，并常采用簡易的u-net形特征融合頸以整合多級(jí)特征。雖然依靠自注意力等機(jī)制，這些強(qiáng)化的特征提取網(wǎng)絡(luò)已經(jīng)取得顯著的進(jìn)展，并極大增強(qiáng)了編碼能力，然而，相對簡單的解碼器未能充分利用由這些高效編碼器提供的多尺度信息特征，難以充分還原場景細(xì)節(jié)。

5、現(xiàn)有方法一般難以對物體的細(xì)節(jié)部分很好識(shí)別，場景對于認(rèn)識(shí)物體起到了至關(guān)重要的作用，比如沙發(fā)存在于客廳中，床出現(xiàn)在臥室里，這樣的關(guān)聯(lián)在過去的模型中往往被忽略。研究表明，一個(gè)功能強(qiáng)大的解碼器對于網(wǎng)絡(luò)性能同樣至關(guān)重要。盡管如此，高昂的計(jì)算成本仍然是這一領(lǐng)域發(fā)展的主要障礙。盡管現(xiàn)有一些算法針對這些問題進(jìn)行了優(yōu)化，一定程度上優(yōu)化了算法的計(jì)算占用，然而，高昂的顯存占用仍舊會(huì)帶來的泛用性較差等問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對目前幾種點(diǎn)云分割技術(shù)存在的不足之處，著眼于利用場景信息引導(dǎo)特征選擇充分解析編碼器信息，提供了一種基于場景引導(dǎo)的點(diǎn)云分割方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)。

2、第一方面，本發(fā)明提供了一種基于場景引導(dǎo)的點(diǎn)云分割方法，包括以下步驟：

3、步驟1：準(zhǔn)備包含任意大小和點(diǎn)數(shù)的點(diǎn)云數(shù)據(jù)集，并進(jìn)行數(shù)據(jù)預(yù)處理操作。

4、步驟2：設(shè)計(jì)點(diǎn)云分割模型，所述點(diǎn)云分割模型包括特征提取編碼器、特征解碼器和空洞注意力補(bǔ)差器。

5、所述特征提取編碼器，用于從點(diǎn)云數(shù)據(jù)中提取多層尺度特征；

6、所述特征解碼器，用于將特征提取編碼器中提取到的特征自下而上解碼融合，輸出與輸入圖像相同分辨率的分割結(jié)果；

7、所述空洞注意力補(bǔ)差器，用于以空洞結(jié)果擴(kuò)大高層特征感受野以提供給解碼器更好地對特征進(jìn)行還原。

8、步驟3：計(jì)算所述點(diǎn)云分割模型生成的預(yù)測分類信息與真值之間的交叉熵?fù)p失，訓(xùn)練所述點(diǎn)云分割模型。

9、步驟4：重復(fù)執(zhí)行步驟3直到達(dá)到預(yù)設(shè)的迭代次數(shù)，在每一輪迭代結(jié)束時(shí)保存模型的參數(shù)，利用獨(dú)立的驗(yàn)證集，在每輪訓(xùn)練結(jié)束后計(jì)算生成點(diǎn)云標(biāo)簽的miou指標(biāo)。

10、步驟5：選擇最佳miou指標(biāo)所對應(yīng)的模型參數(shù)，將其導(dǎo)入點(diǎn)云分割模型中，使用不同輸入的點(diǎn)云輸入點(diǎn)云分割模型生成分割結(jié)果。

11、第二方面，本發(fā)明提供了一種基于場景引導(dǎo)的點(diǎn)云分割系統(tǒng)，包括：

12、數(shù)據(jù)處理模塊：用于準(zhǔn)備包含任意大小和點(diǎn)數(shù)的點(diǎn)云數(shù)據(jù)集，并進(jìn)行數(shù)據(jù)預(yù)處理操作。

13、設(shè)計(jì)模塊：用于設(shè)計(jì)點(diǎn)云分割模型，所述點(diǎn)云分割模型包括特征提取編碼器、特征解碼器和空洞注意力補(bǔ)差器。

14、所述特征提取編碼器，用于從點(diǎn)云數(shù)據(jù)中提取多層尺度特征；

15、所述特征解碼器，用于將特征提取編碼器中提取到的特征自下而上解碼融合，輸出與輸入圖像相同分辨率的分割結(jié)果；

16、所述空洞注意力補(bǔ)差器，用于以空洞結(jié)果擴(kuò)大高層特征感受野以提供給解碼器更好地對特征進(jìn)行還原。

17、訓(xùn)練模塊：用于計(jì)算所述點(diǎn)云分割模型生成的預(yù)測分類信息與真值之間的交叉熵?fù)p失，訓(xùn)練點(diǎn)云分割模型。

18、迭代模塊：重復(fù)執(zhí)行步驟3直到達(dá)到預(yù)設(shè)的迭代次數(shù)，在每一輪迭代結(jié)束時(shí)保存模型的參數(shù)，利用獨(dú)立的驗(yàn)證集，在每輪訓(xùn)練結(jié)束后計(jì)算生成點(diǎn)云標(biāo)簽的miou指標(biāo)。

19、選擇輸出模塊：選擇最佳miou指標(biāo)所對應(yīng)的模型參數(shù)，將其導(dǎo)入點(diǎn)云分割模型中，使用不同輸入的點(diǎn)云輸入點(diǎn)云分割模型生成分割結(jié)果。

20、第三方面，本發(fā)明提供了一種基于場景引導(dǎo)的點(diǎn)云分割的電子設(shè)備，包括：存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其中，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述基于場景引導(dǎo)的點(diǎn)云分割方法。

21、第四方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序用于執(zhí)行上述基于場景引導(dǎo)的點(diǎn)云分割方法。

22、本發(fā)明的有益效果：

23、(1)為了充分利用場景驅(qū)動(dòng)特征的選擇，本發(fā)明提出了場景引導(dǎo)特征選擇解碼器，用于利用場景和特征間的注意力機(jī)制，優(yōu)化特征的解碼和融合過程，增強(qiáng)點(diǎn)與點(diǎn)之間的關(guān)聯(lián)性，并減少多尺度信息聚合中的誤差。

24、(2)為了解決傳統(tǒng)特征提取網(wǎng)絡(luò)在處理大范圍場景級(jí)特征時(shí)的局限性，本發(fā)明提出了空洞注意力補(bǔ)差器，用于通過特定的空洞策略增大感受野，從而在較小計(jì)算負(fù)擔(dān)下有效捕捉更廣闊的場景信息。

25、(3)本發(fā)明不僅提升了點(diǎn)云分割模型對復(fù)雜點(diǎn)云數(shù)據(jù)的處理能力，還顯著提高了在公認(rèn)的點(diǎn)云數(shù)據(jù)集(如s3dis和scannet)上的分割性能。

技術(shù)特征：

1.一種基于場景引導(dǎo)的點(diǎn)云分割方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于場景引導(dǎo)的點(diǎn)云分割方法，其特征在于，所述步驟1中數(shù)據(jù)預(yù)處理操作包括：將點(diǎn)云大小標(biāo)準(zhǔn)化到設(shè)定點(diǎn)數(shù)，對坐標(biāo)和顏色進(jìn)行歸一化，并且對坐標(biāo)信息進(jìn)行z軸對齊以提高點(diǎn)云輸入的精度和一致性。

3.根據(jù)權(quán)利要求1所述的一種基于場景引導(dǎo)的點(diǎn)云分割方法，其特征在于，所述步驟2包括：

4.根據(jù)權(quán)利要求3所述的一種基于場景引導(dǎo)的點(diǎn)云分割方法，其特征在于，所述步驟2-2中，所述特征解碼器由雙向帶權(quán)金字塔模塊和場景引導(dǎo)特征選擇模塊組成。

5.根據(jù)權(quán)利要求1所述的一種基于場景引導(dǎo)的點(diǎn)云分割方法，其特征在于，所述步驟3中訓(xùn)練點(diǎn)云分割模型包括：

6.根據(jù)權(quán)利要求5所述的一種基于場景引導(dǎo)的點(diǎn)云分割方法，其特征在于，所述步驟3-1中所述數(shù)據(jù)增強(qiáng)具體為：引入坐標(biāo)的非線性變換以模擬數(shù)據(jù)獲取過程中可能的失真，并且引入±5度的旋轉(zhuǎn)角度、±0.2的縮放比例和0.1的位置抖動(dòng)以增強(qiáng)原本的點(diǎn)云數(shù)據(jù)集。

7.一種基于場景引導(dǎo)的點(diǎn)云分割系統(tǒng)，其特征在于，包括：

8.根據(jù)權(quán)利要求7所述的一種基于場景引導(dǎo)的點(diǎn)云分割系統(tǒng)，其特征在于，所述設(shè)計(jì)模塊：

9.一種基于場景引導(dǎo)的點(diǎn)云分割的電子設(shè)備，其特征在于，包括：存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其中，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述權(quán)利要求1至6任一所述的一種基于場景引導(dǎo)的點(diǎn)云分割方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序用于執(zhí)行上述權(quán)利要求1至6任一所述的一種基于場景引導(dǎo)的點(diǎn)云分割方法。

技術(shù)總結(jié)
本發(fā)明公開了一種基于場景引導(dǎo)的點(diǎn)云分割方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)。首先，為了充分利用場景驅(qū)動(dòng)特征的選擇，本發(fā)明提出了場景引導(dǎo)特征選擇解碼器，用于利用場景和特征間的注意力機(jī)制，優(yōu)化特征的解碼和融合過程，增強(qiáng)點(diǎn)與點(diǎn)之間的關(guān)聯(lián)性，并減少多尺度信息聚合中的誤差。其次，為了解決傳統(tǒng)特征提取網(wǎng)絡(luò)在處理大范圍場景級(jí)特征時(shí)的局限性，本發(fā)明提出了空洞注意力補(bǔ)差器，用于通過特定的空洞策略增大感受野，從而在較小計(jì)算負(fù)擔(dān)下有效捕捉更廣闊的場景信息。最后，本發(fā)明不僅提升了點(diǎn)云分割模型對復(fù)雜點(diǎn)云數(shù)據(jù)的處理能力，還顯著提高了在公認(rèn)的點(diǎn)云數(shù)據(jù)集（如S3DIS和ScanNet）上的分割性能。

技術(shù)研發(fā)人員：宋超,費(fèi)瑜杰,楊柏林
受保護(hù)的技術(shù)使用者：浙江工商大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6