本發(fā)明涉及測(cè)試場(chǎng)景重構(gòu)，尤其涉及一種船舶綜合測(cè)試場(chǎng)景實(shí)時(shí)三維融合重構(gòu)方法。

背景技術(shù)：

1、隨著智能船舶技術(shù)的快速發(fā)展，船舶綜合測(cè)試場(chǎng)景實(shí)時(shí)重構(gòu)成為了航行安全和智能導(dǎo)航的重要研究方向。在海上航行中，船舶需要與其他船舶和環(huán)境進(jìn)行交互和避碰，來確保航行的安全性和可靠性。因此，準(zhǔn)確地重構(gòu)和分析船舶綜合測(cè)試場(chǎng)景對(duì)于評(píng)估智能船舶的避碰策略和優(yōu)化航行路徑至關(guān)重要?，F(xiàn)有的船舶綜合測(cè)試場(chǎng)景重構(gòu)方法大多基于離線數(shù)據(jù)分析或虛擬仿真技術(shù)。然而，這些方法存在一些局限性，如無法實(shí)時(shí)獲取真實(shí)環(huán)境的數(shù)據(jù)、難以模擬真實(shí)船舶運(yùn)動(dòng)以及無法提供準(zhǔn)確的場(chǎng)景分析等問題。

技術(shù)實(shí)現(xiàn)思路

1、根據(jù)現(xiàn)有技術(shù)存在的問題，本發(fā)明公開了一種船舶綜合測(cè)試場(chǎng)景實(shí)時(shí)三維融合重構(gòu)方法，具體包括如下步驟：

2、讀取rgbd相機(jī)和單目相機(jī)的內(nèi)部參數(shù)信息，基于rgbd相機(jī)和單目相機(jī)采集船舶測(cè)試場(chǎng)景目標(biāo)物圖像數(shù)據(jù)流，對(duì)目標(biāo)物圖像數(shù)據(jù)流進(jìn)行預(yù)處理將圖像坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系并獲得稀疏點(diǎn)云模型從而構(gòu)建體素三維網(wǎng)格，

3、使用高斯差分金字塔構(gòu)建尺度空間以檢測(cè)圖像在不同尺度下的關(guān)鍵點(diǎn)，計(jì)算關(guān)鍵點(diǎn)周圍的梯度方向直方圖并作為描述子，使用歐氏距離匹配描述子，估計(jì)圖像間的相對(duì)位姿變換完成局部匹配過程，將局部幀塊投影映射到參考幀形成關(guān)鍵幀，進(jìn)入全局匹配過程：包括使用sift算法檢測(cè)關(guān)鍵幀間的共同特征點(diǎn)并估計(jì)相機(jī)位姿，基于gauss-newton算法對(duì)相機(jī)位姿和點(diǎn)云位置進(jìn)行迭代優(yōu)化并最小化重投影誤差，根據(jù)優(yōu)化后的相機(jī)位姿和點(diǎn)云位置，更新關(guān)鍵幀的位姿信息并融合tsdf函數(shù)中體素值形成稠密體術(shù)網(wǎng)格；

4、采用marching?cubes算法從稠密體術(shù)網(wǎng)格中提取三維模型的表面網(wǎng)格，遍歷表面網(wǎng)格中每個(gè)立方體單元，并基于立方體單元獲得頂點(diǎn)到最近表面的距離信息，從而生成最終的測(cè)試目標(biāo)物的三維模型。

5、進(jìn)一步的，對(duì)目標(biāo)物圖像數(shù)據(jù)流進(jìn)行局部匹配包括：基于sift算法從深度圖像中提取sift特征點(diǎn)，在圖像中尋找尺度空間的關(guān)鍵點(diǎn)，通過檢測(cè)圖像中的穩(wěn)定特征點(diǎn)確定sift特征點(diǎn)的位置和尺度，使用高斯差分金字塔構(gòu)建尺度空間，對(duì)每個(gè)尺度空間進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，通過尋找局部極值點(diǎn)確定關(guān)鍵點(diǎn)，對(duì)每個(gè)關(guān)鍵點(diǎn)的鄰域區(qū)域計(jì)算特征描述子，生成關(guān)鍵點(diǎn)附近的梯度方向直方圖，用于描述關(guān)鍵點(diǎn)周圍的圖像信息，利用關(guān)鍵點(diǎn)附近的圖像梯度方向和強(qiáng)度信息，生成描述子向量，對(duì)兩幅圖像中的特征描述子向量進(jìn)行匹配，找出在不同圖像中對(duì)應(yīng)的特征點(diǎn)對(duì)，使用歐氏距離衡量兩個(gè)特征向量之間的相似度，采用近鄰匹配方法篩選最佳匹配點(diǎn)對(duì)，通過匹配的特征點(diǎn)對(duì)估計(jì)兩幅圖像之間的相對(duì)位姿變換，迭代地選擇隨機(jī)樣本集并計(jì)算位姿變換模型，評(píng)估所有匹配點(diǎn)對(duì)與稀疏點(diǎn)云模型的符合程度，選擇點(diǎn)云之間誤差最小化的模型作為最優(yōu)的位姿變換模型。

6、進(jìn)一步的，形成稠密體術(shù)網(wǎng)格時(shí)具體采用如下方式：基于sift算法對(duì)圖像關(guān)鍵幀進(jìn)行特征點(diǎn)匹配和位姿估計(jì)，基于gauss-newton算法對(duì)相機(jī)位姿和點(diǎn)云位置進(jìn)行迭代優(yōu)化，在每次迭代中，計(jì)算雅可比矩陣j和殘差向量r，計(jì)算hessian矩陣，將重投影誤差函數(shù)定義為：

7、e(p)＝∑w*‖p′-p‖2

8、其中p′為預(yù)測(cè)的特征點(diǎn)坐標(biāo)，p為觀測(cè)到的特征點(diǎn)坐標(biāo)，w為權(quán)重，采用最小化重投影誤差形式對(duì)位姿和點(diǎn)云位置的參數(shù)進(jìn)行迭代更新，直到達(dá)到收斂條件，從而減小投影位置與實(shí)際觀測(cè)到的圖像坐標(biāo)之間的差異，根據(jù)優(yōu)化后的位姿和點(diǎn)云位置更新關(guān)鍵幀的位姿信息，融合tsdf函數(shù)中體素值形成稠密體術(shù)網(wǎng)格，當(dāng)tsdf值和權(quán)重達(dá)到一定閾值時(shí)，認(rèn)為體素已經(jīng)穩(wěn)定并融合至全局模型中。

9、進(jìn)一步的，從稠密體術(shù)網(wǎng)格中提取三維模型的表面網(wǎng)格時(shí)：首先定義空的三角網(wǎng)格數(shù)據(jù)結(jié)構(gòu)，用于存儲(chǔ)生成的三角面片，遍歷體素三維網(wǎng)格的每個(gè)體素單元，根據(jù)體素內(nèi)外標(biāo)記的組合，確定體素邊界上需要生成的三角面片，使用查表法進(jìn)行加速和優(yōu)化，最后獲得表面網(wǎng)格。

10、進(jìn)一步的，讀取rgbd相機(jī)和單目相機(jī)的內(nèi)部參數(shù)時(shí)，對(duì)相機(jī)進(jìn)行鏡頭的畸變校正，采用畸變參數(shù)進(jìn)行去畸變處理；對(duì)目標(biāo)物圖像數(shù)據(jù)流進(jìn)行預(yù)處理時(shí)包括：設(shè)置濾波窗口大小，計(jì)算每個(gè)濾波窗口內(nèi)每個(gè)像素與中心像素之間的空間距離和灰度差異，獲得空間權(quán)重和灰度權(quán)重，基于空間權(quán)重和灰度權(quán)重的乘積得到綜合權(quán)重，根據(jù)綜合權(quán)重對(duì)濾波窗口內(nèi)的像素進(jìn)行加權(quán)平均處理，得到濾波后的像素值，將濾波窗口在圖像上滑動(dòng)以便覆蓋整個(gè)圖像，再將雙邊濾波后的圖像信息進(jìn)行平均池化操作。

11、本發(fā)明提供了一種船舶綜合測(cè)試場(chǎng)景實(shí)時(shí)三維融合重構(gòu)方法，該方法采用bundlefusion算法實(shí)現(xiàn)實(shí)時(shí)三維重構(gòu)，其并行計(jì)算能力可以加速點(diǎn)云數(shù)據(jù)的處理和建模過程。相對(duì)于某些傳統(tǒng)方法，bundle?fusion能夠更快地生成和更新船舶綜合測(cè)試場(chǎng)景的三維模型，從而提供更及時(shí)的信息。bundle?fusion利用了全局優(yōu)化的技術(shù)，有助于提高三維重構(gòu)的精確性。通過考慮整個(gè)場(chǎng)景的一致性，該方法能夠準(zhǔn)確地還原船舶周圍的環(huán)境，包括水面、其他船只和周邊地物。

12、船舶綜合測(cè)試場(chǎng)景通常包含大量的場(chǎng)景動(dòng)態(tài)變化，例如波浪、船只運(yùn)動(dòng)等。bundlefusion對(duì)這些動(dòng)態(tài)變化具有一定的適應(yīng)性，能夠更好地處理運(yùn)動(dòng)物體，使得船舶周圍的場(chǎng)景更加真實(shí)和完整。由于bundle?fusion算法采用了一種基于體素(voxel)的表示方式，這種創(chuàng)新性的數(shù)據(jù)表達(dá)方式在處理大規(guī)模、復(fù)雜的船舶測(cè)試場(chǎng)景時(shí)展現(xiàn)出了卓越的可擴(kuò)展性。體素表示法不僅提升了數(shù)據(jù)處理的速度和效率，更確保了場(chǎng)景重構(gòu)的精確性和穩(wěn)定性。在處理模擬復(fù)雜的海上環(huán)境時(shí)，這一特性尤為關(guān)鍵。船舶綜合測(cè)試場(chǎng)景往往涉及廣闊的水域面積和多艘參與實(shí)驗(yàn)的船只，bundle?fusion算法的體素表示法能夠快速、準(zhǔn)確地捕捉每一個(gè)細(xì)節(jié)。

技術(shù)特征：

1.一種船舶綜合測(cè)試場(chǎng)景實(shí)時(shí)三維融合重構(gòu)方法，其特征在于包括：

2.根據(jù)權(quán)利要求1所述的一種船舶綜合測(cè)試場(chǎng)景實(shí)時(shí)三維融合重構(gòu)方法，其特征在于：對(duì)目標(biāo)物圖像數(shù)據(jù)流進(jìn)行局部匹配包括：基于sift算法從深度圖像中提取sift特征點(diǎn)，在圖像中尋找尺度空間的關(guān)鍵點(diǎn)，通過檢測(cè)圖像中的穩(wěn)定特征點(diǎn)確定sift特征點(diǎn)的位置和尺度，使用高斯差分金字塔構(gòu)建尺度空間，對(duì)每個(gè)尺度空間進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，通過尋找局部極值點(diǎn)確定關(guān)鍵點(diǎn)，對(duì)每個(gè)關(guān)鍵點(diǎn)的鄰域區(qū)域計(jì)算特征描述子，生成關(guān)鍵點(diǎn)附近的梯度方向直方圖，用于描述關(guān)鍵點(diǎn)周圍的圖像信息，利用關(guān)鍵點(diǎn)附近的圖像梯度方向和強(qiáng)度信息，生成描述子向量，對(duì)兩幅圖像中的特征描述子向量進(jìn)行匹配，找出在不同圖像中對(duì)應(yīng)的特征點(diǎn)對(duì)，使用歐氏距離衡量兩個(gè)特征向量之間的相似度，采用近鄰匹配方法篩選最佳匹配點(diǎn)對(duì)，通過匹配的特征點(diǎn)對(duì)估計(jì)兩幅圖像之間的相對(duì)位姿變換，迭代地選擇隨機(jī)樣本集并計(jì)算位姿變換模型，評(píng)估所有匹配點(diǎn)對(duì)與稀疏點(diǎn)云模型的符合程度，選擇點(diǎn)云之間誤差最小化的模型作為最優(yōu)的位姿變換模型。

3.根據(jù)權(quán)利要求1所述的一種船舶綜合測(cè)試場(chǎng)景實(shí)時(shí)三維融合重構(gòu)方法法，其特征在于：形成稠密體術(shù)網(wǎng)格時(shí)具體采用如下方式：基于sift算法對(duì)圖像關(guān)鍵幀進(jìn)行特征點(diǎn)匹配和位姿估計(jì)，基于gauss-newton算法對(duì)相機(jī)位姿和點(diǎn)云位置進(jìn)行迭代優(yōu)化，在每次迭代中，計(jì)算雅可比矩陣j和殘差向量r，計(jì)算hessian矩陣，將重投影誤差函數(shù)定義為：

4.根據(jù)權(quán)利要求3所述的一種船舶綜合測(cè)試場(chǎng)景實(shí)時(shí)三維融合重構(gòu)方法，其特征在于：從稠密體術(shù)網(wǎng)格中提取三維模型的表面網(wǎng)格時(shí)：首先定義空的三角網(wǎng)格數(shù)據(jù)結(jié)構(gòu)，用于存儲(chǔ)生成的三角面片，遍歷體素三維網(wǎng)格的每個(gè)體素單元，根據(jù)體素內(nèi)外標(biāo)記的組合，確定體素邊界上需要生成的三角面片，使用查表法進(jìn)行加速和優(yōu)化，最后獲得表面網(wǎng)格。

5.根據(jù)權(quán)利要求1至3任意一項(xiàng)所述的一種船舶綜合測(cè)試場(chǎng)景實(shí)時(shí)三維融合重構(gòu)方法，其特征在于：讀取rgbd相機(jī)和單目相機(jī)的內(nèi)部參數(shù)時(shí)，對(duì)相機(jī)進(jìn)行鏡頭的畸變校正，采用畸變參數(shù)進(jìn)行去畸變處理；對(duì)目標(biāo)物圖像數(shù)據(jù)流進(jìn)行預(yù)處理時(shí)包括：設(shè)置濾波窗口大小，計(jì)算每個(gè)濾波窗口內(nèi)每個(gè)像素與中心像素之間的空間距離和灰度差異，獲得空間權(quán)重和灰度權(quán)重，基于空間權(quán)重和灰度權(quán)重的乘積得到綜合權(quán)重，根據(jù)綜合權(quán)重對(duì)濾波窗口內(nèi)的像素進(jìn)行加權(quán)平均處理，得到濾波后的像素值，將濾波窗口在圖像上滑動(dòng)以便覆蓋整個(gè)圖像，再將雙邊濾波后的圖像信息進(jìn)行平均池化操作。

技術(shù)總結(jié)
本發(fā)明公開的一種船舶綜合測(cè)試場(chǎng)景實(shí)時(shí)三維融合重構(gòu)方法，該方法對(duì)目標(biāo)物圖像數(shù)據(jù)流進(jìn)行預(yù)處理將圖像坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系并獲得稀疏點(diǎn)云模型從而構(gòu)建體素三維網(wǎng)格，使用高斯差分金字塔構(gòu)建尺度空間以檢測(cè)圖像在不同尺度下的關(guān)鍵點(diǎn)，計(jì)算關(guān)鍵點(diǎn)周圍的梯度方向直方圖并作為描述子，使用歐氏距離匹配描述子，估計(jì)圖像間的相對(duì)位姿變換完成局部匹配過程，將局部幀塊投影映射到參考幀形成關(guān)鍵幀，進(jìn)入全局匹配過程；采用Marching?Cubes算法從稠密體術(shù)網(wǎng)格中提取三維模型的表面網(wǎng)格，遍歷表面網(wǎng)格中每個(gè)立方體單元，并基于立方體單元獲得頂點(diǎn)到最近表面的距離信息，從而生成最終的測(cè)試目標(biāo)物的三維模型。

技術(shù)研發(fā)人員：范云生,鮑枝揚(yáng)
受保護(hù)的技術(shù)使用者：大連海事大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9