本發(fā)明屬于計算機輔助手術領域,尤其涉及一種面向計算機輔助骨科手術的特征引導剛性點云配準方法。
背景技術:
1、本部分的陳述僅提供了與本發(fā)明相關的背景技術信息,不必然構成在先技術。
2、在計算機視覺與圖形學領域,點云配準作為關鍵技術,廣泛應用于醫(yī)療、機器人、自動駕駛等多個行業(yè)。在智能手術機器人系統(tǒng)中,精確的點云配準是手術規(guī)劃與導航的基礎,直接影響手術效果與患者安全。特別是在計算機輔助骨科手術中,3d骨骼配準至關重要,需解決術前完整骨骼點云與術中部分點云間的變換關系,確保手術精準實施。
3、傳統(tǒng)基于特征匹配或icp的配準算法在應對術中點云部分覆蓋、噪聲干擾及離群點問題時表現(xiàn)受限。術中點云通常僅覆蓋手術區(qū)域,與術前完整點云存在顯著差異,且兩者均可能受噪聲影響,降低了配準精度。此外,傳統(tǒng)方法往往忽視點云的幾何特征如法向量,限制了配準的魯棒性。
4、近年來,基于深度學習的三維點云配準方法雖取得進展,但多數(shù)方法僅利用位置信息,忽略了點云伴隨的法向量等幾何特征。同時,混合高斯模型在處理全局至局部配準時存在局限,因術前術后點云覆蓋區(qū)域不同導致模型參數(shù)差異?,F(xiàn)有的配準方法常假設一方點云完美,而實際情況中雙方均受噪聲與離群點影響,亟需創(chuàng)新算法以提升配準精度與魯棒性。
技術實現(xiàn)思路
1、為了解決上述背景技術中存在的至少一項技術問題,本發(fā)明提出了一種面向計算機輔助骨科手術的特征引導剛性點云配準方法,所述方法涵蓋了利用深度神經(jīng)網(wǎng)絡預測點云間重疊區(qū)域,并基于該重疊區(qū)域融合位置和法線信息預測聯(lián)合混合概率模型,以更準確地估計點云間對應關系。同時,該方法采用雙向優(yōu)化策略,在優(yōu)化術前完整點云到術中部分點云的變換基礎上,同步優(yōu)化術中點云到術前點云的變換,以應對術前和術中兩個空間的噪聲問題,全面提升配準的魯棒性和準確性。
2、為了實現(xiàn)上述目的,本發(fā)明采用如下技術方案:
3、第一方面,本發(fā)明提供一種面向計算機輔助骨科手術的特征引導剛性點云配準方法,包括:
4、分別對源點云與目標點云進行特征提取,得到源點云特征和目標點云特征;
5、根據(jù)源點云特征和目標點云特征計算點到分布對應關系和重疊分數(shù)向量;分別基于源點云與目標點云構建源點云混合特征模型和目標點云混合特征模型;
6、基于點到分布對應關系訓練源點云混合特征模型,得到源點云聯(lián)合混合模型;基于點到分布對應關系、重疊分數(shù)向量訓練目標點云混合特征模型,得到目標點云聯(lián)合混合模型;
7、基于源點云聯(lián)合混合模型和目標點云聯(lián)合混合模型進行雙向配準計算,優(yōu)化得到最優(yōu)變換矩陣。
8、優(yōu)選地,所述分別對源點云與目標點云進行特征提取,得到源點云特征和目標點云特征,具體包括:
9、獲取術前源點云和術中目標點云的三維信息;所述三維信息包括三維坐標信息及三維法線信息;
10、將源點云和目標點云的三維信息分別輸入特征提取模塊,得到源點云特征和目標點云特征;所述特征提取模塊基于pointnet的多層感知器結合transformer自注意力機制構建。
11、優(yōu)選地,所述點到分布對應關系包括源點云點到分布對應關系和目標點云點到分布對應關系;所述根據(jù)源點云特征和目標點云特征計算點到分布對應關系,具體包括:
12、分別對源點云特征和目標點云特征進行聚類,得到聚類中心;
13、通過softmax層計算源點云中每個點到其聚類中心的概率,得到源點云點到分布對應關系;并通過softmax層計算目標點云中每個點到其聚類中心的概率,得到目標點云點到分布對應關系。
14、優(yōu)選地,所述根據(jù)源點云特征和目標點云特征計算重疊分數(shù)向量,具體包括:
15、采用余弦相似度計算源點云特征和目標點云特征之間的相似性,構建逐點特征相似性矩陣;
16、通過第一多層感知機網(wǎng)絡對逐點特征相似性矩陣進行處理,并利用sigmoid函數(shù)得到逐點特征相似度向量;
17、將源點云特征通過全局最大池化層得到源點云全局特征描述符,將其與目標點云特征組成全局特征矩陣;將全局特征矩陣通過第二多層感知機網(wǎng)絡得到全局相似性向量;
18、將逐點特征相似度向量與全局相似性向量相乘,得到最終的重疊分數(shù)向量。
19、優(yōu)選地,所述逐點特征相似性矩陣為:
20、
21、其中,fxn和fym分別表示源點云和目標點云中第n個和第m個點的高維特征向量;
22、所述逐點特征相似度向量具體為:
23、
24、其中,mlps表示經(jīng)過第一多層感知機網(wǎng)絡處理;
25、所述最終的重疊分數(shù)向量為:
26、
27、其中,為全局相似性向量;oq是一個m×1的向量,其中的每個元素oqm表示目標點云中第m個點與源點云重疊區(qū)域的相似度得分。
28、優(yōu)選地,所述分別基于源點云與目標點云構建源點云混合特征模型和目標點云混合特征模型;具體包括:
29、
30、其中,x表示包含三維坐標信息和三維法線信息的源點云集或目標點云集;為參數(shù),n(xn|μj,∑j)表示高斯混合模型,表示費舍爾混合模型。
31、優(yōu)選地,通過正向預測變換矩陣t與反向基準變換矩陣的逆之間乘積與單位矩陣i之間差值來計算正向預測偏差lforward,為:
32、
33、通過反向預測變換矩陣的逆t-1與基準變換矩陣tgt之間乘積與單位矩陣i之間差值來計算反向預測偏差lbackward,為:
34、lbackward=||tgt·t-1-i||2
35、將所述兩個偏差進行加權整合,得到最終的雙向偏差結果lreg,為:
36、lreg=lforward+α·lbackward
37、其中,α為反向預測偏差權重值,且α≥0。
38、第二方面,本發(fā)明提供一種面向計算機輔助骨科手術的特征引導剛性點云配準系統(tǒng),包括:
39、特征提取模塊,用于分別對源點云與目標點云進行特征提取,得到源點云特征和目標點云特征;
40、中間量計算模塊,用于根據(jù)源點云特征和目標點云特征計算點到分布對應關系和重疊分數(shù)向量;分別基于源點云與目標點云構建源點云混合特征模型和目標點云混合特征模型;
41、模型參數(shù)計算模塊,用于基于點到分布對應關系訓練源點云混合特征模型,得到源點云聯(lián)合混合模型;基于點到分布對應關系、重疊分數(shù)向量訓練目標點云混合特征模型,得到目標點云聯(lián)合混合模型;
42、雙向配準模塊,用于基于源點云聯(lián)合混合模型和目標點云聯(lián)合混合模型進行雙向配準計算,優(yōu)化得到最優(yōu)變換矩陣。
43、第三方面,本發(fā)明提供一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,該程序被處理器執(zhí)行時實現(xiàn)第一方面所述的一種面向計算機輔助骨科手術的特征引導剛性點云配準方法中的步驟。
44、第四方面,本發(fā)明提供一種計算機設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執(zhí)行所述程序時實現(xiàn)第一方面所述的一種面向計算機輔助骨科手術的特征引導剛性點云配準方法中的步驟。
45、與現(xiàn)有技術相比,本發(fā)明的有益效果為:
46、1、在本發(fā)明中,通過融合點云的位置和法線信息,并采用雙向優(yōu)化策略,本發(fā)明的方法顯著提升了點云配準的精度和對噪聲及離群點的魯棒性。
47、2、本發(fā)明考慮了點云的法線信息,與傳統(tǒng)僅使用位置信息的方法相比,更好地利用了點云的幾何特征,增強了配準算結果的幾何不變性與準確度。
48、3、設計的雙分支網(wǎng)絡結構有效地預測和量化了點云間的重疊區(qū)域,為配準過程提供了關鍵的幾何信息,增強了配準的準確性。
49、4、本發(fā)明采用的雙向優(yōu)化策略通過同時優(yōu)化術前完整點云到術中部分點云的變換以及術中點云到術前點云的變換,提高了對術前術中兩個空間噪聲的魯棒性,提升了配準結果的準確性,還顯著增強了算法在面對部分重疊、噪聲干擾及離群點等復雜情況下的魯棒性,確保了在各種臨床應用場景中都能獲得穩(wěn)定可靠的配準效果。
50、5、在大量的人體骨骼數(shù)據(jù)集上進行了廣泛的實驗驗證表明,本發(fā)明的方法在不同重疊比例、噪聲水平以及離群點存在的情況下,均取得了理想的結果,表現(xiàn)出在計算機輔助骨科手術領域重要的潛在應用價值。
51、本發(fā)明附加方面的優(yōu)點將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過本發(fā)明的實踐了解到。