本發(fā)明涉及智慧醫(yī)療系統(tǒng)，尤其涉及一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的手術(shù)器材注冊(cè)方法及系統(tǒng)。

背景技術(shù)：

1、在當(dāng)前的智慧醫(yī)療系統(tǒng)中，手術(shù)器材的注冊(cè)是開(kāi)展智慧手術(shù)前必不可少的步驟，而器材的精準(zhǔn)定位和注冊(cè)是確?，F(xiàn)代信息化手術(shù)，例如自動(dòng)化手術(shù)或遠(yuǎn)程輔助手術(shù)，能夠順利進(jìn)行的關(guān)鍵前提。

2、目前，手術(shù)器材注冊(cè)方法主要包含光學(xué)跟蹤系統(tǒng)和電磁跟蹤系統(tǒng)。光學(xué)跟蹤系統(tǒng)通常使用紅外攝像頭和反射標(biāo)記來(lái)確定手術(shù)器材的位置和姿態(tài)，然而光學(xué)系統(tǒng)對(duì)環(huán)境光線(xiàn)敏感，手術(shù)室中的強(qiáng)光或陰影都會(huì)干擾系統(tǒng)的正常工作，導(dǎo)致注冊(cè)精度降低。另一方面，電磁跟蹤系統(tǒng)利用電磁場(chǎng)來(lái)跟蹤手術(shù)器材的位置和姿態(tài)，具有一定的穿透能力，可以在一定程度上克服遮擋問(wèn)題，然而電磁系統(tǒng)容易受到金屬物體的干擾，同時(shí)手術(shù)室中的許多設(shè)備和工具都含有金屬成分，其也會(huì)影響手術(shù)器件跟蹤結(jié)果的準(zhǔn)確性。

3、此外，光學(xué)跟蹤系統(tǒng)需要多臺(tái)攝像機(jī)和計(jì)算設(shè)備，不僅占用空間大，還不易搬運(yùn)和安裝，不適合在應(yīng)急情況下使用。電磁系統(tǒng)的精度和穩(wěn)定性較光學(xué)系統(tǒng)低，特別是在復(fù)雜的手術(shù)環(huán)境，例如地震、火災(zāi)或大規(guī)模傷亡事件的守護(hù)環(huán)境中，容易出現(xiàn)位置漂移和誤差。

4、針對(duì)上述問(wèn)題，目前業(yè)界暫未提出較佳的技術(shù)解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供了一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的手術(shù)器材注冊(cè)方法及系統(tǒng)，用于至少解決以上目前相關(guān)技術(shù)中的至少一個(gè)問(wèn)題。

2、第一方面，本發(fā)明實(shí)施例提供一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的手術(shù)器材注冊(cè)方法，應(yīng)用于ar眼鏡，所述方法包括：基于多個(gè)傳感器模組，分別從不同視角采集手術(shù)區(qū)域的目標(biāo)rgb圖像和目標(biāo)空間深度信息；每一所述傳感器模組分別具有相關(guān)聯(lián)的方位信息和視角信息；所述傳感器模組包含攝像頭、深度傳感器、激光測(cè)距儀和慣性傳感器；根據(jù)所述目標(biāo)rgb圖像和所述目標(biāo)空間深度信息，生成手術(shù)區(qū)域三維模型；將所述目標(biāo)rgb圖像和所述目標(biāo)空間深度信息輸入至器材識(shí)別模型，以由所述器材識(shí)別模型確定所述手術(shù)區(qū)域中待注冊(cè)的目標(biāo)手術(shù)器材所對(duì)應(yīng)的目標(biāo)器材類(lèi)型；從虛擬組件數(shù)據(jù)庫(kù)中加載與所述目標(biāo)器材類(lèi)型相匹配的目標(biāo)標(biāo)準(zhǔn)虛擬組件；所述虛擬組件數(shù)據(jù)庫(kù)預(yù)存儲(chǔ)多個(gè)標(biāo)準(zhǔn)虛擬組件，每一所述標(biāo)準(zhǔn)虛擬組件分別具有相應(yīng)的器材類(lèi)型；獲取針對(duì)所述目標(biāo)手術(shù)器材的器材實(shí)時(shí)追蹤數(shù)據(jù)，并根據(jù)所述器件實(shí)時(shí)追蹤數(shù)據(jù)將所述目標(biāo)標(biāo)準(zhǔn)虛擬組件動(dòng)態(tài)疊加至所述手術(shù)區(qū)域三維模型；所述器材實(shí)時(shí)追蹤數(shù)據(jù)包含ar眼鏡實(shí)時(shí)姿態(tài)、ar眼鏡實(shí)時(shí)位置、手術(shù)器材實(shí)時(shí)位置和手術(shù)器材實(shí)時(shí)姿態(tài)。

3、第二方面，本發(fā)明實(shí)施例提供一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的手術(shù)器材注冊(cè)系統(tǒng)，所述系統(tǒng)包括：數(shù)據(jù)采集單元，用于基于多個(gè)傳感器模組，分別從不同視角采集手術(shù)區(qū)域的目標(biāo)rgb圖像和目標(biāo)空間深度信息；每一所述傳感器模組分別具有相關(guān)聯(lián)的方位信息和視角信息；所述傳感器模組包含攝像頭、深度傳感器、激光測(cè)距儀和慣性傳感器；三維模型生成單元，用于根據(jù)所述目標(biāo)rgb圖像和所述目標(biāo)空間深度信息，生成手術(shù)區(qū)域三維模型；器材類(lèi)型識(shí)別單元，用于將所述目標(biāo)rgb圖像和所述目標(biāo)空間深度信息輸入至器材識(shí)別模型，以由所述器材識(shí)別模型確定所述手術(shù)區(qū)域中待注冊(cè)的目標(biāo)手術(shù)器材所對(duì)應(yīng)的目標(biāo)器材類(lèi)型；虛擬組件匹配單元，用于從虛擬組件數(shù)據(jù)庫(kù)中加載與所述目標(biāo)器材類(lèi)型相匹配的目標(biāo)標(biāo)準(zhǔn)虛擬組件；所述虛擬組件數(shù)據(jù)庫(kù)預(yù)存儲(chǔ)多個(gè)標(biāo)準(zhǔn)虛擬組件，每一所述標(biāo)準(zhǔn)虛擬組件分別具有相應(yīng)的器材類(lèi)型；虛擬組件疊加單元，用于獲取針對(duì)所述目標(biāo)手術(shù)器材的器材實(shí)時(shí)追蹤數(shù)據(jù)，并根據(jù)所述器件實(shí)時(shí)追蹤數(shù)據(jù)將所述目標(biāo)標(biāo)準(zhǔn)虛擬組件動(dòng)態(tài)疊加至所述手術(shù)區(qū)域三維模型；所述器材實(shí)時(shí)追蹤數(shù)據(jù)包含ar眼鏡實(shí)時(shí)姿態(tài)、ar眼鏡實(shí)時(shí)位置、手術(shù)器材實(shí)時(shí)位置和手術(shù)器材實(shí)時(shí)姿態(tài)。

4、第三方面，本發(fā)明實(shí)施例提供一種電子設(shè)備，其包括：至少一個(gè)處理器，以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器，其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行上述方法的步驟。

5、第四方面，本發(fā)明實(shí)施例提供一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有一個(gè)或多個(gè)包括執(zhí)行指令的程序，所述執(zhí)行指令能夠被電子設(shè)備(包括但不限于計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)讀取并執(zhí)行，以用于執(zhí)行本發(fā)明上述方法的步驟。

6、第五方面，本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括存儲(chǔ)在存儲(chǔ)介質(zhì)上的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括程序指令，當(dāng)所述程序指令被計(jì)算機(jī)執(zhí)行時(shí)，使所述計(jì)算機(jī)執(zhí)行上述方法的步驟。

7、通過(guò)本發(fā)明提供的一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的手術(shù)器材注冊(cè)方法、系統(tǒng)、電子設(shè)備及非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，從而優(yōu)化基于ar(augmented?reality,增強(qiáng)現(xiàn)實(shí))技術(shù)或其他遠(yuǎn)程影像遙控等現(xiàn)代信息化手術(shù)中對(duì)手術(shù)器材注冊(cè)操作的可靠性和便捷性，并能夠至少產(chǎn)生如下的技術(shù)效果：

8、(1)通過(guò)多個(gè)傳感器模組分別從不同視角采集手術(shù)區(qū)域的目標(biāo)rgb圖像和目標(biāo)空間深度信息，能夠生成高精度的手術(shù)區(qū)域三維模型，基于多傳感數(shù)據(jù)的融合，可以有效地減少單一傳感器可能出現(xiàn)的誤差，提高了手術(shù)器材注冊(cè)的精度。此外，將激光測(cè)距儀和深度傳感器的結(jié)合，可以精確測(cè)量手術(shù)器材的空間位置，避免了光學(xué)系統(tǒng)對(duì)環(huán)境光線(xiàn)的敏感性問(wèn)題，也克服了電磁系統(tǒng)對(duì)金屬干擾的弱點(diǎn)，從而實(shí)現(xiàn)了更穩(wěn)定和準(zhǔn)確的手術(shù)器材定位。

9、(2)通過(guò)將目標(biāo)rgb圖像和空間深度信息輸入至器材識(shí)別模型，可以準(zhǔn)確地識(shí)別手術(shù)器材的類(lèi)型，并從虛擬組件數(shù)據(jù)庫(kù)中加載相匹配的目標(biāo)標(biāo)準(zhǔn)虛擬組件，基于深度學(xué)習(xí)模型的魯棒性，能夠在復(fù)雜的手術(shù)環(huán)境中保持穩(wěn)定的器材識(shí)別和注冊(cè)性能。此外，通過(guò)捕獲器材實(shí)時(shí)追蹤數(shù)據(jù)，其包括ar眼鏡實(shí)時(shí)姿態(tài)、ar眼鏡實(shí)時(shí)位置、手術(shù)器材實(shí)時(shí)位置和手術(shù)器材實(shí)時(shí)姿態(tài)，確保了在動(dòng)態(tài)手術(shù)環(huán)境中的器材注冊(cè)的穩(wěn)定性，避免了位置漂移和誤差，提高了系統(tǒng)注冊(cè)結(jié)果的可靠性。

10、(3)在本技術(shù)方案中，通過(guò)增強(qiáng)現(xiàn)實(shí)(ar)技術(shù)，將手術(shù)器材的虛擬組件動(dòng)態(tài)疊加至手術(shù)區(qū)域三維模型，實(shí)現(xiàn)了器材的實(shí)時(shí)注冊(cè)和跟蹤，手術(shù)團(tuán)隊(duì)可以直觀(guān)地觀(guān)察和操作手術(shù)器材，有助于提升現(xiàn)代信息化手術(shù)操作的精確性。ar眼鏡的使用使得系統(tǒng)具有高度的便攜性和靈活性，適合應(yīng)急情況下的快速部署和使用，易于搬運(yùn)和安裝，還能在各種復(fù)雜環(huán)境下保持良好的注冊(cè)性能，特別適合于地震、火災(zāi)或大規(guī)模傷亡事件等應(yīng)急場(chǎng)景。

11、通過(guò)本技術(shù)方案，通過(guò)融合針對(duì)手術(shù)區(qū)域的深度信息和rgb圖像，提供了一種全新的手術(shù)器材注冊(cè)方案，既能避免了光學(xué)系統(tǒng)對(duì)強(qiáng)光或陰影的敏感問(wèn)題，也克服了電磁系統(tǒng)對(duì)金屬物體干擾的影響，保證了系統(tǒng)在不同手術(shù)環(huán)境中的穩(wěn)定性和可靠性。由此，使得系統(tǒng)能夠在復(fù)雜多變的手術(shù)環(huán)境中仍能準(zhǔn)確、穩(wěn)定地完成手術(shù)器材的注冊(cè)，為現(xiàn)代信息化手術(shù)，如自動(dòng)化手術(shù)或遠(yuǎn)程輔助手術(shù)，提供了堅(jiān)實(shí)的技術(shù)保障。

技術(shù)特征：

1.一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的手術(shù)器材注冊(cè)方法，應(yīng)用于ar眼鏡，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，在根據(jù)所述器件實(shí)時(shí)追蹤數(shù)據(jù)將所述目標(biāo)標(biāo)準(zhǔn)虛擬組件動(dòng)態(tài)疊加至所述手術(shù)區(qū)域三維模型之后，所述方法還包括：

3.根據(jù)權(quán)利要求1所述的方法，其中，所述基于多個(gè)傳感器模組，分別從不同視角采集手術(shù)區(qū)域的目標(biāo)rgb圖像和目標(biāo)空間深度信息，包括：

4.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述目標(biāo)rgb圖像和所述目標(biāo)空間深度信息，生成手術(shù)區(qū)域三維模型，包括：

5.根據(jù)權(quán)利要求1所述的方法，其中，所述器材識(shí)別模型采用基于融合多模態(tài)特征和自監(jiān)督學(xué)習(xí)的混合深度學(xué)習(xí)模型，其包括輸入層、特征提取模塊、圖像分割模塊、多模態(tài)特征融合模塊、全局平均池化層和輸出層；

6.根據(jù)權(quán)利要求5所述的方法，其中，所述器材識(shí)別模型的損失函數(shù)為：

7.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)所述器件實(shí)時(shí)追蹤數(shù)據(jù)將所述目標(biāo)標(biāo)準(zhǔn)虛擬組件動(dòng)態(tài)疊加至所述手術(shù)區(qū)域三維模型，包括：

8.一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的手術(shù)器材注冊(cè)系統(tǒng)，其特征在于，所述系統(tǒng)包括：

技術(shù)總結(jié)
本發(fā)明提供一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的手術(shù)器材注冊(cè)方法及系統(tǒng)，涉及智慧醫(yī)療系統(tǒng)技術(shù)領(lǐng)域。該方法包括：基于多個(gè)傳感器模組，分別從不同視角采集手術(shù)區(qū)域的目標(biāo)RGB圖像和目標(biāo)空間深度信息；根據(jù)目標(biāo)RGB圖像和目標(biāo)空間深度信息，生成手術(shù)區(qū)域三維模型；根據(jù)器材識(shí)別模型確定手術(shù)區(qū)域中待注冊(cè)的目標(biāo)手術(shù)器材所對(duì)應(yīng)的目標(biāo)器材類(lèi)型；從虛擬組件數(shù)據(jù)庫(kù)中加載與目標(biāo)器材類(lèi)型相匹配的目標(biāo)標(biāo)準(zhǔn)虛擬組件；根據(jù)器件實(shí)時(shí)追蹤數(shù)據(jù)將目標(biāo)標(biāo)準(zhǔn)虛擬組件動(dòng)態(tài)疊加至手術(shù)區(qū)域三維模型。由此，系統(tǒng)能夠在復(fù)雜多變的手術(shù)環(huán)境中仍能準(zhǔn)確、穩(wěn)定地完成手術(shù)器材的注冊(cè)，為現(xiàn)代信息化手術(shù)提供了堅(jiān)實(shí)的技術(shù)保障。

技術(shù)研發(fā)人員：崔翔,張里程,馬馳,王加旭,江渝,談樞懷,覃凱華,楊昊漢
受保護(hù)的技術(shù)使用者：中國(guó)人民解放軍總醫(yī)院第四醫(yī)學(xué)中心
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9