本發(fā)明涉及虛擬現(xiàn)實(shí),具體為一種婦產(chǎn)科微創(chuàng)手術(shù)模擬訓(xùn)練方法及系統(tǒng)。
背景技術(shù):
1、隨著醫(yī)療技術(shù)的不斷進(jìn)步,婦產(chǎn)科微創(chuàng)手術(shù)已成為現(xiàn)代醫(yī)療實(shí)踐中一種重要的治療手段。例如治療輸卵管堵塞、卵巢囊腫、子宮內(nèi)膜異位癥等通過腹壁上的小孔插入腹腔鏡器械,對(duì)腹腔內(nèi)的病變進(jìn)行觀察并進(jìn)行手術(shù)操作。這種手術(shù)方式通過減少創(chuàng)傷、加速患者恢復(fù)并降低手術(shù)風(fēng)險(xiǎn),為患者帶來了顯著的臨床效益。然而,由于其操作的復(fù)雜性和精細(xì)性,對(duì)醫(yī)生的手術(shù)技能和經(jīng)驗(yàn)提出了較高的要求。因此,對(duì)醫(yī)生進(jìn)行系統(tǒng)的微創(chuàng)手術(shù)模擬訓(xùn)練,提高手術(shù)操作的準(zhǔn)確性和熟練度,成為婦產(chǎn)科醫(yī)學(xué)教育的重要課題。
2、在申請(qǐng)公布號(hào)為cn113197665a的中國(guó)發(fā)明申請(qǐng)中,公開了一種基于虛擬現(xiàn)實(shí)的微創(chuàng)外科手術(shù)模擬方法、系統(tǒng),系統(tǒng)包括:數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)導(dǎo)入模塊、中央控制模塊、三維圖像重建模塊、三維立體圖像生成模塊、立體圖像處理模塊、手術(shù)模擬模塊、警告提醒模塊、效果評(píng)估模塊、數(shù)據(jù)存儲(chǔ)模塊、更新顯示模塊。本發(fā)明利用vr設(shè)備提供的虛擬環(huán)境,讓醫(yī)生在虛擬空間中對(duì)待手術(shù)部位的三維模型進(jìn)行全方位觀察,方便醫(yī)生對(duì)病人病情有充分足夠的了解;利用vr設(shè)備在虛擬空間中進(jìn)行的模擬手術(shù)操作平臺(tái),方便醫(yī)生在術(shù)前進(jìn)行模擬以實(shí)現(xiàn)更為具體的術(shù)前規(guī)劃。
3、在以上發(fā)明申請(qǐng)中,利用虛擬現(xiàn)實(shí)技術(shù)對(duì)手術(shù)進(jìn)行模擬練習(xí)和效果評(píng)估,以實(shí)現(xiàn)對(duì)手術(shù)的術(shù)前規(guī)劃,但在實(shí)際操作中由于不清楚手術(shù)難度,可能需要經(jīng)過多次模擬才能得到最佳手術(shù)方案,本發(fā)明在進(jìn)行模擬手術(shù)前就對(duì)婦產(chǎn)科患者手術(shù)情況進(jìn)行難度評(píng)估,輸出最佳手術(shù)方案,再利用虛擬現(xiàn)實(shí)技術(shù)進(jìn)行手術(shù)模擬,醫(yī)生可以更客觀地了解手術(shù)的挑戰(zhàn)和可能的風(fēng)險(xiǎn),并做出相應(yīng)的準(zhǔn)備,并且通過手術(shù)方案,醫(yī)療團(tuán)隊(duì)可以更合理規(guī)劃模擬手術(shù)時(shí)間和所需資源,再通過虛擬現(xiàn)實(shí)技術(shù)對(duì)手術(shù)方案進(jìn)行驗(yàn)證,排除手術(shù)中可能出現(xiàn)的問題,提高手術(shù)效率,減少手術(shù)風(fēng)險(xiǎn)。
技術(shù)實(shí)現(xiàn)思路
1、(一)解決的技術(shù)問題
2、針對(duì)現(xiàn)有技術(shù)的不足,本發(fā)明提供了一種婦產(chǎn)科微創(chuàng)手術(shù)模擬訓(xùn)練方法及系統(tǒng)。
3、(二)技術(shù)方案
4、為實(shí)現(xiàn)以上目的,本發(fā)明通過以下技術(shù)方案予以實(shí)現(xiàn):
5、一種婦產(chǎn)科微創(chuàng)手術(shù)模擬訓(xùn)練方法,包括如下步驟:獲取婦產(chǎn)科患者身上相關(guān)的醫(yī)學(xué)數(shù)據(jù),將數(shù)據(jù)以數(shù)字化格式進(jìn)行存儲(chǔ),構(gòu)建婦產(chǎn)科患者醫(yī)學(xué)數(shù)據(jù)庫,并對(duì)婦產(chǎn)科患者醫(yī)學(xué)數(shù)據(jù)庫中存儲(chǔ)的醫(yī)學(xué)圖像進(jìn)行預(yù)處理;
6、將處理過的二維圖像通過三維重建轉(zhuǎn)換為三維模型,生成初始的婦產(chǎn)科患者解剖結(jié)構(gòu)模型,并對(duì)初始婦產(chǎn)科患者解剖結(jié)構(gòu)模型進(jìn)行模型優(yōu)化和細(xì)節(jié)添加,獲得精確的婦產(chǎn)科患者解剖結(jié)構(gòu)模型,使用虛擬現(xiàn)實(shí)技術(shù)構(gòu)建手術(shù)場(chǎng)景,將精確的婦產(chǎn)科患者解剖模型與場(chǎng)景進(jìn)行融合;
7、獲取婦產(chǎn)科患者解剖結(jié)構(gòu)模型,使用機(jī)器學(xué)習(xí)算法生成多個(gè)手術(shù)規(guī)劃方案,并計(jì)算各個(gè)手術(shù)方案的手術(shù)難度系數(shù)nd,依據(jù)手術(shù)難度系數(shù)nd的大小確定最優(yōu)的手術(shù)方案,并將最優(yōu)手術(shù)方案詳細(xì)輸出;
8、建立醫(yī)生與虛擬手術(shù)場(chǎng)景的交互界面,并利用物理引擎算法,實(shí)現(xiàn)手術(shù)器械對(duì)組織的交互和碰撞效果的仿真,并記錄醫(yī)生在模擬手術(shù)過程中的各項(xiàng)指標(biāo);
9、模擬手術(shù)結(jié)束后,通過計(jì)算或圖像處理技術(shù)對(duì)手術(shù)進(jìn)行分析,生成手術(shù)分析報(bào)告,并依據(jù)手術(shù)分析報(bào)告,使用訓(xùn)練后的機(jī)器學(xué)習(xí)模型對(duì)模擬手術(shù)進(jìn)行評(píng)估優(yōu)化。
10、進(jìn)一步的,獲取婦產(chǎn)科患者身上相關(guān)的醫(yī)學(xué)數(shù)據(jù),包括:ct掃描、mri圖像及x光片,這些數(shù)據(jù)通過相應(yīng)的醫(yī)療設(shè)備進(jìn)行采集,并以數(shù)字化格式進(jìn)行存儲(chǔ),構(gòu)建婦產(chǎn)科患者醫(yī)學(xué)數(shù)據(jù)庫,對(duì)醫(yī)學(xué)圖像進(jìn)行預(yù)處理,預(yù)處理過程包括去噪、圖像增強(qiáng)和圖像配準(zhǔn)。
11、進(jìn)一步的,使用計(jì)算機(jī)視覺和圖像處理技術(shù)將預(yù)處理之后的圖像中不同的組織結(jié)構(gòu)或器官分割出來,提取出感興趣區(qū)域的二值圖或灰度圖,常用的分割方法有閾值分割、邊緣檢測(cè)和區(qū)域生長(zhǎng),并將分割得到的二維圖像通過三維重建進(jìn)一步轉(zhuǎn)換為三維模型,生成初始的婦產(chǎn)科患者解剖結(jié)構(gòu)模型,常用的三維重建方法包括體素化、三角網(wǎng)格和曲面重建。
12、進(jìn)一步的,通過幾何修復(fù)和數(shù)據(jù)平滑技術(shù)來修復(fù)初始婦產(chǎn)科患者解剖模型的缺陷和瑕疵,對(duì)初始婦產(chǎn)科患者解剖結(jié)構(gòu)模型進(jìn)行模型優(yōu)化和細(xì)節(jié)添加,獲得精確的婦產(chǎn)科患者解剖結(jié)構(gòu)模型,細(xì)節(jié)添加指是向模型中添加更多的生理細(xì)節(jié),如血管、神經(jīng)和組織結(jié)構(gòu),以使模型更加真實(shí),貼合實(shí)際;
13、使用虛擬現(xiàn)實(shí)技術(shù)構(gòu)建手術(shù)場(chǎng)景,并將精確的婦產(chǎn)科患者解剖模型與場(chǎng)景進(jìn)行融合,其中手術(shù)場(chǎng)景包括手術(shù)臺(tái)和手術(shù)工具。
14、進(jìn)一步的,收集大量手術(shù)案例的數(shù)據(jù),對(duì)收集到的數(shù)據(jù)進(jìn)行預(yù)處理和特征提取,根據(jù)特征和標(biāo)簽進(jìn)行機(jī)器學(xué)習(xí)算法的訓(xùn)練,利用訓(xùn)練好的機(jī)器學(xué)習(xí)算法,輸入婦產(chǎn)科患者的解剖結(jié)構(gòu)模型,以生成多個(gè)手術(shù)規(guī)劃方案,并計(jì)算進(jìn)行微創(chuàng)手術(shù)所需的手術(shù)步驟數(shù)量bs、手術(shù)步驟復(fù)雜程度fz及手術(shù)時(shí)間sj。
15、進(jìn)一步的,獲取手術(shù)步驟數(shù)量bs、手術(shù)步驟復(fù)雜程度fz及手術(shù)時(shí)間sj,無量綱處理后,關(guān)聯(lián)形成手術(shù)難度系數(shù)nd,其中,手術(shù)難度系數(shù)nd的獲取方式如下:
16、
17、其中,參數(shù)的意義為,0.12≤α≤0.64,0.35≤β≤1.08,且0.5≤α+β≤1.2,α、β為權(quán)重,其具體值由用戶調(diào)整設(shè)置。
18、進(jìn)一步的,將不同的手術(shù)方案的手術(shù)難度系數(shù)nd進(jìn)行比較,依據(jù)手術(shù)難度系數(shù)nd的大小確定最優(yōu)的手術(shù)方案,并將最優(yōu)手術(shù)方案詳細(xì)輸出,最優(yōu)手術(shù)方案中包括手術(shù)步驟、器械選擇和手術(shù)路徑示意圖,以供醫(yī)生參考和執(zhí)行。
19、進(jìn)一步的,通過觸覺反饋頭戴式顯示器(vr頭盔)、手柄控制器及觸覺反饋設(shè)備,建立醫(yī)生與虛擬手術(shù)場(chǎng)景的交互界面,并利用物理引擎算法,實(shí)現(xiàn)手術(shù)器械對(duì)組織的交互和碰撞效果的仿真,其中,頭戴式顯示器提供沉浸式的三維視覺效果,手柄控制器用于模擬手術(shù)器械的操作,觸覺反饋設(shè)備則能夠讓醫(yī)生感受到虛擬手術(shù)過程中的力度和觸感。
20、進(jìn)一步的,記錄醫(yī)生在模擬手術(shù)過程中的各項(xiàng)指標(biāo),如操作時(shí)間、準(zhǔn)確性,當(dāng)因操作不當(dāng)而引起組織損傷和出血時(shí),檢測(cè)醫(yī)生是否及時(shí)做出相應(yīng)的應(yīng)急處理,若沒有及時(shí)做出應(yīng)急處理或者應(yīng)急處理不當(dāng),則直接判定手術(shù)失敗,結(jié)束手術(shù)。
21、進(jìn)一步的,依據(jù)手術(shù)分析報(bào)告,使用訓(xùn)練后的機(jī)器學(xué)習(xí)模型對(duì)模擬手術(shù)進(jìn)行評(píng)估優(yōu)化,如果手術(shù)失敗,回顧手術(shù)過程中的每個(gè)步驟和環(huán)節(jié),包括麻醉操作、手術(shù)操作、器械使用及傷口處理,分析出手術(shù)失敗原因,并演示正確的技術(shù)和步驟,若手術(shù)成功,則向醫(yī)生輸出手術(shù)優(yōu)化建議。
22、一種婦產(chǎn)科微創(chuàng)手術(shù)模擬訓(xùn)練系統(tǒng),包括:
23、數(shù)據(jù)處理模塊,獲取婦產(chǎn)科患者身上相關(guān)的醫(yī)學(xué)數(shù)據(jù),將數(shù)據(jù)以數(shù)字化格式進(jìn)行存儲(chǔ),構(gòu)建婦產(chǎn)科患者醫(yī)學(xué)數(shù)據(jù)庫,并對(duì)婦產(chǎn)科患者醫(yī)學(xué)數(shù)據(jù)庫中存儲(chǔ)的醫(yī)學(xué)圖像進(jìn)行預(yù)處理;
24、模型構(gòu)建模塊,將處理過的二維圖像通過三維重建轉(zhuǎn)換為三維模型,生成初始的婦產(chǎn)科患者解剖結(jié)構(gòu)模型,并對(duì)初始婦產(chǎn)科患者解剖結(jié)構(gòu)模型進(jìn)行模型優(yōu)化和細(xì)節(jié)添加,獲得精確的婦產(chǎn)科患者解剖結(jié)構(gòu)模型,使用虛擬現(xiàn)實(shí)技術(shù)構(gòu)建手術(shù)場(chǎng)景,將精確的婦產(chǎn)科患者解剖模型與場(chǎng)景進(jìn)行融合;
25、手術(shù)規(guī)劃模塊,獲取婦產(chǎn)科患者解剖結(jié)構(gòu)模型,使用機(jī)器學(xué)習(xí)算法生成多個(gè)手術(shù)規(guī)劃方案,并計(jì)算各個(gè)手術(shù)方案的手術(shù)難度系數(shù)nd,依據(jù)手術(shù)難度系數(shù)nd的大小確定最優(yōu)的手術(shù)方案,并將最優(yōu)手術(shù)方案詳細(xì)輸出;
26、仿真模擬模塊,建立醫(yī)生與虛擬手術(shù)場(chǎng)景的交互界面,并利用物理引擎算法,實(shí)現(xiàn)手術(shù)器械對(duì)組織的交互和碰撞效果的仿真,并記錄醫(yī)生在模擬手術(shù)過程中的各項(xiàng)指標(biāo);
27、評(píng)估教學(xué)模塊,模擬手術(shù)結(jié)束后,通過計(jì)算或圖像處理技術(shù)對(duì)手術(shù)進(jìn)行分析,生成手術(shù)分析報(bào)告,并依據(jù)手術(shù)分析報(bào)告,使用訓(xùn)練后的機(jī)器學(xué)習(xí)模型對(duì)模擬手術(shù)進(jìn)行評(píng)估優(yōu)化。
28、(三)有益效果
29、本發(fā)明提供了一種婦產(chǎn)科微創(chuàng)手術(shù)模擬訓(xùn)練方法及系統(tǒng),具備以下有益效果:
30、1、通過將婦產(chǎn)科患者的解剖模型與手術(shù)場(chǎng)景進(jìn)行融合,醫(yī)生可以實(shí)時(shí)觀察到婦產(chǎn)科患者的解剖結(jié)構(gòu),包括血管、神經(jīng)等重要結(jié)構(gòu)的位置和分布情況,這有助于醫(yī)生更準(zhǔn)確地進(jìn)行手術(shù)操作,避免誤傷重要結(jié)構(gòu)。
31、2、通過使用機(jī)器學(xué)習(xí)算法計(jì)算分析得到手術(shù)難度系數(shù)nd,并依據(jù)手術(shù)難度系數(shù)nd的大小對(duì)手術(shù)方案的操作難度形成評(píng)價(jià),確定最優(yōu)手術(shù)方案,可以預(yù)先確定手術(shù)路徑和操作流程,找出可能存在的風(fēng)險(xiǎn)點(diǎn),并制定相應(yīng)的手術(shù)計(jì)劃,這可以減少手術(shù)風(fēng)險(xiǎn),提高手術(shù)的安全性。
32、3、模擬手術(shù)結(jié)束后,通過計(jì)算或圖像處理技術(shù)對(duì)手術(shù)進(jìn)行分析,生成手術(shù)分析報(bào)告,并依據(jù)手術(shù)分析報(bào)告,使用訓(xùn)練后的機(jī)器學(xué)習(xí)模型對(duì)模擬手術(shù)進(jìn)行評(píng)估優(yōu)化,可以識(shí)別并改進(jìn)手術(shù)過程中可能存在的問題,幫助醫(yī)生學(xué)習(xí)手術(shù)技巧和操作流程,提高技能水平,從提高手術(shù)效率和婦產(chǎn)科患者滿意度。