本技術(shù)涉及智慧醫(yī)療系統(tǒng)，尤其涉及一種基于增強現(xiàn)實技術(shù)的骨骼圖像疊加呈現(xiàn)方法及系統(tǒng)。

背景技術(shù)：

1、在骨折診斷和治療中，醫(yī)學(xué)影像技術(shù)起著至關(guān)重要的作用。常用的影像技術(shù)包括x射線(x-ray)、計算機斷層掃描(ct)和磁共振成像(mri)。盡管這些技術(shù)在臨床應(yīng)用中得到了廣泛應(yīng)用，但它們在骨折影像呈現(xiàn)方面仍存在顯著的局限性。

2、傳統(tǒng)的二維影像技術(shù)，如x射線圖像，雖然能夠提供骨折部位的平面視圖，但缺乏立體感，使得醫(yī)生在診斷和治療過程中需要依靠自己的空間想象力來判斷骨折的三維結(jié)構(gòu)。這種方式不僅增加了誤診的風(fēng)險，還可能導(dǎo)致治療方案的不準(zhǔn)確，延長患者的康復(fù)時間。ct和mri雖然可以提供更詳細的斷層圖像，但它們?nèi)匀皇嵌S的，醫(yī)生需要通過多張斷層圖像來拼湊出三維結(jié)構(gòu)，這個過程既耗時又容易出錯。

3、此外，在骨折手術(shù)過程中，醫(yī)生通常依靠術(shù)前拍攝的影像資料來制定手術(shù)方案，并在手術(shù)過程中依賴相應(yīng)影像的手術(shù)方案進行操作。然而，現(xiàn)有的影像技術(shù)無法提供實時的視覺指導(dǎo)，醫(yī)生需要依靠自身的經(jīng)驗和影像記憶來判斷手術(shù)中的細節(jié)，不僅增加了手術(shù)的復(fù)雜性和風(fēng)險，還可能導(dǎo)致手術(shù)時間延長，增加患者的痛苦和醫(yī)療成本。

4、針對上述問題，目前業(yè)界暫未提出較佳的技術(shù)解決方案。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例提供了一種基于增強現(xiàn)實技術(shù)的骨骼圖像疊加呈現(xiàn)方法及系統(tǒng)，用于至少解決目前相關(guān)技術(shù)中的二維影像技術(shù)無法為醫(yī)生提供實時視覺指導(dǎo)的問題。

2、第一方面，本技術(shù)實施例提供一種基于增強現(xiàn)實技術(shù)的骨骼圖像疊加呈現(xiàn)方法，應(yīng)用于ar眼鏡，所述方法包括：獲取針對患者骨折區(qū)域的骨折影像數(shù)據(jù)，所述骨折影像數(shù)據(jù)包含ct圖像、x線圖像和光場圖像；解析所述光場圖像所對應(yīng)的光線模型；所述光線模型提供了光線在患者骨折區(qū)域空間中的傳播信息；基于所述光線模型和特征融合網(wǎng)絡(luò)確定所述骨折影像數(shù)據(jù)所對應(yīng)的多模態(tài)融合特征；所述特征融合網(wǎng)絡(luò)采用卷積神經(jīng)網(wǎng)絡(luò)；其中，在特征融合過程中，利用光線模型作為引導(dǎo)信息，在特征融合網(wǎng)絡(luò)中引入光線一致性約束，確保融合特征在光線傳播路徑上的一致性，所述特征融合網(wǎng)絡(luò)的損失函數(shù)l為：

3、l＝λraylray+λfeatlfeat

4、

5、

6、式中，lfeat表示特征匹配損失項，確保融合特征與輸入特征在特征空間中的一致性；lray表示光線一致性約束損失項，用于確保融合特征在光線傳播路徑上的一致性；λray和λfeat分別是相應(yīng)損失項的權(quán)重系數(shù)；p表示光線上的一個點，p表示所有光線點的集合，ffusion(p)表示點p處的融合特征，r(p)表示光線模型在點p處的特征值；f表示特征圖上的一個點，f表示特征圖上所有點的集合，ffusion(f)表示點f處的融合特征，finput(f)表示點f處的輸入特征；

7、基于光線模型調(diào)整所述特征融合網(wǎng)絡(luò)中各個卷積核的權(quán)重，以提高卷積提取的特征的光線一致性：

8、

9、

10、

11、

12、式中，fconv表示卷積后的特征圖，和b(k)分別表示第k個卷積核的權(quán)重和偏置項，表示輸入特征圖的第k個通道，*表示卷積操作，σ表示relu激活函數(shù)；表示第k個卷積核的基礎(chǔ)權(quán)重；α表示調(diào)整系數(shù)，用于控制光線模型對卷積核權(quán)重的影響程度；表示由光線模型引導(dǎo)第k個卷積核的調(diào)整權(quán)重；wi表示第i條光線的權(quán)重，pi表示第i條光線上的所有點的集合，表示第i條光線在第k個卷積核中的特征值，n表示光線的數(shù)量；ri(p)表示第i條光線在點p處的特征值，θ表示控制權(quán)重分布的超參數(shù)，z表示歸一化因子；

13、基于所述多模態(tài)融合特征重建骨折部三維模型；

14、將所重建的骨折部三維模型與實際手術(shù)場景中的患者骨折區(qū)域進行對齊校準(zhǔn)。

15、第二方面，本技術(shù)實施例提供一種基于增強現(xiàn)實技術(shù)的骨骼圖像疊加呈現(xiàn)方法，所述系統(tǒng)包括：數(shù)據(jù)獲取單元，用于獲取針對患者骨折區(qū)域的骨折影像數(shù)據(jù)，所述骨折影像數(shù)據(jù)包含ct圖像、x線圖像和光場圖像；光線模型解析單元，用于解析所述光場圖像所對應(yīng)的光線模型；所述光線模型提供了光線在患者骨折區(qū)域空間中的傳播信息；融合特征確定單元，用于基于所述光線模型和特征融合網(wǎng)絡(luò)確定所述骨折影像數(shù)據(jù)所對應(yīng)的多模態(tài)融合特征；所述特征融合網(wǎng)絡(luò)采用卷積神經(jīng)網(wǎng)絡(luò)；其中，在特征融合過程中，利用光線模型作為引導(dǎo)信息，在特征融合網(wǎng)絡(luò)中引入光線一致性約束，確保融合特征在光線傳播路徑上的一致性，所述特征融合網(wǎng)絡(luò)的損失函數(shù)l為：

16、l＝λraylray+λfeatlfeat

17、

18、

19、式中，lfeat表示特征匹配損失項，確保融合特征與輸入特征在特征空間中的一致性；lray表示光線一致性約束損失項，用于確保融合特征在光線傳播路徑上的一致性；λray和λfeat分別是相應(yīng)損失項的權(quán)重系數(shù)；p表示光線上的一個點，p表示所有光線點的集合，ffusion(p)表示點p處的融合特征，r(p)表示光線模型在點p處的特征值；f表示特征圖上的一個點，f表示特征圖上所有點的集合，ffusion(f)表示點f處的融合特征，finput(f)表示點f處的輸入特征；

20、基于光線模型調(diào)整所述特征融合網(wǎng)絡(luò)中各個卷積核的權(quán)重，以提高卷積提取的特征的光線一致性：

21、

22、

23、

24、

25、式中，fconv表示卷積后的特征圖，和b(k)分別表示第k個卷積核的權(quán)重和偏置項，表示輸入特征圖的第k個通道，*表示卷積操作，σ表示relu激活函數(shù)；表示第k個卷積核的基礎(chǔ)權(quán)重；α表示調(diào)整系數(shù)，用于控制光線模型對卷積核權(quán)重的影響程度；表示由光線模型引導(dǎo)第k個卷積核的調(diào)整權(quán)重；wi表示第i條光線的權(quán)重，pi表示第i條光線上的所有點的集合，表示第i條光線在第k個卷積核中的特征值，n表示光線的數(shù)量；ri(p)表示第i條光線在點p處的特征值，θ表示控制權(quán)重分布的超參數(shù)，z表示歸一化因子；

26、三維模型構(gòu)建單元，用于基于所述多模態(tài)融合特征重建骨折部三維模型；

27、對齊校準(zhǔn)單元，用于將所重建的骨折部三維模型與實際手術(shù)場景中的患者骨折區(qū)域進行對齊校準(zhǔn)。

28、第三方面，本技術(shù)實施例提供一種電子設(shè)備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行上述方法的步驟。

29、第四方面，本技術(shù)實施例提供一種存儲介質(zhì)，所述存儲介質(zhì)中存儲有一個或多個包括執(zhí)行指令的程序代碼，所述程序代碼能夠被電子設(shè)備(包括但不限于計算機，處理器，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)讀取并執(zhí)行，以用于執(zhí)行本技術(shù)上述方法的步驟。

30、第五方面，本技術(shù)實施例還提供一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包括存儲在存儲介質(zhì)上的計算機程序，所述計算機程序包括程序指令，當(dāng)所述程序指令被計算機執(zhí)行時，使所述計算機執(zhí)行上述方法的步驟。

31、通過本技術(shù)提供的一種基于增強現(xiàn)實技術(shù)的骨骼圖像疊加呈現(xiàn)方法、系統(tǒng)、電子設(shè)備及非暫態(tài)計算機可讀存儲介質(zhì)，通過多模態(tài)數(shù)據(jù)融合、創(chuàng)新的三維重建技術(shù)和實時ar(augmented?reality,增強現(xiàn)實)呈現(xiàn)，實現(xiàn)了對骨折部位的全面可視化和實時指導(dǎo)，并能夠至少產(chǎn)生如下的技術(shù)效果：

32、(1)通過融合ct圖像、x線圖像和光場圖像，利用光線模型和特征融合網(wǎng)絡(luò)進行多模態(tài)特征提取，并引入光線一致性約束，確保融合特征在光線傳播路徑上的一致性，不僅提升了融合特征的準(zhǔn)確性，還確保了不同影像數(shù)據(jù)在重建過程中的一致性，大大提升了骨折部位三維結(jié)構(gòu)的重建精度，使醫(yī)生能夠直觀地觀察到骨折部位的三維細節(jié)，克服了傳統(tǒng)二維影像缺乏立體感的局限性。

33、(2)利用多模態(tài)融合特征，可以綜合不同影像數(shù)據(jù)的優(yōu)勢，彌補單一模態(tài)影像的不足。ct圖像提供了高分辨率的斷層信息，x線圖像提供了快速的平面視圖，光場圖像提供了光線傳播信息，通過融合這些信息，可以獲得更加全面和精確的骨折部位三維結(jié)構(gòu)。

34、(3)通過ar眼鏡將重建的三維骨折模型與實際手術(shù)場景中的患者骨折區(qū)域進行對齊校準(zhǔn)，使醫(yī)生在手術(shù)過程中能夠?qū)崟r看到患者骨折部位的三維圖像，實現(xiàn)實時視覺指導(dǎo)，大大減少了醫(yī)生依賴自身經(jīng)驗和影像記憶的需求，降低了手術(shù)的復(fù)雜性和風(fēng)險，并減少了患者的痛苦和醫(yī)療成本。

35、(4)在本技術(shù)方案中，基于光線模型調(diào)整特征融合網(wǎng)絡(luò)中各個卷積核的權(quán)重，提高卷積特征提取的光線一致性，確保了特征提取過程中考慮光線傳播的影響，卷積核權(quán)重調(diào)整方法提升了影像數(shù)據(jù)的空間解析能力，確保了特征提取過程中的準(zhǔn)確性，進一步提高了三維模型的重建精度。

36、通過本技術(shù)方案，綜合應(yīng)用增強現(xiàn)實技術(shù)、光線模型和特征融合網(wǎng)絡(luò)，實現(xiàn)了骨折部三維模型在真實手術(shù)場景空間的實時精準(zhǔn)疊加呈現(xiàn)，顯著提升了診斷和手術(shù)的精度和效率，具有重要的臨床應(yīng)用價值。