專利名稱:三維數(shù)字放大鏡手術(shù)支持系統(tǒng)的制作方法
三維數(shù)字放大鏡手術(shù)支持系統(tǒng)技術(shù)領(lǐng)域
本發(fā)明系涉及,當(dāng)外科在手術(shù)中的最小侵入手術(shù)中接近看不見(jiàn)的區(qū)域時(shí),為了提 升安全和可靠性,而顯示手術(shù)中的病患位置和操作手術(shù)器具之間的位置關(guān)系的醫(yī)療用導(dǎo)航 手術(shù)支持系統(tǒng)。更具體地,本發(fā)明涉及三維數(shù)字放大鏡手術(shù)支持系統(tǒng),其在利用三維數(shù)字放 大鏡立體識(shí)別的實(shí)體(病患身體和手術(shù)器具)的影像上,重疊顯示該實(shí)體的不可見(jiàn)區(qū)域或 外形的三維計(jì)算機(jī)影像,以將實(shí)體影像及虛擬三維計(jì)算機(jī)影像整個(gè)一體化并立體識(shí)別。
背景技術(shù):
在以前,在外科手術(shù)中接近看不見(jiàn)的區(qū)域時(shí),通過(guò)觀察X光、超音波、磁力等非破 壞檢查數(shù)據(jù)為基礎(chǔ)而構(gòu)成的二維或三維影像數(shù)據(jù),以記憶儲(chǔ)存物體的內(nèi)部構(gòu)造或生物各個(gè) 的解剖學(xué)形狀及其位置關(guān)系的影像,在手術(shù)時(shí)依據(jù)這些儲(chǔ)存的影像導(dǎo)向,將其重疊于實(shí)體 的視野影像來(lái)進(jìn)行手術(shù)。尤其是在例如單純骨折或完全關(guān)節(jié)脫白的復(fù)位處理的一般的非觀 血手術(shù)中,是根據(jù)施術(shù)者經(jīng)驗(yàn)的三維影像及手指的感覺(jué)來(lái)進(jìn)行的。此種細(xì)致的人的三維感 覺(jué)會(huì)隨著累積經(jīng)驗(yàn)熟練而提升,但是,只能通過(guò)手術(shù)后的三維影像數(shù)據(jù)來(lái)評(píng)估非觀血處理 的正確與否。另外,如果用觀血的手術(shù)來(lái)進(jìn)行視線不良的體內(nèi)的手術(shù)場(chǎng)合時(shí),若失去方向就 會(huì)朝錯(cuò)誤的方向進(jìn)行,從而難免造成不必要的組織損傷。為了避免像這樣的危險(xiǎn)性,實(shí)時(shí)測(cè) 量進(jìn)行手術(shù)的患者和手術(shù)器具的三維位置,并將其和術(shù)前拍攝的CT和MRI的影像進(jìn)行重疊 顯示,這樣,即使是初學(xué)者也能容易地到達(dá)目標(biāo),從而對(duì)手術(shù)提供安全性、可靠性。使用像這 樣的計(jì)算機(jī)測(cè)量裝置,不只是應(yīng)用在腦神經(jīng)外科,還能應(yīng)用在頭頸部外科、整形外科領(lǐng)域, 并已提出在術(shù)中拍攝MRI、更新影像訊息,同時(shí)進(jìn)行導(dǎo)航的方法。發(fā)明內(nèi)容
發(fā)明欲解決的課題
不過(guò),如前所述,在術(shù)前拍攝的CT和MRI的影像上重疊顯示的影像基礎(chǔ)導(dǎo)航系統(tǒng) 的情況下,為了在CT和MRI的攝影影像上顯示感測(cè)標(biāo)示的位置,必須事先在CT和MRI的攝 影時(shí)安裝感測(cè)標(biāo)記再進(jìn)行拍攝,在手術(shù)時(shí)于攝影時(shí)同一位置上再裝上感測(cè)標(biāo)記,然后實(shí)時(shí) 測(cè)量三維位置。要進(jìn)行正確的追跡,除了感測(cè)標(biāo)記固定方法、固定位置再現(xiàn)性問(wèn)題之外,再 加上患者和影像位置的初始登錄作業(yè)(注冊(cè))需要煩瑣的調(diào)整工作,并且實(shí)際的追跡精度 隨著傳感器本身的精度而變動(dòng),所以再放大影像上進(jìn)行處理的時(shí)候,追跡精度和術(shù)野影像 的放大率成比例并在顯示器上和擴(kuò)大率成反比地增加。
因此,有些方法為了提升位置精度和修正處理中的感測(cè)標(biāo)記的偏移,在術(shù)中拍攝 MRI、更新影像訊息的同時(shí),進(jìn)行注冊(cè)即追跡,不過(guò),由于斷層攝影需要一定的時(shí)間,就實(shí)時(shí) 的觀點(diǎn)言之,這并不適合對(duì)于有手術(shù)時(shí)間限制的外科。
不過(guò),所有的這些導(dǎo)航系統(tǒng),基本上是把CT和MRI的影像重疊在手術(shù)中患者位置 上、并針對(duì)手術(shù)器具的計(jì)算機(jī)圖形追跡顯示,前述手術(shù)器具操作而造成的器具的生物內(nèi)的 到達(dá)狀況,均由顯示在固定二維顯示器上的虛擬影像上進(jìn)行。從而,用顯示器是無(wú)法確認(rèn)因?yàn)樘幚矶诨颊?實(shí)體)身上發(fā)生的變化,為了確認(rèn)患者的狀況,必須改變視線,把視線從 顯示器改為患者術(shù)野。有鑒于此,不把紅外線和磁力等等的感測(cè)標(biāo)記固定在患者(實(shí)體), 而是自動(dòng)進(jìn)行實(shí)際患者位置和三維CG影影像位置的關(guān)系一致的登錄作業(yè)(注冊(cè)),針對(duì)患 者(實(shí)體)以及拍攝裝置的相對(duì)位置變化進(jìn)行追跡并追隨重疊的三維CG影像,對(duì)應(yīng)于術(shù)中 的患者的身體動(dòng)作,使追蹤不可見(jiàn)領(lǐng)域的解剖學(xué)三維CG影像和手術(shù)器具操作的手術(shù)器具 重疊的器具的三維CG影像追蹤實(shí)體三維的位置變化,不需要讓視線隨著操作狀況和患者 的實(shí)體移動(dòng),就可以用實(shí)時(shí)影像導(dǎo)航,也可以不需要改變視線,就可以用同一顯示器來(lái)確認(rèn) 如其它的生理跡象等的患者生物信息。
用于解決課題的手段
本發(fā)明為,在人類實(shí)施在直視下進(jìn)行的醫(yī)科手術(shù)或精密手技的時(shí)候,利用三維數(shù) 字放大鏡,針對(duì)不可見(jiàn)領(lǐng)域提供視覺(jué)支持的系統(tǒng),通過(guò)將不可見(jiàn)領(lǐng)域影像合成表示于目前 的實(shí)體上,而獲得如下述的擴(kuò)張現(xiàn)實(shí)感的再現(xiàn)。
一般而言,在施行術(shù)前述醫(yī)科手術(shù)和其它的精密技術(shù)的時(shí)候,為了獲得放大術(shù)野, 使用雙眼放大的放大鏡來(lái)進(jìn)行操作。相同于像這樣的頭部裝載的雙眼放大放大鏡等的光學(xué) 放大鏡的擴(kuò)大術(shù)野,在施術(shù)者兩眼前裝設(shè)一對(duì)顯示器,利用從相當(dāng)于該顯示器前面的安裝 工作者左右瞳孔中部的位置朝向肉眼視野方向安裝的一對(duì)立體配置攝像裝置的三維數(shù)字 放大鏡,也能夠確保在同一空間內(nèi)的立體的視野。因?yàn)樵佻F(xiàn)了相同于施術(shù)者用肉眼或光學(xué) 放大鏡視覺(jué)認(rèn)識(shí)對(duì)象的時(shí)候的狀況,所以施術(shù)者的視野方向的變化,對(duì)象的三維的位置變 化可以用相同于用肉眼實(shí)施日常工作的時(shí)候的方式立體地識(shí)別,所以能夠用非常自然的感 覺(jué)來(lái)改變頭部的位置(亦即變更視野方向)以針對(duì)視野范圍的對(duì)象的實(shí)施操作。
第一發(fā)明為利用這三維數(shù)字放大鏡立體配置攝像裝置,根據(jù)立體法拍攝存在于視 野方向的實(shí)體,利用進(jìn)行構(gòu)成拍攝影像的像素的三維位置測(cè)量、以三角測(cè)量固定的2臺(tái)照 相機(jī)之間的距離來(lái)進(jìn)行立體測(cè)量的立體影像法(兩眼立體視覺(jué))的非接觸立體測(cè)量所獲得 的拍攝范圍內(nèi)的許多的實(shí)體的三維形狀的表面多邊形模型2。立體測(cè)量的方法不僅只有兩 眼立體視覺(jué)法、還有其它的方法,如立體影像立體測(cè)量的用發(fā)光二極管等的點(diǎn)發(fā)光以進(jìn)行 飛行時(shí)間測(cè)量的點(diǎn)發(fā)光法的立體法,或者,用穿過(guò)做出對(duì)應(yīng)點(diǎn)的縫隙的直線狀光進(jìn)行掃描, 以取得對(duì)象的斷面,并取得實(shí)體的形狀的縫隙光投影法,也可以是把能夠判斷拍攝裝置影 像內(nèi)的坐標(biāo)的圖案投影在實(shí)體上,以求出進(jìn)深的圖案光投影法,不過(guò),基本上進(jìn)行構(gòu)成左右 拍攝影像的特定部位的像素的三維位置測(cè)量、通過(guò)根據(jù)三角測(cè)量固定的2臺(tái)照相機(jī)之間的 距離來(lái)進(jìn)行測(cè)量立體的立體影像法的個(gè)人計(jì)算機(jī)演算處理,以取得實(shí)體的三維形狀的表面 多邊形模型2。
使用這些方法時(shí)的光源優(yōu)選為例如紅外線等不可見(jiàn)光線,其不會(huì)對(duì)拍攝的施術(shù)對(duì) 象物體或生物(實(shí)體)影像的屏幕的視覺(jué)產(chǎn)生影響。
另外,這些發(fā)光光源,因?yàn)楹团臄z裝置一起裝設(shè)在三維數(shù)字放大鏡,所以,在追蹤 測(cè)量實(shí)體的三維空間上的相對(duì)位置的實(shí)體影像時(shí),總是以立體拍攝裝置接收從相對(duì)于拍攝 裝置拍攝同一方向投射的光源光,通過(guò)統(tǒng)合投光部和受光部分的位置補(bǔ)正要素,而能夠提 升測(cè)量精度和測(cè)量速度。
另外事先做出表示從施行術(shù)對(duì)象物體或生物的斷層攝影二維切片數(shù)據(jù)構(gòu)筑的表 層到內(nèi)部構(gòu)造的各構(gòu)造的表面多邊形模型1。通過(guò)形狀圖案識(shí)別,以從表面多邊形模型2檢測(cè)出該表面多邊形模型1和三維相似形狀的前述表面多邊形模型,將內(nèi)部構(gòu)造構(gòu)成要素組 織映像到檢出的施術(shù)對(duì)象物體或生物的表面多邊形模型1的虛擬三維體積模型計(jì)算機(jī)圖 形重疊并予以追蹤。因?yàn)樵摫砻娑噙呅文P?是形成于拍攝方向的拍攝范圍中,所以,用于 判別查出的施術(shù)對(duì)象的物體或生物的表面多邊形模型1,依照在施術(shù)時(shí)的視野方向(亦即 接近的方向),從對(duì)象物的三維坐標(biāo)軸中心構(gòu)成里面部的表面削除,起始時(shí)拍攝裝置視野范 圍的同一范圍,或者包含標(biāo)記特征形狀部位的最小范圍加工,同時(shí)盡可能減少構(gòu)成多邊形 數(shù),藉此提高查出、判別、跟蹤處理的各自精度和速度。在施術(shù)者三維數(shù)字放大鏡視野內(nèi),映 像到和不表示的表面多邊形模型1連動(dòng)進(jìn)行追蹤的內(nèi)部構(gòu)造構(gòu)成要素組織的虛擬三維體 積模型計(jì)算機(jī)圖形合成表示在視野內(nèi)存在的前方術(shù)野影像上。構(gòu)成這時(shí)候的表面多邊形模 型1以及表面多邊形模型2的多邊形形狀有連貫性,無(wú)須贅言。
像這樣地,將三維體積模型計(jì)算機(jī)圖形重疊覆蓋真實(shí)情況影像的一部分或全體, 而能夠顯示于三維數(shù)字放大鏡的實(shí)體的內(nèi)部構(gòu)造不可見(jiàn)領(lǐng)域于實(shí)體拍攝空間上和視覺(jué)上 同樣的三維位置上識(shí)別為虛擬三維體積模型計(jì)算機(jī)圖形的內(nèi)部構(gòu)造。相同于用手拿取眼前 存在的實(shí)體的動(dòng)作,能夠直接或間接地像用手拿取(觸覺(jué)地)一樣對(duì)于被識(shí)別為在視覺(jué)上 和眼前實(shí)體同一三維空間上的三維體積模型計(jì)算機(jī)圖形施術(shù)。
此外,在施術(shù)中,該虛擬三維音量模范計(jì)算機(jī)圖形,追蹤在拍攝空間的拍攝裝置和 實(shí)體的相對(duì)的三維位置變化,并隨之改變實(shí)時(shí)顯示的布局,因此構(gòu)成產(chǎn)生高度實(shí)時(shí)間相互 作用的三維數(shù)字放大鏡擴(kuò)張現(xiàn)實(shí)手術(shù)支持系統(tǒng)。像這樣地,重疊于實(shí)體的虛擬三維體積模 型計(jì)算機(jī)圖形顯示由斷層攝影二維切片構(gòu)筑的解剖學(xué)構(gòu)成要素,亦即,因?yàn)槭求w積模型,所 以表示全要素的時(shí)候,可以僅識(shí)別外層構(gòu)成要素。
第二發(fā)明為三維數(shù)字放大鏡擴(kuò)張現(xiàn)實(shí)手術(shù)支持系統(tǒng),其并不利用如前述的三面次 元數(shù)字放大鏡的拍攝裝置的立體測(cè)量構(gòu)成的實(shí)體的三維形狀的表面多邊形模型2,而把三 維數(shù)字放大鏡左右拍攝裝置和影像表示裝置并列作為單獨(dú)構(gòu)成使用。預(yù)先根據(jù)斷層攝影法 取得的施術(shù)對(duì)象物體或生物的二維切片數(shù)據(jù)構(gòu)筑的各構(gòu)造構(gòu)成要素的構(gòu)成表面多邊形模 型1的輪廓或特征的點(diǎn)或線分別映像追蹤到左右拍攝裝置拍攝的影像數(shù)據(jù),藉此,將內(nèi)部 構(gòu)造構(gòu)成要素組織映像到前述多邊形模型1的各內(nèi)部構(gòu)成要素中的任意的三維影像分別 表示的對(duì)象實(shí)體影像,并使其連動(dòng),藉此,重疊表示于三維數(shù)字放大鏡的左右影像表示裝置 表示的實(shí)體影像上的內(nèi)部構(gòu)造三維計(jì)算機(jī)影像通過(guò)兩眼視差角而可以在拍攝空間實(shí)體影 像上立體識(shí)別為具有如同融入般的臨場(chǎng)感的透視影像。
第三發(fā)明為,為了隨時(shí)視覺(jué)地認(rèn)識(shí)這些內(nèi)部要素,按照應(yīng)用目的,將重疊配置于拍 攝空間中的實(shí)體的虛擬三維計(jì)算機(jī)圖表影像依照構(gòu)造上或者解剖學(xué)構(gòu)成要素分類,并且儲(chǔ) 存為單獨(dú)的層次,將前述各層次按照術(shù)中的手術(shù)器具到達(dá)深度和其它的情況狀況單獨(dú)或者 是選擇的組合合成表示。以利用該系統(tǒng)執(zhí)行下顎骨牙科移植手術(shù)為例,在實(shí)空間的三維數(shù) 字放大鏡視野內(nèi)的下顎口腔內(nèi)拍攝影,追蹤顯示下顎解剖學(xué)構(gòu)成要素的下顎骨皮質(zhì)骨的虛 擬三維計(jì)算機(jī)圖形影像,所以,在由牙肉上切開之前能夠三維地視覺(jué)認(rèn)識(shí)齒槽骨的形狀。從 而,能夠不切開牙肉,而是選擇骨量充分的部位從正確的位置選定接近方向,因此不會(huì)因?yàn)?切開而引起內(nèi)出血,而能夠有效防止手術(shù)后的浮腫。然后,由前述處理在皮質(zhì)骨上被形成接 近切口之后,使得下顎骨骨體皮質(zhì)骨的三維計(jì)算機(jī)圖形層次不被表示,并將下齒槽神經(jīng)的 三維計(jì)算機(jī)圖形層次配置于實(shí)體的相對(duì)固定位置并予以顯示,藉此,以形成于實(shí)體的接近切口作為引導(dǎo)口,在對(duì)實(shí)體進(jìn)行鉆孔操作的時(shí)候,基于三維視覺(jué)認(rèn)識(shí)排除神經(jīng)損傷的危險(xiǎn) 性之后,在可及的深度形成植牙植入窩以支持咬合力,而能夠安全確實(shí)地實(shí)施過(guò)去根據(jù)感 覺(jué)和經(jīng)驗(yàn)的高度的手術(shù)技術(shù)。這些層次的選擇表示,不僅是解剖學(xué)要素,用以在由DICOM資 料作成的下顎解剖學(xué)構(gòu)成要素的三維計(jì)算機(jī)圖形上形成正確的植入窩的鉆孔執(zhí)行引導(dǎo)的 仿真制作的外科的計(jì)算機(jī)圖表層次相對(duì)固定放置。此時(shí),在不表示實(shí)體影像時(shí),能夠視覺(jué)的 識(shí)別在三維數(shù)字放大鏡顯示器上和肉眼視野或光學(xué)放大鏡視野相同地立體顯示于施術(shù)者 前方實(shí)體空間的和患者實(shí)體三維同一位置上表示的虛擬三維計(jì)算機(jī)圖形,通過(guò)該外層構(gòu)造 的透明化和著色等等的計(jì)算機(jī)圖形影像處理,而使得將無(wú)法以實(shí)體影像識(shí)別的內(nèi)部構(gòu)造明 視化的虛擬計(jì)算機(jī)圖形影像的視覺(jué)和施術(shù)者伸手觸摸實(shí)體的觸覺(jué),以相同于人類根據(jù)眼前 的實(shí)體視覺(jué)一邊認(rèn)識(shí)一邊觸摸直接手的觸覺(jué)進(jìn)行工作的情況的感覺(jué)來(lái)進(jìn)行識(shí)別以及進(jìn)行 操作。
再者,相較于觀察實(shí)體影像施術(shù)的狀況,因?yàn)槟軌蛘莆崭呙芏鹊膬?nèi)部構(gòu)造訊息, 所以能夠安全且正確地對(duì)不可見(jiàn)區(qū)域進(jìn)行手術(shù)。
過(guò)去,在使用固定式位置傳感器和桌上型監(jiān)視器進(jìn)行手術(shù)的情況下,施術(shù)者的視 線并不朝向患者(實(shí)體),而是朝向顯示器方向勉強(qiáng)進(jìn)行不自然的工作,當(dāng)其打算變更視野 方向的時(shí)候,必須使患者(實(shí)體)移動(dòng),或者把傳感器位置移動(dòng),依據(jù)本發(fā)明,施術(shù)者可以使 用直接的感覺(jué)對(duì)于在肉眼視野方向視覺(jué)識(shí)別的患者(實(shí)體)施行手術(shù),即使對(duì)于施術(shù)者的 視線變更和患者的本身的變化,也能夠和沒(méi)有安裝裝置的狀態(tài)一樣,因?yàn)榫S持了在實(shí)體空 間上的視覺(jué)的三維相對(duì)位置關(guān)系,所以能夠用非常自然的感覺(jué)進(jìn)行手術(shù)。
另外,做為依據(jù)解剖學(xué)構(gòu)成要素而分類的三維計(jì)算機(jī)圖形的視覺(jué)認(rèn)知性的方法, 第四發(fā)明為,將第一、第二以及第三發(fā)明的三維數(shù)字放大鏡的顯示器表示的拍攝影像和三 維計(jì)算機(jī)圖形影像的任一者或兩者的影像的色相、彩度、明度、遮光、照明方向至少一個(gè)要 素通過(guò)映射、虛線消去框表示,以通過(guò)這些的亮滅表示等等的影像處理的變更來(lái)提升對(duì)拍 攝影像之合成影像的視覺(jué)識(shí)別認(rèn)知性。藉此,用三維數(shù)字眼鏡視覺(jué)地認(rèn)識(shí)三維的真實(shí)情況 空間里,三維計(jì)算機(jī)圖表影像顯示被寫體的內(nèi)部構(gòu)造的狀況,也能夠以更鮮明地浮出來(lái)實(shí) 現(xiàn)。此外,如同第三發(fā)明一般,可以通過(guò)影像處理來(lái)提高由解剖學(xué)構(gòu)成要素構(gòu)成的各層次的 視覺(jué)識(shí)別認(rèn)知性。不僅是對(duì)拍攝影像的視覺(jué)識(shí)別認(rèn)知性的提升,更因?yàn)槟軌蛉S地一舉視 覺(jué)認(rèn)識(shí)解剖學(xué)術(shù)上的構(gòu)成要素,所以,若以病灶摘出手術(shù)的情況為例,能夠同時(shí)三維視覺(jué)識(shí) 別大血管和神經(jīng),同時(shí)安全地接近病灶,而且,因?yàn)榭梢酝ㄟ^(guò)三維認(rèn)識(shí)而用最短距離直線接 近,能夠把外科侵入限制在最小限度。
擴(kuò)張現(xiàn)實(shí)感的三要素為,實(shí)時(shí)間相互作用、自己投射性,以及三維的空間性,不過(guò), 如前述一樣地在頭部安裝固定三維數(shù)字放大鏡實(shí)施手技的時(shí)候,虛擬三維體積模型計(jì)算機(jī) 圖形追隨施術(shù)者和實(shí)體的相對(duì)的三維位置變化而實(shí)時(shí)執(zhí)行追蹤,所以在實(shí)體和虛擬影像間 產(chǎn)生沒(méi)有時(shí)間延遲的高實(shí)時(shí)間相互作用。此外,設(shè)置于和左右的視差角同一角的立體配置 拍攝裝置及將影像數(shù)據(jù)以平行法或交叉法扁式于左右眼前方設(shè)置的影像顯示裝置上表示 的三維數(shù)字放大鏡,通過(guò)可以三維認(rèn)識(shí)操作空間而確保三維空間性,在三維識(shí)別的操作空 間上的施術(shù)對(duì)象物體或生物影影像上表面即追蹤的虛擬三維計(jì)算機(jī)圖形也由三維體積模 型構(gòu)成,所以,施術(shù)者能夠把全部的三維數(shù)字放大鏡視野都立體地認(rèn)識(shí)。施術(shù)者不會(huì)意識(shí)到 穿戴了三維數(shù)字放大鏡,而能夠以如同用肉眼進(jìn)行手技的時(shí)候一樣,伸手觸摸眼前的施術(shù)對(duì)象物體或生物,能夠把伸入虛擬三維體積模型計(jì)算機(jī)圖形所在的術(shù)野空間的自己的手自 我投射為三維數(shù)字放大鏡視野內(nèi)的實(shí)體影像。
在三維數(shù)字放大鏡用左右影像顯示裝置實(shí)現(xiàn)立體視覺(jué),可以用右眼看右邊的影 像,用左眼看左邊的影像的平行法,以及用左眼看右邊的影像,用右眼看左邊的影像,亦即 視線看起來(lái)是在影像前交叉的交叉法。相較于平行法,交叉法有可以使影像的尺寸較大的 優(yōu)點(diǎn),大家都知道,對(duì)于生物學(xué)上被認(rèn)為是不擅長(zhǎng)立體視覺(jué)的女性而言,相較于平行法,交 叉法是比較容易學(xué)習(xí)的。在本發(fā)明中,當(dāng)然可以按照使用狀況改變左右影像的表示方法以 及各虛擬計(jì)算機(jī)圖形的左右顯示器表示方法,像第五發(fā)明的三維數(shù)字放大鏡擴(kuò)張現(xiàn)實(shí)手術(shù) 支持系統(tǒng)一樣地利用三維數(shù)字放大鏡立體配置拍攝裝置,對(duì)左右拍攝數(shù)據(jù)施行兩點(diǎn)測(cè)量法 以獲得拍攝范圍內(nèi)的多個(gè)實(shí)體的三維形狀的表面多邊形模型2中,通過(guò)形狀圖案識(shí)別,以 從表面多邊形模型2檢測(cè)出該表面多邊形模型1和三維相似形狀的前述表面多邊形模型, 在以平行法表示的三維數(shù)字放大鏡的使用眼側(cè)的顯示器上重疊顯示映射并追蹤內(nèi)部構(gòu)造 構(gòu)成要素組織。
在該系統(tǒng)中,僅有在根據(jù)左右視差角的實(shí)體影像的立體視覺(jué)的三維數(shù)字放大鏡單 側(cè)顯示器上重疊顯示虛擬三維體積模型計(jì)算機(jī)圖形,藉此,可以將在三維數(shù)字放大鏡立體 視覺(jué)的術(shù)野實(shí)體上的不可見(jiàn)領(lǐng)域的內(nèi)部構(gòu)造,用虛擬三維體積模型計(jì)算機(jī)圖形的內(nèi)部構(gòu)造 構(gòu)成要素影像立體識(shí)別。此時(shí)在視野全體所占的施術(shù)對(duì)象物體或生物的虛擬三維體積模型 計(jì)算機(jī)圖形的比例較大的情況下,作為背景影像的術(shù)野影像單側(cè)慣用眼側(cè)的拍攝裝置影像 顯示于兩眼的監(jiān)視器上,或者三維數(shù)字放大鏡的左右顯示器上僅顯示生物體的虛擬三維體 積模型計(jì)算機(jī)圖形亦可。尤其在高放大率的場(chǎng)合,以拍攝裝置的真實(shí)情況倍率將生物體的 表面多邊形模型1三維相似形狀的表面多邊形模型進(jìn)行形狀圖案判別,將整個(gè)三維數(shù)字放 大鏡影像三維地映像到生物體的表面多邊形模型1上,而可以用虛擬三維體積模型計(jì)算機(jī) 圖形來(lái)表現(xiàn)。顯示影像的品質(zhì)隨著虛擬三維體積模型計(jì)算機(jī)圖形而變,所以,無(wú)須考慮在高 放大的情況下因?yàn)橛布阅芏斐捎跋衿妨康南陆担灰谔摂M三維體積模型計(jì)算機(jī)圖形 上再現(xiàn)被實(shí)施的處理內(nèi)容要求的解剖學(xué)上的要素,所以能夠提供簡(jiǎn)單但是高品質(zhì)的視覺(jué)訊 息給施術(shù)者。此時(shí)如果利用三維視覺(jué)顯示的高品質(zhì)的虛擬三維體積模型計(jì)算機(jī)圖形,則可 通過(guò)再三維數(shù)字放大鏡左右影像顯示部顯示單一影像,而使得能夠用三維虛擬影像來(lái)識(shí)別 施術(shù)者前方的真實(shí)情況。同樣地,將單眼拍攝裝置的三維數(shù)字放大鏡的慣用眼側(cè)的拍攝裝 置的術(shù)野影像數(shù)據(jù)顯示于同側(cè)的影像顯示裝置,在另一眼側(cè)的顯示器顯示有進(jìn)深的三維計(jì) 算機(jī)圖形,藉此,能夠?qū)?shí)體影像放大識(shí)別如三維影像。在這種情況下,除去拍攝裝置的位 置在像口腔內(nèi)一樣因?yàn)轭a口唇的障礙而使得視野比較受到限制的部位之外的情況中,人會(huì) 習(xí)慣地以慣用眼為主放在直線位置來(lái)捕捉對(duì)象,所以拍攝裝置優(yōu)選設(shè)置在慣用眼側(cè)顯示器、廣.> .目丨J萬(wàn)。
除了通過(guò)第一發(fā)明的表面多邊形模型的形狀圖案認(rèn)識(shí)的判別檢出之外,第六發(fā)明 依據(jù)三維數(shù)字放大鏡光學(xué)式或數(shù)字式的放大率,用立體照相機(jī)以兩點(diǎn)測(cè)量設(shè)定在三維數(shù)字 放大鏡的立體配置照相機(jī)的影像數(shù)據(jù)中的對(duì)象實(shí)體的任何位置的4個(gè)標(biāo)記,從照相機(jī)和實(shí) 體的距離來(lái)測(cè)定實(shí)體三維形狀的表面多邊形模型的三維位置,再依據(jù)該實(shí)測(cè)值修正變更立 體測(cè)量表面數(shù)據(jù)識(shí)別圖案的縮尺及三維的位置。如此,通過(guò)修癥患者解剖學(xué)CG以及對(duì)象物 (手術(shù)器具CG)的顯示位置,方向,大小,以使其適合檢出原數(shù)據(jù)的施術(shù)對(duì)象物體或生物的11表面多邊形模型的縮尺,藉此能夠提升對(duì)象物體或生物影像的判別查出以及映像精度,并 且可以減少實(shí)時(shí)追蹤的時(shí)間延遲。
另外,在實(shí)施第二發(fā)明的時(shí)候,也可以通過(guò)利用第六發(fā)明的標(biāo)記來(lái)得到穩(wěn)定的映 像原點(diǎn)。
使用該第一以及第二發(fā)明的時(shí)候,像第七發(fā)明一樣地,在監(jiān)視器顯示三維數(shù)字放 大鏡監(jiān)視器顯示范圍外的對(duì)象物或患者解剖學(xué)特定部位的三維計(jì)算機(jī)圖形體積模型所在 的視野方向,藉此可以輕易地識(shí)別不可見(jiàn)區(qū)域的目標(biāo)對(duì)象物。該視覺(jué)的標(biāo)記采用箭頭或畫 面邊緣的閃爍表示等等的手法。另外,尤其是在用數(shù)字處理的高放大使用的時(shí)候,在三維數(shù) 字放大鏡顯示裝置畫面上,按照放大率把對(duì)象物或生物體的一部分表示在顯示器上。在此 種情況下,三維數(shù)字放大鏡顯示器表示范圍外面的對(duì)象物或患者解剖學(xué)特定部位的三維計(jì) 算機(jī)圖形體積模型存在的方向以該影像表示裝置的邊緣閃爍,或用箭頭表示方向指示,或 者在分畫表示影像中,在表示縮小全體的全體影像中以框圍出表示部分的影像部分,藉此, 能夠支持在施術(shù)中識(shí)別視野部位和目標(biāo)部位的位置關(guān)系的追蹤動(dòng)作中的對(duì)象物或生物體 的三維計(jì)算機(jī)圖形體積模型三維計(jì)算機(jī)圖形體積模型影像的施術(shù)目標(biāo)部位檢出。
第八發(fā)明為三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),將放大鏡視野內(nèi)各自動(dòng)作的 任意的CG體積模型固定在特定施術(shù)對(duì)象CG體積模型的三維相對(duì)位置,為了在發(fā)揮功能時(shí) 施術(shù)位置,方向,角度的視覺(jué)的位置評(píng)估,利用權(quán)利要求1以及權(quán)利要求2記載的系統(tǒng),使得 通過(guò)登錄布局并隨之移動(dòng)的關(guān)節(jié)或組織而連結(jié)到三維數(shù)位放大鏡監(jiān)視器上的病患實(shí)體的 各患者解剖學(xué)CG體積模型運(yùn)動(dòng)的情況下,將個(gè)別對(duì)患者實(shí)體登錄布局連動(dòng)的任意CG體積 模型固定在運(yùn)動(dòng)軌道上的任意位置對(duì)于特定的CG體積模型的相對(duì)位置上,和該病患實(shí)體 連動(dòng)的特定CG體積模型一體化并連動(dòng)。一般而言,在空間有限的口腔手術(shù)中,尤其是植入 牙科植牙的時(shí)候,若不是在開口狀態(tài),很難在工具的反對(duì)角插入鉆子形成埋入窩。這時(shí)候, 通過(guò)將咬合狀態(tài)的下顎的CG體積模型于施術(shù)對(duì)象的上顎CG體積模型固定連動(dòng),即使是在 手術(shù)時(shí)為了確保插入器具的空間而處于開口的狀態(tài),也能夠通過(guò)虛擬下顎CG體積模型來(lái) 視覺(jué)地確認(rèn)對(duì)合齒的咬合狀態(tài),所以,能夠三維識(shí)別對(duì)合關(guān)系并提供恰當(dāng)?shù)氖中g(shù)導(dǎo)引。在利 用該系統(tǒng)施行手術(shù)的情況下,以手術(shù)器具將患者實(shí)體切開、切削、切除等以產(chǎn)生形態(tài)變化的 情況下,沒(méi)有被反映在三維計(jì)算機(jī)圖形體積模型上。這個(gè)虛擬三維計(jì)算機(jī)圖形體積模型可 以作為和術(shù)前狀態(tài)比較研討的數(shù)據(jù)之用,不過(guò),通過(guò)在虛擬三維計(jì)算機(jī)圖形體積模型上顯 示術(shù)中或術(shù)后不久的狀況,能夠把整個(gè)施術(shù)對(duì)象置換為虛擬三維計(jì)算機(jī)圖形體積模型。為 了實(shí)現(xiàn)像這樣的視覺(jué)表現(xiàn),在第九發(fā)明中,和預(yù)先將映射追蹤連動(dòng)施術(shù)對(duì)象物體或生物體 的內(nèi)部構(gòu)造構(gòu)成要素組織的虛擬三維計(jì)算機(jī)圖形體積模型一樣,將該手術(shù)器具登錄布局并 使手術(shù)器具計(jì)算機(jī)圖形體積模型連動(dòng)。在計(jì)算機(jī)上使用布爾演算處理這二個(gè)三維體積模 型,從對(duì)該患者實(shí)體登錄布局的患者解剖學(xué)計(jì)算機(jī)圖形體積模型對(duì)手術(shù)器具計(jì)算機(jī)圖形體 積模型執(zhí)行切取演算,藉此,用手術(shù)器具操作對(duì)實(shí)體進(jìn)行切削等的物理切入的情況下實(shí)體 的變化一樣的視覺(jué)變化顯示在三維數(shù)字放大鏡顯示裝置上所表示的患者解剖學(xué)計(jì)算機(jī)圖 形體積模型上。而且,和在骨頭上鉆孔以形成植牙埋入窩的時(shí)候一樣,在該患者解剖學(xué)計(jì)算 機(jī)圖形體積模型影像數(shù)據(jù)表現(xiàn)出實(shí)體不可見(jiàn)領(lǐng)域,因此,可以用患者解剖學(xué)計(jì)算機(jī)圖形體 積模型影像患者解剖學(xué)計(jì)算機(jī)圖形體積模型影像來(lái)識(shí)別肉眼無(wú)法識(shí)別的施術(shù)對(duì)象內(nèi)部的 手術(shù)器具到達(dá)深度或到達(dá)角度等,并可以在患者解剖學(xué)計(jì)算機(jī)圖形體積模型影像上表現(xiàn)和實(shí)體被施加的變化相同的視覺(jué)形狀變化。
各解剖學(xué)構(gòu)成要素的三維計(jì)算機(jī)圖形體積模型,為了使外側(cè)的解剖學(xué)構(gòu)成要素透 明化同時(shí)表現(xiàn)復(fù)數(shù)的構(gòu)成,而采取著色等等的手段而使內(nèi)使部構(gòu)造明視化,不過(guò),識(shí)別多層 的復(fù)雜的計(jì)算機(jī)圖形構(gòu)成有引起混亂的危險(xiǎn)性。為了回避像這樣的問(wèn)題,第十發(fā)明,在利用 第一以及第二發(fā)明記載的系統(tǒng)施行手術(shù)的場(chǎng)合,三維數(shù)字放大鏡和患者的距離對(duì)于三維數(shù) 字放大鏡三維數(shù)字放大鏡監(jiān)視器上的對(duì)患者實(shí)體登錄布局并連動(dòng)的患者解剖學(xué)CG體積模 型固定于三維數(shù)字放大鏡或區(qū)域指示具上的任意的表面模型區(qū)域(線框,半透明著色顯示 或者透明)重疊,以布爾算法將該重疊部分消除,以預(yù)設(shè)的斷面顯示范圍為一個(gè)單位來(lái)顯 示患者解剖學(xué)CG畫素體積模型斷面,或者,依據(jù)任意設(shè)定的三維數(shù)字放大鏡和患者實(shí)體的 距離將切取范圍變化的該患者解剖學(xué)CG畫素體積模型斷面實(shí)時(shí)顯示,藉此,三維計(jì)算機(jī)圖 形體積模型的各解剖學(xué)構(gòu)成要素不會(huì)變成透明,可以把復(fù)雜的構(gòu)成內(nèi)部構(gòu)造明視化,但是, 及于多層的復(fù)雜的計(jì)算機(jī)圖形的構(gòu)成可以對(duì)應(yīng)于穿戴者或指示具和對(duì)象實(shí)體的距離的位 置上視別為解剖學(xué)的計(jì)算機(jī)圖形畫素體積模型斷面。
第十一發(fā)明為一種三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),使用安裝第九發(fā)明的 三維數(shù)字放大鏡的施術(shù)者的手術(shù)器具對(duì)實(shí)體施行手術(shù)的同一狀況顯示于手術(shù)器具CG體積 模型并將由手術(shù)器具而使實(shí)體產(chǎn)生的形態(tài)變化的相同狀態(tài),包括不可見(jiàn)區(qū)域表示的虛擬三 維計(jì)算機(jī)圖形體積模型,或者第十發(fā)明記載的三維數(shù)字放大鏡或固定于區(qū)域指示具的任意 的表面模型區(qū)域的形狀上被削去的斷面的患者解剖學(xué)計(jì)算機(jī)圖形畫素體積模型,在維持顯 示于該施術(shù)者三維數(shù)字放大鏡的三維體積模型計(jì)算機(jī)圖形的相對(duì)位置的狀態(tài)下,將數(shù)據(jù)轉(zhuǎn) 送到個(gè)人計(jì)算機(jī),將維持顯示于該個(gè)人計(jì)算機(jī)監(jiān)視器或三維數(shù)字放大鏡個(gè)相對(duì)位置關(guān)系的 虛擬三維體積模型計(jì)算機(jī)圖形表示為傾斜、全景、縮放,在回轉(zhuǎn)的6個(gè)軸方向自由回轉(zhuǎn)移 動(dòng),藉此,由相異于施術(shù)者視線的方向觀察實(shí)體空間的情況。因?yàn)榻宕四軌蛴上喈愑谑┬g(shù)者 視線的方向觀察實(shí)體空間的情況,所以本來(lái)不全面改變患者體位就不可能進(jìn)行不可觀察的 地板方向的視野也可以進(jìn)行觀察。亦即,施術(shù)者無(wú)須要移動(dòng)視線和體位,而可以將對(duì)象識(shí)別 為從內(nèi)側(cè)就具有和實(shí)體同樣形狀的虛擬三維計(jì)算機(jī)圖形體積模型,若施術(shù)助手也裝了同樣 的頭戴式顯示器,那么就可以和施術(shù)者共享視野,同時(shí)將虛擬三維計(jì)算機(jī)圖形體積模型三 維地旋轉(zhuǎn)自在而能夠取得全方向的視野。虛擬三維計(jì)算機(jī)圖形體積模型和表面模型區(qū)域的 形狀中被削去的斷面以及手術(shù)器具CG體積模型所追蹤的相對(duì)位置關(guān)系是施術(shù)者安裝的三 維數(shù)字放大鏡系統(tǒng)的追蹤即顯示影像數(shù)據(jù)在助手的頭戴式顯示器所裝設(shè)的個(gè)人計(jì)算機(jī)影 像處理使其三維回轉(zhuǎn)同步顯示,因此,能夠?qū)崟r(shí)顯視在第三人的監(jiān)視器上或頭戴式顯示器。 該多方向虛擬三維計(jì)算機(jī)圖形體積模型的顯示,在前述的轉(zhuǎn)寄地點(diǎn)個(gè)人計(jì)算機(jī)顯示器上, 頭戴式顯示器或者施術(shù)者三維數(shù)字放大鏡一邊的影像顯示裝置,或者也可在同影像顯示裝 置設(shè)立分畫來(lái)進(jìn)行表示。
此外,在第十二發(fā)明中,通過(guò)前述的施術(shù)助手的頭戴式顯示器所安裝的個(gè)人計(jì)算 機(jī)影像處理而同步顯示的施術(shù)者的視野,或者將虛擬三維計(jì)算機(jī)圖形體積模型進(jìn)行三維回 轉(zhuǎn)而獲得的虛擬三維計(jì)算機(jī)圖形體積模型的追蹤或顯示影像數(shù)據(jù)一邊在顯示器上確認(rèn),一 邊使其在同一個(gè)人計(jì)算機(jī)接口上的6軸方向上將可控制的任意表面模型區(qū)域(線框表示, 半透明著色表示或者透明)重疊,用布爾算法消除該重疊部分,顯示該虛擬三維體積模型 計(jì)算機(jī)圖形的斷面。將由該助手控制的任意的虛擬三維計(jì)算機(jī)圖形體積模型的斷面表示同時(shí)反映在施術(shù)者三維數(shù)字放大鏡影像顯示裝置上的虛擬三維體積模型,藉此,第三人能夠 表示視覺(jué)指導(dǎo)影像表示施術(shù)者視野立體影像中應(yīng)該注意的解剖學(xué)要素的內(nèi)部構(gòu)造斷面,因 此能夠?qū)崿F(xiàn)具有臨場(chǎng)感的視覺(jué)指示。
在如前述的維持各解剖學(xué)術(shù)上的構(gòu)成要素的虛擬三維計(jì)算機(jī)影像中,尤其是在像 牙齒一樣的齒冠部和牙根部連續(xù)的一個(gè)剛體且其中一部分(牙根)在顎骨中有埋設(shè)的組織 的情況下,若利用第一第二的發(fā)明,則可以在不見(jiàn)血的狀況下三維地識(shí)別顎骨內(nèi)的牙根狀 態(tài),因此,可以用于為了避免因?yàn)檠栏母蓴_造成的牙根吸收,牙齒移動(dòng)速度的延遲等的有 效的鋼絲彎折。此外,像第十三發(fā)明一樣,將事先由斷層攝影法獲得的施術(shù)對(duì)象物體或生物 的二維切片數(shù)據(jù)構(gòu)筑的表面多邊形模式1儲(chǔ)存為將顎骨顎面部、以及各個(gè)牙齒(齒冠、牙 根)作為各自單獨(dú)組件數(shù)據(jù),每個(gè)該組件數(shù)據(jù)都通過(guò)形狀圖案識(shí)別以立體法立體測(cè)量從三 維數(shù)字放大鏡拍攝的牙齒(齒冠)及口腔、顎面部的表面多邊形模型2中個(gè)別判斷檢出和 個(gè)別組件的表面多邊形模型1形狀相似的表面多邊形模型并將之重疊在個(gè)別組件的表面 多邊形模型2上,然后,對(duì)該多邊形模型1組織映像,并追蹤各自牙齒(齒冠、牙根)顎骨的 虛擬三維計(jì)算機(jī)影像。將各個(gè)的牙齒的經(jīng)時(shí)的變化儲(chǔ)存為三維數(shù)字放大鏡影像表示裝置的 虛擬三維體積模型計(jì)算機(jī)影像,通過(guò)顯示從前診療時(shí)的牙齒的虛擬三維體積模型計(jì)算機(jī)影 像的記錄儲(chǔ)存數(shù)據(jù),就能夠?qū)崟r(shí)三維地識(shí)別牙齒的經(jīng)時(shí)的移動(dòng)狀態(tài),而能夠提供用于評(píng)價(jià) 治療效率和治療計(jì)劃的再構(gòu)筑的有效方法。這些虛擬三維體積模型計(jì)算機(jī)影像的記錄,可 以作為對(duì)及于所有的形態(tài)變化的治療行為進(jìn)行手術(shù)后評(píng)估的有用的手段。除了參照此手術(shù) 前記錄來(lái)進(jìn)行治療評(píng)估之外,像第十四發(fā)明一樣地,將從施術(shù)對(duì)象物體或生物的二維切片 數(shù)據(jù)構(gòu)筑的虛擬三維體積模型計(jì)算機(jī)影像計(jì)算機(jī)重建(再構(gòu)筑)為治療目標(biāo)(V.T.O.)的 形態(tài),通過(guò)映像顯示在實(shí)體影像上,就可以視覺(jué)確認(rèn)治療目標(biāo)。此應(yīng)用事例為進(jìn)行下顎前突 的整形外科治療的時(shí)候,事先用計(jì)算機(jī)手術(shù)制作骨整形之后的下顎骨格的虛擬三維體積模 型計(jì)算機(jī)影像像素模型,若在作為手術(shù)對(duì)象的下顎骨上映射表示的話,用V. T. 0視覺(jué)地確 認(rèn)因?yàn)樽笥翌€關(guān)節(jié)離斷之后定位容易變不穩(wěn)定的咬合,而可以容易地再現(xiàn),在矯正治療中, 將再構(gòu)成第十發(fā)明所記載的各個(gè)牙齒的三維體積模型計(jì)算機(jī)圖形的治療目標(biāo)理想拱形齒 列影像,若將追隨顎面部和拍攝裝置的三維相對(duì)位置變化并顯示在三維數(shù)字放大鏡顯示器 所顯示的口腔內(nèi),則能夠確實(shí)且有效地建構(gòu)治療目標(biāo)(V. T. 0.)。
第十五發(fā)明為,將尺寸量規(guī)的組織映像到從施術(shù)對(duì)象物體或生物的二維切片數(shù)據(jù) 構(gòu)筑的虛擬三維體積模型計(jì)算機(jī)影像畫素模形。在解剖學(xué)構(gòu)成要素表面上將尺寸量規(guī)直接 表示為等高線狀,因此,有助于三維形狀的視覺(jué)認(rèn)識(shí),如果顯示用第十發(fā)明以及第十二發(fā)明 所形成的斷面表示部尺寸量規(guī),則可以支持正確地施行手術(shù)。另外,用方眼立方組織表示透 明化的虛擬三維體積模型計(jì)算機(jī)影像的畫素,藉此,能夠?qū)崿F(xiàn)三維更高尺寸精度的施行手 術(shù)。像這樣的尺寸量規(guī)不僅是施于生物體或施術(shù)對(duì)象,在如牙科植牙手術(shù)的時(shí)候,通過(guò)將同 心圓或球形、角形的尺寸量規(guī)映像在施術(shù)器具的切削鉆上,使得能夠掌握在施術(shù)中與鄰接 牙齒及解剖學(xué)標(biāo)記的距離。另外,在施術(shù)對(duì)象的物體或生物和器具上,重疊顯示預(yù)先設(shè)計(jì)的 器具對(duì)于內(nèi)部構(gòu)造不可見(jiàn)領(lǐng)域的三維接近方向的無(wú)限遠(yuǎn)直線或圖形的三維計(jì)算機(jī)圖形外 科導(dǎo)引,藉以使得能夠容易地確認(rèn)器具對(duì)物體或生物的的接近方向以進(jìn)行切削骨等手術(shù)。
第十六發(fā)明為三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),在將多個(gè)可以個(gè)別動(dòng)作的 患者解剖學(xué)CG體積模型對(duì)第一以及第二的發(fā)明所記載三維數(shù)字放大鏡顯示器上的患者實(shí)體登錄布局連動(dòng)的不可見(jiàn)區(qū)域的狀況在顯示器上確認(rèn)患者解剖學(xué)CG體積模型的變化,同 時(shí)進(jìn)行模擬的情況下,在顯示器上表示對(duì)任意的固定基準(zhǔn)點(diǎn)的運(yùn)動(dòng)軌跡,并且具有記錄儲(chǔ) 存再生功能。利用該系統(tǒng),使得對(duì)下顎骨登錄布局連動(dòng)的下顎骨CG體積模型的左右間接頭 以虛擬蝶幡軸的直線連結(jié)開閉運(yùn)動(dòng),藉此可以在顯示器上視覺(jué)地正確地確認(rèn)過(guò)去視依賴電 氣肌肉收縮運(yùn)動(dòng)或經(jīng)驗(yàn)值來(lái)求出的下顎頭旋轉(zhuǎn)中心。通過(guò)在監(jiān)視器上確認(rèn)從該中心位開始 的下顎運(yùn)動(dòng)并在監(jiān)視器上以圖形表示正確的運(yùn)動(dòng)軌跡,使得能夠?qū)⑾骂€運(yùn)動(dòng)儲(chǔ)存再現(xiàn)為三 維數(shù)據(jù)。這再現(xiàn)記錄在個(gè)人計(jì)算機(jī)上構(gòu)成虛擬咬合器,若利用這虛擬咬合器進(jìn)行補(bǔ)綴物的 設(shè)計(jì),則可以實(shí)現(xiàn)較以前的咬合器更精巧的咬合功能恢復(fù)。
在第一以及第二發(fā)明中,在實(shí)體的影像上重疊顯示虛擬三維體積模型計(jì)算機(jī)影 像,藉此來(lái)視覺(jué)地認(rèn)識(shí)實(shí)體的內(nèi)部構(gòu)造,不過(guò)第十七發(fā)明為,在第一以及第二發(fā)明的三面次 元數(shù)字放大鏡的影像表示裝置上使得前方視野拍攝影像不表示,僅顯示跟蹤拍攝的施術(shù)對(duì) 象物體或者生物(實(shí)體)影像的虛擬三維體積模型計(jì)算機(jī)影像。因?yàn)楸WC第一以及第二發(fā) 明施術(shù)者安裝的實(shí)體和三維數(shù)字放大鏡的三維相對(duì)位置再現(xiàn)于虛擬三維體積模型計(jì)算機(jī) 影像,所以施術(shù)者能夠利用和實(shí)體一樣在三維數(shù)字放大鏡的影像顯示裝置上對(duì)虛擬三維體 積模型計(jì)算機(jī)影像的視覺(jué)認(rèn)識(shí),以及對(duì)施術(shù)對(duì)象物體或生物實(shí)體)直接或通過(guò)手術(shù)器具的 間接觸覺(jué),一邊觀察直接實(shí)體的拍攝影像一邊施行手術(shù),而能夠?qū)Φ韧趯?shí)體的被拍攝物 進(jìn)行手術(shù)。這是因?yàn)槿祟愊狄宰约旱氖炙芗坝诘姆秶牟僮鳛橹黧w,此系為人類以肉眼 (使用眼鏡和光學(xué)放大鏡的場(chǎng)合也同樣)的視覺(jué)工作的時(shí)候相同的頭部姿勢(shì)和視野方向, 能提供和過(guò)去的面對(duì)桌上型顯示器對(duì)于和視線方向不同的部位的不自然的操作方式完全 不同的自然的感覺(jué),使用者能夠在短時(shí)間內(nèi)實(shí)現(xiàn)臨床應(yīng)用。尤其是在高放大的手術(shù)中,將虛 擬三維體積模型計(jì)算機(jī)影像的解剖學(xué)構(gòu)成解體并表現(xiàn),藉此使得容易視覺(jué)認(rèn)識(shí)。像這樣僅 用追蹤施術(shù)者視野生物(實(shí)體)的虛擬三維體積模型計(jì)算機(jī)影像的情況,拍攝施術(shù)對(duì)象物 體或者生物(實(shí)體)影像不會(huì)對(duì)施術(shù)者的視覺(jué)造成影響,所以,可以使用被動(dòng)立體法,用發(fā) 光二極管點(diǎn)燃發(fā)光的點(diǎn)發(fā)光法;或者主動(dòng)立體法,用通過(guò)做出對(duì)應(yīng)點(diǎn)的縫隙的直線光,使光 掃描以得到對(duì)象的斷面,并取得實(shí)體的形狀的縫隙光投影法,或者,將能夠判斷拍攝裝置影 像內(nèi)的坐標(biāo)的圖案模式投影在實(shí)體上,以求出進(jìn)深的圖案光投影法,藉此能夠縮短測(cè)量時(shí) 間和提升處理速度。
第十八發(fā)明為,除了左右拍攝裝置的實(shí)體空間拍攝影像的記錄之外,不管追蹤前 述實(shí)體空間拍攝影像的三維計(jì)算機(jī)影像顯示或不顯示在各顯示器上都按照各層次分別儲(chǔ) 存動(dòng)畫記錄。關(guān)于實(shí)體空間拍攝影像的記錄若是利用三維顯示器的話,不僅是HMD,還能夠 提供三維記錄影像。再者,三維計(jì)算機(jī)影像,若是錄像再生,就被顯示為和前述實(shí)體影像連 動(dòng)的三維動(dòng)畫,維持加在該三維計(jì)算機(jī)影像的經(jīng)時(shí)的形狀數(shù)據(jù),維持前述經(jīng)時(shí)形狀變化的 三維計(jì)算機(jī)圖形記錄數(shù)據(jù)在監(jiān)視器上自由地操作為傾斜,全景,縮放,在回轉(zhuǎn)的6個(gè)軸方向 自由回轉(zhuǎn)移動(dòng),藉此,能夠?qū)⒃摳鲗哟斡跋褚愿髯曰蜻x擇性地組合輸出病在顯示器上自由 操作,所以能夠從施術(shù)者無(wú)法觀察的視點(diǎn)來(lái)評(píng)估手術(shù)的進(jìn)展?fàn)顩r。藉此,能夠?qū)⒈憩F(xiàn)由第 十一發(fā)明的手術(shù)器具CG體積模型以及手術(shù)器具造成的實(shí)體的形態(tài)變化相同的變化的虛擬 三維體積模型計(jì)算機(jī)影像記錄數(shù)據(jù)自由變更視點(diǎn)并加以檢討。即使數(shù)據(jù)的記錄儲(chǔ)存為片斷 的計(jì)時(shí)記錄數(shù)據(jù)的累積也能夠表現(xiàn)同樣的效果,所以可用于對(duì)于長(zhǎng)期治療的矯正治療等等 的評(píng)估,將骨成長(zhǎng)的要素反映在記錄數(shù)據(jù)加以評(píng)估的情況下,因?yàn)榭捎糜诠歉竦某砷L(zhǎng)中心的確認(rèn)診斷,所以可用于基于成長(zhǎng)預(yù)測(cè)的治療計(jì)劃的起草。
本發(fā)明為,通過(guò)根據(jù)前述的實(shí)體三維影像目地而實(shí)時(shí)加工的計(jì)算機(jī)圖形影像來(lái)實(shí) 現(xiàn)手術(shù)支持,不過(guò),為了提升計(jì)算機(jī)圖形影像的表現(xiàn)能力,遮光是重要的要件。然而,第十九 發(fā)明為,用二維數(shù)字放大鏡拍攝裝置的實(shí)體影像覆蓋前述全部的三維計(jì)算機(jī)圖形影像場(chǎng) 景,以該平面影像作為光源照射重疊于施術(shù)對(duì)象物體或生物(實(shí)體)的虛擬三維計(jì)算機(jī)影 像,藉此使得作為背景使用的實(shí)體空間上的視野影像和包含虛擬現(xiàn)實(shí)的合成三維計(jì)算機(jī)圖 形的內(nèi)部構(gòu)造的虛擬三維體積模型計(jì)算機(jī)影像顯示為(非常近似)的解剖學(xué)內(nèi)部構(gòu)造的照 片被產(chǎn)生,因而能夠表現(xiàn)更高度的擴(kuò)張現(xiàn)實(shí)感。
第二十發(fā)明為,在左右拍攝裝置的實(shí)體空間拍攝影像和三維計(jì)算機(jī)圖形影像圖框 交替顯示的情況下,可以分別調(diào)整其每一秒的表示圖框數(shù),通過(guò)實(shí)體影像和三維計(jì)算機(jī)影 像的識(shí)別率有差異,而提高作為識(shí)別目標(biāo)的影像的明視性,另外,在覆蓋表示的時(shí)候,左右 拍攝裝置的實(shí)體空間拍攝影像或三維計(jì)算機(jī)影像各個(gè)表示比例,以及左右拍攝影像或三維 計(jì)算機(jī)影像一方面或雙方的三維數(shù)字放大鏡左右顯示器的顯示比例可以自由變更,藉此, 能有效提升兩眼視的距離感、被拍攝界深度、立體感等等的認(rèn)識(shí)效果。顯示于相反側(cè)的眼睛 的影像和慣用眼側(cè)顯示的影像相比,則其認(rèn)識(shí)程度較低,所以,利用這個(gè)作用,在左右顯示 器個(gè)別顯示影像的明視狀況產(chǎn)生差異,對(duì)應(yīng)于有個(gè)人差的慣用眼及相反側(cè)眼時(shí)可以方便地 改變識(shí)別比例的表現(xiàn)影像的識(shí)別率,因此,從肉眼視安裝本裝置時(shí),能夠立刻對(duì)三面次元數(shù) 字放大鏡畫面順應(yīng)舒適地觀察由于三維影像實(shí)現(xiàn)的擴(kuò)張現(xiàn)實(shí)空間。
依據(jù)上述手段,可獲得如下述的作用。
發(fā)明的效果
依據(jù)本發(fā)明的權(quán)利要求1-19中記載的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng), 以立體法立體測(cè)量存在于同一空間內(nèi)的被拍攝物的表面多邊形模型2中,以形狀圖案識(shí)別 個(gè)別檢出該三維數(shù)字放大鏡前方視野拍攝影像上的表面多邊形模型2中的和各表面多邊 形模型1三維相似形狀的表面多邊形模型之后,追蹤對(duì)前述表面多邊形模型1組織映像的 虛擬三維體積模型計(jì)算機(jī)圖形,藉此,追隨在實(shí)際的三維空間引起的前述被拍攝物和拍攝 裝置的相對(duì)位置變化,像和實(shí)際的相對(duì)位置變化相同變化一樣地,作為拍攝裝置視野內(nèi)的 被拍攝物的實(shí)體和虛擬的三維計(jì)算機(jī)影像一體化顯示,所以將構(gòu)成解剖學(xué)術(shù)上的各構(gòu)成要 素的三維計(jì)算機(jī)圖形影像的各層次選擇地或者透視影像加工顯示在拍攝影像上,藉此,以 相同于人類根據(jù)眼前的實(shí)體視覺(jué)一邊認(rèn)識(shí)一邊觸摸直接手的觸覺(jué)進(jìn)行工作的情況的感覺(jué) 來(lái)進(jìn)行識(shí)別以及進(jìn)行操作,利用將無(wú)法以實(shí)體影像識(shí)別的內(nèi)部構(gòu)造明視化的虛擬計(jì)算機(jī)圖 形影像的視覺(jué)同時(shí)一邊確認(rèn)內(nèi)部構(gòu)造而無(wú)須依賴經(jīng)驗(yàn)或感覺(jué)的不確定預(yù)測(cè),就可以正確接 近眼前的實(shí)體內(nèi)部不可見(jiàn)區(qū)域。
另外,根據(jù)第二發(fā)明,通過(guò)并列分別構(gòu)成三維數(shù)字放大鏡左右拍攝裝置和影像表 示裝置,分別追蹤連動(dòng)將映射內(nèi)部構(gòu)造構(gòu)成要素組織的各內(nèi)部構(gòu)成要素中的任意的三維計(jì) 算機(jī)圖形分別顯示在兩眼視影像表示裝置的對(duì)象實(shí)體影像,藉此,可以將三維數(shù)字放大鏡 的左右影像表示裝置所表示的實(shí)體影像上兩個(gè)不同的被拍攝物內(nèi)部構(gòu)造三維計(jì)算機(jī)圖形 重疊顯示,所以,通過(guò)兩眼視差角而具有如同化入拍攝空間實(shí)體影像上的具有臨場(chǎng)感的透 視影像,能夠提供施術(shù)者由高品質(zhì)的立體識(shí)別的擴(kuò)張現(xiàn)實(shí)感。
再者,用手術(shù)器具將前述被拍攝物(患者實(shí)體)切開,切削,削除等而造成有體積16變化的形態(tài)變化的時(shí)候,對(duì)該手術(shù)器具登錄布局并連動(dòng)的手術(shù)器具CG體積模型,對(duì)于患者 解剖的CG畫素體積模型進(jìn)行布爾運(yùn)算處理,使得對(duì)該患者實(shí)體登錄布局并連動(dòng)的患者解 剖學(xué)CG體積模型將和被切開的實(shí)體同樣的視覺(jué)變化顯示在患者解剖學(xué)CG體積模型中的實(shí) 體不可見(jiàn)區(qū)域,藉此,關(guān)于實(shí)空間中被拍攝物的狀態(tài)變化的模擬包含與被拍攝物重疊顯示 的三維計(jì)算機(jī)圖形狀態(tài),以及由拍攝空間狀態(tài)的變化引起的對(duì)于三維計(jì)算機(jī)圖形的間接引 想的模擬。
此外,通過(guò)加工前述虛擬計(jì)算機(jī)圖形影像,加入三維的視覺(jué)導(dǎo)引標(biāo)示和動(dòng)畫,能夠 提高工作效率并實(shí)現(xiàn)高精度的工作,這些加工三維計(jì)算機(jī)圖形影像和前述全部的計(jì)算機(jī)圖 形影像層次可以單獨(dú)錄像、記錄儲(chǔ)存,所以能夠做為經(jīng)時(shí)變化的評(píng)價(jià)以及預(yù)知性予測(cè)的有 用根據(jù)。
圖1是三維放大鏡表示的立體影像V-l-R、V-I-L和利用此左右影像數(shù)據(jù)D_1_R、 D-I-L構(gòu)成表面多邊形模型W-I的狀況的示意圖2是二維切片數(shù)據(jù)合成的顱骨計(jì)算機(jī)圖形,顏面計(jì)算機(jī)圖形、顏面表面多邊形 模型的構(gòu)成狀況的示意圖3是三維數(shù)字放大鏡顯示器上從二維斷層數(shù)據(jù)構(gòu)筑的計(jì)算機(jī)圖形合成表示系 統(tǒng)的構(gòu)成的流程圖4是按照各種設(shè)定切下外層計(jì)算機(jī)圖形所顯示的內(nèi)層計(jì)算機(jī)圖形的示意圖5是三維數(shù)字放大鏡顯示器表示的實(shí)體影像上形成移植窩的狀況,以及在實(shí)體 影像上解剖學(xué)的內(nèi)部構(gòu)造,器具的計(jì)算機(jī)圖形,以及隨著器具的到達(dá)深度在前述解剖學(xué)構(gòu) 造體的計(jì)算機(jī)圖形產(chǎn)生的虛擬計(jì)算機(jī)影像合成表示的狀態(tài)的示意圖6是圖5的解剖學(xué)的內(nèi)部構(gòu)造,器具的計(jì)算機(jī)圖形,以及虛擬計(jì)算機(jī)圖形影像, 還有預(yù)先在計(jì)算機(jī)圖形上設(shè)計(jì)的外科導(dǎo)引合成顯示于實(shí)體影像上的狀態(tài),切下前述狀況的 外層計(jì)算機(jī)圖形所表示內(nèi)層計(jì)算機(jī)圖形的狀況的示意圖7是三維數(shù)字放大鏡顯示器上表示的正面以及側(cè)面的口腔內(nèi)齒列實(shí)體影像所 表示的狀態(tài),以及在前述口腔內(nèi)齒列實(shí)體影像上作為不可見(jiàn)區(qū)域的牙根,齒槽骨的二維斷 層數(shù)據(jù)構(gòu)筑的計(jì)算機(jī)圖形合成表示的狀態(tài),以及預(yù)先在計(jì)算機(jī)圖形上設(shè)計(jì)的托架位置和成 顯示于實(shí)體影像上的狀態(tài)的示意圖8是在矯正治療目標(biāo)上將理想拱形合成顯示于齒列實(shí)體影像,或者在齒列實(shí)體 影像三維視覺(jué)同一位置合成表示的齒列計(jì)算機(jī)圖形上的狀態(tài)的示意圖9是合成表示和實(shí)體影像三維視覺(jué)同一位置的顱骨,以及下顎骨的計(jì)算機(jī)圖形 上可以任意將對(duì)于下顎骨間接頭相對(duì)位置移動(dòng)的虛擬下顎運(yùn)動(dòng)下顎頭旋轉(zhuǎn)中心蝶幡軸合 成表示的狀態(tài)的示意圖10是以圖9表示的方法獲得的鉸軸作為起始點(diǎn)的下顎運(yùn)動(dòng)三軸二維虛擬縮放 圖表示,和表示下顎切牙的極限運(yùn)路徑的虛擬咬合器的示意圖。
符號(hào)說(shuō)明
1、實(shí)體(面部、頭蓋)
2、三維數(shù)位放大鏡
3_a、透視線
3_b、透視線
3-c、透視線
3-d、透視線
3_e、透視線
4、牙齒
4-C、牙齒 CG
5-C、牙根 CG
6、面部軟組織CG
7、下顎骨 CG
8、顱骨 CG
9、牙肉軟組織
9-C、牙肉軟組織CG
10、皮質(zhì)骨
10-C、皮質(zhì)骨 CG
11、海綿骨
11-C、海綿骨 CG
12、下顎牙床神經(jīng)管
12-C、下顎牙床神經(jīng)管CG
13、馬達(dá)
14、切削鉆
14-B、移植窩 CG
14-C、切削鉆 CG
15-C、外科導(dǎo)引 CG
16、理想拱形
16-C、計(jì)算機(jī)圖形理想拱形
17-C、計(jì)算機(jī)圖形鉸軸
18-C、計(jì)算機(jī)圖形鉸鏈弧
19-R、虛擬右邊縮放圖標(biāo)記X軸方面
19-L、虛擬左邊縮放圖標(biāo)記X軸方面
20-R、虛擬右邊縮放圖標(biāo)記Y軸方面
20-L、虛擬左邊縮放圖標(biāo)記Y軸方面
21-R、虛擬右邊縮放圖標(biāo)記Z軸方面
21-L、虛擬左邊縮放圖標(biāo)記Z軸方面
22、切牙部下顎極限運(yùn)路徑
23、下顎頭中心運(yùn)動(dòng)軌跡
24、虛擬托架位置CG
25、虛擬咬合平面CG
26、嘴唇
27、明視標(biāo)記
C、頭部解剖學(xué)要元素的面孔數(shù)據(jù)計(jì)算機(jī)圖形
C-I、顱骨計(jì)算機(jī)圖形
C-2、面部表面多邊形模型
C-3、面部計(jì)算機(jī)圖形
D-I、三維數(shù)字放大鏡拍攝影像數(shù)據(jù)
D-1-R、三維數(shù)字放大鏡右邊拍攝影像數(shù)據(jù)
D-1-L、三維數(shù)字放大鏡左邊拍攝影像數(shù)據(jù)
D-2、立體測(cè)量(CT)多邊形表面模型
V-I、三維拍攝影像
V-1-R、三維數(shù)字放大鏡右邊影像
V-1-L、三維數(shù)字放大鏡左邊影像
V-2、實(shí)體、骨格CG重疊影像
V-3 V-6、軟組織CG、骨格CG重疊影像
V-7 V-9、下顎牙床實(shí)體影像
V-IO V-12牙肉軟組織CG皮質(zhì)骨CG、海綿骨CG、下顎牙床神經(jīng)管CG以及切削 鉆、移植窩CG、切削鉆CG重疊顯示影像
V-13 V-15牙肉軟組織CG皮質(zhì)骨CG海綿骨CG下顎牙床神經(jīng)管CG以及切削鉆、 移植窩CG、切削鉆CG、外科導(dǎo)引CG重疊顯示影像
V-16 V-18牙肉軟組織CG皮質(zhì)骨CG海綿骨CG下顎牙床神經(jīng)管CG切削鉆、移植 窩CG、切削鉆CG、外科導(dǎo)引CG重疊顯示影像以及透視斷面
V-19、計(jì)算機(jī)圖形理想拱門、下顎骨格CG重疊影像
W-I、面部表面多邊形模型(從三維數(shù)字放大鏡拍攝影像數(shù)據(jù)合成)具體實(shí)施方式
以下參照
本發(fā)明的實(shí)施形態(tài)。
圖1 圖10是表示實(shí)施發(fā)明的要素以及一個(gè)實(shí)施方式,圖中的框是表示數(shù)字放大 鏡的顯示器、顯示器的認(rèn)識(shí)影像或PC顯示器,數(shù)字放大鏡的顯示器上有由左右顯示器的構(gòu) 成來(lái)表現(xiàn)立體認(rèn)識(shí)物。另外,標(biāo)示以同一符號(hào)的部分表示同一東西。
本發(fā)明的基本構(gòu)成要素的三維數(shù)字放大鏡的原理為,人類用腦認(rèn)識(shí)使用肉眼在視 網(wǎng)膜上投射的像的時(shí)候,利用左右兩眼的視差角來(lái)把握距離的生物系統(tǒng),將識(shí)別為立體的 狀況通過(guò)視覺(jué)再現(xiàn)在設(shè)置于左右眼前方的影像表示裝置。也就是,設(shè)置于三維數(shù)字放大鏡 左右瞳孔前方的立體拍攝裝置為安裝者的兩眼,換言之,是發(fā)揮位于視覺(jué)認(rèn)識(shí)的最前部的 水晶體的功能的裝置,通過(guò)將該左右各自影像數(shù)據(jù)顯示在左右各自的影像顯示裝置,能夠 實(shí)現(xiàn)和安裝者用肉眼認(rèn)識(shí)物體的時(shí)候相同的立體視覺(jué)。利用這樣原理的三維數(shù)字放大鏡, 如圖1所示的拍攝方向相異的影像投射在左右表示裝置V-1R,V-1-L,這樣,施術(shù)者能夠?qū)?拍攝對(duì)象識(shí)別為立體影像。使用將發(fā)揮兩眼功能的兩眼立體視覺(jué)所使用的左右二維影像訊 息D-l-L,D-I-R以立體配置的左右拍攝裝置的變化位角度,以及用固定的2臺(tái)照相機(jī)之間 的距離的三角測(cè)量數(shù)據(jù)來(lái)進(jìn)行演算處理以執(zhí)行立體測(cè)量的立體影像法,構(gòu)成表面多邊形模型W-1。該表面多邊形模型W-I為和實(shí)體影像拍攝的相同視點(diǎn)(同一的拍攝裝置),所以完 全不需加以修正,為表示拍攝對(duì)象(實(shí)體)和三維數(shù)字放大鏡拍攝裝置(施術(shù)者)的三維相 對(duì)位置關(guān)系的裝置,不需要為了獲得和實(shí)體影像的整合性而進(jìn)行修正處理。通過(guò)這些拍攝 裝置拍攝的影像的拍攝范圍是依據(jù)拍攝對(duì)象和拍攝裝置的距離、以及拍攝裝置的放大率來(lái) 制定的,不過(guò),在設(shè)定合適操作的擴(kuò)大率時(shí),基于人體工程學(xué),操作距離為施術(shù)者前方10到 40公分的范圍,所以,預(yù)設(shè)為初始設(shè)定時(shí)的測(cè)量點(diǎn)設(shè)定的操作距離的最接近位置進(jìn)行。假設(shè) 在像口腔內(nèi)一樣無(wú)法設(shè)定口唇、臉頰等作為起始時(shí)的測(cè)定點(diǎn)影像的時(shí)候,對(duì)于在可視范圍 中的測(cè)定點(diǎn)和前述測(cè)定點(diǎn)內(nèi)側(cè)亦即口唇、臉頰內(nèi)側(cè)存在的齒列或牙齒的不動(dòng)點(diǎn)首先進(jìn)行初 始設(shè)定,藉此提高放大表示時(shí)的立體測(cè)定精度。
另外,若將根據(jù)斷層攝影法取得的施術(shù)對(duì)象物體或生物的二維切片數(shù)據(jù)構(gòu)筑的各 構(gòu)造構(gòu)成要素的構(gòu)成表面多邊形模型1,通過(guò)直接計(jì)算機(jī)影像識(shí)別處理對(duì)三維數(shù)字放大鏡 的左右各個(gè)拍攝裝置所拍攝的兩眼立體視覺(jué)所使用的左右各自二維影像訊息D-1-L、D-1_R 影像數(shù)據(jù)進(jìn)行映像追蹤,則能夠?qū)?nèi)部構(gòu)造構(gòu)成要素組織映像到前述多邊形模型1的各內(nèi) 部構(gòu)成要素中的任意的三維影像分別表示的對(duì)象實(shí)體影像,并使其連動(dòng)。圖2是事先對(duì)施 術(shù)對(duì)象進(jìn)行斷層攝影以補(bǔ)充構(gòu)成二維切片數(shù)據(jù)而構(gòu)成的施術(shù)對(duì)象的解剖學(xué)構(gòu)成要素、骨表 面數(shù)據(jù)計(jì)算機(jī)圖形C-1、皮膚表面計(jì)算機(jī)圖形C-2、皮膚上皮表面多邊形模型C-3。該皮膚 上皮表面多邊形模型C-3為,具有從三維數(shù)字放大鏡影像訊息構(gòu)成的表面多邊形模型W-I 的多邊形形狀構(gòu)成整合性,而且,對(duì)于對(duì)象實(shí)體的構(gòu)成多邊形數(shù)為在能夠表現(xiàn)該實(shí)體的形 態(tài)的特征的范圍內(nèi)最小的構(gòu)成數(shù)。因此,該多邊形構(gòu)成能夠使得,骨表面數(shù)據(jù)計(jì)算機(jī)圖形 C-1、皮膚表面計(jì)算機(jī)圖形C-2的組織映像的構(gòu)成所使用的多邊形模型的多邊形構(gòu)成盡可 能減少。該減少處理,即使將由三維數(shù)字放大鏡的立體測(cè)定數(shù)據(jù)構(gòu)成的表面多邊形模型W-I 也進(jìn)行同樣處理,也能夠維持前述各個(gè)多邊形模型的整合性。這些數(shù)據(jù)能夠維持各相對(duì)的 位置關(guān)系,并能自由顯示在顯示器上,同時(shí),在用總括數(shù)據(jù)C或者各組合表示的時(shí)候,能夠 對(duì)各自的透明度和色調(diào)進(jìn)行單獨(dú)的自由變更,所以能夠容易地視覺(jué)地認(rèn)識(shí)各解剖學(xué)構(gòu)成要ο
圖3是表示三維數(shù)字放大鏡拍攝裝置數(shù)據(jù)和斷層攝影數(shù)據(jù)的影像訊息的統(tǒng)一過(guò) 程的流程。三維數(shù)字放大鏡是將左邊拍攝裝置的影像訊息顯示在一方,并將右邊拍攝裝置 的影像訊息顯示在另一方的影像顯示裝置,因?yàn)槟軌蚝腿庋垡粯恿Ⅲw地認(rèn)識(shí)實(shí)體,所以,在 單獨(dú)使用的時(shí)候,如其名稱所示,該三維數(shù)字放大鏡的左右拍攝裝置拍攝二維影像訊息,用 個(gè)人計(jì)算機(jī)進(jìn)行左右單獨(dú)或者相同透明化及色調(diào)變更等的影像處理,回傳到在三維數(shù)字放 大鏡顯示裝置作為單獨(dú)的影像訊息就可以用作放大鏡。如圖1所示,這些三維數(shù)字放大鏡 拍攝裝置的立體配置的固定變位角度和固定照相機(jī)之間距離的左右拍攝裝置二次元影像 訊息,通過(guò)用個(gè)人計(jì)算機(jī)進(jìn)行立體測(cè)量而構(gòu)成表面多邊形模型C-2。該面多邊形模型C-2 為,用從圖3所表示的CT 二維斷層數(shù)據(jù)構(gòu)筑的該表面多邊形模型W-I來(lái)進(jìn)行判別認(rèn)識(shí),同 時(shí),對(duì)骨表面數(shù)據(jù)計(jì)算機(jī)圖形C-1、皮膚表面計(jì)算機(jī)圖形C-2影像選擇地或者綜合地進(jìn)行影 像追蹤。從而,備顯示在施術(shù)者安裝三維數(shù)字放大鏡的時(shí)候三維空間上立體視覺(jué)的實(shí)體影 像V-I的三維同一位置上,同時(shí),能夠識(shí)別追蹤實(shí)體影像V-I的骨表面數(shù)據(jù)計(jì)算機(jī)圖形C-1、 皮膚表面計(jì)算機(jī)圖形C-2等的斷層攝影數(shù)據(jù)所構(gòu)筑的各解剖學(xué)形狀的計(jì)算機(jī)圖形。表現(xiàn)這 些三維數(shù)字放大鏡所顯示的實(shí)體影像V-I和實(shí)體1的各解剖學(xué)構(gòu)成要素的骨表面數(shù)據(jù)計(jì)算20機(jī)圖形C-1、皮膚表面計(jì)算機(jī)圖形C-2,通過(guò)變更各層次的透明度,能夠在實(shí)體影像V-I上表 現(xiàn)實(shí)體1的不可見(jiàn)區(qū)域,排除實(shí)體影像V-I而將表示影像均以計(jì)算機(jī)圖形的組合表現(xiàn),視覺(jué) 上和肉眼視覺(jué)識(shí)別的時(shí)候相同位置上以手碰觸一樣能夠利用對(duì)計(jì)算機(jī)圖形的三維識(shí)別和 對(duì)于實(shí)體1的觸覺(jué)來(lái)對(duì)不可見(jiàn)區(qū)域?qū)嵤┦中g(shù)。
另外,像圖4V-4—樣用透視線3-a切割不透明的前述該皮膚表面計(jì)算機(jī)圖形C-2, 這樣能在口唇緊閉的情況下看清楚配置于下層的內(nèi)部構(gòu)造牙齒CG4-C。像這樣的CG的表 現(xiàn),并不預(yù)先在拍攝實(shí)空間上的被拍攝物影像上顯示三維計(jì)算機(jī)圖形影像斷面形狀固定配 置加工的CG,而是使得拍攝裝置視線方向?yàn)檩S心的任意設(shè)定的透明立體形狀(在本圖中是 圓筒形狀)和視線方向連動(dòng),并以透視線3-a切去皮膚表面計(jì)算機(jī)圖形C-2,所以當(dāng)視線變 更時(shí),透視范圍也移動(dòng)到3-b并通過(guò)布爾演算被除算的內(nèi)部層次的骨表面數(shù)據(jù)計(jì)算機(jī)圖形 C-I就可被透視。另外,若將前述透明立體形狀(在本例中設(shè)定為球形)用和三維數(shù)字放大 鏡拍攝裝置的三維空間上的相對(duì)位置關(guān)系來(lái)設(shè)定在固定范圍,則從能透視V-4、3-a的齒列 CG4的狀態(tài),在安裝三維數(shù)字放大鏡的狀態(tài)下當(dāng)施術(shù)者的臉接近實(shí)體時(shí),就擴(kuò)大透視范圍使 得如V-5、3-c —樣地直到齒列CG4以及下顎骨CG7的范圍都能被透視。若為更進(jìn)一步無(wú)限 擴(kuò)大該透明立體形狀的透視線3-d,則如V-6 —樣,能夠透視皮膚表面計(jì)算機(jī)圖形C-2的三 維放大鏡拍攝裝置側(cè)全體。因?yàn)檫@些全部的透視處理可以針對(duì)各層次設(shè)定,所以層次斷層 的透視如同本圖示的例子一樣地,不只是透視皮膚表面計(jì)算機(jī)圖形,還能夠自由地針對(duì)各 層次進(jìn)行。
如果采用前述的自由透視層次的技術(shù),如圖4所示,能夠用無(wú)開刀的方式安全地 實(shí)施牙科移植手術(shù)。齒科移植窩形成時(shí)應(yīng)該考慮的問(wèn)題為,為了手術(shù)后在植牙頸周遭保 持順利的骨形態(tài)而確認(rèn)施術(shù)部位的骨量和形狀、以及回避下齒槽神經(jīng)并獲得齒冠牙根比 1 1以上深度的移植埋入窩。因此,以前切開剝離施術(shù)部位的粘膜骨膜瓣使得齒槽骨露出 以確認(rèn)骨頭的狀態(tài),在形成移植窩實(shí)事前先進(jìn)行全景X射線、或者用CT斷層攝影的縮尺測(cè) 量來(lái)測(cè)定下齒槽神經(jīng)的距離,借助X射線影像的記憶進(jìn)行盲鉆孔。假設(shè)在用無(wú)開刀的方式 形成移植窩的情況下,如圖5的V-7到V-8那樣,在鉆子14切入牙肉軟組織9的瞬間,鉆子 的方向以及鉆子的尖端位置就被不可見(jiàn)區(qū)域蓋住了。此外,在V-9切削之后也無(wú)法確認(rèn)形 成的移植窩實(shí)體??墒?,為了如V-IO那樣表示虛擬計(jì)算機(jī)圖形,用牙肉軟組織CG9-C內(nèi)確 認(rèn)的皮質(zhì)骨CGlO-C在掌握皮質(zhì)骨的狀態(tài)的同時(shí)決定鉆子14的鉆孔位置如V-Il所示般切 削海綿骨CGll-C以形成移植窩。因?yàn)檫@時(shí)候下顎齒槽神經(jīng)管CG12-C也可以視覺(jué)地確認(rèn), 所以導(dǎo)致神經(jīng)損傷的危險(xiǎn),而且,能夠在盡可能深的位置形成移植埋入窩。此外用切削鉆 CG14-C切開牙肉軟組織CG9-C、皮質(zhì)骨CG10-C、海綿骨CGl 1-C,并用布爾演算進(jìn)行除算,能 夠確認(rèn)如V-12般的維持形成之后的移植窩CG14-B并能夠三維視覺(jué)地確認(rèn)。
該手術(shù),如圖6V-13所示一般,用外科導(dǎo)引CG15-C表示鉆孔深度和方向,將鉆的尖 端置于牙肉軟組織CG9-C上的外科導(dǎo)引CG15-C,像V-14 —樣地在目標(biāo)方向進(jìn)行鉆孔直到 外科導(dǎo)引尖端為止,考慮顎骨的解剖學(xué)形狀、骨密度,及最終補(bǔ)綴處置在術(shù)前設(shè)計(jì)的移植植 立位置正確地形成移植窩。按照必要形成移植窩之后,通過(guò)顯示移植窩CG14-B和外科導(dǎo)引 CG15-C以進(jìn)行手術(shù)后的評(píng)價(jià)。這時(shí)候,用V-16、V-17表示的透視線3_a切割三維CG表示 的下顎透視影像將切削鉆CG14-C相對(duì)于外科導(dǎo)引CG15-C從斷面方向確認(rèn)如V-18 —樣地 確認(rèn)進(jìn)深以進(jìn)行鉆孔。藉此,施術(shù)者無(wú)需變更視線,就可以從外科導(dǎo)引CG15-C和透視線3-a的兩方向確認(rèn)鉆方向以及深度,同時(shí)進(jìn)行手術(shù)。
同樣地,用三維數(shù)字放大鏡拍攝口腔內(nèi)牙齒,觀察實(shí)體影像時(shí),就可以如圖7的 V-0-1、ν-0-2所示般地認(rèn)識(shí)。相對(duì)于該解剖學(xué)的不動(dòng)點(diǎn)的各個(gè)的牙齒,重疊顯示牙齒 CG4-C、牙根CG5-C、牙肉軟組織CG9-C、計(jì)算機(jī)圖形層次、和透明化的口唇沈?qū)哟?,則如 V-0-3、V-0-4所示,就能夠在眼前的患者的顏面上,三維地視覺(jué)識(shí)別不可見(jiàn)區(qū)域的牙根的狀 態(tài)。在口腔外科領(lǐng)域中,拔除埋伏牙的時(shí)候,三維地確認(rèn)牙齒牙根的位置和方向有益于安全 地實(shí)施手術(shù)。另外,在矯正治療中,如V-0-5、V-0-6所示,通過(guò)將考慮牙根方向和齒牙植立 方向的虛擬托架位置CGM顯示在牙齒CG4上,就可以將托架定位在符合牙根方向。在矯正 治療中,通過(guò)將當(dāng)下拍攝影像上儲(chǔ)存記錄的治療經(jīng)過(guò)的牙齒CG4-C重疊表示,就可以實(shí)時(shí) 地比較檢討牙齒的移動(dòng)狀況。這比較檢討不僅是各個(gè)的牙齒,也可以應(yīng)用于齒列全體咬合 平面的評(píng)價(jià)。如圖8所表示,相對(duì)于在矯正治療的治療目標(biāo)設(shè)計(jì)階段決定的計(jì)算機(jī)圖形理 想拱形16-C的各牙齒的狀態(tài)如V-19 —樣地被顯示在三維數(shù)字放大鏡所表示的牙列實(shí)體影 像上,或者選擇性地顯示在齒列牙齒CG4-C和下顎骨CG7上,藉此進(jìn)行目前齒列的評(píng)價(jià),通 過(guò)將儲(chǔ)存記錄的治療情況的牙齒CG4-C重疊顯示,能夠?qū)嵤┲委煵襟E的再評(píng)價(jià)并可以實(shí)現(xiàn) 有效率的治療。
使得能夠看清楚不可見(jiàn)區(qū)域的本發(fā)明,不僅適用于外科治療或是牙科矯正治療, 也適用于補(bǔ)綴咬合治療。以前,為了求得下顎運(yùn)動(dòng)的起始點(diǎn)的鉸軸,使用縮放圖處理下顎, 把左右共轉(zhuǎn)軸的動(dòng)作用描記針描畫在左右圖上,并以變化位相抵的位置設(shè)定作為旋轉(zhuǎn)中心 的復(fù)雜調(diào)整被強(qiáng)制要求進(jìn)行。不過(guò),在本發(fā)明中,如圖9所示,合成顯示連結(jié)實(shí)體影像和三 維視覺(jué)地同一位置重疊成表示的顱骨CG8、以及下顎骨CG7的解剖學(xué)共轉(zhuǎn)中心的暫定計(jì)算 機(jī)圖形鉸軸17-C,對(duì)實(shí)體仿真開閉運(yùn)動(dòng)時(shí)計(jì)算機(jī)圖形鉸鏈弧18-C旋轉(zhuǎn),所以,前述計(jì)算機(jī) 圖形鉸鏈弧18-C的旋轉(zhuǎn)變化位量被自動(dòng)計(jì)算,計(jì)算機(jī)圖形鉸軸17-C被修正表示。
圖10是記錄這樣求出的實(shí)際計(jì)算機(jī)圖形鉸軸17-C作為起始點(diǎn)的下顎運(yùn)動(dòng)的虛擬 伸縮繪圖。
在以前的伸縮繪圖中標(biāo)記的位置為,因?yàn)槲挥诿娌客鈧?cè)被描記的下顎運(yùn)動(dòng)不是共 轉(zhuǎn)的中心部的運(yùn)動(dòng)軌跡,在本發(fā)明中,以三軸二維表示面表示以實(shí)際鉸軸作為起始點(diǎn)的下 顎運(yùn)動(dòng),所以能夠正確地從三軸方向評(píng)估左右共轉(zhuǎn)的下顎頭中心運(yùn)動(dòng)軌跡23。這運(yùn)動(dòng)軌跡 除供轉(zhuǎn)之外也進(jìn)行對(duì)牙齒CG4-C等的標(biāo)記以誘導(dǎo)下顎極限運(yùn)動(dòng)的話,則表示切牙部下顎極 限運(yùn)道路22。這各運(yùn)動(dòng)軌跡記錄,除極限運(yùn)動(dòng)之外,還記錄咀嚼運(yùn)動(dòng)、吞咽、演講等時(shí)候的生 理的下顎運(yùn)動(dòng),所以,特別利用摩擦齒列側(cè)方運(yùn)動(dòng)以及前方運(yùn)動(dòng)及下顎頭中心運(yùn)動(dòng)軌跡23 數(shù)據(jù)在計(jì)算機(jī)上構(gòu)筑虛擬咬合器。該虛擬咬合器,因?yàn)橥耆乇憩F(xiàn)生物體的運(yùn)動(dòng),所以在該 咬合器上表示上下齒列CG,用計(jì)算機(jī)上的虛擬咬合器并使用三維CAD進(jìn)行符合各種生理的 運(yùn)動(dòng)的補(bǔ)綴物的設(shè)計(jì),再現(xiàn)咀嚼循環(huán)、吞咽運(yùn)動(dòng)等并再評(píng)估補(bǔ)綴物的功能解剖學(xué)形狀,藉此 可以進(jìn)行完美的補(bǔ)綴治療。
另外,像這樣的不見(jiàn)血的施術(shù)場(chǎng)面,在取出顎運(yùn)動(dòng)的紀(jì)錄、診斷、或矯正治療中利 用本系統(tǒng)的時(shí)候,直接拍攝不動(dòng)點(diǎn)的牙齒或骨面的范圍是被限定的,但是,在此種情況下, 將圖9的明視標(biāo)記27用具有再現(xiàn)性的安裝手段固定在上下牙齒的狀態(tài)下進(jìn)行斷層攝影作 為多邊形模型數(shù)據(jù),如果利用作為實(shí)體影像的表現(xiàn)標(biāo)記,就能夠得到高精度的計(jì)算機(jī)圖形 的連動(dòng)功能。該明視標(biāo)記27,即使在口唇緊閉的狀態(tài)下也能夠安裝在上下牙齒上,所以不會(huì)妨礙口腔周圍肌肉的運(yùn)動(dòng)而能夠記錄生理的運(yùn)動(dòng)時(shí)的顎運(yùn)動(dòng)。
此外,本發(fā)明的三維數(shù)字放大鏡手術(shù)支持系統(tǒng)的影像合成層次要素,并不限定為 上述的實(shí)施的形態(tài),只要在不脫離本發(fā)明的要點(diǎn)的范圍內(nèi),可以進(jìn)行種種要素分解或合體等變更。
產(chǎn)業(yè)上的利用可能性
本發(fā)明的三維數(shù)碼擴(kuò)大鏡手術(shù)支持系統(tǒng)為,使用安裝在被拍攝物的感測(cè)標(biāo)記和安 裝在拍攝裝置的三維位置傳感器,實(shí)時(shí)位置測(cè)量二者的相對(duì)位置變異,依據(jù)被拍攝物和拍 攝裝置的三維相對(duì)位置變化,變更三維數(shù)字放大鏡的慣用眼側(cè)的顯示器所顯示的拍攝空間 中的特定的被拍攝物影像上相對(duì)的地固定配置的三維計(jì)算機(jī)圖形影像的表示方向和表示 擴(kuò)大率或表示位,通過(guò)追隨在實(shí)際三維空間引起的前述被拍攝物和拍攝裝置的相對(duì)位置變 化,拍攝裝置視野內(nèi)的被拍攝物的實(shí)體和虛擬的三維計(jì)算機(jī)圖形影像成為一體,在拍攝裝 置視野內(nèi)的被拍攝物和拍攝裝置的空間位置變化相關(guān)的被拍攝物和三維計(jì)算機(jī)圖形顯示 為一體化,該拍攝裝置和被拍攝物、三維計(jì)算機(jī)圖形影像的三維狀態(tài)變化的形式表現(xiàn),將三 維計(jì)算機(jī)圖形影像和實(shí)際的相對(duì)位置變化相同變化一樣地在拍攝影像上表示,以表現(xiàn)統(tǒng)一 現(xiàn)實(shí)感的系統(tǒng)。
根據(jù)該系統(tǒng),在被三維數(shù)字放大鏡顯示器上所表示的拍攝影像空間上三維計(jì)算機(jī) 圖形影像為對(duì)被拍攝物相對(duì)固定配置,所以,對(duì)在實(shí)際空間的被拍攝物的三維位置移動(dòng)三 維地連動(dòng),拍攝裝置側(cè)的三維數(shù)字放大鏡移動(dòng)的時(shí)候,和被拍攝物一樣留在那個(gè)位置,依據(jù) 拍攝裝置的視野方向的變化而提供和被拍攝物投影方向同樣的視野方向的三維計(jì)算機(jī)圖 形影像,所以,像透視眼鏡一樣視覺(jué)地認(rèn)識(shí)目前的實(shí)體的內(nèi)部,識(shí)別該三維認(rèn)識(shí)的拍攝影像 中的被拍攝物和三維計(jì)算機(jī)圖形影像,同時(shí)識(shí)別全部視野訊息,藉此,不需要依靠經(jīng)驗(yàn)及感 覺(jué),就可以正確地接近眼前的實(shí)體內(nèi)部不可見(jiàn)部位。
同樣地,在有多個(gè)被拍攝物存在于同一空間內(nèi)時(shí),分別將三維計(jì)算機(jī)圖形影像相 對(duì)的地固定配置多個(gè)被拍攝物影像上,即使對(duì)象被拍攝物是一塊的個(gè)體且是變形的被拍攝 物的時(shí)候,對(duì)應(yīng)于應(yīng)力或自律變形的各部位單位相對(duì)的地固定配置三維計(jì)算機(jī)圖形影像, 將在各個(gè)被拍攝物或者應(yīng)力或自律變形的各部位單位所安裝的感測(cè)標(biāo)記使用安裝在拍攝 裝置的三維位置傳感器實(shí)時(shí)位置測(cè)量各被拍攝物和拍攝裝置的相對(duì)位置變異,按照被拍攝 物和拍攝裝置的三維相對(duì)位置變化,改變安裝者的慣用眼側(cè)的顯示器上所表示的拍攝空間 中的各被拍攝物影像上相對(duì)的固定配置的各個(gè)三維計(jì)算機(jī)圖形影像的表示方向和表示擴(kuò) 大率或表示位置,隨著在實(shí)際三維空間引起的前述被拍攝物和拍攝裝置的相對(duì)位置變化, 藉此使拍攝裝置視野內(nèi)的被拍攝物的實(shí)體和虛擬的三維計(jì)算機(jī)圖形影像成為一體,隨著在 拍攝裝置視野內(nèi)被拍攝物和拍攝裝置的空間位置變化顯示使得被拍攝物和三維計(jì)算機(jī)圖 形影像一體化,前述的拍攝裝置和被拍攝物以三維計(jì)算機(jī)圖形影像的三維狀態(tài)變化的形式 表現(xiàn),拍攝裝置視野內(nèi)的被拍攝物的多個(gè)實(shí)體或變形的實(shí)體和多個(gè)或形狀變化的虛擬的三 維計(jì)算機(jī)圖形影像成為一體,隨著在拍攝裝置視野內(nèi)被拍攝物和拍攝裝置的空間位置變化 而顯示使得被拍攝物和三維計(jì)算機(jī)圖形影像一體化,關(guān)于各被拍攝物的關(guān)聯(lián)性各個(gè)變形或 變異互相影響的情況下,關(guān)于在實(shí)空間的被拍攝物的狀態(tài)變化的仿真將三維計(jì)算機(jī)圖形的 狀態(tài)忠實(shí)地再現(xiàn)為各材料的變化,也包含因?yàn)榕臄z空間的狀態(tài)的變化而引起的三維計(jì)算機(jī) 圖形的間接影響的仿真表現(xiàn)的多合成影像位置修正追蹤系統(tǒng)。
根據(jù)該系統(tǒng),對(duì)三維數(shù)字放大鏡顯示器上所表示的拍攝影像空間上被拍攝物相對(duì) 固定配置的三維計(jì)算機(jī)圖形影像,對(duì)于實(shí)際空間的各被拍攝物的三維位置移動(dòng)三維地連 動(dòng),像透視眼鏡一樣視覺(jué)地認(rèn)識(shí)目前的實(shí)體的內(nèi)部,所以能夠識(shí)別該三維認(rèn)識(shí)的拍攝影像 中的被拍攝物和三維計(jì)算機(jī)圖形影像,同時(shí)識(shí)別全部視野訊息,以完全骨折等病例為例,在 拍攝空間上透視骨折部位的接合狀況,藉此一邊視覺(jué)地確認(rèn),即使是不可見(jiàn)區(qū)域,也可以不 需要依靠經(jīng)驗(yàn)及感覺(jué),就可以正確地進(jìn)行整復(fù)。另外,特別是在齒科補(bǔ)綴的領(lǐng)域中,若以使 用虛擬咬合器而設(shè)計(jì)的補(bǔ)綴物CAD數(shù)據(jù)為基礎(chǔ)來(lái)制作補(bǔ)綴物,則可以省去像以前的間接法 一樣地造成尺寸精度下降的主要原因的印象采得、副模型制作、蠟?zāi)?、鑄造等的制造程序, 而能夠制作高精度且生態(tài)合適的高級(jí)補(bǔ)綴物。
本發(fā)明的各種功能不僅適用于醫(yī)療領(lǐng)域,還是用于一般工業(yè)界,特別作為組裝操 作等的處理,尤其是可以取得從不同于視野方向的不可見(jiàn)方向的視野和內(nèi)部狀況,所以,能 夠?qū)τ诓豢梢?jiàn)區(qū)域進(jìn)行有效率的工作。
權(quán)利要求
1.一種三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),用于再現(xiàn)施術(shù)者通過(guò)肉眼或者光學(xué)的 放大鏡視覺(jué)識(shí)別對(duì)象時(shí)的視野狀況相同的視野狀況,所述系統(tǒng)包括三維數(shù)字放大鏡,包括一對(duì)雙眼視影像顯示裝置,配置在所述施術(shù)者的雙眼視線上,以作為最小構(gòu)成;立體配置照相機(jī),從在影像顯示裝置背面的相當(dāng)于雙眼瞳孔中央部分的位置,朝向視 野方向安裝;使用三維數(shù)字放大鏡的左右拍攝影像并使用立體法立體測(cè)量獲得的表面多邊形模型⑵;由事先以斷層攝影法取得的施術(shù)對(duì)象或生物體的二維切片數(shù)據(jù)建構(gòu)的各構(gòu)成要素的 表面多邊形模型(1);利用上述組件,通過(guò)形狀圖案識(shí)別,檢測(cè)出所述三維數(shù)字放大鏡前方視野拍攝影像上 的表面多邊形模型( 和表面多邊形模型(1)中的三維形狀相似的表面多邊形模型,再將 所述表面多邊形模型(1)重疊,通過(guò)針對(duì)映像到所述表面多邊形模型(1)內(nèi)部構(gòu)造構(gòu)成要素組織的虛擬三維體積模 型計(jì)算機(jī)圖形繪圖進(jìn)行追蹤,用三維體積模型計(jì)算機(jī)圖形繪圖覆蓋存在于施術(shù)者三維數(shù)字放大鏡視野內(nèi)的作為施 術(shù)對(duì)象的物體或者生物體部分或全部影像,用虛擬三維體積模型計(jì)算機(jī)圖形繪圖的內(nèi)部構(gòu)造構(gòu)成要素影像來(lái)表現(xiàn)顯示于三維數(shù) 字放大鏡的物體的內(nèi)部構(gòu)造的不可見(jiàn)區(qū)域,并且,隨著在拍攝空間中照相機(jī)和物體的三維 位置變化,虛擬三維體積模型計(jì)算機(jī)圖形繪圖及時(shí)變更布局,關(guān)于真實(shí)空間中被拍攝物的 狀態(tài)變化的模擬,則顯示重疊于被拍攝物上的三維計(jì)算機(jī)圖形的狀態(tài),以及由拍攝空間的 狀態(tài)變化而產(chǎn)生的對(duì)于三維計(jì)算機(jī)圖形的間接影響。
2.如權(quán)利要求1所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中通過(guò)使得構(gòu)成事先由斷層攝影法取得的施術(shù)對(duì)象或生物體的二維切片數(shù)據(jù)建構(gòu)的構(gòu) 造構(gòu)成要素的表面多邊形模型(1)的輪廓或者特征點(diǎn)或線的映像和追蹤三維數(shù)位放大鏡 的各個(gè)左右照相機(jī)攝取的影像數(shù)據(jù),使得在所述表面多邊形模型(1)內(nèi)部構(gòu)造構(gòu)成要素組織映像的各內(nèi)部構(gòu)成要素中的 任意三維計(jì)算機(jī)圖形隨著分別顯示在雙眼視影像顯示裝置的左右的對(duì)象實(shí)體影像動(dòng)作,關(guān) 于真實(shí)空間中被拍攝體的狀態(tài)變化的模擬顯示在用三維數(shù)字放大鏡立體觀察的對(duì)象實(shí)體 上重疊顯示的通過(guò)兩眼視差角而具有如同浮在拍攝空間上的臨場(chǎng)感的被拍攝物體內(nèi)部構(gòu) 造三維計(jì)算機(jī)圖形的狀態(tài),以及,拍攝空間狀態(tài)變化對(duì)三維計(jì)算機(jī)圖形造成的間接影響。
3.如權(quán)利要求1或2所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中將與拍攝空間中的被拍攝體影像重疊配置的三維計(jì)算機(jī)圖形影像層次化為構(gòu)造上的 或者解剖的構(gòu)成要素分割的各自的三維計(jì)算機(jī)圖形,將包含物體影像的所述各層次單獨(dú)或 選擇地組合和成顯示的復(fù)合成影像相對(duì)于物體影像進(jìn)行位置補(bǔ)正追蹤,在不顯示物體影像 層次的情況下,如同裸眼視野或光學(xué)的放大鏡的肉眼視野一樣,通過(guò)對(duì)于在三維數(shù)字放大 鏡的視線方向上識(shí)別的虛擬三維計(jì)算機(jī)圖形的視覺(jué),以及對(duì)于實(shí)體的觸覺(jué),來(lái)對(duì)實(shí)體直接 施行手術(shù)。
4.如權(quán)利要求1、2或3所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中為了改進(jìn)拍攝影像和合成影像的視覺(jué)認(rèn)知性,對(duì)拍攝影像或三維計(jì)算機(jī)圖形影像,或 對(duì)上述兩者施以色相、彩度、明度、遮光、照明方向中至少一個(gè)要素的影像處理,或者通過(guò)映 像、虛線消去框表示、亮滅表示等的表現(xiàn)手法來(lái)重疊覆蓋,針對(duì)顯示給所述施術(shù)者三維數(shù)字 放大鏡的作為施術(shù)對(duì)象的物體或生物體的影像數(shù)據(jù)設(shè)定差異,以進(jìn)行提高視覺(jué)認(rèn)知性的合 成影像位置補(bǔ)正追蹤。
5.如權(quán)利要求1或2所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中將立體配置照相機(jī)影像分別顯示在一對(duì)雙眼視影像顯示裝置上,將虛擬三維體機(jī)模型 計(jì)算機(jī)圖形重疊層次顯示在通過(guò)左右視差角而立體觀看實(shí)體影像的三維數(shù)字放大鏡監(jiān)視 器的單側(cè)影像顯示裝置上,藉此用虛擬三維體積模型計(jì)算機(jī)圖形的內(nèi)部構(gòu)造構(gòu)成要素影響 來(lái)表現(xiàn)顯示于立體視覺(jué)的三維數(shù)字放大鏡視野影像上的實(shí)體影像的不可見(jiàn)區(qū)域。
6.如權(quán)利要求1所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中根據(jù)三維數(shù)字放大鏡的光學(xué)式或者數(shù)字式的放大率,用立體照相機(jī)以兩點(diǎn)測(cè)量設(shè)定在 三維數(shù)字放大鏡的立體配置照相機(jī)的影像數(shù)據(jù)中的對(duì)象實(shí)體的任何位置的4個(gè)標(biāo)記,從照 相機(jī)和實(shí)體的距離來(lái)測(cè)定實(shí)體三維形狀的表面多邊形模型的三維位置,并且,改變生物體 影像之后,映像三維體積模型計(jì)算機(jī)圖形,同時(shí)進(jìn)行實(shí)時(shí)追蹤,改變病患解剖學(xué)的CG及對(duì) 象物(手術(shù)器具CG)的顯示位置、方向、大小,并將其合成顯示于三維數(shù)字放大鏡的監(jiān)視器 的左右影像顯示裝置上。
7.如權(quán)利要求1或2所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中在使用所述系統(tǒng)時(shí),在監(jiān)視器顯示三維數(shù)字放大鏡監(jiān)視器顯示范圍外的對(duì)象物或患者 解剖學(xué)特定部位的三維計(jì)算機(jī)圖形體積模型所在的視野方向,尤其在使用高數(shù)字放大率的 情況下,使得三維計(jì)算機(jī)圖形體積模型的三維數(shù)字放大鏡監(jiān)視器顯示范圍外的對(duì)象物或患 者解剖學(xué)目標(biāo)部位存在的方向,在影像顯示裝置的邊緣閃爍,或者以箭頭表示方向指示,或 者在分畫表示影像中,在表示縮小全體的全體影像中以框圍出表示部分的影像部分。
8.如權(quán)利要求1或2所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中在使用所述系統(tǒng)時(shí),使得通過(guò)登錄布局并隨之移動(dòng)的關(guān)節(jié)或組織而連結(jié)到三維數(shù)位放 大鏡監(jiān)視器上的病患實(shí)體的各患者解剖學(xué)CG體積模型運(yùn)動(dòng)的情況下,將單獨(dú)對(duì)患者實(shí)體 登錄布局連動(dòng)的任意CG體積模型固定在運(yùn)動(dòng)軌道上的任意位置對(duì)于特定的CG體積模型的 相對(duì)位置上,和該病患實(shí)體連動(dòng)的特定CG體積模型一體化并連動(dòng)。
9.如權(quán)利要求1或2所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中在利用所述系統(tǒng)施行手術(shù)的情況下,用手術(shù)器具將患者實(shí)體切開、切削、切除以產(chǎn)生形 態(tài)變化的情況下,對(duì)該手術(shù)器具登錄布局并連動(dòng)的手術(shù)器具CG體積模型,對(duì)于患者解剖的 CG畫素體積模型進(jìn)行布爾運(yùn)算處理,使得對(duì)該患者實(shí)體登錄布局并連動(dòng)的患者解剖學(xué)CG 體積模型將和被切開的實(shí)體同樣的視覺(jué)變化顯示在患者解剖學(xué)CG體積模型中的實(shí)體不可 見(jiàn)區(qū)域。
10.如權(quán)利要求1或2所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中在利用所述系統(tǒng)施行手術(shù)的情況下,三維數(shù)字放大鏡和患者的距離對(duì)于三維數(shù)字放大 鏡三維數(shù)字放大鏡監(jiān)視器上的對(duì)患者實(shí)體登錄布局并連動(dòng)的患者解剖學(xué)CG體積模型固定 于三維數(shù)字放大鏡或區(qū)域指示具上的任意的表面模型區(qū)域(線框,半透明著色顯示或者透 明)重疊,以布爾算法將該重疊部分消除,以預(yù)設(shè)的斷面顯示范圍為一個(gè)單位來(lái)顯示患者解剖學(xué)CG畫素體積模型斷面,或者,依據(jù)任意設(shè)定的三維數(shù)字放大鏡和患者實(shí)體的距離將 切取范圍變化的所述患者解剖學(xué)CG畫素體積模型斷面實(shí)時(shí)顯示。
11.一種三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中如權(quán)利要求7所述的手術(shù)器具的CG體積模型,和通過(guò)所述手術(shù)器具的CG體積模型使得與實(shí)體相同的變化也包含實(shí)體不可見(jiàn)部分而顯 示的虛擬三維體積模型計(jì)算機(jī)圖形,以及顯示如權(quán)利要求8所述的事先設(shè)定的斷面顯示的病患解剖的計(jì)算機(jī)圖形畫素體積模 型斷面,或者顯示依據(jù)任意設(shè)定的三維數(shù)字放大鏡和患者實(shí)體的距離所取得的橫斷面的虛 擬三維體積模型計(jì)算機(jī)圖形,以及在維持顯示于所述施術(shù)者三維數(shù)字放大鏡的三維體積模型計(jì)算機(jī)圖形的相對(duì)位置的 狀態(tài)下,將數(shù)據(jù)轉(zhuǎn)送到個(gè)人計(jì)算機(jī),將維持顯示于所述個(gè)人計(jì)算機(jī)監(jiān)視器或三維數(shù)字放大 鏡分別相對(duì)位置關(guān)系的虛擬三維體積模型計(jì)算機(jī)圖形表示為傾斜,全景,縮放,在回轉(zhuǎn)的6 個(gè)軸方向自由回轉(zhuǎn)移動(dòng),藉此,由相異于施術(shù)者視線的方向觀察實(shí)體空間的情況。
12.如權(quán)利要求9所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中維持顯示于連接到個(gè)人計(jì)算機(jī)的三維數(shù)字放大鏡監(jiān)視器或普通監(jiān)視器的術(shù)野實(shí)體或 指示器具的各相對(duì)位置關(guān)系的虛擬三維體積模型計(jì)算機(jī)圖形上,在同一個(gè)人計(jì)算機(jī)接口上 的6軸方向上將可控制的任意表面模型區(qū)域(線框表示,半透明著色表示或者透明)重疊, 用布爾算法消除該重疊部分,顯示該虛擬三維體積模型計(jì)算機(jī)圖形的斷面,同時(shí)反映在施 術(shù)者三維數(shù)字放大鏡影像顯示裝置上的虛擬三維體積模型,藉此,第三者顯示視覺(jué)的指導(dǎo) 影像以執(zhí)行在施術(shù)者視野立體影像中具有臨場(chǎng)感的視覺(jué)指示。
13.如權(quán)利要求1或2所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中分別記錄保存從事先由斷層攝影法取得的施術(shù)對(duì)象物體或生物體的二維切片數(shù)據(jù)建構(gòu)的牙齒(齒冠,齒根)顎骨及顎顏面,個(gè)別的部分的表面多邊形模型(1),在以立體法立體測(cè)量三維數(shù)字放大鏡拍攝的牙齒(齒冠)及口腔的表面多邊形模型 (2)上,將所述三維數(shù)字放大鏡前方視野拍攝影像上的表面多邊形模型O)中的和各自部分 的表面多邊形模型(1)三維相似形狀的表面多邊形模型分別以形狀圖案識(shí)別個(gè)別檢測(cè)出 之后,將所述個(gè)別部分的表面多邊形模型( 重疊,追蹤與所述表面多邊形模型1組織映像的各牙齒(齒冠,齒根),顎骨的虛擬三維體積 模型計(jì)算機(jī)圖形,藉此,三維視覺(jué)是在三維數(shù)字放大鏡影像顯示裝置中的口腔內(nèi)黏膜下不可見(jiàn)區(qū)域的顎 骨和顎骨內(nèi)殘存牙齒牙根的狀態(tài),并且將齒列狀態(tài)記錄儲(chǔ)存為三維計(jì)算機(jī)圖形。
14.如權(quán)利要求10所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中將再構(gòu)成三維表面模型和組織映像的各牙齒三維體積模型計(jì)算機(jī)圖形的治療目標(biāo)理 想拱形齒列影像,追蹤顎顏面和照相機(jī)的三維相對(duì)位置變化并顯示于三維數(shù)字放大鏡監(jiān)視 器所顯示的口腔內(nèi),并具有治療目標(biāo)(V.T.O.)的表示記錄儲(chǔ)存功能。
15.如權(quán)利要求1或2所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中使用所述系統(tǒng),在存在于施術(shù)者三維數(shù)字放大鏡視野內(nèi)的尺寸框的組織映像的作為施 術(shù)對(duì)象的物體或生物體或者器具上,覆蓋事先設(shè)計(jì)的三維體積模型計(jì)算機(jī)圖形手術(shù)導(dǎo)引,將器具對(duì)于顯示于三維數(shù)字放大鏡的實(shí)體內(nèi)部構(gòu)造不可見(jiàn)區(qū)域的三維前進(jìn)方向,以虛 擬三維體積模型計(jì)算機(jī)圖形手術(shù)導(dǎo)引表示,并且,追蹤在拍攝空間中照相機(jī)和實(shí)體的相對(duì) 三維位置變化,實(shí)時(shí)顯示虛擬三維體積模型計(jì)算機(jī)圖形三維體積模型計(jì)算機(jī)圖形手術(shù)導(dǎo)引 影像并變更追蹤布局。
16.如權(quán)利要求1或2所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中使得對(duì)下顎骨登錄布局連動(dòng)的下顎骨CG體積模型的左右間接頭以虛擬蝶幡軸的直線 連結(jié)開閉運(yùn)動(dòng),一邊在監(jiān)視器上確認(rèn)未發(fā)生所述虛擬蝶幡軸運(yùn)動(dòng)時(shí)的殘影變位的左右下橫 斷線,一邊通過(guò)設(shè)定該橫斷線以求出下顎頭的中心,在監(jiān)視器上確認(rèn)從所述中心位開始的 下顎運(yùn)動(dòng)并在監(jiān)視器上以圖形表示正確的運(yùn)動(dòng)軌跡,將下顎運(yùn)動(dòng)記錄為三維的數(shù)據(jù),藉此 在監(jiān)視器上構(gòu)成虛擬咬合器。
17.如權(quán)利要求1或2所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中 所述實(shí)體影像立體法立體測(cè)量包括被動(dòng)立體法,用發(fā)光二極管點(diǎn)燃發(fā)光的點(diǎn)發(fā)光法;或者主動(dòng)立體法,用通過(guò)做出對(duì)應(yīng)點(diǎn)的縫隙的直線光,使光掃描以得到對(duì)象的斷面,并取得 實(shí)體的形狀的縫隙光投影法,或者,將能夠判斷拍攝裝置影像內(nèi)的坐標(biāo)的圖案模式投影在 實(shí)體上,以求出進(jìn)深的圖案光投影法,藉此對(duì)實(shí)體影像實(shí)施立體法立體測(cè)量以得到表面多 邊形模型O)的情況下,使得因?yàn)槎O管發(fā)光或圖案投影而受到影響的前方視野拍攝影像 不顯示,使得追蹤拍攝的施術(shù)對(duì)象物體或生物體(實(shí)體)影像的虛擬三維體積模型計(jì)算機(jī) 圖形僅表示三維計(jì)算機(jī)圖形影像,利用虛擬三維體積模型計(jì)算機(jī)圖形的視覺(jué)識(shí)別,以及對(duì) 于拍攝中的施術(shù)對(duì)象物體或生物體(實(shí)體)的直接或間接的觸覺(jué),對(duì)等同于實(shí)體的被拍攝 物進(jìn)行手術(shù)。
18.如權(quán)利要求1 6中任意一項(xiàng)所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中不管左右照相機(jī)的實(shí)體空間拍攝影像,及三維計(jì)算機(jī)圖形影像數(shù)據(jù)在實(shí)體拍攝中顯示 與否,影像數(shù)據(jù)為各層次分別儲(chǔ)存,所述各層次的影像以單獨(dú)或選擇性地組合輸出,顯示在 三維數(shù)字放大鏡或普通監(jiān)視器上,將維持經(jīng)時(shí)的形狀變化的三維計(jì)算機(jī)圖形記錄數(shù)據(jù),在 監(jiān)視器上自由地操作為傾斜,全景,縮放,在回轉(zhuǎn)的6個(gè)軸方向自由回轉(zhuǎn)移動(dòng)。
19.如權(quán)利要求1 17中任意一項(xiàng)所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中將整個(gè)三維計(jì)算機(jī)圖形影像場(chǎng)景以二維的數(shù)字放大鏡照相機(jī)的實(shí)體影像中覆蓋的實(shí) 體影像空間上的影像作為背景,將虛擬現(xiàn)實(shí)的三維計(jì)算機(jī)圖形影像及其內(nèi)部構(gòu)造,以所述 二維影像為光源照亮,藉此,做出光擬真的合成影像。
20.如權(quán)利要求1或2所述的三維數(shù)字放大鏡放大真實(shí)手術(shù)支持系統(tǒng),其中 當(dāng)左右照相機(jī)的實(shí)體空間拍攝影像和三維計(jì)算機(jī)圖形影像框架交互顯示時(shí),各自的一秒內(nèi)的表示圖框數(shù)量是可調(diào)整的,在覆蓋顯示的情況下,左拍影像,右拍影像,或者三維計(jì) 算機(jī)圖形影像的三維數(shù)字放大鏡左和右顯視器顯示比例是可調(diào)整的,藉此可以調(diào)整雙眼視 覺(jué)影像識(shí)別。
21.一種方法,該方法使用 三維數(shù)字放大鏡,包括施術(shù)者和助手分別穿戴的三維實(shí)體數(shù)字放大鏡,一對(duì)雙眼視影像顯示裝置,配置兩眼的視線上,和從在影像顯示裝置后面的相當(dāng)于兩眼瞳孔中央部的位置,向視野方向安裝的立體配置 照相機(jī);以及利用三維數(shù)字放大鏡的左右拍攝影像,使用立體法立體測(cè)量法得到的表面多邊形模型(2),事先由斷層攝影法獲得的施術(shù)對(duì)象物體或者生物體的二維切片數(shù)據(jù)構(gòu)成的各構(gòu)造構(gòu) 成要素的表面多邊形模型(1),其中所述三維數(shù)字放大鏡前方視野拍攝影像上的表面多邊形模型O)中的和各表面多邊 形模型(1)三維相似形狀的表面多邊形模型,以形狀圖案識(shí)別分別檢出之后,將表面多邊 形模型⑴重疊,通過(guò)追蹤將內(nèi)部構(gòu)造構(gòu)成要素組織映像到所述多邊形模型(1)的虛擬三維體積模型 計(jì)算機(jī)圖形;或者將構(gòu)成多邊形模型(1)的輪廓或特征點(diǎn)或線映像追蹤到三維數(shù)字放大鏡左右各照相 機(jī)拍攝的影像數(shù)據(jù),或者通過(guò)使得將內(nèi)部構(gòu)造構(gòu)成要素組織映像到所述多邊形模型(1)的各內(nèi)不構(gòu)成要素中 的任意三維體積模型計(jì)算機(jī)圖形在兩眼視影像顯示裝置中左右分別表示的對(duì)象實(shí)體影像 連動(dòng),將存在于施術(shù)者三維數(shù)字放大鏡視野內(nèi)的作為施術(shù)對(duì)象的物體或生物體影像的一部 分或全體,用三維體積模型計(jì)算機(jī)圖形覆蓋,所述方法用于用虛擬三維體積模型計(jì)算機(jī)圖形的內(nèi)部構(gòu)造要素影像來(lái)表現(xiàn)顯示于三 維數(shù)字放大鏡的實(shí)體的內(nèi)部構(gòu)造不可見(jiàn)區(qū)域的用于醫(yī)科手術(shù)或其它精密技術(shù)支持,追蹤同一拍攝空間中施術(shù)者及助手分別穿戴的三維實(shí)體數(shù)字放大鏡照相機(jī)和實(shí)體的 相對(duì)三維位置變化,實(shí)時(shí)顯示虛擬三維體積模型計(jì)算機(jī)圖形三維體積模型計(jì)算機(jī)圖形手術(shù) 導(dǎo)引影像并變更追蹤布局,藉此,關(guān)于實(shí)空間中被拍攝物的狀態(tài)變化的模擬包含與被拍攝 物重疊顯示的三維計(jì)算機(jī)圖形狀態(tài),以及由拍攝空間狀態(tài)的變化引起的對(duì)于三維計(jì)算機(jī)圖 形的間接引想的模擬,利用施術(shù)者及助手穿戴的一對(duì)同一規(guī)格且同步化的三維數(shù)字放大鏡,指導(dǎo)者將追蹤助 手穿戴的三維實(shí)體數(shù)字放大鏡的視野方向照相機(jī)捕捉到的施術(shù)者視野三維被拍攝物影像 及覆蓋于該被拍攝物影像的三維體積模型計(jì)算機(jī)圖形的影像,反過(guò)來(lái),助手將追蹤指導(dǎo)者穿戴的三維實(shí)體數(shù)字放大鏡的視野方向照相機(jī)捕捉到的施 術(shù)者視野三維被拍攝物影像及覆蓋于所述被拍攝物影像的三維體積模型計(jì)算機(jī)圖形的影 像,于彼此的三維實(shí)體數(shù)字放大鏡監(jiān)視器畫面上分畫顯示。
全文摘要
為了提供通過(guò)合成固定顯示于被拍攝物上的三維計(jì)算機(jī)圖形的狀態(tài),以及由拍攝空間的狀態(tài)變化而產(chǎn)生的對(duì)于三維計(jì)算機(jī)圖形的間接影響,來(lái)表示關(guān)于實(shí)空間中被拍攝物狀態(tài)變化的仿真的系統(tǒng),將存在于同一空間內(nèi)被拍攝物體,通過(guò)形狀圖案識(shí)別,從立體測(cè)量的表面多邊形模型(2)中檢出和表面多邊形模型(1)的三維形狀相似的表面多邊形模型,追蹤計(jì)算機(jī)圖形,隨著在實(shí)際的三維空間中引起的該被拍攝物體和照相機(jī)的相對(duì)位置變化,將相同于實(shí)際的相對(duì)位置變化的計(jì)算機(jī)圖形影像表示再拍攝影像上,藉此,將照相機(jī)視野內(nèi)的被拍攝物體和虛擬的三維計(jì)算機(jī)圖形影像一體化顯示。
文檔編號(hào)A61B19/00GK102036616SQ20098011861
公開日2011年4月27日 申請(qǐng)日期2009年3月23日 優(yōu)先權(quán)日2008年3月21日
發(fā)明者高橋淳 申請(qǐng)人:高橋淳