專利名稱：用于為操縱內(nèi)窺鏡設備的末端朝向一個或更多個界標轉向提供視覺引導和在內(nèi)窺鏡導航 ...的制作方法
技術領域：
本發(fā)明大體涉及可操縱的內(nèi)窺鏡，并且具體地涉及用于為向一個或更多個界標 (landmark)操縱內(nèi)窺鏡設備的末端提供視覺引導和在內(nèi)窺鏡導航中輔助操作者的方法和系統(tǒng)。
背景技術：
微創(chuàng)手術過程被公知為比傳統(tǒng)的開放性手術提供了更多優(yōu)點，包括疼痛少、縮短住院期、更快地恢復正常活動、傷疤小、縮短恢復時間以及對組織傷害小。為了執(zhí)行這些過程，必須通過切口或自然的體孔產(chǎn)生到病人體內(nèi)的入口?？梢允褂脵C器人和手動微創(chuàng)手術設備。微創(chuàng)手術機器人系統(tǒng)的一個示例是加利福利亞州森尼韋爾的直觀外科公司 (Intuitive Surgical, Inc.) da Vinci 手術系統(tǒng)。da Vinci 手術系統(tǒng)具有若干個機器人臂，該若干個機器人臂移動所附的醫(yī)療設備，例如圖像捕獲設備和直觀外科公司專有的 Endofeist ·鉸接手術器械，以響應于通過外科醫(yī)生查看由圖像捕獲設備在手術處捕獲的圖片而引起的輸入設備的移動。每個醫(yī)療設備均可以通過其自己的微創(chuàng)切口插入病人體內(nèi)并被定位，從而在手術處執(zhí)行治療程序。切口位于病人身體上，一遍手術器械可以被用來協(xié)作地執(zhí)行治療程序并且圖像捕獲設備可以查看該治療程序，而在該程序中它們的機器人臂不相碰撞。內(nèi)窺鏡是這樣的一種醫(yī)療設備，即其允許醫(yī)生通過將該設備通過自然體孔或手術產(chǎn)生的開口插入并將其引導至病人體內(nèi)的目標位置，從而捕獲診斷內(nèi)部身體器官問題的圖像。在一些情況下，它還可以被用來在內(nèi)部身體器官上執(zhí)行治療程序。它可操縱使得其遠端出于導航的目的而被可控制地取向。例如立體鏡或單視場鏡相機的圖像捕獲設備可以被設置在其遠端，使得由相機從那個視圖捕獲的圖像可以由醫(yī)生在顯示屏上查看。為了在目標位置執(zhí)行各種治療程序，例如用于切割、抓緊、燒灼等的那些手術工具可以延伸出內(nèi)窺鏡的遠端。內(nèi)窺鏡可以是剛性的，例如用在腹腔鏡檢查中的內(nèi)窺鏡，或者它可以是柔性的，使得它能夠遵循身體腔管的彎曲。它還可以是可剛化的(rigidizable)和/或機器人的?？蓜偦瘍?nèi)窺鏡是具有至少一部分柔性體的內(nèi)窺鏡，機械鎖定機構可以使得該至少一部分柔性體變得基本剛性。機器人內(nèi)窺鏡是柔性內(nèi)窺鏡，其至少一部分在計算機控制的伺服機構下彎曲。它還可以是像奧林巴斯(Olympus)的膠囊內(nèi)鏡(EndoCapsule)的膠囊或栓系膠囊， 在這種情況下，它沒有被可控地取向用于導航目的，并且在病人解剖中在重力、由解剖或其他手術設備施加的力的作用下移動。自然孔腔內(nèi)內(nèi)窺鏡手術(“NOTES”)可以采用可操縱的內(nèi)窺鏡來在病人上執(zhí)行手術程序。作為示例，柔性內(nèi)窺鏡可以被引導穿過多個體孔中的一個體孔并從病人體內(nèi)進入腹部，而不是從外面穿過微創(chuàng)切口。例如，在“經(jīng)胃”手術中，器械被穿過嘴并進入胃中。然后執(zhí)行胃切開術，使得器械可以進入腹部并被醫(yī)生用來在腹腔內(nèi)執(zhí)行治療程序。一旦程序完成，器械與在程序期間被去除的組織一起被取出，并且進入點被關閉。因為沒有在病人身體上產(chǎn)生切口以允許內(nèi)窺鏡的進入，NOTES可以比使用微創(chuàng)切口的手術帶來更少疼痛。而且，由于它使用自然體孔代替切口以進入體內(nèi)，它可以降低對一般的麻醉的需求并縮短恢復時間。在可操縱內(nèi)窺鏡的操作中，例如在NOTES應用中，當朝目標位置移動時，內(nèi)窺鏡末端可以被轉動多次并處于不同的方向。因此，柔性內(nèi)窺鏡可能卷起，圍繞其自身打卷并使操作者失去方向，如果內(nèi)窺鏡捕獲的圖像不能清楚地指示其相對于目標位置的當前方向，就會使得操作者難以保持對內(nèi)窺鏡末端的當前方向的跟蹤。相反，操作者可以具有至常規(guī)腹腔鏡檢查中的視圖的相對剛性的連接。如果操作者意外地在錯誤的方向移動內(nèi)窺鏡，則末端可能無意地穿孔或者損害組織，這對病人引起傷害。即使這種傷害通過小心地移動內(nèi)窺鏡末端來避免，也需要額外的時間來重復地確定內(nèi)窺鏡相對于病人體內(nèi)的目標位置的真正方向。因此，實施手術程序所需的時間被延長，這增加了手術的成本并且增加了對健康安全的憂慮。

發(fā)明內(nèi)容
因此，本發(fā)明的一個或更多個方面的目的是為操作者提供視覺引導用于朝向病人體內(nèi)的一個或更多個界標操縱內(nèi)窺鏡設備的方法和用于執(zhí)行該方法的系統(tǒng)。本發(fā)明的一個或更多個方面的另一個目的是提供導航用于輔助操作者朝病人體內(nèi)的位置操縱內(nèi)窺鏡。本發(fā)明的一個或更多個方面的另一個目的是向內(nèi)窺鏡的操作者提供信息的方法和用于執(zhí)行該方法的系統(tǒng)，所述信息在視覺上指示內(nèi)窺鏡末端當前指向的方向。本發(fā)明的一個或更多個方面的另一個目的是為內(nèi)窺鏡的操作者提供信息的方法和用于執(zhí)行該方法的系統(tǒng)，所述信息在視覺上指示內(nèi)窺鏡相對于病人解剖結構的當前位置和形狀。這些目的和另外的目的通過發(fā)明的各方面實現(xiàn)，其中簡要地描述為，一方面是用于提供引導以朝一個或更多個界標操縱內(nèi)窺鏡設備的計算機執(zhí)行的方法，該方法包括確定相對于參考系的內(nèi)窺鏡設備上的參考點的當前位置；確定從參考點的當前位置到第一界標相對于參考系的位置的第一向量；將第一向量從參考系變換為對應于圖像捕獲設備的透視圖的圖像參考系，圖像捕獲設備設置在內(nèi)窺鏡設備的末端；并且在顯示屏上顯示所轉換的第一向量的圖形表示和由圖像捕獲設備捕獲的當前圖像，以便指示朝第一界標操縱內(nèi)窺鏡設備的末端的方向。另一方面是一種系統(tǒng)，其包括顯示屏；內(nèi)窺鏡設備；和一個或更多個處理器，該處理器適于確定相對于參考系的內(nèi)窺鏡設備上的參考點的當前位置、確定從參考點的當前位置到第一界標相對于參考系的位置的第一向量、將第一向量從參考系轉換為對應于設置在內(nèi)窺鏡設備末端的圖像捕獲設備的透視圖的圖像參考系、并在顯示屏上顯示所轉換的第一向量的圖形表示和由圖像捕獲設備捕獲的當前圖像，以便指示朝第一界標操縱內(nèi)窺鏡設備的末端的方向。另一方面是用于在內(nèi)窺鏡導航中輔助操作者的計算機執(zhí)行的方法，該方法包括將病人的計算機模型引用至參考系；確定相對于參考系的內(nèi)窺鏡設備的當前位置和形狀； 根據(jù)所確定的當前位置和形狀產(chǎn)生內(nèi)窺鏡設備的計算機模型；以及在顯示屏上顯示內(nèi)窺鏡設備和病人的計算機模型，以便為操作者提供內(nèi)窺鏡導航輔助。另一方面是一種系統(tǒng)，該系統(tǒng)包括顯示屏；內(nèi)窺鏡設備；和處理器，該處理器適于將病人的計算機模型引用至參考系，確定相對于參考系的內(nèi)窺鏡設備的當前位置和形狀，根據(jù)所確定的當前位置和形狀產(chǎn)生內(nèi)窺鏡設備的計算機模型，以及在顯示屏上顯示內(nèi)窺鏡設備和病人的計算機模型，以便為系統(tǒng)的操作者提供導航輔助。本發(fā)明的各方面的另外的目的、特征和優(yōu)點根據(jù)對優(yōu)選實施例的以下描述將變得顯而易見，應當結合附圖對優(yōu)選實施例進行說明。


圖1圖示說明了利用本發(fā)明的多個方面的可操縱內(nèi)窺鏡系統(tǒng)。圖2圖示說明了利用本發(fā)明的多個方面的可操縱內(nèi)窺鏡系統(tǒng)的處理部分的方框圖。圖3圖示說明了利用本發(fā)明的多個方面的可操縱內(nèi)窺鏡系統(tǒng)的遙控操作部分的方框圖。圖4圖示說明了用于在內(nèi)窺鏡導航中輔助操作者的計算機執(zhí)行的方法的流程圖， 其利用了本發(fā)明的多個方面。圖5是圖示說明了利用本發(fā)明的多個方面的可操縱內(nèi)窺鏡系統(tǒng)的位置確定部分的部件。圖6圖示說明了主顯示屏，其顯示了當在利用本發(fā)明的多個方面的系統(tǒng)中看到的由可操縱內(nèi)窺鏡捕獲的圖像。圖7圖示說明了輔助顯示屏，其顯示了由利用本發(fā)明的多個方面的系統(tǒng)產(chǎn)生的登記病人和內(nèi)窺鏡設備模型的前后視圖(anterior-posterior view)。圖8圖示說明了輔助顯示屏，其顯示了由利用本發(fā)明的多個方面的系統(tǒng)產(chǎn)生的病人和內(nèi)窺鏡設備模型的斜視圖(oblique view)。圖9圖示說明了輔助顯示屏，其顯示了由利用本發(fā)明的多個方面的系統(tǒng)產(chǎn)生的病人和內(nèi)窺鏡設備模型的中部側視圖(lateral-medial view)。圖10圖示說明了主顯示屏，其將內(nèi)窺鏡設備捕獲的圖像顯示在主窗口區(qū)域，并將由利用本發(fā)明的多個方面的系統(tǒng)產(chǎn)生的病人和內(nèi)窺鏡設備模型的斜視圖顯示在圖中圖窗口區(qū)域。圖11圖示說明了主顯示屏，其將由內(nèi)窺鏡設備捕獲的圖像顯示在第一區(qū)域中，并將由利用本發(fā)明的多個方面的系統(tǒng)產(chǎn)生的病人和內(nèi)窺鏡設備模型的斜視圖顯示在第二區(qū)域中。圖12圖示說明了利用本發(fā)明的多個方面的提供方向引導以向一個或更多個界標操縱內(nèi)窺鏡設備的計算機執(zhí)行的方法的流程圖。圖13圖示說明了利用本發(fā)明的多個方面的用于當其由界標移動時使用內(nèi)窺鏡設備建立界標的計算機執(zhí)行的方法的流程圖。圖14圖示說明了內(nèi)窺鏡設備插入其中的病人軀干的斜視圖和在利用本發(fā)明的多個方面的系統(tǒng)中采用的各種界標的示例。圖15圖示說明了主顯示屏，其根據(jù)利用本發(fā)明的多個方面的方法顯示了由內(nèi)窺鏡設備捕獲的當前圖像和指示到相應界標的方向的各種向量的圖形表達以及與其中一個界標相關的圖像。
具體實施例方式作為示例，圖1圖示說明了系統(tǒng)100，該系統(tǒng)100包括可操縱內(nèi)窺鏡110、插在內(nèi)窺鏡Iio中的一個或更多個光纖線纜120、位置處理器130、圖像處理器140、圖像捕獲設備 141、顯示處理器150、主顯示屏600和輔助顯示屏160。盡管被示為單獨的單元，但位置處理器130、圖像處理器140和顯示處理器150分別均可被實施為硬件、固件、軟件或其組合， 其與一個或更多個計算機交互或者由一個或更多個計算機執(zhí)行，例如圖2中所描述的一個或更多個計算機200。主顯示屏600和輔助顯示屏160優(yōu)選為能夠將三維圖像顯示給系統(tǒng) 100的操作者的計算機監(jiān)視器。然而，出于成本的考慮，主顯示屏600和輔助顯示屏160中的任一個或者兩者可以是僅能夠顯示二維圖像的標準計算機監(jiān)視器。在此示例中，內(nèi)窺鏡110具有柔性的主體114、在其遠端111處的可操縱的末端 112和在其近端115處的手柄或機電界面116?？刂凭€纜(未示出)或其它控制裝置通常從手柄或機電界面116延伸到可操縱的末端112，使得末端112可以可控制地被彎曲或轉向，例如如彎曲末端112的虛線視圖所示。盡管在此示例中描述了可操縱的內(nèi)窺鏡，但本發(fā)明不限于這種類型的內(nèi)窺鏡，并且也可以實踐于其它內(nèi)窺鏡設備(例如，剛性的、可剛化的、機器人的或膠囊內(nèi)窺鏡)。立體鏡或單視場鏡相機141設置在遠端111處，用于根據(jù)如此處公開的本發(fā)明的各方面捕獲圖像，該圖像被傳遞至圖像處理器140和/或顯示處理器150并由圖像處理器 140和/或顯示處理器150處理，并被顯示在主顯示屏600和/或輔助顯示屏160上。多個光纖線纜120中的一個可以在其近端被聯(lián)接至遠端111處的用于照明目的的光源(未示出)。其他光纖線纜120可以配備有彎曲或形狀傳感器，例如光纖布拉格光柵(Fiber Bragg Gratings)(或其他應變傳感器，例如應用瑞利散射(Rayleigh scattering)的那些應變傳感器)，使得穿過光纖線纜的光被位置處理器130處理以確定內(nèi)窺鏡110的當前位置和形狀，包括其遠端112的取向。除了延伸穿過內(nèi)窺鏡110的光纖線纜120之外，配備有應變傳感器的一個或更多個另外的光纖線纜(未示出)可以被附接到內(nèi)窺鏡110，以便提供在附接點處內(nèi)窺鏡110的位置信息。當可操縱的內(nèi)窺鏡110由操作者手動操作時，手柄116與合適的桿或其他(多個) 控制機構一起使用，用于通過拉動合適的線纜(未示出)來可控制地取向內(nèi)窺鏡末端112， 該線纜將手柄116的這些控制機構聯(lián)接至末端112。另一方面，當可操縱的內(nèi)窺鏡110由操作者遠程操作時，機電界面116被用來代替手柄。如圖3所示，機電界面116允許內(nèi)窺鏡110被電聯(lián)接且機械聯(lián)接至機器人臂301， 機器人臂301的運動由控制器302控制以響應于輸入設備303的操作者操作。界面116和機器人臂301中的任一個或者兩者包括驅動被用來操縱內(nèi)窺鏡末端112的線纜的馬達。除了控制內(nèi)窺鏡末端112的彎曲之外，機器人臂301還可以被構造為將內(nèi)窺鏡110插入病人體內(nèi)的孔(例如，自然孔或微創(chuàng)切口)中和/或將內(nèi)窺鏡110從病人體內(nèi)的孔中取出，繞其中心軸旋轉內(nèi)窺鏡110，和/或在孔處繞支點旋轉機電界面116?？刂破?02優(yōu)選與處理器 130、140、150 —起被實施為一個或更多個計算機200中的硬件、固件或軟件(或其組合)。關于使用光纖布拉格光柵確定內(nèi)窺鏡的位置和彎曲的細節(jié)例如可以在以下文件中找至丨J 題為"Robotic Surgery System Including Position Sensors Using Fiber Bragg Gratings” 的美國專利文獻 2007/0156019A1 ；題為"Fiber Optic Position and/ or Shape Sensing Based on Rayleigh Matter” 的美國專利文獻 2008/0212082A1 ；題為"Robotic Surgical Instrument and Methods using Bragg Fiber Sensors，，的美國專利文獻2008/0218770A1 ；以及題為"Fiber Optic Shape Sensor”的美國申請序列號 12/164，擬9。這些專利文獻均被合并至此以供參考。關于常規(guī)的可操縱內(nèi)窺鏡的細節(jié)可以在例如題為"Steerable Endoscope and Improved Method of Insertion，，的美國專禾丨J文獻6，869，396B2中找到。作為示例，圖4圖示說明了用于在朝向病人體內(nèi)的某位置的可操縱內(nèi)窺鏡110的內(nèi)窺鏡導航中輔助操作者的計算機執(zhí)行的方法400的流程圖。這種情況下的計算機優(yōu)選為包括處理器130、140、150的一個或更多個計算機200。在步驟401處，存儲在存儲器155中的病人計算機模型通過活體病人身體上的第一參考點被參考至固定的參考系(即，在使用內(nèi)窺鏡110執(zhí)行的治療程序期間不移動的參考系)，該病人一般俯臥在具有固定的參考系的手術臺上，之后將參考點與病人計算機模型上的對應點相關聯(lián)。例如，通過使用在固定的參考系(例如，內(nèi)窺鏡的末端112)中其末端位置可能已經(jīng)被確定的指示器設備，操作者可以移動該指示器設備，使得它首先接觸病人的嘴以建立對應于病人計算機模型的嘴的第一參考點。之后，操作者可以移動該指示器設備，使得它接下來接觸病人的髂骨的左右脊，以建立對應于病人計算機模型的髂骨的左右脊的第二參考點。例如臍點和左右腋窩的其他點也可以被用來建立更多的參考點。通過以此方式將病人計算機模型參考至病人，可以建立病人計算機模型的合適尺寸(即，長度和寬度)，并與病人和它在固定的參考系中的位置對齊。因此，通過少數(shù)點，病人計算機模型可以使用存儲器 155中的人體測量值數(shù)據(jù)庫中的模型信息被適當?shù)乜s放并與病人對齊(即相符合)。若干個病人計算機模型可以被存儲在存儲器155中。例如，一些普通的病人計算機模型可以被存儲，使得可以根據(jù)病人的年齡、性別、體型等使用不同的模型。優(yōu)選地，每個模型均是三維計算機模型，包括至少頭部和軀干(例如，如圖7-9中所見)，以便包括用于在病人身體上執(zhí)行診斷或手術程序的所有自然孔以及潛在目標位置。實際病人的三維計算機模型還可以被儲存，并且如果可用的話，則可以用于現(xiàn)有系統(tǒng)，例如可以使用計算機斷層 (CT)掃描產(chǎn)生?？商鎿Q地，外科醫(yī)生或者助手可以在病人身體的表面上移動遠端112，以繪制其輪廓并給位置處理器130提供充分的信息以產(chǎn)生關于病人的三維計算機模型的信息， 其存儲在存儲器155中。在步驟402處，確定操作者是否已經(jīng)發(fā)出開始引導命令。操作者可以以多種方式中的任一種方式發(fā)出開始引導命令，例如當可操縱內(nèi)窺鏡110被遠程控制時壓下輸入按鈕或者按輸入設備303上的開關，或者當可操縱內(nèi)窺鏡110被手動控制時壓下輸入按鈕或者按手柄116上的開關。其他方式可以包括使用麥克風和聲音識別處理器(未示出)的聲音致動，聲音識別處理器可以在一個或更多個計算機200中實施或者可以可操作地聯(lián)接至一個或更多個計算機200 ；腳踏板(未示出)，其可以由操作者壓下以便打開或者關閉引導； 以及使用輔助顯示屏160、主要顯示屏600或操作者可以使用輸入設備與其交互作用的另一顯示屏的圖形用戶界面。如果在步驟402中確定的結果為“否”(即，操作者沒有啟動導航引導模式)，則方法通過步驟402循環(huán)每個過程循環(huán)(或其他編程的循環(huán))，直到做出“是”的確定，此時，方法進行到步驟403。在步驟403處，內(nèi)窺鏡110的當前位置和形狀(例如，彎曲)通過使用從一個或更多個光纖接收的信息由位置處理器130確定，該光纖被配備有已經(jīng)插入內(nèi)窺鏡110的內(nèi)窺鏡柔性體114中的形狀傳感器。作為這一光纖的示例，參考圖5，光纖501的遠端延伸至內(nèi)窺鏡的末端112并且其近端被附接至基點502，基點502在固定的參考系中的位置是已知的或者容易由位置處理器130確定。優(yōu)選地，位置處理器130也被附接至或者其他方式聯(lián)接至基點502，使得處理器130可以在該點處接收來自光纖501的彎曲傳感器的信息。由于光纖線纜501的長度是已知的，其近端被固定至已知的位置，并且其遠端延伸出內(nèi)窺鏡的末端112，所以末端112在固定的參考系中的當前位置和取向根據(jù)如從彎曲傳感器接收的信息所指示的光纖501的當前彎曲被容易地確定。盡管為了圖示說明的目的僅示出了一個光纖線纜501，但是配備有應變傳感器的多個光纖或具有多個芯的單個光纖被優(yōu)選地采用，用于確定內(nèi)窺鏡主體114和遠端112的形狀，例如，如在之前引用并入的美國專利文獻2007/0156019A1、美國專利文獻2008/0212082A1和美國申請序列號 12/164,829中使用形狀傳感器所描述的。在步驟404處，指示柔性內(nèi)窺鏡110的當前構造的計算機模型通過使用存儲在存儲器155中的內(nèi)窺鏡模型并將其修改以反映從光纖接收的形狀信息而產(chǎn)生，光纖被構造為形狀傳感器。優(yōu)選地，所存儲的和產(chǎn)生的內(nèi)窺鏡110的計算機模型兩者都是三維模型。在步驟405處，在步驟401中產(chǎn)生的病人計算機模型和在步驟404中產(chǎn)生的內(nèi)窺鏡計算機模型一起根據(jù)它們在固定參考系中的相應位置相對于彼此被適當?shù)貥耸驹谳o助顯示屏160上。因此，向可操縱內(nèi)窺鏡110的操作者提供了相對于病人身體的內(nèi)窺鏡110的當前形狀的視圖，以便為操作者在將內(nèi)窺鏡110導航至病人體內(nèi)的目標位置提供引導。目標位置的視覺指示也可以與計算機模型或內(nèi)窺鏡110在其至目標位置的路徑中可能遇到或者穿過的任何解剖結構或體腔的其它指示一起被顯示。病人和內(nèi)窺鏡計算機模型被顯示在輔助顯示屏160上的方式優(yōu)選為由操作者可通過使用許多已知技術中的一種或者更多種選擇，這些已知技術例如設置在輔助顯示屏 160和/或主顯示屏600上的可點擊圖標和下拉菜單。例如，圖標可以被設置在輔助顯示屏160上，使得操作者可以通過使用計算機鼠標或者其他合適的設備點擊合適的圖標來選擇病人和內(nèi)窺鏡110的前后視圖750、斜視圖751或者中部側視圖752，例如，如圖7、圖8和圖9所示。參考圖7，病人計算機模型720和內(nèi)窺鏡計算機模型710的前后視圖750和沿內(nèi)窺鏡路徑(例如，嘴入口、食道、胃入口和結腸)的各種界標的指示一起被顯示在輔助顯示屏160上。另外，由內(nèi)窺鏡110捕獲的實時圖像(例如，圖6中所示的捕獲圖像650被顯示在主顯示屏600上)也可以被顯示在輔助屏160上，鄰近內(nèi)窺鏡計算機模型710的遠端 711(或者看起來從內(nèi)窺鏡計算機模型710的遠端711傳出)。
除了(或者可代替)在輔助顯示屏160上顯示病人和內(nèi)窺鏡計算機模型720和 710，計算機模型可以與捕獲的圖像650 —起顯示在主顯示屏600上。例如，斜視圖751可以被示為插入主顯示屏600上的捕獲圖像650的畫中畫，如圖10所示，或者它可以被顯示在鄰近圖11所示的主顯示屏600上的捕獲圖像650的窗口的窗口中?；剡^來參考圖4，在步驟406中，確定操作者是否已經(jīng)發(fā)出停止引導命令。操作者可以以與操作者發(fā)出啟動引導命令的方式類似但互補的多種方式中的任一種方式發(fā)出停止引導命令。如果在步驟406中確定的結果為“否”(即，操作者沒有停止導航引導模式)，則方法循環(huán)至步驟403以更新內(nèi)窺鏡110的當前位置和彎曲，并為下一個過程循環(huán)(或者其他編程的循環(huán))顯示內(nèi)窺鏡計算機模型和病人計算機模型。另一方面，如果在步驟406中確定的結果為“是”(即，操作者已經(jīng)停止導航引導模式)，則方法進行至步驟407處，在步驟 407中，顯示處理器150引起病人和內(nèi)窺鏡的計算機模型不再被顯示在輔助顯示屏160和/ 或主顯示屏600上，或者將它們定格在顯示屏上。在整個內(nèi)窺鏡程序期間，從內(nèi)窺鏡110插入病人體內(nèi)開始，建議的方法和發(fā)明將相機141(在內(nèi)窺鏡110的遠端112處)周期性捕獲的圖像的數(shù)字形式和在圖像被捕獲的時刻(例如，在30HZ的處理速率下)相對于病人解剖結構的(如位置處理器所130確定的)相機141的三維(3-D)位置和取向信息存儲在存儲設備155中。指示時間的時間標記也被存儲在存儲設備155中。最終數(shù)據(jù)庫提供由它們各自在參考系中的3-D位置所標記的內(nèi)窺鏡圖像，其可以在任何連續(xù)的時間被顯示處理器150獲取，用于計算訪問的解剖結構的合成二維O-D)和三維(3-D)視圖。因此，內(nèi)窺鏡程序的全記錄可以被存儲在存儲設備 155 (優(yōu)選為用于此應用的大容量存儲設備，例如硬盤)中，其可以在顯示屏600和160上回放，用于教學和/或檔案目的。第一合成的2-D視圖可以根據(jù)被稱為鑲嵌(mosaicking)(例如，見R. Szeliski和 H. Y. Shum 的具有重大影口向的著作"Creating full view panoramic image mosaics and environment maps”，ACM SIGGRAPH, 1997)的已知計算機視覺技術通過將從相鄰3-D位置取得的多個內(nèi)窺鏡圖像組合(拼接在一起)成單個較大的全景圖像而被計算生成。內(nèi)窺鏡全景允許通過提供較大的視場改進內(nèi)窺鏡導航，之后內(nèi)窺鏡相機因此能夠將對周圍解剖結構的更多關注傳遞給外科醫(yī)生。因此，此處在主顯示屏600上的各種圖中所示的捕獲圖像優(yōu)選為由顯示處理器150通過將從存儲設備155獲得的圖像鑲嵌而產(chǎn)生的全景圖像，其表示相機141最新捕獲的圖像。作為另外的內(nèi)窺鏡導航工具，顯示至之前限定的病人體內(nèi)的界標的操縱方向的圖形指示也被提供作為本發(fā)明的一方面。作為示例，圖12圖示說明了用于提供方向引導以移動可操縱內(nèi)窺鏡110至病人體內(nèi)的一個或更多個界標的計算機執(zhí)行的方法1200的流程圖。在這種情況下計算機優(yōu)選為包括處理器130、140、150的一個或更多個計算機200。在步驟1201處，確定操作者是否打開界標方向引導模式。操作者可以以多種方式中的任一方式打開和/或關閉該模式，例如當可操縱內(nèi)窺鏡110在被遠程控制時壓下輸入按鈕或者按輸入設備303上的開關，或者當可操縱內(nèi)窺鏡110在被手動控制時壓下輸入按鈕或者按手柄116上的開關。其他方式可以包括使用麥克風和聲音識別處理器(未示出)的聲音致動，其可以被實施在一個或更多個計算機200中或者被可操作地聯(lián)接至一個或更多個計算機200中；腳踏板(未示出)，其可以被操作者壓下以便打開或者關閉該模式；以及使用顯示屏600的圖形用戶界面(GUI) 202，操作者可以使用圖2所示的輸入設備201與其交互以便打開和關閉該模式和說明此處所述方法的其他方面或參數(shù)。如果在步驟1201中確定的結果為“否”(即，界標方向引導被關閉)，則該方法在每個過程循環(huán)(或者其他編程的循環(huán))中循環(huán)經(jīng)過步驟1201，直到做出肯定的確定結果，此時，該方法進行至步驟1202。在步驟1202，內(nèi)窺鏡末端112在固定參考系(S卩，在使用內(nèi)窺鏡110的醫(yī)療程序的執(zhí)行過程中不移動的參考系)中的當前位置通過使用從配備有應變傳感器的光纖(例如， 圖5中的光纖501)接收的信息由位置處理器130確定，光纖已經(jīng)被插入內(nèi)窺鏡110的柔性體114中。內(nèi)窺鏡末端112在固定的參考系(例如，如之前在參考圖4的403所解釋的)中的當前位置和取向可以根據(jù)光纖的當前彎曲被容易地確定，光纖的當前彎曲如從它們的應變傳感器接收的信息所指示，這是因為它們的長度是已知的，它們的近端被固定至已知位置(例如，如圖5所示，至基點502的光纖501)，并且它們的遠端延伸至內(nèi)窺鏡的末端112。在步驟1203中，將內(nèi)窺鏡末端112的當前位置連接至每個界標的位置的向量通過使用在步驟1202處確定的內(nèi)窺鏡末端位置和存儲在存儲設備155中的界標位置由顯示處理器150確定，其中引導指示被提供至所述每個界標。通常，當操作者沿其路徑引導可操縱內(nèi)窺鏡110從進入點至病人體內(nèi)的目標位置時，界標由他或她建立。作為示例，圖14示出了病人的頭部和軀干的斜視圖，其中可操縱內(nèi)窺鏡110通過病人的嘴進入，并且內(nèi)窺鏡末端112被引導至目標位置。在此示例中，內(nèi)窺鏡 110已經(jīng)被引導穿過食道至病人的胃。之后，進入胃并且內(nèi)窺鏡110被引導至目標位置。沿著該路徑，使用如以下參考圖13描述的方法在嘴入口和胃入口處建立界標?？商鎿Q地，病人體內(nèi)界標的位置可以基于術前測量的數(shù)據(jù)，例如通過計算機軸向斷層掃描(CAT)、磁共振成像(MRI)或者X射線產(chǎn)生的數(shù)據(jù)。在這種情況下，病人的身體 (當他或她躺在手術室手術臺上時)被參考至固定的參考系，并且界標以病人的身體被登記，使得它們在固定的參考系中的位置可以由它們各自在病人身體中的位置確定。之后，界標位置被存儲在存儲設備155(或者顯示處理器150可存取的其他存儲設備)中。盡管以此方式建立界標可能費時間并且昂貴，但它允許此處描述的方法提供至內(nèi)窺鏡末端112前面(即，在內(nèi)窺鏡末端的當前位置和目標位置之間)的界標的引導，而不是內(nèi)窺鏡末端后面 (艮P，在到病人體內(nèi)的入口點與內(nèi)窺鏡末端的當前位置之間)。在步驟1204處，在步驟1203中確定的向量被顯示處理器150從固定的參考系被轉換至與內(nèi)窺鏡末端112(或者相機141)有關的參考系。在步驟1205處，指示在步驟1204中確定的轉換向量的3-D箭頭(或者其他圖形表示)由顯示處理器150產(chǎn)生。3-D箭頭的方向被參考至內(nèi)窺鏡末端的參考系，使得它們對應于操作者使用之前所述的手柄或者機電界面116操縱內(nèi)窺鏡末端112的方向。另一方面，3-D箭頭的尺寸可以產(chǎn)生以便與轉換向量的幅值成比例，使得較遠的界標用較大的箭頭表示。作為替代，可以產(chǎn)生尺寸以便與轉換向量的幅值成反比，使得較遠的界標用較小的箭頭表示。作為另一種替代，可以產(chǎn)生尺寸以便每個均具有相同的長度(例如，圖15中箭頭1511、1512和1513所示)。3-D箭頭也可以是顏色編碼的，使得每個箭頭的顏色都唯一地與具體的解剖結構有關。例如，參考圖15，指示朝嘴入口界標的操縱方向的3-D箭頭1511可以是紅色的，指示朝胃入口界標的操縱方向的3-D箭頭1512可以是黃色的，并且指示朝結腸入口界標的操縱方向的3-D箭頭1513可以是藍色的?？商鎿Q地，顯示屏600的邊緣可以被著色以對應于界標。此處使用的顏色方案可以是操作者限定的或者對應于在MR觀察器上使用的顏色方案。在步驟1206處，在步驟1205中產(chǎn)生的3-D箭頭(或者其他圖形表示)和當前圖像(在內(nèi)窺鏡末端112處當前捕獲并由圖像處理器140處理的圖像，或者如之前所述的使用當前和之前捕獲的圖像鑲嵌的全景圖像)由顯示處理器150顯示在主顯示屏600上。另外，界標的之前捕獲的圖像也可以可選擇地或者自動地從存儲設備巧5取得并且臨近或者接近它們各自的3-D箭頭被顯示。3-D箭頭的位置可以被顯示在顯示屏600上，以便與轉換向量的取向相關，使得例如指向左邊的箭頭被定位在圖像的左側，并且指向右邊的箭頭被定位在圖像的右側?？商鎿Q地，3-D箭頭可以都被定位在圖像的同一側附近或者在圖像周圍間隔開。在顯示屏600的邊緣被著色以對應于界標的情況下，對應于每個界標的3-D箭頭被顯示在其各自的被著色邊緣附近，使得3-D箭頭與界標的聯(lián)系是清楚的。除了將界標顯示為主顯示屏600上的當前內(nèi)窺鏡圖像上或附近的3-D箭頭，界標可以與被顯示在輔助顯示屏160上的3-D病人和內(nèi)窺鏡計算機模型一起被顯示，其中存儲的界標的位置被顯示在它們相對于病人計算機模型的合適位置中。例如，界標可以通過具有界標名稱的文字標識、具有與界標一起被捕獲的存儲的內(nèi)窺鏡圖像的縮略圖、與界標的類型相關或者與界標的近似3-D模型相關的小圖標來指示。操作者可以選擇哪個界標(如果有的話)被顯示，例如使用輸入設備201和GUI 202來從菜單選擇一個顯示部分，包括所有界標圖像均被顯示，無界標圖像顯示，和僅最近的界標圖像被顯示。可替換地，操作者可以不被提供被預選和編程到顯示處理器150中的選項和選擇。用于在顯示屏600上顯示3-D箭頭的位置、尺寸、顏色和其他選項可以由操作者通過使用如圖2所示的輸入設備201和⑶I 202來選擇。作為這種顯示的示例，圖15示出了將當前圖像1501( S卩，由內(nèi)窺鏡110當前捕獲的圖像或者別處描述的全景圖像)以及箭頭1511、1512和1513顯示在其上的顯示屏600， 箭頭1511、1512和1513分別提供至嘴入口、胃入口和結腸入口界標的方向引導。另外，結腸入口界標的之前捕獲的圖像1523被示出為被顯示在鄰近其相關箭頭1513的窗口中，其恰好是至內(nèi)窺鏡末端112的當前位置最近的界標。在步驟1207處，確定操作者是否已關閉界標方向引導模式。操作者可以以與操作者打開界標引導模式的方式類似但相反的多種方式(例如，將開關放置在“關”與“開”的位置)中的任一種方式關閉該模式。如果在步驟1207中確定的結果為“否”(即，界標方向引導模式還沒有被操作者關閉)，則該方法循環(huán)回步驟1202以便當內(nèi)窺鏡末端112正被引導至目標位置時更新界標方向向量(例如，圖15中的1511、1512、1513)并將轉換向量的更新圖形表示以及內(nèi)窺鏡 110捕獲的當前圖像顯示在顯示屏600上。另一方面，如果在步驟1207中確定的結果為 “是”(即，界標方向引導模式已經(jīng)被操作者關閉)，則該方法前進至步驟1208，在步驟1208 中，顯示處理器150引起轉換向量的圖形表示和相應的界標捕獲圖像不再被顯示在顯示屏600 上。將意識 到，即使界標方向引導模式可能被關閉，操作者仍可以朝目標位置引導可操縱內(nèi)窺鏡110，并且在內(nèi)窺鏡末端112處捕獲(并由圖像處理器130處理)的連續(xù)更新的圖像仍可以被顯示處理器150顯示在顯示屏600上。例如，參考圖15，在操作者關閉界標方向引導模式之后，顯示屏600仍可以使當前或全景圖像1501顯示在其上，但箭頭1511、 1512、1513和界標圖像1523則不再被顯示。還應意識到，操作者可以交互地建立界標，當朝目標位置引導可操縱內(nèi)窺鏡110 時可以在任何時刻提供該界標的方向引導。具體地，當界標方向引導模式打開以及關閉時可以執(zhí)行界標建立。作為示例，圖13圖示說明了當可操縱內(nèi)窺鏡110被引導穿過病人身體時用于建立解剖結構界標的計算機執(zhí)行的方法1300。與參考圖12描述的方法1200的情況類似，該情況下的計算機優(yōu)選為包括處理器130、140、150的一個或更多個計算機200。具體地，其優(yōu)選與由顯示處理器150執(zhí)行的其他活動一起由顯示處理器150執(zhí)行，如此處所述。在步驟1301處，接收來自操作者的界標建立請求。操作者可以以各種已知的交互技術中的任一種啟動請求，這些已知的交互技術包括之前參考打開和關閉界標方向引導模式描述的那些交互技術(但優(yōu)選為不同的技術，以便不混淆兩個活動)。在步驟1302處，內(nèi)窺鏡末端112在固定的參考系中的當前位置被確定。注意，如果界標方向引導模式被打開，這個活動與方法1200的步驟1202相同，并且因此它不必被執(zhí)行，因為來自步驟1202的結果可以被用在這種情況下(即，它不必在相同的過程循環(huán)中被執(zhí)行第二次或者兩次)。在步驟1303處，內(nèi)窺鏡末端112的當前位置被存儲在存儲設備155中，并被參考為請求建立的界標的位置。在步驟1304處，在內(nèi)窺鏡末端112處捕獲的當前圖像被識別為界標的圖像，并且在步驟1305中，圖像的信息也被存儲在存儲設備155中，并被參考為請求建立的界標的圖像。在執(zhí)行方法1300的過程中可以意識到，活動1302和1304發(fā)生的順序是不重要的。實際上，圖像處理器140可以以不同于位置處理器130確定內(nèi)窺鏡末端112的當前位置的速率處理捕獲的圖像。因此，兩個活動可以在時間以及他們發(fā)生的次序上不同。在任何事件中，當在步驟1301中接收界標建立請求時，內(nèi)窺鏡末端112的下一個確定的位置被存儲在存儲設備155中，并且從圖像處理器130接收的下一個捕獲圖像被存儲在存儲設備 155中，而不關心哪個首先發(fā)生。當朝病人體內(nèi)的目標位置導航內(nèi)窺鏡110時，除了建立界標之外，當內(nèi)窺鏡末端從解剖結構的一端移動到另一端時，解剖結構(例如，食道、胃、結腸等)可以使用內(nèi)窺鏡末端112的位置信息來測量。測量的解剖結構的信息可以被用來將3-D模型或者解剖結構的術前測量數(shù)據(jù)對齊和定制到它們病人體內(nèi)的合適位置，并將結構以及3-D病人計算機模型顯示在輔助顯示屏160上。作為示例，圖14示出了嘴和胃入口界標的測量位置如何與內(nèi)窺鏡的中間形狀一起被用來對齊和定制將嘴連接至胃入口的食道的3-D模型。之后，食道模型作為3-D彎曲管1401連同病人和內(nèi)窺鏡110的3-D模型能夠一起被顯示在輔助顯示屏 160 上。盡管已經(jīng)關于一個或更多個優(yōu)選實施例描述了本發(fā)明的各方面，但應該理解，本發(fā)明有權在所附權利要求的整個范圍 內(nèi)被完全保護。
權利要求
1.一種用于提供引導以朝一個或更多個界標操縱內(nèi)窺鏡設備的由計算機執(zhí)行的方法， 所述方法包括確定所述內(nèi)窺鏡設備上的參考點相對于參考系的當前位置；確定從所述參考點的所述當前位置到相對于所述參考系的第一界標的位置的第一向量；將所述第一向量從所述參考系轉換為對應于圖像捕獲設備的透視圖的圖像參考系，所述圖像捕獲設備設置在所述內(nèi)窺鏡設備的末端處；以及將轉換的第一向量的圖形表示與由所述圖像捕獲設備捕獲的當前圖像一起顯示在顯示器上，以便指示朝所述第一界標操縱所述內(nèi)窺鏡設備的所述末端的方向。
2.根據(jù)權利要求1所述的方法，其中配備有應變傳感器的一個或更多個光纖延伸穿過所述內(nèi)窺鏡設備以提供所述內(nèi)窺鏡設備的位置和形狀信息。
3.根據(jù)權利要求1所述的方法，其中所述當前圖像是立體圖像，所述顯示器是三維顯示器，并且所述轉換的第一向量的所述圖形表示是指向朝所述第一界標操縱所述內(nèi)窺鏡設備的所述末端的方向的三維箭頭。
4.根據(jù)權利要求1所述的方法，其進一步包括在確定所述第一向量之前 接收建立所述第一界標的指示；在接收建立所述第一界標的所述指示時，確定所述參考點的位置； 在接收建立所述第一界標的所述指示時，將所述參考點的所述位置存儲在存儲設備中；以及將存儲的位置參考為所述第一界標的位置。
5.根據(jù)權利要求4所述的方法，其進一步包括在確定所述第一向量之前在接收建立所述第一界標的所述指示之后的第一機會捕獲所述第一界標的圖像；以及將所述第一界標的被捕獲圖像存儲在所述存儲設備中；其中將所述轉換的第一向量的所述圖形表示與所述當前圖像一起顯示在所述顯示器上進一步包括將所述第一界標的所述被捕獲圖像靠近所述轉換的第一向量的所述圖形表示顯示在所述顯示器上。
6.根據(jù)權利要求1所述的方法，其進一步包括確定從所述參考點的所述當前位置到相對于所述參考系的第二界標的位置的第二向量；將所述第二向量從所述參考系轉換為所述圖像參考系；以及將轉換的第二向量的圖形表示與所述當前圖像一起顯示在所述顯示器上，以便指示朝所述第二界標操縱所述內(nèi)窺鏡設備的所述末端的方向。
7.根據(jù)權利要求1所述的方法，其進一步包括周期性地重復確定所述當前參考點位置、確定所述第一向量、轉換所述第一向量和將轉換的第一向量的所述圖形表示與所述當前圖像一起顯示在所述顯示器上，直到接收到停止這種周期性重復動作的指示。
8.根據(jù)權利要求1所述的方法，其中所述轉換的第一向量的所述圖形表示的尺寸與所述轉換的第一向量的幅值有關。
9.根據(jù)權利要求1所述的方法，其中所述轉換的第一向量的所述圖形表示的顏色是與所述第一界標相關聯(lián)的顏色。
10.根據(jù)權利要求1所述的方法，其中顯示所述轉換的第一向量的所述圖形表示包括鄰近顯示的當前圖像的一側顯示所述圖形表示，其指示朝所述第一界標操縱所述內(nèi)窺鏡設備的所述末端的方向。
11.根據(jù)權利要求1所述的方法，其進一步包括在確定從所述參考點的所述當前位置到多個界標的位置的向量之前，將包括所述第一界標的位置的所述多個界標的位置存儲在存儲設備中。
12.根據(jù)權利要求11所述的方法，其中所述多個界標的位置基于術前測量數(shù)據(jù)。
13.根據(jù)權利要求1所述的方法，其進一步包括將所述病人和所述第一界標的計算機模型顯示在第二顯示器上。
14.根據(jù)權利要求13所述的方法，其中所述轉換的第一向量的所述圖形表示的顏色是與顯示在所述第二顯示器上的所述第一界標的所述計算機模型相同的顏色。
15.根據(jù)權利要求1所述的方法，其進一步包括將所述病人和所述第一界標的計算機模型顯示在所述顯示器上。
16.根據(jù)權利要求15所述的方法，其中所述轉換的第一向量的所述圖形表示的顏色是與顯示在所述顯示器上的所述第一界標的所述計算機模型相同的顏色。
17.一種系統(tǒng)，包括顯不器；內(nèi)窺鏡設備；以及一個或更多個處理器，其適于確定所述內(nèi)窺鏡設備上的參考點相對于參考系的當前位置，確定從所述參考點的所述當前位置到第一界標相對于所述參考系的位置的第一向量， 將所述第一向量從所述參考系轉換為對應于設置在所述內(nèi)窺鏡設備的末端的圖像捕獲設備的透視圖的圖像參考系，以及將轉換的第一向量的圖形表示與由所述圖像捕獲設備捕獲的當前圖像顯示在所述顯示器上以便指示朝所述第一界標操縱所述內(nèi)窺鏡設備的所述末端的方向。
18.根據(jù)權利要求17所述的系統(tǒng)，其中所述一個或更多個處理器包括位置處理器，所述系統(tǒng)進一步包括配備有應變傳感器的一個或更多個光纖，其中所述一個或更多個光纖延伸穿過所述內(nèi)窺鏡設備以提供所述內(nèi)窺鏡設備的位置和形狀信息給所述位置處理器。
19.根據(jù)權利要求17所述的系統(tǒng)，其中所述當前圖像是立體圖像，所述顯示器是三維顯示器，并且所述轉換的第一向量的所述圖形表示是指向朝所述第一界標操縱所述內(nèi)窺鏡設備的所述末端的方向的三維箭頭。
20.根據(jù)權利要求17所述的系統(tǒng)，其中所述一個或更多個處理器包括顯示處理器，所述系統(tǒng)進一步包括存儲設備；其中所述顯示處理器適于接收建立所述第一界標的指示，在接收建立所述第一界標的所述指示的過程循環(huán)中確定所述內(nèi)窺鏡設備上所述參考點的位置，將所述參考點的確定的位置存儲在所述存儲設備中，以及將存儲的位置參考為所述第一界標的位置。
21.根據(jù)權利要求20所述的系統(tǒng)，其中所述顯示處理器適于在接收建立所述第一界標的所述指示的過程循環(huán)內(nèi)將由所述圖像捕獲設備捕獲的所述第一界標的圖像存儲在所述存儲設備中，并且隨后當所述轉換的第一向量與所述當前圖像一起被顯示在所述顯示器上時，獲取所述第一界標的被存儲捕獲圖像，并且該被存儲捕獲圖像顯示在所述轉換的第一向量的所述圖形表示附近。
22.根據(jù)權利要求17所述的系統(tǒng)，其中所述處理器適于確定從所述內(nèi)窺鏡設備上的所述參考點的所述當前位置到相對于所述參考系的第二界標的位置的第二向量，將所述第二向量從所述參考系轉換為所述圖像參考系，并將轉換的第二向量的圖形表示與所述當前圖像一起顯示在所述顯示器上，以便指示朝所述第二界標操縱所述內(nèi)窺鏡設備的所述末端的方向。
23.根據(jù)權利要求17所述的系統(tǒng)，其中所述一個或更多個處理器適于在過程循環(huán)的每個順序中執(zhí)行確定所述當前參考點、確定所述第一向量、轉換所述第一向量以及將轉換的第一向量的所述圖形表示與所述當前圖像一起顯示在所述顯示器上。
24.根據(jù)權利要求17所述的系統(tǒng)，其中所述一個或更多個處理器適于顯示所述轉換的第一向量的所述圖形表示，使得所述圖形表示的尺寸與所述轉換的第一向量的幅值有關。
25.根據(jù)權利要求17所述的系統(tǒng)，其中所述一個或更多個處理器適于顯示所述轉換的第一向量的所述圖形表示，使得所述圖形表示的顏色是與所述第一界標相關聯(lián)的顏色。
26.根據(jù)權利要求17所述的系統(tǒng)，其中所述一個或更多個處理器適于將所述轉換的第一向量的所述圖形表示顯示在所顯示的當前圖像的一側，其指示朝所述第一界標操縱所述內(nèi)窺鏡設備的所述末端的方向。
27.根據(jù)權利要求17所述的系統(tǒng)，進一步包括存儲設備；其中所述一個或更多個處理器適于在確定從所述參考點的當前位置到多個界標的位置的向量之前，將包括所述第一界標的位置的所述多個界標的位置存儲在所述存儲設備中。
28.根據(jù)權利要求27所述的系統(tǒng)，其中所述多個界標的所述位置基于術前測量數(shù)據(jù)。
29.根據(jù)權利要求17所述的系統(tǒng)，其中所述一個或更多個處理器適于將病人和所述第一界標的計算機模型顯示在第二顯示器上。
30.根據(jù)權利要求四所述的系統(tǒng)，其中所述一個或更多個處理器適于將所述第一向量的所述圖形表示顯示在所述顯示器上，使得所述轉換的第一向量的所述圖形表示的顏色是與顯示在所述第二顯示器上的所述第一界標的所述計算機模型相同的顏色。
31.根據(jù)權利要求17所述的系統(tǒng)，其中所述一個或更多個處理器適于將病人和所述第一界標的計算機模型顯示在所述顯示器上。
32.根據(jù)權利要求31所述的系統(tǒng)，其中所述一個或更多個處理器適于將所述第一向量的所述圖形表示顯示在所述顯示器上，使得所述轉換的第一向量的所述圖形表示的顏色是與顯示在所述顯示器上的所述第一界標的所述計算機模型相同的顏色。
33.一種用于在內(nèi)窺鏡導航中輔助操作者的計算機執(zhí)行的方法，所述方法包括將病人的計算機模型參考至參考系；確定內(nèi)窺鏡設備相對于所述參考系的當前位置和形狀；根據(jù)確定的當前位置和形狀產(chǎn)生所述內(nèi)窺鏡設備的計算機模型；以及將所述內(nèi)窺鏡設備的計算機模型和所述病人的計算機模型顯示在顯示器上，以便為所述操作者提供內(nèi)窺鏡導航輔助。
34.根據(jù)權利要求33所述的方法，其中將所述病人的所述計算機模型參考至所述參考系包括將所述病人身上的一個或更多個點參考至所述參考系；以及將所述病人的所述計算機模型的對應點與所述病人身上的所述一個或更多個參考點中的每一個相關聯(lián)。
35.根據(jù)權利要求34所述的方法，其中所述病人的所述計算機模型是三維計算機模型，并且將所述病人的所述計算機模型參考至所述參考系包括使用所述病人和所述病人計算機模型的相關參考點將所述病人的所述計算機模型與所述參考系中的所述病人對齊。
36.根據(jù)權利要求34所述的方法，其中所述病人的所述計算機模型是三維計算機模型，并且將所述病人的所述計算機模型參考至所述參考系包括通過使得所述病人計算機模型和所述病人的相關參考點疊覆，使所述病人的計算機模型符合所述病人。
37.根據(jù)權利要求34所述的方法，其中將所述病人身上的一個或更多個點參考至所述參考系包括當所述內(nèi)窺鏡設備上的點被觸碰至所述病人身上的所述一個或更多個點中的對應點時，確定所述內(nèi)窺鏡設備上的所述點在所述參考系中的位置。
38.根據(jù)權利要求33所述的方法，其中配備有應變傳感器的一個或更多個光纖延伸穿過所述內(nèi)窺鏡設備，以便提供所述內(nèi)窺鏡設備的形狀信息。
39.根據(jù)權利要求33所述的方法，其中配備有應變傳感器的一個或更多個光纖被附接至所述內(nèi)窺鏡設備，以便提供所述內(nèi)窺鏡設備的位置信息。
40.根據(jù)權利要求33所述的方法，其中所述內(nèi)窺鏡設備具有遠端末端和圖像捕獲設備，所述圖像捕獲設備被配置以便捕獲來自所述遠端末端的透視圖的圖像，所述方法進一步包括周期性地使用所述圖像捕獲設備捕獲圖像，并將捕獲的圖像存儲在存儲設備中；以及在捕獲圖像時確定所述圖像捕獲設備的位置，并將所述位置存儲在所述存儲設備中。
41.根據(jù)權利要求40所述的方法，其進一步包括將對應于捕獲圖像時刻的時間標記存儲在所述存儲設備中。
42.根據(jù)權利要求40所述的方法，其進一步包括通過將多個捕獲圖像鑲嵌在一起來計算來自存儲在所述存儲設備中的捕獲圖像的全景圖像。
43.根據(jù)權利要求42所述的方法，其進一步包括將所述全景圖像顯示在所述顯示器上的第一區(qū)域中；以及將所述內(nèi)窺鏡設備的計算機模型和所述病人的計算機模型顯示在所述顯示器上的第二區(qū)域中。
44.根據(jù)權利要求42所述的方法，其進一步包括將所述全景圖像顯示在所述顯示器上；以及將所述內(nèi)窺鏡設備的計算機模型和所述病人的計算機模型作為所述全景圖像上的畫中畫顯示在所述顯示器上。
45.根據(jù)權利要求42所述的方法，其進一步包括顯示所述全景圖像以便看起來來自所述內(nèi)窺鏡設備的所述計算機模型的遠端末端的投影被顯示在所述顯示器上。
46.根據(jù)權利要求33所述的方法，其進一步包括為所述病人體內(nèi)的解剖結構上的至少兩個點確定在所述參考系中的位置；以及根據(jù)為所述解剖結構上的至少兩個點確定的位置，將所述解剖結構的計算機模型與所述病人的計算機模型和所述內(nèi)窺鏡設備的計算機模型一起顯示在所述顯示器上。
47.一種系統(tǒng)，包括顯不器；內(nèi)窺鏡設備；以及處理器，其適于將病人的計算機模型參考至參考系，確定所述內(nèi)窺鏡設備相對于所述參考系的當前位置和形狀，根據(jù)確定的當前位置和形狀產(chǎn)生所述內(nèi)窺鏡設備的計算機模型，并且將所述內(nèi)窺鏡設備的計算機模型和所述病人的計算機模型顯示在所述顯示器上， 以便為所述系統(tǒng)的操作者提供內(nèi)窺鏡導航輔助。
48.根據(jù)權利要求47所述的系統(tǒng)，其中所述處理器適于通過以下方式將所述病人的所述計算機模型參考至所述參考系接收所述病人身上的一個或更多個點的信息并處理所接收的信息，以便將所述一個或更多個點參考至所述參考系；以及將所述病人的所述計算機模型的對應點與所述病人身上的所述一個或更多個參考點中的每一個點相關聯(lián)。
49.根據(jù)權利要求48所述的系統(tǒng)，其中所述病人的所述計算機模型是三維計算機模型，并且所述處理器適于通過以下方式將所述病人的所計算機模型參考至所述參考系使用所述病人和所述病人計算機模型的相關參考點將所述病人的所述計算機模型與所述參考系中的病人對齊。
50.根據(jù)權利要求48所述的系統(tǒng)，其中所述病人的所述計算機模型是三維計算機模型，并且所述處理器適于通過以下方式將所述病人的所述計算機模型參考至所述參考系通過使得所述病人計算機模型和所述病人的所述相關參考點疊覆，使所述病人的所述計算機模型符合所述病人。
51.根據(jù)權利要求48所述的系統(tǒng)，其中所述處理器適于通過以下方式將所述病人身上的所述一個或更多個點參考至所述參考系當所述內(nèi)窺鏡設備上的點被觸碰到所述病人身上的所述一個或更多個點中的對應的一個點時，確定所述內(nèi)窺鏡設備上的點在所述參考系中的位置。
52.根據(jù)權利要求47所述的系統(tǒng)，其進一步包括配備有應變傳感器的一個或更多個光纖，所述一個或更多個光纖延伸穿過所述內(nèi)窺鏡設備，以便提供所述內(nèi)窺鏡設備的形狀信息。
53.根據(jù)權利要求47所述的系統(tǒng)，其進一步包括配備有應變傳感器的一個或更多個光纖，所述一個或更多個光纖被附接至所述內(nèi)窺鏡設備，以便提供所述內(nèi)窺鏡設備的位置信息。
54.根據(jù)權利要求47所述的系統(tǒng)，其進一步包括圖像捕獲設備，其設置在所述內(nèi)窺鏡設備的遠端末端，以便捕獲來自所述遠端末端的透視圖的圖像；以及存儲設備；其中所述處理器適于周期性地用所述圖像捕獲設備捕獲圖像，并將捕獲的圖像存儲在所述存儲設備中，并且在捕獲圖像的時刻確定所述圖像捕獲設備的位置，并將所述位置存儲在所述存儲設備中。
55.根據(jù)權利要求M所述的系統(tǒng)，其中所述處理器適于將對應于捕獲圖像的時刻的時間標記存儲在所述存儲設備中。
56.根據(jù)權利要求M所述的系統(tǒng)，其中所述處理器適于通過將多個所述捕獲圖像鑲嵌在一起，來計算來自存儲在所述存儲設備中的捕獲圖像的全景圖像。
57.根據(jù)權利要求56所述的系統(tǒng)，其中所述處理器適于將所述全景圖像顯示在所述顯示器上的第一區(qū)域中，并將所述內(nèi)窺鏡設備的計算機模型和所述病人的計算機模型顯示在所述顯示器上的第二區(qū)域中。
58.根據(jù)權利要求56所述的系統(tǒng)，其中所述處理器適于將所述全景圖像顯示在所述顯示器上，并將所述內(nèi)窺鏡設備的計算機模型和所述病人的計算機模型作為所述全景圖像上的畫中畫顯示在所述顯示器上。
59.根據(jù)權利要求56所述的系統(tǒng)，其中所述處理器適于顯示所述全景圖像以便看起來來自所述內(nèi)窺鏡設備的所述計算機模型的遠端末端的投影被顯示在所述顯示器上。
60.根據(jù)權利要求47所述的系統(tǒng)，其中所述處理器適于為所述病人體內(nèi)的解剖結構上的至少兩個點確定在在所述參考系中的位置，并根據(jù)為所述解剖結構上的所述至少兩個點確定的位置，將所述解剖結構的計算機模型與所述病人的計算機模型和所述內(nèi)窺鏡設備的計算機模型一起顯示在所述顯示器上。
全文摘要
通過將向量的圖形表示顯示在當前圖像附近來為內(nèi)窺鏡設備的操作者提供界標方向引導，所述當前圖像由設置在內(nèi)窺鏡設備的末端處的圖像捕獲設備捕獲并被顯示在顯示屏上，其中所述向量的圖形表示指向將操縱內(nèi)窺鏡的方向以朝例如解剖結構的相關界標移動。通過確定內(nèi)窺鏡設備相對于參考系的當前位置和形狀、根據(jù)確定的位置和形狀產(chǎn)生內(nèi)窺鏡計算機模型，并與參考至參考系的病人計算機模型一起顯示內(nèi)窺鏡計算機模型以便當操縱內(nèi)窺鏡時操作者可以看見，來為操作者提供視覺導航。
文檔編號A61B1/01GK102449666SQ201080023187
公開日2012年5月9日 申請日期2010年3月17日 優(yōu)先權日2009年3月26日
發(fā)明者G·普里斯科, V·多文戴姆 申請人:直觀外科手術操作公司