專利名稱：提供計(jì)算機(jī)生成的攝像器械的輔助視圖以控制醫(yī)療機(jī)器人系統(tǒng)的末端定位和取向的醫(yī)療 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總的涉及醫(yī)療機(jī)器人系統(tǒng)，具體地涉及提供計(jì)算機(jī)生成的攝像器械的輔助視圖以控制醫(yī)療機(jī)器人系統(tǒng)的末端定位和取向的醫(yī)療機(jī)器人系統(tǒng)。
背景技術(shù)：
諸如在執(zhí)行微創(chuàng)外科手術(shù)程序中所用系統(tǒng)的醫(yī)療機(jī)器人系統(tǒng)與傳統(tǒng)的開放式外科手術(shù)技術(shù)相比具有許多益處，包括疼痛較小、住院時(shí)間較短、恢復(fù)正?；顒?dòng)較快、留下的傷痕最小、減少康復(fù)時(shí)間以及對(duì)組織的損害較小。因此，對(duì)于這種醫(yī)療機(jī)器人系統(tǒng)的需求強(qiáng)烈并且正在日益增長(zhǎng)。這種醫(yī)療機(jī)器人系統(tǒng)的一個(gè)示例是來自加利福尼亞州Sunnyvale市的Intuitive Surgical, Inc.(直觀外科手術(shù)公司)的da Vinci 外科手術(shù)系統(tǒng)，這是一種微創(chuàng)機(jī)器人外科手術(shù)系統(tǒng)。這種da Vinci 外科手術(shù)系統(tǒng)具有多個(gè)機(jī)器人臂，這些機(jī)器人臂響應(yīng)于外科醫(yī)生通過觀察由外科手術(shù)部位的圖像捕獲裝置捕獲到的圖像對(duì)輸入裝置的移動(dòng)，來移動(dòng)連接的醫(yī)療裝置，例如，圖像捕獲裝置和htuitive SurgicaK直觀外科手術(shù))的有專利權(quán)的 Endowrist (內(nèi)肘節(jié))鉸接的外科手術(shù)器械。每個(gè)醫(yī)療器械通過其自己的微創(chuàng)切口插入病人體內(nèi)并定位，以在外科手術(shù)部位執(zhí)行醫(yī)療程序。(多個(gè))切口被安排在病人身上，以便可以用(多個(gè))外科手術(shù)器械協(xié)同執(zhí)行醫(yī)療程序，而圖像捕獲裝置可以觀察醫(yī)療程序而不使外科手術(shù)器械的機(jī)器人臂在手術(shù)期間發(fā)生碰撞。為了執(zhí)行某些醫(yī)療程序，利用諸如微創(chuàng)切口或人體自然孔口的單個(gè)進(jìn)入口進(jìn)入病人體內(nèi)執(zhí)行醫(yī)療程序是有利的。例如，進(jìn)入導(dǎo)向器可以首先在進(jìn)入口中插入、定位并保持在適當(dāng)位置。然后，諸如可鉸接的攝像機(jī)和用于執(zhí)行醫(yī)療程序的多個(gè)可鉸接的外科手術(shù)工具的各種器械可以被插入到該進(jìn)入導(dǎo)向器的近端中，以便延伸到其遠(yuǎn)端之外。因此，進(jìn)入導(dǎo)向器為多個(gè)器械提供單個(gè)進(jìn)入口，同時(shí)當(dāng)進(jìn)入導(dǎo)向器朝著工作部位引導(dǎo)這些器械時(shí)保持這些器械捆在一起。由于進(jìn)入導(dǎo)向器通常具有相對(duì)小的直徑以便適合通過微創(chuàng)切口或人體自然孔口， 因此在遠(yuǎn)程操作執(zhí)行醫(yī)療程序的外科手術(shù)工具和觀察它的攝像機(jī)時(shí)可能產(chǎn)生許多問題。例如，由于攝像器械與外科手術(shù)工具捆在一起，這將限制攝像器械相對(duì)于外科手術(shù)工具的定位，因此限制攝像器械觀察外科手術(shù)工具。因此，雖然可鉸接的外科手術(shù)工具的末端可以保持在攝像機(jī)的視場(chǎng)中，但是利于外科手術(shù)工具鉸接性的可控制接頭所連接的連桿可能不在攝像機(jī)的視場(chǎng)中。因此，在執(zhí)行醫(yī)療程序期間外科手術(shù)工具的連桿可能不利地相互(或與攝像器械的連桿)碰撞，結(jié)果導(dǎo)致對(duì)病人造成傷害或者在對(duì)醫(yī)療程序的執(zhí)行產(chǎn)生其他不利的影響。而且，由于可鉸接的攝像器械通常不能觀察其自身的可控制的聯(lián)動(dòng)裝置 (linkage)，操作者移動(dòng)攝像機(jī)末端特別關(guān)心的是避免與外科手術(shù)工具連桿碰撞。而且，當(dāng)提供直觀的控制以幫助操作者遠(yuǎn)程操作地移動(dòng)外科手術(shù)工具和攝像機(jī)時(shí)，產(chǎn)生該工具和攝像機(jī)的末端的直觀運(yùn)動(dòng)所需的聯(lián)動(dòng)裝置的運(yùn)動(dòng)對(duì)于操作者可能是不明顯和不直觀的，因此對(duì)于操作者來說甚至難以避免在攝像機(jī)視場(chǎng)之外的連桿之間的碰撞。

發(fā)明內(nèi)容
因此，本發(fā)明的一方面或多方面的一個(gè)目的是在醫(yī)療機(jī)器人系統(tǒng)中執(zhí)行的方法， 該方法提供用于定位和取向攝像機(jī)的計(jì)算機(jī)生成的該攝像機(jī)的輔助視圖。本發(fā)明的一方面或多方面的另一個(gè)目的是在醫(yī)療機(jī)器人系統(tǒng)中執(zhí)行的方法，該方法在操作者觀察攝像機(jī)的輔助視圖的同時(shí)為控制攝像機(jī)的定位和取向的操作者提供直觀控制。本發(fā)明的一方面或多方面的另一個(gè)目的是在醫(yī)療機(jī)器人系統(tǒng)中執(zhí)行的方法，該方法在可控制地定位并取向攝像機(jī)的同時(shí)改進(jìn)操作者對(duì)在攝像機(jī)視場(chǎng)之外的可鉸接的器械的聯(lián)動(dòng)裝置的配置的了解。這些和另外的目的由本發(fā)明的各方面實(shí)現(xiàn)，其中簡(jiǎn)要地說，一方面是用于定位和取向攝像機(jī)末端(即，攝像機(jī)的觀察或圖像捕獲端)的方法，該方法包括確定用于定位和取向攝像機(jī)末端的機(jī)械元件的位置；利用該確定的機(jī)械元件的位置來確定攝像機(jī)末端的位置和取向；生成對(duì)應(yīng)于虛擬攝像機(jī)的投影的攝像機(jī)的計(jì)算機(jī)模型的視圖；在顯示屏上顯示顯示該視圖；以及通過響應(yīng)于輸入裝置的操縱移動(dòng)該機(jī)械元件，來控制攝像機(jī)末端的定位和取向，從而使得攝像機(jī)的末端的定位和取向?qū)Σ僮髡咧庇^地出現(xiàn)，該操作者在觀察與該攝像機(jī)的計(jì)算機(jī)模型的顯示視圖對(duì)應(yīng)的顯示屏的同時(shí)，操縱該輸入裝置。另一方面是一種醫(yī)療機(jī)器人系統(tǒng)，其包括攝像機(jī)、用來定位和取向該攝像機(jī)的末端的機(jī)械元件、顯示屏、輸入裝置以及控制器。該控制器被配置成確定該機(jī)械元件的位置； 利用該確定的機(jī)械元件的確定的位置，來確定該攝像機(jī)的末端的定位和取向；生成對(duì)應(yīng)于虛擬攝像機(jī)的投影的該攝像機(jī)的計(jì)算機(jī)模型的視圖；在顯示屏上顯示顯示該視圖；以及通過響應(yīng)于輸入裝置的操縱移動(dòng)該機(jī)械元件，來控制攝像機(jī)末端的定位和取向，從而使得攝像機(jī)的末端的定位和取向?qū)Σ僮髡咧庇^地出現(xiàn)，該操作者在觀察與攝像機(jī)的計(jì)算機(jī)模型的顯示視圖對(duì)應(yīng)的顯示屏的同時(shí)，操縱該輸入裝置。從下面結(jié)合附圖對(duì)本發(fā)明優(yōu)選實(shí)施例的描述，本發(fā)明各方面的附加目的、特征和優(yōu)點(diǎn)將變得明顯。


圖1示出使用利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)的操作室的俯視圖。圖2示出用于對(duì)利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中的可左右手操縱的輸入裝置進(jìn)行控制和選擇地關(guān)聯(lián)裝置操縱器的部件的方框圖。
圖3-4分別示出用在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中的延伸到進(jìn)入導(dǎo)向器的遠(yuǎn)端之外的可鉸接的攝像機(jī)和可鉸接的外科手術(shù)工具的俯視和側(cè)視圖。圖5示出用在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中的進(jìn)入導(dǎo)向器和其四個(gè)運(yùn)動(dòng)自由度的透視圖。圖6示出用在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中的進(jìn)入導(dǎo)向器的剖視圖，該進(jìn)入導(dǎo)向器具有形成在其中的且在其近端和遠(yuǎn)端之間延伸的通道。圖7示出用在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中的進(jìn)入導(dǎo)向器操縱器的相互作用的部件的方框圖。圖8示出用在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中的可鉸接的器械操縱器和可鉸接的器械的相互作用的部件的方框圖。圖9示出利用本發(fā)明的各方面，用于提供計(jì)算機(jī)生成的輔助視圖的方法的流程圖。圖10示出用在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中的，利用器械接頭位置和正向運(yùn)動(dòng)學(xué)確定器械連桿位置和取向的數(shù)據(jù)和處理流程圖。圖11示出用在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中的，利用檢測(cè)的器械末端位置和反向運(yùn)動(dòng)學(xué)，確定器械接頭位置的數(shù)據(jù)和處理流程圖。圖12-13分別示出由在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中執(zhí)行的方法生成并且顯示在顯示屏上的俯視和側(cè)視輔助視圖。圖14示出由在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中執(zhí)行的方法生成并且顯示在顯示屏上的(多個(gè))獨(dú)立的窗口中的俯視和側(cè)視輔助視圖。圖15示出顯示在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中的監(jiān)控器上由可鉸接的攝像機(jī)捕獲到的圖像附近的視輔助視圖。圖16示出由在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中執(zhí)行的方法生成并且顯示在顯示器屏幕上的具有截頭錐體的可鉸接的攝像機(jī)的輔助側(cè)視圖。圖17示出由在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中執(zhí)行的方法生成并且顯示在顯示器屏幕上的，，來自攝像機(jī)的觀察點(diǎn)的一對(duì)可鉸接的外科手術(shù)工具的輔助視圖與由攝像機(jī)捕獲到的圖像的組合顯示。圖18示出用于提供輔助觀察模式的方法的流程圖，該輔助觀察模式對(duì)應(yīng)于利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)的裝置控制模式。圖19示出用于利用本發(fā)明的各方面定位和取向攝像機(jī)末端的方法的流程圖。圖20示出延伸到進(jìn)入導(dǎo)向器的遠(yuǎn)端之外的可鉸接的攝像機(jī)和可鉸接的外科手術(shù)工具的側(cè)視圖，其中示出了與在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中所用的計(jì)算機(jī)生成的輔助視圖有關(guān)的零位坐標(biāo)系統(tǒng)。圖21示出延伸到進(jìn)入導(dǎo)向器的遠(yuǎn)端之外的可鉸接的攝像機(jī)和可鉸接的外科手術(shù)工具的側(cè)視圖，其中示出了與在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中所用的計(jì)算機(jī)生成的輔助視圖相關(guān)的等軸輔助視圖坐標(biāo)系統(tǒng)(isometric auxiliary view reference frame)。圖22示出在利用本發(fā)明各方面的醫(yī)療機(jī)器人系統(tǒng)中所用的攝像機(jī)控制器的方框圖。
具體實(shí)施例方式作為一個(gè)示例，圖1示出操作室的俯視圖，其中外科醫(yī)生20正在使用醫(yī)療機(jī)器人系統(tǒng)100對(duì)仰面躺在手術(shù)臺(tái)50上的病人40執(zhí)行醫(yī)療程序。一個(gè)或多個(gè)助手30可以位于病人40附近，以便當(dāng)外科醫(yī)生20操縱外科醫(yī)生控制臺(tái)10上的輸入裝置108、109而遠(yuǎn)程地執(zhí)行手術(shù)程序時(shí)協(xié)助醫(yī)生執(zhí)行該手術(shù)程序。在本示例中，進(jìn)入導(dǎo)向器(EG) 200通過單個(gè)進(jìn)入口 150插入病人40體中。盡管在本示例中進(jìn)入口 150是微創(chuàng)切口，但是在執(zhí)行其他醫(yī)療程序中，它可以代替地是人體天然孔口。進(jìn)入導(dǎo)向器200由機(jī)器人臂組件130保持并操縱。正如醫(yī)療機(jī)器人系統(tǒng)100的其他部件一樣，在圖1中機(jī)器人臂組件130的示出是簡(jiǎn)化的。在醫(yī)療機(jī)器人系統(tǒng)100的一個(gè)示例中，機(jī)器人臂組件130包括組裝臂(setup arm) 和進(jìn)入導(dǎo)向器操縱器。該組裝臂用于將該進(jìn)入導(dǎo)向器200定位在進(jìn)入口 150以便它適當(dāng)?shù)剡M(jìn)入該進(jìn)入口 150中。然后，進(jìn)入導(dǎo)向器操縱器用來將進(jìn)入導(dǎo)向器200自動(dòng)地插入進(jìn)入口 150中并且從進(jìn)入口 150抽出進(jìn)入導(dǎo)向器200。它還可以用于繞設(shè)置在進(jìn)入口 150的樞軸點(diǎn)以俯仰、滾動(dòng)和偏擺方式自動(dòng)樞轉(zhuǎn)進(jìn)入導(dǎo)向器100。這種進(jìn)入導(dǎo)向器操縱器的一個(gè)示例是圖2的進(jìn)入導(dǎo)向器操縱器202，并且用其操縱進(jìn)入導(dǎo)向器200的四自由度運(yùn)動(dòng)的示例示于圖 5中?？刂婆_(tái)10包括用于向外科醫(yī)生顯示外科手術(shù)部位的3D圖像的3D監(jiān)控器104、可左手操縱的輸入裝置108 (MTML)、可右手操縱的輸入裝置109 (MTMR)、以及處理器(在本文也叫做“控制器”)102。輸入裝置108、109可以包括各種輸入裝置的任何一個(gè)或多個(gè)，例如操縱桿、手套(glove)、觸發(fā)槍、手操作的控制器等。使外科醫(yī)生能夠與醫(yī)療機(jī)器人系統(tǒng)100 互動(dòng)的其他輸入裝置包括腳踏板105、常規(guī)的聲音識(shí)別系統(tǒng)160和圖形用戶接口(⑶I) 170。輔助顯示屏140連接于控制臺(tái)10 (和處理器102)，用于為外科醫(yī)生提供輔助視圖以補(bǔ)充在監(jiān)控器104上示出的視圖。第二輔助顯示屏140'也連接于控制臺(tái)10 (和處理器 102)，用于為(多個(gè))助手提供輔助視圖。輸入裝置180也連接于控制臺(tái)，使(多個(gè))助手能夠在可用的輔助視圖中進(jìn)行選擇，用于顯示在第二輔助顯示屏140'上?？刂婆_(tái)10通常與病人設(shè)置在同一個(gè)房間中，以便外科醫(yī)生可以直接監(jiān)控手術(shù)過程，必要時(shí)是可實(shí)際使用的，并且能夠直接地而不是用電話或其他通信媒質(zhì)與助手們說話。 但是，應(yīng)當(dāng)理解，外科醫(yī)生也可以位于與病人不同的房間、完全不同的建筑物或其他遠(yuǎn)程位置，以允許執(zhí)行遠(yuǎn)程外科程序。在這種情況下，控制臺(tái)10可以通過諸如局域網(wǎng)、廣域網(wǎng)或英特網(wǎng)的網(wǎng)絡(luò)連接，連接于第二輔助顯示屏140'和輸入裝置180。如圖3-4所示，進(jìn)入導(dǎo)向器200具有可鉸接的器械，例如延伸到進(jìn)入導(dǎo)向器遠(yuǎn)端之外的可鉸接的外科手術(shù)工具231、241和可鉸接的立體攝像機(jī)211。雖然只示出兩個(gè)工具 231J41，但是進(jìn)入導(dǎo)向器200也可以引導(dǎo)在病人的手術(shù)部位執(zhí)行醫(yī)療手術(shù)程序所需的其他額外的工具。例如，如圖4所示，通道351可以用來延伸其他的可鉸接的外科手術(shù)工具通過進(jìn)入導(dǎo)向器200并且到其遠(yuǎn)端外面。在工具遵循模式中，每個(gè)外科手術(shù)工具231、241與輸入裝置108、109其中一個(gè)關(guān)聯(lián)。外科醫(yī)生通過操縱輸入裝置108、109進(jìn)行醫(yī)療程序，以便控制器102使其各自關(guān)聯(lián)的外科手術(shù)工具231、241對(duì)應(yīng)地運(yùn)動(dòng)，同時(shí)由于手術(shù)部位的圖像被可鉸接的攝像機(jī)211捕獲因此外科醫(yī)生可以觀察控制臺(tái)監(jiān)控器104上的3D手術(shù)部位。
優(yōu)選地，輸入裝置108、109將被提供和與它們關(guān)聯(lián)的工具231、241至少相同的自由度，以便為外科醫(yī)生提供遠(yuǎn)程顯示，或者提供使輸入裝置108、109與工具231、241—體的感覺，以便外科醫(yī)生具有一種很強(qiáng)的直接控制工具231、241的感覺。為此，監(jiān)控器104也設(shè)置在外科醫(yī)生的手附近，以便它顯示投影圖像，該投影圖像被取向成使得外科醫(yī)生感覺到他或她實(shí)際上直接俯視在手術(shù)部位上，并且使得工具231J41的圖像基本位于外科醫(yī)生的手所在的地方。此外，監(jiān)控器104上的實(shí)時(shí)圖像優(yōu)選投影成立體圖像，從而使得外科醫(yī)生能夠通過它們對(duì)應(yīng)的輸入裝置108、109操縱工具231、241的端部執(zhí)行器331、341，就好像觀察到手術(shù)部位實(shí)際真實(shí)出現(xiàn)一樣。通過真實(shí)出現(xiàn)，意味著圖像的呈現(xiàn)是模擬實(shí)際操縱端部執(zhí)行器 331,341的操作者的觀察點(diǎn)的真實(shí)的立體圖像。因此，處理器102可以將端部執(zhí)行器331、 341的坐標(biāo)系統(tǒng)變換到被感覺到的位置，以便被顯示在監(jiān)控器104上的立體圖像是當(dāng)外科醫(yī)生直接位于端部執(zhí)行器331、341的后面時(shí)外科醫(yī)生應(yīng)當(dāng)看到的圖像。處理器102在系統(tǒng)100中執(zhí)行各種功能。它執(zhí)行的一項(xiàng)重要的功能是通過總線110 上的控制信號(hào)平移并傳遞輸入裝置108、109的機(jī)械運(yùn)動(dòng)，以便外科醫(yī)生能夠有效地操縱這些裝置，例如在此時(shí)選擇地與輸入裝置108、109關(guān)聯(lián)的工具231J41、攝像機(jī)211和進(jìn)入導(dǎo)向器200。另一個(gè)功能是執(zhí)行本文所述的各種方法和控制器功能。雖然描述為處理器，但是應(yīng)當(dāng)明白，在實(shí)踐中處理器102可以由硬件、軟件和固件的任何組合實(shí)現(xiàn)。而且，本文描述的處理器功能可以由一個(gè)單元執(zhí)行或由不同部件中分割的單元執(zhí)行，反過來每個(gè)單元又可以由硬件、軟件和固件的任何組合實(shí)現(xiàn)。此外，盡管示出的處理器作為控制臺(tái)10的部分或物理上靠近控制臺(tái)10，但是處理器102也可以包括分布在整個(gè)系統(tǒng)中的多個(gè)子單元。對(duì)于諸如在本文描述的醫(yī)療機(jī)器人系統(tǒng)各方面的結(jié)構(gòu)和操作的其他細(xì)節(jié)，例如， 參見美國(guó)專利6，493，608號(hào)“微創(chuàng)外科手術(shù)設(shè)備的控制系統(tǒng)的方面”和美國(guó)專利6，671，581 號(hào)“在微創(chuàng)外科手術(shù)設(shè)備中的攝像機(jī)參考控制”，這兩個(gè)專利結(jié)合于此作為參考。作為一個(gè)示例，圖2示出用于對(duì)輸入裝置108、109進(jìn)行控制并選擇地關(guān)聯(lián)裝置操縱器的部件的方框圖。諸如抓鉗、切割器和針的各種外科手術(shù)工具可以用于在病人體內(nèi)的手術(shù)部位進(jìn)行醫(yī)療程序。在這個(gè)示例中，兩個(gè)外科手術(shù)工具231、241用于由機(jī)器人進(jìn)行手術(shù)程序，而攝像機(jī)211用來觀察該手術(shù)程序。工具231、241和攝像機(jī)211通過進(jìn)入導(dǎo)向器 200中的通道被插入。正如參考圖1所描述的，通過利用機(jī)器人臂組件130的組裝部分，進(jìn)入導(dǎo)向器200通過進(jìn)入口 150被插入到病人體內(nèi)，并且機(jī)器人臂組件130的進(jìn)入導(dǎo)向器操縱器(EGM) 202將進(jìn)入導(dǎo)向器200朝著將要執(zhí)行醫(yī)療手術(shù)程序的手術(shù)部位移動(dòng)。每個(gè)裝置231、對(duì)1、211、200由其自己的操縱器操縱。具體說，攝像機(jī)211由攝像機(jī)操縱器(ECM) 212操縱，第一外科手術(shù)工具231由第一工具操縱器(PSMl) 232操縱，第二外科手術(shù)工具M(jìn)l由第二工具操縱器(PSiC) 242操縱，而進(jìn)入導(dǎo)向器200由進(jìn)入導(dǎo)向器操縱器(EGM) 202操縱。為了不會(huì)過度塞滿圖，在圖中未示出裝置231、對(duì)1、211、200，而是僅示出其相應(yīng)的操縱器232、對(duì)2、212、202。每個(gè)器械操縱器232、M2、212是承載致動(dòng)器并且提供機(jī)械的無菌接口的機(jī)械組件，以將運(yùn)動(dòng)傳遞給其相應(yīng)的可鉸接的器械。每個(gè)器械231、M1、211是通過電纜傳輸接收來自其操縱器的運(yùn)動(dòng)并且傳送該運(yùn)動(dòng)到其遠(yuǎn)端關(guān)節(jié)(例如接頭)的機(jī)械組件。這種接頭可
10以是棱柱的(例如線性運(yùn)動(dòng))或可旋轉(zhuǎn)的(例如，它們繞機(jī)械軸線樞轉(zhuǎn))。而且，器械可以具有迫使多個(gè)接頭以預(yù)定方式一起運(yùn)動(dòng)的內(nèi)部的機(jī)械約束(例如，電纜、齒輪傳動(dòng)、凸輪、 皮帶等)。每組機(jī)械約束的接頭提供特殊的運(yùn)動(dòng)軸線，并且約束可以設(shè)計(jì)為成對(duì)旋轉(zhuǎn)接頭 (例如，嚙合接頭)。應(yīng)當(dāng)指出，以這種方式，器械可以具有比可用的致動(dòng)器更多的接頭。相反，進(jìn)入導(dǎo)向器操縱器202具有不同的結(jié)構(gòu)和操作，進(jìn)入導(dǎo)向器操縱器202的部件和操作的描述在下面參考圖7進(jìn)行。在這個(gè)示例中，輸入裝置108、109每個(gè)可以與裝置211、231、241、200其中之一選擇地關(guān)聯(lián)，以便關(guān)聯(lián)的裝置可以通過其控制器和操縱器由輸入裝置控制。例如，通過將開關(guān) 258、259分別設(shè)置在工具遵循模式“T2”和“Tl”，左右輸入裝置108、109可以分別與第一和第二外科手術(shù)工具231、241關(guān)聯(lián)，第一和第二外科手術(shù)工具231、241通過其相應(yīng)的控制器 233、M3 (優(yōu)選，實(shí)現(xiàn)在處理器102中)和操縱器232、242被遠(yuǎn)程自動(dòng)控制，以便在進(jìn)入導(dǎo)向器200被鎖定在適當(dāng)位置時(shí)外科醫(yī)生可以對(duì)病人執(zhí)行醫(yī)療程序。當(dāng)攝像機(jī)211或進(jìn)入導(dǎo)向器200被外科醫(yī)生重新定位時(shí)，左右輸入裝置108、109 其中之一或兩者可以與攝像機(jī)211或進(jìn)入導(dǎo)向器200關(guān)聯(lián)，以便外科醫(yī)生可以通過其相應(yīng)的控制器013或20 和操縱器012或20 移動(dòng)攝像機(jī)211或進(jìn)入導(dǎo)向器200。在這種情況下，外科手術(shù)工具231J41中的不關(guān)聯(lián)的一個(gè)通過其控制器相對(duì)于進(jìn)入導(dǎo)向器200鎖定在適當(dāng)位置。例如，通過將開關(guān)258、259分別設(shè)置在攝像機(jī)定位模式“C2”和“Cl”，左右輸入裝置108、109可以與攝像機(jī)211關(guān)聯(lián)，攝像機(jī)211通過其控制器213 (優(yōu)選，實(shí)現(xiàn)在處理器102中)和操縱器212被遠(yuǎn)程自動(dòng)控制，以便當(dāng)外科手術(shù)工具231、241和進(jìn)入導(dǎo)向器 200通過其各自的控制器233、M3、203被鎖定在位時(shí)，外科醫(yī)生能夠定位攝像機(jī)211。如果只有一個(gè)輸入裝置被用來定位攝像機(jī)，那么開關(guān)258、259只有其中之一被設(shè)置在其攝像機(jī)定位模式，而開關(guān)258、259的另一個(gè)仍然保留在其工具遵循模式，以便其相應(yīng)的輸入裝置可以繼續(xù)控制其關(guān)聯(lián)的外科手術(shù)工具。另一方面通過將開關(guān)258、259分別設(shè)置在進(jìn)入導(dǎo)向器定位模式“G2”和“G1”，左右輸入裝置108、109可以與進(jìn)入導(dǎo)向器200關(guān)聯(lián)，進(jìn)入導(dǎo)向器200通過其控制器203(優(yōu)選， 實(shí)現(xiàn)在處理器102中)和操縱器202被遠(yuǎn)程自動(dòng)控制，以便當(dāng)外科手術(shù)工具231、241和攝像機(jī)211通過其各自的控制器233、M3、213相對(duì)于進(jìn)入導(dǎo)向器200被鎖定在位時(shí)，外科醫(yī)生能夠定位進(jìn)入導(dǎo)向器200。正如攝像機(jī)定位模式的情況一樣，如果只有一個(gè)輸入裝置被用來定位進(jìn)入導(dǎo)向器，那么開關(guān)258、259只有一個(gè)被設(shè)置在其進(jìn)入導(dǎo)向器定位模式，而開關(guān)258、259的另一個(gè)仍然保留在其工具遵循模式，以便其相應(yīng)的輸入裝置可以繼續(xù)控制其關(guān)聯(lián)的外科手術(shù)工具。在這個(gè)示例中輸入裝置108、109與其他裝置的選擇關(guān)聯(lián)可以通過外科醫(yī)生以常規(guī)方式利用⑶I 170或聲音識(shí)別系統(tǒng)160來實(shí)現(xiàn)?？商鎿Q地，輸入裝置108、109的關(guān)聯(lián)可以通過外科醫(yī)生按壓輸入裝置108、109其中一個(gè)上的按鈕或按壓腳踏板105來改變，或通過利用任何其他已知模式的轉(zhuǎn)換技術(shù)來改變。作為一個(gè)示例，圖3-4分別示出進(jìn)入導(dǎo)向器200的遠(yuǎn)端的俯視和右側(cè)視圖，其中攝像機(jī)211和外科手術(shù)工具231J41向外延伸。如圖5中簡(jiǎn)化的(不按比例)進(jìn)入導(dǎo)向器 200的透視圖所示，該進(jìn)入導(dǎo)向器200的形狀是大致柱形的，并且具有沿其長(zhǎng)度在中心延伸的縱軸線X'。也稱為遠(yuǎn)程中心“RC”的樞軸點(diǎn)用作具有如圖所示的X、Y、Z軸線的固定坐標(biāo)系統(tǒng)和具有如圖所示的X'、r、v軸線的進(jìn)入導(dǎo)向器坐標(biāo)系統(tǒng)兩者的原點(diǎn)。當(dāng)系統(tǒng)100 處于進(jìn)入導(dǎo)向器定位模式時(shí)，進(jìn)入導(dǎo)向器操縱器202能夠響應(yīng)一個(gè)或多個(gè)關(guān)聯(lián)的輸入裝置的運(yùn)動(dòng)，使進(jìn)入導(dǎo)向器200繞著位于遠(yuǎn)程中心“RC”的Z軸線(其在空間保持固定)以偏擺角Ψ樞轉(zhuǎn)。此外，進(jìn)入導(dǎo)向器操縱器202能夠響應(yīng)一個(gè)或多個(gè)輸入裝置的運(yùn)動(dòng)，使進(jìn)入導(dǎo)向器200繞Y'軸線(其與進(jìn)入導(dǎo)向器200的縱軸線X'正交)以俯仰角θ樞轉(zhuǎn)，使進(jìn)入導(dǎo)向器200能夠繞其縱軸線X'以滾動(dòng)角Φ旋轉(zhuǎn)，并且能夠響應(yīng)一個(gè)或多個(gè)關(guān)聯(lián)的輸入裝置的運(yùn)動(dòng)，使進(jìn)入導(dǎo)向器200沿著其縱軸線X'在插入/抽回或進(jìn)/出“I/O”方向上線性移動(dòng)。應(yīng)當(dāng)注意，與在空間固定的Z軸線不同，X'和Y'軸線與進(jìn)入導(dǎo)向器200 —起運(yùn)動(dòng)。如圖7所示，進(jìn)入導(dǎo)向器操縱器(EGM) 202具有四個(gè)致動(dòng)器701-704，用于致動(dòng)進(jìn)入導(dǎo)向器200的四個(gè)運(yùn)動(dòng)自由度(即，俯仰角θ、偏擺角Ψ、滾動(dòng)角Φ以及進(jìn)/出即I/O)和實(shí)現(xiàn)這四個(gè)運(yùn)動(dòng)自由度的四個(gè)對(duì)應(yīng)的組件711-714。返回來參考圖3-4，可鉸接的攝像機(jī)211延伸通過進(jìn)入導(dǎo)向器200的通道321，而可鉸接的外科手術(shù)工具231、241分別延伸通過進(jìn)入導(dǎo)向器200的通道431、441。攝像機(jī) 211包括末端311(其容納連接于攝像機(jī)控制器的立體攝像機(jī)和連接于外部光源的光纖電纜)；第一、第二和第三連桿322、324、326;第一和第二接頭組件(在本文也簡(jiǎn)稱為“接頭”)323、325 ；和肘節(jié)組件327。第一接頭組件323連接第一和第二連桿322、324，而第二接頭組件325連接第二和第三連桿324、326，從而使得第二連桿3 可以繞第一接頭組件323 以俯仰和偏擺方式樞轉(zhuǎn)，而第一和第三連桿322、3沈保持彼此平行。第一和第二接頭323、325稱為“嚙合接頭(joggle joint) ”，因?yàn)樗鼈円黄饏f(xié)同操作，從而使得當(dāng)?shù)诙B桿3M繞第一接頭323以俯仰和/或偏擺方式樞轉(zhuǎn)時(shí)，第三連桿3 繞第二接頭325以互補(bǔ)方式樞轉(zhuǎn)，從而使得第一和第三連桿322和3 總是保持彼此平行。 第一連桿322也可以繞其縱軸線以滾動(dòng)方式旋轉(zhuǎn)并且通過通道321移進(jìn)或移出(例如，朝著手術(shù)部位插入和從手術(shù)部位抽出)。肘節(jié)組件327也具有俯仰和偏擺角運(yùn)動(dòng)能力，從而使得攝像機(jī)的末端311可以上下左右取向，或其組合取向。工具231J41的接頭和連桿在結(jié)構(gòu)和操作上與攝像機(jī)211的接頭和連桿是類似的。具體說，工具231包括端部執(zhí)行器331 (具有夾爪338、339)；第一、第二和第三連桿332、 334,336 ；第一和第二接頭組件333、335 ；由諸如參考圖8描述的致動(dòng)器(加上用于致動(dòng)端部執(zhí)行器331的附加致動(dòng)器)驅(qū)動(dòng)的肘節(jié)組件337。同樣，工具M(jìn)l包括端部執(zhí)行器341(具有夾爪；348、；349)；第一、第二和第三連桿；342、；344、；346 ；第一和第二接頭組件；343、；345 ；也由諸如參考圖8描述的致動(dòng)器(加上用于致動(dòng)端部執(zhí)行器341的附加致動(dòng)器)驅(qū)動(dòng)的肘節(jié)組件；347。作為一個(gè)示例，圖8示出可鉸接的器械(例如，可鉸接的攝像機(jī)211和可鉸接的外科手術(shù)工具231J41)和其對(duì)應(yīng)的器械操縱器(例如，攝像機(jī)操縱器212和工具操縱器 232,242)的相互作用的部件的示意圖。每個(gè)器械包括多個(gè)可致動(dòng)組件821-823、831-833、 870，用于致動(dòng)該器械(包括其端部執(zhí)行器)的關(guān)節(jié)，并且其對(duì)應(yīng)的操縱器包括多個(gè)致動(dòng)器 801-803、811-813、860，用于致動(dòng)這些可致動(dòng)組件。此夕卜，還可以提供多個(gè)接口機(jī)構(gòu)。例如，俯仰/偏擺連接機(jī)構(gòu)840、850 (分別用于嚙合接頭俯仰/偏擺和肘節(jié)俯仰/偏擺)和齒輪齒數(shù)比/傳動(dòng)比(gear ratio) 845、855 (分別用于器械的滾動(dòng)和端部執(zhí)行器致動(dòng))被提供在無菌操縱器/器械接口中，從而在器械接頭空間實(shí)現(xiàn)器械接頭的運(yùn)動(dòng)所需要的運(yùn)動(dòng)范圍，同時(shí)滿足在操縱器致動(dòng)器空間中的緊湊性的限制和在整個(gè)接口上保持運(yùn)動(dòng)的精確傳遞這兩方面。雖然圖中示作單個(gè)方框840，但是嚙合接頭致動(dòng)器801、802 (區(qū)分為#1和#2)和嚙合接頭俯仰/偏擺組件821、822之間的連接可以包括一對(duì)連接機(jī)構(gòu)，無菌接口的每側(cè)上分別有一個(gè)連接機(jī)構(gòu)(即，接口的操縱器側(cè)上一個(gè)，接口的器械側(cè)上一個(gè))。同樣，雖然圖中示作單個(gè)方框850，但是肘節(jié)致動(dòng)器812、 813 (區(qū)分為#1和#2)和肘節(jié)俯仰/偏擺接頭組件832、833之間的連接可以包括一對(duì)連接機(jī)構(gòu)，無菌接口的每側(cè)上分別有一個(gè)連接機(jī)構(gòu)。嚙合接頭俯仰組件821和嚙合接頭偏擺組件822兩者共享第一、第二和第三連桿 (例如，可鉸接的攝像機(jī)211的連桿322、324、326)，以及第一和第二接頭(例如，可鉸接的攝像機(jī)211的接頭322、32幻。除了這些共享的部件之外，嚙合接頭俯仰/偏擺組件821、822 還包括機(jī)械連接部分，該機(jī)械連接部分將第一和第二接頭(通過嚙合連接部分840)連接于嚙合接頭俯仰和偏擺致動(dòng)器801、802，從而使得第二連桿可以繞通過第一接頭的直線并且沿著與第一連桿(例如，可鉸接的攝像機(jī)211的連桿32 的縱軸線垂直的軸線可控制地樞轉(zhuǎn)，并且使得第二連桿可以繞通過第一接頭的直線并且沿著與該第一連桿的橫向和縱向軸線兩者正交的軸線可控制地樞轉(zhuǎn)。進(jìn)/出(I/O)組件823包括第一連桿(例如，可鉸接的攝像機(jī)211的連桿322)和 (多個(gè))接口，該接口通過傳動(dòng)裝置(drive train)將進(jìn)/出(I/O)致動(dòng)器803連接于該第一連桿，以便該第一連桿通過進(jìn)/出(I/O)致動(dòng)器803的致動(dòng)沿著其縱軸線可控制地線性運(yùn)動(dòng)。滾動(dòng)組件831包括第一連桿的和(多個(gè))接口，該接口通過一個(gè)或多個(gè)齒輪裝置 (即，具有齒輪齒數(shù)84 將滾動(dòng)致動(dòng)器811的轉(zhuǎn)動(dòng)元件(例如，電機(jī)的轉(zhuǎn)子)連接于第一連桿，以便第一連桿通過滾動(dòng)致動(dòng)器811的致動(dòng)繞其縱軸線可控制地轉(zhuǎn)動(dòng)。器械操縱器(例如，攝像機(jī)操縱器212)包括肘節(jié)致動(dòng)器812、813，其通過肘節(jié)連接部分850致動(dòng)肘節(jié)組件(例如，可鉸接的攝像機(jī)211的肘節(jié)327)的俯仰和偏擺接頭832、 833，以便使器械的末端(例如攝像機(jī)末端311)相對(duì)于該肘節(jié)組件沿著上下(即，俯仰)方向和一側(cè)到一側(cè)(即，偏擺)方向可控制地樞轉(zhuǎn)。夾緊組件870包括端部執(zhí)行器(例如，外科手術(shù)工具231的端部執(zhí)行器331)和(多個(gè))接口，接口通過一個(gè)或多個(gè)齒輪裝置(例如， 具有齒輪齒數(shù)比85 將夾緊致動(dòng)器860連接于端部執(zhí)行器，以便可控制地致動(dòng)該端部執(zhí)行器。作為一個(gè)示例，圖9示出在用于提供計(jì)算機(jī)生成的輔助視圖的醫(yī)療機(jī)器人系統(tǒng) 100的處理器102中執(zhí)行的方法的流程圖，該醫(yī)療機(jī)器人系統(tǒng)100包括延伸到進(jìn)入導(dǎo)向器 200的遠(yuǎn)端之外的可鉸接的器械(例如，可鉸接的攝像機(jī)211和/或一個(gè)或多個(gè)可鉸接外科手術(shù)工具231J41)。為了這個(gè)示例的目的，假定可鉸接的攝像機(jī)211和外科手術(shù)工具231、 241延伸到進(jìn)入導(dǎo)向器200的遠(yuǎn)端外面，并且包括在輔助視圖中。但是，應(yīng)當(dāng)明白，該方法可以應(yīng)用于可鉸接的器械的任何組合，包括沒有可鉸接的攝像機(jī)組合和/或具有諸如超聲探測(cè)器的可選類型的圖像捕獲裝置的那些組合。在901，該方法判斷是否要生成輔助視圖。如果在901判斷為“否”，則該方法返回到周期性檢查，看看這種情況是否改變。另一方面，如果在901判斷為“是”，則該方法進(jìn)行到902。要生成輔助視圖的指示可以被編程在處理器102中，自動(dòng)形成或通過操作者命令形成。
在902，該方法接收諸如器械211、231、M1和進(jìn)入導(dǎo)向器200每個(gè)的定位和取向的狀態(tài)信息。該信息可以通過連接于其各自的操縱器212、232、M2、202中的致動(dòng)器的編碼器提供。可選地，該信息可以由傳感器提供，該傳感器連接于這些器械211、231、M1和進(jìn)入導(dǎo)向器操縱器202的接頭和/或連桿，或?qū)?yīng)的操縱器和器械之間的接口的連接機(jī)構(gòu)、齒輪裝置和傳動(dòng)裝置，以便測(cè)量它們的運(yùn)動(dòng)。在這第二種情況下，傳感器可以包括在器械211、231、 241和進(jìn)入導(dǎo)向器操縱器202中，例如檢測(cè)旋轉(zhuǎn)接頭的旋轉(zhuǎn)運(yùn)動(dòng)的旋轉(zhuǎn)傳感器，和檢測(cè)在器械211、231、241和進(jìn)入導(dǎo)向器操縱器202中棱柱接頭的線性運(yùn)動(dòng)的線性傳感器。其他傳感器也可以用于提供器械211、231、241和進(jìn)入導(dǎo)向器200的位置和取向信息，例如檢測(cè)和跟蹤可跟蹤元件的外部傳感器，它們可以是設(shè)置在器械211、231、241和進(jìn)入導(dǎo)向器200和/ 或進(jìn)入導(dǎo)向器操縱器202(例如，它們的接頭、連桿和/或末端)的關(guān)鍵位置有源元件(例如射頻元件、電磁元件等)或無源元件(例如，磁性元件等)。在903，該方法通過利用在902接收的信息以及器械211、231、Ml、進(jìn)入導(dǎo)向器200 和進(jìn)入導(dǎo)向器操縱器202的正向運(yùn)動(dòng)學(xué)和已知結(jié)構(gòu)，來生成延伸到進(jìn)入導(dǎo)向器200的遠(yuǎn)端之外的可鉸接的攝像機(jī)211和可鉸接外科手術(shù)工具231、241的三維計(jì)算機(jī)模型。在這個(gè)示例中生成的計(jì)算機(jī)模型可以參照?qǐng)D5所示的遠(yuǎn)程中心坐標(biāo)系統(tǒng)(X、Y、Z軸)?？蛇x地，該生成的計(jì)算機(jī)模型可以參照進(jìn)入導(dǎo)向器200的遠(yuǎn)端定義的坐標(biāo)系統(tǒng)。在后一種情況下，如果進(jìn)入導(dǎo)向器200從遠(yuǎn)程中心的取向和延伸不必考慮由該方法生成的輔助視圖，則在902可以省去進(jìn)入導(dǎo)向器200的位置和取向信息。例如，參考圖10，如果在902接收的狀態(tài)信息是器械的接頭位置1001，則可以通過利用器械運(yùn)動(dòng)學(xué)模型1003，將這個(gè)信息應(yīng)用于器械正向運(yùn)動(dòng)學(xué)1002，以相對(duì)于坐標(biāo)系統(tǒng) 1004生成器械的連桿位置和取向1005。如果在902接收的狀態(tài)信息是在操縱器/器械接口中的嚙合連接和齒輪機(jī)構(gòu)的檢測(cè)的狀態(tài)，也可以大致應(yīng)用相同的程序。另一方面，參考圖11，如果在902接收的狀態(tài)信息是器械末端的位置1101(在坐標(biāo)系統(tǒng)1004中)，則可以通過利用器械運(yùn)動(dòng)學(xué)模型1003和傳感器坐標(biāo)系統(tǒng)，將該信息應(yīng)用于器械反向運(yùn)動(dòng)學(xué)1102，以生成器械的接頭位置1001。如參考圖10所描述的，然后可以應(yīng)用器械的接頭位置1001，以相對(duì)于坐標(biāo)系統(tǒng)1004生成器械的連桿位置和取向1005?？商鎿Q地，還參考圖11，如果在902接收的狀態(tài)信息被限制在只是攝像機(jī)的末端位置，那么外科手術(shù)工具231J41的末端位置可以通過利用常規(guī)圖像處理技術(shù)然后將它們的位置轉(zhuǎn)換到坐標(biāo)系統(tǒng)1004，來識(shí)別由攝像機(jī)211捕獲到的圖像中的末端，以便如參考圖 IOUl所描述的，應(yīng)用攝像機(jī)和工具末端的位置來產(chǎn)生器械的連桿相對(duì)于坐標(biāo)系統(tǒng)1004的位置和取向1005。在904，該方法在坐標(biāo)系統(tǒng)的三維空間中將延伸到進(jìn)入導(dǎo)向器200的遠(yuǎn)端之外的可鉸接的攝像機(jī)211和可鉸接外科手術(shù)工具231、241的計(jì)算機(jī)模型的視圖調(diào)節(jié)到特定的觀察點(diǎn)(其中，術(shù)語“觀察點(diǎn)”在此處理解為包括位置和取向)。例如，圖12示出延伸到進(jìn)入導(dǎo)向器200的遠(yuǎn)端之外的可鉸接的攝像機(jī)211和可鉸接外科手術(shù)工具231J41的俯視圖， 該俯視圖對(duì)應(yīng)于進(jìn)入導(dǎo)向器200的末端上方稍微靠后的觀察點(diǎn)。作為另一個(gè)示例，圖13示出延伸到進(jìn)入導(dǎo)向器200的遠(yuǎn)端之外的可鉸接的攝像機(jī)211和可鉸接外科手術(shù)工具231、 241的側(cè)視圖，該側(cè)視圖對(duì)應(yīng)于進(jìn)入導(dǎo)向器200末端的右側(cè)稍前的觀察點(diǎn)。注意到，雖然圖 12-13所示的輔助視圖是二維的，但是由于能夠從生成的計(jì)算機(jī)模型得到三維信息，它們也可以是三維視圖。在后一種情況下，這些視圖顯示在其上的輔助顯示屏140必需是像監(jiān)控器104 —樣的三維顯示屏。觀察點(diǎn)可以設(shè)置在固定點(diǎn)，例如從圖12所示的投影(perspective)提供等軸測(cè) (三維)視圖的點(diǎn)。如圖所示當(dāng)工具231、241彎曲成“抬肘(elbow out) ”(這是利用外科手術(shù)工具231、241執(zhí)行醫(yī)療程序的一種典型的結(jié)構(gòu))時(shí)，這個(gè)投影為外科醫(yī)生提供可鉸接的攝像機(jī)211和可鉸接外科手術(shù)工具231J41的清楚的視圖。另一方面，當(dāng)利用第三外科手術(shù)工具時(shí)(例如，插入圖6所示的通道351中)，來自圖13所示的投影的側(cè)視圖可以有另外的用處，由于第三外科手術(shù)工具可以在可鉸接的攝像機(jī)211下面，因此在圖12所示的投影中被它擋住。觀察點(diǎn)也可以根據(jù)其運(yùn)行時(shí)的控制模式(即，參考圖2所描述的其中一種模式) 自動(dòng)變化，而不是在所有的時(shí)間將觀察點(diǎn)設(shè)置在固定點(diǎn)。作為一個(gè)示例，圖18示出根據(jù)在醫(yī)療機(jī)器人系統(tǒng)100中當(dāng)前運(yùn)行的控制模式自動(dòng)改變輔助觀察模式的方法。具體說，利用這種方法，當(dāng)在1801中醫(yī)療機(jī)器人系統(tǒng)100被判定為將處在工具遵循模式時(shí)，在1802執(zhí)行第一輔助觀察模式，當(dāng)在1803中醫(yī)療機(jī)器人系統(tǒng)100被判定為將處在進(jìn)入導(dǎo)向器定位模式時(shí)，在1804執(zhí)行第二輔助觀察模式，以及當(dāng)在1805中醫(yī)療機(jī)器人系統(tǒng)100被判定為處在攝像機(jī)定位模式時(shí)，在1806執(zhí)行第三輔助觀察模式。用于每種控制模式的觀察模式被選擇成使得最有利于外科醫(yī)生在該模式期間執(zhí)行動(dòng)作。例如，在工具遵循模式和攝像機(jī)定位模式中，外科手術(shù)工具231、241和攝像機(jī)211其中之一或兩者在這時(shí)被移動(dòng)，并且因此，延伸到進(jìn)入導(dǎo)向器200的遠(yuǎn)端之外的可鉸接的攝像機(jī)211和可鉸接的外科手術(shù)工具231、241的輔助視圖，如圖12和13所示，用來避免在攝像機(jī)211的視野之外的連桿之間的碰撞。另一方面，在進(jìn)入導(dǎo)向器定位模式中，可鉸接的攝像機(jī)211和可鉸接的外科手術(shù)工具231J41相對(duì)于進(jìn)入導(dǎo)向器200鎖定在位，因此，提供關(guān)于諸如圖16和17所示的其他事物的信息的輔助視圖可以是有用的?？商鎿Q地，可以提供用于在進(jìn)行醫(yī)療程序期間改變觀察點(diǎn)的操作者可選的方式。 例如，⑶I 170或聲音識(shí)別系統(tǒng)160可以適于為外科醫(yī)生提供一種交互方式，從而當(dāng)可鉸接的攝像機(jī)211和可鉸接的外科手術(shù)工具231、241延伸到進(jìn)入導(dǎo)向器200的遠(yuǎn)端之外時(shí)，外科醫(yī)生選擇觀察模式和/或改變可鉸接的攝像機(jī)211和/或可鉸接的外科手術(shù)工具231、 241的輔助視圖的觀察點(diǎn)。輸入裝置108、109上的按鈕或腳踏板105也可以用于外科醫(yī)生對(duì)觀察模式的選擇。對(duì)于(多個(gè))助手，輸入裝置180可以和與顯示屏140'關(guān)聯(lián)的GUI 一起使用，用于選擇觀察模式。因此，外科醫(yī)生和(多個(gè))助手在這時(shí)看見的觀察模式對(duì)于在這時(shí)的其特定的任務(wù)可以被優(yōu)化。這種操作者可選的觀察模式和觀察角度的示例示于圖 12-17 中。在905，該方法再現(xiàn)計(jì)算機(jī)模型。在此情況中的再現(xiàn)包括對(duì)模型增加三維特性， 例如器械211、231、241和進(jìn)入導(dǎo)向器200的遠(yuǎn)端的已知結(jié)構(gòu)特征；填充任何間隙以使其成為立體(solid)模型；以及提供自然的色彩和陰影。此外，再現(xiàn)可以包括改變器械211、231、 241其中一個(gè)或多個(gè)(例如一個(gè)或多個(gè)接頭、或連桿或它們的其他部分)的顏色或強(qiáng)度，以便為了識(shí)別目的而突出器械(或接頭或連桿或它們的其他部分)。可替換地，改變器械211、231、241 (或接頭，或連桿或它們的其他部分)其中一個(gè)或多個(gè)的顏色、強(qiáng)度或閃爍(例如，閃光)的頻率可以用作該器械(或接頭、或連桿或它們
15的其他部分)接近一種不希望的事件或狀態(tài)的告警，例如，接近其運(yùn)動(dòng)范圍的極限，或變得與另一個(gè)器械太靠近或與另一個(gè)器械碰撞。當(dāng)顏色用作告警時(shí)，當(dāng)達(dá)到需要避免的事件的告警門限(例如，運(yùn)動(dòng)范圍限制或碰撞)時(shí)，該顏色可以從第一種顏色(例如，綠色)變成第二種顏色(例如黃色)；并且當(dāng)需要避免的事件達(dá)到時(shí)，從第二種顏色變成第三種顏色(例如紅色)。在強(qiáng)度用作告警時(shí)，當(dāng)器械(或其部分)朝著將要避免的事件運(yùn)動(dòng)超過告警門限時(shí)，顏色強(qiáng)度改變，其中當(dāng)達(dá)到該事件時(shí)具有提供的最大強(qiáng)度。當(dāng)顏色的閃爍用作告警時(shí)， 當(dāng)器械(或其部分)朝著將要避免的事件運(yùn)動(dòng)超過告警門限時(shí)，閃爍的頻率改變，其中當(dāng)達(dá)到該事件時(shí)具有最大頻率。告警門限可以基于器械(或其部分，諸如其關(guān)節(jié))的運(yùn)動(dòng)范圍， 或基于該器械(或其部分)與可以與其碰撞的另一個(gè)器械(或其部分)之間的距離。器械運(yùn)動(dòng)的速度也可以是確定告警門限的因素。告警門限例如，可以由操作者利用GUI 170編程，或由考慮到諸如器械運(yùn)動(dòng)速度的其他因素的處理器102中的編程的算法自動(dòng)確定?？商鎿Q地，器械211、231、241其中一個(gè)或多個(gè)(例如其接頭、或連桿或其部分)的顏色、強(qiáng)度或閃爍(例如閃光)頻率的改變可以用作該器械(或接頭、或連桿或其部分)接近期望的事件或狀態(tài)(例如用于執(zhí)行或觀察醫(yī)療程序的優(yōu)化的位置或結(jié)構(gòu))的警報(bào)。在這種情況下，警報(bào)門限可以被定義成使得器械211、231、M1 (或其接頭、連桿或其部分)其中一個(gè)或多個(gè)的顏色、強(qiáng)度和/或閃爍可以按照與前面關(guān)于告警門限和不期望事件或狀態(tài)所描述的類似的方式改變，除了在這種情況下，當(dāng)不期望的事件或狀態(tài)達(dá)到或另外實(shí)現(xiàn)時(shí)，當(dāng)警報(bào)門限達(dá)到并且最大或者要不然結(jié)束時(shí)，改變開始。警報(bào)門限也可以由操作者編程，或者以與告警門限概念上類似的方式由編程的算法自動(dòng)實(shí)現(xiàn)。為了識(shí)別、告警或警報(bào)目的，作為這種突出(highlight)器械的一個(gè)示例，圖15示出在窗口 1502中的攝像機(jī)211和外科手術(shù)工具231J41的輔助視圖，其中攝像機(jī)211已經(jīng)被突出。為了識(shí)別、告警或警報(bào)目的作為這種突出器械的接頭的一個(gè)示例，圖12示出已經(jīng)被突出的外科手術(shù)工具231、241的接頭。為了告警目的作為突出該器械的一部分的一個(gè)示例，圖14示出被突出的外科手術(shù)工具241的一部分1402和攝像機(jī)211的一部分1403，以表示這些部分危險(xiǎn)地接近于碰撞。再現(xiàn)還可以包括當(dāng)輔助圖像的觀察點(diǎn)與攝像機(jī)211的觀察點(diǎn)相同或直接位于攝像機(jī)211觀察點(diǎn)的后面時(shí)，將由攝像機(jī)211捕獲到的圖像重疊在輔助視圖上。作為一個(gè)示例，圖17示出攝像機(jī)211捕獲到的圖像1700，該圖像1700再現(xiàn)為重疊于從攝像機(jī)211的觀察點(diǎn)(或剛好在其后面)生成的外科手術(shù)工具231J41的輔助圖像。在這個(gè)示例中，被顯示在輔助顯示屏140(和/或輔助顯示屏140')上的外科手術(shù)工具231、241的輔助視圖包括在重疊的捕獲圖像1700中的部分(例如，1731、1741)和在該重疊的捕獲圖像1700外側(cè)的部分(例如，1732、1742)。因此，在捕獲到的圖像1700外側(cè)的外科手術(shù)工具231、241的這些部分為外科醫(yī)生提供關(guān)于在攝像機(jī)211的視野外面的其各連桿或鉸接臂的附加的信息。為了識(shí)別的目的或指示告警或警報(bào)上面所述的狀況，也可以做到(done)突出捕獲到的圖像1700外側(cè)的器械部分(例如1732、174幻。將捕獲到的圖像1700重疊在輔助視圖上在下面的情況下顯示外科手術(shù)工具231、241前面的解剖結(jié)構(gòu)360的情況下也具有優(yōu)點(diǎn)，否則解剖結(jié)構(gòu)360通常將不在輔助視圖中。雖然這些示例示出重疊在輔助顯示屏140的輔助視圖的捕獲到的圖像1700，在另一個(gè)再現(xiàn)方案中，輔助視圖可以重疊顯示被顯示在監(jiān)控器 104上的捕獲到的圖像。
再現(xiàn)也可以包括通過僅以馬賽克的形式顯示與該捕獲到的圖像適當(dāng)對(duì)齊并鄰近捕獲到的圖像且在捕獲到的圖像中看不到的器械231、241的一部分(即在圖17中的器械 231,241的虛線部分)，從而利用輔助視圖來放大由攝像機(jī)211捕獲到的圖像，而不是重疊捕獲到的圖像。除了在輔助視圖上重疊捕獲到的圖像，或用輔助視圖放大捕獲到的圖像之外或者作為上述步驟的替代，再現(xiàn)也可以包括在輔助視圖中提供其他有用的信息。作為一個(gè)示例， 圖16示出可鉸接的攝像機(jī)211的輔助側(cè)視圖，其中截頭錐體1601再現(xiàn)在輔助視圖中，以便作為攝像機(jī)末端311的發(fā)射范圍顯示在輔助顯示器140上，并且隨攝像機(jī)末端311 —起移動(dòng)。應(yīng)當(dāng)指出，盡管截頭錐體1601在圖中示作截頂圓錐，但是它可以作為截頭棱錐出現(xiàn)，對(duì)應(yīng)于在監(jiān)控器104上示出的捕獲到的圖像。截頭錐體1601的側(cè)面表示攝像機(jī)211的觀察范圍，并且截頭錐體1601的底部1602顯示由攝像機(jī)211捕獲到的圖像1650。應(yīng)當(dāng)指出，為了簡(jiǎn)化的目的，通常在輔助視圖中的外科手術(shù)工具231、241在這個(gè)示例中已經(jīng)被去掉。作為另一個(gè)示例，圖14示出半透明的球形或氣泡1401 (優(yōu)選涂成紅色)，當(dāng)達(dá)到告警門限時(shí)其可以通過作為再現(xiàn)過程的一部分的方法顯示，以便指示操作者外科手術(shù)工具241和攝像機(jī) 211的突出的部分1402、1403危險(xiǎn)地接近于碰撞。在這種情況下，突出的部分1402、1403優(yōu)選在球內(nèi)的中心。作為由一個(gè)示例，圖14還示出指示攝像機(jī)末端311的優(yōu)化位置的標(biāo)記或其他指示1410，當(dāng)外科手術(shù)工具231J41的端部執(zhí)行器被用來執(zhí)行醫(yī)療程序時(shí)，用于觀察該外科手術(shù)工具231、241的端部執(zhí)行器。該優(yōu)化的位置可以，例如，通過找到端部執(zhí)行器的末端距離捕獲到的圖像的中心是等距離的位置來確定。在906，該方法使來自所選觀察點(diǎn)的投影的再現(xiàn)的計(jì)算機(jī)模型(即，輔助視圖)被顯示在一個(gè)或多個(gè)顯示屏(例如140和140')上。如圖12-14和圖16-17所示，輔助視圖顯示在輔助顯示屏140上。如圖14所示，多于一個(gè)的輔助視圖可以同時(shí)顯示(例如同時(shí)分別提供在窗口 1421和1422的俯視和側(cè)視投影圖)。如圖15所示，輔助視圖也可以顯示在鄰近由可鉸接的攝像機(jī)211捕獲到的圖像的窗口 1502中的主監(jiān)控器104上，該捕獲到的圖像顯示在另一個(gè)窗口 1501中。雖然在這個(gè)示例中出現(xiàn)的窗口 1501、1502是相同的尺寸， 但是應(yīng)當(dāng)明白，輔助視圖窗口 1502的位置和尺寸可以變化并且仍然在本發(fā)明的范圍內(nèi)。而且，正如前面所提到的，輔助視圖可以被重疊在窗口 1501中的捕獲到的圖像，而不是其自己的單獨(dú)窗口 1502中。在這種情況下，重疊的輔助視圖可以由外科醫(yī)生接通和斷開以便在進(jìn)行醫(yī)療程序期間不弄亂捕獲到的圖像。在這種情況中的接通和斷開可以通過按壓輸入裝置108、109其中一個(gè)上的按鈕，或通過按壓腳踏板105來完成?？蛇x地，可以利用聲音識(shí)別系統(tǒng)160通過聲音識(shí)別致動(dòng)來進(jìn)行，或通過外科醫(yī)生與GUI 170互動(dòng)，或利用其他常規(guī)功能轉(zhuǎn)換裝置來進(jìn)行。在完成906之后，該方法然后返回到901，為控制器102的下一個(gè)循環(huán)重復(fù) 901-906。當(dāng)外科醫(yī)生想要重新定位攝像機(jī)末端311以更加有利于定位和/或取向，以觀察在病人的手術(shù)部位正在或?qū)⒁M(jìn)行的醫(yī)療程序時(shí)，通過使輸入裝置108、109其中之一或兩者暫時(shí)與攝像機(jī)操縱器212關(guān)聯(lián)，輸入裝置108、109其中之一或兩者可以重新定位攝像機(jī)末端311。外科醫(yī)生可以進(jìn)行這種重新定位的一種方法是使外科醫(yī)生觀察由攝像機(jī)末端 311上的立體攝像機(jī)捕獲到的在3D監(jiān)控器104上的圖像(例如圖15的窗口 1501中所示的圖像)，并且利用該捕獲到的圖像引導(dǎo)他或她操縱該輸裝置。由于外科醫(yī)生利用由攝像機(jī) 211捕獲到的圖像作為用于她或他控制攝像機(jī)移動(dòng)(即，對(duì)于捕獲到的圖像，輸入裝置108 的運(yùn)動(dòng)對(duì)應(yīng)于攝像機(jī)末端311的運(yùn)動(dòng))的參考，這種類型的攝像機(jī)控制叫做“圖像參考控制”。盡管當(dāng)外科醫(yī)生精密調(diào)整攝像機(jī)末端311的位置和/或取向時(shí)圖像參考控制是有用的，但是對(duì)于較大的移動(dòng)，由于在攝像機(jī)211的視野之外的器械連桿之間的非故意的碰撞的結(jié)果，因此可能發(fā)生問題。在后一種情況下，例如如圖15的窗口 1502所示，在延伸超過進(jìn)入導(dǎo)向器200的遠(yuǎn)端之外的攝像機(jī)211和工具231、241的輔助圖像優(yōu)選用于引導(dǎo)外科醫(yī)生操縱輸入裝置(即，對(duì)于輔助圖像，輸入裝置108的運(yùn)動(dòng)對(duì)應(yīng)于攝像機(jī)末端311的運(yùn)動(dòng)) 的情況下，“器械參考控制”可能是更需要的。作為“器械參考控制”的一個(gè)示例，圖19示出在醫(yī)療機(jī)器人系統(tǒng)100中執(zhí)行的方法的流程圖，該方法用于在操作者觀察顯示屏140上或在控制臺(tái)監(jiān)控器104上的攝像機(jī)211 的計(jì)算機(jī)生成的輔助視圖的同時(shí)，響應(yīng)于操作者對(duì)輸入裝置108的操縱，(以攝像機(jī)定位模式)定位和取向可鉸接的攝像機(jī)器械211的末端311。雖然兩個(gè)輸入裝置108、109都可以用于定位和取向可鉸接的攝像機(jī)211，例如自行車“把手桿^^控制，但是本示例假定只有一個(gè)輸入裝置108 (在本文也叫做“主控裝置，，或“主操縱器，，)被使用，以便另一個(gè)輸入裝置 109仍然可以與其工具231關(guān)聯(lián)并控制其工具231。在1901中，判斷醫(yī)療機(jī)器人系統(tǒng)是否處在攝像機(jī)定位模式。正如前面參考圖2所述，對(duì)于左側(cè)輸入裝置108，這可以通過檢查其開關(guān)258的狀態(tài)來確定。如果開關(guān)258處在 “C2”位置，那么輸入裝置108處在攝像機(jī)定位模式，否則輸入裝置108不處在攝像機(jī)定位模式。如果在1901的判斷是“否”，那么該方法周期性地返回(例如，在每個(gè)處理循環(huán)或可編程的多個(gè)處理循環(huán))以檢查開關(guān)258的當(dāng)前狀態(tài)。另一方面，如果在1901的判斷是 “是”，那么在能夠由輸入裝置108在1907對(duì)攝像機(jī)末端311的定位和取向進(jìn)行控制之前， 該方法執(zhí)行預(yù)置的任務(wù)1902-1906。在1902，與輸入裝置108關(guān)聯(lián)的其他醫(yī)療裝置Ml、200被軟鎖定，使得它們被其控制器242、202控制以保持在其現(xiàn)有的穩(wěn)定狀態(tài)。在1903，該方法計(jì)算用于控制目的的坐標(biāo)系統(tǒng)(“控制坐標(biāo)系統(tǒng)”)。這個(gè)坐標(biāo)系統(tǒng)對(duì)于主控裝置(master) 108的笛卡爾運(yùn)動(dòng)和攝像機(jī)末端311的笛卡爾運(yùn)動(dòng)之間的映射是必需的。為了容易計(jì)算，在攝像機(jī)定位模式期間該坐標(biāo)系統(tǒng)優(yōu)選在空間中固定。因此，例如在工具遵循模式中由攝像機(jī)末端311定義的坐標(biāo)系統(tǒng)在攝像機(jī)定位模式中是不需要的，因?yàn)樵跀z像機(jī)定位模式中，攝像機(jī)末端311在運(yùn)動(dòng)，因此，即便它的狀態(tài)是可以確定的，它的姿態(tài)也不是清楚地被外科醫(yī)生可覺察到的。因此，外科醫(yī)生可能發(fā)現(xiàn)在這種情況下利用主控裝置108將攝像機(jī)末端311相對(duì)于病人的解剖組織定位在想要的位置是很困難的。作為一種可以利用的可能的坐標(biāo)系統(tǒng)，圖20示出一種所謂的“零位”坐標(biāo)系統(tǒng) 2002，坐標(biāo)系統(tǒng)2002對(duì)應(yīng)于這樣的位置和取向其中接頭323、325、327被旋轉(zhuǎn)以便連桿 321、324、3沈成一直線并且它們的插入位置是完全縮回的位置(S卩，攝像機(jī)末端311剛好在進(jìn)入導(dǎo)向器200的通道321的里面)。在這個(gè)位置，在攝像機(jī)末端311定義的坐標(biāo)系統(tǒng)(即， 攝像機(jī)坐標(biāo)系統(tǒng)2010)與“零位”坐標(biāo)系統(tǒng)2002重合。這個(gè)坐標(biāo)系統(tǒng)具有這樣的性質(zhì)與進(jìn)入導(dǎo)向器200對(duì)齊并且相對(duì)于攝像機(jī)的末端311的工作空間確定中心。因此，運(yùn)動(dòng)極限范圍(操作者通過對(duì)輸入裝置108的觸覺反饋被覺察的)可以用于找到攝像機(jī)末端311的中心位置，并且操作者能夠容易明白攝像機(jī)器械211如何響應(yīng)他或她的手臂/手的運(yùn)動(dòng)而運(yùn)動(dòng)。換句話說，使用者手臂/手和攝像機(jī)末端311之間運(yùn)動(dòng)學(xué)映射對(duì)齊攝像機(jī)運(yùn)動(dòng)和醫(yī)生在控制臺(tái)104和/或輔助顯示器140上看到的輔助視圖之間的可視映射。作為另一種可以利用的可能的坐標(biāo)系統(tǒng)，圖21示出一種“等軸測(cè)輔助視圖”坐標(biāo)系統(tǒng)2102，坐標(biāo)系統(tǒng)2102對(duì)應(yīng)于顯示在輔助顯示器140 (例如圖12所示)和/或監(jiān)控器 104(例如圖15的窗口 1502中所示)上的輔助視圖的觀察點(diǎn)。在這個(gè)示例中，觀察點(diǎn)可以被認(rèn)為是取自虛擬攝像機(jī)2103的投影的視圖，其位置和取向在攝像機(jī)定位模式期間優(yōu)選在空間中固定。坐標(biāo)系統(tǒng)2102被定義在虛擬攝像機(jī)2103的末端(即觀察端)，并且其位置和取向被計(jì)算，以便它相對(duì)于進(jìn)入導(dǎo)向器200的通道321的中心縱軸線2101上的(虛擬攝像機(jī)2103的)焦點(diǎn)2104具有方位角α，其中攝像器械211延伸通過中心縱軸線2101。具體說，焦點(diǎn)2104沿著縱軸線2101的位置和方位角α的大小被選擇成使得虛擬攝像機(jī)2103 具有很小的仰角，該仰角在輔助視圖的等軸測(cè)再現(xiàn)中提供適當(dāng)?shù)纳疃雀杏X，并且在攝像機(jī)定位模式期間它的視野2106包括攝像器械211和外科手術(shù)工具231的連桿。為此目的使用者研究表明α角在大約25度是特別希望的。“零位置”坐標(biāo)系統(tǒng)的對(duì)稱性質(zhì)也可應(yīng)用于 “輔助視圖”坐標(biāo)系統(tǒng)中，其潛在的優(yōu)點(diǎn)是操作者能夠利用等軸測(cè)視圖驅(qū)動(dòng)攝像機(jī)末端311 的位置和取向，并且在該坐標(biāo)系統(tǒng)中具有完全協(xié)調(diào)的觸覺反饋。在1904，輸入裝置108的可手握的部分的取向(這里叫做“主控裝置取向”)被對(duì)齊，使得相對(duì)于顯示在3D監(jiān)控器104上的捕獲到的圖像的該主控裝置取向與攝像機(jī)末端 311相對(duì)于用于攝像機(jī)控制在1903計(jì)算的坐標(biāo)系統(tǒng)的當(dāng)前取向相同?？商鎿Q地，例如，通過計(jì)算并考慮當(dāng)前主控裝置取向和當(dāng)前攝像機(jī)取向之間的偏移，可以取消這種取向?qū)R，以便相對(duì)于初始取向的主控裝置角運(yùn)動(dòng)用來命令攝像機(jī)末端311的運(yùn)動(dòng)。在1905，輸入裝置108的可手握的部分的當(dāng)前位置被映射在攝像機(jī)末端311的當(dāng)前位置，以便消除平移的偏移，并且在1906，使用者可選擇的標(biāo)度因子設(shè)置在輸入裝置108 和攝像機(jī)211工作空間之間。在1907，攝像機(jī)控制器(CTRLC)213可以被使能，從而使得通過攝像機(jī)控制器 (CTRLC) 213和操縱器(ECM) 212使輸入裝置108現(xiàn)在控制可鉸接的攝像器械211的定位和取向，并且在1908中，攝像機(jī)末端311運(yùn)動(dòng)到希望的位置和/或取向。在下面參考圖22利用控制坐標(biāo)系統(tǒng)描述攝像機(jī)控制器213?！z像機(jī)末端311按照希望被定位和/或取向之后，然后，在輸入裝置108在 1911能夠?qū)ぞ?41進(jìn)行控制之前，該方法執(zhí)行預(yù)置的任務(wù)1909-1910。具體說，在1909，攝像機(jī)211被軟鎖定，以便它能夠被攝像機(jī)控制器213控制以保持在其當(dāng)前的靜止?fàn)顟B(tài)(即， 希望的位置和/或取向)，并且在1910，主控裝置取向與工具M(jìn)l的取向?qū)R。作為一個(gè)示例，圖22示出用于控制攝像機(jī)操縱器(ECM) 212 (在本文也稱為“從操縱器”或“從動(dòng)裝置”)的攝像機(jī)控制器(CTRLC)213的方框圖，并且因此，攝像器械211的末端311的位置和取向通過由外科醫(yī)生移動(dòng)輸入裝置108(本文也稱為“主操縱器”或“主控裝置”)控制。輸入裝置108包括由接頭連接的多個(gè)連桿，以便有利于多個(gè)運(yùn)動(dòng)自由度。例如，當(dāng)外科醫(yī)生移動(dòng)輸入裝置108從一個(gè)位置到另一個(gè)位置時(shí)，與輸入裝置108的接頭關(guān)聯(lián)的傳感器以采樣間隔(適合于控制器102的處理速度和攝像機(jī)控制目的)檢測(cè)這種運(yùn)動(dòng)，并且將表示接頭空間中的這種被采樣的運(yùn)動(dòng)的數(shù)字信息提供給輸入處理方框2210。輸入處理方框2210處理從輸入裝置108的接頭傳感器接收的信息，通過從接頭位置信息計(jì)算接頭速度并且通過采用已知的轉(zhuǎn)換技術(shù)利用雅可比矩陣和與眼睛相關(guān)的信息進(jìn)行變換，從而相對(duì)于與外科醫(yī)生的眼睛的位置相關(guān)的坐標(biāo)系統(tǒng)(“眼睛坐標(biāo)系統(tǒng)”)，將從輸入裝置108的接頭傳感器接收的信息變換成在其笛卡爾空間中的攝像機(jī)末端311的對(duì)應(yīng)的希望的位置和速度。標(biāo)度和偏移處理方框2201接收來自輸入處理方框2210的處理過的信息2211，并且對(duì)該信息施加標(biāo)度和偏移調(diào)節(jié)，以便這樣得到的攝像機(jī)末端311的運(yùn)動(dòng)，以及因此這時(shí)被外科醫(yī)生在監(jiān)控器104和/或輔助顯示器140上觀察到的其計(jì)算機(jī)生成的輔助視圖如外科醫(yī)生期望的那樣自然出現(xiàn)。在下面的情況下，標(biāo)度調(diào)節(jié)是有用的相對(duì)于輸入裝置108的較大運(yùn)動(dòng)，希望攝像機(jī)末端311小的運(yùn)動(dòng)，以便攝像機(jī)末端311正如其觀察手術(shù)部位那樣能夠更加精確地運(yùn)動(dòng)。應(yīng)用偏移調(diào)節(jié)，用于當(dāng)外科醫(yī)生通過這時(shí)顯示在監(jiān)控器104和/或輔助顯示器140上的輔助視圖，操縱輸入裝置108以控制攝像機(jī)末端311的運(yùn)動(dòng)時(shí)，相對(duì)于外科醫(yī)生的眼睛對(duì)齊輸入裝置108。模擬攝像機(jī)方框2204接收標(biāo)度和偏移處理方框2201的輸出2221，并且利用反向運(yùn)動(dòng)學(xué)，將來自眼睛坐標(biāo)系統(tǒng)的笛卡爾空間的攝像機(jī)末端311的被控制的位置和速度，變換到攝像機(jī)操縱器212的接頭空間，同時(shí)避免在其操作中的奇點(diǎn)(singularity)并且限制被控制的接頭位置和速度，以避免實(shí)際的限制或其他約束，例如避免與病人的組織和其他部位有害的接觸。為了進(jìn)行這種變換，在眼睛坐標(biāo)系統(tǒng)和控制坐標(biāo)系統(tǒng)之間進(jìn)行映射(由坐標(biāo)系統(tǒng)計(jì)算方框2250提供)，并且在主控裝置108的手握部分的末端和攝像機(jī)末端311 之間進(jìn)行另一種映射。應(yīng)當(dāng)指出，在標(biāo)度和偏移方框2201中補(bǔ)償偏移同時(shí)這些映射保持取向。一旦映射被建立之后，由于映射能夠描述主控裝置和攝像機(jī)末端相對(duì)于控制坐標(biāo)系統(tǒng)的位置和取向，因此反向和正向運(yùn)動(dòng)學(xué)方框2204、2206利用這個(gè)信息進(jìn)行其計(jì)算。然后，模擬攝像機(jī)方框2204的輸出22M被提供到接頭控制器方框2205和正向運(yùn)動(dòng)學(xué)方框2206。接頭控制器方框2205包括用于攝像器械211的每個(gè)受控的接頭(或諸如 “嚙合接頭”的可操縱連接的接頭)的接頭控制系統(tǒng)(例如，參考圖8所示并描述的平移或取向組件)。模擬的攝像機(jī)方框2204的輸出22M提供用于攝像器械211的每個(gè)接頭的控制值。為了反饋控制的目的，與攝像器械211的每個(gè)受控接頭關(guān)聯(lián)的傳感器將傳感器數(shù)據(jù) 2232提供回接頭控制器方框2205，其中傳感器數(shù)據(jù)2232指示攝像器械211的每個(gè)接頭的當(dāng)前位置和/或速度。這些傳感器可以或者直接(例如從攝像器械211上的接頭)或者間接(例如從驅(qū)動(dòng)該接頭的攝像機(jī)操縱器212的致動(dòng)器)檢測(cè)這種接頭信息。然后在接頭控制器2205中的每個(gè)接頭控制系統(tǒng)產(chǎn)生用于攝像操縱器212中的其相應(yīng)致動(dòng)器的轉(zhuǎn)矩命令， 以便以常規(guī)的反饋控制系統(tǒng)方式將該控制的和檢測(cè)的接頭值之間的差驅(qū)動(dòng)為零。正向運(yùn)動(dòng)學(xué)方框2206利用攝像器械211相對(duì)于控制坐標(biāo)系統(tǒng)(由坐標(biāo)系統(tǒng)計(jì)算方框2250提供)的正向運(yùn)動(dòng)學(xué)將來自接頭空間的模擬的攝像機(jī)方框2204的輸出22M變換到相對(duì)于眼睛坐標(biāo)系統(tǒng)的笛卡爾空間。在計(jì)算輸出2211和輸入2212之間的誤差值的情況下，在將其輸出2212轉(zhuǎn)到輸入處理方框2210之前，標(biāo)度和偏移方框2201對(duì)正向運(yùn)動(dòng)學(xué)方框2206的輸出2242進(jìn)行反向標(biāo)度和偏移功能。如果沒有其他限制和約束強(qiáng)加給模擬攝像機(jī)方框2204的輸入2221，那么計(jì)算的誤差值將為零。另一方面，如果限制和約束被強(qiáng)加， 那么誤差值不為零并且它被轉(zhuǎn)換成驅(qū)動(dòng)輸入裝置108中的致動(dòng)器的轉(zhuǎn)矩命令，以提供由外科醫(yī)生的手觸摸的力反饋。因此，外科醫(yī)生開始意識(shí)到正由力施加的限制或約束，外科醫(yī)生通過這個(gè)力可以感覺到阻止他或她沿著這個(gè)方向移動(dòng)輸入裝置108。除了這個(gè)力反饋之外， 來自其他傳感器或算法(例如，避免外科手術(shù)工具的工作體積防止碰撞的力/壓力傳感器或算法)的力可以疊加在力反饋上。為了控制的目的，運(yùn)動(dòng)學(xué)方框2206的輸出2241也可以提供給模擬的攝像機(jī)方框 2204。例如，模擬位置的輸出可以被反饋并且與控制的位置進(jìn)行比較。雖然已經(jīng)參考優(yōu)選實(shí)施例描述了本發(fā)明的各方面，但是應(yīng)當(dāng)理解，本發(fā)明要求在權(quán)利要求整個(gè)范圍內(nèi)的全部保護(hù)。
權(quán)利要求
1.一種用于定位和取向攝像機(jī)末端的方法，該方法包括確定用于定位和取向該攝像機(jī)末端的機(jī)械元件的位置；利用所確定的機(jī)械元件的位置，確定所述攝像機(jī)末端的位置和取向；生成對(duì)應(yīng)于虛擬攝像機(jī)的投影的攝像機(jī)的計(jì)算機(jī)模型的視圖；在顯示屏上顯示所述視圖；以及通過響應(yīng)輸入裝置的操縱移動(dòng)所述機(jī)械元件來控制所述攝像機(jī)末端的定位和取向，從而使得所述攝像機(jī)末端的定位和取向直觀地呈現(xiàn)給操作者，所述操作者在觀察與所述攝像機(jī)的計(jì)算機(jī)模型的顯示視圖對(duì)應(yīng)的顯示屏的同時(shí)，操縱所述輸入裝置。
2.根據(jù)權(quán)利要求1所述的方法，其中確定所述機(jī)械元件的位置包括利用由檢測(cè)所述位置的傳感器提供的信息，確定所述機(jī)械元件的所述位置。
3.根據(jù)權(quán)利要求2所述的方法，其中所述機(jī)械元件包括用于定位和取向所述攝像機(jī)末端的操縱器接頭。
4.根據(jù)權(quán)利要求2所述的方法，其中所述機(jī)械元件包括用于定位和取向所述攝像機(jī)末端的操縱器連桿。
5.根據(jù)權(quán)利要求1所述的方法，其中確定所述機(jī)械元件的位置包括利用由編碼器提供的信息，確定所述機(jī)械元件的所述位置，所述編碼器檢測(cè)用來定位所述機(jī)械元件的致動(dòng)器的致動(dòng)。
6.根據(jù)權(quán)利要求1所述的方法，其中所述機(jī)械元件被包括在用來定位和取向所述攝像機(jī)末端的操縱器中，并且確定所述機(jī)械元件的位置包括接收來自設(shè)置在所述攝像機(jī)末端的傳感器的信息；和通過將從所述傳感器接收的信息應(yīng)用于所述操縱器的反向運(yùn)動(dòng)學(xué)，計(jì)算所述機(jī)械元件的位置。
7.根據(jù)權(quán)利要求1所述的方法，其中所述機(jī)械元件被包括在用來定位和取向所述攝像機(jī)末端的操縱器中，并且利用確定的機(jī)械元件的位置來確定所述攝像機(jī)末端的位置和取向包括通過將所述確定的機(jī)械元件的位置應(yīng)用于所述操縱器的正向運(yùn)動(dòng)學(xué)，計(jì)算所述攝像機(jī)末端的位置和取向。
8.根據(jù)權(quán)利要求1所述的方法，其中生成對(duì)應(yīng)于所述虛擬攝像機(jī)的投影的所述攝像機(jī)的計(jì)算機(jī)模型的視圖包括生成所述攝像機(jī)的三維計(jì)算機(jī)模型；和將所述計(jì)算機(jī)模型變換成所述虛擬攝像機(jī)的投影。
9.根據(jù)權(quán)利要求8所述的方法，其中所述攝像機(jī)是延伸到進(jìn)入導(dǎo)向器之外的可鉸接的攝像器械，所述虛擬攝像機(jī)具有與所述攝像機(jī)相同的特性，并且所述虛擬攝像機(jī)的投影處在這樣的位置和取向，即從該位置和取向延伸到所述進(jìn)入導(dǎo)向器之外的所述攝像器械在所述虛擬攝像機(jī)的視野內(nèi)。
10.根據(jù)權(quán)利要求9所述的方法，其中至少一個(gè)可鉸接的器械與所述可鉸接的攝像器械一起延伸到所述進(jìn)入導(dǎo)向器之外，并且所述虛擬攝像機(jī)的投影處在這樣的位置和取向， 即從該位置和取向延伸到所述進(jìn)入導(dǎo)向器之外的所述至少一個(gè)可鉸接的器械和所述攝像器械至少部分地在所述虛擬攝像機(jī)的視野內(nèi)。
11.根據(jù)權(quán)利要求1所述的方法，其中所述攝像機(jī)是延伸到所述進(jìn)入導(dǎo)向器之外的可鉸接的攝像器械，并且控制所述攝像機(jī)末端的位置和取向包括定義笛卡爾坐標(biāo)系統(tǒng)，所述笛卡爾坐標(biāo)系統(tǒng)的原點(diǎn)在所述虛擬攝像機(jī)的位置并且取向成使得所述坐標(biāo)系統(tǒng)的一個(gè)軸線指向在所述進(jìn)入導(dǎo)向器的近端和遠(yuǎn)端之間延伸的縱軸線上的焦點(diǎn)；和響應(yīng)操作者對(duì)所述輸入裝置的操縱，控制所述攝像機(jī)末端的位置和取向，從而使得所述輸入裝置在與所述輸入裝置有關(guān)的笛卡爾坐標(biāo)系統(tǒng)中的運(yùn)動(dòng)引起所述攝像機(jī)末端相對(duì)于所述虛擬攝像機(jī)的笛卡爾坐標(biāo)系統(tǒng)的對(duì)應(yīng)的按比例的運(yùn)動(dòng)。
12.根據(jù)權(quán)利要求1所述的方法，其中所述攝像機(jī)是延伸到進(jìn)入導(dǎo)向器之外的可鉸接的攝像器械，并且控制所述攝像機(jī)末端的位置和取向包括定義笛卡爾坐標(biāo)系統(tǒng)，所述笛卡爾坐標(biāo)系統(tǒng)具有原點(diǎn)，在所述原點(diǎn)處所述進(jìn)入導(dǎo)向器的中心縱軸線與所述進(jìn)入導(dǎo)向器遠(yuǎn)端的垂直平面相交，其中在所述進(jìn)入導(dǎo)向器遠(yuǎn)端處所述攝像器械延伸到所述進(jìn)入導(dǎo)向器之外，并且所述笛卡爾坐標(biāo)系統(tǒng)被取向成使得所述坐標(biāo)系統(tǒng)的一個(gè)軸線與所述中心縱軸線平行；以及響應(yīng)所述操作者對(duì)所述輸入裝置的操縱，控制所述攝像機(jī)末端的位置和取向，從而使得所述輸入裝置在與所述輸入裝置有關(guān)的笛卡爾坐標(biāo)系統(tǒng)中的運(yùn)動(dòng)引起所述攝像機(jī)末端相對(duì)于在所述進(jìn)入導(dǎo)向器的遠(yuǎn)端處定義的笛卡爾坐標(biāo)系統(tǒng)的對(duì)應(yīng)的按比例的運(yùn)動(dòng)。
13.根據(jù)權(quán)利要求1所述的方法，在控制所述攝像機(jī)末端的位置和取向之前還包括 解除對(duì)與所述輸入裝置關(guān)聯(lián)的器械的控制，以便將所述器械保持在位；相對(duì)于所述攝像機(jī)末端的取向?qū)R所述輸入裝置的取向；以及用所述輸入裝置進(jìn)行所述攝像機(jī)末端的控制。
14.根據(jù)權(quán)利要求13所述的方法，在控制所述攝像機(jī)的位置和取向之后還包括 用所述輸入裝置解除對(duì)所述攝像機(jī)末端的控制，以便將所述攝像機(jī)末端保持在位； 相對(duì)于所述器械的末端的取向，對(duì)齊所述輸入裝置的取向；以及用所述輸入裝置進(jìn)行所述器械的控制。
15.一種醫(yī)療機(jī)器人系統(tǒng)，包括 攝像機(jī)；用來定位和取向所述攝像機(jī)的末端的機(jī)械元件； 顯示屏； 輸入裝置；以及控制器，該控制器被配置成確定所述機(jī)械元件的位置；利用確定的機(jī)械元件的位置來確定所述攝像機(jī)末端的定位和取向；生成對(duì)應(yīng)于虛擬攝像機(jī)的投影的該攝像機(jī)的計(jì)算機(jī)模型的視圖；在所述顯示屏上顯示該視圖，以及通過響應(yīng)所述輸入裝置的操縱移動(dòng)所述機(jī)械元件，來控制所述攝像機(jī)末端的定位和取向，以便所述攝像機(jī)末端的定位和取向直觀地呈現(xiàn)給操作者，所述操作者在觀察與所述攝像機(jī)的計(jì)算機(jī)模型的顯示視圖對(duì)應(yīng)的所述顯示屏的同時(shí)，操縱所述輸入裝置。
16.根據(jù)權(quán)利要求15所述的醫(yī)療機(jī)器人系統(tǒng)，其中所述控制器被配置成利用由檢測(cè)所述位置的傳感器提供的信息確定所述機(jī)械元件的位置。
17.根據(jù)權(quán)利要求15所述的醫(yī)療機(jī)器人系統(tǒng)，其中所述機(jī)械元件包括用于定位和取向所述攝像機(jī)末端的操縱器接頭。
18.根據(jù)權(quán)利要求15所述的醫(yī)療機(jī)器人系統(tǒng)，其中所述機(jī)械元件包括用于定位和取向所述攝像機(jī)末端的操縱器連桿。
19.根據(jù)權(quán)利要求15所述的醫(yī)療機(jī)器人系統(tǒng)，還包括用來定位所述機(jī)械元件的致動(dòng)器，其中所述控制器被配置成利用由編碼器提供的信息確定所述機(jī)械元件的位置，所述編碼器檢測(cè)所述致動(dòng)器的致動(dòng)。
20.根據(jù)權(quán)利要求15的醫(yī)療機(jī)器人系統(tǒng)，其中所述機(jī)械元件包括在用來定位和取向所述攝像機(jī)末端的操縱器中，并且所述控制器被配置成通過接收來自設(shè)置在所述攝像機(jī)末端的傳感器的信息，和通過將從所述傳感器接收的信息應(yīng)用于所述操縱器的反向運(yùn)動(dòng)來計(jì)算所述機(jī)械元件的位置，確定所述機(jī)械元件的位置。
21.根據(jù)權(quán)利要求15所述的醫(yī)療機(jī)器人系統(tǒng)，其中所述機(jī)械元件包括在用來定位和取向所述攝像機(jī)末端的操縱器中，并且所述控制器被配置成通過將確定的機(jī)械元件的位置應(yīng)用于所述操縱器的正向運(yùn)動(dòng)學(xué)，計(jì)算所述攝像機(jī)末端的位置和取向。
22.根據(jù)權(quán)利要求15所述的醫(yī)療機(jī)器人系統(tǒng)，其中所述控制器被配置成，通過生成所述攝像機(jī)的三維計(jì)算機(jī)模型和將所述計(jì)算機(jī)模型變換成所述虛擬攝像機(jī)的投影，來生成對(duì)應(yīng)于所述虛擬攝像機(jī)的投影的所述攝像機(jī)的計(jì)算機(jī)模型的視圖。
23.根據(jù)權(quán)利要求22所述的醫(yī)療機(jī)器人系統(tǒng)，還包括進(jìn)入導(dǎo)向器，其中所述攝像機(jī)是延伸到所述進(jìn)入導(dǎo)向器之外的可鉸接的攝像器械，所述虛擬攝像機(jī)具有與所述攝像機(jī)相同的特性，并且所述虛擬攝像機(jī)的投影處在這樣的位置和取向，即從該位置和取向延伸到所述進(jìn)入該導(dǎo)向器之外的可鉸接的攝像器械在所述虛擬攝像機(jī)的視野內(nèi)。
24.根據(jù)權(quán)利要求23所述的醫(yī)療機(jī)器人系統(tǒng)，還包括至少一個(gè)可鉸接的器械，其中所述至少一個(gè)可鉸接的器械與所述可鉸接的攝像器械一起延伸到所述進(jìn)入該導(dǎo)向器之外，并且所述虛擬攝像機(jī)的投影處在這樣的位置和取向，即從該位置和取向延伸到所述進(jìn)入導(dǎo)向器之外的所述至少一個(gè)可鉸接的器械和所述攝像器械至少部分地在所述虛擬攝像機(jī)的視野內(nèi)。
25.根據(jù)權(quán)利要求15所述的醫(yī)療機(jī)器人系統(tǒng)，還包括進(jìn)入導(dǎo)向器，其中所述攝像機(jī)是延伸到所述進(jìn)入導(dǎo)向器之外的可鉸接的攝像器械，并且所述控制器被配置成定義笛卡爾坐標(biāo)系統(tǒng)，該笛卡爾坐標(biāo)系統(tǒng)的原點(diǎn)在所述虛擬攝像機(jī)的位置，并且所述笛卡爾坐標(biāo)系統(tǒng)被取向成使得該坐標(biāo)系統(tǒng)的一個(gè)軸線指向在所述進(jìn)入導(dǎo)向器的近端和遠(yuǎn)端之間延伸的縱軸線上的焦點(diǎn)；和響應(yīng)于操作者對(duì)所述輸入裝置的操縱，控制所述攝像機(jī)末端的位置和取向，從而使得所述輸入裝置在與所述輸入裝置有關(guān)的笛卡爾坐標(biāo)系統(tǒng)中的運(yùn)動(dòng)引起所述攝像機(jī)末端相對(duì)于所述虛擬攝像機(jī)的笛卡爾坐標(biāo)系統(tǒng)的對(duì)應(yīng)的按比例的運(yùn)動(dòng)。
26.根據(jù)權(quán)利要求15所述的醫(yī)療機(jī)器人系統(tǒng)，還包括進(jìn)入導(dǎo)向器，其中所述攝像機(jī)是延伸到所述進(jìn)入導(dǎo)向器外面的可鉸接的攝像器械，并且所述控制器被配置成定義笛卡爾坐標(biāo)系統(tǒng)，該笛卡爾坐標(biāo)系統(tǒng)具有原點(diǎn)，在該原點(diǎn)處所述進(jìn)入導(dǎo)向器的中心縱軸線與所述進(jìn)入導(dǎo)向器遠(yuǎn)端處的垂直平面相交，其中在所述進(jìn)入導(dǎo)向器遠(yuǎn)端處所述攝像器械延伸到所述進(jìn)入導(dǎo)向器之外，并且所述笛卡爾坐標(biāo)系統(tǒng)被取向成使得所述坐標(biāo)系統(tǒng)的一個(gè)軸線與所述中心縱軸線平行；以及 4響應(yīng)于操作者對(duì)所述輸入裝置的操縱，控制所述攝像機(jī)末端的位置和取向，從而使得所述輸入裝置在與所述輸入裝置有關(guān)的笛卡爾坐標(biāo)系統(tǒng)中的運(yùn)動(dòng)引起所述攝像機(jī)末端相對(duì)于在所述進(jìn)入導(dǎo)向器的遠(yuǎn)端處定義的笛卡爾坐標(biāo)系統(tǒng)的對(duì)應(yīng)的按比例的運(yùn)動(dòng)。
27.根據(jù)權(quán)利要求15所述的醫(yī)療機(jī)器人系統(tǒng)，其中所述控制器被配置成 解除對(duì)與所述輸入裝置關(guān)聯(lián)的器械的控制，以便將所述器械保持在位； 相對(duì)于所述攝像機(jī)末端的取向?qū)R所述輸入裝置的取向；以及在控制所述攝像機(jī)末端的定位和取向之前，用所述輸入裝置進(jìn)行對(duì)所述攝像機(jī)末端的控制。
28.根據(jù)權(quán)利要求27所述的醫(yī)療機(jī)器人系統(tǒng)，其中所述控制器被配置成 用所述輸入裝置解除對(duì)所述攝像機(jī)末端的控制，以便將所述攝像機(jī)末端保持在位； 相對(duì)于所述器械末端的取向，對(duì)齊所述輸入裝置的取向；以及在控制所述攝像機(jī)末端的位置和取向之后，用所述輸入裝置進(jìn)行對(duì)所述器械的控制。
全文摘要
本發(fā)明公開一種醫(yī)療機(jī)器人系統(tǒng)，該醫(yī)療機(jī)器人系統(tǒng)包括進(jìn)入導(dǎo)向器(200)，其中外科手術(shù)工具(231、241)和攝像機(jī)(211)延伸通過所述進(jìn)入導(dǎo)向器遠(yuǎn)端。為了補(bǔ)充由該攝像機(jī)捕獲到的圖像所提供的視圖，包括該外科手術(shù)工具和/或攝像機(jī)的可鉸接臂的輔助視圖根據(jù)檢測(cè)到的或其他確定的關(guān)于它們的位置和取向的信息生成，并且從特定視點(diǎn)的投影顯示在顯示屏(140)上。在操作者控制該攝像機(jī)的定位和取向的同時(shí)，為操作者提供關(guān)于輔助視圖的直觀控制。
文檔編號(hào)G09B23/28GK102170835SQ200980138663
公開日2011年8月31日 申請(qǐng)日期2009年9月4日 優(yōu)先權(quán)日2008年9月30日
發(fā)明者D·Q·拉克恩, D·戈麥斯, N·迪奧萊提, P·E·利拉根, P·W·莫爾, T·莫斯塔發(fā) 申請(qǐng)人:直觀外科手術(shù)操作公司