專利名稱：手術(shù)機(jī)器人系統(tǒng)及其腹腔鏡操作方法以及體感式手術(shù)用圖像處理裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及手術(shù)，更具體地說，涉及一種手術(shù)機(jī)器人系統(tǒng)及其腹腔鏡操作方法以及體感式手術(shù)用圖像處理裝置及其方法。
背景技術(shù)：
手術(shù)機(jī)器人是指具有能夠代替由醫(yī)生進(jìn)行的手術(shù)行為的功能的機(jī)器人。這種手術(shù)機(jī)器人具有與人相比能夠進(jìn)行準(zhǔn)確精密動作且能夠進(jìn)行遠(yuǎn)程手術(shù)的優(yōu)點(diǎn)。目前全世界正在開發(fā)的手術(shù)機(jī)器人有骨外科手術(shù)機(jī)器人、腹腔鏡(laparoscope)手術(shù)機(jī)器人、立體定向手術(shù)機(jī)器人等。在此，腹腔鏡手術(shù)機(jī)器人是利用腹腔鏡和小型手術(shù)工具進(jìn)行微創(chuàng)手術(shù)的機(jī)器人。腹腔鏡手術(shù)機(jī)器人是在肚臍部位鉆孔Icm左右之后插入用于觀察腹腔內(nèi)的作為內(nèi)窺鏡的腹腔鏡而進(jìn)行手術(shù)的尖端手術(shù)技術(shù)，是期待將來有很大發(fā)展的領(lǐng)域。近來，腹腔鏡發(fā)展到，安裝有電腦芯片，從而能夠獲得比肉眼觀察更清晰的放大圖像，而且，若通過監(jiān)控器看著畫面的同時使用特別設(shè)計(jì)的腹腔鏡手術(shù)工具，則可以進(jìn)行任何手術(shù)。 此外，腹腔鏡手術(shù)的其手術(shù)范圍與剖腹手術(shù)幾乎相同，但與剖腹手術(shù)相比并發(fā)癥少，而且手術(shù)后能夠盡快進(jìn)行治療，從而具有保持手術(shù)患者體力或免疫功能的優(yōu)點(diǎn)。因此，在美國和歐洲等國家，治療大腸癌等時腹腔鏡手術(shù)日益公認(rèn)為標(biāo)準(zhǔn)手術(shù)。手術(shù)機(jī)器人系統(tǒng)通常包括主機(jī)器人和從機(jī)器人。若施術(shù)者操作主機(jī)器人所具有的操縱器(例如手柄)，則結(jié)合于從機(jī)器人的機(jī)器臂或由機(jī)器臂把持的手術(shù)工具被操作，從而進(jìn)行手術(shù)。主機(jī)器人和從機(jī)器人通過網(wǎng)絡(luò)連接而進(jìn)行網(wǎng)絡(luò)通信。然而，現(xiàn)有的手術(shù)機(jī)器人系統(tǒng)，施術(shù)者為了取得有關(guān)手術(shù)部位的圖像，用戶需要進(jìn)行單獨(dú)操作，以便將腹腔鏡移動到所需位置，或調(diào)節(jié)圖像輸入角度。即，施術(shù)者在手術(shù)過程中利用手或腳單獨(dú)輸入用于控制腹腔鏡的操作。但是，這在需要保持注意力高度集中的手術(shù)進(jìn)行過程中，可能成為降低施術(shù)者注意力的原因，而注意力下降引起的不完整手術(shù)可能導(dǎo)致嚴(yán)重的并發(fā)癥?，F(xiàn)在，進(jìn)行腹腔鏡手術(shù)時，通過腹腔鏡拍攝的手術(shù)圖像輸出給用戶，用戶看著該圖像進(jìn)行手術(shù)，但是與直接剖腹進(jìn)行的手術(shù)相比，存在真實(shí)感降低的問題。發(fā)生這些問題的原因可以是，腹腔鏡在腹腔內(nèi)移動及旋轉(zhuǎn)而照射其它部位時，用戶可以看到的圖像輸出到相同位置及大小的監(jiān)控器上，因此，所述操縱器和圖像之間的相對距離感及運(yùn)動，與實(shí)際腹腔內(nèi)的手術(shù)工具和臟器之間的相對距離感及運(yùn)動不同。此外，通過腹腔鏡拍攝的手術(shù)圖像僅包括手術(shù)工具的部分圖像，所以這些手術(shù)工具彼此碰撞或重疊時，可能發(fā)生用戶難以操作或視野被遮擋無法順利進(jìn)行手術(shù)的情況。上述背景技術(shù)是發(fā)明人為了導(dǎo)出本發(fā)明而保留或?qū)С霰景l(fā)明的過程中所學(xué)到的技術(shù)信息，不一定是本發(fā)明申請之前向公眾公開的公知技術(shù)。

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明的目的在于，提供一種僅通過施術(shù)者想看到所需手術(shù)部位的行為就能夠控制腹腔鏡的位置及圖像輸入角度的手術(shù)機(jī)器人系統(tǒng)及其腹腔鏡操作方法。另外，本發(fā)明的目的在于，提供一種不需要施術(shù)者進(jìn)行用于操作腹腔鏡的單獨(dú)操作從而能夠使施術(shù)者完全集中于手術(shù)行為的手術(shù)機(jī)器人系統(tǒng)及其腹腔鏡操作方法。另外，本發(fā)明的目的在于，提供一種不需要學(xué)習(xí)利用面部識別的設(shè)備操作方法而能夠直觀了解操作方法的手術(shù)機(jī)器人系統(tǒng)及其腹腔鏡操作方法。另外，本發(fā)明的目的在于，提供一種不必使用胳膊而僅通過在三維空間上的面部運(yùn)動來能夠以多種方式控制內(nèi)窺鏡裝置的手術(shù)機(jī)器人系統(tǒng)及其腹腔鏡操作方法。另外，本發(fā)明的目 的在于，提供一種對應(yīng)于根據(jù)手術(shù)用內(nèi)窺鏡的運(yùn)動而變化的內(nèi)窺鏡的視點(diǎn)，改變在用戶看的監(jiān)控器上輸出的內(nèi)窺鏡圖像的輸出位置，從而能夠使用戶更真實(shí)地感受到實(shí)際手術(shù)狀況的體感式手術(shù)用圖像處理裝置及其方法。另外，本發(fā)明的目的在于，提供一種在當(dāng)前時間提取之前輸入存儲的內(nèi)窺鏡圖像并與當(dāng)前的內(nèi)窺鏡圖像一同輸出到畫面顯示部，從而能夠?qū)⒂嘘P(guān)內(nèi)窺鏡圖像變化的信息通知給用戶的體感式手術(shù)用圖像處理裝置及其方法。另外，本發(fā)明的目的在于，提供一種將手術(shù)時利用內(nèi)窺鏡實(shí)際拍攝的內(nèi)窺鏡圖像和預(yù)先生成并存儲于圖像存儲部的手術(shù)工具的建模圖像進(jìn)行各自或彼此匹配或調(diào)節(jié)其尺寸等圖像修改后，向用戶可觀察的監(jiān)控部輸出的體感式手術(shù)用圖像處理裝置及其方法。 另外，本發(fā)明的目的在于，提供一種體感式手術(shù)用圖像處理裝置及其方法，通過與不斷變化的內(nèi)窺鏡的視點(diǎn)對應(yīng)地旋轉(zhuǎn)及移動監(jiān)控器，從而能夠使用戶更生動地感受到手術(shù)真實(shí)感。除了本發(fā)明提出的之外的其它技術(shù)問題可以通過下面的說明容易理解。解決技術(shù)問題的方法根據(jù)本發(fā)明的一實(shí)施方式，提供一種手術(shù)機(jī)器人，利用操作信號控制視覺部的位置及圖像輸入角度中的一個以上，其包括:接面部，向與被接觸的施術(shù)者面部的運(yùn)動方向及大小相對應(yīng)的方向及大小游動；運(yùn)動檢測部，輸出對應(yīng)于接面部游動的方向及大小的傳感信息；操作命令生成部，利用傳感信息生成并輸出有關(guān)視覺部的位置及圖像輸入角度中一個以上的操作命令。操作命令為有關(guān)視覺部的直線操作及旋轉(zhuǎn)操作中的至少一個的命令時，可以與其相應(yīng)地變更操作手術(shù)機(jī)器人的操作手柄方向。接面部可以形成為，作為手術(shù)機(jī)器人的控制臺(console)面板的一部分。為了固定施術(shù)者面部位置，可以在接面部的一個以上部位突出形成有支承部。在接面部可以穿孔形成有接目部，從而使通過視覺部獲得的圖像以視覺信息方式能夠看到。接面部可以由透光材料形成，從而使通過視覺部獲得的圖像以視覺信息方式能夠看到。手術(shù)機(jī)器人還可以包括:接觸檢測部，檢測施術(shù)者面部是否接觸于接面部或支承部；原狀恢復(fù)部，當(dāng)通過接觸檢測部識別到接觸解除時，接面部恢復(fù)到指定為默認(rèn)(default)的位置及狀態(tài)的基準(zhǔn)狀態(tài)。原狀恢復(fù)部可以通過根據(jù)傳感信息的接面部游動方向及大小的反向操作，能夠使接面部恢復(fù)到基準(zhǔn)狀態(tài)。手術(shù)機(jī)器人還可以包括:眼球跟蹤部，將依次生成的圖像數(shù)據(jù)按時間順序進(jìn)行比較和判斷，并生成解析瞳孔位置變化、眼睛模樣變化及注視方向中的至少一個的解析信息。此外，手術(shù)機(jī)器人也還可以包括:攝像部，在手術(shù)機(jī)器人的內(nèi)側(cè)朝向接面部拍攝而生成圖像數(shù)據(jù)；存儲部，用于存儲所生成的圖像數(shù)據(jù)。操作命令生成部判斷解析信息作為任一操作命令是否滿足預(yù)定的變化，若滿足時，輸出相應(yīng)的操作命令。視覺部可以是顯微鏡、內(nèi)窺鏡中的任一種，內(nèi)窺鏡可以是腹腔鏡、胸腔鏡、關(guān)節(jié)鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的一種以上。接面部以被彈性體支承的方式形成于控制臺面板的前表面，彈性體可以提供恢復(fù)力，以便解除接面部運(yùn)動施加的外力時，使接面部恢復(fù)到原位置。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種手術(shù)機(jī)器人，利用操作信號控制視覺部的位置及圖像輸入角度中的一個以上，其包括:接目部，用于將通過視覺部獲得的圖像作為視覺信息提供；眼球跟蹤部，生成對通過接目部看到的瞳孔位置變化、眼睛模樣變化及注視方向中的至少一個進(jìn)行解析的解析信息；操作命令生成部，判斷解析信息作為任一操作命令是否滿足預(yù)定的變化，若滿足時，輸出用于操作視覺部的操作命令。 眼球跟蹤部可以包括:攝像單元，在手術(shù)機(jī)器人的內(nèi)側(cè)朝向接目部拍攝而生成圖像數(shù)據(jù)；存儲單元，用于存儲生成的圖像數(shù)據(jù)；眼球跟蹤單元，將依次生成的圖像數(shù)據(jù)按時間順序進(jìn)行比較判斷，并生成解析瞳孔位置變化、眼睛模樣變化及注視方向中的至少一個的解析信息。接目部可以在作為手術(shù)機(jī)器人的控制臺(console)面板的一部分的接面部上穿孔形成。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種手術(shù)機(jī)器人，利用操作信號控制視覺部，其包括:拍攝部，拍攝對象物而生成圖像數(shù)據(jù)；角度及距離算出部，解析包含于圖像數(shù)據(jù)中的面部的兩眼中心點(diǎn)的連接線與畫面中心線所形成的內(nèi)角大小及旋轉(zhuǎn)方向，并與根據(jù)之前拍攝的圖像數(shù)據(jù)解析出的內(nèi)角大小及旋轉(zhuǎn)方向進(jìn)行比較，以生成有關(guān)面部旋轉(zhuǎn)方向及旋轉(zhuǎn)角度的位移量信息；操作命令生成部，生成并輸出操作命令以與所述位移量信息相應(yīng)地操作所述視覺部。角度及距離算出部還可以算出根據(jù)之前拍攝的圖像數(shù)據(jù)解析出的所述面部內(nèi)的基準(zhǔn)點(diǎn)與根據(jù)圖像數(shù)據(jù)解析出的面部內(nèi)的基準(zhǔn)點(diǎn)之間的距離信息，而為了視覺部的平行移動操作，算出的距離信息可包含于位移量信息。角度及距離算出部還可以算出根據(jù)之前拍攝的圖像數(shù)據(jù)解析出的面部內(nèi)兩眼間距與根據(jù)圖像數(shù)據(jù)解析出的面部內(nèi)兩眼間距之間的變化量，兩眼間距之間的變化量包含于位移量信息，以用于調(diào)節(jié)視覺部的圖像倍率。視覺部可以是腹腔鏡、胸腔鏡、關(guān)節(jié)鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的一種以上。
視覺部可以是用于獲得三維圖像的裝置，可以根據(jù)面部和眼睛的位置調(diào)節(jié)三維圖像處理所需的左/右圖像重疊程度。手術(shù)機(jī)器人還可以包括:存儲部，用于存儲認(rèn)證用戶的照片圖像；判斷部，算出圖像數(shù)據(jù)中的面部特征要素和照片圖像中的面部特征要素之間的類似度，在算出的類似度大于等于預(yù)定值時，控制操作命令生成部生成并輸出操作命令。在此，面部特征要素可以是構(gòu)成部位的位置及模樣、瞳孔顏色、面部模樣、皮膚顏色、皺紋形狀、紅暈中的一個以上，構(gòu)成部位可以是眼睛、眉毛、鼻子和嘴中的一個以上。手術(shù)機(jī)器人還可以包括:存儲部，用于存儲有效用戶信息，該有效用戶信息是面部輪廓所處的區(qū)域信息及圖像數(shù)據(jù)中面部大小的基準(zhǔn)值中的一種以上；判斷部，判斷包含于圖像數(shù)據(jù)中的面部是否滿足有效用戶信息，在滿足時，控制操作命令生成部生成并輸出操作命令。手術(shù)機(jī)器人還可以包括:判斷部，判斷包含于圖像數(shù)據(jù)中的面部運(yùn)動狀態(tài)是否保持規(guī)定時間以上，在面部運(yùn)動狀態(tài)保持規(guī)定時間以上時，控制操作命令生成部生成并輸出操作命令。手術(shù)機(jī)器人還可以包括:判斷部，判斷包含于圖像數(shù)據(jù)中的面部運(yùn)動程度是否超出預(yù)定范圍，在超出預(yù)定范圍時，控制操作命令生成部生成并輸出操作命令。手術(shù)機(jī)器人還可以包括:存儲部，存儲對頭部運(yùn)動及面部表情中一個以上的變化生成的操作命令信息；判斷部，解析多個圖像數(shù)據(jù)來生成頭部運(yùn)動及面部表情中一個以上的變化信息，控制所述操作命令生成部生成并輸出與操作命令信息對應(yīng)的相應(yīng)操作命令。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種視覺部操作方法，用于手術(shù)機(jī)器人控制視覺部的位置及圖像輸入角度中的一個以上，其特征在于，包括如下步驟:輸出對應(yīng)于接面部游動方向及大小的傳感信息的步驟；利用傳感信息，生成并輸出有關(guān)視覺部的位置及圖像輸入角度中一個以上的操作命令的步驟；接面部作為手術(shù)機(jī)器人的控制臺面板的一部分形成，并向與施術(shù)者面部的 運(yùn)動方向及大小相對應(yīng)的方向及大小游動。視覺部操作方法還可以包括如下步驟:判斷施術(shù)者面部是否處于與接面部接觸狀態(tài)的步驟；處于接觸狀態(tài)時，開始輸出傳感信息的進(jìn)行控制的步驟。視覺部操作方法還可以包括如下步驟:接觸狀態(tài)解除時，判斷接面部是否以作為指定為默認(rèn)(default)的位置及狀態(tài)的基準(zhǔn)狀態(tài)存在的步驟，未以基準(zhǔn)狀態(tài)存在時，恢復(fù)到基準(zhǔn)狀態(tài)的進(jìn)行處理的步驟?；謴?fù)到基準(zhǔn)狀態(tài)，可以通過根據(jù)傳感信息的接面部游動方向及大小的反向操作來進(jìn)行。視覺部操作方法還可以包括如下步驟:生成并存儲在手術(shù)機(jī)器人的內(nèi)側(cè)朝向接面部拍攝的圖像數(shù)據(jù)的步驟；將存儲的圖像數(shù)據(jù)按時間順序進(jìn)行比較判斷，并生成解析瞳孔位置變化、眼睛模樣變化及注視方向中一種以上的解析信息的步驟。視覺部操作方法還可以包括如下步驟:判斷解析信息作為任一操作命令是否滿足預(yù)定的變化的步驟；若滿足時，輸出相應(yīng)的預(yù)定的操作命令的步驟。接面部被彈性體支承地形成在控制臺面板的前表面，彈性體可以提供恢復(fù)力，以便解除接面部運(yùn)動施加的外力時，接面部恢復(fù)到原位置。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種手術(shù)機(jī)器人，利用操作信號控制視覺部的位置及圖像輸入角度中的一個以上，其包括:接面部，用于將通過視覺部獲得的圖像作為視覺信息提供；分析處理部，生成解析通過接面部看到的面部運(yùn)動的解析信息；操作命令生成部，判斷解析信息作為任一操作命令是否滿足預(yù)定的變化，若滿足時，輸出用于操作視覺部的操作命令。分析處理部可以包括:攝像單元，在手術(shù)機(jī)器人的內(nèi)側(cè)朝向所述接面部拍攝而生成圖像數(shù)據(jù)；存儲單元，用于存儲生成的圖像數(shù)據(jù)；分析單元，在依次生成的圖像數(shù)據(jù)中，按時間順序比較判斷規(guī)定特征點(diǎn)的位置變化，并生成有關(guān)面部運(yùn)動的解析信息。接面部可以作為所述手術(shù)機(jī)器人的控制臺(console)面板的一部分形成，接面部可以由透光材料形成，從而使通過視覺部獲得的圖像以視覺信息方式能夠看到。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種視覺部操作方法，用于手術(shù)機(jī)器人控制視覺部的位置及圖像輸入角度中的一個以上，其特征在于，包括如下步驟:生成解析通過接目部看到的瞳孔位置變化、眼睛模樣變化及注視方向中一種以上的解析信息的步驟；判斷解析信息作為任一操作命令是否滿足預(yù)定的變化的步驟；若滿足時，生成并輸出有關(guān)視覺部的位置及圖像輸入角度中一個以上的操作命令的步驟。生成解析信息的步驟可以包括如下步驟:生成并存儲在手術(shù)機(jī)器人的內(nèi)側(cè)朝向接目部拍攝的圖像數(shù)據(jù)的步驟；將存儲的圖像數(shù)據(jù)按時間順序進(jìn)行比較判斷，并生成解析瞳孔位置變化、眼睛模樣變化及注視方向中一種以上的解析信息的步驟。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種視覺部操作方法，用于手術(shù)機(jī)器人對視覺部進(jìn)行操作，其包括如下步驟:拍攝對象物而生成圖像數(shù)據(jù)的步驟；解析包含于圖像數(shù)據(jù)中的面部內(nèi)兩眼中心點(diǎn)的連接線與畫面中心線所形成的內(nèi)角大小及旋轉(zhuǎn)方向，并與根據(jù)之前拍攝的圖像數(shù)據(jù)解析出的內(nèi)角大小及旋轉(zhuǎn)方向進(jìn)行比較，以生成有關(guān)面部旋轉(zhuǎn)方向及旋轉(zhuǎn)角度的位移量信息的步驟；生成并輸出操作命令以與所述位移量信息對應(yīng)地操作所述視覺部的步驟。生成位移量信息的步 驟可以包括如下步驟:算出根據(jù)之前拍攝的圖像數(shù)據(jù)解析出的面部內(nèi)的基準(zhǔn)點(diǎn)與根據(jù)圖像數(shù)據(jù)解析出的面部內(nèi)的基準(zhǔn)點(diǎn)之間的距離信息的步驟；使所述算出的距離信息包含于所述位移量信息，以用于所述視覺部的平行移動操作的步驟。生成位移量信息的步驟可以包括如下步驟:算出根據(jù)之前拍攝的圖像數(shù)據(jù)解析出的面部內(nèi)兩眼間距與根據(jù)圖像數(shù)據(jù)解析出的面部內(nèi)兩眼間距之間的變化量的步驟；使所述兩眼間距之間的變化量包含于所述位移量信息，以用于調(diào)節(jié)所述視覺部的圖像倍率的步驟。視覺部可以是腹腔鏡、胸腔鏡、關(guān)節(jié)鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的一種以上。視覺部可以是用于獲得三維圖像的裝置，可以根據(jù)面部和眼睛的位置調(diào)節(jié)三維圖像處理所需的左/右圖像重疊程度。視覺部操作方法還可以包括如下步驟:算出包含于圖像數(shù)據(jù)中的面部特征要素和預(yù)先存儲于存儲部的認(rèn)證用戶的照片圖像之間的類似度的步驟；在算出的類似度大于等于預(yù)定值時，進(jìn)行控制以執(zhí)行所述生成并輸出操作命令的步驟的步驟。在此，面部特征要素可以是構(gòu)成部位的位置及模樣、瞳孔顏色、面部模樣、皮膚顏色、皺紋形狀、紅暈中的一個以上，構(gòu)成部位可以是眼睛、眉毛、鼻子和嘴中的一個以上。
視覺部操作方法還可以包括如下步驟:判斷包含于圖像數(shù)據(jù)中的面部是否滿足預(yù)先存儲的有效用戶信息的步驟；在滿足時，進(jìn)行控制以執(zhí)行所述生成并輸出操作命令的步驟的步驟。在存儲部可以預(yù)先存儲有效用戶信息，該有效用戶信息是在圖像數(shù)據(jù)中面部輪廓所處的區(qū)域信息及包含于圖像數(shù)據(jù)中的面部大小的基準(zhǔn)值中的一種以上。視覺部操作方法還可以包括如下步驟:判斷包含于圖像數(shù)據(jù)中的面部運(yùn)動狀態(tài)是否保持規(guī)定時間以上的步驟；在面部運(yùn)動狀態(tài)保持規(guī)定時間以上時，進(jìn)行控制以執(zhí)行所述生成并輸出操作命令的步驟的步驟。。視覺部操作方法還可以包括如下步驟:判斷包含于圖像數(shù)據(jù)中的面部運(yùn)動程度是否超出預(yù)定范圍的步驟；在超出預(yù)定范圍時，進(jìn)行控制以執(zhí)行生成并輸出操作命令的步驟的步驟。視覺部操作方法還可以包括如下步驟:解析多個圖像數(shù)據(jù)來生成面部表情及頭部運(yùn)動中一個以上的變化信息的步驟；根據(jù)對應(yīng)于面部表情及頭部運(yùn)動中一個以上的變化信息的操作命令信息，生成并輸出相應(yīng)操作命令的步驟。在存儲部可以預(yù)先存儲對頭部運(yùn)動及面部表情的變化生成的操作命令信息。另外，根據(jù)本發(fā)明的另一實(shí)施方式，提供一種體感式手術(shù)用圖像處理裝置，其包括:圖像輸入部，接收從手術(shù)用內(nèi)窺鏡提供的內(nèi)窺鏡圖像；畫面顯示部，將內(nèi)窺鏡圖像輸出在特定區(qū)域；畫面顯示控制部，變更對應(yīng)于手術(shù)用內(nèi)窺鏡的視點(diǎn)而輸出內(nèi)窺鏡圖像的畫面顯示部的特定區(qū)域。在此，手術(shù)用內(nèi)窺鏡可以是腹腔鏡、胸腔鏡、關(guān)節(jié)鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的一種以上，也可以是立體內(nèi)窺鏡。在此，畫面顯示控制部可以包括:內(nèi)窺鏡視點(diǎn)追蹤部，對應(yīng)于手術(shù)用內(nèi)窺鏡的移動及旋轉(zhuǎn)，追蹤手術(shù)用內(nèi)窺鏡的視點(diǎn)信息；圖像移動信息提取部，利用手術(shù)用內(nèi)窺鏡的視點(diǎn)信息，提取內(nèi)窺鏡圖像的移 動信息；圖像位置設(shè)定部，利用移動信息，設(shè)定在畫面顯示部輸出內(nèi)窺鏡圖像的特定區(qū)域。此外，畫面顯示控制部可以對應(yīng)于手術(shù)用內(nèi)窺鏡的視點(diǎn)坐標(biāo)變化值，移動內(nèi)窺鏡圖像的中心點(diǎn)。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種體感式手術(shù)用圖像處理裝置，其包括:圖像輸入部，接收從手術(shù)用內(nèi)窺鏡以彼此不同時間點(diǎn)提供的第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像；畫面顯示部，將第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像向彼此不同區(qū)域輸出；圖像存儲部，用于存儲第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像；畫面顯示控制部，用于控制畫面顯示部，以與手術(shù)用內(nèi)窺鏡的彼此不同視點(diǎn)對應(yīng)地，將第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像向彼此不同區(qū)域輸出。在此，圖像輸入部可以比先于第二內(nèi)窺鏡圖像接收第一內(nèi)窺鏡圖像，畫面顯示部可以輸出使彩度、亮度、顏色及畫面圖案中一種以上不同的第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像。此外，畫面顯示控制部還可以包括存儲圖像顯示部，畫面顯示部輸出實(shí)時輸入的第二內(nèi)窺鏡圖像的期間，提取存儲于圖像存儲部的第一內(nèi)窺鏡圖像而輸出給畫面顯示部。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種體感式手術(shù)用圖像處理裝置，其包括:圖像輸入部，接收從手術(shù)用內(nèi)窺鏡提供的內(nèi)窺鏡圖像；畫面顯示部，將內(nèi)窺鏡圖像輸出在特定區(qū)域；圖像存儲部，用于存儲對手術(shù)用內(nèi)窺鏡拍攝的手術(shù)對象進(jìn)行手術(shù)的有關(guān)手術(shù)工具的建模圖像；圖像匹配部，將內(nèi)窺鏡圖像和建模圖像彼此匹配而生成輸出圖像；畫面顯示控制部，變更對應(yīng)于手術(shù)用內(nèi)窺鏡的視點(diǎn)而輸出內(nèi)窺鏡圖像的畫面顯示部的特定區(qū)域，并向畫面顯示部輸出匹配的內(nèi)窺鏡圖像和建模圖像。在此，圖像匹配部可以將包含于內(nèi)窺鏡圖像中的實(shí)際手術(shù)工具圖像和包含于建模圖像中的建模手術(shù)工具圖像進(jìn)行彼此匹配，而生成輸出圖像。此外，圖像匹配部還可以包括:特性值運(yùn)算部，利用內(nèi)窺鏡圖像及結(jié)合于一個以上機(jī)器臂的實(shí)際手術(shù)工具的位置坐標(biāo)信息中的一個以上來運(yùn)算特性值；建模圖像實(shí)現(xiàn)部，實(shí)現(xiàn)對應(yīng)于特性值運(yùn)算部運(yùn)算的特性值的建模圖像。在此，圖像匹配部還可以包括重疊圖像處理部，從建模手術(shù)工具圖像去除建模手術(shù)工具圖像和實(shí)際手術(shù)工具圖像的重疊區(qū)域，而且，可以利用手術(shù)工具的操作信息來設(shè)定向建模圖像輸出的建模手術(shù)工具圖像的位置。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種體感式手術(shù)用圖像處理裝置，其包括:圖像輸入部，接收從手術(shù)用內(nèi)窺鏡提供的內(nèi)窺鏡圖像；畫面顯示部，輸出內(nèi)窺鏡圖像；畫面驅(qū)動部，使畫面顯示部旋轉(zhuǎn)及移動；畫面驅(qū)動控制部，用于控制畫面驅(qū)動部，使得畫面驅(qū)動部對應(yīng)于手術(shù)用內(nèi)窺鏡的視點(diǎn)，旋轉(zhuǎn)及移動畫面顯示部。在此，畫面驅(qū)動控制部可以包括:內(nèi)窺鏡視點(diǎn)追蹤部，對應(yīng)于手術(shù)用內(nèi)窺鏡的移動及旋轉(zhuǎn)，追蹤手術(shù)用內(nèi)窺鏡的視點(diǎn)信息；圖像移動信息提取部，利用手術(shù)用內(nèi)窺鏡的視點(diǎn)信息，提取內(nèi)窺鏡圖像的移動信息；驅(qū)動信息生成部，利用移動信息，生成畫面顯示部的畫面驅(qū)動信息。在此，畫面驅(qū)動部可以是一端結(jié)合于所述畫面顯示部，并使所述畫面顯示部沿著規(guī)定的移動槽移動，或者所述畫面驅(qū)動部是一端結(jié)合于所述畫面顯示部，并使所述畫面顯示部在空間上移動及旋轉(zhuǎn)的機(jī)器臂形式的空間上移動的驅(qū)動部。在此，畫面顯示部可以包括拱頂形屏幕和在拱頂形屏幕上投射內(nèi)窺鏡圖像的投影儀。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種體感式手術(shù)用圖像處理方法，用于手術(shù)用圖像處理裝置輸出內(nèi)窺鏡圖像，其包括如下步驟:接收從手術(shù)用內(nèi)窺鏡提供的內(nèi)窺鏡圖像的步驟；向畫面顯示部的特定區(qū)域輸出內(nèi)窺鏡圖像的步驟；以及變更對應(yīng)于手術(shù)用內(nèi)窺鏡的視點(diǎn)而輸出內(nèi)窺鏡圖像的畫面顯示部的特定區(qū)域的步驟。在此，手術(shù)用內(nèi)窺鏡可以是腹腔鏡、胸腔鏡、關(guān)節(jié)鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的一種以上，也可以是立體內(nèi)窺鏡。此外，變更畫面顯示部的特定區(qū)域的步驟可以包括如下步驟:對應(yīng)于手術(shù)用內(nèi)窺鏡的移動及旋轉(zhuǎn)，追蹤手術(shù)用內(nèi)窺鏡的視點(diǎn)信息的步驟；利用手術(shù)用內(nèi)窺鏡的視點(diǎn)信息，提取內(nèi)窺鏡圖像的移動信息的步驟；以及利用移動信息，設(shè)定在畫面顯示部輸出內(nèi)窺鏡圖像的特定區(qū)域的步驟。在此，變更畫面顯示部的特定區(qū)域的步驟可以包括如下步驟:對應(yīng)于手術(shù)用內(nèi)窺鏡的視點(diǎn)坐標(biāo)變化值，移動內(nèi)窺鏡圖像的中心點(diǎn)的步驟。根據(jù)本發(fā)明的另一實(shí)施方式，提 供一種體感式手術(shù)用圖像處理方法，用于手術(shù)用圖像處理裝置輸出內(nèi)窺鏡圖像，其包括如下步驟:接收從手術(shù)用內(nèi)窺鏡以彼此不同時間點(diǎn)提供的第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的步驟；將第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像輸出到畫面顯示部的彼此不同區(qū)域的步驟；存儲第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的步驟；以及對應(yīng)于手術(shù)用內(nèi)窺鏡的彼此不同視點(diǎn)，使第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像在彼此不同區(qū)域輸出的控制畫面顯示部的步驟。在此，在接收內(nèi)窺鏡圖像的步驟，可以比先于第二內(nèi)窺鏡圖像接收第一內(nèi)窺鏡圖像，在輸出步驟，可以輸出使彩度、亮度、顏色及畫面圖案中一種以上不同的第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像。此外，畫面顯示部控制步驟還可以包括如下步驟:畫面顯示部輸出實(shí)時輸入的第二內(nèi)窺鏡圖像的期間，提取存儲于圖像存儲部的第一內(nèi)窺鏡圖像而輸出給畫面顯示部的步驟。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種體感式手術(shù)用圖像處理方法，用于手術(shù)用圖像處理裝置輸出內(nèi)窺鏡圖像，其包括如下步驟:接收從手術(shù)用內(nèi)窺鏡提供的內(nèi)窺鏡圖像的步驟；將內(nèi)窺鏡圖像輸出在畫面顯示部的特定區(qū)域的步驟；存儲對手術(shù)用內(nèi)窺鏡拍攝的手術(shù)對象進(jìn)行手術(shù)的有關(guān)手術(shù)工具的建模圖像的步驟；將內(nèi)窺鏡圖像和建模圖像彼此匹配而生成輸出圖像的步驟；以及變更對應(yīng)于手術(shù)用內(nèi)窺鏡的視點(diǎn)而輸出內(nèi)窺鏡圖像的畫面顯示部的特定區(qū)域，并向畫面顯示部輸出匹配的內(nèi)窺鏡圖像和建模圖像的步驟。在此，生成輸出圖像的步驟，可以將包含于內(nèi)窺鏡圖像中的實(shí)際手術(shù)工具圖像和包含于建模圖像中的建模手術(shù)工具圖像彼此匹配，而生成輸出圖像。此外，生成 輸出圖像的步驟還可以包括如下步驟:利用內(nèi)窺鏡圖像及結(jié)合于一個以上機(jī)器臂的實(shí)際手術(shù)工具的位置坐標(biāo)信息中的一個以上來運(yùn)算特性值的步驟；以及實(shí)現(xiàn)對應(yīng)于運(yùn)算的特性值的建模圖像的步驟。在此，生成輸出圖像的步驟還可以包括如下步驟:從建模手術(shù)工具圖像去除建模手術(shù)工具圖像和實(shí)際手術(shù)工具圖像的重疊區(qū)域的步驟。此外，可以利用手術(shù)工具的操作信息來設(shè)定向建模圖像輸出的建模手術(shù)工具圖像的位置。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種體感式手術(shù)用圖像處理方法，用于手術(shù)用圖像處理裝置輸出內(nèi)窺鏡圖像，其包括如下步驟:接收從手術(shù)用內(nèi)窺鏡提供的內(nèi)窺鏡圖像的步驟；向畫面顯示部輸出內(nèi)窺鏡圖像的步驟；以及對應(yīng)于手術(shù)用內(nèi)窺鏡的視點(diǎn)，使畫面顯示部旋轉(zhuǎn)及移動的步驟。在此，旋轉(zhuǎn)及移動畫面顯示部的步驟可以包括如下步驟:對應(yīng)于手術(shù)用內(nèi)窺鏡的移動及旋轉(zhuǎn)，追蹤手術(shù)用內(nèi)窺鏡的視點(diǎn)信息的步驟；利用手術(shù)用內(nèi)窺鏡的視點(diǎn)信息，提取內(nèi)窺鏡圖像的移動信息的步驟；利用移動信息，生成畫面顯示部的動作信息的步驟。在此，畫面顯示部可以包括拱頂形屏幕和在拱頂形屏幕上投射內(nèi)窺鏡圖像的投影儀。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種記錄介質(zhì)，為了執(zhí)行所述體感式手術(shù)用圖像處理方法，具備可由數(shù)字處理裝置執(zhí)行的指令程序，并記錄有可由數(shù)字處理裝置讀取的程序。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種體感式手術(shù)用圖像處理裝置，其包括:圖像輸入部，接收從一端旋轉(zhuǎn)的手術(shù)用內(nèi)窺鏡以彼此不同時間點(diǎn)提供的第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像；畫面顯示部，將第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像向彼此不同區(qū)域輸出；畫面顯示控制部，用于控制畫面顯示部，以便對應(yīng)于手術(shù)用內(nèi)窺鏡的彼此不同視點(diǎn)，將第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像向彼此不同區(qū)域輸出。在此，手術(shù)用內(nèi)窺鏡可以周期性地進(jìn)行旋轉(zhuǎn)，本實(shí)施例還可以包括旋轉(zhuǎn)操作部，該旋轉(zhuǎn)操作部是設(shè)定與手術(shù)用內(nèi)窺鏡的一端旋轉(zhuǎn)相關(guān)的旋轉(zhuǎn)方向、旋轉(zhuǎn)角速度、加減速形式、旋轉(zhuǎn)速度、旋轉(zhuǎn)時間起始點(diǎn)、旋轉(zhuǎn)時間結(jié)束點(diǎn)、旋轉(zhuǎn)時間長度及旋轉(zhuǎn)半徑中一種以上的旋轉(zhuǎn)相關(guān)信息。在此，手術(shù)用內(nèi)窺鏡的一端以形成閉合圖形的方式進(jìn)行旋轉(zhuǎn)，可以以圓錐體或多角錐體形狀旋轉(zhuǎn)，手術(shù)用內(nèi)窺鏡的旋轉(zhuǎn)軌跡可以是圓形、橢圓形、三角形及矩形中的任一種。此外，畫面顯示控制部可以包括:連續(xù)圖像生成部，提取第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的重疊區(qū)域，而生成連續(xù)圖像；周邊圖像生成部，提取第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的非重疊區(qū)域，而生成周邊圖像。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種體感式手術(shù)用圖像處理裝置，其包括:第一圖像輸入部，從手術(shù)用內(nèi)窺鏡接收第一內(nèi)窺鏡圖像；第二圖像輸入部，接收從結(jié)合于手術(shù)用內(nèi)窺鏡的一側(cè)并以手術(shù)用內(nèi)窺鏡為中心旋轉(zhuǎn)的輔助內(nèi)窺鏡以彼此不同時間點(diǎn)提供的多個第二內(nèi)窺鏡圖像；畫面顯示部，將第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像向彼此不同區(qū)域輸出；畫面顯示控制部，用于控制畫面顯示部，以便對應(yīng)于手術(shù)用內(nèi)窺鏡和輔助內(nèi)窺鏡的彼此不同視點(diǎn)，將第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像向彼此不同區(qū)域輸出。在此，輔助內(nèi)窺鏡可以周期性地進(jìn)行旋轉(zhuǎn)，本實(shí)施例還可以包括旋轉(zhuǎn)操作部，該旋轉(zhuǎn)操作部是設(shè)定與輔助內(nèi)窺鏡的一端旋轉(zhuǎn)相關(guān)的旋轉(zhuǎn)方向、旋轉(zhuǎn)角速度、加減速形式、旋轉(zhuǎn)速度、旋轉(zhuǎn)時間起始點(diǎn)、旋轉(zhuǎn)時間結(jié)束點(diǎn)、旋轉(zhuǎn)時間長度及旋轉(zhuǎn)半徑中一種以上的旋轉(zhuǎn)相關(guān)信息。此外，畫面顯示控制部可以包括:連續(xù)圖像生成部，提取第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的重疊區(qū)域，而生成連續(xù)圖像；周邊圖像生成部，提取第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的非重疊區(qū)域，而生成周邊圖像。此外，畫面顯示控制部可以包括:連續(xù)圖像生成部，從第一內(nèi)窺鏡圖像生成連續(xù)圖像；周邊圖像生成部，提取第二內(nèi)窺鏡圖像而生成連續(xù)圖像的周邊圖像。此外，輔助內(nèi)窺鏡可拆裝地結(jié)合于手術(shù)用內(nèi)窺鏡。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種體感式手術(shù)用圖像處理方法，是手術(shù)用圖像處理裝置輸出內(nèi)窺鏡圖像的方法，其包括`如下步驟:接收從一端旋轉(zhuǎn)的手術(shù)用內(nèi)窺鏡以彼此不同時間點(diǎn)提供的第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的步驟；將第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像輸出到畫面顯示部的彼此不同區(qū)域的步驟；控制畫面顯示部，以與手術(shù)用內(nèi)窺鏡的彼此不同視點(diǎn)對應(yīng)地，將第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像輸出到彼此不同區(qū)域的步驟。在此，手術(shù)用內(nèi)窺鏡可以周期性地進(jìn)行旋轉(zhuǎn)，本實(shí)施例還可以包括如下步驟:設(shè)定與手術(shù)用內(nèi)窺鏡的一端旋轉(zhuǎn)相關(guān)的旋轉(zhuǎn)方向、旋轉(zhuǎn)角速度、加減速形式、旋轉(zhuǎn)速度、旋轉(zhuǎn)時間起始點(diǎn)、旋轉(zhuǎn)時間結(jié)束點(diǎn)、旋轉(zhuǎn)時間長度及旋轉(zhuǎn)半徑中一種以上的旋轉(zhuǎn)相關(guān)信息的步驟。在此，手術(shù)用內(nèi)窺鏡的一端以形成閉合圖形的方式進(jìn)行旋轉(zhuǎn)，可以以圓錐體或多角錐體形狀旋轉(zhuǎn)，手術(shù)用內(nèi)窺鏡的旋轉(zhuǎn)軌跡可以是圓形、橢圓形、三角形及矩形中的任一種。此外，控制畫面顯示部的步驟可以包括如下步驟:提取第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的重疊區(qū)域，而生成連續(xù)圖像的步驟；以及提取第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的非重疊區(qū)域，而生成周邊圖像的步驟。根據(jù)本發(fā)明的另一實(shí)施方式，提供一種體感式手術(shù)用圖像處理方法，其包括如下步驟:從手術(shù)用內(nèi)窺鏡接收第一內(nèi)窺鏡圖像的步驟；接收結(jié)合于手術(shù)用內(nèi)窺鏡的一側(cè)并以手術(shù)用內(nèi)窺鏡為中心旋轉(zhuǎn)的輔助內(nèi)窺鏡以彼此不同時間點(diǎn)提供的多個第二內(nèi)窺鏡圖像的步驟；將第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像向彼此不同區(qū)域輸出的步驟；控制畫面顯示部，以與手術(shù)用內(nèi)窺鏡和輔助內(nèi)窺鏡的彼此不同視點(diǎn)對應(yīng)地將第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像向彼此不同區(qū)域輸出的步驟。在此，輔助內(nèi)窺鏡可以周期性地進(jìn)行旋轉(zhuǎn)，本實(shí)施例還可以包括如下步驟:設(shè)定與輔助內(nèi)窺鏡的一端旋轉(zhuǎn)相關(guān)的旋轉(zhuǎn)方向、旋轉(zhuǎn)角速度、加減速形式、旋轉(zhuǎn)速度、旋轉(zhuǎn)時間起始點(diǎn)、旋轉(zhuǎn)時間結(jié)束點(diǎn)、旋轉(zhuǎn)時間長度及旋轉(zhuǎn)半徑中一種以上的旋轉(zhuǎn)相關(guān)信息的步驟。此外，控制畫面顯示部的步驟可以包括如下步驟:提取第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的重疊區(qū)域，而生成連續(xù)圖像的步驟；提取第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的非重疊區(qū)域，而生成周邊圖像的步驟。此外，控制畫面顯示部的步驟可以包括如下步驟:從第一內(nèi)窺鏡圖像生成連續(xù)圖像的步驟；提取第二內(nèi)窺鏡圖像而生成連續(xù)圖像的周邊圖像的步驟。此外，本實(shí)施例還可以包括如下步驟:將輔助內(nèi)窺鏡可拆裝地結(jié)合在手術(shù)用內(nèi)窺鏡的步驟。在此，畫面顯示部可以包括拱頂形屏幕和在拱頂形屏幕上投射內(nèi)窺鏡圖像的投影儀。 此外，根據(jù)本實(shí)施例的另一實(shí)施方式，提供一種記錄介質(zhì)，為了執(zhí)行所述體感式手術(shù)用圖像處理方法，具備可由數(shù)字處理裝置執(zhí)行的指令程序，并記錄有可由數(shù)字處理裝置讀取的程序。除了上述之外的其它實(shí)施方式、特征、優(yōu)點(diǎn)，可以通過下面的附圖、權(quán)利要求的范圍及發(fā)明的詳細(xì)說明會更明確。發(fā)明效果根據(jù)本發(fā)明的實(shí)施例，具有僅通過施術(shù)者想看到所需手術(shù)部位的行為就能夠控制腹腔鏡的位置及圖像輸入角度的效果。此外，不需要施術(shù)者進(jìn)行用于操作腹腔鏡的單獨(dú)操作，從而還具有能夠使施術(shù)者完全集中于手術(shù)行為的效果。此外，不需要學(xué)習(xí)利用面部識別的設(shè)備操作方法，從而還具有能夠直觀了解操作方法的效果。此外，還具有不必使用胳膊而僅通過在三維空間上的面部運(yùn)動來以多種方式控制內(nèi)窺鏡裝置的效果。此外，本發(fā)明涉及的體感式手術(shù)用圖像處理裝置及其方法，對應(yīng)于根據(jù)手術(shù)用內(nèi)窺鏡的運(yùn)動而變化的內(nèi)窺鏡的視點(diǎn)，改變在用戶看的監(jiān)控器上輸出的內(nèi)窺鏡圖像的輸出位置，從而具有能夠使用戶更真實(shí)地感受到實(shí)際手術(shù)狀況的效果。此外，本發(fā)明涉及的體感式手術(shù)用圖像處理裝置及其方法，在當(dāng)前時間提取之前輸入存儲的內(nèi)窺鏡圖像并與當(dāng)前的內(nèi)窺鏡圖像一同輸出到畫面顯示部，從而具有能夠?qū)⒂嘘P(guān)內(nèi)窺鏡圖像變化的信息通知給用戶的效果。此外，本發(fā)明涉及的體感式手術(shù)用圖像處理裝置及其方法，具有能夠?qū)⑹中g(shù)時利用內(nèi)窺鏡實(shí)際拍攝的內(nèi)窺鏡圖像和預(yù)先生成并存儲于圖像存儲部的手術(shù)工具的建模圖像各自或彼此匹配，或調(diào)節(jié)其尺寸等進(jìn)行圖像修改后，向用戶可觀察的監(jiān)控部輸出的效果。此外，本發(fā)明涉及的體感式手術(shù)用圖像處理裝置及其方法，對應(yīng)于不斷變化的內(nèi)窺鏡的視點(diǎn)旋轉(zhuǎn)及移動監(jiān)控器，從而具有能夠使用戶更生動地感受到手術(shù)真實(shí)感的效果。


圖1是示出本發(fā)明的一實(shí)施例涉及的手術(shù)機(jī)器人的整個結(jié)構(gòu)的俯視圖。
·
圖2是示出本發(fā)明的一實(shí)施例涉及的手術(shù)機(jī)器人的主界面的概念圖。圖3至圖6是例示出本發(fā)明的一實(shí)施例涉及的接面部的運(yùn)動形態(tài)的示意圖。圖7是概略示出本發(fā)明的一實(shí)施例涉及的用于生成腹腔鏡操作命令的腹腔鏡顯示部的構(gòu)成的框圖。圖8是示出本發(fā)明的一實(shí)施例涉及的腹腔鏡操作命令傳送方法的流程圖。圖9是概略示出本發(fā)明的另一實(shí)施例涉及的用于生成腹腔鏡操作命令的腹腔鏡顯示部的構(gòu)成的框圖。圖10是示出本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作命令傳送方法的流程圖。圖11是概略示出本發(fā)明的另一實(shí)施例涉及的用于生成腹腔鏡操作命令的腹腔鏡顯示部的構(gòu)成的框圖。圖12是示出本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作命令傳送方法的流程圖。圖13是示出本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作命令傳送方法的流程圖。圖14是例示出本發(fā)明的實(shí)施例涉及的腹腔鏡顯示部的圖像顯示形式的示意圖。圖15是示出本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作命令傳送方法的流程圖。圖16是示出本發(fā)明的另一實(shí)施例涉及的手術(shù)機(jī)器人的主界面的概念圖。圖17是概略示出本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作單元的構(gòu)成的框圖。圖18是示出本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作單元的動作概念的示意圖。圖19和圖20是分別例示出為了操作本發(fā)明的另一實(shí)施例涉及的腹腔鏡而面部運(yùn)動的示意圖。圖21是示出本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作單元的動作過程的流程圖。圖22是具體示出本發(fā)明的另一實(shí)施例涉及的圖21的步驟1610的流程圖。圖23是示出本發(fā)明的實(shí)施例涉及的手術(shù)機(jī)器人的整個結(jié)構(gòu)的俯視圖。圖24是示出本發(fā)明的第一實(shí)施例涉及的手術(shù)機(jī)器人的主界面的概念圖。圖25是示出本發(fā)明的第一實(shí)施例涉及的手術(shù)機(jī)器人的框圖。圖26是示出本發(fā)明的第一實(shí)施例涉及的體感式手術(shù)用圖像處理裝置的框圖。圖27是示出本發(fā)明的第一實(shí)施例涉及的體感式手術(shù)用圖像處理裝置的流程圖。圖28是示出根據(jù)本發(fā)明的第一實(shí)施例涉及的體感式手術(shù)用圖像處理方法輸出圖像的構(gòu)成圖。圖29是示出本發(fā)明的第二實(shí)施例涉及的手術(shù)機(jī)器人的框圖。圖30是示出本發(fā)明的第二實(shí)施例涉及的體感式手術(shù)用圖像處理裝置的框圖。圖31是示出本發(fā)明的第二實(shí)施例涉及的體感式手術(shù)用圖像處理方法的流程圖。圖32是示出根據(jù)本發(fā)明的第二實(shí)施例涉及的體感式手術(shù)用圖像處理方法輸出圖像的構(gòu)成圖。圖33是示出本發(fā)明的第三實(shí)施例涉及的手術(shù)機(jī)器人的框圖。圖34是示出本發(fā)明的第三實(shí)施例涉及的體感式手術(shù)用圖像處理裝置的框圖。圖35是示出本發(fā)明的第三實(shí)施例涉及的體感式手術(shù)用圖像處理方法的流程圖。圖36是示出根據(jù)本發(fā)明的第三實(shí)施例涉及的體感式手術(shù)用圖像處理方法輸出圖像的構(gòu)成圖。圖37是示出本發(fā)明的第四實(shí)施例涉及的手術(shù)機(jī)器人的主界面的概念圖。圖38是示出本發(fā)明的第四實(shí)施例涉及的手術(shù)機(jī)器人的框圖。圖39是示出本發(fā)明的第四實(shí)施例涉及的體感式手術(shù)用圖像處理裝置的框圖。圖40是示出本發(fā)明的第四實(shí)施例涉及的體感式手術(shù)用圖像處理方法的流程圖。圖41是示出本發(fā)明的第五實(shí)施例涉及的手術(shù)機(jī)器人的主界面的概念圖。圖42是示出本發(fā)明的第六實(shí)施例涉及的體感式手術(shù)用圖像處理裝置的框圖。圖43是示出本發(fā)明的第六實(shí)施例涉及的體感式手術(shù)用圖像處理方法的流程圖。圖44是示出本發(fā)明的第六實(shí)施例涉及的手術(shù)用內(nèi)窺鏡的旋轉(zhuǎn)動作的示意圖。圖45是示出本發(fā)明的第六實(shí)施例涉及的手術(shù)用內(nèi)窺鏡的旋轉(zhuǎn)動作的示意圖。圖46和圖47是示出本發(fā)明的第六實(shí)施例涉及的內(nèi)窺鏡圖像的示意圖。圖48是示出本發(fā)明的第七實(shí)施例涉及的輔助內(nèi)窺鏡的旋轉(zhuǎn)動作的示意圖。圖49是示出本發(fā)明的第八實(shí)施例涉及的手術(shù)機(jī)器人的主界面的概念圖。
具體實(shí)施例方式本發(fā)明可以進(jìn)行多種變化，也可以具有多種實(shí)施例，在此例示具體實(shí)施例進(jìn)行詳細(xì)說明。但是，本發(fā)明并不限于具體實(shí)施方式
，應(yīng)當(dāng)理解為，包括屬于本發(fā)明的思想及技術(shù)范圍內(nèi)的所有變化、均等物至代替物。認(rèn)為在對本發(fā)明的說明中有關(guān)已知技術(shù)的詳細(xì)說明可能混淆本發(fā)明的旨意的情況下，省略該詳細(xì)說明。可以使用諸如“第一”和“第二”的術(shù)語來描述各種構(gòu)成要素，但是所述構(gòu)成要素不受所述術(shù)語限制。所述術(shù)語僅用于將一個構(gòu)成要素與另一構(gòu)成要素區(qū)分開來。在本申請中使用的術(shù)語僅用于說明具體的實(shí)施例，并不意在限制本發(fā)明。單數(shù)表示包括復(fù)數(shù)表示，只要可以清晰地區(qū)別理解。在本申請中，諸如“包括”或“具有”等術(shù)語表示存在于說明書的描述中采 用的特征、序號、步驟、操作、構(gòu)成要素、組件或其組合，而不排除存在或增加一個或多個不同的特征、序號、步驟、操作、構(gòu)成要素、組件或其組合的可能性。另外，可能在說明書中記載的“…部”、“…器”、“模塊”等術(shù)語表示至少處理一種功能或動作的單位，其可以通過硬件或軟件或者硬件及軟件的結(jié)合實(shí)現(xiàn)。下面，參照附圖詳細(xì)說明本發(fā)明的實(shí)施例，在參照附圖進(jìn)行說明時，相同或相應(yīng)的構(gòu)成要素賦予相同附圖標(biāo)記，省略對其的重復(fù)說明。
此外，說明本發(fā)明的不同實(shí)施例時，不應(yīng)該獨(dú)立解釋或?qū)嵤└鲗?shí)施例，應(yīng)當(dāng)理解為，在各實(shí)施例中說明的特征要素和/或技術(shù)思想可以與個別說明的其它實(shí)施例組合解釋或?qū)嵤?。此外，根?jù)下面的說明可明確本發(fā)明是能夠廣泛應(yīng)用于內(nèi)窺鏡、顯微鏡等利用視覺部的手術(shù)或試驗(yàn)等的技術(shù)思想。而且，內(nèi)窺鏡也可以是腹腔鏡、胸腔鏡、關(guān)節(jié)鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡等多種。下面，為了便于說明和理解，視覺部為一種內(nèi)窺鏡、即腹腔鏡的情況為例進(jìn)行說明。圖1是示出本發(fā)明的一實(shí)施例涉及的手術(shù)機(jī)器人的整個結(jié)構(gòu)的俯視圖，圖2是示出本發(fā)明的一實(shí)施例涉及的手術(shù)機(jī)器人的主界面的概念圖，圖3至圖6是例示出本發(fā)明的一實(shí)施例涉及的接面部的運(yùn)動形態(tài)的示意圖。參照圖1和圖2，手術(shù)機(jī)器人系統(tǒng)包括:從機(jī)器人2，對躺在手術(shù)臺上的患者進(jìn)行手術(shù)；主機(jī)器人1，用于施術(shù)者遠(yuǎn)程操作從機(jī)器人2。主機(jī)器人I和從機(jī)器人2不必是物理上獨(dú)立的單獨(dú)裝置，可以集成為一體式，在這種情況下，主界面4可相當(dāng)于例如一體式機(jī)器人的界面部分。主機(jī)器人I的主界面4包括監(jiān)控部6、腹腔鏡顯示部20和主操縱器，從機(jī)器人2包括機(jī)器臂3和腹腔鏡5。主界面4的監(jiān)控部6可以由一個以上的監(jiān)控器構(gòu)成，以便能夠在各監(jiān)控器上單獨(dú)顯示手術(shù)時所需的信息。在圖1和圖2中例示出了以腹腔鏡顯示部20為基準(zhǔn)在兩側(cè)各包括一個監(jiān)控器6，監(jiān)控器的數(shù)量可以根據(jù)需要顯示信息的類型或種類等設(shè)定為不同。監(jiān)控部6例如可以輸出有關(guān)患 者的一種以上的生物信息。此時，可以通過監(jiān)控部6的一個以上的監(jiān)控器輸出顯示患者狀態(tài)的指標(biāo)、例如體溫、脈搏、呼吸及血壓等生物信息中的一個以上，輸出多個信息的情況，也可以按區(qū)域劃分而輸出各信息。為了將這些生物信息提供給主機(jī)器人1，從機(jī)器人2可以包括生物信息測量單元，該生物信息測量單元包括體溫測量模塊、脈搏測量模塊、呼吸測量模量、血壓測量模塊、心電圖測量模塊等中的一個以上。通過各模塊測量的生物信息也可以以模擬信號或數(shù)字信號的形式自從機(jī)器人2傳送給主機(jī)器人1，而主機(jī)器人I可以通過監(jiān)控部6顯示接收到的生物信息。主截面4的腹腔鏡顯示部(Telescopic) 20向施術(shù)者提供通過腹腔鏡5輸入的手術(shù)部位的圖像。施術(shù)者通過在腹腔鏡顯示部20的接面部210形成的接目部220觀看圖像，并通過操縱主操縱器來操作機(jī)器臂3和末端執(zhí)行器(effector)，從而對手術(shù)部位進(jìn)行手術(shù)。在圖2中作為接面部210的一例例示出了以面板(panel)形式構(gòu)成的情況，然而，接面部210也可以形成為向主界面4的內(nèi)側(cè)凹陷。此外，在圖2中例示出了在接面部210形成有施術(shù)者用于觀看由腹腔鏡5獲得的圖像的接目部220的情況，但是，接面部210由透視其后面的圖像的材料形成時，也可以省略形成接目部220。施術(shù)者能夠透視接面部210后面的圖像的接面部210，例如由透明材料形成，或者也可以涂有偏振?；蛴捎糜谟^看3D IMAX電影的墨鏡等透光性材料形成。腹腔鏡顯示部20可以構(gòu)成為，不僅具有作為用于施術(shù)者通過接目部220確認(rèn)來自腹腔鏡5圖像的顯示裝置的功能，同時具有作為用于控制腹腔鏡5位置和圖像輸入角度的控制命令輸入部的功能。在腹腔鏡顯示部20的接面部210突出形成有多個支承部230、240，以便施術(shù)者的面部接觸或接近該支承部230、240，從而能夠識別施術(shù)者的面部運(yùn)動。例如，在上部形成的支承部230與施術(shù)者的額頭接觸，以能夠用于固定額頭位置，而在側(cè)部形成的支承部240與施術(shù)者的眼睛下方部位(例如顴骨部位)接觸，以能夠用于固定面部位置。在圖2中例示出的支承部的位置及數(shù)量是例示的，支承部的位置或形狀可以有多種，例如下顎固定用托架、面部左右托架290等，支承部的數(shù)量也可以不同。面部左右托架的情況，例如可以以條狀或板狀等形狀形成，面部向左側(cè)或右側(cè)運(yùn)動時，進(jìn)行支承以使接面部210向?qū)?yīng)方向運(yùn)動。通過如此形成的支承部230、240，施術(shù)者的面部位置被固定，若施術(shù)者在通過接目部220觀看來自腹腔鏡5的圖像的過程中向任一方向轉(zhuǎn)動面部，則能夠檢測到該面部運(yùn)動而將其作為用于調(diào)節(jié)腹腔鏡5的位置及/或圖像輸入角度的輸入信息利用。例如，當(dāng)施術(shù)者想要確認(rèn)當(dāng)前以圖像顯示的手術(shù)部位的左側(cè)部位(即，位于顯示畫面左側(cè)的部位)時，只要面部朝向左側(cè)的相對轉(zhuǎn)動頭部，就能夠控制腹腔鏡5進(jìn)行與其相應(yīng)操作而輸出該部位的圖像。S卩，腹腔鏡顯示部20的接面部210與主界面4結(jié)合構(gòu)成，以便隨著施術(shù)者的面部運(yùn)動，其位置和/或角度變更。為此，主界面4和腹腔鏡顯示部20的接面部210可以通過游動部250彼此結(jié)合。游動部250例如可以由彈性體形成，以便于改變腹腔鏡顯示部20的位置及/或角度，而且解除施術(shù)者面部運(yùn)動施加的外力的情況下能夠恢復(fù)到原狀態(tài)。此外，游動部250由非彈性體形成的情況，也可以通過腹腔鏡顯示部20控制原狀恢復(fù)部(參照圖9)來使腹腔鏡顯示部20恢復(fù)到原狀態(tài)。通過游動部250接面部210可以操作成，在由XYZ軸形成的三維空間中，以虛擬中心點(diǎn)和坐標(biāo)為基準(zhǔn)，向直線方向移動，或向任一方向(例如順時針方向、逆時針方向等中的一種以上)旋轉(zhuǎn)移動。在此，虛擬中心點(diǎn)可以是接面部210內(nèi)的任一點(diǎn)或軸，例如可以是接面部210的中心點(diǎn)。在圖3至圖6中例示出接面部210的運(yùn)動形態(tài)。施術(shù)者的面部運(yùn)動 方向與X、Y或Z軸平行時，如圖3所示，接面部210向面部運(yùn)動施加力的方向平行移動。施術(shù)者的面部運(yùn)動方向?yàn)樵赬-Y平面上旋轉(zhuǎn)的情況，如圖5所例示，接面部210以基準(zhǔn)軸為中心向面部運(yùn)動施加力的方向旋轉(zhuǎn)移動。此時，根據(jù)施加力的方向，接面部210可以向順時針或逆時針方向旋轉(zhuǎn)移動。根據(jù)施術(shù)者面部運(yùn)動的力向Χ、Υ和Z軸中的兩個軸施加時，如圖6所例示，接面部210以虛擬中心點(diǎn)和施加力的兩個軸為基準(zhǔn)進(jìn)行旋轉(zhuǎn)移動。如此，接面部210以垂直/水平方向移動及旋轉(zhuǎn)移動，根據(jù)面部移動施加的力的方向來決定，也可以如上所述的一種以上的運(yùn)動形態(tài)組合來表示。在下面參照相關(guān)附圖詳細(xì)說明腹腔鏡顯示部20檢測施術(shù)者面部運(yùn)動而生成相應(yīng)的操作命令的方法及構(gòu)成。如圖1和圖2所例示，主界面4具有主操縱器，以便施術(shù)者用雙手分別把持進(jìn)行操作。主操縱器可以具有兩個手柄10，或其以上數(shù)量的手柄10，隨著施術(shù)者操作手柄10，相應(yīng)操作信號傳送到從機(jī)器人2，從而控制機(jī)器臂3?？梢酝ㄟ^施術(shù)者操作手柄10來進(jìn)行機(jī)器臂3的位置移動、旋轉(zhuǎn)、切割作業(yè)等手術(shù)動作。例如，手柄10可以包括主手柄(main handle)和副手柄(sub handle)。施術(shù)者可以僅通過主手柄操作從機(jī)器臂3或腹腔鏡5等，或者也可以操作副手柄同時使多個手術(shù)設(shè)備進(jìn)行實(shí)時操作。主手柄及副手柄根據(jù)其操作方式可以具有多種機(jī)械結(jié)構(gòu)，例如，可以使用操縱桿形式、鍵盤、跟蹤球、觸摸屏等用于使從機(jī)器人2的機(jī)器臂3及/或其它手術(shù)設(shè)備動作的多種輸入單元。主操縱器并不限定于手柄10形狀，只要是通過網(wǎng)絡(luò)能夠控制機(jī)器臂3動作的形式，均可不受限制地適用。主機(jī)器人I和從機(jī)器人2可以通過有線通信網(wǎng)或無線通信網(wǎng)相連接，從而將操作信號、通過腹腔鏡5輸入的腹腔鏡圖像等傳送給對方。如果，需要在相同及/或相近時間傳送通過主界面4上所具有的多個手柄10的多個操作信號及/或用于調(diào)節(jié)腹腔鏡5的操作信號時，各操作信號可以彼此獨(dú)立地傳送到從機(jī)器人2。在此，各操作信號"!蟲立’傳送是表示，操作信號之間彼此不干擾，一個操作信號不會影響另一個操作信號。這樣的，為了彼此獨(dú)立地傳送多個操作信號，可以利用如下不同方式，在生成各操作信號的階段對各操作信號賦予標(biāo)題信息進(jìn)行傳送，或者使各操作信息根據(jù)其生成順序進(jìn)行傳送，或者關(guān)于各操作信息的傳送順序預(yù)定優(yōu)先順序并根據(jù)其順序進(jìn)行傳送等。此時，可以獨(dú)立地具有傳送各操作信息的傳送路徑，從而從本質(zhì)上防止各操作信號之間干擾。從機(jī)器人2的機(jī)器臂3可以具有多自由度地驅(qū)動。機(jī)器臂3例如可以包括:手術(shù)工具，插入在患者的手術(shù)部位；偏轉(zhuǎn)驅(qū)動部，根據(jù)手術(shù)位置以使手術(shù)工具向偏轉(zhuǎn)(yaw)方向旋轉(zhuǎn)；俯仰驅(qū)動部，向與偏轉(zhuǎn)驅(qū)動部的旋轉(zhuǎn)驅(qū)動正交的俯仰(Pitch)方向旋轉(zhuǎn)手術(shù)工具；移送驅(qū)動部，向長度方向移動手術(shù)工具；旋轉(zhuǎn)驅(qū)動部，用于旋轉(zhuǎn)手術(shù)工具；手術(shù)工具驅(qū)動部，設(shè)在手術(shù)工具的末端，用于切開或切割手術(shù)病灶。但是，機(jī)器臂3的結(jié)構(gòu)并不限定于此，應(yīng)該理解為，本發(fā) 明的保護(hù)范圍并不限定于這些例示。此外，施術(shù)者通過操作手柄10使機(jī)器臂3向?qū)?yīng)方向旋轉(zhuǎn)、移動等實(shí)際控制過程，與本發(fā)明的要旨有一定距離，故省略對其的詳細(xì)說明。為了對患者進(jìn)行手術(shù)，可以利用一個以上的從機(jī)器人2，而用于將手術(shù)部位以便能夠通過接面部220確認(rèn)的圖像(即畫面圖像)顯示的腹腔鏡5也可以由獨(dú)立的從機(jī)器人2來實(shí)現(xiàn)。此外，如上所述，本發(fā)明的實(shí)施例可以廣泛應(yīng)用于利用除腹腔鏡之外的各種手術(shù)用內(nèi)窺鏡(例如胸腔鏡、關(guān)節(jié)鏡、鼻鏡等)的手術(shù)中。圖7是概略示出本發(fā)明的一實(shí)施例涉及的用于生成腹腔鏡操作命令的腹腔鏡顯示部的構(gòu)成的框圖，圖8是示出本發(fā)明的一實(shí)施例涉及的腹腔鏡操作命令傳送方法的流程圖。參照圖7，腹腔鏡顯示部20包括運(yùn)動檢測部310、操作命令生成部320和傳送部330。除此之外，腹腔鏡顯示部20還可以包括施術(shù)者通過接目部220能夠視覺識別由腹腔鏡5輸入的手術(shù)部位圖像的構(gòu)成要素，但這些與本發(fā)明的要旨有一定距離，故省略對其的說明。運(yùn)動檢測部310，通過檢測施術(shù)者將面部接觸于接面部210的支承部230 (及/或240)的狀態(tài)下向某方向移動面部，來輸出傳感信息。運(yùn)動檢測部310可以包括用于檢測面部運(yùn)動方向及大小(例如距離)的傳感單元。傳感單元只要是能夠檢測接面部210向某方向運(yùn)動多少的傳感單元即可，例如，可以是用于檢測支承接面部210的具有彈性的游動部250向某方向拉伸多少的傳感器，或者設(shè)在主機(jī)器人I的內(nèi)側(cè)，以用于檢測在接面部210內(nèi)側(cè)表面形成的特定點(diǎn)接近或/及旋轉(zhuǎn)多少的傳感器等。操作命令生成部320利用從運(yùn)動檢測部310接收的傳感信息來解析施術(shù)者的面部運(yùn)動方向及大小，并根據(jù)解析結(jié)果生成用于控制腹腔鏡5位置及圖像輸入角度的操作命令。傳送部330將通過操作命令生成部320生成的操作命令傳送給從機(jī)器人2，以便操作腹腔鏡5的位置及圖像輸入角度，以提供相應(yīng)的圖像。為了傳送用于操作機(jī)器臂3的操作命令，傳送部330也可以是主機(jī)器人I所具有的傳送部。圖8中示出了本 發(fā)明的一實(shí)施例涉及的腹腔鏡操作命令傳送方法。參照圖8，在步驟410中，腹腔鏡顯示部20檢測到施術(shù)者的面部運(yùn)動，則轉(zhuǎn)到步驟420，利用通過檢測面部運(yùn)動所生成的傳感信息來生成用于操作腹腔鏡5的操作命令。接著，在步驟430中，將在步驟420中生成的用于操作腹腔鏡5的操作命令傳送給從機(jī)器人2。在此，通過操作腹腔鏡5所生成的操作命令，也可以對主機(jī)器人I執(zhí)行特定動作的作用。例如，通過檢測面部旋轉(zhuǎn)來旋轉(zhuǎn)腹腔鏡5時，有關(guān)旋轉(zhuǎn)的操作命令傳送給從機(jī)器人2的同時，使主機(jī)器人I的操作手柄方向也與其相應(yīng)地變更，從而能夠保持施術(shù)者的直觀性和手術(shù)便利性。例如，若檢測到接面部210的旋轉(zhuǎn)信號，則腹腔鏡5根據(jù)生成的操作信號進(jìn)行旋轉(zhuǎn)，此時，屏幕上顯示的圖像及其圖像上看到的手術(shù)用工具的位置可能與當(dāng)前操作手柄的手的位置不一致，所以可以執(zhí)行移動操作手柄位置的動作，以使與屏幕上顯示的手術(shù)用工具的位置一致。如此控制操作手柄方向，不僅可以是接面部210旋轉(zhuǎn)運(yùn)動時適用，只要是屏幕上顯示的手術(shù)用工具的位置/方向與實(shí)際操作手柄的位置/方向不一致的情況，直線運(yùn)動時也同樣可以適用。圖9是概略示出本發(fā)明的另一實(shí)施例涉及的用于生成腹腔鏡操作命令的腹腔鏡顯示部的構(gòu)成的框圖，圖10是示出本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作命令傳送方法的流程圖。參照圖9，腹腔鏡顯示部20可以包括運(yùn)動檢測部310、操作命令生成部320、傳送部330、接觸檢測部510、原狀恢復(fù)部520。示出的運(yùn)動檢測部310、操作命令生成部320和傳送部330在前面參照圖7進(jìn)行了說明，故省略對其的說明。但是，運(yùn)動檢測部310作為接觸檢測部510的傳感信息識別到施術(shù)者面部接觸于支承部230 (或/及240)的期間能夠執(zhí)行動作。接觸檢測部510通過檢測施術(shù)者的面部是否接觸于支承部230 (或/及240)來輸出傳感信息。為此，例如，在支承部的端部可以具有接觸檢測傳感器，除此之外，也可以適用能夠檢測面部是否接觸的各種檢測方式。原狀恢復(fù)部520作為接觸檢測部的傳感信息識別到施術(shù)者的面部與支承部230(或/及240)的接觸結(jié)束了時，通過控制電機(jī)驅(qū)動部530來使接面部210恢復(fù)到原狀態(tài)。原狀恢復(fù)部520可以包括在下面說明的電機(jī)驅(qū)動部530。在圖9中例示出，作為使接面部210恢復(fù)到原狀態(tài)的動作單元利用電機(jī)的電機(jī)驅(qū)動部530，但用于實(shí)現(xiàn)相同目的的動作單元并不限定于此。例如，也可以通過氣壓或液壓等各種方法使接面部210恢復(fù)到原狀態(tài)的進(jìn)行處理。原狀恢復(fù)部520，例如可以利用有關(guān)接面部210基準(zhǔn)狀態(tài)(即位置及/或角度)的信息來控制電機(jī)驅(qū)動部530，或者利用根據(jù)操作命令生成部320解析的面部運(yùn)動方向及大小來控制電機(jī)驅(qū)動部530向其反方向及大小操作，從而使接面部210恢復(fù)到原位置。例如，施術(shù)者為了確認(rèn)與當(dāng)前以圖像顯示的手術(shù)部位不同的部位或?qū)υ摬课徊扇〈胧┒蛟摲较蜣D(zhuǎn)動面部(接面部210也相應(yīng)移動或旋轉(zhuǎn))以使腹腔鏡5被相應(yīng)操作的狀態(tài)下，若檢測到面部對接面部210的接觸結(jié)束時，原狀恢復(fù)部520可以控制電機(jī)驅(qū)動部530，使接面部210恢復(fù)到指定為默認(rèn)(default)的基準(zhǔn)狀態(tài)。電機(jī)驅(qū)動部530可以包括通過控制原狀恢復(fù)部520而旋轉(zhuǎn)的電機(jī)，電機(jī)驅(qū)動部530和接面部210彼此結(jié)合，以便通過電機(jī)的旋轉(zhuǎn)能夠調(diào)節(jié)接面部210的狀態(tài)(即位置及/或角度)。電機(jī)驅(qū)動部530可以收納在主界面4的內(nèi)側(cè)。電機(jī)驅(qū)動部530所包括的電機(jī)，例如可以是用于能夠進(jìn)行多自由度(degree of freedom)運(yùn)動的球形電機(jī),為了消除傾斜角度的極限，球形電機(jī)的支承結(jié)構(gòu)由球形軸承和圓形轉(zhuǎn)子構(gòu)成，或者也可以構(gòu)成為具有用于支承圓形轉(zhuǎn)子的三個自由度的框架結(jié)構(gòu)。即使接面部210通過上述各構(gòu)成要素的動作恢復(fù)到原狀態(tài)，操作命令生成部320不會生成及傳送對于其的操作命令，所以通過腹腔鏡5輸入并輸出的圖像不會改變。因此，能夠保持之后施術(shù)者通過接目部220確認(rèn)腹腔鏡5圖像同時進(jìn)行手術(shù)的一致性。至此，參照圖9說明了通過操作電機(jī)驅(qū)動部530來實(shí)現(xiàn)腹腔鏡顯示部20的接目部210恢復(fù)原狀態(tài)的情況，但解除施術(shù)者面部運(yùn)動施加的外力時，也可以通過具有彈力的彈性體材料的游動部250來恢復(fù)到原狀態(tài)。接面部210通過彈力恢復(fù)到原狀態(tài)時，用于操作腹腔鏡5的操作信號也不會生成。在圖10中示出了本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作命令傳送方法。參照圖10，在步驟410中，腹腔鏡顯示部20檢測到施術(shù)者的面部運(yùn)動，則轉(zhuǎn)到步驟420，利用通過檢測面部運(yùn)動所生成的傳感信息來生成用于操作腹腔鏡5的操作命令。之后，在步驟430中，將在步驟420中生成的用于操作腹腔鏡5的操作命令傳送給從機(jī)器人2。接著，在步驟610中，腹腔鏡顯示部20判斷施術(shù)者對接面部210的接觸是否解除。若保持接觸狀態(tài)時，再次轉(zhuǎn)到步驟410，若接觸狀態(tài)解除時，轉(zhuǎn)到步驟620，以控制接面部210恢復(fù)到原位置。圖11是概略示出本發(fā)明的另一實(shí)施例涉及的用于生成腹腔鏡操作命令的腹腔鏡顯示部的構(gòu)成的框圖。參照圖11，腹腔鏡顯示部20可以包括接觸檢測部510、攝像部710、存儲部720、眼球跟蹤部730、操作命令生成部320、傳送部330和控制部740。接觸檢測部510通過檢測施術(shù)者的面部是否接觸于在接面部210突出形成的支承部230 (或/及240)來輸出傳感信息。攝像部710根據(jù)接觸檢測部510的傳感信息檢測到施術(shù)者的面部與接面部210接觸了時實(shí)時拍攝施術(shù)者眼睛的圖像。攝像部710可以配置成，在主界面4的內(nèi)側(cè)能夠拍攝通過接目部220看到的施術(shù)者眼睛。通過攝像部710拍攝到的有關(guān)施術(shù)者眼睛的圖像存儲在存儲部720，以便眼球跟蹤部730進(jìn)行眼球跟蹤(eye tracking)處理。
通過攝像部710拍攝的圖像只要是眼球跟蹤部730能夠進(jìn)行眼球跟蹤(eyetracking)處理的即可，也可以執(zhí)行用于處理眼球跟蹤部730的所需預(yù)處理之后存儲在存儲部720。用于眼球跟蹤處理的圖像生成方法及生成的圖像類型，對于本領(lǐng)域的技術(shù)人員來說是顯而易見的，故省略對其的說明。眼球跟蹤部730將以實(shí)時或規(guī)定周期存儲在存儲部720的圖像按時間順序進(jìn)行比較分析，并解析施術(shù)者瞳孔位置變化及其注視方向來輸出解析信息。此外，眼球跟蹤部730也可以解析瞳孔模樣(例如，眨眼等)來輸出對其的解析信息。操作命令生成部320參照眼球跟蹤部730的解析信息來生成操作命令，該操作命令用于控制腹腔鏡5的位置及/或圖像輸入角度，以便施術(shù)者的注視方向變化時與其相對應(yīng)。此外，若瞳孔模樣變化是用于輸入預(yù)定命令的，則操作命令生成部320也可以生成對于此的操作命令。例如，根據(jù)瞳孔模樣變化的指定命令，可以預(yù)定為例如連續(xù)眨兩次右眼時腹腔鏡5接近手術(shù)部位，連續(xù)眨兩次左眼時向順時針方向旋轉(zhuǎn)等。傳送部330將由操作命令生成部320生成的操作命令傳送給從機(jī)器人2，以便操作腹腔鏡5的位置和圖像輸入角度，以提供相應(yīng)圖像。為了傳送用于操作機(jī)器臂3的操作命令，傳送部330也可以是已經(jīng)設(shè)在主機(jī)器人I的傳送部?？刂撇?40控制所述各構(gòu)成要素執(zhí)行指定動作。至此，參照圖11說 明了利用眼球跟蹤技術(shù)識別及處理瞳孔運(yùn)動的腹腔鏡顯示部20。但是，并不限定于此，腹腔鏡顯示部20也可以以檢測施術(shù)者面部自身的運(yùn)動來進(jìn)行識別及處理的方式實(shí)現(xiàn)。作為一例，也可以由攝像部710拍攝面部圖像，若由分析處理部代替眼球跟蹤部730解析拍攝圖像中的特定點(diǎn)(例如，兩眼位置、鼻子位置、人中位置等中一個以上)的位置及變化，則操作命令生成部320生成與其相應(yīng)的操作命令。圖12是示出本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作命令傳送方法的流程圖。參照圖12，在步驟810中，若腹腔鏡顯示部20通過接觸檢測部510檢測到施術(shù)者面部接觸，則激活攝像部710生成有關(guān)通過接目部220看到的施術(shù)者眼睛的數(shù)字圖像數(shù)據(jù)，并存儲在存儲部720。在步驟820中，腹腔鏡顯示部20通過比較判斷以實(shí)時或規(guī)定周期存儲在存儲部720的數(shù)字圖像數(shù)據(jù)來生成有關(guān)施術(shù)者瞳孔位置及注視方向變化的解析信息。比較判斷時，腹腔鏡顯示部20允許有一定誤差，所以在規(guī)定范圍內(nèi)的位置信息變化，也可以識別為瞳孔位置未發(fā)生變化。在步驟830中，腹腔鏡顯示部20判斷施術(shù)者變更的注視方向是否維持了預(yù)定臨界時間以上。若變更的注視方向維持了臨界時間以上，則在步驟840中，腹腔鏡顯示部20生成用于操作腹腔鏡5能夠接收該位置圖像的操作命令，而傳送給從機(jī)器人2。在此，臨界時間可以設(shè)定為，根據(jù)施術(shù)者的瞳孔顫動或用于綜合確認(rèn)手術(shù)部位整體等的瞳孔運(yùn)動，腹腔鏡5不會被操作的時間，該時間值也可以根據(jù)試驗(yàn)、統(tǒng)計(jì)設(shè)定，或根據(jù)施術(shù)者等設(shè)定。但是，變更的注視方向沒有維持臨界時間以上，則再次轉(zhuǎn)到步驟810。圖13是示出本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作命令傳送方法的流程圖，圖14是例示出本發(fā)明的實(shí)施例涉及的腹腔鏡顯示部的圖像顯示形式的示意圖。參照圖13，在步驟810中，若腹腔鏡顯示部20通過接觸檢測部510檢測到施術(shù)者面部接觸，則激活攝像部710生成有關(guān)通過接目部220看到的施術(shù)者眼睛的數(shù)字圖像數(shù)據(jù)，并存儲在存儲部720。在步驟820中，腹腔鏡顯示部20通過比較判斷以實(shí)時或規(guī)定周期存儲在存儲部720的數(shù)字圖像數(shù)據(jù)來生成有關(guān)施術(shù)者瞳孔位置及注視方向變化的解析信息。在步驟910中，腹腔鏡顯示部20判斷施術(shù)者的注視方向是否為預(yù)定的設(shè)定。在圖14中例示出腹腔鏡顯示部20的圖像顯示形式。如圖14所例示，施術(shù)者可以通過接目部220確認(rèn)通過腹腔鏡5提供的影像圖像1010，該影像圖像可以包括手術(shù)部位和器械1020。此外，腹腔鏡顯示部20的圖像，可以重疊顯示施術(shù)者的注視位置1030，也可以一同顯示設(shè)定位置。作為設(shè)定位置可以包括外輪廓邊1040、第一旋轉(zhuǎn)指示位置1050和第二旋轉(zhuǎn)指示位置1060等中的一個以上。例如，施術(shù)者注視位于外輪廓邊1040中任一方向的邊臨界時間以上時，能夠控制腹腔鏡5向該方向移動。即，若注視外輪廓邊1040中的左側(cè)邊臨界時間以上時，為了拍攝比當(dāng)前顯示位置位于左側(cè)的部位，能夠控制腹腔鏡5向左側(cè)移動。此夕卜，若施術(shù)者注視第一旋轉(zhuǎn)指示位置1050臨界時間以上時，也可以控制腹腔鏡向逆時針方向旋轉(zhuǎn)，若施術(shù)者注視第二旋轉(zhuǎn)指示位置1060臨界時間以上時，控制腹腔鏡向順時針方向旋轉(zhuǎn)。再次參照圖13，施術(shù)者注視位置不是上述設(shè)定的位置時，再次轉(zhuǎn)到步驟810。但是，再次參照圖13，施術(shù)者注視位置為上述設(shè)定的位置時，轉(zhuǎn)到步驟920，判斷施術(shù)者注視是否維持了預(yù)定的臨界時間以上。如果施術(shù)者對設(shè)定位置的注視維持了臨界時間以上時，在步驟930中，腹腔鏡顯示部20使腹腔鏡5根據(jù)指定命令對該設(shè)定位置進(jìn)行操作的生成操作命令，而傳送給從機(jī)器人2。但是，如果施術(shù)者 對該設(shè)定位置的注視沒有維持臨界時間以上時，再次轉(zhuǎn)到步驟810。圖15是示出本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作命令傳送方法的流程圖。參照圖15，在步驟810中，若腹腔鏡顯示部20通過接觸檢測部510檢測到施術(shù)者面部接觸，則激活攝像部710生成有關(guān)通過接目部220看到的施術(shù)者眼睛的數(shù)字圖像數(shù)據(jù)，并存儲在存儲部720。在步驟1110中，腹腔鏡顯示部20通過比較判斷以實(shí)時或規(guī)定周期存儲在存儲部720的圖像信息來生成有關(guān)運(yùn)行者眼睛模樣變化的解析信息。例如，解析信息可以是有關(guān)在規(guī)定時間內(nèi)施術(shù)者眼睛眨了幾次，若眨眼時哪只眼睛眨眼等的信息。在步驟1120中，腹腔鏡顯示部20判斷有關(guān)眼睛模樣變化的解析信息是否滿足預(yù)定的指定條件。例如，根據(jù)眼睛模樣變化的指定條件可以預(yù)先設(shè)定，例如，在規(guī)定時間內(nèi)右眼是否連續(xù)眨眼二次，在規(guī)定時間內(nèi)左眼是否連續(xù)眨眼二次等。如果有關(guān)眼睛模樣變化的解析信息滿足預(yù)定條件時，轉(zhuǎn)到步驟1130，用滿足該條件時的指定命令生成用于操作腹腔鏡5的操作命令，并傳送給從機(jī)器人2。例如，根據(jù)眼睛模樣變化的指定命令可以預(yù)先指定為，例如，右眼連續(xù)眨眼二次時，腹腔鏡5接近手術(shù)部位，左眼連續(xù)眨眼二次時，向順時針方向旋轉(zhuǎn)等。但是，如果有關(guān)眼睛模樣變化的解析信息不滿足預(yù)定條件時，轉(zhuǎn)到步驟910。圖16是示出本發(fā)明的另一實(shí)施例涉及的手術(shù)機(jī)器人的主界面的概念圖。參照圖16，主機(jī)器人I的主界面4包括監(jiān)控部6、主操縱器和拍攝單元1210。雖然未圖示，如上所述的從機(jī)器人2可以包括機(jī)器臂3和腹腔鏡5。
如圖所示，主界面4的監(jiān)控部6可以由一個以上的監(jiān)控器構(gòu)成，可以在各監(jiān)控器上單獨(dú)顯示手術(shù)時所需的信息(例如由腹腔鏡5拍攝的圖像、患者的生物信息等)。當(dāng)然，監(jiān)控器的數(shù)量可以根據(jù)需要顯示的信息類型或種類等設(shè)定為不同。通過監(jiān)控部6顯示的患者的生物信息(例如脈搏、呼吸、血壓、體溫等)也可以按區(qū)域劃分輸出，這些生物信息可以通過從機(jī)器人2所具有的生物信息測量單元測量后提供給主機(jī)器人I。拍攝單元1210是以非接觸式拍攝施術(shù)者模樣(例如面部區(qū)域)的單元。拍攝單元1210例如可以由包括圖像傳感器的攝像機(jī)裝置來實(shí)現(xiàn)。由拍攝單元1210拍攝的圖像提供給腹腔鏡操作單元1200 (參照圖17)，腹腔鏡操作單元1200利用解析該圖像獲得的有關(guān)對象物變化量的信息來控制腹腔鏡5執(zhí)行旋轉(zhuǎn)、移動操作或執(zhí)行圖像的放大/縮小操作。此外，主界面4可以具有主操縱器，以便施術(shù)者用雙手分別把持進(jìn)行操作。主操縱器可以具有兩個以上手柄10，隨著施術(shù)者操作手柄10，相應(yīng)的操作信號傳送到從機(jī)器人2，從而控制機(jī)器臂3。施術(shù)者可以通過操作手柄10來進(jìn)行機(jī)器臂3的位置移動、旋轉(zhuǎn)、切割作業(yè)等手術(shù)動作。例如，手柄10可以包括主手柄和副手柄，施術(shù)者可以僅通過主手柄操作具有多自由度地驅(qū)動的從機(jī)器人2的機(jī)器臂3或腹腔鏡5等，或者也可以操作副手柄同時使多個手術(shù)設(shè)備進(jìn)行實(shí)時操作。當(dāng)然，主操縱器并不限定于手柄形狀，只要是通過網(wǎng)絡(luò)能夠控制機(jī)器臂3動作的形式，均可不受限制地適用。從機(jī)器人2可以利用一個以上，以便對患者進(jìn)行手術(shù)，用于通過顯示部6以能夠確認(rèn)的圖像(即畫面圖像)顯示手術(shù)部位的腹腔鏡5也可以由獨(dú)立的從機(jī)器人2實(shí)現(xiàn)。如上所述，本發(fā)明的實(shí)施例可以廣泛應(yīng)用于利用除腹腔鏡之外的各種手術(shù)用內(nèi)窺鏡(例如胸腔鏡、關(guān)節(jié)鏡、鼻鏡等)的手術(shù)中。圖17是概略示出本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作單元的構(gòu)成的框圖，圖18是示出本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作單元的動作概念的示意圖，圖19和圖20是分別例示出為了操作本發(fā)明的另一實(shí)施例涉及的腹腔鏡而面部運(yùn)動的示意圖。參照圖13，腹腔鏡操作單元1200包括存儲部1220、角度及距離算出部1230、操作命令生成部1240和傳送部1250。在圖示的構(gòu)成要素中的一個以上，可以通過軟件程序?qū)崿F(xiàn)，或者可以由硬件和軟件程序的組合構(gòu)成。另外，可以省略圖示的一個以上的構(gòu)成要素。存儲部1220用于存儲通過拍攝單元1210拍攝的影像圖像、通過角度及距離算出部1230算出的位移量信息。位移量信息可以包括利用算出周期中連續(xù)的兩張影像圖像算出的兩眼的延長線與畫面中心線(即經(jīng)過影像圖像的橫向和豎向中心點(diǎn)的水平線)之間的內(nèi)角和有關(guān)旋轉(zhuǎn)方向的信息、面部內(nèi)的基準(zhǔn)點(diǎn)之間的移動距離信息、兩眼的中心點(diǎn)之間的間距變化量信息等。當(dāng)然，為了算出位移量信息等，并不僅限利用連續(xù)的兩張影像圖像，也可以利用當(dāng)前影像圖像和之前任何時候拍攝的影像圖像。例如，存在第n-3次拍攝的影像圖像、第n-2次拍攝的影像圖像、第n-1次拍攝的影像圖像、當(dāng)前時間的第η次拍攝的影像圖像時，解析時利用的影像圖像的拍攝周期為3的情況， 可以利用第n-3次拍攝的影像圖像和第η次拍攝的影像圖像來算出位移量信息等。雖然省略另行說明，但這些原則不僅可以適用于位移量信息，也可以同樣適用于算出角度和距離等。但是，本說明書中為了便于說明和理解，解析用于生成特定信息的影像圖像時，利用當(dāng)前拍攝的影像圖像和之前拍攝的影像圖像的情況為例進(jìn)行說明。角度及距離算出部1230在由拍攝單元1210拍攝且存儲于存儲部1220的影像圖像中利用算出周期中連續(xù)的兩張影像圖像(即當(dāng)前拍攝的影像圖像和之前拍攝的影像圖像)來生成影像圖像之間的位移量信息，并存儲在存儲部1220。在此，角度及距離算出部1230可以生成利用連續(xù)的兩張影像圖像算出的有關(guān)兩眼的延長線與畫面中心線之間的內(nèi)角和旋轉(zhuǎn)方向的信息、面部內(nèi)的基準(zhǔn)點(diǎn)之間的移動距離信息、兩眼的中心點(diǎn)之間的間距變化量信息等。下面，說明角度及距離算出部1230生成位移量信息的方法。但是，通過解析影像圖像來識別面部區(qū)域、眼睛位置及基準(zhǔn)點(diǎn)(例如鼻子中心點(diǎn))位置的影像解析技術(shù)，對于本領(lǐng)域的技術(shù)人員來說是顯而易見的，故省略對其的詳細(xì)說明。首先，為了生成有關(guān)面部轉(zhuǎn)動的信息，如圖19所示，角度及距離算出部1230在由拍攝單元1210拍攝且存儲于存儲部1220的影像圖像中算出雙目(兩眼)的延長線與畫面中心線之間的內(nèi)角大小，并與解析之前影像圖像的內(nèi)角大小進(jìn)行比較，從而生成有關(guān)旋轉(zhuǎn)方向和旋轉(zhuǎn)角度的信息。S卩，如圖19的(b)和(C)所例示，例如通過邊緣檢測技術(shù)等圖像處理技術(shù)識別在由拍攝單元1210拍攝并生成的影像圖像中雙目的位置和形狀，因此，取得各眼的中心點(diǎn)之后，算出連接各眼中心點(diǎn)的虛擬直線與畫面中心線所形成的內(nèi)角大小和面部旋轉(zhuǎn)方向。即，若之前生成的影像圖像是(a)的原始影像圖像，而當(dāng)前生成的影像圖像是與(b)相同的影像圖像，則可以通過相互比較在各影像圖像連接畫面中心線和兩眼中心點(diǎn)的直線所形成的交點(diǎn)在面部的哪個位置形成及相應(yīng)的內(nèi)角大小，來識別面部向哪個方向旋轉(zhuǎn)了多少角度。其次，為了生成有 關(guān)面部平行移動的信息，角度及距離算出部1230在由拍攝單元1210拍攝且存儲于存儲部1220的影像圖像中，檢測面部內(nèi)預(yù)定的基準(zhǔn)點(diǎn)(例如鼻子中心點(diǎn))從影像圖像的橫向和豎向中心點(diǎn)移動了多少。S卩，如圖19的(d)所例示，在用虛線表示的原始影像圖像中，基準(zhǔn)點(diǎn)與影像圖像的中心點(diǎn)一致，但在當(dāng)前的影像圖像中，可以識別到基準(zhǔn)點(diǎn)從影像圖像的中心點(diǎn)向右側(cè)平行移動了任意距離。當(dāng)然，平行移動方向可以是上下左右等多種。其次，為了生成有關(guān)畫面放大和縮小的信息，角度及距離算出部1230在由拍攝單元1210拍攝且存儲于存儲部1220的影像圖像中算出雙目間距(圖20的dl、d2或d3)，并運(yùn)算出算出的距離比之前拍攝存儲的影像圖像中的雙目距離增加(即施術(shù)者的面部向接近拍攝單元1210的方向移動)還是減少(即施術(shù)者的面部向遠(yuǎn)離拍攝單元1210的方向移動)。雙目距離可以指定及適用多種，例如、各眼的中心點(diǎn)之間的距離，或各眼的外輪廓線之間的最短距尚等。操作命令生成部1240利用通過角度及距離算出部1230算出的位移量信息，來生成用于控制腹腔鏡5位置(例如移動、旋轉(zhuǎn)等)及圖像倍率(例如放大、縮小等)的操作命令。若識別到施術(shù)者的面部向任一方向旋轉(zhuǎn)了時，操作命令生成部1240生成用于使腹腔鏡5旋轉(zhuǎn)的操作命令；若識別到施術(shù)者的面部向任一方向平行移動了時，操作命令生成部1240生成用于使腹腔鏡5向相應(yīng)方向及相應(yīng)距離移動的操作命令；若識別到施術(shù)者的面部接近或遠(yuǎn)離拍攝單元1240方向時，操作命令生成部1240生成使由腹腔鏡5拍攝生成的影像圖像的倍率放大或縮小的操作命令。傳送部1250將由操作命令生成部1240生成的操作命令傳送給從機(jī)器人2，以便操作腹腔鏡5位置等，以提供相應(yīng)圖像。為了傳送用于操作機(jī)器臂3的操作命令，傳送部1250也可以是已經(jīng)設(shè)在主機(jī)器人I的傳送部。此外，雖然在圖17中未圖示，也還可以包括判斷部，該判斷部用于判斷當(dāng)前通過拍攝單元1210拍攝的影像圖像中的用戶是否為被認(rèn)證用戶。S卩，判斷部判斷當(dāng)前拍攝的影像圖像中的面部模樣是否與作為被認(rèn)證用戶預(yù)先存儲在存儲部1220的影像圖像中的面部模樣在誤差范圍內(nèi)一致，只有在一致的情況下，能夠進(jìn)行根據(jù)上述方式的腹腔鏡操作。當(dāng)然，判斷部判斷是否為被認(rèn)證用戶時，不僅可以利用面部模樣這一特征要素，也可以利用眼睛/眉毛/鼻子/嘴的位置和形狀、瞳孔顏色、皮膚顏色、皺紋、紅暈等特征要素中的一個以上。如此，增設(shè)有判斷部，所以，即使通過拍攝單元1210拍攝的影像圖像中拍攝到多人，腹腔鏡僅對施術(shù)者面部模樣的變化聯(lián)動操作。此外，判斷部可以通過判斷影像圖像中的面部模樣是否位于預(yù)定的區(qū)域或面部大小是否大于等于影像圖像中預(yù)定的尺寸，來進(jìn)一步判斷是否使上述腹腔鏡操作單元1200作用。當(dāng)然，判斷部也可以由判斷面部大小是否符合預(yù)定的尺寸標(biāo)準(zhǔn)來代替判斷面部大小是否大于等于預(yù)定的尺寸。這是施術(shù)者面部貼的太近時也有可能導(dǎo)致誤動作的原因。
`
例如，如圖18所例示，判斷部可以通過判斷面部是否位于在顯示出由拍攝單元1210拍攝的影像圖像的顯示區(qū)域1310內(nèi)的預(yù)定區(qū)域1320，來決定腹腔鏡操作單元1200是否作用。當(dāng)然，并不限制面部包含于整個預(yù)定區(qū)域1320，也可以預(yù)先設(shè)定為，只要面部的一部分包含于預(yù)定區(qū)域1320即可。如果，面部位于預(yù)定區(qū)域1320內(nèi)時，可以使腹腔鏡操作單元1200進(jìn)行動作，否則，使腹腔鏡操作單元1200不進(jìn)行動作。此外，如圖18所例示，判斷部可以通過判斷包含于影像圖像內(nèi)的面部大小是否大于預(yù)定區(qū)域1320的大小，來決定腹腔鏡操作單元1200是否作用。面部大小是否大于預(yù)定區(qū)域1320的大小，例如，可以通過判斷檢測面部外輪廓線而計(jì)算的面積和預(yù)定區(qū)域1320的大小有什么關(guān)系來進(jìn)行。此時，還可以判斷面部大小是否小于指定閾值。如果，如(a)所示，面部大小小于預(yù)定區(qū)域的尺寸時，可能是位于遠(yuǎn)離主界面4的第三人，或者即便是施術(shù)者，也位于遠(yuǎn)離主界面4而不進(jìn)行手術(shù)動作，所以可以使腹腔鏡操作單元1200不起作用。如此，判斷部只有在預(yù)定區(qū)域1320內(nèi)顯示規(guī)定尺寸以上的面部時，使腹腔鏡操作單元1200作用，因此，能夠防止腹腔鏡5根據(jù)非施術(shù)者的第三人的面部運(yùn)動或與手術(shù)動作無關(guān)地運(yùn)動而誤操作。此外，判斷部也可以只有在由拍攝單元1210拍攝的影像圖像中面部運(yùn)動保持一定時間時，使上述腹腔鏡操作單元1200作用的進(jìn)行處理。例如，可以預(yù)先設(shè)定為，只有在識別到施術(shù)者注視前方的正常狀態(tài)下將頭向右側(cè)傾斜規(guī)定角度之后保持規(guī)定時間(例如兩秒)時，腹腔鏡操作單元1200生成并傳送操作命令，以使腹腔鏡向右側(cè)旋轉(zhuǎn)或/及移動相應(yīng)角度。當(dāng)然，判斷部不僅是面部運(yùn)動保持規(guī)定時間時，也可以是面部運(yùn)動超出預(yù)定范圍時，使腹腔鏡操作單元1200作用的進(jìn)行處理。由此，能夠防止施術(shù)者有意識或無意思地進(jìn)行回頭或移動等行動時，插入于患者腹部的腹腔鏡5隨著施術(shù)者的運(yùn)動突然被操作的危險(xiǎn)。這方面可以與前面描述的方法類似的處理，即，面部脫離接觸式結(jié)構(gòu)時，切斷施術(shù)者運(yùn)動傳遞給從機(jī)器人2，從而確?；颊甙踩?。此外，判斷部也還可以執(zhí)行請求功能，在由拍攝單元1210拍攝的影像圖像中識別到面部內(nèi)的特征部位變化(例如眨眼)時，請求由操作命令生成部1240生成相應(yīng)的操作命令并傳送給從機(jī)器人2。存儲部1220可以預(yù)先存儲特征部位變化時應(yīng)生成何種操作命令的信息。例如，在手術(shù)過程中，由拍攝單元1210拍攝的影像圖像被霧氣變模糊而無法看清對象物時等，若施術(shù)者只眨左眼，則操作命令生成部1240可以生成用于向腹腔內(nèi)排出二氧化碳而打開閥門的操作命令，并傳送給從機(jī)器人2。作為另一例，在手術(shù)過程中，施術(shù)者只眨右眼，則可以生成并輸出使當(dāng)前手術(shù)中部位的之前圖像作為增強(qiáng)現(xiàn)實(shí)顯示或消失在主界面4的監(jiān)控器6上的操作命令。當(dāng)然，判斷部除了識別影像圖像中的面部內(nèi)的特征部位變化來指示生成操作命令的方法之外，也可以利用圖像解析技術(shù)識別上下點(diǎn)頭或左右搖頭動作來指示生成相應(yīng)操作命令。例如，若識別到施術(shù)者點(diǎn)頭動作時，識別為肯定反應(yīng)，若識別到施術(shù)者搖頭動作時，識別為否定反應(yīng)。利用這些，當(dāng)在特定情況下手術(shù)機(jī)器人要求施術(shù)者對某些動作的執(zhí)行進(jìn)行是/否的選擇時，施術(shù)者不必按下設(shè)在控制臺或操作手柄上的按鈕，僅通過點(diǎn)頭或搖頭行為，也可以應(yīng)答手術(shù)機(jī)器人。此外，本實(shí)施例涉及的非接觸式腹腔鏡控制方法，使用三維腹腔鏡時，也可以根據(jù)面部和眼睛的位置調(diào)節(jié)三維圖像處理所需的左/右圖像重疊程度。圖21是示出本發(fā)明的另一實(shí)施例涉及的腹腔鏡操作單元的動作過程的流程圖。參照圖21，在步驟1610中，腹腔鏡操作單元1200通過解析拍攝有施術(shù)者面部的影像圖像來檢測面部區(qū)域、眼睛位置及基準(zhǔn)點(diǎn)(例如鼻子中心點(diǎn))位置。接著，在步驟1620中，腹腔鏡操作單元1200對該影像圖像算出兩眼延長線與畫面中心線之間的內(nèi)角和旋轉(zhuǎn)方向，并利用與對之前拍攝的影像圖像算出的內(nèi)角和旋轉(zhuǎn)方向的差，來算出當(dāng)前施術(shù)者的面部旋轉(zhuǎn)方向和旋轉(zhuǎn)角度。此外，在步驟1630中，腹腔鏡操作單元1200對該影像圖像算出面部內(nèi)的基準(zhǔn)點(diǎn)與之前拍攝的影像圖像中的面部基準(zhǔn)點(diǎn)之間的距離變化量。此外，在步驟1640中，腹腔鏡操作單元1200對該影像圖像算出兩眼中心點(diǎn)之間的距離，并參照對之前拍攝的影像圖像算出的兩眼中心點(diǎn)之間的距離，來算出兩眼之間的距
離變化量。上述步驟1620至步驟1640，可以按順序或不按順序執(zhí)行，或者也可以同時執(zhí)行。在步驟1650中，腹腔鏡操作單元1200生成與在步驟1620至步驟1640中算出的位移量信息相應(yīng)的操作命令并提供給從機(jī)器人2，以便操作腹腔鏡5。圖22是具體示出本發(fā)明的另一實(shí)施例涉及的圖21的步驟1610的流程圖。上述圖21的步驟1610是關(guān)于腹腔鏡操作單元1200通過解析拍攝有施術(shù)者面部的影像圖像來檢測面部區(qū)域、眼睛位置及基準(zhǔn)點(diǎn)(例如鼻子中心點(diǎn))位置的步驟。參照具體例示出步驟1610的圖22，腹腔鏡操作單元1200在步驟1710中接收拍攝有施術(shù)者面部的影像圖像，之后轉(zhuǎn)到步驟1720通過解析該影像圖像來檢測面部區(qū)域、眼睛位置及基準(zhǔn)點(diǎn)(例如鼻子中心點(diǎn))位置。接著，在步驟1730中，腹腔鏡操作單元1200判斷施術(shù)者的該運(yùn)動狀態(tài)是否維持了規(guī)定時間。如果該運(yùn)動狀態(tài)維持了規(guī)定時間，則識別為需要操作腹腔鏡5，從而轉(zhuǎn)到步驟1620至步驟1640。但是，如果該運(yùn)動狀態(tài)沒有維持規(guī)定時間，則識別為與腹腔鏡5操作無關(guān)的運(yùn)動，從而再次轉(zhuǎn)到步驟1710。如此，為了保證是否操作腹腔鏡5的準(zhǔn)確性，步驟1610可以具體化為多個步驟。除此之外，步驟1610可以具體化為多種方式。作為一例，判斷接收的影像圖像中的面部模樣作為被認(rèn)證用戶與預(yù)先存儲在存儲部1220的面部模樣在誤差范圍內(nèi)是否一致，只有在誤差范圍內(nèi)一致時，可以轉(zhuǎn)到步驟1620至步驟1640的進(jìn)行具體化。作為另一例，判斷接收的影像圖像中的面部模樣是否位于預(yù)定區(qū)域或者面部大小是否大于等于預(yù)定尺寸 或者小于等于預(yù)定尺寸，只有在面部大小大于等于指定尺寸且位于符合指定區(qū)域時，才轉(zhuǎn)到步驟1620至步驟1640的進(jìn)行具體化。此外，步驟1610可以用不同方式進(jìn)行具體化，也可以綜合包括一個以上的實(shí)施例而進(jìn)行具體化。所述的腹腔鏡操作方法也可以通過軟件程序等實(shí)現(xiàn)。構(gòu)成程序的代碼及代碼段，可由該領(lǐng)域的計(jì)算機(jī)編成人員容易推理出。而且，程序存儲在計(jì)算機(jī)可讀介質(zhì)(computerreadable media)上,被計(jì)算機(jī)讀取執(zhí)行,從而實(shí)現(xiàn)所述方法。計(jì)算機(jī)可讀介質(zhì)包括磁記錄媒體、光記錄媒體及載波媒體。圖23是示出本發(fā)明的實(shí)施例涉及的手術(shù)機(jī)器人的整個結(jié)構(gòu)的俯視圖，圖24是示出本發(fā)明的第一實(shí)施例涉及的手術(shù)機(jī)器人的主界面的概念圖。本實(shí)施例特征在于，對應(yīng)于根據(jù)手術(shù)用內(nèi)窺鏡的運(yùn)動而變化的內(nèi)窺鏡視點(diǎn)，來改變向用戶看到的監(jiān)控器輸出的內(nèi)窺鏡圖像的輸出位置，從而能夠使用戶更真實(shí)地感受到實(shí)際手術(shù)狀況。即，內(nèi)窺鏡視點(diǎn)可以與進(jìn)行手術(shù)的用戶視點(diǎn)一致，所以本實(shí)施例具有如下特征，使腹腔內(nèi)的內(nèi)窺鏡視點(diǎn)與在外部手術(shù)現(xiàn)場輸出內(nèi)窺鏡圖像的監(jiān)控器的位置及輸出方向一致，從而位于外部手術(shù)現(xiàn)場的系統(tǒng)動作反映出實(shí)際在患者內(nèi)部運(yùn)動的內(nèi)窺鏡動作，更加有真實(shí)感。本實(shí)施例涉及的手術(shù)用內(nèi)窺鏡不僅可以是腹腔鏡，也可以是胸腔鏡、關(guān)節(jié)鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡等手術(shù)時作為拍攝工具使用的不同種類的工具。此外，本實(shí)施例涉及的手術(shù)用內(nèi)窺鏡可以是立體內(nèi)窺鏡。即，本實(shí)施例涉及的手術(shù)用內(nèi)窺鏡可以是生成立體圖像信息的立體內(nèi)窺鏡，這種生成立體圖像信息的方式可以由不同技術(shù)來實(shí)現(xiàn)。例如，本實(shí)施例涉及的手術(shù)用內(nèi)窺鏡為了獲得具有立體信息的多個圖像可以具有多個攝像機(jī)，或者可以采用利用一個攝像機(jī)獲得多個圖像等不同方式獲得立體圖像。除了這些方式之外，本實(shí)施例涉及的手術(shù)用內(nèi)窺鏡可以通過其它不同方式生成立體圖像。
此外，本實(shí)施例涉及的體感式手術(shù)用圖像處理裝置，并不僅限于如圖所示的手術(shù)機(jī)器人系統(tǒng)來實(shí)現(xiàn)，只要是手術(shù)時輸出內(nèi)窺鏡圖像9并利用手術(shù)工具進(jìn)行手術(shù)的系統(tǒng)均可適用。下面，以在手術(shù)機(jī)器人系統(tǒng)上適用本實(shí)施例涉及的手術(shù)用圖像處理裝置的情況為中心進(jìn)行說明。參照圖23和24，手術(shù)機(jī)器人系統(tǒng)包括:從機(jī)器人2，對躺在手術(shù)臺上的患者進(jìn)行手術(shù)；主機(jī)器人1，用于施術(shù)者遠(yuǎn)程操作從機(jī)器人2。主機(jī)器人I和從機(jī)器人2不必是物理上獨(dú)立的單獨(dú)裝置，可以集成為一體式，在這種情況，主界面4可相當(dāng)于例如一體式機(jī)器人的界面部分。主機(jī)器人I的主界面4包括監(jiān)控部6和主操縱器，從機(jī)器人2包括機(jī)器臂3和器械5a。器械5a是如腹腔鏡等內(nèi)窺鏡，對患者直接進(jìn)行操作的手術(shù)器械等手術(shù)工具。主界面4具有主操縱器，以便施術(shù)者用雙手分別把持進(jìn)行操作。如圖23和24所例示，主操縱器可以具有兩個手柄10，隨著施術(shù)者操作手柄10，相應(yīng)的操作信號傳送到從機(jī)器人2，從而控制機(jī)器臂3?？梢酝ㄟ^施術(shù)者操作手柄10來進(jìn)行機(jī)器臂3及/或器械5a的位置移動、旋轉(zhuǎn)、切割作業(yè)等。例如，手柄10可以包括主手柄(main handle)和副手柄(sub handle)。也可以僅通過一個手柄操作從機(jī)器臂3或器械5a等，或者也可以增加副手柄同時使多個手術(shù)設(shè)備進(jìn)行實(shí)時操作。主手柄及副手柄根據(jù)其操作方式可以具有多種機(jī)械結(jié)構(gòu)，例如，可以使用操縱桿形式、鍵盤、跟蹤球、觸摸屏等用于使從機(jī)器人2的機(jī)器臂3及/或其它手術(shù)設(shè)備動作的多種輸入單元。主操縱器并不限定于手柄10形狀，只要是通過網(wǎng)絡(luò)能夠控制機(jī)器臂3動作的形式，均可不受限制地適用。在主界面4的 監(jiān)控部6以畫面圖像顯示由器械5a輸入的內(nèi)窺鏡圖像9、攝像機(jī)圖像及建模圖像。此外，顯示在監(jiān)控部6的信息，根據(jù)被選擇的圖像種類可以是多種多樣的。監(jiān)控部6可以由一個以上的監(jiān)控器構(gòu)成，以便能夠在各監(jiān)控器上單獨(dú)顯示手術(shù)時所需的信息。在圖23和圖24中例示出了監(jiān)控部6包括三個監(jiān)控器，監(jiān)控器的數(shù)量可以根據(jù)需要顯示信息的類型或種類等設(shè)定為不同。此外，監(jiān)控部6包括多個監(jiān)控器時，畫面可以彼此聯(lián)動擴(kuò)展。即，內(nèi)窺鏡圖像9如在一個監(jiān)控器上顯示的窗口(window)那樣，可以自由移動于各監(jiān)控器，在各監(jiān)控器上輸出彼此連接的部分圖像，所以也可以輸出整個圖像。從機(jī)器人2和主機(jī)器人I可以通過有線或無線相連接，從而主機(jī)器人I可以向從機(jī)器人2傳送操作信號,從機(jī)器人2向主機(jī)器人I傳送由器械5a輸入的內(nèi)窺鏡圖像9。如果，需要在相同及/或相近時間傳送通過主界面4上所具有的兩個手柄10的兩個操作信號及/或用于調(diào)節(jié)器械5a位置的操作信號時，各操作信號可以彼此獨(dú)立地傳送到從機(jī)器人2。在此，各操作信號‘獨(dú)立’傳送是表示，操作信號之間彼此不干擾，一個操作信號不會影響另一個操作信號。這樣的，為了彼此獨(dú)立地傳送多個操作信號，可以利用如下不同方式，在生成各操作信號的階段對各操作信號賦予標(biāo)題信息進(jìn)行傳送，或者使各操作信息根據(jù)其生成順序進(jìn)行傳送，或者關(guān)于各操作信息的傳送順序預(yù)先設(shè)定優(yōu)先順序并根據(jù)其順序進(jìn)行傳送等。此時，可以獨(dú)立地具有傳送各操作信息的傳送路徑，從而從本質(zhì)上防止各操作信號之間干擾。從機(jī)器人2的機(jī)器臂3可以具有多自由度地驅(qū)動。機(jī)器臂3例如可以包括:手術(shù)工具，插入在患者的手術(shù)部位；偏轉(zhuǎn)驅(qū)動部，根據(jù)手術(shù)位置以使手術(shù)工具向偏轉(zhuǎn)(yaw)方向旋轉(zhuǎn)；俯仰驅(qū)動部，向與偏轉(zhuǎn)驅(qū)動部的旋轉(zhuǎn)驅(qū)動正交的俯仰(pitch)方向旋轉(zhuǎn)手術(shù)工具；移送驅(qū)動部，向長度方向移動手術(shù)工具；旋轉(zhuǎn)驅(qū)動部，用于旋轉(zhuǎn)手術(shù)工具；手術(shù)工具驅(qū)動部，設(shè)在手術(shù)工具的末端，用于切開或切割手術(shù)病灶。但是，機(jī)器臂3的結(jié)構(gòu)并不限定于此，應(yīng)該理解為，本發(fā)明的保護(hù)范圍并不限定于這些例示。此外，施術(shù)者通過操作手柄10使機(jī)器臂3向?qū)?yīng)方向旋轉(zhuǎn)、移動等實(shí)際控制過程，與本發(fā)明的要旨有一定距離，故省略對其的詳細(xì)說明。為了對患者進(jìn)行手術(shù)，可以利用一個以上的從機(jī)器人2，而用于通過監(jiān)控部6以畫面圖像顯示手術(shù)部位的器械5a，也可以由獨(dú)立的從機(jī)器人2來實(shí)現(xiàn)，主機(jī)器人I也可以與從機(jī)器人2 —體化。圖25是示出本發(fā)明的第一實(shí)施例涉及的手術(shù)機(jī)器人的框圖。參照圖25，示出了包括圖像輸入部2310、畫面顯示部2320、臂操作部2330、操作信號生成部340、畫面顯示控制部2350、控制部370的主機(jī)器人1，和包括機(jī)器臂3、內(nèi)窺鏡8的從機(jī)器人2。本實(shí)施例涉及的體感式手術(shù)用圖像處理裝置可以由包括圖像輸入部2310、畫面顯示部2320、畫面顯示控制部2350的模塊實(shí)現(xiàn)，當(dāng)然，這種模塊也可以包括臂操作部2330、操作信號生成部340、控制部370。圖像輸入部2310通過有線或無線傳送接收由從機(jī)器人2的內(nèi)窺鏡8輸入的圖像。內(nèi)窺鏡8也可以作為本實(shí)施例涉及的手術(shù)工具的一種，其數(shù)量可以是一個以上。

畫面顯示部2320將對應(yīng)于通過圖像輸入部2310接收的圖像的畫面圖像作為視覺Ih息出。畫面顯不部2320將內(nèi)規(guī)圖像以原來大小或放大(Zoom In)/縮小(Zoom Out)輸出，或者將內(nèi)窺鏡圖像和后述建模圖像相匹配或以單獨(dú)圖像輸出。此外，畫面顯示部2320也可以將內(nèi)窺鏡圖像和反映整個手術(shù)狀況的圖像、例如攝像機(jī)拍攝手術(shù)對象外部生成的攝像機(jī)圖像同時及/或相匹配輸出，以便容易掌握手術(shù)狀況。此外，畫面顯示部2320也可以執(zhí)行如下功能，輸出輸出圖像的一部分或在單獨(dú)畫面上生成的窗口(window)上輸出縮小整個圖像(內(nèi)窺鏡圖像、建模圖像及攝像機(jī)圖像等)的圖像，施術(shù)者利用上述主操縱器從輸出的縮小圖像選擇或旋轉(zhuǎn)特定點(diǎn)時，整個輸出圖像移動或旋轉(zhuǎn)，所謂CAD程序的鳥瞰圖(bird's eye view)功能。如上所述的對輸出到畫面顯示部2320的圖像進(jìn)行放大/縮小、移動、旋轉(zhuǎn)等的功能，可以由控制部370對應(yīng)主操縱器操作來進(jìn)行控制。畫面顯示部2320可以以監(jiān)控部6等形式實(shí)現(xiàn)，用于將接收圖像通過畫面顯示部2320以畫面圖像輸出的圖像處理程序，可以通過控制部370、畫面顯示控制部2350或單獨(dú)的圖像處理部(未圖示)執(zhí)行。本實(shí)施例涉及的畫面顯示部2320可以是實(shí)現(xiàn)各種技術(shù)的顯示器，例如，多視覺顯示器、UHDTV (7380X4320)等超高分辨率的監(jiān)控器。此外，本實(shí)施例涉及的畫面顯示部2320可以是3D顯示器。例如，本實(shí)施例涉及的畫面顯示部2320可以利用雙目視差原理使用戶分析左眼用和右眼用圖像來識別。這種3D圖像實(shí)現(xiàn)方式可以以眼鏡式(例如紅藍(lán)眼鏡方式(Anaglyph)、偏光眼鏡方式(被動式眼鏡)、快門眼鏡方式(主動式眼鏡)等)、雙凸透鏡方式、障礙法等不同方式來實(shí)現(xiàn)。畫面顯示部2320將輸入的內(nèi)窺鏡圖像輸出到特定區(qū)域。在此，特定區(qū)域可以是在畫面上具有規(guī)定大小及位置的區(qū)域。如上所述的這些特定區(qū)域可以對應(yīng)于內(nèi)窺鏡8的視覺變化來決定。畫面顯示控制部2350可以對應(yīng)于內(nèi)窺鏡8的視覺設(shè)定這些特定區(qū)域。S卩，畫面顯示控制部2350對應(yīng)于內(nèi)窺鏡8旋轉(zhuǎn)、移動等動作追蹤其視點(diǎn)，并反映這些,在畫面顯示部2320設(shè)定輸出內(nèi)窺鏡圖像的特定區(qū)域。臂操作部2330是使施術(shù)者能夠操作從機(jī)器人2的機(jī)器臂3的位置及功能的單元。如圖24所例示，臂操作部2330可以形成為手柄10形狀，但并不限定于該形狀，可以變更為用于實(shí)現(xiàn)相同目的的不同形狀來實(shí)現(xiàn)。例如，也可以部分形成為手柄形狀，其他部分形成為離合器按鈕等不同形狀，也還可以形成手指插入管或插入環(huán)，施術(shù)者手指能夠插入于該插入管或插入環(huán)并進(jìn)行固定，以便容易操作手術(shù)工具。施術(shù)者為了移動機(jī)器臂3及/或內(nèi)窺鏡8的位置或進(jìn)行手術(shù)操作而操作臂操作部2330時，操作信號生成部340生成與其相應(yīng)的操作信號，并傳送給從機(jī)器人2。操作信號可以通過有線或無線通信網(wǎng)傳送。操作信號生成部340利用根據(jù)施術(shù)者操作臂操作部340的相應(yīng)操作信息生成操作信號，生成的操作信號傳送給從機(jī)器人2，結(jié)果使得實(shí)際手術(shù)工具進(jìn)行對應(yīng)于操作信號的操作。而且，根據(jù)操作信號操作的實(shí)際手術(shù)工具的位置及操作形狀，施術(shù)者可以通過內(nèi)窺鏡8輸入的圖像來確認(rèn)。圖26是示出本發(fā)明的第一實(shí)施例涉及的體感式手術(shù)用圖像處理裝置的框圖。參照圖26，畫面顯示控制部2350可以包括內(nèi)窺鏡視點(diǎn)追蹤部351、圖像移動信息提取部353、圖像位置設(shè)定部355。內(nèi)窺鏡視點(diǎn)追蹤部351對應(yīng)于內(nèi)窺鏡8的移動及旋轉(zhuǎn)，追蹤內(nèi)窺鏡8的視點(diǎn)信息。在此，視覺信息表示內(nèi)窺鏡所視的視點(diǎn)(view point)，這些視點(diǎn)信息可以從所述手術(shù)機(jī)器人系統(tǒng)操作內(nèi)窺鏡8的信號 提取。即，視點(diǎn)信息可以由操作內(nèi)窺鏡8移動及旋轉(zhuǎn)運(yùn)動的信號來特定。這些內(nèi)窺鏡8操作信號在手術(shù)機(jī)器人系統(tǒng)生成并傳送到操作內(nèi)窺鏡8的機(jī)器臂3，所以利用這些信號，可以追蹤內(nèi)窺鏡8的所視方向。圖像移動信息提取部353利用內(nèi)窺鏡8的視點(diǎn)信息，來提取內(nèi)窺鏡圖像的移動信息。即，內(nèi)窺鏡8的視點(diǎn)信息可以包括有關(guān)被取得的內(nèi)窺鏡圖像的拍攝對象的位置變化量信息，從這些信息可以提取內(nèi)窺鏡圖像的移動信息。圖像位置設(shè)定部355利用提取的移動信息來設(shè)定輸出內(nèi)窺鏡圖像的畫面顯示部2320的特定區(qū)域。例如，若內(nèi)窺鏡8的視點(diǎn)信息變化為規(guī)定向量A，則有關(guān)患者內(nèi)部臟器的內(nèi)窺鏡圖像，對應(yīng)于該向量，來特定其移動信息，并利用該移動信息設(shè)定畫面顯示部2320的特定區(qū)域。若內(nèi)窺鏡圖像變化為規(guī)定向量B，則可以利用這些信息和畫面顯示部2320的尺寸、形狀、分辨率，來設(shè)定在畫面顯示部2320實(shí)際輸出內(nèi)窺鏡圖像的特定區(qū)域。圖27是示出本發(fā)明的第一實(shí)施例涉及的體感式手術(shù)用圖像處理裝置的流程圖。下面所要執(zhí)行的各步驟可以以畫面顯示控制部2350為主體進(jìn)行，但各步驟不必以描述順序的時間序列執(zhí)行。在步驟S511中，對應(yīng)于內(nèi)窺鏡8的移動及旋轉(zhuǎn)，追蹤作為有關(guān)內(nèi)窺鏡8所視視點(diǎn)的信息的內(nèi)窺鏡8的視點(diǎn)信息。視點(diǎn)信息根據(jù)操作內(nèi)窺鏡8移動及旋轉(zhuǎn)運(yùn)動的信號來特定，所以能夠追蹤內(nèi)窺鏡8的所視方向。
在步驟S513中，利用內(nèi)窺鏡8的視點(diǎn)信息，提取內(nèi)窺鏡圖像的移動信息，該內(nèi)窺鏡圖像的移動信息對應(yīng)于內(nèi)窺鏡圖像的拍攝對象的位置變化量。在步驟S515中，利用提取的移動信息，設(shè)定在畫面顯示部2320輸出內(nèi)窺鏡圖像的特定區(qū)域。即，若如上所述的特定內(nèi)窺鏡8的視點(diǎn)信息及內(nèi)窺鏡圖像的移動信息，則利用這些移動信息，設(shè)定在畫面顯示部2320輸出內(nèi)窺鏡圖像的特定區(qū)域。在步驟S517中，在畫面顯示部2320設(shè)定的特定區(qū)域輸出內(nèi)窺鏡圖像。圖28是示出根據(jù)本發(fā)明的第一實(shí)施例涉及的體感式手術(shù)用圖像處理方法輸出圖像的構(gòu)成圖。畫面顯示部2320可以是整個畫面，通過內(nèi)窺鏡8取得的內(nèi)窺鏡圖像2620可以輸出到畫面顯示部2320的特定位置，例如，內(nèi)窺鏡圖像2620的中心點(diǎn)位于坐標(biāo)X、Y。坐標(biāo)X、Y可對應(yīng)于內(nèi)窺鏡8視點(diǎn)的變化量來設(shè)定。例如，內(nèi)窺鏡8的視點(diǎn)信息及內(nèi)窺鏡圖像的移動量向左+1、向豎向-1的變化時，內(nèi)窺鏡圖像2620的中心點(diǎn)可以向坐標(biāo)X+l、Y-1的位置移動。圖29是示出本發(fā)明的第二··實(shí)施例涉及的手術(shù)機(jī)器人的框圖。參照圖29，示出了包括圖像輸入部2310、畫面顯示部2320、臂操作部2330、操作信號生成部340、畫面顯示控制部2350、圖像存儲部360、控制部370的主機(jī)器人1，和包括機(jī)器臂3、內(nèi)窺鏡8的從機(jī)器人
2。下面，主要說明與上述的區(qū)別。本實(shí)施例特征在于，在當(dāng)前時間，提取之前輸入存儲的內(nèi)窺鏡圖像并與當(dāng)前內(nèi)窺鏡圖像一同輸出到畫面顯示部2320，從而能夠向用戶通知有關(guān)內(nèi)窺鏡圖像變化的信息。圖像輸入部2310接收從手術(shù)用內(nèi)窺鏡以彼此不同時間點(diǎn)提供的第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像。在此，第一、第二等序數(shù)可以是用于區(qū)分彼此不同內(nèi)窺鏡圖像的識別號，第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像可以是內(nèi)窺鏡8在彼此不同時間點(diǎn)及視點(diǎn)拍攝的圖像。此外，圖像輸入部2310可以比先于第二內(nèi)窺鏡圖像接收第一內(nèi)窺鏡圖像。圖像存儲部360存儲該第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像。圖像存儲部360不僅存儲第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的實(shí)際圖像內(nèi)容的圖像信息，也存儲有關(guān)輸出到畫面顯示部2320的特定區(qū)域的信息。畫面顯示部2320向彼此不同區(qū)域輸出第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像，而畫面顯示控制部2350可以控制畫面顯示部2320，以便對應(yīng)于內(nèi)窺鏡8的彼此不同視點(diǎn)，將第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像向彼此不同區(qū)域輸出。在此，畫面顯示部2320可以輸出使彩度、亮度、顏色及畫面圖案中一種以上不同的第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像。例如，畫面顯示部2320將當(dāng)前輸入的第二內(nèi)窺鏡圖像以彩色圖像輸出，而過去圖像的第一內(nèi)窺鏡圖像以黑白圖像等輸出，從而能夠使用戶區(qū)分圖像。參照圖32，例示出了作為當(dāng)前輸入圖像的第二內(nèi)窺鏡圖像622以彩色圖像輸出于坐標(biāo)Χ1、Υ1，而作為過去輸入圖像的第一內(nèi)窺鏡圖像621形成有畫面圖案、即斜杠圖案而輸出于坐標(biāo)Χ2、Υ2。此外，作為之前圖像的第一內(nèi)窺鏡圖像可以繼續(xù)或僅在預(yù)定時間內(nèi)輸出。后者的情況，過去圖像僅在規(guī)定時間內(nèi)向畫面顯示部2320輸出，所以畫面顯示部2320可以持續(xù)更新為新的內(nèi)窺鏡圖像。圖30是示出本發(fā)明的第二實(shí)施例涉及的體感式手術(shù)用圖像處理裝置的框圖。參照圖30，畫面顯示控制部2350可以包括內(nèi)窺鏡視點(diǎn)追蹤部351、圖像移動信息提取部353、圖像位置設(shè)定部355、存儲圖像顯示部357。內(nèi)窺鏡視點(diǎn)追蹤部351對應(yīng)于內(nèi)窺鏡8的移動及旋轉(zhuǎn)來追蹤內(nèi)窺鏡8的視點(diǎn)信息，圖像移動信息提取部353利用內(nèi)窺鏡8的視點(diǎn)信息來提取上述內(nèi)窺鏡圖像的移動信息。圖像位置設(shè)定部355利用提取的移動信息來設(shè)定在畫面顯示部2320輸出內(nèi)窺鏡圖像的特定區(qū)域。在畫面顯示部2320輸出實(shí)時輸入的第二內(nèi)窺鏡圖像的期間，存儲圖像顯示部357提取存儲于存儲部360的第一內(nèi)窺鏡圖像向畫面顯不部2320輸出。由于第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的其輸出區(qū)域及圖像信息彼此不同，所以，存儲圖像顯示部357向畫面顯示部2320輸出作為過去圖像的第一內(nèi)窺鏡圖像，過去圖像是從圖像存儲部360提取這些信息而存儲的。圖31是示出本發(fā)明的第二實(shí)施例涉及的體感式手術(shù)用圖像處理方法的流程圖。下面描述的各步驟可以以畫面顯示控制部2350為主體進(jìn)行，大致可以區(qū)分為輸出第一內(nèi)窺鏡圖像的步驟和輸出第二內(nèi)窺鏡圖像的步驟，但如上所述的第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像可以同時輸出。在步驟S511中，對應(yīng)于內(nèi)窺鏡8的第一移動及旋轉(zhuǎn)信息,追蹤作為有關(guān)內(nèi)窺鏡8所視視點(diǎn)的信息的內(nèi)窺鏡8的視點(diǎn)信息。在步驟S513中，提取第一內(nèi)窺鏡圖像的移動信息，在步驟S515中，利用提取的移動信息，設(shè)定在畫面顯示部2320輸出內(nèi)窺鏡圖像的特定區(qū)域，在步驟S517中，在設(shè)定位置輸出第一內(nèi)窺鏡圖像。在步驟S519中，在圖像存儲部360存儲有關(guān)輸出的第一內(nèi)窺鏡圖像的信息及第一畫面位置。

在步驟S521中，對應(yīng)于內(nèi)窺鏡8的第二移動及旋轉(zhuǎn)信息,追蹤作為有關(guān)內(nèi)窺鏡8所視視點(diǎn)的信息的內(nèi)窺鏡8的視點(diǎn)信息。在步驟S522中，提取第二內(nèi)窺鏡圖像的移動信息，在步驟S523中，利用提取的移動信息，設(shè)定在畫面顯示部2320輸出內(nèi)窺鏡圖像的特定區(qū)域，在步驟S524中，在設(shè)定位置輸出第二內(nèi)窺鏡圖像。在步驟S525中，在圖像存儲部360存儲有關(guān)輸出的第二內(nèi)窺鏡圖像的信息及第一畫面位置。在步驟S526中，與第二內(nèi)窺鏡圖像一同向第一畫面位置輸出存儲于圖像存儲部360的第一內(nèi)窺鏡圖像。在此，第一內(nèi)窺鏡圖像可以與第二內(nèi)窺鏡圖像的彩度、亮度、顏色及畫面圖案中一種以上不同的輸出。圖33是示出本發(fā)明的第三實(shí)施例涉及的手術(shù)機(jī)器人的框圖。參照圖33，示出了包括圖像輸入部2310、畫面顯示部2320、臂操作部2330、操作信號生成部340、畫面顯示控制部2350、控制部370、圖像匹配部450的主機(jī)器人1，和包括機(jī)器臂3、內(nèi)窺鏡8的從機(jī)器人
2。下面，主要說明與上述的區(qū)別。本實(shí)施例的特征在于，能夠?qū)⑹中g(shù)時利用內(nèi)窺鏡實(shí)際拍攝的內(nèi)窺鏡圖像和預(yù)先生成并存儲于圖像存儲部360的手術(shù)工具的建模圖像各自或彼此匹配，或調(diào)節(jié)其尺寸等進(jìn)行圖像修改后，向用戶可觀察的畫面顯示部2320輸出。圖像匹配部450將通過圖像輸入部2320接收的內(nèi)窺鏡圖像和存儲于所述圖像存儲部360的有關(guān)手術(shù)工具的建模圖像進(jìn)行彼此匹配，并生成輸出圖像，且將其輸出到畫面顯示部2320。內(nèi)窺鏡圖像是利用內(nèi)窺鏡拍攝患者身體內(nèi)部的圖像，僅拍攝限定區(qū)域而獲得的圖像，所以包括手術(shù)工具的部分模樣的圖像。建模圖像是將整個手術(shù)工具的形狀以2D或3D圖像實(shí)施而生成的圖像。建模圖像可以是手術(shù)開始時間之前的特定時間、例如在初期設(shè)定狀態(tài)拍攝的手術(shù)工具圖像。建模圖像是通過計(jì)算機(jī)模擬手術(shù)技術(shù)生成的圖像，所以圖像匹配部450可以在實(shí)際內(nèi)窺鏡圖像上匹配示出的手術(shù)工具和建模圖像輸出。建模實(shí)際物體而獲得圖像的技術(shù)，與本發(fā)明的要旨有一定距離，故省略對其的詳細(xì)說明。此外，圖像匹配部450的具體功能、不同細(xì)節(jié)結(jié)構(gòu)等，在下面參照相關(guān)附圖進(jìn)行詳細(xì)說明。控制部370控制各構(gòu)成要素的動作，以便能夠執(zhí)行所述功能?？刂撇?70也可以執(zhí)行將通過圖像輸入部2310輸入的圖像轉(zhuǎn)換成通過畫面顯示部2320顯示的影像圖像。此夕卜，控制部360控制圖像匹配部450，以便根據(jù)臂操作部2330的操作而輸入相應(yīng)操作信息時，與其相應(yīng)的通過畫面顯示部2320輸出建模圖像。包含于內(nèi)窺鏡圖像中的實(shí)際手術(shù)工具是包含于通過內(nèi)窺鏡8輸入而傳送到主機(jī)器人I的圖像中的手術(shù)工具，是直接對患者身體實(shí)施手術(shù)行為的手術(shù)工具。與此相比，包含于建模圖像中的建模手術(shù)工具預(yù)先數(shù)學(xué)建模手術(shù)工具而以2D或3D圖像存儲于圖像存儲部360。內(nèi)窺鏡圖像的手術(shù)工具和建模圖像的建模手術(shù)工具，可以由根據(jù)施術(shù)者操作臂操作部2330而被主機(jī)器人I識別的操作信息(即有關(guān)手術(shù)工具移動、旋轉(zhuǎn)等的信息)控制?？梢酝ㄟ^操作信息決定實(shí)際手術(shù)工具和建模手術(shù)工具的其位置及操作形狀。參照圖36，內(nèi)窺鏡圖像2620與建模圖像2610相匹配而輸出在畫面顯示部2320的坐標(biāo)X、Y。建模圖像不僅包括手術(shù)工具圖像，也可以包括建?；颊吲K器而再構(gòu)成的圖像。即建模圖像包括參照從計(jì)算機(jī)斷層攝影檢查(CT、Computer Tomography)、磁共振(MR、Magnetic Resonance)、正電子發(fā)身寸斷層掃描(PET、Positron Emission Tomography)、單光子發(fā)射計(jì)算機(jī)斷層掃描(SPECT、Single Photon Emission Computed Tomography)、超聲波掃描(US、Ultrasonography)等圖像設(shè)備獲取的圖像再構(gòu)成的患者臟器表面的2D或3D圖像，此時，若將實(shí)際內(nèi)窺鏡圖像和計(jì)算機(jī)建模圖像進(jìn)行匹配，則可以向施術(shù)者進(jìn)一步提供包含手術(shù)部位的整個圖像。圖34是示出本發(fā)明的第三實(shí)施例涉及的體感式手術(shù)用圖像處理裝置的框圖。參照圖34，圖像匹配部450可以包括特性值運(yùn)算部451、建模圖像實(shí)現(xiàn)部453、重疊圖像處理部455。
特性值運(yùn)算部451利用由從機(jī)器人2的腹腔鏡8輸入提供的圖像及/或結(jié)合于機(jī)器臂3的實(shí)際手術(shù)工具的位置的坐標(biāo)信息等運(yùn)算特性值。實(shí)際手術(shù)工具的位置可以參照從機(jī)器人2的機(jī)器臂3的位置值來識別，有關(guān)該位置的信息，也可以自從機(jī)器人2提供給主機(jī)器人I。特性值運(yùn)算部451例如可以利用通過腹腔鏡8的圖像等運(yùn)算出腹腔鏡8的視角(F0V、Field of View)、放大率、視點(diǎn)(例如所視方向)、所視深度等，和實(shí)際手術(shù)工具的種類、方向、深度、彎曲程度等特性值。利用腹腔鏡8的圖像運(yùn)算特性值時，也可以利用提取包含于該圖像中的對象物的外輪廓線、形狀識別、用于識別傾斜角度等的圖像識別技術(shù)。此外，實(shí)際手術(shù)工具的種類等，也可以在機(jī)器臂3上結(jié)合該手術(shù)工具的過程等中預(yù)先輸入。建模圖像實(shí)現(xiàn)部453實(shí)現(xiàn)對應(yīng)于由特性值運(yùn)算部451運(yùn)算的特性值的建模圖像。有關(guān)建模圖像的數(shù)據(jù)可以從圖像存儲部360提取。即，建模圖像實(shí)現(xiàn)部453提取對應(yīng)于腹腔鏡8的特性值(視角(FOV、Field of View)、放大率、視點(diǎn)、所視深度等，和實(shí)際手術(shù)工具的種類、方向、深度、彎曲程度等)的有關(guān)手術(shù)工具等的建模圖像數(shù)據(jù)來實(shí)現(xiàn)建模圖像，以便與內(nèi)窺鏡圖像的手術(shù)工具等匹配。建模圖像實(shí)現(xiàn)部453提取對應(yīng)于由特性值運(yùn)算部451運(yùn)算的特性值的圖像的方法可以有多種。例如，建模圖像實(shí)現(xiàn)部453可以直接利用腹腔鏡8的特性值提取與其對應(yīng)的建模圖像。即，建模圖像實(shí)現(xiàn)部453可以參照所屬腹腔鏡8的視角、放大率等數(shù)據(jù)提取與其對應(yīng)的2D或3D建模手術(shù)工具圖像，并將其與內(nèi)窺鏡圖像進(jìn)行匹配。在此，如視角、放大率等特性值可以通過與根據(jù)最初設(shè)定值的基準(zhǔn)圖像進(jìn)行比較算出，或?qū)⒁来紊傻母骨荤R8圖像彼此進(jìn)行比較運(yùn)算。此外，根據(jù)其它實(shí)施例，建模圖像實(shí)現(xiàn)部453可以利用用于決定腹腔鏡8及機(jī)器臂3位置及操作形狀的操作信息提取建模圖像。即，如上所述的內(nèi)窺鏡圖像的手術(shù)工具可以由根據(jù)施術(shù)者操作臂操作部2330而被主機(jī)器人I識別的操作信息控制，對應(yīng)于內(nèi)窺鏡圖像的特性值的建模手術(shù)工具的位置及操作形狀可以根據(jù)操作信息決定。該操作信息可以按時間序列存儲在單獨(dú)的數(shù)據(jù)庫，建模圖像實(shí)現(xiàn)部453可以參照該數(shù)據(jù)庫識別實(shí)際手術(shù)工具的特性值，并與其對應(yīng)地提取有關(guān)建模圖像的信息。即，輸出到建模圖像中的手術(shù)工具的位置，可以利用手術(shù)工具的位置變更信號的累積數(shù)據(jù)來設(shè)定。例如，若有關(guān)作為手術(shù)工具中的一個手術(shù)器械的操作信息包括順時針方向旋轉(zhuǎn)90度及向延伸方向移動Icm的信息時,建模圖像實(shí)現(xiàn)部453對應(yīng)于該操作信息改變包含于建模圖像中的手術(shù)器械的形狀并進(jìn)行提取。在此，手術(shù)器械安裝在具有致動器的手術(shù)機(jī)器臂的前端部，驅(qū)動部(未圖示)所具有的驅(qū)動輪(未圖示)從致動器接收驅(qū)動力而動作，而與驅(qū)動輪連接的插入于手術(shù)患者體內(nèi)的操作物進(jìn)行規(guī)定動作，從而進(jìn)行手術(shù)。驅(qū)動輪形成為圓盤形，結(jié)合于致動器從而能夠接收驅(qū)動力。此外，驅(qū)動輪的數(shù)量可以對應(yīng)控制對象的數(shù)量來決定，這些驅(qū)動輪的技術(shù)，對于手術(shù)器械相關(guān)的技術(shù)人員來說是顯而 易見的，故省略詳細(xì)說明。重疊圖像處理部455為了防止實(shí)際拍攝的內(nèi)窺鏡圖像和建模圖像重疊而輸出建模圖像的部分圖像。即，內(nèi)窺鏡圖像包括手術(shù)工具的部分形狀，而建模圖像實(shí)現(xiàn)部453輸出與其對應(yīng)的建模手術(shù)工具時，重疊圖像處理部455確認(rèn)內(nèi)窺鏡圖像的實(shí)際手術(shù)工具圖像和建模手術(shù)工具圖像的重疊區(qū)域，并從建模手術(shù)工具圖像中刪除重疊部分，從而使兩個圖像彼此一致。重疊圖像處理部455從建模手術(shù)工具圖像中刪除建模手術(shù)工具圖像與實(shí)際手術(shù)工具圖像的重疊區(qū)域，從而處理重疊區(qū)域。例如，實(shí)際手術(shù)工具的全長為20cm，考慮特性值(視角(F0V、Field of View)、放大率、視點(diǎn)、所視深度等，和實(shí)際手術(shù)工具的種類、方向、深度、彎曲程度等)時內(nèi)窺鏡圖像的實(shí)際手術(shù)工具圖像的長度為3cm時，重疊圖像處理部455利用特性值，使建模圖像包含未輸出到內(nèi)窺鏡圖像中的建模手術(shù)工具圖像輸出。圖35是示出本發(fā)明的第三實(shí)施例涉及的體感式手術(shù)用圖像處理方法的流程圖。下面，主要說明與上述的區(qū)別。在步驟S131中，對手術(shù)對象及/或手術(shù)工具預(yù)先生成建模形狀并存儲。建模圖像可以通過計(jì)算機(jī)模擬技術(shù)建模，本實(shí)施例也可以利用單獨(dú)的建模圖像生成裝置生成建模圖像。在步驟S132中，特性值運(yùn)算部351運(yùn)算出內(nèi)窺鏡圖像的特性值。如上所述，特性值運(yùn)算部351利用由從機(jī)器人2的腹腔鏡8輸入提供的圖像及/或結(jié)合于機(jī)器臂3的實(shí)際手術(shù)工具的位置的坐標(biāo)信息等運(yùn)算特性值，特性值可以是腹腔鏡8的視角(FOV、Field ofView)、放大率、視點(diǎn)例如所視方向)、所視深度等，和實(shí)際手術(shù)工具的種類、方向、深度、彎曲
程度等。在步驟S133中，圖像匹配部450對應(yīng)于內(nèi)窺鏡圖像提取建模圖像，并處理重疊部分使兩個圖像彼此匹配之后向畫面顯示部2320輸出。在此，其輸出時間可以設(shè)定為多種多樣，內(nèi)窺鏡圖像和建模圖像最初在彼此相同時間輸出，或內(nèi)窺鏡圖像輸出之后建模圖像一同輸出等。圖37是示出本發(fā) 明的第四實(shí)施例涉及的手術(shù)機(jī)器人的主界面的概念圖。參照圖37，主界面4可以包括監(jiān)控部6、手柄10、監(jiān)控器驅(qū)動單元12、移動槽13。下面，主要說明與上述的區(qū)別。本實(shí)施例的特征在于，對應(yīng)于如上所述的不斷變化的內(nèi)窺鏡8的視點(diǎn)，使主界面4的監(jiān)控部6旋轉(zhuǎn)及移動，從而能夠使用戶更生動地感受到手術(shù)的真實(shí)感。監(jiān)控器驅(qū)動單元12的一端與監(jiān)控部6結(jié)合，另一端與主界面4的本體部結(jié)合，通過對監(jiān)控部6施加驅(qū)動力，使驅(qū)動部6旋轉(zhuǎn)及移動。在此,旋轉(zhuǎn)是不同軸(X、Y、Z)中心的旋轉(zhuǎn)，即，可以包括俯仰(pitch)、翻滾(roll)、偏轉(zhuǎn)(yaw)軸的旋轉(zhuǎn)。參照圖37,示出了通過偏轉(zhuǎn)軸的旋轉(zhuǎn)。此外，監(jiān)控器驅(qū)動單元12沿著位于監(jiān)控部6下端的主界面4本體部形成的移動槽13移動(B方向)，從而能夠使監(jiān)控部6根據(jù)內(nèi)窺鏡8的視點(diǎn)移動。移動槽13面向用戶的方向凹陷形成，從而監(jiān)控部6沿著移動槽13移動時能夠使監(jiān)控部6的前面始終面向用戶。圖38是示出本發(fā)明的第四實(shí)施例涉及的手術(shù)機(jī)器人的框圖。參照圖38，示出了包括圖像輸入部2310、畫面顯示部2320、臂操作部2330、操作信號生成部340、控制部370、畫面驅(qū)動控制部380、畫面驅(qū)動部390的主機(jī)器人1，和包括機(jī)器臂3、內(nèi)窺鏡8的從機(jī)器人2。下面，主要說明與上述的區(qū)別。畫面驅(qū)動部390是使如上述監(jiān)控部6的畫面顯示部2320旋轉(zhuǎn)及移動的單元，例如，可以包括電機(jī)、監(jiān)控部6支承單元等。畫面驅(qū)動控制部380可以控制畫面驅(qū)動部390，以便畫面驅(qū)動部390使畫面顯示部2320對應(yīng)于內(nèi)窺鏡8的視點(diǎn)旋轉(zhuǎn)及移動。畫面驅(qū)動部390可以包括所述電機(jī)驅(qū)動單元12，使監(jiān)控部6沿著移動槽13移動。參照圖39，畫面驅(qū)動控制部380可以包括:內(nèi)窺鏡視點(diǎn)追蹤部381，對應(yīng)于內(nèi)窺鏡8的移動及旋轉(zhuǎn)，追蹤內(nèi)窺鏡8的視點(diǎn)信息；圖像移動信息提取部383，利用內(nèi)窺鏡8的視點(diǎn)信息，提取內(nèi)窺鏡圖像的移動信息；驅(qū)動信息生成部385，利用移動信息，生成畫面顯示部2320的建模信息(畫面驅(qū)動信息)。利用在驅(qū)動信息生成部385生成的畫面顯示部2320的建模信息，畫面驅(qū)動部390如上所述的驅(qū)動畫面顯示部2320。此外，根據(jù)另一實(shí)施例，畫面驅(qū)動部390也可以根據(jù)用戶命令驅(qū)動。例如，畫面驅(qū)動控制部380可以由用戶界面、例如由用戶可操作的開關(guān)(ex.腳踏板開關(guān))代替，此時，也可以根據(jù)用戶操作，控制畫面驅(qū)動部30的旋轉(zhuǎn)及移動。該畫面驅(qū)動部390的動作，也可以通過觸摸屏進(jìn)行控制。例如，畫面顯示部2320由觸摸屏實(shí)現(xiàn)，若用戶利用手指等觸摸畫面顯示部2320的狀態(tài)下向規(guī)定方向拖動，則畫面顯示部2320也可以相應(yīng)地旋轉(zhuǎn)及移動。此外，也可以追蹤用戶眼睛，或者利用根據(jù)接面部的移動方向生成的旋轉(zhuǎn)/移動信號或根據(jù)語音命令生成的旋轉(zhuǎn)/移動信號等，控制畫面顯示部2320的建模。圖40是示出本發(fā)明的第四實(shí)施例涉及的體感式手術(shù)用圖像處理方法的流程圖。下面所要執(zhí)行的各步驟可以以畫面驅(qū)動控制部380為主體進(jìn)行。在步驟S181中，對應(yīng)于內(nèi)窺鏡8的移動及旋轉(zhuǎn)，追蹤作為有關(guān)內(nèi)窺鏡8所視視點(diǎn)的信息的內(nèi)窺鏡8的視點(diǎn)信息。在步驟S182中，利用內(nèi)窺鏡8的視點(diǎn)信息，提取內(nèi)窺鏡圖像的移動信息，該內(nèi)窺鏡圖像的移動信息對應(yīng)于內(nèi)窺鏡圖像的拍攝對象的位置變化量。在步驟S183中，利用內(nèi)窺鏡8的視點(diǎn)信息及/或提取的移動信息，生成所述畫面驅(qū)動信息。即，若如上所述的特定內(nèi)窺鏡8的視點(diǎn)信息及內(nèi)窺鏡圖像的移動信息，則利用該移動信息生成使畫面顯示部2320移動及旋轉(zhuǎn)的信息。在步驟S814中，使畫面顯示部2320對應(yīng)畫面驅(qū)動信息移動及旋轉(zhuǎn)。圖41是示出本發(fā)明的第五實(shí)施例涉及的手術(shù)機(jī)器人的主界面的概念圖。參照圖41，示出了拱頂屏幕191、投影儀192、工作臺193、第一內(nèi)窺鏡圖像621、第二內(nèi)窺鏡圖像622。本實(shí)施例的特征在于，利用拱頂屏幕191和投影儀192實(shí)現(xiàn)如上所述的在畫面顯示部2320的特性區(qū)域輸出內(nèi)窺鏡圖像的功能，從而用戶通過寬屏幕能夠更快更方便地確認(rèn)手術(shù)狀況。投影儀192將內(nèi)窺鏡圖像投射到拱頂屏幕191。在此，內(nèi)窺鏡圖像可以是被投射的圖像前端部的形狀為球形的球形圖像。在此，球形并不僅表示嚴(yán)格數(shù)學(xué)意義上的球形，可以包括橢圓形、截面為曲線形狀、部分球形等各種形態(tài)。拱頂屏幕191包括:開放的前面端部；內(nèi)部拱頂面，呈半球形狀，以反射投影儀12投射的圖像。拱頂屏幕191尺寸可以是用戶便于觀看的尺寸，例如，其直徑為Im 2m左右。拱頂屏幕191的內(nèi)部拱頂面可以分別按區(qū)域進(jìn)行表面處理，或具有半球形狀。此外，拱頂屏眷191可以形成為，以其中心軸為中心軸對稱，用戶視線位于拱頂屏眷191的中心軸。投影儀192可位于進(jìn)行手術(shù)的用戶和拱頂屏幕191之間，以防止用戶遮擋投射的圖像。此外，為了防止用戶遮擋工作時投射的圖像，且確保工作臺空間，投影儀192可以安裝在工作臺530的底面。內(nèi)部拱頂面可以由反射率高的物質(zhì)形成或涂敷該物質(zhì)。利用這些拱頂屏幕191和投影儀192時，如上所述的可以對應(yīng)于內(nèi)窺鏡8的不同視點(diǎn)，向拱頂屏幕191的特定區(qū)域投射第一內(nèi)窺鏡圖像621和第二內(nèi)窺鏡圖像622。圖42是示出本發(fā)明的第六實(shí)施例涉及的體感式手術(shù)用圖像處理裝置的框圖。參照圖42，畫面顯示控制部2350可以包括內(nèi)窺鏡視點(diǎn)追蹤部351、圖像移動信息提取部353、圖像位置設(shè)定部355、存儲圖像顯示部357、連續(xù)圖像生成部352和周邊圖像生成部354。下面，主要說明與上述的區(qū)別。本實(shí)施例具有如下特征，使手 術(shù)用內(nèi)窺鏡的一端旋轉(zhuǎn)，從而能夠獲得多個圖像，以確保用戶寬視角。即，本實(shí)施例的特征在于，使手術(shù)用內(nèi)窺鏡的一端旋轉(zhuǎn)以形成規(guī)定軌跡，從而不僅可以獲得手術(shù)部位圖像，還可以獲得周邊圖像，能夠使用戶觀看更寬部位。
連續(xù)圖像生成部352提取從手術(shù)用內(nèi)窺鏡獲取的第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的重疊區(qū)域，而生成連續(xù)圖像。第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像可以是從旋轉(zhuǎn)的手術(shù)用內(nèi)窺鏡以彼此不同時間點(diǎn)提供的圖像。參照圖44，手術(shù)用內(nèi)窺鏡221以旋轉(zhuǎn)軸A為中心傾斜旋轉(zhuǎn)，從而能夠獲取多個內(nèi)窺鏡圖像。手術(shù)用內(nèi)窺鏡221的一端以形成不同軌跡的旋轉(zhuǎn)，例如，作為以規(guī)定長度延伸的手術(shù)用內(nèi)窺鏡221的一端的光入射部(鏡頭部分)形成旋轉(zhuǎn)軌跡，另一端位于旋轉(zhuǎn)軸上，所以整體以圓錐體或多角錐體形狀旋轉(zhuǎn)，一端的旋轉(zhuǎn)軌跡可以為圓形、橢圓形、三角形、矩形、其它多邊形、閉合圖形(closed figure)等各種形狀。在此，閉合圖形也可以理解為包括閉合曲線的概念。此外，手術(shù)用內(nèi)規(guī)鏡221旋轉(zhuǎn)速度及時間可以根據(jù)需要決定。例如，手術(shù)用內(nèi)規(guī)鏡221的一端可以周期性地進(jìn)行旋轉(zhuǎn)，或根據(jù)用戶操作的任意方式相應(yīng)地旋轉(zhuǎn)。在此，‘周期性’的意思是，可以包括手術(shù)用內(nèi)窺鏡221以恒速進(jìn)行圓形運(yùn)動的情況。此外，‘周期性’的意思是，也可以包括旋轉(zhuǎn)狀態(tài)和非旋轉(zhuǎn)狀態(tài)周期性重復(fù)的情況。此外，根據(jù)圖45所示的實(shí)施例，手術(shù)用內(nèi)窺鏡221具有彎曲形狀，以旋轉(zhuǎn)軸A為中心旋轉(zhuǎn)時，手術(shù)用內(nèi)窺鏡221的一端可以形成規(guī)定軌跡的旋轉(zhuǎn)。此時，手術(shù)用內(nèi)窺鏡221可以包括:第一軸222,以與旋轉(zhuǎn)軸A重疊狀態(tài)延伸；第二軸223,—端結(jié)合有光入射部，以與第一軸222隔開狀態(tài)向旋轉(zhuǎn)軸A方向延伸；軸連接部224，與旋轉(zhuǎn)軸A方向不平行延伸，用于連接第一軸222的一端和第二軸223的另一端。此外，光入射部的旋轉(zhuǎn)軌跡可以為圓形、橢圓形、三角形、矩形、其它多邊形、閉合圖形(closed figure)等各種形狀。

在此，手術(shù)用內(nèi)窺鏡221的旋轉(zhuǎn)方向、旋轉(zhuǎn)程度、旋轉(zhuǎn)軌跡形狀、旋轉(zhuǎn)軌跡大小、旋轉(zhuǎn)速度等旋轉(zhuǎn)相關(guān)屬性，可以預(yù)先程序化而存儲在存儲部(未圖示)。畫面顯示控制部2350可以參照預(yù)先存儲的旋轉(zhuǎn)相關(guān)屬性，提取多個圖像的重疊區(qū)域，并將這些區(qū)域以連續(xù)圖像生成。例如，提取手術(shù)用內(nèi)窺鏡221的視角為70度、旋轉(zhuǎn)軌跡為圓形、旋轉(zhuǎn)軌跡為半徑2cm時拍攝的圖像的重疊部分，被提取的重疊圖像可以是可持續(xù)看到的連續(xù)圖像。周邊圖像生成部354提取第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的非重疊區(qū)域而生成周邊圖像。非重疊區(qū)域可以是所述第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像彼此不重疊的區(qū)域。而且，該區(qū)域可以是預(yù)定的區(qū)域。例如，可以將圖46中除了預(yù)定的連續(xù)圖像232之外的區(qū)域的圖像設(shè)定為非重疊區(qū)域的周邊圖像231。參照圖46，示出了重疊被連續(xù)拍攝而持續(xù)看到的連續(xù)圖像232，和不重疊而作為周邊圖像處理的圖像231。各圓形表示彼此不同的內(nèi)窺鏡圖像，為了區(qū)分彼此，可以稱為第一內(nèi)窺鏡圖像或第二內(nèi)窺鏡圖像。連續(xù)圖像232是在畫面上連續(xù)地持續(xù)看到的圖像，周邊圖像232是僅在非連續(xù)拍攝時看到的圖像。為了區(qū)分顯示這些，連續(xù)圖像232顯示為明亮清晰，周邊圖像231顯示為與此不同。即，連續(xù)圖像232和周邊圖像231的亮度、彩度和顏色等可以彼此不同的顯示。參照圖47，連續(xù)圖像232可以是預(yù)定區(qū)域的圖像。即，如圖46所示，若只將所有周邊圖像232重疊的區(qū)域的圖像設(shè)定為連續(xù)圖像232時，主要看到的連續(xù)圖像232的尺寸可能變小，所以也可以將多個周邊圖像232、例如2 3個左右周邊圖像231重疊的區(qū)域的圖像設(shè)定為連續(xù)圖像232。此時，連續(xù)圖像232包括與周邊圖像232相比相對連續(xù)圖像的信息，拍攝區(qū)域的尺寸可以比所有周邊圖像231重疊的區(qū)域的尺寸大。圖43是示出本發(fā)明的第六實(shí)施例涉及的體感式手術(shù)用圖像處理方法的流程圖。下面所要執(zhí)行的各步驟可以以畫面顯示控制部2350為主體進(jìn)行。在步驟S211中，圖像輸入部2310從旋轉(zhuǎn)的手術(shù)用內(nèi)窺鏡221接收以彼此不同時間點(diǎn)提供的第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像。在此，畫面顯示控制部2350如上所述的對應(yīng)于手術(shù)用內(nèi)窺鏡221 —端的移動及旋轉(zhuǎn)，追蹤作為手術(shù)用內(nèi)窺鏡221所視視點(diǎn)的信息的手術(shù)用內(nèi)窺鏡221的視點(diǎn)信息。在步驟S212中，利用手術(shù)用內(nèi)窺鏡221的視點(diǎn)信息，提取內(nèi)窺鏡圖像的移動信息，該內(nèi)窺鏡圖像的移動信息對應(yīng)于內(nèi)窺鏡圖像的拍攝對象的位置變化量。在步驟S213中 ，利用手術(shù)用內(nèi)窺鏡221的視點(diǎn)信息及/或提取的移動信息，設(shè)定輸出第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的畫面位置。即，若如上所述的特定手術(shù)用內(nèi)窺鏡221的視點(diǎn)信息及內(nèi)窺鏡圖像的移動信息，則利用這些移動信息，設(shè)定在畫面顯示部2320輸出第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像的畫面位置。在步驟S214中，在作為畫面顯示部2320的設(shè)定位置的彼此不同區(qū)域輸出第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像。圖48是示出本發(fā)明的第七實(shí)施例涉及的輔助內(nèi)窺鏡的旋轉(zhuǎn)動作的示意圖。參照圖48，不出了手術(shù)用內(nèi)規(guī)鏡241、輔助內(nèi)規(guī)鏡242、結(jié)合部243。本實(shí)施例還設(shè)置在手術(shù)用內(nèi)窺鏡241周圍旋轉(zhuǎn)的輔助內(nèi)窺鏡242，以取得多個內(nèi)窺鏡圖像，從而如上所述的可以生成連續(xù)圖像和周邊圖像。即，輔助內(nèi)窺鏡242在手術(shù)用內(nèi)窺鏡241周圍旋轉(zhuǎn)的同時獲取內(nèi)窺鏡圖像，從而從重疊圖像和非重疊圖像獲取連續(xù)圖像和周邊圖像。輔助內(nèi)窺鏡242可旋轉(zhuǎn)的結(jié)合于手術(shù)用內(nèi)窺鏡241的一側(cè)、例如側(cè)面。輔助內(nèi)窺鏡242也可以適用通過鏡頭接收光而犾取圖像的普通內(nèi) 見鏡結(jié)構(gòu)。在此，可以將由手術(shù)用內(nèi)窺鏡241獲取的圖像稱為第一內(nèi)窺鏡圖像，由輔助內(nèi)窺鏡242獲取的圖像稱為第二內(nèi)窺鏡圖像。此外，輔助內(nèi)窺鏡242以中心軸A為中心與手術(shù)用內(nèi)窺鏡241可拆裝地結(jié)合，或與手術(shù)用內(nèi)窺鏡241 —體結(jié)合。前者的情況具有如下優(yōu)點(diǎn)，輔助內(nèi)窺鏡242可以在患者體外與手術(shù)用內(nèi)窺鏡241結(jié)合，或獨(dú)立于手術(shù)用內(nèi)窺鏡241插入到患者體內(nèi)之后在其內(nèi)與手術(shù)用內(nèi)窺鏡241結(jié)合,從而獲取所述第一內(nèi)窺鏡圖像和第二內(nèi)窺鏡圖像。此外，根據(jù)另一實(shí)施例，可以將手術(shù)用內(nèi)窺鏡241的第一內(nèi)窺鏡圖像設(shè)定為連續(xù)圖像，輔助內(nèi)窺鏡242的第二內(nèi)窺鏡圖像設(shè)定為周邊圖像。即，本實(shí)施例具有如下優(yōu)點(diǎn)，不必提取重疊區(qū)域，而生成連續(xù)圖像和周邊圖像，從而縮短圖像處理時間。圖49是示出本發(fā)明的第八實(shí)施例涉及的手術(shù)機(jī)器人的主界面的概念圖。參照圖49，所述主界面4可以包括監(jiān)控部6、手柄10、空間移動驅(qū)動部25。下面，主要說明與上述的區(qū)別。本實(shí)施例具有如下特征，為了使監(jiān)控部6在空間上自由旋轉(zhuǎn)及移動的，監(jiān)控部6結(jié)合于在空間上可自由運(yùn)動的空間移動驅(qū)動部25。在此，監(jiān)控部6可以是所述畫面顯示部2320。
空間移動驅(qū)動部25的一端結(jié)合于監(jiān)控部6，另一端結(jié)合于主界面4的本體部，通過向監(jiān)控部6施加驅(qū)動力，使監(jiān)控部6在空間上旋轉(zhuǎn)及移動。在此，旋轉(zhuǎn)可以包括對應(yīng)于空間移動驅(qū)動部25所具有的多個關(guān)節(jié)數(shù)量以不同軸(X、Y、Z)中心的旋轉(zhuǎn)、即，俯仰(pitch)、翻滾(roll)、偏轉(zhuǎn)(yaw)軸的旋轉(zhuǎn)?？臻g移動驅(qū)動部25可以以機(jī)器臂形式實(shí)現(xiàn)，具有如下特征，通過手柄10操作，或?qū)?yīng)于如上所述的不斷變化的手術(shù)用內(nèi)窺鏡的視點(diǎn)旋轉(zhuǎn)及移動主界面4的監(jiān)控部6，從而使用戶更生動地感受到手術(shù)的真實(shí)感。此外，本發(fā)明的另一實(shí)施例還可以包括旋轉(zhuǎn)操作部(未圖示)，該旋轉(zhuǎn)操作部使所述手術(shù)用內(nèi)窺鏡221及/或輔助內(nèi)窺鏡242旋轉(zhuǎn)。旋轉(zhuǎn)操作部可以是用戶決定有關(guān)內(nèi)窺鏡旋轉(zhuǎn)的信息，例如旋轉(zhuǎn)方向、旋轉(zhuǎn)角速度、加減速形式、旋轉(zhuǎn)速度、旋轉(zhuǎn)時間起始點(diǎn)、旋轉(zhuǎn)時間結(jié)束點(diǎn)、旋轉(zhuǎn)時間長度、旋轉(zhuǎn)方向、旋轉(zhuǎn)半徑等旋轉(zhuǎn)相關(guān)信息。在此，旋轉(zhuǎn)方向是內(nèi)窺鏡旋轉(zhuǎn)的方向，如順時針方向或逆時針方向，加減速形式表示直線、S轉(zhuǎn)彎、指數(shù)函數(shù)形式等內(nèi)窺鏡以各種形式旋轉(zhuǎn)的形態(tài)。此外，旋轉(zhuǎn)角速度和旋轉(zhuǎn)速度是手術(shù)用內(nèi)窺鏡221或輔助內(nèi)窺鏡242的一端旋轉(zhuǎn)的速度，旋轉(zhuǎn)時間起始點(diǎn)是開始旋轉(zhuǎn)的時間信息，旋轉(zhuǎn)時間結(jié)束點(diǎn)是結(jié)束旋轉(zhuǎn)的時間信息。此外，旋轉(zhuǎn)半徑是手術(shù)用內(nèi)窺鏡221以圓錐形旋轉(zhuǎn)時旋轉(zhuǎn)軸與手術(shù)用內(nèi)窺鏡221的一端之間的距離，彎曲內(nèi)窺鏡時，軸連接部224的長度，輔助內(nèi)窺鏡242與手術(shù)用內(nèi)窺鏡241的隔開距離。旋轉(zhuǎn)操作部可以包括用戶能夠操作的界面，例如，界面可以由操縱桿形式、按鈕形式、鍵盤、跟蹤球、觸摸屏等用于操作機(jī)器臂及/或其它手術(shù)設(shè)備的各種形式實(shí)現(xiàn)。用戶利用該界面設(shè)定旋轉(zhuǎn)相關(guān)信息并輸入該信息時，手術(shù)用內(nèi)窺鏡221以圓錐形狀旋轉(zhuǎn)或以第一軸222為中心旋轉(zhuǎn),從而使其一端旋轉(zhuǎn),而且輔助內(nèi)窺鏡242也可以以手術(shù)用內(nèi)窺鏡241為中心軸進(jìn)行旋轉(zhuǎn)。除此之外，本發(fā)明的實(shí)施例涉及的體感式手術(shù)用圖像處理裝置的有關(guān)具體規(guī)格、嵌入式系統(tǒng)、Ο/S等共同平臺技術(shù)和通信協(xié)議、I/O界面等界面標(biāo)準(zhǔn)化技術(shù)及致動器、電池、攝像機(jī)、傳感器等零件標(biāo)準(zhǔn)化技術(shù)等的詳細(xì)說明，對于本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員來說是顯而易見的，故省略詳細(xì)說明。本發(fā)明涉及的體感式手術(shù)用圖像處理方法，可以由通過各種計(jì)算機(jī)單元執(zhí)行的程序命令形式實(shí)現(xiàn)，并存儲在計(jì)算機(jī)可讀介質(zhì)中。即，記錄介質(zhì)可以是記錄用于在計(jì)算機(jī)上執(zhí)行所述各步驟的程序的計(jì)算機(jī)可讀記錄介質(zhì)。所述計(jì)算機(jī)可讀介質(zhì)可以單獨(dú)或組合形式包括程序命令、數(shù)據(jù)文件、數(shù)據(jù)結(jié)構(gòu)等。記錄在所述介質(zhì)的程序命令可以是為本發(fā)明而特別設(shè)計(jì)構(gòu)成的，或者也可以是對于計(jì)算機(jī)軟件技術(shù)人員來說公知的。作為計(jì)算機(jī)可讀記錄介質(zhì)的例，包括如硬盤、軟盤及磁帶的磁介質(zhì)(Magnetic Media)、如CD-ROM、DVD的光學(xué)介質(zhì)(Optical Media)、如軟式光盤(Floptical Disk)的磁光介質(zhì)(Magneto-Optical Media)及如只讀存儲器(ROM)、隨機(jī)存取存儲器(RAM)、閃存等存儲并執(zhí)行程序命`令的特別構(gòu)成的硬件裝置。所述介質(zhì)也可以是包括傳送用于指定程序命令、數(shù)據(jù)結(jié)構(gòu)等信號的搬送波的光或金屬線、波導(dǎo)管等傳送介質(zhì)。作為程序命令的例，不僅包括由編譯器生成的機(jī)械語言代碼，還包括使用解析程序等通過計(jì)算機(jī)執(zhí)行的高級語言代碼。所述硬件裝置為了執(zhí)行本發(fā)明的動作可以作為一個以上的軟件模塊動作的構(gòu)成。
在上述參照本發(fā)明的優(yōu)選實(shí)施例進(jìn)行了說明，但對于該技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不超出權(quán)利要求書記載的本發(fā)明的思想及區(qū)域的范圍內(nèi)，本發(fā)明可以進(jìn)行多種修改和變 更。
權(quán)利要求
1.一種手術(shù)機(jī)器人，利用操作信號控制視覺部，其包括: 拍攝部，拍攝對象物而生成圖像數(shù)據(jù)； 角度及距離算出部，解析在包含于所述圖像數(shù)據(jù)中的面部中兩眼中心點(diǎn)的連接線與畫面中心線所形成的內(nèi)角大小及旋轉(zhuǎn)方向，并與根據(jù)之前拍攝的圖像數(shù)據(jù)解析出的內(nèi)角大小及旋轉(zhuǎn)方向進(jìn)行比較，從而生成所述面部旋轉(zhuǎn)方向及旋轉(zhuǎn)角度的位移量信息；以及 操作命令生成部，生成并輸出操作命令以與所述位移量信息相應(yīng)地操作所述視覺部。
2.如權(quán)利要求1所述的手術(shù)機(jī)器人，其特征在于， 所述角度及距離算出部還算出根據(jù)之前拍攝的圖像數(shù)據(jù)解析出的所述面部內(nèi)的基準(zhǔn)點(diǎn)與根據(jù)所述圖像數(shù)據(jù)解析出的面部內(nèi)的基準(zhǔn)點(diǎn)之間的距離信息， 算出的所述距離信息包含于所述位移量信息，以用于所述視覺部的平行移動操作。
3.如權(quán)利要求1所述的手術(shù)機(jī)器人，其特征在于， 所述角度及距離算出部還算出根據(jù)之前拍攝的圖像數(shù)據(jù)解析出的所述面部內(nèi)的兩眼間距與根據(jù)所述圖像數(shù)據(jù)解析出的所述面部內(nèi)的兩眼間距之間的變化量， 所述兩眼間距之間的變化量包含于所述位移量信息，以用于調(diào)節(jié)所述視覺部的圖像倍率。
4.如權(quán)利要求1所述的手術(shù)機(jī)器人，其特征在于， 所述視覺部是腹腔鏡、胸腔鏡、關(guān)節(jié)鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的一種以上。
5.如權(quán)利要求4所述的手術(shù)機(jī)器人，其特征在于， 所述視覺部是用于獲得三維圖像的裝置。
6.如權(quán)利要求5所述的手術(shù)機(jī)器人，其特征在于， 當(dāng)所述視覺部為用于獲得三維圖像的裝置時，其根據(jù)面部和眼睛的位置調(diào)節(jié)三維圖像處理所需的左/右圖像重疊程度。
7.如權(quán)利要求1所述的手術(shù)機(jī)器人，還包括: 存儲部，用于存儲認(rèn)證用戶的照片圖像；以及 判斷部，算出包含于所述圖像數(shù)據(jù)中的面部特征要素和包含于所述照片圖像中的面部特征要素之間的類似度，并在算出的類似度大于等于預(yù)定值時，控制所述操作命令生成部生成并輸出所述操作命令。
8.如權(quán)利要求7所述的手術(shù)機(jī)器人，其特征在于， 所述面部特征要素是構(gòu)成部位的位置及模樣、瞳孔顏色、面部模樣、皮膚顏色、皺紋形狀、紅暈中的一個以上， 所述構(gòu)成部位是眼睛、眉毛、鼻子和嘴中的一個以上。
9.如權(quán)利要求1所述的手術(shù)機(jī)器人，其特征在于，還包括: 存儲部，用于存儲有效用戶信息，該有效用戶信息是面部輪廓所處的區(qū)域信息及包含于圖像數(shù)據(jù)中的面部大小的基準(zhǔn)值中的一種以上； 判斷部，判斷包含于所述圖像數(shù)據(jù)中的面部是否滿足所述有效用戶信息，在滿足時，控制所述操作命令生成部生成并輸出所述操作命令。
10.如權(quán)利要求1所述的手術(shù)機(jī)器人，其特征在于，還包括: 判斷部，判斷包含于所述圖像數(shù)據(jù)中的面部運(yùn)動狀態(tài)是否保持規(guī)定時間以上，當(dāng)所述面部運(yùn)動狀態(tài)保持規(guī)定時間以上 時，控制所述操作命令生成部生成并輸出所述操作命令。
全文摘要
公開了一種手術(shù)機(jī)器人系統(tǒng)及其腹腔鏡操作方法。手術(shù)機(jī)器人系統(tǒng)包括接面部，向與接觸的施術(shù)者面部的運(yùn)動方向及大小相對應(yīng)的方向及大小游動；運(yùn)動檢測部，輸出對應(yīng)于接面部游動方向及大小的傳感信息；操作命令生成部，利用傳感信息生成并輸出有關(guān)視覺部的位置及圖像輸入角度中的一個以上的操作命令。該手術(shù)機(jī)器人僅通過施術(shù)者想看到所需手術(shù)部位的行為就能夠控制腹腔鏡的位置及圖像輸入角度。
文檔編號A61B1/313GK103188987SQ201180052600
公開日2013年7月3日 申請日期2011年10月28日 優(yōu)先權(quán)日2010年11月2日
發(fā)明者崔勝旭, 閔東明, 李珉奎 申請人:伊頓株式會社