本發(fā)明涉及機器人控制技術，具體涉及一種應用于立體定向手術機器人的增強現(xiàn)實裝置及其控制方法。

背景技術：

隨著計算機技術、光學跟蹤技術和機器人技術的發(fā)展，適用于不同需求的外科手術機器人被不斷地開發(fā)出來。當前在腦神經(jīng)外科領域應用的手術機器人一般用于輔助醫(yī)生對患者顱內病灶或靶點的定位定向引導，由于其能夠實現(xiàn)三維空間內的定位定向，故該類手術機器人被稱為立體定向手術機器人。

當前已經(jīng)商業(yè)化的立體定向手術機器人有Renaissance，NeuroMate和Rosa等，其中應用最廣泛的是Rosa手術機器人。Rosa手術機器人是使用固定在機械臂末端的激光測距儀掃描患者頭部得到一群表征頭皮表面的三維點云數(shù)據(jù)，通過配準將術中患者頭部和術前通過核磁成像提取的表面對齊，再將在影像坐標系中規(guī)劃的立體定向手術方案映射到患者身上，機械臂按照術前規(guī)劃手術路徑為醫(yī)生提供定位定向輔助引導。Rosa等商業(yè)化立體定向手術機器人在執(zhí)行手術路徑定位定向引導時，尚沒有將路徑入點周圍的重要的結構信息(比如顱內的血管、腦溝回結構、功能區(qū)等)投射到患者頭部進行增強現(xiàn)實顯示的功能。對醫(yī)生來說缺少對手術路徑直觀的觀察，對患者來說存在一定的風險。

因此研制開發(fā)一種既能在線獲取患者頭部表面數(shù)據(jù)用于配準，同時還能夠在患者頭部準確的投射感興趣區(qū)域內部和周圍的重要結構信息，對這些重要結構進行增強現(xiàn)實的裝置，是亟需解決的技術問題。

技術實現(xiàn)要素：

為了能在線獲取成像目標表面數(shù)據(jù)用于配準，同時還能夠在成像目標準確的投射感興趣區(qū)域內部和周圍的重要結構信息，本發(fā)明提出了一種應用于立體定向手術機器人的增強現(xiàn)實裝置及其控制方法。

本發(fā)明的一個目的在于提出一種應用于立體定向手術機器人的增強現(xiàn)實裝置，使立體定向手術機器人有更強的性能。

本發(fā)明的增強現(xiàn)實裝置包括：計算機、機械臂、相機、投影儀和連接件；其中，連接件 的一個表面固定安裝在機械臂末端，相機和投影儀安裝在連接件的另一個表面，相機和投影儀之間的位置保持固定不變；機械臂的控制器通過網(wǎng)線連接至計算機與計算機進行通信；相機和投影儀分別通過數(shù)據(jù)線連接至計算機與計算機進行數(shù)據(jù)傳輸；成像目標相對于機械臂基坐標系位置固定不變，通過由相機和投影儀組成的投影儀相機系統(tǒng)，在相機坐標系下對成像目標進行三維表面點云數(shù)據(jù)采集，通過標定好的相機坐標系和機械臂末端坐標系的變換關系，將采集得到的成像目標的三維表面點云數(shù)據(jù)從相機坐標系轉換到機械臂末端坐標系下，再由計算機讀取機械臂的控制器得到機械臂末端坐標系到機械臂基坐標系的變換關系，從而將三維表面點云數(shù)據(jù)從機械臂末端坐標系轉換到機械臂基坐標系下；在計算機中存儲有通過核磁成像得到的在影像坐標系下的成像目標的影像數(shù)據(jù)，并通過算法將影像數(shù)據(jù)中成像目標的表面影像數(shù)據(jù)與內部影像數(shù)據(jù)分開；將由核磁成像得到的成像目標的表面影像數(shù)據(jù)與在機械臂基坐標系下成像目標的三維表面點云數(shù)據(jù)配準對齊，從而實現(xiàn)影像坐標系與機械臂基坐標系的坐標變換；在計算機中選擇對成像目標的感興趣區(qū)域，通過影像坐標系與機械臂基坐標系的變換關系，計算機械臂末端位姿，通過計算機控制機械臂到達指定位姿，投影儀把核磁成像得到的感興趣區(qū)域的內部影像投射到成像目標的表面，實現(xiàn)準確的增強現(xiàn)實。

計算機采用臺式機、筆記本電腦、平板設備或者其他嵌入式微型機中的一種，關鍵特征在于可編程。

機械臂采用串聯(lián)六軸型機械臂，計算機通過網(wǎng)線與機械臂的控制器進行通信，能夠獲得機械臂末端的位置和角度信息，即機械臂末端坐標系相對機械臂基坐標系的位姿關系，也能夠發(fā)送運動指令控制機械臂末端到達特定位置和保持特定的姿態(tài)。

相機為彩色相機，采用電荷耦合器件CCD相機或者互補金屬氧化物半導體CMOS相機；通過USB線與計算機相連，能接受計算機發(fā)出的采集相片的指令，也能夠根據(jù)指令把數(shù)據(jù)傳輸?shù)接嬎銠C中。

投影儀采用液晶顯示器LCD投影儀或者數(shù)字光處理DLP投影儀；通過HDMI線與計算機相連，根據(jù)計算機指定的內容進行投影顯示。

連接件采用硬質型材制作，如鋁合金，用于安裝相機和投影儀，并保證兩者之間的位置關系固定不變，相機和投影儀共同構成用于獲取三維表面的投影儀相機系統(tǒng)(Projector-Camera systems)；同時連接件固定安裝在機械臂的第六軸上。其中，為了對相機和投影儀組成的系統(tǒng)進行標定，應用張正友提出的方法(zhang's method)對相機進行標定^[1]；可以將投影儀看成是針孔相機的逆模型，使用改進版的張正友的方法即可實現(xiàn)對投影儀的標定^[2]，并由在相機坐標系和投影儀坐標系下棋盤格標定板的角點的對應關系，進而得到投影儀坐標系到相機 坐標系的變換關系，完成投影儀相機系統(tǒng)的標定。為了獲取成像目標的三維表面信息，使用格雷碼的結構光編碼技術得到投影儀的格雷碼圖案和相機成像的圖片中點對的對應關系，再對那些點對根據(jù)投影儀坐標系到相機坐標系的變換關系，應用線性三角測量方法^[3](linear triangulation method)，從而獲得成像目標在相機坐標系下的三維表面信息。采用手眼標定方法求解相機和機械臂末端的位姿關系^[4]，標定相機坐標系到機械臂末端坐標系的變換關系。結合計算機從機械臂的控制器讀取到機械臂末端坐標系相對于機械臂基坐標系的位姿關系，計算得到相機坐標系與機械臂基坐標系的變換關系，從而得到由相機和投影儀采集得到成像目標的三維表面數(shù)據(jù)在機械臂基坐標系下的空間位置。

進一步，本發(fā)明還包括樣品臺，成像目標放置在樣品臺上，樣品臺與機械臂基坐標系的位置固定不變；成像目標放置在樣品臺上，并通過安裝在樣品臺上的固定架固定，使得成像目標相對于機械臂基坐標系的位置固定不變。

本發(fā)明的另一個目的在于提供一種應用于立體定向手術機器人的增強現(xiàn)實裝置的控制方法。

本發(fā)明的增強現(xiàn)實裝置的控制方法，包括以下步驟：

1)標定：相機和投影儀固定在連接件上，對相機和投影儀組成的投影儀相機系統(tǒng)進行標定，得到從投影儀坐標系到相機坐標系的變換關系；將連接件安裝固定到機械臂末端，對相機和機械臂末端進行標定，得到從相機坐標系到機械臂末端坐標系的變換關系；

2)將成像目標通過固定架固定在樣品臺上，將機械臂的基座固定在樣品臺的旁邊，使得成像目標在機械臂的工作空間內；把計算機和機械臂、相機及投影儀連接，啟動設備；

3)計算機控制機械臂通過連接件帶著相機和投影儀從多個角度采集成像目標的三維表面數(shù)據(jù)，在計算機中將由多個角度獲得的三維表面數(shù)據(jù)進行融合處理后，得到在機械臂基坐標系下的成像目標的三維表面點云數(shù)據(jù)；

4)在計算機中，將在機械臂基坐標系下的成像目標的三維表面點云數(shù)據(jù)，與從核磁成像中提取的成像目標的表面影像數(shù)據(jù)，在影像坐標系中配準，從而使得影像坐標系和機械臂基坐標系對齊，在計算機中的影像坐標系里看到疊加有成像目標表面的顏色和紋理的表面影像數(shù)據(jù)，增加影像數(shù)據(jù)的真實感；

5)在計算機中選擇感興趣區(qū)域，設定要顯示的成像目標的核磁成像的內容和角度，根據(jù)步驟4)中配準得到的影像坐標系和機械臂基坐標系的對應關系，自動計算機械臂末端的位姿；

6)機械臂根據(jù)步驟5)計算得到的位姿，運動到指定位置和姿態(tài)，投影儀依據(jù)計算機給 定的內容進行投影顯示，把核磁成像得到的感興趣區(qū)域的內部影像投射到成像目標的表面；

7)判斷是否查看其他感興趣區(qū)域，如果是，繼續(xù)重復步驟5)～6)，查看對應的感興趣區(qū)域及其周圍的情況，實現(xiàn)增強現(xiàn)實。

在步驟1)中，對固定在連接件上的相機和投影儀組成的投影儀相機系統(tǒng)進行標定，包括以下步驟：

a)將相機和投影儀安裝在連接件上，并保證兩者之間的位置關系固定不變；

b)采用張正友的方法(zhang's method)對相機進行標定^[1]；

c)采用改進版的張正友的方法對投影儀進行標定^[2]；

d)由在相機坐標系和投影儀坐標系下棋盤格標定板的角點的對應關系，進而得到投影儀坐標系到相機坐標系的變換關系，完成投影儀相機系統(tǒng)的標定。

張正友的方法為基于平面標定的方法，該方法中使用平面棋盤格板進行標定。

在步驟1)中，對固定在連接件上的相機和機械臂末端進行標定，包括以下步驟：

a)將連接件固定安裝在機械臂的第六軸(末端)上；

b)采用手眼標定方法進行標定^[4]，求解相機和機械臂末端的位姿關系；

c)得到從相機坐標系到機械臂末端坐標系的變換關系。

如果相機和投影儀的相對位置不發(fā)生改變，只需標定一次?？梢酝ㄟ^事先標定好，在使用時不需要再標定，只需要加載已經(jīng)標定好的相機與投影儀的變換關系。將連接件固定到機械臂末端，應用手眼標定方法對相機坐標系到機械臂末端坐標系的變換關系進行標定。同樣如果相機和機械臂末端的相對位置不發(fā)生改變，也只需標定一次。

在步驟3)中，得到在機械臂基坐標系下的成像目標的三維表面點云數(shù)據(jù)，具體包括以下步驟：

a)加載相機與投影儀的變換關系；

b)確定相機和投影機的角度，使用格雷碼的結構光編碼技術得到投影儀的格雷碼圖案和相機成像的圖片中點對的對應關系，再對那些點對根據(jù)投影儀坐標系到相機坐標系的變換關系，應用線性三角測量方法^[3](linear triangulation method)，從而獲得成像目標在相機坐標系下的三維表面數(shù)據(jù)；

c)加載相機坐標系到機械臂末端坐標系的變換關系；

d)結合計算機從機械臂的控制器讀取到機械臂末端坐標系相對于機械臂基坐標系的位姿關系，計算得到相機坐標系與機械臂基坐標系的變換關系，從而得到由相 機和投影儀采集得到成像目標的三維表面數(shù)據(jù)在機械臂基坐標系下的空間位置；

e)控制機械臂通過連接件帶著相機和投影儀調整角度，重復步驟a)～d)，得到多個角度下的三維表面數(shù)據(jù)；

f)在計算機中將由多個角度獲得的三維表面數(shù)據(jù)進行融合處理后，得到在機械臂基坐標系下的成像目標的三維表面點云數(shù)據(jù)。

在步驟4)中，進一步包括：在影像坐標系中將規(guī)劃好機械臂末端的路徑顯示出來，驗證規(guī)劃路徑是否會碰到障礙物，從而驗證規(guī)劃的路徑的可實施性。

本發(fā)明的增強現(xiàn)實裝置的控制方法能夠應用于立體定向手術機器人進行頭部微創(chuàng)手術，核磁共振形成的是灰度的影像數(shù)據(jù)，疊加上投影儀相機系統(tǒng)得到的皮膚的顏色和紋理，增加影像數(shù)據(jù)的真實感，并能將術前規(guī)劃的手術路徑顯示出來，驗證是否會碰到耳朵或者固定架等障礙，從而驗證術前規(guī)劃的手術路徑的可實施性；醫(yī)生能夠選擇感興趣區(qū)域(例如病灶靶點)，設定要顯示的例如由核磁成像得到的腦皮層結構和顱內血管的內容，由投影儀投影顯示，醫(yī)生在不開顱的情況下，可以知道感興趣區(qū)域周圍的結構情況，比如病灶和血管的關系。

本發(fā)明的優(yōu)點：

1、由相機和投影儀組成的投影儀相機系統(tǒng)，不僅可以獲取成像目標的表面點，還可以獲取成像目標的顏色和紋理信息，通過配準之后，可以將成像目標表面的顏色和紋理信息疊加到由核磁成像提取得到的表面影像數(shù)據(jù)上，相比于僅依賴灰度的核磁成像，能夠在計算機看到更加真實的、帶有顏色和紋理的三維模型，同時將術前的規(guī)劃路徑一起顯示在模型上，使得能夠在未實施手術前就可以預覽到若根據(jù)術前的規(guī)劃路徑實施后的場景，有利于驗證術前的規(guī)劃路徑的可實施性；

2、將相機和投影儀通過連接件掛載在機械臂末端，可以很方便的控制相機和投影儀從不同方向對成像目標的三維表面進行采集，有利于得到成像目標更加完整的三維表面，進而提高配準精度；

3、在高精度配準的基礎上，得到影像坐標系和機械臂基坐標系的一一對應關系，為后續(xù)計算在影像坐標系中指定的待增強現(xiàn)實位置后機械臂末端應該到達的位置提供依據(jù)；

4、傳統(tǒng)立體定向手術中，需要觀察計算機屏幕中的影像，再接著在成像目標相應的部位執(zhí)行手術，存在成像目標表面上沒有相應的內部結構信息導致的影像信息的不連續(xù)性問題，而本發(fā)明的增強現(xiàn)實裝置使得可以在成像目標的表面非常直觀看到內部結構，有利于避開重要血管和快速定位靶點。

附圖說明

圖1為本發(fā)明的增強現(xiàn)實裝置的結構圖；

圖2本發(fā)明的增強現(xiàn)實裝置的一個實施例的示意圖；

圖3為本發(fā)明的增強現(xiàn)實裝置的控制方法的流程圖。

具體實施方式

下面結合附圖，通過具體實施例，進一步闡述本發(fā)明。

如圖1所示，本實施例的增強現(xiàn)實裝置包括：計算機1、機械臂2、相機3、投影儀4和連接件5；其中，連接件5的一個表面固定安裝在機械臂2末端，相機3和投影儀4安裝在連接件5的另一個表面，相機3和投影儀4之間的位置固定不變；機械臂2的控制器通過網(wǎng)線連接至計算機1與計算機進行通信；相機3和投影儀4分別通過數(shù)據(jù)線連接至計算機1與計算機進行數(shù)據(jù)傳輸。

如圖2所示，成像目標6放置在樣品臺8上，并通過安裝在樣品臺上的固定架7固定，使得成像目標相對于機械臂基坐標系的位置固定不變。

在本實施例中，計算機1為dell optiplex 9020臺式機，機械臂2為VS060A3(DensoCo.Ltd.，Japan)，相機3為型號為BFLY-U3-50H5C-C(Point Grey,Canada)的微型CCD相機，投影儀4為微型DLP投影儀，連接件5采用鋁合金制作。

如圖3所示，本實施例的增強現(xiàn)實裝置的控制方法，包括以下步驟：

1)將成像目標通過固定架固定在樣品臺上，將機械臂的基座固定在樣品臺的旁邊，使得成像目標在機械臂的工作空間內；把計算機和機械臂、相機及投影儀連接，啟動設備；

2)計算機控制機械臂通過連接件帶著相機和投影儀從多個角度采集成像目標的三維表面數(shù)據(jù)，在計算機中將由多個角度獲得的三維表面數(shù)據(jù)進行融合處理后，得到的在機械臂基坐標系下的成像目標的三維表面點云數(shù)據(jù)，該點云數(shù)據(jù)的點間距小于1mm，覆蓋成像目標表面超過60％的區(qū)域；

3)在計算機中，將在機械臂基坐標系下的成像目標的三維表面點云數(shù)據(jù)，與使用FreeSurfer開源軟件^[5]從核磁成像中提取的成像目標的表面影像數(shù)據(jù)，在影像坐標系中配準，從而使得影像坐標系和機械臂基坐標系對齊，在計算機中的影像坐標系里看到疊加有成像目標表面的顏色和紋理的表面影像數(shù)據(jù)，增加影像數(shù)據(jù)的真實感，并在影像坐標系中將規(guī)劃好機械臂末端的路徑顯示出來，驗證規(guī)劃路徑是否會碰到障礙物，從而驗證規(guī)劃的路徑的可實施性；

4)在計算機中選擇感興趣區(qū)域，設定要顯示的成像目標的內容和角度，默認以感興趣區(qū)域為中心，默認設定在機械臂基坐標系中投影儀4的中心到感興趣區(qū)域的中心距離為250mm，根據(jù)步驟3)中配準得到的影像坐標系和機械臂基坐標系的對應關系，自動計算機械臂末端的位姿；

5)機械臂根據(jù)步驟4)計算得到的位姿，運動到指定位置和姿態(tài)，投影儀依據(jù)計算機給定的內容進行投影顯示，把核磁成像得到的感興趣區(qū)域的內部影像投射到成像目標的表面，實現(xiàn)增強現(xiàn)實；

6)判斷是否查看其他感興趣區(qū)域，如果是，繼續(xù)重復步驟4)～5)，查看對應的感興趣區(qū)域及其周圍的情況。

最后需要注意的是，公布實施例的目的在于幫助進一步理解本發(fā)明，但是本領域的技術人員可以理解：在不脫離本發(fā)明及所附的權利要求的精神和范圍內，各種替換和修改都是可能的。因此，本發(fā)明不應局限于實施例所公開的內容，本發(fā)明要求保護的范圍以權利要求書界定的范圍為準。

[1]Zhang Z.A flexible new technique for camera calibration[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2000,22(11):1330-1334.

[2]Park H,Lee M-H,Kim S-J,et al.Surface-independent direct-projected augmented reality[C].Asian Conference on Computer Vision,2006:892-901.

[3]Zisserman R H A.Multiple view geometry in computer vision[J],2004.

[4]Horaud R,Dornaika F.Hand-eye calibration[J].The international journal of robotics research,1995,14(3):195-210.

[5]http://freesurfer.net/。