專利名稱：虛擬內窺鏡檢查的自動導航的制作方法
本申請要求保護題為“虛擬內窺鏡檢查自動導航”的申請的優(yōu)先權，該申請是于2001年12月20日向美國專利和商標局提交的，授予序號為No.60/343,012，現(xiàn)將其內容引入作為參考。
背景技術：
1.發(fā)明領域本發(fā)明總的涉及計算機視覺和成像系統(tǒng)，更具體而言，涉及用于虛擬內窺鏡檢查中觀察點的自動導航的系統(tǒng)和方法。
2.相關領域描述虛擬內窺鏡檢查(VE)指的是一種診斷方法，該方法基于病人特定的三維(3D)自動數(shù)據(jù)組對標準的，最小創(chuàng)傷性內窺鏡檢查過程加以模擬?，F(xiàn)行的內窺鏡檢查的例子包括支氣管鏡檢查，竇房結鏡檢查，上部胃腸道鏡檢查，結腸鏡檢查，膀胱鏡檢查，心臟鏡檢查以及尿道鏡檢查。用以獲得病人特定解剖結構的非創(chuàng)傷性的VE顯像，避免了與真實內窺鏡檢查相關的風險(例如穿孔，感染，出血等)，為內窺鏡檢查醫(yī)生在進行真實的內窺鏡檢查之前提供了重要的信息。
這種認識可以將檢查過程的困難減少到最小程度，降低病人的發(fā)病率，增強訓練和有助于對治愈結果的更好理解。
在虛擬內窺鏡檢查中，3D圖像是通過體積重建，例如，從二維(2D)計算機斷層(CT)或磁共振成像(MR)數(shù)據(jù)產(chǎn)生的。這些3D圖像的產(chǎn)生用以模擬來自真實的內窺鏡，例如光纖內窺鏡的圖像。這意味著該虛擬內窺鏡的觀察點必須在器官或其它人體結構的腔內加以選擇，并且必須用寬的視角，典型地為100度，利用透視重建對該器官加以重建。這一觀察點必須沿該腔的內部移動，即是說必須采用3D的平移和3D轉動。而交互控制這些參數(shù)卻是一種挑戰(zhàn)。
用于對虛擬內窺鏡檢查的一種常用技術是預先計算“飛行”路徑并自動地將虛擬內窺鏡沿該路徑移動。但是，這種技術要求區(qū)段和軌道計算程序，而這一點卻是耗時并且可能失敗。

發(fā)明內容
提供一種用于虛擬內窺鏡檢查中對內窺鏡觀察點自動導航的系統(tǒng)和方法。本發(fā)明的這種系統(tǒng)和方法自動確定虛擬內窺鏡的方向和方位。因此，使用者需要控制的只是一個參數(shù)朝前或朝后的速度。本發(fā)明允許在一個器官內的即刻交互式導航而無需預處理，如區(qū)段和路徑發(fā)生。
根據(jù)本發(fā)明的一個方面，提供一種用于在結構的腔內為虛擬內窺鏡的觀察點導航的方法。該方法包括步驟(a)確定虛擬內窺鏡的初始觀察點，該初始觀察點具有第一中心點和第一方向；(b)確定從該初始觀察點至該腔的一條最長的徑線，該最長的徑線具有第一最長徑線方向；(c)確定該初始觀察點的第一方向和第一最長徑線方向之間的第二方向；(d)將該觀察點轉到第二方向并將該初始觀察點在該初始觀察點的第一方向上移動一個第一預定距離；(e)計算該觀察點的第二中心點；和(f)將該觀察點移至該第二中心點。該方法進一步包括將步驟(b)至(f)加以重復直至該觀察點達到意想目標。
該方法進一步包括將該結構的三維(3D)圖像加以重建的步驟，其中重建步驟包括對結構進行掃描以采集多幅二維(2D)圖像和從該多幅2D圖像重建3D圖像。
在本發(fā)明的另一個方面中，該觀察點的第二方向是用初始觀察點的第一方向和第一最長徑線方向的加權之和加以確定的。
本發(fā)明還有一個方面，計算第二中心點包括在與該觀察點的第二方向垂直的一個平面上投射多根徑線；確定腔內該多根徑線的每一根的交叉點；決定該交叉點的平均值以作為第二中心點。作為選擇，計算第二中心點包括確定同第一中心點交叉的多個平面，每個平面具有不同的取向；在該多個平面上投射多根徑線；決定多根徑線中的每一根徑線同該腔的交點；以及決定這些交點的平均值以此作為第二中心點。
根據(jù)本發(fā)明的另一個方面，機器可讀的程序存儲設備，真實駐留可由該機器執(zhí)行的指令程序以實現(xiàn)在一個結構腔內為虛擬內窺鏡的觀察點導航的方法步驟，它包括其方法步驟(a)確定該虛擬內窺鏡的一個初始觀察點，該初始觀察點具有一個第一中心點和第一方向；(b)確定從該初始觀察點至該腔的最長的徑線，該最長的徑線具有第一最長徑線方向；(c)確定該初始觀察點的該第一方向和該第一最長徑線方向之間的第二方向；(d)將該觀察點轉至該第二方向并在初始觀察點的第一方向上將該初始觀察點移動一個第一預定距離；(e)計算該觀察點的一個第二中心點；(f)將該觀察點移至該第二中心點；和重復步驟(b)至(f)直至該觀察點達到意想目標。
本發(fā)明還有一個方面，用于虛擬內窺鏡檢查的一種系統(tǒng)包括圖像重建器，用于從多幅二維(2D)圖像重建一種結構的三維(3D)圖像；處理器，用于在該結構的3D圖像內為虛擬內窺鏡的觀察點導航；以及顯示設備，用于顯示該觀察點。該處理器確定該虛擬內窺鏡的一個初始觀察點，該初始觀察點具有第一中心點；確定從該初始觀察點至該腔的一最長徑線，該最長徑線具有第一最長徑線方向；確定該初始觀察點的第一方向和第一最長徑線方向之間的一個第二方向；將該觀察點轉至第二方向并將該初始觀察點在該初始觀察點的第一方向上移動一個第一預定的距離；計算該觀察點的第二中心點，和將該觀察點移至該第二中心點。
該系統(tǒng)進一步包括掃描儀設備，用于對該結構的多幅二維(2D)圖像掃描，以及光標控制設備，用于確定該觀察點的移動速度。


參照附圖，結合如下詳細描述，本發(fā)明的上述和其它情況，特點以及其優(yōu)點將變得更為清晰，其中圖1是根據(jù)本發(fā)明用于虛擬內窺鏡檢查中的自動導航的一種示例性系統(tǒng)的方框圖；圖2是一種流程圖，用以顯示根據(jù)本發(fā)明的虛擬內窺鏡檢查中自動導航的方法；圖3(a)至3(e)是進入一個器官或一種結構空腔的虛擬內窺鏡的幾種視圖，顯示根據(jù)本發(fā)明的一種實施方案在虛擬內窺鏡檢查中的自動導航方法。
圖4是根據(jù)本發(fā)明用以顯示圖2中的方法的中心定位技術。
優(yōu)選實施方案詳細描述以下將參照附圖對本發(fā)明的優(yōu)選實施方案加以描述。在以下的描述中，對那些熟知的功能和結構都不再詳細敘述避免由于不必要的細節(jié)而模糊本發(fā)明。
提供用于虛擬內窺鏡檢查中觀察點自動導航的系統(tǒng)和方法。本發(fā)明將徑線投射技術(raycasting technique)用于人體的結構或內部器官，例如結腸的重建后透視圖像。在徑線投射中，對所顯示的圖像的每一像素，將一徑線投射并計算它與器官壁的交點。在本發(fā)明的這種方法中，最長的徑線被加以儲存，并計算它與該器官壁的交點用于該虛擬內窺鏡的取向。選擇該虛擬內窺鏡的位置以觀察該最長徑線的方向。在這種方式中，該虛擬內窺鏡總是觀察在觀察點內最遠一點的方向。然后將該內窺鏡沿這個方向推進與選定的使用者速度相對應的量。
但是，這也許意味著在彎曲和折疊的情況下該虛擬內窺鏡的觀察點會總是向接近于器官壁的位置移動。因此，在與該觀察點正交的方向選擇另外的徑線以將該觀察點重新定心。將所有這些側向徑線同該器官壁的交點相加并將其結果投影到該虛擬內窺鏡的該正交平面上以產(chǎn)生該虛擬內窺鏡的一個新的觀察點。
此外，為了避免擺動，利用權重因子對新計算的取向用以前的取向加以捏合，該權重因子同該虛擬內窺鏡的觀察點的速度(δ位移)有關。假如速度高，則新的定向具有較高的權重；假如該速度低，則前面的定向具有較高的權重。
顯然，本發(fā)明可以用不同形式的硬件，軟件，固件，專用處理器，或它們之組合加以實現(xiàn)。在一種實施方案中，本發(fā)明可以用軟件實現(xiàn)，這種軟件作為一種應用程序真實地駐留在程序儲存設備上。該應用程序可以裝入到包含有諸如圖1中所示的任何合適結構的機器上并被它執(zhí)行。
該機器100最好是在計算機平臺上實現(xiàn)，該計算機平臺具有的硬件有諸如1個或多個中央處理器(CPU)102，隨機存取存儲器(RAM)104，只讀式存儲器(ROM)106和諸如鍵盤108的輸入/輸出(I/O接口)，光標控制設備(例如，鼠標或操縱桿)110和顯示設備112。該計算機平臺還包括操作系統(tǒng)和微指令碼。此處所描述的各種處理和功能既可以是該微指令碼的一部分，也可是該應用程序(或兩者之組合)的一部分，它們都是經(jīng)由該操作系統(tǒng)加以執(zhí)行的。此外，多種其它的外周設備可以連接到該計算機平臺上，這些外圍設備有諸如附加的數(shù)據(jù)存儲設備114和打印設備。而且，掃描儀設備116，例如X射線機或MRI(磁共振成像)機器，可以連接到該機器100用于收集二維(2D)圖像數(shù)據(jù)，這些數(shù)據(jù)經(jīng)處理和重建以三維(3D)圖像數(shù)據(jù)形式出現(xiàn)在顯示設備112上。
當然，因為在附圖中所揭示的某些系統(tǒng)結構組件和方法步驟可以在硬件中實現(xiàn)，所以系統(tǒng)部件(或處理步驟)之間的實際連接可以不同，取決于本發(fā)明的編程方式。在了解此處所提供的對本發(fā)明的教授之后，相關領域內的普通技術人員將能夠領悟本發(fā)明的這些和類似的參照圖2和圖3，根據(jù)本發(fā)明的一種實施方案將對一種虛擬內窺鏡內的觀察點的自動導航加以描述，其中圖2是流程圖，用以顯示該方法，圖3展示虛擬內窺鏡導航一器官，例如結腸，的幾種視圖。顯然，在操作中使用者將看見顯示設備112上該虛擬內窺鏡的觀察點，就如同實際的內窺鏡檢查正在進行一樣。在圖3所示的這種視圖其目的是用于闡述導航一觀察點的實施方案，因而將不加以顯示。
此外，雖然用結腸來描述本發(fā)明的系統(tǒng)和方法，但顯然可以將本發(fā)明的該系統(tǒng)和方法用于任何人體或動物體內的器官或結構，只要它們具有諸如血管，氣道等的空腔。
在進行該導航方法之前，待測試對象需經(jīng)掃描設備116進行掃描處理，諸如螺旋CT掃描儀或磁共振成像掃描儀(MRI)。在各種掃描完成并采集了一串二維(2D)圖像之后，借助于常規(guī)的重建方式(步驟202)，諸如徑線投射，濺射顯示(splatting)，變形反卷，基于硬件的三維紋理映射途徑等將所要觀看的該器官的3D圖像再現(xiàn)在顯示設備112上。
圖3(a)顯示虛擬內窺鏡鏡302，它處于進入重建圖像的一虛擬腔304的一初始位置，在觀察觀察點V的方向。在將該圖像重建之后(步驟204)得到最長的徑線方向R。如果將徑線投射作為圖像重建方法，則該最長的徑線R被自動加以計算。否則，在該圖像用上述任何已知圖像重建技術重建之后可以計算最長的徑線。在最長的徑線R被計算出之后，要求使用者，例如外科醫(yī)生或放射科醫(yī)生，例如通過移動鼠標或利用操縱桿將該虛擬內窺鏡的觀察點移動一距離d(步驟206)。
參照圖3(b)，將一新的取向觀察點V’作為該初始方向V和最長徑線方向R的一種加權之和加以計算(步驟208和210)，具體如下w＝min(abs(d/f)，1.0) (1)
此處f為定標因子，而v′＝wR+(1-w)v (2)權重因子w的選擇是這樣，在低速(低移位d)時其初始方向V占優(yōu)勢(方向上低變化)，而在較高速度時，該最長徑線方向R占優(yōu)勢(方向上快速變化)。實行該加權步驟以降低振蕩和擺動運動，此點將在下面加以描述。定標因子f用于調整該虛擬內窺鏡的速度，高值f使虛擬內窺鏡變慢，而低值f使虛擬內窺鏡變快。
參照圖3(c)，該內窺鏡118被加以轉動以觀察該新的觀察方向V’(步驟212)，然后沿該初始觀察方向V移動距離d(步驟214)。而后，對虛擬內窺鏡302計算新的中心點S，如圖3(d)所示。
為使內窺鏡處于中心(步驟216)，在與該虛擬內窺鏡302的觀察點成正交的平面內投射側向徑線，例如，在全方位使用8條不同長度的側向徑線，每40度角投射一根，以形成如圖4所示的圓形模式402。計算這些徑線同結構壁的交點并將它投影到該垂直面上。將這些點的平均值作為中心點S加以計算。
作為選擇，該中心點S可以利用8根徑線朝前指向的另一種圓形模式(404)和8根徑線朝后指向的另一種圓形模式(406)加以計算。徑線越多提供的穩(wěn)定性和準確性越大。還有一種實施方案，采用5圓形模式，每個為8根徑線，具體做法如下正交平面上的徑線，朝前傾斜20度的徑線，朝后傾斜20度的徑線，朝前傾斜45度的徑線和朝后傾斜45度的徑線。將從虛擬內窺鏡位置至和結構表面的交點的所有矢量相加，然后將相加后的矢量投影到該正交平面上。該點即中心的近似點并將用作新的觀察點。
當虛擬內窺鏡302從一個觀察點向另一觀察點側向運動時(由于中心定位步驟)，需要了解擺動的發(fā)生。如果該虛擬內窺鏡推進緩慢，則在中心定位步驟中最長徑線方向上的變化勢將產(chǎn)生改變，從而導致側向運動。當圍繞一個彎曲，例如腔內折疊而轉動時，這種效應特別明顯。在此種情況下，對權重因子加以修正將減小該定位的變化和中心定位步驟的變化，從而減小側向運動。
該虛擬內窺鏡302現(xiàn)在將位移至中心位置S，將它的定向保持朝前向觀察點V’(步驟218)，如圖3(e)所示。該方法將被加以重復直至該虛擬內窺鏡302達到它的意想目標(步驟220)，例如腫瘤，結節(jié)等。
同以往的通過內部結構“飛行”的方法相反，本發(fā)明的該方法不要求在開始導航之前計算飛行路程，因而顯著地節(jié)省了時間。
盡管參照某些優(yōu)選實施方案對本發(fā)明作了展示和說明，但本領域內的技術人員將理解可以在形式上和細節(jié)上做出各種改變，只要不偏離所附的權利要求中所規(guī)定的本發(fā)明的構思和范圍。
權利要求
1.一種用于在結構的腔內對虛擬內窺鏡的觀察點導航的方法，該方法包括步驟(a)確定該虛擬內窺鏡的初始觀察點，該初始觀察點具有第一中心點和第一方向；(b)確定從該初始觀察點至該腔的一條最長徑線，該最長徑線具有第一最長徑線方向；(c)確定該初始觀察點的第一方向和該第一最長徑線方向之間的第二方向；(d)將該觀察點轉至第二方向，并在該初始方向的第一方向上將該初始觀察點移動第一預定距離；(e)計算該觀察點的第二中心點；(f)將該觀察點移至第二中心點。
2.如權利要求1的方法，進一步包括將步驟(b)至(f)加以重復直至該觀察點達到意想的目標。
3.如權利要求1的方法，進一步包括將該結構的三維(3D)圖像加以重建的步驟。
4.如權利要求3的方法，其中該重建步驟進一步包括對該結構的掃描以采集多幅二維(2D)圖像和從多幅2D圖像重建3D圖像。
5.如權利要求3中的方法，其中確定最長徑線的步驟和重建步驟是由徑線投射圖像重建技術完成的。
6.如權利要求1的方法，其中該觀察點的第二方向被確定為該初始觀察點的第一方向和第一最長徑線方向的加權和決定的。
7.如權利要求6的方法，其中該加權和的計算如下V′＝wR+(1-w)V式中V是該初始觀察點的方向，R是第一最長徑線方向，w是權重因子。
8.如權利要求7中的方法，其中權重因子w的計算如下w＝min(abs(d/f)，1.0)式中d為第一預定距離，f為定標因子。
9.如權利要求1的方法，其中計算第二中心點包括步驟在與該觀察點的第二方向相垂直的平面上投射多根徑線；對多根徑線決定每一根與腔的交點；決定這些交點的平均值將它作為第二中心點。
10.如權利要求1的方法，其中計算第二中心點包括步驟決定同第一中心點相交的多個平面，每個平面具有不同的取向；在該多個平面中的每一平面上投射多根徑線；決定該多根徑線的每一根與腔的交點；和決定這些交點的平均值將它作為第二中心點。
11.機器可讀的程序存儲設備，真實儲存由該機器可執(zhí)行的指令程序用以完成在結構腔內為虛擬內窺鏡的觀察點導航的方法步驟，該方法步驟包括(a)確定該虛擬內窺鏡的一個初始觀察點，該初始觀察點具有第一中心點和第一方向；(b)確定從該初始觀察點至腔的最長徑線，該最長徑線具有第一最長徑線方向；(c)確定該初始觀察點的第一方向同第一最長徑線方向之間的第二方向；(d)將該觀察點轉至第二方向并在該初始觀察點的第一方向上將該初始觀察點移動第一預定距離。(e)計算該觀察點的第二中心點；以及(f)將該觀察點移至第二中心點。
12.如權利要求11中的程序存儲設備，進一步包括將步驟(b)至(f)加以重復直至該觀察點達到意想目標為止的步驟。
13.如權利要求11的程序存儲設備，進一步包括重建結構的三維(3D)圖像的步驟。
14.如權利要求13的程序存儲設備，其中該重建步驟進一步包括將該結構掃描以采集多幅二維(2D)圖像和從這些2D圖像重建3D圖像。
15.如權利要求13的程序存儲設備，其中確定最長徑線步驟和重建步驟是由徑線投射圖像重建技術完成的。
16.如權利要求11的程序存儲設備，其中該觀察點的第二方向被確定為該初始觀察點的第一方向和第一最長徑線方向的加權和。
17.如權利要求16的程序存儲設備，其中加權和的計算為V′＝wV+(1-w)R此處V是初始觀察點的方向，R是第一最長徑線方向，w是權重因子。
18.如權利要求17的程序存儲設備，其中該權重因子的計算為w＝min(abs(d/f)，1.0)此處d是第一預定距離，f是定標因子。
19.如權利要求11的程序存儲設備，其中計算第二中心點包括步驟確定與第一中心點相交的多幅平面，每個平面具有不同的定向；在多個平面的每一平面上投射多根徑線；確定多根徑線的每一根徑線同腔的相交點；和決定這些交點的平均值將它作為第二中心點。
20.用于虛擬內窺鏡檢查的系統(tǒng)包括圖像重建器，用于從多幅二維(2D)圖像重建結構的三維(3D)圖像；處理器，用于在該結構的3D圖像內對虛擬內窺鏡的觀察點導航；和顯示設備，用于顯示其觀察點。
21.如權利要求20的系統(tǒng)，其中處理器確定該虛擬內窺鏡的一個初始觀察點，該初始觀察點具有第一中心點和第一方向；確定從該初始觀察點至腔的最長徑線，該最長徑線具有第一最長徑線方向；確定該初始觀察點的第一方向同第一最長徑線方向之間的第二方向；將該觀察點轉至第二方向并在該初始觀察點的第一方向內將該初始觀察點移動第一預定距離；計算該初始觀察點的第二中心點，以及將該初始觀察點移至第二中心點。
22.如權利要求20的系統(tǒng)，進一步包括掃描儀設備，用于對結構的多幅二維(2D)圖像掃描。
23.如權利要求21中的系統(tǒng)，進一步包括光標控制設備，用于確定觀察點的移動速度。
全文摘要
提供一種用在結構腔內對虛擬內窺鏡觀察點導般的方法。該方法包括步驟(a)確定該虛擬內窺鏡的一初始觀察點，該初始觀察點具有第一中心點和第一方向；(b)確定從該初始觀察點至該腔的最長徑線，該最長徑線具有第一最長徑線方向(步驟204)；(c)確定該初始觀察點的第一方向同第一最長徑線方向之間的第二方向(步驟210)；(d)將該觀察點轉至第二方向(步驟212)并在該初始觀察點的第一方向上將初始觀察點移動第一預定距離(步驟214)；(e)計算該觀察點的第二中心點(步驟216)；(f)將該觀察點移至第二中心點(步驟218)；和重復步驟(b)至(f)直到該觀察點達到意想目標。
文檔編號G06T15/00GK1606759SQ02825809
公開日2005年4月13日 申請日期2002年12月19日 優(yōu)先權日2001年12月20日
發(fā)明者B·蓋格 申請人:西門子共同研究公司