圖像處理裝置制造方法
【專利摘要】向觀察者提示在可掌握具有三維構(gòu)造的觀察對(duì)象的深層構(gòu)造的同時(shí)可容易地識(shí)別表層觀察對(duì)象的二維圖像。提供一種圖像處理裝置（100），其具有：存儲(chǔ)部（103），其對(duì)被檢體內(nèi)的觀察對(duì)象的三維圖像進(jìn)行存儲(chǔ)；投影圖像生成部（104），其被輸入對(duì)被檢體的表層的觀察對(duì)象進(jìn)行拍攝而得到的二維表層圖像的攝像位置和攝像方向，并將存儲(chǔ)部（103）所存儲(chǔ)的三維圖像的與攝像位置對(duì)應(yīng)的位置投影到攝像方向來生成二維的投影圖像；以及乘法運(yùn)算處理部（105），其被輸入表層圖像和投影圖像，對(duì)表層圖像和投影圖像的對(duì)應(yīng)的像素的亮度值進(jìn)行乘法運(yùn)算來生成乘法運(yùn)算圖像。
【專利說明】圖像處理裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及圖像處理裝置。
【背景技術(shù)】
[0002]以往公知有如下的觀察系統(tǒng):在通過內(nèi)窺鏡取得的淋巴管和淋巴結(jié)的二維圖像上重疊顯示將通過CT (計(jì)算機(jī)斷層攝影)裝置取得的淋巴管、淋巴結(jié)和血管的三維圖像二維化后的圖像(例如參照專利文獻(xiàn)I。)。CT圖像適于觀察體內(nèi)組織的大致三維構(gòu)造。內(nèi)窺鏡圖像適于觀察體內(nèi)組織表面的詳細(xì)構(gòu)造。即，根據(jù)專利文獻(xiàn)I的系統(tǒng)，能夠在大致掌握深層的淋巴管、淋巴結(jié)和血管的構(gòu)造的同時(shí)，詳細(xì)觀察表層的淋巴管和淋巴結(jié)。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)1:日本特開2007-244746號(hào)公報(bào)
【發(fā)明內(nèi)容】

[0006]發(fā)明所要解決的課題
[0007]但是，在專利文獻(xiàn)I的系統(tǒng)的情況下，在將三維圖像進(jìn)行了二維化時(shí)，丟失三維圖像所包含的深度方向的位置信息，二維圖像在同一面內(nèi)一樣地顯示存在于不同深度位置的淋巴管和淋巴結(jié)。因此，存在如下問題:觀察者無法在重疊后的圖像中識(shí)別存在于組織表層的淋巴管和淋巴結(jié)與存在于組織深層的淋巴管和淋巴結(jié)。
[0008]此外，在內(nèi)窺鏡下對(duì)組`織的表層進(jìn)行處置的情況下，對(duì)于觀察者而言，組織表層的淋巴管和淋巴結(jié)的信息比較重要，但與這些同樣顯示的深層的淋巴管和淋巴結(jié)的像對(duì)于觀察者而言比較麻煩，存在向觀察者不必要地提供煩雜的圖像的問題。
[0009]本發(fā)明就是鑒于上述情況而完成的，其目的在于提供一種圖像處理裝置，能夠向觀察者提示在可掌握具有三維構(gòu)造的觀察對(duì)象的深層構(gòu)造的同時(shí)可容易地識(shí)別表層觀察對(duì)象的二維圖像。
[0010]用于解決課題的手段
[0011]為了達(dá)到上述目的，本發(fā)明提供以下手段。
[0012]本發(fā)明提供一種圖像處理裝置，其具有:存儲(chǔ)部，其對(duì)存在于被檢體的觀察對(duì)象的三維圖像進(jìn)行存儲(chǔ)；投影圖像生成部，其被輸入對(duì)所述被檢體的表層的所述觀察對(duì)象進(jìn)行拍攝而得到的二維的表層圖像的攝像位置和攝像方向，并將所述存儲(chǔ)部所存儲(chǔ)的所述三維圖像的與所述攝像位置對(duì)應(yīng)的位置投影到所述攝像方向來生成二維的投影圖像；以及乘法運(yùn)算處理部，其被輸入所述表層圖像和通過所述投影圖像生成部生成的投影圖像，對(duì)所述表層圖像和所述投影圖像的對(duì)應(yīng)的像素的亮度值進(jìn)行乘法運(yùn)算來生成乘法運(yùn)算圖像。
[0013]根據(jù)本發(fā)明，當(dāng)拍攝存在于被攝體的觀察對(duì)象的表層圖像，并將該表層圖像和其在被攝體中的攝像位置和攝像方向分別輸入到乘法運(yùn)算處理部或投影圖像生成部時(shí)，投影圖像生成部根據(jù)存儲(chǔ)部所存儲(chǔ)的三維圖像生成與表層圖像對(duì)應(yīng)的視野的投影圖像，乘法運(yùn)算處理部根據(jù)投影圖像和表層圖像生成乘法運(yùn)算圖像。
[0014]該情況下，在所生成的乘法運(yùn)算圖像中，表層圖像和投影圖像的兩方中共同的亮部與暗部的亮度值之差擴(kuò)大。即，通過使用觀察對(duì)象均顯示為亮部或暗部的圖像作為表層圖像和投影圖像，相對(duì)于僅顯示在投影圖像中的被攝體的深層的觀察對(duì)象強(qiáng)調(diào)顯示在表層圖像和投影圖像中共同顯示的被攝體表層的觀察對(duì)象。由此，觀察者能夠在乘法運(yùn)算圖像中容易地識(shí)別表層的觀察對(duì)象，并且還能夠根據(jù)二維的乘法運(yùn)算圖像掌握觀察對(duì)象的深層構(gòu)造。
[0015]在上述發(fā)明中，所述乘法運(yùn)算處理部可以將對(duì)所述表層圖像的亮度值加上或乘以系數(shù)后的積用于乘法運(yùn)算。
[0016]由此，在乘法運(yùn)算圖像中，能夠更強(qiáng)地強(qiáng)調(diào)顯示存在于表層的觀察對(duì)象。
[0017]在上述發(fā)明中，所述乘法運(yùn)算處理部可以用與各像素的亮度值對(duì)應(yīng)的明度或飽和度顯示所述乘法運(yùn)算圖像的各像素。
[0018]由此，觀察者能夠根據(jù)乘法運(yùn)算圖像的各像素的明度或飽和度，更容易地識(shí)別觀察對(duì)象的深度方向的位置。
[0019]在上述發(fā)明中，可以是具有重疊處理部的結(jié)構(gòu)，所述重疊處理部被輸入所述被檢體的白色光圖像，在該白色光圖像中重疊由所述乘法運(yùn)算處理部生成的乘法運(yùn)算圖像來生成重疊圖像。
[0020]由此，觀察者能夠在重疊圖像中與被檢體的表面形狀對(duì)應(yīng)地對(duì)觀察對(duì)象進(jìn)行觀察。
[0021]在上述結(jié)構(gòu)中，所述乘法運(yùn)`算處理部可以使用顯示多個(gè)觀察對(duì)象的圖像作為所述表層圖像和所述投影圖像，所述重疊處理部以不同的顯示方式將所述多個(gè)觀察對(duì)象重疊到所述白色光圖像。
[0022]由此，例如，通過根據(jù)對(duì)于觀察者而言的重要度等使多個(gè)觀察對(duì)象的顯示方式不同，觀察者能夠根據(jù)重疊圖像同時(shí)觀察多個(gè)觀察對(duì)象。
[0023]在上述發(fā)明中，所述表層圖像可以是熒光圖像。
[0024]由此，能夠使用觀察對(duì)象顯示為亮部的二維圖像作為表層圖像。
[0025]在上述發(fā)明中，所述表層圖像可以是窄帶光圖像。
[0026]由此，能夠使用觀察對(duì)象顯示為亮部、且從表層拍攝到一定深的位置為止的圖像作為表層圖像。
[0027]發(fā)明的效果
[0028]根據(jù)本發(fā)明，起到如下效果:能夠向觀察者提示在可掌握具有三維構(gòu)造的觀察對(duì)象的深層構(gòu)造的同時(shí)可容易地識(shí)別表層觀察對(duì)象的二維圖像。
【專利附圖】

【附圖說明】
[0029]圖1是具有本發(fā)明一個(gè)實(shí)施方式的圖像處理裝置的內(nèi)窺鏡系統(tǒng)的整體結(jié)構(gòu)圖。
[0030]圖2是示出圖1的圖像處理部的功能的框圖。
[0031]圖3是說明圖2的圖像處理部的圖像處理方法的圖，Ca)示出了投影圖像，(b)示出了熒光圖像，(C)示出了乘法運(yùn)算圖像，(d)示出了白色光圖像，(e)示出了重疊圖像?！揪唧w實(shí)施方式】
[0032]下面，參照附圖對(duì)本發(fā)明一個(gè)實(shí)施方式的圖像處理裝置100進(jìn)行說明。
[0033]如圖1所示，在內(nèi)窺鏡系統(tǒng)I中具備本實(shí)施方式的圖像處理裝置100作為圖像處理部(以下也稱作圖像處理部100。)。
[0034]內(nèi)窺鏡系統(tǒng)I具備:在前端具有物鏡光學(xué)系統(tǒng)21的細(xì)長(zhǎng)的插入部2 ;經(jīng)由該插入部2向被檢體X以時(shí)分方式照射白色光和激勵(lì)光的照明單元3 ;設(shè)置于插入部2的前端的位置傳感器4 ;以及配置于插入部2的基端側(cè)且生成和處理圖像的控制單元5。在本實(shí)施方式中，圖像處理部100配備于控制單元5。
[0035]插入部2具有:會(huì)聚來自作為被檢體X的活體內(nèi)的組織表層的光并引導(dǎo)至攝像元件51 (后述)的物鏡光學(xué)系統(tǒng)21 ;以及配置于該物鏡光學(xué)系統(tǒng)21與攝像元件51之間的光路的中途位置的第I濾光片轉(zhuǎn)臺(tái)22。第I濾光片轉(zhuǎn)臺(tái)22具有使白色光選擇性地透過的白色濾光片和使熒光選擇性地透過的熒光濾光片，通過旋轉(zhuǎn)而在白色光與熒光之間對(duì)引導(dǎo)至攝像元件51的光進(jìn)行切換。
[0036]照明單元3具有:光源31 ;從該光源31發(fā)射的光中提取白色光和激勵(lì)光中的一方的第2濾光片轉(zhuǎn)臺(tái)32 ;會(huì)聚通過第2濾光片轉(zhuǎn)臺(tái)32提取出的光的耦合透鏡33 ;配置于插入部2的長(zhǎng)度方向的大致全長(zhǎng)范圍內(nèi)的光導(dǎo)纖維34 ;以及設(shè)置于插入部2的前端的照明光學(xué)系統(tǒng)35。
[0037]第2濾光片轉(zhuǎn)臺(tái)32具有使白色光(波段400nm至740nm)選擇性透過的白色濾光片；以及使具有熒光色素的激勵(lì)波長(zhǎng)的激勵(lì)光選擇性透過的激勵(lì)濾光片。第2濾光片轉(zhuǎn)臺(tái)32通過旋轉(zhuǎn)而在白色光與激勵(lì)光之間對(duì)引導(dǎo)至光導(dǎo)纖維34的光進(jìn)行切換。由第2濾光片轉(zhuǎn)臺(tái)32提取并由耦合透鏡33會(huì)聚的光在通過光導(dǎo)纖維34在插入部2內(nèi)被引導(dǎo)后，由照明光學(xué)系統(tǒng)35擴(kuò)散并被照射到被檢體X。
[0038]在本實(shí)施方式中，通過將吲哚菁綠(ICG)混合到被檢體的淋巴液中，將淋巴管和淋巴結(jié)(以下將兩者合稱作淋巴管。)作為觀察對(duì)象來觀察熒光圖像G2。ICG的激勵(lì)波長(zhǎng)為680nm至780nm,發(fā)光波長(zhǎng)為830nm。即，激勵(lì)濾光片使波長(zhǎng)680nm至780nm的光作為激勵(lì)光透過，突光濾光片使波長(zhǎng)830nm附近的光作為突光透過。
[0039]位置傳感器4例如具有3軸陀螺儀傳感器和3軸加速度傳感器。位置傳感器4檢測(cè)3軸方向的位置和角度相對(duì)于基準(zhǔn)位置和基準(zhǔn)方向的變化量，并對(duì)檢測(cè)出的各方向的變化量進(jìn)行累積。由此，位置傳感器4計(jì)算相對(duì)于基準(zhǔn)位置和基準(zhǔn)方向的插入部2前端的當(dāng)前位置和當(dāng)前方向，即通過攝像元件(后述)51拍攝的圖像的攝像位置和攝像方向。位置傳感器4的基準(zhǔn)位置和基準(zhǔn)方向能夠通過操作者的操作設(shè)定為任意的位置和方向。位置傳感器4將計(jì)算出的當(dāng)前位置和當(dāng)前方向輸出到圖像處理部100內(nèi)的投影圖像生成電路104 (后述)。
[0040]控制單元5具有:拍攝白色光和熒光來生成圖像數(shù)據(jù)的攝像元件51 ;切換白色光圖像的生成和熒光圖像的生成的定時(shí)控制52 ；以及將通過圖像處理部100生成的圖像輸出到監(jiān)視器6的顯示控制部53。
[0041]定時(shí)控制部52具有白色光模式和熒光模式。在白色光模式下，定時(shí)控制部52以將白色光濾光片配置在光路上的方式使第I和第2濾光片轉(zhuǎn)臺(tái)22、32旋轉(zhuǎn),并從攝像元件51將圖像數(shù)據(jù)輸出到圖像處理部100內(nèi)的白色光圖像生成電路101 (后述)。在熒光模式下，定時(shí)控制部52以將激勵(lì)濾光片和熒光濾光片配置在光路上的方式使第I和第2濾光片轉(zhuǎn)臺(tái)22、32旋轉(zhuǎn)，并從攝像元件51將圖像數(shù)據(jù)輸出到熒光圖像生成電路102(后述)。定時(shí)控制部52以足夠短的時(shí)間間隔交替切換這兩個(gè)模式。由此，圖像處理部100以足夠短的時(shí)間間隔交替生成白色光圖像Gl和熒光圖像G2。
[0042]顯示控制部53以在I秒內(nèi)以恒定的時(shí)間間隔將預(yù)定數(shù)量的重疊圖像G5 (后述)顯示在監(jiān)視器6上的方式，在預(yù)定的定時(shí)將重疊圖像G5輸出到監(jiān)視器6。
[0043]如圖2所不，圖像處理部100具有:生成白色光圖像Gl的白色光圖像生成電路101 ;生成熒光圖像G2的熒光圖像生成電路102 ;對(duì)通過三維觀察裝置拍攝的被檢體的三維圖像進(jìn)行存儲(chǔ)的三維圖像存儲(chǔ)電路(存儲(chǔ)部)103 ;根據(jù)三維圖像存儲(chǔ)電路103所存儲(chǔ)的三維圖像生成二維的投影圖像G3的投影圖像生成電路104 ;對(duì)投影圖像G3和熒光圖像G2的亮度值進(jìn)行乘法運(yùn)算來生成乘法運(yùn)算圖像G4的乘法運(yùn)算處理電路(乘法運(yùn)算處理部)105 ；以及將乘法運(yùn)算圖像G4重疊到白色光圖像Gl來生成重疊圖像G5的重疊處理電路(重疊處理部)106。圖3是說明圖像處理部100進(jìn)行的圖像處理方法的概念圖。
[0044]白色光圖像生成電路101根據(jù)從攝像元件51輸入的白色光的圖像數(shù)據(jù)生成白色光圖像G1，并將所生成的白色光圖像Gl (參照?qǐng)D3中的(d)。)輸出到重疊處理電路106。
[0045]熒光圖像生成電路102根據(jù)從攝像元件51輸入的熒光的圖像數(shù)據(jù)生成熒光圖像(表層圖像。參照?qǐng)D3中的6)。)62，并將所生成的熒光圖像G2輸出到乘法運(yùn)算處理電路105。在熒光圖像G2內(nèi)，將作為觀察對(duì)象的組織表層的淋巴管Al顯示為熒光區(qū)域，即亮部。
[0046]三維圖像存儲(chǔ)電路103對(duì)通過CT裝置等三維觀察裝置取得的活體內(nèi)部的淋巴管的三維圖像進(jìn)行了存儲(chǔ)。該三維圖像是例如在淋巴液中投放造影劑并拍攝而得到的，淋巴管被顯示為亮部。 [0047]投影圖像生成電路104基于從位置傳感器4輸入的插入部2前端的當(dāng)前位置和當(dāng)前方向，根據(jù)三維圖像存儲(chǔ)電路103所存儲(chǔ)的三維圖像，生成與當(dāng)前通過攝像元件51拍攝的熒光圖像G2對(duì)應(yīng)的投影圖像G3 (參照?qǐng)D3中的(a)。)。
[0048]具體而言，例如在操作者將插入部2的前端從形成于體表面的孔插入到體內(nèi)時(shí)，在孔的入口處朝向該孔內(nèi)配置了插入部2前端的狀態(tài)下，將插入部2前端的位置和方向設(shè)定為基準(zhǔn)位置和基準(zhǔn)方向。此外，操作者在三維圖像存儲(chǔ)電路103所存儲(chǔ)的三維圖像中，設(shè)定與孔的位置對(duì)應(yīng)的位置和孔的入口處的插入部2的插入方向。由此，投影圖像生成電路104能夠根據(jù)從位置傳感器4輸入的當(dāng)前位置和當(dāng)前方向，將當(dāng)前通過攝像元件51拍攝的熒光圖像G2的攝像位置和攝像方向與三維圖像中的位置和方向?qū)?yīng)起來。
[0049]并且，投影圖像生成電路104從三維圖像中，提取具有與攝像元件51的攝像范圍對(duì)應(yīng)的面積、且在與插入部2的當(dāng)前方向?qū)?yīng)的方向具有預(yù)定尺寸的三維空間，并生成將提取出的三維圖像投影到插入部2的當(dāng)前方向即視野的進(jìn)深方向的二維的投影圖像G3。由此，投影圖像生成電路104能夠生成位置與熒光圖像G2對(duì)應(yīng)起來的投影圖像G3。在所生成的投影圖像G3中，與組織表層的淋巴管Al對(duì)應(yīng)的像素和與組織深層的淋巴管A2對(duì)應(yīng)的像素具有同等的売度值。
[0050]乘法運(yùn)算處理電路105對(duì)熒光圖像G2和投影圖像G3的相互對(duì)應(yīng)的像素的亮度值進(jìn)行乘法運(yùn)算，并用預(yù)定色調(diào)顯示各像素，由此生成乘法運(yùn)算圖像G4(參照?qǐng)D3中的(c)。)，所述預(yù)定色調(diào)具有與乘法運(yùn)算得到的乘積對(duì)應(yīng)的明度或飽和度。由此，在熒光圖像G2和投影圖像G3的兩方中顯示淋巴管Al、A2的區(qū)域、即與組織表層的淋巴管Al對(duì)應(yīng)的區(qū)域在乘法運(yùn)算圖像G4中以較深或鮮艷的顏色進(jìn)行顯示。另一方面，僅在熒光圖像G2或投影圖像G3的一方中顯示淋巴管Al、A2的區(qū)域、即與組織深層的淋巴管A2對(duì)應(yīng)的區(qū)域在乘法運(yùn)算圖像G4中以較淺或較淡的顏色進(jìn)行顯示。
[0051]此處，乘法運(yùn)算處理電路105可以適當(dāng)進(jìn)行如下處理，該處理用于使得在乘法運(yùn)算圖像G4中，相比與深層的淋巴管A2對(duì)應(yīng)的區(qū)域，進(jìn)一步強(qiáng)調(diào)顯示與表層的淋巴管Al對(duì)應(yīng)的區(qū)域。例如，可以進(jìn)行對(duì)熒光圖像G2的各像素的亮度值乘以或加上預(yù)定的系數(shù)，并將其積或和用于乘法運(yùn)算處理等對(duì)熒光圖像G2的亮度值加權(quán)的處理?；蛘?，可以進(jìn)行調(diào)整熒光圖像G2的色調(diào)曲線等預(yù)處理，使得熒光圖像G2內(nèi)的亮部與暗部的明暗差變得足夠大。
[0052]并且，乘法運(yùn)算處理電路105還可以進(jìn)行將積調(diào)整到適當(dāng)?shù)姆秶鷥?nèi)的處理，以防止通過熒光圖像G2和投影圖像G3的亮度值的乘法運(yùn)算得到的積變得過大從而在乘法運(yùn)算圖像G4中明度或飽和度飽和。
[0053]重疊處理電路106通過在從白色光圖像生成電路101輸入的白色光圖像Gl中重疊由乘法運(yùn)算處理電路105生成的乘法運(yùn)算圖像G4而生成重疊圖像G5 (參照?qǐng)D3中的(e)。)。即，重疊圖像G5是將淋巴管Al、A2與白色光圖像Gl內(nèi)的組織B形狀對(duì)應(yīng)后的圖像。重疊處理電路106將所生成的重疊圖像G5輸出到顯示控制部53。
[0054]接著，對(duì)具有這樣構(gòu)成的圖像處理裝置100的內(nèi)窺鏡系統(tǒng)I的作用進(jìn)行說明。
[0055]為了使用本實(shí)施方式的內(nèi)窺鏡系統(tǒng)I觀察作為被檢體X的活體內(nèi)的組織，操作者在通過點(diǎn)亮光源31而從插入部2的前端交替射出白色光和激勵(lì)光的同時(shí)將插入部2插入到體內(nèi)。
[0056]并且，在通過內(nèi)窺鏡系統(tǒng)I拍攝的視野中，在組織表層存在淋巴管Al時(shí)，在監(jiān)視器6所顯示的重疊圖像G5中，以較深`或鮮艷的預(yù)定色調(diào)顯示淋巴管Al。此外，在視野比較深的位置存在淋巴管A2時(shí)，以較淺或較淡的預(yù)定色調(diào)顯示淋巴管A2。觀察者根據(jù)顯示在重疊圖像G5內(nèi)的淋巴管A1、A2中的顏色較淺或較淡的部分掌握深層中的淋巴管A2的三維構(gòu)造，并且根據(jù)需要將顏色較深或鮮艷的部分識(shí)別為表層的淋巴管Al來進(jìn)行處置。
[0057]由此，根據(jù)本實(shí)施方式，在提示給觀察者的重疊圖像G5中，相比對(duì)于觀察者而言重要度較低的組織深層的淋巴管A2，強(qiáng)調(diào)顯示重要度較高的組織表層的淋巴管Al的像。由此，觀察者能夠在根據(jù)重疊圖像G5容易且準(zhǔn)確地識(shí)別表層的淋巴管Al的位置的同時(shí)還掌握深層中的淋巴管A2的三維構(gòu)造的概要，并且能夠防止重疊圖像G5對(duì)于觀察者而言不必要地變得煩雜。
[0058]在本實(shí)施方式中，作為觀察對(duì)象觀察了淋巴管A1、A2，但也可以對(duì)其進(jìn)行替代而觀察多個(gè)觀察對(duì)象。例如，在觀察病變部作為另I個(gè)觀察對(duì)象的情況下，以與標(biāo)識(shí)淋巴管Al、A2的熒光色素不同的熒光色素標(biāo)識(shí)病變部，在三維圖像存儲(chǔ)電路103中還預(yù)先存儲(chǔ)病變部的三維圖像。該情況下，乘法運(yùn)算處理電路105以不同的顯示方式、例如不同的色調(diào)顯示利用淋巴管Al、A2的熒光圖像G2得到的乘法運(yùn)算圖像G4、和利用病變部的熒光圖像得到的乘法運(yùn)算圖像。由此，能夠同時(shí)針對(duì)兩個(gè)觀察對(duì)象，在識(shí)別表層和深層的同時(shí)進(jìn)行觀察。
[0059]另外，為了生成多個(gè)觀察對(duì)象的熒光圖像和乘法運(yùn)算圖像，組合使用激勵(lì)波長(zhǎng)和發(fā)光波長(zhǎng)中的至少一方相互不同的熒光色素、或者組合使用發(fā)光波長(zhǎng)的強(qiáng)度足夠不同的熒光色素。[0060]在前者的情況下，構(gòu)成為照明單元3以時(shí)分方式照射激勵(lì)光、或者利用波長(zhǎng)對(duì)由攝像元件51檢測(cè)出的光進(jìn)行分支。熒光圖像生成電路102分別生成多個(gè)觀察對(duì)象的熒光圖像，乘法運(yùn)算處理電路105將各熒光圖像用于乘法運(yùn)算處理即可。
[0061]在后者的情況下，熒光圖像生成電路102生成多個(gè)觀察對(duì)象的熒光像作為同一熒光圖像。乘法運(yùn)算處理電路105例如生成熒光圖像的亮度值的直方圖，并在直方圖中出現(xiàn)的兩個(gè)峰值處，以不同的顯示方式顯示亮度值所屬的各像素組即可。
[0062]此外，對(duì)于病變部，可以不進(jìn)行與投影圖像的乘法運(yùn)算處理，而直接將熒光圖像重疊到白色光圖像。
[0063]此外，可以通過觀察者進(jìn)行的操作切換重疊圖像G5中的多個(gè)觀察對(duì)象的顯示/不顯示。例如，操作者利用未圖示的輸入裝置選擇多個(gè)觀察模式中的I個(gè)進(jìn)行輸入，重疊處理電路106選擇與所輸入的觀察模式對(duì)應(yīng)的乘法運(yùn)算圖像來生成重疊圖像。由此，觀察者能夠根據(jù)需要切換重疊圖像G5中的觀察對(duì)象的顯示/不顯示。
[0064]本實(shí)施方式中，作為表層圖像使用了淋巴管的熒光圖像，但也可以對(duì)其進(jìn)行替代而使用血管的窄帶光圖像。該情況下，照明單元3替代激勵(lì)光而將藍(lán)色的窄帶光和綠色的窄帶光照射到被檢體X，三維圖像存儲(chǔ)電路103對(duì)血管的三維圖像進(jìn)行存儲(chǔ)。窄帶光圖像是以高對(duì)比度顯示組織表層的毛細(xì)血管和比較深的位置的粗血管的圖像，能夠觀察血管作為觀察對(duì)象。
[0065]此外，在本實(shí)施方式中，將乘法運(yùn)算圖像G4重疊到白色光圖像Gl向觀察者進(jìn)行了提示，但也可以對(duì)其進(jìn)行替代而分別排列乘法運(yùn)算圖像G4和白色光圖像Gl向觀察者進(jìn)行提示。
[0066]在本實(shí)施方式中，圖像處理裝置100可以與內(nèi)窺鏡系統(tǒng)I分開設(shè)置。該情況下，體內(nèi)的插入部2前端的當(dāng)前位置和當(dāng)前方向不使用位置傳感器4而利用X線觀察裝置等從體外進(jìn)行檢測(cè)，檢測(cè)出的當(dāng)前位置和當(dāng)前`方向的數(shù)據(jù)從X線觀察裝置等通過無線或有線發(fā)送到圖像處理裝置100。
[0067]本實(shí)施方式中的乘法運(yùn)算圖像G4的顯示方式是一例，可適當(dāng)進(jìn)行變更。例如，可以用輪廓線圍起在乘法運(yùn)算處理電路105中通過亮度值的乘法運(yùn)算得到的積大于預(yù)定值的像素組，并在重疊圖像G5上對(duì)這些像素組進(jìn)行閃爍顯示。
[0068]在本實(shí)施方式中，作為表層圖像G2和投影圖像G3，使用了淋巴管A1、A2均顯示為亮部的圖像，但也可以對(duì)其進(jìn)行替代而使用紅外光圖像那樣的淋巴管顯示為暗部的表層圖像，該情況下，使用使亮度值反轉(zhuǎn)后的表層圖像進(jìn)行與投影圖像的乘法運(yùn)算處理即可。
[0069]標(biāo)號(hào)說明
[0070]1:內(nèi)窺鏡系統(tǒng)；2:插入部；21:物鏡光學(xué)系統(tǒng)；22:弟I濾光片轉(zhuǎn)臺(tái)；3:照明單兀；31:光源；32 --第2濾光片轉(zhuǎn)臺(tái)；33 禹合透鏡；34:光導(dǎo)纖維；35:照明光學(xué)系統(tǒng)；4:位置傳感器；5:控制單兀；51:攝像兀件；52:定時(shí)控制部；53:顯不控制部；6:監(jiān)視器；100:圖像處理裝置、圖像處理部；101:白色光圖像生成電路；102:熒光圖像生成電路；103:三維圖像存儲(chǔ)電路(存儲(chǔ)部);104:投影圖像生成電路(投影圖像生成部)；105:乘法運(yùn)算處理電路(乘法運(yùn)算處理部)；106:重疊處理電路(重疊處理部)；A1:表層的淋巴管；A2:深層的淋巴管；G1:白色光圖像；G2:突光圖像(表層圖像)；G3:投影圖像；G4:乘法運(yùn)算圖像；G5:重置圖像；X:被檢體。
【權(quán)利要求】
1.一種圖像處理裝置，其具有: 存儲(chǔ)部，其對(duì)存在于被檢體的觀察對(duì)象的三維圖像進(jìn)行存儲(chǔ)； 投影圖像生成部，其被輸入對(duì)所述被檢體的表層的所述觀察對(duì)象進(jìn)行拍攝而得到的二維的表層圖像的攝像位置和攝像方向，并將所述存儲(chǔ)部所存儲(chǔ)的所述三維圖像的與所述攝像位置對(duì)應(yīng)的位置投影到所述攝像方向來生成二維的投影圖像；以及 乘法運(yùn)算處理部，其被輸入所述表層圖像和通過所述投影圖像生成部生成的投影圖像，對(duì)所述表層圖像和所述投影圖像的對(duì)應(yīng)的像素的亮度值進(jìn)行乘法運(yùn)算來生成乘法運(yùn)算圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述乘法運(yùn)算處理部將對(duì)所述表層圖像的亮度值加上或乘以系數(shù)后的積用于乘法運(yùn)算。
3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中， 所述乘法運(yùn)算處理部用與各像素的亮度值對(duì)應(yīng)的明度或飽和度顯示所述乘法運(yùn)算圖像的該各像素。
4.根據(jù)權(quán)利要求1~3中的任意一項(xiàng)所述的圖像處理裝置，其中， 所述圖像處理裝置具有重疊處理部，所述重疊處理部被輸入所述被檢體的白色光圖像，在該白色光圖像中重疊由所述乘法運(yùn)算處理部生成的乘法運(yùn)算圖像來生成重疊圖像。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 所述乘法運(yùn)算處理部使用顯示有多個(gè)觀察對(duì)象的圖像作為所述表層圖像和所述投影圖像， 所述重疊處理部以不同的顯示方式將所述多個(gè)觀察對(duì)象重疊到所述白色光圖像。
6.根據(jù)權(quán)利要求1~5中的任意一項(xiàng)所述的圖像處理裝置，其中， 所述表層圖像是熒光圖像。
7.根據(jù)權(quán)利要求1~5中的任意一項(xiàng)所述的圖像處理裝置，其中， 所述表層圖像是窄帶光圖像。
【文檔編號(hào)】A61B1/00GK103561627SQ201280026068
【公開日】2014年2月5日 申請(qǐng)日期:2012年5月28日 優(yōu)先權(quán)日:2011年6月1日
【發(fā)明者】三田村元裕 申請(qǐng)人:奧林巴斯株式會(huì)社