圖像處理裝置、成像系統(tǒng)和圖像處理系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理裝置、成像系統(tǒng)和圖像處理系統(tǒng)，特別涉及用于利用數(shù)字圖像輔助對(duì)象觀察的技術(shù)。
【背景技術(shù)】
[0002]近年來(lái)，作為當(dāng)前用作病理診斷工具的光學(xué)顯微鏡的后繼物，虛擬載片(virtualslide)系統(tǒng)在病理領(lǐng)域中吸引了關(guān)注。虛擬載片系統(tǒng)通過(guò)將放置在載片上的待觀察樣品成像并且將圖像數(shù)字化而使得能夠在顯示器上執(zhí)行病理診斷。利用虛擬載片系統(tǒng)將病理診斷圖像數(shù)字化使得可以作為數(shù)字?jǐn)?shù)據(jù)操縱樣品的常規(guī)光學(xué)顯微鏡圖像。預(yù)期這將帶來(lái)各種優(yōu)點(diǎn)，諸如更加迅速的遠(yuǎn)程診斷、通過(guò)數(shù)字圖像向病人提供信息、共享罕見(jiàn)病例的數(shù)據(jù)、以及更加有效的教育和培訓(xùn)。
[0003]當(dāng)使用虛擬載片系統(tǒng)時(shí)，為了實(shí)現(xiàn)與光學(xué)顯微鏡相當(dāng)?shù)男阅埽枰獙⒎胖迷谳d片上的待觀察樣品的整個(gè)圖像數(shù)字化。樣品的整個(gè)圖像的數(shù)字化使得可以通過(guò)使用在PC或工作站上運(yùn)行的觀察器軟件來(lái)檢查利用虛擬載片系統(tǒng)產(chǎn)生的數(shù)字?jǐn)?shù)據(jù)。當(dāng)由像素?cái)?shù)量代表時(shí)，樣品的數(shù)字化的整個(gè)圖像一般將構(gòu)成從幾億像素到幾十億像素的巨量數(shù)據(jù)。
[0004]盡管通過(guò)虛擬載片系統(tǒng)產(chǎn)生的數(shù)據(jù)量是巨大的，這也使得可以通過(guò)用觀察器縮放圖像來(lái)微觀地(以放大的細(xì)節(jié)圖)或宏觀地(以總體的透視圖)檢查樣品圖像，這提供各種優(yōu)點(diǎn)和便利?？沙醪将@取所有必要信息，使得可如用戶請(qǐng)求的那樣瞬時(shí)顯示任何分辨率和任何倍率的圖像。
[0005]盡管虛擬載片系統(tǒng)提供各種優(yōu)點(diǎn)和便利，它就使用時(shí)的便利性而言在一些方面仍不及常規(guī)光學(xué)顯微鏡觀察。
[0006]這樣的缺點(diǎn)中的一種在于深度方向(沿光學(xué)顯微鏡的光軸的方向或與載片的觀察表面垂直的方向)上的觀察。一般地，當(dāng)醫(yī)師用光學(xué)顯微鏡檢查樣品時(shí)，他/她在光軸方向上輕微移動(dòng)顯微鏡臺(tái)架(stage)以改變樣品中的焦點(diǎn)位置，使得可把握組織或細(xì)胞的三維結(jié)構(gòu)。當(dāng)要用虛擬載片系統(tǒng)進(jìn)行相同的操作時(shí)，在某個(gè)焦點(diǎn)位置處捕獲圖像，并然后必須在(例如，通過(guò)在光軸方向上偏移其上放置載片的臺(tái)架)改變焦點(diǎn)位置之后捕獲另一圖像。
[0007]作為用于處理和顯示通過(guò)在改變焦點(diǎn)位置的同時(shí)重復(fù)圖像捕獲所捕獲的多個(gè)圖像的方法，提出如下所述的技術(shù)。專利文獻(xiàn)(PTL) I公開(kāi)了如下系統(tǒng):在該系統(tǒng)中，將不同焦點(diǎn)位置處的多個(gè)圖像中的每一個(gè)分成多個(gè)區(qū)段(sect1n)，并且對(duì)每個(gè)區(qū)段執(zhí)行焦點(diǎn)層疊(focus stacking)，由此產(chǎn)生具有深的場(chǎng)深的深焦點(diǎn)圖像。
[0008]引文列表
[0009]專利文獻(xiàn)
[0010]PTL 1:日本專利申請(qǐng)公開(kāi) N0.2005-037902

【發(fā)明內(nèi)容】

[0011]根據(jù)在PTL I中描述的方法，可以獲得在整個(gè)范圍上聚焦且具有很少模糊的圖像，并由此提供可僅通過(guò)一個(gè)圖像把握對(duì)象的總體上的狀況的優(yōu)點(diǎn)。但是，雖然這樣的深焦點(diǎn)圖像對(duì)對(duì)象的總體上的粗略觀察是有用的，但它不適合于對(duì)象的一部分的詳細(xì)觀察以及對(duì)象的三維結(jié)構(gòu)的把握。這是由于，由于大量圖像的焦點(diǎn)層疊，因此深度方向上的信息(關(guān)于前后關(guān)系的信息)已丟失。
[0012]本發(fā)明是鑒于這些問(wèn)題而作出的，并且提供用于在使用數(shù)字圖像觀察對(duì)象時(shí)輔助對(duì)象的深度方向上的詳細(xì)觀察的技術(shù)。
[0013]本發(fā)明在其第一方面中提供一種圖像處理裝置，該圖像處理裝置包括:圖像獲取單元，被配置為獲取通過(guò)使用顯微鏡將對(duì)象的不同位置成像所獲得的多個(gè)層圖像；以及圖像產(chǎn)生單元，被配置為從所述多個(gè)層圖像產(chǎn)生多個(gè)觀察圖像，其中，圖像產(chǎn)生單元通過(guò)多次執(zhí)行用于焦點(diǎn)層疊選自所述多個(gè)層圖像之中的兩個(gè)或更多個(gè)層圖像以產(chǎn)生單個(gè)觀察圖像的合成處理，來(lái)產(chǎn)生所述多個(gè)觀察圖像。
[0014]本發(fā)明在其第二方面中提供一種成像系統(tǒng)，該成像系統(tǒng)包括:成像裝置，被配置為通過(guò)使用顯微鏡將對(duì)象的不同位置成像來(lái)產(chǎn)生多個(gè)層圖像；以及根據(jù)權(quán)利要求1至12中任一項(xiàng)所述的圖像處理裝置，被配置為從成像裝置獲取所述多個(gè)層圖像。
[0015]本發(fā)明在其第三方面中提供一種圖像處理系統(tǒng)，該圖像處理系統(tǒng)包括:服務(wù)器，用于存儲(chǔ)通過(guò)使用顯微鏡將對(duì)象的不同位置成像所獲得的多個(gè)層圖像；以及根據(jù)權(quán)利要求1至12中任一項(xiàng)所述的圖像處理裝置，被配置為從服務(wù)器獲取多個(gè)原始圖像。
[0016]本發(fā)明在其第四方面中提供一種存儲(chǔ)于非暫態(tài)計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序，所述程序?qū)е掠?jì)算機(jī)執(zhí)行包括以下步驟的方法:獲取通過(guò)使用顯微鏡將對(duì)象的不同位置成像所獲得的多個(gè)層圖像；以及從所述多個(gè)層圖像產(chǎn)生多個(gè)觀察圖像，其中，在產(chǎn)生觀察圖像的步驟中，通過(guò)多次執(zhí)行用于焦點(diǎn)層疊選自所述多個(gè)層圖像之中的兩個(gè)或更多個(gè)層圖像以產(chǎn)生單個(gè)觀察圖像的合成處理，來(lái)產(chǎn)生所述多個(gè)觀察圖像。
[0017]根據(jù)本發(fā)明，可在使用數(shù)字圖像觀察對(duì)象時(shí)在深度方向上詳細(xì)觀察對(duì)象。
[0018]從參照附圖對(duì)示例性實(shí)施例的以下描述，本發(fā)明的進(jìn)一步的特征將變得明顯。
【附圖說(shuō)明】
[0019]圖1是示出根據(jù)本發(fā)明第一實(shí)施例的成像系統(tǒng)中的裝置的布局的總體圖。
[0020]圖2是根據(jù)第一實(shí)施例的成像裝置的功能框圖。
[0021]圖3是示出焦點(diǎn)層疊的概念圖。
[0022]圖4是示出在固定焦點(diǎn)位置的情況下改變場(chǎng)深的處理的概念圖。
[0023]圖5是示出根據(jù)第一和第二實(shí)施例的圖像處理的流程的流程圖。
[0024]圖6是示出根據(jù)第一實(shí)施例的合成處理的流程的流程圖。
[0025]圖7是示出根據(jù)第一實(shí)施例的顯示處理的流程的流程圖。
[0026]圖8A至圖8C是示出根據(jù)第一實(shí)施例的圖像顯示畫(huà)面(screen)的例子的示圖。
[0027]圖9是示出根據(jù)第一實(shí)施例的設(shè)定畫(huà)面的例子的示圖。
[0028]圖10是示出根據(jù)第二實(shí)施例的圖像處理系統(tǒng)中的裝置的布局的總體圖。
[0029]圖11是示出在固定焦點(diǎn)位置的情況下改變場(chǎng)深的處理的概念圖。
[0030]圖12是示出根據(jù)第二實(shí)施例的合成處理的流程的流程圖。
[0031]圖13是示出根據(jù)第二實(shí)施例的顯示處理的流程的流程圖。
[0032]圖14是示出根據(jù)第二實(shí)施例的設(shè)定畫(huà)面的例子的示圖。
[0033]圖15是示出根據(jù)第三實(shí)施例的圖像獲取的流程的流程圖。
[0034]圖16是示出根據(jù)第三實(shí)施例的圖像處理的流程的流程圖。
[0035]圖17A和圖17B是示出根據(jù)第三實(shí)施例的模式指定畫(huà)面的例子的示圖。
[0036]圖18是示出根據(jù)第三實(shí)施例的以多顯示模式顯示圖像的畫(huà)面的例子的示圖。
[0037]圖19是示出根據(jù)其它實(shí)施例的合成處理的流程的流程圖。
【具體實(shí)施方式】
[0038]將參照附圖描述本發(fā)明的示例性實(shí)施例。
[0039]<第一實(shí)施例>
[0040](系統(tǒng)配置)
[0041]圖1是示出根據(jù)本發(fā)明第一實(shí)施例的成像系統(tǒng)中的裝置的布局的總體圖。
[0042]根據(jù)第一實(shí)施例的成像系統(tǒng)包括成像裝置101、圖像處理裝置102和顯示器件103，并且是具有獲取和顯示作為待成像對(duì)象的樣品(對(duì)象)的二維圖像的功能的系統(tǒng)。成像裝置101和圖像處理裝置102利用專用或通用I/F線纜104相互連接。圖像處理裝置102和顯示器件103利用通用I/F線纜105相互連接。
[0043]成像裝置101是具有在光軸方向上在不同焦點(diǎn)位置處獲取多個(gè)二維圖像并且輸出數(shù)字圖像的功能的顯微鏡裝置(虛擬載片裝置)。利用諸如CCD或CMOS的固態(tài)成像器件進(jìn)行二維圖像的獲取。作為替代方案，作為虛擬載片裝置的替代，可通過(guò)數(shù)字照相機(jī)被附接于通常光學(xué)顯微鏡的目鏡的數(shù)字顯微鏡裝置形成成像裝置101。
[0044]圖像處理裝置102是如下裝置:其用于通過(guò)從由成像裝置101獲取的多個(gè)原始圖像產(chǎn)生各自具有希望的焦點(diǎn)位置和場(chǎng)深的多個(gè)觀察圖像、并且在顯示器件103上顯示那些觀察圖像，來(lái)輔助用戶進(jìn)行顯微鏡觀察。圖像處理裝置102的主要功能包括獲取多個(gè)原始圖像的圖像獲取功能、從這些原始圖像產(chǎn)生觀察圖像的圖像產(chǎn)生功能、以及在顯示器件103上顯示觀察圖像的圖像顯示功能。圖像處理裝置102由具有諸如CPU(中央處理單元)、RAM、儲(chǔ)存器件、操作單元和I/F的硬件資源的通用計(jì)算機(jī)或工作站形成。儲(chǔ)存器件是其中存儲(chǔ)用于執(zhí)行后面將描述的處理步驟的程序、數(shù)據(jù)、OS(操作系統(tǒng))等的諸如硬盤(pán)驅(qū)動(dòng)器的海量(mass)信息儲(chǔ)存器件。通過(guò)CPU從儲(chǔ)存器件下載RAM所需的程序和數(shù)據(jù)并且執(zhí)行程序，實(shí)現(xiàn)上述的功能。操作單元由鍵盤(pán)或鼠標(biāo)形成，并且被操作員使用來(lái)輸入各種類型的指令。顯示器件103是顯示作為通過(guò)圖像處理裝置102進(jìn)行的運(yùn)算處理的結(jié)果的多個(gè)二維圖像的監(jiān)視器，并且由CRT、液晶顯示器等形成。
[0045]雖然在圖1所示的例子中成像系統(tǒng)由三個(gè)組件即成像裝置101、圖像處理裝置102和顯示器件103構(gòu)成，但本發(fā)明不限于該配置。例如，圖像處理裝置可與顯示器件一體化，或者圖像處理裝置的功能可被并入在成像裝置中。并且，成像裝置、圖像處理裝置和顯示器件的功能可由單個(gè)裝置實(shí)現(xiàn)。相反，圖像處理裝置等的功能可被分割，使得通過(guò)多個(gè)裝置或器件來(lái)實(shí)現(xiàn)它們。
[0046](成像裝置的配置)
[0047]圖2是示出成像裝置101的功能配置的框圖。
[0048]成像裝置101示意性地包括照明單元201、臺(tái)架202、臺(tái)架控制單元205、成像光學(xué)系統(tǒng)207、成像單元210、顯影處理單元216、預(yù)測(cè)量單元217、主控制系統(tǒng)218和外部接口219。
[0049]照明單元201是用于用均勻的光照射放置在臺(tái)架202上的載片206的構(gòu)件，并且包括光源、照明光學(xué)系統(tǒng)和光源的驅(qū)動(dòng)控制系統(tǒng)。臺(tái)架202由臺(tái)架控制單元205驅(qū)動(dòng)控制，并且可沿X、Y和Z三個(gè)軸移動(dòng)。光軸方向應(yīng)被定義為Z方向。載片206是待檢查的組織切片或涂片細(xì)胞被施加在載片玻璃上并且與封裝劑一起被封裝在蓋玻璃下的部件。
[0050]臺(tái)架控制單元205包括驅(qū)動(dòng)控制系統(tǒng)203和臺(tái)架驅(qū)動(dòng)機(jī)構(gòu)204。驅(qū)動(dòng)控制系統(tǒng)203根據(jù)從主控制系統(tǒng)218接收的指令執(zhí)行臺(tái)架202的驅(qū)動(dòng)控制。臺(tái)架202的移動(dòng)方向和移動(dòng)量等基于通過(guò)預(yù)測(cè)量單元217的測(cè)量所獲得的關(guān)于樣品的位置信息和厚度信息(距離信息)以及來(lái)自用戶的指令被確定。臺(tái)架驅(qū)動(dòng)機(jī)構(gòu)204根據(jù)來(lái)自驅(qū)動(dòng)控制系統(tǒng)203的指令驅(qū)動(dòng)臺(tái)架202。
[0051]成像光學(xué)系統(tǒng)207是用于在成像傳感器208上形成載片206中的樣品的光學(xué)圖像的透鏡組。
[0052]成像單元210包括成像傳感器208和模擬前端(AFE) 209。成像傳感器208是用于通過(guò)光電轉(zhuǎn)換將二維光學(xué)圖像轉(zhuǎn)換成電物理量的一維或二維圖像傳感器，并且，例如，使用CXD或CMOS作為成像傳感器208。當(dāng)成像傳感器208是一維傳感器時(shí)，可通過(guò)在掃描方向上掃描圖像獲得二維圖像。成像傳感器208輸出具有根據(jù)光強(qiáng)度的電壓值的電信號(hào)。當(dāng)希望彩色圖像作為捕獲圖像時(shí)，可以使用具有附接于其的Bayer布置濾色器的單板圖像傳感器。
[0053]AFE 209是用于將從成像傳感器208輸出的模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)的電路。AFE209包括如后所述的Η/V驅(qū)動(dòng)器XDS、放大器、AD轉(zhuǎn)換器和定時(shí)產(chǎn)生器。Η/V驅(qū)動(dòng)器將用于驅(qū)動(dòng)成像傳感器208的垂直同步信號(hào)和水平同步信號(hào)轉(zhuǎn)換成驅(qū)動(dòng)傳感器所需的電勢(shì)。CDS (相關(guān)雙采樣)是用于從固定模式(fixed pattern)去除噪聲的相關(guān)雙采樣電路。放大器是用于調(diào)整已通過(guò)CDS去除了其噪聲的模擬信號(hào)的增益的模擬放大器。AD轉(zhuǎn)換器將模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。當(dāng)系統(tǒng)的最終級(jí)輸出具有8位時(shí)，AD轉(zhuǎn)換器考慮到在隨后級(jí)中要進(jìn)行的處理，將模擬信號(hào)轉(zhuǎn)換成被量化為約10至