層圖像Dhj這兩者的位置處的三維高倍率斷層圖像Dhj的像素值。此外，顯示控制單元135將表示三維寬視角斷層圖像D1”上的特定掃描位置的箭頭顯示在通過上述處理i)所獲得的疊加圖像上，并且獲得該箭頭位置處所截取的三維寬視角斷層圖像D1”的二維斷層圖像。然后，顯示控制單元135使監(jiān)視器305并列顯示所獲得的二維斷層圖像和通過上述的處理i)所獲得的疊加圖像。上述的顯示不僅包括疊加三維寬視角斷層圖像D1的二維斷層圖像而且還疊加三維高倍率斷層圖像Dhj的二維斷層圖像。此外，在上述顯示處理ii)中，操作員可以經(jīng)由指示獲取單元140移動表示寬視角斷層圖像D1”(在上下方向上或在左右方向上)的顯示位置的箭頭。因此，可以根據(jù)該操作來改變要截取(顯示)的寬視角圖像D1和高倍率圖像Dhj的顯示切片。
[0201]此外，在如本典型實施例所述、所獲取到的圖像包括不同的拍攝位置所拍攝到的多個高倍率圖像Dhj的情況下，顯示控制單元135對各個高倍率圖像Dhj進行顯示灰度轉換處理。此外，在兩個高倍率圖像Dhj的拍攝位置緊挨配置的情況下(或者在拍攝位置相同的情況下)?？梢允褂靡韵路椒ㄖ械娜我环椒▉盹@示重疊區(qū)域。更具體地，根據(jù)第一顯示方法，顯示控制單元135預先計算各圖像的質量指標值并且使監(jiān)視器305顯示評價值最大的圖像。根據(jù)第二顯示方法，顯示控制單元135進行各個高倍率圖像Dhj的亮度的混合(基于各圖像的上述質量指標值來對透明度進行加權)。這種情況下要使用的圖像質量指標可以是傳統(tǒng)上已知的任意指標。在本典型實施例中，質量指標值是圖像直方圖的平均亮度值。用于生成上述的投影圖像的方法不限于平均值投影?？梢匀我馐褂萌魏纹渌耐队胺椒?。此外，高倍率圖像Dhj不限于靜止圖像并且可以是運動圖像。
[0202]在本典型實施例中，高倍率圖像向監(jiān)視器305的顯示在完成所有圖像的獲取之前沒有開始。然而，本發(fā)明不限于上述示例。例如，顯示控制單元135可被配置為使監(jiān)視器305顯示所形成的圖像和/或個體圖像適合度判斷的結果，以使得可以順次確認攝像結果。在這種情況下，如果存在適合度被判斷為低并且需要再攝像處理的圖像，則顯示控制單元135可以使監(jiān)視器305進行任意可辨別的顯示(例如，向相應的攝像區(qū)域或其框賦予顏色)。如上所述，在本典型實施例中，眼科設備10基于不可觀察區(qū)域相對于攝像對象區(qū)域的小的程度來判斷斷層圖像群適合度。然而，本發(fā)明不限于上述示例。與第二典型實施例相同，眼科設備10可被配置為在個體圖像判斷單元132中包括圖像特征獲取單元1321，以使得可以基于從各個高倍率圖像中所提取的圖像特征在鄰接圖像之間的連續(xù)性來判斷斷層圖像群適合度。例如，圖像特征獲取單元1321通過以下過程來提取層邊界(例如，內界膜B1、神經(jīng)纖維層邊界B2、內從狀層邊界B4、視細胞內外節(jié)邊界B5或視網(wǎng)膜色素上皮邊界B6)作為圖像特征，并且基于各層邊界位置的連續(xù)性來判斷斷層圖像群適合度。
[0203]以下將詳細說明針對寬視角圖像D1的特征提取過程。首先，以下將詳細說明用于提取層邊界的過程。在這種情況下，假定作為處理對象的三維斷層圖像是包括二維斷層圖像(B掃描圖像)的組合。圖像特征獲取單元1321針對各二維斷層圖像進行以下處理。首先，圖像特征獲取單元1321對關注的二維斷層圖像進行平滑化處理以去除噪聲成分。接著，圖像特征獲取單元1321從二維斷層圖像中檢測邊緣成分，并且基于線段的連接性來提取一些線段作為層邊界候選。然后，圖像特征獲取單元1321從所提取的候選中，提取最上面的線段作為內界膜B1，提取從最上面起的第二個線段作為神經(jīng)纖維層邊界B2，并且提取從最上面起的第三個線段作為內從狀層邊界B4。此外，圖像特征獲取單元1321提取位于內界膜B1的外層側(即，圖6A中z坐標的高值側)的對比度最大的線段作為視細胞內外節(jié)邊界B5。此外，圖像特征獲取單元1321提取層邊界候選群中的最下面的線段作為視網(wǎng)膜色素上皮邊界B6。此外，該設備可被配置為通過在將這些線段設置為初始值的情況下應用可變形模型(例如，思內克斯(Snakes)或水平集(level-set)方法)來進行精確提取。此夕卜，該設備可被配置為根據(jù)圖形切割法來提取各層邊界?？梢詫θS斷層圖像三維地應用使用可變形模型或圖形切割法的邊界提取，或者對各二維斷層圖像二維地應用使用可變形模型或圖形切割法的邊界提取。此外，層邊界提取方法可以是任何其它方法，只要可以從眼部的斷層圖像中提取層邊界即可。此外，可以基于寬視角圖像D1和各個高倍率圖像Dhj之間的相對位置以及從寬視角圖像D1所檢測到的層邊界位置來進行從各個高倍率圖像Dhj提取層邊界。更具體地，可以通過在從與各個高倍率圖像Dhj相關聯(lián)的寬視角圖像D1中檢測到的各層邊界位置附近檢測高倍率圖像Dhj上的相應層的邊界來進行層邊界提取。
[0204]根據(jù)上述結構，在顯示不同拍攝位置所拍攝到的高倍率自適應光學0CT斷層圖像的組合時，眼科設備10基于該圖像組合中的不可觀察(不可分析)區(qū)域相對于拍攝(分析)對象區(qū)域的小的程度來判斷圖像群適合度。通過上述處理，在觀察或分析對象細胞群(或組織)及其病變延伸到多個高倍率圖像的獲取位置之外的情況下，可以在大致相同的條件下拍攝可觀察或可分析的圖像群。
[0205]將圖像組■合與不同檢查中拍攝得到的(或所分析的)區(qū)域進行比較
[0206]以下將詳細說明第五典型實施例。在顯示不同拍攝位置所拍攝到的高倍率自適應光學SL0圖像的組合時，根據(jù)本典型實施例的眼科設備的特征在于:基于不可觀察(不可分析)區(qū)域相對于不同檢查中拍攝得到的(或所分析的)區(qū)域的小的程度來判斷圖像群適合度。具體地，如以下詳細所述，眼科設備基于不可觀察(不可分析)區(qū)域相對于過去檢查日期和時間所拍攝到的圖像群Dhjf(f = 1、2、...和η-1)的小的程度來判斷圖像群適合度。
[0207]連接至根據(jù)本典型實施例的眼科設備10的各裝置的結構與第一典型實施例所述的結構相同。圖14是示出根據(jù)本典型實施例的眼科設備10的功能塊的圖。圖14所示的眼科設備10與第一典型實施例所述的眼科設備10的不同之處在于:圖像群判斷單元133包括時間圖像比較單元1331。此外，根據(jù)本典型實施例的圖像處理流程與圖5所示的圖像處理流程相同。除步驟S510、步驟S520、步驟S530、步驟S560和步驟S570以外的各個步驟中要進行的處理與第一典型實施例所述的處理相同。因此，在本典型實施例中，以下將詳細說明步驟S510、步驟S520、步驟S530、步驟S560和步驟S570中要進行的處理。在以下說明中，Dsjf和Fsf表示存在在倍率、拍攝位置以及檢查日期和時間方面彼此不同的多個所獲取圖像的情況下的SLO圖像和固視目標位置。更具體地，后綴“s” (s = 1、2、...和smax)是表示倍率的變量。后綴“j” (j = 1、2、...和jmax)是表示拍攝位置編號的變量。后綴“f” (f = 1、2、...和fmax)是表示檢查日期和時間的變量。在這種情況下，在變量“s”減小的情況下，拍攝倍率變大(即，視角變窄)。在變量“f”較小的情況下，檢查日期和時間較早。在本典型實施例中，僅存在與最低倍率圖像(即，寬視角圖像)相對應的一個拍攝位置，因此沒有向該拍攝位置分配拍攝位置編號。
[0208]步驟S510:圖像獲取樽式詵擇
[0209]眼科設備10經(jīng)由指示獲取單元140獲取與用戶所選擇的預定圖像獲取模式(例如，拍攝位置或視角)有關的信息。在本典型實施例中，眼科設備10將固視目標位置F2和F1設置到黃斑的中央凹并且獲取寬視角圖像D2和圖6H所示的高倍率圖像Dlj。拍攝位置設置方法不限于上述示例?？梢詫⑴臄z位置設置到任意位置。
[0210]步驟S520:圖像獲取
[0211]圖像獲取單元111請求數(shù)據(jù)服務器40傳送使用步驟S510中所指定的圖像獲取模式所拍攝到的同一被檢眼的過去SL0圖像Dsjf (f= 1、2、...和n-1)以及固視目標位置Fsf和與SL0圖像Dsjf相對應的對準參數(shù)值。數(shù)據(jù)服務器40將與該請求相對應的數(shù)據(jù)傳送至眼科設備10。眼科設備10將所獲取到的數(shù)據(jù)存儲在存儲單元120中。在本典型實施例中，將η設置為4 (η = 4)。
[0212]接著，圖像獲取單元111請求SL0圖像攝像設備20獲取最新的檢查圖像和相應的固視目標位置、更具體為SL0圖像Dsjn和固視目標位置Fsn。
[0213]步驟S530:對準
[0214]對準單元131判斷倍率圖像Dljf相對于寬視角圖像D2f (f = 1、2、...和η)的對準并且獲得各高倍率圖像Dljf在寬視角圖像D2f上的相對位置，由此生成包括圖像Dljf的圖像組合。如果在同一檢查日期所拍攝到的高倍率圖像Dljf之間存在重疊區(qū)域，則對準單元131計算該重疊區(qū)域的圖像間相似度。然后，對準單元131使各個高倍率圖像Dljf的位置對準以使圖像間相似度最大。在所獲取到的圖像包括倍率相互不同的三個或更多個圖像的情況下，對準單元131優(yōu)先較低倍率圖像的對準。例如，在所獲取到的圖像是圖像D3f、圖像D2kf和圖像Dljf的情況下，對準單元131首先確定圖像D3f和圖像D2kf之間的對準，接著，對準單元131確定圖像D2kf和圖像Dljf之間的對準。此外，對準單元131獲取用以從存儲單元120獲取圖像Dljf的拍攝操作中所使用的固視目標位置Flf。然后，對準單元131基于從所獲取到的位置起的相對距離來設置圖像D2f和圖像Dljf之間的對準中的對準參數(shù)的初始搜索點。此外，可以任意使用任何其它傳統(tǒng)上已知的方法來檢查圖像間相似度或進行坐標轉換。本典型實施例中所使用的圖像間相似度是相關系數(shù)。用于確定對準的坐標轉換方法是仿射轉換。
[0215]接著，對準單元131確定最新檢查中的寬視角圖像D2n和過去檢查中的寬視角圖像D2f(f = 1、2、...和η-1)之間的對準。此外，對準單元131參考寬視角圖像D2n相對于高倍率圖像D1 jn的相對位置、寬視角圖像D2f相對于寬視角圖像D2n的相對位置、以及高倍率圖像Dljf相對于寬視角圖像D2f的相對位置，來獲得過去檢查中的高倍率圖像Dljf相對于最新檢查中的高倍率圖像Dljn的相對位置。可選地，對準單元131可以直接確定最新檢查中的高倍率圖像群Dljn和過去檢查中的高倍率圖像群Dljf之間的對準。在這種情況下，對準單元131從存儲單元120獲取各圖像的固視目標位置。對準單元131參考相對于固視目標位置的相對位置，來設置最新檢查中的高倍率圖像Dljn和過去檢查中的寬視角圖像D2n之間要進行的、在寬視角圖像D2n和過去檢查中的寬視角圖像D2f之間要進行的、以及在寬視角圖像D2f和過去檢查中的高倍率圖像D1 jf之間要進行的對準中的初始搜索點。
[0216]可以任意使用任何其它傳統(tǒng)對準方法。本典型實施例中所使用的對準方法包括使用仿射轉換方法來進行對準所依據(jù)的粗略對準。作為詳細對準，使用自由變形(FFD)方法(即，非剛性物體對準方法其中之一)來進行對準。盡管可以使用任何其它傳統(tǒng)上已知的圖像間相似度，但上述對準的任一對準中所使用的圖像間相似度是相關系數(shù)。通過上述處理，可以使最新檢查圖像(即，寬視角圖像D2n或高倍率圖像Dljn)的像素與過去檢查圖像(即，寬視角圖像D2f或高倍率圖像Dljf)的像素相關聯(lián)。本發(fā)明不限于基于像素值之間的相似度的對準。例如，與第二典型實施例相同，眼科設備10可被配置為在個體圖像判斷單元132中包括圖像特征獲取單元1321，以使得圖像特征獲取單元1321可以識別毛細血管區(qū)域并且可以基于所識別的血管區(qū)域來進行基于特征的對準。
[0217]步驟S560:圖像群話合度判斷處理
[0218]圖像群判斷單元133基于不可觀察(不可分析)區(qū)域相比不同檢查中攝像得到的(或所分析的)區(qū)域的小的程度來判斷圖像群適合度。如果圖像群適合度不滿足預定標準，則指示單元134指示圖像獲取單元111進行再攝像處理。在本典型實施例中，圖像群包括如圖6G所示的九個疊加圖像。最初將圖像編號j設置到左上方的圖像。圖像編號j根據(jù)光柵掃描(即，鋸齒形掃描)順序而順次遞增。以下是與圖像組合(即，圖像群)的適合度有關的判斷策略、更具體為在同一條件下觀察整個圖像組合所需的圖像群適合度。
[0219]1.圖像組合不包括圖像缺失區(qū)域(換句話說，亮度沒有不連續(xù)地改變)。
[0220]2.圖像質量穩(wěn)定，而與拍攝位置無關。
[0221]在這種情況下，如果代替判斷圖像群適合度而是僅基于個體圖像的適合度來判斷是否有必要進行再攝像處理，則將需要針對各圖像嚴格判斷是否獲取到攝像對象區(qū)域。結果，將頻繁地指示再攝像。在這種情況下，將需要設置較寬的重疊區(qū)域(即，增加攝像位置的數(shù)量或加寬視角)以防止再攝像判斷增多。因此，在適合度判斷中考慮到鄰接圖像之間的端部或重疊區(qū)域中的數(shù)據(jù)的連續(xù)性或補充性的情況下，可以高效地獲取滿足上述標準1和2的高倍率圖像群。具體地，在本典型實施例中，在兩個鄰接圖像之間存在重疊區(qū)域(例如，圖6F所示的灰色區(qū)域)、或者在四個鄰接圖像之間存在重疊區(qū)域(例如，圖6F所示的黑色區(qū)域)。即使在一個圖像包括圖像缺失區(qū)域的情況下，如果存在從鄰接圖像之間的重疊區(qū)域可獲得的任何數(shù)據(jù)，則也判斷為圖像群不包括圖像缺失區(qū)域。因此，根據(jù)以下過程來判斷圖像群適合度。
[0222]該過程包括:(1)根據(jù)步驟S530中所獲得的對準參數(shù)來形成包括步驟S540中所生成的個體圖像的矩陣狀組合。
[0223]時間圖像比較單元1331基于上述處理(1)中所生成的圖像組合和過去檢查中所生成的圖像組合之間的比較來檢查圖像缺失區(qū)域的有無。
[0224]具體地，時間圖像比較單元1331將過去檢查的圖像群Dljf的組合、即應用于圖像群Dljf的邏輯和區(qū)域(V.Dljf)的邏輯積(Λ ( V.Dljf))指定為時間比較對象區(qū)域。在本典型實施例中，存在要經(jīng)過時間比較的(不同檢查的)三個圖像群。因此，在將各檢查的圖像群Dljf的組合、即應用于邏輯和區(qū)域Vpijf的邏輯積((Vpijl) Λ (V jDlj2) Λ (V pij'3))指定為時間比較對象區(qū)域的情況下，時間圖像比較單元1331檢查圖像缺失區(qū)域的有無。然而，比較對象區(qū)域設置方法不限于上述示例，并且可以使用任何其它任意設置方法。
[0225]該過程還包括:(3)在不存在圖像缺失區(qū)域的情況下，立即完成圖像組合的形成；以及⑷在存在圖像缺失區(qū)域的情況下識別各圖像缺失區(qū)域的位置，并且獲得該圖像缺失區(qū)域所屬的圖像的編號列表。
[0226]例如，根據(jù)圖6G所示的示例，如通過與圖6H所示的過去檢查中的圖像組合的邏輯積區(qū)域(((V jDljl) Λ ( V pij2) Λ ( V jDlj3)))進行比較顯而易見，高倍率圖像Dh6和高倍率圖像Dh9各自包括圖像缺失區(qū)域。因此，時間圖像比較單元1331獲得包括圖像缺失區(qū)域的圖像的編號列表(6和9)。
[0227]該過程還包括:(5)根據(jù)以下公式來計算圖像群適合度。
[0228]公式:
[0229](組合圖像的總數(shù)-包括圖像缺失區(qū)域的圖像的數(shù)量)/(組合圖像的總數(shù))
[0230]圖像群適合度不限于上述示例?？梢允褂萌魏纹渌我庵笜?，只要該指標可用于判斷圖像群適合度即可。例如，可以根據(jù)以下公式來計算圖像群適合度。
[0231]公式:
[0232](處理⑴中所生成的圖像組合的面積-圖像缺失區(qū)域的面積)/(處理⑴中所生成的圖像組合的面積)
[0233]此外，在本典型實施例中，參考上述的條件1和2來判斷圖像群(即，靜止圖像群和運動圖像群)的適合度。然而，本發(fā)明不限于上述示例。例如，可以參考圖像組合的圖像質量來判斷圖像群適合度。如果最新檢查的圖像組合的圖像質量等于或大于過去檢查的圖像組合的圖像質量的最低值，則時間圖像比較單元1331可以判斷為最新檢查的圖像組合的圖像質量滿足圖像群適合度標準。
[0234]步驟S570:顯示
[0235]圖像處理單元