本發(fā)明涉及基于FPM的立體顯微系統(tǒng)和配套三維面形高分重構(gòu)方法，屬于顯微成像、立體圖形學(xué)、微納結(jié)構(gòu)表面形貌檢測領(lǐng)域。

背景技術(shù)：

Fourier ptychographic microscopy(FPM)是一種通過對照明光進行調(diào)制進而實現(xiàn)圖像超分辨重建的顯微成像技術(shù)。成像平臺的空間帶寬積(Space bandwidth product,SBP)通常受其光場系統(tǒng)參數(shù)的制約，而SBP由下式計算得到

SBP＝S×res²

其中S代表成像平臺有效工作面積，res代表橫向分辨率(pixel/mm)。在系統(tǒng)SBP固定的情況下，若想獲得高分辨率圖像就需要縮小成像平臺有效工作面積，即減小系統(tǒng)的視場大小。而FPM算法可以在不改變成像光學(xué)系統(tǒng)的前提下，通過計算重構(gòu)的方式得到大視場、高分辨率的圖像，突破成像平臺的物理限制。

但目前研究表明，使用FPM算法進行大視場高分辨率成像時有一個必要的前提條件，那就是假設(shè)待測樣品是一個二維薄物體，因為只有對二維薄物體進行傾斜照明時，才相當(dāng)于平移它的二維頻譜，對于一個三維厚物體這條性質(zhì)將不再適用。因此常規(guī)的FPM算法并不能直接應(yīng)用于物體的表面三維形貌檢測中。

光場顯微鏡是基于光場成像理論的顯微裝置，通過在常規(guī)商用顯微鏡的中間像面加入一個微透鏡陣列以實現(xiàn)入射光輻射空間信息和角度信息的采集。光場顯微鏡可以通過單次曝光，利用重聚焦算法恢復(fù)出被測物不同深度面的深度斷層切片圖像，進而重構(gòu)出被測物體的三維形貌。但由于在光信息采集過程中，光場顯微鏡是通過犧牲空間分辨率來得到角度分辨率信息，因此重構(gòu)出的三維形貌信息往往橫向分辨率較差。

基于FPM的光場顯微方法(CN104181686A)，是一種結(jié)合FPM算法和光場顯微成像的新型顯微方法，其利用FPM算法獲取高分辨率廣視野圖像后，利用光場成像理論的相關(guān)技術(shù)恢復(fù)出被測物體的三維結(jié)構(gòu)。但由于該發(fā)明首先利用FPM算法來獲得高分光場圖像，因此其被測對象必須為二維薄樣本才能滿足FPM算法的先驗假設(shè)，對于具有一定厚度差的三維物體不能有較好的三維結(jié)構(gòu)恢復(fù)功能。且該發(fā)明實施例中搭建的顯微平臺為透射式照明，照明部分和顯微部分位于被測物體兩側(cè)，對于生物細胞等透射樣本觀察性能較好，但對于金屬或陶瓷等非全透射樣本觀察性能較差。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是為了解決光場顯微系統(tǒng)橫向分辨率較差以及能夠提高分辨率的FPM算法不能直接用于三維物體面形重構(gòu)的問題，提供一種基于FPM的立體顯微系統(tǒng)和配套三維面形高分重構(gòu)方法。

本發(fā)明的目的是通過下述技術(shù)方案實現(xiàn)的。

基于FPM的立體顯微系統(tǒng)，包括：旁軸照明系統(tǒng)，其具有對被測物體發(fā)射平行光束照明，可以根據(jù)需求進行不同的角度調(diào)制的功能；光學(xué)顯微系統(tǒng)，其采集經(jīng)上述旁軸照明系統(tǒng)發(fā)射并被被測物體反射出的光輻射，并進行放大成像；光場成像系統(tǒng)，其利用上述常規(guī)光學(xué)顯微系統(tǒng)輸出的實像二次成像形成具有被測物體不同視角或方向信息的光場子圖像集；圖像采集及處理系統(tǒng)，其利用上述光場成像系統(tǒng)所成的光場子圖像集轉(zhuǎn)換為圖像信號進行圖像處理。

所述旁軸照明系統(tǒng)包括LED陣列和控制平臺，以及空間光調(diào)制器。

光學(xué)顯微系統(tǒng)為在常規(guī)商用顯微物鏡組的基礎(chǔ)上加入中繼透鏡組，能夠有效避免常規(guī)商用顯微物鏡組中孔徑光闌對于照明光路的遮擋。

光場成像系統(tǒng)為微透鏡陣列。

基于FPM的立體顯微系統(tǒng)的配套三維面形高分重構(gòu)方法，具體步驟如下：

步驟一、利用旁軸照明系統(tǒng)對照明光進行調(diào)制，使光源發(fā)射單方向指定角度的平行光束照明被測物體；

步驟二、利用顯微成像系統(tǒng)采集被測物體的光場子圖像集

步驟三、利用重聚焦算法對步驟二采集的光場子圖像集進行處理，得到不同深度的深度斷層切片數(shù)據(jù)集

步驟四、利用旁軸照明系統(tǒng)對照明光進行調(diào)制，改變平行光束角度，重復(fù)步驟二和三，得到不同照明光束下，不同深度的深度斷層切片數(shù)據(jù)集其中i＝2,…M，j＝2,…N，M、N為旁軸照明系統(tǒng)兩個橫向方向的最大可調(diào)制數(shù)；

步驟五、對步驟四得到的數(shù)據(jù)集根據(jù)不同的深度進行分離，對每一個相同深度的數(shù)據(jù)集利用FPM算法進行高分重構(gòu)，對步驟三的切片數(shù)據(jù)集和步驟四的切片數(shù)據(jù)集進行整合處理，獲得高分辨率三維形貌數(shù)據(jù)。

有益效果

1、本發(fā)明利用基于光場成像和FPM算法的方法設(shè)計了一套可用于三維物體表面形貌重構(gòu)的測量系統(tǒng)。該系統(tǒng)可基于現(xiàn)有商用顯微系統(tǒng)改造得到，儀器推廣性較強，可利用低放大倍率顯微物鏡得到大視場高分辨率的三維重構(gòu)圖像。采用旁軸式照明方式，適用測量對象廣，可對于金屬、陶瓷等非透射樣本進行觀測。

2、本發(fā)明所提出的三維結(jié)構(gòu)高分辨率重構(gòu)方法，對于被測物體的軸向厚度具有較強的適應(yīng)性，可用于三維被測物體的面形重構(gòu)。針對FPM算法局限性和光場成像優(yōu)勢，通過光場重聚焦算法將系統(tǒng)所記錄到的光輻射立體信息分割到不同的深度面斷層切片，將三維被測物體轉(zhuǎn)換成了多個二維薄樣本，從而創(chuàng)造了使用FPM算法的前提條件。利用FPM算法提高了每個深度面的分辨率，從而突破了光學(xué)系統(tǒng)的物理限制，豐富了采集到的光場信息，使物體能重建出更高分辨率的三維結(jié)構(gòu)。

附圖說明

圖1為立體顯微系統(tǒng)進行三維重構(gòu)的示意圖；

圖2為本發(fā)明所提出的立體顯微成像系統(tǒng)的示意圖；

圖3為本發(fā)明所提出的立體顯微成像系統(tǒng)的光路圖；

圖4為LED陣列及其控制平臺的裝置圖；

圖5為基于空間光調(diào)制器的照明系統(tǒng)示意圖；

圖6為三維重構(gòu)方法的工作流程圖；

圖7為光場重聚焦算法的流程圖；

圖8為FPM算法的流程圖。

其中，1—被測物體，2—物鏡，3—第一分束鏡，4—照明光源，5—聚光透鏡，6—中繼透鏡組，7—孔徑光闌，8—鏡筒透鏡，9—微透鏡陣列，10—圖像傳感器，11—平行光管，12—擴束鏡，13—空間光調(diào)制器，14—第二分束鏡。

具體實施方式

下面結(jié)合附圖與實施例對本發(fā)明作進一步說明。

實施例1

本發(fā)明所提出的三維結(jié)構(gòu)高分辨率重構(gòu)方法，如圖1中所示，其特征在于，使用基于FPM算法和光場顯微術(shù)的新型顯微系統(tǒng)來采集光場信息，通過光場重聚焦算法將系統(tǒng)所記錄到的光輻射立體信息分割到不同的深度面斷層切片，將三維被測物體轉(zhuǎn)換成了多個二維薄樣本，從而創(chuàng)造了使用FPM算法的前提條件。利用FPM算法提高了每個深度面的分辨率，從而突破了光學(xué)系統(tǒng)的物理限制，豐富了采集到的光場信息，使物體能重建出更高分辨率的三維結(jié)構(gòu)。

圖2是用來表示本發(fā)明實施方式適用的立體顯微系統(tǒng)的概括結(jié)構(gòu)的框圖。與該圖2所示的框圖相對應(yīng)，使用圖3對本發(fā)明實施方式所使用的立體顯微進行詳細說明。

與如圖2所示的立體顯微系統(tǒng)相關(guān)的部分包括：旁軸照明系統(tǒng)、光學(xué)顯微系統(tǒng)、光場成像系統(tǒng)、圖像采集及處理系統(tǒng)。

旁軸照明系統(tǒng)采用落射式照明結(jié)構(gòu)，照明光投射到被測物體上，經(jīng)被測物體吸收并反射后進入光學(xué)顯微系統(tǒng)放大成像于其后焦面位置。所成實像經(jīng)過光場成像系統(tǒng)二次成像于圖像采集系統(tǒng)傳感器靶面，轉(zhuǎn)換為圖像信號后送入圖像處理系統(tǒng)進行圖像處理。

圖3是表示本發(fā)明實施方式使用的立體顯微系統(tǒng)的光學(xué)結(jié)構(gòu)的光路圖。其與圖2概略表述的立體顯微系統(tǒng)所具有的分系統(tǒng)的對應(yīng)關(guān)系如下所示。

旁軸照明系統(tǒng)發(fā)射照明光，經(jīng)過聚光透鏡5會聚和第一分束鏡3折轉(zhuǎn)后形成等效理想點光源于物鏡2的后焦面處，通過物鏡2形成平行光照明被測物體1。經(jīng)被測物體1反射的光通過由物鏡2、第一分束鏡3、中繼透鏡組6、孔徑光闌7和鏡筒透鏡8組成的光學(xué)顯微系統(tǒng)，再通過由微透鏡陣列9構(gòu)成的光場成像系統(tǒng)后，光束被圖像傳感器10接收轉(zhuǎn)化為電信號。

作為實施方式的一種形式，旁軸照明系統(tǒng)可以采用基于LED陣列的方案。如圖3中所示，旁軸照明系統(tǒng)由照明光源4、聚光透鏡5、第一分束鏡3和物鏡2組成。照明光源4采用如圖4中所示的LED陣列及控制平臺，LED陣列上單個LED發(fā)出經(jīng)過聚光透鏡5發(fā)生會聚，并通過第一分束鏡3反射后在物鏡形成共軛像，共軛像的位置與發(fā)光的LED在LED陣列上的相對位置有關(guān)。由于物鏡2的后焦面與聚光透鏡5的前焦面重合，而LED的共軛像可等效為理想點光源，經(jīng)過物鏡2后形成斜入射且角度與位置相關(guān)的平行光束對被測物體1進行照明。

作為實施方式的另一種形式，旁軸照明系統(tǒng)可以采用基于空間光調(diào)制器的方案。如圖4中所示，旁軸照明系統(tǒng)由平行光管11、擴束鏡12，空間光調(diào)制器13，第二分束鏡14、聚光透鏡5和第一分束鏡3組成。平行光管11發(fā)出平行出射的非相干光束，經(jīng)過擴束鏡12調(diào)整光束孔徑并經(jīng)過第二分束鏡14反射后照射到空間光調(diào)制器13上?？臻g光調(diào)制器可以對光輻射的強度進行調(diào)制，根據(jù)需求選擇需要“點亮”的區(qū)域，“點亮”區(qū)域反射平行光束進入系統(tǒng)，經(jīng)過會聚透鏡5和第一分束鏡3形成可等效為理想點光源的像，經(jīng)過物鏡2后形成斜入射且角度與空間光調(diào)制器上“點亮”區(qū)域位置相關(guān)的平行光束對被測物體1進行照明。

商用顯微物鏡在設(shè)計過程中，通常會將其孔徑光闌面選在主鏡和鏡筒透鏡之間的中間像面上。本發(fā)明的實施例中，由于旁軸照明系統(tǒng)的存在，照明光源會在原顯微物鏡空間面形成等效理想點光源像照明被測物體，因此若采用常規(guī)設(shè)置，孔徑光闌面會遮擋部分照明光。同時，顯微物鏡為了獲取高放大倍數(shù)，焦距一般較短，而實施方式中，后續(xù)的光場成像系統(tǒng)中微透鏡陣列為低放大倍數(shù)透鏡，與顯微物鏡F數(shù)不匹配，因此采用常規(guī)設(shè)計思路，微透鏡不能與顯微物鏡進行良好的配合。

如圖3中所示，作為本發(fā)明實施方式的一種形式，光學(xué)顯微系統(tǒng)在常規(guī)商用顯微物鏡組的基礎(chǔ)上加入了中繼透鏡組6，將孔徑光闌7選在中繼透鏡組后，有效地避免了常規(guī)設(shè)計中孔徑光闌對于照明光路的遮擋作用。鏡筒透鏡8的焦距通常選取在160～250mm之間，取決于后續(xù)微透鏡陣列9和圖像傳感器10的尺寸。

作為實施方式的一種形式，光場成像系統(tǒng)由微透鏡陣列9組成。在實施方式中，微透鏡陣列置于光學(xué)顯微系統(tǒng)的像面處或附近。每個微透鏡在圖像平面上生成實像，且每個子圖像對應(yīng)被測物體的不同視角或方向。任何兩個子圖像之間的差異性記錄了被測物體的角度和空間信息。

為了保證圖像傳感器像元的最大利用率，相鄰微透鏡的子圖像應(yīng)在邊界處相切，即滿足關(guān)系式

式中，f/d為微透鏡的焦距除以其孔徑大小，即微透鏡的F數(shù)，而a/D為光學(xué)顯微系統(tǒng)的像距除以其孔徑光闌口徑，即常規(guī)光學(xué)顯微系統(tǒng)的F數(shù)。

圖像采集及處理系統(tǒng)包括由圖像傳感器10組成的圖像采集部分和計算平臺構(gòu)成的圖像處理部分。在實施方式中，如果微透鏡陣列中單元的數(shù)量為M₁×N₁，每個微透鏡覆蓋的圖像傳感器像元為M₂×N₂，那么圖像傳感器的有效靶面像元至少為M₁M₂×N₁N₂。

圖6是表示基于本發(fā)明實施方式適用的三維重構(gòu)的流程圖。包括以下步驟：

1、對照明光進行調(diào)制，產(chǎn)生指定角度平行光。照明光的產(chǎn)生可以但不限于利用如圖3或圖4中所示的結(jié)構(gòu)。

2、采集圖像。由于系統(tǒng)在光學(xué)顯微系統(tǒng)后插入了光場成像系統(tǒng)，圖像傳感器采集到的是光場圖像，即由微透鏡陣列各個微透鏡單元所成像的集合。

3、將采集的光場圖像根據(jù)微透鏡分割成子圖像集。

4、利用重聚焦算法對子圖像集進行處理得到深度斷層切片數(shù)據(jù)集。圖6示出了一種光場重聚焦算法的實施流程，參照圖7，應(yīng)用重聚焦算法得到斷層深度切片數(shù)據(jù)集包括下列步驟：

[1]根據(jù)系統(tǒng)參數(shù)進行虛擬針孔面參數(shù)設(shè)計；

[2]根據(jù)被測物體和系統(tǒng)參數(shù)估算重構(gòu)深度的范圍；

[3]將子圖像集中每個子圖像經(jīng)過針孔面后逆向投影到重構(gòu)平面；

[4]將投影后的子圖像在重構(gòu)平面上進行疊加；

[5]對疊加后的圖像進行歸一化；

[6]改變重構(gòu)平面深度，重復(fù)步驟[3]至步驟[5]。

5、改變照明光角度，重復(fù)步驟2至步驟4。

6、將步驟5得到的不同角度下的深度斷層切片數(shù)據(jù)集按照重構(gòu)平面的深度不同進行重新分組。

7、對不同深度的切片數(shù)據(jù)集進行FPM算法處理。圖8示出了一種FPM算法的實施流程，參照圖8，應(yīng)用FPM算法得到斷層深度切片數(shù)據(jù)集包括下列步驟：

[1]選取一幀斷層切片圖像作為空域初值；

[2]對空域初值插值并進行傅里葉變換得到頻域初值；

[3]計算物鏡在頻域的孔徑表達式和不同照明角度下，物鏡孔徑在頻域面的位移坐標(biāo)(f_xi,f_yj)，其中i∈(1,M),j∈(1,N)，M，N分別對應(yīng)光源橫縱方向上角度可調(diào)節(jié)數(shù)；

[4]物鏡頻域面孔徑按位移坐標(biāo)(f_xi,f_yj)移動；

[5]將物鏡孔徑作為窗口函數(shù)，在頻域初值中選取子孔徑并對子孔徑進行傅里葉變換；

[6]將位移坐標(biāo)對應(yīng)的重聚焦圖像替換步驟[5]中得到圖像的幅值；

[7]替換后的結(jié)果進行傅里葉變換后替換頻域初值中相關(guān)區(qū)域的數(shù)值；

[8]按照i,j的范圍依次選取不同的子孔徑，重復(fù)步驟[4]至步驟[7]；

[9]重復(fù)步驟[4]至步驟[8]一到三次得到穩(wěn)定結(jié)果。

8、對獲取的高分深度切片數(shù)據(jù)集進行三維形貌信息提取。