本發(fā)明涉及光學(xué)與信息學(xué)的交叉技術(shù)領(lǐng)域，特別涉及一種三維超光譜顯微成像系統(tǒng)及成像方法。

背景技術(shù)：

隨著生物學(xué)和材料科學(xué)的發(fā)展，越來越多的光學(xué)顯微成像需要快速采集多維視覺信息，如空間維、光譜維和時間維，而不是傳統(tǒng)的二維成像。高速超光譜體成像在多熒光標記動態(tài)過程觀測、高通量層析、醫(yī)藥科學(xué)、變化環(huán)境下材料分析等領(lǐng)域都有重要應(yīng)用。

雖然快速體成像、以及快速超光譜成像已經(jīng)有了很大進展，但從未有人能夠?qū)烧咄瑫r實現(xiàn)，即在光學(xué)顯微鏡下的快速超光譜體成像。相關(guān)技術(shù)中，大部分方法為了能夠在光學(xué)顯微鏡下實現(xiàn)樣本高維信息的采集，都通過犧牲時間分辨率來換取軸向分辨率或光譜分辨率。例如，共聚焦顯微、光片顯微需要通過掃描實現(xiàn)三維樣本重建。大部分超光譜顯微鏡同樣需要采用逐點或逐線掃描整個三維樣本才能實現(xiàn)三維與超光譜信息的同時獲取。這對于觀測生物學(xué)樣本動態(tài)過程將存在局限性，為確保包括時間分辨率在內(nèi)的五維數(shù)據(jù)采樣，如何具備充足的瞬時數(shù)據(jù)吞吐量是一個極大的挑戰(zhàn)。

同時，當需要將傳統(tǒng)二維成像拓展到高速高維成像時，還將面臨如何實現(xiàn)高維采樣和以及保證光效率的問題，亟待解決。

技術(shù)實現(xiàn)要素：

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

為此，本發(fā)明的一個目的在于提出一種三維超光譜顯微成像系統(tǒng)，該系統(tǒng)可以提高成像的適用性，并且極大地提升了用戶的使用體驗。

本發(fā)明的另一個目的在于提出一種三維超光譜顯微成像方法。

為達到上述目的，本發(fā)明一方面實施例提出了一種三維超光譜顯微成像系統(tǒng)，包括：顯微鏡，用于對顯微樣本進行一級放大，并且從所述顯微鏡的像面引出口導(dǎo)出像面；光圈放大模塊，用于將光圈平面放大至預(yù)設(shè)大??；成像透鏡陣列，用于截取不同亞光圈平面，以生成不同角度的空間信息，使得所述成像透鏡陣列中每個成像透鏡后方形成所述顯微樣本對應(yīng)角度的像，其中，所述每個成像透鏡對應(yīng)不同角度；寬帶濾波片陣列，用于對所述空間信息進行寬帶光譜調(diào)制；傳感器陣列，所述傳感器陣列中每個傳感器與所述每個成像透鏡及所述寬帶濾波片陣列中每個寬帶濾波片一一對應(yīng)，用于采集所述顯微樣本在預(yù)設(shè)角度觀測下經(jīng)過光譜編碼后生成的圖像；控制器，用于控制所述傳感器陣列同步觸發(fā)以通過四維解卷積算法進行迭代恢復(fù)重建。

本發(fā)明實施例的三維超光譜顯微成像系統(tǒng)，能夠?qū)崿F(xiàn)三維樣本在不同寬帶光譜調(diào)制下在不同角度上投影的采集，從而能夠在相機幀率下完成樣本四維(包括三維空間信息，以及一維光譜信息)的耦合采樣，大大增加了光效率，并通過相機陣列的使用，確保了系統(tǒng)的瞬時數(shù)據(jù)吞吐量，保證數(shù)據(jù)的充分采樣，實現(xiàn)光學(xué)顯微下30赫茲三維超光譜視頻的采集的目的，提高成像的適用性，并且極大地提升了用戶的使用體驗。

另外，根據(jù)本發(fā)明上述實施例的三維超光譜顯微成像系統(tǒng)還可以具有以下附加的技術(shù)特征：

進一步地，在本發(fā)明的一個實施例中，所述寬帶濾波片陣列具體用于對所述空間信息進行空間光譜的耦合調(diào)制。

進一步地，在本發(fā)明的一個實施例中，所述寬帶濾波片陣列的光譜響應(yīng)為寬帶，以在需要重建的光譜范圍內(nèi)響應(yīng)。

進一步地，在本發(fā)明的一個實施例中，所述傳感器陣列中每個傳感器的參數(shù)獨立設(shè)置。

進一步地，在本發(fā)明的一個實施例中，傳感器為RGB傳感器。

為達到上述目的，本發(fā)明另一方面實施例提出了一種三維超光譜顯微成像方法，包括以下步驟：將校正板放置在顯微鏡的像面引出口處，以通過傳感器陣列采集數(shù)據(jù)，使用拍攝得到的圖片進行幾何校正，確保每傳感器采集到圖片對應(yīng)同一視場，且像素逐一對應(yīng)；對于需要使用透射式明場照明進行測量的半透明樣本，在明場照明下，在樣本位置處放置不同帶通濾波片，以對照明光源的光譜進行校正；將顯微樣本放在顯微鏡的樣本放置處；通過所述傳感器陣列進行同步采集，其中，通過同步觸發(fā)下的視頻采集對動態(tài)樣本進行采集；對于每一幀所述傳感器陣列采集到的圖片，使用四維解卷積算法進行迭代恢復(fù)重建；獲取熒光樣本的三維超光譜信息；在完成所述照明光源的光譜校正后，獲取明場照明下的所述半透明樣本的三維吸收率超光譜信息。

本發(fā)明實施例的三維超光譜顯微成像方法，能夠?qū)崿F(xiàn)三維樣本在不同寬帶光譜調(diào)制下在不同角度上投影的采集，從而能夠在相機幀率下完成樣本四維(包括三維空間信息，以及一維光譜信息)的耦合采樣，大大增加了光效率，并通過相機陣列的使用，確保了系統(tǒng)的瞬時數(shù)據(jù)吞吐量，保證數(shù)據(jù)的充分采樣，實現(xiàn)光學(xué)顯微下30赫茲三維超光譜視頻的采集的目的，提高成像的適用性，并且極大地提升了用戶的使用體驗。

另外，根據(jù)本發(fā)明上述實施例的三維超光譜顯微成像方法還可以具有以下附加的技術(shù)特征：

進一步地，在本發(fā)明的一個實施例中，所述使用四維解卷積算法進行迭代恢復(fù)重建，進一步包括：根據(jù)光譜維度通過期望最大化算法獲得多次迭代公式，并且全變差的正則項進行優(yōu)化。

進一步地，在本發(fā)明的一個實施例中，所述使用四維解卷積算法進行迭代恢復(fù)重建，進一步包括：首先進行期望最大化迭代，在迭代第一預(yù)設(shè)次數(shù)后，進行全變差正則項的優(yōu)化，以通過多次迭代直至結(jié)果收斂，或者達到第二預(yù)設(shè)次數(shù)。

本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

附圖說明

本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解，其中：

圖1為根據(jù)本發(fā)明一個實施例的三維超光譜顯微成像系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為根據(jù)本發(fā)明一個實施例的三維超光譜顯微成像系統(tǒng)的光路示意圖；

圖3為根據(jù)本發(fā)明一個實施例的快速三維超光譜顯微重構(gòu)方法四維解卷積的計算流程圖；

圖4為根據(jù)本發(fā)明一個實施例的明場照明下的團藻樣本的三維超光譜信息實驗結(jié)果示意圖；

圖5為本發(fā)明一個實施例的對于果蠅幼蟲，使用GFP標記神經(jīng)系統(tǒng)的動態(tài)實驗結(jié)果示意圖；

圖6為根據(jù)本發(fā)明一個實施例的三維超光譜顯微成像方法的流程圖。

具體實施方式

下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，旨在用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。

下面參照附圖描述根據(jù)本發(fā)明實施例提出的三維超光譜顯微成像系統(tǒng)及成像方法，首先將參照附圖描述根據(jù)本發(fā)明實施例提出的三維超光譜顯微成像系統(tǒng)。

圖1是本發(fā)明一個實施例的三維超光譜顯微成像系統(tǒng)的結(jié)構(gòu)示意圖。

如圖1所示，該三維超光譜顯微成像系統(tǒng)包括：顯微鏡100、光圈放大模塊200、成像透鏡陣列300、寬帶濾波片陣列400、傳感器陣列500和控制器600。

其中，顯微鏡100用于對顯微樣本進行一級放大，并且從顯微鏡的像面引出口101導(dǎo)出像面。光圈放大模塊200用于將光圈平面放大至預(yù)設(shè)大小。成像透鏡陣列300用于截取不同亞光圈平面，以生成不同角度的空間信息，使得成像透鏡陣列300中每個成像透鏡后方形成顯微樣本對應(yīng)角度的像，其中，每個成像透鏡對應(yīng)不同角度。寬帶濾波片陣列400用于對空間信息進行寬帶光譜調(diào)制。傳感器陣列500中每個傳感器與每個成像透鏡及寬帶濾波片陣列400中每個寬帶濾波片一一對應(yīng)，用于采集顯微樣本在預(yù)設(shè)角度觀測下經(jīng)過光譜編碼后生成的圖像。控制器600用于控制傳感器陣列500同步觸發(fā)以通過四維解卷積算法進行迭代恢復(fù)重建。本發(fā)明實施例的系統(tǒng)首次實現(xiàn)了光學(xué)顯微下30赫茲三維超光譜視頻的采集，由此可以實現(xiàn)多種熒光標記下的快速三維成像，去除熒光混疊與自發(fā)熒光，以及明場下多種生物以及材料的三維光譜成分分析，極大地提升了用戶的使用體驗。

可以理解的是，顯微鏡100用于將顯微樣本進行一級放大，將像面從像面引出口101導(dǎo)出便于后級編碼采樣。光圈放大模塊200用于將前級顯微成像系統(tǒng)的光圈平面放大至成像透鏡陣列300物理尺寸對應(yīng)的大小。成像透鏡陣列300用于截取不同亞光圈平面，使得在每一透鏡后方形成對于樣本而言特定角度的像，陣列中的不同透鏡對應(yīng)不同角度。寬帶濾波片陣列400用于將成像透鏡陣列300截取的不同角度的空間信息進一步進行寬帶光譜調(diào)制，從而實現(xiàn)對于三維樣本的空間光譜耦合的編碼采樣。傳感器陣列500的每一個單體與成像透鏡陣列300以及寬帶濾波片陣列400的每一個單體一一對應(yīng)，采集下顯微樣本在特定角度觀測下經(jīng)過光譜編碼后的圖像?？刂破?00與所述傳感器陣列500相連，實現(xiàn)傳感器陣列500的同步觸發(fā)以及傳感器陣列500的參數(shù)控制等等。

進一步地，在本發(fā)明的一個實施例中，寬帶濾波片陣列400具體用于對空間信息進行空間光譜的耦合調(diào)制。

即言，在傳統(tǒng)多視角顯微鏡中加入了寬帶濾波片陣列400實現(xiàn)了空間光譜的耦合調(diào)制。進一步地，寬帶濾波片陣列400的濾波片其光譜特性都是在可見光波段寬帶的，即各個位置都有一定響應(yīng)，實現(xiàn)寬帶的光譜調(diào)制。

進一步地，在本發(fā)明的一個實施例中，寬帶濾波片陣列400的光譜響應(yīng)為寬帶，以在需要重建的光譜范圍內(nèi)響應(yīng)。

也就是說，在于寬帶濾波片陣列400的光譜響應(yīng)為寬帶的，即在需要重建的光譜范圍內(nèi)普遍有響應(yīng)。

進一步地，在本發(fā)明的一個實施例中，傳感器陣列500中每個傳感器的參數(shù)獨立設(shè)置。

即言，在于傳感器陣列500的每個傳感器參數(shù)都可以獨立設(shè)置。

進一步地，在本發(fā)明的一個實施例中，傳感器為RGB傳感器。

可以理解的是，在于傳感器陣列500中的每一個傳感器都可以是RGB傳感器，進一步增加光譜采樣數(shù)量。即言，傳感器陣列500都是RGB傳感器，用以結(jié)合寬帶濾波片，獲取更多的光譜采樣數(shù)據(jù)。

在本發(fā)明的實施例中，能夠在相機幀率下同時采集到顯微樣本的三維信息與超光譜信息，是一種五維成像方式。其中，包括：通過像面引出口101將顯微樣本進行第一級放大的顯微鏡100；將顯微鏡100光圈平面放大至成像透鏡陣列300大小的光圈放大模塊200；成像透鏡陣列300，截取出不同亞光圈面，采集顯微樣本不同角度下的圖像信息；寬帶濾波片陣列400，對不同角度的信息進一步進行寬帶光譜調(diào)制；傳感器陣列500，采集之前光譜與空間耦合編碼后的二維圖像；控制器600，對所有相機進行同步出發(fā)以及校正。進一步通過四維解卷積算法能夠在三維層面上高分辨計算重構(gòu)樣本每個體素的超光譜信息。

進一步地，在本發(fā)明的實施例中，對于本發(fā)明實施例的系統(tǒng)所采集的耦合數(shù)據(jù)，進行重建恢復(fù)的四維解卷積算法，能夠通過相機陣列拍攝到的空間與光譜耦合的圖片，通過優(yōu)化迭代的方法重建出樣本的四維信息(包括三維空間信息，以及一維光譜信息)。步驟包括：首先將采集到的圖片，通過幾何校正，不同傳感器拍攝到的圖像的每一像素位置都與實際樣本聚焦面上的位置一一對應(yīng)；進一步進入整體的迭代求解過程，在每一次的迭代中，首先進行期望最大化迭代；進一步將期望最大化迭代的結(jié)果帶入全變差正則項的迭代中；重復(fù)整個迭代過程直至最終結(jié)果收斂，或者到達設(shè)定的迭代次數(shù)為止。由此就能獲得物體的三維超光譜數(shù)據(jù)。

可以理解的是，本發(fā)明實施例的系統(tǒng)既能應(yīng)用于熒光成像中，也能應(yīng)用于明場成像中。對于明場成像而言，還需要對于明場照明光進行光譜標定。可以通過已知光譜曲線的多個帶通濾波片作為樣本來實現(xiàn)這一光譜標定。

另外，本發(fā)明實施例的系統(tǒng)還可以采集明場下靜態(tài)樣本以及熒光動態(tài)樣本，展示了其在活體三維多熒光標記樣本觀測方面的應(yīng)用前景，包括分離多種熒光染料以及各類包含形態(tài)學(xué)和光譜變化的研究。

舉例而言，如圖1所示，該系統(tǒng)10包括：顯微鏡100、光圈放大模塊200、成像透鏡陣列300、寬帶濾波片陣列400，傳感器陣列500和控制器600。

具體地，如圖2所示，顯微鏡100通過顯微鏡的像面引出口101將對樣本所成的放大像面引出，進一步通過光圈放大模塊200中的兩級繼接透鏡2011以及2012將顯微鏡的光圈平面放大至成像透鏡陣列300的物理尺寸大小。成像透鏡陣列300中的每一個成像透鏡截取一部分亞光圈面并成像，實現(xiàn)顯微樣本的不同角度信息采集。在成像透鏡陣列300之后加入寬帶濾波片陣列400，實現(xiàn)對不同角度信息的進一步光譜調(diào)制，使得最終對樣本的空間光譜耦合采樣信息成像在傳感器陣列500上?？刂破?00與傳感器陣列500相連，用以實現(xiàn)采集圖片時的同步觸發(fā)以及各個傳感器包括曝光時間、增益等相機參數(shù)在內(nèi)的設(shè)置與調(diào)節(jié)，同時實現(xiàn)配合校正板實現(xiàn)圖像的幾何校正，便于后續(xù)算法處理。

進一步地，如圖2所示，搭建了快速超光譜三維顯微成像系統(tǒng)。原型系統(tǒng)通過兩級中繼鏡頭(Canon EF和Computar M0814-MP2)放大商業(yè)顯微鏡(Olympus IX73)顯微輸出，以覆蓋整個成像透鏡陣列300(CCTV SV-10035V)，然后利用帶有不同頻段寬帶濾光片的傳感器陣列500(PointGray Flea2-08S2C-C)對不同子光圈面成像。這里的寬帶濾光片是一組不同通過摻雜不同材質(zhì)而形成不同顏色的透明玻璃，其光譜特性曲線在整個可見光波段(400-700nm)范圍內(nèi)是都有調(diào)制的。為充分利用空間與光譜維度上的冗余性，增強系統(tǒng)光利用效率，實現(xiàn)超光譜立體重構(gòu)，濾光片陣列的光譜曲線都不是窄帶的，而且各個光譜曲線盡可能的相互不相關(guān)。所有相機通過外部硬件觸發(fā)系統(tǒng)實現(xiàn)同步采集，成像數(shù)據(jù)以主從服務(wù)器結(jié)構(gòu)存儲以滿足高吞吐量需求，最大幀率可以達到30楨/秒。

另外，根據(jù)本發(fā)明實施例的顯微鏡100即是傳統(tǒng)的商業(yè)顯微鏡，其構(gòu)成以及作用對于本領(lǐng)域的技術(shù)人員而言都是已知的，這里就不再詳細贅述。

進一步，通過對上述系統(tǒng)采集到的空間與光譜耦合采樣的圖片的處理，恢復(fù)顯微樣本三維超光譜信息(四維信息)的計算過程。首先對系統(tǒng)進行整體建模，如果去掉寬帶濾光片陣列400，原型系統(tǒng)變?yōu)楣鈭鲲@微系統(tǒng)。光場顯微系統(tǒng)中，每個視角都有各自特定的三維點擴散函數(shù)。每個視角圖像都是樣本三維空間各點與相應(yīng)點擴散函數(shù)的線性多重積分。利用25個寬帶濾光片和RGB相機陣列，生成了四維點擴散函數(shù)(光譜調(diào)制的三維點擴散函數(shù))。這些點擴散函數(shù)不但攜帶三維空間信息還攜帶一維光譜信息。RGB彩色相機的光譜響應(yīng)可以采用單色儀、積分球和光度計校準。這樣，單次拍照即可獲得75個空間-光譜耦合測量。這些測量是立體多光譜圖像在光譜維度經(jīng)寬帶彩色濾光片和RGB相機貝爾彩色濾波調(diào)制，在空間維度經(jīng)不同三維點擴散函數(shù)調(diào)制的整體調(diào)制結(jié)果。線性前向成像模型可用數(shù)學(xué)公式表示為：

I_i,rgb(x,y)＝∫_λM_i,rgb(x,y,λ)∫_zh_i(x,y,z)*v(x,y,z,λ)dzdλ，

其中，其中x,y表示空間橫向坐標，z表示軸向坐標，λ表示光譜坐標,I_i,rgb(x,y)為相機拍攝圖像，i表示25個相機，rgb表示相機RGB三個彩色通道，M_i,j,rgb(x,y,λ)為第i個寬帶濾光片和第rgb個彩色通道貝爾色彩濾波器的聯(lián)合調(diào)制，h_i(x,y,z)是第i個相機的三維點擴散函數(shù)，v(x,y,z,λ)是四維超光譜三維圖像。

傳統(tǒng)三維解卷積算法利用焦堆?；蚨嘁暯桥臄z的半透明樣本、熒光標記樣本的多張帶視差的低分辨圖像能夠恢復(fù)出高分辨立體圖像。利用這些增加的空間信息來換取光譜信息。由于超光譜三維圖像在空間維和光譜維內(nèi)在的冗余性，本發(fā)明實施例提出的四維解卷積算法采用最大期望方法和全變分正則化約束求解上述方程的欠定問題。上述方程首先離散化為：

I＝Pv，

其中，I,v分別表示向量化的相機陣列測量結(jié)果和超光譜立體圖像，P表示投影矩陣。該方程的求解，即由給定一組空間-角度-光譜耦合測量，估計樣本上每個點的光譜響應(yīng)曲線。這個問題等同于四維層析問題。由于光譜調(diào)制對體素每個點都是均勻的，不會影響投影矩陣的周期性，這就可以減少四維解卷積運算過程中前向投影和后向投影計算復(fù)雜度。

假設(shè)成像噪聲符合泊松分布，背景噪聲可以通過拍攝圖像與背景圖像相減消除。那么該方程的最大期望方法的極大似然估計可以表示為下述優(yōu)化問題：

其中β是全變分正則化項和數(shù)據(jù)項的平衡因子，數(shù)據(jù)項E_d(v)可表示為：

其中，ln(·)表示對數(shù)運算；N_x,N_y表示每個相機二維空間分辨率，N_c和N_r表示相機的數(shù)量和RGB貝爾濾波數(shù)量。對于全變分正則化項，引入了熒光樣本稀疏先驗，以滿足超光譜立體重構(gòu)結(jié)果在空間和光譜上逐點平滑，如下所示：

表示空間梯度，Φ為光譜投影。利用KKT條件和補充松弛條件，四維解卷積優(yōu)化問題的數(shù)值解可表示為：

其中，是四維數(shù)據(jù)迭代n次結(jié)果向量化后第j個元素。按照上式更新規(guī)則迭代直到算法收斂或迭代次數(shù)n達到設(shè)定最大值，即可獲得超光譜立體重建結(jié)果。

進一步地，如圖3所示，在初始化初始解之后，進行整體迭代循環(huán)，在每次整體迭代中，首先進行最大期望方法的最大似然估計的迭代，接著將該迭代結(jié)果帶入全變分迭代步驟中，整個迭代過程不斷循環(huán)，直至最終結(jié)果收斂，或者達到實現(xiàn)設(shè)定好的最大迭代次數(shù)，則停止迭代并輸出結(jié)果。

進一步地，如圖4所示，利用本發(fā)明實施例采集了經(jīng)過25個寬帶濾光片后的團藻多視角圖片(曝光時間30毫秒)，利用壓縮采樣方法，獲得了空間光譜耦合的采樣數(shù)據(jù)，然后利用上述的四維解卷積算法重構(gòu)。本實驗采用的物鏡為Olympus,UPLSAPO10X2,N.A.＝0.4,F.N.＝26.5，圖4左側(cè)為選取的8個重建譜段的圖像。圖4中標記的三個體素點光譜曲線如圖4右側(cè)所示。這個例子展示了能夠在快照條件下同時恢復(fù)半透明樣本的三維信息與超光譜信息。這為實時分析樣本成分提供了一個手段。利用快照圖像，能夠?qū)崟r恢復(fù)三維場景中每一個點的超光譜信息，而這些信息以前需要商用的光譜顯微設(shè)備才能獲取。這些信息有助于改善和提高三維物體的識別和精確分割。

進一步地，如圖5所示，為了驗證本發(fā)明實施例能夠用于恢復(fù)動態(tài)多熒光標記樣本，本發(fā)明實施例對用GFP標記神經(jīng)回路的果蠅幼蟲進行了活體的動態(tài)成像。重構(gòu)光譜范圍的光譜范圍為400nm至700nm，步長10nm。圖5左側(cè)是果蠅幼蟲的超光譜立體視頻，幀率為5幀/秒。這些三維圖像是利用重建的超光譜圖像的熒光拆分結(jié)果采用最大投影算法合成的。超光譜立體視頻反映了半透明果蠅幼蟲運動過程中形態(tài)和神經(jīng)系統(tǒng)的變化。利用前述方法，可以重構(gòu)出五維超光譜立體視頻數(shù)據(jù)。大量分析方法，如光譜層析和光譜拆分都可以立即展開而不需要費時地掃描和重復(fù)。對于三維樣本中的每個點，都能計算出其光譜曲線，便于從生物學(xué)上或材料學(xué)上獲得新發(fā)現(xiàn)。本實施例選取了部分點的光譜曲線，并將其與標準綠色熒光蛋白(GFP)的熒光發(fā)射光譜曲線進行了對比，參照圖5右側(cè)，這些曲線證明了光譜重構(gòu)的準確性。

綜上所述，本發(fā)明實施例的快速三維超光譜顯微技術(shù)能以視頻幀率采集高分辨率和高精度超光譜三維數(shù)據(jù)，是一種光學(xué)顯微下的五維成像手段。首次實現(xiàn)的超光譜立體視頻采集系統(tǒng)，具有很廣闊的應(yīng)用前景。與傳統(tǒng)時域掃描方法相比，將光學(xué)設(shè)計和計算重構(gòu)相結(jié)合，充分利用了視覺信息的稀疏性，減少了采樣時間，避免了熒光樣本漂白?？沼?頻域耦合的采樣系統(tǒng)實現(xiàn)了有效復(fù)合。相機陣列實現(xiàn)了高光通量采集。利用四維解卷積重構(gòu)，不需要大量的先驗就能重建出高維度的信息。本發(fā)明實例也用不同的樣本驗證了方法的有效性和采集數(shù)據(jù)的多種實用性。

其次，本發(fā)明實例具有很大的靈活性，對于不要三維信息的薄樣本而言，可以直接使用三維解卷積算法，獲得其超光譜信息，可以大量節(jié)省采集時間。對于不需要超光譜信息的樣本而言，也可以直接使用三維解卷積算法進行重建，獲得更高分辨率的三維信息。

根據(jù)本發(fā)明實施例的三維超光譜顯微成像系統(tǒng)，能夠?qū)崿F(xiàn)三維樣本在不同寬帶光譜調(diào)制下在不同角度上投影的采集，從而能夠在相機幀率下完成樣本四維(包括三維空間信息，以及一維光譜信息)的耦合采樣，大大增加了光效率，并通過相機陣列的使用，確保了系統(tǒng)的瞬時數(shù)據(jù)吞吐量，保證數(shù)據(jù)的充分采樣，實現(xiàn)光學(xué)顯微下30赫茲三維超光譜視頻的采集的目的，提高成像的適用性，并且極大地提升了用戶的使用體驗。

其次參照附圖描述根據(jù)本發(fā)明實施例提出的三維超光譜顯微成像方法。

圖6是本發(fā)明一個實施例的三維超光譜顯微成像方法的流程圖。

如圖6所示，該三維超光譜顯微成像方法包括以下步驟：

在步驟S601中，將校正板放置在顯微鏡的像面引出口處，以通過傳感器陣列采集數(shù)據(jù)，使用拍攝得到的圖片進行幾何校正，確保每傳感器采集到圖片對應(yīng)同一視場，且像素逐一對應(yīng)。

在步驟S602中，對于需要使用透射式明場照明進行測量的半透明樣本，在明場照明下，在樣本位置處放置不同帶通濾波片，以對照明光源的光譜進行校正。

在步驟S603中，將顯微樣本放在顯微鏡的樣本放置處。

在步驟S604中，通過傳感器陣列進行同步采集，其中，通過同步觸發(fā)下的視頻采集對動態(tài)樣本進行采集。

在步驟S605中，對于每一幀傳感器陣列采集到的圖片，使用四維解卷積算法進行迭代恢復(fù)重建。

在步驟S606中，獲取熒光樣本的三維超光譜信息。

在步驟S607中，在完成照明光源的光譜校正后，獲取明場照明下的半透明樣本的三維吸收率超光譜信息。

進一步地，在本發(fā)明的一個實施例中，使用四維解卷積算法進行迭代恢復(fù)重建，進一步包括：根據(jù)光譜維度通過期望最大化算法獲得多次迭代公式，并且全變差的正則項進行優(yōu)化。

可以而理解的是，在傳統(tǒng)光學(xué)斷層攝像術(shù)的技術(shù)基礎(chǔ)上引入光譜維度，使用期望最大化算法，獲得多次迭代公式。同時加上全變差的正則項加以優(yōu)化。

進一步地，在本發(fā)明的一個實施例中，使用四維解卷積算法進行迭代恢復(fù)重建，進一步包括：首先進行期望最大化迭代，在迭代第一預(yù)設(shè)次數(shù)后，進行全變差正則項的優(yōu)化，以通過多次迭代直至結(jié)果收斂，或者達到第二預(yù)設(shè)次數(shù)。

可以理解的是，首先進行期望最大化迭代，在迭代固定次數(shù)后，進行全變差正則項的優(yōu)化。重復(fù)上述過程，并多次迭代直至結(jié)果收斂，或者達到固定次數(shù)。

其中，本發(fā)明的實施例的預(yù)設(shè)值可以根據(jù)實際情況進行設(shè)置，如第一次預(yù)設(shè)次數(shù)、第二次預(yù)設(shè)次數(shù)、預(yù)設(shè)大小等，在此不作具體限制。

舉例而言，使用上述的系統(tǒng)進行數(shù)據(jù)采集，本發(fā)明實施例的方法包括以下的步驟：

步驟S1，首先將一個校正板放置在顯微鏡像面引出口處，用傳感器陣列采集數(shù)據(jù)，使用拍攝得到的圖片進行幾何校正，確保每一個傳感器采集到圖片對應(yīng)同一視場，且像素逐一對應(yīng)。

步驟S2，對于需要使用透射式明場照明進行測量的半透明樣本，需要先在明場照明下，在樣本位置處放置不同帶通濾波片，實現(xiàn)對照明光源的光譜校正。

步驟S3，將待測樣本放在按照上述系統(tǒng)的顯微鏡樣本放置處。

步驟S5，進一步使用傳感器陣列進行同步采集，對于動態(tài)樣本，也可以實現(xiàn)同步觸發(fā)下的視頻采集。

步驟S6，對于每一幀傳感器陣列采集到的圖片，使用四維解卷積算法進行迭代恢復(fù)重建。

步驟S7，對于熒光樣本而言，可以直接得到樣本的三維超光譜信息。

對于明場照明下的半透明樣本而言，完成照明光源的光譜校正后，就可以得到樣本的三維吸收率超光譜信息。

需要說明的是，前述對三維超光譜顯微成像系統(tǒng)實施例的解釋說明也適用于該實施例的三維超光譜顯微成像方法，此處不再贅述。

根據(jù)本發(fā)明實施例的三維超光譜顯微成像方法，能夠?qū)崿F(xiàn)三維樣本在不同寬帶光譜調(diào)制下在不同角度上投影的采集，從而能夠在相機幀率下完成樣本四維(包括三維空間信息，以及一維光譜信息)的耦合采樣，大大增加了光效率，并通過相機陣列的使用，確保了系統(tǒng)的瞬時數(shù)據(jù)吞吐量，保證數(shù)據(jù)的充分采樣，實現(xiàn)光學(xué)顯微下30赫茲三維超光譜視頻的采集的目的，提高成像的適用性，并且極大地提升了用戶的使用體驗。

在本發(fā)明的描述中，需要理解的是，術(shù)語“中心”、“縱向”、“橫向”、“長度”、“寬度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”“內(nèi)”、“外”、“順時針”、“逆時針”、“軸向”、“徑向”、“周向”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。

此外，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個該特征。在本發(fā)明的描述中，“多個”的含義是至少兩個，例如兩個，三個等，除非另有明確具體的限定。

在本發(fā)明中，除非另有明確的規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”、“固定”等術(shù)語應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或成一體；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內(nèi)部的連通或兩個元件的相互作用關(guān)系，除非另有明確的限定。對于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解上述術(shù)語在本發(fā)明中的具體含義。

在本發(fā)明中，除非另有明確的規(guī)定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接觸，或第一和第二特征通過中間媒介間接接觸。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或僅僅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或僅僅表示第一特征水平高度小于第二特征。

在本說明書的描述中，參考術(shù)語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不必須針對的是相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任一個或多個實施例或示例中以合適的方式結(jié)合。此外，在不相互矛盾的情況下，本領(lǐng)域的技術(shù)人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特征進行結(jié)合和組合。

盡管上面已經(jīng)示出和描述了本發(fā)明的實施例，可以理解的是，上述實施例是示例性的，不能理解為對本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對上述實施例進行變化、修改、替換和變型。