本申請涉及以非接觸的方式取得測定對象的內(nèi)部信息的技術(shù)。例如,本申請涉及基于來自作為被攝體的光散射體的表面附近的反射光形成的圖像與基于到達(dá)光散射體的內(nèi)部并再次回到表面的光形成的圖像進(jìn)行分離的技術(shù)。
背景技術(shù):
在生物體計(jì)測及材料分析的領(lǐng)域中,使用向?qū)ο笪镎丈涔?、從透射了對象物?nèi)部的光的信息取得對象物的內(nèi)部信息的方法。在該方法中,有來自對象物表面的反射成分成為噪聲而成為問題的情況。作為將由這些表面反射成分帶來的噪聲除去而僅取得希望的內(nèi)部信息的方法,例如在生物體計(jì)測的領(lǐng)域中已知有在特開2012-125370號公報(bào)中記載的方法。在特開2012-125370號公報(bào)中,通過使光源和光檢測器中的某一個(gè)為非接觸,控制部使照射點(diǎn)或檢測點(diǎn)隨時(shí)變化。由此,光檢測器檢測由透射了被檢者內(nèi)的不同路徑的光帶來的多個(gè)信號,解析部在由光檢測器得到的多個(gè)信號中選擇規(guī)定的信號,能夠使用所選擇的信號計(jì)算被檢者內(nèi)的光吸收特性。
此外,在特開2012-230005號公報(bào)中,公開了一種缺陷檢查裝置,其特征在于,具有:將明暗圖案的照射光進(jìn)行1次曝光期間內(nèi)的切換和照射亮度的調(diào)制的機(jī)構(gòu)、和檢測被檢查面上的缺陷的處理部。
技術(shù)實(shí)現(xiàn)要素:
有關(guān)本申請的一技術(shù)方案的攝像裝置具備:第1光源,發(fā)出第1脈沖光而在被攝體的規(guī)定的區(qū)域內(nèi)投影第1圖案的第1像,并且發(fā)出第2脈沖光而在上述被攝體的上述規(guī)定的區(qū)域內(nèi)的與上述第1像的位置不同的位置投影第2圖案的第2像;圖像傳感器,包括多個(gè)像素,上述多個(gè)像素分別包括將接受到的光變換為信號電荷的光檢測器和蓄積上述信號電荷的第1蓄積部及第2蓄積部;以及控制電路,控制上述第1光源及上述圖像傳感器。上述控制電路進(jìn)行以下處理:使上述第1光源發(fā)出上述第1脈沖光;使上述第1蓄積部蓄積對應(yīng)于上述第1脈沖光的發(fā)光而由上述光檢測器產(chǎn)生的第1信號電荷;使上述第1光源在與上述第1脈沖光的發(fā)光不同的時(shí)刻發(fā)出上述第2脈沖光;使上述第2蓄積部蓄積對應(yīng)于上述第2脈沖光的發(fā)光而由上述光檢測器產(chǎn)生的第2信號電荷。
有關(guān)本申請的另一技術(shù)方案的攝像裝置具備:光源,發(fā)出第1脈沖光而在被攝體的規(guī)定的區(qū)域投影規(guī)定圖案的像;圖像傳感器,包括多個(gè)像素,上述多個(gè)像素分別包括將接受到的光變換為信號電荷的光檢測器和蓄積上述信號電荷的第1蓄積部及第2蓄積部;以及控制電路,控制上述光源及上述圖像傳感器;上述控制電路進(jìn)行以下處理:在第1時(shí)刻使上述光源發(fā)出上述第1脈沖光;在上述第1時(shí)刻后且第2時(shí)刻之前,使上述第1蓄積部蓄積上述信號電荷;在超過上述第2時(shí)刻后使上述第2蓄積部蓄積上述信號電荷。
上述通常且特定的形態(tài)可以利用系統(tǒng)、方法及計(jì)算機(jī)程序來安裝,或者可以利用系統(tǒng)、方法及計(jì)算機(jī)程序的組合來實(shí)現(xiàn)。
附圖說明
圖1是表示攝像裝置1001的結(jié)構(gòu)的圖。
圖2是包括攝像裝置1001的攝像系統(tǒng)圖。
圖3a是表示本實(shí)施方式的攝像裝置1001的利用場景200的圖。
圖3b是表示向頭部102(額頭)照射的光照射圖案202的例子的圖。
圖4是表示用來使750nm和850nm的光透射、將其以外的波長的光成分遮光的光學(xué)雙帶通濾光器112的分光透射率的曲線圖。
圖5是時(shí)間分解圖像傳感器113的1個(gè)像素401的結(jié)構(gòu)圖。
圖6是本實(shí)施方式的時(shí)間分解圖像傳感器113的結(jié)構(gòu)圖。
圖7a是表示實(shí)施方式1的攝像裝置的動作的時(shí)間圖。
圖7b是表示實(shí)施方式1的攝像裝置的動作的時(shí)間圖。
圖8是表示實(shí)施方式1的攝像裝置的詳細(xì)的動作的時(shí)間圖。
圖9a是表示環(huán)狀的照射圖案的例子的圖。
圖9b是表示線狀的照射圖案的例子的圖。
圖10是表示實(shí)施方式1的時(shí)間分解圖像傳感器113上的點(diǎn)照射圖案與像素位置的關(guān)系的圖。
圖11是表示攝像裝置1001的處理的次序的流程圖。
圖12是包括實(shí)施方式2的攝像裝置1002的攝像系統(tǒng)圖。
圖13a是表示實(shí)施方式2的攝像裝置1002的利用場景1200的圖。
圖13b是表示向頭部102(額頭)照射的光照射圖案1102的例子的圖。
圖14a是表示實(shí)施方式2的攝像裝置的動作的時(shí)間圖。
圖14b是表示實(shí)施方式2的攝像裝置的動作的時(shí)間圖。
圖15a是表示實(shí)施方式2的攝像裝置的詳細(xì)的動作的時(shí)間圖。
圖15b是表示實(shí)施方式2的攝像裝置的詳細(xì)的動作的時(shí)間圖。
圖16是表示實(shí)施方式2的時(shí)間分解圖像傳感器113上的點(diǎn)照射圖案與像素位置的關(guān)系的圖。
圖17a是表示實(shí)施方式3的攝像裝置的動作的時(shí)間圖。
圖17b是表示實(shí)施方式3的攝像裝置的動作的時(shí)間圖。
圖18a是表示實(shí)施方式3的攝像裝置的詳細(xì)的動作的時(shí)間圖。
圖18b是表示實(shí)施方式3的攝像裝置的詳細(xì)的動作的時(shí)間圖。
圖19是包括實(shí)施方式4的攝像裝置1003的攝像系統(tǒng)圖。
圖20a是表示實(shí)施方式4的攝像裝置1003的利用場景2200的圖。
圖20b是表示向頭部102(額頭)照射的光照射圖案2102的例子的圖。
圖21是時(shí)間分解圖像傳感器201的1個(gè)像素401的結(jié)構(gòu)圖。
標(biāo)號說明
1001、1002攝像裝置
103、104、105、106第1光源
107、108、109、110第2光源
111結(jié)像光學(xué)系統(tǒng)
112光學(xué)雙帶通濾光器
113時(shí)間分解圖像傳感器
114控制電路
115第1信號處理電路
116第2信號處理電路
600光源
602圖像傳感器
604信號處理電路
606表面反射成分
608內(nèi)部散射成分
具體實(shí)施方式
本發(fā)明者們專門研究的結(jié)果表明,在上述特開2012-125370號公報(bào)及特開2012-230005號公報(bào)中,在高精度化、高密度化及高速化方面是有限的。
在說明本申請的實(shí)施方式之前,以下,作為針對對象物的內(nèi)部信息將淺部和深部分離觀測的以往技術(shù),說明特開2012-125370號公報(bào)所記載的方法。
特開2012-125370號公報(bào)公開了在使用可見光或近紅外光的生物體光計(jì)測裝置中,用來將混合在信號成分中的皮膚血流成分等的表層成分的影響分離、除去的技術(shù)。該文獻(xiàn)的目的大體上存在3個(gè)。第1個(gè),是將信號中包含的、包括局部性的皮膚血流在內(nèi)的來源于腦以外的組織的成分的影響除去,僅分離并提取來源于腦或大腦皮質(zhì)的信號。第2個(gè),是更通用地分離并提取來源于腦及來源于皮膚的成分、以及在腦、皮膚中共通地包含的成分。第3個(gè),是考慮來源于腦的信號和來源于皮膚的信號的貢獻(xiàn)率的個(gè)人差異的基礎(chǔ)上將兩信號分離。
為了將來源于腦的信號與來源于皮膚的信號分離,在特開2012-125370號公報(bào)中,配置各個(gè)送光器及受光器,以實(shí)現(xiàn)基于多個(gè)送光器-受光器間距離進(jìn)行的計(jì)測、并且使由各受光器所接受的光在灰白質(zhì)及頭皮中都傳播。在計(jì)測時(shí),根據(jù)需要來切換各光源電源的on/off或強(qiáng)弱、或者檢測器的on/off或增益強(qiáng)弱等來實(shí)施計(jì)測,以使得在信號檢測時(shí)來自多個(gè)光源的信號不相互干涉、并且各個(gè)受光器接受適當(dāng)?shù)膹?qiáng)度等級的光。進(jìn)而,在解析時(shí),使用各計(jì)測點(diǎn)處的數(shù)據(jù)實(shí)施獨(dú)立成分分析等的信號分離方法,利用得到的1個(gè)或多個(gè)分離成分的、各計(jì)測點(diǎn)處的權(quán)重值的送光器-受光器間距離依賴性,判定各個(gè)分離成分是來源于腦的信號成分還是來源于皮膚的信號成分。并且,僅用使用的1個(gè)或多個(gè)分離成分,重構(gòu)各個(gè)送光器-受光器間距離的計(jì)測信號。
控制部使照射點(diǎn)或檢測點(diǎn)隨時(shí)變化,由此光檢測器檢測由透射了被檢者內(nèi)的不同的路徑的光帶來的多個(gè)信號。解析部在由光檢測器得到的多個(gè)信號中選擇規(guī)定的信號,使用所選擇的信號計(jì)算被檢者內(nèi)的光吸收特性。
根據(jù)本發(fā)明者們的研究,在特開2012-125370號公報(bào)中記載的方法需要使照射點(diǎn)或檢測點(diǎn)的位置隨時(shí)變化而計(jì)測。由于僅能夠同時(shí)檢測一個(gè)送光器-受光器間距離的數(shù)據(jù),所以可知具有高速性和解析力的兼顧較困難的課題。
此外,在特開2012-230005號公報(bào)中,記載有進(jìn)行1次曝光期間內(nèi)的照明圖案的切換。但是,在該方法中,圖像傳感器的各像素檢測照明光的圖案變化的積分值。為了進(jìn)行被檢體的深部、淺部的運(yùn)算,需要進(jìn)行多個(gè)幀間的運(yùn)算處理。
本發(fā)明者們實(shí)現(xiàn)了進(jìn)行向被檢體表面的多個(gè)位置的光照射、并且使用許多點(diǎn)的時(shí)間分解圖像傳感器輸出的攝像裝置。該攝像裝置通過1幀內(nèi)的運(yùn)算處理,能夠?qū)⒈粰z體的淺部及深部的生物體成分的分布高精度、高密度、高速地成像。
本申請的一技術(shù)方案的概要是以下這樣的。
有關(guān)本申請的一技術(shù)方案的攝像裝置具備:第1光源,發(fā)出第1脈沖光而向被攝體的規(guī)定的區(qū)域內(nèi)投影第1圖案的第1像,并且發(fā)出第2脈沖光而向上述被攝體的上述規(guī)定的區(qū)域內(nèi)的與上述第1像的位置不同的位置投影第2圖案的第2像;圖像傳感器,包括多個(gè)像素,上述多個(gè)像素分別包括將接受到的光變換為信號電荷的光檢測器和蓄積上述信號電荷的第1蓄積部及第2蓄積部;以及控制電路,控制上述第1光源及上述圖像傳感器。上述控制電路進(jìn)行以下處理:使上述第1光源發(fā)出上述第1脈沖光;使上述第1蓄積部蓄積對應(yīng)于上述第1脈沖光的發(fā)光而由上述光檢測器產(chǎn)生的第1信號電荷;使上述第1光源在與上述第1脈沖光的發(fā)光不同的時(shí)刻發(fā)出上述第2脈沖光;使上述第2蓄積部蓄積對應(yīng)于上述第2脈沖光的發(fā)光而由上述光檢測器產(chǎn)生的第2信號電荷。
上述攝像裝置也可以還具備基于上述第1信號電荷及上述第2信號電荷生成圖像信息的信號處理電路。
上述第1圖案及上述第2圖案例如是包含多個(gè)點(diǎn)的圖案。
上述第1圖案及上述第2圖案例如是包含多個(gè)環(huán)的圖案。
上述第1圖案及上述第2圖案例如是包含多個(gè)直線的圖案。
也可以是,上述控制電路使上述第1光源發(fā)出多個(gè)第1脈沖光,上述多個(gè)第1脈沖光分別是上述第1脈沖光;使上述第1光源發(fā)出多個(gè)第2脈沖光,上述多個(gè)第2脈沖光分別是上述第2脈沖光。
上述攝像裝置也可以是,還具備第2光源,該第2光源發(fā)出第3脈沖光而向上述被攝體的上述規(guī)定的區(qū)域內(nèi)的與上述第1像及第2像的位置不同的位置投影第3圖案的第3像,并且發(fā)出第4脈沖光而向上述被攝體的上述規(guī)定的區(qū)域內(nèi)的與上述第1像、第2像及第3像的位置不同的位置投影第4圖案的像;上述圖像傳感器的上述多個(gè)像素分別還包括蓄積上述信號電荷的第3蓄積部及第4蓄積部;上述第1光源發(fā)出第1波長范圍的光;上述第2光源發(fā)出與上述第1波長范圍不同的第2波長范圍的光;上述控制電路還控制上述第2光源;上述控制電路進(jìn)行以下處理:使上述第2光源發(fā)出上述第3脈沖光;使上述第3蓄積部蓄積對應(yīng)于上述第3脈沖光的發(fā)光而由上述光檢測器產(chǎn)生的第3信號電荷;使上述第2光源在與上述第3脈沖光的發(fā)光不同的時(shí)刻發(fā)出上述第4脈沖光;使上述第4蓄積部蓄積對應(yīng)于上述第4脈沖光的發(fā)光而由上述光檢測器產(chǎn)生的第4信號電荷。
上述信號處理電路也可以基于上述第1信號電荷至第4信號電荷生成上述圖像信息。
在上述攝像裝置中,也可以是,上述被攝體是光學(xué)散射體;上述第1信號電荷是從上述被攝體到達(dá)的、來源于上述第1脈沖光的內(nèi)部散射光成分;上述第2信號電荷是從上述被攝體到達(dá)的來源于上述第2脈沖光的內(nèi)部散射光成分。
在上述攝像裝置中,也可以是,上述圖像傳感器的上述多個(gè)像素分別還包括蓄積上述信號電荷的第3蓄積部及第4蓄積部;上述控制電路使上述第1脈沖光在第1時(shí)刻及第2時(shí)刻分別發(fā)出;在從上述第1時(shí)刻起經(jīng)過第1時(shí)間后,使上述第1蓄積部蓄積上述第1信號電荷;在從上述第2時(shí)刻起經(jīng)過比上述第1時(shí)間長的第2時(shí)間后,使上述第3蓄積部蓄積上述第1信號電荷;使上述第2脈沖光在第3時(shí)刻及第4時(shí)刻分別發(fā)出;在從上述第3時(shí)刻起經(jīng)過第3時(shí)間后,使上述第2蓄積部蓄積上述第2信號電荷;在從上述第4時(shí)刻起經(jīng)過比上述第3時(shí)間長的第4時(shí)間后,使上述第4蓄積部蓄積上述第2信號電荷。
有關(guān)本申請的另一技術(shù)方案的攝像裝置具備:光源,發(fā)出第1脈沖光而向被攝體的規(guī)定的區(qū)域投影規(guī)定圖案的像;圖像傳感器,包括多個(gè)像素,上述多個(gè)像素分別包括將接受到的光變換為信號電荷的光檢測器和蓄積上述信號電荷的第1蓄積部及第2蓄積部;以及控制電路,控制上述光源及上述圖像傳感器;上述控制電路進(jìn)行以下處理:在第1時(shí)刻使上述光源發(fā)出上述第1脈沖光;在上述第1時(shí)刻后且第2時(shí)刻之前,使上述第1蓄積部蓄積上述信號電荷;在超過上述第2時(shí)刻后使上述第2蓄積部蓄積上述信號電荷。
在本申請中,電路、單元、裝置、部件或部的全部或一部分、或框圖的功能塊的全部或一部分也可以由包括半導(dǎo)體裝置、半導(dǎo)體集成電路(ic)或lsi(largescaleintegration)的一個(gè)或多個(gè)電子電路執(zhí)行。lsi或ic既可以集成到一個(gè)芯片上,也可以將多個(gè)芯片組合而構(gòu)成。例如,存儲元件以外的功能塊也可以集成到一個(gè)芯片上。這里稱作lsi或ic,但根據(jù)集成程度而叫法變化,也可以稱作系統(tǒng)lsi、vlsi(verylargescaleintegration)或ulsi(ultralargescaleintegration)。也可以將在lsi的制造后編程的fieldprogrammablegatearray(fpga)、或能夠進(jìn)行l(wèi)si內(nèi)部的接合關(guān)系的重構(gòu)或lsi內(nèi)部的電路劃分的設(shè)置的reconfigurablelogicdevice以相同的目的使用。
進(jìn)而,電路、單元、裝置、部件或部的全部或一部分的功能或操作也可以通過軟件處理來執(zhí)行。在此情況下,軟件被記錄到一個(gè)或多個(gè)rom、光盤、硬盤驅(qū)動器等非暫時(shí)性記錄介質(zhì)中,當(dāng)軟件被處理裝置(processor)執(zhí)行時(shí),由該軟件確定的功能被處理裝置(processor)及周邊裝置執(zhí)行。系統(tǒng)或裝置也可以具備記錄有軟件的一個(gè)或多個(gè)非暫時(shí)性記錄介質(zhì)、處理裝置(processor)及需要的硬件設(shè)備例如接口。
以下,參照附圖說明本申請的攝像裝置的實(shí)施方式。
在攝像裝置的各實(shí)施方式的說明之前,說明該攝像裝置的動作的概要。
圖1表示攝像裝置1001的結(jié)構(gòu)。攝像裝置1001具備控制電路114、由控制電路114控制的光源600及圖像傳感器602、和對圖像傳感器602的輸出信號進(jìn)行處理的信號處理電路604。另外,攝像裝置1001在其內(nèi)部具有光源600不是必須的,只要能夠由控制電路114控制,光源600也可以外裝。以下,在本說明書中也是同樣的。
從光源600射出的光被被檢者的包括額頭的頭部102反射,向圖像傳感器602入射。圖像傳感器602將入射的光變換為電信號并輸出。控制電路114基于從圖像傳感器602輸出的信號,調(diào)整光源600的光的照射位置及功率。
控制電路114進(jìn)行兩個(gè)初始動作。即,是到頭部102的距離測定動作及照射調(diào)整動作。
首先,說明控制電路114進(jìn)行的距離測定動作。控制電路114基于在光源600的發(fā)光中從圖像傳感器602輸出的電信號(例如表示圖像的信號),確定頭部102的位置及到頭部102的距離。例如控制電路114能夠使用tof(time-of-flight)技術(shù)計(jì)測到頭部102的距離。在tof技術(shù)中,計(jì)測照射光(例如脈沖光)被頭部102反射、該反射光到達(dá)圖像傳感器602所需要的時(shí)間即飛行時(shí)間。控制電路114能夠基于從光源600射出脈沖光起到圖像傳感器602檢測到該脈沖光為止的時(shí)間來檢測到頭部102的距離。飛行時(shí)間可以基于由圖像傳感器602的各檢測元件檢測到的光的相位與光源600的光的相位之差來計(jì)測。作為圖像傳感器602也可以使用復(fù)眼照相機(jī)。復(fù)眼照相機(jī)具有多個(gè)圖像傳感器,能夠基于所取得的多個(gè)圖像間的視差來計(jì)測距離。這樣,圖像傳感器602也可以是能夠取得圖像信息和距離信息雙方的設(shè)備。
接著,說明控制電路114進(jìn)行的照射調(diào)整動作??刂齐娐?14基于所確定的頭部102的位置及距離,決定在頭部102中被照射光的位置及光的功率。例如控制未圖示的mems反射鏡等光學(xué)元件,以使光正確地照射到頭部102的位置。并且,使光源600以到達(dá)圖像傳感器602的光的功率大致成為規(guī)定值的方式發(fā)光。例如,到頭部102的距離越大,使光源600發(fā)出的光的功率越高,該距離越小,使光源600發(fā)出的光的功率越低。
控制電路114例如在開始生物體信息的檢測時(shí)(初始動作時(shí))首先進(jìn)行上述動作。由此,以適當(dāng)?shù)墓β氏蝾^部102照射光,能夠以較高的精度進(jìn)行生物體信息的檢測。
在上述初始動作后,控制電路114進(jìn)行生物體信息的計(jì)測動作。
控制電路114從光源600向頭部102照射光。在被照射了光121的頭部102反射及散射的光(表述為“返回光”)到達(dá)圖像傳感器602。返回光包括在頭部102的表面上反射的成分(表面反射成分606)、和在頭部102的內(nèi)部1次反射(包括擴(kuò)散反射)、散射或多重散射的成分(內(nèi)部散射成分608)。其中,想要檢測的成分是內(nèi)部散射成分608。
但是,通常內(nèi)部散射成分608的信號強(qiáng)度較小。這是因?yàn)?,除了被照射滿足激光安全基準(zhǔn)的非常小的光量的光以外,還由頭皮、腦髄液、頭蓋骨、灰白質(zhì)、白質(zhì)及血流進(jìn)行的光的散射及吸收較大。進(jìn)而,由腦活動時(shí)的血流量或血流內(nèi)成分的變化帶來的信號強(qiáng)度的變化相當(dāng)于內(nèi)部散射成分608的信號強(qiáng)度的幾十分之1的大小,非常小。因而,希望盡可能不使想要檢測的信號成分的幾千~幾萬倍的表面反射成分606混入而檢測內(nèi)部散射成分608。
所以,利用具有電子快門的功能的圖像傳感器602。通過由控制電路114適當(dāng)控制快門定時(shí),能夠僅檢測內(nèi)部散射成分608。這樣的結(jié)構(gòu)在例如特愿2015-122390號的說明書中公開。在本申請中援用特愿2015-122390號的全部公開內(nèi)容。
信號處理電路604接受從圖像傳感器602輸出的關(guān)于內(nèi)部散射成分608的信號,進(jìn)行來自被檢體的淺部的反射成分及來自深部的反射成分的分離。進(jìn)而,信號處理電路604根據(jù)得到的明暗信息,得到氧化血紅蛋白和脫氧血紅蛋白的濃度變化,根據(jù)得到的氧化血紅蛋白和脫氧血紅蛋白的濃度變化,通過運(yùn)算將腦活動作為成像數(shù)據(jù)輸出。
(實(shí)施方式1)
本實(shí)施方式1的攝像裝置1001中,作為被檢體而將生物體等光散射體作為對象。具體而言,攝像裝置1001檢測要觀測的腦內(nèi)的氧化血紅蛋白、脫氧血紅蛋白的濃度分布和其時(shí)間變化,將上述濃度分布構(gòu)建為2d圖像。本攝像裝置1001能夠以非接觸的方式高速且高精度地執(zhí)行作為偽差(artefact)的頭皮血流的除去減輕。
圖2是表示包括本實(shí)施方式的攝像裝置1001的攝像系統(tǒng)的圖。提出了在計(jì)測腦內(nèi)的氧化血紅蛋白、脫氧血紅蛋白的濃度的情況下,使用700~950nm的近紅外光。其理由是因?yàn)?,在生物體內(nèi),這些波長比較不易被水分和血紅蛋白這兩者吸收。將這些波段稱作“生物窗”。所以,本實(shí)施方式的攝像裝置1001中作為光源600(圖1)而使用射出波長750nm的激光脈沖光的4個(gè)第1光源103、104、105、106、以及射出波長850nm的激光脈沖光的4個(gè)第2光源107、108、109、110。
第1光源103、104、105、106及第2光源107、108、109、110分別以短脈沖高速反復(fù)并以決定的后述的圖案進(jìn)行激光的照射。詳細(xì)情況后述。
攝像裝置1001還具有結(jié)像光學(xué)系統(tǒng)111、光學(xué)雙帶通濾光器112、時(shí)間分解圖像傳感器113、控制電路114、第1信號處理電路115和第2信號處理電路116。
結(jié)像光學(xué)系統(tǒng)111是所謂的照相機(jī)透鏡。
光學(xué)雙帶通濾光器112是使750nm和850nm的二波長的光透射的濾光器。光學(xué)雙帶通濾光器112被設(shè)置在透鏡的結(jié)像面。
控制電路114例如是運(yùn)算處理器,控制攝像裝置1001中的第1光源103、104、105、106及第2光源107、108、109、110的脈沖發(fā)光、和時(shí)間分解圖像傳感器113中的受光的曝光期間。此外,控制電路114將通過受光而蓄積的信號電荷進(jìn)行數(shù)字變換,向第1信號處理電路115及第2信號處理電路116命令得到的圖像數(shù)據(jù)的處理。
第1信號處理電路115及第2信號處理電路116對應(yīng)于圖1中的信號處理電路604。即,信號處理電路604作為第1信號處理電路115及第2信號處理電路116實(shí)現(xiàn)。但是,這是一例。如圖1那樣,也可以由1個(gè)電路實(shí)現(xiàn)。
第1信號處理電路115進(jìn)行將來自頭部102內(nèi)的作為淺部的頭皮血流的反射光的特征與來自作為深部的大腦皮質(zhì)的腦血流的反射光的特征分離的運(yùn)算。運(yùn)算的結(jié)果,第1信號處理電路115輸出從腦血流得到的明暗信息。
第2信號處理電路116根據(jù)得到的明暗信息,根據(jù)氧化血紅蛋白和脫氧血紅蛋白的濃度變化,通過運(yùn)算將腦活動作為成像數(shù)據(jù)輸出。
圖3a表示本實(shí)施方式的攝像裝置1001的利用場景200。攝像裝置1001裝入在平板終端201中。攝像裝置1001例如在不同的時(shí)刻1、2、3、4分別放射第1~第4照射光。作為第1~第4照射光,首先從第1光源103、104、105、106放射波長750nm的光。如果該放射結(jié)束,則接著從第2光源107、108、109、110放射波長850nm的光。關(guān)于第1~第4照射光,預(yù)先決定了頭部102(額頭)的多個(gè)特定的位置,以使各光分別向該位置入射而形成光的像。在本說明書中將通過照射形成的像的圖案稱作“光照射圖案”。
圖3b表示向頭部102(額頭)照射的光照射圖案202的例子。
在圖3b中表示的用帶圈數(shù)字1、2、3、4表示的多個(gè)位置203、204、205、206分別表示形成在額頭上的、從第1光源103、104、105、106及第2光源107、108、109、110放射的激光的光點(diǎn)的位置。將由相同的帶圈數(shù)字形成的光點(diǎn)的排列稱作“光點(diǎn)圖案”。光點(diǎn)圖案是光照射圖案的一例。例如,在位置203處形成從第1光源103照射的激光的光點(diǎn),進(jìn)而在位置203上,還形成以與從第1光源103的照射不同的定時(shí)從第2光源107照射的激光的光點(diǎn)。位置204、205、206也分別是同樣的。它們在后述的動作定時(shí),在1幀內(nèi)被分時(shí)地照射。第1光源103及第2光源107形成相同的光點(diǎn)圖案。第1光源104及第2光源108形成相同的光點(diǎn)圖案。第1光源105及第2光源109形成相同的光點(diǎn)圖案。第1光源106及第2光源110形成相同的光點(diǎn)圖案。
另外,“幀”是指從圖像傳感器的輸出單位,通過某輸出動作得到的信號或數(shù)據(jù)是構(gòu)成1個(gè)幀的信號或數(shù)據(jù)。
圖4是表示用來使750nm和850nm的光透射、將其以外的波長的光成分遮光的光學(xué)雙帶通濾光器112的分光透射率的曲線圖。通過設(shè)置光學(xué)雙帶通濾光器112,在時(shí)間分解圖像傳感器113中能夠有效地取得從第1光源103、104、105、106及第2光源107、108、109、110放射的激光的反射光。
圖5是時(shí)間分解圖像傳感器113的1個(gè)像素401的結(jié)構(gòu)圖。1個(gè)像素401具有作為電荷排出部的漏極402、作為光電變換部的光檢測器(pd)403、作為蓄積信號電荷的蓄積部的8個(gè)浮動擴(kuò)散層(fd)404、405、406、407、408、409、410、411和高速定時(shí)控制電路412。
光檢測器403將入射光子變換為信號電子(信號電荷)。高速定時(shí)控制電路412輸出控制信號,切換是將信號電荷向漏極402排出、還是向浮動擴(kuò)散層404、405、406、407、408、409、410、411中的某一個(gè)蓄積。向浮動擴(kuò)散層404、405、406、407、408、409、410、411中的哪一個(gè)分配依賴于后述的定時(shí)。該定時(shí)中需要的動作速度是納秒量級。為了實(shí)現(xiàn)這樣的高速動作,高速定時(shí)控制電路412例如由cmos邏輯電路形成。
圖6是本實(shí)施方式的時(shí)間分解圖像傳感器113的結(jié)構(gòu)圖。1像素區(qū)域501是用雙點(diǎn)劃線的圓表示的區(qū)域,包括8個(gè)浮動擴(kuò)散層404、405、406、407、408、409、410、411。在1像素區(qū)域501中,將蓄積的電荷如通常的cmos圖像傳感器的8像素(2行4列)的信號那樣處理,從時(shí)間分解圖像傳感器113輸出。
對實(shí)際的時(shí)間分解圖像傳感器113而言,雙點(diǎn)劃線的圓區(qū)域在水平垂直上配置m行n列而構(gòu)成,但在圖面說明的關(guān)系上,在本例中以2行1列的簡單的例子進(jìn)行說明。
以下說明簡單的本圖像傳感器113的基本動作。為了記載的方便,有將“浮動擴(kuò)散層”的表述省略而單記述為“fd”的情況。
另外,在圖6中,省略了圖5中記載的漏極402、光檢測器403、高速定時(shí)控制電路412的記載。這是因?yàn)?,它們與在信號電荷向各浮動擴(kuò)散層的蓄積完成后、將fd內(nèi)的信號電荷從時(shí)間分解圖像傳感器113輸出的低速讀出動作沒有直接關(guān)系。
如果行選擇電路502讀出信號且使晶體管508導(dǎo)通,則蓄積在各浮動擴(kuò)散層中的信號電荷經(jīng)由源極跟隨器晶體管509和源極跟隨器負(fù)載506而被放大,被讀出到垂直信號線504。然后,按浮動擴(kuò)散層的每一列設(shè)置的ad變換器507將讀出的信號變換為數(shù)字信號數(shù)據(jù)。列選擇電路503將數(shù)字信號從時(shí)間分解圖像傳感器113輸出。時(shí)間分解圖像傳感器113在將同一行的信號輸出后,進(jìn)行下一行的讀出,以同樣的次序?qū)⑷康母訑U(kuò)散層的信息讀出,在讀出后使復(fù)位晶體管510導(dǎo)通。由此,設(shè)置全部的浮動擴(kuò)散層。在下一幀的高速反復(fù)攝像開始的定時(shí),圖像傳感器的一系列的幀動作完結(jié)。
在本實(shí)施方式中,舉出了cmos型的圖像傳感器的例子,但圖像傳感器既可以是ccd型,也可以是單一光子計(jì)數(shù)型元件,也可以是放大型圖像傳感器(emccd、iccd)。
接著,參照圖1的系統(tǒng)結(jié)構(gòu)圖、圖7a的時(shí)間圖、圖7b的時(shí)間圖及圖8的時(shí)間圖說明本申請的形態(tài)1的攝像裝置的詳細(xì)動作。
在圖7a及圖7b中,信號a1、a2、a3、a4、a5、a6、a7、a8分別表示第1光源103、104、105、106,第2光源107、108、109、110的發(fā)光的定時(shí),信號b表示電子快門的開(open)、關(guān)(close)的定時(shí),信號c1、c2、c3、c4、c5、c6、c7、c8分別表示浮動擴(kuò)散層404、405、406、407、408、409、410、411的on(即在浮動擴(kuò)散層中蓄積電荷的狀態(tài))、off(即在浮動擴(kuò)散層中不蓄積電荷的狀態(tài))的定時(shí)。此外,在圖8中,信號a表示光源的發(fā)光的定時(shí),信號b表示電子快門的開(open)、關(guān)(close)的定時(shí),信號d表示到達(dá)了時(shí)間分解圖像傳感器113的表面反射成分的強(qiáng)度,信號e表示到達(dá)了時(shí)間分解圖像傳感器113的內(nèi)部散射光成分的強(qiáng)度,信號f表示信號d與信號e之和。
圖2及圖1的控制電路114以約10ns脈沖寬度、約10mhz的頻率,使第1光源103如圖7a所示多次發(fā)光。通常以例如約1000次、約100μsec左右的期間進(jìn)行反復(fù)照射。例如,在圖7a中記載了第1光源103進(jìn)行3個(gè)脈沖發(fā)光,但意味著該脈沖發(fā)光在約100μsec左右的期間內(nèi)進(jìn)行約1000次。通過各發(fā)光,在頭部102(額頭)上形成規(guī)定的光的像(照射點(diǎn)圖案)。該照射點(diǎn)圖案形成在圖3b的帶圈數(shù)字1的頭部額頭上的位置。帶圈數(shù)字1的位置的間隔例如設(shè)定為約6cm。
被照射在頭部額頭上的帶圈數(shù)字1的位置上的波長750nm的光成分的大部分如圖1所示,被頭部102的表面反射。反射光作為返回光向作為照相機(jī)透鏡的結(jié)像光學(xué)系統(tǒng)111入射。沒有由頭部102的表面反射的一部分的光成分一邊在頭部102的內(nèi)部散射一邊到達(dá)大腦皮質(zhì)。并且,到達(dá)了大腦皮質(zhì)的該一部分的光成分再繼續(xù)散射,其中的少量的光成分作為內(nèi)部散射光成分再次到達(dá)頭部102的額頭表面。從頭部102的額頭表面對外放射的光成分的再一部分向結(jié)像光學(xué)系統(tǒng)111入射,到達(dá)時(shí)間分解圖像傳感器113而被進(jìn)行光電變換。向結(jié)像光學(xué)系統(tǒng)111入射的光成分是表面反射成分606(圖1)、內(nèi)部散射光成分608(圖1)及750nm、850nm以外的波長的干擾光成分。其中750nm、850nm以外的波長的干擾光成分被光學(xué)雙帶通濾光器112截?cái)唷?/p>
結(jié)果,到達(dá)時(shí)間分解圖像傳感器113的內(nèi)部散射光的能量衰減為到達(dá)時(shí)間分解圖像傳感器113的表面反射光的能量的1萬分之1左右。在該衰減的光中包含腦活動的信息。因此,怎樣將作為能量高的噪聲的表面反射光除去而檢測內(nèi)部散射光,成為重要的要件。
以下,參照圖8說明該機(jī)理。
圖8表示圖7a及圖7b的a-b區(qū)間的定時(shí)的詳細(xì)情況。
如圖8所示,通過由高速定時(shí)控制電路412(圖5)進(jìn)行的不需要電荷向漏極402的排出控制,時(shí)間分解圖像傳感器113被控制為在漏極排出期間中電子快門關(guān)(close),在不向漏極排出的期間中電子快門開(open)。高速定時(shí)控制電路412將電子快門open的開始的時(shí)刻設(shè)定在表面反射成分消失的時(shí)刻附近。其理由是為了將表面反射成分排除而檢測較多內(nèi)部散射光。與表面反射成分相比,內(nèi)部散射光的向時(shí)間分解圖像傳感器113入射的時(shí)刻延遲進(jìn)行散射的時(shí)間量。在表面反射成分消失的時(shí)刻附近以后能夠檢測內(nèi)部散射光。
表面反射成分消失的時(shí)刻是從激光脈沖光源的發(fā)光起經(jīng)過若干時(shí)間后。具體而言,表面反射成分消失的時(shí)刻,是以激光脈沖光源發(fā)光的時(shí)刻為起點(diǎn)、到激光到達(dá)頭部102的額頭表面而在額頭表面反射的表面反射成分606入射到時(shí)間分解圖像傳感器113為止的時(shí)間經(jīng)過后。在本實(shí)施方式中,在從表面反射成分消失的時(shí)刻起經(jīng)過約100皮秒以后將電子快門open。高速定時(shí)控制電路412進(jìn)行控制,以在對應(yīng)于發(fā)光脈沖寬度的期間中維持電子快門open期間,在其之后電子快門為close。
由于第1光源103(圖2)反復(fù)脈沖發(fā)光,所以電子快門也如圖7a所示對應(yīng)于第1光源103的發(fā)光而動作。
在第1光源103的發(fā)光期間中,通過高速定時(shí)控制電路412,只有蓄積信號電荷的圖5的浮動擴(kuò)散層404、405、406、407、408、409、410、411中的浮動擴(kuò)散層404活動(active),其他浮動擴(kuò)散層off。因此,電子快門開的有效期間的信號電荷僅蓄積到浮動擴(kuò)散層404。另外,本設(shè)備被設(shè)計(jì)為,在漏極排出為活動時(shí)將光檢測器內(nèi)的電荷全部向漏極排出。
控制電路114從表面反射光成分從圖像傳感器結(jié)像面上消失、并且僅內(nèi)部散射光存在于圖像傳感器結(jié)像面上之后的時(shí)刻起,將電子快門設(shè)為open,將產(chǎn)生的信號電荷向浮動擴(kuò)散層蓄積。由此,能夠高效地將表面反射光除去,而僅檢測包含腦活動的信息的內(nèi)部散射光。
當(dāng)被檢體是人體頭部102且檢測腦血流等的信息時(shí),內(nèi)部中的光的衰減率非常大。如上述那樣,內(nèi)部散射光的能量衰減為表面反射光的能量的1萬分之1左右。為了僅檢測內(nèi)部散射光,僅通過1脈沖的照射,光量不足。所以,在本實(shí)施方式中,使脈沖光源多次發(fā)光,與其對應(yīng)地圖像傳感器也由電子快門多次曝光,由此將檢測信號累積而使靈敏度提高。由此,才能夠以非接觸的方式檢測腦血流等的信息。
接著,同樣通過圖1及圖2的控制電路114,以約10ns脈沖寬度、約10mhz的頻率,使第1光源104如圖7a所示那樣多次發(fā)光。在本實(shí)施方式中,例如在約100μsec左右的期間中,反復(fù)照射約1000次。該照射點(diǎn)圖案形成在圖3b所示的帶圈數(shù)字2的頭部額頭上的位置。帶圈數(shù)字2的位置的間隔例如是約6cm,設(shè)定在帶圈數(shù)字1的位置的中間點(diǎn)。
在使第1光源104發(fā)光后,到內(nèi)部散射光到達(dá)時(shí)間分解圖像傳感器113為止的動作與之前的例子相同,所以省略說明。
由于第1光源104反復(fù)脈沖發(fā)光,所以電子快門也如圖7a所示那樣對應(yīng)于第1光源104的發(fā)光而動作。
此時(shí),蓄積信號電荷的圖5的浮動擴(kuò)散層404、405、406、407、408、409、410、411通過高速定時(shí)控制電路412,僅浮動擴(kuò)散層405活動,其他的浮動擴(kuò)散層被設(shè)為off。因此,將電子快門開的有效期間的信號電荷僅蓄積到浮動擴(kuò)散層405。
以下,如圖7a所示,使第1光源105、第1光源106也同樣地動作。
通過這樣,信號電荷獨(dú)立地如以下這樣被蓄積。
通過由第1光源103以帶圈數(shù)字1的照射圖案進(jìn)行脈沖發(fā)光,內(nèi)部散射光的信號電荷向浮動擴(kuò)散層404蓄積。
通過由第1光源104以帶圈數(shù)字2的照射圖案進(jìn)行脈沖發(fā)光,內(nèi)部散射光的信號電荷向浮動擴(kuò)散層405蓄積。
通過由第1光源105以帶圈數(shù)字3的照射圖案進(jìn)行脈沖發(fā)光,內(nèi)部散射光的信號電荷向浮動擴(kuò)散層406蓄積。
通過由第1光源106以帶圈數(shù)字4的照射圖案進(jìn)行脈沖發(fā)光,內(nèi)部散射光的信號電荷向浮動擴(kuò)散層407蓄積。
接著,如圖7b所示,通過接著使第2光源107、108、109、110也同樣地動作,信號電荷獨(dú)立地如以下這樣被蓄積。
通過由第2光源107以帶圈數(shù)字1的照射圖案進(jìn)行脈沖發(fā)光,內(nèi)部散射光的信號電荷向浮動擴(kuò)散層408蓄積。
通過由第2光源108以帶圈數(shù)字2的照射圖案進(jìn)行脈沖發(fā)光,內(nèi)部散射光的信號電荷向浮動擴(kuò)散層409蓄積。
通過由第2光源109以帶圈數(shù)字3的照射圖案進(jìn)行脈沖發(fā)光,內(nèi)部散射光的信號電荷向浮動擴(kuò)散層410蓄積。
通過由第2光源110以帶圈數(shù)字4的照射圖案進(jìn)行脈沖發(fā)光,內(nèi)部散射光的信號電荷向浮動擴(kuò)散層411蓄積。
將這些動作作為1組,在1幀內(nèi)反復(fù)動作多組,直到蓄積了需要的信號電荷。1組的數(shù)據(jù)的蓄積所需要的時(shí)間是約800μsec左右,是充分高速的。例如,即使將這些動作反復(fù)進(jìn)行幾十組左右的情況下,也僅需要幾十毫秒左右。
通過該反復(fù)動作,如果將1幀看作信號電荷的蓄積期間,則能夠?qū)崿F(xiàn)第1光源103、104、105、106及第2光源107、108、109、110的照射的模擬同時(shí)化。
接著,時(shí)間分解圖像傳感器113進(jìn)行將蓄積在浮動擴(kuò)散層404、405、406、407、408、409、410、411中的信號電荷讀出的動作。在讀出動作的定時(shí),第1及第2光源基本上滅掉。讀出動作的內(nèi)容如參照圖6說明的內(nèi)容。
本發(fā)明者們使用上述兩種波長的理由是因?yàn)椋谀X血流中,氧化血紅蛋白和脫氧血紅蛋白的光吸收系數(shù)以805nm為界限反轉(zhuǎn)。因此,能夠與單波長相比更高精度地檢測出氧化血紅蛋白、脫氧血紅蛋白的各自的濃度變化。
另外,到此為止說明的激光脈沖光源的兩種波長(750nm及850nm)是一例。只要在700~950nm的波段中,以805nm為邊界,選擇比其短的波長和比其長的波長就可以。
在本例中,光照射圖案以光點(diǎn)圖案的例子進(jìn)行了說明,但也可以采用環(huán)狀或線狀的圖案。例如,圖9a表示環(huán)狀的照射圖案的例子,圖9b表示線狀的照射圖案的例子。帶圈數(shù)字1至4的各照射圖案是由第1光源103、104、105、106及第2光源107、108、109、110形成的像。圖9a所示的各環(huán)的直徑例如是約6cm。此外,與連續(xù)的兩個(gè)帶圈數(shù)字對應(yīng)的兩個(gè)環(huán)的中心間隔例如是約3cm。圖9b所示的各線的間隔例如是約3cm。
接著,第1信號處理電路115使用從時(shí)間分解圖像傳感器113輸出的8張圖像的數(shù)據(jù)進(jìn)行淺部與深部的分離。8張圖像分別對應(yīng)于蓄積在浮動擴(kuò)散層404、405、406、407、408、409、410、411的各自中的、根據(jù)二波長的各照射圖案取得的信號電荷。關(guān)于分離法,已知有在特開2012-125370號公報(bào)中也記載的根據(jù)多sd(sourcedetector/送光-受光)間距離的受光數(shù)據(jù)使用聯(lián)立方程式求解的方法、使用自適應(yīng)濾光器的減法方式的方法等。
在本實(shí)施方式中,如圖10所示,通過使用分時(shí)光圖案照射和時(shí)間分解圖像傳感器,能夠使用圖像傳感器全像素和各點(diǎn)圖案的光照射點(diǎn)間的距離的組合,所以能夠取得許多sd間距離數(shù)據(jù)。
圖10表示時(shí)間分解圖像傳感器113上的點(diǎn)照射圖案與像素位置的關(guān)系。圖10的各方格狀的方塊表示相當(dāng)于被檢體的額頭表面的圖像傳感器的像素位置,帶圈數(shù)字1~4表示各激光脈沖的照射圖案位置。例如從帶圈數(shù)字1伸出的箭頭的尖部,表示入射到帶圈數(shù)字1的位置的激光脈沖作為內(nèi)部散射光成分再次出現(xiàn)在額頭表面時(shí)的位置。但是,這不過表示一例。內(nèi)部散射光成分以帶圈數(shù)字1的位置為中心可能出現(xiàn)在各種方向上。在從激光脈沖的照射位置離開的像素中,也能夠檢測到內(nèi)部散射光成分。另外,有內(nèi)部散射光成分從兩個(gè)帶圈數(shù)字1分別到達(dá)位于其之間的帶圈數(shù)字2的位置的情況。在該位置的像素的浮動擴(kuò)散層404或浮動擴(kuò)散層408中包含該兩者的內(nèi)部散射光成分的信息。另外,在圖10中沒有表示與帶圈數(shù)字2及4關(guān)聯(lián)的內(nèi)部散射光成分的箭頭,而這是為了記載的簡單化。
根據(jù)從各像素的浮動擴(kuò)散層404、405、406、407、408、409、410、411得到的信息,能夠取得起因于4個(gè)不同位置的光照射點(diǎn)圖案的內(nèi)部散射光成分的信息和相當(dāng)于(被檢體的長度/圖像傳感器像素?cái)?shù))的距離的步長下的信號。例如在水平方向具有200像素的圖像傳感器和在水平方向具有20cm的被檢體長的情況下,能夠以1mm步長取得各點(diǎn)圖案的sd間距離的信號,所以能夠提高淺部、深部的分離精度。此外,通過使用高速的時(shí)間分解圖像傳感器,能夠進(jìn)行1幀下的高速的攝像。
在第1信號處理電路115進(jìn)行750nm和850nm的各自的淺部深部的分離后,第2信號處理電路116根據(jù)2波長的深部分離圖像,使用氧化血紅蛋白及脫氧血紅蛋白的各波長的光吸收系數(shù),運(yùn)算氧化血紅蛋白及脫氧血紅蛋白的各像素中的相對變化。由此,能夠提供高速且高精度的腦功能的成像。
本實(shí)施例的時(shí)間分解圖像傳感器中每1像素具備8個(gè)浮動擴(kuò)散層。因此,在被檢體是光散射體的情況下所得到的光學(xué)析像力的空間頻率較低,所以像素?cái)?shù)即使比通常的照相機(jī)少也足夠。如果設(shè)想相同的圖像區(qū),則像素尺寸能夠設(shè)計(jì)得較大,所以合理性較高。
圖11是表示攝像裝置1001的處理的次序的流程圖。設(shè)動作的主體為控制電路114(圖1、圖2),設(shè)控制電路114向其他構(gòu)成要素輸出命令而進(jìn)行說明。另外,圖11的處理是取得1組的數(shù)據(jù)的例子。
首先,控制電路114檢測被檢者的頭部102(例如額頭)的位置及第1光源103、104、105、106或第2光源107、108、109、110與額頭之間的距離(步驟s1)。具體而言,控制電路114利用從時(shí)間分解圖像傳感器113輸出且由多個(gè)幀圖像構(gòu)成的運(yùn)動圖像,通過圖像識別取得幀圖像中的額頭的位置信息。此時(shí),時(shí)間分解圖像傳感器113只要進(jìn)行通常的攝像動作就可以,不需要向浮動擴(kuò)散層404、405、406、407、408、409、410、411依次蓄積信號電荷。
額頭的位置例如通過使用與人的額頭建立了關(guān)聯(lián)的模板的圖案匹配來確定。位置信息例如可以是表示檢測到的圖案的圖像中的中心的位置的信息等。模板預(yù)先保存在未圖示的存儲器中。圖像識別中可以廣泛地使用周知的方法,并不限定于特定的方法。此外,控制電路114基于包含表示從時(shí)間分解圖像傳感器113輸出的光的功率的相位差的信息在內(nèi)的信號,計(jì)算到被檢者的距離。
測距還可以使用tof技術(shù)進(jìn)行。例如將光的脈沖照射多次,由時(shí)間分解圖像傳感器的多個(gè)浮動擴(kuò)散層分別依次接受各反射光。也可以通過計(jì)測從脈沖發(fā)光時(shí)到反射光受光時(shí)的光的飛行時(shí)間,直接測定到頭部的距離。
控制電路114控制第1光源103、104、105、106或第2光源107、108、109、110。
當(dāng)由攝像裝置1001開始生物體信息的計(jì)測時(shí),控制電路114向第1光源103、104、105、106或第2光源107、108、109、110輸出用于發(fā)光的控制信號。此時(shí)的光的功率及射出方向被設(shè)定為預(yù)先設(shè)定的初始值??刂齐娐?14執(zhí)行初始動作,取得表示被檢部的位置及距離的初始信息。
接著,控制電路114基于初始信息,設(shè)定從光源射出的光的射出方向及功率的初始值(步驟s2)。各光源將具有與初始值對應(yīng)的功率的光向被檢者射出。通過以上的動作,不論面對攝像裝置1001的被檢者的位置如何,都能夠向與該位置對應(yīng)的適當(dāng)?shù)姆较蛞赃m當(dāng)?shù)墓β噬涑龉狻?/p>
進(jìn)而,控制電路114,作為變量而對m、n及k分別設(shè)定1?!癿”是1或2,如“第m光源”那樣表現(xiàn)而表示與光源的波長對應(yīng)的值。“n”是1以上且4以下的整數(shù),如“第1光源n”那樣表現(xiàn)而表示確定光源的值。這里,第1光源103相當(dāng)于“第1光源1”,第1光源104相當(dāng)于“第1光源2”,第1光源105相當(dāng)于“第1光源3”,第1光源106相當(dāng)于“第1光源4”,第2光源107相當(dāng)于“第2光源1”,第2光源108相當(dāng)于“第2光源2”,第2光源109相當(dāng)于“第2光源3”,第2光源110相當(dāng)于“第2光源4”。“k”是1以上且8以下的整數(shù),如“浮動擴(kuò)散層k”那樣表現(xiàn),表示確定蓄積信號電荷的浮動擴(kuò)散層的值。這里,浮動擴(kuò)散層404對應(yīng)于“浮動擴(kuò)散層1”,浮動擴(kuò)散層405對應(yīng)于“浮動擴(kuò)散層2”,浮動擴(kuò)散層406對應(yīng)于“浮動擴(kuò)散層3”,浮動擴(kuò)散層407對應(yīng)于“浮動擴(kuò)散層4”,浮動擴(kuò)散層408對應(yīng)于“浮動擴(kuò)散層5”,浮動擴(kuò)散層409對應(yīng)于“浮動擴(kuò)散層6”,浮動擴(kuò)散層410對應(yīng)于“浮動擴(kuò)散層7”,浮動擴(kuò)散層411對應(yīng)于“浮動擴(kuò)散層8”。
接著,控制電路114輸出控制信號而使第m光源n發(fā)光,向被檢者的頭部102的區(qū)域投影規(guī)定圖案的像(步驟s3)。
接著,控制電路114向高速定時(shí)控制電路412發(fā)送控制信號,在表面反射成分消失的時(shí)刻附近將電子快門設(shè)為open,將內(nèi)部散射光成分用浮動擴(kuò)散層k受光(步驟s4)。使電子快門open的期間是相當(dāng)于發(fā)光脈沖寬度的期間。
接著,控制電路114判定是否使第m光源n發(fā)光了規(guī)定次數(shù)(步驟s5)。規(guī)定次數(shù)例如是1000次。如果發(fā)光次數(shù)滿足條件,則處理向步驟s6前進(jìn)。如果不滿足,則處理向步驟s3返回,控制電路114再次進(jìn)行發(fā)光和內(nèi)部散射光成分的受光。
接著,控制電路114判定n是否是4(步驟s6)。即,控制電路114判定是否完成到第1光源4的發(fā)光為止。如果n是4,則處理向步驟s7前進(jìn)。另一方面,如果n不到4,則處理向步驟s3返回。此時(shí),將n及k增加1個(gè)。由此,能夠變更接著要發(fā)光的光源,變更在受光時(shí)動作的浮動擴(kuò)散層。
接著,控制電路114判定m是否是2(步驟s7)。即,控制電路114判定是否完成到第2光源4的發(fā)光為止。如果m是2,則處理向步驟s8前進(jìn)。另一方面,如果m不到2(即m=1),則處理向步驟s3返回。此時(shí),在m中代入2,在n中代入1,將k增加1個(gè)。由此,能夠使第2光源1發(fā)光。
接著,控制電路114生成用來將蓄積在各像素401的浮動擴(kuò)散層404、405、406、407、408、409、410、411中的信號電荷讀出的控制信號,向時(shí)間分解圖像傳感器113發(fā)送。由此,蓄積在浮動擴(kuò)散層404、405、406、407、408、409、410、411中的信號電荷分別被作為模擬信號讀出。同時(shí),控制電路114向ad變換器507命令,將讀出的模擬信號變換為數(shù)字?jǐn)?shù)據(jù),取得圖像數(shù)據(jù)(步驟s8)。
最后,控制電路114向第1信號處理電路115及第2信號處理電路116命令,將來自頭部102內(nèi)的作為淺部的頭皮血流的反射光的特征與來自作為深部的大腦皮質(zhì)的腦血流的反射光的特征分離,生成從腦血流得到的明暗信息,根據(jù)得到的明暗信息,根據(jù)氧化血紅蛋白和脫氧血紅蛋白的濃度變化運(yùn)算腦活動,得到成像數(shù)據(jù)并輸出(步驟s9)。
(實(shí)施方式2)
接著,對本申請的實(shí)施方式2進(jìn)行說明。本實(shí)施方式的攝像裝置中作為被檢體而將生物體等光散射體作為對象。具體而言,攝像裝置檢測要觀測的腦內(nèi)的氧化血紅蛋白、脫氧血紅蛋白的濃度分布和其時(shí)間變化,將上述濃度分布構(gòu)建為2d圖像。
本實(shí)施方式的目的與實(shí)施方式1的目的相同,但將淺部的頭皮血流與深部的腦血流分離的方法不同。具體而言,在本實(shí)施方式中,在同一發(fā)光圖案、同一波長下,利用不同的兩個(gè)相位的電子快門期間。通過對多sd方法加上時(shí)間分解方法,能夠更高精度地將淺部的頭皮血流和深部的腦血流分離。
以下,以有與實(shí)施方式1的差異的部分為中心進(jìn)行說明。沒有特別說明的構(gòu)成要素的構(gòu)造及/或功能與實(shí)施方式1的攝像裝置1001的結(jié)構(gòu)相同。
圖12是包括本實(shí)施方式的攝像裝置1002的攝像系統(tǒng)圖。
攝像裝置1002與實(shí)施方式1的攝像裝置1001不同的點(diǎn),是光源的數(shù)量及時(shí)間分解圖像傳感器113的動作。隨著這些差異,控制電路114的動作也不同。但是,作為硬件是相同的,所以賦予相同的名稱及標(biāo)號。以下,詳細(xì)地說明包括控制電路114的動作在內(nèi)的攝像裝置1002的動作。
攝像裝置1002具有射出波長750nm的激光脈沖光的兩個(gè)第1光源103、104、以及射出波長850nm波長的激光脈沖光的兩個(gè)第2光源107、108。各個(gè)光源以短脈沖高速地且反復(fù)地以決定的后述的圖案進(jìn)行照射。
圖13a表示本實(shí)施方式的攝像裝置1002的利用場景1200。攝像裝置1002裝入在平板終端1201中。攝像裝置1002例如在不同的時(shí)刻1及2分別放射第1及第2照射光。作為第1及第2照射光,首先從第1光源103、104放射波長750nm的光。如果該放射結(jié)束,則接著從第2光源107、108放射波長850nm的光。以使哪個(gè)照射光都向頭部102的特定的位置入射的方式該位置被預(yù)先決定。即,作為通過照射形成的像的圖案的光照射圖案被預(yù)先決定。
圖13b表示向頭部102照射的光照射圖案1102的例子。
圖13b所示的由帶圈數(shù)字1、2表示的多個(gè)位置1103、1104分別表示由從第1光源103、104及第2光源107、108放射的激光形成的光點(diǎn)圖案的位置。它們以后述的動作定時(shí)在1幀內(nèi)的分別不同的時(shí)刻被分時(shí)地照射。
在本實(shí)施方式中,光學(xué)雙帶通濾光器112的特性、時(shí)間分解圖像傳感器113的各像素的結(jié)構(gòu)及整體結(jié)構(gòu)分別如圖4~圖6記載那樣。因此,省略它們的再次的說明。
另外,在本實(shí)施方式中,也作為時(shí)間分解圖像傳感器113而舉出了cmos型的圖像傳感器的例子,但圖像傳感器除此以外也可以是ccd型,也可以是單一光子計(jì)數(shù)型元件,也可以是放大型圖像傳感器(emccd、iccd)。
以下,參照圖12的系統(tǒng)結(jié)構(gòu)圖、圖14a的時(shí)間圖、圖14b的時(shí)間圖、圖15a的時(shí)間圖及圖15b的時(shí)間圖說明本申請的實(shí)施方式2的攝像裝置的詳細(xì)動作。
在圖14a及圖14b中,信號a1、a2、a5、a6分別表示第1光源103、104,第2光源107、108的發(fā)光的定時(shí),信號b表示電子快門的open(開)、close(關(guān))的定時(shí),信號c1、c2、c3、c4、c5、c6、c7、c8分別表示浮動擴(kuò)散層404、405、406、407、408、409、410、411的on(即在浮動擴(kuò)散層中蓄積有電荷的狀態(tài))、off(即在浮動擴(kuò)散層中不蓄積電荷的狀態(tài))的定時(shí)。此外,在圖15a及圖15b中,信號a表示光源的發(fā)光的定時(shí),信號b1表示從時(shí)刻a到b之間的電子快門的open、close的定時(shí),信號b2表示從時(shí)刻c到d之間的電子快門的open、close的定時(shí),信號d表示到達(dá)了時(shí)間分解圖像傳感器113的表面反射成分的強(qiáng)度,信號e表示到達(dá)了時(shí)間分解圖像傳感器113的內(nèi)部散射光成分的強(qiáng)度,信號f表示信號d與信號e之和。
通過圖1及圖12的控制電路114,以約10ns脈沖寬度、約10mhz的頻率,使第1光源103如圖14a所示那樣多次發(fā)光。通常,例如在約100μsec左右的期間中反復(fù)照射約1000次。此時(shí),照射點(diǎn)圖案被照射在圖13b的帶圈數(shù)字1的頭部額頭上的位置。例如,帶圈數(shù)字1的位置的間隔在水平垂直上設(shè)定為約6cm,在斜方向上設(shè)定為作為該間隔的“2的平方根”倍的8.49cm。
入射到額頭上的各波長的光成分的動態(tài)及內(nèi)部散射光成分的檢測原理與實(shí)施方式1相同。內(nèi)部散射光成分的衰減的程度也相同。
以下,說明本實(shí)施方式的內(nèi)部散射光成分的檢測機(jī)理。
圖15a表示圖14a及圖14b的a-b區(qū)間的時(shí)刻的詳細(xì)情況。
如圖15a所示,通過由高速定時(shí)控制電路412(圖5)進(jìn)行的向漏極的不需要電荷的排出控制,時(shí)間分解圖像傳感器113控制為在漏極排出期間中電子快門close,在不向漏極排出的期間中電子快門open。
這里,圖15b是將圖15a的時(shí)間圖中的從時(shí)刻f到時(shí)刻ge附近放大表示的時(shí)間圖?;趤碜钥刂齐娐?14的命令,高速定時(shí)控制電路412將電子快門open的開始的時(shí)刻設(shè)定為表面反射成分剛消失后的時(shí)刻f。時(shí)刻f例如是從表面反射光成分消失起約100皮秒。進(jìn)而,高速定時(shí)控制電路412在相當(dāng)于發(fā)光脈沖寬度的期間中維持電子快門open期間,在其之后將電子快門設(shè)為close。
第1光源103反復(fù)脈沖發(fā)光,所以電子快門也如圖14a所示那樣對應(yīng)于第1光源103的發(fā)光而動作。
在第1光源103的發(fā)光期間中,通過高速定時(shí)控制電路412,只有蓄積信號電荷的圖5的浮動擴(kuò)散層404、405、406、407、408、409、410、411中的浮動擴(kuò)散層404成為活動,其他浮動擴(kuò)散層被設(shè)為off。因此,電子快門開的有效期間的信號電荷僅蓄積到浮動擴(kuò)散層404。另外,本設(shè)備設(shè)計(jì)為,在漏極排出為活動時(shí)光檢測器內(nèi)的電荷全部向漏極排出。
控制電路114在表面反射光成分從圖像傳感器結(jié)像面上消失、并且僅內(nèi)部散射光存在于圖像傳感器結(jié)像面上之后的時(shí)刻使電子快門為open,將產(chǎn)生的信號電荷向浮動擴(kuò)散層蓄積。由此,能夠高效地將表面反射光除去。
如上述那樣,當(dāng)被檢體是人的額頭且檢測腦血流等的信息時(shí),內(nèi)部中的光的衰減率非常大(1萬分之1左右)。因此,為了僅檢測內(nèi)部散射光,僅通過1脈沖的照射時(shí)光量不足。因此,通過將脈沖光源多次發(fā)光、與其對應(yīng)而圖像傳感器也由電子快門多次曝光,將檢測信號累積而使靈敏度提高,由此才能夠以非接觸的方式檢測腦血流等的信息。
接著,通過圖1及圖12的控制電路114,以約10ns脈沖寬度、約10mhz的頻率,使第1光源104如圖14a所示那樣多次發(fā)光。在本實(shí)施方式中,例如在約100μsec左右的期間中反復(fù)照射約1000次。此時(shí),照射點(diǎn)圖案形成在圖13b的帶圈數(shù)字2的頭部額頭上的位置。帶圈數(shù)字2的位置的間隔例如是約6cm,設(shè)定在帶圈數(shù)字1的位置的中間點(diǎn)。
電子快門的動作定時(shí)與圖15a所示的上述的a-b間是同樣的。
由于第1光源104反復(fù)脈沖發(fā)光,所以電子快門也如圖14a所示,對應(yīng)于第1光源104的發(fā)光而動作。
此時(shí),圖5的浮動擴(kuò)散層404、405、406、407、408、409、410、411通過高速定時(shí)控制電路412,僅浮動擴(kuò)散層405成為活動,其他浮動擴(kuò)散層被設(shè)為off。因此,電子快門開的有效期間的信號電荷僅蓄積到浮動擴(kuò)散層405。
控制電路114在表面反射光成分在圖像傳感器結(jié)像面上消失后的時(shí)刻使電子快門成為open,將產(chǎn)生的信號電荷向浮動擴(kuò)散層蓄積。由此,能夠高效地將表面反射光除去而僅檢測包含腦活動的信息的內(nèi)部散射光。另外,使第1光源104也多次發(fā)光,與此對應(yīng)地,圖像傳感器也由電子快門多次曝光,能夠?qū)z測信號累積而提高靈敏度。
接著,對第1光源104的第2次發(fā)光進(jìn)行說明。
通過圖1及圖12的控制電路114,以約10ns脈沖寬度、約10mhz的頻率使第1光源104如圖14a所示那樣多次發(fā)光。在本實(shí)施方式中,例如在約100μsec左右的期間中反復(fù)照射約1000次。此時(shí)照射點(diǎn)圖案被形成在圖13b所示的帶圈數(shù)字1的頭部額頭上的位置。
電子快門的動作定時(shí)與圖15a所示的上述的a-b間是同樣的。
如圖15a所示,通過由高速定時(shí)控制電路412(圖5)進(jìn)行的不需要電荷向漏極的排出控制,時(shí)間分解圖像傳感器113控制為在漏極排出期間中電子快門close,在不向漏極排出的期間中電子快門open。
圖15a還表示圖14a及圖14b的c-d間的詳細(xì)的定時(shí)。具體而言,基于來自控制電路114的命令,高速定時(shí)控制電路412在將表面反射成分消失后的幾納秒(ns)后的e部放大表示的時(shí)刻g,設(shè)定電子快門open的開始的時(shí)刻。時(shí)刻g例如是在表面反射成分消失后約2~3ns后的時(shí)刻。進(jìn)而,高速定時(shí)控制電路412在相當(dāng)于發(fā)光脈沖寬度的期間中維持電子快門open期間,在其之后將電子快門設(shè)為close。在該幾ns期間(f-g期間,例如3ns)中返回來的內(nèi)部散射光成分由于光路長較短,所以相比深部更多地包含淺部的信息。即,由于在比g的時(shí)刻靠后到達(dá)圖像傳感器的光成分的比率為散射光路長較長的成分,所以深部的信息的比率變高。
由于第1光源104反復(fù)脈沖發(fā)光,所以電子快門也如圖14a所示,對應(yīng)于第1光源104的發(fā)光而動作。
在第1光源104的第2次的發(fā)光期間中,通過高速定時(shí)控制電路412,只有蓄積信號電荷的圖5的浮動擴(kuò)散層404、405、406、407、408、409、410、411中的浮動擴(kuò)散層406成為活動,其他的浮動擴(kuò)散層被設(shè)為off。因此,電子快門開的有效期間的信號電荷僅蓄積到浮動擴(kuò)散層406。
在從時(shí)刻f起使電子快門為open而得到的信號電荷成分中,淺部信息相比深部信息充分多,結(jié)果,相比腦血流成分更充分多地包含頭皮血流成分。
另一方面,在從時(shí)刻g起使電子快門為open的信號電荷成分中,與從時(shí)刻f起取得的信號電荷成分相比,深部信息的比例增加,結(jié)果,腦血流成分的信息的比例增加。
本發(fā)明者們著眼于在電子快門的開及閉的時(shí)刻上述比率變化是重要的。
控制電路114在表面反射光成分從圖像傳感器結(jié)像面上消失、并且僅內(nèi)部散射光存在于圖像傳感器結(jié)像面上之后的時(shí)刻,通過將電子快門設(shè)為open、將產(chǎn)生的信號電荷向浮動擴(kuò)散層蓄積,能夠高效地將表面反射光除去。在內(nèi)部散射光中,也如上述那樣,蓄積在浮動擴(kuò)散層406中的信號電荷比蓄積在浮動擴(kuò)散層404中的信號電荷,深部的腦血流成分比率更高。
接著,對第1光源104的第2次發(fā)光進(jìn)行說明。
通過圖1及圖12的控制電路114,以約10ns脈沖寬度、約10mhz的頻率,使第1光源104如圖14a所示那樣多次發(fā)光。在本實(shí)施方式中,例如在約100μsec左右的期間中反復(fù)照射約1000次。此時(shí),照射點(diǎn)圖案被形成在圖13b所示的帶圈數(shù)字2的頭部額頭上的位置。
如圖15a所示,通過由高速定時(shí)控制電路412(圖5)進(jìn)行的不需要電荷向漏極的排出控制,時(shí)間分解圖像傳感器113控制為在漏極排出期間中電子快門close,在不向漏極排出的期間中電子快門open。
圖15a還表示圖14a及圖14b的c-d間的詳細(xì)的定時(shí)。具體而言,基于來自控制電路114的命令,高速定時(shí)控制電路412在表面反射成分消失后的幾納秒(ns)后的時(shí)刻g,設(shè)定電子快門open的開始的時(shí)刻。進(jìn)而,高速定時(shí)控制電路412在相當(dāng)于發(fā)光脈沖寬度的期間中維持快門open期間,在其之后將電子快門設(shè)為close。在該幾ns期間(f-g期間)中返回來的內(nèi)部散射光成分由于光路長較短,所以相比深部更多地包含淺部的信息。即,在比g的時(shí)刻靠后到達(dá)圖像傳感器113的光成分中,深部的信息的比率變高。
由于第1光源104反復(fù)脈沖發(fā)光,所以電子快門也如圖14a所示,對應(yīng)于第1光源104的發(fā)光而動作。
在第1光源104的第2次的發(fā)光期間中,通過高速定時(shí)控制電路412,只有蓄積信號電荷的圖5的浮動擴(kuò)散層404、405、406、407、408、409、410、411中的浮動擴(kuò)散層407成為活動,其他的浮動擴(kuò)散層被設(shè)為off。因此,電子快門開的有效期間的信號電荷僅蓄積到浮動擴(kuò)散層407。
因此,在從時(shí)刻f起使電子快門為open的信號電荷成分中,淺部信息比深部信息充分多,結(jié)果,相比腦血流成分更充分多地包含頭皮血流成分。
在從時(shí)刻g起使電子快門為open的信號電荷成分中,與從時(shí)刻f起取得的信號電荷成分相比,深部信息的比例增加,結(jié)果,腦血流成分的信息的比例增加。
控制電路114通過在表面反射光成分從圖像傳感器結(jié)像面上消失、并且僅內(nèi)部散射光存在于圖像傳感器結(jié)像面上之后的時(shí)刻將電子快門設(shè)為open、將產(chǎn)生的信號電荷向浮動擴(kuò)散層蓄積,能夠高效地將表面反射光除去。在內(nèi)部散射光中,也如上述那樣,蓄積在浮動擴(kuò)散層407中的信號電荷比蓄積在浮動擴(kuò)散層405中的信號電荷,深部的腦血流成分比率更高。
通過以上說明動作,如以下這樣獨(dú)立地蓄積信號電荷。
通過由第1光源103以帶圈數(shù)字1的照射圖案進(jìn)行脈沖發(fā)光,電子快門open的相位時(shí)刻f的信號電荷向浮動擴(kuò)散層404蓄積。
通過由第1光源104以帶圈數(shù)字2的照射圖案進(jìn)行脈沖發(fā)光,電子快門open的相位時(shí)刻f的信號電荷向浮動擴(kuò)散層405蓄積。
通過由第1光源103以帶圈數(shù)字1的照射圖案進(jìn)行脈沖發(fā)光,電子快門open的相位時(shí)刻g的信號電荷向浮動擴(kuò)散層406蓄積。
通過由第1光源104以帶圈數(shù)字2的照射圖案進(jìn)行脈沖發(fā)光,電子快門open的相位時(shí)刻g的信號電荷向浮動擴(kuò)散層407蓄積。
接著,如圖14b所示,通過接著使第2光源107、108也同樣地動作,第2光源107以帶圈數(shù)字1的照射圖案進(jìn)行脈沖發(fā)光,由此電子快門open的相位時(shí)刻f的信號電荷向浮動擴(kuò)散層408蓄積。
通過由第2光源108以帶圈數(shù)字2的照射圖案進(jìn)行脈沖發(fā)光,電子快門open的相位時(shí)刻f的信號電荷向浮動擴(kuò)散層409蓄積。
通過由第2光源107以帶圈數(shù)字1的照射圖案進(jìn)行脈沖發(fā)光,電子快門open的相位時(shí)刻g的信號電荷向浮動擴(kuò)散層410蓄積。
通過由第2光源108以帶圈數(shù)字2的照射圖案進(jìn)行脈沖發(fā)光,電子快門open的相位時(shí)刻g的信號電荷向浮動擴(kuò)散層411蓄積。
將這些動作作為1組,在1幀內(nèi)反復(fù)動作多組,直到蓄積需要的信號電荷。也可以反復(fù)幾十組左右。
在該反復(fù)動作中,如果將1幀看作信號電荷的蓄積期間,則能夠?qū)崿F(xiàn)第1光源103、104及第2光源107、108的照射的模擬同時(shí)化。
接著,將蓄積在浮動擴(kuò)散層404、405、406、407、408、409、410、411中的信號電荷與實(shí)施方式1同樣進(jìn)行從圖像傳感器輸出的讀出動作。
圖像傳感器的信號讀出與實(shí)施方式1是同樣的,所以省略說明。
在本例中,以光照射圖案為兩種點(diǎn)圖案的例子進(jìn)行了說明,但光源的照射圖案數(shù)也只要根據(jù)需要增加就可以,作為圖案形狀,也可以是環(huán)狀或線狀的圖案。
此時(shí),只要根據(jù)需要進(jìn)行增加圖像傳感器的浮動擴(kuò)散層的數(shù)量的設(shè)計(jì)就可以。
接著,第1信號處理電路115使用從時(shí)間分解圖像傳感器113輸出的8張圖像數(shù)據(jù)進(jìn)行淺部和深部的分離。8張圖像分別與蓄積在浮動擴(kuò)散層404、405、406、407、408、409、410、411的各自中的、對應(yīng)于二波長的各照射圖案而取得的信號電荷對應(yīng)。關(guān)于分離法,已知有在特開2012-125370號公報(bào)中也記載的根據(jù)多sd(sourcedetector/送光-受光)間距離的受光數(shù)據(jù)使用聯(lián)立方程式求解的方法、以及使用自適應(yīng)濾光器的減法方式的方法等。
除此以外,通過根據(jù)由電子快門open的相位時(shí)刻f、g的差異帶來的淺部深部比率的變化、加上基于正規(guī)化的差分方法以及聯(lián)立方程式,能夠使求出的解的精度、可靠度提高。
另外,如上述那樣,在相位時(shí)刻f,能較多地得到表面反射收斂后的光的成分、以及在頭部的較淺的部分內(nèi)部散射的光的成分。另一方面,在相位時(shí)刻g,相應(yīng)于從表面反射進(jìn)一步延遲而較多地檢測到散射光路長較長的光的成分。由于相對較淺的位置的信號成分的比率減小,所以淺部深部比率可能對應(yīng)于時(shí)刻而變化。
在本申請的形態(tài)中,如圖16所示,通過采用分時(shí)光圖案照射和時(shí)間分解圖像傳感器,能夠使用圖像傳感器全像素和各點(diǎn)圖案的光照射點(diǎn)間的距離的組合,所以能夠取得許多的sd間距離數(shù)據(jù)。
圖16的各方格狀的方塊表示相當(dāng)于被檢體的額頭表面的圖像傳感器的像素位置,帶圈數(shù)字1及2表示各激光脈沖的照射圖案位置。箭頭的意思與圖10相同。
能夠取得兩個(gè)不同位置的光照射點(diǎn)圖案和相當(dāng)于(被檢體的長度/圖像傳感器像素?cái)?shù))的距離的步長下的信號。例如在水平方向具有200像素的圖像傳感器和在水平方向具有20cm的被檢體長的情況下,能夠以1mm步長取得各點(diǎn)圖案的sd間距離,所以能夠提高淺部、深部的分離精度。此外,通過使用高速的時(shí)間分解圖像傳感器,能夠進(jìn)行1幀下的高速的攝像。
在第1信號處理電路115進(jìn)行750nm和850nm的各自的淺部深部的分離后,第2信號處理電路116根據(jù)2波長的深部分離圖像,使用氧化血紅蛋白及脫氧血紅蛋白的各波長的光吸收系數(shù),運(yùn)算氧化血紅蛋白及脫氧血紅蛋白的各像素中的相對變化。由此,能夠提供高速且高精度的腦功能的成像。
另外,根據(jù)計(jì)測對象,可能有上述兩種波長的光的吸收率不同的情況。所以,如果吸收率是已知的,則也可以根據(jù)該吸收率,在波長750nm的光和波長850nm的光中,變更從時(shí)刻f到時(shí)刻g的時(shí)間間隔及從時(shí)刻f到時(shí)刻i的時(shí)間間隔。
(實(shí)施方式3)
接著,對本申請的實(shí)施方式3進(jìn)行說明。與有關(guān)實(shí)施方式2的攝像裝置1002相比,有關(guān)本實(shí)施方式的攝像裝置在具備將1個(gè)發(fā)光脈沖的反射光劃分為兩個(gè)相位而光電變換的功能這一點(diǎn)上不同。作為硬件的結(jié)構(gòu)與實(shí)施方式2相同,所以在本實(shí)施方式中參照圖12。
以下,以與從實(shí)施方式2的不同點(diǎn)為中心進(jìn)行說明。
圖13a是表示本申請的形態(tài)3的光照射圖案的圖,由于與實(shí)施方式2相同,所以說明省略。
以下,參照圖17a的時(shí)間圖、圖17b的時(shí)間圖、圖1及圖12的表示整體系統(tǒng)的示意圖、圖18a的時(shí)間圖及圖18b的時(shí)間圖說明本申請的形態(tài)3的攝像裝置的詳細(xì)動作。
在圖17a及圖17b中,信號a1、a2、a5、a6分別表示第1光源103、104,第2光源107、108的發(fā)光的定時(shí),信號b表示電子快門的open、close的定時(shí),信號c1、c2、c3、c4、c5、c6、c7、c8分別表示浮動擴(kuò)散層404、405、406、407、408、409、410、411的on(即在浮動擴(kuò)散層中蓄積電荷的狀態(tài))、off(即在浮動擴(kuò)散層中不蓄積電荷的狀態(tài))的定時(shí)。此外,在圖18a及圖18b中,信號a表示光源的發(fā)光的定時(shí),信號b表示從時(shí)刻a到b之間的電子快門的open、close的定時(shí),信號c1、c3、c5、c7表示浮動擴(kuò)散層404、406、408、410的on、off的定時(shí),信號c2、c4、c6、c8表示浮動擴(kuò)散層405、407、409、411的on、off的定時(shí),信號d表示到達(dá)了時(shí)間分解圖像傳感器113的表面反射成分的強(qiáng)度,信號e表示到達(dá)了時(shí)間分解圖像傳感器113的內(nèi)部散射光成分的強(qiáng)度,信號f表示信號d與信號e之和。
通過圖1及圖12的控制電路114,以約10ns脈沖寬度、約10mhz的頻率,使第1光源103如圖17a所示多次發(fā)光。通常也可以例如在約100μsec左右的期間中反復(fù)照射約1000次。
如圖18a所示,通過由高速定時(shí)控制電路412(圖5)進(jìn)行的不需要電荷向漏極的排出控制,時(shí)間分解圖像傳感器113控制為在漏極排出期間中電子快門close,在不向漏極排出的期間中電子快門open。
這里,圖18b是將圖18a的時(shí)間圖中的從時(shí)刻f到時(shí)刻i附近放大表示的時(shí)間圖?;趤碜钥刂齐娐?14的命令,高速定時(shí)控制電路412將電子快門open的開始的時(shí)刻設(shè)定為表面反射成分消失的時(shí)刻f。進(jìn)而,高速定時(shí)控制電路412在相當(dāng)于發(fā)光脈沖寬度的期間中維持電子快門open期間,在其之后將電子快門設(shè)為close。
此時(shí),通過高速定時(shí)控制電路412,浮動擴(kuò)散層404在電子快門open時(shí)已經(jīng)是活動,在作為電子快門open的中途的圖18b的時(shí)刻i被設(shè)為off。同時(shí),通過高速定時(shí)控制電路412,在時(shí)刻i使浮動擴(kuò)散層405為活動,浮動擴(kuò)散層405繼續(xù)活動直到電子快門close的定時(shí),然后被設(shè)為off。
由于第1光源103反復(fù)脈沖發(fā)光,所以電子快門和浮動擴(kuò)散層404、405的控制也如圖17a所示,對應(yīng)于第1光源103的發(fā)光而動作。
通過高速定時(shí)控制電路412的控制,電子快門開的有效期間的前半(到時(shí)刻i為止)的信號電荷向浮動擴(kuò)散層404蓄積,電子快門開的有效期間的后半(從時(shí)刻i以后)的信號電荷向浮動擴(kuò)散層405蓄積。在此期間中,其他浮動擴(kuò)散層是off。另外,本設(shè)備設(shè)計(jì)為,在漏極排出為活動時(shí),光檢測器內(nèi)的電荷全部向漏極排出。
與實(shí)施方式2同樣,在浮動擴(kuò)散層404的信號電荷成分中,淺部信息也相比深部信息充分多,結(jié)果,相比腦血流成分更充分多地包含頭皮血流成分。
另一方面,在浮動擴(kuò)散層405的信號電荷成分中,與從時(shí)刻f起取得的信號電荷成分相比,深部信息的比例增加,結(jié)果腦血流成分的信息的比例增加。
通過將電子快門的動作定時(shí)劃分為前半后半、將信號電荷向浮動擴(kuò)散層404和浮動擴(kuò)散層405蓄積,上述比率變化。
接著,通過圖1及圖12的控制電路114,以約10ns脈沖寬度、約10mhz的頻率,使第1光源104如圖17a所示多次發(fā)光。
如圖18a所示,通過由高速定時(shí)控制電路412(圖5)進(jìn)行的不需要電荷向漏極的排出控制,時(shí)間分解圖像傳感器113控制為在漏極排出期間中電子快門close,在不向漏極排出的期間中電子快門open。
基于來自控制電路114的命令,高速定時(shí)控制電路412將電子快門open的開始的時(shí)刻設(shè)定為表面反射成分消失的時(shí)刻f。進(jìn)而,高速定時(shí)控制電路412在相當(dāng)于發(fā)光脈沖寬度的期間中維持電子快門open期間,在其之后將電子快門設(shè)為close。
通過高速定時(shí)控制電路412,浮動擴(kuò)散層406在電子快門open時(shí)已經(jīng)是活動,在作為電子快門open的中途的圖18b的時(shí)刻i被設(shè)為off。同時(shí),通過高速定時(shí)控制電路412,在時(shí)刻i使浮動擴(kuò)散層407成為活動,浮動擴(kuò)散層407繼續(xù)活動直到電子快門close的定時(shí),然后被設(shè)為off。
由于第1光源104反復(fù)脈沖發(fā)光,所以電子快門和浮動擴(kuò)散層406、407的控制也如圖17a所示,對應(yīng)于第1光源104的發(fā)光而動作。
通過高速定時(shí)控制電路412的控制,電子快門開的有效期間的前半(到時(shí)刻i為止)的信號電荷向浮動擴(kuò)散層406蓄積,電子快門開的有效期間的后半(從時(shí)刻i以后)的信號電荷向浮動擴(kuò)散層407蓄積。在此期間中,其他浮動擴(kuò)散層是off。另外,本設(shè)備設(shè)計(jì)為,在漏極排出為活動時(shí),光檢測器內(nèi)的電荷全部向漏極排出。
通過以上的動作,如以下這樣獨(dú)立地蓄積信號電荷。
通過由第1光源103以帶圈數(shù)字1的照射圖案進(jìn)行脈沖發(fā)光,到電子快門開的前半的時(shí)刻i為止的信號電荷向浮動擴(kuò)散層404蓄積,從電子快門開的后半的時(shí)刻i起的信號電荷向浮動擴(kuò)散層405蓄積。
通過由第1光源104以帶圈數(shù)字2的照射圖案進(jìn)行脈沖發(fā)光,到電子快門開的前半的時(shí)刻i為止的信號電荷向浮動擴(kuò)散層406蓄積,從電子快門開的后半的時(shí)刻i起的信號電荷向浮動擴(kuò)散層407蓄積。
接著,如圖17b所示,通過接著使850nm的激光脈沖光源1及2同樣地動作,如以下這樣獨(dú)立地蓄積信號電荷。
通過由第2光源107以帶圈數(shù)字1的照射圖案進(jìn)行脈沖發(fā)光,到電子快門開的前半的時(shí)刻i為止的信號電荷向浮動擴(kuò)散層408蓄積,從電子快門開的后半的時(shí)刻i起的信號電荷向浮動擴(kuò)散層409蓄積。
通過由第2光源108以帶圈數(shù)字2的照射圖案進(jìn)行脈沖發(fā)光,到電子快門開的前半的時(shí)刻i為止的信號電荷向浮動擴(kuò)散層410蓄積,從電子快門開的后半的時(shí)刻i起的信號電荷向浮動擴(kuò)散層411蓄積。
將這些動作作為1組,在1幀內(nèi)反復(fù)動作多組直到蓄積需要的信號電荷。也可以反復(fù)幾十組左右。
接著,使用從時(shí)間分解圖像傳感器113輸出的相當(dāng)于各個(gè)浮動擴(kuò)散層404、405、406、407、408、409、410、411的二波長的各照射圖案的8張圖像數(shù)據(jù),由第1信號處理電路115進(jìn)行淺部與深部的分離。關(guān)于分離法,基本上是與實(shí)施方式2相同的原理,所以省略說明。
與實(shí)施方式2相比,能夠以1個(gè)脈沖的發(fā)光檢測兩個(gè)相位的信號電荷,所以能夠提供更高速的攝像裝置。
(實(shí)施方式4)
接著,對本申請的實(shí)施方式4進(jìn)行說明。本實(shí)施方式的攝像裝置中作為被檢體而將生物體等光散射體作為對象。具體而言,攝像裝置檢測要觀測的腦內(nèi)的氧化血紅蛋白、脫氧血紅蛋白的濃度分布和其時(shí)間變化,將上述濃度分布構(gòu)建為2d圖像。
本實(shí)施方式的目的與實(shí)施方式1的目的相同,但在具備射出波長750nm的激光脈沖光的1個(gè)第1光源103及射出波長850nm的激光脈沖光源的1個(gè)第2光源107這一點(diǎn)上與實(shí)施方式1不同。
以下,以有與實(shí)施方式1的差異的部分為中心進(jìn)行說明。沒有特別說明的構(gòu)成要素的構(gòu)造及/或功能與實(shí)施方式1的攝像裝置1001的結(jié)構(gòu)相同。
圖19是包括本實(shí)施方式的攝像裝置1003的攝像系統(tǒng)圖。
攝像裝置1003與實(shí)施方式1的攝像裝置1001不同的點(diǎn),是光源的數(shù)量及時(shí)間分解圖像傳感器213的結(jié)構(gòu)及動作。隨著這些差異,控制電路114的動作也不同。時(shí)間分解圖像傳感器213的結(jié)構(gòu)以外作為硬件是相同的,所以賦予相同的名稱及標(biāo)號。以下,詳細(xì)地說明包括控制電路114的動作的攝像裝置1003的動作。
攝像裝置1003具有射出波長750nm的激光脈沖光的1個(gè)第1光源103、以及射出波長850nm波長的激光脈沖光的1個(gè)第2光源107。各個(gè)光源以短脈沖高速地反復(fù)以決定的后述的圖案進(jìn)行照射。
圖20a表示本實(shí)施方式的攝像裝置1003的利用場景2200。攝像裝置1003裝入在平板終端2201中。攝像裝置1003例如在不同的時(shí)刻1及2分別放射第1及第2照射光。作為第1及第2照射光,首先從第1光源103放射波長750nm的光。如果該放射結(jié)束,則接著從第2光源107放射波長850nm的光。以哪個(gè)照射光都向頭部102的特定的位置入射的方式該位置被預(yù)先設(shè)定。即,作為通過照射形成的像的圖案的光照射圖案被預(yù)先決定。
圖20b表示向頭部102照射的光照射圖案2102的例子。
在圖20b中表示的用帶圈數(shù)字1表示的多個(gè)位置2103表示由從第1光源103及第2光源107放射的激光形成的光點(diǎn)圖案的位置。第1光源103和第2光源107在后述的動作定時(shí)在1幀內(nèi)的分別不同的時(shí)刻分時(shí)地照射。在本實(shí)施方式中,由從第1光源103和第2光源107放射的激光形成的光點(diǎn)圖案的位置相同。
在本實(shí)施方式中,由于光學(xué)雙帶通濾光器112的特性是如在圖4中記載那樣,所以省略再次的說明。
圖21由于本實(shí)施方式的時(shí)間分解圖像傳感器213的各像素的結(jié)構(gòu)與實(shí)施方式1不同,所以說明這一點(diǎn)。
圖21是時(shí)間分解圖像傳感器213的1個(gè)像素301的結(jié)構(gòu)圖。1個(gè)像素301具有作為電荷排出部的漏極302、作為光電變換部的光檢測器(pd)303、作為蓄積信號電荷的蓄積部的兩個(gè)浮動擴(kuò)散層(fd)304、305和高速定時(shí)控制電路212。
光檢測器204將入射光子變換為信號電子(信號電荷)。高速定時(shí)控制電路212輸出控制信號,切換是將信號電荷向漏極302排出、還是向浮動擴(kuò)散層304、305中的某一個(gè)蓄積。向浮動擴(kuò)散層304、305中的哪一個(gè)分配依賴于后述的定時(shí)。在該定時(shí)需要的動作速度是納秒量級。為了實(shí)現(xiàn)這樣的高速動作,高速定時(shí)控制電路212例如由cmos邏輯電路形成。
在本實(shí)施方式的時(shí)間分解圖像傳感器213的結(jié)構(gòu)中,與實(shí)施方式1的時(shí)間分解圖像傳感器113不同的是在1個(gè)像素區(qū)域中包括兩個(gè)浮動擴(kuò)散層304、305這一點(diǎn)。由此,在1個(gè)像素區(qū)域中,將蓄積的電荷如通常的cmos圖像傳感器的兩個(gè)像素(1行2列或2行1列)的信號那樣處理,并從時(shí)間分解圖像傳感器213輸出。
以下,參照圖19的系統(tǒng)結(jié)構(gòu)圖說明本申請的實(shí)施方式4的攝像裝置的詳細(xì)動作。
通過圖19的控制電路114,以約10ns脈沖寬度、約10mhz的頻率,使第1光源103例如如圖7a所示多次發(fā)光。通常例如在約100μsec左右的期間中反復(fù)照射約1000次。此時(shí),照射點(diǎn)圖案被照射在圖20b的帶圈數(shù)字1的頭部額頭上的位置。例如,帶圈數(shù)字1的位置的間隔在水平垂直上被設(shè)定為約3cm,在斜方向上被設(shè)定為作為該間隔的“2的平方根”倍的4.24cm。
入射到額頭上的各波長的光成分的動態(tài)及內(nèi)部散射光成分的檢測原理與實(shí)施方式1相同。內(nèi)部散射光成分的衰減的程度也相同。
此外,關(guān)于第1光源103及第2光源107的動作,也可以使其與實(shí)施方式1、2、3的某個(gè)同樣地動作,關(guān)于與它們對應(yīng)的電子快門的open及/或close的動作、以及浮動擴(kuò)散層304、305的on及/或off動作也可以使其同樣地動作,所以省略說明。
接著,對本實(shí)施方式的信號電荷的蓄積進(jìn)行說明。
通過由第1光源103以圖20b中的帶圈數(shù)字1的照射圖案進(jìn)行脈沖發(fā)光,圖15a中的電子快門open的相位時(shí)刻f或g的信號電荷向浮動擴(kuò)散層304蓄積。
此外,通過由第2光源107以圖20b中的帶圈數(shù)字1的照射圖案進(jìn)行脈沖發(fā)光,圖15a中的電子快門open的相位時(shí)刻f或g的信號電荷向浮動擴(kuò)散層305蓄積。
此時(shí),電子快門open的相位時(shí)刻優(yōu)選的是在蓄積于浮動擴(kuò)散層304、305中的信號電荷的兩者間一致。
將這些動作作為1組,在1幀內(nèi)反復(fù)動作多組,直到蓄積需要的信號電荷。也可以反復(fù)幾十組左右。
在該反復(fù)動作中,如果將1幀看作信號電荷的蓄積期間,則能夠?qū)崿F(xiàn)第1光源103及第2光源107的照射的模擬同時(shí)化。
接著,將蓄積在浮動擴(kuò)散層304、305中的信號電荷與實(shí)施方式1同樣進(jìn)行從圖像傳感器輸出的讀出動作。
由于圖像傳感器的信號讀出與實(shí)施方式1是同樣的,所以省略說明。
在本例中,以光照射圖案為1種點(diǎn)圖案的例子進(jìn)行了說明,但光源的照射圖案數(shù)也只要根據(jù)需要而增加就可以,作為圖案形狀也可以是環(huán)狀或線狀的圖案。
此時(shí),只要根據(jù)需要進(jìn)行增加圖像傳感器的浮動擴(kuò)散層的數(shù)量的設(shè)計(jì)就可以。
接著,第1信號處理電路115使用從時(shí)間分解圖像傳感器213輸出的兩張圖像數(shù)據(jù)進(jìn)行淺部和深部的分離。兩張圖像分別對應(yīng)于蓄積在浮動擴(kuò)散層304、305的各自中的、根據(jù)二波長的照射圖案取得的信號電荷。關(guān)于分離法,已知有在特開2012-125370號公報(bào)中也記載的根據(jù)多sd(sourcedetector/送光-受光)間距離的受光數(shù)據(jù)使用聯(lián)立方程式求解的方法、以及使用自適應(yīng)濾光器的減法方式的方法等。
另外,如上述那樣,在相位時(shí)刻f,較多地得到表面反射收斂之后的光的成分、以及在頭部的較淺的部分處內(nèi)部散射的光的成分。另一方面,在相位時(shí)刻g,相應(yīng)于從表面反射進(jìn)一步延遲而更多地檢測到散射光路長較長的光的成分。由于相對較淺的位置的信號成分的比率減小,所以對應(yīng)于時(shí)刻而淺部深部比率可能變化。
在第1信號處理電路115進(jìn)行750nm和850nm的各自的淺部深部的分離后,第2信號處理電路116根據(jù)2波長的深部分離圖像,使用氧化血紅蛋白及脫氧血紅蛋白的各波長的光吸收系數(shù)運(yùn)算氧化血紅蛋白及脫氧血紅蛋白的各像素中的相對變化。由此,能夠提供高速且高精度的腦功能的成像。
以上,說明了本申請的例示性的各實(shí)施方式。
根據(jù)上述各實(shí)施方式,在攝像裝置中,設(shè)有按每個(gè)像素具有蓄積獨(dú)立的信號電荷的蓄積部即浮動擴(kuò)散層的圖像傳感器。該圖像傳感器具有電子快門功能。一邊使脈沖光源的照射光圖案在1幀內(nèi)分時(shí)地使位置變化一邊發(fā)光,每當(dāng)各脈沖光照射時(shí)將各個(gè)照射圖案的信號以同相位的高速電子快門功能反復(fù)向蓄積部蓄積。結(jié)果,能夠高精度地進(jìn)行被檢體的淺部和深部的運(yùn)算分離,例如在以往是困難的頭部深部的腦血流成像時(shí),能夠?qū)⒂深^皮血流帶來的偽差高速且高精度地去除。
在上述實(shí)施方式中,說明了利用兩種波長的光源的例子。但是,使用1種波長的光源進(jìn)行攝像的攝像裝置也能夠應(yīng)用本申請。
進(jìn)而,在實(shí)施方式的說明中,舉出了設(shè)有8個(gè)浮動擴(kuò)散層的時(shí)間分解圖像傳感器113,但這也是一例。浮動擴(kuò)散層的數(shù)量只要至少設(shè)置兩個(gè)就可以。只要能夠在1幀內(nèi)關(guān)于多個(gè)照射圖案分別在各脈沖光照射時(shí)將信號電荷以高速快門功能反復(fù)蓄積,浮動擴(kuò)散層的數(shù)量也可以是兩個(gè),也可以是3個(gè)以上。
另外,在以上的實(shí)施方式中,表示了將有關(guān)本申請的一技術(shù)方案的攝像裝置用于生物體計(jì)測的例子,但并不限定于此。也可以將有關(guān)本申請的一技術(shù)方案的攝像裝置例如用在采摘機(jī)器人等中。進(jìn)而,例如也可以用在材料分析裝置及食品分析裝置等中。
此外,在以上的實(shí)施方式中,表示了從1個(gè)光源射出的光照射圖案是1種的例子,但并不限定于此。也可以通過將從1個(gè)光源射出的光照射圖案切換而能夠從1個(gè)光源射出多個(gè)光照射圖案。