專利名稱：：飛行時(shí)間成像器的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及利用飛行時(shí)間測(cè)量法產(chǎn)生深度圖的改善方案，更具體地，涉及具有改善的精確度的飛行時(shí)間成像器和飛行時(shí)間成像方法。
背景技術(shù)：
：對(duì)于3D視頻內(nèi)容的產(chǎn)生，除了通常的視頻數(shù)據(jù)之外，測(cè)量位于正被捕獲的場(chǎng)景中的物體的距離是重要的。為此目的，確定了所謂的深度圖。通常飛行時(shí)間成像器用于此目的，也就是在飛行時(shí)間原理的幫助下建立距離數(shù)據(jù)的測(cè)量系統(tǒng)。飛行時(shí)間成像器包括光源和光傳感器，該光傳感器由像素陣列構(gòu)成。為了測(cè)量深度圖，光源用脈沖觸發(fā)，傳感器的所有像素用轉(zhuǎn)移柵極(TG)脈沖和全局快門柵極(GSG)脈沖同時(shí)地觸發(fā)。具體見K.Fife等白勺"A0.5μmpixelframe-transferCCDimagesensorinIlOnmCMOS(在IlOnmCMOS中的0.5μπι像素幀轉(zhuǎn)移CCD圖像傳感器)”，2007IEEEInternationalElectronDevicesMeeting,Vol.35(2007)，pp.1003-1006。此外，W02009/135952公開了飛行時(shí)間測(cè)量的方法和傳感器。該傳感器適于在可變的背景輻射條件下實(shí)現(xiàn)有效的背景輻射抑制。不僅背景輻射降低深度圖測(cè)量的精確度。為了獲得準(zhǔn)確的深度圖，光源、轉(zhuǎn)移柵極脈沖和全局快門柵極脈沖之間的時(shí)間關(guān)系恒定也是重要的。
發(fā)明內(nèi)容因而，本發(fā)明的目的是提供深度圖的飛行時(shí)間產(chǎn)生的方案，其實(shí)現(xiàn)了改善的精確度。根據(jù)本發(fā)明，該目的通過(guò)用于測(cè)量物體的深度圖的飛行時(shí)間成像器來(lái)實(shí)現(xiàn)，該飛行時(shí)間成像器具有光源，用于照射物體；傳感器，具有用于檢測(cè)被物體反射的光的像素陣列以獲得測(cè)量的深度圖，其中飛行時(shí)間成像器適于(adaptedto)將深度校正輪廓施加到測(cè)量的深度圖。類似地，一種用飛行時(shí)間成像器測(cè)量物體的深度圖的方法具有以下步驟-用光源發(fā)射的光照射物體；-用具有像素陣列的傳感器檢測(cè)被物體反射的光以獲得測(cè)量的深度圖；以及-施加深度校正輪廓到所測(cè)量的深度圖。盡管光源、轉(zhuǎn)移柵極脈沖和全局快門柵極脈沖之間的時(shí)間關(guān)系的微小控制，特別對(duì)于具有大量像素的傳感器，所測(cè)量的深度圖不令人滿意。已經(jīng)發(fā)現(xiàn)，這是由飛行時(shí)間成像器的傳感器引起，也就是由到傳感器的不同像素的不同電路長(zhǎng)度引起。轉(zhuǎn)移柵極脈沖和全局快門柵極脈沖沿相同的路徑傳輸。因此在這些脈沖之間沒(méi)有顯著的偏差(shift)。然而，這些脈沖關(guān)于光源觸發(fā)脈沖的時(shí)間關(guān)系在整個(gè)傳感器的像素陣列上不同，也就是脈沖受到在整個(gè)像素陣列上的傳播延遲。對(duì)傳播延遲的另一個(gè)貢獻(xiàn)來(lái)源于傳感器的水平和垂直驅(qū)動(dòng)器。精確的傳播延遲取決于像素在像素陣列內(nèi)的位置，但能夠容易地在10至20ns的范圍內(nèi)。在下文，此效應(yīng)被稱作“陰影(shading)”。由于光以3X109m/s的速度傳播，所以Im的距離使光延遲3.3ns。為了用飛行時(shí)間成像器測(cè)量此距離，光必須傳播回到成像器，因此Im的距離導(dǎo)致6.6ns的延遲。因此，在成像器上20ns的傳播延遲差異導(dǎo)致:的錯(cuò)誤。顯然，在成像器上的脈沖的傳播延遲對(duì)測(cè)量的精確度有很大的影響。隨著成像器的尺寸變得更大，傳播延遲的問(wèn)題增大。用于解決該問(wèn)題的直接選擇是優(yōu)化傳感器的水平和垂直驅(qū)動(dòng)器用于較高的速度和較低的傳播延遲。然而，這增加了傳感器以及由此飛行時(shí)間成像器的成本。此外，即使優(yōu)化驅(qū)動(dòng)器，仍會(huì)保留殘留延遲。根據(jù)本發(fā)明的方法通過(guò)用深度校正輪廓來(lái)校正深度圖中由傳播延遲引起的誤差而解決了傳播延遲的問(wèn)題。該方法具有以下優(yōu)點(diǎn)，其在保證產(chǎn)生具有改善精確度的深度圖的同時(shí)能夠以低成本實(shí)現(xiàn)。此外，通過(guò)使得深度校正輪廓可調(diào)節(jié)，可以應(yīng)對(duì)由傳感器的老化或環(huán)境變化引起的影響。有利地，深度校正輪廓是兩個(gè)η階多項(xiàng)式的疊加。這兩個(gè)多項(xiàng)式中的第一個(gè)將傳感器的行數(shù)作為輸入值，而這兩個(gè)多項(xiàng)式中的第二個(gè)將傳感器的行的像素?cái)?shù)作為輸入值。優(yōu)選地，使用兩個(gè)二階多項(xiàng)式，因?yàn)檫@在傳感器的行方向和列方向上通常是足夠的。兩個(gè)多項(xiàng)式的疊加導(dǎo)致3D深度校正輪廓，其從所測(cè)量的深度圖被減去以獲得校正的深度圖。當(dāng)然，對(duì)于兩個(gè)多項(xiàng)式可以使用不同的階。優(yōu)選地，深度校正輪廓從存儲(chǔ)器例如從查閱表(look-uptable)取回。這具有僅需要相當(dāng)有限量的處理能力的優(yōu)點(diǎn)。可選地，深度校正輪廓基于多項(xiàng)式對(duì)飛行進(jìn)行計(jì)算。在此情形下，多項(xiàng)式的系數(shù)有利地從存儲(chǔ)器取回。盡管后面的方案需要更多的處理能力，但減少了所需的存儲(chǔ)器的量。為了應(yīng)對(duì)環(huán)境的變化，例如溫度或濕度的變化，針對(duì)不同環(huán)境條件的深度校正輪廓有利地在存儲(chǔ)器中可獲得。在此情形下，飛行時(shí)間成像器包括相應(yīng)的傳感器，例如溫度傳感器和濕度傳感器，以選擇合適的深度校正輪廓。優(yōu)選地，深度校正輪廓通過(guò)測(cè)量已知物體的深度圖并將測(cè)量的深度圖與期望的深度圖比較而確定。更具體地，為了確定深度校正輪廓，進(jìn)行以下步驟-用光源發(fā)射的光來(lái)照射一平坦表面，該平坦表面平行于飛行時(shí)間成像器的傳感器并處于距離飛行時(shí)間成像器已知距離的位置；-用傳感器檢測(cè)被平坦表面反射的光以獲得測(cè)量的深度圖；以及-從測(cè)量的深度圖確定深度校正輪廓。有利地，深度校正輪廓通過(guò)以下步驟從測(cè)量的深度圖確定-對(duì)傳感器的行進(jìn)行行平均；-將η階多項(xiàng)式擬合到平均的行值以確定兩個(gè)多項(xiàng)式中的第一個(gè)；-從測(cè)量的深度圖減去平均的行值；-對(duì)傳感器的列進(jìn)行列平均；以及-將η階多項(xiàng)式擬合到平均的列值以確定兩個(gè)多項(xiàng)式中的第二個(gè)。這里，深度校正輪廓以簡(jiǎn)單的方式確定?？蛇x地，深度校正輪廓通過(guò)從測(cè)量的深度圖減去已知物體的期望深度圖來(lái)獲得。為此目的，有利地確定多次測(cè)試的平均。在此情形下，不需要將任何函數(shù)擬合到深度校正輪廓。然而，深度校正輪廓將不那么平滑，因?yàn)樵诖饲樾蜗掠蓽y(cè)量公差引起的噪聲對(duì)最終的深度校正輪廓具有更大的影響。此外，替代從良好定義的物體(也就是，平坦表面)測(cè)量的深度圖確定深度校正輪廓，同樣可以直接測(cè)量或至少大致計(jì)算在傳感器的像素的陣列內(nèi)的轉(zhuǎn)移柵極脈沖和全局快門柵極脈沖的傳播延遲。確定的延遲然后被轉(zhuǎn)換成深度值。為了更好的理解，在以下的描述中將參照附圖更詳細(xì)地解釋本發(fā)明。應(yīng)理解，本發(fā)明不限于此示范性實(shí)施例，指定的特征也可以被方便地結(jié)合和/或修改，而不背離本發(fā)明的由權(quán)利要求書所限定的范圍。在附圖中圖1示出根據(jù)本發(fā)明的飛行時(shí)間成像器的原理；圖2繪出通過(guò)常規(guī)飛行時(shí)間成像器獲得的平坦表面的深度圖；圖3解釋了在飛行時(shí)間成像器的傳感器中的傳播延遲的起源；圖4示出用2階多項(xiàng)式擬合到垂直陰影；圖5示出用2階多項(xiàng)式擬合到水平陰影；圖6繪出通過(guò)結(jié)合圖4和圖5的2階多項(xiàng)式獲得的深度校正圖；圖7繪出在用圖6的深度校正圖校正之后圖3的深度圖；圖8示出以不同深度布置的四個(gè)物體的示范性場(chǎng)景；圖9示出用常規(guī)飛行時(shí)間成像器獲得的圖8的場(chǎng)景的深度圖；圖10繪出在用圖6的深度校正圖校正之后圖9的深度圖；以及圖11示出將圖10的被校正的深度圖中的深度放大。具體實(shí)施例方式圖1示出根據(jù)本發(fā)明的飛行時(shí)間成像器6的原理。飛行時(shí)間成像器6包括光源2、透鏡4、傳感器5和處理電路7。物體1位于距飛行時(shí)間成像器6的距離d為75cm的位置處，物體1由光源2(例如4X4的紅外LED陣列)照射。物體1具有面對(duì)傳感器5的像素陣列的平坦表面。被此平坦表面反射的光3被透鏡4收集并在傳感器5的像素陣列上成像。這使得可以測(cè)量物體1的深度圖。處理電路7能夠處理所測(cè)量的深度圖。物體1的由飛行時(shí)間成像器6測(cè)量的深度圖在圖2中示出?；叶戎当硎緶y(cè)量的深度(單位為cm)。它們對(duì)于傳感器5的像素在χ方向和y方向繪制。盡管物體1的平坦表面具有離傳感器5平面的75cm的固定距離d，但是所得的深度圖顯然是不平的。相反，它示出在右下角處隨著減小y像素和減小χ像素而從期望值增大的距離。圖2的不平坦深度圖的解釋是在傳感器5的像素陣列內(nèi)的傳播延遲，如以下將參照?qǐng)D3解釋的。傳感器5包括多個(gè)像素51，其布置成行和列。轉(zhuǎn)移柵極脈沖TG和全局快門柵極脈沖GSG需要從輸入端行進(jìn)到各個(gè)像素51?？梢钥吹剑瑢?duì)于不同的像素51，脈沖不得不經(jīng)過(guò)的距離不同。這導(dǎo)致在水平方向上增大的傳播延遲Ath以及在垂直方向上增大的傳播延遲Atv，也就是已經(jīng)說(shuō)過(guò)的陰影。已經(jīng)發(fā)現(xiàn)，2階多項(xiàng)式允許模擬(approximate)陰影效應(yīng)。圖4繪出了以cm為單位的垂直陰影的量的測(cè)量值隨行數(shù)的變化以及擬合到測(cè)量值的2階多項(xiàng)式。垂直陰影的量通過(guò)行平均得到。5類似地，如能夠從圖5看到，水平陰影效應(yīng)也能夠由2階多項(xiàng)式模擬。水平陰影的量通過(guò)從原始的圖像減去行平均圖像然后進(jìn)行列平均而得到。所獲得的分別用于水平陰影和垂直陰影的兩個(gè)2階多項(xiàng)式的組合產(chǎn)生如圖6所示的3D多項(xiàng)式校正圖像。該校正圖像隨后被電路7使用以校正由傳感器5獲得的任何深度圖。例如，圖7繪出了在用圖6的深度校正圖校正之后的圖3的深度圖。校正通過(guò)從由飛行時(shí)間成像器6測(cè)量的深度圖減去校正圖像而進(jìn)行?？梢?，被校正的深度圖在整個(gè)傳感器區(qū)域上示出期望的距離。在以下，對(duì)于示范性的場(chǎng)景，校正圖像將應(yīng)用于由飛行時(shí)間成像器6測(cè)量的深度圖。該場(chǎng)景在圖8中示出。四個(gè)物體11、12、13和14布置為距離飛行時(shí)間成像器6不同的距離，也就是45Cm、75Cm、105Cm和135cm。通過(guò)飛行時(shí)間成像器6獲得的該場(chǎng)景的初始深度圖在圖9中示出。由于陰影效應(yīng)，對(duì)于不同的物體11、12、13和14所測(cè)量的距離也不是恒定的。然而，在減去校正圖像之后，獲得了圖10的被校正的深度圖。對(duì)此被校正深度圖的放大在圖11中繪出，示出僅從Ocm到140cm的減小的深度范圍?？梢?，不同物體11、12、13和14的距離實(shí)質(zhì)上是恒定的并擬合到期望的距離。權(quán)利要求1.一種用于測(cè)量物體(1、11、12、13、14)的深度圖的飛行時(shí)間成像器(6)，具有光源(2)和傳感器(5)，該光源(2)用于照射該物體(1、11、12、13、14)，該傳感器(5)具有像素陣列(51)并用于檢測(cè)被該物體(1、11、12、13、14)反射的光(3)以獲得測(cè)量的深度圖，該飛行時(shí)間成像器(6)的特征在于，該飛行時(shí)間成像器(6)適于將深度校正輪廓施加到該測(cè)量的深度圖。2.根據(jù)權(quán)利要求1所述的飛行時(shí)間成像器(6)，其中該深度校正輪廓是兩個(gè)η階多項(xiàng)式的疊加。3.根據(jù)權(quán)利要求2所述的飛行時(shí)間成像器(6)，其中該兩個(gè)η階多項(xiàng)式中的第一個(gè)將該傳感器(5)的行數(shù)作為輸入值，該兩個(gè)η階多項(xiàng)式中的第二個(gè)將該傳感器(5)的行的像素?cái)?shù)作為輸入值。4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的飛行時(shí)間成像器(6)，其中該深度校正輪廓基于飛行來(lái)計(jì)算或者從查閱表提取。5.一種用飛行時(shí)間成像器(6)測(cè)量物體(1、11、12、13、14)的深度圖的方法，具有以下步驟用光源(2)發(fā)射的光照射該物體(1、11、12、13、14)；以及用具有像素陣列(51)的傳感器(5)檢測(cè)被該物體(1、11、12、13、14)反射的光(3)以獲得測(cè)量的深度圖；該方法的特征在于，還包括以下步驟施加深度校正輪廓到該測(cè)量的深度圖。6.根據(jù)權(quán)利要求5所述的方法，其中該深度校正輪廓是兩個(gè)η階多項(xiàng)式的疊加。7.根據(jù)權(quán)利要求6所述的方法，其中該兩個(gè)η階多項(xiàng)式中的第一個(gè)將該傳感器(5)的行數(shù)作為輸入值，該兩個(gè)η階多項(xiàng)式中的第二個(gè)將傳感器(5)的行的像素?cái)?shù)作為輸入值。8.根據(jù)權(quán)利要求5至7中任一項(xiàng)所述的方法，其中該深度校正輪廓基于飛行來(lái)計(jì)算或者從查閱表提取。9.一種確定用于飛行時(shí)間成像器(6)的深度校正輪廓的方法，具有以下步驟用光源(發(fā)射的光來(lái)照射一平坦表面，該平坦表面平行于該飛行時(shí)間成像器(6)的傳感器(5)的像素陣列(51)并處于距離該飛行時(shí)間成像器(6)已知距離的位置處；用傳感器(5)檢測(cè)被該平坦表面反射的光(3)以獲得測(cè)量的深度圖；該方法的特征在于，還包括以下步驟從該測(cè)量的深度圖確定該深度校正輪廓。10.根據(jù)權(quán)利要求9所述的方法，其中該深度校正輪廓是兩個(gè)η階多項(xiàng)式的疊加。11.根據(jù)權(quán)利要求10所述的方法，具有以下步驟對(duì)該傳感器(5)的行進(jìn)行行平均；將η階多項(xiàng)式擬合到平均的行值以確定兩個(gè)多項(xiàng)式中的第一個(gè)；從該測(cè)量的深度圖減去該平均的行值；對(duì)該傳感器(5)的列進(jìn)行列平均；以及將η階多項(xiàng)式擬合到平均的列值以確定該兩個(gè)多項(xiàng)式中的第二個(gè)。12.根據(jù)權(quán)利要求9至11中任一項(xiàng)所述的方法，還具有步驟將該深度校正輪廓存儲(chǔ)在查閱表中。全文摘要本發(fā)明提供了一種飛行時(shí)間成像器。本發(fā)明涉及一種利用飛行時(shí)間測(cè)量法產(chǎn)生深度圖的改善方案，更具體地，涉及具有改善的精確度的飛行時(shí)間成像器(6)和飛行時(shí)間成像方法。根據(jù)本發(fā)明，深度校正輪廓施加到測(cè)量的深度圖，其考慮了在飛行時(shí)間成像器(6)的傳感器(5)的像素陣列(51)內(nèi)的傳播延遲。文檔編號(hào)G01S17/08GK102346250SQ20111015346公開日2012年2月8日申請(qǐng)日期2011年6月9日優(yōu)先權(quán)日2010年6月9日發(fā)明者尼古拉斯.J.達(dá)姆斯特拉,彼得勒斯.G.M.森滕,朱爾.范登海杰坎特,杰羅恩.羅特申請(qǐng)人:湯姆森特許公司