Tdi-cmos圖像傳感器fpn校正方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理領(lǐng)域,尤其涉及對(duì)TDI-CM0S(時(shí)間延遲積分型互補(bǔ)金屬氧化 物半導(dǎo)體)圖像傳感器所拍攝圖片中的FPN(固定模式噪聲)進(jìn)行處理。
【背景技術(shù)】
[0002] 在基于模擬域累加實(shí)現(xiàn)的TDI-CM0S圖像傳感器中。由于模擬累加器電路中存在寄 生電阻和電容,電路失配會(huì)導(dǎo)致輸出圖像在TDI(時(shí)間延遲積分)掃描方向(8卩"沿軌"方向) 亮度不均勻,且呈周期性衰減,突出表現(xiàn)為周期性橫條紋,該現(xiàn)象稱為行FPN(RFPN,行固定 模式噪聲)。而傳感器列并行讀出電路(模擬累加器和ADC(模數(shù)轉(zhuǎn)換器)等)的系統(tǒng)結(jié)構(gòu)由于 工藝偏差很容易出現(xiàn)列與列之間的失配,從而導(dǎo)致輸出圖像在與TDI掃描方向垂直的方向 (即"跨軌"方向)亮度不均勻,表現(xiàn)為明暗變化的豎條紋,該現(xiàn)象稱為列FPN(CFPN,列行固定 模式噪聲)。在TDI-CM0S圖像傳感器的輸出圖像中,由行FPN導(dǎo)致的橫條紋和由列FPN導(dǎo)致的 豎條紋同時(shí)存在且交織在一起,如圖2,嚴(yán)重影響了圖像質(zhì)量,且增加了 FPN校正的難度。
[0003] TDI-CM0S圖像傳感器的行FPN是由其模擬累加器特定的電路結(jié)構(gòu)引起的,是一種 特殊的FPN。而且,對(duì)于已經(jīng)制造完成的TDI-CM0S圖像傳感器芯片,其FPN只能通過圖像的后 處理來校正。目前,現(xiàn)有的去除圖像中條紋噪聲的技術(shù)有很多,但這些技術(shù)都只適用于特定 的圖像傳感器或數(shù)據(jù)類型,如紅外成像、高光譜成像/多光譜成像、中分辨率成像光譜儀等; 而且這些技術(shù)只能處理水平或豎直單個(gè)方向上的條紋,無法有效消除TDI-CM0S圖像傳感器 輸出圖像中交織在一起的橫條紋和豎條紋。
【發(fā)明內(nèi)容】
[0004] 為克服現(xiàn)有技術(shù)的不足,實(shí)現(xiàn)通用性的去除圖像中條紋噪聲,尤其實(shí)現(xiàn)有效消除 TDI-CM0S圖像傳感器輸出圖像中交織在一起的橫條紋和豎條紋。本發(fā)明采用的技術(shù)方案 是,TD I-CM0S圖像傳感器FPN校正方法,假設(shè)FPN和隨機(jī)噪聲都是加性噪聲,而且兩者不相 關(guān),對(duì)于給定的已制造完成的TDI-CM0S圖像傳感器芯片,假設(shè)其FPN對(duì)應(yīng)的灰度值在相同工 作環(huán)境下是相等的,隨機(jī)噪聲服從均值為零的高斯分布;
[0005] TD I -CMOS圖像傳感器的像素陣列大小是Μ X N,即Μ行N列,將行序號(hào)和列序號(hào)分別 記為i和j,假設(shè)不同像素的光響應(yīng)是不相關(guān)的,則輸出圖像中像素(i,j)的灰度值y(i,j)可 以表示為式(1):
[0006] y(i,j)=x(i,j)-a(i)+b(j)+r(i,j) l<i<L,l<j<N (1)
[0007] 其中,L是圖像在沿軌方向上的尺寸,x(ij)是像素(ij)的理想灰度值,a(i)是第 i行像素對(duì)應(yīng)的RFPN灰度值,b( j)是第j列像素對(duì)應(yīng)CFPN灰度值,而r(i,j)是除FPN外的所有 噪聲對(duì)應(yīng)的灰度值,根據(jù)TDI工作原理,a( i)滿足式(2)。
[0008] a(i)=a(i+T) (2)
[0009] T=M_TDI+1(3)
[0010] 其中,M_TDI為TDI累加級(jí)數(shù);首先需要采集樣本圖像數(shù)據(jù),然后依次對(duì)RFPN和CFPN 進(jìn)行估計(jì)和校正,最后采用補(bǔ)償方法,將估算得到的RFPN與CFPN值帶入到式(1),即有效得 到理想的像素信息。
[0011 ]采集樣本圖像數(shù)據(jù)具體步驟是,假定TDI-CMOS圖像傳感器的分辨率為8-bi t,在相 同的測(cè)試環(huán)境下采集K幅平均灰度值大約是127,即半飽和的均勻光圖像,記為Υ^Υ^ - ,Υκ, 將這K幅圖像用作估計(jì)FPN灰度值的樣本數(shù)據(jù),對(duì)于任一幅圖像Yk,式(1)表示為式(4):
[0012] Yk(i, j)=Xk(i, j)-a(i)+b(j)+rk(i, j) 1 <k<K (4)
[0013] Yk(i,j)為像素(i,j)圖像,樣本圖像采集過程中,選取半飽和灰度值的依據(jù)是 "EMVAStandard 1288" 標(biāo)準(zhǔn)。
[0014] RFPN 消除
[0015]圖像Yk的行均值向量定義為Uk,第i行像素的平均灰度值定義為Uk(i),首先檢測(cè)所 有樣本圖像中沿軌方向第一條橫紋的位置,并將該操作稱為"首行檢測(cè)":
[0016]圖像Yk的行均值向量中相鄰兩個(gè)元素的比值定義為Dk(i),如式(5)所示。
[0018] 因此,Uk曲線中跳變所在的位置通過Dk(i)的閾值檢測(cè)得到,即每個(gè)變化周期的最 后一行的行序號(hào)可以通過檢測(cè)得到,將第一個(gè)變化周期的最后一行的行序號(hào)記為S k,在圖 像Yk中,從第(Sk+Ι)行開始截取t個(gè)周期構(gòu)造一副新的圖像Yc,k,將Yc,k的尺寸定義為UXN, 由式(2-1)可知,L c滿足式(2-6):
[0019] Lc = tXT = tX(M+l) (6)
[0020] 對(duì)收集到的所有K幅樣本圖像重復(fù)進(jìn)行上述操作,共可以構(gòu)造 K幅新的圖像,記為 Yc, i,Yc, 2,…,Yc,κ,此時(shí),K幅新圖像中所有對(duì)應(yīng)的橫條紋都處于相同的位置,將圖像Yc,k的行 均值向量定義為Uc,k,則所有新圖像¥。, 1乂,2,-_乂,1(的總行均值向量說可以表示為式(7):
[0022] 基于UC估計(jì)第i行像素對(duì)應(yīng)的RFPN灰度值a(i),l < i <Lc,a(i)表達(dá)式如式(8),
[0023] a(i) =round(Uc( 1 )~Uc(i)) 2<i<M+l (8)
[0024] 根據(jù)式(1),通過像素原始灰度值加上對(duì)應(yīng)行的RFPN灰度值的估計(jì)值來校正RFPN, 考慮到8-bit圖像的灰度值范圍是(0-255),還需要對(duì)校正過程進(jìn)行一些約束,如式(9)所 不。
[0026]其中,z(i,j)是像素(i,j)校正RFPN后的灰度值;
[0027]根據(jù)式(1)和式(9),像素(i,j)校正RFPN后的灰度值z(mì)(i,j)表示為式(10):
[0028] z(i,j)=x(i,j)+b(j)+r(i,j) l<i<L,l<j<N (10)。
[0029] CFPN 消除
[0030] 對(duì)所有樣本圖像Yi,Y2,…,Yk進(jìn)行RFPN校正后得到K幅新的圖像,記為Zi,Z 2,…,Ζκ。 Zk(1 < k < K)的列均值向量定義為Vk,則所有K幅新圖像的總列均值向量V可以表示為式 (11):
[0032] 總列均值向量V通過多次采樣取平均計(jì)算得到,消除了隨機(jī)噪聲的影響,因此可以 基于V估計(jì)第j列像素對(duì)應(yīng)的CFPN灰度值b( j)(l < j < N),
[0033] 為了基于向量V估計(jì)CFPN灰度值b(j),首先構(gòu)造一個(gè)曲線近似平滑的理想列均值 向量Vc,則向量V減去向量Vc得到的差即為估計(jì)的CFPN向量;
[0034] 向量Vc可以通過向量V中幾個(gè)相鄰元素取平均的方式構(gòu)造,即使用最近鄰均值濾 波器(Nearest Neighbor Averaging Filter,NNAF)進(jìn)行構(gòu)造,帶有參數(shù)的NNAF,如式(12) 所示,來構(gòu)造向量Vc:
[0036]其中,W是變量,Vw是使用設(shè)計(jì)的NNAF構(gòu)造的列均值向量,而Vw(j)是第j列像素的平 均灰度值;
[0037]基于W估計(jì)的CFPN向量定義為%,而第j列像素的平均灰度值定義為Bw(j),則向量 Bw可以通過式(13)計(jì)算得到:
[0038] Bw=f loor(V-Vw) (13)
[0039] 向量Bw中所有元素的平均值定義為Bm,w,而Bm,w的絕對(duì)值定義為Βμα,ι,如式(14)和式 (15)所示:
[0041] Bma,w= | Bm,w| (15)
[0042] 當(dāng)N足夠大時(shí),CFPN向量中的元素服從均值為零的高斯分布,因此,估計(jì)得到的 CFPN向量中所有元素的平均灰度值應(yīng)該為零或近似為零,則對(duì)應(yīng)Βμα,ι值最小的Bw向量是對(duì) CFPN向量的最佳估計(jì),將最佳估計(jì)向量Bw記為Bs,因此可得式16:
[0043] b(i)=Bs (16)。
[0044] 本發(fā)明的特點(diǎn)及有益效果是:
[0045]本發(fā)明依據(jù)TDI-CM0S圖像傳感器FPN產(chǎn)生原因,采用灰度值補(bǔ)償方法,有效地消除 了 TDI -CMOS圖像傳感器特有的行FPN和列FPN