增強(qiáng)圖像分辨率的成像系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及利用多個(gè)彩色圖像傳感器和多個(gè)多自由度致動(dòng)器來(lái)增強(qiáng)彩色圖像分辨率的成像系統(tǒng)。特別地，本發(fā)明涉及進(jìn)一步利用光束分裂和圖像配準(zhǔn)來(lái)實(shí)現(xiàn)圖像分辨率增強(qiáng)的成像系統(tǒng)。
【背景技術(shù)】
[0002]通過(guò)成像系統(tǒng)來(lái)增強(qiáng)彩色圖像分辨率的技術(shù)分為四種類型。
[0003]第一種類型涉及到固態(tài)CXD (CXD，電荷耦合元件)、或者CMOS (CMOS，互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器、或者固態(tài)感光傳感器的發(fā)展，固態(tài)感光傳感器包括由多個(gè)光電檢測(cè)器組成的CFA(CFA，色彩濾鏡陣列)，也被稱為有源像素傳感器，在有源像素傳感器的平面上設(shè)置有感光像素陣列。圖像傳感器平面上的光電檢測(cè)器越多，圖像傳感器的圖像分辨率越高。為了增強(qiáng)相機(jī)的圖像分辨率，可以致力于發(fā)展具有許多光電檢測(cè)器的圖像傳感器，并將此種圖像傳感器應(yīng)用于相機(jī)。此種方法的優(yōu)點(diǎn)在于對(duì)相機(jī)的改變極小。此種方法的缺點(diǎn)在于隨著相機(jī)規(guī)模不斷擴(kuò)大，即使不是以指數(shù)方式，硅的收率也是急劇衰變。盡管大家都知道可以通過(guò)降低每個(gè)光電檢測(cè)器及其相關(guān)集成電路的尺寸的方式來(lái)增加圖像傳感器上光電檢測(cè)器的數(shù)量，但此種方式導(dǎo)致電路板上不同元件的間隔很短，從而導(dǎo)致不期望的電氣串?dāng)_及由于高密度產(chǎn)生的低良率，因此需要較高的制造成本。
[0004]第二種類型為通過(guò)移動(dòng)圖像傳感器來(lái)增強(qiáng)彩色圖像的分辨率。這種技術(shù)被稱為“像素移動(dòng)”。這種方法為在圖像傳感器的像素尺寸內(nèi)移動(dòng)圖像傳感器。對(duì)于彩色圖像傳感器來(lái)說(shuō)，這種技術(shù)增強(qiáng)了顯色性，降低了混疊過(guò)濾的需求，因此改善了合成圖像的質(zhì)量?，F(xiàn)有的利用“像素移動(dòng)”技術(shù)的相機(jī)產(chǎn)品都宣稱相機(jī)產(chǎn)品的圖像分辨率至少翻倍，例如，當(dāng)使用像素?cái)?shù)量為N*M(其中N，M>0)的圖像傳感器時(shí)，合成圖像的分辨率至少為2N*2M個(gè)像素，是原始分辨率的四倍。盡管這種方法可以改善輸出圖像的色彩及混疊，實(shí)際的細(xì)節(jié)及對(duì)比并不接近于在像素移動(dòng)方法中使用四倍于原始圖像分辨率的圖像傳感器的質(zhì)量。并且，由于重復(fù)移動(dòng)及圖像傳感器的曝光時(shí)間，這種像素移動(dòng)方法會(huì)對(duì)相機(jī)的合成幀率產(chǎn)生影響。US5402171、US6678000、US5781236、US6753906 及 US6888563 有揭露這方面的技術(shù)。US8072502有揭露像素移動(dòng)技術(shù)的延伸。為了能覆蓋較大場(chǎng)景，這種方法為在圖像傳感器的像素陣列尺寸內(nèi)移動(dòng)圖像傳感器，而不是在圖像傳感器的像素尺寸內(nèi)移動(dòng)圖像傳感器。這種方法對(duì)相機(jī)的影響在于移動(dòng)圖像傳感器的時(shí)間降低了相機(jī)輸出的幀率。并且，這種方法不適用于拍攝移動(dòng)的物體。
[0005]第三種類型為相對(duì)相機(jī)的圖像傳感器移動(dòng)相機(jī)鏡頭的位置，或者利用多個(gè)鏡頭和多個(gè)圖像傳感器拍攝同一場(chǎng)景的不同部分。每一張拍攝的圖像代表物體的一部分，然后將所有的圖像合成產(chǎn)生合成圖像。這種技術(shù)的不同形態(tài)在US7123292、US7184091及CN102821238A 中有揭露。
[0006]第四種類型為分裂光束，并且利用多個(gè)彩色圖像傳感器來(lái)捕獲所得的多個(gè)分束。這種單一鏡頭成像系統(tǒng)將入射光分裂，在多個(gè)彩色圖像傳感器上產(chǎn)生多個(gè)圖像。在一個(gè)實(shí)例中，捕獲的圖像是同一場(chǎng)景的圖像，但焦距與深度是不同的。然后將所有捕獲的圖像合成以產(chǎn)生高分辨率圖像。通常，其中一張圖像被選為第一張圖像，其他圖像銜接第一張圖像來(lái)形成一張高分辨率的圖像。這種技術(shù)利用的圖像傳感器可以為CFA傳感器、全色傳感器(也被稱為亮度傳感器)。利用這種技術(shù)，為了達(dá)到成像系統(tǒng)的延伸的動(dòng)態(tài)范圍，在設(shè)置時(shí)多個(gè)圖像傳感器的動(dòng)態(tài)范圍可能不同。US8619368、US5159455、US20080030611及US4323925有揭露這種技術(shù)。
[0007]盡管上面已經(jīng)描述了四種類型的技術(shù)，仍有必要提供一種改進(jìn)的技術(shù)，以增強(qiáng)圖像分辨率。

【發(fā)明內(nèi)容】

[0008]本發(fā)明一方面在于提供一種利用像素至像素配準(zhǔn)的成像系統(tǒng)，以增強(qiáng)彩色圖像的分辨率。本發(fā)明的成像系統(tǒng)包括相機(jī)鏡頭，用于收集入射光束以輸出成像光束。本發(fā)明的系統(tǒng)包括多個(gè)分束器，每一分束器包括用于將光束分裂成兩束或多束的光學(xué)元件，其中一個(gè)分束器用于接收成像光束。本發(fā)明的系統(tǒng)還包括多個(gè)彩色圖像傳感器，每一彩色圖像傳感器用于從其中一分束器接收分裂光束，其中，彩色圖像傳感器各自用不同的焦距感應(yīng)同一場(chǎng)景，以產(chǎn)生多張捕獲的圖像。彩色傳感器的設(shè)置使得捕獲的圖像間可存在或不存在重疊。除此之外，本發(fā)明的系統(tǒng)還包括多個(gè)多自由度致動(dòng)器。每一致動(dòng)器連接單一彩色圖像傳感器，并且相對(duì)傳送分裂光束至單一彩色圖像傳感器的分束器平移和旋轉(zhuǎn)單一彩色圖像傳感器。本發(fā)明的系統(tǒng)還包括計(jì)算單元，計(jì)算單元包括一個(gè)或多個(gè)處理器和一個(gè)或多個(gè)存儲(chǔ)單元。計(jì)算單元被配置成:計(jì)算彩色圖像傳感器捕獲的圖像之間的幾何變換以配置多自由度致動(dòng)器，使得通過(guò)相對(duì)分束器平移和旋轉(zhuǎn)彩色圖像傳感器的方式對(duì)齊彩色圖像傳感器；以及對(duì)捕獲的圖像進(jìn)行亮度統(tǒng)一以輸出合成圖像。經(jīng)過(guò)對(duì)齊和亮度統(tǒng)一的合成圖像為場(chǎng)景的具有像素至像素配準(zhǔn)的高分辨率圖像。合成圖像的分辨率最好大于任何捕獲的圖像的分辨率。
[0009]每一彩色圖像傳感器可以為CMOS圖像傳感器、感光陣列或者具有色彩濾鏡陣列的電荷耦合元件。每一彩色圖像傳感器可以為沒(méi)有曲率半徑的平面?zhèn)鞲衅?，或者為有曲率半徑的弧形傳感器?br>[0010]多自由度致動(dòng)器可在三維正交空間內(nèi)平移任何一個(gè)彩色圖像傳感器?？蛇x的和有利的，多自由度致動(dòng)器被配置成以小于彩色圖像傳感器的像素尺寸的移動(dòng)精度平移及/或旋轉(zhuǎn)彩色圖像傳感器。在一種選擇中，多自由度致動(dòng)器被配置成使得彩色圖像傳感器的對(duì)齊能實(shí)現(xiàn)連續(xù)和非連續(xù)的拜耳模板。致動(dòng)器可被配置成使得兩個(gè)或多個(gè)彩色圖像傳感器以相同的像素配準(zhǔn)對(duì)齊以及不在同一時(shí)間捕獲圖像，以實(shí)現(xiàn)高速成像及/或高動(dòng)態(tài)范圍成像。多自由度致動(dòng)器也可被配置為調(diào)整相機(jī)鏡頭至每一彩色圖像傳感器的移動(dòng)距離，因此捕獲的圖像同時(shí)都具有可選擇的聚焦深度。
[0011]計(jì)算單元被進(jìn)一步配置成具有以下一個(gè)或多個(gè)配置:在輸出合成圖像前執(zhí)行圖像裁剪；輸出高分辨率圖像，高分辨率圖像由捕獲的圖像組成，在拜耳模板中具有像素至像素匹配；利用來(lái)自彩色圖像傳感器的原始數(shù)據(jù)計(jì)算幾何變換以驅(qū)動(dòng)多自由度致動(dòng)器；以及在計(jì)算幾何變換時(shí)不利用經(jīng)過(guò)顏色插值的捕獲的圖像。計(jì)算單元可進(jìn)一步包括一個(gè)或多個(gè)現(xiàn)場(chǎng)可編程門(mén)陣列、特定用途集成電路芯片和復(fù)雜可編程邏輯器件。
[0012]在一實(shí)施例中，單一彩色圖像傳感器包括設(shè)置在單一圖像傳感器的平面上的感光陣列，所述平面平行于傳送分裂光束至單一彩色圖像傳感器的分束器的一面。單一彩色圖像傳感器在所述平面上是可旋轉(zhuǎn)的。
[0013]在另一選擇中，分束器相對(duì)彼此固定。
[0014]本發(fā)明的其他方面通過(guò)以下描述的實(shí)施例進(jìn)行揭露。
【附圖說(shuō)明】
[0015]本發(fā)明的特征及優(yōu)點(diǎn)通過(guò)以下結(jié)合附圖進(jìn)行的詳細(xì)描述來(lái)體現(xiàn)，附圖包括:
[0016]圖1為本發(fā)明一種實(shí)施例中利用多個(gè)彩色圖像傳感器及多個(gè)多自由度致動(dòng)器的成像方法的圖示；
[0017]圖2為本發(fā)明一種實(shí)施例中利用多個(gè)彩色圖像傳感器及多個(gè)多自由度致動(dòng)器的成像方法的系統(tǒng)方框圖；
[0018]圖3為本發(fā)明一種實(shí)施例中利用多個(gè)圖像傳感器及多個(gè)位置致動(dòng)器的成像方法的流程圖；
[0019]圖4為本發(fā)明一種實(shí)施例中利用SMO(SMO，單入多出)纖維光錐的成像方法的圖示;
[0020]圖5為本發(fā)明一種實(shí)施例中利用SMO纖維光錐的成像方法的系統(tǒng)方框圖；
[0021]圖6為本發(fā)明一種實(shí)施例中利用SMO纖維光錐的成像方法的流程圖；<