專利名稱：圖像傳感器的多分量讀出的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電子圖像捕捉系統(tǒng)，并且更具體地說(shuō)，涉及一種具有圖像傳感器的系
統(tǒng)，該圖像傳感器具有彩色像素和全色像素兩者，并且該系統(tǒng)使用圖像傳感器的多分量讀出。
背景技術(shù)：
電子成像系統(tǒng)依靠電子圖像傳感器來(lái)創(chuàng)建可視圖像的電子表示。這樣的電子圖像傳感器的例子包括電荷耦合器件(CCD)圖像傳感器和有源像素傳感器(APS)器件。APS器件，因?yàn)樵诨パa(bǔ)金屬氧化物半導(dǎo)體工藝中制造它們的能力，常常被稱作CMOS傳感器。典型地，這些圖像傳感器包括按規(guī)則兩維模式或行和列的陣列排列的多個(gè)光敏像素(就是說(shuō)，像元)，其中每個(gè)單獨(dú)像素基于由透鏡投射到像素上的場(chǎng)景圖像的部分的亮度級(jí)來(lái)提供信號(hào)。 由于尺寸和需要的緊湊性的原因，這樣的圖像傳感器通常包括比將它們的信號(hào)數(shù)字化的模數(shù)轉(zhuǎn)換器(ADC)多得多的像素。為了節(jié)省空間，通常的做法是，僅提供足以同時(shí)讀出單行像素的存儲(chǔ)器件。因此，像素信號(hào)不能同時(shí)被測(cè)量或讀出，而是必須按串行方式等待輪到它們。例如，在具有單個(gè)ADC的CCD中，以光柵方式在行內(nèi)逐像素地然后在像素陣列內(nèi)逐行地，讀出像素信號(hào)。圖像傳感器讀出的串行性質(zhì)將整個(gè)傳感器可被讀取的速率直接控制為讀出機(jī)構(gòu)的帶寬。如果圖像傳感器的讀出機(jī)構(gòu)每秒可測(cè)量50兆像素，那么它讀出5兆像素的圖像傳感器必須用十分之一秒。減少讀取整個(gè)圖像傳感器需要的時(shí)間一般要求增大功率消耗以便更快地讀出，或者為了附加的讀出通道而增大圖像傳感器的尺寸。增大的功率消耗和增大的尺寸都不是希望的。 因?yàn)樗龣C(jī)械元件并且降低成本和空間要求，所以通常的做法是，建造沒有遮光快門的圖像捕捉系統(tǒng)。這樣的系統(tǒng)代之以依靠電子快門，該電子快門通過(guò)復(fù)位每個(gè)光電傳感器、積累光電子以及然后讀出光電傳感器信號(hào)而工作。復(fù)位步驟可通過(guò)將殘余電荷從光電二極管轉(zhuǎn)移到關(guān)聯(lián)的浮動(dòng)擴(kuò)散電路并且然后丟棄殘余電荷而完成。光電子然后開始在光電二極管中積累達(dá)規(guī)定的積累時(shí)間，在那時(shí)，電荷被轉(zhuǎn)移到浮動(dòng)擴(kuò)散中，并且在CMOS器件中被轉(zhuǎn)換成電壓。關(guān)聯(lián)電壓然后被存儲(chǔ)在諸如電容器之類的存儲(chǔ)器件中。
如果傳感器具有用于浮動(dòng)擴(kuò)散的足夠低的暗電流和足夠良好的光屏蔽，那么所轉(zhuǎn)移的光電子不必立即讀出。在這些條件下，人們可將來(lái)自所有像素的電荷一起轉(zhuǎn)移到它們相應(yīng)的浮動(dòng)擴(kuò)散中，并且然后等待短時(shí)間，如滾動(dòng)讀出逐行處理信號(hào)那樣。當(dāng)然，為了使這樣的全局轉(zhuǎn)移起作用，每個(gè)像素也需要具有其自己的光屏蔽浮動(dòng)擴(kuò)散。 可替換的圖像傳感器讀出布置(特別是由APS圖像傳感器提供的)允許圖像傳感器的曝光和讀出跨圖像傳感器的行逐行地逐漸發(fā)生。這種"滾動(dòng)快門"序列避免了通過(guò)對(duì)于每一行進(jìn)行相同時(shí)間長(zhǎng)度的曝光而使CCD的交錯(cuò)域表現(xiàn)出的差別曝光問題。
作為另外的優(yōu)點(diǎn)，滾動(dòng)快門序列簡(jiǎn)化傳感器元件設(shè)計(jì)，因?yàn)椴皇菍?duì)于每個(gè)像素都要求屏蔽的存儲(chǔ)。然而，由于用于每行的曝光獨(dú)立于其它行的曝光，并且與其它行的曝光按順序(或滾動(dòng))的方式發(fā)生，所以每行在稍微不同的時(shí)間捕捉場(chǎng)景圖像的該行的部分。
因此，場(chǎng)景(或場(chǎng)景的元素)與圖像傳感器之間的相對(duì)運(yùn)動(dòng)使場(chǎng)景內(nèi)的被攝體在由圖像傳感器捕捉的圖像中出現(xiàn)失真。被命名為圖像"錯(cuò)切(shear)"的這種效果是滾動(dòng)快門布置的特性。例如，如果使用這樣一種所謂的滾動(dòng)快門或電子焦平面快門圖像傳感器來(lái)捕捉水平運(yùn)動(dòng)的汽車的圖像，則當(dāng)所捕捉的圖像的每行被曝光和讀出時(shí)汽車相對(duì)于圖像傳感器運(yùn)動(dòng)，所以所捕捉的圖像的每一行示出在不同位置處的汽車。這可使汽車的圓形輪胎看起來(lái)像橢圓，并且汽車的矩形車窗顯得像平行四邊形。這種失真是讀出圖像傳感器的所有行需要的時(shí)間量的直接后果。如果可以較快的速率讀取行，那么可減小這種失真。然而，如以前提到的那樣，增大讀出速率一般要求增加圖像傳感器的成本和功率消耗。
對(duì)于硅基圖像傳感器，像素本身對(duì)于可見光廣泛地敏感，從而允許未過(guò)濾的像素適于捕捉單色圖像。為了捕捉彩色圖像，典型地將濾光片的二維模式制作在像素的模式上，其中不同濾光片材料用于使各個(gè)像素僅對(duì)于可見光譜的一部分敏感。這樣的濾光片模式的例子是熟知的Bayer彩色濾光片陣列(CFA)模式，如在美國(guó)專利3971065中描述的那樣。盡管Bayer CFA具有在典型條件下得到全色彩圖像的優(yōu)點(diǎn)，然而，這種解決方案已被發(fā)現(xiàn)具有其缺陷。提供窄帶光譜響應(yīng)的過(guò)濾趨向于減小到達(dá)每個(gè)像素的光量，由此降低每個(gè)像素的光靈敏度，并且降低像素響應(yīng)速度。 作為用于改進(jìn)在變化的光條件下的圖像捕捉和用于改進(jìn)圖像傳感器的整體靈敏度的解決方案，已經(jīng)公開了對(duì)于熟悉Bayer模式的修改。例如，Hamilton等的、題為"Capturing Images Under Varying LightingConditions，，的共同轉(zhuǎn)讓的美國(guó)專利申請(qǐng)公開No. 2007/0046807禾口 Compton等的、題為"Image Sensor with Improved LightSensitivity"的公開No. 2007/0024931都描述了將彩色濾光片與全色濾光片元件相組合、按某種方式交錯(cuò)的可替換傳感器布置。利用這種類型的解決方案，圖像傳感器的某部分檢測(cè)彩色；其它全色部分優(yōu)化成檢測(cè)跨過(guò)可見帶的光，以得到改進(jìn)的動(dòng)態(tài)范圍和靈敏度。這些解決方案因而提供像素的模式，某些像素具有彩色濾光片(提供窄帶光譜響應(yīng))而某些像素沒有彩色濾光片(未過(guò)濾像素或過(guò)濾成提供寬帶光譜響應(yīng)的像素)。
使用窄和寬光譜帶像素響應(yīng)的組合，圖像傳感器可用在較低的亮度級(jí)下，或者提供較短的曝光時(shí)間。見Sato等的美國(guó)專利4， 390， 895、Yamagami等的美國(guó)專利5， 323， 233及Gindele等的美國(guó)專利6， 476， 865。 即使采用窄帶和寬帶彩色濾光片的圖像傳感器可提供改進(jìn)的光靈敏度或照相感光速度，某些問題和限制也繼續(xù)存在。用于數(shù)字靜態(tài)照相機(jī)中的行間CCD通常在讀出期間采用機(jī)械遮光快門，以避免在場(chǎng)景的明亮區(qū)域中的電荷激增，或者提供交錯(cuò)的垂直CCD。因此，在捕捉圖像序列時(shí)，必須考慮快門打開和關(guān)閉時(shí)間，從而必定限制曝光時(shí)間和系列圖像捕捉速率。就CM0S APS器件而論，即使在讀取速度增大到超過(guò)傳統(tǒng)的定時(shí)方法的場(chǎng)合，滾動(dòng)快門偽影也出現(xiàn)。 因而，可看出，存在對(duì)于改進(jìn)的讀出方法的需要，該改進(jìn)的讀出方法產(chǎn)生更快的像素響應(yīng)時(shí)間，并因而降低運(yùn)動(dòng)相關(guān)的像差，而不犧牲整體顏色感測(cè)性能。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供有一種用于從圖像傳感器陣列獲得圖像數(shù)據(jù)的方法，該方法包
5括步驟提供圖像傳感器陣列，該圖像傳感器陣列具有用于積累電荷的全色像素的第一分量子集和用于積累電荷的彩色像素的第二分量子集；在曝光彩色像素的第二分量子集的同時(shí)，從全色像素的第一分量子集讀取像素電荷以產(chǎn)生像素信號(hào)，并且數(shù)字化和存儲(chǔ)第一分量子集信號(hào)；以及從彩色像素的第二分量子集讀取像素電荷以產(chǎn)生像素信號(hào)，并且數(shù)字化和存儲(chǔ)第二分量子集信號(hào)，其中所述彩色像素被曝光達(dá)從全色像素的第一分量子集讀取像素信號(hào)期間的時(shí)間中的至少一部分時(shí)間。 根據(jù)本發(fā)明的圖像捕捉系統(tǒng)特別適于捕捉靜態(tài)和視頻圖像的圖像捕捉器件。本發(fā)明具有廣泛應(yīng)用，并且多種類型的圖像捕捉器件可有效地使用這些圖像捕捉系統(tǒng)。
通過(guò)對(duì)優(yōu)選實(shí)施例的如下詳細(xì)描述和所附權(quán)利要求書的瀏覽和通過(guò)參考附圖，將更清楚地理解和認(rèn)識(shí)本發(fā)明的這些和其它方面、目的、特征及優(yōu)點(diǎn)。


圖1是傳統(tǒng)數(shù)字靜態(tài)照相機(jī)系統(tǒng)的框圖，該傳統(tǒng)數(shù)字靜態(tài)照相機(jī)系統(tǒng)可采用傳統(tǒng)的傳感器和處理方法或當(dāng)前發(fā)明的傳感器和處理方法； 圖2 (現(xiàn)有技術(shù))是傳統(tǒng)的Bayer彩色濾光片陣列模式，示出最小的重復(fù)單元和非最小的重復(fù)單元； 圖3A和3B(現(xiàn)有技術(shù))示出在各種光條件下用于滾動(dòng)快門操作的時(shí)序 圖4提供于紅色、綠色及藍(lán)色像素的代表性光譜量子效率曲線以及較寬光譜全色量子效率，所有都乘以紅外截止濾光器的透射特性； 圖5是示出其中使用彩色像素和全色像素這兩者的像素布置的多個(gè)模式的平面圖； 圖6是示出形成像素陣列的分區(qū)的分量的例子的平面圖； 圖7是示出一個(gè)實(shí)施例中的用于全色和彩色像素的滾動(dòng)快門操作的時(shí)序圖； 圖8是示出其中四個(gè)分量形成另一個(gè)像素陣列的分區(qū)的例子的平面圖； 圖9是示出用于讀取與圖8所示的那些相對(duì)應(yīng)的四個(gè)分量的滾動(dòng)快門操作的時(shí)序
圖； 圖IO是示出用于讀取四個(gè)分量的滾動(dòng)快門操作的時(shí)序圖，其中彩色像素被給予延長(zhǎng)的曝光時(shí)間； 圖11是示出用于讀取四個(gè)分量的滾動(dòng)快門操作的時(shí)序圖，其中彩色像素被給予延長(zhǎng)的曝光時(shí)間并且全色像素被給予兩個(gè)不同的較短曝光時(shí)間； 圖12(現(xiàn)有技術(shù))是示出如傳統(tǒng)地使用圖像傳感器所實(shí)現(xiàn)的那樣的全局捕捉的時(shí)序圖； 圖13是示出使用四個(gè)分量利用同時(shí)的曝光和讀取操作的全局捕捉操作的時(shí)序圖； 圖14是示出具有共享或共用電荷存儲(chǔ)元件的像素布置的平面圖； 圖15A示出使用共享或共用存儲(chǔ)元件來(lái)讀出全色分量的讀出布置； 圖15B示出使用共享或共用存儲(chǔ)元件用于從配對(duì)合并(binnedpairwise)的彩色
像素讀出具有電荷的彩色分量的讀出布置； 圖15C示出使用共享或共用存儲(chǔ)元件來(lái)讀出交替的全色分量的讀出布置；
6
圖15D示出使用共享或共用存儲(chǔ)元件來(lái)從配對(duì)合并的全色像素讀出具有電荷的全色分量的讀出布置； 圖15E示出使用共享或共用存儲(chǔ)元件來(lái)讀出像素陣列的讀出布置，其中全色和彩色像素一起被合并； 圖16是示出用于讀取三個(gè)分量的滾動(dòng)快門操作的時(shí)序圖，其中分量之一包括合并像素；以及 圖17是示出用于讀取兩個(gè)分量的滾動(dòng)快門操作的時(shí)序圖，其中這兩個(gè)分量都包括合并像素。
具體實(shí)施例方式
因?yàn)椴捎贸上衿骷陀糜谛盘?hào)捕捉和校正以及用于曝光控制的相關(guān)電路的數(shù)字照相機(jī)是熟知的，所以本說(shuō)明書將具體地針對(duì)形成根據(jù)本發(fā)明的方法和設(shè)備的一部分、或更直接地與其相互協(xié)作的元件。這里未明確示出或描述的元件從本領(lǐng)域中已知的那些元件中選擇。要描述的實(shí)施例的某些方面以軟件的方式提供。在如下材料中假設(shè)給定如根據(jù)本發(fā)明所示和所描述的系統(tǒng)，這里未具體示出、描述或建議的、對(duì)于本發(fā)明的實(shí)現(xiàn)有用的軟件是傳統(tǒng)的并且在這樣的領(lǐng)域的普通技術(shù)的范圍內(nèi)。 在本公開的上下文中，術(shù)語(yǔ)"分區(qū)(partition)"具有數(shù)學(xué)集合理論中所使用的意思。集合S的分區(qū)是不相交的適當(dāng)?shù)姆强兆蛹募?，這些子集的并集是完整的集合S?？捎^察到，這種定義在含義上與該術(shù)語(yǔ)的非正式使用有些不同。然而，由數(shù)學(xué)集合理論賦予的定義特別適于用于定義如何使用本發(fā)明的方法和設(shè)備組織陣列中的像素，如以后更詳細(xì)地描述的那樣。 術(shù)語(yǔ)"子集"，當(dāng)沒有其它修改時(shí)，這里其被用于指代非空子集，并且對(duì)于集合S，其可以組成完整的集合S。然而，集合S的"適當(dāng)子集"嚴(yán)格地包含在集合S中，并且排除集合S的至少一個(gè)成員。如果兩個(gè)子集的交集是空集，那么它們不相交，也就是說(shuō)，它們沒有共用元素。 現(xiàn)在轉(zhuǎn)到圖1 ，示出了圖像捕捉器件的框圖，該圖像捕捉器件被示出為體現(xiàn)本發(fā)明的數(shù)字照相機(jī)。盡管現(xiàn)在將解釋數(shù)字照相機(jī)，但清楚的是，本發(fā)明可適用于其它類型的圖像捕捉器件，諸如包括在例如移動(dòng)電話和機(jī)動(dòng)車之類的非照相機(jī)器件中的成像子系統(tǒng)。來(lái)自物體場(chǎng)景的光IO輸入到成像級(jí)ll，在該處光被透鏡12聚焦以在固態(tài)圖像傳感器20上形成圖像。圖像傳感器20通過(guò)對(duì)于每個(gè)像元(像素)積累電荷而將入射光轉(zhuǎn)換成電信號(hào)。優(yōu)選實(shí)施例的圖像傳感器20是電荷耦合器件(CCD)型或有源像素傳感器(APS)型。(APS器件因?yàn)樵诨パa(bǔ)金屬氧化物半導(dǎo)體工藝中制造它們的能力而常常被稱作CMOS傳感器)。傳感器包括彩色濾光片的布置，如以后更詳細(xì)地描述的那樣。 到達(dá)傳感器20的光量由光圈塊14和中性密度(ND)濾光塊13調(diào)節(jié)，該光圈塊14改變孔徑，該中性密度(ND)濾光塊13包括插入在光路中的一個(gè)或多個(gè)ND濾光片。也調(diào)節(jié)整體亮度級(jí)的是快門塊18打開的時(shí)間。曝光控制器塊40響應(yīng)由亮度傳感器塊16所測(cè)量的、在場(chǎng)景中可得到的光量，并且控制所有這三種調(diào)節(jié)功能。 來(lái)自圖像傳感器20的模擬信號(hào)由模擬信號(hào)處理器22處理，并且被施加到用于數(shù)字化傳感器信號(hào)的模數(shù)(A/D)轉(zhuǎn)換器24。定時(shí)發(fā)生器26產(chǎn)生各種時(shí)鐘信號(hào)以選擇行和像素，并且使模擬信號(hào)處理器22和A/D轉(zhuǎn)換器24的操作同步。圖像傳感器級(jí)28包括圖像傳感器20、模擬信號(hào)處理器22、 A/D轉(zhuǎn)換器24及定時(shí)發(fā)生器26。圖像傳感器級(jí)28的功能元件是分別制造的集成電路，或者它們被制造成單個(gè)集成電路，如關(guān)于CMOS圖像傳感器通常進(jìn)行的那樣。將所得到的、來(lái)自A/D轉(zhuǎn)換器24的數(shù)字像素值的流存儲(chǔ)在與數(shù)字信號(hào)處理器(DSP) 36相關(guān)聯(lián)的存儲(chǔ)器32中。 在這個(gè)實(shí)施例中，除系統(tǒng)控制器50和曝光控制器40之外，數(shù)字信號(hào)處理器36是三個(gè)處理器或控制器中的一個(gè)。盡管在多個(gè)控制器和處理器中照相機(jī)功能控制的這種分布是典型的，但這些控制器或處理器以各種方式組合，而不影響照相機(jī)的功能操作和本發(fā)明的應(yīng)用。這些控制器或處理器可包括一個(gè)或多個(gè)數(shù)字信號(hào)處理器器件、微控制器、可編程邏輯器件或其它數(shù)字邏輯電路。盡管已經(jīng)描述了這樣的控制器或處理器的組合，但應(yīng)該清楚的是， 一個(gè)控制器或處理器可設(shè)計(jì)成執(zhí)行所需要的所有功能。所有這些變形例可執(zhí)行相同的功能，并且落在本發(fā)明的范圍內(nèi)，并且在需要時(shí)將使用術(shù)語(yǔ)"處理級(jí)"來(lái)將全部這種功能性包含在一個(gè)詞語(yǔ)內(nèi)，例如，包含在圖1中的處理級(jí)38中。 在所示出的實(shí)施例中，DSP 36根據(jù)軟件程序處理其存儲(chǔ)器32中的數(shù)字圖像數(shù)據(jù)，該軟件程序永久地存儲(chǔ)在程序存儲(chǔ)器54中，并且被復(fù)制到存儲(chǔ)器32以便在圖像捕捉期間執(zhí)行。DSP 36執(zhí)行實(shí)踐圖18中所示的圖像處理所需的軟件。存儲(chǔ)器32包括任何類型的隨機(jī)存取存儲(chǔ)器，諸如SDRAM。包括用于地址和數(shù)據(jù)信號(hào)的通路的總線30將DSP 36連接到其相關(guān)的存儲(chǔ)器32、 A/D轉(zhuǎn)換器24及其它相關(guān)器件上。 系統(tǒng)控制器50基于存儲(chǔ)在程序存儲(chǔ)器54中的軟件程序控制照相機(jī)的整體操作，該程序存儲(chǔ)器54可包括閃速EEPROM或其它非易失性存儲(chǔ)器。該存儲(chǔ)器也可用于存儲(chǔ)圖像傳感器校準(zhǔn)數(shù)據(jù)、用戶設(shè)置選擇及當(dāng)照相機(jī)被關(guān)閉時(shí)必須保存的其它數(shù)據(jù)。如以前描述的那樣，系統(tǒng)控制器50通過(guò)以下操作來(lái)控制圖像捕捉序列，即通過(guò)引導(dǎo)曝光控制器40操作透鏡12、ND濾光片13、光圈14及快門18 ;引導(dǎo)定時(shí)發(fā)生器26操作圖像傳感器20和相關(guān)聯(lián)的元件；及引導(dǎo)DSP 36處理所捕捉的圖像數(shù)據(jù)。在圖像被捕捉和處理之后，存儲(chǔ)在存儲(chǔ)器32中的最終圖像文件經(jīng)接口 57傳送到主計(jì)算機(jī)，被存儲(chǔ)在可移除存儲(chǔ)卡64或其它存儲(chǔ)器件上，并在圖像顯示器88上被顯示給用戶。 總線52包括用于地址、數(shù)據(jù)及控制信號(hào)的通路，并且其將系統(tǒng)控制器50連接到DSP 36、程序存儲(chǔ)器54、系統(tǒng)存儲(chǔ)器56、主機(jī)接口57、存儲(chǔ)卡接口60及其它相關(guān)器件。主機(jī)接口 57提供到個(gè)人計(jì)算機(jī)(PC)或其它主機(jī)計(jì)算機(jī)的高速連接，以用于傳送圖像數(shù)據(jù)以供顯示、存儲(chǔ)、處理或打印。該接口是IEEE1394或USB2. 0串行接口或任何其它適當(dāng)?shù)臄?shù)字接口。存儲(chǔ)卡64典型地是插入到插槽62中并且經(jīng)存儲(chǔ)卡接口 60連接到系統(tǒng)控制器50的緊湊閃存(CF)卡。所使用的其它類型的存儲(chǔ)裝置包括但不限于PC卡、多媒體卡(匪C)或安全數(shù)字(SD)卡。 經(jīng)處理的圖像被復(fù)制到系統(tǒng)存儲(chǔ)器56中的顯示緩沖器，并且經(jīng)視頻編碼器80被連續(xù)地讀出，以產(chǎn)生視頻信號(hào)。該信號(hào)直接從照相機(jī)輸出以便顯示在外部監(jiān)視器上，或者由顯示控制器82處理并且呈現(xiàn)在圖像顯示器88上。該顯示器典型地是有源矩陣彩色液晶顯示器(LCD)，但是也使用其它類型的顯示器。 用戶接口 68(包括取景顯示器70、曝光顯示器72、狀態(tài)顯示器76和圖像顯示器88及用戶輸入74的全部或任何組合)由在曝光控制器40和系統(tǒng)控制器50上被執(zhí)行的軟件
8程序的組合來(lái)控制。用戶輸入74典型地包括按鈕、搖臂開關(guān)、操縱桿、旋轉(zhuǎn)撥盤或觸摸屏的某種組合。曝光控制器40操作測(cè)光、曝光模式、自動(dòng)聚焦及其它曝光功能。系統(tǒng)控制器50管理呈現(xiàn)在顯示器中的一個(gè)或多個(gè)上(例如在圖像顯示器88上)的圖形用戶界面(GUI)。GUI典型地包括用于進(jìn)行各種選項(xiàng)選擇的菜單和用于檢查所捕捉的圖像的回顧模式。
曝光控制器40接受選擇曝光模式、透鏡孔徑、曝光時(shí)間(快門速度)及曝光指數(shù)或ISO速度等級(jí)的用戶輸入，并且相應(yīng)地引導(dǎo)透鏡和快門以用于隨后的捕捉。亮度傳感器16被采用來(lái)測(cè)量場(chǎng)景的亮度，并且當(dāng)手動(dòng)設(shè)置IS0速度等級(jí)、孔徑及快門速度時(shí)，其提供曝光計(jì)功能以供用戶參考。在這種情況下，當(dāng)用戶改變一個(gè)或多個(gè)設(shè)置時(shí)，在取景顯示器70上呈現(xiàn)的照度計(jì)指示器告訴用戶圖像將過(guò)曝光或欠曝光到什么程度。在自動(dòng)曝光模式中，用戶改變一個(gè)設(shè)置，并且曝光控制器40自動(dòng)地改變另一個(gè)設(shè)置以保持正確的曝光，例如，對(duì)于給定IS0速度等級(jí)，當(dāng)用戶減小透鏡孔徑時(shí)，曝光控制器40自動(dòng)地增加曝光時(shí)間，以保持相同的整體曝光。 ISO速度等級(jí)是數(shù)字靜態(tài)照相機(jī)的重要屬性。曝光時(shí)間、透鏡孔徑、透鏡透射率、場(chǎng)景照明的水平和光譜分布及場(chǎng)景反射率確定數(shù)字靜態(tài)照相機(jī)的曝光級(jí)。當(dāng)使用不足曝光獲得來(lái)自數(shù)字靜態(tài)照相機(jī)的圖像時(shí)，一般可以通過(guò)增大電子或數(shù)字增益來(lái)保持適當(dāng)?shù)纳{(diào)重現(xiàn)，但圖像將包含不可接受的噪聲量。當(dāng)增大曝光時(shí)，減小增益，并因此圖像噪聲通?？山档偷娇山邮艿乃?。如果過(guò)分增大曝光，則在圖像的明亮區(qū)域中的所得到的信號(hào)可超過(guò)圖像傳感器或照相機(jī)信號(hào)處理的最大信號(hào)電平容量。這可導(dǎo)致圖像高亮被削剪而形成均勻明亮的區(qū)域或者激增到圖像的周圍區(qū)域中。重要的是在設(shè)置適當(dāng)曝光時(shí)指導(dǎo)用戶。iso速度等級(jí)意圖用作這樣的指導(dǎo)。為了使攝影者容易地理解，用于數(shù)字靜態(tài)照相機(jī)的iso速度等級(jí)應(yīng)該與用于攝像膠巻照相機(jī)的ISO速度等級(jí)直接相關(guān)。例如，如果數(shù)字靜態(tài)照相機(jī)具有ISO 200的ISO速度等級(jí)，那么相同的曝光時(shí)間和孔徑應(yīng)該適于ISO 200額定膠巻/處理系統(tǒng)。 ISO速度等級(jí)意圖與膠巻ISO速度等級(jí)協(xié)調(diào)一致。然而，基于電子的成像系統(tǒng)與基于膠巻的成像系統(tǒng)之間存在差別，這些差別使準(zhǔn)確等效不可能。數(shù)字靜態(tài)照相機(jī)可包括可變?cè)鲆?，并且在圖像數(shù)據(jù)已被捕捉之后可提供數(shù)字處理，使得能夠在照相機(jī)曝光的范圍上實(shí)現(xiàn)色調(diào)重現(xiàn)。因?yàn)檫@種靈活性，數(shù)字靜態(tài)照相機(jī)可具有一定范圍的速度等級(jí)。這個(gè)范圍被定義為ISO速度范圍。為了防止混淆，單個(gè)值被指示為固有的ISO速度等級(jí)，其中ISO速度范圍上限和下限指示速度范圍，也就是說(shuō)，包括與固有ISO速度等級(jí)不同的有效速度等級(jí)的范圍?？紤]到此，固有ISO速度是從為產(chǎn)生特定的照相機(jī)輸出信號(hào)特性而在數(shù)字靜態(tài)照相機(jī)的焦平面處提供的曝光而計(jì)算出的數(shù)值。固有速度通常是對(duì)于給定照相機(jī)系統(tǒng)針對(duì)通常場(chǎng)景產(chǎn)生峰值圖像質(zhì)量的曝光指數(shù)值，其中曝光指數(shù)是與提供給圖像傳感器的曝光成反比的數(shù)值。 對(duì)數(shù)字照相機(jī)的前述描述對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)將是熟悉的。顯而易見的是，存在該實(shí)施例的多種變形，這些變形可被選擇以降低成本、添加特征或改進(jìn)照相機(jī)的性能。例如，添加自動(dòng)聚焦系統(tǒng)，或者透鏡是可拆除的和可更換的。應(yīng)當(dāng)理解，本發(fā)明應(yīng)用于任何類型的數(shù)字照相機(jī)，或者更一般地說(shuō)，數(shù)字圖像捕捉設(shè)備，其中可替換的模塊提供類似的功能。 給定圖1的說(shuō)明性例子，然后下面的說(shuō)明將詳細(xì)描述根據(jù)本發(fā)明用于捕捉圖像的這種照相機(jī)的操作。每當(dāng)在如下描述中對(duì)于圖像傳感器進(jìn)行一般參考時(shí)，應(yīng)理解成它代表來(lái)自圖1的圖像傳感器20。圖l所示的圖像傳感器20典型地包括制造在硅基片上的光敏像素的兩維陣列，這些像素將每個(gè)像素處的入射光轉(zhuǎn)換成被測(cè)量的電信號(hào)。在圖像傳感器的語(yǔ)境中，像素("像元(picture element)"的縮寫)是指離散光感測(cè)區(qū)域和與光感測(cè)區(qū)域相關(guān)聯(lián)的電荷移動(dòng)或電荷測(cè)量電路。在數(shù)字彩色圖像的語(yǔ)境中，術(shù)語(yǔ)像素通常指圖像中具有關(guān)聯(lián)顏色值的特定位置。術(shù)語(yǔ)彩色像素將指代在比較窄的光譜帶上具有顏色光電響應(yīng)的像素。 當(dāng)傳感器20暴露于光時(shí)，產(chǎn)生自由電子，并且該自由電子在每個(gè)像素處的電子結(jié)構(gòu)內(nèi)被捕捉。在某一時(shí)間段內(nèi)捕捉這些自由電子并且然后測(cè)量所捕捉的電子的數(shù)量或者測(cè)量產(chǎn)生自由電子的速率，這可測(cè)量每個(gè)像素處的亮度級(jí)。在前一種情況下，積累的電荷被移出像素陣列并移到電荷到電壓測(cè)量電路(如在電荷耦合器件(CCD)中)，或者靠近每個(gè)像素的區(qū)域可包含電荷到電壓測(cè)量電路的元件(如在有源像素傳感器(APS或CMOS傳感器)中)。 為了產(chǎn)生彩色圖像，圖像傳感器中的像素陣列典型地具有置于它們之上的彩色濾光片模式。圖2示出通常使用的紅色(R)、綠色(G)及藍(lán)色(B)彩色濾光片模式。這種特定模式通常以其發(fā)明人Bryce Bayer命名為Bayer彩色濾光片陣列(CFA)，如在美國(guó)專利No. 3， 971， 065中公開的那樣。該模式被高效地用在具有兩維彩色像素陣列的圖像傳感器中。作為結(jié)果，每個(gè)像素具有特定的顏色光電響應(yīng)，在這種情況下該顏色光電響應(yīng)是對(duì)于紅光、綠光或藍(lán)光的主要靈敏度。顏色光電響應(yīng)的另一有用的種類是對(duì)于品紅色光、黃光或青色光的主要靈敏度。在每一種情況下，特定顏色光電響應(yīng)對(duì)于可見光譜的特定部分具有高靈敏度，而同時(shí)對(duì)于可見光譜的其它部分具有低靈敏度。 最小重復(fù)單元是使得沒有其它重復(fù)單元具有更少的像素的重復(fù)單元。例如，圖2中的CFA包括是兩個(gè)像素乘兩個(gè)像素的最小重復(fù)單元，如圖2中由像素塊IOO而示出的那
樣，該最小重復(fù)單元表達(dá)為
G R
B G 這個(gè)最小重復(fù)單元的多個(gè)復(fù)制被鋪貼成覆蓋圖像傳感器中的整個(gè)像素陣列。最小重復(fù)單元被示出，其中綠色像素位于右上角，但通過(guò)將粗線勾勒的區(qū)域向右移動(dòng)一個(gè)像素、向下移動(dòng)一個(gè)像素或向右下對(duì)角移動(dòng)一個(gè)像素，可容易地識(shí)別三個(gè)可替換的最小重復(fù)單元。盡管像素塊102是重復(fù)單元，但它不是最小重復(fù)單元，因?yàn)橄袼貕K100是重復(fù)單元，并且塊100具有比塊102更少的像素。 使用包含具有圖2的CFA的兩維陣列的圖像傳感器而捕捉的圖像在每個(gè)像素處僅具有一種顏色值。為了產(chǎn)生全顏色圖像，存在用于推斷或插值每個(gè)像素處的缺失顏色的多種技術(shù)。這些CFA插值技術(shù)在本領(lǐng)域中是熟知的，并且參考如下專利美國(guó)專利No. 5， 506， 619 ;美國(guó)專利No. 5， 629， 734 ;及美國(guó)專利No. 5， 652， 621。 圖像傳感器20的每個(gè)像素具有用于像素信號(hào)讀出的光電檢測(cè)器和有源晶體管電路。用于圖像傳感器陣列中的每個(gè)像素的光電檢測(cè)器通過(guò)光電效應(yīng)將碰撞在像素上的光子轉(zhuǎn)換成電荷。在長(zhǎng)得足以收集可檢測(cè)量的電荷但短得足以避免使存儲(chǔ)元件飽和的時(shí)間段上積累電荷。該積累時(shí)間段類似于膠巻曝光時(shí)間(即，快門速度)。
10
圖像捕捉的定時(shí)可遵循兩個(gè)基本模式之一。在全局捕捉序列中，所有圖像像素簡(jiǎn)單地被同時(shí)讀取。然而，這種類型的序列要求顯著的器件復(fù)雜性，并且可能是不利的，因?yàn)樗s束傳感器芯片上用于感光性(photo-rec印tivity)的空間量。相反，已經(jīng)采納逐行讀取方法，并且其常常是用于CMOS APS像素的優(yōu)選讀取模式。 在CM0S APS器件的圖像傳感器陣列中，積累時(shí)間是給定行的復(fù)位與隨后對(duì)該行的讀取之間的時(shí)間。由于一次只可選擇一行，所以復(fù)位/讀取例程是依次的(即，逐行)。這種讀取技術(shù)稱作"滾動(dòng)電子快門"，或者更簡(jiǎn)單地稱作"滾動(dòng)快門"模式，并且在成像領(lǐng)域中是為人熟知的。關(guān)于滾動(dòng)快門時(shí)間序列的幾個(gè)變形例在授予Yadid-Pecht等的、題為"ImageSensor Producing at Least Two Integration Times from EachSensing Pixel"的美國(guó)專利No. 6， 115， 065和授予Krymski等的、題為"Look-Ahead Rolling Shutter System inCMOS Sensors"的美國(guó)專利No. 6， 809， 766中給出。用于讀取序列的快門寬度是積累啟動(dòng)與讀出之間的時(shí)間。取決于具有相同積累時(shí)間的相鄰像素的數(shù)量，這可具有可變的大小。快門寬度(如使一個(gè)或多個(gè)行被一次讀取)也可通過(guò)固定值調(diào)節(jié)，以控制傳感器陣列的曝光區(qū)域的增益。作為用于滾動(dòng)快門序列的一種方法，復(fù)位指針被索引為比讀取指針提前與快門寬度相等的量。兩個(gè)指針之間的時(shí)間差與像素積累時(shí)間相對(duì)應(yīng)。如以上描述的那樣，快門寬度完全類似于機(jī)械聚焦平面快門的兩個(gè)簾之間的物理開口的寬度。
圖3A示出用于滾動(dòng)快門模式的定時(shí)序列，如傳統(tǒng)上在比較良好的照明條件下所使用的那樣。橫坐標(biāo)(x軸)代表時(shí)間?？v坐標(biāo)(y軸)代表圖像傳感器的正被讀出的行。每條實(shí)斜線302代表按順序讀出圖像傳感器的所有行，從最高標(biāo)號(hào)的行開始并且進(jìn)行到最低標(biāo)號(hào)的行。(可替換地，代表讀出的線可從左到右向上傾斜以指示從最低標(biāo)號(hào)的行到最高標(biāo)號(hào)的行讀出行。)每條虛線300表示按順序復(fù)位圖像傳感器的所有行，同樣從最高標(biāo)號(hào)的行開始并且進(jìn)行到最低標(biāo)號(hào)的行，其中整個(gè)復(fù)位過(guò)程需要與讀出過(guò)程完全一樣多的時(shí)間。復(fù)位過(guò)程300與其緊隨其后的讀出過(guò)程302之間的延遲是用于像素的積累時(shí)間，如由實(shí)線箭頭319指示的那樣。注意，積累時(shí)間對(duì)于讀出的每個(gè)行是恒定的，但用于每個(gè)行的積累時(shí)段相對(duì)于前面的和后面的行有時(shí)間偏移。 如可從圖3A的時(shí)序圖可以看到的那樣，這種簡(jiǎn)單的滾動(dòng)快門序列允許這樣的時(shí)
段在該時(shí)段期間沒有光子被獲得，具體地說(shuō)，是在讀取302與其緊隨其后的復(fù)位300之間。
盡管這在良好的照明下可以是可接受的，但這種布置在低亮度條件下可能并不表現(xiàn)良好。
這是因?yàn)楫?dāng)光強(qiáng)度減小時(shí)，可能需要更多的像素積累時(shí)間。圖3B的時(shí)序圖示出用于低亮度
條件的定時(shí)，其中復(fù)位300緊隨讀取302之后而被執(zhí)行，或者與其同時(shí)發(fā)生。作為結(jié)果，像
素積累時(shí)間被增大以填充相繼的讀取之間的時(shí)間，并且很少有光子被浪費(fèi)。 然而，即使采用滾動(dòng)快門技術(shù)，高效地讀取圖像傳感器的任務(wù)仍然具有其缺點(diǎn)。錯(cuò)
切運(yùn)動(dòng)偽像是一種類型的問題，如早先提到的那樣。低亮度性能仍可被改進(jìn)。并且圖像動(dòng)
態(tài)范圍可仍然小于希望的范圍。 已經(jīng)提出的一種類型的解決方案是將傳感器陣列像素的某部分用作全色像素。例如，Compton等的、題為"Image Sensor with Improved LightSensitivity，，的共同轉(zhuǎn)讓的美國(guó)專利申請(qǐng)No. 2007/0024931公開了一種圖像傳感器，該圖像傳感器具有彩色像素和全色像素二者。在本公開的上下文中，術(shù)語(yǔ)全色像素是指具有一般全色光電響應(yīng)的像素，其與所選顏色光電響應(yīng)集合中所表示的較窄光譜靈敏度相比具有較寬的光譜靈敏度。即，全色
11像素可以對(duì)跨整個(gè)可見光譜的光具有很高的靈敏度。盡管全色像素一般具有比顏色光電響應(yīng)集合更寬的光譜靈敏度，但每個(gè)全色像素也可具有相關(guān)聯(lián)的濾光片。這樣的濾光片可以是中性密度濾光片或者是彩色濾光片或帶寬濾光片。 參照?qǐng)D4的曲線圖，示出了典型照相機(jī)用途中具有紅色、綠色、及藍(lán)色濾光片的像素的相對(duì)光譜靈敏度。圖4中的X軸代表以納米為單位的光波長(zhǎng)，橫跨近似從近紫外至近紅外的波長(zhǎng)，并且Y軸代表效率(歸一化的)。在圖4中，曲線110代表用于阻止紅外和紫外光到達(dá)圖像傳感器的典型帶寬濾光片的光譜透射特性。需要這樣的濾光片，因?yàn)橛糜趫D像傳感器的彩色濾光片典型地不阻止紅外光，因此像素可能不能夠區(qū)分紅外光與在它們的
關(guān)聯(lián)彩色濾光片的通帶內(nèi)的光。由曲線iio示出的紅外阻止特性因而防止紅外光破壞可見
光信號(hào)。對(duì)于具有施加的紅、綠、及藍(lán)濾光片的典型硅傳感器來(lái)說(shuō)，光譜量子效率，即被捕捉并且轉(zhuǎn)換成可測(cè)量電信號(hào)的入射光子的比例，被乘以由曲線iio代表的紅外阻止濾光片的光譜透射特性，以產(chǎn)生組合系統(tǒng)量子效率，該組合系統(tǒng)量子效率由用于紅色的曲線114、用于綠色的曲線116及用于藍(lán)色的曲線118來(lái)表示。由這些曲線應(yīng)當(dāng)理解的是，每種顏色光電響應(yīng)僅對(duì)于可見光譜的一部分敏感。與此相對(duì)照，不具有施加的彩色濾光片(但包括紅外阻止濾光片特性)的相同硅傳感器的光電響應(yīng)由曲線112示出；這是全色光電響應(yīng)的例子。通過(guò)將顏色光電響應(yīng)曲線114、116及118與全色光電響應(yīng)曲線112相比較，清楚的是，全色光電響應(yīng)對(duì)于寬光譜光比顏色光電響應(yīng)的任一種敏感三至四倍。 通過(guò)使用圖4示出的較大的全色靈敏度，已經(jīng)發(fā)現(xiàn)，通過(guò)將包括彩色濾光片的像素與不包括彩色濾光片的像素相互混合，可改進(jìn)圖像傳感器的整體靈敏度。然而，如從圖4看到的那樣，彩色濾光片像素與全色像素相比顯著地較不敏感。在這種情形下，如果全色像素適當(dāng)?shù)乇┞队诠鈴亩沟脕?lái)自場(chǎng)景的光強(qiáng)度范圍覆蓋全色像素的完全測(cè)量范圍，那么彩色像素將顯著地欠曝光。所以，有利的是，調(diào)節(jié)彩色濾光片像素的靈敏度從而使得它們具有與全色像素大致相同的靈敏度。例如通過(guò)相對(duì)于全色像素增大彩色像素的尺寸(伴隨有空間像素的減少)，彩色像素的靈敏度被增大。 隨后的圖5、6、及8示出可用于成像傳感器的各種像素布置或模式。當(dāng)然，應(yīng)該注意，在這些圖中被示出為用于完整陣列和用于其子集的任一個(gè)的模式表示在單個(gè)傳感器陣列中可重復(fù)數(shù)百次的像素布置、模式。 圖5示出在標(biāo)記為310、312、314及316的各種模式中使用全色像素(在所示的陣列模式中顯示為P)與R、G及B像素的組合。316的最小重復(fù)單元的代表性例子由粗輪廓308示出。如可容易地認(rèn)識(shí)到的那樣，多個(gè)模式是可能的，包括使用重復(fù)單元的那些，如早先參照?qǐng)D2描述的那樣。例如，模式310在Bayer模式的擴(kuò)展中使用彩色RGB像素的交替行，具有全色P像素的交織行。在圖6中，這種交織布置被更清楚地示出為分別代表彩色RGB像素和全色像素的310B和310A。 圖6示出圖5的模式之一 310可如何由兩個(gè)非空分量子集310A和310B形成。重要地，分量子集是非空的適當(dāng)子集，并且不相交，就是說(shuō)，它們的交集是空集。分量子集310A僅包含全色像素；分量子集310B僅包含彩色像素(Bayer布置)。而且，分量子集310A和310B的并集形成由模式310表示的像素的完整集合。按對(duì)于數(shù)學(xué)集合理論精通的那些人熟悉的術(shù)語(yǔ)，分量子集310A和310B可以被稱為形成由模式310表示的集合的分區(qū)。按對(duì)于精通圖像處理的那些人更熟悉的術(shù)語(yǔ)，這種到分量的分割有效地提供圖像傳感器的像素的行和列的稀疏采樣。每個(gè)分量子集在至少一維中(水平地或垂直地)被稀疏采樣，從而使
得每個(gè)分量子集捕捉場(chǎng)景的不同部分。該模式的最小重復(fù)單元是兩列乘四行。 在本發(fā)明的情形下，為了方便起見可以將參照?qǐng)D6初始定義的術(shù)語(yǔ)"分量子集"簡(jiǎn)
單地縮短成"分量"，或者更一般地縮短成"子集"。就是說(shuō)，310A和310B可被當(dāng)作由模式
310表示的陣列的分量。當(dāng)然，為了說(shuō)明，圖6僅示出完整圖像陣列的很小的8X8部分，在
實(shí)踐中該完整圖像陣列實(shí)際上可在每個(gè)方向上延伸數(shù)百個(gè)像素。分量310A和310B在傳感
器像素的完整區(qū)域上類似地延伸。 假定給出諸如圖5和6中示出的像素陣列模式的像素陣列模式，那么可能最有利的是，執(zhí)行對(duì)兩種類型的像素的分別的讀取，就是說(shuō)，分別讀取全色P分量和彩色RGB分量。在一個(gè)實(shí)施例中，滾動(dòng)快門序列利用交錯(cuò)的定時(shí)讀取被分成分量(彩色分量310B和全色分量310A)的兩種類型的像素中的每一種。圖7的時(shí)序圖示出可應(yīng)用于一個(gè)實(shí)施例中的交錯(cuò)的滾動(dòng)快門模式定時(shí)。這里，利用由上面的粗箭頭線320表示的滾動(dòng)快門定時(shí)來(lái)讀取和復(fù)位全色分量310A的全色像素(Pan)。利用由虛線箭頭322表示的滾動(dòng)快門定時(shí)來(lái)讀取和復(fù)位彩色分量310B的彩色像素(Color)。這里，用于全色像素和彩色像素的積累和復(fù)位/讀取時(shí)間相重疊，從而使得一個(gè)分量的像素至少被曝光讀取另一個(gè)分量的像素的時(shí)間的至少一部分時(shí)間。 圖7所示的交錯(cuò)定時(shí)布置在簡(jiǎn)化對(duì)來(lái)自每個(gè)像素類型的圖像數(shù)據(jù)的處理方面可以是有利的。通過(guò)提供同時(shí)的且重疊的曝光和讀取/復(fù)位周期，這種定時(shí)序列有助于更高效地利用具有全色像素和彩色像素二者的圖像傳感器?？蓽p小數(shù)據(jù)存取時(shí)間。它也可用于降低圖像錯(cuò)切效應(yīng)，因?yàn)榭梢暂^快的采樣速率檢測(cè)到使用全色像素最容易檢測(cè)的運(yùn)動(dòng)。
具體地，圖7示出在時(shí)間間隔322期間，在曝光彩色像素的第二子集310B的同時(shí)，從全色像素的第一子集310A讀取像素電荷以產(chǎn)生像素信號(hào)，并且數(shù)字化和存儲(chǔ)第一子集信號(hào)；以及從彩色像素的第二子集310B讀取像素電荷以產(chǎn)生像素信號(hào)，并且數(shù)字化和存儲(chǔ)第二子集信號(hào)，其中所述彩色像素被曝光達(dá)從全色像素的第一子集310A讀取像素信號(hào)期間的時(shí)間322的至少一部分時(shí)間。 傳感器陣列中的像素可被進(jìn)一步劃分，以產(chǎn)生另外的優(yōu)點(diǎn)。參照?qǐng)D8，示出了具有分量子集316A、316B、316C及316D的模式316的分區(qū)。在圖8的"棋盤"布置中，分量子集316A和316C提供全色像素P ;分量子集316B和316D提供彩色像素R、G、B。圖9的時(shí)序圖示出可如何使用滾動(dòng)快門序列來(lái)得到具有圖8的完整模式316的完整圖像，該完整模式316作為分量子集316A、316B、316C及316D被讀出。 對(duì)于圖8的例子，如在圖9的對(duì)應(yīng)時(shí)序圖中示出的那樣，全色像素讀取316A和316C按該順序交替在彩色讀取316B和316D之間。需要四次讀取/復(fù)位操作的周期以得到由模式316表示的完整圖像。當(dāng)與較早參照?qǐng)D3B而描述的傳統(tǒng)滾動(dòng)快門讀取模式相比較時(shí)，圖9示出的布置提供相同的曝光時(shí)間和相同的像素組，但按交替方式讀出。
全色分量可包括用于獲得圖像的傳統(tǒng)顏色中的任一種或多種。另外，彩色分量可僅由單種顏色或兩種顏色形成。例如，在一個(gè)實(shí)施例中，顏色(Color)掃描之一僅獲得綠(G)光。其它顏色掃描獲得紅顏色和藍(lán)顏色數(shù)據(jù)。 返回參照?qǐng)D4的曲線圖，值得注意的是，被提供用于全色像素的單色濾光提供這些像素優(yōu)于它們的RGB彩色對(duì)等像素的顯著改進(jìn)效率。因?yàn)檫@個(gè)，相對(duì)于彩色像素，可給予全色像素較短的曝光時(shí)間以得到相同量的光能?？紤]到這種關(guān)系，圖10的交錯(cuò)定時(shí)布置提 供這樣的序列在該序列中，由虛線箭頭322所示的彩色像素曝光時(shí)間是由實(shí)線箭頭320所 表示的提供給全色像素的時(shí)間的兩倍長(zhǎng)。在彩色像素讀取的每個(gè)間隔中(就是說(shuō)，圖10中 的分量子集316B和316D的讀出之間)，全色分量子集316C和316A都被讀出。分配給每個(gè) 彩色像素的曝光時(shí)間是六個(gè)讀取間隔；用于全色像素的曝光時(shí)間是僅三個(gè)讀取間隔?？烧J(rèn) 識(shí)到，這種定時(shí)序列在對(duì)全色像素和彩色像素進(jìn)行速度平衡方面可以是有幫助的。另外，因 為可更頻繁地讀取全色像素，所以使用全色圖像數(shù)據(jù)可更有效地實(shí)現(xiàn)運(yùn)動(dòng)檢測(cè)和補(bǔ)償。
其它實(shí)施例可進(jìn)一步利用像素速度的變化。例如，圖11的時(shí)序圖示出這樣的實(shí)施 例在該實(shí)施例中，全色像素的一個(gè)分量子集316A具有由實(shí)線箭頭324表示的短積累時(shí)間， 其中讀取/復(fù)位/曝光周期在兩個(gè)讀取間隔內(nèi)。全色像素的另一個(gè)分量子集316C具有由 實(shí)線箭頭320表示的較長(zhǎng)的積累時(shí)間，其中讀取/復(fù)位/曝光周期在四個(gè)讀取間隔內(nèi)。彩 色像素的分量子集316B和316D具有由虛線箭頭322表示的更長(zhǎng)的積累時(shí)間，其中讀取/ 復(fù)位/曝光周期在八個(gè)讀取間隔內(nèi)。 在圖7、9、10及11所示的定時(shí)例子的每一個(gè)中，清楚的是，按順序在讀取所有像素 所需要的時(shí)間的一部分時(shí)間內(nèi)讀出每個(gè)分量，如圖3A和3B所示。這對(duì)于減少由于滾動(dòng)快 門的操作與被捕捉的場(chǎng)景之間的相對(duì)運(yùn)動(dòng)而產(chǎn)生的特定的運(yùn)動(dòng)相關(guān)的偽像來(lái)說(shuō)特別有利。
盡管如參照?qǐng)D7-11描述的那樣，將傳感器像素分成分量的布置在與滾動(dòng)快門讀 出模式一起使用時(shí)提供顯著的優(yōu)點(diǎn)，但是對(duì)于與某些類型的CMOS和CCD傳感器器件一起使 用的交替全局轉(zhuǎn)移讀出模式，它也具有優(yōu)點(diǎn)。如早先提到的那樣，用于全局轉(zhuǎn)移的器件電路 必須設(shè)置有某種類型的遮光存儲(chǔ)裝置。 參照?qǐng)D12示出了用于從傳感器進(jìn)行全局轉(zhuǎn)移模式讀出的傳統(tǒng)定時(shí)序列。電荷積 累在傳感器的光敏區(qū)域中，如由虛線318之間的粗線箭頭317指示的那樣。在每個(gè)曝光間 隔的結(jié)束處，積累的電荷被全局地從像素的光敏區(qū)域轉(zhuǎn)移到遮光存儲(chǔ)區(qū)域。全局轉(zhuǎn)移用虛 線318指示。轉(zhuǎn)移電荷的讀出逐行發(fā)生，如由斜線302指示的那樣。如同所示，曝光時(shí)間受 到讀出所有行所需要的時(shí)間的限制。如本領(lǐng)域技術(shù)人員知道的那樣，通過(guò)在全局轉(zhuǎn)移318 之間添加全局復(fù)位步驟，使得曝光時(shí)間短于圖12所示的時(shí)間。 圖13示出采用全局轉(zhuǎn)移形式的本發(fā)明的實(shí)施例。將圖13與通過(guò)圖9示出的滾動(dòng) 快門實(shí)施例相比較，四個(gè)分量子集的讀出是相同的，但用于每個(gè)分量的積累時(shí)間全面地在 垂直虛線318處開始和結(jié)束。用于四個(gè)分量的曝光時(shí)間相重疊。全局轉(zhuǎn)移實(shí)施例的好處與 滾動(dòng)快門實(shí)施例的好處相同，如以前描述的那樣具有每個(gè)分量免于運(yùn)動(dòng)錯(cuò)切的另外好處。 此外，使用全局轉(zhuǎn)移的分量讀出可在具有共享讀出結(jié)構(gòu)的圖像傳感器中實(shí)現(xiàn)，所述共享讀 出結(jié)構(gòu)諸如交錯(cuò)垂直CCD或APS傳感器中的共享浮動(dòng)擴(kuò)散。 全局轉(zhuǎn)移也允許對(duì)于不同的分量使用不同的時(shí)間段，如早先針對(duì)使用滾動(dòng)快門定
時(shí)序列的實(shí)施例描述的那樣。通過(guò)將圖9、10及11與圖13相比較，可以容易地識(shí)別本發(fā)明
的全局轉(zhuǎn)移實(shí)施例，這些實(shí)施例在全色分量和彩色分量之間具有不同的曝光時(shí)間(類似于
圖IO)，或者在各個(gè)全色分量之間具有不同的曝光時(shí)間(類似于圖11)。 以多種方式實(shí)現(xiàn)傳感器20的像素到具有多個(gè)分量的分區(qū)的組織(其中所述分量
被分別地讀出并且如這里描述的那樣具有重疊的曝光和讀出定時(shí))。為了優(yōu)化某些布置，需
要傳感器級(jí)28(圖1)中的傳感器20中的適當(dāng)?shù)淖x出電路。例如，要求傳感器20中的適當(dāng)
14讀出電路允許使用早先描述的滾動(dòng)快門或全局轉(zhuǎn)移方法分別地讀出圖8所示的分區(qū)的每 個(gè)分量子集的像素。 用于傳感器20的特別有用的讀出電路布置涉及電荷合并(chargebi皿ing)，就是 說(shuō)，在讀出過(guò)程期間組合來(lái)自兩個(gè)或更多個(gè)光敏區(qū)域的電荷，以提供用于讀出的單個(gè)信號(hào)。 用于CMOS傳感器陣列的支持合并的電路布置在例如授予Guidash的、題為"Active Pixel Sensor withlnter-Pixel Function Sharing"的共同轉(zhuǎn)讓的美國(guó)專利No. 6， 160， 281中被 描述，該專利公開了一種電路配置，在該電路配置中，在兩個(gè)或更多個(gè)像素之間共享浮動(dòng)擴(kuò) 散，以作為共用電荷存儲(chǔ)元件。對(duì)于CCD圖像傳感器，例如在用于電荷信號(hào)感測(cè)的浮動(dòng)擴(kuò)散 或者垂直或水平CCD中將來(lái)自多個(gè)像素的電荷合并。 參照?qǐng)D14，示出了簡(jiǎn)化圖，該簡(jiǎn)化圖示出如早先參照?qǐng)D8描述的那樣的棋盤模式 316。被放大的部分332示出由讀出電路提供的合并布置以及與合并布置有利地一致的模 式316的最小重復(fù)單元。這里，像素按四個(gè)像素一組被布置，其中每個(gè)四像素組共享共用的 浮動(dòng)擴(kuò)散或其它臨時(shí)電荷存儲(chǔ)元件330。通過(guò)將電荷從像素轉(zhuǎn)移到共用浮動(dòng)擴(kuò)散，將來(lái)自布 置在每個(gè)浮動(dòng)擴(kuò)散周圍的四個(gè)像素中的兩個(gè)或更多個(gè)像素的信號(hào)電荷選擇性地合并；然后 讀出合并電荷。重要地，每個(gè)浮動(dòng)擴(kuò)散或其它電荷存儲(chǔ)元件330A、330B，并且更一般地元件 330，被兩個(gè)全色像素(P)和兩個(gè)彩色像素(R、G、或B)共享，這兩個(gè)彩色像素具有相同的顏 色。具有共享浮動(dòng)擴(kuò)散的這種像素布置提供多個(gè)優(yōu)點(diǎn)，并且在多個(gè)不同讀出方案中可靈活 地使用，如將示出的那樣。 圖15A示出用于圖14的共用浮動(dòng)擴(kuò)散布置的讀出方案，該讀出方案提供包括每個(gè) 2乘2四像素組中的左上全色像素P的分量316A，這四個(gè)像素共享共用浮動(dòng)擴(kuò)散330 (圖 14)。圖15B示出可選讀出方案，該讀出方案提供包括每個(gè)2乘2四像素組中相同顏色的像 素R、G或B的組合對(duì)的分量316E，這四個(gè)像素共享共用浮動(dòng)擴(kuò)散。圖15C示出可選讀出方 案，該讀出方案提供包括每個(gè)2乘2四像素組中的右下全色像素P的分量316C，這四個(gè)像 素共享共用浮動(dòng)擴(kuò)散。圖15A、15B及15C的相應(yīng)分量子集316A、316E及316C表示被分成 三個(gè)分量子集的模式316的分區(qū)，其中兩個(gè)全色分量子集和一個(gè)彩色分量子集。圖15D示 出可選讀出方案，該讀出方案提供包括每個(gè)2乘2四像素組中的全色像素P的組合對(duì)的分 量316F，這四個(gè)像素共享共用浮動(dòng)擴(kuò)散。圖15B和15D的相應(yīng)分量子集316E和316F表示 被分成兩個(gè)分量子集的模式316的分區(qū)，其中一個(gè)全色分量子集和一個(gè)彩色分量子集。圖 15E示出可選讀出方案316G，在該讀出方案316G中，電荷是組合自每個(gè)2乘2四像素組的 全部四個(gè)像素，這四個(gè)像素共享共用浮動(dòng)擴(kuò)散。 受益于合并的使用的定時(shí)方案是圖16所示的3分量捕捉序列。該定時(shí)方案使用 分別在圖15A、15B及15C中示出的分量子集316A、316E及316C。在圖16中，水平箭頭320 示出用于各個(gè)分量的像素的積累時(shí)間。兩行實(shí)線箭頭示出用于分量子集316A和316C的 積累時(shí)間，分量子集316A和316C由全色像素組成；虛線箭頭行表示用于分量子集316E的 積累時(shí)間，該分量子集316E包括如圖15B所示的配對(duì)合并的彩色像素。由于在分別讀出全 色像素的同時(shí)彩色像素被配對(duì)合并，所以克服了與全色像素相比彩色像素的一些靈敏度不 足，并且在彩色和全色分量子集之間實(shí)現(xiàn)了照相速度的相對(duì)平衡。此外，由于僅讀出三個(gè)分 量子集(與圖9的四個(gè)分量相比)，減小了相同分量子集的兩次讀出之間的時(shí)間延遲，并且 提高了檢測(cè)到運(yùn)動(dòng)細(xì)節(jié)的機(jī)會(huì)。
受益于合并的使用的另一種定時(shí)方案是圖17所示的2分量捕捉序列。該定時(shí)方案 使用分別在圖15B和15D中示出的分量子集316E和316F。在圖17中，實(shí)線箭頭行示出用 于分量子集316F的積累時(shí)間，該分量子集316F由如圖15D所示的配對(duì)合并的全色像素組 成；虛線箭頭行表示用于分量子集316E的積累時(shí)間，該分量子集316E包括如圖15B所示的 配對(duì)合并的彩色像素。注意，該定時(shí)方案的輸出分辨率是像素陣列的完整分辨率的1/4。盡 管圖17的定時(shí)方案不具有彩色和全色像素之間的圖16的照相速度平衡，但它的確進(jìn)一步 減小了相同分量子集的兩次讀出之間的時(shí)間延遲，從而進(jìn)一步提高了運(yùn)動(dòng)細(xì)節(jié)檢測(cè)機(jī)會(huì)。
圖16和17示出具有合并分量的分量讀出布置，在該讀出布置中，分量的積累時(shí)間 是相等的，類似于圖9的非合并分量讀出。通過(guò)在合并分量的情形下考慮圖10和圖ll，清 楚的是，本發(fā)明包括利用合并分量的分量讀出布置，在該讀出布置中，分量的積累時(shí)間是不 相等的，或者在該讀出布置中， 一些分量比其它分量更頻繁地被讀出。 從能夠動(dòng)態(tài)地改變傳感器20的分量組成或數(shù)量的自適應(yīng)分量配置得到另外的優(yōu) 點(diǎn)。因而，例如，在被優(yōu)化用于低亮度靜態(tài)成像的第一分區(qū)布置中，傳感器20具有兩個(gè)分 量一個(gè)分量包括如圖15D所示的配對(duì)合并的全部全色像素，另一個(gè)分量包括如圖15B所示 的配對(duì)合并的所有彩色像素。(操作人員可選擇的或者基于運(yùn)動(dòng)感測(cè)而自動(dòng)地選擇的)第 二分區(qū)布置被優(yōu)化用于運(yùn)動(dòng)成像。在該第二分區(qū)布置中，傳感器20具有四個(gè)分量，諸如例 如關(guān)于圖8和9描述的那些。 在又一個(gè)實(shí)施例中，使用模式輪換。對(duì)于使用本發(fā)明的分量布置的相同數(shù)字照相 機(jī)或其它圖像處理設(shè)備，全局轉(zhuǎn)移模式用于某些類型的成像，而滾動(dòng)快門模式用于其它類 型的成像。為了使用可變的或動(dòng)態(tài)變化的分量配置和讀出模式使傳感器20適應(yīng)于不同的 成像條件，大量的變形例是可能的。本發(fā)明的不同分量配置或讀出模式之間的變換決策取 決于變化的場(chǎng)景條件，并且由算法自動(dòng)地進(jìn)行，或者通過(guò)用戶選擇進(jìn)行。
其它可替換實(shí)施例進(jìn)一步對(duì)一個(gè)或多個(gè)分量劃分，并且相應(yīng)地調(diào)節(jié)復(fù)位和讀取定 時(shí)?？烧J(rèn)識(shí)到，本發(fā)明的方法可與用于傳感器的多種像素布置中的任一種一起使用，該傳感 器包括全色像素和彩色像素二者。 本發(fā)明包括只讀取傳感器的一部分(通常稱作視窗或關(guān)注區(qū)域)，但使用這里所 公開的分量子集對(duì)該部分進(jìn)行分區(qū)并讀取該部分。 可認(rèn)識(shí)到，本發(fā)明的方法和設(shè)備可有助于減輕或克服關(guān)于組合全色像素和彩色像 素的傳感器的固有問題中的一些。通過(guò)將圖像傳感器劃分成多個(gè)單獨(dú)分量并且一次從一個(gè) 分量獲取圖像數(shù)據(jù)，本發(fā)明允許比彩色分量更頻繁地讀取全色分量，同時(shí)保持彩色像素和 全色像素之間的相對(duì)照相速度平衡。 對(duì)于運(yùn)動(dòng)圖像，本發(fā)明有助于減小運(yùn)動(dòng)錯(cuò)切，并且提供可用于幫助去模糊圖像的 更準(zhǔn)確的運(yùn)動(dòng)檢測(cè)。因?yàn)樗峁┮员纫郧八靖l繁的間隔獲得的、來(lái)自整個(gè)場(chǎng)景的圖像 數(shù)據(jù)，所以本發(fā)明提供用于運(yùn)動(dòng)估計(jì)的更準(zhǔn)確的數(shù)據(jù)。利用減小的占空比，減小了分量到分 量的位移，并且簡(jiǎn)化了運(yùn)動(dòng)估計(jì)和補(bǔ)償任務(wù)。 因?yàn)槿袼乜筛l繁地讀出，所以人們可通過(guò)具有較短的積累時(shí)間而利用它們
的固有較高的靈敏度。來(lái)自全色像素的信號(hào)也可比彩色數(shù)據(jù)更快地被處理。 在使用本發(fā)明時(shí)，傳感器陣列中的一些像素可能并不分配給分量。這些可以是成
像像素、未使用像素或用于感測(cè)例如閃光燈照明的條件的非成像像素。此外，本發(fā)明不要求讀出給定分區(qū)的所有分量子集。
0103]部件列表0104]10光
0105]11成像級(jí)
0106]12透鏡
0107]13濾光塊
0108]14光圈
0109]16傳感器塊
0110]18快門塊
0111 ]20傳感器
0112]22模擬信號(hào)處理器
0113]24A/D轉(zhuǎn)換器
0114]26定時(shí)發(fā)生器
0115]28傳感器級(jí)
0116]30總線
0117]32DSP存儲(chǔ)器
0118]36數(shù)字信號(hào)處理器
0119]38處理級(jí)
0120]40曝光控制器
0121]50系統(tǒng)控制器
0122]52總線
0123]54程序存儲(chǔ)器
0124]56系統(tǒng)存儲(chǔ)器
0125]57主機(jī)接口
0126]60存儲(chǔ)卡接口
0127]62插槽
0128]64存儲(chǔ)卡
0129]68用戶接口
0130]70取景顯示器
0131]72曝光顯示器
0132]74用戶輸入
0133]76狀態(tài)顯示器
0134]80視頻編碼器
0135]82顯示控制器
0136]88圖像顯示器
0137]100塊
0138]102塊0139]110濾光片透射曲線0140]112全色量子效率曲線



























114紅色量子效率曲線 116綠色量子效率曲線 118藍(lán)色量子效率曲線 300復(fù)位操作 302讀取操作 308最小重復(fù)單元 310像素模式 310A分量子集 分量子集
310B 312 314
316 316A 316B 316C 316D 316E 316F 316G
317
318 320 322 324 330 330A 330B 332
分 分 分 分 分 分
子集 子集 子集 子集 子集 子集 合并讀出
全局轉(zhuǎn)移積累時(shí)間
全局轉(zhuǎn)移
全色積分時(shí)間
彩色積分時(shí)間
全色積分時(shí)間
共享存儲(chǔ)元件
共享存儲(chǔ)元件
共享存儲(chǔ)元件
像素陣列的被放大的部分
18
權(quán)利要求
一種用于從圖像傳感器陣列獲得圖像數(shù)據(jù)的方法，包括步驟a)提供圖像傳感器陣列，該圖像傳感器陣列具有用于積累電荷的全色像素的第一分量子集和用于積累電荷的彩色像素的第二分量子集；b)在曝光彩色像素的第二分量子集的同時(shí)，從全色像素的第一分量子集讀取像素電荷以產(chǎn)生像素信號(hào)，并且數(shù)字化和存儲(chǔ)第一分量子集信號(hào)；以及c)從彩色像素的第二分量子集讀取像素電荷以產(chǎn)生像素信號(hào)，并且數(shù)字化和存儲(chǔ)第二分量子集信號(hào)，其中所述彩色像素被曝光達(dá)從全色像素的第一分量子集讀取像素信號(hào)期間的時(shí)間中的至少一部分時(shí)間。
2. 根據(jù)權(quán)利要求1所述的方法，其中，第一分量子集在讀出第二分量子集之前被完全讀出。
3. 根據(jù)權(quán)利要求1所述的方法，其中，存在全色像素或彩色像素的至少一個(gè)另外的分量子集。
4. 根據(jù)權(quán)利要求1所述的方法，其中，由圖像傳感器捕捉場(chǎng)景的多個(gè)圖像，并且在讀出像素的分量子集的同時(shí)，像素的剩余分量子集正在積累電荷。
5. 根據(jù)權(quán)利要求1所述的方法，其中，所述圖像傳感器陣列具有全色像素P、第一彩色像素R、第二彩色像素G及第三彩色像素B，并且其中，利用下面的最小重復(fù)單元來(lái)布置像素P G P RG P R PP B P GB P G P。
6. 根據(jù)權(quán)利要求1所述的方法，其中，步驟b)和C) 二者中的像素電荷的讀取包括對(duì)于來(lái)自像素的給定分量子集的每個(gè)像素，同時(shí)將電荷輸送和存儲(chǔ)在單獨(dú)的浮動(dòng)擴(kuò)散中，以及從浮動(dòng)擴(kuò)散逐次讀出對(duì)應(yīng)的像素信號(hào)，以分別產(chǎn)生第一和第二分量子集信號(hào)。
7. 根據(jù)權(quán)利要求l所述的方法，其中，步驟b)和C) 二者中的像素電荷的讀取包括對(duì)于來(lái)自像素的給定分量子集的每個(gè)像素，同時(shí)將電荷輸送和存儲(chǔ)在單獨(dú)的電荷耦合器件中，以及從電荷耦合器件逐次讀出對(duì)應(yīng)的像素信號(hào)，以分別產(chǎn)生第一和第二分量子集信號(hào)。
8. 根據(jù)權(quán)利要求l所述的方法，其中，在步驟b)和c) 二者中讀出像素電荷是使用電子滾動(dòng)快門序列實(shí)現(xiàn)的。
9. 根據(jù)權(quán)利要求1所述的方法，其中，像素的第一分量子集暴露于來(lái)自場(chǎng)景的光的時(shí)間長(zhǎng)度與像素的第二分量子集不同。
10. 根據(jù)權(quán)利要求1所述的方法，其中，像素像素的第一分量子集暴露于來(lái)自場(chǎng)景的光的時(shí)間長(zhǎng)度與像素的第二分量子集不同，從而使得像素的第一分量子集比第二分量子集更頻繁地被讀出。
11. 一種用于從圖像傳感器陣列獲得圖像數(shù)據(jù)的方法，包括步驟a)提供圖像傳感器陣列，并且選擇性地將圖像像素組織成第一結(jié)構(gòu)和第二結(jié)構(gòu)，所述第一結(jié)構(gòu)具有用于積累電荷的全色像素的第一分量子集和用于積累電荷的彩色像素的第二分量子集，所述第二結(jié)構(gòu)具有全色像素的不同的第一分量子集和彩色像素的不同的第二分量子集；b) 在曝光彩色像素的第二分量子集的同時(shí)，從全色像素的第一分量子集讀取像素電荷以產(chǎn)生像素信號(hào)，并且數(shù)字化和存儲(chǔ)第一分量子集信號(hào)；c) 從彩色像素的第二分量子集讀取像素電荷以產(chǎn)生像素信號(hào)，并且數(shù)字化和存儲(chǔ)第二分量子集信號(hào)，其中所述彩色像素被曝光達(dá)從全色像素的第一分量子集讀取像素信號(hào)期間的時(shí)間中的至少一部分時(shí)間；以及d) 響應(yīng)于攝像條件而改變圖像像素的結(jié)構(gòu)。
12. 根據(jù)權(quán)利要求11所述的方法，其中，攝像條件包括下面中的一種或多種亮度級(jí)、運(yùn)動(dòng)程度及聚焦設(shè)置。
13. 根據(jù)權(quán)利要求ll所述的方法，其中，步驟b)和c)的相對(duì)定時(shí)根據(jù)攝像條件而變化。
全文摘要
一種用于從圖像傳感器陣列獲得圖像數(shù)據(jù)的方法，包括步驟提供圖像傳感器陣列，該圖像傳感器陣列具有用于積累電荷的全色像素的第一分量子集和用于積累電荷的彩色像素的第二分量子集；在曝光彩色像素的第二分量子集的同時(shí)，從全色像素的第一分量子集讀取像素電荷以產(chǎn)生像素信號(hào)，并且數(shù)字化和存儲(chǔ)第一分量子集信號(hào)；以及從彩色像素的第二分量子集讀取像素電荷以產(chǎn)生像素信號(hào)，并且數(shù)字化和存儲(chǔ)第二分量子集信號(hào)，其中彩色像素的第二分量子集被曝光達(dá)從全色像素的第一分量子集讀取像素信號(hào)期間的時(shí)間中的至少一部分時(shí)間。
文檔編號(hào)H04N9/04GK101755463SQ200880025375
公開日2010年6月23日 申請(qǐng)日期2008年7月8日 優(yōu)先權(quán)日2007年7月20日
發(fā)明者J·F·小哈米爾頓, J·T·坎普頓 申請(qǐng)人:伊斯曼柯達(dá)公司