專利名稱：用于估測場景光源的圖像傳感器裝置及方法
技術(shù)領(lǐng)域：
一般而言，本發(fā)明涉及場景光源(scene illmminant)的估測(estimation)；更具 體地講，本發(fā)明涉及為圖像傳感器所捕捉的圖像估測其場景光源的裝置及方法。
背景技術(shù)：
圖像傳感器是捕捉和處理光信號為電信號、以形成靜態(tài)圖像或視頻的半導(dǎo)體設(shè) 備。圖像傳感器在各種消費、工業(yè)及科學(xué)研究等應(yīng)用場合的使用已經(jīng)十分普遍，包括數(shù)碼 相機(jī)、數(shù)碼攝像機(jī)、手持電話設(shè)備、網(wǎng)絡(luò)攝像頭、醫(yī)療應(yīng)用、汽車應(yīng)用、游戲和玩具、安全及監(jiān) 測、圖像識別以及汽車檢查等等。制造圖像傳感器的技術(shù)也在快速前進(jìn)。目前，主要有兩種類型的圖像傳感器電荷耦合器件(CXD)傳感器與互補(bǔ)型金 屬氧化物半導(dǎo)體(CMOS)傳感器。在此兩類任何一類的圖像傳感器中，收集光的光感元件 (photosite)是以二維像素陣列的形式形成并排列于半導(dǎo)體基板(substrate)上。光感元 件，一般被稱為成像元件或像素，其將入射光線轉(zhuǎn)換成電荷。像素的數(shù)量、大小及空間決定 了傳感器所產(chǎn)生圖像的分辨率?，F(xiàn)代圖像傳感器的像素陣列一般包含數(shù)以百萬計的像素，以提供高分辨率的圖 像。每一像素所捕捉的圖像信息，如在紅、綠、藍(lán)(RGB)色空間中的原始像素數(shù)據(jù)，被傳送至 圖像信號處理器(ISP)或其它數(shù)字信號處理器(DSP)進(jìn)行處理，以產(chǎn)生數(shù)字圖像。圖像傳感器所產(chǎn)生的數(shù)字圖像的質(zhì)量，主要取決于其靈敏度及許多其它因素，如 與鏡頭相關(guān)的因素(光斑(flare)、色差(chromatic aberration))、信號處理因素、時間及 運動因素、與半導(dǎo)體相關(guān)的因素(暗電流、擴(kuò)散(blooming)及像素缺陷)、與系統(tǒng)控制相關(guān) 的因素(聚焦及曝光誤差、白平衡誤差)。例如，白平衡誤差引起較差的色彩還原(color reproduction,或稱色彩復(fù)現(xiàn))，且如果不校正很容易破壞圖像質(zhì)量。圖像傳感器裝置的白平衡是指調(diào)節(jié)該裝置所捕捉圖像的原色，如調(diào)節(jié)紅色、綠色 及藍(lán)色，使得所捕捉的圖像對于該設(shè)備呈現(xiàn)白色，對人類視覺系統(tǒng)(HVS)也呈現(xiàn)白色。由圖 像傳感器裝置和人類視覺系統(tǒng)所感覺到的色彩差異，是由許多可見光源及他們不同的色溫 引起的。盡管人類視覺系統(tǒng)已經(jīng)熟練適應(yīng)照射場景的不同光源(通常稱其場景光源)，圖像 傳感器卻不能在所有色溫中準(zhǔn)確地捕捉色彩。例如，圖像傳感器在家用燈泡光下捕捉的白 紙會輕微泛紅，或者在日光下捕捉的白紙會泛藍(lán)。相同的白紙在不同的場景光源下，人類視 覺系統(tǒng)都會視為白色。為了仿效人類視覺系統(tǒng)，必須在圖像傳感器裝置中進(jìn)行白平衡。另外，圖像傳感器 還必須進(jìn)行色彩校正(color correction)，以增強(qiáng)色彩還原的準(zhǔn)確性。需要進(jìn)行色彩校正 則是因為圖像傳感器的光譜靈敏度與人類視覺系統(tǒng)的色彩匹配函數(shù)不同。通過圖像傳感器 裝置產(chǎn)生的RGB值還與設(shè)備相關(guān)，也就是不同裝置對于相同場景產(chǎn)生不同的RGB響應(yīng)。為了保持色彩的真實，或者教會圖像傳感器裝置如何看到像人類視覺系統(tǒng)預(yù)計看 到的色彩，就要進(jìn)行色彩校正，以便在與設(shè)備相關(guān)(device-d印endent)的RGB值與與設(shè)備 無關(guān)(device-ind印endent)的值之間建立起關(guān)系。與設(shè)備無關(guān)的值在“CIEXYZ”色空間上計算，其是基于國際照明委員會(International Commission on Illumination，CIE)標(biāo)準(zhǔn) 觀察者色彩匹配函數(shù)。為了在圖像傳感器裝置上準(zhǔn)確地進(jìn)行白平衡與色彩校正，必須知道場景光源。一 般來說，有兩種方式能夠獲得場景光源信息測定場景光源色彩，及從捕捉的圖像估測場景 光源。大多數(shù)實際情況是，使用各種方法估測場景光源信息。例如，早期估測場景光源的工作主張圖像的白點對應(yīng)于平均圖像色度。另一 種早期主張是在紅、綠、藍(lán)色彩通道(color channel)中分別采用最大像素響應(yīng)(pixel response)，并使用它們作為白點估測。這兩種主張的估測效果都比較差。近期用于估測場景光源的方法有賴于如下假設(shè)，即圖像傳感器裝置(或眼睛)所 測定的色彩范圍取決于光源的色彩，如在最藍(lán)的光下不能產(chǎn)生最紅的紅色色彩。這些方法 對如下如下問題進(jìn)行評估“給定的光源產(chǎn)生圖像傳感器裝置所形成之給定圖像的色彩的 可能性有多高？ ”在一稱作“色彩透視法”的方法中，這個問題的解答方式為建立可能的表 面色彩及光源色彩的模型，來解決約束滿足問題(constraint satisfaction problem)。這 種方法計算量大、耗時、并且對所捕捉圖像的色彩不連貫性敏感。在美國專利6，038，339中所描述的另一稱作“色彩關(guān)聯(lián)法”的方法中，其思路是利 用在圖像色彩與場景光源之間存在的關(guān)聯(lián)關(guān)系，例如，最紅圖像傳感器器件的測量是與最 紅光強(qiáng)烈相關(guān)的。在該方法中，建立一個關(guān)聯(lián)矩陣存儲器，以使來自任何圖像的數(shù)據(jù)，如圖 像傳感器器件所捕捉的RGB圖像，與可能之場景光源的集(set)相關(guān)聯(lián)。這需要對應(yīng)于不 同的已知光源的培訓(xùn)數(shù)據(jù)的樣本集(priori set)。在培訓(xùn)中，每個光源都與一個來自圖像 傳感器器件之RGB值所產(chǎn)生的參考色域(reference gamut)相關(guān)聯(lián)。然后，圖像傳感器所 捕捉的給定圖像的數(shù)據(jù)與每一參考色域進(jìn)行對比。選定的(也就是估測的)場景光源是在 圖像數(shù)據(jù)與訓(xùn)練數(shù)據(jù)間具有最大關(guān)聯(lián)關(guān)系的。然而，這種色彩關(guān)聯(lián)方法也是計算量大、耗時、且需要巨大存儲器。需要在存儲器 上為每個捕捉的圖像存儲光源關(guān)聯(lián)矩陣，并乘以一個色度矢量。取決于建立關(guān)聯(lián)矩陣的光 源的數(shù)量，這會使圖像傳感器器件顯著增加存儲成本和計算成本。隨著設(shè)備廠商急切需要 低成本且高質(zhì)量，因而就需要在不耗盡設(shè)備資源的情況下，盡可能提供準(zhǔn)確的白平衡和色 彩校正。因此，有必要提供一種估測場景光源的裝置及方法，其能夠在較低的存儲要求及 計算要求的前提下，達(dá)到較高的白平衡及色彩校正。

發(fā)明內(nèi)容
本發(fā)明包括一種圖像傳感器裝置，其包括圖像傳感器與處理器，其中，圖像傳感器 用于產(chǎn)生對應(yīng)于場景光源下之場景的像素數(shù)據(jù)。處理器包括光源估測模塊，其用于接收與 色空間子集(subset)相關(guān)聯(lián)的像素數(shù)據(jù)子集，并在像素數(shù)據(jù)子集中找出色度趨勢，以確定 場景光源。處理器還包括白平衡與色彩校正模塊，其根據(jù)估測的場景光源，在像素數(shù)據(jù)上施 加相應(yīng)的白平衡與色彩校正系數(shù)。本發(fā)明的一具體實施方式
包括一種在圖像傳感器器件中估測場景光源的方法。產(chǎn) 生一系列光源的特征曲線；圖像傳感器器件捕捉對應(yīng)于場景光源下之場景的像素數(shù)據(jù)；在 色空間子集中為像素數(shù)據(jù)子集產(chǎn)生像素的特征曲線；對比像素的特征曲線與一系列光源的特征曲線，以估測場景光源。本發(fā)明的另一具體實施方式
包括一種用于圖像傳感器器件中的處理器，其包括 通過色空間子集中像素特征曲線，對在場景光源下圖像傳感器器件所捕捉之像素數(shù)據(jù)進(jìn)行 特征化的程序；根據(jù)像素特征曲線及一系列光源特征曲線，估測場景光源的程序；以及根 據(jù)所估測的場景光源，對像素數(shù)據(jù)適用白平衡與色彩校正系數(shù)的程序。


下面，參考附圖，通過詳細(xì)的描述，以更好地理解本發(fā)明，這些附圖中，相似的附圖 標(biāo)記表示相應(yīng)的部件。其中圖1顯示了根據(jù)本發(fā)明一實施方式構(gòu)建的圖像傳感器裝置；圖2顯示了在本發(fā)明一實施方式中圖1所示圖像傳感器裝置估測場景光源的示意 圖；圖3顯示了根據(jù)本發(fā)明一實施方式在圖像傳感器裝置中估測場景光源的流程圖；圖4顯示了根據(jù)本發(fā)明一實施方式產(chǎn)生一系列光源特征曲線的流程圖；圖5顯示了根據(jù)本發(fā)明一實施方式產(chǎn)生像素特征曲線的流程圖；圖6顯示了圖1所示圖像傳感器裝置中所使用的3個光源代表的光源特征曲線。
具體實施例方式本發(fā)明提供了一種用于檢測圖像傳感器晶片中的像素缺陷的圖像傳感器檢測裝 置。如同一般使用情況，此處的圖像傳感器可以是一種半導(dǎo)體電路，其具有像素陣列以捕捉 光學(xué)圖像并將其處理為像素數(shù)據(jù)形式的電信號。該裝置包括用于估測所捕捉圖像之場景光 源的光源估測模塊。如同一般使用情況，此處的場景光源可以是任何為場景提供光的光源， 例如，自然日光、辦公環(huán)境光、家居光、街道光等等。在一實施方式中，從一組候選光源估測場景光源，如由國際照明委員會(CIE)公 布的標(biāo)準(zhǔn)光源。普通標(biāo)準(zhǔn)光源包括光源A(白熾燈光)、光源系列C(平均或北方天空的日 光)、光源系列D(各種形式的日光)及光源系列F(熒光)。對于給定的所捕捉圖像之像素 數(shù)據(jù)，其最有可能的光源便被估測為其場景光源。根據(jù)本發(fā)明一是實施方式，每個候選光源都與一個光源特征曲線相關(guān)聯(lián)，其 中，該光源特征曲線代表了二維色空間子集(color space subset)或二維色度空間 (chromaticity space)如RGB色空間的紅藍(lán)、紅綠或綠藍(lán)子集中的色度趨勢。通過針對候 選光源集的訓(xùn)練集而獲取數(shù)據(jù)，可產(chǎn)生候選光源集的光源特征曲線。在一實施方式中，訓(xùn)練 集可以是孟塞爾色樣(Munsell color samples)，如1269孟賽爾標(biāo)準(zhǔn)色樣。在一實施方式中，用候選光源照射訓(xùn)練集中的每個色樣，可產(chǎn)生圖像傳感器響應(yīng) (靈敏度)。在色空間子集中，對圖像傳感器響應(yīng)(靈敏度)進(jìn)行統(tǒng)計趨勢分析，可以確定 代表候選光源之色度趨勢的光源特征曲線。例如，統(tǒng)計趨勢分析可以是回歸分析或任何其 它的曲線擬合分析。色度趨勢代表了數(shù)據(jù)中的一種統(tǒng)計趨勢，例如，線性趨勢、二次趨勢(quadratic trend)等等。色度趨勢可以表示為數(shù)學(xué)曲線，如線、多項式等，其采用趨勢系數(shù)界定曲線。 該趨勢系數(shù)可以用于表示光源特征曲線，因此，可以大大降低圖像傳感器裝置中存儲與候選光源相關(guān)的信息的存儲要求。還可以產(chǎn)生了像素特征曲線，其代表了圖像傳感器裝置所獲取的像素數(shù)據(jù)的色度 趨勢。通過在色空間子集中進(jìn)行像素數(shù)據(jù)子集的統(tǒng)計趨勢進(jìn)行分析，例如，對紅藍(lán)色空間子 集中(紅藍(lán))像素數(shù)據(jù)子集的統(tǒng)計趨勢進(jìn)行分析，可以產(chǎn)生像素特征曲線。計算在像素特 征曲線與光源特征曲線間的似然值(likelihood value)，并確定最大似然值。與最大似然 值相關(guān)聯(lián)的光源特征曲線，代表了最可能與場景光源相匹配的候選光源。然后，將具有最大 似然值的候選光源選定為場景光源。圖1顯示了根據(jù)本發(fā)明一實施方式構(gòu)建的圖像傳感器裝置。圖像傳感器裝置100 包括圖像傳感器105，其在場景光源下如場景光源115下，用于捕捉場景如場景110的光學(xué) 圖像。圖像傳感器裝置100還包括處理器120，其將場景110的光學(xué)圖像處理為像素數(shù)據(jù)形 式的電子信號。例如，像素數(shù)據(jù)可以是原始RGB像素數(shù)據(jù)。根據(jù)本發(fā)明一實施方式，處理器120具有一用于從各種候選光源中估測場景光源 的光源估測模塊125。根據(jù)像素數(shù)據(jù)子集與候選光源的統(tǒng)計趨勢分析，通過找出最可能的 候選光源，估測場景光源。更詳細(xì)的說明見下文。像素數(shù)據(jù)子集可以是與二維色彩或色度 空間相關(guān)聯(lián)的二維數(shù)據(jù)組。例如，該像素數(shù)據(jù)子集可以是與紅藍(lán)色空間子集相關(guān)聯(lián)的(紅 藍(lán))像素數(shù)據(jù)。在白平衡與色彩校正模塊130中，所估測的場景光源可以用于在像素數(shù)據(jù)上進(jìn)行 白平衡和色彩校正，以產(chǎn)生對應(yīng)于場景Iio的數(shù)字圖像135。由于在光源估測模塊125中所 進(jìn)行的場景光源估測，與在白平衡與色彩校正模塊130中所進(jìn)行的白平衡與色彩校正，數(shù) 字圖像135是一已白平衡且色彩校正過的、顯示準(zhǔn)確色彩還原的圖像。在一實施方式中，例如，候選光源可以是CIE標(biāo)準(zhǔn)光源。為估測場景光源而在處理 器120中使用的每個候選光源，都由光源特征曲線140表達(dá)出來，并存儲起來。光源特征曲 線時通過在候選光源下為一訓(xùn)練集確定圖像傳感器響應(yīng)(靈敏度)而產(chǎn)生的，更詳細(xì)的說 明見下文。例如，訓(xùn)練集可以是孟塞爾色樣(Munsell color samples)。本領(lǐng)域的一般技術(shù)人員可以理解的是，光源估測模塊125和白平衡與色彩校正模 塊130可以在硬件和/或軟件中實施。還可以理解的是，光源特征曲線140可以存儲在處 理器120中，或存儲在與處理器120相連的存儲器中(未示出)。圖2顯示了根據(jù)本發(fā)明一實施方式，通過圖像傳感器裝置100估測場景光源的示 意圖。通過在與色空間子集相關(guān)聯(lián)的像素數(shù)據(jù)子集上，如與紅藍(lán)色空間子集相關(guān)聯(lián)的(紅 藍(lán))像素數(shù)據(jù)子集，進(jìn)行統(tǒng)計趨勢分析來估測場景光源。光源估測模塊125接收像素數(shù)據(jù)子集，并在像素數(shù)據(jù)子集中找出色度趨勢，以估 測場景光源。這首先是通過在0和1之間標(biāo)準(zhǔn)化(歸一化，normalizing)像素數(shù)據(jù)子集， 并把已標(biāo)準(zhǔn)化的像素數(shù)據(jù)子集200投射到相應(yīng)的色空間子集中；然后，進(jìn)行統(tǒng)計趨勢分析， 如回歸分析或其它曲線擬合分析，以在像素數(shù)據(jù)子集中確定色度趨勢。該色度趨勢可用一 曲線來表示，如像素特征曲線205。像素特征曲線205代表了在像素數(shù)據(jù)子集中為一線性趨 勢。這樣，像素特征曲線205可以簡單地以兩個趨勢系數(shù)即斜率和截距來表示。類似的，代表了一系列候選光源的一系列光源特征曲線，也可以以兩個趨勢系數(shù) 即斜率和截距來表示。該一系列光源特征曲線，表示了在一系列對于訓(xùn)練集的圖像傳感器 響應(yīng)(靈敏度)中的色度趨勢，如線性趨勢。例如，光源特征曲線210表示了光源1的訓(xùn)練集所獲取的圖像傳感器響應(yīng)(靈敏度)的色度趨勢，光源特征曲線215表示了光源2的訓(xùn) 練集所獲取的圖像傳感器響應(yīng)(靈敏度)的色度趨勢，光源特征曲線220表示了光源3的 訓(xùn)練集所獲取的圖像傳感器響應(yīng)(靈敏度)的色度趨勢。然后，估測場景光源變成了在像素特征曲線205及光源特征曲線間的似然值估 算問題，從而估測最接近于表示場景光源的候選光源。在一實施方式中，估算最大似然值 (MLE)，確定具有最大似然值的候選光作為場景光源。例如，光源1具有最接近像素特征曲線205的光源特征曲線，也就是曲線210。進(jìn) 行MLE分析，確定像素數(shù)據(jù)子集200中所代表場景的最大似然值候選光源，結(jié)果是光源1為 最大似然值候選光源。然后，光源1被標(biāo)記為場景光源。本領(lǐng)域的一般技術(shù)人員可以理解的是，大量存儲和計算的節(jié)省可以通過圖像傳感 器裝置100來達(dá)到。這些節(jié)省主要通過僅僅用在色空間子集中的素數(shù)據(jù)子集來估測場景光 源、且像素和光源特征曲線可以簡單地表示為一組趨勢系數(shù)來達(dá)到。這樣，估測場景光源就 變成了一個MLE問題，而不是在先技術(shù)中遇到的大量計算和存儲問題了?？梢岳斫獾氖牵赃@樣方式實現(xiàn)的節(jié)省，并不會降低圖像的質(zhì)量。場景光源的估測 可以以一種可靠、強(qiáng)勁、計算與存儲高效的方式進(jìn)行，而且不會損失估測精度。圖3顯示了根據(jù)本發(fā)明一實施方式、在圖像傳感器裝置中估測場景光源的流程 圖。首先，在步驟300中，產(chǎn)生了一系列光源特征曲線。該光源特征曲線通過對訓(xùn)練集模擬 圖像傳感器響應(yīng)(靈敏度)而產(chǎn)生的，如下圖4所述。然后，在步驟305中，在場景光源如 場景光源115下，由圖像傳感器106捕捉對應(yīng)于場景如場景110的像素數(shù)據(jù)。然后，在步驟 310中，使用與色空間子集相關(guān)的像素數(shù)據(jù)子集，產(chǎn)生一像素特征曲線，如下圖5所述。通過 對像素數(shù)據(jù)子集適用統(tǒng)計趨勢分析，產(chǎn)生像素特征曲線。例如，統(tǒng)計趨勢分析可以是像素數(shù) 據(jù)子集的回歸分析或其它的曲線擬合分析。在一實施方式中，為已標(biāo)準(zhǔn)化的像素數(shù)據(jù)子集 進(jìn)行線性回歸，如在紅藍(lán)色空間子集中，(紅藍(lán))像素數(shù)據(jù)在0和1之間轉(zhuǎn)化。最后，在步驟315中，對比像素特征曲線與該一系列光源特征曲線，以估測場景光 源。在一實施方式中，計算在像素特征曲線與光源特征曲線間的似然值，并確定最大似然 值。與最大似然值相關(guān)聯(lián)的光源特征曲線代表了與場景光源最匹配的候選光愿。然后，這 個具有最高似然值的候選光源被選定為場景光源。圖4顯示了根據(jù)本發(fā)明一實施方式、產(chǎn)生一系列光源特征曲線的流程圖。首先，在 步驟400中，測量圖像傳感器105在每個波長λ下的光譜靈敏度Qi ( λ )，其中i代表紅、綠、 藍(lán)色彩通道。在步驟405中，產(chǎn)生了在一系列候選光源下對于訓(xùn)練集的一系列圖像傳感器 響應(yīng)(靈敏度)。在一實施方式中，該訓(xùn)練集可以是孟塞爾色樣(Munsell color samples), 如1269孟賽爾標(biāo)準(zhǔn)色樣或芯片(chip)。每個圖像傳感器響應(yīng)(靈敏度)是通過在一給定候選光源下、捕捉對應(yīng)于給定色 樣的光學(xué)圖像而產(chǎn)生的。對于一具有S(X)光譜能分布的給定候選光源，及具有R(X)表 面反射率的給定色樣，圖像傳感器響應(yīng)(靈敏度)Di可通過下式確定Di = / S(A )R(A )qi(A )dA ,其中，i分別代表紅、綠、藍(lán)色彩通道。在步驟410中，所有候選光源產(chǎn)生的圖像傳感器響應(yīng)(靈敏度)在0和1之間進(jìn) 行標(biāo)準(zhǔn)化。例如，對于圖像傳感器捕捉8位像素數(shù)據(jù)，該像素數(shù)據(jù)從0至255的范圍值轉(zhuǎn)化為0至1的范圍值。在步驟415中，將每個候選光源的已標(biāo)準(zhǔn)化的值，投射到色空間子集中， 如紅藍(lán)色空間子集中。也就是，每個候選光源用一系列具有0和1之間的值的二維數(shù)組(R， B)來表示，該二維數(shù)組(元組)對應(yīng)于在候選光源下的訓(xùn)練集中所有色樣產(chǎn)生的圖像傳感 器響應(yīng)(靈敏度)中出現(xiàn)的紅藍(lán)值。然后，在步驟420中，在色空間子集中為一系列已標(biāo)準(zhǔn)化的圖像傳感器裝置響應(yīng) (靈敏度)進(jìn)行統(tǒng)計趨勢分析，以確定對應(yīng)于一系列候選光源的一系列光源特征曲線。統(tǒng)計 趨勢分析確定趨勢系數(shù)，以便用色度趨勢或光源特征曲線來表示每個候選光源。例如，趨勢 系數(shù)可以是表示線性色度趨勢的斜率和截距。在步驟425中，存儲表示一系列候選光源的 光源特征曲線的趨勢系數(shù)。本領(lǐng)域的一般技術(shù)人員可以理解的是，用存儲光源特征曲線代替存儲全部光源數(shù) 據(jù)來表示候選光源，可以在存儲和計算方面帶來了相當(dāng)顯著的節(jié)省。通過進(jìn)行統(tǒng)計趨勢分 析，以在光源數(shù)據(jù)中確定線性趨勢，例如，每個候選光源可以在圖像傳感器裝置中以簡單的 斜率和截距的形式予以存儲?？梢赃M(jìn)一步理解的是，圖像傳感器的光譜靈敏度不需要測量，也就是，步驟400是 一個選擇性的步驟。如果圖像傳感器的光譜靈敏度是未知的，則可通過在一系列候選光源 下，捕捉較大色域范圍的色樣來產(chǎn)生光源特征曲線。圖5顯示了根據(jù)本發(fā)明一實施方式、產(chǎn)生像素特征曲線的流程圖?？梢园垂庠刺?征曲線相似的形成方式，來產(chǎn)生像素數(shù)據(jù)的像素特征曲線，該像素數(shù)據(jù)是由圖像傳感器在 待估測的場景光源下對一場景所獲得的。首先，在步驟500中，像素數(shù)據(jù)子集，如(紅藍(lán)) 像素數(shù)據(jù)，在0和1之間標(biāo)準(zhǔn)化。然后，在步驟505中，已標(biāo)準(zhǔn)化的像素數(shù)據(jù)子集投射到色空間子集中，例如紅藍(lán)色 空間子集中。最后，在步驟510中，對像素數(shù)據(jù)子集進(jìn)行統(tǒng)計趨勢分析，以確定像素數(shù)據(jù)子 集中對應(yīng)于色度趨勢的趨勢系數(shù)。該趨勢系數(shù)代表了像素特征曲線。如上圖3所述，將像素特征曲線與一系列光源特征曲線進(jìn)行比對，以估測場景光 源。在一實施方式中，比對是通過計算像素特征曲線與每個光源特征曲線間的似然值而進(jìn) 行的。每個似然值代表了場景光源與候選光的匹配性。具有最大似然值的候選光源選定為 場景光源。圖6顯示了三個候選光源的典型的光源特征曲線。曲線圖600-610表示了在紅藍(lán) 色彩平面上，對于孟賽爾標(biāo)準(zhǔn)色樣，三候選光源所獲取的已標(biāo)準(zhǔn)化的圖像傳感器響應(yīng)(靈 敏度)的二維向量的凸包(convex hull)。曲線圖610表示CIE光源A(2856K)，曲線圖605 表示CIE光源CWF(5140K)，及曲線圖610表示CIE光源D65 (6500K)。如上圖4所述，已標(biāo)準(zhǔn)化的圖像傳感器響應(yīng)(靈敏度)由光源特征曲線表示，該光 源特征曲線是通過在紅藍(lán)色空間子集中進(jìn)行統(tǒng)計趨勢分析而產(chǎn)生的。例如，光源特征曲線 615是在光源A的曲線圖600上進(jìn)行線性回歸而得到的，光源特征曲線620是在光源CWF的 曲線圖605上進(jìn)行線性回歸而得到的，光源特征曲線625是在光源D65的曲線圖610上進(jìn) 行線性回歸而得到的。如上所述，通過計算像素特征曲線與每個光源特征曲線間的似然值，將給定的像 素特征曲線與光源特征曲線進(jìn)行比對。選定具有最高似然值的光源作為被捕捉場景的場景 光源。例如，光源D65(日光)可以選定作為自然日光下在室外捕捉的圖像的場景光源，光源A(鎢絲燈)可以選定作為鎢絲燈光下在室內(nèi)捕捉的圖像的場景光源，光源CWF(熒光) 可以選定作為熒光下在室內(nèi)捕捉的圖像的場景光源。本發(fā)明的有點在于，在低存儲及計算的需求下，本發(fā)明的圖像傳感器裝置使得場 景光源的估測更有力(robustly)且更可靠。與圖像傳感器裝置中傳統(tǒng)的估測場景光源的 方法相比，本發(fā)明的場景光源估測能夠?qū)崿F(xiàn)高性能白平衡和色彩校正，而無需巨大的存儲 與計算資源。前述的說明只是為了解釋本發(fā)明，所使用的特定術(shù)語是為了更徹底地理解本發(fā) 明。然而，本領(lǐng)域技術(shù)人員可以理解，在實施本發(fā)明時，一些特定細(xì)節(jié)并不是必須的。因此， 前述本發(fā)明特定實施方式的敘述目的只是為了說明及描述，而并非是為了窮盡或限制本發(fā) 明于特定的公開形式；顯而易見的是，經(jīng)本發(fā)明的以上啟示，就完全可能做出許多其它的改 進(jìn)和改變。所選擇進(jìn)行描述的實施方式，是為了最好地描述本發(fā)明的原理及其實際應(yīng)用；其 使得本領(lǐng)域技術(shù)人員可利用本發(fā)明以及本發(fā)明的各種實施方式并作出修改，以適應(yīng)各種特 定用途。本發(fā)明的范圍應(yīng)由權(quán)利要求及其等同物所界定。
權(quán)利要求
一種圖像傳感器裝置，其包括圖像傳感器，其產(chǎn)生對應(yīng)于場景光源下之場景的像素數(shù)據(jù)；及處理器，其包括光源估測模塊，其用于接收與色空間子集相關(guān)的像素數(shù)據(jù)子集，并在所述像素數(shù)據(jù)子集中找出色度趨勢、以估測所述場景光源；及白平衡與色彩校正模塊，其根據(jù)所估測的場景光源對像素數(shù)據(jù)施加白平衡與色彩校正系數(shù)，進(jìn)行處理。
2.如權(quán)利要求1所述的圖像傳感器裝置，其中，所述的光源估測模塊包括將所述像素 數(shù)據(jù)子集標(biāo)準(zhǔn)化、并將所述已標(biāo)準(zhǔn)化的像素數(shù)據(jù)子集投射至所述色空間子集的程序。
3.如權(quán)利要求2所述的圖像傳感器裝置，其中，所述的色空間子集從如下一組選定 紅_藍(lán)色空間子集；紅_綠色空間子集；及綠_藍(lán)色空間子集。
4.如權(quán)利要求2所述的圖像傳感器裝置，其中，所述的光源估測模塊包括分析所述像 素數(shù)據(jù)子集中的色度趨勢、并基于該色度趨勢確定像素特征曲線的統(tǒng)計趨勢分析程序。
5.如權(quán)利要求4所述的圖像傳感器裝置，其進(jìn)一步包括用于存儲所述像素特征曲線之 趨勢系數(shù)的存儲器。
6.如權(quán)利要求5所述的圖像傳感器裝置，其中，所述的存儲器在所述色空間子集中存 儲了對應(yīng)于一系列候選光源的一系列光源特征曲線。
7.如權(quán)利要求6所述的圖像傳感器裝置，其中，所述的一系列光源特征曲線是以一系 列趨勢系數(shù)的形式存儲的。
8.如權(quán)利要求7所述的圖像傳感器裝置，其進(jìn)一步包括計算所述像素特征曲線與所述 一系列光源特征曲線之間的一系列似然值的模塊。
9.如權(quán)利要求8所述的圖像傳感器裝置，其中，所述的光源估測模塊包括用于從所述 一系列似然值中確定最大似然值的程序，該最大似然值與對應(yīng)于所估測的場景光源的光源 特征曲線相關(guān)。
10.一種用于在圖像傳感器裝置中估測場景光源的方法，其包括產(chǎn)生一系列光源特征曲線；獲取對應(yīng)于場景光源下之場景的像素數(shù)據(jù)；在色空間子集中，產(chǎn)生像素數(shù)據(jù)之子集的像素特征曲線；及將所述像素特征曲線與所述一系列光源特征曲線進(jìn)行比對，以估測所述場景光源。
11.如權(quán)利要求10所述的方法，其中，所述的產(chǎn)生一系列光源特征曲線包括測量所述 圖像傳感器裝置于紅色、藍(lán)色和綠色色彩通道的光譜靈敏度。
12.如權(quán)利要求11所述的方法，其進(jìn)一步包括在一系列候選光源下，對訓(xùn)練集產(chǎn)生一 系列圖像傳感器裝置之響應(yīng)，其中，所述的訓(xùn)練集包括一系列的自然表面。
13.如權(quán)利要求12所述的方法，其進(jìn)一步包括將所述圖像傳感器裝置之響應(yīng)進(jìn)行標(biāo)準(zhǔn) 化、并將一系列已標(biāo)準(zhǔn)化的圖像傳感器裝置之響應(yīng)投射至所述色空間子集中。
14.如權(quán)利要求13所述的方法，其進(jìn)一步包括在所述色空間子集中，分析所述一系列 已標(biāo)準(zhǔn)化的圖像傳感器裝置之響應(yīng)的色度趨勢，以產(chǎn)生一系列光源特征曲線。
15.如權(quán)利要求14所述的方法，其中，分析所述一系列已標(biāo)準(zhǔn)化的圖像傳感器裝置之 響應(yīng)的色度趨勢，包括對所述一系列已標(biāo)準(zhǔn)化的圖像傳感器之響應(yīng)進(jìn)行統(tǒng)計趨勢分析，以確定一系列趨勢系數(shù)，所述的一系列趨勢系數(shù)代表了一系列光源特征曲線。
16.如權(quán)利要求15所述的方法，其中，在色空間子集中產(chǎn)生像素特征曲線的步驟包括 將所述像素數(shù)據(jù)子集進(jìn)行標(biāo)準(zhǔn)化；將已標(biāo)準(zhǔn)化的像素數(shù)據(jù)子集投射至所述色空間子集；及在已標(biāo)準(zhǔn)化的像素數(shù)據(jù)子集中分析色度趨勢，以產(chǎn)生所述的像素特征曲線。
17.如權(quán)利要求16所述的方法，其中，將所述像素特征曲線與所述一系列光源特征曲 線進(jìn)行比對、以估測所述場景光源的步驟包括在所述像素特征曲線與所述一系列光源特 征曲線中的一個光源特征曲線間，確定出最大似然值。
18.如權(quán)利要求17所述的方法，其中，來自于所述一系列光源特征曲線的、具有最大似 然值的光源特征曲線代表了所述的場景光源。
19.一種用于圖像傳感器裝置的處理器，其包括在色空間子集中，將在場景光源下由所述圖像傳感器裝置所獲取的像素數(shù)據(jù)子集、用 像素特征曲線進(jìn)行特征化描述的程序；根據(jù)所述的像素特征曲線及一系列光源特征曲線估測場景光源的程序；及 根據(jù)所估測的場景光源、對所述像素數(shù)據(jù)施加白平衡與色彩校正系數(shù)進(jìn)行處理的程序。
20.如權(quán)利要求19所述的處理器，其中，所述的一系列光源特征曲線代表了一系列選 自如下一組的光源光源A ；光源系列C ；光源系列D ；光源系列F ；及光源TL84。
21.如權(quán)利要求20所述的處理器，其中，所述的一系列光源特征曲線是通過在所述一 系列光源下，模擬訓(xùn)練集的一系列圖像傳感器裝置之響應(yīng)而產(chǎn)生的。
22.如權(quán)利要求21所述的處理器，其中，所述的訓(xùn)練集包括孟塞爾色樣(Mimsell color samples)。
23.如權(quán)利要求22所述的處理器，其中，所述的像素特征曲線表示了所述像素數(shù)據(jù)子 集在所述色空間中的色度趨勢，并以一系列趨勢系數(shù)的形式儲存于所述圖像傳感器裝置 中。
24.如權(quán)利要求23所述的處理器，其中，所述的一系列光源特征曲線表示了一系列光 源在所述色空間子集中的色度趨勢，并以一系列趨勢系數(shù)的形式儲存于所述圖像傳感器裝置中。
25.如權(quán)利要求24所述的處理器，其中，所述的估測場景光源的程序確定出所述像素 特征曲線與來自所述一系列光源特征曲線的一個光源特征曲線間的最大似然值，該光源特 征曲線代表了所估測的場景光源。
全文摘要
本發(fā)明公開了一種圖像傳感器裝置。該圖像傳感器裝置包括圖像傳感器與處理器，其中，圖像傳感器產(chǎn)生對應(yīng)于場景光源下之場景的像素數(shù)據(jù)。處理器包括光源估測模塊，其用于接收與色空間子集相關(guān)的像素數(shù)據(jù)子集，并在像素數(shù)據(jù)子集中分析色度趨勢、以估測場景光源。處理器還包括白平衡與色彩校正模塊，其根據(jù)所估測的場景光源對像素數(shù)據(jù)施加白平衡與色彩校正系數(shù)，進(jìn)行處理。
文檔編號H04N5/235GK101933321SQ200880126440
公開日2010年12月29日 申請日期2008年11月21日 優(yōu)先權(quán)日2007年12月3日
發(fā)明者李兆建 申請人:豪威科技有限公司