專利名稱：數(shù)碼相機(jī)圖像中的白平衡校正的制作方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及數(shù)字圖像處理的領(lǐng)域，并且尤其是涉及運用在電 子靜物照相機(jī)、攝像機(jī)等等中的白平衡校正。
背景技術(shù)：
攝像機(jī)和數(shù)字靜物照相機(jī)已經(jīng)使用了自動的白平衡調(diào)整，其目的 是再現(xiàn)白色對象，以便該對象看起來是白色的。在此領(lǐng)域中，有許多 自動化的現(xiàn)有技術(shù)的例子.
美國專利No. 5, 801， 773 (Ikeda)教導(dǎo)了使用像素組(paxel)的平 均值來執(zhí)行白平衡，這些像素組落入色差空間中的被擴(kuò)寬的色溫軸區(qū) 域并且被限制到對應(yīng)于用戶模式設(shè)置(例如風(fēng)景、肖像等)的圖像的 空間區(qū)域中。色溫軸區(qū)域的形狀也通過用戶模式設(shè)置加以修正(一般 是降低)。
美國專利No. 6， 243， 133 (Spaulding等人)教導(dǎo)對要進(jìn)行場景 平衡的圖像產(chǎn)生像素組化的版本，將所述被像素組化的圖像變換成CIE XYZ空間的保留色域(gamut-preserving)版本，對等同場景平衡校 正三元組進(jìn)行計算，以及把該三元組反變換到初始的照相機(jī)的RGB空 間，以4更該三元組能夠直接被施加到全分辨率的初始圖<象上，從而在 適于隨后輸出繪制的保留色域的CIE XYZ空間中產(chǎn)生場景平衡的圖 像。
美國專利No. 6, 791, 606 (Miyano)教導(dǎo)了產(chǎn)生像素組化的圖像并 且將該圖像轉(zhuǎn)換到色差空間中。然后，計算色差空間中的每個像素組 距預(yù)定的光源區(qū)域的距離，并且將該舉例視為可靠性值。(像素組距 離給定的光源越遠(yuǎn)，則由所述光源對那些像素組化的區(qū)域進(jìn)行照明的 結(jié)論越不可靠。)每個光源的相關(guān)聯(lián)的白平衡校正使用這些可靠性值 進(jìn)行混合，以產(chǎn)生整體的白平衡校正。
美國專利申請公開文獻(xiàn)No. 2002/0122120 (Hsieh)教導(dǎo)將圖像 分割成多個區(qū)域，并且計算每個區(qū)域的平均色差坐標(biāo)。對于亮度值適 中的區(qū)域，在色差空間中標(biāo)繪出平均色差值并且檢查該圖的每個象
限。只有處于具有多數(shù)所標(biāo)繪的點的象限中的點才被用于計算整體的 白平衡校正。
現(xiàn)有的白平衡校正方法的顯著的問題是，這些方法并沒有正確地 平衡利用兩種不同光源(例如閃光燈和鴒燈)進(jìn)行膝光的場景。

發(fā)明內(nèi)容
已發(fā)現(xiàn)通過使用數(shù)字成像裝置捕獲同一場景的至少兩幅初始的 數(shù)字圖像，其中每幅數(shù)字圖像是在兩種不同的照明條件下捕獲的，并 且為每幅這樣的數(shù)字圖像產(chǎn)生多個像素；使用在不同照明條件下捕獲 的數(shù)字圖像中的至少兩幅的像素值來產(chǎn)生差值；以及響應(yīng)于相應(yīng)的差 值，對初始數(shù)字圖像的像素值進(jìn)行修正，從而能夠更有效地對來自數(shù) 碼相機(jī)的圖像的白平衡進(jìn)行校正。
本發(fā)明的特征是，其提供了改進(jìn)的、自動化的、計算上有效的方 式來對來自數(shù)碼相機(jī)的、利用一種以上光源進(jìn)行膝光的圖像校正白平 衡。


圖l是用于實現(xiàn)本發(fā)明的包括數(shù)碼相機(jī)的計算機(jī)系統(tǒng)的透視圖； 圖2是示出了由數(shù)碼相機(jī)捕獲的加閃光燈和不加閃光燈的圖像的 方框圖3是基于差值的處理的方框圖4是圖3中的方框204的更加詳細(xì)的方框圖5是差值計算的更加詳細(xì)的方框圖6A和6B是亮度通道計算的方框圖7是亮度減法過程的方框圖8是對加閃光燈的圖像進(jìn)行白平衡處理的方框圖9A和9B是校正系數(shù)分析的方框圖；和
圖IO是應(yīng)用白平衡校正的方框圖。
具體實施例方式
在以下的闡述中，將在通常被實現(xiàn)為軟件程序的方面對本發(fā)明的 優(yōu)選實施方式進(jìn)行闡述。本領(lǐng)域技術(shù)人員很容易地認(rèn)識到，也能夠以
硬件方式構(gòu)造這種軟件的等價物。因為圖像處理算法和系統(tǒng)都是眾所 周知的，所以本說明書將特別集中于形成根據(jù)本發(fā)明的系統(tǒng)和方法的 部分的算法和系統(tǒng)，或者特別集中于更直接地與根據(jù)本發(fā)明的系統(tǒng)和 方法協(xié)作的算法和系統(tǒng)。在此未特別地示出或闡述的這些算法和系統(tǒng)
/或k件能夠從本領(lǐng)域中公知"這樣-的系統(tǒng)、、算法、部件:元件中加以 選擇。給出如在以下材料中根據(jù)本發(fā)明所述的系統(tǒng)，在此未特別地示 出、建議或闡述的用于實現(xiàn)本發(fā)明的軟件是常規(guī)的并且在這個領(lǐng)域的 普通技術(shù)人員的了解范圍之內(nèi)。
更進(jìn)一步，如在此所使用的那樣，計算機(jī)程序能夠被存儲在計算 機(jī)可讀的存儲介質(zhì)中，例如，所述存儲介質(zhì)包括諸如磁盤(諸如硬盤
驅(qū)動器或軟盤等)或磁帶等的磁存儲介質(zhì)；諸如光盤、光帶或機(jī)器可 讀條形碼等的光存儲介質(zhì)；諸如隨機(jī)存取存儲器(MM)或只讀存儲器 (ROM)等的固態(tài)電子存儲裝置；或者用來存儲計算機(jī)程序的任何其它物 理裝置或介質(zhì)。
在闡述本發(fā)明之前，注意，本發(fā)明優(yōu)選地被用在諸如個人計算機(jī) 的任何眾所周知的計算機(jī)系統(tǒng)上，這有助于理解.因此，在此將不再 對該計算機(jī)系統(tǒng)進(jìn)行詳細(xì)論述。注意，所述圖像既可以(例如，通過 數(shù)碼相機(jī))直接被輸入計算機(jī)系統(tǒng)又可以在輸入到計算機(jī)系統(tǒng)中之前 (例如，通過掃描初始的、諸如卣化銀感光膠片等)進(jìn)行數(shù)字化，這 也是有益的。
參考圖l，示出用于實現(xiàn)本發(fā)明的計算機(jī)系統(tǒng)110。雖然示出計算 機(jī)系統(tǒng)110的目的是為了對優(yōu)選的實施方式進(jìn)行圖解說明，但是本發(fā) 明并不限于所示的計算機(jī)系統(tǒng)110，而是能夠被用于諸如在家用計算 機(jī)、公用電話亭、零售或批發(fā)照片洗印服務(wù)、或者用于處理數(shù)字圖像 的任何其它系統(tǒng)中找到的任何電子處理系統(tǒng)上。計算機(jī)系統(tǒng)110包括 用于接收和處理軟件程序以及用于執(zhí)行其它處理功能的基于微處理器 的單元112。顯示器114電連接到基于微處理器的單元112，用于例如 借助圖形用戶接口來顯示與軟件相關(guān)聯(lián)的用戶相關(guān)信息。鍵盤116也 被連接到基于微處理器的單元112，用于允許用戶向軟件輸入信息。作 為使用鍵盤116進(jìn)行輸入的替換方案，如同本領(lǐng)域中眾所周知的那樣， 鼠標(biāo)118能夠被用于移動顯示器114上的選擇器120并且能夠被用于
對選擇器12 0覆蓋的項目進(jìn)行選擇。
典型地包含軟件程序的光盤只讀存儲器(CD-ROM) 124被插入到基 于微處理器的單元112中，用于提供將軟件程序和其它信息輸入到基 于微處理器的單元112的方式。此外，軟盤126也能夠包含軟件程序， 并且軟盤126被插入到基于微處理器的單元112中，用于輸入軟件程 序?？商鎿Q地，CD-ROM 124或軟盤126能夠被插入到被連接到基于微 處理器的單元112的外置的磁盤驅(qū)動單元122中。更進(jìn)一步，如同本 領(lǐng)域中眾所周知的那樣，基于微處理器的單元112能夠被編程，用于 在內(nèi)部存儲軟件程序.基于微處理器的單元112也能夠具有到外部網(wǎng) 絡(luò)(諸如局域網(wǎng)或因特網(wǎng))的網(wǎng)絡(luò)連接127 (諸如電話線路)。打印機(jī) 128也能夠被連接到基于微處理器的單元112，用于打印來自計算機(jī)系 統(tǒng)110的輸出的硬拷貝。
圖像也能夠經(jīng)由個人計算機(jī)卡(PC卡)130在顯示器114上加以顯 示，諸如經(jīng)由如此前已知的包含以電子方式被包括在卡130中的數(shù)字 化圖像的(基于個人計算機(jī)存儲卡國際聯(lián)合會的規(guī)范的)PCMCIA卡。 PC卡130最終被插入基于微處理器的單元112，用于允許圖像在顯示 器114上的可視顯示。可替換地，PC卡130能夠被插入到與基于微處 理器的單元112連接的外置PC卡讀取器132。圖像也能夠經(jīng)由CD-ROM 124、軟盤126或網(wǎng)絡(luò)連接127而被輸入。存儲在PC卡130、軟盤126 或CD-R0M 124中的或者通過網(wǎng)絡(luò)連接127輸入的任何圖像能夠從各種 源中獲得，這些源諸如數(shù)碼相機(jī)(未示出)或掃描儀(未示出)。圖 像還能夠經(jīng)由被連接到基于微處理器的單元112的照相機(jī)底座端口 136直接從數(shù)碼相機(jī)134中輸入，或者經(jīng)由電纜連接138直接從數(shù)碼 相機(jī)134輸入到基于微處理器的單元112或經(jīng)由無線連接140直接從 數(shù)碼相機(jī)134輸入到基于微處理器的單元112。
根據(jù)本發(fā)明，所述算法能夠被存儲在此前提及的任何存儲裝置 中，并且被用于圖像，以便在圖像中校正白平衡。
在圖2中，數(shù)碼相機(jī)134負(fù)責(zé)由場景300在基色空間中創(chuàng)建初始 的加閃光燈的圖像202和不加閃光燈的圖像200。典型的基色空間的例 子是紅-綠-藍(lán)(RGB)和青-品紅-黃(CMY)。
圖3是本發(fā)明的優(yōu)選實施方式的高級圖。加閃光燈的圖像202和 不加閃光燈的圖像200通過基于差值的處理204加以處理。結(jié)果是新
的圖<象,500。
參考圖4，基于差值的處理204被細(xì)分成差值計算230、差值映射 250和白平衡400。
參考圖5，差值計算230被細(xì)分成亮度計算210A和210B以及亮 度減法220。圖6A和圖6B是使用(或應(yīng)用)亮度計算210A和亮度計 算21OB的詳圖。假設(shè)RGB加閃光燈的圖像202和RGB不加閃光燈的圖 像200的本優(yōu)選實施方式的亮度計算為
L = 10001og"G+l) 其中，G =綠色通道，而L -亮度通道。本領(lǐng)域的其他技術(shù)人員應(yīng)該明 白，能夠使用其它的亮度計算。
參考圖7，亮度計算的輸出、不加閃光燈的圖像的亮度通道214 和加閃光燈的圖像的亮度通道216都被送到亮度減法220中。本優(yōu)選 實施方式的計算是
Ij250 = — Li214
其中，L"。為差值映射250的像素值，L"4為不加閃光燈的圖像的亮度 通道214的像素值，以及Lm為加閃光燈的圖像的亮度通道216的像素 值。亮度減法220的結(jié)果是差值映射250。
圖8示出了白平衡400的細(xì)節(jié)。白平衡400被細(xì)分成差值閾值 260、閃光部分262、校正系數(shù)計算270A和270B、非閃光部分264以 及應(yīng)用白平衡校正280。差值閾值260將差值映射250分離成閃光部 分262和非閃光部分264。
圖9A和圖9B給出了使用校正系數(shù)計算270A和270B的細(xì)節(jié)。加 閃光燈的圖像202的閃光部分262經(jīng)過校正系數(shù)計算270A被處理，以 給出閃光校正值272。加閃光燈的圖像202的非閃光部分264經(jīng)過校 正系數(shù)計算270B被處理，以給出非閃光校正值274。校正系數(shù)計算270A 和270B的細(xì)節(jié)能夠如在此前所論述的美國專利No. 6， 243， 133中所闡 述的那樣。其它現(xiàn)有的白平衡算法也能夠被用于此能力(capacity) 中。
回到優(yōu)選實施方式，圖10示出了用于應(yīng)用白平衡校正280的細(xì) 節(jié)。閃光校正值272、非閃光校正值274、加閃光燈的圖像202和差值 映射250通過應(yīng)用白平衡校正280被處理。結(jié)果是新的圖《象500。白 平衡校正280的細(xì)節(jié)能夠如在此前所論述的美國專利No. 6, 243, 133
中所闡述的那樣。其它現(xiàn)有的白平衡算法也能夠被用于此能力中。
本發(fā)明的第二實施方式用于作為稍后使用的元數(shù)據(jù)的、將與加閃
光燈的圖像202或不加閃光燈的圖像200 —起存儲的差值映射250的值。
本發(fā)明的優(yōu)選實施方式(多個實施方式)中公開的白平衡校正算 法能夠在各種用戶范圍和環(huán)境中使用。示例性的范圍和環(huán)境(沒有限 制地)包括批發(fā)照片洗印服務(wù)(其示例性地包括諸如膠片輸入、數(shù)字 處理、打印輸出等過程步驟或階段)、零售照片洗印服務(wù)(膠片輸入、 數(shù)字處理、打印輸出)、家庭打印(家庭掃描的膠片或數(shù)字圖像、數(shù) 字處理、打印輸出)、桌面軟件(對數(shù)字打印應(yīng)用算法來使其更加完 美或僅只是改變它們的軟件)、數(shù)字實現(xiàn)(將數(shù)字圖像輸入介質(zhì)中-從介質(zhì)中輸入數(shù)字圖像或通過網(wǎng)絡(luò)輸入數(shù)字圖像、數(shù)字處理、將數(shù)字 形式的圖像輸出到介質(zhì)上或通過網(wǎng)絡(luò)輸出數(shù)字形式的圖像、或打印在 硬拷貝打印上)、公用電話亭(數(shù)字或掃描輸入、數(shù)字處理、數(shù)字或 掃描輸出)、移動裝置(例如，能夠被用作處理單元、顯示單元或給 出處理指令的單元的PDA或移動電話)，以及如經(jīng)由萬維網(wǎng)所提供的
服務(wù)那樣。
在所有情況下，白平衡算法能夠獨立或者能夠是較大系統(tǒng)解決方 案的組成部分。此外，與本算法(例如掃描或輸入、數(shù)字處理、對用 戶的顯示(如果需要的話)、用戶需求或處理指令的輸入(如果需要 的話)、輸出等)的接口均能夠在同一或不同的裝置和物理單元上， 并且裝置與單元之間的通信能夠經(jīng)由公共或?qū)Ｓ镁W(wǎng)絡(luò)連接或者基于介 質(zhì)的通括進(jìn)行。其中與本發(fā)明前述公開內(nèi)容相一致，所述算法本身能 夠是完全自動的，能夠具有用戶輸入(完全或部分手動)，能夠讓用 戶或操作者檢查來接受/拒絕結(jié)果，或者能夠得到元數(shù)據(jù)(能夠由用戶 提供、由測量裝置(例如，在照相機(jī)中)提供或由算法確定的元數(shù)據(jù)) 的幫助。而且，所述算法能夠與各種工作流用戶接口方案連接。
根據(jù)本發(fā)明在此公開的白平衡算法能夠具有利用各種數(shù)據(jù)檢測和 壓縮4支術(shù)(例如，面部檢測、眼睛檢測、皮膚檢測、閃光燈檢測等) 的內(nèi)部部件。
計算機(jī)程序產(chǎn)品能夠包括一種或多種存儲介質(zhì)，例如包括諸如磁 盤(諸如軟盤等)或磁帶等的磁存儲介質(zhì)；諸如光盤、光帶或機(jī)器可
讀條形碼等的光存儲介質(zhì)；諸如隨機(jī)存取存儲器(RAM)或只讀存儲器 (ROM)等的固態(tài)電子存儲裝置；或者用來存儲計算機(jī)程序的任何其它物 理裝置或介質(zhì)，該計算機(jī)程序具有用于控制一臺或多臺計算機(jī)來實踐 根據(jù)本發(fā)明的方法的指令。
部件列表110計算機(jī)系統(tǒng)
112基于微處理器的單元
114顯示器
116鍵盤
118鼠標(biāo)
120顯示器上的選擇器
122磁盤驅(qū)動單元
124光盤只讀存儲器(CD-ROM)
126軟盤
127網(wǎng)絡(luò)連接
12^打印機(jī)
130個人計算機(jī)卡(PC卡)
132PC卡讀取器
134數(shù)碼相機(jī)
136照相機(jī)底座端口
138電纜連接
140無線連接
200不加閃光燈的圖像
202加閃光燈的圖像
204基于差值的處理
210A亮度計算
210B亮度計算
214不加閃光燈的圖像的亮度通道
216加閃光燈的圖像的亮度通道
220亮度減法
230差值計算
250差值映射
260差值閾值
262閃光部分
264非閃光部分
270A校正系數(shù)分析
2 7 0B 校正系數(shù)分析
272 閃光校正值
274 非閃光校正值
280 應(yīng)用白平衡校正
300 場景
400 白平衡
500 新圖傳_
權(quán)利要求
1.一種對數(shù)字成像裝置所產(chǎn)生的數(shù)字圖像進(jìn)行增強(qiáng)的方法，其包括(a)使用數(shù)字成像裝置對同一場景捕獲至少兩幅初始數(shù)字圖像，其中，每幅數(shù)字圖像是在兩種不同的照明條件下捕獲的，并且為每幅這樣的數(shù)字圖像產(chǎn)生多個像素；(b)使用在不同照明條件下捕獲的數(shù)字圖像中的至少兩幅的像素值來產(chǎn)生差值；以及(c)響應(yīng)于相應(yīng)的差值，對數(shù)字圖像中的一幅的像素值進(jìn)行修正。
2. 如權(quán)利要求l所述的方法，其中，數(shù)字圖像的所使用的像素值具有對應(yīng)于從初始場景接收到的光強(qiáng)度的對數(shù)關(guān)系。
3. 如權(quán)利要求l所述的方法，其中，數(shù)字圖像的像素值具有紅色、 綠色和藍(lán)色分量，并且修正步驟包括改變像素值的顏色。
4. 如權(quán)利要求3所述的方法，其進(jìn)一步包括(a) 對于第一數(shù)字圖像和第二數(shù)字圖像，分別由紅色、綠色和藍(lán) 色分量計算出亮度像素值；和(b) 將差值計算為相對應(yīng)的亮度像素值之間的差。
5. 如權(quán)利要求l所述的方法，其中，響應(yīng)步驟包括在亮度通道差 值上執(zhí)行閾值步驟，以基于亮度分離不同的照明條件。
6. 如權(quán)利要求l所述的方法，其中，照明條件為加閃光燈的和不 加閃光燈的場景啄光，并且步驟(c)包括在數(shù)字圖像的閃光源部分上執(zhí) 行校正系數(shù)分析步驟。
7. 如權(quán)利要求l所述的方法，其中，照明條件為加閃光燈的和不 加閃光燈的場景曝光，并且步驟(c)包括在數(shù)字圖像的非閃光源部分上 執(zhí)行校正系數(shù)分析步驟。
8. 如權(quán)利要求l所述的方法，其中，照明條件為加閃光燈的和不 加閃光燈的場景啄光，并且步驟(c)包括基于數(shù)字圖像的閃光源部分的 校正值和數(shù)字圖像的非閃光源部分的校正值來執(zhí)行白平衡校正。
9. 如權(quán)利要求8所述的方法，其中，相對于亮度通道差值施加白 平衡校正值。
10. —種對由數(shù)字成像裝置所產(chǎn)生的數(shù)字圖像進(jìn)行增強(qiáng)的方法， 其包括 (a) 使用數(shù)字成像裝置對同一場景捕獲至少兩幅初始的數(shù)字圖 像，其中，至少一副數(shù)字圖像是用閃光燈捕獲的，而至少一副數(shù)字圖 像是不用閃光燈捕獲的，并且為每幅這樣的數(shù)字圖像產(chǎn)生多個像素；(b) 響應(yīng)于所捕獲的數(shù)字圖像中的兩幅或多幅，對數(shù)字圖像中的 至少 一 副的像素值進(jìn)行修正。
11. 一種對由數(shù)字成像裝置所產(chǎn)生的數(shù)字圖像進(jìn)行增強(qiáng)的方法， 其包括(a) 使用數(shù)字成像裝置對同一場景捕荻至少兩幅初始數(shù)字圖像， 其中，至少一副數(shù)字圖像是在第一照明條件下捕獲的，而至少另一副 數(shù)字圖像是在第二照明條件下捕獲的，并且每幅這樣的數(shù)字圖像具有 多個像素；(b) 基于所捕獲的數(shù)字圖像中的兩幅或多幅中的相應(yīng)的像素值， 在數(shù)字圖像中的一幅中，將數(shù)字圖像的像素值分割成不同區(qū)域；(c) 響應(yīng)于所分割的像素值，對數(shù)字圖像中的至少一幅的像素值 進(jìn)行修正。
全文摘要
一種對數(shù)字成像裝置所產(chǎn)生的數(shù)字圖像進(jìn)行增強(qiáng)的方法包括使用數(shù)字成像裝置對同一場景捕獲至少兩幅初始數(shù)字圖像，其中每幅數(shù)字圖像是在兩種不同的照明條件下捕獲的，并且為每幅這樣的數(shù)字圖像產(chǎn)生多個像素；使用在不同照明條件下捕獲的數(shù)字圖像中的至少兩幅的像素值來產(chǎn)生差值；以及響應(yīng)于相應(yīng)的差值，對初始數(shù)字圖像的像素值進(jìn)行修正。
文檔編號H04N9/73GK101103635SQ200680002108
公開日2008年1月9日 申請日期2006年1月3日 優(yōu)先權(quán)日2005年1月11日
發(fā)明者A·D·恩格, J·E·小亞當(dāng)斯 申請人:伊斯曼柯達(dá)公司