專利名稱：缺陷像素數(shù)據(jù)校正設(shè)備和方法以及攝像設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及缺陷像素數(shù)據(jù)校正設(shè)備、攝像設(shè)備和缺陷像素數(shù)據(jù)校正方法，更具體 地，涉及用于校正圖像傳感器的缺陷像素的技術(shù)。
背景技術(shù)：
數(shù)字照相機和數(shù)字?jǐn)z像機使用以CMOS圖像傳感器和CCD圖像傳感器為代表的圖 像傳感器。在圖像傳感器各自排列有數(shù)十萬至數(shù)千萬個像素的情況下，由于形成圖像傳感 器的材料的晶體缺陷(crystal fault)和灰塵，因此圖像傳感器包括不能生成要從像素輸 出的信號(下文中被稱為正常輸出信號)的像素。在本說明書中，將這類像素稱為缺陷像 素，并且將由缺陷像素輸出的異常信號稱為異常輸出信號。應(yīng)注意，異常輸出信號的輸出可 以包括根本不輸出信號的狀態(tài)。將缺陷像素大致分為兩種主要類別穩(wěn)定缺陷像素，其以穩(wěn)定方式輸出異常輸出 信號；以及不穩(wěn)定缺陷像素，其以不穩(wěn)定方式輸出正常輸出信號和異常輸出信號。已知在CMOS圖像傳感器中，異常信號的輸出特性在穩(wěn)定缺陷像素與不穩(wěn)定缺陷 像素之間是不同的。在排除諸如灰塵和開口不均勻的依賴于靈敏度的缺陷像素的情況下， 由于光接收單元的晶體缺陷而導(dǎo)致的白點缺陷構(gòu)成大多數(shù)穩(wěn)定缺陷像素。因此，將白點缺 陷像素定義為穩(wěn)定缺陷像素。由于白點缺陷像素伴隨著暗信號的增加，因此，異常信號輸出 電平具有依賴于缺陷像素的溫度和缺陷像素的電荷累積期間的特性。另一方面，不穩(wěn)定缺陷像素在發(fā)生晶體缺陷的位置上不同于穩(wěn)定缺陷像素，并且 不穩(wěn)定缺陷像素的異常輸出信號電平的特性因而幾乎不依賴于缺陷像素的溫度或電荷累 積期間。在圖6所示的CMOS圖像傳感器的像素的一般電路配置中，附圖標(biāo)記801和802分 別表示光電二極管(PD)和用于使累積的電荷復(fù)位的復(fù)位CMOS。另外，附圖標(biāo)記803和804 分別表示用于檢測電荷的浮動擴散(FD)和像素源極跟隨器。許多穩(wěn)定缺陷像素是由PD 801的晶體缺陷引起的，而認(rèn)為不穩(wěn)定缺陷像素是由 在構(gòu)成像素源極跟隨器804的MOS晶體管的界面態(tài)下重復(fù)電子捕獲和電子發(fā)射而引起的。 由于像素源極跟隨器804引起異常，因此，不穩(wěn)定缺陷像素的異常輸出信號電平幾乎不依 賴于溫度或電荷累積期間。傳統(tǒng)上，已提出了這樣一種技術(shù)通過根據(jù)缺陷像素的類型改變校正方法，適當(dāng)?shù)?校正不穩(wěn)定缺陷像素和穩(wěn)定缺陷像素(日本特開2008-131273號公報)。然而，日本特開2008-131273號公報沒有特別考慮以下事實異常信號輸出電平 對像素溫度和電荷累積期間的依賴性在不穩(wěn)定缺陷像素與穩(wěn)定缺陷像素之間是不同的。因 此，在像素溫度或電荷累積期間在缺陷像素檢測期間與被攝體圖像拍攝期間之間不同的情 況下，存在由于如上所述的依賴性的差異而對特別是不穩(wěn)定缺陷像素不適當(dāng)?shù)剡M(jìn)行校正的 可能性。例如，在使用高度依賴于溫度和電荷累積期間的穩(wěn)定缺陷像素作為標(biāo)準(zhǔn)時選擇要 校正的缺陷像素的情況下，不選擇要校正的不穩(wěn)定缺陷像素，或者選擇不要校正的不穩(wěn)定缺陷像素。在前一種情況下，未完成校正，從而導(dǎo)致對圖像的噪聲的不充分校正。在后一種 情況下，進(jìn)行了不必要的校正，從而導(dǎo)致分辨率劣化的問題。

發(fā)明內(nèi)容
考慮到上述現(xiàn)有技術(shù)的問題而作出了本發(fā)明。本發(fā)明提供了一種用于考慮到異常 信號輸出電平對攝像條件的依賴性根據(jù)缺陷像素的類型而不同的事實來執(zhí)行適當(dāng)?shù)娜毕?像素校正的缺陷像素數(shù)據(jù)校正設(shè)備，并且提供了一種包括該缺陷像素數(shù)據(jù)校正設(shè)備的攝像 設(shè)備以及一種用于校正缺陷像素數(shù)據(jù)的方法。根據(jù)本發(fā)明的一方面，提供了一種缺陷像素數(shù)據(jù)校正設(shè)備，用于校正包含在使用 包括多個像素的圖像傳感器拍攝到的圖像數(shù)據(jù)中的、從所述圖像傳感器的缺陷像素輸出的 缺陷像素數(shù)據(jù)，所述缺陷像素數(shù)據(jù)校正設(shè)備包括校正單元，用于基于所述圖像數(shù)據(jù)的攝像 條件和所述缺陷像素的類型，校正所述缺陷像素數(shù)據(jù)。根據(jù)本發(fā)明的另一方面，提供了一種攝像設(shè)備，包括圖像傳感器；以及根據(jù)本發(fā) 明的缺陷像素數(shù)據(jù)校正設(shè)備。根據(jù)本發(fā)明的又一方面，提供了一種缺陷像素數(shù)據(jù)校正方法，用于校正包含在使 用包括多個像素的圖像傳感器拍攝到的圖像數(shù)據(jù)中的、從所述圖像傳感器的缺陷像素輸出 的缺陷像素數(shù)據(jù)，所述缺陷像素數(shù)據(jù)校正方法包括校正步驟，用于基于所述圖像數(shù)據(jù)的攝 像條件和所述缺陷像素的類型，校正所述缺陷像素數(shù)據(jù)。根據(jù)以下參考附圖對示例性實施例的描述，本發(fā)明的其他特征將變得顯而易見。


圖1是示出作為根據(jù)本發(fā)明實施例的攝像設(shè)備的示例的數(shù)字靜態(tài)照相機的配置 示例的框圖；圖2A是說明實施例中用于檢測不穩(wěn)定缺陷像素的處理的詳情的流程圖；圖2B是說明實施例中用于檢測穩(wěn)定缺陷像素的處理的詳情的流程圖；圖3是說明實施例中用于校正缺陷像素的處理的詳情的流程圖；圖4是示出實施例中用于缺陷像素檢測的條件表的示例的圖；圖5是針對以紅色像素為中心的5X5像素示出包括原色的拜爾排列的濾色器的 圖像傳感器的圖；圖6是示出CMOS圖像傳感器的像素的一般電路配置的圖；圖7A是示出實施例中的缺陷像素信息的數(shù)據(jù)的配置示例的圖，而圖7B是示出缺 陷像素信息的缺陷ID_n的示例的圖；圖8A和圖8B是示出實施例中用于不穩(wěn)定缺陷像素判斷的閾值Ktn和用于穩(wěn)定缺 陷像素判斷的閾值Kim的示例的圖；以及圖9A至圖9D是示出實施例中的缺陷像素校正表的示例的圖。
具體實施例方式現(xiàn)在，將根據(jù)附圖詳細(xì)描述本發(fā)明的示例性實施例。圖1是示出數(shù)字靜態(tài)照相機120的配置示例的框圖，該數(shù)字靜態(tài)照相機120作為包括根據(jù)本發(fā)明實施例的缺陷像素數(shù)據(jù)校正設(shè)備的攝像設(shè)備的示例。圖像傳感器102是光電轉(zhuǎn)換元件，其以像素為單位將被攝體光學(xué)圖像轉(zhuǎn)換為模擬 視頻信號，并且輸出模擬圖像信號。例如，圖像傳感器102是CMOS圖像傳感器。透鏡100 將被攝體光學(xué)圖像形成到圖像傳感器102上。機械快門101打開和關(guān)閉在透鏡100與圖像 傳感器102之間的光路。定時發(fā)生器(TG) 103產(chǎn)生用于圖像傳感器102的驅(qū)動信號。A/D轉(zhuǎn)換電路104將從圖像傳感器102輸出的模擬圖像信號轉(zhuǎn)換為數(shù)字圖像信號。 存儲單元105的圖像存儲器106臨時存儲數(shù)字圖像信號作為RAW圖像信號。例如，存儲單 元105由半導(dǎo)體存儲設(shè)備構(gòu)成。另外，圖像存儲器106例如是DRAM。存儲單元105包括圖像存儲器106、缺陷像素信息存儲器107、缺陷像素校正表108 和缺陷像素檢測條件表109。下文將描述存儲單元105的詳細(xì)操作。缺陷像素判斷電路110判斷缺陷像素以及缺陷像素的類型，并且還判斷異常輸出 信號電平(缺陷輸出電平)。在本實施例中，缺陷像素判斷電路110判斷檢測到的缺陷像素 是不穩(wěn)定缺陷像素還是穩(wěn)定缺陷像素。另外，可以將缺陷像素判斷電路110配置成能判斷 其他缺陷像素。缺陷像素校正電路111根據(jù)像素的類型，校正在缺陷像素判斷電路110中判斷為 缺陷像素的像素。圖像處理電路112向臨時存儲在圖像傳感器106中的RAW圖像數(shù)據(jù)應(yīng)用預(yù)定圖像 處理，并且將RAW圖像數(shù)據(jù)轉(zhuǎn)換為最終輸出圖像格式，例如轉(zhuǎn)換為基于DCF的JPEG格式。本 文中的DCF是指用于數(shù)字照相機的圖像格式(Design rule of Camera File system，照相 機文件系統(tǒng)設(shè)計規(guī)則)的簡稱。然后，圖像處理電路112將轉(zhuǎn)換為最終輸出圖像格式的拍 攝圖像存儲在存儲介質(zhì)113中。例如，存儲介質(zhì)113是半導(dǎo)體存儲卡。溫度檢測單元115檢測圖像傳感器102的溫度和圖像傳感器102附近的溫度(環(huán) 境溫度)。例如，溫度檢測單元115是熱敏電阻。例如，控制單元114包括CPU、ROM和RAM，并且將存儲在ROM中的程序展開到RAM， 并在CPU中執(zhí)行該程序。然后，控制單元114整體控制數(shù)字靜態(tài)照相機的操作，該操作包括 下文所述的用于檢測缺陷像素的處理和用于校正缺陷像素的處理。操作單元116是輸入裝置組，并包括諸如電源接通/斷開按鈕、快門按鈕、菜單按 鈕、方向鍵、確定按鈕的各種類型的按鈕和鍵。當(dāng)操作者操作操作單元116時，通過控制單 元114檢測該操作。然后，控制單元114判斷操作的內(nèi)容，并將各種類型的指令輸出至數(shù)字 靜態(tài)照相機120。缺陷像素檢測處理接下來，將參照圖2A和圖2B中的流程圖，描述本實施例中由數(shù)字靜態(tài)照相機執(zhí)行 的用于檢測缺陷像素的方法的示例。本實施例中的用于檢測缺陷像素的處理包括用于檢測不穩(wěn)定缺陷像素的處理和 用于檢測穩(wěn)定缺陷像素的處理。如上所述，在異常輸出信號電平的輸出特性對溫度和電荷 累積期間的依賴性上，不穩(wěn)定缺陷像素和穩(wěn)定缺陷像素彼此不同。因此，用于檢測缺陷像素 的條件在不穩(wěn)定缺陷像素與穩(wěn)定缺陷像素之間是不同的。在本實施例中，將在圖6中的像素源極跟隨器804的MOS晶體管的界面態(tài)下重復(fù) 電子捕獲和電子發(fā)射的白點缺陷像素、或者黑點缺陷像素定義為不穩(wěn)定缺陷像素。另外，將由于圖6中的PD 801的晶體缺陷引起的白點缺陷像素定義為穩(wěn)定缺陷像素。應(yīng)注意，缺陷 像素的類型不限于不穩(wěn)定缺陷像素和穩(wěn)定缺陷像素這兩種類型，并且可以將其分類為三種 或更多種類型。 圖2A是說明用于檢測不穩(wěn)定缺陷像素的處理的詳情的流程圖。
當(dāng)攝影者操作包括在操作單元116中的電源接通/斷開按鈕以給出接通數(shù)字靜態(tài) 照相機120的電源的指令時，控制單元114開始用于啟動照相機的處理。然后，作為啟動處 理的一部分，控制單元114執(zhí)行如圖2A所示的用于檢測不穩(wěn)定缺陷像素的處理。如上所述，不穩(wěn)定缺陷像素的異常輸出信號電平幾乎不具有溫度依賴性。因此，在 本實施例中，在不太可能受穩(wěn)定缺陷像素影響的電源接通操作期間檢測不穩(wěn)定缺陷像素， 其中，假定在該電源接通操作期間數(shù)字靜態(tài)照相機(具體地，圖像傳感器102附近)具有較 低的溫度。在步驟S203，關(guān)閉機械快門101，以拍攝用于缺陷像素檢測的暗圖像。接下來，在 步驟S205，從缺陷像素檢測條件表109獲取用于檢測不穩(wěn)定缺陷像素的條件，并且在所獲 取的用于檢測缺陷像素的條件下拍攝暗RAW圖像。圖4示出缺陷像素檢測條件表109中所包含的用于檢測不穩(wěn)定缺陷像素的攝像條 件和用于檢測穩(wěn)定缺陷像素的攝像條件的示例。在該實施例中，根據(jù)圖4所示的用于檢測 不穩(wěn)定缺陷像素的拍攝條件拍攝暗RAW圖像。穩(wěn)定缺陷像素在某一溫度處產(chǎn)生異常輸出信號電平，而不穩(wěn)定缺陷像素的異常輸 出信號電平幾乎不具有溫度依賴性。因此，為了能分別檢測不穩(wěn)定缺陷像素和穩(wěn)定缺陷像 素，可以在圖像傳感器附近的溫度較低且累積期間較短的條件下檢測不穩(wěn)定缺陷像素。在 本實施例中，在25°C以下的溫度和設(shè)置為1/1000秒的累積期間下拍攝暗RAW圖像，以檢測 不穩(wěn)定缺陷像素。另外，不穩(wěn)定缺陷像素具有以不穩(wěn)定方式輸出異常輸出信號的特性。因此，在檢測 期間進(jìn)行多次(在本實施例中為32次)攝像，并且根據(jù)基于所獲得的多個拍攝圖像中的各 像素的最大輸出電平的峰值保持系統(tǒng)，來檢測不穩(wěn)定缺陷像素的異常輸出信號電平。用于檢測不穩(wěn)定缺陷像素的攝像進(jìn)行得越頻繁，檢測不穩(wěn)定缺陷像素的精確度就 越高，但增大了該檢測所需的總攝像期間。因此，期望考慮到檢測精確度和總攝像期間來設(shè) 置攝像頻率?？刂茊卧?14確認(rèn)由溫度檢測單元115檢測到的溫度是否與攝像條件25°C以下一 致。如果該溫度與攝像條件一致，則控制單元114按照以1/1000秒的規(guī)定累積期間(電子 快門速度)進(jìn)行攝像的方式，控制TG 103和A/D轉(zhuǎn)換電路104等。然后，將通過攝像獲得 的暗RAW圖像數(shù)據(jù)臨時存儲在圖像存儲器106中。將暗RAW圖像的拍攝和暗RAW圖像數(shù)據(jù) 的存儲重復(fù)執(zhí)行32次。接下來，通過執(zhí)行從步驟S207至步驟S215的處理，控制單元114判斷RAW圖像數(shù) 據(jù)的各像素是否是不穩(wěn)定缺陷像素。本文中的圖像傳感器102具有原色的拜爾排列的濾色器。圖5是針對5X5像素 示出在圖像傳感器102的各像素中設(shè)置的濾色器的排列的圖。應(yīng)注意，盡管將以原色的拜 爾排列的濾色器為前提描述本實施例，但是可以采用其他濾色器配置。當(dāng)將圖5中的中心像素R33用作要進(jìn)行缺陷像素判斷的對象像素時，如下在步驟S207獲得圍繞對象像素的、并具有與對象像素的顏色相同的顏色的周邊像素的平均值
AVEr33 οAVEe33 = (Rn+R13+R15+R31+R35+R51+R53+R55)/8另外，根據(jù)以下等式，獲得平均值A(chǔ)VE33與值R33之間的差值DR33。DR33= R33-AVEe33在步驟S209，控制單元114控制缺陷像素判斷電路110，以將差值Dk33與用于不穩(wěn) 定缺陷像素的判斷閾值Ktn進(jìn)行比較。還可以針對不穩(wěn)定缺陷像素的檢測和穩(wěn)定缺陷像素 的檢測分別設(shè)置用于缺陷像素判斷的閾值。可以利用預(yù)定攝像條件下的攝像結(jié)果，來預(yù)先 確定用于缺陷像素判斷的閾值。圖8A和圖8B示出本實施例中用于不穩(wěn)定缺陷像素判斷的閾值Ktn和用于穩(wěn)定缺 陷像素判斷的閾值Kim的示例。在本實施例中，根據(jù)缺陷像素的異常輸出信號電平(mV)，將 判斷閾值分為Ktl至KtS這8個階段和Kul至KuS這8個階段。另外，用于不穩(wěn)定缺陷像素判斷的閾值Ktn幾乎不依賴于溫度或電荷累積期間， 并因而設(shè)置該閾值，以相比于用于穩(wěn)定缺陷像素判斷的閾值更細(xì)微地劃分該閾值。另外，將 異常輸出信號電平對應(yīng)于最小階段的閾值Ktn(圖8A和圖8B中的Kt8)稱為Ktmax。這同 樣適用于閾值Kim。然后，在Ktmax > Dk33、即5mV > De33的情況下，控制單元114在步驟S213判斷為 對象像素R33輸出正常值，即對象像素R33不是不穩(wěn)定缺陷像素。另一方面，在Ktmax ( De33>即5mV ( De33的情況下，控制單元114判斷為對象像素 R33是不穩(wěn)定缺陷像素。然后，在步驟S211，控制單元114根據(jù)Dk33的值，在缺陷像素判斷電 路110中判斷對象像素滿足的最大閾值Ktn。然后，控制單元114將以下信息作為缺陷像素 信息記錄在缺陷像素信息存儲器107上(1)表示所判斷出的閾值Ktn的缺陷等級(缺陷 ID_n_LEVEL) ； (2)指定R33的位置的信息(例如，X地址和Y地址)；以及(3)缺陷像素類 型(不穩(wěn)定缺陷像素)的識別ID (缺陷ID_n)。圖7A是示出缺陷像素信息的數(shù)據(jù)配置示例的圖，其中，將14位數(shù)據(jù)長度分別分配 給X地址和Y地址，將2位數(shù)據(jù)長度分配給缺陷ID_n，以及將3位數(shù)據(jù)長度分配給缺陷ID_ n_LEVEL。在這種情況下，2位長度的缺陷ID_n是指用于識別缺陷像素的類型的ID，并且如 圖7B所示，可以根據(jù)是否存在累積期間依賴性、溫度依賴性和ISO感光度依賴性的組合來 識別達(dá)到4種類型的缺陷像素。然而，在本實施例中要識別的缺陷像素包括不穩(wěn)定缺陷像 素和穩(wěn)定缺陷像素這兩種類型。如果在缺陷像素信息存儲器107上未記錄關(guān)于R33的缺陷像素信息，則在步驟 S211，控制單元114將關(guān)于R33的缺陷像素信息新記錄在缺陷像素信息存儲器107上。另一 方面，如果在缺陷像素信息存儲器107上已記錄關(guān)于R33的缺陷像素信息，則控制單元114 合并已記錄的缺陷像素信息和不穩(wěn)定缺陷像素地址信息，并且將合并后的信息記錄在缺陷 像素信息存儲器107上?？刂茊卧?14針對缺陷像素檢測區(qū)域中的所有像素，重復(fù)進(jìn)行上述的從步驟S207 至步驟S215的處理，并且結(jié)束不穩(wěn)定缺陷像素檢測。接下來，將參考圖2B所示的流程圖來描述用于檢測穩(wěn)定缺陷像素的處理的詳情。圖2B是說明用于檢測穩(wěn)定缺陷像素的處理的詳情的流程圖。當(dāng)攝影者操作包括在操作單元116中的電源接通/斷開按鈕以給出斷開數(shù)字靜態(tài) 照相機120的電源的指令時，控制單元114開始用于結(jié)束照相機的操作的處理。然后，作為 用于結(jié)束該操作的處理的一部分，控制單元114執(zhí)行如圖2B所示的用于檢測穩(wěn)定缺陷像素 的處理。穩(wěn)定缺陷像素的異常輸出信號電平具有如上所述的溫度依賴性。因此，在本實施 例中，在假定數(shù)字靜態(tài)照相機(特別地，圖像傳感器102附近)具有較高溫度的電源斷開操 作期間進(jìn)行穩(wěn)定缺陷像素檢測。然后，在步驟S219至步驟S231，控制單元114以與用于檢測不穩(wěn)定缺陷像素的處 理中的步驟S203至S215相同的方式檢測穩(wěn)定缺陷像素。然而，在步驟S221，用于拍攝暗圖像的條件(圖4)是不同的。特別地，進(jìn)行一次攝 像就足夠了，因此不需要針對各像素獲得最大值。這是因為穩(wěn)定缺陷像素穩(wěn)定地輸出異常 輸出信號。另外，用于檢測穩(wěn)定缺陷像素的處理的不同之處在于，用于步驟S225中的比較 的閾值電壓是用于穩(wěn)定缺陷像素判斷的閾值Ku8 ( = Kumax)。這樣，將關(guān)于在對溫度和電荷累積期間的依賴性方面彼此不同的不穩(wěn)定缺陷像素 和穩(wěn)定缺陷像素中的每一個的缺陷像素信息記錄在缺陷像素信息存儲器107上。應(yīng)注意，盡管在本實施例中描述了在數(shù)字靜態(tài)照相機的電源接通狀態(tài)下進(jìn)行用于 檢測不穩(wěn)定缺陷像素的處理、而在數(shù)字靜態(tài)照相機的電源斷開狀態(tài)下進(jìn)行用于檢測穩(wěn)定缺 陷像素的處理的情況，但是可以任意設(shè)置用于檢測不穩(wěn)定缺陷像素或穩(wěn)定缺陷像素的處理 的執(zhí)行定時。例如，在裝運數(shù)字靜態(tài)照相機前的工廠調(diào)整中可以進(jìn)行用于檢測不穩(wěn)定缺陷 像素或穩(wěn)定缺陷像素的處理，或者在判斷圖像傳感器102的溫度是否滿足攝像條件并且該 溫度滿足攝像條件的情況下，執(zhí)行用于檢測不穩(wěn)定缺陷像素或穩(wěn)定缺陷像素的處理。缺陷像素校ιΗ處理接下來，將描述根據(jù)本實施例的數(shù)字靜態(tài)照相機中用于校正缺陷像素的處理。對 于由用戶拍攝到并記錄在圖像存儲器106上的被攝體圖像的拍攝圖像數(shù)據(jù)中所包含的、從 缺陷像素輸出的圖像數(shù)據(jù)(缺陷像素數(shù)據(jù))，執(zhí)行用于校正缺陷像素的處理。當(dāng)全按下包括在操作單元116中的快門按鈕以從用戶給出開始攝像的指令時，控 制單元114執(zhí)行拍攝圖像的操作。更具體地，控制單元114根據(jù)利用諸如自動焦點檢測功 能和自動曝光控制功能的已知功能判斷出的攝像條件，控制透鏡100的焦距以及機械快門 101的打開和關(guān)閉，并且使圖像傳感器102曝光。然后，以從圖像傳感器102的各像素讀出 模擬視頻信號并將其供給A/D轉(zhuǎn)換電路104的方式，控制單元114指示TG 103輸出定時信 號。A/D轉(zhuǎn)換電路104將模擬視頻信號轉(zhuǎn)換為數(shù)字視頻信號，并且將數(shù)字視頻信號作為RAW 圖像數(shù)據(jù)記錄在圖像存儲器106上。隨后，控制單元114執(zhí)行如圖3的流程圖所示的用于校正缺陷像素的處理。在步 驟S303，控制單元114從缺陷像素信息存儲器107針對各像素讀出缺陷像素信息，并且將缺 陷像素信息供給缺陷像素判斷電路110。在步驟S305，缺陷像素判斷電路110根據(jù)在所供 給的缺陷像素信息中所包含的缺陷像素類型的識別ID (缺陷ID_n)，判斷要進(jìn)行校正的缺 陷像素的類型，并且將判斷結(jié)果供給缺陷像素校正電路111。在步驟S307，缺陷像素校正電路111參考與在步驟S305由缺陷像素判斷電路110判斷出的缺陷像素的類型相對應(yīng)的缺陷像素校正表108，以獲取要校正的缺陷等級的范圍。 缺陷像素校正表108是用于根據(jù)用于拍攝要進(jìn)行校正的圖像的條件來確定要進(jìn)行校正的 缺陷像素(缺陷等級的范圍)的表。也就是說，缺陷像素校正表108是用于基于用于拍攝 要進(jìn)行校正的圖像的條件和缺陷像素的類型來判斷是否需要校正缺陷像素數(shù)據(jù)的表。應(yīng)注 意，盡管在本實施例中，攝像條件是溫度、電荷累積期間(快門速度或曝光期間)和ISO感 光度，但是攝像條件并不限于這些條件，并且可以包括其他攝像條件。圖9A至圖9D是缺陷像素校正表108的示例。在圖9A至圖9D中，Ktl至Kt8以及 Kul至Ku8等于圖8A和圖8B所示的閾值。在缺陷像素校正表108中，Ktl意味著，將Ktl 作為異常輸出信號電平所滿足的最大閾值(即，缺陷等級)的不穩(wěn)定缺陷像素是要進(jìn)行校 正(需要校正)的不穩(wěn)定缺陷像素。因此，Ktl至KtS意味著，所有不穩(wěn)定缺陷像素要進(jìn)行 校正。這同樣適用于Kul至Ku8。圖9A和圖9B示出與100和1600的ISO感光度相對應(yīng)的用于穩(wěn)定缺陷像素的校 正表的示例，而圖9C和圖9D示出與100和1600的ISO感光度相對應(yīng)的用于不穩(wěn)定缺陷像 素的校正表的示例。另外，盡管在圖中未示出，但是在缺陷像素校正表108中還準(zhǔn)備了與其 他ISO感光度相對應(yīng)的校正表。按照以下方式配置圖9A和圖9B所示的用于穩(wěn)定缺陷像素的校正表溫度越高，電 荷累積期間越長(電子快門速度越高)，則要進(jìn)行校正的異常輸出信號電平(缺陷等級)的 范圍增加得越大。這是因為穩(wěn)定缺陷像素具有溫度越高、電荷累積期間越長、則輸出的異常 輸出信號的電平越高的特性。例如，在溫度最高(約50°C)和電荷累積期間最長(約15s) 的攝像條件下，不管缺陷等級如何，都要對所有穩(wěn)定缺陷像素進(jìn)行校正。另一方面，不穩(wěn)定缺陷像素的異常輸出信號電平幾乎不依賴于溫度或電荷累積期 間。因此，在圖9C和圖9D中所示的用于不穩(wěn)定缺陷像素的校正表中，要進(jìn)行校正的異常 輸出信號電平平(缺陷等級)的范圍不會隨著溫度或電荷累積期間而變化。因此，在相同 ISO感光度處，即使溫度或電荷累積期間變化，也提供要進(jìn)行校正的不穩(wěn)定缺陷像素的缺陷 等級的范圍相同的缺陷像素校正表。另一方面，與穩(wěn)定缺陷像素相同，ISO感光度越高，則 要進(jìn)行校正的不穩(wěn)定缺陷像素的缺陷等級的范圍越寬。如上所述，在本實施例中，考慮到異常輸出信號電平對溫度和電荷累積期間的依 賴性在不穩(wěn)定缺陷像素與穩(wěn)定缺陷像素之間不同的事實，針對各種類型的缺陷像素準(zhǔn)備與 攝像條件相對應(yīng)的校正表。然后，將與缺陷像素的類型相對應(yīng)的校正表用于進(jìn)行缺陷像素 校正。在步驟S309，缺陷像素校正電路111根據(jù)記錄在缺陷像素信息存儲器107上的缺 陷像素信息，參考要進(jìn)行校正的缺陷像素的缺陷等級(缺陷ID_n_LEVEL)。然后，在步驟 S311，缺陷像素校正電路111判斷各缺陷像素的缺陷等級是否包括在校正表108中所示的 Ktn或Kim的范圍內(nèi)，并且如果包括缺陷等級，則判斷為需要校正，或者如果不包括缺陷等 級，則判斷為不需要校正。例如，假設(shè)缺陷像素的類型是穩(wěn)定缺陷像素，在攝像期間由溫度檢測單元115表 示的檢測溫度為25°C，電荷累積期間(電子快門速度)為1/60秒，并且ISO感光度為100。 在這種情況下，參考圖9A中的用于穩(wěn)定缺陷像素的校正表發(fā)現(xiàn)，具有Kul至Ku2的異常輸 出信號電平的穩(wěn)定缺陷像素要進(jìn)行校正。因此，如果存儲在缺陷像素信息存儲器107中的缺陷像素的缺陷等級為Kul或Ku2，則缺陷像素校正電路111判斷為需要校正，而如果存儲 在缺陷像素信息存儲器107中的缺陷像素的缺陷等級為Ku3至Ku8，則缺陷像素校正電路 111判斷為不需要缺陷像素校正。然后，在步驟S311判斷為需要校正的情況下，處理進(jìn)入步驟S313，在步驟S313，缺 陷像素校正電路111基于記錄在缺陷像素信息存儲器107上的缺陷像素信息，對要進(jìn)行校 正的像素執(zhí)行用于校正缺陷像素的處理。在用于校正缺陷像素的方法根據(jù)缺陷像素的類型 而不同的情況下，缺陷像素校正電路111根據(jù)缺陷像素的類型來使用缺陷校正方法，以進(jìn) 行校正處理。缺陷像素校正電路111將校正后的像素數(shù)據(jù)寫回到圖像存儲器106中，或者 將校正后的像素數(shù)據(jù)供給圖像處理電路112?？蛇x地，在步驟S311判斷為不需要校正的情 況下，缺陷像素校正電路111不對像素數(shù)據(jù)進(jìn)行校正，而是將圖像數(shù)據(jù)直接供給圖像處理 電路112，并且處理進(jìn)入步驟S315。作為在步驟S313執(zhí)行的用于不穩(wěn)定缺陷像素和穩(wěn)定缺陷像素的缺陷像素校正方 法的示例，以下將描述用于根據(jù)與缺陷像素相鄰的相同顏色的像素進(jìn)行插值的方法。在要進(jìn)行校正的像素(在本文中為圖5中的像素R33)是缺陷像素的情況下，根 據(jù)相同顏色的上下或左右相鄰像素的值，對要進(jìn)行校正的像素的值進(jìn)行插值。盡管可以適 當(dāng)?shù)剡x擇使用上下相鄰像素或左右相鄰像素中的哪對像素，但是根據(jù)被攝體適應(yīng)地確定像素。作為在使用相同顏色的上下相鄰像素的情況下的插值方法的示例，可以根據(jù)以下 公式執(zhí)行校正。R33 = (R31+R35)+2作為在使用相同顏色的左右相鄰像素的情況下的插值方法的示例，可以根據(jù)以下 公式進(jìn)行校正。R33 = (R13+R53)+2在步驟S315，控制單元114確認(rèn)是否對記錄在缺陷像素信息存儲器107上的所有 缺陷像素執(zhí)行了從步驟S303至步驟S313的處理，并且在對所記錄的所有缺陷像素執(zhí)行了 該處理的情況下，結(jié)束用于校正缺陷像素的處理。如果存在未處理的缺陷像素，則向未處理 的缺陷像素應(yīng)用從步驟S303至步驟S313的處理。將應(yīng)用了用于校正缺陷像素的處理的RAW圖像數(shù)據(jù)從圖像存儲器106供給圖像處 理電路112。圖像處理電路112向校正后的RAW圖像數(shù)據(jù)應(yīng)用圖像處理，并且將RAW圖像數(shù) 據(jù)記錄在記錄介質(zhì)113上。盡管在本實施例中描述了在圖像處理電路112中向圖像應(yīng)用圖像處理之前、在缺 陷像素校正電路111中校正由用戶拍攝到的圖像的方法，但是可以在圖像處理電路112中 的圖像處理的同時進(jìn)行缺陷像素校正。在這種情況下，缺陷像素校正電路111包括在圖像 處理電路112中。另外，在本實施例中描述了以下這種情況向臨時存儲在圖像存儲器106中的RAW 圖像數(shù)據(jù)中所包含的所有缺陷像素應(yīng)用用于校正缺陷像素的處理，然后將校正后的RAW圖 像數(shù)據(jù)供給圖像處理電路112。然而，可以通過順序地從圖像存儲器106讀出RAW圖像數(shù)據(jù) 并根據(jù)所讀出的像素是否是缺陷像素來改變至圖像處理電路112的供給路徑，來以像素為 單位將RAW圖像數(shù)據(jù)順序地供給圖像處理電路112。在這種情況下，如果所讀出的像素是缺陷像素，則經(jīng)由缺陷像素判斷電路110和缺陷像素校正電路111將圖像數(shù)據(jù)供給圖像處理 電路112，而如果所讀出的像素不是缺陷像素，則將圖像數(shù)據(jù)直接從圖像存儲器106供給圖 像處理電路112。如上所述，根據(jù)本實施例，考慮到異常信號輸出電平對攝像條件的依賴性根據(jù)缺 陷像素的類型而不同的事實，利用與缺陷像素的類型相對應(yīng)的攝像條件來進(jìn)行缺陷像素檢 測。因而，可以適當(dāng)?shù)刈R別缺陷像素的類型。另外，在用于校正缺陷像素的處理中，根據(jù)攝像條件和缺陷像素的類型來確定要 校正的缺陷像素。因此，可以適當(dāng)?shù)匦Ｕ趯z像條件的依賴性方面不同的多種類型的缺 陷像素。因此，可以抑制諸如分辨率劣化或噪聲增大的圖像劣化，這些圖像劣化是由于校正 了不需要校正的缺陷像素或者由于未能校正需要校正的缺陷像素而引起的。其他實施例還可以通過讀出并執(zhí)行存儲設(shè)備上所記錄的程序以執(zhí)行上述實施例的功能的系 統(tǒng)或設(shè)備的計算機(或者諸如CPU或MPU的裝置)以及通過以下方法來實現(xiàn)本發(fā)明的各方 面，其中，由系統(tǒng)或設(shè)備的計算機通過例如讀出并執(zhí)行存儲設(shè)備上所記錄的程序以執(zhí)行上 述實施例的功能，來執(zhí)行該方法的各步驟。為了該目的，例如，經(jīng)由網(wǎng)絡(luò)或者從用作存儲設(shè) 備的各種類型的記錄介質(zhì)(例如，計算機可讀介質(zhì))向計算機提供該程序。盡管已經(jīng)參考典型實施例描述了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開的 典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功 能。
權(quán)利要求
1.一種缺陷像素數(shù)據(jù)校正設(shè)備，用于校正包含在使用包括多個像素的圖像傳感器拍攝 到的圖像數(shù)據(jù)中的、從所述圖像傳感器的缺陷像素輸出的缺陷像素數(shù)據(jù)，所述缺陷像素數(shù) 據(jù)校正設(shè)備包括校正單元，用于基于所述圖像數(shù)據(jù)的攝像條件和所述缺陷像素的類型，校正所述缺陷 像素數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的缺陷像素數(shù)據(jù)校正設(shè)備，其特征在于，還包括判斷單元，用 于基于所述圖像數(shù)據(jù)的攝像條件和所述缺陷像素的類型，判斷是否需要校正所述缺陷像素 數(shù)據(jù)，其中，所述校正單元校正由所述判斷單元判斷為需要校正的缺陷像素數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的缺陷像素數(shù)據(jù)校正設(shè)備，其特征在于，所述缺陷像素的類型 包括穩(wěn)定缺陷像素和不穩(wěn)定缺陷像素，以及所述攝像條件包括所述圖像傳感器的環(huán)境溫度和所述圖像傳感器的電荷累積期間。
4.根據(jù)權(quán)利要求2所述的缺陷像素數(shù)據(jù)校正設(shè)備，其特征在于，還包括第一存儲單元，用于針對所述多個像素中所包括的各缺陷像素，存儲包含缺陷像素的 類型和缺陷輸出電平的缺陷像素信息；以及第二存儲單元，用于存儲將所述缺陷像素的類型、所述攝像條件和要進(jìn)行校正的缺陷 輸出電平彼此相關(guān)聯(lián)的校正表，其中，所述判斷單元基于所述缺陷像素信息和所述校正表，判斷是否需要校正所述缺 陷像素數(shù)據(jù)。
5.一種攝像設(shè)備，包括圖像傳感器；以及根據(jù)權(quán)利要求1至4中任一項所述的缺陷像素數(shù)據(jù)校正設(shè)備。
6.根據(jù)權(quán)利要求5所述的攝像設(shè)備，其特征在于，還包括檢測單元，用于根據(jù)通過在 預(yù)定攝像條件下使用所述圖像傳感器拍攝暗圖像而獲得的圖像數(shù)據(jù)，檢測所述圖像傳感器 中所包括的缺陷像素和所述缺陷像素的類型，其中，所述預(yù)定攝像條件根據(jù)所檢測的缺陷像素的類型而不同。
7.根據(jù)權(quán)利要求6所述的攝像設(shè)備，其特征在于，所述檢測單元根據(jù)通過拍攝所述暗 圖像而獲得的圖像數(shù)據(jù)，檢測穩(wěn)定缺陷像素和不穩(wěn)定缺陷像素。
8.一種缺陷像素數(shù)據(jù)校正方法，用于校正包含在使用包括多個像素的圖像傳感器拍攝 到的圖像數(shù)據(jù)中的、從所述圖像傳感器的缺陷像素輸出的缺陷像素數(shù)據(jù)，所述缺陷像素數(shù) 據(jù)校正方法包括校正步驟，用于基于所述圖像數(shù)據(jù)的攝像條件和所述缺陷像素的類型，校正所述缺陷 像素數(shù)據(jù)。
全文摘要
本發(fā)明提供了缺陷像素數(shù)據(jù)校正設(shè)備和方法以及攝像設(shè)備。根據(jù)各缺陷像素的類型和缺陷等級以及攝像條件來確定圖像傳感器的缺陷像素中需要校正的缺陷像素。根據(jù)缺陷像素的類型，預(yù)先準(zhǔn)備攝像條件與要校正的缺陷像素的缺陷等級之間的對應(yīng)性，從而考慮了異常信號輸出電平對攝像條件的依賴性根據(jù)缺陷像素的類型而不同的事實來進(jìn)行適當(dāng)?shù)娜毕菹袼匦Ｕ?br> 文檔編號H04N5/225GK101998068SQ201010251940
公開日2011年3月30日 申請日期2010年8月9日 優(yōu)先權(quán)日2009年8月7日
發(fā)明者山口利朗 申請人:佳能株式會社