專利名稱：實時識別和校正圖像傳感器陣列的像素缺陷的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在數(shù)字成像環(huán)境內(nèi)能實時識別和校正一個圖像傳感器陣列內(nèi)的有缺陷像素的方法和設(shè)備。
背景技術(shù)：
在一個圖像傳感器受到一個圖像的曝光時，每一個像素就將它所“見到”的光的量記錄為一個從在沒有光到達(dá)這個像素的暗信號到表示像素可檢測的最大光量的全白信號之間的強(qiáng)度級。圖像傳感器這樣所截獲的圖像被處理為一個灰度圖像。
為了檢測在圖像傳感器上曝光的圖像的顏色，圖像傳感器的各個像素上覆蓋有各自的濾色器，它吸收除濾色器的顏色之外的所有顏色。一種從圖像傳感器獲得彩色信息的典型方法是在圖像傳感器的像素上設(shè)置一個濾色器陣列。這種濾色器陣列的最普通的例子是

圖1所示的Bayer馬賽克濾色器。Bayer馬賽克濾色器具有棋盤狀的結(jié)構(gòu)，包括一系列紅和綠濾色器與藍(lán)和綠濾色器交替的行。紅和藍(lán)濾光鏡相互偏移成使得沒有兩個綠濾色器共享一個在相鄰行和列之間的邊界。為了獲得完全的彩色信息，對于每一個像素來說，必須根據(jù)周圍各像素的那些顏色的級別進(jìn)行對彩色強(qiáng)度的內(nèi)插。
雖然一個典型的圖像傳感器具有至少幾十萬像素，用來收集一個圖像的經(jīng)濾色的信息，每個像素不只是對于在本像素內(nèi)所記錄的信號值是重要的，而且還要供周圍其他像素內(nèi)插彩色信息使用。因此，在一個像素有缺陷時，它的影響可以被復(fù)合從而影響圖像的一個很顯著的部分。
由于諸如電荷耦合器件(CCD)或互補金屬氧化物半導(dǎo)體(CMOS)之類的圖像傳感器的生產(chǎn)過程中的若干固有的不定性，每個傳感器成像陣列內(nèi)的有些像素或者始終是暗的(通常是由于電路內(nèi)的短路引起的)或者始終是太亮(通常是由于異常高的泄漏電流引起的)。在大多數(shù)情況下這些缺陷可以通過在圖像處理期間用相鄰像素的值代替有缺陷的信號值來校正。然而，這樣的替換需要知道有缺陷像素的位置。
在大多數(shù)當(dāng)前已知的攝影機(jī)內(nèi)，有缺陷像素的位置在生產(chǎn)階段的離線測試程序過程中確定，并存儲在攝影機(jī)的非易失性存儲器內(nèi)。這種常規(guī)方法的主要缺點是能校正的缺陷的數(shù)量受到專用于此的非易失性存儲器的容量的限制。這種常規(guī)方法的另一個缺點是需要一個獨立的制造步驟來標(biāo)識和存儲這些有缺陷的位置。
現(xiàn)有的其他攝影機(jī)組件通過將每個像素與諸如本像素同一行內(nèi)兩側(cè)的像素那樣的相鄰像素相比較和用基于門限的準(zhǔn)則來實施替換以執(zhí)行對有缺陷像素的校正。這種用根據(jù)預(yù)定門限進(jìn)行比較的缺陷校正方法往往引起清晰度降低，因為從圖像中“除去”了諸如垂直細(xì)線之類的細(xì)節(jié)。
考慮到該技術(shù)的現(xiàn)階段的狀況，如果可以不要當(dāng)前存儲預(yù)先標(biāo)定缺陷映像所需的專用非易失性存儲器，并且如果可以不用門限準(zhǔn)則來進(jìn)行有缺陷像素的校正，則校正有缺陷像素的過程就會大大得到改善。
發(fā)明概要本發(fā)明針對現(xiàn)有技術(shù)的這些缺點，提出了一種方法和設(shè)備，可以實時校正在一個圖像傳感器陣列內(nèi)任意多個有著暗和亮缺陷的像素的圖像數(shù)據(jù)，而不需要一個單獨的生產(chǎn)階段來對有缺陷像素進(jìn)行標(biāo)定或一個非易失性媒體來存儲一個預(yù)先標(biāo)定的缺陷映像。本發(fā)明的方法和設(shè)備還可以識別有缺陷像素數(shù)據(jù)，而不依賴于具體確定某一缺陷，也不需要用任何特定的門限去和可能的缺陷相比較。本發(fā)明的方法和設(shè)備還可以校正一個圖像內(nèi)的有缺陷像素，而與這個圖像的內(nèi)容無關(guān)，這樣來校正一個圖像內(nèi)的有缺陷像素數(shù)據(jù)不會明顯影響這個圖像的清晰度，而且這樣來校正一個圖像內(nèi)的有缺陷像素數(shù)據(jù)同時還減小了這個圖像內(nèi)的峰-峰噪聲改變。
本發(fā)明的圖像處理系統(tǒng)和方法將一個圖像內(nèi)的每個像素的信號與濾色器陣列內(nèi)相同顏色的至少八個周圍像素的各個信號相比較。如果一個給定像素的信號比相同顏色的八個周圍像素的各個信號都大，就將這個中央像素信號的值用相同顏色的周圍八個像素中最大的信號值代替。類似地，如果一個給定像素的信號比相同顏色的八個周圍像素的各個信號都小，就將這個中央像素信號的值用相同顏色的周圍八個像素中最小的信號值代替。
本發(fā)明還包括檢測一個圖像傳感器的像素陣列內(nèi)的成簇有缺陷像素的能力，這可以在有缺陷像素數(shù)據(jù)識別和校正操作后執(zhí)行，其中將相同彩色類型的兩個相鄰像素的信號值之差的絕對值與一個門限值相比較，如果確定任何兩個信號值之差的絕對值大于這個門限就存在一個成簇缺陷。優(yōu)選的是，這個操作只是在工廠測試期間執(zhí)行，但也可以配置成在完成有缺陷像素數(shù)據(jù)識別和校正操作后在成像設(shè)備內(nèi)自動執(zhí)行。
從以下結(jié)合附圖對本發(fā)明的說明中可以清楚地看到本發(fā)明的其他特征和優(yōu)點。
附圖簡要說明圖1為示出已知的用于圖像傳感器的Bayer馬賽克濾色器配置模式的示意圖；圖2為例示按照本發(fā)明識別和校正有缺陷像素數(shù)據(jù)的方法的示意圖；圖3為例示按照本發(fā)明檢測圖像傳感器像素陣列內(nèi)成簇有缺陷像素的方法的示意圖；圖4為例示實現(xiàn)本發(fā)明的有缺陷像素數(shù)據(jù)識別和校正方法的處理單元的示意圖；圖5為采用本發(fā)明的有缺陷像素數(shù)據(jù)識別和校正系統(tǒng)和方法的成像設(shè)備的實例；以及圖6為與本發(fā)明的成像設(shè)備通信的處理系統(tǒng)的實例。
發(fā)明詳細(xì)說明在本發(fā)明的方法方面，將圖像傳感器獲得的一個圖像的每個像素的信號值與具有與受測像素相同的濾色器的、與受測像素相鄰或接近的至少八個最接近的周圍像素的值相比較。這種方法的一個例子將用一個具有Bayer馬賽克濾色器陣列的圖像傳感器獲得的圖像進(jìn)行說明。如圖2所示，將中央像素P0的信號值與相同顏色的八個最接近的周圍像素相比較。在這個例子中，這八個最接近的周圍像素位于受測像素(P0)的同一行(P4，P5)、同一列(P2，P7)和對角線(P1，P3，P6，P8)處，與P0各隔開一個像素。
如果P0的信號比八個周圍像素P1至P8的各個信號都大，P0的信號值就用像素P1至P8的信號值中最大的信號值代替。類似，如果P0的信號比八個周圍像素P1至P8的各個信號都小，P0的信號值就用像素P1至P8的信號值中最小的信號值代替。
在數(shù)學(xué)上，這可表示為，如果P0＝max(P1，...，P8)，或者如果P0＝min(P1，...，P8)，則 P0＝Pi，其中Pi滿足|P0-Pk|＝min|P0-Pk|，其中k＝1，...，8。
由于這種方法需要來自受測像素各側(cè)的兩個行和列(各在單色濾光的陣列的一側(cè))的圖像數(shù)據(jù)，因此如上所述的方法并沒有考慮到檢驗和校正在圖像傳感器所獲得的圖像的最外面的兩個行和列，如果必要的話，因為在這些位置上的像素沒有兩個行和列圍著它們。一個解決方案是在圖像傳感器內(nèi)提供一個比從采用本發(fā)明的圖像處理系統(tǒng)的設(shè)備所顯示或輸出的稍大一些的像素陣列。這樣，對在圖像傳感器像素陣列邊緣的一個或兩個行和列的像素內(nèi)所含的圖像數(shù)據(jù)不進(jìn)行缺陷檢查和顯示，而只將它們用來按照本發(fā)明檢驗相應(yīng)內(nèi)部像素的功能。
優(yōu)選的是，上述方法在諸如攝影機(jī)之類的成像設(shè)備內(nèi)對配置在設(shè)備內(nèi)的成像傳感器所截獲的每個圖像自動執(zhí)行，對于圖像傳感器上濾色器陣列內(nèi)每個彩色通道像素顏色的有效比特深度為8比特、10比特、12比特等。這些方法的操作對設(shè)備的最終用戶是透明的，因此用戶將只看到經(jīng)過校正的沒有初始缺陷的圖像。此外，要指出的是，如果成像設(shè)備已經(jīng)通過了在工廠執(zhí)行的質(zhì)量控制測試而正在由最終用戶操作，成簇缺陷檢測方法應(yīng)該始終產(chǎn)生一個指出不存在成簇缺陷的負(fù)面結(jié)果。
然而，這種方法只適合于校正比如測試每個像素所需的孤立缺陷，它們在每3×3或5×5或其他子陣列大小下不會出現(xiàn)多于一次的。在成簇有缺陷像素的情況下，這種方法就不能使用，因此這個器件在生產(chǎn)試驗階段就應(yīng)該報廢。一個簇定義為有兩個或更多相同顏色的缺陷相互鄰接。在一個Bayer馬賽克濾光陣列內(nèi)，一個簇將包括相同顏色的兩個或更多個相互相隔一個另一種顏色的插入像素的有缺陷像素。
可任選的是，可以在成像設(shè)備內(nèi)提供執(zhí)行下列操作的能力，以有助于在執(zhí)行上述缺陷校正方法后確定是否存在一些簇。在這個任選的操作中，在識別和校正有缺陷像素過程后使圖像傳感器受到均勻照射，然后如圖3所示，將相同顏色的兩個相鄰像素的值P0+、P6+之差的絕對值與一個門限值相比較。只有在圖像傳感器內(nèi)存在無法校正的缺陷時才會發(fā)現(xiàn)超過門限電平的差。數(shù)學(xué)上可以表述為，在執(zhí)行了缺陷校正過程后如果|P0+-P6+|＞Tth，就存在一個有缺陷像素的簇。
成簇缺陷的檢測操作可以設(shè)置成在成像設(shè)備內(nèi)在完成有缺陷像素數(shù)據(jù)識別和校正操作后自動執(zhí)行，但優(yōu)選的是由諸如系統(tǒng)硬件內(nèi)的一個開關(guān)控制，在生產(chǎn)階段中完成有缺陷像素數(shù)據(jù)識別和校正操作全部測試后進(jìn)行。當(dāng)在工廠中的生產(chǎn)階段或質(zhì)量控制程序期間執(zhí)行時，成功通過這個簇檢測試驗可用來確認(rèn)圖像傳感器不含成簇缺陷。然而，如果測試得到一個大于門限值的結(jié)果，這表明存在一簇有缺陷的像素，因此這個圖像傳感器應(yīng)該報廢。
上述有缺陷像素數(shù)據(jù)識別和校正方法在一個系統(tǒng)中實現(xiàn)，該系統(tǒng)包括一個能保持從圖像傳感器的像素陣列內(nèi)的至少一個3×3子集、優(yōu)選的是一個5×5子集得到的圖像信息的存儲器結(jié)構(gòu)。例如，如果圖像傳感器的結(jié)構(gòu)提供一個單色圖像，諸如具有一個覆蓋在整個像素陣列上的單色濾色器或者通過產(chǎn)生一個灰度的圖像，那末對于存儲器結(jié)構(gòu)來說只需要存儲三個行，因為每個作為需測試的像素被相同顏色的八個像素所緊圍。另一方面，如果圖像傳感器結(jié)構(gòu)包括一個多色濾色器陣列，諸如Bayer馬賽克濾色器，如圖1所示那樣具有紅、綠交替的像素行與具有藍(lán)、綠交替的像素行的交替排列，則本發(fā)明的存儲器結(jié)構(gòu)要能保持至少五行圖像信息?；蛘撸鎯ζ鹘Y(jié)構(gòu)也可以具有適應(yīng)任何其他類型的圖像傳感器濾色器配置必需的任何其他容量。作為另一個備選方案，緩沖存儲器可以是一個能保持整個圖像的像素信息的全幀緩沖存儲器。
圖4為例示在成像處理器內(nèi)用來實現(xiàn)上述校正方法的處理單元100的優(yōu)選實施例的示意圖。在這個優(yōu)選實施例中，處理單元100包括六排移位寄存器108，用來接收圖像數(shù)據(jù)；一個延遲電路l12，用來將最近一行圖像數(shù)據(jù)以輸入其他各排移位寄存器108的數(shù)據(jù)在列的方向同步的方式傳入其中一排移位寄存器108；五組隨機(jī)存取存儲器(RAM)102，用來存儲同樣數(shù)量的以前讀入的圖像數(shù)據(jù)行；一個讀/寫地址產(chǎn)生器110，用來控制數(shù)據(jù)流入和流出RAM組102；一個輸入多路復(fù)用器104，用來將圖像數(shù)據(jù)按讀/寫地址產(chǎn)生器110所確定的地址輸入適當(dāng)?shù)腞AM；一個輸出多路復(fù)用器106，用來將圖像數(shù)據(jù)按讀/寫地址產(chǎn)生器110所確定的地址從RAM組102輸出給適當(dāng)?shù)囊莆患拇嫫餍?08；一個缺陷校正電路，用來執(zhí)行如上所述的有缺陷像素數(shù)據(jù)的識別和校正；以及可按需要任選的一個第二二維內(nèi)插圖像處理操作電路116，用來產(chǎn)生紅、綠、藍(lán)輸出信號。
對于單色圖像傳感器陣列來說，由于執(zhí)行有缺陷像素數(shù)據(jù)識別和校正操作只需要三排移位寄存器，因此需要較少的RAM組和移位寄存器排108，例如三組RAM102和四排移位寄存器108。
在這個優(yōu)選實施例中，每個存儲器組都是一個允許同時讀/寫訪問的雙口SRAM(靜態(tài)RAM)。然而，也可以使用其他類型的隨機(jī)訪問存儲器，諸如任何不同類型的DRAM，例如包括快速頁式DRAM(FPM DRAM)、擴(kuò)展的數(shù)據(jù)輸出DRAM(EDO DRAM)、突發(fā)EDO DRAM、同步DRAM(SDRAM)、雙倍數(shù)據(jù)率DRAM(DDR DRAM)、Rambus DRAM(RDRAM)等。
此外，延遲電路可以體現(xiàn)為一個RAM或任何其他器件，也可以用任何其他使進(jìn)入的圖像數(shù)據(jù)行能與通過RAM組102進(jìn)入移位寄存器的圖像數(shù)據(jù)在列的方向上同步的方式直接傳入移位寄存器的機(jī)制代替。然而，在這個優(yōu)選實施例中，延遲電路112只不過配置成一個延遲寄存器，將一行新的圖像數(shù)據(jù)延遲輸入到上面一排移位寄存器108，以維護(hù)像素列與從RAM組102輸入其他移位寄存器行的像素數(shù)據(jù)的同步。
這六組移位寄存器108提供了對六行(對于單色圖像陣列需要較少的行)圖像數(shù)據(jù)的同時訪問，以使像素缺陷校正可以與其他二維內(nèi)插處理功能在共享與缺陷校正所用的相同的移位寄存器硬件的情況下一起執(zhí)行。如上所述，最近一行圖像數(shù)據(jù)傳送給圖4中所示的頂上這排移位寄存器，而最近行的前一行即第二最近行的圖像數(shù)據(jù)從其中一個RAM組102輸入第二排移位寄存器，以此類推，第六最近行的圖像數(shù)據(jù)輸入圖4中所示的最后一排移位寄存器。
具體從哪個RAM組將數(shù)據(jù)傳送入相應(yīng)的每排移位寄存器108由地址產(chǎn)生器110產(chǎn)生的指針?biāo)_定，它控制設(shè)置在輸出多路復(fù)用器106內(nèi)的開關(guān)。RAM組102內(nèi)的數(shù)據(jù)按FIFO次序逐個像素讀出給移位寄存器108。此外，來自延遲寄存器112的圖像數(shù)據(jù)與存儲器組102的輸出同步，使得由延遲寄存器輸入一排移位寄存器的圖像數(shù)據(jù)是從圖像陣列的與五個存儲器組讀入其他五排移位寄存器的像素信息相同的列來的。
上述結(jié)構(gòu)允許缺陷校正在成像處理器內(nèi)的進(jìn)一步處理步驟之前以像素時鐘率執(zhí)行。有缺陷像素的識別和校正在移位寄存器內(nèi)由缺陷校正電路114實現(xiàn)，并用讀入前五排移位寄存器的數(shù)據(jù)對第三排移位寄存器內(nèi)的像素數(shù)據(jù)順序執(zhí)行。具體地說，來自存儲器組102內(nèi)每行圖像數(shù)據(jù)的像素數(shù)據(jù)與像素時鐘率同步地分析到適當(dāng)?shù)囊莆患拇嫫?，而有缺陷像素的?shù)據(jù)的檢測和校正是在移位寄存器陣列的缺陷校正電路114中所示的中央像素122執(zhí)行的。如果必要的話，當(dāng)前處在缺陷校正電路114中央的像素數(shù)據(jù)一旦得到檢驗和校正后，將移位寄存器陣列內(nèi)的數(shù)據(jù)右移，使新的像素數(shù)據(jù)從各RAM組102和延遲寄存器112讀入移位寄存器的最左邊的一列，以檢驗同一行內(nèi)左側(cè)的下一個像素的像素數(shù)據(jù)。
如果必要的話，重復(fù)這個過程，直到相應(yīng)圖像行(即第三排移位寄存器)內(nèi)的所有像素數(shù)據(jù)都得到檢驗和校正。隨著每行圖像數(shù)據(jù)通過移位寄存器，含有通過第六排移位寄存器而移動的最老一排圖像數(shù)據(jù)的這個RAM組在輸入多路復(fù)用器104和地址產(chǎn)生器110的控制下也以進(jìn)入第一排移位寄存器的這行新的像素數(shù)據(jù)裝入。因此，老的圖像數(shù)據(jù)隨著它通過輸出多路復(fù)用器106讀至第六排移位寄存器而被重寫。結(jié)果，讀出最老這行圖像數(shù)據(jù)的這個RAM組用當(dāng)前進(jìn)入第一排移位寄存器的最新這行圖像數(shù)據(jù)裝入。這個RAM因此就含有需裝入第二排移位寄存器的像素圖像數(shù)據(jù)以用來校正下一行圖像數(shù)據(jù)。
一旦到達(dá)圖像數(shù)據(jù)行的結(jié)束處，讀/寫地址產(chǎn)生器110就更新輸出多路復(fù)用器106，使含有缺陷校正電路114剛檢驗過的這行圖像數(shù)據(jù)的RAM組102改道成將它的內(nèi)容讀至圖4中所示的第四排移位寄存器，而先前將它的圖像數(shù)據(jù)輸出給第四排移位寄存器的RAM組102現(xiàn)在配置成輸出給第五排移位寄存器。類似，先前配置成將它這行圖像數(shù)據(jù)讀入第五排移位寄存器的RAM組現(xiàn)在改道成讀至第六排移位寄存器，而先前輸出給第二排移位寄存器的RAM組現(xiàn)在配置成輸出給第三排移位寄存器。如上所述，先前讀入第一排移位寄存器的圖像數(shù)據(jù)現(xiàn)在駐留在先前保持最老的這行圖像數(shù)據(jù)的RAM組102內(nèi)，現(xiàn)在因此傳送給第二排移位寄存器。
RAM組102內(nèi)的圖像數(shù)據(jù)然后如上一次循環(huán)那樣從左至右讀至移位寄存器，以便對現(xiàn)在出現(xiàn)在第三排移位寄存器108的這行像素數(shù)據(jù)重新開始這個過程。此外，下一個進(jìn)入的這行圖像數(shù)據(jù)與從RAM組102讀入第二至第六排移位寄存器的圖像數(shù)據(jù)在列的方向同步地讀入第一排移位寄存器。在這個優(yōu)選實施例中，讀入第一排移位寄存器的圖像數(shù)據(jù)相對其余各排在列的方向上的同步由如圖4中所示的延遲寄存器112實現(xiàn)，雖然也可以用如上所述的任何其他裝置實現(xiàn)。
由于在存儲器組內(nèi)緩存的數(shù)據(jù)是重復(fù)使用的，即對于五個RAM(單色圖像陣列為三個)內(nèi)每行用一次，因此一旦發(fā)現(xiàn)和校正一個缺陷就必須更新存儲器內(nèi)容。經(jīng)校正的值寫入缺陷校正電路114的中央移位寄存器122，也通過輸入多路復(fù)用器104回寫入RAM組102內(nèi)與正在進(jìn)行缺陷校正的那排移位寄存器相應(yīng)的適當(dāng)像素位置(圖4中的120)。
一旦執(zhí)行了缺陷校正，就可以用同一組移位寄存器(具有一行和一個像素的延遲)執(zhí)行其他二維圖像處理操作，諸如彩色內(nèi)插，例如如圖4中的電路116所示。諸如清晰度濾波、白平衡之類的其他圖像處理操作也可以由電路116執(zhí)行，以產(chǎn)生紅、綠、藍(lán)輸出信號124。
對于單色圖像傳感器陣列，處理單元100的操作與上述相同，只是配置的RAM組和移位寄存器排較少，而二維圖像處理電路116的輸出信號124將只有單色圖像的顏色。
含有以上所述的本發(fā)明的特色的成像設(shè)備200的一個例子示于圖5，它包括一個透鏡系統(tǒng)202，用來將來自需成像的對象的光引導(dǎo)到包括一個圖像傳感器的圖像傳感單元204上；一個模數(shù)變換器206，用來將圖像傳感單元204接收的圖像信號變換成數(shù)字信號；一個圖像/彩色信號處理單元208，用來執(zhí)行包括如上所述對有缺陷像素的數(shù)據(jù)校正在內(nèi)的圖像校正處理，還用來執(zhí)行諸如彩色內(nèi)插、清晰度濾波、白平衡之類的其他處理；一個輸出格式變換/壓縮單元210，用來將圖像數(shù)據(jù)變換成適合輸出給用戶或向用戶顯示的文件格式；以及一個控制器212，用來控制整個成像設(shè)備200的操作。
優(yōu)選的是，將圖像傳感單元204內(nèi)的圖像傳感器用一個由諸如硅之類的感光材料制成的多個像素的集成電路來構(gòu)成?？梢詫D像傳感器做成一個CMOS傳感器，與一個諸如CPU、數(shù)字信號處理器或微處理器之類的處理器一起集成在單個集成電路內(nèi)?；蛘?，也可以將圖像傳感單元204內(nèi)的圖像傳感器結(jié)構(gòu)成一個電荷耦合器件(CCD)。
不作為限制，這種成像設(shè)備200可以是一個計算機(jī)系統(tǒng)、攝影機(jī)系統(tǒng)、掃描儀、機(jī)器視覺系統(tǒng)、交通工具導(dǎo)航系統(tǒng)、電視電話、監(jiān)視系統(tǒng)、自動聚焦系統(tǒng)、星體跟蹤系統(tǒng)、運動檢測系統(tǒng)、圖像穩(wěn)定系統(tǒng)和高清晰度電視數(shù)據(jù)壓縮系統(tǒng)的一部分，所有這些都可采用本發(fā)明。
成像設(shè)備200可連接的典型處理器系統(tǒng)400示于圖6。像計算機(jī)系統(tǒng)這樣的處理系統(tǒng)400通常例如包括一個中央處理單元(CPU)444，它通過總線452與輸入/輸出(I/O)設(shè)備446通信。成像設(shè)備200通過總線452或一個端口連接與該系統(tǒng)通信。處理器系統(tǒng)400還包括隨機(jī)存取存儲器(RAM)448，而在是一個計算機(jī)系統(tǒng)的情況下還可以包括也通過總線452與CPU 444通信的諸如軟盤驅(qū)動器454和光盤(CD)ROM驅(qū)動器456之類的外圍設(shè)備。
雖然本發(fā)明就它的一些具體實施例作了說明，但對于熟悉該技術(shù)領(lǐng)域的人員來說許多其他變動和修改及其他應(yīng)用都將是顯而易見的。因此，優(yōu)選的是，本發(fā)明并不局限于在這里具體所揭示的，本發(fā)明的專利保護(hù)范圍僅由所附權(quán)利要求書給出。
權(quán)利要求
1.一種校正像素圖像數(shù)據(jù)的設(shè)備，所述設(shè)備包括一個存儲器結(jié)構(gòu)，用來接收從一個圖像傳感器陣列得到的一個圖像的多行圖像數(shù)據(jù)，每行含有與陣列內(nèi)的一行像素相應(yīng)的信號值數(shù)據(jù)；以及一個接收來自存儲器結(jié)構(gòu)的圖像數(shù)據(jù)的校正部，其中所述陣列內(nèi)一個受測像素的信號值與至少八個周圍像素的信號值相比較，如果受測像素的信號值比所有八個周圍像素的信號值都大，受測像素的信號值就用八個周圍像素中最大的信號值代替，而如果受測像素的信號值比所有八個周圍像素的信號值都小，受測像素的信號值就用八個周圍像素中最小的信號值代替。
2.按照權(quán)利要求1的設(shè)備，其中所述八個周圍像素對于單色圖像是在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素緊密相鄰的。
3.按照權(quán)利要求1的設(shè)備，其中所述八個周圍像素在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素相隔一個像素，且其中所述八個周圍像素在一個濾色器陣列內(nèi)與受測像素具有相同的顏色。
4.按照權(quán)利要求1的設(shè)備，所述設(shè)備還包括一個控制器，用來控制存儲器結(jié)構(gòu)將圖像數(shù)據(jù)讀至校正部，以便對一行圖像數(shù)據(jù)內(nèi)的每個像素的信號值順序進(jìn)行測試。
5.按照權(quán)利要求4的設(shè)備，其中所述控制器還控制圖像數(shù)據(jù)向存儲器結(jié)構(gòu)中輸入，使得新的一行圖像數(shù)據(jù)隨著最老的一行圖像數(shù)據(jù)被讀出而寫入到存儲器結(jié)構(gòu)中來代替最老的這行圖像數(shù)據(jù)，而在完成對一行圖像數(shù)據(jù)內(nèi)的每個像素的信號值的測試后，還控制存儲器結(jié)構(gòu)去讀出經(jīng)更新的圖像數(shù)據(jù)，使得該校正部順序地測試下一行圖像數(shù)據(jù)內(nèi)的像素的信號值。
6.權(quán)利要求1的設(shè)備，所述設(shè)備還包括一個圖像處理部，它在受測像素受到測試后對圖像數(shù)據(jù)的受測像素執(zhí)行一個圖像處理操作。
7.權(quán)利要求16的設(shè)備，其中所述圖像處理電路執(zhí)行一個彩色處理操作。
8.權(quán)利要求16的設(shè)備，其中所述圖像處理電路執(zhí)行一個彩色內(nèi)插操作。
9.權(quán)利要求16的設(shè)備，其中所述圖像處理電路執(zhí)行一個白平衡操作。
10.權(quán)利要求16的設(shè)備，其中所述圖像處理電路執(zhí)行一個清晰度濾波操作。
11.一種校正像素圖像數(shù)據(jù)的設(shè)備，所述設(shè)備包括多個存儲器組，每個存儲器組接收和暫時存儲從一個圖像傳感器陣列得到的一個圖像的一行圖像數(shù)據(jù)，每行含有與陣列內(nèi)的一行像素相應(yīng)的信號值數(shù)據(jù)；多個移位寄存器組，每個移位寄存器組接收來自多個存儲器組的圖像數(shù)據(jù)；以及一個校正電路，用來對一組移位寄存器內(nèi)的圖像數(shù)據(jù)內(nèi)一個需測試的像素的信號值進(jìn)行測試，以確定受測像素的信號值是否為有缺陷的，如果發(fā)現(xiàn)是有缺陷的，就校正這個有缺陷的信號值。
12.權(quán)利要求11的設(shè)備，其中所述校正電路通過將需測試的像素的信號值與受測像素周圍并且具有與受測像素相同彩色類型的至少八個像素的各個信號值相比較來測試需測試的像素。
13.按照權(quán)利要求12的設(shè)備，其中所述多個存儲器組包括三個存儲器組，其中所述八個周圍像素對于單色圖像是在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素緊鄰的。
14.按照權(quán)利要求12的設(shè)備，其中所述多個存儲器組包括五個存儲器組，其中所述八個周圍像素在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素相隔一個像素，以及其中所述八個周圍像素在一個濾色器陣列內(nèi)具有與受測像素相同的顏色。
15.權(quán)利要求12的設(shè)備，其中所述校正電路在受測像素的信號值比所有八個周圍像素的信號值都大的情況下將受測像素的信號值重新規(guī)定為等于八個周圍像素的信號值中最大的信號值。
16.權(quán)利要求12的設(shè)備，其中所述校正電路在受測像素的信號值比所有八個周圍像素的信號值都小的情況下將受測像素的信號值重新規(guī)定為等于八個周圍像素的信號值中最小的信號值。
17.按照權(quán)利要求11的設(shè)備，所述設(shè)備還包括一個延遲寄存器，用來將來自圖像傳感器陣列的一行圖像數(shù)據(jù)與從存儲器組輸入移位寄存器的圖像數(shù)據(jù)在列的方向上同步地直接輸入多個移位寄存器組中的一個移位寄存器組。
18.按照權(quán)利要求11的設(shè)備，所述設(shè)備還包括一個輸入多路復(fù)用器，用來管理將圖像數(shù)據(jù)寫入每個存儲器組；一個輸出多路復(fù)用器，用來管理將圖像數(shù)據(jù)從存儲器組讀入移位寄存器；一個地址產(chǎn)生器，用來控制要寫入存儲器組和從存儲器組讀出的數(shù)據(jù)的地址。
19.按照權(quán)利要求11的設(shè)備，所述設(shè)備還包括一個控制器，用來控制從多個存儲器組輸出圖像數(shù)據(jù)，使得測試和校正在必要時是對于行圖像數(shù)據(jù)內(nèi)每個像素的信號值順序執(zhí)行的。
20.按照權(quán)利要求19的設(shè)備，其中所述控制器還對圖像數(shù)據(jù)輸入存儲器組進(jìn)行控制，以便將新的一行圖像數(shù)據(jù)寫入包含了最老的一行圖像數(shù)據(jù)的存儲器組，從而隨著該最老的一行圖像數(shù)據(jù)從該相關(guān)的存儲器組讀出而重寫該最老的一行圖像數(shù)據(jù)，并且在對一行圖像數(shù)據(jù)中每個像素的信號值測試完成時，還控制經(jīng)更新的圖像數(shù)據(jù)從多個存儲器組輸出，以使得測試和校正在必要時對下一行圖像數(shù)據(jù)內(nèi)每個像素的信號值是順序執(zhí)行的。
21.權(quán)利要求11的設(shè)備，所述設(shè)備還包括一個圖像處理電路，用來對已經(jīng)測試的圖像數(shù)據(jù)的一個像素執(zhí)行圖像處理操作，所述圖像處理電路使用移位寄存器的一個部分，所述移位寄存器的一個部分是偏離于在其中測試受測像素的移位寄存器的。
22.權(quán)利要求21的設(shè)備，其中所述圖像處理電路執(zhí)行彩色處理操作。
23.的權(quán)利要求21的設(shè)備，其中所述圖像處理電路執(zhí)行彩色內(nèi)插操作。
24.權(quán)利要求21的設(shè)備，其中所述圖像處理電路執(zhí)行白平衡操作。
25.權(quán)利要求21的設(shè)備，其中所述圖像處理電路執(zhí)行清晰度濾波操作。
26.一種校正像素圖像數(shù)據(jù)的方法，所述方法包括a)獲取至少三行含有從一個圖像傳感器內(nèi)的一個像素陣列得到的一個圖像的相應(yīng)數(shù)目的行的信號值的圖像數(shù)據(jù)；b)將該至少三行信號值中一個需測試的像素的信號值與該至少三行信號值中受測像素周圍的、具有與受測像素相同彩色類型的至少八個像素的各個信號值相比較；c)如果受測像素的信號值比所有八個周圍像素的信號值都大，就將受測像素的信號值重新規(guī)定為等于八個周圍像素的信號值中最大的信號值；d)如果受測像素的信號值比所有八個周圍像素的信號值都小，就將受測像素的信號值重新規(guī)定為等于八個周圍像素的信號值中最小的信號值。
27.按照權(quán)利要求26的方法，其中所述八個周圍像素對于單色圖像是在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素緊鄰的。
28.按照權(quán)利要求26的方法，其中所述八個周圍像素在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素相隔一個像素，且其中所述八個周圍像素具有在一個濾色器陣列內(nèi)與受測像素相同的顏色。
29.按照權(quán)利要求26的方法，其中所述比較操作不對圖像傳感器像素陣列內(nèi)最外面的兩行和列中的像素的信號值執(zhí)行。
30.按照權(quán)利要求30的方法，所述方法還包括e)對在受測像素同一行的圖像數(shù)據(jù)的下一個像素重復(fù)操作a)至d)，直到該行的所有像素都已得到測試。
31.按照權(quán)利要求30的方法，所述方法還包括f)從圖像傳感器像素陣列獲取新的一行圖像數(shù)據(jù)的新的一行信號值；以及對下一行圖像數(shù)據(jù)重復(fù)操作e)和再重復(fù)操作f)，直到圖像數(shù)據(jù)的每個行內(nèi)每個像素的信號值都已得到測試。
32.按照權(quán)利要求31的方法，所述方法還包括在測試了每行圖像數(shù)據(jù)內(nèi)的每個像素后通過下列操作以驗證不存在有缺陷的像素簇h)從經(jīng)測試的圖像數(shù)據(jù)中選擇一個第一像素；i)從第一像素的最近的周圍像素中選擇一個具有與第一像素相同的彩色類型的第二像素；j)比較第一像素與第二像素之間的信號值之差；k)將這個差的絕對值與一個門限值相比較，如果這個差的絕對值大于門限值，就確定存在一個有缺陷的像素簇；以及l(fā))對經(jīng)測試的圖像數(shù)據(jù)內(nèi)的每個像素重復(fù)操作h)至k)。
33.一種校正像素圖像數(shù)據(jù)的方法，所述方法包括將至少三行含有從圖像傳感器內(nèi)的一個像素陣列得到的一個圖像的相應(yīng)行的信號值的圖像數(shù)據(jù)寫入多個存儲器組；將圖像數(shù)據(jù)從該存儲器組順序輸入多個移位寄存器組；將移位寄存器內(nèi)一個需測試的像素的信號值與移位寄存器內(nèi)具有與受測像素相同的濾色器類型的至少八個周圍像素的信號值相比較；如果受測像素的信號值比所有八個周圍像素的信號值都大，就將受測像素的信號值校正為等于八個周圍像素的信號值中最大的信號值；以及如果受測像素的信號值比所有八個周圍像素的信號值都小，就將受測像素的信號值校正為等于八個周圍像素的信號值中最小的信號值。
34.按照權(quán)利要求33的方法，所述方法還包括與所述多個存儲器組分開的、但與從存儲器組輸入移位寄存器的各行圖像數(shù)據(jù)在列的方向上同步地將一行圖像數(shù)據(jù)直接輸入一個移位寄存器組，其中所述用于與受測像素的信號值相比較的該至少八個周圍像素的信號值中的一部分信號值是從直接輸入移位寄存器的圖像數(shù)據(jù)中選出的。
35.按照權(quán)利要求33的方法，其中所述八個周圍像素對于單色圖像是在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素緊鄰的。
36.按照權(quán)利要求33的方法，其中所述八個周圍像素在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素相隔一個像素，且其中所述八個周圍像素在一個濾色器陣列內(nèi)具有與受測像素相同的顏色。
37.按照權(quán)利要求33的方法，所述方法還包括在校正受測像素的信號值后將經(jīng)校正的值替換入相應(yīng)存儲器組內(nèi)的相應(yīng)位置。
38.按照權(quán)利要求33的方法，所述方法還包括在校正受測像素的信號值后將經(jīng)校正的值替換入移位寄存器內(nèi)的相應(yīng)位置。
39.按照權(quán)利要求33的方法，所述方法還包括對將一些行的圖像數(shù)據(jù)輸入存儲器組進(jìn)行控制，以便將新的一行圖像數(shù)據(jù)寫入包含了最老的一行圖像數(shù)據(jù)的存儲器組，從而隨著該最老的一行圖像數(shù)據(jù)從該相關(guān)的存儲器組讀出而重寫該最老的一行圖像數(shù)據(jù)；以及在完成對一行圖像數(shù)據(jù)內(nèi)每個像素的信號值的測試后，控制從多個存儲器組中輸出經(jīng)更新的圖像數(shù)據(jù)，以使得該比較操作和校正操作在必要時，對下一行圖像數(shù)據(jù)內(nèi)每個像素的信號值順序執(zhí)行。
40.按照權(quán)利要求33的方法，所述方法還包括控制從存儲器組輸出圖像數(shù)據(jù)，以使得該比較操作和校正操作在必要時，對一行圖像數(shù)據(jù)內(nèi)的每個像素的信號值順序執(zhí)行。
41.按照權(quán)利要求40的方法，所述方法還包括用新的一行圖像數(shù)據(jù)來替代相關(guān)存儲器組內(nèi)的最老的這行圖像數(shù)據(jù)，以及重復(fù)對下一行圖像數(shù)據(jù)的控制操作和重復(fù)該替代操作，直到圖像的每行圖像數(shù)據(jù)內(nèi)的每個像素的信號值都已得到測試。
42.按照權(quán)利要求33的方法，所述方法還包括在已經(jīng)對受測像素執(zhí)行了比較操作和如果必要的話還執(zhí)行了校正操作后，用偏離于測試受測像素所用的移位寄存器的部分移位寄存器來執(zhí)行一個后續(xù)的圖像處理功能。
43.按照權(quán)利要求42的方法，其中所述后續(xù)圖像處理功能是彩色處理功能。
44.按照權(quán)利要求42的方法，其中所述后續(xù)圖像處理功能是彩色內(nèi)插功能。
45.按照權(quán)利要求42的方法，其中所述后續(xù)圖像處理功能是清晰度濾波功能。
46.按照權(quán)利要求42的方法，其中所述后續(xù)圖像處理功能是白平衡功能。
47.一種校正像素圖像數(shù)據(jù)的設(shè)備，所述設(shè)備包括多個存儲器組，每個存儲器組接收和暫時存儲從一個圖像傳感器陣列得到的一個圖像的一行圖像數(shù)據(jù)，每行含有與陣列內(nèi)的一行像素相應(yīng)的信號值數(shù)據(jù)；以及一個校正部，所述校正部接收來自多個存儲器組的圖像數(shù)據(jù)，將陣列內(nèi)的一個受測像素的信號值與至少八個周圍像素的信號值相比較，以及如果受測像素的值比所有八個周圍像素的信號值都大，就用八個周圍像素中的最大的信號值代替受測像素的信號值。
48.按照權(quán)利要求47的設(shè)備，所述設(shè)備包括三個存儲器組，其中所述八個周圍像素對于單色圖像是在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素緊鄰的。
49.按照權(quán)利要求47的設(shè)備，所述設(shè)備包括五個存儲器組，其中所述八個周圍像素在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素相隔一個像素，以及其中所述八個周圍像素在一個濾色器陣列內(nèi)具有與受測像素相同的顏色。
50.一種校正像素圖像數(shù)據(jù)的設(shè)備，所述設(shè)備包括多個存儲器組，每個存儲器組接收和暫時存儲從一個圖像傳感器陣列得到的一個圖像的一行圖像數(shù)據(jù)，每行含有與陣列內(nèi)的一行像素相應(yīng)的信號值數(shù)據(jù)；以及一個校正部，所述校正部接收來自多個存儲器組的圖像數(shù)據(jù)，將陣列內(nèi)的一個受測像素的信號值與至少八個周圍像素的信號值相比較，以及如果受測像素的值比八個周圍像素的信號值都小，就用八個周圍像素中的最小的信號值代替受測像素的信號值。
51.按照權(quán)利要求50的設(shè)備，所述設(shè)備包括三個存儲器組，其中所述八個周圍像素對于單色圖像是在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素緊鄰的。
52.按照權(quán)利要求50的設(shè)備，所述設(shè)備包括五個存儲器組，其中所述八個周圍像素在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素相隔一個像素，以及其中所述八個周圍像素在一個濾色器陣列內(nèi)具有與受測像素相同的顏色。
53.一種校正像素圖像數(shù)據(jù)的方法，所述方法包括a)獲取至少三行含有從一個圖像傳感器內(nèi)的一個像素陣列得到的一個圖像的相應(yīng)行的信號值的圖像數(shù)據(jù)；b)將該至少三行圖像數(shù)據(jù)中一個需測試的像素的信號值與至少三行圖像數(shù)據(jù)中受測像素周圍具有與受測像素相同彩色類型的至少八個像素的各個信號值相比較；以及c)如果受測像素的信號值比所有八個周圍像素的信號值都大，就將受測像素的信號值用八個周圍像素的信號值中最大的信號值代替。
54.按照權(quán)利要求53的方法，其中所述八個周圍像素對于單色圖像是在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素緊鄰的。
55.按照權(quán)利要求53的方法，其中所述八個周圍像素在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素相隔一個像素，且其中所述八個周圍像素在一個濾色器陣列內(nèi)具有與受測像素相同的顏色。
56.一種校正由于一個圖像傳感器陣列內(nèi)的有缺陷像素所產(chǎn)生的圖像數(shù)據(jù)的方法，所述方法包括a)獲取至少三行含有從一個圖像傳感器內(nèi)的一個像素陣列得到的一個圖像的相應(yīng)行的信號值的圖像數(shù)據(jù)；b)將該至少三行圖像數(shù)據(jù)中一個需測試的像素的信號值與該至少三行圖像數(shù)據(jù)中受測像素周圍具有與受測像素相同彩色類型的至少八個像素的各個信號值相比較；以及c)如果受測像素的信號值比所有八個周圍像素的信號值都小，就將受測像素的信號值用該八個周圍像素的信號值中最小的信號值代替。
57.按照權(quán)利要求56的方法，其中所述八個周圍像素對于單色圖像是在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素緊鄰的。
58.按照權(quán)利要求56的方法，其中所述八個周圍像素在一個二維區(qū)域內(nèi)在水平、垂直和對角線方向上與受測像素相隔一個像素，且其中所述八個周圍像素在一個濾色器陣列內(nèi)具有與受測像素相同的顏色。
59.一種校正像素圖像數(shù)據(jù)的設(shè)備，所述設(shè)備包括多個存儲器組，每個存儲器組接收和暫時存儲從一個圖像傳感器陣列得到的一個圖像的一行圖像數(shù)據(jù)，每行含有與陣列內(nèi)的一行像素相應(yīng)的信號值；以及一個校正電路，所述校正電路識別和校正陣列內(nèi)有缺陷像素產(chǎn)生的信號值，而不用預(yù)先確定的和所存儲的有缺陷像素位置的映像，也不用門限值。
60.一種圖像處理設(shè)備，所述設(shè)備包括一個圖像傳感單元，用來獲取一個圖像，并輸出一個圖像信號，該圖像信號包括含有圖像每個行的信號值的像素圖像數(shù)據(jù)；一個圖像處理器，用來處理圖像信號；以及一個控制器，用來控制圖像傳感單元和圖像處理器，以及其中所述圖像處理器包括一個有缺陷像素數(shù)據(jù)校正電路，所述電路接收像素圖像數(shù)據(jù)，并將一個受測像素的信號值與圖像內(nèi)受測像素周圍的至少八個像素的信號值相比較，如果受測像素的信號值比所有該八個周圍像素的信號值都大，就用該八個周圍像素中的最大的信號值代替受測像素的信號值，而如果受測像素的信號值比所有該八個周圍像素的信號值都小，就用該八個周圍像素中的最小的信號值代替受測像素的信號值。
61.一種處理系統(tǒng)，所述處理系統(tǒng)包括一個處理器，用來接收一個要處理的圖像數(shù)據(jù)；以及一個圖像數(shù)據(jù)產(chǎn)生器，用來為處理器提供圖像數(shù)據(jù)，所述圖像數(shù)據(jù)產(chǎn)生器包括一個圖像傳感單元，用來獲取一個圖像，并輸出一個圖像信號，一個圖像處理器，用來處理圖像信號，以及一個控制器，用來控制圖像傳感單元和圖像處理器，其中所述圖像處理器包括一個有缺陷像素數(shù)據(jù)校正電路，所述電路接收像素圖像數(shù)據(jù)，并將一個受測像素的信號值與圖像內(nèi)受測像素周圍的至少八個像素的信號值相比較，如果受測像素的信號值比所有該八個周圍像素的信號值都大，就用該八個周圍像素中的最大的信號值代替受測像素的信號值，而如果受測像素的信號值比所有該八個周圍像素的信號值都小，就用該八個周圍像素中的最小的信號值代替受測像素的信號值。
全文摘要
一種圖像處理系統(tǒng)和方法將從一個圖像傳感器陣列得到的圖像的每個像素與濾色器陣列內(nèi)相同顏色的至少八個周圍像素相比較。如果一個給定像素的信號比相同顏色的所有八個周圍像素的各個信號都大，就將這個中央像素信號的值用相同顏色的周圍八個像素中的最大的信號值代替。類似地，如果一個給定像素的信號比相同顏色的所有八個周圍像素的各個信號都小，就將這個中央像素信號的值用相同顏色的周圍八個像素中的最小的信號值代替。
文檔編號H04N5/367GK1692630SQ03818753
公開日2005年11月2日 申請日期2003年6月4日 優(yōu)先權(quán)日2002年6月4日
發(fā)明者M·卡普林斯基, I·蘇博廷 申請人:微米技術(shù)有限公司