專利名稱：濾色器陣列圖像的迭代去噪的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用偏微分方程技術(shù)由濾色器陣列圖像來生成噪聲降低的濾色器陣列圖像。
背景技術(shù)：
單傳感器數(shù)字照相機(jī)通常采用濾色器陣列(CFA)，以便由單個(gè)二維光敏像素陣列來捕捉全色信息。CFA包括對(duì)由每一個(gè)像素檢測(cè)的光進(jìn)行過濾的濾色器的陣列。結(jié)果，每一個(gè)像素僅僅接收來自一種顏色的光，或者在全色或“透明”濾色器的情形下接收來自于所有顏色的光。為了由CFA圖像再現(xiàn)全色圖像，必須在每一個(gè)像素位置生成三種顏色值。這通過根據(jù)相鄰像素值內(nèi)插丟失顏色值來實(shí)現(xiàn)。該內(nèi)插處理通常被稱為CFA內(nèi)插或反馬賽克。在CFA內(nèi)插之前，圖像數(shù)據(jù)存在于稀疏數(shù)據(jù)集表示中，即每個(gè)像素僅僅一種顏色值。與在CFA內(nèi)插之后當(dāng)每一個(gè)待處理像素具有三個(gè)或多個(gè)顏色值時(shí)相比，對(duì)該表示中的圖像數(shù)據(jù)進(jìn)行清噪或去噪是有計(jì)算優(yōu)勢(shì)。在現(xiàn)有技術(shù)中找到對(duì)CFA圖像數(shù)據(jù)進(jìn)行去噪的很多方法。對(duì)全色圖像進(jìn)行去噪的很多已知方法在適當(dāng)調(diào)整的情形下也可以用于CFA圖像。一種該方法為各項(xiàng)異性擴(kuò)散，其是一種偏微分方程(PDE)去噪，由Peixma等人在文章 “Scale-space and edge detection using anisotropic diffusion (使用各項(xiàng)異性擴(kuò)散的尺度空間和邊緣檢測(cè))”，IEEE Transactions on Pattern Analysis and MachineIntelligence, Vol. 12,pp. 629-639,1990中首次描述。Perona等人僅僅論述了去噪全分辨率灰度(亮度)圖像而沒有教導(dǎo)去噪全色或CFA圖像。Tschumperl6 等人在文章 “Diffusion PDEs on vector-valued images (在矢量值圖像上的擴(kuò)散 PDE)”，IEEE Signal Processing Magazine, Vol. 19, Issue 5, pp. 16-25,September 2002中，擴(kuò)充了 Perona等人的方法,包括全色圖像去噪但未提及CFA圖像。很多方法分別簡(jiǎn)單地處理CFA圖像中的每一種顏色，從而導(dǎo)致獨(dú)立的灰度(亮度)去噪操作。實(shí)例出現(xiàn)在Acharya等人的題為“Edge-detectionbasednoise removalalgorithm (基于去噪算法的邊緣檢測(cè))”的美國(guó)專利6，229，578、Gindele等人的題為“Noise cleaning and interpolating sparsely populated color digital image usingavariable noise cleaning kernel (使用可變清噪核對(duì)稀疏分布的彩色數(shù)字圖像進(jìn)行清噪并內(nèi)插)”的美國(guó)專利 6，625，325、Bosco 等人的題為“Noise filter for Bayer patternimage data (用于貝爾模式圖像數(shù)據(jù)的噪聲濾波器)”的美國(guó)專利7，369，165, Keshet等人的題為“Edge-sensitive denoising and color interpolation of digital images(數(shù)字圖像的邊緣敏感去噪和顏色內(nèi)插)”的美國(guó)專利7，418，130、以及Tsuruokam的題為“Imagecapturing system and computer readable recording medium for recording imageprocessing program (圖像捕捉系統(tǒng)和用于記錄圖像處理程序的計(jì)算機(jī)可讀記錄介質(zhì))”的美國(guó)專利申請(qǐng)2009/0219417中。所有這些方法都不能直接降低CFA圖像中的色度噪聲。其它方法用于顯著降低CFA圖像中亮度和色度噪聲。存在于同一位置處的不同通、道的組合也稱為通道。明確或含蓄地提到的色度通道具有以下形式紅色減綠色(R-G)和藍(lán)色減綠色(B-G)，或紅色減亮度(R-Y)和藍(lán)色減亮度(B-Y)。該方法的實(shí)例給出在AdamsJr 等人的題為 “Noise cleaning sparsely populated color digital images (對(duì)稀疏分布的彩色數(shù)字圖像進(jìn)行清噪)”的美國(guó)專利申請(qǐng)2006/0152596和Matsushita等人的題為 “Imaging device, image processing device, image processing method, programfor image processing method, and recording medium having program for imageprocessing method recorded thereon (成像裝置、圖像處理裝置、圖像處理方法、用于圖像處理方法的程序和具有用于圖像處理方法的程序的記錄介質(zhì))”的美國(guó)專利申請(qǐng)2009/0052797中。這些方法所具有的問題是，雖然色度值(諸如R_G)易于計(jì)算，但它們通常并不缺乏亮度信息，諸如邊緣和文本細(xì)節(jié)。這進(jìn)而減小了以下能力，在不使圖像中的亮度信息降級(jí)的情形下對(duì)色度信息進(jìn)行去噪。在Miyano等人的題為“Automatic white balanceadjusting device(自動(dòng)白平衡調(diào)整裝置)”的美國(guó)專利5，644，358中描述了更好的亮度-色度轉(zhuǎn)換。該轉(zhuǎn)換提供了在仍易于計(jì)算的同時(shí)改進(jìn)亮度和色度信息的分離。
從而，需要一種在不需要明顯或隱含的去馬賽克操作的情形下對(duì)CFA圖像中的亮度和色度信息進(jìn)行去噪的方法。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供一種降低由數(shù)字圖像傳感器捕捉的彩色圖像中的噪聲的方法，所述數(shù)字圖像傳感器包括具有用于至少三個(gè)不同顏色通道的彩色像素的二維光敏像素陣列，所述像素以矩形最小重復(fù)單元進(jìn)行布置，所述方法包括，使用處理器執(zhí)行以下步驟a)利用包括以下步驟的第一降噪處理為第一顏色通道的每一個(gè)像素確定降噪像素值i)計(jì)算在所述第一顏色通道的中心像素周圍在多個(gè)方向上的第一組局部邊緣響應(yīng)加權(quán)值；ii)計(jì)算所述中心像素的像素值與所述第一顏色通道在多個(gè)方向上的鄰近像素的像素值之間的像素差；iii)通過將所述像素差與對(duì)應(yīng)的第一組局部邊緣響應(yīng)加權(quán)值組合來計(jì)算被加權(quán)像素差；以及iv)通過將所述被加權(quán)像素差與所述中心像素的像素值組合來計(jì)算所述中心像素的第一降噪像素值；以及b)利用包括以下步驟的第二降噪處理對(duì)所述第一顏色通道的每一個(gè)像素的第一降噪像素值進(jìn)一步進(jìn)行降噪i)計(jì)算在所述第一顏色通道的中心像素周圍在多個(gè)方向上的第二組局部邊緣響應(yīng)加權(quán)值；ii)為包含所述中心像素的最小重復(fù)單元和多個(gè)方向上的多個(gè)鄰近最小重復(fù)單元計(jì)算色度值，所述色度值表示所述第一顏色通道的像素值和至少第二不同顏色通道的像素值之差;iii)計(jì)算與所述中心像素對(duì)應(yīng)的色度值和在多個(gè)方向上的鄰近最小重復(fù)單元的色度值之間的色度差；
iv)通過將所述色度差與對(duì)應(yīng)的第二組局部邊緣響應(yīng)加權(quán)值組合來計(jì)算被加權(quán)色度差；以及V)通過將所述被加權(quán)色度差與所述第一降噪像素值組合來計(jì)算所述中心像素的
第二降噪像素值。本發(fā)明的優(yōu)勢(shì)在于，同時(shí)降低CFA圖像的亮度噪聲和色度噪聲，而不需要在去噪處理之前或者作為去噪處理的一部分來執(zhí)行反馬賽克(CFA內(nèi)插)。本發(fā)明的另一個(gè)優(yōu)勢(shì)是，通過僅對(duì)每一個(gè)像素位置處的單色度通道而非常規(guī)的多色度通道進(jìn)行去噪來減小CFA圖像去噪所需的計(jì)算量。通過閱讀以下優(yōu)選實(shí)施例和所附權(quán)利要求書的詳細(xì)描述，并且參考附圖，將更清楚地理解并掌握本發(fā)明上述和其它方面、目的、特征和優(yōu)勢(shì)。


圖I是用于實(shí)現(xiàn)本發(fā)明的典型數(shù)字照相機(jī)的框圖；圖2是示出本發(fā)明的優(yōu)選實(shí)施例的框圖；圖3是示出本發(fā)明優(yōu)選實(shí)施例中單色去噪塊的細(xì)節(jié)圖的框圖；圖4是示出本發(fā)明優(yōu)選實(shí)施例中CFA亮度去噪塊的細(xì)節(jié)圖的框圖；圖5是示出本發(fā)明優(yōu)選實(shí)施例中CFA色度去噪塊的細(xì)節(jié)圖的框圖；圖6是原始CFA圖像的2X 2像素塊；圖7是用于使CFA圖像去噪的像素鄰域；圖8是示出本發(fā)明的替代實(shí)施例的框圖；圖9是示出本發(fā)明的第三實(shí)施例的框圖；以及圖10是示出圖9實(shí)施例中利用第一和第二像素差去噪塊的細(xì)節(jié)圖的框圖。
具體實(shí)施例方式在以下描述中，以通常作為軟件程序來實(shí)現(xiàn)的形式來描述本發(fā)明優(yōu)選實(shí)施例。本領(lǐng)域的技術(shù)人員容易理解，還可以用硬件來構(gòu)造該軟件的等效物。由于圖像處理算法和系統(tǒng)是公知的，因此本發(fā)明尤其針對(duì)形成根據(jù)本發(fā)明的系統(tǒng)和方法的一部分的算法和系統(tǒng)，或者與根據(jù)本發(fā)明的系統(tǒng)和方法更直接協(xié)作的算法和系統(tǒng)。文中沒有具體示出或描述的該算法和系統(tǒng)的其它方面，以及生成并且以其他方式處理與該算法和系統(tǒng)有關(guān)的圖像信號(hào)的硬件或軟件可以從本領(lǐng)域已知的此類系統(tǒng)、算法、部件和元件中選擇。假定以下材料中根據(jù)本發(fā)明所述的系統(tǒng)、文中沒有具體提到或描述但用于實(shí)現(xiàn)本發(fā)明的軟件是常規(guī)的且屬于本領(lǐng)域普通技術(shù)。另外，文中使用的用于實(shí)現(xiàn)本發(fā)明方法的計(jì)算機(jī)程序可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可能包括例如磁性存儲(chǔ)介質(zhì)，諸如磁盤(諸如硬盤或軟盤)或磁帶；光學(xué)存儲(chǔ)介質(zhì)，諸如光盤、光學(xué)磁帶或機(jī)器可讀條形碼；固態(tài)電子存儲(chǔ)裝置，諸如隨機(jī)存取存儲(chǔ)器(RAM)或只讀存儲(chǔ)器(ROM);或者用于存儲(chǔ)計(jì)算機(jī)程序的任何其它物理裝置或介質(zhì)。由于使用成像裝置和相關(guān)的用于信號(hào)捕捉和校正以及用于曝光控制的電路的數(shù)字照相機(jī)已經(jīng)眾所周知，因此本說明書尤其針對(duì)形成根據(jù)本發(fā)明方法和裝置的一部分的元件或者與根據(jù)本發(fā)明方法和裝置直接協(xié)作的元件。文中沒有具體示出或描述的元件從本領(lǐng)域已知的元件中選擇。待描述的實(shí)施例的某些方面以軟件的方式提供。假定以下材料中根據(jù)本發(fā)明所示和所述的系統(tǒng)、文中沒有具體示出、描述或提到但用于實(shí)現(xiàn)本發(fā)明的軟件是常規(guī)的并且屬于該技術(shù)領(lǐng)域的普通技術(shù)。下面來看圖1，其示出了利用本發(fā)明的圖像捕捉裝置的框圖。在本實(shí)例中，圖像捕捉裝置示出為數(shù)字照相機(jī)。然而，盡管下面將說明數(shù)字照相機(jī)，但本發(fā)明顯然還可應(yīng)用于其它類型的圖像捕捉裝置。在所公開的照相機(jī)中，來自主體景象的光10輸入至成像級(jí)11，其中光由透鏡12聚焦以便在固態(tài)濾色器陣列圖像傳感器20上形成圖像。濾色器陣列圖像傳感器20將入射光轉(zhuǎn)換成每一個(gè)圖像元素(像素)的電子信號(hào)。優(yōu)選實(shí)施例的濾色器陣列圖像傳感器20為電荷耦合裝置(CXD)類或者有源像素傳感器(APS)類(由于能夠在互補(bǔ)金屬氧化物半導(dǎo)體工藝中(Complementary Metal Oxide Semiconductor process)進(jìn)行加工，因此APS裝置通常被稱為CMOS傳感器)。假若具有二維像素陣列的其它類型的圖像傳感器采用本發(fā)明的圖案，則可以使用該圖像傳感器。本發(fā)明中使用的濾色器陣列圖像傳感器20包括二維顏色像素陣列，這在本說明書的后文中在對(duì)圖I進(jìn)行描述之后將變得清晰。 到達(dá)濾色器陣列圖像傳感器20的光量通過對(duì)孔徑和中性密度(ND)濾光器塊13進(jìn)行改變的光圈塊14來調(diào)節(jié)，所述中性密度(ND)濾光器塊13包括插在光路中的一個(gè)或多個(gè)ND濾光器。在快門18開啟時(shí)，還對(duì)整個(gè)光級(jí)進(jìn)行調(diào)整。曝光控制器40響應(yīng)于景象中可用的且由亮度傳感器塊16所測(cè)得的光量，進(jìn)而控制全部這三個(gè)器件的調(diào)整功能。該特定照相機(jī)構(gòu)造的描述為本領(lǐng)域技術(shù)人員所熟知，并且顯然存在很多變型和額外的特征。例如，可以增加自動(dòng)對(duì)焦系統(tǒng)，或者透鏡可以拆卸并且可互換。應(yīng)該理解，本發(fā)明可以應(yīng)用于相似功能由替代部件提供的任何類型的數(shù)字照相機(jī)。例如，數(shù)字照相機(jī)可以是相對(duì)簡(jiǎn)單的對(duì)準(zhǔn)即拍式數(shù)字照相機(jī)，其中快門18為相對(duì)簡(jiǎn)單的可移動(dòng)葉片快門等，而非較復(fù)雜的焦平面布置。本發(fā)明還可以利用包含在非照相機(jī)裝置(諸如移動(dòng)電話和機(jī)動(dòng)車輛)中的成像部件來實(shí)現(xiàn)。來自濾色器陣列圖像傳感器20的模擬信號(hào)由模擬信號(hào)處理器22處理，并且施加至模數(shù)(A/D)轉(zhuǎn)換器24。定時(shí)發(fā)生器26生成各種時(shí)鐘信號(hào)，以選擇行和像素，并且使模擬信號(hào)處理器22和A/D轉(zhuǎn)換器24的操作同步化。圖像傳感器級(jí)28包括濾色器陣列圖像傳感器20、模擬信號(hào)處理器22、A/D轉(zhuǎn)換器24和定時(shí)發(fā)生器26。圖像傳感器級(jí)28的部件可以是分離地制造的集成電路，或者它們可以制造成單個(gè)集成電路，如對(duì)CMOS圖像傳感器的通常做法。將來自A/D轉(zhuǎn)換器24的數(shù)字像素值的結(jié)果流存儲(chǔ)在與數(shù)字信號(hào)處理器(DSP)36相關(guān)的數(shù)字信號(hào)處理器(DSP)存儲(chǔ)器32。DSP 36是本實(shí)施例的三個(gè)處理器或控制器中除系統(tǒng)控制器50和曝光控制器40以外的一個(gè)。盡管該多個(gè)控制器和處理器中照相機(jī)功能控制的劃分較典型，但這些控制器或者處理器可以以不同的方式組合，而不會(huì)影響照相機(jī)的功能操作和本發(fā)明的應(yīng)用。這些控制器或處理器可以包括一個(gè)或多個(gè)數(shù)字信號(hào)處理裝置、微控制器、可編程邏輯裝置或者其它數(shù)字邏輯電路。盡管已經(jīng)描述了該控制器或處理器的組合，但應(yīng)該理解一個(gè)控制器或處理器可以被設(shè)計(jì)來執(zhí)行所有必需的功能。所有這些變型可以執(zhí)行相同的功能并且落在本發(fā)明的范圍內(nèi)，并且術(shù)語“處理級(jí)”根據(jù)需要用于將所有這些功能囊括在一個(gè)階段中，例如圖I中的處理級(jí)38。
在所示實(shí)施例中，DSP 36根據(jù)永久性地存儲(chǔ)在程序存儲(chǔ)器54中并在圖像捕捉期間被復(fù)制到DSP存儲(chǔ)器32中來運(yùn)行的軟件程序操縱DSP存儲(chǔ)器32中的數(shù)字圖像數(shù)據(jù)。在所示實(shí)例中，DSP 36運(yùn)行用于實(shí)施以下描述的圖像處理所需的軟件。DSP存儲(chǔ)器32可以是任意類型的隨機(jī)存取存儲(chǔ)器，諸如SDRAM。包括地址和數(shù)據(jù)信號(hào)通路的總線30將DSP 36和與其相關(guān)的DSP存儲(chǔ)器32、A/D轉(zhuǎn)換器24和其它有關(guān)部件連接在一起。系統(tǒng)控制器50基于存儲(chǔ)在程序存儲(chǔ)器54中的軟件程序來控制照相機(jī)的整體操作，所述程序存儲(chǔ)器54可以包括閃速EEPROM或其它非易失性存儲(chǔ)器。該存儲(chǔ)器還可以用于存儲(chǔ)圖像傳感器標(biāo)定數(shù)據(jù)、用戶設(shè)定選擇和在關(guān)閉照相機(jī)時(shí)必須保留的其它數(shù)據(jù)。系統(tǒng)控制器50通過指導(dǎo)曝光控制器40操作前述透鏡12、ND濾光器塊13、光圈塊14和快門18，指導(dǎo)定時(shí)發(fā)生器26操作濾色器陣列圖像傳感器20和相關(guān)元件，以及指導(dǎo)DSP 36處理被捕捉圖像數(shù)據(jù)，來控制圖像捕捉的時(shí)序。在對(duì)圖像進(jìn)行捕捉和處理之后，將存儲(chǔ)在DSP存儲(chǔ)器
32中的最終圖像文件經(jīng)由主機(jī)接口 57傳送至主機(jī)，存儲(chǔ)在可移動(dòng)記憶卡64或其它存儲(chǔ)裝置上，進(jìn)而在圖像顯示器88上為用戶顯示。系統(tǒng)控制器總線52包括地址、數(shù)據(jù)和控制信號(hào)的通路，并且將系統(tǒng)控制器50連接至DSP 36、程序存儲(chǔ)器54、系統(tǒng)存儲(chǔ)器56、主機(jī)接口 57、記憶卡接口 60和其它相關(guān)部件。主機(jī)接口 57提供了至個(gè)人計(jì)算機(jī)(PC)或其它主機(jī)的高速連接，以便傳送圖像數(shù)據(jù)以進(jìn)行顯示、存儲(chǔ)、操縱或打印。該接口為IEEE 1394或USB2.0串行接口，或任何其它適當(dāng)?shù)臄?shù)字接口。記憶卡64 —般為插入記憶卡插槽62并且經(jīng)由記憶卡接口 60連接至系統(tǒng)控制器50的緊湊式閃存(CF)卡?？墒褂玫钠渌愋偷拇鎯?chǔ)器包括但不限于，PC卡、多媒體卡(MMC)或安全數(shù)字(SD)卡。將被處理圖像復(fù)制到系統(tǒng)存儲(chǔ)器56中的顯示緩沖器，并且經(jīng)由視頻編碼器80連續(xù)地讀出，以生成視頻信號(hào)。該信號(hào)直接從照相機(jī)輸出以便顯示在外部監(jiān)視器上，或者由顯示控制器82處理進(jìn)而呈現(xiàn)在圖像顯示器88上。該顯示器一般為有源矩陣彩色液晶顯示器(IXD)，但也可以使用其它類型的顯示器。包括取景顯示器70、曝光顯示器72、狀態(tài)顯示器76、圖像顯示器88和用戶輸入裝置74的所有組合或任意組合的用戶接口 68，通過在曝光控制器40和系統(tǒng)控制器50上運(yùn)行的軟件程序的組合來控制。用戶輸入裝置74 一般包括按鈕、搖臂開關(guān)、操縱桿、旋轉(zhuǎn)撥號(hào)盤或觸摸屏的某種組合。曝光控制器40執(zhí)行測(cè)光、曝光模式、自動(dòng)對(duì)焦和其它曝光功能。系統(tǒng)控制器50對(duì)呈現(xiàn)在一個(gè)或多個(gè)顯示器上，如圖像顯示器88上的圖形用戶界面(⑶I)進(jìn)行管理。⑶I 一般包括用于選擇各種選項(xiàng)的菜單和用于檢查被捕捉圖像的查看模式。曝光控制器40接收對(duì)曝光模式、透鏡孔徑、曝光時(shí)間(快門速度)和曝光指數(shù)或ISO速度級(jí)別進(jìn)行選擇的用戶輸入，并且相應(yīng)地指導(dǎo)透鏡12和快門18以進(jìn)行后續(xù)捕捉。亮度傳感器塊16被用來測(cè)量景象的亮度并且為用戶提供曝光測(cè)量功能以便在手動(dòng)設(shè)定ISO速度級(jí)別、孔徑和快門速度時(shí)進(jìn)行參考。在該情形下，當(dāng)用戶改變一個(gè)或多個(gè)設(shè)定時(shí)，呈現(xiàn)在取景顯示器70上的測(cè)光表指示符告知用戶圖像被過度曝光或曝光不足的程度。在自動(dòng)曝光模式中，用戶改變一個(gè)設(shè)定，則曝光控制器40自動(dòng)改變另一個(gè)設(shè)定以維持恰當(dāng)?shù)钠毓?，例如，?duì)于給定的ISO速度級(jí)別，當(dāng)用戶減小透鏡孔徑時(shí)，曝光控制器40自動(dòng)增加曝光時(shí)間以維持相同的整體曝光。ISO速度級(jí)別是數(shù)字靜物照相機(jī)的重要屬性。曝光時(shí)間、透鏡孔徑、透鏡透射率、景象照明的等級(jí)和光譜分布、以及景象反射率決定了數(shù)字靜物照相機(jī)的曝光級(jí)。當(dāng)使用不足的曝光從數(shù)字靜物照相機(jī)獲取圖像時(shí)，一般可以通過增加電子或數(shù)字增益來維持適當(dāng)?shù)纳{(diào)再現(xiàn)，但所獲得的圖像通常包含數(shù)量不可接受的噪聲。當(dāng)曝光增加時(shí)，增益減小，因此一般可以將圖像噪聲降低至可接受的等級(jí)。如果曝光過度增加，則所獲得的圖像亮區(qū)中的信號(hào)可能超過圖像傳感器或照相機(jī)信號(hào)處理的最大信號(hào)級(jí)容量。這可能使圖像高亮部分被裁剪，以形成均勻的亮區(qū)或者“變成”圖像的周圍區(qū)。因此，引導(dǎo)用戶設(shè)定適當(dāng)?shù)钠毓夂苤匾?。ISO速度級(jí)別將用作該引導(dǎo)。為了使攝影者容易地理解，數(shù)字靜物照相機(jī)的ISO速度級(jí)別應(yīng)該與照相軟片照相機(jī)的ISO速度級(jí)別直接相關(guān)。例如，如果數(shù)字靜物照相機(jī)的ISO速度級(jí)別為ISO 200，則相同的曝光時(shí)間和孔徑應(yīng)適于ISO 200級(jí)別的軟片/處理系統(tǒng)。ISO速度級(jí)別將與軟片ISO速度級(jí)別相協(xié)調(diào)。然而，電子成像系統(tǒng)與基于軟片的成像系統(tǒng)之間存在不同，這妨礙了精確等效。數(shù)字靜物照相機(jī)可能包括可變?cè)鲆?，并且可以在捕捉圖像數(shù)據(jù)之后進(jìn)行數(shù)字處理，從而能夠?qū)σ幌盗姓障鄼C(jī)曝光實(shí)現(xiàn)色調(diào)再現(xiàn)。因此，數(shù)字靜物照相機(jī)可能具有一系列速度級(jí)別。該范圍被定義為ISO速度域。為了防止混淆，將單一值指定為固有ISO速度級(jí)別，其中ISO速度域上下限指示速度范圍，即包含與固有ISO速度級(jí)別不同的有效速度級(jí)別的范圍。鑒于此，固有ISO速度是根據(jù)數(shù)字靜物照相機(jī)的焦平 面上所具有的曝光進(jìn)行計(jì)算以生成特定照相機(jī)輸出信號(hào)特性的數(shù)值。固有速度典型為，對(duì)于給定照相機(jī)系統(tǒng)和標(biāo)準(zhǔn)景象生成最佳圖像質(zhì)量時(shí)的曝光指數(shù)值，其中曝光指數(shù)是與提供給圖像傳感器的曝光成反比的數(shù)值。數(shù)字照相機(jī)的以上描述為本領(lǐng)域技術(shù)人員所熟知。顯然，該實(shí)施例存在被選用來減少成本、增加特征或提高照相機(jī)的性能的很多可能變型。以下描述將詳細(xì)公開根據(jù)本發(fā)明的用于捕捉圖像的該照相機(jī)的操作。盡管該描述參考數(shù)字照相機(jī)，但應(yīng)該理解本發(fā)明適于與具有圖像傳感器的任意類型的圖像捕捉裝置一起使用，所述圖像傳感器具有用于多個(gè)顏色通道的像素。圖I所示的濾色器陣列圖像傳感器20主要包括制作在硅襯底上的二維光敏像素陣列，該二維光敏像素陣列提供將每一個(gè)像素上的輸入光轉(zhuǎn)換成被測(cè)量的電信號(hào)的途徑。當(dāng)濾色器陣列圖像傳感器20暴露于光時(shí)，在每一個(gè)像素的電子結(jié)構(gòu)內(nèi)生成自由電子并且捕捉該自由電子。在一段時(shí)間內(nèi)捕捉這些自由電子，然后測(cè)量被捕捉電子的數(shù)量，或者測(cè)量自由電子的生成速率，從而可以測(cè)量每一個(gè)像素上的光級(jí)。在前情形下，如在電荷耦合裝置(CXD)中累積電荷從像素陣列移出至電荷至電壓測(cè)量電路，或者如在有源像素傳感器(APS或CMOS傳感器)中每一個(gè)像素附近的區(qū)域可以包含電荷至電壓測(cè)量電路的元件。以下描述中無論何時(shí)提到圖像傳感器，均應(yīng)該理解為代表圖I的濾色器陣列圖像傳感器20。還應(yīng)該理解，本說明書中所公開的本發(fā)明的圖像傳感器結(jié)構(gòu)和像素圖案的所有實(shí)例及其等同物均用于濾色器陣列圖像傳感器20。在圖像傳感器背景下，像素(“圖像元素”的簡(jiǎn)稱)涉及離散感光區(qū)和與感光區(qū)有關(guān)的電荷移動(dòng)或電荷測(cè)量電路。在數(shù)字彩色圖像的背景下，術(shù)語像素一般涉及圖像中具有相關(guān)顏色值的特定位置。圖2是本發(fā)明優(yōu)選實(shí)施例的高級(jí)視圖的流程圖。原始濾色器陣列(CFA)圖像100由圖像傳感器20 (圖I)生成。被去噪(被降噪)CFA圖像104由去噪塊102對(duì)原始CFA圖像100進(jìn)行處理來生成。
圖3是根據(jù)本發(fā)明優(yōu)選實(shí)施例的去噪塊102 (圖2)的詳細(xì)描述。單色去噪塊106根據(jù)原始CFA圖像100生成第一被去噪CFA圖像108。接著，CFA色度去噪塊110通過對(duì)第一被去噪CFA圖像108進(jìn)一步處理來生成第二被去噪CFA圖像112。第二被去噪CFA圖像112變?yōu)楸蝗ピ隒FA圖像104。圖4示出了單色去噪塊106 (圖3)的詳細(xì)描述。計(jì)算像素差塊114根據(jù)原始CFA圖像100生成像素差116。計(jì)算機(jī)局部邊緣響應(yīng)加權(quán)值塊118根據(jù)像素差116生成局部邊緣響應(yīng)加權(quán)值120。計(jì)算被加權(quán)像素差塊122根據(jù)局部邊緣響應(yīng)加權(quán)值120生成被加權(quán)像素差124。最后,計(jì)算第一被去噪像素值塊126根據(jù)被加權(quán)像素差124生成第一被去噪CFA圖像108。
圖4中，計(jì)算像素差塊114以下述方式進(jìn)行計(jì)算。圖7示出了來自原始CFA圖像100的像素區(qū)域。在以下描述中，假定對(duì)像素值Ge進(jìn)行去噪。計(jì)算像素差塊114如以下等式所示對(duì)四個(gè)像素差116 (SN、Ss、6￡和Sw)進(jìn)行計(jì)算6 N = G2-Ge (I)6 s = Ge-Ge (2)6 E = Gg-Ge (3)5W = Gg-Ge (4)像素差SN、6S> Se^P Sw為正被去噪像素值(Ge)與上(N= “北”)、下(S= “南，，)、
右(E= “東”)和左(W= “西”)方向上具有相同顏色的四個(gè)最接近像素值(G2、Gk、Gg, Gc)之
差。一旦計(jì)算出這些像素差，通過計(jì)算局部邊緣響應(yīng)加權(quán)值塊118計(jì)算局部邊緣響應(yīng)加權(quán)
值。該值由以下等式計(jì)算。
I
C =-K
_3] j+fMT
IkYJ(5)其中c是局部邊緣響應(yīng)加權(quán)值120，6是像素差116，kY是常量，并且Il Il是矢量范數(shù)算符。在優(yōu)選實(shí)施例中，矢量范數(shù)算符是像素差116的絕對(duì)值。另外，設(shè)定kY，以使與原始CFA圖像100中的較明顯邊緣對(duì)應(yīng)的較大絕對(duì)像素差生成較小局部邊緣響應(yīng)加權(quán)值，并且與原始CFA圖像100中的平坦(光滑)區(qū)對(duì)應(yīng)的較小絕對(duì)像素差生成較大局部邊緣響應(yīng)加權(quán)值。接續(xù)上文給出的前述四個(gè)像素差，以下四個(gè)局部邊緣響應(yīng)加權(quán)值如下進(jìn)行計(jì)算
I
qU ~T, , "|02 .....Ge丨廣 I 4--
、kY J(6)丨 - 丨)
I I ------------------------------------------------- I
I kY J(7)
I
% -71+ Pt, +■■I
k、.，J(8)
權(quán)利要求
1.一種用于降低由數(shù)字圖像傳感器捕捉的彩色圖像中的噪聲的方法，所述數(shù)字圖像傳感器包括具有用于至少三個(gè)不同顏色通道的彩色像素的二維光敏像素陣列，所述像素以矩形最小重復(fù)單元進(jìn)行布置，所述方法包括，使用處理器執(zhí)行以下步驟 a)利用包括以下步驟的第一降噪處理為第一顏色通道的每一個(gè)像素確定降噪像素值 i)計(jì)算在所述第一顏色通道的中心像素周圍在多個(gè)方向上的第一組局部邊緣響應(yīng)加權(quán)值； ii)計(jì)算所述中心像素的像素值與所述第一顏色通道在多個(gè)方向上的鄰近像素的像素值之間的像素差； iii)通過將所述像素差與對(duì)應(yīng)的第一組局部邊緣響應(yīng)加權(quán)值組合來計(jì)算被加權(quán)像素差；以及 iv)通過將所述被加權(quán)像素差與所述中心像素的像素值組合來計(jì)算所述中心像素的第一降噪像素值；以及 b)利用包括以下步驟的第二降噪處理對(duì)所述第一顏色通道的每一個(gè)像素的第一降噪像素值進(jìn)一步進(jìn)行降噪 i)計(jì)算在所述第一顏色通道的中心像素周圍在多個(gè)方向上的第二組局部邊緣響應(yīng)加權(quán)值； ii)為包含所述中心像素的最小重復(fù)單元和多個(gè)方向上的多個(gè)鄰近最小重復(fù)單元計(jì)算色度值，所述色度值表示所述第一顏色通道的像素值和至少第二不同顏色通道的像素值之差; iii)計(jì)算與所述中心像素對(duì)應(yīng)的色度值和在多個(gè)方向上的鄰近最小重復(fù)單元的色度值之間的色度差； iv)通過將所述色度差與對(duì)應(yīng)的第二組局部邊緣響應(yīng)加權(quán)值組合來計(jì)算被加權(quán)色度差；以及 V)通過將所述被加權(quán)色度差與所述第一降噪像素值組合來計(jì)算所述中心像素的第二降噪像素值。
2.根據(jù)權(quán)利要求I所述的方法，其中所述第一降噪處理或第二降噪處理中的至少一個(gè)執(zhí)行多次。
3.根據(jù)權(quán)利要求I所述的方法，其中所述第一組局部邊緣響應(yīng)加權(quán)值和第二組局部邊緣響應(yīng)加權(quán)值相同。
4.根據(jù)權(quán)利要求I所述的方法，其中所述第一組局部邊緣響應(yīng)加權(quán)值和第二組局部邊緣響應(yīng)加權(quán)值不同。
5.根據(jù)權(quán)利要求I所述的方法，其中所述第一組局部邊緣響應(yīng)加權(quán)值僅利用所述第一顏色通道的像素值進(jìn)行計(jì)算。
6.根據(jù)權(quán)利要求I所述的方法，其中所述第一組局部邊緣響應(yīng)加權(quán)值利用至少兩個(gè)顏色通道的像素值進(jìn)行計(jì)算。
7.根據(jù)權(quán)利要求I所述的方法，其中所述局部邊緣響應(yīng)加權(quán)值利用以下等式進(jìn)行計(jì)算
8.根據(jù)權(quán)利要求I所述的方法，其中步驟b)ii)中綠色中心像素的色度值如下進(jìn)行計(jì)算C1 = 2G-R-B 其中C1是色度值，R是紅色像素值，G是綠色像素值，并且B是藍(lán)色像素值。
9.根據(jù)權(quán)利要求I所述的方法，其中步驟b)ii)中藍(lán)色中心像素的色度值如下進(jìn)行計(jì)算C2 = B-R 其中C2是色度值，R是紅色像素值，并且B是藍(lán)色像素值。
10.根據(jù)權(quán)利要求I所述的方法，其中步驟b)ii)中紅色中心像素的色度值如下進(jìn)行計(jì)算C3 = R-B 其中C3是色度值，R是紅色像素值，并且B是藍(lán)色像素值。
11.根據(jù)權(quán)利要求I所述的方法，其中被加權(quán)像素差如下進(jìn)行計(jì)算 w = δ · c 其中w是被加權(quán)像素差，c是局部邊緣響應(yīng)加權(quán)值，并且δ是像素差。
12.根據(jù)權(quán)利要求I所述的方法，其中所述第一降噪像素值如下進(jìn)行計(jì)算 V = X+ λ Σ Wi 其中X’是第一降噪像素值，X是中心像素值，λ是比率控制常量，Wi是第i方向上的被加權(quán)像素差，并且在多個(gè)方向i上進(jìn)行求和。
13.根據(jù)權(quán)利要求I所述的方法，其中所述多個(gè)方向包括相對(duì)于所述中心像素的上方、下方、左方和右方。
14.根據(jù)權(quán)利要求I所述的方法，其中所述至少三個(gè)不同顏色通道包括紅色、綠色和藍(lán)色顏色通道。
15.根據(jù)權(quán)利要求I所述的方法，其中所述至少三個(gè)不同通道包括至少一個(gè)全色通道。
16.一種用于降低由數(shù)字圖像傳感器捕捉的彩色圖像中的噪聲的方法，所述數(shù)字圖像傳感器包括具有用于至少三個(gè)不同顏色通道的彩色像素的二維光敏像素陣列，所述像素以矩形最小重復(fù)單元進(jìn)行布置，所述方法包括，使用處理器執(zhí)行以下步驟 a)利用包括以下步驟的第一降噪處理為第一顏色通道的每一個(gè)像素確定降噪像素值 i)計(jì)算在所述第一顏色通道的中心像素周圍在多個(gè)方向上的第一組局部邊緣響應(yīng)加權(quán)值； ii)為包含所述中心像素的最小重復(fù)單元和多個(gè)方向上的多個(gè)鄰近最小重復(fù)單元計(jì)算色度值，所述色度值表示所述第一顏色通道的像素值和至少第二不同顏色通道的像素值之差; iii)計(jì)算與所述中心像素對(duì)應(yīng)的色度值和在多個(gè)方向上的鄰近最小重復(fù)單元的色度值之間的色度差； iv)通過將所述色度差與對(duì)應(yīng)的第一組局部邊緣響應(yīng)加權(quán)值組合來計(jì)算被加權(quán)色度差；以及 V)通過將所述被加權(quán)色度差與所述中心像素的像素值組合來計(jì)算所述中心像素的第一降噪像素值；以及 b)利用包括以下步驟的第二降噪處理對(duì)所述第一顏色通道的每一個(gè)像素的第一降噪像素值進(jìn)一步降噪 i)計(jì)算在所述第一顏色通道的中心像素周圍在多個(gè)方向上的第二組局部邊緣響應(yīng)加權(quán)值；ii)計(jì)算所述中心像素的像素值與第一顏色通道在多個(gè)方向上的鄰近像素的像素值之間的像素差； iii)通過將所述像素差與對(duì)應(yīng)的第二組局部邊緣響應(yīng)加權(quán)值組合來計(jì)算被加權(quán)像素差；以及 iv)通過將所述被加權(quán)像素差與所述第一降噪像素值組合來計(jì)算所述中心像素的第二 降噪像素值。
全文摘要
本發(fā)明涉及一種對(duì)利用數(shù)字圖像傳感器捕捉的彩色圖像進(jìn)行降噪的方法，所述數(shù)字圖像傳感器具有按矩形最小重復(fù)單元布置的像素。該方法包括，利用包括以下步驟的第一降噪處理為第一顏色通道確定降噪像素值通過將像素差與對(duì)應(yīng)的局部邊緣響應(yīng)加權(quán)值組合來計(jì)算被加權(quán)像素差。該方法還包括具有以下步驟的第二降噪處理通過將色度差與對(duì)應(yīng)的局部邊緣響應(yīng)加權(quán)值組合來計(jì)算被加權(quán)色度差。
文檔編號(hào)H04N9/04GK102742279SQ201180007451
公開日2012年10月17日 申請(qǐng)日期2011年1月3日 優(yōu)先權(quán)日2010年1月29日
發(fā)明者E·O·莫拉萊斯, J·E·小亞當(dāng)斯, M·庫(kù)馬爾 申請(qǐng)人:伊斯曼柯達(dá)公司