一種圖像還原的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理的技術(shù)領(lǐng)域。本發(fā)明涉及一種圖像還原的方法，尤其涉及基于圖像后處理的壞點(diǎn)/熱點(diǎn)的圖像還原方法。
【背景技術(shù)】
[0002]隨著越來越多移動設(shè)備配備攝像頭，嵌入式應(yīng)用的CMOS成像技術(shù)正在迅速發(fā)展。CMOS圖像傳感器的像素單元是圖像傳感器實(shí)現(xiàn)感光的核心器件，通常包括:實(shí)現(xiàn)光電轉(zhuǎn)換的感光單元光電二極管和一系列作用為傳輸、轉(zhuǎn)換和放大和控制感光單元信號的晶體管。像素單元陣列由多個滿足最小BAYER圖案和紅、藍(lán)、綠三種顏色排列的像素單元電路組合擴(kuò)展而成。
[0003]對于一個由像素單元組成的CMOS圖像傳感器來說，不僅在參數(shù)上需要有出色的靈敏度和寬幅動態(tài)范圍，而且是否能夠準(zhǔn)確的，真實(shí)的，穩(wěn)定的反應(yīng)所攝錄圖像也是對像素單元作為半導(dǎo)體器件的最基本的要求。而在實(shí)際的攝像頭成像過程中，其基本組成單元-像素單元，由于在制造中工藝的局限性，或者使用在長時間、高溫環(huán)境的嚴(yán)苛條件下，在做完降噪等步驟后加大數(shù)字增益和模擬增益時，會出現(xiàn)固定的壞點(diǎn)/熱點(diǎn)的情況，影響圖像質(zhì)量。
[0004]所謂壞點(diǎn)，就是不隨感光變化，始終呈現(xiàn)一種顏色，比如一直是白色、黑色或單色的像素點(diǎn)。所謂熱點(diǎn)，會隨著曝光時間變長越來越明顯。由于壞點(diǎn)或熱點(diǎn)的存在，直接破壞了圖像的清晰度和完整性。壞點(diǎn)的存在是圖像質(zhì)量下降的原因之一。同時壞點(diǎn)的增多，低噪環(huán)境下圖像會更差，直接影響CMOS圖像傳感器的使用。熱點(diǎn)的存在，在傳感器長時間工作情況下同樣嚴(yán)重影響圖像質(zhì)量。
[0005]現(xiàn)有技術(shù)中傳統(tǒng)的壞點(diǎn)矯正的方法采用上電初始化一次的方式，確定本次上電視的壞點(diǎn)位置，固定的解決上電判斷出來的壞點(diǎn)，如若不重啟上電，壞點(diǎn)的糾正將局限于初始化的幾個，因此不適合相機(jī)在長時間使用過程中產(chǎn)生的壞點(diǎn)糾正。在常規(guī)辦法中，對壞點(diǎn)/熱點(diǎn)的處理主要是對于在Bayer矩陣中的壞點(diǎn)進(jìn)行檢測和直接的校正，但是這種方法大部分是對于單個壞點(diǎn)/熱點(diǎn)，也就是不集中的時候處理效果比較好
[0006]已公開的專利CN103475828A，其主要方法是以待測點(diǎn)為中心像素點(diǎn)建立5*5的Bayer色彩矩陣。首先對5*5Bayer色彩矩陣的中心像素點(diǎn)周圍像素點(diǎn)進(jìn)行壞點(diǎn)校正，以所述中心像素點(diǎn)的周圍像素點(diǎn)為參考點(diǎn)，判斷所述中心像素點(diǎn)像素值的色值與周圍像素點(diǎn)的差值是否大于一定閾值且連續(xù)，如果是，則中心像素點(diǎn)為壞點(diǎn)，再對判定為壞點(diǎn)的中心像素點(diǎn)進(jìn)行圖像校正。這種方法的主要問題是如果相鄰點(diǎn)中存在壞點(diǎn)，檢測的效果就不理想，且以此為據(jù)進(jìn)行校正的校正效果也不好。

【發(fā)明內(nèi)容】

[0007]本發(fā)明要解決當(dāng)圖像存在壞點(diǎn)/熱點(diǎn)的還原和校正，尤其是相鄰點(diǎn)存在壞點(diǎn)/熱點(diǎn)時，圖像還原的檢測的效果不理想，校正效果差的技術(shù)問題。
[0008]為解決上述技術(shù)問題，本發(fā)明提出的解決方案為提供一種圖像還原的方法，針對圖像后處理的中對于圖像壞點(diǎn)/熱點(diǎn)的還原方法，通過檢測對壞點(diǎn)/熱點(diǎn)的類型進(jìn)行分類，根據(jù)不同類型的壞點(diǎn)/熱點(diǎn)采用不同的方法校正，以提高校正效果。
[0009]本發(fā)明提出一種圖像還原的方法，步驟為:
[0010]I)將RGB圖像轉(zhuǎn)換為YCrCb圖像；
[0011]2)在圖像檢測區(qū)域內(nèi)建立坐標(biāo)，定義原點(diǎn)；
[0012]3)以2X2的矩陣為單元劃分像素，進(jìn)行壞點(diǎn)/熱點(diǎn)檢測判斷和分類，記錄壞點(diǎn)/熱點(diǎn)坐標(biāo)；
[0013]4)以單元內(nèi)壞點(diǎn)/熱點(diǎn)個數(shù)分類，分別進(jìn)行校正；
[0014]5)轉(zhuǎn)換YCrCb圖像為RGB圖像；
[0015]可選的，步驟I中所述YCrCb圖像分為Y層、Cr和Cb層，僅對Y層圖像進(jìn)行壞點(diǎn)/熱點(diǎn)檢測；
[0016]可選的，步驟2中所述圖像檢測區(qū)域不包含圖像最右列和最下行的像素；
[0017]可選的，所述步驟2中所述坐標(biāo)定義為:在圖像檢測區(qū)域內(nèi)，圖像左上方第一像素為原點(diǎn)，向右為正向X軸，向下為正向Y軸；
[0018]可選的，所述步驟3中將左上點(diǎn)為原點(diǎn)的單元定義為第一單元，從第一單元開始按單元逐一進(jìn)行壞點(diǎn)/熱點(diǎn)檢測判斷；
[0019]優(yōu)選的，步驟3所述像素單元檢測步驟為:
[0020]I)以原點(diǎn)為初始位置，檢測第一單元內(nèi)4個像素；
[0021]2)將第一單元從初始位置向右移動一列，檢測第一單元右列2個像素；
[0022]3)將第一單元從初始位置向下移動一行，檢測第一單元下行2個像素；
[0023]4)同樣方法檢測所有單元；
[0024]可選的，步驟3中取被檢測像素所對應(yīng)的2X2矩陣內(nèi)對角線上所有像素亮度均值的1.2倍為該被檢測像素的閾值，矩陣內(nèi)所有像素亮度逐一與各自對應(yīng)的閾值進(jìn)行比較，大于閾值為壞點(diǎn)/熱點(diǎn)，否則為正常點(diǎn)；
[0025]可選的，步驟3以所述單元中被檢測出的壞點(diǎn)/熱點(diǎn)的數(shù)量進(jìn)行分類，分為2個以下，3個和4個；
[0026]可選的，所述按分類進(jìn)行校正具體方法為:
[0027]1)2個壞點(diǎn)/熱點(diǎn)或以下:將壞點(diǎn)/熱點(diǎn)均校正為單元內(nèi)對應(yīng)的對角線上像素亮度的最小值；
[0028]2) 3個壞點(diǎn)/熱點(diǎn):將壞點(diǎn)/熱點(diǎn)均校正為單元內(nèi)唯一正常像素的亮度值；
[0029]3)4個壞點(diǎn)/熱點(diǎn):先將2X2的單元擴(kuò)大成4X4的矩陣，4個壞點(diǎn)/熱點(diǎn)的亮度值分別校正為擴(kuò)大后矩陣內(nèi)每個壞點(diǎn)/熱點(diǎn)各自相鄰的兩個正常像素亮度的均值；
[0030]優(yōu)選的，針對4個壞點(diǎn)/熱點(diǎn)的校正，將2 X 2矩陣單元向四周均擴(kuò)大一行/列，成為4X4的矩陣。
[0031]YCrCb即YUV，-是被歐洲電視系統(tǒng)所采用的一種顏色編碼方法主要用于優(yōu)化單色視頻信號的傳輸，是基于人眼感知的顏色空間。其中“Y”表示明亮度(Luminance或Luma)，也就是灰階值?！癠”是Cb，是RGB中的藍(lán)色分量，“V”是Cr，是RGB中的紅色分量。
[0032]采用YUV色彩空間的重要性是它的亮度信號Y和色度信號U、V是分離的。如果只有Y信號分量而沒有U、V分量，那么這樣表示的圖像就是黑白灰度圖像。而YUV與RGB是可以轉(zhuǎn)換的，相互轉(zhuǎn)換的公式如下(RGB取值范圍均為0-255):
[0033]Y= (B*1868+G*9617+R*4899+8192)/16384 ;
[0034]U= ((B-Y) *9241+8192)/16384+128 ;
[0035]V = ((R-Y) *11682+8192)/16384+128 ；
[0036]R = Y+l.14V
[0037]G = Y-0.39U-0.58V
[0038]B = Y+2.03U
[0039]所謂壞點(diǎn)是不隨感光變化，始終呈現(xiàn)一種顏色的像素點(diǎn)。所謂熱點(diǎn)是隨著曝光時間變長越來越明顯份的高亮點(diǎn)。兩者的存在都會影響圖像的質(zhì)量。本發(fā)明就是通過對圖像中壞點(diǎn)/熱點(diǎn)的檢測、查找、定位，再有針對性的進(jìn)行校正，以達(dá)到減少壞點(diǎn)/熱點(diǎn)的突兀對整個圖像清晰度和完整性的破壞，使圖像中亮度或色彩過渡連貫，實(shí)現(xiàn)還原圖像的目的。
[0040]由上述描述可知，在實(shí)際圖像還原過程中，可以通過YCrCb制式，檢測像素的亮度來查找壞點(diǎn)/熱點(diǎn)。本發(fā)明方法將RGB的單色圖像轉(zhuǎn)化成的YCrCb制式，通過對其中Y層(即灰度)_亮度圖像的檢測，判斷出壞點(diǎn)/熱點(diǎn)并分類，然后針對不同類型采用不同校正方式，以達(dá)到更好的圖像還原效果，最后將校正后的YCrCb圖像轉(zhuǎn)換會RGB制式。
[0041]針對現(xiàn)有技術(shù)的圖像還原技術(shù)，只能校正少數(shù)的離散的壞點(diǎn)/熱點(diǎn)，以及對所有壞點(diǎn)/熱點(diǎn)采用相同校正的局限，本發(fā)明提出的方法包括:
[0042]對單色圖像進(jìn)行YCrCb變換。
[0043]針對Y層圖像，檢測像素的亮度，進(jìn)行壞點(diǎn)/熱點(diǎn)判斷，并記錄壞點(diǎn)/熱點(diǎn)的坐標(biāo)。以一定大小的像素矩陣為單元進(jìn)行檢測，設(shè)定單元對角線像素亮度均值的I?1.5倍為閾值，進(jìn)行壞點(diǎn)/熱點(diǎn)的判斷和分類。具體的，在以2*2像素矩陣為一個單元的檢測過程中，一般以待測點(diǎn)的對角線像素亮度均值的1.2倍為閾值，比較待檢點(diǎn)與閾值之間的關(guān)系，如果大于閾值，則為壞點(diǎn)/熱點(diǎn)，否則，則為正常點(diǎn)。實(shí)際操作上，以所設(shè)閾值是否能夠檢測出圖像上肉眼可查的壞點(diǎn)/熱點(diǎn)作為標(biāo)準(zhǔn)，判斷其是否合適。閾值可以在所對應(yīng)對角線像素亮度均值的I?1.5倍范圍內(nèi)做調(diào)整。
[0044]按上述方法，每個2 X 2的矩陣單元中，都有4個待測點(diǎn)和2個閾值。
[0045]然后，按照上述方法完成整個圖像的壞點(diǎn)/熱點(diǎn)檢測。記錄壞點(diǎn)/熱點(diǎn)的坐標(biāo)。
[0046]按2 X 2矩陣單元中壞點(diǎn)/熱點(diǎn)的個數(shù)分類，檢測結(jié)果可分為3類:兩個以下，三個和四個壞點(diǎn)/熱點(diǎn)。
[0047]對待測的圖像進(jìn)行YCbCr變換，針對所記錄的壞點(diǎn)/熱點(diǎn)坐標(biāo)按所分類別采用不同方法進(jìn)行校正.
[0048]最后轉(zhuǎn)換YCbCr圖像為RGB制式。
[0049]本發(fā)明的方法完全不受壞點(diǎn)/熱點(diǎn)個數(shù)和分布狀態(tài)的限制。由于在檢測中每個待測點(diǎn)對應(yīng)的閾值同樣隨著檢測區(qū)域變動，因此能夠依據(jù)實(shí)際圖像情況確定真實(shí)的壞點(diǎn)/熱點(diǎn)的個數(shù)和位置。唯一的不確定情況是，當(dāng)2X2單位中4個像素均為壞點(diǎn)/熱點(diǎn)，則可能因?yàn)榕袛嚅撝当旧淼牟铄e引起誤判。但本發(fā)明已經(jīng)針對這種情況提出了進(jìn)一步優(yōu)化方案。
[0050]進(jìn)一步的，2X2單元在完成原位置檢測后，需要向右，繼而再向下個移動一行/列。具體的，將測試矩陣從初始位置往右移一列，在包含新像素的矩陣中再次檢測原單元中右列的兩個像素；再將測試矩陣從初始位置向下移一行，在包含新像素的矩陣中再次檢測原單元中下行的兩個像素。將單元右移和下移的目的是避免由于存在4個壞點(diǎn)/熱點(diǎn)導(dǎo)致檢測結(jié)果不準(zhǔn)確。這一優(yōu)化方案也進(jìn)一步解決了對比文件:已公開的專利CN 103475828 A的缺陷。對比文件對于壞點(diǎn)校正是以所述被測中心像素點(diǎn)的周圍像素點(diǎn)為參考點(diǎn)，進(jìn)行判斷的。如果被測中心像素點(diǎn)相鄰的點(diǎn)中存在壞點(diǎn)，甚至都是壞點(diǎn)，對比文件的判斷就是不正確的。而本發(fā)明通過采用主動擴(kuò)大檢測范圍的方法，有效的避免的對比文件可能出現(xiàn)的差錯O
[0051]同時，本發(fā)明根據(jù)壞點(diǎn)/熱點(diǎn)的分類，針對性的采用不同的校正的方法，主要包括:
[0052]兩個以下的壞點(diǎn)/熱點(diǎn)時，校正待測點(diǎn)的值為單元中所對應(yīng)的對角線兩個值中的最小值。
[0053]三個點(diǎn)時，校正待測點(diǎn)的值為單元中唯一的正常值。
[0054]四個點(diǎn)時，則需要將2*2的區(qū)域擴(kuò)大一層變成4*4，然后4個壞點(diǎn)的值為對應(yīng)的兩個相鄰正常值的均值。
[0055]本發(fā)明所提出校正方法從壞點(diǎn)/熱點(diǎn)所存在的周圍環(huán)境圖像出發(fā)，全面考慮，確保還原后圖像色彩/亮度變化的連續(xù)性。而現(xiàn)有技術(shù)所采用的統(tǒng)一校正方法，只是簡單的將壞點(diǎn)/熱點(diǎn)做了修正，完全不考慮新的修正值是否能夠與周圍圖像自然且連續(xù)的過渡，其一刀切的校正結(jié)果只能是去除壞點(diǎn)/熱點(diǎn)，并不能提高圖像質(zhì)量，也不能帶來更好的清晰度。而本發(fā)明方法在完成圖像還原的同時保證了圖像的清晰度和完整性，真正提高了圖像質(zhì)量，相較于現(xiàn)有技術(shù)和對比文件的方法有了很大的進(jìn)步，。
【附圖說明】
[0056]圖1是圖像檢測區(qū)域示意圖。
[0057]圖2是2 X 2的單元示意圖。
[0058]圖3為左移檢