用于圖像去馬賽克的系統(tǒng)及方法
【專利摘要】一種用于圖像去馬賽克的系統(tǒng)以及其制造和使用方法。所述圖像去馬賽克系統(tǒng)包括鏡頭、馬賽克濾波器、圖像傳感器陣列以及處理模塊。所述處理模塊被配置成用于對(duì)馬賽克化圖像執(zhí)行自適應(yīng)去馬賽克，所述馬賽克化圖像產(chǎn)生自穿過(guò)所述鏡頭和所述馬賽克濾波器的感測(cè)的光。所述圖像去馬賽克方法包括在水平方向以及垂直方向上對(duì)未知的紅色、綠色以及藍(lán)色像素插補(bǔ)值，并且為每個(gè)像素自適應(yīng)地選擇插補(bǔ)結(jié)果中的一個(gè)。所揭露的系統(tǒng)以及方法在不同的信噪比(SNR)下操作時(shí)提供高質(zhì)量的圖像處理，并且要求最少的計(jì)算時(shí)間以及經(jīng)費(fèi)。
【專利說(shuō)明】
用于圖像去馬賽克的系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001] 本揭露總體是關(guān)于成像以及圖像處理，并且具體地，但非排他，是關(guān)于用于圖像去 馬賽克的系統(tǒng)以及方法。
【背景技術(shù)】
[0002] 傳統(tǒng)的數(shù)字相機(jī)通過(guò)使用光學(xué)圖像傳感器陣列獲取圖像。然而，在光進(jìn)入這些傳 感器陣列之前，光首先穿過(guò)一個(gè)彩色濾波器陣列(CFA)，以只允許一種波長(zhǎng)的光進(jìn)入傳感器 陣列的任何給定的傳感器像素。此種情況所成的像叫馬賽克圖像，在馬賽克圖像中，每個(gè)像 素只包含一種顏色一一般只有紅色、綠色或者藍(lán)色。將這種馬賽克圖像轉(zhuǎn)換為全色圖像的 過(guò)程叫做"去馬賽克"。
[0003] 現(xiàn)有技術(shù)中存在各種去馬賽克的方法;然而，這些方法中的許多在轉(zhuǎn)換的圖像中 都導(dǎo)致不理想的效果，包括偽影，諸如色度混疊、拉鏈效應(yīng)(大量相鄰像素點(diǎn)的強(qiáng)度的突然 反常的變化）、紫邊以及圖像分辨率的缺失。
[0004]此外，大部分傳統(tǒng)的去馬賽克方法不能對(duì)從高噪聲到低噪聲范圍的圖像提供充足 的圖像轉(zhuǎn)換。因此，這類去馬賽克方法不足以應(yīng)用在各種類型的圖像上。
[0005]其他傳統(tǒng)的去馬賽克方法具有很大的計(jì)算復(fù)雜度，導(dǎo)致圖像處理速度出乎意料地 慢并且使用傳統(tǒng)便攜式相機(jī)系統(tǒng)上可用的硬件和/或軟件不能實(shí)現(xiàn)快速處理。
[0006] 基于前述內(nèi)容，需要提供一種改進(jìn)的圖像去馬賽克的系統(tǒng)以及方法，以努力克服 前述傳統(tǒng)的圖像去馬賽克的系統(tǒng)以及方法的缺點(diǎn)及不足。
【附圖說(shuō)明】
[0007] 圖la是示出用于捕獲數(shù)字圖像的數(shù)字相機(jī)系統(tǒng)的實(shí)施方式的示意圖，其中所述數(shù) 字相機(jī)系統(tǒng)包括鏡頭、馬賽克濾波器、傳感器陣列以及相機(jī)裝置。
[0008] 圖lb是示出通過(guò)插補(bǔ)去馬賽克法將示例性馬賽克化RGB圖像數(shù)據(jù)轉(zhuǎn)換成三基色 RGB圖像數(shù)據(jù)的示意圖。
[0009] 圖2是示出馬賽克化RGB圖像的示例部分的示意圖。
[0010]圖3a是用于產(chǎn)生、處理和呈現(xiàn)數(shù)字圖像的方法的流程圖。
[0011]圖3b是用于獲得馬賽克化數(shù)字圖像的子方法的流程圖，其是圖3a所描繪的方法的 一部分。
[0012] 圖4是用于使圖像自適應(yīng)去馬賽克的子方法的流程圖，其是圖3a所描繪的方法的 一部分。
[0013] 圖5是圖像的自適應(yīng)去馬賽克的子方法的流程圖，其是圖4所描繪的方法的一部 分。
[0014] 圖6a描繪了多個(gè)馬賽克化圖像的信噪比（SNR)對(duì)比去馬賽克化圖像的峰值信噪比 (PSNR)的曲線。
[0015] 圖6b示出圖6a的曲線所描繪的結(jié)果的表格。
[0016] 應(yīng)注意，所述圖并不是按照比例繪制，其中，具有相似結(jié)構(gòu)或者功能的元件出于說(shuō) 明性目的在所有圖中大體由相同的參考編號(hào)表示。還應(yīng)注意，所述圖的目的僅僅是便于描 述優(yōu)選實(shí)施方式。所述圖并未示出所描述的實(shí)施方式的每個(gè)方面，并且不限制本揭露的范 圍。
【具體實(shí)施方式】
[0017] 因?yàn)楝F(xiàn)存的去馬賽克系統(tǒng)及方法不能提供最佳圖像插補(bǔ)，并需要大量的軟件或者 硬件經(jīng)費(fèi)，改進(jìn)的去馬賽克系統(tǒng)以及方法在不同的信噪比（SNR)下操作時(shí)提供高質(zhì)量的圖 像處理，并且要求最少的計(jì)算時(shí)間及經(jīng)費(fèi)，能夠證明可行性并且為廣泛范圍的數(shù)字成像應(yīng) 用提供基礎(chǔ)，所述數(shù)字成像應(yīng)用諸如數(shù)字相機(jī)系統(tǒng)等。根據(jù)本案所揭露的一個(gè)實(shí)施方式，通 過(guò)如圖la所示的數(shù)字相機(jī)系統(tǒng)100可以實(shí)現(xiàn)上述結(jié)果。
[0018] 轉(zhuǎn)到圖la，抽象示出了數(shù)字RGB相機(jī)系統(tǒng)100,其包括鏡頭105、馬賽克濾波器110、 傳感器陣列115以及相機(jī)裝置120。所述相機(jī)裝置120可操作性地連接到所述傳感器陣列 115,并包括處理器121(或者處理模塊）、存儲(chǔ)器122以及顯示器123。在各種實(shí)施方式中，所 述RGB相機(jī)系統(tǒng)100可以被設(shè)置在一個(gè)合適的相機(jī)殼體之內(nèi)（未圖不）。
[0019] 如圖la所示，光101進(jìn)入鏡頭105,所述鏡頭105將所述光101聚焦在馬賽克濾波器 110上。所述馬賽克濾波器110可以包括多個(gè)半透明的紅色像素、綠色像素以及藍(lán)色像素 1111?、1116、1118，所述紅色像素、綠色像素以及藍(lán)色像素以矩陣形式排列。所述光101穿過(guò) 所述馬賽克濾波器110而到達(dá)所述傳感器陣列115,所述傳感器陣列115具有將接收的光轉(zhuǎn) 換為數(shù)字信號(hào)的多個(gè)對(duì)應(yīng)的傳感器像素116。所述傳感器陣列115產(chǎn)生如圖lb所描繪的馬賽 克化數(shù)字圖像130。繼續(xù)參考圖la，所述馬賽克濾波器110包括半透明的紅色像素、綠色像素 以及藍(lán)色像素111R、111G、111B的圖案，以基本上過(guò)濾掉所有其他波長(zhǎng)的光，以使得每個(gè)傳 感器像素116只記錄紅、藍(lán)或者綠光的值。
[0020] 所述馬賽克化數(shù)字圖像130可以通過(guò)如本案所描述的插補(bǔ)法轉(zhuǎn)換為傳統(tǒng)的RGB三 基色圖像140。例如，傳統(tǒng)RGB圖像中的每個(gè)像素包括紅色、綠色及藍(lán)色分量，其組合來(lái)從全 譜可見(jiàn)光限定所述像素的顏色。因此，傳統(tǒng)的RGB三基色圖像140包括紅色部分141、綠色部 分142以及藍(lán)色部分143,其統(tǒng)一限定全色RGB圖像。
[0021] 為了將所述馬賽克化數(shù)字圖像轉(zhuǎn)換為RGB三基色圖像140,可以通過(guò)插補(bǔ)過(guò)程來(lái)添 加缺失信息。換言之，所述馬賽克化數(shù)字圖像130僅具有在形成時(shí)將呈現(xiàn)在RGB三基色圖像 中的總信息的三分之一，并且因此這些缺失信息可以基于其周圍的像素推斷其值來(lái)添加。 例如，如圖lb所示，所述馬賽克化數(shù)字圖像130包括9X9的像素陣列，每個(gè)像素的值已知為紅 色、綠色、或藍(lán)色值的一種。
[0022] 然而，當(dāng)轉(zhuǎn)換成RGB三基色圖像140時(shí)，可以產(chǎn)生紅色、綠色及藍(lán)色部分141、142及 143中每一個(gè)的9X9圖像。例如，對(duì)于紅色部分141，給定像素位置的紅色值141K中多數(shù)都是 從馬賽克化數(shù)字圖像130中存在的值中獲知(在紅色部分141中由給定位置中的"R"所指的 像素141K)。然而，剩下的像素值(在所述紅色部分141中由給定位置中的空白像素所指的像 素1411)可以被插補(bǔ)，以使得可呈現(xiàn)出針對(duì)紅色部分141的全9X9紅色值陣列。類似地，針對(duì) 綠色部分142以及藍(lán)色部分143也可以進(jìn)行這種插補(bǔ)。所述綠色部分142包括已知像素142K 并且包括可以被插補(bǔ)的未知像素1421。所述藍(lán)色部分143包括已知像素143K并且包括可以 被插補(bǔ)的未知像素1431。
[0023]圖la及圖lb描繪了馬賽克濾波器110以及捕獲的呈拜耳濾波器圖案的馬賽克化數(shù) 字圖像130,在所述拜耳濾波器圖案中，針對(duì)每個(gè)紅色或者藍(lán)色像素111RU11B存在兩個(gè)綠 色像素111G，其中R-G以及B-G交替像素的交替行存在偏移。圖2也描繪了具有拜耳濾波器圖 案的馬賽克化數(shù)字圖像，并且貫穿以下揭露內(nèi)容在各個(gè)示例中對(duì)圖2進(jìn)行了更詳細(xì)的參考。 這種拜耳濾波器圖案常規(guī)用于數(shù)字成像中；然而，在一些實(shí)施方式中，所述去馬賽克和/或 插補(bǔ)的方法可以應(yīng)用于包括各種合適的圖案布置中的兩種或者更多種像素顏色的其他的 濾波器圖案中合適。例如，在一些實(shí)施方式中，可能需要用濾波器捕獲圖像，在所述濾波器 中，針對(duì)每個(gè)綠色或者藍(lán)色像素111G、111B存在兩個(gè)紅色像素111R，或者存在四個(gè)像素顏色 (例如，CMYK)。因此，本揭露并不只限于RGB成像，并且可以替代地應(yīng)用于各種成像方法、系 統(tǒng)以及方案。
[0024]描繪的抽象的數(shù)字RGB相機(jī)系統(tǒng)100,其包括處理器121、存儲(chǔ)器122以及顯示器 123;然而，其他實(shí)施方式可以包括任何合適組的部件，并且所述處理器121、存儲(chǔ)器122和/ 或顯示器123中的任一個(gè)可以存在多個(gè)或者在一些實(shí)施方式中一個(gè)也沒(méi)有。在一個(gè)實(shí)施方 式中，所述存儲(chǔ)器122可以存儲(chǔ)用于執(zhí)行本案所描述的方法中的任一種的指令，并且可以存 儲(chǔ)如本案所論述的數(shù)字圖像130、140。所述顯示器123可以被配置成用于顯示數(shù)字圖像130、 140,并且在各種實(shí)施方式中可以包括液晶顯示器(IXD);發(fā)光二極管(LED)顯示器、有機(jī)發(fā) 光二極管(0LED)顯示器、數(shù)字光投影(DLP)顯示器等。
[0025]描述的使用單鏡頭反光式(SLR)鏡頭的抽象的數(shù)字RGB相機(jī)系統(tǒng)100;然而，在各種 實(shí)施方式中，可以使用任何合適的鏡頭系統(tǒng)，包括針孔鏡頭、生物鏡頭、簡(jiǎn)單玻璃凸透鏡，或 者諸如此類。此外，根據(jù)各種實(shí)施方式的鏡頭可以被配置成具有某種成像特性，包括微距鏡 頭、變焦鏡頭、遠(yuǎn)攝鏡頭、魚(yú)眼鏡頭、廣角鏡頭，或者諸如此類。
[0026]此外，當(dāng)數(shù)字RGB相機(jī)系統(tǒng)100可以用于檢測(cè)可見(jiàn)光譜中的光，并由此產(chǎn)生圖像時(shí)， 在一些實(shí)施方式中，所述數(shù)字RGB相機(jī)系統(tǒng)100可以適于檢測(cè)具有其他波長(zhǎng)的光，包括伽馬 射線、X射線、紫外線、紅外線、微波、無(wú)線電波，或者諸如此類。此外，數(shù)字RGB相機(jī)系統(tǒng)100可 以適于靜止圖像、視頻圖像以及三維圖像等。因此，本揭露不應(yīng)該視為受限于本案所示和所 描述的示例數(shù)字RGB相機(jī)系統(tǒng)100。
[0027]圖3a是根據(jù)實(shí)施方式的用于產(chǎn)生、處理和呈現(xiàn)數(shù)字圖像的方法300的流程圖。所述 方法開(kāi)始于子方法305,其中，獲得一個(gè)馬賽克化圖像130(圖la所示）。在子方法方塊400,所 述馬賽克化圖像130被去馬賽克以產(chǎn)生RGB三基色圖像140(圖lb所示），并且在方塊335,存 儲(chǔ)這個(gè)RGB三基色圖像140。在方塊340,呈現(xiàn)所述去馬賽克化圖像，所述呈現(xiàn)可以包括在相 機(jī)裝置120的顯示器123上呈現(xiàn)或者在任何其他合適的顯示器或者屏幕上，通過(guò)任何合適的 再現(xiàn)方式呈現(xiàn)等。
[0028]圖3b是用于產(chǎn)生馬賽克化數(shù)字圖像130的子方法305A的流程圖。所述方法300A開(kāi) 始于方塊310,其中光101(圖la所示)通過(guò)鏡頭105(圖la所示)接收。在方塊315,通過(guò)馬賽克 濾波器11〇(圖la所示)接收光101，并且在方塊320,在圖像傳感器陣列115(圖la所示)處接 收光101。在方塊325,產(chǎn)生并存儲(chǔ)馬賽克化圖像130。例如，所述馬賽克化圖像130可以存儲(chǔ) 在存儲(chǔ)器122中，所述存儲(chǔ)器122可以包括緩存或者其他合適的存儲(chǔ)器裝置。在其他實(shí)施方 式中，可能存在用于獲得馬賽克化圖像130的多種其他合適的方法300。例如，馬賽克化圖像 130可以從存儲(chǔ)器中獲取、從因特網(wǎng)下載、從服務(wù)器中接收，諸如此類。
[0029]圖4是用于對(duì)圖像去馬賽克的子方法400A的流程圖。所述子方法400A被描繪為圖 3a中的子方法方塊400。所述方法400A開(kāi)始于方塊410,其中獲得噪聲水平指數(shù)。在各種實(shí)施 方式中，所述噪聲水平指數(shù)可以是基于數(shù)字相機(jī)的ISO(國(guó)際化標(biāo)準(zhǔn)組織，日內(nèi)瓦，瑞士)感 光度值、相機(jī)的自動(dòng)增益控制(AGC)指數(shù)、相機(jī)的數(shù)字增益控制(DGC)，諸如此類的總體量計(jì) 算得到的外部參數(shù)。
[0030] 在決策方塊420,確定所述噪聲水平指數(shù)是否大于一個(gè)閾值。在一些實(shí)施方式中， 這個(gè)閾值可以基于特定的硬件和設(shè)置配置來(lái)人為確定。例如，用戶可以用具有不同噪聲級(jí) 的圖像測(cè)試數(shù)字相機(jī)的給定配置，并且通過(guò)視覺(jué)或者分析確定閾值，其中雙線性去馬賽克 優(yōu)于自適應(yīng)去馬賽克;并且設(shè)置閾值水平，其中選擇優(yōu)于另外一種的一種去馬賽克方法。在 一些實(shí)施方式中，最佳閾值可以通過(guò)對(duì)給定相機(jī)進(jìn)行大量的定性和定量實(shí)驗(yàn)來(lái)計(jì)算。例如， 確定的一個(gè)最佳閾值可以是〇. 76。
[0031] 如果噪聲級(jí)大于所述閾值，那么所述子方法400A繼續(xù)到子方法方塊500,其中，執(zhí) 行自適應(yīng)去馬賽克。本案針對(duì)圖5更詳細(xì)地示出和描述了這種方法500的一個(gè)示例。然而，如 果所述噪聲級(jí)小于所述閾值，則方法400A繼續(xù)到方塊430,其中執(zhí)行雙線性去馬賽克。
[0032] 雙線性去馬賽克可以用任何合適的方法執(zhí)行。例如，在一個(gè)實(shí)施方式中，雙線性去 馬賽克使用與相鄰像素的相互關(guān)系來(lái)獲得其他顏色的色彩強(qiáng)度。再次參考圖2,為了獲得抱 位置上的綠色值，可以使用以下插補(bǔ)方法，所述插補(bǔ)方法依賴于在垂直和/或水平方向上為 最近的鄰居的綠色像素的值。
[0033]
[0034]例如，假定三種色彩通道R、G、B之間有關(guān)聯(lián)，并且假定相鄰像素的強(qiáng)度經(jīng)常平緩地 變化，那么可以基于周圍的值來(lái)插補(bǔ)。因此，計(jì)算水平梯皮和垂直梯度可以用于選擇 插補(bǔ)方向。例如，圖2的像素 R5在這些不同的方向上可以具有不同的斜率：
[0035]
[0036]
[0037] 在上述實(shí)施方式中，其中V/f > VP ,可以選擇垂直插補(bǔ)值。例如，參考圖2，R5上的 綠色值可以使用垂直插補(bǔ)，通過(guò)對(duì)垂直方向上的最近的鄰居的值求平均值或者通過(guò)計(jì)算 (G4+G6)/2 來(lái)計(jì)算。
[0038] 另一方面，當(dāng)Vi? < VF時(shí)，可以選擇水平插補(bǔ)值。例如，參考圖2，R5上的綠色值可以 使用水平插補(bǔ)，通過(guò)對(duì)水平方向上的最近的鄰居的值求平均值或者通過(guò)計(jì)算(G 2+G8)/2來(lái)計(jì) 算。
[0039] 然而，當(dāng)時(shí)，可以對(duì)四個(gè)最近的鄰居求平均值，并且將所述平均值用作插 補(bǔ)值。例如，參考圖2,可以對(duì)所述四個(gè)最近的鄰居值求平均值，以通過(guò)計(jì)算(G2+G8+G 4+G6)/4 獲得R5上的綠色值。
[0040]圖5是用于圖像的自適應(yīng)去馬賽克的子方法500的流程圖，其是圖4描繪的方法的 一部分。所述子方法500開(kāi)始于循環(huán)方塊505,針對(duì)所有的像素位置130(參見(jiàn)圖lb)。在方塊 510,給定像素位置130的AV和Δ Η值基于所述像素位置的已知顏色來(lái)確定，并且在方塊 515,選擇所述像素位置130的插補(bǔ)方向。
[00411例如，并參考圖2,計(jì)算已知的紅色像素位置抱的Δ V與Δ Η值可以如下執(zhí)行：
[0042] ΔΗ= | (R3+R7)/2-R5)
[0043] AV= I (Ri+R9)/2-R5)
[0044] 針對(duì)每個(gè)像素獲得的AV和ΔΗ值可以用于確定是應(yīng)使用水平插補(bǔ)還是垂直插補(bǔ)。 例如，在一些實(shí)施方式中，如果Δ Η> Δ V，確定應(yīng)該選擇水平插補(bǔ)。另一方面，如果Δ Η〈 Δ V， 確定應(yīng)該選擇垂直插補(bǔ)。
[0045] 當(dāng)△ Η= △ V時(shí)，可以做任意選擇或者可以對(duì)四個(gè)最近的鄰居值求平均值以獲得所 述值。
[0046] 在其他實(shí)施方式中，可以使用確定是使用垂直插補(bǔ)還是水平插補(bǔ)的其他合適的方 法，并且這類方法可以是簡(jiǎn)單的或復(fù)雜的。例如，上述的方法使用每個(gè)方向上的一個(gè)最近的 相鄰像素。然而，在一些實(shí)施方式中，可以使用每個(gè)方向上的兩個(gè)或者更多個(gè)最近的鄰居。 在一些實(shí)施方式中，可以同時(shí)使用或者組合使用多種方法。
[0047] 在一些實(shí)施方式中，可能需要評(píng)估和識(shí)別潛在的邊緣，以便于避免插補(bǔ)越過(guò)所述 邊緣。例如，參考圖2,計(jì)算像素抱的△ V及△ Η值可以根據(jù)如下公式執(zhí)行。
[0048] ΔΗ= | (G4-Ge)
[0049] AV= I (G2-Gs)
[0050]在一些實(shí)施方式中，可能需要使用拉普拉斯算符(Laplacian operator)來(lái)進(jìn)行邊 緣檢測(cè)和/或快速?gòu)?qiáng)度變化檢測(cè)。例如，參考圖2,計(jì)算像素抱的△ V及△ Η值可以根據(jù)如下公 式執(zhí)行。
[0051 ] Δ Η= | (G2-G8) | +1R5-R1+R5-R9
[0052] AV= I (G4-G6) I + IR5-R3+R5-R7
[0053] 在各種實(shí)施方式中，所述選擇方法可以基于權(quán)衡相對(duì)于相機(jī)裝置120(參見(jiàn)圖la) 或可以處理圖像的其他裝置的性能的時(shí)間和內(nèi)存成本。
[0054]在方塊520,開(kāi)始針對(duì)所有未知的綠色像素1421的循環(huán)。在方塊525,基于選擇方向 來(lái)確定給定的未知綠色像素1421的垂直或水平插補(bǔ)值，并且在循環(huán)方塊550,結(jié)束針對(duì)所有 未知的綠色像素1421的循環(huán)。針對(duì)所有像素位置130的循環(huán)在方塊535結(jié)束。
[0055]例如，在一些實(shí)施方式中，所述水平綠色插補(bǔ)值可以根據(jù)下述內(nèi)容決定。讓R( ·)， G( ·)和B( ·)分別表示拜耳圖（Bayer map)上的紅色、綠色以及藍(lán)色像素。假設(shè)G(x)-R(x) 逐步變化;換句話說(shuō)，這個(gè)差分圖像的高頻部分變化得比G(x)更快。對(duì)于水平插補(bǔ)值RGRG的 計(jì)算，使用拜耳圖中的相應(yīng)行(例如，圖2中標(biāo)為205的[Ri，G 2，R5，G8，R9]的像素行）。例如，在 行205中，奇數(shù)的綠色像素以及偶數(shù)的紅色像素都是給定的數(shù)量。讓隨機(jī)信號(hào)由P(x)表示， 并且讓化(1)及丹(1)分別是已知信號(hào)的奇數(shù)值和偶數(shù)值。
[0056]
[0057]
[0058] 如果Go(X)&G1(x)分別是G(x)的奇數(shù)信號(hào)和偶數(shù)信號(hào)，那么Go(x)是已知的，并且 可以直接獲自拜耳數(shù)據(jù)，但是GKx)并不能如此。例如，參考圖2和行205,像素6 2及68的綠色 值是已知的，因?yàn)檫@些像素已經(jīng)排他性地包含了綠色像素?cái)?shù)據(jù)。在另一方面，像素心，1? 5和1?9 僅包含紅色值，因此，在這些像素位置上的綠色值是未知的。
[0059]因此，其中所有Go(x)值都已經(jīng)是已知的（例如圖lb所示綠色 部分442中"G"標(biāo)記的像素142K)。然而，& (X)值(例如，圖lb所示綠色部分442中的空白像素 1421)初始是未知的，并且可以被插補(bǔ)。因此，這近似是懶小波結(jié)構(gòu)。
[0060] 為了獲得當(dāng)前未知的值61&)，假設(shè)G(x)已經(jīng)穿過(guò)線性濾波器h。換句話說(shuō)，Glx) = h(x)*G(x)。假設(shè)G(x)是限帶信號(hào)并且h(x)是理想的低通濾波器，可以推導(dǎo)出下述公式。
[0061] G' (X) =ho(x)*Go(x)+hi(x)*Go(x)+ho(x)*Gi(x)+hi(x)*Gi(x)。
[0062]因此，低通濾波器h(x)具有如下特性：
[0063] hi(x)*Go(x)=Q，其中 X 是偶數(shù)；
[0064] ho(x)*Gi(x)=0,其中 X 是偶數(shù)；
[0065] ho(x)*G()(x)=0,其中X是奇數(shù)；以及
[0066] hi(x)*Gi(x)=0,其中 X 是奇數(shù)。
[0067] 以上方程式因此可以重寫(xiě)為下述形式：
[0068]
[0069]使用這個(gè)公式，因此有可能使用Go(X)&R1(x)來(lái)插補(bǔ)所有缺失的綠色像素值。換句 話說(shuō)，可以使用來(lái)自鄰近的綠色像素 Go(x)以及已知的紅色像素值心^)的已知值來(lái)完成 RGRGR行中未知的像素值G! (X)的插補(bǔ)。類似地，GBGBG行的插補(bǔ)可以使用來(lái)自鄰近的綠色像 素 G〇(x)以及已知的藍(lán)色像素值也(4的已知值來(lái)完成。這種相同的分析可以應(yīng)用于RGRGR列 或者GBGBG列，以確定垂直的綠色像素插補(bǔ)值。
[0070] 獲得滿足上述約束條件的零相位有限脈沖響應(yīng)(FIR)濾波器h(x)可以通過(guò)求解如 下優(yōu)化問(wèn)題來(lái)實(shí)現(xiàn)：
[0071]
[0072] 其中，·'表示傅立葉變換，并且w( ·)是加權(quán)函數(shù)。能夠以各種合適的方法來(lái)完成獲 取濾波器h(x)的設(shè)定值的這種優(yōu)化，所述方法包括但不限于使用MATLAB優(yōu)化工具箱（The MathWorks公司，內(nèi)蒂克，馬薩諸塞州），或者諸如此類。
[0073] 在考慮鄰近的紅色以及綠色像素對(duì)插補(bǔ)的綠色值的影響時(shí)，可能需要引入影響因 子S以根據(jù)如下方程確定h。
[0074] h= [0，0· 5，0,0.5，0] + [_0· 25,0,0.5，0，_0·25]*δ。
[0075] 在一些實(shí)施方式中，影響因子δ設(shè)置為1，然而，在其他實(shí)施方式中，影響因子δ可以 采用任何其他合適的值。
[0076] 返回圖5的方法500,循環(huán)方塊540開(kāi)始針對(duì)所有未知的紅色及藍(lán)色像素值1411， 1431的循環(huán)，并且在方塊545,基于像素位置130的所選擇的插補(bǔ)方向來(lái)計(jì)算未知的紅色和/ 或藍(lán)色值1411，1431的水平或者垂直插補(bǔ)值。在循環(huán)方塊550,結(jié)束針對(duì)所有未知的紅色及 藍(lán)色像素值1411，1431的循環(huán)。
[0077] 例如，利用所有先前已知的或者在水平或者垂直方向上插補(bǔ)的綠色值，通過(guò)為每 個(gè)未知的藍(lán)色和/或紅色值尋找垂直或者水平的插補(bǔ)值來(lái)繼續(xù)所述方法500。參考圖lb，RGB 三基色圖像140中紅色及藍(lán)色部分141、143中的許多值仍然是未知的（即，像素1411及 1431)，因此，可以被插補(bǔ)。例如，馬賽克化圖像130中已知了紅色部分141中標(biāo)識(shí)為"R"的像 素141K，而空白像素1411是未知的并且可以被插補(bǔ)。類似地，馬賽克化圖像130中已知了藍(lán) 色部分143中標(biāo)識(shí)為"B"的像素143K，而空白像素1431是未知的，并且可以被插補(bǔ)。
[0078]在各種實(shí)施方式中，未知的藍(lán)色和/或紅色像素值1411，1431的插補(bǔ)可以按照如下 方法執(zhí)行。例如，如上所述，假設(shè)差分圖像R-G為限帶的，并且具有基本上小于尼奎斯特取樣 速率(Nyquist sampling rate)的頻率。因此，所述差分圖像R-G可以通過(guò)已知的差分圖像 Rs-Gs來(lái)重構(gòu)。類似地，差分圖像B-G可以通過(guò)已知的差分圖像Bs-Gs來(lái)重構(gòu)。因此，下述方程 式可以分別用于計(jì)算R-G以及B-G，其中L是低通濾波器。
[0079] r-g = L*( Rs-Gs)
[0080] b_G = L*( Bs-Gs)
[0081] 因此，給定像素位置130的未知的紅色和/或藍(lán)色值可以在水平或者垂直方向上插 補(bǔ)。在一個(gè)實(shí)施方式中，L可以是低通濾波器，L= [1/4 1/2 1/4; 1/2 1 1/2; 1/4 1/2 1/4]。 然而，在其他實(shí)施方式中，L可以是任何合適的低通濾波器，或者其他類型的濾波器。
[0082] 再次返回圖5的方法500,在方塊555,中值濾波器(Median Filter)可以應(yīng)用于完 整的三基色RGB圖像140。在方塊599,方法500執(zhí)行完畢。例如，在各種實(shí)施方式中，上述插補(bǔ) 方法可能會(huì)產(chǎn)生一些偽彩色或者其他不想要的效果。假設(shè)R-G以及B-G差分圖像的變化率是 漸變的，可以應(yīng)用中值濾波器來(lái)去除或者修復(fù)偽彩色或者其他不想要的效果。例如，在一些 實(shí)施方式中，中值濾波器的應(yīng)用可以提供抑制圖像的小改動(dòng)但是保留細(xì)節(jié)的益處。在一些 實(shí)施方式中，可以任何所期望數(shù)目次數(shù)迭代地應(yīng)用中值濾波器，以對(duì)圖像產(chǎn)生期望的效果。
[0083] 以下示例被包括來(lái)展示優(yōu)選實(shí)施方式。本領(lǐng)域技術(shù)人員應(yīng)該了解，以下示例中揭 露的技術(shù)代表已發(fā)現(xiàn)能夠很好地發(fā)揮作用的技術(shù)，因此，可以被視為構(gòu)成其實(shí)踐的優(yōu)選模 式。然而，本領(lǐng)域技術(shù)人員根據(jù)本揭露應(yīng)該了解在不脫離所述實(shí)施方式的精神和范圍的情 況下，可以對(duì)所揭露的特定實(shí)施方式作出許多變化，并且所述變化仍可以獲得相同或者相 似的結(jié)果。
[0084] 例子 1
[0085]本案所描述的自適應(yīng)去馬賽克方法用在彩色porcupine莫爾紋測(cè)試目標(biāo)圖像上并 且與其他用在相同測(cè)試目標(biāo)圖像上的去馬賽克方法進(jìn)行比較。例如，使用以下各項(xiàng)執(zhí)行測(cè) 試:雙線性去馬賽克;可變數(shù)目梯度(VNG)去馬賽克；圖案化像素組群(PPG)去馬賽克;DCB去 馬賽克(WWW. linuxphoto.org);自適應(yīng)濾波去馬賽克(AFD);以及色差方差(V⑶)去馬賽克。 使用本案所描述的自適應(yīng)去馬賽克方法處理的測(cè)試目標(biāo)圖像相較于其他方法顯示出較好 的色彩恢復(fù)效果以及較好的偽彩色去除能力。
[0086]例子 2
[0087] 上述示例實(shí)施方式的計(jì)算成本在以下示例中進(jìn)行計(jì)算（不包括中值濾波）：分析 64X64信號(hào)區(qū)塊，從而給出有關(guān)體現(xiàn)本方法各個(gè)步驟的模塊的加法以及乘法運(yùn)算的數(shù)目的 統(tǒng)計(jì)數(shù)字。例如，模塊1包括在水平方向以及垂直方向上的G插補(bǔ)，以及只在水平方向上的R 插補(bǔ)及B插補(bǔ)的步驟;模塊2包括在垂直方向上的R插補(bǔ)以及B插補(bǔ);模塊3包括基于計(jì)算的Δ Η及AV值而作出的水平插補(bǔ)或垂直插補(bǔ)的選擇;并且模塊4包括中值濾波的準(zhǔn)備工作。下表 (沒(méi)有中值濾波)示出了結(jié)果并且說(shuō)明了本案所描述的本示例實(shí)施方式可以利用相對(duì)最少 的計(jì)算經(jīng)費(fèi)來(lái)執(zhí)行。無(wú)論本方法是通過(guò)硬件和/或軟件執(zhí)行，這點(diǎn)都可能是期望的。
[0088]
[0089] 例子3
[0090] 使用本案所描述的示例實(shí)施方式來(lái)將建筑物外部的處于五個(gè)不同噪聲級(jí)的馬賽 克化圖像去馬賽克。五個(gè)馬賽克化圖像的信噪比（SNR)分別為10、20、40、60及100。圖6 &描繪 了每個(gè)馬賽克化圖像的SNR對(duì)比去馬賽克化圖像的峰值信噪比(PSNR)的曲線600,并且圖6b 示出了圖6a的曲線600中描繪的結(jié)果的表格605。所述圖像以及數(shù)據(jù)指示本案描述的實(shí)施方 式在各種SNR級(jí)下提供了強(qiáng)效的去馬賽克。
[0091] 所描述的實(shí)施方式易于產(chǎn)生各種修改及替代形式，并且它們的特定示例已經(jīng)在附 圖中通過(guò)舉例示出并在本案中進(jìn)行詳細(xì)描述。然而，應(yīng)該理解的是，所描述的實(shí)施方式并不 限于所揭露的具體形式或方法，相反，本揭露意圖涵蓋所有的修改、等效形式和替代方案。
【主權(quán)項(xiàng)】
1. 一種馬賽克化圖像的自適應(yīng)去馬賽克的方法，包括： 接收具有馬賽克圖案的所述馬賽克化圖像，所述馬賽克圖案具有第一顏色、第二顏色 以及第三顏色； 將所述馬賽克化圖像去馬賽克，以產(chǎn)生自適應(yīng)去馬賽克化圖像，所述自適應(yīng)去馬賽克 包括： 在水平方向或者垂直方向上對(duì)所述第一顏色的未知像素的一部分插補(bǔ)值； 在水平方向或者垂直方向上對(duì)所述第二顏色的未知像素的一部分插補(bǔ)值；以及 在水平方向或者垂直方向上對(duì)所述第三顏色的未知像素的一部分插補(bǔ)值。2. 如權(quán)利要求1所述的方法，其中所述對(duì)所述第二顏色及所述第三顏色的未知像素的 所述部分插補(bǔ)值是基于所述第一顏色的未知像素的所述部分的所述第一值的所述插補(bǔ)。3. 如權(quán)利要求1或2所述的方法，其中所述對(duì)所述第二顏色及所述第三顏色的未知像素 的所述部分插補(bǔ)值是在對(duì)所述第一顏色的未知像素的所述部分的所述第一值的所述插補(bǔ) 之后發(fā)生。4. 如權(quán)利要求1-3中任意一項(xiàng)所述的方法，其中所述馬賽克化圖像包括拜耳圖案中的 紅色、綠色以及藍(lán)色像素。5. 如權(quán)利要求1-4中任意一項(xiàng)所述的方法，其中所述第一顏色是綠色、所述第二顏色是 紅色并且所述第三顏色是藍(lán)色。6. 如權(quán)利要求1-5中任意一項(xiàng)所述的方法，其中水平插補(bǔ)或垂直插補(bǔ)是基于像素位置 的已知顏色數(shù)據(jù)來(lái)選擇。7. 如權(quán)利要求1-6中任意一項(xiàng)所述的方法，其中所述選擇水平插補(bǔ)以及垂直插補(bǔ)中的 一種包括相應(yīng)的垂直方向和水平方向上最近的鄰居像素比較。8. 如權(quán)利要求1-7中任意一項(xiàng)所述的方法，其中所述選擇水平插補(bǔ)以及垂直插補(bǔ)中的 一種包括計(jì)算水平梯度并且計(jì)算垂直梯度。9. 如權(quán)利要求1-8中任意一項(xiàng)所述的方法，其中為每個(gè)給定像素位置選擇水平插補(bǔ)以 及垂直插補(bǔ)中的一種，并且使用所述選擇的插補(bǔ)方向來(lái)對(duì)所述像素位置執(zhí)行所述第一顏 色、所述第二顏色以及所述第三顏色的所述未知像素的插補(bǔ)。10. 如權(quán)利要求1-9中任意一項(xiàng)所述的方法，其中為給定像素位置選擇水平插補(bǔ)或者垂 直插補(bǔ)是基于識(shí)別所述像素位置上的插補(bǔ)方向，所述插補(bǔ)方向在相似的相鄰像素顏色值當(dāng) 中具有最少變化。11. 如權(quán)利要求1-10中任意一項(xiàng)所述的方法，其中所述自適應(yīng)去馬賽克進(jìn)一步包括將 中值濾波器應(yīng)用于所述去馬賽克化圖像。12. 如權(quán)利要求1-11中任意一項(xiàng)所述的方法，進(jìn)一步包括在顯示器上顯示所述去馬賽 克化圖像。13. 如權(quán)利要求1-12中任意一項(xiàng)所述的方法，其中所述接收所述馬賽克化圖像包括從 圖像傳感器陣列接收所述馬賽克化圖像。14. 如權(quán)利要求1-13中任意一項(xiàng)所述的方法，進(jìn)一步包括基于穿過(guò)鏡頭以及馬賽克濾 波器的感測(cè)的光來(lái)產(chǎn)生所述馬賽克化圖像。15. -種馬賽克化圖像的自適應(yīng)去馬賽克的方法，包括： 接收具有馬賽克圖案的所述馬賽克化圖像，所述馬賽克圖案具有第一顏色、第二顏色 以及第三顏色； 獲取所述馬賽克化圖像的噪聲水平指數(shù)； 確定所述噪聲水平指數(shù)是否大于閾值； 如果所述噪聲水平指數(shù)不大于所述閾值，則對(duì)所述馬賽克化圖像執(zhí)行雙線性去馬賽 克，以產(chǎn)生雙線性去馬賽克化圖像;以及 如果所述噪聲水平指數(shù)大于所述閾值，則對(duì)所述馬賽克化圖像執(zhí)行自適應(yīng)去馬賽克， 以產(chǎn)生自適應(yīng)去馬賽克化圖像，所述自適應(yīng)去馬賽克包括： 在水平方向或者垂直方向上對(duì)所述第一顏色的未知像素的一部分插補(bǔ)值； 在水平方向或者垂直方向上對(duì)所述第二顏色的未知像素的一部分插補(bǔ)值；以及 在水平方向或者垂直方向上對(duì)所述第三顏色的未知像素的一部分插補(bǔ)值。16. 如權(quán)利要求15所述的方法，其中所述對(duì)所述第二顏色及所述第三顏色的未知像素 的所述部分插補(bǔ)值是基于所述第一顏色的未知像素的所述部分的所述第一值的所述插補(bǔ)。17. 如權(quán)利要求15或16所述的方法，其中所述對(duì)所述第二顏色及所述第三顏色的未知 像素的所述部分插補(bǔ)值是在對(duì)所述第一顏色的未知像素的所述部分的所述第一值的所述 插補(bǔ)之后發(fā)生。18. 如權(quán)利要求15-17中任意一項(xiàng)所述的方法，其中所述馬賽克化圖像包括拜耳圖案中 的紅色、綠色以及藍(lán)色像素。19. 如權(quán)利要求15-18中任意一項(xiàng)所述的方法，其中所述第一顏色是綠色，所述第二顏 色是紅色并且所述第三顏色是藍(lán)色。20. 如權(quán)利要求15-19中任意一項(xiàng)所述的方法，其中水平插補(bǔ)或垂直插補(bǔ)是基于像素位 置的已知顏色數(shù)據(jù)來(lái)選擇。21. 如權(quán)利要求15-20中任意一項(xiàng)所述的方法，其中所述選擇水平插補(bǔ)以及垂直插補(bǔ)中 的一種包括相應(yīng)的垂直方向和水平方向上最近的鄰居像素比較。22. 如權(quán)利要求15-21中任意一項(xiàng)所述的方法，其中所述選擇水平插補(bǔ)以及垂直插補(bǔ)中 的一種包括計(jì)算水平梯度并且計(jì)算垂直梯度。23. 如權(quán)利要求15-22中任意一項(xiàng)所述的方法，其中為每個(gè)給定像素位置選擇水平插補(bǔ) 以及垂直插補(bǔ)中的一種，并且使用所述選擇的插補(bǔ)方向來(lái)對(duì)所述像素位置執(zhí)行所述第一顏 色、所述第二顏色以及所述第三顏色的所述未知像素的插補(bǔ)。24. 如權(quán)利要求15-23中任意一項(xiàng)所述的方法，其中為給定像素位置選擇水平插補(bǔ)或者 垂直插補(bǔ)是基于識(shí)別所述像素位置上的插補(bǔ)方向，所述插補(bǔ)方向在相似的相鄰像素顏色值 當(dāng)中具有最少變化。25. 如權(quán)利要求15-24中任意一項(xiàng)所述的方法，其中所述自適應(yīng)去馬賽克進(jìn)一步包括將 中值濾波器應(yīng)用于所述去馬賽克化圖像。26. 如權(quán)利要求15-25中任意一項(xiàng)所述的方法，進(jìn)一步包括在顯示器上顯示所述去馬賽 克化圖像。27. 如權(quán)利要求15-26中任意一項(xiàng)所述的方法，其中所述接收所述馬賽克化圖像包括從 圖像傳感器陣列接收所述馬賽克化圖像。28. 如權(quán)利要求15-27中任意一項(xiàng)所述的方法，進(jìn)一步包括基于穿過(guò)鏡頭以及馬賽克濾 波器的感測(cè)的光來(lái)產(chǎn)生所述馬賽克化圖像。29. -種相機(jī)系統(tǒng)，包括： 鏡頭； 馬賽克濾波器； 圖像傳感器陣列，所述圖像傳感器陣列可操作用于產(chǎn)生馬賽克化圖像，所述馬賽克化 圖像包括具有第一顏色、第二顏色以及第三顏色并基于穿過(guò)所述鏡頭和所述馬賽克濾波器 的感測(cè)的光的馬賽克圖案；以及 處理模塊，所述處理模塊可操作用于通過(guò)對(duì)未知像素插補(bǔ)來(lái)對(duì)所述馬賽克化圖像去馬 賽克并且通過(guò)以下方式產(chǎn)生去馬賽克化圖像： 在水平方向或者垂直方向上對(duì)所述第一顏色的未知像素的一部分插補(bǔ)值； 在水平方向或者垂直方向上對(duì)所述第二顏色的未知像素的一部分插補(bǔ)值；以及 在水平方向或者垂直方向上對(duì)所述第三顏色的未知像素的一部分插補(bǔ)值。30. 如權(quán)利要求29所述的相機(jī)系統(tǒng)，其中所述處理模塊對(duì)所述第二顏色及所述第三顏 色的所述未知像素的所述部分插補(bǔ)所述值是基于所述第一顏色的所述未知像素的所述部 分的所述第一值的所述插補(bǔ)。31. 如權(quán)利要求29或30所述的相機(jī)系統(tǒng)，其中所述處理模塊對(duì)所述第二顏色及所述第 三顏色的未知像素的所述部分插補(bǔ)所述值是在對(duì)所述第一顏色的未知像素的所述部分的 所述第一值的所述插補(bǔ)之后發(fā)生。32. 如權(quán)利要求29-31中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述馬賽克濾波器是拜耳濾波 器，并且其中所述馬賽克化圖像包括拜耳圖案中的紅色、綠色以及藍(lán)色像素。33. 如權(quán)利要求29-32中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述第一顏色是綠色，所述第 二顏色是紅色并且所述第三顏色是藍(lán)色。34. 如權(quán)利要求29-33中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述處理模塊通過(guò)插補(bǔ)對(duì)所述 馬賽克化圖像去馬賽克，并且基于像素位置的已知顏色數(shù)據(jù)來(lái)選擇水平插補(bǔ)或者垂直插 補(bǔ)。35. 如權(quán)利要求29-34中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述處理模塊通過(guò)相應(yīng)的垂直 方向和水平方向上最近的鄰居像素比較來(lái)為所述第一顏色、所述第二顏色以及所述第三顏 色的所述插補(bǔ)的未知像素中的每一個(gè)選擇水平插補(bǔ)以及垂直插補(bǔ)中的一種。36. 如權(quán)利要求29-35中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述處理模塊通過(guò)計(jì)算水平梯 度并且計(jì)算垂直梯度來(lái)選擇水平插補(bǔ)以及垂直插補(bǔ)中的一種。37. 如權(quán)利要求29-36中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述處理模塊為每個(gè)給定像素 位置選擇水平插補(bǔ)以及垂直插補(bǔ)中的一種，并且使用所述選擇的插補(bǔ)方向來(lái)對(duì)所述像素位 置執(zhí)行所述第一顏色、所述第二顏色以及所述第三顏色的所述未知像素的插補(bǔ)。38. 如權(quán)利要求29-37中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述處理模塊通過(guò)識(shí)別所述像 素位置上的在相似的相鄰像素顏色值當(dāng)中具有最少變化的插補(bǔ)方向來(lái)為給定像素位置選 擇水平插補(bǔ)或者垂直插補(bǔ)。39. 如權(quán)利要求29-38中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述處理模塊通過(guò)插補(bǔ)對(duì)所述 馬賽克化圖像去馬賽克，并且產(chǎn)生所述去馬賽克化圖像進(jìn)一步包括將中值濾波器應(yīng)用于所 述去馬賽克化圖像。40. 如權(quán)利要求29-39中任意一項(xiàng)所述的相機(jī)系統(tǒng)，進(jìn)一步包括存儲(chǔ)器，所述存儲(chǔ)器被 配置成用于存儲(chǔ)所述馬賽克化圖像以及所述去馬賽克化圖像。41. 如權(quán)利要求29-40中任意一項(xiàng)所述的相機(jī)系統(tǒng)，進(jìn)一步包括顯示器，所述顯示器被 配置成用于顯示所述去馬賽克化圖像。42. 一種相機(jī)系統(tǒng)，包括： 鏡頭； 馬賽克濾波器； 圖像傳感器陣列，所述圖像傳感器陣列可操作用于產(chǎn)生馬賽克化圖像，所述馬賽克化 圖像包括具有第一顏色、第二顏色以及第三顏色并基于穿過(guò)所述鏡頭和所述馬賽克濾波器 的感測(cè)的光的馬賽克圖案； 處理模塊，所述處理模塊可操作用于通過(guò)對(duì)未知像素值插補(bǔ)來(lái)對(duì)所述馬賽克化圖像去 馬賽克并且可操作用于通過(guò)以下方式產(chǎn)生去馬賽克化圖像： 確定所述馬賽克化圖像的噪聲水平指數(shù)； 確定所述噪聲水平指數(shù)是否大于閾值； 如果所述噪聲水平指數(shù)不大于所述閾值，則對(duì)所述馬賽克化圖像執(zhí)行雙線性去馬賽 克，以產(chǎn)生雙線性去馬賽克化圖像;以及 如果所述噪聲水平指數(shù)大于所述閾值，則對(duì)所述馬賽克化圖像執(zhí)行自適應(yīng)去馬賽克， 以產(chǎn)生自適應(yīng)去馬賽克化圖像，所述自適應(yīng)去馬賽克包括： 在水平方向或者垂直方向上對(duì)所述第一顏色的未知像素的一部分插補(bǔ)值； 在水平方向或者垂直方向上對(duì)所述第二顏色的未知像素的一部分插補(bǔ)值；以及 在水平方向或者垂直方向上對(duì)所述第三顏色的未知像素的一部分插補(bǔ)值。43. 如權(quán)利要求42所述的相機(jī)系統(tǒng)，其中所述處理模塊對(duì)所述第二顏色及所述第三顏 色的未知像素的所述部分插補(bǔ)所述值是基于所述第一顏色的未知像素的所述部分的所述 第一值的所述插補(bǔ)。44. 如權(quán)利要求42或43所述的相機(jī)系統(tǒng)，其中所述處理模塊對(duì)所述第二顏色及所述第 三顏色的未知像素的所述部分插補(bǔ)所述值是在對(duì)所述第一顏色的未知像素的所述部分的 所述第一值的所述插補(bǔ)之后發(fā)生。45. 如權(quán)利要求42-44中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述馬賽克濾波器是拜耳濾波 器，并且所述馬賽克化圖像包括拜耳圖案中的紅色、綠色以及藍(lán)色像素。46. 如權(quán)利要求42-45中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述第一顏色是綠色，所述第 二顏色是紅色并且所述第三顏色是藍(lán)色。47. 如權(quán)利要求42-46中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述處理模塊通過(guò)插補(bǔ)對(duì)所述 馬賽克化圖像去馬賽克，并且由所述處理模炔基于像素位置的已知顏色數(shù)據(jù)來(lái)選擇水平插 補(bǔ)或者垂直插補(bǔ)。48. 如權(quán)利要求42-47中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述處理模塊通過(guò)相應(yīng)的垂直 方向和水平方向上最近的鄰居像素比較來(lái)為所述第一顏色、所述第二顏色以及所述第三顏 色的所述插補(bǔ)的未知像素中的每一個(gè)選擇水平插補(bǔ)以及垂直插補(bǔ)中的一種。49. 如權(quán)利要求42-48中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述處理模塊通過(guò)計(jì)算水平梯 度并且計(jì)算垂直梯度來(lái)選擇水平插補(bǔ)以及垂直插補(bǔ)中的一種。50. 如權(quán)利要求42-49中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述處理模塊為每個(gè)給定像素 位置選擇水平插補(bǔ)以及垂直插補(bǔ)中的一種，并且使用所述選擇的插補(bǔ)方向來(lái)對(duì)所述像素位 置執(zhí)行所述第一顏色、所述第二顏色以及所述第三顏色的所述未知像素的插補(bǔ)。51. 如權(quán)利要求42-50中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述處理模塊通過(guò)識(shí)別所述像 素位置上的在相似的相鄰像素顏色值當(dāng)中具有最少變化的插補(bǔ)方向來(lái)為給定像素位置選 擇水平插補(bǔ)或者垂直插補(bǔ)。52. 如權(quán)利要求42-51中任意一項(xiàng)所述的相機(jī)系統(tǒng)，其中所述處理模塊通過(guò)插補(bǔ)對(duì)所述 馬賽克化圖像去馬賽克，并且通過(guò)將中值濾波器應(yīng)用于所述去馬賽克化圖像來(lái)產(chǎn)所述去馬 賽克化圖像。53. 如權(quán)利要求42-52中任意一項(xiàng)所述的相機(jī)系統(tǒng)，進(jìn)一步包括存儲(chǔ)器，所述存儲(chǔ)器被 配置成用于存儲(chǔ)所述馬賽克化圖像以及所述去馬賽克化圖像。54. 如權(quán)利要求42-53中任意一項(xiàng)所述的相機(jī)系統(tǒng)，進(jìn)一步包括顯示器，所述顯示器被 配置成用于顯示所述去馬賽克化圖像。
【文檔編號(hào)】H04N9/64GK105993169SQ201480075164
【公開(kāi)日】2016年10月5日
【申請(qǐng)日】2014年9月15日
【發(fā)明人】蔣才高, 曹子晟, 王銘鈺
【申請(qǐng)人】深圳市大疆創(chuàng)新科技有限公司