圖像處理裝置、圖像處理程序、圖像處理方法

文檔序號：7677752閱讀：157來源：國知局

專利名稱：圖像處理裝置、圖像處理程序、圖像處理方法
技術領域：
本發(fā)明涉及由RGB拜爾(bayer)排列圖像生成使釆樣位置同步化的彩色圖像的圖像處理裝置、圖像處理程序、圖像處理方法。
背景技術：
對光學像進行攝像來取得電氣的彩色圖像的攝像裝置主要分為以下兩種結構一種是在一個像素位置上可獲得三種顏色(例如，RGB三原色)的信號的3板攝像元件結構的攝像裝置；另一種是在每個像素位置上僅能獲得三種顏色信號中的一種顏色信號的單板攝像元件結構的攝像裝置。
當前市場銷售的數(shù)字照相機一般釆用單板攝像元件結構的攝像裝置。另一方面，關于當前市場銷售的數(shù)字攝像照相機，處于3板攝像元件結構的攝像裝置和單板攝像元件結構的攝像裝置同時存在的狀態(tài)。
當將攝像裝置作成3板攝像元件結構時，在攝像時在攝像圖像的各像素位置上可獲得三種顏色信號，所以一般情況下是高畫質，不過構造較復雜，部件數(shù)也較多，因此價格不菲。
另一方面，當將攝像裝置作成單板攝像元件結構時，與3板攝像元件結構相比存在構造簡單的優(yōu)點，但為了取得三種顏色信號，而需要按每一像素將R、 G、 B濾波器配置為馬賽克狀(參照本發(fā)明的圖5所示的拜爾排列)，這樣在攝像圖像的各個像素位置上只能獲得單一色的信號。因此，在這種拜爾排列的單板攝像元件結構的攝像元件中，在各個像素位置中采用周邊像素位置的顏色信號來插補欠缺的顏色信號，由此獲得每像素的三種顏色信號。
但是，如上所述的拜爾排列將2x2像素作為像素排列的基本單位，在該2x2像素中的一個對角方向上配置2像素的G濾波器，在另一個對角方向上將R濾波器和B濾波器各配置1個像素。因此，G像素的采樣密度為R像素的采樣密度及B像素的采樣密度的2倍的密度。當采用這樣的、根據(jù)顏色信號而采樣密度不同的攝像元件進行攝像時，在邊緣等
具有高空間頻率的攝像區(qū)域中，可用G信號來表現(xiàn)的高空間頻率，由于R信號和B信號而返回到低頻率側。由此可知，當對每一顏色信號進行插補處理時，在邊緣部及其附近等中，有時產生偽色(本來不存在的顏色)。
降低這樣的偽色的最簡單的方法就是將透鏡或光學低通濾波器的特性降低到可再現(xiàn)拜爾排列的R信號或B信號的采樣間隔的空間頻率，使該空間頻率的光學像在攝像元件上成像。但是，當采用該方法時，僅能夠獲得可再現(xiàn)的空間頻率的一半空間頻率的攝像圖像，從而成為析像度
低的模糊圖像。因此，一般將光學系統(tǒng)設計成在攝像元件上成像的光
學像的析像度成為在G信號的采樣間隔中不產生因返回失真引起的莫爾條紋的空間頻率特性。
關于采用這種設計的光學系統(tǒng)、且進行偽色降低的技術，一直以來提出了各種各樣的技術。
例如特開平8_237672號公報中記載了如下的技術即進行將三種顏色(R、 G、 B)信號的插補位置在水平方向以及垂直方向上都作為像素彼此的中間位置的插補處理。該技術所關注的是當向上述位置進行插補處理時，可以在那奎斯特(Nyquist)頻率的一半頻率下使R、 G、 B的各個頻率特性近似。該公報所述的技術雖然能夠實現(xiàn)偽色降低，但在包含臨近那奎斯特頻率的頻率分量的邊緣區(qū)域內的偽色抑制是不夠的。而且，該公報所述的技術在水平、垂直方向上都是對半像素位置插補像素，所以產生取決于該插補濾波器的頻率特性的高頻分量的減衰是無法避免的，從而導致析像度降低。
另外，作為與在圖像內利用具有均勻特性的濾波器來實現(xiàn)如上述特開平8—237672號公報中的各顏色信號的插補處理不同的其他偽色降低的技術，提出了與圖像局部區(qū)域的G信號相似度、G信號和R信號的顏色信號間相似度、G信號和B信號的顏色信號間相似度中至少一個的方向依存相適應地切換插補濾波器的方法。例如，在美國專利第5,382，976號中記載了如下技術針對欠缺的G 信號，計算該G信號的像素位置周邊的四個G信號間的水平方向的相似度以及垂直方向的相似度(當參照本發(fā)明的圖8 圖IO來進行說明時，垂直相似度=I G廣G2 I以及水平相似度=I G3 — G4 I )，僅使用相似度更高的方向的像素來進行插補。然后，根據(jù)計算的相似度，從G插補候選{(G! + G2) /2, (G3+G4) /2， (G,+G2+G3+G4) /4}中選擇一個G 插補候選來作為欠缺的G信號的插補值，該G插補候選由采用了本發(fā)明中圖8 圖IO所示的G信號的三個線性插補方法而得到。
但是，在該技術中，例如日本特開平11—275373號公報所述，在水平方向和垂直方向的G信號的相似度相同的情況下，有時選擇了 (G,十 G2 + G3+G4) /4而沒有進行最優(yōu)的插補選擇，此時存在產生插補誤差的問題。
而且，在上述日本特開平11一275373號公報中記載了改進該問題的技術。g卩，該公報所記載的技術是根據(jù)生成插補G信號的像素位置的R 信號或B信號、和周邊的四個G信號(如本發(fā)明中圖8 圖10所示的 G，、 G2、 G3、 G4)的相似度(垂直相似度二 I X—I + I X—G2 I ，水平相似度=I (X—G3 I + I X—G4 i ，(這里，X是R信號或B信號。))，從垂直插補、水平插補、對這兩個插補進行了加權平均后的插補中選擇一個。當采用該技術時，具有能夠有效降低地無彩色邊緣區(qū)域的偽色的優(yōu)點，不過在飽和度高的區(qū)域內存在飽和度降低的情況。
偽色在無彩色的邊緣區(qū)域中能很明顯地被檢測到。無彩色區(qū)域是R 信號、G信號和B信號為大致相同值的區(qū)域，該區(qū)域表示R信號針對G 信號的比、以及B信號針對G信號的比大致為1的區(qū)域。偽色是由于這些R信號、G信號和B信號之比在進行插補處理后與原本應該取得的比即l不同(背離)而產生的。
上述日本特開平11 一275373號公報中所述的技術是從多個預先準備的插補候選中選擇R信號針對G信號的比、或B信號針對G信號的比接近1的插補，所以必然能夠抑制在無彩色區(qū)域內產生偽色。
但是，如果釆用該技術，則即使關于R信號針對G信號的比、或B信號針對G信號的比原本就與1不同的有彩色區(qū)域，也與無彩色區(qū)域相
同，選擇R信號針對G信號的比、或B信號針對G信號的比接近1的插
補，所以具有使有彩色區(qū)域中原本應該再現(xiàn)的飽和度降低這樣的問題。
舉簡單的例子對該問題進行說明。即，這里考慮了水平方向的顏色是相同的，在垂直方向上顏色沒有變化這樣的區(qū)域。
關于拜爾排列中的包含R信號的某1行，將R信號的值全部設為固定值200， G信號的值全部設為固定值10。此外，位于該關注行上方的行上的G信號的值全部設為固定值5，位于該關注行下方的行上的G信號的值全部設為固定值45。另外，因為是簡單進行說明所以不考慮關注行上下方的行中的B信號。
針對這樣具體的數(shù)值例，當使用上述日本特開平11一275373號公報中所述的技術時，垂直相似度為I 200 — 5 I + I 200 — 45 I =350，水平相似度為I 200—10 I + I 200 — 10 I =380，由此可判定為垂直相似度高于水平相似度。因此，原本應該選擇水平插補，但卻選擇了垂直插補，在關注行的R信號位置上取得的G信號插補值成為了 (5+45) /2=25。在該情況下，該關注行的色差R—G為200—25 = 175，成為小于原本應該再現(xiàn)的色差R—G二200—10二190的值，所以導致飽和度降低。
在上述的現(xiàn)有技術中，根據(jù)周邊的顏色信號，對單板攝像元件所攝像的各像素1顏色的拜爾排列圖像插補欠缺顏色信號，在針對各個像素生成具有多個顏色的顏色信號的彩色圖像時，有時會在邊緣部分中產生偽色，或者為了降低該偽色而產生析像度降低，或者在適用了適應插補方法且該適應插補方法利用了用于抑制這些偽色或析像度降低的像素相關時，產生由誤適應導致的畫質劣化。這樣，在現(xiàn)有技術中無法充分地抑制偽色的產生、析像度的降低以及飽和度的降低。

發(fā)明內容
鑒于上述情況，本發(fā)明的目的是提供如下圖像處理裝置、圖像處理程序、圖像處理方法，即其可在充分地抑制偽色產生及析像度降低且不使飽和度降低的情況下進行RGB拜爾排列圖像中的欠缺顏色信號的插
18補。
為了實現(xiàn)上述目的，第一發(fā)明的圖像處理裝置，根據(jù)G (綠)像素的釆樣密度高于R(紅)像素的采樣密度及B (藍)像素的采樣密度、且各自的采樣位置不同的RGB拜爾排列圖像來生成使采樣位置同步化的彩色圖像，其特征是圖像處理裝置具有插補候選計算單元，其在將上述 RGB拜爾排列圖像中的位置表示為(x， y)、將欠缺G像素的位置(x0， y0)的R像素或B像素設為X (XQ， yQ)時，針對該X (xQ， yQ)計算M 種G插補候選Gt (xQ， yQ)，這里，x是表示橫向的像素位置的整數(shù)，y 是表示縱向的像素位置的整數(shù)，M為2以上的整數(shù)，t=l M;色差候選計算單元，其根據(jù)已計算的M種G插補候選Gt (xQ， yQ)，來計算多種色差候選X (Xq， yQ) —Gt (Xq, yQ);以及最優(yōu)色差選擇單元，其基于與在計算上述色差候選X (xo， yQ) —Gt (Xq， yQ)時采用的G插補候選 Gt (xQ， y。)相同種類t的、在周邊位置(x。+n， yQ+m)上計算的G插補候選Gt (xQ+n， yQ+m)，根據(jù)針對該周邊位置(X()+n， yQ + m)計算的X的多個色差候選X (xQ+n， yo+m) —Gt (xQ+n， yQ+m)和該色差候選X (Xq， yQ) —Gt (xo， yQ)，計算M種色差相似度，根據(jù)該計算出的M種色差相似度，來選擇基于M種該G插補候選Gt (xo， yQ)內的一個G插補候選Gp (xo, yQ)而計算出的色差候選X (xo， y。) 一Gp (x0， yo)作為色差，這里，n和m是不同時為O的任意整數(shù)，且l^p SM。
根據(jù)第一發(fā)明，可抑制從由單板攝像元件拍攝的拜爾排列等的多個顏色信號中伴隨欠缺顏色信號的插補而產生的偽色，從而能夠獲得保持原本應該再現(xiàn)的飽和度的彩色圖像。
另外，第二發(fā)明的圖像處理裝置在上述第一發(fā)明的圖像處理裝置中，上述最優(yōu)色差選擇單元根據(jù)上述色差候選X (xo， yD) —Gt (xo， y<))、和相對于該色差候選X (Xq, yQ) —Gt (x。， yQ)為相同顏色X的色差候選X (xo十n， yQ+m) —Gt (xQ+n， yQ+m)的相似度來計算上述色差相似度。
根據(jù)第二發(fā)明，可抑制從由單板攝像元件拍攝的拜爾排列等的多個顏色信號中伴隨欠缺顏色信號的插補而產生的偽色，從而能夠獲得保持原本應該再現(xiàn)的飽和度的彩色圖像。
而且，第三發(fā)明的圖像處理裝置在上述第二發(fā)明的圖像處理裝置中，上述最優(yōu)色差選擇單元具有G插補值輸出單元，該G插補值輸出單元將
與已選擇的色差候選X (xq， yo) —Gp (xq， yQ)對應的G插補候選Gp (xo， yQ)作為該位置(xo， yQ)的G像素值來輸出。
根據(jù)第三發(fā)明，可抑制從由單板攝像元件拍攝的拜爾排列等的多個顏色信號中伴隨欠缺顏色信號的插補而產生的偽色，從而能夠獲得保持原本應該再現(xiàn)的飽和度的高析像度的彩色圖像。
第四發(fā)明的圖像處理裝置在上述第三發(fā)明的圖像處理裝置中還具有色差插補單元，在上述最優(yōu)色差選擇單元未計算出色差的位置是RGB 拜爾排列圖像中的G像素時對R像素所涉及的色差及B像素所涉及的色差進行插補處理，在該位置是RGB拜爾排列圖像中的R像素時對B像素所涉及的色差進行插補處理，在該位置是RGB拜爾排列圖像中的B像素時對R像素所涉及的色差進行插補處理，該插補處理是將上述最優(yōu)色差選擇單元沒有計算出色差的位置的色差根據(jù)該最優(yōu)色差選擇單元所計算的該位置周邊的相同顏色的色差來進行插補的處理；以及RGB像素計算單元，其根據(jù)由上述最優(yōu)色差選擇單元或上述色差插補單元所計算出的色差以及與該色差為相同位置的G像素，來計算R像素、G像素及B 像素。
根據(jù)第四發(fā)明，可抑制從由單板攝像元件拍攝的拜爾排列等的多個顏色信號中伴隨欠缺顏色信號的插補而產生的偽色，從而能夠獲得保持原本應該再現(xiàn)的飽和度的高析像度的彩色圖像。
第五發(fā)明的圖像處理裝置在上述第二發(fā)明的圖像處理裝置中，上述
插補候選計算單元具有第一插補計算單元，其計算上述X像素的上下
鄰接的兩個G像素的平均值來作為上述M種G插補候選中的1種G插補候選；第二插補計算單元，其計算該X像素的左右鄰接的兩個G像素的平均值來作為上述M種G插補候選中的1種G插補候選；以及第三插補計算單元，其計算該X像素的上下左右鄰接的四個G像素的平均值來作為上述M種G插補候選中的1種G插補候選。
根據(jù)第五發(fā)明，準備了對水平邊緣、垂直邊緣、這些以外的區(qū)域適用的插補候選，所以可選擇與圖像相適應的插補，并且不用依存邊緣的方向就能夠降低偽色，從而可抑制水平、垂直方向的析像度降低。
第六發(fā)明的圖像處理裝置在上述第五發(fā)明的圖像處理裝置中，上述插補候選計算單元還具有第四插補計算單元，該第四插補計算單元采用
位于上述X (xo， yQ)附近的12個G像素G (x。一 1， y。) 、 G (x。+l， y。) 、 G (x。， y0—l) 、 G (x0， y0+l) 、 G (x。一2， y0—1) 、 G (Xo — 2， yo+l) 、 G (x0+2， y。一l) 、 G (xo+2， y0+l) 、 G (x。一l， y0— 2) 、 G (xo —1' y0+2) 、 G (x0+l， y0—2) 、 G (x0+l， y0+2)，根據(jù)以下公式
Gt (x0， y0) = (G (x0—1， y0) +G (x0 + l， y0) +G (x0， y0—1) +G (x0， y0+l) ) xa —{G (xo—2, y0 — l) +G (x0—2, y0+l) +G (x0+2， y0—1) +G (x0+2， y0+l) +G (xo—1， y0—2) +G (xo — l， y0+2)
+G (xo+l， y0 —2) +G (xo+l， y0+2) } x(3，
來計算上述M種G插補候選中的l種G插補候選Gt (xQ， yQ)，這里，a
和卩是滿足ax4—卩x8二l且a〉 (1/4)、卩〉0的任意常數(shù)。
根據(jù)第六發(fā)明，準備了對斜方向的邊緣區(qū)域適用的插補候選，所以即使對斜方向的邊緣也能夠進一步降低偽色的產生，從而能夠抑制斜方向的析像度降低。
第七發(fā)明的圖像處理裝置在上述第五發(fā)明的圖像處理裝置中，上述色差候選計算單元具有頻帶限制單元，該頻帶限制單元計算釆用周邊的相同顏色X對X像素進行了頻帶限制的修正像素該上述色差候選計算單元在根據(jù)由上述第三插補計算單元計算的G插補候選來計算色差候選時，采用該修正像素X^
根據(jù)第七發(fā)明，在將與R像素或B像素相對的頻率特性修正為近似于鄰接4像素的G像素插補的頻率特性之后計算色差，所以能夠降低由頻率特性的不同而引起的偽色。
21第八發(fā)明的圖像處理裝置在上述第五發(fā)明的圖像處理裝置中，上述最優(yōu)色差選擇單元具有G像素變動量計算單元，其計算G像素欠缺位置的周邊的G像素值的變動量，并計算基于該變動量的加權系數(shù)；以及乘法單元，其使根據(jù)G插補候選來計算的上述G像素欠缺位置的色差候選和周邊色差候選的相似度乘以上述加權系數(shù)相乘，該G插補候選是由上述第三插補計算單元計算出的。
根據(jù)第八發(fā)明，可抑制在圖像平坦部中由于噪音等導致頻繁切換多個G插補候選的誤選擇而產生的不自然的失真圖案。
第九發(fā)明的圖像處理裝置在上述第五發(fā)明的圖像處理裝置中，上述最優(yōu)色差選擇單元具有選擇單元，作為根據(jù)由上述第一插補計算單元計算出的G插補候選而計算出的G像素欠缺位置的色差候選與周邊色差候選的相似度，上述選擇單元從如下相似度中選擇相似性不低的一方的相似度在位于該G像素欠缺位置的周圍最附近的8個相同顏色X且相同
種類t的色差候選之間不進行加權而計算出的相似度；以及對位于該G
像素欠缺位置的周圍最附近的8個相同顏色X且相同種類t的色差候選中的位于上下的兩個色差候選進行加權而計算出的相似度。
根據(jù)第九發(fā)明，能夠在陡峭的垂直邊緣部中更可靠地選擇上下鄰接 G像素插補，所以能夠抑制伴隨著可在該邊緣邊界部上誤選擇時產生的插補的圖像劣化。
第十發(fā)明的圖像處理裝置在上述第五發(fā)明的圖像處理裝置中，上述最優(yōu)色差選擇單元具有選擇單元，作為根據(jù)由上述第二插補計算單元計算出的G插補候選而計算出的G像素欠缺位置的色差候選與周邊色差候選的相似度，上述選擇單元從如下相似度中選擇相似性不低的一方的相似度在位于該G像素欠缺位置的周圍最附近的8個相同顏色X且相同種類t的色差候選之間不進行加權而計算出的相似度；以及對位于該G 像素欠缺位置的周圍最附近的8個相同顏色X且相同種類t的色差候選中的位于左右的兩個色差候選進行加權而計算出的相似度。
根據(jù)第十發(fā)明，能夠在陡峭的垂直邊緣部中更可靠地選擇左右鄰接 G像素插補，所以能夠抑制伴隨著可在該邊緣邊界部上誤選擇時產生的插補的圖像劣化。
第十一發(fā)明的圖像處理裝置在上述第二發(fā)明的圖像處理裝置中，上述相似度是G像素欠缺位置的色差候選、與位于該G像素欠缺位置周邊的一個以上的相同顏色X且相同種類t的色差候選的差分絕對值和，上述最優(yōu)色差選擇單元包含選擇單元，該選擇單元選擇一個與M種該相似度中的1個賦予最小值的相似度對應的色差候選，將該選擇單元所選擇的色差候選作為色差。
根據(jù)第十一發(fā)明，既能夠將進行硬件化時的電路規(guī)模抑制得較小，又能夠決定最優(yōu)的色差和G像素插補。
根據(jù)第十二發(fā)明的圖像處理裝置在上述第二發(fā)明的圖像處理裝置中，該圖像處理裝置還具有頻帶限制單元，該頻帶限制單元計算采用周
邊的相同顏色X對上述X (XQ， y。)進行了頻帶限制的XL (Xq， y。)，上述色差候選計算單元根據(jù)已計算的M種G插補候選Gt (xQ, yQ)，計算多種色差候選X (xQ， yQ) —Gt (xQ， yQ)或XL (xQ， yQ) —Gt (xQ， y0); 上述最優(yōu)色差選擇單元根據(jù)上述相似度，選擇基于M種該G插補候選 Gt (xo, yo)內的l個G插補候選Gp (xo， y0)或Gq (x。， y。)而計算的色差候選X (xq， yQ) —Gp (xQ， y。)或XL (x。， y。) —Gq (xq， yQ)來作為色差，這里，l^pSM, l蕓q蕓M。
根據(jù)第十二發(fā)明，可抑制從由單板攝像元件攝像的拜爾排列等的多個顏色信號中伴隨欠缺顏色信號的插補而產生的偽色，從而能夠獲得保持原本應該再現(xiàn)的飽和度的彩色圖像。
第十三發(fā)明的圖像處理裝置在上述第十二發(fā)明的圖像處理裝置中，上述最優(yōu)色差選擇單元具有G插補值輸出單元，將與選擇出的色差候選 X (x0， yo) —Gp (xo， yQ)或XL (xQ， yQ) —Gq (xo， y0)對應的G插補候選Gp (xQ， yQ)或Gq (Xq， yQ),作為該位置U， yQ)的G像素值來輸出。
根據(jù)第十三發(fā)明，可抑制從由單板攝像元件攝像的拜爾排列等的多個顏色信號中伴隨欠缺顏色信號的插補而產生的偽色，從而能夠獲得保持原本應該再現(xiàn)的飽和度的高析像度的彩色圖像。
23第十四發(fā)明的圖像處理裝置在上述第十三發(fā)明的圖像處理裝置中還具有色差插補單元，在上述最優(yōu)色差選擇單元沒有計算出色差的位置
是RGB拜爾排列圖像中的G像素時對R像素所涉及的色差及B像素所涉及的色差進行插補處理，在該位置是RGB拜爾排列圖像中的R像素時對B像素所涉及的色差進行插補處理，在該位置是RGB拜爾排列圖像中的B像素時對R像素所涉及的色差進行插補處理，該插補處理是將上述最優(yōu)色差選擇單元沒有計算出色差的位置的色差根據(jù)該最優(yōu)色差選擇單元所計算的該位置周邊的相同顏色的色差來進行插補的處理；以及RGB 像素計算單元，其根據(jù)由上述最優(yōu)色差選擇單元或上述色差插補單元所計算出的色差以及與該色差為相同位置的G像素，來計算R像素、G像素及B像素。
根據(jù)第十四發(fā)明，可抑制從由單板攝像元件攝像的拜爾排列等的多個顏色信號中伴隨欠缺顏色信號的插補而產生的偽色，從而能夠獲得保持原本應該再現(xiàn)的飽和度的高析像度的彩色圖像。
第十五發(fā)明的圖像處理裝置在上述第十二發(fā)明的圖像處理裝置中，上述插補候選計算單元具有第一插補計算單元，其計算上述X像素的上下鄰接的兩個G像素的平均值來作為上述M種G插補候選中的1種G 插補候選；第二插補計算單元，其計算該X像素的左右鄰接的兩個G像素的平均值來作為上述M種G插補候選中的1種G插補候選；以及第三插補計算單元，其計算該X像素的上下左右鄰接的四個G像素的平均值來作為上述M種G插補候選中的1種G插補候選。
根據(jù)第十五發(fā)明，準備了對水平邊緣、垂直邊緣、這些以外的區(qū)域適用的插補候選，所以可選擇與圖像相適應的插補，并且不用依存邊緣的方向就能夠降低偽色，從而可抑制水平、垂直方向的析像度降低。
第十六發(fā)明的圖像處理裝置在上述第十五發(fā)明的圖像處理裝置中，上述插補候選計算單元還具有第四插補計算單元，該第四插補計算單元采用位于上述X (xQ， yo)附近的12個G像素G (xG—1， yQ) 、 G (x0 + 1， y0) 、 G (xo， y0—1) 、 G (x0， y0+l) 、 G (x0—2， y0—1) 、 G (x0—2， y0+l) 、 G (x0+2， y0—l) 、 G (x0+2， y0+l) 、 G (x。一l，y0—2) 、 G (xo—l, y0+2) 、 G (x0+l， y0—2) 、 G (x。+l， y。+2)，
基于以下公式
Gt (xo， y0) = (G (x0—1， y0) +G (x0+l， y0) +G (x0, y0—l) +G (x0， y0+l) } xa
—(G (x。一2， y0—1) +G (xo—2， y0+l) +G (x0+2， yo—l) +G (x0+2， y0+l) +G (xo—l， y0—2) +G (xo—1， y0+2)
+ G (x0+l， y0—2) +G (x0+l， y0+2) } xp，來計算上述M種G插補候選中的1種G插補候選Gt (xQ， yQ),這里， a和卩是滿足ax4—卩x8二l且a〉 (1/4) 、 P>0的任意常數(shù)。
根據(jù)第十六發(fā)明，準備了對斜方向的邊緣區(qū)域適用的插補候選，所以即使對斜方向的邊緣也能夠進一步降低偽色的產生，從而能夠抑制斜方向的析像度降低。
第十七發(fā)明的圖像處理裝置在上述第十五發(fā)明的圖像處理裝置中，上述最優(yōu)色差選擇單元具有G像素變動量計算單元，計算G像素欠缺位置的周邊的G像素值的變動量，并計算基于該變動量的加權系數(shù)；以及乘法單元，其使根據(jù)G插補候選計算出的上述G像素欠缺位置的色差候選和周邊色差候選的相似度乘以上述加權系數(shù)相乘，該G插補候選是由上述第三插補計算單元計算出的。
根據(jù)第十七發(fā)明，可抑制在圖像平坦部中由于噪音等導致頻繁切換多個G插補候選的誤選擇從而產生的不自然的失真圖案。
第十八發(fā)明的圖像處理裝置在上述第十五發(fā)明的圖像處理裝置中，上述最優(yōu)色差選擇單元具有選擇單元，作為根據(jù)由上述第一插補計算單元計算出的G插補候選而計算出的G像素欠缺位置的色差候選與周邊色差候選的相似度，上述選擇單元從如下相似度中選擇相似性不低的一方的相似度在位于該G像素欠缺位置的周圍最附近的8個相同顏色X且相同種類t的色差候選之間不進行加權而計算出的相似度；以及對位于該 G像素欠缺位置的周圍最近處的8個相同顏色X且相同種類t的色差候選中的位于上下的兩個色差候選進行加權而計算出的相似度。
根據(jù)第十八發(fā)明，能夠在陡峭的垂直邊緣部中更可靠地選擇上下鄰
25接G像素插補，所以能夠抑制伴隨著可在該邊緣邊界部上誤選擇時產生的插補的圖像劣化。
第十九發(fā)明的圖像處理裝置在上述第十五發(fā)明的圖像處理裝置中，上述最優(yōu)色差選擇單元具有選擇單元，作為根據(jù)G插補候選而計算出的 G像素欠缺位置的色差候選與周邊色差候選的相似度，上述選擇單元從如下相似度中選擇相似性不低的一方的相似度在位于該G像素欠缺位置的周圍最近處的8個相同顏色X且相同種類t的色差候選之間不用加
權就能計算的相似度；以及對位于該G像素欠缺位置的周圍最近處的8 個相同顏色X且相同種類t的色差候選中的位于左右的兩個色差候選進行加權而計算出的相似度。
根據(jù)第十九發(fā)明，能夠在陡峭的垂直邊緣部中更可靠地選擇左右鄰接G像素插補，所以能夠抑制伴隨著可在該邊緣邊界部上誤選擇時產生的插補的圖像劣化。
第二十發(fā)明的圖像處理裝置在上述第十二發(fā)明的圖像處理裝置中，上述相似度是G像素欠缺位置的色差候選、與位于該G像素欠缺位置周邊的一個以上的相同顏色X且相同種類t的色差候選的差分絕對值和；上述最優(yōu)色差選擇單元包含選擇單元，該選擇單元選擇一個與M種該相似度中的1個賦予最小值的相似度對應的色差候選，最優(yōu)色差選擇單元將該選擇單元所選擇的色差候選作為色差。
根據(jù)第二十發(fā)明，既能夠將進行硬件化時的電路規(guī)模抑制得較小，又能夠決定最優(yōu)的色差和G像素插補。
第二十一發(fā)明的圖像處理程序是用于使計算機執(zhí)行以下處理的程序，該處理為根據(jù)G (綠)像素的采樣密度高于R (紅)像素的采樣密度及B (藍)像素的采樣密度、且各自的采樣位置不同的RGB拜爾排列圖像來生成使釆樣位置同步化的彩色圖像，該圖像處理程序的特征是使計算機執(zhí)行以下步驟插補候選計算步驟，其在將上述RGB拜爾排列圖像中的位置表示為(x， y)、將欠缺G像素的位置(xo, yQ)的R像素或B像素設為X (x。， y。)時，針對該X (x。， y。)計算M種G插補候選Gt (Xq， yQ)，這里，x是表示橫向的像素位置的整數(shù)，y是表示縱向的像素位置的整數(shù)，M為2以上的整數(shù)，t=l M;色差候選計算步驟，
其根據(jù)已計算的M種G插補候選Gt (xQ， yQ)，來計算多種色差候選X (x0， y。) —Gt (x。， yQ);以及最優(yōu)色差選擇步驟，其基于與在計算上述色差候選X (xQ， yQ) —Gt (xQ， yQ)時釆用的G插補候選Gt (xQ， y0) 相同種類t的、在周邊位置(XQ+n， yG+m)上計算的G插補候選Gt (x0 +n， y。+m)，根據(jù)針對該周邊位置(x。+n， yQ+m)計算的X的多個色差候選X (xQ+n， yo+m) —Gt (xQ+n， yQ+m)、和該色差候選X (Xo， yo) —Gt (xQ， yQ)，計算M種色差相似度，根據(jù)該計算的M種色差相似度，來選擇基于M種該G插補候選Gt (Xq， yQ)中的一個G插補候選 Gp (xo， yQ)而計算出的色差候選X (xo， yo) —Gp (X(), yo)作為色差，這里，n和m是不同時為O的任意整數(shù)，l蕓p蕓M。
根據(jù)第二十一發(fā)明，可抑制從由單板攝像元件拍攝的拜爾排列等的多個顏色信號中伴隨欠缺顏色信號的插補而產生的偽色，從而能夠獲得保持原本應該再現(xiàn)的飽和度的彩色圖像。
第二十二發(fā)明的圖像處理方法是用于根據(jù)G (綠)像素的采樣密度高于R(紅)像素的釆樣密度及B (藍)像素的采樣密度、且各自的采樣位置不同的RGB拜爾排列圖像來生成使采樣位置同步化的彩色圖像的方法，其特征是該圖像處理方法具有以下步驟插補候選計算步驟，其在將上述RGB拜爾排列圖像中的位置表示為(x, y)、將欠缺G像素的位置(xQ， y。)的R像素或B像素設為X (xQ， yo)時，針對該X (xQ， y0)，計算M種G插補候選Gt (Xq， y。)，這里，x是表示橫向的像素位置的整數(shù)，y是表示縱向的像素位置的整數(shù)，M為2以上的整數(shù)，t=l M; 色差候選計算步驟，其根據(jù)已計算的M種G插補候選Gt (x。， yQ)，計算多種色差候選X (x。， yQ) —Gt (Xq， y。)；以及最優(yōu)色差選擇步驟，其基于與在計算上述色差候選X (Xq， yQ) —Gt (X(3， yQ)時采用的G插補候選Gt (xo， yo)相同種類t的、在周邊位置(xo+n， yo+m)上計算的G插補候選Gt (xQ+n， yQ+m)，根據(jù)針對該周邊位置(xQ+n， y0+ m)計算出的X的多個色差候選X(xo+n， yQ+m) —Gt(x0+n， y0+m)、和該色差候選X (xQ， yQ) —Gt (xQ， yQ)，計算M種色差相似度，根據(jù)該計算的M種色差相似度，來選擇基于M種該G插補候選Gt (xo， y0) 內的一個G插補候選Gp (xo， y0)而計算出的色差候選X (xo， y0) — Gp(Xo，y。)作為色差，這里，n和m是不同時為0的任意整數(shù)'且1^p^M。
根據(jù)第二十二發(fā)明，可抑制從由單板攝像元件拍攝的拜爾排列等的多個顏色信號中伴隨欠缺顏色信號的插補而產生的偽色，從而能夠獲得保持原本應該再現(xiàn)的飽和度的彩色圖像。
第二十三發(fā)明的圖像處理裝置在上述第一發(fā)明的圖像處理裝置中，上述最優(yōu)色差選擇單元根據(jù)基于上述色差候選X (Xq， yG) —Gt (xo， y0) 以及相對于該色差候選X (xo， yQ) —Gt (xo， yo)為相同顏色X的多個色差候選X (Xo+n， yo+m) —Gt (x0+n， yo+m)的相似度、以及基于顏色X^與該色差候選X (xQ， yo) —Gt (xQ， yQ)不同的多個色差候選 XA (xQ+n， yQ + m) —Gt (xQ+n， yQ+m)的相似度，來計算上述色差相似度。
根據(jù)第二十三發(fā)明，針對色差周邊相似度的計算區(qū)域內的任意空間頻率的像素值變化來進一步降低色差周邊相似度的判定錯誤，從而能夠進一步抑制偽色的產生。
第二十四發(fā)明的圖像處理裝置在上述第二十三發(fā)明的圖像處理裝置中，上述最優(yōu)色差選擇單元具有G插補值輸出單元，該G插補值輸出單元將與己選擇的色差候選X (xQ， yo) —Gp (Xq， yG)對應的G插補候選 Gp (xo， yo)作為該位置(x0， yo)的G像素值輸出。
根據(jù)第二十四發(fā)明還可以針對第二十三發(fā)明實現(xiàn)與第三發(fā)明同樣的效果。
第二十五發(fā)明的圖像處理裝置在上述第二十四發(fā)明的圖像處理裝置中還具有色差插補單元，在上述最優(yōu)色差選擇單元沒有計算出色差的位置是RGB拜爾排列圖像中的G像素時對R像素所涉及的色差及B像素所涉及的色差進行插補處理，在該位置是RGB拜爾排列圖像中的R像素時對B像素所涉及的色差進行插補處理，在該位置是RGB拜爾排列圖像中的B像素時對R像素所涉及的色差進行插補處理，該插補處理是將上述最優(yōu)色差選擇單元沒有計算出色差的位置的色差根據(jù)該最優(yōu)色差選擇單元所計算出的該位置周邊的相同顏色的色差來進行插補的處理；以
及RGB像素計算單元，其根據(jù)由上述最優(yōu)色差選擇單元或上述色差插補單元所計算出的色差以及與該色差為相同位置的G像素，來計算R像素、 G像素及B像素。
根據(jù)第二十五發(fā)明，還可以針對第二十三發(fā)明實現(xiàn)與第四發(fā)明同樣的效果。
第二十六發(fā)明的圖像處理裝置在上述第二十三發(fā)明的圖像處理裝置
中，上述插補候選計算單元具有第一插補計算單元，其計算上述X像
素的上下鄰接的兩個G像素的平均值來作為上述M種G插補候選中的1 種G插補候選；第二插補計算單元，其計算該X像素的左右鄰接的兩個 G像素的平均值來作為上述M種G插補候選中的1種G插補候選；以及第三插補計算單元，其計算該X像素的上下左右鄰接的四個G像素的平均值來作為上述M種G插補候選中的1種G插補候選。
根據(jù)第二十六發(fā)明還可以針對第二十三發(fā)明實現(xiàn)與第五發(fā)明同樣的效果。
第二十七發(fā)明的圖像處理裝置在上述第二十六發(fā)明的圖像處理裝置
中，上述插補候選計算單元還具有第四插補計算單元，該第四插補計算
單元采用位于上述X (xQ， yQ)附近的12個G像素G (x。一l， y。) 、 G
(xo+l， y0) 、 G (x0， y0—1) 、 G (x0， y0 + l) 、 G (x0—2， y0—1)、
G (x0 —2， y0+l) 、 G (x0+2， y。一l) 、 G (x0 + 2， y0+l) 、 G (x0
—1， y0—2) 、 G (x0—1， y0+2) 、 G (xo+l， y0—2) 、 G (x0+l， y0
+ 2)，根據(jù)以下公式
Gt (x0， y0) = (G (x0—1， y0) +G (x0+l， y0) +G (x0， y0—l)
+G (x0， y0+l) } xa
—{G (x。一2， y0—l) +G (xo—2， y0+l)
+G (x0+2， y0—l) +G (x0+2， y0+l)
+G (xo—l， y0—2) +G (x0—1， y0+2)
+ G (x0+l， y0—2) +G (x0+l， y0+2) } x(3，
來計算上述M種G插補候選中的1種G插補候選Gt (xo， yQ)，這里，a
和卩是滿足ax4—px8二l且a〉 (1/4) 、 |3〉0的任意常數(shù)。根據(jù)第二十七發(fā)明，還可以針對第二十三發(fā)明實現(xiàn)與第六發(fā)明同樣的效果。
第二十八發(fā)明的圖像處理裝置在上述第二十六發(fā)明的圖像處理裝置中，上述色差候選計算單元具有頻帶限制單元，該頻帶限制單元計算采用周邊的相同顏色X對X像素進行了頻帶限制的修正像素XL;該上述色差候選計算單元在根據(jù)由上述第三插補計算單元計算出的G插補候選來
計算色差候選時，采用該修正像素x^。
根據(jù)第二十八發(fā)明，還可以針對第二十三發(fā)明實現(xiàn)與第六發(fā)明同樣的效果。
第二十九發(fā)明的圖像處理裝置在上述第二十六發(fā)明的圖像處理裝置中，上述最優(yōu)色差選擇單元具有G像素變動量計算單元，其計算G像
素欠缺位置的周邊的G像素值的變動量，并計算基于該變動量的加權系
數(shù)；以及乘法單元，其使根據(jù)G插補候選計算出的上述G像素欠缺位置
的色差候選和周邊色差候選的相似度乘以上述加權系數(shù)，該G插補候選
是由上述第三插補計算單元計算出的。
根據(jù)第二十九發(fā)明，還可以針對第二十三發(fā)明實現(xiàn)與第八發(fā)明同樣的效果。
第三十發(fā)明的圖像處理裝置在上述第二十三發(fā)明的圖像處理裝置
中，上述相似度是相同顏色X且相同種類t的色差候選彼此間的差分絕對值的和；上述最優(yōu)色差選擇單元包含選擇單元，該選擇單元選擇一個與M種該相似度中的1個賦予最小值的相似度對應的色差候選，上述最優(yōu)色差選擇單元將該選擇單元所選擇的色差候選作為色差。
根據(jù)第三十發(fā)明，還可以針對第二十三發(fā)明實現(xiàn)與第十一發(fā)明幾乎相同的效果。
第三十一發(fā)明的圖像處理裝置在上述第二十三發(fā)明的圖像處理裝置中還具有頻帶限制單元，該頻帶限制單元計算采用周邊的相同顏色X來對上述X (x。， y。)進行了頻帶限制的X^ (xo, yG);上述色差候選計算單元根據(jù)已計算的M種G插補候選Gt (x。， y。)，計算多種色差候選X (xo， yQ) —Gt (xo， yo)或XL (x。， yQ) —Gt (xQ， yQ);上述最優(yōu)色差
30選擇單元根據(jù)上述相似度，選擇基于M種該G插補候選Gt (Xq， yQ)中的1個G插補候選Gp (xQ， yo)或Gq (xo， yo)而計算出的色差候選X (x0， y0) —Gp (x0， y0)或XL (x0， y0) —Gq (x0， y0)來作為色差，這里，l^p^M, IS q蕓M。
根據(jù)第三十一發(fā)明，還可以針對第二十三發(fā)明實現(xiàn)與第十二發(fā)明同樣的效果。
第三十二發(fā)明的圖像處理裝置在上述第三十一發(fā)明的圖像處理裝置中，上述最優(yōu)色差選擇單元具有G插補值輸出單元，該G插補值輸出單元將與選擇出的色差候選X (xo， yo) —Gp (xo， y0)或XL (X()， y0) — Gq (xo， yo)對應的G插補候選Gp (xQ， yQ)或Gq (Xo， yQ)作為該位置 (x0， yo)的G像素值來輸出。
根據(jù)第三十二發(fā)明，還可以針對第二十三發(fā)明實現(xiàn)與第十三發(fā)明同樣的效果。
第三十三發(fā)明的圖像處理裝置在上述第三十二發(fā)明的圖像處理裝置中還具有色差插補單元，在上述最優(yōu)色差選擇單元沒有計算出色差的位置是RGB拜爾排列圖像中的G像素時對R像素所涉及的色差及B像素所涉及的色差進行插補處理，在該位置是RGB拜爾排列圖像中的R像素時對B像素所涉及的色差進行插補處理，在該位置是RGB拜爾排列圖像中的B像素時對R像素所涉及的色差進行插補處理，該插補處理是將
上述最優(yōu)色差選擇單元沒有計算出色差的位置的色差根據(jù)該最優(yōu)色差選擇單元所計算出的該位置周邊的相同顏色的色差來進行插補的處理；以
及RGB像素計算單元，其根據(jù)由上述最優(yōu)色差選擇單元或上述色差插補
單元所計算的色差以及與該色差為相同位置的G像素，來計算R像素、
G像素及B像素。
根據(jù)第三十三發(fā)明還可以針對第二十三發(fā)明實現(xiàn)與第十四發(fā)明同樣
的效果。
第三十四發(fā)明的圖像處理裝置在上述第三十一發(fā)明的圖像處理裝置中，上述插補候選計算單元具有第一插補計算單元，其計算上述X像素的上下鄰接的兩個G像素的平均值來作為上述M種G插補候選中的1種G插補候選；第二插補計算單元，其計算該X像素的左右鄰接的兩個 G像素的平均值來作為上述M種G插補候選中的1種G插補候選；以及第三插補計算單元，其計算該X像素的上下左右鄰接的四個G像素的平均值來作為上述M種G插補候選中的1種G插補候選。
根據(jù)第三十四發(fā)明可以針對第二十三發(fā)明實現(xiàn)與第十五發(fā)明同樣的效果。
第三十五發(fā)明的圖像處理裝置在上述第三十四發(fā)明的圖像處理裝置中，上述插補候選計算單元還具有第四插補計算單元，該第四插補計算單元采用位于上述X (xQ， yo)附近的12個G像素G (xq—1， yQ) 、 G (x。+l， y。) 、 G (xo， y0—1) 、 G (x0， y0+l) 、 G (x。一2， y。一l)、 G (xo — 2， y0+l) 、 G (x0+2， y。一l) 、 G (x0 + 2， y0+l) 、 G (x0 —1， y0—2) 、 G (x。一l， y0+2) 、 G (xo+l， y0—2) 、 G (x。+l， y。 + 2)，基于以下公式
Gt (xo， y0) = (G (x0—1， y0) +G (x0+l, y0) +G (x0, y。一l) +G (xo， y0+l) } xa —{G (xo—2， y0—1) +G (Xo—2， y0+l) +G (x0+2， y。一l) +G (x0+2， y0+l) +G (x0—1， y0—2) +G (xo—l， y0+2)
+G (x0+l， y0—2) +G (x0+l， y0+2) } x卩，來計算上述M種G插補候選中的l種G插補候選Gt (xQ， yQ)，這里，a 和(3是滿足ax4—(3x8-l且a〉 (1/4)、卩>0的任意常數(shù)。
根據(jù)第三十五發(fā)明，還可以針對第二十三發(fā)明實現(xiàn)與第十六發(fā)明同樣的效果。
第三十六發(fā)明的圖像處理裝置在上述第三十四發(fā)明的圖像處理裝置中，上述最優(yōu)色差選擇單元具有G像素變動量計算單元，計算G像素欠缺位置的周邊的G像素值的變動量，并計算基于該變動量的加權系數(shù)；以及乘法單元，其使根據(jù)G插補候選計算出的上述G像素欠缺位置的色差候選和周邊色差候選的相似度乘以上述加權系數(shù)相乘，該G插補候選是由上述第三插補計算單元計算出的。
根據(jù)第三十六發(fā)明，還可以針對第二十三發(fā)明實現(xiàn)與第十七發(fā)明同
32樣的效果。
第三十七發(fā)明的圖像處理裝置在上述第三十一發(fā)明的圖像處理裝置中，上述相似度是相同顏色X且相同種類t的色差候選彼此間的差分絕對值的和；上述最優(yōu)色差選擇單元包含選擇單元，該選擇單元選擇一個
與M種該相似度中的1個賦予最小值的相似度對應的色差候選，上述最
優(yōu)色差選擇單元將該選擇單元所選擇的色差候選作為色差。
根據(jù)第三十七發(fā)明，還可以針對第二十三發(fā)明實現(xiàn)與第二十發(fā)明幾乎相同的效果。

圖1是表示本發(fā)明實施方式1的圖像處理裝置的整體結構的框圖。
圖2是表示上述實施方式1的G插補色差計算部的結構的框圖。
圖3是表示上述實施方式1的色差插補處理部的結構的框圖。
圖4是表示上述實施方式1的RGB計算部的結構的框圖。
圖5是表示在上述實施方式1中由攝像部的單板攝像元件所拍攝的顏色信號的拜爾排列的圖。
圖6是表示在上述實施方式1中從G插補色差計算部輸出的G信號的二維排列的圖。
圖7是表示在上述實施方式1中從G插補色差計算部輸出的X—Gj 信號的二維排列的圖。
圖8是表示在上述實施方式1中用作欠缺G信號位置的縱向插補的上下方向的鄰接G信號在拜爾排列上的位置的圖。
圖9是表示在上述實施方式1中用作欠缺G信號位置的橫向插補的左右方向的鄰接G信號在拜爾排列上的位置的圖。
圖10是表示在上述實施方式1中用作欠缺G信號位置的鄰接4像素插補的上下左右方向的鄰接G信號在拜爾排列上的位置的圖。
圖11是表示在上述實施方式1中根據(jù)縱向插補而計算出的欠缺G信號位置的色差內的、用于周邊相似度計算的色差信號在拜爾排列上的位置的圖。圖12是表示在上述實施方式1中根據(jù)橫向插補而計算出的欠缺G 信號位置的色差內的、用于周邊相似度計算的色差信號在拜爾排列上的位置的圖。
圖13是表示在上述實施方式1中根據(jù)鄰接4像素插補而計算出的欠
缺G信號位置的色差內的、用于周邊相似度計算的色差信號在拜爾排列
上的位置的圖。
圖14是表示在上述實施方式1及各實施方式中由G插補色差計算部進行的處理概括的流程圖。
圖15是表示上述實施方式1的圖2所示的結構的G插補色差計算部的處理的流程圖。
圖16是表示本發(fā)明實施方式2中的G插補色差計算部的結構的框圖。
圖17是表示在上述實施方式2中由G變動量計算部使用的G信號在拜爾排列上的位置的圖。
圖18是表示在上述實施方式2中由G變動量計算部計算的G變動量、和采用鄰接4像素插補而計算出的與周邊相似度相對的加權系數(shù)之間的關系的線圖。
圖19是表示本發(fā)明實施方式3的G插補色差計算部的結構的框圖。
圖20是表示在上述實施方式3中用作欠缺G信號位置的斜方向插補的周邊12像素的G信號在拜爾排列上的位置的圖。
圖21是表示在上述實施方式3中根據(jù)周邊12像素插補而計算出的欠缺G信號位置的色差內的、用于周邊相似度計算的色差信號在拜爾排列上的位置的圖。
圖22是表示在上述實施方式3中經由光學低通濾波器而獲得的攝像圖像等的斜45度方向的頻帶特性的線圖。
圖23是表示本發(fā)明實施方式4的G插補色差計算部的結構的框圖。
圖24是表示為了在上述實施方式4的低通濾波器處理部中構成低通濾波器而使用的顏色信號X在拜爾排列上的位置的圖。
圖25是表示上述實施方式4中的G插補色差計算部的一部分處理的流程圖。
圖26是表示上述實施方式4中的G插補色差計算部的另一部分處理的流程圖。
圖27是表示在本發(fā)明實施方式5中使用由縱插補求出的Gv而計算出的5x5像素區(qū)域的X—Gv及XA—Gv的圖。
圖28是表示在上述實施方式5中采用由橫插補求出的Gh而計算出的5x5像素區(qū)域的X—Gh及XA—Gh的圖。
圖29是表示在上述實施方式5中釆用由4像素插補求出的Ga而計算出的5x5像素區(qū)域的X—Ga及XA—Ga的圖。
圖30是在上述實施方式5中表示采用由斜插補求出的Gd來計算的 5x5像素區(qū)域的X—Gd及XA—Gd的圖。
圖31是表示在上述實施方式5中使在二維色差空間中由縱插補求出的Gv所涉及的周邊局部區(qū)域的色差X—Gv或X^—Gv圖形化后的狀況的線圖。
圖32是表示在上述實施方式5中使在二維色差空間中由橫插補求出的Gh所涉及的周邊局部區(qū)域的色差X—Gh或XA—Gh圖形化后的狀況的線圖。
圖33是表示在上述實施方式5中使在二維色差空間中由4像素插補
求出的Ga所涉及的周邊局部區(qū)域的色差X — &或XA — Ga圖形化后的狀
況的線圖。
圖34是表示在上述實施方式5中使在二維色差空間中由斜插補求出的Gd所涉及的周邊局部區(qū)域的色差X—Gd或X〃一Gd圖形化后的狀況的線圖。
圖35是表示在上述實施方式5中在判定區(qū)域內存在垂直方向的空間頻率高的橫條紋圖案的例子的圖。
圖36是表示在上述實施方式5中在針對圖35所示的例子釆用了上述實施方式1 4的周邊色差相似度時在G信號上出現(xiàn)如對照圖案的模式的狀況的圖。
具體實施例方式
以下，參照附圖對本發(fā)明的實施例進行說明。 [實施方式1]
圖1至圖15表示了本發(fā)明的實施方式1，圖l是表示圖像處理裝置的整體結構的框圖。
如圖1所示，該圖像處理裝置具有攝像部101、 G插補色差計算部
102、色差插補處理部103、 RGB計算部104和壓縮記錄部105。
攝像部101雖未圖示，不過其結構為具有透鏡、紅外截止濾波器 (IR-CUT Filter)、光學低通濾波器、單板攝像元件(以下簡略為「攝像元件」等。)、放大器、A/D轉換器和攝像元件控制器。這里，透鏡用于使被攝體的光學像在攝像元件上成像。紅外截止濾波器用于從通過透鏡的光通量中濾除紅外區(qū)域的光。光學低通濾波器是如下的濾波器其進行頻帶限制，以使通過透鏡在攝像元件上成像的光學像的析像度成為在G 信號的釆樣間隔中在允許電平以上不會產生由返回失真導致的莫爾條紋的空間頻率特性。攝像元件為具有如圖5所示的拜爾排列的彩色濾波器的單板式攝像元件，例如由CCD (Charge-Coupled Device:電荷耦合器件)及CMOS (Complementary Metal-Oxide-Semiconductor Transistor互補型金屬氧化物半導體)等構成。在此，圖5是表示由攝像部101的單板攝像元件攝像的顏色信號的拜爾排列的圖。放大器用于模擬放大從該攝像元件輸出的信號。A/D轉換器用于將該放大器所放大的模擬信號轉換為數(shù)字信號。攝像元件控制器控制并驅動攝像元件使其進行攝像，在攝像后如后所述那樣將從A/D轉換器輸出的數(shù)字信號按顏色分量向G插補色差計算部102輸出。
在這樣的結構中，經由透鏡、紅外截止濾波器、光學低通濾波器在單板攝像元件上成像的光，利用如圖5所示的拜爾排列的帶色彩濾波器的像素進行光電轉換。這樣進行光電轉換后的各像素的電信號經由放大器進行放大，并通過A/D轉換器轉換為數(shù)字信號，然后作為數(shù)字的顏色信號Rs、 Gs、 Bs輸出。攝像元件控制器分別將從A/D轉換器輸出的顏色信號Rs、 Gs、 Bs分成Rs以及Bs和Gs，并向G插補色差計算部102輸出。
36此外，攝像元件控制器具有針對各顏色信號Rs、 Gs、 Bs的噪音降低處理
功能及白平衡處理功能等，對向G插補色差計算部102輸出的Rs、 Gs、 Bs進行這些處理。
G插補色差計算部102計算與輸入的顏色信號Rs、 Bs的像素位置對應的插補G像素即Gi、和該像素位置中的色差信號R—Gi、 B—Gi。然后， G插補色差計算部102，針對色差信號R—Gi、 B — Gi作成如圖7所示的二維排列，將該二維排列的色差信號按光柵掃描順序向色差插補處理部 103輸出。這里，圖7是表示從G插補色差計算部102輸出的X—Gi信號的二維排列的圖。另外，G插補色差計算部102針對G信號作成如圖 6所示的二維排列，將該二維排列的G信號按光柵掃描順序向RGB計算部104輸出。這里，圖6是表示從G插補色差計算部102輸出的G信號的二維排列的圖。以下，對該G插補色差計算部102進行更詳細的說明。
色差插補處理部103是色差插補單元，在如圖7所示的二維排列中，采用周邊的相同顏色的色差R—Gj或B — Gi來分別插補在全像素中欠缺的色差R—G、以及在全像素中欠缺的色差B—G，并向RGB計算部104 分別輸出插補后取得的全像素位置的色差R—G和全像素位置的色差B 一G。
RGB計算部104是RGB像素計算單元，根據(jù)從色差插補處理部103 輸入的2種色差信號R—G、 B—G和從G插補色差計算部102輸入的G 信號來計算RGB信號，對該計算的RGB信號進行彩色匹配處理和y校正處理，計算出Ry、 Gr、 By信號，并將計算出的Ry、 Gy、 By信號向壓縮記錄部105輸出。
壓縮記錄部105將從RGB計算部104輸入的RY、 Gy、 By信號轉換為Y、 U、 V信號，還將該Y、 U、 V信號轉換為JPEG或MPEG等己進行了高效率壓縮編碼處理的壓縮數(shù)據(jù)，將該壓縮數(shù)據(jù)保存在記錄介質中。
接著，圖2是表示G插補色差計算部102的結構的框圖。
該G插補色差計算部102具有存儲器201、存儲器202、縱插補G 計算部203、橫插補G計算部204、4像素插補G計算部205、存儲器206、存儲器207、存儲器208、減法部209、減法部210、減法部211、存儲器212、存儲器213、存儲器214、周邊相似度計算部215、周邊相似度計算部216、周邊相似度計算部217、判定部218、色差選擇部219、插補G 選擇部220和存儲器221。
為了取得直至可實施欠缺G像素位置的二維插補處理的像素齊備為止的延遲，在存儲器201中存儲從攝像部101輸出的規(guī)定行數(shù)的顏色信號Rs、 Bs，在存儲器202中存儲規(guī)定行數(shù)的顏色信號Gs。在圖2所示的例中，在存儲器201及存儲器202內存儲的行數(shù)至少為3行。
這里，在欠缺G像素位置配置有R像素或B像素，不過歸納這些兩個顏色信號記載為X或X像素等，以下進行說明。
縱插補G計算部203是采用如圖8所示的縱向的附近G像素，利用插補式Gv二 (G,+G2)/2來計算G插補候選，輸出到存儲器206進行存儲，并且向減法部209輸出的插補候選計算單元、即第一插補計算單元。這里，圖8是表示作為欠缺G信號位置的縱向插補而采用的上下方向的鄰接G信號在拜爾排列上的位置的圖。
橫插補G計算部204是釆用如圖9所示的橫向的附近G像素，利用插補式Gh二 (G3 + G4) /2來計算G插補候選，輸出到存儲器207進行存儲，并且向減法部210輸出的插補候選計算單元、即第二插補計算單元。這里圖9是表示作為欠缺G信號位置的橫向插補而釆用的左右方向的鄰接G信號在拜爾排列上的位置的圖。
4像素插補G計算部205是釆用如圖10所示的縱橫4方向的附近G 像素，利用插補式Ga二 (G,+G2+G3+G4)/4來計算G插補候選，輸出到存儲器208進行存儲，并且向減法部211輸出的插補候選計算單元、即第三插補計算單元。這里，圖10是表示作為欠缺G信號位置的鄰接4 像素插補而采用的上下左右方向的鄰接G信號在拜爾排列上的位置的圖。
減法部209是從存儲器201輸入位于與欠缺G像素相同的位置的X 像素，計算色差信號(色差候選)X—Gv，并輸出到存儲器212進行存儲的色差候選計算單元。
減法部210是從存儲器201輸入位于與欠缺G像素相同的位置的X
38像素，計算色差信號(色差候選)X — Gh，并輸出到存儲器213進行存儲的色差候選計算單元。
減法部211是從存儲器201輸入位于與欠缺G像素相同的位置的X 像素，計算色差信號(色差候選)X—Ga，并輸出到存儲器214進行存儲的色差候選計算單元。
另外，在之后通過周邊相似度計算部215、 216、 217來計算周邊相似度時釆用在存儲器212、 213、 214中存儲的色差信號。然后，周邊相似度計算部215、 216、 217計算包含3行3列圖11 圖13所示的同種色差信號(即，在計算色差候選時使用的G插補候選Gv、 Gh、 Ga、 Gd的種類是相同、且相同顏色X的色差信號。因此，例如R—Gv和B—Gv不是同種色差信號。)的附近區(qū)域中的色差信號的相似度。因此，為了取得周邊相似度計算部215、 216、 217可實施相似度計算的延遲，存儲器212、 213、 214以及存儲器206、 207、 208能夠分別存儲至少5行的數(shù)據(jù)。
這樣，在存儲器212、 213、 214中存儲有只能夠執(zhí)行色差的周邊相似度計算處理的色差信號的時刻，分別從存儲器212、 213、 214向周邊相似度計算部215、 216、 217輸出色差信號X—Gv、 X—Gh、 X—Ga。
周邊相似度計算部215是最優(yōu)色差選擇單元、即選擇單元，按照下示來計算G像素位置(k， 1)中的色差周邊相似度Sv (k, 1)。
艮P，周邊相似度計算部215首先如圖11所示，采用中央的色差信號 (X—Gv) kJ (這里，「 (X—Gv) kJ」是省略「X (k， 1) —Gv (k， 1)」記載的公式。以下同樣)、及其周邊位置的8個色差信號(X—Gv) k-2J.2、
(X —Gv) k'|-2、 (X — Gv) k+2'l-2、 (X —Gv) k-2,|、 (X —Gv) k+2,1、 (X —
Gv) k-2,l+2、 (X —Gv) k,l+2、 (X —Gv) k+2,l+2，按照如下來計算第一色差周邊相似度候選SVl (k， 1)。這里圖11是表示根據(jù)縱向插補而計算出的欠缺G信號位置的色差內的、用于周邊相似度計算的色差信號在拜爾排
列上的位置的圖。
<formula>formula see original document page 39</formula>+ I(X —Gv) k+2J— (X —Gv) k,, I
+ I (X—Gv) k—2,l+2— (X—Gv) w I + I (X—Gv) k,1+2— (X—Gv) k>l I
+ I (X—Gv) k+2J+2— (X—Gv) k,, I
而且，周邊相似度計算部215采用圖11中用粗線包圍的部分上的、
中央的色差信號(X—Gv) w及其周邊位置的兩個色差信號(X—Gv) k，w、
(X—Gv) k，,+2來計算差分絕對值和，采用其他色差信號來計算其他差分
絕對值和，此外，按照下述對這些差分絕對值和進行加權，從而計算第
二色差周邊相似度候選Sv2 (k， 1)。
Sv2 (k， 1) = { I (X—Gv) k，,.2— (X—Gv) k,, I
+ I (X—Gv) k,1+2— (X—Gv) kJ I } xp
+ { I (X—Gv)即一 (X—Gv) k>l I
+ 1 (X—Gv)即—(X_GV) k>l I
+ I (X—Gv) (X—Gv) k，, I
+ I (X—Gv) k+2J— (X—Gv) kJ I
+ I (X—Gv) k-2'l+2— (X—Gv) w I
+ I (X—Gv) k+2,1+2— (X—Gv) kJ I } xQ
這里，P和Q是滿足2P+6Q二8且4^P〉1、 1〉Q^0的任意常數(shù)。
然后，周邊相似度計算部215對如上所述計算的第一色差周邊相似
度候選Sv, (k， 1)和第二色差周邊相似度候選SV2 (k， 1)進行比較，將
值不大于另一方的一方(在不是等值的情況下，為值小的一方)、即相似
度不低于另一方的一方(在不是相同相似度的情況下，為相似度高的一
方)用作色差周邊相似度Sv (k， 1)。
這樣，將兩個色差周邊相似度候選SVl (k， 1)、 Sv2 (k， 1)內的、
值不大于另一方的一方作為色差周邊相似度Sv (k， 1)，由此能夠與陡峭
的縱邊緣邊界部和緩緩變化的縱邊緣邊界這兩方對應起來，從而可降低
判定錯誤。
同樣，周邊相似度計算部216是最優(yōu)色差選擇單元、即選擇單元，按照如下來計算欠缺G像素位置(k， 1)中的色差周邊相似度Sh (k， 1)。艮P，周邊相似度計算部216首先如圖12所示，采用中央的色差信號 (X—Gh) k>1、及其周邊位置的8個色差信號(X—Gh) k.2>l-2、 (X—Gh)
k,1.2、 (X —Gh) k+2,l-2、 (X —Gh) k-2,l、 (X—Gh) k+2，l、 (X —Gh) k-2,l+2、(X —Gh) k,1+2、 (X — Gh) k+2,1+2，按照如下計算第一色差周邊相似度候
選Sh, (k， 1)。這里，圖12是表示根據(jù)橫向插補而計算出的欠缺G信號位置的色差內的、用于周邊相似度計算的色差信號在拜爾排列上的位置的圖。
(X—Gh)即一 (X—Gh) kJ I (X-Gh) w-廣(X-Gh) kJ I (X—Gh) k+2，i-2— (X—Gh) k,i I (X—Gh) w廣(X—Gh) k,, I (X—Gh) k+2廣(X—Gh) kJ I (X—Gh) k-2,i+2— (X—Gh) k,i I (X—Gh) kj+2— (X—Gh) kJ I (X—Gh) k+2，i+2— (X—Gh) k,i I
而且，周邊相似度計算部216釆用圖12中用粗線包圍的部分上的、
中央的色差信號(X—Gh) w及其周邊位置的兩個色差信號(X—Gh) k-2J、
(X—Gh) k+2，,來計算差分絕對值和，釆用其他色差信號來計算其他差分
絕對值和，此外，按照以下所示對這些差分絕對值和進行加權，計算第
二色差周邊相似度候選Sh2 (k, 1)。
Sh, (k， 1) = I +
+ + + + + +
Sh2 (k， 1) = { I + I + { + + + + +
(X—Gh) k-2,「 (X—Gh) k,i I (X—Gh) &2廣(X—Gh) kj I } xp I (X—Gh) k-2,i-2— (X—Gh) k'i I (X—Gh) kJ-2— (X—Gh) k,i I
(X — Gh) lc+2,1-2— (X — Gh) kj I
(X—Gh) k-2,i+2— (X—Gh) k，i I (X—Gh) k,i+2— (X—Gh) k,i I (X—Gh) (X—Gh) kJ I } xQ
這里，P和Q是滿足2P+6Q二8且4^P〉1、 1〉Q^0的任意常數(shù)。
然后，周邊相似度計算部216對如上所述計算的第一色差周邊相似
度候選Shi (k， 1)和第二色差周邊相似度候選Sh2 (k， 1)進行比較，將
值不大于一方的一方(在不是等值的情況下，為值小的一方)、即相似度
不低于另一方的一方(在不是相同相似度的情況下，相似度高的一方)
用作色差周邊相似度Sh (k， 1)。
這樣，將兩個色差周邊相似度候選Sh(k， 1)、 Sh2 (k， 1)內的、
值不大于另一方的一方作為色差周邊相似度Sh (k， 1)，由此能夠與陡峭的橫邊緣邊界部和緩緩變化的橫邊緣邊界這兩方對應，從而可降低判定錯誤。
另外，周邊相似度計算部217是最優(yōu)色差選擇單元，按照如下計算欠缺G像素位置(k， 1)中的色差周邊相似度Sa (k， 1)。
艮口，周邊相似度計算部217首先如圖13所示，采用中央的色差信號
(X —Ga) k>l、及其周邊位置的8個色差信號(X —Ga) k-2，w、 (X — Ga) lcj—2、 (X —Ga) k+2,l-2、 (X — Ga) k-2,l、 (X —Ga) k+2,l、 (X —Ga) k-2，l+2、
(X — Ga) k,1+2、 (X — Ga) k+2,1+2，按照如下計算差分絕對值和，由此來計
算色差周邊相似度Sa (k， 1)。這里，圖13是表示根據(jù)欠缺G信號位置
的鄰接4像素插補而計算出的色差內的、用于周邊相似度計算的色差信
號在拜爾排列上的位置的圖。
Sa (k， 1) = I (X—Ga) k-2,i-2— (X—Ga) k>l I
+ 1(X—Ga)k，l-2 —(X—Ga) k,i 1
+ 1(X—Ga)k+2,l-2一-(X—Ga) k'i
+ 1(X—-Ga)k-2,1 —(X—Ga) k,i 1
+ 1(X—-Ga)k+2,l一(X—-Ga) k,i 1
+ 1(X—-Ga)k-2,1+2 —-(X—Ga) k,i
+ 1(X—-Ga)k,l+2 —(X—-Ga) w 1
+ 1(X—Ga)k+2,1+2 —-(X—Ga) k,|
這樣，由周邊相似度計算部215、 216、 217分別計算出的色差周邊相似度Sv (k， 1) 、 Sh (k， 1) 、 Sa (k， 1)被輸入到作為最優(yōu)色差選擇單元的判定部218。另外，這里將色差周邊相似度Sv (k， 1) 、 Sh (k， 1) 、 Sa (k， 1)定義為注目色差與周邊色差的差分絕對值和，不過還可以取代該定義，而定義為差分平方和。
判定部218對這三種色差周邊相似度Sv (k， 1)、 Sh (k， 1)、 Sa (k， 1)的值進行比較，選擇一個賦予最小的色差周邊相似度的G插補方法，將與選擇的插補方法對應的選擇信號分別輸出到色差選擇部219和插補 G選擇部220。另外，當存在多個最小的色差周邊相似度時，判定部218 例如按照Sa (k， 1)、 Sh (k， 1)、 Sv (k， 1)的順序來決定優(yōu)先位次的高低，并沿著該優(yōu)先位次來選擇一個G插補方法。
色差選擇部219是最優(yōu)色差選擇單元、即選擇單元，其根據(jù)從判定部218輸入的選擇信號，選擇與該選擇信號對應的一個欠缺G像素位置
(k， 1)的色差候選、即存儲在存儲器212內的色差候選(X—Gv) w、存儲在存儲器213內的色差候選(X—Gh) w、存儲在存儲器214內的色差候選(X—Ga) w中的任意一個來輸入，并作為色差向色差插補處理部 103輸出。更具體地說，色差選擇部219在色差周邊相似度Sv (k, 1)為最小的情況下將(X—Gv) k，,向色差插補處理部103輸出，在Sh (k， 1) 為最小的情況下將(X—Gh) k，j向色差插補處理部103輸出，在Sa (k， 1) 為最小的情況下將(X—Ga) k，,向色差插補處理部103輸出。另夕卜，按照圖7所示的二維排列中的從左上到右下的光柵掃描順序，向色差插補處理部103輸出色差信號。
另外，插補G選擇部220是最優(yōu)色差選擇單元、即G插補值輸出單元，其根據(jù)從判定部218輸入的選擇信號，選擇與該選擇信號對應的一個欠缺G像素位置(k， 1)的G插補候選、即存儲在存儲器206內的G 插補候選Gv (k， 1)、存儲在存儲器207內的G插補候選Gh (k， 1)、存儲在存儲器208內的G插補候選Ga (k， 1)中的任意一個來輸入，并向RGB計算部104輸出。更具體地說，插補G選擇部220在色差周邊相似度Sv (k， 1)為最小的情況下將Gv (k， 1)向RGB計算部104輸出，在色差周邊相似度Sh (k， 1)為最小的情況下將Gh (k， 1)向RGB計算部104輸出，在色差周邊相似度Sa (k， 1)為最小的情況下將Ga (k， 1) 向RGB計算部104輸出。
另外，存儲器221用于臨時存儲作為攝像像素取得的Gs像素的數(shù)據(jù)。 G插補色差計算部102按照從左上到右下的光柵掃描順序向RGB計算部 104輸出圖6所示的沒有欠缺的二維排列的G信號。因此，在按照光柵掃描順序讀出的定時到達之前，存儲器221存儲GJ象素的數(shù)據(jù)，在到達該定時之際，將Gs像素的數(shù)據(jù)向RGB計算部104輸出。
接著，圖3是表示色差插補處理部103的結構的框圖。
色差插補處理部103具有色差篩選部301、存儲器302、存儲器 303、插補處理部304和插補處理部305。
來自G插補色差計算部102的色差信號X—Gi被輸入到色差插補處
43理部103的色差篩選部301。色差篩選部301在被輸入了色差信號X— Gi時，在該色差信號X—Gi為R—Gi的情況下輸出到存儲器302，在色差信號X—Gi為B—G的情況下輸出到存儲器303。
存儲器302在從色差篩選部301被輸入了色差信號R—Gi時，存儲該色差信號R—Gi。此時，存儲器302為具有能夠存儲用于插補處理色差信號R—Gi的欠缺像素部分所需的行數(shù)的存儲容量。
同樣，存儲器303在從色差篩選部301被輸入了色差信號B—Gi時，存儲該色差信號B — Gi。此時，存儲器303為具有能夠存儲用于插補處理色差信號B—Gi的欠缺像素部分所需的行數(shù)的存儲容量。
這樣，在可開始插補處理的時刻，從存儲器302、 303向插補處理部 304、 305分別輸出插補處理所需的像素數(shù)據(jù)。
插補處理部304例如通過釆用如下所示的線性插補式來進行色差信號R—G的插補，生成全部像素位置上的色差信號R—G，并向RGB計算部104輸出。
<formula>formula see original document page 44</formula>
這里，No是上述3x3矩陣內的非欠缺像素R—Gi的數(shù)量。
同樣，插補處理部305例如通過采用如下所示的線性插補式來進行
色差信號B—G的插補，生成全部像素位置上的色差信號B—G，并向
RGB計算部104輸出。
<formula>formula see original document page 44</formula>
這里，No是上述3x3矩陣內的非欠缺像素B—Gi的數(shù)量。接著，圖4是表示RGB計算部104的結構的框圖。 RGB計算部104具有存儲器401、加法部402、加法部403、彩色矩陣處理部404、 y校正部405、 y校正部406和y校正部407。來自G插補色差計算部102的G信號被輸入到RGB計算部104的存儲器401內進行存儲。該存儲器401用于在從色差插補處理部103輸入與g信號為相同像素位置的色差信號r—g以及色差信號b—g之前預先保存該G信號(即，具有延遲用的功能)。
另外，來自色差插補處理部103的色差信號R—G被輸入到RGB計算部104的加法部402。于是，加法部402從存儲器401讀出與己輸入的色差信號R—G為相同位置的G信號，使色差信號R—G和G信號相加，由此來生成R信號，并向彩色矩陣處理部404輸出。
此外，來自色差插補處理部103的色差信號B—G被輸入到RGB計算部104的加法部403。于是，加法部403從存儲器401讀出與已輸入的色差信號B—G為相同位置的G信號，使色差信號B—G和G信號相加，由此來生成B信號，并向彩色矩陣處理部404輸出。
然后，存儲器401將與由加法部402計算出的R信號以及由加法部 403計算出的B信號為相同像素位置的G信號向彩色矩陣處理部404輸出。
通過進行這樣的處理，各像素位置上的R信號、G信號、B信號可復原。
當輸入已復原的R信號、G信號及B信號時，彩色矩陣處理部404 將這些信號轉換為例如sRGB空間的信號。并且，彩色矩陣處理部404 將已轉換的R信號向Y校正部405輸出，將已轉換的B信號向Y校正部 406輸出，將己轉換的G信號向Y校正部407輸出。
當從彩色矩陣處理部404輸入的轉換后的R、 G、 B信號為例如12 位的信號時，Y校正部405、 406、 407分別對這些信號進行Y校正，而分別生成轉換為8位的R"y信號、Gr信號、By信號，并向壓縮記錄部105 輸出。
之后的壓縮記錄部105的處理如上所述。
接著，圖14是表示由G插補色差計算部102進行的處理概括的流程圖。參照該圖14所說明的處理不僅對如圖2所示的實施方式1中的G插補色差計算部102的結構適用，即使對后述的實施方式2的圖16所示的
45G插補色差計算部102的結構、實施方式3的圖19所示的G插補色差計算部102的結構、實施方式4的圖23所示的G插補色差計算部102的結構也都適用。因此并非僅依存于特定的實施方式，所以在該圖14的說明中適當省略參照符號的記載。
當開始該處理時，首先，將用于存儲G信號欠缺位置的G插補候選信號的存儲器和用于存儲該G信號欠缺位置的色差候選信號的存儲器的行數(shù)N設為初始值(步驟S1400)，該G信號欠缺位置的色差候選信號是由攝像部101拍攝并存儲在存儲器內且按照光柵掃描順序輸入到G插補色差計算部102的單板拜爾排列圖像中的信號。
接著，對G信號欠缺位置(i， j)采用該欠缺位置周邊的G信號來計算M種(M為2以上的整數(shù))G插補候選Gt(i， j)(這里，t=l M)，并且由該G信號欠缺位置(i， j)的X (i， j)信號(這里，如上所述， X信號表示R信號或B信號。以下相同)減去上述M種G插補候選Gt
(i， j)，由此分別計算M種色差候選(X—Gt) i」，并存儲在存儲器中
(步驟S1401)。
另外，在該實施方式1及接著說明的實施方式2中M=3，在后述的實施方式3及實施方式4中M=4，不過還可以準備多種插補候選。另外，在上述內容中采用線性插補來作為插補方法，但不限于此，還可采用三次插補或其他非線性插補。而且，在上述內容中釆用G信號欠缺位置(i， j)周邊的G信號來進行插補，但不僅限于此，還可以采用周邊的R信號及B信號來進行插補。這樣，插補方法不僅限于此，可釆用任意的插補方法。
接著，判定N行的處理是否己結束(步驟S1402)，在判定為N行的處理還未結束的情況下返回步驟S1401，進行上述的處理。
另一方面，在步驟S1402中判定為N行的處理已結束的情況下，將行數(shù)N按照如下設為用于決定插補G信號和色差信號所需的規(guī)定的處理行數(shù)(步驟S1403)。
然后，根據(jù)在存儲器中存儲的由G信號欠缺位置(k， 1)的相同插補種類t計算出的色差(X—Gt)k，,及其附近D方向(D是1以上的整數(shù)，在圖11 圖13所示的例中，D=8，即為附近8個方向。)的色差(X— Gt) k+n，1+m (在該實施方式1及后述的實施方式2 4中，n=—2、 0、 2， m= — 2、 0、 2，且n和m不是同時為0，不過還可以采用更廣的周邊區(qū) 域的色差)的差分絕對值和(可根據(jù)計算差分的方向進行加權)，來計算周邊相似度St (k， 1)步驟S1404)。這里，周邊相似度St (k， 1)的
值越小，表示相似性越高。
與這樣計算的M種的周邊相似度St (k， 1)(這里，t二l M)(另
外，該實施方式l中M-3)的值相比，選擇成為最小(相似性最高)的插補種類指數(shù)Un (步驟S1405)。
接著，根據(jù)己選擇的插補種類指數(shù)Un，將針對G信號欠缺位置(k,
1)的插補G信號決定為Gtmin(k， 1)，并且將針對該G信號欠缺位置(k， 1)的色差信號決定為(X — Gtmin) k)1，將這些信號存儲在存儲器中(步驟
Sl秦)。
這里，判定N行的處理是否已結束(步驟S1407),在判定為N行的處理還未結束的情況下，返回歩驟S1404，進行上述的處理。
另外，在步驟S1407中判定為N行的處理己結束的情況下，進一步判定作為輸出圖像的總行數(shù)的處理是否己結束(步驟S1408)。
這里，在判定為總行數(shù)的處理還未結束的情況下，返回步驟S1401，將存儲在存儲器內的已不需要的規(guī)定行數(shù)的Gt、 (X—Gt) 、 St用新計算的值進行置換，并且進行上述的處理。
另一方面，在步驟S1408中判定為總行數(shù)的處理已結束的情況下，結束該G插補色差計算處理。
接著，圖15是表示圖2所示結構的G插補色差計算部102的處理的流程圖。
在該G插補色差計算部102中，按照光柵掃描順序輸入由攝像部101 拍攝并存儲在存儲器內的單板拜爾排列圖像。然后如上所述，G插補色差計算部102向存儲器201存儲規(guī)定數(shù)據(jù)量的Rs信號及Bs信號，向存儲器202存儲規(guī)定數(shù)據(jù)量的Gs信號，該&、 Bs、 Gs信號是按照光柵掃描順序輸入的單板拜爾排列圖像內的信號。這樣，在存儲器201、 202中存儲有規(guī)定數(shù)據(jù)量的狀態(tài)下，將存儲欠缺G信號的G插補候選值的存儲器206 208的行數(shù)N、以及存儲欠缺G 信號的色差候選值的存儲器212 214的行數(shù)N設為規(guī)定的初始值(該實施方式1中N=5)(步驟S1500)。
接著，針對G信號欠缺位置(i， j)，由縱插補G計算部203計算如圖8所示的上下鄰接的G信號的平均值，并作為插補候選Gv (i， j) 存儲在存儲器206中(步驟S1501)，而且，利用減法部209從G信號欠缺位置(i， j)的X (i， j)減去插補候選Gv (i， j),由此來計算色差候選(X—Gv) i，j，并存儲在存儲器212中(步驟S1502)。
接著，針對G信號欠缺位置(i， j)，計算如圖9所示的左右鄰接的G信號的平均值，并作為插補候選Gh (i， j)存儲在存儲器207中(步驟S1503)，而且，利用減法部210從G信號欠缺位置(i， j)的X (i， j)減去插補候選Gh (i, j),由此來計算色差候選(X—Gh) ij，并存儲在存儲器213內(步驟S1504)。
然后，針對G信號欠缺位置(i， j)，計算如圖IO所示的上下左右鄰接的G信號的平均值，并作為插補候選Ga (i， j)存儲在存儲器208 中(步驟S1505)，而且，利用減法部211從G信號欠缺位置(i， j)的 X (i， j)減去插補候選Ga (i， j)，由此來計算色差候選(X—Ga) i，j，并存儲在存儲器214中(步驟S1506)。
接著，判定N行的處理在此時刻是否已結束(步驟S1507)，在判定為N行的處理還未結束的情況下，返回步驟S1501進行上述的處理。
這樣，在步驟S1507中判定為N行的處理已結束的情況下，將N設為1 (步驟S1508)。
接著，周邊相似度計算部215計算存儲在存儲器212中的由G信號欠缺位置(k， 1)的相同插補種類(是X為相同顏色、G種類相同的Gv) 計算的色差(X—Gv) w及其附近8個方向的同種色差(X—Gv) k+n，1+m (這里，n=—2、 0、 2， m=—2、 0、 2，且n和m不是同時為O。)的差分絕對值和作為色差周邊相似度候選Sv, (k， 1)。并且，周邊相似度計算部215對附近8個方向的同種色差(X—Gv) k+^+m內的、上下附近的同種色差(X—Gv) k+n,l+m (這里，n=0， m=—2、 2)進行大的加權來取得差分絕對值和，并計算色差周邊相似度候選SV2 (k， 1)。然后，周邊相似度計算部215根據(jù)計算出的色差周邊相似度候選Sv, (k， 1)和色差周邊相似度候選Sv2(k， 1)，來計算周邊相似度Sv (k， 1)(步驟S1509)。同樣，周邊相似度計算部216將存儲在存儲器213內的由G信號欠缺位置(k， 1)的相同插補種類(是X為相同顏色、G的種類相同的Gh) 計算出的色差(X—Gh) k>l、以及其附近8個方向的同種色差(X—Gh) k+n,1+m (這里，n=—2、 0、 2; m=—2、 0、 2，且n和m不是同時為O。) 的差分絕對值和，作為色差周邊相似度候選Sh, (k， 1)來計算。而且，周邊相似度計算部216對附近8個方向的同種色差(X—Gh) ^,一內的、上下附近的同種色差(X—Gh) k+n,1+m (這里，n=—2、 2， m=0)進行大的加權來取得差分絕對值和，并計算色差周邊相似度候選Sh2 (k， 1)。然后，周邊相似度計算部216根據(jù)計算出的色差周邊相似度候選Sh, (k， 1)和色差周邊相似度候選Sh2 (k， 1)來計算周邊相似度Sh (k， 1)(步驟S1510)。
而且，同樣地，周邊相似度計算部217計算存儲在存儲器214內的由G信號欠缺位置(k， 1)的相同插補種類(是X為相同顏色、G的種類相同的Ga)計算出的色差(X—Ga) w、以及其附近8個方向的色差(X —Ga) k+n,l+m (這里，n=—2、 0、 2， m = —2, 0、 2，且n和m不是同時為0。)的差分絕對值和，來作為周邊相似度Sa (k， 1)(步驟S1511)。
這樣計算的各周邊相似度Sv (k， 1) 、 Sh (k， 1) 、 Sa (k， 1)如上
所述，其值越小，表示相似性越髙。
在如此計算出三個周邊相似度Sv (k， 1) 、 Sh (k， 1) 、 Sa (k， 1) 后，首先，對周邊相似度Sv (k， 1)和周邊相似度Sh (k， 1)進行比較 (步驟S1512)。
這里，當判定為周邊相似度Sv (k， 1)小于周邊相似度Sh (k， 1) 時，進一步對周邊相似度Sv (k， 1)和周邊相似度Sa (k， 1)進行比較 (步驟S1514)。
另一方面，當在步驟S1512中判定為周邊相似度Sv (k， 1)在周邊
49相似度Sh (k， 1)以上時，進一步對周邊相似度Sh (k， 1)和周邊相似
度Sa (k， I)進行比較(步驟S1513)。
并且，在上述步驟S1514中，當判定為周邊相似度Sv (k， 1)小于周邊相似度Sa (k， 1)時，將G信號欠缺位置(k, 1)的信號插補值決定為Gv (k， 1)，將G信號欠缺位置(k， 1)的色差決定為(X—Gv) kJ，并將這些存儲到存儲器中(步驟S1515)。
另外，當在上述步驟S1514中判定為周邊相似度Sv (k， 1)在周邊相似度Sa (k， 1)時，或在上述步驟S1513中判定為周邊相似度Sh (k，1)在周邊相似度Sa (k， 1)以上時，將G信號欠缺位置(k， 1)的信號插補值決定為Ga (k， 1)，將G信號欠缺位置(k， 1)的色差決定為(X—Ga) k)l，并將這些存儲到存儲器內(步驟S1516)。
此外，當在上述步驟S1513中判定為周邊相似度Sh (k， 1)小于周邊相似度Sa (k， 1)時，將G信號欠缺位置(k， 1)的的信號插補值決定為Gh (k, 1),將G信號欠缺位置(k， 1)的色差決定為(X—Gh) k，,，并將這些存儲到存儲器中(步驟S1517)。
這樣，在進行了步驟S1515、步驟S1516或步驟S1517中的任意一個步驟的處理后，判定是否結束了N行的處理(步驟S1518)，當判定為尚未結束處理時，返回步驟S1509,進行如上所述的處理。
另一方面，當在步驟S1518中判定為已結束N行的處理時，還判定是否結束了作為輸出圖像的總行數(shù)的處理(步驟S1519)。
這里，當判定為尚未結束總行數(shù)的處理時，返回步驟S1501，將存儲在存儲器中的不需要的行Gv、 Gh、 Gd、 Ga、 (X—Gv) 、 (X—Gh)、(X—Gd) 、 (X—Ga) 、 (XL—Ga) 、 Sv、 Sh、 Sa用新計算的值置換，并且進行如上所述的處理。
另外，在歩驟S1519中判定為總行數(shù)的處理已結束的情況下，結束該G插補色差計算處理。
根據(jù)這樣的實施方式1，可從多種G插補候選中選擇一個計算色差時的未確定參數(shù)即欠缺G像素，來作為基于色差信號的局部相關性高這樣的前提條件的最可靠的像素。其結果是，在圖像局部的邊緣處插補最優(yōu)的欠缺G像素，所以能夠抑制偽色的產生，并且還能夠抑制垂直方向及水平方向的邊緣部的析像度劣化。
并且，因為是根據(jù)色差來計算周邊相似度，所以飽和度不會降低，而且還能夠有效地降低偽色。
圖16至圖18示出本發(fā)明的實施方式2，圖16是表示G插補色差計算部的結構的框圖，圖17是表示G變動量計算部所使用的G信號在拜爾排列上的位置的圖，圖18是表示由G變動量計算部計算的G變動量和采用鄰接4像素插補而計算出的針對周邊相似度的加權系數(shù)之間的關系的線圖。
在該實施方式2中，對與上述實施方式1同樣的部分標注相同符號并省略說明，以下主要對不同點進行說明。
該實施方式2相對于上述實施方式1能夠進一步改進攝像圖像的平坦部中的畫質。
艮口，關于與實施方式l中說明的針對欠缺G像素的三個插補切換判定，在圖像平坦部中，當伴隨攝像元件固有的噪音量的變化量相比伴隨圖像局部相關性的色差周邊相似度的三個差(在圖像平坦部中，該差很小)占優(yōu)勢時，在色差相似度的最小值判定中產生誤判定，且依存于噪音空間的產生模式，縱插補、橫插補、4像素插補有可能按照隨機性或某一周期性頻繁地切換。伴隨于此，可能存在產生呈現(xiàn)不自然圖案的畫質劣化的情況。
因此，在本實施方式中，為了抑制產生這樣的畫質劣化，而進行了基于使圖像變動量定量化的該變動量的檢測處理、和根據(jù)檢測到的該變動量使4像素插補的優(yōu)先級提高的加權處理。
艮口，相對于上述實施方式1的G插補色差計算部102，本實施方式的G插補色差計算部102還增加了 G變動量計算部1601、存儲器1602和乘法部1603。這里，上述存儲器202與G變動量計算部1601連接，該G變動量計算部1601與作為最優(yōu)色差選擇單元的存儲器1602連接，存儲器1602與乘法部1603連接，乘法部1603與判定部218連接。而且，乘法部1603還與周邊相似度計算部217連接。
主要對該圖16所示的G插補色差計算部102的作用中的、與圖2所示的G插補色差計算部102的作用不同的部分進行說明。這里，不同的作用部分主要是涉及G變動量計算部1601和乘法部1603的部分。
G變動量計算部1601是最優(yōu)色差選擇單元、即G像素變動量計算單元，其讀入存儲在存儲器202中的Gs信號內的、配置在圖17所示的欠缺G像素位置(i， j)的周邊的Gs信號，按如下所示計算G變動量(i，j)。
G變動量(i， j) 二De (i， j) /P
+ {Drl (i， j) +Dr2 (i， j) +Dr3 (i， j) +Dr4 (i， j) } /Q這里，P和Q是滿足P〉0、 Q〉0的任意常數(shù)，D (i, j) = i G (i—l， j)一G (i， j一l)
D (i,j)
rl
D (i，j)
r2
D (i，j)
r3
+G (i+l， j)一G (i, j + l) I
s s
+ I G (i—l，i)+G (i，j一l)
s s
—G (i+l， j)—G(i，j + 1) I
s s
+ I G (i — l， j)一G (i， j一l)
s s
—G (i+1, j)+G (i， j + l) II G (i—2， j一l)一G (i—l， j一2)
s s
+G (i， j一l)一G(i—l'j) i
s s
+ iG(i — 2， j —1)+G(i—1，j一2)
s s
一G (i, j — l)一G (i—l, j) I
s s
+ I G (i — 2， j一l)一G(i—1，卜2)
s s
一G (i，j一l)+G(i—l， j) I
s s
I G (i, j — l)一G (i+l， j一2)
s s
+G (i+2， j一l)一G (i+1, j) i
s s
+ I G (i, j — l)+G (i + 1, j — 2)
s s
—G (i+2， j一l)一G (i+1, j) I
s s
+ I G (i， j一l)一G (i + 1, j — 2)
S S
一G (i+2，j —1)+G (i+l， j) 1
s s
I G (i， j + l)—G (i+l， j)
S S
+G (i+2， j + l)—G (i+l， j + 2)
s s
+ I G (i, j + l)+G (i+l， j)
s s
一G (i+2， j + l)—G (i + 1, j + 2)
S S
+ i G (i， j + l)—G (i+l， j)一G (i+2， j + l) +G (i+l， j + 2) I
s s
D (i， j)H G (i—2， j + l)—G (i—1， j)
+G (i， j + l)—G (i—l， j + 2) I
s s
+ I G (i—2, j + l)+G (i—1'j)
s s
—G (i, j + l)—G (i—1， j + 2) I
s s
+ I G (i—2， j + l)—G (i—1， j)
S S
—G (i, j + l)+G (i—1， j + 2) I
s s
G變動量計算部1601根據(jù)這樣計算的G變動量(i， j)，采用圖18所示的形狀函數(shù)，來計算加權系數(shù)w (i， j)。這里，圖18所示的函數(shù)在G變動量為規(guī)定的閾值Th以上時設加權為1，在G變動量不足該閾值Th時成為與G變動量成比例(即，隨著G變動量變小，加權也變小)的函數(shù)。與這樣的G變動量相對的加權系數(shù)w (i， j)的關系根據(jù)規(guī)定的計算公式來計算，或者參照預先存儲的查詢表來進行轉換。另外，閾值Th可根據(jù)攝像部101的放大器的放大量(與ISO靈敏度相對應)來進行變更。
G變動量計算部1601所計算出的加權系數(shù)w (i， j)被輸出到存儲器1602進行存儲。
接著，乘法部1603是最優(yōu)色差選擇單元即乘法單元，通過使從周邊相似度計算部217輸出的4像素插補Ga所涉及的色差X—Ga的周邊相似度Sa乘以存儲在存儲器1602中的加權系數(shù)w內的、對應于與該周邊相似度Sa為相同像素位置的加權系數(shù)w，從而計算Saxw，將計算出的Saxw輸出到判定部218。
之后的判定部218的判定處理、或者其以下的處理與上述實施方式l相同。
當進行這樣的處理時，在G變動量小于規(guī)定閾值Th的情況(即，w<1的情況)下Saxw為小于單個Sa的值，所以在判定部218的判定中Saxw為最小值的可能性增大。即，在G變動量小的平坦區(qū)域中，選擇縱插補G橫插補G的可能性降低，以更高的概率來選擇4像素插補G，以
消除噪音的影響。
根據(jù)這樣的實施方式2，在邊緣部分中可與上述實施方式1幾乎同
樣地抑制偽色的產生，并且還能夠抑制平坦區(qū)域中不自然的圖案狀噪音的產生。
圖19至圖22表示本發(fā)明的實施方式3，圖19是表示G插補色差計算部的結構的框圖，圖20是表示用作欠缺G信號位置的斜方向插補的周邊12像素的G信號在拜爾排列上的位置的圖，圖21是表示根據(jù)周邊12像素插補而計算出的欠缺G信號位置的色差內的、用于周邊相似度計算的色差信號在拜爾排列上的位置的圖，圖22是表示經由光學低通濾波器而取得的攝像圖像等的斜45度方向的頻帶特性的線圖。
在該實施方式3中，對與上述實施方式1、 2同樣的部分標注相同符號并省略說明，以下主要對不同的點進行說明。
該實施方式3相對于上述實施方式2，可進一步改善斜方向的析像度。
在上述實施方式l、 2中，通過采用了縱向、橫向、周邊4像素的線性插補來進行欠缺G像素的插補。當這些中的縱向插補被應用于縱向邊緣、橫向插補被應用于橫向邊緣時，與該邊緣正交的方向上的頻率特性不會因為插補而產生變化。即，邊緣沒有被鈍化地進行保存。與此相對，斜方向的邊緣在實施方式1、 2中不存在對應方向的插補，從而主要選擇周邊4像素插補來作為周邊色差相似度最小的插補方法。
圖22中的頻率特性fa表示經由攝像部101的光學低通濾波器取得的攝像圖像的、相對水平方向傾斜45度方向的頻率特性，即，大致表示光學低通濾波器的斜45度方向的頻率特性。
如圖所示，該光學低通濾波器的斜方向的頻率特性fa為如下特性
隨著空間頻率接近那奎斯特頻率NF，而以緩緩的曲線單調遞減。
攝像圖像的頻率特性為取得該光學低通濾波器的斜方向的頻率特性fa和伴隨著透鏡的MTF (調制傳遞函數(shù))與攝像元件的開口率的頻率特
55性之積的總頻率特性。這里，透鏡的頻率特性及開口率的頻率特性的貢獻率與如上所述的光學低通濾波器的頻率特性相比可忽略，所以圖22所
示的頻率特性fa可近似地視為攝像圖像的斜45度方向的頻率特性。
接著，圖22中的頻率特性fb表示使上述頻率特性fa和通過周邊4像
素插補所取得的插補G像素的斜45度方向的頻率特性相乘后得出的結果
的頻率特性。
通過該周邊4像素插補而生成的插補G像素的斜方向的頻率特性fb 為插補濾波器的頻率特性和光學低通濾波器的頻率特性的積。
再如圖所示，該頻率特性fb隨著空間頻率從0開始增加而單調遞減，在那奎斯特頻率的一半(NF/2)處增益暫時為O,然后增益增加且經過小的波峰后在那奎斯特頻率NF處再次為O。這樣，頻率特性fb與上述頻率特性f;相比可知，呈高頻分量下降的特性，且為斜方向的邊緣鈍的特性。
為了改善斜方向的邊緣鈍化，在該實施方式3中，還增加了具有使斜方向的高頻分量降低減少的特性的斜插補處理。
參照圖19對具有這樣的斜插補功能的G插補色差計算部102的結構
進行說明。
相對于上述實施方式2的G插補色差計算部102，本實施方式的G 插補色差計算部102還增加了斜插補G計算部l卯l、存儲器1902、減法部1903、存儲器1904和周邊相似度計算部1905，并取代判定部218而設有作為最優(yōu)色差選擇單元的判定部1906，取代色差選擇部219而設有作為最優(yōu)色差選擇單元即選擇單元的色差選擇部1907，取代插補G選擇部220而設有作為最優(yōu)色差選擇單元、G插補值輸出單元的插補G選擇部1908。
這里，上述存儲器202與斜插補G計算部1901連接，該斜插補G 計算部1901與存儲器1902和減法部1903連接。另外，存儲器1902及上述存儲器206、 207、 208分別與插補G選擇部1908連接。另一方面，減法部1903是色差候選計算單元，與存儲器201連接，并且經由存儲器 1904連接到周邊相似度計算部1905上。該周邊相似度計算部1905及上述周邊相似度計算部215、 216連接到判定部1906上，并且上述周邊相
56似度計算部217經由乘法部1603連接到判定部1906上。該判定部1906 連接到色差選擇部1907及插補G選擇部1908上。另外，在色差選擇部 1907上連接有存儲器1904及上述存儲器212、 213、 214。
以下主要對該圖19所示的G插補色差計算部102的作用中的、與圖 16所示的G插補色差計算部102的作用不同的部分進行說明。這里，作用不同的部分主要是涉及斜插補G計算部1901、存儲器l卯2、減法部 l卯3、存儲器1904、周邊相似度計算部1905、判定部1906、色差選擇部 1907、插補G選擇部1908的部分。
為了獲得直至可實施欠缺G像素位置的二維插補處理的像素齊備為止的延遲，向存儲器201存儲從攝像部101輸出的規(guī)定行數(shù)的顏色信號 Rs及顏色信號Bs，向存儲器202存儲從該攝像部101輸出的規(guī)定行數(shù)的顏色信號Gs。在該圖19所示的例子中，存儲器201所存儲的行數(shù)以及存儲器202所存儲的行數(shù)最少為5行。
作為欠缺G像素的插補方法而使用圖8、圖9、圖IO、圖20所示的 4種G像素的配置。
艮P，縱插補G計算部203采用圖8所示配置的G像素，通過插補式 Gv= (G,+G2) /2來計算欠缺G像素的插補候選的情況與上述相同。
另外，橫插補G計算部204采用圖9所示配置的G像素，通過插補式Gh= (G3+G4)/2來計算欠缺G像素的插補候選的情況也與上述相同。
而且，4像素插補G計算部205采用圖IO所示配置的G像素，通過插補式&= (G,+G2+G3+G4) /4來計算欠缺G像素的插補候選的情況也與上述相同。
并且，本實施方式的斜插補G計算部1901是插補候選計算單元、即第四插補計算單元，其采用圖20所示的配置的G像素，通過插補式Gd =(Gi+G2+G3+G4) xa— (G5 + G6+G7+G8+G9+G10+G +G12) x卩來計算欠缺G像素的插補候選。這里，a和(3是滿足ax4—卩x8二l且a > (1/4) 、 |3>0的任意常數(shù)。
通過縱插補G算出部203、橫插補G計算部204、 4像素插補G計算部205、斜插補G計算部1901 —一計算的插補候選分別存儲到存儲器206、 207、 208、 1902，并且向減法部209、 210、 211、 1903輸出。
減法部209、 210、 211、 1903從存儲器201中讀入位于與欠缺G像素為相同位置的X像素，并分別減去上述的G插補候選，由此分別計算色差候選X—Gv、 X—Gh、 X—Ga、 X—Gd。
這樣計算出的色差候選X—Gv、 X—Gh、 X—Ga、 X—Gd分別存儲在存儲器212、 213、 214、 1904中。
另外，后面通過周邊相似度計算部215、 216、 217、 1905來計算周邊相似度時，采用在存儲器212、 213、 214、 1904中存儲的色差信號。然后，周邊相似度計算部215、 216、 217、 1905計算包含3行3列的如圖ll、圖12、圖13、圖21所示的同種色差信號(即，是在計算色差候選時使用的G插補候選Gv、 Gh、 Ga、 Gd的種類相同、且為相同顏色X 的色差信號。因此，例如R—Gv和B —Gv不是相同種類的色差信號。) 的附近區(qū)域中的、色差信號的相似度。因此，為了取得周邊相似度計算部215、 216、 217、 l卯5可實施相似度計算的延遲，存儲器212、 213、 214、 1904以及存儲器206、 207、 208、 1902能夠分別存儲至少5行的數(shù) 據(jù)。
這樣，在存儲器212、 213、 214、 1904中存儲有只能夠執(zhí)行色差的周邊相似度計算處理的色差信號的時刻，分別從存儲器212、 213、 214、 1904向周邊相似度計算部215、 216、 217、 1905輸出色差信號X—Gv、 X—Gh、 X—Ga、 X—Gd。
周邊相似度計算部1905是最優(yōu)色差選擇單元，與在實施方式1、 2 中說明的Sv (k， 1) ， Sh (k， 1) ， Sa (k， 1)同樣，如圖21所示，采用中央的色差信號(X—Gd) w及其周邊位置的8個色差(X—Gd) k.2J_2、 (X—Gd) k，i-2、 (X—Gd) k+2,i-2、 (X—Gd) k_2J、 (X — Gd) k+2,i、 (X—
Gd) k-2,l+2、(X — Gd) k，l+2、(X — Gd) k+2,l+2，通過計算以下的差分絕對值
和，來計算欠缺G像素位置(k， 1)中的色差周邊相似度Sd (k，)。
58<formula>formula see original document page 59</formula>
這樣計算的四個色差周邊相似度Sv (k， 1) 、 Sh (k， 1) 、 Sa (k， 1) 、 Sd (k， 1)內的4像素插補時的色差周邊相似度Sa (k， 1)與上述實施方式2相同，通過乘法部1603乘以由G變動量計算部1601計算并存儲在存儲器1602中的加權系數(shù)w (k， 1)。
這樣，將四個色差周邊相似度Sv (k， 1) 、 Sh (k, 1) 、 Sd (k， 1)、 Sa (k， 1) xw (k， 1)輸入到判定部1906。
判定部1906對這些四個色差周邊相似度Sv (k， 1) 、 Sh (k， 1)、 Sd (k， 1) 、 Sa (k， 1) xw (k， 1)的值進行比較，選擇一個賦予最小的色差周邊相似度的G插補方法，將與選擇的插補方法對應的選擇信號向色差選擇部1907和插補G選擇部1908分別輸出。另外，當存在多個最小的色差周邊相似度時，判定部1906例如按照Sa (k， 1) xw (k， 1)、 Sd (k， 1) 、 Sh (k， 1) 、 Sv (k， 1)的順序來決定優(yōu)先位次的高低，并按照該優(yōu)先位次選擇一個G插補方法。
色差選擇部1907根據(jù)從判定部1906輸入的選擇信號，選擇與該選擇信號對應的一個欠缺G像素位置(k， 1)的色差候選、即存儲在存儲器212內的色差候選(X—Gv) kJ、存儲在存儲器213內的色差候選(X —Gh) k>1、存儲在存儲器214內的色差候選(X — Ga) k,,、存儲在存儲器 1904內的色差候選(X—Gd) k,i中的任意一個來輸入，并作為色差向色差插補處理部103輸出。更具體地說，色差選擇部1907在色差周邊相似度 Sv (k， 1)為最小的情況下將(X—Gv) k，,向色差插補處理部103輸出，在Sh (k， 1)為最小的情況下將(X —Gh) 向色差插補處理部103輸出，
在Sd (k， 1)為最小的情況下將(X—Gd) k，,向色差插補處理部103輸出，在Sa (k， 1) xw (k， 1)為最小的情況下將(X—Ga) k,i向色差插補處理部103輸出。
另外，插補G選擇部1908根據(jù)從判定部1906輸入的選擇信號，選擇與該選擇信號對應的一個欠缺G像素位置(k, 1)的G插補候選、即存儲在存儲器206內的G插補候選Gv (k， 1)、存儲在存儲器207內的 G插補候選Gh (k， 1)、存儲在存儲器208內的G插補候選Ga (k， 1)、存儲在存儲器1902內的G插補候選Gd (k， 1)中的任意一個來輸入，并向RGB計算部104輸出。更具體地說，插補G選擇部1908在色差周邊相似度Sv (k， 1)為最小的情況下將Gv (k， 1)向RGB計算部104輸出，在Sh (k， 1)為最小的情況下將Gh (k， 1)向RGB計算部104輸出，在 Sd (k， 1)為最小的情況下將Gd (k， 1)向RGB計算部104輸出，在Sa (k， 1) xw (k， 1)為最小的情況下將Ga (k， 1)向RGB計算部104輸出。
根據(jù)這樣的實施方式3，可實現(xiàn)與上述實施方式l、 2基本同樣的效果，并且從4種G插補候選中選擇一個在計算色差時的未確定參數(shù)即欠缺G像素，來作為基于色差信號的局部相關性高這樣的前提條件的最可靠的像素。結果，在圖像的局部邊緣插補最優(yōu)的欠缺G像素，所以能夠抑制偽色的產生，并且還能夠抑制水平方向及垂直方向的邊緣部和斜方向的邊緣部的析像度劣化。
圖23至圖26表示本發(fā)明的實施方式4，圖23是表示G插補色差計算部的結構的框圖，圖24是表示在低通濾波器處理部中為了構成低通濾波器而使用的顏色信號X在拜爾排列上的位置的圖，圖25是表示G插補色差計算部的一部分處理的流程圖，圖26是表示G插補色差計算部的另一部分處理的流程圖。
在該實施方式4中，對與上述實施方式1 3相同的部分標注相同符號并省略說明，以下主要對不同點進行說明。
60該實施方式4相對于上述實施方式3，還改善了斜方向的偽色。
首先，上述實施方式3中的欠缺G像素的插補是采用了縱向、橫向、周邊4像素、周邊12像素的插補。并且，縱向的插補適用于縱向邊緣區(qū) 域，橫向的插補適用于橫向邊緣區(qū)域，周邊12像素的插補適用于斜方向邊緣區(qū)域，周邊4像素的插補適用于其他區(qū)域。這里，適用了縱向插補 Gv的縱向邊緣、或適用了橫向插補Gh的橫向邊緣成為沿著邊緣的插補，所以與邊緣正交的方向上的空間頻率特性不產生劣化，關于色差X—Gv、 X—Gh，只要在插補選擇中不產生錯誤，就不會產生由于插補G像素和X 像素的頻率特性不同而導致的誤差。與此相對，圖22的fd表示斜方向插補Gd的空間頻率特性的一例。這里，頻率特性fd表示上述頻率特性f;和由周邊12像素插補所獲得的插補G像素的斜45度方向的頻率特性相乘的結果的頻率特性。該頻率特性fd與由攝像元件釆樣的像素的斜方向的空間頻率特性fa (參照圖22)不相近似。從而，在色差X—Gd中產生由頻率特性不同而導致的誤差。這樣的誤差在包含高頻分量的斜邊緣區(qū)域中變得顯著，具體地說，構成為偽色而顯現(xiàn)。為了降低這樣的斜方向的邊緣區(qū)域中的偽色，需要使插補G像素的頻率特性、以及要在與該插補 G像素之間計算色差的X像素(R像素或B像素)的頻率特性相一致。因此，釆用4像素插補G信號、Xj象素來計算斜方向的色差。這里，像素針對X像素(R像素或B像素)實施低通濾波器處理，由此使該X^ 像素的斜方向的空間頻率特性成為與4像素插補G信號的斜方向的空間頻率特性fb (參照圖22)近似的空間頻率特性fe (參照圖22)。即，頻率特性fe表示上述頻率特性fa和針對欠缺G信號位置的顏色信號X采用周邊的相同顏色信號而構成的由低通濾波器進行了頻帶限制的頻率特性相乘的結果的頻率特性。
通過進行這樣的處理，以其他色差候選X—Gd或X—Ga為基準，色
差候選XL — Ga的因空間頻率特性不同所產生的誤差變小，與上述實施方式3相比，可進行偽色降低。另外，這樣計算的色差候選XL — Ga即使適
用于斜邊緣以外的區(qū)域，當然也不成問題。
圖24表示針對欠缺G像素位置(i， j)上的X像素實施的低通濾波器所使用的像素。即，X (i， j) 、 X (i—2， j) 、 X (i， j —2) 、 X (i
+2， j) 、 X (i， j+2)這5個像素適合低通濾波器中所使用的像素。采
用這5個像素構成的低通濾波器如以下所示。
XL (i， j) =axX (i， j)
+bx {X (i—2， j) +X (i， j—2)
+X (i+2， j) +X (i， j + 2) }
這里，a和b是滿足a+4b二l且l>a>0、 (1/4) 〉b〉0的規(guī)定常數(shù)。
這樣，在該實施方式4中還增加了在使X像素的頻率特性與G像
素的插補特性相一致后進行色差計算的處理，以及選擇伴隨該處理而計算出的色差的處理。
參照圖23對具有這樣的低通濾波器功能的G插補色差計算部102 的結構進行說明。
本實施方式的G插補色差計算部102相對于上述實施方式3的G插補色差計算部102，還增加了作為頻帶限制單元的低通濾波器處理部 2301、減法部2302和存儲器2303,并取代色差選擇部1907而設有作為最優(yōu)色差選擇單元即作為選擇單元的色差選擇部2304。
這里，上述存儲器201還與低通濾波器處理部2301連接，該低通濾波器處理部2301連接到減法部2302。另外，減法部2302是色差候選計算單元，還連接到4像素插補G計算部205，并且經由存儲器2303連接到色差選擇部2304。該色差選擇部2304還連接到存儲器212、 213及判定部1906。因此，與上述實施方式3不同，色差選擇部2304沒有與存儲器214、 1904連接。
以下，主要對如該圖23所示的G插補色差計算部102的作用內的、與圖19所示的G插補色差計算部102的作用不同的部分進行說明。這里，不同的作用部分主要是涉及低通濾波器處理部2301、減法部2302、存儲器2303、色差選擇部2304的部分。
為了取得直至可實施欠缺G像素位置的二維插補處理的像素齊備為止的延遲，向存儲器201存儲從攝像部101輸出的規(guī)定行數(shù)的顏色信號 Rs及顏色信號Bs，向存儲器202存儲從該攝像部101輸出的規(guī)定行數(shù)的顏色信號Gs。在該圖23所示的例中，存儲在存儲器201內的行數(shù)以及存
儲在存儲器202內的行數(shù)最少為5行。
作為欠缺G像素的插補方法，使用圖8、圖9、圖IO、圖20所示的 4種G像素的配置。
艮口，縱插補G計算部203采用圖8所示的配置的G像素，并通過插補式Gv-(G,+G2)/2來計算欠缺G像素的插補候選的情況與上述相同。
另外，橫插補G計算部204釆用圖9所示配置的G像素，并通過插補式Gh= (G3+G4) /2來計算欠缺G像素的插補候選的情況也與上述相同。
此外，4像素插補G計算部205采用圖IO所示配置的G像素，并通過插補式&= (G, + G2 + G3 + G4) /4來計算欠缺G像素的插補候選的情況也與上述相同。
并且，斜插補G計算部1901采用圖20所示配置的G像素，并通過插補式gd= (g,+G2+G3 + g》xa— ( (g5+g6+g7+g8+g9+gi0+ Gn + G12) xp來計算欠缺G像素的插補候選的情況也與上述相同。這里，如上所述，a和卩是滿足ax4—卩x8-l且a〉 (1/4)、卩〉0的任意常數(shù)。
通過縱插補G計算部203、橫插補G計算部204、 4像素插補G計算部205、斜插補G計算部1901 —一計算的插補候選分別存儲到存儲器 206、 207、 208， 1902中，并且向減法部209、 210、 211、 1903輸出。
減法部209、 210、 211、 1903從存儲器201中讀入位于與欠缺G像素相同的位置上的X像素，通過分別減去上述G插補候選，來計算色差候選X—Gv、 X—Gh、 X—Ga、 X—Gd。
這樣計算的色差候選X—Gv、 X—Gh、 X—Ga、 X —Gd分別存儲到存儲器212、 213、 214、 1904中。
而且，低通濾波器處理部2301從存儲器201中讀入X像素，并進行如上所述的低通濾波器處理，計算xd象素。
減法部2302讀入由低通濾波器處理部2301計算出的Xl像素和由4 像素插補G計算部205計算出的該4像素插補Ga，來計算色差X^—Ga。
這樣計算的色差X!^—Ga被存儲到存儲器2303中。
63另外，存儲在存儲器212、 213、 214、 1904中的色差信號在之后通過周邊相似度計算部215、 216、 217、 1905計算周邊相似度時被使用。然后，周邊相似度計算部215、 216、 217、 1905計算包含3行3列的圖 11、圖12、圖13、圖21所示的同種色差信號(即，是在計算色差候選時使用的G插補候選Gv、 Gh、 Ga、 Gd的種類相同、且相同顏色X的色差信號。因此，例如R—Gv和B—Gv不是同種色差信號。)的附近區(qū)域中的、色差信號的相似度。因此，為了取得周邊相似度計算部215、 216、 217、 1905可實施相似度計算的延遲，存儲器212、 213、 214、 1904以及存儲器206、 207、 208、 1902能夠分別存儲至少5行的數(shù)據(jù)。
這樣，在存儲器212、 213、 214、 1904中存儲了能夠執(zhí)行色差的周邊相似度計算處理的色差信號的時刻，分別從存儲器212、 213、 214、 1904 向周邊相似度計算部215、 216、 217、 1905輸出色差信號X—Gv、 X — Gh、 X—Ga、 X—Gdo
與實施方式3中所說明的同樣，周邊相似度計算部215、 216、 217、 1905分別計算色差信號的周邊相似度Sv (k， 1) 、 Sh (k， 1) 、 Sa (k， 1) 、 Sd (k， 1)。
與上述實施方式2同樣，這樣計算的四個色差周邊相似度Sv(k， 1)、 Sh (k， I) 、 Sa (k， 1) 、 Sd (k， 1)中的、4像素插補時的色差周邊相似度Sa (k， 1)利用乘法部1603與由G變動量計算部1601計算并存儲在存儲器1602中的加權系數(shù)w (k， 1)相乘。
這樣，四個色差周邊相似度Sv (k， 1) 、 Sh (k， 1) 、 Sd (k， 1)、 Sa (k， 1) xw (k， l)被輸入到判定部1906。
判定部1906對這四個色差周邊相似度Sv (k， 1) 、 Sh (k， 1) 、 Sd (k， 1) 、 Sa (k， 1) xw (k， 1)的值進行比較，選擇一個賦予成為最小的色差周邊相似度的G插補方法，并分別向色差選擇部2304和插補G 選擇部1908輸出與所選擇的插補方法對應的選擇信號。另外，當存在多個成為最小的色差周邊相似度時，判定部1906例如按照Sa (k， 1) xw (k， 1) 、 Sd (k， 1) 、 Sh (k， 1) 、 Sv (k， 1)的順序來決定優(yōu)先位次的高低，并沿著該優(yōu)先位次來選擇一個G插補方法。色差選擇部2304根據(jù)從判定部1906輸入的選擇信號，選擇與該選擇信號對應的一個欠缺G像素位置(k， 1)的色差候選、即存儲在存儲器212內的色差候選(X—Gv) k.,、存儲在存儲器213內的色差候選(X —Gh) k，,、存儲在存儲器2303內的色差候選(Xi—Ga) w中的任意一個來輸入，并作為色差向色差插補處理部103輸出。更具體地說，色差選擇部2304在色差周邊相似度Sv (k， 1)為最小時將(X—Gv) w向色差插補處理部103輸出，在Sh (k， 1)為最小時將(X—Gh) kj向色差插補處理部103輸出，在Sd (k， 1)或Sa (k， 1) xw (k， 1)為最小時將(XL —Ga) k，,向色差插補處理部103輸出。
另外，插補G選擇部1908根據(jù)從判定部1906輸入的選擇信號，選擇與該選擇信號對應的一個欠缺G像素位置(k， 1)的G插補候選、即存儲在存儲器206內的G插補候選Gv (k， 1)、存儲在存儲器207內的 G插補候選Gh (k， 1)、存儲在存儲器208內的G插補候選Ga (k， 1)、存儲在存儲器1902內的G插補候選Gd (k， 1)中的任意一個來輸入，并向RGB計算部104輸出。更具體地說，插補G選擇部1908在色差周邊相似度Sv (k， 1)為最小時將Gv (k， 1)向RGB計算部104輸出，在 Sh (k， 1)為最小時將Gh (k， 1)向RGB計算部104輸出，在Sd (k， 1) 為最小時將Gd (k， 1)向RGB計算部104輸出，在Sa (k， 1) xw (k， 1)為最小時將Ga (k， 1)向RGB計算部104輸出。
這以后的處理與上述實施方式3同樣。
接著，參照圖25及圖26來說明本實施方式中的G插補色差計算處理的順序。另外，該圖25和圖26原本應該作為一個附圖來記載，不過因為紙面的關系而分為兩個附圖。
在該G插補色差計算部102中，按照光柵掃描順序輸入由攝像部101 攝像并存儲在存儲器內的單板拜爾排列圖像。然后，G插補色差計算部 102按照上述將按光柵掃描順序輸入的單板拜爾排列圖像內的、規(guī)定數(shù)據(jù) 量的Rj言號及Bs信號存儲在存儲器201中，規(guī)定數(shù)據(jù)量的GJ言號存儲在存儲器202。
這樣，在存儲器201、 202內存儲有規(guī)定數(shù)據(jù)量的狀態(tài)下，將存儲欠缺G信號的G插補候選值的存儲器206 208、 1902的行數(shù)N和存儲欠缺G信號的色差候選值的存儲器212 214、 1904的行數(shù)N設置為規(guī)定的初始值(在該實施方式4中忖=5)(步驟S2500)。
接著，針對G信號欠缺位置(i， j),通過縱插補G計算部203計算圖8所示的上下鄰接的G信號的平均值，并作為插補候選Gv (i， j) 存儲在存儲器206內(步驟S2501)，此外，還利用減法部209從G信號欠缺位置(i， j)的X (i， j)減去插補候選Gv (i， j)，由此計算色差候選(X—Gv) ij，并存儲在存儲器212中(步驟S2502)。
接著，針對G信號欠缺位置(i， j)，計算如圖9所示的左右鄰接的G信號的平均值，作為插補候選Gh (i, j)存儲在存儲器207內(步驟S2503)，此外，還利用減法部210從G信號欠缺位置(i， j)的X(i， j)減去插補候選Gh (i， j)，由此計算色差候選(X—Gh) i,j，并存儲在存儲器213內(步驟S2504)。
然后，針對G信號欠缺位置(i， j)，根據(jù)如圖12所示的周邊12 個G信號來計算插補值Gd(i，j)，并存儲在存儲器1902內(步驟S2505)，而且，利用減法部1903從G信號欠缺位置(i， j)的X (i， j)減去插補候選Gd (i， j)，由此計算色差候選(X—Gd) i,j，并存儲在存儲器1904 內(步驟S2506)。
然后，針對G信號欠缺位置(i， j)，計算如圖IO所示的上下左右鄰接的G信號的平均值，并作為插補候選Ga (i， j)存儲在存儲器208 內(步驟S2507)，此外，來利用減法部211從G信號欠缺位置(i， j) 的X (i， j)減去插補候選Ga (i， j)，由此計算色差候選(X—Ga) i，j，并存儲在存儲器214內(步驟S2508)。
接著，通過低通濾波器處理部2301，采用G信號欠缺位置(i， j) 的X (i， j)和G信號欠缺位置(i， j)的上下左右附近的X信號來計算頻帶限制的X^ (i， j)，此外，還根據(jù)該頻帶限制后的X^ (i， j)(這里， X^為R信號的頻帶限制信號&或B信號的頻帶限制信號BL。)、在步驟S2507中計算出的插補候選Ga(i， j)，利用減法部2302計算色差(XL —Ga) &并存儲在存儲器2303中(步驟S2509)。
66接著，利用G變動量計算部1601，根據(jù)G信號欠缺位置(i， j)的周邊12像素的G信號來計算G變動量，將計算出的G變動量轉換為加權系數(shù)w (i， j)并存儲到存儲器1602內(步驟S2510)。
然后，在此時刻判定N行的處理是否已結束(步驟S2511)，當判定為N行的處理還未結束時，返回步驟S2501，進行如上所述的處理。
這樣，在步驟S2511中判定為N行的處理已結束的情況下，轉移到圖26所示的處理，將N設置為1 (步驟S2601)。
接著，周邊相似度計算部215計算存儲在存儲器212內的由G信號欠缺位置(k， 1)的同種插補(是X為相同顏色、G的種類相同的Gv) 計算的色差(X—Gv) w、及其附近8個方向的同種色差(X—Gv) k+n,l+m (這里，n二一2、 0、 2， m= — 2、 0、 2,且n和m不是同時為O。)的差分絕對值和，來作為色差周邊相似度候選Sv, (k， 1)。而且，周邊相似度計算部215對附近8個方向的同種色差(X—Gv) k+n，,他內的、上下附近的同種色差(X—Gv) k+n,l+m (這里，n = 0; m=—2、 2)進行大的加權來取得差分絕對值和，并計算色差周邊相似度候選SV2 (k， 1)。然后，周邊相似度計算部215根據(jù)計算出的色差周邊相似度候選Sv, (k， 1)和色差周邊相似度候選Sv2(k， l)來計算周邊相似度Sv(k， l)(步驟S2602)。
同樣，周邊相似度計算部216計算存儲在存儲器213內的由G信號欠缺位置(k， 1)的同種插補(是X為相同顏色、G的種類相同的Gh) 計算的色差(X—Gh) w、及其附近8個方向的同種色差(X—Gh) k+nJ+m (這里，n=—2、 0、 2， m二一2、 0、 2，且n和m不同時為O。)的差分絕對值和，來作為色差周邊相似度候選Sh, (k， 1)。而且，周邊相似度計算部216對附近8個方向的同種色差(X—Gh) k+w+m內的、左右附近的同種色差(X—Gh) k+n,1+m (這里，n=0， m=—2、 2)進行大的加權來取得差分絕對值和，并計算色差周邊相似度候選Sh2 (k， 1)。然后，周邊相似度計算部216根據(jù)計算出的色差周邊相似度候選S1^ (k， 1)和色差周邊相似度候選Sh2(k， l)來計算周邊相似度Sh(k， 1)(步驟S2603)。
另外，同樣地，周邊相似度計算部1905計算存儲在存儲器1904內的由G信號欠缺位置(k， 1)的同種插補(是X為相同顏色、G的種類
67相同的Gd)計算的色差(X—Gd) k，,、及其附近8個方向的同種色差(X —Gd) k+n,1+m (這里，n = —2、 0、 2, m=—2、 0、 2，且n和m不是同時為0。)的差分絕對值和，來作為周邊相似度Sd (k， 1)(步驟S2604)。
此外，同樣地，周邊相似度計算部217計算存儲在存儲器214內的由G信號欠缺位置(k， 1)的同種插補(是X為相同顏色、G的種類相同的G》計算的色差(X—Ga) k，,、及其附近8個方向的同種色差(X— Ga) k+n,l+m (這里，n二一2、 0、 2， m=—2、 0、 2，且n和m不是同時為 0。)的差分絕對值和，來作為周邊相似度Sa (k， 1)，乘法部1603將計算出的Sa (k， 1)乘以上述的加權系數(shù)w (k， 1)(步驟S2605)。
這樣計算的各周邊相似度Sv (k， 1) 、 Sh (k， 1) 、 Sd (k， 1)、 Sa (k， 1) xw (k， 1)與上述相同，表示其值越小相似性越高。
在如此計算出四個周邊相似度Sv (k， 1) 、 Sh (k， 1) 、 Sd (k， 1)、 Sa (k， 1) xw (k， 1)時，首先對周邊相似度Sv (k， 1)禾卩Sh (k， 1) 進行比較(步驟S2606)。
這里，在判定為周邊相似度Sv (k，)比周邊相似度Sh (k， i)小的情況下，還比較周邊相似度Sv (k， 1)和周邊相似度Sa (k， 1) xw (k， 1)(步驟S2607)。
另外，當在步驟S2606中判定為周邊相似度Sv (k， 1)是周邊相似度Sh (k， 1)以上時，還比較周邊相似度Sh (k， 1)和周邊相似度Sa (k， 1) xw (k， 1)(步驟S2608)。
然后，當在步驟S2607中判定為周邊相似度Sv (k， 1)是周邊相似度Sa (k， 1) xw (k， 1)以上時，或者在步驟S2608中判定為周邊相似度Sh (k， 1)是周邊相似度Sa (k， 1) xw (k， 1)以上時，還比較周邊相似度Sd (k， 1)和周邊相似度Sa (k， 1) xw (k， 1)(步驟S2609)。
在該步驟S2609中，當判定為周邊相似度Sd (k， 1)小于周邊相似度Sa (k， 1) xw (k， 1)時，將G信號欠缺位置(k， 1)的信號插補值決定為Gd (k， 1)，將G信號欠缺位置(k， 1)的色差決定為(X廣G。 k,i，并將這些存儲在存儲器內(步驟S2610)。
另外，當在步驟S2609中判定為周邊相似度Sd (k， 1)是周邊相似度Sa (k， 1) xw (k， 1)以上吋，將G信號欠缺位置(k， 1)的信號插補值決定為Ga (k， 1)，將G信號欠缺位置(k， 1)的色差決定為(XL —Ga) k>1，并將這些存儲在存儲器內(步驟S2611)。
另一方面，當在上述的步驟S2607中判定為周邊相似度Sv (k， 1) 小于周邊相似度Sa (k， 1) xw (k， 1)時，將G信號欠缺位置(k， 1) 的信號插補值決定為Gv (k， 1)，將G信號欠缺位置(k, 1)的色差決定為(X—Gv) w，并將這些存儲在存儲器內(步驟S2612)。
另外，當在上述步驟S2608中判定為周邊相似度Sh (k， 1)小于周邊相似度Sa (k， 1) xw (k， 1)時，將G信號欠缺位置(k， 1)的信號插補值決定為Gh (k， 1)，將G信號欠缺位置(k， 1)的色差決定為(X —Gh) k，,，并將這些存儲在存儲器內(步驟S2613)。
在這樣進行了步驟S2610、步驟S2611、步驟S2612或步驟S2613 中任意一個的處理后，判定N行的處理是否己結束(步驟S2614)，在判定為處理還未結束時，返回步驟S2602，進行如上所述的處理。
另一方面，在步驟S2614中判定為N行的處理已結束的情況下，還判定是否己結束了作為輸出圖像的總行數(shù)的處理(步驟S2615)。
這里，在判定為總行數(shù)的處理尚未結束的情況下，返回圖25的步驟 S2501，將存儲在存儲器中的不需要的行Gv、 Gh、 Gd、 Ga、 (X—Gv)、 (X—Gh) 、 (X—Gd) 、 (X—Ga) 、 (XL—Ga) 、 Sv、 Sh、 Sd、 Sa、 w用新計算的值置換，并且進行如上所述的處理。
另外，在步驟S2615中判定為總行數(shù)的處理已結束時，結束該G插補色差計算處理。
另外，在上述流程圖的說明中，對于從步驟S2606 步驟S2609的周邊相似度Sv、 Sh、 Sd、 Saxw中選擇一個相似度的方法，其用于決定該四個周邊相似度的最小值還是不充分的，不過這里是作為簡易的選擇方法的一例示出的。為了從四個周邊相似度中嚴謹?shù)厍蟪鲎钚≈?，顯然除了上述四個比較步驟之外，還需要Sv和Sd的比較步驟及Sh和Sd的比較步驟。
另外，參照圖25及圖26說明的流程圖是涉及為了能將存儲器容量
69抑制為最小限而設計的處理順序的例子。但不限于此，還可變更上述處理，以確保能夠存儲至少1幀的如上所述的各計算數(shù)據(jù)的存儲器。在能夠這樣地確保1幀左右的存儲器時，可將步驟S2500的N的初始值和步
驟S2601的N的值置換為總行數(shù)。由此可執(zhí)行如下的處理順序，即在作成了 1幀的G插補候選和色差候選后，從這些多個G插補候選和色差候選中按每一像素來選擇最優(yōu)的插補G和色差。
另外，確保這樣的1幀左右的存儲器的處理順序，即使在實施方式 1所說明的處理流程圖中也同樣能夠實施。
根據(jù)這樣的實施方式4，可起到與上述實施方式1 3大致相同的效果，并且修正(無需對縱向插補和橫向插補進行修正，只需對4像素插補進行修正)為使色差信號計算中所使用的G插補候選的三個插補(縱向插補、橫向插補、4像素插補)的頻率特性與欠缺G像素位置的X信號(R或者B信號)的頻率特性相近似，之后計算色差信號，這樣能夠抑制偽色產生。
另外，與上述實施方式3同樣，從4種G插補候選中選擇一個欠缺 G像素來作為最可靠的像素，所以能夠抑制斜方向的邊緣部的析像度的劣化。
這樣，準備M種G插補候選來作為欠缺G像素的插補候選，并選擇各G插補候選和根據(jù)G信號欠缺位置中的X信號(R信號或B信號) 而取得的M種色差候選中的、與周邊相似度最高的色差候選對應的G插補候選來作為欠缺G像素，所以能夠在不發(fā)生飽和度降低的情況下充分地抑制偽色產生。而且，還能夠獲得欠缺G信號的析像度下降少的最優(yōu) 的插補值。
另外，如在該實施方式4中說明的針對4像素插補時的X信號使頻率特性近似的修正處理同樣還能夠適用于上述實施方式1、 2。但是，在該情況下，需要在減法部211的X信號輸入的前階段側設置低通濾波器
處理部。從而在存儲器214中存儲XfGa而不是X — Ga。因此，由周邊
相似度計算部217計算的相似度Sa將使用在存儲器214中所存儲的(Xb —Ga)。通過這樣的結構和進行這樣的處理，即使在上述實施方式1、 2中也能夠進一步進行偽色的抑制。
另外，在上述中，根據(jù)通過與位于計算區(qū)域中央的X (R或B)種類相同的顏色X而得到的色差來計算色差周邊相似度，不過也可以使用通過不同種類的顏色XA而得到的色差來計算色差周邊相似度。在該情況
下，不是計算位于中央的色差X—G以及位于周邊的XA—G的差分絕對值和，而是計算位于周邊的多個X^—G彼此的差分絕對值和，可通過與相同種類的顏色X的X—G彼此的差分絕對值和進行相加，由此來定義該色差周邊相似度。 [實施方式5]
圖27至圖36表示本發(fā)明的實施方式5，圖27是表示采用由縱插補求出的Gv計算出的5x5像素區(qū)域的X—Gv及X^—Gv的圖，圖28是表示采用由橫插補求出的Gh計算出的5x5像素區(qū)域的X —Gh及XA—Gh的圖，圖29是表示采用由4像素插補求出的GJ十算出的5x5像素區(qū)域的X— Ga及XA—GJ勺圖，圖30是表示釆用由斜插補求出的Gd計算出的5x5 像素區(qū)域的X—Gd及XA—Gd的圖，圖31是表示使在二維色差空間中由縱插補求出的Gv所涉及的周邊局部區(qū)域的色差X—Gv或XA—Gv圖形化后的狀況的線圖，圖32是表示使在二維色差空間中由橫插補求出的Gh 所涉及的周邊局部區(qū)域的色差X—Gh或XA—Gh圖形化后的狀況的線圖，圖33是表示使在二維色差空間中由4像素插補求出的Ga所涉及的周邊局部區(qū)域的色差X—Ga或XA—Ga圖形化后的狀況的線圖，圖34是表示使在二維色差空間中由斜插補求出的Gd所涉及的周邊局部區(qū)域的色差X 一Gd或XA—Gd圖形化后的狀況的線圖，圖35是表示在判定區(qū)域內存在垂直方向的空間頻率較高的橫條紋圖案的例子的圖，圖36是表示在針對圖35所示的例子釆用了上述實施方式1 4的周邊色差相似度時在G信號上出現(xiàn)對照圖案的模式的狀況的圖。
在該實施方式5中，對與上述實施方式1 4同樣的部分標注相同符號并省略說明，以下主要對不同的點進行說明。
該實施方式5是使通過上述實施方式1 4中的周邊相似度計算部 215 217、 1905計算的色差周邊相似度的定義不同的實施方式。因此，本實施方式的結構與上述實施方式1 4相同，所以適當引用各附圖及參照符號等。
首先，圖27表示使用由G信號欠缺位置的垂直方向的鄰接G信號進行插補而獲得的Gv來計算的5x5像素區(qū)域的X—Gv、或者Xa—Gv。在此，XA表示與G像素欠缺的位置上的顏色X不同的顏色(除了G)，在X二R的情況下XA二B，在X-B的情況下XA二R。
上述的周邊相似度計算部215使用該圖27所示的色差X—Gv、 Xa —Gv來計算以下定義的色差周邊相似度Sv (k， 1)。
Sv (k， 1) =Sv, (k， 1) +Sv2 (k， 1)
這里，Sv, (k， 1)表示色差X—Gv的相似度，Sv2 (k， 1)表示色差
XA—Gv的相似度，各相似度的具體例如以下表示。 Sv (k, 1)={ i (X—G)— (X—G) I
1 v k,卜2 v k，I
+ I (X—G)— (X—G) I }XWv
v k,l+2 v k,l xc
+ { I (X—G) —(X—G) I
v k-2,卜2 v k-2,1
+ I (X—G) — (X—G) i
v k-2J+2 v k-2J
+ I (X—G) — (X—G) I
v k+2,卜2 v k+2,J
+ I (X—G) —(X—G) I }XWv
v k+2J+2 v k+2,1 xa
Sv (k， 1)={ I (X、G) — (X一—G) I
2 v k-l，H v k-1,1+1
+ I (X、G) —(X二G) i )XWv
v k+l，卜l v k+l，l+l x'
這里，在各相似度計算中采用的加權Wv^、 Wvxa、 Wv^存在如下的
關系
2xWvxc+4xWvxa=2xWvx.=W
艮卩，處于如下關系
Wvxc+2xWvxa=Wvx
這里，第一式中的右邊的W表示對整體的加權。這樣計算的色差周邊相似度Sv (k， 1)成為表示在G信號欠缺位置 (k， 1)周邊且在垂直方向上色差X—Gv和色差XA—Gv的相似程度的量。接著，圖28表示使用由G信號欠缺位置的水平方向的鄰接G信號進行插補而獲得的Gh來計算的5x5像素區(qū)域的X—Gh、或者XA—Gh。這里，在X=R的情況下XA=B，在X=B的情況下XA=R，這些與上述相同。
上述的周邊相似度計算部216使用該圖28所示的色差X—Gh、 XA 一Gh,來計算以下定義的色差周邊相似度Sh (k， 1)。 Sh (k， 1) -Sh, (k， 1) +Sh2 (k， 1)
這里，Sh, (k， 1)表示色差X—Gh的相似度，Sh2 (k， 1)表示色差
XA—Gh的相似度，各相似度的具體例如以下所示。 Sh (k, 1) = { I (X—G)— (X—G) I
1 h k-2,1 h k，l
+ I (X—G)— (X—G) I }XWh
h k+2,1 h xc
+ { i (X—G) — (X—G) I
h k-2,卜2 h k,卜2
+ I (X—G) —(X—G) I
h k+2'卜2 h k'卜2
+ I (X—G) — (X—G) I
h k-2'I+2 h k，I+2
+ I (X—G) — (X—G) I }XWh
h k+2,l十2 h k,l+2 xa
Sh (k， 1) = { I (X~—G ) — (X、G ) 1
2 h k-l,卜l h k+U-l
+ I (X一一G ) — (X、 G ) I } X Wh
h k-U+l h k+1,1+1
這里，各相似度計算中采用的加權Whxe、 Whxa、 Wlv存在如下關系
2xWhxc+4xWhxa=2xWlv=W
即處于如下關系
Whxc+2xWhxa=Wlv0
這里，第一式中的右邊的W表示對整體的加權。這樣計算的色差周邊相似度Sh (k， 1)成為表示在G信號欠缺位置 (k， 1)上且在周邊垂直方向上色差X—Gh和色差XA—Gh的相似程度的
里0
接著，圖29表示使用由G信號欠缺位置的鄰接4像素G信號進行插補而獲得的Ga來計算的5x5像素區(qū)域的X—Ga、或者X^—Ga。這里，在X二R的情況下XA二B，在X二B的情況下XA二R，這些與上述相同。
上述周邊相似度計算部217使用該圖29所示的色差X—Ga、 Xa— Ga，來計算以下定義的色差周邊相似度Sa (k， 1)。
73Sa (k， 1) =Sa, (k， 1) +Sa2 (k， 1)
這里，Sa, (k， 1)表示色差X—Ga的相似度，Sa2 (k， 1)表示色差
XA—Ga的相似度，各相似度的具體例如以下所示。 Sa (k, l) = {j (X—G) — (X—G) I
1 、 ' a k-2,卜2 a k,l
+ 1 (X—G ) — (X—G ) I
a k-2'i+2 a k,l
+ I (X—G) —(X—G) I
a k+2'卜2 a k,l
+ I (X—G) —(X—G) I }XWa
a k+2,1+2 a k,l xc
+ { I (X—G)—(X—G) I
s k,卜2 a W
+ I (X—G)—(X—G) I
a k十2'l a k,l
+ I (X—G)—(X—G) I
a k,l+2 a k,l
+ i (X—G)— (X—G) I }XWa
a k-2,1 a k,l jcb
Sa (k， 1) = { I (X:G ) — (X一一G ) I
2 n k-U-1 a k+l,J+l
+ I (X、G) — (X"—G) I }XWa
a a k+U-1
這里，各相似度計算中所采用的加權Waxc、 Waxa、 Wax"存在如下
的關系
4xWaxc+4xWaxa=2xWax;W
艮口，處于如下關系
2x (Waxc+Waxa) =Wax
這里，第一式中的右邊的W表示對整體的加權。這樣計算的色差周邊相似度Sa (k， 1)成為表示在G信號欠缺位置 (k， 1)周邊上與方向無關，色差X—Ga和色差XA—Ga各自的類似程度的量。
接著，圖30表示使用由G信號欠缺位置的周邊12像素G信號進行插補而獲得的Gd來計算的5x5像素區(qū)域的X—Gd、或者XA—Gd。這里，在X二R的情況下Xa二B,在X二B的情況下X^二R，這些與上述相同。
上述周邊相似度計算部1905使用該圖30所示的色差X—Gd、 Xa— Gd，來計算以下定義的色差周邊相似度Sd (k， 1)。
74(u/)》u力)
這里，Sdslash (k， 1)和Sdb恭h (k， 1)按以下公式計算。
Sdslash (k， 1) =Sdslashl (k， 1) +Sdslash2 (k， 1)
Sdbackslash (k， 1) = Sdbackslashl (k， 1) + Sdbackslash2 (k' 1)
并且，Sdslashl (k， 1)和Sdbackslashl (k， 1)表示色差X—Gd的相似度， Sdslash2 (k， 1) Sdbaekslash2 (k， 1)表示色差XA—Gd的相似度，各相似度的具體例如以下所示。
Sd(k， 1)=
slasM
(X—G) —(X—G) I
d k+2，卜2 d k,l
+ I (X—G) — (X—G) I }XWd
d k-2,l+2 d k,l xc
+ { I (X—G)— (X—G) I
d k'卜2 d k-2'I
+ I (X —G) —(X —G)I )X窗 d k,l+2 d k+2,1 幼
Sd(k'l)= I (X~—G) — (X'—G) I XWd
slash2 d k-l,l+l d k+l,H x
Sd(k' 1)={ I (X—G) —(X—G) I
backslashl d k-2'卜2 d k'l
+ I (X—G) — (X—G) I }XWd
d k+2，H2 d k,l xc
+ { I (X—G)—(X—G) I
d k+2,1 d k,卜2
+ I (X—G)— (X—G) I }XWd
d k-2,1 d k,l+2 xa
Sd(k， 1〉= I (X:G) — (X:G) I XWd
backslash2 d k-l,卜l d k十U+l x*
這里，各相似度計算中所釆用的加權Wdxe、 Wdxa、 Wd^存在如下的
2xWdxc+2xWdxa=Wdx,=W
艮口，處于如下關系
2x (Wdxc + Wdxa) =WdxA。
這里，第一式中的右邊的w表示對整體的加權。
這樣計算的色差周邊相似度Sd (k， 1)成為表示在G信號欠缺位置
(k， 1)周邊且在任意一個斜方向(從左下到右上的斜方向，或者從左上
到右下的斜方向)上色差X—Gd和色差XA—Gd的相似程度的量。
根據(jù)上述定義計算的色差周邊相似度Sv、 Sh、 Sa、 Sd可直接與實施方式1 4中使用的色差周邊相似度置換，之后的判定部218、 1906中的處理也是相同的。
在上述實施方式1 4中示出的色差周邊相似度和在該實施方式5中示出的色差周邊相似度的不同之處在于不僅采用一方的色差X—G，還
采用另一方的色差X^—G。參照圖31 圖34對該不同進行示意的說明。圖31 圖34是使在二維色差空間(是將一個座標軸設為R—Gt、將另一個座標軸設為B—Gt的色差空間，這里t二v、 h、 a、 d)內根據(jù)G信號欠缺位置(k， 1)的周邊局部區(qū)域(例如5x5像素區(qū)域)內的各G信號欠缺位置的插補種類t來計算的色差X—G?；蛘遆^—Gt圖形化的線圖。
G信號欠缺位置的色差(使用插補得到的G信號的色差)僅針對一個G信號欠缺位置而獲得X—Gt和XA—Gt中的任意一方(即，R—Gt和B—Gt中的任意一方)，所以無法直接在二維色差空間內圖形化，僅能夠在某個座標軸上圖形化。表示在這樣的座標軸上圖形化的色差范圍的部分是由圖31 圖34的粗線所示的部分。例如，在圖31所示的例子中，R—Gv分布在由R—Gv軸上的△ (R—Gv)表示的幅度的粗線部分，B —Gv分布在由B — Gv軸上的A (B — Gv)表示的幅度的粗線部分。
分布在如上所述的各座標軸的粗線上的描繪點的幅度A (R—Gt)或△ (B—Gt)成為與上述周邊相似度的差分絕對值和Su或St2對應的量。另外，嚴謹?shù)卣f，上述幅度與上述差分絕對值和不同，不過可視為在概念上是相同的。
然后，在圖31 圖34所示的例中，關于A (R—Gt)，假定為△ (R—Gv) =△ (R—Gh) =A (R—Ga) <A (R—Gd)關于A (B —Gt)，假定為
A (B—Gh ) <A (B —Ga) (B —Gd) <△ (B—Gv)。在這樣的條件下，當使用上述實施方式1 4中所說明的周邊色差相似度時，選擇R—Ga作為R像素位置的色差，選擇B — Gh作為臨近的B像素位置的色差。在該情況下，對斜方向的每一像素切換了 G信號欠缺位置的插補方法。假設在這樣的條件成立的判定區(qū)域中存在例如圖35所示的在垂直方向上空間頻率高的橫條紋圖案(該圖35所示的陰影線僅表示在攝像元件上的某位置(k， 1)附近處成像的G信號頻帶的亮度變化)。
該情況下，在實施方式1 4的技術中，上述R像素的位置(G信號欠缺位置)的G插補值成為周邊四個G像素的插補Ga，由于G插補值構成為還加入上下G像素再平均化的插補值，所以成為與R像素的左右G像素大不相同的值。即，在該R像素存在的行中，G像素值按每一像素(利用2像素周期)而產生較大的變化。另一方面，上述B像素的位置(G信號欠缺位置)的G插補值為僅使用水平方向像素的平均值Gh，所以不產生與橫條紋正交的方向上的高頻率的像素值變化。其結果是，在如上述實施方式1 4所說明的技術中，在圖35所示的橫條紋圖案的區(qū)域中出現(xiàn)圖36所示的G信號所涉及的對照圖案這樣的模式(該圖36所示的陰影線表示釆用上述插補種類t來插補攝像后的G信號欠缺位置之后的G信號的亮度變化)，其成為偽色產生的原因。
與此相對，如該實施方式5中所說明的周邊色差相似度與A (R—Gt) +△ (B—Gt)對應。當在圖31 圖34的情況下應用該周邊色差相似度時，各周邊色差相似度的大小關系如以下所示。
△ (R—Gh) +△ (B —Gh) <A (R—Ga) +△ (B—Ga) <...
艮P，當使用如該實施方式5所示的周邊色差相似度時，選擇R—Gh作為R像素位置的色差，還選擇B—Gh作為臨近的B像素位置的色差，所以局部區(qū)域中的G插補種類t為相同的，這樣能夠抑制頻繁地切換G插補種類t。這樣，即使設如上所述的空間頻率高的橫條紋圖案存在于局部區(qū)域，也能夠高精度地再現(xiàn)該橫條紋圖案，而不用變化為如圖36所示的對照圖案。
另外，如果參照如圖31 圖34所示的用各軸上的粗線部分表示的分布，則對于G信號欠缺位置的周邊局部區(qū)域的色差，可估計為其分布在各圖中用虛線包圍并施加了陰影線的區(qū)域、即A (R—Gt)的幅度和△ (B—Gt)的幅度相交的區(qū)域。原因是，針對在各個G信號欠缺位置(k，i)取得的一個色差(X—Gt) w采用周邊的同種色差來插補另一個欠缺的色差(XA—Gt) k>1，當針對各G信號欠缺位置計算出由兩個色差組成的色差空間座標{ (R—Gt) kj， (B—Gt) kl}時，可在上述二維色差空間內進行圖形化，如果假定為在該情況下計算出的色差在空間上不具有高頻率，則視為該色差空間座標值分布在用虛線包圍并施加了陰影線的區(qū)域內。
結果，最優(yōu)的色差選擇實質上與選擇在圖31 圖34中用虛線包圍
并施加了陰影線的區(qū)域的面積最小的由G插補種類t計算出的色差的情
況等價。此時，作為用于進行最優(yōu)的色差選擇的一個技術，將兩個座標
軸上的分布量之和用作判定參數(shù)，上述內容構成該實施方式5 (但是，從
面積的觀點來看，可以將分布量的積用作判定參數(shù))。與此相對，上述
實施方式1 4為僅將一個座標軸上的分布量用作判定參數(shù)的技術。
另外，在上述中，將色差周邊相似度的計算區(qū)域作為5x5像素區(qū)域，
不過不限于此，顯然還可以作為更大的NxN像素(N為奇數(shù))區(qū)域。作
為一例，在將色差周邊相似度的計算區(qū)域作為7x7像素區(qū)域時，可計算
以下所示的各色差周邊相似度。
Sv(k'l)二( I (X—G) —(X—G) I
1 v k,卜2 v kj
+ I (X—G)—(X—G) I }XWv
v k,l+2 v k,l xc
+ {|(X—G) —(X—G) I
v k-2,卜2 Y k-2,1
+ |(X—G) —(X—G) I
v k-2J+2 v k-2J
78Sv (k, 1)
2
+ I (X—G) —(X—G) I
v lc+2,卜2 v k+2,1
+ I (X—G) —(X—G) I }XWv
v k+2>2 v k+2J 幼
{ I (X'—G ) — (X一—G ) I
+ I (X"—G) _(X' —G) I }XWv.
V k+l,卜l v k+1,1+1 xc
+ { I (X一—G) —(X- — G) I
v k-U-3 v k-l,H
+ I (X一一G) — (X一一G) I + I (X*—G) —(X^ —G) I
v k+l,卜3 v k+l,H
+ I (X'—G) —(X" —G) I }XWv.
v k+1,1+3 v k+1,1+1 xa
Sh (k, 1)={ I (X—G入"—(X—G) I
1 h k-2,1 h k,l
+ I (X—G)— (X—G)I }XWh + { I (X—G) —(X—G ) I
h k"2'卜2 h k,卜2
+ I (X—G) — (X—G) I
h k+2,卜2 h k,h2
+ I (X—G) —(X—G) I
h k-2,l+2 h k,l十2
+ I (X—G ) — (X—G) I }XWh
h k+2,1+2 h k,l十2 xa
Sh(k, 1)={ I (X一一G) —(X'—G) ,, I
2 h k-l,卜1 h k+l,H
+ I (X、G) — (X、G) I }XWh_
h k-l,(+l h k+l,i+l xc
+ {|(X-—G) —(X'—G) I
h k-3,H h k-l,卜l
+ I (X' —G) —(X一一G) I
h k+3,卜l h k+l.H
+ I (X*—G) —(X"—G) I
h k-3,1+1 h H,l+1
+ I (X一一G) — (X一一G) I }XWh
h k+3,I+l h k+l,+l "
Sa (k, 1) = { 1 (X—G) —(X—G) 1
1 a k-2,卜2 a k,l
+ I (X—G) —(X—G) I
a k-2,1+2 a k,l
+ I (X—G ) — (X—G ) I
a k+2'卜2 a k,l
+ I (X—G) — (X—G) I }XWa
a k+2,1+2 a k,l 塞c
+ { I (X — G)—(X — G) I
a k,l-2 a k,l
+ I (X —G ) — (X —G ) 1 a k+2,1 a k,l
+ I (X—G)—(X—G) I
a k,l+2 a k,l
+ I (X—G)—(X—G) I }XWa
a k—2,1 a k,lSa (k, 1) = { I (X'—G) —(X~ —G) I + I (X' — G) — (X一一G)
a k-1,1+1 a k+U-1
+ G) — (X'—G) I
a k-3,卜l a k"l,卜l
k+l,卜l k+l,卜l k—1,1+1 k-lj+l
k+U+1
}XWa.
+(x--G) — ft H,卜3(X—-G)
+(x--G)— a k十3,卜l
+(X—-G) & k+U-3(x一--G,)
+G) _ a k-3,1+1(r-
+G) — a k-1,1+3(x--
+(x'-G) — a k+3,1+1(x'-
+G) —(X:G)
XWa
Sd (k,
slash 1
1)
={ I (X—G) —(X—G)
d k+2,卜2 d k,l
Sd (k，
+ |(X —G) — (X—G) I }XWd
d k-2,l+2 <i k,l *
+ { I (X—G)—(X—G) 。 I
+ I (X — G )— (X—G ) I } X Wd
d k,l+2 d k+2,J jc
(X一一G ) — (X一一G ) I XWd
d k-1'1+1 d k十l,卜l x-c
Sd
backslashl
(k,
Sd (k,
+{1一G) — (X一—G) d k+l,卜3 d k-l,H1
+-G) —(X-—G) 1 d k~3,l+l d k-U-1
+(X:-G) _(X~—G) 1 d k+3,H d
+1 (r--G) — (X——G) 1 d k-1,1+3 d} XWd .
={1 (x--G) — (X—G) 1 d k-2,1-2 d k,l
+ 1(X—G) — (X — G) d k+2,l+2 d kj1 }XWd X
+{1(X—G)—(X—G) 1 d ic+2,1 d k,l-2
+ 1(X—G)—(X—G) d k-2,1 d k'1+21 }XWd XI
(x*_G) — (X二G) 1XWd.
+ { I (X"—G) — (X一一G) I
d k-l,卜3 d k+l,卜l
+ I (X一一G) — (X- —G) I
d k+3,1+1 d k+l,卜l
+ I (X一一G ) — (X~—G ) I
d k-3'卜l d k-U+1
+ I (X~—G) —(X、G) I }XWd
d k+1,1+3 d k-l,i+l "
在此，上述加權的條件是:
802x Wvxc+4x Wvxa=2x Wvx +4x Wvx、=W
2xWhxe+4xWhxa二2xWhx +4xWhx、二W
4xWaxc+4xWaxa=2xWaXAC+8xWaXAa=W
2xWdxc+2xWdxa=Wdx +4xWdXAa=W
即，
Wvxc+2xWvxa=WvXAC+2xWvXAaWhxc+2 x Whxa=Whx +2 x Whx、2x (Waxc+Waxa) =Wax +4xWax、
2x (Wdxc+Wdxa) =Wdx +4xWdXAa。
這里，第一各公式中的右邊的W表示對整體的加權。
在這樣的實施方式5中，根據(jù)色差X—Gv所涉及的周邊相似度和色
差—Gv所涉及的周邊相似度這兩者來計算色差周邊相似度，所以能夠
針對色差周邊相似度的計算區(qū)域內的任意空間頻率的像素值變化來進一
歩抑制色差周邊相似度的判定錯誤(在沒有沿著圖像邊緣方向的方向上
選擇了已插補的G信號所涉及的色差周邊相似度的狀態(tài))。其結果是，
可進一步抑制偽色的產生。
另外，在上述的各實施方式中，主要說明了由RGB拜爾排列圖像來
生成使釆樣位置同步化的彩色圖像的圖像處理裝置，其能夠適用在通用
的處理電路等中進行同樣處理的圖像處理方法，還能夠使計算機執(zhí)行圖
像處理程序，以進行同樣的處理。
這樣，根據(jù)上述實施方式，能夠獲得如下這樣的高畫質彩色圖像，
即，針對由在空間的不同位置上配置有多個彩色濾波器的單板攝像元件
來拍攝的圖像，充分抑制了欠缺顏色信號的插補處理中的偽色產生、析
像度降低及飽和度降低。
另外，本發(fā)明并不限定上述的實施方式，在實施階段中在不脫離其
主旨的范圍內可使構成要素變形并具體化。另外，通過適當組合上述實
施方式所公開的多個構成要素，可形成各種發(fā)明。例如，可從實施方式
所示的全部構成要素中刪除幾個構成要素。而且，還可以適當組合不用
實施方式的構成要素。這樣，顯然在不脫離發(fā)明主旨的范圍內可進行各
種變形及應用。
本申請是以2006年6月29日在日本申請的特愿2006 — 180434號、2007年2月20日在日本申請的特愿2007 — 39922號作為優(yōu)先權要求的基礎進行申請的，上述公開內容引用到本申請說明書、權利要求、附圖中。
權利要求
1. 一種圖像處理裝置，根據(jù)G(綠)像素的采樣密度高于R(紅)像素的采樣密度及B(藍)像素的采樣密度、且各自的采樣位置不同的RGB拜爾排列圖像來生成使采樣位置同步化的彩色圖像，其特征在于，上述圖像處理裝置具有插補候選計算單元，其在將上述RGB拜爾排列圖像中的位置表示為(x，y)、將欠缺G像素的位置(x0，y0)的R像素或B像素設為X(x0，y0)時，針對該X(x0，y0)計算M種G插補候選Gt(x0，y0)，這里，x是表示橫向的像素位置的整數(shù)，y是表示縱向的像素位置的整數(shù)，M為2以上的整數(shù)，t＝1～M；色差候選計算單元，其根據(jù)計算出的M種G插補候選Gt(x0，y0)，計算多種色差候選X(x0，y0)—Gt(x0，y0)；以及最優(yōu)色差選擇單元，其基于與在計算上述色差候選X(x0，y0)—Gt(x0，y0)時采用的G插補候選Gt(x0，y0)為相同種類t的、在周邊位置(x0+n，y0+m)上計算的G插補候選Gt(x0+n，y0+m)，根據(jù)針對該周邊位置(x0+n，y0+m)計算出的X的多個色差候選X(x0+n，y0+m)—Gt(x0+n，y0+m)、和該色差候選X(x0，y0)—Gt(x0，y0)，計算M種色差相似度，根據(jù)該計算出的M種色差相似度，來選擇基于M種該G插補候選Gt(x0，y0)中的一個G插補候選Gp(x0，y0)而計算出的色差候選X(x0，y0)—Gp(x0，y0)作為色差，這里，n和m是不同時為0的任意整數(shù)，且1≦p≦M。
2. 根據(jù)權利要求l所述的圖像處理裝置，其特征在于，上述最優(yōu)色差選擇單元根據(jù)上述色差候選X (x。， y。) —Gt (x。， yo)和相對于該色差候選X (XQ， yQ) —Gt (xQ， yQ)為相同顏色X的色差候選X (XQ+n， yG+m) —Gt (xQ+n， yQ+m)的相似度來計算上述色差相似度。
3. 根據(jù)權利要求2所述的圖像處理裝置，其特征在于，上述最優(yōu)色差選擇單元具有G插補值輸出單元，該G插補值輸出單元將與己選擇的色差候選X (xo， yQ) —Gp (xQ, yQ)對應的G插補候選 Gp (xQ， yo)作為該位置(xo， yQ)的G像素值來輸出。
4. 根據(jù)權利要求3所述的圖像處理裝置，其特征在于，上述圖像處理裝置還具有-色差插補單元，在上述最優(yōu)色差選擇單元沒有計算出色差的位置是 RGB拜爾排列圖像中的G像素時對R像素所涉及的色差及B像素所涉及的色差進行插補處理，在上述最優(yōu)色差選擇單元沒有計算出色差的位置是RGB拜爾排列圖像中的R像素時對B像素所涉及的色差進行插補處理，在上述最優(yōu)色差選擇單元沒有計算出色差的位置是RGB拜爾排列圖像中的B像素時對R像素所涉及的色差進行插補處理，上述插補處理是將上述最優(yōu)色差選擇單元沒有計算出色差的位置的色差根據(jù)該最優(yōu)色差選擇單元所計算出的該位置的周邊的相同顏色的色差來進行插補的處理；以及RGB像素計算單元，其根據(jù)由上述最優(yōu)色差選擇單元或上述色差插補單元計算出的色差、以及與該色差為相同位置的G像素，來計算R像素、G像素及B像素。
5. 根據(jù)權利要求2所述的圖像處理裝置，其特征在于，上述插補候選計算單元具有第一插補計算單元，其計算上述X像素的上下鄰接的兩個G像素的平均值來作為上述M種G插補候選中的1種G插補候選；第二插補計算單元，其計算該X像素的左右鄰接的兩個G像素的平均值來作為上述M種G插補候選中的1種G插補候選；以及第三插補計算單元，其計算該X像素的上下左右鄰接的四個G像素的平均值來作為上述M種G插補候選中的1種G插補候選。
6. 根據(jù)權利要求5所述的圖像處理裝置，其特征在于，上述插補候選計算單元還具有第四插補計算單元，該第四插補計算單元釆用位于上述X(x。， yQ)附近的12個G像素G (xo—l， yQ)、 G (x0 + 1， y0)、 G (xo， y。一1)、 G (x。， y0+l)、 G (x。一2， y。一l)、 G (x0 一2， y0+l)、 G (x0+2， y0—l)、 G (x0+2， y0+l)、 G (x0—1， y0—2)、G (xo—1， yo+2)、 G (x0+l， y。一2)、 G (x0 + l， y0+2)，根據(jù)以下公式Gt (x0， y0) = (G (x0—1， y0) +G (x0+l, y0) +G (x0， y0—1) + G (x0， y0+l)} xa—{G (xo—2， y0—l) +G (x0—2， y0+l) + G (x0+2， yo—l) +G (x0+2， y0+l) + G (x0—1， y0—2) +G (x。一l， y0+2) 十G (x0+l， y0—2) +G (xo+l， y0+2)} xp，來計算上述M種G插補候選中的1種G插補候選Gt (xQ， yQ)，這里，a 和(3是滿足ax4—卩x8二l且a〉 (1/4)、 P〉0的任意常數(shù)。
7. 根據(jù)權利要求5所述的圖像處理裝置，其特征在于，上述色差候選計算單元具有頻帶限制單元，該頻帶限制單元計算采用周邊的相同顏色X對X像素進行了頻帶限制的修正像素上述色差候選計算單元在根據(jù)由上述第三插補計算單元計算出的G插補候選來計算色差候選時，采用該修正像素X^
8. 根據(jù)權利要求5所述的圖像處理裝置，其特征在于，上述最優(yōu)色差選擇單元具有G像素變動量計算單元，其計算G像素欠缺位置的周邊的G像素值的變動量，并計算基于該變動量的加權系數(shù)；以及乘法單元，其使根據(jù)G插補候選計算出的上述G像素欠缺位置的色差候選和周邊色差候選的相似度乘以上述加權系數(shù)，上述G插補候選是由上述第三插補計算單元計算的。
9. 根據(jù)權利要求5所述的圖像處理裝置，其特征在于，上述最優(yōu)色差選擇單元具有選擇單元，作為根據(jù)由上述第一插補計算單元計算出的G插補候選而計算出的G像素欠缺位置的色差候選與周邊色差候選的相似度，上述選擇單元從如下相似度中選擇相似性不低的一方的相似度在位于該G像素欠缺位置的周圍最近處的8個相同顏色X且相同種類t的色差候選之間未進行加權而計算出的相似度；以及對位于該G像素欠缺位置的周圍最近處的8個相同顏色X且相同種類t的色差候選中的位于上下的兩個色差候選進行加權而計算出的相似度。
10. 根據(jù)權利要求5所述的圖像處理裝置，其特征在于，上述最優(yōu)色差選擇單元具有選擇單元，作為根據(jù)由上述第二插補計算單元計算出的G插補候選而計算出的G像素欠缺位置的色差候選與周邊色差候選的相似度，上述選擇單元從如下相似度中選擇相似性不低的一方的相似度在位于該G像素欠缺位置的周圍最近處的8個相同顏色X且相同種類t的色差候選之間不進行加權而計算出的相似度；以及對位于該G像素欠缺位置的周圍最近處的8個相同顏色X且相同種類t的色差候選中的位于左右的兩個色差候選進行加權而計算出的相似度。
11. 根據(jù)權利要求2所述的圖像處理裝置，其特征在于，上述相似度是G像素欠缺位置的色差候選、與位于該G像素欠缺位置的周邊的一個以上的相同顏色X且相同種類t的色差候選的差分絕對值和；上述最優(yōu)色差選擇單元包含選擇單元，該選擇單元選擇一個與M種該相似度中的1個賦予最小值的相似度對應的色差候選，上述最優(yōu)色差選擇單元將該選擇單元所選擇的色差候選作為色差。
12. 根據(jù)權利要求2所述的圖像處理裝置，其特征在于，該圖像處理裝置還具有頻帶限制單元，該頻帶限制單元計算采用周邊的相同顏色X對上述X (xo， y0)進行了頻帶限制的Xi (xo， y0);上述色差候選計算單元根據(jù)計算出的M種G插補候選Gt (Xq, y0)，計算多種色差候選X (xo， yQ) —Gt (xo， yo)或XL (xQ， yQ) —Gt (x0，yo);上述最優(yōu)色差選擇單元根據(jù)上述相似度，選擇基于M種該G插補候選Gt (x。， yQ)中的1個G插補候選Gp (xo， yQ)或Gq (xo， yo)而計算出的色差候選X (x0， y0) —Gp (xo， y0)或XL (x0， yQ) —Gq (x0，y0)來作為色差，這里，lSp^M， lSq^M。
13. 根據(jù)權利要求12所述的圖像處理裝置，其特征在于，上述最優(yōu)色差選擇單元具有G插補值輸出單元，該G插補值輸出單元將與選擇出的色差候選X (xo， yo) —Gp (xo， yo)或XL (x0， y。) 一 Gq (xQ， yQ)對應的G插補候選Gp (xo， yQ)或Gq (xQ， yo)作為該位置 (x0， yo)的G像素值來輸出。
14. 根據(jù)權利要求13所述的圖像處理裝置，其特征在于，該圖像處理裝置還具有色差插補單元，在上述最優(yōu)色差選擇單元沒有計算出色差的位置是 RGB拜爾排列圖像中的G像素時對R像素所涉及的色差及B像素所涉及的色差進行插補處理，在上述最優(yōu)色差選擇單元沒有計算出色差的位置是RGB拜爾排列圖像中的R像素時對B像素所涉及的色差進行插補處理，在上述最優(yōu)色差選擇單元沒有計算出色差的位置是RGB拜爾排列圖像中的B像素時對R像素所涉及的色差進行插補處理，上述插補處理是將上述最優(yōu)色差選擇單元沒有計算出色差的位置的色差根據(jù)該最優(yōu)色差選擇單元所計算出的該位置的周邊的相同顏色的色差來進行插補的處理；以及RGB像素計算單元，其根據(jù)由上述最優(yōu)色差選擇單元或上述色差插補單元計算出的色差以及與該色差為相同位置的G像素，來計算R像素、 G像素及B像素。
15. 根據(jù)權利要求12所述的圖像處理裝置，其特征在于，上述插補候選計算單元具有第一插補計算單元，其計算上述X像素的上下鄰接的兩個G像素的平均值來作為上述M種G插補候選中的1種G插補候選；第二插補計算單元，其計算該X像素的左右鄰接的兩個G像素的平均值來作為上述M種G插補候選中的1種G插補候選；以及第三插補計算單元，其計算該X像素的上下左右鄰接的四個G像素的平均值來作為上述M種G插補候選中的1種G插補候選。
16. 根據(jù)權利要求15所述的圖像處理裝置，其特征在于，上述插補候選計算單元還具有第四插補計算單元，該第四插補計算單元采用位于上述X (Xq， yQ)附近處的12個G像素G (Xq—1， yQ)、 G (x0+l， y0)、 G (x。， y。一l)、 G (x0， y0+l)、 G (x。一2， y0—l)、 G (x0—2， y0+l)、 G (x0+2， y0 — l)、 G (x0 + 2， y0 + l)、 G (x。一l'y0—2)、 G (x0—1， y0+2)、 G (x0+l， y0—2)、 G (x0+l， y0+2)，基于以下公式Gt (x0， y0) = (G (x0—1， y0) +G (x0+l， y0) +G (x0， y0 — l) + G (x0， y0+l)} xa一 {G (x0—2， y0—1) +G (x0 — 2, y0+l) +G (Xo+2， y0—l) +G (x0+2， y0+l) +G (xo—l， y0—2) +G (x。一l， y0+2) + G (x0+l， y0—2) +G (x0+l， y0+2)) x卩，來計算上述M種G插補候選中的1種G插補候選Gt (Xq， yQ)，這里，a 和卩是滿足ax4 — px8二l且a〉 (1/4)、 (3〉0的任意常數(shù)。
17. 根據(jù)權利要求15所述的圖像處理裝置，其特征在于，上述最優(yōu)色差選擇單元具有G像素變動量計算單元，其計算G像素欠缺位置的周邊的G像素值的變動量，并計算基于該變動量的加權系數(shù)；以及乘法單元，其使根據(jù)G插補候選計算出的上述G像素欠缺位置的色差候選和周邊色差候選的相似度乘以上述加權系數(shù)，上述G插補候選是由上述第三插補計算單元計算出的。
18. 根據(jù)權利要求15所述的圖像處理裝置，其特征在于，上述最優(yōu)色差選擇單元具有選擇單元，作為根據(jù)由上述第一插補計算單元計算出的G插補候選而計算出的G像素欠缺位置的色差候選與周邊色差候選的相似度，上述選擇單元從如下相似度中選擇相似性不低的一方的相似度在位于該G像素欠缺位置的周圍最近處的8個相同顏色X且相同種類t的色差候選之間未進行加權而計算出的相似度；以及對位于該G像素欠缺位置的周圍最近處的8個相同顏色X且相同種類t的色差候選中的位于上下的兩個色差候選進行加權而計算出的相似度。
19. 根據(jù)權利要求15所述的圖像處理裝置，其特征在于，上述最優(yōu)色差選擇單元具有選擇單元，作為根據(jù)由上述第二插補計算單元計算出的G插補候選而計算出的G像素欠缺位置的色差候選與周邊色差候選的相似度，上述選擇單元從如下相似度中選擇相似性不低的一方的相似度在位于該G像素欠缺位置的周圍最近處的8個相同顏色X且相同種類t的色差候選之間未進行加權而計算出的相似度；以及對位于該G像素欠缺位置的周圍最近處的8個相同顏色X且相同種類t的色差候選中的位于左右的兩個色差候選進行加權而計算出的相似度。
20. 根據(jù)權利要求12所述的圖像處理裝置，其特征在于，上述相似度是G像素欠缺位置的色差候選、與位于該G像素欠缺位置周邊的一個以上的相同顏色X且相同種類t的色差候選的差分絕對值和；上述最優(yōu)色差選擇單元包含選擇單元，該選擇單元選擇一個與M種該相似度中的1個賦予最小值的相似度對應的色差候選，上述最優(yōu)色差選擇單元將該選擇單元所選擇的色差候選作為色差。
21. —種圖像處理程序，用于使計算機執(zhí)行以下處理，該處理為根據(jù)G (綠)像素的采樣密度高于R (紅)像素的采樣密度及B (藍)像素的采樣密度、且各自的采樣位置不同的RGB拜爾排列圖像來生成使釆樣位置同步化的彩色圖像，該圖像處理程序的特征在于，其用于使計算機執(zhí)行以下步驟插補候選計算步驟，其在將上述RGB拜爾排列圖像中的位置表示為 (x， y)、將欠缺G像素的位置(xo， yo)的R像素或B像素設為X (x0， y0)時，針對該X (xQ， y。)計算M種G插補候選Gt (xQ， yQ)，這里，x 是表示橫向的像素位置的整數(shù)，y是表示縱向的像素位置的整數(shù)，M為2 以上的整數(shù)，t=l M;色差候選計算步驟，其根據(jù)已計算出的M種G插補候選Gt(xo， y0)，計算多種色差候選X (XQ， yo) —Gt (xo， yo);以及最優(yōu)色差選擇步驟，其基于與在計算上述色差候選X (Xq， yo) — Gt (xQ， yQ)時采用的G插補候選Gt (xQ， yQ)為相同種類t的、在周邊位置(xQ+n， yQ+m)上計算的G插補候選Gt (xQ+n， yG+m)，根據(jù)針對該周邊位置(xo+n, yQ+m)計算出的X的多個色差候選X (Xo+n， y0+m) —Gt (x0+n， y0+m)、禾Q該色差候選X (x0， y0) —Gt (x0， y0)，計算M種色差相似度，根據(jù)該計算出的M種色差相似度，來選擇基于M 種該G插補候選Gt (xQ， yQ)中的一個G插補候選Gp (xQ， yQ)而計算出的色差候選X (xQ， yQ) —Gp (xQ， yQ)作為色差，這里，n和m是不同時為O的任意整數(shù)，且l蕓p^M。
22. —種圖像處理方法，用于根據(jù)G (綠)像素的采樣密度高于R (紅)像素的采樣密度及B (藍)像素的采樣密度、且各自的采樣位置不同的RGB拜爾排列圖像來生成使采樣位置同步化的彩色圖像，其特征在于，該圖像處理方法具有以下步驟插補候選計算步驟，其在將上述RGB拜爾排列圖像中的位置表示為 (x， y)、將欠缺G像素的位置(xo， yQ)的R像素或B像素設為X (x0， y0)時，針對該X (xQ， yQ)計算M種G插補候選Gt (xQ， yQ)，這里，x 是表示橫向的像素位置的整數(shù)，y是表示縱向的像素位置的整數(shù)，M為2 以上的整數(shù)，t二l M;色差候選計算步驟，其根據(jù)計算出的M種G插補候選Gt (Xq， y0)，計算多種色差候選X (xo， yo) —Gt (xQ， yo);以及最優(yōu)色差選擇步驟，其基于與在計算上述色差候選X (Xq， yG) — Gt (xQ， yQ)時采用的G插補候選Gt (xQ, yQ)為相同種類t的、在周邊位置(xo+n， yG+m)上計算的G插補候選Gt (Xo+n， yQ+m)，根據(jù)針對該周邊位置(xQ+n， yQ+m)計算出的X的多個色差候選X (xo+n， y0+m) _Gt (xQ+n， yQ+m)、和該色差候選X (xQ， y。) —Gt (x。， y0)，計算M種色差相似度，根據(jù)該計算出的M種色差相似度，來選擇基于M 種該G插補候選Gt (xQ， yQ)中的一個G插補候選Gp (xQ， yQ)而計算出的色差候選X (xo， yo) —Gp (xo， yo)作為色差，這里，n和m是不同時為O的任意整數(shù)，且l^p^M。
23. 根據(jù)權利要求l所述的圖像處理裝置，其特征在于，上述最優(yōu)色差選擇單元根據(jù)上述色差候選X (x。， yG) —Gt (xQ， y0)和相對于該色差候選X (Xq， yQ) —Gt (xQ， yQ)為相同顏色X的多個色差候選X (xo+n， yo+m) —Gt (xo+n， yo+m)的相似度、以及基于顏色X八與該色差候選X (xo， yo) —Gt (xo， yo)不同的多個色差候選(x0+n， yQ+m) —Gt (xQ+n， yQ+m)的相似度，來計算上述色差相似度。
24. 根據(jù)權利要求23所述的圖像處理裝置，其特征在于，上述最優(yōu)色差選擇單元具有G插補值輸出單元，該G插補值輸出單元將與己選擇的色差候選X (xG， yc) —Gp (xo， yQ)對應的G插補候選 Gp (xo， y0)作為該位置(xQ， yo)的G像素值輸出。
25. 根據(jù)權利要求24所述的圖像處理裝置，其特征在于，上述圖像處理裝置還具有色差插補單元，在上述最優(yōu)色差選擇單元沒有計算出色差的位置是 RGB拜爾排列圖像中的G像素時對R像素所涉及的色差及B像素所涉及的色差進行插補處理，在上述最優(yōu)色差選擇單元沒有計算出色差的位置是RGB拜爾排列圖像中的R像素時對B像素所涉及的色差進行插補處理，在上述最優(yōu)色差選擇單元沒有計算出色差的位置是RGB拜爾排列圖像中的B像素時對R像素所涉及的色差進行插補處理，上述插補處理是將上述最優(yōu)色差選擇單元沒有計算出色差的位置的色差根據(jù)該最優(yōu)色差選擇單元所計算的該位置的周邊的相同顏色的色差來進行插補的處理；以及RGB像素計算單元，其根據(jù)由上述最優(yōu)色差選擇單元或上述色差插補單元所計算的色差以及與該色差為相同位置的G像素，來計算R像素、 G像素及B像素。
26. 根據(jù)權利要求23所述的圖像處理裝置，其特征在于，上述插補候選計算單元具有第一插補計算單元，其計算上述X像素的上下鄰接的兩個G像素的平均值來作為上述M種G插補候選中的1種G插補候選；第二插補計算單元，其計算該X像素的左右鄰接的兩個G像素的平均值來作為上述M種G插補候選中的1種G插補候選；以及第三插補計算單元，其計算該X像素的上下左右鄰接的四個G像素的平均值來作為上述M種G插補候選中的1種G插補候選。
27. 根據(jù)權利要求26所述的圖像處理裝置，其特征在于，上述插補候選計算單元還具有第四插補計算單元，該第四插補計算單元釆用位于上述X (x。， yG)附近處的12個G像素G (xG—1， yQ)、 G (x0+l， y0)、 G (x0， y。一l)、 G (x0， y0+l)、 G (x0—2， y0—1)、 G (Xo—2， y0+l)、 G (x0 + 2， y0—1)、 G (x0+2， y0+l)、 G (x0—1， yo—2)、 G (x0—1， y0+2)、 G (x0+l， yO—2)、 G (x0+l， y0+2)，根據(jù)以下公式Gt (x。， y0) = (G (xo—l， y0) +G (Xo+l， y0) +G (x0， y0—1) +G (x0， y0+l)} xa—{G (x。一2， y0—l) +G (Xo—2， y0+l) +G (x0+2， y0—l) +G (Xo+2， y0+l) +G (x0—1， y0—2) +G (x0—1， y0+2) +G (x0+l， y0—2) +G (x0+l， y0+2)} x卩，來計算上述M種G插補候選中的1種G插補候選Gt (xo， yQ)，這里，a 和卩是滿足ax4 — (3x8二l且a〉 (1/4)、 p〉0的任意常數(shù)。
28. 根據(jù)權利要求26所述的圖像處理裝置，其特征在于，上述色差候選計算單元具有頻帶限制單元，該頻帶限制單元計算采用周邊的相同顏色X對X像素進行了頻帶限制的修正像素上述色差候選計算單元在根據(jù)由上述第三插補計算單元計算出的G插補候選來計算色差候選時，采用該修正像素X^。
29. 根據(jù)權利要求26所述的圖像處理裝置，其特征在于，上述最優(yōu)色差選擇單元具有G像素變動量計算單元，其計算G像素欠缺位置的周邊的G像素值的變動量，并計算基于該變動量的加權系數(shù)；以及乘法單元，其使根據(jù)G插補候選計算出的上述G像素欠缺位置的色差候選和周邊色差候選的相似度乘以上述加權系數(shù)，上述G插補候選是由上述第三插補計算單元計算的。
30. 根據(jù)權利要求23所述的圖像處理裝置，其特征在于，上述相似度是相同顏色X且相同種類t的色差候選彼此間的差分絕對值的和；上述最優(yōu)色差選擇單元包含選擇單元，該選擇單元選擇一個與M種該相似度中的1個賦予最小值的相似度對應的色差候選，上述最優(yōu)色差選擇單元將該選擇單元所選擇的色差候選作為色差。
31. 根據(jù)權利要求23所述的圖像處理裝置，其特征在于，該圖像處理裝置還具有頻帶限制單元，該頻帶限制單元計算采用周邊的相同顏色X對上述X (Xq， yQ)進行了頻帶限制的Xt (xQ， y0);上述色差候選計算單元根據(jù)已計算的M種G插補候選Gt (xc， y0)，計算多種色差候選X (Xq， yo) —Gt (xo， yo)或XL (xQ， yQ) —Gt (x0，yo);上述最優(yōu)色差選擇單元根據(jù)上述相似度，選擇基于M種該G插補候選Gt (xo， yo)中的1個G插補候選Gp (x0， y0)或Gq (x0， y0)而計算出的色差候選X (x0， y0) —Gp (xo， y0)或XL (x0， y0) —Gq (x0， y0)，來作為色差，這里，l蕓p^M， 1^q^M。
32. 根據(jù)權利要求31所述的圖像處理裝置，其特征在于，上述最優(yōu)色差選擇單元具有G插補值輸出單元，該G插補值輸出單元將與選擇出的色差候選X (xo， y0) —Gp (xo， y0)或XL (x0， yo)— Gq (xQ， yQ)對應的G插補候選Gp (xQ， yQ)或Gq (xG， yQ)作為該位置 (x0， y0)的G像素值來輸出。
33. 根據(jù)權利要求32所述的圖像處理裝置，其特征在于，該圖像處理裝置還具有色差插補單元，在上述最優(yōu)色差選擇單元沒有計算出色差的位置是 RGB拜爾排列圖像中的G像素時對R像素所涉及的色差及B像素所涉及的色差進行插補處理，在上述最優(yōu)色差選擇單元沒有計算出色差的位置是RGB拜爾排列圖像中的R像素時對B像素所涉及的色差進行插補處理，在上述最優(yōu)色差選擇單元沒有計算出色差的位置是RGB拜爾排列圖像中的B像素時對R像素所涉及的色差進行插補處理，上述插補處理是將上述最優(yōu)色差選擇單元沒有計算色差的位置的色差根據(jù)該最優(yōu)色差選擇單元所計算的該位置的周邊的相同顏色的色差來進行插補的處理；以及RGB像素計算單元，其根據(jù)由上述最優(yōu)色差選擇單元或上述色差插補單元所計算出的色差以及與該色差為相同位置的G像素，來計算R像素、G像素及B像素。
34. 根據(jù)權利要求31所述的圖像處理裝置，其特征在于，上述插補候選計算單元具有第一插補計算單元，其計算上述X像素的上下鄰接的兩個G像素的平均值來作為上述M種G插補候選中的1種G插補候選；第二插補計算單元，其計算該X像素的左右鄰接的兩個G像素的平均值來作為上述M種G插補候選中的1種G插補候選；以及第三插補計算單元，其計算該X像素的上下左右鄰接的四個G像素的平均值來作為上述M種G插補候選中的1種G插補候選。
35. 根據(jù)權利要求34所述的圖像處理裝置，其特征在于，上述插補候選計算單元還具有第四插補計算單元，該第四插補計算單元采用位于上述X (xQ， yQ)附近處的12個G像素G (x。一l， yQ)、 G (x0+l， y0)、 G (x0， y0—1)、 G (x0， y0+l)、 G (x。一2， y0—1)、 G (Xo—2， yo + l)、 G (xo+2， yo—l)、 G (x0 + 2， y0+l)、 G (x。一l，y。一2)、 G (x0—1， y0+2)、 G (x0+l， y。一2)、 G (xo+l， y0+2)，基于以下公式Gt (x0， y0) = {G (xo—l， y0) +G (x0+l， y0) +G (x0， y0—1) +G (x0， y0+l)} xa一 {G (x0—2， y0—l) +G (x。一2， y0+l) +G (x0+2， y0—l) +G (x0+2， y0+l)+G (xo—l， y0—2) +G (x0—1， y0+2) +G (x0+l， y0—2) +G (x0+l， y0+2)} x卩，來計算上述M種G插補候選中的l種G插補候選Gt (Xq， yQ)，這里，a 和卩是滿足ax4 — (3x8二l且a〉 (1/4)、 (3〉0的任意常數(shù)。
36. 根據(jù)權利要求34所述的圖像處理裝置，其特征在于，上述最優(yōu)色差選擇單元具有G像素變動量計算單元，其計算G像素欠缺位置的周邊的G像素值的變動量，并計算基于該變動量的加權系數(shù)；以及乘法單元，其使根據(jù)G插補候選計算出的上述G像素欠缺位置的色差候選和周邊色差候選的相似度乘以上述加權系數(shù)，上述G插補候選是由上述第三插補計算單元計算出的。
37. 根據(jù)權利要求31所述的圖像處理裝置，其特征在于，上述相似度是相同顏色X且相同種類t的色差候選彼此間的差分絕對值的和；上述最優(yōu)色差選擇單元包含選擇單元，該選擇單元選擇一個與M種該相似度中的1個賦予最小值的相似度對應的色差候選，上述最優(yōu)色差選擇單元將該選擇單元所選擇的色差候選作為色差。
全文摘要
一種圖像處理裝置，其具有各插補G計算部(203、204、205)，其針對RGB拜爾排列圖像中的G像素欠缺位置的X(X為R或B)像素計算多種G插補候選Gt；減法部(209、210、211)，其根據(jù)G插補候選Gt計算多種色差候選X-Gt；周邊相似度計算部(215、216、217)，其根據(jù)色差候選X-Gt和基于相同種類t的G插補候選Gt針對周邊位置計算出的X的色差候選X-Gt來計算色差相似度，相應于色差相似度將基于多種G插補候選Gt中的一個G插補候選Gp計算出的色差候選X-Gp選為色差；判定部(218)；和色差選擇部(219)，該圖像處理裝置既能夠充分抑制偽色的產生以及析像度的下降，又能夠不使飽和度下降地插補欠缺顏色信號。
文檔編號H04N9/07GK101480057SQ200780024610
公開日2009年7月8日申請日期2007年6月15日優(yōu)先權日2006年6月29日
發(fā)明者佐佐木寬申請人:奧林巴斯株式會社

完整全部詳細技術資料下載