專利名稱：平均維持插值運算電路、像素插值電路、平均維持插值運算方法及像素插值方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對數(shù)字圖像中的缺失像素進行插值的插值運算電路、像素插值電路、插值運算方法以及像素插值方法。
背景技術(shù)：
在現(xiàn)有的像素插值電路中，使用以下方法計算缺失像素的插值數(shù)據(jù)以與缺失像素鄰接的像素的值的平均值作為插值數(shù)據(jù)的方法；用最小二乘法求出與缺失像素鄰接的像素的回歸直線，根據(jù)該回歸直線計算插值數(shù)據(jù)的方法；以及根據(jù)與缺失像素鄰接的4個像素求出4次式的曲線，根據(jù)該4次式計算插值數(shù)據(jù)的方法等(例如，參照專利文獻1)。
專利文獻1日本特開2003-101724公報(段落0040至0066，圖3至圖5)發(fā)明內(nèi)容在現(xiàn)有的插值運算電路中進行線性插值或使用高次函數(shù)進行插值，所以對缺失了一部分像素的周期性高的圖像進行插值時，誤差增大。
本發(fā)明就是為了解決如上所述的問題而完成，其目的在于得到可以適當?shù)貙χ芷谛愿叩膱D像中所包含的缺失像素進行插值的插值運算電路、像素插值電路、插值運算方法以及圖像插值方法。
本發(fā)明提供平均維持插值運算電路，其特征在于，求出缺失像素的插值數(shù)據(jù)，使得構(gòu)成包含缺失像素的像素組的多個像素的值的平均值和構(gòu)成不包含缺失像素的像素組的多個像素的值的平均值相等。
在基于本發(fā)明的插值運算電路中，求出缺失像素的插值數(shù)據(jù)，使得包含缺失像素的像素列的平均值和不包含缺失像素的像素列的平均值相等，所以可以適當?shù)貙Π笔袼氐南袼亓泻筒话笔袼氐南袼亓械南袼氐闹档钠骄迪嗟鹊臄?shù)據(jù)、例如具有周期性的數(shù)據(jù)等進行插值。


圖1是表示實施方式1的插值運算電路的結(jié)構(gòu)的方框圖。
圖2是表示由實施方式1的插值運算電路處理的像素列的圖。
圖3是表示由實施方式1的插值運算電路處理的像素數(shù)據(jù)的一例的波形圖。
圖4是表示由實施方式1的插值運算電路處理的像素數(shù)據(jù)的一例的波形圖。
圖5是表示由實施方式1的插值運算電路處理的像素數(shù)據(jù)的一例的波形圖。
圖6是表示具有周期檢測電路的像素插值電路的結(jié)構(gòu)例的方框圖。
圖7是表示由實施方式2的插值運算電路處理的像素列的圖。
圖8是表示由實施方式2的插值運算電路處理的像素數(shù)據(jù)的一例的波形圖。
圖9是表示由實施方式2的插值運算電路處理的像素數(shù)據(jù)的一例的波形圖。
圖10是表示實施方式3的插值運算電路的結(jié)構(gòu)的方框圖。
圖11是表示由實施方式3的插值運算電路處理的像素列的圖。
圖12是表示由實施方式3的插值運算電路處理的、被分割為多個行的像素的組的圖。
圖13是表示由本發(fā)明的插值運算電路處理的、位于多個行的像素列的圖。
圖14是表示由實施方式3的插值運算電路處理的像素數(shù)據(jù)的一例的波形圖。
圖15是表示具有多個缺失部加法電路的缺失部合計計算電路的結(jié)構(gòu)例的方框圖。
圖16是表示平均維持插值運算電路的結(jié)構(gòu)例的方框圖。
圖17是表示實施方式4的像素插值電路的結(jié)構(gòu)的方框圖。
圖18是表示實施方式4的像素插值電路的、像素周期和插值誤差之間的關(guān)系的圖。
圖19(a)至(e)是表示實施方式4的像素插值電路的、對于各個參數(shù)k的、像素周期和插值誤差之間的關(guān)系的圖。
圖20(a)至(c)是表示實施方式4的像素插值電路的、對于各個參數(shù)k的、像素周期和插值誤差之間的關(guān)系的圖。
圖21是表示實施方式4的像素插值電路的結(jié)構(gòu)的方框圖。
圖22(a)至(d)是表示實施方式4的像素插值電路的左右平均插值電路的動作的波形圖。
圖23是表示實施方式4的像素插值電路的左右平均插值電路的像素周期和插值誤差之間的關(guān)系的圖。
圖24(a)至(c)是表示實施方式4的像素插值電路的各插值運算電路的像素周期和插值誤差之間的關(guān)系的圖。
圖25是表示實施方式4的像素插值運算電路的、參數(shù)k和插值誤差之間的關(guān)系的圖。
圖26(a)至(c)是表示實施方式4的像素插值運算電路的、參數(shù)k和插值誤差之間的關(guān)系的圖。
圖27(a)至(c)是表示由實施方式4的像素插值電路處理的像素列的圖。
圖28(a)至(c)是表示在實施方式4中、像素插值電路的多個平均維持插值運算電路分別帶來良好的結(jié)果的范圍的圖。
圖29是表示實施方式6的像素插值電路的結(jié)構(gòu)的方框圖。
圖30(a)至(b)是表示在實施方式6中處理的像素列以及像素的組的圖。
圖31是表示由實施方式6的像素插值電路對于多個測試像素進行插值時的各插值運算電路的評價結(jié)果的圖。
圖32是表示實施方式6的像素插值電路的各插值運算電路的綜合評價結(jié)果的圖。
圖33是表示實施方式6的像素插值電路的具體例的方框圖。
圖34(a)是表示由實施方式6的像素插值電路處理的像素數(shù)據(jù)的一例的波形圖，(b)是表示缺失像素以及位于其附近的測試像素的圖。
圖35(a)至(c)是表示由實施方式6的像素插值電路處理的像素列的圖。
圖36(a)至(e)是表示由實施方式6的像素插值電路處理的一系列的像素中的缺失像素以及位于其附近的測試像素的圖。
圖37(a)至(e)是表示由實施方式6的像素插值電路處理的一系列的像素中的缺失像素以及位于其附近的測試像素的圖。
圖38(a)至(e)是表示由實施方式6的像素插值電路處理的一系列的像素中的缺失像素以及位于其附近的測試像素的圖。
圖39是表示由實施方式6的像素插值電路對多個測試像素進行了插值時的各插值運算電路的評價結(jié)果的圖。
圖40是表示實施方式6的像素插值電路的各插值運算電路的綜合評價結(jié)果的圖。
圖41(a)是表示由實施方式6的像素插值電路處理的像素數(shù)據(jù)的一例的波形圖，(b)是表示缺失像素以及位于其附近的測試像素的圖。
圖42是表示由實施方式6的像素插值電路對多個測試像素進行了插值時的各插值運算電路的評價結(jié)果的圖。
圖43是表示實施方式6的像素插值電路的各插值運算電路的綜合評價結(jié)果的圖。
圖44(a)是表示由實施方式6的像素插值電路處理的像素數(shù)據(jù)的一例的波形圖，(b)是表示缺失像素以及位于其附近的測試像素的圖。
圖45是表示由實施方式6的像素插值電路對多個測試像素進行了插值時的各插值運算電路的評價結(jié)果的圖。
圖46是表示實施方式6的像素插值電路的各插值運算電路的綜合評價結(jié)果的圖。
圖47是表示實施方式7的插值運算電路的結(jié)構(gòu)的方框圖。
圖48是表示由實施方式7的插值運算電路處理的像素列的圖。
圖49是表示實施方式7的插值運算電路的結(jié)構(gòu)的方框圖。
圖50是表示由實施方式7的插值運算電路處理的像素數(shù)據(jù)的一例的波形圖。
圖51是表示實施方式8的像素插值方法中的處理步驟的流程圖。
圖52是表示實施方式9的像素插值方法中的處理步驟的流程圖。
符號說明1缺失部加法電路，1(1)第一缺失部加法電路，1(2)第二缺失部加法電路，2非缺失部加法電路，2(1)第一非缺失部加法電路，2(2)第二非缺失部加法電路，3差分電路，4平均電路，5輸出電路，6(0)左右平均插值運算電路，6(1)第一平均維持插值運算電路，6(2)第二平均維持插值運算電路，6(n-1)第n-1平均維持插值運算電路，6(n)第n平均維持插值運算電路，6(m-1)第m-1平均維持插值運算電路，7管理電路，8評分電路，9選擇信號生成部，10輸出范圍生成電路，11限制電路，12平均維持插值運算電路，13輸出限制部，15周期檢測電路，17非缺失部合計計算電路，18平均電路，19缺失部合計計算電路，20控制電路，21圖像數(shù)據(jù)存儲器。
具體實施例方式
以下參照

本發(fā)明的實施方式。
在以下的實施方式中作為處理對象的是預(yù)先知道缺失像素的位置的一系列的像素。作為這樣的一系列的像素的例子，例如是上述專利文獻1所示的、通過多個芯片直線排列而成的像素元件讀取圖像信息時得到的，在該情況下，當隔著鄰接芯片間的邊界而鄰接的攝像元件相互的間隔大于同一芯片內(nèi)的攝像元件相互的間隔(1節(jié)距)時，例如2節(jié)距左右時，認為存在缺失像素而進行插值處理。
在預(yù)先不知道缺失像素的位置的情況下，附加檢測缺失像素的位置的電路即可。
本發(fā)明的實施方式中的幾個在一系列的像素具有周期性的情況下使用時發(fā)揮效果。
此外，幾個實施方式作為預(yù)先知道周期的方式，通過根據(jù)該周期來設(shè)定參數(shù)而發(fā)揮最佳的效果。
在預(yù)先不知道周期性的情況下，附加檢測周期的電路即可。
實施方式1圖1是表示基于本發(fā)明的插值運算電路的結(jié)構(gòu)的圖。
基于本發(fā)明的插值運算電路具有缺失部加法電路1、非缺失部加法電路2以及差分電路3。如后面所詳細說明的那樣，缺失部加法電路1求出一系列的像素中、構(gòu)成包含缺失像素的像素組的k個像素中、缺失像素以外的像素的值之和(SL)。非缺失部加法電路2求出構(gòu)成不包含缺失像素的像素組的k個像素的值的合計。差分電路3通過從非缺失部加法電路2的輸出(SA)中減去缺失部加法電路1的輸出(SL)，求出缺失像素的插值數(shù)據(jù)(L)。
圖2是表示輸入圖像DI的一部分的圖，表示在基于本發(fā)明的插值運算電路中計算平均值的兩個像素列的位置關(guān)系。在以下的說明中，假設(shè)預(yù)先知道輸入圖像DI中的缺失像素的位置。○表示實際存在的像素(非缺失像素)，×表示缺失像素。標號LC以及NA分別表示構(gòu)成一系列像素的一部分的、相互連續(xù)的、一維排列的k個像素所構(gòu)成的像素列。像素列LC和像素列NA不重復(fù)。像素列LC包含缺失像素，像素列NA不包含缺失像素。
使用圖1以及圖2說明基于本發(fā)明的插值運算電路的動作。
本實施方式的插值運算電路對缺失像素L進行插值，使得包含缺失像素L的像素列LC的平均值和不包含缺失像素L的像素列NA的平均值相等。將輸入圖像DI輸入給缺失部加法電路1以及非缺失部加法電路2。k是表示在本發(fā)明的插值運算電路中計算平均值的像素個數(shù)的參數(shù)，表示構(gòu)成像素列LC、像素列NA的像素的個數(shù)。被輸入給缺失部加法電路1以及非缺失部加法電路2。首先，缺失部加法電路1將像素列LC中所包含的k個像素(LC[1]、LC[2]～LC[k-1]、L)中、缺失像素L以外的和作為部分和數(shù)據(jù)SL輸出。部分和數(shù)據(jù)SL為SL＝LC[1]+LC[2]+…+LC[k-1]。
將部分和數(shù)據(jù)SL輸入給差分電路3。
非缺失部加法電路2將像素列NC中所包含的k個像素(NA[1]～NA[k])之和作為部分和數(shù)據(jù)SA輸出。部分和數(shù)據(jù)SA為SA＝NA[1]+NA[2]+…+NA[k]。
將部分和數(shù)據(jù)SA輸入給差分電路3。
差分電路3基于部分和數(shù)據(jù)SL以及SA建立方程式，使得像素列LC和NA的平均值相等，求出缺失像素L的插值數(shù)據(jù)。方程式為(SL+L)/k＝SA/k，缺失像素L為L＝SA-SL。
基于本實施方式的插值運算電路可以針對具有包含缺失像素L的像素列LC和不包含缺失像素L的像素列NA的平均值相等的特性的圖像數(shù)據(jù)，對缺失像素適當?shù)剡M行插值。
此外，由于基于本實施方式的插值運算電路計算缺失像素的插值數(shù)據(jù)，使得包含缺失像素的像素列和不包含缺失像素的像素列的像素的值的平均值相等，所以在以下本說明書中，將上述的基于本實施方式的插值運算電路設(shè)為平均維持插值運算電路。另外，在以下的說明中，為了簡單，將‘像素列的像素的值的平均值’稱為‘像素列的平均值’。同樣，‘像素的值的合計’、‘像素的值之和’的意思也有時表示為‘像素之和’、‘像素的合計’。
接著，關(guān)于圖像數(shù)據(jù)具有周期性的情況，示出對缺失像素進行插值的例子。
圖3是表示具有周期性的圖像數(shù)據(jù)的一例的圖。橫軸X表示像素位置，縱軸D表示濃度值。
說明具有周期性的圖像數(shù)據(jù)。
圖3的圖像數(shù)據(jù)是針對每個采樣周期Ps對按照一定周期Pd重復(fù)一定的變化的數(shù)據(jù)Dorg進行了離散化的數(shù)據(jù)。在圖3中，Pd＝5Ps，所以將Pp＝Pd/Ps＝5作為圖像數(shù)據(jù)的像素周期。像素周期Pp表示每1周期的采樣次數(shù)。即，像素周期是以像素個數(shù)表示的像素變化的周期。此外，在圖3中，假設(shè)針對每個數(shù)據(jù)周期Pd，數(shù)據(jù)的值重復(fù)100、143、126、74、57。
首先，示出對于像素周期Pp＝5的圖像數(shù)據(jù)，由k＝5的平均維持插值運算電路(圖1)對缺失像素進行插值的例子。
圖4是表示缺失了圖3的圖像數(shù)據(jù)的像素L的情況下的圖像數(shù)據(jù)的圖，表示在k＝5的平均維持插值運算電路中，計算平均值的像素列LC以及NA之間的位置關(guān)系(圖2)的對應(yīng)。
由于k＝5的平均維持插值運算電路的結(jié)構(gòu)是將圖1的k設(shè)為5的情況，所以省略說明。
使用圖1以及圖4說明k＝5的平均維持插值運算電路的動作。
缺失部加法電路1將像素列LC中所包含的5個像素(LC[1]～LC[4]、L)中、缺失像素L以外的和作為部分和數(shù)據(jù)SL輸出。由于LC[1]＝143、LC[2]＝74、LC[3]＝57、LC[4]＝100，所以部分和數(shù)據(jù)SL成為SL＝LC[1]+LC[2]+LC[3]+LC[4]＝143+74+57+100＝374。
非缺失部加法電路2將像素列NA中所包含的5個像素(NA[1]～NA[5])之和作為部分和數(shù)據(jù)SA輸出。由于NA[1]＝57、NA[2]＝100、NA[3]＝143、NA[4]＝126、NA[5]＝74，所以部分和數(shù)據(jù)SA成為SA＝NA[1]+NA[2]+NA[3]+NA[4]+NA[5]＝57+100+143+126+74＝500。
差分電路3基于部分和數(shù)據(jù)SL以及SA建立方程式，使得像素列LC和NA的平均值相等，求出缺失像素L的插值數(shù)據(jù)。方程式成為(SL+L)/5＝SA/5，缺失像素L成為L＝SA-SL＝500-374
＝126。
如圖3所示，缺失像素L的原始數(shù)據(jù)是126，k＝5的平均維持插值運算電路的插值數(shù)據(jù)相對于原始數(shù)據(jù)的誤差＝0。k＝5的平均維持插值運算電路可以對于5像素周期的圖像數(shù)據(jù)，適當?shù)貙θ笔袼剡M行插值。
接著，示出針對像素周期Pp＝5的圖像數(shù)據(jù)，由k＝3的平均維持插值運算電路對缺失像素進行插值的例子。
圖5是表示缺失了圖3的圖像數(shù)據(jù)的像素L的情況下的圖像數(shù)據(jù)的圖，表示在k＝3的平均維持插值運算電路中，計算平均值的像素列LC以及NA之間的位置關(guān)系(圖2)的對應(yīng)。
由于k＝3的平均維持插值運算電路的結(jié)構(gòu)是將圖1的k設(shè)為3的情況，所以省略說明。
使用圖1以及圖5說明k＝3的平均維持插值運算電路的動作。
缺失部加法電路1將像素列LC中所包含的3個像素(LC[1]、LC[2]、L)中、缺失像素L以外的和作為部分和數(shù)據(jù)SL輸出。由于LC[1]＝143、LC[2]＝74，所以部分和數(shù)據(jù)SL成為SL＝LC[1]+LC[2]＝143+74＝217。
非缺失部加法電路2將像素列NA中所包含的3個像素(NA[1]～NA[3])之和作為部分和數(shù)據(jù)SA輸出。由于NA[1]＝100、NA[2]＝143、NA[3]＝126，所以部分和數(shù)據(jù)SA成為SA＝NA[1]+NA[2]+NA[3]＝100+143+126＝369。
差分電路3基于部分和數(shù)據(jù)SL以及SA建立方程式，使得像素列LC和NA的平均值相等，求出缺失像素L的插值數(shù)據(jù)。方程式成為(SL+L)/3＝SA/3，缺失像素L成為L＝SA-SL
＝369-217＝152。
如圖3所示，缺失像素L的原始數(shù)據(jù)是126，k＝3的平均維持插值運算電路的插值數(shù)據(jù)相對于原始數(shù)據(jù)具有|152-126|＝26的誤差。
由于圖5的圖像數(shù)據(jù)針對每個像素周期Pp＝5重復(fù)數(shù)據(jù)100、143、126、74、57，所以圖像數(shù)據(jù)內(nèi)的連續(xù)的任意的5像素的值的平均值由(100+143+126+74+57)/5＝100，而恒定。而且對于像素周期Pp的整數(shù)倍、即N*Pp像素的平均值也同樣為N*(100+143+126+74+57)/N*5＝100，為恒定(N是正整數(shù))。
在圖4的k＝5的平均維持插值運算電路的例子中，參數(shù)k與像素周期Pp相等，因此包含缺失像素的像素列LC的平均值和不包含缺失像素的像素列NA的平均值均為100，可以通過差分電路3的方程式適當?shù)厍蟪鋈笔袼氐牟逯禂?shù)據(jù)。
在圖5的k＝3的平均維持插值運算電路的例子中，參數(shù)k是像素周期Pp的整數(shù)倍，因此缺失像素的插值數(shù)據(jù)具有誤差。
如上所述，在參數(shù)k與像素周期Pp或其整數(shù)倍大致相等的情況下插值數(shù)據(jù)的誤差減小，所以例如圖6所示，平均維持插值運算電路也可以附加接收圖像數(shù)據(jù)DI而檢測像素周期Pp的周期檢測電路15，基于檢測出的像素周期Pp來確定參數(shù)k。
另外，在上述的說明中，假設(shè)了預(yù)先知道缺失像素的位置，但在不知道缺失像素的位置的情況下，也可以附加檢測缺失像素的位置的電路。作為這樣的電路，例如可使得用公知的糾錯電路。
這樣，在平均維持插值運算電路的參數(shù)k與像素周期Pp相等的情況下，可以適當?shù)貙θ笔袼剡M行插值。此外，平均維持插值運算電路的參數(shù)k為像素周期Pp的整數(shù)倍(k＝N*Pp)的情況下也同樣，包含缺失像素的像素列和不包含缺失像素的像素列的平均值為相等，可以通過差分電路3的方程式來適當?shù)厍蟪鋈笔袼氐牟逯禂?shù)據(jù)。
此外，如上述的實施方式這樣，包含缺失像素L的像素列LC和不包含缺失像素L的像素列NA均分別由k個像素構(gòu)成，由缺失部加法電路1求出包含缺失像素L的像素列LC中、缺失像素L以外的像素的值的合計，由非缺失部加法電路2求出構(gòu)成不包含缺失像素L的像素列NA的像素的值的合計時，通過求出這些合計之差，可以求出缺失像素的插值數(shù)據(jù)，使得兩個像素列的像素的值的平均值相互相等。即，即使不進行對于各像素列求出平均值的計算，也可以確定像素的插值數(shù)據(jù)，使得平均值相互相等。
實施方式2圖7是與圖2同樣地表示輸入圖像DI的一部分的圖，表示在平均維持插值運算電路中計算平均值的兩個像素列之間的位置關(guān)系。標號LC以及NA分別表示構(gòu)成一系列的像素的一部分的、相互連續(xù)的、一維排列的k個像素所構(gòu)成的像素列。像素列LC和像素列NA重復(fù)i像素。像素列LC包含缺失像素，像素列NA不包含缺失像素。此外，標號NA’表示像素列NA中、不與像素列LC重復(fù)的區(qū)域或部分，標號LC’表示像素列LC中、不與像素列NA重復(fù)的部分，標號AD表示像素列NA與像素列LC中、互相重復(fù)的部分。
如圖所示，像素列被構(gòu)成為缺失像素L不包含于重復(fù)部分AD內(nèi)。
由于包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)的情況下的平均維持插值運算電路的結(jié)構(gòu)、動作與圖1以及圖2的結(jié)構(gòu)、動作相同，所以省略說明。
包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)的情況下的平均維持插值運算電路，與實施方式1中示出的包含缺失像素的像素列和不包含缺失像素的像素列不重復(fù)的情況下的平均維持插值運算電路同樣，平均維持插值運算電路的參數(shù)k為像素周期Pp的整數(shù)倍(k＝N*Pp)的情況下，包含缺失像素的像素列LC的平均值和不包含缺失像素的像素列NA的平均值為相等，可以適當?shù)貙θ笔袼剡M行插值。
除此以外，如以下詳細敘述的那樣，在從平均維持插值運算電路的參數(shù)k中減去重復(fù)部分的像素個數(shù)i后的值為像素周期Pp的整數(shù)倍((k-i)＝N*Pp)的情況下，包含缺失像素的像素列LC的平均值和不包含缺失像素的像素列NA的平均值也為相等，可以適當?shù)貙θ笔袼剡M行插值。
如圖7所示，像素列LC的部分和數(shù)據(jù)SL通過像素列LC’的部分和數(shù)據(jù)SL’以及像素列AD的部分和數(shù)據(jù)SAD，成為SL＝SL’+SAD。
此外，像素列NA的部分和數(shù)據(jù)SA通過像素列NA’的部分和數(shù)據(jù)SA’以及像素列AD的部分和數(shù)據(jù)SAD，成為SA＝SA’+SAD。
建立方程式，使得像素列LC和NA相等時，成為(SL+L)/k＝SA/k，將部分和數(shù)據(jù)SL以及SA分別代入時，成為(SL’+SAD+L)/k＝(SA’+SAD)/k。
由于包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)，所以像素列NA的部分和數(shù)據(jù)SAD被抵消，方程式成為(SL’+L)/k＝SA’/k。
對兩邊乘以k/(k-i)時，成為(SL’+L)/(k-i)＝SA’/(k-i)，方程式表示像素列NA的不重復(fù)的部分的像素列NA’和像素列LC的不重復(fù)的部分的像素列LC’中所分別包含的(k-i)個像素列的平均值相等。
從而，包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)的情況下的平均維持插值運算電路，對于具有像素列NA’和LC’的平均值為相等的特性的圖像數(shù)據(jù)也可以適當?shù)剡M行插值。
首先，示出針對像素周期Pp＝5的圖像數(shù)據(jù)，由包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)4像素的k＝9的平均維持插值運算電路來對缺失像素進行插值的例子。
圖8是表示缺失了圖3的圖像數(shù)據(jù)的像素L的情況下的圖像數(shù)據(jù)的圖，表示在包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)4像素的k＝9的平均維持插值運算電路中計算平均值的像素列LC以及NA之間的位置關(guān)系(圖7)的對應(yīng)。
k＝9的平均維持插值運算電路的結(jié)構(gòu)與將圖1的k設(shè)為9的情況同樣，所以省略說明。
使用圖1以及圖8說明包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)4像素的k＝9的平均維持插值運算電路的動作。
缺失部加法電路1將像素列LC中所包含的9個像素(AD[1]～AD[4]、L、LC[1]～LC[4])中、缺失像素L以外的和作為部分和數(shù)據(jù)SL輸出。由于AD[1]＝74、AD[2]＝57、AD[3]＝100、AD[4]＝143、LC[1]＝74、LC[2]＝57、LC[3]＝100、LC[4]＝143，所以部分和數(shù)據(jù)SL成為SL＝AD[1]+AD[2]+AD[3]+AD[4]+LC[1]+LC[2]+LC[3]+LC[4]＝74+57+100+143+74+57+100+143＝748。
非缺失部加法電路2將像素列NA中所包含的9個像素(NA[1]～NA[5]、AD[1]～AD[4])之和作為部分和數(shù)據(jù)SA輸出。由于NA[1]＝74、NA[2]＝57、NA[3]＝100、NA[4]＝143、NA[5]＝126、AD[1]＝74、AD[2]＝57、AD[3]＝100、AD[4]＝143，所以部分和數(shù)據(jù)SA成為SA＝NA[1]+NA[2]+NA[3]+NA[4]+NA[5]+AD[1]+AD[2]+AD[3]+AD[4]＝74+57+100+143+126+74+57+100+143＝874。
差分電路3基于部分和數(shù)據(jù)SL以及SA建立方程式，使得像素列LC和NA的平均值相等，求出缺失像素L的插值數(shù)據(jù)。方程式成為(SL+L)/9＝SA/9，缺失像素L成為L＝SA-SL＝874-748＝126。
如圖3所示，缺失像素L的原始數(shù)據(jù)為126，包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)4像素的k＝9的平均維持插值運算電路的插值數(shù)據(jù)相對于原始數(shù)據(jù)的誤差＝0。包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)4像素的k＝9的平均維持插值運算電路對于5像素周期的像素數(shù)據(jù)，可以適當?shù)貙θ笔袼剡M行插值。
接著，示出針對像素周期Pp＝5的圖像數(shù)據(jù)，由包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)5像素的k＝9的平均維持插值運算電路對缺失像素進行插值的例子。
圖9是表示缺失了圖3的圖像數(shù)據(jù)的像素L的情況下的圖像數(shù)據(jù)的圖，表示在包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)5像素的k＝9的平均維持插值運算電路中，計算平均值的像素列LC以及NA之間的位置關(guān)系(圖7)的對應(yīng)。
k＝9的平均維持插值運算電路的結(jié)構(gòu)與將圖1的k設(shè)為9的情況同樣，所以省略說明。
使用圖1以及圖9說明k＝9的平均維持插值運算電路的動作。
缺失部加法電路1將像素列LC中所包含的9個像素(AD[1]～AD[5]、L、LC[1]～LC[3])中、缺失像素L以外的和作為部分和數(shù)據(jù)SL輸出。由于AD[1]＝126、AD[2]＝74、AD[3]＝57、AD[4]＝100、AD[5]＝143、LC[1]＝74、LC[2]＝57、LC[3]＝100，所以部分和數(shù)據(jù)SL成為SL＝AD[1]+AD[2]+AD[3]+AD[4]+AD[5]+LC[1]+LC[2]+LC[3]＝126+74+57+100+143+74+57+100＝731。
非缺失部加法電路2將像素列NA中所包含的9個像素(NA[1]～NA[4]、AD[1]～AD[5])之和作為部分和數(shù)據(jù)SA輸出。由于NA[1]＝74、NA[2]＝57、NA[3]＝100、NA[4]＝143、AD[1]＝126、AD[2]＝74、AD[3]＝57、AD[4]＝100、AD[5]＝143，所以部分和數(shù)據(jù)SA成為SA＝NA[1]+NA[2]+NA[3]+NA[4]+AD[1]+AD[2]+AD[3]+AD[4]+AD[5]＝74+57+100+143+126+74+57+100+143＝874。
差分電路3基于部分和數(shù)據(jù)SL以及SA建立方程式，使得像素列LC和NA的平均值相等，求出缺失像素L的插值數(shù)據(jù)。方程式成為
(SL+L)/9＝SA/9，缺失像素L成為L＝SA-SL＝874-731＝143。
如圖3所示，缺失像素L的原始數(shù)據(jù)是126，包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)5像素的k＝9的平均維持插值運算電路的插值數(shù)據(jù)相對于原始數(shù)據(jù)具有|143-126|＝17的誤差。
包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)的情況下的平均維持插值運算電路，與實施方式1中示出的包含缺失像素的像素列和不包含缺失像素的像素列不重復(fù)的情況下的平均維持插值運算電路同樣，在參數(shù)k為像素周期Pp的整數(shù)倍(k＝N*Pp)的情況下，可以適當?shù)貙θ笔袼剡M行插值。
進而，在圖8的包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)4像素的k＝9的平均維持插值運算電路的例子中，像素列LC和NA不重復(fù)的部分的像素個數(shù)與像素周期Pp相等，因此像素列LC和NA不重復(fù)的部分LC’以及NA’的平均值均為100，可以通過差分電路3適當?shù)厍蟪鋈笔袼氐牟逯禂?shù)據(jù)。
在圖9的包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)5像素的k＝9的平均維持插值運算電路的例子中，包含缺失像素的像素列和不包含缺失像素的像素列不重復(fù)的部分的像素個數(shù)不是像素周期Pp的整數(shù)倍，因此缺失像素的插值數(shù)據(jù)具有誤差。
這樣，在包含缺失像素的像素列和不包含缺失像素的像素列不重復(fù)的部分的像素個數(shù)與像素周期Pp相等的情況下，可以適當?shù)貙θ笔袼剡M行插值。此外，在包含缺失像素的像素列和不包含缺失像素的像素列不重復(fù)的部分的像素個數(shù)為像素周期Pp的整數(shù)倍(k-i＝N*Pp)的情況下，也同樣，包含缺失像素的像素列和不包含缺失像素的像素列不重復(fù)的部分的平均值為相等，可以適當?shù)貙θ笔袼剡M行插值。
如上所述，在不重復(fù)的部分的像素個數(shù)(k-i)與像素周期Pp或其整數(shù)倍大致相等的情況下，插值數(shù)據(jù)的誤差減小，所以例如與圖6所示的同樣，平均維持插值運算電路也可以附加接收圖像數(shù)據(jù)DI而檢測像素周期Pp的周期檢測電路15，基于檢測出的像素周期Pp來確定參數(shù)k以及i。
實施方式3圖10是表示進行缺失像素的插值，使得包含缺失像素的像素列的平均值和不包含缺失像素的兩個像素列的平均值相等的、平均維持插值運算電路的結(jié)構(gòu)。
使包含缺失像素的像素列的平均值和不包含缺失像素的兩個像素列的平均值相等的情況下的平均維持插值運算電路具有缺失部加法電路1、第一非缺失部加法電路2(1)、第二非缺失部加法電路2(2)、差分電路3以及平均電路4。
圖11與圖2同樣表示輸入圖像DI的一部分，表示在平均維持插值運算電路中計算平均值的三個像素列之間的位置關(guān)系。像素列LC、NA以及NB分別是一維地排列了k個像素的像素列，像素列LC和像素列NA以及像素列LC和像素列NB分別重復(fù)i像素。像素列LC包含缺失像素，像素列NA以及NB不包含缺失像素。此外，標號NA’表示在NA中不與LC重復(fù)的部分，標號NB’表示在像素列NB中不與像素列LC重復(fù)的部分，標號LCA’表示在像素列LC中不與像素列NA重復(fù)的部分，標號LCB’表示在像素列LC中不與像素列NB重復(fù)的部分。此外，標號AD表示像素列NA和像素列LC重復(fù)的部分，標號BD表示像素列NB和像素列LC重復(fù)的部分。
此外，如圖12所示，也可以二維地設(shè)定包含缺失像素的像素列LC、不包含缺失像素的像素列NA以及NB。
即，也可以如圖12所示，一系列的像素被分割為多個行而矩陣狀地進行排列，分別構(gòu)成多個行的一部分，由在各行內(nèi)相互連續(xù)的像素所構(gòu)成的多個像素列構(gòu)成像素組。在該情況下，代替上述像素列，而在像素組相互間，使平均值變?yōu)橄嗷ハ嗟?。圖2或圖11所示的情況可以認為是構(gòu)成像素組的像素列為1的例子。
此外，例如如圖13所示，也可以設(shè)定多個不包含缺失像素的像素列。此外，不包含缺失像素的像素列也可以相對于包含缺失像素的像素列錯開而設(shè)定。即，也可以使多個非缺失像素列(NA、NB、NC)由互不相同的行的像素構(gòu)成。
在圖13所示的例子中，示出了三個不包含缺失像素的像素列，在該情況下，在圖10的結(jié)構(gòu)中，設(shè)置三個非缺失部加法電路(與圖10的非缺失部加法電路2(1)、2(2)相似的電路)，求出它們的輸出的平均即可。
使用圖10以及圖11說明包含缺失像素的像素列的平均值和不包含缺失像素的兩個像素列的平均值相等的情況下的平均維持插值運算電路的動作。
使包含缺失像素的像素列和不包含缺失像素的兩個像素列的平均值相等的情況下的平均維持插值運算電路對缺失像素L進行插值，使得包含缺失像素L的像素列LC的平均值和不包含缺失像素L的像素列NA以及NB的平均值相等。將輸入圖像DI輸入給缺失部加法電路1、第一非缺失部加法電路2(1)以及第二非缺失部加法電路2(2)。k與圖1同樣，是表示在平均維持插值運算電路中計算平均值的像素個數(shù)的參數(shù)，被輸入給缺失部加法電路1、第一非缺失部加法電路2(1)以及第二非缺失部加法電路2(2)。首先，缺失部加法電路1將像素列LC中所包含的k個像素(AD[1]～AD[i]、LC[1]～LC[k-2i-1]、BD[1]-BD[i])中、缺失像素L以外的和作為部分和數(shù)據(jù)SL輸出。部分和數(shù)據(jù)SL為SL＝AD[1]+…+AD[i]+LC[1]+…LC[k-2i-1]+BD[1]+…+BD[i]。
將部分和數(shù)據(jù)SL輸入給差分電路3。
第一非缺失部加法電路2(1)將像素列NA中所包含的k個像素(NA[1]～NA[k-i]、AD[1]～AD[i])之和作為部分和數(shù)據(jù)SA輸出。部分和數(shù)據(jù)SA為SA＝NA[1]+…+NA[k-i]+AD[1]+…AD[i]。
將部分和數(shù)據(jù)SA輸入給平均電路4。
第二非缺失部加法電路2(2)將像素列NB中所包含的k個像素
(BD[1]～BD[i]、NB[1]～NB[k-i])之和作為部分和數(shù)據(jù)SB輸出。部分和數(shù)據(jù)SB為SB＝BD[1]+…+BD[i]+NB[1]+…NB[k-i]。
將部分和數(shù)據(jù)SB輸入給平均電路4。
平均電路4將不包含缺失像素的兩個像素列的部分和數(shù)據(jù)SA以及SB的平均值作為平均數(shù)據(jù)AN輸出。平均數(shù)據(jù)AN為AN＝(SA+SB)/2。
差分電路3基于部分和數(shù)據(jù)SL以及平均數(shù)據(jù)AN建立方程式，使得像素列LC、NA以及NB的平均值相等，求出缺失像素L的插值數(shù)據(jù)。方程式為(SL+L)/k＝(SA/k+SB/k)/2，即，為(SL+L)/k＝AN/k，缺失像素L為L＝AN-SL。
使包含缺失像素的像素列和不包含缺失像素的兩個像素列的平均值相等的情況下的平均維持插值運算電路對于具有包含缺失像素的像素列LC和不包含缺失像素的兩個像素列NA以及NB的平均值相等的特性的圖像數(shù)據(jù)，可以適當?shù)剡M行插值。進而，與實施方式2所示的包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)的情況下的平均維持插值運算電路同樣，對于包含缺失像素的像素列和不包含缺失像素的像素列不重復(fù)的部分NA’和LCA’的平均值以及NB’和LCB’的平均值相等的圖像數(shù)據(jù)，也可以適當?shù)剡M行插值。此外，通過求出不包含缺失像素的兩個像素列的平均值，可以減少噪聲等所引起的插值誤差，提高插值精度。
示出針對像素周期Pp＝5的圖像數(shù)據(jù)，由包含缺失像素的像素列和不包含缺失像素的兩個像素列分別重復(fù)4像素的k＝9的平均維持插值運算電路對缺失像素進行插值的例子。
圖14是表示缺失了圖3的圖像數(shù)據(jù)的像素L的情況下的圖像數(shù)據(jù)的圖，表示在使包含缺失像素的像素列和不包含缺失像素的兩個像素列的平均值相等的情況下的k＝9的平均維持插值運算電路中計算平均值的像素列LC、NA以及NB之間的位置關(guān)系(圖11)的對應(yīng)。LC和NA以及LC和NB分別重復(fù)4像素。
包含缺失像素的像素列和不包含缺失像素的兩個像素列分別重復(fù)4像素的k＝9的平均維持插值運算電路的結(jié)構(gòu)是將圖10的k設(shè)為9的情況，所以省略說明。
使用圖10以及圖14說明包含缺失像素的像素列和不包含缺失像素的兩個像素列分別重復(fù)4像素的k＝9的平均維持插值運算電路的動作。
缺失部加法電路1將像素列LC中所包含的9個像素(AD[1]～AD[4]、L、BD[1]～BD[4])中、缺失像素L以外的和作為部分和數(shù)據(jù)SL輸出。由于AD[1]＝74、AD[2]＝57、AD[3]＝100、AD[4]＝143、BD[1]＝74、BD[2]＝57、BD[3]＝100、BD[4]＝143，所以部分和數(shù)據(jù)SL成為SL＝AD[1]+AD[2]+AD[3]+AD[4]+BD[1]+BD[2]+BD[3]+BD[4]＝74+57+100+143+74+57+100+143＝748。
第一非缺失部加法電路2(1)將像素列NA中所包含的9個像素(NA[1]～NA[5]、AD[1]～AD[4])之和作為部分和數(shù)據(jù)SA輸出。由于NA[1]＝74、NA[2]＝57、NA[3]＝100、NA[4]＝143、NA[5]＝126、AD[1]＝74、AD[2]＝57、AD[3]＝100、AD[4]＝143，所以部分和數(shù)據(jù)SA成為SA＝NA[1]+NA[2]+NA[3]+NA[4]+NA[5]+AD[1]+AD[2]+AD[3]+AD[4]＝74+57+100+143+126+74+57+100+143＝874。
第二非缺失部加法電路2(2)將像素列NB中所包含的9個像素(BD[1]～BD[4]、NB[1]～NB[5])之和作為部分和數(shù)據(jù)SB輸出。由于BD[1]＝74、BD[2]＝57、BD[3]＝100、BD[4]＝143、NB[1]＝126、NB[2]＝74、NB[3]＝57、NB[4]＝100、NB[5]＝143，所以部分和數(shù)據(jù)SB成為SB＝BD[1]+BD[2]+BD[3]+BD[4]+NB[1]+NB[2]+NB[3]+NB[4]+NB[5]＝74+57+100+143+126+74+57+100+143＝874。
平均電路4將部分和數(shù)據(jù)SA以及SB的平均值作為平均數(shù)據(jù)AN輸出。平均數(shù)據(jù)AN為AN＝(SA+SB)/2＝(874+874)/2＝874。
差分電路3基于部分和數(shù)據(jù)SL以及平均數(shù)據(jù)AN建立方程式，使得像素列LC、NA以及NB的平均值相等，求出缺失像素L的插值數(shù)據(jù)。方程式成為(SL+L)/9＝(SA/9+SB/9)/2，即，(SL+L)/9＝AN/9，缺失像素L成為L＝AN-SL＝874-748＝126。
如圖3所示，缺失像素L的原始數(shù)據(jù)為126，包含缺失像素的像素列和不包含缺失像素的兩個像素列分別重復(fù)4像素的k＝9的平均維持插值運算電路的插值數(shù)據(jù)相對于原始數(shù)據(jù)的誤差＝0。包含缺失像素的像素列和不包含缺失像素的兩個像素列分別重復(fù)4像素的k＝9的平均維持插值運算電路對于像素周期Pp＝5的像素數(shù)據(jù)，可以適當?shù)貙θ笔袼剡M行插值。
這樣，與實施方式2同樣，可針對包含缺失像素的像素列和不包含缺失像素的兩個像素列不重復(fù)的部分的像素個數(shù)為像素周期Pp的整數(shù)倍(k-i＝N*Pp)的圖像數(shù)據(jù)，適當?shù)貙θ笔袼剡M行插值。
進而，與實施方式1同樣，包含缺失像素的像素列和不包含缺失像素的兩個像素列重復(fù)的情況下的平均維持插值運算電路在參數(shù)k為像素周期Pp的整數(shù)倍(k＝N*Pp)的情況下，也可以適當?shù)貙θ笔袼剡M行插值。
此外，通過計算兩個不包含缺失像素的部分的平均值，在不包含缺失像素的像素列NA以及NB中的任何一方含有噪聲時，也由于通過平均電路4對噪聲成分進行平均化，所以可以減少噪聲等所引起的插值誤差，提高插值精度。
另外，在圖10的結(jié)構(gòu)中，通過第一以及第二非缺失部加法電路2(1)以及2(2)還有平均電路4構(gòu)成了非缺失部合計計算電路17，該非缺失部合計計算電路17求出構(gòu)成不包含缺失像素的像素列的k個像素的值的合計。
在圖1的結(jié)構(gòu)中，可以認為僅由非缺失部加法電路2構(gòu)成了這樣的非缺失部合計計算電路17。
此外，也可以在圖10的結(jié)構(gòu)中，代替缺失部加法電路1，而如圖15所示，設(shè)有多個缺失部加法電路1(1)、1(2)以及對它們的輸出進行平均的平均電路18，由此構(gòu)成缺失部合計計算電路19，該缺失部合計計算電路19求出構(gòu)成包含缺失像素的像素列的k個像素中、缺失像素以外的像素的值的合計SL。
在圖1或圖10的結(jié)構(gòu)中，可以認為僅由缺失部加法電路1構(gòu)成了這樣的缺失部合計計算電路19。
從而，對圖1、圖10的結(jié)構(gòu)進行一般化繪制時如圖16所示。
實施方式4圖17是表示基于實施方式4的像素插值電路的結(jié)構(gòu)的圖。該像素插值電路具有多個平均維持插值運算電路6(1)至6(n-1)、即第一平均維持插值運算電路6(1)、第二平均維持插值運算電路6(2)、…、第n-1平均維持插值運算電路6(n-1)。這些平均維持插值運算電路6(1)至6(n-1)將參數(shù)k或從參數(shù)k中減去了i的(k-i)設(shè)定為互不相同的值。例如，對第一平均維持插值運算電路6(1)輸入?yún)?shù)k＝2，同樣對第二平均維持插值運算電路6(2)、…、第n-1平均維持插值運算電路6(n-1)分別輸入并設(shè)定k＝3、…、kn。
輸出電路5例如基于選擇信號C，選擇由多個平均維持插值運算電路6(1)至6(n-1)分別輸出的插值數(shù)據(jù)中的一個，輸出作為缺失像素的數(shù)據(jù)。
圖18是表示在實施方式1所示的包含缺失像素的像素列和不包含缺失像素的像素列不重復(fù)的情況下的k＝kj的平均維持插值運算電路中，像素周期和插值誤差之間的關(guān)系的曲線圖。橫軸Pp表示有周期性的圖像數(shù)據(jù)的像素周期，縱軸E表示插值誤差。
說明k＝kj的平均維持插值運算電路中的像素周期和插值誤差之間的關(guān)系。
如實施方式1所示，包含缺失像素的像素列和不包含缺失像素的像素列不重復(fù)的情況下的平均維持插值運算電路在參數(shù)k為像素周期Pp的整數(shù)倍(k＝N*Pp)的情況下，可以適當?shù)貙θ笔袼剡M行插值。
從而，如圖18所示，包含缺失像素的像素列和不包含缺失像素的像素列不重復(fù)的情況下的k＝kj的平均維持插值運算電路在對像素周期Pp為Pp＝kj/Na1、kj/Na2、…、kj(Na1＞Na2＞…＞0、Na1、Na2、…是kj的約數(shù))的圖像數(shù)據(jù)進行插值時，插值誤差E為0或最小。此外，待插值的圖像數(shù)據(jù)的像素周期Pp越偏離Pp＝kj/Na1、kj/Na2、…、kj的像素周期Pp，則插值誤差E越大。
圖19是表示在包含缺失像素的像素列和不包含缺失像素的像素列不重復(fù)的情況下的k＝2、3、4、kn-1、kn的平均維持插值運算電路中，像素周期和插值誤差之間的關(guān)系的曲線圖。圖19(a)表示k＝2的平均維持插值運算電路中的像素周期和插值誤差之間的關(guān)系，圖19(b)表示k＝3的平均維持插值運算電路中的像素周期和插值誤差之間的關(guān)系，圖19(c)表示k＝4的平均維持插值運算電路中的像素周期和插值誤差之間的關(guān)系，圖19(d)表示k＝kn-1的平均維持插值運算電路中的像素周期和插值誤差之間的關(guān)系，圖19(e)表示k＝kn的平均維持插值運算電路中的像素周期和插值誤差之間的關(guān)系。
說明k＝2、3、4、kn-1、kn的平均維持插值運算電路中的像素周期和插值誤差之間的關(guān)系。
k＝2的平均維持插值運算電路的參數(shù)k是素數(shù)，所以僅在Pp＝2的圖像數(shù)據(jù)中，插值誤差E為0或最小。關(guān)于k＝3的平均維持插值運算電路也同樣，僅在Pp＝3的圖像數(shù)據(jù)中，插值誤差E為0或最小。關(guān)于k＝4的平均維持插值運算電路，如圖18所示，在作為參數(shù)k＝4的約數(shù)的Pp＝2的圖像數(shù)據(jù)和Pp＝4的圖像數(shù)據(jù)中，插值誤差E為0或最小，但為了簡單地表現(xiàn)曲線圖，在曲線圖中僅示出Pp＝4附近的特性。關(guān)于k＝kn-1的平均維持插值運算電路也與k＝4的平均維持插值運算電路同樣，在曲線圖中僅示出Pp＝kn-1附近的特性。關(guān)于k＝kn的平均維持插值運算電路也同樣，在曲線圖中僅示出Pp＝kn附近的特性。
圖20是表示在包含缺失像素的像素列和不包含缺失像素的像素列不重復(fù)的k＝2～k＝kn的平均維持插值運算電路中、像素周期和插值誤差之間的關(guān)系的曲線圖、以及示出各個平均維持插值運算電路產(chǎn)生好結(jié)果的(可以以比較小的誤差進行插值)像素周期Pp的范圍的圖。圖20(a)表示將圖19(a)～圖19(e)的五個曲線重疊在一個坐標軸上的曲線圖。圖20(b)是表示各個平均維持插值運算電路的插值誤差為最小的范圍的圖。R2表示k＝2的平均維持插值運算電路的插值誤差為最小的范圍。R3～Rn表示k＝3～k＝kn的平均維持插值運算電路的插值誤差分別為最小的范圍。圖20(c)表示k＝2～k＝kn的平均維持插值運算電路分別得到好結(jié)果的像素周期Pp的范圍。
說明k＝2～k＝kn的平均維持插值運算電路分別得到好結(jié)果的像素周期。
k＝2的平均維持插值運算電路的插值誤差為最小的范圍是從Pp的最小值到k＝2的平均維持插值運算電路的曲線和k＝3的平均維持插值運算電路的曲線交叉的點為止的范圍(相當于圖20(b)的R2)。k＝3的平均維持插值運算電路的插值誤差為最小的范圍是從k＝3的平均維持插值運算電路的曲線與k＝2的平均維持插值運算電路的曲線交叉的點到與k＝4的平均維持插值運算電路的曲線交叉的點為止的范圍(相當于圖20(b)的R3)。對于k＝4、kn-1、kn的平均維持插值運算電路也同樣，R4、Rn-1、Rn所示的范圍為各個平均維持插值運算電路的插值誤差成為最小的范圍。
從而，如圖20(c)所示，各個平均維持插值運算電路的插值誤差為最小的范圍成為各個平均維持插值運算電路得到好結(jié)果的像素周期Pp的范圍。
以下說明圖17所示的像素插值電路的動作。
將輸入圖像DI輸入給第一平均維持插值運算電路6(1)～第n-1平均維持插值運算電路6(n-1)。如上所述，例如將參數(shù)k＝2輸入給第一平均維持插值運算電路6(2)。同樣，將參數(shù)k＝3、…、kn分別輸入給第二平均維持插值運算電路6(2)、…、第n-1平均維持插值運算電路6(n-1)。
第一平均維持插值運算電路6(1)基于輸入圖像DI以及參數(shù)k＝2，輸出缺失像素的插值數(shù)據(jù)D1。第二平均維持插值運算電路6(2)、…、第n-1平均維持插值運算電路6(n-1)也同樣基于輸入圖像DI以及參數(shù)k＝3、…、kn，分別輸出缺失像素的插值數(shù)據(jù)D2～Dn-1。將插值數(shù)據(jù)D1～Dn-1輸入給輸出電路5。將例如后述那樣生成的選擇信號C輸入給輸出電路5。輸出電路5基于選擇信號C選擇插值數(shù)據(jù)D1～Dn-1中的一個，輸出作為缺失像素的插值數(shù)據(jù)DO。
圖17所示的像素插值電路具有多個參數(shù)不同的平均維持插值運算電路，從而可以實現(xiàn)圖20(b)的插值誤差的特性，所以如圖20(c)所示，可以應(yīng)用于從小的周期的圖像數(shù)據(jù)到大的周期的圖像數(shù)據(jù)的寬范圍。
實施方式5圖21表示基于實施方式5的像素插值電路的結(jié)構(gòu)。
該像素插值電路除了圖17的結(jié)構(gòu)外還具有左右平均插值運算電路6(0)。平均維持插值運算電路6(1)至6(m-1)與圖17的平均維持插值運算電路6(1)至6(n-1)是同樣的，設(shè)有m-1個。該m可以是與圖17的結(jié)構(gòu)的n相同的值，也可以采用如后述的小于n的值。換言之，在設(shè)置左右平均插值運算電路6(0)的情況下，可以減少平均維持插值運算電路的數(shù)量。
左右平均插值運算電路6(0)生成位于缺失像素的左右側(cè)的鄰接像素的值的平均值，作為插值數(shù)據(jù)。另外，這里提到的‘左右’表示在水平方向上排列一系列的像素而進行描繪時、位于缺失像素的左右側(cè)，在將一系列的像素作為時序數(shù)據(jù)時，與此相當?shù)氖俏挥凇昂蟆?br> 輸出電路5例如基于選擇信號(C)，選擇由所述多個平均維持插值運算電路6(1)至6(m-1)以及左右平均插值運算電路6(0)輸出的插值數(shù)據(jù)中的一個，輸出作為缺失像素的數(shù)據(jù)。
圖22是用于說明在像素周期Pp＝2、3、4、kn的圖像數(shù)據(jù)中，使用左右平均插值運算電路來對像素進行插值的方法的圖。在圖22中，示出了對周期變化的像素的極大值(各周期內(nèi)的峰值)進行插值的情況。在由左右平均插值運算電路進行插值的情況下，在如圖所示的極大值的插值的情況下，誤差為最大。從而，如果對于極大值研究誤差，則成為研究最大誤差。
圖22(a)是表示像素周期Pp＝2的圖像數(shù)據(jù)的波形圖，圖22(b)是表示像素周期Pp＝3的圖像數(shù)據(jù)的波形圖，圖22(c)是表示像素周期Pp＝4的圖像數(shù)據(jù)的波形圖，圖22(d)是表示像素周期Pp＝kn的圖像數(shù)據(jù)的波形圖。在各個波形圖中L表示要插值的缺失像素，LL表示與缺失像素L左鄰的像素，LR表示與缺失像素L右鄰的像素，LA表示由左右平均插值運算電路生成的插值數(shù)據(jù)，E2～En分別表示插值數(shù)據(jù)和原始數(shù)據(jù)之間的誤差。
說明像素周期Pp＝2、3、4、kn的圖像數(shù)據(jù)中的左右平均插值運算電路的插值誤差。
如圖22(a)～圖22(d)所示，左右平均插值運算電路將與缺失像素L左鄰的像素LL和與缺失像素右鄰的像素LR的平均值作為缺失像素L的插值數(shù)據(jù)LA。插值數(shù)據(jù)LA為LA＝(LL+LR)/2。
此外，在各個波形圖中，插值數(shù)據(jù)LA和缺失像素L的原始數(shù)據(jù)之差為插值誤差E2～En。
在各個圖像中對極大值進行插值的情況下，像素周期Pp越大則插值誤差越小。在圖23中示出左右平均插值運算電路中的像素周期和插值誤差之間的關(guān)系。
圖24是表示在平均維持插值運算電路中像素周期和插值誤差之間的關(guān)系的曲線圖，以及示出k＝2～kn的平均維持插值運算電路和左右平均插值運算電路得到好結(jié)果的像素周期Pp的范圍的圖。
說明左右平均插值運算電路得到好結(jié)果的像素周期Pp的范圍。
圖24(a)是表示圖23所示的左右平均插值運算電路中的像素周期和插值誤差之間的關(guān)系的曲線圖。
Ep表示視覺辨認上可以允許的誤差的上限值。
如圖24(a)所示，左右平均插值運算電路是像素周期Pp越大則插值誤差E越小，所以在Pp＝km+1～kn的圖像數(shù)據(jù)中，插值誤差E小于視覺辨認上可以允許的誤差的上限值Ep。從而，在Rave所示的范圍、即Pp＝km+1～kn的圖像數(shù)據(jù)中，可以將左右平均插值運算電路用于缺失像素的插值。
圖24(b)表示圖20(c)所示的k＝2～k＝kn的平均維持插值運算電路得到好結(jié)果的像素周期Pp的范圍。如圖24(a)所示，在Pp＝km+1～kn的圖像數(shù)據(jù)中，可以將左右平均插值運算電路用于缺失像素的插值，所以可以使用左右平均插值運算電路的輸出來代替圖17的參數(shù)k＝km+1～kn(假設(shè)m＜n)的平均維持插值運算電路的輸出。從而，可以省略參數(shù)k＝km+1～kn(假設(shè)m＜n)的平均維持插值運算電路。
通過將圖17的結(jié)構(gòu)中的k＝km+1～kn的平均維持插值運算電路置換為左右平均插值運算電路，可以削減平均維持插值運算電路的種類。從而，可以縮小可應(yīng)用于寬范圍的像素周期的像素插值電路的電路規(guī)模。
此外，由左右平均插值運算電路和多個插值運算電路構(gòu)成的像素插值電路具有如圖25所示的插值誤差的特性。圖25與圖20(b)所示的曲線圖同樣，在R2中，k＝2的平均維持插值運算電路的插值誤差為最小，同樣在R3～Rm中，k＝3～km的平均維持插值運算電路的插值誤差分別為最小。在Rave中，左右平均插值運算電路的插值誤差為最小。
圖26是表示在實施方式2以及實施方式3所示的包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)i像素的情況下的k＝kj的平均維持插值運算電路中，像素周期Pp和插值誤差之間的關(guān)系的曲線圖。
說明像素周期和插值誤差之間的關(guān)系。
如實施方式2以及實施方式3所示，包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)i像素的情況下的平均維持插值運算電路是在參數(shù)k為像素周期Pp的整數(shù)倍(k＝N*Pp)，或包含缺失像素的像素列和不包含缺失像素的像素列不重復(fù)的的部分的像素個數(shù)k-i為像素周期Pp的整數(shù)倍(k-i＝N*Pp)的情況下，可以適當?shù)貙θ笔袼剡M行插值。
如圖26(a)所示，包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)i像素的情況下的k＝kj的平均維持插值運算電路在對像素周期Pp為Pp＝kj/Na1、…、kj(Na1＞…＞0、Na1、…是kj的約數(shù))的圖像數(shù)據(jù)進行插值的情況下，插值誤差E為0或最小，待插值的圖像數(shù)據(jù)的像素周期Pp越偏離Pp＝kj/Na1、kj/Na2、…、kj的像素周期Pp，則插值誤差E越大。
進而，如圖26(b)所示，在對像素周期Pp為Pp＝(kj-i)/Nb1、…、kj-i(Nb＞…＞0、NB1、…是kj-i的約數(shù))的圖像數(shù)據(jù)進行插值的情況下，插值誤差E也為0或最小，像素周期Pp越偏離Pp＝(kj-i)/Nb1、…、kj-i的像素周期Pp，則插值誤差E越大。
從而，包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)i像素的情況下的平均維持插值運算電路中的像素周期Pp和插值像素之間的關(guān)系，成為將圖26(a)的曲線和圖26(b)的曲線結(jié)合而得到的圖26(c)的曲線圖。
圖27是表示在實施方式3所示的由包含缺失像素的像素列和不包含缺失像素的兩個像素列實現(xiàn)的平均維持插值運算電路中，包含缺失像素的像素列LC和不包含缺失像素的像素列NA以及NB之間的位置關(guān)系的一例。圖27(a)表示k＝3、i＝1的情況下的包含缺失像素的像素列LC和不包含缺失像素的像素列NA以及NB之間的位置關(guān)系。圖27(b)表示k＝5、i＝2的情況下的包含缺失像素的像素列LC和不包含缺失像素的像素列NA以及NB之間的位置關(guān)系。圖27(c)表示k＝kn、i＝(kn-1)/2的情況下的包含缺失像素的像素列LC和不包含缺失像素的像素列NA以及NB之間的位置關(guān)系。
說明在圖27所示的包含缺失像素的像素列和不包含缺失像素的兩個像素列所實現(xiàn)的平均維持插值運算電路中，參數(shù)k以及i和可以適當?shù)剡M行插值的圖像數(shù)據(jù)的像素周期Pp之間的關(guān)系。
如圖26所示，包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)i像素的k＝kj的平均維持插值運算電路可以適當?shù)貙ο袼刂芷赑p為Pp＝kj/Na1、…、kj的圖像數(shù)據(jù)或Pp＝(kj-i)/Nb1、…、kj-i的圖像進行插值，所以圖27(a)所示的包含缺失像素的像素列和不包含缺失像素的兩個像素列重復(fù)1像素的k＝3的平均維持插值運算電路對于Pp＝k＝3或Pp＝k-i＝2的圖像數(shù)據(jù)可以適當?shù)剡M行插值。
關(guān)于圖27(b)所示的包含缺失像素的像素列和不包含缺失像素的兩個像素列重復(fù)2像素的k＝5的平均維持插值運算電路也同樣，對于Pp＝k＝5或Pp＝k-i＝3的圖像數(shù)據(jù)可以適當?shù)剡M行插值。
關(guān)于圖27(c)所示的包含缺失像素的像素列和不包含缺失像素的像素列重復(fù)(kn-1)/2個像素的k＝kn的平均維持插值運算電路也同樣，對于Pp＝kn/Na1、…、kn的圖像數(shù)據(jù)或Pp＝(kn-i)/Nb1、…、kn-i的圖像數(shù)據(jù)可以適當?shù)剡M行插值。
圖28是表示在圖27所示的包含缺失像素的像素列和不包含缺失像素的兩個像素列重復(fù)的情況下的平均維持插值運算電路中，各個平均維持插值運算電路得到好結(jié)果的像素周期Pp的范圍的圖。
k＝3的平均維持插值運算電路將Pp＝3附近的像素周期Pp設(shè)為得到好結(jié)果的像素周期的范圍。關(guān)于k＝5的平均維持插值運算電路也同樣，將Pp＝5附近的像素周期Pp設(shè)為得到好結(jié)果的像素周期的范圍。關(guān)于k＝(kn+1)/2、kn的平均維持插值運算電路也同樣，將Pp＝(kn+1)/2、kn附近的像素周期Pp分別設(shè)為得到好結(jié)果的像素周期的范圍。從而，k＝3、5、(kn+1)/2、kn的平均維持插值運算電路分別得到好結(jié)果的像素周期的范圍如圖28(a)這樣。
進而，k＝3的平均維持插值運算電路的Pp＝k-i＝2附近的像素周期Pp也為得到好結(jié)果的像素周期的范圍。關(guān)于k＝5的平均維持插值運算電路也同樣，將Pp＝k-i＝3附近的像素周期Pp設(shè)為得到好結(jié)果的像素周期的范圍。關(guān)于k＝7、9、kn的平均維持插值運算電路也同樣，將Pp＝4、5、(kn+1)/2附近的像素周期Pp分別設(shè)為得到好結(jié)果的像素周期的范圍。從而，k＝3、5、7、9、(kn+1)/2的平均維持插值運算電路分別得到好結(jié)果的像素周期的范圍如圖28(b)這樣。
從而，包含缺失像素的像素列和不包含缺失像素的兩個像素列重復(fù)的情況下的k＝3、5、(kn+1)/2、kn的平均維持插值運算電路可以應(yīng)用于圖28(a)和圖28(b)合起來的范圍、即如圖28(c)所示的范圍的圖像數(shù)據(jù)。
這樣，對多個平均維持插值運算電路加上左右平均插值運算電路，選擇它們生成的插值數(shù)據(jù)中、插值誤差最小的數(shù)據(jù)，由此可以在與像素周期無關(guān)的情況下始終輸出插值誤差小的插值數(shù)據(jù)。
實施方式6圖29是表示實施方式6中的像素插值電路的結(jié)構(gòu)的圖。
實施方式6中的像素插值電路除了實施方式4所示的圖21的結(jié)構(gòu)之外，還具有生成輸入給輸出電路的選擇信號的選擇信號生成部9、控制電路20、以及圖像數(shù)據(jù)存儲器21。
圖像數(shù)據(jù)存儲器21暫時存儲輸入圖像數(shù)據(jù)DI，按照來自控制電路20的指示，重復(fù)輸出相同的圖像數(shù)據(jù)。
選擇信號生成部9基于缺失像素附近的像素的原始數(shù)據(jù)、以及對該缺失像素附近的像素、通過與求出缺失像素的插值數(shù)據(jù)相同的方法而求得的插值數(shù)據(jù)，生成選擇來自多個插值運算電路的插值數(shù)據(jù)中的一個的選擇信號C。
圖示的選擇信號生成部9由管理電路7以及評分電路8構(gòu)成。
多個平均維持插值運算電路6(1)至6(n)分別例如圖16所示，更具體地如圖1所示那樣構(gòu)成。
控制電路20對多個平均維持插值運算電路6(1)至6(n)各自的、例如缺失部合計計算電路19(圖16)輸入構(gòu)成包含缺失像素附近的測試用非缺失像素的像素組的k個像素中、測試用非缺失像素以外的像素，求出其值的合計SL，對多個插值運算電路各自的、非缺失部合計計算電路17輸入構(gòu)成不包含測試用缺失像素的像素組的k個像素，求出其值的合計，使多個插值運算電路各自的差分電路3通過從非缺失部合計計算電路17的輸出中減去缺失部合計計算電路19的輸出來求出測試用非缺失像素的插值數(shù)據(jù)。
控制電路20還對左右平均插值運算電路6(0)輸入位于缺失像素附近的測試用非缺失像素的左右側(cè)的像素，求出其值的平均，將其作為測試用非缺失像素的插值數(shù)據(jù)輸出。
控制電路20對于多個互不相同的測試用非缺失像素進行這樣的處理。
選擇信號生成部9基于由多個插值運算電路分別求出的測試用非缺失像素的插值數(shù)據(jù)、以及測試用非缺失像素的原始數(shù)據(jù)，對插值運算電路進行評價，確定選擇信號的內(nèi)容，使得選擇得到最佳評價的插值運算電路。
控制電路20對多個平均維持插值運算電路6(1)至6(n)的缺失部合計計算電路19輸入構(gòu)成包含缺失像素的像素組的像素，對非缺失部合計計算電路輸入構(gòu)成不包含缺失像素的像素組的像素，使其分別進行對于缺失像素的平均維持插值運算，對左右平均插值運算電路6(0)輸入與缺失像素鄰接的像素，使其進行對于缺失像素的左右平均插值運算，使輸出電路9基于如上所述確定了內(nèi)容的選擇信號C，選擇來自多個插值運算電路6(0)至6(n)的插值數(shù)據(jù)中的一個并輸出。
另外，在圖29中，為了便于說明，平均維持插值運算電路的數(shù)量與圖17以及圖21的情況不同，圖示出n個。
圖29的像素插值電路在每次提供了輸入圖像數(shù)據(jù)時，如下地進行兩種處理。
首先，第一處理也被稱為評價處理，使用所提供的輸入圖像數(shù)據(jù)中的缺失像素以外的像素進行多個插值運算電路的評價，根據(jù)哪個插值運算電路得到了最佳的評價來確定選擇信號C的內(nèi)容。
第二處理也稱為插值執(zhí)行處理，基于選擇信號C的內(nèi)容，生成對所提供的輸入圖像數(shù)據(jù)中的缺失像素進行插值的插值數(shù)據(jù)，進行插值。
由于在評價處理以及插值執(zhí)行處理中重復(fù)使用相同的輸入圖像數(shù)據(jù)DI，因此輸入圖像數(shù)據(jù)DI暫時存儲在圖像數(shù)據(jù)存儲器21中，然后根據(jù)來自控制電路20的指示重復(fù)進行讀取。
評價處理中的插值運算和插值執(zhí)行處理中的插值運算可以同時并行地進行，或也可以在評價處理中的插值運算結(jié)束后進行插值執(zhí)行處理中的插值運算。以下，最先，作為評價處理中的插值運算和插值執(zhí)行處理中的插值運算同時并行地進行的情況說明概略，然后，對于評價處理中的插值運算結(jié)束后進行插值執(zhí)行處理中的插值運算的情況詳細地進行說明。
輸入圖像DI輸入給左右平均插值運算電路6(0)以及n個平均維持插值運算電路(第一平均維持插值運算電路6(1)、第二平均維持插值運算電路6(2)、…、第n平均維持插值運算電路6(n))以及評分電路8。平均維持插值運算電路的參數(shù)k＝k1～kn分別輸入到第一平均維持插值運算電路～第n平均維持插值運算電路中。左右平均插值運算電路6(0)基于輸入圖像數(shù)據(jù)DI，輸出關(guān)于多個測試用非缺失像素(測試像素)的插值數(shù)據(jù)(測試插值數(shù)據(jù))TD0[T1]～[Tm]和缺失像素的插值數(shù)據(jù)D0。從左右平均插值運算電路6(0)中輸出的測試插值數(shù)據(jù)TD0[T1]～[Tm]輸入到評分電路8中，插值數(shù)據(jù)D1D0被輸入給輸出電路5。
第一平均維持插值運算電路6(1)基于輸入圖像DI以及參數(shù)k＝k1，輸出關(guān)于多個測試像素的插值數(shù)據(jù)TD1[T1]～[Tm]和缺失像素的插值數(shù)據(jù)D1。從第一平均維持插值運算電路6(1)中輸出的測試插值數(shù)據(jù)TD1[T1]～[Tm]被輸入給評分電路8，插值數(shù)據(jù)D1被輸入給輸出電路5。
關(guān)于第二平均維持插值運算電路6(2)～第n平均維持插值運算電路6(n)也同樣，基于輸入圖像DI以及參數(shù)k＝k2～k＝kn，分別輸出關(guān)于多個測試像素的插值數(shù)據(jù)TD2[T1]～[Tm]～TDn[T1]～[Tm]和缺失像素的插值數(shù)據(jù)D2～Dn。從第二平均維持插值運算電路6(2)～第n平均維持插值運算電路6(n)中輸出的測試插值數(shù)據(jù)TD2[T1]～[Tm]～TDn[T1]～[Tm]被輸入給評分電路8，插值數(shù)據(jù)D2～Dn被輸入給輸出電路5。
評分電路8基于輸入圖像DI對從左右平均插值運算電路6(0)中輸出的測試插值數(shù)據(jù)TD0進行評分，將其結(jié)果作為評分數(shù)據(jù)M0輸出。從評分電路8中輸出的評分數(shù)據(jù)M0輸入給管理電路7。
此外，評分電路8對于從第一平均維持插值運算電路6(1)～第n平均維持插值運算電路6(n)中輸出的測試插值數(shù)據(jù)TD1[T1]～[Tm]～TDn[T1]～[Tm]也同樣，基于輸入圖像DI進行評分，將各個結(jié)果作為評分數(shù)據(jù)M1～Mn輸出。從評分電路8中輸出的評分數(shù)據(jù)M1～Mn輸入給管理電路7。
管理電路7例如后述這樣評價從評分電路8中輸出的評分數(shù)據(jù)M0～Mn，基于其結(jié)果輸出選擇信號C。從管理電路7中輸出的選擇信號C輸入給輸出電路5。
輸出電路5基于從管理電路7中輸出的選擇信號C，選擇左右平均插值運算電路6(0)以及第一平均維持插值運算電路6(1)～第n平均維持插值運算電路6(n)輸出的插值數(shù)據(jù)D0～Dn中的一個，作為輸出數(shù)據(jù)DO輸出。
以下更詳細地說明評價處理中的插值運算結(jié)束后進行插值執(zhí)行處理中的插值運算的情況。
首先對于評價處理的動作進行說明。此時，圖29的輸出電路5不工作。即，不輸出插值數(shù)據(jù)DO。
圖30(a)是表示輸入圖像DI的圖，表示缺失像素和測試用非缺失像素(測試像素)之間的位置關(guān)系。在圖30中，○表示實際存在的像素，×表示缺失的像素。
相對于缺失像素L，將T1～Tm所示的、位于缺失像素L附近的實際存在的像素(非缺失像素)確定為測試像素(假設(shè)m＝2k)。這里，測試像素是指在缺失像素附近虛擬地視為缺失像素而生成插值數(shù)據(jù)的像素。圖30(a)是以缺失像素L為中心一維地在左右兩側(cè)各設(shè)定了k個測試像素的例子。
測試像素可以相對于缺失像素左右不均等地進行設(shè)定，也可以僅在左右一方進行設(shè)定。此外，也可以如圖30(b)這樣二維地進行設(shè)定。
使用圖29以及圖30(a)詳細地說明測試像素T1～Tm中的左右平均插值運算電路6(0)、第一平均維持插值運算電路6(1)～第n平均維持插值運算電路6(n)以及評分電路8的動作。
首先，在測試像素T1的位置處，左右平均插值運算電路6(0)輸出將測試像素T1虛擬地視為缺失的情況下的測試插值數(shù)據(jù)TD0[T1]。即，求出位于測試像素T1的左右側(cè)的像素的平均，將其作為測試像素T1的插值數(shù)據(jù)輸出。
評分電路8求出測試像素T1的位置處的輸入圖像DI的數(shù)據(jù)DI[T1]和所述測試插值數(shù)據(jù)TD0[T1]的差分的絕對值，作為評分數(shù)據(jù)M0[T1]輸出。評分數(shù)據(jù)M0[T1]成為M0[T1]＝|TD0[T1]-DI[T1]|。
在評分數(shù)據(jù)M0[T1]小的情況下，表示測試插值數(shù)據(jù)接近輸入圖像，即，在測試像素T1中，左右平均插值運算電路6(0)的運算方法適當。反之，在評分數(shù)據(jù)M0[T1]大的情況下，表示在測試像素T1中，左右平均插值運算電路6(0)的運算方法不適當。換言之，評分數(shù)據(jù)M0[T1]表示測試像素T1中的左右平均插值運算電路6(0)的適當性。
接著，左右平均插值運算電路6(0)關(guān)于測試像素T2也同樣，輸出將測試像素T2虛擬地視為缺失的情況下的測試插值數(shù)據(jù)TD0[T2]。評分電路8求出測試像素T2的位置處的輸入圖像DI[T2]和所述測試插值數(shù)據(jù)TD0[T2]的差分的絕對值，作為評分數(shù)據(jù)M0[T2]輸出。評分數(shù)據(jù)M0[T2]成為M0[T2]＝|TD0[T2]-DI[T2]|。
評分數(shù)據(jù)M0[T2]表示測試像素T2中的左右平均插值運算電路6(0)的適當性。
左右平均插值運算電路6(0)關(guān)于剩余的測試像素T3～Tm也同樣地輸出測試插值數(shù)據(jù)TD0[T3]～TD0[Tm]。評分電路8求出所述測試插值數(shù)據(jù)TD0[T3]～TD0[Tm]和與各個測試插值數(shù)據(jù)對應(yīng)的輸入圖像DI的數(shù)據(jù)DI[T3]～DI[Tm]的差分的絕對值，作為評分數(shù)據(jù)M0[T3]～M0[Tm]輸出。評分數(shù)據(jù)M0[T3]～M0[Tm]為M0[T3]＝|TD0[T3]-DI[T3]|～
M0[Tm]＝|TD0[Tm]-DI[Tm]|。
評分數(shù)據(jù)M0[T3]～M0[Tm]表示測試像素T3～Tm中的左右平均插值運算電路6(0)的適當性。
這樣，得到測試像素T1～Tm中的與左右平均插值運算電路6(0)所輸出的測試插值數(shù)據(jù)對應(yīng)的評分數(shù)據(jù)。
對于第一平均維持插值運算電路6(1)也同樣，在測試像素T1的位置處輸出將測試像素T1虛擬地視為缺失的情況下的測試插值數(shù)據(jù)TD1[T1]。評分電路8求出測試像素T1的位置處的輸入圖像DI的數(shù)據(jù)DI[T1]和所述測試插值數(shù)據(jù)TD1[T1]之間的差分的絕對值，作為評分數(shù)據(jù)M1[T1]輸出。評分數(shù)據(jù)M1[T1]成為M1[T1]＝|TD1[T1]-DI[T1]|。
評分數(shù)據(jù)M1[T1]表示測試像素T1中的第一平均維持插值運算電路6(1)的適當性。
第一平均維持插值運算電路6(1)關(guān)于剩余的測試像素T2～Tm也同樣地輸出測試插值數(shù)據(jù)TD1[T2]～TD1[Tm]。評分電路8求出所述測試插值數(shù)據(jù)TD1[T2]～TD1[Tm]和與各個測試插值數(shù)據(jù)對應(yīng)的輸入圖像DI的數(shù)據(jù)DI[T2]～DI[Tm]之間的差分的絕對值，作為評分數(shù)據(jù)M1[T2]～M1[Tm]輸出。評分數(shù)據(jù)M1[T2]～M1[Tm]為M1[T2]＝|TD1[T2]-DI[T2]|～M1[Tm]＝|TD1[Tm]-DI[Tm]|。
評分數(shù)據(jù)M1[T2]～M1[Tm]表示測試像素T2～Tm中的第一平均維持插值運算電路6(1)的適當性。
關(guān)于第二平均維持插值運算電路6(2)～第n插值運算電路6(n)也同樣，輸出測試像素T1～Tm中的測試插值數(shù)據(jù)TD2[T1]…TD2[Tm]～TDn[T1]…TDn[Tm]，評分電路8基于所述測試插值數(shù)據(jù)TD2[T1]…TD2[Tm]～TDn[T1]…TDn[Tm]，分別輸出評分數(shù)據(jù)M2[T1]…M2[Tm]～Mn[T1]…Mn[Tm]。
這樣，在所有的測試像素T1～Tm中，求出了平均維持插值運算電路6(0)以及第一平均維持插值運算電路6(1)～第n平均維持插值運算電路6(n)中的各個插值運算電路的適當性。
圖31是將測試像素T1～Tm中的各個插值運算電路的評分數(shù)據(jù)集中的表。
通過使用測試像素的測試插值數(shù)據(jù)和測試像素的位置處的輸入圖像數(shù)據(jù)之間的差分的絕對值，可以對每個測試像素求出插值方法的適當性。
說明管理電路7的動作。
為了評價缺失像素附近的左右平均插值運算電路6(0)的適當性，管理電路7將評分數(shù)據(jù)M0[T1]～M0[Tm]相加來生成左右平均插值運算電路6(1)的評價數(shù)據(jù)S0。評價數(shù)據(jù)S0為S0＝M0[T1]+M0[T2]+…+M0[Tm]。
在評價數(shù)據(jù)S0小的情況下，表示缺失像素附近的左右平均插值運算電路6(0)的運算方法適當。反之，在評價數(shù)據(jù)S0大的情況下，表示缺失像素附近的左右平均插值運算電路6(0)的運算方法不適當。
為了對第一平均維持插值運算電路6(1)～第n平均維持插值運算電路6(n)也同樣評價缺失像素附近的適當性，管理電路7將評分數(shù)據(jù)M1[T1]…M1[Tm]～Mn[T1]…Mn[Tm]分別相加來分別生成第一平均維持插值運算電路6(1)～第n平均維持插值運算電路6(n)的評價數(shù)據(jù)S1～Sn。評價數(shù)據(jù)S1～Sn為S1＝M1[T1]+M1[T2]+…+M1[Tm]～Sn＝Mn[T1]+Mn[T2]+…+Mn[Tm]。
圖32是將評價數(shù)據(jù)S0～Sn集中的表。
通過將每個測試像素的評分數(shù)據(jù)相加，可以求出缺失像素附近的插值方法的適當性。
評價數(shù)據(jù)越小的插值運算電路對于缺失像素附近的像素越能適當?shù)夭逯?，所以可以類推為在缺失像素中也可以適當?shù)剡M行插值。管理電路7確定選擇信號C的內(nèi)容，以便選擇具有評價數(shù)據(jù)S0～Sn中最小的評價數(shù)據(jù)的插值運算電路所輸出的插值數(shù)據(jù)。這樣確定內(nèi)容后的選擇信號C在接下來的插值執(zhí)行處理中被輸出電路5所使用。
接著說明插值執(zhí)行處理的動作。在插值執(zhí)行處理中，評分電路8不工作。而且，管理電路7不進行繼續(xù)輸出由評價處理確定了內(nèi)容的選擇信號C以外的動作。插值執(zhí)行處理中的插值運算電路6(0)至6(n)的動作與參照圖21說明的動作同樣。即，控制電路20對平均維持插值運算電路6(1)至6(n)各自的、缺失部合計計算電路輸入構(gòu)成包含缺失像素的像素組的像素，對非缺失部合計計算電路輸入構(gòu)成不包含缺失像素的像素組的像素，分別使其進行插值運算，分別輸出插值數(shù)據(jù)D1～Dn。控制電路20還對左右平均插值運算電路6(0)輸入與缺失像素鄰接的像素，使其進行對于缺失像素的左右平均插值運算，輸出插值數(shù)據(jù)D0。使輸出電路5基于選擇信號C選擇來自多個插值運算電路(6(0)至6(n))的插值數(shù)據(jù)中的一個而輸出。從而，輸出電路5基于從管理電路7輸出的選擇信號C，選擇從左右平均插值運算電路6(0)以及第一平均維持插值運算電路6(1)～第n平均維持插值運算電路6(n)中輸出的插值數(shù)據(jù)D0～Dn中的一個，作為輸出數(shù)據(jù)DO輸出。
這樣，對于一個缺失像素的插值結(jié)束后，開始對于下一個缺失像素的插值。
圖29所示的像素插值電路在缺失像素附近的像素中，進行左右平均插值運算電路6(0)以及第一平均維持插值運算電路6(1)～第n平均維持插值運算電路6(n)所輸出的測試插值數(shù)據(jù)的評分，評價其結(jié)果，對缺失像素處的適當?shù)牟逯颠\算進行類推，因此可以通過適合于缺失像素附近的圖像的插值運算來對缺失像素進行插值。
接著，使用具體例子進行說明。
圖33是表示作為圖29中的多個平均維持插值運算電路，具有參數(shù)k＝5的第一平均維持插值運算電路和參數(shù)k＝7的第二平均插值運算電路的結(jié)構(gòu)的圖。
說明圖33的具體例的像素插值電路的結(jié)構(gòu)。
圖33的具體例的像素插值電路具有輸出電路5、左右平均插值運算電路6(0)、第一平均維持插值運算電路6(1)以及第2平均維持插值運算電路6(2)、管理電路7、評分電路8。另外，在本具體例中也設(shè)有與圖29所示的控制電路20以及圖像數(shù)據(jù)存儲器21同樣的部分，但省略了這些圖示。
輸入圖像DI輸入給左右平均插值運算電路6(0)、第一平均維持插值運算電路6(1)、第2平均維持插值運算電路6(2)以及評分電路8。左右平均插值運算電路6(0)基于輸入圖像DI輸出測試插值數(shù)據(jù)TD0以及插值數(shù)據(jù)D0。從左右平均插值運算電路6(0)輸出的測試插值數(shù)據(jù)TD0輸入給評分電路8，插值數(shù)據(jù)D0輸入給輸出電路5。
參數(shù)k＝5輸入給第一平均插值運算電路6(1)。第一平均維持插值運算電路6(1)基于輸入圖像DI以及參數(shù)k＝5，輸出測試插值數(shù)據(jù)TD1以及插值數(shù)據(jù)D1。從第一平均維持插值運算電路6(1)輸出的測試插值數(shù)據(jù)TD1輸入給評分電路8，插值數(shù)據(jù)D1輸入給輸出電路5。
參數(shù)k＝7輸入給第二平均插值運算電路6(1)。第二平均維持插值運算電路6(2)基于輸入圖像DI以及參數(shù)k＝7，輸出測試插值數(shù)據(jù)TD2以及插值數(shù)據(jù)D2。從第二平均維持插值運算電路6(2)輸出的測試插值數(shù)據(jù)TD2輸入給評分電路8，插值數(shù)據(jù)D2輸入給輸出電路5。
評分電路8基于輸入圖像DI，對從左右平均插值運算電路6(0)輸出的測試插值數(shù)據(jù)TD0進行評分，將其結(jié)果作為評分數(shù)據(jù)M0輸出。
評分電路8基于輸入圖像DI，對從第一平均維持插值運算電路6(1)輸出的測試插值數(shù)據(jù)TD1進行評分，將其結(jié)果作為評分數(shù)據(jù)M1輸出。
評分電路8基于輸入圖像DI，對從第二平均維持插值運算電路6(2)輸出的測試插值數(shù)據(jù)TD2進行評分，將其結(jié)果作為評分數(shù)據(jù)M2輸出。從評分電路8輸出的評分數(shù)據(jù)M0～M2輸入給管理電路7。
管理電路7基于從評分電路8輸出的評分數(shù)據(jù)M0～M2，輸出選擇信號C。從管理電路7輸出的選擇信號C輸入給輸出電路5。
輸出電路5基于從管理電路7輸出的選擇信號C，選擇從左右平均插值運算電路6(0)、第一平均維持插值運算電路6(1)以及第二平均維持插值運算電路6(2)輸出的插值數(shù)據(jù)D0～D2中的一個，作為輸出數(shù)據(jù)DO輸出。
圖34是表示具有周期性的圖像數(shù)據(jù)的一例的圖。圖34(a)是與圖3同樣地表示像素周期5的圖像數(shù)據(jù)中的像素位置和濃度值之間的關(guān)系的波形圖，重復(fù)濃度值a＝74、b＝57、c＝100、d＝143、e＝126。圖34(b)表示缺失像素和測試像素之間的位置關(guān)系。此外，以缺失像素L為中心、左右各兩個地進行一維設(shè)定，作為與缺失像素L對應(yīng)的測試像素T1～T4。
圖35是用于說明平均維持插值運算的測試插值方法的圖。
圖35(a)表示實施方式3所示的包含缺失像素的像素列和不包含缺失像素的兩個像素列重復(fù)的情況下的平均維持插值運算電路中的、包含缺失像素的像素列LC和不包含缺失像素的像素列NA以及NB之間的位置關(guān)系。圖35(b)表示將測試像素T虛擬地視為缺失像素而進行測試插值的情況下，在包含測試像素的像素列TC中含有缺失像素的情況下的不包含測試像素的像素列TB的位置。圖35(c)表示在包含測試像素的像素列TC中不包含缺失像素的情況下的不包含測試像素的像素列TA的位置。
說明平均維持插值運算電路的測試插值方法。
平均維持插值運算電路在對缺失像素附近的像素進行測試插值的情況下，需要根據(jù)缺失像素的位置來改變插值方法。此外，在測試插值中，僅使用不包含測試像素的兩個像素列中的某一方。
如圖35(b)所示，在包含測試像素T的像素列TC中含有缺失像素L的情況下，平均維持插值運算電路需要考慮缺失像素L來建立方程式。從而，按照包含缺失像素L的方式設(shè)定不包含測試像素T的像素列TB，在包含測試像素T的像素列TC和不包含測試像素的像素列TB兩者中包含缺失像素，由此缺失像素在方程式中被抵消，可以適當?shù)厍蟪鰷y試像素T的測試插值數(shù)據(jù)。方程式為(TC[1]+…+TC[k-i-1]+T+L+TD[1]+…+TD[i-1])/k＝(L+TD[1]+…+TD[i-1]+TB[1]+…+TB[k-i])/k。
測試像素T為T＝(TB[1]+…+TB[k-i])-(TC[1]+…+TC[k-i-1])。
如圖35(c)所示，在包含測試像素的像素列TC中不包含缺失像素L的情況下，設(shè)定為在不包含測試像素的像素列TA中也不包含缺失像素。平均維持插值運算電路的方程式為(TA[1]+…+TA[k-i]+TD[1]+…+TD[i])/k＝(TD[1]+…+TD[i]+T+TC[1]+…+TC[k-i-1])，測試像素T為T＝(TA[1]+…+TA[k-i])-(TC[1]+…+TC[k-i-1])。
這樣，通過使用考慮了缺失像素的位置的測試插值方法，可以適當?shù)貙Ω鱾€平均維持插值運算電路進行評分。
圖36是用于說明測試像素T1～T4以及缺失像素L中的左右平均插值運算電路6(0)以及評分電路8的動作的圖。圖36(a)是表示計算T1中的左右平均插值運算電路6(0)的測試插值數(shù)據(jù)的情況的圖，圖36(b)是表示計算T2中的左右平均插值運算電路6(0)的測試插值數(shù)據(jù)的情況的圖，圖36(c)是表示計算T3中的左右平均插值運算電路6(0)的測試插值數(shù)據(jù)的情況的圖，圖36(d)是表示計算T4中的左右平均插值運算電路6(0)的測試插值數(shù)據(jù)的情況的圖，圖36(e)是表示計算缺失像素L中的左右平均插值運算電路6(0)的插值數(shù)據(jù)的情況的圖。
說明測試像素T1～T4以及缺失像素L中的左右平均插值運算電路6(0)以及評分電路8的動作。
如圖36(a)所示，左右平均插值運算電路6(0)將像素T1L以及T1R的平均值作為測試像素T1的測試插值數(shù)據(jù)TD0[T1]輸出。由于T1L＝b＝57，T1R＝d＝143，測試插值數(shù)據(jù)TD0[T1]為TD0[T1]＝(T1L+T1R)/2＝(57+143)/2＝100。
評分電路8將測試像素T1的位置處的輸入圖像DI的數(shù)據(jù)DI[T1]和測試插值數(shù)據(jù)TD0[T1]的差分的絕對值作為評分數(shù)據(jù)M0[T1]輸出。由于TD0[T1]＝100，DI[T1]＝c＝100，評分數(shù)據(jù)M0[T1]為M0[T1]＝|TD0[T1]-DI[T1]|＝|100-100|＝0。
如圖36(b)所示，左右平均插值運算電路6(0)將像素T2L以及T2R的平均值作為測試像素T2的測試插值數(shù)據(jù)TD0[T2]輸出。由于T2L＝c＝100，T2R＝a＝74，測試插值數(shù)據(jù)TD0[T2]為
TD1＝(T2L+T2R)/2＝(100+74)/2＝87。
評分電路8將測試像素T2的位置處的輸入圖像DI的數(shù)據(jù)DI[T2]和測試插值數(shù)據(jù)TD0[T2]的差分的絕對值作為評分數(shù)據(jù)M0[T2]輸出。由于TD0[T2]＝87，DI[T2]＝d＝143，評分數(shù)據(jù)M0[T2]為M0[T2]＝|TD0[T2]-DI[T2]|＝|87-143|＝56。
如圖36(c)所示，左右平均插值運算電路6(0)將像素T3L以及T3R的平均值作為測試像素T3的測試插值數(shù)據(jù)TD0[T3]輸出。由于T3L＝d＝143，T3R＝b＝57，測試插值數(shù)據(jù)TD0[T3]為TD0＝(T3L+T3R)/2＝(143+57)/2＝100。
評分電路8將測試像素T3的位置處的輸入圖像DI的數(shù)據(jù)DI[T3]和測試插值數(shù)據(jù)TD0[T3]的差分的絕對值作為評分數(shù)據(jù)M0[T3]輸出。由于TD0[T3]＝87，DI[T3]＝a＝74，評分數(shù)據(jù)M0[T3]為M0[T3]＝|TD0[T3]-DI[T3]|＝|100-74|＝26。
如圖36(d)所示，左右平均插值運算電路6(0)將像素T4L以及T4R的平均值作為測試像素T4的測試插值數(shù)據(jù)TD0[T4]輸出。由于T4L＝a＝74，T4R＝c＝100，測試插值數(shù)據(jù)TD0[T4]為TD0[T4]＝(T4L+T4R)/2＝(74+100)/2＝87。
評分電路8將測試像素T4的位置處的輸入圖像DI的數(shù)據(jù)DI[T4]和測試插值數(shù)據(jù)TD0[T4]的差分的絕對值作為評分數(shù)據(jù)M0[T4]輸出。由于TD0[T4]＝87，DI[T4]＝b＝57，評分數(shù)據(jù)M1[T4]為M0[T4]＝|TD0[T4]-DI[T4]|＝|87-57|＝30。
如圖36(e)所示，左右平均插值運算電路6(0)將缺失像素左右側(cè)的像素LL以及LR的平均值作為缺失像素L的插值數(shù)據(jù)D0輸出。由于LL＝d＝143，LR＝a＝74，插值數(shù)據(jù)D0為D0＝(LL+LR)/2＝(143+74)/2＝108.5。
圖37是用于說明測試像素T1～T4以及缺失像素L中的第一平均維持插值運算電路6(1)以及評分電路8的動作的圖。圖37(a)是表示計算T1中的第一平均維持插值運算電路6(1)的測試插值數(shù)據(jù)的情況的圖，圖37(b)是表示計算T2中的第一平均維持插值運算電路6(1)的測試插值數(shù)據(jù)的情況的圖，圖37(c)是表示計算T3中的第一平均維持插值運算電路6(1)的測試插值數(shù)據(jù)的情況的圖，圖37(d)是表示計算T4中的第一平均維持插值運算電路6(1)的測試插值數(shù)據(jù)的情況的圖，圖37(e)是表示計算缺失像素L中的第一平均維持插值運算電路6(1)的插值數(shù)據(jù)的情況的圖。
說明測試像素T1～T4以及缺失像素L中的第一平均維持插值運算電路6(1)以及評分電路8的動作。
如圖37(a)所示，第一平均維持插值運算電路6(1)求出測試像素T1的測試插值數(shù)據(jù)TD1[T1]，使得包含測試像素T1的像素列T1C的平均值和不包含測試像素T1的像素列T1B的平均值相等。從而，由方程式(T1C[1]+T1C[2]+TD1[T1]+T1D[1]+L)/5＝(T1D[1]+L+T1B[1]+T1B[2]+T1B[3])/5，測試插值數(shù)據(jù)TD1[T1]成為TD1[T1]＝(T1B[1]+T1B[2]+T1B[3])-(T1C[1]+T1C[2])。
由于T1C[1]＝a＝74，T1C[2]＝b＝57，T1B[1]＝a＝74，T1B[2]＝b＝57，T1B[3]＝c＝100，成為TD1[T1]＝(74+57+100)-(74+57)＝100。
評分電路8將所述測試像素T1的位置處的輸入圖像DI的數(shù)據(jù)DI[T1]和測試插值數(shù)據(jù)TD1[T1]的差分的絕對值作為評分數(shù)據(jù)M1[T1]輸出。由于TD1[T1]＝100、DI[T1]＝c＝100，評分數(shù)據(jù)M1[T1]成為M1[T1]＝|TD1[T1]-DI[T1]|＝|100-100|＝0。
如圖37(b)所示，第一平均維持插值運算電路6(1)求出測試像素T2的測試插值數(shù)據(jù)TD1[T2]，使得包含測試像素T2的像素列T2C的平均值和不包含測試像素T2的像素列T2B的平均值相等。從而，由方程式(T2C[1]+T2C[2]+TD1[T2]+L+T2D[1])/5＝(L+T2D[1]+T2B[1]+T2B[2]+T2B[3])/5，測試插值數(shù)據(jù)TD1[T2]成為
TD1[T2]＝(T2B[1]+T2B[2]+T2B[3])-(T2C[1]+T2C[2])。
由于T2C[1]＝b＝57，T2C[2]＝c＝100，T2B[1]＝b＝57，T2B[2]＝c＝100，T2B[3]＝d＝143，成為TD1[T2]＝(57+100+143)-(57+100)＝143。
評分電路8將所述測試像素T2的位置處的輸入圖像DI的數(shù)據(jù)DI[T2]和測試插值數(shù)據(jù)TD1[T2]之間的差分的絕對值作為評分數(shù)據(jù)M1[T2]輸出。由于TD1[T2]＝143、DI[T2]＝d＝143，評分數(shù)據(jù)M1[T2]成為M1[T2]＝|TD1[T2]-DI[T2]|＝|143-143|＝0。
如圖37(c)所示，第一平均維持插值運算電路6(1)求出測試像素T3的測試插值數(shù)據(jù)TD1[T3]，使得包含測試像素T3的像素列T3C的平均值和不包含測試像素T3的像素列T3A的平均值相等。從而，由方程式(T3A[1]+T3A[2]+T3A[3]+T3D[1]+L)/5＝(T3D[1]+L+TD1[T3]+T3C[1]+T3C[2])/5，測試插值數(shù)據(jù)TD1[T3]成為TD1[T3]＝(T3A[1]+T3A[2]+T3A[3])-(T3C[1]+T3C[2])。
由于T3C[1]＝b＝57，T3C[2]＝c＝100，T3A[1]＝a＝74，T3A[2]＝b＝57，T3A[3]＝c＝100，成為TD1[T3]＝(74+57+100)-(57+100)＝74。
評分電路8將所述測試像素T3的位置處的輸入圖像DI的數(shù)據(jù)DI[T3]和測試插值數(shù)據(jù)TD1[T3]之間的差分的絕對值作為評分數(shù)據(jù)M1[T3]輸出。由于TD1[T3]＝74、DI[T3]＝a＝74，評分數(shù)據(jù)M1[T3]成為M1[T3]＝|TD1[T3]-DI[T3]|＝|74-74|＝0。
如圖37(d)所示，第一平均維持插值運算電路6(1)求出測試像素T4的測試插值數(shù)據(jù)TD1[T4]，使得包含測試像素T4的像素列T4C的平均值和不包含測試像素T4的像素列T4A的平均值相等。從而，由方程式(T4A[1]+T4A[2]+T4A[3]+L+T4D[1])/5＝(L+T4D[1]+TD1[T4]+T4C[1]+T4C[2])/5，
測試插值數(shù)據(jù)TD1[T4]成為TD1[T4]＝(T4A[1]+T4A[2]+T4A[3])-(T4C[1]+T4C[2])。
由于T4C[1]＝c＝100，T4C[2]＝d＝143，T4A[1]＝b＝57，T4A[2]＝c＝100，T4A[3]＝d＝143，成為TD1[T1]＝(57+100+143)-(100+143)＝57。
評分電路8將所述測試像素T4的位置處的輸入圖像DI的數(shù)據(jù)DI[T4]和測試插值數(shù)據(jù)TD1[T4]之間的差分的絕對值作為評分數(shù)據(jù)M1[T4]輸出。由于TD1[T4]＝57、DI[T4]＝b＝57，評分數(shù)據(jù)M1[T4]成為M1[T4]＝|TD1[T4]-DI[T4]|＝|57-57|＝0。
如圖37(e)所示，第一平均維持插值運算電路6(1)求出缺失像素L的插值數(shù)據(jù)D1，使得包含缺失像素L的像素列LC的平均值和不包含缺失像素L的像素列NA以及NB的平均值相等。從而，由方程式(AD[1]+AD[2]+D1+BD[1]+BD[2])/5＝((NA[1]+NA[2]+NA[3]+AD[1]+AD[2])/5+(BD[1]+BD[2]+NB[1]+NB[2]+NB[3])/5)/2，插值數(shù)據(jù)D1成為D1＝((NA[1]+NA[2]+NA[3]+AD[1]+AD[2])+(BD[1]+BD[2]+NB[1]+NB[2]+NB[3]))/2-(AD[1]+AD[2]+BD[1]+BD[2])。
由于NA[1]＝e＝126，NA[2]＝a＝74，NA[3]＝b＝57，AD[1]＝c＝100，AD[2]＝d＝143，BD[1]＝a＝74，BD[2]＝b＝57，NB[1]＝c＝100，NB[2]＝d＝143，NB[3]＝e＝126，成為D1＝((126+74+57+100+143)+(74+57+100+143+126))/2-(100+143+74+57)＝126。
圖38是用于說明測試像素T1～T4以及缺失像素L中的第二平均維持插值運算電路6(2)以及評分電路8的動作的圖。圖38(a)是表示計算T1中的第二平均維持插值運算電路6(2)的測試插值數(shù)據(jù)的情況的圖，圖38(b)是表示計算T2中的第二平均維持插值運算電路6(2)的測試插值數(shù)據(jù)的情況的圖，圖38(c)是表示計算T3中的第二平均維持插值運算電路6(2)的測試插值數(shù)據(jù)的情況的圖，圖38(d)是表示計算T4中的第二平均維持插值運算電路6(2)的測試插值數(shù)據(jù)的情況的圖，圖38(e)是表示計算缺失像素L中的第二平均維持插值運算電路6(2)的插值數(shù)據(jù)的情況的圖。
說明測試像素T1～T4以及缺失像素L中的第二平均維持插值運算電路6(2)以及評分電路8的動作。
如圖38(a)所示，第二平均維持插值運算電路6(2)求出測試像素T1的測試插值數(shù)據(jù)TD2[T1]，使得包含測試像素T1的像素列T1C的平均值和不包含測試像素T1的像素列T1B的平均值相等。從而，由方程式(T1C[1]+T1C[2]+T1C[3]+TD2[T1]+T1D[1]+L+T1D[2])/7＝(T1D[1]+L+T1D[2]+T1B[1]+T1B[2]+T1B[3]+T1B[4])/7，測試插值數(shù)據(jù)TD1[T1]成為TD2[T1]＝(T1B[1]+T1B[2]+T1B[3]+T1B[4])-(T1C[1]+T1C[2]+T1C[3])。
由于T1C[1]＝e＝126，T1C[2]＝a＝74，T1C[3]＝b＝57，T1B[1]＝b＝57，T1B[2]＝c＝100，T1B[3]＝d＝143，T1B[4]＝e＝126，成為TD2[T1]＝(57+100+143+126)-(126+74+57)＝169。
評分電路8將所述測試像素T1的位置處的輸入圖像DI的數(shù)據(jù)DI[T1]和測試插值數(shù)據(jù)TD2[T1]之間的差分的絕對值作為評分數(shù)據(jù)M2[T1]輸出。由于TD2[T1]＝169、DI[T1]＝c＝100，評分數(shù)據(jù)M2[T1]成為M2[T1]＝|TD2[T1]-DI[T1]|＝|169-100|＝69。
如圖38(b)所示，第二平均維持插值運算電路6(2)求出測試像素T2的測試插值數(shù)據(jù)TD2[T2]，使得包含測試像素T2的像素列T2C的平均值和不包含測試像素T1的像素列T2B的平均值相等。從而，由方程式(T2C[1]+T2C[2]+T2C[3]+TD2[T2]+L+T2D[1]+T2D[2])/7＝(L+T2D[1]+T2D[2]+T2B[1]+T2B[2]+T2B[3]+T2B[4])/7，
測試插值數(shù)據(jù)TD2[T2]成為TD2[T2]＝(T2B[1]+T2B[2]+T2B[3]+T2B[4])-(T2C[1]+T2C[2]+T2C[3])。
由于T2C[1]＝a＝74，T2C[2]＝b＝57，T2C[3]＝c＝100，T2B[1]＝c＝100，T2B[2]＝d＝143，T2B[3]＝e＝126，T2B[4]＝a＝74，成為TD2[T2]＝(100+143+126+74)-(74+57+100)＝212。
評分電路8將所述測試像素T2的位置處的輸入圖像DI的數(shù)據(jù)DI[T2]和測試插值數(shù)據(jù)TD2[T2]之間的差分的絕對值作為評分數(shù)據(jù)M2[T2]輸出。由于TD2[T2]＝212、DI[T2]＝d＝143，評分數(shù)據(jù)M2[T2]成為M2[T2]＝|TD2[T2]-DI[T2]|＝|212-143|＝69。
如圖38(c)所示，第二平均維持插值運算電路6(2)求出測試像素T3的測試插值數(shù)據(jù)TD2[T3]，使得包含測試像素T3的像素列T3C的平均值和不包含測試像素T3的像素列T3A的平均值相等。從而，由方程式(T3A[1]+T3A[2]+T3A[3]+T3A[4]+T3D[1]+T3D[2]+L)/7＝(T3D[1]+T3D[2]+L+TD2[T3]+T3C[1]+T3C[2]+T3C[3])/7，測試插值數(shù)據(jù)TD2[T3]成為TD2[T3]＝(T3A[1]+T3A[2]+T3A[3]+T3[4])-(T3C[1]+T3C[2]+T3C[3])由于T3C[1]＝b＝57，T3C[2]＝c＝100，T3C[3]＝d＝143，T3A[1]＝d＝143，T3A[2]＝e＝126，T3A[3]＝a＝74，T3A[4]＝b＝57，成為TD1[T3]＝(143+126+74+57)-(57+100+143)＝100。
評分電路8將所述測試像素T3的位置處的輸入圖像DI的數(shù)據(jù)DI[T3]和測試插值數(shù)據(jù)TD2[T3]之間的差分的絕對值作為評分數(shù)據(jù)M2[T3]輸出。由于TD2[T3]＝100、DI[T3]＝a＝74，評分數(shù)據(jù)M2[T3]成為M2[T3]＝|TD2[T3]-DI[T3]|＝|100-74|＝26。
如圖38(d)所示，第二平均維持插值運算電路6(2)求出測試像素T4的測試插值數(shù)據(jù)TD2[T4]，使得包含測試像素T4的像素列T4C的平均值和不包含測試像素T3的像素列T4A的平均值相等。從而，由方程式(T4A[1]+T4A[2]+T4A[3]+T4A[4]+T4D[1]+L+T4D[2])/7＝(T4D[1]+L+T4D[2]+TD2[T4]+T4C[1]+T4C[2]+T4C[3])/7，測試插值數(shù)據(jù)TD2[T4]成為TD2[T4]＝(T4A[1]+T4A[2]+T4A[3]+T4A[4])-(T4C[1]+T4C[2]+T4C[3])。
由于T4C[1]＝c＝100，T4C[2]＝d＝143，T4C[3]＝e＝126，T4A[1]＝e＝126，T4A[2]＝a＝74，T4A[3]＝b＝57，T4A[4]＝c＝100，成為TD1[T1]＝(126+74+57+100)-(100+143+126)＝-12。
評分電路8將所述測試像素T4的位置處的輸入圖像DI的數(shù)據(jù)DI[T4]和測試插值數(shù)據(jù)TD2[T4]的差分的絕對值作為評分數(shù)據(jù)M2[T4]輸出。由于TD2[T4]＝-12、DI[T4]＝b＝57，評分數(shù)據(jù)M2[T4]成為M2[T4]＝|TD2[T4]-DI[T4]|＝|-12-57|＝69。
如圖38(e)所示，第二平均維持插值運算電路6(2)求出缺失像素L的插值數(shù)據(jù)，使得包含缺失像素L的像素列LC的平均值和不包含缺失像素L的像素列NA以及NB的平均值相等。從而，由方程式(AD[1]+AD[2]+AD[3]+D1+BD[1]+BD[2]+BD[3])/7＝((NA[1]+NA[2]+NA[3]+NA[4]+AD[1]+AD[2]+AD[3])/7+(BD[1]+BD[2]+BD[3]+NB[1]+NB[2]+NB[3]+NB[4])/7)/2，插值數(shù)據(jù)D1成為D1＝((NA[1]+NA[2]+A[3]+NA[4]+AD[1]+AD[2]+AD[3])+(BD[1]+BD[2]+BD[3]+NB[1]+NB[2]+NB[3]+NB[4]))/2-(AD[1]+AD[2]+AD[3]+BD[1]+BD[2]+BD[3])。
由于NA[1]＝c＝100，NA[2]＝d＝143，NA[3]＝e＝126，NA[4]＝a＝74，AD[1]＝b＝57，AD[2]＝c＝100，AD[3]＝d＝143，BD[1]＝a＝74，BD[2]＝b＝57，BD[3]＝c＝100，NB[1]＝d＝143，NB[2]＝e＝126，NB[3]＝a＝74，NB[4]＝b＝57，成為D1＝((100+143+126+74+57+100+143)+(74+57+100+143+126+74+57))/2
-(57+100+143+74+57+100)＝156。
圖39是將測試像素T1～T4中的評分數(shù)據(jù)M0～M2集中的表。
說明管理電路7的動作。
管理電路7生成左右平均插值運算電路6(0)的評分數(shù)據(jù)M0[T1]～M0[T4]相加得到的值作為評價數(shù)據(jù)S0。由于M0[T1]＝0，M0[T2]＝56，M0[T3]＝26，M0[T4]＝30，所以評價數(shù)據(jù)S0成為S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]＝0+56+26+30＝112。
管理電路7對于第一平均維持插值運算電路6(1)也同樣，生成評分數(shù)據(jù)M1[T1]～M1[T4]相加得到的值作為評價數(shù)據(jù)S1。由于M1[T1]＝0，M1[T2]＝0，M1[T3]＝0，M2[T4]＝0，評價數(shù)據(jù)S1成為S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]＝0+0+0+0＝0。
管理電路7對于第二平均維持插值運算電路6(2)也同樣，生成評分數(shù)據(jù)M2[T1]～M2[T4]相加得到的值作為評價數(shù)據(jù)S2。由于M2[T1]＝69，M2[T2]＝69，M2[T3]＝26，M2[T4]＝69，評價數(shù)據(jù)S2成為S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]＝69+69+26+69＝233。
圖40是將左右平均插值運算電路6(0)、第一平均維持插值運算電路6(1)以及第二平均維持插值運算電路6(2)的評價數(shù)據(jù)S0～S2集中的表。
評價數(shù)據(jù)越小的插值運算電路在缺失像素附近越能適當?shù)剡M行插值，所以可以類推在缺失像素中也可以適當?shù)剡M行插值。管理電路7輸出用于選擇具有評價數(shù)據(jù)S0～S2中的最小的評價數(shù)據(jù)(S1＝0)的第一平均維持插值運算電路6(1)所輸出的插值數(shù)據(jù)的選擇信號C。
輸出電路5輸出與管理電路7輸出的選擇信號C對應(yīng)的插值數(shù)據(jù)D1＝126。如圖31(a)所示，可知缺失像素L的原始數(shù)據(jù)是126，可以以最小的誤差進行插值。
圖33所示的結(jié)構(gòu)例的像素插值電路生成缺失像素L附近的測試像素T1～T4中的3個插值運算電路的測試插值數(shù)據(jù)，對其進行評分以及評價，由此選擇3個插值運算電路中的適合于圖像內(nèi)容的插值運算電路，所以可以適當?shù)貙θ笔袼剡M行插值。
示出使用圖33所示的結(jié)構(gòu)對另一圖像數(shù)據(jù)進行插值的例子。
圖41是表示具有周期性的圖像數(shù)據(jù)的一例的圖。圖41(a)按照像素周期Pp＝7重復(fù)濃度值a＝80、b＝56、c＝65、d＝100、e＝135、f＝144、g＝120。圖38(b)表示缺失像素和測試像素之間的位置關(guān)系。此外，以缺失像素L為中心、左右各兩個地一維設(shè)定，作為與缺失像素L對應(yīng)的測試像素T1～T4。
使用左右平均插值運算電路6(0)、第一平均插值運算電路6(1)以及第二平均維持插值運算電路對圖41(b)的測試像素T1～T4進行測試插值的方法與圖36～圖38所示的方法相同，所以省略說明。
圖42是將測試像素T1～T4中的評分數(shù)據(jù)M0～M2集中的表。
說明管理電路7的動作。
管理電路7生成左右平均插值運算電路6(0)的評分數(shù)據(jù)M0[T1]～M0[T4]相加得到的值作為評價數(shù)據(jù)S0。由于M0[T1]＝13，M0[T2]＝4.5，M0[T3]＝71，M0[T4]＝8，評價數(shù)據(jù)S0成為S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]＝13+4.5+71+8＝96.5。
管理電路7對于第一平均維持插值運算電路6(1)也同樣，生成評分數(shù)據(jù)M1[T1]～M1[T4]相加得到的值作為評價數(shù)據(jù)S1。由于M1[T1]＝143，M1[T2]＝35，M1[T3]＝143，M2[T4]＝35，評價數(shù)據(jù)S1成為S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]＝143+35+143+35＝356。
管理電路7對于第二平均維持插值運算電路6(2)也同樣，生成評分數(shù)據(jù)M2[T1]～M2[T4]相加得到的值作為評價數(shù)據(jù)S2。由于M2[T1]＝0，M2[T2]＝0，M2[T3]＝0，M2[T4]＝0，評價數(shù)據(jù)S2成為S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]
＝0+0+0+0＝0。
圖43是將左右平均插值運算電路6(0)、第一平均維持插值運算電路6(1)以及第二平均維持插值運算電路6(2)的評價數(shù)據(jù)S0～S2集中的表。
評價數(shù)據(jù)越小的插值運算電路在缺失像素附近越能適當?shù)剡M行插值，所以可以類推在缺失像素中也可以適當?shù)剡M行插值。管理電路7輸出用于選擇具有評價數(shù)據(jù)S0～S2中的最小的評價數(shù)據(jù)(S2＝0)的第二平均維持插值運算電路6(2)所輸出的插值數(shù)據(jù)的選擇信號C。
輸出電路5輸出與管理電路7輸出的選擇信號C對應(yīng)的插值數(shù)據(jù)D2＝135。如圖31(a)所示，可知缺失像素L的原始數(shù)據(jù)為135，可以以最小的誤差進行插值。
圖33所示的結(jié)構(gòu)例的像素插值電路生成缺失像素L附近的測試像素T1～T4中的3個插值運算電路的測試插值數(shù)據(jù)，對其進行評分以及評價，由此選擇3個插值運算電路中的適合于圖像內(nèi)容的插值運算電路，所以關(guān)于圖41的數(shù)據(jù)也可以適當?shù)貙θ笔袼剡M行插值。
示出使用圖33所示的結(jié)構(gòu)對另一圖像數(shù)據(jù)進行插值的例子。
圖44是表示具有周期性的圖像數(shù)據(jù)的一例的圖。圖44(a)按照像素周期Pp＝17重復(fù)濃度值a＝100、b＝116、c＝130、d＝140、e＝145、f＝143、g＝136、h＝124、i＝108、j＝92、k＝76、l＝64、m＝57、n＝55、o＝60、p＝70、q＝84。圖44(b)表示缺失像素和測試像素之間的位置關(guān)系。此外，以缺失像素L為中心、左右各兩個地一維設(shè)定，作為與缺失像素L對應(yīng)的測試像素T1～T4。
使用左右平均插值運算電路6(0)、第一平均插值運算電路6(1)以及第二平均維持插值運算電路對圖44(b)的測試像素T1～T4進行測試插值的方法與圖36～圖38所示的方法相同，所以省略說明。
圖45是將測試像素T1～T4中的評分數(shù)據(jù)M0～M2集中的表。
說明管理電路7的動作。
管理電路7生成左右平均插值運算電路6(0)的評分數(shù)據(jù)M0[T1]～M0[T4]相加得到的值作為評價數(shù)據(jù)S0。由于M0[T1]＝3.5，M0[T2]＝8.5，M0[T3]＝1.5，M0[T4]＝0，評價數(shù)據(jù)S0成為S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]＝3.5+8.5+1.5+0＝13.5。
管理電路7對于第一平均維持插值運算電路6(1)也同樣，生成評分數(shù)據(jù)M1[T1]～M1[T4]相加得到的值作為評價數(shù)據(jù)S1。由于M1[T1]＝91，M1[T2]＝152，M1[T3]＝91，M2[T4]＝152，評價數(shù)據(jù)S1成為S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]＝91+152+91+152＝486。
管理電路7對于第二平均維持插值運算電路6(2)也同樣，生成評分數(shù)據(jù)M2[T1]～M2[T4]相加得到的值作為評價數(shù)據(jù)S2。由于M2[T1]＝191，M2[T2]＝269，M2[T3]＝86，M2[T4]＝191，評價數(shù)據(jù)S2成為S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]＝191+269+86+191＝737。
圖46是將左右平均插值運算電路6(0)、第一平均維持插值運算電路6(1)以及第二平均維持插值運算電路6(2)的評價數(shù)據(jù)S0～S2集中的表。
評價數(shù)據(jù)越小的插值運算電路在缺失像素附近越能適當?shù)剡M行插值，所以可以類推在缺失像素中也可以適當?shù)剡M行插值。管理電路7輸出用于選擇具有評價數(shù)據(jù)S0～S2中的最小的評價數(shù)據(jù)(S0＝13.5)的左右平均插值運算電路6(0)所輸出的插值數(shù)據(jù)的選擇信號C。
輸出電路5輸出與管理電路7輸出的選擇信號C對應(yīng)的插值數(shù)據(jù)D0＝133.5。如圖31(a)所示，可知缺失像素L的原始數(shù)據(jù)為136，可以以最小的誤差進行插值。
圖33所示的結(jié)構(gòu)例的像素插值電路生成缺失像素L附近的測試像素T1～T4中的3個插值運算電路的測試插值數(shù)據(jù)，對其進行評分以及評價，由此選擇3個插值運算電路中的適合于圖像內(nèi)容的插值運算電路，所以關(guān)于圖44的數(shù)據(jù)也可以適當?shù)貙θ笔袼剡M行插值。
這樣，由管理電路7、評分電路8構(gòu)成的選擇信號生成部9可以根據(jù)圖像數(shù)據(jù)生成選擇通過適當?shù)牟逯颠\算電路產(chǎn)生的插值數(shù)據(jù)的選擇信號，不管圖像數(shù)據(jù)的周期性如何均可使插值誤差成為最小。
此外，由于使用缺失像素的插值數(shù)據(jù)所使用的插值運算電路(例如，包含缺失部合計計算電路19以及非缺失部合計計算電路17)求出測試像素的插值數(shù)據(jù)，所以可以在不大幅地增加電路規(guī)模的情況下進行通過測試像素實現(xiàn)的評價。
另外，在圖29的像素插值電路中，也可以省略左右平均插值運算電路6(0)。在該情況下，對平均維持插值運算電路6(1)至6(n)進行評價，選擇其中任意一個的輸出。
實施方式7圖47是表示實施方式7中的插值運算電路的結(jié)構(gòu)的圖。實施方式6中的插值運算電路的結(jié)構(gòu)是對實施方式1～3所示的平均維持插值運算電路追加限制平均維持插值運算電路的輸出的輸出限制部13。輸出限制部13由輸出范圍生成電路10和限制電路11構(gòu)成，限制由于噪聲等產(chǎn)生的平均維持插值運算電路的插值誤差。
圖48表示輸入圖像DI的一部分，表示缺失像素和參照數(shù)據(jù)范圍之間的位置關(guān)系。
說明實施方式7中的插值運算電路的結(jié)構(gòu)和動作。
實施方式7中的插值運算電路具有輸出范圍生成電路10和限制電路11以及平均維持插值運算電路12。輸入圖像DI輸入給輸出范圍生成電路10以及平均維持插值運算電路12。參數(shù)k輸入給平均維持插值運算電路12。平均維持插值運算電路基于輸入圖像DI和參數(shù)k，輸出限制前數(shù)據(jù)Da。限制前數(shù)據(jù)Da輸入給限制電路11。
從外部提供的指定參照數(shù)據(jù)范圍r的數(shù)據(jù)被輸入給輸出范圍生成電路10。輸出范圍生成電路10基于輸入圖像DI中的缺失像素的右側(cè)r個像素和左側(cè)r個像素，生成輸出最大值Lmax和輸出最小值Lmin。輸出最大值Lmax為Lmax＝max(M[1]、…、M[r]、M[r+1]、…、M[2r])。
這里，max(M[1]、…、M[r]、M[r+1]…、M[2r])是求出像素M[1]、…、M[r]、M[r+1]、…、M[2r]的最大值的函數(shù)。輸出最大值Lmax輸入給限制電路11。
此外，輸出最小值Lmin為Lmin＝min(M[1]、…、M[r]、M[r+1]、…、M[2r])。
這里，min(M[1]、…、M[r]、M[r+1]、…、M[2r])是求出像素M[1]、…、M[r]、M[r+1]、…、M[2r]的最小值的函數(shù)。輸出最小值Lmin輸入給限制電路11。
限制電路11基于輸出最大值Lmax和輸出最小值Lmin，對限制前數(shù)據(jù)Da進行限制，作為限制后數(shù)據(jù)Db輸出。限制后數(shù)據(jù)Db在Da＜Lmin的情況下，為Db＝Lmin，在Lmin≤Da≤Lmax的情況下，Db＝Da，在Lmax＜Db的情況下，為Db＝Lmax。
實施方式7中的插值運算電路可以將平均維持插值運算電路的輸出限制在缺失像素附近的2r個濃度值的范圍內(nèi)。
使用具體例進行說明。
圖49是具體例的插值運算電路的結(jié)構(gòu)。
圖50表示像素周期Pp＝5的圖像數(shù)據(jù)。在圖50中，像素NB[3]的濃度值由于噪聲而從74變?yōu)?4。
說明結(jié)構(gòu)和動作。
輸入圖像DI輸入給平均維持插值運算電路和輸出范圍生成電路。參數(shù)k＝9輸入給平均維持插值運算電路12。平均維持插值運算電路12求出缺失像素L的插值數(shù)據(jù)，使得包含缺失像素的像素列LC和不包含缺失像素的兩個像素列NA以及NB的平均值相等。方程式為(AD[1]+AD[2]+AD[3]+AD[4]+L+BD[1]+BD[2]+BD[3]+BD[4])/9＝((NA[1]+NA[2]+NA[3]+NA[4]+NA[5]+AD[1]+AD[2]+AD[3]+AD[4])/9+(BD[1]+BD[2]+BD[3]+BD[4]+NB[1]+NB[2]+NB[3]+NB[4]+NB[5])/9)/2，
缺失像素L為L＝((NA[1]+NA[2]+NA[3]+NA[4]+NA[5]+AD[1]+AD[2]+AD[3]+AD[4])+(BD[1]+BD[2]+BD[3]+BD[4]+NB[1]+NB[2]+NB[3]+NB[4]+NB[5]))/2-(AD[1]+AD[2]+AD[3]+AD[4]+L+BD[1]+BD[2]+BD[3]+BD[4])。
由于NA[1]＝126，NA[2]＝74，NA[3]＝57，NA[4]＝100，NA[5]＝143，AD[1]＝126，AD[2]＝74，AD[3]＝57，AD[4]＝100，BD[1]＝126，BD[2]＝74，BD[3]＝57，BD[4]＝100，NB[1]＝143，NB[2]＝126，NB[3]＝94，NB[4]57，NB[5]＝100，成為L＝((126+74+57+100+143+126+74+57+100)+(126+74+57+100+143+126+94+57+100))/2-(126+74+57+100+126+74+57+100)＝153。
將缺失像素的插值數(shù)據(jù)L作為限制前數(shù)據(jù)Da。限制前數(shù)據(jù)Da輸入給限制電路11。
參照數(shù)據(jù)范圍r＝9輸入給輸出范圍生成電路。輸出范圍生成電路10輸出輸入圖像DI中的缺失像素L的右側(cè)9個和左側(cè)9個的最大值作為輸出最大值Lmax。輸出最大值Lmax為Lmax＝143。
輸出最大值Lmax輸入給限制電路。
此外，輸出范圍生成電路10輸出輸入圖像DI中的缺失像素L的右側(cè)9個和左側(cè)9個的最小值作為輸出最小值Lmin。輸出最小值Lmin為Lmin＝57。
輸出最小值Lmin輸入給限制電路11。
限制電路11基于輸出最大值Lmax和輸出最小值Lmin，對限制前數(shù)據(jù)Da進行校正而作為限制后數(shù)據(jù)Db輸出。由于Da＝153、Lmax＝143、Lmin＝57，Lmax＜Da成立，所以限制后數(shù)據(jù)Db為Db＝Lmax＝143。
根據(jù)圖50，缺失像素L的原始數(shù)據(jù)為143，限制后數(shù)據(jù)Db＝143的誤差為|143-143|＝0。限制前數(shù)據(jù)的誤差為|153-143|＝10，通過進行限制可以減小誤差。
實施方式8在實施方式1～3中，說明了由硬件通過平均維持插值運算對缺失像素進行插值的插值運算電路的結(jié)構(gòu)，但也可以通過軟件對缺失像素進行插值。另外，也可以同時使用軟件和硬件。
圖51是說明通過軟件處理對缺失像素進行插值的動作(插值運算方法)的流程圖。
也參照圖2說明流程圖的動作。
在步驟s1中，生成包含缺失像素的像素列LC的部分和數(shù)據(jù)(相當于實施方式1中的SL)。
在步驟s2中，生成不包含缺失像素的像素列NA的部分和數(shù)據(jù)(相當于實施方式1中的SA)。
如圖13所示，在存在多個不包含缺失像素的像素列的情況下，返回步驟s2，生成各個部分和數(shù)據(jù)。(步驟s3)在步驟s4中，基于在步驟s1中生成的部分和數(shù)據(jù)(相當于SA的數(shù)據(jù))和在步驟s2中生成的部分和數(shù)據(jù)(相當于SL的數(shù)據(jù))，建立方程式，使得包含缺失像素的像素列的平均值和不包含缺失像素的像素列的平均值相等。
在步驟s5中，對在步驟s4中建立的方程式進行求解(例如從相當于SA的數(shù)據(jù)中減去相當于SL的數(shù)據(jù))，求出缺失像素的插值數(shù)據(jù)。
由于關(guān)于各個步驟中的處理內(nèi)容在實施方式1～3中已詳細示出，所以這里省略說明。
實施方式9在實施方式6中，說明了由硬件通過平均維持插值運算和左右平均插值運算的同時使用來對缺失像素進行插值的像素插值電路的結(jié)構(gòu)，但也可以由軟件來對缺失像素進行插值。另外，也可以同時使用軟件和硬件。
圖52是說明通過軟件處理對缺失像素進行插值的動作(像素插值方法)的流程圖。
也參照圖30(a)說明流程圖的動作。
在步驟s1中，生成測試像素T1中的左右平均插值運算方法的測試插值數(shù)據(jù)(相當于實施方式6的TD0[T1])。
在步驟s2中，生成測試像素T1的位置處的輸入圖像DI的數(shù)據(jù)(相當于實施方式6的DI[T1])和步驟s1中所生成的測試插值數(shù)據(jù)之間的差分的絕對值，作為評分數(shù)據(jù)(相當于實施方式6的M0[T1])。
接著，返回步驟s1，生成測試像素T2中的左右平均插值運算方法的測試插值數(shù)據(jù)(相當于實施方式6的TD0[T2])。
在步驟s2中，生成測試像素T2的位置處的輸入圖像DI的數(shù)據(jù)(相當于實施方式6的DI[T2])和步驟s1中所生成的測試插值數(shù)據(jù)之間的差分的絕對值，作為評分數(shù)據(jù)(相當于實施方式6的M0[T2])。
對于測試像素T3～Tm也同樣地重復(fù)步驟s1和步驟s2的步驟(步驟s3)。這樣，得到所有的測試像素T1～Tm中的左右平均插值運算方法的評分數(shù)據(jù)。
在步驟s4中，生成缺失像素L中的左右平均插值運算方法的插值數(shù)據(jù)。
接著，返回步驟s1，生成測試像素T1中的第一平均維持插值運算方法的測試插值數(shù)據(jù)(相當于實施方式6的TD1[T1])。
在步驟s2中，生成測試像素T1的位置處的輸入圖像DI的數(shù)據(jù)(相當于實施方式6的DI[T1])和步驟s1中所生成的測試插值數(shù)據(jù)之間的差分的絕對值，作為評分數(shù)據(jù)(相當于實施方式6的M1[T1])。
接著，返回步驟s1，生成測試像素T2中的第一平均維持插值運算方法的測試插值數(shù)據(jù)(相當于實施方式1的TD1[T2])。
在步驟s2中，生成測試像素T2的位置處的輸入圖像DI的數(shù)據(jù)(相當于實施方式6的DI[T2])和步驟s1中所生成的測試插值數(shù)據(jù)之間的差分的絕對值，作為評分數(shù)據(jù)(相當于實施方式6的M1[T2])。
對于測試像素T3～Tm也同樣地重復(fù)步驟s1和步驟s2的步驟(步驟s3)。這樣，得到所有的測試像素T1～Tm中的第一平均維持插值運算方法的評分數(shù)據(jù)。
在步驟s4中，生成缺失像素L中的第一平均維持插值運算方法的插值數(shù)據(jù)。
對于第二平均維持插值運算方法～第n平均維持插值運算方法也同樣重復(fù)步驟s1～s4的步驟(步驟s5)。分別對于左右平均插值運算方法以及第一平均維持插值運算方法～第n平均維持插值運算方法，得到所有的測試像素T1～Tm中的評分數(shù)據(jù)和缺失像素L中的插值數(shù)據(jù)。
在步驟s6中針對每個插值運算方法對評分數(shù)據(jù)進行相加而生成左右平均插值運算電路以及第一平均維持插值運算方法～第n平均維持插值運算方法各自的評價數(shù)據(jù)(相當于實施方式6的S0～Sn)。
在步驟s7中，基于步驟s6中所生成的評價數(shù)據(jù)選擇對缺失像素進行插值的插值數(shù)據(jù)。
重復(fù)上述步驟s1～步驟s7的步驟直到達到最后的缺失像素為止(步驟s8)。
由于關(guān)于各個步驟中的處理內(nèi)容在實施方式6中已詳細示出，所以這里省略說明。
另外，在上述的各實施方式中，在左右方向上排列了像素，在左右平均插值運算中，通過求出與缺失像素或測試用非缺失像素左右鄰接的像素的平均而生成了插值數(shù)據(jù)，但在上下排列了像素的情況下，通過求出與缺失像素或測試用非缺失像素上下鄰接的像素的平均而生成插值數(shù)據(jù)。這樣的左右平均插值運算或上下平均插值運算總稱為鄰接像素平均插值運算。
權(quán)利要求
1.一種平均維持插值運算電路，其特征在于，求出缺失像素的插值數(shù)據(jù)，使得構(gòu)成包含缺失像素的像素組的多個像素的值的平均值和構(gòu)成不包含缺失像素的像素組的多個像素的值的平均值相等。
2.如權(quán)利要求1所述的平均維持插值運算電路，其特征在于，構(gòu)成包含所述缺失像素的像素組的像素個數(shù)和構(gòu)成不包含所述缺失像素的像素組的像素個數(shù)均為k(k是正整數(shù))，該平均維持插值運算電路具有缺失部合計計算電路，其求出構(gòu)成包含所述缺失像素的像素組的k個像素中、所述缺失像素以外的像素的值的合計；非缺失部合計計算電路，其求出構(gòu)成不包含所述缺失像素的像素組的k個像素的值的合計；以及差分電路，其通過從所述非缺失部合計計算電路的輸出中減去所述缺失部合計計算電路的輸出，求出所述缺失像素的插值數(shù)據(jù)。
3.如權(quán)利要求2所述的平均維持插值運算電路，其特征在于，所述非缺失部合計計算電路具有第一非缺失部加法電路，其求出構(gòu)成不包含所述缺失像素的第一像素組的k個像素的值之和；第二非缺失部加法電路，其求出構(gòu)成不包含所述缺失像素的第二像素組的k個像素的值之和；以及平均電路，其求出所述第一非缺失部加法電路的輸出和所述第二非缺失部加法電路的輸出的平均，將該平均作為所述合計輸出。
4.如權(quán)利要求2所述的平均維持插值運算電路，其特征在于，所述像素組分別構(gòu)成周期變化的一系列像素的一部分，在構(gòu)成不包含所述缺失像素的像素組的像素和構(gòu)成包含所述缺失像素的包含像素的像素組的像素相互不重復(fù)的情況下，所述k被設(shè)定為與像素個數(shù)所示的像素變化周期或其整數(shù)倍大致相等的值。
5.如權(quán)利要求2所述的平均維持插值運算電路，其特征在于，所述像素組分別構(gòu)成周期變化的一系列像素的一部分，構(gòu)成不包含所述缺失像素的像素組的像素中的i個像素(i是正整數(shù))和構(gòu)成包含所述缺失像素的包含像素的像素組的像素中的i個像素相互重復(fù)，所述k或從所述k中減去所述i后的值被設(shè)定為與像素個數(shù)所示的像素變化周期或其整數(shù)倍大致相等的值。
6.一種像素插值電路，其特征在于，具有權(quán)利要求1所述的平均維持插值運算電路；以及用缺失像素附近的像素的值的最大值和最小值來限制輸出范圍的電路。
7.一種像素插值電路，其特征在于，具有多個權(quán)利要求2所述的平均維持插值運算電路，這些平均維持插值運算電路的所述k或(k-i)互不相同，還具有輸出電路，所述多個平均維持插值運算電路分別生成缺失像素的插值數(shù)據(jù)，所述輸出電路選擇所述多個平均維持插值運算電路所輸出的插值數(shù)據(jù)中的一個，作為缺失像素的插值數(shù)據(jù)輸出。
8.如權(quán)利要求7所述的像素插值電路，其特征在于，還具有鄰接像素平均插值運算電路，其生成與缺失像素鄰接的像素的值的平均值，作為插值數(shù)據(jù)，所述輸出電路選擇所述多個平均維持插值運算電路以及所述鄰接像素平均插值運算電路所輸出的插值數(shù)據(jù)中的一個，作為缺失像素的插值數(shù)據(jù)輸出。
9.如權(quán)利要求8所述的像素插值電路，其特征在于，還具有選擇信號生成部，其基于所述缺失像素附近的像素的原始數(shù)據(jù)、以及對于該缺失像素附近的像素、按照與求出所述缺失像素的插值數(shù)據(jù)的方法相同的方法求得的插值數(shù)據(jù)，生成選擇來自所述多個插值運算電路的插值數(shù)據(jù)中的一個的選擇信號。
10.如權(quán)利要求9所述的像素插值電路，其特征在于，還具有控制電路，該控制電路對所述多個平均維持插值運算電路各自的所述缺失部合計計算電路，輸入構(gòu)成包含所述缺失像素附近的測試用非缺失像素的像素組的k個像素中、所述測試用非缺失像素以外的像素，求出其值的合計；對所述多個平均維持插值運算電路各自的所述非缺失部合計計算電路，輸入構(gòu)成不包含所述測試用非缺失像素的像素組的k個像素，求出其值的合計；使所述多個平均維持插值運算電路各自的所述差分電路通過從所述非缺失部合計計算電路的輸出中減去所述缺失部合計計算電路的輸出，求出所述測試用非缺失像素的插值數(shù)據(jù)；對所述鄰接像素平均插值運算電路輸入與位于所述缺失像素附近、不與所述缺失像素鄰接的測試用非缺失像素鄰接的像素，求出其平均值，作為所述測試用非缺失像素的插值數(shù)據(jù)，所述選擇信號生成部基于由所述多個插值運算電路分別求出的所述測試用非缺失像素的插值數(shù)據(jù)和所述測試用非缺失像素的原始數(shù)據(jù)，評價所述插值運算電路，確定選擇信號的內(nèi)容，使得選擇得到最佳評價的插值運算電路，所述控制電路對所述多個平均維持插值運算電路各自的所述缺失部合計計算電路輸入構(gòu)成包含所述缺失像素的像素組的像素，對所述非缺失部合計計算電路輸入構(gòu)成不包含所述缺失像素的像素組的像素，對所述鄰接像素平均插值運算電路輸入與缺失像素鄰接的像素，使所述輸出電路基于如上所述地確定了內(nèi)容的選擇信號，選擇來自所述插值運算電路的插值數(shù)據(jù)中的一個而輸出。
11.如權(quán)利要求7所述的像素插值電路，其特征在于，還具有選擇信號生成部，其基于所述缺失像素附近的像素的原始數(shù)據(jù)，以及對于該缺失像素附近的像素、按照與求出所述缺失像素的插值數(shù)據(jù)相同的方法求得的插值數(shù)據(jù)，生成選擇來自所述多個平均維持插值運算電路的插值數(shù)據(jù)中的一個的選擇信號。
12.如權(quán)利要求11所述的像素插值電路，其特征在于，還具有控制電路，該控制電路對所述多個平均維持插值運算電路各自的所述缺失部合計計算電路，輸入構(gòu)成包含所述缺失像素附近的測試用非缺失像素的像素組的k個像素中、所述測試用非缺失像素以外的像素，求出其值的合計；對所述多個平均維持插值運算電路各自的所述非缺失部合計計算電路，輸入構(gòu)成不包含所述測試用非缺失像素的像素組的k個像素，求出其值的合計；使所述多個平均維持插值運算電路各自的所述差分電路通過從所述非缺失部合計計算電路的輸出中減去所述缺失部合計計算電路的輸出，求出所述測試用非缺失像素的插值數(shù)據(jù)，所述選擇信號生成部基于由所述多個平均維持插值運算電路分別求出的所述測試用非缺失像素的插值數(shù)據(jù)和所述測試用非缺失像素的原始數(shù)據(jù)，評價所述平均維持插值運算電路，確定選擇信號的內(nèi)容，使得選擇得到最佳評價的平均維持插值運算電路，所述控制電路對所述多個平均維持插值運算電路各自的所述缺失部合計計算電路輸入構(gòu)成包含所述缺失像素的像素組的像素，對所述非缺失部合計計算電路輸入構(gòu)成不包含所述缺失像素的像素組的像素，使所述輸出電路基于如上所述地確定了內(nèi)容的選擇信號，選擇來自所述多個插值運算電路的插值數(shù)據(jù)中的一個而輸出。
13.一種平均維持插值運算方法，其特征在于，求出缺失像素的插值數(shù)據(jù)，使得構(gòu)成包含缺失像素的像素組的多個像素的值的平均值和構(gòu)成不包含缺失像素的像素組的多個像素的值的平均值相等。
14.如權(quán)利要求13所述的平均維持插值運算方法，其特征在于，構(gòu)成包含所述缺失像素的像素組的像素個數(shù)和構(gòu)成不包含所述缺失像素的像素組的像素個數(shù)均為k(k是正整數(shù))，該平均維持插值運算方法具有缺失部合計計算步驟，求出構(gòu)成包含所述缺失像素的像素組的k個像素中、所述缺失像素以外的像素的值的合計；非缺失部合計計算步驟，求出構(gòu)成不包含所述缺失像素的像素組的k個像素的值的合計；以及差分步驟，通過從所述非缺失部合計計算步驟的計算結(jié)果中減去所述缺失部合計計算步驟的計算結(jié)果，求出所述缺失像素的插值數(shù)據(jù)。
15.如權(quán)利要求14所述的平均維持插值運算方法，其特征在于，所述非缺失部合計計算步驟具有第一非缺失部加法步驟，求出構(gòu)成不包含所述缺失像素的第一像素組的k個像素的值之和；第二非缺失部加法步驟，求出構(gòu)成不包含所述缺失像素的第二像素組的k個像素的值之和；以及平均步驟，求出所述第一非缺失部加法步驟的加法結(jié)果和所述第二非缺失部加法步驟的加法結(jié)果的平均，將該平均作為所述合計輸出。
16.如權(quán)利要求14所述的平均維持插值運算方法，其特征在于，所述像素組分別構(gòu)成周期變化的一系列像素的一部分，在構(gòu)成不包含所述缺失像素的像素組的像素和構(gòu)成包含所述缺失像素的包含像素的像素組的像素相互不重復(fù)的情況下，所述k被設(shè)定為與像素個數(shù)所示的像素變化周期或其整數(shù)倍大致相等的值。
17.如權(quán)利要求14所述的平均維持插值運算電路，其特征在于，所述像素組分別構(gòu)成周期變化的一系列像素的一部分，構(gòu)成不包含所述缺失像素的像素組的像素中的i個像素(i是正整數(shù))和構(gòu)成包含所述缺失像素的包含像素的像素組的像素中的i個像素相互重復(fù)，所述k或從所述k中減去所述i后的值被設(shè)定為與像素個數(shù)所示的像素變化周期或其整數(shù)倍大致相等的值。
18.一種像素插值方法，其特征在于，還具有對于通過權(quán)利要求13的平均維持插值運算方法所求出的插值數(shù)據(jù)，用缺失像素附近的像素的值的最大值和最小值來限制輸出范圍的步驟。
19.一種像素插值方法，其特征在于，對于多個互不相同的所述k或(k-i)進行權(quán)利要求14所述的平均維持插值運算步驟，每次生成缺失像素的插值數(shù)據(jù)，所述輸出步驟選擇所述多個平均維持插值運算步驟所輸出的插值數(shù)據(jù)中的一個，作為缺失像素的插值數(shù)據(jù)輸出。
20.如權(quán)利要求19所述的像素插值方法，其特征在于，還具有鄰接像素平均插值運算步驟，生成與缺失像素鄰接的像素的值的平均值，作為插值數(shù)據(jù)，所述輸出步驟選擇所述多個平均維持插值運算步驟以及所述鄰接像素平均插值運算步驟所輸出的插值數(shù)據(jù)中的一個，作為缺失像素的插值數(shù)據(jù)輸出。
全文摘要
求出缺失像素的插值數(shù)據(jù)，以使構(gòu)成包含缺失像素的像素組的多個像素的值的平均值和構(gòu)成不包含缺失像素的像素組的多個像素的值的平均值相等。例如，求出構(gòu)成包含缺失像素(L)的像素組(LC)的k個像素中、缺失像素以外的像素的值的合計(SL)(1)；求出構(gòu)成不包含缺失像素的像素組(NA)的k個像素的值的合計(SA)(2)；通過求出它們的差(3)而求出缺失的插值數(shù)據(jù)。由此，可以減小對缺失了一部分像素的周期性高的圖像進行插值的情況下的插值誤差。
文檔編號H04N1/40GK1879126SQ20048003313
公開日2006年12月13日 申請日期2004年6月18日 優(yōu)先權(quán)日2003年11月10日
發(fā)明者山中聰, 奧野好章, 染谷潤 申請人:三菱電機株式會社