專利名稱：：全色與彩色像素的插值的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明通常涉及數(shù)字圖像處理操作領(lǐng)域，所述數(shù)字圖像處理操作特別適用于各種成像設(shè)備。
背景技術(shù)：
：視頻照相機(jī)和數(shù)字靜止照相機(jī)一般釆用具有濾色器陣列的單一圖像傳感器來(lái)記錄場(chǎng)景。這種方法以稀疏分布的單通道圖像開(kāi)始，其中顏色信息由濾色器陣列模式進(jìn)行編碼。對(duì)相鄰像素值的隨后插值允許重建完整的三通道全彩色圖^f象。在Hamilton等人的美國(guó)專利No.5506619中可以看到這個(gè)過(guò)程的一個(gè)實(shí)例。在微光成像情況下，有利的是不對(duì)濾色器陣列中的一個(gè)或多個(gè)像素進(jìn)行濾波，即在光譜靈敏度方面呈白色或全色。這些全色像素具有捕捉系統(tǒng)的最大光敏度能力。采用全色像素代表捕捉系統(tǒng)中光敏度和色空間分辨率之間的折衷。為此，描述了許多四顏色濾色器陣列系統(tǒng)。Dyck等人的美國(guó)專利No.6529239教導(dǎo)了一種排列成呈棋盤格狀鑲嵌在傳感器表面上的2x2塊的綠-青-黃-白才莫式。Hubina等人的美國(guó)專利No.6757012公開(kāi)了紅-綠-藍(lán)-白模式和黃-青-品紅-白模式二者。在這兩種情況下，顏色排列在呈棋盤格狀鑲嵌在成像器的表面上的2x2塊中。這種系統(tǒng)的困難在于，濾色器陣列中只有四分之一的像素具有最大光敏度，從而限制了該捕捉設(shè)備的總體微光性能。為了滿足在濾色器陣列中使更多像素具有最大光敏度的需要，F(xiàn)rame的美國(guó)專利申請(qǐng)公開(kāi)2003/0210332描述了一種大多數(shù)像素未加濾波的像素陣列。相對(duì)較少的像素專用于捕捉來(lái)自場(chǎng)景的顏色信息，得到具有低的色空間分辨率性能的系統(tǒng)。此外，F(xiàn)rame還教導(dǎo)了使用簡(jiǎn)單的線性插值技術(shù)，所述簡(jiǎn)單的線性插值技術(shù)不響應(yīng)或者保護(hù)圖像中的高頻色空間細(xì)節(jié)。所需要的是具有全色和彩色像素的適當(dāng)組成的濾色器陣列，以便提供改善的微光靈敏度和改善的色空間分辨率保真度。此外，需要處理由這種濾色器陣列產(chǎn)生的圖像數(shù)據(jù)以便保護(hù)和增強(qiáng)全色和彩色空間細(xì)節(jié)并且最終產(chǎn)生全彩色全分辨率的圖像的方法。
發(fā)明內(nèi)容本發(fā)明提供了一種用于形成最終的數(shù)字彩色圖像的方法，該方法包括(a)使用圖像傳感器捕捉圖像，所述圖像傳感器具有全色像素和與至少兩種彩色光響應(yīng)對(duì)應(yīng)的彩色4象素；(b)根據(jù)捕捉的圖像提供數(shù)字高分辨率全色圖像和數(shù)字高分辨率色差圖像；以及(c)使用所述數(shù)字高分辨率全色圖像和數(shù)字高分辨率色差圖像來(lái)產(chǎn)生最終的數(shù)字高分辨率全彩色圖像。本發(fā)明的一個(gè)特征在于，可以以改善的圖像保真度在微光捕捉下捕捉圖像。本發(fā)明的另一個(gè)特征在于，通過(guò)使用自適應(yīng)圖像處理策略來(lái)改善圖像保真度。圖1為用于實(shí)現(xiàn)本發(fā)明的包括數(shù)字照相機(jī)的計(jì)算機(jī)系統(tǒng)的透視圖2為優(yōu)選實(shí)施例的框圖3為圖2中的方塊204的更詳細(xì)的框圖4為在圖2的方塊200中的像素區(qū)域；圖5為在圖2的方塊202中使用的像素區(qū)域；圖6為在圖2的方塊202中產(chǎn)生的像素區(qū)域；圖7為在圖2的方塊204中使用的像素區(qū)域；圖8為在圖2的方塊204中產(chǎn)生的像素區(qū)域；圖9為在圖2的方塊206中產(chǎn)生的像素區(qū)域；圖10為在圖2的方塊210中產(chǎn)生的像素區(qū)域；圖11為可替換實(shí)施例的圖2中的方塊200中產(chǎn)生的像素區(qū)域；圖12為可替換實(shí)施例的圖2中的方塊202中使用的像素區(qū)域；圖13為可替換實(shí)施例的圖2中的方塊204中使用的像素區(qū)域；圖14為可替換實(shí)施例的圖2中的方塊200中產(chǎn)生的像素區(qū)域；圖15為可替換實(shí)施例的圖2中的方塊202中使用的像素區(qū)域；圖16為可替換實(shí)施例的圖2中的方塊204中使用的像素區(qū)域；圖17為可替換實(shí)施例的圖2中的方塊204中產(chǎn)生的像素區(qū)域；圖18為可替換實(shí)施例的圖2中的方塊210中的像素區(qū)域；圖19為可替換實(shí)施例的圖2中的方塊200中產(chǎn)生的像素區(qū)域；圖20為可替換實(shí)施例的圖2中的方塊202中使用的像素區(qū)域；圖21為可替換實(shí)施例的圖2中的方塊204中使用的像素區(qū)域；以及圖22為可替換實(shí)施例的圖2中的方塊204中產(chǎn)生的像素區(qū)域。具體實(shí)施例方式在下面的說(shuō)明中，將按照通常將實(shí)現(xiàn)為軟件程序的方面來(lái)描述本發(fā)明的優(yōu)選實(shí)施例。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)容易認(rèn)識(shí)到，也可以以硬件構(gòu)造這種軟件的等效物。由于圖像操縱算法和系統(tǒng)是眾所周知的，因此本說(shuō)明書(shū)將特別著眼于形成依照本發(fā)明的系統(tǒng)和方法的一部分或者更加直接地與依照本發(fā)明的系統(tǒng)和方法協(xié)同操作的算法和系統(tǒng)。本文沒(méi)有具體示出或者描述的這種算法和系統(tǒng)的其他方面以及用于產(chǎn)生和以其他方式處理與其有關(guān)的圖像信號(hào)的硬件或軟件可以從本領(lǐng)域中已知的這種系統(tǒng)、算法、部件和元件中選取。給定在下列材料中依照本發(fā)明描述的系統(tǒng)，本文沒(méi)有具體示出、建議或者描述的、對(duì)實(shí)現(xiàn)本發(fā)明有用的軟件是常規(guī)的并且為本領(lǐng)域中的普通技術(shù)人員所熟悉。另外，如在本文中所使用的，所述計(jì)算機(jī)程序可以存儲(chǔ)于計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以包括例如諸如磁盤(例如硬盤驅(qū)動(dòng)器或軟盤)或磁帶之類的磁存儲(chǔ)介質(zhì)；諸如光盤、光帶或機(jī)器可讀條形碼之類的光學(xué)存儲(chǔ)介質(zhì)；諸如隨機(jī)存取存儲(chǔ)器(RAM)或只讀存儲(chǔ)器(ROM)之類的固態(tài)電子存儲(chǔ)設(shè)備；或者用來(lái)存儲(chǔ)計(jì)算機(jī)程序的任何其他物理設(shè)備或介質(zhì)。在描述本發(fā)明之前，有助于理解的是，應(yīng)當(dāng)指出本發(fā)明優(yōu)選地用于例如個(gè)人計(jì)算機(jī)的任何公知的計(jì)算機(jī)系統(tǒng)上。因此，本文將不對(duì)計(jì)算機(jī)系統(tǒng)詳加討論。另外有指導(dǎo)意義的是，應(yīng)當(dāng)指出圖像或者直接輸入到計(jì)算機(jī)系統(tǒng)中(例如通過(guò)數(shù)字照相機(jī))，或者在輸入到計(jì)算機(jī)系統(tǒng)之前進(jìn)行數(shù)字化(例如通過(guò)掃描諸如卣化銀膠片的原物)。參照?qǐng)D1,其示出了用于實(shí)現(xiàn)本發(fā)明的計(jì)算機(jī)系統(tǒng)110。盡管示出的計(jì)算機(jī)系統(tǒng)110用于說(shuō)明優(yōu)選實(shí)施例的目的，但是本發(fā)明并不限于所示出的計(jì)算機(jī)系統(tǒng)iio,而是可以用于諸如在家用計(jì)算機(jī)、售貨亭、零售或批發(fā)照相洗印加工中看到的任何電子處理系統(tǒng)上，或者可以用于處理數(shù)字圖像的任何其他系統(tǒng)上。計(jì)算機(jī)系統(tǒng)110包括用于接收和處理軟件程序并且用于執(zhí)行其他處理功能的基于微處理器的單元112。顯示器114電連接到基于微處理器的單元112,用于例如通過(guò)圖形用戶接口顯示與軟件關(guān)聯(lián)的用戶相關(guān)信息。鍵盤116也連接到基于微處理器的單元112,用于允許用戶向軟件輸入信息。作為對(duì)使用鍵盤116進(jìn)行輸入的可選方案，鼠標(biāo)118可以用于移動(dòng)顯示器114上的選擇器120并且用于選擇選擇器120所覆蓋的項(xiàng)目，這在本領(lǐng)域中是眾所周知的。將通常包含軟件程序的光盤只讀存儲(chǔ)器(CD-ROM)124插入基于微處理器的單元，用于提供一種向基于微處理器的單元112輸入軟件程序和其他信息的方式。此外，軟盤126也可以包含軟件程序，并被插入到基于微處理器的單元112中以便輸入該軟件程序?？商鎿Q地，光盤只讀存儲(chǔ)器(CD-ROM)124或者l欠盤126可以插入位于外部的盤驅(qū)動(dòng)單元122,該盤驅(qū)動(dòng)單元122連接到基于微處理器的單元112。此外，如本領(lǐng)域中眾所周知的，可以對(duì)基于微處理器的單元112進(jìn)行編程，以便內(nèi)部存儲(chǔ)軟件程序。基于微處理器的單元112還可以具有到諸如局域網(wǎng)或因特網(wǎng)之類的外部網(wǎng)絡(luò)的網(wǎng)絡(luò)連接127,例如電話線。打印機(jī)128也可以連接到基于微處理器的單元112,用于打印來(lái)自計(jì)算機(jī)系統(tǒng)110的輸出的硬拷貝。圖像也可以通過(guò)個(gè)人計(jì)算機(jī)卡(PC卡)130顯示在顯示器114上，所述PC卡例如先前所知的PCMCIA卡(基于個(gè)人計(jì)算機(jī)存儲(chǔ)卡國(guó)際協(xié)會(huì)規(guī)范)，其包含在PC卡130內(nèi)電子實(shí)現(xiàn)的數(shù)字化圖像。PC卡130最終插入到基于微處理器的單元112中，用于允許圖像在顯示器114上的視覺(jué)顯示。可替換地，PC卡130可以插入到位于外部的PC卡讀取器132中，該P(yáng)C卡讀取器132連接到基于微處理器的單元112。圖像也可以經(jīng)由光盤124、軟盤126或者網(wǎng)絡(luò)連接127來(lái)輸入。存儲(chǔ)于PC卡130、軟盤126或光盤124中或者通過(guò)網(wǎng)絡(luò)連接127輸入的任何圖像可以從諸如數(shù)字照相機(jī)(未示出)或掃描儀(未示出)之類的各種來(lái)源獲取。圖像還可以經(jīng)由連接到基于微處理器的單元112的照相機(jī)對(duì)接(docking)端口136直接從數(shù)字照相機(jī)134輸入，或者經(jīng)由到基于微處理器的單元112的電纜連接138或經(jīng)由到基于微處理器的單元112的無(wú)線連接140直接從數(shù)字照相才幾134輸入。依照本發(fā)明，所述算法可以存儲(chǔ)于之前提及的任何存儲(chǔ)設(shè)備并且應(yīng)用于圖像以便對(duì)稀疏分布的圖像進(jìn)行插值。圖2為該優(yōu)選實(shí)施例的高級(jí)示圖。數(shù)字照相機(jī)134負(fù)責(zé)創(chuàng)建原始的數(shù)字紅-綠-藍(lán)-全色(RGBP)濾色器陣列(CFA)圖像200,該圖像200也稱為數(shù)字RGBPCFA圖像或者RGBPCFA圖像。該圖像被認(rèn)為是稀疏采樣的圖像，因?yàn)閳D像中的每個(gè)像素只包含紅、綠、藍(lán)或全色數(shù)據(jù)的一個(gè)像素值。方塊200的拷貝被傳送到低分辨率RGBCFA圖像創(chuàng)建方塊202。方塊202根據(jù)RGBPCFA圖像創(chuàng)建數(shù)字低分辨率RGBCFA圖像，該數(shù)字低分辨率RGBCFA圖像也稱為低分辨率RGBCFA圖像。方塊200的另一拷貝被傳送到高分辨率全色圖像創(chuàng)建方塊204。方塊204根據(jù)RGBPCFA圖像創(chuàng)建數(shù)字高分辨率全色圖像，該數(shù)字高分辨率全色圖像也稱為高分辨率全色圖像。方塊204的輸出被傳送到低分辨率全色圖像創(chuàng)建方塊206。方塊206根據(jù)高分辨率全色圖像創(chuàng)建數(shù)字低分辨率全色圖像，該數(shù)字低分辨率全色圖像也稱為低分辨率全色圖像。方塊206的輸出和方塊202的輸出被傳送到低分辨率色差創(chuàng)建方塊208。方塊208通過(guò)從低分辨率RGBCFA圖像中減去低分辨率全色圖像來(lái)創(chuàng)建低分辨率色差圖像。方塊208的輸出被傳送到低分辨率色差圖像插值方塊216。方塊216對(duì)這些低分辨率色差執(zhí)行BayerCFA插值操作。Hami1ton等人的美國(guó)專利No.5506619中可以看到這種BayerCFA插值的一個(gè)實(shí)例，^f旦是對(duì)于本領(lǐng)域4支術(shù)人員顯而易見(jiàn)的是，可以使用其他BayerCFA插值方法。方塊216的結(jié)果是數(shù)字插值低分辨率色差圖像，也稱為插值低分辨率色差圖像，其中每個(gè)像素具有三個(gè)色差值。方塊216的輸出被傳送到高分辨率色差創(chuàng)建方塊210。方塊210通過(guò)對(duì)低分辨率色差圖像進(jìn)行雙線性插值(尺寸增大(upsizing))來(lái)創(chuàng)建數(shù)字高分辨率色差圖像，該數(shù)字高分辨率色差圖像也稱為高分辨率色差圖像。方塊210的輸出和方塊204的輸出被傳送到高分辨率全彩色圖像創(chuàng)建方塊212。方塊212通過(guò)將高分辨率全色圖像添加到高分辨率色差圖像來(lái)創(chuàng)建數(shù)字高分辨率全彩色圖像，該數(shù)字高分辨率全彩色圖像也稱為高分辨率全彩色圖像214。圖3為圖2中的高分辨率全色圖像創(chuàng)建方塊204的更詳細(xì)的示圖。RGBPCFA圖像200(圖2)被傳送到像素鄰域預(yù)測(cè)器計(jì)算方塊300。方塊300計(jì)算一組像素鄰域預(yù)測(cè)器值。方塊300的結(jié)果被傳送到像素鄰域分類器計(jì)算方塊302。方塊302計(jì)算一組像素鄰域分類器值，每個(gè)分類器值與方塊300中計(jì)算的一個(gè)預(yù)測(cè)器值對(duì)應(yīng)。方塊302的結(jié)果被傳送到計(jì)算方向確定方塊304。方塊304基于方塊302中產(chǎn)生的該組分類器值確定優(yōu)選的計(jì)算方向。方塊304的結(jié)果和方塊300的結(jié)果被傳送到高分辨率全色像素值計(jì)算方塊306。方塊306從方塊300的結(jié)果中選擇與方塊304確定的方向?qū)?yīng)的適當(dāng)?shù)念A(yù)測(cè)器值。然后，這個(gè)選定的預(yù)測(cè)器值成為插值的高分辨率全色像素值。方塊306的結(jié)果成為方塊204(圖2)的輸出。圖4為在整個(gè)RGBPCFA圖像方塊200(圖2)中重復(fù)的像素區(qū)域。圖4的突出方面在于，兩行全色像素由交替的紅色和綠色像素行以及綠色和藍(lán)色像素行分開(kāi)。圖5為由低分辨率RGBCFA圖像創(chuàng)建方塊202(圖2)用來(lái)產(chǎn)生圖6中所示像素區(qū)域的像素區(qū)域。在所述優(yōu)選實(shí)施例中，使用下列表達(dá)式來(lái)產(chǎn)生圖6中的像素值<formula>formulaseeoriginaldocumentpage9</formula>在這些表達(dá)式中，k為產(chǎn)生輸出值的希望的像素值范圍的縮放因子。k的典型值為1/3,用于產(chǎn)生平均像素值；以及l(fā),用于產(chǎn)生總和像素值。應(yīng)當(dāng)指出的是，在本發(fā)明的范圍內(nèi)，從三個(gè)像素值創(chuàng)建一個(gè)像素值是一種二次采樣(subsample)形式。在本發(fā)明的一個(gè)可替換實(shí)施例中，如下使用了方塊202的一組不同的表達(dá)式<formula>formulaseeoriginaldocumentpage9</formula>圖7為像素鄰域預(yù)測(cè)計(jì)算方塊300(圖3)和像素鄰域分類器計(jì)算方塊302(圖3)二者使用的像素區(qū)域。存在由方塊300(圖3)計(jì)算的兩組預(yù)測(cè)器值。對(duì)于像素鄰域的中心像素為綠色像素(例如圖7中的G15)時(shí)的情況而言，計(jì)算下列預(yù)測(cè)器值。<formula>formulaseeoriginaldocumentpage10</formula>P右=GI5<formula>formulaseeoriginaldocumentpage10</formula>對(duì)于像素鄰域的中心像素不是綠色像素(例如圖7中的B16)時(shí)的情況而言，計(jì)算下列預(yù)測(cè)器值。<formula>formulaseeoriginaldocumentpage10</formula>存在由方塊302(圖3)計(jì)算的一組分類器值。盡管給定鄰域中的中心像素的顏色可能不同，但是使用相同的表達(dá)式計(jì)算這些分類器。現(xiàn)在給出兩個(gè)實(shí)例。對(duì)于像素鄰域的中心像素為綠色像素(例如圖7中的G15)時(shí)的情況而言，計(jì)算下列分類器值。c斜d<formula>formulaseeoriginaldocumentpage10</formula>c反斜線<formula>formulaseeoriginaldocumentpage10</formula>c<formula>formulaseeoriginaldocumentpage10</formula>值"和t2為閾值，選擇該閾值來(lái)降低但不是消除C水平、C左和C右小于C斜線、c豎直雙c反斜線的似然率。對(duì)于8比特像素值數(shù)據(jù)范圍而言，ti和t2的典型值為20和40。對(duì)于像素鄰域的中心像素不是綠色像素(例如圖7中的B16)的情況而言，計(jì)算下列分類器值。<formula>formulaseeoriginaldocumentpage11</formula>應(yīng)當(dāng)指出的是，這些表達(dá)式在這兩個(gè)實(shí)例中基本上是相同的。對(duì)于紅色像素為中心的鄰域而言，可以取第二個(gè)實(shí)例的分類器并且用紅色像素值交換藍(lán)色像素值?；氐綀D3,方塊302中計(jì)算的分類器值被傳送到計(jì)算方向確定方塊304。在方塊304中，將每個(gè)分類器值與活性(activity)閾值t活性進(jìn)行比較。對(duì)于8比特像素值數(shù)據(jù)范圍而言，t録的典型值為200。如果所有分類器值都大于或等于活性閾值，那么計(jì)算方向就變成與預(yù)測(cè)器值p立體關(guān)聯(lián)的特例。不滿足該第一測(cè)試時(shí)，則確定具有最小值的分類器。與該分類器關(guān)聯(lián)的方向就成為方塊304的輸出。方塊304的輸出和方塊300的輸出被傳送到高分辨率全色像素值計(jì)算方塊306。在方塊306中，對(duì)于以紅色、綠色或藍(lán)色像素為中心的每個(gè)像素鄰域而言，與方塊304中確定的計(jì)算方向?qū)?yīng)的預(yù)測(cè)器值成為插值的全色值。圖8中圖解說(shuō)明了所得到的高分辨率全色通道的一部分。在圖8中，沒(méi)有下標(biāo)的值代表原始存在的全色值，帶下標(biāo)的值代表插值的全色值。此外，圖8為由低分辨率全色圖像創(chuàng)建方塊206(圖2)用來(lái)產(chǎn)生圖9中所示的像素區(qū)域的像素區(qū)域。在所述優(yōu)選實(shí)施例中，使用下列表達(dá)式來(lái)產(chǎn)生圖9中的像素值。<formula>formulaseeoriginaldocumentpage12</formula>在這些表達(dá)式中，k為產(chǎn)生輸出值的希望的像素值范圍的縮放因子。k的典型值為1/3,用于產(chǎn)生平均像素值。在本發(fā)明的可替換實(shí)施例中，如下使用了方塊206(圖2)的一組不同的表達(dá)式。圖10為從高分辨率色差創(chuàng)建方塊210(圖2)創(chuàng)建的像素區(qū)域。在圖10中，Xi和X,代表由方塊208(圖2)創(chuàng)建的低分辨率色差圖像中的現(xiàn)有色差值。插值的色差值X2和X3在方塊210(圖2)中利用下列表達(dá)式來(lái)計(jì)算作為雙線性插值的標(biāo)準(zhǔn)做法，這個(gè)操作首先在每行上執(zhí)行以便使每行中的色差值的量增至三倍。然后，沿豎直方向在每列上重復(fù)該計(jì)算以便使每列中的色差值的量增至三倍。方塊210的輸出被傳送到高分辨率全彩色圖像創(chuàng)建方塊212?，F(xiàn)在描述本發(fā)明的可替換實(shí)施例。圖2和圖3如同在所述優(yōu)選實(shí)施例中一樣。圖11為在整個(gè)RGBPCFA圖像方塊200(圖2)中重復(fù)的可替換像素區(qū)域。圖11的突出方面在于，兩行全色像素由交替的三鄰接紅色像素接著是三鄰接綠色像素的行和三鄰接綠色像素接著是三鄰接藍(lán)色像素的行分開(kāi)。圖12為由低分辨率RGBCFA圖像創(chuàng)建方塊202(圖2)用來(lái)產(chǎn)生圖6中所示像素區(qū)域的可替換像素區(qū)域。在這個(gè)可替換實(shí)施例中，使用下列表達(dá)式來(lái)產(chǎn)生圖6中的像素值。G2'=/t(G,4+G,s+G,6)在這些表達(dá)式中，k為產(chǎn)生輸出值的希望的像素值范圍的縮放因子。k的典型值為1/3,用于產(chǎn)生平均像素值；以及l(fā)，用于產(chǎn)生總和像素值。應(yīng)當(dāng)指出的是，在本發(fā)明的范圍內(nèi)，從三個(gè)像素值創(chuàng)建一個(gè)像素值是一種二次采樣形式。圖13為像素鄰域預(yù)測(cè)計(jì)算方塊300(圖3)和像素鄰域分類器計(jì)算方塊302(圖3)二者使用的可替換像素區(qū)域。對(duì)于像素鄰域的中心像素為藍(lán)色或紅色像素(例如圖13中的B33)時(shí)的情況而言，計(jì)算下列預(yù)測(cè)器值。P豎直=(尸"+尸")/2(3G3l+G35)/4,對(duì)于532fe,+3G35)/4,對(duì)于534P右=(尸23+尸43)/2"立體-(—《3+化3+化廣尸53)/6對(duì)于像素鄰域的中心像素為綠色像素時(shí)的情況而言，那么P^就簡(jiǎn)化成綠色中心像素值。存在由方塊302(圖3)計(jì)算的一組分類器值。盡管給定鄰域中的中心像素的顏色可能不同，但是相同的表達(dá)式用于計(jì)算這些分類器?；氐綀D13,像素鄰域的中心像素為B33,對(duì)于其計(jì)算下列分類器值。^線=|尸25-尸43|+|尸2廣尸"|+|尸2廣^|+|2/;立體—尸24—尸42|/4C豎直=|尸2廣^|+|尸2廣尸"|+|尸22—尸42|+|2/>立體-尸2廣尸"|/4c反斜線—SS|+|P22—戶"l+h,—4|+|2/>立體-尸2廣&|/4C水平=|lK—尸24|+|尸《—尸44|)+'，C右4(k廣尸J+l尸24-尸4如2值"和t2為閾值，其被選擇來(lái)降低但不是消除c水平、c左和c右小于c斜線、c豎直4c反斜線的似然率。對(duì)于8比特像素值數(shù)據(jù)范圍而言，L和"的典型值為50和50?；氐綀D3,方塊302中計(jì)算的分類器值被傳送到計(jì)算方向確定方塊304。在方塊304中，將每個(gè)分類器值與活性闊值t歸進(jìn)行比較。對(duì)于8比特像素值數(shù)據(jù)范圍而言，t活性的典型值為200。如果所有分類器值都大于或等于活性閾值，那么計(jì)算方向就變成與預(yù)測(cè)器值PM關(guān)聯(lián)的特例。不滿足該第一測(cè)試時(shí)，則確定具有最小值的分類器。與該分類器關(guān)聯(lián)的方向就成為方塊304的輸出。方塊304的輸出和方塊300的輸出被傳送到高分辨率全色像素值計(jì)算方塊306。在方塊306中，對(duì)于以紅色、綠色或藍(lán)色像素為中心的每個(gè)像素鄰域而言，與方塊304中確定的計(jì)算方向?qū)?yīng)的預(yù)測(cè)器值成為插值的全色值。圖8中圖解說(shuō)明了所得到的高分辨率全色通道的一部分。在圖8中，沒(méi)有下標(biāo)的值代表原始存在的全色值，帶下標(biāo)的值代表插值的全色值。此外，圖8為由低分辨率全色圖像創(chuàng)建方塊206(圖2)用來(lái)產(chǎn)生圖9中所示的像素區(qū)域的像素區(qū)域。在所述優(yōu)選的實(shí)施例中，使用下列表達(dá)式來(lái)產(chǎn)生圖9中的像素值。在這些表達(dá)式中，k為產(chǎn)生輸出值的希望的像素值范圍的縮放因子。k的典型值為1/3,用于產(chǎn)生平均像素值。在本發(fā)明的可替換實(shí)施例中，如下使用了方塊206(圖2)的一組不同的表達(dá)式。<formula>formulaseeoriginaldocumentpage15</formula>圖10為從高分辨率色差創(chuàng)建方塊210(圖2)創(chuàng)建的像素區(qū)域。在圖10中，^和X4代表由方塊208(圖2)創(chuàng)建的低分辨率色差圖像中的現(xiàn)有色差值。在方塊210(圖2)中利用下列表達(dá)式來(lái)計(jì)算插值的色差值X2和X3:<formula>formulaseeoriginaldocumentpage15</formula>作為雙線性插值的標(biāo)準(zhǔn)做法，這個(gè)操作首先在每行上執(zhí)行以便使每行中的色差值的量增至三倍。然后，沿豎直方向在每列上重復(fù)該計(jì)算以便使每列中的色差值的量增至三倍。方塊210的輸出被傳送到高分辨率全彩色圖像創(chuàng)建方塊212?，F(xiàn)在描述本發(fā)明的第二可替換實(shí)施例。圖2和圖3如所述優(yōu)選實(shí)施例中的一樣。圖14為在整個(gè)RGBPCFA圖像方塊200(圖2)中重復(fù)的可替換像素區(qū)域。圖14的突出方面在于，單行全色像素由交替的四鄰接紅色像素接著是四鄰接綠色像素的行和四鄰接綠色像素接著是四鄰接藍(lán)色像素的行分開(kāi)。圖15為由低分辨率RGBCFA圖像創(chuàng)建方塊202(圖2)用來(lái)產(chǎn)生圖6中所示像素區(qū)域的可替換像素區(qū)域。在這個(gè)可替換實(shí)施例中，使用下列表達(dá)式來(lái)產(chǎn)生圖6中的像素值。<formula>formulaseeoriginaldocumentpage15</formula>在這些表達(dá)式中，k為產(chǎn)生輸出值的希望的像素值范圍的縮放因子。k的典型值為1/8，用于產(chǎn)生平均像素值；以及l(fā),用于產(chǎn)生總和像素值。應(yīng)當(dāng)指出的是，在本發(fā)明的范圍內(nèi)，從八個(gè)像素值創(chuàng)建一個(gè)像素值是一種二次采樣形式。圖16示出了像素鄰域預(yù)測(cè)計(jì)算方塊300(圖3)和像素鄰域分類器計(jì)算方塊302(圖3)二者使用的四個(gè)可替換像素區(qū)域。對(duì)于像素鄰域的中心像素之一為藍(lán)色像素(例如圖16A中的B24)時(shí)的情況而言，計(jì)算下列預(yù)測(cè)器值。P斜線22一31+^)/2，對(duì)于丑豎直反斜線(^+尸")/2'對(duì)于^h3+i>i5)/2,對(duì)于^^水平=對(duì)于像素鄰域的中心像素之一為紅色像素(例如圖16B中的R24)時(shí)的情況而言，計(jì)算下列預(yù)測(cè)器值。豎Affe+/y/2,對(duì)于《fe+尸")/2，對(duì)于《fe+i^/2，對(duì)于/2422'23于于于于于十于.T刈刈刈只P反斜線fe十尸M)/2,對(duì)于及"3+尸"i/2,對(duì)于《"4+尸36>/2，對(duì)于《■23'24水平602,+3及23+丑41，對(duì)于/236G26+2i24+B46,對(duì)于/24'，對(duì)于^25P斜線對(duì)于像素鄰域的中心像素之一為綠色像素(例如圖16C中的G24)時(shí)的情況而言，計(jì)算下列預(yù)測(cè)器值。(尸31+《3)/2,對(duì)于G"(/>32+/4)/2,對(duì)于《fe+^)/2,對(duì)于《fe+Z^)/2，對(duì)于&'fe+尸J/2，對(duì)于^(巧4+戶34)/2,對(duì)于&,2314'25P豎直'22'23'24P反斜線水平6(25+3^5+^,對(duì)于<725對(duì)于像素鄰域的中心像素之一為綠色像素(例如圖16D中的G24)時(shí)的情況而言，計(jì)算下列預(yù)測(cè)器值。<formula>formulaseeoriginaldocumentpage18</formula>存在由方塊302(圖3)計(jì)算的一組分類器值。盡管給定鄰域中的中心像素的顏色可能不同，但是相同的表達(dá)式用于計(jì)算這些分類器。參照?qǐng)D16A,像素鄰域的中心像素為B24,并且計(jì)算下列分類器值。<formula>formulaseeoriginaldocumentpage18</formula>■<table>tableseeoriginaldocumentpage19</column></row><table>值t為閾值，其被選擇來(lái)降低但不是消除c水平門、于c斜線、c豎直^c反斜線的似然率。對(duì)于8比特像素值數(shù)據(jù)范圍而言，t的典型值為20。參照?qǐng)D16C,像素鄰域的中心像素為G24,并且計(jì)算下列分類器值。+&一尸34+^—尸3"對(duì)于^+1^-^+4—4，對(duì)于^+尸M+A—尸3"對(duì)于丑》值t為閾值，其被選擇來(lái)降低但不是消除c^小于c鈄線、c豎直i、c反斜線的似然率。對(duì)于8比特像素值數(shù)據(jù)范圍而言，t的典型值為20。參照?qǐng)D16B,像素鄰域的中心像素為R24,并且計(jì)算下列分類器值。<formula>formulaseeoriginaldocumentpage19</formula><formula>formulaseeoriginaldocumentpage20</formula>值t為閾值，其被選擇來(lái)降低但不是消除cm小于c斜線、c豎直或c反斜線的似然率。對(duì)于8比特像素值數(shù)據(jù)范圍而言，t的典型值為20?；氐綀D3,方塊302中計(jì)算的分類器值被傳送到計(jì)算方向確定方塊304。在方塊304中，將每個(gè)分類器值與活性閾值t活性進(jìn)行比較。對(duì)于8比特像素值數(shù)據(jù)范圍而言，t録的典型值為200。如果所有分類器值都大于或等于活性閾值，那么計(jì)算方向就變成與預(yù)測(cè)器值Pa體關(guān)聯(lián)的特例。不滿足該第一測(cè)試時(shí)，則確定具有最小值的分類器。與該分類器關(guān)聯(lián)的方向就成為方塊304的輸出。方塊304的輸出和方塊300的輸出被傳送到高分辨率全色像素值計(jì)算方塊306。在方塊306中，對(duì)于以紅色、綠色或藍(lán)色像素為中心的每個(gè)像素鄰域而言，與方塊304中確定的計(jì)算方向?qū)?yīng)的預(yù)測(cè)器值成為插值的全色值。圖17中圖解說(shuō)明了所得到的高分辨率全色通道的一部分。在圖17中，沒(méi)有下標(biāo)的值代表原始存在的全色值，帶下標(biāo)的值代表插值的全色值。此外，圖17為由低分辨率全色圖像創(chuàng)建方塊206(圖2)用來(lái)產(chǎn)生圖9中所示的像素區(qū)域的像素區(qū)域。在所述優(yōu)選的實(shí)施例中，使用下列表達(dá)式來(lái)產(chǎn)生圖9中的像素值。尸/=fcfe+尸+尸26+尸27+尸"+尸45+尸46+P47)尸/=W尸幼+戶"+尸《+尸"+尸80+尸81+尸82+尸83)尸/=M尸64+尸"+4+尸67+4+尸86+尸87)在這些表達(dá)式中，k為產(chǎn)生輸出值的希望的像素值范圍的縮放因子。k的典型值為l/8,用于產(chǎn)生平均像素值。圖18為從高分辨率色差創(chuàng)建方塊210(圖2)創(chuàng)建的像素區(qū)域。在圖18中，Xi和Xs代表由方塊208(圖2)創(chuàng)建的低分辨率色差圖像中的現(xiàn)有色差值。在方塊210(圖2)中利用下列表達(dá)式來(lái)計(jì)算插值的色差%2-(37,+義5)/4%4=(^r,+3jr5)/4作為雙線性插值的標(biāo)準(zhǔn)做法，這個(gè)操作首先在每行上執(zhí)行以便使每行中的色差值的量增至三倍。然后，沿豎直方向在每列上重復(fù)該計(jì)算以便使每列中的色差值的量增至三倍。方塊210的輸出被傳送到高分辨率全彩色圖像創(chuàng)建方塊212。現(xiàn)在描述本發(fā)明的第三可替換實(shí)施例。圖2和圖3如所述優(yōu)選實(shí)施例中的一樣。圖19為在整個(gè)RGBPCFA圖^f象方塊200(圖2)中重復(fù)的可替換像素區(qū)域。圖19的突出方面在于，交替的單行和單列全色像素由分隔的紅色、綠色和藍(lán)色像素分開(kāi)。圖20為由低分辨率RGBCFA圖像創(chuàng)建方塊202(圖2)用來(lái)產(chǎn)生圖6中所示像素區(qū)域的可替換像素區(qū)域。在這個(gè)可替換實(shí)施例中，使用下列表達(dá)式來(lái)產(chǎn)生圖6中的像素值。W丑J在這些表達(dá)式中，k為產(chǎn)生輸出值的希望的像素值范圍的縮放因子。k的典型值為1/4，用于產(chǎn)生平均像素值；以及l(fā),用于產(chǎn)生總和像素值。應(yīng)當(dāng)指出的是，在本發(fā)明的范圍內(nèi)，從四個(gè)像素值創(chuàng)建一個(gè)像素值是一種二次采樣形式。圖21示出了像素鄰域預(yù)測(cè)計(jì)算方塊300(圖3)和像素鄰域分類器計(jì)算方塊302(圖3)二者使用的可替換像素區(qū)域。中心像素X22為紅色、綠色或藍(lán)色像素。對(duì)于所述可替換像素區(qū)域，計(jì)算下列預(yù)測(cè)值。<formula>formulaseeoriginaldocumentpage22</formula>對(duì)于相同的所述可替換像素區(qū)域，計(jì)算下列分類器。。<formula>formulaseeoriginaldocumentpage22</formula>回到圖3,方塊302中計(jì)算的分類器值被傳送到計(jì)算方向確定方塊304。在方塊304中，將每個(gè)分類器值與活性閾值t活性進(jìn)行比較。對(duì)于8比特像素值數(shù)據(jù)范圍而言，t薛的典型值為160。如果所有分類器值都小于或等于活性閾值，那么計(jì)算方向就變成與預(yù)測(cè)器值p^關(guān)聯(lián)的特例。不滿足該第一測(cè)試時(shí)，則確定具有最小值的分類器。與該分類器關(guān)聯(lián)的方向就成為方塊304的輸出。方塊304的輸出和方塊300的輸出被傳送到高分辨率全色像素值計(jì)算方塊306。在方塊306中，對(duì)于以紅色、綠色或藍(lán)色像素為中心的每個(gè)像素鄰域而言，與方塊304中確定的計(jì)算方向?qū)?yīng)的預(yù)測(cè)器值成為插值的全色值。圖22中圖解說(shuō)明了所得到的高分辨率全色通道的一部分。在圖22中，沒(méi)有下標(biāo)的值代表原始存在的全色值，帶下標(biāo)的值代表插值的全色值。此外，圖22為由低分辨率全色圖像創(chuàng)建方塊206(圖2)用來(lái)產(chǎn)生圖9中所示的像素區(qū)域的像素區(qū)域。在所述優(yōu)選的實(shí)施例中，使用下列表達(dá)式來(lái)產(chǎn)生圖9中的像素值。<formula>formulaseeoriginaldocumentpage23</formula>在這些表達(dá)式中，k為產(chǎn)生輸出值的希望的像素值范圍的縮放因子。k的典型值為l/4,用于產(chǎn)生平均像素值。圖18為從高分辨率色差創(chuàng)建方塊210(圖2)創(chuàng)建的像素區(qū)域。在圖18中，Xi和Xs代表由方塊208(圖2)創(chuàng)建的低分辨率色差圖像中的現(xiàn)有色差值。在方塊210(圖2)中利用下列表達(dá)式來(lái)計(jì)算插值的色差值X2、X3和X4:<formula>formulaseeoriginaldocumentpage23</formula>作為雙線性插值的標(biāo)準(zhǔn)做法，這個(gè)操作首先在每行上執(zhí)行以便使每行中的色差值的量增至三倍。然后，沿豎直方向在每列上重復(fù)該計(jì)算以便使每列中的色差值的量增至三倍。方塊210的輸出被傳送到高分辨率全彩色圖像創(chuàng)建方塊212。在本發(fā)明的優(yōu)選實(shí)施例中公開(kāi)的插值算法可以用于各種用戶上下文(usercontext)和環(huán)境中。示范性上下文和環(huán)境包括但不限于批發(fā)數(shù)字照相洗印加工(其涉及諸如攝影(filmin)、數(shù)字處理、打印輸出之類的示范性工藝步驟或階段)、零售數(shù)字照相洗印加工(攝影、數(shù)字處理、打印輸出)、家庭打印(家庭掃描膠片或數(shù)字圖像、數(shù)字處理、打印輸出)、桌面軟件(向數(shù)字打印施加算法以便使其更好或者甚至將其改變的軟件)、數(shù)字實(shí)現(xiàn)(來(lái)自媒體或者通過(guò)網(wǎng)絡(luò)的數(shù)字圖像輸入；數(shù)字處理；以媒體上的數(shù)字形式、通過(guò)網(wǎng)絡(luò)的數(shù)字形式或者在硬拷貝印制品上打印的圖像輸出)、售貨亭(數(shù)字或掃描輸入、數(shù)字處理、數(shù)字或掃描輸出)、移動(dòng)設(shè)備(例如可以用作處理單元的PDA或者蜂窩電話、顯示單元或者給出處理指令的單元)，以及作為通過(guò)萬(wàn)維網(wǎng)提供的服務(wù)。在每種情況下，所述插值算法可以是獨(dú)立的或者可以是更大的系統(tǒng)解決方案的一個(gè)部分。此外，算法的接口例如掃描或輸入、數(shù)字處理、對(duì)用戶的顯示(如果需要的話)、用戶請(qǐng)求或處理指令的輸入(如果需要的話)、輸出，可以處于相同或不同的設(shè)備和物理位置，并且這些設(shè)備和位置之間的通信可以經(jīng)由公共或私有網(wǎng)絡(luò)連接或者基于媒體的通信。在與本發(fā)明的前述公開(kāi)一致的情況下，所述算法本身可以是完全自動(dòng)的，可以具有用戶輸入(完全或部分手動(dòng)的)，可以讓用戶或操作員查看以接受/拒絕結(jié)果，或者可以借助于元數(shù)據(jù)(可以由用戶提供或者通過(guò)測(cè)量設(shè)備(例如在相機(jī)中)提供或者由算法確定的元數(shù)據(jù))。而且，所述算法可以與各種工作流用戶接口方案相接口。此處公開(kāi)的依照本發(fā)明的插值算法可以具有利用各種數(shù)據(jù)檢測(cè)和約簡(jiǎn)(reduction)技術(shù)(例如臉部檢測(cè)、眼睛沖全測(cè)、皮膚才企測(cè)、閃光才全測(cè))的內(nèi)部組件。元件列表110計(jì)算機(jī)系統(tǒng)112基于微處理器的單元114顯示器U6鍵盤118鼠標(biāo)120顯示器上的選擇器122盤驅(qū)動(dòng)單元124光盤只讀存4諸器(CD-ROM)126軟盤127網(wǎng)絡(luò)連接128打印才7L130個(gè)人計(jì)算機(jī)卡(PC卡)132PC卡讀取器134數(shù)字靜止照相機(jī)136照相才幾對(duì)4妻端口138電纜連接140無(wú)線連接200RGBPCFA圖像202低分辨率RGBCFA圖像創(chuàng)建204高分辨率全色圖像創(chuàng)建206低分辨率全色圖像創(chuàng)建208低分辨率色差創(chuàng)建210高分辨率色差創(chuàng)建212高分辨率全彩色圖像創(chuàng)建214高分辨率全彩色圖像216低分辨率色差圖像插值300像素鄰域預(yù)測(cè)器計(jì)算302像素鄰域分類器計(jì)算304計(jì)算方向確定306高分辨率全色像素值計(jì)算權(quán)利要求1.一種用于形成最終的數(shù)字彩色圖像的方法，包括:(a)使用圖像傳感器捕捉圖像，所述圖像傳感器具有全色像素和與至少兩種彩色光響應(yīng)對(duì)應(yīng)的彩色像素；(b)根據(jù)捕捉的圖像提供數(shù)字高分辨率全色圖像和數(shù)字高分辨率色差圖像；以及(c)使用所述數(shù)字高分辨率全色圖像和數(shù)字高分辨率色差圖像來(lái)產(chǎn)生最終的數(shù)字高分辨率全彩色圖像。2.權(quán)利要求l的方法，其中步驟(a)包括具有光敏度紅色、綠色和藍(lán)色的彩色像素。3.權(quán)利要求l的方法，其中步驟(a)包括具有光敏度青色、品紅色和黃色的彩色像素。4.權(quán)利要求2的方法，其中步驟(b)包括響應(yīng)于像素鄰域分類器值而使用像素鄰域預(yù)測(cè)器值來(lái)產(chǎn)生數(shù)字高分辨率全色圖像。5.權(quán)利要求2的方法，其中步驟(b)包括使用數(shù)字插值的低分辨率色差圖像來(lái)產(chǎn)生數(shù)字高分辨率色差圖像。6.權(quán)利要求5的方法，其中步驟(b)還包括使用低分辨率全色圖像和低分辨率RGBCFA圖像來(lái)產(chǎn)生數(shù)字插值的低分辨率色差圖像。7.權(quán)利要求6的方法，其中步驟b)還包括使用低分辨率全色圖像和低分辨率RGBCFA圖像來(lái)產(chǎn)生低分辨率色差圖像，以及使用低分辨率色差圖像來(lái)產(chǎn)生數(shù)字插值的低分辨率色差圖像。8.權(quán)利要求6的方法，包括平均和二次采樣所述數(shù)字高分辨率全色圖像以便產(chǎn)生數(shù)字低分辨率全色圖像。9.權(quán)利要求6的方法，包括對(duì)數(shù)字RGBPCFA圖像進(jìn)行求和或平均以及二次采樣以便產(chǎn)生數(shù)字低分辨率RGBCFA圖像。10.權(quán)利要求7的方法，其中圖像傳感器具有如下排列的全色像素(P)和彩色像素紅色(R)、綠色(G)和藍(lán)色(B):RGPPGB11.權(quán)利要求7的方法，其中圖像傳感器具有如下排列的全色像素(P)和彩色像素紅色(R)、綠色(G)和藍(lán)色(B):RRRGGGPPPPPPPPP.PPPGGGBBBPPPPPPPPPPPP12.權(quán)利要求7的方法，其中圖像傳感器具有如下排列的全色像素(P)和彩色像素紅色U)、綠色(G)和藍(lán)色(B):RRRRGGGGPPPPPPPPRRRRGGGGPPPPPPPPGGGGBBBBPPPPPPPPGGGGBBBBPPPPPPP13.權(quán)利要求7的方法，其中圖像傳感器具有如下排列的全色像素(P)和彩色像素紅色(R)、綠色(G)和藍(lán)色(B):RPRPGPGPPPPPPPPPRPRPGPGPPPPPPPPPGPGPBPBPPPPPPPPPGPGPBPBPPPPPPPPP全文摘要一種用于形成最終的數(shù)字彩色圖像的方法，包括使用圖像傳感器捕捉圖像，所述圖像傳感器具有全色像素和與至少兩種彩色光響應(yīng)對(duì)應(yīng)的彩色像素；根據(jù)捕捉的圖像提供數(shù)字高分辨率全色圖像和數(shù)字高分辨率色差圖像；以及使用所述數(shù)字高分辨率全色圖像和數(shù)字高分辨率色差圖像來(lái)產(chǎn)生最終的數(shù)字高分辨率全彩色圖像。文檔編號(hào)G06T3/40GK101375610SQ200780003483公開(kāi)日2009年2月25日申請(qǐng)日期2007年1月17日優(yōu)先權(quán)日2006年1月27日發(fā)明者J·E·小亞當(dāng)斯,J·F·小哈米爾頓,M·奧布賴恩申請(qǐng)人:伊斯曼柯達(dá)公司