專利名稱：圖像處理設(shè)備、圖像處理方法、計(jì)算機(jī)程序和存儲(chǔ)介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和圖像處理方法，更具體地說(shuō)涉及檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域的圖像處理技術(shù)。
背景技術(shù)：
已提出了校正可能由來(lái)自照相機(jī)的閃光引起的眼睛的不良色調(diào)的各種方法。一般來(lái)說(shuō)，眼睛的不良色調(diào)被稱為紅眼現(xiàn)象(或者紅眼效果)。照明不足的環(huán)境可能引起紅眼現(xiàn)象，如果用閃光為人或者諸如狗或貓之類的動(dòng)物拍照的話。
更具體地說(shuō)，閃光通過(guò)張開(kāi)的瞳孔進(jìn)入眼睛，并從眼睛的后部反射。此時(shí)，紅光可從眼底上的毛細(xì)管返回。由于瞳孔，即，晶狀體的較高透射率，如果被拍照人具有亮色素，那么通常會(huì)發(fā)生紅眼現(xiàn)象。
許多數(shù)字照相機(jī)具有結(jié)構(gòu)緊湊的機(jī)體。在這樣結(jié)構(gòu)緊湊的機(jī)體中，透鏡的光軸被布置成接近閃光光源。當(dāng)閃光的光源位置與透鏡的光軸相鄰時(shí)，易于發(fā)生紅眼現(xiàn)象。
減輕紅眼現(xiàn)象的方法之一是在拍照之前的預(yù)發(fā)光，使得被拍照人的瞳孔能夠被預(yù)先關(guān)閉。但是，按照該方法，需要大容量的電池，并且由于預(yù)發(fā)光，被拍照人可能改變面部表情。
為了校正或減輕紅眼，個(gè)人計(jì)算機(jī)或相似設(shè)備能夠根據(jù)數(shù)字照相機(jī)獲得的數(shù)字?jǐn)?shù)據(jù)處理和重構(gòu)圖像。一般來(lái)說(shuō)，根據(jù)數(shù)字圖像數(shù)據(jù)校正紅眼的方法可被粗略分成三種校正即，手動(dòng)校正；半自動(dòng)校正；和自動(dòng)校正。
手動(dòng)校正要求用戶操作指示裝置，例如鼠標(biāo)、指示筆、或?qū)懽职?，或者類似的觸摸面板，以指出顯示在顯示單元上的紅眼區(qū)域(即，要校正的區(qū)域)。
半自動(dòng)校正要求用戶大致指明存在紅眼的區(qū)域，以及根據(jù)用戶給出的信息指定紅眼的校正范圍和進(jìn)行必要校正的計(jì)算機(jī)操作。例如，用戶能夠用指示裝置指定圍繞紅眼的區(qū)域，或者眼睛附近的點(diǎn)。計(jì)算機(jī)規(guī)定校正范圍，并根據(jù)關(guān)于指定區(qū)域或指定點(diǎn)的信息進(jìn)行校正。
自動(dòng)校正不要求用戶的任何特殊操作，因?yàn)橛?jì)算機(jī)執(zhí)行完全自動(dòng)化的操作，包括根據(jù)數(shù)字圖像數(shù)據(jù)自動(dòng)檢測(cè)校正區(qū)域和執(zhí)行校正處理。
按照手動(dòng)或半自動(dòng)校正，用戶不得不手動(dòng)指定要校正的部分。例如，如果要求顯示包括待校正的區(qū)域的放大圖像，并指定圖像數(shù)據(jù)上的校正區(qū)域，那么對(duì)用戶來(lái)說(shuō)是麻煩的。如果在個(gè)人計(jì)算機(jī)系統(tǒng)中裝備的大屏幕顯示器可用，那么這樣的指定操作可能較容易。但是，就普通的具有幾英寸的小型顯示單元的數(shù)字照相機(jī)或打印機(jī)來(lái)說(shuō)，除非用戶放大圖像并滾動(dòng)到放大圖像的適當(dāng)部分，否則用戶不能找出和指定校正區(qū)域。
存在自動(dòng)校正紅眼現(xiàn)象、不需要任何復(fù)雜的操作并且有效地實(shí)用于裝備小型顯示單元的小型設(shè)備的常規(guī)方法。
例如，日本專利申請(qǐng)公開(kāi)No.11-136498討論了一種方法，該方法包括下述步驟從圖像檢出膚色區(qū)域，在所檢出區(qū)域內(nèi)搜索并檢測(cè)構(gòu)成紅眼的像素，和校正構(gòu)成紅眼的像素。
此外，日本專利申請(qǐng)公開(kāi)No.11-149559討論了一種方法，該方法包括下述步驟檢出膚色區(qū)域，檢測(cè)具有對(duì)應(yīng)于瞳孔的較低亮度的凹陷區(qū)域，和根據(jù)檢出區(qū)域中的兩個(gè)凹陷區(qū)域之間的距離確定眼睛。
此外，日本專利申請(qǐng)公開(kāi)2000-125320討論了一種方法，該方法包括下述步驟檢出膚色區(qū)域，確定檢出的膚色區(qū)域是否具有人臉的特征，檢測(cè)所檢出區(qū)域中的一組紅眼缺陷，評(píng)估紅眼缺陷的距離和大小，和指定紅眼區(qū)域。
此外，日本專利申請(qǐng)公開(kāi)No.11-284874討論了一種方法，該方法包括下述步驟自動(dòng)確定圖像是否包括紅色瞳孔，檢測(cè)紅色瞳孔的位置和大小，和自動(dòng)把瞳孔內(nèi)的紅色像素轉(zhuǎn)換成預(yù)定顏色的像素。
但是，常規(guī)的自動(dòng)紅眼校正方法存在下述問(wèn)題。
依賴于神經(jīng)網(wǎng)絡(luò)的人體膚色檢測(cè)或面部檢測(cè)要求搜索大范圍的圖像數(shù)據(jù)，以便從紅眼區(qū)域的檢測(cè)中獲得可靠的結(jié)果。換句話說(shuō)，需要大量的存儲(chǔ)器，并且必需大量的計(jì)算。對(duì)于裝備可以數(shù)GHz的時(shí)鐘運(yùn)算的高性能CPU和幾百M(fèi)B的存儲(chǔ)器的個(gè)人計(jì)算機(jī)來(lái)說(shuō)，這樣的處理不太困難。但是，數(shù)字照相機(jī)和打印機(jī)不能處理如此大量的圖像數(shù)據(jù)。
此外，除了上述自動(dòng)校正之外，還存在依賴于飽和度方面的差異來(lái)區(qū)別紅眼區(qū)域和周圍區(qū)域的許多常規(guī)方法。但是，基于飽和度的確定不適合應(yīng)用于色素較暗的人。眾所周知，當(dāng)用RGB系統(tǒng)定義像素值時(shí)，飽和度S可由下面的公式(1)表示。
S＝{max(R，G，B)-min(R，G，B)}/max(R，G，B)(1)其中max(R，G，B)表示R、G和B分量中的最大值，min(R，G，B)表示R、G和B分量中的最小值。
按照實(shí)驗(yàn)結(jié)果，普通日本人的膚色區(qū)域在色調(diào)(0-359度)中具有集中于0-30度的獨(dú)特分布。按照用HIS(色調(diào)-強(qiáng)度-飽和度)系統(tǒng)的色調(diào)表示，接近0度的區(qū)域?yàn)榧t色，當(dāng)色調(diào)增大時(shí)，顏色逐漸變成黃色。0-30度范圍中的R、G和B值具有下述關(guān)系。
R＞G＞B (2)如上所述，與具有亮色素的人相比，具有暗色素的人很少具有更亮的紅眼。例如，普通日本人在紅眼區(qū)和眼睛周圍的膚色區(qū)中具有下述像素值。
紅眼區(qū)(R，G，B)＝(109，58，65)膚色區(qū)(R，G，B)＝(226，183，128)這種情況下，紅眼區(qū)像素的飽和度為40，而膚色區(qū)像素的飽和度為43。兩個(gè)飽和度值之間沒(méi)有明顯差別。
換句話說(shuō)，如果被拍照對(duì)象(人)色素較暗，那么依賴于飽和度的方法不能確定紅眼像素。

發(fā)明內(nèi)容
本發(fā)明的目的在于準(zhǔn)確地檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域。
根據(jù)本發(fā)明的一個(gè)方面，一種配置成檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域的圖像處理設(shè)備包括計(jì)算單元、像素抽取單元、區(qū)域抽取單元、第一確定單元、更新單元、第二確定單元和檢測(cè)單元。計(jì)算單元被配置成根據(jù)預(yù)定的顏色分量，計(jì)算輸入圖像的每個(gè)像素的不良色調(diào)的評(píng)價(jià)量。像素抽取單元被配置成根據(jù)評(píng)價(jià)量，抽取構(gòu)成示出不良色調(diào)的圖像區(qū)的候選像素。區(qū)域抽取單元被配置成抽取包括候選像素的預(yù)定形狀的候選區(qū)域。第一確定單元被配置成進(jìn)行與候選區(qū)域的周圍區(qū)域的特征量有關(guān)的確定。更新單元被配置成根據(jù)第一確定單元獲得的確定結(jié)果，更新候選區(qū)域。第二確定單元被配置成進(jìn)行與更新的候選區(qū)域的周圍區(qū)域的邊緣強(qiáng)度相關(guān)的確定。檢測(cè)單元被配置成根據(jù)第二確定單元獲得的確定結(jié)果，檢測(cè)示出不良色調(diào)的圖像區(qū)域。
根據(jù)本發(fā)明的另一方面，配置成檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域的圖像處理設(shè)備包括計(jì)算單元、像素抽取單元、區(qū)域抽取單元、區(qū)域確定單元和指定單元。計(jì)算單元被配置成根據(jù)預(yù)定的顏色分量，計(jì)算輸入圖像的每個(gè)像素的不良色調(diào)的評(píng)價(jià)量。像素抽取單元被配置成根據(jù)評(píng)價(jià)量，抽取構(gòu)成示出不良色調(diào)的圖像區(qū)的候選像素。區(qū)域抽取單元被配置成抽取包括候選像素的預(yù)定形狀的候選區(qū)域。區(qū)域確定單元被配置成進(jìn)行與候選區(qū)域中的評(píng)價(jià)量及候選區(qū)域的周圍區(qū)域中的評(píng)價(jià)量相關(guān)的第一確定，與候選區(qū)域中的像素的預(yù)定色調(diào)的評(píng)價(jià)量以及預(yù)定顏色分量之一有關(guān)的第二確定，與周圍區(qū)域中的亮度有關(guān)的第三確定，與周圍區(qū)域中的色調(diào)和飽和度之一有關(guān)的第四確定，和與周圍區(qū)域中的邊緣強(qiáng)度有關(guān)的第五確定。指定單元被配置成把滿足區(qū)域確定單元進(jìn)行的第一到第五確定至少之一的候選區(qū)域指定為校正區(qū)。
根據(jù)本發(fā)明的另一方面，一種檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域的圖像處理方法包括根據(jù)預(yù)定的顏色分量，計(jì)算輸入圖像的每個(gè)像素的不良色調(diào)的評(píng)價(jià)量；根據(jù)評(píng)價(jià)量，抽取構(gòu)成示出不良色調(diào)的圖像區(qū)的候選像素；抽取包括候選像素的預(yù)定形狀的候選區(qū)域；進(jìn)行與候選區(qū)域的周圍區(qū)域的特征量有關(guān)的確定；根據(jù)通過(guò)進(jìn)行與候選區(qū)域的周圍區(qū)域的特征量有關(guān)的確定而獲得的確定結(jié)果，更新候選區(qū)域；進(jìn)行與更新的候選區(qū)域的周圍區(qū)域的邊緣強(qiáng)度有關(guān)的確定；和根據(jù)通過(guò)進(jìn)行與更新的候選區(qū)域的周圍區(qū)域的邊緣強(qiáng)度有關(guān)的確定而獲得的確定結(jié)果，檢測(cè)示出不良色調(diào)的圖像區(qū)域。
根據(jù)本發(fā)明的另一方面，檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域的圖像處理方法包括根據(jù)預(yù)定的顏色分量，計(jì)算輸入圖像的每個(gè)像素的不良色調(diào)的評(píng)價(jià)量；根據(jù)評(píng)價(jià)量，抽取構(gòu)成示出不良色調(diào)的圖像區(qū)的候選像素；抽取包括候選像素的預(yù)定形狀的候選區(qū)域；進(jìn)行與候選區(qū)域中的評(píng)價(jià)量及候選區(qū)域的周圍區(qū)域中的評(píng)價(jià)量相關(guān)的第一確定，與候選區(qū)域中的像素的預(yù)定色調(diào)的評(píng)價(jià)量以及預(yù)定顏色分量之一有關(guān)的第二確定，與周圍區(qū)域中的亮度有關(guān)的第三確定，與周圍區(qū)域中的色調(diào)和飽和度之一有關(guān)的第四確定，和與周圍區(qū)域中的邊緣強(qiáng)度有關(guān)的第五確定；把滿足進(jìn)行的第一到第五確定至少之一的候選區(qū)域指定為校正區(qū)。
根據(jù)本發(fā)明的另一方面，一種配置成從候選區(qū)域中檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域的圖像處理設(shè)備包括第一確定單元，第二確定單元和第三確定單元。第一確定單元進(jìn)行與基于目標(biāo)候選區(qū)域中的預(yù)定顏色分量的不良色調(diào)的評(píng)價(jià)量以及候選區(qū)域的周圍區(qū)域中的評(píng)價(jià)量有關(guān)的確定。第二確定單元根據(jù)第一確定單元獲得的確定結(jié)果，更新候選區(qū)域，并對(duì)更新的第二候選區(qū)域中的像素進(jìn)行與評(píng)價(jià)量和預(yù)定顏色分量之一有關(guān)的確定。第三確定單元根據(jù)第二確定單元獲得的確定結(jié)果，更新第二候選區(qū)域，并對(duì)更新的第三候選區(qū)域的周圍區(qū)域中的像素進(jìn)行與周圍區(qū)域的特征量有關(guān)的確定。第三確定單元進(jìn)行的確定的計(jì)算量大于由第一確定單元和第二確定單元之一進(jìn)行的確定的計(jì)算量。
根據(jù)本發(fā)明的另一方面，一種從候選區(qū)域中檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域的圖像處理方法包括進(jìn)行與基于目標(biāo)候選區(qū)域中的預(yù)定顏色分量的不良色調(diào)的評(píng)價(jià)量以及候選區(qū)域的周圍區(qū)域中的評(píng)價(jià)量有關(guān)的第一確定；根據(jù)通過(guò)進(jìn)行第一確定獲得的確定結(jié)果，更新候選區(qū)域；對(duì)更新的第二候選區(qū)域中的像素，進(jìn)行與評(píng)價(jià)量和預(yù)定顏色分量之一有關(guān)的第二確定；根據(jù)第二確定獲得的確定結(jié)果，更新第二候選區(qū)域；和對(duì)更新的第三候選區(qū)域的周圍區(qū)域中的像素，進(jìn)行與周圍區(qū)域的特征量有關(guān)的第三確定。第三確定的計(jì)算量大于第一確定和第二確定的計(jì)算量。
示出眼睛的不良色調(diào)的圖像區(qū)域可被準(zhǔn)確地檢測(cè)。于是，與具有亮色素或暗色素的被拍照人無(wú)關(guān)，能夠恰當(dāng)?shù)貦z測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域(即，待校正的圖像區(qū)域)。
參考附圖，根據(jù)例證實(shí)施例的下述詳細(xì)說(shuō)明，本發(fā)明的其它特征將變得明顯。


包含在說(shuō)明書(shū)中并構(gòu)成說(shuō)明書(shū)的一部分的附解說(shuō)明了本發(fā)明的實(shí)施例，并且與說(shuō)明一起用于解釋本發(fā)明的原理。
圖1是圖解說(shuō)明能夠執(zhí)行根據(jù)第一例證實(shí)施例的圖像處理的計(jì)算機(jī)(即圖像處理設(shè)備)的例證構(gòu)造的方框圖。
圖2是表示根據(jù)第一例證實(shí)施例的自動(dòng)紅眼校正處理的功能方框圖。
圖3圖解說(shuō)明可從數(shù)字照相機(jī)或另一成像設(shè)備獲得的紅眼圖像。
圖4圖解說(shuō)明例證的自適應(yīng)二值化處理。
圖5A和5B圖解說(shuō)明自適應(yīng)二值化處理的例證結(jié)果。
圖6A和6B圖解說(shuō)明獲得平均值Er(ave)的例證加速方法。
圖7圖解說(shuō)明例證的邊界(borderline)追蹤方法。
圖8圖解說(shuō)明例證的邊界追蹤方法。
圖9圖解說(shuō)明追蹤方向的直方圖的分類方向。
圖10圖解說(shuō)明追蹤方向的例證直方圖。
圖11圖解說(shuō)明外接紅色區(qū)域的例證矩形區(qū)域。
圖12是圖解說(shuō)明確定是否存在紅色圓形區(qū)域的例證確定處理的流程圖。
圖13A-13C圖解說(shuō)明在紅眼候選區(qū)域的特征量的計(jì)算中使用的周圍區(qū)域的例證定義。
圖14A-14B圖解說(shuō)明其中在圖像的邊緣附近存在紅眼候選區(qū)域的例證周圍區(qū)域。
圖15A-15C圖解說(shuō)明獲得某一區(qū)塊中的平均值Er(ave)的例證計(jì)算區(qū)域。
圖16是表示確定特征量組的例證過(guò)程的流程圖。
圖17圖解說(shuō)明設(shè)定周圍區(qū)域的例證方法。
圖18是圖解說(shuō)明校正候選區(qū)域列表中的多個(gè)紅眼區(qū)域之一的例證校正處理的流程圖。
圖19圖解說(shuō)明校正范圍的例證確定。
圖20圖解說(shuō)明例證的校正參數(shù)設(shè)定方法。
圖21A和21B圖解說(shuō)明在第二例證實(shí)施例中要解決的問(wèn)題。
圖22A圖解說(shuō)明根據(jù)第二例證實(shí)施例的例證自適應(yīng)二值化處理。
圖22B圖解說(shuō)明根據(jù)第二例證實(shí)施例的例證自適應(yīng)二值化處理。
圖23圖解說(shuō)明在第三例證實(shí)施例中要解決的問(wèn)題。
圖24是圖解說(shuō)明根據(jù)第三例證實(shí)施例的自動(dòng)紅眼校正處理的功能方框圖。
圖25是表示由候選區(qū)域評(píng)價(jià)部分進(jìn)行的例證處理的流程圖。
圖26圖解說(shuō)明中心距離“Size”。
圖27圖解說(shuō)明中心距離“Size”和閾值Th_Size之間的例證關(guān)系。
圖28A和28B圖解說(shuō)明在第四例證實(shí)施例中要解決的問(wèn)題。
圖29是圖解說(shuō)明根據(jù)第四例證實(shí)施例的紅眼校正處理的功能方框圖。
圖30是圖解說(shuō)明由候選區(qū)域連接部分進(jìn)行的例證處理的流程圖。
圖31圖解說(shuō)明候選區(qū)域列表的例子。
圖32A和32B圖解說(shuō)明例證的候選區(qū)域連接處理。
圖33圖解說(shuō)明根據(jù)第五例證實(shí)施例的例證的分隔帶。
圖34是圖解說(shuō)明根據(jù)第五例證實(shí)施例的抽取紅眼區(qū)域的例證處理的流程圖。
圖35是圖解說(shuō)明抽取第N帶中的紅眼區(qū)域的例證處理的流程圖。
圖36圖解說(shuō)明位于第(N-1)、第N和第(N+1)帶的OverlapArea區(qū)域中的四個(gè)紅色圓形區(qū)域。
圖37圖解說(shuō)明例證的候選區(qū)域選擇處理。
圖38圖解說(shuō)明候選區(qū)域列表的一個(gè)例子。
圖39是根據(jù)本發(fā)明的第五實(shí)施例圖解說(shuō)明例證的校正處理的流程圖。
圖40圖解說(shuō)明校正行和校正對(duì)象區(qū)域間的例證關(guān)系。
圖41圖解說(shuō)明保存在候選區(qū)域列表中的紅眼區(qū)域的例證位置信息。
具體實(shí)施例方式
例證實(shí)施例的下述說(shuō)明本質(zhì)上只是例證性的，決不意圖限制本發(fā)明、其應(yīng)用或用途。
本領(lǐng)域的普通技術(shù)人員已知的處理、技術(shù)、設(shè)備和材料不詳細(xì)討論，但是在適當(dāng)?shù)牡胤酱_定為說(shuō)明書(shū)的一部分。例如，不詳細(xì)討論用于信號(hào)處理、計(jì)算、評(píng)價(jià)和其它用途的某些電路。但是，相關(guān)領(lǐng)域的普通技術(shù)人員已知的這些系統(tǒng)和構(gòu)成這些系統(tǒng)的方法在適當(dāng)?shù)牡胤酱_定為可實(shí)施的公開(kāi)內(nèi)容的一部分。
注意在說(shuō)明書(shū)內(nèi)，類似的附圖標(biāo)記指的是附圖中的相似項(xiàng)，從而一旦參考一個(gè)

了某一項(xiàng)，后續(xù)附圖中可能不再討論它。
下面參考附圖詳細(xì)說(shuō)明例證的實(shí)施例。
在例證實(shí)施例中描述的圖像處理可被包含在可在計(jì)算機(jī)中操作的打印機(jī)驅(qū)動(dòng)器中，以便產(chǎn)生將被輸出給打印機(jī)引擎的圖像信息，或者可被包含在可在計(jì)算機(jī)中操作的掃描儀驅(qū)動(dòng)器中，以便驅(qū)動(dòng)掃描儀或者另一光學(xué)閱讀設(shè)備。
此外，例證實(shí)施例的圖像處理可由硬件，比如復(fù)印機(jī)、傳真機(jī)、打印機(jī)、掃描儀、數(shù)字照相機(jī)和數(shù)字?jǐn)z像機(jī)實(shí)現(xiàn)，或者可由提供給這些設(shè)備的軟件實(shí)現(xiàn)。
第一例證實(shí)施例設(shè)備構(gòu)造圖1是圖解說(shuō)明能夠執(zhí)行按照第一例證實(shí)施例的圖像處理的計(jì)算機(jī)(即，圖像處理設(shè)備)的例證構(gòu)造的方框圖。
計(jì)算機(jī)100包括中央處理器(CPU)101，只讀存儲(chǔ)器(ROM)102，隨機(jī)存取存儲(chǔ)器(RAM)103，可與監(jiān)視器113(它可裝備有觸摸面板)連接的視頻卡104，包括例如硬盤(pán)驅(qū)動(dòng)器或存儲(chǔ)卡的存儲(chǔ)設(shè)備105，可與網(wǎng)絡(luò)114連接的網(wǎng)絡(luò)接口卡(NIC)107，和串行總線接口108，串行總線接口108包括例如通用串行總線(USB)或IEEE1394接口，并且可與指示裝置106(例如鼠標(biāo)、指示筆、或?qū)懽职?、鍵盤(pán)113、打印機(jī)110、掃描儀111(例如膠片掃描儀)和數(shù)字照相機(jī)112相連。
計(jì)算機(jī)100的構(gòu)成元件(或者功能部件)與系統(tǒng)總線109連接。
CPU 101能夠從ROM 102或者存儲(chǔ)設(shè)備105讀取程序(包括在下面的說(shuō)明中描述的圖像處理的程序)，并且能夠把讀出的程序載入用作工作存儲(chǔ)器的RAM 103中，以便執(zhí)行該程序。CPU 101能夠按照程序通過(guò)系統(tǒng)總線109控制上述構(gòu)成元件，以實(shí)現(xiàn)程序的功能。圖1表示了能夠?qū)崿F(xiàn)按照第一例證實(shí)施例的圖像處理的一般硬件構(gòu)造。本發(fā)明的硬件構(gòu)造并不局限于圖1中公開(kāi)的硬件構(gòu)造，并且可按照除去一部分公開(kāi)的裝置或者包括其它裝置的方式來(lái)修改。
處理的概述圖2是表示按照第一例證實(shí)施例的自動(dòng)紅眼校正處理的功能方框圖，CPU 101能夠執(zhí)行所述自動(dòng)紅眼校正處理。CPU 101能夠從數(shù)字照相機(jī)112或掃描儀111輸入每個(gè)像素24比特(即RGB中每一個(gè)分別為8位)的數(shù)字圖像數(shù)據(jù)。
圖3圖解說(shuō)明可從數(shù)字照相機(jī)112或另一成像設(shè)備獲得的例證紅眼圖像。除了由拍照閃光造成的加亮區(qū)304之外，圖3中所示的眼睛圖像包括虹膜區(qū)301、瞳孔區(qū)302和眼白區(qū)303。一般來(lái)說(shuō)，紅眼現(xiàn)象可被稱為瞳孔區(qū)302呈現(xiàn)紅色的現(xiàn)象。
圖2中所示的紅色區(qū)域抽取部分202能夠從自輸入終端201輸入的圖像數(shù)據(jù)中抽取紅色區(qū)域。本例證實(shí)施例采用自適應(yīng)二值化來(lái)抽取紅色區(qū)域，不過(guò)存在抽取紅色區(qū)域的各種方法。紅色區(qū)域抽取部分202能夠抽取不同于紅眼的任何紅色區(qū)域，例如紅色交通信號(hào)、紅色的衣服圖案、和紅色照明。
根據(jù)輸入圖像數(shù)據(jù)和與抽取的紅色區(qū)域相關(guān)的信息，紅色圓形區(qū)域抽取部分203能夠從抽取的紅色區(qū)域中指定具有較圓形狀的紅色圓形區(qū)域。本例證實(shí)施例采用“邊界追蹤”方法來(lái)抽取紅色圓形區(qū)域，不過(guò)存在確定每個(gè)紅色區(qū)域的形狀的各種方法。紅色圓形區(qū)域抽取部分203能夠把關(guān)于抽取的紅色圓形區(qū)域的位置信息保存到候選區(qū)域列表中。
特征量確定部分204能夠根據(jù)輸入的圖像數(shù)據(jù)和候選區(qū)域列表，對(duì)保存在候選區(qū)域列表中的紅色圓形區(qū)域進(jìn)行識(shí)別表征眼睛的各個(gè)特征量的確定處理。表征眼睛的特征量可包括紅色圓形區(qū)域的飽和度以及紅色圓形物的光度(luminosity)(強(qiáng)度)、飽和度、色調(diào)以及周圍區(qū)域的邊緣分布。特征量確定部分204比較特征量與預(yù)定閾值，并把每個(gè)紅色圓形區(qū)域指定為紅眼區(qū)域，如果它滿足所有條件的話。特征量確定部分204能夠把關(guān)于每個(gè)指定的紅眼區(qū)域的位置信息保存到候選區(qū)域列表中。
根據(jù)輸入的圖像數(shù)據(jù)和保存關(guān)于紅眼區(qū)域的位置信息的候選區(qū)域列表，校正部分205能夠進(jìn)行校正處理，以便校正圖像數(shù)據(jù)上的紅眼區(qū)域。校正部分205能夠把校正后的圖像數(shù)據(jù)輸出給輸出終端206。校正后的圖像數(shù)據(jù)可被顯示在監(jiān)視器113上，或者可被保存在RAM 103或存儲(chǔ)設(shè)備105中。此外，校正后的圖像數(shù)據(jù)可通過(guò)接口108被發(fā)送給打印機(jī)110，使得打印機(jī)110能夠打印圖像，或者可通過(guò)網(wǎng)絡(luò)114(包括企業(yè)內(nèi)部網(wǎng)或因特網(wǎng))從NIC 107被傳送給另一計(jì)算機(jī)或者服務(wù)器。
紅色區(qū)域抽取部分202紅色區(qū)域抽取部分202對(duì)輸入的圖像數(shù)據(jù)應(yīng)用自適應(yīng)二值化處理，以便從圖像數(shù)據(jù)中抽取紅色區(qū)域。更具體地說(shuō)，紅色區(qū)域抽取部分202計(jì)算表示輸入圖像數(shù)據(jù)的每個(gè)像素的紅色度的紅色評(píng)價(jià)量，并比較該評(píng)價(jià)量與閾值。當(dāng)紅色評(píng)價(jià)量大于閾值(即，評(píng)價(jià)量＞閾值)時(shí)，紅色區(qū)域抽取部分202確定目標(biāo)像素是紅色像素?？稍谀繕?biāo)像素的周圍區(qū)域中自適應(yīng)地確定閾值。通過(guò)本例證實(shí)施例中的“二值化”處理，“1”被分配給紅色像素，“0”被分配給其它像素。
圖4圖解說(shuō)明由紅色區(qū)域抽取部分202進(jìn)行的例證自適應(yīng)二值化處理。在圖4中，輸入圖像數(shù)據(jù)401的目標(biāo)像素402是將在二值化處理中處理的目標(biāo)像素。紅色區(qū)域抽取部分202依據(jù)下述公式(3)，定義表示目標(biāo)像素402的紅色度的評(píng)價(jià)量Er。
Er＝(R-G)/R (3)從公式(3)可知，通過(guò)排除B(藍(lán)色)分量，紅色區(qū)域抽取部分202能夠根據(jù)R(紅色)和G(綠色)分量計(jì)算目標(biāo)像素402的紅色度，而不依賴于一般的HIS表達(dá)式中的飽和度。利用定義紅色評(píng)價(jià)量Er的公式(3)能夠帶來(lái)下述優(yōu)點(diǎn)。
例如，由于瞳孔區(qū)302的晶狀體的透射率不足，因此色素暗淡(或較深)的人不可能具有清晰或明亮的紅眼。如前所述，普通日本人的紅眼區(qū)的估計(jì)像素值為(R，G，B)＝(109，58，65)。從實(shí)驗(yàn)結(jié)果可知，就色調(diào)來(lái)說(shuō)，日本人的膚色具有集中于從紅色(0度)到黃色(60度)的分布。在上面的區(qū)域中，R、G和B分量人有R＞G＞B的關(guān)系。眼睛周圍的皮膚區(qū)域具有(R，G，B)＝(226，183，128)的估計(jì)像素值。
根據(jù)實(shí)際值可知，紅眼區(qū)的像素和眼睛周圍的皮膚區(qū)域的像素具有較小的B分量。紅眼區(qū)的像素具有為40的飽和度值，而眼睛周圍的皮膚區(qū)域的像素具有為43的飽和度值。換句話說(shuō)，在構(gòu)成紅眼區(qū)的像素和構(gòu)成皮膚區(qū)域的像素之間，飽和度值不存在顯著的差異。因此，如果自適應(yīng)二值化處理的閾值是飽和度，那么將難以檢測(cè)紅眼區(qū)。
另一方面，當(dāng)紅色評(píng)價(jià)量Er由公式(3)定義時(shí)，即，評(píng)價(jià)量不依賴于B分量時(shí)，紅眼區(qū)的像素具有為47的紅色評(píng)價(jià)量Er，而眼睛周圍的皮膚區(qū)域的像素具有為19的紅色評(píng)價(jià)量Er。換句話說(shuō)，紅眼區(qū)中的像素的紅色評(píng)價(jià)量Er約為皮膚區(qū)域中的像素的紅色評(píng)價(jià)量Er的兩倍。
根據(jù)前面所述，在色素較暗(較深)的人的紅眼的檢測(cè)中，如果如公式(3)中定義的那樣，評(píng)價(jià)量只由R和G分量定義(即，不包括B分量)，即不依賴于飽和度，那么能夠準(zhǔn)確地抽取構(gòu)成紅眼的像素。但是，評(píng)價(jià)量Er的定義并不局限于公式(3)，即，(R-G)與R的比值。例如，評(píng)價(jià)量Er可被定義為(R-G)或者R/G。
當(dāng)如公式(3)中定義的那樣，評(píng)價(jià)量只由R和G分量定義(即，不包括B分量)，即不依賴于飽和度時(shí)，在具有亮色素的人的紅眼的檢測(cè)中，能夠準(zhǔn)確地抽取構(gòu)成紅眼的像素。
參見(jiàn)圖4，為了使目標(biāo)像素402二值化，紅色區(qū)域抽取部分202設(shè)定沿一行(line)從目標(biāo)像素402延伸的窗口區(qū)域403，使得像素?cái)?shù)“ThWindowSize”存在于目標(biāo)像素402的左側(cè)(即存在于主掃描方向上的前方區(qū))。紅色區(qū)域抽取部分202能夠獲得窗口區(qū)403內(nèi)的像素的紅色評(píng)價(jià)量Er的平均值Er(ave)。像素?cái)?shù)“ThWindowSize”可具有等于圖像的短邊的1-2％的寬度。評(píng)價(jià)量Er不取負(fù)值，因?yàn)楫?dāng)計(jì)算評(píng)價(jià)量Er時(shí)，下述公式(4)中所示的條件必須被滿足。
R＞0，并且R＞G (4)紅色區(qū)域抽取部分202使用計(jì)算的平均值Er(ave)使目標(biāo)像素402二值化。為了進(jìn)行該處理，目標(biāo)像素402必須滿足下述條件。
R＞Th_Rmin，R＞G，并且R＞B (5)在公式(5)中，“Th_Rmin”是表示R的下限值的閾值。當(dāng)上述條件被滿足時(shí)，紅色區(qū)域抽取部分202利用下述公式(6)進(jìn)行二值化處理。
如果Er＞Er(ave)+Margin_RGB，那么取值‘1’如果Er≤Er(ave)+Margin_RGB，那么取值‘0’ (6)在公式(6)中，“Margin_RGB”表示一個(gè)參數(shù)。
當(dāng)目標(biāo)像素402的紅色評(píng)價(jià)值Er大于窗口區(qū)403的平均值Er(ave)與“Margin_RGB”之和時(shí)，作為二值化處理的結(jié)果，紅色區(qū)域抽取部分202向目標(biāo)像素402分配值‘1’。換句話說(shuō)，目標(biāo)像素402被抽取為紅色區(qū)域。
如果持續(xù)存在紅色區(qū)域，那么平均值Er(ave)將變成過(guò)大的值。于是，可對(duì)平均值Er(ave)設(shè)定上限。二值化結(jié)果可被保存在RAM 103中不同于分配給輸入圖像的緩沖區(qū)的預(yù)定區(qū)域中。
紅色區(qū)域抽取部分202通過(guò)在圖像的整個(gè)區(qū)域中把目標(biāo)像素402從左向右移，對(duì)每行輸入圖像數(shù)據(jù)進(jìn)行上述處理。在第一例證實(shí)施例中，根據(jù)沿著同一行從目標(biāo)像素402延伸到左側(cè)的窗口內(nèi)的像素的評(píng)價(jià)值，計(jì)算二值化閾值(即，平均值Er(ave))。
但是，二值化閾值并不局限于特定的閾值。例如，窗口可被設(shè)定為包括在目標(biāo)像素402上的幾行(即副掃描方向上的前方區(qū))中位于目標(biāo)像素402左側(cè)的多個(gè)像素的區(qū)域(即，主掃描方向上的前方區(qū))。此外，窗口可被設(shè)為其中心位于目標(biāo)像素402的矩形區(qū)域。
圖5A和5B圖解說(shuō)明自適應(yīng)二值化處理的例證結(jié)果。圖5A表示包含在輸入圖像數(shù)據(jù)中的紅眼及其周圍區(qū)域的圖像。圖5B表示由自適應(yīng)二值化處理產(chǎn)生的二值化圖像，自適應(yīng)二值化處理只抽取紅眼的瞳孔區(qū)的像素。
此外，為了獲得沿主掃描方向設(shè)定的窗口內(nèi)的評(píng)價(jià)量的平均值Er(ave)，可使用下面的加速方法。
圖6A和6B圖解說(shuō)明用于獲得平均值Er(ave)的例證加速方法。
紅色區(qū)域抽取部分202計(jì)算如圖6A中所示設(shè)置在目標(biāo)像素402的左側(cè)的窗口403中的評(píng)價(jià)量Er，并把計(jì)算的評(píng)價(jià)量之和保存在存儲(chǔ)器(例如RAM 103中)。隨后，紅色區(qū)域抽取部分202把計(jì)算的評(píng)價(jià)量之和除以構(gòu)成窗口403的像素?cái)?shù)n，獲得平均值Er(ave)。
隨后，紅色區(qū)域抽取部分202把目標(biāo)像素402右移一個(gè)像素。窗口403也右移一個(gè)像素。這種情況下，通過(guò)從保存的總和中減去像素501的評(píng)價(jià)量Er，隨后加上像素502(即，緊接目標(biāo)像素402并位于它之前的像素)的評(píng)價(jià)量Er，能夠加速獲得圖6B中所示的窗口403中的評(píng)價(jià)量之和。
換句話說(shuō)，每次目標(biāo)像素402和窗口403沿該行移動(dòng)時(shí)，紅色區(qū)域抽取部分202不需要計(jì)算窗口403內(nèi)的每個(gè)像素的評(píng)價(jià)量Er。
紅色圓形區(qū)域抽取部分203紅色圓形區(qū)域抽取部分203根據(jù)邊界追蹤方法抽取紅色圓形區(qū)域，邊界追蹤方法是二值化圖像處理方法之一。
圖7圖解說(shuō)明邊界追蹤方法。紅色圓形區(qū)域抽取部分203通過(guò)沿主掃描方向和副掃描方向從上端開(kāi)始掃描圖像，對(duì)由自適應(yīng)二值化處理產(chǎn)生的二值化圖像應(yīng)用邊界追蹤處理。
位于起始點(diǎn)的目標(biāo)像素(xa，ya)，即圖7中所示的像素701具有值‘1’。位于目標(biāo)像素左側(cè)的像素(xa-1，ya)具有值‘0’。位于目標(biāo)像素左斜上方的像素(xa-1，ya-1)具有值‘0’。位于目標(biāo)像素之上的像素(xa，ya-1)具有值‘0’。位于目標(biāo)像素右斜上方的像素(xa+1，ya-1)具有值‘0’。
圖7中所示的坐標(biāo)系的原點(diǎn)位于二值化圖像的左上角。紅色圓形區(qū)域抽取部分203沿反時(shí)針?lè)较蛞来胃櫨哂兄怠?’的像素，并返回起始點(diǎn)701。當(dāng)追蹤軌跡偏移到圖像區(qū)域之外，或者朝著與起始點(diǎn)701相比較小的Y坐標(biāo)區(qū)偏離時(shí)，紅色圓形區(qū)域抽取部分203停止追蹤，并找出下一起始點(diǎn)。
如果在Y坐標(biāo)值小于起始點(diǎn)701的Y坐標(biāo)值的區(qū)域中繼續(xù)追蹤移動(dòng)，那么紅色圓形區(qū)域抽取部分203將錯(cuò)誤地沿著圖8中所示的環(huán)形區(qū)域的內(nèi)側(cè)跟蹤。在圖8中所示的例子中，當(dāng)追蹤點(diǎn)沿著環(huán)形區(qū)域的內(nèi)側(cè)到達(dá)像素802時(shí)，追蹤點(diǎn)的Y坐標(biāo)值變得小于起始點(diǎn)像素801的Y坐標(biāo)值。紅色圓形區(qū)域抽取部分203從而停止追蹤。
在上述追蹤處理中，紅色圓形區(qū)域抽取部分203能夠獲得追蹤目標(biāo)區(qū)的周長(zhǎng)、追蹤方向的直方圖和X及Y方向上的最大值和最小值?？捎帽桓櫟南袼氐目倲?shù)來(lái)表示周長(zhǎng)。例如，按照7中所示的例子，周長(zhǎng)為9個(gè)像素，包括起始點(diǎn)像素701。
追蹤方向可被分成圖9中所示的總共八個(gè)方向，作為在追蹤操作期間，從一個(gè)像素移動(dòng)到下一像素的可能方向。在圖7所示的例子中，按照沿反時(shí)針?lè)较驈狞c(diǎn)像素701開(kāi)始的追蹤，移動(dòng)方向按圖9中定義的順序6→6→7→8→1→2→3→3→4依次變化。圖10表示了方向的直方圖。
圖11表示X和Y方向上的最大值和最小值，它代表存在具有值‘1’的像素的區(qū)域，即，圍繞紅色區(qū)域的矩形區(qū)。紅色圓形區(qū)域抽取部分203跟蹤每個(gè)紅色區(qū)域的邊界，獲得上述值，并確定該區(qū)域是否是紅色圓形區(qū)域。
圖12是圖解說(shuō)明確定是否存在紅色圓形區(qū)域的例證確定處理的流程圖。首先，紅色圓形區(qū)域抽取部分203確定紅色區(qū)域的長(zhǎng)寬比是否等于或大于預(yù)定的閾值Th_BF_VHRatio(步驟S1201)。紅色圓形區(qū)域抽取部分203按照下述公式(7)計(jì)算長(zhǎng)寬比AR。
AR＝(ymax-ymin)/(xmax-xmin)(7)在公式(7)中，當(dāng)AR＞1時(shí)，AR＝1/AR即，長(zhǎng)寬比AR可被表示成在0.0-1.0范圍中的值。當(dāng)AR＝1.0時(shí)，縱向長(zhǎng)度等于水平長(zhǎng)度。當(dāng)長(zhǎng)寬比AR小于閾值Th_BF_VHRatio(即，AR＜Th_BF_VHRatio，步驟S1201中否)時(shí)，紅色圓形區(qū)域抽取部分203確定目標(biāo)紅色區(qū)域不是紅色圓形區(qū)域，并開(kāi)始搜索下一紅色區(qū)域(即，處理結(jié)束)。
當(dāng)AR≥Th_BF_VHRatio(即，步驟S1201中是)時(shí)，紅色圓形區(qū)域抽取部分203確定該紅色區(qū)域是否具有適當(dāng)?shù)某叽?步驟S1202)。紅色圓形區(qū)域抽取部分203考慮兩項(xiàng)，即(1)實(shí)際像素?cái)?shù)的上限和下限，和(2)紅色區(qū)域與圖像的短邊或長(zhǎng)邊的比值，進(jìn)行與尺寸有關(guān)的確定。
首先，就上述項(xiàng)(1)來(lái)說(shuō)，紅色圓形區(qū)域抽取部分203識(shí)別紅色區(qū)域的水平寬度X(＝xmax-xmin)和垂直寬度Y(＝y(tǒng)max-ymin)之間的較小者，并比較識(shí)別的較小寬度與預(yù)定閾值。更具體地說(shuō)，紅色圓形區(qū)域抽取部分203確定識(shí)別的較小寬度(即，垂直寬度或水平寬度)是否在上限Th_BF_SizeMax和下限Th_BF_SizeMin之間的范圍內(nèi)。
當(dāng)識(shí)別的較小寬度大于上限或者小于下限時(shí)，紅色圓形區(qū)域抽取部分203確定目標(biāo)紅色區(qū)域不是紅色圓形區(qū)域，并開(kāi)始搜索下一紅色區(qū)域。
此外，就上述項(xiàng)(2)來(lái)說(shuō)，紅色圓形區(qū)域抽取部分203采用下述公式(8)。
Th_BF_RatioMin＜min(X，Y)/min(W，H)＜Th_BF_RatioMax(8)其中X＝xmax-xmin，Y＝y(tǒng)max-ymin，W代表輸入圖像的寬度，H表示輸入圖像的高度。
當(dāng)目標(biāo)紅色區(qū)域不滿足公式(8)時(shí)，紅色圓形區(qū)域抽取部分203確定目標(biāo)紅色區(qū)域不是紅色圓形區(qū)域(即，步驟S1202中否)，并開(kāi)始搜索下一紅色區(qū)域(即，處理結(jié)束)。雖然公式(8)基于比較兩個(gè)短邊的例子，不過(guò)也可以比較兩個(gè)長(zhǎng)邊。
當(dāng)紅色區(qū)域具有適當(dāng)?shù)某叽?即，步驟S1202中是)時(shí)，紅色圓形區(qū)域抽取部分203比較周長(zhǎng)與理想的圓周，以確定抽取的紅色區(qū)域是否與圓類似(步驟S1203)。紅色圓形區(qū)域抽取部分203按照由下面的公式(9)定義的近似關(guān)系，根據(jù)紅色區(qū)域的寬度X和高度Y，獲得理想的圓周Ci。
Ci＝(X+Y)×2×2π/8 (9)
公式(9)基于抽取的紅色區(qū)域是正方形的假設(shè)。理想的圓周Ci定義該正方形的內(nèi)切圓的圓周。在公式(9)中，“(X+Y)×2”表示包含紅色區(qū)域的正方形的四邊的總長(zhǎng)度，“2π/8”表示正方形四邊的總長(zhǎng)度與該正方形的內(nèi)切圓的圓周的比值。
紅色圓形區(qū)域抽取部分203按照下述公式(10)比較上述理想的圓周Ci與周長(zhǎng)。當(dāng)公式(10)不被滿足時(shí)(步驟S1203中否)，紅色圓形區(qū)域抽取部分203確定抽取的紅色區(qū)域不是紅色圓形區(qū)域，并開(kāi)始搜索下一紅色區(qū)域，即，結(jié)束處理。
min(Ci，Cx)/max(Ci，Cx)＞Th_BF_CircleRatio (10)在公式(10)中，Cx表示周長(zhǎng)。當(dāng)周長(zhǎng)滿足公式(10)時(shí)，紅色圓形區(qū)域抽取部分203確定在追蹤方向的直方圖中是否存在任何偏差(步驟S1204)。
如前所述，在邊界追蹤處理中，紅色圓形區(qū)域抽取部分203能夠獲得圖10中所示的追蹤方向的直方圖。當(dāng)追蹤目標(biāo)區(qū)類似于圓時(shí)，在由邊界追蹤處理產(chǎn)生的直方圖中，追蹤方向的分布是均勻的。另一方面，當(dāng)追蹤目標(biāo)區(qū)長(zhǎng)且窄時(shí)，追蹤方向的直方圖存在偏差。例如，如果追蹤目標(biāo)區(qū)具有從右上方延伸到左下方的長(zhǎng)且窄的形狀，那么圖9中所示的方向2和6的頻度變大，方向4和8的頻度變小。
因此，當(dāng)公式(11)中表示的所有條件被滿足時(shí)，紅色圓形區(qū)域抽取部分203確定目標(biāo)紅色區(qū)域是紅色圓形區(qū)域。當(dāng)條件中的任意之一不被滿足時(shí)，紅色圓形區(qū)域抽取部分203確定目標(biāo)紅色區(qū)域不是紅色圓形區(qū)域，并開(kāi)始搜索下一紅色區(qū)域。
sum(f1，f2，f5，f6)＜∑f×Th_BF_DirectRatiosum(f2，f3，f6，f7)＜∑f×Th_BF_DirectRatiosum(f3，f4，f7，f8)＜∑f×Th_BF_DirectRatiosum(f4，f5，f8，f1)＜∑f×Th_BF_DirectRatio(11)其中，fn表示方向n的頻度，sum(fa，fb，fc，fd)表示方向a、b、c和d的頻度之和，∑f表示頻度之和。
如果預(yù)定方向上的頻度之和超過(guò)公式(11)中的預(yù)定比率；即，當(dāng)追蹤方向的分布集中在某一方向上時(shí)，紅色圓形區(qū)域抽取部分203能夠確定目標(biāo)紅色區(qū)域不是紅色圓形區(qū)域。此外，按照依據(jù)公式(11)的確定，當(dāng)頻度和∑f較小時(shí)，確定準(zhǔn)確性可能降低。從而，當(dāng)頻度和∑f等于或小于預(yù)定值時(shí)，紅色圓形區(qū)域抽取部分203能夠跳過(guò)步驟S1204的處理，能夠直接進(jìn)行下一步驟S1205。
紅色圓形區(qū)域抽取部分203把滿足步驟S1201-S1204的所有確定(或者如果步驟S1204被跳過(guò)，那么步驟S1201-S1203的確定)的每個(gè)紅色區(qū)域確定為紅色圓形區(qū)域(即，紅眼候選區(qū))。紅色圓形區(qū)域抽取部分203把每個(gè)檢測(cè)到的紅色圓形區(qū)域的坐標(biāo)位置保存于在RAM 103中分配的候選區(qū)域列表中(步驟S1205)。紅色圓形區(qū)域抽取部分203重復(fù)圖12的流程圖中所示的邊界追蹤和確定，直到追蹤位置到達(dá)圖像數(shù)據(jù)的右下位置為止。
特征量確定部分204特征量確定部分204對(duì)每個(gè)抽取的紅色圓形區(qū)域(即，每個(gè)紅眼候選區(qū))，計(jì)算表示人的紅眼的各個(gè)特征量，并比較計(jì)算的特征量與預(yù)定閾值，確定抽取的紅色圓形區(qū)域是否是紅眼。
對(duì)于記錄在由紅色圓形區(qū)域抽取部分203獲得的候選區(qū)域列表中的紅眼候選區(qū)域，特征量確定部分204按照?qǐng)D16的流程圖中所示的順序執(zhí)行應(yīng)用于五個(gè)特征量組的下述確定。
特征量組0紅色圓形區(qū)域與周圍區(qū)域中的評(píng)價(jià)量的平均值Er(ave)之間的比較(步驟S10)特征量組1與紅色圓形區(qū)域中的色調(diào)、評(píng)價(jià)量Er、顏色分量的變化相關(guān)的確定(步驟S11)特征量組2與周圍區(qū)域中的亮度相關(guān)的確定(步驟S12)特征量組3與周圍區(qū)域中的飽和度和色調(diào)相關(guān)的確定(步驟S13)特征量組4與周圍區(qū)域中的邊緣強(qiáng)度相關(guān)的確定(步驟S14)理想的紅眼區(qū)的紅色分量存在于瞳孔區(qū)中，并且可明顯地與其周圍區(qū)域區(qū)分開(kāi)。與其它各種特征量相比，這是一個(gè)極好的特征量。因此，特征量確定部分204首先執(zhí)行特征量組0的確定處理(步驟S10)，以有效地檢測(cè)紅眼候選區(qū)域。
與其它特征量組的確定相比，特征量組1的確定(步驟S11)需要的計(jì)算量較少，因?yàn)橥ㄟ^(guò)只參考紅色圓形候選區(qū)中的像素，即可進(jìn)行特征量確定。
特征量組2的確定和特征量組3的確定(步驟S12和S13)需要關(guān)于存在于預(yù)定周圍區(qū)域中的像素，把R、G和B分量轉(zhuǎn)換成亮度和色差分量，或者需要把R、G和B分量轉(zhuǎn)換成光度(強(qiáng)度)、飽和度和色調(diào)分量。
從而，與特征量組1的確定相比，特征量組2的確定和特征量組3的確定需要較大量的計(jì)算。
特征量組4的確定(步驟S14)使用常規(guī)已知的邊緣檢測(cè)濾波器，例如Sobel濾波器，并獲得邊緣強(qiáng)度。與其它特征量組的確定相比，特征量組4的確定需要最大量的計(jì)算。
鑒于此，特征量確定部分204按照計(jì)算量少的順序，即，按照識(shí)別紅眼區(qū)的特征的容易性的順序，進(jìn)行上述五種確定。
如圖16的流程圖中所示，當(dāng)紅眼候選區(qū)域被確定為非紅眼區(qū)時(shí)，特征量確定部分204跳過(guò)隨后的確定步驟，以減少總的處理量。
<周圍區(qū)域的定義>
圖13A-13C圖解說(shuō)明用于計(jì)算紅眼候選區(qū)的特征量的周圍區(qū)域的例證定義。
在圖13A-13C中，中心塊1301是由紅色圓形區(qū)域抽取部分203抽取的紅眼候選區(qū)(紅色圓形區(qū)域)的外接矩形。
圖13A表示包括位于其中心的中心塊1301，并且垂直邊和水平邊為中心塊1301的對(duì)應(yīng)邊的兩倍的例證周圍區(qū)域。
圖13B表示包括位于其中心的中心塊1301，并且垂直邊和水平邊為中心塊1301的對(duì)應(yīng)邊的三倍的例證周圍區(qū)域。
圖13C表示包括位于其中心的中心塊1301，并且垂直邊和水平邊為中心塊1301的對(duì)應(yīng)邊的五倍的例證周圍區(qū)域。
在下面的說(shuō)明中，“整個(gè)周圍區(qū)域”是通過(guò)從矩形周圍區(qū)域中除去中心塊1301而獲得的部分。此外，“周圍區(qū)域中的塊”是由包含并且從中心塊1301的四邊延伸出的四條虛線分割的周圍區(qū)域的8個(gè)塊，如圖13A-13C中所示。
特征量確定部分204對(duì)除特征量組1外的各個(gè)特征量組的周圍區(qū)域應(yīng)用確定。這種周圍區(qū)域的設(shè)定需要參考尺寸最大為紅眼候選區(qū)的外接矩形的五倍的區(qū)域。從而，能夠快速完成確定處理。
圖14A和14B圖解說(shuō)明其中在圖像的邊緣附近存在紅眼候選區(qū)的例證周圍區(qū)域。圖14A表示紅眼候選區(qū)的外接矩形(即，塊1301)圖像的右邊緣附近具有小于外接矩形的邊長(zhǎng)的余緣(margin)。
這種情況下，如果任何像素存在于每塊周圍區(qū)域中，那么特征量確定部分204根據(jù)包括在該塊周圍區(qū)域中的像素，進(jìn)行特征量確定。
圖14B表示與圖像的右邊緣無(wú)余緣地相接的紅眼候選區(qū)的外接矩形(即，塊1301)。這種情況下，右上側(cè)(TR)、右側(cè)(R)和右下側(cè)(BR)的三個(gè)周圍塊不包含任何像素。特征量確定部分204不能計(jì)算這三個(gè)周圍塊的特征量。這種情況下，第一例證實(shí)施例中的特征量確定部分204確定塊1301不是紅眼區(qū)，并從候選區(qū)域列表中排除與塊1301對(duì)應(yīng)的紅眼候選區(qū)。
<特征量組0的確定(參見(jiàn)步驟S10)>
在特征量組0的確定中，特征量確定部分204設(shè)定包括塊1301的三倍長(zhǎng)的周圍區(qū)域，例如如圖13B中所示，并對(duì)于包括塊1301在內(nèi)的每個(gè)塊，利用公式(3)計(jì)算每個(gè)像素的評(píng)價(jià)量Er。隨后，特征量確定部分204計(jì)算評(píng)價(jià)量的平均值Er(ave)。
特征量確定部分204把計(jì)算的平均值Er(ave)保存于在RAM 103中分配的數(shù)組AEvR[8]中，數(shù)組AEvR能夠保持9個(gè)(0-8)元素。更具體地說(shuō)，從圖13A中所示的左上方塊到右下方塊，元素0被分配給左上方(TL)塊，元素1被分配給上方(T)塊，元素2被分配給右上方(TR)塊，-----。
隨后，對(duì)于每個(gè)元素i(i＝0～8，除了與塊1301對(duì)應(yīng)的i＝4之外)，特征量確定部分204確定下述公式是否被滿足。
AEvR[i]＜AEvR[4]×Th_FJ0_EvR (12)公式(12)的右側(cè)表示通過(guò)把塊1301中的評(píng)價(jià)量的平均值A(chǔ)EvR[4]乘以閾值Th_FJ0_EvR而獲得的值。公式(12)的左側(cè)表示剩余的八個(gè)周圍塊中的評(píng)價(jià)量的平均值A(chǔ)EvR[i]。
當(dāng)公式(12)被滿足時(shí)，特征量確定部分204確定目標(biāo)紅眼候選區(qū)是紅眼區(qū)。當(dāng)公式(12)不被滿足時(shí)，特征量確定部分204確定目標(biāo)紅眼候選區(qū)不是紅眼區(qū)，并取消隨后的特征量組的確定，重新開(kāi)始關(guān)于下一紅眼候選區(qū)的確定。
在下面描述的特征量中，就識(shí)別紅眼區(qū)來(lái)說(shuō)，在公式(12)中定義的評(píng)價(jià)量Er的比較最可靠。這就是為什么特征量確定部分204首先執(zhí)行利用公式(12)的處理的原因。不同的實(shí)驗(yàn)結(jié)果已揭示利用公式(12)的確定對(duì)從候選區(qū)域列表中排除非紅眼區(qū)域最有效。因此，通過(guò)考慮到識(shí)別紅眼區(qū)的特征的容易性決定確定順序，特征量確定部分204能夠使計(jì)算量降至最小。
此外，在塊1301的平均值Er(ave)的計(jì)算中，適合于計(jì)算圖15A中所示的菱形的計(jì)算區(qū)域1501內(nèi)的像素的評(píng)價(jià)值Er。
紅眼區(qū)的形狀一般是圓形或橢圓形。從而，紅色度較小的像素存在于塊1301的四角。從而，當(dāng)在評(píng)價(jià)量Er的計(jì)算中，存在于塊1301四角的像素被排除在外時(shí)，塊1301中的評(píng)價(jià)量的平均值Er(ave)不會(huì)不希望地降低。
評(píng)價(jià)值Er的計(jì)算區(qū)域并不局限于圖15A中所示的菱形。例如，塊1301的內(nèi)切圓(參見(jiàn)圖15B)或者內(nèi)切橢圓(參見(jiàn)圖15C)可被用于獲得相似或更好的計(jì)算結(jié)果。
<特征量組1的確定(參見(jiàn)步驟S11)>
在特征量組1的確定中，特征量確定部分204通過(guò)只參考紅眼候選區(qū)(即圖13A-13C中所示的塊1301)中的圖像數(shù)據(jù)，確定是否存在任何紅眼區(qū)。特征量組1的確定包括下述確定處理。
首先，在紅眼候選區(qū)中，特征量確定部分204確定具有在±30度內(nèi)的色調(diào)的像素的評(píng)價(jià)量的平均值Er(ave)是否不小于閾值Th_FJ1_EMin，并且不大于閾值Th_FJ1_EMax。當(dāng)紅眼候選區(qū)不滿足該確定時(shí)，特征量確定部分204從候選區(qū)域列表中排除該紅眼候選區(qū)。色調(diào)可由任何公知的方法獲得。
隨后，在紅眼候選區(qū)中，特征量確定部分204獲得具有在±30度內(nèi)的色調(diào)的像素的評(píng)價(jià)量Er的最大值和最小值，并計(jì)算比值R＝最小值/最大值。
在紅眼候選區(qū)中，評(píng)價(jià)量Er極大地變化，因此比值R是一個(gè)較小的值。因此，特征量確定部分204進(jìn)行由下述公式(13)定義的確定，并從候選區(qū)域列表中排除不滿足公式(13)的任何目標(biāo)紅眼候選區(qū)。
R＜Th_FJ1_EMaxMinRatio(13)隨后，在紅眼候選區(qū)中，特征量確定部分204測(cè)量R分量的標(biāo)準(zhǔn)偏差。一般來(lái)說(shuō)，紅眼區(qū)包含亮紅色區(qū)域和沿瞳孔的邊界延伸的暗色區(qū)域。因此，R分量具有很大的動(dòng)態(tài)范圍。如果紅眼區(qū)的R分量的偏差被測(cè)量，那么其值將是極大的值。因此，在紅眼候選區(qū)域中，特征量確定部分204按照已知方法測(cè)量R分量的標(biāo)準(zhǔn)偏差δr，確定標(biāo)準(zhǔn)偏差δr是否大于閾值Th_FJ1_RDiV。
δr＞Th_FJ1_RDiV (14)當(dāng)公式(14)不被滿足時(shí)，特征量確定部分204從候選區(qū)域列表中排除該紅眼候選區(qū)。雖然上面的確定使用R分量的標(biāo)準(zhǔn)偏差，不過(guò)R分量的方差也可被用于進(jìn)行類似的確定。
作為確定R分量的變化程度的另一種方法，特征量確定部分204能夠計(jì)算紅眼候選區(qū)中的鄰近像素間的R分量的差分和的平均值SDr(ave)，并確定平均值SDr(ave)是否大于閾值Th_FJ1_RDiff(參見(jiàn)公式(15))。
SDr(ave)＞Th_FJ1_RDiff(15)特征量確定部分204能夠使用各種方法來(lái)計(jì)算鄰近像素間的差分和的平均值。
例如，特征量確定部分204能夠計(jì)算目標(biāo)像素與8個(gè)鄰近像素之間，或者目標(biāo)像素僅與左側(cè)鄰近像素之間的差分和的平均值。
此外，特征量確定部分204能夠根據(jù)G或B分量、亮度值或者評(píng)價(jià)量Er，進(jìn)行上述確定。
<特征量組2的確定(參見(jiàn)步驟S12)>
在特征量組2的確定中，特征量確定部分204設(shè)定圍繞在特征量組1的確定中未被排除、仍留在候選區(qū)域列表中的紅眼候選區(qū)四周的周圍區(qū)域，并進(jìn)行與該周圍區(qū)域中的亮度分量相關(guān)的確定處理。例如，特征量組2的確定包括下述確定處理。
首先，特征量確定部分204設(shè)定在紅眼候選區(qū)四周的周圍區(qū)域(例如，圖13C中所示的五倍長(zhǎng)區(qū)域)。隨后，特征量確定部分204計(jì)算圍繞塊1301的周圍區(qū)域的8個(gè)塊的平均亮度值Y(ave)，并確定平均亮度值Y(ave)是否在閾值Th_FJ2_YMin和閾值Th_FJ2_YMax的范圍中。
當(dāng)平均亮度值Y(ave)不在上述范圍中時(shí)，即，當(dāng)塊1301的周圍極亮或極暗時(shí)，特征量確定部分204從候選區(qū)域列表中排除目標(biāo)紅眼候選區(qū)。在涉及亮度的上述確定中，特征量確定部分204能夠獲得周圍區(qū)域中的8個(gè)塊的平均亮度值Y(ave)，或者能夠獲得周圍區(qū)域中的每個(gè)塊的平均亮度值Y(ave)，并比較每個(gè)平均亮度值Y(ave)與為每個(gè)塊設(shè)定的閾值。
隨后，特征量確定部分204設(shè)定在紅眼候選區(qū)周圍的兩倍長(zhǎng)周圍區(qū)域(參見(jiàn)圖13A)，并計(jì)算圍繞塊1301的周圍區(qū)域的8個(gè)塊的平均亮度值Y(ave)。此外，特征量確定部分204獲得8個(gè)平均亮度值的最大值Ymax和最小值Ymin。
一般來(lái)說(shuō)，當(dāng)相對(duì)于紅眼候選區(qū)，把周圍區(qū)域設(shè)定為兩倍長(zhǎng)大小時(shí)，周圍區(qū)域的亮度極大地變化。從而，特征量確定部分204進(jìn)行下述確定。
(Ymax-Ymin)＞Th_FJ2_MaxMinDiff2 (16)當(dāng)公式(16)不被滿足時(shí)，特征量確定部分204從候選區(qū)域列表中排除目標(biāo)紅眼候選區(qū)。
另一方面，特征量確定部分204設(shè)定在紅眼候選區(qū)周圍的五倍長(zhǎng)周圍區(qū)域(參見(jiàn)圖13C)，并如上所述計(jì)算周圍區(qū)域的8個(gè)塊的平均亮度值Y(ave)。此外，特征量確定部分204獲得8個(gè)平均亮度值的最大值Ymax和最小值Ymin。
一般來(lái)說(shuō)，當(dāng)相對(duì)于紅眼候選區(qū)，把周圍區(qū)域設(shè)定為具有五倍長(zhǎng)的尺寸時(shí)，多數(shù)周圍區(qū)域是膚色區(qū)域，因此該區(qū)域中的亮度值變化不大。因此，特征量確定部分204進(jìn)行下述確定。
(Ymax-Ymin)＜Th-FJ2_MaxMinDiff5 (17)當(dāng)公式(17)不被滿足時(shí)，特征量確定部分204從候選區(qū)域列表中排除目標(biāo)紅眼候選區(qū)。
<特征量組3的確定(參見(jiàn)步驟S13)>
在特征量組3的確定中，特征量確定部分204設(shè)定圍繞在特征量組1的確定和特征量組2的確定中未從候選區(qū)域列表中排除的紅眼候選區(qū)的周圍區(qū)域，并進(jìn)行與周圍區(qū)域中的飽和度和色調(diào)相關(guān)的確定處理。例如，特征量組3的確定包括下述確定處理。
首先，特征量確定部分204設(shè)定圍繞紅眼候選區(qū)的周圍區(qū)域(例如圖13C中所示的五倍長(zhǎng)區(qū)域)，并計(jì)算圍繞塊1301的周圍區(qū)域的8個(gè)塊的具有色調(diào)±Th_FJ3_HRange的像素的比值Rh。由于圍繞紅眼區(qū)的周圍區(qū)域是膚色區(qū)域，因此多數(shù)像素的色調(diào)包含在上述范圍中。
因此，當(dāng)計(jì)算的比值Rh不小于閾值Th_FJ3_HRatio時(shí)，特征量確定部分204能夠把該區(qū)域識(shí)別為紅眼候選區(qū)。當(dāng)計(jì)算的比值Rh小于閾值Th_FJ3_HRatio時(shí)，特征量確定部分204從候選區(qū)域列表中排除目標(biāo)紅眼候選區(qū)。特征量確定部分204能夠利用下述公式(18)計(jì)算比值Rh。
Rh＝Nh/∑N (18)其中，Nh表示具有色調(diào)±Th_FJ3_HRange的像素的總數(shù)，∑N表示包含在8個(gè)塊中的像素的總數(shù)。
隨后，特征量確定部分204設(shè)定圍繞紅眼候選區(qū)的周圍區(qū)域(例如圖13C中所示的五倍長(zhǎng)區(qū)域)，并計(jì)算周圍區(qū)域中的8個(gè)塊的平均飽和度S(ave)。隨后，特征量確定部分204確定平均飽和度S(ave)是否在閾值Th_FJ3_SMin和閾值Th_FJ3_SMax的范圍中。
當(dāng)平均飽和度S(ave)不在上述范圍中時(shí)，特征量確定部分204從候選區(qū)域列表中排除目標(biāo)紅眼候選區(qū)。
可對(duì)每個(gè)塊進(jìn)行飽和度的上述確定。即，特征量確定部分204能夠?qū)χ車鷧^(qū)域中的每個(gè)塊計(jì)算平均飽和度S(ave)，并且能夠比較獲得的平均飽和度S(ave)與預(yù)定閾值。
此外，紅眼區(qū)的外圍是所謂的眼白區(qū)。因此，在圍繞紅眼候選區(qū)設(shè)定的周圍區(qū)域(例如圖13B中所示的三倍長(zhǎng)區(qū)域)中，飽和度S與光度(強(qiáng)度)L的比值S/L不大于閾值Th_FJ3_WhitePix。更具體地說(shuō)，如果存在飽和度S較小、光度(強(qiáng)度)L較大的像素，那么特征量確定部分204可把該區(qū)域識(shí)別為紅眼候選區(qū)。如果上述確定結(jié)果是否定的，那么特征量確定部分204從候選區(qū)域列表中排除目標(biāo)紅眼候選區(qū)。
<特征量組4的確定(參見(jiàn)步驟S14)>
在特征量組4的確定中，特征量確定部分204設(shè)定圍繞在特征量組1-特征量組3的確定中未被排除、仍留在候選區(qū)域列表中的紅眼候選區(qū)的周圍區(qū)域，并進(jìn)行與周圍區(qū)域中的邊緣相關(guān)的確定處理。
一般來(lái)說(shuō)，在人眼的附近存在非常明顯的邊緣，可被用作特征量。在下面的說(shuō)明中，Sobel濾波器被用于邊緣檢測(cè)。但是，其它邊緣檢測(cè)濾波器可被用于進(jìn)行類似的確定處理。Sobel濾波器眾所周知，下面將不再贅述。例如，特征量組4的確定包括下述確定處理。
首先，特征量確定部分204設(shè)定圍繞紅眼候選區(qū)的周圍區(qū)域(例如圖13A中所示的兩倍長(zhǎng)區(qū)域)，并對(duì)周圍區(qū)域中的每個(gè)像素應(yīng)用Soble濾波處理。隨后，特征量確定部分204計(jì)算從Sobel濾波處理獲得的Sobel輸出值的平均值So(ave)。
考慮在人眼的附近存在陡沿的可能性，特征量確定部分204比較平均值So(ave)與閾值Th_FJ4_SobelPow。當(dāng)平均值So(ave)等于或小于閾值Th_FJ4_SobelPow(即So(ave)≤Th_FJ4_SobelPow)時(shí)，特征量確定部分204從候選區(qū)域列表中排除目標(biāo)紅眼候選區(qū)。
此外，特征量確定部分204設(shè)定圍繞紅眼候選區(qū)的周圍區(qū)域(例如圖13B中所示的三倍長(zhǎng)區(qū)域)，并對(duì)周圍區(qū)域中的每個(gè)像素應(yīng)用Soble濾波處理。特征量確定部分204計(jì)算從Sobel濾波處理得到的Sobel輸出值的最大值和最小值之間的差值Ds。
通常，在人眼附近同時(shí)存在陡沿和平坦的膚色區(qū)。差值Ds是較大的值。因此，特征量確定部分204比較差值Ds與閾值Th_FJ4_MaxMinDiff。當(dāng)差值Ds等于或小于閾值Th_FJ4_MaxMinDiff(即，Ds≤Th_FJ4_MaxMinDiff)時(shí)，特征量確定部分204從候選區(qū)域列表中排除目標(biāo)紅眼候選區(qū)。
此外，特征量確定部分204設(shè)定圍繞紅眼候選區(qū)的周圍區(qū)域(例如圖13B中所示的三倍長(zhǎng)區(qū)域)，并對(duì)周圍區(qū)域中的每個(gè)像素應(yīng)用Soble濾波處理。隨后，特征量確定部分204把各個(gè)像素的Sobel輸出值作為邊緣圖像保存于在RAM 103中分配的數(shù)組sobel[y][x]中。
隨后，特征量確定部分204計(jì)算邊緣圖像的重心位置(Xw，Yx)。特征量確定部分204可利用下述公式(19)獲得重心位置(Xw，Yx)。(Xw，Yx)＝(∑x·Sobel[y][x]/Sobel[y][x]，∑y·Sobel[y][x]/Sobel[y][x])(19)如果目標(biāo)紅眼候選區(qū)是人眼，那么重心位置(Xw，Yx)存在于邊緣圖像的中心附近。因此，特征量確定部分204確定重心位置(Xw，Yx)是否包含在例如塊1301中。當(dāng)重心位置(Xw，Yx)包含在塊1301中時(shí)，特征量確定部分204把該區(qū)域識(shí)別為紅眼候選區(qū)。當(dāng)重心位置(Xw，Yx)未包含在塊1301中時(shí)，特征量確定部分204從候選區(qū)域列表中排除目標(biāo)紅眼候選區(qū)。
此外，特征量確定部分204設(shè)定圍繞紅眼候選區(qū)的五倍長(zhǎng)周圍區(qū)域(參見(jiàn)圖13C)，并對(duì)該周圍區(qū)域中的每個(gè)像素應(yīng)用Sobel濾波處理。特征量確定部分204把各個(gè)像素的Sobel輸出值作為邊緣圖像保存在數(shù)組Sobel[y][x]中。數(shù)組Sobel[y][x]的大小與五倍長(zhǎng)周圍區(qū)域的像素?cái)?shù)相同。
隨后，在包括塊1301的整個(gè)周圍區(qū)域內(nèi)，特征量確定部分204定義圖17中所示的兩個(gè)區(qū)域，即，中心區(qū)1601和外部區(qū)1602。隨后在每個(gè)區(qū)域中，特征量確定部分204計(jì)算保存在數(shù)組Sobel[y][x]中的Sobel輸出值的平均值。圖17表示了比塊1301大2.5倍的中心區(qū)1601。但是，中心區(qū)1601的尺寸并不局限于塊1301的尺寸的2.5倍。
在下面的說(shuō)明中，SPowin表示中心區(qū)1601中的Sobel輸出值的平均值，SPowout表示外部區(qū)1602中的Sobel輸出值的平均值。在人眼附近，有陡沿存在于中心區(qū)1601中，而不是存在于外部區(qū)1602中的趨勢(shì)。從而，特征量確定部分204進(jìn)行下述確定。
SPowin/SPowout＞Th_FJ4_InOutRatio (20)
當(dāng)公式(20)被滿足時(shí)，特征量確定部分204確定目標(biāo)紅眼候選區(qū)是紅眼區(qū)。如果。如果公式(20)不被滿足，那么特征量確定部分204確定目標(biāo)紅眼候選區(qū)不是紅眼區(qū)，并從候選區(qū)域列表中排除該目標(biāo)紅眼候選區(qū)。
作為上述確定的改進(jìn)，特征量確定部分204可把每個(gè)SPowin和SPowout與獨(dú)立的閾值進(jìn)行比較。
最后，特征量確定部分204把在特征量組0-4的全部(或部分)的上述確定中接受的紅眼候選區(qū)確定為紅眼區(qū)。特征量確定部分204把最終的紅眼區(qū)的候選區(qū)域列表發(fā)送給校正部分205。
校正部分205校正部分205接收包括R、G和B分量的輸入圖像數(shù)據(jù)，和在特征量確定部分204的處理中獲得的紅眼區(qū)的候選區(qū)域列表。
圖18是圖解說(shuō)明由校正部分205進(jìn)行的校正候選區(qū)域列表中的一個(gè)以上的紅眼區(qū)之一的例證校正處理的流程圖。換句話說(shuō)，校正部分205按照?qǐng)D18中所示的處理，逐一地校正候選區(qū)域列表中的紅眼區(qū)。
首先，校正部分205確定目標(biāo)紅眼區(qū)的校正范圍(步驟S1701)。圖19圖解說(shuō)明了校正范圍的例證確定，其中中心的矩形區(qū)域是包含在候選區(qū)域列表中的紅眼區(qū)1901。
校正部分205設(shè)定具有從紅眼區(qū)1901的中心延伸出的長(zhǎng)半徑Lw1和短半徑Lh1的橢圓形校正區(qū)1902。
校正部分205能夠按照下述公式(21)計(jì)算Lw1和Lh1。
Lw1＝Lw0×CPARAM_AREARATIOLh1＝Lh0×CPARAM_AREARATIO(21)其中Lw0和Lh0表示紅眼區(qū)1901的半寬度和半高度，CPARAM_AREARATIO表示用于確定校正范圍的參數(shù)。
隨后，校正部分205計(jì)算校正區(qū)1902中的所需校正參數(shù)(步驟S1702)。待計(jì)算的參數(shù)是橢圓形區(qū)域中的最大亮度值Ymax和由公式(3)定義的評(píng)價(jià)量Er的最大值Ermax。
隨后，校正部分205確定目標(biāo)像素是否存在于橢圓形校正區(qū)1902中(步驟S1703)。校正部分205可利用能夠計(jì)算橢圓形的下述公式(22)完成所述確定。
(x/Lw1)2+(y/Lh1)2≤1 (22)其中(x，y)表示目標(biāo)像素的坐標(biāo)，坐標(biāo)系的原點(diǎn)位于目標(biāo)紅眼區(qū)的中心。
當(dāng)目標(biāo)像素的坐標(biāo)(x，y)滿足公式(22)時(shí)，校正部分205確定目標(biāo)像素存在于校正區(qū)1902中，處理流程進(jìn)行到步驟S1704。當(dāng)目標(biāo)像素不存在于校正區(qū)1902中時(shí)，校正部分205把目標(biāo)像素移向下一像素(步驟S1710)，處理流程隨后返回步驟S1703。當(dāng)目標(biāo)像素存在于校正區(qū)1902中時(shí)，校正部分205把目標(biāo)像素的R、G和B分量值轉(zhuǎn)換成亮度和色差分量的YCC值(步驟S1704)。校正部分205能夠使用各種常規(guī)已知的轉(zhuǎn)換方法。
隨后，校正部分205計(jì)算目標(biāo)像素的評(píng)價(jià)量(步驟S1705)。評(píng)價(jià)量是當(dāng)校正部分205在下一步驟S1706中確定校正量時(shí)需要的參數(shù)。更具體地說(shuō)，評(píng)價(jià)量包括下述三個(gè)值(1)比值r/r0，其中r表示從紅眼區(qū)1901的中心到目標(biāo)像素的距離，r0表示從該中心到橢圓形邊界的距離；(2)比值Er/Ermax，其中Er表示目標(biāo)像素的評(píng)價(jià)量，Ermax表示最大評(píng)價(jià)量；和(3)比值Y/Ymax，其中Y表示目標(biāo)像素的亮度，Ymax表示最大亮度值。
隨后，根據(jù)在步驟S1705中獲得的參數(shù)，校正部分205按照下述公式(23)，計(jì)算目標(biāo)像素的亮度Y的校正量Vy、和色差分量Cr及Cb的校正量Vc(步驟S1706)。
Vy＝{1-RrTy1}·{1-(1-Re)Ty2}·{1-RyTy3}Vc＝{1-RrTc1}·{1-(1-Re)Tc2}(23)其中Rr＝r/r0，Re＝Er/Ermax，Ry＝Y(jié)/Ymax。
校正量Vy和Vc都在0.0-1.0的范圍中。當(dāng)它們逼近1.0時(shí)，校正量Vy和Vc變大。校正部分205使用上述三個(gè)參數(shù)來(lái)確定亮度Y的校正量Vy。當(dāng)目標(biāo)像素位于遠(yuǎn)離校正區(qū)1902的中心的位置時(shí)，校正量Vy較小。此外，當(dāng)目標(biāo)像素的評(píng)價(jià)量Er小于最大值Ermax時(shí)，校正量Vy較小。當(dāng)目標(biāo)像素的亮度Y接近最大值Ymax時(shí)，校正量Vy較小。
降低較明亮像素的校正量Vy對(duì)保留眼睛中的加亮區(qū)部分(捕獲光)有效。另一方面，色差分量Cr和Cb的校正量Yc不包括與亮度Y相關(guān)的參數(shù)。
在公式(23)中，參數(shù)Ty1、Ty2、Ty3、Tc1和Tc2可被恰當(dāng)設(shè)定，使得每個(gè)評(píng)價(jià)量(即，包括在公式(23)中的括弧{}中的值)可被用作直線或一階曲線(實(shí)線)、二階曲線(虛線)或者三階曲線(點(diǎn)劃線)，如圖20中所示。
隨后，根據(jù)校正量Vy和Vc，校正部分205按照下述公式(24)計(jì)算校正后的YCC值(步驟S1707)。
Y′＝(1.0-Wy·Vy)·YC′＝(1.0-Wc·Vc)·C (24)其中，Y和C是未校正的值，Y′和C′是校正后的值，Wy和Wc是在0.0-1.0范圍中的加權(quán)值。
當(dāng)指定正確的強(qiáng)度時(shí)，可調(diào)整加權(quán)值Wy和Wc。例如，通過(guò)分別把Wy和Wc都設(shè)為0.3、0.7和1.0，能夠獲得三種(弱、中等和強(qiáng))級(jí)別的校正強(qiáng)度。
當(dāng)確定了亮度和色差分量的新值時(shí)，校正部分205把YCC值轉(zhuǎn)換成RGB值，并把RGB值作為校正后的像素值重寫(xiě)到用于輸入圖像的存儲(chǔ)緩沖器中，或者把獲得的RGB值保存到用于保存輸出圖像的存儲(chǔ)緩沖器的預(yù)定地址(步驟S1708)。
隨后，在步驟S1709中，校正部分205確定目標(biāo)像素是否是對(duì)應(yīng)于目標(biāo)紅眼區(qū)的最后像素。當(dāng)目標(biāo)像素不是最后像素(即，步驟S1709中否)時(shí)，處理流程進(jìn)行到步驟S1710，把目標(biāo)像素移動(dòng)到下一像素(步驟S1710)，并重復(fù)上述處理(步驟S1703-S1708)。當(dāng)目標(biāo)像素是對(duì)應(yīng)于紅眼區(qū)的最后像素(即步驟S1709中是)時(shí)，校正部分205開(kāi)始下一紅眼區(qū)的校正處理，以便完成記錄在候選區(qū)域列表中的剩余紅眼區(qū)的校正處理。
按照上述方法，校正部分205輸入包括R、G和B分量的圖像，把輸入圖像轉(zhuǎn)換成亮度和色差分量值，校正轉(zhuǎn)換后的值，隨后把校正后的值恢復(fù)為R、G和B分量。但是，可以使用另一方法。
例如，校正部分205能夠把R、G和B分量轉(zhuǎn)換成光度(強(qiáng)度)和飽和值，校正轉(zhuǎn)換后的值，隨后把校正后的光度(強(qiáng)度)和飽和度值恢復(fù)為R、G和B分量。將獲得類似的輸出結(jié)果。
校正部分205使用目標(biāo)像素的評(píng)價(jià)量Er與校正區(qū)1902中的最大評(píng)價(jià)量Ermax的比值Er/Ermax作為確定校正量的參數(shù)。但是，校正部分205可以使用其它參數(shù)。例如，校正部分205可以使用目標(biāo)像素的飽和度與校正區(qū)1902中的最大飽和度的比值來(lái)確定校正量。
如上所述，通過(guò)利用定義R和G分量間的關(guān)系的評(píng)價(jià)量Er，而不依賴于與飽和度相關(guān)的值，能夠檢測(cè)構(gòu)成紅眼的像素。從而，能夠準(zhǔn)確地抽取色素較暗(較深)的人的紅眼。
此外，通過(guò)對(duì)與紅眼候選像素對(duì)應(yīng)的二值化圖像應(yīng)用邊界追蹤方法，能夠快速抽取紅色圓形區(qū)域。計(jì)算量可被大大降低。
此外，可從紅色圓形區(qū)域獲得紅眼的各種特征量，通過(guò)評(píng)價(jià)計(jì)算的特征量，能夠準(zhǔn)確地識(shí)別紅眼區(qū)。
此外，考慮各個(gè)特征量確定的效果和計(jì)算特征量方面的計(jì)算量，可按照優(yōu)化的順序進(jìn)行多個(gè)特征量確定，使得能夠有效地排除不必要的候選紅眼區(qū)。因此，能夠以最少的處理量快速實(shí)現(xiàn)紅眼區(qū)的檢測(cè)。
第二實(shí)施例下面說(shuō)明按照本發(fā)明的第二例證實(shí)施例的圖像處理。在第二例證實(shí)施例中，與第一例證實(shí)施例類似的構(gòu)造將用相同的附圖標(biāo)記表示，并且下面不再贅述。
按照在第一例證實(shí)施例中描述的自適應(yīng)二值化處理，在目標(biāo)像素的左側(cè)(即，主掃描方向上的前方區(qū)域)設(shè)定預(yù)定尺寸的窗口403(參見(jiàn)圖4)，計(jì)算窗口403內(nèi)的像素的評(píng)價(jià)量的平均值Er(ave)，并依據(jù)平均值Er(ave)的閾值，確定目標(biāo)像素是否構(gòu)成紅色區(qū)域。
為了計(jì)算閾值，這種方法需要參考少量的像素。處理可被加速。但是，由于窗口403未被設(shè)定在目標(biāo)像素的右側(cè)，因此二值化結(jié)果的可靠性取決于處理方向。例如，如果對(duì)圖5A中所示的圖像應(yīng)用自適應(yīng)二值化處理，那么如圖21中所示，除了瞳孔區(qū)(即，紅眼區(qū))之外，附圖標(biāo)記2001指示的眼睛的邊界可能被錯(cuò)誤地抽取為構(gòu)成紅色區(qū)域的像素。其原因如下。
按照第一例證實(shí)施例，用于目標(biāo)像素2002二值化的閾值是在目標(biāo)像素2002的左側(cè)設(shè)定的窗口內(nèi)的像素的評(píng)價(jià)量的平均值Er(ave)。根據(jù)目標(biāo)像素2002的評(píng)價(jià)量Er與平均值Er(ave)之間的比較結(jié)果進(jìn)行二值化處理(參見(jiàn)公式(6))。
按照?qǐng)D21A中所示的例子，窗口位于定位于待抽取的瞳孔的左側(cè)的膚色區(qū)中。例如，色素明亮的人的膚色區(qū)具有(R，G，B)＝(151，135，110)的像素值。這種情況下，按照公式(3)計(jì)算的評(píng)價(jià)量Er為11％，它是一個(gè)較小的值。另一方面，構(gòu)成眼睛的邊界的目標(biāo)像素2002具有例如(R，G，B)＝(77，50，29)的值。
眼睛邊界區(qū)的亮度低于膚色區(qū)的亮度。按照公式(3)計(jì)算的評(píng)價(jià)量Er為35％。從上述計(jì)算結(jié)果可看出，眼睛邊界區(qū)的評(píng)價(jià)量Er大于窗口中的膚色區(qū)的評(píng)價(jià)量Er。
按照在第一例證實(shí)施例中描述的自適應(yīng)二值化處理，盡管它依賴于參數(shù)Margin_RGB的設(shè)置，不過(guò)目標(biāo)像素2002將被錯(cuò)誤地抽取為構(gòu)成紅色區(qū)域的像素。從而，由圖21A中所示的坐標(biāo)(xmin，ymin)和(xmax，ymax)定義的紅色區(qū)域被抽取。
如果抽取結(jié)果被輸入紅色圓形區(qū)域抽取部分203，那么紅色圓形區(qū)域抽取部分203將對(duì)比固有的紅色圓形區(qū)域更大的區(qū)域應(yīng)用抽取處理。抽取結(jié)果將不可靠，并且抽取時(shí)間將增大。
如果在目標(biāo)像素2002的右側(cè)設(shè)定相同尺寸的窗口，那么除了膚色區(qū)的像素之外，窗口將包括構(gòu)成眼睛的邊界和紅眼的瞳孔區(qū)的許多像素。于是，位于目標(biāo)像素2002的右側(cè)的窗口中的評(píng)價(jià)量的平均值Er(ave)將增大。換句話說(shuō)，目標(biāo)像素2002不可能具有與位于其右側(cè)的窗口中的像素的評(píng)價(jià)量Er相比極大的評(píng)價(jià)量Er。從而，目標(biāo)像素2002將不會(huì)被錯(cuò)誤地檢測(cè)為構(gòu)成紅色區(qū)域的像素。
鑒于此，第二例證實(shí)施例說(shuō)明由紅色區(qū)域抽取部分202執(zhí)行的自適應(yīng)二值化處理，紅色區(qū)域抽取部分202設(shè)定位于目標(biāo)像素的左側(cè)和右側(cè)的兩個(gè)窗口。在按照第二例證實(shí)施例的自適應(yīng)二值化處理中，紅色區(qū)域抽取部分202設(shè)定在目標(biāo)像素402左側(cè)的窗口403，如圖22A中所示，隨后按照與在第一實(shí)施例中描述的方法類似的方法使目標(biāo)像素402二值化。
隨后，紅色區(qū)域抽取部分202把目標(biāo)像素402從左邊緣移動(dòng)到右邊緣，如圖22A中的箭頭所示，并把二值化結(jié)果保存于在RAM 103中分配的二值化圖像緩沖區(qū)中。
當(dāng)目標(biāo)像素402到達(dá)右邊緣時(shí)，紅色區(qū)域抽取部分202結(jié)束使用從左向右移的目標(biāo)像素402的二值化處理。
隨后，如圖22B中所示，在目標(biāo)像素402沿著同一行從右向左移的情況下，紅色區(qū)域抽取部分202按照反向方向進(jìn)行二值化處理。
為此，紅色區(qū)域抽取部分202在目標(biāo)像素402的右側(cè)設(shè)定窗口404，以便設(shè)置二值化閾值。
在上述雙向二值化中，紅色區(qū)域抽取部分202把二值化結(jié)果為‘1’的像素識(shí)別為構(gòu)成紅色區(qū)域的像素，并把該像素保存在二值化圖像緩沖區(qū)中。
圖21B表示可通過(guò)雙向自適應(yīng)二值化處理獲得的構(gòu)成紅色區(qū)域的像素的例子。與可從單向自適應(yīng)二值化處理獲得的結(jié)果(參見(jiàn)圖21A)相比，構(gòu)成眼睛邊界區(qū)的像素可被移除，能夠準(zhǔn)確地抽取紅色區(qū)域。
如上所述，當(dāng)通過(guò)雙向自適應(yīng)二值化處理抽取了紅色區(qū)域時(shí)，用于計(jì)算二值化閾值的窗口被設(shè)定在目標(biāo)像素的右側(cè)和左側(cè)。構(gòu)成紅色區(qū)域的像素可被準(zhǔn)確抽取。
第三例證實(shí)施例下面說(shuō)明按照本發(fā)明的第三例證實(shí)施例的圖像處理。在第三例證實(shí)施例中，與第一或第二例證實(shí)施例類似的構(gòu)造將用相同的附圖標(biāo)記表示，并且下面不再贅述。按照第一和第二例證實(shí)施例，根據(jù)在公式(3)中定義的評(píng)價(jià)量Er執(zhí)行自適應(yīng)二值化處理，以抽取構(gòu)成紅色區(qū)域的像素。
按照該方法，構(gòu)成眼角部分2202(圖23中所示)的像素可能被錯(cuò)誤地檢測(cè)為構(gòu)成瞳孔區(qū)2201的像素。眼角部分2202包括許多像素值例如為(R，G，B)＝(81，41，31)的許多“暗紅色”像素。這些像素的評(píng)價(jià)量Er為49％，這是一個(gè)較大的值。
于是，按照第一或第二例證實(shí)施例的自適應(yīng)二值化處理，眼角部分2202將被檢測(cè)為通過(guò)相當(dāng)大的像素的組合體。此外，就光度(強(qiáng)度)、色調(diào)和飽和度來(lái)說(shuō)，該組合體的邊緣和周圍區(qū)域具有與眼睛類似的特征。
于是，紅色圓形區(qū)域確定部分203和特征量確定部分204可能錯(cuò)誤地把眼角部分2202識(shí)別為能夠滿足所有確定的紅眼區(qū)。鑒于此，第三例證實(shí)施例提供一種能夠解決上述問(wèn)題的方案。
圖24是圖解說(shuō)明CPU 101能夠執(zhí)行的、按照第三例證實(shí)施例的自動(dòng)紅眼校正處理的功能方框圖。與第一例證實(shí)施例相比，新增加了候選區(qū)域評(píng)價(jià)部分207。候選區(qū)域評(píng)價(jià)部分207能夠參考從特征量確定部分204產(chǎn)生的候選區(qū)域列表，評(píng)價(jià)每個(gè)紅眼候選區(qū)的相對(duì)位置和面積，從而重新排列紅眼候選區(qū)。
更具體地說(shuō)，作為評(píng)價(jià)的結(jié)果，候選區(qū)域評(píng)價(jià)部分207能夠從候選區(qū)域列表中排除不適當(dāng)?shù)募t眼候選區(qū)。圖25是圖解說(shuō)明由候選區(qū)域評(píng)價(jià)部分207執(zhí)行的例證處理的流程圖?，F(xiàn)在假定通過(guò)特征量確定部分204的處理，總共k(即，第0個(gè)到第(k-1)個(gè))區(qū)域可被抽取為紅眼候選區(qū)(總的檢測(cè)數(shù)Ne＝k)。
首先，候選區(qū)域評(píng)價(jià)部分207把總的檢測(cè)數(shù)Ne設(shè)定到計(jì)數(shù)器k(步驟S2499)。隨后，候選區(qū)域評(píng)價(jià)部分207計(jì)算第k個(gè)紅眼候選區(qū)(下面稱為“區(qū)域k”)的中心位置和大小(步驟S2500)。候選區(qū)域評(píng)價(jià)部分207可獲得作為矩形區(qū)域抽取的紅眼候選區(qū)的短邊的長(zhǎng)度，作為代表尺寸。隨后，候選區(qū)域評(píng)價(jià)部分207把計(jì)數(shù)器i初始化為0(步驟S2501)。之后，候選區(qū)域評(píng)價(jià)部分207計(jì)算保存在候選區(qū)域列表中的另一紅眼候選區(qū)(下面稱為“區(qū)域i”)的中心位置和大小(步驟S2502)。之后，候選區(qū)域評(píng)價(jià)部分207比較區(qū)域k的面積(下面稱為“面積k”)與區(qū)域i的面積(下面稱為“面積i”)(步驟S2503)。
當(dāng)面積i小于面積k(即，步驟S2503中否)時(shí)，候選區(qū)域評(píng)價(jià)部分207把計(jì)數(shù)器i加1(步驟S2512)。處理流程隨后返回步驟S2502。當(dāng)面積i不小于面積k時(shí)，即，當(dāng)存在面積大于區(qū)域k的面積的紅眼候選區(qū)(即步驟S2503中是)時(shí)，候選區(qū)域評(píng)價(jià)部分207計(jì)算圖26中所示的區(qū)域k和i之間的中心距離“Size(大小)”(步驟S2504)。隨后，根據(jù)中心距離“Size”，候選區(qū)域評(píng)價(jià)部分207計(jì)算評(píng)價(jià)大小和進(jìn)行確定所需的閾值Th_Size(步驟S2505)。
圖27圖解說(shuō)明中心距離“Size”和閾值Th_Size之間的例證關(guān)系，其中橫坐標(biāo)表示中心距離，縱坐標(biāo)表示閾值Th_Size。此外，參數(shù)Sa、Sb、La和Lb可被設(shè)為適當(dāng)?shù)闹?，例如La＝3.0，Lb＝5.0，Sa＝1.0和Sb＝2.0。根據(jù)上面的參數(shù)設(shè)置，當(dāng)中心距離“Size”不大于區(qū)域k的尺寸(即短邊長(zhǎng)度)的三倍時(shí)，閾值Th_Size為1.0。
此外，當(dāng)中心距離“Size”在區(qū)域k的尺寸的3倍-5倍的范圍內(nèi)時(shí)，閾值Th_Size可被確定為圖27中所示的直線上的一個(gè)值。此外，當(dāng)中心距離“Size”超過(guò)區(qū)域k的尺寸的5倍時(shí)，候選區(qū)域評(píng)價(jià)部分207跳過(guò)該確定處理。
隨后，候選區(qū)域評(píng)價(jià)部分207比較面積i與面積k×Th_Size。當(dāng)面積i不小于面積k×Th_Size時(shí)，即，當(dāng)在區(qū)域k的附近存在大于區(qū)域k的紅眼候選區(qū)(步驟S2506中是)時(shí)，候選區(qū)域評(píng)價(jià)部分207確定區(qū)域k不是紅眼區(qū)，并從候選區(qū)域列表中排除區(qū)域k(步驟S2507)。之后，候選區(qū)域評(píng)價(jià)部分207把總的檢測(cè)數(shù)Ne減1(步驟S2508)。處理流程隨后進(jìn)行到步驟S2510。
當(dāng)面積i小于面積k×Th_Size(即，步驟S2506中否)時(shí)，處理流程進(jìn)行到步驟S2509，確定i是否等于k-1。當(dāng)i小于k-1(即，步驟S2509中否)時(shí)，候選區(qū)域評(píng)價(jià)部分207把計(jì)數(shù)器i加1(步驟S2512)，處理流程返回步驟S2502。當(dāng)i等于k-1(即，步驟S2509中是)時(shí)，處理流程進(jìn)行到步驟S2510。
在步驟S2510中，候選區(qū)域評(píng)價(jià)部分207把計(jì)數(shù)器k減1。隨后，候選區(qū)域評(píng)價(jià)部分207確定k是否等于0(步驟S2511)。當(dāng)k大于0時(shí)(即，步驟S2511中否)時(shí)，處理流程返回步驟S2500。當(dāng)k等于0(即步驟S2511中是)時(shí)，候選區(qū)域評(píng)價(jià)部分207終止該處理。
通過(guò)上述確定處理，候選區(qū)域評(píng)價(jià)部分207能夠從候選區(qū)域列表中除去不必要的紅眼候選區(qū)。如上所述，當(dāng)在紅眼候選區(qū)附近存在較小的紅眼候選區(qū)時(shí)，可從候選區(qū)域列表中排除所述較小的紅眼候選區(qū)。從而，能夠解決上述問(wèn)題。
第四例證實(shí)施例下面說(shuō)明按照本發(fā)明的第四例證實(shí)施例的圖像處理。在第四例證實(shí)施例中，與第一、第二或第三例證實(shí)施例類似的構(gòu)造將用相同的附圖標(biāo)記表示，并且下面不再贅述。按照在第一例證實(shí)施例中描述的自適應(yīng)二值化處理，依據(jù)紅眼的加亮區(qū)，紅眼區(qū)可被分成兩個(gè)區(qū)域。
圖28A圖解說(shuō)明例證的放大的紅眼，它包括虹膜區(qū)2701、紅色瞳孔區(qū)2702和由閃光產(chǎn)生的加亮(白色)區(qū)2703。眾所周知，紅眼現(xiàn)象由閃光造成。許多情況下，加亮區(qū)(即，閃光的反射)存在于拍攝的圖像數(shù)據(jù)的瞳孔區(qū)2702中。這也被稱為捕獲光。
一般來(lái)說(shuō)，加亮區(qū)是瞳孔中對(duì)紅眼檢測(cè)處理沒(méi)有任何不利影響的微點(diǎn)。但是，取決于拍照條件，加亮區(qū)可能具有與瞳孔區(qū)可比的較大尺寸，或者可能是窄長(zhǎng)的加亮區(qū)2703，如圖28A中所示。
如果對(duì)這樣的圖像數(shù)據(jù)應(yīng)用按照第一例證實(shí)施例的自適應(yīng)二值化處理，那么加亮區(qū)2703的評(píng)價(jià)量Er將是極小的值，因此加亮區(qū)2703不能被識(shí)別為紅眼的一部分。從而，如圖28B中所示，瞳孔區(qū)被分成二值化圖像中的兩個(gè)區(qū)域2704和2705。如果對(duì)分割區(qū)域應(yīng)用后續(xù)處理，那么瞳孔區(qū)2702將不被識(shí)別為紅眼區(qū)。為了解決該問(wèn)題，第四例證實(shí)施例提供連接鄰近的紅色圓形區(qū)域的處理。
圖29是圖解說(shuō)明CPU 101能夠執(zhí)行的、按照第四例證實(shí)施例的自動(dòng)紅眼校正處理的功能方框圖。與第三例證實(shí)施例相比，新增加了候選區(qū)域連接部分208。
候選區(qū)域連接部分208能夠根據(jù)由紅色圓形區(qū)域抽取部分203抽取并保存在候選區(qū)域列表中的紅色圓形區(qū)域的左上角坐標(biāo)和右下角坐標(biāo)，確定兩個(gè)鄰近的紅色圓形區(qū)域是否應(yīng)被連接為單一的紅色圓形區(qū)域。
圖31表示候選區(qū)域列表的一個(gè)例子，其中記錄了四個(gè)紅色圓形區(qū)域，不過(guò)紅色圓形區(qū)域的實(shí)際數(shù)目將升高到數(shù)十～數(shù)千。
圖30是圖解說(shuō)明由候選區(qū)域連接部分208執(zhí)行的例證處理的流程圖。首先，候選區(qū)域連接部分208把計(jì)數(shù)器i初始化為0(步驟S2901)，另外把計(jì)數(shù)器j初始化為i(步驟2902)。隨后，候選區(qū)域連接部分208確定記錄在候選區(qū)域列表中的第i個(gè)和第j個(gè)紅色圓形區(qū)域(下面稱為“區(qū)域i”和“區(qū)域j”)是否應(yīng)被連接(步驟S2903)。
更具體地說(shuō)，如圖32A中所示，候選區(qū)域連接部分208設(shè)定一個(gè)包含具有寬度Wi和高度Hi(單位像素?cái)?shù))的區(qū)域i及具有寬度Wj和高度Hj的區(qū)域j的矩形區(qū)域。候選區(qū)域連接部分208計(jì)算該矩形區(qū)域的寬度Wij和高度Hij。隨后，利用下面的公式(25)，候選區(qū)域連接部分208確定區(qū)域i和區(qū)域j是否彼此相鄰，并且大小相似。
(Wi·Hi+Wj·Hj)/(Wij·Hij)＞Th_J(25)其中，0＜閾值Th_J≤1.0即，候選區(qū)域連接部分208計(jì)算區(qū)域i的面積與區(qū)域j的面積之和，計(jì)算獲得的總和與包含區(qū)域i和j的矩形區(qū)域的面積的比值。當(dāng)該比值大于閾值Th_J時(shí)，區(qū)域i和區(qū)域j彼此相鄰，并且大小相似。如果區(qū)域i和區(qū)域j處于圖32B中所示的位置關(guān)系，那么用公式(25)計(jì)算的比值較小，因此候選區(qū)域連接部分208確定這兩個(gè)區(qū)域i和j不應(yīng)被連接。
當(dāng)步驟S2903的確定結(jié)果為否(即，當(dāng)兩個(gè)區(qū)域i和j不應(yīng)被連接)時(shí)，候選區(qū)域連接部分208把計(jì)數(shù)器j加1(步驟S2908)，處理流程返回步驟S2903。當(dāng)步驟S2903的確定結(jié)果為是(即，當(dāng)兩個(gè)區(qū)域i和j應(yīng)被連接)時(shí)，候選區(qū)域連接部分208確定與未連接的區(qū)域相比，連接后的區(qū)域是否類似于正方形(步驟S2904)。更具體地說(shuō)，候選區(qū)域連接部分208可把下面的公式(26)用于步驟S2904的確定。
min(Wij，Hij)/max(Wij，Hij)＞max{min(Wi，Hi)/max(Wi，Hi)，min(Wj，Hj)/max(Wj，Hj)} (26)按照公式(26)，包含區(qū)域i和j的矩形區(qū)域的長(zhǎng)寬比(不大于1.0)與區(qū)域i的長(zhǎng)寬比和區(qū)域j的長(zhǎng)寬比中的較大值相比較。當(dāng)在公式(26)中，左側(cè)大于右側(cè)時(shí)，可確定包含區(qū)域i和j的矩形區(qū)域類似于正方形。當(dāng)公式(26)被滿足時(shí)，連接的矩形區(qū)域類似于正方形，從而紅色圓形區(qū)域具有圓形形狀。
當(dāng)公式(26)不被滿足時(shí)，候選區(qū)域連接部分208把計(jì)數(shù)器j加1(步驟S2908)，處理流程返回步驟S2903。當(dāng)公式(26)被滿足時(shí)，候選區(qū)域連接部分208用包含區(qū)域i和j的矩形區(qū)域的坐標(biāo)替換候選區(qū)域列表中的第i個(gè)坐標(biāo)信息，并從候選區(qū)域列表中刪除第j個(gè)位置信息(步驟S2905)。
隨后，候選區(qū)域連接部分208確定計(jì)數(shù)器j是否已達(dá)到與列表的末端對(duì)應(yīng)的最大值(步驟S2906)。
當(dāng)計(jì)數(shù)器j還沒(méi)有達(dá)到最大值(即，步驟S2906中否)時(shí)，候選區(qū)域連接部分208把計(jì)數(shù)器j加1(步驟S2908)，處理返回步驟S2903。當(dāng)計(jì)數(shù)器j達(dá)到了最大值(即，步驟S2906中是)時(shí)，處理流程進(jìn)行到步驟S2907，確定計(jì)數(shù)器i是否達(dá)到了與列表的末端對(duì)應(yīng)的最大值。
當(dāng)計(jì)數(shù)器i還沒(méi)有達(dá)到最大值(即，步驟S2907中否)時(shí)，候選區(qū)域連接部分208把計(jì)數(shù)器i加1(步驟S2909)，處理返回步驟S2902。當(dāng)計(jì)數(shù)器i達(dá)到了最大值(即，步驟S2907中是)時(shí)，候選區(qū)域連接部分208結(jié)束處理。
通過(guò)上面的確定處理，候選區(qū)域連接部分208能夠連接由加亮區(qū)分開(kāi)并記錄在候選區(qū)域列表中的兩個(gè)紅色圓形區(qū)域。這樣，在一個(gè)紅色圓形區(qū)域存在于一個(gè)類似的候選紅色圓形區(qū)域附近時(shí)，候選區(qū)域連接部分208確定兩個(gè)區(qū)域的連接是否可被識(shí)別為一個(gè)紅眼區(qū)(即，確定外接矩形是否類似于正方形)。
通過(guò)上述處理，候選區(qū)域連接部分208通過(guò)連接由在瞳孔區(qū)中產(chǎn)生的加亮區(qū)分開(kāi)的兩個(gè)鄰近的紅色圓形區(qū)域，能夠恰當(dāng)?shù)刂貥?gòu)紅眼區(qū)。
第五例證實(shí)施例下面說(shuō)明按照本發(fā)明的第五例證實(shí)施例的圖像處理。在第五例證實(shí)施例中，與第一、第二、第三或第四例證實(shí)施例類似的構(gòu)造將用相同的附圖標(biāo)記表示，并且下面不再贅述。
第五例證實(shí)施例提供一種利用吞吐量有限的CPU和存儲(chǔ)容量較小的存儲(chǔ)器(例如RAM)實(shí)現(xiàn)分別在第一到第四例證實(shí)施例中描述的圖像處理的方法。例如，復(fù)印機(jī)、打印機(jī)、數(shù)字照相機(jī)、掃描儀和多功能外設(shè)具有包括圖像處理部分的圖像輸入/輸出裝置。這些電子裝置具有幾百kB到幾MB的可用工作存儲(chǔ)器。同時(shí)，由于高分辨率的緣故，高級(jí)數(shù)字照相同的拍攝能力超過(guò)10兆像素。
為了利用工作存儲(chǔ)器的有限容量進(jìn)行從如此高精確的圖像中檢測(cè)紅眼區(qū)的處理，有效的是降低輸入圖像的分辨率。例如，通過(guò)沿水平和垂直方向每隔一個(gè)像素對(duì)8兆像素的輸入圖像進(jìn)行二次抽樣，8兆像素的輸入圖像可被縮減為2兆像素的圖像(即，分辨率降低到1/4水平)。這種情況下，保存圖像所需的工作存儲(chǔ)器容量可被降低到1/4水平。
但是，即使輸入圖像可被縮減為2兆像素的圖像，就RGB 24比特來(lái)說(shuō)，為了保存2兆像素的縮減圖像，需要大約6MB的工作存儲(chǔ)器。裝備大容量RAM的個(gè)人計(jì)算機(jī)或工作站能夠提供充足的存儲(chǔ)容量。但是，為了提供所需的存儲(chǔ)容量(即，約6MB的工作存儲(chǔ)器)，上述電子裝置必須管理有限的工作存儲(chǔ)器容量的使用。
鑒于此，第五例證實(shí)施例提供一種方法，它包括減小輸入圖像，把減小的圖像分成多個(gè)條帶，并以一個(gè)條帶為增量連續(xù)抽取紅眼區(qū)。
此外，在第五例證實(shí)施例中，當(dāng)圖像被分成多個(gè)條帶時(shí)，形成重疊區(qū)，使得能夠確實(shí)檢測(cè)存在于兩個(gè)條帶的邊界上或邊界附近的紅眼區(qū)，如圖33中所示。在圖33中，附圖標(biāo)記3201表示輸入圖像的縮小圖像，BandHeight表示構(gòu)成一個(gè)條帶的行數(shù)。對(duì)Width×BandHeight(單位像素?cái)?shù))的圖像面積應(yīng)用紅眼區(qū)的抽取處理。
此外，按照第五例證實(shí)施例的條帶劃分在待處理圖像的兩個(gè)連續(xù)的條帶間形成一個(gè)具有行數(shù)OverlapArea的重疊區(qū)。上述條帶劃分使得能夠確實(shí)抽取存在于條帶邊界上的紅眼區(qū)3202。
圖34是圖解說(shuō)明圖像輸入/輸出裝置中的CPU能夠執(zhí)行的、按照第五例證實(shí)施例的抽取紅眼區(qū)的例證處理的流程圖。首先，CPU把計(jì)數(shù)器N初始化為0(步驟S3301)，隨后產(chǎn)生第N個(gè)條帶的縮小圖像(步驟S3302)。CPU能夠利用簡(jiǎn)單的稀疏方法產(chǎn)生縮小的圖像。例如，圖像輸入/輸出裝置的存儲(chǔ)器(例如安裝在裝置中的閃速存儲(chǔ)器或硬盤(pán)，或者外部連接的存儲(chǔ)卡)可保存8兆像素的圖像。
在步驟S3302中，CPU訪問(wèn)存儲(chǔ)器中的圖像數(shù)據(jù)。當(dāng)存儲(chǔ)器保存JPEG格式的圖像數(shù)據(jù)時(shí)，CPU對(duì)初始的MCU(即，最小編碼單元)塊解碼，并把解碼后的圖像數(shù)據(jù)保存在工作存儲(chǔ)器的預(yù)定區(qū)域中。MCU塊的大小為例如16×8像素。隨后，通過(guò)每隔一個(gè)像素對(duì)解碼的圖像數(shù)據(jù)二次抽樣，CPU產(chǎn)生8×4像素的圖像數(shù)據(jù)，并把產(chǎn)生的圖像數(shù)據(jù)保存在工作存儲(chǔ)器中的(為抽取的紅眼區(qū)分配的)圖像存儲(chǔ)區(qū)中。CPU重復(fù)上述處理，直到(為抽取的紅眼區(qū)分配的)圖像存儲(chǔ)區(qū)充滿與BandHeight行數(shù)對(duì)應(yīng)的圖像為止。通過(guò)上面的處理，CPU能夠獲得由把8兆像素的圖像縮小到2兆像素的圖像產(chǎn)生的條帶圖像。
除了上述稀疏方法之外，CPU可使用各種方法，例如最近鄰內(nèi)插法或線性縮小法來(lái)縮小圖像。借助上述處理，當(dāng)從縮小的圖像獲得第N條帶圖像時(shí)，CPU抽取第N條帶的紅眼區(qū)(步驟S3303)。
圖35是圖解說(shuō)明能夠抽取第N條帶的紅眼區(qū)的CPU的例證處理(步驟S3303)的流程圖。首先，CPU對(duì)縮小的圖像數(shù)據(jù)應(yīng)用在上述例證實(shí)施例中描述的自適應(yīng)二值化處理(步驟S3401)。CPU把處理結(jié)果(即，紅色區(qū)域的二值化圖像)保存在獨(dú)立于縮小圖像的存儲(chǔ)區(qū)分配的存儲(chǔ)區(qū)中。
這種情況下，由于OverlapArea表示在縮小的圖像上形成的重疊區(qū)，因此OverlapArea區(qū)的處理已在對(duì)第(N-1)條帶的圖像數(shù)據(jù)的在先處理中完成。于是，當(dāng)N＞0時(shí)，CPU能夠跳過(guò)OverlapArea區(qū)的處理，能夠重新使用在第(N-1)條帶圖像的處理中獲得的結(jié)果，從而能夠提高處理速度。
隨后，CPU對(duì)二值化結(jié)果(即，紅色區(qū)域)應(yīng)用在上述例證實(shí)施例中描述的邊界追蹤處理，以便從條帶圖像中抽取紅色圓形區(qū)域(參見(jiàn)步驟S3402)。
隨后，CPU進(jìn)行候選區(qū)域選擇處理以便從多個(gè)抽取的紅色圓形區(qū)域中，選擇CPU對(duì)其應(yīng)用特征量確定處理的紅色圓形區(qū)域(步驟S3403)。圖36是位于第(N-1)、第N和第(N+1)條帶的OverlapArea區(qū)中的四個(gè)紅色圓形區(qū)域的例證圖解。例如，紅色圓形區(qū)域3603不僅存在于第N條帶中，而且存在于第(N+1)條帶中。當(dāng)CPU對(duì)第N條帶和第(N+1)條帶進(jìn)行特征量確定時(shí)，如果紅色圓形區(qū)域位于OverlapArea區(qū)中，那么將要求CPU處理同一紅色圓形區(qū)域兩次。這效率不高。
從而，最好CPU確定是應(yīng)在第N條帶的處理中還是應(yīng)在第(N+1)條帶的處理中，進(jìn)行對(duì)紅色圓形區(qū)域3603的特征量確定。如果在第(N+1)條帶的處理中進(jìn)行特征量確定，那么紅色圓形區(qū)域3601的周圍區(qū)域?qū)⒃谏隙吮患羟小?br> 另一方面，如果在第N條帶的處理中進(jìn)行特征量確定，那么CPU能夠完全處理紅色圓形區(qū)域3601的周圍部分。因此，CPU能夠?qū)t色圓形區(qū)域3603從第N條帶獲得可靠的確定結(jié)果。根據(jù)上面所述，位于OverlapArea區(qū)域中的紅色圓形區(qū)域的特征量確定應(yīng)在能夠完全包含該紅色圓形區(qū)域的周圍區(qū)域的條帶中進(jìn)行。
因此，當(dāng)紅外圓形區(qū)域存在于OverlapArea區(qū)中時(shí)，在第五例證實(shí)施例中進(jìn)行的候選區(qū)域選擇處理(步驟S3403)包括預(yù)測(cè)從紅色圓形區(qū)域的上端到第(N+1)條帶的上端的距離UPLen，并計(jì)算從紅色圓形區(qū)域的下端到第N條帶的下端的距離BTLen，如圖37中所示。
關(guān)于距離UPLen的預(yù)測(cè)，由于第(N+1)條帶的處理未完成，因此CPU預(yù)測(cè)在第(N+1)條帶中紅色圓形區(qū)域的位置。當(dāng)UPLen＜BTLen時(shí)，CPU在第N條帶的處理中進(jìn)行目標(biāo)紅色圓形區(qū)域的特征量確定。當(dāng)UPLen≥BTLen時(shí)，CPU在第(N+1)條帶的處理中進(jìn)行目標(biāo)紅色圓形區(qū)域的特征量確定。
當(dāng)未在第N條帶的處理中進(jìn)行目標(biāo)紅色圓形區(qū)域的特征量確定時(shí)，CPU從第N條帶的候選區(qū)域列表中排除該紅色圓形區(qū)域。類似地，CPU對(duì)圖36中所示的紅色圓形區(qū)域3604計(jì)算距離UPLen和BTLen，并獲得關(guān)系UPLen＞BTLen。從而，CPU在第(N+1)條帶的處理中進(jìn)行紅色圓形區(qū)域3604的特征量確定。
此外，根據(jù)類似的確定，CPU在第(N-1)條帶的處理中進(jìn)行紅色圓形區(qū)域3601的特征量確定，在第N條帶的處理中進(jìn)行紅色圓形區(qū)域3602的特征量確定。
這樣，按照候選區(qū)域選擇處理(圖35中的步驟S3403)，CPU計(jì)算從OverlapArea區(qū)中的目標(biāo)紅色圓形區(qū)域的上端和下端到條帶的上端和下端的距離(余緣)，并確定其中應(yīng)進(jìn)行目標(biāo)的特征量確定的較好條帶。于是，CPU能夠避免不必要地重復(fù)OverlapArea區(qū)域中的紅色圓形區(qū)域的特征量確定。
返回圖35，在步驟S3404中，CPU對(duì)在候選區(qū)域選擇處理(步驟S3403)中選擇的紅色圓形區(qū)域應(yīng)用在上述例證實(shí)施例中描述的特征量確定處理。從而，CPU計(jì)算校正識(shí)別為紅眼區(qū)的區(qū)域所必需的校正參數(shù)(步驟S3405)，并把與紅眼區(qū)的信息結(jié)合的計(jì)算參數(shù)添加到候選區(qū)域列表中，如圖38中所示(步驟S3406)。
要添加的參數(shù)是在校正量Vy和Vc的計(jì)算中需要的校正區(qū)的最大亮度值Ymax和最大評(píng)價(jià)量Ermax(參見(jiàn)公式(23))。
參見(jiàn)圖34，在完成圖35中所示的第N條帶中的紅眼區(qū)的抽取處理(步驟S3303)之后，CPU確定是否完成了最后的條帶的處理(步驟S3304)。當(dāng)完成了所有條帶的處理(即，步驟S3304中是)時(shí)，CPU結(jié)束處理。否則，CPU把計(jì)數(shù)器N加1(步驟S3305)，處理流程返回步驟S3302。
圖39是圖解說(shuō)明按照第五例證實(shí)施例的例證校正處理的流程圖。首先，CPU轉(zhuǎn)換紅眼區(qū)的位置信息(步驟S3801)。在第五例證實(shí)施例中，CPU對(duì)縮小的圖像進(jìn)行紅眼區(qū)的抽取處理，如上所述，因?yàn)镃PU以圖像輸入/輸出裝置的內(nèi)置處理的形式，執(zhí)行紅眼區(qū)抽取和校正處理。
但是，校正目標(biāo)圖像是還未被縮小的高分辨率圖像。圖像輸出裝置，例如打印機(jī)可形成具有在圖像的縮小前的打印(輸出)分辨率的展開(kāi)圖像，或者可旋轉(zhuǎn)該圖像。因此，CPU必須參考縮小率或展開(kāi)率(即，可變的放大率)，或者旋轉(zhuǎn)角度，轉(zhuǎn)換從縮小的圖像抽取的紅眼區(qū)的位置信息。
如圖41中所示，保存在候選區(qū)域列表中的位置信息包括紅眼區(qū)的左上角坐標(biāo)(xt0，yt0)和右下角坐標(biāo)(xb0，yb0)。當(dāng)W0和H0表示縮小圖像的水平方向和垂直方向上的像素?cái)?shù)，W1和H1表示校正目標(biāo)圖像的水平方向和垂直方向上的像素?cái)?shù)時(shí)，CPU按照下面的公式(27)計(jì)算校正目標(biāo)圖像上的紅眼區(qū)的坐標(biāo)。
(xt1，yt1)＝{int(xt0·k)，int(yt0·k)}(xb1，yb1)＝{int(xb0·k)，int(yb0·k)} (27)
其中k＝W1/W0，int( )是不超過(guò)括號(hào)中的值的最大整數(shù)，(xt1，yt1)表示校正目標(biāo)圖像上的紅眼區(qū)的左上角的坐標(biāo)，(xb1，yb1)表示校正目標(biāo)圖像上的紅眼區(qū)的右下角的坐標(biāo)。
在完成步驟S3801的處理(即，當(dāng)校正目標(biāo)圖像上的紅眼區(qū)的坐標(biāo)被確定之后)，CPU如第一例證實(shí)施例中描述的那樣，設(shè)定圍繞紅眼區(qū)的橢圓形區(qū)域。隨后，CPU對(duì)包含在該橢圓形區(qū)域中的像素(即校正目標(biāo)像素)應(yīng)用下述處理。
首先，CPU把計(jì)數(shù)器R初始化為0(步驟S3802)，并獲得校正目標(biāo)圖像的第R行的圖像數(shù)據(jù)(步驟S3803)。在第五例證實(shí)施例中，CPU以校正目標(biāo)圖像上的一行為增量進(jìn)行校正處理。但是，CPU能夠以包括預(yù)定行數(shù)的一個(gè)條帶為增量進(jìn)行校正處理。
通過(guò)展開(kāi)按照J(rèn)EPG格式壓縮的、并保存在圖1中所示的存儲(chǔ)設(shè)備105或存儲(chǔ)卡中的預(yù)定行數(shù)的圖像數(shù)據(jù)，獲得一行或多行的展開(kāi)圖像數(shù)據(jù)，CPU能夠獲得校正目標(biāo)圖像的圖像數(shù)據(jù)。
隨后，CPU確定校正目標(biāo)像素是否包含在第R行的圖像數(shù)據(jù)中(步驟S3804)。在按照第五例證實(shí)施例的校正處理中，CPU設(shè)定圍繞紅眼區(qū)(即，矩形區(qū)域)的橢圓形區(qū)域作為校正目標(biāo)區(qū)。對(duì)于保存在候選區(qū)域列表中的所有紅眼區(qū)，CPU確定第R行是否位于校正目標(biāo)區(qū)的上端和下端之間。
當(dāng)?shù)赗行不包括任何校正目標(biāo)像素時(shí)，CPU把計(jì)數(shù)器R加1(步驟S3807)，處理流程隨后返回步驟S3803。例如，按照?qǐng)D40中所示的例子，第R行包括在圍繞紅眼區(qū)4003設(shè)置的校正目標(biāo)區(qū)4002中。
因此，CPU對(duì)包括在第R行的校正目標(biāo)區(qū)4002中的像素應(yīng)用在第一例證實(shí)施例中描述的校正處理(步驟S3805)。如步驟S3405中所示(圖35)，CPU已獲得最大亮度值Ymax和最大評(píng)價(jià)量Ermax，并把它們保存在候選區(qū)域列表中。從而，CPU可把保存的值用于校正處理。
通過(guò)重復(fù)上述處理，直到第R行變成步驟S3806的確定中的最后一行，CPU可對(duì)整個(gè)輸入圖像應(yīng)用校正處理。校正后的圖像數(shù)據(jù)可被保存在例如存儲(chǔ)設(shè)備105中，或者在完成顏色變換和偽灰度處理之后，可由打印機(jī)110打印在記錄紙上。
這樣，縮小的輸入圖像可被分成多個(gè)條帶?？梢砸粋€(gè)條帶為增量進(jìn)行紅眼區(qū)抽取處理。從而，即使可用的存儲(chǔ)容量極小，也能夠?qū)崿F(xiàn)在第一到第四例證實(shí)施例中描述的紅眼區(qū)抽取和校正處理。
此外，當(dāng)分割圖像時(shí)，在鄰近的條帶之間形成重疊區(qū)，使得能夠確實(shí)抽取存在于條帶邊界上或者邊界附近的紅眼區(qū)。紅眼區(qū)抽取部分可被包含在成像設(shè)備或另一圖像輸入裝置中，紅眼區(qū)校正部分可被包含在打印設(shè)備或者另一圖像輸出裝置中。
變更/變形的例證實(shí)施例按照上述例證實(shí)施例，每個(gè)像素的評(píng)價(jià)量Er被定義為從R和G分量值獲得的評(píng)價(jià)量，而不依賴于B分量值。但是，每個(gè)像素的評(píng)價(jià)量Er可由例如下述公式(28)定義。在下面的公式(28)中，當(dāng)系數(shù)k被設(shè)為0或者小于系數(shù)i和j時(shí)，能夠獲得類似的效果。系數(shù)i，j和k是加權(quán)值，可以是負(fù)值。
Er＝(i·R+j·G+k·B)/R (28)此外，像素值可被轉(zhuǎn)換到Lab或YCbCr的另一色彩空間中，可在不利用藍(lán)色分量的情況下，或者用藍(lán)色分量的較小加權(quán)，定義評(píng)價(jià)量Er。
其它例證實(shí)施例本發(fā)明可適用于包括多個(gè)設(shè)備(例如主機(jī)計(jì)算機(jī)，接口設(shè)備，讀取器，打印機(jī)，或者相關(guān)領(lǐng)域的普通技術(shù)人員已知的其它有關(guān)或等同設(shè)備和/或方法)的系統(tǒng)，或者適用于單一設(shè)備(例如復(fù)印機(jī)，傳真設(shè)備，或者相關(guān)領(lǐng)域的普通技術(shù)人員已知的其它有關(guān)或等同設(shè)備和/或方法)。此外，為了實(shí)現(xiàn)本發(fā)明，通過(guò)存儲(chǔ)介質(zhì)(或者記錄介質(zhì))，用于實(shí)現(xiàn)上述例證實(shí)施例的功能的程序代碼(軟件)可被提供給系統(tǒng)或設(shè)備。系統(tǒng)或設(shè)備中的計(jì)算機(jī)(或CPU或微處理器(MPU))能夠從存儲(chǔ)介質(zhì)讀取程序代碼，并執(zhí)行讀出的程序。
這種情況下，從存儲(chǔ)介質(zhì)讀出的程序代碼能夠?qū)崿F(xiàn)例證實(shí)施例的功能?？梢允褂贸绦虻牡韧?，只要它們具有可比的功能。因此，當(dāng)用計(jì)算機(jī)實(shí)現(xiàn)本發(fā)明的功能或處理時(shí)，安裝在計(jì)算機(jī)中的程序代碼和保存程序的記錄介質(zhì)也被用于實(shí)現(xiàn)本發(fā)明。
換句話說(shuō)，本發(fā)明包含能夠?qū)崿F(xiàn)本發(fā)明的功能或處理的計(jì)算機(jī)程序，或者能夠保存所述程序的任何記錄介質(zhì)。這種情況下，程序的類型可選自目標(biāo)代碼、解釋程序和操作系統(tǒng)(OS)腳本數(shù)據(jù)任意之一。提供程序的記錄介質(zhì)可以是例如軟盤(pán)、硬盤(pán)、光盤(pán)、磁光盤(pán)(MO)、緊致盤(pán)-ROM(CD-ROM)、可記錄光盤(pán)(CD-R)、可重寫(xiě)光盤(pán)(CD-RW)、磁帶、非易失性存儲(chǔ)卡、ROM或者數(shù)字通用光盤(pán)(DVD)(例如DVD-ROM，DVD-R)。
提供程序的方法包括利用客戶計(jì)算機(jī)的瀏覽功能，訪問(wèn)因特網(wǎng)上的主頁(yè)，當(dāng)主頁(yè)允許每個(gè)用戶把計(jì)算機(jī)程序或者具有自動(dòng)安裝功能的程序的壓縮文件下載到用戶的硬盤(pán)或另一記錄介質(zhì)上時(shí)。
此外，程序代碼可被分成多個(gè)文件，使得可從不同的主頁(yè)下載各個(gè)文件?？梢允褂迷试S眾多用戶下載程序文件使得能夠在他們的計(jì)算機(jī)上實(shí)現(xiàn)本發(fā)明的功能或處理的WWW服務(wù)器。
此外，對(duì)程序加密并把加密的程序保存在CD-ROM或者可比的記錄介質(zhì)上是一種把程序分發(fā)給用戶的例證方法。授權(quán)用戶(即，滿足預(yù)定條件的用戶)被允許從因特網(wǎng)上的主頁(yè)下載密鑰信息。用戶可利用獲得的密鑰信息對(duì)程序解密，并且能夠把程序安裝在他們的計(jì)算機(jī)上。當(dāng)計(jì)算機(jī)讀取和執(zhí)行安裝的程序時(shí)，可以實(shí)現(xiàn)上述例證實(shí)施例的功能。
此外，不僅上述例證實(shí)施例的功能可由執(zhí)行程序的計(jì)算機(jī)實(shí)現(xiàn)，而且在計(jì)算機(jī)上運(yùn)行的OS也能夠根據(jù)程序的指令，執(zhí)行部分或全部的實(shí)際處理。
此外，從存儲(chǔ)介質(zhì)讀出的程序代碼可被寫(xiě)入到在計(jì)算機(jī)中裝備的功能擴(kuò)展板的存儲(chǔ)器中，或者被寫(xiě)入與計(jì)算機(jī)連接的功能擴(kuò)展單元的存儲(chǔ)器中。這種情況下，根據(jù)程序的指令，設(shè)置在功能擴(kuò)展板或功能擴(kuò)展單元上的CPU能夠執(zhí)行部分或全部處理，使得能夠?qū)崿F(xiàn)上述例證實(shí)施例的功能。
雖然參考例證實(shí)施例說(shuō)明了本發(fā)明，不過(guò)應(yīng)當(dāng)理解本發(fā)明并不局限于公開(kāi)的例證實(shí)施例。下述權(quán)利要求的范圍將被給予最廣泛的解釋，以便包含所有修改、等同的結(jié)構(gòu)和功能。
權(quán)利要求
1.一種圖像處理設(shè)備，配置成檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域，所述圖像處理設(shè)備包括計(jì)算單元，所述計(jì)算單元被配置成根據(jù)預(yù)定的顏色分量，計(jì)算對(duì)輸入圖像的每個(gè)像素的不良色調(diào)的評(píng)價(jià)量；像素抽取單元，所述像素抽取單元被配置成根據(jù)所述評(píng)價(jià)量，抽取構(gòu)成示出不良色調(diào)的圖像區(qū)的候選像素；區(qū)域抽取單元，所述區(qū)域抽取單元被配置成抽取包括候選像素的預(yù)定形狀的候選區(qū)域；第一確定單元，所述第一確定單元被配置成進(jìn)行與候選區(qū)域的周圍區(qū)域的特征量有關(guān)的確定；更新單元，所述更新單元被配置成根據(jù)第一確定單元獲得的確定結(jié)果，更新候選區(qū)域；第二確定單元，所述第二確定單元被配置成進(jìn)行與更新的候選區(qū)域的周圍區(qū)域的邊緣強(qiáng)度相關(guān)的確定；和檢測(cè)單元，所述檢測(cè)單元被配置成根據(jù)第二確定單元獲得的確定結(jié)果，檢測(cè)示出不良色調(diào)的圖像區(qū)域。
2.按照權(quán)利要求1所述的圖像處理設(shè)備，其中評(píng)價(jià)量是從紅色分量大于綠色分量的像素獲得的比值(R-G)/R，其中R表示紅色分量，G表示綠色分量。
3.按照權(quán)利要求1所述的圖像處理設(shè)備，其中計(jì)算單元被配置成根據(jù)輸入圖像的紅色和綠色分量計(jì)算評(píng)價(jià)量。
4.按照權(quán)利要求1所述的圖像處理設(shè)備，其中應(yīng)用于輸入圖像的藍(lán)色分量的權(quán)重小于應(yīng)用于紅色和綠色分量的權(quán)重，計(jì)算單元被配置成根據(jù)輸入圖像的紅色、綠色和藍(lán)色分量計(jì)算評(píng)價(jià)量。
5.按照權(quán)利要求1所述的圖像處理設(shè)備，其中周圍區(qū)域的特征量是亮度、色調(diào)和飽和度之一。
6.按照權(quán)利要求1所述的圖像處理設(shè)備，其中第二確定單元被配置成進(jìn)行這樣的確定，即，包括設(shè)定圍繞更新的候選區(qū)域的周圍區(qū)域、計(jì)算周圍區(qū)域中的每個(gè)像素的邊緣強(qiáng)度、計(jì)算邊緣強(qiáng)度的平均值、和如果平均值小于預(yù)定值則確定候選區(qū)域不是校正區(qū)。
7.按照權(quán)利要求6所述的圖像處理設(shè)備，其中第二確定單元還被配置成進(jìn)行這樣的確定，即，包括計(jì)算邊緣強(qiáng)度的最大值與最小值之間的差值、如果所述差值小于預(yù)定值則確定候選區(qū)域不是校正區(qū)。
8.按照權(quán)利要求7所述的圖像處理設(shè)備，其中第二確定單元還被配置成進(jìn)行這樣的確定，即，包括計(jì)算邊緣強(qiáng)度的重心位置、如果所述重心位置不存在于周圍區(qū)域的中心附近則確定候選區(qū)域不是校正區(qū)。
9.按照權(quán)利要求8所述的圖像處理設(shè)備，其中第二確定單元還被配置成進(jìn)行這樣的確定，即，包括把周圍區(qū)域分成中心區(qū)域和外部區(qū)域、分別計(jì)算中心區(qū)域和外部區(qū)域中的邊緣強(qiáng)度的平均值、如果中心區(qū)域中的平均值與外部區(qū)域中的平均值的比值小于預(yù)定值則確定候選區(qū)域不是校正區(qū)。
10.按照權(quán)利要求9所述的圖像處理設(shè)備，其中第二確定單元還被配置成進(jìn)行這樣的確定，即，包括如果中心區(qū)域中的平均值小于預(yù)定值則確定候選區(qū)域不是校正區(qū)。
11.按照權(quán)利要求10所述的圖像處理設(shè)備，其中第二確定單元還被配置成進(jìn)行這樣的確定，即，包括如果中心區(qū)域中的平均值大于預(yù)定值則確定候選區(qū)域不是校正區(qū)。
12.一種圖像處理設(shè)備，配置成檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域，所述圖像處理設(shè)備包括計(jì)算單元，所述計(jì)算單元被配置成根據(jù)預(yù)定的顏色分量，計(jì)算對(duì)輸入圖像的每個(gè)像素的不良色調(diào)的評(píng)價(jià)量；像素抽取單元，所述像素抽取單元被配置成根據(jù)所述評(píng)價(jià)量，抽取構(gòu)成示出不良色調(diào)的圖像區(qū)的候選像素；區(qū)域抽取單元，所述區(qū)域抽取單元被配置成抽取包括候選像素的預(yù)定形狀的候選區(qū)域；區(qū)域確定單元，所述區(qū)域確定單元被配置成進(jìn)行與候選區(qū)域中的評(píng)價(jià)量及候選區(qū)域的周圍區(qū)域中的評(píng)價(jià)量相關(guān)的第一確定，與候選區(qū)域中的像素的預(yù)定色調(diào)的評(píng)價(jià)量以及預(yù)定顏色分量之一有關(guān)的第二確定，與周圍區(qū)域中的亮度有關(guān)的第三確定，與周圍區(qū)域中的色調(diào)和飽和度之一有關(guān)的第四確定，和與周圍區(qū)域中的邊緣強(qiáng)度有關(guān)的第五確定；和指定單元，所述指定單元被配置成把滿足區(qū)域確定單元進(jìn)行的第一到第五確定中至少之一的候選區(qū)域指定為校正區(qū)。
13.按照權(quán)利要求12所述的圖像處理設(shè)備，其中評(píng)價(jià)量是從紅色分量大于綠色分量的像素獲得的比值(R-G)/R，其中R表示紅色分量，G表示綠色分量。
14.按照權(quán)利要求12所述的圖像處理設(shè)備，其中計(jì)算單元被配置成根據(jù)輸入圖像的紅色和綠色分量計(jì)算評(píng)價(jià)量。
15.按照權(quán)利要求12所述的圖像處理設(shè)備，其中應(yīng)用于輸入圖像的藍(lán)色分量的權(quán)重小于應(yīng)用于紅色和綠色分量的權(quán)重，計(jì)算單元被配置成根據(jù)輸入圖像的紅色、綠色和藍(lán)色分量計(jì)算評(píng)價(jià)量。
16.按照權(quán)利要求12所述的圖像處理設(shè)備，其中像素抽取單元被配置成通過(guò)在目標(biāo)像素附近設(shè)定預(yù)定窗口，根據(jù)包括在窗口區(qū)域中的像素的評(píng)價(jià)量確定閾值，并參考所述閾值使目標(biāo)像素的評(píng)價(jià)量二值化。
17.按照權(quán)利要求16所述的圖像處理設(shè)備，其中像素抽取單元被配置成設(shè)定與沿著從目標(biāo)像素延伸出的一行的多個(gè)像素對(duì)應(yīng)的窗口區(qū)。
18.按照權(quán)利要求16所述的圖像處理設(shè)備，其中像素抽取單元被配置成通過(guò)沿著行方向掃描目標(biāo)像素抽取候選像素，隨后通過(guò)沿著相反方向掃描目標(biāo)像素抽取候選像素，并把在兩個(gè)掃描操作中抽取的像素確定為候選像素。
19.按照權(quán)利要求12所述的圖像處理設(shè)備，其中區(qū)域抽取單元被配置成把由候選像素構(gòu)成的圓形或橢圓形區(qū)域抽取為候選區(qū)域。
20.按照權(quán)利要求12所述的圖像處理設(shè)備，其中區(qū)域確定單元被配置成按照從第一確定到第五確定的順序，執(zhí)行第一到第五確定。
21.按照權(quán)利要求12所述的圖像處理設(shè)備，其中第一確定包括設(shè)定圍繞候選區(qū)域的周圍區(qū)域，獲得候選區(qū)域中的評(píng)價(jià)量的第一平均值，獲得構(gòu)成周圍區(qū)域的多個(gè)塊中的每個(gè)塊中的評(píng)價(jià)量的第二平均值，如果第一平均值小于任意一個(gè)塊中的第二平均值的預(yù)定倍數(shù)，則確定候選區(qū)域不是校正區(qū)。
22.按照權(quán)利要求12所述的圖像處理設(shè)備，其中第二確定包括在候選區(qū)域中計(jì)算具有預(yù)定范圍的色調(diào)的像素的評(píng)價(jià)量的平均值，以及如果該平均值在預(yù)定范圍之外，則確定候選區(qū)域不是校正區(qū)。
23.按照權(quán)利要求22所述的圖像處理設(shè)備，其中第二確定還包括在候選區(qū)域中獲得具有預(yù)定范圍的色調(diào)的像素的評(píng)價(jià)量的最大值和最小值，以及如果最小值與最大值的比值大于預(yù)定閾值，則確定候選區(qū)域不是校正區(qū)。
24.按照權(quán)利要求23所述的圖像處理設(shè)備，其中第二確定還包括計(jì)算候選區(qū)域中的像素的預(yù)定顏色分量的方差或標(biāo)準(zhǔn)偏差，以及如果所述方差或標(biāo)準(zhǔn)偏差小于預(yù)定閾值，則確定候選區(qū)域不是校正區(qū)。
25.按照權(quán)利要求23所述的圖像處理設(shè)備，其中第二確定還包括計(jì)算候選區(qū)域中的預(yù)定顏色分量的像素與鄰近像素之間的絕對(duì)差分值的平均值，以及如果所述平均值小于預(yù)定閾值，則確定候選區(qū)域不是校正區(qū)。
26.按照權(quán)利要求12所述的圖像處理設(shè)備，其中第三確定包括設(shè)定圍繞候選區(qū)域的周圍區(qū)域，計(jì)算周圍區(qū)域中的平均亮度值，以及如果平均亮度值在預(yù)定范圍之外，則確定候選區(qū)域不是校正區(qū)。
27.按照權(quán)利要求26所述的圖像處理設(shè)備，其中第三確定還包括設(shè)定大小與候選區(qū)域的大小的預(yù)定倍數(shù)相等的周圍區(qū)域，把周圍區(qū)域分成多個(gè)塊，計(jì)算每塊的平均亮度值，計(jì)算平均亮度值的最大值和最小值，以及如果最大值和最小值之間的差值小于預(yù)定值，則確定候選區(qū)域不是校正區(qū)。
28.按照權(quán)利要求12所述的圖像處理設(shè)備，其中第四確定包括設(shè)定圍繞候選區(qū)域的周圍區(qū)域，計(jì)算周圍區(qū)域中具有預(yù)定范圍的色調(diào)的像素的比率，以及如果所述比率小于預(yù)定值，則確定候選區(qū)域不是校正區(qū)。
29.按照權(quán)利要求28所述的圖像處理設(shè)備，其中第四確定還包括計(jì)算周圍區(qū)域中的平均飽和度，以及如果平均飽和度未包含在預(yù)定范圍內(nèi)，則確定候選區(qū)域不是校正區(qū)。
30.按照權(quán)利要求29所述的圖像處理設(shè)備，其中第四確定還包括在周圍區(qū)域中檢測(cè)飽和度與光度的比值小于預(yù)定值的像素，以及如果沒(méi)有檢測(cè)到任何這樣的像素，則確定候選區(qū)域不是校正區(qū)。
31.按照權(quán)利要求12所述的圖像處理設(shè)備，其中第五確定包括設(shè)定圍繞候選區(qū)域的周圍區(qū)域，計(jì)算周圍區(qū)域中的每個(gè)像素的邊緣強(qiáng)度，計(jì)算邊緣強(qiáng)度的平均值，以及如果平均值小于預(yù)定值，則確定候選區(qū)域不是校正區(qū)。
32.按照權(quán)利要求31所述的圖像處理設(shè)備，其中第五確定還包括計(jì)算邊緣強(qiáng)度的最大值和最小值之間的差值，以及如果所述差值小于預(yù)定值，則確定候選區(qū)域不是校正區(qū)。
33.按照權(quán)利要求32所述的圖像處理設(shè)備，其中第五確定還包括計(jì)算邊緣強(qiáng)度的重心位置，以及如果重心位置不在周圍區(qū)域的中心的附近，則確定候選區(qū)域不是校正區(qū)。
34.按照權(quán)利要求33所述的圖像處理設(shè)備，其中第五確定還包括把周圍區(qū)域分成中心區(qū)域和外部區(qū)域，分別計(jì)算中心區(qū)域和外部區(qū)域中的邊緣強(qiáng)度的平均值，以及如果中心區(qū)域中的平均值與外部區(qū)域中的平均值的比值小于預(yù)定值，則確定候選區(qū)域不是校正區(qū)。
35.按照權(quán)利要求34所述的圖像處理設(shè)備，其中第五確定還包括如果中心區(qū)域的平均值小于預(yù)定值，則確定候選區(qū)域不是校正區(qū)。
36.按照權(quán)利要求35所述的圖像處理設(shè)備，其中第五確定還包括如果外部區(qū)域的平均值大于預(yù)定值，則確定候選區(qū)域不是校正區(qū)。
37.一種圖像處理方法，檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域，所述圖像處理方法包括根據(jù)預(yù)定的顏色分量，計(jì)算對(duì)輸入圖像的每個(gè)像素的不良色調(diào)的評(píng)價(jià)量；根據(jù)所述評(píng)價(jià)量，抽取構(gòu)成示出不良色調(diào)的圖像區(qū)的候選像素；抽取包括候選像素的預(yù)定形狀的候選區(qū)域；進(jìn)行與候選區(qū)域的周圍區(qū)域的特征量有關(guān)的確定；根據(jù)通過(guò)進(jìn)行與候選區(qū)域的周圍區(qū)域的特征量有關(guān)的確定而獲得的確定結(jié)果，更新候選區(qū)域；進(jìn)行與更新的候選區(qū)域的周圍區(qū)域的邊緣強(qiáng)度有關(guān)的確定；和根據(jù)通過(guò)進(jìn)行與更新的候選區(qū)域的周圍區(qū)域的邊緣強(qiáng)度有關(guān)的確定而獲得的確定結(jié)果，檢測(cè)示出不良色調(diào)的圖像區(qū)域。
38.一種控制圖像處理設(shè)備來(lái)執(zhí)行按照權(quán)利要求37所述的圖像處理方法的程序。
39.一種保存按照權(quán)利要求38所述的程序的存儲(chǔ)介質(zhì)。
40.一種圖像處理方法，檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域，所述圖像處理方法包括根據(jù)預(yù)定的顏色分量，計(jì)算對(duì)輸入圖像的每個(gè)像素的不良色調(diào)的評(píng)價(jià)量；根據(jù)評(píng)價(jià)量，抽取構(gòu)成示出不良色調(diào)的圖像區(qū)的候選像素；抽取包括候選像素的預(yù)定形狀的候選區(qū)域；進(jìn)行與候選區(qū)域中的評(píng)價(jià)量及候選區(qū)域的周圍區(qū)域中的評(píng)價(jià)量相關(guān)的第一確定，與候選區(qū)域中的像素的預(yù)定色調(diào)的評(píng)價(jià)量以及預(yù)定顏色分量之一有關(guān)的第二確定，與周圍區(qū)域中的亮度有關(guān)的第三確定，與周圍區(qū)域中的色調(diào)和飽和度之一有關(guān)的第四確定，和與周圍區(qū)域中的邊緣強(qiáng)度有關(guān)的第五確定；和把滿足進(jìn)行的第一到第五確定中至少之一的候選區(qū)域指定為校正區(qū)。
41.一種圖像處理設(shè)備，配置成從示出眼睛的不良色調(diào)的候選區(qū)域中檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域，所述圖像處理設(shè)備包括第一確定單元，所述第一確定單元被配置成進(jìn)行與基于目標(biāo)候選區(qū)域中的預(yù)定顏色分量的不良色調(diào)的評(píng)價(jià)量、以及候選區(qū)域的周圍區(qū)域中的評(píng)價(jià)量有關(guān)的確定；第二確定單元，所述第二確定單元被配置成根據(jù)第一確定單元獲得的確定結(jié)果，更新候選區(qū)域，并對(duì)更新的第二候選區(qū)域中的像素進(jìn)行與評(píng)價(jià)量和預(yù)定顏色分量之一有關(guān)的確定；和第三確定單元，所述第三確定單元被配置成根據(jù)第二確定單元獲得的確定結(jié)果，更新第二候選區(qū)域，并對(duì)更新的第三候選區(qū)域的周圍區(qū)域中的像素進(jìn)行與周圍區(qū)域的特征量有關(guān)的確定，其中第三確定單元進(jìn)行的確定的計(jì)算量大于由第一確定單元和第二確定單元之一進(jìn)行的確定的計(jì)算量。
42.按照權(quán)利要求41所述的圖像處理設(shè)備，其中周圍區(qū)域的特征量是亮度、色調(diào)、飽和度和邊緣強(qiáng)度之一。
43.一種圖像處理方法，從示出眼睛的不良色調(diào)的候選區(qū)域中檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域，所述圖像處理方法包括進(jìn)行與基于目標(biāo)候選區(qū)域中的預(yù)定顏色分量的不良色調(diào)的評(píng)價(jià)量、以及候選區(qū)域的周圍區(qū)域中的評(píng)價(jià)量有關(guān)的第一確定；根據(jù)第一確定獲得的確定結(jié)果，更新候選區(qū)域；對(duì)更新的第二候選區(qū)域中的像素進(jìn)行與評(píng)價(jià)量和預(yù)定顏色分量之一有關(guān)的第二確定；根據(jù)第二確定獲得的確定結(jié)果，更新第二候選區(qū)域；和對(duì)更新的第三候選區(qū)域的周圍區(qū)域中的像素進(jìn)行與周圍區(qū)域的特征量有關(guān)的第三確定，其中第三確定的計(jì)算量大于第一確定和第二確定的計(jì)算量。
44.按照權(quán)利要求43所述的圖像處理方法，其中周圍區(qū)域的特征量是亮度、色調(diào)、飽和度和邊緣強(qiáng)度之一。
全文摘要
一種配置成從候選區(qū)域中檢測(cè)示出眼睛的不良色調(diào)的圖像區(qū)域的圖像處理設(shè)備，所述圖像處理設(shè)備包括第一確定單元，所述第一確定單元被配置成進(jìn)行與基于目標(biāo)候選區(qū)域中的預(yù)定顏色分量的不良色調(diào)的評(píng)價(jià)量、以及候選區(qū)域的周圍區(qū)域中的評(píng)價(jià)量有關(guān)的確定，第二確定單元，所述第二確定單元被配置成根據(jù)第一確定結(jié)果，更新候選區(qū)域，并對(duì)更新的第二候選區(qū)域中的像素，進(jìn)行與評(píng)價(jià)量或預(yù)定顏色分量有關(guān)的確定，和第三確定單元，所述第三確定單元被配置成根據(jù)第二確定結(jié)果，更新第二候選區(qū)域，并對(duì)更新的第三候選區(qū)域的周圍區(qū)域中的像素，進(jìn)行與周圍區(qū)域的特征量有關(guān)的確定。第三確定的計(jì)算量大于第一或第二確定的計(jì)算量。
文檔編號(hào)H04N1/60GK1881234SQ20061009276
公開(kāi)日2006年12月20日 申請(qǐng)日期2006年6月14日 優(yōu)先權(quán)日2005年6月14日
發(fā)明者梅田清 申請(qǐng)人:佳能株式會(huì)社