專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于圖像中的被攝體距離信息進(jìn)行模糊恢復(fù)的技術(shù)。
背景技術(shù)：
日本特開2000-156823號公報公開了一種攝像設(shè)備，該攝像設(shè)備可以基于來自離 散地分布在圖像傳感器的像素當(dāng)中的焦點檢測像素的信號來計算被攝體距離。采用日本特 開2000-156823號公報所公開的配置，可以獲取所拍攝圖像中的被攝體距離分布。作為通過恢復(fù)模糊圖像來生成模糊恢復(fù)后的圖像的方法，可以利用使用Wiener 濾波器、通用逆濾波器或投影濾波器等的方法。日本特開2000-20691號公報公開了使用這 種方法進(jìn)行模糊恢復(fù)的技術(shù)。使用日本特開2000-20691號公報所公開的技術(shù)可以通過基 于攝像條件等進(jìn)行物理分析或基于來自攝像設(shè)備中的測量裝置的輸出進(jìn)行估計來獲得劣 化函數(shù)，并且可以利用被稱為去卷積(deconvolution)的圖像恢復(fù)算法來恢復(fù)模糊圖像。通常，由攝像時的焦點狀態(tài)確定要在哪個被攝體距離處實現(xiàn)聚焦。由于該原因，攝 像之后不能夠改變實現(xiàn)聚焦的被攝體距離。然而，通過使用日本特開2000-156823號公報 所公開的技術(shù)獲取所拍攝圖像中的被攝體距離分布、并使用日本特開2000-20691號公報 所公開的模糊恢復(fù)技術(shù)進(jìn)行模糊恢復(fù)，可以在攝像之后改變要實現(xiàn)聚焦的被攝體距離。然而，將日本特開2000-156823號公報和日本特開2000-20691號公報所公開的技 術(shù)應(yīng)用于圖像處理設(shè)備將大幅增加資源大小，需要昂貴的硬件，并花費大量時間以進(jìn)行模 糊恢復(fù)處理。這是因為，盡管能進(jìn)行模糊恢復(fù)的被攝體距離的范圍是通過與被攝體距離相 對應(yīng)的模糊恢復(fù)濾波器來設(shè)置的，但整個范圍中的模糊恢復(fù)需要巨大量的處理內(nèi)容。另外， 簡化模糊恢復(fù)濾波器以簡化模糊恢復(fù)處理內(nèi)容，這將增加模糊恢復(fù)之后的圖像的質(zhì)量的劣 化程度。另一方面，當(dāng)操作員在進(jìn)行粗略的焦點調(diào)整后拍攝被攝體的圖像時，無需對能進(jìn) 行模糊恢復(fù)的被攝體距離的整個范圍進(jìn)行模糊恢復(fù)。在這種情況下，相對于所拍攝圖像細(xì) 微地校正焦點位置使得可以執(zhí)行操作員所期望的恢復(fù)。當(dāng)操作員顯示放大了的所拍攝圖像 時，僅在顯示范圍內(nèi)所顯示的被攝體處于聚焦的位置附近進(jìn)行模糊恢復(fù)就足夠了。

發(fā)明內(nèi)容
考慮到以上問題做出了本發(fā)明，并且本發(fā)明用于在短的時間段內(nèi)適當(dāng)?shù)貓?zhí)行模糊恢復(fù)。根據(jù)本發(fā)明的第一方面，提供一種圖像處理設(shè)備，包括恢復(fù)單元，用于對攝像單 元所獲得的圖像數(shù)據(jù)進(jìn)行模糊恢復(fù)，其中所述攝像單元用于對已經(jīng)經(jīng)由攝像鏡頭入射的來 自被攝體的光進(jìn)行光電轉(zhuǎn)換；獲取單元，用于獲取與所述圖像數(shù)據(jù)一起存儲的圖像相關(guān)信 息；以及提取單元，用于基于由所述獲取單元所獲取的圖像相關(guān)信息，提取進(jìn)行所述模糊恢 復(fù)的被攝體距離的范圍；其中，所述恢復(fù)單元在由所述提取單元所提取的被攝體距離的范 圍內(nèi)對所述圖像數(shù)據(jù)進(jìn)行模糊恢復(fù)。
另外，根據(jù)本發(fā)明的第二方面，提供一種圖像處理方法，包括以下步驟恢復(fù)步驟， 用于對攝像單元所獲得的圖像數(shù)據(jù)進(jìn)行模糊恢復(fù)，其中所述攝像單元用于對已經(jīng)經(jīng)由攝像 鏡頭入射的來自被攝體的光進(jìn)行光電轉(zhuǎn)換；獲取步驟，用于獲取與所述圖像數(shù)據(jù)一起存儲 的圖像相關(guān)信息；以及提取步驟，用于基于在所述獲取步驟中獲取的圖像相關(guān)信息，提取進(jìn) 行所述模糊恢復(fù)的被攝體距離的范圍；其中，在所述恢復(fù)步驟中，在所述提取步驟所提取的 被攝體距離的范圍內(nèi)對所述圖像數(shù)據(jù)進(jìn)行模糊恢復(fù)。根據(jù)以下參考附圖對典型實施例的說明，本發(fā)明的其它特征將變得明顯。


圖1是示出根據(jù)第一實施例的圖像處理設(shè)備的配置的圖；圖2是示出第一實施例中的圖像傳感器的概要電路配置的圖；圖3是圖像傳感器的像素部的截面圖；圖4A和4B分別是圖像傳感器的焦點檢測像素的平面圖和截面圖；圖5A和5B分別是圖像傳感器的焦點檢測像素的平面圖和截面圖；圖6A和6B分別是圖像傳感器的其它焦點檢測像素的平面圖和截面圖；圖7是用于解釋圖像傳感器的光瞳分割狀態(tài)(pupil division state)的概念圖；圖8是示出被攝體距離信息的圖；圖9是示出被攝體距離和能進(jìn)行模糊恢復(fù)的距離之間的關(guān)系的圖；圖IOA IOC是示出如何恢復(fù)圖像的模糊的圖；圖IlA和IlB是根據(jù)第一實施例的圖像處理設(shè)備的主流程圖；圖12是被攝體距離映射創(chuàng)建子例程的流程圖；圖13是攝像子例程的流程圖；圖14是第一實施例中的所拍攝圖像檢查子例程的流程圖；圖15是模糊恢復(fù)子例程的流程圖；圖16是模糊函數(shù)創(chuàng)建子例程的流程圖；圖17A 17C是示出如何細(xì)微地校正所拍攝圖像的焦點位置的圖；圖18是示出細(xì)微地校正了焦點位置的被攝體距離和能進(jìn)行模糊恢復(fù)的距離之間 的關(guān)系的圖；以及圖19是第二實施例中的所拍攝圖像檢查子例程的流程圖。
具體實施例方式以下將參考圖1 17C來詳細(xì)說明根據(jù)本發(fā)明第一實施例的圖像處理設(shè)備。圖1是示出根據(jù)第一實施例的圖像處理設(shè)備的配置的圖。參考圖1，該圖像處理設(shè) 備是電子照相機，包括具有圖像傳感器的照相機主體138和作為分立元件的攝像鏡頭137。 將攝像鏡頭137以可互換的方式安裝至照相機主體138。首先將說明攝像鏡頭137的配置。附圖標(biāo)記101表示放置在攝像鏡頭的遠(yuǎn)端處的、 在光軸方向上保持可伸縮的第一透鏡組；附圖標(biāo)記102表示通過調(diào)節(jié)開口直徑來調(diào)節(jié)攝像 時的光量的光圈；并且附圖標(biāo)記103表示第二透鏡組。光圈102和第二透鏡組103在光軸 方向上一體化地前后移動。該操作與第一透鏡組101的前后移動協(xié)作地執(zhí)行變倍效果(變焦功能)。附圖標(biāo)記105表示第三透鏡組，其是用于通過光軸方向上的前后移動進(jìn)行焦點調(diào) 節(jié)的調(diào)焦透鏡；附圖標(biāo)記111表示變焦致動器，其通過使凸輪管(未示出)樞轉(zhuǎn)并使第一透 鏡組101和第二透鏡組103在光軸方向上前后移動來進(jìn)行變倍操作；附圖標(biāo)記112表示通 過控制光圈102的開口直徑來調(diào)節(jié)攝像用的光量的光圈致動器；并且附圖標(biāo)記114表示通 過在光軸方向上前后驅(qū)動第三透鏡組105來進(jìn)行焦點調(diào)節(jié)的調(diào)焦致動器。附圖標(biāo)記136表示照相機通信電路，其將與鏡頭相關(guān)聯(lián)的信息傳送至照相機主體 138或接收與照相機主體138相關(guān)聯(lián)的信息。與鏡頭相關(guān)聯(lián)的信息包括變焦?fàn)顟B(tài)、光圈狀 態(tài)、焦點狀態(tài)、鏡頭框信息和鏡頭的調(diào)焦驅(qū)動的精度信息。照相機通信電路136將這些信息 傳送至設(shè)置在照相機主體138側(cè)的鏡頭通信電路135?？梢詫⑴c鏡頭相關(guān)聯(lián)的這些信息中 的一部分信息存儲在照相機主體138中。這樣可以減少鏡頭和照相機主體之間的通信量， 由此加速信息處理。接著將說明照相機主體138。附圖標(biāo)記106表示光學(xué)低通濾波器，其是用于減輕所 拍攝圖像的偽色和莫爾條紋(moiWfrnge)的光學(xué)元件；并且附圖標(biāo)記107表示包括C-MOS 傳感器及其外圍電路的圖像傳感器。圖像傳感器107是二維單CCD彩色傳感器，其中在 m(水平)Xn(垂直)個光接收像素上形成按拜爾模式(Bayer pattern)的片上原色馬賽克 濾波器。圖像傳感器107通過對已經(jīng)經(jīng)由攝像鏡頭137入射的來自被攝體的光進(jìn)行光電轉(zhuǎn) 換，輸出圖像數(shù)據(jù)。附圖標(biāo)記115表示用于在攝像時對被攝體進(jìn)行照明的電子閃光燈，其優(yōu)選為使用 氙氣管的閃光照明裝置，但也可以是包括連續(xù)發(fā)光LED的照明裝置；附圖標(biāo)記116表示AF 輔助光裝置，其通過利用投影透鏡將具有預(yù)定開口圖案的掩模的圖像投射到被攝體視野 上，提高針對暗被攝體或低對比度被攝體的焦點檢測性能；并且附圖標(biāo)記121表示進(jìn)行照 相機主體的各種類型的控制的照相機CPU。該CPU 121包括計算單元、ROM、RAM、A/C轉(zhuǎn)換 器、D/A轉(zhuǎn)換器和通信接口電路。該CPU通過基于ROM中所存儲的預(yù)定程序驅(qū)動照相機的 各種類型的電路，執(zhí)行AF、攝像、圖像處理和記錄等的一系列操作。附圖標(biāo)記122表示與攝像操作同步地控制電子閃光燈115的發(fā)光的電子閃光燈控 制電路；附圖標(biāo)記123表示與焦點檢測操作同步地控制AF輔助光裝置116的發(fā)光的輔助光 驅(qū)動電路；附圖標(biāo)記124表示圖像傳感器驅(qū)動電路，其控制圖像傳感器107的攝像操作、對 所獲取的圖像信號進(jìn)行A/D轉(zhuǎn)換、并將由此產(chǎn)生的信號發(fā)送至CPU 121 ；并且附圖標(biāo)記125 表示圖像處理電路，其對由圖像傳感器107獲取的圖像進(jìn)行γ轉(zhuǎn)換、顏色插值和JPEG壓縮 等的處理。附圖標(biāo)記126表示調(diào)焦驅(qū)動電路，其通過基于焦點檢測結(jié)果驅(qū)動/控制調(diào)焦致動 器114并在光軸方向上前后驅(qū)動第三透鏡組105來進(jìn)行焦點調(diào)節(jié)；附圖標(biāo)記128表示通過 驅(qū)動/控制光圈致動器112來控制光圈102的開口的光圈驅(qū)動電路；附圖標(biāo)記129表示根 據(jù)由操作員進(jìn)行的變焦操作來驅(qū)動變焦致動器111的變焦驅(qū)動電路；附圖標(biāo)記135表示與 攝像鏡頭137中的照相機通信電路136通信的鏡頭通信電路；附圖標(biāo)記139表示控制靜止 圖像拍攝時的曝光時間的快門單元；附圖標(biāo)記140表示移動快門單元139的快門致動器； 并且附圖標(biāo)記145表示驅(qū)動快門致動器140的快門驅(qū)動電路。附圖標(biāo)記131表示IXD等的顯示裝置，其顯示與照相機的攝像模式相關(guān)聯(lián)的信息、 攝像之前的預(yù)覽圖像、攝像之后的檢查圖像、和焦點檢測時的聚焦?fàn)顟B(tài)顯示圖像；附圖標(biāo)記132表示包括電源開關(guān)、釋放(攝像觸發(fā))開關(guān)、變焦操作開關(guān)和攝像模式選擇開關(guān)的操作 開關(guān)組；附圖標(biāo)記133表示記錄所拍攝圖像的可拆卸的閃速存儲器；并且附圖標(biāo)記144表 示存儲由CPU 121進(jìn)行的計算所需的各種數(shù)據(jù)的照相機存儲器。圖2是示出適當(dāng)使用日本特開平09-046596號公報所公開的技術(shù)的、根據(jù)第一實 施例的圖像傳感器的示意電路配置的圖。圖2示出二維C-MOS區(qū)域傳感器的2 (列)X4(行) 個像素的范圍。然而，當(dāng)要使用該傳感器作為圖像傳感器時，配置許多如同圖2所示的像素 一樣的像素可以獲取高分辨率圖像。本實施例將例示像素間距為2 μ m、有效像素的數(shù)量為 3000 (水平方向上的列)X 2000 (垂直方向上的行)=6，000，000個像素、并且攝像畫面大 小為6mm(水平)X4mm(垂直)的攝像像素的圖像傳感器。參考圖2，附圖標(biāo)記1表示包括 MOS晶體管和位于柵極下方的耗盡層的光電轉(zhuǎn)換元件的光電轉(zhuǎn)換單元；附圖標(biāo)記2表示光 電柵極(photo-gate)；附圖標(biāo)記3表示傳送開關(guān)MOS晶體管；附圖標(biāo)記4表示復(fù)位MOS晶體 管；附圖標(biāo)記5表示源極跟隨器放大器MOS晶體管；附圖標(biāo)記6表示水平選擇開關(guān)MOS晶體 管；附圖標(biāo)記7表示源極跟隨器負(fù)載MOS晶體管；附圖標(biāo)記8表示暗輸出傳送MOS晶體管； 附圖標(biāo)記9表示明輸出傳送MOS晶體管；附圖標(biāo)記10表示暗輸出存儲電容器CTN ；附圖標(biāo) 記11表示明輸出存儲電容器CTS ；附圖標(biāo)記12表示水平傳送MOS晶體管；附圖標(biāo)記13表 示水平輸出線復(fù)位MOS晶體管；附圖標(biāo)記14表示差動輸出放大器；附圖標(biāo)記15表示水平掃 描電路；并且附圖標(biāo)記16表示垂直掃描電路。圖3是像素部的截面圖。參考圖3，附圖標(biāo)記17表示P型阱；附圖標(biāo)記18表示 柵極氧化膜；附圖標(biāo)記19表示第一層多極硅(poly-Si)；附圖標(biāo)記20表示第二層多極硅 (poly-Si)；并且附圖標(biāo)記21表示η+浮動擴散單元(FD)。FD單元21經(jīng)由其它的傳送MOS 晶體管連接至其它的光電轉(zhuǎn)換單元。參考圖3，兩個傳送開關(guān)MOS晶體管3的漏極共同連接 至FD單元21，以通過減小FD單元21的電容來實現(xiàn)減小大小并提高靈敏度。然而，可以經(jīng) 由Al互連線連接FD單元21。圖4Α、4Β、5Α和5Β是用于解釋攝像像素和焦點檢測像素的結(jié)構(gòu)的圖。本實施例使 用拜爾模式，其中，在2 (行)X 2 (列)=4個像素中，具有對于G (綠色)的光譜靈敏度的 兩個像素被對角布置，而具有對于R(紅色)和B (藍(lán)色)的光譜靈敏度的像素被分別布置 為其它兩個像素。在該拜爾模式中，焦點檢測像素根據(jù)預(yù)定規(guī)則分散布置。將焦點檢測像 素離散地布置在攝像像素之間的技術(shù)是日本特開2000-156823號公報所公開的已知技術(shù)， 因此將省略對該技術(shù)的說明。圖4Α和4Β示出攝像像素的配置和結(jié)構(gòu)。圖4Α是2 (行)X 2 (列)個攝像像素的 平面圖。如已知的，在拜爾模式中，在對角方向上布置G像素，并且布置R和B像素作為其 它兩個像素。重復(fù)布置這些2(行)Χ2(列)的像素結(jié)構(gòu)。圖4Β是沿圖4Α中的A-A所得 的截面圖。附圖標(biāo)記ML表示放置在各像素的最前表面上的片上微型透鏡；附圖標(biāo)記CFR表 示R (紅色)濾色器；附圖標(biāo)記CFG表示G (綠色)濾色器；附圖標(biāo)記PD表示在圖4Β中示意 性示出的、參考圖3所述的C-MOS傳感器的光電轉(zhuǎn)換單元；附圖標(biāo)記CL表示形成有用于傳 遞C-MOS傳感器中的各種類型的信號的信號線的互連層；并且附圖標(biāo)記TL表示在圖4Β中 示意性示出的攝像光學(xué)系統(tǒng)。在這種情況下，攝像像素的片上微型透鏡ML和光電轉(zhuǎn)換單元PD被配置為盡可能 有效地接收已經(jīng)通過攝像光學(xué)系統(tǒng)TL的光束。換言之，攝像光學(xué)系統(tǒng)TL的出射光瞳(exitpupiDEP和光電轉(zhuǎn)換單元PD因微型透鏡ML而彼此共軛，并且光電轉(zhuǎn)換單元的有效面積被 設(shè)計為大面積。盡管已經(jīng)參考圖4B說明了入射各R像素的光束，但各G像素和各B (藍(lán)色) 像素具有相同的結(jié)構(gòu)。因此，與攝像用的R、G和B像素各自相對應(yīng)的出射光瞳EP具有大直 徑，并且高效地接收來自被攝體的光束。這提高了圖像信號的S/N比(信號/噪聲比)。圖5A和5B示出攝像框的水平方向(橫向方向)上的光瞳分割用的焦點檢測像素 的配置和結(jié)構(gòu)。圖5A是包括焦點檢測像素的2(行)X2(列)個像素的平面圖。當(dāng)獲得攝 像信號時，G像素構(gòu)成亮度信息的主要成分。由于人類圖像識別特性對于亮度信息敏感，因 此G像素的缺失使得容易注意到圖像質(zhì)量劣化。相比而言，R或B像素是用于獲取顏色信 息的像素。人類對顏色信息不敏感。因此，即使幾個用于獲取顏色信息的像素缺失，也難以 注意到圖像質(zhì)量劣化。在本實施例中，在2 (行)X 2 (列)個像素中，保留G像素作為攝像 像素，并且使用R和B像素作為焦點檢測像素。參考圖5A，附圖標(biāo)記Sha和Shb表示這些像
ο圖5B是沿圖5A中的A-A所得的截面圖。微型透鏡ML和光電轉(zhuǎn)換單元PD具有與 圖4B所示的攝像像素的結(jié)構(gòu)相同的結(jié)構(gòu)。在本實施例中，由于來自焦點檢測像素的信號不 用于創(chuàng)建圖像，因此代替顏色分解濾色器，使用透明膜CFW(白色)。另外，由于圖像傳感器 進(jìn)行光瞳分割，因此互連層CL的各開口部的位置在相對于相應(yīng)的微型透鏡ML的中心線的 一個方向上偏移。更具體地，焦點檢測像素Sha的開口部OPha向右偏移，并由此接收已經(jīng)通 過攝像透鏡TL的左側(cè)的出射光瞳EPha的光束。同樣，焦點檢測像素Shb的開口部OPhb向左 偏移，并由此接收已經(jīng)通過攝像透鏡TL的右側(cè)的出射光瞳EPhb的光束。因此，將由在水平 方向上規(guī)則排列的多個焦點檢測像素Sha所獲取的被攝體圖像定義為A圖像。將由在水平 方向上規(guī)則排列的多個焦點檢測像素Shb所獲取的被攝體圖像定義為B圖像。檢測A圖像 和B圖像的相對位置可以檢測攝像鏡頭137的失焦量(散焦量)。在這種情況下，微型透 鏡ML具有以下透鏡元件的功能該透鏡元件用于生成一對光學(xué)圖像，這一對光學(xué)圖像包括 由透過攝像透鏡TL的左側(cè)的出射光瞳EPha的光束所形成的A圖像和由透過攝像透鏡TL的 右側(cè)的出射光瞳EPhb的光束所形成的B圖像。注意，焦點檢測像素Sha和Shb可以對在攝像框的橫向方向上具有亮度分布的被攝 體，例如對垂直線，進(jìn)行焦點檢測，但不能夠?qū)υ诳v向方向上具有亮度分布的水平線進(jìn)行焦 點檢測。因此，為了在后一種情況下也進(jìn)行焦點檢測，本實施例包括用于在攝像鏡頭的垂直 方向(縱向方向)上進(jìn)行光瞳分割的像素。圖6A和6B示出攝像框的垂直方向上的光瞳分割用的焦點檢測像素的配置和結(jié) 構(gòu)。圖6A是包括焦點檢測像素的2(行)X2(列)個像素的平面圖。與圖5A相同，保留G 像素作為攝像像素，并且使用R和B像素作為焦點檢測像素。參考圖6A，附圖標(biāo)記Stc和Svd 表示這些像素。圖6B是沿著圖6A中的A-A所得的截面圖。不同于在橫向方向上進(jìn)行光瞳 分割的圖5B中的像素，圖6B中的像素在縱向方向上進(jìn)行光瞳分割，除此之外，圖6B中的像 素的結(jié)構(gòu)與圖5B中的像素的結(jié)構(gòu)相同。焦點檢測像素Stc的開口部OPvc向下偏移，并由此 接收已經(jīng)通過攝像透鏡TL的上側(cè)的出射光瞳EPvc的光束。同樣，焦點檢測像素Svd的開口 部OPvd向上偏移，并由此接收已經(jīng)通過攝像透鏡TL的下側(cè)的出射光瞳EPvd的光束。因此， 將由在垂直方向上規(guī)則排列的多個焦點檢測像素Svc所獲取的被攝體圖像定義為C圖像。將 由在垂直方向上規(guī)則排列的多個焦點檢測像素Svd所獲取的被攝體圖像定義為D圖像。檢測C圖像和D圖像的相對位置可以檢測在攝像框的垂直方向上具有亮度分布的被攝體圖像 的失焦量(散焦量)。圖7是用于解釋第一實施例中的圖像傳感器的光瞳分割狀態(tài)的概念圖。附圖標(biāo)記 TL表示攝像透鏡。附圖標(biāo)記107表示圖像傳感器。附圖標(biāo)記OBJ表示被攝體；并且附圖標(biāo) 記IMG表示被攝體圖像。如參考圖4A和4B所述，攝像像素接收已經(jīng)通過攝像透鏡的整個 出射光瞳EP的光束。另一方面，如參考圖5A、5B、6A和6B所述，焦點檢測像素具有光瞳分 割功能。更具體地，圖5A和5B中的焦點檢測像素Sha接收當(dāng)從攝像面觀看鏡頭的后端時已 經(jīng)通過左光瞳的光束，即已經(jīng)通過圖7中的光瞳EPha的光束。同樣，焦點檢測像素SHB、STC和 Svd分別接收已經(jīng)通過光瞳EPHB、EPvc和EPvd的光束。在圖像傳感器107的整個區(qū)域上分布 焦點檢測像素，這使得可以在整個攝像區(qū)域中進(jìn)行焦點檢測。圖8是示出通過CPU 121的距離信息獲取功能所獲得的距離信息的圖。在第一 實施例中的圖像傳感器107中，將如同參考圖5A、5B、6A和6B所述的焦點檢測像素SHA、 Sm、Stc和Svd分布在整個區(qū)域中。這使得可以獲取攝像框上任意位置處的被攝體距離。連 結(jié)并組合所獲得的被攝體距離分布中近被攝體距離的區(qū)域可以提取攝像框中所包括的被 攝體的輪廓。附圖標(biāo)記Targetl、Target2和Target3表示提取出的被攝體區(qū)域；附圖標(biāo) 記BackGroundl表示背景區(qū)域；附圖標(biāo)記Distl、Dist2、Dist3和Dist4表示被攝體距離。 Distl是被攝體區(qū)域Targetl中的被攝體距離的代表值。Dist2是被攝體區(qū)域Target2中的 被攝體距離的代表值。Dist3是被攝體區(qū)域Target3中的被攝體距離的代表值。Dist4是 背景區(qū)域BackGroundl中的被攝體距離。Distl是最近距離。Dist2是第二近距離。Dist3 是第三近距離。Dist4是最遠(yuǎn)距離。CPU 121獲取如同圖8所示的距離信息一樣的距離信 息。CPU 121從根據(jù)焦點檢測像素獲得的被攝體距離分布中提取被攝體，并獲取各被攝體的 區(qū)域和距離。根據(jù)本實施例的圖像處理設(shè)備基于該距離信息和攝像鏡頭的模糊信息，恢復(fù)所拍 攝圖像(拍攝圖像數(shù)據(jù))的模糊。可以根據(jù)圖像處理設(shè)備的特性或攝像鏡頭的特性來估計 模糊生成過程。定義通過對該模糊生成過程進(jìn)行模型化所獲得的模糊恢復(fù)濾波器，并且通 過使用通常被稱為去卷積的圖像恢復(fù)算法來恢復(fù)模糊圖像，由此進(jìn)行模糊恢復(fù)。日本特開 2000-20691號公報公開了模糊恢復(fù)方法，由此將省略對該方法的詳細(xì)說明。圖9是示出被攝體距離Distl、Dist2、Dist3和Dist4與在攝像鏡頭的給定狀態(tài) 下能進(jìn)行模糊恢復(fù)的距離之間的關(guān)系的圖。能進(jìn)行模糊恢復(fù)的距離根據(jù)與圖像處理設(shè)備所 包括的各攝像鏡頭的被攝體距離相對應(yīng)的模糊恢復(fù)濾波器而變化。CPU 121根據(jù)攝像鏡頭 137的調(diào)焦透鏡的狀態(tài)計算能進(jìn)行模糊恢復(fù)的距離的范圍。在這種情況下計算出的能進(jìn)行 模糊恢復(fù)的距離的范圍和模糊恢復(fù)所使用的濾波器被稱為第一模糊恢復(fù)信息。假定在最 近距離側(cè)能進(jìn)行模糊恢復(fù)的距離被定義為第一距離Distil，并且在無限遠(yuǎn)側(cè)的距離被定義 為第二距離Distl2。CPU 121的模糊恢復(fù)功能可以對第一距離Distil和第二距離Distl2 的范圍內(nèi)的被攝體圖像進(jìn)行模糊恢復(fù)。假定在參考圖8所述的被攝體距離Distl、Dist2、 Dist3和Dist4中，Distl Dist3位于第一距離Distil和第二距離Distl2的范圍內(nèi)，并 且Dist4位于該范圍外。圖IOA IOC示出模糊恢復(fù)單元如何恢復(fù)所拍攝圖像的模糊。圖IOA IOC中的 所拍攝圖像與圖8中的所拍攝圖像相同。圖IOA示出如何進(jìn)行模糊恢復(fù)以聚焦于被攝體區(qū)域Targetl。模糊恢復(fù)單元根據(jù)與被攝體區(qū)域Targetl中的被攝體距離Distl相對應(yīng)的圖 像處理設(shè)備的特性信息和攝像鏡頭信息，定義模糊恢復(fù)濾波器?；谠撃：謴?fù)濾波器對 被攝體區(qū)域Targetl進(jìn)行恢復(fù)處理將恢復(fù)被攝體區(qū)域Targetl的模糊并獲得聚焦圖像。此 時，模糊恢復(fù)單元通過以相同的方式對除被攝體區(qū)域Targetl以外的區(qū)域定義模糊恢復(fù)濾 波器，進(jìn)行恢復(fù)處理。這使得可以獲取如同圖IOA所示的、聚焦于被攝體區(qū)域Targetl的圖 像。圖IOB示出如何進(jìn)行模糊恢復(fù)以聚焦于被攝體區(qū)域Target2。模糊恢復(fù)單元根據(jù) 與被攝體區(qū)域Target2中的被攝體距離Dist2相對應(yīng)的圖像處理設(shè)備的特性信息和攝像鏡 頭信息，定義模糊恢復(fù)濾波器?；谠撃：謴?fù)濾波器對被攝體區(qū)域Target2進(jìn)行恢復(fù)處 理將恢復(fù)被攝體區(qū)域Target2的模糊并獲得聚焦圖像。此時，模糊恢復(fù)單元通過以相同的 方式對除被攝體區(qū)域Target2以外的區(qū)域定義模糊恢復(fù)濾波器，進(jìn)行恢復(fù)處理。這使得可 以獲取如同圖IOB所示的、聚焦于被攝體區(qū)域Target2的圖像。圖IOC示出如何進(jìn)行模糊恢復(fù)以聚焦于被攝體區(qū)域Target3。模糊恢復(fù)單元根據(jù) 與被攝體區(qū)域Target3中的被攝體距離Dist3相對應(yīng)的圖像處理設(shè)備的特性信息和攝像鏡 頭信息，定義模糊恢復(fù)濾波器?；谠撃：謴?fù)濾波器對被攝體區(qū)域Target3進(jìn)行恢復(fù)處 理將恢復(fù)被攝體區(qū)域Target3的模糊并獲得聚焦圖像。此時，模糊恢復(fù)單元通過以相同的 方式對除被攝體區(qū)域Target3以外的區(qū)域定義模糊恢復(fù)濾波器，進(jìn)行恢復(fù)處理。這使得可 以獲取如同圖IOC所示的、聚焦于被攝體區(qū)域Target3的圖像。如參考圖IOA IOC所述，根據(jù)本實施例的圖像處理設(shè)備可以通過基于包括各被 攝體的區(qū)域和距離的距離信息進(jìn)行模糊恢復(fù)，選擇要實現(xiàn)聚焦的被攝體。圖IlA 16是用于解釋由根據(jù)本發(fā)明第一實施例的圖像處理設(shè)備進(jìn)行的焦點調(diào) 節(jié)處理和攝像處理的流程圖。圖IlA和IlB是根據(jù)本實施例的圖像處理設(shè)備用的主流程圖。 CPU 121控制該主流程圖中的操作。當(dāng)操作員接通電源開關(guān)時(步驟S101)，CPU 121檢查照相機中的各個致動器和圖 像傳感器的操作，初始化存儲器的內(nèi)容和執(zhí)行程序，并執(zhí)行攝像準(zhǔn)備(步驟S102)。在步驟 S103中，CPU 121經(jīng)由鏡頭通信電路135與攝像鏡頭137中的照相機通信電路136進(jìn)行鏡 頭通信。CPU 121檢查鏡頭的操作，初始化鏡頭中的存儲器內(nèi)容和執(zhí)行程序，并執(zhí)行準(zhǔn)備操 作。CPU 121獲取焦點檢測和攝像所需的鏡頭的特性數(shù)據(jù)，并將該特性數(shù)據(jù)存儲在照相機存 儲器144中。在步驟S104中，CPU 121開始圖像傳感器的攝像操作，并輸出低分辨率運動 圖像，以供預(yù)覽。在步驟S105中，CPU 121將所讀出的運動圖像顯示在設(shè)置于照相機的背 面上的顯示裝置131上。然后，操作員從視覺上檢查該預(yù)覽圖像，以確定攝像時的構(gòu)圖。在步驟S106中，CPU 121檢查要預(yù)覽的運動圖像是否包括任何面部。CPU 121從 要預(yù)覽的運動圖像中檢測面部的數(shù)量、位置和大小，并將它們記錄在照相機存儲器144中。 由于日本特開2004-317699號公報公開了識別面部的技術(shù)，因此將省略對該技術(shù)的說明。 如果在步驟S107中CPU 121已經(jīng)識別出攝像區(qū)域中存在面部，則處理轉(zhuǎn)入步驟S108，以將 焦點調(diào)節(jié)模式設(shè)置為面部AF模式。在這種情況下，面部AF模式是在考慮到攝像區(qū)域中的 面部的位置和在步驟S200中創(chuàng)建的被攝體距離映射這兩者的情況下實現(xiàn)聚焦的AF模式。 如果在步驟S107中CPU 121識別出攝像區(qū)域中不存在面部，則處理從步驟S107轉(zhuǎn)入步驟 S109,以將焦點調(diào)節(jié)模式設(shè)置為多點AF模式。在這種情況下，多點AF模式是以下模式該模式將攝像區(qū)域分割成3X5 = 15個區(qū)域，基于根據(jù)步驟S200中創(chuàng)建的被攝體距離映射所 計算出的各分割區(qū)域中的焦點檢測結(jié)果和各被攝體的亮度信息來估計主被攝體，并使相應(yīng) 的區(qū)域聚焦。在步驟S108或S109中確定AF模式之后，在步驟SllO中，CPU 121判別攝像準(zhǔn)備 開關(guān)是否接通。如果該開關(guān)沒有接通，則處理進(jìn)入步驟S117以判別主開關(guān)是否斷開。如果 在步驟SllO中CPU 121判斷出攝像準(zhǔn)備開關(guān)接通，則處理轉(zhuǎn)入步驟S200以執(zhí)行被攝體距 離映射創(chuàng)建子例程。在步驟Slll中，CPU 121基于在步驟S200中計算出的被攝體距離映射 來確定焦點檢測位置。在這種情況下，在最近距離優(yōu)先模式下設(shè)置檢測位置確定方法。CPU 121將在步驟S200中獲得的被攝體中位于最近距離側(cè)的被攝體的位置設(shè)置為焦點檢測位 置。在步驟Sl 12中，CPU 121根據(jù)在步驟S200中獲得的被攝體距離映射來計算在步 驟Slll中確定的焦點檢測位置處的失焦量，并判斷所獲得的失焦量是否小于或等于容許 值。如果該失焦量大于容許值，則CPU 121判斷為失焦?fàn)顟B(tài)，并且在步驟S113中驅(qū)動調(diào)焦 透鏡。然后，處理返回至步驟SllO以判斷是否已經(jīng)按下攝像準(zhǔn)備開關(guān)。在步驟S112中判 斷出已經(jīng)實現(xiàn)聚焦?fàn)顟B(tài)時，在步驟S114中CPU 121進(jìn)行聚焦顯示。處理轉(zhuǎn)入步驟S115。在 步驟S115中，CPU 121判斷攝像開始開關(guān)是否接通。如果該開關(guān)沒有接通，則在步驟S115 中CPU 121維持?jǐn)z像待機狀態(tài)。如果在步驟S115中操作員接通了攝像開始開關(guān)，則處理轉(zhuǎn) 入步驟S300以執(zhí)行攝像子例程。當(dāng)步驟S300中的攝像子例程完成時，處理進(jìn)入步驟S116以判斷攝像開始開關(guān)是 否斷開。如果攝像開始開關(guān)保持接通，則處理再次進(jìn)入步驟S300以進(jìn)行攝像子例程。艮口， CPU 121進(jìn)行所謂的連拍操作。如果在步驟S116中CPU 121判斷為攝像開始開關(guān)斷開，則 處理進(jìn)入步驟S400以開始所拍攝圖像檢查子例程。當(dāng)所拍攝圖像檢查子例程完成時，處理 進(jìn)入步驟S117以判斷主開關(guān)是否斷開。如果主開關(guān)沒有斷開，則處理返回至步驟S103。如 果主開關(guān)斷開，則CPU 121終止該系列操作。圖12是被攝體距離映射創(chuàng)建子例程的流程圖。測距部件即CPU 121進(jìn)行被攝體 距離映射創(chuàng)建子例程中的一系列操作。當(dāng)從主流程圖中的步驟S200跳至該子例程中的步 驟S200時，在步驟S201中，CPU 121設(shè)置焦點檢測區(qū)域。CPU 121從基于AF模式所確定的 至少一個焦點檢測區(qū)域中確定焦點檢測區(qū)域，然后進(jìn)行步驟S202及后續(xù)步驟中的處理。在 步驟S202中，CPU 121讀出來自在步驟S201中設(shè)置的焦點檢測區(qū)域中的焦點檢測像素的 信號。在步驟S203中，CPU 201創(chuàng)建進(jìn)行相關(guān)計算所用的兩個圖像。CPU 121通過排列在 步驟S202中讀出的來自各個焦點檢測像素的信號，生成進(jìn)行相關(guān)計算所用的A圖像信號和 B圖像信號。在步驟S204中，CPU 121基于所獲得的A圖像和B圖像進(jìn)行相關(guān)計算，并計算A圖 像和B圖像之間的相位差。在步驟S205中，CPU 121判斷相關(guān)計算結(jié)果的可靠性。在這種 情況下，該可靠性表示A圖像和B圖像之間的一致度。通常，A圖像和B圖像之間的一致度 越高，焦點檢測結(jié)果的可靠性就越高。由于該原因，CPU 121根據(jù)一致度是否超過給定閾值 來判斷相位差檢測結(jié)果的可靠性。替代情形下，如果選擇多個焦點檢測區(qū)域，則CPU 121優(yōu) 先使用可靠性較高的信息。在步驟S206中，CPU121通過將在步驟S204中獲得的A圖像和 B圖像之間的相位差乘以用于將相位差轉(zhuǎn)換成失焦量的轉(zhuǎn)換系數(shù)，計算失焦量。
在步驟S207中，CPU 121判別對于所有的焦點檢測區(qū)域，失焦量計算是否完成。如 果CPU 121判斷出對于所有的焦點檢測區(qū)域而言失焦量計算沒有完成，則處理返回至步驟 S201以從其余的焦點檢測區(qū)域中選擇并設(shè)置焦點檢測區(qū)域。如果在步驟S207中CPU 121 判斷出對于所有的焦點檢測區(qū)域而言失焦量計算完成，則處理進(jìn)入步驟S208。在步驟S208 中，CPU 121根據(jù)通過重復(fù)步驟S201 S207所獲得的所有的焦點檢測區(qū)域中的失焦量，創(chuàng) 建失焦量映射。在這種情況下，失焦量映射是表示攝像框上的位置和失焦量之間的對應(yīng)關(guān) 系的分布數(shù)據(jù)。在步驟S209中，CPU 121考慮通過步驟S103中的鏡頭通信從攝像鏡頭137獲取的 鏡頭信息，將在步驟S208中獲得的失焦量映射中的失焦量轉(zhuǎn)換成被攝體距離。這使得可以 獲得表示攝像框上的位置和被攝體距離之間的對應(yīng)關(guān)系的分布數(shù)據(jù)。在步驟S210中，CPU 121基于被攝體距離分布數(shù)據(jù)提取被攝體。CPU121通過連結(jié)并組合所獲得的被攝體距離 分布中近被攝體距離的區(qū)域，提取攝像框中所包括的被攝體的輪廓。這可以獲得表示各個 被攝體的區(qū)域和被攝體距離之間的對應(yīng)關(guān)系的被攝體距離映射。在完成步驟S210后，CPU 121終止被攝體距離映射創(chuàng)建子例程。然后，處理進(jìn)入主流程圖中的步驟S111。圖13是攝像子例程的流程圖。CPU 121進(jìn)行攝像子例程中的一系列操作。在步驟 S301中，CPU 121驅(qū)動光量調(diào)節(jié)光圈，以控制用于定義曝光時間的機械快門的開口。在步驟 S302中，CPU 121讀出高像素靜止圖像拍攝用的圖像。S卩，CPU 121讀出所有的像素。在步 驟S200中，CPU 121通過使用來自在步驟S302中獲得的所拍攝圖像中包括的焦點檢測像 素的輸出，進(jìn)行步驟S200所述的被攝體距離映射創(chuàng)建子例程。通過該子例程所獲得的、表 示各個被攝體的區(qū)域和被攝體距離之間的對應(yīng)關(guān)系的被攝體距離映射展示出所拍攝圖像 的失焦量。與在圖IlB中的步驟SllO之后進(jìn)行的步驟S200中的被攝體距離映射創(chuàng)建子例 程相比較，該子例程可以獲得像素數(shù)較大的圖像，并且可以創(chuàng)建更精確的被攝體距離映射。 然而，由于要處理的像素的數(shù)量較大，因而使用高像素靜止圖像的被攝體距離映射的創(chuàng)建 花費大量處理時間，并且需要昂貴的處理設(shè)備。因此創(chuàng)建被攝體距離映射并非必需的。在步驟S303中，CPU 121對讀出的圖像信號進(jìn)行缺陷像素插值。即，來自各焦點檢 測像素的輸出不具有RGB顏色信息，因此等同于獲得圖像時的缺陷像素。由于該原因，CPU 121通過使用來自相鄰攝像像素的信息進(jìn)行插值，創(chuàng)建圖像信號。在步驟S304中，CPU 121 對圖像進(jìn)行Y校正、顏色轉(zhuǎn)換和邊緣增強等的圖像處理。在步驟S305中，CPU 121將所拍 攝圖像記錄在閃速存儲器133上。在步驟S306中，CPU 121將照相機主體138的特性信息與在步驟S305中記錄的 所拍攝圖像相對應(yīng)地記錄在閃速存儲器133和照相機存儲器144上。在這種情況下，照相 機主體138的特性信息包括圖像傳感器107的攝像像素和焦點檢測像素的光接收靈敏度分 布信息、照相機主體138中的攝像光束的漸暈信息、從照相機主體138和攝像鏡頭137之間 的安裝面到圖像傳感器107的距離信息、以及制造誤差信息。圖像傳感器107的攝像像素 和焦點檢測像素的光接收靈敏度分布信息是由片上微型透鏡ML和光電轉(zhuǎn)換單元PD所確定 的。因此，可以記錄這些信息。在步驟S307中，CPU 121將攝像鏡頭137的特性信息與在步驟S305中記錄的所 拍攝圖像相對應(yīng)地記錄在閃速存儲器133和照相機存儲器144上。在這種情況下，攝像鏡 頭137的特性信息包括出射光瞳EP的信息、框信息、攝像時的F數(shù)信息、像差信息和制造誤
11差信息。在步驟S308中，CPU 121將與所拍攝圖像有關(guān)的圖像相關(guān)信息記錄在閃速存儲器 133和照相機存儲器144上。該圖像相關(guān)信息包括與攝像之前的焦點檢測操作相關(guān)聯(lián)的信 息、被攝體移動信息以及與焦點檢測操作的精度相關(guān)聯(lián)的信息。與攝像之前的焦點檢測操作相關(guān)聯(lián)的信息包括被攝體距離映射和攝像時的調(diào)焦 透鏡的位置信息。將這些信息與各圖像相關(guān)聯(lián)并進(jìn)行記錄。CPU 121根據(jù)在圖IlB中的步 驟S115中沒有檢測到攝像開始開關(guān)的斷開(OFF)狀態(tài)并且處理進(jìn)入步驟S300時、即設(shè)備 的操作轉(zhuǎn)入所謂的連拍操作時所獲得的多個被攝體距離映射，計算被攝體移動信息。更具 體地，CPU 121根據(jù)以預(yù)定時間間隔獲得的被攝體距離映射，檢測圖像中的被攝體的移動或 被攝體距離的變化、即被攝體移動速度。另外，與焦點檢測操作的精度相關(guān)聯(lián)的信息是與鏡頭的調(diào)焦驅(qū)動的位置精度相關(guān) 聯(lián)的信息、或與在步驟S200中被記錄為被攝體距離映射的各被攝體的距離信息的精度相 關(guān)聯(lián)的信息。該信息能估計相對于操作員所期望的圖像而言所拍攝圖像中可能已經(jīng)發(fā)生了 多大程度的失焦。例如，如果使用鏡頭調(diào)焦驅(qū)動位置精度差的鏡頭進(jìn)行攝像，則所拍攝圖像 的失焦量可能較大。相比而言，如果使用鏡頭調(diào)焦驅(qū)動位置精度良好的鏡頭進(jìn)行攝像，則所 拍攝圖像的失焦量極有可能為小。CPU 121按幾個級別來區(qū)分失焦量的大小期望值，并將它 們記錄為與焦點檢測操作的精度相關(guān)聯(lián)的信息。在完成步驟S308后，CPU 121終止步驟S300中的攝像子例程。然后，處理進(jìn)入主 例程中的步驟S116。圖14是所拍攝圖像檢查子例程的流程圖。CPU 121還進(jìn)行所拍攝圖像檢查子例程 中的一系列操作。在步驟S401中，CPU121獲取在步驟S200中創(chuàng)建的被攝體距離映射。在 這種情況下獲取的被攝體距離映射可以是根據(jù)預(yù)覽圖像創(chuàng)建的被攝體距離映射、或通過高 像素靜止圖像拍攝創(chuàng)建的被攝體距離映射。為了更精確地檢測被攝體區(qū)域和被攝體距離， 優(yōu)選使用通過高像素靜止圖像拍攝創(chuàng)建的被攝體距離映射。在步驟S402中，CPU 121根據(jù)能進(jìn)行模糊恢復(fù)的被攝體距離的范圍和被攝體距 離，設(shè)置模糊恢復(fù)所使用的濾波器。如與步驟S200中的被攝體距離映射創(chuàng)建子例程相關(guān)聯(lián) 地說明的那樣，從被攝體距離映射獲得表示被攝體區(qū)域和被攝體距離之間的對應(yīng)關(guān)系的信 息。如參考圖9所述，能進(jìn)行模糊恢復(fù)的距離根據(jù)攝像鏡頭137的類型而變化。S卩，作為 能進(jìn)行模糊恢復(fù)的最近距離側(cè)的距離的第一距離Distil和作為無限遠(yuǎn)側(cè)的距離的第二距 離Distl2變化。因此，將圖像中位于由攝像鏡頭137確定的能進(jìn)行模糊恢復(fù)的距離的范圍 (第一距離Distil至第二距離Distl2)內(nèi)的被攝體的區(qū)域設(shè)置為模糊可恢復(fù)區(qū)域。這使 得可以設(shè)置各個被攝體區(qū)域、以及用于恢復(fù)這些區(qū)域的模糊的被攝體距離和模糊恢復(fù)濾波 器。參考圖8，Target 1、Target2和Target3是模糊恢復(fù)范圍，并且Distl、Dist2和Dist3 是被攝體距離范圍。這些模糊可恢復(fù)區(qū)域、被攝體距離范圍和模糊恢復(fù)所使用的模糊恢復(fù) 濾波器將被稱為第一模糊恢復(fù)信息。在步驟S403中，CPU 121從在步驟S402設(shè)置的第一模糊恢復(fù)信息中提取信息， 并設(shè)置第二模糊恢復(fù)信息。CPU 121還進(jìn)行該處理。CPU 121作為模糊恢復(fù)信息提取部 件工作。當(dāng)設(shè)置第二模糊恢復(fù)信息時，CPU 121使用在步驟S308中獲得的圖像相關(guān)信息。 更具體地，如果在攝像前后沒有進(jìn)行焦點檢測操作、并且沒有計算被攝體距離映射，則CPU 121將所有的模糊恢復(fù)范圍設(shè)置為不進(jìn)行模糊恢復(fù)的區(qū)域，不執(zhí)行實際的模糊恢復(fù)處理，并且在步驟S404中顯示無任何變化的所拍攝圖像。相比而言，如果已經(jīng)計算了被攝體距 離映射，則CPU 121將具有展示最小失焦量的范圍的被攝體區(qū)域設(shè)置為模糊可恢復(fù)區(qū)域， 并設(shè)置該區(qū)域的被攝體距離范圍。在這種情況下計算出的能進(jìn)行模糊恢復(fù)的距離的范圍 和模糊恢復(fù)所使用的濾波器將被稱為第二模糊恢復(fù)信息。例如，如圖8所示，如果被攝體 Targetl Target3中展示最小失焦量的被攝體是位于距離Dist2處的Target2，則CPU 121將Target2和作為Target2的被攝體距離范圍以Dist2為中心的預(yù)定范圍設(shè)置為模糊 可恢復(fù)區(qū)域。由于Dist2是被攝體區(qū)域Target2中的被攝體距離的代表值，因此被攝體區(qū) 域Target2中的所有區(qū)域中的距離不是恒定的。由于該原因，將包括Dist2的預(yù)定范圍設(shè)置 為Target2的被攝體距離范圍。在這種情況下，要設(shè)置的被攝體距離范圍優(yōu)選包括Target2 中所有區(qū)域的距離范圍。將參考圖17A 17C和18來說明要設(shè)置的被攝體距離范圍。圖17B與圖IOB相 同。圖17A和17C示出通過使焦點相對于圖IOB中的模糊恢復(fù)圖像向前和向后略微偏移所 進(jìn)行的模糊恢復(fù)而獲得的圖像。通過略微偏移焦點所進(jìn)行的模糊恢復(fù)處理等同于進(jìn)行模糊 恢復(fù)以聚焦于位于不同于Dist2的被攝體距離處的被攝體的處理。圖18示出除圖9以外 的、通過在圖17A和17C中進(jìn)行的模糊恢復(fù)實現(xiàn)了聚焦的被攝體距離。圖17A中的模糊恢復(fù) 與被攝體距離Dist2f相對應(yīng)，并且圖17C中的模糊恢復(fù)與被攝體距離Dist2b相對應(yīng)。本 實施例對被攝體距離范圍進(jìn)行設(shè)置，以使得被攝體距離Dist2f至被攝體距離Dist2b的范 圍包括被攝體Target2的整個范圍。這些被攝體距離范圍、模糊可恢復(fù)區(qū)域和模糊恢復(fù)所 使用的模糊恢復(fù)濾波器將被稱為第二模糊恢復(fù)信息。另外，可以使用被攝體移動信息作為圖像相關(guān)信息。如上所述，被攝體移動信息是 表示圖像中的被攝體的移動和被攝體移動速度的信息。當(dāng)在自獲取到被攝體距離映射起經(jīng) 過預(yù)定時間段之后、在步驟S305中CPU 121記錄圖像信號時，圖像中被攝體的位置或距離 可能已經(jīng)改變。CPU 121通過使用被攝體移動信息計算圖像中的被攝體位置和被攝體距離 的估計變化量，來更新被攝體距離映射。CPU 121根據(jù)更新后的被攝體距離映射，將如上所 述具有小散焦量范圍的被攝體區(qū)域設(shè)置為模糊可恢復(fù)區(qū)域，并設(shè)置被攝體距離范圍。另外，可以使用與焦點檢測操作的精度相關(guān)聯(lián)的信息作為圖像相關(guān)信息。如上所 述，與焦點檢測操作的精度相關(guān)聯(lián)的信息是與鏡頭的調(diào)焦驅(qū)動的位置精度有關(guān)的信息、或 與被攝體距離映射的計算精度有關(guān)的信息?？梢愿鶕?jù)這些精度信息計算所獲得的圖像中的 被攝體區(qū)域中的失焦量的精度。與以上情況相同，CPU 121將圖像中的第一范圍內(nèi)具有最 小失焦量的范圍的被攝體區(qū)域設(shè)置為模糊可恢復(fù)區(qū)域，并設(shè)置該區(qū)域的被攝體距離范圍。 例如，參考圖8，如果被攝體Targetl Target3中展示最小失焦量的被攝體是位于距離 Dist2處的Target2，則CPU 121將Target2和作為被攝體距離范圍以Dist2為中心的預(yù)定 范圍設(shè)置為第二范圍。當(dāng)設(shè)置Target2的被攝體距離范圍時，CPU 121通過使用失焦量的精 度信息設(shè)置被攝體距離范圍。更具體地，如果鏡頭的調(diào)焦驅(qū)動的位置精度差、并且鏡頭的位 置相對于期望位置變化，則圖像的失焦量極有可能為大。由于該原因，CPU121將比Target2 的整個區(qū)域的被攝體距離大的范圍設(shè)置為被攝體距離范圍。同樣，如果被攝體距離映射的 計算精度差，則CPU121將比Target2的整個區(qū)域的被攝體距離大的范圍設(shè)置為被攝體距離 范圍。這使得可以將包括焦點檢測誤差和焦點調(diào)節(jié)誤差的Target2中的區(qū)域的距離范圍設(shè) 置為被攝體距離范圍。這些被攝體距離映射、被攝體移動信息、以及與焦點檢測操作的精度相關(guān)聯(lián)的信息對應(yīng)于圖像相關(guān)信息以及與測距操作相關(guān)聯(lián)的信息。當(dāng)在步驟S403中CPU 121完成第二模糊恢復(fù)信息的設(shè)置時，處理進(jìn)入步驟S500 中的模糊恢復(fù)子例程。在步驟S404中，CPU 121將在步驟S500中已經(jīng)進(jìn)行了模糊恢復(fù)的 圖像顯示在顯示裝置131上。在完成步驟S404后，在步驟S405中，CPU 121判斷有無用于 細(xì)微地校正焦點位置的指令。如果操作員輸出用于細(xì)微地調(diào)整焦點位置的指令，則處理進(jìn) 入步驟S406。CPU 121校正步驟S500中的模糊恢復(fù)所使用的被攝體距離信息。CPU121在 步驟S403中設(shè)置的被攝體距離范圍內(nèi)校正被攝體距離信息。當(dāng)在步驟S406中CPU 121校 正了被攝體距離信息時，處理返回至步驟S500以再次進(jìn)行模糊恢復(fù)處理。如果在步驟S405中不存在用于細(xì)微地調(diào)整焦點位置的指令，則處理進(jìn)入步驟 S407，以將模糊校正圖像和模糊恢復(fù)所使用的信息一起記錄。在完成步驟S407時，CPU 121 終止用于顯示攝像之后的檢查圖像的子例程。然后，處理返回至攝像子例程。通過以這種方式使用圖像相關(guān)信息限定由攝像鏡頭等確定的第一模糊恢復(fù)信息、 并設(shè)置第二模糊恢復(fù)信息，提供了以下優(yōu)點。當(dāng)操作員校正所拍攝圖像上的焦點時，該操作 員所期望的被攝體極有可能在一定程度上處于聚焦。由于該原因，如果圖像處理設(shè)備在可 以進(jìn)行模糊恢復(fù)的整個范圍中的整個被攝體距離區(qū)域中進(jìn)行模糊恢復(fù)，則該設(shè)備對許多操 作員不需要的恢復(fù)區(qū)域進(jìn)行模糊恢復(fù)，并花費了大量處理時間。即，操作員不能夠進(jìn)行舒適 的操作。在本實施例中，基于與所拍攝圖像相關(guān)聯(lián)的信息縮小進(jìn)行模糊恢復(fù)的范圍，這樣能 夠僅對包括操作員意圖進(jìn)行模糊恢復(fù)的圖像的較窄的被攝體距離范圍進(jìn)行模糊恢復(fù)處理。 這可以減少模糊恢復(fù)處理的計算負(fù)荷。另外，由于處理時間短，因此可以進(jìn)行對于操作員而 言舒適的焦點校正處理。圖15是模糊恢復(fù)子例程的流程圖。CPU 121還進(jìn)行模糊恢復(fù)子例程中的一系列 操作。在步驟S501中，CPU 121獲取表示圖像處理電路125中的轉(zhuǎn)換處理的內(nèi)容的轉(zhuǎn)換信 息。在步驟S502中，CPU 121確定要用于對從圖像處理電路125供給的圖像信息進(jìn)行轉(zhuǎn)換 的轉(zhuǎn)換方法。更具體地，CPU 121根據(jù)需要，基于在步驟S501中獲取的轉(zhuǎn)換信息(除轉(zhuǎn)換信 息以外，還包括在步驟S306和S307中獲取的圖像處理設(shè)備特性和攝像鏡頭特性信息)，確 定轉(zhuǎn)換方法。在這種情況下確定的轉(zhuǎn)換方法是日本特開2000-20691號公報所公開的方法， 其用于對圖像信息進(jìn)行轉(zhuǎn)換以使曝光值和像素值具有線性關(guān)系，從而確保作為圖像恢復(fù)處 理所用算法的前提的線性。例如，當(dāng)圖像處理電路125執(zhí)行伽瑪校正時，在步驟S502中CPU 121執(zhí)行基于伽 瑪校正的轉(zhuǎn)換的逆轉(zhuǎn)換。這可以再現(xiàn)轉(zhuǎn)換之前的圖像并獲取具有線性的圖像。同樣，當(dāng)圖 像處理電路125執(zhí)行顏色校正時，在S502中CPU 121執(zhí)行基于顏色校正的轉(zhuǎn)換的逆轉(zhuǎn)換。 這使得可以獲取具有線性的圖像。如上所述，在步驟S502中，CPU 121確定與由圖像處理 電路125進(jìn)行的轉(zhuǎn)換處理的逆轉(zhuǎn)換等同的轉(zhuǎn)換方法。在步驟S503中，圖像處理電路125獲取所拍攝圖像。在步驟S504中，圖像處理 電路125根據(jù)在步驟S502中確定的轉(zhuǎn)換方法對所獲取的所拍攝圖像進(jìn)行轉(zhuǎn)換。當(dāng)在步驟 S504中圖像處理電路125完成轉(zhuǎn)換處理時，處理進(jìn)入步驟S600以創(chuàng)建模糊函數(shù)。以上的模 糊恢復(fù)濾波器與模糊函數(shù)同義。在步驟S505中，CPU121進(jìn)行在步驟S600中創(chuàng)建的模糊函 數(shù)的逆轉(zhuǎn)換，以對在步驟S504中已經(jīng)進(jìn)行了轉(zhuǎn)換處理的所拍攝圖像進(jìn)行模糊恢復(fù)處理。在 這種情況下，CPU 121利用通常被稱為去卷積處理的圖像恢復(fù)算法進(jìn)行模糊恢復(fù)處理。這使得可以通過恢復(fù)預(yù)定被攝體的模糊來獲得模糊恢復(fù)圖像。由于日本特開2000-20691號 公報公開了通過進(jìn)行模糊函數(shù)的逆轉(zhuǎn)換處理來進(jìn)行模糊恢復(fù)的方法，因此將省略對該方法 的說明。在完成步驟S505后，CPU 121終止模糊恢復(fù)子例程。然后，處理進(jìn)入用于在攝像 之后顯示檢查圖像的子例程中的步驟S404。圖16是模糊函數(shù)創(chuàng)建子例程的流程圖。CPU 121還進(jìn)行模糊函數(shù)創(chuàng)建子例程中的 一系列操作。在步驟S601中，CPU 121獲取攝像時在步驟S305中記錄在照相機存儲器144 上的照相機主體138的特性信息。在步驟S602中，CPU 121獲取攝像時在步驟S306中記 錄在照相機存儲器144上的攝像鏡頭137的特性信息。在步驟S603中，CPU 121獲取要用于定義模糊函數(shù)的參數(shù)。由攝像鏡頭137和圖 像傳感器107之間的光傳遞特性確定該模糊函數(shù)。光傳遞特性根據(jù)照相機主體138的特性 信息、攝像鏡頭137的特性信息、所拍攝圖像中的被攝體區(qū)域的位置、和被攝體距離等的因 素而變化。因此，照相機存儲器144預(yù)先存儲將這些因素與要用于定義模糊函數(shù)的參數(shù)相 關(guān)聯(lián)的表數(shù)據(jù)。在執(zhí)行步驟S603時，CPU 121基于這些因素從照相機存儲器144獲取要用 于定義模糊函數(shù)的參數(shù)。在步驟S604中，CPU 121基于在步驟S603中獲取的模糊參數(shù)定義模糊函數(shù)。 例如，模糊函數(shù)包括基于模糊現(xiàn)象符合正態(tài)分布規(guī)律這一假設(shè)的高斯分布(Gaussian distribution).設(shè)r是距離中心像素的距離，并且σ 2是正態(tài)分布規(guī)律中的任意參數(shù)，則 模糊函數(shù)h(r)表示為
權(quán)利要求
一種圖像處理設(shè)備，包括恢復(fù)單元，用于對攝像單元所獲得的圖像數(shù)據(jù)進(jìn)行模糊恢復(fù)，其中所述攝像單元用于對已經(jīng)經(jīng)由攝像鏡頭入射的來自被攝體的光進(jìn)行光電轉(zhuǎn)換；獲取單元，用于獲取與所述圖像數(shù)據(jù)一起存儲的圖像相關(guān)信息；以及提取單元，用于基于由所述獲取單元所獲取的圖像相關(guān)信息，提取進(jìn)行所述模糊恢復(fù)的被攝體距離的范圍；其中，所述恢復(fù)單元在由所述提取單元所提取的被攝體距離的范圍內(nèi)對所述圖像數(shù)據(jù)進(jìn)行模糊恢復(fù)。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，還包括顯示控制單元，所述顯示 控制單元進(jìn)行控制，以將已經(jīng)利用所述恢復(fù)單元進(jìn)行了模糊恢復(fù)的圖像數(shù)據(jù)顯示在顯示單 兀上。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述圖像相關(guān)信息包括以下信 息至少之一與攝像之前的焦點檢測操作相關(guān)聯(lián)的信息、被攝體移動信息、和焦點檢測操作 的精度信息。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述攝像鏡頭是能互換的鏡頭，以及所述圖像相關(guān)信息是與攝像時的攝像鏡頭相關(guān)聯(lián)的信息。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述恢復(fù)單元通過基于所述攝 像鏡頭和所述攝像單元之間的光傳遞特性進(jìn)行的恢復(fù)處理來進(jìn)行模糊恢復(fù)。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，還包括焦點檢測單元，所述焦點 檢測單元用于獲取與被攝體距離相關(guān)聯(lián)的信息，其中，所述圖像相關(guān)信息是與攝像之前所述焦點檢測單元的焦點檢測操作相關(guān)聯(lián)的信肩、ο
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，還包括顯示單元，所述顯示單元 用于顯示由所述攝像單元所獲得的圖像，其中，所述圖像相關(guān)信息是表示由所述顯示單元所顯示的圖像的顯示狀態(tài)的信息。
8. 一種圖像處理方法，包括以下步驟恢復(fù)步驟，用于對攝像單元所獲得的圖像數(shù)據(jù)進(jìn)行模糊恢復(fù)，其中所述攝像單元用于 對已經(jīng)經(jīng)由攝像鏡頭入射的來自被攝體的光進(jìn)行光電轉(zhuǎn)換；獲取步驟，用于獲取與所述圖像數(shù)據(jù)一起存儲的圖像相關(guān)信息；以及 提取步驟，用于基于在所述獲取步驟中獲取的圖像相關(guān)信息，提取進(jìn)行所述模糊恢復(fù) 的被攝體距離的范圍；其中，在所述恢復(fù)步驟中，在所述提取步驟所提取的被攝體距離的范圍內(nèi)對所述圖像 數(shù)據(jù)進(jìn)行模糊恢復(fù)。
全文摘要
本發(fā)明涉及圖像處理設(shè)備和圖像處理方法。所述圖像處理方法包括以下步驟恢復(fù)步驟，用于對圖像數(shù)據(jù)進(jìn)行模糊恢復(fù)；獲取步驟，用于獲取與所述圖像數(shù)據(jù)一起存儲的圖像相關(guān)信息；以及提取步驟，用于基于所述圖像相關(guān)信息提取進(jìn)行所述模糊恢復(fù)的被攝體距離的范圍。在所述恢復(fù)步驟中，在所述提取步驟中所提取的被攝體距離的范圍中對所述圖像數(shù)據(jù)進(jìn)行模糊恢復(fù)。
文檔編號H04N5/225GK101959013SQ20101022969
公開日2011年1月26日 申請日期2010年7月13日 優(yōu)先權(quán)日2009年7月13日
發(fā)明者浜野英之 申請人:佳能株式會社