本發(fā)明涉及對(duì)以小于像素間距的移動(dòng)量進(jìn)行像素偏移而取得的多個(gè)圖像數(shù)據(jù)進(jìn)行合成而生成高分辨率的圖像的攝像裝置、圖像處理方法。

背景技術(shù)：

以往，公知有如下的攝像裝置：使攝像元件和由攝像元件接收的光束的相對(duì)位置以小于攝像元件的像素間距的移動(dòng)量移動(dòng)并進(jìn)行攝像，對(duì)所取得的多個(gè)圖像數(shù)據(jù)進(jìn)行合成，生成更高分辨率的圖像。

例如在日本特開平7-240870號(hào)公報(bào)中記載了如下技術(shù)：通過可變頂角棱鏡的屈曲使由拍攝光學(xué)系統(tǒng)成像的被攝體像與攝像元件的相對(duì)位置在水平和/或垂直方向上移位1/2像素間距，對(duì)移位后的位置處取得的多個(gè)圖像數(shù)據(jù)進(jìn)行合成，由此生成高分辨率的圖像。

并且，在日本特開平6-225317號(hào)公報(bào)中記載了如下技術(shù)：通過壓電元件使攝像元件在水平或垂直方向上偏移1像素間距、在傾斜方向上偏移1/2像素間距，在各個(gè)像素偏移位置處進(jìn)行攝像，對(duì)所取得的多個(gè)圖像進(jìn)行合成，由此生成高分辨率的圖像。

但是，近年來，攝像元件的制造技術(shù)進(jìn)步，像素開口率提高，例如，提出了像素的開口寬度超過像素間距的50％的技術(shù)。

當(dāng)針對(duì)上述這種像素開口率較高的攝像元件應(yīng)用上述日本特開平7-240870號(hào)公報(bào)或上述日本特開平6-225317號(hào)公報(bào)所記載的技術(shù)時(shí)，在合成后的高分辨率的圖像中，產(chǎn)生像素的開口寬度大于取樣間距這樣的狀態(tài)。因此，例如在以像素等倍的條件進(jìn)行觀察的情況下，圖像的鮮銳度大幅降低(作為具體例，同一空間頻率中的MTF特性大幅降低)。

本發(fā)明是鑒于上述情況而完成的，其目的在于，提供如下的攝像裝置、圖像處理方法：在根據(jù)像素偏移后的多個(gè)圖像得到合成圖像時(shí)，能夠減輕由于像素開口的影響而導(dǎo)致的分辨率劣化，生成鮮銳度較高的合成圖像。

技術(shù)實(shí)現(xiàn)要素：

用于解決課題的手段

本發(fā)明的某個(gè)方式的攝像裝置具有：攝像元件，其具有以規(guī)定的像素間距呈二維狀排列的多個(gè)像素；像素偏移部，其進(jìn)行像素偏移，使得上述攝像元件和由該攝像元件接收的光束在上述二維狀排列的方向上的相對(duì)位置成為移動(dòng)量不同的多個(gè)相對(duì)位置，其中，該移動(dòng)量不同的多個(gè)相對(duì)位置包含上述像素間距的非整數(shù)倍的移動(dòng)量的相對(duì)位置；攝像控制部，其在上述多個(gè)相對(duì)位置處分別使上述攝像元件進(jìn)行攝像動(dòng)作，取得多個(gè)圖像數(shù)據(jù)；圖像合成部，其通過對(duì)由上述攝像控制部取得的多個(gè)圖像數(shù)據(jù)進(jìn)行合成，生成分辨率比從該攝像元件得到的圖像數(shù)據(jù)高的合成圖像數(shù)據(jù)；以及圖像處理部，其根據(jù)上述合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性決定邊緣強(qiáng)調(diào)參數(shù)，根據(jù)所決定的邊緣強(qiáng)調(diào)參數(shù)對(duì)上述合成圖像數(shù)據(jù)進(jìn)行邊緣強(qiáng)調(diào)處理。

并且，本發(fā)明的某個(gè)方式的圖像處理方法具有如下步驟：進(jìn)行像素偏移，使得攝像元件和由上述攝像元件接收的光束在二維狀排列的方向上的相對(duì)位置成為移動(dòng)量不同的多個(gè)相對(duì)位置，其中，該攝像元件具有以規(guī)定的像素間距呈上述二維狀排列的多個(gè)像素，該移動(dòng)量不同的多個(gè)相對(duì)位置包含上述像素間距的非整數(shù)倍的移動(dòng)量的相對(duì)位置；以及對(duì)在上述多個(gè)相對(duì)位置處分別通過上述攝像元件進(jìn)行攝像動(dòng)作而取得的多個(gè)圖像數(shù)據(jù)進(jìn)行處理，其中，該圖像處理方法具有如下步驟：通過對(duì)上述多個(gè)圖像數(shù)據(jù)進(jìn)行合成，生成分辨率比從該攝像元件得到的圖像數(shù)據(jù)高的的合成圖像數(shù)據(jù)；根據(jù)上述合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性決定邊緣強(qiáng)調(diào)參數(shù)；以及根據(jù)所決定的上述邊緣強(qiáng)調(diào)參數(shù)對(duì)上述合成圖像數(shù)據(jù)進(jìn)行邊緣強(qiáng)調(diào)處理。

附圖說明

圖1是示出本發(fā)明的實(shí)施方式1中的數(shù)字照相機(jī)的結(jié)構(gòu)的框圖。

圖2是示出上述實(shí)施方式1的數(shù)字照相機(jī)中的主處理的流程的流程圖。

圖3是示出上述實(shí)施方式1的數(shù)字照相機(jī)中的拍攝處理的流程的流程圖。

圖4是示出通過上述實(shí)施方式1的移位機(jī)構(gòu)移動(dòng)的攝像元件的定中心(centering)位置的例子的圖。

圖5是示出上述實(shí)施方式1的合成處理部的結(jié)構(gòu)的框圖。

圖6是示出上述實(shí)施方式1中的拍攝中從攝像元件得到的拜耳圖像中的R、Gr、Gb、B像素的基本像素配置的圖。

圖7是示出上述實(shí)施方式1中、根據(jù)8張圖6所示的像素配置而由像素配置部得到的R像素配置的圖。

圖8是示出上述實(shí)施方式1中、根據(jù)8張圖6所示的像素配置而由像素配置部得到的Gr像素配置的圖。

圖9是示出上述實(shí)施方式1中、根據(jù)8張圖6所示的像素配置而由像素配置部得到的Gb像素配置的圖。

圖10是示出上述實(shí)施方式1中、根據(jù)8張圖6所示的像素配置而由像素配置部得到的B像素配置的圖。

圖11是示出由上述實(shí)施方式1的合成處理部合成的高分辨率的拜耳圖像的像素配置的圖。

圖12是示出上述實(shí)施方式1的數(shù)字照相機(jī)中的圖像處理的流程的流程圖。

圖13是示出上述實(shí)施方式1中、根據(jù)合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性決定邊緣強(qiáng)調(diào)參數(shù)的例子的圖表。

圖14是示出上述實(shí)施方式1中的邊緣強(qiáng)調(diào)處理部的結(jié)構(gòu)的框圖。

圖15是示出上述實(shí)施方式1中、通過通常的1張拍攝而得到的通常圖像的像素間距P和像素開口寬度A的圖。

圖16是示出上述實(shí)施方式1中、通過像素偏移而得到的超分辨圖像的像素間距P’和像素開口寬度A的圖。

圖17是示出上述實(shí)施方式1中、超分辨圖像和通常圖像的針對(duì)圖像空間頻率的像素開口MTF的例子的線圖。

圖18是示出上述實(shí)施方式1中、針對(duì)圖像空間頻率的邊緣強(qiáng)調(diào)處理MTF的例子的線圖。

圖19是示出上述實(shí)施方式1中、針對(duì)圖像空間頻率的像素開口MTF×邊緣強(qiáng)調(diào)處理MTF的例子的線圖。

圖20是示出上述實(shí)施方式1中、根據(jù)像素開口率決定邊緣強(qiáng)調(diào)參數(shù)α的例子的線圖。

圖21是示出上述實(shí)施方式1中、根據(jù)像素開口MTF決定邊緣強(qiáng)調(diào)參數(shù)α的例子的線圖。

圖22是示出本發(fā)明的實(shí)施方式2中、針對(duì)空間頻率的鏡頭MTF的例子的線圖。

圖23是示出上述實(shí)施方式2中、對(duì)圖22的鏡頭MTF進(jìn)行轉(zhuǎn)換以使得橫軸成為圖像空間頻率的線圖。

圖24是示出上述實(shí)施方式2中、針對(duì)圖像空間頻率的鏡頭MTF×像素開口MTF×邊緣強(qiáng)調(diào)處理MTF的例子的線圖。

具體實(shí)施方式

下面，參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明。

[實(shí)施方式1]

圖1～圖21示出本發(fā)明的實(shí)施方式1，圖1是示出數(shù)字照相機(jī)的結(jié)構(gòu)的框圖。

作為攝像裝置的數(shù)字照相機(jī)構(gòu)成為經(jīng)由接口(I/F)3以能夠通信的方式連接更換式鏡頭1和照相機(jī)主體2。

更換式鏡頭1例如經(jīng)由鏡頭安裝件以拆裝自如的方式裝配在照相機(jī)主體2上，通過形成在鏡頭安裝件上的電觸點(diǎn)(設(shè)置在更換式鏡頭1側(cè)的電觸點(diǎn)和設(shè)置在照相機(jī)主體2側(cè)的電觸點(diǎn))等構(gòu)成接口3。這樣，更換式鏡頭1能夠經(jīng)由接口3而與照相機(jī)主體2進(jìn)行通信。

更換式鏡頭1具有鏡頭11、光圈12、驅(qū)動(dòng)器13、閃存14、微型計(jì)算機(jī)15。

鏡頭11是用于使被攝體的光學(xué)像在照相機(jī)主體2的后述攝像元件22上成像的拍攝光學(xué)系統(tǒng)。

光圈12是對(duì)穿過鏡頭11的光束的穿過范圍進(jìn)行控制的光學(xué)光圈。

驅(qū)動(dòng)器13根據(jù)來自微型計(jì)算機(jī)15的指令，驅(qū)動(dòng)鏡頭11進(jìn)行對(duì)焦位置的調(diào)整，在鏡頭11是電動(dòng)變焦鏡頭等的情況下還進(jìn)行焦距的變更。而且，驅(qū)動(dòng)器13根據(jù)來自微型計(jì)算機(jī)15的指令，驅(qū)動(dòng)光圈12使開口徑變化。通過該光圈12的驅(qū)動(dòng)，被攝體的光學(xué)像的明亮度變化，模糊的大小等也變化。

閃存14是存儲(chǔ)由微型計(jì)算機(jī)15執(zhí)行的控制程序、與更換式鏡頭1有關(guān)的各種信息的存儲(chǔ)介質(zhì)。

微型計(jì)算機(jī)15是所謂的鏡頭側(cè)計(jì)算機(jī)，與驅(qū)動(dòng)器13、閃存14和接口3連接。而且，微型計(jì)算機(jī)15經(jīng)由接口3而與后述主體側(cè)計(jì)算機(jī)即微型計(jì)算機(jī)45進(jìn)行通信，接收來自微型計(jì)算機(jī)45的指令，進(jìn)行閃存14中存儲(chǔ)的信息的讀出/寫入，對(duì)驅(qū)動(dòng)器13進(jìn)行控制。進(jìn)而，微型計(jì)算機(jī)15向微型計(jì)算機(jī)45發(fā)送與該更換式鏡頭1有關(guān)的各種信息。

接口3以能夠雙向通信的方式連接更換式鏡頭1的微型計(jì)算機(jī)15和照相機(jī)主體2的微型計(jì)算機(jī)45。

接著，照相機(jī)主體2具有機(jī)械快門21、攝像元件22、移位機(jī)構(gòu)23、模擬處理部24、模擬/數(shù)字轉(zhuǎn)換部(A/D轉(zhuǎn)換部)25、總線26、SDRAM27、AF處理部28、AE處理部29、合成處理部31、圖像處理部32、JPEG處理部36、監(jiān)視器驅(qū)動(dòng)器37、監(jiān)視器38、存儲(chǔ)器接口(存儲(chǔ)器I/F)41、記錄介質(zhì)42、操作部43、閃存44、微型計(jì)算機(jī)45。

機(jī)械快門21對(duì)來自鏡頭11的光束到達(dá)攝像元件22的時(shí)間進(jìn)行控制，例如成為使快門幕行走的結(jié)構(gòu)的機(jī)械快門。該機(jī)械快門21通過微型計(jì)算機(jī)45的指令進(jìn)行驅(qū)動(dòng)，對(duì)光束針對(duì)攝像元件22的到達(dá)時(shí)間、即基于攝像元件22的被攝體的曝光時(shí)間進(jìn)行控制。

攝像元件22具有以規(guī)定的像素間距(參照?qǐng)D4所示的像素間距P)呈二維狀排列的多個(gè)像素，對(duì)經(jīng)由鏡頭11和光圈12成像的被攝體的光學(xué)像進(jìn)行光電轉(zhuǎn)換，生成模擬圖像信號(hào)。該攝像元件22構(gòu)成為配置包含亮度相當(dāng)顏色(例如綠色)的多個(gè)顏色的濾色器，以使得一個(gè)顏色對(duì)應(yīng)于一個(gè)像素，具體而言，成為在沿著垂直方向和水平方向排列的多個(gè)像素的前表面配置了原色拜耳排列的濾色器的單板式的攝像元件(參照?qǐng)D6)。另外，攝像元件22當(dāng)然不限于單板式的攝像元件，例如也可以是在基板厚度方向上對(duì)顏色成分進(jìn)行分離的層疊式的攝像元件。

移位機(jī)構(gòu)23是如下的像素偏移部：進(jìn)行像素偏移，以使得攝像元件22和由該攝像元件22接收的光束在上述二維狀排列方向上的相對(duì)位置成為包含像素間距的非整數(shù)倍的移動(dòng)量的相對(duì)位置在內(nèi)的移動(dòng)量不同的多個(gè)相對(duì)位置。具體而言，移位機(jī)構(gòu)23使用音圈馬達(dá)(VCM)或壓電元件等驅(qū)動(dòng)源，使攝像元件22在與鏡頭11的光軸垂直的面內(nèi)移動(dòng)。在本實(shí)施方式中，在對(duì)多張圖像進(jìn)行攝像以得到分辨率比從攝像元件22得到的圖像數(shù)據(jù)高的合成圖像時(shí)，該移位機(jī)構(gòu)23例如用于以半像素間距單位使攝像元件22移動(dòng)。

另外，這里，通過移位機(jī)構(gòu)23使攝像元件22移動(dòng)，但是，取而代之，也可以使鏡頭11移動(dòng)，還可以使攝像元件22和鏡頭11雙方移動(dòng)，總之，能夠使攝像元件22和受光光束的相對(duì)位置變化即可。

模擬處理部24針對(duì)從攝像元件22讀出的模擬圖像信號(hào)，在降低了復(fù)位噪聲等之后進(jìn)行波形整形，進(jìn)而進(jìn)行增益放大以使其成為目標(biāo)明亮度。

A/D轉(zhuǎn)換部25將從模擬處理部24輸出的模擬圖像信號(hào)轉(zhuǎn)換為數(shù)字圖像信號(hào)(以后稱為圖像數(shù)據(jù)等)。

總線26是用于將數(shù)字照相機(jī)內(nèi)的某個(gè)場(chǎng)所產(chǎn)生的各種數(shù)據(jù)和控制信號(hào)轉(zhuǎn)送到數(shù)字照相機(jī)內(nèi)的其他場(chǎng)所的轉(zhuǎn)送路。本實(shí)施方式中的總線26與移位機(jī)構(gòu)23、A/D轉(zhuǎn)換部25、SDRAM27、AF處理部28、AE處理部29、合成處理部31、圖像處理部32、JPEG處理部36、監(jiān)視器驅(qū)動(dòng)器37、存儲(chǔ)器接口41、微型計(jì)算機(jī)45連接。

從A/D轉(zhuǎn)換部25輸出的圖像數(shù)據(jù)(以下適當(dāng)稱為RAW圖像數(shù)據(jù))經(jīng)由總線26進(jìn)行轉(zhuǎn)送，暫時(shí)存儲(chǔ)在SDRAM27中。

SDRAM27是暫時(shí)存儲(chǔ)上述RAW圖像數(shù)據(jù)、或在合成處理部31、圖像處理部32、JPEG處理部36等中進(jìn)行處理后的圖像數(shù)據(jù)等各種數(shù)據(jù)的存儲(chǔ)部。

AF處理部28從RAW圖像數(shù)據(jù)中提取高頻成分的信號(hào)，通過AF(自動(dòng)對(duì)焦)累積處理來取得對(duì)焦評(píng)價(jià)值。這里取得的對(duì)焦評(píng)價(jià)值用于鏡頭11的AF驅(qū)動(dòng)。另外，AF當(dāng)然不限于這種對(duì)比度AF，例如也可以構(gòu)成為使用專用的AF傳感器(或攝像元件22上的AF用像素)進(jìn)行相位差A(yù)F。

AE處理部29根據(jù)RAW圖像數(shù)據(jù)計(jì)算被攝體亮度。這里計(jì)算出的被攝體亮度用于自動(dòng)曝光(AE)控制，即光圈12的控制、機(jī)械快門21的控制、攝像元件22的曝光定時(shí)控制(或所謂的元件快門的控制)等。另外，作為用于計(jì)算被攝體亮度的數(shù)據(jù)，這里利用RAW圖像數(shù)據(jù)，但是，取而代之，也可以利用在數(shù)字照相機(jī)中設(shè)置專用的測(cè)光傳感器而得到的數(shù)據(jù)。

合成處理部31是如下的圖像合成部：對(duì)通過攝像控制部即微型計(jì)算機(jī)45的控制而取得的多個(gè)圖像數(shù)據(jù)(通過移位機(jī)構(gòu)23使攝像元件22移動(dòng)并進(jìn)行攝像而得到的多個(gè)圖像數(shù)據(jù))進(jìn)行合成，由此生成分辨率比從攝像元件22得到的圖像數(shù)據(jù)高的合成圖像數(shù)據(jù)(以下適當(dāng)稱為超分辨圖像等)。

圖像處理部32對(duì)從攝像元件22得到的RAW圖像數(shù)據(jù)(通常圖像數(shù)據(jù))或由合成處理部31合成后的合成圖像數(shù)據(jù)進(jìn)行各種圖像處理，包括同時(shí)化處理部33、邊緣強(qiáng)調(diào)處理部34、噪聲降低處理部35。

同時(shí)化處理部33進(jìn)行如下的同時(shí)化處理：根據(jù)每一個(gè)像素僅存在RGB成分中的一個(gè)顏色成分的拜耳排列的圖像數(shù)據(jù)，從周邊像素進(jìn)行插值并求出關(guān)注像素中不存在的顏色成分，由此轉(zhuǎn)換為全部像素具有RGB的全部3個(gè)顏色成分的圖像數(shù)據(jù)。

邊緣強(qiáng)調(diào)處理部34根據(jù)圖像數(shù)據(jù)(通常圖像數(shù)據(jù)或合成圖像數(shù)據(jù))的與像素開口有關(guān)的特性(如后所述，例如為像素開口率或像素開口MTF(Modulation Transfer Function)特性等)決定邊緣強(qiáng)調(diào)參數(shù)，根據(jù)所決定的邊緣強(qiáng)調(diào)參數(shù)對(duì)圖像數(shù)據(jù)(通常圖像數(shù)據(jù)或合成圖像數(shù)據(jù))進(jìn)行邊緣強(qiáng)調(diào)處理。在后面參照?qǐng)D14對(duì)該邊緣強(qiáng)調(diào)處理部34進(jìn)行的邊緣強(qiáng)調(diào)處理進(jìn)行具體說明。

噪聲降低處理部35通過對(duì)圖像數(shù)據(jù)進(jìn)行與頻率對(duì)應(yīng)的核化(coring)處理等，進(jìn)行噪聲降低處理。

這樣由圖像處理部32進(jìn)行各種處理后的圖像數(shù)據(jù)再次存儲(chǔ)在SDRAM27中。

JPEG處理部36在記錄圖像數(shù)據(jù)時(shí)，從SDRAM27中讀出圖像數(shù)據(jù)，根據(jù)JPEG壓縮方式對(duì)所讀出的圖像數(shù)據(jù)進(jìn)行壓縮，將壓縮后的圖像數(shù)據(jù)暫時(shí)存儲(chǔ)在SDRAM27中。通過微型計(jì)算機(jī)45對(duì)這樣存儲(chǔ)在SDRAM27中的壓縮后的圖像數(shù)據(jù)附加構(gòu)成文件所需要的文件頭并整理成記錄用的數(shù)據(jù)。然后，根據(jù)微型計(jì)算機(jī)45的控制，整理后的記錄用的數(shù)據(jù)經(jīng)由存儲(chǔ)器接口41記錄在記錄介質(zhì)42中。

并且，JPEG處理部36還進(jìn)行所讀出的圖像數(shù)據(jù)的解壓縮。即，在進(jìn)行已記錄圖像的再現(xiàn)的情況下，根據(jù)微型計(jì)算機(jī)45的控制，例如經(jīng)由存儲(chǔ)器接口41從記錄介質(zhì)42中讀出JPEG文件并暫時(shí)存儲(chǔ)在SDRAM27中。JPEG處理部36讀出SDRAM27中存儲(chǔ)的JPEG圖像數(shù)據(jù)，根據(jù)JPEG解壓縮方式對(duì)所讀出的JPEG圖像數(shù)據(jù)進(jìn)行解壓縮，將解壓縮后的圖像數(shù)據(jù)存儲(chǔ)在SDRAM27中。

監(jiān)視器驅(qū)動(dòng)器37讀出SDRAM27中存儲(chǔ)的圖像數(shù)據(jù)，將所讀出的圖像數(shù)據(jù)轉(zhuǎn)換為影像信號(hào)，對(duì)監(jiān)視器38進(jìn)行驅(qū)動(dòng)控制，使監(jiān)視器38顯示基于影像信號(hào)的圖像。由該監(jiān)視器驅(qū)動(dòng)器37進(jìn)行的圖像顯示包括僅在短時(shí)間內(nèi)顯示剛剛拍攝之后的圖像數(shù)據(jù)的瀏覽記錄顯示、記錄介質(zhì)42中記錄的JPEG文件的再現(xiàn)顯示和實(shí)時(shí)取景顯示等。

監(jiān)視器38通過上述監(jiān)視器驅(qū)動(dòng)器37的驅(qū)動(dòng)控制來顯示圖像，并且顯示該數(shù)字照相機(jī)的各種信息。

如上所述，存儲(chǔ)器接口41針對(duì)記錄介質(zhì)42寫入圖像數(shù)據(jù)，并且從記錄介質(zhì)42中讀出圖像數(shù)據(jù)。

記錄介質(zhì)42非易失地存儲(chǔ)圖像數(shù)據(jù)，例如由能夠相對(duì)于照相機(jī)主體2進(jìn)行拆裝的存儲(chǔ)卡等構(gòu)成。但是，記錄介質(zhì)42不限于存儲(chǔ)卡，也可以是盤狀的記錄介質(zhì)，還可以是其他任意的記錄介質(zhì)。這樣，記錄介質(zhì)42不需要是數(shù)字照相機(jī)固有的結(jié)構(gòu)。

操作部43用于進(jìn)行針對(duì)該數(shù)字照相機(jī)的各種操作輸入，包括用于接通/斷開數(shù)字照相機(jī)的電源的電源按鈕、用于指示圖像的拍攝開始的例如由構(gòu)成為具有1st(第1)釋放開關(guān)和2nd(第2)釋放開關(guān)的2級(jí)式操作按鈕構(gòu)成的釋放按鈕、用于進(jìn)行記錄圖像的再現(xiàn)的再現(xiàn)按鈕、用于進(jìn)行數(shù)字照相機(jī)的設(shè)定等的菜單按鈕、項(xiàng)目的選擇操作中使用的十字鍵和選擇項(xiàng)目的確定操作中使用的OK按鈕等操作按鈕等。這里，能夠使用菜單按鈕、十字鍵、OK按鈕等進(jìn)行設(shè)定的項(xiàng)目包括拍攝模式(通常拍攝模式、像素偏移超分辨拍攝模式等)、記錄模式(JPEG記錄模式、RAW+JPEG記錄模式等)等。當(dāng)對(duì)該操作部43進(jìn)行操作時(shí)，與操作內(nèi)容對(duì)應(yīng)的信號(hào)輸出到微型計(jì)算機(jī)45。

閃存44是非易失地存儲(chǔ)由微型計(jì)算機(jī)45執(zhí)行的處理程序、該數(shù)字照相機(jī)的各種信息的存儲(chǔ)介質(zhì)。這里，作為閃存44存儲(chǔ)的信息，例如舉出基于圖像數(shù)據(jù)的與像素開口有關(guān)的特性的邊緣強(qiáng)調(diào)參數(shù)等數(shù)字照相機(jī)的動(dòng)作所需要的各種參數(shù)、像素偏移超分辨拍攝模式中的像素偏移的大小、方向、順序等信息、以及用于確定數(shù)字照相機(jī)的制造編號(hào)等作為幾個(gè)例子。通過微型計(jì)算機(jī)45來讀取該閃存44存儲(chǔ)的信息。

微型計(jì)算機(jī)45是如下的控制部：對(duì)照相機(jī)主體2內(nèi)的各部進(jìn)行控制，并且，經(jīng)由接口3向微型計(jì)算機(jī)15發(fā)送指令并對(duì)更換式鏡頭1進(jìn)行控制，對(duì)該數(shù)字照相機(jī)進(jìn)行總括控制。當(dāng)通過用戶從操作部43進(jìn)行操作輸入時(shí)，微型計(jì)算機(jī)45根據(jù)閃存44中存儲(chǔ)的處理程序，從閃存44中讀入處理所需要的參數(shù)，執(zhí)行與操作內(nèi)容對(duì)應(yīng)的各種時(shí)序。而且，微型計(jì)算機(jī)45還作為如下的攝像控制部發(fā)揮功能：在通過上述移位機(jī)構(gòu)23進(jìn)行了像素偏移的多個(gè)相對(duì)位置處分別使攝像元件22進(jìn)行攝像動(dòng)作，取得多個(gè)圖像數(shù)據(jù)。進(jìn)而，微型計(jì)算機(jī)45還作為如下的圖像記錄部發(fā)揮功能：經(jīng)由存儲(chǔ)器接口41將合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性(如后所述，例如為像素開口率或像素開口MTF特性等)與合成圖像數(shù)據(jù)關(guān)聯(lián)起來進(jìn)行記錄。

接著，圖2是示出數(shù)字照相機(jī)中的主處理的流程的流程圖。根據(jù)微型計(jì)算機(jī)45的控制來進(jìn)行該圖2所示的處理。

當(dāng)對(duì)操作部43的電源按鈕進(jìn)行接通操作而使數(shù)字照相機(jī)的電源接通時(shí)，該主處理開始，首先進(jìn)行數(shù)字照相機(jī)的初始化(步驟S1)。

接著，微型計(jì)算機(jī)45判定是否對(duì)操作部43的再現(xiàn)按鈕進(jìn)行了操作(步驟S2)。

這里，在對(duì)再現(xiàn)按鈕進(jìn)行了操作的情況下，進(jìn)行再現(xiàn)/編輯處理(步驟S3)。該再現(xiàn)/編輯處理是如下處理：顯示記錄介質(zhì)42中記錄的文件的一覽，等待來自用戶的選擇操作，對(duì)選擇決定的文件進(jìn)行再現(xiàn)，或?qū)x擇出的圖像進(jìn)行編輯。

在步驟S2中未對(duì)再現(xiàn)按鈕進(jìn)行操作或進(jìn)行了步驟S3的處理的情況下，判定是否對(duì)操作部43的菜單按鈕進(jìn)行操作而選擇了與數(shù)字照相機(jī)有關(guān)的照相機(jī)設(shè)定(步驟S4)。

這里，在選擇了照相機(jī)設(shè)定的情況下，在監(jiān)視器38中顯示用于變更照相機(jī)設(shè)定的菜單，等待從操作部43進(jìn)行用于變更照相機(jī)設(shè)定的用戶操作。這里，作為照相機(jī)設(shè)定的幾個(gè)例子，舉出上述拍攝模式(通常拍攝模式、像素偏移超分辨拍攝模式)、記錄模式(JPEG記錄模式、RAW+JPEG記錄模式)等，但是不限于此。

然后，在進(jìn)行了用戶操作的情況下，根據(jù)操作內(nèi)容進(jìn)行照相機(jī)設(shè)定(步驟S5)。

在步驟S4中未選擇照相機(jī)設(shè)定或進(jìn)行了步驟S5的處理的情況下，判定釋放按鈕是否從斷開遷移到第1階段的按壓狀態(tài)(所謂的半按狀態(tài))即第1釋放接通的狀態(tài)(步驟S6)。

這里，在遷移到第1釋放接通的狀態(tài)的情況下，在進(jìn)行了該遷移的時(shí)刻，通過AE處理部29進(jìn)行用于拍攝圖像的自動(dòng)曝光(AE)控制，并且通過AF處理部28進(jìn)行自動(dòng)焦點(diǎn)控制(AF)(步驟S7)。由此，在按壓了第1釋放按鈕以后，進(jìn)行所謂的AE鎖定和AF鎖定。

然后，判定是否對(duì)電源按鈕進(jìn)行了斷開操作(步驟S8)，在未進(jìn)行斷開操作的情況下，返回步驟S2，反復(fù)進(jìn)行上述處理。

并且，在上述步驟S6中未遷移到第1釋放接通的狀態(tài)的情況下，判定釋放按鈕是否成為第2階段的按壓狀態(tài)即第2釋放接通的狀態(tài)(所謂的全按狀態(tài))(步驟S9)。

這里，在未成為第2釋放接通的狀態(tài)的情況下，使機(jī)械快門21成為打開狀態(tài)，通過AE處理部29進(jìn)行實(shí)時(shí)取景用的自動(dòng)曝光(AE)控制，進(jìn)行基于電子快門的一幀(或一場(chǎng)等)的圖像拍攝(步驟S10)。

針對(duì)這樣拍攝的圖像進(jìn)行例如省略了對(duì)記錄圖像進(jìn)行的幾個(gè)圖像處理后的基本圖像處理(步驟S11)，在監(jiān)視器38中顯示進(jìn)行了基本圖像處理后的幀圖像作為實(shí)時(shí)取景的一幀(步驟S12)。

然后，轉(zhuǎn)移到上述步驟S8的處理，判定是否對(duì)電源按鈕進(jìn)行了斷開操作，在未進(jìn)行斷開操作的情況下，返回步驟S2，反復(fù)進(jìn)行上述處理。

另一方面，在上述步驟S9中成為第2釋放接通的狀態(tài)的情況下，執(zhí)行后面參照?qǐng)D3說明的拍攝處理(步驟S13)。

接著，判定是否設(shè)定了RAW記錄模式(步驟S14)，在設(shè)定了RAW記錄模式的情況下，將RAW圖像記錄在記錄介質(zhì)42中(步驟S15)。

在步驟S14中未設(shè)定RAW記錄模式或進(jìn)行了步驟S15的處理的情況下，對(duì)通過拍攝而得到的圖像進(jìn)行后面參照?qǐng)D12說明的圖像處理(步驟S16)。

然后，對(duì)進(jìn)行圖像處理后的圖像進(jìn)行JPEG壓縮，附加包含Exif信息的文件頭，作為JPEG文件記錄在記錄介質(zhì)42中(步驟S17)。

在進(jìn)行了該步驟S17的處理后，轉(zhuǎn)移到上述步驟S8的處理，判定是否對(duì)電源按鈕進(jìn)行了斷開操作。

這樣，在步驟S8中對(duì)電源按鈕進(jìn)行了斷開操作的情況下，結(jié)束該主處理。

圖3是示出數(shù)字照相機(jī)中的拍攝處理的流程的流程圖。

當(dāng)開始進(jìn)行該處理后，判定拍攝模式是否設(shè)定為像素偏移超分辨拍攝模式(步驟S21)。

這里，在未設(shè)定為像素偏移超分辨拍攝模式的情況下，驅(qū)動(dòng)光圈12，打開機(jī)械快門21，通過攝像元件22進(jìn)行曝光，進(jìn)行拍攝一張圖像的通常的拍攝處理(步驟S22)。

并且，在設(shè)定為像素偏移超分辨拍攝模式的情況下，設(shè)定與鏡頭11的光軸垂直的面內(nèi)(攝像元件22中的多個(gè)像素的二維狀排列面的方向)的攝像元件22的定中心位置(步驟S23)，通過移位機(jī)構(gòu)23使攝像元件22向所設(shè)定的定中心位置移動(dòng)(步驟S24)。

這里，圖4是示出通過移位機(jī)構(gòu)23移動(dòng)的攝像元件22的定中心位置的例子的圖。

在本實(shí)施方式中，向包含相對(duì)于某個(gè)定中心位置以像素間距的非整數(shù)倍使位置不同的定中心位置在內(nèi)的、例如8個(gè)不同的定中心位置移動(dòng)攝像元件22，在各定中心位置處對(duì)圖像進(jìn)行攝像，對(duì)通過攝像而得到的8張圖像進(jìn)行合成，由此取得一張超分辨圖像。

而且，當(dāng)設(shè)像素間距為P時(shí)，在圖4所示的例子中，相對(duì)于定中心位置A1，定中心位置A2成為向右方向偏移了1P的位置，定中心位置A3成為向右方向偏移了(1/2)P且向下方向偏移了(1/2)P的位置，定中心位置A4成為向左方向偏移了(1/2)P且向下方向偏移了(1/2)P的位置，定中心位置A5成為向下方向偏移了1P的位置，定中心位置A6成為向右方向偏移了1P且向下方向偏移了1P的位置，定中心位置A7成為向右方向偏移了(1/2)P且向下方向偏移了(3/2)P的位置，定中心位置A8成為向左方向偏移了(1/2)P且向下方向偏移了(3/2)P的位置。

因此，相對(duì)于定中心位置A1，定中心位置A3、A4、A7、A8是像素間距的1/2倍或3/2倍(即非整數(shù)倍)的移動(dòng)量的相對(duì)位置，但是，定中心位置A2、A5、A6成為像素間距的1倍(即整數(shù)倍)的移動(dòng)量的相對(duì)位置。這樣，雖然定中心位置需要包含至少一個(gè)像素間距的非整數(shù)倍的移動(dòng)量的相對(duì)位置，但是，只要滿足該條件，也可以還包含像素間距的整數(shù)倍的移動(dòng)量的相對(duì)位置。

當(dāng)移位機(jī)構(gòu)23針對(duì)原色拜耳排列的攝像元件22進(jìn)行該圖4所示的像素偏移時(shí)，設(shè)定多個(gè)相對(duì)位置，以使得在多個(gè)相對(duì)位置中的至少2個(gè)相對(duì)位置處，與亮度相當(dāng)顏色(這里為綠色)的濾色器對(duì)應(yīng)且不同的像素的位置重復(fù)(即，某個(gè)定中心位置處的某個(gè)亮度相當(dāng)顏色像素和其他定中心位置處的其他亮度相當(dāng)顏色像素在位置上重復(fù))(參照?qǐng)D8和圖9)。

但是，圖4所示的定中心位置是一例，當(dāng)然也可以采用其他配置或8個(gè)以外的定中心位置數(shù)。

然后，在移動(dòng)后的定中心位置，驅(qū)動(dòng)光圈12，打開機(jī)械快門21，通過攝像元件22進(jìn)行曝光，拍攝一張圖像(步驟S25)。

接著，判定圖4所示的8個(gè)定中心位置A1～A8處的處理是否全部結(jié)束(步驟S26)，在還未結(jié)束的情況下，返回步驟S23，進(jìn)行下一個(gè)定中心位置的處理。

這樣，在步驟S26中全部定中心位置的處理結(jié)束的情況下，通過合成處理部31對(duì)通過拍攝而得到的8張圖像進(jìn)行合成處理，生成一張超分辨圖像(步驟S27)。

在步驟S27或上述步驟S22的處理結(jié)束后，針對(duì)步驟S27中得到的超分辨圖像設(shè)定表示是超分辨圖像的圖像處理識(shí)別信息，針對(duì)步驟S22中得到的圖像設(shè)定表示是通常圖像的圖像處理識(shí)別信息(步驟S28)，在Exif信息中附加所設(shè)定的圖像處理識(shí)別信息(步驟S29)，從該處理返回到圖2所示的處理。

另外，作為圖像處理識(shí)別信息的例子，可以舉出是否是以像素偏移超分辨拍攝模式進(jìn)行拍攝而得到的圖像的信息、像素開口率與取樣間距的相對(duì)關(guān)系的信息、根據(jù)像素開口MTF決定的邊緣強(qiáng)調(diào)度等。并且，Exif信息在上述圖2的步驟S17的處理中組入圖像文件的頭中并記錄在記錄介質(zhì)42中。

接著，圖5是示出合成處理部31的結(jié)構(gòu)的框圖。

合成處理部31具有像素配置部51、像素插值部52、加法部53、半值化部54、拜耳圖像提取部55。

像素配置部51將像素偏移超分辨拍攝模式中取得的8張拜耳圖像(RAW圖像)分別分離成R成分、Gr成分、Gb成分、B成分，根據(jù)定中心位置A1～A8進(jìn)行配置。

這里，圖6是示出拍攝中從攝像元件22得到的拜耳圖像中的R、Gr、Gb、B像素的基本像素配置的圖，圖7是示出根據(jù)8張圖6所示的像素配置而由像素配置部51得到的R像素配置的圖，圖8是示出根據(jù)8張圖6所示的像素配置而由像素配置部51得到的Gr像素配置的圖，圖9是示出根據(jù)8張圖6所示的像素配置而由像素配置部51得到的Gb像素配置的圖，圖10是示出根據(jù)8張圖6所示的像素配置而由像素配置部51得到的B像素配置的圖。

像素配置部51從反復(fù)進(jìn)行圖6所示的基本像素配置而構(gòu)成的8張拜耳圖像中提取R成分，根據(jù)圖4所示的定中心位置A1～A8進(jìn)行再次配置，生成在圖7所示的4×4像素排列中排列有R1～R8像素的像素配置的R合成圖像。同樣，像素配置部51從8張拜耳圖像中分別提取Gr、Gb、B成分，根據(jù)定中心位置A1～A8進(jìn)行再次配置，分別生成圖8、圖9、圖10分別所示的像素配置的Gr合成圖像、Gb合成圖像、B合成圖像。

像素插值部52根據(jù)周邊的R像素對(duì)圖7所示的x1～x4像素位置的像素進(jìn)行插值，將其設(shè)為R’1～R’4像素。同樣，像素插值部52根據(jù)周邊的B像素對(duì)圖10所示的y1～y4像素位置的像素進(jìn)行插值，將其設(shè)為B’1～B’4像素。

例如在進(jìn)行周邊4個(gè)像素插值的情況下，能夠如下面的數(shù)式1、2所示那樣表示基于該像素插值部52的像素插值。

[數(shù)式1]

R’1＝(R1+R4+(上R8)+(左R2))/4

R’2＝(R1+R2+R3+(上R7))/4

R’3＝(R4+R5+R8+(左R6))/4

R’4＝(R3+R5+R6+R7)/4

[數(shù)式2]

B’1＝(B6+B7+B8+B2)/4

B’2＝(B5+B8+B1+(右B7))/4

B’3＝(B2+B3+B4+(下B6))/4

B’4＝(B1+B4+(右B3)+(下B5))/4

這里，數(shù)式1、2中的“上”、“左”、“右”、“下”分別表示圖7或圖10所示的4×4像素排列的位于上側(cè)的4×4像素排列、位于左側(cè)的4×4像素排列、位于右側(cè)的4×4像素排列、位于下側(cè)的4×4像素排列。

加法部53在對(duì)應(yīng)的像素位置彼此之間對(duì)圖8所示的Gr合成圖像和圖9所示的Gb合成圖像進(jìn)行相加。

半值化部54將由加法部53相加后的GrGb合成圖像除以2。

即，通過加法部53和半值化部54對(duì)圖8所示的Gr合成圖像和圖9所示的Gb合成圖像進(jìn)行平均化。能夠如下面的數(shù)式3所示那樣表示該平均化的處理。

[數(shù)式3]

G’1＝(Gr2+Gb5)/2

G’2＝(Gr1+Gb6)/2

G’3＝(Gr3+Gb8)/2

G’4＝(Gr4+Gb7)/2

G’5＝(Gr6+Gb1)/2

G’6＝(Gr5+Gb2)/2

G’7＝(Gr7+Gb4)/2

G’8＝(Gr8+Gb3)/2

這樣，合成處理部31對(duì)重復(fù)的位置處取得的亮度相當(dāng)顏色(這里為綠色)的多個(gè)像素?cái)?shù)據(jù)進(jìn)行平均，設(shè)為該重復(fù)的位置處的合成后的像素?cái)?shù)據(jù)，由此降低噪聲，實(shí)現(xiàn)高畫質(zhì)化。

拜耳圖像提取部55將由像素插值部52進(jìn)行插值后的R’1～R’4像素及B’1～B’4像素與從半值化部54輸出的平均化后的GrGb合成圖像合成為一張高分辨率的拜耳圖像并進(jìn)行輸出。

這里，圖11是示出由合成處理部31合成的高分辨率的拜耳圖像的像素配置的圖。

對(duì)圖11和圖6進(jìn)行比較可知，在像素偏移超分辨拍攝模式中，得到水平方向上成為2倍且垂直方向上成為2倍的分辨率的超分辨圖像。

接著，圖12是示出數(shù)字照相機(jī)中的圖像處理的流程的流程圖。

進(jìn)入該處理后，微型計(jì)算機(jī)45從閃存44中讀出圖像處理中使用的參數(shù)，將其設(shè)定在圖像處理部32中(步驟S31)。作為該步驟S31中設(shè)定的參數(shù)，包含上述這種基于圖像數(shù)據(jù)的與像素開口有關(guān)的特性(像素開口率、像素開口MTF特性等)的邊緣強(qiáng)調(diào)參數(shù)。另外，關(guān)于像素開口率或像素開口MTF特性，根據(jù)拍攝模式是通常拍攝模式還是像素偏移超分辨拍攝模式來決定值，所以，實(shí)用上，也可以根據(jù)拍攝模式來設(shè)定邊緣強(qiáng)調(diào)參數(shù)(參照?qǐng)D13)。

然后，通過圖像處理部32進(jìn)行基于所設(shè)定的參數(shù)的圖像處理(步驟S32)。

該圖像處理包含以下處理。

首先，同時(shí)化處理部33進(jìn)行如下的同時(shí)化處理：根據(jù)每一個(gè)像素僅存在RGB成分中的一個(gè)顏色成分的拜耳排列的圖像數(shù)據(jù)，從周邊像素進(jìn)行插值而求出關(guān)注像素中不存在的顏色成分，由此轉(zhuǎn)換為全部像素具有RGB的全部3個(gè)顏色成分的圖像數(shù)據(jù)。

接著，邊緣強(qiáng)調(diào)處理部34通過帶通濾波器從圖像數(shù)據(jù)中提取邊緣成分，對(duì)提取出的邊緣成分乘以與邊緣強(qiáng)調(diào)度對(duì)應(yīng)的系數(shù)(邊緣強(qiáng)調(diào)參數(shù))，與原來的圖像數(shù)據(jù)進(jìn)行相加，由此進(jìn)行邊緣強(qiáng)調(diào)處理。

進(jìn)而，噪聲降低處理部35對(duì)圖像數(shù)據(jù)進(jìn)行頻率分解，根據(jù)頻率進(jìn)行核化處理等，由此進(jìn)行噪聲降低處理。

在這樣進(jìn)行了步驟S32的圖像處理后，從該處理返到圖2所示的處理。

圖14是示出邊緣強(qiáng)調(diào)處理部34的結(jié)構(gòu)的框圖。

在該圖14所示的結(jié)構(gòu)例中，邊緣強(qiáng)調(diào)處理部34具有濾波運(yùn)算部61、乘法部62、加法部63。

濾波運(yùn)算部61針對(duì)從同時(shí)化處理部33輸入的同時(shí)化后的R圖像、G圖像、B圖像，分別提取以關(guān)注像素位置為中心的例如3×3像素的像素塊，針對(duì)提取出的3×3像素，例如使圖14所示的由3行3列的矩陣構(gòu)成的邊緣提取濾波器fe發(fā)揮作用，提取關(guān)注像素位置的邊緣成分。

乘法部62對(duì)由濾波運(yùn)算部61提取出的關(guān)注像素位置的邊緣成分乘以邊緣強(qiáng)調(diào)參數(shù)α，由此對(duì)邊緣強(qiáng)調(diào)度進(jìn)行調(diào)整。

加法部63將從乘法部62輸出的調(diào)整后的關(guān)注像素位置的邊緣成分與原來的關(guān)注像素的像素?cái)?shù)據(jù)進(jìn)行相加，由此進(jìn)行邊緣強(qiáng)調(diào)，輸出邊緣強(qiáng)調(diào)結(jié)果。

例如按照光柵掃描的順序使關(guān)注像素位置移動(dòng)，并且針對(duì)全部像素位置進(jìn)行這種處理，由此，邊緣強(qiáng)調(diào)處理完成。

另外，這里，分別對(duì)同時(shí)化后的R圖像、G圖像、B圖像進(jìn)行邊緣強(qiáng)調(diào)處理，但是，例如只要是圖像數(shù)據(jù)被轉(zhuǎn)換為亮度-色差數(shù)據(jù)之后，則也可以僅對(duì)亮度數(shù)據(jù)進(jìn)行邊緣強(qiáng)調(diào)處理。

這里，圖13是示出根據(jù)合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性決定邊緣強(qiáng)調(diào)參數(shù)α的例子的圖表。

圖像處理部32的邊緣強(qiáng)調(diào)處理部34根據(jù)由合成處理部31生成的合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性，決定邊緣強(qiáng)調(diào)參數(shù)α。

首先，如圖15和圖16所示，通過通常的一張拍攝而得到的通常圖像和通過圖4所示的像素偏移而得到的超分辨圖像的像素間距(取樣間距)變化。這里，圖15是示出通過通常的一張拍攝而得到的通常圖像的像素間距P和像素開口寬度A的圖，圖16是示出通過像素偏移而得到的超分辨圖像的像素間距P’和像素開口寬度A的圖。

在圖15所示的例子中，像素間距P為3.85μm，像素開口寬度A為2.89μm。因此，通常圖像的像素開口率成為

A/P＝2.89/3.85＝75％

另外，這里，利用一維方向的像素開口率、即一維方向的像素開口長(zhǎng)度與取樣間距的比率來表示像素開口率，但是，與一般的像素開口率的定義同樣，當(dāng)然也可以利用二維中的像素開口率、即像素開口的面積與1個(gè)像素的面積的比率來表示，其中，該1個(gè)像素的面積是用攝像面的面積除以像素?cái)?shù)而得到的。

另一方面，當(dāng)針對(duì)圖15所示的像素結(jié)構(gòu)的攝像元件22進(jìn)行圖4所示的像素偏移時(shí)，如圖16所示，像素間距P’成為圖15所示的像素間距P的一半即1.92μm，所以，超分辨圖像的像素開口率成為

A/P’＝2.89/1.92＝150％

因此，在超分辨圖像中，像素開口率超過100％。

這種情況下，如圖17所示，在超分辨圖像S中，與通常圖像N相比，同一圖像空間頻率中的像素開口MTF大幅降低。這里，圖17是示出超分辨圖像S和通常圖像N的針對(duì)圖像空間頻率的像素開口MTF的例子的線圖。

當(dāng)設(shè)圖像空間頻率為u、像素開口率為a時(shí)，如下面的數(shù)式4所示那樣表示基于像素開口的MTF。

[數(shù)式4]

MTF(u)＝{sin(a×u×π)}/(a×u×π)

然后，如圖17所示可知，超分辨圖像S的MTF與通常圖像N的MTF相比，隨著圖像空間頻率的增大而大幅降低，圖像的對(duì)比度降低。作為具體例，關(guān)于0.3(線/水平或垂直像素?cái)?shù))的圖像空間頻率中的像素開口MTF，通常圖像N大約為0.9(90％)，與此相對(duì)，超分辨圖像S大約為0.7(70％)，超分辨圖像S的像素開口MTF大幅降低。

因此，在本實(shí)施方式中，如圖13中示出一例那樣，使邊緣強(qiáng)調(diào)參數(shù)α根據(jù)合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性而變化。

即，在像素開口率為75％(或0.3(線/水平或垂直像素?cái)?shù))的圖像空間頻率中的像素開口MTF為0.9)的情況下，邊緣強(qiáng)調(diào)處理部34將邊緣強(qiáng)調(diào)參數(shù)α決定為0.1，另一方面，在像素開口率為150％(或0.3(線/水平或垂直像素?cái)?shù))的圖像空間頻率中的像素開口MTF為0.7)的情況下，邊緣強(qiáng)調(diào)處理部34將邊緣強(qiáng)調(diào)參數(shù)α決定為0.45。

另外，在圖13中，作為合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性的例子，舉出像素開口率或像素開口MTF特性，但是不限于這些。而且，如上所述，也可以根據(jù)拍攝模式來決定邊緣強(qiáng)調(diào)參數(shù)α。

這樣，邊緣強(qiáng)調(diào)處理部34根據(jù)所決定的邊緣強(qiáng)調(diào)參數(shù)α對(duì)圖像數(shù)據(jù)(通常圖像數(shù)據(jù)或合成圖像數(shù)據(jù))進(jìn)行邊緣強(qiáng)調(diào)處理。

圖18是示出針對(duì)圖像空間頻率的邊緣強(qiáng)調(diào)處理MTF的例子的線圖。

當(dāng)使用邊緣強(qiáng)調(diào)參數(shù)α進(jìn)行邊緣強(qiáng)調(diào)處理時(shí)，邊緣強(qiáng)調(diào)處理MTF隨著圖像空間頻率的增大而增大，但是，當(dāng)邊緣強(qiáng)調(diào)參數(shù)α的值較大時(shí)，表示更高的增大率。具體而言，在圖18所示的例子中，在圖像空間頻率為0的情況下，不管是α＝0.45還是α＝0.1，邊緣強(qiáng)調(diào)處理MTF均為1.0，但是，隨著圖像空間頻率的增大，α＝0.45的邊緣強(qiáng)調(diào)處理MTF成為比α＝0.1的邊緣強(qiáng)調(diào)處理MTF高的值。

通過構(gòu)成系統(tǒng)的各部的MTF的乘法來表示系統(tǒng)整體的MTF，所以，當(dāng)對(duì)圖17所示的像素開口MTF乘以圖18所示的邊緣強(qiáng)調(diào)處理MTF時(shí)，得到圖19所示的MTF。這里，圖19是示出針對(duì)圖像空間頻率的像素開口MTF×邊緣強(qiáng)調(diào)處理MTF的例子的線圖。

當(dāng)進(jìn)行α＝0.1的邊緣強(qiáng)調(diào)處理時(shí)，對(duì)圖17和圖19進(jìn)行比較可知，通常圖像N和超分辨圖像S的MTF均得到一些改善(甚至鮮銳度也得到一些改善)。但是，關(guān)于通常圖像N，當(dāng)使α大于0.1時(shí)，MTF可能超過1，認(rèn)為成為過剩的邊緣強(qiáng)調(diào)。與此相對(duì)，關(guān)于超分辨圖像S，MTF還存在進(jìn)一步改善的余地。

因此，對(duì)超分辨圖像S進(jìn)行α＝0.45的邊緣強(qiáng)調(diào)處理(即，比通常圖像N更強(qiáng)的邊緣強(qiáng)調(diào)處理)。該情況下，關(guān)于超分辨圖像S的MTF，在0～0.2(線/水平或垂直像素?cái)?shù))的圖像空間頻率之前，取幾乎不會(huì)遜色于通常圖像N的MTF的1的值，即使超過0.2(線/水平或垂直像素?cái)?shù))的圖像空間頻率，與α＝0.1的邊緣強(qiáng)調(diào)處理的情況相比，也示出MTF的大幅改善。因此，可知得到更加優(yōu)選的清晰感。

但是，當(dāng)增強(qiáng)邊緣強(qiáng)調(diào)度時(shí)，噪聲也被放大，但是，如上所述，關(guān)于G成分，使用Gr成分和Gb成分的平均值來提高S/N，所以，能夠在某種程度上抵消由于邊緣強(qiáng)調(diào)而導(dǎo)致的噪聲放大量。

作為邊緣強(qiáng)調(diào)參數(shù)α，關(guān)于取哪個(gè)程度的值比較好是根據(jù)合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性而不同的。因此，邊緣強(qiáng)調(diào)處理部34例如如圖20或圖21所示那樣決定邊緣強(qiáng)調(diào)參數(shù)α。

首先，圖20是示出根據(jù)像素開口率決定邊緣強(qiáng)調(diào)參數(shù)α的例子的線圖。

在使用像素開口率作為合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性的情況下，邊緣強(qiáng)調(diào)處理部34決定邊緣強(qiáng)調(diào)參數(shù)α，以使得隨著像素開口率從初始值A(chǔ)0起的增大而單調(diào)增大。

并且，圖21是示出根據(jù)像素開口MTF決定邊緣強(qiáng)調(diào)參數(shù)α的例子的線圖。

在使用像素開口MTF特性作為合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性的情況下，邊緣強(qiáng)調(diào)處理部34決定邊緣強(qiáng)調(diào)參數(shù)α，以使得隨著像素開口MTF特性從初始值MTF0起的增大而單調(diào)減小。

另外，在上述中，在作為攝像裝置的數(shù)字照相機(jī)內(nèi)進(jìn)行邊緣強(qiáng)調(diào)處理，但是不限于此。例如，也可以將合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性與合成圖像數(shù)據(jù)關(guān)聯(lián)起來記錄在記錄介質(zhì)42中，利用個(gè)人計(jì)算機(jī)等外部裝置讀入記錄介質(zhì)42中記錄的合成圖像數(shù)據(jù)和合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性，在個(gè)人計(jì)算機(jī)上執(zhí)行圖像處理程序，由此進(jìn)行上述邊緣強(qiáng)調(diào)處理。或者，代替記錄合成圖像和與像素開口有關(guān)特性，也可以記錄作為生成合成圖像的基礎(chǔ)的多張(上述例子中為8張)RAW圖像數(shù)據(jù)、像素偏移中的移動(dòng)量和與像素開口有關(guān)的特性，利用外部裝置進(jìn)行圖像合成處理和邊緣強(qiáng)調(diào)處理。

根據(jù)這種實(shí)施方式1，根據(jù)合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性決定邊緣強(qiáng)調(diào)參數(shù)，根據(jù)所決定的邊緣強(qiáng)調(diào)參數(shù)對(duì)合成圖像數(shù)據(jù)進(jìn)行邊緣強(qiáng)調(diào)處理，所以，在根據(jù)像素偏移后的多個(gè)圖像得到合成圖像時(shí)，能夠減輕由于像素開口的影響而導(dǎo)致的分辨率劣化，生成鮮銳度較高的合成圖像。

并且，在將合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性與合成圖像數(shù)據(jù)關(guān)聯(lián)起來記錄在記錄介質(zhì)42等中的情況下，在計(jì)算機(jī)等外部裝置中，能夠根據(jù)合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性決定邊緣強(qiáng)調(diào)參數(shù)，根據(jù)所決定的邊緣強(qiáng)調(diào)參數(shù)對(duì)合成圖像數(shù)據(jù)進(jìn)行邊緣強(qiáng)調(diào)處理。而且，該情況下，與在數(shù)字照相機(jī)內(nèi)進(jìn)行邊緣強(qiáng)調(diào)處理的情況同樣，能夠減輕由于像素開口的影響而導(dǎo)致的分辨率劣化，生成鮮銳度較高的合成圖像。

進(jìn)而，使用像素開口率作為與像素開口有關(guān)的特性，決定邊緣強(qiáng)調(diào)參數(shù)α以使得隨著像素開口率的增大而單調(diào)增大，由此，能夠得到與像素開口率的值對(duì)應(yīng)的鮮銳度更高的合成圖像。

另一方面，使用像素開口MTF特性作為與像素開口有關(guān)的特性，決定邊緣強(qiáng)調(diào)參數(shù)α以使得隨著像素開口MTF特性的增大而單調(diào)減小，由此，能夠得到與像素開口MTF特性的值對(duì)應(yīng)的鮮銳度更高的合成圖像。

而且，移位機(jī)構(gòu)23設(shè)定多個(gè)相對(duì)位置，以使得在多個(gè)相對(duì)位置中的至少2個(gè)相對(duì)位置處，與亮度相當(dāng)顏色的濾色器對(duì)應(yīng)且不同的像素的位置重復(fù)，所以，適當(dāng)使用重復(fù)的多個(gè)像素中的某個(gè)像素(即，將認(rèn)為不適當(dāng)?shù)南袼刂党?，僅使用適當(dāng)?shù)南袼刂?實(shí)現(xiàn)高畫質(zhì)化，或者使用重復(fù)的多個(gè)像素中的2個(gè)以上的像素(例如取平均值或中央值等值)實(shí)現(xiàn)像素值的適當(dāng)化，進(jìn)而能夠?qū)崿F(xiàn)高畫質(zhì)化。

此時(shí)，合成處理部31對(duì)重復(fù)的位置處取得的亮度相當(dāng)顏色的多個(gè)像素?cái)?shù)據(jù)進(jìn)行平均，作為重復(fù)的位置處的合成后的像素?cái)?shù)據(jù)，由此，能夠通過簡(jiǎn)單的運(yùn)算來提高S/N，能夠抵消由于邊緣強(qiáng)調(diào)處理而導(dǎo)致的噪聲的增大，能夠可靠地得到更高畫質(zhì)化的合成圖像。

[實(shí)施方式2]

圖22～圖24示出本發(fā)明的實(shí)施方式2，圖22是示出針對(duì)空間頻率的鏡頭MTF的例子的線圖。這里，在圖22中，使用(線/mm)作為空間頻率的單位。

在該實(shí)施方式2中，對(duì)與上述實(shí)施方式1相同的部分標(biāo)注相同標(biāo)號(hào)等并適當(dāng)省略說明，主要僅對(duì)不同之處進(jìn)行說明。

在上述實(shí)施方式1中，邊緣強(qiáng)調(diào)處理部34根據(jù)合成圖像數(shù)據(jù)的像素開口MTF特性決定邊緣強(qiáng)調(diào)參數(shù)α。與此相對(duì)，在該實(shí)施方式2中，邊緣強(qiáng)調(diào)處理部34不僅根據(jù)合成圖像數(shù)據(jù)的像素開口MTF特性，還根據(jù)攝像中使用的鏡頭11的MTF特性來決定邊緣強(qiáng)調(diào)參數(shù)α。

圖22所示的鏡頭MTF在空間頻率0處取100％，隨著空間頻率的增大而單調(diào)減小。而且，在通常圖像的奈奎斯特頻率NF0(在圖22所示的例子中，空間頻率大約為130(線/mm))中大約取35％，在超分辨圖像的奈奎斯特頻率NF1(在圖22所示的例子中，空間頻率大約為260(線/mm))中大約取15％。

在鏡頭11的光學(xué)特性存在圖22所示的MTF劣化的情況下，在通常圖像N和超分辨圖像S中，由于取樣頻率的差異，圖像中表現(xiàn)的MTF特性不同。

這里，圖23是示出對(duì)圖22的鏡頭MTF進(jìn)行轉(zhuǎn)換以使得橫軸成為圖像空間頻率的線圖。

除了圖像空間頻率為0時(shí)以外，在同一圖像空間頻率中，與超分辨圖像S的鏡頭MTF相比，通常圖像N的鏡頭MTF成為較大的值。在這種情況下，不僅需要考慮像素開口MTF，還需要考慮鏡頭MTF。

圖24是示出針對(duì)圖像空間頻率的鏡頭MTF×像素開口MTF×邊緣強(qiáng)調(diào)處理MTF的例子的線圖。

在該圖24所示的例子中，選擇邊緣強(qiáng)調(diào)參數(shù)α，以使得鏡頭MTF×像素開口MTF×邊緣強(qiáng)調(diào)處理MTF最佳化(即，在盡可能寬范圍的圖像空間頻率中得到接近100％的MTF)，具體而言，邊緣強(qiáng)調(diào)處理部34針對(duì)通常圖像N決定α＝1.35，針對(duì)超分辨圖像S決定α＝4.9。

這樣，根據(jù)拍攝到的多張圖像進(jìn)行合成而得到的合成圖像還受到攝像中使用的鏡頭11的影響，所以，通過進(jìn)一步考慮鏡頭MTF，能夠更加適當(dāng)?shù)靥岣啧r銳度。

另外，在不使用固定式鏡頭而使用圖1所示的更換式鏡頭1的情況下，鏡頭MTF特性按照每個(gè)鏡頭型號(hào)(或進(jìn)一步按照每個(gè)鏡頭個(gè)體)而不同。而且，鏡頭MTF特性還根據(jù)拍攝條件(變焦位置、光圈12的光圈值等)而不同。因此，在決定邊緣強(qiáng)調(diào)參數(shù)α?xí)r，優(yōu)選考慮這些全部條件。即，閃存44中存儲(chǔ)的邊緣強(qiáng)調(diào)參數(shù)α例如存儲(chǔ)為將與像素的開口有關(guān)的特性、鏡頭MTF、變焦位置、光圈值等作為參數(shù)的表或數(shù)式等即可。

并且，在本實(shí)施方式中，在利用個(gè)人計(jì)算機(jī)等外部裝置進(jìn)行邊緣強(qiáng)調(diào)處理的情況下，進(jìn)一步將鏡頭MTF特性與合成圖像數(shù)據(jù)或多張RAW圖像數(shù)據(jù)關(guān)聯(lián)起來記錄在記錄介質(zhì)42中。

根據(jù)這種實(shí)施方式2，發(fā)揮與上述實(shí)施方式1大致相同的效果，并且，除了合成圖像數(shù)據(jù)的與像素開口有關(guān)的特性以外，邊緣強(qiáng)調(diào)處理部34還根據(jù)攝像中使用的鏡頭的MTF特性決定邊緣強(qiáng)調(diào)參數(shù)α，所以，能夠得到進(jìn)一步提高了鮮銳度的高畫質(zhì)的合成圖像。

另外，上述主要說明了攝像裝置，但是，也可以是進(jìn)行與上述攝像裝置相同的處理的圖像處理方法，還可以是用于使計(jì)算機(jī)執(zhí)行該圖像處理方法的圖像處理程序、記錄該圖像處理程序的計(jì)算機(jī)可讀取的非暫時(shí)性的記錄介質(zhì)等。

并且，本發(fā)明不限于上述實(shí)施方式，能夠在實(shí)施階段在不脫離其主旨的范圍內(nèi)對(duì)結(jié)構(gòu)要素進(jìn)行變形而具體化。并且，通過上述實(shí)施方式所公開的多個(gè)結(jié)構(gòu)要素的適當(dāng)組合，能夠形成各種發(fā)明的形式。例如，可以從實(shí)施方式所示的全部結(jié)構(gòu)要素中刪除若干個(gè)結(jié)構(gòu)要素。進(jìn)而，也可以適當(dāng)組合不同實(shí)施方式的結(jié)構(gòu)要素。這樣，當(dāng)然能夠在不脫離發(fā)明主旨的范圍內(nèi)進(jìn)行各種變更和應(yīng)用。

本申請(qǐng)將2014年5月29日在日本申請(qǐng)的日本特愿2014-111391號(hào)作為優(yōu)先權(quán)主張的基礎(chǔ)進(jìn)行申請(qǐng)，上述公開內(nèi)容被引用到本申請(qǐng)說明書、權(quán)利要求書和附圖中。