攝像設(shè)備及其控制方法
【專利摘要】本發(fā)明涉及攝像設(shè)備及其控制方法。判斷單元基于獲取單元所獲取的與在發(fā)光裝置執(zhí)行預(yù)備發(fā)光時(shí)的被攝體亮度有關(guān)的信息，確定用于發(fā)光拍攝操作和非發(fā)光拍攝操作的曝光控制值。
【專利說明】攝像設(shè)備及其控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種攝像設(shè)備及其控制方法，該攝像設(shè)備執(zhí)行多次拍攝操作以獲得用于圖像合成的多個(gè)圖像數(shù)據(jù)。
【背景技術(shù)】
[0002]諸如數(shù)字照相機(jī)的攝像設(shè)備在以手持方式拍攝夜景時(shí)，能以高感光度執(zhí)行拍攝操作以抑制照相機(jī)抖動(dòng)。在這種高感光度拍攝操作中，攝像設(shè)備經(jīng)常遇到噪聲增大的問題。日本特開2007-124292討論一種對(duì)通過在使閃光燈發(fā)光時(shí)以低感光度執(zhí)行拍攝操作而獲取的圖像數(shù)據(jù)和通過在不使閃光燈發(fā)光時(shí)以高感光度執(zhí)行拍攝操作而獲取的圖像數(shù)據(jù)進(jìn)行合成的技術(shù)。該技術(shù)包括逐像素地確定合成比率。通過在使閃光燈發(fā)光時(shí)執(zhí)行拍攝操作而獲取的圖像數(shù)據(jù)的像素所具有的亮度值越大，通過在使閃光燈發(fā)光時(shí)執(zhí)行拍攝操作而獲取的圖像數(shù)據(jù)的比率越高。
[0003]根據(jù)日本特開2007-124292討論的技術(shù)，無法適當(dāng)?shù)卦O(shè)置在使閃光燈發(fā)光時(shí)執(zhí)行拍攝操作的曝光條件和在不使閃光燈發(fā)光時(shí)執(zhí)行拍攝操作的曝光條件而獲得良好的合成圖像。

【發(fā)明內(nèi)容】

[0004]本發(fā)明涉及一種攝像設(shè)備，該攝像設(shè)備能夠?qū)νㄟ^在使發(fā)光裝置發(fā)光時(shí)執(zhí)行拍攝操作而獲取的圖像數(shù)據(jù)和通過在不使發(fā)光裝置發(fā)光時(shí)執(zhí)行拍攝操作而獲取的圖像數(shù)據(jù)進(jìn)行合成，從而獲得良好的合成圖像。
[0005]根據(jù)本發(fā)明的一方面，一種攝像設(shè)備，包括:攝像單元，用于拍攝被攝體的圖像以輸出圖像數(shù)據(jù)；獲取單元，用于獲取與所述被攝體的亮度有關(guān)的信息；以及確定單元，用于基于所述獲取單元所獲取的與所述被攝體的亮度有關(guān)的信息，確定拍攝操作中要使用的曝光控制值，其中，所述攝像單元通過執(zhí)行多次拍攝操作來獲得用于圖像合成處理的多個(gè)圖像數(shù)據(jù)，其中所述多次拍攝操作包括使發(fā)光裝置發(fā)光的情況下所執(zhí)行的發(fā)光拍攝操作和不使所述發(fā)光裝置發(fā)光的情況下所執(zhí)行的非發(fā)光拍攝操作，以及所述確定單元基于所述獲取單元所獲取的與所述發(fā)光裝置執(zhí)行預(yù)備發(fā)光時(shí)的所述被攝體的亮度有關(guān)的信息，確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值。
[0006]根據(jù)本發(fā)明的另一方面，一種攝像設(shè)備的控制方法，所述攝像設(shè)備包括用于拍攝被攝體的圖像以輸出圖像數(shù)據(jù)的攝像單元，所述控制方法包括:獲取與所述被攝體的亮度有關(guān)的信息；基于所獲取的與所述被攝體的亮度有關(guān)的信息，確定拍攝操作中要使用的曝光控制值；通過執(zhí)行多次拍攝操作來獲得要用于圖像合成處理的多個(gè)圖像數(shù)據(jù)，其中所述多次拍攝操作包括使發(fā)光裝置發(fā)光的情況下所執(zhí)行的發(fā)光拍攝操作和不使所述發(fā)光裝置發(fā)光的情況下所執(zhí)行的非發(fā)光拍攝操作；以及基于所獲取的與所述發(fā)光裝置執(zhí)行預(yù)備發(fā)光時(shí)的所述被攝體的亮度有關(guān)的信息，確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值。[0007]通過參考附圖對(duì)典型實(shí)施例的說明，本發(fā)明的其他特征將顯而易見。
【專利附圖】

【附圖說明】
[0008]圖1是示出根據(jù)示例性實(shí)施例的攝像設(shè)備的結(jié)構(gòu)的框圖。
[0009]圖2是示出用于獲得合成圖像的各類處理的流程圖。
[0010]圖3是示出用于獲得合成圖像的各類處理的流程圖。
[0011]圖4A、4B和4C是不出在背景為夜景的肖像拍攝場景中獲得的圖像的圖。圖4A是示出通過在使發(fā)光裝置發(fā)光時(shí)執(zhí)行拍攝操作而獲得的圖像的圖。圖4B是示出通過在不使發(fā)光裝置發(fā)光時(shí)執(zhí)行拍攝操作而獲得的圖像的圖。圖4C是示出圖4A和4B所示圖像的合成圖像的圖。
[0012]圖5是示出發(fā)光裝置的預(yù)備發(fā)光的反射光量小時(shí)的主發(fā)光量的圖。
[0013]圖6是示出發(fā)光裝置的預(yù)備發(fā)光的反射光量大時(shí)的主發(fā)光量的圖。
[0014]圖7是示出圖像合成處理中的多個(gè)圖像數(shù)據(jù)和各類處理之間的關(guān)系的圖。
[0015]圖8是示出與圖像合成處理有關(guān)的處理的流程圖。
【具體實(shí)施方式】
[0016]以下將參考附圖詳細(xì)描述本發(fā)明的各個(gè)示例性實(shí)施例、特征和方面。
[0017]圖1是示出照相機(jī)100的結(jié)構(gòu)的框圖，照相機(jī)100是根據(jù)本發(fā)明的示例性實(shí)施例的攝像設(shè)備。
[0018]操作單元101包括開關(guān)和按鈕，用戶操作該操作單元101以向照相機(jī)100輸入各種指示。操作單元101包括快門開關(guān)、模式撥盤和觸摸傳感器，快門開關(guān)用于輸入開始拍攝準(zhǔn)備操作的指示和開始拍攝操作的指示，模式撥盤用于從多種拍攝模式中選擇期望的拍攝模式，觸摸傳感器設(shè)置在下述的顯示單元115的前表面上。
[0019]控制單元102控制照相機(jī)100的整體操作?？刂茊卧?02根據(jù)來自于操作單元101的指示控制各個(gè)組件。
[0020]圖像傳感器103是電荷耦合器件(CXD)或者互補(bǔ)金屬氧化半導(dǎo)體(CMOS)傳感器。圖像傳感器103接收通過透鏡107和光量調(diào)節(jié)構(gòu)件108入射的光，并輸出與接收到的光量相對(duì)應(yīng)的圖像數(shù)據(jù)。
[0021]模擬數(shù)字(A/D)轉(zhuǎn)換單元104對(duì)從圖像傳感器103輸出的模擬圖像數(shù)據(jù)執(zhí)行采樣、增益調(diào)節(jié)和A/D轉(zhuǎn)換，并將所得的圖像數(shù)據(jù)作為數(shù)字圖像數(shù)據(jù)輸出。A/D轉(zhuǎn)換單元104的增益調(diào)節(jié)對(duì)應(yīng)于改變拍攝感光度。
[0022]圖像處理單元105對(duì)從A/D轉(zhuǎn)換單元104輸出的數(shù)字圖像數(shù)據(jù)執(zhí)行各種圖像處理，并輸出處理后的圖像數(shù)據(jù)。
[0023]亮度計(jì)算單元106計(jì)算亮度值(Bv值)，以基于從圖像處理單元105輸出的圖像數(shù)據(jù)來獲取關(guān)于被攝體亮度的信息。
[0024]透鏡107是透鏡單元，其包括諸如調(diào)焦透鏡和變焦透鏡等的多個(gè)透鏡。
[0025]光量調(diào)節(jié)構(gòu)件108是用于調(diào)節(jié)通過透鏡107入射在圖像傳感器103上的光量的構(gòu)件。光量調(diào)節(jié)構(gòu)件108例如包括:用于改變開口直徑以調(diào)節(jié)通過開口的光量的光圈、用于減小所通過的光量的光束衰減濾波器、以及用于在曝光狀態(tài)和遮光狀態(tài)之間切換圖像傳感器103的狀態(tài)的快門。
[0026]存儲(chǔ)器單元109臨時(shí)存儲(chǔ)從圖像處理單元105輸出的圖像數(shù)據(jù)。如下所述，存儲(chǔ)器單元109臨時(shí)存儲(chǔ)將用于圖像合成處理的多個(gè)圖像數(shù)據(jù)。
[0027]發(fā)光單元110通過使用氙管或發(fā)光二極管(LED)作為光源，來利用輔助光照射被攝體。發(fā)光控制單元111基于用戶的指示和/或亮度計(jì)算單元106計(jì)算出的亮度值對(duì)發(fā)光單元110執(zhí)行發(fā)光控制。
[0028]編碼單元112將圖像處理單元105和/或圖像合成單元116輸出的圖像數(shù)據(jù)的格式轉(zhuǎn)換為諸如聯(lián)合圖像專家組(JPEG)等的格式。編碼單元112向圖像記錄單元113輸出所獲得的圖像數(shù)據(jù)。圖像記錄單元113執(zhí)行用于將編碼單元112輸出的經(jīng)過格式轉(zhuǎn)換后的圖像數(shù)據(jù)記錄在照相機(jī)100的記錄介質(zhì)(未示出)中或者插入照相機(jī)100的外部記錄介質(zhì)上的處理。外部連接單元114用于以有線或無線方式連接照相機(jī)100和外部裝置。編碼單元112輸出的經(jīng)過格式轉(zhuǎn)換后的圖像數(shù)據(jù)可以通過外部連接單元114傳輸?shù)酵獠垦b置中。
[0029]顯示單元115包括液晶或有機(jī)電致發(fā)光(EL)裝置。顯示單元115顯示基于圖像處理單元105輸出的圖像數(shù)據(jù)的圖像。
[0030]圖像合成單元116使用圖像處理單元105輸出的多個(gè)圖像數(shù)據(jù)來執(zhí)行圖像合成處理，從而生成合成圖像數(shù)據(jù)。
[0031]下面將描述背景為夜景的肖像拍攝場景中的圖像合成處理。
[0032]圖4A、4B和4C是示出背景為夜景的肖像拍攝場景中獲得的圖像的圖?？梢酝ㄟ^如下所述使拍攝感光度相對(duì)低并使發(fā)光單元110發(fā)光來執(zhí)行拍攝操作，使得人物具有正確的亮度。將這種拍攝操作獲取的圖像數(shù)據(jù)稱為發(fā)光圖像數(shù)據(jù)。圖4A示出基于發(fā)光圖像數(shù)據(jù)的圖像(以下稱為發(fā)光圖像)的示例?？梢圆皇拱l(fā)光單元110發(fā)光并且使拍攝感光度比在使發(fā)光單元110發(fā)光時(shí)執(zhí)行拍攝操作的情況的拍攝感光度高來執(zhí)行拍攝操作。將這種拍攝操作所獲取的圖像數(shù)據(jù)稱為非發(fā)光圖像數(shù)據(jù)。圖4B示出基于非發(fā)光圖像數(shù)據(jù)的圖像(以下稱為非發(fā)光圖像)的示例。圖4C示出基于對(duì)發(fā)光圖像數(shù)據(jù)和非發(fā)光圖像數(shù)據(jù)進(jìn)行合成而生成的合成圖像數(shù)據(jù)的合成圖像的示例。
[0033]為了獲得如圖4B所示的具有明亮背景的非發(fā)光圖像，將拍攝感光度設(shè)置為高于在使發(fā)光單元110發(fā)光以執(zhí)行拍攝操作時(shí)的拍攝感光度。與發(fā)光圖像數(shù)據(jù)相比，較高的拍攝感光度增大了噪聲對(duì)非發(fā)光圖像數(shù)據(jù)的影響。然后，圖像合成單元116對(duì)在不使發(fā)光單元110發(fā)光時(shí)執(zhí)行多次拍攝操作所獲取的多個(gè)非發(fā)光圖像數(shù)據(jù)進(jìn)行算術(shù)平均和合成。這樣，圖像合成單元116生成非發(fā)光合成圖像數(shù)據(jù)。對(duì)多個(gè)非發(fā)光圖像數(shù)據(jù)進(jìn)行算術(shù)平均和合成，這能夠降低噪聲對(duì)非發(fā)光合成圖像數(shù)據(jù)的影響。在獲得諸如圖4C所示的合成圖像時(shí)，圖像合成單元116可以使用前述的非發(fā)光合成圖像數(shù)據(jù)而不是單個(gè)非發(fā)光圖像數(shù)據(jù)來降低噪聲對(duì)非發(fā)光圖像數(shù)據(jù)的影響。有時(shí)，即使拍攝感光度較高，噪聲影響也能維持在可接受的水平。在這種情況下，圖像合成單元116不需要通過在不使發(fā)光單元110發(fā)光的情況下執(zhí)行多次拍攝操作來獲取多個(gè)非發(fā)光圖像數(shù)據(jù)，或者圖像合成單元116不需要生成非發(fā)光合成圖像數(shù)據(jù)。圖像合成單元116可以使用單個(gè)非發(fā)光圖像數(shù)據(jù)以進(jìn)行圖像合成處理。
[0034]圖像合成單元116基于所生成的非發(fā)光合成圖像數(shù)據(jù)和發(fā)光圖像數(shù)據(jù)來生成合成圖像數(shù)據(jù)。對(duì)于人物區(qū)域，圖像合成單元116優(yōu)先使用發(fā)光圖像數(shù)據(jù)。對(duì)于背景區(qū)域，圖像合成單元116優(yōu)先使用非發(fā)光合成圖像數(shù)據(jù)。優(yōu)先使用發(fā)光圖像數(shù)據(jù)意味著圖像合成單元116對(duì)較高比率的發(fā)光圖像數(shù)據(jù)和較低比率的非發(fā)光合成圖像數(shù)據(jù)進(jìn)行合成。還包括僅使用發(fā)光圖像數(shù)據(jù)而不使用非發(fā)光合成圖像數(shù)據(jù)。
[0035]通過如上所述生成合成圖像數(shù)據(jù)，圖像合成單元116可以獲得類似圖4C所示的圖像，其中背景和人物都是亮的并且噪聲影響或照相機(jī)抖動(dòng)少。
[0036]透鏡控制單元117驅(qū)動(dòng)透鏡107，以基于用戶指示和/或圖像處理單元105輸出的圖像數(shù)據(jù)而進(jìn)行焦點(diǎn)調(diào)節(jié)。
[0037]光量調(diào)節(jié)構(gòu)件控制單元118基于用戶指示和/或亮度計(jì)算單元106計(jì)算出的亮度值來控制光量調(diào)節(jié)構(gòu)件108。
[0038]下面將描述與拍攝操作相關(guān)的操作。用戶接通操作單元101中包括的電源開關(guān)。控制單元102檢測到該接通，向構(gòu)成照相機(jī)100的各組件供電。在供電至照相機(jī)100的組件的情況下，快門打開，光通過透鏡107和光量調(diào)節(jié)構(gòu)件108入射到圖像傳感器103上。然后，控制單元102使圖像傳感器103以預(yù)定周期輸出模擬圖像數(shù)據(jù)。
[0039]如果用戶操作快門開關(guān)以輸入開始拍攝準(zhǔn)備操作的指示(開關(guān)SWl接通)，則控制單元102利用圖像處理單元105輸出的圖像數(shù)據(jù)而開始拍攝準(zhǔn)備操作。例如，拍攝準(zhǔn)備操作包括焦點(diǎn)調(diào)節(jié)處理、曝光條件確定處理、以及發(fā)光單元110的發(fā)光判斷處理。
[0040]在發(fā)光判斷處理中，控制單元102可以判斷為不需要發(fā)光(發(fā)光單元110將不發(fā)光)。在這種情況下，當(dāng)用戶操作快門開關(guān)以輸入開始拍攝操作的指示(開關(guān)SW2接通)時(shí)，控制單元102進(jìn)入主拍攝操作。在主拍攝操作中，控制單元102基于拍攝準(zhǔn)備操作中執(zhí)行的曝光條件確定處理的結(jié)果執(zhí)行曝光控制。
[0041]控制單元102可以判斷為需要發(fā)光(發(fā)光單元110將發(fā)光)。在這種情況下，控制單元102獲取非發(fā)光圖像數(shù)據(jù)(用于光量控制的非發(fā)光圖像數(shù)據(jù))，該非發(fā)光圖像數(shù)據(jù)用于判斷當(dāng)開關(guān)SW2接通時(shí)發(fā)光單元110的發(fā)光量。然后，控制單元102使發(fā)光單元110執(zhí)行預(yù)備發(fā)光，并獲取預(yù)備發(fā)光圖像數(shù)據(jù)?？刂茊卧?02將用于光量控制的非發(fā)光圖像數(shù)據(jù)與預(yù)備發(fā)光圖像數(shù)據(jù)進(jìn)行比較，確定主拍攝操作所需的主發(fā)光量。在主拍攝操作中，控制單元102基于拍攝準(zhǔn)備操作中執(zhí)行的曝光條件確定處理的結(jié)果而執(zhí)行曝光控制，并使發(fā)光單兀110以上述確定的主發(fā)光量來發(fā)光。
[0042]下面參考附圖2和3詳細(xì)描述前述的獲得合成圖像的處理。圖2和3是示出獲得合成圖像的各類處理的流程圖。圖2涉及用戶先前操作了模式撥盤以選擇圖像合成拍攝模式的情況，其中在圖像合成拍攝模式下，使用通過執(zhí)行多次拍攝操作所獲取的圖像數(shù)據(jù)來執(zhí)行圖像合成處理。
[0043]用戶接通操作單元101中包括的電源開關(guān)。在步驟S201，控制單元102打開快門以曝光圖像傳感器103。如果控制單元102在電源開關(guān)接通之后立即執(zhí)行步驟S201，那么控制單元102設(shè)置預(yù)定的初始值作為曝光條件。從第二次開始，控制單元102基于下述的步驟S203中計(jì)算出的亮度值來設(shè)置曝光條件。
[0044]在步驟S202，控制單元102基于設(shè)定的曝光條件執(zhí)行圖像傳感器103的電荷累積，然后使圖像傳感器103輸出模擬圖像數(shù)據(jù)?？刂茊卧?02由此獲取圖像數(shù)據(jù)。
[0045]在步驟S203，亮度計(jì)算單元106基于在步驟S202獲取的圖像數(shù)據(jù)計(jì)算亮度值(Bv值)。亮度計(jì)算單元106可以使用傳統(tǒng)方法計(jì)算亮度值。在此省略其詳細(xì)描述。本示例性實(shí)施例涉及如下的情況:亮度計(jì)算單元106將圖像數(shù)據(jù)分割成多個(gè)塊，計(jì)算每個(gè)塊內(nèi)的亮度值，并且對(duì)所計(jì)算的各個(gè)塊的亮度值進(jìn)行平均以確定平均亮度值。平均亮度值用作步驟S203中的亮度值。
[0046]在步驟S204，控制單元102判斷開關(guān)SWl是否接通?？刂茊卧?02和亮度計(jì)算單元106重復(fù)步驟S202至S204的處理，直到開關(guān)SWl接通為止。
[0047]在步驟S204，如果控制單元102判斷為開關(guān)SWl接通(步驟S204為是)，那么在步驟S205，控制單元102基于步驟S203中計(jì)算的亮度值執(zhí)行發(fā)光單元110的發(fā)光判斷處理。
[0048]在步驟S205的發(fā)光判斷處理中，如果判斷為不需要發(fā)光(步驟S205為否)，那么在步驟S206，控制單元102基于步驟S203中計(jì)算出的亮度值來確定用于非發(fā)光拍攝操作(不使發(fā)光單元110發(fā)光時(shí)的拍攝操作)的曝光配置。具體而言，控制單元102確定包括用于非發(fā)光拍攝操作的光圈的光圈值Αν、與圖像傳感器103的電荷累積時(shí)間相對(duì)應(yīng)的快門速度Tv、以及拍攝感光度Sv的曝光控制值?？刂茊卧?02可以使用傳統(tǒng)方法確定曝光控制值。例如，可以預(yù)先存儲(chǔ)關(guān)聯(lián)亮度值和曝光控制值的程序圖。根據(jù)存儲(chǔ)的程序圖，控制單元102可以基于步驟S203中計(jì)算的亮度值來確定曝光控制值。
[0049]在步驟S207，控制單元102判斷開關(guān)SW2是否接通。如果控制單元102判斷為開關(guān)SW2接通(步驟S207為是)，那么控制單元102前進(jìn)至步驟S209。如果控制單元102判斷為開關(guān)SW2沒有接通(步驟S207為否)，那么在步驟S208，控制單元102判斷開關(guān)SWl是否接通。如果控制單元102判斷為開關(guān)SWl沒有接通(步驟S208為否)，那么控制單元102前進(jìn)至步驟S202。如果控制單元102判斷為開關(guān)SWl接通(步驟S208為是)，那么控制單元102前進(jìn)至步驟S207。
[0050]在步驟S209，控制單元102在步驟S206確定的曝光條件下連續(xù)執(zhí)行多次(例如三次)非發(fā)光拍攝操作。
[0051]在步驟S210，圖像合成單元116使用通過執(zhí)行多次非發(fā)光拍攝操作所獲取的多個(gè)非發(fā)光圖像數(shù)據(jù)以執(zhí)行圖像合成處理。這樣，圖像合成單元116生成合成圖像數(shù)據(jù)。
[0052]在步驟S205的發(fā)光判斷處理中，如果判斷為需要發(fā)光(步驟S205為是)，那么在圖3的步驟S211中，控制單元102基于步驟S203中計(jì)算的亮度值來確定用于發(fā)光拍攝操作(使發(fā)光單元110發(fā)光時(shí)執(zhí)行的拍攝操作)的曝光條件。具體而言，控制單元102確定包括用于發(fā)光拍攝操作的光圈的光圈值A(chǔ)vf、與圖像傳感器103的電荷累積時(shí)間相對(duì)應(yīng)的快門速度Tvf、以及拍攝感光度Svf的曝光控制值。
[0053]在步驟S212，控制單元102判斷開關(guān)SW2是否接通。如果控制單元102判斷為開關(guān)SW2接通(步驟S212為是)，那么控制單元102前進(jìn)至步驟S214。如果控制單元102判斷為開關(guān)SW2沒有接通(步驟S212為否)，那么在步驟S213，控制單元102判斷開關(guān)SWl是否接通。如果控制單元102判斷為開關(guān)SWl沒有接通(步驟S213為否)，那么控制單元102前進(jìn)至步驟S202。如果控制單元102判斷為開關(guān)SWl接通(步驟S213為是)，那么控制單元102前進(jìn)至步驟S212。
[0054]在步驟S214，為了確定發(fā)光單元110的發(fā)光量，控制單元102連續(xù)執(zhí)行非發(fā)光拍攝操作和發(fā)光拍攝操作，以獲取用于光量控制的非發(fā)光圖像數(shù)據(jù)和預(yù)備發(fā)光圖像數(shù)據(jù)。本示例性實(shí)施例涉及如下的情況:控制單元102使用預(yù)定的曝光條件和預(yù)定的預(yù)備發(fā)光量來執(zhí)行非發(fā)光拍攝操作和發(fā)光拍攝操作。用于非發(fā)光拍攝操作的曝光條件和用于發(fā)光拍攝操作的曝光條件是相同的。預(yù)備發(fā)光量遠(yuǎn)小于發(fā)光單元Iio的可控最大發(fā)光量。在步驟S214執(zhí)行的非發(fā)光拍攝操作和發(fā)光拍攝操作中，控制單元102可以基于步驟S203計(jì)算的亮度值來設(shè)置曝光條件和預(yù)備發(fā)光量。
[0055]在步驟S215，控制單元102根據(jù)所獲取的用于光量控制的非發(fā)光圖像數(shù)據(jù)與預(yù)備發(fā)光圖像數(shù)據(jù)之間的比較結(jié)果來計(jì)算預(yù)備發(fā)光的反射光量。具體而言，亮度計(jì)算單元106計(jì)算預(yù)備發(fā)光圖像數(shù)據(jù)的亮度值和用于光量控制的非發(fā)光圖像數(shù)據(jù)的亮度值，并且控制單元102計(jì)算亮度值之間的差。亮度值的差對(duì)應(yīng)于預(yù)備發(fā)光的亮度值的增加量、即預(yù)備發(fā)光的反射光量。注意，亮度計(jì)算單元106可以將圖像數(shù)據(jù)分割成多個(gè)塊，并計(jì)算各個(gè)塊的亮度值。當(dāng)計(jì)算預(yù)備發(fā)光的反射光量時(shí)，控制單元102可以使用預(yù)備發(fā)光圖像數(shù)據(jù)的亮度值相對(duì)于用于光量控制的非發(fā)光圖像數(shù)據(jù)的亮度值的變化大于預(yù)定值的塊的亮度值。例如，當(dāng)預(yù)備發(fā)光圖像數(shù)據(jù)的亮度值相對(duì)于用于光量控制的非發(fā)光圖像數(shù)據(jù)的亮度值的變化大于預(yù)定量時(shí)，控制單元102可以分別計(jì)算預(yù)備發(fā)光圖像數(shù)據(jù)和用于光量控制的非發(fā)光圖像數(shù)據(jù)的這樣的塊的平均亮度值。然后，控制單元102可以計(jì)算所計(jì)算出的平均亮度值之間的差。在一些塊中，亮度值可能在預(yù)備發(fā)光的情況下變化不大。如果控制單元102通過包括這樣的塊的亮度值來計(jì)算預(yù)備發(fā)光圖像數(shù)據(jù)的平均亮度值，那么與僅根據(jù)亮度值在預(yù)備發(fā)光的情況下變化大的塊的亮度值進(jìn)行計(jì)算相比，平均亮度值變得較小。與使用僅根據(jù)亮度值在預(yù)備發(fā)光的情況下變化大的塊的亮度值所計(jì)算出的平均亮度值時(shí)相比，上述方法減小了預(yù)備發(fā)光圖像數(shù)據(jù)和用于光量控制的非發(fā)光圖像數(shù)據(jù)的平均亮度值之間的差。在這種情況下，所計(jì)算出的預(yù)備發(fā)光的反射光量變得小于實(shí)際量。
[0056]如上所述，控制單元102基于亮度值在預(yù)備發(fā)光的情況下變化大的塊的亮度值來計(jì)算預(yù)備發(fā)光的反射光量。結(jié)果，控制單元102可以精確地計(jì)算預(yù)備發(fā)光的反射光量。
[0057]在步驟S215,控制單元102基于所計(jì)算出的預(yù)備發(fā)光的反射光量來進(jìn)一步確定步驟S211所確定的曝光條件下的主發(fā)光量。將參考圖5和6描述預(yù)備發(fā)光的反射光量與主發(fā)光量之間的關(guān)系。圖5是示出預(yù)備發(fā)光的反射光量小時(shí)的主發(fā)光量的圖。圖6是示出預(yù)備發(fā)光的反射光量大時(shí)的主發(fā)光量的圖。執(zhí)行用于計(jì)算預(yù)備發(fā)光的反射光量的拍攝操作的曝光條件可能與用于步驟S211確定的發(fā)光拍攝操作的曝光條件不同。在以下描述中，控制單元102考慮曝光條件之間的差異來計(jì)算主發(fā)光量。圖5和6所示的亮度值是預(yù)備發(fā)光圖像數(shù)據(jù)的亮度值相對(duì)于用于光量控制的非發(fā)光圖像數(shù)據(jù)的亮度值的變化大于預(yù)定值的塊的平均亮度值。
[0058]圖5示出根據(jù)預(yù)備發(fā)光圖像數(shù)據(jù)計(jì)算的亮度值小(預(yù)備發(fā)光的反射光量小)的情況。為了將主發(fā)光圖像數(shù)據(jù)的亮度值設(shè)置為適當(dāng)?shù)牧炼戎担靼l(fā)光量需要產(chǎn)生亮度的大幅增加。如上所述，預(yù)備發(fā)光量充分小于發(fā)光單元110的最大發(fā)光量。因此，通過使主發(fā)光量大于預(yù)備發(fā)光量，能夠?qū)崿F(xiàn)適當(dāng)?shù)牧炼戎档目赡苄愿摺?br> [0059]圖6示出根據(jù)預(yù)備發(fā)光圖像數(shù)據(jù)計(jì)算的亮度值大(預(yù)備發(fā)光的反射光量大)的情況。為了將主發(fā)光圖像數(shù)據(jù)的亮度值設(shè)置為適當(dāng)?shù)牧炼戎?，主發(fā)光量僅需產(chǎn)生亮度的較小增加。如果發(fā)光單元110能夠發(fā)出將主發(fā)光圖像數(shù)據(jù)的亮度值設(shè)置為適當(dāng)亮度值所需的發(fā)光量的光，那就沒問題。然而，將主發(fā)光圖像數(shù)據(jù)的亮度值設(shè)置為適當(dāng)亮度值所需的發(fā)光量有時(shí)可能小于發(fā)光單元110的可控制的最小發(fā)光量。在這種情況下，主發(fā)光圖像數(shù)據(jù)的亮度值比適當(dāng)?shù)牧炼戎党^了發(fā)光量的增量。例如，在圖4所示的背景為夜景的肖像拍攝場景中，人物可能過度曝光。
[0060]為了抑制被攝體的過度曝光并且獲得沒有不舒適感的良好的合成圖像，控制單元102執(zhí)行步驟S216以及后續(xù)步驟的處理。
[0061]在步驟S216，控制單元102判斷步驟S215中計(jì)算的主發(fā)光量是否小于發(fā)光單元110的最小發(fā)光量。
[0062]如果步驟S215中計(jì)算的主發(fā)光量小于最小發(fā)光量(步驟S216為是)，那么在步驟S217，控制單元102確定用于發(fā)光拍攝操作的新的曝光條件。在步驟S217，控制單元102確定包括光圈值A(chǔ)vf2、快門速度Tvf2和拍攝感光度Svf2的新的曝光控制值，使得與步驟S211中確定的曝光條件相比，新的曝光條件引起曝光不足。光圈值A(chǔ)vf2、快門速度Tvf2和拍攝感光度Svf2不需要全都與步驟S211中確定的曝光控制值不同，但至少其中一個(gè)是不同的。在步驟S217，控制單元102基于步驟S211中確定的曝光控制值以及步驟S215中計(jì)算的主發(fā)光量和發(fā)光單元110的最小發(fā)光量之間的差來確定新的曝光控制值。例如，控制單元102確定曝光控制值，以使得預(yù)備發(fā)光圖像數(shù)據(jù)的亮度值相對(duì)于用于光量控制的非發(fā)光圖像數(shù)據(jù)的亮度值的變化大于預(yù)定值的塊的平均亮度值在發(fā)光單元110發(fā)出發(fā)光量大于或等于最小發(fā)光量的光的情況下變?yōu)檫m當(dāng)?shù)牧炼戎?。在確定新的曝光控制值時(shí)，控制單元102還確定發(fā)光單元110的新的主發(fā)光量。本示例性實(shí)施例涉及控制單元102將新的主發(fā)光量設(shè)置為最小發(fā)光量的情況?？刂茊卧?02使新的拍攝感光度Svf2低于拍攝感光度Svf,以使得當(dāng)發(fā)光單元110發(fā)出最小發(fā)光量的光時(shí)，亮度值的變化大于預(yù)定量的塊的平均亮度值變?yōu)檫m當(dāng)?shù)牧炼戎怠?br> [0063]在步驟S218，控制單元102以步驟S217中確定的曝光條件和主發(fā)光量來執(zhí)行發(fā)光拍攝操作。由于用于發(fā)光拍攝操作的新的曝光條件是基于預(yù)備發(fā)光圖像數(shù)據(jù)和用于光量控制的非發(fā)光圖像數(shù)據(jù)而確定的，因此可以抑制被攝體的過度曝光。
[0064]在步驟S219，控制單元102基于步驟S217中確定的曝光條件來確定用于非發(fā)光拍攝操作的曝光條件。如上所述，為了獲取具有明亮背景的非發(fā)光圖像，與用于發(fā)光拍攝操作的拍攝感光度相比，控制單元102使用于非發(fā)光拍攝操作的拍攝感光度增大。具體而言，控制單元102將用于非發(fā)光拍攝操作的拍攝感光度Sv2設(shè)置得比用于發(fā)光拍攝操作的拍攝感光度Svf2相對(duì)高。為了獲得沒有不舒適感的良好的合成圖像，用于非發(fā)光拍攝操作的其他曝光控制值、即光圈值A(chǔ)v2和快門速度IV2可以與用于發(fā)光拍攝操作的光圈值A(chǔ)vf2和快門速度Tvf2相同?？刂茊卧?02可以根據(jù)先前存儲(chǔ)的程序圖來確定包括拍攝感光度Sv2的曝光控制值，使得非發(fā)光拍攝操作中的曝光比發(fā)光拍攝操作中的曝光更亮。本示例性實(shí)施例涉及控制單元102將光圈值A(chǔ)v2設(shè)置為與光圈值A(chǔ)vf2相同、將快門速度IV2設(shè)置為與快門速度Tvf2相同、并且將拍攝感光度Sv2設(shè)置為比拍攝感光度Svf2高一級(jí)的情況。
[0065]控制單元102可以基于預(yù)備發(fā)光圖像數(shù)據(jù)和用于光量控制的非發(fā)光圖像數(shù)據(jù)之間的噪聲差來確定用于非發(fā)光拍攝操作的拍攝感光度Sv2和用于發(fā)光拍攝操作的拍攝感光度Svf2之間的差。如果預(yù)備發(fā)光圖像數(shù)據(jù)和用于光量控制的非發(fā)光圖像數(shù)據(jù)之間的噪聲差小，那么拍攝感光度Sv2可以高兩級(jí)以上。
[0066]如上所述，圖像合成單元116可以合成多個(gè)非發(fā)光圖像數(shù)據(jù)以生成非發(fā)光合成圖像數(shù)據(jù)。這樣，即使在增大的拍攝感光度的情況下執(zhí)行非發(fā)光拍攝操作，也能減小噪聲的影響。非發(fā)光圖像數(shù)據(jù)的數(shù)量越多，越能夠減小噪聲的影響。因此，控制單元102可以根據(jù)非發(fā)光拍攝操作的次數(shù)來設(shè)置非發(fā)光拍攝操作和發(fā)光拍攝操作之間的曝光差。例如，與非發(fā)光拍攝操作的次數(shù)為第一次數(shù)相比，當(dāng)非發(fā)光拍攝操作的次數(shù)為大于第一次數(shù)的第二次數(shù)時(shí)，控制單元102可增大曝光差。
[0067]在步驟S220，控制單元102在步驟S219確定的曝光條件下執(zhí)行非發(fā)光拍攝操作。如上所述，控制單元102可以執(zhí)行一次、兩次或者更多次非發(fā)光拍攝操作。本示例性實(shí)施例涉及控制單元102連續(xù)執(zhí)行三次非發(fā)光拍攝操作的情況。
[0068]控制單元102將連續(xù)執(zhí)行一次發(fā)光拍攝操作和三次非發(fā)光拍攝操作所獲得的一個(gè)發(fā)光圖像數(shù)據(jù)和三個(gè)非發(fā)光圖像數(shù)據(jù)臨時(shí)存儲(chǔ)在存儲(chǔ)器單元109中。
[0069]在步驟S221，圖像合成單元116通過利用臨時(shí)存儲(chǔ)在存儲(chǔ)器單元109中的一個(gè)發(fā)光圖像數(shù)據(jù)和三個(gè)非發(fā)光圖像數(shù)據(jù)來執(zhí)行圖像合成處理。由此，圖像合成單元116生成合成圖像數(shù)據(jù)。下面將描述利用發(fā)光圖像數(shù)據(jù)和非發(fā)光圖像數(shù)據(jù)的圖像合成處理。
[0070]如果步驟S215中計(jì)算的主發(fā)光量不小于最小發(fā)光量(步驟S216為否)，那么在步驟S222，控制單元102在步驟S211確定的曝光條件下以步驟S215中計(jì)算出的主發(fā)光量來執(zhí)行發(fā)光拍攝操作。
[0071]在步驟S223，控制單元102基于步驟S211中確定的曝光條件來確定用于非發(fā)光拍攝操作的曝光條件。在步驟S223，如步驟S219那樣，為了獲得具有明亮背景的非發(fā)光圖像，與用于發(fā)光拍攝操作的拍攝感光度相比，控制單元102使用于非發(fā)光拍攝操作的拍攝感光度增大。具體而言，控制單元102使用于非發(fā)光拍攝操作的拍攝感光度Sv3比用于發(fā)光拍攝操作的拍攝感光度Svf相對(duì)高。為了獲得沒有不舒適感的良好的合成圖像，用于非發(fā)光拍攝操作的其他曝光控制值、即光圈值A(chǔ)v3和快門速度IV3可以與用于發(fā)光拍攝操作的光圈值A(chǔ)vf和快門速度Tvf相同?？刂茊卧?02可以根據(jù)先前存儲(chǔ)的程序圖來確定包括拍攝感光度Sv3的曝光控制值。本示例性實(shí)施例涉及控制單元102將光圈值A(chǔ)v3設(shè)置為與光圈值A(chǔ)vf相同、將快門速度IV3設(shè)置為與快門速度Tvf相同、并且將拍攝感光度Sv3設(shè)置為比拍攝感光度Svf高一級(jí)的情況。
[0072]控制單元102可以基于發(fā)光圖像數(shù)據(jù)與非發(fā)光圖像數(shù)據(jù)之間的噪聲差，確定用于非發(fā)光拍攝操作的拍攝感光度Sv3和用于發(fā)光拍攝操作的拍攝感光度Svf之間的差。如果發(fā)光圖像數(shù)據(jù)與非發(fā)光圖像數(shù)據(jù)之間的噪聲差小，拍攝感光度Sv3可以高兩級(jí)以上。
[0073]在步驟S224，控制單元102在步驟S223確定的曝光條件下執(zhí)行非發(fā)光拍攝操作。如上所述，控制單元102可以執(zhí)行一次、兩次或者更多次非發(fā)光拍攝操作。本示例性實(shí)施例涉及控制單元102連續(xù)執(zhí)行三次非發(fā)光拍攝操作的情況。
[0074]控制單元102將連續(xù)執(zhí)行一次發(fā)光拍攝操作和三次非發(fā)光拍攝操作所獲得的一個(gè)發(fā)光圖像數(shù)據(jù)和三個(gè)非發(fā)光圖像數(shù)據(jù)臨時(shí)存儲(chǔ)在存儲(chǔ)器單元109中。
[0075]在步驟S225，圖像合成單元116利用臨時(shí)存儲(chǔ)在存儲(chǔ)器單元109中的一個(gè)發(fā)光圖像數(shù)據(jù)和三個(gè)非發(fā)光圖像數(shù)據(jù)來執(zhí)行圖像合成處理。由此，圖像合成單元116生成合成圖像數(shù)據(jù)。
[0076]如上所述，控制單元102基于與在執(zhí)行預(yù)備發(fā)光時(shí)的被攝體亮度有關(guān)的信息，確定用于發(fā)光拍攝操作的曝光條件和用于非發(fā)光拍攝操作的曝光條件。這可以抑制發(fā)光拍攝操作中的曝光過度和曝光不足?？刂茊卧?02可以適當(dāng)?shù)卦O(shè)置用于發(fā)光拍攝操作和用于非發(fā)光拍攝操作的曝光條件之間的差，從而可以獲得良好的合成圖像。[0077]在步驟S205和S206，控制單元102基于步驟S203計(jì)算的亮度值執(zhí)行處理。代替地，控制單元102可以在開關(guān)SWl接通之后獲取圖像數(shù)據(jù)。在這種情況下，控制單元102基于所獲取的圖像數(shù)據(jù)計(jì)算亮度值，并使用所計(jì)算出的亮度值進(jìn)行處理。
[0078]在步驟S215，控制單元102根據(jù)用于光量控制的非發(fā)光圖像數(shù)據(jù)與預(yù)備發(fā)光圖像數(shù)據(jù)之間的比較結(jié)果來計(jì)算預(yù)備發(fā)光的反射光量。如果外部光的影響小，那么控制單元102可以僅根據(jù)預(yù)備發(fā)光圖像數(shù)據(jù)來計(jì)算預(yù)備發(fā)光的反射光量。
[0079]在步驟S215，控制單元102使用預(yù)備發(fā)光圖像數(shù)據(jù)的亮度值和用于光量控制的非發(fā)光圖像數(shù)據(jù)的亮度值的變化大于預(yù)定量的塊的平均亮度值。代替地，控制單元102可使用通過利用各個(gè)塊的不同權(quán)重所計(jì)算出的加權(quán)平均亮度值。
[0080]在步驟S216，控制單元102將所計(jì)算出的主發(fā)光量與最小發(fā)光量進(jìn)行比較。然而，控制單元102可以將所計(jì)算出的主發(fā)光量與最大發(fā)光量進(jìn)行比較。假設(shè)所計(jì)算出的主發(fā)光量大于最大發(fā)光量。在這種情況下，與所計(jì)算出的主發(fā)光量小于最小發(fā)光量的情況相反，主發(fā)光圖像數(shù)據(jù)的亮度值變得比適當(dāng)亮度值小發(fā)光量的不足量。如果所計(jì)算出的主發(fā)光量大于最大發(fā)光量，那么控制單元102可以基于步驟S211中確定的曝光控制值、以及步驟S215中計(jì)算出的主發(fā)光量和發(fā)光單元110的最大發(fā)光量之間的差來確定新的曝光控制值。例如，控制單元102可以確定曝光控制值，使得預(yù)備發(fā)光圖像數(shù)據(jù)的亮度值和非發(fā)光圖像數(shù)據(jù)的亮度值的變化大于預(yù)定量的塊的平均亮度值在發(fā)光單元110發(fā)出的發(fā)光量小于最大發(fā)光量的光時(shí)變?yōu)檫m當(dāng)?shù)牧炼戎怠?br> [0081]在步驟S219，控制單元102基于步驟S217中確定的用于發(fā)光拍攝操作的曝光條件，確定用于非發(fā)光拍攝操作的曝光條件。但是，控制單元102可以基于步驟S211中確定的曝光條件、預(yù)備發(fā)光圖像數(shù)據(jù)和用于光量控制的非發(fā)光圖像數(shù)據(jù)來確定用于非發(fā)光拍攝操作的曝光條件。如果如上所述外部光的影響小，那么控制單元102可以基于步驟S211中確定的曝光條件和預(yù)備發(fā)光圖像數(shù)據(jù)來確定用于非發(fā)光拍攝操作的曝光條件。
[0082]下面將參考附圖7和8描述步驟S221和S225中執(zhí)行的圖像合成處理的示例。圖7是示出多個(gè)圖像數(shù)據(jù)和要在圖像合成處理中執(zhí)行的處理之間的關(guān)系的圖。為了明確多個(gè)圖像數(shù)據(jù)之間的差，圖7示出對(duì)應(yīng)于各個(gè)圖像數(shù)據(jù)的圖像。圖8是示出與圖像合成處理相關(guān)的處理的流程圖。步驟S221和S225中執(zhí)行的圖像合成處理可以是除結(jié)合圖7和8描述的方法以外的其他方法。基于發(fā)光圖像數(shù)據(jù)和非發(fā)光圖像數(shù)據(jù)獲得合成圖像的其他傳統(tǒng)方法均適用。
[0083]在圖像合成處理的步驟S801，圖像處理單元105最初執(zhí)行將發(fā)光圖像數(shù)據(jù)(圖7中的701)乘以均一增益量G(數(shù)字增益量)的處理(以下稱為“數(shù)字增益處理”)。圖像處理單元105將處理后的發(fā)光圖像數(shù)據(jù)(圖7中的705)臨時(shí)存儲(chǔ)在存儲(chǔ)器單元109中。
[0084]控制單元102確定步驟S801中使用的增益量G，以補(bǔ)償用于發(fā)光拍攝操作的拍攝感光度和用于非發(fā)光拍攝操作的拍攝感光度之間的差?？刂茊卧?02通過以下公式(I)確定增益量G:
[0085]G=2~ (用于發(fā)光拍攝操作的拍攝感光度和用于非發(fā)光拍攝操作的拍攝感光度之間的差)(I)
[0086]在本示例性實(shí)施例中，將用于發(fā)光拍攝操作的拍攝感光度設(shè)置為比用于非發(fā)光拍攝操作的拍攝感光度低一級(jí)。根據(jù)公式(I)，增益量G為2。由于發(fā)光單元110的發(fā)光，因而發(fā)光圖像數(shù)據(jù)的人物區(qū)域具有適當(dāng)?shù)牧炼戎怠Ｔ跀?shù)字增益處理之后，人物區(qū)域的亮度值由此大于適當(dāng)?shù)牧炼戎怠Ｔ跀?shù)字增益處理之后，由于補(bǔ)償了拍攝感光度的差，因而背景區(qū)域的亮度值與非發(fā)光圖像數(shù)據(jù)的亮度值大致相等。
[0087]在步驟S802，圖像處理單元105對(duì)臨時(shí)存儲(chǔ)在存儲(chǔ)器單元109中的五個(gè)圖像數(shù)據(jù)(圖7中的701至705)中的每個(gè)執(zhí)行顯影處理。顯影處理包括白平衡處理、用于將紅、綠、藍(lán)(RGB)拜耳陣列信號(hào)轉(zhuǎn)換為三個(gè)RGB平面信號(hào)的顏色插值處理、伽瑪校正處理、飽和度校正、以及色相校正。這樣，圖像處理單元105生成YUV(Y:亮度信號(hào)，U:亮度信號(hào)與藍(lán)色成分之間的差，V:亮度信號(hào)與紅色成分之間的差)圖像數(shù)據(jù)，并將YUV圖像數(shù)據(jù)臨時(shí)存儲(chǔ)在存儲(chǔ)器單元109中。在相同條件下對(duì)所有的圖像數(shù)據(jù)應(yīng)用顯影處理有助于確定圖像數(shù)據(jù)之間的差。這有助于后面要執(zhí)行的發(fā)光圖像數(shù)據(jù)與非發(fā)光圖像數(shù)據(jù)的合成處理。注意，在步驟S802,臨時(shí)存儲(chǔ)在存儲(chǔ)器單元109中的四個(gè)圖像數(shù)據(jù)(圖7中的701至704)無需經(jīng)過顯影處理。這些圖像數(shù)據(jù)中的每一個(gè)可以在獲取時(shí)單獨(dú)經(jīng)過顯影處理。已經(jīng)過顯影處理的一個(gè)或多個(gè)圖像數(shù)據(jù)可以省略步驟S802中的顯影處理。
[0088]無論是針對(duì)發(fā)光圖像數(shù)據(jù)還是非發(fā)光圖像數(shù)據(jù)，圖像處理單元105都在相同的條件下執(zhí)行步驟S802的顯影處理。例如，圖像處理單元105在白平衡處理中使用白平衡校正系數(shù)。對(duì)于發(fā)光圖像數(shù)據(jù)和非發(fā)光圖像數(shù)據(jù)兩者，圖像處理單元105使用白平衡校正系數(shù)，使得發(fā)光圖像數(shù)據(jù)中的輔助光變?yōu)榉遣噬＿@使得主要被攝體，即人物獲得正確的色調(diào)。注意，白平衡校正系數(shù)并不局限于此，并且可以使用任何系數(shù)。
[0089]在步驟S803中，圖像處理單元105執(zhí)行用于校正四個(gè)圖像數(shù)據(jù)(圖7中的702至705)之間出現(xiàn)的位置偏差的校正(以下稱為“照相機(jī)抖動(dòng)校正”)處理。圖像處理單元105通過檢測定位對(duì)象圖像數(shù)據(jù)相對(duì)于定位基準(zhǔn)圖像數(shù)據(jù)的位置偏差量、并且根據(jù)檢測到的位置偏差量而校正定位對(duì)象圖像數(shù)據(jù)，來執(zhí)行照相機(jī)抖動(dòng)校正處理。
[0090]本示例性實(shí)施例涉及使用數(shù)字增益處理之后的發(fā)光圖像數(shù)據(jù)作為定位基準(zhǔn)圖像數(shù)據(jù)、并且使用后續(xù)拍攝操作所獲取的多個(gè)非發(fā)光圖像數(shù)據(jù)作為定位對(duì)象圖像數(shù)據(jù)的情況。
[0091]可以使用多個(gè)非發(fā)光圖像數(shù)據(jù)中的一個(gè)作為定位基準(zhǔn)圖像數(shù)據(jù)，并且可以使用其他的非發(fā)光圖像數(shù)據(jù)和發(fā)光圖像數(shù)據(jù)作為定位對(duì)象圖像數(shù)據(jù)。并非必須首先執(zhí)行發(fā)光拍攝操作。首先執(zhí)行發(fā)光拍攝操作有助于捕捉主要被攝體、即人物的拍照機(jī)會(huì)。
[0092]使用數(shù)字增益處理之后的發(fā)光圖像數(shù)據(jù)而不是數(shù)字增益處理之前的發(fā)光圖像數(shù)據(jù)，其原因在于定位基準(zhǔn)圖像數(shù)據(jù)和定位對(duì)象圖像數(shù)據(jù)的亮度值之間的較小的差能提高定位精度。發(fā)光圖像數(shù)據(jù)包括被發(fā)光單元110照明的一個(gè)或多個(gè)區(qū)域。由于這些區(qū)域相對(duì)于非發(fā)光圖像數(shù)據(jù)的相同區(qū)域的亮度值的差大，因此這些區(qū)域可從位置偏差量的檢測中排除。
[0093]在步驟S804，圖像處理單元105逐像素計(jì)算步驟S801的數(shù)字增益處理之后的發(fā)光圖像數(shù)據(jù)和步驟S803的照相機(jī)抖動(dòng)校正處理之后的非發(fā)光圖像數(shù)據(jù)的平均值。這樣，圖像處理單元105生成平均圖像數(shù)據(jù)。
[0094]通過對(duì)多個(gè)圖像數(shù)據(jù)進(jìn)行平均，圖像處理單元105可以在不改變背景亮度的情況下獲得低噪聲圖像數(shù)據(jù)。本示例性實(shí)施例涉及圖像處理單元105不僅對(duì)多個(gè)非發(fā)光圖像數(shù)據(jù)進(jìn)行平均、而且對(duì)數(shù)字增益處理之后的發(fā)光圖像數(shù)據(jù)進(jìn)行平均的情況。與僅對(duì)多個(gè)非發(fā)光圖像數(shù)據(jù)進(jìn)行平均時(shí)相比，不僅對(duì)多個(gè)非發(fā)光圖像數(shù)據(jù)而且對(duì)數(shù)字增益處理之后的發(fā)光圖像數(shù)據(jù)進(jìn)行平均能夠進(jìn)一步提高降噪效果。
[0095]步驟S804中生成的平均圖像數(shù)據(jù)(圖7中的706)包括適當(dāng)亮度的背景區(qū)域和不適當(dāng)亮度的人物區(qū)域。
[0096]在步驟S805，圖像處理單元105在發(fā)光圖像數(shù)據(jù)中逐像素地計(jì)算發(fā)光單元110的照明的量(以下稱為“照明量”)。在下文中該處理被稱為照明量計(jì)算處理。
[0097]在步驟S805的照明量計(jì)算處理中，圖像處理單元105初始地對(duì)數(shù)字增益處理之后的發(fā)光圖像數(shù)據(jù)和照相機(jī)抖動(dòng)校正處理之后的非發(fā)光圖像數(shù)據(jù)應(yīng)用低通濾波，以獲得低頻圖像數(shù)據(jù)。應(yīng)用低通濾波能減小噪聲的影響，并且提高照明量的計(jì)算精度。要濾波的非發(fā)光圖像數(shù)據(jù)可以是通過與發(fā)光拍攝操作最接近的非發(fā)光拍攝操作所獲取的非發(fā)光圖像數(shù)據(jù)。在這種情況下，主要被攝體、即人物的偏差的影響可以最小化。
[0098]圖像處理單元105逐像素計(jì)算兩個(gè)圖像數(shù)據(jù)的亮度信號(hào)Y之間的差(亮度差)。發(fā)光圖像數(shù)據(jù)和非發(fā)光圖像數(shù)據(jù)之間的亮度差的大小對(duì)應(yīng)于照明量的大小。由于使用數(shù)字增益處理之后的發(fā)光圖像數(shù)據(jù)，因而在沒有被發(fā)光單元110照明的像素中，發(fā)光圖像數(shù)據(jù)和非發(fā)光圖像數(shù)據(jù)的亮度信號(hào)Y通常彼此一致。像素的亮度差越大，照明量越大。
[0099]在本示例性實(shí)施例中，圖像處理單元105根據(jù)兩個(gè)圖像數(shù)據(jù)之間的亮度差來計(jì)算照明量。圖像處理單元105可以進(jìn)一步基于色差U和V的差來計(jì)算照明量。
[0100]圖像處理單元105將所計(jì)算出的每個(gè)像素的照明量存儲(chǔ)在存儲(chǔ)器單元109中。
[0101]在步驟S806，圖像合成單元116以基于步驟S805中計(jì)算的每個(gè)像素的照明量的合成比率逐像素地對(duì)數(shù)字增益處理之前的發(fā)光圖像數(shù)據(jù)(圖7中的701)與步驟S804中生成的平均圖像數(shù)據(jù)(圖7中的706)進(jìn)行合成。圖像合成單元116基于以下公式(2)合成圖像數(shù)據(jù):
[0102]合成信號(hào)=發(fā)光圖像數(shù)據(jù)Xk+平均圖像數(shù)據(jù)X (1-k) (2)
[0103]其中k(0<k< I)是合成比率中的發(fā)光圖像數(shù)據(jù)的比率。照明量越大，比率k的值越高。根據(jù)照明量，圖像合成單元116可以階梯式地而不是連續(xù)地改變比率k。如果照明量小于預(yù)定值，那么圖像合成單元116可以根據(jù)照明量改變比率k，并且如果照明量大于或等于預(yù)定量，那么可以設(shè)定k=l。
[0104]這樣，圖像合成單元116結(jié)束步驟S221和S225的圖像合成處理。
[0105]通過執(zhí)行如上所述的圖像合成處理，圖像處理單元105和圖像合成單元116通過對(duì)在使發(fā)光單元110發(fā)光時(shí)執(zhí)行拍攝操作所獲取的圖像數(shù)據(jù)與在不使發(fā)光單元110發(fā)光時(shí)執(zhí)行拍攝操作所獲取的圖像數(shù)據(jù)進(jìn)行合成，可以獲得良好的合成圖像。
[0106]以上描述了本發(fā)明的示例性實(shí)施例。本發(fā)明并不限于該實(shí)施例，還可以包括不背離本發(fā)明主旨、落入本發(fā)明范圍內(nèi)的其他設(shè)計(jì)。
[0107]例如，前述示例性實(shí)施例涉及照相機(jī)100使用內(nèi)置的發(fā)光單元110執(zhí)行發(fā)光拍攝操作的情況。但是，照相機(jī)100可以被配置為使用可拆卸地安裝的發(fā)光裝置來執(zhí)行發(fā)光拍攝操作。
[0108]前述示例性實(shí)施例涉及用戶預(yù)先選擇圖像合成拍攝模式的情況。照相機(jī)100可以具有基于被攝體的運(yùn)動(dòng)量和亮度確定照相場景的功能。在這種情況下，照相機(jī)100可以基于場景確定的結(jié)果自動(dòng)選擇圖像合成拍攝模式。[0109]前述示例性實(shí)施例涉及當(dāng)電源開關(guān)接通時(shí)控制單元102開始曝光圖像傳感器103的情況。但是，控制單元102可以被配置為當(dāng)輸入開始拍攝操作的指示時(shí)開始曝光圖像傳感器103。在這種情況下，照相機(jī)100可包括不同于圖像傳感器103的測光傳感器?？刂茊卧?02可以基于測光傳感器的作為關(guān)于被攝體亮度的信息的測光結(jié)果來確定曝光條件，而不是基于從圖像處理單元105輸出的圖像數(shù)據(jù)確定曝光條件。
[0110]前述示例性實(shí)施例涉及照相機(jī)100的圖像合成單元116執(zhí)行圖像合成的情況。在其他可能配置中，照相機(jī)100可以執(zhí)行多次拍攝操作，將獲取的多個(gè)圖像數(shù)據(jù)傳輸?shù)酵獠吭O(shè)備，并且外部設(shè)備可以執(zhí)行圖像合成。
[0111]還可以通過以下方式實(shí)現(xiàn)本發(fā)明的實(shí)施例:系統(tǒng)或設(shè)備的計(jì)算機(jī)讀出并執(zhí)行記錄在存儲(chǔ)介質(zhì)(例如非瞬態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì))中的計(jì)算機(jī)可執(zhí)行指令以執(zhí)行本發(fā)明的上述的一個(gè)或多個(gè)實(shí)施例的功能，或者由系統(tǒng)或設(shè)備的計(jì)算機(jī)例如從存儲(chǔ)介質(zhì)中讀出并執(zhí)行計(jì)算機(jī)可執(zhí)行指令以執(zhí)行上述一個(gè)或多個(gè)實(shí)施例的功能而執(zhí)行的方法。計(jì)算機(jī)可以包括一個(gè)或多個(gè)中央處理單元(CPU)、微處理單元(MPU)或者其他電路，并且可以包括獨(dú)立計(jì)算機(jī)或獨(dú)立計(jì)算機(jī)處理器的網(wǎng)絡(luò)。計(jì)算機(jī)可執(zhí)行指令可以通過例如網(wǎng)絡(luò)或存儲(chǔ)介質(zhì)提供至計(jì)算機(jī)。存儲(chǔ)介質(zhì)可以包括例如一個(gè)或多個(gè)硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、分布式計(jì)算系統(tǒng)的存儲(chǔ)器、光盤(例如致密型盤(CD)、數(shù)字多功能盤(DVD)、或藍(lán)光光盤(BD)?)、閃速存儲(chǔ)裝置、和存儲(chǔ)卡等。
[0112]雖然參考示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了說明，但是應(yīng)當(dāng)理解，本發(fā)明不限于所公開的示例性實(shí)施例。所附權(quán)利要求書的范圍符合最寬的解釋，以使其涵蓋所有這種修改、等同結(jié)構(gòu)及功能。
【權(quán)利要求】
1.一種攝像設(shè)備，包括: 攝像單元，用于拍攝被攝體的圖像以輸出圖像數(shù)據(jù)； 獲取單元，用于獲取與所述被攝體的亮度有關(guān)的信息；以及 確定單元，用于基于所述獲取單元所獲取的與所述被攝體的亮度有關(guān)的信息，確定拍攝操作中要使用的曝光控制值， 其中，所述攝像單元通過執(zhí)行多次拍攝操作來獲得用于圖像合成處理的多個(gè)圖像數(shù)據(jù)，其中所述多次拍攝操作包括使發(fā)光裝置發(fā)光的情況下所執(zhí)行的發(fā)光拍攝操作和不使所述發(fā)光裝置發(fā)光的情況下所執(zhí)行的非發(fā)光拍攝操作，以及 所述確定單元基于所述獲取單元所獲取的與所述發(fā)光裝置執(zhí)行預(yù)備發(fā)光時(shí)的所述被攝體的亮度有關(guān)的信息，確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值。
2.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其中，還包括計(jì)算單元，所述計(jì)算單元用于基于所述獲取單元所獲取的與所述發(fā)光裝置執(zhí)行預(yù)備發(fā)光時(shí)的所述被攝體的亮度有關(guān)的信息，計(jì)算所述發(fā)光拍攝操作中所述發(fā)光裝置的主發(fā)光量， 其中，所述確定單元基于所述計(jì)算單元所計(jì)算出的主發(fā)光量，確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值。
3.根據(jù)權(quán)利要求2所述的攝像設(shè)備，其中，在所述計(jì)算單元所計(jì)算出的主發(fā)光量小于所述發(fā)光裝置的能控制的最小發(fā)光量的情況下，所述確定單元基于所述計(jì)算單元所計(jì)算出的主發(fā)光量來確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值。
4.根據(jù)權(quán)利要求2所述的攝像設(shè)備，其中，在所述計(jì)算單元所計(jì)算出的主發(fā)光量小于所述發(fā)光裝置的能控制的最小 發(fā)光量的情況下，所述確定單元基于所述計(jì)算單元所計(jì)算出的主發(fā)光量和所述最小發(fā)光量之間的差來確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值。
5.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其中，在使所述發(fā)光裝置以所述發(fā)光裝置的能控制的最小發(fā)光量發(fā)光的情況下，所述確定單元基于所述獲取單元所獲取的與所述發(fā)光裝置執(zhí)行預(yù)備發(fā)光時(shí)的所述被攝體的亮度有關(guān)的信息，確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值。
6.根據(jù)權(quán)利要求2所述的攝像設(shè)備，其中，在所述計(jì)算單元所計(jì)算出的主發(fā)光量大于所述發(fā)光裝置的能控制的最大發(fā)光量的情況下，所述確定單元基于所述計(jì)算單元所計(jì)算出的主發(fā)光量來確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值。
7.根據(jù)權(quán)利要求2所述的攝像設(shè)備，其中，在所述計(jì)算單元所計(jì)算出的主發(fā)光量大于所述發(fā)光裝置的能控制的最大發(fā)光量的情況下，所述確定單元基于所述計(jì)算單元所計(jì)算出的主發(fā)光量和所述最大發(fā)光量之間的差來確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值。
8.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其中，在使所述發(fā)光裝置以所述發(fā)光裝置的能控制的最大發(fā)光量發(fā)光的情況下，所述確定單元基于所述獲取單元所獲取的與所述發(fā)光裝置執(zhí)行預(yù)備發(fā)光時(shí)的所述被攝體的亮度有關(guān)的信息，確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值。
9.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其中，所述確定單元基于所述獲取單元所獲取的與所述發(fā)光裝置執(zhí)行預(yù)備發(fā)光時(shí)的所述被攝體的亮度有關(guān)的信息、以及所述獲取單元所獲取的與所述發(fā)光裝置不執(zhí)行預(yù)備發(fā)光時(shí)的所述被攝體的亮度有關(guān)的信息，確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值。
10.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其中，所述確定單元確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值，以使得所述非發(fā)光拍攝操作中的曝光比所述發(fā)光拍攝操作中的曝光更明亮。
11.根據(jù)權(quán)利要求10所述的攝像設(shè)備，其中，所述多次拍攝操作包括兩次或更多次的所述非發(fā)光拍攝操作，以及 所述確定單元確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值，以生成基于所述多次拍攝操作中的所述非發(fā)光拍攝操作的次數(shù)的曝光差。
12.根據(jù)權(quán)利要求11所述的攝像設(shè)備，其中，所述確定單元確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值，以使得所述非發(fā)光拍攝操作的次數(shù)是大于第一次數(shù)的第二次數(shù)時(shí)的曝光差大于所述非發(fā)光拍攝操作的次數(shù)是所述第一次數(shù)時(shí)的曝光差。
13.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其中，所述確定單元將用于一次或多次所述非發(fā)光拍攝操作的拍攝感光度設(shè)置為比用于所述發(fā)光拍攝操作的拍攝感光度高。
14.根據(jù)權(quán)利要 求1所述的攝像設(shè)備，其中，還包括圖像合成單元，所述圖像合成單元用于基于從所述攝像單元輸出的作為所述多次拍攝操作的結(jié)果的多個(gè)圖像數(shù)據(jù)來執(zhí)行圖像合成處理。
15.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其中，所述確定單元基于所述獲取單元所獲取的與所述發(fā)光裝置執(zhí)行預(yù)備發(fā)光時(shí)的所述被攝體的亮度有關(guān)的信息來確定用于所述發(fā)光拍攝操作的曝光控制值，并且基于所確定的用于所述發(fā)光拍攝操作的曝光控制值來確定用于所述非發(fā)光拍攝操作的曝光控制值。
16.一種攝像設(shè)備的控制方法，所述攝像設(shè)備包括用于拍攝被攝體的圖像以輸出圖像數(shù)據(jù)的攝像單元，所述控制方法包括: 獲取與所述被攝體的亮度有關(guān)的信息； 基于所獲取的與所述被攝體的亮度有關(guān)的信息，確定拍攝操作中要使用的曝光控制值； 通過執(zhí)行多次拍攝操作來獲得要用于圖像合成處理的多個(gè)圖像數(shù)據(jù)，其中所述多次拍攝操作包括使發(fā)光裝置發(fā)光的情況下所執(zhí)行的發(fā)光拍攝操作和不使所述發(fā)光裝置發(fā)光的情況下所執(zhí)行的非發(fā)光拍攝操作；以及 基于所獲取的與所述發(fā)光裝置執(zhí)行預(yù)備發(fā)光時(shí)的所述被攝體的亮度有關(guān)的信息，確定用于所述發(fā)光拍攝操作和所述非發(fā)光拍攝操作的曝光控制值。
【文檔編號(hào)】H04N5/235GK103685971SQ201310418584
【公開日】2014年3月26日 申請(qǐng)日期:2013年9月13日 優(yōu)先權(quán)日:2012年9月13日
【發(fā)明者】宮崎康嘉 申請(qǐng)人:佳能株式會(huì)社