圖像處理裝置、攝像裝置、圖像處理方法和圖像處理程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理裝置、攝像裝置、圖像處理方法和圖像處理程序。
【背景技術(shù)】
[0002] 作為數(shù)碼相機(jī)，除使用了相位差檢測(cè)方式、對(duì)比度檢測(cè)方式的自動(dòng)聚焦外還具備 能夠由使用者手動(dòng)進(jìn)行調(diào)焦的所謂手動(dòng)聚焦模式的數(shù)碼相機(jī)廣為公知。
[0003] 作為具有手動(dòng)聚焦模式的數(shù)碼相機(jī)，公知有采用了以能夠一邊對(duì)被攝體進(jìn)行確認(rèn) 一邊進(jìn)行調(diào)焦的方式設(shè)置反射鏡并使用了對(duì)目視的相位差進(jìn)行顯示的分裂式微棱鏡屏的 方法的數(shù)碼相機(jī)。另外，也公知有采用了進(jìn)行目視的對(duì)比度的確認(rèn)的方法的數(shù)碼相機(jī)。
[0004] 然而，近年來(lái)普及的省略了反射鏡的數(shù)碼相機(jī)中，由于沒(méi)有反射鏡，因此不存在一 邊顯示相位差一邊確認(rèn)被攝體像的方法，不得不依賴于對(duì)比度檢測(cè)方式?？墒?，在該情況 下，無(wú)法實(shí)現(xiàn)IXD(liquidcrystaldisplay:液晶顯示器）等顯示裝置的分辨率以上的對(duì) 比度的顯示，不得不采用進(jìn)行局部放大等而顯示的方法。
[0005] 因此，近年來(lái)，為了使在手動(dòng)聚焦模式時(shí)操作者使被攝體對(duì)焦的作業(yè)容易，而將裂 像顯示在即時(shí)預(yù)覽圖像（也稱作實(shí)時(shí)取景圖像）內(nèi)。所謂裂像，例如是指將顯示區(qū)域分割 為多個(gè)而得到的分割圖像（例如沿上下方向分割而得到的各圖像），且是根據(jù)焦點(diǎn)的偏移 而在視差產(chǎn)生方向（例如左右方向）上存在偏移、且若為已對(duì)焦的狀態(tài)則視差產(chǎn)生方向的 偏移消失的分割圖像。操作者（例如攝影者）操作手動(dòng)聚焦環(huán)而進(jìn)行對(duì)焦，以使裂像（例 如在上下方向上分割而得到的各圖像）的偏移消失。
[0006] 日本特開(kāi)2004 - 40740號(hào)公報(bào)（以下，稱作專利文獻(xiàn)1)中記載的手動(dòng)聚焦裝置具 有：光圈移動(dòng)單元，使被攝體光路上的開(kāi)口光圈在與光軸垂直的面上移動(dòng)；及存儲(chǔ)單元，對(duì) 在開(kāi)口光圈移動(dòng)的兩個(gè)測(cè)距位置分別進(jìn)行攝像而得到的兩個(gè)被攝體圖像進(jìn)行存儲(chǔ)。另外， 具有輸出對(duì)兩個(gè)被攝體圖像進(jìn)行合成而得到的裂像并顯示焦點(diǎn)狀態(tài)是否合適的顯示單元。
[0007] 日本特開(kāi)2009 - 147665號(hào)公報(bào)（以下，稱作專利文獻(xiàn)2)記載的攝像裝置中，生 成對(duì)第一被攝體像和第二被攝體像分別進(jìn)行光電轉(zhuǎn)換而得到的第一圖像和第二圖像，該第 一被攝體像和第二被攝體像由來(lái)自攝像光學(xué)系統(tǒng)的光束中的被光瞳分割部分割后的光束 形成。并且，使用這些第一圖像和第二圖像來(lái)生成裂像，且對(duì)第三被攝體像進(jìn)行光電轉(zhuǎn)換而 生成第三圖像，該第三被攝體像由未被光瞳分割部分割的光束形成。并且，將第三圖像顯示 在顯示部，且在第三圖像內(nèi)顯示所生成的裂像，且將從第三圖像提取出的顏色信息附加到 裂像。如此，通過(guò)將從第三圖像提取出的顏色信息附加到裂像，能夠使裂像的視覺(jué)確認(rèn)性良 好。
[0008] 日本特開(kāi)2009 - 163220號(hào)公報(bào)（以下，稱作專利文獻(xiàn)3)中記載的攝像裝置具備 使顯示單元顯示重疊圖像的處理單元，該重疊圖像是使被光瞳分割單元分割而得到的第一 圖像和第二圖像重疊而得到的。
[0009] 日本特開(kāi)2001 - 309210號(hào)公報(bào)（以下，稱作專利文獻(xiàn)4)中記載的數(shù)碼相機(jī)具備 對(duì)焦點(diǎn)位置與被攝體位置之間的偏移量進(jìn)行檢測(cè)并根據(jù)偏移量來(lái)變更裂像的顯示內(nèi)容的 顯示變更單元。
[0010] W006/030488(以下，稱作專利文獻(xiàn)5)記載的圖像處理裝置具備在聚焦控制部的 光學(xué)系統(tǒng)的對(duì)焦動(dòng)作中根據(jù)由攝像元件得到的圖像來(lái)形成將分辨率的變化量擴(kuò)大而得到 的疑似圖像的結(jié)構(gòu)。

【發(fā)明內(nèi)容】

[0011] 發(fā)明要解決的課題
[0012] 然而，專利文獻(xiàn)1~5記載的技術(shù)均存在如下問(wèn)題：存在以超過(guò)焦點(diǎn)的偏移量能夠 視覺(jué)確認(rèn)的分辨率的分辨率來(lái)顯示圖像的情況、以小于焦點(diǎn)的偏移量無(wú)法視覺(jué)確認(rèn)的分辨 率的分辨率來(lái)顯示圖像的情況。
[0013] 本發(fā)明鑒于這種情形而提出，目的在于提供能夠設(shè)為與對(duì)焦的程度對(duì)應(yīng)的處理速 度和分辨率的圖像處理裝置、攝像裝置、圖像處理方法和圖像處理程序。
[0014] 用于解決課題的手段
[0015] 為了達(dá)到上述目的，本發(fā)明的第一方式所涉及的圖像處理裝置包括：圖像獲取部， 獲取從攝像元件輸出的基于第一圖像信號(hào)和第二圖像信號(hào)的第一圖像和第二圖像，所述攝 像元件具有第一像素組和第二像素組，所述第一像素組和第二像素組使通過(guò)了攝影透鏡中 的第一區(qū)域和第二區(qū)域的被攝體像進(jìn)行光瞳分割并分別成像而輸出第一圖像信號(hào)和第二 圖像信號(hào)；視差計(jì)算部，算出表示由圖像獲取部獲取的第一圖像的各像素與第二圖像的對(duì) 應(yīng)的像素之間的偏移量的視差；生成部，基于從攝像元件輸出的圖像信號(hào)來(lái)生成第一顯示 用圖像，且基于第一圖像和第二圖像來(lái)生成用于對(duì)焦確認(rèn)的第二顯示用圖像；變更部，根據(jù) 由視差計(jì)算部算出的視差來(lái)變更由生成部生成的第一顯示用圖像和第二顯示用圖像中的 至少第二顯示用圖像的分辨率；顯示部，對(duì)圖像進(jìn)行顯示；及顯示控制部，對(duì)顯示部進(jìn)行如 下控制：使顯示部顯示由生成部生成的第一顯示用圖像且在第一顯示用圖像的顯示區(qū)域內(nèi) 顯示由生成部生成的第二顯示用圖像。由此，與不具有本結(jié)構(gòu)的情況相比，能夠?qū)崿F(xiàn)與對(duì)焦 的程度對(duì)應(yīng)的處理速度和分辨率。
[0016] 為了達(dá)成上述目的，本發(fā)明的第二方式所涉及的圖像處理裝置包括：圖像獲取部， 獲取從攝像元件輸出的基于第一圖像信號(hào)和第二圖像信號(hào)的第一圖像和第二圖像，所述攝 像元件具有第一像素組和第二像素組，所述第一像素組和第二像素組使通過(guò)了攝影透鏡中 的第一區(qū)域和第二區(qū)域的被攝體像進(jìn)行光瞳分割并分別成像而輸出第一圖像信號(hào)和第二 圖像信號(hào)；視差計(jì)算部，算出表示由圖像獲取部獲取的第一圖像的各像素與第二圖像的對(duì) 應(yīng)的像素之間的偏移量的視差；生成部，基于從攝像元件輸出的圖像信號(hào)來(lái)生成第一顯示 用圖像，且基于第一圖像和第二圖像來(lái)生成用于對(duì)焦確認(rèn)的第二顯示用圖像；變更部，根據(jù) 由視差計(jì)算部算出的視差來(lái)變更由生成部生成的第一顯示用圖像和第二顯示用圖像中的 至少第二顯示用圖像的分辨率；顯示部，對(duì)圖像進(jìn)行顯示；及顯示控制部，進(jìn)行如下控制： 抑制顯示部顯示由生成部生成的第一顯示用圖像且使顯示部顯示由生成部生成的第二顯 示用圖像。由此，與不具有本結(jié)構(gòu)的情況相比，能夠?qū)崿F(xiàn)與對(duì)焦的程度對(duì)應(yīng)的處理速度和分 辨率。
[0017] 本發(fā)明的第三方式也可以設(shè)為，在本發(fā)明的第一方式或第二方式的基礎(chǔ)上，變更 部隨著視差的減少而提高分辨率。由此，與不具有本結(jié)構(gòu)的情況相比，能夠隨著對(duì)焦的程度 變小而實(shí)現(xiàn)處理的高速化，且能夠隨著對(duì)焦的程度變大而提高分辨率。
[0018] 本發(fā)明的第四方式也可以設(shè)為，在本發(fā)明的第一方式至第二方式中的任一個(gè)方式 的基礎(chǔ)上，變更部通過(guò)變更攝像元件的驅(qū)動(dòng)方法來(lái)變更攝像元件的輸出像素?cái)?shù)，從而變更 分辨率。由此，與不具有本結(jié)構(gòu)的情況相比，能夠以簡(jiǎn)單的控制變更分辨率。
[0019] 本發(fā)明的第五方式也可以設(shè)為，在本發(fā)明的第四方式的基礎(chǔ)上，攝像元件所包含 的像素配置成行列狀，攝像元件的輸出像素能夠以像素的行為單位進(jìn)行變更，變更部通過(guò) 以行為單位變更輸出像素來(lái)變更分辨率。由此，與不具有本結(jié)構(gòu)的情況相比，能夠以簡(jiǎn)單的 控制變更分辨率。
[0020] 本發(fā)明的第六方式也可以設(shè)為，在本發(fā)明的第五方式的基礎(chǔ)上，攝像元件的輸出 像素還能夠以像素的列為單位進(jìn)行變更，變更部還通過(guò)以列為單位變更輸出像素來(lái)變更分 辨率。由此，與不具有本結(jié)構(gòu)的情況相比，能夠以簡(jiǎn)單的控制變更輸出像素。
[0021] 本發(fā)明的第七方式也可以設(shè)為，在本發(fā)明的第四方式的基礎(chǔ)上，攝像元件所包含 的像素配置成行列狀，攝像元件的輸出像素能夠以像素的列為單位進(jìn)行變更，變更部通過(guò) 以列為單位變更輸出像素來(lái)變更分辨率。由此，與不具有本結(jié)構(gòu)的情況相比，能夠以簡(jiǎn)單的 控制變更輸出像素。
[0022] 本發(fā)明的第八方式也可以設(shè)為，在本發(fā)明的第四方式至第七方式中的任一個(gè)方式 的基礎(chǔ)上，變更部通過(guò)變更攝像元件所包含的輸出像素中的第一像素組和第二像素組的輸 出像素的密度來(lái)變更輸出像素?cái)?shù)。由此，與不具有本結(jié)構(gòu)的情況相比，能夠以簡(jiǎn)單的控制實(shí) 現(xiàn)與對(duì)焦的程度對(duì)應(yīng)的處理速度和第二顯示用圖像的分辨率。
[0023] 本發(fā)明的第九方式也可以設(shè)為，在本發(fā)明的第八方式的基礎(chǔ)上，在由視差計(jì)算部 算出的視差為閾值以下的情況下，變更部通過(guò)使密度高于由視差計(jì)算部算出的視差超過(guò)閾 值的情況下的密度來(lái)變更輸出像素?cái)?shù)。由此，與不具有本結(jié)構(gòu)的情況相比，能夠抑制在視差 為閾值以下的情況下第二顯示用圖像的分辨率不足的情形的發(fā)生。
[0024] 本發(fā)明的第十方式也可以設(shè)為，在本發(fā)明的第九方式的基礎(chǔ)上，在由視差計(jì)算部 算出的視差為閾值以下的情況下，變更部通過(guò)使密度高于由視差計(jì)算部算出的視差超過(guò)閾 值的情況下的密度且根據(jù)視差的減少而提高該密度來(lái)變更輸出像素?cái)?shù)。由此，與不具有本 結(jié)構(gòu)的情況相比，能夠高精度地抑制在視差為閾值以下的情況下第二顯示用圖像的分辨率 不足的情形的發(fā)生。
[0025] 本發(fā)明的第十一方式也可以設(shè)為，在本發(fā)明的第八方式至第十方式中的任一個(gè)方 式的基礎(chǔ)上，在由視差計(jì)算部算出的視差超過(guò)閾值的情況下，變更部通過(guò)使密度低于由視 差計(jì)算部算出的視差為閾值以下的情況下的密度來(lái)變更輸出像素?cái)?shù)。由此，與不具有本結(jié) 構(gòu)的情況相比，能夠抑制在視差超過(guò)閾值的情況下第二顯示用圖像的分辨率過(guò)剩的情形的 發(fā)生。
[0026] 本發(fā)明的第十二方式也可以設(shè)為，在本發(fā)明的第十一方式的基礎(chǔ)上，在由視差計(jì) 算部算出的視差超過(guò)閾值的情況下，變更部通過(guò)使密度低于由視差計(jì)算部算出的視差為閾 值以下的情況下的密度且根據(jù)視差的增大而降低該密度來(lái)變更輸出像素?cái)?shù)。由此，與不具 有本結(jié)構(gòu)的情況相比，能夠高精度地抑制在視差超過(guò)閾值的情況下第二顯示用圖像的分辨 率過(guò)剩的情形的發(fā)生。
[0027] 本發(fā)明的第十三方式也可以設(shè)為，在本發(fā)明的第一方式至第十二方式中的任一個(gè) 方式的基礎(chǔ)上，在分辨率由變更部提高得超過(guò)預(yù)定值的情況下，顯示控制部進(jìn)一步進(jìn)行使 顯示部的第二顯示用圖像的顯示區(qū)域比通常時(shí)擴(kuò)大的控制。由此，與不具有本結(jié)構(gòu)的情況 相比，能夠提高第二顯示用圖像的視覺(jué)確認(rèn)性。
[0028] 本發(fā)明的第十四方式也可以設(shè)為，在本發(fā)明的第十三方式的基礎(chǔ)上，在顯示區(qū)域 被擴(kuò)大了的狀態(tài)下分辨率由變更部降低為預(yù)定值以下的情況下，顯示控制部進(jìn)一步進(jìn)行使 顯示區(qū)域的大小返回到通常時(shí)的大小的控制。由此，與不具有本結(jié)構(gòu)的情況相比，能夠?qū)Φ?二顯示用圖像的視覺(jué)確認(rèn)性的降低進(jìn)行抑制。
[0029] 本發(fā)明的第十五方式也可以設(shè)為，在本發(fā)明的第一方式至第十四方式中的任一個(gè) 方式的基礎(chǔ)上，變更部還根據(jù)由視差計(jì)算部算出的視差來(lái)變更作為顯示部的顯示對(duì)象的圖 像的幀率。由此，與不具有本結(jié)構(gòu)的情況相比，能夠?qū)崿F(xiàn)與對(duì)焦的程度對(duì)應(yīng)的幀率。
[0030] 本發(fā)明的第十六方式也可以設(shè)為，在本發(fā)明的第一方式至第十五方式中的任一個(gè) 方式的基礎(chǔ)上，變更部還根據(jù)由視差計(jì)算部算出的視差來(lái)變更視差計(jì)算部的計(jì)算頻度。由 此，與不具有本結(jié)構(gòu)的情況相比，能夠設(shè)為與對(duì)焦的程度對(duì)應(yīng)的計(jì)算頻度。
[0031] 本發(fā)明的第十七方式也可以設(shè)為，在本發(fā)明的第一方式至第十六方式中的任一個(gè) 方式的基礎(chǔ)上，變更部還根據(jù)由視差計(jì)算部算出的視差來(lái)變更攝像元件的驅(qū)動(dòng)頻率。由此， 與不具有本結(jié)構(gòu)的情況相比，能夠設(shè)為與對(duì)焦的程度對(duì)應(yīng)的驅(qū)動(dòng)頻率。
[0032]