圖像處理設(shè)備及圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本公開涉及圖像處理設(shè)備和圖像處理方法，更具體地涉及使得能夠以小的計(jì)算量高精度生成不同視點(diǎn)的視差圖像的圖像處理設(shè)備和圖像處理方法。
【背景技術(shù)】
[0002]近來被稱為光場相機(jī)等的成像設(shè)備受到關(guān)注。這樣的成像設(shè)備通過成像單元獲得視點(diǎn)的捕獲圖像，根據(jù)捕獲圖像生成虛擬視點(diǎn)的捕獲圖像(視圖插值)，以及使用這些捕獲圖像生成虛擬焦點(diǎn)等的捕獲圖像(例如參見專利文獻(xiàn)1)。
[0003]這樣的成像設(shè)備以如下方式生成虛擬視點(diǎn)的圖像:通過生成與視點(diǎn)的捕獲圖像對應(yīng)的視差圖像(深度圖)，根據(jù)所述捕獲圖像使用相應(yīng)視點(diǎn)的視差圖像生成虛擬視點(diǎn)的捕獲圖像(圖像配準(zhǔn))，以及將所述捕獲圖像進(jìn)行組合。因此，為了生成虛擬視點(diǎn)的高精度捕獲圖像，生成具有高精度的視差圖像是必要的。應(yīng)當(dāng)注意，視差圖像是具有作為捕獲圖像中的相應(yīng)像素的視差值的像素值的圖像。在此，位于較遠(yuǎn)側(cè)的對象的圖像具有較小的視差值，而位于較近側(cè)的對象的圖像具有較大的視差值。
[0004]引用列表
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)1:JP 4706882 B2

【發(fā)明內(nèi)容】

[0007]本發(fā)明要解決的問題
[0008]生成視點(diǎn)的視差圖像的方法可以是如下方法:根據(jù)作為用作參考的單個視點(diǎn)的參考視點(diǎn)的捕獲圖像生成視差圖像，并且根據(jù)所生成的視差圖像估計(jì)除參考視點(diǎn)之外的視點(diǎn)的視差圖像。
[0009]然而，通過該方法，例如在參考視點(diǎn)的捕獲圖像中出現(xiàn)遮擋時，不能精確地估計(jì)參考視點(diǎn)的遮擋區(qū)域的視差值，從而不能生成除參考視點(diǎn)之外的視點(diǎn)的具有高精度的視差圖像。應(yīng)當(dāng)注意，在本說明書中，參考視點(diǎn)的遮擋區(qū)域表示從參考視點(diǎn)不能觀看到但是從除參考視點(diǎn)之外的視點(diǎn)能夠觀看到的區(qū)域。
[0010]可替選地，生成視點(diǎn)的視差圖像的方法可以為如下方法:根據(jù)每個視點(diǎn)的捕獲圖像生成視差圖像。通過該方法，能夠生成高精度的視差圖像，但是需要巨大的計(jì)算量。
[0011]本公開鑒于上述情形做出，本公開使得能夠以小的計(jì)算量高精度生成不同視點(diǎn)的視差圖像。
[0012]問題的解決方案
[0013]根據(jù)本公開的第一方面的圖像處理設(shè)備是如下圖像處理設(shè)備，其包括:計(jì)算單元，該計(jì)算單元使用多對視點(diǎn)的捕獲圖像來計(jì)算所述多對視點(diǎn)的捕獲圖像的相關(guān)性值；以及生成單元，所述生成單元基于由所述計(jì)算單元計(jì)算出的相關(guān)性值來生成參考視點(diǎn)的不同層級的視差圖像，所述視差圖像是由所述參考視點(diǎn)的視差值形成的視點(diǎn)視差圖像以及由遮擋區(qū)域的視差值形成的遮擋視差圖像，所述參考視點(diǎn)為所述多對視點(diǎn)之一。
[0014]根據(jù)本公開的第一方面的圖像處理方法與根據(jù)本公開的第一方面的圖像處理設(shè)備兼容。
[0015]在本公開的第一方面中，使用多對視點(diǎn)的捕獲圖像來計(jì)算所述多對視點(diǎn)的捕獲圖像的相關(guān)性值，以及基于相關(guān)性值來生成由所述參考視點(diǎn)的視差值形成的視點(diǎn)視差圖像以及由遮擋區(qū)域的視差值形成的遮擋視差圖像，作為參考視點(diǎn)的不同層級的視差圖像，所述參考視點(diǎn)為所述多對視點(diǎn)之一。
[0016]根據(jù)本公開的第二方面的圖像處理設(shè)備是如下圖像處理設(shè)備，其包括:計(jì)算單元，所述計(jì)算單元使用多對視點(diǎn)的捕獲圖像來計(jì)算所述多對視點(diǎn)的捕獲圖像的相關(guān)性值；以及生成單元，所述生成單元基于使相應(yīng)對的相關(guān)性值的模式與所述多對視點(diǎn)中的預(yù)定對相關(guān)聯(lián)的表來生成視點(diǎn)視差圖像，所述視點(diǎn)視差圖像根據(jù)作為與所述預(yù)定對的最高相關(guān)性值對應(yīng)的視差值的最高相關(guān)性視差值而生成，所述視點(diǎn)視差圖像由參考視點(diǎn)的視差值形成，所述參考視點(diǎn)為所述多對視點(diǎn)之一。
[0017]根據(jù)本公開的第二方面的圖像處理方法與根據(jù)本公開的第二方面的圖像處理設(shè)備兼容。
[0018]在本公開的第二方面中，使用多對視點(diǎn)的捕獲圖像來計(jì)算所述多對視點(diǎn)的捕獲圖像的相關(guān)性值；基于使相應(yīng)對的相關(guān)性值的模式與所述多對視點(diǎn)中的預(yù)定對相關(guān)聯(lián)的表來生成視點(diǎn)視差圖像，所述視點(diǎn)視差圖像根據(jù)作為與所述預(yù)定對的最高相關(guān)性值對應(yīng)的視差值的最高相關(guān)性視差值而生成，所述視點(diǎn)視差圖像由參考視點(diǎn)的視差值形成，所述參考視點(diǎn)為所述多對視點(diǎn)之一。
[0019]根據(jù)本公開的第一方面和第二方面的圖像處理設(shè)備還可以通過使計(jì)算機(jī)執(zhí)行程序來實(shí)現(xiàn)。
[0020]此外，為了實(shí)現(xiàn)根據(jù)本公開的第一方面和第二方面的圖像處理設(shè)備，待由計(jì)算機(jī)執(zhí)行的程序可以通過傳輸介質(zhì)傳輸并提供，或者可以提供記錄在記錄介質(zhì)上的程序。
[0021]本發(fā)明的效果
[0022]根據(jù)本公開，能夠以小的計(jì)算量生成不同視點(diǎn)的高精度視差圖像。
【附圖說明】
[0023]圖1是示出了作為應(yīng)用本公開的圖像處理設(shè)備的成像設(shè)備的實(shí)施例的示例結(jié)構(gòu)的框圖。
[0024]圖2是成像陣列的示例結(jié)構(gòu)的透視圖。
[0025]圖3是示出了檢測單元的示例結(jié)構(gòu)的框圖。
[0026]圖4是示出了與相關(guān)性生成單元對應(yīng)的16個視點(diǎn)對的圖。
[0027]圖5是用于解釋待由相關(guān)性生成單元執(zhí)行的相關(guān)性檢測的圖。
[0028]圖6是示出了當(dāng)前像素區(qū)域的一部分的示例的圖。
[0029]圖7是示出了相關(guān)性值信息的示例的圖。
[0030]圖8是示出了當(dāng)前像素區(qū)域的多組最高相關(guān)性視差值的圖。
[0031]圖9是示出了當(dāng)前像素區(qū)域的其他組最高相關(guān)性視差值的圖。
[0032]圖10是示出了分層表的示例的圖。
[0033]圖11是示出了參考視點(diǎn)的第一層級和第二層級的視差圖像的示例的圖。
[0034]圖12是示出了除參考視點(diǎn)之外的視點(diǎn)的視差圖像的示例的圖。
[0035]圖13是示出了除參考視點(diǎn)之外的視點(diǎn)的傳統(tǒng)視差圖像的示例的圖。
[0036]圖14是示出了虛擬視點(diǎn)的示例的圖。
[0037]圖15是用于解釋生成虛擬視點(diǎn)的捕獲圖像的圖。
[0038]圖16是用于解釋生成虛擬視點(diǎn)的捕獲圖像的圖。
[0039]圖17是用于解釋生成虛擬視點(diǎn)的捕獲圖像的圖。
[0040]圖18是用于解釋生成虛擬視點(diǎn)的捕獲圖像的圖。
[0041]圖19是用于解釋生成虛擬視點(diǎn)的捕獲圖像的圖。
[0042]圖20是用于解釋生成虛擬視點(diǎn)的捕獲圖像的圖。
[0043]圖21是用于解釋成像處理的流程圖。
[0044]圖22是成像陣列的另一種示例結(jié)構(gòu)的透視圖。
[0045]圖23是示出了計(jì)算機(jī)的硬件的示例配置的框圖。
【具體實(shí)施方式】
[0046]<實(shí)施例>
[0047](成像設(shè)備的實(shí)施例的示例結(jié)構(gòu))
[0048]圖1是示出了作為應(yīng)用本公開的圖像處理設(shè)備的成像設(shè)備的實(shí)施例的示例結(jié)構(gòu)的框圖。
[0049]圖1所示的成像設(shè)備10包括成像陣列12和圖像處理單元13。成像設(shè)備10獲得不同視點(diǎn)的捕獲圖像，并且生成虛擬焦點(diǎn)的捕獲圖像作為重聚焦圖像。
[0050]具體地，成像設(shè)備10的成像陣列12由二維布置的成像單元形成，每個成像單元包括成像透鏡、成像器件例如CCD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)以及A/D轉(zhuǎn)換器。
[0051]成像陣列12中的每個成像單元通過該成像透鏡從具有成像器件的對象接收入射光，并且通過使用Α/D轉(zhuǎn)換器對由于光接收獲得的模擬信號進(jìn)行Α/D轉(zhuǎn)換而獲取捕獲圖像。以這種方式，成像陣列12使用各個成像單元獲得不同視點(diǎn)的捕獲圖像。成像陣列12向圖像處理單元13提供所獲得的各個視點(diǎn)的捕獲圖像。
[0052]圖像處理單元13由例如LSI (大規(guī)模集成電路)形成。圖像處理單元13包括檢測單元21、虛擬視點(diǎn)圖像生成單元22以及重聚焦圖像生成單元23。
[0053]檢測單元21不僅基于從成像陣列12提供的參考視點(diǎn)的捕獲圖像與除參考視點(diǎn)之夕卜的視點(diǎn)的捕獲圖像之間的相關(guān)性值，而且基于除參考視點(diǎn)之外的視點(diǎn)的捕獲圖像之間的相關(guān)性值來檢測視差值。結(jié)果是，檢測到參考視點(diǎn)的視差值以及參考視點(diǎn)的遮擋區(qū)域的視差值。為了簡化解釋，在本實(shí)施例中僅存在參考視點(diǎn)的一個遮擋區(qū)域。
[0054]檢測單元21以如下方式生成參考視點(diǎn)的兩個層級的視差圖像:通過將由參考視點(diǎn)的視差值形成的視差圖像設(shè)置為第一層級的視差圖像(視點(diǎn)視差圖像)，以及將由參考視點(diǎn)的遮擋區(qū)域的視差值形成的視差圖像設(shè)置為第二層級的視差圖像(遮擋視差圖像)。檢測單元21然后向虛擬視點(diǎn)圖像生成單元22提供參考視點(diǎn)的兩個層級的視差圖像。
[0055]虛擬視點(diǎn)圖像生成單元22對從檢測單元21提供的參考視點(diǎn)的兩個層級的視差圖像進(jìn)行存儲。使用所存儲的參考視點(diǎn)的兩個層級的視差圖像，虛擬視點(diǎn)圖像生成單元22生成除參考視點(diǎn)之外的視點(diǎn)的視差圖像。
[0056]使用所存儲的各個視點(diǎn)的視差圖像以及從成像陣列12提供的各個視點(diǎn)的捕獲圖像，虛擬視點(diǎn)圖像生成單元2 2生成除與成像單元對應(yīng)的視點(diǎn)之外的虛擬視點(diǎn)的捕獲圖像。虛擬視點(diǎn)圖像生成單元22向重聚焦圖像生成單元23提供作為超多視點(diǎn)(ultra-multiview)圖像的虛擬視點(diǎn)的捕獲圖像以及從成像陣列12提供的各個視點(diǎn)的捕獲圖像。
[0057]重聚焦圖像生成單元23用作虛擬焦點(diǎn)圖像生成單元，并且使用從虛擬視點(diǎn)圖像生成單元22提供的超多視點(diǎn)圖像來生成虛擬焦點(diǎn)的捕獲圖像作為重聚焦圖像。重聚焦圖像生成單元23輸出所生成的重聚焦圖像。
[0058](成像陣列的示例結(jié)構(gòu))
[0059]圖2是示出了圖1中所示的成像陣列12的示例結(jié)構(gòu)的圖并且是從對象側(cè)觀看時的成像陣列12的透視圖。
[0060]在圖2所示的成像陣列12中，9個成像單元41-0至41_8被布置在具有低熱脹冷縮率的基底的平板表面40上，其中9個成像單元41-0至41-8中的三個成像單元被以等間隔布置在每行和每列。如圖2所示，成像單元41-0至成像單元41-8中的每個成像單元包括成像透鏡42。在本實(shí)施例中，將與成像單元41-0對應(yīng)的視點(diǎn)設(shè)置為參考視點(diǎn)。
[0061]在以下描述中，將穿過與參考視點(diǎn)對應(yīng)的成像單元41-0的中心而延伸的豎直直線與連接成像單元41-0的中心和成像單元41-1至41-8的各個中心的直線之間的夾角稱為角Θ1至Θ8。角Θ1至Θ 8分別為45度、360度、315度、90度、270度、135度、180度以及225度。
[0062]將連接成像單元41-0的中心與成像單元41-1至41_8的