專(zhuān)利名稱(chēng)：圖像恢復(fù)裝置、攝像裝置以及圖像恢復(fù)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像恢復(fù)裝置、攝像裝置以及圖像恢復(fù)方法，尤其涉及一種圖像恢復(fù)裝置，對(duì)攝像元件或使光聚集于所述攝像元件的透鏡被驅(qū)動(dòng)而在曝光中在與包含想要合焦的所希望的距離范圍的掃描范圍對(duì)應(yīng)的像面?zhèn)群辖裹c(diǎn)間被進(jìn)行聚焦掃描的、由該攝像元件拍攝的掃描圖像執(zhí)行恢復(fù)處理，從而生成景深擴(kuò)展了的恢復(fù)圖像。
背景技術(shù)：
一般而言，對(duì)于實(shí)現(xiàn)景深擴(kuò)展(以下，稱(chēng)為ED0F)的方式，可以主要示出以下的三個(gè)方式。第一方式是指，將所謂相位板的光學(xué)元件插入在光學(xué)系統(tǒng)，從而使深度方向的模糊均勻。而且，該方式，針對(duì)得到的圖像，利用預(yù)先測(cè)定的模糊模式、或通過(guò)模擬而計(jì)算出的模糊模式，進(jìn)行圖像恢復(fù)處理。據(jù)此，該方式，生成EDOF圖像。該方式被稱(chēng)為，WavefrontCoding (以下，稱(chēng)為 WFC)。 第二方式是指，通過(guò)設(shè)法光圈形狀，從而對(duì)圖像的每個(gè)部分范圍高精度地進(jìn)行距離測(cè)定。而且，該方式，針對(duì)各個(gè)部分范圍，利用與預(yù)先測(cè)定的各個(gè)距離相對(duì)應(yīng)的模糊模式，進(jìn)行圖像恢復(fù)處理。據(jù)此，該方式，生成EDOF圖像。該方式被稱(chēng)為，CodedAperture (以下，稱(chēng)為CA)。第三方式是指，在曝光期間使聚焦透鏡或攝像元件變動(dòng)，從而折疊一律合焦于深度方向的圖像(即，與在各個(gè)深度使模糊均勻同義)。而且，該方式，針對(duì)得到的圖像，利用預(yù)先測(cè)定的模糊模式、或通過(guò)模擬而計(jì)算出的模糊模式，進(jìn)行圖像恢復(fù)處理。據(jù)此，該方式，生成EDOF圖像。該方式被稱(chēng)為，F(xiàn)lexible DOF(以下，稱(chēng)為F-D0F)(例如，參照專(zhuān)利文獻(xiàn)I)。這樣的三個(gè)方式中的第三方式的F-DOF是，其中能夠得到最良好的畫(huà)質(zhì)的方式，EDOF效果也高。并且，由于軸外特性也依賴(lài)于透鏡特性本身，因此能夠容易提高性能。但是，由于即使正在曝光中使合焦位置變動(dòng)，也需要同一被攝體被折疊在同一圖像位置上，因此需要利用像方遠(yuǎn)心透鏡，以作為光學(xué)上的條件。對(duì)于所述EDOF技術(shù)的應(yīng)用目的，歷史最長(zhǎng)的是顯微鏡用途。并且，對(duì)于EDOF技術(shù)的其他的應(yīng)用目的，可以示出近些年搭載在移動(dòng)電話(huà)等中的相機(jī)。通過(guò)將EDOF技術(shù)利用于該相機(jī)，從而能夠?qū)崿F(xiàn)該相機(jī)的小型化。也就是說(shuō)，這是因?yàn)?，根?jù)EDOF效果，不具有自動(dòng)聚焦機(jī)構(gòu)，也能夠得到全焦點(diǎn)圖像(合焦于所有的被攝體的圖像)的緣故。進(jìn)而，對(duì)于另一個(gè)應(yīng)用目的，可以考慮通常的數(shù)字靜態(tài)相機(jī)以及數(shù)字?jǐn)z像機(jī)。對(duì)于這樣的數(shù)字靜態(tài)相機(jī)以及數(shù)字?jǐn)z像機(jī)的近年的傾向，需要進(jìn)一步簡(jiǎn)單且失敗少的拍攝。EDOF技術(shù)，可以期待全焦點(diǎn)圖像的效果，即可以期待從合焦失敗解放的效果。從本應(yīng)用目的的觀點(diǎn)來(lái)看，由于高畫(huà)質(zhì)、EDOF效果大、能夠任意地變更合焦范圍、應(yīng)用通常的自動(dòng)聚焦機(jī)構(gòu)就能夠?qū)崿F(xiàn)(不準(zhǔn)備特別的光學(xué)系統(tǒng)即可)、以及容易切換EDOF拍攝與通常拍攝等，因此所述方式中最佳方式是F-D0F。(現(xiàn)有技術(shù)文獻(xiàn))
(專(zhuān)利文獻(xiàn))專(zhuān)利文獻(xiàn)I :美國(guó)專(zhuān)利申請(qǐng)公開(kāi)第2008/0013941號(hào)說(shuō)明書(shū)發(fā)明概要發(fā)明要解決的問(wèn)題然而，為了實(shí)現(xiàn)具有能夠掃描多個(gè)合焦范圍的F — DOF功能的攝像裝置(攝像機(jī))，而需要用于對(duì)在多個(gè)合焦范圍分別拍攝的圖像執(zhí)行恢復(fù)處理的PSF (Point SpreadFunction :點(diǎn)擴(kuò)散函數(shù))數(shù)據(jù)。因此，隨著該合焦范圍的模式增加，需要的PSF數(shù)據(jù)的數(shù)量就增加。據(jù)此，產(chǎn)生用于存放PSF數(shù)據(jù)的存儲(chǔ)器的容量增加的問(wèn)題。
發(fā)明內(nèi)容
為了解決所述的以往的問(wèn)題，本發(fā)明的目的在于提供能夠減少用于存放PSF數(shù)據(jù)的存儲(chǔ)器的容量的圖像恢復(fù)裝置、攝像裝置以及圖像恢復(fù)方法。用于解決問(wèn)題的手段為了實(shí)現(xiàn)所述目的，本發(fā)明的實(shí)施方案之一涉及的圖像恢復(fù)裝置，通過(guò)對(duì)由攝像元件拍攝的掃描圖像執(zhí)行恢復(fù)處理，從而生成景深擴(kuò)展了的恢復(fù)圖像，所述掃描圖像是，攝像元件或使光聚集于所述攝像元件的透鏡被驅(qū)動(dòng)，從而在曝光中在與掃描范圍對(duì)應(yīng)的像面?zhèn)群辖裹c(diǎn)間被進(jìn)行聚焦掃描的圖像，并且，所述掃描范圍包含想要合焦的所希望的距離范圍，所述圖像恢復(fù)裝置具備PSF存儲(chǔ)部，存儲(chǔ)第一 PSF(Point Spread Function :點(diǎn)擴(kuò)散函數(shù))、第二 PSF、以及第三PSF之中的某兩個(gè)PSF，(I)所述第一 PSF用于對(duì)第一掃描圖像執(zhí)行恢復(fù)處理，所述第一掃描圖像是所述掃描范圍為第一范圍時(shí)的所述掃描圖像，(2)所述第二 PSF用于對(duì)第二掃描圖像執(zhí)行恢復(fù)處理，所述第二掃描圖像是所述掃描范圍為不包含所述第一范圍的第二范圍時(shí)的所述掃描圖像，(3)所述第三PSF用于對(duì)第三掃描圖像執(zhí)行恢復(fù)處理，所述第三掃描圖像是所述掃描范圍為第三范圍時(shí)的所述掃描圖像，所述第三范圍是合并了所述第一范圍和所述第二范圍的范圍；PSF計(jì)算部，通過(guò)對(duì)所述兩個(gè)PSF進(jìn)行加法運(yùn)算或減法運(yùn)算，從而計(jì)算所述第一 PSF、所述第二 PSF以及所述第三PSF之中的剩下的一個(gè)；以及圖像恢復(fù)部，利用所述第一 PSF，對(duì)所述第一掃描圖像執(zhí)行恢復(fù)處理來(lái)生成所述恢復(fù)圖像，利用所述第二 PSF，對(duì)所述第二掃描圖像執(zhí)行恢復(fù)處理來(lái)生成所述恢復(fù)圖像，利用所述第三PSF，對(duì)所述第三掃描圖像執(zhí)行恢復(fù)處理來(lái)生成所述恢復(fù)圖像。根據(jù)該結(jié)構(gòu)，本發(fā)明的實(shí)施方案之一涉及的圖像恢復(fù)裝置，由于能夠根據(jù)第一PSF、第二 PSF以及第三PSF中的兩個(gè)PSF計(jì)算剩下的PSF，因此不需要在PSF存儲(chǔ)部中存儲(chǔ)該剩下的PSF。據(jù)此，本發(fā)明的實(shí)施方案之一涉及的圖像恢復(fù)裝置，能夠減少PSF存儲(chǔ)部中存儲(chǔ)的PSF數(shù)據(jù)的容量。并且，也可以是，所述PSF計(jì)算部，通過(guò)對(duì)所述第一 PSF和所述第二 PSF進(jìn)行加法運(yùn)算，從而計(jì)算所述第三PSF。根據(jù)該結(jié)構(gòu)，本發(fā)明的實(shí)施方案之一涉及的圖像恢復(fù)裝置，由于能夠根據(jù)第一 PSF和第二 PSF計(jì)算第三PSF，因此不需要在PSF存儲(chǔ)部中存儲(chǔ)第三PSF。據(jù)此，本發(fā)明的實(shí)施方案之一涉及的圖像恢復(fù)裝置，能夠減少PSF存儲(chǔ)部中存儲(chǔ)的PSF數(shù)據(jù)的容量。并且，本發(fā)明的實(shí)施方案之一涉及的攝像裝置具備所述圖像恢復(fù)裝置；所述攝像元件；所述透鏡；掃描范圍決定部，將所述第一范圍、所述第二范圍以及所述第三范圍的某一個(gè)決定為所述掃描范圍；以及掃描攝像部，求出與所述掃描范圍對(duì)應(yīng)的所述像面?zhèn)群辖裹c(diǎn)，以能夠獲得在曝光中在所述像面?zhèn)群辖裹c(diǎn)間被進(jìn)行聚焦掃描的圖像的方式，使所述透鏡或所述攝像元件驅(qū)動(dòng)，從而使所述攝像元件拍攝所述掃描圖像。根據(jù)該結(jié)構(gòu)，本發(fā)明的實(shí)施方案之一涉及的攝像裝置，能夠減少PSF存儲(chǔ)部中存儲(chǔ)的PSF數(shù)據(jù)的容量。并且，也可以是，所述掃描范圍決定部，根據(jù)由用戶(hù)指定的指定范圍，將所述第一范圍、所述第二范圍以及所述第三范圍的某一個(gè)決定為所述掃描范圍。根據(jù)該結(jié)構(gòu)，本發(fā)明的實(shí)施方案之一涉及的攝像裝置，能夠?qū)崿F(xiàn)能夠掃描由用戶(hù)指定的合焦范圍的攝像裝置。并且，也可以是，所述掃描范圍決定部，在所述指定范圍與所述第一范圍、所述第 二范圍以及所述第三范圍都不一致的情況下，將所述第一范圍、所述第二范圍以及所述第三范圍之中的、所述指定范圍全部被包含在內(nèi)且最窄的范圍決定為所述掃描范圍。根據(jù)該結(jié)構(gòu)，本發(fā)明的實(shí)施方案之一涉及的攝像裝置，能夠減少PSF存儲(chǔ)部中存儲(chǔ)的PSF數(shù)據(jù)的容量。并且，也可以是，所述掃描攝像部，通過(guò)使作為所述攝像元件與所述透鏡的距離的像面?zhèn)染嚯x變位，從而使所述攝像元件的所述被攝體側(cè)的焦點(diǎn)位置變位，用于使所述被攝體側(cè)的焦點(diǎn)位置在所述第一范圍進(jìn)行掃描的所述像面?zhèn)染嚯x的變位量，與用于使所述被攝體側(cè)的焦點(diǎn)位置在所述第二范圍進(jìn)行掃描的所述像面?zhèn)染嚯x的變位量相等。根據(jù)該結(jié)構(gòu)，由于第一范圍和第二范圍的掃描距離相同，因此能夠提高第一 PSF與第二 PSF的類(lèi)似度。也就是說(shuō)，若在可允許的范圍內(nèi)確認(rèn)類(lèi)似性，則不記錄兩種PSF，而僅記錄一種PSF即可，因此能夠減少PSF數(shù)據(jù)的容量。而且，本發(fā)明，除了可以作為這樣的圖像恢復(fù)裝置以及攝像裝置來(lái)實(shí)現(xiàn)以外，也可以作為將圖像恢復(fù)裝置所包含的特征單元作為步驟的圖像恢復(fù)方法或攝像裝置的控制方法來(lái)實(shí)現(xiàn)，還可以作為使計(jì)算機(jī)執(zhí)行這樣的特征步驟的程序來(lái)實(shí)現(xiàn)。而且，當(dāng)然也可以通過(guò)CD-ROM等的非暫時(shí)的計(jì)算機(jī)可讀取的記錄介質(zhì)以及互聯(lián)網(wǎng)等傳輸介質(zhì)來(lái)分發(fā)這樣的程序。進(jìn)而，本發(fā)明，可以以實(shí)現(xiàn)這樣的圖像恢復(fù)裝置的功能的一部分或全部的半導(dǎo)體集成電路(LSI)來(lái)實(shí)現(xiàn)。發(fā)明效果以上，本發(fā)明能夠提供能夠減少用于存放PSF數(shù)據(jù)的存儲(chǔ)器的容量的圖像恢復(fù)裝置、攝像裝置以及圖像恢復(fù)方法。


圖I是本發(fā)明的實(shí)施例I涉及的攝像裝置的方框圖。圖2是本發(fā)明的實(shí)施例I涉及的由攝像裝置的處理的流程圖。圖3是本發(fā)明的實(shí)施例I涉及的PSF計(jì)算處理的流程圖。圖4是示出本發(fā)明的實(shí)施例I涉及的PSF計(jì)算處理的一個(gè)例子的圖。圖5是示出本發(fā)明的實(shí)施例I涉及的被攝體距離和像面?zhèn)染嚯x的圖。圖6是示出本發(fā)明的實(shí)施例I涉及的PSF的模型的圖。
圖7是示出本發(fā)明的實(shí)施例I涉及的像面?zhèn)染嚯x的變位模式的一個(gè)例子的圖。圖8是示出本發(fā)明的實(shí)施例I涉及的被攝體距離和像面?zhèn)染嚯x的關(guān)系的圖表。圖9是示出本發(fā)明的實(shí)施例I涉及的像面?zhèn)染嚯x的變位量的圖。圖10是本發(fā)明的實(shí)施例I涉及的圖像恢復(fù)裝置的方框圖。圖11是本發(fā)明的實(shí)施例I涉及的由圖像恢復(fù)裝置的處理的流程圖。圖12是本發(fā)明的實(shí)施例2涉及的掃描范圍決定處理的流程圖。圖13是示出本發(fā)明的實(shí)施例2涉及的掃描范圍決定處理的一個(gè)例子的圖。
具體實(shí)施方式
以下，參照附圖詳細(xì)說(shuō)明本發(fā)明涉及的攝像裝置的實(shí)施方式。而且，以下說(shuō)明的實(shí)施例，都示出本發(fā)明的優(yōu)選的一個(gè)具體例。以下的實(shí)施例所示的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置以及連接形態(tài)、步驟、步驟的順序等，是一個(gè)例子，而不是限定本發(fā)明的宗旨。本發(fā)明，僅由權(quán)利要求書(shū)限定。因此，對(duì)于以下的實(shí)施例的構(gòu)成要素中的、示出本發(fā)明的最上位概念的獨(dú)立請(qǐng)求要求中沒(méi)有記載的構(gòu)成要素，為了實(shí)現(xiàn)本發(fā)明的問(wèn)題而并不一定需要，但是，被說(shuō)明為構(gòu)成更優(yōu)選的形態(tài)的要素。(實(shí)施例I)本發(fā)明的實(shí)施例I涉及的攝像裝置，通過(guò)對(duì)第一范圍的PSF與第二范圍的PSF進(jìn)行加法運(yùn)算，從而計(jì)算第三范圍的PSF。據(jù)此，該攝像裝置，由于不需要將第三范圍的PSF存儲(chǔ)到存儲(chǔ)器，因此能夠減少要存儲(chǔ)到存儲(chǔ)器的PSF數(shù)據(jù)的容量。首先，說(shuō)明本發(fā)明的實(shí)施例I涉及的攝像裝置的結(jié)構(gòu)。圖I是本發(fā)明的實(shí)施例I涉及的攝像裝置100的方框圖。攝像裝置100是，例如數(shù)字靜態(tài)相機(jī)或數(shù)字?jǐn)z像機(jī)。該攝像裝置100，具有能夠掃描任意的合焦范圍的F — DOF功能。具體而言，攝像裝置100，生成在作為由用戶(hù)指定的合焦范圍的指定范圍130掃描合焦位置后的掃描圖像131。而且，攝像裝置100，利用PSFJi生成的掃描圖像131執(zhí)行恢復(fù)處理，從而生成對(duì)焦于指定范圍130全部的恢復(fù)圖像132。該攝像裝置100具備，攝像元件101、透鏡102、掃描范圍決定部103、掃描攝像部104、以及圖像恢復(fù)裝置110。攝像元件101，通過(guò)對(duì)射入光進(jìn)行光電變換，從而生成圖像數(shù)據(jù)(掃描圖像131)。透鏡102，使光聚光于攝像元件101。掃描范圍決定部103，根據(jù)由用戶(hù)指定的指定范圍130，決定掃描范圍133。在此，掃描范圍，不示出像面?zhèn)?，而示出被攝體側(cè)的范圍概念。例如，掃描范圍決定部103，將預(yù)先規(guī)定的多個(gè)范圍中的、指定范圍130所示的范圍，決定為掃描范圍133。掃描攝像部104，一邊使攝像元件101的焦點(diǎn)位置在掃描范圍133掃描，一邊使攝像元件101拍攝掃描圖像131。具體而言，掃描攝像部104，求出與掃描范圍133對(duì)應(yīng)的像面?zhèn)群辖裹c(diǎn)位置的兩點(diǎn)，使透鏡102或攝像元件102驅(qū)動(dòng)，以使得能夠獲得在曝光中在該像面?zhèn)群辖裹c(diǎn)位置的兩點(diǎn)間被進(jìn)行聚焦掃描的圖像，從而使所述攝像元件拍攝所述掃描圖像。也就是說(shuō)，掃描圖像131是，在攝像元件101的被攝體側(cè)的焦點(diǎn)位置在掃描范圍133掃描的期間，由該攝像元件101拍攝的圖像。換而言之，掃描圖像131是，攝像元件101或透鏡102被驅(qū)動(dòng)，從而在曝光中在與包含想要合焦的所希望的距離范圍的掃描范圍對(duì)應(yīng)的像面?zhèn)群辖裹c(diǎn)間被進(jìn)行聚焦掃描的圖像。而且，在此，可以使透鏡102整體變動(dòng)，也可以使構(gòu)成透鏡的一部分的聚焦透鏡驅(qū)動(dòng)。圖像恢復(fù)裝置110，通過(guò)對(duì)掃描圖像131執(zhí)行恢復(fù)處理，從而生成景深擴(kuò)展了的恢復(fù)圖像132。具體而言，圖像恢復(fù)裝置110，利用與掃描范圍133對(duì)應(yīng)的PSF，對(duì)掃描圖像131執(zhí)行恢復(fù)處理。在此，恢復(fù)圖像132是，對(duì)焦于掃描范圍133全部的圖像。該圖像恢復(fù)裝置110具備，PSF存儲(chǔ)部IlUPSF計(jì)算部112、以及圖像恢復(fù)部113。PSF存儲(chǔ)部111，存儲(chǔ)與多個(gè)掃描范圍133對(duì)應(yīng)的多個(gè)PSF數(shù)據(jù)。而且，在此，說(shuō)明PSF存儲(chǔ)部111存儲(chǔ)四個(gè)PSF數(shù)據(jù)(第一范圍PSF121、第二范圍PSF122、第三范圍PSF123以及第四范圍PSF124)的例子。并且，用戶(hù)能夠指定的掃描范圍，比由PSF存儲(chǔ)部111存儲(chǔ)的PSF數(shù)據(jù)的數(shù)量多。PSF計(jì)算部112，通過(guò)對(duì)由PSF存儲(chǔ)部111存儲(chǔ)的多個(gè)PSF數(shù)據(jù)之中的兩個(gè)以上進(jìn)行加法運(yùn)算以及歸一化，從而計(jì)算與掃描范圍133對(duì)應(yīng)的新的PSF數(shù)據(jù)。 圖像恢復(fù)部113，利用由PSF存儲(chǔ)部111存儲(chǔ)的多個(gè)PSF數(shù)據(jù)的某一個(gè)、或由PSF計(jì)算部112計(jì)算出的PSF數(shù)據(jù)，對(duì)掃描圖像131執(zhí)行恢復(fù)處理，從而生成恢復(fù)圖像132。接著，說(shuō)明攝像裝置100的工作。圖2是由攝像裝置100的拍攝處理的流程圖。首先，掃描范圍決定部103，根據(jù)由用戶(hù)指定的指定范圍130，決定掃描范圍133 (SlOl)。例如，用戶(hù)，選擇預(yù)先規(guī)定的多個(gè)掃描范圍之中的某一個(gè)。掃描范圍決定部103，將由用戶(hù)指定的范圍決定為掃描范圍133。接著，一邊使攝像元件101的焦點(diǎn)位置在掃描范圍133內(nèi)掃描，一邊使攝像元件101拍攝掃描圖像131(S102)。接著，PSF計(jì)算部112，計(jì)算與掃描范圍133對(duì)應(yīng)的PSF數(shù)據(jù)(S103)。以下，詳細(xì)說(shuō)明該步驟S103的處理。圖3是由PSF計(jì)算部112的PSF計(jì)算處理的流程圖。并且，圖4是由PSF計(jì)算部112的PSF計(jì)算處理的一個(gè)例子的圖。如圖3示出，首先，PSF計(jì)算部112，獲得由掃描范圍決定部103決定的掃描圖像131的掃描范圍133 (Slll)。在此，如圖4示出，掃描范圍133是，將lm、3m、5m以及IOm的某一個(gè)作為一端、將3m、5m、IOm以及無(wú)窮遠(yuǎn)(m )的某一個(gè)作為另一端的10種范圍。并且，由PSF存儲(chǔ)部111存儲(chǔ)的第一范圍PSF121，與Im至3m的掃描范圍對(duì)應(yīng)，第二范圍PSF122與3m至5m的掃描范圍對(duì)應(yīng)，第三范圍PSF123與5m至IOm的掃描范圍對(duì)應(yīng)，第四范圍PSF124與IOm至無(wú)窮遠(yuǎn)的掃描范圍對(duì)應(yīng)。如此，在本發(fā)明的實(shí)施例I涉及的攝像裝置100中，PSF存儲(chǔ)部111，僅存儲(chǔ)與將掃描可能范圍(在此，Im至無(wú)窮遠(yuǎn))劃分為多個(gè)后的各個(gè)部分范圍對(duì)應(yīng)的PSF數(shù)據(jù)。并且，用戶(hù)能夠指定的掃描范圍是，這樣的多個(gè)部分范圍、和合并了該多個(gè)部分范圍中連續(xù)的兩個(gè)以上的部分范圍的多種范圍。接著，PSF計(jì)算部112，判定與在步驟Slll中獲得的掃描范圍133對(duì)應(yīng)的PSF數(shù)據(jù)是否被存儲(chǔ)在PSF存儲(chǔ)部111中(SI 12)。在所述例子中，PSF計(jì)算部112，在掃描范圍133為Im至3m、3m至5m、5m至10m、以及IOm至無(wú)窮遠(yuǎn)的某一個(gè)的情況下,判定為與掃描范圍133對(duì)應(yīng)的PSF數(shù)據(jù)被存儲(chǔ)在PSF存儲(chǔ)部111中(S112的“是”)。并且，PSF計(jì)算部112，在掃描范圍133為它們以外(例如，Im至IOm等)的情況下，判定為與掃描范圍133對(duì)應(yīng)的PSF數(shù)據(jù)沒(méi)有被存儲(chǔ)在PSF存儲(chǔ)部111中(S112的“否”)。在與掃描范圍133對(duì)應(yīng)的PSF數(shù)據(jù)被存儲(chǔ)在PSF存儲(chǔ)部111中的情況下(SI 12的“是”)，PSF計(jì)算部112，將與該掃描范圍133對(duì)應(yīng)的PSF數(shù)據(jù)從PSF存儲(chǔ)部111獲得(SI 13)。而且，PSF計(jì)算部112，將獲得的PSF數(shù)據(jù)傳遞給圖像恢復(fù)部113。另一方面，在與掃描范圍133對(duì)應(yīng)的PSF數(shù)據(jù)沒(méi)有被存儲(chǔ)在PSF存儲(chǔ)部111中的情況下(S112的“否”)，PSF計(jì)算部112，將與掃描范圍133中包含的多個(gè)部分范圍對(duì)應(yīng)的PSF數(shù)據(jù)從PSF存儲(chǔ)部111獲得(SI 14)。接著，PSF計(jì)算部112，通過(guò)對(duì)獲得的與多個(gè)部分范圍對(duì)應(yīng)的PSF數(shù)據(jù)進(jìn)行加法運(yùn)算以及歸一化，從而計(jì)算與掃描范圍133對(duì)應(yīng)的PSF數(shù)據(jù)(SI 15以及SI 16)。而且，PSF計(jì)算部112，將計(jì)算出的PSF數(shù)據(jù)傳遞給圖像恢復(fù)部113。 例如，如圖4示出，在掃描范圍133為Im至5m的情況下，PSF計(jì)算部112，通過(guò)對(duì)第一范圍PSF121和第二范圍PSF122進(jìn)行加法運(yùn)算以及歸一化，從而計(jì)算與Im至5m對(duì)應(yīng)的PSF數(shù)據(jù)。并且，在掃描范圍133為Im至IOm的情況下，PSF計(jì)算部112，通過(guò)對(duì)第一范圍PSF121和第二范圍PSF122和第三范圍PSF123進(jìn)行加法運(yùn)算以及歸一化，從而計(jì)算與Im至IOm對(duì)應(yīng)的PSF數(shù)據(jù)。再次，利用圖2示出的流程圖進(jìn)行說(shuō)明。在PSF計(jì)算處理(S103)之后，圖像恢復(fù)部113，利用從PSF計(jì)算部112傳遞的、與掃描范圍133對(duì)應(yīng)的PSF數(shù)據(jù)，對(duì)掃描圖像131執(zhí)行恢復(fù)處理，從而生成恢復(fù)圖像132(S104)。而且，圖像恢復(fù)部113，將生成的恢復(fù)圖像132，輸出給攝像裝置100的外部、或存儲(chǔ)到攝像裝置100具備的存儲(chǔ)部(未圖示)。如上所述，本發(fā)明的實(shí)施例I涉及的攝像裝置100，根據(jù)由PSF存儲(chǔ)部111存儲(chǔ)的多個(gè)PSF數(shù)據(jù)，能夠計(jì)算與新的范圍對(duì)應(yīng)的PSF數(shù)據(jù)。據(jù)此，PSF存儲(chǔ)部111，不需要存儲(chǔ)該與新的范圍對(duì)應(yīng)的PSF數(shù)據(jù)。據(jù)此，本發(fā)明的實(shí)施例I涉及的攝像裝置100，能夠減少要存儲(chǔ)到PSF存儲(chǔ)部111的PSF數(shù)據(jù)的容量。并且，對(duì)于圖2示出的步驟S102至S104的處理，在拍攝靜止圖像的情況下，按每一張靜止圖像的拍攝進(jìn)行，在拍攝運(yùn)動(dòng)圖像的情況下，按每一幀進(jìn)行。并且，在拍攝靜止圖像的情況下，對(duì)于步驟SlOl的處理，可以按每一張靜止圖像的拍攝進(jìn)行，也可以預(yù)先進(jìn)行步驟SlOl的處理，然后，利用在步驟SlOl中設(shè)定的掃描范圍133，拍攝多張靜止圖像。并且，在拍攝運(yùn)動(dòng)圖像的情況下，典型而言，對(duì)于步驟SlOl的處理，按照一次或多次的運(yùn)動(dòng)圖像的拍攝進(jìn)行。并且，在所述說(shuō)明中，掃描范圍決定部103，根據(jù)由用戶(hù)指定的指定范圍130決定掃描范圍133，但是，掃描范圍決定部103也可以，按照攝像裝置100具備的傳感器的檢測(cè)結(jié)果，自動(dòng)決定掃描范圍133。例如，掃描范圍決定部103也可以，按照用于自動(dòng)對(duì)焦功能等的到被攝體為止的距離、或被攝景物的狀態(tài)(例如，亮度)，決定掃描范圍133。并且，這樣的到被攝體為止的距離以及被攝景物的狀態(tài)是，也可以是從拍攝的圖像計(jì)算出的。進(jìn)而，掃描范圍決定部103，可以根據(jù)這樣的信息和指定范圍130決定掃描范圍133，也可以按照這樣的信息對(duì)掃描范圍133進(jìn)行調(diào)整。
進(jìn)而，在拍攝運(yùn)動(dòng)圖像時(shí)，在如此自動(dòng)決定或調(diào)整掃描范圍133的情況下，掃描范圍133的決定或調(diào)整處理是，每一個(gè)或多個(gè)幀進(jìn)行的。并且，在所述說(shuō)明中，說(shuō)明了 PSF存儲(chǔ)部111存儲(chǔ)四個(gè)PSF數(shù)據(jù)的例子，但是，對(duì)于PSF存儲(chǔ)部111存儲(chǔ)的PSF數(shù)據(jù)的數(shù)量，若是兩個(gè)以上，則可以是任意的數(shù)量。換而言之，將掃描可能范圍(所述例子中，Im至無(wú)窮遠(yuǎn))劃分后的多個(gè)部分范圍的數(shù)量為兩個(gè)以上即可。也就是說(shuō)，攝像裝置100，對(duì)于掃描范圍133，能夠至少選擇第一范圍、與該第一范圍連續(xù)的第二范圍、以及作為合并了該第一范圍和該第二范圍的范圍的第三范圍即可。并且，在此情況下，PSF存儲(chǔ)部111存儲(chǔ)與第一范圍以及第二范圍對(duì)應(yīng)的PSF數(shù)據(jù)即可。并且，所述第二范圍也可以是，不包含第一范圍的范圍。而且，從各種處理的效率化的觀點(diǎn)來(lái)看，優(yōu)選的是，部分范圍的數(shù)量為，2的η冪(η為I以上的整數(shù))。例如，該部分范圍的數(shù)量為4、8、16、32或64。以下，對(duì)于通過(guò)對(duì)多個(gè)連續(xù)的部分范圍的PSF數(shù)據(jù)進(jìn)行加法運(yùn)算，從而能夠計(jì)算合并了該多個(gè)部分范圍的范圍的PSF數(shù)據(jù)的原理，進(jìn)行說(shuō)明。圖5是示出被攝體、透鏡102以及攝像元件101的關(guān)系的圖。如圖5示出，將被攝體M與透鏡102之間的距離設(shè)為被攝體距離U，將透鏡102與攝像元件101之間的距離設(shè)為像面?zhèn)染嚯xV。在此情況下，在被攝體距離U和像面?zhèn)染嚯xV和焦點(diǎn)距離f中，一般而言，根據(jù)透鏡的公式，成立下述(式I)的關(guān)系。算式I
權(quán)利要求
1.一種圖像恢復(fù)裝置，通過(guò)對(duì)由攝像元件拍攝的掃描圖像執(zhí)行恢復(fù)處理，從而生成景深擴(kuò)展了的恢復(fù)圖像，所述掃描圖像是，攝像元件或使光聚集于所述攝像元件的透鏡被驅(qū)動(dòng)，從而在曝光中在與掃描范圍對(duì)應(yīng)的像面?zhèn)群辖裹c(diǎn)間被進(jìn)行聚焦掃描的圖像，并且，所述掃描范圍包含想要合焦的所希望的距離范圍，所述圖像恢復(fù)裝置具備 點(diǎn)擴(kuò)散函數(shù)存儲(chǔ)部，存儲(chǔ)第一點(diǎn)擴(kuò)散函數(shù)、第二點(diǎn)擴(kuò)散函數(shù)、以及第三點(diǎn)擴(kuò)散函數(shù)之中的某兩個(gè)點(diǎn)擴(kuò)散函數(shù)，(I)所述第一點(diǎn)擴(kuò)散函數(shù)用于對(duì)第一掃描圖像執(zhí)行恢復(fù)處理，所述第一掃描圖像是所述掃描范圍為第一范圍時(shí)的所述掃描圖像，(2)所述第二點(diǎn)擴(kuò)散函數(shù)用于對(duì)第二掃描圖像執(zhí)行恢復(fù)處理，所述第二掃描圖像是所述掃描范圍為不包含所述第一范圍的第二范圍時(shí)的所述掃描圖像，(3)所述第三點(diǎn)擴(kuò)散函數(shù)用于對(duì)第三掃描圖像執(zhí)行恢復(fù)處理，所述第三掃描圖像是所述掃描范圍為第三范圍時(shí)的所述掃描圖像，所述第三范圍是合并了所述第一范圍和所述第二范圍的范圍； 點(diǎn)擴(kuò)散函數(shù)計(jì)算部，通過(guò)對(duì)所述兩個(gè)點(diǎn)擴(kuò)散函數(shù)進(jìn)行加法運(yùn)算或減法運(yùn)算，從而計(jì)算所述第一點(diǎn)擴(kuò)散函數(shù)、所述第二點(diǎn)擴(kuò)散函數(shù)以及所述第三點(diǎn)擴(kuò)散函數(shù)之中的剩下的一個(gè)；以及 圖像恢復(fù)部，利用所述第一點(diǎn)擴(kuò)散函數(shù)，對(duì)所述第一掃描圖像執(zhí)行恢復(fù)處理來(lái)生成所述恢復(fù)圖像，利用所述第二點(diǎn)擴(kuò)散函數(shù)，對(duì)所述第二掃描圖像執(zhí)行恢復(fù)處理來(lái)生成所述恢復(fù)圖像，利用所述第三點(diǎn)擴(kuò)散函數(shù)，對(duì)所述第三掃描圖像執(zhí)行恢復(fù)處理來(lái)生成所述恢復(fù)圖像。
2.如權(quán)利要求I所述的圖像恢復(fù)裝置， 所述點(diǎn)擴(kuò)散函數(shù)計(jì)算部，通過(guò)對(duì)所述第一點(diǎn)擴(kuò)散函數(shù)和所述第二點(diǎn)擴(kuò)散函數(shù)進(jìn)行加法運(yùn)算，從而計(jì)算所述第三點(diǎn)擴(kuò)散函數(shù)。
3.一種攝像裝置，具備 權(quán)利要求I或2所述的圖像恢復(fù)裝置； 所述攝像元件； 所述透鏡； 掃描范圍決定部，將所述第一范圍、所述第二范圍以及所述第三范圍的某一個(gè)決定為所述掃描范圍；以及 掃描攝像部，求出與所述掃描范圍對(duì)應(yīng)的所述像面?zhèn)群辖裹c(diǎn)，以能夠獲得在曝光中在所述像面?zhèn)群辖裹c(diǎn)間被進(jìn)行聚焦掃描的圖像的方式，使所述透鏡或所述攝像元件驅(qū)動(dòng)，從而使所述攝像元件拍攝所述掃描圖像。
4.如權(quán)利要求3所述的攝像裝置， 所述掃描范圍決定部，根據(jù)由用戶(hù)指定的指定范圍，將所述第一范圍、所述第二范圍以及所述第三范圍的某一個(gè)決定為所述掃描范圍。
5.如權(quán)利要求4所述的攝像裝置， 所述掃描范圍決定部，在所述指定范圍與所述第一范圍、所述第二范圍以及所述第三范圍都不一致的情況下，將所述第一范圍、所述第二范圍以及所述第三范圍之中的、所述指定范圍全部被包含在內(nèi)且最窄的范圍決定為所述掃描范圍。
6.如權(quán)利要求3所述的攝像裝置， 所述掃描攝像部，通過(guò)使作為所述攝像元件與所述透鏡的距離的像面?zhèn)染嚯x變位，從而使所述攝像元件的所述被攝體側(cè)的焦點(diǎn)位置變位， 用于使所述被攝體側(cè)的焦點(diǎn)位置在所述第一范圍進(jìn)行掃描的所述像面?zhèn)染嚯x的變位量，與用于使所述被攝體側(cè)的焦點(diǎn)位置在所述第二范圍進(jìn)行掃描的所述像面?zhèn)染嚯x的變位量相等。
7.一種圖像恢復(fù)方法，通過(guò)對(duì)由攝像元件拍攝的掃描圖像執(zhí)行恢復(fù)處理，從而生成景深擴(kuò)展了的恢復(fù)圖像，所述掃描圖像是，攝像元件或使光聚集于所述攝像元件的透鏡被驅(qū)動(dòng)，從而在曝光中在與掃描范圍對(duì)應(yīng)的像面?zhèn)群辖裹c(diǎn)間被進(jìn)行聚焦掃描的圖像，并且，所述掃描范圍包含想要合焦的所希望的距離范圍，所述圖像恢復(fù)方法包括 點(diǎn)擴(kuò)散函數(shù)計(jì)算步驟，通過(guò)對(duì)第一點(diǎn)擴(kuò)散函數(shù)、第二點(diǎn)擴(kuò)散函數(shù)、以及第三點(diǎn)擴(kuò)散函數(shù)之中的某兩個(gè)點(diǎn)擴(kuò)散函數(shù)行加法運(yùn)算或減法運(yùn)算，從而計(jì)算所述第一點(diǎn)擴(kuò)散函數(shù)、所述第二點(diǎn)擴(kuò)散函數(shù)以及所述第三點(diǎn)擴(kuò)散函數(shù)之中的剩下的一個(gè)，(I)所述第一點(diǎn)擴(kuò)散函數(shù)用于對(duì)第一掃描圖像執(zhí)行恢復(fù)處理，所述第一掃描圖像是所述掃描范圍為第一范圍時(shí)的所述掃描圖像，(2)所述第二點(diǎn)擴(kuò)散函數(shù)用于對(duì)第二掃描圖像執(zhí)行恢復(fù)處理，所述第二掃描圖像是所述掃描范圍為不包含所述第一范圍的第二范圍時(shí)的所述掃描圖像，(3)所述第三點(diǎn)擴(kuò)散函數(shù)用于對(duì)第三掃描圖像執(zhí)行恢復(fù)處理，所述第三掃描圖像是所述掃描范圍為第三范圍時(shí)的所述掃描圖像，所述第三范圍是合并了所述第一范圍和所述第二范圍的范圍；以及 圖像恢復(fù)步驟，利用所述第一點(diǎn)擴(kuò)散函數(shù)，對(duì)所述第一掃描圖像執(zhí)行恢復(fù)處理來(lái)生成所述恢復(fù)圖像，利用所述第二點(diǎn)擴(kuò)散函數(shù)，對(duì)所述第二掃描圖像執(zhí)行恢復(fù)處理來(lái)生成所述恢復(fù)圖像，利用所述第三點(diǎn)擴(kuò)散函數(shù)，對(duì)所述第三掃描圖像執(zhí)行恢復(fù)處理來(lái)生成所述恢復(fù)圖像。
8.一種程序，用于使計(jì)算機(jī)執(zhí)行權(quán)利要求7所述的圖像恢復(fù)方法。
9.一種集成電路，通過(guò)對(duì)由攝像元件拍攝的掃描圖像執(zhí)行恢復(fù)處理，從而生成景深擴(kuò)展了的恢復(fù)圖像，所述掃描圖像是，攝像元件或使光聚集于所述攝像元件的透鏡被驅(qū)動(dòng)，從而在曝光中在與掃描范圍對(duì)應(yīng)的像面?zhèn)群辖裹c(diǎn)間被進(jìn)行聚焦掃描的圖像，并且，所述掃描范圍包含想要合焦的所希望的距離范圍，所述集成電路具備 點(diǎn)擴(kuò)散函數(shù)存儲(chǔ)部，存儲(chǔ)第一點(diǎn)擴(kuò)散函數(shù)、第二點(diǎn)擴(kuò)散函數(shù)、以及第三點(diǎn)擴(kuò)散函數(shù)之中的某兩個(gè)點(diǎn)擴(kuò)散函數(shù)，(I)所述第一點(diǎn)擴(kuò)散函數(shù)用于對(duì)第一掃描圖像執(zhí)行恢復(fù)處理，所述第一掃描圖像是所述掃描范圍為第一范圍時(shí)的所述掃描圖像，(2)所述第二點(diǎn)擴(kuò)散函數(shù)用于對(duì)第二掃描圖像執(zhí)行恢復(fù)處理，所述第二掃描圖像是所述掃描范圍為不包含所述第一范圍的第二范圍時(shí)的所述掃描圖像，(3)所述第三點(diǎn)擴(kuò)散函數(shù)用于對(duì)第三掃描圖像執(zhí)行恢復(fù)處理，所述第三掃描圖像是所述掃描范圍為第三范圍時(shí)的所述掃描圖像，所述第三范圍是合并了所述第一范圍和所述第二范圍的范圍； 點(diǎn)擴(kuò)散函數(shù)計(jì)算部，通過(guò)對(duì)所述兩個(gè)點(diǎn)擴(kuò)散函數(shù)進(jìn)行加法運(yùn)算或減法運(yùn)算，從而計(jì)算所述第一點(diǎn)擴(kuò)散函數(shù)、所述第二點(diǎn)擴(kuò)散函數(shù)以及所述第三點(diǎn)擴(kuò)散函數(shù)之中的剩下的一個(gè)；以及 圖像恢復(fù)部，利用所述第一點(diǎn)擴(kuò)散函數(shù)，對(duì)所述第一掃描圖像執(zhí)行恢復(fù)處理來(lái)生成所述恢復(fù)圖像，利用所述第二點(diǎn)擴(kuò)散函數(shù)，對(duì)所述第二掃描圖像執(zhí)行恢復(fù)處理來(lái)生成所述恢復(fù)圖像，利用所述第三點(diǎn)擴(kuò)散函數(shù)，對(duì)所述第三掃描圖像執(zhí)行恢復(fù)處理來(lái)生成所述恢復(fù)圖像。
全文摘要
本發(fā)明涉及的圖像恢復(fù)裝置(110)具備PSF存儲(chǔ)部(111)，存儲(chǔ)用于對(duì)作為掃描范圍(133)為第一范圍時(shí)的掃描圖像(131)的第一掃描圖像執(zhí)行恢復(fù)處理的第一范圍PSF(121)、用于對(duì)作為掃描范圍(133)為不包含第一范圍的第二范圍時(shí)的掃描圖像(131)的第二掃描圖像執(zhí)行恢復(fù)處理的第二范圍PSF(122)、以及用于對(duì)作為掃描范圍(133)為合并了第一范圍和第二范圍的范圍的第三范圍時(shí)的掃描圖像(131)的第三掃描圖像執(zhí)行恢復(fù)處理的第三范圍PSF之中的某兩個(gè)PSF；以及PSF計(jì)算部(112)，通過(guò)對(duì)所述兩個(gè)PSF進(jìn)行加法運(yùn)算或減法運(yùn)算，從而計(jì)算第一范圍PSF、第二范圍PSF以及第三范圍PSF之中的剩下的一個(gè)。
文檔編號(hào)G02B7/08GK102804751SQ20128000094
公開(kāi)日2012年11月28日 申請(qǐng)日期2012年1月30日 優(yōu)先權(quán)日2011年1月31日
發(fā)明者河村岳 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社