專利名稱：用于對圖像進(jìn)行捕捉和去模糊的數(shù)字相機和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于對圖像進(jìn)行捕捉和去模糊(deblur)的數(shù)字相機和方法。本發(fā)明還涉及用于對圖像進(jìn)行去模糊的圖像處理器和相應(yīng)的圖像處理方法，以及用于在計算機上實現(xiàn)該圖像處理方法的計算機程序和計算機可讀非暫時介質(zhì)。本發(fā)明尤其涉及用于消除數(shù)字相片中的模糊偽像以提高圖像質(zhì)量的數(shù)字圖像處理領(lǐng)域。
背景技術(shù)：
運動模糊是數(shù)字?jǐn)z影領(lǐng)域的公知問題，其由不穩(wěn)定的手部運動引起，或者在對相對于相機進(jìn)行移動的物體進(jìn)行成像時發(fā)生。在移動物體的情況下，圖像沿著物體的相對運動方向而變得模糊。現(xiàn)有技術(shù)中已知用于對模糊圖像進(jìn)行去模糊的若干去模糊技術(shù)。這些技術(shù)中的一種稱為短曝光時間成像。然而，短曝光時間成像提出了若干挑戰(zhàn)。首先，在短曝光時間成像的情況下，每個單獨捕捉的幀充滿噪聲，這是因為減少曝光時間也使到達(dá)光傳感器的光子的數(shù)目減少。另外，因為光傳感器未捕捉到足夠的光，所以也丟失色調(diào)?，F(xiàn)代相機利用圖像穩(wěn)定技術(shù)來解決運動模糊問題，其中運動傳感器控制機械致動器，機械致動器在圖像曝光期間實時使傳感器或相機移動，以補償相機的運動。然而，該方法僅補償由相機運動引起的運動模糊，而不補償由被成像物體的運動引起的模糊偽像。已知在傳統(tǒng)相機中使用的其他去模糊技術(shù)，這些技術(shù)利用所捕捉圖像的去卷積 (deconvolution)。然而，在這些方法的情況下，因為相機曝光的盒狀性質(zhì)而丟失高空間頻率。這經(jīng)常引起高頻內(nèi)容的拖影(smearing)。傳統(tǒng)上使用的點擴展函數(shù)(PSF，Point Spread Function)的傅立葉頻譜在其頻譜中包含零，使得反濾波(inverse filtering)將放大噪聲并產(chǎn)生振鈴偽像，從而使得去卷積成為不適定的問題(ill-posed problem)。R. RASKAR 等人在 ACM Trans. Graph.，25 (3) 795-804，2006 中發(fā)表的 “Coded exposure photography :Motion_deblurring using fluttered shutter，，由提出的振翼快門(Flutter Shutter)方法由于其寬帶濾波行為而使得去卷積問題適定(well-posed)。利用該方法，快門在曝光時間期間根據(jù)隨機二進(jìn)制編碼序列而打開和閉合。該序列被選擇為使得由此得到的運動模糊PSF具有平坦的頻譜并且高空間頻率被保留。振翼快門方法由此修改線段內(nèi)核(kernel)(通常的運動模糊內(nèi)核)以實現(xiàn)更寬帶的頻率響應(yīng)，這允許極大改善的去卷積結(jié)果。然而，該方法依賴于用戶交互來估計正確的PSF，因為PSF的長度和方向取決于物體的運動。然而，所捕捉圖像內(nèi)的不同物體或區(qū)域可具有不同的運動方法和速度。 因此，該技術(shù)為以已知恒定速度移動的成像物體提供了非常好的結(jié)果。另一方面，振翼快門方法已顯示出對以未知或變化速度移動的成像物體是不適當(dāng)?shù)?。在US 2009/0244300A1 及 A. Levin,P. Sand,Τ. S. Cho、F. Durand 和 W. Τ. Freeman 的 "Motion-Invariant Photography", ACM Trans. Graph, . 27(3) : 1—9，2008 中&Jf 了另一禾爾為運動不變(Motion Invariant)攝影(MIP)的方法。MIP方法通過以如下方式在曝光時間期間機械地移動相機或傳感器或鏡頭元件來解決上面提到的挑戰(zhàn)場景的靜止和移動部分在某一速度范圍內(nèi)同樣變得均勻地模糊。利用已知的內(nèi)核，可以用單次去卷積除去模糊，而無需任何運動估計和圖像分割。然而，移動物體的方向仍必須是已知的。相機的該類特殊機械運動使得模糊不隨物體的速度變化。通過作為時空域中的積分來分析運動模糊，已證明唯一產(chǎn)生運動不變PSF的積分曲線是拋物線。因此，在MIP方法中，隨著時間的過去根據(jù)一維拋物線函數(shù)使用特殊硬件構(gòu)造來機械地移動相機。換言之，相機的移動通過以如下方式移動而遵循拋物線路徑起初以最大速度橫向移動并減慢至停止，然后在相反方向上橫向移動，在該相反方向上將速度提高為范圍中的最大速度并最終停止。在成像期間，機械移動的相機因此使整個場景模糊。 這種模糊的方式對于場景中的移動部分的速度是不變的。因為利用相同的PSF來使包括靜止和移動部分在內(nèi)的整個場景模糊，因此可以通過單次去卷積除去模糊。然而，MIP方法也示出若干缺點。首先，為了以拋物線方式使相機(或鏡頭或傳感器)機械旋轉(zhuǎn)，需要復(fù)雜的硬件布置。另外，以線性方式(例如沿著V形軌跡)機械地移動相機(即相機傳感器)是不可能的或者至少是相當(dāng)復(fù)雜的。MIP方法還限于一維相機運動。由于一維相機運動的限制，在沿著相機的軌跡移動相機之前，場景內(nèi)的移動部分的方向必須是預(yù)先知道的，這也是相當(dāng)不利的。

發(fā)明內(nèi)容
因而本發(fā)明的一個目的是提供用于對圖像進(jìn)行捕捉和去模糊的數(shù)字相機和方法， 該數(shù)字相機和方法克服了現(xiàn)有技術(shù)的上述問題并且尤其解決了 MIP方法的上述問題中的一個或多個，即特殊硬件要求、一維相機運動限制、沿著線性軌跡執(zhí)行相機移動的復(fù)雜性以及對知曉場景內(nèi)的移動部分的移動方向的要求。根據(jù)本發(fā)明的一個方面，提供了一種數(shù)字相機，包括幀捕捉裝置，用于捕捉場景的一組幀，幀移位裝置，用于在與圖像平面平行的方向上以電子方式使所捕捉的所述一組幀中的一個或多個幀相對于彼此移位以獲得一組移位幀，圖像形成裝置，用于累積所述一組移位幀中的幀和所捕捉的所述一組幀中的至少一個幀以獲得運動不變的模糊圖像，以及去卷積裝置，用于對所述運動不變的模糊圖像去卷積以獲得去模糊圖像。根據(jù)本發(fā)明的另一方面，提供了一種包括這種幀移位裝置、圖像形成裝置和去卷積裝置的圖像處理器。根據(jù)本發(fā)明的另一方面，提供了根據(jù)如上面定義的本發(fā)明用于對圖像進(jìn)行捕捉和去模糊的方法以及用于對圖像進(jìn)行去模糊的圖像處理方法。另外，根據(jù)另一方面，提供了一種計算機程序，其包括用于當(dāng)所述計算機程序在計算機上執(zhí)行時使該計算機執(zhí)行根據(jù)本發(fā)明的圖像處理方法的步驟的程序代碼裝置。最后，根據(jù)另一方面，提供了一種計算機可讀非暫時介質(zhì)，其上存儲有指令，所述指令當(dāng)在計算機上執(zhí)行時使該計算機執(zhí)行根據(jù)本發(fā)明的方法的步驟。在從屬權(quán)利要求中定義了本發(fā)明的優(yōu)選實施例。應(yīng)當(dāng)明白，所要求保護(hù)的數(shù)字相機、所要求保護(hù)的圖像處理器、相應(yīng)的方法以及所要求保護(hù)的計算機程序具有與所要求保護(hù)的數(shù)碼相機和在從屬權(quán)利要求中定義的類似和/或相同的優(yōu)選實施例。
根據(jù)本發(fā)明已經(jīng)認(rèn)識到，通過提供用于在累積所捕捉幀之后以電子方式使這些幀移位以獲得運動不變的模糊圖像的幀移位裝置然后通過利用單次去卷積對模糊圖像去模糊，實現(xiàn)了與在US 2009/0244300 Al中公開的MIP方法相比有極大改善的方法。與MIP方法相比，不再通過在曝光期間機械地移動像相機、鏡頭或傳感器之類的任何硬件來使所捕捉幀移位。根據(jù)本發(fā)明，任何種類的數(shù)字相機可被用來捕捉成像場景的一組幀。不再需要根據(jù)MIP方法所需要的用于機械地移動相機或其部件的復(fù)雜硬件布置。利用所提出的方法，所捕捉的幀被以電子方式偏移，意味著被捕捉來獲得后來圖像的圖像幀是由標(biāo)準(zhǔn)數(shù)字相機常規(guī)捕捉的，并且此后被電子幀移位裝置以電子方式分別進(jìn)行數(shù)字處理。由于該電子移位，MIP方法的硬件限制以及運動限制被除去。與MIP方法中提出的復(fù)雜機械移動相比，所捕捉圖像幀的電子移位要靈活得多并且可更好地根據(jù)圖像內(nèi)的任何種類的情形來調(diào)節(jié)。取代整個相機或其部件的復(fù)雜硬件移動(由于其機械運動特性而不適合于各種移動圖案)，幀可被以任何種類或方式移動。所提出的數(shù)字相機的幀移位裝置可以根據(jù)任何曲線以電子方式使圖像幀移位，因此幀移位圖案不限于在US 2009/0244300 Al中提出的移位運動類型。另外，通過提供電子幀移位裝置，還可以根據(jù)所捕捉圖像的具體特性來相應(yīng)地調(diào)節(jié)正被移位的幀的數(shù)目。例如， 如果所捕捉圖像僅包括一個移動物體，該移動物體以恒定速度非常慢地移動因此只有微小的模糊偽像被預(yù)期到，那么幀移位裝置要獲得非常好的圖像質(zhì)量可能僅必須使少量圖像幀移位。在這種只有少量圖像幀正被移位的情況下，處理時間可被節(jié)省。如果例如圖像包括多個快速移動的物體因此嚴(yán)重的運動偽像被預(yù)期到，那么移位裝置可被適應(yīng)性地修改為使大量幀移位，以便以最適合所捕捉圖像的特性的方式使幀移位。幀移位裝置的這種適應(yīng)性修改或者可由相機本身自動完成，或者可由相機用戶手動地調(diào)節(jié)，如在本發(fā)明實施例中提出的。與MIP方法類似，在幀移位之后通過圖像形成裝置來累積幀以獲得運動不變的模糊圖像。這產(chǎn)生關(guān)于成像物體的速度的運動模糊不變性。因為整個場景由此變得在某一速度范圍內(nèi)均勻地模糊，因此模糊可以利用單次去卷積來除去，而無需任何運動估計或者圖像分割。通過所提出的圖像形成裝置，用于累積以獲得運動不變模糊圖像的一組幀可被可變地調(diào)節(jié)。根據(jù)本發(fā)明的一個實施例，圖像形成裝置適用于累積一組移位幀中的幀以及所捕捉的一組幀中的至少一個幀。所捕捉的一組幀從而意味著原先已經(jīng)在未移位狀態(tài)下捕捉的幀。如在上面提到，這些在幀累積中被進(jìn)一步處理的未移位捕捉幀的數(shù)目可被改變，而所述一組移位幀通常被完全累積。將經(jīng)幀移位裝置移位的所有幀用于累積是不必要的，而后來不被用于圖像累積的幀可不被移位。根據(jù)本發(fā)明的另一實施例，圖像形成裝置適用于累積所述一組移位幀中的幀以及所捕捉的一組幀中未經(jīng)移位的幀，以獲得運動不變的模糊圖像。換言之，根據(jù)本發(fā)明的該實施例，所有移位幀與幀捕捉裝置已經(jīng)捕捉的尚未移位的剩余幀被累積在一起。在這種情況下，所捕捉的所有幀被積累以獲得運動不變圖像，這些幀中的一些被移位并且其余的未被移位。在另一實施例中，也可以累積移位圖像幀及其相應(yīng)的未移位形式的原始(相同)幀 (已被用于移位)。這也已經(jīng)表明在去卷積后產(chǎn)生非常良好質(zhì)量的去模糊圖像。
根據(jù)本發(fā)明的另一實施例，數(shù)字相機還包括用于根據(jù)預(yù)定選擇序列選擇所捕捉的所述一組幀中的幀子集的幀選擇裝置。該幀選擇裝置由此選擇所捕捉的所述一組幀的幀子集，其中所捕捉幀中的(不屬于幀子集)的一些被丟棄并且不被進(jìn)一步處理。在這種幀選擇裝置被包括在數(shù)字相機中的情況下，所選擇的幀子集代替所捕捉的一組幀，因此移位裝置此后在與圖像平面平行的方向上僅使所述幀子集中的一個或多個幀移位，以獲得一組移位幀。選擇幀子集(相應(yīng)地丟棄不被進(jìn)一步處理的若干幀)減少了幀移位裝置、圖像形成裝置和去卷積裝置所處理的數(shù)據(jù)量，并因而導(dǎo)致改善的相應(yīng)減少的處理時間。根據(jù)該實施例，幀是根據(jù)預(yù)定選擇序列來選擇的，其可以根據(jù)所捕捉圖像的特性 (相應(yīng)地根據(jù)去模糊圖像的期望結(jié)果)來適應(yīng)性修改。已經(jīng)表明，例如通過根據(jù)預(yù)定選擇序列丟棄所捕捉的一組幀中的兩個或多個幀，去卷積的質(zhì)量可被進(jìn)一步提高，這導(dǎo)致去模糊圖像的進(jìn)一步改善。選擇序列可被想象為包括值0和1的二進(jìn)制編碼序列，其中0表明幀應(yīng)當(dāng)被丟棄并且1表明幀應(yīng)當(dāng)被保持并被進(jìn)一步處理。然而，本發(fā)明不限于這種編碼序列， 而是可以還包括允許對所捕捉圖像進(jìn)行丟棄和/或加權(quán)的任何其他類型的序列。在本發(fā)明的實際實現(xiàn)方式中，將被丟棄的幀的數(shù)目通常被保持為最小，因為過多幀的丟棄反而將會導(dǎo)致由此得到的圖像中的光的丟失。出于對稱原因，所捕捉幀的總數(shù)優(yōu)選被選擇為奇數(shù)。優(yōu)選隨后在選擇序列內(nèi)丟棄所捕捉的這些幀中的兩個。幀序列中的第一個、最后一個和中間的幀同城被保持(即不被丟棄)，因為否則這將會擾亂所選擇的幀的移位曲線的形狀。換言之，這意味著優(yōu)選丟棄并且不進(jìn)一步處理最少兩個幀并且最多除三個幀(第一個、最后一個和中間的幀)之外的所有幀。為了選擇將被丟棄的最佳幀，優(yōu)選應(yīng)用一算法，其中不同的幀被逐步丟棄并且由此得到的移位(進(jìn)一步處理的)幀的點擴展函數(shù)(PSF)的頻譜被相互比較。注意到，PSF被理解為是描述成像系統(tǒng)對點源或者點物體的響應(yīng)(即系統(tǒng)的脈沖響應(yīng))的函數(shù)。根據(jù)該算法，導(dǎo)致具有最小方差和最高的最小值的PSF的頻譜被選擇最佳選擇序列，因為為了避免高頻信息的拖影，通常希望PSF的頻譜盡可能小地變化(即丟棄)。以九個捕捉幀的情況為例，選擇算法將開始丟棄幀2和8，如上面已經(jīng)提到的，幀 1、5、9通常從不被丟棄，并且由此得到的進(jìn)一步處理的幀的子集應(yīng)當(dāng)是對稱的。然后，針對頻譜方差和最大和最小值來評估由此得到的幀子集(包括幀1、3_7、9)的PSF的頻譜。在第二步中，幀3和7將被丟棄，并且第二幀子集(包括幀1-2、4-6、8-9)的PSF的相應(yīng)頻譜被分析。最后，幀4和6將被丟棄，并且第三幀子集(包括幀1-3、5、7-9)的PSF的相應(yīng)頻譜被再次分析。通過將三個幀子集的經(jīng)評估PSF頻譜相互比較，根據(jù)上面提到的標(biāo)準(zhǔn)判定哪個幀子集是最佳的，即哪兩個幀應(yīng)當(dāng)被最佳地丟棄。該判定優(yōu)選通過選擇示出頻譜的最小方差、頻譜的最高最小值和/或去卷積噪聲的最少增強的幀子集來完成。必須注意，上面提到的選擇序列和選擇算法不僅適用于幀的一維移位圖案。該選擇序列和選擇算法還適用于幀的二維移位圖案。所提出的丟棄且不進(jìn)一步處理所捕捉幀中的一些幀進(jìn)一步導(dǎo)致與編碼曝光(振翼快門)方法類似的優(yōu)點。與振翼快門方法相比，不希望的幀在被捕捉之后被以電子方式揀出，而非由于快門運動而機械地創(chuàng)建振翼。取代(如在振翼快門方法中)對幀的隨機選擇，該方法允許根據(jù)可單獨調(diào)節(jié)的選擇序列對幀進(jìn)行適定選擇。根據(jù)另一優(yōu)選實施例，幀移位裝置適用于在與圖像平面平行的方向上沿著預(yù)定移位圖案以電子方式使所捕捉的一組幀中的一個或多個幀相對于彼此移位。根據(jù)幀的數(shù)目和具體形式，可以沿著預(yù)定移位圖案以任何方式使幀移位。移位圖案可以是任何圖案，其或者是自動建立的或者是由用戶手動定義的。這允許沿著預(yù)定或者手動選擇的軌跡(即沿著可單獨選擇的圖案)使幀移位。根據(jù)所提出的利用對幀的電子移位的方法，幀移位與MIP方法相比不僅限于幀的一維移位。通過幀移位裝置也可以容易地實現(xiàn)幀的二維運動。因此，根據(jù)本發(fā)明的另一優(yōu)選實施例，幀移位裝置適用于在與圖像平面平行的方向上沿著一維或二維移位圖案以電子方式使所捕捉的一組幀中的一個或多個幀相對于彼此移位。這里的二維意味著空間中的二維運動。與僅沿著一維軌跡(通過使相機移位)使幀移位的傳統(tǒng)的MIP方法相比，根據(jù)本發(fā)明，不再需要知道空間內(nèi)的移動部分的方向和幅度，因為幀可在二維中以電子方式被移位， 使得去卷積變得獨立于所捕捉圖像物體的運動方法。換言之，提出的方法是方向獨立的。與此相比，根據(jù)傳統(tǒng)的MIP方法，所捕捉圖像物體的運動方向必須是已知的或者被估計(這有時可能是復(fù)雜的)，因為一維幀移位方法只是運動不變的，而非方向獨立的。然而，空間中的二維運動甚至是不可能的或者至少將與傳統(tǒng)MIP方法內(nèi)的主要機械困難相關(guān)。根據(jù)本發(fā)明的另一實施例，以下是特別優(yōu)選的幀移位裝置適用于在與圖像平面平行的方向上沿著一維或二維V形軌跡或者沿著一維或二維拋物線狀或U形軌跡以電子方式使所捕捉的一組幀中的一個或多個幀相對于彼此移位。由于其完美的線性屬性，V形軌跡是特別優(yōu)選的。因為去卷積可容易地適用于這種線性曲線，完美的V形線性曲線已經(jīng)表明產(chǎn)生非常好的圖像質(zhì)量。然而，由于傳統(tǒng)MIP方法中的機械相機移動系統(tǒng)的運動限制，這在之前是不可能的。無法通過機械地移動相機來建立完美的V形曲線。拋物線狀軌跡的優(yōu)點在于PSF在整個圖像上保持一致。根據(jù)本發(fā)明的另一實施例，去卷積裝置適用于利用預(yù)定點擴展函數(shù)對運動不變的模糊圖像去卷積。點擴展函數(shù)(PSF)用于對之前已被幀移位裝置模糊的圖像去模糊。根據(jù)本發(fā)明的另一實施例，PSF優(yōu)選根據(jù)移位圖案來確定。在二維移位圖案的情況下，可以以 PSF將不隨場景內(nèi)的移動部分的移動速度變化的方式根據(jù)移位圖案來控制PSF。與傳統(tǒng)的 MIP方法相比，PSF因而不用必須被預(yù)先估計，這不僅更易于處理，而且更有效的避免了圖像內(nèi)的移動物體的拖影。另外已經(jīng)表明，與其他已知方法相比，所提出的去模糊技術(shù)保留了更多的高頻空間細(xì)節(jié)。最后，可以通過根據(jù)累積幀的數(shù)目和特性確定點擴展函數(shù)來實現(xiàn)進(jìn)一步的改進(jìn)。 PSF因而最佳地適用于圖像處理和去模糊方法。


根據(jù)此后描述的實施例，本發(fā)明的這些和其他方面將會顯而易見，下面參考此后描述的實施例更詳細(xì)地說明本發(fā)明的這些和其他方面。在以下附圖中圖1示出了根據(jù)本發(fā)明的數(shù)字相機的第一實施例的示意性框圖，圖2示出了根據(jù)本發(fā)明的數(shù)字相機的第二實施例的示意性框圖，圖3示出了根據(jù)本發(fā)明的第二實施例用于對圖像進(jìn)行捕捉和去模糊的相應(yīng)方法的示意性框圖，圖4示出了圖示出根據(jù)本發(fā)明的第一一維幀移位圖案的示圖，
圖5示出了圖示出根據(jù)圖4所示的第一一維幀移位圖案的點擴展函數(shù)的示圖，圖6示出了圖示出根據(jù)本發(fā)明的第二一維幀移位圖案的示圖，圖7示出了圖示出根據(jù)圖6所示的第二一維幀移位圖案的點擴展函數(shù)的示圖，圖8示出了圖示出根據(jù)本發(fā)明的第一二維幀移位圖案的示圖，圖9示出了圖示出根據(jù)本發(fā)明的第二二維幀移位圖案的示圖，圖10示出了圖示出根據(jù)本發(fā)明的第三一維幀移位圖案的示圖，圖11示出了圖示出根據(jù)圖10所示的第三一維幀移位圖案的點擴展函數(shù)的示圖， 并且圖12示出了圖示出將根據(jù)本發(fā)明的捕捉和去模糊技術(shù)與現(xiàn)有技術(shù)的其他捕捉和去模糊技術(shù)相比較的頻譜曲線的示圖。
具體實施例方式圖1示出了根據(jù)本發(fā)明的數(shù)字相機10的第一實施例的示意性框圖。數(shù)字相機10 包括用于捕捉場景的一組圖像幀的幀捕捉裝置12，用于以電子方式使所捕捉的所述一組幀中的一個或多個幀移位以獲得一組移位幀的幀移位裝置14，以及用于累積經(jīng)幀移位裝置 14移位的幀以及幀捕捉裝置12捕捉的所述一組幀中的至少一個未經(jīng)移位的幀以獲得運動不變模糊圖像的圖像形成裝置16。最后，數(shù)字相機包括用于對運動不變模糊圖像去卷積以獲得去模糊圖像的去卷積裝置18。在實際使用中，場景的一組幀首先被幀捕捉裝置12捕捉。幀捕捉裝置12例如可以是任何標(biāo)準(zhǔn)數(shù)字相機。如果在相機曝光期間在場景內(nèi)移動的物體正被成像，那么不對由所捕捉幀累積得到的圖像進(jìn)行后續(xù)去模糊處理將會顯示模糊偽像。因此，圖像處理裝置20 被提供來對圖像去模糊以獲得沒有模糊偽像的高質(zhì)量圖像。幀移位裝置14以電子方式使一個或多個所捕捉幀在與圖像平面平行的方向上沿著可選擇性調(diào)節(jié)的移位圖案相對于彼此移位。這意味著所捕捉的幀正在時空域中被移位。由于這種幀移位，當(dāng)在由圖像形成裝置 16執(zhí)行的后續(xù)累積步驟中累積幀時，包括靜止和移動部分的整個成像場景在某一速度范圍內(nèi)變?yōu)榫鶆蚰：?。這種特殊幀移位產(chǎn)生了如下模糊，該模糊不隨著場景內(nèi)的移動物體的速度變化并且可因而利用去卷積裝置18中的單次去卷積來除去。與US 2009/0244300 Al中公開的已知MIP方法相比，通過幀移位裝置14以電子方式使幀移位，而非如在已知的MIP方法中通過在曝光期間機械地移動相機來實現(xiàn)幀移位。 因此，根據(jù)本發(fā)明，用于機械地移動相機的復(fù)雜硬件布置不是必需的。這種情況下的電子幀移位意味著由幀捕捉裝置12(通過標(biāo)準(zhǔn)數(shù)字相機)常規(guī)捕捉的幀在電子幀移位裝置14內(nèi)沿著想像的移位圖案被數(shù)字地移位。圖像幀因而可以沿著時空域內(nèi)的任何期望曲線被移位，其中幀移位圖案/曲線不限于在US 2009/0244300 Al中提出的移位運動種類。由于幀移位裝置14的電子移位方法，幀可被以非常精確地方式移位。如圖4所示， 例如對于沿著拋物線狀曲線的幀移位圖案已經(jīng)示出非常好的圖像結(jié)果。通過作為時空域中的積分來分析運動模糊，通過累積已沿著拋物線狀移位圖案移位了的圖像幀而創(chuàng)建的模糊圖像已證明可以通過可逆的運動不變的PSF來去卷積，如圖5所示。在去卷積裝置18內(nèi)， 因而可根據(jù)具體移位圖案(這里是根據(jù)拋物線狀移位曲線)來精確地確定PSF。根據(jù)具體移位圖案確定PSF的數(shù)學(xué)背景可以從US 2009/0244300 Al特別是從US2009/0244300 Al的
40048]段得到，其中針對傳統(tǒng)MIP方法描述了 PSF的推導(dǎo)。除上面已經(jīng)提到的差異(即在傳統(tǒng)的MIP方法中整個相機沿著預(yù)定的移動圖案移動，而根據(jù)本發(fā)明，圖像是利用靜止相機捕捉的并且所捕捉的成像場景的幀然后被以電子方式移位) 之外，在US2009/0244300 Al的上述段落中給出的PSF的推導(dǎo)在僅作微小適應(yīng)性修改的情況下也可適用于此。如圖6所示的V形線性幀移位曲線也示出為產(chǎn)生非常好的圖像質(zhì)量，因為PSF (見圖7)也易于確定。此外，這種V形線性移位曲線可由幀移位裝置14容易地實現(xiàn)。相比之下，根據(jù)傳統(tǒng)的MIP方法，這由于運動限制而是不可能的。由于電子移位方法，甚至可以執(zhí)行二維移位圖案。圖8示例性地示出了二維V形移位圖案，圖9示出了示例性的二維拋物線狀移位圖案。這種二維移位圖案主要優(yōu)點在于不必再預(yù)先估計PSF。這不僅更易于處理，還避免了在PSF未被正確或者最佳地優(yōu)化時發(fā)生的場景內(nèi)移動物體的拖影。然而，PSF自身的數(shù)學(xué)推導(dǎo)對于二維情況將保持不變。因此，上面提到的數(shù)學(xué)背景在二維情況下也適用。必須注意，幀移位裝置14、圖像形成裝置16和去卷積裝置18或者可被直接集成到數(shù)字相機中，或者可被包括在外部的圖像處理器20中。例如，圖像處理器20可以是數(shù)字相機10本身的圖像處理器的一部分(如圖1所示)，或者在另一情況下，首先由標(biāo)準(zhǔn)相機拍攝照片然后將所捕捉的圖像傳送到外部圖像處理器，該外部圖像處理器對所捕捉的圖像進(jìn)行去模糊并且在晚些時候改善圖像質(zhì)量。在圖2中以示意性框圖示出根據(jù)本發(fā)明的數(shù)字相機的第二實施例。數(shù)字相機30的該實施例另外包括幀選擇裝置32，幀選擇裝置32在圖2的框圖中被包括在幀捕捉裝置12 與圖像形成裝置16之間。第二實施例30的其余裝置12、14、16、18對應(yīng)于在根據(jù)第一實施例的相機10中提供的各個裝置。亦稱為幀選擇器的幀選擇裝置32適用于根據(jù)預(yù)定選擇序列選擇所捕捉幀的幀子集。幀選擇裝置32由此選擇所捕捉的一組幀的幀子集，其中所捕捉幀中的(不屬于幀子集)一些被丟棄并且不被進(jìn)一步處理。所選擇的幀子集然后替代所捕捉的一組幀，使得只有所選擇的幀子集被傳送到移位裝置，移位裝置然后使所述子集中的一個或多個幀移位以獲得一組移位幀。除此之外，幀移位裝置14執(zhí)行的幀移位過程對應(yīng)于上面說明的方法。包括幀選擇裝置32具有若干優(yōu)點，首先，處理時間可被減少，因為若干幀被主動丟棄并且不被進(jìn)一步處理，這再次減少了必須處理的數(shù)據(jù)量。第二，已經(jīng)表明，通過根據(jù)適用于圖像/場景特性的預(yù)定選擇序列選擇特定幀，去卷積的質(zhì)量可被提高，使得可以實現(xiàn)進(jìn)一步改善的去模糊圖像。這產(chǎn)生如在編碼曝光(振翼快門)方法中示出的類似優(yōu)點。因此，根據(jù)所提出的方法，不希望的幀在被捕捉之后被以電子方式揀出，所提出的方法允許根據(jù)可單獨調(diào)節(jié)的選擇序列對幀進(jìn)行最佳選擇。例如，已表明丟棄所捕捉的一組幀中的兩個或者多個幀隨后引起非常好的圖像改善。圖10中示出了其中丟棄了若干幀(以V形曲線中的間隙示出)的V形幀移位圖案。圖 11中示出了相應(yīng)的PSF。圖兒中示出的PSF也是運動不變并且易于反轉(zhuǎn)的，因此在所包括的幀選擇器32的情況下也可以以如上面根據(jù)本發(fā)明的第一實施例說明的可靠方式執(zhí)行去卷積。在圖3的示意性框圖中示出了所提出的與提出的數(shù)字相機相對應(yīng)的用于對圖像進(jìn)行捕捉和去模糊的方法。在第一步驟101中，利用常規(guī)的數(shù)字相機捕捉一組N個圖像幀。 然后逐步單獨處理每個幀。在步驟102中，選擇應(yīng)當(dāng)進(jìn)行進(jìn)一步處理的幀，并且丟棄不希望的幀。在下一步驟103中，在與圖像平面平行的方向上以電子方式使幀移位。如上面說明的，任何一維移位圖案或者二維移位圖案可被實現(xiàn)。還必須注意，不強制在步驟103中使每個幀移位，即第一個幀和最后一個幀保持不移位可能是有意義的。在步驟104中，通過累積由此得到的幀(移位的幀和/或未移位的幀)來創(chuàng)建運動不變的模糊圖像。在最后一個步驟105中，利用已知的所確定的PSF對模糊圖像去卷積，以最終獲得去模糊的圖像?？傊岢隽顺ヒ阎狹IP方法的若干缺點特別是硬件限制以及運動限制的對圖像進(jìn)行捕捉和去模糊的新方法。利用所提出的方法，可以以任何類型或方式移動圖像幀，而不像根據(jù)已知傳統(tǒng)MIP方法那樣需要用于相機運動的復(fù)雜硬件。所提出的去模糊方法不限于任何類型的幀移位圖案，并且也不限于幀的一維運動，因為其對于二維幀運動的情況也有效。通過克服現(xiàn)有技術(shù)的這些缺點，已經(jīng)表明所提出的方法與已知的振翼快門方法和傳統(tǒng)的MIP方法以及傳統(tǒng)的去模糊技術(shù)相比保留了更多的高頻空間細(xì)節(jié)，如可從圖12得出的。雖然已經(jīng)在附圖和前面的描述中詳細(xì)例示并描述了本發(fā)明，但是這些例示和描述將被看作是例示性或示例性而非限制性的。本發(fā)明不限于所公開的實施例。根據(jù)對附圖、 公開以及所附權(quán)利要求的研究，本領(lǐng)域技術(shù)人員在實施所要求保護(hù)的發(fā)明時可以明白并實現(xiàn)對所公開實施例的其他變更。在權(quán)利要求中，詞“包括”并不排除其他元件或步驟，并且不定冠詞(一個)并不排除多個。單個元件或其他單元可以完成權(quán)利要求中記載的若干項的功能。在各不相同的從屬權(quán)利要求中記載某些措施并不表明無法有利地使用這些措施的組合。計算機程序可被存儲/分發(fā)在合適的介質(zhì)上，例如與其他硬件一起或者作為其他硬件的一部分提供的光學(xué)存儲介質(zhì)或者固態(tài)介質(zhì)，但是也可以以其他形式分發(fā)，例如經(jīng)由因特網(wǎng)或者其他有線或無線的電信系統(tǒng)。 權(quán)利要求中的任何標(biāo)號不應(yīng)被理解為限制范圍。
權(quán)利要求
1.一種數(shù)字相機(10，30)，包括幀捕捉裝置(12)，用于捕捉場景的一組幀，幀移位裝置(14)，用于在與圖像平面平行的方向上以電子方式使所捕捉的所述一組幀中的一個或多個幀相對于彼此移位以獲得一組移位幀，圖像形成裝置(16)，用于累積所述一組移位幀中的幀和所捕捉的所述一組幀中的至少一個幀以獲得運動不變的模糊圖像，以及去卷積裝置(18)，用于對所述運動不變的模糊圖像進(jìn)行去卷積以獲得去模糊圖像。
2.如權(quán)利要求1所述的數(shù)字相機(10，30)，其中，所述圖像形成裝置(16)適用于累積所述一組移位幀中的幀以及所捕捉的所述一組幀中的未經(jīng)移位的幀以獲得運動不變的模糊圖像。
3.如在先權(quán)利要求中任一項所述的數(shù)字相機(10，30)，還包括用于根據(jù)預(yù)定選擇序列選擇所捕捉的所述一組幀的幀子集的幀選擇裝置(32)。
4.如在先權(quán)利要求中任一項所述的數(shù)字相機(10，30)，其中，所述幀移位裝置(14)適用于在與圖像平面平行的方向上沿著預(yù)定移位圖案以電子方式使所捕捉的所述一組幀中的一個或多個幀相對于彼此移位。
5.如在先權(quán)利要求中任一項所述的數(shù)字相機(10，30)，其中，所述幀移位裝置(14)適用于在與圖像平面平行的方向上沿著一維移位圖案或者二維移位圖案以電子方式使所捕捉的所述一組幀中的一個或多個幀相對于彼此移位。
6.如在先權(quán)利要求中任一項所述的數(shù)字相機(10，30)，其中，所述幀移位裝置(14)適用于在與圖像平面平行的方向上沿著一維線性移位圖案或者二維線性移位圖案，特別是沿著V形軌跡或者沿著一維或二維拋物線狀或U形軌跡，以電子方式使所捕捉的所述一組幀中的一個或多個幀相對于彼此移位。
7.如在先權(quán)利要求中任一項所述的數(shù)字相機(10，30)，其中，所述去卷積裝置(18)適用于利用預(yù)定點擴展函數(shù)對所述運動不變的模糊圖像進(jìn)行去卷積。
8.如權(quán)利要求7所述的數(shù)字相機(10，30)，其中，所述去卷積裝置(18)還適用于根據(jù)移位圖案確定所述點擴展函數(shù)。
9.如權(quán)利要求7所述的數(shù)字相機(10，30)，其中，所述去卷積裝置(18)還適用于根據(jù)累積的幀的數(shù)目和特性來確定所述點擴展函數(shù)。
10.一種用于對圖像進(jìn)行捕捉和去模糊的方法，該方法包括以下步驟捕捉(101)場景的一組幀，在與圖像平面平行的方向上以電子方式使所捕捉的所述一組幀中的一個或多個幀相對于彼此移位(103)以獲得一組移位幀，累積(104)所述一組移位幀和/或所捕捉的所述一組幀中的一個或多個幀以獲得運動不變的模糊圖像，以及對所述運動不變的模糊圖像去卷積(105)以獲得去模糊圖像。
11.一種圖像處理器(20)，包括幀移位裝置(14)，用于在與圖像平面平行的方向上以電子方式使一組圖像幀中的一個或多個幀相對于彼此移位以獲得一組移位幀，圖像形成裝置(16)，用于累積所述一組移位幀和/或所述一組圖像幀中的一個或多個幀以獲得運動不變的模糊圖像，以及去卷積裝置(18)，用于對所述運動不變的模糊圖像去卷積以獲得去模糊圖像。
12.—種圖像處理方法，包括以下步驟在與圖像平面平行的方向上以電子方式使一組圖像幀中的一個或多個幀相對于彼此移位(103)以獲得一組移位幀，累積(104)所述一組移位幀和/或所述一組圖像幀中的一個或多個幀以獲得運動不變的模糊圖像，以及對所述運動不變的模糊圖像去卷積(105)以獲得去模糊圖像。
13.一種計算機程序，包括用于當(dāng)該計算機程序在計算機上執(zhí)行時使該計算機執(zhí)行如權(quán)利要求12所述的方法的步驟的程序代碼裝置。
14.一種計算機可讀非暫時介質(zhì)，其上存儲有指令，所述指令當(dāng)在計算機上執(zhí)行時使該計算機執(zhí)行如權(quán)利要求12所述的方法的步驟。
全文摘要
本發(fā)明提出了用于對圖像進(jìn)行捕捉和去模糊的數(shù)字相機和方法，其除去了現(xiàn)有技術(shù)的若干缺點。具體而言，已知傳統(tǒng)MIP方法的硬件限制以及運動限制已被克服。根據(jù)所提出的方法，通過電子幀移位裝置以電子方式移動圖像幀。這允許以任何類型或方式的幀移位，其中不像根據(jù)已知傳統(tǒng)MIP方法那樣需要復(fù)雜硬件布置。所提出的去模糊方法不限于任何類型的幀移位圖案，并且也不限于一維幀運動，因為其對于二維幀運動的情況也有效。類似于傳統(tǒng)的運動不變攝影方法，幀移位產(chǎn)生可以通過單次去卷積來去卷積的運動不變的模糊圖像。
文檔編號G06T5/00GK102223479SQ20111009618
公開日2011年10月19日 申請日期2011年4月14日 優(yōu)先權(quán)日2010年4月14日
發(fā)明者克勞斯·齊默曼恩, 哈如恩·法汝·庫什, 穆罕默德·西堤奎 申請人:索尼公司