專利名稱：一種全局不一致圖像去模糊的方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺及計(jì)算攝像學(xué)領(lǐng)域，特別涉及一種全局不一致圖像去模糊方法及裝置。
背景技術(shù)：
隨著科技進(jìn)步、社會發(fā)展，普通人對于拍照成像的清晰度的要求越來越高。由于相機(jī)抖動(dòng)造成圖像模糊時(shí)造成拍攝圖像質(zhì)量下降的重要原因。隨著數(shù)字?jǐn)z像設(shè)備的發(fā)展，數(shù)碼攝像器材大量普及，這些家用級攝像器材大多缺乏效果良好卻十分昂貴的光學(xué)防抖動(dòng)裝置，而另一方面使用這類攝像器材的消費(fèi)者一般不具備很好的專業(yè)攝像知識，因而造成大量圖片由于拍攝時(shí)的不慎操作而發(fā)生模糊?，F(xiàn)有的盲圖像去模糊算法即針對這一問題同時(shí)估算圖像的模糊核和清晰圖像。這類算法大多假設(shè)圖像具有全局一致的模糊核，以達(dá)到減少未知數(shù)的個(gè)數(shù)、降低算法的病態(tài)性的目的。由于盲區(qū)模糊問題本身是病態(tài)，如果采用全局不一致的模糊模型，將使模型參數(shù)大大增加，加劇的問題的病態(tài)性，往往造成問題無法求解或算法不收斂。然而實(shí)際上，全局一致的模糊假設(shè)并不能很好的描述圖像的模糊過程。由于相機(jī)的實(shí)際投影模型為透視投影，圖像中各點(diǎn)的模糊核并不完全相同，尤其是對于焦距較短的相機(jī)，其模糊核在圖像四周變化很大。此時(shí)采用全局一致的模糊模型，很可能無法得到理想的去模糊效果。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述的技術(shù)缺陷之一。為此，本發(fā)明的第一個(gè)目的在于提出一種全局不一致圖像去模糊方法，該方法可以使模糊模型更接近于實(shí)際情況，達(dá)到更加理想的去模糊效果。本發(fā)明的第二個(gè)目的在于提出一種全局不一致圖像去模糊系統(tǒng)。為達(dá)到上述目的，本發(fā)明一方面的實(shí)施例提出了一種全局不一致圖像去模糊方法，包括如下步驟對兩臺拍照裝置為正交設(shè)置，并對兩臺所述拍照裝置進(jìn)行校準(zhǔn)；根據(jù)校準(zhǔn)后的所述拍照裝置，建立兩臺所述拍照裝置的三維旋轉(zhuǎn)運(yùn)動(dòng)模型；兩臺所述拍照裝置分別采集第一模糊圖像和第二模糊圖像，并根據(jù)所述第一模糊圖像和第二模糊圖像的紋理信息和飽和信息分別在所述第一模糊圖像和第二模糊圖像上選擇第一局部圖像分塊和第二局部圖像分塊，并對的所述第一局部圖像分塊和第二局部圖像分塊進(jìn)行估計(jì)以得到對應(yīng)的第一局部模糊核和第二局部模糊核；將所述第一局部模糊核和第二局部模糊核分別反投回至所述三維旋轉(zhuǎn)運(yùn)動(dòng)模型的三維運(yùn)動(dòng)空間以得到兩個(gè)近似正交的二維流形，以及對所述二維流形進(jìn)行求交運(yùn)算以得到所述兩臺拍照裝置的三維運(yùn)動(dòng)軌跡；以及對所述三維運(yùn)動(dòng)軌跡進(jìn)行優(yōu)化以得到所述兩臺拍照裝置的清晰三維運(yùn)動(dòng)軌跡。根據(jù)本發(fā)明實(shí)施例的基于正交相機(jī)對的全局不一致圖像去模糊方法，通過采集兩個(gè)不同視角的圖像信息，由三維幾何關(guān)系和投影模型，計(jì)算相機(jī)的三維運(yùn)動(dòng)，并且根據(jù)求得的相機(jī)運(yùn)動(dòng)參數(shù)和雙目相機(jī)的幾何關(guān)系建立起全局不一致的圖像模糊模型，根據(jù)透視幾何原理計(jì)算圖像上每一點(diǎn)的模 糊信息，最終實(shí)現(xiàn)全局不一致的圖像去模糊。在本發(fā)明的一個(gè)實(shí)施例中，兩臺所述拍照裝置的成像參數(shù)一致。在本發(fā)明的一個(gè)實(shí)施例中，兩臺所述裝置均固定于底座上，且位于同一高度。在本發(fā)明的一個(gè)實(shí)施例中，兩臺所述拍照裝置為正交設(shè)置，包括如下步驟所述兩臺拍照裝置的光軸為相互正交且光心重合。在本發(fā)明的一個(gè)實(shí)施例中，兩臺所述拍照裝置經(jīng)過校準(zhǔn)，包括如下步驟調(diào)整兩臺所述拍照裝置中的一臺的旋轉(zhuǎn)角度以及另一臺拍照裝置的位置和光軸方向以將兩臺所述拍照裝置的視角重合；恢復(fù)兩臺所述拍照裝置中的一臺的旋轉(zhuǎn)角度為初始狀態(tài)。在本發(fā)明的一個(gè)實(shí)施例中，所述三維旋轉(zhuǎn)運(yùn)動(dòng)模型為X1 (t) = KR(^t)KT1X
T ο -θζ θγ TR{t) = exp ^ θζ 0 -θχ >
[~θγ θχ O」其中，X為清晰圖象中的一個(gè)點(diǎn)的齊次圖像坐標(biāo)，(t)為清晰圖象中的點(diǎn)X在t時(shí)刻時(shí)在CCD成像上對應(yīng)點(diǎn)的位置，K為相機(jī)的內(nèi)參矩陣，R(t)為相機(jī)的旋轉(zhuǎn)矩陣，R(t)由相機(jī)繞三個(gè)軸的旋轉(zhuǎn)運(yùn)動(dòng)參數(shù)[θ χ θ γ θζ]計(jì)算得到，且隨著時(shí)間變化并在三維空間中連成一條軌跡，X、Y和Z分別為三個(gè)旋轉(zhuǎn)自由度的方向。在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)所述第一模糊圖像和第二模糊圖像的紋理信息分別計(jì)算所述第一模糊圖像和第二模糊圖像中的各個(gè)局部圖像分塊的置信權(quán)值；檢測所述局部圖像分塊中的飽和區(qū)域，并將飽和像素個(gè)數(shù)大于或等于預(yù)定數(shù)量的局部圖像分塊的置信權(quán)值置為O ;以及分別在所述第一模糊圖像和第二模糊圖像的圖像塊中選擇置信權(quán)值最大的圖像塊作為第一局部圖像分塊和第二局部圖像分塊。在本發(fā)明的一個(gè)實(shí)施例中，采用Levenberg-Marquardt優(yōu)化算法對所述三維運(yùn)動(dòng)軌跡進(jìn)行優(yōu)化以得到所述兩臺拍照裝置的清晰三維運(yùn)動(dòng)軌跡和清晰圖像。本發(fā)明另一方面的實(shí)施例還提出了一種全局不一致圖像去模糊系統(tǒng)，包括第一拍照裝置，用于采集第一模糊圖像；第二拍照裝置，用于采集第二模糊圖像；其中，所述第二拍照裝置和所述第一拍照裝置為正交設(shè)置；三維旋轉(zhuǎn)運(yùn)動(dòng)模型建立裝置，用于在第一拍照裝置和第二拍照裝置校準(zhǔn)完畢后，建立所述第一和第二拍照裝置的三維選擇運(yùn)動(dòng)模型；局部模糊核估計(jì)裝置，用于根據(jù)所述第一模糊圖像和第二模糊圖像的紋理信息和飽和信息分別在所述第一模糊圖像和第二模糊圖像上選擇第一局部圖像分塊和第二局部圖像分塊，并對的所述第一局部圖像分塊和第二局部圖像分塊進(jìn)行估計(jì)以得到對應(yīng)的第一局部模糊核和第二局部模糊核；三維運(yùn)動(dòng)估計(jì)裝置，將所述第一局部模糊核和第二局部模糊核分別反投回至所述三維旋轉(zhuǎn)運(yùn)動(dòng)模型的三維運(yùn)動(dòng)空間以得到兩個(gè)近似正交的二維流形，以及對所述二維流形進(jìn)行求交運(yùn)算以得到所述兩臺拍照裝置的三維運(yùn)動(dòng)軌跡；以及優(yōu)化裝置，用于對所述三維運(yùn)動(dòng)軌跡進(jìn)行優(yōu)化以得到所述兩臺拍照裝置的清晰三維運(yùn)動(dòng)軌跡。根據(jù)本發(fā)明實(shí)施例的全局不一致圖像去模糊系統(tǒng)，采用正交布置的雙目相機(jī)系統(tǒng)，通過嚴(yán)格控制兩個(gè)相機(jī)使其同步曝光，可以同時(shí)采集兩個(gè)不同視角的圖像信息。一旦用于相機(jī)在曝光時(shí)間運(yùn)動(dòng)而采集得到運(yùn)動(dòng)模糊的圖像對，我們可以通過兩幅圖像中不同的模糊信息，計(jì)算相機(jī)系統(tǒng)在曝光時(shí)間內(nèi)的三維運(yùn)動(dòng)，并且根據(jù)透視幾何原理計(jì)算圖像上每一點(diǎn)的模糊信息，最終實(shí)現(xiàn)全局不一致的圖像去模糊。在本發(fā)明的一個(gè)實(shí)施例中，所述第一拍照裝置和第二拍照裝置的成像參數(shù)一致。在本發(fā)明的一個(gè)實(shí)施例中，所述第一拍照裝置和第二拍照裝置均固定于底座上，且位于同一高度。在本發(fā)明的一個(gè)實(shí)施例中，所述第一拍照裝置和第二拍照裝置的光軸為相互正交且光心重合。
在本發(fā)明的一個(gè)實(shí)施例中，所述三維旋轉(zhuǎn)運(yùn)動(dòng)模型為χ' (t) = KR(^t)KT1X
權(quán)利要求
1.ー種全局不一致圖像去模糊方法，其特征在于，包括如下步驟 對兩臺拍照裝置為正交設(shè)置，并對兩臺所述拍照裝置進(jìn)行校準(zhǔn)； 根據(jù)校準(zhǔn)后的所述拍照裝置，建立兩臺所述拍照裝置的三維旋轉(zhuǎn)運(yùn)動(dòng)模型； 兩臺所述拍照裝置分別采集第一模糊圖像和第二模糊圖像，井根據(jù)所述第一模糊圖像和第二模糊圖像的紋理信息和飽和信息分別在所述第一模糊圖像和第二模糊圖像上選擇第一局部圖像塊和第二局部圖像塊，并對的所述第一局部圖像塊和第二局部圖像塊進(jìn)行估計(jì)以得到對應(yīng)的第一局部模糊核和第二局部模糊核； 將所述第一局部模糊核和第二局部模糊核分別反投回至所述三維旋轉(zhuǎn)運(yùn)動(dòng)模型的三維運(yùn)動(dòng)空間以得到兩個(gè)近似正交的ニ維流形，以及對所述ニ維流形進(jìn)行求交運(yùn)算以得到所述兩臺拍照裝置的三維運(yùn)動(dòng)軌跡；以及 對所述三維運(yùn)動(dòng)軌跡進(jìn)行優(yōu)化以得到所述兩臺拍照裝置的清晰三維運(yùn)動(dòng)軌跡和清晰圖像。
2.如權(quán)利要求I所述的圖像去模糊方法，其特征在于，兩臺所述拍照裝置的成像參數(shù)—致。
3.如權(quán)利要求2所述的圖像去模糊方法，其特征在于，兩臺所述裝置的均固定于底座上，且位于同一高度。
4.如權(quán)利要求3所述的圖像去模糊方法，其特征在于，所述對兩臺拍照裝置為正交設(shè)置，包括如下步驟 設(shè)置所述兩臺拍照裝置的光軸為相互正交且光心重合。
5.如權(quán)利要求I所述的圖像去模糊方法，其特征在于，所述對兩臺所述拍照裝置進(jìn)行校準(zhǔn)，包括如下步驟 調(diào)整兩臺所述拍照裝置中的一臺的旋轉(zhuǎn)角度以及另一臺拍照裝置的位置和光軸方向以將兩臺所述拍照裝置的視角重合； 恢復(fù)兩臺所述拍照裝置中的一臺的旋轉(zhuǎn)角度為初始狀態(tài)。
6.如權(quán)利要求I所述的圖像去模糊方法，其特征在于，所述三維旋轉(zhuǎn)運(yùn)動(dòng)模型為
7.如權(quán)利要求I所述的圖像去模糊方法，其特征在于，所述選擇第一局部圖像分塊和第二局部圖像分塊，包括如下步驟 根據(jù)所述第一模糊圖像和第二模糊圖像的紋理信息分別計(jì)算所述第一模糊圖像和第ニ模糊圖像中的各個(gè)局部圖像分塊的置信權(quán)值； 檢測所述局部圖像分塊中的飽和區(qū)域，并將飽和像素個(gè)數(shù)大于或等于預(yù)定數(shù)量的局部圖像分塊的置信權(quán)值置為O ;以及分別在所述第一模糊圖像和第二模糊圖像的所有局部圖像分塊中選擇置信權(quán)值最大的圖像塊作為第一局部圖像分塊和第二局部圖像分塊。
8.如權(quán)利要求I所述的圖像去模糊方法，其特征在于，采用Levenberg-Marquardt優(yōu)化算法對所述三維運(yùn)動(dòng)軌跡進(jìn)行優(yōu)化以得到所述兩臺拍照裝置的清晰三維運(yùn)動(dòng)軌跡和清晰圖像。
9.ー種全局不一致圖像去模糊系統(tǒng)，其特征在于，包括 第一拍照裝置，用于采集第一模糊圖像； 第二拍照裝置，用于采集第二模糊圖像，其中，所述第二拍照裝置和所述第一拍照裝置為正交設(shè)置； 三維旋轉(zhuǎn)運(yùn)動(dòng)模型建立裝置，用于在第一拍照裝置和第二拍照裝置校準(zhǔn)完畢后，建立所述第一和第二拍照裝置的三維選擇運(yùn)動(dòng)模型； 局部模糊核估計(jì)裝置，用于根據(jù)所述第一模糊圖像和第二模糊圖像的紋理信息和飽和信息分別在所述第一模糊圖像和第二模糊圖像上選擇第一局部圖像分塊和第二局部圖像分塊，并對的所述第一局部圖像分塊和第二局部圖像分塊進(jìn)行估計(jì)以得到對應(yīng)的第一局部模糊核和第二局部模糊核； 三維運(yùn)動(dòng)估計(jì)裝置，將所述第一局部模糊核和第二局部模糊核分別反投回至所述三維旋轉(zhuǎn)運(yùn)動(dòng)模型的三維運(yùn)動(dòng)空間以得到兩個(gè)近似正交的ニ維流形，以及對所述ニ維流形進(jìn)行求交運(yùn)算以得到所述兩臺拍照裝置的三維運(yùn)動(dòng)軌跡；以及 優(yōu)化裝置，用于對所述三維運(yùn)動(dòng)軌跡進(jìn)行優(yōu)化以得到所述兩臺拍照裝置的清晰三維運(yùn)動(dòng)軌跡。
10.如權(quán)利要求9所述的圖像去模糊系統(tǒng)，其特征在于，所述第一拍照裝置和第二拍照裝置的成像參數(shù)一致。
11.如權(quán)利要求10所述的圖像去模糊系統(tǒng)，其特征在于，所述第一拍照裝置和第二拍照裝置均固定于底座上，且位于同一高度。
12.如權(quán)利要求11所述的圖像去模糊系統(tǒng)，其特征在于，所述第一拍照裝置和第二拍照裝置的光軸為相互正交且光心重合。
13.如權(quán)利要求9所述的圖像去模糊系統(tǒng)，其特征在于，所述三維旋轉(zhuǎn)運(yùn)動(dòng)模型為
14.如權(quán)利要求9所述的圖像去模糊系統(tǒng)，其特征在于，所述局部模糊核估計(jì)裝置分別根據(jù)所述第一模糊圖像和第二模糊圖像的紋理信息分別計(jì)算所述第一模糊圖像和第二模糊圖像中的各個(gè)局部圖像分塊的置信權(quán)值，并檢測所述局部圖像分塊中的飽和區(qū)域，并將飽和像素個(gè)數(shù)大于或等于預(yù)定數(shù)量的局部圖像分塊的置信權(quán)值置為0，以及分別在所述第一模糊圖像和第二模糊圖像的所有局部圖像分塊中選擇置信權(quán)值最大的圖像塊作為第一局部圖像分塊和第二局部圖像分塊。
15.如權(quán)利要求9所述的圖像去模糊系統(tǒng)，其特征在干，所述優(yōu)化裝置采用Levenberg-Marquardt優(yōu)化算法對所述三維運(yùn)動(dòng)軌跡進(jìn)行優(yōu)化以得到所述兩臺拍照裝置的清晰三維運(yùn)動(dòng)軌跡和清晰圖像。
全文摘要
本發(fā)明提出一種全局不一致圖像去模糊方法，包括如下步驟將兩臺拍照裝置設(shè)置為正交，并對兩臺拍照裝置進(jìn)行校準(zhǔn)；建立兩臺所述拍照裝置的三維旋轉(zhuǎn)運(yùn)動(dòng)模型；根據(jù)圖像紋理等信息在兩幅圖像上各選擇一塊局部圖像塊，并根據(jù)該圖像塊估計(jì)局部模糊核。將求得的兩幅圖像中的局部模糊核進(jìn)行反投影、求交線等運(yùn)算通過估計(jì)得到拍照裝置三維運(yùn)動(dòng)軌跡；對得到的三維運(yùn)動(dòng)軌跡進(jìn)行優(yōu)化以得到拍照裝置的清晰三維運(yùn)動(dòng)軌跡和清晰圖像。本發(fā)明還提出了一種全局不一致圖像去模糊系統(tǒng)，包括兩臺拍照裝置；三維旋轉(zhuǎn)運(yùn)動(dòng)模型建立裝置；局部模糊核估計(jì)裝置；三維運(yùn)動(dòng)估計(jì)裝置；以及優(yōu)化裝置。本發(fā)明可以使模糊模型更接近于實(shí)際情況，達(dá)到更加理想的去模糊效果。
文檔編號H04N5/232GK102663718SQ20121007324
公開日2012年9月12日 申請日期2012年3月19日 優(yōu)先權(quán)日2012年3月19日
發(fā)明者岳濤, 戴瓊海 申請人:清華大學(xué)