基于旋轉(zhuǎn)編碼光圈成像系統(tǒng)的深度估計方法
【技術領域】
[0001] 本發(fā)明屬于計算機視覺技術領域。具體而言，主要涉及數(shù)字圖像處理以及計算攝 像學領域，是基于旋轉(zhuǎn)編碼光圈成像系統(tǒng)的深度估計方法。
【背景技術】
[0002] 現(xiàn)代社會對于數(shù)碼成像設備的圖像成像質(zhì)量的要求越來越高，并期望得到全清晰 圖像。然而，光學成像系統(tǒng)發(fā)展到現(xiàn)在都無法徹底解決離焦模糊問題。傳統(tǒng)光學成像設備的 成像基本原理是凹凸透鏡對光線改變了方向，運用這一特性來設計成像設備。故被拍攝物 體的物平面到物鏡之間的距離具有一定的選擇性，如果被拍攝物體在位于成像系統(tǒng)的焦平 面上，那么成像平面獲得最清晰的像;反之，如果拍攝物體遠離焦平面，與之有一定的距離， 那么成像平面得到的圖像將變得模糊。在引入編碼光圈技術以前，解決此問題的方法大都 是需要使用額外的裝置，改進對焦系統(tǒng)特性以達到更高的對焦精準度。
[0003] 彩色圖像與對應深度圖的組合能帶來更全面的圖像復原信息以應用到諸如圖像 編輯，基于深度的圖像渲染以及增強現(xiàn)實等領域內(nèi)。然而，深度信息相較于可以用成熟的光 學設備獲得的光度信息而言，是難以獲取的。因此，基于失焦模糊圖像的深度估計方法由于 對光學設備的要求較低且具有較高的魯棒性等特性而廣泛地應用于圖像的深度恢復等領 域中。
[0004] 編碼光圈技術作為一種新興的計算攝像學技術，在本質(zhì)上通過調(diào)制成像系統(tǒng)的點 擴散函數(shù)來實現(xiàn)基于數(shù)碼相機的深度估計方法以提高可見光成像的景深拓展性能。其中， 相機成像的三個內(nèi)在參數(shù)，即光圈的形狀，成像焦距，和鏡頭至成像傳感器的距離，是實現(xiàn) 深度信息恢復的重要指標。編碼光圈技術主要對相機的鏡頭光圈進行編碼重構工作，改善 其點擴散函數(shù)中所包含的深度分立信息，獲得準確的深度估計結果，并借助圖像的深度圖 信息實現(xiàn)全聚焦清晰圖像的復原。在前人的基于失焦模糊的深度估計工作中，單編碼光圈， 編碼光圈對或者彩色光圈中，存在深度估計與全聚焦圖像復原相矛盾，實際應用復雜或是 彩色圖像信息失真等問題。為了更好的使用這項技術，并解決這些編碼光圈模式中存在的 問題，本發(fā)明使用旋轉(zhuǎn)編碼光圈模式進行改善深度估計以及全聚焦圖像復原性能等工作。

【發(fā)明內(nèi)容】

[0005] 為克服現(xiàn)有技術的不足，提供一種旋轉(zhuǎn)編碼光圈模式，獲取的深度信息準確，精度 高，提升全聚焦復原圖像質(zhì)量，同時，成像系統(tǒng)的使用方式便捷，穩(wěn)定度高。為達到上述目 的，本發(fā)明采取的技術方案是，基于旋轉(zhuǎn)編碼光圈成像系統(tǒng)的深度估計方法，包括如下步 驟:提出旋轉(zhuǎn)編碼光圈成像系統(tǒng)的性能評價標準，并依據(jù)該評價標準使用遺傳算法及坐標 下降法優(yōu)化旋轉(zhuǎn)編碼光圈，后借助優(yōu)化的旋轉(zhuǎn)編碼光圈實現(xiàn)深度估計及全聚焦圖像復原工 作。
[0006] 其中：
[0007] 1)提出旋轉(zhuǎn)編碼光圈成像系統(tǒng)的性能評價標準，
[0008] (1)失焦模糊成像模型：
[0009] f 二 0 +1J
[0010] 其中，f代表成像系統(tǒng)拍攝得到的失焦模糊圖像，f〇代表原始清晰圖像，0代表成像 系統(tǒng)在不同深度d處的點擴散函數(shù)，^描述高斯白噪聲，X表示高斯分布，供表示高 斯噪聲的標準差；
[0011] (2)三次旋轉(zhuǎn)編碼光圈系統(tǒng)的失焦成像模型：
[0012] Fi = F〇 · Kid+Ni,i = l,2,3
[0013] 其中，此模型是（1)中模型在頻域中的表達表示旋轉(zhuǎn)編碼光圈成像系統(tǒng)拍攝得 到的失焦模糊圖像，F(xiàn)〇表示原始圖像，K，表示不同深度的點擴散函數(shù)，化表示第i次旋轉(zhuǎn)編 碼光圈獲得拍攝圖像中的高斯白噪聲，i表示旋轉(zhuǎn)次數(shù)，即三次旋轉(zhuǎn)會產(chǎn)生三次不同的失焦 模糊圖像;此模型對應于旋轉(zhuǎn)編碼光圈成像系統(tǒng)的拍攝所得的三張失焦模糊圖像的數(shù)學模 型；
[0014] (3)使用能量函數(shù)最小值解決最大后驗概率問題(Maximum A Posteriori)以實現(xiàn) 對旋轉(zhuǎn)編碼光圈的性能優(yōu)化。
[0015]
[0016] 其中，|C|2 = C.C*代表圖像先驗的噪信比（Noise to Signal Ratios)，可以表示為 σ2/Α，其中，A使用多張自然圖像的平均功率譜來表示
ξ表示頻率，使用 能量函數(shù)最小值意味著使估計模糊圖像與原始模糊圖像之間的差別最小，即使得估計過程 精度最高，深度恢復結果最準確；
[0017] (4)使用維納反卷積法獲得估計清晰圖像。即對一個既定的估計深度，使用能量 函數(shù)先求解估計清晰圖像即在以：/ 3 0的條件下，可得，
[0018]
[0019] 其中，F(xiàn)是K的復共輒，尤〃是指在既定估計深度j處對應的成像系統(tǒng)點擴散函數(shù) 的頻域表示，本發(fā)明中的字母上方的Λ均表示該字母所代表變量是一個計算估計值；
[0020] (5)將步驟(4)和步驟(2)中的公式帶入步驟(3)，重構能量函數(shù)，經(jīng)整理簡化得到 一個關于估計深度&的能量評價函數(shù)，
[0021] A
[0022] 其中，(f表示位于成像系統(tǒng)所對應的標準深度，d表示可見光圖像的各層級的處深 度；
[0023] (6)在空域中的加性高斯白噪聲參數(shù)是〇的條件下，對旋轉(zhuǎn)編碼光圈位于cf處的深 度估計進行性能評價可得，
[0024]
[0025] 其中，D={C1d'C2d'"_，C1Cn代表系統(tǒng)對應的各深度層級，{ Cl}可取為{0.1， 0.15,…，1.5}，步長為0.05。
[0026] (7)對以上結果進行歸一化可得旋轉(zhuǎn)編碼光圈的性能評價標準：
[0027]
[0028] R值越大表征評價深度估計的能量函數(shù)變化越陡峭，使得深度估計性能對于圖像 噪聲或者彩色紋理的魯棒性越強。
[0029] 設計并使用遺傳算法優(yōu)化獲得低分辨率的旋轉(zhuǎn)編碼光圈；使用坐標下降法提高旋 轉(zhuǎn)編碼光圈的分辨率。
[0030] 深度估計恢復和全聚焦圖像復原過程，是借助維納反卷積以及像差法對其進行深 度恢復和全聚焦圖像復原的工作。
[0031] 本發(fā)明的技術特點及效果：
[0032] 1)相較于編碼光圈對在使用時的所需的更換光圈的方式，旋轉(zhuǎn)編碼光圈成像系統(tǒng) 的使用方式更為簡單便捷，獲取圖像更加穩(wěn)定有效。
[0033] 2)旋轉(zhuǎn)編碼光圈的三次旋轉(zhuǎn)的方式使得光圈的頻譜分立性能更好，因此，在各深 度層級對應的點擴散函數(shù)的分立程度更明顯。在估計深度的計算過程中，更好的頻譜分立 性能使得深度的估計結果在識別的準確度和深度的分辨率上的表現(xiàn)的性能更優(yōu)秀，計算能 力更魯棒。
[0034] 3)在獲得估計更為準確的深度圖的基礎上，使用維納反卷積法復原全聚焦清晰圖 像的效果會更佳。相較于先前的編碼光圈的方式，旋轉(zhuǎn)編碼光圈成像系統(tǒng)的頻譜互補性能 更優(yōu)秀，成像頻譜的頻率覆蓋更大，這使得可見光圖像的頻譜信息保留更多，也意味著恢復 清晰圖像的效果更好，提高了復原圖像的質(zhì)量。
[0035] 4)由于本發(fā)明的復原方法簡單，容易實現(xiàn)，運行時間短，因此，可以將解模糊復原 性能直接集成到數(shù)碼相機的硬件中使得相機或其他成像設備可以直接進行深度估計及圖 像復原的工作，減少了本系統(tǒng)對外部設備的依賴。
【附圖說明】：
[0036] 圖1是本發(fā)明使用遺傳算法及坐標下降法優(yōu)化旋轉(zhuǎn)編碼光圈的結果，其中，分辨率 為11 XII的光圈結果是使用遺傳算法生成的低分辨率優(yōu)化光圈，之后是坐標下降法提高光 圈分辨率的結果，47X47是本發(fā)明所用的旋轉(zhuǎn)編碼光圈；
[0037]圖2是旋轉(zhuǎn)編碼光圈的頻譜特性；
[0038]圖3是使用旋轉(zhuǎn)編碼光圈系統(tǒng)對各不同深度模型進行深度估計恢復的結果；
[0039] (a)分別是離散樓梯、階梯，連續(xù)斜面、圓錐面三維模型，模型表面一半附著復雜紋 理(左），一半附著簡單紋理(右）。
[0040] (b)分別是以上四個模型對應的原始深度圖。
[0041 ] (c)編碼光圈對的分別對應于四個模型的估計深度圖。
[0042] (d)旋轉(zhuǎn)圓形光圈的分別對應于四個模型的估計深度圖。
[0043] (e)旋轉(zhuǎn)編碼光圈的分別對應于四個模型的估計深度圖。
[0044] 下表是編碼光圈對、旋轉(zhuǎn)圓形光圈、旋轉(zhuǎn)編碼光圈的各估計深度圖與原始模型深 度圖間的RMSE (均方根誤差)統(tǒng)計結果。
[0045]
[0046] 圖4是使用旋轉(zhuǎn)編碼光圈系統(tǒng)對3維場景的深度估計以及全聚焦清晰圖像復原的 結果。
[0047] (la)(lb)分別是室內(nèi)、室外場景的原始場景的清晰圖和深度圖。
[0048] (2a) (2b)分別是對應場景的編碼光圈對的全聚焦復原圖像和估計深度圖。
[0049] (3a) (3b)分別是對應場景的旋轉(zhuǎn)編碼光圈的全聚焦復原圖像和估計深度圖。
[0050] 下表是全聚焦復原圖像和原始場景清晰圖的RMSE(均方根誤差）以及估計深度圖 和原始場景深度圖的PSNR(峰值信噪比）的統(tǒng)計結果，其中，db是計量單位。
[0051]

【具體實施方式】
[0052] 本發(fā)明采取的技術方案是，基于旋轉(zhuǎn)編碼光圈成像系統(tǒng)的深度估計方法。提出旋 轉(zhuǎn)編碼光圈成像系統(tǒng)的性能評價標準，并依據(jù)該評價標準使用遺傳算法及坐標下降法優(yōu)化 旋轉(zhuǎn)編碼光圈，后借助優(yōu)化的旋轉(zhuǎn)編碼光圈系統(tǒng)實現(xiàn)深度估計及全聚焦圖像復原工作。旋 轉(zhuǎn)編碼光圈成像系統(tǒng)對可見光圖像進行深度估計時，需要借助各深度層級對應的點擴散函 數(shù)，即不同深度處的點擴散函數(shù)的差異性是分辨深度的主要指標參數(shù)。因此，實現(xiàn)深度準確 估計的關鍵問題在于旋轉(zhuǎn)編碼光圈成像系統(tǒng)的點擴散函數(shù)具有優(yōu)秀的分立性能，對應于頻 譜中，意味著旋轉(zhuǎn)編碼光圈的頻譜需要具有較多的過零點。不同深度對應的點擴散函數(shù)的 頻譜過零點在會有不同的位置，當這些過零點盡可能地分立時，深度信息的估計就會越加 精準。包括如下步驟：1)提出旋轉(zhuǎn)編碼光圈成像系統(tǒng)的