專利名稱：減少場(chǎng)景圖像模糊的方法和場(chǎng)景圖像去模糊方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及圖像處理，更具體地涉及使用優(yōu)化的時(shí)間編碼碼 型對(duì)圖像進(jìn)行去模糊。
背景技術(shù)：
運(yùn)動(dòng)是對(duì)人類視覺感知的重要幫助。它有助于我們觀察、解釋和更 好地理解我們的環(huán)境。盡管它對(duì)人類觀察者是有用的，運(yùn)動(dòng)常常不利于 攝影。最清晰和最細(xì)膩的圖像要求完全靜止的相機(jī)和場(chǎng)景。這對(duì)于自然 設(shè)置下的業(yè)余攝影來說是極其困難的。常規(guī)的相機(jī)包括多個(gè)手動(dòng)或自動(dòng)控制，用于處理各種相機(jī)參數(shù)和場(chǎng)景參數(shù)，例如焦深(focus depth)和曝光時(shí)間。然而，處理場(chǎng)景中的運(yùn)動(dòng) 的解決方案有限。典型地，曝光時(shí)間隨著運(yùn)動(dòng)量的增加而減小。當(dāng)前的成像實(shí)踐一般遵循"瞬時(shí)的"理想(ideal)、無需計(jì)算的零階模 型運(yùn)動(dòng)選擇。理想地，使曝光時(shí)間盡可能最長(zhǎng)，從而使運(yùn)動(dòng)對(duì)象看起來 仍然基本上不動(dòng)。期望提供一種改進(jìn)的感測(cè)(sensing)方法，該方法將能夠使數(shù)字相 機(jī)使用一階運(yùn)動(dòng)模型。運(yùn)動(dòng)模糊是在獲取圖像時(shí)的積分或"曝光時(shí)間"過程中相機(jī)與場(chǎng)景之 間的相對(duì)運(yùn)動(dòng)引起?？梢酝ㄟ^圖像解巻積而將運(yùn)動(dòng)模糊圖像恢復(fù)到丟失 的空間頻率，只要運(yùn)動(dòng)是平移不變的(至少是局部地平移不變的)，并且 也稱為點(diǎn)擴(kuò)散函數(shù)(PSF)的導(dǎo)致模糊的模糊函數(shù)是已知的。然而，圖像解巻積屬于一類不適定(ill-posed)的逆問題，該問題的 解的唯一性無法建立，并且該解對(duì)輸入數(shù)據(jù)中的攝動(dòng)(perturbation)過 于敏感。已知多種運(yùn)動(dòng)去模糊和再模糊的技術(shù)。曝光時(shí)間解決方案縮短曝光時(shí)間是常用的解決方案。然而，短曝光時(shí)間增加了噪聲， 并且不必要地對(duì)圖像的靜止區(qū)域帶來損失。高速相機(jī)可以捕捉快速運(yùn)動(dòng)， 但其就感測(cè)、帶寬和存儲(chǔ)而言是昂貴的。高速相機(jī)也無法利用幀間的相關(guān)性(coherence)。通常，高速相機(jī)要求明亮的光。借助適度曝光時(shí)間且 持續(xù)時(shí)間極其短暫的閃光能夠獲得高速對(duì)象的視覺震撼結(jié)果。然而，在 戶外或遠(yuǎn)距離場(chǎng)景中閃光燈(strobed flash)通常不切實(shí)際。此外，閃光 僅僅捕捉了瞬間的動(dòng)作，而無法表示場(chǎng)景中的整體(general)運(yùn)動(dòng)。 智能相機(jī)為了克服相機(jī)運(yùn)動(dòng)，使用對(duì)相機(jī)運(yùn)動(dòng)進(jìn)行補(bǔ)償?shù)膽T性傳感器，自適 應(yīng)光學(xué)器件能夠被物理地穩(wěn)定。另選地， 一些CMOS相機(jī)在正常曝光時(shí) 間內(nèi)執(zhí)行高速幀捕捉，使得能夠去除基于多個(gè)圖像的運(yùn)動(dòng)模糊。給定合 理的曝光時(shí)間，這些技術(shù)就能夠產(chǎn)生清晰和鮮明的圖像。混合成像系統(tǒng)可使用輔助低分辨率高幀率傳感器來估計(jì)PSF。即使 長(zhǎng)時(shí)間曝光，精確的PSF也能夠使去模糊成為可能。這些方法對(duì)相機(jī)運(yùn) 動(dòng)進(jìn)行了補(bǔ)償，但沒有對(duì)場(chǎng)景內(nèi)的對(duì)象運(yùn)動(dòng)做出響應(yīng)。視頻分析可以將部分信息合并以便基于由攝像機(jī)捕捉到的連續(xù)幀或者根據(jù)由 具有重疊曝光時(shí)間的多個(gè)協(xié)同定位的相機(jī)捕捉到的幀來對(duì)視頻進(jìn)行估計(jì) 和去模糊。后處理解決方案給定模糊PSF，主要有兩類對(duì)圖像去模糊的方法。第一類方法在頻 域中能夠使用維納濾波器或正則求逆(regularized inversion),并且需要 計(jì)算去模糊圖像的傅立葉(余弦)變換。第二類方法包括迭代更新法。它們 包括Lucy-Richardson算法和基于圖像統(tǒng)計(jì)而對(duì)丟失指數(shù)(loss indices) 進(jìn)行迭代優(yōu)化的其它更新。通過使用在曝光較長(zhǎng)的照片中觀察到的色彩限制也能夠改善有噪聲 的短曝光的圖像?；趹?yīng)用到PSF的各種假設(shè)，廣泛地采用盲解巻積來 增強(qiáng)單個(gè)模糊圖像。對(duì)于任意運(yùn)動(dòng)，PSF估計(jì)仍然是具有挑戰(zhàn)性的問題。 并且即使PSF已知，去模糊圖像也由于放大的噪聲、重采樣和量化問題的緣故而通常顯著劣于原始圖像。通常是只可能對(duì)小的運(yùn)動(dòng)進(jìn)行去模糊。 編碼采樣在信號(hào)處理中普遍使用二進(jìn)制碼和連續(xù)碼來調(diào)制具有寬帶響應(yīng)的信號(hào)。這些碼包括"啁啾"(chirp),這些啁啾在脈沖間隔期間對(duì)寬頻帶上的 載波進(jìn)行掃描。最大長(zhǎng)度序列(m序列)和修正均一冗余陣列(MURA)是用 于通過循環(huán)巻積(circular convolution)來編碼和解碼的常用選擇。編碼 孔徑天文成像使用MURA碼來改進(jìn)信噪比，同時(shí)捕捉不適于常規(guī)透鏡的 X射線波長(zhǎng)和伽瑪射線波長(zhǎng)。寬帶信號(hào)在許多技術(shù)中都有應(yīng)用，例如用于抗噪聲通信的擴(kuò)頻編碼 和碼分復(fù)用(CDMA)，用于減小與其它信道的干擾。聲學(xué)家使用m序列 來設(shè)計(jì)展現(xiàn)了最小聲音衍射的二維面板?？紤]經(jīng)由解巻積來對(duì)一維信號(hào)進(jìn)行去模糊的問題。目標(biāo)是估計(jì)由線 性系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)尸(x)模糊的信號(hào)5^)。然后，已知測(cè)得圖像信號(hào)/(;c) 為(1)其中*表示巻積。在理想情況下，經(jīng)由解巻積濾波器P+(x)能夠恢復(fù)圖像的良好估計(jì)S'(X)，從而(2)在帶限點(diǎn)擴(kuò)散函數(shù)或具有不完全覆蓋的傅立葉域的點(diǎn)擴(kuò)散函數(shù)情況下，信息丟失并且無法解巻積。例如，在曝光持續(xù)時(shí)間T內(nèi)捕捉圖像等 效于在時(shí)域中借助箱形濾波器進(jìn)行的巻積。所得到的改變是平坦模糊。 在頻域中，信號(hào)乘以帶限的同步函數(shù)，該同步函數(shù)在2/T的間隔處為零 并且在其它在大多數(shù)頻率處具有顯著的衰減。為了克服此問題，多種方法利用迭代最大似然估計(jì)法根據(jù)可能解的 范圍選擇其重建。 一類公知的技術(shù)使用基于貝葉斯公式的統(tǒng)計(jì)模型來形 成圖像。Lucy-Richardson算法是基于非線性比的方法，該方法產(chǎn)生非負(fù) 灰度級(jí)值。迭代解巻積技術(shù)可應(yīng)用于整體圖像模糊，并且假設(shè)整個(gè)信號(hào) I(x)可用。但迭代解巻積無法處理其中場(chǎng)景的幾個(gè)部分具有不同PSF的情 況，例如運(yùn)動(dòng)對(duì)象位于靜止有紋理背景前面的情況。當(dāng)運(yùn)動(dòng)對(duì)象的一部分被遮擋時(shí)，無法觀察到I(x)的一些值。 發(fā)明內(nèi)容常規(guī)相機(jī)在曝光時(shí)間期間使快門打開，并且試圖利用圖像穩(wěn)定和/或 解巻積技術(shù)來對(duì)圖像去模糊。這種技術(shù)可減少由于相機(jī)運(yùn)動(dòng)而引起的整體圖像模糊，但無法校正運(yùn)動(dòng)遮光板(occluder)引起的模糊。此外，解 巻積會(huì)產(chǎn)生強(qiáng)噪聲偽影。本發(fā)明的實(shí)施方式最小化了相機(jī)所獲取的場(chǎng)景圖像中的運(yùn)動(dòng)模糊。 在整個(gè)曝光時(shí)間期間不是保持快門打開，而是使快門快速地"閃動(dòng)" (fluttei0。即，快門以不規(guī)則時(shí)序打開和關(guān)閉，以便產(chǎn)生編碼圖像。然后可以對(duì)編碼圖像進(jìn)行解碼，以便改進(jìn)運(yùn)動(dòng)對(duì)象的圖像中的細(xì)節(jié)。 解碼使用了線性代數(shù)來將編碼后的模糊圖像分為銳利、靜止的前景和背 景圖像。本發(fā)明的實(shí)施方式可對(duì)具有極大運(yùn)動(dòng)、紋理背景和局部遮光板的圖 像去模糊。應(yīng)當(dāng)注意此處描述的調(diào)制、采樣和解碼技術(shù)也可與其它能量領(lǐng)域 例如超聲和聲納感測(cè)一起使用。在該領(lǐng)域中，由于裝置的限制或因?yàn)槁?納裝置的運(yùn)動(dòng)，所感測(cè)到的信號(hào)被低通濾波。通過使用時(shí)間采樣碼，可 以減少高頻分量的衰減。高頻采樣技術(shù)也可用于導(dǎo)致圖像拖影(smear)的其它裝置。例如， 透鏡的焦距不準(zhǔn)導(dǎo)致散焦d模糊圖像。通過將高頻圖案(pattern)放置 在透鏡前面，可以對(duì)像素模糊進(jìn)行編碼，從而在稍后的解碼過程中能夠 恢復(fù)聚焦的銳利圖像。應(yīng)當(dāng)注意調(diào)制和編碼可以在相機(jī)外部或內(nèi)部實(shí)現(xiàn)，并且可以包括 幅度、頻率、相位、脈寬、不透明度(opadty)或快門的偏振調(diào)制(polarization modulation )。發(fā)明效果經(jīng)由閃動(dòng)曝光序列進(jìn)行的去模糊具有多個(gè)優(yōu)點(diǎn)。編碼成像方法，例 如在航天或斷層成像術(shù)中使用的這些方法，典型地對(duì)原始圖像進(jìn)行感測(cè)，這些原始圖像對(duì)人類觀察者是無意義的。幸運(yùn)的是，在本發(fā)明中，編碼 后的曝光圖像既使未成功地解碼也是有用的。與平坦模糊相比，圖像在 最壞的情況下以一半的強(qiáng)度模糊了一半。編碼后的序列容易實(shí)現(xiàn)，因?yàn)?與更復(fù)雜的連續(xù)不透明度控制相反，其需要二進(jìn)制不透明度的交換(toggling)。在數(shù)字相機(jī)中，可以直接利用快門實(shí)現(xiàn)二進(jìn)制切換過程或者 在感測(cè)芯片自身上實(shí)現(xiàn)二進(jìn)制切換過程。


圖1A為根據(jù)本發(fā)明實(shí)施方式的去模糊相機(jī)的示意圖； 圖1B為根據(jù)本發(fā)明實(shí)施方式的去模糊相機(jī)的示意圖； 圖1C為根據(jù)本發(fā)明實(shí)施方式的去模糊相機(jī)的示意圖； 圖1D為根據(jù)本發(fā)明一個(gè)實(shí)施方式的圖像去模糊方法的流程圖； 圖2為隨時(shí)間運(yùn)動(dòng)的對(duì)象的示意圖和所得到的強(qiáng)度輪廓； 圖3為根據(jù)本發(fā)明一個(gè)實(shí)施方式的用于將未知圖像變換為模糊圖像 的線性系統(tǒng)的示意圖；圖4A為根據(jù)本發(fā)明一個(gè)實(shí)施方式的模糊圖像； 圖4B為與圖4A中的圖像對(duì)應(yīng)的去模糊圖像；圖4C為根據(jù)本發(fā)明一個(gè)實(shí)施方式的具有邊界框(bounding box)的圖像；圖4D為根據(jù)本發(fā)明一個(gè)實(shí)施方式的具有切空部位(cut-out)的圖像; 圖4E為根據(jù)本發(fā)明一個(gè)實(shí)施方式的具有散景(Bokeh)效果的圖像; 圖5為根據(jù)本發(fā)明一個(gè)實(shí)施方式的具有重疊的運(yùn)動(dòng)對(duì)象的圖像； 圖6A為具有遮擋對(duì)象的圖像；以及 圖6B為將圖6A中的遮擋對(duì)象去掉后的圖像。
具體實(shí)施方式
圖1A、 1B和1C示出了根據(jù)本發(fā)明實(shí)施方式的去模糊相機(jī)的簡(jiǎn)化示 意圖。相機(jī)包括透鏡110、固態(tài)圖像傳感器120、快門130和快門控制器 140。在一個(gè)優(yōu)選實(shí)施方式中，該相機(jī)為數(shù)字相機(jī)，并且傳感器包括像素陣列。這些像素可以包括在Bayer網(wǎng)格中交織的RGB像素。該相機(jī)可以 是單個(gè)的光傳感器。該相機(jī)也可以是產(chǎn)生圖像序列或幀序列的數(shù)字?jǐn)z相 機(jī)。在線150上產(chǎn)生輸入圖像作為數(shù)字信號(hào)。
在圖IB所示的實(shí)施方式中，通過傳感器控制器141來實(shí)現(xiàn)圖1A中 的快門功能，傳感器控制器141可以瞬時(shí)地開閉(onandoff)傳感器120， 同時(shí)獲得輸入能量場(chǎng)101并進(jìn)行積分。該能量場(chǎng)可以是任何類型的電磁 輻射(例如可見光或紅外光)或者聲學(xué)輻射(例如超聲和聲納)。在圖1C所示的實(shí)施方式中，在獲取圖像的同時(shí)，閃光燈單元175"閃 動(dòng)"或頻閃(strobed)。
所有實(shí)施方式基本上都根據(jù)二進(jìn)制開閉序列對(duì)傳感器120獲取的光 場(chǎng)在時(shí)間上進(jìn)行調(diào)制，從而在曝光時(shí)間期間產(chǎn)生積分模糊輸入圖像150。并非在曝光時(shí)間的全部持續(xù)時(shí)間期間使快門保持打開，而是我們使 快門"閃動(dòng)"，即以快速的不規(guī)則的二進(jìn)制序列或時(shí)間碼型使快門打開和 關(guān)閉。不同的二進(jìn)制序列可用于圖像序列中的不同圖像。還應(yīng)當(dāng)注意 二進(jìn)制序列可以為任意的開閉序列，或者為偽隨機(jī)序列。即，不像在常 規(guī)相機(jī)中那樣僅具有單個(gè)開(打開)并緊隨著單個(gè)閉(關(guān)閉)，而是快門打開 和關(guān)閉多次，并且快門打開和關(guān)閉的次數(shù)在曝光持續(xù)時(shí)間內(nèi)是變化的。我們將所得到的圖像稱為編碼模糊圖像/(x)。閃動(dòng)以如下方式交替打 開和關(guān)閉運(yùn)動(dòng)積分，該方式為所得到的點(diǎn)擴(kuò)散函數(shù)(PSF)P(x)在傅立葉域 中具有最大覆蓋范圍。換句話說，利用二進(jìn)制開閉序列進(jìn)行的調(diào)制導(dǎo)致 了所得到的點(diǎn)擴(kuò)散函數(shù)的適定的(well-posed)可逆傅立葉變換。在沒有 快門的相機(jī)實(shí)施方式中，可以通過在曝光時(shí)間結(jié)束時(shí)對(duì)傳感器積分和采 樣的同時(shí)開閉傳感器而實(shí)現(xiàn)閃動(dòng)。也可以通過快速地幵閉閃光燈單元而 實(shí)現(xiàn)"閃動(dòng)"或調(diào)制。傳感器的閃動(dòng)還可以與閃光燈的頻閃相結(jié)合以實(shí)現(xiàn) 特殊效果。
開/閉切換時(shí)間可以小于100毫秒。典型地，總曝光時(shí)間大約為200 毫秒，并且編碼曝光時(shí)間包括例如大約52次切換。所觀察到的模糊圖像是經(jīng)調(diào)制的光場(chǎng)的時(shí)間積分與空間對(duì)象運(yùn)動(dòng)之 間的巻積。雖然對(duì)象運(yùn)動(dòng)事先是未知的，但可以選擇時(shí)間碼型，從而使巻積(模糊)圖像/(》保持相對(duì)較高的運(yùn)動(dòng)對(duì)象空間頻率，并且使我們能夠使用解碼過程160來恢復(fù)空間頻率。如圖所示，該解碼過程可以是在相 機(jī)內(nèi)部，在這種情況下輸出圖像152是一去模糊圖像。另選地，過程160 可外部地應(yīng)用于模糊輸入圖像。圖1D示出了根據(jù)本發(fā)明一個(gè)實(shí)施方式的輸入圖像去模糊方法。使用 開閉編碼碼型183由閃動(dòng)控制器182對(duì)場(chǎng)景的光場(chǎng)101進(jìn)行調(diào)制和編碼 (181)，從而產(chǎn)生編碼后的和模糊的輸入圖像184。編碼圖像被解碼(185)， 從而產(chǎn)生去模糊的輸出圖像186。圖4A和4B示出了運(yùn)動(dòng)出租車前后的圖像。運(yùn)動(dòng)模型更一般地，如圖2和圖3示意性地示出的那樣，我們使用線性代數(shù) 來描述巻積。令B表示模糊的輸入圖像像素值。圖像B的每個(gè)像素是所 期望的未模糊圖像的強(qiáng)度的線性組合X,并可以寫作-矩陣A表示拖影矩陣。拖影矩陣描述了輸入圖像與點(diǎn)擴(kuò)散函數(shù)戶(;c) 的巻積，而ri代表由于噪聲、量化誤差及模型不精確度所導(dǎo)致的測(cè)量不 確定性。對(duì)于二維PSF，矩陣A為循環(huán)(circulant)分塊矩陣，而對(duì)于一維 PSF來說，矩陣A為循環(huán)矩陣。為簡(jiǎn)明起見，我們將針對(duì)一維PSF情況 描述編碼和解碼過程，該一維PSF情況可容易地?cái)U(kuò)展到二維的情況。給定T秒有限曝光時(shí)間，我們將積分或曝光時(shí)間劃分為m個(gè)時(shí)間片 段(稱為時(shí)塊)，從而每個(gè)時(shí)塊為T/m秒長(zhǎng)。開閉時(shí)塊碼型是長(zhǎng)度為m 的二進(jìn)制序列183。運(yùn)動(dòng)模糊過程為時(shí)間201到空間203投影，其中在一 維運(yùn)動(dòng)情況下，T秒內(nèi)的運(yùn)動(dòng)導(dǎo)致了k個(gè)像素的線性模糊。因此，在單個(gè) 時(shí)塊的持續(xù)時(shí)間內(nèi)，拖影覆蓋了k/m個(gè)像素。如圖2示意性地所示，考慮對(duì)象隨時(shí)間在黑色背景的前面在空間上 向上運(yùn)動(dòng)并沿著垂直掃描線評(píng)價(jià)(evaluate)的簡(jiǎn)單情況。如果PSF在圖 像像素坐標(biāo)下長(zhǎng)度為k，則在第一時(shí)塊內(nèi)位置("，v)處的像素被線性地拖 影直到像素("，v+^-l)。如果對(duì)象沿著運(yùn)動(dòng)方向的長(zhǎng)度為"個(gè)像素，貝U總的模糊寬度為m;，其中w=("+/U)。我的目標(biāo)是根據(jù)觀察到的"+H個(gè)像 素來確定"個(gè)像素的最佳估計(jì)。拖影矩陣A可如下獲得。未知圖像X中的每個(gè)像素都對(duì)拖影之后的 總共A個(gè)像素有貢獻(xiàn)。循環(huán)矩陣A的第一列是后面緊接著n-l個(gè)零的長(zhǎng) 度為&的PSF向量。通過循環(huán)地單步向前對(duì)條目進(jìn)行置換(permute)而 從前一列獲得每個(gè)后續(xù)列。因此，在黑色背景的情況下，與尸(x)的線形 巻積或者乘以循環(huán)矩陣A等效于與填充有"-l個(gè)零的長(zhǎng)度為A:的PSF向 量的循環(huán)巻積。在實(shí)踐中，由于X沿拖影方向僅具有"個(gè)未知的值，因此可以通過 將矩陣A截取到前"列而創(chuàng)建過約束的最小二乘系統(tǒng)。因此，矩陣A的 大小變?yōu)?"+zt-l)XM。在平坦模糊的情況下，具有恒定值的長(zhǎng)度為《的輸 入信號(hào)的時(shí)空投影產(chǎn)生了具有梯形強(qiáng)度輪廓的響應(yīng)。輪廓中的每個(gè)斜邊 (ramp)跨越&個(gè)像素，并且平坦段為wi-l個(gè)像素。對(duì)于編碼后的模糊 來說，強(qiáng)度輪廓的整體形狀仍然是梯形，但快門的快速閃動(dòng)使斜邊變?yōu)?更呈鋸齒狀的形狀210，如圖2所示。碼選擇我們的目標(biāo)是選擇改善成像過程可逆性的時(shí)間碼(temporal code)。 我們通過研究編碼矩陣的條件數(shù)及碼的頻譜的方差來分析可逆性。在存在不確定性和噪聲的情況下，可通過標(biāo)準(zhǔn)矩陣條件分析來判定 擴(kuò)散矩陣A的可逆性。條件數(shù)為最大奇異(singular)值與最小奇異值的 比，并且表示解X對(duì)輸入圖像B中的噪聲;/的靈敏度。我們注意到循 環(huán)矩陣的特征值包括循環(huán)矩陣的第一列的離散傅立葉變換(DFT)的幅度， 并且矩陣A中的每一列為填充了零的PSF向量?；谠撚^察，我們選擇 具有寬帶頻率響應(yīng)的碼序列，從而使拖影矩陣的對(duì)應(yīng)條件數(shù)盡可能地大。理論上講，我們可以例如使用類啁啾函數(shù)連續(xù)地隨時(shí)間對(duì)所得到的 濾波器的不透明度進(jìn)行調(diào)制，從而獲得寬帶頻率響應(yīng)。然而在實(shí)踐中， 具有固定時(shí)塊持續(xù)時(shí)間的二進(jìn)制(開閉)不透明度切換更容易實(shí)現(xiàn)。對(duì)寬帶二進(jìn)制碼的選擇包括Walsh-Hadamard碼、最大長(zhǎng)度序列和修 正均一隨機(jī)排列(MURA)碼。MURA序列看起來是明顯的選擇，因?yàn)槠潆x散傅立葉變換是平坦的。然而對(duì)于運(yùn)動(dòng)模糊來說，與填充有"-l個(gè)零的長(zhǎng)度為A的PSF向量進(jìn)行循環(huán)巻積，其中"是沿著運(yùn)動(dòng)方向的以像素為 單位的對(duì)象的長(zhǎng)度。如下所述，MURA對(duì)于填充有零的碼型而言不是最 優(yōu)的，從而促使我們尋找可能最好的碼。沒有填充零的MURA碼型的DFT是平坦的。然而，DFT僅能夠精 確地求解離散頻率。對(duì)于落在DFT線之間的分量存在譜泄漏。零填充導(dǎo) 致頻率分量的更大分辨率，并且揭示了MURA碼型的弱點(diǎn)。由于解碼涉及到頻譜的反轉(zhuǎn)(inversion),我們還將光滑度約束添加 到我們的對(duì)最佳二進(jìn)制時(shí)塊碼型的搜索中。頻率響應(yīng)應(yīng)當(dāng)具有低方差， 從而在解碼期間不正確的PSF估計(jì)不會(huì)導(dǎo)致不正確的空間頻率的放大。 箱形濾波器序列和填充MURA序列的頻率響應(yīng)包括深降(deep dip)或 零，從而產(chǎn)生兩者的高方差。頻域中的尖峰(spike)導(dǎo)致了偽(spurious) 放大。為了找到具有低方差和寬帶響應(yīng)的碼，我們對(duì)長(zhǎng)度為m的二進(jìn)制碼 202執(zhí)行窮盡搜索。尋找最平坦響應(yīng)的線性搜索涉及尋找具有最大頻率幅 度與最小頻率幅度之間的最小比的碼。此外，我們通過解的標(biāo)準(zhǔn)偏差對(duì) 解進(jìn)行加權(quán)。最后，我們確定序列長(zhǎng)度183的長(zhǎng)度m。如稍后所述，理想的時(shí)塊 數(shù)等于模糊大小L根據(jù)本發(fā)明的實(shí)施方式的相機(jī)理想地具有自動(dòng)閃動(dòng)模 式(一種類似于自動(dòng)聚焦特征的運(yùn)動(dòng)自適應(yīng)形式)，以基于感測(cè)到的光流自 行(on the fly)確定長(zhǎng)度m?？赏ㄟ^實(shí)驗(yàn)確定折衷值。我們選擇m=52個(gè)時(shí)塊的序列。我們使用窮盡性搜索而找到的最優(yōu)碼序列為1010000111000001010000110011110111010111001001100111運(yùn)動(dòng)解碼 線性解給定估計(jì)出的PSF，我們可以使用已知的圖像解巻積過程來對(duì)模糊圖像去模糊。然而在下述幾種情況下，我們發(fā)現(xiàn)難以經(jīng)由解巻積添加更 多約束，而是，線性代數(shù)過程法更切實(shí)際并且是更優(yōu)選的。我們使用最 小二乘估計(jì)將去模糊的圖像i求解為(4)其中在最小二乘的意義上，A+是矩陣A的偽逆(pseudo-inverse)陣。由 于輸入圖像可具有不同于w的運(yùn)動(dòng)模糊t我們首先通過因子m/t來擴(kuò)大 /縮小給定的模糊圖像。然后，我們對(duì)X進(jìn)行估計(jì)，并且通過^n將X縮 放回其原始大小。在以下部分中，我們側(cè)重于一維的PSF?，F(xiàn)實(shí)世界中的對(duì)象在幀內(nèi) 的運(yùn)動(dòng)由于能量和慣性約束的緣故而趨向于一維運(yùn)動(dòng)。我們將運(yùn)動(dòng)的一 維線狀路徑稱為運(yùn)動(dòng)線。注意給定運(yùn)動(dòng)線上的場(chǎng)景特征僅對(duì)該運(yùn)動(dòng)線 上的像素有貢獻(xiàn)，因此運(yùn)動(dòng)線是獨(dú)立的?？瑟?dú)立于其它運(yùn)動(dòng)線而確定每個(gè)運(yùn)動(dòng)線的解。在以下描述中，不失 一般性，假設(shè)運(yùn)動(dòng)線為朝著水平掃描線。然而在例如相機(jī)抖動(dòng)的例子中， PSF通常是二維下的一維流形(manifold)的集合。我們的方法也可以擴(kuò) 展到這些PSF。通常，去模糊過程160需要知道哪些像素屬于圖像的模糊運(yùn)動(dòng)前景 區(qū)域，哪些屬于未模糊的靜止背景區(qū)域。分類錯(cuò)誤可能導(dǎo)致解碼錯(cuò)誤， 其中，未模糊的背景像素?fù)p害了沿著整個(gè)運(yùn)動(dòng)線的結(jié)果?？梢允褂萌魏我阎姆椒▽^(qū)域分類為模糊區(qū)域和未模糊區(qū)域。在 靜止相機(jī)的情況下，經(jīng)由幀差分或通過對(duì)運(yùn)動(dòng)對(duì)象在兩個(gè)連續(xù)幀內(nèi)的位 置進(jìn)行比較可以獲得運(yùn)動(dòng)對(duì)象的"切空部位"或側(cè)影(silhouette)。在交互 式去模糊過程中，如圖4C所示，用戶可以指定圍繞模糊對(duì)象的軸向?qū)R 的邊界框400。對(duì)圖像中的運(yùn)動(dòng)對(duì)象進(jìn)行定位的許多技術(shù)是已知的。邊界框的寬度w通常比模糊寬度w-("+M灘大。用戶指定模糊長(zhǎng) 度A:，該模糊長(zhǎng)度&表示對(duì)象的形狀為"'-v^-A:+l。值n'可以認(rèn)為是n的 逼近值。如果長(zhǎng)度沿著每個(gè)運(yùn)動(dòng)線不同，則用戶指定切空部位401，如圖 4D所示，而不是指定邊界框。背景估計(jì)我們現(xiàn)在解決由于靜止非模糊背景前面的不透明對(duì)象運(yùn)動(dòng)而導(dǎo)致的 運(yùn)動(dòng)模糊問題。這是常見但又困難的情況，因?yàn)檫\(yùn)動(dòng)對(duì)象趨向于與背景 "混"(blend)在一起。獲知運(yùn)動(dòng)對(duì)象的PSF以對(duì)圖像去模糊是不夠的。我們探討該問題，對(duì)情況進(jìn)行分類，并且發(fā)現(xiàn)在某些情形下，在模糊對(duì) 象的邊界處可見的未知背景能夠在去模糊過程期間恢復(fù)。 模糊圖像由下式給出其中X是運(yùn)動(dòng)前景對(duì)象，Xg是靜止背景，Ag是背景衰減矩陣，其元素對(duì)靜止背景進(jìn)行衰減。矩陣Ag可以書寫為<formula>formula see original document page 14</formula>( 6 )其中/,xl是全1且長(zhǎng)度為《的向量，diag(v)是通過將向量v置于主對(duì)角 上而返回的方矩陣。對(duì)背景估計(jì)進(jìn)行的分析是基于對(duì)模糊區(qū)域有貢獻(xiàn)的像素背景數(shù)量g。 在大小為(w+H)的模糊區(qū)域內(nèi)，當(dāng)"^時(shí)，背景僅在邊緣附近可見，并 且僅對(duì)2&個(gè)像素有貢獻(xiàn)。然而，當(dāng)iKk時(shí)，對(duì)象拖影比其長(zhǎng)度更長(zhǎng)，并且在所有模糊像素中 背景局部地可見。因此，g=min(2A:， w+A-l)。給定在("+肛l)個(gè)像素處的觀 察值，我們對(duì)最少w+2A個(gè)值進(jìn)行估計(jì)。可通對(duì)對(duì)象運(yùn)動(dòng)和與背景圖像對(duì) 應(yīng)的紋理復(fù)雜性添加約束而估計(jì)另外的&1個(gè)未知數(shù)。我們考慮以下情況來估計(jì)前景X和背景Xg:1. 具有已知形狀和紋理背景的寬對(duì)象2. 具有未知形狀的寬對(duì)象":^并且i. 恒定背景；ii. 紋理背景但紋理的邊緣位于模糊區(qū)域之外；iii. 紋理背景，且紋理邊緣穿過模糊區(qū)域；及3. 在大于其長(zhǎng)度的距離上被模糊的窄對(duì)象在情況1中，我們限定長(zhǎng)度為^"的指定模糊區(qū)域，從而指定的切 空部位精確地標(biāo)出了模糊對(duì)象的形狀。由于我們知道背景像素的梯形部 分的斜邊的精確位置，因此我們可以創(chuàng)建背景衰減矩陣Ag。我們可以通 過做出背景具有頻率這一簡(jiǎn)化假設(shè)而從背景的2A個(gè)可能值中估計(jì)出多達(dá) [1個(gè)值。在情況2(i)中，對(duì)象形狀未知。在背景恒定時(shí)，我們可以將背景當(dāng)作產(chǎn)生了"拖影"值的運(yùn)動(dòng)對(duì)象的一部分。剩下的問題僅是對(duì)單個(gè)未知背景 色彩進(jìn)行估計(jì)。由于每個(gè)運(yùn)動(dòng)線是獨(dú)立的，我們可以恢復(fù)每個(gè)運(yùn)動(dòng)線的 不同背景。這種估計(jì)是可能的，僅僅因?yàn)槲覀兊木幋a曝光方法提供了拖影矩陣A的相當(dāng)多的條件數(shù)。對(duì)于箱形濾波的或平坦的模糊而言，條件數(shù)較低，并且試圖找到該相同估計(jì)是非常不穩(wěn)定的。拖影矩陣的多個(gè)奇異值對(duì)于箱形濾波的PSF來說相對(duì)較小，并且隨著未知數(shù)的數(shù)量增加， 線性解變得病態(tài)(ill-conditioned)。在情況2(ii)中，背景不是恒定的，但在背景的邊緣位于模糊區(qū)域之 外時(shí)我們?nèi)匀豢梢曰謴?fù)前景。我們使用梯度域方法來消除背景的變化。 前景中的最高可能梯度由PSF衰減了2/m的因子或者更多。因此，沿著 運(yùn)動(dòng)線的所有幅度大于2/m的梯度可能是背景邊緣，并且將這些梯度設(shè) 置為零。通過對(duì)從前景區(qū)域起向外的變更梯度進(jìn)行積分而重建出了運(yùn)動(dòng) 線。在情況2(iii)中，背景邊緣與前景模糊混在一起，并且被高度地衰減。 在這種情況下我們僅可以合成背景紋理。在情況3中，每個(gè)模糊像素具有來自背景的貢獻(xiàn)。注意這種情況不具有唯一解。因?yàn)楸尘八p對(duì)所有像素而言都是非零的，我們可以獲得導(dǎo)致相同模糊圖像的X和Xg二者的多個(gè)解。具體地說，給定解X,和Xgl，我們總是能夠找到另一個(gè)解X2，并且對(duì)背景進(jìn)行修正，使得 竭+^4^ =必( 7 )然后值Xg2由下式給出& = (4廣(順 -義2) +仏)注意在":^的其它情況下，由于完全沒有看到背景，并且背景貢 獻(xiàn)矩陣Ag不可逆。雖然我們側(cè)重于物理值的線性或迭代估計(jì)，但也可以獲得其它視覺 上結(jié)果令人愉快的解。這些技術(shù)包括紋理合成、圖像修復(fù)(inpainting)、 結(jié)構(gòu)傳播、或者未遮擋背景或"遠(yuǎn)方背景(cleanplate)"圖像的捕捉。簡(jiǎn)單運(yùn)動(dòng)推廣通過應(yīng)用圖像彎折(warping)，我們能夠使我們的方法160與沿著與消失點(diǎn)交匯的線的立體運(yùn)動(dòng)同樣地對(duì),繞固定中心的平面旋轉(zhuǎn)中的、 投影為仿射變換的簡(jiǎn)單運(yùn)動(dòng)的更廣泛的集合進(jìn)行解碼。雖然編碼模糊的 PSF最初是非線性的和位置相關(guān)的，但是可以對(duì)大多數(shù)線性運(yùn)動(dòng)進(jìn)行彎 折，從而產(chǎn)生具有與圖像掃描線對(duì)齊的空間不變均一長(zhǎng)度位移向量的圖 像。由于運(yùn)動(dòng)模糊跟隨著該相同的位移向量場(chǎng)，彎折圖像提供了現(xiàn)在適 于解碼的均一寬度編碼模糊區(qū)域。為了產(chǎn)生最終結(jié)果，我們只是應(yīng)用反 彎折，以使解碼圖像返回到其原始的幾何形式。在立體彎折的情況下，可以在對(duì)運(yùn)動(dòng)線的消失點(diǎn)進(jìn)行估計(jì)之后應(yīng)用糾正(rectification)。在糾正 之后，所有的彎折運(yùn)動(dòng)線在相機(jī)圖像空間內(nèi)平行。面內(nèi)轉(zhuǎn)動(dòng)(例如旋轉(zhuǎn)的風(fēng)扇或擺動(dòng)的鐘擺)產(chǎn)生了形成圍繞轉(zhuǎn)動(dòng)中 心的同心圓的運(yùn)動(dòng)線?？赏ㄟ^在極坐標(biāo)下去模糊來對(duì)此處理。再合成去模糊的結(jié)果對(duì)廣范的應(yīng)用是有益的。我們描述了再造(recreate) 藝術(shù)性模糊的例子，并且在以下段落中描述其它應(yīng)用。 運(yùn)動(dòng)散景我們可從單個(gè)模糊圖像中產(chǎn)生任意運(yùn)動(dòng)模糊。散景是日文術(shù)語，其 通常用來描述圖像中變化的、藝術(shù)地控制的聚焦或眩光效果。通過使用 針孔或具有可變形狀的孔徑，攝影師可以使明亮的點(diǎn)狀對(duì)象當(dāng)這些點(diǎn)位 于焦外時(shí)看起來像盤形、三角形、星形和其它形式。焦外區(qū)域的色彩和 亮度有助于感知特定質(zhì)量的光線和戶外感覺。我們通過使用藝術(shù)家選擇的時(shí)塊貢獻(xiàn)而在時(shí)間模糊中產(chǎn)生散景。由 箱形濾波而導(dǎo)致的平坦模糊產(chǎn)生了圖像，該圖像中丟失了大多數(shù)可見細(xì) 節(jié)?？ㄍㄋ囆g(shù)家或汽車廣告商通過生成小的條紋(streak)而不是通過利 用箱形濾波器使整個(gè)圖像形成拖影來表示運(yùn)動(dòng)。我們可以通過不對(duì)沿著運(yùn)動(dòng)線的具有高梯度的像素進(jìn)行解碼而從去 模糊像素產(chǎn)生該圖像。我們使這種局部高梯度的圖像形成拖影。注意 背景適當(dāng)?shù)?突出于(peak)"這些條紋。然后，我們將該拖影圖像重疊在 適度模糊的結(jié)果上，如圖4E所示。運(yùn)動(dòng)粘貼如圖5所示，我們可以將新對(duì)象疊加在恢復(fù)后的運(yùn)動(dòng)對(duì)象與由于運(yùn) 動(dòng)引起而適當(dāng)?shù)鼗旌狭巳齻€(gè)元素的背景之間。為此，我們將目標(biāo)圖像在 時(shí)間上劃分為具有A:個(gè)獨(dú)立時(shí)塊圖像的序列。對(duì)于每個(gè)時(shí)塊，我們利用 針對(duì)該時(shí)塊而線性插值的位移來定位原始汽車和插入的汽車。這三層定 義了遮擋關(guān)系。然后，我們使用所期望的PSF對(duì)所產(chǎn)生的A個(gè)圖像進(jìn)行 混合。應(yīng)用相機(jī)運(yùn)動(dòng)通常使用基于陀螺的光學(xué)器件物理穩(wěn)定來解決相機(jī)運(yùn)動(dòng)。還能夠從 相機(jī)搖動(dòng)導(dǎo)致的模糊圖像來恢復(fù)相機(jī)運(yùn)動(dòng)。在這種情況下，PSF比較復(fù) 雜，并且可能需要單獨(dú)的方法來對(duì)二維PSF進(jìn)行估計(jì)。這可以經(jīng)由嵌入 到相機(jī)中的加速度計(jì)或陀螺儀或者利用輔助低分辨率高幀率相機(jī)來實(shí) 現(xiàn)。因?yàn)槲覀兗僭O(shè)平移不變，即所有的點(diǎn)共享相同的PSF，因此只需要 對(duì)單個(gè)特征進(jìn)行跟蹤。例如，可以將點(diǎn)光源(例如發(fā)光二極管)放置在 視場(chǎng)中。將光線的拖影用作我們的PSF。局部遮擋移除運(yùn)動(dòng)模糊將運(yùn)動(dòng)對(duì)象的的色彩沿著其運(yùn)動(dòng)線廣泛分散。如果運(yùn)動(dòng)對(duì) 象被狹窄且靜止的前景對(duì)象局部地遮擋，則我們?nèi)匀豢梢曰謴?fù)運(yùn)動(dòng)對(duì)象 的所有局部遮擋區(qū)域的色彩。諸如圖像修復(fù)的技術(shù)"幻化(hallucinate)" 了可能的像素值，但編碼模糊能夠使我們包圍完全觀察到的系統(tǒng)。在一維PSF的情況下，如果模糊寬度的大小為w，并且局部遮光板 的長(zhǎng)度為A則在所記錄的"+ll個(gè)像素中，只有"+WW個(gè)像素可用來 重建"個(gè)像素。如果模糊大小A大于遮光板長(zhǎng)度A則可以恢復(fù)所有的丟 失的^個(gè)像素。圖6B示出了從圖6A中以一個(gè)桿作為遮光板的模糊圖像 恢復(fù)的汽車圖像。我們可以在離散頻域中通過矩陣條件分析來分析編碼后的曝光。然 而，各種要素碼序列、碼長(zhǎng)度、模糊長(zhǎng)度和解碼之后對(duì)應(yīng)的噪聲它們 之間的關(guān)系也可以為連續(xù)域。我們對(duì)二進(jìn)制碼進(jìn)行優(yōu)化，以便通過分析 離散傅立葉變換來改善拖影矩陣A的特征值。我們相信，根據(jù)本發(fā)明實(shí)施方式的碼可應(yīng)用于其中在解碼過程中將線性混合模型反轉(zhuǎn)的其它領(lǐng) 域。我們通過窮盡性的線性搜索而獲得了我們的碼。然而，也可以使用 其它搜索技術(shù)。通過編碼后的曝光進(jìn)行的解巻積展現(xiàn)了與單個(gè)通信信道的碼分復(fù)用及解復(fù)用的相似性。如此處所述，CDMA領(lǐng)域和帶有背景噪聲的同步正 交碼或信道接收中的進(jìn)展能夠改進(jìn)并拓展編碼模糊攝影中的結(jié)果。編碼 和重建與斷層掃描術(shù)及編碼孔徑成像具有幾個(gè)相似性，并且利用這種關(guān) 系可以在時(shí)間圖像處理中產(chǎn)生進(jìn)一步的益處。 效果對(duì)攝像機(jī)和運(yùn)動(dòng)視頻的擴(kuò)展通過利用幀對(duì)幀的相關(guān)性而可以改善運(yùn) 動(dòng)估計(jì)。兩個(gè)或多個(gè)相機(jī)的重疊時(shí)塊能夠產(chǎn)生非常精細(xì)的時(shí)間分辨率。 類似地，用于從多于一個(gè)對(duì)象的重疊運(yùn)動(dòng)中對(duì)模糊進(jìn)行解碼的方法能夠 產(chǎn)生另外的復(fù)雜的遮擋效果。通過處理一般的三維運(yùn)動(dòng)，正如我們針對(duì)局部遮擋情況描述的一樣， 當(dāng)存在運(yùn)動(dòng)模糊時(shí)，單個(gè)圖像分片(patch)的不完全采樣可以用于慢速 運(yùn)動(dòng)的"動(dòng)作回放"序列。聚焦和深度也影響二維下的模糊大小。將編碼后的聚焦與編碼后的 曝光組合起來可以產(chǎn)生基于圖像中的最大局部方差的可解碼深度圖。超聲和聲納應(yīng)當(dāng)注意我們的調(diào)制、采樣和解碼技術(shù)還用于其它領(lǐng)域，例如超 聲和聲納感測(cè)。其中，感測(cè)信號(hào)由于裝置限制或因?yàn)槁暭{裝置的移動(dòng)而 被低通濾波。通過使用時(shí)間采樣碼，可以減少高頻分量的衰減。聚焦我們的高頻采樣技術(shù)也可用于導(dǎo)致輸入圖像中的拖影的其它裝置。例如，透鏡的焦距不準(zhǔn)導(dǎo)致散焦(defocus)模糊圖像。通過將高頻圖案放置在透鏡前面，可以對(duì)像素模糊進(jìn)行編碼，以便在稍后的解碼過程中 恢復(fù)聚焦的銳利圖像。PSF計(jì)算編碼后的曝光可以使PSF估計(jì)更容易實(shí)現(xiàn)。由于平坦模糊的原因，在單幀內(nèi)進(jìn)行運(yùn)動(dòng)估計(jì)相對(duì)困難。因?yàn)榫幋a后的曝光保留了更多的高頻 分量，因此可應(yīng)用幀間光流處理。已知用于根據(jù)圖像序列和視頻來分析運(yùn)動(dòng)的多種技術(shù)。編碼曝光攝相機(jī)可以極大地改善光流、PSF估計(jì)和圖像穩(wěn)定的結(jié)果。通過利用連續(xù)幀內(nèi)的相關(guān)性，還能夠?qū)崿F(xiàn)新的渲染效果。 相關(guān)性可用來改進(jìn)背景建模，從而在解碼操作期間減少背景場(chǎng)景中的干 擾。相機(jī)在一個(gè)實(shí)現(xiàn)中，我們使用了外部觸發(fā)的快門。內(nèi)部實(shí)施可以根據(jù)全 局分布的時(shí)塊信號(hào)在傳感器的像素級(jí)幵始和停止入射光的積分。在這種情況下，R、 G和B像素可以使用利用了 Bayer網(wǎng)格(即色彩 傳感器交織)的不同二進(jìn)制碼，以獲得更精細(xì)的時(shí)空分辨率。這些碼可 以保持恒定，或者碼長(zhǎng)度可以基于幀間運(yùn)動(dòng)而自適應(yīng)地選擇。這些碼還 可以用來控制頻閃發(fā)光閃光燈。因此，此處描述的技術(shù)可用于其中對(duì)象 高速運(yùn)動(dòng)的應(yīng)用中。頻閃預(yù)閃光燈對(duì)場(chǎng)景分析和減少紅眼可能是有效的。 極短的閃光持續(xù)時(shí)間通常用來定格場(chǎng)景運(yùn)動(dòng)，但編碼閃光序列提供了更 強(qiáng)大的控制運(yùn)動(dòng)感測(cè)的能力。然而，周圍光線的存在改變了具有編碼閃光序列的運(yùn)動(dòng)的PSF。結(jié) 果是兩個(gè)PSF的線性組合由環(huán)境光引起的平坦模糊，以及由頻閃光引 起的編碼模糊。如果PSF是正交編碼的，則變得能夠分別恢復(fù)平坦模糊 和編碼模糊。類似地，多相機(jī)、多照明結(jié)構(gòu)中的編碼閃光與編碼曝光的 組合可用于恢復(fù)運(yùn)動(dòng)側(cè)影、自身陰影效果(self-shadowing)及遮擋次序。圖1A、 1B和1C中的相機(jī)上可裝備有用于手動(dòng)控制的"運(yùn)動(dòng)旋 鈕"170。與自動(dòng)聚焦系統(tǒng)類似，相機(jī)也可具有"自動(dòng)閃動(dòng)"裝置，其中相機(jī) 電子器件可以自行確定最佳碼序列長(zhǎng)度和持續(xù)時(shí)間。對(duì)于圖1C所示的本 發(fā)明實(shí)施方式來說，旋鈕170可用來手動(dòng)控制閃光燈控制器142，以便設(shè) 置編碼閃光序列。超聲傳感器或輔助低分辨率相機(jī)可通過檢測(cè)和測(cè)量對(duì) 象運(yùn)動(dòng)來觸發(fā)閃動(dòng)。分析有益的是可以對(duì)根據(jù)本發(fā)明的實(shí)施方式的解巻積輸出與常規(guī)方法進(jìn)行比較。 噪聲我們的解碼過程中的噪聲主要是由高頻分量放大引起的。保留編碼后的PSF，但適度地衰減除了最低頻率分量之外的所有頻率分量。對(duì)于 線性系統(tǒng)Ax-b，假設(shè)噪聲和方差c^獨(dú)立同分布，則x的協(xié)方差陣C;由 下式給出-C,-oV^)—i (8)對(duì)于52個(gè)時(shí)塊的序列183，所得到的矩陣C-接近于對(duì)角陣，并且對(duì) 于范圍從100到1000個(gè)像素的對(duì)象大小，最大對(duì)角項(xiàng)等于77。因此，噪 聲放大大約為18db。相比較而言，對(duì)于平坦模糊，C-的最大值為1474.9， 其噪聲放大為41.6 db。我們的方法可以將圖像去模糊到單個(gè)時(shí)塊內(nèi)的運(yùn)動(dòng)的程度。與利用 單個(gè)時(shí)塊(即T/m秒)的曝光捕捉到的圖像進(jìn)行比較。由于編碼曝光的 累積曝光時(shí)間大約為T/2，因此模糊區(qū)域中的SNR可能要好w/2那么多。 然而，對(duì)于短暫曝光成像，關(guān)鍵性的優(yōu)點(diǎn)是區(qū)域內(nèi)沒有運(yùn)動(dòng)模糊，因此 其不需要去模糊。我們的系統(tǒng)可以記錄具有減少的噪聲的銳利圖像。分辨率二進(jìn)制碼選擇對(duì)系統(tǒng)性能具有較大影響。長(zhǎng)碼(即w較大)精細(xì)地 對(duì)曝光時(shí)間進(jìn)行細(xì)分，并且能夠?qū)Υ罅磕：M(jìn)行解碼，但對(duì)少量模糊則 效率很低。相反，短碼具有每時(shí)塊的更長(zhǎng)持續(xù)時(shí)間，并且無法解決單個(gè) 時(shí)塊內(nèi)的模糊。我們希望使比值A(chǔ)/w保持比每時(shí)塊一個(gè)像素稍大，以實(shí) 現(xiàn)對(duì)模糊的可能最好的采樣。發(fā)明效果經(jīng)由閃動(dòng)曝光序列進(jìn)行的去模糊具有多個(gè)優(yōu)點(diǎn)。諸如在航天或斷層 成像術(shù)中使用的編碼成像方法通常感測(cè)對(duì)人類觀察者來說無意義的原始 圖像。幸運(yùn)的是，在本發(fā)明的情況下，編碼后的曝光圖像即使未成功地 解碼也是有用的。與平坦模糊相比，圖像在最壞的情況下以一半的強(qiáng)度 模糊了一半。編碼序列容易實(shí)現(xiàn)，因?yàn)榕c更復(fù)雜的連續(xù)不透明度控制相 反，其需要二進(jìn)制不透明度的交換。在數(shù)字相機(jī)中，可以利用快門或者在傳感芯片自身上直接實(shí)現(xiàn)二進(jìn)制切換處理。本發(fā)明的實(shí)施方式提供了對(duì)相機(jī)的積分的時(shí)間碼型的改變，從而能 夠?qū)嶋H上將圖像去模糊。對(duì)于運(yùn)動(dòng)對(duì)象，在時(shí)域中所選擇的閃動(dòng)序列在 空間域中保持了更高的頻率。盡管以優(yōu)選實(shí)施方式為例描述了發(fā)明，但應(yīng)當(dāng)理解，可在本發(fā)明的 精神和范圍內(nèi)做出各種其它變更和修正。因此，所附權(quán)利要求的目的是 涵蓋落入本發(fā)明的真實(shí)精神和范圍內(nèi)的所有這種變型和修正。
權(quán)利要求
1、一種用于減少由相機(jī)獲取的場(chǎng)景的圖像中的模糊的方法，該方法包括以下步驟選擇最優(yōu)的時(shí)間編碼碼型；在曝光時(shí)間期間根據(jù)所述時(shí)間編碼碼型對(duì)相機(jī)圖像傳感器獲取并積分的場(chǎng)景的光線進(jìn)行時(shí)間調(diào)制，以生成編碼后的輸入圖像；以及根據(jù)所述編碼碼型的反轉(zhuǎn)碼型對(duì)所述編碼后的輸入圖像進(jìn)行解碼，以產(chǎn)生模糊減少的解碼后的輸出圖像。
2、 根據(jù)權(quán)利要求1所述的方法，其中，所述碼型為二進(jìn)制的，并且 在傅立葉域中具有最大覆蓋范圍。
3、 根據(jù)權(quán)利要求1所述的方法，其中，所述時(shí)間編碼碼型是最優(yōu)二 進(jìn)制碼。
4、 根據(jù)權(quán)利要求1所述的方法，其中，所述曝光時(shí)間為大約200毫 秒，并且在所述曝光時(shí)間期間所述調(diào)制使相機(jī)快門打開和關(guān)閉大約52次。
5、 根據(jù)權(quán)利要求1所述的方法，其中，所述曝光時(shí)間具有任意持續(xù) 時(shí)間，并且所述時(shí)間編碼碼型是具有任意長(zhǎng)度的二進(jìn)制開閉序列。
6、 根據(jù)權(quán)利要求1所述的方法，其中，所述調(diào)制是根據(jù)在所述場(chǎng)景 中感測(cè)到的光流而自適應(yīng)地被選擇。
7、 根據(jù)權(quán)利要求6所述的方法，其中，所述光流是在所述相機(jī)中感 測(cè)到的。
8、 根據(jù)權(quán)利要求6所述的方法，其中，所述光流是使用超聲傳感器 感測(cè)到的。
9、 根據(jù)權(quán)利要求6所述的方法，其中，所述相機(jī)的運(yùn)動(dòng)是利用慣性 傳感器或陀螺儀感測(cè)到的。
10、 根據(jù)權(quán)利要求1所述的方法，其中，所述時(shí)間編碼碼型根據(jù)以 下二進(jìn)制序列來打開和關(guān)閉所述相機(jī)的快門，該二進(jìn)制序列為1010000111000001010000110011110111010111001001100111。
11、 根據(jù)權(quán)利要求1所述的方法，該方法進(jìn)一步包括以下步驟-通過因子m/fe來縮放所述輸入圖像； 確定估計(jì)出的輸出圖像；以及通過因子A/^來縮放所述估計(jì)出的輸出圖像，以獲得輸出圖像，其 中777是所述二進(jìn)制序列中的開閉數(shù)量，ir是點(diǎn)擴(kuò)散函數(shù)向量的長(zhǎng)度，其 等于所述相機(jī)圖像傳感器的掃描線中的像素?cái)?shù)量。
12、 根據(jù)權(quán)利要求1所述的方法，該方法進(jìn)一步包括以下步驟-自動(dòng)地確定所述輸入圖像中的背景區(qū)域的色彩和運(yùn)動(dòng)對(duì)象的色彩。
13、 根據(jù)權(quán)利要求1所述的方法，該方法進(jìn)一步包括以下步驟 確定所述輸入圖像中的靜止背景區(qū)域；以及 確定所述輸入圖像中的包含運(yùn)動(dòng)對(duì)象的前景區(qū)域。
14、 根據(jù)權(quán)利要求13所述的方法，其中，所述前景區(qū)域由矩形邊界 框指定。
15、 根據(jù)權(quán)利要求13所述的方法，其中，所述前景區(qū)域由不規(guī)則形 狀的切空部位指定。
16、 根據(jù)權(quán)利要求13所述的方法，該方法進(jìn)一步包括以下步驟 通過將所述輸入圖像中沿著具有相對(duì)高梯度的運(yùn)動(dòng)線的像素排除而減少所述靜止背景的影響。
17、 根據(jù)權(quán)利要求1所述的方法，該方法進(jìn)一步包括以下步驟 將遮擋了模糊運(yùn)動(dòng)對(duì)象的靜止對(duì)象從所述輸入圖像中去除。
18、 根據(jù)權(quán)利要求1所述的方法，其中，在后處理步驟期間對(duì)所述 輸入圖像中的時(shí)間模糊進(jìn)行修正，以實(shí)現(xiàn)新的合成效果。
19、 一種對(duì)由相機(jī)獲取的包含運(yùn)動(dòng)對(duì)象的場(chǎng)景的圖像進(jìn)行去模糊的方法，該方法包括以下步驟對(duì)包含運(yùn)動(dòng)對(duì)象的場(chǎng)景的光場(chǎng)，根據(jù)所述光場(chǎng)的由多個(gè)開和多個(gè)閉構(gòu)成的序列進(jìn)行時(shí)間調(diào)制；在曝光時(shí)間期間通過相機(jī)的傳感器對(duì)所述時(shí)間調(diào)制的光場(chǎng)進(jìn)行積 分，以生成編碼后的輸入圖像；以及根據(jù)拖影矩陣的偽逆矩陣而對(duì)所述編碼后的輸入圖像進(jìn)行解碼，以 產(chǎn)生模糊減少的解碼后的輸出圖像。
全文摘要
一種對(duì)相機(jī)獲取的場(chǎng)景的圖像去模糊的方法和系統(tǒng)。根據(jù)開閉序列對(duì)獲取的場(chǎng)景的光場(chǎng)進(jìn)行時(shí)間調(diào)制。選擇最優(yōu)編碼碼型。在曝光時(shí)間期間通過相機(jī)的傳感器對(duì)調(diào)制的光場(chǎng)進(jìn)行積分，以生成編碼后的輸入圖像。根據(jù)拖影矩陣的偽逆矩陣對(duì)編碼后的輸入圖像進(jìn)行解碼，以產(chǎn)生模糊減少的解碼后的輸出圖像。
文檔編號(hào)H04N5/232GK101406041SQ20078001013
公開日2009年4月8日 申請(qǐng)日期2007年5月2日 優(yōu)先權(quán)日2006年5月8日
發(fā)明者拉梅什·拉什卡爾, 杰克·圖布林, 阿米特·阿格拉瓦爾 申請(qǐng)人:三菱電機(jī)株式會(huì)社