專利名稱：用于圖像去噪和可控去模糊的保曲率濾波器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于通過去除噪聲同時(shí)使模糊和形狀失真最小化而重構(gòu) 數(shù)字圖像的方法。
背景技術(shù)：
從傳感器采集的數(shù)據(jù)總是在 一 定程度上因物理模糊和噪聲而被降低 等級(jí)_一不可能制造這樣的成像設(shè)備其任意地產(chǎn)生未受測(cè)量噪聲破壞的 清晰圖像。數(shù)字圖像重構(gòu)正逐漸用于通過去除噪聲和模糊以增強(qiáng)圖像。通 過軟件、硬件或它們的組合執(zhí)行的數(shù)字圖像重構(gòu)的作用是處理原始輸入數(shù) 據(jù)，以使作為結(jié)果而產(chǎn)生的圖像提供真實(shí)的基礎(chǔ)(underlying)圖像的盡可 能近似的圖像。然后，重構(gòu)的圖像被提供給觀看者或機(jī)器圖像分析工具以 選取感興趣的信息。因此，圖像重構(gòu)揭示了存在的、但可能由于模糊或噪 聲而被隱藏在原始數(shù)據(jù)中的信息。在圖像重構(gòu)中，主要的挑戰(zhàn)是防止輸入 數(shù)據(jù)中的測(cè)量誤差在重構(gòu)圖像中被放大成不可接收的偽像(artifact)。
在很多現(xiàn)有的圖像重構(gòu)方法中，圖像通過以鄰近像素中的圖像強(qiáng)度的 加權(quán)平均替換該像素中的圖像強(qiáng)度而被去^t糊和去噪。如果權(quán)重全是正 的，那么噪聲被減小，因?yàn)檎脑肼暡▌?dòng)抵消了負(fù)的噪聲波動(dòng)。但是這也 導(dǎo)致了像素中的信號(hào)被平均，從而導(dǎo)致了增加的模糊。重構(gòu)偏差可通過使
5用正的權(quán)重和負(fù)的權(quán)重的混合被減輕。這種正的權(quán)重和負(fù)的權(quán)重的組合也 可被用于消除原始數(shù)據(jù)中固有的物理模糊。然而，混合符號(hào)的權(quán)重也可放 大噪聲，有時(shí)非常顯著。因此，圖像重構(gòu)的目的是找到最優(yōu)的權(quán)重方案， 該方案在最大限度減小噪聲的同時(shí)使由信號(hào)平均造成的偏差最小化。如果 可能，圖像重構(gòu)還應(yīng)該將原始物理模糊減小到可能的程度。
由信號(hào)平均引入的偏差可通過將信號(hào)在像素附近進(jìn)行泰勒級(jí)數(shù)展開 而被估計(jì)。為說明的目的，在此描述了二維的例子，但是公式可明顯推廣
到任何的維度。假設(shè)(Xy)是將被去噪的參考像素的位置。(X力附近的圖像
信號(hào)可被展開為
漢
3x
1 32/32/1 32/
r +--^+-WH---^
0 2&20。2 3/
(1)
其中，下標(biāo)O指示在參考點(diǎn)(x，力處的值。I的一階導(dǎo)數(shù)是圖像梯度的 組元，而二階導(dǎo)數(shù)是Hessian曲率矩陣的組元。泰勒展開中的附加項(xiàng)—— 未明確示出_ _包括s和r的更高階多項(xiàng)式，其系數(shù)是I在(x，力處的高階偏 導(dǎo)張量。
通過將+ r, y +力與濾波器(filter)gO;力相乘并對(duì)r和s進(jìn)行積分得到
信號(hào)平均。結(jié)果是平均信號(hào) j(X力=+廣j + s)g(r，。
*(0) +
l 32/
2 &2
/42〕 +
32/
#(2) +
1 32/
2*2
〃(2)+.
在這里，^/w和乂2)分別是g的零階矩、 一階矩和二階矩:
乂 = j""vg(r,力d/rafe， 其中，w和v相稱地對(duì)應(yīng)于r或s。
按照慣例，濾波器被歸一化為單位積分和零均值，因此
乂
(2)
(3)
(4)
(5)
,(O) _i〃(1)=0 (7)
并且二階矩成為平滑濾波器的協(xié)方差矩陣
乙=_[(u - - "")g(r,力fi&^ = 乂「 ( 8 )
將方程6-8帶入方程2，可明顯看出，對(duì)由濾波器引入的偏差做貢獻(xiàn)的首 項(xiàng)應(yīng)歸因于圖像的Hessian曲率矩陣和濾波器的協(xié)方差矩陣的組元的乘積 和。
l 32/
2 &2
2&:
十… (9)
導(dǎo)致方程9的相同的論證可被應(yīng)用于圖像的梯度和高階導(dǎo)數(shù)。偏差中 的首項(xiàng)應(yīng)歸因于圖像的導(dǎo)數(shù)張量與濾波器的協(xié)方差矩陣的組元的乘積和。 因此，濾波器也是造成圖像形狀失真的原因。
去噪圖像丄圖像/和濾波器g之間的關(guān)系是巻積(方程2)。因此，利 用巻積定理將該關(guān)系在傅立葉空間內(nèi)展開為筒單的乘積是很有用的
J(K)二加柳 (10)
其中，《是傅立葉空間中的矢量波數(shù)。
噪聲根據(jù)其在傅立葉空間中的功率譜而方便地表示出來。因此，去噪 導(dǎo)致了根據(jù)噪聲幅度的波數(shù)衰減的波數(shù)，噪聲幅度的波數(shù)衰減是根據(jù)噪聲 降低因子
NRF= |網(wǎng)| (11) 例如，對(duì)于高斯濾波器
exp(-d2/2) (12)
其中，* = |《是波數(shù)矢量的長(zhǎng)度，cr是濾波器的標(biāo)準(zhǔn)偏差，其通過下式與半 高寬(full width at half maximum)相關(guān)
FWHM= V^c7 2.35<r (13)
通常，濾波器傳輸較低的波數(shù)(較長(zhǎng)的波長(zhǎng))并減弱高的波數(shù)，這用每 個(gè)像素附近的圖像強(qiáng)度的加權(quán)平均替換了該像素中的圖像強(qiáng)度。加權(quán)方案
7的細(xì)節(jié)取決于濾波器，但是定性行為是傳輸較低的波數(shù)并減弱高的波數(shù)。
從低A:到高yt的轉(zhuǎn)換范圍(regime)也應(yīng)是平滑的，以避免由于Gibbs現(xiàn)象造 成的纟展蕩4亍為。
"去模糊"是這樣的過程，即，人們?cè)噲D通過該過程消除由光系統(tǒng)或 由在圖像源與檢測(cè)器之間的中間媒質(zhì)引起的任何物理模糊。模糊還通常表 現(xiàn)為巻積的形式，在這種情況下，在初始的真實(shí)圖像與點(diǎn)響應(yīng)函數(shù)(point response function)之間，其是點(diǎn)源在焦平面上擴(kuò)展的圖像。在傅立葉空間， 模糊圖像是真實(shí)圖像與點(diǎn)響應(yīng)函數(shù)的乘積
(14)
而去模糊圖像可寫為濾波，其具有點(diǎn)響應(yīng)函數(shù)的倒數(shù)(inverse):
7(《)》(i:)/》(i:) (15)
遺憾地，因?yàn)樵诟卟〝?shù)處》(iO很小，而除以它放大了》(《)的噪聲成分， 所以該過程放大了噪聲。例如，對(duì)于高斯點(diǎn)響應(yīng)函數(shù)(PRF):
l/》0t) = exp(+o"2yt2/2) (16)
其隨著波數(shù)A指數(shù)地增加。
點(diǎn)響應(yīng)函數(shù)是由光學(xué)系統(tǒng)和中間媒質(zhì)的物理性質(zhì)決定的。因此，不可 能改變點(diǎn)響應(yīng)函數(shù)的倒數(shù)。圖像重構(gòu)中可利用的唯一自由是修改去噪濾波器。
重構(gòu)方法不必是顯式傅立葉法(explicit Fourier technique ),且在圖像 的不同部分也可應(yīng)用不同程度的去噪，而同樣的原理適用。選擇顯式的或 隱式的去噪方案以減小圖像中的初始噪聲和/或抑制由去模糊產(chǎn)生的噪聲 放大是所有圖像重構(gòu)方法的基礎(chǔ)。
最近，Tschumperl6在寸也的i侖文"Curvature-Preserving Regularization of Multivalued Images Using PDE's，，(在五M^9/ ea" CVw/erewce Cowpwter Fww"(關(guān)于計(jì)算機(jī)展望的歐洲會(huì)議)，Part II (第二部分)，Leonardis A、 Bischof H、Pinz A (Eds.), LNCS 3952:295-307, 2006中)和"Fast Anisotropic Smoothing of Multivalued Images Using Curvature-Preserving PDE，s" (/ /7. /.
8Ow7/w.化,朋(國(guó)際期刊，計(jì)算機(jī)展望)，68:65-82, 2006)中最近已經(jīng)提出了 使用偏微分方程以實(shí)現(xiàn)圖像的保曲率正則化(regularization)。該方法使用 非線性、各向異性的平滑(smoothing),所述平滑使用在圖像上定義的矢 量場(chǎng)或張量場(chǎng)，這沿著由矢量場(chǎng)或張量場(chǎng)定義的曲線保留了圖像曲率。 Tschumperl6使用術(shù)語(yǔ)"曲率"以表示不同于本文中提到的Hessian曲率矩 陣的一個(gè)量。并且，該方法需要非線性和各向異性，而本文描述的保曲率
濾波器可以并且通常是線性且各向同性的。
一般地，更復(fù)雜的重構(gòu)方法是迭代的并因此而較慢。優(yōu)選迭代方法歸 因于非迭代方法的缺陷。在非迭代方法抑制噪聲的場(chǎng)合，它們使圖像模糊； 在它們?nèi)ツ：膱?chǎng)合，它們放大圖像中的噪聲。通過引用在此并入的 Puetter、 Gosnell和Yahil (2005, 乂膽.Wev. As加; 一， 43:139-194)提
供了對(duì)數(shù)字圖像重構(gòu)的綜述。
在最后的分析中，數(shù)字圖像重構(gòu)是竟?fàn)幮?yīng)之間的折衷方案，并且最 佳的重構(gòu)方法的選擇取決于使用者的目的。因此，不可能在未明確使用者 目的的情況下評(píng)估現(xiàn)有技術(shù)的適當(dāng)程度。例如，與實(shí)時(shí)地快速處理視頻相 比，靜態(tài)圖像的重構(gòu)對(duì)圖像重構(gòu)過程的要求較少。
發(fā)明概述
本發(fā)明的一個(gè)目的是提供用于任何維度的圖像去噪和可控去模糊的 保曲率濾波器(CPF)。
本發(fā)明的又一 目的是提供用于對(duì)圖像進(jìn)行去噪同時(shí)使通常由去噪濾 波器產(chǎn)生的模糊或形狀失真最小化的裝置(means)。
本發(fā)明的另 一個(gè)目的是提供用于圖像重構(gòu)的方法，該方法在濾波器具 有非零協(xié)方差矩陣時(shí)，避免圖像的Hessian曲率矩陣導(dǎo)致的偏差。
本發(fā)明包括用于任何維度的圖像去噪和可控去模糊的保曲率濾波器 (CPF)。根據(jù)本發(fā)明，提供了去噪濾波器，其傳輸?shù)筒〝?shù)O)的傅立葉分量、 抑制高;t分量、在兩個(gè);t范圍之間平滑地改變，并使去噪偏差最小化。
消除出現(xiàn)在圖像中的任何物理模糊的可控去模糊也可被添加到去噪
9濾波器，同時(shí)最小限度地增加噪聲。當(dāng)去噪和去模糊相結(jié)合時(shí)，CPF的去 噪和去模糊能力使它們成為數(shù)字圖像重構(gòu)技術(shù)的重要補(bǔ)充。
在本發(fā)明的一個(gè)方面中，包含多個(gè)數(shù)據(jù)單元(像素、體素或一些其它量 度標(biāo)準(zhǔn))的數(shù)字圖像輸入到圖像處理器中，該圖像處理器執(zhí)行傅立葉變換以 產(chǎn)生傅立葉變換的信號(hào)，該信號(hào)包括作為傅立葉空間中的矢量波數(shù)坐標(biāo)的
函數(shù)的復(fù)強(qiáng)度(complex intensity)。具有零協(xié)方差矩陣的保曲率濾波器被 應(yīng)用于傅立葉變換信號(hào)以產(chǎn)生去噪的信號(hào)。該去噪的信號(hào)通過傅立葉反變 換被變換，以產(chǎn)生去噪的輸出圖像用于輸出到圖像顯示設(shè)備或機(jī)器分析工 具，例如圖像識(shí)別系統(tǒng)。在可替換的實(shí)施方式中，濾波器進(jìn)一步通過包括 點(diǎn)響應(yīng)函數(shù)的倒數(shù)以產(chǎn)生去模糊信號(hào)。
在本發(fā)明的另 一個(gè)方面中，濾波器是具有零協(xié)方差矩陣的核(kernel), 其在有限個(gè)數(shù)的像素上擴(kuò)展，并且在無需運(yùn)用傅立葉變換和傅立葉反變換 的情況下通過直接求和^皮應(yīng)用于輸入圖像。
在第一個(gè)實(shí)施方式中，濾波器包括存儲(chǔ)在計(jì)算機(jī)內(nèi)的軟件，其也執(zhí)行 圖像處理器。在第二個(gè)實(shí)施方式中，圖像處理器和濾波器包括一個(gè)或更多 現(xiàn)場(chǎng)可編程門陣列或?qū)Ｓ眉呻娐?，其?shí)時(shí)地處理光柵視頻。
附圖簡(jiǎn)述
根據(jù)本發(fā)明的一些優(yōu)選的實(shí)施方式的下面的詳細(xì)描述，結(jié)合附圖，將 更好地理解本發(fā)明，圖中相同的數(shù)字對(duì)應(yīng)于相同的部分，以及其中


圖1是根據(jù)本發(fā)明的用于圖像重構(gòu)的圖像處理器的組件的框圖，圖像 處理器使用中央處理單元、微處理器或數(shù)字信號(hào)處理器來實(shí)現(xiàn)。
圖2是根據(jù)本發(fā)明的用于處理視頻流的步驟的框圖。
圖3是真實(shí)圖像，在該圖像上進(jìn)行進(jìn)一步的處理。
圖4a-4c是圖3的圖像的變化，其中4a示出了具有附加的噪聲的圖像； 4b示出了用CPF去噪之后的圖像；而4c示出了用現(xiàn)有技術(shù)高斯濾波器去 噪后的圖像。
10圖5a-5c是圖3的圖像的變化，其中5a示出了具有附加的噪聲和模糊 的圖像；5b示出了用CPF去噪和去模糊之后的圖像；而5c示出了用現(xiàn)有 技術(shù)高斯濾波器處理之后的圖像。
圖6a-6c是圖3的圖像的變化，其中6a示出了被模糊的且具有附加噪 聲的圖像；6b示出了用CPF去噪并局部去模糊之后的圖像；而6c示出了 用現(xiàn)有技術(shù)高斯濾波器處理之后的圖像。
發(fā)明詳述
如圖1所示，諸如醫(yī)學(xué)圖像、照片、視頻幀或檢測(cè)器陣列信號(hào)的數(shù)字 圖像2被輸入到圖像處理器4中，該圖像處理器4執(zhí)行傅立葉變換算法6 以產(chǎn)生傅立葉變換的信號(hào)，該信號(hào)在傅立葉空間包括復(fù)圖像強(qiáng)度。濾波器 8被應(yīng)用于傅立葉變換的信號(hào)以產(chǎn)生去噪信號(hào)，其中該濾波器具有零協(xié)方 差矩陣。去噪信號(hào)通過傅立葉反變換IO被變換，以產(chǎn)生去噪輸出圖像12 用于輸出到輸出設(shè)備，輸出設(shè)備可為圖像顯示器14,例如，用戶界面處的 計(jì)算機(jī)監(jiān)視器、電視機(jī)屏幕或打印機(jī)、和/或圖像分析器16?？赡艿膱D像 分析器包括圖像識(shí)別或計(jì)算機(jī)輔助診斷(CAD)系統(tǒng)。在可替換的實(shí)施方式 中，濾波器8進(jìn)一步通過包括點(diǎn)響應(yīng)函數(shù)的倒數(shù)產(chǎn)生去模糊信號(hào)。在第一 實(shí)施方式中，如圖1所示，濾波器8包括存儲(chǔ)在圖像處理器中的軟件，其 通過使用中央處理單元、微處理器或數(shù)字信號(hào)處理器被執(zhí)行。在第二實(shí)施 方式中，圖像處理器和濾波器包括一個(gè)或更多現(xiàn)場(chǎng)可編程門陣列或?qū)Ｓ眉?成電路。當(dāng)濾波器通過使用一個(gè)或更多FPGA或ASIC被實(shí)現(xiàn)時(shí)，即對(duì)于 實(shí)時(shí)處理光柵視頻的優(yōu)選情況，在傅立葉空間中的應(yīng)用濾波器不是必要 的，從而圖1所示的步驟6和步驟10將被省略，而處理器4將是實(shí)現(xiàn)濾 波器8的FPGA或ASIC。
根據(jù)本發(fā)明，去噪可通過使用簡(jiǎn)單的濾波器實(shí)現(xiàn)，該濾波器滿足所有 上述標(biāo)準(zhǔn)并且具有傅立葉表示
網(wǎng)二e鄧(-"4/t4) (17) 其中a是標(biāo)度長(zhǎng)度(scale length),其決定濾波器的寬度。濾波器8的主要
ii優(yōu)點(diǎn)在于它的零協(xié)方差矩陣，該零協(xié)方差矩陣是由于|的二階導(dǎo)數(shù)在尺=0 處全為零而造成的。
32^
=0 (18)
A二0
因此，去噪偏差中的首項(xiàng)是O(方程9)。因此，結(jié)合該平滑濾波器保持了 圖像的曲率。
因?yàn)闉V波器只是矢量波數(shù)的量值A(chǔ)的函數(shù)而非其方向的函數(shù)，所以濾 波器的所有奇的且各向異性的矩也是O。因此，第一個(gè)非零矩是四階矩//4) 的各向同性部分，并且它是對(duì)去噪偏差貢獻(xiàn)的第一項(xiàng)。
由于零協(xié)方差矩陣，CPF在圖像空間中確實(shí)有小的Gibbs振蕩。(濾波 器必須是正的和負(fù)的，以使二階矩可為0。)然而，濾波器的負(fù)傾斜(dip) 是非常有限的。濾波器的(負(fù)的)最小值與(正的)最大值的比值是-0.06。
方程17的CPF的附加的好處是，在大的;t處衰減與A:4成負(fù)的指數(shù)比 例關(guān)系。這個(gè)大的衰減克服了典型的點(diǎn)響應(yīng)函數(shù)的倒數(shù)的指數(shù)增長(zhǎng)，該點(diǎn) 響應(yīng)函數(shù)的倒數(shù)的正指數(shù)通常僅與P成比例。例如，對(duì)于倒數(shù)指數(shù)地增長(zhǎng) 的高斯點(diǎn)響應(yīng)函數(shù)(方程16)，結(jié)果是結(jié)合去模糊與去噪的濾波器性能很好。
柳/》(I),(全"2 (19)
因此，可增加去才莫糊而對(duì)CPF來說沒有問題。
CPF可使用軟件或硬件或者其組合而實(shí)現(xiàn)。通過應(yīng)用傅立葉巻積定理， 軟件處理很容易地被執(zhí)行。首先使用快速傅立葉變換(FFT)算法獲得傅立葉 變換輸入信號(hào)7(《)。然后，通過方程10的濾波器與傅立葉變換輸入信號(hào) 相乘得到傅立葉變換輸出信號(hào)7(r)。為了純粹去噪(pure denoising),使 用的濾波器是g(《)(方程17)。為了既進(jìn)行去噪又進(jìn)行去模糊，用等式19 的濾波器g(《)/》(《)替代。最后通過7(K)的快速傅立葉反變換獲得輸出信 號(hào)。
快速傅立葉變換在標(biāo)準(zhǔn)臺(tái)式計(jì)算機(jī)上使用時(shí)，即在一個(gè)或更多CPU、 存儲(chǔ)器和接口例如PC或Apple Macintosh⑧上使用時(shí)，其非常有效地進(jìn)行
12巻積，然而，快速傅立葉變換需要完整的數(shù)據(jù)幀在計(jì)算可以開始之前被釆
集。這在光柵視頻進(jìn)入時(shí)以管道(pipeline)方式處理所述光柵視頻時(shí)是很不 利的，因?yàn)獒娂暾麛?shù)據(jù)幀的時(shí)間通常超出計(jì)算時(shí)間。通過大規(guī)模并行直 接求和方法，光4冊(cè)數(shù)據(jù)流的管道巻積(pipeline convolution)更高效地尋皮才丸 行，即使當(dāng)核覆蓋了該幀的達(dá)到很小比例的區(qū)域。在硬件方面，現(xiàn)場(chǎng)可編 程門陣列(FPGA)或?qū)Ｓ眉呻娐?ASIC)可比數(shù)字信號(hào)處理器(DSP)或微處 理器(MPU)更有效，因?yàn)楹竺娴奶幚砥餍枰杉珨?shù)據(jù)幀。商用FPGA或 ASIC可被制造成以快于光柵視頻能夠直接供給它們的速率來進(jìn)行小核巻 積，例如，使用當(dāng)前技術(shù)的高達(dá)每秒 150兆像素的速率。
保曲率小核可以多種方式設(shè)計(jì)，唯一的要求是其具有零協(xié)方差矩陣。 一種方法是獲得方程17或19中的濾波器的傅立葉反變換。這些核不會(huì)嚴(yán) 重地超出標(biāo)度長(zhǎng)度a(在方程17中被定義)。因此，它們可依很小的標(biāo)度長(zhǎng) 度被截?cái)啵译S后可用于基于硬件的小核巻積。
圖2示出了本發(fā)明對(duì)視頻輸入的示例性應(yīng)用，其中標(biāo)準(zhǔn)NTSC(國(guó)家電 視標(biāo)準(zhǔn)委員會(huì))視頻流提供了輸入信號(hào)72。在控制圖像處理系統(tǒng)中的所有 模塊(如虛線所示)的微處理器80的控制下，視頻被解碼74并去隔行掃描 (deinterlace ) 76從而每1/60秒提供一幅高分辨率圖像。如果視頻信號(hào)包 括顏色，那么它被分解為亮度(Y)78和色度(UV)82分量。使用一個(gè)或更多 由微處理器控制的現(xiàn)場(chǎng)可編程門陣列(FPGA)，信號(hào)的亮度分量根據(jù)上述流 程被處理，其中亮度數(shù)據(jù)通過小核濾波器90被巻積以產(chǎn)生去噪的(或者去 噪并去模糊的)變換的輸入信號(hào)92。
色度信號(hào)82通過硬件向前傳輸而未處理，但是在84處適當(dāng)?shù)乇谎舆t 以提供與處理的亮度信號(hào)92同步的信號(hào)82'。亮度信號(hào)92與色度信號(hào)82' #皮合并，并在86處轉(zhuǎn)換，用于輸入到兩個(gè)單獨(dú)的輸出通道。在第一個(gè)通 道88中，亮度信號(hào)與色度信號(hào)被轉(zhuǎn)換為RGB信號(hào)，其被傳輸?shù)饺?triple ) 凄M莫轉(zhuǎn)換器(DAC)94并輸出到高分辨率監(jiān)視器96，例如SVGA監(jiān)視器。 第二個(gè)通道是NTSC或PAL標(biāo)準(zhǔn)輸出通道98。對(duì)于后者，信號(hào)在編碼之 前，被再次隔行掃描(reinterlace )93，用于NTSC或PAL視頻輸出95。
在可替換的實(shí)施方式中，去隔行掃描過程76被省略，并且隔行掃描
13的信號(hào)被單獨(dú)處理。在該實(shí)施方式中，作為消除由輸入去隔行掃描器產(chǎn)生
的延遲的交換，可能出現(xiàn)垂直分辨率(vertical resolution )的一些損失。在 這種情況下，用于標(biāo)準(zhǔn)視頻輸出的再次隔行掃描步驟92也可被除去。
在另一個(gè)實(shí)施方式中，輸入視頻信號(hào)是漸進(jìn)的，而可不應(yīng)用去隔行掃 描過程76且因此被省略。在這種情況下，缺乏去隔行掃描不引起垂直分 辨率的損失。
下面的實(shí)例描述了倫敦的皮卡迪利廣場(chǎng)(Piccadilly Circus)的攝影圖 像的去噪和去;f莫糊。圖3提供了 "真實(shí)圖像"，該圖像是仿真和重構(gòu)遵循 的基礎(chǔ)。該圖像原始是全彩色(RGB)圖像，但是在本描述中被轉(zhuǎn)化為灰度圖。
實(shí)施例1:去噪
在第一個(gè)仿真中，只有噪聲被添加到真實(shí)圖像，而沒有^t糊。原始圖 像的RGB強(qiáng)度的范圍是
，并且增加的噪聲水平(noise level)是 255/20=12.75。因此，最大的信噪比是20。圖4a示出了有噪聲的數(shù)據(jù)圖像， 且該圖像是對(duì)重構(gòu)的輸入。
圖4b示出了應(yīng)用標(biāo)度長(zhǎng)度^2像素的CPF的結(jié)果，并且該結(jié)果可與 圖4c進(jìn)行比較，圖4c示出了半高寬為1.77像素的高斯濾波器平滑的結(jié)果。 此高斯濾波器具有與CPF相同的去噪強(qiáng)度，其中去噪強(qiáng)度是通過所有像素 的平滑權(quán)重的平方的和來度量的，其被歸一化(normalize)，從而權(quán)重的和 是l。
兩個(gè)重構(gòu)的質(zhì)量可通過檢查重構(gòu)圖像與真實(shí)圖像之間差分圖像 (difference image)進(jìn)行比較，其中殘差(residual)信號(hào)指示在重構(gòu)期間， 原始圖像中出現(xiàn)了多少偏差。當(dāng)比較兩個(gè)差(真圖-CPF)和(真圖-高斯濾波 器)(未示出)時(shí)，CPF殘差比高斯濾波器的殘差更小，這意味著與高斯濾波 器相比，CPF具有更小的偏差。
實(shí)施例2:去模糊和去噪在第二個(gè)仿真中，在正如在第一個(gè)仿真中一樣添加噪聲之前，圖3的
真實(shí)圖像首先被具有0 = 2像素的高斯濾波器變模糊。因此，圖5a示出的 原始圖像輸入是^^莫糊的且有噪聲的。CPF試圖通過在濾波器中包含有去才莫 糊項(xiàng)方程19以消除模糊。另一方面，因?yàn)椴豢赡軐⒏咚谷ツ：砑拥礁?斯濾波器而不產(chǎn)生嚴(yán)重的噪聲放大，因此高斯濾波器與在第一個(gè)重構(gòu)中一 樣。因此，與CPF不同，高斯濾波器只能去噪而不能去模糊。
圖5b至5c示出了重構(gòu)的結(jié)杲，其與圖4b至4c相似，圖5b示出了 CPF重構(gòu)，圖5c示出了高斯重構(gòu)。CPF再次提供了比高斯濾波器更好的 重構(gòu)。當(dāng)將該實(shí)施例的結(jié)果與實(shí)施例l(不模糊)的結(jié)果進(jìn)行比較時(shí)，去模糊 的重要性變得明顯。與實(shí)施例1的相對(duì)殘差信號(hào)相比，本實(shí)施例中的使用 高斯濾波器的相對(duì)殘差信號(hào)明顯更強(qiáng)，這說明未能去模糊引入了額外的偏 差。另一方面，實(shí)施例1和實(shí)施例2中的CPF的殘差信號(hào)之間的差異更小。 因此，CPF提供去模糊的能力是重要的附帶的優(yōu)點(diǎn)。
實(shí)施例3:局部去模糊和去噪
在第三個(gè)仿真中，在正如在第一個(gè)仿真中一樣添加噪聲之前，圖3的 真實(shí)圖像首先被具有(J = 4像素的更寬的高斯濾波器變模糊，以產(chǎn)生圖6a 所示的原始圖像。同樣地，CPF試圖通過根據(jù)方程19，在濾波器中包含有 去噪項(xiàng)以消除模糊，而高斯濾波器只能去噪而不能去模糊。
圖6b至6c示出了重構(gòu)的結(jié)果，其與圖4b至4c以及圖5b至5c相似。 CPF再次產(chǎn)生了比高斯濾波器更好的重構(gòu)。然而，在該情況下，去;f莫糊更 強(qiáng)，而如果使用與其它重構(gòu)中使用的一樣的標(biāo)度長(zhǎng)度『2像素，那么由指 數(shù)地增長(zhǎng)l/》(k)因子(方程16)引入的噪聲放大未通過指數(shù)下降g(《)因子而 被抑制。
可通過改變方程19的濾波器的o和a的值使分辨率與噪聲折衷，以 適應(yīng)于使用者的選擇。減小(j或增大a以不完全的去模糊為代價(jià)產(chǎn)生較小 的噪聲放大。圖61)示出的重構(gòu)中做出的選擇是(1 = 4像素和"=2像素。
通過使用^的函數(shù)而非方程17的指數(shù)函數(shù)，或者使用yt的更高的偶數(shù)次冪的函數(shù)，發(fā)明的濾波器可被推廣以適合特定的需要。然而，A:的更高
次冪將易于增加Gibbs現(xiàn)象的幅度，因?yàn)檫@樣的濾波器從低A到高yt范圍具
有更陡的突變。
在前面，通過使用2D圖像作為說明對(duì)CPF進(jìn)行了描述。對(duì)于本領(lǐng)域 中相關(guān)技術(shù)人員，將容易地理解，可對(duì)任何維度的圖像進(jìn)行類似的論證。 這些圖像可為3D圖像、1D輪廓(profile )、 ID譜(spectra)或高于3維 的"圖像"，其中增加的維度是時(shí)間、溫度、波長(zhǎng)、或任何個(gè)數(shù)的其它變量。
發(fā)明的CPF可被用于迭代的和非迭代的圖像重構(gòu)。在非迭代方法中， 它們的優(yōu)點(diǎn)是它們能限制通常由非迭代技術(shù)產(chǎn)生的偽像。但是它們還能替 代現(xiàn)在使用的濾波器而被用于迭代技術(shù)中。因此，CPF形成了補(bǔ)充的新技 術(shù)。它們不替代現(xiàn)有技術(shù)，而是簡(jiǎn)單地提供了改進(jìn)的濾波器。然而，通過 使其更強(qiáng)大且免于產(chǎn)生偽像，期望CPF使圖像質(zhì)量與處理速度之間的折衷 方案有所傾凍+ (tip),以利于更快的非迭代方法。
在前面的詳細(xì)描述中，本發(fā)明已經(jīng)參照其具體示例性實(shí)施方式^^皮描 述。然而，很明顯，可對(duì)它們進(jìn)行各種修改和改變，而不偏離如所附權(quán)利 要求中提出的本發(fā)明的更寬的主旨和范圍以及它們的等價(jià)形式的全部范圍。
1權(quán)利要求
1. 一種用于自圖像源重構(gòu)圖像的方法，所述方法包括將包括多個(gè)像素的數(shù)字圖像信號(hào)輸入到圖像處理設(shè)備，所述圖像處理設(shè)備被編程為用于執(zhí)行保曲率濾波器，其中所述濾波器包括至少零階矩、一階矩和二階矩，所述二階矩包括零協(xié)方差矩陣；通過濾波器對(duì)所述圖像信號(hào)進(jìn)行濾波以產(chǎn)生去噪圖像；以及將所述去噪圖像輸出到圖像顯示設(shè)備或機(jī)器分析工具。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述濾波器進(jìn)一步包括用于去 模糊的點(diǎn)響應(yīng)函數(shù)的倒數(shù)。
3. 根據(jù)權(quán)利要求1所述的方法，其中所述圖像處理設(shè)備包括一個(gè)或 更多被配置為接收由少量像素組成的核的現(xiàn)場(chǎng)可編程門陣列或?qū)Ｓ眉?電路，以及所述濾波器通過直接求和被應(yīng)用于所述圖像信號(hào)。
4. 根據(jù)權(quán)利要求3所述的方法，其中所述圖像信號(hào)包括光柵數(shù)據(jù)流。
5. 根據(jù)權(quán)利要求1所述的方法，其中所述圖像處理設(shè)備包括中央處 理單元、微處理器或數(shù)字信號(hào)處理器，所述中央處理單元、微處理器或數(shù) 字信號(hào)處理器中存儲(chǔ)有軟件，所述軟件用于在乘積步驟之前執(zhí)行傅立葉變 換以產(chǎn)生在傅立葉空間中包括矢量波數(shù)的傅立葉變換信號(hào)，以及在使所述 圖像信號(hào)乘以所述濾波器之后，執(zhí)行傅立葉反變換以產(chǎn)生所述去噪圖像。
6. 根據(jù)權(quán)利要求5所述的方法，其中所述圖像信號(hào)包括完整的數(shù)據(jù)幀。
7. 根據(jù)權(quán)利要求5所述的方法，其中所述濾波器是所述矢量波數(shù)的 量值的冪指數(shù)大于或等于4的偶數(shù)次冪的函數(shù)。
8. 根據(jù)權(quán)利要求5所述的方法，其中所述濾波器具有包含 g(《卜exp(-"^4)的傅立葉表示，其中fl是決定所迷濾波器的寬度的標(biāo)度長(zhǎng) 度，《是所述矢量波數(shù)，以及yfc是《的量值。
9. 根據(jù)權(quán)利要求5所述的方法，其中所述濾波器具有包含 ^0/i^) = exp《CTT -"T)的傅立葉表示，其中"是決定所述濾波器的寬度的標(biāo)度長(zhǎng)度，I是所述矢量波數(shù)，A是《的量值，而CJ是所述點(diǎn)響應(yīng)函數(shù)的標(biāo)準(zhǔn)偏差。
10. —種用于對(duì)輸入圖像進(jìn)行去噪的圖像處理設(shè)備，所述設(shè)備包括輸入設(shè)備，其用于接收所述輸入圖像并輸出數(shù)字圖像信號(hào)；處理器，其用于接收所述圖像信號(hào)，所述處理器被編程為將保曲率濾 波器應(yīng)用于所述圖像信號(hào)以產(chǎn)生去噪信號(hào)，其中所述濾波器包括至少零階 矩、 一階矩和二階矩，其中所述二階矩包括零協(xié)方差矩陣；以及輸出設(shè)備，其用于將所述去噪信號(hào)輸出給圖像顯示設(shè)備或機(jī)器分析工具。
11. 根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，其中所述濾波器進(jìn)一步包 括用于去模糊的點(diǎn)響應(yīng)函數(shù)的倒數(shù)。
12. 根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，其中所述圖像處理設(shè)備 包括一個(gè)或更多被配置為接收由少量像素組成的核的現(xiàn)場(chǎng)可編程門陣列 或?qū)Ｓ眉呻娐罚约八鰹V波器通過直接求和被應(yīng)用于所述圖像信號(hào)。
13. 根據(jù)權(quán)利要求12所述的圖像處理設(shè)備，其中所述圖像信號(hào)包括 光柵數(shù)據(jù)流。
14. 根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，其中所述圖像處理設(shè)備 包括中央處理單元、微處理器或數(shù)字信號(hào)處理器，所述中央處理單元、微 處理器或數(shù)字信號(hào)處理器中存儲(chǔ)有軟件，所述軟件用于在乘積步驟之前執(zhí) 行傅立葉變換以產(chǎn)生在傅立葉空間中包括矢量波數(shù)的傅立葉變換信號(hào)，以 及在使所述圖像信號(hào)乘以所迷濾波器之后，執(zhí)行傅立葉反變換以產(chǎn)生所述 去噪圖像。
15. 根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中所述圖像信號(hào)包括 完整的數(shù)據(jù)幀。
16. 根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中所述濾波器是所述矢量波數(shù)的量值的冪指數(shù)大于或等于4的偶數(shù)次冪的函數(shù)。
17. 根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中所述濾波器具有包 含g(《)-exp(-"^4)的傅立葉表示，其中a是決定所述濾波器的寬度的標(biāo)度 長(zhǎng)度，X是所述矢量波數(shù)，以及A是X的量值。
18. 根據(jù)權(quán)利要求14所述的圖像處理設(shè)備，其中所述濾波器具有包 含^0/^:卜exp《"2-"V)的傅立葉表示，其中"是決定所述濾波器的寬度的標(biāo)度長(zhǎng)度，X是所述矢量波數(shù)，^是K的量值，而(j是所述點(diǎn)響應(yīng) 函凄史的標(biāo)準(zhǔn)偏差。
全文摘要
具有零協(xié)方差矩陣的保曲率濾波器被應(yīng)用于輸入圖像以產(chǎn)生去噪輸出圖像，用于輸出到圖像顯示設(shè)備或機(jī)器分析工具。在一個(gè)實(shí)施方式中，輸入圖像是由有限個(gè)數(shù)的像素組成的小核，并且濾波器通過直接求和被應(yīng)用于輸入圖像。在另一個(gè)實(shí)施方式中，數(shù)字圖像被輸入到圖像處理器，該圖像處理器執(zhí)行傅立葉變換以產(chǎn)生傅立葉變換的信號(hào)。保曲率濾波器被應(yīng)用于傅立葉空間中的傅立葉變換信號(hào)以產(chǎn)生去噪信號(hào)，然后去噪信號(hào)通過傅立葉反變換被變換以產(chǎn)生去噪輸出圖像。在可選擇的實(shí)施方式中，該濾波器通過包含點(diǎn)響應(yīng)函數(shù)的倒數(shù)進(jìn)一步產(chǎn)生去模糊信號(hào)。
文檔編號(hào)H04N5/21GK101491080SQ200780027619
公開日2009年7月22日 申請(qǐng)日期2007年5月24日 優(yōu)先權(quán)日2006年5月24日
發(fā)明者埃莫斯·亞希爾 申請(qǐng)人:伊麥格萊肯有限責(zé)任公司;埃莫斯·亞希爾