專利名稱：基于彩色傳遞及熵信息的紅外與彩色可見光圖像融合方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，具體的說是涉及一種圖像融合方法，可用于對(duì)紅外與彩色可見光圖像進(jìn)行融合。

背景技術(shù)：
由于紅外與可見光成像系統(tǒng)的成像機(jī)理不同，在不同環(huán)境下得到的紅外圖像與可見光圖像之間具有較大的互補(bǔ)性?？梢姽獬上裣到y(tǒng)是通過吸收目標(biāo)反射的可見光波段電磁波來實(shí)現(xiàn)對(duì)目標(biāo)的探測(cè)，而紅外成像技術(shù)主要是依靠目標(biāo)本身或反射的熱輻射成像的?？梢姽獬上裣到y(tǒng)能夠提供具有高空間分辨率的圖像，能夠提供有關(guān)場(chǎng)景的豐富背景信息。但可見光成像系統(tǒng)易受天氣情況影響，一般應(yīng)用于光線條件較好的情況下。而紅外成像系具有能夠穿透煙塵的能力，可以晝夜工作，能夠很好地提供場(chǎng)景中目標(biāo)的存在特性和位置特性，但成像整體效果對(duì)比度較低，在細(xì)節(jié)上不如可見光成像效果好。紅外圖像與可見光圖像的融合，可以將紅外圖像的目標(biāo)存在特性和位置特性與可見光圖像的背景信息結(jié)合在一起，從而能夠大大提高對(duì)環(huán)境的釋義能力以及對(duì)目標(biāo)的偵測(cè)能力，已經(jīng)被廣泛應(yīng)用于場(chǎng)景監(jiān)控、軍事等領(lǐng)域。
目前在眾多的紅外與可見光圖像融合技術(shù)中，基于小波變換的圖像融合方法是應(yīng)用非常廣泛并且及其重要的一類方法，例如G.Pajares，J.M.de la Cruz，“A wavelet-based imagefusion tutorial”，Pattern Recognition，vol.37，No.9，2004，pp.1855-1872.及J.Lewis，R.O.’Callaghan，S.Nikolov，D.Bull，N.Canagarajah，“Pixel-and Region-based image fusionwith complex wavelets”，Information Fusion，vol.8No.2.，2007，pp.119-130.兩篇文獻(xiàn)公開的技術(shù)均屬于基于小波變換的圖像融合方法。由于采用小波對(duì)圖像進(jìn)行分析的過程與計(jì)算機(jī)視覺和人眼視覺系統(tǒng)中由粗到細(xì)認(rèn)識(shí)事物的過程十分相似，因此，與傳統(tǒng)的圖像融合方法相比，基于小波變換的圖像融合方法能夠明顯改善系統(tǒng)的融合性能。
盡管國內(nèi)外學(xué)者對(duì)基于小波變換的紅外與可見光圖像融合方法進(jìn)行了大量的研究工作，但目前基于小波變換的圖像融合方法還存在以下不足 (1).多數(shù)圖像融合方法主要是針對(duì)紅外圖像與灰度可見光圖像的融合。然而，人眼對(duì)顏色的分辨能力遠(yuǎn)遠(yuǎn)超過對(duì)灰度級(jí)的分辨，所以彩色圖像比灰度圖像更利于目標(biāo)的識(shí)別。現(xiàn)今的傳感器技術(shù)能夠很方便地獲取自然彩色可見光圖像，在對(duì)紅外與可見光圖像進(jìn)行融合時(shí)，如果能夠充分利用可見光圖像的自然彩色信息，那么得到的彩色融合圖像會(huì)更符合人眼視覺特性，從而能夠進(jìn)一步增強(qiáng)對(duì)環(huán)境的釋義和對(duì)目標(biāo)的偵測(cè)能力。
(2).采用由一維小波張量生成的二維可分離小波不能夠?qū)崿F(xiàn)對(duì)圖像中的直線和曲線進(jìn)行稀疏表示，并且二維可分離小波基是各向同性的，也無法精確地表達(dá)圖像中邊緣方向，因此，基于小波變換的圖像融合方法在容易引入“人為”效應(yīng)，從而在一定程度上降低了融合圖像的空間質(zhì)量。
(3).目前大多數(shù)基于小波變換的圖像融合方法在制定各頻率子帶系數(shù)融合規(guī)則時(shí)，都是基于源圖像中未受到任何噪聲的干擾這一假設(shè)提出的。然而，在某些場(chǎng)合下，傳感器圖像，尤其是紅外圖像，不可避免地受到各種噪聲的影響。因此，目前多數(shù)融合方法對(duì)噪聲具有較高的敏感度，容易將噪聲誤作為有用信息傳輸?shù)饺诤蠄D像中，影響了融合性能。
發(fā)明的內(nèi)容 本發(fā)明的目的在于克服上述已有技術(shù)的不足，提出一種基于彩色傳遞及熵信息的圖像融合方法，以融合紅外圖像與彩色可見光圖像。該發(fā)明不僅能夠提取紅外圖像中的目標(biāo)存在特性和位置特性以及可見光圖像中的背景信息，還能夠最大可能地保持可見光圖像中的自然彩色信息。
本發(fā)明是這樣實(shí)現(xiàn)的 本發(fā)明的關(guān)鍵技術(shù)是構(gòu)建基于紅外圖像與可見光圖像物理特征的加權(quán)平均低頻子帶系數(shù)融合規(guī)則和基于局部區(qū)域方向信息熵與局部區(qū)域能量相結(jié)合的帶通方向子帶系數(shù)融合規(guī)則，以組合源圖像的變換子帶系數(shù)，并采用基于1αβ顏色空間的彩色傳遞方法進(jìn)行彩色傳遞以減少融合圖像的顏色失真。
以兩幅輸入圖像為例，本發(fā)明的具體實(shí)現(xiàn)方法包括如下步驟 (1).對(duì)彩色可見光圖像Ivi_c的R、G、B三個(gè)顏色通道圖像求均值得到其灰度分量Ivi_g； (2).對(duì)灰度圖像Ivi_g和紅外圖像Iir分別進(jìn)行非采樣Contourlet變換分解，得到圖像Ivi_g、Iir各自的非采樣Contourlet變換系數(shù)； (3).對(duì)所述變換系數(shù)中的低頻子帶系數(shù)，利用構(gòu)建的基于紅外圖像與可見光圖像物理特征的低頻融合公式進(jìn)行組合 其中，



分別表示圖像Ivi_g、Iir以及融合圖像IF_g的非采樣Contourlet變換低頻子帶系數(shù)，wIvi(k1，k2)、wIir(k1，k2)分別表示圖像Ivi_g和Iir的權(quán)系數(shù)； (4).對(duì)所述變換系數(shù)中的各帶通方向子帶系數(shù)，利用構(gòu)建的基于局部區(qū)域方向信息熵與區(qū)域能量相結(jié)合的帶通融合公式進(jìn)行組合 其中，Cj，lIvi_g(k1，k2)、Cj，lIir(k1，k2)、Cj，lF(k1，k2)分別表示圖像Ivi_g、Iir以及融合圖像IF_g在j尺度、l方向處的非采樣Contourlet變換帶通方向子帶系數(shù)，ESj，l(k1，k2)為顯著性度量因子Sj，l(k1，k2)在位置(k1，k2)處局部區(qū)域能量； (5).對(duì)組合后的變換系數(shù)進(jìn)行非采樣Contourlet逆變換，得到灰度融合圖像IF_g； (6).采用基于1αβ顏色空間的彩色傳遞方法將源彩色可見光圖像Iir_c中的自然彩色信息傳遞到灰度融合圖像Iir_g中，得到最終的彩色融合圖像IF_c。
本發(fā)明具有如下效果 1)能夠?qū)⒓t外圖像中的目標(biāo)存在特性與可見光圖像中的豐富背景信息有機(jī)地結(jié)合在一起。本發(fā)明構(gòu)建的基于紅外圖像與可見光圖像物理特征的加權(quán)平均低頻子帶系數(shù)融合公式，能夠恰當(dāng)?shù)乇碚骷t外圖像中的目標(biāo)特性以及可見光圖像中的背景信息；同時(shí)，相對(duì)于傳統(tǒng)的小波變換，本發(fā)明采用的非采樣Contourlet變換不僅具有多尺度和良好的空域和頻域局部特性，還具有多方向特性以及平移不變特性，能夠更好地提取源圖像中的細(xì)節(jié)信息，使得紅外圖像中的目標(biāo)存在特性和可見光圖像中的背景信息有機(jī)地結(jié)合在一起； 2)能夠有效避免將噪聲傳輸?shù)饺诤蠄D像中，降低了融合方法對(duì)噪聲的敏感度。本發(fā)明采用的局部區(qū)域方向信息熵能夠很好地區(qū)分噪聲和圖像中的幾何特征，使得融合方法最大可能地提取源圖像中的有用細(xì)節(jié)信息的同時(shí)，有效避免將噪聲傳輸?shù)饺诤蠄D像中； 3)能夠使融合后的彩色圖像最大可能地保持源彩色可見光圖像中的自然彩色信息。本發(fā)明采用的1αβ顏色空間中，l、α和β通道之間具有最小的相關(guān)性，比較適合顏色信息處理，相對(duì)于采用簡(jiǎn)單的R、G、B顏色通道單獨(dú)進(jìn)行融合的方法，該融合方法顏色失真度較低，能夠最大限度地保持彩色可見光圖像中的自然彩色信息，得到具有更好視覺效果的融合圖像；


圖1為本發(fā)明的圖像融合方法過程圖； 圖2為本發(fā)明第一組仿真結(jié)果圖，其中， 圖2(a)為源彩色可見光圖像， 圖2(b)為源紅外圖像， 圖2(c)為DWT_AVE方法融合結(jié)果圖像， 圖2(d)為DWFT_AVE方法融合結(jié)果圖像， 圖2(e)為NSCT_AVE方法融合結(jié)果圖像， 圖2(f)為NSCT_RGB方法融合結(jié)果圖像， 圖2(g)為本發(fā)明的融合結(jié)果圖像； 圖3為本發(fā)明第二組仿真結(jié)果圖，其中， 圖3(a)為源灰度可見光圖像， 圖3(b)為源紅外圖像， 圖3(c)為灰度融合圖像， 圖3(d)為自然可見光圖像， 圖3(e)為彩色融合圖像。

具體實(shí)施例方式 以下結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述。
參照?qǐng)D1，本發(fā)明的步驟為 第一步對(duì)彩色可見光圖像Ivi_c的R、G、B三個(gè)通道圖像求均值得到灰度圖像Ivi_g。
第二步對(duì)灰度圖像Ivi_g和紅外圖像Iir采用非采樣Contourlet變換進(jìn)行多尺度、多方向分解，得到各自的子帶系數(shù)和其中

為低頻子帶系數(shù)，Cj，l(k1，k2)為各帶通方向子帶系數(shù)，尺度分解級(jí)數(shù)j0一般取3～5，本發(fā)明中取j0＝3，lj為j尺度下方向分解級(jí)數(shù)，本發(fā)明中由最粗糙尺度到最精細(xì)尺度方向分解級(jí)數(shù)分別取為2，3，3，即相應(yīng)尺度下分別有4個(gè)、8個(gè)、8個(gè)方向，以保證非采樣Contourlet變換的各向異性。
第三步制定低頻子帶系數(shù)的融合規(guī)則，即構(gòu)建低頻子帶系數(shù)融合公式。
對(duì)于低頻子帶系數(shù)常用融合規(guī)則為平均法，但該融合規(guī)則容易降低融合圖像的對(duì)比度，尤其當(dāng)紅外圖像與可見光圖像融合時(shí)，這兩類圖像在某些局部區(qū)域之間經(jīng)常存在極性相反的情況，因此更容易降低融合圖像的對(duì)比度。由于紅外圖像中的目標(biāo)區(qū)域表現(xiàn)為具有較高的灰度值且灰度值分布較均勻，而可見光圖像中豐富背景區(qū)域表現(xiàn)為具有較高的灰度值且灰度值分布較離散。圖像的局部區(qū)域信息熵LAE能夠反映局部區(qū)域內(nèi)圖像灰度值分布的離散程度，在LAE值較大的區(qū)域，圖像灰度值分布相對(duì)較均勻；在LAE值較小的區(qū)域，圖像灰度值分布較離散。為此，我們結(jié)合局部區(qū)域信息熵和局部區(qū)域均值表征紅外圖像和可見光圖像的物理特征，并在此基礎(chǔ)上構(gòu)建一種加權(quán)平均的低頻子帶系數(shù)融合公式，具體過程如下 (1).根據(jù)紅外圖像中的目標(biāo)區(qū)域具有較高的灰度值且灰度值分布較為均勻的特性，定義紅外圖像的權(quán)系數(shù)為wIir(k1，k2) 其中，mirL(k1，k2)表示紅外圖像Iir的低頻子帶系數(shù)

在位置(k1，k2)處的局部區(qū)域均值，LAEirL(k1，k2)表示紅外圖像Iir相應(yīng)區(qū)域的局部信息熵LAE； (2).根據(jù)可見光圖像中的背景信息具有較高的灰度值且灰度值分布較為離散的特性，定義可見光圖像的權(quán)系數(shù)為wIvi(k1，k2) 其中，mviL(k1，k2)表示可見光圖像Ivi_g的低頻子帶系數(shù)

在位置(k1，k2)處的局部區(qū)域均值，LAEviL(k1，k2)表示可見光圖像Ivi_g相應(yīng)區(qū)域局部信息熵LAE； (3).采用紅外圖像的權(quán)系數(shù)和可見光圖像的權(quán)系數(shù)，對(duì)源紅外圖像與可見光圖像的低頻子帶系數(shù)進(jìn)行加權(quán)平均，得到低頻子帶系數(shù)融合公式為 其中，

表示融合圖像IF_g的低頻子帶系數(shù)。
第四步制定各帶通方向子帶系數(shù)的融合規(guī)則，即構(gòu)建帶通方向子帶系數(shù)融合公式。
對(duì)于帶通方向子帶系數(shù)常采用“模值取大”的融合規(guī)則，以便能夠盡可能地提取源圖像中的細(xì)節(jié)信息。但紅外圖像對(duì)比度較低，并且容易帶有一定的噪聲，為了避免將紅外圖像中的噪聲誤作為有用信息提取并注入到融合圖像中，必須在融合過程中區(qū)分噪聲與圖像中的幾何特征。圖像中的幾何特征在非采樣Contourlet域中表現(xiàn)為只在少數(shù)方向上具有較大的強(qiáng)度，而噪聲在非采樣Contourlet域中表現(xiàn)為局部能量平坦分布在所有方向上。因此，我們采用局部區(qū)域方向信息熵區(qū)分噪聲與圖像中的幾何特征，并在此基礎(chǔ)上構(gòu)建一種基于局部區(qū)域方向信息熵和區(qū)域能量相結(jié)合的帶通方向子帶系數(shù)融合規(guī)則，具體過程如下 (1).在尺度j下，位置(k1，k2)處引入

維方向向量Vj(k1，k2)，以表示圖像在該尺度下各方向上的能量強(qiáng)度 其中，Cj，l(k1，k2)表示圖像在尺度j、方向l、位置(k1，k2)處方向帶通子帶系數(shù)，lj為j尺度下方向分解級(jí)數(shù)，|·|表示模值； (2).將方向向量Vj(k1，k2)用局部能量歸一化，得到局部方向能量密度分布 其中，局部能量Ej(k1，k2)定義為該尺度下所有方向子帶中系數(shù)模值之和，即 (3).計(jì)算尺度j下，位置(k1，k2)處方向信息熵DEj(k1，k2) 規(guī)定，0log0＝0； (4).在尺度j、方向l下，位置(k1，k2)處定義顯著性因子Sj，l(k1，k2) Sj，l(k1，k2)＝|Cj，l(k1，k2)|/(1+DEj(k1，k2))； 顯著性因子Sj，l(k1，k2)表明，如果圖像在尺度j、方向l下，位置(k1，k2)處具有較大的強(qiáng)度(|Cj，l(k1，k2)|值較大)，同時(shí)能量在各方向上分布較為劇烈(DEj(k1，k2)值較小)，表明在該位置處具有較明顯的圖像特征；如果圖像此時(shí)具有較小的強(qiáng)度(|Cj，l(k1，k2)|值較小)，同時(shí)能量在各方向上分布較為均勻(DEj(k1，k2)值較大)，表明該位置處信號(hào)趨于噪聲； (5).對(duì)步驟(4)中顯著性因子Sj，l(k1，k2)進(jìn)行局部區(qū)域能量求和，得到帶通方向子帶系數(shù)融合公式 其中，Cj，lIir_g(k1，k2)、Cj，lIir(k1，k2)、Cj，lF(k1，k2)分別表示可見光圖像Ivi_g、紅外圖像Ivi和灰度融合圖像IF_g在尺度j、方向l處的非采樣Contourlet變換帶通方向子帶系數(shù)，M×N為局部區(qū)域尺寸大小。
第五步對(duì)組合后的變換系數(shù)

進(jìn)行非采樣Contourlet逆變換，得到灰度融合圖像IF_g。
第六步將彩色可見光圖像Ivi_c從RGB顏色空間映射到1αβ顏色空間中，得到ls、αs、βs分量，具體過程如下 (1).將彩色可見光圖像Ivi_c從RGB顏色空間映射到LMS空間 (2).再將LMS彩色空間映射到ГΩΨ對(duì)數(shù)空間 Г＝logL Ω＝logM Ψ＝logS (3).再從ГΩΨ對(duì)數(shù)空間映射到1αβ顏色空間，得到圖像Ivi_c的ls、αs、βs分量 其中，ls通道代表非彩色通道，αs和βs通道分別代表黃-藍(lán)和紅-綠顏色通道。
第七步對(duì)圖像IF_g按如下公式處理，得到圖像lT 第八步對(duì)圖像lT按如下公式處理，得到亮度分量l′ 其中，<·>表示均值，σsl、σTl分別表示lT和ls的標(biāo)準(zhǔn)方差； 第九步將分量l′代替分量ls，保持分量αs、βs不變，按如下過程將l′、αs、βs分量從1αβ顏色空間映射到RGB顏色空間 (1).將l′、αs、βs分量從1αβ顏色空間映射到ГΩΨ對(duì)數(shù)空間 (2).再從ГΩΨ對(duì)數(shù)空間映射到RGB空間 最終完成從彩色可見光圖像Ivi_c到圖像IF_g的彩色傳遞，得到彩色融合圖像IF_c。
為驗(yàn)證本發(fā)明的有效性和正確性，采用了兩組紅外與可見光圖像進(jìn)行融合仿真實(shí)驗(yàn)。
仿真一 仿真一為一組紅外與彩色可見光圖像融合實(shí)驗(yàn)，所采用的圖像大小為256×256。為了更好地比較，我們還采用了其它四種融合方法進(jìn)行圖像融合比較。前三種融合方法分別采用離散小波變換DWT、離散小波框架變換DWFT以及非采樣Contourlet變換NSCT作為圖像的多尺度分解工具，灰度圖像融合規(guī)則采用簡(jiǎn)單的低頻系數(shù)取平均，高頻系數(shù)模值取大的融合規(guī)則，同時(shí)采用與本發(fā)明中相同的彩色傳遞方法，分別簡(jiǎn)記為DWT_AVE，DWFT_AVE，NSCT_AVE方法，以驗(yàn)證不同的圖像多尺度分解和重構(gòu)工具對(duì)融合性能的影響。第四種方法采用與本發(fā)明相同的圖像多尺度分解工具以及灰度圖像融合規(guī)則，所不同的是紅外圖像與彩色可見光圖像的R、G、B三個(gè)通道的圖像單獨(dú)融合，簡(jiǎn)記為NSCT_RGB方法。第五種方法為本發(fā)明的融合方法，簡(jiǎn)記為NSCT_LAB方法。仿真結(jié)果及源圖像如圖2所示。
采用互信息量MI、基于圖像邊緣梯度信息的性能評(píng)價(jià)算子Q以及通用彩色圖像質(zhì)量因子UCIQ對(duì)融合結(jié)果進(jìn)行客觀評(píng)價(jià)。評(píng)價(jià)結(jié)果如表1所示。
表1對(duì)圖2中采用不同融合方法得到的性能比較數(shù)據(jù)
表1中，Ivi_c、IF_c分別表示源彩色可見光圖像和彩色融合圖像，Ivi_g、IF_g分別為對(duì)圖像Ivi_c、IF_c的R、G、B顏色通道圖像求均值得到的對(duì)應(yīng)灰度圖像，Iir表示紅外圖像；MI(Ivi_g，IF_g)、MI(Iir，IF_g)分別表示圖像IF_g與圖像Ivi_g、Iir之間的互信量，其值越高表明融合方法能夠從源圖像中提取更多的信息；Q(Ivi_g，IF_g、Q(Iir，IF_g)分別表示圖像IF_g相對(duì)于圖像Ivi_g、Iir邊緣信息保留量，Q(Ivi_g，Iir，IF_g)表示融合圖像相對(duì)于源圖像整體邊緣信息保留量，其值越高表明融合方法能夠保留更多的源圖像中的邊緣信息；UCIQ(Ivi_c，IF_c)表示圖像IF_c與圖像Ivi_c之間的顏色相似程度，其值越高表明融合方法具有越小的顏色失真。
從圖2以及表1中可以看出，NSCT_RGB方法顏色失真度最大，而其它四種方法具有較小的顏色失真度，這主要是由于本發(fā)明所采用的顏色傳遞方法能夠很好地將可見光圖像中的顏色信息傳遞到融合圖像中。不論MI值、Q值還是UCIQ值以及融合圖像的視覺效果，本發(fā)明所提出的NSCT_LAB融合方法都具有較高的融合性能，從而表明本發(fā)明對(duì)灰度圖像融合中所構(gòu)建的融合規(guī)則能夠恰當(dāng)?shù)乇碚骷t外圖像和可見光圖像的特征，以及能夠恰當(dāng)?shù)貐^(qū)分噪聲和圖像幾何特征，從而獲得更優(yōu)的融合性能。
仿真二 仿真二為一組偽彩色圖像融合實(shí)驗(yàn)。首先對(duì)一組同一場(chǎng)景的紅外圖像和灰度可見光圖像采用本發(fā)明中灰度圖像融合方法進(jìn)行融合得到灰度融合圖像，然后采用本發(fā)明中所采用的彩色傳遞方法將另外一幅彩色可見光圖像中的自然彩色信息傳遞到灰度融合圖像中，得到最終的偽彩色融合圖像。圖3給出了源圖像以及融合結(jié)果。從圖3(c)可以看出，采用本發(fā)明提出的融合方法能夠很好地將紅外圖像中的目標(biāo)存在特性和可見光圖像中的豐富背景信息結(jié)合在一起。由于將圖3(d)中的自然彩色信息傳遞到了融合圖像中，相對(duì)于圖3(c)，彩色融合圖像圖3(e)更易于對(duì)環(huán)境的釋義和對(duì)目標(biāo)的偵測(cè)，如圖3(e)中目標(biāo)“人”看上去更亮。從而表明，本發(fā)明所提出的融合方法也適合偽彩色圖像的融合。
權(quán)利要求
1.一種基于彩色傳遞及熵信息的紅外與彩色可見光圖像融合方法，包括如下步驟
(1).對(duì)彩色可見光圖像Ivi_c的R、G、B三個(gè)顏色通道圖像求均值得到其灰度分量Ivi_g；
(2).對(duì)灰度圖像Ivi_g和紅外圖像Iir分別進(jìn)行非采樣Contourlet變換分解，得到圖像Ivi_g、Iir各自的非采樣Contourlet變換系數(shù)；
(3).對(duì)所述變換系數(shù)中的低頻子帶系數(shù)，利用構(gòu)建的基于紅外圖像與可見光圖像物理特征的低頻融合公式進(jìn)行組合
其中，
分別表示圖像Ivi_g、Iir以及融合圖像IF_g的非采樣Contourlet變換低頻子帶系數(shù)，wIvi(k1，k2)、wIir(k1，k2)分別表示圖像Ivi_g和Iir的權(quán)系數(shù)；
(4).對(duì)所述變換系數(shù)中的各帶通方向子帶系數(shù)，利用構(gòu)建的基于局部區(qū)域方向信息熵與區(qū)域能量相結(jié)合的帶通融合公式進(jìn)行組合
其中，Cj，lIvi_g(k1，k2)、Cj，lIir(k1，k2)、Cj，lF(k1，k2)分別表示圖像Ivi_g、Iir以及融合圖像IF_g在j尺度、l方向處的非采樣Contourlet變換帶通方向子帶系數(shù)，ESj，l(k1，k2)為顯著性度量因子Sj，l(k1，k2)在位置(k1，k2)處局部區(qū)域能量；
(5).對(duì)組合后的變換系數(shù)進(jìn)行非采樣Contourlet逆變換，得到灰度融合圖像IF_g；
(6).采用基于lαβ顏色空間的彩色傳遞方法將源彩色可見光圖像Iir_c中的自然彩色信息傳遞到灰度融合圖像Iir_g中，得到最終的彩色融合圖像IF_c。
2.根據(jù)權(quán)利要求1所述的圖像融合方法，其特征在于步驟(3)中所述的基于紅外圖像與可見光圖像物理特征的低頻融合公式，按如下過程構(gòu)建
(3a).根據(jù)紅外圖像中的目標(biāo)區(qū)域表現(xiàn)為具有較高的灰度值且灰度值分布較為均勻的特性，定義紅外圖像的權(quán)系數(shù)為wIir(k1，k2)
其中，mirL(k1，k2)表示紅外圖像Iir的低頻子帶系數(shù)
在位置(k1，k2)處的局部區(qū)域均值，LAEirL(k1，k2)表示紅外圖像相應(yīng)區(qū)域的局部信息熵LAE；
(3b).根據(jù)可見光圖像中的背景信息具有較高的灰度值且灰度值分布較為離散的特性，定義可見光圖像的權(quán)系數(shù)為wIvi(k1，k2)
其中，mviL(k1，k2)表示可見光圖像Ivi_g的低頻子帶系數(shù)
位置(k1，k2)處的局部區(qū)域均值，LAEviL(k1，k2)分別表示可見光圖像Ivi_g相應(yīng)區(qū)域的局部信息熵LAE；
(3c).采用紅外圖像的權(quán)系數(shù)和可見光圖像的權(quán)系數(shù)，對(duì)源紅外圖像與可見光圖像的低頻子帶系數(shù)進(jìn)行加權(quán)平均，得到低頻子帶系數(shù)融合公式為
其中，
表示灰度融合圖像IF_g的低頻子帶系數(shù)。
3.根據(jù)權(quán)利要求1所述的圖像融合方法，其特征在于步驟(4)所述的基于局部區(qū)域方向信息熵與區(qū)域能量相結(jié)合的帶通方向融合公式，按如下過程構(gòu)建
(4a).在尺度j下，位置(k1，k2)處引入
維方向向量Vj(k1，k2)，以表示圖像在該尺度下各方向上的能量強(qiáng)度
其中，Cj，l(k1，k2)表示圖像在尺度j、方向l、位置(k1，k2)處方向帶通子帶系數(shù)，lj為j尺度下方向分解級(jí)數(shù)，|·|表示模值；
(4b).將方向向量Vj(k1，k2)用局部能量歸一化，得到局部方向能量密度分布
其中，局部能量Ej(k1，k2)定義為該尺度下所有方向子帶中系數(shù)模值之和，即
(4c).計(jì)算尺度j下，位置(k1，k2)處方向信息熵DEj(k1，k2)
規(guī)定，0log0＝0；
(4d).在尺度j、方向l下，位置(k1，k2)處定義顯著性因子Sj，l(k1，k2)
Sj，l(k1，k2)＝|Cj，l(k1，k2)|/(1+DEj(k1，k2))；
(4e).對(duì)步驟(4d)中顯著性因子Sj，l(k1，k2)進(jìn)行局部區(qū)域能量求和，得到帶通方向子帶系數(shù)融合公式
其中，Cj，lIir_g(k1，k2)、Cj，lIir(k1，k2)、Cj，lF(k1，k2)分別表示可見光圖像Ivi_g、紅外圖像Ivi和灰度融合圖像IF_g在尺度j、方向l處的非采樣Contourlet變換帶通方向子帶系數(shù)，M×N為局部區(qū)域尺寸大小。
全文摘要
本發(fā)明公開了一種基于彩色傳遞與熵信息的紅外與彩色可見光圖像融合方法。其過程為對(duì)彩色可見光圖像的R、G、B三個(gè)通道圖像求均值，得到灰度可見光圖像；采用非采樣Contourlet變換對(duì)灰度可見光圖像及紅外圖像進(jìn)行分解；構(gòu)建基于紅外圖像與可見光物理特征的低頻子帶系數(shù)融合規(guī)則，和基于局部區(qū)域方向信息熵與區(qū)域能量相結(jié)合的帶通方向子帶系數(shù)融合規(guī)則，對(duì)源圖像的變換系數(shù)進(jìn)行組合，并對(duì)組合后的變換系數(shù)進(jìn)行非采樣Contourlet逆變換得到灰度融合圖像；采用基于1αβ顏色空間的彩色傳遞方法將可見光圖像的彩色信息傳遞到融合圖像中，得到彩色融合圖像。本發(fā)明既可有效提取可見光圖像中的豐富背景信息及紅外圖像中的目標(biāo)信息，又能夠保持可見光圖像中的自然彩色信息。
文檔編號(hào)G06T5/50GK101339653SQ20081001744
公開日2009年1月7日 申請(qǐng)日期2008年1月30日 優(yōu)先權(quán)日2008年1月30日
發(fā)明者郭寶龍, 強(qiáng) 張 申請(qǐng)人:西安電子科技大學(xué)