基于邊緣信息和支持度變換的紅外與微光圖像融合方法
【專利摘要】本發(fā)明公開了一種基于邊緣信息和支持度變換的紅外與微光圖像融合方法，第一次先對源圖像進(jìn)行邊緣檢測，將檢測后的結(jié)果進(jìn)行融合，得到第一次融合圖像，第二次先用SVT分別對兩幅源圖像和第一次融合圖像進(jìn)行多尺度分解，得到各自的各尺度近似圖像與支持度圖像；各尺度支持度圖像，先按區(qū)域能量的融合策略互相融合，得到兩幅源圖像的支持度融合圖像，然后兩幅源圖像的支持度融合圖像再與第一次融合圖像分解得到的各尺度支持度圖像進(jìn)行加權(quán)融合得到最終的支持度融合圖像；最后將融合后的近似圖像與最終的支持度圖像進(jìn)行支持度逆變換，重構(gòu)得到最終的融合圖像。本發(fā)明能夠?qū)t外與微光圖像進(jìn)行高效的圖像融合。
【專利說明】基于邊緣信息和支持度變換的紅外與微光圖像融合方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像融合【技術(shù)領(lǐng)域】，特別是一種基于邊緣信息和支持度變換的紅外與 微光圖像融合方法。

【背景技術(shù)】
[0002] 正如李才平、鄒永星和楊松齡發(fā)表在2006年第2期國外電子元器件上《基于微光 與紅外的夜視技術(shù)》一文所提到的，單一的紅外或微光成像技術(shù)，由于原理不同，各有利弊。 微光圖像的對比度差，灰度級(jí)有限，瞬間動(dòng)態(tài)范圍差，高增益時(shí)有閃爍，只敏感于目標(biāo)場景 的反射，與目標(biāo)背景的熱對比無關(guān)。而紅外圖像的對比度差，動(dòng)態(tài)范圍大，但其只敏感于目 標(biāo)場景的輻射，而對場景的亮度變化不敏感。二者均存在不足之處，隨著微光與紅外成像技 術(shù)的發(fā)展，綜合和發(fā)掘微光與紅外圖像的特征信息，使其融合成更全面的圖像已發(fā)展成為 一種有效的技術(shù)手段。夜視圖像融合能增強(qiáng)場景理解、突出目標(biāo)，有利于在隱藏、偽裝和迷 惑的軍用背景下更快更精確地探測目標(biāo)。將融合圖像顯示成適合人眼觀察的自然形式，可 明顯改善人眼的識(shí)別性能，減小操作者的疲勞感。在微光和紅外技術(shù)各自不斷進(jìn)展的時(shí)期， 考慮到二者的互補(bǔ)性，在不增加現(xiàn)有技術(shù)難度的基礎(chǔ)上，將微光圖像和紅外圖像融合以獲 取更好的觀察效果，成為當(dāng)前夜視技術(shù)發(fā)展的熱點(diǎn)之一，這也使得圖像融合技術(shù)的研究顯 得非常有迫切性。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的在于提供一種基于邊緣信息和支持度變換的紅外與微光圖像融合 方法，能夠?qū)t外與微光圖像進(jìn)行高效的圖像融合。
[0004] 實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為：一種基于邊緣信息和支持度變換的紅外與微 光圖像融合方法，包括以下步驟：
[0005] 步驟（1)，圖像預(yù)處理：首先對紅外圖像和微光圖像分別進(jìn)行灰度化，然后經(jīng)中值 濾波去除噪聲；
[0006] 步驟（2)，邊緣檢測：對步驟（1)得到的處理過的紅外圖像與微光圖像，利用Sobel 算子分別進(jìn)行邊緣檢測；
[0007] 步驟（3)，第一次融合：對步驟（2)得到的紅外圖像與微光圖像的邊緣檢測結(jié)果， 利用加權(quán)平均方法進(jìn)行融合，得到第一次融合圖像；
[0008] 步驟（4)，紅外圖像與微光圖像支持度變換：對步驟（1)得到的處理過的紅外圖像 與微光圖像利用SVT進(jìn)行多尺度分解，得到各自的各尺度近似圖像和支持度圖像；
[0009] 步驟（5)，第一次融合圖像支持度變換：對步驟（3)得到的第一次融合圖像利用 SVT進(jìn)行多尺度分解，得到各尺度的近似圖像和支持度圖像；
[0010] 步驟（6)，紅外圖像與微光圖像的近似圖像融合：對于步驟⑷得到的紅外圖像 與微光圖像各自的最后一層近似圖像，給出一種基于灰度均值偏差的加權(quán)系數(shù)選擇融合方 法，得到近似層融合圖像；
[0011] 步驟（7)，紅外圖像與微光圖像的各尺度支持度圖像融合：對于步驟（4)得到的紅 外圖像與微光圖像各自的各尺度支持度圖像，給出一種基于區(qū)域能量的融合方法，且每一 尺度均按照此融合方法進(jìn)行融合，得到紅外與微光各尺度支持度融合圖像；
[0012] 步驟（8)，支持度圖像第二次融合：將步驟（5)得到的第一次融合圖像的各尺度支 持度圖像與步驟（7)得到的紅外與微光各尺度支持度融合圖像進(jìn)行加權(quán)融合，得到最終的 各尺度支持度融合圖像；
[0013] 步驟（9)，圖像重構(gòu)：將步驟（6)得到的近似層融合圖像和步驟⑶得到的最終各 尺度支持度融合圖像進(jìn)行支持度逆變換，得到最終融合圖像。
[0014] 本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)：（1)使用邊緣檢測技術(shù)，提取圖像的邊緣 信息，并進(jìn)行第一次融合，這使得最終融合圖像具有更為鮮明的邊緣細(xì)節(jié)信息。（2)采用 SVT(支持度變換）對圖像進(jìn)行多尺度分解，支持度變換后得到的圖像的支持度矩陣是與圖 像顯示相關(guān)的信息，可以很好地表征圖像的細(xì)節(jié)特征信息，且同小波變換相比具有平移不 變性、不會(huì)產(chǎn)生振鈴效應(yīng)、運(yùn)算速度快的優(yōu)點(diǎn)。（3)針對近似層圖像系數(shù)的融合處理采用一 種新的低頻融合策略--基于灰度均值偏差的加權(quán)系數(shù)選擇，避免了直接采用取平均或簡 單加權(quán)平均的線性融合策略在當(dāng)源圖像的低頻成分之間相差較大時(shí)會(huì)降低圖像的對比度， 從而使目標(biāo)（或場景）變得不清晰的問題的出現(xiàn)。（4)采用二次融合的方法，將提取的邊緣 信息多尺度分解取高頻即支持度圖像與紅外與微光圖像多尺度分解的支持度融合圖像進(jìn) 行第二次融合，使得融合圖像不僅具有普通融合方法信息豐富的特點(diǎn)，還具有鮮明的邊緣 細(xì)節(jié)信息。
[0015] 下面結(jié)合附圖對本發(fā)明作進(jìn)一步詳細(xì)描述。

【專利附圖】

【附圖說明】
[0016] 圖1是本發(fā)明基于邊緣信息和支持度變換的紅外與微光圖像融合方法的流程圖。
[0017] 圖2(a)是本發(fā)明方法仿真原始紅外圖像。
[0018] 圖2(b)是本發(fā)明方法仿真原始微光圖像。
[0019] 圖3(a)是本發(fā)明方法紅外圖像邊緣檢測的結(jié)果圖。
[0020] 圖3(b)是本發(fā)明方法微光圖像邊緣檢測的結(jié)果圖。
[0021] 圖4是本發(fā)明方法第一次融合結(jié)果。
[0022] 圖5是本發(fā)明方法SVT (支持度變換）流程圖。
[0023] 圖6是本發(fā)明方法近似層圖像融合結(jié)果圖。
[0024] 圖7(a)是本發(fā)明方法紅外與微光圖像第一層支持度圖像融合結(jié)果圖。
[0025] 圖7(b)是本發(fā)明方法紅外與微光圖像第二層支持度圖像融合結(jié)果圖。
[0026] 圖7(c)是本發(fā)明方法紅外與微光圖像第三層支持度圖像融合結(jié)果圖。
[0027] 圖8(a)是本發(fā)明方法最終支持度第一層融合圖像結(jié)果圖。
[0028] 圖8(b)是本發(fā)明方法最終支持度第二層融合圖像結(jié)果圖。
[0029] 圖8(c)是本發(fā)明方法最終支持度第三層融合圖像結(jié)果圖。
[0030] 圖9是本發(fā)明方法最終融合結(jié)果圖。
[0031] 圖10(a)是支持度單變換模型融合結(jié)果圖。
[0032] 圖10(b)是簡單加權(quán)平均模型融合結(jié)果圖。
[0033] 圖10(c)是拉普拉斯變換模型融合結(jié)果圖。
[0034] 圖10(d)是小波變換模型融合結(jié)果圖。
[0035] 圖10(e)是本發(fā)明方法最終融合結(jié)果圖。

【具體實(shí)施方式】
[0036] 結(jié)合圖1，本發(fā)明的基于邊緣信息和支持度變換的紅外與微光圖像融合方法，包括 以下步驟：
[0037] 步驟1圖像預(yù)處理：首先對紅外圖像和微光圖像分別進(jìn)行灰度化，然后經(jīng)中值濾 波去除噪聲；
[0038] 步驟2邊緣檢測：對步驟1得到的處理過的紅外圖像和微光圖像，進(jìn)行邊緣檢測。 邊緣檢測的步驟為：
[0039] 第一：采用Sobel(索貝爾）邊緣檢測算子，該算子是由兩個(gè)卷積核（Axf( X，y)、 Ayf(x，y))對原圖像（指紅外圖像和微光圖像）f(x，y)進(jìn)行卷積運(yùn)算而得到的，如果用差 分代替一階偏導(dǎo)，邊緣檢測算子的計(jì)算方法如下：

【權(quán)利要求】
1. 一種基于邊緣信息和支持度變換的紅外與微光圖像融合方法，其特征在于包括以下 步驟： 步驟（1)，圖像預(yù)處理：首先對紅外圖像和微光圖像分別進(jìn)行灰度化，然后經(jīng)中值濾波 去除噪聲； 步驟（2)，邊緣檢測：對步驟（1)得到的處理過的紅外圖像與微光圖像，利用Sobel算 子分別進(jìn)行邊緣檢測； 步驟（3)，第一次融合：對步驟（2)得到的紅外圖像與微光圖像的邊緣檢測結(jié)果，利用 加權(quán)平均方法進(jìn)行融合，得到第一次融合圖像； 步驟（4)，紅外圖像與微光圖像支持度變換：對步驟（1)得到的處理過的紅外圖像與微 光圖像利用SVT進(jìn)行多尺度分解，得到各自的各尺度近似圖像和支持度圖像； 步驟（5)，第一次融合圖像支持度變換：對步驟（3)得到的第一次融合圖像利用SVT進(jìn) 行多尺度分解，得到各尺度的近似圖像和支持度圖像； 步驟（6)，紅外圖像與微光圖像的近似圖像融合：對于步驟（4)得到的紅外圖像與微光 圖像各自的最后一層近似圖像，給出一種基于灰度均值偏差的加權(quán)系數(shù)選擇融合方法，得 到近似層融合圖像； 步驟（7)，紅外圖像與微光圖像的各尺度支持度圖像融合：對于步驟（4)得到的紅外圖 像與微光圖像各自的各尺度支持度圖像，給出一種基于區(qū)域能量的融合方法，且每一尺度 均按照此融合方法進(jìn)行融合，得到紅外與微光各尺度支持度融合圖像； 步驟（8)，支持度圖像第二次融合：將步驟（5)得到的第一次融合圖像的各尺度支持度 圖像與步驟（7)得到的紅外與微光各尺度支持度融合圖像進(jìn)行加權(quán)融合，得到最終的各尺 度支持度融合圖像； 步驟（9)，圖像重構(gòu)：將步驟（6)得到的近似層融合圖像和步驟⑶得到的最終各尺度 支持度融合圖像進(jìn)行支持度逆變換，得到最終融合圖像。
2. 根據(jù)權(quán)利要求1所述的基于邊緣信息和支持度變換的紅外與微光圖像融合方法，其 特征在于，步驟（2)的邊緣檢測的步驟為： 第一：采用Sobel邊緣檢測算子，該算子是由兩個(gè)卷積核Axf(X，y)、Ayf (X，y)對原圖 像f(x，y)進(jìn)行卷積運(yùn)算而得到的，如果用差分代替一階偏導(dǎo)，邊緣檢測 算子的計(jì)算方法如下：
式中A Xf(x，y)表示檢測出圖像中的水平方向的邊緣；Ayf (x，y)表示檢測出圖像中垂 直方向的邊緣； 第二：原圖像中的每一個(gè)像素點(diǎn)都用這兩個(gè)卷積核進(jìn)行卷積運(yùn)算，取其平方和的算術(shù) 平方根作為輸出：
3. 根據(jù)權(quán)利要求1所述的基于邊緣信息和支持度變換的紅外與微光圖像融合方法，其 特征在于，步驟（3)所述的第一次融合的方法為：
其中，為紅外圖像經(jīng)過邊緣檢測之后的圖像，f2為微光圖像經(jīng)過邊緣檢測之后的圖 像，ft表示第一次融合圖像。
4.根據(jù)權(quán)利要求1所述的基于邊緣信息和支持度變換的紅外與微光圖像融合方法，其 特征在于，步驟（4)、步驟（5)的支持度變換的步驟為： 第一步：輸入紅外圖像fa、微光圖像fb和第一次融合圖像ft ; 第二步：創(chuàng)建初始濾波矩陣SVtl : 在LS-SVM中，其優(yōu)化條件寫成線性方程：
式中：Q = K+I Y-1，K為核函數(shù)，Icij = K(XpXj), Y = Iiy1,…，丫」1，了=[1, -，1]1'，a = [a i，…，a N]T，a i為支持向量Xi的支持度，用映射最小二乘向量機(jī)求解上式的解為：
則式（6)變?yōu)椋? b = B1Y,a = A(Y-M) (7) 式中：矩陣A、B只取決于輸入向量{Xi，i = 1，…，N}，預(yù)先計(jì)算出，而與輸出無關(guān)；設(shè)有 一個(gè)N*N的矩陣g = 47 -詁），則上式寫成： ^ = = (8) 在映射鄰域，圖像像素的支持度由式（8)求得，Q取決于輸入矢量、核函數(shù)K和參數(shù)Y ; 核函數(shù)選擇高斯徑向基核函數(shù)K(XpXj) =BxpfHIxi-XjIIz^o2),其中〇2擴(kuò)展參數(shù)設(shè)為 0. 3, Y為1，對于5*5的映射向量空間，相應(yīng)的支持度濾波矩陣為：
第三步：紅外圖像fa、微光圖像fb和第一次融合圖像ft分別與濾波矩陣相乘，得到一 層近似圖像和支持度圖像； 第四步：判斷是否達(dá)到分解層數(shù)r，即若沒有則重構(gòu)濾波矩陣SV1，對初始濾波矩陣SVtl 采用隔行隔列填充O的方法構(gòu)造出一系列的多尺度支持度濾波矩陣SV1，并跳轉(zhuǎn)至第三步； 若達(dá)到分解層數(shù)，則結(jié)束。
5. 根據(jù)權(quán)利要求1所述的基于邊緣信息和支持度變換的紅外與微光圖像融合方法，其 特征在于，步驟￠)的紅外與微光圖像的最后一層近似圖像的融合的步驟為： 第一步：計(jì)算紅外圖像最后一層近似圖像PajP微光圖像最后一層近似圖像在以當(dāng) 前處理像素（x，y)為中心的局部區(qū)域R上的灰度均值偏差，這里取為MXN的矩形域，以紅 外圖像最后一層近似圖像為例，其定義為
其中，MXN表示區(qū)域中所有像素點(diǎn)的個(gè)數(shù)；為圖像的灰度均值偏差； 、押々,)；)表不局部區(qū)域R內(nèi)所有像素灰度值的平均值，即
式中，prt(x，y)表示近似層融合結(jié)果。
6. 根據(jù)權(quán)利要求1所述的基于邊緣信息和支持度變換的紅外與微光圖像融合方法，其 特征在于步驟（7)的紅外與微光圖像的各尺度支持度圖像融合的步驟為： 第一：分別計(jì)算紅外圖像的支持度圖像Sa1和微光圖像的支持度圖像Sb1對應(yīng)像素 (x，y)的局部區(qū)域能量&，為了計(jì)算方便，局部區(qū)域R取以像素（x，y)為中心、 大小為MXN的矩形窗口，r為分解層數(shù)：
7. 根據(jù)權(quán)利要求1所述的基于邊緣信息和支持度變換的紅外與微光圖像融合方法，其 特征在于，步驟（8)的支持度圖像第二次融合的步驟為： 步驟（5)所得到的第一次融合圖像經(jīng)SVT變換得到的各尺度支持度圖像分別與步驟7 得到的紅外與微光圖像各尺度支持度融合圖像進(jìn)行第二次融合，其融合方法表述為： Sff1 = Slf (x, y) + a Sf1 I = I, 2, --?, r (21) 其中Sff1表示第二次融合結(jié)果即最終的支持度融合圖像；Slf (x，y)表示紅外與微光圖 像各尺度支持度融合圖像；Sf1為第一次融合圖像經(jīng)SVT變換得到的各尺度支持度圖像；r 為分解層數(shù)；a為匹配系數(shù)，取O?0. 5。
8. 根據(jù)權(quán)利要求1所述的基于邊緣信息和支持度變換的紅外與微光圖像融合方法，其 特征在于，步驟（9)的圖像重構(gòu)的步驟為： 將步驟（6)得到的近似層融合圖像和步驟（8)得到的最終各尺度支持度融合圖像進(jìn)行 支持度逆變換，得到最終融合圖像P，其表述為：
其中r表示多尺度變換的層數(shù)；Prf表示近似層融合圖像；Sff1表示最終支持度融合圖 像。
【文檔編號(hào)】G06T5/50GK104361571SQ201410676622
【公開日】2015年2月18日 申請日期:2014年11月21日 優(yōu)先權(quán)日:2014年11月21日
【發(fā)明者】劉磊, 岳超, 黃偉, 李賀, 孔祥宇, 崔民杰 申請人:南京理工大學(xué)